logit
-
Last_hidden_state와 Logit자연어처리(NLP)와 인공지능(AI) 2024. 9. 24. 23:15
본 글은 [Open-Up] 오픈소스 소프트웨어 통합지원센터로부터 지원받아 작성하였습니다. 일반적으로, Last_hidden_state는 logit을 생성하기 위한 입력으로 사용된다.일반적인 흐름: Input → ... → Last Hidden State → Linear Layer → Logits → Softmax → Probabilities [Last_hidden_state]:- 정의: 일반적으로 모델의 마지막 트랜스포머 층(layer)의 출력을 말한다. - 특징: - 고차원의 벡터 표현 (예: BERT-base에서는 768차원). - 각 입력 토큰에 대해 하나의 벡터가 있다. - 입력 시퀀스의 의미적, 문맥적 정보를 포함하고 있다.- 용도: - 다양한 downstream 작업을 위한 ..