NLP

FFN과 사인·코사인 위치 인코딩을 정리하고, 행렬 크기로 연산량을 유도한다. KV 캐시의 시퀀스와 토큰 축 concat으로 생성 비용이 달라지는 이유를 설명한다.

Q와 K로 참고 비율을 정하고 V를 섞는 과정을 숫자 예시와 도표로 설명한다. 멀티 헤드를 쓰는 이유와 세 종류의 어텐션을 비교한다.

문장을 벡터로 바꾸고, 인코더로 읽고, 디코더로 다음 토큰을 쓰는 과정. 블록·시퀀스 다이어그램으로 마스킹과 학습·생성의 차이를 설명한다.

잘려 있는 검색 스니펫에서 답을 찾는 한국어 QA 모델. 학습 데이터의 90%가 unanswerable인 불균형을 증강으로 보완해 test 점수를 36.0에서 41.9로 올렸다.