Paper

3개의 글

• [논문 리뷰] Attention Is All You Need[3]: FFN·위치 인코딩·연산량과 KV 캐시

  FFN과 사인·코사인 위치 인코딩을 정리하고, 행렬 크기로 연산량을 유도한다. KV 캐시의 시퀀스와 토큰 축 concat으로 생성 비용이 달라지는 이유를 설명한다.

  2024-05-21 Paper
• [논문 리뷰] Attention Is All You Need[2]: Q·K·V와 Multi-Head Attention

  Q와 K로 참고 비율을 정하고 V를 섞는 과정을 숫자 예시와 도표로 설명한다. 멀티 헤드를 쓰는 이유와 세 종류의 어텐션을 비교한다.

  2024-05-20 Paper
• [논문 리뷰] Attention Is All You Need[1]: 입력부터 번역까지, Encoder와 Decoder

  문장을 벡터로 바꾸고, 인코더로 읽고, 디코더로 다음 토큰을 쓰는 과정. 블록·시퀀스 다이어그램으로 마스킹과 학습·생성의 차이를 설명한다.

  2024-05-19 Paper