[논문 리뷰] Attention Is All You Need[3]: Feed-Forward, Positional Encoding
자연어 분야의 핵심 논문 중 하나인 Attention Is All You Need을 리뷰한다. 어텐션 알고리즘과 모델 아키택처를 그림과 코드를 통해 이해하고, 병렬성 관점에서 살펴본다.
NLP
[논문 리뷰] Attention Is All You Need[2]: Attention
자연어 분야의 핵심 논문 중 하나인 Attention Is All You Need을 리뷰한다. 어텐션 알고리즘과 모델 아키택처를 그림과 코드를 통해 이해하고, 병렬성 관점에서 살펴본다.
[논문 리뷰] Attention Is All You Need[1]: Transformer의 Encoder, Decoder
자연어 분야의 핵심 논문 중 하나인 Attention Is All You Need을 리뷰한다. 어텐션 알고리즘과 모델 아키택처를 그림과 코드를 통해 이해하고, 병렬성 관점에서 살펴본다.
[프로젝트] 네이버 스니펫 오픈도메인 QA
잘려 있는 검색 스니펫에서 답을 찾는 한국어 QA 모델. 학습 데이터의 90%가 unanswerable인 불균형을 증강으로 보완해 test 점수를 36.0에서 41.9로 올렸다.