[논문리뷰] Attention is all you need
기본기 쌓기의 일환으로 'Attention is all you need' 논문, 일명 transformer 논문을 리뷰해보려고 한다.내가 가장 처음으로 읽은 AI 논문이다. 약 일주일동안 머리싸매고 읽어가면서 겨우 감만 잡았던 기억이 있다.읽고 나서 너무 뿌듯했지만 정리할만큼의 이해를 하지는 못했던 것 같다.그동안 개념이 숙성되었기를 바라면서.. 한번 정리를 시작해보겠다.주요 부분인 Section 3,4,7 (모델구조, 모델사용이유, 결론)만 정리해보겠다. 3.1 Encoder and Decoder Stacks - Encoder - Decoder 3.2 Attention 3.2.1 Scaled Dot-Product Attention 3.2.2. Multi-Head Attention 3.2.3 ..