Attention is all you need 읽다가 어텐션 종류가 여러 개라는 소식(?)을 접하게 되어서 한번 정리해본다. ~ 목차 ~1. 계산 방식1.1 Dot-Product Attention1.2 Scaled Dot-Product Attention1.3 Additive Attention (Bahdanau attention) 2. 참고 대상2.1 Self Attention2.2 Cross-Attention2.2.1 Encoder-Decoder Attention 3. Head 개수3.1 Single-Head Attention3.2 Multi-Head Attention 4. 한계 해결 방법4.1 Masked Attention4.2 Sparse Attention4.3 Linear / Efficient At..