어텐션 이즈 올 유 니드

논문에 나온 트랜스포머 모델의 주요 구성 요소 그림 **어텐션 이즈 올 유 니드**(Attention Is All You Need)는 구글에 근무하는 8명의 과학자가 쓴 2017년의 기념비적인access-date=2024-04-01access-date=2024-04-01 기계 학습 분야의 연구 논문이다. 이 논문은 2014년 Bahdanau 외 연구진이 제안한 어텐션 메커니즘을 기반으로 하는 트랜스포머라는 새로운 딥 러닝 아키텍처를 소개했다.class=cs.CL 이 논문은 현대 인공지능의 기초 논문으로 여겨지며,isbn=9781040031131 트랜스포머 접근 방식이 대형 언어 모델과 같은 다양한 AI의 주요 아키텍처가 되면서 AI 붐에 크게 기여했다. 당시 연구의 초점은 기계 번역을 위한 Seq2seq 기술을 개선하는 데 있었지만, 저자들은 논문에서 더 나아가 질의 응답 및 현재 멀티모달 생성형 AI로 알려진 다른 작업에 대한 이 기술의 잠재력을 예측했다.arxiv=1706.03762 논문의 제목은 비틀즈의 노래 "All You Need Is Love"를 인용한 것이다.issn=1059-1028 "트랜스포머"라는 이름은 논문 저자 중 한 명인 야코프 우스츠코라이트가 그 단어의 소리를 좋아해서 선택되었다.issn=0028-792X 초기 디자인 문서의 제목은 "트랜스포머: 다양한 작업을 위한 반복적 자기-어텐션 및 처리"였으며, 트랜스포머 프랜차이즈의 6개 캐릭터 그림이 포함되어 있었다. 이 팀은 팀 트랜스포머라고 불렸다. 팀이 트랜스포머 아키텍처를 시도한 초기 예시에는 영어-독일어 번역, "트랜스포머"에 대한 위키백과 문서 생성, 그리고 파싱이 포함되었다. 이러한 시도를 통해 팀은 트랜스포머가 범용 언어 모델이며 번역에만 국한되지 않는다는 확신을 갖게 되었다. 2025년 기준으로 이 논문은 17만 3천 회 이상 인용되어,via=www.bloomberg.com 21세기 가장 많이 인용된 논문 상위 10위권에 포함된다.accessdate=2025년 4월 18일
# 저자
논문의 저자는 아시시 바스와니, 노암 샤지어, 니키 파마르, 야코프 우스츠코라이트, 라이온 존스(wd), 에이단 고메즈, 우카시 카이저, 일리아 폴로수킨이다. 8명의 저자는 모두 논문에 "동등하게 기여"했으며, 나열된 순서는 무작위로 정해졌다. 와이어드 기사는 이 그룹의 다양성을 강조한다.

> 8명의 저자 중 6명은 미국 외에서 태어났다. 나머지 두 명은 일시적으로 캘리포니아에 거주하는 영주권 소지 독일인 두 명의 자녀와 박해를 피해 온 가족의 1세대 미국인이다.

논문 발표 후 저자들은 모두 구글을 떠나 다른 회사에 합류하거나 스타트업을 설립했다. 이들 중 여러 명은 구글에 머물렀다면 자신이 원하는 방향으로 트랜스포머를 혁신하고 확장할 수 없었을 것이라고 밝혔다.work=파이낸셜 타임스
# 논의 및 소개된 방법론
이 논문은 현대 대형 언어 모델(LLMs)의 대부분의 형태에 대한 기본 아키텍처를 형성하는 트랜스포머 아키텍처의 도입으로 가장 잘 알려져 있다. 아키텍처가 대부분의 현대 LLMs에서 선호되는 주된 이유는 이전 아키텍처에 비해 아키텍처의 병렬 처리 가능성 때문이다. 이를 통해 훈련에 필요한 연산을 GPU에서 가속할 수 있어 훈련 시간을 단축하고 더 큰 모델을 훈련할 수 있다. 다음 메커니즘은 트랜스포머 아키텍처 개발의 일부로 논문에서 소개되었다. **스케일드 닷-프로덕트 어텐션 및 자기-어텐션** 순환 신경망 또는 장단기 메모리(대신 재귀에 의존함) 대신 스케일드 닷-프로덕트 어텐션 및 자기-어텐션 메커니즘을 사용하면 다음 단락에서 설명하는 것처럼 더 나은 성능을 얻을 수 있다. 논문에서는 스케일드 닷-프로덕트 어텐션을 다음과 같이 설명했다. {\rm Attention}(Q,K,V) := {\rm softmax}\left(\frac{Q\times K^T}{\sqrt{d_{k\right)\times V 여기서 Q, K, V는 각각 쿼리, 키, 값 행렬이고 d_k는 값의 차원이다. 모델은 동일한 소스 자체(즉, 입력 시퀀스/컨텍스트 창)에서 오는 쿼리(Q), 키(K), 값(V) 행렬에 의존하므로 RNN의 필요성을 완전히 제거하여 아키텍처의 병렬 처리를 보장한다. 이는 2014년에 소개된 어텐션 메커니즘의 원래 형태와 다르다. 또한 논문에서는 위에서 보여준 방식으로 키 벡터의 차원(d_{k}으로 표시되며 논문에서 처음에는 64로 설정됨)에 대해 가장 효과적인 것으로 밝혀진 추가 스케일링 팩터의 사용에 대해서도 논의한다. 논문에서 초점을 맞춘 번역의 특정 맥락에서 쿼리 및 키 행렬은 일반적으로 원어에 해당하는 임베딩으로 표현되는 반면 값 행렬은 대상 언어에 해당한다. **멀티-헤드 어텐션** 자기-어텐션 메커니즘에서 쿼리(Q), 키(K), 값(V)은 각 입력 시퀀스에 대해 동적으로 생성되어(일반적으로 컨텍스트 창의 크기에 의해 제한됨) 모델이 다른 단계에서 입력 시퀀스의 다른 부분에 집중할 수 있도록 한다. 멀티-헤드 어텐션은 여러 병렬 어텐션 헤드를 도입하여 이 프로세스를 향상시킨다. 각 어텐션 헤드는 Q, K, V 행렬의 다른 선형 투영을 학습한다. 이를 통해 모델은 단일 측면에 집중하는 대신 시퀀스의 단어 간 관계의 다른 측면을 동시에 캡처할 수 있다. 이렇게 함으로써 멀티-헤드 어텐션은 입력 임베딩이 더 다양하고 다채로운 관점에서 업데이트되도록 한다. 모든 헤드에서 어텐션 출력이 계산된 후, 이들은 연결되어 최종 선형 변환을 통과하여 출력을 생성한다. **위치 인코딩** 트랜스포머 모델은 seq2seq 모델이 아니며 인코딩 및 디코딩을 수행하기 위해 텍스트의 시퀀스에 의존하지 않으므로, 논문은 사인 및 코사인 파동 함수를 사용하여 토큰의 위치를 임베딩에 인코딩하는 데 의존했다. 논문에서 소개된 방법은 다음과 같다. PE_{({\rm pos},2i)} = \sin({\rm pos}/{10000}^{2i/d_{\rm model) PE_{({\rm pos},2i+1)} = \cos({\rm pos}/{10000}^{2i/d_{\rm model) 여기서 {\rm pos} , i , {d_{\rm model 는 각각 단어의 위치, 현재 차원 인덱스 및 모델의 차원에 해당한다. 사인 함수는 임베딩의 짝수 인덱스에 사용되는 반면 코사인 함수는 홀수 인덱스에 사용된다. 결과 PE 임베딩은 현재 컨텍스트 창에 대해 해당 위치에 있는 단어에 더해진다. 논문은 이 방법이 선택된 이유를 구체적으로 언급하며 다음과 같이 설명한다. "우리는 정현파 버전을 선택했습니다. 이는 모델이 훈련 중 접한 것보다 더 긴 시퀀스 길이로 외삽할 수 있도록 해줄 수 있기 때문입니다."
# 역사적 맥락
Seq2seq#역사 역사
# 훈련
당시 논문의 주요 초점은 기계 번역 개선이었지만, 논문은 또한 제한된 및 대규모 데이터셋 모두에서 영어 구성 성분 구문 분석에 아키텍처를 사용하는 것에 대해서도 논의했다. 특정 작업에 대한 특정 튜닝 없이 높은 점수를 달성하여 다양한 범용 seq2seq 작업에 모델을 사용할 수 있는 유망한 특성을 보여주었다. **데이터셋** 영어-독일어 번역 모델은 TED 강연 및 고품질 뉴스 기사에서 파생된 약 450만 개의 문장으로 구성된 2014년 WMT(통계적 기계 번역 워크숍) 영어-독일어 데이터셋에서 훈련되었다. 별도의 번역 모델은 3600만 개의 문장으로 구성된 훨씬 더 큰 2014년 WMT 영어-프랑스어 데이터셋에서 훈련되었다. 두 데이터셋 모두 바이트 쌍 인코딩으로 인코딩되었다. **하드웨어** 모델은 NVIDIA P100 GPU 8개를 사용하여 훈련되었다. 기본 모델은 100,000단계, 대형 모델은 300,000단계 훈련되었으며, 각 단계는 기본 모델의 경우 약 0.4초, 대형 모델의 경우 1.0초가 소요되었다. 기본 모델은 총 12시간 동안 훈련되었고, 대형 모델은 총 3.5일 동안 훈련되었다. 기본 모델과 대형 모델 모두 영어-독일어 및 영어-프랑스어에서 2017년 최신 기술을 능가하면서도 상대적으로 가장 낮은 훈련 비용을 달성했다. 예상 컴퓨팅 비용은 0.089 페타플롭-일이었다.language=en-US **하이퍼파라미터 및 정규화** 1억 개 매개변수의 트랜스포머 모델의 경우, 저자들은 처음 4000단계(웜업) 동안 학습률을 선형적으로 증가시키고 현재 단계 번호의 역제곱근에 비례하여 감소시켰다. 드롭아웃 레이어는 정규화 전 각 하위 레이어의 출력, 임베딩의 합, 위치 인코딩에 적용되었다. 드롭아웃 비율은 0.1로 설정되었다. "정확도와 BLEU 점수를 향상"시키는 0.1의 값으로 레이블 스무딩이 적용되었다.
# 내용주