어텐션 이즈 올 유 니드

어텐션 이즈 올 유 니드(Attention Is All You Need)는 구글에 근무하는 8명의 과학자가 쓴 2017년의 기념비적인 기계 학습 분야의 연구 논문이다. 이 논문은 2014년 Bahdanau 외 연구진이 제안한 어텐션 메커니즘을 기반으로 하는 트랜스포머라는 새로운 딥 러닝 아키텍처를 소개했다. 이 논문은 현대 인공지능의 기초 논문으로 여겨지며, 트랜스포머 접근 방식이 대형 언어 모델과 같은 다양한 AI의 주요 아키텍처가 되면서 AI 붐에 크게 기여했다. 당시 연구의 초점은 기계 번역을 위한 Seq2seq 기술을 개선하는 데 있었지만, 저자들은 논문에서 더 나아가 질의 응답 및 현재 멀티모달 생성형 AI로 알려진 다른 작업에 대한 이 기술의 잠재력을 예측했다.

논문의 제목은 비틀즈의 노래 "All You Need Is Love"를 인용한 것이다. "트랜스포머"라는 이름은 논문 저자 중 한 명인 야코프 우스츠코라이트가 그 단어의 소리를 좋아해서 선택되었다.

초기 디자인 문서의 제목은 "트랜스포머: 다양한 작업을 위한 반복적 자기-어텐션 및 처리"였으며, 트랜스포머 프랜차이즈의 6개 캐릭터 그림이 포함되어 있었다. 이 팀은 팀 트랜스포머라고 불렸다.

팀이 트랜스포머 아키텍처를 시도한 초기 예시에는 영어-독일어 번역, "트랜스포머"에 대한 위키백과 문서 생성, 그리고 파싱이 포함되었다. 이러한 시도를 통해 팀은 트랜스포머가 범용 언어 모델이며 번역에만 국한되지 않는다는 확신을 갖게 되었다.

2025년 기준으로 이 논문은 17만 3천 회 이상 인용되어, 21세기 가장 많이 인용된 논문 상위 10위권에 포함된다.

 저자 
논문의 저자는 아시시 바스와니, 노암 샤지어, 니키 파마르, 야코프 우스츠코라이트, 라이온 존스(wd), 에이단 고메즈, 우카시 카이저, 일리아 폴로수킨이다. 8명의 저자는 모두 논문에 "동등하게 기여"했으며, 나열된 순서는 무작위로 정해졌다. 와이어드 기사는 이 그룹의 다양성을 강조한다.8명의 저자 중 6명은 미국 외에서 태어났다. 나머지 두 명은 일시적으로 캘리포니아에 거주하는 영주권 소지 독일인 두 명의 자녀와 박해를 피해 온 가족의 1세대 미국인이다.논문 발표 후 저자들은 모두 구글을 떠나 다른 회사에 합류하거나 스타트업을 설립했다. 이들 중 여러 명은 구글에 머물렀다면 자신이 원하는 방향으로 트랜스포머를 혁신하고 확장할 수 없었을 것이라고 밝혔다.

 논의 및 소개된 방법론 
이 논문은 현대 대형 언어 모델(LLMs)의 대부분의 형태에 대한 기본 아키텍처를 형성하는 트랜스포머 아키텍처의 도입으로 가장 잘 알려져 있다. 아키텍처가 대부분의 현대 LLMs에서 선호되는 주된 이유는 이전 아키텍처에 비해 아키텍처의 병렬 처리 가능성 때문이다. 이를 통해 훈련에 필요한 연산을 GPU에서 가속할 수 있어 훈련 시간을 단축하고 더 큰 모델을 훈련할 수 있다.

다음 메커니즘은 트랜스포머 아키텍처 개발의 일부로 논문에서 소개되었다.

스케일드 닷-프로덕트 어텐션 및 자기-어텐션

순환 신경망 또는 장단기 메모리(대신 재귀에 의존함) 대신 스케일드 닷-프로덕트 어텐션 및 자기-어텐션 메커니즘을 사용하면 다음 단락에서 설명하는 것처럼 더 나은 성능을 얻을 수 있다. 논문에서는 스케일드 닷-프로덕트 어텐션을 다음과 같이 설명했다.

여기서 , , 는 각각 쿼리, 키, 값 행렬이고 는 값의 차원이다.

모델은 동일한 소스 자체(즉, 입력 시퀀스/컨텍스트 창)에서 오는 쿼리(Q), 키(K), 값(V) 행렬에 의존하므로 RNN의 필요성을 완전히 제거하여 아키텍처의 병렬 처리를 보장한다. 이는 2014년에 소개된 어텐션 메커니즘의 원래 형태와 다르다. 또한 논문에서는 위에서 보여준 방식으로 키 벡터의 차원(으로 표시되며 논문에서 처음에는 64로 설정됨)에 대해 가장 효과적인 것으로 밝혀진 추가 스케일링 팩터의 사용에 대해서도 논의한다.

논문에서 초점을 맞춘 번역의 특정 맥락에서 쿼리 및 키 행렬은 일반적으로 원어에 해당하는 임베딩으로 표현되는 반면 값 행렬은 대상 언어에 해당한다.

멀티-헤드 어텐션

자기-어텐션 메커니즘에서 쿼리(Q), 키(K), 값(V)은 각 입력 시퀀스에 대해 동적으로 생성되어(일반적으로 컨텍스트 창의 크기에 의해 제한됨) 모델이 다른 단계에서 입력 시퀀스의 다른 부분에 집중할 수 있도록 한다. 멀티-헤드 어텐션은 여러 병렬 어텐션 헤드를 도입하여 이 프로세스를 향상시킨다. 각 어텐션 헤드는 Q, K, V 행렬의 다른 선형 투영을 학습한다. 이를 통해 모델은 단일 측면에 집중하는 대신 시퀀스의 단어 간 관계의 다른 측면을 동시에 캡처할 수 있다.

이렇게 함으로써 멀티-헤드 어텐션은 입력 임베딩이 더 다양하고 다채로운 관점에서 업데이트되도록 한다. 모든 헤드에서 어텐션 출력이 계산된 후, 이들은 연결되어 최종 선형 변환을 통과하여 출력을 생성한다.

위치 인코딩

트랜스포머 모델은 seq2seq 모델이 아니며 인코딩 및 디코딩을 수행하기 위해 텍스트의 시퀀스에 의존하지 않으므로, 논문은 사인 및 코사인 파동 함수를 사용하여 토큰의 위치를 임베딩에 인코딩하는 데 의존했다. 논문에서 소개된 방법은 다음과 같다.

여기서 , , 는 각각 단어의 위치, 현재 차원 인덱스 및 모델의 차원에 해당한다. 사인 함수는 임베딩의 짝수 인덱스에 사용되는 반면 코사인 함수는 홀수 인덱스에 사용된다. 결과  임베딩은 현재 컨텍스트 창에 대해 해당 위치에 있는 단어에 더해진다. 논문은 이 방법이 선택된 이유를 구체적으로 언급하며 다음과 같이 설명한다.

"우리는 정현파 버전을 선택했습니다. 이는 모델이 훈련 중 접한 것보다 더 긴 시퀀스 길이로 외삽할 수 있도록 해줄 수 있기 때문입니다."

 역사적 맥락 

 훈련 
당시 논문의 주요 초점은 기계 번역 개선이었지만, 논문은 또한 제한된 및 대규모 데이터셋 모두에서 영어 구성 성분 구문 분석에 아키텍처를 사용하는 것에 대해서도 논의했다. 특정 작업에 대한 특정 튜닝 없이 높은 점수를 달성하여 다양한 범용 seq2seq 작업에 모델을 사용할 수 있는 유망한 특성을 보여주었다.

데이터셋

영어-독일어 번역 모델은 TED 강연 및 고품질 뉴스 기사에서 파생된 약 450만 개의 문장으로 구성된 2014년 WMT(통계적 기계 번역 워크숍) 영어-독일어 데이터셋에서 훈련되었다. 별도의 번역 모델은 3600만 개의 문장으로 구성된 훨씬 더 큰 2014년 WMT 영어-프랑스어 데이터셋에서 훈련되었다. 두 데이터셋 모두 바이트 쌍 인코딩으로 인코딩되었다.

하드웨어

모델은 NVIDIA P100 GPU 8개를 사용하여 훈련되었다. 기본 모델은 100,000단계, 대형 모델은 300,000단계 훈련되었으며, 각 단계는 기본 모델의 경우 약 0.4초, 대형 모델의 경우 1.0초가 소요되었다. 기본 모델은 총 12시간 동안 훈련되었고, 대형 모델은 총 3.5일 동안 훈련되었다. 기본 모델과 대형 모델 모두 영어-독일어 및 영어-프랑스어에서 2017년 최신 기술을 능가하면서도 상대적으로 가장 낮은 훈련 비용을 달성했다. 예상 컴퓨팅 비용은 0.089 페타플롭-일이었다.

하이퍼파라미터 및 정규화

1억 개 매개변수의 트랜스포머 모델의 경우, 저자들은 처음 4000단계(웜업) 동안 학습률을 선형적으로 증가시키고 현재 단계 번호의 역제곱근에 비례하여 감소시켰다. 드롭아웃 레이어는 정규화 전 각 하위 레이어의 출력, 임베딩의 합, 위치 인코딩에 적용되었다. 드롭아웃 비율은 0.1로 설정되었다. "정확도와 BLEU 점수를 향상"시키는 0.1의 값으로 레이블 스무딩이 적용되었다.

 내용주 

 각주 

 외부 링크 
  구글 리서치 블로그의 동시 블로그 게시물.

분류:구글
분류:2017년 문서