구글 신경망 기계 번역

구글 신경망 기계 번역(Google Neural Machine Translation, GNMT)은 구글이 개발하고 2016년 11월에 도입한 신경망 기계 번역(NMT) 시스템으로, 인공신경망을 사용하여 구글 번역의 유창성과 정확성을 높였다. 이 신경망은 인코더와 디코더라는 두 가지 주요 블록으로 구성되며, 둘 다 각각 8개의 1024개 너비 레이어를 가진 LSTM 아키텍처를 사용하며, 이들을 연결하는 간단한 1개 레이어 1024개 너비의 순방향 어텐션 메커니즘을 사용한다. 총 매개변수 수는 1억 6천만 개 이상, 약 2억 1천만 개, 2억 7천 8백만 개 또는 3억 8천만 개로 다양하게 설명된다. WordPiece 토크나이저와 빔 탐색 디코딩 전략을 사용했다. 텐서 처리 장치에서 실행되었다.

2020년까지 이 시스템은 트랜스포머 인코더와 RNN 디코더를 기반으로 하는 또 다른 딥 러닝 시스템으로 대체되었다.

GNMT는 시스템이 수백만 개의 언어 번역 예제로부터 학습하는 예제 기반(EBMT) 기계 번역 방식을 적용하여 번역 품질을 향상시켰다. GNMT의 제안된 시스템 학습 아키텍처는 구글 번역이 지원하는 100개 이상의 언어에서 처음 테스트되었다. 대규모 엔드투엔드 프레임워크를 통해 시스템은 시간이 지남에 따라 더 나은, 더 자연스러운 번역을 생성하도록 학습한다. GNMT는 한 번에 전체 문장을 번역하려고 시도하며, 단지 조각별로 번역하는 것이 아니다. GNMT 네트워크는 문장의 의미를 인코딩함으로써 중간언어 기계번역을 수행할 수 있으며, 구문 대 구문 번역을 암기하는 방식이 아니다.

 역사 
구글 브레인 프로젝트는 2011년 "비밀 구글 X 연구소"에서 구글 펠로우 제프 딘, 구글 연구원 그렉 코라도, 스탠퍼드 대학교 컴퓨터 과학 교수 앤드루 응에 의해 설립되었다. 응의 작업은 구글과 스탠퍼드에서 가장 큰 혁신 중 일부를 이끌어냈다.

2016년 11월, 구글 신경망 기계 번역 시스템(GNMT)이 도입되었다. 그 이후로 구글 번역은 이전에 사용하던 통계 방식(SMT) 대신 신경망 기계 번역(NMT)을 사용하기 시작했으며, 2007년 10월부터 사용했던 자체 SMT 기술을 대체했다.

GNMT 훈련은 당시에는 큰 노력이었으며, 2018년 OpenAI 추정치에 따르면 약 79 페타플롭-일(7e21 FLOPs)의 컴퓨팅이 필요했는데, 이는 2014년 Seq2seq 모델보다 1.5배 더 컸다 (하지만 2021년 GPT-J-6B보다 약 2배 작다).

구글 번역의 NMT 시스템은 딥 러닝이 가능한 대규모 인공신경망을 사용한다. GNMT는 수백만 개의 예제를 사용하여 번역 품질을 향상시키고, 더 넓은 맥락을 사용하여 가장 관련성 높은 번역을 추론한다. 그 결과는 재배열되어 문법 기반의 인간 언어에 접근하도록 조정된다. GNMT의 제안된 시스템 학습 아키텍처는 구글 번역이 지원하는 100개 이상의 언어에서 처음 테스트되었다. GNMT는 자체적인 범용 중간언어를 만들지 않고, 심리학 및 언어학의 통찰력을 사용하여 많은 언어 간의 공통점을 찾는 것을 목표로 했다. 이 새로운 번역 엔진은 2016년 11월에 영어와 프랑스어, 독일어, 스페인어, 포르투갈어, 중국어, 일본어, 한국어, 튀르키예어 간의 8개 언어에 대해 처음으로 활성화되었다. 2017년 3월에는 러시아어, 힌디어, 베트남어가 추가로 활성화되었고, 태국어는 나중에 지원이 추가되었다. 같은 달에 구글 번역 커뮤니티의 도움으로 히브리어와 아랍어도 지원이 추가되었다. 2017년 4월 중순, 구글 네덜란드는 네덜란드어 및 영어 관련 다른 유럽 언어에 대한 지원을 발표했다. 2017년 4월 말에는 힌디어, 벵골어, 마라티어, 구자라트어, 펀자브어, 타밀어, 텔루구어, 말라얄람어, 칸나다어 등 9개의 인도 언어에 대한 추가 지원이 이루어졌다.

2020년까지 구글은 트랜스포머 기반의 다른 신경망 시스템을 사용하도록 방법론을 변경했으며, NMT는 단계적으로 폐지되었다.
 평가 
GNMT 시스템은 "제로샷 번역"을 처리할 수 있다는 점에서 이전 구글 번역보다 개선된 것으로 평가되었다. 즉, 한 언어를 다른 언어로 직접 번역할 수 있다는 것이다. 예를 들어, 일본어-영어 및 한국어-영어 번역으로만 훈련되었지만 일본어-한국어 번역을 수행할 수 있다. 이 시스템은 언어에 독립적인 중간 언어 표현(일종의 "중간언어")을 생성하는 법을 학습한 것으로 보이며, 이를 통해 중간언어를 변환하여 제로샷 번역을 수행할 수 있게 되었다. 이전의 구글 번역은 원본 언어를 먼저 영어로 번역한 다음 영어를 목표 언어로 번역했으며, 한 언어에서 다른 언어로 직접 번역하지 않았다.

2019년 7월 내과학 연보에 발표된 연구에서는 "구글 번역이 비영어권 임상 시험을 번역하는 데 유효하고 정확한 도구"라고 밝혔다. 기계 번역된 임상 시험을 읽는 검토자 간의 불일치 중 오직 한 건만이 번역 오류로 인한 것이었다. 많은 의학 연구가 검토자가 언어를 이해하지 못하기 때문에 체계적 검토에서 제외되므로, GNMT는 이러한 검토에서 편향을 줄이고 정확성을 향상시킬 잠재력을 가지고 있다.

 GNMT가 지원하는 언어 
2021년 12월 현재 구글 번역의 모든 언어가 GNMT를 지원하며, 라틴어가 가장 최근에 추가되었다.

아프리칸스어
알바니아어
암하라어
아랍어
아르메니아어
아제르바이잔어
바스크어
벨라루스어
벵골어
보스니아어
불가리아어
버마어
카탈루냐어
세부아노어
체와어
중국어 (간체자)
중국어 (정체자)
코르시카어
크로아티아어
체코어
덴마크어
네덜란드어
영어
에스페란토
에스토니아어
필리핀어 (타갈로그어)
핀란드어
프랑스어
갈리시아어
조지아어
독일어
그리스어
구자라트어
아이티어
하우사어
하와이어
히브리어
힌디어
몽어
헝가리어
아이슬란드어
이보어
인도네시아어
아일랜드어
이탈리아어
일본어
자와어
칸나다어
카자흐어
크메르어
르완다어
한국어
쿠르만지어
키르기스어
라오어
라틴어
라트비아어
리투아니아어
룩셈부르크어
마케도니아어
말라가시어
말레이어
말라얄람어
몰타어
마오리어
마라티어
몽골어
네팔어
노르웨이어 (보크몰)
오리야어
파슈토어
페르시아어
폴란드어
포르투갈어
펀자브어 (구르무키 문자)
루마니아어
러시아어
사모아어
스코틀랜드 게일어
세르비아어
쇼나어
신드어
싱할라어
슬로바키아어
슬로베니아어
소말리어
소토어
스페인어
순다어
스와힐리어
스웨덴어
타지크어
타밀어
타타르어
텔루구어
태국어
튀르키예어
투르크멘어
우크라이나어
우르두어
위구르어
우즈베크어
베트남어
웨일스어
서프리슬란트어
코사어
이디시어
요루바어
줄루어

 같이 보기 

 예제 기반 기계 번역
 규칙 기반 기계 번역
 기계 번역 응용 프로그램 비교
 통계적 기계 번역
 인공지능
 캐시 언어 모델
 전산언어학
 컴퓨터 보조 번역
 기계 번역의 역사
 기계 번역 연구소 목록
 신경망 기계 번역
 기계 번역
 범용 번역기

 각주 

 외부 링크 

 Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
 The Advantages and Disadvantages of Machine Translation
 Statistical Machine Translation
 International Association for Machine Translation (IAMT) 
 Machine Translation Archive by 존 허친스. 기계 번역 및 컴퓨터 기반 번역 기술 분야의 기사, 서적 및 논문의 전자 저장소 (및 참고 문헌)
 Machine translation (computer-based translation) – 존 허친스 출판물 (기계 번역에 관한 여러 책의 PDF 포함)

분류:전산언어학
분류:기계 번역
분류:인공지능의 응용
분류:인공신경망
분류:구글 번역