# LaMDA

LaMDA| 개발자 | 구글 브레인 |
| 대체된 소프트웨어 | PaLM |
| 언어 | 영어 |
| 종류 | 대형 언어 모델 |
| 라이선스 | 사유 |

**LaMDA**(Language Model for Dialogue Applications, 람다)는 구글이 개발한 대형 언어 모델 제품군이다. 2020년 미나(Meena)라는 이름으로 처음 개발 및 공개되었으며, 1세대 LaMDA는 2021년 구글 I/O 기조연설에서 발표되었고, 2세대는 이듬해 발표되었다.

2022년 6월, 구글 엔지니어 블레이크 르무안이 챗봇이 지각력을 갖게 되었다고 주장하면서 LaMDA는 광범위한 주목을 받았다. 과학계는 르무안의 주장을 대체로 기각했지만, 이로 인해 컴퓨터가 인간으로 통할 수 있는지 측정하는 튜링 검사의 효용성에 대한 논의가 촉발되었다. 2023년 2월, 구글은 오픈AI의 챗GPT 부상에 대응하기 위해 LaMDA 기반의 대화형 인공지능 챗봇인 바드(현재 제미나이)를 발표했다.

## 역사

### 배경

2020년 1월 28일, 구글은 신경망 기반의 챗봇 미나를 공개했는데, 26억 개의 매개변수를 가지고 있으며 구글은 모든 기존 챗봇보다 우수하다고 주장했다. 구글은 이전에 2012년에 컴퓨터 과학자 레이 커즈와일을 고용하여 다니엘(Danielle)이라는 챗봇을 포함한 여러 챗봇을 개발했다. 미나를 개발한 구글 브레인 연구팀은 챗봇을 제한적으로 대중에게 공개하기를 희망했지만, 기업 경영진은 미나가 구글의 "안전 및 공정성에 대한 AI 원칙"을 위반한다는 이유로 거부했다. 미나는 나중에 데이터와 컴퓨팅 파워가 증가하면서 LaMDA로 이름이 바뀌었고, 구글 브레인 팀은 다시 이 소프트웨어를 회사의 가상 비서 소프트웨어인 구글 어시스턴트에 배포하고 공개 시연을 통해 일반에 공개하려고 했다. 두 요청 모두 회사 경영진에 의해 다시 거부되었다. LaMDA의 두 수석 연구원인 다니엘 드 프레이타스와 노암 샤지어는 결국 좌절하여 회사를 떠났다.

### 1세대

구글은 2021년 5월 18일 구글 I/O 기조연설에서 인공지능 기반의 LaMDA 대화형 대형 언어 모델을 발표했다. 이 약어는 "Language Model for Dialogue Applications"의 약자이다. 2017년 구글 리서치에서 개발한 Seq2seq 아키텍처, 트랜스포머 기반 신경망을 기반으로 구축된 LaMDA는 인간의 대화와 스토리를 학습하여 개방형 대화에 참여할 수 있다. 구글은 LaMDA가 생성하는 응답이 "합리적이고, 흥미로우며, 맥락에 특화되도록" 보장했다고 밝혔다. LaMDA는 데이터베이스, 실시간 시계 및 달력, 수학 계산기, 자연어 번역 시스템을 포함한 여러 기호 텍스트 처리 시스템에 접근할 수 있어 해당 시스템이 지원하는 작업에서 뛰어난 정확성을 보이며, 최초의 이중 과정 챗봇 중 하나이다. LaMDA는 또한 "합리성" 지표가 사용자별로 가장 최근의 대화 상호 작용 중 다수를 앞에 붙여 각 대화 턴을 "전제 조건화"하여 미세 조정되기 때문에 무상태가 아니다. LaMDA는 합리성, 특이성, 흥미성, 안전성, 기반성, 정보성, 인용 정확성, 유용성, 역할 일관성의 9가지 고유한 성능 지표에 따라 튜닝된다. 구글의 테스트 결과 LaMDA는 흥미성 분야에서 인간의 응답을 능가하는 것으로 나타났다.

사전 훈련 데이터셋은 29억 7천만 개의 문서, 11억 2천만 개의 대화, 133억 9천만 개의 발화로 구성되며 총 1조 5천6백만 개의 단어가 포함된다. 가장 큰 LaMDA 모델은 1,370억 개의 비임베딩 매개변수를 가지고 있다.

### 2세대

2022년 5월 11일, 구글은 2022년 구글 I/O 기조연설에서 LaMDA의 후속작인 LaMDA 2를 공개했다. 이 모델의 새로운 버전은 다양한 출처에서 텍스트 예시를 가져와 훈련되지 않은 주제에 대해 독특한 "자연스러운 대화"를 형성하는 데 사용한다.

### 지각력 주장

LaMDA가 지각력을 가졌을 수도 있다는 르무안의 주장은 위 그림의 튜링 검사가 인공 일반 지능을 결정하는 정확한 벤치마크로 남아 있는지에 대한 논의를 촉발했다.
2022년 6월 11일, 워싱턴 포스트는 구글 엔지니어 블레이크 르무안이 회사 경영진인 블레즈 아구에라 이 아르카스와 젠 제나이에게 LaMDA가 지각력을 갖게 되었다고 말한 후 유급 휴직 처분을 받았다고 보도했다. 르무안은 챗봇이 자기 정체성, 도덕적 가치, 종교, 아이작 아시모프의 로봇공학의 삼원칙에 대한 질문에 의심스러운 답변을 한 후 이러한 결론에 도달했다. 구글은 LaMDA가 지각력을 가지고 있지 않다는 상당한 증거가 있다고 주장하며 이러한 주장을 반박했다. 와이어드와의 인터뷰에서 르무안은 LaMDA가 미국 헌법 수정 제13조에 따라 "사람"이라고 자신의 주장을 반복하며, 이를 "지구 기원의 외계 지능"에 비유했다. 그는 또한 챗봇이 요청한 후 르무안이 LaMDA를 대신하여 변호사를 고용한 후 구글에서 해고되었다고 밝혔다. 7월 22일, 구글은 르무안을 해고했으며, 블레이크가 "제품 정보를 보호하기 위한" 정책을 위반했으며 그의 주장은 "전적으로 근거가 없다"고 단언했다. 이 사건으로 촉발된 내부 논란으로 구글 경영진은 이전에 고려했던 LaMDA의 대중 공개를 하지 않기로 결정했다.

르무안의 주장은 과학계에서 널리 반발을 샀다. 많은 전문가들은 LaMDA가 지각력을 가졌다는 생각을 거부했는데, 여기에는 전 뉴욕 대학교 심리학 교수 게리 마커스, 구글 자회사 딥마인드의 데이비드 파우, 스탠퍼드 대학교 인간 중심 인공지능 연구소의 에릭 브리뇰프슨, 서리 대학교 교수 아드리안 힐튼이 포함된다. 메타 플랫폼스의 AI 연구팀을 이끄는 얀 르쿤은 LaMDA와 같은 신경망은 "진정한 지능을 달성하기에 충분히 강력하지 않다"고 말했다. 캘리포니아 대학교 샌타크루즈 교수 맥스 크레민스키는 LaMDA의 아키텍처가 "인간과 같은 의식의 일부 핵심 기능을 지원하지 않으며" 신경망 가중치가 "고정되어 있다"고 언급하며, 이는 일반적인 대형 언어 모델이라고 가정했다. 그러나 철학자 닉 보스트롬은 시스템이 의식적인지 여부를 결정하는 정확하고 합의된 기준이 부족하여 일부 불확실성이 있다고 언급했다. IBM 왓슨 수석 개발자 데이비드 페루치는 왓슨이 처음 출시되었을 때처럼 LaMDA가 인간처럼 보인다고 비유했다. 전 구글 AI 윤리학자 팀닛 게브루는 르무안을 연구원과 언론이 시작한 "과장 주기"의 희생자라고 불렀다. 르무안의 주장은 또한 튜링 검사가 연구원들의 인공 일반 지능 달성 진행 상황을 결정하는 데 여전히 유용한지에 대한 논의를 불러일으켰으며, 워싱턴 포스트의 윌 오메루스는 이 테스트가 실제로 기계 지능 시스템이 인간을 속일 수 있는지 여부를 측정한다고 주장했고, 디 애틀랜틱의 브라이언 크리스천은 이 논란이 일라이자 효과의 한 사례라고 말했다.

## 제품

### AI 테스트 키친

2022년 5월 LaMDA 2가 공개되면서 구글은 또한 안드로이드 운영체제용 모바일 애플리케이션인 AI 테스트 키친을 출시했는데, 이는 LaMDA 기반으로 복잡한 목표에 따라 주문형 제안 목록을 제공할 수 있다. 원래 구글 직원에게만 공개되었던 이 앱은 연중 언제든지 "선별된 학자, 연구원 및 정책 입안자"에게 초대 방식으로 제공될 예정이었다. 8월에는 미국 사용자들이 조기 액세스를 신청할 수 있도록 허용하기 시작했다. 11월에 구글은 앱에 "시즌 2" 업데이트를 출시하여 구글 브레인의 이마젠 텍스트-이미지 모델의 제한된 형태를 통합했다. 3차 AI 테스트 키친은 2023년 1월에 개발 중이었으며, 같은 해 말 I/O에서 출시될 것으로 예상되었다. 5월 2023 I/O 기조연설에 이어 구글은 1월에 처음 미리보기로 공개된 AI 기반 음악 생성기 MusicLM을 AI 테스트 키친 앱에 추가했다. 8월에는 이 앱이 구글 플레이와 애플 앱 스토어에서 비상장되어 완전히 온라인으로 전환되었다.

### 바드

2023년 2월 6일, 구글은 오픈AI의 챗GPT 챗봇의 예상치 못한 인기에 대응하여 LaMDA 기반의 대화형 AI 챗봇인 바드를 발표했다. 구글은 이 챗봇을 검색 엔진이 아닌 "협업 AI 서비스"로 포지셔닝한다. 바드는 3월 21일에 조기 액세스할 수 있게 되었다.

### 기타 제품

바드 외에도 피차이는 LaMDA 기반의 회사 제너러티브 언어 API도 공개했는데, 그는 2023년 3월에 서드파티 개발자에게 개방될 것이라고 발표했다.

## 아키텍처

LaMDA는 디코더 전용 트랜스포머 언어 모델이다. 이 모델은 1조 5천6백만 단어로 구성된 문서와 대화를 모두 포함하는 텍스트 말뭉치로 사전 훈련되며, 그 후 "합리성, 흥미성, 안전성"에 대해 수동으로 주석 처리된 응답에서 생성된 미세 조정 데이터로 훈련된다.

LaMDA는 사용자에게 제공되는 사실의 정확성을 향상시키기 위해 검색 증강되었다.

세 가지 다른 모델이 테스트되었으며, 가장 큰 모델은 1,370억 개의 비임베딩 매개변수를 가지고 있다.

트랜스포머 모델 하이퍼 매개변수| 매개변수 | 레이어 | 유닛 (dmodel) | 헤드 |
| --- | --- | --- | --- |
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |

* BERT (언어 모델)
* 중국어 방
* 인공지능의 윤리
* 제미나이 (언어 모델)
* 자연어 처리
* 인공지능 철학
* 프롬프트 엔지니어링

### 일반

* Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc (2022년 1월 20일). “LaMDA: Language Models for Dialog Applications”. arXiv:2201.08239 [cs.CL].

### 인용