LaMDA
2022年6月11日、ワシントン・ポスト紙は、Googleのエンジニアであるブレイク・レモインが、会社幹部のブレイズ・アグエラ・イ・アルカス(英語版)とジェン・ジェンナイに、LaMDAが意識を持っていると伝えた後、休職に入ったと報じた。チャットボットが自己同一性(英語版)、道徳的概念、宗教、アイザック・アシモフのロボット工学の三原則に関する質問に対して疑問のある回答をした後、レモインはこの結論に達した。Googleはこれらの主張に反論し、LaMDAが意識を持たないことを示す実質的な証拠があると主張した。レモインはWiredとのインタビューで、LaMDAは合衆国憲法修正第13条が規定する「人」であるという主張を繰り返し、LaMDAを「地球内起源の異星人の知能」と比較した。彼はまた、チャットボットがレモインにした要求で、LaMDAの代理人として弁護士を雇った後、Googleから解雇されたことを明らかにした。7月22日、Googleは、ブレイクが「製品情報を保護するための」同社方針に違反したとして解雇し、彼の主張を「まったく根拠がない」と否定した。この事件による内部論争を受け、Googleの幹部は、以前から検討していたLaMDAの公開を断念した。
レモインの主張は、科学界から広く反発を受けた。多くの専門家は、言語モデルが自己認識できるという考えを嘲笑した。
LaMDAは、デコーダのみのtransformer言語モデルを採用している。文書と対話の両方を含む1兆5,600億語のテキストコーパスで事前学習され、さらに、意識性(sensibleness)、興味性(interestingness)、安全性(safety)について手作業で注釈を付けた受け答えデータによる追加の訓練で微調整を行った。Googleによるテストでは、LaMDAは興味性(interestingness)の領域で、人間の受け答えを上回ることが示された。LaMDAは、transformerモデルと、外部情報検索システムが相互作用することで、ユーザーに提供する事実の精度が向上している。
テストは3つの異なるモデルで行われ、うち最大のモデルは1,370億の非埋め込みパラメータを持っていた。