對話程式語言模型

**對話程式語言模型**（英語：Language Model for Dialogue Applications，通稱：**LaMDA**）是 Google 所開發的一系列對話神經語言模型。第一代模型於 2021 年的 Google I/O 年會發表，第二代模型則同樣發表於次年的 I/O 年會。2022 年 6 月，Google 工程師布雷克・雷蒙恩（Blake Lemoine）宣稱 LaMDA 已存在感知能力和自我意識，導致該模組獲得廣泛關注，科學界在很大程度上否定雷蒙恩的說法，並同時引發對圖靈測試（測試機器能否表現出與人類相當的智慧水準）效力的討論。2023 年 2 月，Google 發表基於 LaMDA 架構的對話式人工智慧聊天機器人 Bard，以因應 OpenAI 開發的 ChatGPT。

## 發展歷史

### 第一代

Google 公司於 2021 年 5 月 18 日的 Google I/O 年會上發布第一代由人工智慧驅動的對話程式語言模型（LaMDA）。LaMDA 建構於 Google 研究院（Google Research）於 2017 年開發的 Transformer 神經網路架構，針對人類敘事和回應能力進行對話訓練，使其能夠參與開放式對話。Google 表示，LaMDA 產生的反應已確保是「合理、有趣和符合（談話）上下文」。

### 第二代

2022 年 5 月 11 日，Google 在 I/O 年會公布 LaMDA 2，接替前一代的 LaMDA 模型。LaMDA 2 可從不同來源擷取文字例子，以建立獨特的「自然對話」方式。此外，Google 同時在會中發表由 LaMDA 2 驅動的移動應用程式 AI Test Kitchen。

### 感知說

2022 年 6 月 11 日，美國《華盛頓郵報》報導，Google 工程師布雷克・雷蒙恩（Blake Lemoine）向公司高層布萊斯・阿格拉和阿爾卡斯和簡・詹納（Jen Gennai）表示 LaMDA 已存在感知能力，隨後雷蒙恩被安排帶薪的行政休假。雷蒙恩是在 LaMDA 對有關自我身分、道德價值、宗教和科幻小說家以撒・艾西莫夫的虛構學說機器人三定律提出疑問後確認其擁有自我意識這一結論。Google 隨後否認這些說法，堅持有大量證據表明 LaMDA 不存在知覺和意識。雷蒙恩在接受《連線》雜誌採訪時重申他之前的說法，表示若調查確認 LaMDA 具有感知與意識，即應受到《美國憲法》第十三條修正案對「一個人」的保護，並將其比做「源自地球的外星智慧型」（alien intelligence of terrestrial origin）。雷蒙恩進一步透露，Google 在 LaMDA 要求他為其聘請律師後將他解僱。同年 7 月 22 日，Google 表示雷蒙恩因持續違反「保護產品資訊」的就業和數據安全政策而被解僱，同時認為他的主張毫無根據（wholly unfounded）。

科學界普遍不認同雷蒙恩的說法，許多學者恥笑語言模型存在自我意識的想法，包括前紐約大學心理學教授蓋瑞・馬庫斯、Google 子公司 DeepMind 研究科學家大衛・普福（David Pfau）、史丹佛大學以人為本人工智慧研究所的艾瑞克・布林優夫森和薩里大學教授阿德里安・希爾頓（Adrian Hilton）等。領導 Meta Platforms 人工智慧研究團隊的楊立昆表示，LaMDA 這類的神經網路「不足以達到真正的智慧」。加利福尼亞大學聖塔克魯茲分校教授馬克斯・克雷明斯基（Max Kreminski）指出，LaMDA 的架構並不「支援類似人類意識的一些關鍵能力」，在其為典型的大型語言模型的前提下，LaMDA 的神經網路權重是被「凍結」的。

IBM 人工智慧系統華生的首席研究員大衛・費魯奇將 LaMDA 和華生首次推出的表現進行比較。前 Google 人工智慧倫理研究員提姆尼・蓋布魯表示雷蒙恩是研究人員和媒體引起的「炒作循環」（hype cycle）受害者。而雷蒙恩的說法也引發圖靈測試是否仍有助於研究人員辨識機器何時可視為具備通用人工智慧或思考能力的討論，《華盛頓郵報》的威爾・奧梅魯斯（Will Omerus）認為，圖靈測試實際上是判斷人工智慧是否有能力欺騙人類的標準，而非僅是辨識其是否具備人類智慧型或思考的工具。《大西洋》雜誌的布萊恩．克里斯汀則認為，LaMDA 爭議是 ELIZA 效應的一個實例。

## 應用

### AI Test Kitchen

隨著 LaMDA 2 於 2022 年 5 月發表，Google 同時推出配套產品 AI Test Kitchen，是由 LaMDA 驅動的 Android 移動應用程式，該程式可根據複雜的目標或話題生成任務清單以協助此用者達成。AI Test Kitchen 最初僅對 Google 員工開放，後續會於 2022 年透過邀請向「特定的學者、研究人員和政策制定者」提供該服務。同年 8 月，Google 開始開放美國使用者提前註冊體驗。。同年 11 月，Google 發布 AI Test Kitchen「第二季度」（season two）的更新，其中以限定的形式整合 Google 大腦的文字到圖像生成模型－Imagen。截至 2023 年 1 月，AI Test Kitchen 的第三版本仍在開發中，預計於同年的 I/O 年會上推出。

### Bard

2022 年 11 月，美國人工智慧研究實驗室 OpenAI 推出了基於 GPT-3 語言模型的聊天機器人 ChatGPT。Google 意識到 ChatGPT 威脅到自家 Google 搜尋產品的地位，該公司執行長桑德爾・皮查伊因此發布紅色警報，並且讓更多的團隊參與公司人工智慧領域的工作。Google 聯合創始人拉里・佩奇和謝爾蓋・布林與公司高層召開緊急會議，商討 Google 應如何應對 ChatGPT 造成的威脅。

當被員工問及 LaMDA 是否在與 ChatGPT 競爭時已錯失良機時，皮查伊和 Google AI 負責人傑夫・迪恩表示，雖然該公司可以開發出與 ChatGPT 類似的產品，但由於 Google 的規模遠遠大於 OpenAI，所以某些方面若發展的太快可能會存在一定的風險。 2023 年 1 月，Google 子公司 DeepMind 執行長傑米斯・哈薩比斯表示 DeepMind 的人工智慧聊天機器人功能比 ChatGPT 更加強大，同時 Google 為迎頭趕上 ChatGPT 的腳步，高層要求該公司的員工密集測試 Bard 以及其他聊天機器人。2023 年 2 月，執行長皮查伊在季度收益投資者電話會議上向投資者表示，該公司正計劃在實際應用中引入 LaMDA。

2023 年 2 月 6 日，Google 正式發布 Bard，這是一款由 LaMDA 提供支援的對​​話式 AI 聊天機器人。首先由「受信任的測試人員」率先測試 Bard，後續於同年 2 月底向更多人提供 Bard 服務。皮查伊解釋 Bard 將如何被整合進 Google 搜尋中，同時公司正努力將其與作業系統 ChromeOS 結合。Bard 的開發代號為「Atlas」，產品名 Bard 參考凱爾特文化中的吟遊詩人，以反映「演算法本質的創造性」（the creative nature of the algorithm underneath）。同年 2 月 8 日，Google 舉行 Bard 的新聞發布會，實際演示時 Bard 被問及有關詹姆斯・韋伯太空望遠鏡的問題，結果 Bard 卻提供該太空望遠鏡拍攝了首張太陽系外行星的錯誤資訊（事實上是由甚大望遠鏡於 2004 年觀測得到）。金融分析師和記者形容 Google 是在「追趕」微軟（OpenAI 的投資合作方）並「匆忙」宣布 Bard 的訊息，以搶在同月 7 日微軟發表將 ChatGPT 整合至該公司搜尋引擎 Bing 的活動之前。8 日的廣告釋出後，Google 母公司 Alphabet 的股價下跌 8％，導致其市值蒸發約 1,000 億美元。美國科技新聞媒體《The Verge》和彭博社指出，這代表 Google 和微軟這兩家科技巨擘在「探索未來」上另一場衝突的開始，雙方於 6 年前的「休戰」已於 2021 年結束。2023 年 3 月 21 日，美國和英國使用者可以申請測試 Bard。

## 訓練方式

LaMDA 使用一個僅具備解碼器的 Transformer 語言模型，於內含 1 兆 5600 億文件和對話內容的語料庫進行預備訓練。之後以手動註釋響應生成的微調數據訓練敏感度、趣味和安全性。Google 的測試表明，LaMDA 在趣味性方面超過人類反應。另外，LaMDA 的 Transformer 模型與一個外部的資訊檢索系統配合，以提高資訊準確度。

LaMDA 測試了三種模型，其中最大的模型有 1,370 億個非嵌入參數：

## 參見

* 聊天機器人
* ELIZA
* 圖靈測試
* ChatGPT

## 參考資料

### LaMDA 簡介

### 來源

## 外部連結

* 新聞稿 （頁面存檔備份，存於網際網路檔案館）