隨機鸚鵡

“隨機鸚鵡”（英語：stochastic parrot）是在機器學習中一個理論的比喻，指大型語言模型雖然能夠生成合理的文句，但其實不能理解所處理的語-{}-句。pp=322–3它由、蒂默妮特·格伯魯、安傑利娜·麥克米倫-梅傑和（以Shmargaret Shmitchell名義）在2021年人工智能研究論文《論隨機鸚鵡的危害：語言模型太大有壞處嗎？🦜》（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜）中提出。

**起源和定義**
“隨機鸚鵡”最初出現於論文《論隨機鸚鵡的危害：語言模型太大有壞處嗎？🦜》。他們認為大型語言模型帶來的害處包括環境損害和金融損失、訓練數據中難以察覺的偏見，以及誤導大眾和科學家，又說它們不能明白所學習事物的深層概念。
“stochastic”源自古希臘語單詞“stokhastikos”，意為“基於猜測的”或“隨機決定的”。這單詞也出現於概率論中的隨機過程（stochastic process）。“鸚鵡”是指大型語言模型只會“鸚鵡學舌”，不能理解句子的意思。
在論文中，本德等人認為大型語言模型只是根據概率連接字句，不會考慮含義，所以說這些模型只是“隨機鸚鵡”。
根據機器學習專家林霍爾姆、瓦爾斯特倫、林斯滕和舍恩所述，這個比喻強調兩個重要限制：pp=322–3- 大型語言模型只由訓練所用的資料受限，只是根據隨機概率重複數據集的內容。- 因為大型語言模型只是基於訓練數據輸出文字，所以它們不會知道自己所輸出的字句是否錯誤或不妥。
林霍爾姆等人指出，如果使用劣質數據集，加上其他限制，學習機器可能會產生“又錯誤又危險的”結果。pp=322–3

**後續使用**
2021年7月，Alan Turing Institute就艾米麗的論文舉辦主題演講和專家小組討論。2021，它已由1529篇文章引用。“隨機鸚鵡”已出現於法律、語法、敘事、和人文學等領域的文章。艾米麗等人依然對基於大型語言模型的聊天機器人（比如GPT-4）的危害表示憂慮。
如今，批評人工智能的人會用“隨機鸚鵡”這個新詞，表示機器不理解自己輸出的含義，令它類似於“辱罵AI的歧視詞”。OpenAI首席執行官-{zh-hans:薩姆·奧爾特曼;zh-hk:森·柯曼;zh-my:山姆·奧特曼;zh-tw:山姆·阿特曼;}-在一篇諷刺推文中使用這個用語：“我是一隻隨機鸚鵡，你也一樣”，讓它廣泛流傳。“隨機鸚鵡”隨後獲American Dialect Society選2023年年度AI詞語，勝過“ChatGPT”和“LLM”。
一些研究人員會用“隨機鸚鵡”，把大型語言模型描述為拼接規律的機器，通過海量訓練資料，表面上能產生模擬人類語言的合理文字，但只不過是以隨機的方式鸚鵡學舌。然而，其他研究人員聲稱大型語言模型的確能明白語言。

**爭論**
ChatGPT等部分大型語言模型能與用戶產生模仿人類的逼真互動。隨著這些新系統的開發，大型語言模型“鸚鵡學舌”的程度成為越來越多探討的焦點。
在人類思維中，文字和語言與經歷相對應。但在大型語言模型的算法中，字詞可以只會與訓練資料中的其他字詞和使用規律對應。因此，支持“隨機鸚鵡”論的人認為大型語言模型不能真正理解語言。
支持者認為大型語言模型傾向於把虛假信息當作事實（稱為幻覺），正論證了這一點。大型語言模型有時會合成信息，雖然能符合某些規律，但其實不切實際。由於大型語言模型無法區分真偽，支持者聲稱它們不能像語言一樣，把字詞和對世界的理解連接。此外，大型語言模型一般無法理解上下文，從而辨認複雜或有歧義的文法。例如，在薩巴等人的論文中：
大型語言模型回答說可以，但不明白“newspaper”在這兩個語境中的意思不同：第一個是報紙，第二個是報社。一些AI專家由此認為它們僅僅是隨機鸚鵡。 
然而，也有論點認為大型語言模型不只是隨機鸚鵡。它們能通過許多理解能力測驗，包括超級通用語言理解評估（Super General Language Understanding Evaluation；SuperGLUE）。由於許多大型語言模型都能作出通順回應，加上此類測驗的支持，根據一份2022年的調查，51%的AI專家認為只要有足夠數據，這些模型可以真正理解語言。
探究大型語言模型是否具備理解能力時，“機制可理解性”這個技巧也可以運用，原理是把模型逆向工程，分析它的神經網絡如何處理信息。Othello-GPT便是其中一例。這個小型Transformer模型經過訓練可以預測黑白棋的合法走棋方式。它的網絡有黑白棋棋盤的表示式，而修改這個表示式後，合法走棋方式也會改為正確的組合。因此，有論點稱大型語言模型具有“世界模型”，不只是依賴表面統計。 
又例如，一個小型Transformer模型用Karel程序訓練。這個模型和Othello-GPT一樣，可以在網絡產生Karel程序語法的表示式。改變這個表達後，輸出也會改正。這個模型也能生產正確的程序，平均長度比訓練集中的程序的短。
然而，如果將人類語文理解的測驗用於大型語言模型，它們有時會因在數據文本中建立錯誤聯繫而產生假陽性結果。模型有時會進行快捷學習（shortcut learning），即是不使用類似人類的理解，從數據中作出不相關的聯繫。一項實驗測驗Google的BERT大型語言模型的論點推理技巧。模型需要從兩個陳述句中選擇更符合論點的句子。以下是其中一個論點的例子：
研究人員發現，“不”等特定單詞能引導模型答對問題。如果加入這些單詞，則模型會幾乎獲得滿分；如果不加入它們，則模型會傾向於隨機選擇。基於這個問題，加上智力的定義中的已知難題，有論點稱所有探究大型語言模型理解的基準都有缺陷，而且都讓這些模型有捷徑產生錯誤理解。
如果沒有可靠的基準，研究人員則難以分辨隨機鸚鵡和真正具備理解能力的模型。在一項實驗中，一位科學家認為ChatGPT-3一時具備人類理解能力，一時變成隨機鸚鵡。他發現這個模型根據提示詞中的資料預測將來事件時，可以給出通順而信息量豐富的回答。ChatGPT-3也經常能從文本提示詞解析潛在信息。但它往往無法正確回答有關邏輯和推理的問題，尤其是涉及空間知覺的問題。模型的回答質量不一，表示大型語言模型遇到某些類別的問題時具備某種形式上的“理解”，遇到其他問題時則會變成隨機鸚鵡。
另外，由於動物研究顯示鸚鵡不只是會模仿人類說話，甚至有時能理解語言，一些研究鸚鵡的科學家可能認為“隨機鸚鵡”具冒犯性。

**參見**
中文房間
*深度學習#批評
*對Google的批評
*無限猴子定理
*生成式人工智慧
*馬爾可夫鏈

**參考文獻**

**引述文獻**
ref = harv- dead-url=no  主題演講由艾米麗·本德主持。專家小組討論在簡報結束後開始。

**延伸閱讀**
cite magazine |title=ChatGPT Is Dumber Than You Think: Treat it like a toy, not a tool |first=Ian |last=Bogost |date=2022-12-07 |magazine=大西洋 |url=https://www.theatlantic.com/technology/archive/2022/12/chatgpt-openai-artificial-intelligence-writing-ethics/672386/ |access-date=2024-01-17 |archive-date=2024-12-08 |archive-url=https://web.archive.org/web/20241208210743/https://www.theatlantic.com/technology/archive/2022/12/chatgpt-openai-artificial-intelligence-writing-ethics/672386/ |dead-url=no - cite news |last=Chomsky |first=Noam |date=2023-03-08 |title=The False Promise of ChatGPT |newspaper=紐約時報 |url=https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html |access-date=2024-01-17 |archive-date=2023-03-12 |archive-url=https://archive.today/20230312010813/https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html |dead-url=no 
*dead-url=no 
*cite book |last=McQuillan |first=D. |year=2022 |title=Resisting AI: An Anti-fascist Approach to Artificial Intelligence |publisher=布里斯托爾大學出版社 |isbn=978-1-5292-1350-8
*isbn=978-1-5416-0098-0- eprint=2302.10198

**外部鏈接**
 《 論隨機鸚鵡的危害：語言模型太大有壞處嗎？🦜 date=20240829151956 》在維基共享資源