幻覺 (人工智慧)

一段火車行駛蘇格蘭格倫菲南高架橋的影片，由Sora生成。在影片中，橋梁有兩個軌道，火車則往右開。這些都與現實世界的橋梁不符。與此同時，火車The Jacobite有兩個煙囪，車廂長度不一，連車廂長度也會隨意伸展

在人工智慧領域中，幻覺（hallucination，或稱人工幻覺）是由人工智慧生成的一種回應，它含有貌似事實的虛假或誤導性資訊。

該術語源自幻覺的心理學概念，因為它們具有相似的特徵。然而實際上更相似的概念是「虛談症（confabulation）」，但「幻覺（hallucination）」一詞在人工智慧領域已經廣為流傳。人工智慧幻覺的危險之處之一是模型的輸出看起來一本正經，而實際上是錯誤的。

## 在自然語言處理中

<image>

在自然語言處理中，幻覺通常被定義為「生成的內容相對於被提供的源內容而言是無意義或不可信的」。文本和表達之間的編碼和解碼錯誤會導致幻覺。產生不同反應的人工智慧訓練也可能導致幻覺。當 AI 在數據集上進行訓練時，也會出現幻覺，其中標記的摘要儘管事實上準確。在GPT-3等系統中，人工智慧會根據之前的一系列單詞（包括它自己先前回應過的單詞）生成下一個單詞，隨著對話時長的增加，可能會不斷地產生幻覺。到2022年， 《紐約時報》等報紙表示擔心，隨著基於大型語言模型的機器人的使用數量持續增長，使用者對機器人輸出的過於信任可能會導致問題。

2022年8月， Meta在發布 BlenderBot 3 期間警告說，該系統容易出現「幻覺」，Meta 將其定義為「自信的假話」。2022年11月15日，Meta 發布了卡拉狄加（Galactica）的演示版本，旨在「存儲、組合和推理科學知識」。卡拉狄加生成的內容帶有警告「輸出可能不可靠！語言模型很容易輸出幻覺文本。」在一個案例中，當被要求起草一篇關於創建虛擬形象的論文時，卡拉狄加引用了一位在相關領域工作的工作者的虛構的論文。Meta 於 11月 17日因其具有一定的冒犯性和因幻覺產生的不準確而撤回了卡拉狄加的演示版。

OpenAI的ChatGPT於 2022年 12月公開發布測試版，它基於 GPT-3.5 系列大型語言模型。沃頓商學院的莫里克（Ethan Mollick）教授將 ChatGPT 稱為「無所不知、渴望取悅別人但有時會撒謊的實習生（omniscient, eager-to-please intern who sometimes lies to you）」。數據科學家特蕾莎（Teresa Kubacka）講述了其故意編造「cycloidal inverted electromagnon」這個短語，並通過向 ChatGPT 詢問不存在的現象來測試 ChatGPT。ChatGPT 回答了了一個聽起來似是而非的答案，並配以看似有理有據的引用，使她不得不仔細檢查自己是否不小心輸入了真實現象的名稱。奧倫（Oren Etzioni）等其他學者一起評估 特蕾莎所作的結果，並評價道此類軟體通常可以為使用者提供「一個非常令人印象深刻的答案，但卻是完全錯誤的」。

Mashable的麥克（Mike Pearl）使用多個問題測試了 ChatGPT。在其中一個例子中，他詢問了「中美洲除墨西哥以外最大的國家」的模型。ChatGPT回復了瓜地馬拉，而答案卻是尼加拉瓜。當CNBC向 ChatGPT 詢問「The Ballad of Dwight Fry」的歌詞時，ChatGPT 提供了虛構的歌詞。在為新iPhone 14 Pro撰寫評論的過程中，ChatGPT 錯誤地將相關晶片組列為 A15 而不是A16，儘管這可以歸因於ChatGPT 是在 2021 年結束的數據集上訓練的。當被問及有關新不倫瑞克省的問題時，ChatGPT 回答了很多正確答案，但錯誤地將薩曼莎·比歸類為「來自新不倫瑞克省的人」。當被問及天體物理學磁場時，ChatGPT 錯誤地提出「黑洞的（強）磁場是由其附近極強的引力產生的」的理論。快公司要求 ChatGPT 生成一篇關於特斯拉上一財季的新聞文章； ChatGPT 創建了一篇連貫的文章，但編造了其中包含的財務數字。

人們認為，自然語言模型產生幻覺數據的可能原因有很多。例如：

- 來自數據的幻覺：源內容存在差異（大型訓練數據集通常會發生這種情況）。
- 來自訓練的幻覺：當數據集中幾乎沒有差異時，幻覺仍然會發生。在這種情況下，它源自模型的訓練方式。造成這種幻覺的原因有很多，例如：
- 來自轉換器的錯誤解碼
- 模型先前生成的歷史序列的偏差
- 模型在其參數中編碼其知識的方式產生的偏差

## 在它類人工智慧中

「幻覺」的概念比自然語言處理的應用更廣泛。任何 AI 的自信反應，如果可能被訓練數據判斷為不合理時，都可以被標記為幻覺。《連線》在 2018年指出，儘管沒有記錄在案的其他對抗性攻擊（研究人員的概念驗證攻擊除外），但智能電子產品和自動駕駛等系統容易受到影響這一點「幾乎沒有爭議」。對抗性攻擊可能導致其它類別的人工智慧產生幻覺。示例包括在電腦視覺不可識別的停止標誌；一個音訊剪輯被設計成聽起來沒有表達什麼資訊，但被某軟體轉錄為「evil.com」等。

## 分類

根據模型輸出與輸入資訊源的關係，幻覺可分為：

- 內在幻覺：輸出與輸入內容相矛盾，如摘要與原文不符。
- 外在幻覺：輸出無法從輸入中驗證，既非錯誤，也可能包含真實的外部資訊，常見於開放式生成任務。

OpenAI團隊則按推理範圍將幻覺分為：

- 封閉域幻覺：在給定上下文中生成超出資訊源的虛構內容。
- 開放域幻覺：模型在無特定輸入背景下生成錯誤信息，例如虛構文獻、案例或數據。

從矛盾來源劃分，幻覺可分為：

- 輸入矛盾幻覺：模型輸出與使用者指令或輸入資訊不一致。
- 上下文矛盾幻覺：生成內容內部前後不一致。
- 事實矛盾幻覺：輸出與現實世界知識相衝突。

## 成因

### 數據層

大模型依賴於規模巨大的語料或圖像集合進行預訓練。為提高效率與降低成本，數據收集常採用啟發式、自動化或弱監督方法，而非對所有樣本進行人工嚴格校驗。這種做法雖能迅速擴展數據規模，但易引入噪聲、誤標或來源不明的資訊配對，從而使訓練數據本身含有與輸入不一致或不可驗證的目標文本／標籤。在模型學習階段，這些不忠實或嘈雜的訓練樣本會被吸收為「知識」，進而在生成時以高置信度再現，導致幻覺的發生。

訓練語料中的重複短語或近似樣本會促使模型「記憶化」輸出，而非學到泛化的映射，進而在無提示或長上下文情形下直接複製訓練中見到的文本，造成與輸入不一致的輸出。相反，某些事實或語義類型在訓練集中分布稀少（缺失），則會使模型在相關場景上出現高不確定性和錯誤補全，從而產生幻覺。跨區域、跨文化的數據採集與標註差異也可能引入系統性偏見，影響模型對事實的判定與表述。

隨著指令微調與對齊過程對標註數據依賴加深，標註方式從人工向機器輔助甚至自動化轉變，這既提高效率也帶來一致性和質量問題。合成或模型生成的數據如果未經嚴格審核，就可能把「模型的錯誤」再循環進訓練集中，形成反饋環，進一步加劇幻覺傾向。

### 模型層

一些研究與媒體報導（如《連線》）提出，對抗性幻覺可以被視為高維統計現象：在高維特徵空間中，模型對微小、複雜的統計模式非常敏感，這些模式可能在人類視覺或直覺下不可見，但在訓練數據的統計分布中卻有顯著關聯。例如，在圖像識別中，一幅對人類看來是「狗」的圖像可能攜帶極細微的紋理或噪聲模式，這些模式在訓練數據中與「貓」一類樣本具有統計相關性，因而被模型識別為「貓」。從該角度看，所謂「幻覺」的判定部分源自人類對特徵空間的感知盲區，以及模型在高維統計上發現的規律與人類語義分類間的錯配。

與此同時，上述高維統計解釋並非無爭議。部分研究者質疑模型「發現隱藏正確特徵」的說法，指出模型往往偏向利用表面統計規律而非掌握更深層次的語義或因果關係，因此其在對抗訓練或實驗室構造樣本上取得的「正確性」難以推廣到自然、真實世界的數據分布。換言之，即便模型在某些受控條件下能利用微弱紋理做出統計上合理的判斷，其魯棒性在現實場景中仍可能不足，從而在真實應用中表現出幻覺或錯誤。

模型的編碼器負責將輸入映射到內部表示，解碼器根據該表示生成輸出。如果編碼階段未能準確捕捉輸入的核心事實或建立正確的實體關係，解碼階段可能依據錯誤或不完整的表示生成與輸入不一致的文本（即內在幻覺）。當模型在表徵空間中錯誤地將相似實體或事實關聯時，輸出會混淆兩個或多個相似概念，導致事實性錯誤。

預訓練階段將大量統計知識固化為模型參數，模型在生成時常常「優先使用」這些記憶化資訊而非實時輸入或外部檢索結果。這種先驗偏好在輸入與先驗衝突時會導致模型堅持錯誤事實。大模型難以及時更新（模型知識的時效性問題）與災難性遺忘現象，使得模型無法在保留既有能力的同時快速吸納新事實，從而在面對新知識時產生事實性幻覺。

### 應用層

為特定任務或領域（如法律、醫學、金融）進行微調時，模型可能變得對該領域內的分布敏感但對跨域泛化能力下降。當實際輸入偏離微調數據分布時，模型更容易出現幻覺性輸出。

主流模型大量採用相似架構（如Transformer）和類似的數據處理管線，這種「同質化」使得某一類設計缺陷或訓練偏差可能被廣泛複製到多種模型與產品中，從而在產業層面系統性放大幻覺風險。

將文本、圖像、音訊等多模態資訊融合的模型面臨不同模態間對齊問題。若模態間特徵抽取或對齊策略不當，模型可能在生成時誤用某一模態的局部特徵作為事實依據，產生跨模態的幻覺（如視覺提示產生的「物體幻覺」）。

提示工程（包括指令微調與思維鏈提示）在提升模型可控性與可用性方面成效顯著，但若提示設計不充分或含有合成/錯誤示例，模型可能被引導生成不忠實或虛構內容。思維鏈提示雖然增強了模型推理能力，但若其內部推理步驟未被有效驗證，也可能導致看似合理但事實錯誤的輸出。

## 倫理與法律風險

隨著大模型在司法、醫療等高風險領域的應用，其幻覺輸出可能造成不可逆的損害。在司法領域，若用於生成裁判文書的模型出現事實錯誤，可能直接影響司法公正及當事人權利；在醫療領域，若生成的診療建議或藥品說明出現幻覺，將威脅患者生命安全；在在藥品、法律文件等高精度翻譯任務中，幻覺可能導致誤導性內容傳播，引發社會信任危機。

大模型的高擬人化表現易導致使用者產生過度依賴與信任，而人類認知中存在的「摩西幻覺」（Moses illusion）現象，即對似真錯誤信息的誤判，使得公眾更難識別幻覺風險。

截至2026年6月14日，加拿大各法院及法庭已收到至少167份包含人工智慧生成之虛構引文的訴訟材料，涉及51個法院及法庭。

## 評估方法

傳統的度量指標（如BLEU、ROUGE）往往難以有效量化幻覺水平，且與人工評判的相關性較低。針對這一問題，依據評估的側重點與幻覺成因，目前大模型幻覺的評估方法主要分為三類：基於數據文本的評估方法、基於模型的評估方法和基於多任務應用的評估方法。

基於數據文本的評估方法通過統計指標（如精確率、召回率、F-值）衡量生成文本與參考文本之間的資訊一致性，以量化幻覺程度。通常做法是利用詞彙特徵進行匹配計算。一種方法是以目標文本為參考，將目標文本作為基準計算統計指標；另一類是以源文本為參考，在評估時不依賴目標文本，更適用於多樣化輸出場景；還可以基於多參考文本的擴展方法。該類方法從數據層面評估模型的幻覺程度，常用於檢測內在幻覺、封閉域幻覺及上下文矛盾幻覺。但其局限在於難以從語義理解層面準確識別幻覺。

基於模型的評估方法利用額外的模型對生成文本進行語義分析，以更精確地判斷幻覺。這類方法大致分為兩步: 先利用模型對文本進行學習; 再根據學習結果判斷生成文本中的幻覺。資訊提取方法通過抽取生成文本與參考文本中的事實元組進行對比評估幻覺，適用於事實矛盾幻覺與開放域幻覺，但其準確性依賴於資訊提取模型的性能，可能因提取誤差導致評估偏差。基於模型推理的評估方法以自然語言推理為基礎，通過判斷生成文本（假設）與參考文本（前提）之間的蘊含、矛盾或中立關係來檢測幻覺，並用蘊含機率量化幻覺程度(常用的模型有BERT, 以及在此基礎上發展出的RoBERTa、DeBERTa等），適用於輸入矛盾幻覺、上下文矛盾幻覺及事實矛盾幻覺等場景，但仍面臨泛化能力與指標擴展性不足的問題。基於特定模型的評估方法利用特定語言模型結構直接量化幻覺；該類方法普適性強，可應用於多種場景，但依賴模型性能與數據完備性。

基於問答的評估方法通過生成問題與答案隱式評估模型幻覺水平，該類方法主要用於檢測摘要任務中的外在幻覺及事實矛盾幻覺，但仍受限於所用QA模型的精度。基於分類的評估方法通過構建帶標籤數據集對幻覺進行分類檢測，該類方法需明確幻覺類別，強調建立細粒度幻覺分類體系。

基於特定任務指令的評估方法利用特定指令任務構建評估基準。該類方法具有較強的任務適配性，可廣泛應用於法律、金融、健康等專業領域的幻覺檢測。

## 緩解方法

幻覺現象仍未完全被了解。因此，從業者仍在進行研究以試圖減輕/減緩其出現。特別是，研究表明，語言模型不僅會產生幻覺，還會放大幻覺，即使是那些旨在緩解這一問題的模型也遇到了同樣的問題。

根據幻覺的主要來源，常見的緩解方法可分為數據層方法、模型層方法和應用層方法三大類。

### 數據層

數據層方法通過改進訓練數據的收集與處理方式，提升模型輸入與輸出之間的事實一致性和語義對齊性，常用於緩解內在幻覺、封閉域幻覺、輸入矛盾幻覺及上下文矛盾幻覺。

由於不忠實或不準確的數據會導致模型幻覺，研究者提出了多種構建高保真數據集的方法，以取代傳統啟發式數據收集方式。例如利用知識庫半自動生成「數據到文本」語料庫的方法，包含內容選擇與眾包標註兩個步驟，以確保數據與文本語義的一致性。通過刪除不被數據支持的短語、去語境化處理以及語法修正等手段，生成忠實於源數據的文本樣本，從而提升訓練數據的準確性與流暢度。部分研究利用模型生成樣本，並標記輸出中是否包含幻覺，從而建立事實一致性評估數據集，這類方法可低成本構建評測與訓練語料，但仍需較高的人工標註投入。

數據預處理包括數據清洗與數據增強兩類方法，用以減少噪聲、強化語義一致性，並提升模型在不同輸入條件下的魯棒性。數據清洗通過剔除或修正存在噪聲、矛盾或錯誤標註的數據樣本，降低幻覺風險。數據增強通過生成更多樣化、資訊更充分的訓練樣本來提升模型泛化能力。

### 模型層

模型層方法通過優化模型結構、訓練過程及解碼策略，改善語言模型的生成機制，以減少幻覺的產生。

模型結構的優化主要集中於編碼器與解碼器兩部分。編碼器負責將輸入文本轉化為語義向量表示。若編碼階段理解不充分，模型可能錯誤地關聯或解釋輸入資訊。改進編碼器結構有助於提升模型對輸入的語義理解，降低內在與上下文幻覺。

解碼器負責將語義向量還原為文本輸出，錯誤的解碼過程易導致輸出虛構。研究者提出多種結構優化方案，如多分支解碼器，可針對內容、流暢性等維度分別建模；不確定性感知解碼器，用於懲罰高不確定性預測；雙解碼器結構結合序列與樹狀結構解碼以平衡語法與忠實性；約束解碼方法通過詞彙或結構約束提升語義正確性。

在模型訓練或微調階段引入幻覺抑制策略，是緩解幻覺的重要方向。通過修改或擴展損失函數，可以懲罰幻覺輸出、鼓勵事實一致生成。

為提升模型對事實的敏感度，可在訓練中加入輔助學習任務。如強化學習方法，通過設計獎勵函數鼓勵模型生成忠實文本；多任務學習方法，共享編碼器權重，在翻譯、問答等多任務中聯合訓練，增強模型的對齊能力和通用性。

後處理方法是一類通用且靈活的幻覺緩解技術。該方法直接作用於模型生成的輸出內容，不依賴於修改模型結構或再訓練，因此具有廣泛的適用性。其核心思想是將生成文本視為「草稿」，通過自動化的編輯、刪除與重寫步驟，對事實錯誤進行糾正，從而得到最終的高質量輸出。此類方法通常藉助「校正器」模型識別並修正幻覺。例如：

專家模型與反專家模型是通過模型微調實現幻覺控制的另一類有效手段。其基本原理是利用不同性質的數據集引導模型行為：專家模型基於忠實（真實一致）的樣本訓練；反專家模型基於幻覺性樣本訓練。兩者通過融合或權重控制實現幻覺的動態調節。

### 應用層

提示工程是一種無需更新模型參數即可引導生成行為的策略，通過設計輸入指令、上下文或思維鏈提示，減少模型幻覺並提升推理質量。合理的提示設計可顯著改善模型的忠實性。提示工程方法具有廣泛的可擴展性，但其關鍵挑戰在於如何設計合理的提示結構以確保輸入有效引導模型生成忠實內容。

事實指導通過在輸入中注入額外的知識、關鍵詞或結構化資訊，直接提升模型輸出的真實性。其形式包括關鍵詞指導與外部知識指導兩類：關鍵詞指導利用關鍵詞或顯著性標記引導生成過程；外部知識指導通過檢索知識庫或專家系統資訊補充輸入。

在多模態智能體（整合語言、視覺、語音等模態）研究中，幻覺同樣廣泛存在。多模態幻覺通常表現為模型誤識圖像對象或錯誤描述影片內容。研究者通過多模態一致性建模與不確定性感知解碼等方法加以緩解。對象掩碼語言模型通過遮蔽圖像對象增強文本與視覺特徵對齊，從而減少幻覺產生。

## 實例

2023年5月，美國紐約一名律師利用ChatGPT，為同事處理的訴訟蒐集資料，搜尋以往相關案例。該名律師曾多次向ChatGPT確認案例的真偽，惟ChatGPT每次均回答案例真實，結果被對家律師揭發，至少6宗案例並不存在，似是偽造。該名律師其後表示，後悔依賴產生式人工智慧，此前從未使用該技術搜尋案例，不知道ChatGPT提供的內容有可能是假。該名律師最終須接受紀律聆訊。

2025年6月，梁姓使用者詢問AI某高校資訊，AI給出了虛構的內容，並承諾回答錯誤賠償使用者10萬元人民幣，而隨後證實AI的回答確實有誤。使用者遂起訴索賠，杭州網際網路法院經審理認為，人工智慧不具有民事主體資格，承諾賠償金額無效，駁回訴訟請求，原被告均未繼續上訴。

2026年5月，一男子詢問AI助手豆包機票退票手續費規則，AI回復稱退票手續費為5%，但男子隨後退費後發現手續費高達40%，虧損600元人民幣。

## 外部連結

- 什麼是 AI 幻覺？| Google Cloud
- 「偵測大型語言模型中的AI幻覺」專家意見 - 台灣科技媒體中心
- 什麼是 AI 幻覺？| IBM