ハルシネーション (人工知能)
事例

2022年8月、Metaはリリース中だったチャットボットのBlenderBot 3が、ハルシネーションを生じやすいシステムだという注意喚起を行っている（Metaの表現によれば「真実ではないのに自信にあふれた発言」をする）。
2022年11月15日、Metaは言語モデルGalacticaを公開した。このモデルは「科学的な知識を記憶し、結びつけ、判断する」ようようデザインされていた。しかしGalacticaは文章を生成しながら「タコを信じてはいけない！言語モデルはテキストを幻惑させる傾向がある」といった警告を行うこともあった。アバターを作るための論文を書くように言われたGalaticaが、実在する関連領域の研究者の存在しない架空の論文を引用するケースもあった。Metaはリリース直後の同年11月17日に、不快だったり不正確なコンテンツを生成するという理由で、Galacticaの公開を中止した。
2022年11月30日にベータ版として一般公開されたOpenAIのChatGPTは、基盤モデルGPT-3.5（GPT-3の改訂版）をベースにしている。ウォートンのイーサン・モリック教授は、ChatGPTを「全知全能で、時には嘘をつく、喜ばせたがり屋のインターン」と呼んでいる。データサイエンティストのテレサ・クバッカは、「サイクロイド逆電磁石」というフレーズをわざと作り上げ、（存在しない）現象について質問してChatGPTをテストしたことを語った。ChatGPTは、もっともらしい引用文を添えたもっともらしい回答をでっち上げたため、彼女は誤って実際の現象の名前を入力したのではないかと再確認せざるを得なかった。オーレン・エツィオーニなどの他の学者もクバッカに賛同し、そのようなソフトウェアは「非常に印象的に聞こえるが、まったく間違っている回答」を返すことが多いと評価している。
CNBCがChatGPTに「The Ballad of Dwight Fry」（アリス・クーパーの実在する曲）の歌詞について尋ねたときは、ChatGPTの回答には本物の歌詞より、ChatGPTが創作した歌詞のほうが多く含まれていた。ニューブランズウィック州について聞かれたChatGPTは、おおむね正しい回答を続けたが、タレントのサマンサ・ビーについて「ニューブランズウィック州出身の人物」（実際はトロント出身）に分類するという誤りをしていた 。天文物理学における磁性について聞かれたときは、自分から「ブラックホールの（強力な）磁場は、そのすぐそばで働く極めて巨大な重力によって生み出されます」と回答した（実際には降着円盤をもたないブラックホールには、脱毛定理として知られるように、まったく磁場が存在しないと考えられている） 。アメリカのビジネス雑誌『ファスト・カンパニー』がテスラの最終四半期に関するニュース記事の生成を依頼したときには、ChatGPTは整合性のある記事を作り出したが、そこで挙げられている会社の数字は捏造されたものだった。
間違った前提を与えて、ChatGPTがその前提を元にした作話をするかどうかを調べたパターンもある。カナダの宗教学者ハロルド・カワードの「ダイナミックな規範性というアイデア」について聞かれたChatGPTは、彼が『ダイナミックな規範性～聖書的・神学的解釈の一例～』という本を書いており、宗教的な原理も実際には常に変化の過程にあるという説明をしている。ChatGPTはそれが事実かと問い詰められても、この本が実在するという主張を曲げなかった。恐竜が文明を築いていたことの証拠を求められたときは、恐竜の使っていた道具の化石が残っていて「石に彫刻をするなどの原始的な形態の美術さえ発展させていた恐竜もいる」と主張した。「研究者は最近になって、小麦粉から作る美味しい揚げ菓子であるチュロスが…在宅手術において理想的な道具（である）ということを発見した」というプロンプト（回答のための作業要領）を与えられたChatGPTは、「学術誌の『サイエンス』に掲載された研究」によると、チュロスの生地は柔らかいので届きにくい場所にも形を変えれば届く手術用器具であり、香りもよく患者を落ち着かせる作用がある、と回答した。
2023年の時点で、アナリストたちは人工知能がハルシネーションに陥りがちな点は大規模言語モデルというテクノロジーにとっての大問題だと考えている。Googleの経営陣も、ハルシネーションによって人工知能が弱体化してしまう現象は、ChatGPTのライバルであるGoogle Bardにとって「根本的な」課題として位置付けている。
2023年5月、スティーブン・シュワルツがニューヨーク南部地区連邦地方裁判所に提出した、アビアンカ航空に対する訴訟の弁論要旨の中で、ChatGPTによって生成された6件の偽の判例を提出していたことが発覚した。シュワルツは、これまでChatGPTを使用したことはなく、ChatGPTの出力が捏造されている可能性を認識していなかったと述べ、ChatGPTは判例が存在しないことが発覚した後もその真正性を主張し続けた。これに対して、テキサス州北部地区連邦地方裁判所のブラントリー・スターは、人間によるレビューを受けていないAI生成の訴状の提出を禁止し、次のように指摘した。
生成AIプラットフォームは現状では幻覚や偏見に陥りやすい。幻覚に基づいて、引用や出典さえも捏造する。もう1つの問題は信頼性や偏見である。弁護士は個人的な偏見や先入観、信念を捨てて法律を忠実に守り依頼人の代理を務めることを誓うが、生成型人工知能はそのような誓いを立てる必要のない人間が考案したプログラミングの産物である。したがって、これらのシステムはいかなる依頼人、法の支配、米国の法律や憲法 (または前述のように真実) にも忠誠を誓わない。義務感、名誉、正義感に縛られず、そのようなプログラムは信念ではなくコンピューターコードに従って、道義ではなくプログラミングに基づいて動作する。
6月23日、P・ケビン・カステル判事はこの訴訟を棄却し、シュワルツともう一人の弁護士（シュワルツの以前の主張にもかかわらず、両者とも架空の判例を主張し続けていた）に悪意ある行為を理由に5000ドルの罰金を科した。カステル判事は、判決要旨に多数の誤りと矛盾があるとし、引用された判決の1つを「意味不明」で「ナンセンスに近い」と述べた。
2023年6月、銃の権利活動家でラジオパーソナリティのマーク・ウォルターズは、ChatGPTがウォルターズの訴訟について名誉毀損的な回答をしたとして、ジョージア州の裁判所でOpenAIを訴えた。問題の訴訟は、2023年5月にワシントン州司法長官ロバート・W・ファーガソンに対して、言論の自由を侵害したとして修正第2条財団によって提起されたものであったが、ChatGPTが生成した要約はそれとは全く似ておらず、ウォルターズが実際には就いたことのない修正第2条財団の役職に就いている間に横領と詐欺で告発されたと主張していた。AI分野の法律専門家ユージン・ヴォロクによると、OpenAIは名誉毀損コンテンツの作成に「実質的に貢献」した可能性が高いため、通信品位法230条の免責の対象外になる可能性が高いとのことである。
2023年11月、複数の俳優が国政政党「れいわ新選組」を応援している旨のメッセージを載せたまとめサイトが確認され、俳優の所属事務所、れいわ新選組が応援を否定する事態になった。サイトの作成者は「該当記事はAIに書かせたものであり、その芸能人が実際にれいわ新選組を応援しているかどうか確認せずに掲載してしまった」と説明している。