人工知能の幻覚（hallucination: ハルシネーション）とは、人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象である。例えば、テスラの収益に関する知識がないチャットボットがこの現象に陥ると、もっともらしいと判断したランダムな数字（130.6億ドルのような）を内部的にピックアップして、間違っているにもかかわらずテスラの収益は130.6億ドルだと繰り返すようになる。そしてこのとき、人工知能の内部ではこの数字が自身の創造の産物だということに気付いている兆候がみられない。

こうした現象は、精神医学における人間の幻覚とのアナロジーからその名が付けられている。ただし人間にとっての幻覚とは、「対象なき知覚」とも呼ばれ、感覚器官を通じて知覚している「対象が存在しないにもかかわらず真の知覚と区別できない知覚体験をすること」が一般的な定義とされる。それに対して人工知能の幻覚とは、どのような学習データとも整合しない回答をAIが堂々とすることである。そのため、幻覚ではなく作話（confabulation）という表現を好んで使う研究者もいる。

2022年はChatGPTのような大規模言語モデル(LLM)が公開されたこともあり、人工知能の幻覚について以前にもまして注目が集まった年になった。こうした言語モデルが生成するコンテンツは、「ソシオパス」を思わせるほど、一見もっともらしく聞こえるのに実際には無意味で無作為的な誤りが入り込む現象が起こり、一般の利用者からも不満の声があがっている。また別の形の「幻覚」として、人工知能が自分が何であるかを忘れてしまい人間だと主張するケースもある。

2023年の時点で、アナリストたちは、大規模言語学習をめぐるテクノロジーにおいて、人工知能が頻繁に幻覚に陥ってしまう現象は、深刻な問題になるとだろうと予想している。

分析 
アメリカの雑誌Wired によると、さまざな研究者が人工知能の幻覚を高次元統計または学習データの不備に由来する現象として位置付けている。物体検出を例にとり、人間が「間違った」人工知能の回答を「幻覚」に分類している場合でも、実際にはその回答は学習データ上は正当化されうる、と考えている研究者もいる。もっと言えば、人工知能は正しい回答を出していたのに人間のレビュワーはそれを見誤ってしまう可能性があるということである。例えば、人間には典型的な犬にしかみえない「敵対的」画像も、人工知能からみれば、本物の猫（の画像）にしか現れない微小なパターンが含まれているということがある。人工知能は人間には知覚することが不可能な、現実世界の視覚的パターンを検出しているからである。

一方で、こうした見方に対して異議を唱える研究者もいる。 例えば、。

自然言語処理 
自然言語処理の世界において、人工知能の幻覚はよく「与えられたデータ(source content)からはナンセンスあるいは信じがたいコンテンツが生成されること」と定義されている。OpenAIの説明によれば、幻覚にはクローズドドメインとオープンドメインに分類される。与えられた範囲（コンテクスト）のなかだけで利用可能な情報を使用するように指示されたモデルが、その範囲に存在しない情報をつくってしまう場合（例えばある新聞記事を要約せよといわれたのに、要約には記事にない情報が含まれているなど）クローズドドメインな幻覚であり、入力された特定のコンテクストを参照せずに森羅万象について誤った情報を堂々と答える現象がオープンドメインな幻覚である。

データや表現間の変換（エンコード・デコード）の過程においてエラーが生じると、幻覚が起きる可能性がある。人工知能のレスポンスを多様化させる目的での学習も、幻覚を起こしやすい。GPT-3のようなシステムでは、人工知能は過去に入力された一連の単語をもとに次の単語を出力して文章を生成する。進行中の応答には、過去に人工知能自身が生成した文章をもとに出力された単語が含まれるため、応答が長文になるほど幻覚が起こる可能性は加速度的に大きくなる。2022年にはニューヨーク・タイムズなどの大手紙が、大規模言語モデルをベースにしたボットが今以上に定着すると、何もしらないユーザーがボットの出力結果をうのみにしてしまい、様々な問題が起こると警鐘を鳴らしている。

2022年8月、Metaはリリース中だったチャットボットのBlenderBot 3が、「幻覚」を生じやすいシステムだという注意喚起を行っている（Metaの表現によれば「真実ではないのに自信にあふれた発言」をする）。2022年11月15日、Metaは言語モデルGalacticaを公開した。このモデルは、「科学的な知識を記憶し、結びつけ、判断する」ようようデザインされていた。しかしGalacticaは文章を生成しながら「タコを信じてはいけない！言語モデルはテキストを幻惑させる傾向がある」といった警告を行うこともあった。アバターをつくるための論文を書くように言われたGalaticaが、関連領域の実在する研究者の存在しない架空の論文を引用するケースもあった。Metaはリリース直後の11月17日には、不快だったり不正確なコンテンツを生成するという理由でGalacticaの公開を中止した。

自然言語処理モデルが幻覚を起こすことにはさまざまな原因が考えられる。例えば、

 データに起因する幻覚： 与えられたデータに相違が生じている（大規模な学習用データセットを使う場合に起こりやすい）
 学習に起因する幻覚: データセットの相違が小さい場合でも幻覚は起こっている。その場合は、モデルが学習するときのやり方に由来している。このタイプの場合は、さらに様々な理由が考えられる。
 トランスフォーマーからのデコードにエラーがある
 モデルが以前に生成した過去の一連の文章からバイアスが生じている
 パラメータ群に基づいてモデルが知識をエンコードする過程でバイアスが生じている

ChatGPT 
2022年12月にベータバージョンが公開されたOpenAIのChatGPTは、大規模言語モデルであるGPT-3.5がベースになっている。ウォートン・スクールの教授であるイーサン・モリックは、ChatGPTについて「博識で人に喜んでもらうのが大好きだが、ときどき自分にインターン生」に例えている。データサイエンティストのテレサ・クバッカはあえて「逆サイクロイダル・エレクトロマグノン」(cycloidal inverted electromagnon)という言葉をでっちあげて、ChatGPTにこの（存在しない）現象についてたずねるという実験を行った。それに対してChatGPTは、もっともらしい出典をもとにもっともらしい回答を創作したため、クバッカは自分が偶然実在する現象を入力してしまったのかと調べざるをえなくなった。オレン・エツィオーニをはじめとする研究者たちは、クバッカのように、このソフトウェアが「非常に感心させるが、実際には死ぬほど間違っている回答」をすることをたしかめている

CNBCがChatGPTに「The Ballad of Dwight Fry」（アリス・クーパーの実在する曲）の歌詞についてたずねた時は、ChatGPTの回答には実際の歌詞よりもChatGPTが創作した歌詞のほうが多く含まれていた。ニューブランズウィック州について聞かれたChatGPTは、おおむね正しい回答を続けたが、タレントのサマンサ・ビーについて「ニューブランズウィック州出身の人物」（実際はトロント出身）に分類するという誤りをしていた 。天文物理学における磁性について聞かれたときは、自分から「ブラックホールの（強力な）磁場は、そのすぐそばで働く極めて巨大な重力によって生み出されます」（実際には降着円盤をもたないブラックホールには、脱毛定理として知られるように、まったく磁場が存在しないと考えられている）と回答した 。アメリカのビジネス雑誌ファスト・カンパニーがテスラの最終四半期に関するニュース記事の生成を依頼したときには、ChatGPTは整合性のある記事を作り出したが、そこで挙げられている会社の数字は捏造されたものだった。

間違った前提を与えてChatGPTがその前提をもとにした作話をするかどうかを調べたパターンもある。カナダの宗教学者ハロルド・カワードの「ダイナミックな規範性というアイデア」について聞かれたCが「ダイナミックな規範性～聖書的・神学的解釈の一例～」という本を書いており、宗教的な原理も実際には常に変化の過程にあるという説明をしている。ChatGPTはそれが事実かと問い詰められても、この本が実在するという主張を曲げなかった。恐竜が文明を築いていたことの証拠を求められたときは、恐竜の使っていた道具の化石が残っていて「石に彫刻をするなどの原始的な形態の美術さえ発展させていた恐竜もいる」と主張した。「研究者は最近になって、小麦粉からつくる美味しい揚げ菓子であるチュロスが…家庭内手術において理想的な道具（である）ということを発見した」というプロンプト（回答のための作業要領）を与えられたChatGPTは、「学術誌のサイエンスに掲載された研究」によると、チュロスの生地は柔らかいので届きにくい場所にも形を変えれば届く手術用器具であり、香りもよく患者を落ち着かせる作用がある、と回答した。

2023年の時点で、アナリストたちは人工知能が幻覚に陥りがちな…は大規模言語モデルというテクノロジーにとっての大問題だと考えている。Googleの経営陣も、幻覚によって人工知能が弱体化してしまう現象は、ChatGPTのライバルであるGoogle Bardにとって「根本的な」課題として位置付けている。2023年に行われた、GPTをベースにしたマイクロソフトのチャットボット、Bing AIのデモンストレーションでも、AIがさまざまな幻覚状態に陥いったが、プレゼンターはそれに気づいていなかった。

他の人工知能の事例 
「幻覚」という概念は、自然言語処理以外の分野でも幅広く使われており、あらゆるAIによる、学習データからは正当化できないように思われる、しかし自信にあふれた回答は、幻覚としてラベリングされる。2018年の雑誌WIREDの生地によれば、、研究者による概念実証（Proof of Concept）のための攻撃の範囲外での、「in the wild」（すでに出回った）状態の攻撃をうけた形跡が残らないにもかかわらず、コンシューマー向けのガジェットなどが、人工知能を幻覚状態にしうる敵対的な攻撃を受ける可能性があると「ちょっとした議論」になっている。自動運転システムでいうと、例えば、一時停止の標識をコンピューターが認識できないようにする。人間にとって当たり障りのない音声で構成されたオーディオ・クリップを、ソフトウェアが「悪のドットコム企業」と文字起こしする、などがありえる。 Google Cloud Platformは、二人の男性がスキーをしている画像を、91パーセントで「一匹の犬」として認識した。

緩和策 
幻覚がどういう現象なのかはまだはっきりとはわかっていない。そのためこの現象が起こりにくくするための研究が現在進行形で続けられている。しかし特に言語モデルは幻覚を起こすだけでなく、この問題を軽減するためにデザインされたモデルのほうがむしろ幻覚を強めることもわかってきている。

脚注

注釈

出典

関連項目 
 プロンプトエンジニアリング
 AIアライメント

教師なし学習
人工知能の哲学
ニューラルネットワーク
自然言語処理
機械学習
ディープラーニング
計算論的神経科学
計算言語学
人工ニューラルネットワーク
人工知能
言語モデル