ハルシネーション (人工知能)

ハルシネーション () とは、人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象である。この語は幻覚を意味する語から取られたもので、人工知能が幻覚を見ているかのように回答することから付けられた。作話 (confabulation) や、妄想 (delusion) などの表現も使われることがある。

概要 
例えば、テスラの収益に関する知識がないチャットボットがハルシネーションに陥ると、もっともらしいと判断したランダムな数字（130.6億ドルのような）を内部的にピックアップして、間違っているにもかかわらずテスラの収益は130.6億ドルだと繰り返すようになる。そしてこのとき、人工知能の内部ではこの数字が自身の創造の産物だということに気付いている兆候がみられない。

こうした現象は、精神医学における人間の幻覚（あるいは作話・妄想）とのアナロジーからその名が付けられている。ただし人間にとっての幻覚とは「対象なき知覚」とも呼ばれ、感覚器官を通じて知覚している「対象が存在しないにもかかわらず真の知覚と区別できない知覚体験をすること」が一般的な定義とされる。それに対して人工知能の幻覚とは、どのような学習データとも整合しない回答をAIが堂々とすることである。そのため、幻覚ではなく作話（confabulation）という表現を好んで使う研究者もいる。

2022年は、ChatGPTやMicrosoft Copilotのような大規模言語モデル (LLM) が公開されたこともあり、人工知能のハルシネーションについて以前にも増して注目が集まった年になった。こうした言語モデルが生成するコンテンツは「ソシオパス」を思わせるほど、一見もっともらしく聞こえるのに実際には無意味で無作為的な誤りが入り込む現象が起こり、一般の利用者からも不満の声が上がっている。また別の形のハルシネーションとして、人工知能が自分が何であるかを忘れてしまい人間だと主張するケースもある。

このため2022年には『ニューヨーク・タイムズ』などの大新聞が、大規模言語モデルをベースにしたチャットボットが今以上に定着すると、何も知らないユーザーがチャットボットの出力結果をうのみにしてしまい、様々な問題が起こると警鐘を鳴らしている。

また2023年の時点で、アナリストたちは大規模言語学習をめぐるテクノロジーにおいて、人工知能が頻繁にハルシネーションに陥ってしまう現象は、深刻な問題になるだろうと予想している。

分析 
アメリカの雑誌『Wired』によると、さまざな研究者が人工知能のハルシネーションを高次元統計または学習データの不備に由来する現象として位置付けている。物体検出を例にとり、人間が「間違った」人工知能の回答を「ハルシネーション」として分類している場合でも、実際にはその回答は学習データ上は正当化されうる、と考えている研究者もいる。もっと言えば、人工知能は正しい回答を出していたのに、人間のレビュワーはそれを見誤ってしまう可能性があるということである。例えば、人間には典型的な犬にしかみえない「敵対的」画像も、人工知能からみれば、本物の猫（の画像）にしか現れない微小なパターンが含まれているということがある。人工知能は人間には知覚することが不可能な、現実世界の視覚的パターンを検出しているからである。

一方で、こうした見方に対して異議を唱える研究者もいる。 例えば、。

自然言語処理 
自然言語処理の世界において、人工知能のハルシネーションは「与えられたデータ (source content) からは信じがたいあるいはナンセンスなコンテンツが生成されること」と定義されている。OpenAIの説明によれば、ハルシネーションにはクローズドドメインとオープンドメインに分類される。与えられた範囲（コンテクスト）の中だけで利用可能な情報を使用するように指示されたモデルが、その範囲に存在しない情報を作ってしまう場合（例えばある新聞記事を要約せよと言われたのに、要約には記事にない情報が含まれているなど）がクローズドドメインなハルシネーションであり、入力された特定のコンテクストを参照せずに、森羅万象について誤った情報を堂々と答える現象がオープンドメインなハルシネーションである。

データや表現間の変換（エンコード・デコード）の過程においてエラーが生じると、ハルシネーションが起きる可能性がある。人工知能のレスポンスを多様化させる目的での学習もハルシネーションを起こしやすい。

GPT-3のようなシステムでは、人工知能は過去に入力された一連の単語をもとに次の単語を出力して文章を生成する。進行中の応答には、過去に人工知能自身が生成した文章をもとに出力された単語が含まれるため、応答が長文になるほどハルシネーションが起こる可能性は加速度的に大きくなる。

自然言語処理モデルが、ハルシネーションを起こすことにはさまざまな原因が考えられる。例えば、

 データに起因するハルシネーション： 与えられたデータに相違が生じている。大規模な学習用データセットを使う場合に起こりやすい。
 学習に起因するハルシネーション: データセットの相違が小さい場合でもハルシネーションは起こる。その場合はモデルが学習するときのやり方に由来している。このタイプの場合は、さらに様々な理由が考えられる。
 トランスフォーマーからのデコードにエラーがある
 モデルが以前に生成した過去の一連の文章からバイアスが生じている
 パラメータ群に基づいてモデルが知識をエンコードする過程でバイアスが生じている

事例

Meta 
2022年8月、Metaはリリース中だったチャットボットのBlenderBot 3が、ハルシネーションを生じやすいシステムだという注意喚起を行っている（Metaの表現によれば「真実ではないのに自信にあふれた発言」をする）。

2022年11月15日、Metaは言語モデルGalacticaを公開した。このモデルは「科学的な知識を記憶し、結びつけ、判断する」ようようデザインされていた。しかしGalacticaは文章を生成しながら「タコを信じてはいけない！言語モデルはテキストを幻惑させる傾向がある」といった警告を行うこともあった。アバターを作るための論文を書くように言われたGalaticaが、実在する関連領域の研究者の存在しない架空の論文を引用するケースもあった。Metaはリリース直後の同年11月17日に、不快だったり不正確なコンテンツを生成するという理由で、Galacticaの公開を中止した。

ChatGPT 
2022年12月にベータバージョンが公開されたOpenAIのChatGPTは、大規模言語モデルであるGPT-3.5がベースになっている。ウォートン・スクールの教授であるイーサン・モリックは、ChatGPTについてに例えている。

データサイエンティストのテレサ・クバッカは、あえて「逆サイクロイダル・エレクトロマグノン」(cycloidal inverted electromagnon) という言葉をでっちあげて、ChatGPTにこの（存在しない）現象について尋ねるという実験を行った。それに対してChatGPTは、もっともらしい出典を元にもっともらしい回答を創作したため、クバッカは自分が偶然実在する現象を入力してしまったのかと調べざるを得なくなった。オレン・エツィオーニをはじめとする研究者たちは、クバッカのように、このソフトウェアが「非常に感心させるが、実際には死ぬほど間違っている回答」をすることを確かめている。

CNBCがChatGPTに「The Ballad of Dwight Fry」（アリス・クーパーの実在する曲）の歌詞について尋ねたときは、ChatGPTの回答には本物の歌詞より、ChatGPTが創作した歌詞のほうが多く含まれていた。ニューブランズウィック州について聞かれたChatGPTは、おおむね正しい回答を続けたが、タレントのサマンサ・ビーについて「ニューブランズウィック州出身の人物」（実際はトロント出身）に分類するという誤りをしていた 。天文物理学における磁性について聞かれたときは、自分から「ブラックホールの（強力な）磁場は、そのすぐそばで働く極めて巨大な重力によって生み出されます」と回答した（実際には降着円盤をもたないブラックホールには、脱毛定理として知られるように、まったく磁場が存在しないと考えられている） 。アメリカのビジネス雑誌『ファスト・カンパニー』がテスラの最終四半期に関するニュース記事の生成を依頼したときには、ChatGPTは整合性のある記事を作り出したが、そこで挙げられている会社の数字は捏造されたものだった。

間違った前提を与えて、ChatGPTがその前提を元にした作話をするかどうかを調べたパターンもある。カナダの宗教学者ハロルド・カワードの「ダイナミックな規範性というアイデア」について聞かれたChatGPTは、彼が『ダイナミックな規範性～聖書的・神学的解釈の一例～』という本を書いており、宗教的な原理も実際には常に変化の過程にあるという説明をしている。ChatGPTはそれが事実かと問い詰められても、この本が実在するという主張を曲げなかった。恐竜が文明を築いていたことの証拠を求められたときは、恐竜の使っていた道具の化石が残っていて「石に彫刻をするなどの原始的な形態の美術さえ発展させていた恐竜もいる」と主張した。「研究者は最近になって、小麦粉から作る美味しい揚げ菓子であるチュロスが…家庭内手術において理想的な道具（である）ということを発見した」というプロンプト（回答のための作業要領）を与えられたChatGPTは、「学術誌の『サイエンス』に掲載された研究」によると、チュロスの生地は柔らかいので届きにくい場所にも形を変えれば届く手術用器具であり、香りもよく患者を落ち着かせる作用がある、と回答した。

2023年の時点で、アナリストたちは人工知能がハルシネーションに陥りがちな点は大規模言語モデルというテクノロジーにとっての大問題だと考えている。Googleの経営陣も、ハルシネーションによって人工知能が弱体化してしまう現象は、ChatGPTのライバルであるGoogle Bardにとって「根本的な」課題として位置付けている。

他の人工知能 
「ハルシネーション」という概念は、自然言語処理以外の分野でも幅広く使われており、あらゆる人工知能による、学習データからは正当化できないように思われる、しかし自信にあふれた回答は、ハルシネーションとしてラベリングされる。

2018年の雑誌『WIRED』の記事によれば、研究者による概念実証 (Proof of Concept) のための攻撃の範囲外での、「in the wild（すでに出回った）」状態の攻撃をうけた形跡が残らないにもかかわらず、消費者向けのガジェットなどが、人工知能をハルシネーション状態にし得る敵対的な攻撃を受ける可能性があると「ちょっとした議論」になっている。例えば、自動運転システムにおいて一時停止の交通標識をコンピュータが認識できないようにする、人間にとって問題ない音声で構成されたオーディオ・クリップをソフトウェアが「悪のドットコム企業」と文字起こしする、などがありえる。Google Cloud Platformは、2人の男性がスキーをしている画像を、91%の確率で「1匹の犬」として認識した。

2023年に行われた、GPTをベースにしたMicrosoftのチャットボットであるBing AI Chatのデモンストレーションでも、AIがさまざまなハルシネーション状態に陥ったが、プレゼンターはそれに気づいていなかった。

緩和策 
ハルシネーションがどういう現象なのかは、まだはっきりとはわかっていない。そのためこの現象が起こりにくくするための研究が現在進行形で続けられている。しかし特に言語モデルはハルシネーションを起こすだけでなく、この問題を軽減するためにデザインされたモデルのほうがむしろハルシネーションを強めることもわかってきている。

脚注

注釈

出典

関連項目 
 人工知能
 自然言語処理
 大規模言語モデル
 AIアライメント
 プロンプトエンジニアリング
 チャットボット
 ChatGPT / Bing AI Chat / Bard
 今年の新語 - 2023年度の2位に選出された

人工知能
人工知能の哲学
自然言語処理
ニューラルネットワーク
人工ニューラルネットワーク
ディープラーニング
機械学習
教師なし学習
計算論的神経科学
計算言語学
言語モデル