⼤規模⾔語モデルにおけるハルシネーションとその対策
2024年7⽉17⽇
国⽴情報学研究所 ⼤規模⾔語モデル研究開発センター
特任研究員 蔦 侑磨1

⼤規模⾔語モデル（LLM）• 翻訳・要約・対話など様々な⽤途に利⽤される

翻訳

要約

対話型サービス（ ChatGPT ）• LLMの課題• 正しい出⼒を⾏えているか（関連課題：ハルシネーション）• プライバシーとセキュリティ• 膨⼤な計算リソース
2

LLMの課題：ハルシネーション• ハルシネーションとは？

• ⽣成された⽂が現実の事実やユーザーの⼊⼒と⼀致しない現象• ⼊⼒例１：⽉に最初に着陸した⼈は誰？
• 誤回答例：⼈類で初めて⽉に降り⽴ったのはチャールズ・リンドバーグです• ⼊⼒例２：唾液アミラーゼの働きは？
• 誤回答例：唾液アミラーゼは、⾷べ物に含まれるでんぷんを分解し、胃で消化されやすい状態にする• 引⽤https://www.yomiuri.co.jp/kyoiku/kyoiku/news/20240306-OYT1T50080/• 情報の正確性の重要な分野では重⼤な問題• 医療、法務、ニュースなど
以降では次の論⽂を参考に説明•

A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

3

ハルシネーションの種類• 事実性ハルシネーションと忠実性ハルシネーション• 事実性ハルシネーション（ factuality hallucination ）• 事実と異なる情報を⽣成• 忠実性ハルシネーション（ faithfulness hallucination ）• ユーザーの指⽰に反する⽣成• 内因性・外因性ハルシネーションという分類もある• 詳細は割愛
4

事実性ハルシネーションの具体例
事実性ハルシネーション：事実と異なる情報を⽣成• 事実的不⼀致（ factual inconsistency ）• ⼊⼒: ⽉に最初に着陸した⼈は誰ですか？
• 誤回答例：チャールズ・リンドバーグ• 正回答例：ニール・アームストロング• 事実の捏造（ factual fabrication ）• ⼊⼒：ユニコーンの起源について教えてください• 誤回答例：• ユニコーンは、紀元前10,000年頃にアトランティスの平原を駆け抜けたとされ、王族と神聖視されていました5

忠実性ハルシネーションの具体例• 忠実性ハルシネーション: ユーザーの指⽰に反する⽣成• 指⽰の不⼀致 (instruction inconsistency)• 次の英⽂を翻訳して “What is the capital of Japan?”• 誤回答例：The capital of Japan is Tokyo.

• コンテキストの不⼀致(context inconsistency )• ⼊⼒：次の⽂を要約して「信濃川は⽇本で最も⻑い川で、新潟県と⻑野県を流れています。
川の源流は⻑野県の⼭間部にあり、⽇本海に注ぎます。」• 誤回答例：信濃川の源流は新潟県にあり、⽇本海に注ぎます。

• 論理的不⼀致（ logical inconsistency ）• ⼊⼒：次の⽅程式をステップバイステップで解いてください: 2x + 3 = 11
• 誤回答例：ステップ1：両辺から3を引いて、2x = 8 とします。
ステップ2：両辺を2で割って、x = 3 とします6

話の流れ
• イントロダクション• ハルシネーションの概要• ハルシネーションの種類• ハルシネーションの原因• ハルシネーションの対策

予備知識：⼤規模⾔語モデルの学習について• 検出⽅法• 緩和策• 結論と今後の課題
7

予備知識：⼤規模⾔語モデルの学習• ⼤規模⾔語モデルの学習の仕組み
学習

膨⼤なテキストデータ

推論

⼤規模⾔語モデル

翻訳

要約• 主な学習ステップ
1. 事前学習：⼊⼒⽂の次のトークン（≒単語）を予測• 例：（⼊⼒）私は朝にパンを -> （予測）⾷べた

2. ファイチューニング：タスク（翻訳や要約など）の⼊出⼒を学習
3. RLHF：⼈にとって魅⼒的な⽂章を学習• 正解⽂が必ずしも⼈にとって魅⼒的でない• Reinforcement Learning from Human Feedback の略
8ハルシネーションの原因
学習⽅法の問題 推論時の問題•データの問題
⼤規模⾔語モデルの学習の仕組み
学習

膨⼤なテキストデータ

推論

⼤規模⾔語モデル

翻訳

要約• 主な学習ステップ
1. 事前学習：⼊⼒⽂の次のトークン（≒単語）を予測• 例：（⼊⼒）私は朝にパンを -> （予測）⾷べた

2. ファイチューニング：タスク（翻訳や要約など）の⼊出⼒を学習
3. RLHF：⼈にとって魅⼒的な⽂章を学習• 正解⽂が必ずしも⼈にとって魅⼒的でない• Reinforcement Learning from Human Feedback の略
9ハルシネーションの原因（⼀部）• データの質の問題• データ中の誤った情報• データに含まれるバイアス• 社会的バイアス：医者は男性が多い• 専⾨知識や最新の知識の不⾜• 学習⽅法の問題• ⼈に好ましい応答の学習（RLHF）により⼈に合わせた回答を⾏う• ⼊⼒：地球は平⾯ですか？ -> 回答：はい、地球は平らです [Sharma et al., 2023]• 推論時の問題• 出⼒に過度に注意することにより⼊⼒のコンテキストを無視する
10

ハルシネーションへの対策• ハルシネーション検出• モデルのハルシネーションを検知することで以下が可能に• 性能評価• ⽣成後の事後編集・⽂の再出⼒• ⽣成テキストの正確性への注意喚起• ハルシネーション緩和• 問題を軽減できる⽅法を導⼊• データの質の問題• トレーニング⽅法の問題• 推論アルゴリズムの問題
11ハルシネーションの検出⽅法• 外部の事実を利⽤した検証• ⽣成⽂を信頼できる外部の情報源と⽐較して検証• 出⼒の不確実性(uncertainty)を推定• 不確実性：どの程度同じ出⼒を⼀貫して⾏いにくいか• モデルの内部状態や挙動から不確実性を推定し、ハルシネーションの可能性を評価• 想定：ハルシネーションする=情報源が曖昧なため、出⼒が不確実

12

ハルシネーションの検出⽅法：
外部の事実を利⽤した検証• ⽅法:

1. ウェブやデータベースなどの外部情報源から情報を収集
2. 収集した情報と⽣成⽂で⽭盾がないか確認• 具体例:

1. 質問：ヒマラヤ⼭脈の最⾼峰は何ですか？
2. 出⼒：ヒマラヤ⼭脈の最⾼峰はK2です。
3. 検証：「エベレスト」が正しい答え（外部情報源を参照）• 利点と⽋点• 利点: 精度が⾼く、信頼性の⾼い結果を得られる• ⽋点: リアルタイムでの外部情報源へのアクセスが必要であり、時間がかかる
13

ハルシネーションの検出⽅法：
出⼒の不確実性を推定• 想定：ハルシネーションする=情報源が曖昧なため出⼒が不確実• ⽅法１：モデルの内部状態の利⽤• トークン出⼒確率などの内部状態を分析し不確実性を評価• トークンの出⼒確率が低い場合、モデルは他の出⼒を考慮するため不確実性が⾼い• ⽅法２：モデルの挙動の観察• モデルの出⼒のパターンを観察し不確実性を推定• 同じ質問に対して異なる回答を⽣成する場合、不確実性が⾼い• 利点と⽋点• 利点: 外部情報源に依存せず、リアルタイムでの検出が可能。
• ⽋点: 不確実性推定の精度が外部情報源を利⽤する⽅法よりも低い
14

ハルシネーションの緩和策（⼀部）• データの質の向上• 誤情報の削減： データクリーニング• バイアスの軽減：多様なデータソースからのデータ収集• データソースを検索可能な仕組みを導⼊：Retrieval-Augmented Generation model[Lewis et al., 2020]• トレーニング⽬標の改善• ⼈間のフィードバックを吟味する• 推論アルゴリズムの改善• アンサンブルモデル：• 複数のモデルの出⼒を組み合わせて、最も信頼性の⾼い出⼒を選択
15

まとめ• ハルシネーションについて包括的に紹介• 種類・原因・対策⽅法など• 今後の課題と⽅向性• ハルシネーションの定義について統⼀的な基準がない• タスク依存性が⾼く汎⽤的な評価⽅法の確⽴が困難• ハルシネーションの完全な防⽌は可能か？
• ハルシネーションを完全に防ぐか、最⼩限に抑えるか• ユーザーインターフェースの構築• ハルシネーションを簡単に識別し、フィードバックを提供できるインターフェースの設計も考慮されたい（情報源の提供など）
16