大規模言語モデル（LLM）のモデル応答の真偽をその学習コーパスに照らして検証・分析するシステム，LLM-jpFactCheckを提案する．本システムは，モデル応答の真偽判断のための参考情報をユーザに提示するとともに，応答を支持する学習データの有無という観点から，モデルの知識獲得過程に関する仮説検討を可能にする．LLM-jpFactCheckを用いてLLM-jp-3172Bのモデル応答を分析した結果，事実として正確な応答が生成される場合はそれを支持する記述が学習コーパスに含まれる一方，事実として不正確な応答が生成される場合にそれを支持する記述は必ずしも確認されず，誤情報の生成が必ずしも誤情報の学習に起因しないことが示唆された．

大規模言語モデル（LargeLanguageModel；LLM）は膨大な学習コーパス上での事前学習を通じて広範な知識を獲得している[1,2]．しかし，その知識は完全・正確とは限らず，実際の事実と整合しない内容を生成する現象，ハルシネーションが生じることも知られている[3]．こうした背景から，LLMのモデル応答の真偽検証を行うシステムが開発されている[4,5]．真偽検証システムは，モデル応答中に含まれる主張や事実を切り出し，それらを支持または否定する記述を特定の情報源から検索・提示することで，ユーザに対†現在、NTT株式会社のビューで分析対象のLLMと対話できる．Fact-checkのボタンを押下すると，対応するモデル応答の真偽を学習コーパスに照らして検証した結果が右側のビューに表示される．して真偽判断のための参考情報を与える．一方で，LLMが保持する正確あるいは不正確な知識が何に由来するのか，学習コーパスの観点から明らかにする取り組みも進みつつある．現在までに公開されてきたLLMの多くは学習コーパスの具体的な構成が非公開であるため[6,7]，モデルが持つ知識がどのような学習データに由来するのかを直接的に分析することは困難であった．しかし近年になって学習コーパスまで含めて公開しているLLMが登場し[8,9,10,11]，モデルの知識や能力を学習コーパスの観点から分析することが可能になってきた[12,13]．本研究では，真偽検証システムの枠組みに基づき，モデル応答の真偽をその学習コーパスに照らして検証するシステムLLM-jpFactCheckを提案するThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).（正解：アイザック・ニュートン）」に対するLLM-jp-3172Bのモデル応答「リンゴが木から落ちる様子を見て「万有引力」を発見したといわれる、17世紀のイギリスの科学者はアイザック・ニュートンです。ニュートンは「万有引力の法則」を確立し、近代物理学の基礎を築きました。」の分析結果．言説根拠テキスト（抜粋）判定リンゴが木から落ちる様子を見て『万有引力』を発見したといわれる、17世紀のイギリスの科学者はアイザック・ニュートンです。た情報単位，言説に分割する．このとき，言説はそれ単体で内容が理解できるよう，代名詞を照応先の名詞で置換するなど，必要に応じて情報が補完される．言説単位で真偽検証を行うことには主に二つの目的がある．一つ目は解釈性の向上である．言説ごとに真偽検証することで，モデル応答のどの部分が正確でどの部分が不正確かを詳細に把握できる．二つ目は検証可能性の向上である．後段の根拠テキストを検索する処理において，モデル応答全体を検索クエリとして用いると，しばしば複数の事実や関係が一つのクエリに混在することになり，検索結果の関連性が低下しやすい．その結果，取得した根拠テキストに基づいてモデル応答の真偽を判定することが困難になる．言説単位で検索を行うことで，検索の焦点を単一の事実や関係に限定でき，真偽判定に有用な根拠テキストを取得しやすくなる．次に，真偽検証を行う言説を選別するため，各言説が検証に値するかを分類する．言説が何らかの情報源に基づき真偽を客観的に判断できる事柄を表す場合，検証に値すると分類する．言説が疑問や命令，挨拶，主観的な意見など，外部の情報源に基づき真偽を検証できない内容の場合，検証に値しないと分類する．検証に値する言説について，分析対象のモデルの学習コーパスから根拠テキストを検索し，得られた···１７世紀から１８世紀にかけてニュートンはりんごが木からポトッと落ちるのを見て、万有引力の法則を発見したという有名な逸話（いつわ）がある。···アイザック・ニュートンは『万有引力の法則』を確立しました。アイザック・ニュートン···万有引力を発見した話は広く知られている···支持アイザック・ニュートンは近代物理学の基礎を築きました。···アイザック・ニュートンさん···ニュートン力学を確立し、古典力学や近代物理学の祖となった。···支持ジェット団）」に対するLLM-jp-3172Bのモデル応答「映画『ウエスト・サイド物語』に登場する2つの少年グループは、「シャーク団」と「ジェット団」です。···」の分析結果．言説（抜粋）根拠テキスト（抜粋）判定映画『ウエスト・サイド物語』に登場する2つの少年グループはシャーク団とジェット団です。···{"qid":"AIO02-0001","competition":"第2回AI王","times-tamp":"2021/01/29","section":"開発データ問題","number":1,"original_question":"映画『ウエスト・サイド物語』に登場する2つの少年グループといえば、シャーク団と何団？","original_answer":"ジェット団",···支持支持根拠テキストに照らして真偽を判定する．言説が根拠テキストに含意される内容であれば支持，矛盾する内容であれば否定，判断がつかない内容であれば不明のラベルを与える．ここでの真偽判定は，実際の事実に照らしての真偽ではなく，あくまで取得した根拠テキストに照らしての真偽に着目していることに注意されたい．例えば「地球は平らだ」という実際の事実とは異なる言説であっても，取得した根拠テキストにその事実を支持する言及が含まれていれば，システムは支持のラベルを与える．4LLM-jp-3172Bの応答分析ケーススタディとして，LLM-jpFactCheckを利用し，LLM-jp-3172Bのモデル応答を分析した．LLM-jp-3172Bはおよそ2.1兆トークンの学習コーパスで学習された約1,720億パラメータのLLMである．本モデルは，モデルパラメータ，学習コーパス2）ともに一般に公開されている．ケーススタディでは，質問に対する回答を安定して生成させるため，指示チューニング済みモデル3）を使用した．モデルへの入力として，日本語質問応答データセットAI王Version2.0開発用データ1）の問題を使2）https://gitlab.llm-jp.nii.ac.jp/datasets/llm-jp-corpus-v33）https://huggingface.co/llm-jp/llm-jp-3-172b-instruct3org/licenses/by/4.0/).に対するLLM-jp-3172Bのモデル応答「···一般的には19時頃から22時頃までを指すことが多いです。」の分析結果．言説（抜粋）根拠テキスト（抜粋）判定用した．本データセットは事実型の質問を中心に構成されており，検索に基づく真偽検証と高い親和性を持つ．4.1実装の詳細言説分割，検証価値判定，真偽判定はいずれもgpt-4o(gpt-4o-2024-05-13)のプロンプティングによって行った．使用したプロンプトをA節に示す．学習コーパスの検索はBM25[18]に基づく疎ベクトル検索によって行った．実装にはElasticsearch4）を使用した．検索インデックスを構築する前処理として，LLM-jp-3172Bのトークナイザーを用いて，文書を最大300トークンのチャンクに分割した．言説の根拠テキスト検索では，言説のテキストそのものを検索クエリとし，関連度上位3件のチャンクを得た．4.2モデル応答の分析AI王Version2.0開発用データに収録されている問題に対するLLM-jp-3172Bのモデル応答から，分析対象として正解応答と不正解応答をそれぞれ10件ずつ抽出した．これらの応答についてLLM-jpFactCheckで検証を行い，正解・不正解に至った要因を分析した．正解応答を分析した結果，10件すべてでモデルの回答を支持する文書が学習コーパス中に存在することを確認した．表1に正解応答の分析例を示す．分析した正解応答では全て，本例のように学習データ中に正解応答を明確に支持する言及が存在していた．この結果は，分析対象の正解応答が，断片的な知識の統合や汎化というよりも，当該知識に関する直接的な記述を学習したことに基づき生成された可能性を示唆している．また，正解応答を分析する中で，AI王Version2.0開発用データのデータリークが存在することが確認された．表2にその例を示す．本例で得られた根拠テキストはAI王への参加報告記事の一部であり，4）https://www.elastic.co/elasticsearch一般的にはプライムタイムは19時頃から22時頃までを指すことが多い。···プライムタイムとは、···一言で説明すると『1日のうちで視聴率が最も高くなる時間帯』のことで、日本の場合、毎日19時～23時の時間帯を指す。···否定CommonCrawl5）由来の日本語Webコーパスに含まれていた．このデータリークは，本例でモデルが正解応答を生成できたことに一定程度寄与した可能性がある[19]．不正解応答の分析では，10件すべてで不正解応答を支持する文書の存在は確認されなかった6）．また，10件中8件では誤ったモデル応答を否定する，事実として正しい文書が学習コーパスに存在することが確認された．表3に不正解応答の分析例のうち，事実として正しい文書が学習コーパス中に存在した例を示す．このような例では，学習コーパス中に正解に関する記述が存在していることから，誤答の要因は学習データの不在ではなく，当該知識がモデルに定着していなかったこと，あるいは獲得した知識を推論時に適切に想起できなかったことにあると考えられる[15]．5まとめ本研究では，モデル応答の真偽を分析対象のLLMの学習コーパスに照らして検証するシステム，LLM-jpFactCheckを提案した．LLM-jp-3172Bの事実型質問に対するモデル応答を分析し，事実として正確なモデル応答は当該事実を支持する学習データの存在と強く対応する一方で，事実として不正確なモデル応答は必ずしも誤情報の学習に起因しないことを実験的に確認した．今後の展望として，密ベクトル検索による根拠テキストの検索が挙げられる．ケーススタディではBM25に基づく疎ベクトル検索を用いたが，密ベクトル検索を用いることで，表層的には異なるものの意味的に関連する根拠テキストを取得できる可能性がある．これにより，言説を支持・否定する学習データの存在をより精緻に分析できると期待される．また，その際に多言語埋め込みを用いることで，知識の言語間転移の分析も可能になると考えられる．5）https://commoncrawl.org/6）学習コーパス中に不正解応答を支持する文書が存在しないことを保証するわけではない．org/licenses/by/4.0/).