LLMの生成テキストの真偽検証のための日本語真偽判定データセットの構築

大規模言語モデル（LargeLanguageModel;LLM）の生成テキストにはハルシネーション（hallucination）と呼ばれる，もっともらしく見える誤情報が含まれることがある[1]．こうした背景のもと，真偽検証システム[2,3,4,5]をLLMの生成テキストに対して応用する研究・開発が進んでいる[6]．我々の研究グループでも，LLMの日本語生成テキストを対象とした真偽検証システム[7,8]を構築している．真偽検証システムは言説分解，根拠検索，真偽判定という三つのステップで構成される．言説分解では入力テキストを，一つの物事に関する性質や関係を表す独立した最小粒度の情報単位である言説に分解する．次に，根拠検索では分解された言説をクエリとして，根拠となる情報が格納された根拠データベーDB根拠検索言説共和党から出馬したトランプ氏は…ドナルド・トランプは番組「アプレンティス」にて…ドナルド・トランプは民主党所属である。トランプは2001年から2009年にかけて民主党員であった真偽判定判定結果支持否定不明スを検索し，各言説に対する根拠テキストを取得する．最後に，図1に示す真偽判定のステップでは，言説と取得した根拠テキストのペアに対して自然言語推論（NaturalLanguageInference;NLI）を行うことで，言説が根拠テキストによって支持（含意）されるかどうかを判定する．本論文ではこのうち，真偽判定に着目する．真偽判定は真偽検証システムの最終的な判定結果に直接影響するプロセスであり，システムの性能を実質的に担っている．真偽検証システムにおける高性能な真偽判定手法の構築には，言説・根拠テキスト・判定ラベルを含む評価用データセットが必須である.本研究では我々が構築した言説分解データセット[8]に含まれる，生成テキストから分解された言説に対して真偽判定の評価用データセットを構築した．データセットの構築にあたり，言説と根拠テキストの関係を柔軟に評価するために，既存研究[6]のラベル（支持，部分支持，否定，不明）に加えて，新たなラベル（推定支持，推定否定）を導入した．これらのラベルを用いた真偽判定アノテーションThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).粒度の違いを考慮した真偽判定の評価が可能となる．なお，否定に関しては言説の一部が矛盾していれば言説全体も矛盾するため，部分否定のラベルは考えない．3.2アノテーション我々が過去に構築した日本語言説分解データセット[8]を拡張する形でデータセットを構築した．日本語言説分解データセットは，日本語QAデータセット「AI王Version2.01）」(AIO)の問題，日本語対話データセット「LLM-jpChatbotArenaConversations2）」(CBA)のユーザ発話を入力とし，日本語LLM「LLM-jp-313BInstruct3）」が出力した生成テキストに対して，人手で言説分解のアノテーションを行ったものである．真偽判定のアノテーションを付与するにあたり，まず各言説に対する根拠テキストを取得した．根拠テキストの情報源として，LLM-jpコーパスv34）を用いた．言説との関連性を保ちつつ多様な文書を取得するため，BM25[13]に基づく全文検索の結果をMaximalMarginalRelevanceによってリランキング[14]し，その上位5件を取得した．また，LLMへの入力テキストは，生成テキストの根拠となる情報を含む場合がある（例：要約の対象テキスト）．このことを考慮し，検索によって取得した5件の文書に各言説に対応するLLMへの入力テキストを加えた計6件を当該言説に対する根拠テキスト集合とした．各言説と根拠テキストのペアについて，人手で真偽判定ラベルをアノテーションした．まず2名のアノテータが一次作業者として各ペアに対して独立に真偽判定ラベルを付与した．両者の判断が一致しない場合には，第三のアノテータがそれらを参照した上で最終的なラベルを決定した．アノテータが対象データを理解できない場合（例：理解に化学の専門知識が必要な場合など）には，「理解不能」のラベルを付与させた．理解不能のラベルが付与された事例は評価データセットから除外した．加えて，不注意によるアノテーションミスを防ぐため，支持または否定のラベルを付与する場合には，その根拠となる1）https://sites.google.com/view/project-aio/dataset2）https://huggingface.co/datasets/llm-jp/llm-jp-chatbot-arena-conversations3）https://huggingface.co/llm-jp/llm-jp-3-13b-instruct4）https://gitlab.llm-jp.nii.ac.jp/datasets/llm-jp-corpus-v3AIOCBAラベル件数割合件数割合完全支持3,9830.2921,7980.124推定支持1,1980.0881,0330.071部分支持5550.0414360.030完全否定1730.013620.004推定否定700.005640.004不明7,6630.56211,1120.766根拠テキスト中のスパンも合わせてアノテーションを行った．これは真偽判定の根拠まで含めて提示する真偽検証システムを構築した際の評価データとしても活用可能である．を示す（「理解不能」を除く）．また，2名の一次作業者のアノテーションにおけるCohenの𝜅係数は，AIOが0.44，CBAが0.34であった．この結果は，真偽判定が言説と根拠テキストの関係を推論に基づいて解釈することがあり，判断が必ずしも一意に定まらない場合があるという，真偽判定タスクのアノテーションの難しさを反映している．構築したデータセットをラベル分布が近くなるよう配慮した上で，開発データとテストデータに1:1の比率で分割した．その結果，AIOの開発データは6,818件，テストデータは6,824件，CBAの開発データは7,256件，テストデータは7,249件となった．4プロンプトによる真偽判定本節では，構築した真偽判定データセットを用いて，プロンプトベースの手法の性能評価を行う．4.1実験設定4種類のプロンプトを設計し，完全支持，部分支持，推定支持，完全否定，推定否定，不明の6ラベルを付与する実験を行った．まず，タスクの指示と言説とラベルの定義のみを含めたプロンプトをbaseプロンプトとして設定する．その他に，代表的なプロンプト手法であるfew-shotプロンプト，Chain-of-Thought(CoT)プロンプトの性能評価を行った．few-shotではbaseの内容に加え，言説，根拠テキスト，正解ラベルを組にした例を複数提示する．本研究では開発データから抽出した例を用いて，6-shotと12-shotの2種類を設定し，提示例の数と判定性能の関係を分析した．org/licenses/by/4.0/).プロンプト正解率適合率再現率F1base0.6690.4080.4750.418+6-shot0.6500.3870.4820.402+12-shot0.6530.3880.4820.401+CoT6-shot0.7040.4400.5070.459ラベルbase6-shot12-shotCoT完全支持0.7540.7600.7620.773推定支持0.1570.2310.2230.278部分支持0.2020.1910.2010.299完全否定0.4350.3910.3860.481推定否定0.1290.0680.0710.077不明0.8170.7710.7730.818CoTでは段階的に推論を行うため，baseの内容に追加して，推論を行う手順と指示に従って段階的に推論した例を提示する．本研究では著者らが，6-shotで利用している例に対して推論過程を作成した．推論過程を指示するプロンプトを付録Aに示す．真偽判定の性能評価には，モデルが付与したラベルをデータセットの正解ラベルと比較し，正解率,適合率，再現率，F1それぞれのマクロ平均を用いた．実験に用いたLLMはgpt-4o5）である．AIOのテストデータに対して各手法を3回ずつ実行し，その平均値を評価した6）．4.2実験結果判定性能が最も高い結果となった．表3に各手法のラベルごとのF1を示す．CoTは6-shotと比較して全てのラベルで改善傾向を示しており，特に部分支持と完全否定において大きな改善が見られた．図2はCoTによる出力のうち，1回目の試行の結果について混同行列を作成したものである．図2と6-shotの混同行列との比較に基づく分析から，推定支持や完全支持を誤って部分支持と予測する傾向が弱まり，不明を誤って完全否定と予測するケースが減少しているため，2つのラベルの性能が改善していることが分かった．baseに例を追加したfew-shot(6-shot,12-shot)は，5）https://platform.openai.com/docs/models/gpt-4o6）設計したプロンプトはLLMへの入力テキストに対しては適切に機能しなかったため，以降の実験では除外した．2000162813156916331750323170344124815001250104308331034100010