JHARS:RAG設定における日本語Hallucination評価ベンチマークの構築と分析

大規模言語モデル（LLM）は幅広い分野での活用が期待され，様々な業務プロセスの自動化や効率化に向けた検討が進められている．しかし，実用環境でのLLMの適用における重要な課題として，hallucinationの問題が指摘されている．一般にhallucinationとは，与えられた情報源に存在しない内容をLLMが生成する現象を指す[1,2]．特に，検索拡張生成（Retrieval-AugmentedGeneration:RAG）の設定において，この問題は実用上の重要な課題となっている．図1に示すように，LLMの生成する応答は一見適切に見えるが，参考文献に記載のない情報が含まれることがある．それらの情報に対する事*Equalcontribution質問⽉の裏側がいつも⾒えないのはなぜ？参考⽂献🔍Hallucination種別IntrinsicHallucination⽉は⾃転と公転が同期し、常に同じ側を向けているため、(…)ExtrinsicHallucination⾔語モデルの応答⽉の裏側が地球から常に⾒えない理由は、⽉の⾃転と公転が同期しているためです。これにより、(…)この状態を「同期回転」と呼びます。参考⽂献に記述されていない内容。事実確認が必要な⽂。実確認や修正作業は，実務者のコスト増大を招く．この問題に対処するための第一歩として，hallucinationを定量的に評価するための包括的なベンチマークの整備が求められている．これまでにも，hallucination評価のためのベンチマーク作成は行われてきた[3,4,5,6,7]．しかし，既存のベンチマークの多くは英語や中国語を対象としており，日本語におけるhallucinationの評価データセットは十分に整備されていない．そのため，日本語に対応したLLMにおけるhallucinationの発生頻度や，その検出の困難さについては十分な知見が得られていない．この状況は，説明責任が求められる実務タスクへのLLMの導入を妨げる要因となっている．そこで本研究では，RAG設定における日本語LLMの応答450件にアノテーションを行い，日本語hallucination評価ベンチマークJHARS(JapaneseHallucinationAssessmentinRAGSettings)を構築した．このベンチマークを用いた分析の結果，LLMの応答文に対するhallucination発生率は比較的低いものの，.Type0:InappropriateResponseQ1NO質問の回答になっていますか？YESQ2Q3与えられた参考⽂献から検証可能ですか？NONOType2:ExtrinsicHallucination事実確認が必要な重大なhallucinationが検出された．また，LLMの応答文に含まれるhallucinationの自動検出において，高い適合率と再現率の両立は困難であることが明らかになった．一方で，事実確認が必要な重大なhallucinationについては高い再現率で検出可能であることが示された．この結果は，LLM自身による生成結果の検証が，事実確認を要する箇所の特定と警告に有効である可能性を示唆している．