JHARS:RAG設定における日本語Hallucination評価ベンチマークの構築と分析

大規模言語モデルのhallucination（与えられた情報源に存在しない内容を生成する現象）は，実応用上での重要な課題となっている．本研究では，日本語におけるhallucination評価のための包括的なベンチマークJHARS（JapaneseHallucinationAssessmentinRAGSettings）を構築し，最新のGPT-4oを含む3つのモデルを対象に分析を行った．その結果，hallucination発生率は低い一方，事実確認が必要な重大なhallucinationが検出された．また，自動検出における高い適合率と再現率の両立は困難であるものの，重大なhallucinationに関しては高い再現率で検出可能であることが示された．これは，LLM自身による出力の検証が，ユーザへの事実確認支援として機能する可能性を示唆している．§github.com/cl-tohoku/JHARS