LLMにおけるハルシネーションの原因別検出手法の比較

大規模言語モデル（LLM）は高い性能を示す一方で，ハルシネーションが実社会応用の課題となっている.本研究では,マルチホップ推論を要するHotpotQAを用い,ハルシネーションを知識不足に起因するKnowledgeGapと,推論過程の誤りに起因するReasoningErrorに分類したデータセットを構築した.このデータセットに基づき,代表的な5つのハルシネーション検出手法を比較評価した.その結果，自然言語,ロジット,および隠れ状態に基づく手法は原因依存で性能が変動する一方，一貫性およびアテンションヘッドに基づく手法は安定した性能を示した.