hallucination可視化における主観的評価と情報取得の正確性のギャップ

Retrieval-AugmentedGeneration（RAG）は大規模言語モデル（LargeLanguageModel;LLM）のhallucinationを軽減する一方で[1,2]，依然として誤情報は残存し，ユーザの判断を誤らせ得る[3,4]．この課題に対し，検出・抑制などのモデル/システム側の対策[5,6]に加え，ユーザによるLLM応答の信頼性判断を支援するUIも検討されてきた[4,7,8,9]．しかし，既存研究では「ユーザに何をどの粒度で提示すべきか」を体系的に十分検討できていない[10]．例えば，提示する情報粒度が粗いと見落としが生じ得る一方，色分けの細分化や判断理由の提示は処理すべき情報量を増やし，主観的負荷の増大や検証行動の遅延・抑制につながり得る[4]．また，hallucinationには複数の側面があり，例えばHuangらはソースとなる入力と矛盾する誤りをIntrinsic・hallucinationの可視化における情報粒度を増加させると,可視化に対する主観的な評価は上昇するが,客観的な情報取得精度は頭打ちになり得る.・可視化の情報粒度は，検証⾏動と情報取得精度のどちらもサポートするように設計する必要があるクイズ正答率186GAPその⼿法が最も役に⽴ったと述べた⼈数クイズ正答率0.9⼈数(n)40.8