hallucination可視化における主観的評価と情報取得の正確性のギャップ

LLM応答の信頼性判断の支援手段としてhallucination可視化インタフェースが提案されてきたが，どの程度の情報粒度で可視化すると，ユーザの主観評価と情報取得の正確性の両方が満たせるかは十分に検証されていない．本研究では，段階的に情報粒度を変えた4手法を設計し，各手法で情報取得タスクを行う被験者内実験を実施した．その結果，情報粒度の細分化は有用性・信頼度など主観評価を押し上げた一方で，情報取得の正確性改善は頭打ちとなり，主観評価と正確性のギャップが顕在化した．以上より，可視化設計は主観評価の最適化に偏らず，参照確認などの検証行動を維持・促進しつつ正確性を高める情報粒度に調整する必要がある．