マルチホップQAの根拠情報を用いたLLMの“偽”正解の分析

LLMがどのような知識に基づいて推論しているのか，そのきめ細かい調査の一つとして，回答の根拠となる導出情報が付与されたマルチホップQAデータセットを用いてGPT-4の出力を分析する．分析の結果，回答が正解しているにも関わらず，根拠となる導出に誤りが含まれる“偽”正解といえる現象が発生し，“偽”正解を除くと，正解率は60%から40%に低下することを示す．さらに，外部知識を組み合わせた場合のカバー率の調査結果から，LLMを既存の外部知識と適切に組み合わせることによる改善の可能性を示す．