LLM偽針混入テスト：誤抽出を考慮した情報抽出時の評価フレームワーク

本研究では，大規模言語モデル（LLM）の情報抽出時の評価手法であるNeedleinaHaystackLLMテストをより実践的に拡張したLLM偽針混入テストを提案する．従来手法はLLMの抽出精度をRecallのみで評価するため，現実の情報抽出で頻出する誤抽出の問題を考慮していない．提案手法では，Precisionを評価指標に加えて誤抽出を定量化するとともに，抽出対象と文脈のドメインを一致させ，さらに偽正解情報を混入することで実践により近い誤抽出を評価可能とする．実験の結果，提案手法による現実的な設定下でLLMによる誤抽出が増加し，誤抽出を網羅的に評価する必要性が示された．