LLM偽針混入テスト：誤抽出を考慮した情報抽出時の評価フレームワーク

大規模言語モデル（LLM）[1]や検索拡張生成システム（RAG）[2]は，膨大な情報から必要な知見を効率的に抽出する用途で，ビジネスや研究など多様な領域で活躍している．近年では，長大な文脈（LongContext）を扱うLLMが提案されており[3,4]，それを用いて商談記録や製品資料などの長文を解析するサービス1）の開発が進んでいる．しかし，既存のLLMは文脈が長大になるほどハルシネーションが発生したり出力品質が低下する問題がある[5,6,7]．そのため実用化にあたっては，LLMの出力を厳密に評価する必要がある．LLMによる情報抽出性能を測定する手法の1つに，NeedleinaHaystackLLMテスト（以下，針テスト）がある[8,9]．針テストでは，膨大な文脈（干し草の山）の中に少量の特定情報（針）を人為的に埋め込み，モデルがその針を正しく抽出できるかを評価する．針の数や文脈長などのパラメータを変更す1）https://www.bringout.bizることで網羅的な評価が可能であり，モデルの情報抽出性能を測る指標として有用である[10,11]．しかし，既存のテストには以下3つの課題がある．1.埋め込んだ針をモデルが漏れなく抽出可能かをRecallで評価するため，誤抽出は検知しない．