本研究では，大規模言語モデル（LLM）の情報抽出時の評価手法であるNeedleinaHaystackLLMテストをより実践的に拡張したLLM偽針混入テストを提案する．従来手法はLLMの抽出精度をRecallのみで評価するため，現実の情報抽出で頻出する誤抽出の問題を考慮していない．提案手法では，Precisionを評価指標に加えて誤抽出を定量化するとともに，抽出対象と文脈のドメインを一致させ，さらに偽正解情報を混入することで実践により近い誤抽出を評価可能とする．実験の結果，提案手法による現実的な設定下でLLMによる誤抽出が増加し，誤抽出を網羅的に評価する必要性が示された．

大規模言語モデル（LLM）[1]や検索拡張生成システム（RAG）[2]は，膨大な情報から必要な知見を効率的に抽出する用途で，ビジネスや研究など多様な領域で活躍している．近年では，長大な文脈（LongContext）を扱うLLMが提案されており[3,4]，それを用いて商談記録や製品資料などの長文を解析するサービス1）の開発が進んでいる．しかし，既存のLLMは文脈が長大になるほどハルシネーションが発生したり出力品質が低下する問題がある[5,6,7]．そのため実用化にあたっては，LLMの出力を厳密に評価する必要がある．LLMによる情報抽出性能を測定する手法の1つに，NeedleinaHaystackLLMテスト（以下，針テスト）がある[8,9]．針テストでは，膨大な文脈（干し草の山）の中に少量の特定情報（針）を人為的に埋め込み，モデルがその針を正しく抽出できるかを評価する．針の数や文脈長などのパラメータを変更す1）https://www.bringout.bizることで網羅的な評価が可能であり，モデルの情報抽出性能を測る指標として有用である[10,11]．しかし，既存のテストには以下3つの課題がある．1.埋め込んだ針をモデルが漏れなく抽出可能かをRecallで評価するため，誤抽出は検知しない．