検索拡張生成における指示追従性を測るベンチマークに向けて

既存の検索拡張生成(Retrieval-augmentedgenera-tion;RAG)ベンチマークでは，固定の指示に対する評価はしているものの，指示の変化に対する追従性が調査されていない．しかし，RAGでは関連文書を入力するため，比較的短い指示の差異を適切に解釈し出力に反映することが重要になる．本研究では，大規模言語モデルに検索等の結果である文書群を生成に利用する設定(RAG)において，どの程度指示通りの出力ができるかを測るベンチマークIF-RAGを提案する．このベンチマークは，短い指示の違いによる出力の違いを測ることで，大規模言語モデルごとの特性を明らかにする．