既存の検索拡張生成(Retrieval-augmentedgenera-tion;RAG)ベンチマークでは，固定の指示に対する評価はしているものの，指示の変化に対する追従性が調査されていない．しかし，RAGでは関連文書を入力するため，比較的短い指示の差異を適切に解釈し出力に反映することが重要になる．本研究では，大規模言語モデルに検索等の結果である文書群を生成に利用する設定(RAG)において，どの程度指示通りの出力ができるかを測るベンチマークIF-RAGを提案する．このベンチマークは，短い指示の違いによる出力の違いを測ることで，大規模言語モデルごとの特性を明らかにする．

最新情報を利用した質問応答[1]など，大規模言語モデル(LLM)内の知識を使うだけでは知識が不足するような状況では，検索結果を生成時の補助情報として利用する検索拡張生成(Retrieval-augmentedgeneration;RAG)[2,3,4]が有望な方策である．検索拡張生成は，図1のように，入力されたクエリに合わせた検索結果を取得し，それらとクエリの両方をLLMに入力することで，回答を生成するような方式を取る1）．この方策では，正しい情報をもれなく見つける検索性能（精度とカバー率）と同時に，ノイズが含まれる文書リストをクエリと同時に与えたときに適切に読解して回答ができるか（読解能力または生成能力）の2点について課題を抱えている．本研究では，特に後者の観点に焦点を当て，これを適切に測るための方法を検討する．RAGにおける読解では，図1のように検索結果として得られるノイズが含まれる文書と質問，さらに指示が与えられ，指示に応じた正確な回答ができるかが重要である．ここで指示(instruction)とは，ど1）検索と生成を繰り返すアプローチ等もあるが，簡単のために1回の検索と生成のステップで表現した．るべきかを示す指示をRAGの結果に反映する能力を問うことが本論文での主眼である．指示(1)と(2)で異なる出力が要求されている．のように回答するべきかということを示唆する文であり，「与えられた文書の中から質問に回答してください．」が一例である．RAGでは一般的な読解タスク[5]に比べてノイズの多く含まれる文書を読解する頑健性が求められ，またどのような回答を生成するべきかという指示への追従性も求められる．例えば，回答が検索結果として入力された文書内に含まれていないときに回答しないなどの指示がある場合，それに適切に従う必要がある．RAGに関連するベンチマーク[6,7,8,9]のうち，RAGにおける読解能力に着目した提案がいくつかなされている[8,9,10]．Liuら[8]は入力される文書の位置によって回答精度が大きく変化してしまう現象を発見し，既存のLLMの中にはこのような現象が依然として残っていることも示唆した．LLM内にある知識と同じ知識がコンテキストとして入力された場合，それ以外の回答を示唆するコンテキストがあったとしても知識と一致する回答を出力しやすい，という傾向を調べた論文もある[11]．また，Chenら[9]は，RAGにおける重要な4つの観点を，関係の無い情報に影響されない，回答がないときには回答できないことを出力する，外部情報を統合して複数の回答を出力できる，非事実に対して回答できないことを出力する，と定義して，それらを測るベンチマークを提案している．しかし，これらの論文は1つの固定的な指示を想定しており，指示に対する追従性はあまり重視されていない．一方で，.Zhouら[12]はLLMの指示への追従性にのみ焦点を当てたベンチマークを提案しており，生成結果の内容の正確性ではなく指示に対応した出力になっているかどうかを自動評価している．一方で，指示以外の部分は簡素な入力をもとにしているため，RAGのように指示以外の入力部分が長い場合にどのような影響があるかについては調べられていない．本論文では，RAG設定における指示追従性を評価するベンチマークIF-RAGを提案する．このベンチマークはオープンドメイン質問応答データを加工したデータと複数種類の指示を用意し，それらの組み合わせに対してどの程度指示に従った出力ができるかを評価することで，LLMの特性を明らかにすることを目的とする．オープンドメイン質問応答データに対して，反事実の回答とそれに対応する文書をLLMによって生成し，事実か反事実かの差異や複数の回答可能な情報が入力文書に含まれている場合の反応を調べるデータを作成する．また，指示も通常のオープンドメイン質問応答のように回答を生成させる指示の他に，回答を示唆する文書も出力する指示や全ての回答候補を出力するような指示を加えた3種類の指示を用意し，指示への追従性を評価する．モデルが事実情報を把握している可能性も考えると，このようなデータと指示の組み合わせによってモデルの特性を見出せると考えられる．実験を通して，PopQA[13]に基づくIF-RAGベンチマークを利用して，現状公開されている各種のモデルがどのような特性を持っているかを評価，考察する．Mistral-Instructが本論文で比較した中では非常に指示追従性がよいことがわかり，モデルよりもどのようなデータで学習しているかが重要な要素になっていると考えられる．