検索拡張生成(RAG)は,外部情報を活用することで,大規模言語モデル(LLM)の知識を補完し,質問に対する応答の精度を改善させる.この手法は,最新の情報を活用できる利点を活かし,多様な分野で広く応用されている.先行研究の多くは性能改善に注力する一方,RAGを利用した際の出力の信頼度に関する特性については十分に研究されていない.金融,医療,医学などの出力への信頼性が強く要求される分野で,出力の信頼度を分析することは重要な課題である.本研究では,医療分野における多様な課題および推論モデルを対象に,RAGが信頼度に与える影響を調査する.具体的には,LLMの予測確率を出力として扱い,期待較正誤差と適応較正誤差を出力確率に基づいて計算することで信頼度を評価する.さらに,プロンプト内の取得文書の順序が信頼度に影響するかについても分析を行う.結果として,モデル,取得する書類数や埋め込み数などの設定,および入力プロンプトの形式に応じて,信頼度と精度に大きな変動が見られることが明らかとなった.これらの結果は,特定のモデルおよび条件に基づいてRAGで用いる構成を最適化する必要性を強調している.1）

検索拡張生成(RAG)[1]は,大規模言語モデル(LLM)[2,3,4,5]の知識を補完する手法として活用される.外部情報を用いることで,RAGは応答の正確性と質問への適合性を改善させ,多くの分野で利用されている.注目される分野として,情報の信頼性1）コードはhttps://github.com/naist-nlp/CCRAG.git.が重要な金融[6,7]や医療[8]が挙げられる.研究者はRAGを用いたLLMの性能改善[9]を積極的に探求しているが,出力の信頼性に焦点を当てた分析は依然として限定的である.RAGは回答の正確性を改善させる一方で,検索結果を根拠にモデルが不正解であるにも関わらず過剰な自信を示す可能性がある.本研究では,「RAGを通じて正解に関する情報を取得することで,モデルが確信度の高い出力を行う」という仮説を立てた.この仮説に基づき,RAGが与える信頼性への影響を分析するため,2つの研究課題(RQs)を定義した.RQ1では,医療分野に焦点を当て,複数のQAタスクとデータセットを使用して,さまざまなモデルを用いて評価を行った.さらに,モデルのパラメータ数,取得する文書の数,インデックス作成時の埋め込みサイズなどの要因が性能に与える影響についても検証した.RQ2では,プロンプト内における取得文書の配置が信頼性と正確性の関係にどのような影響を与えるかを分析した.例えば,質問の前または選択肢の後にRAGで取得した文書を挿入する場面を分析する.この分析は,長いプロンプトの中間部分の情報が見落とされるLostintheMiddle現象[10]に着想を得ている.さらに,RAGが直面する多様な場面を体系的に再現するため,無関係な文書を含める場合や正答に直接関連する文書のみを提供する場合など,文書内容を操作した分析を行った.MedMCQA[11],MedQA[12],PubMedQA[13],および医療関連の質問のみに絞ったMMLU[14,15]といった医療QAデータセットを用いた結果,検索モデルや推論モデル,その他の条件といった構成の違いが出力の信頼性に影響を与えることが明らかになっ.た.特に,RAGがノイズを引き起こし,一部の実験で信頼性を悪化させる例が確認され,特定の構成下ではRAGが信頼性と正確性の両方を悪化させる可能性があることを示した.さらに,入力の形式が出力に影響を与えることが明らかとなり,信頼性の最適な設定はモデルや構成によって大きく異なることが示唆された.精度の観点では,関連性の高い文書を回答として意図的に提供した場合,性能が改善した一方で,無関係な文書のみを挿入した場合には性能が悪化した.これらの結果は,出力の信頼性を確保するためには文書の慎重な選択が重要であることを示しており,正解に関連する文書を取得することで信頼性が改善するという仮説と矛盾することを示唆する.