検索拡張生成が信頼度に及ぼす影響：医療分野における分析

検索拡張生成(RAG)[1]は,大規模言語モデル(LLM)[2,3,4,5]の知識を補完する手法として活用される.外部情報を用いることで,RAGは応答の正確性と質問への適合性を改善させ,多くの分野で利用されている.注目される分野として,情報の信頼性1）コードはhttps://github.com/naist-nlp/CCRAG.git.が重要な金融[6,7]や医療[8]が挙げられる.研究者はRAGを用いたLLMの性能改善[9]を積極的に探求しているが,出力の信頼性に焦点を当てた分析は依然として限定的である.RAGは回答の正確性を改善させる一方で,検索結果を根拠にモデルが不正解であるにも関わらず過剰な自信を示す可能性がある.本研究では,「RAGを通じて正解に関する情報を取得することで,モデルが確信度の高い出力を行う」という仮説を立てた.この仮説に基づき,RAGが与える信頼性への影響を分析するため,2つの研究課題(RQs)を定義した.RQ1では,医療分野に焦点を当て,複数のQAタスクとデータセットを使用して,さまざまなモデルを用いて評価を行った.さらに,モデルのパラメータ数,取得する文書の数,インデックス作成時の埋め込みサイズなどの要因が性能に与える影響についても検証した.RQ2では,プロンプト内における取得文書の配置が信頼性と正確性の関係にどのような影響を与えるかを分析した.例えば,質問の前または選択肢の後にRAGで取得した文書を挿入する場面を分析する.この分析は,長いプロンプトの中間部分の情報が見落とされるLostintheMiddle現象[10]に着想を得ている.さらに,RAGが直面する多様な場面を体系的に再現するため,無関係な文書を含める場合や正答に直接関連する文書のみを提供する場合など,文書内容を操作した分析を行った.MedMCQA[11],MedQA[12],PubMedQA[13],および医療関連の質問のみに絞ったMMLU[14,15]といった医療QAデータセットを用いた結果,検索モデルや推論モデル,その他の条件といった構成の違いが出力の信頼性に影響を与えることが明らかになっ.た.特に,RAGがノイズを引き起こし,一部の実験で信頼性を悪化させる例が確認され,特定の構成下ではRAGが信頼性と正確性の両方を悪化させる可能性があることを示した.さらに,入力の形式が出力に影響を与えることが明らかとなり,信頼性の最適な設定はモデルや構成によって大きく異なることが示唆された.精度の観点では,関連性の高い文書を回答として意図的に提供した場合,性能が改善した一方で,無関係な文書のみを挿入した場合には性能が悪化した.これらの結果は,出力の信頼性を確保するためには文書の慎重な選択が重要であることを示しており,正解に関連する文書を取得することで信頼性が改善するという仮説と矛盾することを示唆する.