検索拡張生成が信頼度に及ぼす影響：医療分野における分析

検索拡張生成(RAG)は,外部情報を活用することで,大規模言語モデル(LLM)の知識を補完し,質問に対する応答の精度を改善させる.この手法は,最新の情報を活用できる利点を活かし,多様な分野で広く応用されている.先行研究の多くは性能改善に注力する一方,RAGを利用した際の出力の信頼度に関する特性については十分に研究されていない.金融,医療,医学などの出力への信頼性が強く要求される分野で,出力の信頼度を分析することは重要な課題である.本研究では,医療分野における多様な課題および推論モデルを対象に,RAGが信頼度に与える影響を調査する.具体的には,LLMの予測確率を出力として扱い,期待較正誤差と適応較正誤差を出力確率に基づいて計算することで信頼度を評価する.さらに,プロンプト内の取得文書の順序が信頼度に影響するかについても分析を行う.結果として,モデル,取得する書類数や埋め込み数などの設定,および入力プロンプトの形式に応じて,信頼度と精度に大きな変動が見られることが明らかとなった.これらの結果は,特定のモデルおよび条件に基づいてRAGで用いる構成を最適化する必要性を強調している.1）