コストと精度を考慮した質問と文書に基づく適応的RAG選択

近年，大規模言語モデル（LargeLanguageModel,LLM）[1]は，質問応答を含む多様なタスクで高い性能を発揮している．一方で，LLMは学習データ内の知識に依存するため，未学習の知識に対して誤情報を生成するハルシネーションが生じる．また，日々更新される情報のすべてを網羅して学習することは困難である．これらの課題に対する手法として，外部知識を検索し，その結果をLLMのコンテキストとして提示するRetrieval-AugmentedGeneration（RAG）[2]が提案されている．しかし，従来のRAGでは，外部知識に含まれるエンティティ間の関係構造を十分に活用できない．これに対し，グラフ構造をコンテキストに取り込むグラフベースRAG[3,4]が提案されている．質問応答の難易度は，単一の文書で解決する単純な質問から，複数文書の検索や多段階推論を要する複雑な質問まで多岐にわたる．グラフベースRAGは複雑な質問に有効であるが，検索や推論の増加により計算コストが増大する．実運用では単純な質問も多く含まれるため，常に高コストなRAGを適用すると不要なコストが生じる．一方で，複雑な質問に対して低コストなRAGを適用すると回答精度が低下する[5]．したがって，入力の特性に応じて適切なRAG構成を選択する手法（適応的RAG）が求められる．既存の適応的RAG[6,7]には，主に三つの課題がある．第一に，LLMに基づく手法はLLM自身がRAG構成を調整するため計算コストが高く，複数のハイパーパラメータの総合的な調整が困難である．第二に，オンライン強化学習を用いた手法は継続的な学習を要するため，運用時の学習コストが増大する．第三に，質問の特徴に基づく手法は存在するが，文書の特徴を考慮した枠組みは議論が不足している．特に，精度指標とコスト指標を統合的に学習する手法は確立されていない．本研究では，質問と文書の特徴を抽出して適応的にRAG構成を選択する手法を提案する．本手法は，複数のランキングモデルと任意の重みを組み合わせることで，精度やコストに関するユーザの要求を反映する．実験の結果，重みに応じた精度とコストのトレードオフを制御できることを確認した．また，提案手法は全質問に対して同一のRAG構成を適用した場合と比較して𝐹1値を改善するとともに，実行時間を短縮した．