RAGの検索設計がLLMの安全性に与える影響の体系的評価と分析

検索拡張生成（Retrieval-AugmentedGeneration;RAG）[1]は大規模言語モデル（LargeLanguageModel;LLM）の知識を補完する手法として，近年広く活用されている．RAGは外部知識から関連する情報を検索し，その情報をもとにLLMが回答を生成する技術であり，ハルシネーションの低減や専門知識への対応を目的としてさまざまな分野で導入が進んでいる．一方，RAGの導入がLLMの安全性に与える影響についても近年注目が集まっている．先行研究では，攻撃者がRAGのデータベースに悪意のある文書を注入することで，LLMの出力を意図的に操作できることが示されている[2,3,4]．さらに，データベースに悪意のある文書が含まれていない場合であっても，RAGの導入自体がLLMの安全性を低下させうることが報告されている[5]．この結果は，攻撃者の存在を仮定せず，ハルシネーションの低減や精度向上といった通常の目的でRAGを構築した際にも，安全性に関する課題が生じ得ることを示している．しかし，悪意のある文書が含まれていない状態を前提とした先行研究では，特定の検索手法（単語の出現頻度をもとに順位付けを行うBM25[6]）や限定されたデータベース（Wikipedia）での設定に基づいており，検索手法やデータベースの種類などのRAGの設計要素がLLMの安全性にどのような影響を与えるのかについては十分に明らかになっていない．本研究では，複数の検索方式およびデータベース設定にわたる体系的な評価を通じて，RAGにおける検索設計が安全性に与える影響を明らかにすることを目的とする．実際の応用においては，BM25などのようなキーワード検索に加えて，意味的類似性に基づくベクトル検索やこれらを組み合わせたハイブリッド検索も広く採用されている[7]．また，RAGはWikipediaのような汎用的なデータベースに限らず，特定のタスクやドメインに特化したデータベースと組み合わせて利用されることも一般的である[7]．したがって，これらの設定における安全性評価は，RAGの挙動をより実運用に近い状況で理解する上で不可欠である．具体的にはキーワード検索やベクトル検索での比較，および汎用的なデータベースやドメイン特化のデータベースでの比較を通じて，以下の3つのリサーチクエスチョンを検証する．RQ1文脈の長さが安全性の低下につながることが知られている[8,9]が，先行研究で示されたRAGの導入による安全性の低下は，文脈長の増加による影響ではなく，RAGによって検索された関連文書の付与によるものであるか．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ない場合で，直接有害なクエリをLLMに入力した場合である．“Random”はデータベース内の文書をランダムに抽出し，有害なクエリに付け加えた場合であり，3回の試行の平均を示している．括弧内の数値は出力がunsafe，かつ5つの検索文書が全てsafeと判定された割合を示す．ModelUnsafeResponseRateNon-RAGRandomBM25ContrieverE5-large-v2Qwen2.5-3B-Instruct12.45%14.46%25.81%(24.99%)36.91%(35.08%)36.81%(31.67%)Llama-2-7B-chat