生成エンジンにおける引用脆弱性の解明

GPT、Gemini、Claudeなどの大規模言語モデル（LLM）アプリケーションは、Web検索機能を組み込み、回答を生成する生成エンジン（GE）を提供している。GEは悪意ある意図をもつ攻撃者を含む様々な発行者がWeb上に公開したコンテンツを引用する。このためGEは攻撃者が意図する回答を生成させるためにWebコンテンツを操作するポイズニング攻撃に対して脆弱である[1]。GEが事実性を欠く回答を生成する場合、その原因はLLMのハルシネーション[2,3]だけでなく、Web検索で取得したWebコンテンツの事実性の欠如にもある[1]。先行研究は、攻撃者が意図する回答を生成させるためにWeb上に偽情報や誤情報を配置するポイズニング攻撃の有効性を明らかにしている[1]。既存の評価基準は、GEが生成した回答において引用コンテンツがどれだけ忠実に反映されているかを評価することを目的としている[4,5,6,7]。しかし、そのような忠実性検証だけでは引用Webソースの権威性を捉えることはできない。ポイズニング攻撃は攻撃者が公開した二次情報を利用してWebに不正なコンテンツを注入し、GEはそれを忠実に引用することで回答の生成を操作できる。したがって、忠実性だけではなく、どの発信者からのコンテンツを引用しているかを評価することが求められる。特に情報検索の質問に対しては、回答は質問の主題に関連する権威ある（一次）情報源を引用すべきケース(例えば政策の伝達)がある。我々はこの脅威に対処するため、引用元の発行者属性とその回答生成への影響に焦点を当てた評価基準を導入する。まず、引用情報を一次情報源と二次情報源に分類し、さらに二次情報源を抽象化し、Webへの注入障壁を推定する。次に、GEが生成した回答におけるのカテゴリごとの引用割合を計算し、GEがどの注入障壁の記事を好んで引用するかを定量化する。最後に、注入障壁のカテゴリ別で、引用と回答間の忠実性がどのように変化するかを測定する。我々は日本の政治ドメインにおける検索質問（約180問）を対象に手法を適用し、実験を行った。結果として、政党Webサイト（一次情報）への引用が約20%～65%を占めることが示されたが、与党は20%～48%であり、政策伝達における攻撃の脅威が示唆された。また、登録のみで公開可能な低障壁ソース（Reddit、X、個人ブログなど）が回答における引用の約20%を占めることが明らかになった。さらに、低障壁ソースからの引用は中・高障壁ソースと比較して実際の回答内容との意味的一貫性が低い傾向があるにもかかわらず、それでもGEの回答に影響を与えていることが判明した。