拡散言語モデルを用いた知識参照の頑健化

外部データベースから関連情報を取得して生成に利用する検索拡張生成(Retrieval-AugmentedGeneration;RAG)[1]は，モデルの知識不足を補い，ハルシネーションを抑制するための標準的な技術として広く利用されている．しかし，実環境における検索結果には，回答に不可欠な情報のほかに，無関係なノイズ（Distractor）が多分に含まれる．このため，信頼性のある回答をするためには，与えられた大量の外部知識の中から，真に必要な情報のみを正確に識別し，統合する能力が求められる．一方，言語生成モデルとして，非自己回帰的な生成による高速な生成速度やノイズからの復元を通じた大域的な文脈制御能力から，拡散言語モデル[2,3]が新たな生成パラダイムとして注目されている．しかし，拡散言語モデルにRAGの枠組みを適用する研究は十分になされておらず，外部知識をどのように効果的に参照させるかという方法論は十分に確立されていない．拡散モデルには，無秩序なノイズ状態から徐々に意味のある構造を形成していく「反復的な生成プロセス」があるため，生成の進行に伴って，モデルが求める情報の粒度や種類は動的に変化すると考えられる．しかし，既存の拡散言語モデルにおける外部知識参照の試みは，従来の言語モデルと同様，外部情報を単に条件付け入力として静的に与える方法に留まっている．そこで本研究では，拡散言語モデルに特化したノイズに頑健なRAGの実現に向けて，拡散言語モデルの生成プロセスと同期して外部知識を動的に取捨選択する「知識選択器」を提案する．提案手法は，逆拡散過程の中間表現を利用して，その時点での生成に必要な外部知識の重要度を動的に評価する．生成ステップごとの状態に応じて外部知識への注目度を制御することで，生成段階ごとに最適な知識を適応的に選択することが期待される．これにより，拡散モデルが本来持つ反復的な精緻化能力を知識参照にも拡張し，無関係な文書が混入する状況下においても，頑健な回答生成を実現することを目指す．本研究の主な貢献は以下の通りである．•拡散言語モデルの生成特性を活かした動的知識参照手法の提案従来の静的な条件付けとは異なる，拡散モデル特有の逆拡散過程における反復的な生成プロセスに着目した，生成ステップごとの中間状態に応じて外部知識の重要度を動的に制御する「知識選択器」を提案した．•ノイズを含む検索結果に対する頑健性の向上知識選択器の導入により，回答に無関係なノイズとなる文書（Distractor）が混入する環境下において，ベースラインの拡散言語モデルと比較して高い回答精度を達成し，提案手法のノイズに対する頑健性を示した．