拡散言語モデルを用いた知識参照の頑健化

検索拡張生成(RAG)において，検索ノイズへの頑健性や生成時に参照すべき外部知識の選択は喫緊の課題である．本研究では，検索ノイズへの頑健性の向上を目的に，拡散言語モデルの反復的な生成プロセスに着目し，逆拡散過程の中間状態に応じて外部知識の重要度を制御する「知識選択器」を提案する．HotpotQAを用いた実験の結果，動的な選択は確認できなかったものの，提案手法はベースラインを上回る回答精度を達成し，ノイズ文書を含む環境下での性能低下を抑えられることがわかった．