拡散モデルを用いたテキスト生成における「崩壊問題」と時刻埋め込みの影響

デノイジング拡散確率モデル（DenoisingDiﬀusionProbabilisticModels;DDPMs）[1]は，画像をはじめとした連続データにおいて成功を収めた生成モデルで，埋め込み表現を介して離散データを生成する研究も盛んに行われている．DDPMは，まず時刻𝑇でランダムノイズをサンプリングし，以降時刻0に向けて「ノイズ除去」を段階的に行うことで，徐々に美しいサンプルを出力する．テキストを対象とする拡散言語モデル（DiﬀusionLanguageModels;DLMs）においては，一段階のノイズ除去を「ノイズを完全に除去し，小さいノイズを改めて付加する」ことで表現することが一般的である[2]．現在のDLMは品質に難があり実用レベルに至っていない．原因の一つとして，生成中，ある時刻を超えると「完全なノイズ除去」タスクに躓き始め，却ってサンプルを崩壊させていく現象が存在する[3]．本稿ではこれを崩壊問題と呼ぶ．「改めて付加するノイズ」は徐々に小さくするため，ノイズ除去タスクは生成の過程が進むのに伴って易しくなっていくべきであり，この振る舞いは期待に反している．先行研究では生成を複数回行いMinimumBayes-Riskdecoding[4]等を用いて比較的良いサンプルを選定する試みが行われている[2][5][6]が，拡散モデルの長所である生成結果の多様性とのトレードオフがある．生成時にデータに付加するノイズの大きさをアドホックに調整することで崩壊を回避するような試み[3]は，DLMの可能性を示唆しつつもDDPMの枠組みから外れるため汎用性に乏しく，根本的な解決が待たれている．生成の各ステップにおいてモデルにはノイズ付き単語埋め込みとともに現在時刻を表す時刻埋め込みを入力する．単語埋め込みに正則化を加えると一定の改善が見られるという報告[3]はあるが，時刻埋め込みがモデルに与える影響は未だ明らかでない．本研究は，拡散モデル本来の「徐々に美しいデータを生成する」挙動をテキスト生成において実現することを目的として時刻埋め込みに着目し，単語埋め込みとの関係を調査した．まず，時刻埋め込みが単語埋め込みを損壊する度合いを定義し，実際に情報を失わせていることを明らかにする．加えて，崩壊問題の解決策として両埋め込みに相互に作用する正則化を提案し，その有効性を示す．