拡散モデルは，ランダムノイズに対して「ノイズ除去」を繰り返し行うことで徐々に良いサンプルを出力する，生成モデルの一種である．テキスト生成に応用する際の課題として，生成の過程において，ある回数以降のノイズ除去でサンプルの改善に失敗し，生成結果を崩壊させていく現象がある．本研究は，この現象に関して，これまで注目の薄かった時刻の埋め込みに焦点を当て，その影響を調査した．結果として，時刻の埋め込みがこの「崩壊問題」の一因であることを示し，崩壊を抑制する正則化を提案する．

デノイジング拡散確率モデル（DenoisingDiﬀusionProbabilisticModels;DDPMs）[1]は，画像をはじめとした連続データにおいて成功を収めた生成モデルで，埋め込み表現を介して離散データを生成する研究も盛んに行われている．DDPMは，まず時刻𝑇でランダムノイズをサンプリングし，以降時刻0に向けて「ノイズ除去」を段階的に行うことで，徐々に美しいサンプルを出力する．テキストを対象とする拡散言語モデル（DiﬀusionLanguageModels;DLMs）においては，一段階のノイズ除去を「ノイズを完全に除去し，小さいノイズを改めて付加する」ことで表現することが一般的である[2]．現在のDLMは品質に難があり実用レベルに至っていない．原因の一つとして，生成中，ある時刻を超えると「完全なノイズ除去」タスクに躓き始め，却ってサンプルを崩壊させていく現象が存在する[3]．本稿ではこれを崩壊問題と呼ぶ．「改めて付加するノイズ」は徐々に小さくするため，ノイズ除去タスクは生成の過程が進むのに伴って易しくなっていくべきであり，この振る舞いは期待に反している．先行研究では生成を複数回行いMinimumBayes-Riskdecoding[4]等を用いて比較的良いサンプルを選定する試みが行われている[2][5][6]が，拡散モデルの長所である生成結果の多様性とのトレードオフがある．生成時にデータに付加するノイズの大きさをアドホックに調整することで崩壊を回避するような試み[3]は，DLMの可能性を示唆しつつもDDPMの枠組みから外れるため汎用性に乏しく，根本的な解決が待たれている．生成の各ステップにおいてモデルにはノイズ付き単語埋め込みとともに現在時刻を表す時刻埋め込みを入力する．単語埋め込みに正則化を加えると一定の改善が見られるという報告[3]はあるが，時刻埋め込みがモデルに与える影響は未だ明らかでない．本研究は，拡散モデル本来の「徐々に美しいデータを生成する」挙動をテキスト生成において実現することを目的として時刻埋め込みに着目し，単語埋め込みとの関係を調査した．まず，時刻埋め込みが単語埋め込みを損壊する度合いを定義し，実際に情報を失わせていることを明らかにする．加えて，崩壊問題の解決策として両埋め込みに相互に作用する正則化を提案し，その有効性を示す．