拡散モデルを用いたテキスト生成における「崩壊問題」と時刻埋め込みの影響

拡散モデルは，ランダムノイズに対して「ノイズ除去」を繰り返し行うことで徐々に良いサンプルを出力する，生成モデルの一種である．テキスト生成に応用する際の課題として，生成の過程において，ある回数以降のノイズ除去でサンプルの改善に失敗し，生成結果を崩壊させていく現象がある．本研究は，この現象に関して，これまで注目の薄かった時刻の埋め込みに焦点を当て，その影響を調査した．結果として，時刻の埋め込みがこの「崩壊問題」の一因であることを示し，崩壊を抑制する正則化を提案する．