訓練・推論時の不一致を解消する離散拡散テキスト生成モデル

近年，拡散モデルはテキスト生成モデルの分野において大きな注目を集めている[1,2]．拡散モデルは拡散ステップ数を調整することで，テキスト生成の品質と速度のバランスを実現できることが知られており，系列全体を一度に生成する非自己回帰モデルよりも高い生成品質を示し，トークンごとに逐次生成を行う自己回帰モデルよりも高速な生成を可能にする[3]．テキスト生成における拡散モデルは大きく分けて連続拡散モデル[1,2]と離散拡散モデル[4,3]に分類される．特に離散拡散モデルは，ノイズ付与プロセスを，対象トークンをマスクトークンに置換するものとして解釈する．離散拡散モデルは，マスク補完を事前学習タスクとして行う事前学習言語モデルの性能を活用できる利点があり，いくつかのデータセットで既存の連続拡散モデルを上回る性能を示している[3]．しかし，既存の離散拡散テキスト生成モデルには，訓練と推論の間に生じる不一致という問題が存在する．拡散モデルの訓練時には，ランダムに選ばれた特定の拡散ステップまで正解系列にノイズを加え，ノイズが付与された系列から正解系列を予測できるように損失を最小化する．一方で推論時には，14BART(evaluationloss)/(trainingloss)12DiscreteDiffusionOurs10864