本研究では，離散拡散モデルを用いたテキスト生成において生じる訓練時と推論時の不一致に注目し，この問題を解消するため，訓練時の損失計算においてモデルが予測した系列を次ステップの入力として使用する2ステップ損失計算アプローチと，その確率的スケジューリングを提案する．提案手法を広く使用されている4つのテキスト生成ベンチマークデータセットにおいて学習・評価した結果，2ステップ損失計算による離散拡散モデルの性能向上を確認した．

近年，拡散モデルはテキスト生成モデルの分野において大きな注目を集めている[1,2]．拡散モデルは拡散ステップ数を調整することで，テキスト生成の品質と速度のバランスを実現できることが知られており，系列全体を一度に生成する非自己回帰モデルよりも高い生成品質を示し，トークンごとに逐次生成を行う自己回帰モデルよりも高速な生成を可能にする[3]．テキスト生成における拡散モデルは大きく分けて連続拡散モデル[1,2]と離散拡散モデル[4,3]に分類される．特に離散拡散モデルは，ノイズ付与プロセスを，対象トークンをマスクトークンに置換するものとして解釈する．離散拡散モデルは，マスク補完を事前学習タスクとして行う事前学習言語モデルの性能を活用できる利点があり，いくつかのデータセットで既存の連続拡散モデルを上回る性能を示している[3]．しかし，既存の離散拡散テキスト生成モデルには，訓練と推論の間に生じる不一致という問題が存在する．拡散モデルの訓練時には，ランダムに選ばれた特定の拡散ステップまで正解系列にノイズを加え，ノイズが付与された系列から正解系列を予測できるように損失を最小化する．一方で推論時には，14BART(evaluationloss)/(trainingloss)12DiscreteDiffusionOurs10864