訓練・推論時の不一致を解消する離散拡散テキスト生成モデル

本研究では，離散拡散モデルを用いたテキスト生成において生じる訓練時と推論時の不一致に注目し，この問題を解消するため，訓練時の損失計算においてモデルが予測した系列を次ステップの入力として使用する2ステップ損失計算アプローチと，その確率的スケジューリングを提案する．提案手法を広く使用されている4つのテキスト生成ベンチマークデータセットにおいて学習・評価した結果，2ステップ損失計算による離散拡散モデルの性能向上を確認した．