画像合成分野で成功を収めている拡散モデルは，従来の左から右への逐次生成に代わる，柔軟かつ反復的なテキスト生成手法として注目されている．しかし，訓練時と推論時におけるモデルの振る舞いの乖離が，性能向上の障害となっている．これは，訓練時には正解テキストにノイズを付加した系列からの復元を学習する一方で，推論時にはモデル自身の出力に基づく反復的な修正が求められるためである．本研究では，この課題を解決するため，自己修正学習とUCBデコーディングを統合した拡散モデルを提案する．自己修正学習は，モデル自身の中間出力を用いて推論時の自己修正挙動を学習させる訓練手法であり，UCBデコーディングは，再マスキング対象の選択を多腕バンディット問題として定式化し，探索と活用のバランスを制御する推論アルゴリズムである．実験より，要約生成，質問生成，および算術推論タスクにおいて提案手法はベースラインモデルを一貫して上回る性能を示した．

自然言語生成の分野では，自己回帰（AutoRegres-sive;AR）モデル[1,2]が標準的な枠組みとして広く用いられてきた．ARモデルは高い生成性能を示す一方で，生成が左から右へと固定された順序で進むため，生成途中における既存トークンの修正や，文脈全体を踏まえた再考が困難であるという制約を有する．近年，画像合成などの連続値領域で顕著な成功を収めている拡散モデル[3]に着想を得て，反復的な洗練過程に基づくテキスト生成手法が注目を集めている．拡散モデルでは，ランダムな初期状態から系列全体を段階的にデノイズすることで生成を行うため，単方向の生成順序に依存せず，文全体にわたるトークン間の依存関係の考慮が可能となる．拡散モデルを離散的なテキスト生成へ適用するにあたり，解決すべき課題の一つとして，訓練時と推論時の設定の不一致が挙げられる．訓練時，離散拡散モデルは正解トークンにマスク付加した系列を復元するというタスクを通じて学習を行う．一方，推論時には，モデル自身が生成した出力をもとに，再マスキングを伴う反復的な生成・修正を行う必要がある．このような訓練時と推論時の乖離により，モデルは推論過程で生じる自己生成誤りからの修復を十分に学習できず，誤りの蓄積や事実性を欠いた局所解への収束が生じやすくなる[4]．この問題は，ARモデルにおける露出バイアス[5]と類似した性質を持つが，拡散モデルでは過去のトークンに限らず，未来のトークンも自己生成結果に依存するため，より広範に露出バイアスが生じうる．本研究では，この問題に対処するため，訓練時と推論時を一貫して設計した離散拡散モデルを提案する．訓練時には，モデル自身の中間予測を再帰的に修正させる自己修正学習を導入し，推論時に必要となる自己修正能力を学習させる．さらに推論時には自己修正学習によって推論過程に即して得られる各トークン予測のモデル確信度を用い，UpperConﬁdenceBound(UCB)アルゴリズム[6]を利用した再マスキング（UCBデコーディング）によってテキスト生成を行う．これにより，離散拡散モデルにおける生成品質の向上を目指す．1）