自己修正学習とUCBデコーディングによる離散拡散テキスト生成

画像合成分野で成功を収めている拡散モデルは，従来の左から右への逐次生成に代わる，柔軟かつ反復的なテキスト生成手法として注目されている．しかし，訓練時と推論時におけるモデルの振る舞いの乖離が，性能向上の障害となっている．これは，訓練時には正解テキストにノイズを付加した系列からの復元を学習する一方で，推論時にはモデル自身の出力に基づく反復的な修正が求められるためである．本研究では，この課題を解決するため，自己修正学習とUCBデコーディングを統合した拡散モデルを提案する．自己修正学習は，モデル自身の中間出力を用いて推論時の自己修正挙動を学習させる訓練手法であり，UCBデコーディングは，再マスキング対象の選択を多腕バンディット問題として定式化し，探索と活用のバランスを制御する推論アルゴリズムである．実験より，要約生成，質問生成，および算術推論タスクにおいて提案手法はベースラインモデルを一貫して上回る性能を示した．