自己修正学習とUCBデコーディングによる離散拡散テキスト生成

自然言語生成の分野では，自己回帰（AutoRegres-sive;AR）モデル[1,2]が標準的な枠組みとして広く用いられてきた．ARモデルは高い生成性能を示す一方で，生成が左から右へと固定された順序で進むため，生成途中における既存トークンの修正や，文脈全体を踏まえた再考が困難であるという制約を有する．近年，画像合成などの連続値領域で顕著な成功を収めている拡散モデル[3]に着想を得て，反復的な洗練過程に基づくテキスト生成手法が注目を集めている．拡散モデルでは，ランダムな初期状態から系列全体を段階的にデノイズすることで生成を行うため，単方向の生成順序に依存せず，文全体にわたるトークン間の依存関係の考慮が可能となる．拡散モデルを離散的なテキスト生成へ適用するにあたり，解決すべき課題の一つとして，訓練時と推論時の設定の不一致が挙げられる．訓練時，離散拡散モデルは正解トークンにマスク付加した系列を復元するというタスクを通じて学習を行う．一方，推論時には，モデル自身が生成した出力をもとに，再マスキングを伴う反復的な生成・修正を行う必要がある．このような訓練時と推論時の乖離により，モデルは推論過程で生じる自己生成誤りからの修復を十分に学習できず，誤りの蓄積や事実性を欠いた局所解への収束が生じやすくなる[4]．この問題は，ARモデルにおける露出バイアス[5]と類似した性質を持つが，拡散モデルでは過去のトークンに限らず，未来のトークンも自己生成結果に依存するため，より広範に露出バイアスが生じうる．本研究では，この問題に対処するため，訓練時と推論時を一貫して設計した離散拡散モデルを提案する．訓練時には，モデル自身の中間予測を再帰的に修正させる自己修正学習を導入し，推論時に必要となる自己修正能力を学習させる．さらに推論時には自己修正学習によって推論過程に即して得られる各トークン予測のモデル確信度を用い，UpperConﬁdenceBound(UCB)アルゴリズム[6]を利用した再マスキング（UCBデコーディング）によってテキスト生成を行う．これにより，離散拡散モデルにおける生成品質の向上を目指す．1）