拡散言語モデルのテキスト生成順序の最適化

でいる。すなわち、「次にどの位置をunmaskするマスク拡散言語モデル（MaskedDiﬀusionLanguageか（where-to-unmask）」と、「その位置にどのトークModel;MDLM）は、任意順序でのテキスト生成を可ンを生成するか（what-to-unmask）」である。what-to-能にする次世代の大規模言語モデルとして注目されunmaskが単純な語彙分布の予測であるのに対し、ている。その柔軟性により、推論能力やデータ効率where-to-unmaskは生成経路そのものを決定するたの面で自己回帰モデルを上回る性能が報告されていめ、初期の選択ミスが後続の復元を制約し、誤りがる一方、推論時に「どの位置を先にunmaskするか全体へ波及する。したがって、順序選択は生成品質（where-to-unmask）」という順序選択が生成経路を規を左右する重要な設計要素となる。定し、性能および安定性を大きく左右する。しかしかし、標準的なMDLMの学習は、ランダムにし、MDLMの標準的な学習は主としてトークン復マスクされた入力から正解トークンを復元する元（what-to-unmask）を最適化しており、順序の学習穴埋め学習として実装され、損失関数は主としてはヒューリスティックに委ねられてきた。本研究でwhat-to-unmaskの精度向上を目的としている[5,6]。は順序の影響を明示的に分析するため、訓練時に利そのため、where-to-unmaskの順序選択は明示的には用可能な正解系列を参照した順序オラクル（Gt-Prob最適化されず、推論時の順序決定はモデルの不確実/Gt-Margin）を新たに導入し、順序選択の理想的な性を考慮したヒューリスティックに委ねられてき上限性能を評価する。LLaDA8Bを用いたGSM8K・た。近年では、順序そのものを最適化するために推MATH・AQuA・StrategyQAのベンチマーク実験を通論ループを環境として扱い、下流タスクの正解率なじて、Gt-Marginに基づく順序選択が既存のmarginどを報酬としてwhere-to-unmaskを強化学習で獲得指標を大きく上回り、where-to-unmaskが最終性能をする試みもあるが、多数のロールアウトを必要と決定づける重要な要因になり得ることを確認した。するため、学習コストが非常に高いという問題がある。このように、訓練時に利用可能な正解系列