でいる。すなわち、「次にどの位置をunmaskするマスク拡散言語モデル（MaskedDiﬀusionLanguageか（where-to-unmask）」と、「その位置にどのトークModel;MDLM）は、任意順序でのテキスト生成を可ンを生成するか（what-to-unmask）」である。what-to-能にする次世代の大規模言語モデルとして注目されunmaskが単純な語彙分布の予測であるのに対し、ている。その柔軟性により、推論能力やデータ効率where-to-unmaskは生成経路そのものを決定するたの面で自己回帰モデルを上回る性能が報告されていめ、初期の選択ミスが後続の復元を制約し、誤りがる一方、推論時に「どの位置を先にunmaskするか全体へ波及する。したがって、順序選択は生成品質（where-to-unmask）」という順序選択が生成経路を規を左右する重要な設計要素となる。定し、性能および安定性を大きく左右する。しかしかし、標準的なMDLMの学習は、ランダムにし、MDLMの標準的な学習は主としてトークン復マスクされた入力から正解トークンを復元する元（what-to-unmask）を最適化しており、順序の学習穴埋め学習として実装され、損失関数は主としてはヒューリスティックに委ねられてきた。本研究でwhat-to-unmaskの精度向上を目的としている[5,6]。は順序の影響を明示的に分析するため、訓練時に利そのため、where-to-unmaskの順序選択は明示的には用可能な正解系列を参照した順序オラクル（Gt-Prob最適化されず、推論時の順序決定はモデルの不確実/Gt-Margin）を新たに導入し、順序選択の理想的な性を考慮したヒューリスティックに委ねられてき上限性能を評価する。LLaDA8Bを用いたGSM8K・た。近年では、順序そのものを最適化するために推MATH・AQuA・StrategyQAのベンチマーク実験を通論ループを環境として扱い、下流タスクの正解率なじて、Gt-Marginに基づく順序選択が既存のmarginどを報酬としてwhere-to-unmaskを強化学習で獲得指標を大きく上回り、where-to-unmaskが最終性能をする試みもあるが、多数のロールアウトを必要と決定づける重要な要因になり得ることを確認した。するため、学習コストが非常に高いという問題がある。このように、訓練時に利用可能な正解系列

（ground-truth）を最大限活用し、where-to-unmaskをマスク拡散言語モデル（MaskedDiﬀusionLanguage低コストで最適化する手法は、依然として確立されModel;MDLM）[1]は、マスクトークン（<mask>）をていない。用いた拡散過程により、テキスト生成に新たな自本稿では、順序選択を最適化対象として明示的に由度をもたらす手法である。左から右への単方向扱い、正解系列を用いた順序オラクルによって理想生成に縛られる自己回帰（AR）モデルとは異なり、的な性能上限を特定し、このオラクル順序を模倣すMDLMは任意の順序でトークンを復元できるため、る効率的な学習枠組みを提案する。実験の結果、提文章の補完や編集などの非順序的なタスクに本質案手法はGSM8KやMATHといった論理推論タス的な適性を持つ。加えて、プログラミングや数学なクにおいて既存手法を大幅に凌駕する性能を示したどの論理推論タスクにおいて同規模のARモデルを（表1）。この結果は、where-to-unmaskの最適化が性上回る性能が示されており、その構造的な優位性か能向上における支配的要因であることを実証するとら次世代の基盤モデル候補として期待されているともに、オラクル模倣の精度向上により推論性能を[2,3,4]。さらに改善できる余地があることを示唆している。org/licenses/by/4.0/).