拡散言語モデルのテキスト生成順序の最適化

（ground-truth）を最大限活用し、where-to-unmaskをマスク拡散言語モデル（MaskedDiﬀusionLanguage低コストで最適化する手法は、依然として確立されModel;MDLM）[1]は、マスクトークン（<mask>）をていない。用いた拡散過程により、テキスト生成に新たな自本稿では、順序選択を最適化対象として明示的に由度をもたらす手法である。左から右への単方向扱い、正解系列を用いた順序オラクルによって理想生成に縛られる自己回帰（AR）モデルとは異なり、的な性能上限を特定し、このオラクル順序を模倣すMDLMは任意の順序でトークンを復元できるため、る効率的な学習枠組みを提案する。実験の結果、提文章の補完や編集などの非順序的なタスクに本質案手法はGSM8KやMATHといった論理推論タス的な適性を持つ。加えて、プログラミングや数学なクにおいて既存手法を大幅に凌駕する性能を示したどの論理推論タスクにおいて同規模のARモデルを（表1）。この結果は、where-to-unmaskの最適化が性上回る性能が示されており、その構造的な優位性か能向上における支配的要因であることを実証するとら次世代の基盤モデル候補として期待されているともに、オラクル模倣の精度向上により推論性能を[2,3,4]。さらに改善できる余地があることを示唆している。org/licenses/by/4.0/).