離散と連続の交互学習に基づく拡散言語モデルの開発

拡散モデルは画像生成分野での成功を背景に，言語生成への応用も活発に研究されている[1][2]．言語生成における拡散モデルは，拡散過程を連続空間で定義する手法と，離散空間で直接定義する手法に大別される．連続型拡散モデルは，トークン列を連続表現に埋め込みガウスノイズによる拡散を行うことで，理論的に安定した学習と文全体の意味構造を捉えやすいという利点を持つ．一方で，生成時には連続表現から離散トークンへの復元が必要となり，丸め込み誤差や不自然な語彙選択が生じる可能性がある.これに対し，離散拡散モデルはトークン空間上で直接拡散を行うため，生成結果のトークンレベルの正確性が高いが，長距離依存関係や文全体の大域的意味構造のモデル化が難しいという課題を持つ．このように，連続型拡散と離散拡散は補完的な性質を持つが，両者を統合的に扱う枠組みは十分に検討されていない．