離散と連続の交互学習に基づく拡散言語モデルの開発

近年，拡散言語モデルを用いた言語生成が注目されている．拡散言語モデルには，状態を連続値で表現する連続型拡散言語モデル，及び，状態をトークンとして扱う離散型拡散言語モデルの二つがある．しかし，連続型には丸め込む際の誤差に，離散型には大域的意味構造の表現にそれぞれの課題を持つ．一方で，連続型には状態の微量かつ滑らかな変化を捉えることが可能であり，離散型には言語モデルの回帰的な性質を表現しやすいなどの利点が存在する．そこで，本研究では両者のモデルを交互に学習させることでそれぞれの長所を取り込み，短所を補えることを可能にするハイブリッド拡散言語モデルを提案する．提案手法では，拡散時間に応じてモデルと損失関数を切り替えることで，トークンレベルの正確性と文全体の意味的一貫性の両立を図る．結果として、連続型拡散言語モデル単体を上回る性能を実現できたが、離散型拡散言語モデル単体には及ばず、改善の余地がある.