アンカー表現の適応的選択に基づく拡散言語モデル

拡散言語モデルは，ノイズを除去する過程を学習するノイズ除去拡散確率モデル（DDPM:DenoisingDiﬀusionProbabilisticModels）に基づく大規模言語モデル（LLM:LargeLanguageModels）を指し，現在主流となっている自己回帰型のLLMにおける累積誤差などの課題を解決しうる手段として注目されつつある．とりわけ，ノイズ除去ネットワークに加えて，生成条件を与えるためのアンカーネットワークをともなった，アンカー拡散言語モデル（ADLM:AnchorDiﬀusionLanguageModel）が最近提案され，その有効性が報告されている．そこではアンカーネットワークの構成要素であるアンカー表現の選択基準が固定的かつアドホック的であるため改善の余地が認められる．そこで，本研究では，アンカー表現の適応的選択をともなう拡散言語モデルについて検討する．