アンカー表現の適応的選択に基づく拡散言語モデル

近年，大規模言語モデル（LLM:LargeLanguageModels）の成長が著しく，とりわけ自己回帰型のLLM（autoregressive(AR)models）は高品質のテキスト生成や推論能力を達成している．GPT-3[1]やGemini[2]，LLaMA[3]，Claude[4]に代表されるARモデルは，テキスト生成において逐次的に左から右への一方向のトークン生成を行っている．これはそれ以前のトークンをもとに次のトークンを予測するものであり，このモデルはシーケンス全体の情報を利用することができない．また逐次生成により遅延や累積誤差が生じる問題がある．ARモデルの代替モデルとして，拡散言語モデル（DLMs:DiﬀusionLanguageModels）が注目されている．これはノイズを除去する過程を学習するノイズ除去拡散確率モデル（DDPM:DenoisingDiﬀusionProbabilisticModels）[5]に基づく大規模言語モデルである．拡散言語モデルは，マスクされたトークンを予測する過程を繰り返し学習することにより，ARモデルにおける前述の課題の解決に資することが期待される．しかしながら，拡散言語モデルはノイズを付与する拡散過程において，早い段階で重要なトークン（出現回数が低頻度のトークンや意味的に重要なトークン）がマスクされてしまうと，文脈の意味が失われ，もとの文章を正確に再現することが難しくなる．これを解決する手段として，ノイズ除去ネットワークに生成条件を与えるためのアンカーネットワークをともなった，アンカー拡散言語モデル（ADLM:AnchorDiﬀusionLanguageModel）[6]が最近提案され，その有用性が報告されている．ADLMでは，重要語であるアンカー表現の選択基準として，一定長のシーケンスにおける単語の出現頻度が一定数以下であることが仮定されていた．この基準は固定的でアドホック的であるため，改善の余地が認められる．局所的な低頻度語が必ずしも重要な単語とは限らず，大域的に低頻度かつ局所的に高頻度であるような語が重要な単語であることが経験的に知られている[7,8]．本研究では，TF-IDFを用いた重要語スコアと学習可能な閾値を利用した，より適応的かつ効果的なアンカー選択を行う手法を提案する．以下，本提案手法をAdaADLM（AdaptiveADLM）と呼ぶ．