日本語投機的デコーディングの検討

大規模言語モデル(LLM)は，多種多様なタスクを高精度で解くことができる汎用性から，自然言語処理の根幹を担う技術として注目を集めている[1,2]．その一方，これらのモデルは一般的にパラメータ数が非常に多く，1回の推論につき1つしかトークンを生成できないため，テキスト生成速度が遅いことが問題となっている．言語モデルによるテキスト生成を高速化する手法も多く提案されているが[3,4]，いずれも出力精度の低下が避けられない．この性質により，マルチモーダル対話[5,6]や自動運転[7]などのリアルタイム性と出力品質が同時に要求される用途での応用が妨げられている．出力の精度を低下させることなくテキスト生成を高速化する手法として，投機的デコーディング(Speculativedecoding)[8,9]が注目されている．この手法では，推論を高速化したい対象の言語モデル(ターゲットモデル)に対し，ドラフトモデルと呼ばれるより小規模な言語モデルにより高速に複数の候補トークンを逐次生成した後，ターゲットモデルにより並列に出力を検証する投機的サンプリングと呼ばれる処理を繰り返す(図1)．候補トークンが受理された場合，ターゲットモデルの1回の推論につき，同時に複数のトークンを生成することができるため，高速化を実現することができる．ドラフトモデルを追加で運用する必要があるが，この手法で生成されたトークンの分布は単一のターゲットモデルで生成した場合と一致することが理論的に保証されている[8,9]ため，有望な手法であると言える．一方，投機的デコーディングにより得られる効果はドメインに依存することが知られている．先行研究では，英語での要約[8,9]，英独翻訳[8]，コード生成[9]でテキスト生成速度が変化することを示しているが，ドメイン依存の詳細なメカニズムについては明らかになっていない．また，言語固有の特徴[10,11]が影響を与える可能性があるにも関わらず，英語以外での検証も行われていない．そこで本研究では，日本語の事前学習済み言語モデルを構築し，要約生成タスクXLSum[12]により投機的デコーディングの効果検証を行う．また，ターゲットモデルにより検証されるトークンに着目し，そのメカニズムを分析する．なお，実験で使用したコードとモデルはhttps://github.com/u-hyszk/japanese-speculative-decodingで公開している．.