日本語投機的デコーディングの検討

投機的デコーディングは，言語モデルによるテキスト生成において，出力の精度を低下させることなく推論を高速化する手法として注目を集めている．この手法ではドラフトモデルと呼ばれるより小規模な言語モデルを利用することで生成の一部並列化による推論速度の向上を実現している．一方，これまでの検討は英語が中心であり，日本語などの言語固有の性能やドメイン依存のメカニズムについては明らかになっていない．本研究では，日本語を対象として，モデルサイズの異なる複数の事前学習済み言語モデルに基づきドラフトモデルを構築し，日本語要約タスクにおける投機的デコーディングの効果検証およびトークン単位での詳細な分析を行う．