大きなモデルは小さなモデルの良い教師となり得るか?—日本語算術タスクにおける検証—

大規模言語モデル(LargeLanguageModel;LLM)は，高度な推論能力を備え,数学やコーディングをはじめとする多様なタスクにおいて,高精度な回答を生成できる[1,2,3].これらのモデルは,ChainofThought(CoT)[4]と呼ばれる多段的な推論を展開することで,複雑な問題を解決することを特徴とする.しかし,推論能力の高いモデルの多くは,大規模な計算資源を必要とするため,適用範囲が限定的である.そこで,精度を維持したまま,モデルを軽量化する技術が必要とされている.知識蒸留[5,6]は,大きなモデル(教師)の知識を,より小さなモデル(生徒)へと受け継ぐことで,モデルを軽量化する手法である.特に,教師が出力した推論過程を学習させることで,生徒に教師の持つ推論能力を付与する手法が注目されている[2,7].一般に,大規模で高精度な教師ほど,より正確で豊富な推論過程を生成できるため,その知識を蒸留した生徒の性能も向上することが期待されるが,推論能力の蒸留を対象とした既存研究では,教師モデルのサイズと蒸留の効果が必ずしも比例しないことが指摘されている[8,9].しかし,既存研究は,これまで主に英語のみを対象としており,日本語において同様の傾向が成立するかは明らかでない.そこで,本研究では,日本語の算術タスクを対象として,教師モデルのサイズが小さな生徒モデルの学習に与える影響を検証する.実験では,GSM8K[10]の日本語訳データセットを用い,4つの異なるサイズの教師モデルが生成した推論過程を,4種類の生徒モデルに学習させた.実験の結果,英語と同様,蒸留の効果は教師モデルの精度やサイズに比例しないことを確認した.特に,小サイズの7Bモデルを教師とした際に蒸留の効果は最大化し,72Bモデルを教師とした際の正答率を平均3.16%上回った.分析により,大規模な教師の下では一貫して計算ミスが増える傾向にあり,教師モデル間での推論過程の形式差が蒸留後の性能に影響した可能性が示唆された.