大きなモデルは小さなモデルの良い教師となり得るか?—日本語算術タスクにおける検証—

大規模言語モデル(LLM)の出力した推論過程を用いた知識蒸留は,小型モデルに高度な推論能力を付与するための有力な手法の1つであり,様々な学習条件が検討されている.英語を対象とした既存研究では,教師モデルのサイズ・精度が蒸留の効果に単調に反映されないことが指摘されているが,日本語においても同様の傾向が成立するかは明らかでない.そこで本研究では,日本語の算術タスクを対象として,教師モデルのサイズが蒸留に与える影響を検証した.実験の結果,英語と同様に,蒸留の効果は教師モデルのサイズや精度に比例せず,7Bモデルを教師とした生徒が,72Bモデルを教師とした生徒よりも平均3.16ポイント上回る正答率を示した.さらに分析により,大規模な教師の下では一貫して計算ミスが増加する傾向にあり,教師の推論過程の形式差が蒸留後の性能に影響する可能性が示唆された.