実用的観点から見たCoT蒸留における教師–生徒能力差の影響

大規模言語モデル（LLM）は，最終解だけでなくChain-of-Thought(CoT)と呼ばれる推論過程を生成させることで，高い推論性能を示すことが知られている[1,2]．しかし，これにより出力が長くなり，推論コストが大きく増加してしまう．この課題に対し，より小型で効率的な生徒モデルに教師モデルの推論を模倣させるCoT蒸留が提案されてきた[3,4,5,6,7,8]．CoT蒸留の詳細は付録Aを参照．CoT蒸留における重要な懸念として，教師と生徒間の能力差（CapacityGap）の問題がある．既存研究は，教師と生徒の能力差が大きいと蒸留による性能の改善幅が小さくなることがあると報告している[9,10]．つまり，最高性能の教師を使うことが最適な蒸留戦略とはならない場合があり，生徒に見合う教師を探索する必要が生じる．しかし，この探索は蒸留の学習・評価コストを押し上げてしまう．本稿はこの能力差の影響を実用的観点から検証する．検証により，まず既存設定が現実の蒸留運用を十分に反映していないことを示す．具体的には，蒸留後モデルが蒸留前の性能を下回っていること，他の教師も正答した事例のみ教師データとして使うフィルタリングや，生徒が教師より大きいという非現実的な設定の混入が問題としてある．これらを踏まえ，より現実的な実験設定での再検証を行う．結果として，教師と生徒の能力差の影響はタスクや設定によっては見られず，特に候補教師の性能差が大きい場合には高性能教師の利点が能力差の影響を上回ることが多いと分かった．以上から実用的指針として，(1)蒸留後に性能が改善することを確認すること，(2)候補教師間の性能差が大きい場合は高性能教師を優先すること，を提案する．