実用的観点から見たCoT蒸留における教師–生徒能力差の影響

Chain-of-thought（CoT）蒸留は，教師モデルの推論を小型モデルに転移して大規模言語モデルの運用コストを下げる．一方，教師と生徒の能力差が大きいと蒸留が不調になる現象が報告されており，適切なモデル選択にはコストがかかる．本稿は既存の実験設定を実運用に合わせて見直すことで，この現象の実際的な影響を再検討する．まず，既存設定では蒸留後にむしろ性能が低下していることを示す．次にこれを是正した設定で再評価を行い，能力差の影響はタスクや設定を通じて一貫して見られるものではなく，特に候補教師間の性能差が大きい場合は見られないことを示す．以上を通じて，教師・生徒ペア選択と評価に関する実用的指針を提示する．