知識蒸留
深層学習の分野では、2015年にGeoffrey Hintonらによって導入された。一般に大規模なモデルが持つ知識容量が全て利用されているとは限らず、推論の際に単に計算資源を無駄にしていることもある。教師モデルの出力や内部表現を生徒モデルに教えることで、推論の妥当性を大きく損なうことなく、生徒モデルがより効率よく推論速度を向上させるために用いられる。