LoRAを活用した言語モデルの中間層蒸留

近年，言語モデルの巨大化により，計算コストが大きく増加したため，性能を保ちつつモデルのパラメータ数を削減する手法が求められている．その一つに知識蒸留があり，中間層蒸留はその一種である．モデルの中間層出力も損失関数の計算に用いる中間層蒸留は有効とされてきたが，線形写像を推論時に用いないため，学習の効果が保証されない問題があった．本研究では，中間層蒸留の線形写像をLoRAのアダプターで代替し，推論時に除かれない線形写像を実現したLoRAILDを提案し，実験を行った．その結果，中間層蒸留の効果に対する否定的な結果を得た．