日本語GPTの蒸留における損失関数の比較

本研究では日本語を対象に，蒸留を用いてGPT-2の小型化のための事前学習を行った.蒸留に際しては，通常の事前学習におけるマスク言語モデルの損失と蒸留の損失の混合率や，蒸留の損失において計算対象とする層など，異なる損失関数を用意して比較した.パープレキシティによる主観評価では，smallサイズのベースラインに対しその68%のサイズの生徒モデルでよりよい値を達成し，文生成結果の主観評価では上回らなかったものの，大きなモデルの性能に匹敵するより小さいモデルへの蒸留の可能性を示した.