低頻度語彙埋め込みの縮約による事前学習済みモデルの圧縮

既存の事前学習済みモデルの軽量化手法は中間層の圧縮を行うもので，さらなる圧縮には埋め込み層の圧縮が必要となる．本研究では，低頻度語彙の埋め込みを高頻度語彙を用いて縮約表現することで微調整後の事前学習済みモデルの埋め込み層を圧縮する手法を提案する．JNLI，JSTS，JCoLAのJGLUEの各タスクで微調整した事前学習済みモデルDistillBERTに提案手法を適用した結果，それぞれ3割程度のパラメタの削減を達成した．