ExDistilBERT：辞書拡張できるモデル蒸留によるドメインに特化した言語モデル

本論文は小規模コーパスでもドメインに特化できるExDistilBERTを提案する．蒸留手法において，独自の手法で専門用語を辞書に追加し，一般用語と専門用語を独立して計算可能な損失関数を導入し，二種類の語彙や文脈知識を同時に学習できる.蒸留手法で課題となっている過学習による知識忘却の問題を回避できることを実験により確認し，特殊ドメインにおいて，ExDistilBERTは教師モデルの性能を大幅に超えるだけでなく，軽量化もできた．