ExDistilBERT：辞書拡張できるモデル蒸留によるドメインに特化した言語モデル

近年，大規模コーパスを用いて学習された大規模言語モデルが注目を集めている．BERT[1]を代表として，自然言語処理(NLP)領域での様々なタスクで，良い性能を達成している．汎化性能が高いとFine-tuningの訓練コストが低くできる一方、BERTはBaseサイズモデルでも一億を超えるパラメータを持つため，それを実装するためには膨大な計算リソースが必要である．様々な場面で応用するため，モデルの軽量化が要求される．さらに小規模コーパスでFine-tuningする場合，事前学習した知識を忘れて，過学習しやすいことも課題になる．金融，インフラ，法律，化学などの様々な分野では，一般文書にはない専門用語が大量に含まれている．一般文書を使って学習した言語モデルをそれらの分野に応用する場合，未知語として扱うことや，既知の短い単語の組み合わせに分割することが多い．日本語では，後者の場合が多く，長い専門用語がより小さい断片に分割されて，元の意味を保持できなくなることや，分割によって処理量が増えるなどの恐れがある．モデル軽量化において，よく使われている手法には知識蒸留(KnowledgeDistillation)[2]，枝刈り(Pruning)，量子化(Quantization)など[3]が存在するが，元モデルの性能を超えることができない．そこで我々は，モデル蒸留手法に辞書拡張機能を追加し，教師モデルの知識を学習すると同時に，スムーズに新たな単語を追加することができるExDistilBERTを提案する．すなわちモデル軽量化と特殊ドメインへの適応性を両立できる．結果として，ExDistilBERTは特殊ドメインの性能が教師モデルより向上することを示す．同時に，学習速度や推論時間も改善し，過学習問題も回避できることを示す．