多言語事前学習モデルのためのSentencePieceトークナイザーへのサブワード追加

近年、さまざまな事前学習モデルがリリースされている。その中でも、mBERT[1],XLM-RoBERTa[2],mBART[3,4],mT5[5]などの多言語モデルは、複数の言語を一つのモデルで学習されているため、言語横断分類や機械翻訳に有効である。しかし、これらの事前学習モデルは、語彙が事前学習時に決定されている。事前学習モデル自体の語彙は、追加するだけなら、単語埋込テーブルを拡張することで可能である[6]。しかし、一般的には、事前学習モデルはトークナイザー（とそのモデル）を確定した上で事前学習されているため、事前学習モデルの語彙を変更する場合、同時にトークナイザーも修正する必要がある。たとえ新規言語であっても、トークナイザーがサポートしている文字を使用する言語の場合は、（たとえ最適でないとしても）既存モデルが流用可能である。一方、トークナイザーがサポートしていない文字が使われている言語の場合、未知語となってしまうため、何らかの対処が必要となる。本稿では、多言語事前学習モデルのトークナイザーに焦点を当てる。具体的には、mBART-50[7]を新規言語に対応させるため、SentencePieceトークナイザー[8,9]に新規サブワードを追加する。タスクは、国際会議WMT-20[10]のニュース翻訳タスクで対象となったイヌイット語・英語翻訳である。mBART-50も、それに付随するSentencePieceも、モデルにはイヌイット語を含んでいない。われわれの目標は、新規言語に事前学習モデルを適用するために、既存言語のトークナイズ結果を極力変えないようにしながら、新規言語に対してサブワード化方法を提供することである。既存言語の解析結果を変えないことによって、事前学習モデルの効果を最大限活用できる。