多言語事前学習モデルのためのSentencePieceトークナイザーへのサブワード追加

多言語事前学習モデルは、トークナイザーが確定した上で事前学習されているため、多言語事前学習モデルを新規言語に拡張する際は、トークナイザーも同時に修正する必要がある。本稿では、多言語事前学習モデルを新規言語（本稿ではイヌイット語）に対応させるため、SentencePieceトークナイザーに新規サブワードを追加する。我々の実験では、既存言語のサブワード分割を変更せずに、イヌイット語のサブワード分割が可能となり、mBART-50事前学習モデルを英語・イヌイット語翻訳に適用することができた。