事前学習済みモデルの性能を新たな言語、特に低資源言語に転移させる際、事前学習済みモデルのサブワード埋め込みを用いて目的言語のサブワード埋め込みを初期化する手法が知られている。それらは目的言語のコーパスを用いるが、低資源言語の中には十分なコーパスが存在しない場合が多い。その一方で、多くの言語には対訳辞書が存在している。そこで本研究では、対訳辞書に基づくサブワード埋め込みの初期化の手法を提案する。実験の結果、既存の手法では課題となっていた言語に対して提案手法は有効であることが明らかとなった。

自分が知らない言語で書かれた書物を読む際、辞書を引き、自分がよく知る言語の単語と関連づけることで、その内容を知ることができる。同様に、言語モデルを新たな言語に対応させるときには、文脈内学習や継続事前学習など、様々な手法がある。その中の一つに、事前学習済みモデルの語彙を目的言語に転移させるという手法がある。既存の手法はパラレルコーパスを用いて原言語と目的言語の対応関係を取ったり[1]、あるいは原言語と目的言語の語彙の重なりに着目したりして、語彙を転移させる[2,3,4,5]。しかし、これらの手法は、目的言語が低資源言語の場合、原言語とのパラレルコーパスが存在していないという問題に直面する[6,7]。そこで本研究では、この問題を解決するために、対訳辞書を基盤とした新たな手法を提案する。本手法は、目的言語のトークナイザーの訓練と、二言語間でのサブワードの対応付け、それを用いた目的言語のサブワードの埋め込みの初期化からなる。実験はRoBERTa[8]を原モデルとして、7つの言語を用いて行った。実験の結果、提案手法は用いるデータが少量にもかかわらず、一部の言語においては従来手法よりも良い性能を収めた。特に従来手法では転移先での性能が限られていた言語においては、提案手法が有効であることが示された。本研究の手法は、対訳辞書という多くの低資源言語で利用可能な言語資源を用いることで効果的に事前学習済みモデルを他の言語に適応させるものであり、低資源言語の広範なタスクにまで既存の言語モデルの恩恵を届ける可能性を開くものである。