低資源言語のための辞書を用いた言語間語彙転移

自分が知らない言語で書かれた書物を読む際、辞書を引き、自分がよく知る言語の単語と関連づけることで、その内容を知ることができる。同様に、言語モデルを新たな言語に対応させるときには、文脈内学習や継続事前学習など、様々な手法がある。その中の一つに、事前学習済みモデルの語彙を目的言語に転移させるという手法がある。既存の手法はパラレルコーパスを用いて原言語と目的言語の対応関係を取ったり[1]、あるいは原言語と目的言語の語彙の重なりに着目したりして、語彙を転移させる[2,3,4,5]。しかし、これらの手法は、目的言語が低資源言語の場合、原言語とのパラレルコーパスが存在していないという問題に直面する[6,7]。そこで本研究では、この問題を解決するために、対訳辞書を基盤とした新たな手法を提案する。本手法は、目的言語のトークナイザーの訓練と、二言語間でのサブワードの対応付け、それを用いた目的言語のサブワードの埋め込みの初期化からなる。実験はRoBERTa[8]を原モデルとして、7つの言語を用いて行った。実験の結果、提案手法は用いるデータが少量にもかかわらず、一部の言語においては従来手法よりも良い性能を収めた。特に従来手法では転移先での性能が限られていた言語においては、提案手法が有効であることが示された。本研究の手法は、対訳辞書という多くの低資源言語で利用可能な言語資源を用いることで効果的に事前学習済みモデルを他の言語に適応させるものであり、低資源言語の広範なタスクにまで既存の言語モデルの恩恵を届ける可能性を開くものである。