対訳データを使わないマルチリンガル表現学習に必要な分布構造とは何か

人間が異なる言語間の対応関係を理解するためには、２つの言語を明示的に結びつける情報が必要である。第二言語学習者にとっては、対訳辞書や教科書の対訳文が、その役目を担うだろう。また、多言語環境で生活する人々は、現実世界の物事との対応を通して、２つの言語の対応関係を発見することができる。一方で、ニューラルネットワーク(NN)は、人間とは異なる方法で言語間の対応を発見できることが知られている。Skip-gramなどのアルゴリズムで学習した異なる言語の単語ベクトル空間は、線形変換によって対応づけられることが知られており[1]、その変換は対訳データを使わずに発見することができる[2,3]。また、TransformerとMaskedLanguageModeling(MLM)を用いて文脈化単語ベクトルを学習する際に、異なる言語のコーパスを混ぜて使うだけで、各言語の対応するフレーズのベクトル表現が近づく現象が報告されており[4]、この効果は各言語に共通の語彙が存在しない場合でも観察される[4,5]。これらの表現学習アルゴリズムが、言語間対応発見のための手がかりにできるのは、単語の分布構造の類似性である。異なる言語圏であっても、人間は共通の認知基盤を持ち[6]、またいくつかの話題を共有しているため、そうした共通性が言語の分布構造に反映されていると考えることができる。それでは、具体的にどのような分布構造が、アルゴリズムの言語間対応発見の手がかりに使われているのだろうか。この問いを明らかにすることで、NNの自然言語の捉え方に関する理解を深め、未だに謎の多いNNという技術を上手く扱えるようになることに繋がる。本研究では、調査するアルゴリズムとして、Skip-gram+VecMap[3]および、MaskedLanguageModeling(MLM)を用いた手法を取り上げる。分析では、学習データとして、分布構造を改変したソース言語とターゲット言語のテキストを使い、得られたマルチリンガルベクトルを言語横断テキスト検索のタスクで評価する（図1）。ここから、学習データの持つ分布構造の、アルゴリズムの言語間対応発見における必要性を調べることができる。本稿では分析の観点として、ある単語の周囲数単語だけを含む局所的な分布と、周囲の文を含めた大局的な分布の、２つの分布の対比に注目する。実験の結果、Skip-gram+VecMapは、自然言語の局所的/大局的な分布のいずれかだけを手がかりにして言語間対応関係を学習できる一方で、MLMは、大局的な分布のみでは言語間対応を捉えられず、局所的な分布が必要であることが示唆された。.