対訳データを使わないマルチリンガル表現学習に必要な分布構造とは何か

複数の言語にまたがって意味を表現したベクトルを獲得するマルチリンガル表現学習アルゴリズムには、対訳データを用いないものがある。これらのアルゴリズムが言語間の対応を発見するために利用しているのは、自然言語の分布構造の類似性である。この分布構造とは具体的にどのようなものだろうか？本稿では、代表的なマルチリンガル表現学習アルゴリズムとして、Skip-gram+VecMapとMaskedLanguageModeling(MLM)を取り上げ、それらが利用している分布構造を、局所的/大局的なものという観点から区別して分析する。