言語処理学会 第26回年次大会 発表論文集 (2020年3月)

多言語単語埋め込みのための文脈窓の分析
李 凌寒鶴岡 慶雅

東京大学 大学院情報理工学系研究科{li0123,tsuruoka}@logos.t.u-tokyo.ac.jp

1

はじめに単語

複数言語で共通の意味空間を学習する多言語単語埋め込み（Cross-lingual Word Embedding）の分野にお言語学

いて、独立に学習された複数の単語空間を共通の空間にマップする写像ベース (mapping-based) の手法が盛んに研究されている [1, 8]。写像ベースの手法は、異窓サイズ 1

窓サイズ 10

宗教学

比較言語学

社会学

類型論

発生学

記号論

統計学

言語学者

音声学

生成文法

なる言語の単語埋め込み空間の構造が類似している、もしくは近傍グラフの構造が同型である [10] という

表 1: 本研究で得られた日本語単語埋め込み空間にお強い仮定に基づいている。

ける上位近傍単語。小さい窓サイズは機能的な類似性

単語埋め込み空間の構造は、訓練コーパスにおける単語の共起情報に強く依存している [2, 11]。実際のア(「-学」) を捉え、大きな窓サイズはトピック的な類似性を捉えている。

ルゴリズムでは、文内の単語について文脈窓 (contextwindow) を定義し、その文脈窓にどのような単語が現れるかの情報によって、単語埋め込みが計算される。
この文脈窓の選択は、単語埋め込み空間の構造の決定に大きな影響を与える。例えば、前後１〜２単語を範囲とする狭い文脈窓で単語埋め込みを学習するとその埋め込み空間は単語の文法的な性質を捉え、広い文脈窓では単語のトピック的な性質を捉える傾向にあることが知られている [5]（表 1）。このように、文脈窓と単語埋め込み空間の構造は密接に関連しているにも関わらず、文脈窓の選択が多言語の単語埋め込み空間の構造的類似性、ひいてはマッピングの質にどのような影響を与えるかを調べた研究は少ない。
本研究では、文脈窓と多言語単語埋め込みの関係について理解を深めるために、異なる文脈窓サイズの単語埋め込みを複数言語で学習し、それらのマッピングの性能を測定する実験を行った。マッピングの性能は近傍から翻訳に当たる単語を取得する bilingual lexiconinduction のタスクで評価した。その結果、全体的な傾向として、窓サイズを大きくすればするほど、２つの埋め込み空間はマップしやすくなることが観察された。

2

実験設定

2.1

単言語単語埋め込みの学習実験に用いる言語は、言語資源の豊富さと語族の多様性を考慮して、ターゲット言語として英語 (en) 、ソー
ス言語としてフランス語 (fr)、ドイツ語 (de)、ロシア語 (ru)、日本語 (ja) を使用した。単語埋め込みを学習するためのコーパスには the Wikipedia Comparable

Corpora1 を用いた。Comparable コーパスを用いた
理由は、各言語である程度のデータ量が確保でき、かつ多言語単語埋め込みが学習しやすい設定にすることで文脈窓の影響を強調できるためである。ソース言語には 100 万文、ターゲット言語には 500 万文用いた。
文脈窓の影響を調査するために、線形文脈窓のサイズを 1, 2, 3, 4, 5, 7, 10, 15, 20 の間で変化させた。線形文脈窓の他に、係り受け関係に基づいた文脈窓 [7]から学習した埋め込みについても調べたが、予備実験の結果、係り受け文脈窓の性能は常に線形窓サイズが小さいものと大きいものの中間に位置し、特徴的な傾向はみられなかった。従って、以下の分析では線形窓についてのみ論じる。

1 https://linguatools.org/tools/corpora/
wikipedia-comparable-corpora/― 949 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: Comparable な設定における BLI スコア。

図 2: 異なるドメインの設定における BLI スコア。

単語埋め込みの計算には Skip-gram with Negative

規化と中心化の前処理を適用した [1]。

Sampling [9] の手法を用いたが、窓サイズの影響に学習と評価に用いた単語辞書は Google Translate 5

ついて論じる際は、その実装に注意しなくてはならなから構築した。語彙内の単語を翻訳し、訓練データと2い。オリジナルの C 言語実装 Word2Vec や、python
3実装である Gensim は dynamic window の仕組みをして 5,000 対、評価データとして 2,000 対の単語翻訳ペアを各言語対でランダムに抽出した。

採用しており、各トークンに対する実際の窓サイズはプログラムの乱数シードを変え、全ての設定につい１から設定された窓サイズの間から一様にサンプリンて３つずつ多言語埋め込みを学習した。以下の結果でグされる。また、上に挙げた実装では高頻度のトークは、それらの平均を標準偏差と共に示す。

ンを subsampling によって取り除くことで学習を効率化しているが、この高頻度トークンの除去は単語・

3

文脈語ペアを抽出する前に行われため、実質文脈窓サイズを増やすこととなる（“dirty” subsampling と呼ばれる [6]）。こうした dynamic window と dirty

sub-sampling の仕組みは、実質の文脈窓サイズを変化させるため、窓サイズが埋め込みに与える影響を曖昧にしてしまう可能性がある。従って、本実験ではword2vecf4 の実装を用いて実験を行う。 word2vecf
は入力として直接、単語・文脈語ペアを与えることが出来るので、固定した窓サイズから単語・文脈語ペアを抽出し、その後に sub-sampling を行った。

2.2

実験結果
文脈窓サイズを変えて得られた多言語単語埋め込みを bilingual lexicon induction (BLI) のタスクで評価する。BLI は評価用辞書内の翻訳単語ペアについて、ソース言語の単語埋め込みから、多言語単埋め込み空間におけるコサイン類似度に基づく近傍探索によってターゲット単語を取得するタスクである。ここでは、評価尺度としては平均逆順位 (mean reciprocal rank;MRR) 6 を用いる。
ソース言語とターゲット言語の窓サイズを同じに揃え、どちらも変化させた時の設定の結果を図 1 に示す。
ソース言語とターゲット言語の窓サイズを増やすこと

単言語埋め込みのマッピングにより、BLI のスコアも一貫して向上することが観察
単言語埋め込みを学習した後は、写像ベースの手法される。大きい窓サイズは、単語のトピック的な性質で２言語の埋め込み空間を揃えた。空間を揃えるためを捉えることを考えると、これはよりトピック的な性の線形行列 W は２言語の単語埋め込みと単語辞書か質を捉えた単語埋め込みの方が異なる言語間でマップら計算される。ここでは、単語辞書を (xi , yi )mi=1 とし∑m2て、最小化問題 arg min i=1 ∥W xi − yi ∥ を解く一しやすいからだと考えられる。トピックは、言語固有般的な手法を用いた [8]。このとき、マッピングの品限り言語普遍だと考えられる。従って、トピックをよ質を上げるために、W には直交行列になるような制り捉えた単語埋め込みは異なる言語間でマップがしや約を課し、単語埋め込みにはマッピング前にノルム正すいのも妥当なことだと思われる。

Wの文法などと異なり、コーパスが comparable である

2 https://code.google.com/archive/p/word2vec/
5 https://translate.google.com/ (October 2019)

3 https://radimrehurek.com/gensim/
4 https://bitbucket.org/yoavgo/word2vecf/src/

default/

6 N 単語ペアと、それらの順位 rank が与えられたとき、平均i1 ∑N
1
逆順位スコアは N
i=1 rank となる。
i― 950 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 3: Comparable な設定における、各品詞の BLI スコア。グラフ上の数値はスコアと窓サイズのスピアマンの順位相関係数。統計的に有意な相関はアスタリスクで示される (p < 0.05)。
このトピック的な単語埋め込みはマップがしやすいという仮説は、単語の品詞毎の BLI の結果からも支持されると考えられる。直感的に、名詞は他の品詞に比べてトピックをよく表すことが多いと考えられるため、よりトピック的な性質を持った埋め込みが与えられているはずである。従って、名詞の BLI のスコアは単語埋め込みの窓サイズと特に強い相関を示すことが期待される。図 3 に各品詞のスコアとスピアマンの相関係数を示す7 。全ての言語において、実際に名詞が相関係数 0.99 以上と最も強い相関を示している。
異なるドメインの設定. これまでの結果は、ソース言語とターゲット言語のコーパスが comparable であるという比較的理想的な条件下で行った実験の結果であった。コーパスが comparable であるとき、２つのコーパスは同じトピックを持つので、トピック的な単図 4: Comparable な設定における高頻度語と低頻度語の BLI スコア。

語埋め込みがマップしやすいのは当然だと思われる。

サイズを大きくすると BLI のスコアも上がるという、この傾向が、異なるドメインのコーパスを用いた時comparable の設定と同じ傾向が観察される。このこにも見られるかどうかを調べるために、ソース言語のとは、たとえソース言語とターゲット言語でコーパス

コーパスに異なるドメイン（ニュース）のコーパス8のドメインが異なっていても、窓サイズを大きくするを用いた結果を図 2 に示す。

ことで単語埋め込みはドメイン普遍なトピックを捉えまず、comparable の設定（図 1）に比べて、全体的マッピングがしやすくなるということを示唆している。に 0.1 〜 0.2 ポイント低いスコアを示している。これ

単語頻度による分析. 窓サイズを広げることでどのよは、先行研究の、ドメインが一致していることが埋めうな単語のマップがしやすくなるのかについて、さら込み空間の類似性に重要であるという観察 [10] と合なる知見を得るために、評価用の単語辞書から頻度が致する。

上位 500 の単語と下位 500 の単語を抜き出して、それ次に、BLI の性能と窓サイズの関係については、窓らについてのスコアを評価した。Comparable の設定における結果を図 4 に示す。

7 各単語の品詞は、和田ら [12] にならい、Brown Corpus におけるその単語の最も頻度の高い品詞を用いた。
8 https://wortschatz.uni-leipzig.de/en/download

高 頻 度 語 (top500) の ス コ ア が 低 頻 度 語 (bot-tom500) のものより低いのは、既存のマッピングの― 951 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

参考文献[1] Mikel Artetxe, Gorka Labaka, and Eneko Agirre.
Learning principled bilingual mappings of word embeddings while preserving monolingual invariance.
In Proceedings of EMNLP, 2016.
[2] Marco Baroni, Georgiana Dinu, and GermánKruszewski. Don’t count, predict! A systematic comparison of context-counting vs. contextpredicting semantic vectors. In Proceedings of ACL,
2014.
[3] Fabienne Braune, Viktor Hangya, Tobias Eder, andAlexander Fraser. Evaluating bilingual word embeddings on the long tail. In Proceedings of the 2018
Conference of NAACL-HLT, 2018.

図 5: 異なるドメインの設定における高頻度語と低頻度語の BLI スコア。
手法は低頻度語に弱いという、先行研究の観察と合致する [3, 4]。
窓サイズとの関係については、高頻度語と低頻度語のどちらも大きい窓サイズにするにつれてスコアが上がっているが、日本語 (ja) とロシア語 (ru) については上昇の傾向は弱い。一方、ドメインが異なるコーパスでの結果（図 5）からは、低頻度語は、特にフランス語 (fr) とロシア語 (ru) で顕著であるが、窓サイズ[4] Paula Czarnowska, Sebastian Ruder, EdouardGrave, Ryan Cotterell, and Ann Copestake. Don’t
Forget the Long Tail! A Comprehensive Analysisof Morphological Generalization in Bilingual Lexicon Induction. In Proceedings of EMNLP-IJCNLP,
2019.
[5] Omer Levy and Yoav Goldberg. Dependency-Based
Word Embeddings. In Proceedings of ACL, 2014.
[6] Omer Levy, Yoav Goldberg, and Ido Dagan. Improving Distributional Similarity with Lessons Learned
from Word Embeddings. Transactions of the Association for Computational Linguistics, Vol. 3, p.
211–225, 2015.

を大きくするとスコアが下がることが観察される。高頻度語は一貫して、窓サイズに比例してスコアが上昇している。これは、ドメイン違いのコーパスでは単語埋め込みを学習する時に、高頻度語は多くの訓練事例（単語・文脈語ペア）と関連づけられることで、大きい窓サイズを広げても意味上関係の無い文脈語（ノイズ）の影響を受けにくく、一方で低頻度語は限られた訓練事例の中で窓サイズを広げてしまうと、ノイズやドメインの違いが増幅され、結果マップがしにくくなるからだと考えられる。

4

おわりに単語埋め込みを学習する際の文脈窓と、２つの埋め込み空間の構造的類似性との関係は、明らかに大きな影響を与えうることが予想されるにも関わらず、既存研究では十分に調査されていなかった。本研究は、文脈窓サイズと多言語単語埋め込みの BLI の性能との関係についての実験結果を提供し、多言語単語埋め込みの性質について新たな知見を加えた。

[7] Bofang Li, Tao Liu, Zhe Zhao, Buzhou Tang, Aleksandr Drozd, Anna Rogers, and Xiaoyong Du. Investigating Diﬀerent Syntactic Context Types andContext Representations for Learning Word Embeddings. In Proceedings of EMNLP, 2017.
[8] Tomas Mikolov, Quoc V Le, and Ilya Sutskever. Exploiting Similarities among Languages for MachineTranslation, 2013.
[9] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S
Corrado, and Jeﬀ Dean. Distributed representationsof words and phrases and their compositionality. In
C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in
Neural Information Processing Systems 26. 2013.
[10] Anders Søgaard, Sebastian Ruder, and Ivan Vulić.
On the Limitations of Unsupervised Bilingual Dictionary Induction. In Proceedings of ACL, 2018.
[11] Peter D. Turney and Patrick Pantel. From Frequency to Meaning: Vector Space Models of Semantics. Journal of Artificial Intelligence Research,Vol. 37, No. 1, pp. 141–188, 2010.
[12] Takashi Wada, Tomoharu Iwata, and Yuji Matsumoto. Unsupervised multilingual word embedding
with limited resources using neural language models.
In Proceedings of ACL, 2019.

― 952 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.