修士論文 要旨

多言語単語埋め込みの学習を通じた言語普遍表現の獲得
数理情報学専攻 48196214
指導教員

1 研究背景と本研究の目的

栗城周平
田中久美子 教授

語埋め込みを得ることができる．

Unsupervised MUSE[3] はさらに，学習用辞書を一自然言語処理の様々なタスクを解く際の前処理と切使わない教師なし手法という特徴があり，敵対的学習して ，単語の 意 味関係 をベ クト ルで 表現す る Word

により一部の言語ペアで教師ありに匹敵する精度の二Embeddings（単語埋め込み）[4] と呼ばれる技術が広言語埋め込みを得られることを示した．全体の流れはく活用されており，これを言語横断的に拡張する Cross

Algorithm1 の通りである．

Lingual Word Embeddings（CLWE）と呼ばれる分野の研究が盛んになっている．
本研究では，図 1 のように多言語埋め込みに対して抽象的な性質を備えた空間を言語普遍空間と呼び，CLWEの一手法である Unsupervised MUSE[3] を拡張することにより，言語普遍空間を学習する方法を提案する．

Algorithm 1 Unsupervised MUSE
Input: 言語 1, 2 の埋め込み A, B ∈ Rd×m
Output: 写像 W ∈ Od (R) : A → B
Step1: 敵対的学習 W を学習する
Step2: Reﬁnement W を洗練する
Step2-1: 対応単語ペア集合の構築
Step2-2: Procrustes 法
2.1

敵対的学習

W A : 偽の分布，B : 真の分布とみなし，GenerativeAdversarial Nets(DC GAN)[2] を用いて, 以下の 2 者によるゲーム形式で学習を行う．

• 識別器 θD : 入力された埋め込みベクトルの所属がW A か B か判定

図 1. 多言語埋め込みのイメージ図，赤い点で表したのが言語普遍空間であり，本研究ではこれを学• 生成器 W : 識別器を騙すよう W を学習習するのが目的である．

2.2

対応単語ペア集合の構築

元々の学習コーパス中での頻度が多い単語の中で，敵2 先行手法 (Unsupervised MUSE)
この手法は，図 2 のように言語間で単語埋め込みの幾何構造が類似しており，互いに直交変換可能と仮定

対的学習で互いに最近傍となった単語をペアにする．

2.3

Procrustes 法

対応づけられたペアのみに照準を絞り，二乗誤差を最小化するよう W を洗練する．特異値分解によって解析する．

的に解ける．

2.4

単語翻訳タスクによる評価得られた二言語埋め込みに対して，1500 個の単語に対し近傍探索によって翻訳を得る．評価用辞書を正解とし，その翻訳の正解率を評価とする．Precision@k
は k 番目以内の近傍に正解があれば可とするもので，
図 2. 英語とイタリア語の単言語埋め込み（上）とそれらを回転して重ね合わせた二言語埋め込み（下）のイメージ図 ([3] より引用）

すると埋め込み A, B に対して線形写像 W : A → Bが存在するので，W A と B の重ね合わせによって二言k = 1, 5, 10 で評価する．

多言語単語埋め込みの学習を通じた言語普遍表現の獲得 (栗城周平)

3 提案手法表 1. 学習された言語普遍空間の「単語 1」に対し，得られた多言語埋め込み上で 7 言語を相手に近傍探索を行った結果

言語 1,2(埋め込み A,B) を抽象化した言語普遍空間を学習するため，A, B それぞれから直交変換可能な場所

順位

12

3に単語数 l(l < m) の普遍空間 U を構築し，空間 U 上

enrarelyoccasionallyusuallyで 3 言語埋め込みを実現することを目標にする．全体

ja

まれ

稀

ほとんとの流れは Algorithm2 の通りであり，これは 3 言語以上

deseltenvereinzelt

seltenerにも拡張可能である．

esraramenteocasionalmente

frecuentemente

fr

rarement

fréquemmentsouventit

raramenteoccasionalmente

frequentemente

pt

raramenteocasionalmente

geralmente

Algorithm 2 言語普遍空間の学習
Input: 言語 1, 2 の埋め込み A, B ∈ Rd×m
Output: 言 語 普 遍 空 間 U ∈ Rd×l ，写 像 WA :A → U, WB : B → U
Step1: 言語普遍空間の初期値の学習 U を学習
Step2: 三値分類による敵対的学習 WA , WB , U を学習

Step3: 逐次的な Reﬁnement WA , WB , U を洗練落とすことなく言語普遍空間の学習を行えていることが分かる．
表 2. 7 言語で多言語埋め込みを構築した場合の，普遍空間の有無による単語翻訳スコアの比較（全3.1 言語普遍空間の初期値の学習

言語における平均値）

言語普遍空間 U を予め A, B と紛らわしくしておく

methodP@1

P@5

P@10必要がある．そのため，A, B, U の三値分類に拡張した

7 言語

75.3

85.8

88.3

7 言語 + 普遍

75.2

85.6

88.1

敵対的学習によって，U を学習する．

3.2 敵対的学習
Unsupervised MUSE における二値分類による敵対的学習を三値分類に拡張し，WA , WB , U を学習する．

3.3 逐次的な Reﬁnement
Unsupervised MUSE では特異値分解により Reﬁnement をしていたが，これを 3 言語に拡張するため，5 今後の課題得られた言語普遍空間の良さを客観的に評価する指標を作ること，初期値学習を必要としない手法を確立することなどが直近の課題である．

[1] の方法に従い確率的勾配降下法によって逐次的なReﬁnement を行う．

4 結果
4.1 実験設定
en(英 語),ja(日 本 語),de(ド イ ツ 語),es(ス ペ イ ン語),fr(フランス語),it(イタリア語),pt(ポルトガル語) の7 言語に対して言語普遍空間の学習を行った．
4.2 実験結果得られた多言語単語埋め込み上において，言語普遍空間上のある単語に対して各言語の近傍探索を行った結果を表 1 に示した．言語普遍空間として，直感的に妥当な結果となっていることが分かる．
続いて，普遍空間の位置に英語をおき，英語の空間は学習せずに 7 言語のみで学習した場合との比較を行った結果が表 2 である．これによると，単語翻訳スコアを参考文献[1] Xilun Chen and Claire Cardie. Unsupervised multilingual word embeddings, 08 2018.
[2] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza,
Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron
Courville, and Yoshua Bengio. Generative adversarial nets. In Z. Ghahramani, M. Welling, C. Cortes,N. Lawrence, and K. Q. Weinberger, editors, Advancesin Neural Information Processing Systems, volume 27,pages 2672–2680. Curran Associates, Inc., 2014.
[3] Guillaume Lample, Alexis Conneau, Marc’Aurelio
Ranzato, Ludovic Denoyer, and Hervé Jégou. Wordtranslation without parallel data. In International
Conference on Learning Representations, 2018.
[4] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S
Corrado, and Jeﬀ Dean. Distributed representations of words and phrases and their compositionality. In C. J. C. Burges, L. Bottou, M. Welling,Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 26,
pages 3111–3119. Curran Associates, Inc., 2013.