言語処理学会 第25回年次大会 発表論文集 (2019年3月)

擬ユークリッド空間への単語埋め込み
Geewook Kim†,‡† 京都大学大学院 情報学研究科

奥野 彰文 †,‡下平 英寿 †,‡‡ 理化学研究所 革新知能統合研究センター{geewook, okuno}@sys.i.kyoto-u.ac.jp, shimo@i.kyoto-u.ac.jp

1

はじめにる評価を行った．

単語の意味や単語間の関係性を機械に理解させることは様々な自然言語処理において重要な課題である．

提案手法

2

単語埋め込みとは，単語の意味や単語間の関係性を内本手法では，単語ベクトル間の類似度により単語間包する単語ベクトル（分散表現）を獲得する手法のことであり，単語ベクトルの利用先はニューラルネットの初期値として利用する方法，単語の意味的な距離尺の関係性を再現できる形で単語をベクトル空間へ埋め込むことを考える．提案モデルは既存の多くの表現学習手法が分散表現の内積により類似度を定義していた度として利用する方法など，多岐にわたる．
多くの単語埋め込みは，Wikipedia のようなテキストコーパスや WordNet (Fellbaum, 1998) のような言ところを，擬ユークリッド内積へ置き換えることで簡単に実現できる．

語資源からの単語間の関係情報（例えばコーパス内の単語ペアの共起回数）を単語の分散表現を用いてモデリングすることで学習を行う．このような単語埋め

2.1

確率グラフモデル

込みでは一般に単語ベクトル間の内積を用いて単語

まず，表現学習で広く用いられている以下の確率グ間の類似度をモデリングする (Mikolov et al., 2013;

ラフモデルを考える (Mikolov et al., 2013; Tang et al.,Bojanowski et al., 2017; Okuno et al., 2018a)．しかし近年，通常の内積とは異なる様々な類似度関数が表現学習において試されており，その有用性が研究されている (Nickel and Kiela, 2017, 2018; Leimeister andWilson, 2018)．特に擬ユークリッド空間への埋め込みは通常の内積による埋め込みはもちろん双曲空間への埋め込みなどを表現能力の意味で内包しており，高い表現能力を持つことが証明されている (Okuno et al.,2018b)．
このような表現学習の成果をふまえ，本稿では擬ユークリッド空間への単語埋め込みを提案する．提案
手法は豊富な表現能力を持つため，既存手法では埋め込めなかった単語間の関係情報を内包する単語の分散表現を得ることが期待される．提案手法は，既存の埋め込み手法が通常の内積を用いて分散表現間の類似度を表現していたところを，擬ユークリッド内積へ置き換えることで簡単に実現できる．実験では提案手法の有用性を示すために，Wikipedia テキストコーパスとWordNet を用いた単語埋め込みを行い，それぞれモデルの表現力に対する評価と単語ベクトルの質に対す

2015)．大量のテキストコーパスや WordNet のような言語資源から単語間の関係情報が与えられており，その情報が重み付き無向グラフ G = (V, E) で表されているとする．ここで，ノード (単語) 集合は V ，エッジ集合は E である．そしてグラフ上でノード i と j の同時確率，すなわち，エッジが存在する確率を以下のようにモデリングする．
exp (s(xi′ , xj ′ ))，1≤k≤l≤|V | exp (s(xk , xl ))p(i′ , j ′ ) = ∑(1)

ただし，i′ = min(i, j), j ′ = max(i, j) であり，xi は i番目の単語の分散表現，そして s(·, ·) は分散表現間の類似度を表す関数であり，一般に内積が用いられる．

2.2

提案モデル

2.1 節の確率モデルにおいて，提案モデルは単語ベクトル間の類似度を擬ユークリッド内積によって定義することで実現する．

― 1257 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

定義 1 通常の内積を ⟨·, ·⟩E ，ユークリッド空間を En2.4で表し，a = am+n, b = bm+n∈ Rm+n とする．擬ユー
11m,nmn
クリッド空間 P

は，直和集合 E⊕ E と擬ユーm+n m+nm
クリッド内積 ⟨a, b⟩P = ⟨am
1 , b1 ⟩E − ⟨am+1 , bm+1 ⟩Eの組で定義される空間である．

表現学習の既存手法との対応関係

表現学習において擬ユークリッド空間への埋め込み
は Okuno et al. (2018b) で提案されている．これと他の既存手法との対応関係は以下のようになる．まず，

n = 0 にすると通常のユークリッド空間への埋め込みしたがって，i, j 番目の単語に対応する分散表現

xi , xj 間の類似度をとなる．次に，負の空間の次元 n を 1 とすることで，埋め込み空間はミンコフスキー空間となるが，ここでs(xi , xj ) = ⟨xi , xj ⟩P ，(2)さらにノルムを −1 へ制約する条件を入れると，Nickeland Kiela (2017) や Leimeister and Wilson (2018) やと定義することで提案モデルが実現できる．

Nickel and Kiela (2018) で用いる双曲空間への埋め込みに対応し，これはポアンカレ埋め込みとも呼ばれる．

2.3

学習

最後に，Okuno et al. (2018b) で提案されている定数

2.1 節の確率モデルの単純な学習方法として，以下のような経験分布p̂(i, j) = ∑wi,j1≤k≤l≤|V | wk,l

項付き内積 (Shifted Inner Product) による表現学習
法は表現能力の意味で擬ユークリッド空間への埋め込みに内包されることが証明されている (Okuno et al.,,(3)

2018b, E.1 章)．とモデル p(·, ·) との KL ダイバージェンスを最小化する方法が提案されている (Tang et al., 2015)．これは以下のような式を最小化することに対応するが，∑p̂(i, j)，(4)p̂(i, j) log
p(i, j)(i,j)∈E

実験

3

提案手法を評価するために２つのタスクを行った．
まず，WordNet の単語の階層情報を用いて単語の分散表現を学習して，得られた分散表現から元の階層グ上式から定数項を無視することで，次の目的関数 G(X)

ラフを予測するタスクを行い，モデルの表現能力を評を得ることができる．
∑G(X) =
wi,j log p(i, j).

価した．次に，テキストコーパス上の単語間の共起情(5)報を用いて単語の分散表現を学習して，様々なベンチマークデータセットを用いて単語類似度タスクを行い，(i,j)∈E

式 (5) を単語 i の分散表現 xi に対して偏微分すると，∑∂G(X)∂ log p(i, j)=
wi,j,(6)∂xi∂xij∈{j|(i,j)∈E}

分散表現の質を評価した．

3.1

グラフ再構築タスクとなるが，Tang et al. (2015) と同様，実際に勾配降

本タスクでは入力として与えられたグラフを用いて下法を行う時には重み wi,j のエッジ (i, j) を重み 1 の分散表現を学習したあと，得られた分散表現からノーwi,j 個の複数のエッジとみなしてよい．また，式 1 からド間のエッジの有無を予測するタスクを行う．つまり，わかるようにノードの数に比例してモデルの計算コス元のグラフ構造を予測するタスクを行い，その性能をト膨大になってしまう問題があるため，Mikolov et al.

ROC-AUC (Bradley, 1997) より評価した．実験の設(2013) で提案されている Negative sampling 手法も定は Okuno et al. (2018b) とほぼ同じである．実験で併用した．具体的には，エッジ (i, j) に対して，以下はパラメーター数の影響をみるために，単語ごとに割のような目的関数を最大化するように学習を行った．
∑log σ(⟨xi , xj ⟩P ) +log σ(−⟨xi′ , xn ⟩P ), (7)り当てるパラメーターの総数 K を {10, 20, 50, 100} と変化させて実験を行った．
データセット: WordNet の単語の階層ツリーを用いた．

n∼Pneg

ここで Pneg はネガティブサンプリングのためのノー

データセットの前処理は Nickel and Kiela (2017) の実

ドに対する分布であり，本稿ではノードの頻度に比例験と同様であるが，単語の多義性を表す追加素性は本する経験分布を用いた．また，i′ は {i, j} から一様に実験では利用しなかった．その結果，単語数は 67,186ランダムサンプリングした．

であり，エッジ数は 682,169 である．

― 1258 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 階層構造再構築タスクの実験結果（ROC-AUC [%]）
モデル

K=10

K=20

K=50

K=100

LINE1st (Tang et al., 2015)
LINE2nd (Tang et al., 2015)
SIPS (Okuno et al., 2018b)
Poincaré Embedding (Nickel and Kiela, 2017)
提案手法

90.50
83.79
96.34
93.28
99.68

91.78
83.14
96.85
93.91
99.88

91.96
77.91
97.03
93.97
99.90

91.95
77.79
96.98
93.80
99.90

表 2: 単語類似度タスクの実験結果（スピアマン順位相関 [%]）
K=10

K=100モデル

MENWS

RG

SimLexMENWS

RG

SimLexSkip-gram (Mikolov et al., 2013)
GloVe (Pennington et al., 2014)
Hyperbolic Skip-gram (Leimeister and Wilson, 2018)
提案手法

33.29
19.10
41.39
48.92

34.57
19.38
42.25
50.19

51.07
11.5844.68
44.38

15.73
7.63
19.65
15.57

59.36
41.06
49.23
66.52

65.11
46.56
52.45
68.75

57.24
36.43
45.70
60.37

26.13
16.18
21.30
26.24

ベースライン手法: 内積を持いて分散表現間の類似度を的類似性スコアとのスピアマン順位相関を計算するこ

表現する手法として，まず LINE1st と LINE2nd (Tangとで分散表現の質を評価した．

et al., 2015) を用いた．ただし LINE2nd では Skip-ベースライン手法: まず Skip-gram (Mikolov et al.,gram (Mikolov et al., 2013) のように，単語ごとに２2013) と GloVe (Pennington et al., 2014) を用いた．

つの分散表現を与える点に注意が必要である．例えばそれぞれ内積とバイアス項付き内積を用いて分散表

K = 100 で LINE2nd は単語に対して 50 次元の２つ現を学習する手法であるが，両方とも単語ごとに２つのベクトルを設ける．次に，バイアス項付きの内積にのベクトルを設けて学習を進める点に注意が必要であよるグラフ埋め込み手法 SIPS (Okuno et al., 2018b)

る．この２つの手法の評価では得られた単語ベクトルと，WordNet のようなツリーを埋め込むための有効のコサイン類似度を用いた．双曲空間への埋め込みの性が知られている Poincaré Embedding (Nickel and

手法としては，Leimeister and Wilson (2018) を用いKiela, 2017) もベースラインとして用いた．

た．この手法はミンコフスキ空間でノルムを −1 へ制

学習: バッチサイズ 64，総イテレーション数 50 万の限した双曲空間へ単語を埋め込む．評価ではミンコフ確率的勾配降下法を用いて学習を行った．そして，５スキー内積を類似度の尺度として用いた．

万イテレーションごとに評価を行い，最高点を結果とデータセット: 前処理済みのコーパス（text8） (Ma-して示した．学習率の初期値 ρ0 は {0.01, 0.02} から探honey, 2009) を用いた．ベンチマークデータセット

索し，Mikolov et al. (2013) と同様にイテレーション

としては，MEN (Bruni et al., 2012)，WS (Finkel-の総数を T としたとき t イテレーション目の学習率はstein et al., 2001)，RG (Rubenstein and Goodenough, 1965)，SimLex (Hill et al., 2015) を用いた．

ρt = ρ0 (1−t/T ) とした．提案手法では Pm,n, m+n =K における次元 n は {1,2,4,8} より探索した．

学習: バッチサイズ 1 の非同期確率的勾配降下法 (Niu

結果: 実験結果は表 1 に与えた．全てのケースにおいet al., 2011) を用いて行った．バリデーションデータて提案手法が一番高い AUC を示している．

セットとしては MEN を用いた．エポックは 5 にして，学習率などの他の設定は 3.1 節と同様である．

3.2

結果: 実験結果は表 2 のようである．提案手法が他の単語類似度タスク手法に比べてヒューマンスコアと比較的高い相関を示

本タスクではテキストコーパスを用いて単語埋めしていることがわかる．

込みを行い，単語間の類似度スコア（提案手法では擬ユークリッド内積）と人手で付けられた単語間の意味― 1259 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

4

まとめと今後の課題
本稿では擬ユークリッド空間への単語埋め込みを提案した．提案手法は分散表現間の類似度を擬ユークリッド内積により定義することで簡単に実装できる．
実験ではグラフ再構築タスクと単語類似度タスクにおいて高いスコアを示した．今後の課題として，提案手法によって得られた分散表現が既存手法による分散表現とどのように異なる性質を持つかについて詳しく調べていきたい．また，機械翻訳や品詞推定などの，単語ベクトルの応用先での提案手法の有用性についても調べていきたい．

参考文献
Bojanowski, Piotr, Grave, Edouard, Joulin, Armand, andMikolov, Tomas (2017). Enriching Word Vectors with
Subword Information. Transactions of the Associationfor Computational Linguistics, 5:135–146.
Bradley, Andrew P. (1997). The use of the area under
the ROC curve in the evaluation of machine learningalgorithms. Pattern Recognition, 30(7):1145–1159.
Bruni, Elia, Boleda, Gemma, Baroni, Marco, and Tran,
Nam Khanh (2012). Distributional Semantics in Technicolor. In Proceedings of the 50th Annual Meetingof the Association for Computational Linguistics (Volume 1: Long Papers), pages 136–145. Association for
Computational Linguistics.
Fellbaum, Christiane (1998). WordNet: An Electronic
Lexical Database. Bradford Books.
Finkelstein, Lev, Gabrilovich, Evgeniy, Matias, Yossi,Rivlin, Ehud, Solan, Zach, Wolfman, Gadi, and Ruppin, Eytan (2001). Placing search in context: Theconcept revisited. In Proceedings of the 10th International Conference on World Wide Web, WWW’01,pages 406–414, New York, NY, USA. ACM.
Hill, Felix, Reichart, Roi, and Korhonen, Anna (2015).
Simlex-999: Evaluating semantic models with (genuine) similarity estimation. Computational Linguistics.
Leimeister, Matthias and Wilson, Benjamin J. (2018).
Skip-gram word embeddings in hyperbolic space.
arXiv:1809.01498.

Nickel, Maximillian and Kiela, Douwe (2017). Poincaré
Embeddings for Learning Hierarchical Representations. In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett,
R., editors, Advances in Neural Information Processing Systems 30, pages 6338–6347. Curran Associates,
Inc.
Nickel, Maximillian and Kiela, Douwe (2018). Learning
Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry. In Dy, Jennifer and Krause, Andreas,
editors, Proceedings of the 35th International Conference on Machine Learning, volume 80 of Proceedings ofMachine Learning Research, pages 3779–3788, Stockholmsmssan, Stockholm Sweden. PMLR.
Niu, Feng, Recht, Benjamin, Re, Christopher, andWright, Stephen J. (2011). HOGWILD!: A Lockfree Approach to Parallelizing Stochastic Gradient Descent. In Advances in Neural Information Processing
Systems, NIPS’11, pages 693–701, USA. Curran Associates Inc.
Okuno, Akifumi, Hada, Tetsuya, and Shimodaira,Hidetoshi (2018a). A probabilistic framework formulti-view feature learning with many-to-many associations via neural networks. In Proceedings of the 35th
International Conference on Machine Learning, ICML
2018, Stockholmsmässan, Stockholm, Sweden, July 1015, 2018, pages 3885–3894.
Okuno, Akifumi, Kim, Geewook, and Shimodaira,
Hidetoshi (2018b). Graph Embedding with Shifted
Inner Product Similarity and Its Improved Approximation Capability. arXiv:1810.03463.
Pennington, Jeﬀrey, Socher, Richard, and Manning,
Christopher (2014). GloVe: Global Vectors for Word
Representation. In Proceedings of the 2014 Conferenceon Empirical Methods in Natural Language Processing(EMNLP), pages 1532–1543. Association for Computational Linguistics.
Rubenstein, Herbert and Goodenough, John (1965).
Contextual correlates of synonymy. Commun. ACM,
8:627–633.
Tang, Jian, Qu, Meng, Wang, Mingzhe, Zhang, Ming,Yan, Jun, and Mei, Qiaozhu (2015). LINE: Largescale Information Network Embedding. In Proceedingsof the 24th International Conference on World Wide
Web, WWW ’15, pages 1067–1077, Republic and Canton of Geneva, Switzerland. International World Wide
Web Conferences Steering Committee.

Mahoney, Matt (2009). Large text compression benchmark.
Mikolov, Tomas, Sutskever, Ilya, Chen, Kai, Corrado,Greg, and Dean, Jeﬀrey (2013). Distributed Representations of Words and Phrases and Their Compositionality. In Advances in Neural Information Processing Systems, NIPS’13, pages 3111–3119, USA. CurranAssociates Inc.

― 1260 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.