言語処理学会 第26回年次大会 発表論文集 (2020年3月)

単語埋め込みの二種類の加法構成性
Geewook Kim†,††横井 祥 ‡,††

下平 英寿 †,††† 京都大学大学院 ‡ 東北大学大学院 †† 理化学研究所 革新知能統合研究センター
geewook@sys.i.kyoto-u.ac.jp, yokoi@ecei.tohoku.ac.jp, shimo@i.kyoto-u.ac.jp
を紹介する [6]．

1 はじめに

NCE による単語埋め込みでは学習コーパスで共起し大規模コーパス中の単語の共起情報を用いて学習さた単語ペアとそうでないペアを区別する分類タスクをれた単語の分散表現によって自然言語処理は長足の進考える．そして以下のような条件付き確率をモデリン歩を遂げた．単語の分散表現には，単語の意味的な情グの対象としている [2]．

p(wj |wi )p(wj |wi ) + k × q(wj )p(d = 0|(wi , wj )) = 1 − p(d = 1|(wi , wj ))報，構文的な情報，あるいは単語間の関係を計算するた

p(d = 1|(wi , wj )) =めの情報が格納されることが知られている．とりわけ驚くべきは，分散表現の和によって意味の合成が近似的(1)(2)に実現できる加法構成性（Additive Compositionality）

ここで d は単語ペアがコーパスで共起したかを表す 0-1[6] と呼ばれる性質で，“king”≈“man”+“royal” などの変数である．q(w) は単語をサンプリングするための分例が知られている．

布であり，ネガティブサンプリング分布と呼ばれる．

こうした単語の分散表現の性質については，理論的単語の分散表現を含むモデルのパラメータ θ はコーパな解析も少しずつ進んでいるものの，未解明の点も数スで共起した単語ペアの集合 D に対して以下の目的関多く残されている．例えば，単語は一般に複数の意味数を最大化することで学習される．

∑を有するが，この性質は学習済みの単語の分散表現の中でどのように表現されているのだろうか？ あるい{

は，学習された単語の分散表現は一般に正規化してか+ら活用されるが（コサイン類似度），分散表現のノルムk∑}log pθ (d = 0|(wi , ŵ))ŵ∼q（長さ）にはどのような情報が内包されているのだろうか？ 本稿ではこれらの問いに対して，加法構成性を足

log pθ (d = 1|(wi , wj ))(wi ,wj )∈D

NCE の具体例として，SGNS [6] は以下のモデルを用いる.

がかりに統一的な解釈を与える．

pθ (d = 1|(wi , wj )) = σ(sθ (wi , wj ))本稿でははじめに，「複数の語義の OR の意味を持つ単語」と「複数の語義の AND の意味を持つ単語」でそれぞれ別の加法構成性が成立することを示す．そしてこれに基づいて，単語の分散表現のノルムには各単語の意味の狭さ・広さの情報が格納されていることを示(3)

こ こ で ，σ(x) = (1 + exp(−x))−1 ，sθ (wi , wj ) =⟨uwi , v wj ⟩ である．θ = {uw , v w }w∈V は単語の分散表現である（V は辞書）．モデル (3) を (1) へ代入して式を整理すると，log

す．実データを用いた実験では，単語の分散表現に想p(wi , wj )− log k = ⟨uwi , v wj ⟩p(wi )q(wj )(4)

定された AND と OR の二種類の加法構成性が確かにが導かれる．左辺で q(wj ) = p(wj ) と仮定すれば自己成り立つこと，またノルムの情報だけである程度の含相互情報量 (PMI) になることから，SGNS は自己相互意関係推論ができることを確認した．

情報量行列を分解すると解釈できる [5]．また，(4) において bwj = log(k q(wj )) とおくと，

2 背景：単語埋め込みp(wj |wi ) = exp(⟨uwi , v wj ⟩ + bwj )本章では，Noise Contrastive Estimation（NCE）[4]に基盤する単語埋め込み手法に関して説明し，その具体例として Skip-Gram with Negative Sampling（SGNS）(5)となるが，これは SGNS が簡素化した言語モデルとして解釈できることを示す．この解釈は本来の Skip-Gramが言語モデルに基づいているため自然だが，SGNS は― 724 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

K = 200, K = 145.15

均となることを定理 1 で示す．その準備として，次の5補題は中心極限定理より容易に示すことができる．

Density4

補題 1. K 次元確率ベクトル X = (X1 , · · · , XK )，3

Y = (Y1 , · · · , YK ) の各成分は独立で期待値 0，分散は2一定値とする．このとき，X, Y 間のコサイン類似度はK → ∞ の極限で期待値 0，分散 1/K の漸近正規分布

100.6

0.4

0.2

0.0

Cosine similarity

0.20.4に従う．

0.6

図 1: SGNS で事前学習済みの分散表現からランダムにサンプリングした v w と uw′ のコサイン類似度のヒストグラム．曲線は正規分布の密度関数．分散表現はランダムではないが補題 1 の傾向が観測できる．K は埋め込みの次元，K̂ は標本分散の逆数で，埋め込みの有効次元と解釈できる．分散表現の成分が必ずしも独立ではなく，また分散も一定でないとき，K̂ < K である．

図 1 をみると実際にコサイン類似度は 0 に近い．ほとんどの単語ペア w, w′ に対して，分散表現はほぼ直交して |⟨v w , uw′ ⟩| ≪ 1 と仮定すると，

exp(⟨v w , uw′ ⟩) ≈ 1 + ⟨v w , uw′ ⟩(7)と近似でき，これから次の定理が得られる．

Skip-Gram に NCE のアイデアを導入することでモデ定理 1. 単語 w, {wi }si=1 が，モデル (5) と，関係 (6)リングの対象が異なる点に注意されたい．

を満たすとき，その分散表現は次式で表される．

vw ≈3 二種類の加法構成性
単語には，多義語（複数の語義を持つが，具体的なs∑exp(bw )iexp(bw )i=1s(∑

bw ≈ log

使用においては特定の語義のみが現れる単語）や，複v wiexp(bwi )(8))

数の語義を常に持つ単語（たとえば語義 “man” と語義

導出には近似 (7) を２回使う．

“royal” の意味が両方とも常に生じる “king”）が存在p(w|w′ )する．このセクションでは，簡単な仮定をおくことで，= exp(bw ) exp(⟨uw′ , v w ⟩)「OR の単語」「AND の単語」の分散表現が，構成要素≈ exp(bw )(1 + ⟨uw′ , v w ⟩){}s∑exp(bwi )vw ⟩≈ exp(bw ) 1 + ⟨uw′ ,exp(bw ) i
i=1となる語義の分散表現から再構成できることを示す．
あとの実験セクションで，実際のコーパスから学習された SGNS で我々の考える加法構成が経験的によく≈成り立つことを示す．

3.1 OR の加法構成性■OR の共起の確率モデル≈

多義語は複数個の語義を持つ単語で，実際の使用においてはいずれかの意味で用いられる．例えば “crane” は「鶴」や「クレーン（重=機）」の意味を持つ多義語である．

s∑
i=1s∑
i=1s
∑

exp(bwi )(1 + ⟨uw′ , v wi ⟩)exp(bwi ) exp(⟨uw′ , v wi ⟩)p(wi |w′ )i=1

多義語 w が s 個の語義を持ち，単語 {wi }si=1 で表さ(9)i=1重みの和は１になる（∑s．
i=1 exp(bwi )/ exp(bw ) = 1）れるとする．各語義は同時には生じないと仮定すると，

モデル (5) で q(wj ) = p(wj ) を仮定すれば，定理 1 は確率の和の法則から次の関係が成り立つ．

Arora et al. [1] の定理 2 と同様に，多義語の分散表現′p(w|w ) =s∑

は構成要素となる語義の分散表現のそれぞれの頻度に′′p(wi |w ), ∀w .

(6)

i=1

つまり，ある単語 w′ が与えられた時に周りで単語 w が出現する確率は，w′ の周りで単語 wi が出現する確率の和であると考えられる．
■OR の加法構成性比例した重み付き平均であることを示唆している．

3.2

AND の加法構成性■AND の共起の確率モデル

ある単語 w とその語義を常に構成する複数個の単語の集合 {wi }si=1 には以下の関係が成り立つと考える．

以上の簡単な仮定のもとで，多義語 w の分散表現が wi たちの分散表現の重み付き平― 725 ―p(w|w′ ) =s∏p(wi |w′ ), ∀w′(10)i=1Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

つまり，ある単語 w′ が与えられた時に，その周りに単語 w が出現する確率は，単語 w を構成する複数の語義に対応するそれぞれの単語が出現する確率の掛け算であると考える．
■AND の加法構成性

単語 1

単語 2

作成した多義語

digitspacing

digit OR spacing

healthaircraft

health OR aircraft

表 1: 作成した多義語の例.

以上の簡単な仮定のもとで，ある単語 w の分散表現はその語義を常に構成する各単語以上の考察から，単語の分散表現のノルムは単語の意

wi たちの分散表現の和であることが示せる．

味の広さ・狭さと関連すると考えられる．あとの実験

定理 2. 単語 w, {wi }si=1 が，モデル (5) と，関係 (10)セクションで，実際のコーパスから学習された SGNSを満たすとき，その分散表現は次式で表される．

でこのような性質が経験的によく成り立つことを示す．

vw =bw =s∑
i=1s∑

v wi(11)bwi(12)

本章では SGNS を用いた実験により二種類の加法構

i=1

本稿では Mu and Viswanath [7] に従い単語の分散表

p(w|w′ )現を中心化して用いた．

= exp(bw ) exp(⟨uw′ , v w ⟩= exp(bwi ) exp(⟨uw′ ,= exp(=∏s∑4.1

うに架空の多義語を作成してその性質を調べた．まずWikipedia コーパス*1 からランダムに 600 個の単語を(bwi + ⟨uw′ , v wi ⟩))選び 300 個の架空の多義語を作成した．表 1 にその例

i=1′p(wi |w )を示す．次に，単語を架空の多義語へ置き換えたコーパ
スと元のコーパスを結合することで多義語と元の単語

i

これは “king”≈“man”+“royal” などの関係性が分散表現の足し算に現れる現象を説明する．

3.3

OR の加法構成性の確認

OR の加法構成性（8）を確認するため，以下のよv wi ⟩)i=1i=1s∑成性の存在を確認し，また，分散表現のノルムが単語の意味の広さ・狭さに関する情報を格納することを示す．

この結果は次のように導出される．

s∑

4 実験が共存する学習コーパスを作成し，SGNS によって単語の分散表現を学習した．多義語 w について，学習に分散表現のノルムへの影響

二種類の加法構成性は分散表現の重み付き和という点で共通しており，OR の加法構成性は重み付き平均，AND の加法構成性は単なる足し算に相当する．このことから，単語の分散表現のノルムは単語の意味の広さ・狭さと関連すると考察することができる．

よって得られた分散表現 v w と，（8）によって {v wi }si=1から計算された分散表現がどれほど近いかをコサイン類似度を用いて評価した．
結果：OR の加法構成性（8）で計算された分散表現と多義語の分散表現との平均コサイン類似度は 0.827 だった．一方で，AND の加法構成性（11）を用いた結果ははじめに，複数の意味を持ち広く用いられる単語（OR の単語）の分散表現は，様々な方向を向いた語義の分散表現の重み付き平均であり，結果として原点に0.777 であり，多義語に対しては OR の加法構成性の方がより近い分散表現が計算できることが確認できた．

4.2

近くノルムの小さい分散表現になると予想される．

AND の加法構成性の確認

実 験 設 定 の ほ と ん ど は 4.1 節 と 同 じ で あ る ．

逆に，特殊な意味を持つ単語（例えば専門用語）は関連する（似た方向を向いた）複数の語義の共通部分（AND の単語）として解釈できる．その分散表現は語義の分散表現の和であり，ノルムは大きいと予想される．極端な例として，同一の語義を重ねて “very andvery” のような意味を持つ新しい単語を作る場合，そのAND の 加 法 構 成 性（11）を 確 認 す る た め に は ，“king”≈“man”+“royal” のような例が必要である．本
実験では Farahmand et al. [3] のデータセットを用いた．このデータは 2 つの単語から構成される複合語に対して，複合語と元の 2 つの単語の間にどれほど意味的な構成性が成り立つかを人手で評価したものである．

分散表現のノルムは元の単語の分散表現のノルムよりも大きくなる（AND(v w , v w ) = 2v w ）．

*1 200MB の英語版 Wikipedia コーパスを用いた．

― 726 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

複合語構成性スコア

card game

1.0

convenience store

0.75

zip code

0.0

関する教師データを与えていないことを考慮すると，とても高い値であることがわかる [8]．

5 まとめと今後の課題
本稿では，単語埋め込みの加法構成性には「または」表 2: データの例．スコアが大きいほど構成性がある．

(OR，論理和) の意味をなすものと「かつ」(AND，論理積) の意味をなすものが存在することを示し，実際の

単語 1

単語 2

含意性スコアsnakeanimal

8.75

類の加法構成性を確認した．また，単語の分散表現のmaterialrubber

1.28

ノルムには意味の狭さ・広さの情報が格納されている

コーパスから SGNS で学習した分散表現において二種

表 3: データの例．スコアが大きいほど単語 2 は単語 1 を包含する．

表 2 にデータの例を示す．複合語 w について，SGNSの学習によって得られた分散表現 v w と，（11）によって {v wi }si=1 から計算された分散表現がどれほど近いかをコサイン類似度を用いて評価した*2 ．さらに，ANDの加法構成性より計算されたコサイン類似度が人手で評価された構成性スコアとどれほど傾向が一致するかことを示し，分散表現のノルム情報だけで含意関係推論がある程度できることを確認した．今後の課題として，近年注目されている多層ニューラルネットワーク言語モデルへ解析の範囲を広めて行きたい．また，今回の実験では素朴にベクトルの長さの情報のみを用いて単語の含意関係を推論したが，向きの情報も併用できるため，その手法の開発についても考えていきたい．

もスピアマン順位相関係数より評価した．

参考文献

結果：AND の加法構成性（11) で計算した分散表現[1]と複合語の分散表現との平均コサイン類似度は 0.237だった．一方で，OR の加法構成性（8）を用いた結果は 0.222 だった．さらに，AND の加法構成性より計算されたコサイン類似度と構成性スコアとの相関係数[2][3]は 0.197 だった．これらの結果から，構成性を持つ複合語の分散表現は AND の加法構成性によってより近い分散表現が計算できることが確認できる．

4.3

[4]

分散表現のノルムと含意関係推論への応用

単語の分散表現のノルムに単語の意味の広さ・狭さに関する情報が格納されていることを確認するため，[5]

Vulić et al. [9] のデータセットを用いて以下の実験を行なった．このデータセットには，2 つの単語ペア[6](w1 , w2 ) の単語の意味の広さ・狭さから成り立つ，含意関係が人手で評価されている．表 3 にデータの例を示す．本実験では単語ペアの分散表現のノルムの比[7]||v w1 ||/||v w2 || と含意スコアがどれほど同じ傾向を持つかを，Nickel and Kiela [8] と同様にスピアマン順位相[8]関係数より評価した．
結果：計算された相関係数は 0.334 だった．なお，一般に公開されている単語の分散表現*3 を用いた実験で[9]も相関係数は 0.282 だった．これは単語の含意関係にS. Arora et al. “Linear Algebraic Structure of Word
Senses, with Applications to Polysemy”. In: Transactions of the Association for Computational Linguistics
6 (2018), pp. 483–495.
C. Dyer. “Notes on Noise Contrastive Estimation andNegative Sampling”. In: arXiv:1410.8251 (2014).
M. Farahmand et al. “A Multiword Expression Dataset:Annotating Non-Compositionality and Conventionalization for English Noun Compounds”. In: Workshop on
Multiword Expressions. 2015, pp. 29–33.
M. Gutmann and A. Hyvärinen. “Noise-contrastive estimation: A new estimation principle for unnormalized
statistical models”. In: International Conference on Artificial Intelligence and Statistics. 2010, pp. 297–304.
O. Levy and Y. Goldberg. “Neural Word Embedding asImplicit Matrix Factorization”. In: Advances in NeuralInformation Processing Systems 27. 2014, pp. 2177–2185.
T. Mikolov et al. “Distributed Representations of Words
and Phrases and their Compositionality”. In: Advancesin Neural Information Processing Systems 26. 2013,
pp. 3111–3119.
J. Mu and P. Viswanath. “All-but-the-Top: Simple andEﬀective Postprocessing for Word Representations”. In:
International Conference on Learning Representations.
2018.
M. Nickel and D. Kiela. “Poincaré Embeddings for Learning Hierarchical Representations”. In: Advances in Neural Information Processing Systems 30. 2017, pp. 6338–6347.
I. Vulić et al. “HyperLex: A Large-Scale Evaluation ofGraded Lexical Entailment”. In: Computational Linguistics 43.4 (2017), pp. 781–835.

*2 構成性スコアが 0.5 以上の複合語を用いた．
*3 https://code.google.com/archive/p/word2vec― 727 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.