言語処理学会 第24回年次大会 発表論文集 (2018年3月)

双方向性と非線形性を考慮した上位語・下位語関係の推定
Estimation of Hypernym-Hyponym Relations
Considering their Bi-directionality and Non-linearity
山根 丈亮 †

高谷 智哉 ‡

山田 整 ‡

三輪 誠 †

佐々木 裕 †

Josuke Yamane

Tomoya Takatani

Hitoshi Yamada

Makoto Miwa

Yutaka Sasaki†‡

豊田工業大学
Toyota Technological Institute

トヨタ自動車株式会社
Toyota Motor Corporation†‡{sd16432, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp{tomoya takatani, hitoshi yamada aa}@mail.toyota.co.jp

はじめに1か否かを 2 値で分類する手法が多く研究されている．
与えられた 2 単語の分散表現をそれぞれ x, y とする

上位語とは「対象の単語よりもより一般的な意味をと，分類器の入力となる特徴ベクトルは結合 < x, y >持つ単語」のことであり，質問応答システムや検索シや差分 < x − y > などとして人手で設計される [7, 3]．

ステム，オントロジーの構築など多くの自然言語処理

これらの手法においては x と y の間の関係を学習するのタスクにおいて重要な語彙関係である．のではなく，y がどれだけ上位語として出現するかを上位語・下位語関係の推定においては，単語を低次学習してしまう “lexical memorization” という問題が元（数百次元）の実数値ベクトルで表現する単語の分発生することが知られている．この問題に対処するた

散表現 [1] が高い性能を達成している．しかしながらめに，< x, y > を特徴ベクトルとして学習した分類

多くの上位語・下位語推定のモデル [2, 3] は上位語を器を再学習する手法 [8] が提案されており，このタス推定することに焦点を絞っており，上位語と下位語をクにおいて良い性能を示している．しかしながら，こ同時に推定することが出来るモデルは少ない．ある単れらの手法には特徴ベクトルの設計を人手で行わなけ語の上位語の下位語には元の単語が含まれるという上ればならない．

位・下位語関係の双方向性を考慮するためには，これらを同時に推定することが不可欠である．また，実数値ベクトル間の関係については，多くは線形の関係と2.2してモデル化されている．
本研究では上位語・下位語関係の双方向性・非線形性を考慮するために，いくつかの言語処理のタスクで良い性能を示している深層学習に基づく正準相関分
析 (Deep Canonical Correlation Analysis; DCCA) [4,5, 6] を利用した，上位語・下位語関係の推定手法の確立をめざす．

線形写像に基づく上位語推定

任意の単語の分散表現 x をその上位語 y に写像する行列 Φ を最適化する手法がいくつか提案されている [2, 3]．Yamane ら [2] は上位語の分散表現 x を行列 Φ で写像したベクトルと下位語の分散表現 y が近くなるように，以下の目的関数を上位・下位語ペアの集合 C について最大化することで，Φ を最適化する手法を提案した．

J=2

関連研究

2.1

分類器による上位語・下位語関係の推定∑ (log sim(x, y)(x,y)∈C

サポートベクターマシン (SVM) などの分類器を用いて，与えられた 2 単語が上位語・下位語関係にある― 722 ―+m∑)log (1 − sim(x, y ′ )) ,(1)y ′ ∼Vsim(x, y) = σ(Φx · y + b)

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ただし，σ(·) はシグモイド関数，b はバイアス，y ′ は xの上位語でない単語である．この手法では，教師デー
タ (上位語・下位語ペア) を関係性ごとにクラスタリングし，クラスタごとに 1 つの線形写像行列を用意することで下位語から上位語への多様な関係を捉えている．さらに，クラスタリングと線形写像行列を同時に学習する独自の最適化アルゴリズムによって高精度に上位語を推定している．しかしながら，これらのモデルは下位語から上位語への線形関係をモデル化しており，非線形性を考慮していない．さらに上位語を推定することに焦点を絞っており，上位語から下位語への関係を考慮していない．そのため，「上位語の下位語には元の単語が含まれる」などの双方向性に関する制約
図 1: DCCA の概要も考慮していない．

るペアの相関係数の和ができるだけ大きくなるように2.3

正準相関分析パラメータを最適化する手法である．図 1 にその概要

正準相関分析 (Canonical Correlation Analysis;CCA) [9] は 2 つの実数値ベクトルの入力に対して，それぞれを線形変換した後の値の相関が最も大きくなを示す．

2 種類のデータ行列 X1 , X2 を，それぞれを対応する MLP (f1 , f2 ) で変換した行列 H1 , H2 は，るような線形変換を見つける手法である．

H1 = f1 (X1 ; θ2 ) ,CCA は何らかの潜在的相関持つと考えられる 2 種類

H2 = f2 (X2 ; θ2 )(4)のデータ行列 X1 ，X2 を入力として，それぞれのデーとなる．ただし，θ1 , θ2 はそれぞれの MLP の学習パタに対する線形変換行列 A1 および A2 を学習する．こラメータである．このとき H1 と H2 それぞれの共分のとき X1 , X2 それぞれの共分散行列を Σ11 , Σ22 ，相散行列を Σ11 , Σ22 ，相互共分散行列を Σ12 とすると，互共分散行列を Σ12 とすると，CCA は以下のようにH1 と H2 の相関係数の和は，()−1/2tr T T T

線形変換後の相関を最大化する．

maximize:subject to:(Ttr A1 Σ12 A2),T

A1 Σ11 A1 = A2 T Σ22 A2 = I(2)(5)となる．(5) 式を最大化する学習パラメータ θ1 , θ2 は解析的には求まらないため，誤差逆伝搬により (5) 式

ここで，tr(A) は行列 A の対角成分の和である．の値が出来るだけ大きくなるように更新される．

この最適化問題は解析的に解くことが出来る．行列CCA では入力の線形関係しか捉えられないのに対−1/2−1/2T ≡ Σ11 Σ12 Σ22 を定義し，Uk と Vk をそれぞれして，DCCA は MLP により非線形関係を含む複雑なT の左特異ベクトル，右特異ベクトルとする．このと関係を捉えることが出来ると考えられており，様々な

き最適なパラメータ (A∗1 ,タスクで CCA より良い性能を示している．

(A∗2 ) は，−1/2(A∗1 , A∗2 ) = Σ11−1/2

Uk , Σ22)
Vk(3)

3となる．

提案手法
本節では DCCA を利用することで非線形性および2.4双方向性を考慮した相関分析に基づく上位語・下位語深層学習に基づく正準相関分析

関係推定手法を提案する．

深層学習に基づく正準相関分析 (Deep Canonical

分類器によるモデルは潜在的に lexical memoriza-

Correlation Analysis; DCCA) [4] は共通要因を持つ

tion という問題点を回避しながら，特徴ベクトルを人と考えられる 2 種類 (view1 と view2) のデータを非線手で設計する必要があるため，最適な設計を見つける

形変換を含む多層パーセプトロン (Multi Layer Per-ことは容易ではない．また，線形写像に基づく上位語

ceptron; MLP) で変換し，変換後のデータ内に含まれ― 723 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

推定モデルは非線形性と上位語・下位語間の双方向性を考慮できていない．
以降，提案手法の詳細について説明する．いま，上位語・下位語の分散表現のペア (X, Y ) を考える．X ∈RN ×d は各行に下位語の分散表現を並べた行列であり，N はペアの総数，d は単語の分散表現の次元である．
また，Y ∈ RN ×d は各行に上位語の分散表現を並べた行列である．

• 学習ステップ
DCCA によって変換された X, Y を X ′ , Y ′ とすると，

X ′ = f1 (X; θ1 ) ,′図 2: 正則化係数 (横軸) と開発データにおける F 値 (縦(6)軸) の関係．

Y = f2 (Y ; θ2 ) ,となる．ただし，f1 , f2 は X, Y に対する MLPを関数で表したものであり，θ1 , θ2 はそれぞれの関数のパラメータである．θ1 , θ2 は X ′ と Y ′ の実験

4

上位・下位語関係の双方向性および非線形性を考慮することの効果を検証するために以下の実験を行った．

相関を大きくするように 2.4 節で述べた方法により最適化される．
その後，DCCA の出力に対して CCA を適用す

4.1

実験設定

る1 ．つまり，学習を終えた DCCA によって変換

単語の分散表現は Web に公開されている Skip-gram

された X, Y に対して相関が最大になるようなwith Negative Sampling [1] で学習されたもの2 を用い線形写像 A1 , A2 を 2.3 節で述べた方法により求た．学習コーパスは GoogleNews dataset (10 兆単語)

める．

で，分散表現の次元は 300 である．計算コストが大きくなるのを防ぐために，分散表現学習の際のコーパス• 推定ステップにおける出現頻度上位 10 万単語の分散表現を学習及2 つの単語の分散表現を w1 , w2 とするとき，
simDCCA (w1 , w2 ) =び実験で用いた．

(7)

cosine (A1 f1 (w1 ) , A2 f2 (w2 )) ,を定義する．この値がしきい値 λ よりも大きけれ
ば，w2 は w1 の上位語であると推定する．

上位語・下位語ペアのデータセットは LEDS [7] を用いた．このデータセットには正例と負例がそれぞれ1,385 個含まれており，Levy ら [10] らの実験と同様に学習・開発・評価データに分割した．ただし，この中から上位語および下位語がどちらも分散表現の語彙線形写像に基づく手法では，単語の分散表現を同ベクに含まれるものを用いた．

トル空間上に存在する上位語の分散表現に写像するも最適化アルゴリズムは Adam を用い，MLP の層数のと考えることができる．一方，提案手法は上位語おおよび各層の次元，L2 正則化係数はベイズ最適化をよび下位語の分散表現を DCCA と CCA の変換によっ用いて開発データで調整を行った．て元のベクトル空間とは別の新たなベクトル空間に写本実験では，提案手法，CCA (提案手法の DCCA像する．写像では，MLP による非線形変換を行うたを CCA にしたもの)，線形写像に基づく手法 [2]，分め，提案手法は非線形性を考慮することができる．ま類器に基づく手法 [10] の 4 つのモデルを，与えられた

た，語彙内の全ての分散表現を新たなベクトル空間に2 単語が上位語・下位語の関係にあるか否かを二値で写像すれば，そのベクトル空間において任意の単語の分類した際の F 値で評価・比較した．

近傍を探索するだけでその上位語および下位語を同時に推定することが出来るため，双方向性を考慮したモデルであると考えられる．
1 これは [4] を始めとして，DCCA に基づく複数の研究で行われている．

2 https://drive.google.com/file/d/
0B7XkCwpI5KDYNlNUTTlSS21pQmM― 724 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

4.2

実験結果および考察

果，提案手法が他のベースラインと比較して大幅に F

評価データにおける各手法の F 値を表 1 に示す．提案手法が最も良い F 値を達成している．これより，写像行列に基づく手法や，CCA に基づく手法は非線形性を考慮していないため上位・下位語関係の双方向性を捉えることが出来ないが，非線形性を考慮した提案手法は双方向性を捉えることが出来ていると考えられる．

値を向上できることがわかった．また，提案手法は上位語にも応用することができ，主観評価によれば線形モデルよりも上手く上位語を生成できることがわかった．今後の展望として，上位語・下位語関係を明示的に分散表現学習に取り入れる新たな手法を考案することが考えられる．

図 2 に提案手法における正則化係数と開発データでの F 値の関係を表すグラフを示す．図より正則化を行

参考文献

うことで提案手法の汎化性能が向上することが分かる．
また，提案手法は (7) 式の値が大きくなるような単[1] Tomas Mikolov et al. Distributed representa-語を探索することで，与えられた単語の上位語や下位

tions of words and phrases and their composi-語を生成する事ができる．表 2 に “beer” の上位語とtionality. In NIPS, pages 3111–3119, 2013.

して生成された単語を (7) 式の値が大きい順に示す．
また，主観評価によると提案手法が CCA と比較して[2] Josuke Yamane et al. Distributional hypernym
generation by jointly learning clusters and pro-上手く上位語を生成できていることが分かる．

jections. In COLING, pages 1871–1879, 2016.
[3] Ruiji Fu et al. Learning semantic hierarchies via

5

おわりにword embeddings. In ACL, pages 1199–1209,
2014.

上位語・下位語関係の双方向性と非線形性を考慮するために，DCCA に基づく手法を提案・評価し，それ[4] Galen Andrew et al. Deep canonical correlation

らを考慮していない手法との比較を行った．実験の結analysis. In ICML, pages 1247–1255, 2013.
[5] Manaal Faruqui et al. Improving vector space
word representations using multilingual correla-

表 1: 評価データにおける二値分類の F 値．

tion. In EACL, pages 462–471, 2014.

手法

F値線形写像に基づく手法 [2]0.766

CCA に基づく手法

0.747

improved word embeddings. In NAACL, pages

分類器に基づく手法 [10]0.802

250–256, 2015.

提案手法

0.824

[6] Ang Lu et al. Deep multilingual correlation for[7] Marco Baroni et al. Entailment above the wordlevel in distributional semantics.

表 2: 提案手法および CCA により生成された “beer”の上位語 (太字は主観評価による正解)．

In EACL,pages 23–32, 2012.
[8] Stephen Rolleret al. Relations such as hyper-

順位

提案手法

CCA

nymy: Identifying and exploiting hearst pat-1liquidliquidterns in distributional vectors for lexical entail-

2

fluid

fluid

ment. In EMNLP, pages 2163–2172, 2016.

3

beveragecristal4liquids

bevarage

5

soft drinkgilmer

6fruids

bottled7

alcoholbudmethods really learn lexical inference relations?

8diet cokepills

In NAACL-HLT, pages 970–976, 2015.

9beerbuttermilk

10

milkshakealcohol[9] Harold Hotelling. Relation between two sets ofvariables. Biometrika, 28(3):321–377, 1954.
[10] Omer Levy et al. Do supervised distributional― 725 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.