言語処理学会 第21回年次大会 発表論文集 (2015年3月)

辞書と文脈情報を用いた対義語モデルの学習
Learning Antonym Detection Models using Thesauri and Contextual Information
小野 正貴

三輪 誠

佐々木 裕

Masataka Ono

Makoto Miwa

Yutaka Sasaki

豊田工業大学
Toyota Technological Institute{sd12412, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp

1

序論

𝑃0
ランダムに抽出自然言語処理の分野において，単語の意味や単語間の関係性を獲得することは非常に重要である．Word𝑤

ターゲットの単語と文脈外の単語を遠ざける

Embedding (WE) は，教師なしデータであるテキス
トから学習することで，単語の文法的・意味的情報を・・・

𝑤𝑖−2

𝑤𝑖−1

文脈外の単語𝑤𝑖

𝑤𝑖+1

𝑤𝑖+2

・・・

・・・
・・・

単語ごとに割り当てられた数値ベクトルに埋め込むことのできるモデルとして注目されており [3]，特に単語ターゲットの単語と文脈内の単語を近づける間の類似性を捉えることに高い性能を発揮している．
図 1: SGNS

一方対義性については，単語と文脈に関する分布仮説「同じ文脈に現れる単語は似た意味を持つ傾向にある」を前提としながら，対義語同士もまた同じ文脈に出や和であり，第 2 項は負例として共起しない単語の WE

すいため，類義語と対義語は区別することができない．との逆類似度の総和である．また，2 つの単語の WE対義語を判断する手法として，潜在的意味解析をベー同士の類似度は 2 式のように計算される．

スとした，辞書知識を利用する手法があるが [6, 7]，どちらも文脈情報を十分に活用できているとは言えない．

sim(w1 , w2 ) = vw1 · vw2 + bw1

本研究では，対義語モデルの精度向上を目的としてここで vw は単語 w の WE であり，bw はバイアス項

辞書と文脈情報から対義語を判断することができるモ(2)である．

デルを新たに提案し，人間向けの対義語選択問題への回答を通して評価する．

32

提案手法
SGNS モデルでは，1 式に示した通り，重み付けさ関連研究れた単語間の類似度と逆類似度の対数の総和で，類義Skip-Gram with Negative Sampling (SGNS) は 1性のような意味関係性をうまく得ることができている．

式を最大化することで文脈情報から WE を学習する．
∑∑{#(w, c) log σ(sim(w, c))w∈V c∈V(1)

したがって，SGNS と同様の方法で，より対義性に焦点を当てたモデルを構築することで，対義性の情報を効率的に獲得することができるのではないかと推測される．

+ k#(w)P0 (c) log σ(−sim(w, c))}

そこで我々は SGNS の単語ペアへの類似度・逆類似
ここで，V は単語の集合，k は負例数，#(w, c) は単語度による目的関数から WE を学習するのに倣い，辞w と単語 c の共起回数，#(w) は w の出現回数，P0 (c)は c の出現確率，σ はシグモイド関数である．第 1 項

書のみから学習を行うモデルと，それに加えて SGNS

は共起回数に比例した単語の WE 同士の類似度の総を提案する．と同様の文脈情報を活用して学習を行うモデルの 2 つ― 756 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

3.1

Word Embedding from Thesauri

まず，辞書情報のみから WE を学習するモデルとし

disperse
対義語garner
辞書情報する．目的関数を 3 式に示す．
∑ ∑log σ(sim(w, s))disperse

scattergarnernucleate

WEの学習

dispersescatter

共起内の語を近づける
共起外の語を遠ざけるw∈V s∈Sw+α類義語を近づける
対義語を遠ざけるて，Word Embedding from Thesauri (WE-T) を提案∑ ∑scatter
類義語(3)

WE-TDlog σ(−sim(w, a))nucleategarnerw∈V a∈Aw

単語共起情報Sw ,Aw はそれぞれ，w に対する類義語の集合，対義語の集合を表す．第 1 項はすべての類義語のペアの類似度の合計を表しており，第 2 項はすべての対義語のペアの逆類似度を表している．この目的関数を最大化することで，類義語同士の類似度は高くなり，

図 3: WE-TDめることができる．
∑∑{(Tp (w, c) log σ(sim(w, c))

対義語同士の逆類似度高く，すなわち類似度は低くな

w∈V c∈Vる．3 式を最大化するために，最適化手法の一つであ+ Tn (w, c) log σ(−sim(w, c))}る AdaGrad[1] を用いる．

(5)

ここで，Tp ，Tn はそれぞれモデルに対する単語 w,cの類似度及び逆類似度の重みを示すテーブルである．

disperse

disperse

scatterscatter

類義語
WEの学習

対義語
garner

類義語を近づける

garner

直接定義されていない関係を獲得

4

評価設定

WE-T

4.1

GRE Antonym question task

対義語を遠ざける

辞書情報

対義語に関する判断が行えるかを評価するために，

図 2: WE-T

3.2

対義語判断の評価でよく用いられる GRE Antonym

Word Embedding from Thesauri
and Distributional Information

Question Task[5] を用いて評価を行う．この問題では，一つの問はターゲットの単語と 5 つの対義語候補で構成されている．以下に例を示す．
tawdry (下品な)辞書情報と文脈情報を用いて WE を学習するモデルとして，Word Embedding from Thesauri and Dis-A.

sagacious (賢明な)tributional Information (WE-TD) を提案する．1 式

B.

truthful (信頼する)C.

hilarious (陽気な)D.

elegant (上品な)と 3 式の和をハイパーパラメータ β で重要度のバランスをとった 4 式を目的関数とする．
{∑ ∑βlog σ(sim(w, s))w∈V s∈Sw+α∑ ∑log σ(−sim(w, a))}w∈V a∈Aw+∑∑(4){#(w, c) log σ(sim(w, c))E.
functional (便利な)
この問の場合には，正答は D となる．

公開されているデータセットは 162 問の開発セットと 950 問の評価セットで構成されているが，この評価w∈V c∈V

セット中 160 問は開発セットの問が含まれている．し+ k#(w)P0 (c) log σ(−sim(w, c))}

たがって本実験では，他の研究と比較をするために元

ここで，2 つの項がどちらも単語間の類似度及び逆類の評価セット（評価セット A），正確な汎化性能を測似度に，単語間テーブルからの重み付けをしたもののるために評価セット A から開発セットの問題を取り除総和であることに着目すると各項を 5 式のようにまといた評価セット B の両方に対して性能を評価した．

― 757 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1: GRE antonym question task における実験結果
開発セット
評価セット A
評価セット B

Prec.

Rec.

F

Prec.

Rec.

F

Prec.

Rec.

F

直接辞書引き

1.00

0.49

0.66

0.98

0.45

0.62

0.98

0.450.61

WE-T

0.92

0.71

0.80

0.90

0.72

0.80

0.90

0.72

0.80

SGNS
Yih ら，2012[6]

0.09
0.88

0.08
0.87

0.09
0.87

0.08
0.81

0.07
0.80

0.07
0.81

0.07
—

0.07—

0.07—

Zhang ら，2014[7]
WE-TD

0.88
0.92

0.88
0.91

0.88
0.91

0.82
0.90

0.82
0.88

0.82
0.89

—
0.89—
0.87—
0.88

提案したモデルで学習した WE でこの問題に回答4.4するために，まずターゲットと各候補との類似度を 2式を用いて計算し，最も類似度の低いものを選択することとする．ただし，問題中に一つでも未知語が存在した場合には回答を行わないこととした．

評価指標

関連研究の結果と比較を行うために，同様に F 値を用いて評価を行った．F 値は，適合率と再現率の調和平均である．ただし，本評価においては，適合率は回答を行った問題数に対する正答数の割合，再現率は全問題数に対する正答数とした．

4.2

学習に用いた言語リソース

モデルの学習に用いる教師ありデータとして，Zhang
ら [7] が WordNet[4] 及び Roget[2] から作成した類義5

結果・考察語と対義語のペアを用いた．このデータセットには，実験結果を表 1 に示す．まず SGNS は，ほとんど52,760 語に対して平均 11.7 語の類義語，21,3319 語に正しく答えられおらず，文脈情報のみでは対義語判断対して平均 6.5 語の対義語が定義されている．

が難しいことを示している．次に WE-T では，評価一方教師なしデータとして，Wikipedia 全ページかセット対して行列分解をベースにした既存手法に迫るらタグ情報などを取り除いたテキストを用いた．出性能をあげている．これは辞書情報から類推される対現単語数は約 7 千万語である．これらに対し前処理義語関係を効率的に学習できたためであると考えられとして，すべての文字を小文字化した後，出現頻度上る．最後に WE-TD は，F 値 0.89 と最も高い性能を

位 100,000 位タイの単語から単語共起テーブルを作成示した．さらに開発セットにおける F 値に対して評した．

価セットにおける F 値の低下が既存手法より少なく，4.3

WE-TD は高い汎化性能を持つと言える．
次に，評価セット B に対する WE-TD の誤答割合について表 2 に示す．複数の候補語が対義語辞書にあパラメータ設定

前述の GRE Antonym Question Task の開発セッるパターンであるが，誤答及び正答についてどちらもトを用い，モデル学習に必要なパラメータを決定しターゲット単語に対して類似度は 0.01 以下と非常にた．まず，WE-T モデルについて，ベクトルの次元数低くなっており，WE としては辞書上の対義性を反映

は 300 次元，AdaGrad による試行回数は 20 回，学習ものが得られていると言える．しかしながら，間接的率は 0.03，とした．また 3 式におけるハイパーパラな対義語を用いて学習してしまっているがために，意メータ α は対義語と類義語のそれぞれのペア数の比

味的には近いものの対義語ではない単語間においてから 3.2 とした．次に WE-TD モデルについて，まずも類義性が低くなってしまったと考えられる．また，

Wikipedia からは出現する上位 100,000 語のみについ正答に対するターゲット単語の類似度に応じて分類して共起情報を持つテーブルを生成し，学習に用いた．

考察を行う．まず，類義性が十分に低い (< 0.1) のパ

4 式におけるハイパーパラメータ β は 100，SGNS に

ターンについては，先ほどの学習データの辞書にあるおける負例数 k は 5，共起をカウントする前後のウィ場合のものだけでなく，辞書上にはない対義語のもの

ンドウサイズ C は 5, サブサンプリングのしきい値はもあった．意味を見た場合でも，おおよその意味的方10−8 とした．

向性が似ていて極性が異なるというように捉えること― 758 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

誤答の分類表 2: WE-TD の評価セット B における誤答の分類
誤答数 全誤答中の割合 全問題数に対する割合

全誤答

88

1.00

0.12

候補が辞書にある候補が複数辞書にある

15
4

0.17
0.05

0.020.01

正答語との類似度 < 0.1

28

0.32

0.04

正答語との類似度 < 0.5

53130.40
0.15

0.050.02

正答語との類似度 > 0.9

もでき，おおよそうまく WE が学習できていると考Advances in Neural Information Processing Sys-えられる．しかしながら，これら微妙なニュアンスのtems 26, pp. 3111–3119. Curran Associates, Inc.,
2013.

違いを正確に判断して確かな対義語を選ぶためには，より高い水準での意味性獲得が必要と予想される．次に，対義語であるはずにも関わらず，正答とターゲットの単語との類似度が高く (> 0.9) 判断されているパターンについては，辞書上に間接的にも対義性を示す情報が辞書になく，かつ同様な文脈で出現する場合が多いためであると考えられる．

6[4] George A. Miller. Wordnet: A lexical databasefor english. Commun. ACM, Vol. 38, No. 11, pp.
39–41, November 1995.
[5] Saif Mohammad, Bonnie Dorr, and Graeme
Hirst. Computing word-pair antonymy. In Proceedings of the 2008 Conference on EmpiricalMethods in Natural Language Processing, pp.
982–991, Honolulu, Hawaii, October 2008. Asso-結論

ciation for Computational Linguistics.

本研究では，対義語の判断精度の向上を目的として，新たな 2 つのモデルを提案した．GRE Antonym[6] Wen-tau Yih, Geoﬀrey Zweig, and John Platt.

Question Task を用いて対義語の判断性能の評価を行い，提案した辞書情報と文脈情報から学習するモデル

Polarity inducing latent semantic analysis. In
Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing

で既存手法から 7%の F 値向上を達成した．今後の課題として，他の意味関係に対する学習を行うことが挙and Computational Natural Language Learning,pp. 1212–1222, Jeju Island, Korea, July 2012. As-げられる．

sociation for Computational Linguistics.

参考文献[7] Jingwei Zhang, Jeremy Salwen, Michael Glass,and Alfio Gliozzo. Word semantic representations[1] John Duchi, Elad Hazan, and Yoram Singer.
Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, Vol. 12, pp. 2121–2159,
July 2011.

using bayesian probabilistic tensor factorization.
In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP), pp. 1522–1531. Association for Computational Linguistics, 2014.

[2] Barbara Ann Kipfer. Roget’s 21st Century Thesaurus. Philip Lief Group, third edition edition,2009.
[3] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S
Corrado, and Jeﬀ Dean. Distributed representations of words and phrases and their compositionality. In C.J.C. Burges, L. Bottou, M. Welling,Z. Ghahramani, and K.Q. Weinberger, editors,― 759 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.