言語処理学会 第21回年次大会 発表論文集 (2015年3月)

含意関係認識におけるベクトル空間モデルの適用
寺中 元希
斎藤博昭
慶應義塾大学大学院 理工学研究科{teranaka, hxs}@nak.ics.keio.ac.jp

1

はじめには単語のベクトル表現が含意関係認識に有効であるか

含意関係認識は，機械翻訳や質問応答をはじめとする自然言語処理研究に広く共通するタスクである．自
然言語処理において含意関係とは，ふたつの文 T(Text)と H(Hypothesis) において，T が正しい場合に H も正しいと推定できる関係を指す．ここでいう含意関係は，論理学でいう意味論的含意とは異なり，人間が含意であると判断できると言える場合に成り立つものである [11]．含意関係は一般的に含意が成り立つか否かの 2 値分類を行うタスクである．以下に含意関係が成り立つ場合の例を示す．

T: 川端康成は「雪国」などの作品でノーベル文学賞を受賞した．

H: 川端康成は「雪国」の作者である．
含意関係認識タスクは，2005 年の PASCAL ワーク
ショップ [1] を皮切りに注目され始め，日本語においても NTCIR-11 RITE-VAL[5] という評価型ワークショッ検討する．また，既存のベクトル空間モデルを用いた場合との比較検討を行う．

関連研究

2

横手ら [10] は，単語間の意味類似度を WordNet と既存手法を用いて計算し，得られた意味類似度を含意関係認識に有効な類似度に変換する方法を提案している．変換後のスコアと H の単語の逆文書頻度を組み合わせたものを特徴ベクトルとし，Support VectorMachines(SVMs) によって認識を行う．意味類似度の算出手法が 1990 年代の手法であり，より有効な類似度を用いることにより認識精度の向上が期待される．

NTCIR-11 RITE-VAL において最良の結果であった Ishii ら [2] の手法は，ロジスティック回帰を用いたものであったが，特徴量のひとつに skip-gram モデルで生成した単語のベクトル表現のコサイン類似度を用い関係に焦点を当てた研究が今後の課題となっている．ている．この特徴量 Fskipgram は以下の式で表される．
∑w2 ∈N MH,T maxw1 ∈T {cos(v(w1 ), v(w2 ))}Fskipgram =|{w2 : w2 ∈ N MH,T }|(1)

本研究では，文または単語のベクトル表現を用いる

ここで，N MH,T は文 H に含まれ文 T に含まれない単ことで含意関係認識における文間の意味へのアプロー語の集合であり，v(w) は単語 w を skip-gram モデルにチを試みる．近年，深層学習によって単語のベクトルよってベクトル表現したものである．また，cos(v1 , v2 )プが 2014 年に行われた．これらのワークショップでは，単語の被覆率などの表層的な素性を用いた機械学習による認識が主な手法となっており，文間の意味的表現を学習するモデルとして skip-gram モデル [6] が注目を集めている．Skip-gram モデルによって得られたベクトル表現は，意味類似性の高い単語ほど近くに分布するという特徴がある．また最近では，skip-gramモデルの拡張であり文や文章のベクトル表現を学習するモデルである distributed memory モデル [4] が提案されている．
含意関係認識において，文のベクトル表現に焦点をはベクトル v1 と v2 のコサイン類似度であり，|{w2 :w2 ∈ N MH,T }| は集合 N MH,T に含まれる単語の総数である．
Ishii らの研究では，この特徴量の有効性の検証は詳細に行っていない．

3ベクトル空間モデル

3.1

Bag-of-Words

当てて行われた研究は確認されず，また distributed

Bag-of-Words モデルは最もシンプルな文書のベク

memory モデルは非常に新しいモデルであり，これを用いた研究はまだ多くない．従って本稿では，上述のトル表現方法であり，ベクトルの各次元を一つの単語ベクトル空間モデルを含意関係認識に適用し，文またれ以外の場合は 0 をその次元の値とするものである．に対応付け，その単語が文書中に出現する場合は 1，そ― 924 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

図 2: 文書のベクトル表現の学習 [4]図 1: 単語のベクトル表現の学習 [4]単語の出現頻度をベクトルの値とする場合もあるが，本稿では 2 値ベクトルのものを Bag-of-Words モデルとして用いる．

3.2

TF-IDF ベクトル

TF-IDF は単語に関する重みの一種であり，TF-IDFを Bag-of-Words のベクトルの値として用いたベクトル表現は，主に情報検索などの分野で用いられる．本稿では便宜上，上記のベクトル表現を TF-IDF ベクトルと呼ぶ．
あ る 単 語 ti の 文 書 dj に お け る TF-IDF の 値
図 3: システムの俯瞰tf idf (ti , dj ) は以下の式で計算される．
ni,j|D|
tf idf (ti , dj ) = ∑· logn|{d:d ∋ ti }|k k,j(2)text のベクトル表現である．文のベクトル表現の詳細に関しては 4.1 節で述べる．次に，2 つのベクトル表現

ここで，ni,j は ti の dj における出現回数，|D| は総文の類似度を計算する．この類似度と base 特徴量を組み書数，|{d : d ∋ ti }| は ti を含む文書の総数を表す．

合わせたものを分類器によって学習・分類を行う．類3.3

似度の計算法は 4.2 節で，base 特徴量に関しては 4.3

Distributed Memory

Distribution memory モデルは，文書のベクトル表現を自由な次元で学習できるモデルであり，Bag-of-節で，分類器に関しては 4.4 節で詳細を述べる．使用したデータセットの詳細は次の 5 章で述べる．
本手法は，外部資源を必要としない．

Words モデルの語順に依存しないという欠点を克服している．図 1 は，Mikolov ら [6] の単語のベクトル表
現を学習するフレームワークで，“the cat sat on” と4.1いう文において，‘on’ の単語のベクトル表現を学習しベクトル空間モデルを用いた．Bag-of-Words と TF-ている．Distribution memory モデルは，この機構にIDF ベクトルは，語順の情報を捨てており，日本語にParagraph id を導入したものであり，図 2 のようなフレームワークとなる．図 2 での Paragraph id は “thecat sat on” を示す id であり，現在の文脈の損失情報おける助詞や助動詞などは類似度計算時のノイズとを表すベクトルとなる．て，式 (2) の dj はデータセット中に出現する j 番目

4

文のベクトル表現

文のベクトル表現の生成には，3 章で述べた 3 つのなりうるため，本稿では名詞と動詞以外の単語を無視したベクトル表現を生成した．TF-IDF の計算においの文を指し，|D| はデータセット中の文の総数とする．

提案手法
本研究が提案するシステムの俯瞰を図 3 に示す．こDistributed memory モデルは，フリーの Python ライブラリである gensim1 で実装されているものを用い，のシステムは入力されたテキストのペア T ，H からデータセット中の全ての文において学習を行った．パ

それらの文書ベクトル表現 vi (T )，vi (H) を生成する．

ラメータは，alpha(学習率)，size(ベクトルの次元数)，vi (text) はベクトル空間モデル vi によって生成された― 925 ―

1 http://radimrehurek.com/gensim/index.html

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

min count(このパラメータ以下の出現頻度の単語は無視する) を変更した．
2

ここで，形態素解析には MeCab を用いた．

4.2

alpha=0.025，size=500，min count=2 とし，base 特徴量では N=1〜9 とした．
比較対象として，(1) 式で示した Fskipgram でも同様類似度計算手法

ベクトル間の類似度の計算手法はコサイン類似度を用いた．二つのベクトル a1 と a2 のコサイン類似度

cos(a1 , a2 ) は以下の式で表される．
a1 · a2cos(a1 , a2 ) =|a1 ||a2 |4.3た．これにより，distributed memory のパラメータはの実験を行った．skip-gram モデルの学習は Ishii らと同様に Wikipedia コーパスを用いた．Ishii らは，学習のパラメータに関して明確に述べていなかったため，他のパラメータに倣い交差検定の結果が良くなるように(3)調整した．パラメータは distributed memory と同様のものを調整し，alpha=0.025，size=200，min count=5とした．

ベース特徴量評価尺度は，NTCIR-11 RITE-VAL で採用されベース特徴量には，2 文が表面的にどれだけ類似した Macro-F1 値 と 正 解 率 を 用 い た ．Macro-F1 値ているかを示す被覆率を用いる．被覆率は含意関係認
識において最もよく用いられる特徴量であり，この特(macroF 1) は，クラス c の集合を C ，c における精度を P rec.c ，再現率を Rec.c とすると，以下の式で表徴量と組み合わせることで認識精度の良くなる特徴量される．

が効果的な特徴量だと判断することができる．本稿でmacroF 1 =は，文字の被覆率を採用し，Wu ら [9] を参考に以下の式で表される特徴量 Fbase を base 特徴量とした．

61 ∑= exp(log pn )
N n=1

(4)

#(ngramsT,H )#(ngramsH )(5)NFbasepn=

ここで，#(ngramsT,H ) は文 T と文 H で一致するn-grams の数であり，#(ngramsH ) は H の全ての ngrams の数である．N はパラメータとして用いる．こ

実験結果と考察量として，含意関係認識実験を行った結果を表 1 に記す．表 1 では，省力表記としてそれぞれ base:base
特徴量，bow:Bog-of-Words，tfidf:TF-IDF ベクトル，

dm:distributed memory，skipgram:skip-gram を表している．
表 1: 各特徴量を用いた認識の結果手法である BLEU 値 [8] を参考にしたものである．

特徴量

分類器

含意関係認識は含意がある，なしの 2 値分類を行うタスクであるため，2 値分類に強いとされる Support

Vector Machines(SVMs) を分類器として用いる．SVMの実装には Classias[7] を用い，学習アルゴリズムはTruncated Gradient[3] を用いた．カーネル関数は線形カーネルを用いた．

5(6)各ベクトル表現の類似度とその組み合わせを特徴の式は機械翻訳の分野でしばしば用いられる自動評価

4.4

1 ∑ 2 × P rec.c × Rec.c|C| c
P rec.c + Rec.c

実験環境
実験のデータセットには NTCIR-11 RITE-VAL でMacro-F1

正解率

base

63.36

72.88

base+skipgram

62.91

72.88

base+bow

63.54

73.86

base+tfidf

64.48

75.27

base+dm

64.62

74.62

base+bow+tfidf

63.76

74.91

base+bow+dm

64.34

74.11

base+tfidf+dm

63.85

75.42

base+bow+tfidf+dm

64.00

74.62

用いられたデータセットを用いた．このデータセット
は訓練データセット 2692 ペア，テストデータセット

1379 ペアの計 4071 ペアの文を含んでいる．従って，文の総数は 8142 文である．
各パラメータは訓練データセットを用いた交差検定の結果を得て，ヒューリスティクスにおいて決定し表 1 から，skip-gram モデルを用いた手法では base
特徴量のみを用いた手法よりも Macro-F1 値が小さくなったが，文のベクトル表現の類似度を用いた手法では，Macro-F1，正解率ともに精度が向上した．これ
より，文のベクトル表現の類似度は単語のベクトル表

2 http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html

現の類似度に比べて含意関係認識に有効な特徴量で― 926 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

あると言える．また，base+dm の Macro-F1 値が最7も高くなり，base+tfidf+dm の正解率が最も高くなった．文のベクトル表現の中でも，distributed memoryモデルによるベクトルが最も効果的であると分かる．

base+dm の Macro-F1 値は NTCIR RITE-VAL 参加
チーム 10 チームの中でも 4 番目に良い結果となった．
これより，外部の言語資源を用いない単純な 2 パターンの特徴量のみを用いた手法において，高い精度の認結論
本稿では，最新のベクトル空間モデルを用いた手法を含意関係認識に適用することで，認識精度が向上することを示した．しかし，ベクトル空間モデルを適用する手法として，今回はコサイン類似度を特徴量とするといった単純な方法を用いた．今後はより効果的な手法で，ベクトル空間モデルを含意関係認識に適用する研究が期待される．また，含意関係認識には 6 節で識ができたと言える．外部の言語資源を取り入れた特述べたような課題があるため，これらの解決策を模索徴量を加えることで，更なる精度の向上が見込まれる．
していきたい．


参考文献[1] Ido Dagan and Oren Glickman. Probabilistic textual entailment: Generic applied modeling of language variability. In PASCAL Workshop on Text
 Understanding and Mining, 2004.



[2] Ai Ishii, Hiroshi Miyashima, Mio Kobayashi, andChikara Hoshino. Nul system at ntcir rite-val tasks.
In Proceedings of the 11th NTCIR Conference, pp.
249–254, 2014.

[3] John Langford, Lihong Li, and Tong Zhang. Sparse
online learning via truncated gradient. Machine Learning Research, pp. 777–801, 2009.

図 4: 含意判定の例 1[4] Quoc Le and Tomas Mikolov. Distributed representation of sentences and documents. In Proceedings of the 31st International Conference on Machine Learning, 2014.

図 5: 含意判定の例 2
図 4，図 5 にシステムの含意判定の例を示す．図 4で，base のみを特徴量として用いたは間違った判定を[5] Suguru Matsuyoshi, Yusuke Miyao, Tomohide Shibata, Chuan-Jie Lin, Cheng-Wei Shih, Yotaro
Watanabe, and Teruko Mitamura. Overview of thentcir-11 recognizing inference in text and validation(rite-val) task. In Proceedings of the 11th NTCIR
Conference, pp. 223–232, 2014.

しているが，base+dm を用いた場合は正解の判定をしている．この場合では，T と H の文はほぼ同義であるため文の意味類似度が高く，dm の特徴量が有効に働いていることが分かる．図 5 では，T と H の文[6] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Eﬃcient estimation of word representations in vector space. In Proceedings of NIPS, 2013.

は表層的には類似しているが意味は全く異なる．そのため，意味の類似度を考慮に入れた base+dm において，正しい判定が行えた．
[8] Kishore Papineni, Salim Roukos, Todd Ward, andWei-Jing Zhu. Bleu: A method for automatic eval uation of machine translation. In Proceedings of the40th Annual Meeting on Association for Computational Linguistics, pp. 311–318, 2002.


図 6: 含意誤判定の例
図 6 にシステムが誤判定した例を示す．この例では，T から H を推測するのに人間の一般常識が必要となる．こういった含意関係を認識することは現在の技術では困難であり，今後の課題となる．また，文間の意味が類似していてもシステムが誤判定する文のペアも確認される．より多くのデータで distributed memory
モデルを学習させることにより，含意関係の認識精度の向上が見込まれる．

[7] Naoaki Okazaki. Classias: a collection of machinelearning algorithms for classification, 2009.

[9] Shin-Hung Wu, Li-Jen Hsu, Hua-Wei Lin, Pei-Kai
Liao, Liang-Pu Chen, and Tsun Ku. III&CYUT chinese textual entailment recognition system for ntcir11 rite-val. In Proceedings of the 11th NTCIR Conference, pp. 233–239, 2014.
[10] 横手健一, ボレガラダヌシカ, 石塚満. テキスト含意認
識に有効な意味的類似度変換及びその獲得法. 人工知能学会論文誌, pp. 220–229, 2013.
[11] 金子貴美, 宮尾祐介, 戸次大介. 基本文関係に分解した含意関係認識日本語評価データの構築. 言語処理学会
第 19 回全国大会, pp. 928–931, 2013.

― 927 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.