言語処理学会 第21回年次大会 発表論文集 (2015年3月)

学習型質問応答における単語文脈ベクトルの効果の研究

Research on the Eﬀects of Word Context Vectors inTrainable QA
牧瀬 晃太

佐々木 裕

三輪 誠

Kota Makise

Makoto Miwa
Yutaka Sasaki
豊田工業大学
Toyota Technological Institute{sd13439, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp

1

はじめにとして質問応答システムが構築できることを示した．
以下に用いられた特徴を示す．

キーワードを用いた一般的な検索エンジンはユーザに提示する情報が多く，求める情報にたどり着くのに時間を要する．このユーザの求める情報を得る方法として，短く・簡潔な回答を対象としたファクトイド型質問応答がある．このような質問応答において問題となるのが質問文と回答の文脈の表現の違いである．本
研究では，この問題の解決による質問応答の精度向上を目的として，Conditional Random Fields (CRF) を用いた学習型質問応答において単語を表記そのものではなくベクトルとして表現する単語文脈ベクトルの特徴としての利用可能性について研究する．

2

学習型質問応答
質問応答システムの多くは以下のような構成になっQW (Question Word) : n-gram(1 ≤ n ≤ N) で質問文の単語を列挙したもの．質問文が “Whatis cancer?” で N=2 ならば QW:What, QW:is,
QW:cancer, QW:What-is, QW:is-cancer となる．
QI (Question Iterrogative) : 質問内容を表す単語 (who, where, what, how).
QP (Question POS) : 質問文の単語の品詞を列挙したもの．質問文が “What is cancer?” ならば
QP:wh, QP:verb, QP:noun となる．
DW-k,...,DW0,...,DW+k (Document Word) :解答に関連する文書から得られた単語．対象の単語が wi で k=1 ならば wi+1 , wi+0 , wi+1 となる．
DP-k,...,DP0,...,DP+k (Document POS) : 解
答に関連する文書から得られた単語の品詞．
CW-k,...,CW0,...,CW+k (Combined Word) :解答に関連する文書の単語が質問文に存在すている．

るかどうか (true/false)．QW:President, DW-

1. 質問解析：質問タイプの判定と文書検索のための検索語の抽出する．

2. 情報検索：検索エンジンに検索語を入力し上位の文書を抽出する．
3. 回答候補抽出：情報検索で得られた文書から回答候補を抽出する．
4. 回答候補評価：質問の回答としてふさわしいものかどうかを判定して回答候補の順位付けを行う．

1:President ならば CW-1:true となる
CP-k,...,CP0,...,CP+k (Combined POS) : 解
答に関連する文書の単語の品詞が質問文に存在するかどうか (true/false).
CI-k,...,CI0,...,CI+k (Combined Iterrogative) :解答に関連する文書の単語と QI を組み合わせ た も の ．QI:Who, DW-1:President な ら ば
CI-1:President & Who となる．

構文解析情報を特徴として機械学習を質問応答に適用したものは [5] がある．これは日本語に対して行われた研究で，質問文と文書の単語の組み合わせを特徴

この研究では N=4，k=3 として用いられていた．回答の抽出には最大エントロピーモデル (ME) が使用されている．

― 167 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

• DW0+CW0+QF

提案手法

3

• DW0+CP0+QF

本研究では回答候補の出現する文脈と質問文に含ま• DW0+CW0+CP0+QFれる情報が関係しているという点に着目する．そこで，• B0+CW0+QF

英語の生物学文献を対象に ME よりも多くの研究に• B0+CP0+QF

おいて高い精度を示している CRF を用いて回答候補• B0+CW0+CP0+QFの抽出モデルを学習し，CRF により出力された条件• B0+QF

付き確率をもとに最終的な回答を決定する手法を構築• CW0+CP0+DP0+QI

し，単語文脈ベクトルの特徴としての効果を検証する．

3.1.3

回答候補の抽出3.1

本研究ではスニペットと質問文を構文解析することにより得られる言語解析情報を用いる手法と，それに加えて文脈情報を用いる手法を提案する．言語情報からの素性は関連研究 [5] に従う．スニペットとは解答に関連するとされる部分を文書から抽出したものである．
文脈情報として質問文から抽出した Question Focus

文脈情報を追加した手法

この手法では基本素性，関連研究で用いられた素性(QI, DW, DP, CW, CP)，文脈ベクトルを導入した以下の素性を用いる．
DQF-k,...,DQF0,...,DQF+k (Distance QF) :QF と DW0 の文脈ベクトルの距離.
• DW0+CW0+QF+DQF0(質問の対象カテゴリを指定する単語) と対象単語の距離を利用する．距離の算出には単語文脈ベクトル間の• DW0+CP0+QF+DQF0

コサイン距離を用る．回答の抽出には閾値を設け，条• B0+CW0+QF+DQF0

件付き確率の和が閾値以上の値になるまで回答の抽出• B0+CP0+QF+DQF0

を行う．

• B0+CW0+CP0+QF+DQF0• DW0+CW0+CP0+QF+DQF0• B0+QF+DQF0
3.1.1• CW0+CP0+DP0+QI

基本素性

距離は 9 つの bin によりブール値で表す．表 1 の以下の素性を基本素性として用いる．

B-k,...,B0,...,B+k (Base) : 解答に関連する文書の単語の原形．
QF (Question Focus) : 質問文から抽出した Question Focus.
DWC (Document Word Combination) : 解 答に関連する文書から得られた単語を n-gram(2 ≤n ≤ C) で組み合わせたもの．対象の単語が wi でC=2 ならば DWC:wi−1 & wi , DWC:wi & wi+1となる．

例を用いて説明する．ブール値は 0.1 刻みで分ける．

distance が 0.09 であった場合 0.1 を超えていないのですべてのブール値が false となる．0.10 の場合は 0.1を超えるので一つ目のブール値が true になり，他のブール値は false となる．同様に 0.2 の場合は最初の2 つ目までが true となり，他のブール値は false とな
る．0.95 の場合は 0.9 を超えているのですべてのブール値が true となる．
表 1: 単語間文脈ベクトルの距離の素性への変換．
ブール値
distance
1 2 3 4 5 6 7 8 9DBC (Document Base Combination) : 解答に関連する文書から得られた単語の原形を n-gram(20.09F

F

FF

FFFF

F

DPC (Document POS Combination) : 解答に0.10

TF

F

FF

FF

F

F

関連する文書から得られた単語の品詞を n-gram(20.20TTF

FFFFFF≤ n ≤ C) で組み合わせたもの．

0.95

TT

TT

TT

TTT≤ n ≤ C) で組み合わせたもの．

3.1.2

言語解析情報を用いる手法

3.2

各スニペットに対する条件付き確率の高い順に回答

この手法では基本素性，関連研究で用いられた素性(QI, DW, DP, CW, CP)，以下の素性を用いる．

回答候補の順位付け候補の抽出を行う．この条件付き確率はスニペット単― 168 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

位で見た時の回答抽出の確率を表す．その際の条件付用いた実験と，2014 年のデータを学習データとしてき確率の和をそれぞれの回答候補の確度とする．その用い，テストデータとして 2013 年のデータを用いた確度を基に回答候補の順位付けを行う．

実験を行った．
閾値と CRF に用いたハイパーパラメータは学習デー

4タを用いて leave-one-out closs-validation を行うこと

BioASQ チャレンジで決定した．閾値は 0.8 から 1.0 まで 0.01 刻みで行本研究では実験データの取得・システムの評価のた
め医療分野における英語の質問応答の競技会である

BioASQ チャレンジ 2013，2014[6] に参加した．以下で用いたデータの説明をする．

1. 質問・解答：チャレンジで使用されたもの．解答は人手で付けられている．

2. スニペット：生物・医学文献のデータベースである PubMed[4] に登録されている文献から抽出されたもの．

3. 単語文脈ベクトル：word2vec[3] のスキップグラ
ムモデルを PubMed に登録されている文献のア
ブストラクト，10,876,004 件に適用し文脈ベクト

い MRR が一番高いものを採用した．ハイパーパラ
メータは e−6 から e6 まで乗数を 1 刻みで行い一番高いものを採用した．交差検定の結果，2013 年のデータを学習に用いたときはベースラインの閾値は 1，ハイパーパラメータは e0 ．+WCV の閾値は 1，ハイパーパラメータは e−1 ，2014 年のデータを学習に用いたときはベースラインの閾値は 1，ハイパーパラメータはe−3 ，+WCV の閾値は 1，ハイパーパラメータは e−2として実験を行った．

62013 年のデータは test1〜test3 の 3 つに分かれておルを作成したたもの．1,701,632 個の単語それぞり，それぞれの結果を表 2〜4 に示す．2014 年のデー

れに単語文脈ベクトルが付与されている．

Wishart システム [2] は 2013，2014 年の優勝システムである．Wishart システムは質問文の中から名詞

タは test1〜test5 の 5 つに分かれており，それぞれの結果を表 5〜9 に示す．評価値は以下のものを用いた．

• Strict Accuracy (Strict)

句を抽出．抽出された名詞句を生物学のシソーラスにシステムの出した回答候補の中の 1 位のものが正照合することで曖昧性の解消されたクエリを生成し，しい回答の割合．

そのクエリをもとに類義語や関連する生物学用語を• Lenient Accuracy (Lenient)システムの出した上限 100 件の回答候補の中に正PolySearch[1] というテキストマイニングシステムを用いて検索し，新たなクエリを生成する．それらのクしい回答が存在する割合．

エリを使用し解答に関係する文書を検索し，得られた• Mean Reciprocal Rank (MRR)
下記の式で表される数値になる．

文書に解答に関連する用語がどれだけ含まれているかという情報をもとに文書に対する順位付けを行ってい1 ∑ 1
Q i=1 ranki
Qる．そこで 1 位のものを要約したものから回答候補をMRR =抽出している．

5

結果と考察

Q は問題数，ranki は回答候補内の正しい回答の最上位の順位である．回答候補内に正しい回答が実験

1含まれない場合 rankは 0 とする．
i

Whishart システムは 2013, 2014 年 BioASQ チャレ実験に用いた手法を以下に示す．

1. Rule-based (Rule)：手書きルールを用いた手法．

ンジの優勝システムであり，2013 年の test3, 2014 年

2. ベースライン (Baseline)：言語解析情報を用いる手法．の test5 は不参加であった．CRF を用いたシステム

3. +WCV (Word Context Vectors)：文脈情報を追かった．また，CRF を用いたシステムの中でも本研究がルールベースで構築したシステムを上回ることがわの提案手法である質問の文脈ベクトルを素性として加加した手法．
本研究では C=3, 関連研究に従い N=4, k=3 とした．
学習データとして 2013 年のデータを用い (質問正解数:54，スニペット数:1,247)，テストデータとして 2014

えたものが Lenient Accuracy では Wishart を上回った．以上の結果より文脈ベクトルによる意味情報の付与が精度向上に大きく貢献することを明らかにした．

年のデータ (質問正解数:132, スニペット数:1,985) を― 169 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

System

表 2: 2013 年 test1 の結果．
StrictLenientMRRSystem

表 9: 2014 年 test5 の結果．
StrictLenient
MRR

Rule

0.00000.05560.0185Rule0.03450.17240.0787

Baseline

0.0556

0.27780.1194Baseline

0.10340.31030.1297+WCV

0.00000.33330.0860+WCV

0.10340.34480.1176

Wishart0.22220.33330.3056

System表 3: 2013 年 test2 の結果．
StrictLenient
MRR

Rule

0.00000.15000.0667

Baseline

0.15000.45000.1912+WCV

0.15000.45000.2057

Wishart

0.25000.30000.3000

表 4: 2013 年 test3 の結果．
SystemStrictLenient
MRR

Rule

0.06250.18750.0906

Baseline

0.18750.56250.2942+WCV0.1875

0.62500.2800

System

0.03700.1481

0.0926

Baseline

0.18520.51850.2586+WCV

0.18520.51850.2655

Wishart0.44000.48000.4600Rule

おわりに文脈ベクトルを CRF の素性として用いることによりファクトイド型質問応答への回答精度が向上することを示した．今後は文法情報を用いることで更に精度が上がる可能性があると考える．

参考文献[1] Dean Cheng, Craig Knox, Nelson Young, Paul
Stothard, Sambasivarao Damaraju, and David S
Wishart. Polysearch: a web-based text mining system for extracting relationships between
human diseases, genes, mutations, drugs andmetabolites. Nucleic acids research, Vol. 36, No.
suppl 2, pp. W399–W405, 2008.

表 5: 2014 年 test1 の結果．
StrictLenient
MRR

RuleSystem

7[2] Yifeng Liu. The university of alberta participation in the bioasq challenge: The wishart system.
Technical report, 2014.
[3] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S
Corrado, and Jeﬀ Dean. Distributed representa-

表 6: 2014 年 test2 の結果．
StrictLenient
MRR

tions of words and phrases and their compositionality. In C.J.C. Burges, L. Bottou, M. Welling,
Z. Ghahramani, and K.Q. Weinberger, editors,

0.04350.1739Baseline

0.04350.34780.1281+WCV

0.13040.34780.1969Advances in Neural Information Processing Systems 26, pp. 3111–3119. Curran Associates, Inc.,

Wishart0.13040.13040.13042013.

System0.0942

表 7: 2014 年 test3 の結果．
StrictLenient
MRR

Rule

0.00000.08330.0208Baseline

0.04170.41670.1088+WCV

0.04170.41670.1193

Wishart0.04170.08330.0556[4] PubMed. http://www.ncbi.nlm.nih.gov/pubmed.
[5] Yutaka Sasaki. Question answering as questionbiased term extraction: a new approach toward
multilingual qa. pp. 215–222, 2005.
[6] George Tsatsaronis, Michael Schroeder, Georgios
Paliouras, Yannis Almirantis, Ion Androutsopoulos, Eric Gaussier, Patrick Gallinari, Thierry

表 8: 2014 年 test4 の結果．
SystemStrict
Lenient
MRR

Baseline

0.18750.53130.2585

Artieres, Michael R Alvers, Matthias Zschunke,
et al. Bioasq: A challenge on large-scale biomedical semantic indexing and question answering.

+WCV

0.25000.56250.2875

2012.

Wishart

0.25000.28130.2813

Rule

0.09380.34380.1979― 170 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.