言語処理学会 第24回年次大会 発表論文集 (2018年3月)

強化学習を用いたイベント抽出のためのクエリ拡張
谷口元樹 三浦康秀 大熊智子
富士ゼロックス株式会社{motoki.taniguchi, yasuhide.miura, ohkuma.tomoko}@fujixerox.co.jp
トワークを用いて方策を学習することで、イベント抽出の精度が向上することを示す。

1. はじめにイベント抽出タスクはテキストから予め定義されたイベントの属性値を抽出することで、イベント情報を構造化する。例えば新聞記事から企業の買収やテロ事件のイベントにおける、買収企業名と被買収企業名や発生場所、犯人の名前、被害者数を抽出する。このように構造化された情報は質問応答や対話などの他の言語処理タスクを解くための知識源として活用されるため、重要である。
イベント抽出には大量の学習データによる教師あり機械学習手法がよく用いられる。しかし、学習データを作成するコストが大きいことやイベントの発生頻度が少ないことから、学習データを大量に作成することが難しく、高い精度を達成できない場合がある。そのような場合には、Web などの外部情報源から、同一のイベントについて書かれた文書（関連文書）を検索し、関連文書からも属性値を抽出する手法が用いられる。この手法では関連文書を検索するためのクエリの決定方法、関連文書から抽出されたエンティティがイベントの属性値として適切かどうかを判断する方法が課題となる。
この課題に対して、強化学習を適用した研究が行われている[Narasimhan et al., 2016; Sharma et al., 2017]。これらの研究では、検索して得られた関連文書から抽出されたエンティティをイベントの属性値として受け入れるかどうかの決定と、次の文書を検索するためのクエリの決定をエージェントの行動とみなしている。しかし検索するためのクエリは原記事のタイトルを元クエリとしてテンプレートを用いて拡張されており、追加される単語はイベントによらず固定である。
本論文では疑似適合フィードバックを用いて、イベントに応じたクエリに自動的に拡張するモデルを提案する。
疑似適合フィードバックでは元クエリで検索して得られた上位の文書は関連性があると仮定し、それらの文書に含まれる単語を用いてクエリを拡張する。提案モデルにおけるエージェントの行動は、元クエリに対して追加する単語を擬似適合フィードバックで得られた候補単語から選択することである。これにより、イベントに応じた拡張クエリが生成され、関連文書の検索精度が向上することが期待される。さらに提案モデルの方策には行動候補と状態の組合せを考慮したニューラルネットワークを用いる。
本論文の貢献は以下の３点である。
 疑似適合フィードバックを用いて、イベントに応じたクエリに自動的に拡張するイベント抽出のためのモデルを提案する。
 従来のテンプレートと比較して、擬似適合フィードバックによる拡張クエリを用いることで関連文書の検索精度が向上することを示す。
 行動候補と状態の組合せを考慮したニューラルネッ

2. 関連研究
外部情報源を活用した情報抽出
外部情報源から関連文書を検索することで、情報抽出の精度を高める取り組みは盛んに行われている[Wu andWeld, 2010; Ji and Grishman 2011]。しかし、イベント抽出
では検索によって得られた文書が目的のイベントの関連記事であるかどうかを判断するイベント共参照解析が必要になる点が他の情報抽出タスクとは異なる。
クエリ拡張
クエリ拡張は検索を対象とした研究が広く行われており、クリックスルーログを用いる手法[Sordoni et al., 2014]、疑似適合フィードバックを用いる手法[Xu and Croft, 1996]などがある。我々の手法では、クリックスルーログなどの他のリソースを必要としないため、擬似適合フィードバックを用いる。
[Nogueira et al., 2017] では擬似適合フィードバックと強化学習を用いて、検索タスクでクエリ拡張を行っており、我々の手法に類似している。しかし、検索とは異なり、イベント抽出では関連文書を検索するだけでなく、目的の属性値が書かれている文書を検索する必要がある点で、さらに難しいタスクになる。また、イベントの属性は複数定義されることが多く、同時に複数の属性値を抽出するため、より複雑なタスクになる点が異なる。
強化学習を用いたイベント抽出[Narasimhan et al., 2016；Sharma et al., 2017] では外部情報 源 を活 用 し た イベ ン ト 抽出 タ ス クを MDP (MarkovDecision Process) でモデル化し、強化学習を適用することでメタ学習器を上回る精度を達成した。これらの研究はいずれも関連文書を検索するためのクエリをテンプレートを用いて拡張しており、イベントによらず固定である。
また、クエリの選択には、クエリの言語情報は用いられていない。

3. 提案手法[Narasimhan et al., 2016; Sharma et al., 2017] と同様に、イベント抽出タスクを MDP でモデル化するが、検索クエリの決定方法が異なる。我々のモデルにおけるエージェン
トの行動は、クエリテンプレートの選択ではなく、元クエリに追加する単語を候補単語から選択することである。
本章では、まずイベント抽出タスクの MDP によるモデル化について説明する。次に、擬似適合フィードバックを用いた候補単語の作成方法を説明する。最後に、エージェントの方策を学習するニューラルネットワークを説明する。

― 1151 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

イベントの属性値

属性属性値犯人の名前

John Doe

死亡者数

2

負傷者数

0

都市名

Baltimore

属性値として採用するエンティティの選択
元クエリ でWeb検索

関連文書から抽出されたエンティティ

属性属性値

犯人の名前

John Doe

死亡者数

0

負傷者数

0

都市名

Philadelphia

イベントの属性値

エージェントの行動

属性

属性値

犯人の名前

John Doe

死亡者数

2

擬似適合
フィードバック
関連文書

拡張クエリ単語の選択

クエリ拡張
候補単語

関連文書

負傷者数

0

都市名

Philadelphia

関連文書から抽出されたエンティティ

属性

追加単語
”dead“で作成された拡張クエリ
でWeb検索

エンティティ抽出

属性値

犯人の名前
1

死亡者数

1 dead, 3 hospitalized after domestic disputeturns violent in Southwest Philadelphia

状態

負傷者数

3

都市名

Philadelphia

状態

図 1： MDP における状態遷移。赤字はエンティティの選択によって更新される属性値を表す。青字は元クエリ＋クエリ追加単語で Web を検索して得られた関連文書から抽出されたエンティティを表す。
3.1 MDP
各エピソードは、はじめに抽出対象となるイベントについて書かれた文書（原文書）が与えられる。その文書から抽出されたエンティティをイベントの属性値として、エージェントの初期状態とする。ステップごとに、エージ
ェントは関連文書から抽出されたエンティティをイベントの属性値として更新するかどうかのエンティティ選択
行動 、次の関連文書を探すためのクエリ拡張単語の選択の行動 を行うことで状態が遷移する。
図１にエージェントの状態遷移の例を示す。時刻 の状態における 都市名 の属性値を Baltimore から、関連文書から抽出されたエンティティである Philadelphia に更新する行動をしている。それと同時に、擬似適合フィードバ
ックによって得られた候補単語から、次の関連文書を検索するための追加単語 dead を選択する行動をしている。
次のステップ の状態では、更新されたイベントの属性値と、元クエリ＋ dead で検索して得られた文書から抽出されたエンティティに基づく状態から行動を決定する。
以降のステップではエピソード終了行動が選択されるまで、同様に逐次的にエンティティの選択と追加単語の選択を行う。
状態： [Narasimhan et al., 2016; Sharma et al., 2017] と同様に、エージェントの状態 は属性値の信頼度スコア、関連文書から抽出されたエンティティの信頼度スコア、エンティティ周囲の文脈の TFIDF、元文書と関連文書のTFIDF 文書類似度である。
行動： ステップごとに、エージェントは同時に２つの,をとる。 は現在の文書から抽出された
行動
エンティティをイベントの属性値として採用するかの決定を表し、次の 4 種類の行動候補から選択する。(1)特定のエンティティを属性値として受け入れる（各属性値あたり１つの行動）、(2)全てのエンティティを採用する、(3)全てのエンティティを採用しない、(4)エピソードを終了する。 は[Narasimhan et al., 2016; Sharma et al., 2017] とは異なり、次の関連文書を検索するクエリに用いる追加単語の選択である。候補単語 w ,,…,

かのエンティティ選択行動 から次のステップにおけるイベントの属性値が更新される。同時に、元クエリへの追加単語の選択行動 に基づき、拡張クエリ で外部情報源を検索し、上位 番目の文書を得る。その文書からエンティティを抽出し、次のステップにおける状態とする。ただし、 は追加単語の選択行動 がエピソード中に実行された回数を表す。
報酬： [Narasimhan et al., 2016; Sharma et al., 2017] と同様に、現在と一つ前のステップの状態の Accuracy の差を報酬とする。またエピソードの長期化に対するペナルティとして、ステップごとに負の定数項を報酬に加える。
3.2 クエリ拡張の候補単語
クエリ拡張の候補単語は疑似適合フィードバックに基づいて作成する。疑似適合フィードバックでは、元クエリで検索して得られた上位の文書は関連があると仮定する。
この仮説に基づき、元クエリを原記事のタイトルとして、上位 文書の先頭 単語を取得し、クエリ拡張の候補単語とする。したがってクエリ拡張の候補単語数は単語である。追加単語を加えず、元クエリをそのまま検索する場合も加えて、クエリの総数1となる。
3.3 RLIE-QE
図２に提案モデルのニューラルネットワーク RLIE-QEを示す。[Sharma et al. 2016] が提案した RLIE-A3C をベースにしたネットワーク構造を採用するが、イベントに応じたクエリに拡張するために、状態 と各行動候補 の組| を合せからクエリ追加単語の選択に関する方策計算する点が異なる。
エンティティの選択€ €|Softmax

Softmax
FC

状態価値
†

FC

FC

FC

…

ReLU

１ から追加単語 を選択し、原記事のタイトルである元クエリ に対して、追加することで拡張クエリ を生成する行動をとする。
状態遷移： 決定された行動に基づき、状態が遷移する。
エンティティをイベントの属性値として採用するかどう

クエリ拡張単語の選択
q|

行動候補

行動候補

•‚

…

行動候補ƒ„‚FC
ReLU
FC
状態図 2： RLIE-QE のネットワーク構造― 1152 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

原文書
テンプレートクエリ
関連文書

擬似適合 FB
による
拡張クエリ

訓練
データ
372

開発
データ
146

評価データ
146

銃撃犯の名前 死亡者数 負傷者数 都市名
0.537
0.697
0.452
0.686

平均
0.593

公開データ

N=59,829

3,832

4,072

0.560

0.849

0.831

0.863

0.848

再収集
M=1, K=4
M=1, K=10
M=2, K=10
M=3, K=10
M=4, K=10
M=5, K=10

N=5
N=5
N=11
N=21
N=31
N=41
N=51

22,697
20,24345,43290,006
134,475
178,856
223,308

8,874
8,877
19,50537,25654,96672,55490,2579,039
8,128
18,37236,01354,021
71,90389,844

0.560
0.560
0.560
0.560
0.560
0.600
0.600

0.872
0.895
0.919
0.919
0.930
0.930
0.930

0.838
0.915
0.931
0.938
0.938
0.946
0.946

0.801
0.856
0.863
0.877
0.884
0.890
0.890

0.837
0.889
0.904
0.911
0.917
0.922
0.922

表 1： コーパス統計量とオラクル Accuracy。 訓練データ 、 開発データ”、 評価データ”の列は各文書数を表す。
銃撃犯の名前 、 死亡者数”、 負傷者数 、 都市名 の列は評価データにおける各属性のオラクル Accuracy を、平均 は全属性での平均のオラクル Accuracy を表す。
エージェントの状態 を 2 層の全結合層に入力し、活性化関数 Rectified linear units (ReLU)を適用することで中間表現‡が得られる。エンティティの選択に関する方策ˆ | ‰は中間表現‡に対して、さらに 1 層の全結合層とSoftmax 関数を適用することで得られる。一方、追加単語| は中間表現‡と各追加単語の選択に関する方策の選択行動 から計算される。クエリ追加単語の選択行
動 を候補単語 の分散表現で表し、中間表現‡と結合した上で、ユニット数が１の全結合層に入力する。これを各行動 に対して行い、それらの出力を結合したものにSoftmax 関数を適用することでクエリ拡張単語の選択に関する方策| が得られる。ただし、この全結合層のパラメータは全ての行動候補間で共有する。
学 習 に は [Sharma et al. 2017] と 同 様 に Asynchronous
Advantage Actor-critic (A3C) [Mnih et al., 2016]を用いる。
A3C では複数のエージェントが並列してサンプリングし、方策関数 ˆ , ‰と状態価値関数†ˆ ‰のパラメータを非同期に更新する。これにより、高速かつ安定的に学習を行うことができる。

4. 実験設定
4.1 データセット[Narasimhan et al., 2016] が公開している Gun Violencearchive から作成されたデータセット1をもとに実験を行う。Gun Violence archive はアメリカにおける銃撃事件のデータベースであり、銃撃事件を報じている新聞記事（原文書）と銃撃犯の名前、死亡者数、負傷者数、事件の発生した都市名の 4 種類の属性値が記録されている。
学習および評価中に関連文書を検索することは可能であるが、計算効率を考慮して、あらかじめデータを収集した。各原文書に対してタイトルを元クエリとして、擬似適合フィードバックを適用することで候補単語を取得し、取りうる全ての拡張クエリを作成する。この拡張クエリで Bing Search API を用いて Web を検索し、上位 20文書をダウンロードした。コーパスの統計量は表１の左側に示す。また、擬似適合フィードバックの効果を確認するために、従来のテンプレートクエリで学習したベースラインシステムと比較を行う。検索時期や Bing Search
API のバージョン更新による影響を確認するため、公開されているデータに加えて、[Narasimhan et al., 2016]が用
1 https://github.com/adi-sharma/RLIE_A3C

いたクエリテンプレートを用いて再収集を行う。クエリテンプレートは下記の５つであり、<タイトル>には原記事のタイトルを代入して用いる。
1. <タイトル>
2. <タイトル> + (police | identified | arrested | charged)
3. <タイトル> + (killed | shooting | injured | dead | people)
4. <タイトル> + (injured | wounded | victim)
5. <タイトル> + (city | county | area)
4.2 実装各文書からのエンティティの抽出は[Narasimhan et al.,2016]と同様にロジスティック回帰モデルを用いる。このモデルは単語ごとに 4 種類のエンティティ（銃撃犯の名前、死亡者数、負傷数、事件の発生した都市名）、 その他の分類を行うことで文書からエンティティを抽出する。
同一文書に複数の同種のエンティティが存在した場合は、最も事後確率が高いエンティティをその文書のエンティティとして抽出する。
クエリ拡張候補単語の分散表現は 300 次元であり、Google News を word2vec2で学習されたモデルを用いる。
中間表現‡を計算するための 2 層の全結合層のユニット数はどちらも 20 に設定する。
A3C は 16 スレッドで学習する。その他のパラメータは[Sharma et al., 2017]と同じものを用いる。
4.3 ベースラインモデル
擬似適合フィードバックによってイベントごとにクエリを拡張した効果を検証するために、ベースラインとなるネットワークとして RLIE-A3C [Sharma et al., 2017]を採用する。RLIE-A3C におけるクエリテンプレートの選択方
策| は 中間 表現‡ に 対し て 、一層の 全 結合 層 とSoftmax 関数を適用することで得られる。実装には公開されているコード 1 を用いる。
行動候補 と状態 の組合せを考慮したニューラルネ
ットワークの効果を評価するために、テンプレート作成されたクエリで収集したデータを提案手法のネットワー
クで学習したモデル（RLIE-QE-REDL）も評価する。1 つのクエリテンプレートに複数の拡張単語が含まれている
場合は、それらの単語の分散表現の平均をクエリ追加単語の選択行動 とする。
4.4 評価160 万ステップの学習を行った後に、評価データを用い
2 https://code.google.com/archive/p/word2vec/― 1153 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ネットワーク構造
RLIE-A3C-ORG
RLIE-A3C-PUB
RLIE-A3C-REDL

RLIE-A3C[Sharma et al. 2017]

RLIE-QE-N11
RLIE-QE-N31
RLIE-QE-N51

RLIE-QE（提案手法）

都市名

平均 Accuracy（論文記載）

0.480

0.726

0.742

0.640

0.647

公開

0.480

0.733

0.735

0.647

0.649

0.488

0.740

0.717

0.638

0.646

0.480

0.767

0.725

0.651

0.656

N=50.520

0.772

0.737

0.642

0.668

N=110.512

0.753

0.731

0.649

0.661

N=310.504

0.751

0.726

0.641

0.656

N=510.480

0.760

0.732

0.641

0.653

N=5再収集RLIE-QE-REDL
RLIE-QE-N5

関連文書データ クエリ数 銃撃犯の名前 死亡者数 負傷者数

擬似適合 FBによるクエリ拡張

表 2： イベント抽出の精度：下線は各評価指標における最高値であることを示す。 データ 列における 論文記
載 は[Sharma et al. 2017]らの論文からの引用であり、 公開 は公開データ、 再収集 はクエリテンプレートを用いて再収集したデータを関連文書として用いた結果である。て精度を 50 回繰り返して計算し、上位 5 回分の Accuracyの平均を比較する。

5. 実験結果
提案手法の効果を確認するために、まず擬似適合フィードバックによる拡張クエリによって関連文書の検索精度が向上していることを確認する。その後、提案モデルとベースラインモデルの抽出精度の比較を行う。
5.1 関連文書の検索精度
表１の右側に各クエリで検索された関連文書を評価データにおけるオラクル抽出精度を示す。オラクルの抽出精度はエンティティの選択行動 Š が完全である場合の抽出精度を示す。これは関連文書から抽出されたエンティティに正解となる属性値が含まれるイベントの割合を示している。クエリ数5の場合に、擬似適合フィードバ
ックを用いるとクエリテンプレートを用いるよりも、オラクルの平均 Accuracy が 5.2pt 高い。これにより、擬似適合フィードバックによるクエリ拡張を用いることで、検索の精度が向上していることがわかる。また、クエリ数51の場合に、さらにオラクルの平均 Accuracy が 3.3pt向上している。
5.2 属性値の抽出精度
表２に各属性値の抽出精度の評価結果を示す。RLIEA3C は用いているデータによらず、Accuracy に大きな差はなく、検索時期や Bing Search API のバージョンによる影響がないことが確認できる。
RLIE-A3C-REDL と RLIE-QE-REDL を比較すると、平均Accuracy が 1.0pt 向上している。この結果から、クエリ追加単語の選択行候補 を拡張候補単語w の分散表現で表し、行動候補と状態の組合せを考慮する効果があることがわかる。
RLIE-QE-N5 と RLIE-A3C-REDL を比較してみると、平均 Accuracy が 2.2pt 向上している。属性の中でも、 銃撃犯の名前 は 3.2pt、 死亡者数”は 3.2pt と大幅に向上している。これにより、イベントに応じたクエリで検索することで、関連文書の検索精度を向上するだけでなく、イベント抽出の精度も向上できていることがわかる。
一方で、クエリ数 が大きくなるにつれて、Accuracy のを見向上幅は低下している。開発データにおける,てみると、クエリ数 が大きくなるにつれて、単語の選択確率,の分散は低下しており、どの単語も等しくサンプリングされてしまっていることがわかる。

6. おわりに
本論文ではイベント抽出タスクのための擬似適合フィードバックを用いたクエリ拡張モデルを提案した。提案
モデルではイベントに応じた適切なクエリを自動的に生成することができる。実験の結果から、擬似適合フィードバックを用いたクエリ拡張を用いることで、検索の精度が向上していることを示した。また、追加単語が行動候補を表すとして、行動候補と状態の組合せを考慮したネッ
ト ワ ー クを 用 い て 方策 を モ デ ル化 す る こ とで 、 平 均
Accuracy で 1.0pt 向上することを示した。さらにクエリテンプレートを用いたベースラインシステムよりも提案手法は平均 Accuracy で 2.2pt 向上することを実証した。
今後の課題としてはクエリ数を増加した場合に、より適切なクエリを選択できるモデルに改良することである。
また今回のモデルでは元クエリに追加する単語を候補単語から選択したが、完全に新規のクエリを生成する方法に取り組む。
参考文献[Ji and Grishman 2011] Heng Ji and Ralph Grishman. Knowledge base
population: Successful approaches and challenges. In NAACL-HLT,
pp 1148–1158. 2011.
[Mnih et al. 2016] Volodymyr Mnih, Adria Puigdomenech Badia,
Mehdi Mirza, Alex Graves, Timothy Lillicrap, Tim Harley, DavidSilver, and Koray Kavukcuoglu. Asynchronous methods for deep
reinforcement learning. In ICML, pp. 1928–1937. 2016.
[Narasimhan et al. 2016] Karthik Narasimhan, Adam Yala, and Regina
Barzilay. Improving information extraction by acquiring external
evidence with reinforcement learning. In EMNLP, pp. 2355–2365.
2016.
[Sharma et al. 2017] Aditya Sharma, Zarana Parekh, and Partha
Talukdar. Speeding up reinforcement learning based information
extraction training using asynchronous methods. In EMNLP, pp.
2658–2663. 2017.
[Sordoni et al. 2014] Alessandro Sordoni, Yoshua Bengio, and Jian Yun
Nie. Learning concept embeddings for query expansion by quantum
entropy minimization. In AAAI, Vol. 14, pp 1586–1592. 2014.
[Xu and Croft 1996] Jinxi Xu and W. Bruce Croft. Query expansion
using local and global document analysis. In ACM SIGIR, pp 4–11.1996.
[Wu and Weld 2010] Fei Wu and Daniel S Weld. Open information
extraction using wikipedia. In ACL, pp 118–127. 2010.

― 1154 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.