# 多様なイベント表現を対象とした知識抽出における異なるエン コーディングモデル群の動的アンサンブル
石川開 $\dagger$ ・高村 大也 ${ ^{\dagger+,+\dagger+}$ ・奥村学 $\dagger$
}

本稿は，イベント表現抽出において，テキスト中のイベント表現の多様性に対応する ために，異なるエンコーティングモデル群と， 入力毎に信頼度の高いエンコーディ ングモデルの集合を動的に選択する動的アンサンブル機構からなる新たなアンサン ブル法を提案する。サブタスク毎の比較評価により，提案手法を用いたイベント情報抽出が，各エンコーディングモデルやソフト投票法を F1 値で上回る事を示す。さ らに，NIST TAC KBP2016 およびKBP2017 のイベント表現抽出の公式評価との比較評価を通じて, 提案手法の有効性を示す。最後に, 提案手法の様々なニューラル ネットワークモデルへの適用可能性の議論を通じて，イベント表現検出における提案手法の有用性と課題を考察する。

キーワード：イベント表現，エンコーディングモデル，知識ベース構築，動的アンサンブル
## Dynamic Ensemble of Heterogeneous Encoding Models in Knowledge Extraction of Diverse Event Expressions

\author{
Kai Ishikawa $^{\dagger}$, Hiroya Takamura ${ }^{\dagger, \dagger \dagger \dagger}$ and Manabu Okumura ${ }^{\dagger \dagger}$
}

In this paper, we propose a novel ensemble approach for event nugget detection that consists of heterogeneous encoding models to handle diversifying linguistic expressions of events in text and a dynamic ensemble method to obtain an ensemble of reliable models for each input token dynamically. From a set of comparative evaluations in subtasks, we show that our proposed method exceeds each encoding model and soft voting in F1-score. Moreover, we prove the effectiveness of our proposal by comparing our evaluation system with the results of NIST TAC KBP2016 and KBP2017 participants in F1-scores. Lastly, we consider the usefulness of our proposed method in event nugget detection through a series of discussions on applying proposed method to recent neural network models.

Key Words: Event Expression, Encoding Model, Knowledge Construction, Dynamic Ensemble


## 1 はじめに

近年, 通信インフラの高度化, 高性能な通信機器や携帯情報端末の普及などにより, 誰もが時間や場所を意識すること無く，大量のデータを安価に送受信することが可能になった. これにより, 日々大量のデータが生み出され, 世界の情報流通量は加速度的に増加している。このことは，私達の日常のコミュニケーションや知的生産活動に大きな変革をもたらしつつある．例えばSNS が日常的なコミュニケーション手段となり, 世界中の人々がオンラインで繋がる様になったことで, 情報交換を通じて現在, 世界中で何が起きているかが即座に分かるようになった.また, 科学技術のコミュニティでは, 査読などの出版プロセスを伴わない迅速な論文公開を実現するプレプリントサーバや，数千規模の学術誌の横断的検索・閲覧を実現するオンラインデータベースの普及などのデジタル化が急速に進んでいる.

このように，情報通信技術の高度化は, 様々な領域でコミュニケーションや情報流通の利便性を向上する一方で，情報爆発を加速し，様々な問題を生じている。例えばSNSでは，不確かな情報が十分検証されずに世界中に拡散するといった脆弱性により，フェイクニュースによる選挙妨害や世論操作などの問題を生じている。また科学技術のコミュニティでは, 研究者の生産性が向上し，論文の発行部数が増加した結果，研究者が個人レベルで技術動向を網羅的に把握するのが困難になるといった問題を生じている。これらは個別には対策が講じられつつあるが, 俯瞰的な視点に立てば, 情報爆発の問題はそもそも利便性と共に生じた歪みと見ることもできる。すなわち，知的生産活動を支える現在の知識情報処理システムの多くは，その情報処理プロセスの中の高度な部分を人間が分担することを前提としている。しかし，処理系の中に人間が介在する事は, 処理量や処理速度の面で計算機に劣る人間の生理的な限界が, 系全体のボトルネックとなってしまう，つまり，情報処理プロセスへの人間の介在は, 必然的に処理量や速度と，品質との間のトレードオフを生じてしまう.

この問題を根本的に解決するには，知的処理を行う情報処理技術を高度化し，人間の介在が不要な水準にまで引き上げる必要がある。情報がテキストの場合, 人の読解能力に匹敵する理解力を持つ人工的な読解能力, 機械読解の実現を目指すという事になる。この機械読解は, 情報処理的な立場からは, 入力テキストの言語表現を正しく解釈し, 計算機上で形式的処理可能な表現に変換するタスクとして定義できる。このような機械読解の高度化が進めば，これまで人間が行ってきた文書の内容確認の多くを自動化することができる。例えば，金融機関の与信判断, 法律事務所の証拠収集などを始めとする様々な産業分野への適用を通じて, 知的生産活動の生産性が大幅に向上することが期待できる，処理量や処理速度が格段に向上すれば，情報爆発の問題も解消することができる.

しかし, このような機械読解を実社会に適用していく際には, 対象領域ごとに, 現場の実務レベルの知識を機械読解用に開発する必要が生じる。こうした知識を最初から完全に網羅的に開
発することは難しい．したがって，実際には事前に利用可能なリソースからべースラインの知識を開発し，現場への導入後に，実用を通じて不足する知識を補完していく過程で知識の網羅性を高めていくといった漸進的なアプローチが現実的と思われる。こうした機械読解のための知識獲得のアプローチについて, DARPAの機械読解に関する研究プログラム Machine Reading (Strassel, Adams, Goldberg, Herr, Keesing, Oblinger, Simpson, Schrag, and Wright, 2010)では,既存の知識ベースの活用，コーパスからの知識抽出，論理的推論に基づく知識候補の整合性検証を相補的に組み合わせるコンセプトを提案している。また, 評価型ワークショップ NIST Text Analysis Challenge (TAC) において 2009 年に開始されたトラック Knowledge Base Population (KBP) では, 機械読解のための知識獲得技術に関する研究コミュニティを形成し, この研究領域の活動を推進する役割を果たしてきた (McNamee and Dang, 2009).

KBP は当初, TREC の質問応答トラック Question Answering (Voorhees, 1999) と, NIST の研究プログラム ACE (Doddington, Mitchell, Przybocki, Ramshaw, Strassel, and Weischedel, 2004; Walker, Strassel, Medero, and Maeda, 2006) の情報抽出を参考に，固有名抽出の結果を既存の知識べースの見出しに対応付ける Entity Linking と, 固有名に対して事前に定義された属性値をテキストから抽出する Slot Filling の 2 つのタスクでスタートした。その後，何度かのマイナーなタスク変更を経て, 2014 年に, ACE やその後 DEFT Program で開発された仕様 Light ERE (Aguilar, Beller, McNamee, Durme, Strassel, Song, and Ellis, 2014)のイベントに関するアノテーションをベースに, 予め定義された種類のイベント記述と属性情報をテキストから抽出する Event タスクが新設された． Entity Linking タスクと Event タスクは共に機械読解のための知識構築を構成する中核的なタスクであるが, 英語を対象言語として 2016 年と 2017 年の両タスクの性能水準を比較すると, Entity Linking では F1 值の最高性能が $70 \%$ 前後に達しているのに対し，Event タスクでは $40 \%$ に満たない。このことから我々は，機械読解のための知識獲得技術を実用化する上では，性能の低いイベント表現の検出がボトルネックとなる可能性が高く，まずその性能向上に取組むべきと考えた。

本稿では，機械読解のための知識獲得の中で，イベント表現の検出を対象に技術課題を分析し, その解決のための技術的な提案を行う，以降， 2 章では，本研究が提案手法の評価に用いる Event Nugget Detection タスクについて概説し，その定式化と技術課題について分析を行う． 3 章と 4 章では, この技術課題を解決するための提案を行う， 3 章では, 多様なイベント表現から多面的にエンコーディングを求めるための異なるエンコーディングモデル群を導入し， 4 章では，このエンコーティングモデル群から， 入力テキストのイベント表現に適したモデルを動的に選択する動的アンサンブル法を提案する． 5 章と 6 章では, TAC KBP Event Nugget Detection タスクの評価環境を用いて提案手法とベースライン手法の比較評価を行う， 7 章では，公式評価の参加システムが用いた方式やリソースなどを踏まえて比較分析を行い，提案手法の有効性や優位性について考察する。

## 2 Event Nugget Detection タスクにおける技術課題

本章では, 機械読解のための知識獲得タスクとして, 本研究で取り扱う NIST TAC KBP の Event Nugget (EN) Detection (Mitamura, Liu, and Hovy, 2016)について概説した後, 関連研究を踏まえてべースラインシステムを導入し, 本タスクにおける技術課題とその解決アプローチについて述べる。まず, KBP2016, KBP2017の Event タスクでは, Rich ERE (Song, Bies, Strassel, Ellis, Mitamura, Dang, Yamakawa, and Holm, 2016) で定義されている 38 種類のイベントタイプのうち, 18 種類が抽出対象として設定されている. システムは, この 18 種類のイベントタイプのいずれかに該当するイベント表現を入力記事中から抽出し, 各イベント表現の出現位置 (記事ファイル名と同ファイル中の先頭文字と末尾文字のオフセット), イベントタイプ, 実現性状態 (realis status) (Mitamura, Yamakawa, Holm, Song, Bies, Kulick, and Strassel, 2015; Bies, Song, Getman, Ellis, Mott, Strassel, Palmer, Mitamura, Freedman, Ji, and O’Gorman, 2016)の組み合わせ，すなわち Event Nugget を出力する.

このような Event Nugget (EN) タスクの定式化としては, 無限の文脈長を考慮した系列ラべリングとして扱うのが数理的に最も一般的である. しかし, Event Nugget Detection タスクの場合, 入力に占める対象イベント表現のトークン数の割合は低い（KBP2017の評価セットで約 1/20). このため, 系列ラベリングの出力であるラベル系列は, 大半がラベル無し（BIO ラベリングなら「Outside」）の列の中に疎らにイベント表現が出現する形となる.このことから, 出力のラベル系列の各ラベルは近似的に独立に決定可能と仮定すれば，トークン系列に対する系列ラベリングの問題は, トークン毎の分類という部分問題の集合に分解することが出来る. さらに，トークンのラベルの決定に有用な情報の大半はその周辺（節内や文内）のトークン列に存在すると仮定すれば，文脈についても，有限の文脈長に制限できる事になる。これらの近似により，ドメインやトピックごとでのラベル系列の結束性や，離れた照応関係などの文脈情報の扱いに違いが生じ，精度に影響する可能性があるが，一方で，トークン毎の分類の集合に分解することで計算が並列処理向きとなり, GPU 等の並列計算環境下では大幅な処理速度の向上が期待できる。

近年, 自然言語処理の幅広いタスクで, ニューラルネットワークベースの手法はベースラインとして定着しているが, KBP2016, KBP2017 の参加システムを見ても, その傾向は顕著である（詳細は 6.4 節で後述），中でも，長い文脈を扱うために勾配消失問題に対処したゲート付きRNN である LSTM やGRU を用いた系列ラベリングと, 固定長の入力表現から convolution や pooling 等で意味合成を考慮したエンコーディングを得る CNN 等を用いた分類は，前述の定式化の典型例であり，性能的にも両者は拮抗している。例えば KBP2016 の Event Nugget Detection タスクの公式評価結果では, CNN ゙ースのシステム (Nguyen, Cho, and Grishman, 2016a; Nguyen, Meyers, and Grishman, 2016b) がF1值で最も高い值となった. 同システムで

は word embedding (Mikolov, Chen, Corrado, and Dean, 2013) をべースに Stanford CoreNLP (Manning, Surdeanu, Bauer, Finkel, Bethard, and McClosky, 2014)によって得られる依存構造情報や GLARF semantic parser (Meyers, Kosaka, Ji, Xue, Harper, Sun, Xu, and Liao, 2009) によって得られる意味属性を加えたエンコーディングが用いられている。一方, 同じく KBP2016 の評価では, 局所的な文脈のエンコードに CNN を組み合わせた BiLSTM ベースのシステム (Zeng, Luo, Feng, and Zhao, 2016) が高い F1 値となった.

本研究では, このような先行研究に対する理解のもと, 並列処理での計算効率に優れた分類ベースの定式化に着目してイベント表現の多様性を効率的にモデル化する枠組みの提案を試みる. 評価実験では, NIST TAC KBP2016 および KBP2017 の Event Nugget Track (Mitamura et al., 2016) の公式評価と同じ条件下で評価を行う。提案手法の有効性を明らかにするために,一般的に性能向上に寄与すると考えられる品詞, 依存関係, 意味情報などの解析器の出力, 知識ベース等は一切用いず, word embedding (Mikolov et al., 2013) と単純な CNN (Kim, 2014; Collobert, Weston, Bottou, Karlen, Kavukcuoglu, and Kuksa, 2011)をべースに評価システムの構築を行う.

ただし，提案手法においてもこれらの追加情報は容易に利用可能である。例えば, Nguyen らのシステムをはじめ, KBP2016, KBP2017の多くのニューラルネットワークベースの参加システムに多用される, word embedding と追加情報のエンコーディングの結合による単語エンコー

図 1 本研究で扱う Event Nugget Detection の評価システムの処理フロー

ディングの拡張方法があるが, この方法は提案手法においてもそのまま適用可能である.

本研究で用いる評価システムの処理フローを図 1 に示す. KBP2016，KBP2017の公式評価における Event Nugget Detection タスクは，(1) 入力文書におけるイベント表現（イベントトークン）の検出，(2) 各イベント表現のイベントタイプ (全 18 種類）の分類, (3) 実現性状態 (“actual”, "general", "others"の計 3 状態）の分類，の3つのサブタスクから構成される. end-to-end 評価では，これら３つのサブタスクの出力結果が，イベント表現毎の組 “event nugget”として正しいかどうかが評価される。

分類器のベースラインとしては，評価の際に提案手法の効果が分かり易いほうが望ましいため，非常にシンプルな CNN を各サブタスクに共通に用いることにする。このモデルは，図 2 に示すような，単語分散表現 (Mikolov et al., 2013) を用いたエンコーダと CNN (Kim, 2014) からなる二值分類器である。畳み込みニューラルネットワークは, 畳み込み層, プーリング層 (Max Pooling), 全結合層, 出力層から構成され, 出力層は softmaxによって, 二値分類のそれぞれのクラスに対する確率値を推定し出力する.

ここで， CNN の適用に際しては，任意長の入力テキストから， ネットワークへの入力である

図 2 MW 法によるトークン列のエンコーディングと畳み込みニューラルネットワークを用いた二値分類器の構成
固定長のトークン列（系列データ）を生成する必要がある.

この固定長のトークン列の切り出しは, Event Nugget Detection タスクにおいては, 後述の様に，(1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ，また,

(2) 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題を生じる（以降では，「親和性」を，例えば，長い空長のモデルを選択した場合，長い文脈や依存関係を持つイベント表現との「親和性」は高いが，短い表現との「親和性」は低い，といったように，入力の表現の特性に応じてそのモデルの有効性が相対的に変化するという意味で用いることにする)。本研究では，このような問題に対して，異なる性質を持つエンコーディングモデル群を導入し, 入力の表現との親和性が高いモデルを動的に選択するようなアンサンブル法を提案する。次章では，まず，エンコーディングモデルを導入し，続いて動的アンサンブル法の導入を行う.

## 3 異なるエンコーディングモデル

## 3.1 シングルウィンドウモデル

まず始めに, エンコーディングモデルのベースラインを導入する。本研究では先に述べたとおり, Collobert らのモデル (Collobert et al., 2011)を発展させた CNN (Kim, 2014) ベースで二値分類器を実現する。この CNNへの入力は, word2vec (Mikolov et al., 2013) を用いて事前に学習された 300 次元の単語 embedding を元に，単語のエンコーディングを生成する。 さらに固定長の窓を導入し, 入力系列を窓長に応じてトリミングする。トークン列が窓長より短い場合には zero padding によって窓長に調整する。

この際, 分類対象のトークンは, 窓の中央に位置し, その周辺のトークン列を周辺文脈として扱うことで, 周辺文脈情報付きのトークンのエンコーディングモデルと解釈することができる. このような単一の固定長空を用いる手法を，以降ではシングルウィンドウ (SW：Single Window) モデルと呼ぶ事にする．SW モデルでは，ある検出対象トークンのニューラルネットワークへの入力は, 対象トークンの前後に，それぞれ長さ $l$ のトークン列を繋げた，式 (1) に示すような長さ $2 l+1$ のトークン列の単語ベクトルによって与えられる.

$
x_{-l: l}=x_{-l} \oplus \ldots \oplus x_{0} \oplus \ldots \oplus x_{l}
$

ここで, $x_{i}$ は窓中の $i$ 番目の単語に対する $k$ 次元の単語ベクトル, $\oplus$ は結合演算子である.原理的に，SW モデルは長い密を設定することでより長い文脈を考慮できるが，実際には， 2 章で述べたように，(1) 個々の入力にあわせてモデルの窓長が変えられないため, 入力によってモデルとの親和性の高低が生じ，また，（2）離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題が生じる。そこで，我々は，これらの問題点への対応

として，異なる性質を持つ複数のエンコーディングモデルを導入し， さらに，入力に応じて適切なモデルを動的に適用する枠組みを考えた。

## 3.2 マルチウィンドウモデルの提案

前述の (1) の問題に対する対策として, ここでマルチウィンドウ (MW: Multi Window) モデルを提案する。この $\mathrm{MW}$ モデルは，分類対象のトークンが中央に位置し，かつ長さの段階的に異なる SW モデルを複数用意し，これらの複数のエンコーディングを並列で CNN の入力層に入力するという方法である。CNNへの入力系列は，具体的には式 (2)に示すように，空長を $2 l+1,2 l-1, \ldots, 1$ とした, $l+1$ 個の $\mathrm{SW}$ モデルのエンコーディングの連結で定義される.

$
\left.\{x_{-l: l}, x_{-l+1: l-1}, \ldots, x_{-1: 1}, x_{0}\right.\}
$

図 2 は，入力文から生成されたトークン列に対する MW モデルのエンコーディングを，ネットワークに入力する全体構成を示している。 図に示すように, 式 (2) で得られた $l+1$ 個のエンコーディング結果は 1 つの入力系列としてネットワークの畳み込み層に入力される。このように，大きさの異なるウィンドウによって生成されたエンコーディング結果を並列で入力する事により，異なる窓長による分類を，1つのモデルの中で統合的に学習する事になり，より多様な入力表現に対して親和性の高い分類器が実現でき, 前述の問題 (1)に対する効果が期待できる.

## 3.3 疑似依存モデルの提案

前述の (2) の問題に対する対策として, ここで疑似依存 (PD：Pseudo Dependency) モデルを提案する．この PD モデルは，分類対象トークンを中央に，そこから一定距離内にある全てのトークンとの間でトークン対を生成し, この全てのトークン対を疑似的な依存関係にあるトー クン対であると見なし，トークン対を並列で CNN の入力層に入力するという方法である. CNN への入力系列は，具体的には，分類対象トークンを中央に，およびそこから距離 $l$ 以内のトー クンとの間でトークン対を生成し, 連結することで, 式 (3) に示すような $2 l$ 個のエンコーディング列として定義される.

$
\left.\{x_{-l} \oplus x_{0}, \ldots, x_{-1} \oplus x_{0}, \ldots, x_{0} \oplus x_{l}\right.\}
$

この $2 l$ 個のエンコーディング結果は，MW モデルと同様に，1つの入力系列としてネットワー クの畳み込み層に入力される。このように, 検出対象トークンと離れた場所のトークンとの間のトークン対に対するエンコーディングを並列で入力する事により，離れたトークン間の関係を，1つのモデルで統合的に学習できるため，離れたトークン対を構成要素とするイベント表現が分類器によってより的確に分類できるようになり，前述の (2) の問題に対する効果が期待できる。

## 4 各サブタスクにおける分類モデルの定式化

## 4.1 モデルの信頼度に基づく動的アンサンブルの提案

前章では, 周辺文脈の適切な考慮の方法が対象とするイベント表現ごとに異なるという問題に対し，それぞれのイベント表現に対応するような異なる複数のエンコーディングモデルを導入した. それぞれのエンコーディングモデルの特徴を十分に生かすためには，イベント表現の要素であるトークンと，エンコーディングモデルとの間の親和性が高くなる様なモデル選択を行うことが重要である。このことは，例えば次のような事例から明らかである．

例) "The company laid 10 workers off,"

"Every terrorist gets arrested eventually."

前者の事例は，離れた二つのトークンがイベント表現 “laid off"を構成するため，空のサイズが $l \geq 3$ の PD モデル擬似依存モデルが最適な選択になると推測される。一方, 後者の事例は，単一のトークンのみからイベントタイプを推定するための情報が得られるため，空のサイズが $l=0$ の SW モデルが最適な選択になると推測される。このように，イベント表現検出においては，入力トークンとイベントタイプに応じて，最適なモデルを動的に適用できることが望ましい.

このような考えに基づき，アンサンブルの際によく用いられる従来のソフト投票 (SV：Soft Voting) 法 (Zhou, 2012) に動的なモデル選択の仕組みを組み合わせた動的アンサンブル法を提案する．従来のソフト投票法では, 入力トークン $w$ のあるクラス $c$ に関する二値分類の事後確率は次式のように推定できる。

$
P_{c}^{S V}(s \mid w)=\frac{1}{n} \sum_{m \in M_{n}} P_{c, m}(s \mid w)
$

ここで, $\mathrm{M}_{n}$ は $n$ 個の二值分類モデルからなるモデル集合, $c$ はクラス集合 $\mathrm{C}$ に属するあるクラス, $s$ はクラス $c$ に関する二值分類の状態 $(s \in\{0,1\}), \quad P_{c, m}(s \mid w)$ は入力トークン $w$ がクラス $c$ に関して状態 $s$ となる場合のモデル $m$ による予測確率である. ソフト投票法の場合, 式から分かるように, 各モデルの予測確率は入力トークン $w$ とは独立かつ均等に評価される. このため, 入力トークンと親和性の低いモデルがアンサンブルの多数を占めると, ソフト投票の結果もそれら親和性の低いモデルの予測を反映したものとなる。したがって，ソフト投票法はそのままではイベント表現とエンコーディングの間の親和性の問題を解消することができない.

そこで，我々は，入力とエンコーディングモデルとの間の親和性の高さを評価する尺度を導入し，それによって親和性のより高いエンコーディングモデルを動的に選択する仕組みを実現する.ここではそのような評価尺度として, 音声認識等のパタン分類で一般的に用いられている信頼度の定式化をべースとする。パタン分類における信頼度は，与えられた観測 $w$ に対す

るクラス $c$ を MAP (maximum a posteriori probability) 推定する際に得られる最大事後確率 $P(c \mid w)$ ， すなわち $\hat{c}=\operatorname{argmax}_{c} P(c \mid w)$ を満たす $P(c \mid w)$ として定式化される. これを我々の問題設定，すなわち，あるクラス $c$ に関する正負の状態 $s$ を推定する定式化に直せば，信頼度は $\hat{s}=\operatorname{argmax}_{s \in\{0,1\}} P_{c}(s \mid w)$ を満たす $P_{c}(s \mid w)$ となる. さらにモデルの自由度を加えれば, クラス $c$ に関する状態 $\hat{s}$ とモデル $\hat{m}$ の推定 $\hat{s}, \hat{m}=\operatorname{argmax}_{s \in\{0,1\}, m \in M} P_{c, m}(s \mid w)$ を満たす $P_{c, m}(s \mid w)$ と拡張することができる. これは左辺に状態 $\hat{s}$ を含まない形で次のように表現することができる.

$
\hat{m}=\underset{m \in M}{\operatorname{argmax}}\left.\{\max _{s \in\{0,1\}} P_{c, m}(s \mid w)\right.\}
$

これはさらに, 和則 $\sum_{s \in\{0,1\}} P_{c, m}(s \mid w)=1$ を用いて変数 $s=1$ に固定した次式に書き換えられる。

$
\hat{m}=\underset{m \in M}{\operatorname{argmax}}\left.\{\max \left[P_{c, m}(s=1 \mid w), 1-P_{c, m}(s=1 \mid w)\right]\right.\}
$

さらに $\max$ の各評価式から $1 / 2$ を減算して書き換えれば次式を得る。

$
\hat{m}=\underset{m \in M}{\operatorname{argmax}}\left|P_{c, m}(s=1 \mid w)-1 / 2\right|
$

以上の導出から, 各クラス $c$ に対する二値分類モデルの選択では, $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ をモデルの信頼度に用いれば良いことが分かった。

このようにして選択されたモデル $\hat{m}$ による事後確率を $P_{c, \hat{m}}(s \mid w)$ とすると, 先の MAP 推定は $\hat{s}=P_{c, \hat{m}}(s \mid w)$ を満たす $P_{c, \hat{m}}(s \mid w)$ を求める問題として定式化される. 以上の導出により, MAP 推定をモデルアンサンブルに対して拡張すると，入力 $w$, クラス $c$ ごとに，信頼度 $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ の最も高いモデル $\hat{m}$ を $n$ 個の二值分類モデルの集合 $\mathrm{M}_{n}$ から動的に選択する方法が導出されることが分かった。そこで, この推定法を動的モデル選択 (DS) 法と呼ぶことにする．DS 法において，入力トークン $w$ のクラス $c$ に関する二値分類の事後確率は次式で求められる。

$
P^{D S}{ }_{c}(s \mid w)=P_{c, \hat{m}}(s \mid w)
$

この DS 法と SV 法の比較から，両者は共にモデルアンサンブルに対する事後確率集合を元に, 前者は信頼度 $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ の最も高いモデル $\hat{m}$ に関する事後確率, 後者はモデル集合 $\mathrm{M}_{n}$ の全モデルの事後確率の平均值で, それぞれアンサンブル全体の事後確率を評価していることが分かる。このことから，さらに信頼度 $\left|P_{c, m}(s=1 \mid w)-1 / 2\right|$ に関して上位 $k$ 個の二値分類モデルの集合 $M_{t o p \_k}=\underset{m \in M}{\arg \text { _top_k }}\left.\{\left|P_{c, m}(s=1 \mid w)-1 / 2\right|\right.\}\left(\mathrm{M}_{t o p \_k} \subset \mathrm{M}_{n}\right)$ による事後確率の平均値を用いれば，両者を統合できることが分かる。この手法を動的アンサンブル $(\mathrm{DE})$

図 3 異種のエンコーディングモデル群 $\mathrm{SW}(l=0), \mathrm{SW}(l=3), \mathrm{SW}(l=5), \mathrm{MW}(l=3), \quad \mathrm{MW}(l=5)$, $\mathrm{PD}(l=3), \quad \mathrm{PD}(l=5)$ に対する動的アンサンブル $(\mathrm{DE})$ 法の図解

法と呼ぶ. 次式から分かるように, $\mathrm{DE}$ 法は $k=1$ の場合に DS 法, $k=n$ の場合に $\mathrm{SV}$ 法に帰着する。

$
P^{D E}(s \mid w)=\frac{1}{k} \sum_{m \in M_{t o p \_k}} P_{c, m}(s \mid w)
$

以上が，信頼度に基づいてモデルアンサンブルから入力 $w$ にあったモデルを動的に選択する $\mathrm{DE}$ 法の枠組みの導出である。図 3 は, この二値分類の問題設定における $\mathrm{DE}$ 法を図で示したものである.

## 4.2 動的アンサンブル法を用いたイベント表現の検出

イベント表現検出では, 入力 $w$ に対して, 各イベントタイプ $c_{e}$ に関する二值分類を適用し, モデルごとに事後確率 $P_{c_{e}, m}(s \mid w)$ を求める。 さらに, 前節で導入した DE 法を適用することにより, モデルアンサンブル全体に対する事後確率 $P^{D E}{ }_{c_{e}}(s \mid w)$ を得る. ここで $P^{D E}{ }_{c_{e}}(s=1 \mid w)$ が余事象の確率 $P^{D E}{ }_{c_{e}}(s=0 \mid w)=1-P^{D E}{ }_{c_{e}}(s=1 \mid w)$ に対して大きければ (あるいは $P^{D E}{ }_{c_{e}}(s=1 \mid w)-1 / 2$ の符号が正であれば), 入力 $w$ はイベントタイプ $c_{e}$ のイベント表現であると判定できる。この判定を全 18 種類のイベントタイプ集合 $C_{e}$ の各要素 $c_{e} \in C_{e}$ に対して実施し, 1 つ以上のイベントタイプ $c_{e}$ に関してイベント表現と判定される入力 $w$ を抽出することにより，イベント表現検出を実現する。

## 4.3 動的アンサンブル法を用いたイベント表現のイベントタイプの推定

イベントタイプ分類では，イベント表現検出においてイベント表現と判定された各入力 $w$ に対し, さらに, 全 18 種類のイベントタイプからなる集合 $C_{e}$ から, 最も該当する可能性の高いタイプ $\hat{c}_{e}$ を推定する. ここで， DE 法を適用して得られるモデルアンサンブル全体に対する事後確率 $P^{D E}{ }_{c_{e}}(s=1 \mid w)$ を用いることで，イベント表現と判定された各入力 $w$ のタイプ $\hat{c}_{e}$ は,次式によって推定することができる.

$
\hat{c}_{e}=\underset{c_{e} \in c_{e}}{\operatorname{argmax}}\left.\{P_{c_{e}}^{D E}(s=1 \mid w)\right.\}
$

## 4.4 動的アンサンブル法を用いたイベント表現の実現性状態の推定

事実性状態分類では，イベント表現検出においてイベント表現と判定された各入力 $w$ に対し， さらに，3つの実現性状態“actual”, “general”, “others” からなる集合 $C_{r}$ から, 最も可能性の高い状態 $\hat{c}_{r}$ を推定する。ここでも， DE 法を適用して得られるモデルアンサンブル全体に対する事後確率 $P^{D E}{ }_{c_{r}}(s \mid w)$ を用いる. これにより，イベント表現であると判定された各入力 $w$ の実現性状態 $\hat{c}_{r}$ は, 次式によって推定することができる.

$
\hat{c}_{r}=\underset{c_{r} \in c_{r}}{\operatorname{argmax}}\left.\{P^{D E}{ }_{c_{r}}(s=1 \mid w)\right.\}
$

ただし，いずれの実現性状態 $c_{r}$ に対しても $P^{D E}{ }_{c_{r}}(s=1 \mid w)-1 / 2$ の値が負となる場合には, 事後確率 $P^{D E}{ }_{c_{r}}(s=1 \mid w)$ の信頼度が低く, 学習されたモデルに基づく $\hat{c}_{r}$ の推定が有効ではない可能性が考えられる。そこでこの場合には, 入力 $w$ は, “actual”および “general”のいずれの実現性状態にも該当しない（定義上“others” が該当する）状態であると解釈し， $\hat{c}_{r}=$ "others" と推定する。

## 5 評価実験における各種設定

## 5.1 開発用および評価用データセット

以降では, 提案手法であるエンコーディングモデルと動的アンサンブルの効果を検証するため, サブタスク毎に, 各エンコーディングモデルの単一適用, ソフト投票法, 動的アンサンブル法の性能を比較評価する。 さらに, Event Nugget タスクの end-to-end 性能における提案手法の性能を検証するために, Event Nugget タスクが実施された過去 2 回の NIST TAC KBP, KBP 2017 およびKBP2016での公式評価との比較評価を行う，表 1 は, KBP2016 および KBP2017 の Event Nugget タスクの公式評価で提供されたデータセット (Ellis, Getman, Fore, Kuster, Song, Bies, and Strassel, 2016; Getman, Ellis, Song, Tracey, and Strassel, 2017)のうち, 参加システムに使用された主要なデータセットの一覧である。表中左列のカテゴリは, 各システムの使用データセッ
表 1 TAC KBP2016/KBP2017 Event Nugget の公式評価で提供された主要なデータセット

 \\

トの違いを簡便に示すために本論文で導入した定義である。このうち $\mathrm{EN}$ に属する 2 つのデー タセットは包括的なデータセットで, LDC2017E02が EN2014, EN2015, EN2016 のデータセット，LDC2016E36 が EN2014，EN2015 のデータセットをそれぞれ含む。なお，LDC2017E02 のタイトルに “Training and Evaluation Data 2014-2016”とあるが, 2016 のデータセットについては Evaluation Dataのみしか存在しない. 以降に提示するモデル・手法間の比較評価, KBP2017 およびKBP2016 の公式評価との比較評価では, これらの公式評価用に提供されたデータセットと公式の評価ツールを用いて評価を実施した。各評価で使用した評価用データと開発用デー 夕の構成は, 表 2 に示すとおりである，ただし, 各データセットの構成要素は, 表 1 で定義したカテゴリによって示している.
表 2 本論文の評価実験で用いた開発用および評価用データセット

} & 開発用データ & ERE (LDC2015E29, LDC2015E68, \\
& & LDC2016E31), EN2014, EN2015, EN2016 \\

\cline { 2 - 3 } & 開発用データ & ERE (LDC2015E29, LDC2015E68, \\
& & LDC2016E31), EN2014, EN2015 \\

## 5.2 畳み込みニューラルネットワークのハイパーパラメータおよび学習条件

前述のデータセットやエンコーディングモデル等の違いによらず，以降の全ての評価では，評価システムの共通部分である畳み达みニューラルネットワークの学習に共通のハイパーパラメータおよび学習条件を適用した。学習に使用したハイパーパラメータは, 具体的には, Zhang らが行ったパラメータ設定の分析研究 (Zhang and Wallace, 2017) で報告されている値を参考に, フィルタサイズを $(2,3,4,5)$, 特徴マップの次元数を 100 , ドロップアウト率を 0.5 , ミニバッチサイズを 50 に設定した。学習の最適化アルゴリズムには AdaDelta (Zeiler, 2012) とミニバッチのシャッフルを適用した。さらに, epoch 毎に 10 fold の交差検定を実施し, epoch 数 30 まで学習を行い, epoch 毎に保存されたモデルの中から validation セットにおけるF1 スコアが最大のモデルを選択するようなアーリーストッピングを適用した.

## 5.3 単語分散表現モデル

また，単語分散表現については，既に公開されている Google News からの学習済モデルである “Google-News-vectors-negative300” (Mikolov et al., 2013) を初期モデルとして用い, さらに,開発用データからの畳み込みニューラルネットワークの学習時に, この学習済み単語分散表現モデルと開発用データとが上手く適合するように，チューニングを施した，具体的には，開発用データセットに出現する語彙のうち，学習済み単語分散表現モデル中の未登録語については, まず乱数を要素とする 300 次元の初期ベクトルをそれぞれ生成し, さらに逆伝播によって開発データに適応させることで，未登録語に対するモデルの補完を行った。

## 6 評価結果

## 6.1 イベント表現検出における比較評価

以降では，サブタスク毎に，各エンコーディングモデルを単一で適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合との性能の比較評価を行う。ここでは，
表 3 イベント表現検出における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の, 適合率・再現率・F1 スコアの評価結果の比較

まず，最初のサブタスクであるイベント表現検出における評価結果を示す。次の表 3 では， 3 つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合のイベント表現検出の性能を，適合率, 再現率, $\mathrm{F} 1$ スコア（ミクロ平均）で示している。ここで $l$ は，各エンコーディングモデルの定式化で導入した窓パラメータ $l$ を, $k$ は, 動的アンサンブル $(\mathrm{DE})$ 法の定式化で導入したモデル数のパラメータ $k$ を表す。表 3 の左側は，各評価のエンコーディングモデルに用いたモデルの種類または手法を表している。シングルウィンドウ $(\mathrm{SW})$ モデルに対しては 3 種類の空パラメータ $l=0,3,5$ を用いた結果を示し, マルチウィンドウ $(\mathrm{MW})$ モデルと擬似依存 $(\mathrm{PD})$ モデルに対してはそれぞれ， 2 種類の窓パラメータ $l=3,5$ を用いた結果を示している．また，ソフト投票 $(\mathrm{SV})$ 法, および，動的アンサンブル (DE) 法に対しては, $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルの各評価で用いた 7 つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル $(\mathrm{DE})$ 法ではそれぞれモデル数のパラメータ $k=1,2,3,4$ を用いた結果を示す.

表 3 を見ると，適合率が最も高いのは $k=2$ の場合の $\mathrm{DE}$ 法 $(64.30 \%)$ であるが，再現率および $\mathrm{F} 1$ スコアが最も高いのはモデル数のパラメータが $k=1$ の場合の DE 法（再現率 $55.09 \%$, $\mathrm{F} 1$ スコア $59.13 \%$ ）であることが分かる. $k=2$ の場合に $k=1$ よりも適合率が高くなるのは,複数のモデルに基づく検出により，単一のモデルに比べて false positive の検出が抑制されるためであると考えられる，一方， $k=2$ の場合に $k=1$ よりも再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応する true positive の検出も抑制されるためで

あると考えられる。

また, 単一のモデルである $\mathrm{SW}$ モ゙ル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モデルの中で, 適合率が最も高いのは $l=3$ の場合の MW (62.21\%) であるが, 再現率が最も高いのは $l=3$ の場合の $\mathrm{PD}(50.39 \%)$, $\mathrm{F} 1$ スコアが最も高いのは $l=5$ の場合の $\mathrm{PD}(54.60 \%)$ であることが分かる. これは, 窓パラメータを増やした場合の，SW，MW，PD それぞれの適合率における振る舞いの違いから理解が出来る. SW の場合, 窓パラメータを増やすことで, 適合率は低下し, 再現率は適合率に対して相対的には上昇している。これは，空を広げると，より広い文脈に基づいて新たな true positive が検出できるようになる反面, 離れた周辺語ほどイベント表現と無関係な語の割合が高く, そのノイズにより false positive が増えるためと考えられる.

さらに，MWと SWの窓パラメータの増大による適合率の低下を比較すると, MWの方が $\mathrm{SW}$ に比べて低下が少ない事が分かる．これは，MWの場合，空中央に近いトークンほど入力強度が強化される性質があるため, SWの場合に密を広げると問題になっていた, 離れた周辺語のノイズによる false positive を抑制する効果が生じているためと考えられる．再現率の上昇は， SWと同様の原理で生じていると考えられる。この両者の違いは，F1 スコアに顕著に現れている. $l=5$ の場合で, $\mathrm{SW}$ は最低値 $(20.65 \%)$ であるのに対し, MWでは最高値 $(52.75 \%)$ となっている.

一方, $\mathrm{PD}$ の場合, 密パラメータの違いによる性能差は MWよりも小さい. 密パラメータを増やすことで適合率が上昇し, 再現率が低下するといった MW $\mathrm{SW}$ とは逆の傾向が見られる. $\mathrm{PD}$ の場合, 空パラメータを堌やしても周辺語の入力における比率が $1 / 2$ に保たれるため,前述の SW, MWの場合と違って false positive は抑制され, 適合率は低下しない. しかし同時に，空を広げることで，それぞれの周辺語の相対的な入力強度が低下するため，周辺文脈を手掛かりとする true positive の検出も同時に抑制するため, 再現率の低下として現れていると考えられる。

## 6.2 イベントタイプ分類における比較評価

続いて，第二のサブタスクであるイベントタイプ分類における評価結果を示す。表 4 では, 3 つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と, ソフト投票法, および，動的アンサンブル法を介して適用した場合のイベントタイプ分類の性能を，適合率, 再現率, F1 スコア（ミクロ平均）で示している。比較評価のため, 各モデルのイベントタイプ分類では，イベント表現検出の評価（表 3）で F1 スコアが最も高い $k=1$ の場合の DE 法（再現率 $55.09 \%, \mathrm{~F} 1$ スコア $59.13 \%$ ）の検出結果を, 全てのモデルに共通の入力として用いることで評価を行った. イベントタイプ分類は, この検出されたイベント表現を入力として, 18 種類のイベントタイプに関する二値分類を適用し, 4.3 節の (10) 式の方法を用いることで,最終的に唯一のイベントタイプの推定を行った. 表 4 の $l$ および $k$ は, 表 3 と同様, それぞれ
表 4 イベントタイプ分類における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の，適合率・再現率・F1 スコアの評価結果の比較

空パラメータ $l$ とモデル数のパラメータ $k$ を表す. 表の左側は, 各評価に用いたモデルの種類または手法を表している。シングルウィンドウ $(\mathrm{SW})$ モデルに対しては 3 種類の窓パラメータ $l=0,3,5$ を用いた結果を示し, マルチウィンドウ $(\mathrm{MW})$ モデルと擬似依存 $(\mathrm{PD})$ モデルに対してはそれぞれ， 2 種類の窓パラメータ $l=3,5$ を用いた結果を示している. また, ソフト投票 (SV) 法，および，動的アンサンブル (DE) 法に対しては, $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルの各評価で用いた 7 つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル $(\mathrm{DE})$ 法ではそれぞれモデル数のパラメータ $k=1,2,3,4$ を用いた結果を示す.表 4 を見ると, 適合率が最も高いのは SV 法 $(56.82 \%)$ であるが, 再現率および $\mathrm{F} 1$ スコアが最も高いのはモデル数のパラメータが $k=1$ の場合の DE 法（再現率 $47.94 \%, \mathrm{~F} 1$ スコア $51.46 \%$ ） であることが分かる．SV 法の適合率が $k=1$ の場合の DE 法よりも適合率が高くなるのは，複数のモデルに基づく検出により，単一のモデルに比べて false positive の検出が抑制されるためであると考えられる。一方， SV 法の再現率が $k=1$ の DE 法よりも再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応する true positive の検出も抑制されるためであると考えられる.

これらの傾向は，イベント表現検出（表 3）の結果と似ているが，イベント表現検出では，モデルによって検出されるイベント表現の総数が変化するのに対し，イベントタイプ分類では,前段のイベント表現検出が決定した表現に対するイベントタイプの決定であるため，モデルによって各イベントタイプに分類される割合は変化しても総数は保存されるという点が異なる. この違いが両者の SV 法の適合率の振る舞いの違いを生じていると考えられる. すなわち，イ

ベント表現検出（表 3）では，全モデルの平均を用いる SV 法では，検出されるイベント表現の総数が減少するため, $k=1$ の場合の DE 法の適合率 $(63.82 \%)$ よりも低い値 $(62.32 \%)$ であったのに対し, イベントタイプ分類（表 4）では, 検出されるイベント表現の総数が保存されるため, SV 法の適合率 $(56.82 \%)$ が最も高い値になったと考えられる.

また，単一のモデルである $\mathrm{SW}$ モデル， $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルの中で，適合率が最も高いのは $l=3$ の場合の $\mathrm{MW}(54.65 \%)$ であるが, 再現率と $\mathrm{F} 1$ スコアが最も高いのは $l=3$ の場合の PD（再現率が $43.82 \% ， F 1$ スコアが $47.43 \%$ ）であることが分かる。これは，イベント表現検出（表 3）と同様の傾向であり，窓パラメータを増やした場合の，SW，MW，PDそれぞれの適合率における振る舞いの違いから理解が出来る．SWの場合，窓パラメータを増やすことで，適合率は低下し，再現率は適合率に対して相対的には上昇している。これは，窓を広げると，より広い文脈に基づいて新たな， true positive が検出できるようになる反面，離れた周辺語ほどイベント表現と無関係な語の割合が高く，そのノイズにより false positive が増えるためと考えられる。

さらに，MWと SWの窓パラメータの増大による適合率の低下を比較すると， MWの方が $\mathrm{SW}$ に比べて低下が少ない事が分かる。これは，MW の場合，窓中央に近いトークンほど入力強度が強化される性質があるため，SWの場合に窓を広げると問題になっていた，離れた周辺語のノイズによる false positive を抑制する効果が生じているためと考えられる．再現率の上昇は, $\mathrm{SW}$ と同様の原理で生じていると考えられる。この両者の違いは, F1 スコアに顕著に現れている． $l=5$ の場合で, $S W$ は最低値 $(17.80 \%)$ であるのに対し, MWでは最高値 $(46.54 \%)$ となっている.

一方, $\mathrm{PD}$ の場合, 窓パラメータの違いによる性能差は MWよりも小さい. 窓パラメータを増やすことで適合率が上昇, 再現率が低下するといった MW SW とは逆の傾向が見られる。 これはイベント表現検出（表 3）と同様の傾向であり，先に述べたように，窓パラメータを増やしても周辺語の入力における比率が $1 / 2$ に保たれるという $\mathrm{PD}$ の性質により，大きな窓パラメータでは false positive と true positive が抑制されるためと考えられる.

## 6.3 実現性状態分類における比較評価

続いて，最後のサブタスクである実現性状態分類における評価結果を表 5 に示す。ここでも表 3 , 表 4 と同様に，3つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合のイベン卜表現検出の性能を，適合率，再現率，F1 スコア（ミクロ平均）で示している。比較評価のため，各モデルの実現性状態分類でも，イベント表現検出の評価（表 3）で F1 スコアが最も高い $k=1$ の場合の $\mathrm{DE}$ 法（再現率 $55.09 \%, \mathrm{~F} 1$ スコア $59.13 \%$ ）の検出結果を，全てのモデルに共通の入力として用いることで評価を行った.
表 5 実現性状態分類における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の, 適合率・再現率・F1 スコアの評価結果の比較

実現性状態は，この検出されたイベント表現を入力として，3つの実現性状態 (“actual”， "general", “others") に関する二值分類を適用し， 4.4 節の (11) 式の方法を用いることで，最終的に唯一の実現性状態の推定を行った。ここで $l$ および $k$ は，表 3 , 表 4 と同様，それぞれ窓パラメータ $l$ とモデル数のパラメータ $k$ を表す. 表の左側は, 各評価に用いたモデルの種類または手法を表している。シングルウィンドウ $(\mathrm{SW})$ モデルに対しては 3 種類の空パラメータ $l=0,3,5$ を用いた結果を示し, マルチウィンドウ $(\mathrm{MW})$ モデルと擬似依存 (PD) モデルに対してはそれぞれ， 2 種類の窓パラメータ $l=3,5$ を用いた結果を示している。また，ソフト投票 (SV) 法, および, 動的アンサンブル $(\mathrm{DE})$ 法に対しては, $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モデルの各評価で用いた 7 つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル $(\mathrm{DE})$ 法ではそれぞれモデル数のパラメータ $k=1,2,3,4$ を用いた結果を示す.

表 5 を見ると， モデル数のパラメータが $k=1$ の場合の $\mathrm{DE}$ 法が適合率, 再現率, F1 スコアの全てで最も高い値（適合率 $50.01 \%$, 再現率 $43.16 \%, \mathrm{~F} 1$ スコア $46.34 \%$ ）となっていることが分かる. $k=1$ の場合の $\mathrm{DE}$ 法に比べて, モデル数の大きい $\mathrm{DE}$ 法や $\mathrm{SV}$ 法の再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応する true positive の検出が抑制されるためと考えられる。この傾向は, これまで見てきたイベント表現検出（表 3）やイベントタイプ分類（表 4）とも共通している.

一方, $k=1$ の場合の $\mathrm{DE}$ 法に比べて, モデル数の大きい $\mathrm{DE}$ 法や $\mathrm{SV}$ 法の適合率が低くなる点は，イベント表現検出（表 3）やイベントタイプ分類（表 4）と異なる。この違いは，実現性状態分類における分類方法（4.4 節）と関係があると考えられる。実現性状態分類では，3つの
実現性状態 ("actual”, “general", “others") に関する二值分類の後, いずれの信頼度も低い場合には定義上 “others”を割り当てるという方法を用いている. このため, 複数のモデルに基づいて検出を行った場合, 二値分類による検出が抑制されて信頼度が全体的に低下し, “others" への分類が増加する。その結果, “others”での false positiveの増加が起き, 適合率の低下が生じると考えられる。

また, 単一のモデルである $\mathrm{SW}$ モデル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モデルの中では, $l=5$ の場合の $\mathrm{MW}$ が，適合率，再現率，F1 スコアの全てで最も高い值（適合率 $48.51 \%$, 再現率 $41.87 \%, \mathrm{~F} 1$ スコア $44.94 \%$ ）となっていることが分かる．さらに，SW，MW，PDのいずれの場合も，空パラメータが大きい方が適合率, 再現率, 共に高くなる傾向にあることが分かる.この傾向は, イベント表現検出（表 3）やイベントタイプ分類（表 4）において，SW とMWでは適合率が低くなり，PDでは再現率が低くなる傾向が見られたのとは明らかに異なる。とりわけ，窓パラメー 夕が $l=$ の場合と, それ以外の場合での SWの適合率の違いは顕著である.

この傾向の違いを生じている要因は，まず実現性状態の性質にあると考えられる．3つの実現性状態 ("actual”, “general”, “others”) とムード (法), モダリティ (法性), テンス (時制), アスペクト（相）の間の密接な関連性から考えて，実現性状態を正確に分類するためには，イベント表現自体からの情報に加え, その有力な手掛かりとなる助動詞, 接続詞, 疑問詞, 副詞,副詞節の構成語など, 様々な周辺語からの情報が入力文の表現に応じて必要となると考えられる。これは，評価セット中から抽出した次の例からも明らかである。

例) "Where was the father when the shot was fired not more than a 1000 feet away?" [actual]

この例の場合, 実現可能性“actual” の推定に必要な情報は, イベント表現の構成語“ shot” と“fired”に隣接する be 動詞 “was”のテンス（時制）として存在し，イベント表現自体からは手掛かりを得ることができない. 実現可能性の判定では, このように周辺語の情報が必須となる入力文が存在するため, 周辺語からの情報が得られない窓パラメータが $l=0$ の場合の $\mathrm{SW}$ に比べて，窓パラメータが大きな SW の方が相対的に true positive を多く検出でき, 再現率が高まる。すると，前述の実現性状態分類における分類方法（4.4 節）の性質からも， 二值分類における信頼度がより高くなることで, 信頼度の低い“others”への分類が減少し, 結果として適合率と再現率が共に高い結果が得られると考えられる。

## 6.4 end-to-end での比較評価

Event Nugget タスクにおける提案手法の有効性をさらに比較検証するため, NIST TAC KBP の過去 2 回分の Event Nugget タスク，KBP2017 およびKBP2016における公式評価結果との比較評価を行う。表 6 , 表 7 には，それぞれ KBP2017，KBP2016における Event Nugget タスクの公式評価での end-to-end での性能（イベント表現検出，イベントタイプ分類，実現性状態分
石川, 高村, 奥村多様なイベント表現からの知識抽出における異なるエンコーディングモデルの動的アンサンブル

表 6 表 6 NIST KBP2017 Event Nugget Detection タスクの end-to-end 評価（英語）における公式評価結果の上位 10 システムと提案手法の, 適合率・再現率・F1 スコアの比較

表 7 表 7 NIST KBP2016 Event Nugget Detection タスクの end-to-end 評価（英語）における公式評価結果の上位 10 システムと提案手法の, 適合率・再現率・F1 値の比較

} & \multirow{2}{*}{} & \multirow{2}{*}{} \\

類を統合した全体性能）を，適合率，再現率，F1 スコア（ミクロ平均）で示している。

また, 各参加システムおよび提案手法は, 手法やモデルの違いに加えて, 開発・訓練に使用したデータセットや外部リソースなどの面でもそれぞれ異なっている。このため，表中では，これらの違いを踏まえた比較が可能なように, 各システムがベースとする基本モデル, 開発用デー 夕, 分散表現や解析器などの外部リソースの種別についても併せて記載した。紙面の都合により，開発用データの種別は表 1 のカテゴリに基づいて，それぞれ ACEを「A」，EREを「E」， EN2014を「14」，EN2015を「15」，EN2016を「16」の様に略記した，分散表現や解析器など

の外部リソースについても，単語の分散表現を「分」，品詞情報を「品」，統語情報を「統」，意味情報を「意」の様に略記した。各システムの行中で「○」が付いている項目は, 同システムがそのカテゴリの開発データや外部リソースを使用している事を表している。これらの表から分かるように，公式評価の条件下であっても，各システムが使用する開発データや外部リソー スには違いがある。このため, 以降の各システムの比較議論においては, こうした条件の違いが各システムの性能に影響する可能性についても注意が必要である.

まず，KBP2017 の end-to-end の評価結果から比較議論を行う．表 6 の「提案手法 (DE)」の行は，前節までの提案手法の評価に用いたシステムを，KBP2017の公式評価と同一条件となるよう, 表 2 の KBP2017 公式評価との比較評価の開発用データセットを用いて訓練や各パラメー 夕を決定し，KBP2017 の公式評価ツールを用いて評価した end-to-end での性能値である。それ以外のシステムの行は, NIST TAC KBP2017 の Event Nugget Detection (English) に参加した上位 10 システムの評価結果を示している. 各システムの基本モデル, 開発用デー夕, 分類表現・解析器については, それぞれのシステムレポートの記載内容に基づいている。表中で $\mathrm{F} 1$ 値が最も高いのは提案手法 (DE) で，40.32\%であった.

一方，公式評価結果の中で F1 値が最も高いのは CLUZH1 (Makarov and Clematide, 2017) で, $39.73 \%$ である. 同システムは, 単語の分散表現, CoreNLP (Manning et al., 2014) からの品詞, 依存関係 (Universal Dependencies), 位置情報のエンコーディングを結合した単語のエンコーディングを入力として，Bi-LSTM による文エンコーディングによってイベント表現の各属性の BIO ラベリングの joint learning を実現している。同システムの再現率 $41.03 \%$, 全システム中で最も高い値であるが，これは false negative に対するコストを追加した損失関数による学習が奏効した結果と思われる。次に F1 値が高いのは lvic-event1 (Kodelja, Besançon, Ferret, Borgne, and Boros, 2017) で, $39.28 \%$ である。同システムは，入力層に dropout を適用した畳み込みニューラルネットワークによる入力系列への BIO ラベリングを, CLUZH1 と同様に拡張された単語 embedding によって強化している。位の参加システムの多くは LSTM または CNN を基本モデルとしているが，例えば F1 值が 9 番目の BUPT-PRIS1 (Sun, Gu, Ding, Li, Li, Li, and Xu, 2017) では, Bi-GRUベースの Attention 機構で文の embedding を生成し，これを入力に Feed Forward Network (FFN) でイベント表現の抽出を実現している.

なお，CLUZH1を始めとする多数の参加システムが使用した開発用データが，表 1 のカテゴリのうち ERE，EN2015，EN2016に集中する傾向が見られる。これに関して CLUZH1 の報告書 (Makarov and Clematide, 2017)に，KBP2016の参加システムの開発用データの選択を踏襲して Rich ERE アノテーションのデータ，すなわちERE，EN2015，EN2016のみを用いるといった言及がある。表 7 の開発用データを見ると，確かに F1 值で上位 7 番目までのチームが Rich ERE アノテーションでないEN2014を開発用データに用いていないことが分かる。一方，提案手法の KBP2017，KBP2016 の評価では，この EN2014を使用しない場合の実験を行っていな

いため, これらのシステムとの間で EN2014 が性能差にどう影響するかは確認出来ていない.

こうした様々なシステム間の違いから，基本モデルの特性をシステム性能の比較に基づいて議論するのは注意を要するところではあるが，F1値が同程度の上位のシステムを比較すると， LSTM ベースの方が全体的に CNN ベースに対して再現率が高く, 適合率が低くなる傾向が見られる。これは，文全体に渡る依存関係を必要とするイベント表現の抽出では，基本的には CNN よりもLSTM の方が適しており，実際にそのようなイベント表現の true positive をより多く検出できれば，再現率における優位性として現れてくるという解釈ができる．提案手法 (DE) の再現率 $37.56 \%$ は，CNN ゙ーースのシステムの中では最も高い値であるが，LSTM ベースの上位 2 システムである CLUZH1 および srcb1 と比べれば低い値となっている。これも, 提案手法のベースモデルが CNNであることに要因があると思われる.

一方，Attention 機構による文のエンコーディングでも，文全体に渡る依存関係を必要とするイベント表現の抽出では，CNN ゙ースに対して同様の優位性が期待される。しかし実際に Bi-GRUベースの Attention 機構を用いた BUPT-PRIS1 を見ると，適合率 $39.92 \%$ に対して再現率が $19.24 \%$ と低い值となっている。この傾向は wip1 にも共通することから，GRUベースは LSTM ベースほど長い文脈情報が伝達できず，結果として，長い依存関係への Attention が有効に機能していない可能性が考えられる.

続いて，KBP2016 の end-to-endの評価結果について比較議論を行う。表 7 の「提案手法 (DE)」 の行は，前節までの提案手法の評価に用いたシステムを，KBP2016の公式評価と同一条件となるよう，表 2 の KBP2016 公式評価との比較評価の開発用データセットを用いて訓練や各パラメータを決定し, KBP2016 の公式評価ツールを用いて評価した end-to-endでの性能值である. それ以外のシステムの行は, NIST TAC KBP2016の Event Nugget Detection (English) に参加した上位 10 システムの評価結果を示している．各システムの基本モデル，開発用デー夕，分類表現・解析器については，それぞれのシステムレポートの記載内容に基づいている。表中で F1 値が最も高いのは提案手法 (DE) で, $37.26 \%$ (D゙ぁた。

一方, 公式評価結果の中で F1 値が最も高いのは NYU1 (Nguyen et al., 2016a) で, 35.24\%である. 同システムは, CNNにおいて, 文中の非隣接要素をランダムに選択して生成される n-gram に convolution を適用する様に CNN を拡張した non-consecutive CNNを各サブタスクの分類器に用い, 入力には, 単語の分散表現に, 品詞, 依存関係, 位置情報のエンコーディングを結合した単語 embedding を用いている。次に F1 値が高いのは UTD1 (Lu and Ng, 2016) で, $33.58 \%$ である。同システムは，正例の数が少ないイベントタイプに対しても，頑健にイベント表現検出やイベントタイプの分類をモデル化するために $\mathrm{k}$-近傍法を用いている。 3 番目に $\mathrm{F} 1$ 值が高いのは wip3 (Zeng et al., 2016) で, 33.1\%である. 同システムは, CRF と Max Entropyを併用してイベント表現を検出した後, 単語の分散表現と CNN で生成した文脈情報の結合を入力とする Bi-LSTM を用いてイベントタイプごとの BIO ラベリングを行うことで，イベントタイプ分
類を行っている.

ここでも KBP2017 と同様に, RPI-BLENDER2 と SoochowNLP3 の比較から, LSTM ベースが CNN ベースに対して再現率が高くなる傾向が見られるが，例外も存在する。例えば, NYU1 は CNN ベースでありながら, 再現率 $37.21 \%$ が適合率 $33.47 \%$ りも高い.この要因としては, NYU1 では, non-consecutive CNN による文中の非隣接要素のランダムな選択と convolution が,入力層側での擬似的な attentionのように上手く機能し, 文全体のエンコーダのような機能を実現しているためではないかと考えられる．wip3 も LSTM ベースでありながら，再現率 $29.10 \%$ が適合率 $38.38 \%$ より低い.これは, wip3 が, CRFベースのイベント表現抽出の結果に対して Bi-LSTM によるラベリングを適用するシーケンシャルなプロセスを採用しているため，LSTM よりも前段の CRFベースの特性が現れていると考えられる。 CRFベースの Washington1でも，再現率 $21.42 \%$ が適合率 $30.71 \%$ より低く, wip3 と同じ傾向が見られる。また, LTI-CMU1 (Liu， Araki, Mitamura, and Hovy, 2016) は，全システム中で最も高い適合率 40.19\%であるが，再現率は $22.76 \%$ と低い.これは KBP2017 の GRUベースの BUPT-PRIS1 や wip1 と共通する傾向であることから，GRUベースでは，長い依存関係を上手く扱えていない可能性が考えられる。

## 7 考察

本研究では, 機械読解の実用化に有用な知識獲得技術の実現を主眼に, TAC KBP の Event Nugget Detection タスクを通じて，イベント抽出における技術課題に取り組んた. 同タスクの定式化では，大きく系列ラベリングと分類の 2 つのアプローチがあるが，本研究では GPU 等の並列計算の恩恵が受けられる後者の分類のアプローチを選択することにした. さらに, TAC KBP の各参加システムの比較分析から, 分類の典型である CNN の convolution と pooling によって多様なイベント表現の意味の構成性をモデル化する方向に可能性を感じ, CNN ゙ースでの定式化を進めた。CNNベースでは固定長の入力系列を生成するために，通常，窓を用いて入力から固定長のトークン列を切り出す. しかしEvent Nugget Detection タスクでは, (1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ, また, $(2)$ 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題を生じる。このため本研究では, 従来の単一の空を用いる SW モデルに, 空長の異なる複数空から構成される MW モデル，離れたトークン間の対を隣接させる配列で依存関係を考慮する PD モデル，といった異なる性質を持つエンコーディングモデル群を導入し, さらに，入力ごとにその表現と親和性の高いモデルアンサンブルを動的に選択する DE 法を提案した.

Event Nugget Detection タスクの各サブタスクで, SW モデル, MW モデル, PD モデルの比較評価を行ったところ，SW モデルで大きな窓パラメータを用いると再現率と F1 值が大きく低下し，長い文脈や離れた依存関係に関する問題が確認されたが，MW モデル，PD モデルでは
大きな密パラメータを用いた場合にもこういった再現率の低下が少なく安定した F1 值が得られることから, SW モデルの問題を改善する効果が確認できた。

また， SW モデル， MW モデル， PD モデルで異なる空パラメータを用いて得られる 7 つのモデル群に対して, 全モデルの事後確率の平均を用いる SV 法と, 入力に親和性の高いモデルのみを信頼度に基づいて動的に選択し，得られたモデルアンサンブルの事後確率の平均を用いる $\mathrm{DE}$ 法を比較した場合に， SV 法では， SW モデル， $\mathrm{MW}$ モデル， $\mathrm{PD}$ モデルを単一で適用する場合に比べても F1 值で劣る場合が見られるのに対し，DE 法では，アンサンブルのモデル数 $k=1,2,3,4$ いずれの値でも，全てのサブタスクで全モデルを上回る $\mathrm{F} 1$ 値を得た. このことから, 入力に対して親和性の高いモデルを選択するために導入した信頼度の有効性が確認できた. なお， $\mathrm{DE}$ 法のモデル数 $k$ は，今回の実験で用いたモデル群では，全てのタスクで $k=1$ の時に最も高い $\mathrm{F} 1$ 值となったが，イベント表現検出の適合率は $k=2$ で最大となった. このことから, $\mathrm{DE}$ 法の性能はモデル数 $k=1$ の近傍で安定しており，また $k$ を増やすと複数モデルに支持される分類結果が選好される効果から，false positive が抑制される事が分かった.

KBP の公式評価と条件を合わせた比較評価の結果では，提案手法べースの評価システムが Event Nugget Detection において最も高いF1 值を得た．各システムが使用するデータセットやリソースはそれぞれ異なるため, F1 值の単純比較による優劣の議論は注意を要するが，同夕スクにおいて系列ラベリング，分類の両アプローチの主要なモデルと比較しても，提案手法を用いた評価システムの性能は高い水準にあることが分かった.

また，各システムの評価結果の比較から，分類に属する CNN ベースのシステムが，系列ラベリングに属する LSTM や GRU 等のゲート付き RNN ベースのシステムと比較して同等の性能が出ていることから, Event Nugget Detectionのタスクの性質についても幾つかの推察を行うことができる. まず, Event Nugget Detectionでは, トークン列中のイベント表現の出現箇所がスパースで出力のラベル系列における依存関係が弱いため，2 章でも述べたような系列ラベリングから分類への分解が良い近似になっていると考えられる。 あるいは逆に，系列ラべリングに属する LSTM 等では，出力系列の依存関係がスパース性によって上手く学習されず，性能に寄与していないという見方もできる。また，同タスクが長距離依存タスクで無く，イベント表現の属性に関わる文脈情報がイベント表現の近傍に集まっている点も, 有限の密長で文脈を捉えるのに好都合であり，相関の強い構成要素から汎化性の高い特徴抽出を行うのに優れた CNNに有利に働いていると考えられる。

以上の評価実験に関する考察から， Event Nugget Detection における，CNNをべースとした提案手法の有効性は明らかとなったが，ここまでの提案手法の定式化は CNN ベースに限定されている，このため，提案手法には，ラベル系列の依存関係や，長い文脈の考慮が難しいといった CNN 由来の制約が残る。そこで，以降では，ここ数年のニューラルネットワークモデルに対する提案手法の適用について，原理的な可能性を論じてみたい.
出力系列の依存関係を考慮するための拡張としては, 例えば CNNをゲート付き RNN と組み合わせるような Convolutional Recurrent Neural Network (CRNN)のアプローチが考えられる.提案手法のベースになり得るモデルとしては, 例えばCNNをLSTM の前段に置く構成 (Sainath, Vinyals, Senior, and Sak, 2015) などがある. こういった CNN+LSTM モデルに対して提案手法を組み込むには，トークン毎に事前学習した CNN を複数用意し，動的アンサンブルによって LSTMへの入力を切り替えれば良く, 比較的容易に組み込むことが可能であると考えられる.

また, 並列化による高速化が容易な CNN の枠組みを生かし, より長距離の依存関係の学習を強化するようなアプローチも存在する。例えば, CNN のネットワーク階層において, 系列の次の単語の予測能力を高めるような特徴量を選択的に伝播させるゲートを組み込んだ Gated Convolutional Network (Dauphin, Fan, Auli, and Grangier, 2017) や Attention 機構をゲートに用いた Attention Gated Convolutional Neural Network (Liu, Ji, Huang, Ming, Gao, and Zhang, 2019) がある.このような CNN ゙ースのモデルに対しては本論文の定式化をそのまま適用することが出来る.

さらに, 最近では, 単一の CNN 内の Attention による制御ではなく, CNN カーネルを並列化し, それらを入力に応じて動的に線型結合するために self-attention を用いることで, モデルの表現力を高める Dynamic Convolution (Chen, Dai, Liu, Chen, Yuan, and Liu, 2019) や CondConv (Yang, Bender, Le, and Ngiam, 2019) などの提案がなされている. 一方, 提案手法の動的アンサンブル法は，信頼度の高いモデル集合を選択する argmaxを softmaxに置き換えて CNN の結合パラメータを推定する様に定式化すれば， attention と機能的に近いことが分かる．したがって, これらの提案と提案手法は親和性が高く, 概念的には提案手法をこれらの提案の枠組みの上で実現することも可能ではないかと思われる，ただし，提案手法の場合，入力側に異なるエンコーディングを適用するために CNN 間で入力系列の長さや並びが一致しない. このため, CondConv で用いられている, 事前に CNNカーネルを結合してから convolution を行うといった定式化は適用できず， Mixture of Expertsとしての結合となる.

また，ここ数年は CNN や RNN を用いずに Attention 機構のみで Transformer を構成するアプローチが活発に研究されている (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin, 2017; Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer, 2018; Devlin, Chang, Lee, and Toutanova, 2019). これらの手法に対し, 提案手法の密を入力文のスパンとし, エンコーディングに用いる各モデル (SM, MW, PD) を組み込んだ系で事前学習 (masked language model や next sentence prediction 等）を行い，動的アンサンブル法による結合を行えば, 形式的には提案手法は適用可能であると考えられる。ただし, 提案手法で導入した MW, PD は, convolution と pooling を前提にその弱点を補い, 近接要素の強い相関から離れた要素の依存関係までを効果的にモデル化するためのフィルタ設計になっている.このため, self-attention の表現力が原理的に CNN を包含することを考えると (Cordonnier, Loukas, and Jaggi, 2020),

Transformerの学習特性にあった別の設計が不可欠と思われる。そのような Transformer に対するフィルタ群の体系的な設計と提案手法の有効性の検証は今後の課題である.

## 8 まとめ

本研究では, 機械読解の実用化に有用な知識獲得技術の実現を主眼に, TAC KBP の Event Nugget Detection タスクを通じて，イベント抽出における技術課題に取り組んだ。同タスクの定式化では，大きく系列ラベリングと分類の 2 つのアプローチがあるが, 本研究では GPU 等の並列計算の恩恵が受けられる後者の分類に属する CNN をべースに提案手法の定式化を行った. CNNでは固定長の入力系列を生成するため, そのままでは Event Nugget Detection において, (1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ, また, (2)離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい, といった問題を生じる。このため本研究では, 単一の窓を用いる $\mathrm{SW}$ モ゙ルル, 窓長の異なる複数窓からなる MW モデル, 離れたトークン対の配列で依存関係を模擬する PD モデルからなるエンコーディングモデル群を導入し, さらに，入力ごとに動的に親和性の高いモデルを動的に選択する DE 法を提案した。

Event Nugget Detection のサブタスクの比較評価から，SW モデルで大きな窓パラメータを用いると再現率と F1 值が大きく低下する問題が, MW モデル, PD モデルでは緩和され, 安定した F1 值が得られる効果が確認できた. さらに, $\mathrm{SW}$ モ゙ル, $\mathrm{MW}$ モデル, $\mathrm{PD}$ モ゙ル，およびこれら全ての平均を用いる $\mathrm{SV}$ 法と提案手法である DE 法の比較から， $\mathrm{DE}$ 法は，アンサンブルのモデル数 $k=1,2,3,4$ いずれの値でも，他のモデルを $\mathrm{F} 1$ 値で上回ることから, $\mathrm{DE}$ 法とそのベースである信頼度の有効性が確認できた。

また，KBPの公式評価と条件を合わせた比較評価の結果では, 提案手法べースの評価システムが Event Nugget Detection において最も高いF1 値を得た. 各システムが使用するデータセットやリソースはそれぞれ異なるため, F1 値の単純比較による優劣の議論は注意を要するが，同タスクにおいて系列ラベリング，分類の両アプローチの主要なモデルと比較しても，提案手法を用いた評価システムの性能は高い水準にあることが分かった.

さらに, 各参加システムの比較から Event Nugget Detection の性質についても考察を行った. その結果, 分類に属する CNN ベースのシステムが, 系列ラベリングに属する LSTM や GRU 等のゲート付き RNN ゙ースのシステムと同等の性能であることから, Event Nugget Detection では，トークン列中のイベント表現の出現箇所がスパースで出力のラベル系列における依存関係が弱いため, 系列ラベリングから分類への分解が良い近似になっていると推察した. また, 同タスクが長距離依存タスクで無く，イベント表現の属性に関わる文脈情報がイベント表現の近傍に集まっていることが, 有限の窓長で文脈を捉え, 相関の強い構成要素から汎化性の高い特
徵抽出を行う CNN に有利に働いているものと推察した。

最後に，CNN ベースの提案手法の拡張可能性として，ここ数年のニューラルネットワークモデルに対する適用可能性についても議論を行った。LSTM の入力側に CNN のエンコーダを配する枠組みや，ゲート機構付きの CNN などは，比較的容易に提案手法が可能であることが分かった。また, CNNカーネルを並列化し，入力に応じて self-attention で動的な結合を実現する Dynamic Convolution や CondConv なとの手法は，動的アンサンブルと機能構成が近く，原理的には提案手法をこれらの枠組み上で実現できる見込みを得た。一方で，CNN やRNNを用いず Attention 機構のみで Transformer を構成するアプローチに対しては，提案手法は形式的には適用可能であるものの，CNN の弱点を補強するように設計されたエンコーディングモデルは見直しが必要である。より表現力の高い Transformer に適した体系的なフィルタ群の導入が必要であり，そのような提案手法の再設計と有効性の検証は今後の課題である.

## 参考文献

Aguilar, J., Beller, C., McNamee, P., Durme, B. V., Strassel, S., Song, Z., and Ellis, J. (2014). "A Comparison of the Events and Relations Across ACE, ERE, TAC-KBP, and FrameNet Annotation Standards," In Proceedings of the 2nd Workshop on Events, ACL 2014, pp. 4553.

Bies, A., Song, Z., Getman, J., Ellis, J., Mott, J., Strassel, S., Palmer, M., Mitamura, T., Freedman, M., Ji, H. and O'Gorman, T. (2016). "A Comparison of Event Representation in DEFT," In Proceedings of the 4th Workshop on Events, pp. 27-36.

Chen, Y., Dai, X., Liu, M., Chen, D., Yuan, L., and Liu, Z. (2019). "Dynamic Convolution: Attention Over Convolution Kernels," arXiv preprint arXiv:1912.03458.

Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K. and Kuksa, P. (2011). "Natural Language Processing (Almost) from Scratch," Journal of Machine Learning Research, 12, pp. 2493-2537.

Cordonnier, J. B., Loukas, A., and Jaggi, M. (2020). "On the Relationship Between Self-atttetion and Convolutional Layers," ICLR 2020.

Dauphin, Y. N., Fan, A., Auli, M., Grangier, D. (2017). "Language Modeling with Gated Convolutional Networks," ICML2017, pp. 933-941.

Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," NAACL-HLT 2019, pp. 4171-4186.

Doddington, G., Mitchell, A., Przybocki, M., Ramshaw, L., Strassel, S., and Weischedel, R. (2004). "Automatic Content Extraction (ACE) Program - Task Definitions and Performance

Measures," LREC 2004, pp. 837-840.

Ellis, J., Getman, J., Fore, D., Kuster, N., Song, Z., Bies, A., and Strassel, S. (2016). "Overview of Linguistic Resources for the TAC KBP 2016 Evaluations: Methodologies and Results," In Proceedings of the 9th Text Analysis Conference.

Getman, J., Ellis, J., Song, Z., Tracey, J., and Strassel, S. (2017). "Overview of Linguistic Resources for the TAC KBP 2017 Evaluations: Methodologies and Results," In Proceedings of the 10th Text Analysis Conference.

Kim, Y. (2014). "Convolutional Neural Network for Sentence Classification," In EMNLP 2014, pp. 1746-1751.

Kodelja, D., Besançon, R., Ferret, O., Borgne, H. L., and Boros, E. (2017). "CEA LIST Participation to the TAC 2017 Event Nugget Track," In Proceedings of the 10th Text Analysis Conference.

Liu, Y., Ji, L., Huang, R., Ming, T., Gao, C., Zhang, J. (2019). "An Attention-Gated Convolutional Neural Network for Sentence Classification," Intelligent Data Analysis, 23 (5), pp. 1091-1107.

Liu, Z., Araki, J., Mitamura, T., and Hovy, E. (2016). "CMU-LTI at KBP 2016 Event Nugget Track," In Proceedings of the 9th Text Analysis Conference.

Lu, J. and Ng, V. (2016). "UTD's Event Nugget Detection and Coreference System at KBP 2016," In Proceedings of the 9th Text Analysis Conference.

Makarov, P. and Clematide, S. (2017). "UZH at TAC KBP 2017: Event Nugget Detection via Joint Learning with Softmax-Margin Objective," In Proceedings of the 10th Text Analysis Conference.

Manning, C. D., Surdeanu, M., Bauer, J., Finkel, J., J Bethard, S. and McClosky, D. (2014). "The Stanford CoreNLP Natural Language Processing Toolkit," In ACL 2014, pp. 55-60.

McNamee P. and Dang, H. T. (2009). "Overview of the TAC 2009 Knowledge Base Population Track," In Proceedings of the 2nd Text Analysis Conference.

Meyers, A., Kosaka, M., Ji, H., Xue, N., Harper, M., Sun, A., Xu, W. and Liao, S. (2009). "Transducing Logical Relations from Automatic and Manual GLARF," In the Linguistic Annotation Workshop III, in ACL, pp. 116-120.

Mikolov, T., Chen, K., Corrado, G. and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space," In ICLR.

Mitamura, T., Yamakawa, Y., Holm, S., Song, Z., Bies, A., Kulick, S. and Strassel, S. (2015). "Event Nugget Annotation: Process and Issues," In Proceedings of the 3rd Workshop on Events, pp. 66-76.

Mitamura, T., Liu, Z. and Hovy, E. (2016). "Overview of TAC-KBP2016 Event Nugget Track," In Proceedings of the 9th Text Analysis Conference.

Nguyen, T. H., Cho, K. and Grishman, R. (2016a). "Joint Event Extraction via Recurrent Neural Networks," In HLT-NAACL 2016, pp. 300-309.

Nguyen, T. H., Meyers, A. and Grishman, R. (2016b). "New York University 2016 System for KBP Event Nugget: A Deep Learning Approach," In Proceedings of the 9th Text Analysis Conference.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., Zettlemoyer, L. (2018) "Deep Contextualized Word Representations," In NAACL-HLT 2008, pp. 2227-2237.

Sainath, T., Vinyals, O., Senior, A., Sak, H. (2015). "Convolutional, Long Short-Term Memory, Fully Connected Deep Neural Networks," In ICASSP, pp. 4580-4584.

Song, Z., Bies, A., Strassel, S., Ellis, J., Mitamura, T., Dang, H., Yamakawa, Y., and Holm, S. (2016). "Event Nugget and Event Coreference Annotation," In the 4th Workshop on EVENTS, HLT-NAACL 2016, pp. 37-45.

Strassel, S. M., Adams, D., Goldberg, H., Herr, J., Keesing, R. Oblinger, D., Simpson, H., Schrag, R., and Wright, J. (2010). "The DARPA Machine Reading Program-Encouraging Linguistic and Reasoning Research with a Series of Reading Tasks," In LREC 2010, pp. 986-993.

Sun, J., Gu, X., Ding, C., Li, C., Li, Y., Li, S., and Xu, W. (2017). "BUPT-PRIS System for TAC 2017 Event Nugget Detection, Event Argument Linking and ADR Tracks," In Proceedings of the 10th Text Analysis Conference.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., Polosukhin, I. (2017). "Attention Is All You Need," In NIPS 2017, pp. 5998-6008.

Voorhees, E. M. (1999). "The TREC-8 Question Answering Track Report," In the 8th Text REtrieval Conference (TREC 8), NIST.

Walker, C., Strassel, S., Medero, J., and Maeda, K. (2006). "ACE 2005 Multilingual Training Corpus," Linguistic Data Consortium, LDC Catalog, No. LDC2006T06.

Yang, B., Bender, G., Le, Q. V., and Ngiam, J. (2019). "CondConv: Conditionally Parameterized Convolutions for Efficient Inference," In NeurIPS 2019, pp. 1305-1316.

Zeiler, M. D. (2012). "ADADELTA: An Adaptive Learning Rate Method," arXiv preprint arXiv: 1212.5701, Version 1.

Zeng, Y., Luo, B., Feng, Y. and Zhao, D. (2016). "WIP Event Detection System at TAC KBP 2016 Event Nugget Track," In Proceedings of the 9th Text Analysis Conference.

Zhang, Y. and Wallace, B. (2017). "A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification," In IJCNLP 2017, pp. 253-263.

Zhou, Z. (2012). "Ensemble Methods: Foundations and Algorithms," Machine Learning \&s Pattern Recognition Series, CRC Press.

## 略歴

石川開：1994 年東京大学理学部物理学科卒業. 1996 年同大学院修士課程修了. 同年 NEC 入社. 現在, NEC データサイエンス研究所主任研究員, 東京工業大学工学院博士課程在学中. 自然言語処理, AI の社会受容性の研究に従事.

高村大也：1997 年東京大学工学部計数工学科卒業. 2003 年奈良先端科学技術大学院大学博士課程修了, 工学博士. 同年東京工業大学助手. 現在, 産業技術総合研究所人工知能研究センター知識情報研究チーム長, 東京工業大学科学技術創成研究院未来産業技術研究所教授を兼任. 計算言語学, 自然言語処理を専門とし, 特に, 評判分析, 文書要約, 言語生成の研究に従事.

奥村学：1984 年東京工業大学工学部情報工学科卒業. 1989 年同大学院博士課程修了, 工学博士. 同年東京工業大学助手. 現在, 東京工業大学科学技術創成研究院未来産業技術研究所教授. 自然言語処理, 知的情報提示技術, 語学学習支援, テキスト評価分析, テキストマイニングの研究に従事.

$(2019$ 年 8 月 1 日 $\quad$ 受付 $)$
$(2020$ 年 1 月 16 日 $\quad$ 再受付 $)$
$(2020$ 年 3 月 3 日採録 $)$