# 複単語表現を考慮した依存構造コーパスの構築と解析

加藤 明彦 $\dagger \cdot$ 進藤 裕之 $\dagger \cdot$ 松本 裕治 ${ }^{\dagger, \dagger \dagger}$
}

複単語表現 (MWE) は統語的または意味的な非構成性を有する複数の単語からなる まとまりである。統語的な依存構造の情報を利用し，かつ意味理解が必要なタスクで は，単語ベースの依存構造よりもMWEを考慮した依存構造, 即ちMWEを統語的 な単位とする依存構造の方が好ましい。広範囲の連続 MWE を依存構造で考慮する ために，本稿では Ontonotes コーパスに対して新たに形容詞 MWE を注釈し, 複合機能語と形容詞 MWE の双方を考慮した依存構造コーパスを構築した。また，意味理解が必要なタスクでは句動詞などの非連続な出現を持ちうる MWE（動詞 MWE） の認識も重要である。依存構造の情報は動詞 MWE 認識で有効な特徴量として働く と期待されるため, 本稿では連続 MWEを考慮した依存構造と動詞 MWE の双方を 予測する問題に取り組む。前者については以下の 3 つのモデルを検討する：(a) 連続 MWE 認識と, MWE を考慮した依存構造解析のパイプライン, (b) 連続 MWE の範囲を依存関係ラベルとして符号化した head-initial な依存構造を解析するモデ ル，および (c) 連続 MWE 認識と上記 (b) の階層的マルチタスク学習モデルである.実験の結果，連続 MWE 認識ではパイプラインモデルとマルチタスクモデルがほぼ 同等の $\mathrm{F}$ 值を示し, head-initial な依存構造の解析器を 1.7 ポイント上回った. 動詞 MWE 認識では系列ラベリングベースの認識器を上述のマルチタスクモデルに組み 込むことで $\mathrm{F}$ 值が 1.3 ポイント向上した.

キーワード：複単語表現，依存構造解析，言語資源
## Construction and Analysis of Multiword Expression-aware Dependency Corpus

\author{
Akiniko $^{\prime a t o}{ }^{\dagger}$, Hiroyuki Shindo ${ }^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger, \dagger \dagger}$
}

Multiword expressions (MWEs) consist of multiple words with syntactic or semantic non-compositionality. Natural Language Processing (NLP) tasks exploiting syntactic dependency information and requiring the understanding of the meaning of texts prefer the use of MWE-aware dependency trees (MWE-DTs) - where each MWE is a syntactic unit- to word-based dependency trees. To treat various continuous MWEs as syntactic units in dependency trees, this study conducts adjective MWE annotations on the OntoNotes corpus and constructs a dependency corpus that is aware of both

the functional and adjective MWEs. In NLP tasks requiring a semantic understanding, it is also important to recognize verbal MWEs (VMWEs) such as phrasal verbs, which are likely to have discontinuous occurrences. Since dependency information can be used as an effective feature in VMWE recognition, this study examines the tasks to predict both MWE-DTs and VMWEs. For MWE-DTs, it explores the following three models: (a) a pipeline model of continuous MWE recognition (CMWER) and MWEaware dependency parsing, (b) a model to predict a word-based dependency tree that encodes MWE spans as dependency labels (the head-initial dependency parser), and (c) the hierarchical multitask learning (HMTL) model of CMWER and the model in (b). The experimental results show that the pipeline and HMTL-based models show similar F1-scores in CMWER, which are 1.7 points better than the F1-score of the head-initial dependency parser. With respect to VMWE recognition, the results show an F1 improvement of 1.3 points by integrating the sequential labeler into the above mentioned HMTL-based model.

Key Words: Multiword Expressions, Dependency Parsing, Dependency Corpus

## 1 はじめに

複単語表現 (MWE) は, 統語的もしくは意味的な単位として扱う必要がある, 複数の単語からなるまとまりである (Sag, Baldwin, Bond, Copestake, and Flickinger 2002).

MWE はその文法的役割に基づいて以下の 4 種に分類することができる（表 1）:(1) 複合機能語 ${ }^{1}$ (a number of, even though), (2) 形容詞 MWE (dead on one's feet, out of business), (3)動詞 MWE (VMWE) (pick up, make a decision), (4) 複合名詞 (traffic light). これ以降, MWE の文法的役割を MWE 全体品詞と呼ぶことにする.

上記の中でも特に複合機能語は統語的な非構成性を持ちうる。即ち, 構成単語の品詞列から複合機能語の MWE 全体品詞が予測し難い，というケースがしばしば存在する。たとえば，“by and large"は次の文で副詞として機能しているが，構成単語の品詞列（"IN”（前置詞または従

表 1 複単語表現 (MWE) の文法的役割に基づく分類


属接続詞), “CC"（並列接続詞），“JJ”（形容詞））からこれを予測することは難しい.

By and large, these efforts have borne fruit.

このように MWE はしばしば非構成性を持つため, テキストの意味を自動理解する上で MWE 認識は重要なタスクである (Newman, Koilada, Lau, and Baldwin 2012; Berend 2011).

また，統語的な依存構造の情報を利用する応用タスクにおいて，MWEを考慮した依存構造 （図 1b）の方が単語べースの依存構造（図 1a）よりも好ましいと考えられる．MWEを考慮した依存構造では各 MWEが統語的な単位となっているのに対し，単語べースの依存構造では MWE の範囲は表現されていない．MWEを考慮した依存構造の利点を享受しうる応用タスクの例としてはイベント抽出が挙げられる (Björne, Ginter, and Salakoski 2017)。イベント抽出ではイベントトリガーの検出とイベント属性值の同定が必要となるが，イベントトリガーとイベント属性値のいずれも MWE になりうる。また，イベントトリガーとイベント属性値を結ぶ依存構造上の最短経路は，しばしばイベント属性値の同定において特徴量として利用されている $(\mathrm{Li}, \mathrm{Ji}$, and Huang 2013).

上述のように，MWEを考慮した依存構造解析は重要な研究課題である。そこで次に MWE を考慮した依存構造コーパスの構築方法について述べる.

伝統的に, 英語の依存構造コーパスは Penn Treebank (Marcus, Kim, Marcinkiewicz, MacIntyre, Bies, Ferguson, Katz, and Schasberger 1994) などのツリーバンク（句構造コーパス）からの自動変換によって構築されてきた．しかし既存のほとんどの英語ツリーバンクでは，MWEが句構造の部分木になっていることは保証されていない（図 2).このため, 句構造からの自動変換で得られた依存構造において，MWEの構成単語群を単純にマージすることによって，MWEを考慮した依存構造を得られるとは限らない（図 1） (Kato, Shindo, and Matsumoto 2016).

本稿ではこれ以降，ある MWEが句構造の部分木になっている時, MWE が句構造と整合的である，と記述する。コーパス中の全てのMWEの出現が句構造と整合的であるならば，我々はこれを MWE と整合的な句構造コーパス，と記述する。

Kato et al. (2016) は Ontonotes 5.0 (Pradhan, Hovy, Marcus, Palmer, Ramshaw, and Weischedel 2007）をMWE と整合的にすることによって，MWEを考慮した依存構造コーパスを構築した.

(a) 単語ベースの依存構造

(b) MWE を考虑した依存構造

図 1 単語ベースの依存構造と MWE を考慮した依存構造の比較. 前者では MWE ("a number of") の範囲が表現されていないのに対して，後者では MWE が依存構造の単位となっている。

図 $2 \mathrm{MWE}$ の範囲が句構造のいずれの部分木の範囲とも一致しない場合の例. 図中の矩形は MWE の範囲を示す.

しかし Kato et al. (2016)は複合機能語のみを対象としており，他のMWE は取り扱っていない.

そこで本稿では，より多くの種類の MWE をカバーするために，新たに形容詞 MWEのアノテーションを行う。その上で, Ontonotes コーパスが複合機能語および形容詞 MWE と整合的になるように句構造木を修正する。その後，依存構造への自動変換を行い，MWE を考慮した大規模な依存構造コーパスを構築する (2 章).

依存構造に新たに統合する MWEとして，形容詞 MWE を選択した理由を以下に述べる。第一に, 複合名詞は統語的には構成的であるため, 依存構造中の単位として扱うことで得られる利点は限定的である。また，複合名詞は高い生産性を持つため，辞書マッチングによる候補抽出を行うと，十分な網羅率が得られない可能性がある。したがって, 複合名詞については, 辞書に依存しないコーパスアノテーションが望ましいため，形容詞 MWE よりもアノテーションコストが高い，第二に，動詞 MWE (VMWE) は一般に非連続な出現を持ちうるため (pick .. up)，句構造で部分木としてまとめる事ができないケースが存在する。このため，VMWE を考慮した依存構造コーパスを構築するためには, 連続 MWE とは異なるアプローチが必要となる. この点は今後の課題とする.

また，文の意味理解が必要な応用タスクにおいては，句動詞など，非連続な出現を持ちうる MWE (VMWE) の認識も重要である. VMWEの認識を行う上で，連続MWE を考慮した依存構造, 特に, 依存構造中の動詞から particle や直接目的語へのエッジは, 有用な特徵量として利用できると期待される。そこで本研究では所与の文に対して, (i) 連続 MWE（複合機能語と形容詞 MWE）を考慮した依存構造，(ii) VMWE の双方を予測する問題に取り組む (3 章).

連続 MWEを考慮した依存構造解析のモデルとしては, 以下の 3 者を検討する：(a) 連続 MWE 認識を系列ラベリングとして定式化し，予測した連続 MWE を単一ノードにマージした上で依存構造解析を行うパイプラインモデル, (b) 連続 MWE の範囲と全体品詞を依存関係ラベル

として符号化し (head-initial な依存構造), 単語ベースの依存構造解析を行うモデル (Single-

ル (HMTL) (Sanh, Wolf, and Ruder 2018) である. HMTLでは, 上位タスクのエンコーダーは,下位タスクのエンコーダーからの出力と, 単語分散表現などの入力特徴量の双方を受け取る. HMTL を用いる動機を以下に述べる。連続 MWE を考慮した依存構造解析は，連続 MWE 認識と，連続 MWE を統語構造の単位とする依存構造解析とに分解できる。したがって，head-initial な依存構造の解析器を単体で学習させるよりも, 連続 MWE 認識を下位タスクとして位置付け,下位タスクのエンコーダーが捉えた特徴量も利用した方が，解析精度が向上すると期待される。 Head-initial な依存構造の解析は, Deep biaffine parser (Dozat and Manning 2017)を用いて行い，連続 MWE 認識器としては bi-LSTM-CNNs-CRF モデル (Ma and Hovy 2016) を用いる。本研究で Ontonotes 上に構築した，複合機能語と形容詞 MWEを考慮した依存構造コーパスを用いた実験の結果，連続 MWE 認識については，パイプラインモデルと HMTL ベースのモデルがほぼ同等の F 值を示し, Single-task (parser)を，連続 MWE 認識のF 值で約 1.7 ポイント上回っていることを確認した。依存構造解析については，テストセット全体およびMWEを含む文において, 各手法はほぼ同等のラベルなし正解率 (UAS) を示した。一方, 正解の MWE の先頭単語に着目すると, Single-task (parser) および HMTL ベースのモデルがパイプラインモデルをUAS で少なくとも約 1.4 ポイント上回った。また，VMWE 認識については，MWEの構成単語間のギャップを扱えるように拡張した BIO 方式 (Schneider, Onuffer, Kazour, Danchik, Mordowanec, Conrad, and Smith 2014)を用いて系列ラベリングとして定式化し, (d) bi-LSTM-CNNs-CRF モデル (Single-task (VMWE)) および (e) 連続 MWE 認識，連続 MWE を考慮した依存構造解析, Single-task (VMWE)の HMTL を検討する. VMWEのデータセットとしては, Ontonotes に対する VMWE アノテーションを用いる (Kato, Shindo, and Matsumoto 2018). 実験の結果, VMWE 認識において, (e) が (d) に比べて, F 值で約 1.3 ポイント上回ることを確認した.

本稿で構築した, 複合機能語および形容詞 MWE を考慮した依存構造コーパスは LDC 2017 T $16^{2}$ の次版としてリリースする予定である.

## 2 MWE を考慮した依存構造コーパスの構築

本章では, 英語の複合機能語および形容詞 MWEを考慮した依存構造コーパスの構築について述べる。本コーパスは, ツリーバンクおよびその上に付与した MWEアノテーションをもとに構築する. ツリーバンクとして, 我々は Ontonotes 5.0 (Pradhan et al. 2007) の Wall Street Journal (WSJ) 部分を用いる. Ontonotes 上の MWE アノテーションについては, Shigeto, Azuma,
^{2}$ https://catalog.ldc.upenn.edu/LDC2017T16
}

Hisamoto, Kondo, Kose, Sakaguchi, Yoshimoto, Yung, and Matsumoto (2013) の複合機能語アノテーションに加えて，今回新たに形容詞 MWE アノテーションを行い，両者を併合する．

## 2.1 複合機能語のアノテーション

複合機能語については, Shigeto et al. (2013)による Penn Treebank (Marcus et al. 1994)の WSJ 部分に対するアノテーションを用いる ${ }^{3}$.

Shigeto et al. (2013) は以下の 4 ステップで複合機能語のアノテーションを行っている.

(1) 英語の Wiktionary 4 から複合機能語を抽出することによって，MWE 辞書を構築する。

(2) 辞書マッチングによって，Penn Treebank 上で MWEの出現候補を収集する.

(3) 辞書中の各 MWEについて, 句構造木と品詞列をもとに, 出現候補を複数のパターンに分類する。

（4）各 MWE の各パターンについて，MWEとして用いられている（MWE 用法）のか，あるいは字義通りの意味で用いられている（リテラル用法）のかを分類する.

## 2.2 形容詞 MWEのアノテーション

形容詞 MWE のアノテーションについては以下の 3 ステップで行った. 第一に, 英語の Wiktionary を用いて形容詞 MWE の辞書を構築した。この辞書には 2,869 種類の形容詞 MWE が含まれる. 次に, Ontonotes 5.0 の WSJ 部分に対して辞書マッチングを行った.この結果, 304 種類の形容詞 MWEが，少なくとも 1 回，コーパス中に出現している事が確認された．第三に各 MWEが，意味的な非構成性を有する語義を少なくとも一つ持つかどうかに応じて，上述の 304 種類の形容詞 MWEを，後述する 2 つのグループに分割した. 本研究では, Wiktionary の語釈文の冒頭に“idiomatic”または "figurative”（熟語もしくは比喻）と記載されているならば，当該の語義を，意味的な非構成性を有するものとして扱った.

（1）意味的な非構成性を有する語義を少なくとも一つ持つ MWE（69 種類， 380 事例）については，各候補について語義曖昧性解消（WSD）を行い，意味的な非構成性を有する語義に該当するかどうかに応じて，MWE 用法もしくはリテラル用法へと分類した。 ここでWSDに関しては以下の方針とした。まず，意味的な非構成性を有する語義が，特徵的な構文パターンに紐付いている場合には，句構造木や，MWE 候補の構成単語の品詞列の情報を利用した自動アノテーションを行った ${ }^{5}$ 。また，それ以外の場合には，筆者ら


による人手アノテーションを行った.

（2）意味的な非構成性を有する語義を持たない MWE（235 種類，1，034 事例）については,以下の 2 ステップでアノテーションを行った。第一に，各 MWE 候補が句構造の部分木になっているかどうかに応じて， 2 つのグループ（後述のケース $(\mathrm{A}),(\mathrm{B})$ ) に分割した.第二に，各 MWE 候補を統語的な非構成性の有無に応じて，MWE 用法もしくはリテラル用法へと分類した，具体的には確率文脈自由文法 (PCFG) の，各 MWE 候補に関する生成規則が以下の条件を満たすならば，当該の候補を MWE 用法として注釈した。

$
\operatorname{Pr}\left(A D J P \rightarrow t_{1} . . t_{n}\right)<0.0008
$

ここで $t_{1} . . t_{n}$ は $\mathrm{MWE}$ 候補の構成単語の品詞列である。 以下では上記の条件を Cond PCFG と表記する。なお，PCFG の生成規則は Ontonotes 5.0の WSJ 部分の学習セット（セクション 02-21）から誘導した。

(A) MWE 候補が句構造の部分木になっている場合 (457 事例)，以下の手順でアノテー ションを実施した。以下では部分木の根の非終端記号を X と呼ぶことにする。

i). X が ADJP の場合（図 3), 当該の MWE 候補が Cond PCFG を満たすならば MWE 用法（図 3(a)）とし，満たさないならばリテラル用法とした (図3(b), (c)).

ii). Xが PP の場合, 当該の部分木が形容詞句として機能し, かつ, $\operatorname{Cond}_{P C F G}$ を満たすならば，MWE 用法として注釈した。

iii). X が ADJPでも PPでもない場合にはリテラル用法とした.

(B) MWE 候補が句構造のいずれの部分木にも該当しない場合（577 事例），当該の MWE 候補が形容詞句として機能し，かつ，Cond ${ }_{P C F G}$ を満たすならば，MWE 用法として注釈した（図 4 ）.

(a) MWE 用法の例.

(b) リテラル用法の例 (1).

(c) リテラル用法の例 $(2)$

図 $3 \mathrm{MWE}$ の範囲が，ADJP を根とする部分木に対応する例．PCFG の生成規則の確率に基づき，(a) は MWE 用法として， (b) および (c) はリテラル用法として注釈する。

(a) MWE 用法の例.

(b) リテラル用法の例.

図 $4 \mathrm{MWE}$ の範囲が，句構造の部分木に対応しない場合の例。PCFG の生成規則の確率に基づき，(a) は MWE 用法, (b) はリテラル用法として注釈する.

表 2 形容詞 MWE の構成単語の品詞列, 出現数, および具体例

10 回以上出現した品詞列のみを示す.

上述した手順により, Ontonotes 5.0の WSJ 部分に対して, 83 種類, 198 事例の形容詞 MWE が注釈された. コーパス中に出現している形容詞 MWE を構成単語の品詞列で分類したものを表 2 に示す.

## 2.3 MWE を考慮した依存構造コーパスの構築

本研究では, 複合機能語と形容詞 MWE を考慮した依存構造コーパスを以下の 3 ステップで構築した。各手順については次節以降で詳述する。

(A) 複合機能語アノテーションと形容詞 MWE アノテーションの衝突を解決する.

(B) 句構造と MWE アノテーションの衝突を解決する.

(C) 句構造から依存構造への変換を行う.

## 2.3.1 異種のMWEアノテーション間の衝突の解決

我々はまず，複合機能語と形容詞 MWEのアノテーションが，包含または重複関係にある事例を調査した。その結果, 一部の形容詞 MWEの範囲が, 複合機能語の範囲を包含している事が分かった。たとえば以下の文において，形容詞 MWEである“out of business”の範囲は，複合機能語である“out of”の範囲を包含している.

.. and putting unprofitable state-owned companies out of business.

このような事例においては，より広い範囲のMWEアノテーションを残す形で衝突の解決を行った.この結果得られた, MWEアノテーションのコーパス統計量を表 3 に示す.

## 2.3.2 句構造と MWE アノテーションの衝突の解決

我々は次に，句構造と MWE アノテーションの衝突を解決した。ある MWE アノテーションの範囲が, 句構造のいずれの部分木にも該当しない場合, 本研究では, 句構造と MWEアノテー ションが衝突している，と表現する。

句構造と複合機能語アノテーションの衝突は Kato et al. (2016) が構築したコーパスで，既に解決されている。そこで本研究では, Kato et al. (2016)のコーパスにおける, 句構造と形容詞 MWE アノテーションの衝突を，以下の 2 種類に分類した上で解決した (Finkel and Manning 2009; Kato et al. 2016).

## (1) Multiple contiguous children (図 5)

MWEの範囲が，複数の連続した部分木に対応する場合 (Finkel and Manning 2009; Kato et al. 2016)，MWE の範囲に相当する部分木群をまとめる中間ノードを挿入し，形容詞 MWE であることを表す非終端記号 (“MWE_JJ”) を付与する。

表 3 Ontonotes 5.0 の WSJ 部分に対して注釈された, 複合機能語と形容詞 MWE のコーパス統計量

RB は副詞，JJ は形容詞，IN は前置詞または従属接続詞，DT は限定詞，PRP は代名詞，TO は to 不定詞，WRB は WH 副詞，UH は感動詞を示す。なお，to 不定詞，WH 副詞，感動詞としては，“about to”， "why not", "no way"の各 1 種を注釈している.

(a) 修正前の句構造木 (MWE に関する部分のみを記載)。図中の矩形は MWEの範囲を示す.

(b) 修正後の句構造木. MWE (“de facto”) が部分木として, まとめられている.

図 5 “Multiple contiguous children”における句構造木の修正.

(a) 修正前の句構造木. 図中の矩形は MWE の範囲を示す。

(b) 修正後の句構造木. MWE (“in line”) が部分木として, まとめられている.

図 6 “Crossing brackets”における句構造木の修正.

(2) Crossing brackets（図 6)

MWE の範囲が，句構造の部分木の範囲と部分重複する場合は，以下の手順で MWE を部分木としてまとめる。このケースの典型的な例として, 形容詞 MWEの範囲を含む部分木は，PPを根として持ち，子ノードとして IN（前置詞または従属接続詞）と NP（名詞句）を持つ。この $\mathrm{NP}$ ノードは，ネストした $\mathrm{NP}$ およびネストした PP からなる（図 6a）. この様な事例では, 形容詞 MWEが, ネストしたPPの直前に出現している。この場合, MWE の範囲に相当する部分木群をまとめる中間ノードを挿入し，(1) と同様，形容詞 MWEであることを表す非終端記号を付与する。また，ネストしたPPを，上位のPPの直下に移動させる（図 $6 \mathrm{~b}$ ).

## 2.3.3 句構造から依存構造への変換

最後に，句構造から依存構造への変換を行う，前処理として，MWEの範囲に対応する部分木を, MWE 全体品詞を親, MWE の構成単語群をアンダースコアで連結したノード (words-

(a) MWE をマージする前の句構造木。

(b) MWE をマージした後の句構造木.

図 7 MWEの単一ノードへのマージ.

with-spaces）を子とする木に置換する（図 7）.その後，句構造木を Stanford basic dependency (Marneffe and Manning 2008) に従う依存構造木に変換する ${ }^{6}$.

## 3 連続 MWE を考慮した依存構造解析，およびVMWE 認識を行うためのモ デル

本章では，連続 MWE を考慮した依存構造解析および VMWE 認識を行うモデルアーキテクチャーについて述べる.

## 3.1 連続 MWE を考慮した依存構造解析

本研究では，連続 MWE を考慮した依存構造解析を行うためのモデルとして，以下の 3 者を検討する。

(1) 系列ラベリングベースの認識器が予測した連続 MWE を，単一ノードにマージした上で依存構造解析を行うパイプラインモデル（図 8）

(2) 連続 MWE の範囲と全体品詞を依存関係ラベルとして符号化し（head-initial 依存構造 (図 9)），単語ベースの依存構造解析を行うモデル

(3) Head-initial な依存構造の解析と連続 MWE 認識の階層的マルチタスク学習 (Sanh et al. 2018)（図 10）

上記の各モデルにおける入力特徴量としては, 単語分散表現, ELMo 表現 (Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer 2018), 文字レベルの CNN (Kim, Jernite, Sontag, and Rush 2016)を用いた単語表現の 3 者を連結したものを利用する.


図 8 パイプラインモデルにおける依存構造解析のアーキテクチャー. 系列ラベリングによって予測した MWE の範囲に渡って，隠れ状態べクトルの平均を求め，後段の MLP（多層パーセプトロン）への入力として用いる.

図 9 Head-initial な依存構造木の例. MWE の範囲と全体品詞が依存関係ラベルとして符号化されている.

パイプラインモデルにおいて，連続 MWE 認識については bi-LSTM-CNNs-CRF モデル (Ma and Hovy 2016)を, 依存構造解析については (Dozat and Manning 2017)の Deep biaffine parser を用いる。依存構造解析器のエンコーダーには, MWE をマージする前の入力文に相当するべクトル系列を入力する。そして，エンコーダーからの出力系列において，予測した連続 MWE の範囲に渡って平均を取ったものを MWEの隠れ状態べクトルとして利用し, 後段の多層パーセプトロン (MLP)への入力に用いる (図 8). Deep biaffine parser からの出力は, 予測した MWE をマージした文に対する依存構造である。ただし学習時は, 依存構造解析器が正解の木を予測できるように，正解の MWE の範囲を利用する。テスト時は連続 MWE 認識器が予測した MWE の範囲を利用する。

モデル (2) で用いる Head-initial な依存構造木（図 9）では，連続 MWE の範囲と全体品詞は依存関係ラベルとして符号化され，MWEの 2 番目以降の構成単語は，先頭単語を主辞として

図 10 連続 MWE 認識と, 連続 MWE を考虑した依存構造解析の階層的マルチタスク学習のアーキテクチャー.

持つ.

モデル (3), すなわち, Head-initial な依存構造の解析と連続 MWE 認識の階層的マルチタスク学習モデル (HMTL)（図 10）では，上位タスクのエンコーダーは，下位タスクのエンコーダーからの出力だけでなく, 単語分散表現などの入力特徴量も合わせて受け取る (shortcut connection (Sanh et al. 2018)). HMTL を用いる動機を以下に述べる。連続MWE を考慮した依存構造解析は, 連続 MWE 認識と, 連続 MWE を統語構造上の単位とする依存構造解析とに分解できる. したがって, head-initial な依存構造の解析器を単体で学習させるよりも, 連続 MWE 認識夕スクのエンコーダーが捉えた特徴量も依存構造解析器で利用した方が, 解析精度が向上すると期待される。

## 3.2 VMWE 認識

VMWE 認識については，MWEの構成単語間のギャップを扱えるように拡張したBIO 方式 (Schneider et al. 2014)を用いて系列ラベリングとして定式化し（図 11）、ベースラインとして, bi-LSTM-CNNs-CRF モデル (Ma and Hovy 2016) を用いる.

また, VMWE 認識を行う上で, 連続MWEを考慮した依存構造, 特に, 依存構造中の動詞から particle や直接目的語へのエッジは, 有用な特徴量として利用できると期待される。そこで

図 11 VMWE の拡張 BIO 方式によるアノテーション．MWE の構成単語間に別の単語が存在する場合には。タグ (small outside tag) を付与する.

図 12 連続 MWE 認識，連続 MWE を考慮した依存構造解析，およびVMWE 認識の階層的マルチタスク学習のアーキテクチャー。下層から順に, 連続 MWE 認識, 連続 MWE を考慮した依存構造解析，VMWE 認識のエンコーダーをスタックさせたモデルとなっている.

本稿では, 連続 MWE 認識, 連続 MWEを考慮した依存構造解析, VMWE 認識の階層的マルチタスク学習 (HMTL) の効果を検証する。アーキテクチャーを図 12 に示す.このモデルでは，下層から順に, 連続 MWE 認識, 連続 MWE を考慮した依存構造解析, VMWE 認識のエンコー ダーをスタックさせる。これによって, VMWE 認識タスクのエンコーダーは, 連続 MWEを考慮した依存構造解析タスクのエンコーダーが捉えた特徴量を利用できる。また，対照実験として，連続 MWE 認識と VMWE 認識の HMTL，連続MWE を考慮した依存構造解析とVMWE 認識の HMTL についても実験を行う.

## 4 連続MWE を考慮した依存構造解析，およびVMWE 認識を行うモデルの 評価実験

本章では，連続 MWE を考慮した依存構造解析，およびVMWE 認識を行うモデルの評価実験について述べる。データセットとしては, 本研究で Ontonotes 5.0（WSJ 部分）上に構築した, 複合機能語および形容詞 MWE を考慮した依存構造コーパス，および，Kato et al. (2018) で行われた，Ontonotes 5.0（WSJ 部分）に対する VMWE アノテーションを用いる.

## 4.1 実験設定および実装の詳細

データ分割については先行研究に従い, Ontonotes 5.0（WSJ 部分）のセクション 2-21, 22, 23 をそれぞれ学習, 開発, テストに利用した。

VMWE 認識については，上述した VMWEアノテーション (Kato et al. 2018)を用いた。この中には，複数のVMWEのアノテーションが部分重複する文がまれに存在する，これらの文に対する VMWE 認識は系列ラベリングとして定式化することが難しいため，該当する文をデー タセットから取り除いた上で実験を行った。該当する文は学習，開発，テストのそれぞれで， 30,060 文中 13 文, 1,336 文中 0 文, 1,640 文中 2 文である.

階層的マルチタスク学習に関しては (Sanh et al. 2018) に基づき，タスクごとに別々のデータセットを保持する。そして訓練事例数に応じた確率でランダムに選択したタスクのミニバッチを利用して学習を行う。本実験では各タスクの訓練事例数はほぼ同じであるが，上述したように複数の VMWEのアノテーションが部分重複する事例を取り除いている関係上，VMWE 認識タスクは，連続MWE 認識タスクおよび連続 MWE を考慮した依存構造解析タスクに比べ，わずかに訓練事例数が少ない，学習の停止条件は，指定したエポック数に到達するか, 開発セットの評価指標が指定したエポック数に渡り改善しないという事象が発生することである (Early stopping (Prechelt 1998)).

Bi-LSTM-CNNs-CRF モデルおよび Deep biaffine parser は AllenNLP ライブラリ (Gardner, Grus, Neumann, Tafjord, Dasigi, Liu, Peters, Schmitz, and Zettlemoyer 2017) をべースとして実装した。単語分散表現の初期値としては, Glove (Pennington, Socher, and Manning 2014)を用いた. ELMo 表現を得るための bi-LSTM ネットワークとしては，One Billion Word Benchmark コーパス (Chelba, Mikolov, Schuster, Ge, Brants, and Koehn 2014) で事前学習されたモデル $7 を$用いた。連続 MWE および VMWE の認識に用いた bi-LSTM-CNNs-CRF モデルにおいて，ドロップアウトは bi-LSTMへの入出力に対して適用した。連続MWE を考慮した依存構造解析に利用した Deep biaffine parser において, ドロップアウトはbi-LSTMへの入出力と, 依存構造の

}
主辞推定および依存関係ラベル推定に関する MLP からの出力に対して適用した.

## 4.1.1 系列ラベリングの学習における負例のダウンサンプリング

本実験で利用する，連続 MWE を考慮した依存構造コーパスにおいて，多くの文は連続 MWE を 1 つも含んでいない，実際，テストセットでは， 1,640 文中，1,370 文において，連続 MWE は出現していない. これは, “O” (outside) タグのみからなるラベル系列（負例）に相当する. VMWE についても，データセット中の多くの文でVMWE は出現していない。このようなラべルバイアス (Leevy, Khoshgoftaar, Bauder, and Seliya 2018)の影響を緩和するために，系列ラべリングベースの連続 MWE 認識および VMWE 認識の学習時に，ミニバッチ中で，負例が正例を文数で上回る場合には，損失関数に寄与する負例の事例数が正例と同一になるように，負例のダウンサンプリングを行った.

## 4.1.2 ハイパーパラメーターとモデル選択

利用したハイパーパラメーターの一覧を表 4 に示す。連続 MWE 認識のモデル選択は開発セットでの F 值に基づいて行った。VMWE 認識および，VMWE 認識を含む階層的マルチタスク学習 (HMTL) については, 開発セットでVMWEのF 值が最大となるモデルを選択した。連続MWE を考慮した依存構造解析および上記以外の HMTL については，開発セットでのラベルあり正解率 (LAS) が最大となるモデルを選択した.

## 4.1.3 評価方法

連続 MWE 認識については，MWEの範囲に関する F 値 (FUM) または，MWEの範囲と全体品詞に関する F 値 (FTM) を用いて評価を行う. Head-initial な依存構造（図 9）の解析器を用いる場合, 予測した依存構造中の依存関係ラベルとして表現されている連続 MWE の範囲と全体品詞を予測結果として評価を行う.

VMWE 認識については, 予測したタグ系列から求めた, VMWEの構成単語群に関する FUM を評価指標として用いる.

依存構造についてはラベルなし正解率 (UAS), ラベルあり正解率 (LAS) を用いて評価を行う 8 . 連続 MWE 認識とのパイプラインモデルの場合, 依存構造解析器は, 予測した MWE をマージした文に対する依存構造を推定する。そのため，依存構造中のMWE 由来のノードを head-initial に展開した依存構造を正解と比較して，UAS およびLAS を算出する.
^{8}$ UAS および LAS の計算時には, 句読点は評価対象外とする.
}
表 4 本実験で利用したハイパーパラメーターの一覧

 & 500 \\

## 4.2 実験結果および考察

テストセットに対する実験結果を表 5 に示す. 表中の Single task (parser) は head-initial な依存構造の解析器を単独で学習させた場合の結果である。また, Pipeline (continuous MWE + parser）は連続 MWE 認識器が予測した MWEの範囲を単一ノードにマージした上で依存構造解析を行う手法を示す. Pipeline モデルの連続 MWE 認識の精度は, 系列ラベリングに基づく連続 MWE 認識器に対するものである。次に HMTL (continuous MWE + parser) は連続 MWE 認識と head-initial な依存構造解析の階層的マルチタスク学習 (HMTL) に対する結果である.一方, Single task (VMWE) は VMWE 認識器を示す. HMTL (continuous MWE + VMWE) は
表 5 連続 MWE を考慮した依存構造解析と VMWE 認識に関する，テストセットでの実験結果

}} & \multirow{3}{*}{  } \\

各数値は 5 回の独立した実験の平均である. HMTL は階層的マルチタスク学習の略語である.

連続 MWE 認識とVMWE 認識の HMTL, HMTL (parser + VMWE) は，連続 MWE を考慮した依存構造解析と VMWE 認識の HMTL, HMTL (continuous MWE + parser + VMWE)は,連続 MWE 認識，連続MWE を考慮した依存構造解析，VMWE 認識の HMTLに対する結果である.

まず連続 MWE 認識については, Pipeline(continuous MWE + parser), HMTL (continuous MWE + parser), HMTL (continuous MWE + VMWE)がほぼ同等のFUM を示し, Single task (parser) を約 1.7 ポイント上回った.このことから, 連続 MWE 認識に関しては, 依存構造解析器単体で head-initial な依存構造を予測するよりも, 系列ラベリングベースの手法や, 連続 MWE 認識と依存構造解析またはVMWE 認識との階層的マルチタスク学習を用いた方が良いことが分かる.

次に依存構造解析の結果について述べる。テストセット全体に対しては, 各手法はほぼ同等のラベルなし正解率 (UAS) を示した．MWEを含む文（1,640文中，270文）に関しても，各手法はほぼ同等のUAS を示している，MWEを構成するトークンの総数は，テストセット全体のトークン数の約 1.9 \%であるため，MWEの内部係り受けや，MWEの内外をつなぐ係り受けの精度が手法間で異なっている場合でも，全体精度には現れにくいという点には注意が必要である. そこで，正解の MWE の先頭トークンに着目すると, HMTL (continuous MWE + parser) は Pipeline (continuous MWE + parser) を UAS で約 1.4 ポイント, LAS で約 1.5 ポイント上回った。階層的マルチタスク学習モデルはパイプラインモデルと異なり, 連続 MWE 認識の結果

を決定論的に用いるのではなく，連続 MWE 認識のエンコーダーからの出力を依存構造解析のエンコーダーの入力特徴量として利用している. このため, 階層的マルチタスク学習モデルは,連続 MWE 認識で生じたエラーの影響が上位の依存構造解析に及びにくいという特徴を持っており，上記の実験結果は，この考察と符合している。また, HMTL (continuous MWE + parser) は Single task (parser) とほぼ同等の UAS およびLASを示している。前者が後者よりも高い連続 MWE 認識精度を示している点を考慮すると，連続 MWE 認識と依存構造解析の階層的マルチタスク学習が効果的に機能していると言える。各手法の性能差をさらに詳細に比較するために, 正解 MWE の先頭単語に関する依存構造解析の精度を, 連続 MWE の全体品詞別に計算した結果を表 6 に示す.この表を見ると, 複合前置詞または複合従属接続詞 (MWE-IN) の先頭単語を子に持つ係り受けエッジの推定については，連続 MWE 認識を含む階層的マルチタスク学習モデルが効果的である事がわかる。一方，複合副詞 (MWE-RB) の先頭単語については, Single task (parser) が最も高いUAS を示しており，VMWE 認識を含む階層的マルチタスク学習モデル群を少なくとも 4.8 ポイント上回っている.

最後にVMWE 認識については，連続MWE 認識タスクおよび連続MWE を考慮した依存構造解析の双方と組み合わせた HMTL を行うことで，FUM が約 1.3 ポイント向上した。連続 MWE の範囲は Head-initial な依存構造木の内部に表現されているため, HMTL (parser + VMWE) と HMTL (continuous MWE + parser + VMWE) とで，モデルに与えている教師情報は同一である. それにも関わらず，VMWE 認識の FUM で約 1.0 ポイントの差が見られたという結果は,間接的に連続 MWE 認識を行う依存構造解析タスクの学習で得られる特徴量だけでなく, 系列ラベリングとして定式化した連続 MWE 認識タスクの学習によって得られる特徴量も与えた方

表 6 連続 MWE の全体品詞別に見た，正解MWE の先頭単語に関する依存構造解析のテストセットでの精度

 & 77.42 & 68.60 & 85.99 & 78.68 & 98.89 & 90.00 & 83.64 & 69.09 \\

全体品詞が PRP（人称代名詞）のケース（出現数：5）については全手法の UAS，LASが $100 \%$ のため,省略している。

が VMWE 認識にとって有利であることを示唆している。また， HMTL (continuous MWE + VMWE) よりも HMTL (continuous MWE + parser + VMWE) の方がFUM で約 2.5 ポイント上回っているという結果は, 依存構造解析器が捉えた構文情報が VMWE 認識にとって有効に働いていることを示唆している。

## 5 関連研究

まず，MWEを考慮した統語構造コーパスについて述べる。フランス語MWEを考慮した依存構造解析 (Candito and Constant 2014) では, French Treebank (Abeillé, Clément, and Toussenel 2003) を依存構造コーパスに変換したデータセットがよく用いられている。一方，英語 MWE を考慮した依存構造解析に利用できるデータセットは限られている. Schneider et al. (2014)は English Web Treebank (Bies, Mott, Warner, and Kulick 2012) 上にMWEアノテーションを行っているが，MWEの範囲が句構造の部分木に一致することは保証されていない. また, 彼らのコーパスは全体で約 3,800 文と, 依存構造解析の学習データとしては大規模とは言えない.これに対して本研究で構築したコーパスは, Ontonotes 5.0の WSJ 部分全体（約 37,000 文）をカバーし, かつ, MWEアノテーションが句構造の部分木に一致することを保証している ( 2.3 節).

次に，MWE を考慮した統語解析についての関連研究を紹介する。まず Green, de Marneffe， and Manning (2013)は，MWE 専用の非終端記号を用いることによって，句構造解析の中で連続 MWE 認識を行う手法を提案している。彼らは文脈自由文法もしくは木置換文法に基づく手法を検討している。次に Candito and Constant (2014)は，依存構造とフランス語 MWE の双方を推定するタスクに取り組んでいる。彼女らは，統語的な特異性を持たない（統語的に正則な） MWE については, head-initial な依存構造（3.1 章）ではなく，MWE 内部の統語構造を捉えたデータ表現を採用しており，解析時には，統語的に正則な MWE の内部構造も予測するモデルを検討している．彼女らの手法では，MWE 認識は依存構造解析の前後，もしくは同時に行われる. 第三に Constant and Nivre (2016)は, 依存構造と，MWE を含む語彙的な単位 (lexical unit) の集合との同時予測に取り組んでいる。これら 2 つ構造は語彙要素 (lexical element), 即ち, トークンまたは統語的に非構成的な MWE を共有している. Lexical unitでは, 各 MWE は句構造に類似した木として表現されるため，ネストや非連続な出現を考慮することができる．彼らは通常の依存構造解析器を拡張した遷移ベースのシステムを用いており，スタックとバッファ上のノードの, 表層形や品詞夕グの組み合わせ，および，構築中の部分木や遷移履歴など。古典的な遷移ベースの依存構造解析で用いられている素性を採用している。 Constant and Nivre (2016) が統語的に非構成的な MWEを考慮した依存構造と, lexical unitsの同時予測を取り扱っているのに対し, 本研究は, 連続 MWE を統語的な単位とする依存構造と, 非連続な出現を持ちうる VMWE との同時予測に取り組んでいる。本研究では意味理解が必要なタスクで利用し

やすい依存構造を提供するために，統語的に非構成的な MWEに限らず，広範囲の連続 MWE を依存構造に統合している。第四に Kato, Shindo, and Matsumoto (2017), Kato et al. (2016) は，英語の Ontonotes 上で複合機能語と固有表現の範囲が句構造の部分木と一致することを保証したコーパスを構築し, 複合機能語と固有表現を考慮した依存構造解析の実験に利用している。モデルとしては (1) 連続 MWE 認識と依存構造解析のパイプライン, (2) head-initial な依存構造を単語ベースの依存構造解析器で推定するモデルの 2 つの手法を検討している。 Kato et al. (2017)は，連続 MWE 認識を系列ラベリングとして定式化し, Conditional Random Fields (CRF) (Lafferty, McCallum, and Pereira 2001) を用いている.また, 依存構造解析器としては, Arc-eager 型の遷移システム (Nivre 2003)を用いている. 本研究は Kato et al. (2017) を基礎としているが，より広範囲の MWE をカバーするために，新たに形容詞 MWE を注釈し， Kato et al. (2017) とは異なり，ニューラルネットワークベースのモデル群を検討している。また連続 MWEだけでなく，非連続な出現を持ちうるVMWEの認識にも取り組んでいる.

最後にVMWE が注釈された言語資源について述べる。近年, VMWE 認識のシェアードタスクが PARSEME9によって開催されており (Ramisch and Cordeiro 2018; Savary and Ramisch 2017), アノテーションガイドラインと, 約 20 言語に対する 79,326 事例のVMWEアノテーションが提供されている。このシェアードタスクに取り組んでいる関連研究としては Klyueva, Doucet, and Straka (2017), Berk, Erden, and Güngör (2018) が挙げられる.まず Klyueva et al. (2017) は VMWE 認識を系列ラベリングとして定式化し, 双方向 GRU (gated-recurrent unit)(Cho, van Merrienboer, Bahdanau, and Bengio 2014)を用いて解析を行っている。また, Berk et al. (2018) は本研究と同じく biLSTM-CRF モデルを用いている.

## 6 結論

本研究では, 複合機能語と形容詞 MWE の双方を考慮した依存構造コーパスを Ontonotes 上に構築した。また，連続MWEを考慮した依存構造とVMWEの双方を予測する問題に取り組んた．連続MWEを考慮した依存構造解析では以下の 3 つのモデルを検討した：(a) 連続 MWE 認識と連続 MWE を考慮した依存構造解析のパイプライン，(b) 連続 MWEの範囲と全体品詞を依存関係ラベルとして符号化した, 単語ベースの依存構造解析 (Single-task(parser)), そして (c) 連続 MWE 認識と Single-task (parser) の階層的マルチタスク学習モデル (HMTL) である.実験の結果, 連続 MWE 認識ではパイプラインモデルと HMTL ゙ースのモデルがほぼ同等の F 值を示し, Single-task (parser) をF 值で約 1.7 ポイント上回った。依存構造解析については, テストセット全体およびMWE を含む文において，各手法はほぼ同等のラべルなし正解率 (UAS)
^{9}$ https://typo.uni-konstanz.de/parseme/
}

を示した，正解のMWE の先頭単語に着目すると，Single-task (parser) および HMTL ベースのモデルがパイプラインモデルをUAS で少なくとも約 1.4 ポイント上回った. VMWE 認識では, 系列ラベリングベースの認識器を, 連続MWE 認識器および連続MWEを考慮した依存構造解析器と階層的マルチタスク学習させることにより， $\mathrm{F}$ 値が約 1.3 ポイント向上した. 今後の課題としては (1) VMWE や，修飾語を取りうる semi-fixed MWE (Constant and Nivre 2016; Morimoto, Yoshimoto, Kato, Shindo, and Matsumoto 2016)の依存構造への統合, (2) 複合助動詞の Ontonotesへのアノテーションおよび依存構造への統合が挙げられる.

## 謝 辞

本研究の一部は JST CREST (課題番号: JPMJCR1513)の支援を受けて行いました. また, 有益なコメントをくださった査読者の皆様に感謝いたします. 英文校正に関し, Enago (www.enago.jp)社に感謝いたします。

## 参考文献

Abeillé, A., Clément, L., and Toussenel, F. (2003). Building a Treebank for French, pp. 165-187. Springer Netherlands, Dordrecht.

Berend, G. (2011). "Opinion Expression Mining by Exploiting Keyphrase Extraction." In IJCNLP, pp. 1162-1170. Asian Federation of Natural Language Processing.

Berk, G., Erden, B., and Güngör, T. (2018). "Deep-BGT at PARSEME Shared Task 2018: Bidirectional LSTM-CRF Model for Verbal Multiword Expression Identification." In Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018), pp. 248-253, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Bies, A., Mott, J., Warner, C., and Kulick, S. (2012). "English Web Treebank." Technical Report LDC2012T13, Linguistic Data Consortium, Philadelphia, Pennsylvania, USA.

Björne, J., Ginter, F., and Salakoski, T. (2017). "EPE 2017: The Biomedical Event Extraction Downstream Application." In Proceedings of the 2017 Shared Task on Extrinsic Parser Evaluation (EPE 2017) at the Fourth International Conference on Dependency Linguistics (Depling 2017) and the 15th International Conference on Parsing Technologies (IWPT 2017), pp. 17-24. Association for Computational Linguistics.

Candito, M. and Constant, M. (2014). "Strategies for Contiguous Multiword Expression Analysis and Dependency Parsing." In Proceedings of the 52nd Annual Meeting of the Association
for Computational Linguistics (Volume 1: Long Papers), pp. 743-753. Association for Computational Linguistics.

Chelba, C., Mikolov, T., Schuster, M., Ge, Q., Brants, T., and Koehn, P. (2014). "One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling." In INTERSPEECH, pp. 2635-2639.

Cho, K., van Merrienboer, B., Bahdanau, D., and Bengio, Y. (2014). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches." In SSST@EMNLP, pp. 103-111.

Constant, M. and Nivre, J. (2016). "A Transition-Based System for Joint Lexical and Syntactic Analysis." In Proceedings of ACL, pp. 161-171. Association for Computational Linguistics.

Dozat, T. and Manning, C. D. (2017). "Deep Biaffine Attention for Neural Dependency Parsing." ArXiv, abs/1611.01734.

Finkel, R. J. and Manning, D. C. (2009). "Joint Parsing and Named Entity Recognition." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 326-334. Association for Computational Linguistics.

Gardner, M., Grus, J., Neumann, M., Tafjord, O., Dasigi, P., Liu, N. F., Peters, M., Schmitz, M., and Zettlemoyer, L. S. (2017). "AllenNLP: A Deep Semantic Natural Language Processing Platform." In Proceedings of Workshop for NLP Open Source Software (NLP-OSS), pp. 1-6. Green, S., de Marneffe, M.-C., and Manning, C. D. (2013). "Parsing Models for Identifying Multiword Expressions." Computational Linguistics, 39 (1), pp. 195-227.

Kato, A., Shindo, H., and Matsumoto, Y. (2016). "Construction of an English Dependency Corpus Incorporating Compound Function Words." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC '16), pp. 1667-1671.

Kato, A., Shindo, H., and Matsumoto, Y. (2017). "English Multiword Expression-aware Dependency Parsing Including Named Entities." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 427-432, Vancouver, Canada. Association for Computational Linguistics.

Kato, A., Shindo, H., and Matsumoto, Y. (2018). "Construction of Large-scale English Verbal Multiword Expression Annotated Corpus." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC), pp. 2495-2499, Miyazaki, Japan. European Language Resources Association (ELRA).

Kim, Y., Jernite, Y., Sontag, D. A., and Rush, A. M. (2016). "Character-Aware Neural Language Models." In $A A A I$, pp. 2741-2749.

Klyueva, N., Doucet, A., and Straka, M. (2017). "Neural Networks for Multi-Word Expression

Detection." In Proceedings of the 13th Workshop on Multiword Expressions (MWE 2017), pp. 60-65, Valencia, Spain. Association for Computational Linguistics.

Lafferty, J. D., McCallum, A., and Pereira, F. C. N. (2001). "Conditional Random Fields:

Probabilistic Models for Segmenting and Labeling Sequence Data." In Proceedings of the 18th International Conference on Machine Learning, ICML '01, pp. 282-289, San Francisco, CA, USA. Morgan Kaufmann Publishers Inc.

Leevy, J. L., Khoshgoftaar, T. M., Bauder, R. A., and Seliya, N. (2018). "A Survey on Addressing High-class Imbalance in Big Data." Journal of Big Data, 5, pp. 1-30.

Li, Q., Ji, H., and Huang, L. (2013). "Joint Event Extraction via Structured Prediction with Global Features." In $A C L$, pp. 73-82.

Ma, X. and Hovy, E. H. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." ArXiv, abs/1603.01354.

Marcus, M., Kim, G., Marcinkiewicz, M. A., MacIntyre, R., Bies, A., Ferguson, M., Katz, K., and Schasberger, B. (1994). "The Penn Treebank: Annotating Predicate Argument Structure." In Proceedings of the Workshop on Human Language Technology, HLT '94, pp. 114-119, Stroudsburg, PA, USA. Association for Computational Linguistics.

Marneffe, M.-C. and Manning, D. C. (2008). "The Stanford Typed Dependencies Representation." In Coling: Proceedings of the Workshop on Cross-Framework and Cross-Domain Parser Evaluation, pp. 1-8.

Morimoto, A., Yoshimoto, A., Kato, A., Shindo, H., and Matsumoto, Y. (2016). "Identification of Flexible Multiword Expressions with the Help of Dependency Structure Annotation." In Proceedings of the Workshop on Grammar and Lexicon: Interactions and Interfaces (GramLex), pp. 102-109, Osaka, Japan. The COLING 2016 Organizing Committee.

Newman, D., Koilada, N., Lau, H. J., and Baldwin, T. (2012). "Bayesian Text Segmentation for Index Term Identification and Keyphrase Extraction." In COLING, pp. 2077-2092.

Nivre, J. (2003). "An Efficient Algorithm for Projective Dependency Parsing." In Proceedings of the 8th International Conference on Parsing Technologies, pp. 149-160, Nancy, France.

Pennington, J., Socher, R., and Manning, C. (2014). "Glove: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1532-1543, Doha, Qatar. Association for Computational Linguistics.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. S. (2018). "Deep Contextualized Word Representations." In NAACL-HLT, pp. 2227-2237.

Pradhan, S. S., Hovy, E., Marcus, M., Palmer, M., Ramshaw, L., and Weischedel, R. (2007).

"OntoNotes: A Unified Relational Semantic Representation." In Proceedings of the International Conference on Semantic Computing, ICSC '07, pp. 517-526, Washington, DC, USA. IEEE Computer Society.

Prechelt, L. (1998). "Early Stopping-But When?" In Neural Networks: Tricks of the Trade, This Book is an Outgrowth of a 1996 NIPS Workshop, pp. 55-69, London, UK, UK. SpringerVerlag.

Ramisch, C. and Cordeiro, S. R. (2018). "Edition 1.1 of the PARSEME Shared Task on Automatic Identification of Verbal Multiword Expressions." In Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018), pp. 222-240, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Sag, I. A., Baldwin, T., Bond, F., Copestake, A. A., and Flickinger, D. (2002). "Multiword Expressions: A Pain in the Neck for NLP." In Proceedings of the 3rd International Conference on Computational Linguistics and Intelligent Text Processing, CICLing, pp. 1-15, London, UK, UK. Springer-Verlag.

Sanh, V., Wolf, T., and Ruder, S. (2018). "A Hierarchical Multi-task Approach for Learning Embeddings from Semantic Tasks." ArXiv, abs/1811.06031.

Savary, A. and Ramisch, C. (2017). "The PARSEME Shared Task on Automatic Identification of Verbal Multiword Expressions." In Proceedings of the 13th Workshop on Multiword Expressions (MWE 2017), pp. 31-47, Valencia, Spain. Association for Computational Linguistics.

Schneider, N., Onuffer, S., Kazour, N., Danchik, E., Mordowanec, M. T., Conrad, H., and Smith, N. A. (2014). "Comprehensive Annotation of Multiword Expressions in a Social Web Corpus." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC), pp. 455-461, Reykjavik, Iceland. European Language Resources Association (ELRA).

Shigeto, Y., Azuma, A., Hisamoto, S., Kondo, S., Kose, T., Sakaguchi, K., Yoshimoto, A., Yung, F., and Matsumoto, Y. (2013). "Construction of English MWE Dictionary and its Application to POS Tagging." In Proceedings of the 9th Workshop on Multiword Expressions, pp. 139-144, Atlanta, Georgia, USA. Association for Computational Linguistics.

## 略歴

加藤明彦：2002 年, 東京大学理学部物理学科卒業. 2004 年, 同大学院理学系研究科物理学専攻修士課程修了. 同年, (株) システム計画研究所入社. 2016 年, 奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 現在, 同大学院先端科学技術研究科情報科学領域博士後期課程在学中.
進藤裕之：2009 年, 早稲田大学先進理工学研究科博士前期課程修了. 同年, NTTコミュニケーション科学基礎研究所入所. 2013 年, 奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2014 年より現在まで，奈良先端科学技術大学院大学先端科学技術研究科助教. これまで, 主に自然言語処理や機械学習の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

松本裕治：1977 年, 京都大学工学部情報工学科卒. 1979 年, 同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. 1984 85 年, 英国インペリアルカレッジ客員研究員. 1985 87 年, (財) 新世代コンピュータ技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る。2016 年 9 月より理研 AIP 知識獲得チーム PI 兼務. 工学博士. 専門は自然言語処理. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.