# 論文
## 語系列の類似性・可換性の特徴表現による並列句の範囲同定

\author{
寺西裕紀 $^{\dagger} \cdot$ 進藤裕之 ${ }^{\dagger} \cdot$ 松本裕治 $\dagger$
}

並列構造解析の主たるタスクは並列する句の範囲を同定することである．並列構造は文の構文・意味の解析において有用な特徴となるが, これまで決定的な解析手法が確立されておらず，現在の最高精度の構文解析器においても誤りを生じさせる主たる要因となっている．既存の並列句範囲の曖昧性解消手法は並列構造の類似性のみの特性や構文解析器の結果に強く依存しているという問題があった。本研究では,近年自然言語解析に広く使用されているリカレントニューラルネットワークを用いて，構文解析の結果を用いずに単語の表層形と品詞情報のみから並列句の類似性と可換性の特徴ベクトルを計算し, 並列構造の範囲を予測する手法を提案する. Penn Treebank と GENIA コーパスを用いた実験の結果, 提案手法によって先行研究を上回る解析精度を得た。

キーワード：並列構造解析，並列句の類似性，並列句の可換性，構文解析

## Similarity and Replaceability Feature Representations of Word Sequences for Identifying Coordination Boundaries

\author{
Hiroki Teranishi $^{\dagger}$, Hiroyuki Shindo $^{\dagger}$ and Yuji Matsumoto ${ }^{\dagger}$
}

The task of coordinate structure analysis is to identify coordinating phrases called conjuncts. Although coordination reveals a large amount of syntactic and semantic information, it is one of the difficulties that state-of-the-art parsers cannot cope with. Some existing approaches are based only on the similarity of conjuncts while others rely heavily on syntactic information obtained by external parsers. Here, we propose a neural network model for identifying coordination boundaries. This model is composed of recurrent neural networks, which are widely used in natural language processing. Our method considers two properties of conjuncts, i.e., similarity and replaceability, and predicts the spans of the coordinate structures without using syntactic parsers. We further demonstrate that the proposed model outperforms the existing state-of-the-art methods for the Penn Treebank and GENIA corpus.

Key Words: Coordinate Structure Analysis, Similarity of Conjuncts, Replaceability of Conjuncts, Syntactic Parsing


## 1 はじめに

並列構造は等位接続詞などの句を連接させる働きのある語にともなって, 句や文が並列して出現する構造である。並列構造は自然言語において高い頻度で現れるが, 並列構造が包含する句の範囲には曖昧性があり，また並列構造によって 1 文が長くなるため, 自然言語解析を困難にしている主な要因となっている。近年, 句構造や依存構造などの構文解析の手法は顕著に発展してきているが, 並列構造を高い精度で解析する決定的な手法は確立されていない. 並列構造の曖昧性が解消されることで構文解析の誤りを減らすだけではなく, 科学技術論文の解析や文の要約，翻訳など広い範井のアプリケーションでの利用が期待される.

並列構造の構成要素である個々の並列句には二つの特徴がある。一つは並列構造内の個々の並列句はそれぞれ類似した意味・構造となる特徵であり，もう一つはそれぞれの並列句の入れ替え・省略を行っても文法上の誤りが生じることや元の文意を損なうことがなく, 文として成立するという特徴である. 並列句の範囲を同定する夕スクにおいて, 従来の研究では並列構造を同定するための重要な手がかりのうち, 並列句の候補となる句のぺアの類似度に基づくモデルが提案されてきた (Kurohashi and Nagao 1994; Shimbo and Hara 2007; Hara, Shimbo, Okuma, and Matsumoto 2009; Hanamoto, Matsuzaki, and Tsujii 2012). しかしながら, 並列句は必ずしも類似するとは限らず，異なる種類の句が並列した場合や動詞句や文の並列では並列句はしばしば非類似となり，類似性のみを利用した手法では非類似の並列句をとらえることができなかった。また従来手法では類似度の計算に構文情報やシソーラスを用いて人手で設計された素性を利用しており，素性設計のコストや外部リソースの調達コストの点で問題がある.

これらの問題を克服するために, Ficler ら (Ficler and Goldberg 2016b) は, 並列句の類似性のみならず可換性に着目し, ニューラルネットワークによって類似性・可換性の特徴ベクトルを計算し, 並列句範囲の同定を行うモデルを提案した. Ficler らの手法では外部の構文解析器を用いて並列句範囲の候補を抽出したのち, 候補に対してスコア付けをして範囲を同定するというパイプライン処理を行っている. Ficler らの手法は Penn Treebankでの並列句範囲の同定のタスクにおいて, 既存の句構造の構文解析器を上回る精度を達成し, GENIAコーパスにおいても新保ら (Shimbo and Hara 2007), 原ら (Hara et al. 2009)の並列句の類似性に基づく手法より高い性能を発揮した. Ficler らの手法は従来の手法の欠点であった非類似となる並列句の範囲をとらえられない点や人手による素性設計のコストの点をいくらか解決しているものの, 外部の構文解析器の出力に強く依存しており, 解析器の誤りに起因する誤り伝搬やパイプライン処理による解析速度の低下の点で課題が残っている。

本研究では, 単語の表層形と品詞情報のみから並列句の類似性・可換性の特徴を抽出し, 並列構造の範囲を同定する手法を提案する。また句を結びつける働きを持つかどうかが曖昧である語に対して, 連接する並列句が存在しない場合の取り扱いや, 並列句が存在しない場合を検
出する方法についても示す. 提案手法では, 近年自然言語の解析で広く用いられている双方向型リカレントニューラルネットワークを使用して候補となる並列句の文脈情報を考慮した類似性・可換性の特徵ベクトルを計算する，実験の結果，Penn Treebankにおける並列句の範囲同定のタスクにおいて，構文情報を用いない提案手法が構文情報を利用した既存手法と同等以上の F 值を得た。さらに GENIA コーパスにおいては，類似となる傾向の高い名詞句の並列，非類似となる傾向の高い文の並列の両方について，提案手法が既存手法を上回る再現率を達成したことを示す。提案手法の貢献は, Ficler らの手法のような構文解析の結果に依存したパイプライン処理やニューラルネットワークのアーキテクチャを使用することなく, 原らの手法で課題となっていた非類似となる並列句の範囲同定の再現率を向上させ，全体として既存手法と同等以上の解析精度を達成したことである.

## 2 並列構造解析

本稿では, 句を連接する働きを持つ可能性のある語を並列キーと呼び, “ word $_{\text {position }}$ の形式で表す。並列キーに属する語として主に等位接続詞が挙げられるが，英語の but が等位接続詞のほかに前置詞となる場合があるように，等位接続詞以外の品詞となり得る語は語の表層形から並列キーが句を連接する働きがあるかどうかを判別することは必ずしもできない. 並列キー が句を連接している場合, 結びつけられる句を並列句と呼び, 並列キーと並列句から成る一連の語句を並列構造と呼ぶ. 反対に並列キーが句を連接する働きがない場合は並列キーによって結びつけられる句や対応する並列構造は存在しない. また, 文頭の並列キーは品詞が等位接続詞の場合であっても後続の句と並列関係にある句が文内に存在しないため, 並列キーは文内において句を連接する働きがないと見なし, 対応する並列構造を持たないものとする.

## 2.1 並列構造の解析の困難さ

並列句が包含する語の範囲は構文上一意に決まる場合があるが，文の意味や前後の文脈から決定づけられることが多い. 並列構造の範囲が曖昧であることに起因して, 並列構造を有する文は構文・意味の面においても複数の解釈がされ得る。並列構造は範囲・構文・意味の非一意性を持つばかりではなく，次の二つのような解析の困難性を有している（図 1）.

（i） 並列キーが句を連接する場合と連接しない場合があり，連接する場合であっても一つの並列キーによって連接される句は必ずしも並列キーの前後の二つの句に限定されず，三つ以上の句を伴う場合がある.

(ii) 文中に複数の並列構造が現れる場合があり, さらには一方の並列構造が他方の並列構造の句に含まれるような入れ子構造となるケースがある.
(i) の性質によって, 並列構造の解析には並列キーに隣接する句だけではなく, 隣接する句に連なる句が同一の並列構造に属するかを考慮する必要性が生じる。また, 並列キーが等位接続の役割を果たさない場合に並列キーに対する並列句の数は 0 となり, 並列キーに対する並列句の出現数が必ず二つ以上となるような限定ができない. (ii)については, 文中に出現する並列キー の数は文によって異なっており, 複数の並列構造が出現する場合に全ての並列構造の範囲が互いに整合しているかを確認しなければならない. すなわち, 個々の並列構造の範囲を独立に確定するのではなく, ある並列構造が他の並列構造に覆われて入れ子となるか, あるいは範囲が交差せず重なり合っていない状態のどちらかになるという条件を満たすよう範囲を決定しなければならない.

## 2.2 タスクの定義

本研究で取り組む英語における並列句範囲の曖昧性解消のタスク定義について述べる。文に現れる並列キーに対して, 並列キーが等位接続の働きをし, 並列キーによって結び付けられる句がある場合にはそれぞれの句の始点と終点を返す。並列キーが並列の役割を果たさず，並列キーに連接する並列句が存在しない場合にはNONE を返す. 図 2 は夕スクの入出力の例である.例から分かるように, 本タスクで期待される出力を得るためには, 2.1 節で示したような文中の複数の並列構造, 三つ以上の並列句について取り扱える必要がある. 本研究の提案手法は文中

It was not an unpleasant evening, certainly, thanks to [the high level of performance], [the compositional talents of Mr. Douglas], $a n d_{25}$ [the obvious sincerity with which Mr. Stoltzman chooses his selection].

(a) 三つ以上の並列句が連接する例

Aside from [the Soviet economic plight] and $d_{7}$ [talks on cutting (strategic) and $_{12}$ (chemical) arms], one other issue the Soviets are likely to want to raise is naval force reduction.

(b) 並列構造が入れ子となる例

図 1 並列構造の範囲の例

入力 "But $1_{1}$ it said Charles Johnston, ISI chairman and 9 president, agreed to sell his $60 \%$ stake in ISI to Memotec upon completion of the tender offer for a combination of cash, Memotec stock and $_{37}$ debentures."

出力 but $_{1}:$ NONE

and $_{9}:(8,8)$ chairman ; $(10,10)$ president

and $_{37}$ : $(33,33)$ cash ; $(35,36)$ Memotec stock ; $(38,38)$ debentures

図 2 タスクの入出力の例

の複数の並列構造を検出し, 各々の並列構造に属する並列句の範囲同定を行うことができるが,複数の並列構造の範囲が競合しないような制約を満たすには至っていない. また，三つ以上の並列句についても範囲同定ができるものの，並列キーに前出する並列句が二つ以上出現する場合はそれらを結合して一つの並列句として見なして学習をし，範囲同定を行う際に個々の並列句に分割している。

## 2.3 並列構造の特徵

並列構造には，並列句の範囲を同定するために有用な二つの特徴がある.

（a） 類似性：同一の並列構造に属する並列句は，句の構文構造・意味の点で類似性を持つ.

（b）可換性：同一の並列構造に属する並列句は，互いに入れ替えても文の流暢性が保たれる.上記の性質についてそれぞれ例を挙げる。類似性について図 1(a) の例では， and $_{25}$ に対する並列句は全て名詞句 (NP) となっており, いずれも冠詞 (DT), 形容詞 (JJ), 名詞 (NN, NNS),前置詞 (IN) という類似の品詞系列が見られる（図 3(a)）。また可換性については, 図 1(b) の例の並列句を, “Aside from [talks on cutting (chemical) and $d_{12}$ (strategic) arms] and 7 [the Soviet economic plight], one other issue ..."と入れ替えても構文上誤りのない文として成立している （図 3(b)）．また，可換性の性質によって各々の並列句を並列構造の前後の文脈と流暢性を損なうことなく接続でき，並列句のうち一つを残して並列構造を取り除いても文として成立する.

二つの特徴は並列句の範囲を同定する強力な手がかりとなり得るが, 全ての並列構造で普遍的に利用できるわけではない，例えば同一の並列構造に属する複数の並列句が，それぞれ異なる種類の句であったり，文の並列であったりする場合は並列句の類似性は必ずしも高くない（異なる種類の句による非類似の例 : “Bill is [in trouble] and $_{5}$ [trying to come up with an excuse].",

(a) 並列句の類似性の例

1. Aside from [the Soviet economic plight], one other ...

2. Aside from [talks on cutting (strategic) arms], one other ...

3. Aside from [talks on cutting (chemical) arms], one other ...

(b) 並列句の可換性の例

図 3 並列句の特徴
文の並列による非類似の例：“[The value of the two transactions wasn't disclosed], but ${ }_{11}$ [an IFI spokesman said no cash would change hands].”)。また, 先行する並列句に出現した語が後続する並列句では省略されている場合は，適切に語を補わずに句を交換すると文の構文的な正しさが損なわれるため, 可換性が成り立つとは言えない（語の省略による非可換の例：“Honeywell's contract totaled $\$ 69.7$ million], and $d_{9}$ [IBM's $\$ 68.8$ million].").

本研究では, 類似性・可換性のどちらか一方の特徴だけを用いるのではなく, 両方を特徵量として用いることで，並列句の範囲の同定を行う.

## 3 関連研究

これまで並列構造解析の多くの研究では並列句の類似性に基づいた手法が発展してきた。日本語における並列句の範囲同定のタスクにおいて，黒橋ら (Kurohashi and Nagao 1994) は並列句の類似度計算にチャートを用い, 動的計画法によって並列構造の検出と範囲の同定を行った。新保ら (Shimbo and Hara 2007) は英語の並列構造解析において, 系列アラインメントと単語・品詞・形態情報に基づく素性により，並列句の内部の複数単語間の類似度を動的計画法を用いて計算した．黑橋らの手法においてチャートの経路に付与されるスコアはあらかじめ定義された少数のルールに基づくスコア関数によって付与されていたのに対し，新保らの手法では編集グラフの枝と頂点に与えられるスコアは人手で設計された素性の重み付き線形和で表され，重みのパラメータの調整は機械学習の手法であるパーセプトロンが用いられた．新保らのモデルは入れ子となる並列構造を扱うことができなかったが, 原ら (Hara et al. 2009) は新保らの手法を拡張し，並列構造を木として導出するためのルールを設けることで，複数の並列構造・三つ以上の並列句について取り扱った。原らの手法では個々の並列構造に対して並列句の類似度を計算し, 複数の並列構造のスコアの総和が最も高くなるような並列構造の範囲の組み合わせを文全体の並列構造の木として解析した. 花元ら (Hanamoto et al. 2012) は HPSG の構文解析器を拡張し，原ら（Hara et al. 2009）のモデルと組み合わせて使用し，並列句の範囲を双対分解を用いて同定する手法を提案した。

類似度に基づく並列構造解析の手法に対して, Ficler ら (Ficler and Goldberg 2016b) は並列句の類似度に加えて並列句の可換性についても並列句候補のスコア計算の素性として取り入れた. Ficlerらの手法は三つのコンポーネントから成り立っており，並列構造の検出のための二值分類器, 並列句の範囲の候補を抽出するための外部の構文解析器 (Berkeley Parser (Petrov, Barrett, Thibaux, and Klein 2006)), 並列句候補のスコア計算によって範囲を一意に決定する識別器という構成となっている。並列句候補のスコア計算に打いては，人手で設計した素性ではなくニューラルネットワークを用いることで素性設計のコストの問題を克服している。類似度計算には Berkeley Parserによって出力された構文情報を用いて並列句候補をべクトル表現と

して算出し, ベクトル同士のユークリッド距離を求めており, グラフを用いた類似度計算手法に比べて計算量が削減されている。可換性については，まず並列句のうち一つを残して並列構造を取り除いて元の文を簡易化した新たな文として取り出すという手順を，並列構造に属する二つの並列句に対してそれぞれ適用することで二つの文を得る。次にそれら二つの文を双方向型 LSTM によって処理をし，出力された隠れ状態べクトルを並列句の接続部分の文脈情報を考慮した素性ベクトルとして使用している。類似性と可換性の特徵に加えて Berkeley Parser の出力から並列句の候補を生成した際の確率値や候補の順位なども追加の素性としてスコア計算に用いている. Ficler らの手法は GENIA コーパスにおいて原らの類似度に基づく手法を上回る精度を達成しているが，素性べクトルの計算において構文情報に依存しているため，三つのコンポーネントの誤り伝搬や外部の構文解析器への依存の点で課題が残る. Ficler らは, (1) 類似

性, (2) 可換性, (3) 候補の生成確率に基づく順位に関連する素性の三つの素性をそれぞれ一つずつ用いてスコア計算をした場合について比較実験をしており，(3) のみを用いる場合の精度が (1) または $(2)$ のみを用いる場合の精度よりも高いことを報告している．ただし構文解析の結果に基づく候補の抽出は共通して行われており, 構文解析を利用しない場合は候補の抽出や (1), (3) の素性は利用できないため, Ficler らが報告している数値よりも精度が下がることが考えられる。しかしながら, 構文解析器や解析対象のドメインの変更などによって構文解析の精度が変化した際に, Ficler らの手法がどの程度影響を受けるかについては定量的な分析がされておらず，また我々のほうでも定性的な分析をするに留まった1.

河原ら (Kawahara and Kurohashi 2008)は類似度の素性を用いずに依存構造と格フレームに基づいて並列句の生成確率を学習し, 範囲の同定を行っている。吉本ら (Yoshimoto, Hara, Shimbo, and Matsumoto 2015) はグラフベースの依存構造解析の手法を拡張し, 依存構造解析とともに並列構造の範囲を同定するアルゴリズムを提案している.

## 4 提案手法

本研究では並列キーに対して個々の並列句の範囲ではなく並列構造全体の範囲を直接的に同定する。すなわち，並列キーに先行する並列句の終点を並列キーの直前，並列キーに後続する並列句の始点を並列キーの直後に仮定を置き, 並列構造全体の始点と終点のみを提案モデルで学習・推定する。また, 英語においては並列キーに先行する並列句は, カンマを伴って二つ以上出現する場合があるが，その場合においては最初に出現する並列句の始点と並列キーの直前に出現する並列句の終点をスパンとする一つの並列句と見なすことでモデルを適用する（図 2 の $\operatorname{and}_{37}$ の例：先行する並列句 $(33,36)$ cash, Memotec stock; 後続する並列句 $(38,38)$ debentures;
^{1}$ Berkeley Parser の改変部分や実験設定についての詳細を得ることができず，再現実験をすることができなかった.
}
並列構造全体の始点・終点 $(33,38)$ ). ただし, これらの仮定は並列句の範囲の可能な組み合わせを制限し，計算量を削減するために行っているため，並列句の始点・終点の制限をなくして並列キーに先行する二つ以上の並列句の各々の範囲を同定する手法として，本研究のモデルを適用することは可能である².

語数 $N$ の文 $x=\left.\{x_{1}, x_{2}, x_{3}, \ldots, x_{N}\right.\}$ における並列キー $x_{k}$ に対して, 並列キーに先行する並列句を $s_{1}=\left.\{x_{i}, \ldots, x_{k-1}\right.\}(1 \leq i \leq k-1)$, 後続する並列句を $s_{2}=\left.\{x_{k+1}, \ldots, x_{j}\right.\}(k+1 \leq j \leq N)$ と書き表す。また，並列キー $x_{k}$ に連接する並列句が存在しない場合は並列句の範囲のぺアを NONE として表す。提案手法では, 並列構造全体の始点 $i$ と終点 $j$ の全ての可能な組み合わせ （並列句が存在しない場合のNONE を含む）についてスコア計算を行い，最もスコアの高い組み合わせを二つの並列句の範囲 $(i, k-1),(k+1, j)$ とし, NONE のスコアが最も高い場合は並列句が存在しないものとする。並列キーに隣接するカンマは並列句の始点・終点ではなく並列キー の一部として見なされるため，解析・評価時には並列キーの直前・直後のカンマを並列キーに含むものとして範囲の修正をする。また，モデルが学習・予測した二つの並列句の範囲に対して，並列キーに先行する並列句の範囲からカンマを区切り文字として個々の並列句の範囲の復元をし，評価を行う。

図 4 は本研究で用いるニューラルネットワークのアーキテクチャの概要である. 提案モデルは以下の四つの部分で構成される。

図 4 提案手法で用いるニューラルネットワークのアーキテクチヤの概要
\left(N^{2}\right)$ に対し, 配列句の範囲の制限をなくしてカンマを区切り文字として先頭の並列句の範囲と終端の並列句の範囲を求める場合の計算量は $\mathcal{O}\left(N^{4}\right)$ となる.
}
入力層： 単語・品詞の one-hot ベクトルからなる系列に分散表現のベクトルを割り当てる.

RNN 層：双方向型リカレントニューラルネットワーク（双方向型 RNN）により, 単語・品詞のベクトルの系列から文脈情報を考慮した隠れ状態のベクトルの系列を取り出す.

特徵抽出関数： 並列構造の範囲の可能な組み合わせについて, 双方向型 RNN の出力を用いて特徵ベクトルを抽出する。

出力層： 個々の並列構造の範囲の候補に対して, 特徴ベクトルからスコア計算を行う.以降の小節ではこれらのネットワーク構造の詳細について説明をする.

## 4.1 入力層

提案モデルはまず，語彙数次元の one-hot ベクトルで表された単語・品詞の系列を入力として受け取り, 埋め达み表現 (Bengio, Ducharme, Vincent, and Jauvin 2003)として知られる分散表現のベクトルの系列に変換する。これらの単語・品詞の実数値のベクトルは連結されて次の層の入力として渡される。

$
\begin{aligned}
\mathbf{h}_{t}^{\text {word }} & =W^{\text {word }} \mathbf{x}_{t}^{\text {word }} \\
\mathbf{h}_{t}^{\text {tag }} & =W^{\text {tag }} \mathbf{x}_{t}^{\text {tag }} \\
\mathbf{h}_{t}^{(0)} & =\left[\mathbf{h}_{t}^{\text {word }} ; \mathbf{h}_{t}^{\text {tag }}\right] \\
\mathbf{h}^{(0)} & =\left.\{\mathbf{h}_{1}^{(0)}, \ldots, \mathbf{h}_{N}^{(0)}\right.\}
\end{aligned}
$

ここで $\mathbf{x}_{t}^{w o r d}$ は単語系列の $t$ 番目の語, $\mathbf{x}_{t}^{t a g}$ は品詞系列の $t$ 番目の品詞を指す one-hot ベクトルである．また， W ${ }^{\text {word },} W^{\text {tag }}$ はそれぞれ単語, 品詞の分散表現を表すべクトルから成るパラメータの行列である.

## 4.2 RNN 層

分散表現のベクトル系列は多層の双方向型 RNN によって RNN の隠れ状態のベクトル系列に変換される. 双方向型 RNN は時系列の入力を過去から未来の方向と未来から過去の方向へ順次計算を行う。提案手法ではこのネットワークを用いて左から右（順方向）の文脈と右から左 （逆方向）の文脈の情報を取り出し, 後のネットワークでの計算に利用する．多層双方向型 RNN の第 $\ell$ 層の時刻 $t$ における順方向の隠れ状態べクトル $\mathbf{h}_{\ell, t}^{f}$ は, 同じ層の直前の時刻 $t-1$ における順方向の隠れ状態ベクトル $\mathbf{h}_{\ell, t-1}^{f}$ と直前の層の同一時刻 $t$ における隠れ状態ベクトル $\mathbf{h}_{\ell-1, t}$ から計算される。

$
\mathbf{h}_{\ell, t}^{f}=f\left(\mathbf{h}_{\ell, t-1}^{f}, \mathbf{h}_{\ell-1, t}\right)
$

第 $\ell$ 層の時刻 $t$ における逆方向の隠れ状態べクトル $\mathbf{h}_{\ell, t}^{b}$ も同様に計算される. 本研究で用いる多層双方向型 $\mathrm{RNN}$ は層ごとの出力で順方向の隠れ状態ベクトルの系列 $\left.\{\mathbf{h}_{\ell, t}^{f}\right.\}_{t=1}^{N}$ と逆方向の隠

れ状態べクトルの系列 $\left.\{\mathbf{h}_{\ell, t}^{b}\right.\}_{t=1}^{N}$ が各時刻 $t$ で連結され, 次の層の入力値として用いられる.

一般にRNN は以下に表現されるような関数 $f$ を持つ.

$
f\left(\mathbf{x}_{t}, \mathbf{h}_{t-1}\right)=g\left(W \mathbf{x}_{t}+U \mathbf{h}_{t-1}\right)
$

ここで関数 $g$ は双曲線正接関数 $\tanh$ や正規化線形関数 ReLU などの任意の非線形関数であり, $W, U$ はパラメータ行列である. RNN は勾配消失の問題から学習が困難であるため (Pascanu, Mikolov, and Bengio 2013), 本研究では RNN の関数 $f$ に代わって LSTM (Long Short-Term Memory) (Hochreiter and Schmidhuber 1997)を用いる.

## 4.3 特徵抽出関数

特徴抽出関数のレイヤーでは, 双方向型 $\mathrm{RNN}$ の出力系列 $\left.\{\mathbf{h}_{t}\right.\}_{t=1}^{N}$ を用いて並列構造の並列キーに先行する並列句候補と後続する並列句候補のべクトル表現を計算し, 類似性に基づく特徵ベクトルと可換性に基づく特徴べクトルの二つの特徴ベクトルを出力する. 並列構造の並列キーに先行する並列句候補のベクトル表現 $\mathbf{v}_{i}^{\text {pre }}$ と後続する並列句候補のベクトル表現 $\mathbf{v}_{j}^{\text {post }}$ は関数 $f_{\text {pooling }}$ から計算される。本研究では, 関数 $f_{\text {pooling }}$ としてべクトルの要素ごとの平均をとる関数を用いる.

$
f_{\text {pooling }}\left(\mathbf{h}_{l: m}\right)=\operatorname{average}\left(\mathbf{h}_{l}, \mathbf{h}_{l+1}, \ldots, \mathbf{h}_{m-1}, \mathbf{h}_{m}\right)
$

したがって, $\mathbf{v}_{i}^{\text {pre }}$ と $\mathbf{v}_{j}^{\text {post }}$ はそれぞれ以下のように表される.

$
\begin{gathered}
\mathbf{v}_{i}^{\text {pre }}=f_{\text {pooling }}\left(\mathbf{h}_{i: k-1}\right) \quad(1 \leq i \leq k-1) \\
\mathbf{v}_{j}^{\text {post }}=f_{\text {pooling }}\left(\mathbf{h}_{k+1: j}\right) \quad(k+1 \leq j \leq N)
\end{gathered}
$

ベクトル $\mathbf{v}_{i}^{\text {pre }}, \mathbf{v}_{j}^{\text {post }}$ は次小々節に定義される特徴抽出関数に入力される.

## 4.3.1 類似性に基づく特徴ベクトル

並列構造の並列キーに先行する並列句候補と後続する並列句候補の類似性に基づく特徴べクトルは以下のように計算される。

$
f_{\text {sim }}\left(\mathbf{v}_{i}^{\text {pre }}, \mathbf{v}_{j}^{\text {post }}\right)=\left[\left|\mathbf{v}_{i}^{\text {pre }}-\mathbf{v}_{j}^{\text {post }}\right| ; \mathbf{v}_{i}^{\text {pre }} \odot \mathbf{v}_{j}^{\text {post }}\right]
$

ここで $\left|\mathbf{v}_{i}^{\text {pre }}-\mathbf{v}_{j}^{\text {post }}\right|$ はべクトルの要素ごとの差の絶対值であり, $\mathbf{v}_{i}^{\text {pre }} \odot \mathbf{v}_{j}^{\text {post }}$ はべクトルの要素ごとの積である。これらの差と積の演算は二つのべクトルの距離と関連性をモデル化するために用いている (Ji and Eisenstein 2013; Tai, Socher, and Manning 2015; Hashimoto, Xiong, Tsuruoka, and Socher 2017).

## 4.3.2 可換性に基づく特徵ベクトル

可換性に基づく特徴べクトルは以下のように定義をする。

$
\begin{aligned}
& f_{r e p l}\left(\mathbf{h}_{1: N}, i, j, k\right)= \\
& \quad\left[\left|\mathbf{h}_{i-1} \odot \mathbf{h}_{i}-\mathbf{h}_{i-1} \odot \mathbf{h}_{k+1}\right| ;\right. \\
& \left.\quad\left|\mathbf{h}_{j} \odot \mathbf{h}_{j+1}-\mathbf{h}_{k-1} \odot \mathbf{h}_{j+1}\right|\right]
\end{aligned}
$

ここで $\mathbf{h}_{i-1}$ は並列構造の直前の語における文脈を表すべクトルであり, 二つの並列句候補 $(i, k-1)$ と $(k+1, j)$ が可換であれば，それぞれの並列句候補の先頭の語 $i, k+1$ と流暢性を損なわず結びつくと考えられる。また $\mathbf{h}_{j+1}$ は並列構造の直後の語における文脈を表すべクトルであり, 同様に各並列句候補の末尾の語に接続される. 1 番目の差 $\left|\mathbf{h}_{i-1} \odot \mathbf{h}_{i}-\mathbf{h}_{i-1} \odot \mathbf{h}_{k+1}\right|$ は並列構造の直前の文脈と二つの並列句候補の始点との接続の差を表している． 2 番目の差 $\left|\mathbf{h}_{j} \odot \mathbf{h}_{j+1}-\mathbf{h}_{k-1} \odot \mathbf{h}_{j+1}\right|$ は並列構造の直後の文脈と二つの並列句候補の終点との接続の差を表している．これらの差は二つの並列句候補の交換のしにくさ（コスト）を表していると解釈できる。また, 並列構造が文の先頭で始まる場合 $(i=0)$, 関数 $f_{r e p l}\left(\mathbf{h}_{1: N}, i, j, k\right)$ が返すべクトルのうち, $\left|\mathbf{h}_{i-1} \odot \mathbf{h}_{i}-\mathbf{h}_{i-1} \odot \mathbf{h}_{k+1}\right|$ をゼロベクトルとし, 文の末尾で終わる場合 $(j=N)$ は $\left|\mathbf{h}_{j} \odot \mathbf{h}_{j+1}-\mathbf{h}_{k-1} \odot \mathbf{h}_{j+1}\right|$ をゼロべクトルとする.

## 4.4 出力層

出力層では並列構造の範囲の候補に対して類似性・可換性に基づく特徵ベクトルに基づいてスコア計算を行う. 出力層のニューラルネットワークは計算ユニットを持つ層が順方向に多層に接続された多層パーセプトロン (MLP) から成る。並列キーに先行する並列句候補 $(i, k-1)$ と後続する並列句候補 $(k+1, j)$ のぺアに対するスコアは以下のように計算される.

$
\begin{aligned}
& \operatorname{Score}(i, j)= \\
& \operatorname{MLP}\left(\left[f_{\text {sim }}\left(\mathbf{v}_{i}^{\text {pre }}, \mathbf{v}_{j}^{\text {post }}\right)\right.\right. \\
& \left.\left.f_{\text {repl }}\left(\mathbf{h}_{1: N}, i, j, k\right)\right]\right)
\end{aligned}
$

また，並列キーに対して並列構造が存在しない場合を考慮するために，範囲の候補 NONE ついてもスコアの計算を行う. NONEのスコアは並列キーに対する RNN 層の隠れ状態べクトル $\mathbf{h}_{k}$ に重みべクトルを乗ずることで求める.

$
\operatorname{Score}(\mathrm{NONE})=\mathbf{w} \cdot \mathbf{h}_{k}+\mathbf{b}
$

これらのスコア関数を用いて並列句の全ての可能な範囲の組み合わせ $(i, j)$ に対してスコアを計算する。したがって, 文の長さを $N$, 並列キーの出現位置を $k$ 番目の語とおいた場合, 並列
句の範囲の組み合わせの候補は全部で $(k-1) \times(N-k)+1$ 個得られ, それらのうち最もスコアの高い候補を softmax 関数によって求めてモデルが最終的に出力する並列句の範囲とする.

$
\begin{aligned}
\mathbf{s}= & {[\operatorname{Score}(\mathrm{NONE}) ; \operatorname{Score}(1, \mathrm{k}+1) ; \ldots ;} \\
& \operatorname{Score}(1, \mathrm{~N}) ; \ldots ; \operatorname{Score}(k-1, N)] \\
\hat{p_{\theta}}(y \mid x)= & \operatorname{softmax}(\mathbf{s}) \\
\hat{y}= & \arg \max _{y}\left(\hat{p_{\theta}}(y \mid x)\right)
\end{aligned}
$

ただし， $\theta$ をパラメータの集合， $x$ を単語系列・品詞系列から成る文, $y$ を並列句範囲の組み合わせとする。

## 4.5 学習

モデルの学習には各並列キーに対する並列構造の予測範囲と正解範囲との交差エントロピー 誤差を損失関数として用いる.

$
J(\theta)=-\sum_{d=1}^{D} \log \hat{p_{\theta}}\left(y^{(d)} \mid x^{(d)}\right)+\frac{\lambda}{2}\|\theta\|^{2}
$

ここで $D$ はトレーニングのデータセットにおける並列キーの出現数であり， $x^{(d)}$ を単語系列・品詞系列から成る文の集合中の 1 事例， $y^{(d)}$ を並列句範囲の正解となる組み合わせの集合中の 1 事例とする。また， $\theta$ はモデルのパラメータの集合， $\lambda$ は L2 正則化の強度を調整するハイパー パラメータである。モデルのパラメータ $\theta$ は損失関数を確率的勾配降下法 (SGD) によって最小化することによって最適化する。

## 5 実験

本研究では提案手法の評価実験を並列構造のアノテーションが付与された Penn Treebank コーパス (Ficler and Goldberg 2016a)と GENIA コーパス (beta) (Kim, Ohta, Tateisi, and Tsujii 2003) で行う．各コーパスにおける評価対象となる並列キーの出現数と文数を表 1 にまとめる.なお, 先行研究との比較のため, Penn Treebankの並列キーは “and”, “or”, “but”, “nor”, "and/or"3とし, GENIAコーパスの並列キーは “and", "or", "but”とする (Ficler and Goldberg 2016b; Hara et al. 2009).

表 1 コーパスにおける並列キーの出現数

括弧内は実際に並列構造が存在する場合のみの集計.

## 5.1 Penn Treebankでの実験

## 5.1.1 実験設定

Penn Treebank での実験には，コーパスの Wall Street Journal のパートのうち, セクション 2 から 21 を訓練データ，セクション 22 を開発データ，セクション 23 を評価データとして用いた.単語の分散表現には English Gigaword コーパス第 5 版 (Parker, Graff, Kong, Chen, and Maeda 2011)の New York Times パートを Word2Vec 4 のデフォルトのパラメータで事前に学習した 200 次元のベクトル表現を用いた. 品詞は Stanford Parser (Toutanova, Klein, Manning, and Singer 2003)を用いて訓練データに対する 10 分割ジャックナイフ法にて付与し, 品詞の分散表現として区間 $[-1,1]$ の一様分布でランダムに初期化をした 50 次元のベクトルを用いた． RNN 層には 3 層の双方向型 LSTM を用い, 各単方向の LSTM の隠れ状態のベクトルの次元数は $\{400,600\}$次元から選択した。出力層は隠れ層を 1 層とし, 活性化関数には ReLUを使用した。また, 隠れ層のユニット数は $\{1,200,2,400\}$ から選択した. モデルのパラメータはバッチサイズ 20 のミニバッチを利用した確率的勾配降下法で最適化を行った。学習率は Adam (Kingma and Ba 2014) によって自動調整した. モデルの訓練時には入力層の出力, 1 層目を除くRNN 層の入力, 出力層の隠れ層に Dropout (Srivastava, Hinton, Krizhevsky, Sutskever, and Salakhutdinov 2014) を適用した. Dropoutの適用ユニットの比率は $\{0.33,0.50\}$ から選択した. L2 正則化の強度 $\lambda$ は $\{0.0001,0.0005,0.001\}$ から選択した。学習のイテレーション数は 50 とし, 開発データにおける F1のスコア5が最も高いモデルとハイパーパラメータの設定を評価データでの評価に用いるモデルとして採用した。最終的なハイパーパラメータの設定は表 2 のとおりである.

## 5.1.2 評価指標

本研究では, 並列構造に属する並列句の始点・終点の一致について, 四種類の一致基準で評価を行う（図 5 ）.
^{4}$ https://code.google.com/archive/p/word2vec/

5 モデルの選択に用いた $\mathrm{F} 1$ スコアは複数の並列句のうち最初の並列句の開始位置と最後の並列句の終了位置の適合率・再現率の調和平均（whole の評価）によるものとする（後述）.
}
表 2 Penn Treebank の実験に使用した最終的なハイパーパラメータの設定

例文 "As the rally gained strength at 3:15 p.m., he [smiled broadly], [brandished his unlit cigar] and $_{18}$ [slapped Stanley Shopkorn, his top stock trader, on the back]."

正解範囲 whole: $(11,30)$

inner: $(14,17),(19,30)$

outer: $(11,12),(19,30)$

exact: $(11,12),(14,17),(19,30)$

図 5 評価方法による正解範囲の違い
- whole: 最初の並列句の始点と最後の並列句の終点の一致
- inner: 並列キーに隣接する並列句の始点・終点の一致
- outer: 最初と最後の並列句の始点・終点の一致
- exact: 全ての並列句の始点・終点の一致

whole の一致基準は並列構造全体の始点と終点の一致と同義であり, inner の一致基準は Ficler ら (Ficler and Goldberg 2016b)の手法による実験の評価で用いられているものである. また,本研究の提案モデルが学習・予測する並列構造の範囲は whole に相当するため, 個々の並列句についての評価である inner, outer, exact においては, 並列キー $k$ に先行する並列句 $(i, k-1)$ を文字 “,”によって分割して個々の並列句として評価を行っている。それぞれの一致基準について, 適合率 $(\mathrm{P}) \cdot$ 再現率 $(\mathrm{R})$ およびそれらの調和平均である $\mathrm{F}$ 値によってモデルの評価を行う。また，全ての並列構造ではなく名詞句の並列構造のみを対象として評価を行った結果についても示す 6 . 提案手法で用いた特徴抽出関数の有効性を検証するために，式 3 によって求めた二つの平均ベクトルだけを出力層でのスコア計算（式 7）に用いたモデルをベースラインとして, 特徵抽出関数の有無による実験・評価も行う.

## 5.1.3 実験結果

表 3 に実験結果を示す. whole の指標において適合率と比較して再現率が低いことから，提案手法では並列キーに対して誤って並列構造が存在しない（範囲 NONE）という予測をしてい
^{6}$ Ficler ら (Ficler and Goldberg 2016b) と同様に, NP に加えて NX の並列構造も名詞句の並列構造と見なす.
}
ると考えられる。またinnerの評価に比べて outerの評価による結果では適合率, 再現率, $\mathrm{F}$ 値のいずれも低い値となった。これは innerの評価では評価対象の並列句は並列キーに隣接しているのに対し, outer の評価では三つ以上の並列句が出現した場合に 1 番目の並列句が並列キー から離れてしまうことから, inner の評価は outer の評価と比較して範囲の予測が容易であることが理由として考えられる。

表 4 は特徴ベクトルの使用の有無による結果の違いを示している. 類似性に基づく特徴べクトルと可換性に基づく特徴ベクトルを各々使用したモデルはどちらもべースラインのモデルの性能を上回った。また両方の特徴ベクトルを使用したモデルは最も高い $\mathrm{F}$ 値を達成し，類似性・可換性に基づく特徴ベクトルを併用することは有効であった.

先行研究との実験結果（inner 評価）の比較について表 5 に示す. 全ての並列構造を対象とした実験では，先行研究のうち最も高い Ficler ら (Ficler and Goldberg 2016b)の手法を F 值で 0.11 ポイント上回り, 最高の値となる $72.81 \%$ を達成した. Ficler らの手法は句構造の構文解析器の出力結果を利用し, 並列句の始点・終点が句の境界となる並列句の範囲の候補のうち生成確率が上位のものを候補としてあらかじめ限定し, 候補とその生成確率の順位に基づく素性をニューラルネットワークの入力としてスコア計算をしている。対して提案手法では外部の構文解析器を使用せず並列句の範囲を制限することで，構文解析の結果を用いずにニューラルネッ

表 3 評価方法ごとの実験結果の比較（開発データ）

表 4 特徴ベクトルの組み合わせによる実験結果の比較（開発データ，whole 評価）

“ $f_{\text {sim }}$ ”は類似性に基づく特徵ベクトル，“ $f_{\text {repl }}$ ”は可換性に基づく特徴ベクトル，“Both”は両方の特徴ベクトルを使用したモデルを表す.
表 5 Penn Treebank での評価 (inner)

提案手法を除いた結果は Ficler ら (Ficler and Goldberg 2016b) の報告している結果より抜粋.

トワークによって範囲を同定している。また，名詞句を対象とした評価においても先行研究と同程度の結果を得た. Ficler らの手法では三つ以上の並列句については並列キーに隣接する二つの並列句の範囲を学習・予測しているのに対し, 提案手法では並列構造全体の範囲を学習したのちに個々の並列句は 5.1.2 節に示したルールによって取り出しているため, 個々の並列句の取り出し方を改善することによって先行研究の結果をさらに上回る性能を達成することが期待できる.

## 5.2 GENIA コーパスでの実験

## 5.2.1 実験設定

原ら (Hara et al. 2009), Ficler ら (Ficler and Goldberg 2016b)の手法と提案手法の性能の比較を行うため, GENIA コーパス (beta) での実験を行った。 実験設定は以下のものを除いて 5.1.1 節と同様である.
- 単語の分散表現には BioASQ (Tsatsaronis, Schroeder, Paliouras, Almirantis, Androutsopoulos, Gaussier, Gallinari, Artieres, Alvers, Zschunke, and Ngomo 2012) が提供している 200 次元のベクトル表現を使用した. これらのべクトル表現は PubMed7で入手できる生物医学系の論文のアブストラクトから Word2Vec を使って訓練したものである.
- 品詞は原ら (Hara et al. 2009) と同様にコーパスに付与されている品詞を使用し, 品詞の分散表現として区間 $[-1,1]$ の一様分布でランダムに初期化をした 50 次元のベクトルを

用いた。

・ L2 正則化の強度を決定するハイパーパラメータである $\lambda$ の値は 0.0005 とした.

・学習のイテレーション数は 20 とした.

## 5.2.2 評価指標

GENIA コーパスでの実験は原ら (Hara et al. 2009) と同様に, 個々の並列句の範囲の一致については評価をせず，並列構造全体の範囲での一致 (whole) について再現率によって評価を行う。これは，GENIAコーパスにおいては全ての並列キーに対応する並列構造が存在し，正解の範囲が NONE となるような事例が存在しないためである（表 1）。ただし，並列構造の範囲の候補から NONE を除くような変更は加えていないため，提案モデルが並列構造の範囲の予測として誤って NONE を出力することは起こり得る。提案手法の学習・予測結果と先行研究の手法による結果を直接比較することが可能であるため，本実験では 5.1 .2 節に示したような個々の並列句の取り出しは行わない. GENIA コーパスでは並列構造となっている句に対して明示的に COOD という特別なラベルが付与されており, COOD のラベルが付与されている句の種類別に提案手法の性能の評価を行った。モデルの訓練・評価には原らと同様に 5 分割交差検定によって行った.

## 5.2.3実験結果

実験結果を表 6 に示す。全ての並列構造を対象とした並列構造の始点と終点の一致の評価について, 提案手法は Ficler ら (Ficler and Goldberg 2016b) と原ら (Hara et al. 2009)の手法による再現率を上回った。また, 並列構造となる句の種類別の評価においては従来手法と比べて

表 6 GENIA コーパスでの評価（再現率）

"Ficler16", “Hara09” の実験結果はそれぞれ (Ficler and Goldberg 2016b; Hara et al. 2009)より抜粋.
文 (S) の並列において再現率が顕著に上回った。動詞句 (VP) や従属節 (SBAR) においても原らの手法よりも高いスコアとなっているが, Ficler らの手法より 10 以上低いスコアとなった.並列句が類似する傾向が高い名詞句 (NP) の並列については最も高い再現率を達成した．提案手法の動詞句の誤りについて分析をしたところ，正解の範囲が “... has been [developed] and [compared with] a common ..." であったのに対し, モデルの予測範囲が “... [has been developed] and [compared with] a common ..."となるような，助動詞を並列句に含むか否かを誤りやすい傾向にあった．また，並列キーに後続する動詞句の直後に出現する前置詞句を並列句の範囲に含むかどうかについても誤る場合が見られた。動詞句の誤りのどちらのケースにおいても文法的には並列句が可換であるため，語法や前後の文脈をより考慮することが有効であると考えられる．文の並列と従属節については並列句の語長が長くなる傾向があるため，提案手法では並列句に含まれるカンマによって誤って並列句を分割するという傾向があった．三つ以上の並列句の範囲同定をする場合, 名詞句の並列ではカンマを区切り文字として最初と最後以外の並列句の範囲を予測しても誤りが少ないが，文や従属節の並列の場合は同格表現で使用されるカンマが含まれる場合があるため，カンマを区切り文字として並列句を分割した場合に誤ることが考えられる。

先行研究の手法と比較をすると並列句の類似性のみに着目した原らの手法では, 非類似となる傾向の高い並列句については範囲を捉えることができなかったが，提案手法では類似性に基づく特徴ベクトルのみならず可換性に基づく特徴べクトルを取り入れることで並列句の範囲同定の再現率が向上している。また, Ficler らの手法では並列句の可換性についての特徴べクトルの計算には, 並列キーに先行する並列句と並列構造の直後に出現する語句との接続, 並列キー に後続する並列句と並列構造の直前に出現する語句との接続についての演算は行われておらず，非類似だが可換である傾向の高い文において精度が低いことの一因となっている可能性がある.代わりに文の先頭から並列キーの直前までと文の末尾から並列キーの直後までを LSTM で演算を行っていることから，動詞句の並列のような文脈・語法の情報がより有効に働くと考えられる並列句の場合は，提案手法より優れた性能を発揮すると考えられる.

## 6 おわりに

本研究では，並列句の類似性・可換性の二つの性質を特徴として用い, 並列句の範囲の同定を行う手法を提案した。ニューラルネットワークによって単語の表層的な情報だけではなく文脈情報などの深層的な情報を用いることで，類似となる並列句のみならず非類似となる並列句の範囲同定でも高い性能を発揮し，英語の並列句の範囲同定のタスクにおいて先行研究を上回る再現率を達成した。提案手法は外部のシソーラスや構文解析器を必要とせず解析が行える点で貢献が大きい.
提案手法の課題として，提案手法は個々の並列句の範囲を直接的に学習・予測する手法ではないため，モデルを拡張して個々の並列句を取り扱えるようにすることが挙げられる。その際には，並列句の範囲の組み合わせが爆発的に増加するが，それらの計算量を抑えつつ，三つ以上の並列句についても同時に取り扱うことも課題として挙げられる。また，提案手法は文中の複数の並列構造の範囲について独立して学習・予測をしているため, 今後は複数の並列構造の範囲が競合しないような制約を与え，同時に解析できるよう改善する予定である.

## 謝 辞

本研究の一部は, JST CREST（課題番号：JPMJCR1513）の助成を受けて実施された.また,本研究の一部は, 情報処理学会第 232 回自然言語処理研究会 (寺西, 進藤, 松本 2017) および The 8th International Joint Conference on Natural Language Processing (IJCNLP2017) (Teranishi, Shindo, and Matsumoto 2017) で発表したものである.

## 参考文献

Bengio, Y., Ducharme, R., Vincent, P., and Jauvin, C. (2003). "A Neural Probabilistic Language Model." Journal of Machine Learning Research, 3, pp. 1137-1155.

Ficler, J. and Goldberg, Y. (2016a). "Coordination Annotation Extension in the Penn Tree Bank." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany. Association for Computational Linguistics.

Ficler, J. and Goldberg, Y. (2016b). "A Neural Network for Coordination Boundary Prediction." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas. Association for Computational Linguistics.

Hanamoto, A., Matsuzaki, T., and Tsujii, J. (2012). "Coordination Structure Analysis using Dual Decomposition." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, pp. 430-438, Avignon, France. Association for Computational Linguistics.

Hara, K., Shimbo, M., Okuma, H., and Matsumoto, Y. (2009). "Coordinate Structure Analysis with Global Structural Constraints and Alignment-Based Local Features." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 967-975, Suntec, Singapore. Association for Computational Linguistics.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1923-1933, Copenhagen, Denmark. Association for Computational Linguistics.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Ji, Y. and Eisenstein, J. (2013). "Discriminative Improvements to Distributional Sentence Similarity." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 891-896, Seattle, Washington, USA. Association for Computational Linguistics.

Kawahara, D. and Kurohashi, S. (2008). "Coordination Disambiguation without Any Similarities." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 425-432, Manchester, UK. Coling 2008 Organizing Committee.

Kim, J. D., Ohta, T., Tateisi, Y., and Tsujii, J. (2003). "GENIA corpus - a semantically annotated corpus for bio-textmining." Bioinformatics, 19 (suppl 1), pp. i180-i182.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." arXiv preprint arXiv:1412.6980.

Kurohashi, S. and Nagao, M. (1994). "A Syntactic Analysis Method of Long Japanese Sentences Based on the Detection of Conjunctive Structures." Computational Linguistics, 20 (4), pp. 507-534.

Parker, R., Graff, D., Kong, J., Chen, K., and Maeda, K. (2011). "English Gigaword Fifth Edition." LDC2011T07.

Pascanu, R., Mikolov, T., and Bengio, Y. (2013). "On the Difficulty of Training Recurrent Neural Networks." In Dasgupta, S. and McAllester, D. (Eds.), Proceedings of the 30th International Conference on Machine Learning, Vol. 28 of Proceedings of Machine Learning Research, pp. 1310-1318, Atlanta, Georgia, USA. PMLR.

Petrov, S., Barrett, L., Thibaux, R., and Klein, D. (2006). "Learning Accurate, Compact, and Interpretable Tree Annotation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 433-440, Sydney, Australia. Association for Computational Linguistics.

Shimbo, M. and Hara, K. (2007). "A Discriminative Learning Model for Coordinate Conjunctions." In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL), pp. 610-619, Prague, Czech Republic. Association for Computational Linguistics.

Srivastava, N., Hinton, G. E., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014). "Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15, pp. 1929-1958.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1556-1566, Beijing, China. Association for Computational Linguistics.

Teranishi, H., Shindo, H., and Matsumoto, Y. (2017). "Coordination Boundary Identification with Similarity and Replaceability." In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 264-272, Taipei, Taiwan. Asian Federation of Natural Language Processing.

寺西裕紀, 進藤裕之, 松本裕治 (2017). ニューラルネットワークに基づく並列句表現の学習と構造解析. 情報処理学会第 232 回自然言語処理研究会 (SIG-NL), 5 号.

Toutanova, K., Klein, D., Manning, C. D., and Singer, Y. (2003). "Feature-rich Part-of-speech Tagging with a Cyclic Dependency Network." In Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology - Volume 1, NAACL '03, pp. 173-180, Stroudsburg, PA, USA. Association for Computational Linguistics.

Tsatsaronis, G., Schroeder, M., Paliouras, G., Almirantis, Y., Androutsopoulos, I., Gaussier, E., Gallinari, P., Artieres, T., Alvers, M. R., Zschunke, M., and Ngomo, A.-C. N. (2012). "BioASQ: A Challenge on Large-Scale Biomedical Semantic Indexing and Question Answering." In AAAI Fall Symposium Series: Information Retrieval and Knowledge Discovery in Biomedical Text.

Yoshimoto, A., Hara, K., Shimbo, M., and Matsumoto, Y. (2015). "Coordination-Aware Dependency Parsing (Preliminary Report)." In Proceedings of the 14th International Conference on Parsing Technologies, pp. 66-70, Bilbao, Spain. Association for Computational Linguistics.

## 略歴

寺西裕紀：2014 年慶應義塾大学商学部卒. 同年, 株式会社アイスリーデザイン入社. Web・モバイルアプリケーションの開発・運用に従事。2018 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年, 同学先端科学技術研究科情報科学領域博士後期課程入学. 自然言語処理の研究に従事.
進藤裕之：2009 年, 早稲田大学先進理工学研究科博士前期課程修了. 同年 NTT コミュニケーション科学基礎研究所入所. 2013 年, 奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 2014 年より現在まで，奈良先端科学技術大学院大学情報科学研究科助教. これまで, 主に自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

松本裕治：1977 年京都大学工学部情報工学科卒. 1979 年同大学大学院工学研究科修士課程情報工学専攻修了. 同年電子技術総合研究所入所. $1984 \sim 85$ 年英国インペリアルカレッジ客員研究員. $1985 \sim 87$ 年（財）新世代コンピュー 夕技術開発機構に出向. 京都大学助教授を経て, 1993 年より奈良先端科学技術大学院大学教授, 現在に至る。2016 年 9 月より理研 AIP 知識獲得チーム PI 兼務. 工学博士. 自然言語理解と機械学習に興味を持つ. 情報処理学会, 人工知能学会, AAAI, ACL, ACM 各会員. 情報処理学会フェロー. ACL Fellow.

$(2018$ 年 1 月 21 日受付 $)$
$(2018$ 年 4 月 6 日再受付)
$(2018$ 年 5 月 23 日採録)