言語処理学会 第21回年次大会 発表論文集 (2015年3月)

複数の述語項構造の同時解析手法に関する調査
大内 啓樹

進藤 裕之

Kevin Duh松本 裕治

奈良先端科学技術大学院大学 情報科学研究科{ouchi.hiroki.nt6, shindo, kevinduh, matsu}@is.naist.jp
なければならない．

1 はじめにそこで，本稿では，文間にまたがるゼロ照応の解析

述語項構造解析は，述語と項の意味関係 (格関係) をに向けて，[6] の手法を利用し，当該文内の項だけでな同定するタスクであり，「誰が何を何にどうした」といく，それより前の文に含まれる項も解析対象とした場

う意味的な関係を抽出することを目的とする．従来の合の性能の調査を行う．

述語項構造解析では，各述語に対して，他の述語項との相互関係を考慮せず，独立に格関係を決定するという

2 先行研究アプローチが主流であった．しかし，述語間には意味日本語述語項構造解析研究で用いられてきたコーパ的な関連があり，述語と項の格関係を決定する上で役スの一つに，NAIST テキストコーパス [2] がある．こ立つことが期待される．例えば，次の文を考える．のコーパスは約 40,000 文の新聞記事・社説から構成さ(1) 花子に i

殴られたガ:i

病院に l入院した．ガ:j

太郎は j

れ，述語項及び照応，共参照情報が付与されている．述近くの k

語項構造の意味役割として，ガ格 (主格)，ヲ格 (対象格)，ニ格 (与格) の 3 種類が定義され，アノテーション

この例文において，「入院した．」のガ格 (主体) が「太されている．

郎」ならば，「殴った」(「殴られた」の能動態) のガ格

NAIST テキストコーパスを用いた日本語述語項構造は「花子」である可能性が高い．逆に，「入院した．
」の解析に関する代表的な先行研究として，[4] と [3] の二ガ格 (主体) が「花子」ならば，「殴った」のガ格は「太つが挙げられる．彼らは，格が付与される項を同定す郎」である可能性が高い．このように，ある述語と格関る際，述語との相対的な位置関係によって，各項を次の係にある項の決定は，他の述語項の格関係決定に影響3 つに分類し，解析結果を報告している．

を及ぼす．これらを踏まえ，[6] は，複数の述語項の関係を考慮し，文内のすべての述語のガ格が付与される係り受け有 (INTRA D) :述語と直接係り受け関項を同時に推定している．しかし，彼らの手法は解析係にある項．

対象が文内にある項のみに限られている．

文内ゼロ (INTRA Z ) : ゼロ代名詞の先行詞であり，述語と同一文内に現れる項．

日本語では，ガ格の項の省略 (ゼロ代名詞) が頻繁に現れ，それが指し示す要素 (先行詞) が当該文より前の

文間ゼロ (INTER) :ゼロ代名詞の先行詞であり，文に現れることも多い．ゼロ代名詞の先行詞を同定す

述語と異なる文に現れる項．

るタスクをゼロ照応解析と呼び，述語項構造解析と関項と述語間に係り受け関係がある場合 (INTRA D)，解連しているため，同時に行われることも多い．例えば，析が比較的容易である一方で，文内ゼロ (INTRA Z )・次の文を考える．

文間ゼロ (INTER) を対象とした解析 (ゼロ照応解析)(2) 彼女は i
しかし，時間通りに(ϕi )学校に宿題を家には困難であることが報告されている (表 1 を参照)．

着いた．ガ:i[4] は，決定リストを利用した手法を提案している．

忘れた．ガ:i(2) の例文において，「ϕi 」がゼロ代名詞であり，「彼女は i 」がその先行詞となる．そして，「忘れた．」のガ格として，ゼロ代名詞の先行詞である「彼女は i 」を求め

Support Vector Machine の学習で各素性の重みを獲得し，それらをスコア順にソートしたものを決定リス
トとし，述語項の解析に適用した．彼らは，動詞・形容― 289 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

みベクトル θ と高次元素性ベクトル ϕ(x, y) の内積によってスコアを定義する．可能な二部グラフ集合 G(x)から，スコア最大の二部グラフ ŷ を，次式のスコア関数に従って求める．

ŷ = argmax θ · ϕ(x, y)y∈G(x)

図1

二部グラフモデル

詞などの一般的な述語だけでなく，事態性名詞についても項構造解析を行っている．

スコア関数内の重みベクトル θ は，機械学習手法を利用することで推定することができる．具体的には，正[3] は，最大エントロピーモデルを述語項構造解析に利用している．最大エントロピーモデルは，様々な素性を使用可能であることが特徴であり，彼らは大規模解データから二部グラフを構成し，ŷ との誤差を少なくするよう学習する．本稿では，平均化パーセプトロン[1] を用いて，重みベクトル θ を推定した．

コーパスから獲得した言語モデルのスコアなどの文脈的な情報を利用し，高精度な解析結果を報告している．
彼らの手法は，各述語に対して，他の述語の項構造を考慮せず，項候補集合から最尤の項候補を選ぶことによって，格付与される項を独立に決定する．一方，[6]の手法は，複数の述語の項構造の相互関係を考慮し，文内におけるすべての述語に対して，項構造を同時に推定する．

また，素性として，局所的素性と大域的素性を使用した [6]．局所的素性は，1 つの項候補と述語のペア (図1 中の Local(First-order ) 構造) に対して定義される素性である．一方，大域的素性は，複数の述語項間の相互関係 (図 1 中の Global(Second-order ，Co-arg) 構造)に基づいて定義される素性である．これにより，各二部グラフに付与されるスコアは，複数の述語項の関係を考慮したものとなる．
しかし，大域的素性を用いることにより，スコア最3 複数の述語項構造の同時解析手法

大の二部グラフの探索は困難になる．その解決法とし

3.1

二部グラフモデルて，乱拓化山登り法 (Randomized Hill-Climbing) を利二部グラフモデル (図 1) は，複数の述語の項構造の相互関係を考慮することを可能にしている．[4] や [3]用し，近似的にスコア最大の二部グラフを探索する．

3.2 乱拓化山登り法と同様に，格ごとに別々にモデルを構築する．ある格が付与される項を同定する際，その項候補集合 (図 1 中の ai ) と述語集合 (図 1 中の pj ) から二部グラフのノードを構成し，各述語ノードに項候補ノードを割り当てることで，各述語の項を表現する．具体的には，解析対象となる文 x に対して，二部グラフ G(x) = (Ax , Px , Ex )を構築する．Ax ，Px ，Ex はそれぞれ，項候補集合，述語集合，エッジ集合を表す．項候補集合 Ax は項候補(ai ) から構成され，ダミー項候補 NULL を含む．ダミー
項候補は，述語が項をとらない場合や，文書中に項が乱拓化山登り法は，依存構造解析において，依存構造木の探索のために提案された手法である [5]．本研究では，[6] が乱拓化山登り法に基づいて提案した，二部グラフ探索のための手法を用いる．アルゴリズムの概要
は以下の通りである．

1. 初期二部グラフをランダムにサンプリングする．
2. 二部グラフのスコアが改善するよう，各述語ノードのエッジを一本ずつ替える．

3. どの一つの述語のエッジを替えても，それ以上スコアが向上しなくなるまで，2. を繰り返す．

ない場合に割り当てられる．述語集合 Px は，解析対象文 x 中のすべての述語 (pj ) から構成される．エッジ

このアルゴリズムを K 回繰り返し，得られた K 個の集合 Ex は，Ax と Px 間のエッジ (eai pj ) から構成さ二部グラフの中で，スコア最大のグラフを最終的な解れ，エッジは各述語の格付与される項を表す．エッジとして選ぶ．この K 回の繰り返しを，ランダムリスは，各述語 pj に対して，Ax に属するノード ai から一タートと呼ぶ．ランダムリスタートの回数が多ければ，本のみ張られる．

より良い局所解に辿り着く可能性が高くなり，解析精あるエッジ集合 Ex を持つ二部グラフ y に対して，重度向上が期待できる一方で，解析に時間を要するため，解析精度と時間のトレードオフが発生する．

― 290 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

3.3

文外の項候補の選出

開発データを使用し解析精度がほぼ収束した回数であ本研究では，ガ格の文外項 (文間ゼロ) も解析対象とる 50 回 (K = 50) に設定した．解析結果として，独立するため，解析対象の述語が含まれる文の一つ前の文に 10 回解析した結果の平均を報告する．モデルの学習に含まれる名詞句を項候補とする．これにより，正解アルゴリズムとして，ベースライン・同時解析手法どちとなるガ格の文外項の 54% ほどをカバーすることが可らも，平均化パーセプトロンを採用し，イテレーション能となる一方，項候補数が一文平均 5.4 増えるため，探数は 15 に設定し訓練した．

索が困難になることが予想される．そのため，本研究の評価実験において，既存手法と解析精度を比較する5 結果と考察ことにより，解析が有効に機能するかを明かにする．

表 1 は，評価データにおけるベースラインの手法と同時解析手法の解析結果を示している．また，実験設

4 評価実験

定などが異なるため，厳密に比較することは困難では文外項も含めた解析に [6] の同時解析手法を適用し，あるが，既存研究との比較のため，Taira et al. (2008)その有効性を調査するため，評価実験を行った．解析[4] と Imamura et al. (2009) [3] の結果も掲載する．

対象をガ格の項 (INTRA D ，INTRA Z ，INTER) に

5.1 ベースラインとの比較
同時解析手法では，係り受け有 (INTRA D) の述設定した．また，評価・解析は，文節単位で行った．

4.1

語項構造の解析結果が，F 値で 88.12% となり，ベーデータセットデータセットとして，述語項構造・共参照情報が付スラインを約 2.1 ポイント上回った．また，文内ゼ与されたコーパスである，NAIST テキストコーパス

ロ (INTRA Z )，文 間 ゼ ロ (INTER) の そ れ ぞ れ に

1.5[2] を用いた．先行研究などで採用される標準的な

お い て も ，同 時 解 析 手 法 の F 値 は 35.27%(+1.24)，

データ分割法を採用し，モデルの訓練・開発・評価を10.26%(+2.61) であり，ベースラインを上回った．こ

行った*1 [4]．の結果から，直接係り受けのある項やゼロ照応関係に実験で用いる品詞タグ，文節境界，係り受け情報はある項の格関係の決定に，同時解析手法が有効に機能

NAIST テキストコーパスに付与されているアノテーしていることがわかる．

ションを利用した．本実験では，京大格フレームやそ5.2 既存研究との比較の他の外部資源は一切利用していない．

4.2

既存研究と比較すると，直接係り受けの有る項の解ベースライン析結果においては，同時解析手法が Imamura et al.

同時解析手法と比較するためのベースラインとなる(2009) を約 1 ポイント，Taira et al. (2008) を約 13 ポ

手法として，[3] の手法を採用した．これは，各述語にイント上回った．文内ゼロに関しては，Imamura et al.

対してそれぞれの項候補とのスコアを点推定し，スコ(2009) が 50.0% であり，35.27% である同時解析手法

ア最大の項候補を選ぶことによって，格を付与する項を約 15 ポイント上回っているが，Taira et al. (2008)を決定する．素性として，[3] で使用された素性のうち，は 30.15% であり，同時解析手法が約 5 ポイント上回っ

Additional Features として定義された素性以外の基本ている．文間ゼロに関しては，Taira et al. (2008) が素性を使用する．

最も高い精度 (23.45%) を記録しており，同時解析手法

実装詳細と比べ約 13 ポイント，Imamura et al. (2009) と比べ4.3

解析の際に用いる項候補として，ベースライン・提案

約 10 ポイント上回っている．

手法どちらにおいても，文内に含まれる全文節と，当これらの結果を見ると，同時解析手法と Imamura et

該文の直前の文において主辞が名詞である文節とした．

al. (2009) の手法の解析結果において，直接係り受けが解析対象の述語は，NAIST テキストコーパスでアノ有る項の解析精度が高く (ともに 80% 後半)，文間ゼロテーションされているものを利用した．

が低い (ともに 10% 前半) という傾向が見られる．一同時解析手法におけるランダムリスタート回数は，方，Taira et al. (2008) の手法は他の手法と比べ，直接係り受けの有る項の解析精度は高くない (75.53%) が，*1 訓練には 1 月 1-11 日の記事と 1-8 月の社説，開発には 1 月12，13 日の記事と 9 月の社説，評価には 1 月 14-17 日の記事と 10-12 月の社説を利用した．

文間ゼロの解析精度は同時解析手法や Imamura et al.

(2009) の手法と比べ，10 ポイントほど高くなっている．

― 291 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

INTRA D

INTRA Z

INTER

ModelPR

F1PR

F1PR

F1

ベースライン

85.07

86.92

85.99

29.27

40.64

34.03

18.50

4.82

7.65

同時解析手法

87.79

88.46

88.12

29.92

42.96

35.27

25.16

6.44

10.26

Taira et al. (2008) [4]--75.53--30.15--23.45

Imamura et al. (2009) [3]85.288.8

87.0

58.8

43.4

50.0

47.5

7.613.1

表1

評価データを用いた解析結果．INTRA D=係り受け有．INTRA Z =文内ゼロ．INTER=文間ゼロ．P =適合率．R=再現率．F1 =F 値.

これは，同時解析手法の局所的素性として，Imamuraが，外部資源を利用していない本研究ではその情報が(2009) の使用した素性と同様の素性*2 を利用し不十分であった可能性がある．今後，格フレームなどており，手法も類似した点*3 があるため，二つの手法のの外部資源を利用した素性や，文外の項候補の有効な解析結果は同じような傾向を示したと考えられる．こ選出法などを調査したい．

et al.のことから，どのような素性や手法がどの種類の項に効果的か今後詳しく調査をしたい．

参考文献

また，文内・文間ゼロの解析において，同時解析手[1] Michael Collins. Discriminative training methods

法が高精度を達成できていない要因として，外部資源

for hidden markov models: Theory and experi-を用いていないため，語の選好性などの情報が不十分

ments with perceptron algorithms. In Proceedings

であることが挙げられる．ゼロ照応の場合，構文的手of EMNLP, pp. 1–8, 2002.

がかりが有効に働かない場合が多いため，述語と項の[2] Ryu Iida, Mamoru Komachi, Kentaro Inui, and共起情報やその他の意味的な情報が重要となる．今後，Yuji Matsumoto. Annotating a japanese text cor-

格フレームなどの外部資源を利用し，そのような情報

pus with predicate-argument and coreference re-を素性として組み込み，改善を試みたい．さらに，文間lations. In Proceedings of the Linguistic Annota-

ゼロの解析精度向上のためには，当該文より前の文かtion Workshop, pp. 132–139, 2007.

ら適切に項候補を選出する必要があると思われる．本[3] Kenji Imamura, Kuniko Saito, and Tomoko

研究のベースラインの手法や同時解析手法では，当該Izumi.

文の直前の文の名詞句を項候補としているため，よりargument structure analysis with zero-anaphora

効率的な項候補の絞り込みの方法が今後の課題となる．

resolution. In Proceedings of ACL-IJCNLP, pp.

Discriminative approach to predicate-

85–88, 2009.

6 おわりに[4] Hirotoshi Taira, Sanae Fujita, and Masaaki Na-

本稿では，文間ゼロ照応解析に向けた複数の述語項

gata. A japanese predicate argument structure

構造の同時解析手法に関して調査した．評価実験を通analysis using decision lists. In Proceedings of

して，同時解析手法は直接係り受けがある項の格関係

EMNLP, pp. 523–532, 2008.

同定において高い精度を示した．その理由として，文[5] Yuan Zhang, Tao Lei, Regina Barzilay, and内の複数の述語項構造の情報が，項構造を決定する際Tommi Jaakkola. Greed is good if randomized:に相互に有用な手がかりとして働いていることが考え

New inference for dependency parsing. In Pro-られる．一方で，ゼロ照応関係にある項の解析に関し

ceedings of EMNLP, pp. 1013–1024, 2014.ては，改善の余地がある結果となった．これは，ゼロ照[6] 大内啓樹, 進藤裕之, Kevin Duh, 松本裕治. 複数の応関係にある項と述語は統語的な手がかりが乏しいた

述語項関係を利用したゼロ照応解析. 情報処理学会

め，語彙の共起情報や意味的な情報に頼ることになる

自然言語処理研究会, NL-220, 2015.

*2 ただし，Additional Features 以外．
*3 First-order 構造の部分．

― 292 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.