言語処理学会 第24回年次大会 発表論文集 (2018年3月)

系列ラベリングを統合した遷移システムによる漸進的意味役割付与
大内 啓樹 1,2

吉野 幸一郎 1,3 中村 哲 1,2

松本 裕治 1,2奈良先端科学技術大学院大学 情報科学研究科
理化学研究所 革新知能統合研究センター AIP
3
科学技術振興機構 さきがけ

12{ouchi.hiroki.nt6,koichiro,s-nakamura,matsu}@is.naist.jp

1

はじめにShe࢝૚

意味役割付与は，「いつ，どこで，誰が，何を，誰に，makes
࢝૛

and࢝૜

repairs
࢝૝

A0

どうした」といった述語と項の関係を同定するタスク

computers .
࢝૞࢝૟

A1
A0A1である．図 1 は意味役割付与の例を示している．例え
図 1: 意味役割付与の例．

ば，述語 makes の動作主 (A0) は She であり，被動作主 (A1) は computers である．こうした解析におけるA1

先行研究の多くは，完結した文を入力されることを前She
࢝૚提としていた．これに対し，文末を待たずに，逐次的な入力に対して意味役割付与を漸進的に行う技術が注makes
࢝૛が挙げられる．こうしたシステムではリアルタイム性なる．もう 1 つの動機として，人間の言語理解過程における漸進性のモデル化が挙げられる．意味役割認識過程における漸進性は心理言語学などの分野で認識されており [11]，漸進的な意味役割付与モデルを構築することは人間の言語理解過程を明らかにする上でも重.
࢝૟A1

図 2: 逐次的入力に対する評価対象の意味役割 (単語w4 入力時) の例．

が重要な要素であり，音声認識からの逐次的な単語入力に対し，各入力時点に応じた意味役割情報が必要と

computers
࢝૞

A1
A0

対話・同時翻訳などの音声言語システムへの応用 [2, 9]

repairs࢝૝

A0

目を集めている [7]．
漸進的意味役割付与研究の動機の 1 つとして，音声and࢝૜

A1

本研究では，構文情報を用いず単語情報のみから高精度な漸進的意味役割付与を可能とする手法を提案する．提案手法は，構文解析分野で使用される遷移シス
テム (Transition-Based System) を意味役割付与のために拡張し，系列ラベリング技術を統合することによって，各時刻における意味役割付与を行う．

要である．
漸進的意味役割付与では，時刻 t までに入力された単語列 w1:t = w1 , · · · , wt に対して決定可能な意味役割を予測する．図 2 は，時刻 4 で w4 = repairs が入力された際の例を表している．ここで，述語 makes とrepairs が共に She を動作主 (A0) の項として持つことが示されている．一方，被動作主 (A1) となる単語はまだ入力されておらず，解析が保留となっている．既存研究 [7] では，木接合文法に基づいてこうした解析を行なっている．しかし，木接合文法の学習にはコストがかかり，かつ，構文解析誤りが意味役割付与の予測性能を大きく損なう問題がある．

2 提案手法
遷移型依存構造解析アルゴリズムを拡張し，漸進的意味役割付与に特化した手法を提案する．このアルゴリズムでは，入力された単語列をバッファに，述語と判断された単語をスタックに保持する．また状態遷移操作に応じ，スタックに保持された述語とバッファに保持された単語間の意味役割を予測する．本章では提案アルゴリズムについて詳述する．

― 881 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

タイプ

ShiftLabel

操作

現在の状態

次の状態

P RED

[S], [w1:t |B], [A][S|wt ], [w1:t |B], [A]N O P RED[S], [w1:t |B], [A][S], [w1:t |B], [A]

L ABEL( {pi }L1 )[S|p1:L ], [w1:t |B], [A]i[S|p1:L ], [w1:t |B], [A ∪ {y1:t}L1]

表 1: 提案手法における状態遷移操作．

2.1 遷移システム

ここで，w は h と同一次元のパラメータベクトルで遷移システムの状態 c は，(S, B, A) の三つ組で定義される．S はスタック，B はバッファ，A はラベル集合である．スタックには，「述語である」と判断された単語が積まれる．バッファには，各時刻の入力単語が入る．ラベル集合には，予測された意味役割ラベルの集合が逐次的に追加される．
遷移システムの操作は，表 1 が示す 2 つの Shift 系操作と 1 つの Label 系操作として定義される．まず，
時刻 t に新しい単語 wt がバッファの末尾へ追加され，この単語に対して Shift 系操作がなされる．Shift 系操
作の P RED は，バッファの末尾の単語 wt をスタックあり，sigmoid はシグモイド関数である．この確率が0.5 以上である場合は P RED が選ばれ，0.5 未満の場合は N O P RED が選ばれることとなる．パラメータの学
習はバイナリ交差エントロピーに基づいて行う．

Label 系操作に利用するモデル
L ABEL 操作では，スタックの各述語 p とバッファに保持された単語列 w1:t を引数とし，系列ラベリング問題として意味役割を予測する．まず，Bi-RNN を用いて単語列 w1:t に対応する特徴量ベクトル h1:t を計算する．

h1:t = Bi-RNN(w1:t , p)に積む．これは，単語 wt が「述語である」と判断された場合に行われる．一方，もう 1 つの Shift 系操作

次に，ベクトル h1:t を用いて意味役割ラベルの確率をである N O P RED は，単語 wt が「述語ではない」と判計算する．

断された場合に選ばれ，状態に変化を及ぼさず次のアy1:t = softmax(h1:t )クションである Label 系操作へと移行する．Label 系

ここで，y1:t は単語列 w1:t に対応するラベル確率ベク操作である L ABEL({pi }L1 ) は，スタックに積まれた述トル列である．つまり，各ベクトル yi の各次元 l はラ語列 p1:L の各述語 pi に対して，バッファ内にある単ベル l の確率値である．これにより，各ベクトルにお語全ての意味役割を予測する．ここで L は，スタックける確率最大のラベルを意味役割として出力する．パに積まれた述語数である．

ラメータの学習は交差エントロピーに基づいて行う．

これらの操作は一定の順序で必ず行われる．つまり，
時刻 t において単語 wt がバッファに入力された際に，2.3 解析例

Shift 系操作 1 つ (P RED または N O P RED) と Label 系
操作 1 つ (L ABEL) が順に行われる．この点が，一般的な遷移型構文解析アルゴリズムと大きく異なる．

表 2 は提案手法での解析例を示している．時刻 t はt 番目の単語がバッファに入力された時点を示している．時刻 1 でバッファに She が入力され，この単語は述語ではないため，スタックには積まれない．時刻

2.2 操作に利用するモデル

2 でバッファに makes が入力され，この単語は述語Shift 系操作に利用するモデルであるため，P RED によってスタックに積まれる．ま各時刻で行う Shift 系操作として，P RED と N O P RED

た，L ABEL(makes) によって，スタックに積まれた述のどちらかを選ぶ二値分類問題を解く．まず，バッファ語 p1 = makes に対するバッファの単語 w1:2 の意味役に保持された単語列 w1:t から特徴量ベクトル h を計1割ラベル予測が行われる．予測されたラベル列 y1:2は，算する．この計算には双方向型リカレントニューラル
ネット (Bi-RNN) [4] を用いる．

時刻 2 における述語 p1 = makes の意味役割として保存される．以降も同様に，文末まで解析が行われる．

h = Bi-RNN(w1:t )3 評価実験

次に，シフト系操作として行うべき操作が P RED である確率を，ベクトル h を用いて計算する．

Pr(P RED) = sigmoid(w h)

CoNLL-2009 Shared Task [5] の意味役割付与データセットを用いて，提案手法の有効性を検証する．評価には先行研究で定義された指標を用い，また漸進的意― 882 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

Time01
23456Action
N O P REDL ABEL(ϕ)
P RED
L ABEL({makes})
N O P REDL ABEL({makes})
P RED
L ABEL({makes, repairs})
N O P REDL ABEL({makes, repairs})
N O P REDL ABEL({makes, repairs})

Stack[][]A

Buffer[][She]A∪ϕ[makes][She makes]
1A ∪ y1:2[makes][She makes and]1A ∪ y1:3[makes repairs][She makes and repairs]iA ∪ {y1:4}21[makes repairs][She makes and repairs computers]iA ∪ {y1:5}21[makes repairs][She makes and repairs computers .]i
A ∪ {y1:6}21

表 2: 提案手法での解析例．
味役割付与における先行研究との比較を行った．提案

用いる．FSS は，CoNLL-2009 Shared Task で用いら

手法は遷移システムにおける操作の決定と意味役割付れる標準的な指標である．つまり，末尾まで文の入力与の系列ラベリングを含むため，遷移操作に正解が与を終えた段階での意味役割の F1 値を評価する．CISS

えられた場合 (Shift-Gold) と，遷移操作もモデル予測

は，時刻 t で推定可能な意味役割のみを評価する．例

した場合 (Shift-Auto) の 2 種類を調査した．

えば，図 2 の w4 =repairs が入力された時点で，既知の単語から解くことができるのは A0(She, makes) およ

3.1 既存手法

び A0(She, repairs) のみである．そのため，これらの設定が異なるため厳密な比較はできないが，[7] で提案された以下の手法を参考として記載する．

関係が解けたかどうかだけを F1 値で評価する．未入
力の単語との関係である A1(computers, makes) および A1(computers, repairs) は評価対象外である．漸• Konstas+ 14 (LE-Gold)

進的意味役割付与では，各単語入力時点での解析性能• Konstas+ 14 (LE-Auto)が重要となるため，このような指標が用いられる．

• M AJORITY BASE L INE• M ALT BASELINE

3.3 実験結果

1 つ目の手法の Konstas+ 14 (LE-Gold) は，木接合文

CISS による評価法に基づいて構文解析する際に，正解の Lexical Entry

図 3 は，CISS の F1 値を表している．既存研究 [7] に(LE-Gold) を使用する．したがって，品詞などはすべ従い，単語数が 10，20，30，40 語からなる文の各時刻て正解のものであり，解析対象の述語も正解のものをにおける F1 値をプロットしている．提案手法の Shift-

容易に選ぶことができる．2 つ目の手法の Konstas+ 14

Gold も Shift-Auto も同様の傾向が見られた．つまり，(LE-Auto) は，予測した Lexical Entry (LE-Auto) を使文の長さに関わらず，文のはじめの方の入力時点で F1用しているため，より現実的な設定となっている．3

値のピークを迎えている．これは，図 2 のように，A0つ目の手法の M AJORITY BASE L INE は，述語項間に正の意味役割が文のはじめの方に出現しやすく，かつ，解の係り受けラベルが与えられた上で最も頻度の高いその他の意味役割よりも比較的予測しやすいことに起意味役割を選択する．4 つ目の手法の M ALT BASELINE因していると考えられる．これは，既存研究 [7] も同は M AJORITY BASE L INE と同様，係り受けラベルに対様の傾向を示している．一方で，既存研究 [7] ではピーして最も頻度の高い意味役割を選択するが，使用すクを迎えてから緩やかに精度が下がり続ける傾向が見1

る係り受けラベルは M ALT PARSER で予測したものでられたが，本提案手法はほぼ一定の精度を保ったままある．

文の末尾まで解析が実現できている．

3.2 評価指標

FSS による評価

評価指標として，Full-sentence SRL Score (FSS) とCombined Incremental SRL Score (CISS) [7] の 2 つを
1 http://www.maltparser.org/

表 3 は，FSS の F1 値2 を表している．提案手法は，構2 Konstas+ 14， M AJOITY BASELINE ， M ALT BASELINE の結果は
[7] から引用．

― 883 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

類似した研究として，Choi ら [1] は遷移型システムを用いた意味役割付与手法を提案している．彼らの手法では，6 つの遷移操作によって遷移し，その過程で意味役割の予測が行われる．この手法は 1 文全体の入力を前提として設計されているため，単語の逐次入力に対応できない点が本研究と異なる．
(a) 10 語(b) 20 語

5 おわりに
本研究では系列ラベリングを統合した遷移システムによる漸進的意味役割付与に取り組んだ．評価実験の結果から，提案手法は (i) 長い文でも頑健な漸進的解析が可能であり，(ii) 構文情報を使わずとも高精度に解析可能であることがわかった．本提案手法は多言語解析にも適用可能であるため，日本語を含めた他の言(c) 30 語語への応用が可能である．また，本手法を対話・同時(d) 40 語翻訳システムなどに組み込むことも予定している．

図 3: Combined Incremental SRL Score (CISS)．実線・点線は提案手法の Shift-Gold・Auto を表している．

SystemPR

F1

Proposed (Shift-Gold)

84.78

80.96

82.82

Proposed (Shift-Auto)

81.24

78.11

79.65

Konstas+ 14 (LE-Gold)

81.48

75.51

78.38

Konstas+ 14 (LE-Auto)--68.00

M AJORITY BASELINE

71.05

58.1063.92

M ALT BASELINE

60.90

46.14

52.50

謝辞
本研究は JST さきがけ（課題番号:JPMJPR165B）の支援を受けて行った．

参考文献

表 3: Full-sentence SRL score (FSS)．
文情報を用いずに高い F1 値を記録している．正解のShift 操作 (Shift-Gold) の場合は F1 値が 82.82%，モデルで予測した Shift 操作 (Shift-Auto) の場合は 79.65%の F1 値を記録している．これらの結果から，文末まで入力を終えた時点でも本提案手法が有効に解析を行なっていることが確認された．

4 関連研究漸進的言語解析に関する研究は，これまでも多く行われてきた [3, 10, 6]．中でも，本研究に最も関連する研究として，Konstas ら [7] の漸進的意味役割付与が挙げられる．彼らは，漸進的意味役割付与の問題設定と評価指標の定式化を行なった．また，木接合文法に基づく漸進的な解析手法を提案し，ベースラインを上[1] Jinho D Choi and Martha Palmer. Transition-based semantic role labelingusing predicate argument clustering. In Proceedings of ACL Workshop on
Relational Models of Semantics, pages 37–45, 2011.
[2] Bonaventura Coppola, Alessandro Moschitti, and Giuseppe Riccardi. Shallow semantic parsing for spoken language understanding. In Proceedings ofHLT-NAACL, pages 85–88, 2009.
[3] David DeVault, Kenji Sagae, and David Traum. Incremental interpretationand prediction of utterance meaning for interactive dialogue. Dialogue &Discourse, 2(1):143–170, 2011.
[4] Alan Graves, Navdeep Jaitly, and Abdel-rahman Mohamed. Hybrid speech
recognition with deep bidirectional lstm. In Automatic Speech Recognitionand Understanding (ASRU), 2013 IEEE Workshop, 2013.
[5] Jan Hajič et al. The CoNLL-2009 shared task: syntactic and semantic dependencies in multiple languages. In Proceedings of CoNLL: Shared Task,pages 1–18, 2009.
[6] Arne Köhn and Wolfgang Menzel. Incremental predictive parsing with turboparser. In Proceedings of ACL, pages 803–808, 2014.
[7] Ioannis Konstas, Frank Keller, Vera Demberg, and Mirella Lapata. Incremental semantic role labeling with tree adjoining grammar. In Proceedingsof EMNLP, 2014.
[8] Joakim Nivre. Incrementality in deterministic dependency parsing. In Proceedings of the Workshop on Incremental Parsing: Bringing Engineeringand Cognition Together, pages 50–57, 2004.
[9] Yusuke Oda, Graham Neubig, Sakriani Sakti, Tomoki Toda, and Satoshi
Nakamura. Optimizing segmentation strategies for simultaneous speechtranslation. In Proceedings of the Annual Meeting of the Association for
Computational Linguistics, pages 551–556, 2014.
[10] Tomohiro Ohno, Shigeki Matsubara, Hideki Kashioka, Naoto Kato, and Yasuyoshi Inagaki. Incremental dependency parsing of japanese spoken monologue based on clause boundaries. In Proceedings of Speech Communication and Technology, pages 3449–3452, 2005.
[11] Martin J Pickering, Matthew J Traxler, and Matthew W Crocker. Ambiguity resolution in sentence processing: Evidence against frequency-basedaccounts. Journal of memory and language, 43(3):447–475, 2000.

回る結果を報告している．本研究で提案する手法は，構文情報を用いずに，高精度な解析を行うことができる点が異なる．

― 884 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.