言語処理学会 第25回年次大会 発表論文集 (2019年3月)

前⽅⽂脈の埋め込みを利⽤した⽇本語述語項構造解析
今野 颯人 1

松林 優一郎 2,1
1

東北大学

大内 啓樹 2,1
2

清野 舜 1,2

乾 健太郎 1,2

理化学研究所 AIP センター{ryuto,kiyono,inui}@ecei.tohoku.ac.jp{yuichiro.matsubayashi,hiroki.ouchi}@riken.jp
1

はじめにすぐに切れるという不審な電話があったという。

述語項構造とは，文章内の述語とその項の間の関係を(NAIST Text Corpus: 950113-0145-950113207.ntc)規定する構造であり，事象や行為を表す単位として用い

では，例文 (4) で「持ち掛ける」の与格（ニ格）が「候られる．例えば次の文，補者」となっている．しかし，この項は述語と直接的な係り受け関係になく，複雑な構文構造や「電話をかけて(1) ［彼女］は［パン］を食べた．

きた人が電話に出た人に何かの用事がある」といった常では，「食べた」という表現が述語であり，「彼女」や「パ識的知識を理解しなければ導けない，解析難易度の高いン」という表現が述語「食べた」の項である．述語項構事例である．一方で，その直前の文である例文 (3) には，造を解析することで，複雑な構造を持った文においても， 「なにものかが」「偽造用紙を」「候補者に」「売りつける」
文の理解に重要な「誰が，何を，どうした」といった構といった意味関係が，述語と項の直接的な係り受け関係造化された意味関係を獲得することができる．

を持って明瞭に書かれている．このような場合，一般に日本語では，述語と意味的関係を持つ項が直接の係り前方文脈で文の主役となっているエンティティは後方の関係にない事例（ゼロ照応）がたびたび現れる．例えば，文でも項として言及されることが多い．また，前文で示(2)(ϕ ガ) 風邪をひいた ので，［私］は学校を休んだ．

される直接的な意味関係を用いて「候補者に売りつける」ために「候補者に持ち掛ける」といった意味的なつながでは，「ひいた」と「休んだ」が述語であり，どちらもりをとらえることで，例文 (4) のような複雑なケースの「私」が項（主格）であるが，「ひいた」と「私」のペア解析を容易にできる可能性がある．したがって，前方文は直接の係り関係にないため，ゼロ照応の事例に分類さ脈の意味構造を何らかの形で埋め込み，後方の文の解析れる．ゼロ照応の解析精度は，解析対象を述語と同一文に利用すれば，ゼロ照応のような統語的な手がかりの少内にある項に限っても F1 値で 58% 程度 [1] と低い水準ない事例の解析に貢献すると期待できる．
そこで本稿では，多層双方向リカレントニューラルに留まっており，ゼロ照応解析の精度向上は日本語の述ネット (RNN) を用いた既存の日本語述語項構造解析

語項構造解析における主要な課題となっている．
こうした背景から，本稿では日本語のゼロ照応解析の器 [1] を拡張し，入力として解析対象の文に加えて前方精度向上を目的として，項構造解析モデルに前方文脈のの n 文を受け取って解析を行うモデルを構築する．実験

情報を取り込む新しいモデルを提案する．日本語の解析ではこのモデルを用いて，日本語述語項構造解析においにおいて，前方文脈の情報を取り入れることは項の推定て前方文脈を解析に用いる効果を検証する．
結果として，前方の文を入力に結合するシンプルなモに直感的に有効である．例えば，同一文書内に連続してデルにおいても，適切な長さで前方の文の情報を取り入出現する次の 2 文，れることで，ゼロ照応のような統語的な手がかりの少な(3) なにものかが大量にコピーした偽造用紙を、本い事例の解析精度を向上させることが分かった．

物の投票用紙と偽って候補 [者 ni ] に売り付け よ2うとしていたとみて調べている。

(4)

関連研究

... 男性の声で電話がかかり、候補 [者 ni ] 自身

日本語述語項構造解析の直近の研究では，多層双方向が出ると「投票用紙を一枚五、六万円で買わな

RNN を用いた end-to-end の解析モデルが複数提案さいか」と持ち掛け、候補者以外が電話に出ると、れ，成功を収めている [1–3]．しかし，これらのモデルは― 53 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

解析対象の述語が含まれる 1 文の情報のみから解析を行Softmax Layer

うため，文を超えた文脈情報を捉えることはできない．

Linear Layer…

Self-attentionLayer

前方文脈を利用するニューラル解析モデルとして，

…

…

…

…

Shibata ら [4] の研究が挙げられる．彼らは文書内のそ…

…

100000001%",$

111%",+…

…

し，エンティティごとに用意したベクトルに文脈を埋め…

k-Layer
Bi-GRU

構造解析を解析し，前方の文における双方の結果を利用…

れぞれの文に対して，逐次的に共参照解析と述語述語項込んでいくことで，これら両方のタスクの解析精度が向上することを示した．Shibata らのモデルは，前方の文の共参照解析や項構造解析を陽に解き，エンティティベクトルを更新することで文脈が考慮される．一方で我々の方法では，これらの関係をモデルが陽に解けるかにかかわらず，前方の n 文のすべての情報を RNN でエンコ(a) Word Emb(b) Predicate0(c) Target Predicate 0(d) Target Sentence 0%"#$,$… %"#$,'()* ⟨!-.⟩…

001%",'(対象文 !"図1: 提案モデルのネットワーク益かどうかを検証する．
機械翻訳の近年の研究でも文脈情報を用いる手法が模索されてきている [5–7]．例えば Tiedeman ら [5] は，原言語文および目的言語文の系列にそれぞれ前文を連結してニューラル機械翻訳モデルの学習を行うことで，翻訳精度が向上することを報告した．

今，解析対象の述語を持つ文（解析対象文）を文章中の i 番目の文とし，si = wi,1 , ..., wi,mi で表す（ただし，wi,j は文 si の j 番目の単語，mi は文 si の単語数）．我々の解析モデルは，解析対象の文に加えて前方の n 文

si−1 , ..., si−n を入力として取る．
具体的な入力として，モデルは (a) 文 si−n から si ま

タスク設定
本研究では，述語項構造解析の研究で利用される主要なコーパスの一つである，NAIST Text Corpus (NTC)

1.5 版 [8] の注釈の仕様に基づき実験を行う．既存研
究 [1, 2] に習い，述語項関係の中でも特に述語と項が同一文内にあるものを解析対象とする．この設定は，文内の情報だけから項を特定するには複雑な関係を紐解く必要が生じる例文 (4) のような例において，前方文脈の情報を得ることで解析の難易度を緩和できるかどうかを検証するためのものである．また，項が述語と同一文節内にある場合は評価の対象外とする．
本稿のモデルは，各述語に対し，その述語がある文中からガ，ヲ，ニ格に対応する項をそれぞれ高々一つ出力する．項はその主辞となる１単語を選ぶ形で出力される．
評価の際は，システムが出力した語が NTC で正解とされる語のいずれかと一致した場合に正解とする．

4…

前文 !"#$ードする形で利用し，前方文の情報が解析に総合的に有3…

での単語系列の，各語の埋め込み表現，(b) 系列中に出現する全ての述語の位置を表すバイナリ表現，(c) 解析対象とする述語の位置を表すバイナリ表現，(d) 系列における解析対象文の範囲を表すバイナリ表現を受け取る．これら (a) (b) (c) (d) を各単語ごとに一つのベクトルに結合してモデルに入力する．ここで，(d) のバイナ
リ列は，入力される複数文の中で解析対象文がどの部分かをモデルに教えるために我々が新たに追加したものである．これに加えて，文の境界には ⟨sep⟩ という特殊トークンを挿入する．
モデルは入力されたベクトルから多層双方向 RNN を用いてラベルを推定する．この多層双方向 RNN は，奇数層を順方向，偶数層を逆方向に計算し，結果を次の層に入力する．この際，各層では，直前の RNN 層の出力と現在の RNN 層の出力の和を次の層に渡す residualconnection [9] を採用している．RNN には GRU [10] を採用する．その後，多層双方向 RNN の最終出力に，機提案モデル
我々のモデルは，Matsubayashi & Inui [1] でベースラインとして用いられた多層双方向 RNN による end-to-end 解析モデル（SELFATT モデル）を，入力に複数文を取るモデルに拡張したものである．我々のモデルの械翻訳の Transformer モデル [11] で利用された multi-

head self-attention 層を適用し，続いて線形層で 4 次元ベクトルに変換した後，softmax 層で各単語におけるガ，ヲ，ニ，NONE の各ラベルの出力確率を計算する．ラベネットワークを図 1 に示す．

― 54 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

るモデルを評価に用いた．Loss 関数には交差エントロ

表1: NTC 1.5 における項の数
ガ格ヲ格ニ格ピー，最適化手法には Adam [14] を採用した．各モデルの学習係数の値は，0.0001，0.00005，0.00002 で訓練し，訓練

DEP
ZERO

36,877
12,201

24,6242,130

5,741464

開発

DEPZERO

7,414
2,660

5,044
443

1,611
138の初期値は，Matsubayashi & Inui (2017) [13] で用いら評価DEPZERO

13,982
4,9909,395
903

2,488
260

れたものと同一の学習手法を適用し，日本語 Wikipedia

F1 値が最大となるものを採用した．単語埋め込み表現

2016 年 9 月 1 日のダンプデータより得られた単語埋め*1
ルの教師信号は，解析対象文の単語にのみ与える．

込み表現を使用した．これらの単語埋め込み表現は各語各述語に対する最終的な項の出力は，解析対象文の中を見出し語に変換して学習，利用した．NTC 上の単語がから最尤の１語を選択することで決定される．まず，解Wikipedia 上の未知語となる場合には，予め Wikipedia

析対象文の各単語について，ガ，ヲ，ニ，NONE の中か上で頻度 10 回未満の単語を置き換えて学習した未知語

ら最も確率の高いラベルを選出し，その単語が持つラベ用の埋め込み表現に置き換えた．これらの単語埋め込みルの候補とする．その後，NONE を除くガ，ヲ，ニの各表現は学習時に更新した．

ラベルについて，同じラベルを持つ候補のうちから，文5.2

実験結果中で最大の確率を持つ単語をその格の項として一つ選び評価セットにおける各モデルの解析性能を表 2 に示出力する．文中に当該ラベルを持つ候補が一つも選出さす．まず，self-attention 層を省いた BASE モデルにつれない場合は，その格は出力しない．

いて見ると，解析対象文に前方の文を繋げて入力するモ
デルは，単一文を入力するモデルと比べて，全体の F1

実験5値では大きな効果は見られなかった．一方で，ゼロ照応実験では，提案モデルで入力として用いる前方の文のの事例では，前方 1 文を追加するモデルは単一文を入力数を変えることにより，日本語述語項構造解析においてするモデルと比べて F1 値で 0.5 ポイントの向上が見ら

前方文脈を考慮することの効果を検証する．具体的には，れた．前方 2 文を加えるモデルは，ゼロ照応事例の解析入力として解析対象文のみ，解析対象文 + その前方 1

精度が他のモデルに比べ相対的に低く，前 1 文を加える

文，解析対象文 + その前方 2 文を用いる 3 パターンのモデルから 1.2 ポイントの F1 値低下となった．

モデルを比較する．また，前方の文を結合することによSelf-attention 層を用いた ATTN モデルについて見る系列長の増加に対して，self-attention 層がどのようると，まず，我々の実装において ATTN モデルは BASEに働くかを観察するため，self-attention 層を省略したモデルと比較して全体の F1 値ではやや低い性能となった．一方で，ゼロ照応の事例では，対応する BASE モデモデルとも比較を行う．

5.1

ルと比べて精度の向上が認められた．特に前方 1 文を追実験設定

実験データである NTC 1.5 は既存研究の分割に従い，加するモデルでは BASE + 前 1 文モデルに比べて 1 ポ訓練セット，開発セット，評価セットに分割する [12]．

イントの F1 値向上がみられ，self-attention 層を追加す

表 1 に各セットの項の数を示す．表中の DEP は直接係ることがゼロ照応の解析精度向上に貢献することが分かり受けあり，ZERO はゼロ照応の事例を表している．

った．また，ATTN モデルでは，前方 1 文を加えるモデ

評価は，適合率，再現率，F1 値を求めることで行う．

ルが全体の F1 値で最も良い性能を示し，単一文を入力

実験では，各モデルについて，ランダムに設定した seedする場合に比べて 0.4 ポイント向上した．入力する前方値を用いて同一の学習データとハイパーパラメータでの文を 2 文にした場合では，BASE モデルの場合と同様3 回学習を行い，それらの評価値の平均を表に記載しに，ゼロ照応事例の解析精度低下が見られた．

た．単語埋め込みベクトルの次元数は 256，多層双方向

これらの結果から，前方文脈の利用はゼロ照応の事例

GRU の層の深さ k は 8，GRU の隠れ状態の次元数はの解析に有効であるものの，前方の文を結合する単純な256，GRU の dropout 率を 0.1 に設定した．学習では，モデルでは直接係り受けを持つ事例の精度低下を招くほ開発セットでのモデルの F1 値が 5 回改善されなかった

か，入力系列を必要以上に長くすることはかえって精度場合に学習を終了し，開発セット上で F1 値が最大となの低下を招くことが分かった．Self-attention 層を加え

*1 予備実験で，前方の文の語にもラベルの教師信号を与える場合も検証したが，解析対象文にのみ信号を与えるほうが良い性能を示した．

たモデルでは，前方 1 文を追加するモデルが最も高い性能を示し，また，そのゼロ照応解析の精度は，比較した― 55 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表2: NTC 1.5 評価セットにおける評価結果．BASE は self-attention を省いたモデル．ATTN は self-attention を用いたフルモデル．

ALLDEPZERO

F1

適合率

再現率

ALLガ格ヲ格ニ格

ALLガ格ヲ格ニ格BASE
BASE + 前 1 文
BASE + 前 2 文

80.18
80.23
80.05

85.43
84.93
85.09

75.55
76.02
75.62

87.59
87.72
87.93

88.03
88.10
88.03

93.42
93.16
93.18

62.61
64.57
65.51

47.20
47.72
46.57

50.10
50.83
49.79

39.6
38.3
37.8

1213
12

ATTN
ATTN + 前 1 文
ATTN + 前 2 文

79.52
79.96
79.96

83.11
83.67
85.11

76.22
76.58
75.41

87.06
87.53
87.59

87.52
87.85
87.73

92.90
92.85
93.05

62.95
65.44
64.77

47.77
48.73
47.18

50.84
51.68
50.08

38.4
39.0
37.9

1518
17Model

表3: NTC 1.5 評価データセットにおける既存モデルとの比較

ALLDEP

F1

適合率

再現率

ALLガ格ヲ格ニ格

ALLガ格ヲ格ニ格

BASE + 前 1 文

80.23

84.93

76.02

87.72

88.10

93.16

64.57

47.72

50.83

38.3

13

Ouchi+2017-sgl [2]Ouchi+2017-multi [2]
M&I 2017 [13]M&I 2018 [1]

81.15
81.42
83.50
83.94

–––
86.58

–––
81.46

88.10
88.17
89.89
90.26

88.32
88.75
91.19
90.88

93.89
93.68
95.18
94.99

65.91
64.38
61.90
67.57

46.10
47.12
51.79
55.55

49.51
50.65
54.69
57.99

35.1
32.4
41.8
48.9

9.8
7.5
1723

モデル全体を通して最も高い数値を示したが，事例全体の精度では BASE モデルに劣っており，直接係り受けありの事例とゼロ照応の事例の精度を同時に向上する機なコメントを頂いた東北大学の高橋諒氏に感謝したい．

参考⽂献
[1]

構を検討することが今後の課題である．
表 3 には，日本語述語項構造解析における既存モデルの精度を示した．我々のモデルは，Matsubayashi &[2]Inui [1] でベースラインとして用いられた SELFATT モ
デルを拡張したものであったが，実装の詳細の違いによ[3]り，報告されている結果より全体的に低い精度にとどまった．今後，既存研究と実装をそろえた実験設定で比較[4]を行っていく予定である．
[5]

6ZERO

おわりに
本稿では，多層双方向 RNN を用いた既存の日本語述

語項構造解析モデルを拡張し，入力に前方の n 文を加え[6][7]て解析を行うモデルを構築した．結果として，ゼロ照応の事例においては，前方 1 文を追加したモデルで精度の向上がみられた．また，self-attention 層を加えたモデルがゼロ照応の事例で総じて高い性能を示した．一方で，

[8]
[9]
[10]

事例全体の解析精度は単一文を入力するモデルと比べて有意な性能向上が見られなかったため，今後は，直接係り受けのある事例の精度を落とすことなく文脈情報を取[11][12]り込む機構を検討したい．
謝辞 本研究は JSPS 科研費 15H01702，JP15K16045，[13]および JST CREST (課題番号: JPMJCR1513）の支援を受けて行ったものである．また，研究の過程で有益[14]― 56 ―Yuichiroh Matsubayashi and Kentaro Inui. “Distance-Free
Modeling of Multi-Predicate Interactions in End-to-End
Japanese Predicate-Argument Structure Analysis”. In: COLING. 2018, pp. 94–106.
Hiroki Ouchi, Hiroyuki Shindo, and Yuji Matsumoto. “Neural Modeling of Multi-Predicate Interactions for JapanesePredicate Argument Structure Analysis”. In: ACL. 2017,
pp. 1591–1600.
Shuhei Kurita, Daisuke Kawahara, and Sadao Kurohashi.
“Neural Adversarial Training for Semi-supervised JapanesePredicate-argument Structure Analysis”. In: ACL. 2018,
pp. 474–484.
Tomohide Shibata and Sadao Kurohashi. “Entity-CentricJoint Modeling of Japanese Coreference Resolution andPredicate Argument Structure Analysis”. In: ACL. 2018,
pp. 579–589.
Jörg Tiedemann and Yves Scherrer. “Neural Machine Translation with Extended Context”. In: Proceedings of the Third
Workshop on Discourse in Machine Translation. 2017,pp. 82–92.
Longyue Wang et al. “Exploiting Cross-Sentence Context for
Neural Machine Translation”. In: EMNLP. 2017, pp. 2826–2831.
Elena Voita et al. “Context-Aware Neural Machine Translation Learns Anaphora Resolution”. In: ACL. 2018, pp. 1264–1274.
飯田 龍 et al. “述語項構造と照応関係のアノテーション: NAIST
テキストコーパス構築の経験から”. In: 自然言語処理 17.2 (2010),
pp. 25–50.
Kaiming He et al. “Deep Residual Learning for Image Recognition”. In: CVPR. 2016, pp. 770–778.
Kyunghyun Cho et al. “On the Properties of Neural MachineTranslation: Encoder-Decoder Approaches”. In: Proceedingsof SSST-8, Eighth Workshop on Syntax, Semantics andStructure in Statistical Translation. 2014, pp. 103–111.
Ashish Vaswani et al. “Attention Is All You Need”. In: NIPS.
2017, pp. 5998–6008.
Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. “AJapanese Predicate Argument Structure Analysis using Decision Lists”. In: EMNLP. 2008, pp. 523–532.
Yuichiroh Matsubayashi and Kentaro Inui. “Revisiting theDesign Issues of Local Models for Japanese PredicateArgument Structure Analysis”. In: IJCNLP. 2017, pp. 128–133.
Diederik Kingma and Jimmy Ba. “Adam: A Method for
Stochastic Optimization”. In: ICLR. 2015.

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.