言語処理学会 第25回年次大会 発表論文集 (2019年3月)

大規模格フレームによる解候補削減を用いた
ニューラルネットゼロ照応解析
徳永 健伸
山城 颯太西川 仁
東京工業大学 情報理工学院{yamashiro.s.aa@m, {hitoshi, take}@c}.titech.ac.jp

1

はじめに

本研究の貢献は大きく二つに分けられる．第一に大規模均衡コーパス上で日本語ゼロ照応解析を行い評価したことと，第二にこの大規模均衡コーパス上で文内・文間ゼロ照応解析を可能にするための解候補削減手法を提案したことの二点である．
従来のゼロ照応解析研究は，新聞記事のみからなる『NAIST テキストコーパス』（NTC） (Iida et al.,2007) で評価を行うものが多かった．従って，それらの評価ではテキストドメインの違いによる影響が考慮されていない．しかしゼロ照応解析結果の応用を考えた時，新聞のみならずブログ，QA，書籍，白書，雑誌などあらゆるドメインの文書に対して頑健なゼロ照応解析手法こそより有用性が高い．我々は『 現代日本語書き言葉均衡コーパス』(BCCWJ) (Maekawa et al.,2014) を評価実験に使用した．
ひとつのモデルで文内・文間のゼロ照応解析を同時に行う際，各格に対してそれぞれ独立に解析を行うより，他の格の情報を利用して複数格を同時に解析する方がより良い精度が得られると考えられる．しかし複数格を同時に解析する際には，先行詞の広大な探索範囲の問題に対処する必要がある．特に機械学習を適用する際，正解の候補となる名詞の組合せが大幅に増加することから，BCCWJ の場合では正例と負例の比率が約 1 対 20,000 と著しく不均衡となる．このような偏った訓練データは不必要に計算量を増幅させ，かつモデルの汎化を妨げる要因となる．我々は，学習に不要な負例を削減するために，解析対象述語に対応する格フレームを用いた効率的な解候補削減手法を提案する．この提案手法により，正解を候補に残しつつ，約1,000 分の 1 にまで解候補を削減することに成功した．
格フレーム ガ格

回数 ヲ格

オープンし 店129 −てる:動 1 カフェ
38 −レストラン 14 −
...
... −
オープンし ブランド
てる:動 2 専門家
オーナー
...

1284
...

回数 ニ格−−−
−

ショップ
59
サロン
18ブティック 13...
...

回数近く6跡地
2
ところ
2
...
...

−
−
−
−

表 1: 「オープンしてる」の格フレーム例

−−−
−

2

関連研究

2.1

日本語ゼロ照応解析

Matsubayashi and Inui (2017) はフィードフォワー
ドニューラルネットワーク (FNN) とリカレントニュー
ラルネットワーク（RNN）を組合せて用いることで，NTC に対して直接の係り受け関係と文内のゼロ照応解析を同時に行い，直接の係り受け関係と文内ゼロ照応解析の state-of-the-art を達成している． Sasano andKurohashi (2011) は対数線形モデルを用いて，979 文からなる Web コーパスに対して文内と文間のゼロ照応解析を同時に行い，文内・文間ゼロ照応解析の stateof-the-art を達成している．

2.2

大規模格フレーム

格フレームとは述語とその述語が取りうる項を述語の格パターンごと，格ごとに整理した共起情報である．
表 1 のように格パターンに基づいて格フレームを分けることで，述語と項間の語彙的選好の知識を照応解析に利用することができる (Sasano et al., 2008; Sasanoand Kurohashi, 2011; Hangyo et al., 2013)．格フレー
ムの構築に関しては Kawahara and Kurohashi (2006)
が Web テキストから格フレームを自動構築する手法を提案している．これらの大規模 Web コーパスから取得，整理された格フレーム知識は京大格フレーム1として公開されている．

3

提案モデル

3.1モデル

解析対象述語 p が含まれる文を S0 とし， 入力文
書 t に含まれる S0 から h 文前までの文をそれぞれ
S−1 , S−2 , · · · , S−h とする．S0 から S−h までに含まれるすべての名詞の集合を Ep = {e1 , e2 , · · · , en } とする．これらに加えて『照応なし』または『外界照応』を意味する enone を Ep に追加する．述語 p に対応する京大格フレーム中の格フレーム群を CFp =p} とする．1 つの格フレーム cflp に{cf1p , cf2p , · · · , cfm
1 http://www.gsk.or.jp/catalog/gsk2008-b/ た だ し ，リンク先の京大格フレームは古い版であり，本項において使用したものは未公開の新しい版である．

― 1085 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

は，それぞれの格 c ∈ { ガ格, ヲ格, ニ格 } に対応する 3 つの格スロットがあり，Ep 中に含まれるいずれかの名詞がそれぞれの格スロットに対応する格要素である．格スロットと格要素の対応付けを a = ⟨ ガ
格 ← ei , ヲ格 ← ej , ニ格 ← ek ⟩ とする．述語項構造
候補を (cflp , a) とし，これを表現する素性ベクトルをf (cflp , a, t) とする．このモデルの出力は以下の式 (1)で表せる．w は訓練データから学習されるパラメータである．このモデルは， Hangyo et al. (2013) のモデ
ルをベースとしている．
∗cflp , a∗ = argmax w · f (cflp , a, t)(1)

cflp ,a3.2

素性

素性ベクトル f (cflp , a, t) は以下 4 種類の素性の組合せからなる．
ベースモデル素性
ベースモデル素性 ϕBM F の各要素は実数かバイナリ値である．ベースモデル素性ϕBM F は Sasano et al. (2008) の確率的格解析モデ
ルから得られる表層の係り受けの確率と Hangyo etal. (2013) が提案する素性群からなる． Hangyo et al.
(2013) の素性は格フレーム素性，述語素性，文脈素性の 3 種類からなる．例えば，ある格要素がその格フレームの格スロットに埋まるかどうかの確率は格フレーム素性の一つである．
格要素分散表現格 要 素 分 散 表 現 ϕe は 各 格 cの格要素 ec に対応する 3 つの分散表現から構成される．語の分散表現を生成するモデルとしては
word2vec (Mikolov et al., 2013) を使用した2 ．
格フレーム内平均ベクトル（MVC）
表 1 に示すように京大格フレーム内では，述語 p に対するそれぞれの格フレーム cflp は各格 c に対応する単語リストから構成される．格フレーム内平均ベクトル (MVC)ϕcf p (c)lは，格フレーム cflp 中の各格 c の分散表現ベクトル ϕwの重み付き平均として計算される．
さらに ϕcf p (ガ) ，ϕcf p (ヲ) ，ϕcf p (ニ) を結合して ϕcf pllllを生成する．ϕcf p を使って，a と cflp の関連（選択選l好）を測り，尤もらしい組合せを探索する．なお我々は，MVC を照応解析，解候補削減の両方で使用する．
文脈ベクトル
文脈ベクトル ccflp ,a,t はローカルア
テンション機構付き RNN の出力である．この RNNは解析対象述語を含んだ文とその前方 h 文を受け取り，対象述語に対する文脈をモデリングする．
我々のアテンション機構モデルは他の素性ベクトルの連結に基づいてアライメント重みベクトルを推論する．
2 日本語 wikipedia (2016-09-20) の本文全文から取得した約 100万記事に対して，次元数を 500，window を 15 として学習させることで得られたモデルを使用した．

4

格フレーム中の分散表現を利用した解候補削減

ゼロ代名詞となる格要素の先行詞候補を網羅的に探索すれば，列挙される述語項構造候補 (cflp , a) の集合は爆発的な規模となり，探索範囲は非実用的なものとなる．Sasano and Kurohashi (2011) の基準を参考に，ゼロ代名詞となる格要素の先行詞候補は述語が含まれる文より 3 文前までのみを範囲として解候補削減を行っている．つまり 3.1 の h を 3 とした．BCCWJ中の格要素の分布においては，この制限によってゼロ代名詞の 89.16%をカバーできる．
n と m をそれぞれ Ep 中の名詞句数，対象述語の格フレーム数とすると，この制限を用いてもなお，候補の数は O(n3 m) となり，BCCWJ 中の各動詞に対して約 20,000 個の述語項構造候補が出現する．

4.1

述語内平均ベクトル（MVP）

我々は，格フレーム候補と項候補の組合せについて 3.2 で提案した MVC と，述語内平均ベクトル(MVP) ϕp(c) の二種類の平均ベクトルを使用した効率的な解候補削減手法を提案する．MVP は各格 c について述語 p に対応するすべて格フレームに渡ってMVC ϕcflp (c) の重み平均を取ったベクトルである．重みは京大格フレーム中の各格フレームの頻度に基づく．
我々の解候補削減手法は Ouchi et al. (2015) の山登り法を参考に，格フレーム候補と項候補の組合せ数を削減する．この解候補削減は計算効率のみを目的とするのではなく，訓練データ中の正例・負例のデータ数の非対称性の解消も目的とする．我々のケースでは，1つの正例に対して 20,000 の負例が生じるため，これに対処している．前述したように，我々は訓練データ中のほとんどの負例は訓練に貢献しないと考え，解候補削減を行う．

4.2

アルゴリズム

我々の提案する解候補削減手法をアルゴリズム 1 に示す．ある述語 p には，文脈に対するその語義の曖昧性を反映した複数の格フレーム CFp が存在する．それぞれの格フレーム cflp に対応する格フレーム内平均ベクトル ϕ̄cflp (c) はその格フレームの選択選好を反映しているため，これと項候補ベクトル ϕe の距離が近いほど，その項候補 e は対象格フレーム cflp の格ス
ロット c に埋まりやすいと言える．このアルゴリズムは与えられた述語に対して，二つのベクトル間の距離が最も近くなる格フレームと項候補の組合せを探索する．しかしながら，京大格フレームは自動的手法で構築されているので，本来別々の格フレームが一つの格フレームとしてまとめられてしまっている，あるいは同じ一つの格フレームが別々に分断されてしまっている可能性がある．この問題に対処するために，我々は提案する解候補削減手法に二種類の平均ベクトルを導― 1086 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

アルゴリズム 1 解候補削減アルゴリズム
Input:a predicate p to be analyzed,
a set of case frames CFp corresponding to p,
a set of cases C = { ガ格, ヲ格, ニ格 },a set of nouns Ep appearing within the h preceding sentences.
Output:optimal cflp∗ , e∗c for the analyzed p and each case c ∈ C.
1: for each case c ∈ C do(0)▷ ϕ̄p(c) is the MVP
2:ec ⇐ argmax cos(ϕ̄p(c) , ϕe )e∈Ep

3: end for4:∑p (0)
5: cf (0) ⇐ argmaxc∈C Pseudo-Score(cfl , ec )毎回の探索過程で計算した項候補のうち 3 ベストまでを候補として保存する．最終的な出力は探索の過程で保存されたすべての格フレームと項の組合せである．
提案した解候補削減手法により，約 70%の正解を候補に残しつつ，約 1,000 分の 1 まで解候補を削減することができた．

5

評価実験

5.1

ゼロ照応解析手法

pcfl ∈CFp6: t ⇐ 0
7: repeat8:
for each case c ∈ C do(t+1)
9:ec⇐ argmax Pseudo-Score(cf (t) , ec )ec ∈Ep

10:
11:
12:

end forcf (t+1)⇐ argmaxpcfl ∈CFp∑p (t+1))c∈C Pseudo-Score(cfl , ec

13:t⇐t+1(t)(t+1)
14: until ec = ec
and cf (t) = cf (t+1)
(t)
p∗
(t)
15: return cfl ⇐ cf , e∗c ⇐ ec for each case c ∈ C
16:
17: function Pseudo-Score(cflp , e)18:score ⇐ 0
19:
for each case c ∈ C do
20:
score ⇐ score + P (p, cflp , e, c)
21:score ⇐ score + cos(ϕ̄cf p (c) , ϕe )l22:score ⇐ score + 0.5 × dp,e ▷ ϕ̄cf p (c) is the MVC
l23:
end for▷ dp,e is the distance between p and e
24:
25:
return score26: end function

入した．MVC はある述語に対する格フレームの違いを区別し，MVP は格フレームの違いを考慮せず述語のみを考慮する．
(0)
まず初期値として各格 c ∈ C に埋まりうる項 ec を仮に定める (行 1-3)．MVP ϕp(c) と項候補の分散表現
ϕe とのコサイン距離を求め，これが最小となる，すな
わち対象述語に埋まる項群に最も近い項を初期項とする．この段階では，MVP を使用することで特定の格フレームではなく述語のみを考慮している．格フレーム候
補と初期項の組合せを入力とした Pseudo-Score(行17-26) の返すスコアに基づいて，これらの初期項に対して最適な格フレーム cf (0) を格フレームの初期値とする (行 5)．Pseudo-Score については Sasano etal. (2008) を参考に，我々は以下の 3 つの要素を考慮した．(1) 京大格フレームに基づく (述語，格フレー
ム，深層格，項) の組合せの出現確率，(2) 格フレーム
内平均ベクトル（MVC）と項候補の間のコサイン類似度，および (3) 述語と項候補の間の文数，である．
このスコアの係数は経験的に定めた．以降，格フレー(t+1)
ム cf (t) を固定して項 ecを探索するフェーズ (行(t+1)8-10) と項 ecを固定して格フレーム cf (t+1) を探索するフェーズ (行 12) を繰り返し，格フレームと項が更新されなくなればループを抜ける (行 6-15)．このアルゴリズムでは返り値として最もスコアの高い格フレームと項の組合せを返すが，実際にはループ中のS0提案する解候補削減を行い，ベースモデル素性を使用して SVM モデルを実装した．ランキング学
習には SVMrank3 (Joachims, 2006) を使用した．カーネルは線形である．このモデルは正例と負例から識別関数を学習し，この識別関数が最も高い解候補を一つ出力する．
S0 each
提案する解候補削減手法の効果を評価するためには，解候補削減を用いないモデルと比較することが自然である．しかしながら，前方 3 文までに先行詞候補の探索範囲を制限しても，述語一つあたりに対して 20,000 の述語項構造候補が出現するため，訓練時の計算複雑性は現実的ではない．これは複数の格を同時推定するために，格要素候補同士の組合せを考慮していることが原因である．そこで我々は，それぞれの格を独立に解析することで，解候補削減が必要ない単一格解析手法を用意した．この手法では，3 つの格に対してそれぞれ別の SVM モデルを用意し，これらを独立に学習させて，評価の際は各格に対応するモデルのそれぞれの出力を組合せて最終的な出力とした．
この各格に対して独立の SVM を用いて学習を行った
モデルを S0 each とする．
S0′
複数格の同時推定のために我々は単純な解候補削減手法を用意した．この手法では，解析対象述語に近い方から先行する n 個の名詞のみを格要素候補として選ぶ．この時の各格に対する格要素候補数は，提案手法と同程度の格要素の組み合わせ数となるよう調整した値であり，今回は n = 5 とした．この単純な解候補削減手法を適用した上で SVM を用いて学習を行ったモデルを S0′ とする．
F0
ベースモデル素性，格要素分散表現，格フレーム内平均ベクトル（MVC），文脈ベクトルを使用してFNN モデルを実装した．FNN の設計に際しては Matsubayashi and Inui (2017) を参考に，誤差関数にはソフトマックスクロスエントロピーを用い，各隠れ層には batch 正則化 と ReLU 活性化関数を使用した．
RNN には GRU を使用した．

3 https://www.cs.cornell.edu/people/tj/svm light/
svm rank.html― 1087 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

格モデル\ 例数

文内ガ格 ヲ格 ニ格 All
3,137 1,458 873 5,468

文間ガ格 ヲ格 ニ格 All
2,359 495 243 3,097

Allガ格 ヲ格 ニ格 All
5,496 1,953 1,116 8,565

S0 eachS0′
S0F0.570 .730 .757 .643.490 .712 .725 .589.575 .758 .777 .661.562 .751 .775 .647.085 .016 .144 .080.032 .016 .140 .038.044 .016 .145 .048
.139 .038 .152 .126.397 .602 .660 .480
.331 .584 .632 .435
.390 .628 .679 .491.402 .620 .678 .488

表 2: BCCWJ における結果 (F 値)

5.2

データセット

実験データとして，『現代日本語書き言葉均衡コーパス』(BCCWJ) (Maekawa et al., 2014) のコアデータ4を使用した．BCCWJ のコアデータ約 2,000 文書に対しては，人手による述語項構造と照応関係が付与されており，これは新聞，雑誌，書籍，白書，Yahoo!知恵袋，Yahoo!ブログの 6 ドメインにまたがっている．全体のドメイン分布を反映するようにデータを分割し，全体の約 4/5 を訓練用データ，約 1/20 を開発用データとし，残りを評価用データとして使用した．本研究で対象とした述語は動詞のみで，形容詞，事態性名詞は扱っていない．

複数格同時推定の効果
表 2 は BCCWJ におけるゼロ照応解析の実験結果である. S0 each と S0 を比較すると，多くの列において，S0 が S0 each より高い精度を示していることがわかる．ただし文間ガ格，全体ガ格の列においては，S0 each が S0 より高い精度を示している．これは単格の推定では，他の格における誤りから影響を受けないため，複数格同時推定の時より値が良くなっているのだと考えられる．一方で，ニ格，ヲ格については，S0 each は他の格の情報が使えないため比較的精度が低く，全体としての精度も，複数格同時推定を行っている S0 に劣っている．
解候補削減の効果
表 2 で，S0′ と S0 を比較すると，すべての列において，S0 が S0′ より精度が高い．我々はこの結果に対して有意水準 0.1%で McNemar 検定を行い，統計的有意差を確認した．このことから我々の提案した解候補削減手法がうまく機能しているといえる．
文脈ベクトルの効果
格要素分散表現，格フレーム情報，ローカルアテンション付き RNN モデルを使用し文脈情報を導入することで，F0 は全体の精度においては S0 に劣っているが，文間照応においては S0 より高い精度を示している．

おわりに

7

本論文では分散表現で平均化した格フレームによる解候補削減アルゴリズムによって大規模な多ドメイン
4

http://pj.ninjal.ac.jp/corpus center/bccwj/

謝辞(Hangyo et al., 2013) に関して詳細な情報をご教示くださった萩行正嗣氏，(Ouchi et al., 2017) の全体像についてご教示くださった大内啓樹氏に厚く御礼申し上げます．

参考文献

結果と考察

6

コーパスによる訓練を可能とする日本語文内・文間ゼロ照応モデルを提案した．また，ローカルアテンション機構付き RNN と FNN を組合せて使用し様々な素性を取り入れることで，文間ゼロ照応解析においてより高い精度が出ることを確認した．

Hangyo, M., Kawahara, D., and Kurohashi, S. Japanese
Zero Reference Resolution Considering Exophora and Author/Reader Mentions. in EMNLP, pp. 924-934, 2013.
Iida, R., Komachi, M., Inui, K., and Matsumoto, Y. Annotating a Japanese Text Corpus with Predicate-Argument
and Coreference Relations. in Proceedings of the Linguistic Annotation Workshop, pp. 132-139, 2007.
Joachims, T. Training Linear SVMs in Linear Time. in Proceedings of the 12th ACM SIGKDD, pp. 217-226, 2006.
Kawahara, D. and Kurohashi, S. A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure
Analysis. in ACL, pp. 176-183, 2006.
Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T.,
Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M.,
Tanaka, M., and Den, Y. Balanced corpus of contemporary
written Japanese. Language Resources and Evaluation, Vol.
48, No. 2 , pp. 345-371, 2014.
Matsubayashi, Y. and Inui, K. Revisiting the Design Issues ofLocal Models for Japanese Predicate-Argument Structure
Analysis. in IJCNLP, pp. 128-133, 2017.
Mikolov, T., Chen, K., Corrado, G., and Dean, J. Eﬃcient
Estimation of Word Representations in Vector Space. arXiv
preprint arXiv:1301.3781, 2013.
Ouchi, H., Shindo, H., Duh, K., and Matsumoto, Y. Joint Case
Argument Identification for Japanese Predicate Argument
Structure Analysis. in ACL-IJCNLP, pp. 961-970, 2015.
Ouchi, H., Shindo, H., and Matsumoto, Y. Neural Modelingof Multi-Predicate Interactions for Japanese Predicate Argument Structure Analysis. in ACL, pp. 1591-1600, 2017.
Sasano, R. and Kurohashi, S. A Discriminative Approach toJapanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames. in IJCNLP, pp. 758-766, 2011.
Sasano, R., Kawahara, D., and Kurohashi, S. A
Fully-Lexicalized Probabilistic Model for Japanese ZeroAnaphora Resolution. in COLING, pp. 769-776, 2008.

― 1088 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.