言語処理学会 第24回年次大会 発表論文集 (2018年3月)

逐次型依存構造解析における動的特徴量選択
小比田涼介

能地松本宏

奈良先端科学技術大学院大学裕治

情報科学研究科{kohita.ryosuke.kj9, noji, matsu}@is.naist.jp

1

はじめにnmodobl

本稿では、逐次型依存構造解析を対象に、解析器の状態を考慮した動的な特徴量抽出方法について議論すJohn on Monday introduces advisors.

る．依存構造の逐次解析は、後続の入力を待たずに漸図 1: 局所曖昧性を内包した文．“Monday” は “introduces”

進的に単語間の依存関係を構築できるため、対話型シの斜格だが、“John”の名詞修飾子として間違えられやすい．

ステムへの応用が期待でき [2]、また、遷移型解析器によって実現可能である [6]．しかしながら、その局所決定的なアルゴリズムはしばしば誤った解析を引き起こす．この問題は、リカレントニューラルネットワー

2モデル

2.1ベースモデルクを用いた入力文全体の符号化によって改善されつつ提案モデルは Chen&Manning[3] のフィードフォワー

あるが [4, 9]、逐次解析との併用はその性質上不可能

ドネットを用いた遷移型解析器をベースとする1 ．このであるため、別の方法を考える必要がある．

解析器では、各時刻ごとにスタックとバッファ周辺の我々が提案する動的な特徴量抽出では、局所情報の単語・品詞・ラベルに関するエンベディングをそれぞ最大活用を目的として、フィードフォワードネットにアれ連結し、ネットワークの入力ベクトルとする（xw 、テンション [1] を組み入れる．図 1 は遷移型解析器が誤xp 、xl ）．これらのベクトルを線形写像した後（i.e.,h = Ww xw + Wp xp + Wl xl + b）、非線形変換を経て、最終の softmax 層で各遷移確率を出力する．

りやすい文であるが、先に現れる品詞系列（名詞・助詞・名詞）が典型的な名詞句を想起させ、“Monday”の親を“John”と誤推定する原因となっている．提案手法が目標とするのは、特徴量抽出時にアテンションを介すことで、当該状態における重要な単語（“Monday”）を重み付け、正解の構造（[VP[PP on Monday] introduces]）を推定できるようなモデルを学習することである．この論文では、標準の遷移型依存構造解析器 [3] を対象に実験を行うが、手法自体は、各種特徴量の連結ベクトルを入力とするような、いずれのフィードフォワードネットにも適用可能である．
実験では、Universal Dependencies（UD）を用いて言語横断的な有効性を検証した結果、多くの言語でアテンションによる精度の向上が確認できた．加えて、人工文を用いた実験によって、アテンションが仮説通りに作用しているかも調査した．具体的には、図 1 のような特定の箇所に着目することで局所曖昧性を解消できる文を解析させ、統制された条件下での性能を検証する．こうした心理言語学的な統制実験 [5] は、近年 NLP のニューラルネットワークモデルの検証においても行われ始めている [8]．

2.2局所特徴量へのアテンション

この章では、入力から隠れ層 h への特徴量計算において、どのようにアテンションを適用するかについて述べる．Ww xw 、Wp xp 、Wl xl の 3 要素は独立しているので、以下 Wx に一般化して説明する．
まず、x は n 個の特徴量エンベディングを連結したものであるため、W もまた n 個の要素に分解可能である（図 2）．この時、各要素を Wi 及び xi とした時、∑Wx = i Wi xi が成り立つことに注意されたい．そして、i 番目の特徴量に対応する隠れ層の表現として、

ci = Wi xi が定義できる．
提案法では、この隠れ層を分解したベクトル {ci } に対してアテンションを適用する．具体的には、隠れ層をアテンションベクトル a = (a1 , a2 , · · · , an ) による∑
重み付き和として、hg = i ai ci のように計算する．
1 本実験では、オリジナルに対していくつかの特徴量を追加しているが（3.1 章参照）、簡略化のためここでの説明はオリジナルの特徴量のみを用いて行う．

― 865 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

*.

/(%$%$&(&!".,*+ *,  *-Test

UDPipe79.52 (10.13)

70.34 (13.40)

w/o Att.

79.65 ( 9.38)

70.06 (12.99)

w/ Att.

80.18 (10.78)

70.79 (13.19)

.+Dev

表 1: LAS のマクロ平均 (カッコ内標準偏差).-('また、交差構造を扱うために arc-standard swap[7] を$'5採用した．ビームサーチの幅は 5 とした．

図 2: Wi xi を分解した隠れ層 ci に対するアテンション．
アテンション ai は、ci とパラメーター q を用いて、以下の式で得られる（σ はシグモイド関数）．

る．開発データではゴールドの文分割・単語分割・形態素情報を用いて解析し、評価データでは生文解析とアテンションパラメーターは、単語・品詞・ラベルにp

UDv2.0 の 45 言語 63 ツリーバンクを対象とし、訓練・開発・評価の分割は UDPipe に合わせた．評価は、全ツリーバンクにおける F1LAS 値のマクロ平均とすexp(σ(q · ci ))ai = ∑ni=1 exp(σ(q · ci ))w

3.2 多言語解析

して UDPipe による前処理後の文を解析する．

l

ついてそれぞれ異なるもの（q 、q 、q ）を用いる．

結果を表 1 に示す．アテンションなしのモデル（w/oAtt.）は UDPipe と同等の精度であるが、アテンションの追加（w/ Att.）によって、両方の性能を上回ってい3 実験
この章では、UDv2.02 における多言語解析の結果（3.2 章）と、人工文を用いた統制実験の結果（3.3 章）を報告する．前述した通り、後者の実験で用いる文は、特定の箇所に着目することで局所曖昧性を解消できるようになっている（3.3.1、3.3.2 章参照）．アテンションが期待通りに作用していれば、それぞれの箇所に重みがかけられ、正しい構造へと辿り着けるだろう．両
実験共にアテンションなしの解析器、及び、UDPipe

る．言語ごとに比較すると、開発データでは 54 個、評価データでは 57 個のツリーバンクでアテンションによる精度の向上が確認された．一方、en partut（1,035文）や hu（864 文）といった比較的小さいツリーバン
クでは性能が低下しており、有効なアテンションの学習にはデータをより多く必要とする可能性がある．

3.3 局所曖昧文の解析
この章では、二つのタイプの人工英文を用いて、局

v1.13 と比較する．

所曖昧性に対してアテンションがどのように役立っているのかを調査する．人工文は、特定の箇所に着目す

3.1 解析器
特徴量を抽出してくる解析器上の位置はChen&Manning[3] に 従 う が 、LEMMA な ど の オ
リジナルからの追加情報も使用する．エンベディ
ングのサイズは、WORD を 50、LEMMA、UPOS、XPOS、FEATS、および DEPREL を 20 とした．また、bi-LSTMs を用いた 32 次元の文字エンコーディ
ングも使用した（ただし、アテンションは適用しない）．隠れ層の次元数は 200 で、50%のドロップアウ
トを適用する．事前学習済みのエンベディングとしては、ベースラインの UDPipe と同じもの 4 を使用し、ることで曖昧性が解消できるような構造になっており、アテンションが当該箇所に重みをかけて正解に辿り着けるかどうかを検証する．

3.3.1

最初のセットでは、図 1 のような斜格（oblique, obl）と名詞修飾子（noun modifier, nmod）の曖昧性解消を検証する．このタイプの文では、先行する部分（“Johnon Monday”）の品詞系列が典型的な名詞句と同様であるために、通常の遷移型解析器は “ Monday” を名詞修飾子と誤認識し、 “ John” にかけてしまうことが多い．

2 http://hdl.handle.net/11234/1-1983
3 CoNLL

斜格 vs. 名詞修飾子

5 UDPipe は言語ごとにハイパーパラメーターのチューニングを

2017
UDsharedtask（http://universaldependencies.org/conll17/）に お い て 、局 所 的 な特徴量のみを用いた解析器として最高精度を記録している．
4 https://lindat.mff.cuni.cz/repository/xmlui/handle/11234/1-1990

行っているが、我々の解析器では上記の設定で固定した．ただし、訓練データが非常に少ないカザフ語に関しては、WORD・UPOS・
XPOS の次元をそれぞれ 100・50・50 に増やすことで精度が大幅に向上したため、そちらを採用した．

― 866 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

stackRootbuffer

John Monday

introduces advisors .

UDPipew/o Att.
w/ Att.

on

図 3: 遷移型解析器が “Monday” の係り関係（斜格 vs. 名詞修飾子）を判別する際の状態
2
on
ADPIN

3
obl
None
None
None
NoneoblMonday
PROPN
NNP
Sing

Pred tagsobl
nmod
0 / 14 13 / 140 / 14 13 / 14
6 / 14 13 / 14

表 3: obl と nmod における正解数．
4

nmodaDETDT
Ind ...

Gold tagsobl
nmod
0 / 1414 / 140 / 1414 / 14
12 / 14 14 / 14

nmodbalcony
NOUNNNSing5introduces
VERBVBZ
Ind ...

表 2: “John on Monday ...” (obl) と “John on a balcony ...”
(nmod) の 2 から 5 番目の単語における差分（形態素情報はゴールド）．

図 3 は “Monday” の親を判別する際の遷移型解析器の状態である．解析器の動きとしては、斜格に対応する遷移は shift であるが、ここで誤って right-arc を選択
すると前述した不正解の構造が作られる．この時名詞句解釈を誘導するのが “on” であるが、「人名詞を修飾することが少なく、動詞と結びつきやすい」といった性質を持つ “Monday” に着目することができれば、斜格として後続の動詞句を構築できるだろう．
実験で用いる 14 組の文は、“John on Monday intro-duces advisors”と “John on a balcony introduces advisors”のようなミニマルペアになっており、当該の前置

図 4: obl（上図）と nmod（下図 ）に対するアテンション．
si 及び bi はスタックとバッファの i 番目のトークンにそれぞれ対応する．lci 及び rci はそれらの i 番目の左右の子供に対応する．

詞句は前者では斜格であり（obl）、後者では名詞修飾子となる（nmod）．それぞれの差分を表 2 に示す．

3.3.2

目的語―補語 vs. that 節

表 3 が各条件における正解数である．典型的な構造

2 つ 目 の セット で は 、目 的 語 ― 補 語（object-を持つ nmod 条件では、いずれのシステムもほぼ完璧complement, oc）と that 節（that-clause, that）の曖昧に解析できている．一方、obl 条件では、アテンション性に関する検証を行う．図 5 の上図及び中図がペアと付きの解析器のみ正答できており、他の解析器はゴーなる例文である．that 条件の文を正しく解析するにルドの形態素情報を与えても失敗している．予測タグ

は、目的語―補語の解釈を避けて、that 省略を察知しを用いた obl 条件において、アテンション付き解析器なければならない．下図は遷移型解析器の分岐時の状の精度が低下しているが、これは 5 つ目の動詞（例態であり、oc 条件であれば right-arc、that 条件であ“introduces”）を名詞とする誤った前処理からのエラーれば shift が正解遷移である．それぞれの解釈に辿り伝搬であった．これらの結果から、一般の遷移型解析着くためには、最後のトークンが重要であり、分岐時器では obl のような文を解析できないことがわかる．の状態においてはバッファの 2 番目に位置している．

そして、アテンションを組み入れることによって、致この実験では 24 組全 48 文を用い、表 4 が各ペア

命的なタグ誤りを含まない限り、こうした局所曖昧性（“John found it ignored before.” vs. “John found it ig-に対処できることも示唆している．

nored comments.”）における差分の例である．両者は、最後に、表 2 の例文について、分岐状態（図 3）に品詞タグで明確に区別されるため（例えば、VBN まおける各特徴量への重みを示す（図 4）．obl 条件でたは VBD）、ゴールドのタグが与えられた場合の難易は、解析器はスタック上の “Monday” とバッファ上の度は高くないと予測される．そのため、この実験にお“introduces” に対して比較的多くの重みをかけている．

ける課題は、タグに誤りを含んだ環境であり、特定のこれは仮説に従う結果であり、アテンションが経験的箇所や単語表層に着目することで構造を正しく推定でな直感と一致する形で動作することを示唆している．

きるかどうかである．

― 867 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

xcomp
obj

John

found

it

ignoredbefore.

ccomp
nsubj

John

founditignoredcomments.

stack

found

Root

bufferit

ignoredbefore.

John

図 5: oc 条件（上図）と that 条件（中図）、及び、遷移型解析器の分岐時の状態（下図）．
3ocit
PRON
PRP
Acc ...

4thatitPRON
PRP
Nom ...

oc
ignoredVERB
VBN
Past ...

5
that
ignored
VERB
VBD
Ind ...

oc
beforeADV
RB

that
comments
NOUN
NNS
Plur

図 6: that に対するアテンション．that 省略の察知に成功した場合（上図）、および、失敗した場合（下図）．

表 4: 図 5 の文ペアの差分.

UDPipew/o Att.
w/ Att.

Gold tagsocthat23 / 24 24 / 2424 / 24 24 / 2423 / 24 24 / 244 結論

Pred tagsoc
that19 / 24 0 (0) / 2416 / 24 1 (2) / 2418 / 24 1 (7) / 24

本論文では、動的特徴量選択のためのアテンション機構を提案した．提案手法は、特徴量エンベディングを連結したベクトルを入力とするフィードフォワード

表 5: oc と that における正解数．括弧内の数字は、that 省
略を察知できたものの他の構造に誤りがあったもの．

ネットに対して適用可能である．複数の実験を通じて、この仕組みを活用した逐次型解析器は、各々の文脈において着目すべき箇所を学習し、誤りタグに対して頑健になるなど、その性能が向上することを確認した．

結果を表 5 に示す．ゴールドのタグが与えられた場
合、いずれのシステムも両者を区別できているが、予測タグにおいては精度が下がり、特に that 条件において顕著である．誤り分析を行うと、これは 3 番目の単語 it に対するタグ誤りに起因することが判明した．that 省略によって、UDPipe は “it” に対して目的語（Accsuative）のタグを付与しており、さらに、この誤りが次のトークンへのタグ付けにも影響して、4 番目の動詞が過去分詞または形容詞と推定されていた．
このようなタグ誤りを内包する文において、解析器がthat 省略を察知するのは非常に困難と言える．
しかしながら、完全な解析には失敗しているものの、アテンションを用いた解析器のみが 30 ％（7/24）の割合で that 省略を察知できていた6 ．図 6 は、that 省略の察知に成功したケースと失敗したケースのアテンションを可視化したものであり、察知できた場合は最後の名詞に対する重みがわずかに大きくなっている．
これが入れ子構造を想定させ、主節の動詞が that 節を取ることを推定できたのだろう．
6 最後の名詞（例 “comments”）を節の軸とし、 it は名詞の nsubjと解析していた．

参考文献[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machinetranslation by jointly learning to align and translate. 2015.
[2] Timo Baumann. Incremental Spoken Dialogue Processing: Architecture andLower-level Components. PhD thesis, 2013.
[3] Danqi Chen and Christopher Manning. A fast and accurate dependency
parser using neural networks. In Proceedings of the 2014 Conference onEMNLP, pages 740–750, 2014.
[4] Eliyahu Kiperwasser and Yoav Goldberg. Simple and accurate dependency
parsing using bidirectional lstm feature representations. Transactions of theAssociation for Computational Linguistics, 4:313–327, 2016.
[5] Roger Levy. Expectation-based syntactic comprehension.
106(3):11261177, 2008.

Cognition,[6] Joakim Nivre. Algorithms for deterministic incremental dependency parsing.
Computational Linguistics, 34(4):513–554, 2008.
[7] Joakim Nivre, Marco Kuhlmann, and Johan Hall. An improved oracle fordependency parsing with online reordering. In Proceedings of the 11th IWPT,
pages 73–76, 2009.
[8] Ravi Shekhar, Sandro Pezzelle, Yauhen Klimovich, Aurélie Herbelot, MoinNabi, Enver Sangineto, and Raffaella Bernardi. Foil it! find one mismatchbetween image and language caption. In Proceedings of the 55th Annual
Meeting of ACL, pages 255–265, 2017.
[9] Tianze Shi, Liang Huang, and Lillian Lee. Fast(er) exact decoding and global
training for transition-based dependency parsing via a minimal feature set. In
Proceedings of the 2017 Conference on EMNLP, pages 12–23, 2017.

― 868 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.