言語処理学会 第24回年次大会 発表論文集 (2018年3月)

マルチタスク学習による遷移型依存構文解析
寺西 裕紀

松本 裕治

進藤 裕之

奈良先端科学技術大学院大学 情報学研究科{teranishi.hiroki.sw5, shindo, matsu}@is.naist.jp

1

はじめにては他に以下が挙げられる [2]．

• 複数のタスクに取り組むことによって学習データが増幅し，各タスクの学習データに観測されるノイズに対して頑健に学習ができる

ニューラルネットワークを用いた依存構文解析は，従来の非ニューラルネットワークのモデルによる構文解析の性能を大幅に上回っている．従来の構文解析器
では学習に用いる素性として単語・品詞などの組み合• 異なる難易度のタスクに対し，容易なタスクから得た特徴によって困難なタスクの学習に活用できる

わせを人手によって設計していたのに対し，ニューラルネットワークを用いた構文解析のモデルでは単語・品詞の分散表現からモデル自身が有用な特徴を獲得す• あるタスクのみに観測される局所解に陥りにくく，複数のタスク間で共通する局所解が選好されるることができる．いずれのモデルにおいても構文解析において品詞は重要な特徴として用いられているが，事前に付与された品詞の誤りの伝搬を解消することが本研究の貢献は，依存構文解析に有効な品詞タグ付できない．本研究では品詞タグ付け・依存構文解析のパイプライン処理に起因する誤りを緩和し，頑健に構文解析を行うことができるマルチタスク学習のモデル

け・構文解析のマルチタスク学習の階層的モデルを開発し，依存構文解析のタスクにおいて品詞タグ付けの精度を損なうことなく，既存の遷移型構文解析器と比を提案する．
自然言語処理において構文解析のみならず意味解析較して同等以上の精度を得たことである1 ．

や上位のアプリケーションでは，学習・推論に至るまでに事前に単語分割，品詞タグ付け，構文解析などを順次行い，素性となり得るデータを付与する場合が多提案手法

2

い．しかしながら，単語分割や品詞タグ付け，形態素

本節では，本研究に用いるニューラルネットワーク解析といった下位のタスクにおいても，構文・意味的のモデルとその学習方法について説明する．図 1 は本な曖昧性から誤りが生じる．下位のタスクの誤りはパ研究で用いるニューラルネットワークのモデルの概要

イプライン処理を経る過程で，目的となるタスクに至である．モデルは大きく分けて二つの部分から成る．

るまでのタスクでさらに誤りを生じさせる．パイプラ

一つは品詞タグ付けのモデル（図中の (a)〜(e) のレイ

イン処理による誤り伝搬の影響を低減・回避する方法ヤー），もう一つは構文解析のモデル（図中の (f)〜として，近年では下位のタスクの結果を素性として用(h) のレイヤー）である．次小節以降はモデルの詳細について述べる．

いない，ニューラルネットワークによるエンドツーエンドのモデルが提案されてきている．しかし，解析精度の点において構文・意味的な解析の結果を用いる手法に勝るモデルが開発されていないタスクも多い．そ

2.1

品詞タグ付けのモデル

こで近年では一つのニューラルネットワークのモデル

モデルの入力として，単語の系列を受け取る．単語に複数のタスクを学習させる，マルチタスク学習が注

および語を構成する文字は語彙数次元の one-hot ベク

目されている [4, 10, 5]．マルチタスク学習では複数のトルで表され，分散表現のベクトルに変換される（図 1

タスクを同時に学習することでタスク間で共通する抽(a), (b)）．

象的な特徴をとらえ，タスクの精度向上に役立てることができる．またマルチタスク学習を用いる利点とし― 1092 ―1 本研究で使用したコードは以下に公開する．
https://github.com/chantera/mtl-parser

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図 1: ニューラルネットワークのモデルの概要
なお，本モデルではそれぞれの品詞タグの決定は独立に行い，CRF などの構造的な学習・推論は用いない．

eword= W word xwordttechar= W char xchar
t,it,i{}char
Etchar = echart,1 , . . . , et,M

(1)

2.2

文字数 M ，次元数 dchar の文字分散表現のベクトルの系列は，行列 Etchar ∈ Rdchar×Mとして CNN の入力として渡され，pooling の演算によってベクトル化される（図 1 (c)）．

依存構文解析のモデル

本研究で用いる遷移型依存構文解析のモデルは，Kiperwasser ら [6] のモデルを基本とする．遷移型の構
文解析におけるある状態 statek に対して，状態 statekのスタック，バッファから素性に用いるトークンを取(2)り出す．本研究では素性に用いるトークンとして，ス単語の分散表現のベクトルと文字列の表現ベクトルタックの上位 3 トークン，バッファの先頭 1 トークンrchar
= pooling(CNN(Etchar ))tは連結され，双方向型 LSTM によってベクトル系列の順方向・逆方向から順次計算が行われる（図 1 (d)）．
taghtag([eword; rchar],1
1
1:N = BiLSTM. . . , [eword; rchar])NN(3)を用いる．それぞれのトークンは解析対象の文における異なる語 wordi を指している．状態 statek の特徴ベ
クトルは，トークンが指す語の位置 i を用いて，双方向型 LSTM の出力系列 hactionから隠れ状態ベクトル
1:Nhactionを取り出し，連結することで得る．すなわち，i品詞タグのスコアは双方向型 LSTM の隠れ状態のスタックの上位 3 トークン，バッファの先頭 1 トークベクトルの系列から多層パーセプトロンによって計算ンが指す語の位置をそれぞれ is0 ，is1 ，is2 ，ib0 とする

され，スコアの最も高い品詞タグをモデルの予測としと，状態 statek の特徴ベクトル vkaction は次式で表さて決定する（図 1 (e)）．

れる．

stag= MLPtag (htagtt )p̂θ (yttag |x) = softmax(stagt )()ŷttag = arg maxy tag p̂θ (yttag |x )vkaction = [haction; haction; haction; haction]
i s0
is1
i s2
ib0(5)(4)

t― 1093 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

状態 statek の次の状態へと遷移するアクションは，

3

実験

3.1

実験設定

品詞タグ付けと同様に特徴ベクトル vkaction から多層パーセプトロンによってスコア計算を行うことで求める（図 1 (h)）．

マルチタスク学習の効果を測定するために Pennsaction= MLPaction (vkaction )kTreebank version 3 を用いて英語の品詞タグ付けとp̂θ (ykaction |statek ) = softmax(saction)k()ŷkaction = arg maxykaction p̂θ (ykaction |statek )Parser version 3.3.0 を用いて Stanford Dependency

依存構文解析の実験を行った．コーパスは Stanfordに変換をし，Wall Street Journal パートのセクション(6)

2 から 21 を訓練データ，22 を開発データ，23 を評価

なお，本モデルではそれぞれのアクションの決定はデータとして使用した．依存構文解析の遷移システム

独立に行い，ビーム探索などの構造的な学習・推論はには ArcStandard，ArcHybrid を用いた．また依存構用いない．また，学習時には gold のアクションによ

文解析のアクションの系列は static オラクルに従ってるオラクルの状態に対してアクションの学習を行い，抽出した．

推論時には初期状態から予測のアクションを順次適用

単語の分散表現には事前学習した 100 次元のベクトさせて遷移を繰り返し，終了状態から最終的な構文木

ル2 を用いて初期化を行った．文字の分散表現のベクを取り出す．

トルの次元数は 10 次元とし，標準正規分布に従う乱数で初期化をした．CNN の window 幅は 5 とし，出力のチャンネル数は 50 とした3 ．pooling の関数には2.3モデル間の接続

max-pooling を用いた．双方向型 LSTM は図 1 (d),品詞タグ付けのモデルと構文解析のモデルの接続は，品詞タグ付けのモデルにおける双方向型 LSTM を下層とし，構文解析のモデルにおける双方向型 LSTM を上位の層として配置することで実現する．また，品詞タグ付けの結果を用いるために，予測した品詞タグを分散表現のベクトルに変換し，品詞タグ付けのモデルの双方向型 LSTM の出力と連結し，構文解析のモデ
ルの LSTM の入力とする（図 1 (f), (g)）．

数は 400 次元とした．品詞の分散表現のベクトルの次元数は 50 次元とし，標準正規分布に従う乱数で初期化した．MLP は図 1 (e), (h) のいずれも中間層を 1 層にし，ユニット数はそれぞれ 100，800 とし，活性化関数は ReLU を用いた．パラメータの初期化は LSTM のみ直交行列を用いて初期化をし，その他は全て Glorotの初期化を用いた．学習の最適化には Adam を用い，初期の学習率を 0.001 とした．ミニバッチのサイズはetag= W tag ŷttag
thaction= BiLSTMaction (1:N(g) のいずれも 2 層にし，隠れ状態のベクトルの次元32 とし，勾配の L2 ノルムは閾値を 5 とするクリッピ(7)ングを適用した．また正則化のために，図 1 (a)〜(h)のレイヤー間に Dropout（ratio=0.5）を適用した．

tagtagtag[etag1 ; h1 ], . . . , [eN ; hN ])全ての実験で提案モデルの訓練を 50 エポック行い，開発データ中で UAS の最も高いモデルを用いて評価2.4

学習データでの評価を行った．また，パイプライン処理にニューラルネットワークのパラメータ集合 θ の学習
は品詞タグの交差エントロピー誤差と遷移システムのアクションの交差エントロピー誤差の和を確率的勾配法によって最小化することにより行う．

L(θ) = −D ∑∑d=1−D ∑∑

イフ法で 50 エポックずつ学習を行って品詞タグを付与し，予測の品詞タグを用いて提案モデルにて構文解
先行研究と比較するために，コーパスの 0 から 18 を訓練データ，19 から 21 を開発データ，22 から 24 を

(8)
log p̂θ (y action(k) |state(k) )詞タグ付けのモデルのみを用いて，10 分割ジャックナ

析のタスクを行った4 ．また，品詞タグ付けの性能をlog p̂θ (y tag(t) |x(t) )tよる依存構文解析と比較をするために，提案手法の品評価データとして用い，提案手法の品詞タグ付けモデ
ルとマルチタスクモデルの実験を行った．

d=1 k
2 https://nlp.stanford.edu/projects/glove/
3 padding 処理は Ma ら [8] と同様に PAD トークンを用いた
4 付与された品詞タグを使用するため，図 1 (e) のレイヤーは使用せず，付与したタグを (f) の入力とした．

― 1094 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

4

おわりにモデル

手法

UASLASThis work (pipe, AS)

greedy

94.00

91.86

本研究では，品詞タグ付けのモデルと依存構文解析

This work (pipe, AH)

greedy93.93

91.73のモデルを階層的に接続したモデルを提案し，マルチThis work (mtl, AS)

greedy

94.25

92.45

タスク学習を行った．実験の結果，パイプライン手法

This work (mtl, AH)

greedy94.18

92.38と比較して品詞タグ付けの精度を維持したまま，依存Q & M 2017 [9]greedy94.3

92.2

構文解析のより高い精度が得られたことを示した．今

K & G 2016 [6]greedy93.9

91.9

後は中国語における単語分割のタスクとのマルチタス

C & M 2014 [3]greedy91.8

89.6

ク学習など，多言語の品詞・形態素・構文解析への応Andor et al. 2016 [1]

beam

94.61

92.79

用を行い，またビーム探索などを用いた品詞・構文のWeiss et al. 2015 [11]

beam

94.26

92.41

構造学習を行う予定である．

AS=Arc-Standard，AH=ArcHybrid
表 1: 依存構文解析の実験結果
モデル

参考文献
accuracyThis work (tagging-only)

97.44

This work (mtl, AS)

97.47

This work (mtl, AH)

97.51

Hashimoto et al. 2017 [5]97.55

Andor et al. 2016 [1]97.45

Ma & Hovy 2016 [8]97.55

Ling et al. 2015 [7]97.78[2] Richard Caruana. Multitask learning: A knowledge-basedsource of inductive bias. In Proceedings of the Tenth International Conference on Machine Learning, 1993.
[3] Danqi Chen and Christopher Manning. A fast and accurate
dependency parser using neural networks. In Proceedingsof the 2014 Conference on Empirical Methods in Natural
Language Processing, 2014.
[4] Ronan Collobert, Jason Weston, Léon Bottou, MichaelKarlen, Koray Kavukcuoglu, and Pavel P. Kuksa. Natural
language processing (almost) from scratch. Journal of Machine Learning Research, 2011.

表 2: 品詞タグ付けの実験結果

3.2[1] Daniel Andor, Chris Alberti, David Weiss, Aliaksei Severyn, Alessandro Presta, Kuzman Ganchev, Slav Petrov, andMichael Collins. Globally normalized transition-based neuralnetworks. In Proceedings of the 54th Annual Meeting of theAssociation for Computational Linguistics, 2016.

実験結果

実験結果を表 1，表 2 に示す．依存構文解析の評価実験において，提案手法は既存の遷移型依存構文解析のモデルと比較して高い UAS，LAS のスコアを達成した．Qi ら [9] のモデルは提案手法と同様に品詞タグのマルチタスク学習を行っており，遷移システムについては新たに Arc-Swift というアルゴリズムを提案している．提案手法はパイプライン処理に比べて高い性能を発揮しており，またビーム探索を用いない greedy
な遷移型構文解析のなかで最も高い LAS の値を得ている．
品詞タグ付けの評価実験において，品詞タグ付けのみを行ったモデルと比較してマルチタスク学習を行ったモデルでは精度の向上は見られなかった5 ．品詞タ
グ付けと構文解析の階層的なモデルによるマルチタス
ク学習では，構文解析を行ったことによる破滅的忘却を生じることなく，品詞タグ付けの精度を維持したまま構文解析の学習を行うことができている．
5 評価データの品詞タグ付けの精度についてマクネマー検定を行ったところ，マルチタスク-ArcHybrid は有意水準 5%で有意差が得られた．なお，マルチタスクモデルは依存構文解析の評価と同様に開発データ中の UAS が最も高いモデルを選択している．

[5] Kazuma Hashimoto, caiming xiong, Yoshimasa Tsuruoka,and Richard Socher. A joint many-task model: Growing aneural network for multiple nlp tasks. In Proceedings of the2017 Conference on Empirical Methods in Natural Language Processing, 2017.
[6] Eliyahu Kiperwasser and Yoav Goldberg. Simple and accurate dependency parsing using bidirectional lstm featurerepresentations. Transactions of the Association for Computational Linguistics, 2016.
[7] Wang Ling, Chris Dyer, Alan W Black, Isabel Trancoso, Ramon Fermandez, Silvio Amir, Luis Marujo, and Tiago Luis.
Finding function in form: Compositional character models
for open vocabulary word representation. In Proceedings ofthe 2015 Conference on Empirical Methods in Natural Language Processing, 2015.
[8] Xuezhe Ma and Eduard Hovy. End-to-end sequence labeling
via bi-directional lstm-cnns-crf. In Proceedings of the 54thAnnual Meeting of the Association for Computational Linguistics, 2016.
[9] Peng Qi and Christopher D. Manning. Arc-swift: A noveltransition system for dependency parsing. In Proceedings ofthe 55th Annual Meeting of the Association for Computational Linguistics, 2017.
[10] Anders Søgaard and Yoav Goldberg. Deep multi-task learning with low level tasks supervised at lower layers. In Proceedings of the 54th Annual Meeting of the Association for
Computational Linguistics, 2016.
[11] David Weiss, Chris Alberti, Michael Collins, and Slav Petrov.
Structured training for neural network transition-based parsing. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing,2015.

― 1095 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.