言語処理学会 第26回年次大会 発表論文集 (2020年3月)

マスク言語モデルを利用したデータ拡張に基づく
日本語文内ゼロ照応解析
今野 颯人 1

松林 優一郎 1,2

清野 舜 2,1
1

東北大学

大内 啓樹 2,1
2

高橋 諒 1,2

乾 健太郎 1,2

理化学研究所{ryuto,ryo.t,inui}@ecei.tohoku.ac.jp
y.m@tohoku.ac.jp,{shun.kiyono,hiroki.ouchi}@riken.jp
1

はじめに
ゼロ照応解析（zero anaphora resolution; ZAR）は

警察は 男を 逮捕したが、 (φガ)ガ

文中の述語の省略された項（ゼロ代名詞と呼ばれる）を特定するタスクである．日本語ではこの項の省略が頻出するため，意味解析を行う上での重要なタスクとして位ヲ

数日後に 逃走した。

ガ

図1: 日本語ゼロ照応解析の例：実線が直接係り受けを，点線が項を表す.

利用法を LM-as-feature と呼ぶ）が，CDA の LM-置づけられている．

as-feature とこの方法の２種類の LM の利用法を統

日本語における ZAR の例を図1に示す．ここでは，「逃合する方法は自明ではない．

走した」という述語の主語（項）が構文上省略されているため，この主語の特定が ZAR に分類される．ZAR は

2. CDA は任意の単語を置換の対象として取り扱う．し係り受け関係などの統語的手がかりが少ないため，解析かし，変更する単語によっては置換後の文と元の文のが困難であることが知られている．例えば，ZAR の精

意味的/統語的な整合性が失われ，教師データとの対度は，解析対象を述語と同一文内にある項に限っても，応が破壊される危険性がある．このため，文の統語的・F1 値が 58% 程度 [9] と低い水準に留まっている．本稿

意味的な構造を大きく変更するような単語の置き換え

では，その要因の一つである，ZAR の教師データとしを抑制する必要がある．て最も規模の大きなコーパス [4, 6] を用いても，その訓そこで，我々はこれら二つの問題を解決するために練事例数が十分ではないという問題点に注目する．我々

既存の CDA の枠組みに（1）マスクに基づくデータ拡は，ZAR のためのデータ不足問題を解決する方法とし張と（2）言語情報を利用したマスク戦略という二つのて，構造アノテーション付きテキストデータのための新拡張を加える（詳細は第4節を参照のこと）．実験では，しいデータ拡張の手法を提案し，与えられた訓練データ

BERT[2] を用いた強力なベースラインに対し，提案手を最大限に活用することで ZAR の精度向上を目指す．

法が解析性能の向上をもたらし，日本語 ZAR の世界最近年，文脈を考慮したデータ拡張の手法（contextualdata augmentation; CDA）[3, 7, 15] は自然言語処理分野において活発に研究されている．CDA は訓練データ高性能を達成したことを示す．

文内ゼロ照応解析の定式化

2中の単語を別の単語で置換することによってデータ拡張

日本語の ZAR は，同じく意味解析タスクの一つであを行う．その核となるアイデアは，文脈を考慮しながらる述語項構造（Predicate-Argument Structure; PAS）置換先の単語を選択することである．具体的には，学習解析の一部として定式化され，構文的に直接依存する済み言語モデル（language model; LM）を用いて文脈を項の解析（DEP）と同時に解析されることが多く [5, 9,考慮した単語出現確率分布を計算し，そこから単語を選11]，本稿でもこの方法に習う．日本語の PAS 解析は，択する．この LM の利用法を LM-for-replacement と

文 X = (x1 , . . . , xI ) と文内の述語 p = (p1 , . . . , pJ ) を呼ぶことにする．我々の基本アイデアは，この CDA の入力として，それぞれの述語に対してガ格，ヲ格，ニ格手法を ZAR の訓練データ拡張に用いることである．しとなる項を特定するタスクである．文 X は各単語を表かし，CDA は以下の二つの理由で我々の目的に直接的

す one-hot ベクトル xi ∈ {0, 1}|V| で構成されているとには適用できない．

する．V は語彙集合を表す．pj ∈ N は述語の位置を表す

1. 近年の分類モデルでは，学習済み LM の最終隠れ層を1 以上 I 以下の自然数である．

入力素性として使うことが一般的となっている（この― 1093 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

3!# !

本稿で使用するベースモデル（MP-MLM）は，Mat-subayashi & Inui[9] の提案モデルである MP（multipredicate）モデルを拡張したものである．唯一の違い
は，MP-MLM では BERT[2] のような学習済みマスク!!% ! !$"#! "  !# … ![MASK] … !$"# ![MASK]! !# ! !! ! !$"# !$(a): CDA LM-for-replacement!

!

言語モデル（masked language model; MLM）の最終

Pretrained MLM : Eq. (1)

隠れ層の系列を MP モデルの入力として用いる点であ! !# ! !! ! !$"# !$る．MP-MLM は文 X と解析対象の述語位置 pj ∈ p を入力とし，確率分布 P (yi,j |X, p, i, j) を計算する．ここで，yi,j ∈ { ガ格，ヲ格，ニ格，NONE} は i 番目の単語

xi と j 番目の述語のペアにおける項のラベルである．
まず，MP-MLM は入力文 X を学習済み MLM を用いてエンコードする．

←−−→
E = MLM(X)

(1)
←−−→
ここで MLM は学習済み MLM の最終隠れ層 E =(e1 , . . . , eI ) を計算する関数であり，ei ∈ RD は文中の各単語に対応する最終隠れ層，D は隠れ層の次元数である．次に E は多層双方向 RNN に入力され，確率分布

P (yi,j |X, p, i, j) が計算される．

4

MASK : Eq. (2)! !# … !! … !$"# !$Noun Verb Noun
Adj
(c):

Enhanced CDA
LM-for-replacement&(b): Baseline LM-as-feature
LM-as-feature
図2: 学習済み言語モデルの異なる使用方法を統合し，かつより安全な方法でデータ拡張する手法を提案する．全体像を図2-（c）に示す．
本研究による拡張

まず，二つの異なる LM の使い方を統合するため，マスクに基づくデータ拡張を提案す
る．この拡張では基本的に MLM の最終隠れ層を入力素性として使用する（LM-as-feature）．核となるアイデア
は，文 X の単語を MLM のマスクトークン [MASK] で置換し，異なる最終隠れ層 E ′ を得ることである．狙いとして，MLM は [MASK] に文脈を考慮して単語を埋めるよう学習されていることから，ここで得られた最終隠れ層 E ′ は LM-for-replacement により得られたものと提案手法

研究背景とモチベーション…

Pretrained MLM : Eq. (3)!$%Pretrained LM

#

…

#"

Embedding Layer

ベースモデルみなせる．この方法により，図2に示している二つの異なCDA を用いた ZAR のデータ拡張を実現するため，本稿では二つの問題に取り組む．まず最初の問題として，学習済み LM には二つの異なる使い方，LM-for-replacement（図2-（a））とLM-as-feature（図2-（b））が存在するが，これらを統合することは自明ではない．具体的には，LM の異なる使い方として以下のような違いがある．CDA は入力文の任意の単語について，学習済み LM を用いて語彙確率分布を出力し，異なる単語に置換する [3, 7, 15]（LM-for-replacement）．一方で，最近の分類タスクの多
くは LM の埋め込み表現 E そのものを入力素性として用いている [2, 12]（LM-as-feature）．
次の問題として，ZAR ではデータ拡張によって新たに生成された文に，元の文の意味構造を表す正解ラベルを使用する．そのため，新たに生成された文が元の意味的/統語的な構造を維持していることが重要である．

CDA では任意の単語を置換の対象として取り扱う．しかし，特定の単語は意味構造に重要であり，これらを置換することによって得られた文は元の意味構造を維持できないことが予想される．よって任意の単語を置換することは好ましくない．
これら二つの問題に対して，我々は CDA に（i）マスる LM の使い方を統合することができる．また，MLMによって [MASK] 箇所の予測を行うことで，[MASK] に対応する最終隠れ層が文脈上適切かつ，より抽象的な意味表現となることが期待できる．一方で元の CDA では，単語が別の単語で置換されたのち MLM によってエン）．加コードされるため，同じ効果は望めない（図2-（a）えて，MLM が文脈を考慮して予測を行う性質上，マスクされていない単語に対応する最終隠れ層も元の表現から変化することにも注意されたい．
次に，入力をマスクしても元の構文/意味構造を維持するために，言語情報を利用したマスク戦略を提案する．
ここでは品詞タグを使用してマスク箇所を制御する．直感的には，品詞の種類によってはマスクされるべきではないと思われるものがある．例えば，句読点や括弧などの記号は文の構文構造を決定づけるため，これらがマスクされた場合，マスクされた文から作られた中間表現と正解ラベルとの構造的な整合性が損なわれる可能性があり，モデルの訓練時にノイズとなると考えられる．
本稿の提案手法で拡張された CDA は，まず入力 X
内の単語を [MASK] を表す one-hot ベクトル x[MASK] ∈R|V| で置換する．その後，マスクされた入力 X ′ は MLMに与えられ，ベクトル系列 E ′ = (e′1 , . . . , e′I ) を得る．

クに基づくデータ拡張と（ii）言語情報を利用したマスク戦略といった二つの拡張を加え，LM の異なる利用法― 1094 ―X ′ = MASK(X; V ′ , α),←−−→E ′ = MLM(X ′ ).

(2)
(3)

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Method

図3: マスク確率に伴う ZAR の F1 値の推移

ここで，MASK は入力の V ′ に属する各単語を確率 α でx[MASK] に置換する関数である．例えば，MASK(X; V ′ =Vnoun , α = 0.3) の場合について考える．この場合，単語xi が語彙集合 Vnoun に属するとき，割合 0.3 で x[MASK]に置換される．ここで，Vnoun は訓練データ中に出現する名詞の集合を表す．以降の計算は第3節の MP-MLM

ALL F187.43 ±0.1487.64 ±0.09
87.53 ±0.09
87.35 ±0.09
87.43 ±0.19
87.29 ±0.1687.44 ±0.16
87.67 ±0.1187.44 ±0.1587.59 ±0.1987.72 ±0.16

Baseline
VVnounVverb
Vparticle
Vsymbol
V\VnounV\Vverb
V\Vparticle
V\Vsymbol
V\�Vverb ∪ Vsymbol �

実験開発セットにおいて最適な設定を探索する（第5.2節）．
その後，評価セットにおいて既存のデータ拡張の手法と比較する（第5.3節）．

5.1

実験設定

実験では NAIST Text Corpus（NTC）[4, 6] 1.5 を用いる．NTC 1.5 は ZAR や PAS 解析の既存研究 [9–92.8292.94
92.87
92.78
92.82
92.74
92.85
92.96
92.83
92.98
92.97

SD

ZAR
DEP
ALL NOM ACC DAT ALL

MethodALLM&IO&K

83.94 ±0.12 55.55 57.99 48.9 23 90.26
83.82 ±0.10 53.50 56.37 45.36 8.70 90.15

実験では，第4節で述べた二つの CDA の拡張の効果を検証する．まず，マスクする品詞タグの種類を変化させ，

64.08
64.89
64.62
64.15
64.31
64.12
64.34
65.02
64.23
64.66
64.81

表1: NTC 1.5 開発セットにおける F1 値．手法名はマスク対象である品詞タグの集合を表す．太字の値は同じ列における最高精度を表す．と同様である.

5SD ZAR F1 DEP F1Baseline† 86.85 ±0.11 63.89 66.45 57.2
Replace† 86.84 ±0.19 63.87 66.16 58.5
ZeroDrop† 86.94 ±0.14 64.23 66.80 57.4
Masking† 86.98 ±0.13 64.15 66.60 57.9
MaskDrop† 87.14 ±0.11 64.86 67.36 58.6

2729282929M&I∗
85.34
MaskDrop†∗ 88.35

26 91.26
30 93.25-58.07 60.21 52.5
68.02 70.59 61.3

92.24
92.27
92.29
92.46
92.52

Taira ら [14] の定義したデータ分割に従い訓練，開発と表2: NTC 1.5 の評価セットにおける F1 値．太字の値は各列における最高性能を示す．†: 我々の実験結果．∗: アンサンブルモデル．M&I:
Matsubayashi ら [9] の結果．O&K: Omori らの結果 [10]．

11] で採用されているベンチマークデータセットである．
評価セットを作成した．各モデルは 10 個の異なるシードを表すことに注意されたい．ここでは，比較的高いマスで訓練した後，F1 の平均値を報告する．訓練済み MLM

ク確率（約 0.5）が良い性能となりやすい傾向が読み取としては，日本語 Wikipedia で訓練された BERT[2] をれる．

用いる [13]．全ての実験で BERT のパラメータは固定

図3より，各品詞タグの種類について最も高い ZARした．マスクした文 X ′ と元の文 X を 1:1 の割合で混F1 を達成したモデルの結果を表1に示す．表より，V のぜて学習に用いた．解析の対象である述語位置 pj はマ設定が Baseline の ZAR F1 を改善したとわかる．このスクの対象からは除外した*1 ．

5.2

結果より，マスクに基づくデータ拡張が有効であること

CDA への拡張の効果の検証が示唆される．

本実験では，マスクの対象とする品詞タグの種類を変次に，表1より言語情報を利用したマスク戦略の効果化させた際のモデルの性能の変化を調べる．具体的には次の結果で検証される：（i）V とは異なり，Vverb とは，次に挙げる設定の組み合わせの全てでモデルを訓Vsymbol は性能の向上は見られなかった：これらの ZAR練する．(i) 品詞タグの種類: {Vnoun , Vverb , Vparticle ,Vsymbol , V}.*2 (ii) マスク確率 α: {0.1, 0.3, 0.5, 0.7,0.9, 1.0}.*3 本実験では，計算コストを減らすため各エポックでのマスク位置は固定する．

F1 は Baseline とほぼ同等である；（ii）動詞と記号をマスクしない設定 (V\Vverb と V\Vsymbol ) はそれぞれ最も高い ZAR F1 と DEP F1 を達成した．

5.3

他手法との比較

各マスク確率と品詞タグの種類における ZAR F1 を

本節では，我々の提案手法と（i）Baseline から性能図3に示す．図3でのマスク確率は全単語中における割合の向上が見込める他手法と（ii）既存研究との比較を行*1 予備実験では，除外しない設定において精度の低下が確認できたた

う．ここでは、我々の提案手法を Masking と呼ぶ．本め．
*2 コーパスの 10% 以上を占める品詞タグを選択した．
*3 1.0 は対象とする品詞タグの単語全てをマスクすることを示す．

実験では，表1において ZAR F1 の最高性能を達成した

V\Vverb 設定を用いる．また，既存研究に従い [8] 各エ― 1095 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

) 内閣 改造)' 内閣 [M])'' 内閣 はを

通常

国会 召集

前

NOMに やる 考え はPREDない。
。

[M] [M][M] [M][M]に やる 考え [M] ないは、ために やる 考え は、、ない

図4:
Replace に お け る デ ー タ 拡 張 の 実 例．X ′MASK(X;V\Vverb , α = 0.5). [M] は [MASK] を表す．

。

=させると考えられる．

おわりに6

本稿では，日本語の ZAR における訓練データが十分でない問題にデータ拡張のアプローチによって取り組んポックでマスクする位置をランダムに変更する．

だ．我々は，言語情報を利用したマスク戦略を元に，学比較対象とする手法は以下の二つである．

習済み LM の二つの異なる使用法を組み合わせた新し• ZeroDrop: MLM の出力 E を受け取り，各 ei がい手法を提案した．実験によって，動詞以外の語彙全体V\Vverb に属する場合は確率 α でゼロベクトル 0 ∈をランダムにマスクすることが性能を改善することを示

RD に置換する．この手法は word-dropout に着想をした．word-dropout に基づく手法を組み合わせること得ている [1, 16]．

で性能をさらに改善し，世界最高性能を達成した．

ま ず 最 初 に マ ス ク さ れ た 系 列 X′ =• Replace:

MASK(X; V\Vverb , α = 0.5) を受け取り，[MASK]を MLM が予測した単語で埋める．新しい系列を X ′′と表す．その後，系列 X ′′ を MLM を用いて E へと謝辞．本研究は JST CREST（課題番号: JPMJCR1513）の支援および JSPS 科研費 JP19K12112 の助成を受けたものである．

エンコードする．このモデルは CDA の手法を直接参考文献

LM-as-feature に適用させたものとみなせる．なお，[1]

文中に複数の [MASK] が存在する場合は，全てを同時[2]に埋める．*4
結果を表2に示す．まず，Baseline の性能が既存研究[9, 10] をすでに大幅に上回っていることに注意された

[3]
[4]

い．我々の提案手法である Masking を加えることで，この強力な Baseline から更に性能が向上した（ZAR F1で 0.26 ポイント向上）．一方で，Replace の ZAR F1[5][6]は Baseline とほぼ同等の結果となった．この結果は我々の仮説を裏付けるものである：単純に CDA を適用す

[7]ることは，LM-as-feature のモデルには効果が見込めない．また，Masking の代替手法である ZeroDrop も ZAR

F1 において Baseline から精度向上が見られた．この結[8][9]果から，我々は Masking と ZeroDrop を組み合わせた．
この手法を MaskDrop と呼ぶ．MaskDrop では，式3における入力 E ′ を受け取り，[MASK] に対応する位置にZeroDrop を適用する．このモデルは ZAR F1 において[10][11]64.86 と最高精度を達成した．
MaskDrop が ZAR F1 の最高性能を達成したという[12]

事実は，これら二つの方法が相補的な関係にあることを[13]示している．この精度改善の理由を，図4の実例で説明する．図4は元の文 X ，マスクされた文 X ′ ，X ′ のマスク部分が BERT の予測単語で埋められ変更された文 X ′′′′を示す．X において，マスクされた単語は意味のない

[14]
[15]
[16]

反復的な助詞や句読点で埋められているため，訓練中にKevin Clark et al. “Semi-Supervised Sequence Modeling with
Cross-View Training”. In: EMNLP. 2018, pp. 1914–1925.
Jacob Devlin et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”. In:NAACL. 2019, pp. 4171–4186.
Fei Gao et al. “Soft Contextual Data Augmentation for Neural Machine Translation”. In: ACL. 2019, pp. 5539–5544.
Ryu Iida et al. “Annotating Predicate-Argument Relations
and Anaphoric Relations: Findings from the Building of the
NAIST Text Corpus”. In: Natural Language Processing 17.2
(2010), pp. 25–50.
Ryu Iida et al. “Intra-sentential Zero Anaphora Resolution using Subject Sharing Recognition”. In: EMNLP. 2015,
pp. 2179–2189.
Ryu Iida et al. “NAIST Text Corpus: Annotating PredicateArgument and Coreference Relations in Japanese”. In: Handbook of Linguistic Annotation. Springer, 2017, pp. 1177–1196.
Sosuke Kobayashi. “Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations”. In:NAACL. 2018, pp. 452–457.
Yinhan Liu et al. “RoBERTa: A Robustly Optimized
BERT Pretraining Approach”. In: arXiv
preprint
arXiv:1907.11692 (2019).
Yuichiroh Matsubayashi and Kentaro Inui. “Distance-Free
Modeling of Multi-Predicate Interactions in End-to-End
Japanese Predicate-Argument Structure Analysis”. In: COLING. 2018, pp. 94–106.
Hikaru Omori and Mamoru Komachi. “Multi-Task Learningfor Japanese Predicate Argument Structure Analysis”. In:NAACL. 2019, pp. 3404–3414.
Hiroki Ouchi and Yuji Shindo Hiroyuki and Matsumoto.
“Neural Modeling of Multi-Predicate Interactions forJapanese Predicate Argument Structure Analysis”. In: ACL.
2017, pp. 1591–1600.
Matthew Peters et al. “Deep Contextualized Word Representations”. In: NAACL. 2018, pp. 2227–2237.
Tomohide Shibata, Daisuke Kawahara, and Sadao Kurohashi. “Improving Japanese Syntax Parsing with BERT”. In:
Natural Language Processing (2019), pp. 205–208.
Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. “AJapanese Predicate Argument Structure Analysis using Decision Lists”. In: EMNLP. 2008, pp. 523–532.
Xing Wu et al. “Conditional BERT Contextual Augmentation”. In: ICCS. 2019, pp. 84–95.
Ziang Xie et al. “Data Noising as Smoothing in Neural Network Language Models”. In: ICLR. 2017.

ノイズとして機能する可能性がある．ZeroDrop はこのようなノイズを除去することで，Masking の性能を向上*4 一度に一つずつ [MASK] を埋める手法も考えられるが，予備実験において全ての [MASK] を同時に埋める手法がが高い性能を示した．

― 1096 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.