言語処理学会 第25回年次大会 発表論文集 (2019年3月)

係り受け木を用いたツリーバンク自動生成によるCCG 解析分野適応吉川 将司 1 能地 宏 2 峯島 宏次 3 戸次 大介 3
奈良先端科学技術大学院大学 1 産業技術総合研究所 2 お茶の水女子大学 3yoshikawa.masashi.yh8@is.naist.jp, hiroshi.noji@aist.go.jp,
mineshima.koji@ocha.ac.jp, bekki@is.ocha.ac.jp
1

はじめに自然言語の文に対して、その意味を、論理式やグラフ構造で付与したデータセットを構築することは、高コストであり、それを用いて教師あり学習により意味解析器を構築するようなアプローチでは、応用範囲に限界がある．一方で近年、構文解析技術の向上と言語学理論の発展により、組み合わせ範疇文法 [7, 24](CombinatoryCategorial Grammar; 以降 CCG) と高階論理の組み合わせによる意味解析技術が発展している．このアプローチでは、CCG 解析器の学習は必要であるが、CCG 木から高階論理による意味表示への変換は、教師なしの方法で行うことができる．また出力の論理式は、量化や否定の論理構造を捉え、それを用いた推論システム [19] は、一部の含意関係認識タスクでは最新の深層モデルに劣らない精度を示すなど有用である．
本研究は、後者のアプローチを更に推進し、医療分野や音声会話など、より広範なテキストに対する高度な推論システムの構築を目的とする．その実現のためには、ニューステキスト (Wall Street Journal;
WSJ [3, 18]) のみから学習した既存の解析器が、それらの分野のテキストに対して頑健であることが重要であるが、学習データに現れない未知の語彙（病名、専門用語）や文構造（言い淀み、分野特有の表現）が現れた場合に、解析性能が大きく下がってしまう．この問題を解決するには解析器の分野適応が不可欠である．
研究 [6] では、CCG カテゴリが持つ豊富な情報量を活かし、新たなテキストに対し終端のカテゴリ列のみ付与したデータから学習することで、新たな分野へのCCG 解析器の分野適応が可能であることが示されている．しかしながら、例えば医療分野テキストに対しCCG カテゴリを付与するには、医療テキストを理解し、かつ文法理論を熟知している必要がある．また、終端の情報だけでは、近年のより強力な解析手法 [12, 14]を学習させることができないという問題もある．
そこで本研究では、これらの問題を同時に解決するため、アノテーションコストが安価で、既に大量のコーパス資源が存在する係り受け木を利用することで、新たな分野に対する高品質な CCG コーパス（CCGBank）を自動構築する手法を提案する．具体的な手法としては、まず WSJ 上のアノテーションを利用して、係り受け木から CCG 木への深層変換モデルを学習する（図 1a）．新たな分野の係り受けコーパスをその変換モデルで CCG 木へ変換し（1b）、そのデータで既存の CCG 解析器を再学習させることでその分野のテキストに頑健な解析器を構築する（1c）．
近年、深層学習を用いてグラフや木などの構造を扱う技術が発展しており、本研究はこれらを活用することができる．また、文から CCG 木への変換である一
般的な構文解析のボトルネックは、大量の未知語への対処であるが、係り受け木を入力とする木構造間の変換モデルでは、文の構造については分野間での差異がほとんどなく、よって「未知の構造」というものが存在しないと考えられるため、提案法によって高品質なCCGBank を生成できると期待できる．
提案法の汎用性を示すため、既存の CCG 解析の分野適応のベンチマークである医療、疑問文 [6] に加え、Switchboard コーパス [8] を変換して構築した
CCGbank を用い、話し言葉解析の実験を行った．また、数学の問題文 [17] の解析実験データを構築し、数学入試問題の意味解析 [21] において完全にデータ駆動の手法が貢献できるかを評価した．

2

変換モデル

A* CCG 解析の手法 [14] を応用することによって、文x = (x1 , ..., xN ) の各単語に対するベクトル表現があれば、それを用いて CCG 木をデコードすることができる．木構造間の変換モデルを構成するには、単語に加え、係り受け木の情報もベクトルにエンコードすればよく、そのために本研究では双方向 Tree LSTM [5]を利用する．[14] によれば、CCG 木 y の構造は終端の CCG カテゴリの列 c = (c1 , ..., cN ) と CCG 木の句構造を表した係り受け構造 d = (d1 , ..., dN ) が決まればほぼ一意に決まるため、1 文 x の係り受け木を z と
2
すると、以下のように確率モデルを定義できる．

― 197 ―

P (y|x, z) =N∏
i=1

ptag (ci |x, z)N∏pdep (di |x, z).

(1)

i=1

1 木が一項規則 (unary rule) を含む場合その限りではない．
2 ここで各 ci と di の独立性を仮定している．

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

(a) 変換モデルの学習
detnsubj

reportedroot mark ...

the government reported that ...

thatgovernment

入力：係り受け木(b) 変換モデルの利用
nmodrootcase
amod

S...

N
N/N N/N N

ベクトルの集合

双方向Tree LSTM
(Miwa el al.,2016)

NP/N

A*構文解析デコーダ

S\NPN(S\NP)/SS

the government reported that ...

出力：CCG木(c) CCG解析器の再学習...

Circadian rhythm in glucocorticoid ...

Genia
係り受けコーパス

NPNi

Genia
CCG
コーパス

変換モデル

図 1: 提案法の概要図．
以下、入力の係り受け木を三つ組 z = (p, d′ , ℓ) とし、変換モデルの詳細を述べる．各 xi に対し、pi はその品詞、d′i ∈ {0, ..., N } は係り受け木における親のインデックス（0 はルートとする）、また ℓi は対応する係3り受けエッジのラベルである．
係り受け木をエンコードする双方向 Tree LSTM は 2つの Tree LSTM から成る．ボトムアップ Tree LSTM
は、各単語 xi について、係り受け木における子の隠れベクトル {h↑j |dj = i} と、xi の表現ベクトル ei から隠れベクトル h↑i を再帰的に計算する．トップダウン Tree LSTM は、親の隠れベクトル h↓di と ei から、ベクトル h↓i を計算し、双方向 Tree LSTM 全体では各 xi に対し隠れベクトルの連結 hi = h↑i ⊕ h↓i を返す．
提案法では以下のように係り受け構造をエンコードする．ここで、ev は v に対応する表現ベクトルで、Ωは双方向 LSTM、Ξd′ は双方向 Tree LSTM の一連の操作の略記とする．

e1 , ..., eN = Ω(ep1 ⊕ ex1 , ..., epN ⊕ exN ),h1 , ..., hN = Ξd′ (e1 ⊕ eℓ1 , ..., eN ⊕ eℓN ).
デコーダは、[14] と同様に {hi }i∈[1,N ] を基にそれぞれ Biaﬃne 層 [2] と双線形写像を用いて pdep|tag を計算し、A*構文解析により P (y|·) を最大化する CCG木 y を出力する．A*構文解析は、グラフ探索問題に対する A*アルゴリズムの一般化であり、優先度付きキューを使って次に探索する部分木を制御する．このようなデコーダを採用する強みには、出力結果の最適性の保証に加え、次に述べる制約付きデコーダがある．

2.1

制約付きデコーダ

構造を制御したい場合が多く考えられる．例えば、医療分野の CCGBank を生成するときに、固有表現に誤って N P 以外のカテゴリが付与されることを、病名辞書等を用いることによって防ぎたい場合などである．提案法の A*構文解析に基づくデコーダでは、探索空間に対し制約をかけることで、そのような制御を行いながら木構造の生成を行うことが可能である．
制約はカテゴリ c、始点 i、終点 j の三つ組 (c, i, j)であり、単語列 xi , ..., xj から成るカテゴリ c の CCG句を表す．制約付きデコーダは、A*構文解析において優先度付きキューに探索点（部分木；同様にルートのカテゴリと区間で (c′ , k, l) と表す）を追加するときに次の条件を満たすものをブロックすることで行われる．

• 区間が重複する（i < k ≤ j < l ∨ k < i ≤ l < j ）．
• i = k かつ j = l のとき：カテゴリが異なる（c ̸=c′ ）、もしくはあるカテゴリ c′′ について c′′ → c′
なる一項規則が文法に存在しない．
最後の一項規則についての条件は、名詞句を N P にする制約で (N P (N dog)) などの構造を誤って除外しないために必要である．同時に複数の制約を課す場合には、優先度付きキュー追加時にそれらすべてに対し上の条件が満たされるかをチェックすれば良い．また、木の終端の（単語に付与される）カテゴリを c にしたい
場合は、ptag の値を操作して行う：ptag (c|·) = 1 かつ他のすべてのカテゴリ c′ ̸= c について ptag (c′ |·) = 0．

33.1

提案法は、機械学習によるツリーバンクの自動生成法であるが、既存の言語資源を利用して生成される木の3 入力の係り受け木と CCG 木の係り受け構造は一般に異なる：
d ̸= d′ ．本研究では d′ は Universal Dependencies [9] に従い、dは Head First 木 [14] である（§ 3）．

実験
実験設定

CCG 解析器 depccg [14] に対し、提案法で生成したデータによる再学習で性能が改善するかを評価する．
depccg の手法は P (y|·) (式 1) における係り受け木 zへの依存を除き、デコーダへの入力を h1 , ..., hN =― 198 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 提案法の WSJ23 上での変換性能の上界評価．
UF と LF はそれぞれラベルなし/あり F1 である．
手法
depccg+ ELMo [15]

UF1
94.0
94.98

LF1
88.890.51

提案法

96.48

92.68

3.1.3

Ω(ex1 , ..., exN ) として、提案法同様に A*構文解析を行うことに等しい．[14] では、単語の表現ベクトルexi に、GloVe4 と接頭（尾）辞ベクトルの連結を用いているが、本研究では、接辞ベクトルの代わりに文脈を考慮した単語ベクトル (ELMo) [15] を用いた場合
eo（exi = xGloV⊕ xELM）もベースラインに含める．
xixi
提案法の変換モデルでも同様の単語ベクトルを用いる．
入力の係り受け木はすべて Universal Dependencies(UD) v1 [9] に従い、句構造木のコーパスから UD 木を得る場合には Stanford Converter5 で変換する．また出力側で用いる係り受け構造 d は係り受けの親が常に左の語である Head First 木（[14] 参照）である．変換モデルは Penn Treebank [18] を UD 木にしたものと CCGBank [3] の WSJ2-21 部を用いて学習する．

3.1.1

医療テキスト研究 [6] は、医療分野のテキストに対する CCG 解析の分野適応の研究を行っており、Genia コーパス [23]の 1,000 文に終端のカテゴリ列を付与したデータ6（以降、GENIA1000）を学習用に公開している．評価は、CCG 木から変換して得られる意味表現である Stanford
grammatical relations (GR) [13] に基づき、500 文にGR を付与した BioInfer コーパス [20] を用いて行う．
医療テキストと次の疑問文の実験では、[6] と同様にGR への変換が成功した文のみからスコアを計算する．
本研究では、医療論文に句構造木を付与した Genia
コーパス [23] を CCG 木に変換し、4,432 文からなるCCGBank を構築した．変換時には、医療分野の複雑な固有名詞を必ず N P にマップするために、制約付きデコーダを用いた．具体的に、句構造木上で N P 句である語列は CCG 木でも N P となるように制約する．

3.1.2

評価データに含まれないもののみを抽出して CCG 木に変換し（3,622 文）、解析器の再学習に用いる．

疑問文

ニューステキストには疑問文がほとんど含まれないため、疑問文の解析には分野適応を行う必要がある．
医療テキストと同様に [6] によって疑問文解析の評価データ（500 文）、学習データ（1,328 文；木の終端のカテゴリ列のみ．6 以降 Qus と呼ぶ．
）が用意されている．評価も同様に CCG 木から GR に変換して行う．
疑問文解析の実験では、QuestionBank [10] から [6] の4 https://nlp.stanford.edu/projects/glove/
5 https://nlp.stanford.edu/software/stanford-dependencies.shtml. version 3.9.1 を用いた．
6 depccg の学習に用いる際は、RBG パーザ [22] に Head First
木を学習させて係り受け構造を付与した．

音声会話

音声会話の書き起こしに対し句構造木を付与した
Switchboard コーパス [8] を CCG 木に変換して、話7
し言葉に対する CCG 解析の実験を行う．
Switchboard
コーパスには、言い淀み箇所のアノテーションが付与されているため、CCG 木への変換ではこれを利用し、制約つきデコーダで言い淀みである単語にはカテゴ8リ X を付与した．
結果として学習/評価/開発それぞれ 59,029/3,799/7,681 文からなる CCG コーパスを9構築した．
今回の CCG 解析の実験では、木から言い淀み箇所をすべて取り除き、言い淀み除去済みの話10し言葉文に対する解析性能を評価する．
話し言葉のCCG 解析の評価データが存在しないため、評価は解析結果の CCG 木を [11] の手法により句構造木に変換し、Switchboard コーパスの正解の句構造木との間でEVALB スコアを計算することで行う．[11] の変換法は完全でないため、スコアには CCG 解析の誤りに加え、変換に伴う誤りが影響することに注意されたい．

3.1.4

数学問題

また、本研究では数学の問題文 [17] に対する CCG解析の分野適応の実験を行った．[17] により公開されている学習データの 63 文に人手により UD 木と品詞の情報を付与し、評価データ 62 文に対しても正解の11CCG 木を付与することで実験データを作成した．
評
価は標準の CCG 解析の方法に従い、CCG 木から変換して得られる述語項構造の予測性能を報告する．図 2はこの分野のテキストに対する解析結果の例である．

3.2

結果と分析

学習した変換モデルで WSJ23 部の係り受け木を CCG木に変換し、CCG 解析の標準の評価尺度を用いることで、変換モデルの性能を評価した（表 1）．学習デー
タと同じ分野のテキストであるから、これは変換能力の上界を評価していることになる．表 1 の ELMo を用いた場合の depccg の F1 値は、現在の CCG 解析器の最高性能であるが、変換モデルはそれを大きく上回るスコアを示しており、係り受け木から CCG 木への変換が高精度にできていることがわかる．
7 UD への変換結果は、品詞タグにノイズが多く含まれるため、spacy (https://spacy.io/) を用いて品詞タグを付与し直した．
8 カテゴリ X は任意のカテゴリ C と結合可能とする：C → C X
かつ C → X C ．
9 データの分割は [4] と同じものに従う．
10 言い淀み除去と構文解析を同時に行う手法 [4] の開発と評価は今後の課題である．
11 ここで付与した CCG 木は基本的に CCGBank [3] に即したものである．数値に対し整数、実数の区別を CCG の素性値で区別するなど細かい粒度の情報の付与 [21] は今後の課題である．

― 199 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 医療分野での実験結果．P, R はそれぞれ適合率、再現率．
手法
C&C [1]
EasySRL [16]depccg+ ELMo+ GENIA1000+ 提案法

P
77.8
81.8
83.11
85.87
85.45
86.90R71.4
82.6
82.63
85.34
84.49
86.14

F1
74.5
82.2
82.87
85.61
84.50
86.52

表 4: Switchboard での実験結果．

表 3: 疑問文での実験結果．
手法
C&C [1]
EasySRL [16]depccg+ ELMo + Qus+ 提案法

P
88.2
65.48
90.55
90.07

R
87.9
65.29
89.86
89.77

F1
86.8
88.0
65.38
90.21
89.92

2 lex
=
N
8 lex
BE lexlex
un
NP(S\NP)/NP=Ndcl
N
CD lexlexunun>NP(Sdcl \N P )/N P
NPS\NPNdcl
and lexun><NPSdcl \N P
conjSdcl<ΦSdclSdcl \Sdcl
iflex
<Sdcl
((S\N P )/(S\N P ))/Sdcl(S\N P )/(S\N P )Sdcl \N P

手法
depccg+ ELMo+ 提案法

P
74.73
75.76
78.03

R73.91
76.62
77.06

F1
74.32
76.19
77.54

表 5: 数学問題での実験結果．
手法
depccg+ ELMo [15]
+ 提案法

UF1
88.49
89.32
95.83

AE lexf ind
NlexunNP(Sdcl \N P )/N P,lex>,
S \N Pdcl>

Sdcl \N P
Sdcl \N P

LF1
66.15
70.74
80.53

.

rp . lexrp>

図 2: 数学問題から提案法で再学習した CCG 解析器の出力の例．本文参照．
表 3,3,4,5 に医療テキスト、疑問文、話し言葉、数学問題における結果を示す．疑問文以外において、ELMoと提案法によるデータの追加が相加的に有効であった．
疑問文の評価データには、似た構造の文が多く、Qusデータで学習したモデルに提案法によるデータを追加しても効果が少なかったと考えられる．注目すべき点
として、数学問題における改善が特に大きい．数学問
題では、数学特有の表現や記号が多く、これらに対して分野適応が有効であった．図 2 の文では、分野適応前は等号を述語と認識できず、文全体を誤って名詞句の塊と解析していたが、分野適応後は適切に “If S1and S2 , S3 .” という構造を認識できるようになった．

4終わりに

本論文では、ツリーバンクの自動生成による CCG 解析の分野適応手法を提案した．評価を行った分野では、いずれにおいても精度の改善を見た．今後の課題としては、エラー分析を精密に行い、提案法による分野適応の限界を評価する．また、医療、話し言葉、数学問題の CCG 解析を応用した推論の研究を行う予定である．
謝辞 本研究は、JSPS 科研費 18J12945、JST AIPPRISM JPMJCR18Y1、JST CREST 「知識に基づく構造的言語処理の確立と知識インフラの構築」プロジェクトの支援を受けたものである．

参考文献[1] Stephen Clark and James R. Curran. Wide-CoverageEﬃcient Statistical Parsing with CCG and Log-Linear
Models. CL, 2007.
[2] Timothy Dozat and Christopher D. Manning. Deep Biaﬃne Attention for Neural Dependency Parsing. 2017.
[3] Julia Hockenmaier and Mark Steedman. CCGbank: ACorpus of CCG Derivations and Dependency Structures
Extracted from the Penn Treebank. CL, 2007.
[4] Matthew Honnibal and Mark Johnson. Joint Incremental
Disfluency Detection and Dependency Parsing. TACL,
2014.

[5] Makoto Miwa and Mohit Bansal. End-to-End Relation
Extraction using LSTMs on Sequences and Tree Structures. In Proc. of ACL, 2016.
[6] Laura Rimell and Stephen Clark. Adapting a LexicalizedGrammar Parser to Contrasting Domains. In Proc. ofEMNLP, 2008.
[7] Mark Steedman. The Syntactic Process. The MIT Press,
2000.
[8] J. J. Godfrey et al. SWITCHBOARD: telephone speech
corpus for research and development.
In Proc. ofICASSP, 1992.
[9] Joakim Nivre et al. Universal Dependencies v1: A Multilingual Treebank Collection. In LREC, 2016.
[10] John Judge et al. QuestionBank: Creating a Corpus ofParse-Annotated Questions. In Proc. of ACL, 2006.
[11] Jonathan K. Kummerfeld et al. Robust Conversion of
CCG Derivations to Phrase Structure Trees. In Proc. ofACL, 2012.
[12] Kenton Lee et al. Global Neural CCG Parsing with Optimality Guarantees. In Proc. of EMNLP, 2016.
[13] M. Marneﬀe et al. Generating Typed Dependency Parses
from Phrase Structure Parses. In Proc. of LREC, 2006.
[14] Masashi Yoshikawa et al. A* CCG Parsing with a Supertag and Dependency Factored Model. In Proc. ofACL, 2017.
[15] Matthew E. Peters et al. Deep contextualized word representations. In Proc. of NAACL, 2018.
[16] Mike Lewis et al. LSTM CCG Parsing. In Proc. ofNAACL, 2016.
[17] Minjoon Seo et al. Solving Geometry Problems: Combining Text and Diagram Interpretation. In Proc. of
EMNLP, 2015.
[18] Mitchell P. Marcus et al. Building a Large AnnotatedCorpus of English: The Penn Treebank. CL, 1993.
[19] Pascual Martı́nez-Gómez et al. On-demand Injection ofLexical Knowledge for Recognising Textual Entailment.
In Proc. of EACL, 2017.
[20] Sampo Pyysalo et al. BioInfer: a corpus for information
extraction in the biomedical domain. BMC Bioinformatics, 2007.
[21] Takuya Matsuzaki et al. Semantic Parsing of Preuniversity Math Problems. In Proc. of ACL, 2017.
[22] Tao Lei et al. Low-Rank Tensors for Scoring Dependency
Structures. In Proc. of ACL, 2014.
[23] Yuka Tateisi et al. Syntax Annotation for the GENIA
Corpus. In Proc. of IJCNLP, 2005.
[24] 戸次大介. 「日本語文法の形式理論 −活用体系・統語構造・意味合成−」. くろしお出版 日本語研究叢書２４, 2010.

― 200 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.