# $A B C$ ツリーバンク：学際的な言語研究のための基盤資源

窪田悠介
国立国語研究所
kubota@ninjal.ac.jp
林則序
東京大学
hayashi@phiz.c.u-tokyo.ac.jp

## 1 はじめに

NLP と理論言語学の融合的研究に活用可能な日本語の範疇文法ツリーバンクである ABC ツリーバンクを構築した。ツリーバンクのデータ,構築のために開発したツール群，マニュアルは， https://github.com/ABCTreebank/で公開する。本論文では，主要な言語現象のアノテーションを概説し，活用事例として，このツリーバンクを学習デー タとして統語パーサ（CCG パーサ）を訓練し，論理的意味表示に基づいてパーサの性能を評価する実験を試行的に行った結果について報告する。1)

## 2 ABC 文法の概要

$\mathrm{ABC}$ リーバンクで用いられているのは ABC 文法という範疇文法の一種である。これは組み合わせ範疇文法 (CCG; [14, 18]) やタイプ論理文法 (TLG; $[12,11,7])$ といった特定の範疇文法の流派へのコミットメントを避けながらも，それらの文法への変換の土台となりうる，汎用性を重視した中間的枠組みである。以下， $\mathrm{ABC}$ 文法の基本的な構成要素であるカテゴリと素性，および種々の規則を示す。

## 2.1 カテゴリと素性

$\mathrm{ABC}$ 文法で用いられている基本カテゴリ (atomic category)のうち，代表的なものを表 1 に挙げる。2)

カテゴリには素性が表示されることがある。3)素性は小文字で始め，大文字のカテゴリに続けて表記

//github.com/ajb129/KeyakiTreebank) [4] からの変換によって構築された。構築の詳細については $[19,8]$ を参照。

2） S，CP はそれぞれ，元コーパスのけやきツリーバンクでの IP, CP に対応し, 生成文法での区分とは必ずしも一致しない。

3）素性による区別は，けやきツリーバンクにおける拡張タグを用いた区別におおむね準ずる。
}

峯島宏次

慶應義塾大学

minesima@abelard.flet.keio.ac.jp

岡野伸哉

東京大学

okano@phiz.c.u-tokyo.ac.jp

表 1 代表的な基本カテゴリ

する。以下では代表的な素性をカテゴリと合わせて列挙する。

文法役割を示すもの PPs (主語), PPs2 (第二主語), PPo1 (第一目的語), PPo2 (第二目的語), CPt-sbj (補部節主語), CPq-sbj (疑問節主語) ${ }^{4}$

節の種類を示すもの $\mathrm{Sa}$ (連用節), $\mathrm{Se}$ (空所なし名詞修飾節), Simp (命令節), Sm (主節), Snml (名詞化節), Srel (関係節), Ssmc (小節), Ssub (準主節), $\mathrm{CPf}$ (終助詞節), $\mathrm{CPq}$ (疑問節) $\mathrm{CPt}$ (補部節), $\mathrm{CPx}$ (感嘆節)

## 量化的であることを示すもの $\mathrm{NPq$}

一般に範疇文法では，X，Y がカテゴリであるならば， $\mathrm{X} / \mathrm{Y}, \mathrm{Y} \backslash \mathrm{X}$ もカテゴリ（関数的カテゴリ）である。例えば，自動詞は $\mathrm{PPs} \backslash \mathrm{S}$ ，他動詞は $\mathrm{PPo} 1 \backslash(\mathrm{PPs} \backslash \mathrm{S})$ というカテゴリを付与される。

## 2.2 統語規則

$\mathrm{ABC}$ 文法という名前には，関数適用の規則のみをもつ $\mathrm{AB}$ 文法 $[1,3]$ に，関数合成 (Function Composition)の規則を加えたもの，という由来がある。したがってこの 2 つは基本的な規則として置か


れている。図1にこれを示す。5)

図 1 基本的な規則

上に示した binary 規則だけでなく，ある 1 つのカテゴリを別のカテゴリに変換する，unary 規則も存在する。これは日本語を分析するにあたっての必要性から用いられるもので，上記の一般的な規則とは異なり，適用可能なカテゴリ・素性が限られている。unary 規則は以下のものに大別される。(i) 名詞の項化・述語化; (ii) 関係節による名詞修飾 ; (iii) 連用節化・副詞化; (iv) かき混ぜ。以下，規則において素性の指定がない場合は，カテゴリさえ合致していればそれが適用可能であるということを意味する。

## 2.2.1 名詞の項化・述語化

名詞 $\mathrm{N}$ はまず名詞句 $\mathrm{NP}$ を投射した上で，さらに述語または項としてのカテゴリを投射する。以下，関連する unary 規則を簡単に説明する (表 2 参照)。

名詞の名詞句化本ツリーバンクでは, 基本カテゴリとして N と NP の区別を行い，N から NP へは，つねに 1 本の unary branch が伸びる。

名詞句の述語化コピュラが後続する名詞句はそれ自体が述語と見なされ，S で終わるカテゴリとなる（コピュラは $\mathrm{S} \backslash \mathrm{S}$ のようなカテゴリを与えられ，関数合成で述語名詞句と結びつく)。

名詞句の後置詞句化表層で格助詞が落ちる名詞句も，格助詞のある場合と同じカテゴリとして扱うため unary 規則で PP を投射する。

表 2 名詞の項化・述語の規則 (抜粋)

## 2.2.2 関係節による名詞修飾

日本語には英語のような明示的な関係代名詞が存在しないため，表 3 に代表される規則を用いて関係節 (Srel) を名詞を修飾するカテゴリ（N/N）へと変換する。
 / \$$ は $\mathrm{X}, \mathrm{X} / \mathrm{Y},(\mathrm{X} / \mathrm{Y}) / \mathrm{Z}, \ldots$ のいずれかを， $\$ \mathrm{X}$ は $\mathrm{X}, \mathrm{Y} \backslash \mathrm{X}$, $\mathrm{Z} \backslash(\mathrm{Y} \backslash \mathrm{X}), \ldots$ のいずれかを表す。
}

表 3 関係節による名詞修飾の規則 (抜粋)

## 2.2.3 連用節化・副詞化

バンクの仕様を引き継ぎ，動詞の連用形と終止形をカテゴリの上で区別しない。一方で，両ツリーバンクは連用節に特別のカテゴリを与えている（けやきツリーバンクにおける連用節 IP-ADV が ABC ツリー バンクの $\mathrm{Sa}$ に対応する)。この情報を利用し，動詞の連用形が「て・で」などの接続助詞を伴わずに連用節をなすケースについて，表 4 上段の規則を導入する。つまり，Saで終わるカテゴリから，S で終わるカテゴリを修飾するカテゴリへの変換である。

加えて，「今朝」のような副詞的な用法をもつ名詞句についても，同様に S で終わるカテゴリを修飾するカテゴリへの変換規則が必要である (表 4 下段)。

表 4 連用節化・副詞化の規則 (抜粋)

## 2.2.4 かき混ぜ

ABC ツリーバンクでは，かき混ぜ (scrambling)を規則で扱う。例えば，「主語-目的語-述語」という語順と，「目的語-主語-述語」という語順に対応して，同じ音形の述語に別個の語彙項目を割り当てるのではなく，前者を基本語順として，それ以外の語順は規則適用によって捉える，という扱いをする (表 5)。

表 5 かき混ぜの規則 (抜粋)

## 3 意味表示

範疇文法をフレームワークとして用いる ABC リーバンクは，統語構造と意味表示との対応に関して明示的な解析を与える。範疇文法の意味パーサ ccg2lambda [9], および，辞書としての意味テンプ

レートを用いることで， $\lambda$ 計算に基づく意味合成に

出木を自動的に得ることができる。意味表示としては一階論理 (FOL)，談話表示構造 (DRS) [6]，高階論理 (HOL) の 3 つの出力形式を用いる。

具体例として，(1)の各意味表示を以下に示す。

(1) 窓が開けてある。 (Keyaki:13_textbook_djg_gram_terms)

FOL: $\exists x_{1} \exists x_{2}$. (窓 $\left(x_{2}\right) \wedge \exists e_{3}$. ( 開ける $\left(e_{3}\right) \wedge \arg \_\mathrm{s}\left(e_{3}, x_{1}\right) \wedge$ arg_01 $\left.\left.\left(e_{3}, x_{2}\right) \wedge \tau\left(e_{3}\right)\right)\right)$

DRS: $\left(\left.\{x_{1}, x_{2}, e_{3}\right.\},\left.\{\right.\right.$ 窓 $\left(x_{2}\right)$, 開ける $\left(e_{3}\right), \arg s\left(e_{3}, x_{1}\right)$,

$
\left.\left.\left.\arg 001\left(e_{3}, x_{2}\right), \tau\left(e_{3}\right)\right)\right.\}\right)
$

HOL: ある $(\lambda y \lambda x$. 開ける $(x, y)$, 窓 $)$

それぞれの意味表示について簡単に説明する。

FOL FOL の意味表示は Neo-Davidsonian Event Semantics [13] に基づく。ここで, $\arg s(e, x)$ と arg_01 $(e, x)$ はそれぞれ，ABC 文法のカテゴリ PPs と PPo1 に対応する意味役割であり, 「イベント $e$ の主体は個体 $x$ である」「e の対象は $x 」 を$ 表す。 (1)では，「(て) ある」を受身に類する述語として解析することで，適切な述語項構造が得られている。6)

DRSDRS は意味合成によって導出された FOL の意味表示からの自動変換によって得られる。DRS は, 談話指示物 (discourse referent) $の$ 集合 $D$ と条件の集合 $C$ の対 $(D, C)$ から構成され, 図 2 のように Box 表記により見通しよく表すことができる。また 4 節で述べるように，DRS を節形式に変換することで意味表示の評価に用いることができる。

HOL HOL は範疇文法の統語構造に即した意味表現であり，範疇文法の意味合成の過程を関数と項の形で明示的に記述することができる。上の HOL の例では，「(て) ある」は高階述語として扱われ，2 項述語「開ける」を項とし, その項構造を変化させる役割を担う。

ここで使用している論理的な意味表示の特徴として, 量化や否定，モーダル表現などのスコープを明示的に表現できることが挙げられる。例えば，以下に示す (2)の各意味表示は, 理由の「から」および否定「ない」がもつスコープ関係を捉えたものである。

（2）咳がなおらないから，病院に行きます。 (642_textbook_purple_basic)

6）使役・受身やコントロール述語などの文末述語の扱いについて詳しくは $[19,8]$ を参照。

図 2 (1)と(2)の DRS の Box 表記

FOL: $\exists x_{1}$. (病院 $\left(x_{1}\right) \wedge \exists e_{2}$. (行く $\left(e_{2}\right) \wedge \arg \mathrm{s}\left(e_{2}\right.$, speaker $) \wedge$ に $\left(e_{2}, x_{1}\right) \wedge$ から $\left(e_{2}, \neg \exists x_{3}\right.$. 咳 $\left(x_{3}\right) \wedge \exists e_{4}$. なおる $\left(e_{4}\right) \wedge$ $\left.\left.\left.\left.\left.\arg \mathrm{s}\left(e_{4}, x_{3}\right)\right)\right)\right)\right)\right)$

DRS: $\left(\left.\{x_{1}, e_{2}\right.\},\left.\{\right.\right.$ 病院 $\left(x_{1}\right)$, 行く $\left(e_{2}\right)$, arg_s $\left(e_{2}\right.$, speaker $)$, に $\left(e_{2}, x_{1}\right)$, から $\left(e_{2}, \neg\left(\emptyset,\left.\{\left(\left.\{x_{3}, e_{4}\right.\},\left.\{\right.\right.\right.\right.\right.$ 咳 $\left(x_{3}\right)$,

なおる $\left.\left.\left.\left.\left.\left.\left.\left(e_{4}\right), \arg \mathbf{s}\left(e_{4}, x_{3}\right)\right.\}\right)\right.\}\right)\right)\right.\}\right)$

HOL: から (なおる (咳),に (病院, $\lambda x$. 行く $(x))$, speaker)

現時点で意味表示の導出に用いられる意味テンプレートは， unary 規則に対するもの（46個），カテゴリに対する意味割り当て（62 個），カテゴリと単語のペアに対する意味割り当て（68 個）からなる。付

クの導出木を示す。

## 4 統語パーサの構築と評価

$\mathrm{ABC}$ ツーバンクの応用として日本語統語パー サの構築が考えられる。以下，この途中経過を報告する。係り受け以上の細かい分析を行うパーサに関しては，木構造の些末な差異などが性能評価に大きな影響を及ぼしがちであり，適切な評価指標は何かという問題がつきまとう。一つの解決策として， パーサの性能評価を構文木のレベルで行うのでなく，構文木に基づいて得られる意味表示（3 節参照） のレベルで行う方法が考えられる。以下，この手順で行った性能評価の結果を報告する。

表示の妥当性を人手でチェックし，評価用の GOLD データ（223 件）を作成した。言語現象の多様性を確保するため，言語学のテキストの例文を集めたもの（textbook, 133 例）を中心とし，その他に書籍 (book, 11 例), 辞書 (dict, 17 例)，フィクション (fiction, 26 例)，ニュース (news, 8 例)，ノンフィクション (nonfiction, 13 例)，テッドトーク（ted,

15 例）という複数のジャンルの文を含めた。

今回は，[17] と同様の手法によって，範疇と木の依存関係の両方を表現ベクトルの中に含んだ bi-LSTM モデルを，AllenNLP [5] を用いて訓練した。 $\mathrm{ABC}$ ツーー゙ンクの全データ（44,750 文）から上記の評価用データ（223 文）を除き，さらに二分木でないもの7)を排除した 21,456 文のうち，訓練用に 17,137 文，訓練のステップごとの評価のために 4,319 文を分けて，訓練を行った。8)

ここで学習したパーサの評価のため，パーサの出力の木からテンプレートにより意味表示を導出し， それを DRS の節形式に変換する。節形式は, 節の一致率を求める評価手法 (COUNTER [16]) によって比較することが可能である。9) (2) の節形式を図 3 に示す。

図 3 (2) のDRS から得られた節形式

$\mathrm{ABC}$ パーサで評価用データの 223 文を解析10) し, 出力の導出木から DRS の節形式を生成した。 COUNTER による GOLD の節形式との一致率は, precision の平均が $77.4 \%$, recall の平均が $76.4 \%, \mathrm{~F} 1$ の平均が $76.7 \%$ であった。意味表示が出力されず解析エラーとなったものは，10文であり，残りの 213 文に対しては well-formed な意味表示が出力された。

以下では一致率が低かった文に関するエラー分析の結果を簡単に報告する。問題点は主に，係り受けや連体節の種類（「内の関係」対「外の関係」）など，統語解析のみでは解決が困難な問題に関するパーサの誤解析と，変換元コーパスのけやきツリーバンクの仕様に依存する部分でのエラーに大別できる。 パーサの誤解析に関しては，(3)のような例 ( prec/rec/F1 = 42.9/45.0/43.9）で「内の関係」の連体節が誤って「外の関係」として解析されるケースや,

7）例えば，複数文の埋め込み multi-sentence や，断片的な文 FRAG 範疇とする部分木を含む文が該当する。

8）結果とパラメータは, https://github.com/ABCTreebank/ ABCTreebank/tree/master/papers/202103_NLP27 で公開予定。

9) これは, Abstract Meaning Representation (AMR [2]) の評価で使われている SMATCH をスコープ付きの意味表現に拡張した評価法である。詳細は [16]を参照。

10）それらの文の形態素解析は，もとの ABCツリーバンクにおける解析をそのまま使用した。
(4)のような例（50.0/45.5/47.6）で動詞の項の係り受け先が正しくないケースが目立った（「教える」に係るべき「人に」が誤って「獲る」に係っている)。

（3） ... 泳ぎをおぼえるチャンスもなかった。

(7_book_excerpt-18;JP)

（4）人に魚を獲ることを教えれば，... (28_nonfiction_ANC__110CYL067;JP)

ツリーバンクの仕様に依存する問題の代表例としては，元コーパスのけやきツリーバンクのアノテー ションに従って決定される，動詞の項構造に関するものがある。例えば存在動詞「ある」に対しては，「に/が」または「が/が」の格配列に応じて，以下の二つのカテゴリが割り振られる。

(5) a. 私が意欲がある ${ }_{P P s} \backslash P P s 2 \backslash S$

b. 私に意欲がある $\operatorname{PPol} \backslash \operatorname{PPs} \backslash S$

以下の (6) のように外の関係の連体節で表層で格助詞が落ちる場合，「ある」に関して (5a) と (5b) のどちらの語彙項目を使うかの曖昧性がある。

（6）意欲ある住民

(43_news_KAHOKU_33)

この曖昧性は本来は意味解釈のレベルでは捨象されるべきものだが，現状では動詞の項構造を示すラべルの不一致による解析の失敗と分類されている。

## 5 おわりに

[8] で詳述した文末述語の扱いに関しては，構造が単純な文についてはパーサの解析結果に基づいて概ね正しい意味表示が得られることが確認できた。言語学的知見を適切に反映させた言語資源による end-to-end の解析システムを組むことができることを示した点において，一定程度所期の目的を達成したと考えられる。今後の課題としては，4 節で議論した誤解析への対応，関連研究である日本語 CCGBank [15] に基づく統語・意味パーサ [10] との比較，また，汎用性を重視したツリーバンクであるという特徴を活かして，CCG では扱いが煩雑になる量化現象を，タイプ論理文法の手法で扱うことなどに取り組みたい。

謝辞吉川将司氏（東北大）のサポートに感謝します。この研究は JSPS 科研費 18K00523，国立国語研究所共同研究プロジェクト「対照言語学的観点から見た日本語の音声と文法」の助成を受けている。

## 参考文献

[1] Kazimierz Ajdukiewicz. Die syntaktische Konnexität. In Storrs McCall, editor, Polish Logic 1920-1939, pp. 207231. Oxford University Press, Oxford, 1935. Translated from Studia Philosophica, 1, 1-27.

[2] Laura Banarescu, Claire Bonial, Shu Cai, Madalina Georgescu, Kira Griffitt, Ulf Hermjakob, Kevin Knight, Philipp Koehn, Martha Palmer, and Nathan Schneider. Abstract Meaning Representation for sembanking. In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 178-186, 2013.

[3] Yehoshua Bar-Hillel. A quasi-arithmetic notation for syntactic descriptions. Language, Vol. 29, pp. 47-58, 1953.

[4] Alastair Butler, Kei Yoshimoto, Shota Hiyama, Stephen Wright Horn, Iku Nagasaki, and Ai Kubota. The Keyaki Treebank Parsed Corpus, Version 1.1. http://www.compling.jp/keyaki/, 2018. Last accessed: 2021.01.01.

[5] Matt Gardner, Joel Grus, Mark Neumann, Oyvind Tafjord, Pradeep Dasigi, Nelson F. Liu, Matthew Peters, Michael Schmitz, and Luke Zettlemoyer. AllenNLP: A deep semantic natural language processing platform. In Proceedings of Workshop for NLP Open Source Software (NLP-OSS), pp. 1-6, 2018 .

[6] Hans Kamp and Uwe Reyle. From Discourse to Logic. Kluwer Academic Publishers, Dordrecht, 1993.

[7] Yusuke Kubota and Robert Levine. Type-Logical Syntax. MIT Press, Cambridge, Mass., 2020.

[8] Yusuke Kubota, Koji Mineshima, Noritsugu Hayashi, and Shinya Okano. Development of a general-purpose categorial grammar treebank. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 51955201, 2020.

[9] Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A compositional semantics system. In Proceedings of ACL-2016 System Demonstrations, pp. 85-90, 2016.

[10] Koji Mineshima, Ribeka Tanaka, Pascual MartínezGómez, Yusuke Miyao, and Daisuke Bekki. Building compositional semantics and higher-order inference system for a wide-coverage Japanese CCG parser. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2236-2242.

[11] Michael Moortgat. Categorial Type Logics. In Johan van Benthem and Alice ter Meulen, editors, Handbook of Logic and Language, pp. 93-177. Elsevier, Amsterdam, 1997.

[12] Glyn Morrill. Type Logical Grammar: Categorial Logic of Signs. Kluwer, Dordrecht, 1994.

[13] Terence Parsons. Events in the Semantics of English. MIT Press, Cambridge, Mass., 1990.

[14] Mark Steedman. The Syntactic Process. MIT Press, Cambridge, Mass., 2000.

[15] Sumire Uematsu, Takuya Matsuzaki, Hiroki Hanaoka, Yusuke Miyao, and Hideki Mima. Integrating multiple dependency corpora for inducing wide-coverage Japanese CCG resources. ACM Transactions on Asian and LowResource Language Information Processing, Vol. 14,
No. 1, pp. 1-24, 2015.

[16] Rik van Noord, Lasha Abzianidze, Hessel Haagsma, and Johan Bos. Evaluating scoped meaning representations. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018).

[17] Masashi Yoshikawa, Hiroshi Noji, and Yuji Matsumoto. A* CCG parsing with a supertag and dependency factored model. Journal of Natural Language Processing, Vol. 26, No. 1, pp. 83-119, 2019.

[18] 戸次大介. 日本語文法の形式理論. くろしお出版, 東京, 2010.

[19] 窪田悠介, 峯島宏次, 林則序, 岡野伸哉. 汎用的な範疇文法ツリーバンクの構築. 言語処理学会第 25 回年次大会発表論文集, pp. 143-146, 2019.

## A 付録

3 節で例示した (1) と (2) の文の意味表示 (FOL, DRS, HOL) に対する導出木を示す。これは 3 節で述べた意味テンプレートに基づいて，ccg2lambdaを用いて ABCツリーバンクの木から生成したものである。なお，ABCツリーバンクでは名詞句のカテゴリとして N と NPを区別しているが（2.2.1 節を参照），現在のところ，意味合成において $\mathrm{NP}$ と $\mathrm{N}$ の意味割り当ては区別されていない。

HOL: から(-なおる(咳),に(病院, |X0.行く(X0)),*speaker*)