# Universal Dependencies の変遷と評価表現抽出への影響

岩本蘭
慶應義塾大学
r.iwamoto@keio.jp
}

金山博
日本アイ・ビー・エム株式会社 東京基礎研究所
hkana@jp.ibm.com

## 1 はじめに

近年, 自然言語処理の研究がいくつかの言語に偏っていることが問題視されており, 多言語の言語資源作成やシステムの開発が進められている [1]. 100 を超える言語のツリーバンクを提供する Universal Dependencies(UD) [2,3] は言語間で共通の $\mathrm{PoS}$ タグや依存構造ラベルをアノテーションに用いている.UDの目的は言語間の共通性を保ちつつ個々の言語の性質を表現することであり，UDコー パスで学習した構文解析器は多言語の応用タスクへの活用が期待されている．UDのアノテーションは半年ごとに更新されているが，それらの更新が構文解析 [4] や応用タスクに与える影響については十分な分析がなされていない.

本稿では, 23 言語の UD コーパス ver. 2.0 (2017 年 3 月) - ver. 2.7 (2020 年 11 月) を対象にし, コーパスの更新状況と傾向について分析する．次に UD のそれぞれのバージョンのコーパスで訓練した構文解析器 UDPipe [5] を用いて言及単位の評価表現抽出 $[6,7,8]$ を行う. アノテーションの言語をまたがった一貫性がどの程度活用できているか，またコーパスの更新が良い方向に作用しているかどうかを調査することが目的である.

## 2 UD コーパスの更新

UD コーパスの内容の例を表 1 に示す. 本来 10 項目からなるアノテーションのうち評価表現抽出の際に用いる項目のみを抜き出している。その中から ID を除く6 項目について, 表 2 に示す 23 言語の UD コーパスにおける更新とその影響を分析する.

コーパスの更新の割合を項目別，バージョン別に分けて図 1 に示す. 比較する 2 つのバージョンの両方に存在する文を抽出し，重複を削除した後，語の各項目に違いがあった割合を色の濃さで表している. UD2.0-2.4 ${ }^{1)}$ ではほぼ全ての言語で活発に更新

1）以降，UD ver 2.x をUD2.x と示す.表 1 UD コーパス (英語) の例. feats の出力は一部省略.

され，品詞タグや依存関係ラベルの変更が多い。それに対し UD2.4-2.6ではいくつかの言語内でのアノテーション方針の大幅な変更や，より詳細な属性を記述する項目である featsの変更が顕著である.

UD のアノテーション方針に沿って言語間での一貫性を保つことと，その言語の特徵を正確に記述することのバランスは難しいが，それぞれの言語で改良を重ねられている。コピュラや助動詞に関するタグ付けを一例としてとりあげると，英語の UD2.5 では “have been”や “will be” の “be” は VERB から AUX へ変更され，オランダ語 (UD2.4)でも “hebben”('have') に対し同様の変更が見られた。ポルトガル語 (UD2.5) では AUX タグをつけられた多く

表 2 分析した treebank と UD2.6 での文数

図1 各言語, バージョンにおける UD コーパスの更新割合。色が濃いほど更新割合が高い.

の単語が VERB に変更され (“continuar” ('continue"), “deixar” ('leave')), フランス語 (UD2.1) でも AUX タグが “être” ('be'), “avoir” ('have'), “faire” ('do', 'make'), “pouvoir” ('can') のみに限定され, 他の動詞は VERB とタグ付けされた。このように言語間でのタグ付けの一貫性が向上する変化が観察された。

## 3 実験

我々は異なるバージョンの UD コーパスで訓練した構文解析器で評価表現抽出 [6] を行い, UDコーパスの変化が応用タスクに及ぼす影響を分析した。

## 3.1 構文解析器の再学習

UD 準拠の構文解析器として UDPipe 1.2 [5] を用いた. UD2.0-2.5の構文解析器は UDPipe が配布する訓練済みモデル ${ }^{2)}$ を用い, 配布モデルが存在しないUD2.6, UD2. 7 は UD2.5 と同じパラメータを用いて訓練した。簡体字中国語のコーパス UD2.0, UD2.2 は存在しないため評価から外した。構文解析器の性能評価として LAS (Labeled Attachment Score)を用いた.

## 3.2 構文構造に基づく評価表現抽出

評価表現抽出では構文木をトップダウンにたどり，極性辞書と符合させながら好評不評の表現とその対象を抽出する．依存関係やラベルを見ることによって, 否定の表現や対象を抽出するための格を正確に捕捉できる仕組みになっている．詳細は [6] を参照されたい.

2) http://ufal.mff.cuni.cz/udpipe

## 3.3 評価データと評価指標

評価データは先行研究 [6] と同様に，ホテルや携帯電話の言及単位または文単位の注釈付きレビュー を整形し，好評/不評のラベルが付いた文を各言語合計 500 文程度抽出したものを用いた。

システムの適合率は, 出力した極性が正解の極性と同一である割合，再現率は正解の極性と同じ極性を持つ評価表現が検出された割合である．総合的な評価指標として，適合率を重視した F2 值（式 1 で $\beta=2$ としたもの）を用いる. 一般的な $\mathrm{F} 1$ 值 $(\beta=1)$ を用いると，文法構造を意識せずに好評・不評を含む単語を抽出するアプローチによる数值が高くなるものの, 適合率が低く実用性と乘離する。

$
F_{\beta}=\left(1+\beta^{2}\right) \frac{\operatorname{prec} \cdot \operatorname{rec}}{\operatorname{prec}+\beta^{2} \cdot \operatorname{rec}}
$

## 4 結果と考察

本節では多言語の構文解析と評価表現抽出の性能の関係を定量的, 定性的に評価する。

## 4.1 構文解析の性能と評価表現抽出の関係

図 2 に構文解析 (LAS) と評価表現抽出 (F2) の関係を示す3）．言語ごとにデータセットの作成元が異なるため言語をまたいだ絶対的な数值の比較は難しいが，データセットの分野が原因で評価表現抽出が難しい言語 (韓国語など) を除けば，言語間の F2 と LAS には大まかな正の相関が存在する.
 ず，辞書との符号ができないため評価には含まない

図 2 UDのバージョンごとのLAS と F2 值

一つの言語内でも LASやF2 值には変化が見られ，その変化は辞書などの評価表現抽出の仕組みではなく, 構文解析器の変更によってのみ発生する. F2 值が 40.0 以上で, UD2.0 と UD2.6 の F2 值に 1.0 以上の差がある言語を比較すると, 9 言語中 7 言語で UD2.6 のほうがUD2.0よりも F2 值が高い4).つまりUDコーパスの更新に伴い, 応用タスクの性能も徐々に向上しているといえる。コーパスの更新に伴う出力の変化については次に述べる.

## 4.2 UD 更新に伴う変化の観察

ここでは UD のバージョンの変化によって評価表現抽出の結果が変わった例について紹介する。まず例として挙げる構文解析と評価表現の表記について説明する。

4）日本語 UD2.6では語の単位が変更されたため F2 值が低い (n12.4) はオランダ語の UD2.4 で訓練した UDPipe に文を入力し，評価表現を抽出した結果である。ハイライトのうち青が好評表現，赤は不評表現を表し，下線は好評/不評表現の対象を表す.オレンジは極性を反転させる否定表現である.

(n12.4) では, 否定の副詞 “niet”'('not') が評価表現 “groot”('large') に直接係っておらず文全体として極性誤りが生じているが，(n12.5) では "groot”と “niet”の依存構造が正しいため,否定による極性の反転を検出できている. (fr2.2)

Le maître d' hôtel méprisant et grossier.

DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

(fr2.4)

Le maître d' hôtel méprisant et grossier. DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

フランス語では UD2.4 で多数の依存関係ラベルや PoS タグが更新され, 構文解析の性能が向上している.(fr2.4)の名詞句では, 形容詞 “méprisant” ('contemptuous') が head $の$ 名詞 "maître" ('master') にかかっているため, 不評表現が正しく検出された。

(pt2.5)

(det

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN 評価表現抽出では並列構造を示す conj ラベルが重要な働きをする。例えば，(pt2.5), (pt2.6) ではいずれも root は “fácil” ('easy')だが，(pt2.6)では “fluente" ('fluent') に conj のラベルが付いているため, “fluente”も極性表現として正しく抽出されている.

(en2.4)

(en2.5)

実際のレビューの中には文体が崩れた文も出現す

る. 英語を例にとると， (en2.5)では，通常大文字で書かれない “HIGHLY RECOMMEND”を PROPN タ

グと誤判定する例が存在した。UDで訓練した構文解析器を応用タスクで用いる際には，このような入力に対しても頑健であることが望ましい.

同様の問題はドイツ語でも発生している.ドイツ語では名詞の最初の文字は大文字で記述するが，下の例のように名詞 “Schneiden” ('sharpness') が小文字になっていた場合, 構文構造上名詞の可能性しか存在しないにもかかわらず，同じ綴りを持つ動詞の不定形と認識される. つまり, 英語やドイツ語での品詞判定には大文字であるかどうかが少なからず影響していることがわかる.

$
\text { dep }
$

$
\begin{aligned}
& \text { Opravdu vynikající . } \\
& \text { ADV ADJ PUNCT } \\
& \text { advmod }
\end{aligned}
$

$
\text { (cs2.6) Opravdu vynikající . }
$

特定できない依存関係を指す dep ラベルを減らすこともUDコーパスの課題の一つである. チェコ語では dep ラベルの比率が他の言語のコーパスよりも大きいため, 解析結果に頻繁に出現する。(cs2.6)の出力では正しく advmod のラベルがつけられ, 好評表現が抽出できている.

(ja2.5)

(ja2.6)

また，単語分割の方針変更は応用タスクに大きな影響を及ぼす。日本語では UD2.6の単語単位が国語研短単位になったことにより, UD2.5 までは不評表現として 1 つのトークンとして検出されていた“不自由”が，(ja2.6)では “不” + “自由”として検出され，極性が反転している．アノテーション方針の変化に合わせて否定の “不” などの処理をシステムに追加することが正しく極性を検出するために必要である。

(zh2.4)

簡体字中国語はリリース時期が今回分析した言語の中では比較的遅く, UD2.5 から正式にリリースされた。そのため, UD2.4 の公開時にプレリリースされ dev ブランチに存在した簡体字コーパスとの比較を行なった。(zh2.4) で存在した “相当” (“very’)の $\mathrm{PoS}$ タグの出力誤りが (zh2.5) で改善され，極性が正しく抽出されるようになった。簡体字中国語は LAS が低い言語のうちの一つであり, 今後の改善が期待される.

## 5 結論

本論文では UD2.0-2.7 での更新を, 構文解析器の出力の変化が応用タスクに及ぼす影響という観点から分析した。 23 言語のUDコーパスは継続的に更新されており，評価表現抽出の結果はそれぞれのバー ジョンによって異なることが分かった。言語ごとの出力例から, 品詞タグ付けや依存関係ラベルの中でも否定や conj ラベルが評価表現抽出に影響を与えることを示した．スタイルが崩れた文に対する頑健性に関わる問題も見られた。UDの各言語の代表的なコーパス間でドメインが異なり，今回対象としたレビュー文によくみられる，名詞句やスペルミス，大文字小文字や文末のピリオドが無い入力に頑健でない場合が存在した [9].

UD2. 4 以降はいくつかの言語で更新頻度が低下しているが，まだ基本的な構文構造の出力において改善すべき点は多い. UD の継続的な更新への期待と， その他の応用タスクでの UD 準拠の構文解析器の性能評価を今後の展望とする.

## 参考文献

[1] Pratik Joshi, Sebastin Santy, Amar Budhiraja, Kalika Bali, and Monojit Choudhury. The State and Fate of Linguistic Diversity and Inclusion in the NLP World. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 62826293, 2020.

[2] Joakim Nivre and Chiao-Ting Fang. Universal dependency evaluation. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies, pp. 8695, 2017.

[3] Daniel Zeman, et al. Universal Dependencies 2.6, 2020. LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University.

[4] Daniel Zeman, et al. CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-19, 2017.

[5] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, 2017.

[6] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[7] 岩本蘭, 金山博. 多言語極性辞書の構築とその包括的評価. 言語処理学会第 26 回年次大会予稿集, 2020.

[8] 金山博, 岩本蘭. 多言語評価表現抽出を通じた universal dependencies $の$ 検証. 言語処理学会第 26 回年次大会予稿集, 2020.

[9] 金山博, 岩本蘭, 村岡雅康, 大湖卓也, 宮本晃太郎. 名詞句の処理に頑健な構文解析器. 言語処理学会第 27 回年次大会予稿集, 2021.

## A 付録

## A. 1 評価データ

表 3 に評価表現抽出で使用した評価データの情報を示す. 言及単位のアノテーションが付いた多言語の評価データが少ないため, 言及単位と文単位のデータをそれぞれ整形して用いた。

## A. 2 構文解析と評価表現抽出

表 4 に言語, バージョンごとの LAS と F2 値を示す.これは図 2 を表にし, さらに適合率 (prec) と再現率 (rec) の情報を加えたデータである.

表 3 評価データの情報.

表 4 UD のバージョンごとの構文解析 (LAS) と評価表現抽出 (F2) の性能評価.

 & $78.8^{45.3} 16.8$ & 78.4 & $81.0^{47.6} 18.0$ & 78.4 & $81.0^{47.6} 18.0$ & 77.7 & $81.4^{47.2} 17.6$ & 77.4 & $79.5^{47.5} 18.2$ \\