言語処理学会 第21回年次大会 発表論文集 (2015年3月)

NLP に重要なのは、学習データの量なのか、言語学知識体系の質なのか？
―中国語単語分割タスクで検証する―
王向莉
一般財団法人日本特許情報機構{xiangli_wang@japio.or.jp }1. はじめにータとして、統計機械学習手法の優位性を検証す

中国語単語分割のような NLP 分野では、言語学るのに用いられるのが一般的であるが、その自身知識コーパスを学習データとして利用する統計が NLP タスクにどれほど貢献しているのか、アピ機械学習手法の研究が盛んに行われているが、精ールしにくい状況である。言語に依存しない形態度上の限界が見られ、それを如何に打破すること素解析エンジン Mecab(Mecab)の開発と公開はこが課題となる。のような状況に転機を与える。言語学知識体系が統 計 機 械 学 習 手 法 の 研 究 で は 、“ dataあるならば、それを Mecab に導入し、新しい単語sparseness”という問題が常にあり、“robust”

分割ツールと品詞付けツールが作成できるため、なパーフォマンスを実現するために、学習データツールのパフォーマンスで言語学知識体系の品の量がよく求められ、強調される。高品質の NLP質を検証することが可能になる。

タスクを実現するのに、大量の学習データさえあ

本稿では、NLP 研究分野では、学習データの量れば、あとは機械学習の技術に任せばよいと思う

より、言語学知識体系の質のほうがもっと重要視人が少なくない。ところが、NLP に重要なのは統されるべきだという観点が挙げられ、高品質の言計機械学習手法とその“data sparseness”問題

語学知識体系が中国語単語分割のような NLP タスを解決するための学習データの量だけであろう

クに大いに貢献できることが検証される。我々は、か？中国語単語分割タスクを例とすると、統計機

既存の中国語言語学知識体系 Chinese Sentence械学習手法がすでにたくさん提案され(Sun et al.

Structure Grammar(王,宮崎 2007; Wang et al.

2009; Gao et al. 2005; Xue 2003)、また、大量2013)の単語品詞辞書と小型の品詞付け文コーパの学習データも複数構築されたのにもかかわらス（以下は CSSG と呼ぶ）を Mecab に導入し、新ず(Yu S. et al. 2002; Zhou Q. 2004; Xue, Fei

しい中国語単語分割ツール（以下は「Cmecab」と2000)、特許分野での実用レベルの中国語単語分呼ぶ）を実現する。さらに、Cmecab とある特許分割の精度がいまだに満足できないというが現状野ですでに商用化された中国語単語分割ツールである。中国語単語分割のような NLP タスクの精（以下は商用ツールと呼ぶ）を比較評価する。比度上の限界を打破するためにどうすればよいの

較評価の結果によって、：1）特許分野においては、か、真剣に考えなければならない時がやってきた

Cmecab の現段階の正解率が商用ツールを超えると思われる。

ことが検証される；2）商用ツールの精度上の限NLP タスクの精度を向上させるのに、統計機械界が見られる一方、Cmecab の精度が単語品詞辞書学習の性能を上げる一方、言語学知識体系を工夫項目の追加により、さらに向上する余地があるこすることも考えられる。言語学知識体系は学習デとが検証される。CSSG の単語品詞辞書に専門用語― 1068 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

とその品詞情報を登録することより、特許分野のい、SSG という文法枠組みに基づいて構築された中国語単語分割タスクの精度上の限界をブレー中国語言語学知識体系の一部である。CSSG が独自クスルーする可能性が示される。中国語言語処理な品詞体系を用いる単語品詞辞書(306,447 語；表研究では、単語分割の基準が研究グループによっ1)と小型品詞付け文コーパス(3,180 文；表 2)かて分かれているのが現状である。客観的且つ公平らなる。に比較評価を行うために、個別の基準に偏らない、中立的な評価基準が設計される。

PKU、TSU、CTB の場合では、設計者と作業者が別々であり、作業者が複数であった。それに対して、CSSG の設計者と作業者が同じ人である。その

2. CSSG についてため、CSSG のほうが知識体系としての一貫性がほ

中国語処理研究では、よく用いられている言語

かの 3 つの知識体系よりよいと考えられる。

学知識体系として、Peking University Treebank(PKU)、Tsinghua University Treebank (TSU)、他/r 朝/chao2 约翰/nm 扔/V1aod 苹果/nPenn Chinese Treebank (CTB)などが挙げられる

他/r 把/ba 苹果/n 扔/V1aod 向/xiang4 约翰/nm(Yu et al. 2010) 。 こ の 三 つ の 知 識 体 系 と も苹果/n 被/bei 扔/V1aod 向/xiang4 约翰/nm

Context-Free Phrase Structure Grammar（CF-PSG）

苹果/n 被/bei 他/r 扔/V1aod 向/xiang4 约翰/nmという英語処理で成功した文法枠組みに基づい苹果/n 被/bei 他/r 扔/V1aod 给/to 约翰/nmて、中国語文構造を解釈している。しかし、CF-PSG

苹果/n 被/bei 扔/V1aod 给/to 约翰/nmに基づく中国語構文解析精度が同じく CF-PSG に他/r 把/ba 苹果/n 扔/V1aod 回/back 筐/tn 里/f1

基づく英語構文解析精度より大幅に低く(Levy,

苹果/n 被/bei 扔/V1aod 进/into 筐/tn 里/f1Manning 2003)、実用レベルに及ばない。

他/r 把/ba 苹果/n 扔/V1aod 在/at 桌/tn 上/f1
苹果/n 被/bei 他/r 扔/V1aod 在/at 桌/tn 上/f1…

見出し語

品詞

他（彼）

r把（を）

ba

被（によって）bei

我々が、CSSG を言語に依存しない形態素解析エ苹果（リンゴ）nンジン Mecab（Mecab）に導入し、新しい中国語単扔（捨てる）

V1aod

語分割ツール Cmecab を作成した。

表 2：CSSG 品詞付け文コーパスの内容の一部

表 1：CSSG 単語品詞辞書の内容の一部

3．評価
中国語は孤立語であり、英語と違って、動詞の言語学知識体系 CSSG がどれほど中国語単語分語尾変化などの表面上の構文制約が少ない。中国

割タスクに貢献しているのかを検証するために、語のような孤立語の構造をうまく処理するため特許の電気、機械、化学などの各分野を網羅するに、表層制約(構文要素の位置制約)と深層制約120 文をテストセットとし、Cmecab と商用ツール(動詞と格要素の共起制約）の両方を取り扱う文を比較評価する。

法枠組み Sentence Structure Grammar（SSG）が提案された（王,宮崎 2007; Wang et al. 2013）。
CSSG は前記の 3 つの知識体系 PKU、TSU、CTB と違

3.1

評価基準

中国語言語処理研究では、単語分割の基準が研― 1069 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

究グループによって分かれている。客観かつ公平96.41%であり、商用ツールよりやや高い。に比較評価を行うために、個別の基準に偏らない、2 つのツールで生じたエラーを比べると、商用中立的な評価基準を設計する必要がある。中国語

ツ ール のエラ ーが 不規則 であ るの に 対し て、

単語分割の結果では、例１～7 の赤い部分に示す

Cmecab のエラーの大多数は専門用語が分けられようなものがあり、どの基準に従ってもエラーだてしまうようなケースが多いことがわかる。例えと判断するしかない。ここでは、このようなものば、例 8 を商用ツールと Cmecab で単語分割しただけをエラーとして数える。表 3 に示すように、結果が表 5 に示される。

分割結果が違っても、前記のエラーでない限り、

ツール名分割されたどちらも正解だと判断される。

エラー数

正解率

総単語数

例１:反馈 到泵 转速 的 控制 中ポンプ回転数の制御にフィードバックさせる

商用ツール

3,824

143

96.26%

Cmecab3,982

143

96.41%

例 2：再 经侧 吹风 冷却

表 4：中国語単語分割の比較評価結果

さらに片側から風で冷却する
例 3：特别 适合于 就 寝时 穿戴

例 8：带有所述夹片的所述下管的一端插置于所述上

特に就寝時の着用に適している

管内，所述夹片卡固于所述半片止档部。

例 4：带破碎 盖 铲斗

前記クリップを有する前記下パイプの一端

破砕蓋付バケット
例 5：有机化が前記上パイプ内に挿設され，前記クリップ合物が前記半片ストッパ部に係止される

有機化合物
例 6：抑制 振荡 的 陷 波 电路
発振を抑圧するトラップ回路

ツール

単語分割結果商用带有 所述 夹片 的 所述 下管 的ツール

一 端 插 置于 所述 上 管内 ，例 7：防 细 菌 滋生部
Cmecab

带有 所述 夹 片 的 所述 下 管

日本語訳

判定

的 一端 插置于 所述 上 管 内 ，

支持 バー

○

所述 夹 片 卡固于 所述 半 片

支撑杆

支持バー

○

止档 部

薄薄○

支撑杆

膜

7

所述 夹片卡固于 所述 半片止 档

細菌の繁殖を防止し

中国語

エラー数

膜

6

表 5：商用ツールと Cmecab の単語分割結果

薄膜

薄膜

○

适合 于

～に 適する○

見出し語

品詞

适合于～に適する○夹片（クリップ）n

半片（半片）n

表 3：中国語単語分割の比較評価基準

表 6：追加された用語とその品詞

3.2

評価結果と分析

商用ツールの精度をさらにアップするのが難

テストセット文を商用ツールと Cmecab でそれしいのに対して、Cmecab のほうが単語品詞辞書にぞれ単語分割し、前記の評価基準で比較評価を行

用語とその品詞を登録することで、精度がさらにった。その結果を表 4 に示す。Cmecab の正解率が向上する傾向が見られる。例えば、「夹片/クリッ― 1070 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

プ」と「半片/半片」との 2 つの単語とその品詞（表6）を CSSG 単語品詞辞書に登録し、再び Cmecabに学習させると、例 8 のエラーの数が 6 から 2 まで減り、Cmecab の精度がさらに向上する余地が示された（表 7）。
ツール

単語分割結果

登録前

带有 所述 夹 片 的 所述 下 管

エラー数
6

的 一端 插置于 所述 上 管 内 ，
所述 夹 片 卡固于 所述 半 片止档 部
登録後

带有 所述 夹片 的 所述 下 管

2的 一端 插置于 所述 上 管 内 ，
所述 夹片 卡固于 所述 半 片 止
档 部表 7：用語登録前後の Cmecab の単語分割結果

４． おわりに
統計機械学習手法は中国語単語分割のようなNLP 研究分野では主流となっているが、精度上の限界が見られる。“data sparseness”が一般的な課題となり、学習データの量の重要性が強調されるが、学習データの量を増やすだけで、精度上の限界を打破しにくいというのが現状である。我々
は、NLP に対しては、学習データの量より、言語学知識体系の質のほうがもっと重要視されるべきだと主張し、既存の中国語言語学知識体系 CSSGを言語に依存しない形態素解析エンジンに導入することで、高品質の言語学知識体系が中国語単語分割のような NLP タスクに大いに貢献することを検証できた。さらに、CSSG 単語品詞辞書に用語とその品詞情報を登録することより、特許分野の中国語単語分割タスクの精度上の限界をブレークスルーする可能性を示した。
謝辞
CSSG を Mecab に導入するにあたり、東京大学の参考文献
Sun X., Y. Zhang, T. Matsuzaki, Y. Tsuruoka(2009). A Discriminative Latent Variable Chinese
Segmenter with Hybrid word/character Information.
Intheproceedingsof
HumanLanguage
Technologies: The 2009 Annual Conference of theNorth American Chapter of the Association for
ComputationalLinguistics,
pages
56–64.
Association for Computational Linguistics,
Boulder, Colorado.
Gao J., M. Li, A. Wu, CN. Huang (2005). Chinese
Word Segmentation and Named Entity Recognition:
A Pragmatic Approach. In the proceedings ofComputational Linguistics.
Xue N. (2003). Chinese Word Segmentation as
Character Tagging. International Journal ofComputational.Linguistics and Chinese Language
Processing, 8(1).
MeCab:
Yet
AnotherPart-of-SpeechandMorphological Analyzer. “Web Page.”
http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
Wang Xiangli, Yi Zhang, Yusuke Miyao, Takuya
Matsuzaki,
JunichiTsujii(2013).
Deep
Context-free Grammar for Chinese with Broad
Coverage. In the Proceedings of SIGHAN-7.
Yu, S. et al. (2002). The Basic Processing ofContemporary Chinese Corpus at Peking university
specification. Journal of Chinese Information
Processing, 16 (5).
Zhou, Q. (2004). Annotation Scheme for Chinese
Treebank. Journal of Chinese Information
Processing, 18(4).
Xue Nanwen, Xia Fei. (2000) The Bracketing
Guidelines for the Penn Chinese Treebank.”
Tecknical Report. University of Pennsylvania.
Yu Kun, Yusuke Miyao, Takuya Matsuzaki, XiangliWang, Yaozhong Zhang, Kiyotaka Uchimoto, Junichi
Tsujii (2010). Comparison of Chinese Treebanks
for Corpus-oriented HPSG Grammar Development.
Journal of Natural Language Processing (Special
Issue on Empirical Methods for Asian Language
Processing).
王向莉, 宮崎正弘(2007).文構造文法に基づく中国語構文解析. 言語処理論文誌. vol.14, No.2.
Roger Levy, Christopher Manning (2003). Is it
Harder to Parse Chinese, or the Chinese Treebank?
Proceedings of the 41st Annual Meeting of theAssociation for Computational Linguistics.

範暁蓉氏に協力していただいたので、深く感謝を申し上げる。

― 1071 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.