言語資源の追加：辞書かコーパスか
森 信介1,a)ニュービッグ グラム2,b)

概要：本論文では、言語資源の追加戦略が日本語の形態素解析にどの程度の精度向上をもたらすかについて論じ る。戦略は 2 つあり、1 つは辞書として未知語を追加する方法である。もう 1 つは、コーパスとして学習データに追加する方法である。実験の結果、コーパスとして学習データに追加する方法の方がよいことが分かった。レシピテキストに対しての適応実験の結果、未知語に関しては、部分的アノテーションコーパスとして、3 回程度の出現事例を文脈とともに追加すると辞書追加よりも明らかに改善することが分かった。この知見に基づき、発明開示書に対して実際にアノテーションを行い、単語分割精度の向上を確認した。

1. はじめに

3. 評価
学習コーパスへの言語資源の追加方法の違いを観測する

機械学習に基づく言語処理が主流になり、言語資源の重要性が増している。また、単語分割や品詞推定などでは 、ために、以下の実験を行った。

一般分野のテキストに対する解析精度は非常に高い。これらの課題では、学習に用いる言語資源が少ない分野のテキ

3.1 実験の設定
課題は形態素解析の分野適応である。実験に用いたコーストに対する解析精度が問題である。
本論文では、単語分割や品詞推定の課題に対して、辞書パスは 、BCCWJ のコアデータ [11] である。対象分野をとして言語資源を追加する場合とタグ付きコーパス (部分Yahoo!知恵袋とし 、一般分野の他の 5 分野とした (表 1 参的アノテーションを含む) として言語資源を追加する場合照)。実験に用いた形態素解析は以下の 2 つである*1 。

について実験的に比較を行う( 1 ) MeCab: CRF に基づくモデル [6]なお、本稿は [1] の概略である。詳細については当該論( 2 ) KyTea: 点予測に基づく 2 段階モデル [3]文を参照されたい。

以下の戦略を試みた。

2. 形態素解析

なし : 一般分野のコーパスと辞書のみを使用
辞書追加 (再学習なし ): Yahoo!知恵袋の学習コーパスに本論文で言語資源の追加による精度向上を試みる課題

出現する単語を辞書として追加 (MeCab のみ)

は、日本語の形態素解析である。この問題には大きく分け辞書追加 (再学習あり): Yahoo!知恵袋の学習コーパスにて 2 つの解き方が提案されている。 1 つは、単語分割と品詞付与を同時に行う系列ラベリングとし ての定式化であ出現する単語を辞書として追加し再学習
コーパス追加: Yahoo!知恵袋の学習コーパスを学習デー

る [4], [5], [6], [7], [8]。もう 1 つは、単語分割と品詞推定をタに追加し再学習個別に解く方法である [2], [3]。
本論文では 、単語分割と品詞付与を CRF を用いて同時評価基準は 、再現率と適合率の調和平均である F 値とした。に解く手法 (MeCab)[6] と単語分割と品詞推定を点予測を用いて個別に解く手法 (KyTea) [3] について、言語資源の3.2 結果と議論追加による分野適応の戦略について実験的に考察する。
12a)b)

京都大学学術情報メディアセンター
京都府京都市左京区吉田本町
奈良先端科学技術大学院大学情報科学研究科
奈良県生駒市高山町 8916-5
forest@i.kyoto-u.ac.jp
neubig@is.naist.jp

c 2014 Information Processing Society of Japan

実験結果は表 2 の通りである。この表から 、辞書として追加することにより、MeCab(再学習なし ) では 1.35% 、KyTea では 1.21%精度が 向上することがわかる*2 。さら*1*2

緻密なパラメータ調整は行っていないので、さらなる精度向上の余地がある。
表 2 からわかるように、CRF のパラメータを再学習すると精度

1

コーパス

分野適応

頻度

単語数

分野

単語数

戦略

上限 (n)

平均

一般

784k

なし

––

一般+Yahoo!知恵袋

898k

辞書

–

Yahoo!知恵袋 (テスト )

13.0k

1

辞書

2

分野

単語数

一般

96.3%

一般+Yahoo!知恵袋
32.5k
表 1 言語資源の諸元
言語資源追加戦略

レシピ

098.87%94.35%

–

1,999

98.90%

94.54%

1.00

1,999

98.89%

95.56%

1.60

3,191

98.89%

95.81%

3

2.02

4,046

98.89%

95.94%

4

2.36

4,727

98.89%

96.01%

単語分割

8

3.26

6,523

98.89%

96.07%

コーパス

16

4.26

8,512

98.89%

96.14%

32

5.10

10,20398.89%

96.21%

64

5.77

11,54298.89%

96.28%

カバー率 (単語/品詞)

29.7k

MeCab

97.9%

部分的KyTeaなし

95.20%

辞書追加 (再学習なし )96.59%-

辞書追加 (再学習あり)

96.55%

96.75%∞
6.60 13,197
98.89%
表 4 各分野適応戦略による単語分割精度

95.54%

コーパス追加96.85% 97.15%
表 2 単語分割精度 (F 値)
文数

用語数

単語数

文字数

学習

1,760

13,19733,08850,002

テスト

724– 13,147 19,975
表 3 レシピコーパスの諸元

F値
BCCWJ

文数

単語数

96.29%

文字数テスト
500 20,658 32,139
表 5 発明開示書コーパスの諸元

4.1.2 結果と議論
単語分割の精度を表 4 に掲げる。この結果から、辞書として重要語を学習データに追加することにより精度向上がに、コーパスとして追加することにより、さらになる精度図れることがわかる。これは、表 2 の結果と一貫性がある。

向上が実現できることがわかる (MeCab の場合は 0.30% 、部分的単語分割として各 1 回の出現となる部分的単語分割

KyTea の場合は 0.40%)。つまり、コーパスの追加によるされた文の追加は、辞書追加と同等である。部分的単語分

精度向上幅の 75∼80%は辞書として追加することにより実割コーパスに含まれる頻度 (n) を増加するに従って精度は現できているが 、残りの 20∼25%は文脈情報を含むコーパ向上するが 、その程度は逓減していく。したがって、アノスとして追加することによってのみ実現されるといえる。

テーションコストを考慮すれば 、新語を頻度の降順にアノ

4. 実際の分野適応
前節までの分野適応では、フルアノテーションを想定している。本節では、より現実的な部分的アノテーション [10]テーションしていくことが良い戦略と考えられる。

4.2 発明開示書
最後に、発明開示書に対する分野適応の結果について報による言語資源の追加について述べる。MeCab には部分告する。

的アノテーションからの学習機能がないので、KyTea を用

4.2.1 実験の設定いた結果のみを報告する。また、日本語の形態素解析の曖上述の知見に基づき、以下の分野適応戦略を実施した。

昧性の主たる要因である単語分割を課題とする。

( 1 ) 分布分析 [13] に基づき、生コーパスから未知語候補を4.1 レシピテキスト( 2 ) 未知語候補を期待頻度の降順に整列し 、各未知語候補抽出する。
最初の適応分野はレシピである。実験にはレシピフローに対して 3 回の出現箇所をアノテーションする。

グラフコーパス (r-FG コーパス) [12] を用いた。r-FG コー

この戦略では、作業の初期は頻度が 3 以上の未知語候補へパスでは、各文に含まれる重要語の両端と種類の情報が付のアノテーションとなるので、表 4 の頻度 4 と 8 の間 (平与されている。また、重要語の内部のみ単語分割されてい均が 3) に対応する。

る。(図 1 参照)。

4.1.1 実験の設定
表 3 は r-FG コーパスの諸元である。分野適応をしない「なし 」に加えて、以下の 2 つの分野適応手法を試みた。
辞書

学習データを辞書として用いる

部分的単語分割コーパス 頻度の上限を n として学習デー

各 1 時間の作業の後に、それまでにアノテーションされたコーパスを追加して単語分割器を構築し 、表 5 のテストデータに対する単語分割精度を測った。

4.2.2 結果と議論
図 2 は、実験の結果得られた学習曲線である。部分的単語分割コーパスの追加に応じて精度がほぼ単調に増加してタを部分的単語分割コーパスとして用いるいる。12 時間の作業の結果、20%の誤り削減に成功し 、絶が低下した。

対的な精度は一般分野と同等となった [3]。この結果得られc 2014 Information Processing Society of Japan2

各 /ホット ド ッグ /F に /チリ/F 、 /チーズ /F 、 /オニオン /F を /ふりかけ /Ac る/ホット ド ッグ /F を /アルミ ホイル /F で /覆/Ac う
図 1 r-FG コーパスの文の例

98.1

[4]
F measure (word segmentation)

98.0

97.9

[5]

97.8

97.7

[6]
97.6

97.502468
Work time [hour]

図 2

学習曲線

1012た単語分割器のモデルは、発明開示書に対する様々な言語処理に貢献することができる。さらに、図 2 から精度は向[7][8]上し続けていることがわかるので、単に作業を継続するだけでさらなる精度向上が図れることがわかる。
形態素解析 (単語分割と品詞推定) は公開されているツー
ルとモデルで行うことが一般的であることを考えると、本[9]

論文の知見を活かすためには、独自に準備したコーパスを配布モデルに追加して再学習ができる設計が重要である。

5. おわりに[10]

本論文では、日本語の形態素解析の精度向上を目的とした言語資源追加の戦略について実験的に比較し た。実験[11]の結果、単に辞書として追加するのではなく、数回の出現に対して文脈も含めた部分的アノテーションコーパスとして学習コーパスに追加することが効果的であることが分

[12]

かった。

6. 謝辞
本研究は JSPS 科研費 23500177,24240030,26280084 と日本電信電話株式会社との共同研究契約 (2013/05/23) の[13]Association for Computational Linguistics (2011).
Nagata, M.: A Stochastic Japanese Morphological Analyzer Using a Forward-DP Backward-A∗ N-Best Search
Algorithm, Proceedings of the 15th International Conference on Computational Linguistics, pp. 201–207(1994).
Mori, S. and Kurata, G.: Class-Based Variable Memory Length Markov Model, Proceedings of the InterSpeech2005, pp. 13–16 (2005).
Kudo, T., Yamamoto, K. and Matsumoto, Y.: Applying
Conditional Random Fields to Japanese Morphological
Analysis, Proceedings of the Conference on Empirical
Methods in Natural Language Processing, pp. 230–237(2004).
Nakagawa, T.: Chinese and Japanese word segmentation
using word-level and character-level information, Proceedings of the 20th International Conference on Computational Linguistics (2004).
Kruengkrai, C., Uchimoto, K., Kazama, J., Wang, Y.,
Torisawa, K. and Isahara, H.: An Error-Driven WordCharacter Hybrid Model for Joint Chinese Word Segmentation and POS Tagging, Proceedings of the 47th
Annual Meeting of the Association for Computational
Linguistics (2009).
Kaji, N. and Kitsuregawa, M.: Efficient Word Lattice Generation for Joint Word Segmentation and POS
Tagging in Japanese, Proceedings of the Sixth International Joint Conference on Natural Language Processing, Nagoya, Japan, pp. 153–161 (2013).
Neubig, G. and Mori, S.: Word-based Partial Annotation for Efficient Corpus Construction, Proceedings ofthe Seventh International Conference on Language Resources and Evaluation (2010).
Maekawa, K.: Balanced Corpus of Contemporary Written Japanese, Proceedings of the 6th Workshop on Asian
Language Resources, pp. 101–102 (2008).
Mori, S., Maeta, H., Yamakata, Y. and Sasada, T.:
Flow Graph Corpus from Recipe Texts, Proceedings ofthe Nineth International Conference on Language Resources and Evaluation (2014).
Mori, S. and Nagao, M.: Word Extraction from Corporaand Its Part-of-Speech Estimation Using DistributionalAnalysis, Proceedings of the 16th International Conference on Computational Linguistics (1996).

助成を受けたものである。ここに謝意を表する。
参考文献
[1]

[2]

[3]

Mori, S. and Neubig, G.: Language Resource Addition:
Dictionary or Corpus?, Proceedings of the Nineth International Conference on Language Resources and Evaluation (2014).
Ng, H. T. and Low, J. K.: Chinese part-of-speechtagging: one-at-a-time or all-at-once? word-based orcharacter-based, Proceedings of the Conference on Empirical Methods in Natural Language Processing (2004).
Neubig, G., Nakata, Y. and Mori, S.: Pointwise Prediction for Robust, Adaptable Japanese MorphologicalAnalysis, Proceedings of the 49th Annual Meeting of thec 2014 Information Processing Society of Japan

3