点推定と能動学習を用いた自動単語分割器の分野適応Graham Neubig
中田 陽介
京都大学 情報学研究科

1

はじめに

2

単語分割のための言語資源

2.1

単語分割の定義森 信介

近年，このような単語分割は隠れマルコフモデル(HMM) や条件付き確率場 (CRF) など，機械学習に基
日本語や中国語などの非分かち書き言語では，単語分 づいた手法によって行われている [1, 4]．これらの手法
割は言語処理の第一歩である．最初に行われる処理であ を利用する前に，分割器の学習のための言語資源を準備るため，単語分割が誤るとその後の処理にも大きく影響 しなければならない．
する．誤りによる悪影響を防ぐために，単語分割に特に高い精度が求められる．
日本語では，単語分割器（または品詞付与や読み推定 2.2 入手可能な言語資源も行う形態素解析器）はいくつか公開されている [1, 2]．
単語分割のために，一般的に以下のような言語資源はしかし，その多くは新聞記事などの一般分野での利用を入手可能である．
想定しており，専門分野で利用すると精度が低下する．
専門分野への適応が必要であるが，多くの場合では本質 一般分野の分割済みコーパス C : 一般分野では京都大g
的に適応は不可能であるか，可能だとしてもコーパスの学テキストコーパス [8] や現代日本語書き言葉均衡アノテーションに多くの労力がかかる．
コーパス [3] など，分割済みデータは入手可能となっ本研究は必要なアノテーション労力の軽減に焦点をている．
置く．重要な箇所のみにタグを付与する部分的アノテーション法を紹介し，このようなタグから学習可能な点推 適応分野の非分割コーパス Ca : 専門分野では分割済みコーパスは必ずしもないが，大規模な非分割データ定に基づく単語分割法を採用する．また，アノテーショはネット等を通して入手可能な場合が多い．
ン箇所を選択するための能動学習について述べ，点アノテーションと単語アノテーションの 2 通りのアノテー
適応分野の辞書 Da : 多くの専門分野では人間の参考用ション戦略を提案する．に作成された辞書が電子データとして入手可能でそれぞれのアノテーション戦略の効果を検証するため，ある．
医療分野への適応実験を行った．一般分野のデータのみから始め，従来のフルアノテーションと提案手法によ
専門分野のための単語分割器を作成する際，Cg と Daるアノテーションを行い，それぞれの手法の時間効率を はそのまま利用できるが，Ca をアノテーションする必測った．その結果，単語アノテーションはフルアノテー 要がある．次節では Ca のアノテーション法について述
ションと点アノテーションと同等の時間でより高い分割 べる．
精度を実現した．

日本語や中国語などの非分かち書き言語の自然なテキストには明示的な単語境界が含まれていない．つまり，文字列 X = x1 , x2 , . . . , xm が分かっても，単語列W = w1 , w2 , . . . , wn が一意に決まるというわけではな
い．しかし，自然言語処理では原則として単語単位の入力を前提としているため，X を単語に分割して，W を得る必要がある．

13

アノテーション法3.1

フルアノテーション

分割情報を付与するためのもっとも自然な手法は，各単語間に空白を入れることである（ここでは空白を明示的に表示するために「 」を利用する）．例えば，図 1 のa のようなアノテーションなしの文字列が与えられた場
合，b のように各単語間の間に空白を挿入する．
これは直感的で，アノテーションを行っている作業者に分かりやすいため，ほとんどのアノテーションはこのように行われる．しかし，このようなアノテーション法
では，文全体にタグを付与する必要がある．実際のコー

a.
b.
c.
d.

農産物価格安定法を施行
農産 物 価格 安定 法 を 施行
農-産 | 物 | 価-格 | 安-定 | 法 | を | 施-行
農 産 物 | 価-格 | 安-定 法 を 施-行

図 1: 各アノテーション法：a. なし，b. フル，c. タグ，d. 部分的
パスでは，数百文字の文の中で，アノテーションが必要な箇所が 1 つか２つしかない場合が多く，文全体にタグを付与しなくてもフルアノテーションとほぼ同等の精度向上が期待できる．次節は必要な箇所のみにタグを付与するためのアノテーション法を紹介する．

3.2

部分的アノテーション

図 2: 窓幅 2 の文字 3-gram と文字種 3-gram 素性

図 3: 辞書単語素性

必要な部分のみをアノテーションするために，まず xi
4.1 点推定の詳細と xi+1 の間に単語境界があるか否かを表すタグ ti を定
各タグ ti は E と N の 2 通りの値を取り得るため，各義する [7]．ti は「単語境界あり」を意味する E と「単タグの推定は2 値分類問題として扱うことができる [7]．
語境界なし」を意味する N の 2 値を取り得る．X が与えられた場合，タグ列 T = t1 , t2 , . . . , tm−1 がすべて決 2 値分類問題は機械学習のもっとも一般的な問題の 1 つであり，これらを解く SVM やロジスティック回帰などまれば，単語列 W も一意に決まる．
実際にアノテーションを行う場合，ti の値を表す記号 の洗練した手法は多く存在する．本研究では精度と学習を文字 xi と xi+1 の間に挿入する．本稿では，ti =E の 効率の兼ね合いを考慮し，線形 SVM を採用した．
場合は「|」を付与し，ti =N の場合は「-」を付与する． SVM の素性として，以下のものを利用した：
この基準でフルアノテーションを行っていけば図 1 の c.
1. 文字 n-gram：識別するタグ ti の周りの文字 nのようなテキストが得られる．
gram を 素 性 と し て 利 用 す る ．窓 幅 w を 決 め ，さらに，ti の値が未知である場合，「 」を挿入する．こxi−w+1 , . . . , xi , xi+1 , . . . , xi+w の間の文字のみを考うすることで，フルアノテーションをする必要がなく，慮することで素性の数を抑える（図 2 参照）．
図 1 の d. のように必要な箇所のみをアノテーションすることができる．
2. 文字種 n-gram：文字 n-gram と同じ n-gram で，文字自体ではなく，文字の種類（漢字，カタカナ，ひらがな，ローマ字，数字，その他）を利用する．

4

単語分割の推定法

従来の HMM や CRF に基づいた単語分割手法は文ごとに学習されるため，フルアノテーションを前提としており，部分的にアノテーションされたコーパスから学習することは不可能である1 ．部分的アノテーションで得られた情報を活用するために，HMM や CRF のような系列計算ではなく，各タグ ti の値を個別に推定する点推定を利用する．

1 その異例として，Tsuboi らの研究がある [4]．非アノテーション箇所のタグを隠れ変数とし，周辺化を行うことで部分的にアノテーションされたコーパスから CRF を学習する．この手法は効果的ではあるが，アノテーションがスパースであればあるほど周辺化に時間がかかるため，長い文の中で数タグしか存在しない場合は非現実的である．

3. 辞書単語素性：単語辞書を導入するために，辞書に含まれている単語に関する素性も利用する．これらの素性は，ti が代表する文字間が長さ k の単語の開始点になってること (R)，長さ k の単語の終了点になっていること (L)，長さ k の単語に含まれていること (I) を表す（図 3 参照）．
これらの素性を抽出し，線形 SVM やロジスティック回帰で単語分割を行う解析器「KyTea」を開発し，オープンソースでリリースした2 ．後述する実験は KyTea を用いて行った．文字 n-gram と文字種 n-gram の n-gram
長と窓幅をすべて 3 とした．

2 http://www.phontron.com/kytea にて入手可．読み推定の機能も含まれている．

FPW

前： 農産 物価 格安 定 法
後： 農産 物 価格 安定 法
前： 農 産 物?価 格 安 定 法
後： 農 産 物 | 価 格 安 定 法
前： 農 産 | 物?価 | 格 安 定 法
後： 農 産 | 物 | 価-格 | 安 定 法

図 4: 各アノテーション戦略：F フルアノテーション，P

表 1: コーパスと辞書のデータサイズ
データ

文字数

単語数

一般分野コーパス

1.29M
20.1M
67.8k

899k
45.3k

-223k
95.3k

適応分野コーパス
テストコーパス
一般分野辞書
適応分野辞書点アノテーション，W 単語アノテーション

5

アノテーション戦略

P と異なり，その情報をすべてアノテーションに入れるため，より多くの箇所がアノテーションされる．

部分的アノテーションを最大限に活かすためには，単語分割器の精度向上につながる箇所を選択し，それらを部分的にアノテーションする必要がある．本研究では能 6
評価
動学習を用いて交互にアノテーションと分割器の学習を6.1 実験条件行う．
単語分割器は各タグにつき，信頼度を出力することが各アノテーション戦略の効果を検証するために，単語できる．線形 SVM を利用しているため，各点の SVM分割器の医療分野への適応実験を行った．
平面からの距離を信頼度として採択する3 ．分割点の信実験に用いたコーパスは，「現代日本語書き言葉均衡頼度に基づいて，以下のアノテーション戦略を提案する：
コーパス」モニター公開データ（2009 年度版）中の人
フルアノテーション F: Cg で学習された分割器を利用 手による単語分割の修正がなされている文 (一般コーパ
して Ca を分割する．Ca の先頭から分割結果を人 ス) と医療文書からなる適応コーパスである．医療文書のコーパスから 1000 文を取り除き，テストデータとし手で修正する．
た．さらに，辞書として，UniDic (Ver. 1.3.9)[5] とライ点アノテーション P: Cg で学習された分割器を利用しフサイエンス辞書 [6] を利用した．コーパスと辞書のサて Ca を分割する．分割結果の中からもっとも信頼イズは表 1 に示してある．
度の低い 100 点を選択し，その点 にタグを付与す
1 人の作業者が Ca に対して，F，P，W の 3 通りのる．Cg と部分的にアノテーションされた Ca からアノテーションを行った．P と W の能動学習手法につ学習された分割器でもう一度 Ca を分割し，タグ付いて，100 点ずつアノテーションをしてから，単語分割与から繰り返す．
器の再学習を行い，精度を測った．F については，P の100点と同じ時間作業をしてから，単語分割器の学習を単語アノテーション W: P と 同 じ 過 程 で 行 わ れ ，行い精度を測った．作業者の経験量は作業時間に影響をその点 だ け で は な く，その点を開始点か終了点とする単語 または その点を含む単語 にもタグを 及ぼす恐れがあるため P,F,W,P,F,W. . . のように，各戦略によるアノテーションを順に繰り替えした．
付与する．
アノテーションに必要な時間はコストと比例するため，各アノテーション戦略の例を図 4 に示してある．
時間効率を評価基準とした．つまり，同等の作業時間で各戦略の特徴として以下のようなものが考えられる： 得られたデータから学習されたモデルを対象とし，それF: より少ない時間で多くのタグを付与することが可能 ぞれの単語分割精度を比較した．単語分割精度の評価基であるが，分割器の学習に役立たない箇所も多く含 準はタグ正解率とする．
まれている．

P: 各点は確実に分割器の精度向上につながるが，人間 6.2 アノテーション時間
でもすぐに分からない点が多い．このため，熟考しまず，各戦略に必要なアノテーション時間を計った（表たり，インターネット等で調べたりする必要があり，2参照）．最初の数ターンには作業者がまだアノテーショ
1 点につき多くの時間がかかる．
ンに慣れておらず，多くの時間がかかるため，最後の 10
W: P と同じく価値ある点をアノテーションし，熟考や ターンのみを対象とする．
インターネットの調査などが必要となる．しかし， タグ付与時間の立場から見ると，F は圧倒的に早い．
3 ロジスティック回帰の場合は確率を用いることも可能である．
100 点の付与時間では，単純作業がより少ない P は少し表 2: 各戦略のアノテーション時間
戦略

100 点

100 タグフルアノテーション F

9m15s
10m35s

16s
9m15s
2m15s

点アノテーション P
単語アノテーション W

図 6: アノテーションタグ数と分割精度の関係の精度となり，単語アノテーションは従来の手法を有意に上回った．
これからの課題として，読み推定や品詞推定，固有表現抽出などへの応用がある．また，現在では作業は基本的にテキストエディタで行われているため，インタフェースの改善でさらに効率的なタグ付与が期待できる．
図 5: アノテーション時間と分割精度の関係
早いが，W では 1 点に付き平均 4.68 タグを付与したため，タグ付与時間で W は P を有意に下回る．

6.3

アノテーションの効果

参考文献[1] Taku Kudo. Mecab: Yet another part-of-speech andmorphological analyzer. http://mecab.sourceforge.
net, 2009.
[2] Sadao Kurohashi, Toshihisa Nakamura, Yuji Matsumoto, and Makoto Nagao. Improvements of Japanesemorphological analyzer JUMAN. In Proceedings of The
International Workshop on Sharable Natural Language,pp. 22–28, 1994.

次に，各アノテーション戦略のアノテーション時間と精度向上を測った（図 5 参照）．その結果，F と P は時間に対してほぼ同等の精度となった．アノテーション
タグ数と精度向上の総体関係を表す図 6 から，P はもっ [3] Kikuo Maekawa. Balanced corpus of contemporary
written Japanese. In Proceedings of the 6th Workshopとも効率の良いタグを選ぶことは明らかであるが，1 点
on Asian Language Resources, pp. 101–102, 2008.のアノテーションに多くの時間がかかるため，アノテー[4] Yuta Tsuboi, Hisashi Kashima, Hiroki Oda, Shinsuke
ション量の多い F を上回ることはなかった．
Mori, and Yuji Matsumoto. Training conditional ranその一方，W はすべてのアノテーション時間でもっ
dom fields using incomplete annotations. In Proc. COLとも良い精度となり，2 時間のアノテーションでは他のING08, pp. 897–904, 2008.
戦略との差が特に顕著である．これは能動学習を用いた[5] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明, 内元清
アノテーション箇所を利用している上で，インターネッ
貴, 小磯花絵. コーパス日本語学のための言語資源：形態素トで調べた単語境界の情報を無駄にしない効率的なアノ解析用電子化辞書の開発とその応用. 日本語科学, Vol. 22,
pp. 101–122, 2007.
テーションが精度に大きく貢献したからである．
[6] 金子周司. ライフサイエンス辞書とは. 情報管理, Vol. 49,
No. 1, pp. 24–35, 2006.

7

おわりに

本研究は単語分割の効率的な分野適応のための能動学習と点推定を用いたアノテーション戦略を提案した．点
アノテーションは従来のフルアノテーションとほぼ同等[7] 森信介, 小田裕樹. 3 種類の辞書による自動単語分割の精度向上. 情処研報 NL-193, 2009.
[8] 黒橋禎夫, 長尾眞. 京都大学テキストコーパス・プロジェ
クト. 言処第 3 回年次大会, pp. 115–118, 1997.