Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Report

1. は じ め に
形態素解析は、日本語における自然言語処理の基礎であり、様々な分野で自然言語処理が点予測と系列予測の 2 段階化による品詞推定の精度向上用いられる近年、非常に重要な要素技術である。形態素解析は文字列に単語境界と品詞を付与する処理である。解析の出力は、固有表現抽出や構文解析、あるいはテキストマイニング

中森田介†1

陽信 介†1NEUBIG Graham †1
河 原達等の入力となる。そのため、形態素解析の精度は後続の処理に大きな影響を与える。した也†1

がって、形態素解析には多種多様な分野のテキストに対して高い解析精度が求められる。
そこで、分野適応性の高い形態素解析手法として、点予測による形態素解析1) が提案されている。この手法では、形態素解析を単語境界推定と品詞推定に分けて段階的に行い、各本論文では、点予測による形態素解析の推定結果に対して、品詞連接の傾向を用いた系列予測による品詞のリランキング手法を提案する。点予測とは、分類器の素性として対象とその周辺の文字列情報のみを用いる手法であり、この手法により高い分野適応性を実現している。しかし 、点予測では品詞推定に有用な品詞連接の傾向を利用することができない。品詞連接の傾向は分野依存性が低いと考えられ 、異なる分野で学習した品詞連接の傾向を利用できると考えられる。この品詞連接の傾向を用い、点予測の品詞推定結果に対してリランキングすることにより解析精度の向上を実現する。

処理において点予測を用いる。点予測とは、系列予測の対義語であり、入力情報（文字列情報）のみを参照する手法である。つまりは、推定値（単語境界や品詞）を一切利用しない手法である。単語境界推定を行う場合で言えば 、前後の文字列のみを参照し 、すでに推定されている前方の単語境界を参照しない。同様に、品詞推定では、単語分割済みコーパスが入力であるが、品詞推定の際に、対象単語の単語境界と周辺の文字列のみを参照し 、他の単語境界情報及び品詞情報を参照しない。そのように設計することで、既存手法では利用が困難

Improving Part-of-Speech Tagging by Combining
Pointwise and Sequence-based Predictorsであった部分的に品詞や単語境界が付与されたコーパス（ 部分的アノテーションコーパス）や単語表記のみの単語辞書（複合語辞書）等を利用することができる。このように言語資源を有効活用することで、少ない人的コストで効率のよい分野適応を実現している。

Yosuke NAKATA ,†1 Graham NEUBIG ,†1

しかし 、点予測では品詞推定において重要な情報源である品詞連接の傾向を利用すること

Shinsuke MORI †1 and Tatsuya KAWAHARA†1ができない。品詞連接の傾向を利用することは、品詞解析精度の向上につながる。また、この品詞連接の傾向は分野依存性が低く、異なる分野で学習した品詞連接の傾向が利用可能でThis paper proposes an approach to part-of-speech sequence reranking basedon POS transition tendencies fot the result of morphological analysis with pointwise predictors. Pointwise prediction uses as its feature set only surface information about the surrounding character strings, without relying on predicted
information such as surrounding POS tags or word boundaries. This allows
for the flexible use of a variety of linguistic resources, making it possible toachieve domain adaptation with a minimum amount of annotation. But pointwise prediction cannot use POS transition information that is important in POS
prediction. It can be assumed that the transition tendencies of POSs are nothighly domain dependent, transition information learned in one domain can beused in another domain. By applying POS sequence reranking that considers
POS transition information to the result of pointwise predictors, we were able
to achieve an improvement in POS tagging accuracy.

あると考えられる。
このような背景のもと、本論文では点予測と系列予測の 2 段階化による品詞推定の精度向上手法を提案する。まず、点予測による形態素解析を行う。次に点予測で利用できない品詞連接の傾向を用い、系列予測でリランキング ?1を行う。また、あらかじめ点予測の際に信頼度付きの品詞推定を行い、系列予測の素性として用いる。以上のような、点予測と系列予測による品詞推定の 2 段階化を提案し 、言語資源を有効活用することで高い分野適応性を保ちながら、より高い解析精度を実現する。
†1 京都大学 情報学研究科
Kyoto University, School of Informatics?1 リランキングの先行研究は多数ある2),3) 。しかし 、品詞のリランキングは殆ど 行われていない。

1ⓒ 2011 Information Processing Society of Japan

Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Reportti

x−3 x−2 x−1 w
x1 x2 x3
健 康 児 に 本剤 を 接 種 し

xi − 2 xi −1 xi xi +1 xi + 2 xi +3
健 康 児 に 本 剤 を 接 種 し（窓幅3 、n-gram長の上限3の場合）文字（種）1-gram： -3/ 康（K） -2/児（K） -1/に（H） 1/を（H） 2/接（K） 3/種（K）
文字（種）2-gram： -3/康児（KK） -2/児に（KH） -1/にを（HH） 1/を接（HK） 2/接種（KK）
文字（種）3-gram： -3/康児に（KKH） -2/児にを（KHH） -1/にを接（HHK） 1/を接種（HKK）（窓幅3 、n-gram長の上限3の場合）文字（種）1-gram： -3/ 児（K） -2/に（H） -1/本（K） 1/剤（K） 2/を（H） 3/接（K）
文字（種）2-gram： -3/児に（KH） -2/に本（HK） -1/本剤（KK） 1/剤を（KH） 2/を接（HK）
文字（種）3-gram： -3/児に本（KHK） -2/に本剤（HKK） -1/本剤を（KH） 1/剤を接（KHK）
単語辞書素性： L1（本）, R1（剤）, I2（本剤）

図 2 品詞推定に使用する素性図 1 単語分割に使用する素性

2.2 点予測による品詞推定
点予測による品詞推定では推定対象の単語によって、異なる以下の 4 つの種類の処理を行う。

2. 点予測による形態素解析(1)

学習コーパスに品詞候補が複数出現する単語は、分類器で推定を行う。

を用

(2)

学習コーパスに品詞候補が 1 つしか出現しない単語には、その品詞を付与する。

いる。点予測による形態素解析では 、単語境界推定と品詞推定に分けて段階的に処理され(3)

学習コーパスに出現しないが辞書に出現する単語には 、辞書の登録順で品詞を付与

1)

本研究では、系列予測による品詞推定の前処理として、点予測による形態素解析る。各処理において、単語境界や品詞の推定時に、推定結果しか存在しない動的な情報を用する。

いず、周辺の文字列情報のみを素性とする点予測を用いている。なお、分類器には、精度と学習効率を考慮して線形 SVM

4)

(4)

を用いている。

学習コーパスにも辞書にも出現しない単語には、名詞を付与する。

（１ ）の場合は各単語の品詞候補毎の分類器を作り、one v.s. rest 法を用いて多値分類2.1 点予測による単語境界推定を行う。入力は単語列であるが 、推定する際には対象単語 w とその前の文脈の文字列 x−

点予測による単語境界推定5) の入力は文字列 x = x1 x2 · · · xn であり、各文字間に単語境と後の文脈の文字列 x+ とみなし 、これらのみを参照して単語 w の品詞を推定する。参照

界の有無を示すタグ t = t1 t2 · · · tn−1 を出力する。単語境界タグ ti がとりうる値は、文字する窓幅を m0 とすると、入力において参照される情報は x−m0 · · · x−2 x−1 , w, x1 x2 · · · xm0

xi と xi+1 の間に単語境界が「存在する」か「存在しない」の 2 種類で、2 値分類問題としとなる。すなわち、この文字列と w の前後に単語境界があり内部には単語境界がないといて定式化される。点予測による単語境界推定では、以下の 3 種類の素性を参照する。

う情報のみから w の品詞を推定する。

(1)

(2)

(3)

文字 n-gram: 判別するタグ位置 i の前後の部分文字列であり、窓幅 m と長さ n の品詞推定に利用する素性は以下の通りである（ 図 2 参照）。

パラメータがある。素性は、長さ 2m の文字列 xi−m+1 , · · · , xi−1 , xi , xi+1 , · · · , xi+m(1)x− x+ に含まれる文字 n-gramの長さ n 以下のすべての部分文字列（ 文字 n-gram ）である（ 図 1 参照）。

(2)x− x+ に含まれる文字種 n-gram

文字種 n-gram: 文字を文字種に変換した列を対象とする点以外は文字 n-gram と同

2.3 点予測による柔軟な言語資源利用じである。文字種は、漢字（ K ）、片仮名（ k ）、平仮名（ H ）、ローマ字（ R ）、数字点予測を用いることで新たに利用可能となる言語資源があり、それらの言語資源を有効活（ N ）、その他（ O ）の 6 つである。

用することにより高い分野適応性を実現している。

単語辞書素性: 判別するタグ位置 i を始点とする単語、終点とする単語、内包する単(1)

語が辞書にあるか否かのフラグと、その単語の長さである。

部分的アノテーションコーパス: 文の一部の文字間の単語境界情報や一部の単語の品詞情報のみがアノテーションされたコーパスである。形態素解析という観点では、単2ⓒ 2011 Information Processing Society of Japan

Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Report

語境界情報のみが付与されたコーパスも部分的アノテーションコーパスの一種であ健康児に本剤を接種しる。ほかに、部分的単語分割コーパスや部分的品詞付与コーパスなどがある。

(2)

単語辞書: 単語の表記のみからなる辞書であり、比較的容易に入手可能である。自動名詞

名詞

助詞

名詞

助動詞

名詞

動詞

100

0.897814

2.2337801.3772

1002.23378
助詞

単語分割の際に単語境界情報として利用できる。
動詞

接尾辞

助動詞

動詞

助詞

動詞

無論、すべての文字間に単語境界情報が付与され、すべての単語に品詞が付与されている

NULL

00

NULL

0NULL0

フルアノテーションコーパス、見出し語に品詞が付与されている形態素辞書も利用可能であ

形容詞

動詞

語尾

形容詞

形容詞

形容詞

助動詞

る。フルアノテーションコーパスは、各分野で十分な量を確保することは難しいが、上記のNULL

NULL-0.167628

NULL

NULL

NULL-0.246451

言語資源は比較的簡単に用意することができる。点予測による形態素解析では 、これらの語尾

形容詞

形容詞語尾語尾語尾

形容詞

NULL

NULL

NULL

NULL

NULL

NULL

NULL

様々な言語資源を有効活用することにより、高い分野適応性を実現している。

・・・

・・・

・・・・・・・・・・・・・・・

代名詞

代名詞

代名詞

代名詞

代名詞代名詞代名詞

NULL

NULL

NULL

NULL

NULL

NULL

NULL

3. 点予測と系列予測による品詞推定の 2 段階化
前節の点予測では、学習コーパスの品詞列の情報を利用することができなかったが、この情報は品詞推定において非常に重要である。本研究では、品詞連接の傾向は分野依存性が低
図 3 系列予測による品詞のリランキング

いと仮定し 、本節では以上に述べた仮定の下で、異なる分野から学習した品詞連接の傾向を利用して、点予測の形態素解析の結果得られる品詞列に対して、系列予測による品詞のリランキング手法を提案する。

頼度は負の値となる。品詞候補がない場合（ 2.2 項における 4 の場合）は名詞が付与され信3.1 提案手法の流れ

頼度を 0 とする。品詞候補が 1 つの場合（ 2.2 項の 2 、3 の場合）は信頼度を 100 （ 特別な提案手法の全体の流れについて説明する。提案手法を含む形態素解析は「点予測による単値）とする。品詞候補と品詞の信頼度の例を図 3 に示す。

語境界推定」、「点予測による品詞推定」、「系列予測による品詞のリランキング 」からなる。

3.3 系列予測による品詞のリランキング

まず文字列を入力として、点予測による単語境界推定を行う。次に単語列を入力として、点前項で説明した処理の結果、単語列とその各単語の可能なすべての品詞及びその信頼度が予測による品詞推定を行う。この際品詞推定は各単語に対して品詞候補とそれぞれの信頼度付与された文が得られる。それに含まれる全ての品詞系列から最適と考えられる品詞系列を出力する。そして最後に、点予測の信頼度付き品詞推定結果である品詞列に対して、系列を、点予測の推定結果と学習コーパスにおける品詞連接の情報を用いて探索する。なお、単予測による品詞のリランキングを行う。

語境界のリランキングは行わないため、点予測による単語境界は変らない。
系列予測には、柔軟に素性を設計でき、文全体で最尤の品詞列を推定できる CRF6) を用

3.2 点予測による信頼度付きの品詞推定
2.2 項で述べた点予測による品詞推定では、各単語に対して唯一の品詞を出力する。提案いる。CRF の学習時の入力は、単語境界と品詞がフルアノテーションされたコーパスから手法では、出力を可能なすべての品詞とそれぞれの信頼度とし 、系列予測の素性として用い得ることができる品詞列である。素性は、点予測の結果得られる「文脈情報素性」と「信頼る（ 図 3 参照）。

度情報素性」である（ 詳細は次項で述べる）。解析時には、点予測の推定結果と信頼度を素点予測による品詞を信頼度は以下のように定義する。まず r（ r ≥ 1 ）番目の品詞候補性として、文全体で最尤の品詞列を出力する。図 3 の例では、実線で結ばれた品詞が出力さの分離平面からの距離（ マージン ）を dr とする。その上で r 番目の品詞候補の信頼度をれ 、単語「児」の品詞が「名詞」から「接尾辞」に適切に変更されている。

Cr = dr − d2 とする。この結果、第 1 候補の信頼度のみが正の値（ L2 正則化によりほぼ全3.4 系列予測の素性てが 100 より十分に小さい値となる）となり、第 2 候補の信頼度は 0 、第 3 候補以降の信前項で述べた CRF の素性は「 信頼度素性」と「 文脈情報素性」である。
「 信頼度素性」

3ⓒ 2011 Information Processing Society of Japan

Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Report

は、点予測による推定結果である品詞の信頼度をもとに、以下の素性生成規則に従い作成される 3 種類の素性である。つまり T 種類の品詞がある場合、素性生成規則毎に T 個、合計学習コーパス（単語境界・品詞のフルアノテーションコーパス）1番目の1/33T 個の素性を作成する。
規則 1（ 素性 1〜素性 T ）:2番目の1/33番目の1/3

単語の品詞候補が複数ある場合は 、品詞の信頼度を素性とする。
テスト

規則 2（ 素性 T+1〜素性 2T ）:品詞が単語の品詞候補ではない場合、素性を 1 とする。

規則 3（ 素性 2T+1〜素性 3T ）:単語の品詞候補が 1 つの場合、素性を 1 とする。

規則に当てはまらない場合、素性は NULL とする。また、規則 1 で信頼度が存在する品点予測による形態素解析

点予測による
形態素解析

点予測による形態素解析

1番目の1/3信頼度付き
コーパス

2番目の1/3信頼度付き
コーパス

3番目の1/3信頼度付き
コーパス

詞に関しての信頼度を与える。規則 2 では、品詞候補ではない品詞の情報を与えている。規則 3 では、点予測での信頼度が高いもの（ 修正が不要と推定される品詞）の情報を与えている。
もう 1 つは「文脈情報素性」である。これを以下に示す。

(1)

対象単語を含む窓幅 m00 に含まれる単語 n-gram を素性とする。

(2)

対象単語を含む窓幅 m00 に含まれる単語に対応する文字種集合 n-gram を素性とす

学習
学習

学習

系列予測による系列予測による品詞のリランキングる。単語の文字種集合は 、その単語の表記に含まれる文字種を要素とする集合である。文字種は 2.1 項と同様の 6 種であり、文字種集合は 26 − 1 通りとなる。文字種集合 n-gram は、連続する n 個の文字種集合の列である。

図4

系列予測による品詞推定の学習コーパス作成方法（ k = 3 ）3.5 学習コーパスの作成方法
CRF の学習コーパスとして、未知の単語列に対する点予測による品詞推定結果と正解の7),8)
な単語境界と品詞の基準に対してフルアノテーションコーパス（ GTF ）がある。適応分組が必要である。つまりは、信頼度付与を行う点予測の品詞推定器の学習コーパスと、信頼野のコーパスは一般分野と異なり、単語境界と品詞の基準だけでなく、専門分野の知識が必度付与対象は異なる必要がある。そこで、単語境界と品詞のフルアノテーションコーパスか要となり一般分野のコーパスと比べ、作成により多くの人的コストがかかる。その中でも、ら、以下の手順で作成する（ 図 4 参照）。

フルアノテーションと比べて部分的アノテーションは比較的簡単に用意できる。コーパスの(1)

学習コーパスを k 個に分割し 、C1 , C2 , ..., Ck を得る。

例を図 6 に示す。図 6 では拡張 3 値表現を用いている。拡張 3 値表現は単語境界の情報を(2)ある i に対して Ci 以外の k − 1 個のコーパスから点予測による形態素解析器を学示す 3 値表現9) を拡張し 、品詞情報を表現出来るようにした手法である。3 値表現では以下習し 、Ci に対して単語境界推定及び 信頼度付き品詞推定を行う。これをすべてのの 3 値が定義されている。

i ∈ 1, 2, ..., k に対して行う。

| : 単語境界がある。

以上の結果、品詞候補と信頼度が付与された C10 , C20 , ..., Ck0 が得られる。これらをコーパス- : 単語境界がない。に正解の品詞を付与したものを CRF の学習コーパスとする。こうして得られる学習コーパ: 単語境界の有無は不明である。

スから文脈情報に応じた品詞連接の傾向を得ることができる。

新たに各単語の品詞情報表現を加え、「 |単-語/品詞| 」と表している。また、これらのコー

3.6 提案手法と言語資源パスから学習できる情報を以下に示す。

• GWF 、AWF: 「単語列」や「単語境界と前後の文字列」が学習できる。

最後に提案手法とコーパスの関係について述べる（ 図 5 参照）。一般分野に関しては様々

4ⓒ 2011 Information Processing Society of Japan

Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Report

一般分野（ G ）フルアノテーション（GWF））

解析対象

単語境界（W））
部分的アノテーション（GWP））
一般分野（G））
単語境界品詞（T））

フルアノテーション（GTF））

点予測による
単語境界推定フル（ F ）:

単語境界（W））
適応分野（A））

文 化|交-流|使 事 業 を（ W）

部分的（ P ）:フル（ F ）:/品詞（ T ）部分的（ P ）:単語境界

フル（ F ）:

|血|小-板|の|減-少|が |（ W）

部分的（ P ）:血|小-板|の 減 少 が|文-化/名詞|交-流/名詞|使/接尾辞|事-業/名詞|を /助詞|
文 化|交-流/名詞|使 事 業 を
適応分野（ A ）フルアノテーション（AWF））
部分的アノテーション（AWP））|文-化|交-流|使|事-業|を |単語境界

部分的アノテーション（GTP））
点予測による
品詞推定

単語境界品詞（T））

単語境界

単語境界

フル（ F ）:/品詞（ T ）部分的（ P ）:系列予測による品詞のリランキング|血/接頭辞|小-板/名詞|の/助詞|減-少/名詞|が /助詞|
血|小-板/名詞|の 減 少 が
図 6 コーパス例

フルアノテーション（ATF））
部分的アノテーション（ATP））

ない。現実的な状況で利用可能なコーパスは図 5 の実線の矢印で示したコーパスであり、提形態素解析済みコーパス

案する形態素解析の枠組みでは、その言語資源を最大限活用している。

理論的に利用可能なコーパスは破線と実線 の矢印であり、現実的に利用可能はコーパスは実線の矢印である。

図5

4. 評

提案手法とコーパスの関係価提案手法の評価を行うために 2 つの評価実験を行った。1 つは、既存手法との比較による• GWP 、AWP: 「単語境界と前後の文字列」が学習できる。

提案手法の評価、もう 1 つは、点予測による分野適応時における提案手法の評価である。な• GTF 、ATF: 「単語列」、「単語境界と前後の文字列」、「品詞列」、「形態素列」や「形お、予備実験により n-gram 長の n の上限を 2 、窓幅 m00 はすべて 5 とした。また、系列予測に用いる学習コーパスの分割数は 9 とした。系列予測には CRFsuite10) を用いた。

態素と前後の文字列」が学習できる。

• GTP 、ATP: 「単語境界と前後の文字列」や「形態素と前後の文字列」が学習できる。

4.1 コ ー パ ス

理論上では点予測のよる単語境界推定では、「単語境界と前後の文字列」が得られるコー8)?1
実験には「日本語書き言葉均衡コーパス」コアデータ（ BCCWJ ）を用いた。コーパパスであれば利用可能なため、全コーパスから学習可能である。点予測による品詞推定でスは単語境界と品詞情報が人手で付与されている。品詞は、大分類の 21 種類のみ利用した。

は、「形態素（単語と品詞）と前後の文字列」が得られるコーパスであれば利用可能なため、出典は、白書と書籍と新聞と Yahoo!知恵袋である。Yahoo!知恵袋は、他の出典のデータと品詞が付与されている GWP 、GWF 、AWP 、AWF のコーパスから学習可能である。系列

大きく性質が異なる11) ので Yahoo!知恵袋を適応分野とし 、白書と書籍と新聞を一般分野

予測による品詞推定では、「品詞列」の情報を学習するため、一文に単語境界と品詞が付与とする。コーパスの詳細を表 1 に示す。

4.2 評 価 基 準されているコーパスのみが利用可能であり、GTF 、ATF のコーパスから学習が可能である。
実際の分野適応では、学習コーパスは、GTF に加えて比較的作成が容易な適応分野の部

本論文で用いた評価基準は、文献 12) で用いられた再現率と適合率であり、次のように定分的アノテーションコーパス（ AWP または ATP ）である。適応分野のフルアノテーションコーパス（ AWF や ATF ）は、準備するのに非常に高い人的コストがかかり現実的では「現代日本語書き言葉均衡コーパス」モニター公開データ（ 2009 年度版）である。
?1 正確には、

5ⓒ 2011 Information Processing Society of Japan

Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 実験に用いるコーパスの詳細
コーパス名

出典

用途

日本語書き言葉均衡コーパス

白書・書籍・新聞（ 一般分野）Yahoo!知恵袋（ 適応分野）

学習テスト
学習テスト

（ BCCWJ ）

文数27,3383,038
5,800645

表 2 一般分野に対する単語境界推定精度および形態素解析精度
形態素数782,584
87,458114,265
13,018

文字数1,131,317
126,154
158,000
17,980

単語境界推定適合率 [%]
再現率 [%]

手法
品詞 2-gram モデル（ HMM ）形態素 2-gram モデル
形態素 3-gram モデル

CRF（ MeCab-0.98 ）
点予測（ KyTea-0.1.1 ）義される。BCCWJ コーパスに含まれる形態素数を NREF 、解析結果に含まれる形態素数を提案手法

96.32
97.44
97.49
97.19
98.73
98.73

96.84
98.52
98.53
98.30
98.71
98.71

F値
96.58
97.98
98.00
97.74
98.72
98.72

適合率 [%]

形態素解析
再現率 [%]

93.77
96.58
96.70
96.72
98.07
98.38

94.27
97.65
97.73
97.84
98.06
98.37

F値
94.02
97.11
97.21
97.28
98.06
98.38

NSY S 、分割と品詞の両方が一致した形態素数を NCOR とすると、再現率は NCOR /NREF
表3と定義され 、適合率は NCOR /NSY S と定義される。例として、コーパスの内容と解析結果

適応分野（ Yahoo!知恵袋）に対する単語境界推定精度および形態素解析精度が以下のような場合を考える。
手法

コーパス

品詞 2-gram モデル（ HMM ）外交/名詞 政策/名詞 で /助動詞 は /助詞 な /形容詞 い/語尾

形態素 2-gram モデル
形態素 3-gram モデル

解析結果

CRF（ MeCab-0.98 ）外交政策/名詞 で /助詞 は /助詞 な /形容詞 い/語尾

点予測（ KyTea-0.1.1 ）この場合、分割と品詞の両方が一致した形態素は「は /助詞」と「な /形容詞」と「い/語提案手法

単語境界推定適合率 [%]
再現率 [%]

93.17
94.52
94.52
94.89
96.93
96.93

94.4496.6596.7196.8797.2697.26

F値
93.8095.5795.6095.8797.0997.09

適合率 [%]

形態素解析再現率 [%]86.7892.0192.1093.6995.1995.8687.9694.0994.24
95.6595.51
96.18

F値
87.36
93.0493.1694.66
95.35
96.02

尾」であるので、NCOR = 3 となる。また、コーパスには 6 つの形態素が含まれ 、解析結果には 5 つの形態素が含まれているので、NREF = 6, NSY S = 5 である。よって、再現率提案手法は両分野で解析精度が向上した。特に適応分野で一般分野より大幅に解析精度が向は NCOR /NREF = 3/6 となり、適合率は NCOR /NSY S = 3/5 となる。また本論文で用い上してることが分かる。このことより、3 節で述べた「品詞連接の傾向は分野依存性が低い」

る F 値は（ 2 × 適合率 × 再現率）/（ 適合率 + 再現率）とする。という仮定に妥当性があることが分かる。以上の結果より、提案手法の有用性が示された。

4.3 評価実験 1 —既存手法との比較—

4.4 評価実験 2 —分野適応時における提案手法の評価—
点予測による形態素解析の分野適応時における提案手法の評価を行った。先行研究1) で既存手法との比較による提案手法の解析精度の評価を行った。比較対象である既存手法
13)

14)

は文献 1) と同様の CRF（ MeCab-0.98 ） と、形態素 n-gram モデル（ n=2,3 ） 、品詞最も高い分野適応性を示した手法として部分的アノテーション手法（ Pointwise:part ）があ

15)

2-gram モデル（ HMM ） 、さらに点予測である。この実験では、比較を行う既存手法と同る。部分的アノテーション手法は、能動学習に部分的アノテーションコーパスを追加していじ言語資源を利用するために、図 4 で示した一般分野のフルアノテーションコーパス（図 5く手法である。本実験では、部分的アノテーション手法時の結果に対して提案手法を適用しの GTF ）のみが利用可能であるとの条件を設定した。

解析精度の評価を行った。本実験でも CRF の学習には前項と同様のものを用いる。分野適提案手法で用いる CRF の学習には、一般分野の学習コーパスから作成手順（ 3.5 項）に応の際にも同じ学習コーパスを用いる。

従い作成したコーパスを用いた。解析対象は一般分野のテストコーパスと、適応分野のテス具体的な手順を以下に示す（ 図 7 参照）。

トコーパスである。まず、解析対象に対して点予測による形態素解析を行った。さらにの点(1)

予測の結果に対して系列予測による品詞のリランキングを行なった。

一般分野の学習コーパス（ 図 5 の GTF ）を用い、点予測による形態素解析の学習を行う。

一般分野の結果を表 2 に、適応分野の結果を表 3 に示す。表の点予測とは図 5 の点予測に(2)

適応分野の学習コーパスに対して、信頼度付きの推定を行う。

よる品詞推定の結果であり、提案手法は系列予測による品詞のリランキングの結果である。

(3)

適応分野の学習コーパスの信頼度が低い 100 箇所（ 単語境界・品詞推定を同時に考6ⓒ 2011 Information Processing Society of Japan

Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Report

適応分野のテストコーパス

適応分野の学習コーパス（部分的アノテーションコーパス）

3.情報の追加情報の追加

1.学習
学習

点予測による形態素解析器

97.10

Pointwise+CRFsuite:part96.60

Pointwise:part96.10

F値
値

一般分野の学習コーパス（フルアノテーションコーパス）

95.60

CRF:part95.10

系列予測による品詞再推定器
100箇所の人手によるアノテーション

94.60
0

解析結果
(評価対象）
図 7 部分的アノテーションを用いた能動学習による分野適応204060

80

100120140

図8

分野適応時における系列予測の形態素解析精度

アノテーション形態素数（×）
アノテーション形態素数（×100）

160180200慮）にアノテーションを行う（ 適応分野の部分的アノテーションコーパス（ 図 5 の向と点予測の推定結果を用いた系列予測による品詞のリランキングにより、解析精度向上をATP ）を作成）。適応分野の部分的アノテーションコーパスを学習コーパスとして追実現した。

加する。

参

この手順（ 1 ）〜（ 3 ）を 200 回繰り返し 、各回での信頼度付き適応分野のテストコーパスを考文献1) 中田陽介，Neubig, G.， 森信介，河原達也：点予測による形態素解析，第 198 回自然言語研究会 (NL198)，東京 (2010).
2) 大庭隆伸， 堀貴明， 中村篤：ラウンド ロビンデュエル識別法の提案と誤り訂正言語モデルによる評価，音響学会講演論文集，pp.29–30 (2010).
3) 越川満，内山将夫，梅谷俊治，松井知己，山本幹雄：統計的機械翻訳におけるフレーズ対応最適化を利用した N-best 翻訳候補のリランキング，情報処理学会論文誌，Vol.51,No.8, pp.1443–1451 (2010).
4) Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R. and Lin, C.-J.: LIBLINEAR:A Library for Large Linear Classication, Journal of Machine Learning Research,
Vol.9, pp.1871–1874 (2008).
5) Neubig, G.，中田陽介， 森信介：点推定と能動学習を用いた自動単語分割器の分野
適応，言語処理学会第 16 回年次大会，東京 (2010).
6) Laﬀerty, J., McCallum, A. and Pereira, F.: Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data, Proceedings of theEighteenth ICML (2001).

用い、適応分野の CRF コーパスを作成し提案手法を行い、その適応分野のテストコーパスに対する解析精度を比較した。ベースラインとして点予測のみの結果と、CRF（ MeCab-0.98 ）における、部分的アノテーションコーパス手法で作成した部分的アノテーションコーパスの語彙を追加した場合（ CRF：part ）を比較した。その結果を図 8 に示す。
図 8 から常にほぼ一定の解析精度の向上が確認できた。提案手法は分野適応時においても、解析精度が向上することが分かる。つまり、提案手法は点予測による形態素解析での分野適応性を保ちながら、解析精度の向上を実現している。このことより提案手法の有用性が確認できた。

5. お わ り に
本論文では点予測と系列予測による品詞推定の 2 段階化手法を提案した。提案手法では、言語資源を有効活用することにより、点予測の高い分野適応性を保ちながら、品詞連接の傾

7ⓒ 2011 Information Processing Society of Japan

Vol.2011-IFAT-101 No.2
Vol.2011-NL-200 No.2
2011/1/28

情報処理学会研究報告
IPSJ SIG Technical Report

7) 黒橋禎夫：京都大学テキストコーパス・プロジェクト，言語処理学会第 3 回年次大会
発表論文集，pp.115–118 (1997).
8) 前川喜久雄：KOTONOHA『現代日本語書き言葉均衡コーパス』の開発，日本語の研究，Vol.4, No.1, pp.82–95 (2008).
9) Mori, S. and Oda, H.: Automatic Word Segmentation using Three Types of Dictionaries, Proceedings of the Eighth International Conference Pacific Association
for Computational Linguistics (2009).
10) Okazaki, N.: CRFsuite: a fast implementation of Conditional Random Fields(CRFs) (2007).
11) Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino,W., Ogiso, T., Koiso, H. and Den, Y.: Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese, Proceedings of theSeventh International Conference on Language Resources and Evaluation (2010).
12) 永田昌明：EDR コーパスを用いた確率的日本語形態素解析，EDR 電子化辞書利用シンポジウム，pp.49–56 (1995).
13)
工藤拓， 山本薫，松本裕治：Conditional Random Fields を用いた日本語形態素解析，情報処理学会研究報告. 自然言語処理研究会報告， Vol.2004, No.47, pp.89–96(2004).
14)
森信介， 長尾眞：形態素クラスタリングによる形態素解析精度の向上，自然言語処理， Vol.5, No.2, pp.75–103 (1998).
15) Nagata, M.: A Stochastic Japanese Morphological Analyzer Using a Forward-DP
Backward-A∗ N-Best Search Algorithm, Proceedings of the 15th International Conference on Computational Linguistics, pp.201–207 (1994).

8ⓒ 2011 Information Processing Society of Japan