仮名漢字変換ログの活用による言語処理精度の自動向上
森 信介
Graham Neubig
京都大学 情報学研究科

1はじめに得られる。このデータを用いることで、単語分割や読み推定など 解析系の音声言語処理の精度向上がコスト学習に基く音声言語処理は一定の成果を上げるていなしで実現できることを示す。

るが 、多くの研究は、データの集収方法を含めた全体2戦略を欠いている。実際、ある問題を設定し 、コストを投じてその問題の入力と出力の組の例を作成し 、機

仮名漢字変換システム
この節では、変換ログの収集に用いた仮名漢字変換

械学習を適用して一定の精度で入力から出力を推定しシステムについて説明する。

た結果の報告は枚挙に暇がない。規則による方法から2.1

このような方法への移行により、アルゴ リズムとデータが分離された。その結果、言語処理システムの構築

確率的モデルによる仮名漢字変換

変換ログの収集には 、確率的モデルによる仮名漢において、ある程度の分業や並行作業が可能になり、字変換 [1] を用いた 。確率的モデルによる仮名漢字さらに分野適応も比較的容易になった。しかしながら、変換は 、キーボード から直接入力可能な入力記号 Yデータをどのように集収あるいは作成するかという課の正閉包 y ∈ Y + を入力とし て 、変換候補文字列題が依然として残されたままである。

(x1 , x2 , · · ·) を確率 P (y|x)P (x) の降順に提示する。
ここで、P (y|x) は、確率的仮名漢字モデルであり、日この言語資源の収集の問題を、有用な音声言語処理システムの一般への提供により解決するというのが本

本語文 x を所与とした入力記号列の生成確率を表す。

論文の提案である。音声言語処理システムの利用過程

また、P (x) は確率的言語モデルである。

で得られる情報は、利用結果から得られる情報よりも2.1.1はるかに多い。実際、本論文で具体例とする仮名漢字確率的言語モデル

変換システムは、未知語も変換候補として列挙するこ

確率的言語モデルには、単語 2-gram モデルを用いとが可能で、この利用過程の情報には、未知語の単語ている。このモデルは、文を単語列 wh1 = w1 w2 · · · wh

境界やその読みが含まれる。これらは、完成された文とみなし 、これらを文頭から順に以下の式を用いて予には含まれない情報である。

測する。

インターネットが十分に普及した現在、ありとあらMw,2 (w) =ゆる分野の大量のテキストが利用可能であるとの主張

h+1

P (wi |wi−1 )

(1)

i=1

もあるが 、実際には、企業内での活動報告書やカルテなど 、インターネットではアクセスできない分野の文この式の中の wi (i ≤ 0) は、文頭に対応する特別な記も多数ある。このような分野での音声言語処理にも高号であり、wh+1 は、文末に対応する特別な記号であい需要があり、この需要に短い開発期間で応えるためる。完全な語彙を定義することは不可能であるから、にも、活動報告書やカルテの執筆過程において副次的未知語を表わす特別な記号 UW を用意する。未知語の予に産生される情報を蓄積しておくことは、公開・非公測の際は、まず、単語 2-gram モデルにより UW を予測開にかかわらず非常に重要である。

し 、さらにその表記 (文字列)xh1 を以下の文字 2-gram

モデルにより予測する。

このような考察に基づいて、本論文では、有用な音声言語処理システムをまず一般ユーザーに提供し 、そMx,2 (xh1 ) =の利用過程で得られる音声言語に関する情報を活用しh+1

P (xi |xi−1 )

(2)

i=1

更なる精度向上を図るという新しい音声言語処理パラダ イムを提案する。このパラダ イムに沿った具体例とこの式の中の xi (i ≤ 0) と xh +1 は、それぞれ 、語頭して、未知語も変換候補として列挙する仮名漢字変換と語末に対応する特別な記号である。確率 P (wi |wi−1 )システムを挙げる。これを一般ユーザーの利用に供すの値は、単語に分割された文からなるコーパスから最ることで単語境界と読み情報が付与された文の断片が尤推定する。

1

2.1.2た言語モデル Pg (式 (1)(2)) とテキストコーパスから推

確率的仮名漢字モデル

確率的仮名漢字モデルは 、日本語文を単語列 w と定した言語モデル Pr を以下のように補間して用いる。

みなし 、単語と入力記号列との対応関係がそれぞれ独P (wi |wi−1 ) = λg Pg (wi |wi−1 )+λr Pr (wi |wi−1 )(5)

立であると仮定することで以下の式で表される。

MP M (y|w) =h

P (y i |wi )λg と λr は補間係数であり、削除補間によって求める。
(3)

2.2.3

i=1

テキストコーパスの部分文字列も候補にする仮名漢ここで、部分入力記号列 y i は単語 wi に対応する入力記字変換は、式 (3) と式 (4) で表記の候補をその生成確号列であり、y = y 1 y 2 · · · y h を満たす。確率 P (y i |wi )率とともに列挙し 、式 (5) で与えられる言語モデルのの値は、単語ごとに入力記号列が付与されたコーパス確率を掛けることで得られる文全体での生成確率の降から最尤推定する。

2.2

無限語彙の仮名漢字変換

順に変換候補を提示する。

無限語彙の仮名漢字変換

3

変換ログの収集に用いた仮名漢字変換システムは、仮名漢字変換ログの活用テキストコーパスの部分文字列を変換候補とするよう本論文では、仮名漢字変換ログの自然言語処理へのに拡張されている [2]。以下では 、この拡張について活用の例として 、自動単語分割と読み推定の精度向説明する。

上について述べる。自動単語分割や読み推定は、学習

2.2.1

コーパスがある分野では実用上十分な精度が実現されサブワード モデルている。したがって、現在の課題は分野適応であり、ある文字列と入力記号列との関係を記述するためこれを容易に実現するために、部分的にアノテーショに 、文字と入力記号列の組を単位とするサブ ワードンされたコーパスからの学習が可能である必要がある。

モデルを用いる。このモデルでは 、まず、ある表記

この機能があるテキスト解析器として KyTea1 [5] がw = x1 x2 · · · xm に対応する入力記号列を各文字 xi のある。この節では 、まず KyTea の概略を説明し 、次入力記号列 yi の連接とし 、次に、その出現確率 P (y|w)に仮名漢字変換ログについて述べる。

を各文字に対応する入力記号列が一様に出現すると仮3.1

定して、以下のように計算する。

P (y|w) = P (y|x1 x2 · · · xm ) =m


1|Y xi |i=1

自動単語分割

単語分割は、各文字間を判定点とし 、点推定の 2 値分類器で行われる2 。参照される特徴量は、判定点の(4)前後 w 文字の文字 n-gram と文字種3 n-gram 、そしてここで、Y x は文字 x に対応する可能な入力記号列の単語辞書情報である。単語辞書情報は、判定点で終わ集合であり、単漢字辞書を参照することで得られる。

る文字列が辞書に含まれているか、判定点から始まる

2.2.2

文字列が辞書に含まれているか、判定点を含む文字列

文脈の記述が辞書に含まれているかを表す特徴量である。それぞサブワード モデルが列挙する単語候補を適切に選択れの特徴量は単語長によって区別される。

するために、その文脈を適切に記述する必要がある。

3.2

このためには、仮名漢字変換を適用する分野のコーパ
スから言語モデルを推定することが望ましい。これを読み推定

読み推定は、単語に分割された文を入力とし 、単語実現するために、単語分割情報がないテキストコーパ毎に独立に以下の分類に基づいて行われる。
Q1 学習コーパスに出現しているかはいQ2 読みが唯一か複数か複数 ⇒ 分類器 [6] を用いて読みを選択
唯一 ⇒ その読みを選択

スから文献 [3] の方法を用いて推定した単語 2-gram モ
デルを用いる。この方法では、テキストコーパスの各文字間に単語境界確率を付与し 、確率的単語分割コーパスとし 、単語 2-gram 確率を期待頻度から計算する。
単語境界確率は、単語分割済みコーパスから推定しいいえた最大エントロピー法に基づくモデルを用いた [4]。

1 http://www.phontron.com/kytea/ (2010 年 1 月 10 日)

テキストコーパスの部分文字列も候補にする仮名漢

2 現行の KyTea の分類器は LibLinear[6] である。

3 文字種は、漢字、片仮名、平仮名、ローマ字、数字、その他である。

字変換においては、単語分割済みコーパスから推定し2

表 1: 変換ログの例
入力記号列

確定結果

ごいかし

語彙/ごい/RC, 化/か /IN, し /し /IN

適切な単位と入力記号列

備考

けいたいそ

形態素/けいたいそ/RC

単位の不一致 (正: 形態, 素)

ひんしをひんし /ひんし /UW, を /を /IN

誤った確定 (正: 品詞, を )IN: 一般分野の言語モデルの語彙, RC: テキストコーパスの部分文字列, UW: 未知語
表 2: コーパスの諸元
分野

単語境界

入力記号

文字数

入力記号数

単語数

文数

Cg,aCg,r一般

○○

一般

××

1,945,254
60,065,893

2,621,067—

1,352,161—

56,924
8,335,449

Ct,rCt,a論文

××

論文

○

○

9,990,893
12,775—
17,205—
8,666

210,085265



事 (9,023 文) からなる。一般分野の生コーパス Cg,r はQ2 辞書に入っているか
はい ⇒ 最初の項目の読みを選択
いいえ ⇒ 各文字の一般的な読みの連接

3.3

新聞記事 (8,335,449 文) からなる。対象分野の生コーパス Ct,r は 2004 年から 2009 年の言語処理学会年次大会の論文である。テストコーパスとして用いるため仮名漢字変換ログの利用に単語境界と入力記号列を付与した対象分野のコーパスは、文献 [8] と本論文の本文4 である。

前節で説明したテキストコーパスの部分文字列も変換候補とする仮名漢字変換システムによって得られる

また、タグ付きコーパスと同じ基準に従う単語と入変換ログの例を表 1 に示す。変換ログの主な情報は 、力記号列の組 154,201 個を含む辞書 Du [9] を用いた。

ユーザーが確定した表記と入力記号列の組の列である。

4.2

入力の単位は、多くの場合完全な文ではなく、文断片仮名漢字変換ログである。また、誤まって確定した結果や、2 文字の人

仮名漢字変換エンジンは 、2 節で説明し た確率的名などを他の単語を用いて 1 文字ずつ入力する過程なモデルによる方法で実現されており、式 (1) と式 (2)どを含む。したがって、変換ログは、ノイズありの単の言語モデルは Cg,r の自動分割結果5 と Cg,a の合計語分割済みかつ入力記号列付与済みの文断片からなる8,392,373 文からを推定した。語彙は、9 分割した学習コーパスと見做すことができる。

コーパスの 2 箇所以上に出現し 、かつタグ付きコーパ

本論文では、このような仮名漢字変換ログをコーパスか辞書に含まれる 98,448 語とした。式 (3) の仮名スや辞書として、自動単語分割器や読み推定器から参漢字モデルは 、タグ付きコーパス Cg,a と辞書から推照することを提案する。

定した。コーパスにおける頻度を計数した上で、辞書4に含まれる組の頻度を 2 加算した。

評価

部分文字列を変換候補とするために、対象分野の生仮名漢字変換ログの利用による効果を評価するためコーパス Ct,r を用いた。このコーパスを倍率 2 の疑に、仮名漢字変換システムを実装し 、これを実際に用似確率的単語分割コーパスとし 、頻度 2 以上の部分文いて変換ログを収集し 、これを利用した自動単語分割字列を単語候補とした。
上述の仮名漢字変換エンジンを文献 [8] と本論文のと読み推定の実験を行なった。この節では、実験の結果を提示し 、本論文で提案する枠組みを評価する。

執筆に用い、その変換ログを収集した。なお、変換ロ

4.1

グには、論文執筆期間におけるメールなどの文章作成言語資源によるログも少量ながら含まれる。本実験で利用した

表 2 は実験に用いたコーパスの諸元である。単語境

変換ログは、ユーザーが最終的に選択した単語と入力界と入力記号列を付与した一般分野のコーパス Cg,a記号列の組の列であり、表 3 はその諸元である。これは、現代日本語書き言葉均衡コーパス (33,147 文) [7]4 本論文は 4.2 項の最後の文までをテストコーパスとした。と、日常会話のための辞書の例文 (14,754 文) と新聞記

5 単語自動分割器は C
g,a から学習した KyTea である。

3

表 3: 変換ログの諸元

表 4: 単語分割と読み推定の精度

断片数

文字数

入力記号数

単語数

手法単語分割

読み推定

3,873

12,926

19,062

7,934

BL

98.11%

98.55%

DACA

98.10%
98.20%

98.57%
99.14%「単語数」はユーザーが確定した単位の数を表す。

をコーパスとして利用する場合は Cl と表記し 、頻度や文脈情報を捨象して辞書として利用する場合は Dl

割や読み推定の精度が向上することが確かめられた。と表記する。

4.3

5

評価

結論
本論文では、未知語も変換候補として列挙する仮名以下の 3 つの方法で自動単語分割器と読み推定器を漢字変換システムを構築し 、その利用過程で得られる構築し 、テストコーパス Ct,a における単語分割と読変換ログを用いて単語分割と読み推定の精度向上がコ

み推定の精度を測定した。

ストなしで実現できることを示した。これにより、有

BL: 学習コーパス Cg,a と辞書 Du から推定

用な音声言語処理システムを一般ユーザーに提供する

DA: 学習コーパス Cg,a と辞書 Du + Dl から推定

ことと、その利用過程で得られる情報を活用すること

CA: 学習コーパス Cg,a + Cl と辞書 Du から推定の有用性が示された。

自動単語分割の評価基準は、単語境界か否かが正し参考文献

く推定された文字境界の割合である。読み推定の評価[1] 森信介, 土屋雅稔, 山地治, 長尾真: 確率的モデル
による仮名漢字変換, 情処論, Vol. 40, No. 7, pp.
2946–2953 (1999).
[2] 森信介: 無限語彙の仮名漢字変換, 情処論, Vol. 48,
pp. 3532–3540 (2007).
[3] 森信介, 宅間大介, 倉田岳人: 確率的単語分割
コーパスからの単語 N-gram 確率の計算, 情処論,
Vol. 48, No. 2, pp. 892–899 (2007).
[4] 森信介, 小田裕樹: 擬似確率的単語分割コーパス
による言語モデルの改良, 自然言語処理, Vol. 16,
No. 5, pp. 7–21 (2009).
[5] Neubig G., 中田陽介, 森信介: 点推定と能動学習を用いた自動単語分割器の分野適応, 言語処理学会年次大会 (2010).
[6] Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang,X.-R. and Lin, C.-J.: LIBLINEAR: A Libraryfor Large Linear Classication, Journal of Machine Learning Research, Vol. 9, pp. 1871–1874(2008).
[7] Maekawa, K.: Balanced Corpus of Contemporary Written Japanese, Proceedings of the 6thWorkshop on Asian Language Resources, pp.
101–102 (2008).
[8] 森信介, 小田裕樹: 3 種類の辞書による自動単語分割の精度向上, 情報処理学会研究報告, Vol. NL193(2009).
[9] 伝康晴, 小木曽智信, 小椋秀樹, 山田篤, 峯松信明,
内元清貴, 小磯花絵: コーパス日本語学のための言語資源：形態素解析用電子化辞書の開発とその応用, 日本語科学, Vol. 22, pp. 101–122 (2007).
[10] 長野徹, 森信介, 西村雅史: N-gram モデルを用いた音声合成のための読み及びアクセントの同時推定, 情処論, Vol. 46 (2006).

基準は、推定結果の入力記号と正解の入力記号との最長共通部分列の文字数を推定結果の文字数で除することで得られる適合率と正解の文字数で除することで得られる再現率の F 値 [10] である。
表 4 はそれぞれのモデルによる精度を示す。まず、ログを利用しない場合の BL とログを頻度や文脈情報を捨象し 辞書として利用する場合の DA との比較についてである。読み推定の精度は少し向上しているが 、単語分割の精度はわずかながら低下している。単語分割の精度の低下の原因は、変換ログの単位が単語分割の基準に必ずしも一致しないことにより本来単語ではない断片が辞書に加えられたことであろう。分割誤りの増加にもかかわらず読み推定の精度が向上している理由は、分野特有の読みが獲得できていることである。この典型的な例は、変換ログにおける「両/りょう 端/たん 」であり、単語分割基準では「両端」と 1単語とされるが 、自動分割の結果では 2 単語になり誤りとなる。しかしながら、BL で「りょうはし 」となる読みが適切な「りょうたん 」になる。
コーパスとして利用する CA の場合には、単語分割と読み推定の双方において精度が向上している。特に読み推定の精度向上は著しい。これは、文脈を参照することで 、「２/２ 値/ち」における「 値」のように 、複数の読みがあり一般分野とは異なる読みをする単語に対して読みが適切に推定されていることによる。
以上の結果から、仮名漢字変換ログを利用することで、タグ付きコーパスを準備するコスト無しに単語分

4