情報処理学会研究報告
IPSJ SIG Technical Report

1. は じ め に

確率的タグ付与コーパスからの言語モデル構築

確率的言語モデルは、統計的手法による仮名漢字変換1),2) や音声認識3) などに広く用い

森

信

介†1

笹

田

鉄

郎†1

NEUBIG Graham†1

られている。確率的言語モデルは、ある単語列がある言語でどの程度自然であるかを出現確率としてモデル化する。仮名漢字変換においては、確率的言語モデルに加えて、仮名漢字モ
デルが用いられる。仮名漢字モデルは 、入力記号列と単語の対応を記述する。音声認識で確率的言語モデルは、仮名漢字変換や音声認識などに広く用いられている。パラメー
タは、コーパスの既存のツールによる処理結果から推定される。精度の高い読み推定
ツールは存在しないため、結果として、言語モデルの単位を単語 (と品詞の組) とし 、
仮名漢字モデルを比較的小さい読み付与済みコーパスから推定したり、単語の発音の確率を推定せずに一定値としている。これは、単語の読みの確率を文脈と独立であると仮定していることになり、この仮定に起因する精度低下がある。
このような問題を解決するために、本論文では、まず、仮名漢字変換において、単語と読みの組を単位とする言語モデルを利用することを提案する。単語と読みの組を単位とする言語モデルのパラメータは、自動単語分割および自動読み推定の結果から推定される。この処理過程で発生する誤りの問題を回避するために、本論文では、確率的タグ付与を提案する。これらの提案を採用するか否かに応じて複数の仮名漢字変換器を構築し 、テストコーパスにおける変換精度を比較した結果、単語と読みの組を
言語モデルの単位とし 、そのパラメータを確率的に単語分割し 、さらに確率的読みを付与したコーパスから推定することで最も高い変換精度となることが分かった。したがって、本論文で提案する単語と読みの組を単位とする言語モデルと、確率的タグ付
与コーパスの概念は有用であると結論できる。

は、仮名漢字モデルの代わりに、発音と単語の対応を記述する発音辞書と音響モデルが用いられる。
確率的言語モデルの推定のためには 、システムを適応する分野の大量のテキストが必要
で、その文は単語に分割されている必要がある。このため、日本語を対象とする場合には、
自動単語分割や形態素解析が必要であるが 、ある程度汎用性のあるツールが公開されており、辞書の追加などで一般的な分野の言語モデルが構築可能となっている。
仮名漢字モデルや発音辞書における確率の推定には、実際の使用における単語の読みの頻度を計数する必要がある。しかしながら、読み推定をある程度の汎用性と精度で行うツールは存在しない1 。したがって、仮名漢字モデルを比較的小さい読み付与済みコーパスから推定したり1) 、単語の発音の確率を推定せずに一定値としている3) のが現状である。
一方で 、単語 (表記) を言語モデルの単位とすることには弊害がある。例えば 、「…するや、…した」という発声が 、「…する夜、…した」と書き起こされることがある。この書き起こし結果の「夜」は、この文脈では必ず「よる」と発音されるので、「夜」と書き起こす

Language Model Estimationfrom a Stochastically Tagged Corpusのは不適切である。この問題は、単語を言語モデルの単位とする仮名漢字変換においても同様に起こる。これは、単語の読みの確率を文脈と独立であると仮定して推定 (あるいは一定
値に固定) していることに起因する。

Shinsuke MORI ,†1 Tetsuro SASADA †1
and Graham NEUBIG†1

このような問題を解決するために、本論文では、まず、単語と読みの組を単位とする言語モデルを利用することを提案する。音声認識や仮名漢字変換において、単語と品詞の組を言語モデルの単位とすることが行われている。提案手法は、品詞ではなく読みで単語を細分化

In this paper, ﬁrst we propose a language model based on pairs of word andinput sequence. Then we propose the notion of a stochastically tagged corpus tocope with tag estimation errors. The experimental results we conducted using
kana-kanji converters showed that our ideas, the language model based on pairsof word and input sequence and the notion of a stochastically tagged corpus,
both improved the accuracy. Therefore we conclude that the language model
based on pairs and the notion of a stochastically tagged corpus are eﬀective inlanguage modeling for the kana-kanji conversion task.

するとみなすこともできるので、提案手法は既存手法から容易に類推可能であろう。しかし†1 京都大学 情報学研究科
Kyoto University, School of Informatics
1 音声認識では発音が必要で、仮名漢字変換では入力記号列が必要である。これらは微妙に異なる。本論文では、
この違いを明確にせず両方を意味する場合に「読み」という用語を用いる。

1c 2010 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

ながら、提案手法を実現するためには、文脈に応じた正確な読みを様々な分野のテキストに

ここで、後述するパラメータ推定のために、単語と入力記号列との対応関係は各単語におい対してある程度の精度で推定できる必要がある。これを実現するツールがなかったために、て独立であるとの仮定をおく。さらに、分母 P (y) は出力に依らないので、分子だけを以下単語と読みの組を単位とする言語モデルは現実的ではなかった。

のようにモデル化する。

単語を単位とする言語モデルのパラメータは、自動単語分割の結果から推定される。自動P (y|w)P (w) =単語分割の精度は十分高いとはいえ、一定の割合の誤りは避けられない。この問題による悪影響を避けるために、確率的単語分割4) という考えが提案されている。この方法では、各文hP (y i |wi )P (wi |w i−1
i−n+1 )i=1



字の間に単語境界がある確率を付与し 、その確率を参照して計算される単語 n-gram の期待

P (y i |wi )P (wi |w i−1
i−n+1 ) =頻度を用いて言語モデルを構築する。計算コストの削減のために、実際には、各文字間に対して都度発生させた乱数と単語境界確率の比較結果から単語境界か否かを決定することで得られる擬似確率的単語分割コーパスから従来法と同様に言語モデルが構築される5) 。

P (wi |w i−1
i−n+1 )P (y i |wi )if wi ∈ W

P (UW|w i−1
i−n+1 )My,n (y i )if wi ∈ W

(2)

ここで W は確率的言語モデルの語彙を表す。簡単のために、この式の中の wi (i ≤ 0) は、

単語と読みの組を単位とする言語モデルのパラメータは、自動単語分割および自動読み推

文頭に対応する特別な記号 BT であり、これは文末 wh+1 も表す。この式の P (wi |w i−1
i−n+1 )

定の結果から推定される。自動単語分割と同様に 、自動読み推定の精度は十分高いとしてと P (UW|w i−1
i−n+1 ) は、語彙に BT と未知語記号 UW を加えた W ∪ {BT, UW} 上の n-gram モデ

も、一定の割合の誤りは避けられず、言語モデルのパラメータ推定に悪影響がある。これをルである。パラメータは、単語に分割されたコーパスから以下の式を用いて最尤推定する。

回避するために、確率的タグ付与とその近似である擬似確率的タグ付与を提案する。

P (wi |w i−1
i−n+1 ) =実験では、タグとして入力記号列を採用し 、単語と入力記号列の組を単位とする言語モデ

f (w ii−n+1 )f (w i−1
i−n+1 )

(3)

この式中の f (e) は、事象 e のコーパスにおける頻度を表す。

ルを用いる仮名漢字変換器を構築し 、単語を単位とする言語モデルを用いる場合や、決定的式 (2) の P (y i |w) は、単語単位の仮名漢字モデルであり、パラメータは、単語に分割さな単語分割や入力記号付与などの既存手法に対する提案手法の優位性を示す。

れかつ各単語に入力記号列が付与されたコーパスから以下の式を用いて最尤推定する。

2. 統計的仮名漢字変換

P (y i |wi ) =統計的手法による仮名漢字変換1) は 、キーボード から直接入力可能な記号 Y の正閉包

f (y i , wi )f (wi )

(4)y ∈ Y + を入力として 、日本語の文字 X の正閉包である変換候補 (x1 , x2 , · · ·) を確率式 (2) から分かるように、単語単位の仮名漢字モデルでは、単語と入力記号列との対応関係

値 P (x|y) の降順に提示する。文献 1) では文を単語列 w1 w2 · · · wh とみなし 、これを単語が各単語において独立であると仮定している。この仮定により、比較的少量の入力記号列付

w ∈ X + を単位とする言語モデルと仮名漢字モデルに分解して実現する方法を提案してい与済みコーパスからある程度信頼できるパラメータを推定することができる。
式 (2) の My,n (y i ) は、未知語モデルであり、入力記号の集合に単語の両端を表す記号をる。本節では、まずこれについて説明し 、次に単語と読みを組とする言語モデルによる方法

加えた Y ∪ {BT} 上の n-gram モデルで実現される2 。このパラメータは低頻度の単語に対を提案し定式化する。

2.1 従 来 手 法

応する入力記号列から推定する。

文献 1) では、変換候補を P (w|y) で順序付けすることを提案しており、これを次の式が一般的に式 (3) の推定に用いられるコーパスは、式 (4) の推定に用いられるコーパスに自1

動単語分割の結果を加えたコーパスである (図 1 参照)。

示すように、単語を単位とする言語モデルと仮名漢字モデルに分解する 。

P (w|y) = P (y|w)P (w)/P (y)(1)
2 文献 1) によれば 、あるテストコーパスにおいて未知語を構成する文字の 33.0%が片仮名であった。この先行研
究と同様に、入力記号集合は主に平仮名からなるが 、出力においてはこれらを片仮名とする。

1 正確には、単語と品詞の組を単位とする言語モデルを提案している。

2

c 2010 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

な仮名漢字変換は困難であると考えて、アルファベット U 上の未知語モデルの代わりにア
タグ付きコーパス

生コーパス

ルファベット Y 上の未知語モデル My,n (y) を用いることとする。これは、式 (2) と共通である。以上から、提案手法の仮名漢字変換は、以下の式のようになる。



自動単語分割器

P (ui |ui−1
i−n+1 ) =辞書

P (ui |ui−1
i−n+1 )

if ui ∈ U

P (UU|ui−1
i−n+1 )My,n (y i )if ui ∈ U

(6)

ここで y i = y(ui ) は ui = wi , y i  の入力記号列である。なお、Mu,n (u) の代わりに My,n (y)を用いることは以下の式で与えられる近似である。



単語列

Mu,n (u) = Mu,n (w, y) ≈My,n (y)if w ∈ Y +0

if w ∈ Y +この式から、My,n (y) のパラメータは、学習コーパスにおける語彙 U に含まれない表記と入力記号列の組の入力記号列から推定することを考えると、学習コーパスにおける未知の組
単語 n-gram 頻度
図1の単語を入力記号列に置き換えた結果から Mu,n (u) を推定しているのと同じであることが分かる。

単語を単位とする言語モデルの作成の手順

i−1
式 (6) の P (ui |ui−1
i−n+1 ) と P (UU|u i−n+1 ) は、語彙に BT と未知の組を表す記号 UU を加2.2 提 案 手 法

えた U ∪ {BT, UU} 上の n-gram モデルである。パラメータは、単語に分割されかつ入力記

本論文では、言語モデルの単位を単語と入力記号列の組 u = w, y とすることを提案す

号列が付与されたコーパスから以下の式を用いて最尤推定する。

る。その上で、以下の式のように P (w|y) をモデル化する。

P (ui |ui−1
i−n+1 ) =P (w|y) = P (w, y)/P (y) = P (u)/P (y)分母 P (y) は出力に依らないので、分子だけを以下のようにモデル化する。

P (u) =hf (uii−n+1 )f (ui−1
i−n+1 )

(7)

単語を単位とする従来手法と同程度の信頼性となるパラメータを推定するために、従来手法
がパラメータ推定に用いる単語に分割されたコーパスと同程度の量の単語に分割されかつP (ui |ui−1
i−n+1 )

入力記号列が付与されたコーパスが必要である。換言すれば 、自動単語分割と同程度の精度

i=1


P (ui |ui−1
i−n+1 ) =で入力記号列を推定するシステムが必要である。

P (ui |ui−1
i−n+1 )

if ui ∈ U

P (UU|ui−1
i−n+1 )Mu,n (ui )if ui ∈ U

これまで、各単語に対する入力記号列 (読み) をその文脈に応じて十分な精度で推定する
フリーウェアがなかったために、提案手法は現実的ではなかったと思われる1 。次節では、(5)

この方法を説明し 、さらに入力記号列を確率的に付与することで、入力記号列の推定誤りの

ここで U は言語モデルの語彙 (単語と入力記号列の組の集合) を表す。この式の中の ui (i ≤ 0)

影響を緩和する方法を提案する。

と uh+1 は、単語を単位とする場合と同様に、文頭と文末に対応する記号 BT である。
式 (5) の Mu,n (u) = Mu,n (w, y) は未知語モデルである。従来手法と同様に、大きな学1 研 究 と し て は 文 献 6) が あ る が 、公 開 さ れ て い な い 。ま た 、読 み 推 定 ツ ー ル と し て KAKASI(http://kakasi.namazu.org/ , 2010 年 4 月) があるが 、様々な分野において十分な精度とはいえない。

習コーパスを用いれば実際の使用における未知語率は極めて低く、また未知語に対する正確

3c 2010 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

る。また、英語等の単語間に空白を置く言語の音声認識においては、言語モデルの単位とし3. 仮名漢字変換のための言語資源とその処理て当然単語が用いられる。日本語においても単語を言語モデルの単位とする音声認識の取り

仮名漢字変換や音声認識の言語モデルは、単語分割済みコーパスと生コーパスの自動単語組みがあり、十分な認識精度を報告している13)。以上の考察から 、本論文では 、単語と品分割結果から作成される。この節では、まずこの過程を概説する。次に、前節で提案したモ

詞の組を言語モデルの単位とする手法は、単語を単位とする手法に含まれるとして、以下のデルをのパラメータをより正確に推定するために、単語に入力記号列や発音などのタグを確議論を展開する。

率的に付与することを提案する。

言語モデルの構築においては、適応対象の分野の大量のテキストに対する統計をとること

3.1 コ ー パ ス

が非常に有用である。このため、形態素解析や自動単語分割等の自動処理が必須であるが 、

仮名漢字変換や音声認識のための単語を単位とする言語モデル作成においては、これらを自動処理の結果は一定量の誤りを含む。この単語分割誤りによる悪影響を緩和するために、適用する分野のコーパスが必須である。一般に、コーパスには単語境界情報がないので、自確率的に単語に分割することが提案されている4) 。この手法では、自動単語分割器によって動単語分割器7) や形態素解析器8)–12) を用いて文を言語モデルの単位に分割し 、その結果に各文字の間に単語境界である確率を付与し 、その確率を参照して計算される単語 n-gram の対して単語 n-gram 頻度を計数する (図 1 参照)1 。なお、これら自動単語分割器や形態素解期待頻度を用いて言語モデルが構築される。実際には、モンテカルロシミュレーションのよ析器などの自然言語処理システムは、単語分割済みあるいは品詞付与済みのコーパスから学

うに、各文字間に対して都度発生させた乱数と単語境界確率の比較結果から単語境界か否か習することが多い。その場合には、これら自然言語処理システムの学習コーパスも言語モデを決定することで得られる擬似確率的単語分割コーパスから従来法と同様に言語モデルがルの学習コーパスに加えることができる (図 1 の点線) が 、実際には、これら自然言語処理構築される5) 。

システムはツールとして配布され、辞書追加程度の適応しかなされず、自然言語処理システ

3.3 自動読み推定

ムの学習コーパスが言語モデルの学習に利用されることは少ない。

前節で、仮名漢字変換のための言語モデルの単位として単語と入力記号列の組を用いるこ

3.2 形態素解析と自動単語分割とを提案した。この考え自体は特に新規ではなく、以前から存在していると思われる。実
際、音声認識において、数詞のあとの「本」など一部の高頻度語に文脈に応じた発音を付与

形態素解析は、日本語の自然言語処理の第一段階として研究され、ルールに基づく方法が8)が提案され 、アルゴ リズムとデータの分する後処理が行われている3) 。また、発音レベルでの書き起こしが得られる場合に、単語と離に成功した。統計的手法は 、ルールに基づく方法と同等かそれ以上の精度を達成してお発音の対応を推定し 、単語と品詞と発音の組を単位をとする言語モデルを構築する研究もあり、現在では主流になっている。さらに、フリーソフトとして公開され、容易に利用可能とる14) 。しかしながら、この考えを一般的な場合において実現するためには、自動読み推定なっている。

システムが必要である。前述の形態素解析の研究とその成果であるフリーソフトにおいて一定の成果を上げた 。同じ頃、統計的手法

9),10)

このような背景から、仮名漢字変換や音声認識のための言語モデル作成のために、形態素は、読みの推定は軽視されており、文脈に応じた読みを高い精度で出力するフリーソフトは解析が用いられている。結果として、単語 (表記) と品詞の組を言語モデルの単位とするこなかった。このため、単語と入力記号列の組や単語と発音の組を単位とする言語モデルは一

2

般的な意味で実現されていなかった。

とが多い 。しかしながら、仮名漢字変換や音声認識等の応用においては、品詞情報は本質

前節で提案した単語と入力記号列の組を単位とする言語モデルの構築においては 、コー的に不要であり、形態素解析器の学習コーパス作成のコストを不必要に増大させるのみであ

パスを単語に分割し 、文脈に応じた読みを付与することができる KyTea(京都テキスト解析
ツールキット )15) を用いて適応対象の分野のテキストを自動的に単語と入力記号列の組の列

1 形態素解析を利用する場合は、品詞も付与されるので、単語と品詞の組を単位とすることもあるが 、仮名漢字変
換や音声認識の出力には不要なので、実質的には意味がない。さらに、ChaSen などを利用すると「読み」も付与されるが 、これらは文脈に依存しないので実質的には付与していないのと同じである。
2 音声認識3) ではすべての可能な読みも付加しているが、文脈に応じた読みは付与されず、単語の峻別には用いられていない。

に変換する (図 2 参照)。その結果から式 (7) を用いて単語と入力記号列の組の n-gram 確率を推定する。

4

c 2010 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

タグ付きコーパスw1 , (t1,1 , p1,1 , t1,2 , p1,2 , · · · , t1,k1 , p1,k1 )

生コーパス

w2 , (t2,1 , p2,1 , t2,2 , p2,2 , · · · , t2,k2 , p2,k2 )
···自動単語分割器wh , (th,1 , ph,1 , th,2 , ph,2 , · · · , th,kh , ph,kh )

辞書

このような確率的タグ付与コーパスにおける単語とタグの組の n-gram の 1 回の出現あた

自動読み推定器りの頻度は、以下の式で計算される期待頻度として定義される。

f1 (u) = f1 (w1 , tj1 w2 , tj2  · · · wn , tjn ) =単語と読みの組の列

n


pji

(8)

i=1

この値をコーパスにおけるすべての出現箇所に渡って合計した結果が単語とタグの組の列の期待頻度である。単語とタグの組の n-gram 確率は、この期待頻度の相対値として定義される。仮名漢字変換のための言語モデル構築では、タグとして単語に対応する入力記号列を用

単語と読みのいる。

組の n-gram 頻度

確率的入力記号列付与のためのモデルは、単語ごとに入力記号列が付与されたコーパスか

図 2 単語と読みの組を単位とする言語モデルの作成の手順

らロジスティック回帰などの点推定器を推定しておくことで実現できる。

3.4 確率的タグ付与

3.5 擬似確率的タグ付与

自動読み推定の結果は、形態素解析や自動単語分割等の自動処理の場合と同様に、一定量

確率的単語分割の場合と同様に、確率的タグ付与コーパスに対する単語とタグの組の列のの誤りを含む。学習コーパスに含まれる読み推定誤りは、言語モデルや仮名漢字モデル、あ頻度の計算は、決定的タグ付与コーパスに対する頻度計算と比べてはるかに多い計算を要す

るいは発音辞書に悪影響を及ぼす。特に、ある単語に対して至る所で同じ誤った読みを付与る。実際、対象となる組の列としての頻度が F 回とすると、式 (8) による期待頻度の計算する場合には、非常に重大な問題となる。この問題を回避するために、確率的単語分割と同は、各出現箇所における (n − 1) 回の浮動小数点の積を実行し (F (n − 1) 回の乗算) 、その様に、単語に対する入力記号列付与や発音付与も確率的に行うことを提案する。すなわち、結果の総和を (F − 1) 回の加算により算出することになる。通常の決定的タグ付与コーパス

読み推定においては、ある単語に対する読みを決定的に推定するのではなく、可能な読みとに対する頻度の計算は 、F 回のインクリメントで済むことを考えると、非常に大きな計算

その確率値を返すようにする。より一般的には 、単語に対する読みや品詞などのタグ付与

コストが必要である。また、非常に小さい期待頻度の単語とタグの組の列が多数生成され 、を、ある基準で最適となる唯一のタグを出力する処理ではなく、タグ t と確率値 p の組の列

これによる計算コストの増大も起こる。このような計算コストの問題は、次に述べる擬似確(t1 , p1 , t2 , p2 , · · ·) を出力する処理とする。この際、タグの確率値は、前後の単語のタグ

率的タグ付与コーパスによって近似的に解決される。

と独立であるとの仮定をおく。このようにして得られる、単語列の各単語に対して確率的に擬似確率的タグ付与コーパスは、各単語に対して都度発生させた乱数とタグの確率の比較

タグ付与を行ったコーパスを確率的タグ付与コーパスと呼ぶ。確率的タグ付与コーパスの文

結果から当該単語のタグを唯一に決定することで得られる単語とタグの組の列である。このw1 w2 · · · wh は、以下のように、各単語に、可能なタグと確率値の組の列が付与されている。

手続きを複数回繰り返して得られるコーパスに対して頻度を計数することで確率的タグ付
与コーパスの期待頻度の近似値が得られる。このときの繰り返し回数を倍率と呼ぶ。
擬似確率的タグ付与コーパスは 、確率的単語分割コーパス5) と同様に一種のモンテカル5c 2010 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report
表 1 コーパス

タグ付きコーパス
生コーパス
テストコーパス

ID
L
R
T

用途

文数

学習
学習

42,1701,250,116
1,002

テスト

表 2 仮名漢字変換の精度
単語数1,162,450—
29,038

文字数
1,690,818
52,673,251
43,695ロ法となっており、近似誤差に関しては以下の議論が同様に可能である。モンテカルロ法による d 次元の単位立方体上 [0, d]d 上の定積分 I =

[0,1]d

単語
分割

入力記
号付与

言語モデ
ルの単位

DDw
DSw
SSw
DDu
DSu
SSu

決定的
決定的
確率的

決定的
確率的
確率的

単語 (w)

決定的
決定的
確率的

決定的
確率的
確率的

単語と入
力記号列
の組 (u)

適合率

再現率

文正解率

97.10%
97.24%
97.34%
97.34%
97.48%
97.51%

97.23%
97.32%
97.40%
97.40%
97.47%
97.48%

54.39%
55.69%
57.19%
56.59%
57.78%
58.58%

単語分割が「確率的」であるとは、倍率 1 の擬似確率的単語分割および疑似確率的入力記号付与を意味する。

f (x)dx の数値計算法では、単位立

d

ID

N

f (xi ) とする。このと方体 [0, d] 上の一様乱数 x1 , x2 , . . . , xN を発生させて IN =i=1√
き、誤差 |IN − I| は次元 d によらずに 1/ N に比例する程度の速さで減少することが知られている。擬似確率的タグ付与コーパスにおける単語とタグの組の n-gram 頻度の計算はこ√の特殊な場合であり、n の値によらずに 1/ F N に比例する程度の速さで減少する。

4. 評の最長共通部分列の文字数を NLCS とすると、再現率は NLCS /NCOR と定義され、適合率
は NLCS /NSY S と定義される。また、文正解率も評価した。これは、変換結果が文全体に渡って一致している文の割合を表す。

価

4.3 評

価

提案手法の評価のために、学習コーパスの作成の方法と言語モデルの単位が異なる仮名漢学習コーパスの作成の方法と言語モデルの単位による単語分割精度の差を調べるために、字変換を構築し 、テストコーパスに対する変換精度を測定した。この節では、その結果を提以下の 3 通りの方法で作成された学習コーパスのそれぞれから、単語を言語モデルの単位示し提案手法の評価を行う。

とする仮名漢字変換 (式 (2) 参照) と単語と入力記号列の組を言語モデルの単位とする仮名

4.1 実 験 条 件

漢字変換 (式 (6) 参照) を作成た。言語モデルはすべて 2-gram モデルである。

実験に用いたコーパスの諸元を表 1 に掲げる。学習コーパスは、L と R の 2 種類である。

DD: 決定的に単語分割し 、決定的に入力記号列を付与する。

学習コーパス L は、現代日本語書き言葉均衡コーパス 2009 年モニター版16) と日常会話のDS: 決定的に単語分割し 、確率的に入力記号列を付与する。

辞書の例文と新聞記事からなり、人手による単語分割と入力記号付与がなされている。学

SS: 確率的に単語分割し 、確率的に入力記号列を付与する。

習コーパス R は新聞記事からなり、単語境界や入力記号などの付加情報はない。単語境界

ここで、「確率的」は擬似確率的単語分割および疑似確率的入力記号付与を意味し 、全て倍や入力記号の推定は、京都テキスト解析ツールキット KyTea15) 1によって行った。テスト率は 1 である。3 つの学習コーパスの作成の方法と 2 つの言語モデルの単位のすべての組み

コーパス T は、学習コーパス R と同じ新聞の別の記事であり、変換精度の計算のために入合わせによる仮名漢字変換の精度を表 2 に示す。表中の ID の最初の 2 文字は学習コーパス

力記号が付与されてある。

の作成の方法を表し 、次の 1 文字は言語モデルの単位を表す。文献 1) は、単語と品詞の組

4.2 評 価 基 準を言語モデルの単位とし 、生コーパスの形態素解析結果を学習コーパスに利用していない

仮名漢字変換の評価基準は 、各入力文の一括変換結果と正解との最長共通部分列 (LCS;

longest common subsequence)

17)

が、単語を言語モデルの単位とし 、生コーパスの決定的な単語分割と入力記号列付与結果を利用する DDw が既存手法に対応し 、これをベースラインとする。

の文字数に基づく再現率と適合率である。正解コーパス

まず、表 2 中の DDw と DSw と SSw の比較についてである。これらは、すべて単語を言語に含まれる文字数を NCOR とし 、一括変換の結果に含まれる文字数を NSY S とし 、これらモデルの単位とする。自動分割と入力記号付与の両方を決定的に行った結果から言語モデルを推定するベースライン DDw に対して、入力記号付与を確率的に行う DSw はより高い変換

1 Version 0.1.0, http://www.phontron.com/kytea/ (2010 年 4 月)

6

c 2010 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

精度となっている。これにより、入力記号付与を確率的に行うことが有効であることが分か

参 考る。DDw と DSw の言語モデルは共通で、違いは仮名漢字モデルのみである。このことから、

文

献1) 森 信介，土屋雅稔，山地 治，長尾 真：確率的モデルによる仮名漢字変換，情報処理学会論文誌， Vol.40, No.7, pp.2946–2953 (1999).
2) Google: Google IME (2010). http://www.google.com/intl/ja/ime/.
3) 鹿野清宏，伊藤克亘，河原達也，武田一哉，山本幹雄：音声認識システム，オーム社(2001).
4) 森 信介，宅間大介，倉田岳人：確率的単語分割コーパスからの単語 N-gram 確率の計算，情報処理学会論文誌， Vol.48, No.2, pp.892–899 (2007).
5) 森 信介，小田裕樹：擬似確率的単語分割コーパスによる言語モデルの改良，自然言
語処理， Vol.16, No.5, pp.7–21 (2009).
6) 長野 徹，森 信介，西村雅史：N-gram モデルを用いた音声合成のための読み及びアクセントの同時推定，情報処理学会論文誌， Vol.46 (2006).
7) Neubig, G.，中田陽介，森 信介：点推定と能動学習を用いた自動単語分割器の分野
適応，言語処理学会年次大会 (2010).
8) 松本裕治，黒橋禎夫，宇津呂武仁，妙木 裕，長尾 眞：日本語形態素解析システム
JUMAN 使用説明書 version 1.0，京都大学工学部長尾研究室 (1993).
9) 丸山 宏，荻野紫穂，渡辺日出雄：確率的形態素解析，日本ソフトウェア科学会第 8回大会論文集，pp.177–180 (1991).
10) 永田昌明：統計的言語モデルと N-best 探索を用いた日本語形態素解析法，情報処理学会論文誌， Vol.40, No.9, pp.3420–3431 (1999).
11) 森 信介，長尾 眞：形態素クラスタリングによる形態素解析精度の向上，自然言語
処理， Vol.5, No.2, pp.75–103 (1998).
12) 工藤 拓，山本 薫，松本裕治：Conditional Random Fields を用いた日本語形態素解析，情報処理学会研究報告，Vol.NL161 (2004).
13) 西村雅史，伊東伸泰，山崎一孝：単語を認識単位とした日本語の大語彙連続音声認識，情報処理学会論文誌， Vol.40, No.4, pp.1395–1403 (1999).
14) 堤 怜介，加藤正治，小坂哲夫，好田正紀：講演音声認識のための音響・言語モデルの検討，電子情報通信学会技術研究会報告，pp.117–122 (2002).
15) 森 信介，Neubig, G.：仮名漢字変換ログの活用による言語処理精度の自動向上，言語処理学会年次大会 (2010).
16) Maekawa, K.: Balanced Corpus of Contemporary Written Japanese, Proceedingsof the 6th Workshop on Asian Language Resources, pp.101–102 (2008).
17) Aho, A.V.: 文字列中のパターン照合のためのアルゴ リズム，コンピュータ基礎理論ハンドブック，Vol.I: 形式的モデルと意味論， Elsevier Science Publishers, pp.263–304(1990).

入力記号付与を確率的に行うことで 、仮名漢字モデルがより適切に推定できることが分かる。さらに、単語分割も確率的に行う SSw の精度は、入力記号付与のみを確率的に行う DSw
よりも高くなっている。このことから、確率的入力記号付与は、確率的単語分割5) と協調して精度向上に寄与することがわかる。
次に、表 2 中の DDu と DSu と SSu の比較についてである。これらは、すべて単語と入力記号列の組を言語モデルの単位とする。この場合も、確率的に入力記号を付与することで精度が向上し 、単語分割も確率的に行うことでさらに精度が向上していることが分かる。
最後に、言語モデルの単位の差異についてである。表 2 から、DDw と DDu 、DSw と DSu 、

SSw と SSu のいずれの組の比較においても言語モデルの単位を単語から単語と入力記号列の組に変更することで変換精度が向上していることが分かる。
以上のことから、仮名漢字変換の言語モデルを単語から単語と入力記号列の組とし 、入力
記号を確率的に付与したコーパスからこれを推定することが有効であること言える。さらに、確率的単語分割と組み合わせることでさらなる精度向上が実現できると結論できる。

5. お わ り に
本論文では、単語分割済みコーパスの各単語に対して、確率的にタグを付与することを提案した。具体的なタグとして単語の読みを採用し 、ある単語がある読みになる確率を読みが付与されていないコーパスから推定することを実現した。さらに、単語分割済みコーパスから自動読み推定を用いて表記と読みの組を単位とする確率的言語モデルを推定し 、仮名漢字変換に用いることを提案した。
実験では、単語分割や読み推定が決定的にあるいは確率的に行われているコーパスから、
単語を単位とする言語モデルと、単語と読みの組を単位とする言語モデルを推定し 、仮名漢字器を構築した。これら複数の仮名漢字器の変換精度を比較した結果、単語と読みの組を言語モデルの単位とし 、そのパラメータを確率的に単語分割さら確率的読み付与をされたコーパスから推定することで最も高い変換精度となることが分かった。したがって、本論文で提案する単語と読みの組を単位とする言語モデルと、確率的タグ付与コーパスの概念は有用であると結論できる。

7

c 2010 Information Processing Society of Japan