(57)【要約】【課題】既知語及び未知語のいずれを含む文に対しても形態素解析を施すことができ、最適解の適切な探索、又は形態素辞書の効率的な作成を行うようにする。【解決手段】本発明の形態素解析装置は、所定の綴り復元規則に基づいて、入力文中の単語の綴りを変換する綴り復元手段と、綴り復元手段により綴り復元された単語列に対して、形態素分割及びその形態素の品詞付与を行い、１又は複数の形態素解析候補を生成する形態素解析候補生成手段と、生成した各形態素解析候補について、綴り復元前の単語が復元後の単語に変換される確率と、綴り復元後の単語列から各形態素解析結果の形態素列及び品詞列が生成される確率との積に基づいて、各形態素解析候補の生成確率を求める生成確率計算手段と、生成確率計算手段により生成確率が計算された各形態素解析候補の中から、最も尤度の高い候補を解として探索する解探索手段とを備えることを特徴とする。【選択図】      図１
2007087070.tif 000002
【特許請求の範囲】
【請求項１】
所定の綴り復元規則に基づいて、入力文中の単語の綴りを変換する綴り復元手段と、
綴り復元手段により綴りが復元された単語列に対して、形態素分割及びその形態素の品詞付与を行い、１又は複数の形態素解析候補を生成する形態素解析候補生成手段と、
生成した上記各形態素解析候補について、綴り復元前の単語が復元後の単語に変換される確率と、綴り復元後の単語列から形態素列及び品詞列が生成される確率との積に基づいて、上記各形態素解析候補の生成確率を求める生成確率計算手段と、
上記生成確率計算手段により生成確率が計算された上記各形態素解析候補の中から、最も尤度の高い候補を解として探索する解探索手段と
を備えることを特徴とする形態素解析装置。
【請求項２】
上記生成確率計算手段は、上記綴り復元手段が上記入力文中の単語の綴り復元処理に適用した上記綴り復元規則の適用確率に基づいて、上記復元前の単語が復元後の単語に変換される確率を計算することを特徴とする請求項１に記載の形態素解析装置。
【請求項３】
形態素解析済みの複数の単語情報を格納する形態素解析済みコーパス格納手段に格納される、綴り復元前の単語とそれに対応する綴り復元後の単語とに基づいて、上記綴り復元規則を作成する綴り復元規則作成手段を備えることを特徴とする請求項１又は２に記載の形態素解析装置。
【請求項４】
上記綴り復元規則作成手段が、綴り復元後の文字列に形態素区切りと品詞の制約を与えた綴り復元規則を作成できることを特徴とする請求項３に記載の形態素解析装置。
【請求項５】
所定の綴り復元規則に基づいて、入力文中の単語の綴りを変換する綴り復元工程と、
綴り復元工程により綴り復元された単語列に対して、形態素分割及びその形態素の品詞付与を行い、１又は複数の形態素解析候補を生成する形態素解析候補生成工程と、
生成した上記各形態素解析候補について、綴り復元前の単語が復元後の単語に変換される確率と、綴り復元後の単語列から形態素列及び品詞列が生成される確率との積に基づいて、上記各形態素解析候補の生成確率を求める生成確率計算工程と、
上記生成確率計算工程により生成確率が計算された上記各形態素解析候補の中から、最も尤度の高い候補を解として探索する解探索工程と
を備えることを特徴とする形態素解析方法。
【請求項６】
コンピュータに、
所定の綴り復元規則に基づいて、入力文中の単語の綴りを変換する綴り復元手段、
綴り復元手段により綴り復元された単語列に対して、形態素分割及びその形態素の品詞付与を行い、１又は複数の形態素解析候補を生成する形態素解析候補生成手段、
生成した上記各形態素解析候補について、綴り復元前の単語が復元後の単語に変換される確率と、綴り復元後の単語列から形態素列及び品詞列が生成される確率との積に基づいて、上記各形態素解析候補の生成確率を求める生成確率計算手段、
上記生成確率計算手段により生成確率が計算された上記各形態素解析候補の中から、最も尤度の高い候補を解として探索する解探索手段
として機能させる形態素解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、形態素解析装置、形態素解析方法及び形態素解析プログラムに関し、例えば、韓国語を原言語とする機械翻訳における形態素解析システムに適用し得る。
【背景技術】
【０００２】
機械翻訳システムにおいて、入力文中の形態素を区切り品詞を付与する形態素解析は、必須処理であり、形態素解析の結果がその後の処理に大きな影響を与える。そのため、形態素解析装置は、対象とする言語に応じて精度が高い解を出力することが必要である。
【０００３】
一般に、言語的に、韓国語は日本語に類似する言語であると言われているが、韓国語には日本語にないいくつかの特徴がある。例えば、韓国語は、日本語と異なり分かち書きされる。また、韓国語には縮約などの現象が頻出し、単語の語形の変化が非常に複雑であるという特徴がある。そのため、韓国語の形態素解析を行う場合には、これらの特徴に対応できることが望まれる。
【０００４】
非特許文献１には、韓国語の形態素解析を行う方法が開示されており、この方法では、残留文字という概念を導入し、縮約する形態素に残留文字という情報を付与した辞書を用いる。そして、辞書引きの際に、残留文字が付与されている形態素については、さらに残留文字に対応する文字列について辞書引きし、縮約により語形の変化した形態素に対しても辞書引きを行えるようにしている。
【０００５】
また、非特許文献２にも、韓国語の形態素解析を行う方法が開示されており、この方法では、始めに綴りの復元処理を行い、次に品詞タグ付けを行い、最後に形態素区切りの同定を行っている。綴りの復元処理によって、縮約等で変化した形態素の綴りを元に戻して処理している。また、この方法では辞書やパラメータ等は全て訓練用のコーパスから学習することができる。
【０００６】
【非特許文献１】山本和英、「計算機処理のための韓国語言語体系と形態素処理」、自然言語処理、Ｖｏｌ．７、Ｎｏ．４，２０００年１０月
【非特許文献２】ＣＨＵＮＧ−ＨＹＥ  ＨＡＮ，ＭＡＲＴＨＡ  ＰＡＬＭＥＲ，“Ａ  Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｔａｇｇｅｒ  ｆｏｒ  Ｋｏｒｅａｎ：Ｓｔａｔｉｓｔｉｃａｌ  Ｔａｇｇｉｎｇ  Ｃｏｍｂｉｎｅｄ  ｗｉｔｈ  Ｃｏｒｐｕｓ−ｂａｓｅｄ  Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｒｕｌｅ  Ａｐｐｌｉｃａｔｉｏｎ”，Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ，Ｖｏｌ．１８，Ｎｏ．４，２００４年１２月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の形態素解析による場合でも次のような問題が生じるおそれがある。
【０００８】
例えば、非特許文献１に記載の方法の場合、残留文字の情報が付与された形態素辞書をあらかじめ人手等により作成し用意しておく必要がある。そのため、形態素辞書の作成に係る負担が生じるという問題がある。また、非特許文献１には形態素辞書に存在しない未知語に対する対処方法が記載されておらず、未知語について対応できないという問題がある。
【０００９】
また例えば、非特許文献２に記載の方法の場合、辞書等はコーパスから自動的に作成することができ、また未知語に対しても対処できるが、綴り復元処理と品詞タグ推定処理を別々に独立して行っており、形態素解析処理全体を通して最適な解を探索することは行っていない。また形態素区切りの同定時に単純なルールに基づいて解を決定しているため、複数の解候補が存在する場合に適切に暖昧性の解消が行えない可能性がある。
【００１０】
以上のように、既知語及び未知語のいずれを含む文に対しても形態素解析を施すことができ、形態素解析の最適な解を適切に探索することができ、又は形態素辞書を効率的に作成することができる形態素解析装置、形態素解析方法及び形態素解析プログラムが求められている。
【課題を解決するための手段】
【００１１】
かかる課題を解決するために、第１の本発明の形態素解析装置は、（１）所定の綴り復元規則に基づいて、入力文中の単語の綴りを変換する綴り復元手段と、（２）綴り復元手段により綴りが復元された単語列に対して、形態素分割及びその形態素の品詞付与を行い、１又は複数の形態素解析候補を生成する形態素解析候補生成手段と、（３）生成した各形態素解析候補について、綴り復元前の単語が復元後の単語に変換される確率と、綴り復元後の単語列から形態素列及び品詞列が生成される確率との積に基づいて、各形態素解析候補の生成確率を求める生成確率計算手段と、（４）生成確率計算手段により生成確率が計算された各形態素解析候補の中から、最も尤度の高い候補を解として探索する解探索手段とを備えることを特徴とする。
【００１２】
第２の本発明の形態素解析方法は、（１）所定の綴り復元規則に基づいて、入力文中の単語の綴りを変換する綴り復元工程と、（２）綴り復元工程により綴り復元された単語列に対して、形態素分割及びその形態素の品詞付与を行い、１又は複数の形態素解析候補を生成する形態素解析候補生成工程と、（３）生成した各形態素解析候補について、綴り復元前の単語が復元後の単語に変換される確率と、綴り復元後の単語列から形態素列及び品詞列が生成される確率との積に基づいて、各形態素解析候補の生成確率を求める生成確率計算工程と、（４）生成確率計算工程により生成確率が計算された上記各形態素解析候補の中から、最も尤度の高い候補を解として探索する解探索工程とを備えることを特徴とする。
【００１３】
第３の本発明の形態素解析プログラムは、コンピュータに、（１）所定の綴り復元規則に基づいて、入力文中の単語の綴りを変換する綴り復元手段、（２）綴り復元手段により綴り復元された単語列に対して、形態素分割及びその形態素の品詞付与を行い、１又は複数の形態素解析候補を生成する形態素解析候補生成手段、（３）生成した各形態素解析候補について、綴り復元前の単語が復元後の単語に変換される確率と、綴り復元後の単語列から形態素列及び品詞列が生成される確率との積に基づいて、各形態素解析候補の生成確率を求める生成確率計算手段、（４）生成確率計算手段により生成確率が計算された各形態素解析候補の中から、最も尤度の高い候補を解として探索する解探索手段として機能させるものである。
【発明の効果】
【００１４】
本発明の形態素解析装置、形態素解析方法及び形態素解析プログラムによれば、既知語及び未知語のいずれを含む文に対しても形態素解析を施すことができ、形態素解析結果の最適な解を適切に探索することができ、又は形態素辞書を効率的に作成することができる。
【発明を実施するための最良の形態】
【００１５】
（Ａ）第１の実施形態
以下、本発明の形態素解析装置、形態素解析方法及び形態素解析プログラムの実施形態を図面を参照しながら詳細に説明する。
【００１６】
本実施形態は、本発明の形態素解析装置、形態素解析方法及び形態素解析プログラムを用いて、韓国語を入力とする形態素解析システムを実現したものである。
【００１７】
（Ａ−１）第１の実施形態の構成
図１は、本実施形態の形態素解析システムの構成を示す機能ブロック図である。なお、本実施形態の形態素解析システム１００は、情報処理装置上で実現されるものであり、例えば、ハードディスクや所定の記録媒体等に格納されている形態素解析に係る処理プログラムをＣＰＵが実行することにより実現される。
【００１８】
図１において、本実施形態の形態素解析システム１００は、形態素解析処理を行う解析部１１０、形態素解析処理の際に使用される綴り復元規則や形態素辞書、確率モデルのパラメータを格納するモデル格納部１２０、形態素解析済みのコーパスからパラメータ等の学習を行うモデル学習部１３０を少なくとも有して構成される。
【００１９】
図１に示すように、解析部１１０は、入力部１１１、綴り復元部１１２、形態素分割・品詞付与部１１３、生成確率計算部１１６、解探索部１１７、出力部１１８を少なくとも有する。また、形態素分割・品詞付与部１１３は、既知語仮説生成部１１４、未知語仮説生成部１１５を有する。
【００２０】
入力部１１１は、使用者が入力した入力文を取り込み、入力文を綴り復元部１１２に与えるものである。入力部１１１は、例えば、使用者が操作するキーボード等からの情報を取り込むものが該当する。
【００２１】
綴り復元部１１２は、入力部１１１が取り込んだ入力文を受け取り、綴り復元規則格納部１２１に格納されている綴り復元規則を用いて、入力文中の綴りが変化した単語を元の形に復元し、１又は複数の候補（以下、このような候補を「仮説」という）を作成するものである。これにより、例えば縮約現象により語形が変化した単語についても、本来の表記であると考えられる語形に置き換えることができる。また、綴り復元部１１２は、綴りが復元された仮説を形態素分割・品詞付与部１１３に与えるものである。
【００２２】
形態素分割・品詞付与部１１３は、綴り復元部１１２により綴りが復元された単語の候補（仮説）を受け取り、形態素辞書格納部１２２に格納されている形態素辞書を用いて、綴りが復元された各仮説に対して形態素分割及び品詞付与された仮説を作成するものである。また、形態素分割・品詞付与部１１３は、形態素分割及び品詞付与がなされた仮説を生成確率計算部１１６に与えるものである。
【００２３】
生成確率計算部１１６は、形態素分割・品詞付与部１１３により生成された各仮説に対して、確率モデルパラメータ格納部１２３に格納されているパラメータを使用して、生成確率を計算するものである。
【００２４】
解探索部１１７は、生成確率計算部１１６により生成確率が計算された各仮説の中から最も尤度の高い仮説を解として選択するものである。
【００２５】
出力部１１８は、解探索部１１７により選択された解を出力するものである。
【００２６】
また、モデル格納部１２０は、綴り復元規則格納部１２１、形態素辞書格納部１２２、確率モデルパラメータ格納部１２３を少なくとも有する。
【００２７】
綴り復元規則格納部１２１は、綴り復元処理において、綴りの復元された仮説を生成するために使用される複数の綴り復元規則を格納するものである。綴り復元規則格納部１２１が格納する各綴り復元規則は、綴り復元規則作成部１３２により作成されるものである。
【００２８】
形態素辞書格納部１２２は、形態素とその品詞とを列挙した形態素辞書を格納するものであり、形態素辞書格納部１２２が格納する各形態素とその品詞の対は、形態素辞書作成部１３３により作成されるものである。
【００２９】
確率モデルパラメータ格納部１２３は、確率モデルのパラメータを格納するものである。確率モデルパラメータ格納部１２３が格納する確率モデルのパラメータは、確率モデルパラメータ計算部１３４により作成されるものである。
【００３０】
さらに、モデル学習部１３０は、形態素解析済みコーパス格納部１３１、綴り復元規則作成部１３２、形態素辞書作成部１３３、確率モデルパラメータ計算部１３４を少なくとも有する。
【００３１】
形態素解析済みコーパス格納部１３１は、形態素解析済みのコーパスを格納するものである。
【００３２】
綴り復元規則作成部１３２は、形態素解析済みコーパス格納部１３１に格納されているコーパスを用いて綴り復元処理用の規則を作成し、作成した綴り復元規則を綴り復元規則格納部１２１に与えるものである。
【００３３】
形態素辞書作成部１３３は、形態素解析済みコーパス格納部１３１に格納されているコーパスを用いて、形態素辞書を作成し、作成した形態素辞書を形態素辞書格納部１２２に与えるものである。
【００３４】
確率モデルパラメータ計算部１３４は、形態素解析済みコーパス格納部１３１に格納されているコーパスを用いて、確率モデルのパラメータを計算し、その結果を確率モデルパラメータ格納部１２３に与えるものである。
【００３５】
（Ａ−２）第１の実施形態の動作
以下、本実施形態の形態素解析システム１００における形態素解析処理の動作を図面を参照して説明する。図２は、本実施形態の形態素解析処理の動作を示すフローチャートである。
【００３６】
まず、使用者が入力した入力文が入力部１１１に取り込まれ、入力文が綴り復元部１１２に与えられる（Ｆ２０１）。
【００３７】
例えば、使用者が形態素解析を希望する文の例を、「ｐｑｒ  ａｂｃｄｅ  ｘｙｚ」とする。この例では、韓国語の文字をローマ字で表すものとする。ここで、形態素解析中の解析候補の仮説は、グラフ構造によって表現することができ、この時点で入力された入力文「ｐｑｒ  ａｂｃｄｅ  ｘｙｚ」の仮説は図９のように表される。
【００３８】
入力部１１１に取り込まれた入力文が綴り復元部１１２に与えられると、綴り復元部１１２において、綴り復元規則格納部１２１に格納されている綴り復元規則に基づいて入力文中の語形が変化していた単語の綴りが復元され、綴りが復元された単語からなる仮説が生成される（Ｆ２０２）。
【００３９】
例えば、綴り復元規則格納部１２１には、図６に示すような綴り復元規則が格納されているものとする。ここで、綴り復元規則とは、例えば、縮約された単語も含め単語の表記の違いや語形変化など、見かけ上、単語の綴りが変形しているものを元の綴りに置き換えるための規則をいう。
【００４０】
なお、綴り復元規則は、単語の末尾に位置する文字列に対して適用される。
【００４１】
例えば、図６の綴り復元規則（Ｘ→Ｙ）において、「Ｘ」は綴り復元前の文字列であり、「Ｙ」は綴り復元後の文字列であり、本規則によれば、単語の末尾が文字列「Ｘ」である単語に対して、その末尾の文字列「Ｘ」を文字列「Ｙ」に置き換えることを意味する。
【００４２】
具体的には、図６において、例えば「ｅ→ｈ」という綴り復元規則は、文字列「ｅ」で終わる単語に対して、その文字列「ｅ」を文字列「ｈ」に置き換えることを意味する。
【００４３】
ただし、図６において、「ε」は空文字列を表わす特殊な記号であり、「ε→ε」という綴り復元規則は、空文字列を空文字列に変換する規則、つまり文字列の変換を行わない特別な規則を表している。
【００４４】
また、例えば「ｃｄｅ→ｆ＋ｇ／Ｖ」という綴り復元規則は、文字列「ｃｄｅ」を綴り復元後の文字列「ｆｇ」に変換するという規則であるが、「ｇ」という形態素が「Ｖ」という品詞を持つという制約を与えている。なおここでは、形態素の区切りを「＋」で示し、「／」の後にその形態素の品詞を記述している。このように、綴り復元規則は、綴り復元後の文字列に対して、形態素の区切りとその品詞に対する制約を与えることも可能である。
【００４５】
入力文「ｐｑｒ  ａｂｃｄｅ  ｘｙｚ」が綴り復元部１１２に与えられたとして、この仮説中の「ａｂｃｄｅ」という単語にのみ注目した場合を考える。図６の綴り復元規則例には、「ｃｄｅ→ｆ＋ｇ／Ｖ」、「ｅ→ｈ」、「ε→ε」という綴り復元規則が存在するため、入力文中の「ａｂｃｄｅ」という単語はそれぞれの規則によって「ａｂｆ＋ｇ／Ｖ」、「ａｂｃｄｈ」、「ａｂｃｄｅ」という文字列に変換される。なお、この綴り復元処理の結果を表わす仮説を図１０に示す。
【００４６】
次に、綴り復元部１１２における綴り復元処理により生成された仮説が形態素分割・品詞付与部１１３に与えられると、形態素分割・品詞付与部１１３において、仮説に対して、形態素に分割されて品詞が付与された候補が生成される（Ｆ２０３）。
【００４７】
図３は、形態素分割・品詞付与部１１３における形態素分割及び品詞付与された仮説を生成するフローチャートである。
【００４８】
図３において、綴り復元部１１２から綴りが復元された仮説が与えられると、まず、既知語仮説生成部１１４において、各仮説に対して、形態素辞書格納部１２２に格納されている形態素辞書に基づいて、既知語の仮説が生成される（Ｆ３０１）。ここで、既知語とは、形態素辞書に格納されている文字列をいう。
【００４９】
図７は、形態辞書格納部１２２に格納されている形態素辞書の例である。図７の形態素辞書は、形態素とその品詞の組を複数含んでおり、図７では、形態素と品詞とを「／」で区切っている。
【００５０】
例えば、図１０に示すような仮説が与えられた場合、既知語仮説生成部１１４は、「ａｂｆ＋ｇ／Ｖ」という仮説に対しては「ａｂ／Ｘ」という形態素が含まれているため、「ａｂ／Ｘ」という形態素の仮説を生成する。
【００５１】
さらに、この仮説には、綴り復元処理の際に、「ｇ／Ｖ」という形態素区切りと品詞の制約が与えられているため、この形態素の仮説も生成する。
【００５２】
また、同様にして、図１０の「ａｂｃｄｈ」という仮説に対しては「ａｂ／Ｘ」、「ｃｄｈ／Ｚ」という形態素が含まれており、「ａｂｃｄｅ」という仮説に対しては「ａｂ／Ｘ」、「ｃｄｅ／Ｙ」、「ｄｅ／Ｗ」という形態素が含まれているため、これらの形態素の仮説を生成する。
【００５３】
次に、未知語仮説生成部１１５において、綴りの復元された各仮説に対して、未知語の仮説が生成される（Ｆ３０２）。なお、未知語とは、形態素辞書に格納されていない形態素をいう。
【００５４】
ここで、未知語の仮説を生成する方法には種々の方法が考えられるが、例えば、非特許文献３（中川、松本「単語レベルと文字レベルの情報を用いた中国語・日本語単語分割」，情報処理学会研究報告，２００４−ＮＬ−１６２，ｐｐ．１９７−２０４，２００４）に記載された未知語処理方法を用いることができる。
【００５５】
この非特許文献３には、未知語を文字単位で処理する方法が記載されており、例えば、未知語を構成する文字に対して４種類の文字位置タグ（単語の先頭に存在する文字、単語の中間に存在する文字、単語の末尾に存在する文字、一文字で単語を構成する文字、を表すタグ）を付与するものである。
【００５６】
本実施形態では、これら４つの文字位置タグを１つの文字位置タグに省略した「Ｕ」というタグを用いて説明する。
【００５７】
例えば、図１０に示す仮説が与えられた場合、「ａｂｆ＋ｇ／Ｖ」という仮説に対しては、「ａ」、「ｂ」、「ｆ」という文字が含まれているので、それぞれの文字からなる未知語処理用の仮説が生成される。
【００５８】
また、同様にして、図１０の「ａｂｃｄｈ」という仮説に対しては「ａ」、「ｂ」、「ｃ」、「ｄ」、「ｈ」という文字が含まれており、また「ａｂｃｄｅ」という仮説に対しては「ａ」、「ｂ」、「ｃ」、「ｄ」、「ｅ」という文字が含まれているため、これらの一文字からなる未知語処理用の仮説が生成される。
【００５９】
以上の処理により、図１１に示されるような仮説が生成される。
【００６０】
このように、綴り復元規則を用いた綴り復元処理の際に、形態素の区切りや品詞の制約が与えられた文字列については、その形態素に対する別の既知語や未知語の候補を作成する必要がないため、生成される仮説の数を減らすことができる。
【００６１】
続いて、形態素分割・品詞付与部１１３により生成された仮説が生成確率計算部１１６に与えられると、生成確率計算部１１６において、確率モデルパラメータ格納部１２３に格納されている確率モデルパラメータに基づいて、仮説中の解候補の生成確率が計算される（Ｆ２０４）。なお、図１１のグラフ中の文頭を表すノードから文末を表すノードに至る各経路が各解候補である。
【００６２】
ここで、各解候補の生成確率は、次のような方法により計算される。例えば、入力文中の単語数をｌ、入力文の先頭からｉ番目の単語をωｉ、入力文中の形態素数をｎ、入力文の先頭からｉ番目の形態素及びその品詞をそれぞれｍｉ及びｔｉとし、単語列Ｗ＝ω１・・・ωｌ、形態素列Ｍ＝ｍ１・・・ｍｎ、品詞列Ｔ＝ｔ１・・・ｔｎとする。
【００６３】
このとき、生成確率計算部１１６に入力される各仮説、つまり正解候補の形態素列及び品詞列はＭ及びＴで表現できるので、この仮説の中から最も生成確率が高いものを解として選べばよい。
【００６４】
そこで、次の式により、正解の形態素列及び品詞列Ｍ＾、Ｔ＾を計算する。
【数１】
2007087070.tif 000003
【００６５】
ここで、綴り復元後の単語列Ｗ’＝ω1’・・・ωｌ’であり、ωｉ'は入力文の先頭からｉ番目の綴りが復元された単語を表す。また、ｍｉを連結した文字列とωｉを連結した文字列は等しいとする（ｍ１・・・ｍｎ＝ω1’・・・ωｌ’）。
【００６６】
上記式（１）において、Ｐ（Ｍ，Ｔ｜Ｗ’）は、綴り復元後の単語列から、形態素列及び品詞列が生成される確率を示す。このＰ（Ｍ，Ｔ｜Ｗ’）は、例えば非特許文献３に開示されている従来の手法を用いて求めることができ、その際に使用される確率モデルのパラメータは、確率モデルパラメータ格納部１２３に格納されているものとする。
【００６７】
また、Ｐ（Ｗ’｜Ｗ）は、綴り復元前の単語列から綴り復元後の単語列が生成される確率であるが、下記式（２）に示すように、各単語毎の計算に分割して考えることができる。
【数２】
2007087070.tif 000004
【００６８】
また、綴り復元規則（ｒ→ｒ’）により、単語ωの綴りが復元されてω’に変換される場合、下記式（３）に示すように、Ｐ（ω’｜ω）を計算することができる。
【数３】
2007087070.tif 000005
【００６９】
ここで、上記式（４）において、Ｐ（ｒ→ｒ’｜ｒ）は、ｒという文字列に対して、綴り復元規則（ｒ→ｒ’）が適用される確率を表し、この確率の値は確率モデルパラメータ格納部１２３に格納されているものとする。また、この式でのｘ≦ｙの関係は、ｙという文字列がｘという文字列で終わっている（ｘがｙのサフィックスである）という半順序関係を表し、またｘ＜ｙの関係はｘ≦ｙかつｘ≠ｙを表すものと定義する。
【００７０】
解探索部１１７は、生成確率計算部１１６により生成確率が計算された各解候補の中から、文全体の生成確率が最も高いものを選択する（Ｆ２０５）。このような探索は、Ｖｉｔｅｒｂｉアルゴリズム等を用いて行うことができる。
【００７１】
出力部１１８は、解探索部１１７によって求められた解をユーザーへ出力する（Ｆ２０６）。
【００７２】
次に、本実施形態の形態素解析システム１００における形態素解析処理で使用される辞書やパラメータ等を作成する処理の動作について図面を参照して説明する。
【００７３】
図４は、本実施形態の形態素解析システムの過程で使用される辞書やパラメータ等を、品詞タグ付きコーパスから求める動作のフローチャートである。
【００７４】
図４において、まず、綴り復元規則作成部１３２は、形態素解析済みコーパス格納部１３１に格納された形態素解析済みのコーパスから、綴り復元規則を作成し、その作成した綴り復元規則を綴り復元規則格納部１２１に格納する（Ｆ４０１）。
【００７５】
ここで、綴り復元規則作成部１３２による綴り復元規則の作成方法例のフローチャートを図５に示す。
【００７６】
図５において、まず、（ε→ε）という特別な規則を綴り復元規則格納部１２１へ格納する（Ｆ５０１）。
【００７７】
品詞タグ付きコーパス格納部１３１に格納されているコーパスから、綴り復元前の単語ωと、それに対応する綴り復元後の単語ω’とを一組取り出す（Ｆ５０２）。
【００７８】
このとき、綴り復元前の単語ωと綴り復元後の単語ω’とが等しいか否かを判定し、単語ωと単語ω’とが等しい場合は、綴り復元規則は必要ないため、Ｆ５０９の処理に移り、それ以外の場合は次のＦ５０４の処理に移る（Ｆ５０３）。
【００７９】
単語ωと単語ω’とが等しくない場合、単語Ｗ中の文字数をｍとし、単語Ｗ’中の文字数をｎとし、単語Ｗの先頭からｘ番目の文字をｃｘとし、単語Ｗ’の先頭からｘ番目の文字をｃ’ｘとする。これにより、Ｗ＝ｃ１…ｃｍ、Ｗ’＝ｃ’１…ｃ’ｎとなる。また、変数ｉとｌの値を０とする（Ｆ５０４）。
【００８０】
ここで、変数ｉは、処理対象とする文字の位置を示すものであり、先頭からの文字数である。また、変数ｌは、後述するように、単語ωと単語ω’との間で単語の先頭から共通する文字の最大個数を示す。
【００８１】
まず、変数ｉに１を加えて、単語ωの文字ｃｉと、単語ω’の文字ｃ’ｉとが一致するか否かを判定し、ｃｉ＝ｃ’ｉである場合、ｌに１を加える（Ｆ５０５）。
【００８２】
そして、ｃｉ＝ｃ’ｉ、かつ、ｉ＜ｍ、かつ、ｉ＜ｎであるか否かを判定し、ｃｉ＝ｃ’ｉ、かつ、ｉ＜ｍ、かつ、ｉ＜ｎである場合、Ｆ５０５に戻る（Ｆ５０６）。
【００８３】
一方、ｃｉ＝ｃ’ｉ、かつ、ｉ＜ｍ、かつ、ｉ＜ｎのいずれかが成り立たない場合、Ｆ５０７に進む。
【００８４】
Ｆ５０７では、復元前の単語ωを構成する文字数ｍとｌの値とを比較し、ｌ＝ｍであればｌの値から１を引く（Ｆ５０７）。この処理により、綴り復元規則の復元前の文字列の長さは必ず１以上になる。
【００８５】
ｃｌ＋１・・・ｃｍ→ｃ’ｌ＋１・・・ｃ’ｎという綴り復元規則が綴り復元規則格納部１２１に存在しなければ、この規則を綴り復元規則格納部１２１に追加する（Ｆ５０８）。
【００８６】
形態素解析済みコーパス格納部１３１のコーパス中の全ての単語について上記の処理をし終えた場合には当該手続を終了し、それ以外の場合にはＦ５０２に戻り処理を繰り返す（Ｆ５０９）。
【００８７】
なお、形態素解析済みコーパスから綴り復元後の単語を得るには、形態素解析済みの形態素と品詞から、形態素の区切りと品詞を取り除けばよい。
【００８８】
例えば、図８に示すように形態素解析済みコーパスがある場合、このコーパスは、「ｖｗｃｄｅｘｙｚｅ」という文に対する形態素解析済みコーパスであり、各行には単語とその解析結果の形態素・品詞が文頭から順に格納されている。
【００８９】
この場合、「ｖｗｃｄｅ」という綴り復元前の単語に対して、「ｖｗｆ／Ｓ＋ｇ／Ｖ」という形態素と品詞は「ｖｗｆｇ」という綴り復元後の単語として扱う。
【００９０】
綴り復元規則において復元後の文字列に形態素区切りや品詞の制約を与える場合は、Ｆ５０８の処理において、制約を持った綴り復元規則を作成する。その場合、例えば図８のコーパスからは、図６のような綴り復元規則が作成される。
【００９１】
形態素辞書作成部１３３は、形態素解析済みコーパス格納部１３１に格納された形態素解析済みコーパスから形態素と品詞を取り出して形態素辞書を作成し、形態素辞書格納部１２２へ格納する（Ｆ４０２）。
【００９２】
確率モデルパラメータ計算部１３４は、形態素解析済みコーパス格納部１３１に格納された形態素解析済みコーパスから確率モデルのパラメータを計算し、確率モデルパラメータ格納部１２３へ格納する（Ｆ４０３）。
【００９３】
前述したように、式（１）中のＰ（Ｍ，Ｔ｜Ｗ’）は既存の手法を用いて計算できるため、Ｐ（Ｍ，Ｔ｜Ｗ’）の計算を行うのに使用される確率モデルのパラメータも既存の手法と同様に求めることができる。また、式（４）の計算を行うのに必要なＰ（ｒ→ｒ’｜ｒ）というパラメータは、以下のようにして求める：
【数４】
2007087070.tif 000006
【００９４】
ここで、記号「≦」の意味は式（４）の場合と同様であり、ｆ（ｘ→ｘ’｜ｙ）は品詞タグ付きコーパス格納部１３１に格納されたコーパス中において、文字列ｙをサフィックスに持ちかつｘ→ｘ’という綴り復元規則が適用される単語の出現回数を表す。この出現回数は、図５に示される手続きと同様の手順により求めることができる。
【００９５】
（Ａ−３）第１の実施形態の効果
韓国語の入力文に対して、入力文中の単語が縮約等により語形変化している場合でも、形態素解析を行うことができる。未知語を含んだ入力文に対しても、綴り復元の処理を行った後で未知語の仮説を生成しているため、頑健に処理できる。式（１）を用いて計算することにより、形態素解析処理全体を通して、入力文に対して最も尤もらしい形態素と品詞の列を求めることができる。形態素解析に使用する辞書やパラメータは、専門家の人手による作業を必要とせずに全て形態素解析済みコーパスから作成することができる。
【００９６】
（Ｂ）他の実施形態
本発明の形態素解析装置によれば、入力された入力文に対して、まず綴り復元処理を行い、縮約等により変化した形態素の綴りを復元する。その後、形態素の区切りと品詞を同定する。そして、綴り復元の処理と形態素分割・品詞付与の処理のどちらも確率的なモデルに基づいて統合的に処理することで、形態素解析処理全体を通して最適な解を選択することができる。また、形態素解析に必要な辞書やパラメータ等は訓練データから自動的に獲得することが可能であり、未知語にも対処することができる。
【００９７】
図１で説明した形態素解析システム１００において、解析部１１０、モデル格納部１２０、モデル学習部１３０は、それぞれが連携可能であれば、例えばネットワークなどによりそれぞれが分散配置され、それぞれが分散処理できる構成であってもよい。
【００９８】
上述した実施形態では、入力文の言語を韓国語とする場合を例として挙げたが、使用する辞書等を代えることにより、日本語や他の言語の文に対しても適用することができる。
【図面の簡単な説明】
【００９９】
【図１】第１の実施形態の形態素解析システムの構成を示す機能ブロック図である
【図２】第１の実施形態の形態素解析処理の動作を示すフローチャートである。
【図３】第１の実施形態の形態素分割及び品詞付与された仮説を生成するフローチャートである。
【図４】第１の実施形態の形態素解析システムの過程で使用される辞書やパラメータ等を作成する動作のフローチャートである。
【図５】第１の実施形態の綴り復元規則の作成方法例のフローチャートである。
【図６】第１の実施形態の綴り復元規則例を示す説明図である。
【図７】第１の実施形態の形態素辞書の例を示す説明図である。
【図８】第１の実施形態の形態素解析済みコーパスの例を示す説明図である。
【図９】第１の実施形態の入力文に対する仮説を示す説明図である。
【図１０】第１の実施形態の入力文に対する仮説を示す説明図である。
【図１１】第１の実施形態の入力文に対する仮説を示す説明図である。
【符号の説明】
【０１００】
１００…形態素解析システム、１１０…解析部、１２０…モデル格納部、１３０…モデル学習部、１１１…入力部、１１２…綴り復元部、１１３…形態素分割・品詞付与部、１１４…既成語仮説生成部、１１５…未知語仮説生成部、１１６…生成確率計算部、１１７…解探索部、１１８…出力部、１２１…綴り復元規則格納部、１２２…形態素辞書格納部、１２３…確率モデルパラメータ格納部、１３１…形態素解析済みコーパス格納部、１３２…綴り復元規則作成部、１３３…形態素辞書作成部、１３４…確率モデルパラメータ計算部。
【図１】
2007087070.tif 000007
【図２】
2007087070.tif 000008
【図３】
2007087070.tif 000009
【図４】
2007087070.tif 000010
【図５】
2007087070.tif 000011
【図６】
2007087070.tif 000012
【図７】
2007087070.tif 000013
【図８】
2007087070.tif 000014
【図９】
2007087070.tif 000015
【図１０】
2007087070.tif 000016
【図１１】
2007087070.tif 000017