(57)【要約】【課題】単語に品詞を付与する精度を維持しつつ、メモリ容量を抑える。【解決手段】共起確率テーブル６３に記憶された、２つの品詞が共起する確率である共起確率共起確率に基づいて、品詞候補決定部１０１は、単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、注目単語の品詞の候補である注目品詞候補を決定し、単語出現確率決定部１０２は、隣接品詞候補と注目品詞候補との共起確率に基づいて、品詞が注目品詞候補の注目単語が出現する確率である単語出現確率を決定して、単語ラティス生成部１０３は、単語列の隣接する単語どうしについての共起確率と、単語列を構成する各単語の単語出現確率とに基づいて、単語ラティスを生成する。本発明は、例えば、形態素解析エンジンに適用できる。【選択図】図９
2008305291.tif 000002
【特許請求の範囲】
【請求項１】
単語列から、単語ラティスを生成する情報処理装置において、
予め求められた、２つの品詞が共起する確率である共起確率が記憶された記憶手段に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補を決定する品詞候補決定手段と、
前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率を決定する単語出現確率決定手段と、
前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスを生成する単語ラティス生成手段と
を備える情報処理装置。
【請求項２】
前記単語出現確率決定手段は、前記隣接品詞候補と前記注目品詞候補との共起確率を、前記注目単語の前記単語出現確率として決定する
請求項１に記載の情報処理装置。
【請求項３】
前記隣接品詞候補が複数存在する場合において、
前記単語出現確率決定手段は、複数の前記隣接品詞候補それぞれと前記注目品詞候補との共起確率のうちの最大値を、前記注目単語の前記単語出現確率として決定する
請求項１に記載の情報処理装置。
【請求項４】
前記隣接品詞候補が複数存在する場合において、
前記単語出現確率決定手段は、複数の前記隣接品詞候補それぞれと前記注目品詞候補との共起確率を合計した合計値を、前記注目単語の前記単語出現確率として決定する
請求項１に記載の情報処理装置。
【請求項５】
前記記憶手段は、さらに、予め求められた、品詞が出現する確率である品詞出現確率を記憶し、
前記単語出現確率決定手段は、前記隣接品詞候補と前記注目品詞候補との共起確率と、前記注目品詞候補の品詞出現確率との積を、前記注目単語の前記単語出現確率として決定する
請求項１に記載の情報処理装置。
【請求項６】
前記隣接品詞候補が複数存在する場合において、
前記単語出現確率決定手段は、複数の前記隣接品詞候補それぞれと前記注目品詞候補との共起確率のうちの最大値と、前記注目品詞候補の品詞出現確率との積を、前記注目単語の前記単語出現確率として決定する
請求項５に記載の情報処理装置。
【請求項７】
前記記憶手段に記憶された前記共起確率または前記品詞出現確率は、文のサンプルである学習コーパスにより予め学習されたものである
請求項５に記載の情報処理装置。
【請求項８】
前記単語ラティス生成手段により生成された前記単語ラティスに基づいて、前記注目単語に、前記注目単語の品詞を付与する単語品詞付与手段と、
前記注目単語の品詞が付与された前記注目単語を出力する出力手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項９】
前記記憶手段は、さらに、単語と、その単語の語幹とを対応付けた単語テーブルを記憶し、
前記記憶手段に記憶された前記単語テーブルに基づいて、前記注目単語に、前記注目単語の語幹を付与する語幹付与手段をさらに備え、
前記出力手段は、前記注目単語の品詞および語幹が付与された前記注目単語を出力する
請求項８に記載の情報処理装置。
【請求項１０】
前記記憶手段は、さらに、複数の単語により構成される複合語と、その複合語の品詞とを対応付けた複合語テーブルを記憶し、
前記記憶手段に記憶された前記複合語テーブルに基づいて、前記単語列に含まれる複合語に、その複合語の品詞を付与する複合語品詞付与手段をさらに備え、
前記出力手段は、さらに、前記単語列に含まれる複合語の品詞が付与された前記複合語を出力する
請求項８に記載の情報処理装置。
【請求項１１】
前記記憶手段は、予め求められた、品詞が所定の品詞の単語が出現する確率である単語出現確率をさらに記憶し、
前記単語出現確率決定手段は、
前記注目単語の単語出現確率が前記記憶手段に記憶されている場合、前記記憶手段に記憶されている単語出現確率に基づいて、前記注目単語の単語出現確率を決定し、
前記注目単語の単語出現確率が前記記憶手段に記憶されていない場合、前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、前記注目単語の共起確率を決定する
請求項１に記載の情報処理装置。
【請求項１２】
前記記憶手段に記憶された前記単語出現確率は、文のサンプルである学習コーパスにより予め学習されたものである
請求項１１に記載の情報処理装置。
【請求項１３】
前記品詞候補決定手段は、前記隣接品詞候補との共起確率が最大値となる品詞を、前記注目品詞候補として決定する
請求項１に記載の情報処理装置。
【請求項１４】
単語列から、単語ラティスを生成する情報処理装置の情報処理方法において、
予め求められた、２つの品詞が共起する確率である共起確率が記憶された記憶手段に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補を決定し、
前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率を決定し、
前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスを生成する
ステップを含む情報処理方法。
【請求項１５】
単語列から、単語ラティスを生成する情報処理装置として、コンピュータを機能させるプログラムにおいて、
予め求められた、２つの品詞が共起する確率である共起確率が記憶された記憶手段に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補を決定する品詞候補決定手段と、
前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率を決定する単語出現確率決定手段と、
前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスを生成する単語ラティス生成手段と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、単語に品詞を付与する精度を維持しつつ、メモリ容量を抑えることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、文（文章）を構成する各単語に、各単語の品詞を付与する形態素解析エンジンでは、文に形態素解析処理を施すことにより、文を構成する各単語に、各単語の品詞を付与する。
【０００３】
即ち、例えば、文を構成する所定の単語を注目単語として注目すると、その注目単語が、単語の品詞を付与するために必要な情報が辞書データベースに記憶されている既知語である場合、形態素解析エンジンは、形態素解析エンジンが有する辞書データベースに基づいて、注目単語に、その注目単語の品詞を付与する。
【０００４】
一方、文を構成する注目単語が、辞書データベースに記憶されていない未知語である場合、例えば、形態素解析エンジンは、文のサンプル等である学習コーパスから予め求めておいた、n個の品詞が共起する確率であるn-gramの共起確率に基づいて、未知語である注目単語に品詞を付与する。
【０００５】
即ち、例えば、文「t1(既知語),t2(未知語),t3(既知語)」を構成する各単語t1,t2、およびt3に品詞を付与する場合、単語t1およびt3については、辞書データベースに記憶されている品詞が付与される。
【０００６】
その後、単語t1の品詞、単語t2の品詞の候補、単語t3の品詞が、この並び順で共起する3-gramの共起確率のうちの最大の3-gramの共起確率が求められ、3-gramの共起確率が最大となるときの単語t2の品詞の候補が、単語t2の品詞として、単語t2に付与される。
【０００７】
なお、非特許文献１には、非特許文献２や３に開示されているHMM-based model,Maximum entropy model,Conditional Markov model,Conditional random fields,Cyclic dependency networks等の様々なモデルを用いることにより、文を形態素に分割し、各形態素に品詞および語幹を付与する形態素解析エンジンが開示されている。
【０００８】
【非特許文献１】浅原正幸「形態素解析器を構成するための自然言語処理技術」国際シンポジウム比較語彙研究X,2006
【非特許文献２】工藤拓、山本薫、松下裕治「Conditional Random Fieldsを用いた日本語形態素解析」情報処理学会自然言語処理研究会  SIGNL-161,2004
【非特許文献３】Sheila M. Reynolds and Jeff A. Bilmes, “Part-of-Speech Tagging using Virtual Evidence and Negative Training”, Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing(HLT/EMNLP), pages 459-466,Vancouver,October 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、例えば、文「t1(既知語),t2(未知語),t3(未知語),t4(既知語)」を構成する各単語t1,t2,t3、およびt4に品詞を付与する場合、既知語である単語t1およびt4については、辞書データベースに記憶されている品詞が付与される。
【００１０】
その後、単語t1の品詞、単語t2の品詞の候補、単語t3の品詞の候補が、この並び順で共起する3-gramの共起確率のうちの最大の3-gramの共起確率が求められ、3-gramの共起確率が最大となるときの単語t2の品詞の候補が、単語t2の品詞として単語t2に付与されるとともに、3-gramの共起確率が最大となるときの単語t3の品詞の候補が、単語t3の品詞として単語t3に付与される。
【００１１】
しかしながら、3-gramの共起確率を用いる場合、既知語である単語t4の品詞が考慮されずに、未知語である単語t2およびt3に品詞が付与されてしまうため、単語t2およびt3に正確な品詞を付与することができないことがある。
【００１２】
即ち、文において未知語がn-1個以上続く場合、n-gramの共起確率を用いて未知語に品詞を付与するときには、未知語に、その未知語の品詞を付与する精度が低くなることがある。
【００１３】
ここで、文「t1(既知語),t2(未知語),t3(未知語),t4(既知語)」を構成する各単語に品詞を付与する場合において、未知語に品詞を付与する精度を維持するには、単語t4の品詞を考慮して、単語t2およびt3に、単語t2およびt3の品詞を付与すること、つまり、単語t1の品詞、単語t2の品詞の候補、単語t3の品詞の候補、単語t4の品詞が、この並び順で共起する4-gramの共起確率のうちの最大の4-gramの共起確率を求め、4-gramの共起確率が最大となるときの単語t2の品詞の候補を、単語t2の品詞として単語t2に付与し、4-gramの共起確率が最大となるときの単語t3の品詞の候補を、単語t3の品詞として単語t3に付与することが必要である。
【００１４】
従って、n-gramの共起確率を用いて、未知語に、その未知語の品詞を付与する方法では、未知語が複数個続く場合を考慮して、2-gramの共起確率、3-gramの共起確率…，N-gramの共起確率などの複数のn-gramの共起確率を記憶しておく必要があり、複数のn-gramの共起確率を記憶するメモリ容量が大となる。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、単語に品詞を付与する精度を維持しつつ、メモリ容量を抑えることができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の一側面の情報処理装置、またはプログラムは、単語列から、単語ラティスを生成する情報処理装置、単語列から、単語ラティスを生成する情報処理装置として、コンピュータを機能させるプログラムであり、予め求められた、２つの品詞が共起する確率である共起確率が記憶された記憶手段に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補を決定する品詞候補決定手段と、前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率を決定する単語出現確率決定手段と、前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスを生成する単語ラティス生成手段とを備える情報処理装置、または情報処理装置として、コンピュータに機能させるプログラムである。
【００１７】
前記単語出現確率決定手段では、前記隣接品詞候補と前記注目品詞候補との共起確率を、前記注目単語の前記単語出現確率として決定することができる。
【００１８】
前記隣接品詞候補が複数存在する場合において、前記単語出現確率決定手段では、複数の前記隣接品詞候補それぞれと前記注目品詞候補との共起確率のうちの最大値を、前記注目単語の前記単語出現確率として決定することができる。
【００１９】
前記隣接品詞候補が複数存在する場合において、前記単語出現確率決定手段では、複数の前記隣接品詞候補それぞれと前記注目品詞候補との共起確率を合計した合計値を、前記注目単語の前記単語出現確率として決定することができる。
【００２０】
前記記憶手段は、さらに、予め求められた、品詞が出現する確率である品詞出現確率を記憶することができ、前記単語出現確率決定手段では、前記隣接品詞候補と前記注目品詞候補との共起確率と、前記注目品詞候補の品詞出現確率との積を、前記注目単語の前記単語出現確率として決定することができる。
【００２１】
前記隣接品詞候補が複数存在する場合において、前記単語出現確率決定手段では、複数の前記隣接品詞候補それぞれと前記注目品詞候補との共起確率のうちの最大値と、前記注目品詞候補の品詞出現確率との積を、前記注目単語の前記単語出現確率として決定することができる。
【００２２】
前記記憶手段に記憶された前記共起確率または前記品詞出現確率は、文のサンプルである学習コーパスにより予め学習されたものとすることができる。
【００２３】
本発明の一側面の情報処理装置は、前記単語ラティス生成手段により生成された前記単語ラティスに基づいて、前記注目単語に、前記注目単語の品詞を付与する単語品詞付与手段と、前記注目単語の品詞が付与された前記注目単語を出力する出力手段とをさらに設けることができる。
【００２４】
前記記憶手段は、さらに、単語と、その単語の語幹とを対応付けた単語テーブルを記憶することができ、前記記憶手段に記憶された前記単語テーブルに基づいて、前記注目単語に、前記注目単語の語幹を付与する語幹付与手段をさらに設け、前記出力手段では、前記注目単語の品詞および語幹が付与された前記注目単語を出力することができる。
【００２５】
前記記憶手段は、さらに、複数の単語により構成される複合語と、その複合語の品詞とを対応付けた複合語テーブルを記憶することができ、前記記憶手段に記憶された前記複合語テーブルに基づいて、前記単語列に含まれる複合語に、その複合語の品詞を付与する複合語品詞付与手段をさらに設け、前記出力手段では、さらに、前記単語列に含まれる複合語の品詞が付与された前記複合語を出力することができる。
【００２６】
前記記憶手段は、予め求められた、品詞が所定の品詞の単語が出現する確率である単語出現確率をさらに記憶することができ、前記単語出現確率決定手段では、前記注目単語の単語出現確率が前記記憶手段に記憶されている場合、前記記憶手段に記憶されている単語出現確率に基づいて、前記注目単語の単語出現確率を決定するとともに、前記注目単語の単語出現確率が前記記憶手段に記憶されていない場合、前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、前記注目単語の共起確率を決定することができる。
【００２７】
前記記憶手段に記憶された前記単語出現確率は、文のサンプルである学習コーパスにより予め学習されたものとすることができる。
【００２８】
前記品詞候補決定手段では、前記隣接品詞候補との共起確率が最大値となる品詞を、前記注目品詞候補として決定することができる。
【００２９】
本発明の一側面の情報処理方法は、単語列から、単語ラティスを生成する情報処理装置の情報処理方法であり、予め求められた、２つの品詞が共起する確率である共起確率が記憶された記憶手段に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補を決定し、前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率を決定し、前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスを生成するステップを含む。
【００３０】
本発明の一側面においては、予め求められた、２つの品詞が共起する確率である共起確率が記憶された記憶手段に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補が決定され、前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率が決定されるとともに、前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスが生成される。
【発明の効果】
【００３１】
本発明によれば、単語に品詞を付与する精度を維持しつつ、メモリ容量を抑えることができる。
【発明を実施するための最良の形態】
【００３２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３３】
本発明の一側面の情報処理装置、またはプログラムは、
単語列から、単語ラティスを生成する情報処理装置（例えば、図１の形態素解析エンジン）、または単語列から、単語ラティスを生成する情報処理装置として、コンピュータを機能させるプログラムであり、
予め求められた、２つの品詞が共起する確率である共起確率（例えば、図１の共起確率テーブル６３が保持する共起確率）が記憶された記憶手段（例えば、図１の辞書データベース１２）に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補を決定する品詞候補決定手段（例えば、図９の品詞候補決定部１０１）と、
前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率を決定する単語出現確率決定手段（例えば、図９の単語出現確率決定部１０２）と、
前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスを生成する単語ラティス生成手段（例えば、図９の単語ラティス生成部１０３）と
を備える情報処理装置、または情報処理装置として、コンピュータを機能させるプログラムである。
【００３４】
本発明の一側面の情報処理装置では、
前記単語ラティス生成手段により生成された前記単語ラティスに基づいて、前記注目単語に、前記注目単語の品詞を付与する単語品詞付与手段（例えば、図９の単語品詞付与部１０４）と、
前記注目単語の品詞が付与された前記注目単語を出力する出力手段（例えば、図９の複合語品詞付与部３５）と
をさらに備えることができる。
【００３５】
本発明の一側面の情報処理装置では、
前記記憶手段は、さらに、単語と、その単語の語幹とを対応付けた単語テーブル（例えば、図１の単語テーブル６１）を記憶し、
前記記憶手段に記憶された前記単語テーブルに基づいて、前記注目単語に、前記注目単語の語幹を付与する語幹付与手段（例えば、図１の語幹付与部３３）をさらに備え、
前記出力手段は、前記注目単語の品詞および語幹が付与された前記注目単語を出力することができる。
【００３６】
本発明の一側面の情報処理装置では、
前記記憶手段は、さらに、複数の単語により構成される複合語と、その複合語の品詞とを対応付けた複合語テーブル（例えば、図１の複合語テーブル６５）を記憶し、
前記記憶手段に記憶された前記複合語テーブルに基づいて、前記単語列に含まれる複合語に、その複合語の品詞を付与する複合語品詞付与手段（例えば、図１の複合語品詞付与部３５）をさらに備え、
前記出力手段は、さらに、前記単語列に含まれる複合語の品詞が付与された前記複合語を出力することができる。
【００３７】
本発明の一側面の情報処理方法は、
単語列から、単語ラティスを生成する情報処理装置（例えば、図１の形態素解析エンジン）の情報処理方法であり、
予め求められた、２つの品詞が共起する確率である共起確率（例えば、図１の共起確率テーブル６３が保持する共起確率）が記憶された記憶手段（例えば、図１の辞書データベース１２）に記憶されている前記共起確率に基づいて、前記単語列を構成する単語のうちの注目している注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある、前記注目単語の品詞の候補である注目品詞候補を決定し（例えば、図１８のステップＳ３４）、
前記隣接品詞候補と前記注目品詞候補との共起確率に基づいて、品詞が前記注目品詞候補の前記注目単語が出現する確率である単語出現確率を決定し（例えば、図１８のステップＳ３５）、
前記単語列の隣接する単語どうしについての前記共起確率と、前記単語列を構成する各単語の単語出現確率とに基づいて、前記単語ラティスを生成する（例えば、図１８のステップＳ３６）
ステップを含む。
【００３８】
以下、図を参照して、本発明の実施の形態について説明する。
【００３９】
図１は、本発明を適用した情報処理装置としての形態素解析エンジンの一実施の形態の第１の構成例を示すブロック図である。
【００４０】
図１の形態素解析エンジンは、単語解析部１１、および辞書データベース１２により構成される。
【００４１】
なお、図１の形態素解析エンジンには、例えば、ユーザが、図示せぬ操作部を操作することにより、複数の単語からなる文等の単語列のテキストデータとしての文書が入力されるようになっており、その文書は、単語解析部１１に供給される。
【００４２】
単語解析部１１は、文区切り部３１、単語区切り部３２、語幹付与部３３、品詞付与部３４、および複合語品詞付与部３５により構成され、そこに供給される文書内の各単語に、その各単語の語幹および品詞を付与する処理を行う。
【００４３】
文区切り部３１には、入力された文書が供給される。
【００４４】
文区切り部３１は、文書を文単位に区切る所定のルールに基づいて、そこに供給された文書を、文単位に分割する。
【００４５】
即ち、例えば、文区切り部３１は、そこに供給された文書内の”.”や”?”等を隣接する文どうしの区切りであるとみなして、文書を、１文単位に分割する。具体的には、例えば、文書「I wanted to go to United States. So, I bought a ticket.」が文区切り部３１に供給されると、文区切り部３１は、そこに供給された文書を、「I wanted to go to United States.」と「So, I bought a ticket.」との２つの文に分割する。
【００４６】
文区切り部３１は、そこに供給された文書を分割することで得られた「I wanted to go to United States.」や「So, I bought a ticket.」等の文を、適宜、単語区切り部３２に供給する。
【００４７】
単語区切り部３２は、文を単語に分割する所定のルールに基づいて、文区切り部３１から供給された文を、その文を構成する単語に分割する。
【００４８】
即ち、例えば、単語区切り部３２は、文区切り部３１から供給された１文内の”,”や”  ”(空白文字)等を隣接する単語どうしの区切りであるとみなして、文を単語に分割する。具体的には、例えば、文「I wanted to go to United States.」が、文区切り部３１から単語区切り部３２に供給されると、単語区切り部３２は、そこに供給された文を、「I」、「wanted」、「to」、「go」、「to」、「United」、「States」、および「.」の８つの単語に分割する。
【００４９】
単語区切り部３２は、単語に分割された文を、語幹付与部３３に供給する。
【００５０】
語幹付与部３３は、辞書データベース１２に記憶されている、単語と、その単語を一意に識別する単語ID(identification)と、その単語の語幹とを対応付けた単語テーブル６１を参照することにより、単語区切り部３２から供給された文を構成する各単語に、各単語の語幹を付与する。
【００５１】
また、語幹付与部３３は、単語テーブル６１から、単語区切り部３２から供給された文を構成する各単語の単語IDを読み出し、単語IDに対応する、文を構成する単語と対応付ける。
【００５２】
語幹付与部３３は、単語に語幹が付与され、かつ、単語IDが対応付けられた文を、品詞付与部３４に供給する。
【００５３】
品詞付与部３４は、辞書データベース１２に記憶されている、所定の品詞を一意に識別する品詞IDと、品詞が所定の品詞の単語の単語IDと、品詞が所定の品詞の単語が出現する確率である単語出現確率とを対応付けた単語出現確率テーブル６２と、２つの品詞の品詞IDと、それらの２つの品詞が共起する確率である共起確率とを対応付けた共起確率テーブル６３とを参照することにより、語幹付与部３３から供給された文としての単語列から単語ラティスを生成する。
【００５４】
そして、品詞付与部３４は、語幹付与部３３から供給された文としての単語列から生成された単語ラティスに基づいて、語幹付与部３３から供給された文を構成する各単語の品詞の品詞IDを決定し、辞書データベース１２に記憶されている、品詞と、その品詞の品詞IDとを対応付けた品詞テーブル６４を参照することにより、語幹付与部３３から供給された文を構成する各単語に、各単語の品詞を付与する。
【００５５】
品詞付与部３４は、単語に品詞が付与された文を、複合語品詞付与部３５に供給する。
【００５６】
複合語品詞付与部３５は、品詞付与部３４から供給された文に、複数の単語により構成される複合語が含まれる場合、辞書データベース１２に記憶されている、複合語と、その複合語の品詞、およびその複合語を一意に識別する複合語IDが対応付けられた複合語テーブル６５を参照することにより、品詞付与部３４から供給された文に含まれる、複合語とされる複数の単語を、複合語として、その複合語に、複合語の品詞を付与する。
【００５７】
また、複合語品詞付与部３５は、品詞付与部３４からの文に含まれる複合語を、「複合語/品詞/語幹」という形式で、図示せぬモニタなどに出力して、表示させる。
【００５８】
さらに、複合語品詞付与部３５は、品詞付与部３４から供給された文を構成する各単語のうちの、複合語を構成していない単語を、「単語/品詞/語幹」という形式で、図示せぬモニタ等に出力して表示させる。
【００５９】
辞書データベース１２は、単語テーブル６１、単語出現確率テーブル６２、共起確率テーブル６３、品詞テーブル６４、および複合語テーブル６５を記憶しており、単語解析部１１が、そこに供給される文書内の各単語に、各単語の語幹および品詞を付与する処理を行うときに参照される。
【００６０】
単語テーブル６１には、単語と、その単語の単語IDと、その単語の語幹とが対応付けられて登録されている。
【００６１】
単語出現確率テーブル６２には、所定の品詞の品詞IDと、品詞が所定の品詞の単語の単語IDと、品詞が所定の品詞の単語の単語出現確率とが対応付けられて登録されている。
【００６２】
共起確率テーブル６３には、２つの品詞それぞれを一意に識別する２つの品詞IDと、２つの品詞間の共起確率とが対応付けられて登録されている。
【００６３】
品詞テーブル６４には、品詞と、その品詞の品詞IDとが対応付けられて登録されている。
【００６４】
複合語テーブル６５には、複合語と、その複合語の品詞と、その複合語の複合語IDとが対応付けられて登録されている。
【００６５】
図２は、図１の辞書データベース１２に記憶されている単語テーブル６１を示す図である。
【００６６】
図２の単語テーブル６１には、単語（の表記）と、その単語の単語IDと、その単語の語幹とが対応付けられている。
【００６７】
語幹付与部３３は、上述したように、図２の単語テーブル６１を参照することにより、単語区切り部３２から供給された文を構成する各単語に語幹を付与し、品詞付与部３４に供給する。
【００６８】
具体的には、語幹付与部３３では、例えば、文「I wanted to go to United States.」については、その文「I wanted to go to United States.」を構成する各単語「I」、「wanted」、「to」、「go」、「to」、「United」、「States」、「.」に対して、語幹「I」、「want」、「to」、「go」、「to」、「unit」、「state」、「.」が、それぞれ付与される。
【００６９】
ここで、語幹が付与された各単語を、単語、その単語の語幹という順番で、「単語/単語の語幹」という形式により表すこととすれば、語幹付与部３３は、単語に語幹が付与された文『「I/I」、「wanted/want」、「to/to」、「go/go」、「to/to」、「United/unit」、「States/state」、「./.」』を、品詞付与部３４に供給する。
【００７０】
次に、図３は、辞書データベース１２に記憶されている品詞テーブル６４を示す図である。
【００７１】
図３の品詞テーブル６４には、品詞と、その品詞の品詞IDとが対応付けられている。
【００７２】
例えば、品詞付与部３４では、文「I wanted to go to United States.」については、その文「I wanted to go to United States.」を構成する、語幹が付与された各単語「I/I」、「wanted/want」、「to/to」、「go/go」、「to/to」、「United/unit」、「States/state」、「./.」に対して、各単語の品詞「NN」、「VBD」、「TO」、「VB」、「TO」、「VBN」、「NNS」、「ST」が、それぞれ付与される。
【００７３】
ここで、語幹および品詞が付与された各単語を、単語、その単語の品詞、その単語の語幹という順番で、「単語/単語の品詞/単語の語幹」という形式により表すとすれば、品詞付与部３４は、単語に語幹と品詞が付与された文『「I/NN/I」、「wanted/VBD/want」、「to/TO/to」、「go/VB/go」、「to/TO/to」、「United/VBN/unit」、「States/NNS/state」、「./ST/.」』を、複合語品詞付与部３５に供給する。
【００７４】
なお、品詞「NN」は単数形の名詞を表し、品詞「VBD」は過去時制の動詞を表す。また、品詞「TO」はtoを表し、品詞「VB」は現在形の動詞を表す。さらに、品詞「VBN」は過去分詞形の動詞を表し、品詞「NNS」は複数形の名詞を表す。また、品詞「ST」は文末の句読点を表す。
【００７５】
図４は、図１の辞書データベース１２に記憶されている複合語テーブル６５を示す図である。
【００７６】
図４の複合語テーブル６５には、複合語と、その複合語の品詞と、その複合語の複合語IDとが対応付けられている。
【００７７】
例えば、複合語品詞付与部３５では、文「I wanted to go to United States.」については、その文「I wanted to go to United States.」を構成する、語幹と品詞が付与された各単語「I/NN/I」、「wanted/VBD/want」、「to/TO/to」、「go/VB/go」、「to/TO/to」、「United/VBN/unit」、「States/NNS/state」、「./ST/.」のうちの単語「United/VBN/unit」および「States/NNS/state」を、単語「United」および「States」により構成される複合語「United States」とみなし、複合語「United States」に、その複合語の品詞「Place」を付与する。
【００７８】
その後、複合語品詞付与部３５は、単語「I/NN/I」、「wanted/VBD/want」、「to/TO/to」、「go/VB/go」、「to/TO/to」、「./ST/.」、および複合語「united states/Place/united states」を出力する。
【００７９】
なお、品詞「Place」は、場所を表す。
【００８０】
図５は、品詞付与部３４が生成する単語ラティスを示す図である。
【００８１】
図５は、品詞付与部３４が例えば、文「Time fly like an arrow.」から生成する単語ラティスを示している。
【００８２】
単語ラティスは、ノードとリンクとから構成される。
【００８３】
図５に示す丸（○）印は、ノードを表しており、ノードは、文「Time fly like an arrow.」を構成する単語、その単語の品詞の候補である品詞候補、および品詞がその品詞候補の単語の単語出現確率を有する。なお、最も左側に位置するノードは、文の始まりを表す文頭ノードφであり、単語出現確率として、値１を有する。
【００８４】
図５に示す、前と後ろに隣接する２つのノードを結ぶ矢印は、リンクを表しており、リンクは、隣接する２つのノードそれぞれが有する２つの品詞候補間の共起確率を有する。
【００８５】
品詞付与部３４は、語幹付与部３３から供給された文としての単語列から、図５に示す単語ラティスを生成し、その単語ラティスの最尤パスを求め、その最尤パス上のノードが有する各品詞候補を、最尤パス上のノードが有する各単語の品詞として、各単語に付与する。
【００８６】
なお、最尤パスとは、以下に示す式（１）が最大値をとるときの、単語ラティスのパスをいう。
【００８７】
【数１】
2008305291.tif 000003
…（１）
【００８８】
ここで、Πは、tを１からTまで変化させて、P(wt|pt)P(pt|pt-1)の乗算を行うことを表し、Tは、語幹付与部３３から供給された文を構成する各単語の総数を表す。
【００８９】
さらに、wtは、文の先頭からt番目の単語を表し、ptは、単語wtの品詞の候補（品詞候補）を表す。
【００９０】
また、P(wt|pt)は、品詞が品詞候補ptの単語wtの単語出現確率を表し、P(pt|pt-1)は、単語wt-1の品詞候補pt-1と、単語wtの品詞候補ptとの共起確率を表している。
【００９１】
なお、共起確率P(p1|p0)は、単語w1の品詞候補p1が、文の先頭から1番目に出現する品詞とされる確率を表す。
【００９２】
次に、図６乃至図８を参照して、品詞付与部３４が、図５に示す単語ラティスを生成する方法を説明する。
【００９３】
図６は、図１の辞書データベース１２に記憶されている単語出現確率テーブル６２を示す図である。
【００９４】
図６の単語出現確率テーブル６２には、所定の品詞の品詞IDと、品詞が所定の品詞の単語の単語IDと、品詞が所定の品詞の単語の単語出現確率（単語IDの単語が、品詞IDの品詞の単語として出現する確率）とが対応付けられている。
【００９５】
図７は、図１の辞書データベース１２に記憶されている共起確率テーブル６３を示す図である。
【００９６】
図７の共起確率テーブル６３には、所定の品詞を表す前品詞IDと、所定の品詞に続く品詞を表す後品詞IDと、前品詞IDが表す所定の品詞と、その所定の品詞に続く後品詞IDが表す品詞との共起確率とが対応付けられている。
【００９７】
図８は、図６の単語出現確率テーブル６２および図７の共起確率テーブル６３と等価なHMM(Hidden Markov Model)を示している。
【００９８】
図８は、図６の単語出現確率テーブル６２および図７の共起確率テーブル６３についてのHMMを示す図である。
【００９９】
図８に示す丸印は、HMMの状態を表し、状態は、所定の品詞と、品詞が所定の品詞の単語と、品詞が所定の品詞の単語の単語出現確率とを有する。なお、各状態が有する所定の品詞と、品詞が所定の品詞の単語と、品詞が所定の品詞の単語の単語出現確率とは、図６の単語出現確率テーブル６２が保持する、所定の品詞の品詞IDと、品詞が所定の品詞の単語の単語IDと、品詞が所定の品詞の単語の単語出現確率とに、それぞれ対応する。
【０１００】
図８に示す、状態を結ぶ矢印は、HMMの状態遷移を表し、状態遷移は、状態遷移前の状態が有する品詞候補の前品詞IDと、状態遷移後の状態が有する品詞候補の後品詞IDとに対応付けられた図７の共起確率テーブル６３の共起確率を有する。
【０１０１】
品詞付与部３４は、図６の単語出現確率テーブル６２と、図７の共起確率テーブル６３とを参照することにより、図５の単語ラティス、つまり、図５の単語ラティスを構成するノードおよびリンクを生成する。
【０１０２】
即ち、文「Time fly like an arrow.」を構成する単語のうちの、例えば、単語「like」を注目単語とすると、品詞付与部３４は、図６の単語出現確率テーブル６２から、語幹付与部３３から供給された文を構成する注目単語「like」の単語IDに対応付けられた品詞IDおよび単語出現確率を読み出し、その品詞IDが示す品詞と、その単語出現確率とを有するノードを生成する。
【０１０３】
図５では、注目単語「like」の単語IDに対応付けられた品詞IDおよび単語出現確率のセットとして、品詞「IN」を示す品詞IDおよび単語出現確率「0.01」、品詞「VB」を示す他の品詞IDおよび他の単語出現確率「0.006」、品詞「NN」を示すさらに他の品詞IDおよびさらに他の単語出現確率「0.002」の３セットが存在し、品詞「IN」と単語出現確率「0.01」とを有するノード（図５中央下側）、品詞「VB」と単語出現確率「0.006」とを有するノード（図５中央中側）、品詞「NN」と単語出現確率「0.002」とを有するノード（図５中央上側）が、単語「like」についてのノードとして生成されている。
【０１０４】
品詞付与部３４は、単語「like」についてのノードを生成する場合と同様にして、文「Time fly like an arrow.」を構成する他の単語についてのノード（および文頭ノードφ）を生成する。
【０１０５】
また、品詞付与部３４は、図７の共起確率テーブル６３から、隣接する各ノードが有する２つの品詞候補間の共起確率を読み出し、その共起確率を有するリンク（図５）を生成する。
【０１０６】
図５では、文「Time fly like an arrow.」を構成する、例えば、隣接する単語「time」と「fly」について、単語「time」の品詞候補NNと、単語「fly」の品詞候補VBZとの共起確率0.3、および単語「time」の品詞候補NNと、単語「fly」の品詞候補NNとの共起確率0.4の２つの共起確率が存在し、ノード「time/NN」（単語が「time」で品詞（品詞候補）がNNのノード）と、ノード「fly/VBZ」との間に、共起確率が0.3のリンクが生成されているとともに、ノード「time/NN」と、ノード「fly/NN」との間に、共起確率が0.4のリンクが生成されている。品詞付与部３４は、図５に示す他のリンクも同様にして生成する。
【０１０７】
その後、品詞付与部３４は、ノードおよびリンクを生成することにより得られた図５の単語ラティスに基づいて、語幹付与部３３から供給された文を構成する各単語の品詞を、各単語に付与する。
【０１０８】
ところで、例えば、品詞付与部３４は、上述したように、図６の単語出現確率テーブル６２から、語幹付与部３３から供給される文を構成する単語についての品詞IDおよび単語出現確率を読み出すことにより、語幹付与部３３から供給される文を構成する単語についてのノードを生成する。
【０１０９】
しかしながら、語幹付与部３３から供給された文を構成する注目単語が、その注目単語についての品詞IDおよび単語出現確率が図６の単語出現確率テーブル６２に保持されていない未知語である場合、図６の単語出現確率テーブル６２からは、注目単語についての品詞IDおよび単語出現確率を得ることができず、従って、注目単語についてのノードを生成することができない。
【０１１０】
そこで、図１の品詞付与部３４では、注目単語が、その注目単語についての品詞IDおよび単語出現確率が図６の単語出現確率テーブル６２に記憶されている既知語である場合には、上述のように、図６の単語出現確率テーブル６２から、その注目単語についてのノードを生成するが、注目単語が未知語である場合には、図７の共起確率テーブル６３から、未知語である注目単語についてのノードを生成する。
【０１１１】
図９は、図１の品詞付与部３４の詳細な構成例を示すブロック図である。
【０１１２】
品詞付与部３４は、品詞候補決定部１０１、単語出現確率決定部１０２、単語ラティス生成部１０３、および単語品詞付与部１０４により構成される。
【０１１３】
なお、品詞付与部３４の品詞候補決定部１０１には、図１の語幹付与部３３から、語幹が付与された各単語により構成される文が供給される。
【０１１４】
品詞候補決定部１０１は、図６の単語出現確率テーブル６２や図７の共起確率テーブル６３を参照することにより、語幹付与部３３から供給された文を構成する各単語を、順次、注目単語として、その注目単語の品詞の候補である注目品詞候補を決定する。
【０１１５】
即ち、注目単語についての品詞IDが図６の単語出現確率テーブル６２に保持されており、従って、注目単語が既知語である場合、品詞候補決定部１０１は、図６の単語出現確率テーブル６２を参照することにより、注目単語についての品詞IDが示す品詞を、注目品詞候補として決定する。
【０１１６】
一方、注目単語についての品詞IDが図６の単語出現確率テーブル６２に保持されておらず、従って、注目単語が未知語である場合、品詞候補決定部１０１は、図７の共起確率テーブル６３を参照することにより、注目単語の前または後ろに隣接する単語である隣接単語の品詞の候補である隣接品詞候補と共起する可能性がある品詞を、注目品詞候補として決定する。
【０１１７】
品詞候補決定部１０１は、注目品詞候補が決定された注目単語を、品詞が注目品詞候補の注目単語として、単語出現確率決定部１０２に供給する。
【０１１８】
単語出現確率決定部１０２は、図６の単語出現確率テーブル６２や図７の共起確率テーブル６３を参照することにより、品詞候補決定部１０１から供給された、品詞が注目品詞候補の注目単語の単語出現確率を決定する。
【０１１９】
即ち、注目単語の単語出現確率が図６の単語出現確率テーブル６２に保持されており、従って、注目単語が既知語である場合、単語出現確率決定部１０２は、図６の単語出現確率テーブル６２を参照することにより、注目単語の単語出現確率を決定する。
【０１２０】
一方、注目単語の単語出現確率が図６の単語出現確率テーブル６２に保持されておらず、従って、注目単語が未知語である場合、単語出現確率決定部１０２は、図７の共起確率テーブル６３が保持する、隣接品詞候補と注目品詞候補との共起確率を参照することにより、注目単語の単語出現確率を決定する。
【０１２１】
文を構成する各単語の単語出現確率が決定された後、単語出現確率決定部１０２は、文を構成する各単語の単語出現確率を、単語ラティス生成部１０３に供給する。
【０１２２】
単語ラティス生成部１０３は、図７の共起確率テーブル６３が保持する共起確率（文の隣接する単語どうしについての共起確率）と、単語出現確率決定部１０２から供給された、文を構成する各単語の単語出現確率とに基づいて、単語ラティス（図５）を生成し、単語品詞付与部１０４に供給する。
【０１２３】
単語品詞付与部１０４は、単語ラティス生成部１０３から供給された単語ラティスの最尤パスを求め、その最尤パスに基づいて、各単語の品詞の品詞IDを決定する。
【０１２４】
さらに、単語品詞付与部１０４は、図３の品詞テーブル６４を参照し、語幹付与部３３から、品詞候補決定部１０１、単語出現確率決定部１０２、および単語ラティス生成部１０３を介して供給される文を構成する各単語に品詞を付与して、図１の複合語品詞付与部３５に供給する。なお、単語品詞付与部１０４には、語幹付与部３３から、品詞候補決定部１０１、単語出現確率決定部１０２、および単語ラティス生成部１０３を介して、語幹が付与された各単語により構成される文が供給される。
【０１２５】
次に、図１０乃至図１７を参照して、注目単語が未知語である場合に、隣接品詞候補と注目品詞候補との共起確率に基づいて、図９の単語出現確率決定部１０２が、品詞が注目品詞候補の注目単語の単語出現確率を決定する単語出現確率決定処理を説明する。
【０１２６】
図１０は、１つの注目品詞候補に対して、１つの隣接品詞候補としての、例えば注目単語の前に隣接する単語（以下、適宜、前隣接単語という）の品詞の候補（以下、適宜、前隣接品詞候補という）が存在する場合に、前隣接品詞候補と注目品詞候補との共起確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１２７】
なお、単語Lの品詞Posを、以下、適宜、品詞L/Posと表す。
【０１２８】
図１０において、品詞L1/Pos1は、前隣接単語L1の前隣接品詞候補Pos1であり、品詞L2/Pos1は、前隣接品詞候補L1/Pos1と共起する可能性がある、注目単語L2の注目品詞候補である。
【０１２９】
また、図１０において、注目品詞候補L2/Pos1の下に示される数字0.02は、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率を示している。
【０１３０】
図１０では、前隣接品詞候補L1/Pos1と共起する可能性がある、単語L2の品詞として、品詞Pos1が存在し、前隣接品詞候補L1/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1| Pos1)が0.02となっている。
【０１３１】
単語出現確率決定部１０２は、1つの注目品詞候補L2/Pos1に対して、１つの隣接品詞候補としての、例えば前隣接品詞候補L1/Pos1が存在する場合、前隣接品詞候補L1/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.02を、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率として決定する。
【０１３２】
次に、図１１は、1つの注目品詞候補に対して、１つの隣接品詞候補としての、例えば注目単語の後ろに隣接する単語（以下、適宜、後隣接単語という）の品詞の候補（以下、適宜、後隣接品詞候補という）が存在する場合に、後隣接品詞候補と注目品詞候補との共起確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１３３】
図１１において、品詞L3/Pos1は、後隣接単語L3の後隣接品詞候補Pos1であり、品詞L2/Pos1は、後隣接品詞候補L3/Pos1と共起する可能性がある、注目単語L2の注目品詞候補である。
【０１３４】
また、図１１において、注目品詞候補L2/Pos1の下に示される数字0.01は、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率を示している。
【０１３５】
図１１では、後隣接品詞候補L3/Pos1と共起する可能性がある、単語L2の品詞として、品詞Pos1が存在し、後隣接品詞候補L3/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1| Pos1)が0.01となっている。
【０１３６】
単語出現確率決定部１０２は、1つの注目品詞候補L2/Pos1に対して、１つの隣接品詞候補としての、例えば後隣接品詞候補L3/Pos1が存在する場合、後隣接品詞候補L3/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1| Pos1)=0.02を、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率として決定する。
【０１３７】
次に、図１２は、1つの注目品詞候補に対して、２つの隣接品詞候補としての、例えば１つの前隣接品詞候補と１つの後隣接品詞候補とが存在する場合に、前隣接品詞候補と注目品詞候補との共起確率、および後隣接品詞候補と注目品詞候補との共起確率のうちの1の共起確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１３８】
図１２において、品詞L1/Pos1は、前隣接単語L1の前隣接品詞候補Pos1であり、品詞L3/Pos1は、後隣接単語L3の後隣接品詞候補Pos1である。また、品詞L2/Pos1は、前隣接品詞候補L1/Pos1および後隣接品詞候補L3/Pos1と共起する可能性がある、注目単語L2の注目品詞候補である。
【０１３９】
さらに、図１２において、注目品詞候補L2/Pos1の下に示される数字0.02は、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率を示している。
【０１４０】
図１２では、前隣接品詞候補L1/Pos1と共起する可能性がある、単語L2の品詞として、品詞Pos1が存在し、前隣接品詞候補L1/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)が0.02となっている。
【０１４１】
また、図１２では、後隣接品詞候補L3/Pos1と共起する可能性がある、単語L2の品詞として、品詞Pos1が存在し、後隣接品詞候補L3/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)が0.01となっている。
【０１４２】
単語出現確率決定部１０２は、1つの注目品詞候補L2/Pos1に対して、２つの隣接品詞候補としての、例えば１つの前隣接品詞候補L1/Pos1と１つの後隣接品詞候補L3/Pos1が存在する場合、前隣接品詞候補L1/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.02、および後隣接品詞候補L3/Pos1と注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.01のうちの、例えば最大値の共起確率P(Pos1|Pos1)=0.02を、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率として決定する。
【０１４３】
図１３は、１つの注目品詞候補に対して、前隣接品詞候補が複数存在する場合に、複数の前隣接品詞候補それぞれと注目品詞候補との共起確率のうちの最大値の共起確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１４４】
図１３では、１つの注目品詞候補L2/Pos1と共起する可能性がある複数の前隣接品詞候補として、前隣接品詞候補L1/Pos1乃至L1/Pos3が存在している。
【０１４５】
そして、図１３では、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)，P(Pos1|Pos2)，P(Pos1|Pos3)が、それぞれ、0.02，0.01，0.5となっている。
【０１４６】
単語出現確率決定部１０２は、１つの注目品詞候補L2/Pos1に対して、複数の前隣接品詞候補L1/Pos1乃至L1/Pos3が存在する場合、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.02，P(Pos1|Pos2)=0.01，P(Pos1|Pos3)=0.5のうちの最大値の共起確率P(Pos1|Pos3)=0.5を、品詞が品詞候補L2/Pos1の注目単語L2の単語出現確率として決定する。
【０１４７】
図１４は、１つの注目品詞候補に対して、後隣接品詞候補が複数存在する場合に、注目品詞候補と複数の後隣接品詞候補それぞれとの共起確率のうちの最大値の共起確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１４８】
図１４では、１つの注目品詞候補L2/Pos1と共起する可能性がある複数の後隣接品詞候補として、後隣接品詞候補L3/Pos1乃至L3/Pos3が存在している。
【０１４９】
そして、図１４では、注目品詞候補L2/Pos1と３つの後隣接品詞候補L3/Pos1乃至L3/Pos3との共起確率P(Pos1|Pos1)，P(Pos2|Pos1)，P(Pos3|Pos1)が、それぞれ、0.01，0.04，0.4となっている。
【０１５０】
単語出現確率決定部１０２は、１つの注目品詞候補L2/Pos1に対して、複数の後隣接品詞候補L3/Pos1乃至L3/Pos3が存在する場合、注目品詞候補L2/Pos1と３つの後隣接品詞候補L3/Pos1乃至L3/Pos3それぞれとの共起確率P(Pos1|Pos1)=0.01，P(Pos2|Pos1)=0.04，P(Pos3|Pos1)=0.4のうちの最大値の共起確率P(Pos3|Pos1)=0.4を、品詞が品詞候補L2/Pos1の注目単語L2の単語出現確率として決定する。
【０１５１】
図１５は、１つの注目品詞候補に対して、前隣接品詞候補と後隣接品詞候補が複数存在する場合に、複数の前隣接品詞候補それぞれと注目品詞候補との共起確率、および注目品詞候補と複数の後隣接品詞候補それぞれとの共起確率のうちの最大値の共起確率を、品詞が注目品詞候補の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１５２】
図１５では、１つの注目品詞候補L2/Pos1と共起する可能性がある複数の前隣接品詞候補として、前隣接品詞候補L1/Pos1乃至L1/Pos3が存在している。
【０１５３】
そして、図１５では、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)，P(Pos1|Pos2)，P(Pos1|Pos3)が、それぞれ、0.02，0.01，0.5となっている。
【０１５４】
また、図１５では、１つの注目品詞候補L2/Pos1と共起する可能性がある複数の後隣接品詞候補として、後隣接品詞候補L3/Pos1乃至L3/Pos3が存在している。
【０１５５】
そして、図１５では、注目品詞候補L2/Pos1と３つの後隣接品詞候補L3/Pos1乃至L3/Pos3それぞれとの共起確率P(Pos1|Pos1)，P(Pos2|Pos1)，P(Pos3|Pos1)が、それぞれ、0.01，0.04，0.4となっている。
【０１５６】
単語出現確率決定部１０２は、１つの注目品詞候補L2/Pos1に対して、複数の前隣接品詞候補L1/Pos1乃至L1/Pos3と複数の後隣接品詞候補L3/Pos1乃至L3/Pos3とが存在する場合、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.02，P(Pos1|Pos2)=0.01，P(Pos1|Pos3)=0.5、および注目品詞候補L2/Pos1と３つの後隣接品詞候補L3/Pos1乃至L3/Pos3それぞれとの共起確率P(Pos1|Pos1)=0.01，P(Pos2|Pos1)=0.04，P(Pos3|Pos1)=0.4のうちの最大値の共起確率P(Pos1|Pos3)=0.5を、品詞が品詞候補L2/Pos1の注目単語L2の単語出現確率として決定する。
【０１５７】
図１６は、１つの前隣接品詞候補と共起する可能性がある注目品詞候補が複数存在する場合に、前隣接品詞候補と注目品詞候補との共起確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１５８】
図１６において、品詞L1/Pos1は、前隣接単語L1の前隣接品詞候補Pos1であり、品詞L2/Pos(n)は、前隣接品詞候補L1/Pos1と共起する可能性がある、注目単語L2の注目品詞候補である（n=1,2,…,N）。
【０１５９】
また、図１６において、注目品詞候補L2/Pos(n)の下に示される数字は、品詞が注目品詞候補L2/Pos(n)の注目単語L2の単語出現確率を示している。
【０１６０】
図１６では、前隣接品詞候補L1/Pos1と共起する可能性がある、単語L2の品詞として、複数であるN個の品詞Pos1,Pos2,…,PosNが存在している。
【０１６１】
単語出現確率決定部１０２は、１つの前隣接品詞候補L1/Pos1と共起する可能性がある複数の注目品詞候補L2/Pos1,L2/Pos2,…,L2/PosNが存在する場合、図１０で説明した場合と同様にして、前隣接品詞候補L1/Pos１とn番目の注目品詞候補L2/Pos(n)との共起確率P(Pos(n)|Pos1)を、品詞がn番目の品詞候補L2/Pos(n)の注目単語L2の単語出現確率として決定する。
【０１６２】
図１６では、例えば、前隣接品詞候補L1/Pos１と注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)が0.02となっており、その共起確率P(Pos1|Pos1)=0.02が、そのまま、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率として決定されている。なお、単語出現確率決定部１０２は、他の注目品詞候補L2/Pos2,L2/Pos3,…,L2/PosNの注目単語L2の単語出現確率も、同様に決定する。
【０１６３】
図１７は、複数の前隣接品詞候補と共起する可能性がある注目品詞候補が複数存在する場合に、複数の前隣接品詞候補それぞれと注目品詞候補との共起確率のうちの最大値を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０１６４】
図１７では、注目品詞候補L2/Pos(n)と共起する可能性がある複数の前隣接品詞候補として、前隣接品詞候補Pos1乃至Pos3が存在している。
【０１６５】
単語出現確率決定部１０２は、図１３で説明した場合と同様に、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos(n)との共起確率のうちの最大値の共起確率を、品詞が品詞候補L2/Pos(n)の注目単語L2の単語出現確率として決定する。
【０１６６】
次に、図１８のフローチャートを参照して、図１の形態素解析エンジンが、文としての単語列を構成する各単語に、各単語の語幹および品詞を付与する単語解析処理を説明する。
【０１６７】
ステップＳ３１において、文区切り部３１は、文書を文単位に区切る所定のルールに基づいて、そこに供給された文書を文単位に分割し、分割することで得られた文を、単語区切り部３２に供給して、処理は、ステップＳ３２に進む。
【０１６８】
ステップＳ３２において、単語区切り部３２は、文を単語に分割する所定のルールに基づいて、文区切り部３１から供給された文を、その文を構成する単語に分割し、単語に分割された文を、語幹付与部３３に供給する。
【０１６９】
ステップＳ３２の処理の終了後、処理は、ステップＳ３３に進み、語幹付与部３３は、図２の単語テーブル６１を参照することにより、単語区切り部３２から供給された文を構成する各単語に、各単語の語幹を付与する。
【０１７０】
また、ステップＳ３３において、語幹付与部３３は、図２の単語テーブル６１から、単語区切り部３２から供給された文を構成する各単語の単語IDを読み出し、単語IDに対応する、文を構成する単語と対応付ける。
【０１７１】
さらに、ステップＳ３３において、語幹付与部３３は、単語に語幹が付与され、かつ、単語IDが対応付けられた文を、品詞付与部３４に供給して、処理は、ステップＳ３４に進む。
【０１７２】
ステップＳ３４乃至Ｓ３６において、品詞付与部３４は、辞書データベース１２に記憶されている図６の単語出現確率テーブル６２と図７の共起確率テーブル６３とを参照することにより、語幹付与部３３から供給された文としての単語列から単語ラティスを生成する。
【０１７３】
即ち、ステップＳ３４において、品詞付与部３４の品詞候補決定部１０１は、語幹付与部３３から供給された文を構成する各単語の品詞候補を決定する品詞候補決定処理を行う。
【０１７４】
つまり、ステップＳ３４において、品詞付与部３４の品詞候補決定部１０１は、図６の単語出現確率テーブル６２や図７の共起確率テーブル６３を参照することにより、語幹付与部３３から供給された文を構成する各単語を、順次、注目単語として、その注目単語の品詞の候補である注目品詞候補を決定し、注目品詞候補が決定された注目単語を、品詞が注目品詞候補の注目単語として、単語出現確率決定部１０２に供給する。
【０１７５】
その後、処理は、ステップＳ３４からステップＳ３５に進み、単語出現確率決定部１０２は、文を構成する各単語の単語出現確率を決定する単語出現確率決定処理を行う。
【０１７６】
つまり、ステップＳ３５において、単語出現確率決定部１０２は、図６の単語出現確率テーブル６２や図７の共起確率テーブル６３を参照することにより、品詞候補決定部１０１から供給された、品詞が注目品詞候補の注目単語の単語出現確率を決定する。また、ステップＳ３５において、文を構成する各単語の単語出現確率が決定された後、単語出現確率決定部１０２は、文を構成する各単語の単語出現確率を、単語ラティス生成部１０３に供給して、処理は、ステップＳ３６に進む。
【０１７７】
ステップＳ３６において、単語ラティス生成部１０３は、図７の共起確率テーブル６３が保持する共起確率と、単語出現確率決定部１０２から供給された、文を構成する各単語の単語出現確率とに基づいて、単語ラティス（図５）を生成し、単語品詞付与部１０４に供給して、処理は、ステップＳ３７に進む。
【０１７８】
ステップＳ３７において、単語品詞付与部１０４は、単語ラティス生成部１０３から供給された単語ラティスの最尤パスを求め、その最尤パスに基づいて、各単語の品詞の品詞IDを決定する。さらに、ステップＳ３７において、単語品詞付与部１０４は、図３の品詞テーブル６４を参照し、語幹付与部３３から、品詞候補決定部１０１、単語出現確率決定部１０２、および単語ラティス生成部１０３を介して供給される文を構成する各単語に品詞を付与して、図１の複合語品詞付与部３５に供給する。
【０１７９】
なお、単語品詞付与部１０４には、語幹付与部３３から、品詞候補決定部１０１、単語出現確率決定部１０２、および単語ラティス生成部１０３を介して、語幹が付与された各単語により構成される文が供給される。
【０１８０】
その後、処理は、ステップＳ３７からステップＳ３８に進み、複合語品詞付与部３５は、品詞付与部３４（単語品詞付与部１０４）から供給された文に複合語が含まれる場合、辞書データベース１２に記憶されている複合語テーブル６５を参照することにより、品詞付与部３４から供給された文に含まれる、複合語とされる複数の単語を、複合語として、その複合語に、複合語の品詞を付与し、処理は、ステップＳ３９に進む。
【０１８１】
ステップＳ３９において、複合語品詞付与部３５は、品詞付与部３４からの文に含まれる複合語を、「複合語/品詞/語幹」という形式で、図示せぬモニタなどに出力して表示させるとともに、品詞付与部３４から供給された文を構成する各単語のうちの、複合語を構成していない単語を、「単語/品詞/語幹」という形式で、図示せぬモニタ等に出力して表示させて、単語解析処理は終了される。
【０１８２】
次に、図１９のフローチャートを参照して、図１８のステップＳ３４で行われる品詞候補決定処理を詳細に説明する。
【０１８３】
ステップＳ６１において、品詞候補決定部１０１は、語幹付与部３３から供給された文を構成する各単語を、順次、注目単語として、その注目単語が未知語であるか否かを判定する。ステップＳ６１において、注目単語が未知語であると判定された場合、処理は、ステップＳ６３に進み、品詞候補決定部１０１は、図７の共起確率テーブル６３を参照することにより、隣接品詞候補と共起する可能性がある品詞を注目品詞候補として決定し、品詞が注目品詞候補の注目単語を、単語出現確率決定部１０２に供給して、処理は、ステップＳ６４に進む。
【０１８４】
一方、ステップＳ６１において、注目単語が未知語でない、即ち、既知語であると判定された場合、処理は、ステップＳ６２に進み、品詞候補決定部１０１は、図６の単語出現確率テーブル６２を参照することにより、注目単語についての品詞IDが示す品詞を注目品詞候補として決定し、品詞が注目品詞候補の注目単語を、単語出現確率決定部１０２に供給して、処理は、ステップＳ６４に進む。
【０１８５】
ステップＳ６４において、品詞候補決定部１０１は、語幹付与部３３から供給された文を構成する各単語すべてを注目単語としたか否かを判定し、注目単語としていないと判定された場合、処理は、ステップＳ６１に戻り、文を構成する各単語のうちの、まだ注目単語としていない単語を、新たな注目単語として、以下、同様の処理を繰り返す。
【０１８６】
一方、ステップＳ６４において、語幹付与部３３から供給された文を構成する各単語すべてを注目単語としたと判定された場合、処理は、図１８のステップＳ３４にリターンして、その後、ステップＳ３５に進む。
【０１８７】
次に、図２０のフローチャートを参照して、図１８のステップＳ３５で行われる単語出現確率決定処理を詳細に説明する。
【０１８８】
ステップＳ９１において、単語出現確率決定部１０２は、品詞候補決定部１０１から供給された、品詞が注目品詞候補の注目単語が未知語であるか否かを判定する。
【０１８９】
ステップＳ９１において、注目単語が未知語であると判定された場合、処理は、ステップＳ９３に進み、単語出現確率決定部１０２は、図７の共起確率テーブル６３が保持する、隣接品詞候補と注目品詞候補との共起確率を参照することにより、品詞候補決定部１０１から供給された注目単語の単語出現確率を決定して、処理は、ステップＳ９４に進む。
【０１９０】
一方、ステップＳ９１において、注目単語が既知語であると判定された場合、処理は、ステップＳ９２に進み、単語出現確率決定部１０２は、図６の単語出現確率テーブル６２を参照することにより、品詞候補決定部１０１から供給された注目単語の単語出現確率を決定して、処理は、ステップＳ９４に進む。
【０１９１】
ステップＳ９４において、単語出現確率決定部１０２は、文を構成する各単語すべての単語出現確率を決定したか否かを判定し、文を構成する各単語すべての単語出現確率を決定していないと判定された場合、処理は、ステップＳ９１に戻り、以下、同様の処理を繰り返す。
【０１９２】
一方、ステップＳ９４において、文を構成する各単語すべての単語出現確率を決定したと判定された場合、単語出現確率決定部１０２は、文を構成する各単語の単語出現確率を、単語ラティス生成部１０３に供給し、処理は、図１８のステップＳ３５にリターンして、その後、ステップＳ３６に進む。
【０１９３】
以上のように、図１８のフローチャートを参照して説明した図１の形態素解析エンジンが行う単語解析処理では、注目単語が既知語である場合、図６の単語出現確率テーブル６２を参照することにより、注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定される他、注目単語が未知語である場合、図７の共起確率テーブル６３を参照することにより、注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定される。
【０１９４】
従って、文としての単語列に未知語が含まれる場合でも、単語列の隣接する単語どうしについての共起確率と、単語列を構成する各単語の単語出現確率とに基づいて、単語ラティスが生成されるため、未知語に、その未知語の品詞を付与することができる。
【０１９５】
また、単語列において未知語が続く場合でも、例えば、未知語である注目単語に隣接する隣接単語が既知語であるときには、隣接単語の隣接品詞候補に基づいて、いわば、芋づる式に、注目単語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定されるため、未知語が続く単語列から単語ラティスを生成することができ、未知語に品詞を付与することができる。
【０１９６】
即ち、未知語である注目単語に隣接する隣接単語の隣接品詞候補に基づいて、注目単語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定され、いま決定された未知語の品詞候補に基づいて、次に注目単語とされる未知語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定されて、以下、同様の処理が繰り返されることにより、すべての未知語に対して、未知語の品詞候補、および未知語の単語出現確率が決定されるため、未知語が続く場合でも、単語ラティスを生成することができ、未知語に品詞を付与することができる。
【０１９７】
さらに、単語列において未知語がn-1個以上続く場合でも、単語列の隣接する単語どうしについての共起確率（バイグラム（bigram））により、未知語である注目単語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定されるため、未知語が続く回数に応じて選択され、未知語に品詞を付与するために用いられる複数のn-gramの共起確率を記憶しておく必要がなく、単語列の隣接する単語どうしについての共起確率を辞書データベース１２に記憶しておけばよいことから、複数のn-gramの共起確率を記憶するときと比較して、メモリ容量を節約することができる。
【０１９８】
また、図１の形態素解析エンジンが行う単語解析処理では、例えば、文「t1（既知語）,t2（未知語）,t3（未知語）,t4（既知語）」を構成する各単語のうちの未知語である単語t2およびt3に品詞を付与する場合、既知語である単語t4（の品詞候補）を考慮した単語ラティス、つまり、単語t4についてのノードを有する単語ラティスを生成することにより、単語t2およびt3に品詞を付与することができるため、単語t4の品詞を考慮しない、単語t1の品詞、単語t2の品詞の候補、単語t3の品詞の候補が、この順番で共起する3-gramの共起確率に基づいて、単語t2およびt3に品詞を付与する場合と比較して、未知語に正確に品詞を付与することができる。
【０１９９】
また、図６の単語出現確率テーブル６２が保持する単語出現確率や、図７の共起確率テーブル６３が保持する共起確率等の確率分布が、実際の言語の確率分布を表わしているならば、実際の言語の確率分布に基づく品詞の付与を行うことができるため、あたかも人間が、文を構成する各単語に品詞を付与したかのような結果を得ることができる。
【０２００】
なお、図１２乃至図１５を参照して説明した単語出現確率決定処理では、複数の隣接品詞候補それぞれと注目品詞候補との共起確率のうちの、例えば最大値の共起確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定することとしたが、複数の隣接品詞候補それぞれと注目品詞候補との共起確率を合計した合計値を、品詞が注目品詞候補の注目単語の単語出現確率として決定するようにしてもよい。
【０２０１】
図２１は、１つの注目品詞候補に対して、隣接品詞候補としての前隣接品詞候補が複数存在する場合に、複数の隣接品詞候補それぞれと注目品詞候補との共起確率の合計値を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０２０２】
図２１では、図１３の場合と同様、１つの注目品詞候補L2/Pos1と共起する可能性がある複数の前隣接品詞候補として、前隣接品詞候補L1/Pos1乃至L1/Pos3が存在している。
【０２０３】
そして、図２１では、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)，P(Pos1|Pos2)，P(Pos1|Pos3)が、それぞれ、0.02，0.01，0.5となっている。
【０２０４】
単語出現確率決定部１０２は、１つの注目品詞候補L2/Pos1に対して、複数の前隣接品詞候補L1/Pos1乃至L1/Pos3が存在する場合、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.02，P(Pos1|Pos2)=0.01，P(Pos1|Pos3)=0.5の合計値0.53(=0.02+0.01+0.5)を、品詞が品詞候補L2/Pos1の注目単語L2の単語出現確率として決定する。
【０２０５】
図２２は、複数の前隣接品詞候補と共起する可能性がある注目品詞候補が複数存在する場合に、複数の前隣接品詞候補それぞれと注目品詞候補との共起確率の合計値を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０２０６】
図２２では、注目品詞候補L2/Pos(n)と共起する可能性がある複数の前隣接品詞候補として、前隣接品詞候補L1/Pos1乃至L1/Pos3が存在している。
【０２０７】
単語出現確率決定部１０２は、図２１で説明した場合と同様に、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos(n)との共起確率の合計値を、品詞が品詞候補L2/Pos(n)の注目単語L2の単語出現確率として決定する。
【０２０８】
図２３は、本発明を適用した形態素解析エンジンの一実施の形態の第２の構成例を示すブロック図である。
【０２０９】
なお、図中、図１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２１０】
即ち、図２３の形態素解析エンジンは、単語解析部１１の品詞付与部３４に代えて、品詞付与部４４が設けられており、辞書データベース１２に、新たに品詞出現確率テーブル２０１が記憶されているほかは、図１の場合と同様に構成されている。
【０２１１】
品詞付与部４４には、語幹付与部３３から、単語に語幹が付与され、かつ、単語IDが対応付けられた文が供給される。
【０２１２】
品詞付与部４４は、図６の単語出現確率テーブル６２や、図７の共起確率テーブル６３、品詞を一意に識別する品詞IDと、その品詞が出現する確率である品詞出現確率とを対応付けた品詞出現確率テーブル２０１を参照することにより、語幹付与部３３から供給された文としての単語列から単語ラティス（図５）を生成する。
【０２１３】
そして、品詞付与部４４は、語幹付与部３３から供給された文としての単語列から生成された単語ラティスに基づいて、語幹付与部３３から供給された文を構成する各単語の品詞の品詞IDを決定し、図３の品詞テーブル６４を参照することにより、語幹付与部３３から供給された文を構成する各単語に、各単語の品詞を付与する。
【０２１４】
品詞付与部４４は、単語に品詞が付与された文を、複合語品詞付与部３５に供給する。
【０２１５】
図２４は、図２３の辞書データベース１２に記憶されている品詞出現確率テーブル２０１を示す図である。
【０２１６】
図１９の品詞出現確率テーブル２０１には、品詞IDと、その品詞IDが表す品詞の品詞出現確率とが対応付けられている。
【０２１７】
次に、図２５は、図２３の品詞付与部４４の詳細な構成例を示すブロック図である。
【０２１８】
なお、図中、図９の品詞付与部３４に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２１９】
即ち、図２５の品詞付与部４４は、図９の単語出現確率決定部１０２に代えて、単語出現確率決定部３０２が設けられているほかは、図９の品詞付与部３４と同様に構成されている。
【０２２０】
なお、単語出現確率決定部３０２には、品詞候補決定部１０１から、品詞が注目品詞候補の注目単語が供給される。
【０２２１】
単語出現確率決定部３０２は、図６の単語出現確率テーブル６２や、図７の共起確率テーブル６３、図２４の品詞出現確率テーブル２０１を参照することにより、品詞候補決定部１０１から供給された、品詞が注目品詞候補の注目単語の単語出現確率を決定する。
【０２２２】
即ち、注目単語の単語出現確率が図６の単語出現確率テーブル６２に保持されており、従って、注目単語が既知語である場合、図９の単語出現確率決定部１０２の場合と同様に、単語出現確率決定部３０２は、図６の単語出現確率テーブル６２を参照することにより、注目単語の単語出現確率を決定する。
【０２２３】
一方、注目単語の単語出現確率が図６の単語出現確率テーブル６２に保持されておらず、従って、注目単語が未知語である場合、単語出現確率決定部３０２は、図７の共起確率テーブル６３が保持する、隣接品詞候補と注目品詞候補との共起確率、および図１９の品詞出現確率テーブル２０１が保持する、注目品詞候補の品詞出現確率を参照することにより、注目単語の単語出現確率を決定する。
【０２２４】
文を構成する各単語の単語出現確率が決定された後、単語出現確率決定部３０２は、文を構成する各単語の単語出現確率を、単語ラティス生成部１０３に供給する。
【０２２５】
次に、図２６および図２７を参照して、注目単語が未知語である場合、隣接品詞候補と注目品詞候補との共起確率、および注目品詞候補の品詞出現確率に基づいて、図２５の単語出現確率決定部３０２が、品詞が注目品詞候補の注目単語の単語出現確率を決定する単語出現確率決定処理を説明する。
【０２２６】
図２６は、１つの前隣接品詞候補と共起する可能性がある複数の注目品詞候補が存在する場合、前隣接品詞候補と注目品詞候補との共起確率と、注目品詞候補の品詞出現確率との積を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０２２７】
図２６において、品詞L1/Pos1は、前隣接単語L1の前隣接品詞候補Pos1であり、品詞L2/Pos(n)は、前隣接品詞候補L1/Pos1と共起する可能性がある、注目単語L2の注目品詞候補である（n=1,2,…,N）。
【０２２８】
また、図２６において、注目品詞候補L2/Pos(n)の下に示される数字は、品詞が注目品詞候補L2/Pos(n)の注目単語L2の単語出現確率を示している。
【０２２９】
図２６では、品詞L1/Pos1と共起する可能性がある、単語L2の品詞として、複数であるN個の品詞Pos1,Pos2,…,PosNが存在している。
【０２３０】
ここで、図１６を参照して説明した単語出現確率決定処理では、前隣接品詞候補L1/Pos１とn番目の注目品詞候補L2/Pos(n)との共起確率P(Pos(n)|Pos1)を、品詞がn番目の品詞候補L2/Pos(n)の注目単語L2の単語出現確率として決定されている。
【０２３１】
図２６を参照して説明する単語出現確率決定処理では、前隣接品詞候補L1/Pos１とn番目の注目品詞候補L2/Pos(n)との共起確率P(Pos(n)|Pos1)を求める点で、図１６を参照して説明した単語出現確率決定処理と共通する。
【０２３２】
但し、図２６を参照して説明する単語出現確率決定処理では、前隣接品詞候補L1/Pos１とn番目の注目品詞候補L2/Pos(n)との共起確率P(Pos(n)|Pos1)と、n番目の注目品詞候補L2/Pos(n)の品詞出現確率との積を、品詞がn番目の注目品詞候補L2/Pos(n)の注目単語L2の単語出現確率として決定する点で相違する。
【０２３３】
図２６では、例えば、前隣接品詞候補L1/Pos１と注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)が0.02となっている他、注目品詞候補L2/Pos1の品詞出現確率が0.04となっており、共起確率P(Pos1|Pos1)=0.02と品詞出現確率0.04との積0.02*0.04が、品詞が注目品詞候補L2/Pos１の注目単語L2の単語出現確率として決定されている。なお、単語出現確率決定部３０２は、他の注目品詞候補L2/Pos1，L2/Pos2，L2/Pos3，…，L2/PosNの注目単語L2の単語出現確率も、同様に決定する。
【０２３４】
図２７は、前隣接品詞候補が複数存在する場合に、複数の前隣接品詞候補それぞれと注目品詞候補との共起確率のうちの最大値と、注目品詞候補の品詞出現確率との積を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０２３５】
図２７では、１つの注目品詞候補L2/Pos1と共起する可能性がある複数の前隣接品詞候補として、前隣接品詞候補L1/Pos1乃至L1/Pos3が存在している。
【０２３６】
そして、図２７では、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)，P(Pos1|Pos2)，P(Pos1|Pos3)が、それぞれ、0.02，0.01，0.5となっており、注目品詞候補L2/Pos1の品詞出現確率は0.03となっている。
【０２３７】
ここで、図１３を参照して説明した単語出現確率決定処理では、１つの注目品詞候補L2/Pos1に対して、複数の前隣接品詞候補L1/Pos1乃至L1/Pos3が存在する場合、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.02，P(Pos1|Pos2)=0.01，P(Pos1|Pos3)=0.5のうちの最大値の共起確率P(Pos1|Pos3)=0.5が、品詞が品詞候補L2/Pos1の注目単語L2の単語出現確率として決定されている。
【０２３８】
図２７を参照して説明する単語出現確率決定処理では、１つの注目品詞候補L2/Pos1に対して、複数の前隣接品詞候補L1/Pos1乃至L1/Pos3が存在する場合、３つの前隣接品詞候補L1/Pos1乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率P(Pos1|Pos1)=0.02，P(Pos1|Pos2)=0.01，P(Pos1|Pos3)=0.5のうちの最大値の共起確率P(Pos1|Pos3)=0.5を求める点で、図１３を参照して説明した単語出現確率決定処理と共通する。
【０２３９】
但し、図２７を参照して説明する単語出現確率決定処理では、複数の前隣接品詞候補L1/Pos１乃至L1/Pos3それぞれと注目品詞候補L2/Pos1との共起確率のうちの最大値の共起確率P(Pos1|Pos1)=0.5と、注目品詞候補L2/Pos1の品詞出現確率0.03との積0.5*0.03を、注目単語L2の単語出現確率として決定する点で相違する。
【０２４０】
以上のように、以上のように、図２３乃至図２７を参照して説明した図２３の形態素解析エンジンが行う単語解析処理では、注目単語が既知語である場合、図６の単語出現確率テーブル６２を参照することにより、注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定される他、注目単語が未知語である場合、図７の共起確率テーブル６３を参照することにより注目品詞候補が決定され、図７の共起確率テーブル６３および図２４の品詞出現確率テーブル２０１を参照することにより、品詞が注目品詞候補の注目単語の単語出現確率が決定される。
【０２４１】
従って、文としての単語列に未知語が含まれる場合でも、単語列の隣接する単語どうしについての共起確率と、単語列を構成する各単語の単語出現確率とに基づいて、単語ラティスが生成されるため、未知語に、その未知語の品詞を付与することができる。
【０２４２】
また、単語列において未知語が続く場合でも、例えば、未知語である注目単語に隣接する隣接単語が既知語であるときには、隣接単語の隣接品詞候補に基づいて、いわば、芋づる式に、注目単語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定されるため、未知語が続く単語列から単語ラティスを生成することができ、未知語に品詞を付与することができる。
【０２４３】
即ち、未知語である注目単語に隣接する隣接単語の隣接品詞候補に基づいて、注目単語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定され、いま決定された未知語の品詞候補に基づいて、次に注目単語とされる未知語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定されて、以下、同様の処理が繰り返されることにより、すべての未知語に対して、未知語の品詞候補、および未知語の単語出現確率が決定されるため、未知語が続く場合でも、単語ラティスを生成することができ、未知語に品詞を付与することができる。
【０２４４】
さらに、単語列において未知語がn-1個以上続く場合でも、単語列の隣接する単語どうしについての共起確率（バイグラム（bigram））により、未知語である注目単語の注目品詞候補、および品詞が注目品詞候補の注目単語の単語出現確率が決定されるため、未知語が続く回数に応じて選択され、未知語に品詞を付与するために用いられる複数のn-gramの共起確率を記憶しておく必要がなく、単語列の隣接する単語どうしについての共起確率と品詞の品詞出現確率とを辞書データベース１２に記憶しておけばよいことから、複数のn-gramの共起確率を記憶するときと比較して、メモリ容量を節約することができる。
【０２４５】
また、図２３の形態素解析エンジンが行う単語解析処理では、例えば、文「t1（既知語）,t2（未知語）,t3（未知語）,t4（既知語）」を構成する各単語のうちの未知語である単語t2およびt3に品詞を付与する場合、既知語である単語t4（の品詞候補）を考慮した単語ラティス、つまり、単語t4についてのノードを有する単語ラティスを生成することにより、単語t2およびt3に品詞を付与することができるため、単語t4の品詞を考慮しない、単語t1の品詞、単語t2の品詞の候補、単語t3の品詞の候補が、この順番で共起する3-gramの共起確率に基づいて、単語t2およびt3に品詞を付与する場合と比較して、未知語に正確に品詞を付与することができる。
【０２４６】
また、図６の単語出現確率テーブル６２が保持する単語出現確率や、図７の共起確率テーブル６３が保持する共起確率、図２４の品詞出現確率テーブル２０１が保持する品詞出現確率等の確率分布が、実際の言語の確率分布を表わしているならば、実際の言語の確率分布に基づく品詞の付与を行うことができるため、あたかも人間が、文書を構成する各単語に品詞を付与したかのような結果を得ることができる。
【０２４７】
ところで、図２６を参照して説明した単語出現確率決定処理では、単語出現確率決定部３０２は、注目品詞候補L2/Pos1と前隣接品詞候補L1/Pos１との共起確率P(Pos1|Pos1)=0.02と、注目品詞候補L2/Pos1の品詞出現確率0.04との積0.02*0.04を、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率として決定することとしたが、例えば、注目品詞候補L2/Pos1の品詞出現確率0.04を、品詞が注目品詞候補L1/Pos１の注目単語L1の単語出現確率として決定するようにしてもよい。
【０２４８】
図２８は、注目品詞候補の品詞出現確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０２４９】
図２８において、品詞L1/Pos1は、前隣接単語L1の前隣接品詞候補Pos1であり、品詞L2/Pos(n)は、前隣接品詞候補L1/Pos1と共起する可能性がある、注目単語L2の注目品詞候補である（n=1,2,…,N）。
【０２５０】
また、図２８において、注目品詞候補L2/Pos(n)の下に示される数字は、品詞が注目品詞候補Pos(n)の注目単語L2の単語出現確率を示している。
【０２５１】
単語出現確率決定部３０２は、注目品詞候補L2/Pos(n)の品詞出現確率を、品詞が注目品詞候補L2/Pos(n)の注目単語の単語出現確率として決定する。
【０２５２】
図２８では、例えば、注目品詞候補L2/Pos1の品詞出現確率が0.04となっており、その品詞出現確率0.04が、そのまま、品詞が注目品詞候補L2/Pos1の注目単語L2の単語出現確率として決定されている。なお、単語出現確率決定部３０２は、他の注目品詞候補L2/Pos2,L2/Pos3,…,L2/PosNの注目単語L2の単語出現確率も、同様に決定する。
【０２５３】
この場合、図２６を参照して説明した、前隣接品詞候補と注目品詞候補との共起確率と、注目品詞候補の品詞出現確率との積を、品詞が注目品詞候補の注目単語の単語出現確率として決定する場合と比較して、図７の共起確率テーブル６３から前隣接品詞候補と注目品詞候補との共起確率を読み出す処理と、その共起確率と、注目品詞候補の品詞出現確率とを乗算する処理とを省略することができるため、注目単語の単語出現確率をより迅速に決定することができる。
【０２５４】
また、注目品詞候補が複数存在する場合には、複数の注目品詞候補の注目単語の単語出現確率すべてを、同一の単語出現確率として決定するようにしてもよい。
【０２５５】
図２９は、注目品詞候補が複数存在する場合には、複数の注目品詞候補の注目単語の単語出現確率すべてを、同一の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【０２５６】
図２９において、品詞L1/Pos1は、前隣接単語L1の前隣接品詞候補Pos1であり、品詞L2/Pos(n)は、前隣接品詞候補L1/Pos1と共起する可能性がある、注目単語L2の注目品詞候補である（n=1,2,…,N）。
【０２５７】
また、図２９において、注目品詞候補L2/Pos(n)の下に示される数字は、品詞が注目品詞候補L2/Pos(n)の注目単語L2の単語出現確率を示している。
【０２５８】
単語出現確率決定部１０２や単語出現確率決定部３０２は、品詞が注目品詞候補L2/Pos(n)の注目単語L2の単語出現確率それぞれを、例えば、注目品詞候補の総数を表すN分の１などの同一の単語出現確率に決定する。
【０２５９】
図２９では、注目品詞候補の総数が1000個であり、従って、品詞が注目品詞候補L2/Pos(n)の注目単語L2の単語出現確率それぞれが、値1/1000=0.001をとる同一の単語出現確率として決定されている。
【０２６０】
この場合、図２８を参照して説明した、注目品詞候補の品詞出現確率を、品詞が注目品詞候補の注目単語の単語出現確率として決定する場合と比較して、図２４の品詞出現確率テーブル２０１から、注目品詞候補の品種出現確率を読み出す必要がないため、注目単語の単語出現確率をより迅速に決定することができる。
【０２６１】
なお、図９（図２５）の品詞候補決定部１０１では、注目単語が未知語である場合、図７の共起確率テーブル６３を参照することにより、隣接品詞候補と共起する可能性がある品詞を、注目品詞候補として決定することとしたが、例えば、隣接品詞候補と複数の品詞それぞれとの共起確率が最大値をとるときの、複数の品詞のうちの１の品詞を、注目品詞候補（注目単語の品詞）として決定するようにしてもよい。
【０２６２】
図３０は、品詞候補決定部１０１が、隣接品詞候補と複数の品詞それぞれとの共起確率が最大値をとるときの、複数の品詞のうちの１の品詞を、注目品詞候補として決定する品詞候補決定処理を説明する図である。
【０２６３】
図３０において、品詞L1/Pos1は、前隣接単語L1の前隣接品詞候補Pos1であり、品詞L2/Pos10は、前隣接品詞候補L1/Pos1と品詞Pos(n)との共起確率が最大値の共起確率P(Pos10|Pos1)=0.2をとるときの品詞を示している（n=1,2,…,10,…,N）。
【０２６４】
図３０では、前隣接品詞候補L1/Pos1と共起する可能性がある、単語L2の品詞として、品詞Pos1,Pos2,…,Pos10,…,PosNが存在し、前隣接品詞候補L1/Pos1と注目品詞候補L2/Pos10との共起確率P(Pos10|Pos1)が、前隣接品詞候補L1/Pos1と複数の注目品詞候補L2/Pos(n)それぞれとの共起確率のうちの最大値の共起確率である0.2となっている。
【０２６５】
品詞候補決定部１０１は、前隣接品詞候補L1/Pos1と共起する可能性がある品詞Pos(n)のうちの1の品詞を、注目単語L1の注目品詞候補として決定する。
【０２６６】
図３０では、例えば、隣接品詞候補L1/Pos1と複数の品詞Pos(n)との共起確率が最大値の共起確率P(Pos10|Pos1)=0.2をとるときの、複数の品詞Pos(n)のうちの1の品詞Pos10が、注目品詞候補として決定されている。
【０２６７】
なお、図３０を参照して説明した品詞候補決定処理では、１の品詞が注目品詞候補とされ、従って、その注目品詞候補が必ず注目単語の品詞とされるため、品詞が注目品詞候補の注目単語の単語出現確率としては、例えば、値１をとるようしてもよい。
【０２６８】
また、品詞候補決定部１０１では、注目単語が未知語である場合、図３の品詞テーブル６４に保持された品詞すべてを、注目品詞候補として決定することができる。
【０２６９】
次に、図３１は、本発明を適用した形態素解析エンジンの一実施の形態の第３の構成例を示すブロック図である。
【０２７０】
なお、図中、図２３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０２７１】
即ち、図３１の形態素解析エンジンは、新たに学習部１３が設けられているほかは、図２３の場合と同様に構成される。
【０２７２】
なお、図３１の形態素解析エンジンには、例えば、ユーザが、図示せぬ操作部を操作することにより、テキストデータとしての文書や新聞等の文のサンプルである学習コーパスが、その学習コーパスを構成する各単語に、各単語の品詞が付与された形で入力されるようになっており、このとき、学習部１３には、学習コーパスが供給される。
【０２７３】
学習部１３は、例えば、図３１の形態素解析エンジンが行う単語解析処理が行われる前に、入力される学習コーパスに基づいて、図６の単語出現確率テーブル６２や、図７の共起確率テーブル６３、図２４の品詞出現確率テーブル２０１を生成し、辞書データベース１２に供給して記憶させる。
【０２７４】
また、学習部１３は、学習コーパスに基づいて、必要に応じて、図６の単語出現確率テーブル６２や、図７の共起確率テーブル６３、図１９の品詞出現確率テーブル２０１を生成するようにしてもよい。
【０２７５】
また、例えば、図２の単語テーブル６１や図３の品詞テーブル６４、図４の複合語テーブル６５については、英語の辞書などを学習コーパスとして用いることにより、学習部１３により生成される。
【０２７６】
上述した図１８の単語解析処理、図１９の品詞候補決定処理、および図２０の単語出現確率決定処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。図１８の単語解析処理、図１９の品詞候補決定処理、および図２０の単語出現確率決定処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２７７】
図３２は、プログラムを実行することにより上述した図１８の単語解析処理、図１９の品詞候補決定処理、および図２０の単語出現確率決定処理を行うコンピュータの構成例を示すブロック図である。
【０２７８】
CPU(Central Processing Unit)９０１は、ROM(Read Only Memory)９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。
【０２７９】
CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、モニタ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。
【０２８０】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２８１】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され、記憶される。
【０２８２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３２に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記憶部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２８３】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２８５】
【図１】本発明を適用した形態素解析エンジンの一実施の形態の第１の構成例を示すブロック図である。
【図２】図１の辞書データベース１２に記憶されている単語テーブル６１を示す図である。
【図３】図１の辞書データベース１２に記憶されている品詞テーブル６４を示す図である。
【図４】図１の辞書データベース１２に記憶されている複合語テーブル６５を示す図である。
【図５】図１の品詞付与部３４が生成する単語ラティスを示す図である。
【図６】図１の辞書データベース１２に記憶されている単語出現確率テーブル６２を示す図である。
【図７】図１の辞書データベース１２に記憶されている共起確率テーブル６３を示す図である。
【図８】図６の単語出現確率テーブル６２および図７の共起確率テーブル６３についてのHMMを示す図である。
【図９】図１の品詞付与部３４の詳細な構成例を示すブロック図である。
【図１０】前隣接品詞候補と注目品詞候補との共起確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１１】注目品詞候補と後隣接品詞候補との共起確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１２】前隣接品詞候補と注目品詞候補との共起確率、および注目品詞候補と後隣接品詞候補との共起確率のうちの1の共起確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１３】複数の前隣接品詞候補それぞれと注目品詞候補との共起確率のうちの最大値の共起確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１４】注目品詞候補と複数の後隣接品詞候補それぞれとの共起確率のうちの最大値の共起確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１５】複数の前隣接品詞候補および後隣接品詞候補それぞれと注目品詞候補との共起確率のうちの最大値の共起確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１６】前隣接品詞候補と注目品詞候補との共起確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１７】複数の前隣接品詞候補それぞれと注目品詞候補との共起確率のうちの最大値を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図１８】単語解析処理を説明するフローチャートである。
【図１９】図１８のステップＳ３４の品詞候補決定処理を説明するフローチャートである。
【図２０】図１８のステップＳ３５の単語出現確率決定処理を説明するフローチャートである。
【図２１】複数の隣接品詞候補それぞれと注目品詞候補との共起確率の合計値を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する第１の図である。
【図２２】複数の前隣接品詞候補それぞれと注目品詞候補との共起確率の合計値を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する第２の図である。
【図２３】本発明を適用した形態素解析エンジンの一実施の形態の第２の構成例を示すブロック図である。
【図２４】図２３の辞書データベース１２に記憶されている品詞出現確率テーブル２０１を示す図である。
【図２５】図２３の品詞付与部４４の詳細な構成例を示すブロック図である。
【図２６】隣接品詞候補と注目品詞候補との共起確率と、注目品詞候補の品詞出現確率との積を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図２７】複数の隣接品詞候補それぞれと注目品詞候補との共起確率のうちの最大値と、注目品詞候補の品詞出現確率との積を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図２８】注目品詞候補の品詞出現確率を、注目単語の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図２９】注目単語の単語出現確率それぞれを、同一の単語出現確率として決定する単語出現確率決定処理を説明する図である。
【図３０】隣接品詞候補と複数の品詞それぞれとの共起確率が最大値をとるときの、複数の品詞のうちの１の品詞を、注目品詞候補として決定する単語出現確率決定処理を説明する図である。
【図３１】本発明を適用した形態素解析エンジンの一実施の形態の第３の構成例を示すブロック図である。
【図３２】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０２８６】
１１  単語解析部，  １２  辞書データベース，  ３１  文区切り部，  ３２  単語区切り部，  ３３  語幹付与部，  ３４  品詞付与部，  ３５  複合語品詞付与部，  ４４  品詞付与部，  ６１  単語テーブル，  ６２  単語出現確率テーブル，  ６３  共起確率テーブル，  ６４  品詞テーブル，  ６５  複合語テーブル，  １０１  品詞候補決定部，  １０２  単語出現確率決定部，  １０３  単語ラティス生成部，  １０４  単語品詞付与部，  ２０１  品詞出現確率テーブル，  ３０２  単語出現確率決定部
【図１】
2008305291.tif 000004
【図２】
2008305291.tif 000005
【図３】
2008305291.tif 000006
【図４】
2008305291.tif 000007
【図５】
2008305291.tif 000008
【図６】
2008305291.tif 000009
【図７】
2008305291.tif 000010
【図８】
2008305291.tif 000011
【図９】
2008305291.tif 000012
【図１０】
2008305291.tif 000013
【図１１】
2008305291.tif 000014
【図１２】
2008305291.tif 000015
【図１３】
2008305291.tif 000016
【図１４】
2008305291.tif 000017
【図１５】
2008305291.tif 000018
【図１６】
2008305291.tif 000019
【図１７】
2008305291.tif 000020
【図１８】
2008305291.tif 000021
【図１９】
2008305291.tif 000022
【図２０】
2008305291.tif 000023
【図２１】
2008305291.tif 000024
【図２２】
2008305291.tif 000025
【図２３】
2008305291.tif 000026
【図２４】
2008305291.tif 000027
【図２５】
2008305291.tif 000028
【図２６】
2008305291.tif 000029
【図２７】
2008305291.tif 000030
【図２８】
2008305291.tif 000031
【図２９】
2008305291.tif 000032
【図３０】
2008305291.tif 000033
【図３１】
2008305291.tif 000034
【図３２】
2008305291.tif 000035