(57)【特許請求の範囲】
【請求項１】
入力した文章を形態素解析する言語処理装置の制御方法であって、
前記言語処理装置が備える辞書検索手段が、前記文章中の所定の文字位置において、単語と該単語の属性情報とを有する解析辞書を検索し、該文字位置を始端とする単語と、該単語の属性情報とを抽出する辞書検索工程と、
形態素解析の結果として前記単語が用いられる場合の、該単語の確からしさを含む前記属性情報に基づいて、前記言語処理装置が備える短単語削除手段が、前記抽出された単語から、所定の確からしさを有する単語の文字長より短い単語を削除する短単語削除工程と、
前記言語処理装置が備える選択手段が、前記短単語削除工程により削除されなかった各単語に対して、前記属性情報に基づいて、前記所定の文字位置を終端とする単語との繋がりを評価し、最適な単語列を選択する選択工程と、
前記言語処理装置が備える出力手段が、前記選択工程により選択された単語列を出力する出力工程と
を備えることを特徴とする言語処理装置の制御方法。
【請求項２】
前記短単語削除工程では、更に、前記所定の確からしさを有する単語内の文字位置を終端とし、前記所定の確からしさを有する単語とは始端が異なる単語を削除することを特徴とする請求項１に記載の言語処理装置の制御方法。
【請求項３】
前記所定の確からしさのレベルを任意に設定可能であることを特徴とする請求項１に記載の言語処理装置の制御方法。
【請求項４】
前記属性情報に含まれる前記単語の確からしさは、該単語が前記辞書検索工程により検索された回数と、該単語が前記選択工程により選択された回数との比に基づいて設定されることを特徴とする請求項１に記載の言語処理装置の制御方法。
【請求項５】
前記属性情報に含まれる前記単語の確からしさは、該単語を含む文字列が前記辞書検索工程により検索された回数と、該単語を含む文字列が前記選択工程により選択された回数との比に基づいて設定されることを特徴とする請求項１に記載の言語処理装置の制御方法。
【請求項６】
入力した文章を形態素解析する言語処理装置であって、
前記文章中の所定の文字位置において、単語と該単語の属性情報とを有する解析辞書を検索し、該文字位置を始端とする単語と、該単語の属性情報とを抽出する辞書検索手段と、
形態素解析の結果として前記単語が用いられる場合の、該単語の確からしさを含む前記属性情報に基づいて、前記抽出された単語から、所定の確からしさを有する単語の文字長より短い単語を削除する短単語削除手段と、
前記短単語削除手段により削除されなかった各単語に対して、前記属性情報に基づいて、前記所定の文字位置を終端とする単語との繋がりを評価し、最適な単語列を選択する選択手段と、
前記選択手段により選択された単語列を出力する出力手段と
を備えることを特徴とする言語処理装置。
【請求項７】
入力した文章を形態素解析する言語処理装置が備えるコンピュータに、
前記文章中の所定の文字位置において、単語と該単語の属性情報とを有する解析辞書を検索し、該文字位置を始端とする単語と、該単語の属性情報とを抽出する辞書検索工程と、
形態素解析の結果として前記単語が用いられた場合の、該単語の確からしさを含む前記属性情報に基づいて、前記抽出された単語から、所定の確からしさを有する単語の文字長より短い単語を削除する短単語削除工程と、
前記短単語削除工程により削除されなかった各単語に対して、前記属性情報に基づいて、前記所定の文字位置を終端とする単語との繋がりを評価し、最適な単語列を選択する選択工程と、
前記選択工程により選択された単語列を出力する出力工程と
を実行させるためのプログラム。
【請求項８】
前記短単語削除工程では、更に、前記所定の確からしさを有する単語内の文字位置を終端とし、前記所定の確からしさを有する単語とは始端が異なる単語を削除することを特徴とする請求項７に記載のプログラム。
【請求項９】
前記所定の確からしさのレベルを任意に設定可能であることを特徴とする請求項７に記載のプログラム。
【請求項１０】
前記属性情報に含まれる確からしさは、該単語が前記辞書検索工程により検索された回数と、該単語が前記選択工程により選択された回数との比に基づいて設定されることを特徴とする請求項７に記載のプログラム。
【請求項１１】
前記属性情報に含まれる確からしさは、該単語を含む文字列が前記辞書検索工程により検索された回数と、該単語を含む文字列が前記選択工程により選択された回数との比に基づいて設定されることを特徴とする請求項７に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は入力する文章を単語の列に分解する形態素解析を行う言語処理装置ならびに言語処理方法に関するものである。
【０００２】
【従来の技術】
形態素解析とは、入力する文章を単語の列に分解する解析であり、自然言語処理の中でも基本的な技術のひとつである。近年では形態素解析の精度も上がり、様々な分野に利用されている。その主な用途の一つとして、自然文章を入力とする高度な情報検索がある。情報検索の場合、例えば、サーバなどに収められたデータのドキュメント検索などでは、検索のためのインデックスを作成するために、サーバに収められた膨大な量の文章データを形態素解析する必要があり、形態素解析の高速化が求められている。
【０００３】
形態素解析の一般的な例を図１に示す。入力文の各文字位置から解析辞書を検索し、文字列に一致した単語全てを抽出し、その組み合わせでできる単語列の中で最適な単語列を、各単語の属性情報などから評価して選択する方法である。
【０００４】
実際には、全ての単語の組み合わせを文末で評価すると膨大な数の組み合わせによる比較が必要になるため、入力文の文頭から各文字位置で辞書検索をして、その位置で検索した各単語について最適な単語列を見つける最適単語パス選択を行うことで形態素解析の高速化を図っている。
【０００５】
図２は文字位置Ｎでの最適単語パス選択の概念図であり、以下に図１の具体例と対比しながら最適単語パス選択について説明する。
【０００６】
図２において、２０１は、文字位置Ｎで辞書検索をして抽出した単語始端リストである（図１でいえば、例えば、「良い（イイ）」、「良い（ヨイ）」、「良（リョウ）」にあたる）。２０２は、直前の文字位置（Ｎ−１）に単語の終端を持つ単語終端リストである（図１でいえば、例えば、「は」、「は（歯）」、「は（刃）」にあたる）。
【０００７】
２０３は、単語始端リスト２０１の各単語に対して、直前の単語終端リスト２０２の各単語の中から最も適した接続であることを表す最適単語パスである。単語始端リスト２０１の各単語（「良い（イイ）」、「良い（ヨイ）」、「良（リョウ）」）に対し、単語終端リスト２０２の各単語（「は」、「は（歯）」、「は（刃）」）と比較し、接続したときの評価値が最も良いパスを最適単語パスとして選択する（図１の場合、「は」と「良い（ヨイ）」との間の接続が最適単語パスである）。
【０００８】
単語始端リスト２０１の各単語の最適単語パス選択が全て終わると、単語始端リスト２０１の各単語それぞれが、その終端文字位置の単語終端リストに自分自身を登録し、次の文字位置へ進む。次の文字位置は、現在の文字位置に最も近く、単語終端リストに単語が登録されている文字位置となる。
【０００９】
単語始端リスト２０１の各単語は、最適単語パス一つを記憶しておけば、文末（図１でいえば、「天気（テンキ）、天（テン）」）において全ての組み合わせを評価する必要はなく、文末の直前の単語（「良い（イイ）」、「良い（ヨイ）」、「い（胃）」または「い（意）」）と等しい数の組み合わせだけが評価対象となる。図１の例でいうと、最適単語パス選択により、「今日（キョウ）は」が選択されているため、評価対象は、▲１▼「今日（キョウ）は良い（イイ）」、▲２▼「今日（キョウ）は良い（ヨイ）」、▲３▼「今日（キョウ）は良（リョウ）い（胃）」または「今日（キョウ）は良（リョウ）い（意）」と、(i)「天気（テンキ）」、(ii)「天（テン）」との組み合わせだけとなり、例えば、「今（イマ）日（ヒ）は（歯）良い（ヨイ）」と、「天気（テンキ）」との組み合わせ等は評価対象外となる。このように最適単語パス選択により、パスの数を限定することで、単語終端リストと単語始端リスト間の組み合わせの数を減らし、形態素解析の高速化が図られてきた。
【００１０】
また、併せて、解析辞書の構造や単語の区分体系、検索方式等を工夫することで更なる辞書検索の高速化、および形態素解析の高速化がなされてきた。
【００１１】
【発明が解決しようとする課題】
しかし、高精度な形態素解析に用いる解析辞書は膨大な語数に及び、一度の辞書検索で複数の単語が抽出されることが多い。このため、単語終端リストや単語始端リストに登録される単語の数が多く、最適単語パス選択を用いても組み合わせ数の削減には限界がある。
【００１２】
一方、辞書検索により単語始端リスト２０１ができた時点で明らかに解析によって選択される単語がありながら、ほぼ確実に選ばれない単語のために、選ばれるであろう単語の途中の位置から辞書検索をする場合がある。そしてかかる最適単語パス選択を行うのは高速化の観点からみて好ましくない。
【００１３】
図３にこの例を示す。辞書検索の結果では最もらしい単語として「生年月日（セイネンガッピ）」が得られているが、「生（ナマ）」、「生（セイ）」があるために次の文字位置「年」から辞書検索する。「年月（ネンゲツ）」、「年（ネン）」、「年（トシ）」がこの文字位置での単語始端リスト２０１に登録され、それぞれに対して直前の単語との最適単語パス選択を行う。
【００１４】
従来の形態素解析は、この繰り返しで、常に最短の単語の文字位置の直後から辞書検索を行い、可能性のある全ての単語に対して最適単語パス選択を行っていた。しかし、結局選択されるのは「生年月日（セイネンガッピ）」となり、そこまでのその他の辞書検索、最適単語パス選択は無駄な処理となってしまう。
【００１５】
本発明は、上記課題を鑑みてなされたものであり、辞書検索、最適単語パス選択における無駄な処理を排除し、言語処理における形態素解析の高速化を図ることを目的とする。
【００１６】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る言語処理装置は以下のような構成を備える。即ち、
入力した文章を形態素解析する言語処理装置であって、
前記文章中の所定の文字位置において、単語と該単語の属性情報とを有する解析辞書を検索し、該文字位置を始端とする単語と、該単語の属性情報とを抽出する辞書検索手段と、
形態素解析の結果として前記単語が用いられる場合の、該単語の確からしさを含む前記属性情報に基づいて、前記抽出された単語から、所定の確からしさを有する単語の文字長より短い単語を削除する短単語削除手段と、
前記短単語削除手段により削除されなかった各単語に対して、前記属性情報に基づいて、前記所定の文字位置を終端とする単語との繋がりを評価し、最適な単語列を選択する選択手段と、
前記選択手段により選択された単語列を出力する出力手段とを備える。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１８】
【第１の実施形態】
図４は本実施形態における自然言語処理装置のブロック図である。同図において、４０１は、形態素解析を行う入力文章である。４０２は、入力文章４０１を保持し、必要に応じて入力文章から一文を切り出してその後の処理に入力文として送る入力文章管理部である。
【００１９】
４０３は、単語とその属性情報が登録されており、形態素解析のために用いる解析辞書である。４０４は、入力文に含まれている文字列に対して解析辞書４０３を検索して解析結果の候補となり得る単語とその属性情報とを抽出して単語始端リスト２０１に登録する辞書検索部である。
【００２０】
４０５は、単語始端リストに登録されている単語の属性情報の一部に含まれる情報を参照し、条件に該当する単語に対して、同じ単語始端リスト２０１に存在し、その単語よりも短い単語を削除する短単語削除部である。４０６は、短単語削除部４０５で削除する条件をユーザが設定する短単語削除レベル設定部である。
【００２１】
４０７は、各文字位置で抽出した単語の中から、最適な単語列を選択して出力する最適単語パス選択部である。４０８は、最適単語パス選択部４０７によって選択された単語列を形態素解析結果として出力する形態素解析結果出力部である。４０９は、本実施形態の自然言語処理装置が出力する出力形態素列である。
【００２２】
図５は、解析辞書４０３に登録されている単語の属性情報を表す図である。５０１は、文字列を入力した検索で抽出した単語に対応する属性情報である。
【００２３】
５０２は、属性情報の一部に含まれ、その単語が検索されたときに短単語削除部４０５において同じ単語始端リスト中の短い単語を削除する処理を行うか否かの基準となる短単語削除情報である。短単語削除情報は、各単語の確からしさを基にレベル値として与えられている。値が高いほど単語の確からしさは高いことを表す。
【００２４】
ユーザは短単語削除レベル設定部４０６において、あらかじめ単語の確からしさがどのレベルの単語まで短単語削除するかを設定する。入力文中の各文字位置において辞書検索部４０４によって文字列と一致する単語を検索し、抽出した単語のリストである単語始端リスト２０１を短単語削除部４０５に渡す。短単語削除部４０５はこの単語始端リストに登録されているそれぞれの単語に対して、短単語削除情報５０２のレベル値と、あらかじめ短単語削除レベル設定部４０６によって設定してあるレベル値を比較する。
【００２５】
選択された単語の短単語削除情報５０２が、短単語削除レベル設定部４０６によって設定してあるレベル値以上の値を持っていれば、同じ単語始端リスト２０１に登録され、かつ、その単語よりも文字長が短い単語を（その単語がレベル値以上の値を持っているか否かに関わらず）単語始端リストから削除する。
【００２６】
かかる処理を、単語始端リスト内のすべての単語に対して行う。なお、選択された単語の短単語削除情報５０２が、短単語削除レベル設定部４０６によって設定してあるレベル値以上の値を持っていない場合には、特に削除処理を行うことなく、次の単語の選択に移る。
【００２７】
かかる処理の結果、単語始端リストには、短単語削除情報５０２が短単語削除レベル設定部４０６によって設定してあるレベル値以上の値を持っている単語のうち文字長が最大のものと、当該文字長よりも文字長の長い単語（かつ、短単語削除情報５０２が、短単語削除レベル設定部４０６によって設定してあるレベル以上の値を持っていない単語）とが残ることとなる。この様子を図６に示す。
【００２８】
図６において、６０１は、短単語削除情報５０２が短単語削除レベル設定部４０６によって設定してあるレベル値以上の値を持つ単語である。６０２は、単語６０１と同じ単語始端リストに存在し、単語６０１以上の文字長を持つ単語である。６０３は、単語６０１と同じ単語始端リストに存在し、単語６０１よりも短い文字長を持つ単語である。
【００２９】
短単語削除部４０５は、選択された単語６０１の短単語削除情報５０２が設定レベル値以上であることを確認した時点で、単語６０１よりも短い単語６０３を単語始端リスト２０１から削除する。
【００３０】
次に、単語６０２の選択に移るが、単語６０２の短単語削除情報５０２は設定レベル値以上でないため、特に削除処理をすることなく、次の単語の選択に移る。図６の場合、すでに単語６０３は削除されており、単語始端リストには未選択の単語はないため、ここで短単語削除処理は終了し、更新した単語始端リスト（図６の場合、単語６０１および６０２）が、最適単語パス選択部４０７に渡される。
【００３１】
最適単語パス選択部４０７は、受け取った単語始端リスト２０１と、直前の文字位置の単語終端リスト２０２とを比較し、各単語の属性情報を基に評価して最適単語パス２０３を作成する。最適単語パス２０３を作成した各単語を、それぞれの文字長に応じた位置の単語終端リスト２０２に登録する。
【００３２】
図７は、本実施形態の自然言語処理装置における、一文の解析のフローチャートである。同図を用いて一文の形態素解析の流れを説明する。まず、ステップＳ７０１において、入力文章管理部４０２が、入力文章から一文を切り出して文入力する。次にステップＳ７０２において、辞書検索の文字位置を一文の先頭にセットする。
【００３３】
次にステップＳ７０３において、辞書検索を行い、現在の文字位置からの文字列に一致する全ての単語を抽出し、現在の文字位置の単語始端リスト２０１に登録する。例えば、入力文が「今日は良い天気です。」で先頭文字から検索した場合、「今（イマ）」、「今（コン）」、「今日（キョウ）」、「今日（コンニチ）」、「今日は（コンニチハ）」などが検索で発見され、単語始端リストに登録される。
【００３４】
次に、短単語削除部４０５は、ステップＳ７０４において、現在の文字位置の単語始端リストの先頭単語を選択し、ステップＳ７０５において、単語の短単語削除情報５０２と短単語削除レベル設定部４０６によって設定したレベル値を比較し、短単語削除情報が設定レベル値以上の場合はステップＳ７０６において単語始端リスト中の単語のうち、現在選択されている単語より文字長の短い単語を削除する。
【００３５】
例えば、「今日（キョウ）」の短単語削除情報５０２が設定レベル値以上であったとすると、「今日（キョウ）」よりも文字長の短い「今（イマ）」、「今（コン）」は削除される。
【００３６】
ステップＳ７０７において単語始端リストの全ての単語の処理を終えていなければステップＳ７０８で単語始端リストの次の単語を選択し、ステップＳ７０５からステップＳ７０８までの処理を繰り返す。
【００３７】
単語始端リストの全ての単語について処理が終わったら、短単語削除部４０５は最適単語パス選択部４０７に単語始端リスト（「今日（キョウ）」）を送り、最適単語パス選択部４０７は、ステップＳ７０９において図２に示す最適単語パス選択を実行し、単語始端リストに含まれる単語それぞれについて最適単語パス２０３を得て、それぞれの単語の終端の文字位置にあわせて単語終端リスト２０２に単語を登録する（なお、文字位置が先頭文字の場合には、ステップＳ７０９の処理は行われない）。
【００３８】
次に、ステップＳ７１０において現在の位置が文末か否かを判定し、文末でなければステップＳ７１１において次の辞書検索文字位置を、次に単語終端リストがある位置の直後に移動させ、ステップＳ７０３に戻る。
【００３９】
例えば、辞書検索文字位置が先頭文字にある場合、ステップＳ７０６により、「今（イマ）」および「今（コン）」は既に削除されているため、「今日（キョウ）」の直後に辞書検索文字位置が移動する。つまり、文字長の短い単語（「今（イマ）」、「今（コン）」）を削除することで、「日（ヒ）」や「日（ニチ）」といった単語を辞書検索する必要がなくなる。
【００４０】
一方、ステップＳ７１０において、文末であると判断された場合には、形態素解析結果出力部４０８は、ステップＳ７１２において、文末から文頭まで最適単語パスをたどり、一つの形態素列を決定し、これを出力する。
【００４１】
ここで、解析辞書４０３に登録されている各単語の短単語削除情報５０２の決定方法について説明する。図８は、短単語削除部４０５を持たない自然言語処理装置において、大量の文章を形態素解析し、単語の文字列が文中に出現した場合の単語を区切る文字列単位としての確からしさを表す文字列確からしさ情報である。
【００４２】
同図において、８０１は、単語の文字列である。８０２は、辞書検索において、文字列８０１が検索された文字列検索回数であり、一度の辞書検索で同型語が複数見つかった場合は一回と数える。８０３は、形態素解析の結果、文字列８０１を持つ単語が出力形態素列の一部に含まれた文字列選択回数である。８０４は、文字列検索回数８０３で文字列選択回数を割った文字列選択率である。
【００４３】
８０５は、文字列検索回数８０２および文字列選択率８０４を評価して文字列を順位付けした文字列順位情報である（図８の文字列確からしさ情報を作成する段階で、文字列検索回数８０２および文字列選択率８０４が閾値に達していないものは削除してある）。
【００４４】
単語の短単語削除情報５０２はこれらの情報を基に設定する。まず、図８の文字列確からしさ情報に含まれていない文字列を持つ単語には最低レベルの０を振る。次に、文字列確からしさ情報に出現している文字列を順位順に一つもしくは複数のレベルに分け、順位の低いほうのレベルからレベル１、２、・・・とレベル値を設定し、これらの文字列を持つ単語の短単語削除情報５０２にそのレベル値を設定する。
【００４５】
これにより、短単語削除情報５０２のレベルの高い単語に関してはその文字列を持つ単語が文中で出現する可能性が高くなり、この単語より短い単語を削除しても精度が落ちることが少ないことになる。ユーザは短単語削除レベル設定部４０６においてどのレベルの単語まで短単語削除を実行するか設定する。
【００４６】
設定レベル値が高ければ短単語削除を実行する単語は少なくなり、削除される単語は少なく速度向上は小さいが精度は保たれる。一方、設定レベル値が低ければ短単語削除を実行する単語は多くなり、削除される単語は多く速度向上も大きいが精度は下がる。
【００４７】
以上の説明から明らかなように、解析辞書に登録されている各単語の属性情報に単語の確からしさを表す情報を持たせ、この情報に基づいてほぼ確実に選択されるであろう単語が表れた場合は、その単語より短い単語を最適単語パス選択の対象から削減することで、単語始端リストおよび単語終端リスト内の単語数を減らし、単語始端リストと単語終端リスト間の組み合わせ数を減らすことが可能となる。
【００４８】
この結果、最適単語パス選択時の比較回数が削減され、形態素解析の高速化が実現できる。また、同じ単語始端リスト内の短い単語を削減することで、当該短い単語に続く次の単語についての辞書検索処理を省くことができるため、辞書検索回数の削減ができ、形態素解析の高速化が実現できる。
【００４９】
【第２の実施形態】
上記実施形態においては、自然言語処理装置を図４のように実装し、形態素解析を図７のように処理するように説明したが、本発明はこれに限るものではない。
【００５０】
例えば、図４において入力文章管理部４０２は入力文章から一文を切り出すと説明したが、自然言語処理装置への入力を一文ずつとすれば入力文章管理部４０２に一文切り出しの機能は必要ない。また、図７において単語始端リストの全ての単語に対して短単語削除処理を行ってから最適単語パス選択を行っているが、この処理をまとめ、単語始端リストのそれぞれの単語に対して、短単語削除処理のあとに最適単語パス選択まで行い、次の単語の短単語削除処理に進むような実装にしても構わない。
【００５１】
【第３の実施形態】
上記実施形態では、事前調査として大量の文章を形態素解析し、単語の文字列を基準として（すなわち、同型語は同じ値を持つ）その検索回数および選択率を求めて、短単語削除情報５０２を複数のレベルに設定したが、本発明の短単語削除情報５０２の設定方法はこれに限るものではない。
【００５２】
例えば文字列ではなく単語ごとに検索回数に対する選択回数を求めて単語の確からしさを順位付けしてレベルを決定してもよいし、さらには人手で各単語に単語の確からしさを振っても構わない。 また、文字列順位情報８０５をそのまま短単語削除情報５０２として使っても構わない。この場合は短単語削除情報５０２の値が小さいほどレベルが高いことを意味し、図７のステップＳ７０５の不等号は逆転する。
【００５３】
【第４の実施形態】
上記実施形態においては形態素解析のベースとなる最適単語パス選択を図２のように説明したが、本発明はこれに限るものではない。例えば、各文字位置の単語始端リスト、単語終端リストは必須なものではない。
【００５４】
【第５の実施形態】
上記実施形態においては、単語始端リスト２０１に単語の短単語削除情報５０２が設定レベル以上である単語６０１が含まれる場合に、同じ単語始端リストに含まれる６０１よりも短い単語６０３を単語始端リストから削除しているがこれに限らない。
【００５５】
本実施形態では、単語の短単語削除情報５０２が設定レベル以上である単語６０１の途中位置で終わる単語を全て最適単語パスの探索候補から外す場合について述べる。この様子を図９に示す。
【００５６】
同図において、９０１は、短単語削除情報のレベルがユーザの設定レベルよりも高い単語である。９０２は、単語９０１の始端よりも手前もしくは単語９０１の終端よりも後に終端を持つ単語である。９０３は、単語９０１の文字列の途中位置に終端を持つ単語である。
【００５７】
同図において、単語９０１の短単語削除情報５０２が設定レベル以上であった時点で、同じ単語始端リストに含まれる単語に限らず、単語９０１の途中位置に終端を持つ単語９０３を全て最適単語パス選択の候補から省くことにより、上記実施形態と同様に最適単語パス選択回数及び辞書検索回数を削減し、処理を高速化することができる。
【００５８】
【他の実施形態】
なお、本発明の装置は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００５９】
プログラムコードを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。  また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
【発明の効果】
以上説明したように本発明によれば、辞書検索、最適単語パス選択における無駄な処理を排除し、言語処理における形態素解析の高速化を図ることが可能となる。
【図面の簡単な説明】
【図１】形態素解析の一例を表す図である。
【図２】形態素解析における最適パス選択を表す図である。
【図３】形態素解析における最適パス選択に処理時間を大きく費やす例を表す図である。
【図４】本発明の実施形態における自然言語処理装置のブロック図である。
【図５】本発明の実施形態における、解析辞書に含まれる単語の属性情報およびその一部である短単語削除情報を表す図である。
【図６】本発明の実施形態における自然言語処理装置の短単語削除処理を表す図である。
【図７】本発明の実施形態における自然言語処理装置の形態素解析処理のフローチャートである。
【図８】本発明の実施形態における、形態素解析による事前調査により各文字列の確からしさを調査して順位付けをした文字列確からしさ情報を表す図である。
【図９】本発明の実施形態における自然言語処理装置の短単語削除処理を表す図である。
【図１】
0004355470.tif 000002
【図２】
0004355470.tif 000003
【図３】
0004355470.tif 000004
【図４】
0004355470.tif 000005
【図５】
0004355470.tif 000006
【図６】
0004355470.tif 000007
【図７】
0004355470.tif 000008
【図８】
0004355470.tif 000009
【図９】
0004355470.tif 000010