(57)【要約】【課題】類似度算出の精度を向上させ、不要語による精度低下という問題を解決する類似文書検索装置の提供を目的とする。【解決手段】検索キー文書のカテゴリを指定する。次に単語抽出手段により検索キー文書の単語を抽出する。バッファ内には単語単位に不要語を示すカテゴリ情報が格納されており、検索キー文書のカテゴリおよびテーブルに基づき、単語抽出手段により抽出された単語のうち、不要語となった単語を削除し、不要語でない単語のみをバッファに格納する。検索キー文書と検索対象文書から不要語と判断された単語を除いた単語を基に、類似度を算出する。【選択図】　図４
2004005103.tif 000002
【特許請求の範囲】
【請求項１】
検索キー文書と類似する文書を複数の検索対象文書の中から検索する類似文書検索装置において、
上記検索キー文書のカテゴリを設定する手段と、
上記検索キー文書より単語を切り出す単語抽出手段と、
単語単位に不要語を示すカテゴリ情報が格納されたテーブルと、
上記検索キー文書のカテゴリおよび上記テーブルに基づき、上記単語抽出手段により抽出された単語のうち、不要語でない単語を抽出する手段、
上記検索キー文書と上記検索対象文書から上記不要語を除いて類似度を算出する手段と、
を具備することを特徴とする類似文書検索装置。
【請求項２】
上記テーブルには１単語につき複数のカテゴリ情報が格納されていることを特徴とする請求項１記載の類似文書検索装置。
【請求項３】
上記テーブルには全カテゴリにおいて不要語となる単語が登録されていることを特徴とする請求項１記載の類似文書検索装置。
【請求項４】
検索キー文書と類似する文書を複数の検索対象文書の中から検索する類似文書検索方法において、
上記検索キー文書のカテゴリを設定する工程と、
上記検索キー文書より単語を抽出する工程と、
単語単位に不要語を示すカテゴリ情報が格納されたテーブルと上記検索キー文書のカテゴリとに基づき、上記検索キー文書より抽出された単語のうち、不要語でない単語を抽出する工程と、
上記検索キー文書と上記検索対象文書から上記不要語を除いて類似度を算出する工程と、
を具備することを特徴とする類似文書検索方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書データベースから、文書間の類似度に基づく文書データの検索を行う類似文書検索装置、類似文書検索方法に関する。
【０００２】
【従来の技術】
文書を検索キーとして、その文書の内容に類似している文書をあらかじめカテゴリー分けされた検索対象文書データベースから抽出する類似文書検索装置がある。この類似文書検索装置は、検索キーとする文書中に含まれている単語と、指定されたカテゴリーの検索対象文書データベースに格納されている各文書中に含まれている単語とを比較し、検索キーとする文書と検索対象文書データベースに格納されている各文書との類似度を算出し、その類似度により類似文書の抽出を行っている。その類似度の算出方法としては、検索キーとする文書と検索対象文書データベースに格納されている各文書に含まれている単語の種類や出現回数、出現場所などからベクトル空間法により算出する方法等がある。
【０００３】
検索キー文書と検索対象文書から内容を表す単語を抽出する必要があるため、文書の内容を表すキーとならない単語（不要語）を排除することが類似文献検索の精度向上には必須である。そのため、すべての分野（カテゴリー）において不要語とすべき単語をテーブルに登録し、そのテーブルに登録されている単語は、文書の内容を表すキーとしては抽出しない方式等がある。
【０００４】
【発明が解決しようとする課題】
しかしながら上記した従来技術においては、カテゴリーが細分化され、より高度な類似文献検索を実現するには、文書の内容を表すキー単語のみを抽出することができず、キー単語以外の単語も含めて類似度を算出することになり、類似度算出および類似文献検索の精度の低下を招くという問題があった。
【０００５】
そこで本発明は、上記課題を解決するためになされたもので、類似度算出の精度を向上させ、不要語による精度低下という問題を解決する類似文書検索装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明では、検索キー文書と類似する文書を複数の検索対象文書の中から検索する類似文書検索装置において、検索キー文書のカテゴリを設定する手段と、検索キー文書より単語を切り出す単語抽出手段と、単語単位に不要語を示すカテゴリ情報が格納されたテーブルと、検索キー文書のカテゴリおよびテーブルに基づき、単語抽出手段により抽出された単語のうち、不要語でない単語を抽出する手段、
【０００７】
検索キー文書と検索対象文書から不要語を除いて類似度を算出する手段と、を具備することを特徴とする。
【０００８】
このような構成により、類似度算出の精度を向上させ、不要語による精度低下を軽減することが可能となる。
【０００９】
【発明の実施の形態】
以下本発明に係る実施の形態を、図面を参照して説明する。
【００１０】
以下、本発明の一実施例について図面を参照しながら説明する。
【００１１】
図１は、本装置のブロック構成図である。ＣＰＵ、メモリから構成される制御装置１、キーボードなどの入力装置２、類似検索結果などを表示する表示装置３、検索データなどを格納する記憶装置４から構成される。
【００１２】
図２は、制御装置のブロック図である。制御装置１は制御部５とメモリ部６を有している。制御部５は各種制御や処理を実行する部分で、メイン処理部２００、初期化部２０１、入力部２０２、出力部２０３、検索対象文書読出部２０４、検索対象文書単語抽出部２０５、検索対象文書単語出力部２０６、カテゴリー設定部２０７、検索キー文書入力部２０８、検索キー単語抽出部２０９、検索対象文書単語情報呼び出し部２１０、カテゴリー不要語削除部２１１、共通単語抽出部２１２、類似度算出部２１３、検索結果出力部２１４を有している。また、メモリ部６は、検索対象文書格納バッファ部２３１、検索対象文書単語格納バッファ部２３２、検索対象文書単語情報格納バッファ部２３３、カテゴリー設定バッファ部２３４、検索キー文書格納バッファ部２３５、検索キー文書単語格納バッファ部２３６、検索キー文書単語情報格納バッファ部２３７、共通単語格納バッファ部２３８、類似度格納バッファ部２３９、検索結果出力バッファ部２４０、作業バッファ部２５０を有している。
【００１３】
ここで、初期化部２０１は、各バッファ部の初期化を行う。入力部２０２は、ユーザにより入力装置２を介して、検索キー文書の設定の入力を行う。出力部２０３は、入力部２０２により行われた検索キー文書や検索結果の内容を表示装置３に出力する。
【００１４】
検索対象文書読出部２０４は、記憶装置４に格納されている文書に関する情報を文書データベース化するために、文書データベース化する文書を記憶装置４から読み込み、そのテキスト文書情報を検索対象文書格納バッファ部２３１に格納する。
【００１５】
検索対象文書単語抽出部２０５は、検索対象文書格納バッファ部２３１に格納されているテキスト文書情報の単語切りを行う。そして、その文書の内容を表す上でキーとなる単語を抽出し、抽出された単語種と不要語情報を検索対象単語格納バッファ部２３２に格納する。例えば、単語切りは、形態素解析などを用いて行い、その文書の内容を表す上でキーとなる単語は、各単語の品詞情報、例えば「名詞」や「サ変名詞」を使って行う。
【００１６】
検索対象文書単語出力部２０６は、検索対象単語格納バッファ部２３２に格納されている単語とその不要語カテゴリー情報を記憶装置４に格納する。
【００１７】
カテゴリー設定部２０７は、検索キー文書のカテゴリーを入力装置２によって入力し、検索キー文書のカテゴリー情報をカテゴリー設定バッファ部２３４に格納する。
【００１８】
検索キー文書入力部２０８は、入力装置から入力された検索キー文書のテキスト情報を検索キー文書格納バッファ部２３５に格納する。
【００１９】
図５は、不要語情報付き単語切りテーブルである。検索キー単語抽出部２０９は、検索キー文書格納バッファ部２３５に格納されているテキスト文書情報の単語切りを記憶装置４に格納されている図５に示す単語切りテーブルを参照して行う。そして、その文書の内容を表す上でキーとなる単語を抽出し、抽出された単語種を不要語情報とともに検索キー単語格納バッファ部２３６に格納する。例えば、単語切りは、形態素解析などを用いて行い、その文書の内容を表す上でキーとなる単語は、各単語の品詞情報（例えば「名詞」や「サ変名詞」）を使って行う。
【００２０】
検索対象文書単語情報呼び出し部２１０は、検索対象文書の単語情報を記憶装置４より呼び出し、検索対象文書単語格納バッファ部２３２に格納する。
【００２１】
カテゴリー不要語削除部２１１は、検索対象文書単語格納バッファ部２３２および検索キー文書単語格納バッファ部２３６に格納されている単語とその不要語情報について、カテゴリー設定バッファ部２３６に格納されている検索キー文書の該当カテゴリーを参照して、検索対象文書単語格納バッファ部２３２および検索キー文書単語格納バッファ部２３６に格納されている単語に付加されているカテゴリーと一致しない単語を検索対象文書単語情報格納バッファ部２３３および検索キー文書単語情報格納バッファ部２３７に格納する。「全カテゴリー」が付加されている単語については、カテゴリー設定バッファ部２３６に格納されているカテゴリーに関わらず、検索対象文書単語情報格納バッファ部２３３および検索キー文書単語情報格納バッファ部２３７に格納しない。
共通単語抽出部２１２は、検索キー単語情報格納バッファ部２３７に格納されている検索キー文書の単語情報と、検索対象単語情報格納バッファ部２３３に格納されている検索対象文書の単語情報と、両バッファに格納されている単語を共通単語情報格納バッファ部２３８に格納する。
【００２２】
類似度算出部２１９は、検索キー単語情報格納バッファ部２３７と検索対象単語情報格納バッファ部２３３と共通単語情報格納バッファ部２３８とから、単語ベクトル空間法などから検索キー文書と一検索対象文書との類似度を算出し、その類似度値を類似度格納バッファ部２３９に格納する。
【００２３】
検索結果出力部２２０は、類似度格納バッファ部２３９に格納されている検索対象文書毎の類似度から上位類似度の文書情報（例えば、文書ＩＤ）を検索結果出力バッファ部２４０に格納する。そして、検索結果出力バッファ部２４０の内容を出力装置に出力する。
【００２４】
次に本実施例の動作について図３、図４を用い、類似文書検索方法を説明する。図３は、検索対象文書データ作成方法を示すフローチャートである。まず、初期化部２００が起動しメモリ部６のクリアなどを行う（ステップ３００）。記憶装置に類似文書検索データベースに登録すべき文書があるかどうか判断し（ステップ３０１）、ステップ３０１で登録すべき文書があれば、検索対象文書読出部２０４が起動し、文書データベース化する文書を記憶装置から読み込み、そのテキスト文書情報を検索対象文書格納バッファ部２３１に格納する（ステップ３０２）。検索対象文書格納バッファ格納例を図６に示す。そして、検索対象文書単語抽出部２０５が起動し、検索対象文書格納バッファ部２３１に格納されているテキスト文書情報の単語切りを行う。例えば、単語切りは、形態素解析などを用いて行い、「交通情報検索装置」は「交通」「情報」「検索」「装置」が単語切れされる。そして、その単語を不要語とするカテゴリーを示す不要語情報を、例えば、「交通（交通カテゴリー／車カテゴリ）」「情報（全カテゴリー）」「検索」「装置（全カテゴリー）」のように付加し、検索対象単語格納バッファ部２３２に格納する（ステップ３０３）。
【００２５】
ここで、「交通（交通カテゴリー／車カテゴリ）」は、単語「交通」は「交通」と「車」のカテゴリーの文書においては、文書上内容を表すキー単語とはならないことを表している。このように、１単語につき複数個のカテゴリーを指定することができる。また、「装置（全カテゴリー）」は、単語「装置」は文書のカテゴリーに関わらず全てのカテゴリーにおいて文書上内容を表すキー単語とはならないことを表している。
【００２６】
次に、検索対象文書単語出力部２０６が起動し、検索対象単語格納バッファ部２３２に格納されている単語とその不要語カテゴリー情報を記憶装置４に格納し（ステップ３０４）、ステップ３０１に戻る。ステップ３０１で登録すべき全ての文書について処理が終わった場合は、本処理を終了する。
【００２７】
図４は、類似文書検索を示すフローチャートである。まず、初期化部２００が起動しメモリ部６のクリアなどを行う（ステップ４００）。
【００２８】
図７は、検索対象文書単語格納例である。図８は、検索対象文書単語情報格納例である。図９は、カテゴリー設定格納例である。図１０は、検索キー文書格納例である。図１１は、検索キー文書単語格納例である。図１２は、検索キー文書単語情報格納例である。図１３は、共通単語情報格納例である。図１４は、類似度格納例である。図１５は、検索結果出力例である。
【００２９】
カテゴリー設定部２０７が起動し、検索キー文書のカテゴリーを入力装置２によって入力し、検索キー文書のカテゴリー情報、例えば「交通」をカテゴリー設定バッファ部２３４に格納する（ステップ４０１、図９）。そして、検索キー文書入力部２０８が起動し、入力装置から入力された検索キー文書のテキスト情報を検索キー文書格納バッファ部２３５に格納する（ステップ４０２、図１０）。図１０は検索キー文書格納例を示した図である。
【００３０】
次に、検索キー単語抽出部２０９が起動し、検索キー文書格納バッファ部２３５に格納されているテキスト文書情報（例えば「通行情報検索装置」）の単語切りを記憶装置４に格納されている単語切りテーブルを参照し、その文書の内容を表す上でキーとなる単語を抽出し（例えば「通行」「情報」「検索」「装置」）、抽出された単語種を不要語情報（例えば「通行」「情報（全カテゴリー）」「検索」「装置（全カテゴリー）」とともに検索キー単語格納バッファ部２３６に格納する（ステップ４０３、図１１）。例えば、単語切りは、形態素解析などを用いて行い、その文書の内容を表す上でキーとなる単語は、各単語の品詞情報（例えば「名詞」や「サ変名詞」）を使って行い。
【００３１】
続いて、カテゴリー不要語削除部２１１が起動し、検索キー文書単語格納バッファ部２３６に格納されている単語とその不要語情報について、カテゴリー設定バッファ部２３６に格納されている検索キー文書の該当カテゴリーを参照して、検索対象文書単語格納バッファ部２３２および検索キー文書単語格納バッファ部２３６に格納されている単語に付加されているカテゴリーと一致しない単語を検索キー文書単語情報格納バッファ部２３７に格納する。「全カテゴリー」が付加されている単語については、カテゴリー設定バッファ部２３６に格納されているカテゴリーに関わらず、検索キー文書単語情報格納バッファ部２３７に格納しない（ステップ４０４、図１２）。
【００３２】
そして、検索対象のデータを参照し、読み出す文書があるかどうかを判断し（ステップ４０５）、読み出す文書あれば、検索対象文書単語情報呼び出し部２１０が起動し、検索対象文書の単語情報を記憶装置４より呼び出し、検索対象文書単語格納バッファ部２３２に格納する（ステップ４０６、図７）。
【００３３】
続いて、カテゴリー不要語削除部２１１が起動し、検索対象文書単語格納バッファ部２３２に格納されている単語とその不要語情報について、カテゴリー設定バッファ部２３６に格納されている検索キー文書の該当カテゴリーを参照して、検索対象文書単語格納バッファ部２３２に格納されている単語に付加されているカテゴリーと一致しない単語を検索対象文書単語情報格納バッファ部２３３に格納する。「全カテゴリー」が付加されている単語については、カテゴリー設定バッファ部２３６に格納されているカテゴリーに関わらず、検索対象文書単語情報格納バッファ部２３３に格納しない（ステップ４０７、図８）。
【００３４】
次に、共通単語抽出部２１２が起動し、検索キー単語情報格納バッファ部２３７に格納されている検索キー文書の単語情報と、検索対象単語情報格納バッファ部２３３に格納されている検索対象文書の単語情報と、両バッファに格納されている単語を共通単語情報格納バッファ部２３８に格納する（図１３）。
【００３５】
次に、類似度算出部２１９が起動し、検索キー単語情報格納バッファ部２３７と検索対象単語情報格納バッファ部２３３と共通単語情報格納バッファ部２３８とから、単語ベクトル空間法などから検索キー文書と一検索対象文書との類似度を算出し、その類似度値を類似度格納バッファ部２３９に格納する（ステップ４０８、図１４）。図１４では、文書ＩＤとその類似度を「文書ＩＤ＝１０　類似度＝０．５４０４」「文書ＩＤ＝１３、類似度＝０．２３５１」「文書ＩＤ＝２９　類似度＝０．３２３３」のように格納した例である。
【００３６】
ステップ４０５において、検索対象のデータを参照し、読み出す文書がない場合は、検索結果出力部２２０が起動し、類似度格納バッファ部２３９に格納されている検索対象文書毎の類似度から上位類似度の文書情報（例えば、文書ＩＤ）を検索結果出力バッファ部２４０に格納し、検索結果出力バッファ部２４０の内容を出力装置に出力する（ステップ４０９、図１５）。
【００３７】
上述したように、検索キー文書および検索対象文書から単語切りする際に用いる単語テーブルに、単語単位に不要語であるカテゴリーを示した情報（不要語カテゴリー）をも含めることで、文書のカテゴリーでの不要語を排除した形でキー単語のみを抽出することができる。各単語には複数の不要語カテゴリーを付加でき、全カテゴリーにおいて不要語あることも示すことができる。
【００３８】
本発明ではその主旨を逸脱しない範囲であれば、の実施形態に限定されるものではない。
【００３９】
【発明の効果】
以上詳述した発明によれば、類似度算出の精度を向上させることが可能となる。
【図面の簡単な説明】
【図１】装置の概略ブロック図。
【図２】制御装置のブロック図。
【図３】検索対象文書データ作成方法を示すフローチャート。
【図４】類似文書検索を示すフローチャート。
【図５】不要語情報付き単語切りテーブル。
【図６】検索対象文書格納例
【図７】検索対象文書単語格納例
【図８】検索対象文書単語情報格納例
【図９】カテゴリー設定格納例。
【図１０】検索キー文書格納例。
【図１１】検索キー文書単語格納例。
【図１２】検索キー文書単語情報格納例。
【図１３】共通単語情報格納例。
【図１４】類似度格納例。
【図１５】検索結果出力例。
【符号の説明】
１・・・制御装置、２・・・入力装置、３・・・表示装置、４・・・記憶装置、２００・・・メイン処理部、２０１・・・初期化部２０２・・・入力部、２０３・・・出力部、２０４・・・検索対象文書読出部、２０５・・・検索対象文書単語抽出部、２０６・・・検索対象文書単語出力部、２０７・・・カテゴリー設定部、２０８・・・検索キー文書入力部、２０９・・・検索キー単語抽出部、２１０・・・検索対象文書単語情報呼び出し部、２１１・・・カテゴリー不要語削除部、２１２・・・共通単語抽出部、２１３・・・類似度算出部、２１５・・・検索結果出力部
【図１】
2004005103.tif 000003
【図２】
2004005103.tif 000004
【図３】
2004005103.tif 000005
【図４】
2004005103.tif 000006
【図５】
2004005103.tif 000007
【図６】
2004005103.tif 000008
【図７】
2004005103.tif 000009
【図８】
2004005103.tif 000010
【図９】
2004005103.tif 000011
【図１０】
2004005103.tif 000012
【図１１】
2004005103.tif 000013
【図１２】
2004005103.tif 000014
【図１３】
2004005103.tif 000015
【図１４】
2004005103.tif 000016
【図１５】
2004005103.tif 000017