(57)【要約】【課題】ユーザが望むサイトを簡易な手段でより多く提示する。【解決手段】本発明は、文書蓄積時には、読み込んだ文書中の出現単語の単語特徴量を算出し、文書に出現する指定されたタグの特徴量を算出し、単語特徴量と、タグの特徴量とを用いて文書の特徴ベクトルを算出し、文書ＤＢに該文書、該単語特徴量、該タグの特徴量を格納する。そして、類似文書検索時には、読み込んだユーザ指定文書に出現する各単語の出現数における単語特徴量を算出し、タグが指定されると、ユーザ指定文書に出現するタグの特徴量を算出し、算出された単語特徴量と、タグ特徴量とを比較して、ユーザ指定文書の特徴ベクトルを算出し、算出された特徴ベクトルと文書ＤＢの特徴ベクトルを用いて、ユーザ指定文書と該文書ＤＢに含まれる各文書との類似度をそれぞれ算出する。【選択図】図１
2009129105.tif 000002
【特許請求の範囲】
【請求項１】
Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索するための該文書データベースに文書を蓄積する文書蓄積装置であって、
文書を読み込む文書入力手段と、
前記文書中に出現する各単語の出現数における単語特徴量を算出し、第１の記憶手段に格納する単語特徴量算出手段と、
前記文書を特徴付けるタグが指定されると、前記文書に出現するタグの特徴量を算出し、第２の記憶手段に格納するタグ特徴量算出手段と、
前記第１の記憶手段の単語特徴量と、前記第２の記憶手段のタグの特徴量とを用いて前記文書の特徴ベクトルを算出し、前記文書データベースに該文書、該単語特徴量、該タグの特徴量を格納する特徴ベクトル算出手段と、
を有することを特徴とする文書蓄積装置。
【請求項２】
Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索する類似文書検索装置であって、
請求項１の文書蓄積装置において、文書、特徴ベクトル、単語特徴量、タグ特徴量が格納された文書データベースと、
指定されたユーザ指定文書を読み込む文書入力手段と、
前記ユーザ指定文書に出現する各単語の出現数における単語特徴量を算出し、第３の記憶手段に格納する単語特徴量算出手段と、
前記ユーザ指定文書を特徴付けるタグが指定されると、該ユーザ指定前記文書に出現するタグの特徴量を算出し、第２の記憶手段に格納するタグ特徴量算出手段と、
前記第３の記憶手段に格納された前記単語特徴量と、前記第２の記憶手段に格納された前記タグの特徴量とを比較して、前記ユーザ指定文書の特徴ベクトルを算出する指定文書特徴ベクトル算出手段と、
前記指定文書特徴ベクトル算出手段で求められた前記特徴ベクトルと前記文書データベースの前記特徴ベクトルを用いて、前記ユーザ指定文書と該文書データベースに含まれる各文書との類似度をそれぞれ算出し、類似度の高い文書を類似文書として出力する類似度算出手段と、
を有することを特徴とする類似度文書検索装置。
【請求項３】
Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索するための該文書データベースに文書を蓄積する文書蓄積装置であって、
文書を読み込む文書入力手段と、
単語特徴量及びタグ特徴量を算出する際に使用する前後の語数や特定語及びタグを指定する変数設定手段と、
前記変数設定手段により与えられた前記前後の語数や前記特定語に基づいて、前記文書中に出現する各単語の出現数における単語特徴量を算出し、第１の記憶手段に格納する単語特徴量算出手段と、
前記文書を特徴付けるタグが指定されると、前記変数設定手段により与えられた前記タグに基づいて、前記文書に出現するタグの特徴量を算出し、第２の記憶手段に格納するタグ特徴量算出手段と、
前記第１の記憶手段の単語特徴量と、前記第２の記憶手段のタグの特徴量とを用いて前記文書の特徴ベクトルを算出し、前記文書データベースに該文書、該単語特徴量、該タグの特徴量を格納する特徴ベクトル算出手段と、
を有することを特徴とする文書蓄積装置。
【請求項４】
Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索する類似文書検索装置であって、
請求項３の文書蓄積装置において、文書、特徴ベクトル、単語特徴量、タグ特徴量が格納された文書データベースと、
指定されたユーザ指定文書を読み込む文書入力手段と、
単語特徴量及びタグ特徴量を算出する際に使用する前後の語数や特定語及びタグを指定する変数設定手段と、
前記変数設定手段により与えられた前記前後の語数や前記特定語に基づいて、前記ユーザ指定文書に出現する各単語の出現数における単語特徴量を算出し、第３の記憶手段に格納する単語特徴量算出手段と、
前記ユーザ指定文書を特徴付けるタグが指定されると、前記変数設定手段により与えられた前記タグに基づいて、該ユーザ指定前記文書に出現するタグの特徴量を算出し、第２の記憶手段に格納するタグ特徴量算出手段と、
前記第３の記憶手段に格納された前記単語特徴量と、前記第２の記憶手段に格納された前記タグの特徴量とを比較して、前記ユーザ指定文書の特徴ベクトルを算出する指定文書特徴ベクトル算出手段と、
前記指定文書特徴ベクトル算出手段で求められた前記特徴ベクトルと前記文書データベースの前記特徴ベクトルを用いて、前記ユーザ指定文書と該文書データベースに含まれる各文書との類似度をそれぞれ算出し、類似度の高い文書を類似文書として出力する類似度算出手段と、
を有することを特徴とする類似文書検索装置。
【請求項５】
請求項１または３のいずれか１項に記載の文書蓄積装置を構成する各手段としてコンピュータを機能させる文書蓄積プログラム。
【請求項６】
請求項２または４のいずれか１項に記載の類似文書検索装置を構成する各手段としてコンピュータを機能させる類似文書検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書蓄積装置及び類似文書検索装置及びプログラムに係り、特に、Ｗｅｂ上の多数の文書から類似の文書を検索する文書蓄積装置及び類似文書検索装置及びプログラムに関する。
【背景技術】
【０００２】
ＷＷＷの拡大により、従来の文書だけでなくＷＥＢ上の文書も対象とした文書検索に対する要望が高まっている。通常は、キーワードの論理式を検索条件として指定することで目的の文書検索を行い、指定した論理式を満足する文書集合を求める。この文書検索システムの具体的な検索方法については様々な提案がされている。
【０００３】
その中の一つとして、主成分分析による検索方式がある。この方式は、この文書データベースから文書を検索する技術として、文書データベースに格納される各文書について主成分分析により文書の特徴ベクトルを予め求めておき、検索条件から算出した特徴ベクトルとの類似度の高い文書を検出する技術が提案されている（例えば、特許文献１参照）。
【０００４】
また、二つ目の方式として、複数の特徴ベクトルを使用する検索方式がある。ＴＦＩＤＦ(Term Frequency Inverse Document Frequency)法を用いて算出した文書の特徴ベクトル類似度比較検索では、必ずしも文字列を含む文書が検索されるとは限らない。そのため、検索文字列一致方法と特徴ベクトルによる類似度比較検索方法の結果を合成することで、両方法の利点を取り入れることができ、より検索意図に適合した検索結果を得ることが可能となる技術が提案されている（例えば、特許文献２参照）。
【特許文献１】特許３５７３６８８号公報
【特許文献２】特開２０００−２００２８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
Ｗｅｂ上の文書は、文書内容を示す自然文部分と、画像や動画といった映像ファイル部分と、レイアウトを示すタグ部分とで構成されている。
【０００６】
上記の技術は、自然文部分にのみ注目し、提案されている。
【０００７】
しかし、Ｗｅｂ上においては、文書を記載する際には、自然文部分だけではなく、画像ファイル中やflash等の動画ファイル中であることも多い。類似文書を検索したいというユーザニーズに正確に応えるためには、Ｗｅｂ上の文書検索においては映像ファイル部分も対象とする必要がある。
【０００８】
また、ショッピングサイトを検索する際には、現状の自然文のみを対象とした検索では、ネックレスが欲しい場合は、「ネックレス」「チョーカー」「ペンダント」等、使用していそうな単語を全てユーザが考えて指定する必要がある。だが、具体的な商品説明の文章は違えども、使用されているレイアウトタグは複数のショッピングサイトで似ていることが多い。
【０００９】
以上のように、従来の自然文のみを対象とする方式では、ユーザの望むサイトを網羅的に発見することは難しい。
【００１０】
本発明は、上記の点に鑑みなされたもので、ユーザが望むサイトを簡易な手段でより多く提示することが可能な文書蓄積装置及び類似文書検索装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
図１は、本発明の原理構成図である。
【００１２】
本発明（請求項１）は、Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索するための該文書データベースに文書を蓄積する文書蓄積装置であって、
文書を読み込む文書入力手段１１０と、
文書中に出現する各単語の出現数における単語特徴量を算出し、第１の記憶手段１０１に格納する単語特徴量算出手段１２０と、
文書を特徴付けるタグが指定されると、文書に出現するタグの特徴量を算出し、第２の記憶手段１０３に格納するタグ特徴量算出手段１３０と、
第１の記憶手段１０１の単語特徴量と、第２の記憶手段１０３のタグの特徴量とを用いて文書の特徴ベクトルを算出し、文書データベース１７０に該文書、該単語特徴量、該タグの特徴量を格納する特徴ベクトル算出手段１５０と、を有する。
【００１３】
本発明（請求項２）は、Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索する類似文書検索装置であって、
請求項１の文書蓄積装置において、文書、特徴ベクトル、単語特徴量、タグ特徴量が格納された文書データベース１７０と、
指定されたユーザ指定文書を読み込む文書入力手段１１０と、
ユーザ指定文書に出現する各単語の出現数における単語特徴量を算出し、第３の記憶手段１０２に格納する単語特徴量算出手段１２０と、
ユーザ指定文書を特徴付けるタグが指定されると、該ユーザ指定文書に出現するタグの特徴量を算出し、第２の記憶手段１０３に格納するタグ特徴量算出手段１３０と、
第３の記憶手段１０２に格納された単語特徴量と、第２の記憶手段１０３に格納されたタグの特徴量とを比較して、ユーザ指定文書の特徴ベクトルを算出する指定文書特徴ベクトル算出手段１４０と、
指定文書特徴ベクトル算出手段１４０で求められた特徴ベクトルと文書データベース１７０の特徴ベクトルを用いて、ユーザ指定文書と該文書データベース１７０に含まれる各文書との類似度をそれぞれ算出し、類似度の高い文書を類似文書として出力する類似度算出手段１６０と、を有する。
【００１４】
本発明（請求項３）は、Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索するための該文書データベースに文書を蓄積する文書蓄積装置であって、
文書を読み込む文書入力手段と、
単語特徴量及びタグ特徴量を算出する際に使用する前後の語数や特定語及びタグを指定する変数設定手段と、
変数設定手段により与えられた前後の語数や特定語に基づいて、文書中に出現する各単語の出現数における単語特徴量を算出し、第１の記憶手段に格納する単語特徴量算出手段と、
文書を特徴付けるタグが指定されると、変数設定手段により与えられたタグに基づいて、文書に出現するタグの特徴量を算出し、第２の記憶手段に格納するタグ特徴量算出手段と、
第１の記憶手段の単語特徴量と、第２の記憶手段のタグの特徴量とを用いて文書の特徴ベクトルを算出し、文書データベースに該文書、該単語特徴量、該タグの特徴量を格納する特徴ベクトル算出手段と、を有する。
【００１５】
本発明（請求項４）は、Ｗｅｂ上の多数の文書を蓄積した文書データベースから類似する文書を検索する類似文書検索装置であって、
請求項３の文書蓄積装置において、文書、特徴ベクトル、単語特徴量、タグ特徴量が格納された文書データベースと、
指定されたユーザ指定文書を読み込む文書入力手段と、
単語特徴量及びタグ特徴量を算出する際に使用する前後の語数や特定語及びタグを指定する変数設定手段と、
変数設定手段により与えられた前後の語数や特定語に基づいて、ユーザ指定文書に出現する各単語の出現数における単語特徴量を算出し、第３の記憶手段に格納する単語特徴量算出手段と、
ユーザ指定文書を特徴付けるタグが指定されると、変数設定手段により与えられたタグに基づいて、該ユーザ指定文書に出現するタグの特徴量を算出し、第２の記憶手段に格納するタグ特徴量算出手段と、
第３の記憶手段に格納された単語特徴量と、第２の記憶手段に格納されたタグの特徴量とを比較して、ユーザ指定文書の特徴ベクトルを算出する指定文書特徴ベクトル算出手段と、
指定文書特徴ベクトル算出手段で求められた特徴ベクトルと文書データベースの特徴ベクトルを用いて、ユーザ指定文書と該文書データベースに含まれる各文書との類似度をそれぞれ算出し、類似度の高い文書を類似文書として出力する類似度算出手段と、を有する。
【００１６】
本発明（請求項５）は、請求項１または３のいずれか１項に記載の文書蓄積装置を構成する各手段としてコンピュータを機能させる文書蓄積プログラムである。
【００１７】
本発明（請求項６）は、請求項２または４のいずれか１項に記載の類似文書検索装置を構成する各手段としてコンピュータを機能させる類似文書検索プログラムである。
【発明の効果】
【００１８】
上記のように本発明は、Ｗｅｂ上の多数の文書から、類似の文書を検索する技術に関するものであり、Ｗｅｂ文書中の自然文部分だけでなく、タグの種類や構成についての特徴量を算出することで、似たタグが付与された文書を発見することが可能となる。これにより、ユーザが望むサイトをより簡易な手段でより多く提示することが可能となり、ユーザの作業効率と利便性が向上する。
【発明を実施するための最良の形態】
【００１９】
以下、図面と共に本発明の実施の形態を説明する。
【００２０】
以下の各実施の形態では、利用する構成要件に応じて文書蓄積装置と類似文書検索装置に分けて説明するが、図２、図１０に示すように、実際には１つの装置（類似文書検索装置）として構成される。
［第１の実施の形態］
図２は、本発明の第１の実施の形態における類似文書検索装置の構成を示す。
【００２１】
同図に示す類似文書検索装置は、文書入力部１１０、単語特徴量算出部１２０、タグ特徴量算出部１３０、指定文書特徴ベクトル算出部１４０、特徴ベクトル算出部１５０、類似度算出部１６０、文書ＤＢ１７０、単語特徴量メモリ１０１、ユーザ指定文書の単語特徴量メモリ１０２、タグ特徴量メモリ１０３から構成される。
【００２２】
文書入力部１１０は、ユーザから指定されたＤＢ１７０に蓄積対象となる文書群を読み込む。
【００２３】
単語特徴量算出部１２０は、文書蓄積時及び類似文書検索時の両方で利用される算出部であり、文書中に出現する各単語の出現数における特徴量を算出し、ユーザ指定文書の単語特徴量メモリ１０２に格納する。
【００２４】
タグ特徴量算出部１３０は、文書蓄積時及び類似文書検索時の両方で利用される算出部であり、文書を特徴付けるタグが指定されると、文書毎に出現するタグの特徴量を算出し、タグ特徴量メモリ１０３に格納する。
【００２５】
指定文書特徴ベクトル算出部１４０は、類似文書検索時に利用される算出部であり、ユーザ指定文書の単語特徴量メモリ１０２の単語特徴量と、タグ特徴量メモリ１０３のタグ特徴量とを比較し、ユーザが指定した文書の特徴ベクトルを算出し、ユーザ指定文書の単語特徴量メモリ１０２に格納する。
【００２６】
特徴ベクトル算出部１５０は、文書蓄積時に利用される算出部であり、単語特徴量メモリ１０１の単語特徴量とタグ特徴量メモリ１０３のタグ特徴量を使用して、文書の特徴ベクトルを算出し、文書ＤＢ１７０に格納する。
【００２７】
類似度算出部１６０は、類似文書検索時に利用される算出部であり、指定文書特徴ベクトル算出部１４０により求められた特徴ベクトルと文書ＤＢ１７０に格納されている各特徴ベクトルを用いて、ユーザ指定文書と文書ＤＢ１７０に含まれる文書との類似度をそれぞれ算出し、類似する文書群を出力する。
【００２８】
文書ＤＢ１７０は、文書、特徴ベクトル、単語特徴量、タグ特徴量、及び比較用のＩＤＦを格納する。
【００２９】
設定ファイル１８０は、単語特徴量算出部１２０、タグ特徴量算出部１３０、指定文書特徴ベクトル算出部１４０、特徴ベクトル算出部１５０がＴＦＩＤＦ法による計算を行う際の閾値を保持し、これらの各構成要素に出力する。
【００３０】
以下では、検索前処理と類似文書検索処理に分けて説明する。
【００３１】
最初に、検索前処理として、文書を文書データベースに蓄積するまでの処理を説明する。
【００３２】
図３は、本発明の第１の実施の形態における検索前処理のフローチャートである。
【００３３】
以下の処理では、文書入力部１１０、単語特徴量算出部１２０、単語特徴量メモリ１０１、特徴ベクトル算出部１５０、タグ特徴量算出部１３０、タグ特徴量メモリ１０３を用いるものとし、これらの構成が請求項１の文書蓄積装置に対応する。
【００３４】
ステップ１０１）  文書入力部１１０が、蓄積対象となる文書群を読み込み、単語特徴量算出部１２０及び、タグ特徴量算出部１３０に与える。ここでは、図４に示すような文書が入力されたものとする。
【００３５】
ステップ１０２）  単語特徴量算出部１２０において、蓄積対象となる文書群に対して、各文書毎の単語特徴量を算出し、単語特徴量メモリ１０１に一旦格納する。特徴量の算出方法は、単純に出現数をカウントする方法、閾値を設定し分類する方法、文書中に出現する全語における割合を算出する方法等を用いることにより実現できる。ここでは、後述するＴＦＩＤＦ法を用いて図５に示すような単語特徴量が得られたものとする。
【００３６】
ステップ１０３）  タグ特徴量算出部１３０において、設定ファイル１８０から図６に示すようなタグが入力されると、文書を特徴付けるための、特徴ベクトル算出に必要とされるタグの特徴量を文書毎に算出し、タグ特徴量メモリ１０３に一旦格納する。タグの特徴量の算出方法は、単純にタグの出現数をカウントする方法、閾値を設定し、分類する方法、文中に出現する全タグ数における割合を算出する方法等がある。図６に示すようなタグが入力されると、タグ特徴量算出部１３０は、後述するＴＦＩＤＦ法を用いて、図４に示す文書から図７に示すようなタグ特徴量を求める。
【００３７】
ステップ１０４）  特徴ベクトル算出部１５０において、単語特徴量メモリ１０１からステップ１０２で求められた単語特徴量と、タグ特徴量メモリ１０３からステップ１０３で求められたタグ特徴量を読み出して、これらを用いて各文書毎に特徴ベクトルを算出する。ここで、単語特徴量とタグ特徴量から特徴ベクトルを算出する処理は、これらを連結させるものである。単語特徴量とタグ特徴量のそれぞれがベクトルと見做せるので、２つのベクトルの要素をつなげて（連結させて）、１つのベクトルにするものであり、ベクトルの要素数は２つのベクトルの和となる。
【００３８】
ステップ１０５）  特徴ベクトル算出部１５０は、求められた特徴ベクトルと単語特徴量を文書ＤＢ１７０に格納する。
【００３９】
上記の単語特徴量、タグ特徴量、及び特徴ベクトルの算出の一例として公知のＴＦＩＤＦ法が挙げられる。このとき、助詞や接続詞、一般名詞などの低ＩＤＦ単語を特徴ベクトルから省くことで、より文書を特徴付けるベクトルを作成することができる。閾値は設定ファイル１８０に予め設定された値を用いるものとする。
【００４０】
図８は、本発明の第１の実施の形態における学習データＩＤＦ値を示す。同図に示す学習データとして、例えば、「数十年分の新聞記事をまとめたデータ」等であり、同図に示す値は文書ＤＢ１７０に格納されているものとする。
【００４１】
ＴＦＩＤＦ法による式を以下に示す。
【００４２】
【数１】
2009129105.tif 000003
但し、ｎｉは単語の出現頻度、Σｎｋはある文書における全単語出現数、│Ｄ│は総文書数、│｛ｄ：ｔｉ∈ｄ｝│は単語ｉを含む文書数である。
【００４３】
次に、ユーザが指定した文書に対して検索装置が類似文書を検索する処理を説明する。
【００４４】
図９は、本発明の第１の実施の形態における検索処理のフローチャートである。
【００４５】
以下の処理では、文書入力部１１０、単語特徴量算出部１２０、ユーザ指定文書の単語特徴量メモリ１０２、タグ特徴量算出部１３０、タグ特徴量メモリ１０３、指定文書特徴ベクトル算出部１４０、類似度算出部１６０、文書ＤＢ１７０を用いる。これらからなる構成は、請求項２の類似文書検索装置に対応する。
【００４６】
ステップ２０１）  文書入力部１１０は、ユーザが指定した文書を読み込み、単語特徴量算出部１２０とタグ特徴量算出部１３０に与える。
【００４７】
ステップ２０２）  単語特徴量算出部１２０は、前述の図３のステップ１０２と同様にＴＦＩＤＦ法を用いて単語特徴量を算出し、ユーザ指定文書の単語特徴量メモリ１０２に格納する。なお、このときＩＤＦを算出する時の比較データは、文書ＤＢ１７０のＩＤＦ値を使用するものとする。
【００４８】
さらに、タグ特徴量算出部１３０は、前述の図３のステップ１０３と同様にＴＦＩＤＦ法を用いてタグ特徴量を算出し、タグ特徴量メモリ１０３に格納する。なお、このときＩＤＦを算出する時の比較データは、文書ＤＢ１７０のＩＤＦ値を使用するものとする。
【００４９】
次に、指定文書特徴ベクトル算出部１４０は、ユーザ指定文書の単語特徴量メモリ１０２に格納された単語特徴量とタグ特徴量メモリ１０３に格納されたタグ特徴量及び、文書ＤＢ１７０に蓄積されたＩＤＦ値を使用して、ユーザが指定した文書の特徴ベクトル（指定文書特徴ベクトル）を算出する。
【００５０】
ステップ２０３）  類似度算出部１６０は、ステップ２０２で算出された指定文書特徴ベクトルと文書ＤＢ１７０に蓄積された個々の特徴ベクトルと比較し、類似する文書を発見する。比較方法の一例として、公知のベクトルの内積を求める方法があげられる。このとき、内積値が大きいほど似ていることを意味するので、ある閾値以上を類似文書として検出する。閾値は、予め設定ファイル１８０に格納されている値を用いるものとする。
【００５１】
［第２の実施の形態］
本実施の形態は、単語特徴量とタグ特徴量を算出する際に用いる前後の語数や特定語及びタグを指定する処理を加えたものである。
【００５２】
図１０は、本発明の第２の実施の形態における類似文書検索装置の構成図である。
【００５３】
同図において、図２と同一構成部分には同一符号を付す。
【００５４】
図１０に示す類似文書検索装置は、文書入力部１１０、単語特徴量算出部１２０、タグ特徴量算出部１３０、指定文書特徴ベクトル算出部１４０、特徴ベクトル算出部１５０、類似度算出部１６０、文書ＤＢ１７０、設定ファイル１８０、変数指定部１９０、単語特徴量メモリ１０１、ユーザ指定文書の単語特徴量メモリ１０２、タグ特徴量メモリ１０３から構成される。
【００５５】
文書入力部１１０は、蓄積対象となる文書を読み込み、単語特徴量算出部１２０及びタグ特徴量算出部１３０に与える。
【００５６】
変数指定部１９０は、単語特徴量算出部１２０及びタグ特徴量算出部１３０に対して、設定ファイル１８０から単語特徴量、タグ特徴量を算出する際に使用する前後の語数や特定語及びタグを読み込んで指定する。
【００５７】
単語特徴量算出部１２０は、文書蓄積時及び類似文書検索時の両方で利用される算出部であり、変数指定部１９０から取得した前後の語数、特定語に基づいて、入力された文書中に出現する特徴量を算出し、単語特徴量メモリ１０１に格納する。また、類似文書検索時には、指定された文書に出現する単語特徴量を算出し、ユーザ指定文書の単語特徴量メモリ１０２に格納する。
【００５８】
タグ特徴量算出部１３０は、文書蓄積時及び類似文書検索時の両方で利用される算出部であり、文書を特徴付けるためのタグが設定ファイル１８０から指定されると、変数指定部１９０から指定されたタグに基づいて、文書中に出現するタグの特徴量を算出し、タグ特徴量メモリ１０３に格納する。
【００５９】
特徴ベクトル算出部１５０は、文書蓄積時で利用される算出部であり、単語特徴量メモリ１０１から単語特徴量を、タグ特徴量メモリ１０３からタグ特徴量を読み込んで、文書の特徴ベクトルを算出し、文書ＤＢ１７０に格納する。
【００６０】
指定文書特徴ベクトル算出部１４０は、類似文書検索時に利用される算出部であり、ユーザ指定文書の単語特徴量メモリ１０２から読み込んだ単語特徴量とタグ特徴量メモリ１０３から読み込んだタグ特徴量を比較して、ユーザが指定した文書の特徴ベクトルを算出する。
【００６１】
類似度算出部１６０は、類似文書検索時に利用される算出部であり、指定文書特徴量ベクトル算出部１４０より求められた特徴ベクトルと、文書ＤＢ１７０に格納されている特徴ベクトルとを比較して、ユーザから指定された文書と文書ＤＢ１７０に格納されている文書との類似度をそれぞれ算出し、類似する文書を出力する。
【００６２】
文書ＤＢ１７０は、文書、特徴ベクトル、単語特徴量、タグ特徴量、及び比較用のＩＤＦを格納する。
【００６３】
図１１は、本発明の第２の実施の形態における検索前処理のフローチャートである。
【００６４】
以下の処理では、文書入力部１１０、変数指定部１９０、単語特徴量算出部１２０、単語特徴量メモリ１０１、特徴ベクトル算出部１５０、タグ特徴量算出部１３０、タグ特徴量メモリ１０３、文書ＤＢ１７０を用いるものとし、これらからなる構成が請求項３の文書蓄積装置に対応する。
【００６５】
ステップ３０１）  文書入力部１１０において、蓄積対象となる文書を読み込み、単語特徴量算出部１２０及びタグ特徴量算出部１３０に与える。
【００６６】
ステップ３０２）  変数指定部１９０において、単語特徴量算出部１２０及びタグ特徴量算出部１３０に対して、特徴量を算出する際に使用する単語出現数を単語ではなく連語で処理する場合の条件を設定ファイル１８０から読み込んで指定する。これは人名などの場合、名字と名前が形態素解析ではそれぞれ１語として分割されてしまうが、実際は連語にした方がユーザの望む検索結果を出力することができるためである。例えば、設定ファイル１８０に、「条件：常時  連語数：２」と指定があれば、「山川花子」という言葉は「山川」と「花子」でそれぞれ１カウントするのではなく、「山川花子」で１カウントする。図１２は、図４の入力文書に対して、連語数"２"とした場合の単語数算出の例である。このとき、改行やｈｔｍｌタグが介在する際には、処理対象外とする指定があってもよい。
【００６７】
また、上記処理条件は、指定された特定の単語が存在する場合のみ、連語処理の対象としてもよい。図１３は、図４の入力文書に対して、「条件：単語「無料」出現時、もしくは、固有名詞出現時  連語数：２」の指定で単語数をカウントした例である。この例では、条件語である「無料」や固有名詞は単語としてもカウントを行い、連語としてもカウントをしているが、単語としてはカウントを行わない設定にしてもよい。
【００６８】
また、タグ特徴量算出部１３０に、図１４に示すような変数が指定された場合は、フォントの色が赤の場合に連語数を"３"としてタグ特徴量を求める。これにより求められたタグ特徴量の例を図１５に示す。
【００６９】
ステップ３０３〜ステップ３０６）  当該処理は、前述の図３のステップ１０２〜１０５の処理と同様であるので、その説明は省略する。
【００７０】
次に、本実施の形態における類似文書検索処理について説明する。
【００７１】
図１６は、本発明の第２の実施の形態における類似文書検索処理のフローチャートである。以下の処理では、文書入力部１１０、変数指定部１９０、単語特徴量算出部１２０、ユーザ指定文書の単語特徴量メモリ１０２、指定文書特徴ベクトル算出部１４０、タグ特徴量算出部１３０、タグ特徴量メモリ１０３、類似度算出部１６０、文書ＤＢ１７０を用いるものとし、これらからなる構成が請求項４の類似文書検索装置に対応する。
【００７２】
ステップ４０１）  文書入力部１１０は、ユーザが指定した文書を読み込み、単語特徴量算出部１２０及びタグ特徴量算出部１３０に与える。
【００７３】
ステップ４０２）  変数指定部１９０は、単語特徴量算出部１２０とタグ特徴量算出部１３０に特徴算出の際の変数を設定ファイル１８０から読み出して指定する。
【００７４】
ステップ４０３）  単語特徴量、タグ特徴量の抽出、及び特徴ベクトルの算出を行う。当該処理は、図１１のステップ３０３〜３０５の処理と同様であるので、その説明を省略する。
【００７５】
ステップ４０４）  類似度算出部１６０は、図９のステップ２０３の処理と同様であるのでその説明を省略する。
【００７６】
また、上記の第１・第２の実施の形態における図２、図１０に示す文書蓄積装置及び類似文書検索装置の構成要素の動作をプログラムとして構築し、文書蓄積装置、類似文書検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７７】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００７８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７９】
本発明は、Ｗｅｂ上の多数の文書を格納した文書データベースから文書を検索するための技術に適用可能である。
【図面の簡単な説明】
【００８０】
【図１】本発明の原理構成図である。
【図２】本発明の第１の実施の形態における類似文書検索装置の構成図である。
【図３】本発明の第１の実施の形態における検索前処理のフローチャートである。
【図４】本発明の第１の実施の形態における入力された文書の例である。
【図５】本発明の第１の実施の形態における入力された文書のＴＦ値を示す図である。
【図６】本発明の第１の実施の形態における入力された算出対象となるタグの例である。
【図７】本発明の第１の実施の形態におけるタグ特徴量の例である。
【図８】本発明の第１の実施の形態における学習データＩＤＦ値を示す図である。
【図９】本発明の第１の実施の形態における検索処理のフローチャートである。
【図１０】本発明の第２の実施の形態における類似文書検索装置の構成図である。
【図１１】本発明の第２の実施の形態における検索前処理のフローチャートである。
【図１２】本発明の第２の実施の形態における単語算出の例である。
【図１３】本発明の第２の実施の形態における単語数のカウント例である。
【図１４】本発明の第２の実施の形態における変数設定例（タグに関する設定の場合）である。
【図１５】本発明の第２の実施の形態におけるタグ特徴量算出部の特徴量算出の例である。
【図１６】本発明の第２の実施の形態における類似文書検索処理のフローチャートである。
【符号の説明】
【００８１】
１０１  第１の記憶手段、単語特徴量メモリ
１０２  第３の記憶手段、ユーザ指定文書の単語特徴量
１０３  第２の記憶手段、タグ特徴量メモリ
１１０  文書入力手段、文書入力部
１２０  単語特徴量算出手段、単語特徴量算出部
１３０  タグ特徴量算出手段、タグ特徴量算出部
１４０  指定文書特徴ベクトル算出手段、指定文書特徴ベクトル算出部
１５０  特徴ベクトル算出手段、特徴ベクトル算出部
１６０  類似度算出手段、類似度度算出部
１７０  文書データベース（ＤＢ）
１８０  設定ファイル
１９０  変数指定部
【図１】
2009129105.tif 000004
【図２】
2009129105.tif 000005
【図３】
2009129105.tif 000006
【図４】
2009129105.tif 000007
【図５】
2009129105.tif 000008
【図６】
2009129105.tif 000009
【図７】
2009129105.tif 000010
【図８】
2009129105.tif 000011
【図９】
2009129105.tif 000012
【図１０】
2009129105.tif 000013
【図１１】
2009129105.tif 000014
【図１２】
2009129105.tif 000015
【図１３】
2009129105.tif 000016
【図１４】
2009129105.tif 000017
【図１５】
2009129105.tif 000018
【図１６】
2009129105.tif 000019