(57)【要約】【課題】文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから正確に検出することのできる技術を提供する。【解決手段】類似文書検索時に、学習用データベースに含まれる多数文書に出現する単語の出現度合いを示すＩＤＦ値と所定の閾値とを比較することで頻出語を検出する。そして、頻出語については、ＴＦＩＤＦ値を算出することなく、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値を成分とする基準文書の特徴ベクトルを算出する。さらに、基準文書の特徴ベクトルと、文書ＤＢ１６２に含まれる各文書についての特徴ベクトルとを用いて、基準文書と、文書ＤＢ１６２に含まれる各文書との類似度を算出する。そして、当該類似度に基づいて、基準文書と類似する文書を検出して出力する。【選択図】図２
2006201926.tif 000002
【特許請求の範囲】
【請求項１】
複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索システムであって、
前記基準文書を入力する文書入力手段と、
前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成する出現度数データ生成手段と、
前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するパラメータ算出手段と、
前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを記憶する特徴ベクトル記憶手段と、
前記パラメータ算出手段によって算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記特徴ベクトル記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出する類似度算出手段と、
前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力する検索結果出力手段と、
を備え、
前記パラメータ算出手段が、
前記各出現度合いパラメータと所定の閾値とを比較することで検出された頻出語については、特徴付け度合いパラメータを算出しないことを特徴とする類似文書検索システム。
【請求項２】
複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索システムであって、
前記基準文書を入力する文書入力手段と、
前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成する出現度数データ生成手段と、
前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するパラメータ算出手段と、
前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを記憶する特徴ベクトル記憶手段と、
前記パラメータ算出手段によって算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記特徴ベクトル記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出する類似度算出手段と、
前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力する検索結果出力手段と、
を備え、
前記類似度算出手段が、
前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記出現度合いパラメータと所定の閾値とを比較することで検出された頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、前記頻出語に係る特徴付け度合いパラメータを変換して、前記類似度を算出することを特徴とする類似文書検索システム。
【請求項３】
請求項２に記載の類似文書検索システムであって、
前記類似度算出手段が、
前記頻出語に係る特徴付け度合いパラメータを消去することで、前記頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、前記頻出語に係る特徴付け度合いパラメータを変換することを特徴とする類似文書検索システム。
【請求項４】
請求項１から請求項３のいずれかに記載の類似文書検索システムであって、
前記類似度算出手段が、
前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、所定値以下の特徴付け度合いパラメータを削除した後に、前記類似度を算出することを特徴とする類似文書検索システム。
【請求項５】
複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索システムであって、
前記基準文書を入力する文書入力手段と、
前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成する出現度数データ生成手段と、
前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するパラメータ算出手段と、
前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを記憶する特徴ベクトル記憶手段と、
前記パラメータ算出手段によって算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記特徴ベクトル記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出する類似度算出手段と、
前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力する検索結果出力手段と、
を備え、
前記類似度算出手段が、
前記基準文書に出現する単語のうちの特定の単語を指定するユーザーの操作に応じて、前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記特定の単語以外の単語と比較して特徴付け度合いが相対的に大きくなるように、当該特定の単語に係る特徴付け度合いパラメータに重み付けを行って、前記類似度を算出することを特徴とする類似文書検索システム。
【請求項６】
類似文書検索システムに含まれるコンピュータによって実行されることにより、前記類似文書検索システムを、請求項１から請求項５のいずれかに記載の類似文書検索システムとして機能させるプログラム。
【請求項７】
複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索方法であって、
(a)前記基準文書を入力するステップと、
(b)前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成するステップと、
(c)前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するステップと、
(d)前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを所定の記憶手段に記憶するステップと、
(e)前記ステップ(c)において算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記ステップ(d)において前記所定の記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出するステップと、
(f)前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力するステップと、
を備え、
前記ステップ(c)が、
前記出現度合いパラメータと所定の閾値とを比較することで検出された頻出語については、特徴付け度合いパラメータを算出しないことを特徴とする類似文書検索方法。
【請求項８】
複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索方法であって、
(a)前記基準文書を入力するステップと、
(b)前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成するステップと、
(c)前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するステップと、
(d)前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを所定の記憶手段に記憶するステップと、
(e)前記ステップ(c)において算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記ステップ(d)において前記所定の記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出するステップと、
(f)前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力するステップと、
を備え、
前記ステップ(e)が、
前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記出現度合いパラメータと所定の閾値とを比較することで検出された頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、前記頻出語に係る特徴付け度合いパラメータを変換して、前記類似度を算出することを特徴とする類似文書検索方法。
【請求項９】
複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索方法であって、
(a)前記基準文書を入力するステップと、
(b)前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成するステップと、
(c)前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するステップと、
(d)前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを所定の記憶手段に記憶するステップと、
(e)前記ステップ(c)において算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記ステップ(d)において前記所定の記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出するステップと、
(f)前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力するステップと、
を備え、
前記ステップ(e)が、
前記基準文書に出現する単語のうちの特定の単語を指定するユーザーの操作に応じて、前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記特定の単語以外の単語と比較して特徴付け度合いが相対的に大きくなるように、当該特定の単語に係る特徴付け度合いパラメータに重み付けを行って、前記類似度を算出することを特徴とする類似文書検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書の検索に関する。
【背景技術】
【０００２】
各自のパソコンにおいてキーワードの論理式を検索条件として指定することで、多数の文書を蓄積したデータベース（文書データベース）から、指定した論理式を満足する文書集合を求める文書検索システムが一般的に知られている。
【０００３】
この文書データベースから文書を検索する技術として、文書データベースに格納される各文書について主成分分析により文書の特徴ベクトルを予め求めておき、検索条件から算出した特徴ベクトルとの類似度の高い文書を検出する技術が提案されている（例えば、特許文献１）。
【０００４】
また、文書の特徴ベクトルを用いる技術として、ある文書について、文ごとの特徴ベクトルと、文書全体の特徴ベクトルをそれぞれ求めた後に、重要文を得る技術が知られている（例えば、特許文献２）。
【０００５】
このような特許文献１、２で提案されている技術では、文書の特徴ベクトルを得るために所謂ＴＦＩＤＦ法が用いられている。
【０００６】
このような技術に関する先行技術文献としては、以下のようなものがある。
【０００７】
【特許文献１】特開２００２−１４９９９号公報
【特許文献２】特開２００３−１０８５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１、２の技術で用いられているＴＦＩＤＦ法では、どのような文書においても頻出する助詞などの存在により、求められる文書の特徴ベクトル同士が相互に似る傾向にある。したがって、文書が示す特徴的な内容を正確に反映していない助詞などといった頻出語の存在は、ある文書と類似した文書を文書データベースから検索する際に、正確な検索処理の阻害要因となる。
【０００９】
このような問題は、助詞などといったどのような文書にも頻出する単語の存在によってだけでなく、例えば、接続詞や一般的な用語などといった文書が示す特徴的な内容を正確に反映していないその他の単語の存在によっても生じる。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから正確に検出することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、請求項１の発明は、複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索システムであって、前記基準文書を入力する文書入力手段と、前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成する出現度数データ生成手段と、前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するパラメータ算出手段と、前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを記憶する特徴ベクトル記憶手段と、前記パラメータ算出手段によって算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記特徴ベクトル記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出する類似度算出手段と、前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力する検索結果出力手段とを備え、前記パラメータ算出手段が、前記各出現度合いパラメータと所定の閾値とを比較することで検出された頻出語については、特徴付け度合いパラメータを算出しないことを特徴とする。
【００１２】
また、請求項２の発明は、複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索システムであって、前記基準文書を入力する文書入力手段と、前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成する出現度数データ生成手段と、前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するパラメータ算出手段と、前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを記憶する特徴ベクトル記憶手段と、前記パラメータ算出手段によって算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記特徴ベクトル記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出する類似度算出手段と、前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力する検索結果出力手段とを備え、前記類似度算出手段が、前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記出現度合いパラメータと所定の閾値とを比較することで検出された頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、前記頻出語に係る特徴付け度合いパラメータを変換して、前記類似度を算出することを特徴とする。
【００１３】
また、請求項３の発明は、請求項２に記載の類似文書検索システムであって、前記類似度算出手段が、前記頻出語に係る特徴付け度合いパラメータを消去することで、前記頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、前記頻出語に係る特徴付け度合いパラメータを変換することを特徴とする。
【００１４】
また、請求項４の発明は、請求項１から請求項３のいずれかに記載の類似文書検索システムであって、前記類似度算出手段が、前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、所定値以下の特徴付け度合いパラメータを削除した後に、前記類似度を算出することを特徴とする。
【００１５】
また、請求項５の発明は、複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索システムであって、前記基準文書を入力する文書入力手段と、前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成する出現度数データ生成手段と、前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するパラメータ算出手段と、前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを記憶する特徴ベクトル記憶手段と、前記パラメータ算出手段によって算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記特徴ベクトル記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出する類似度算出手段と、前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力する検索結果出力手段とを備え、前記類似度算出手段が、前記基準文書に出現する単語のうちの特定の単語を指定するユーザーの操作に応じて、前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記特定の単語以外の単語と比較して特徴付け度合いが相対的に大きくなるように、当該特定の単語に係る特徴付け度合いパラメータに重み付けを行って、前記類似度を算出することを特徴とする。
【００１６】
また、請求項６の発明は、類似文書検索システムに含まれるコンピュータによって実行されることにより、前記類似文書検索システムを、請求項１から請求項５のいずれかに記載の類似文書検索システムとして機能させるプログラムである。
【００１７】
また、請求項７の発明は、複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索方法であって、(a)前記基準文書を入力するステップと、(b)前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成するステップと、(c)前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するステップと、(d)前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを所定の記憶手段に記憶するステップと、(e)前記ステップ(c)において算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記ステップ(d)において前記所定の記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出するステップと、(f)前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力するステップとを備え、前記ステップ(c)が、前記出現度合いパラメータと所定の閾値とを比較することで検出された頻出語については、特徴付け度合いパラメータを算出しないことを特徴とする。
【００１８】
また、請求項８の発明は、複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索方法であって、(a)前記基準文書を入力するステップと、(b)前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成するステップと、(c)前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するステップと、(d)前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを所定の記憶手段に記憶するステップと、(e)前記ステップ(c)において算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記ステップ(d)において前記所定の記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出するステップと、(f)前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力するステップとを備え、前記ステップ(e)が、前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記出現度合いパラメータと所定の閾値とを比較することで検出された頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、前記頻出語に係る特徴付け度合いパラメータを変換して、前記類似度を算出することを特徴とする。
【００１９】
また、請求項９の発明は、複数の文書を集めた文書データベースを対象として、基準文書と類似する文書を検索する類似文書検索方法であって、(a)前記基準文書を入力するステップと、(b)前記基準文書に出現する各単語の出現度数をそれぞれ記憶した単語出現度数データを生成するステップと、(c)前記基準文書に含まれる各単語について、前記単語出現度数データが示す出現度数と、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータとを用いることで、当該各単語が前記基準文書を特徴付けている度合いを示す特徴付け度合いパラメータをそれぞれ算出するステップと、(d)前記文書データベースに含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルを所定の記憶手段に記憶するステップと、(e)前記ステップ(c)において算出された各特徴付け度合いパラメータを成分とする基準特徴ベクトルと、前記ステップ(d)において前記所定の記憶手段に記憶された各特徴ベクトルとを用いて、前記基準文書と、前記文書データベースに含まれる各文書との類似度をそれぞれ算出するステップと、(f)前記類似度に基づいて、前記基準文書と類似する文書を示す検索結果を出力するステップとを備え、前記ステップ(e)が、前記基準文書に出現する単語のうちの特定の単語を指定するユーザーの操作に応じて、前記基準文書に出現する各単語についての特徴付け度合いパラメータ、および前記文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、前記特定の単語以外の単語と比較して特徴付け度合いが相対的に大きくなるように、当該特定の単語に係る特徴付け度合いパラメータに重み付けを行って、前記類似度を算出することを特徴とする。
【発明の効果】
【００２０】
請求項１および請求項７のいずれに記載の発明によっても、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータと所定の閾値とを比較することで検出された頻出語については、特徴付け度合いパラメータを算出することなく、基準文書に出現する各単語についての特徴付け度合いパラメータを成分とする基準文書の特徴ベクトルと、文書データベースに含まれる各文書についての特徴ベクトルとを用いて、基準文書と、文書データベースに含まれる各文書との類似度を算出し、当該類似度に基づいて、基準文書と類似する文書を示す検索結果を出力する構成とすることで、助詞などといった文書の特徴的な内容とは無関係の頻出語の影響を低減して類似文書を検索することができるため、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから正確に検出することができる。
【００２１】
また、請求項２および請求項８のいずれに記載の発明によっても、所定の多数文書に出現する単語の出現度合いを示す出現度合いパラメータと所定の閾値とを比較することで検出された頻出語については、頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、特徴付け度合いパラメータを変換して、特徴付け度合いパラメータを成分とする基準文書の特徴ベクトルと、文書データベースに含まれる各文書についての特徴ベクトルとを用いて、基準文書と、文書データベースに含まれる各文書との類似度を算出し、当該類似度に基づいて、基準文書と類似する文書を示す検索結果を出力する構成とすることで、助詞などといった文書の特徴的な内容とは無関係の頻出語の影響を低減して類似文書を検索することができるため、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから正確に検出することができる。
【００２２】
また、請求項３に記載の発明によれば、頻出語に係る特徴付け度合いパラメータを消去することで、頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、頻出語に係る特徴付け度合いパラメータを変換する構成とすることで、助詞などといった文書の特徴的な内容とは無関係の頻出語の影響を無くした状態で類似文書を検索することができるため、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから更に正確に検出することができる。
【００２３】
また、請求項４に記載の発明によれば、基準文書に出現する各単語についての特徴付け度合いパラメータ、および文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、所定値以下のパラメータを削除して、類似度を算出する構成とすることで、文書の特徴的な内容とは無関係の単語に係る計算を除外することができため、計算量の低減を図ることができる。したがって、検索時間の短縮などを図ることができる。
【００２４】
また、請求項５および請求項９のいずれに記載の発明によっても、類似文書を検索する際に基準となる基準文書に出現する単語のうちの特定の単語を指定するユーザーの操作に応じて、基準文書に出現する各単語についての特徴付け度合いパラメータ、および文書データベースに含まれる各文書に出現する各単語についての特徴付け度合いパラメータのうちの少なくとも一方を対象として、特定の単語以外の単語と比較して特徴付け度合いが相対的に大きくなるように、特定の単語に係る特徴付け度合いパラメータに重み付けを行って、特徴付け度合いパラメータを成分とする基準文書の特徴ベクトルと、文書データベースに含まれる各文書についての特徴ベクトルとを用いて、基準文書と、文書データベースに含まれる各文書との類似度を算出し、当該類似度に基づいて、基準文書と類似する文書を示す検索結果を出力する構成とすることで、ユーザーが指定した文書の特徴的な内容を示す特定の単語の影響を増大させて類似文書を検索することができるため、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから正確に検出することができる。
【００２５】
また、請求項６に記載の発明によれば、請求項１から請求項５の発明と同様な効果を得ることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態を図面に基づいて説明する。
【００２７】
＜類似文書検索システムの構成＞
図１は、本発明の実施形態に係る類似文書検索システム１の外観構成を例示する図である。類似文書検索システム１は、パーソナルコンピュータ（パソコン）において所定のプログラムが実行されることで実現される。図２は、類似文書検索システム１の機能構成を示すブロック図を示している。
【００２８】
図１に示すように、類似文書検索システム１は、箱状の形状を有する処理部１１と、操作部１２と、表示部１３とを有している。
【００２９】
処理部１１の前面には、光ディスク９１を挿入するドライブ１０１と、メモリカード９２を挿入するドライブ１０２とが設けられている。
【００３０】
また、操作部１２は、マウス１２１とキーボード１２２とを有しており、ユーザーから処理部１１に対する入力操作を受付ける。
【００３１】
表示部１３は、例えばＣＲＴで構成され、表示手段として機能する。
【００３２】
また、図２に示すように、類似文書検索システム１の処理部１１は、上記の操作部１２および表示部１３に接続する入出力Ｉ／Ｆ１４と、入出力Ｉ／Ｆ１４に電気的に接続する制御部１５とを備えている。また、処理部１１は、制御部１５に電気的に接続する記憶部１６と、入出力Ｉ／Ｆ１７とを備えている。
【００３３】
入出力Ｉ／Ｆ１４は、操作部１２および表示部１３と制御部１５との間でデータの送受信をコントロールするためのインターフェースである。
【００３４】
記憶部１６は、例えばハードディスクなどを備えて構成されており、多数（例えば、数千）の文書を集めて格納する文書データベース（以下「文書ＤＢ」と略称する）１６２を記憶している。また、記憶部１６は、文書ＤＢ１６２を検索対象として、ある文書と類似する文書の検索（以下「類似文書検索」と称する）を行うための所定のプログラム（類似文書検索用プログラム）１６１を格納している。更に、記憶部１６は、例えば、後述するＩＤＦ表データ１６３や、後述する文書ＤＢ１６２に含まれる各文書についての特徴ベクトルを示すデータ（文書ＤＢ特徴ベクトルデータ）１６４などといった類似文書検索を行う上で必要な各種データも格納している。
【００３５】
入出力Ｉ／Ｆ１７は、ドライブ１０１、１０２を介して、記録メディアである光ディスク９１、メモリカード９２に対するデータの入出力を行うためのインターフェースである。
【００３６】
制御部１５は、ＣＰＵ１５ａおよびメモリ１５ｂを有しており、パソコン、すなわち類似文書検索システム１の動作を統括制御し、ユーザーの操作や類似文書検索用プログラム１６１などに基づいて類似文書検索を制御する部位である。ここでは、ユーザーによる操作部１２の種々の操作に基づき、制御部１５が、記憶部１６に格納されている類似文書検索用プログラム１６１を読み込んで実行することにより、類似文書検索の動作が実現される。なお、制御部１５は、光ディスク９１やメモリカード９２に記録されている各種データやプログラムを入出力Ｉ／Ｆ１７を介して読み込んで、各種制御を実行することもできる。
【００３７】
以下、類似文書検索システム１における類似文書検索の動作について説明する。
【００３８】
＜類似文書検索システムの動作＞
図３は、類似文書検索が実行される際に、制御部１５において実現される機能を例示する図である。類似文書検索時には、制御部１５は、機能として、単語出現度数算出部１５１、特徴付け度合いパラメータ算出部１５２、特徴ベクトル生成部１５３、類似度算出部１５４、および検索結果出力部１５５を備えて構成される。
【００３９】
また、図４から図６は、類似文書検索の動作フローを示すフローチャートである。本動作フローは、制御部１５において類似文書検索用プログラム１６１が実行されることで実現される。なお、本動作フローにおいて、求められる各種数値、パラメータ、及びデータは、適宜メモリ１５ｂに一時的に記憶される。
【００４０】
以下、図３を参照しつつ、図４から図６に示す類似文書検索の動作フローについて説明する。
【００４１】
まず、類似文書検索システム１における類似文書検索用プログラム１６１の実行が開始されると、図４のステップＳ１に進む。
【００４２】
ステップＳ１では、図７に示すように、検索の基準となる文書（基準文書）を入力する画面（基準文書入力画面）ＳＧが表示部１３に表示される。
【００４３】
基準文書入力画面ＳＧには、基準文書を入力するためのエリア（入力エリア）ＡＩと、検索を実行させるための検索開始ボタンＥＢとが表示される。
【００４４】
この基準文書入力画面ＳＧが表示された状態で、ユーザーは、マウス１２１を操作することでマウスポインタＭＰを入力エリアＡＩに合わせて、マウス１２１をクリックすると、入力エリアＡＩにおける文字の入力位置を示すカーソルが点滅表示される状態となる。そして、通常のワードプロセッサ（ワープロ）入力のように、キーボード１２２を用いて基準文書を入力した後に、マウス１２１を操作することで検索開始ボタンＥＢにマウスポインタＭＰを合わせて、マウス１２１をクリックすることで、検索開始が指示され、基準文書に類似した文書を文書ＤＢ１６２から検出することができる。
【００４５】
ステップＳ２では、基準文書が入力されて検索開始が指示されたか否かを判定する。このステップＳ２では、基準文書入力画面ＳＧにおいて、基準文書が入力されて検索開始が指示されるまでステップＳ２の処理を繰り返し、基準文書が入力されて検索開始が指示されると、ステップＳ３に進む。ステップＳ３に進む際には、基準文書は、メモリ１５ｂに記憶された状態となっている。
【００４６】
ステップＳ３では、ステップＳ１からＳ２にかけて入力された基準文書について特徴ベクトルを算出する。ここでは、図５のステップＳ３１〜Ｓ３６の処理を行うことで、ＴＦＩＤＦ法により基準文書についてのＴＦＩＤＦ表を作成し、このＴＦＩＤＦ表を特徴ベクトルとする。
【００４７】
ここで、図５のステップＳ３１〜Ｓ３６の処理について具体的に説明する。
【００４８】
ステップＳ３１では、単語出現度数算出部１５１により、メモリ１５ｂに記憶された基準文書を単語に分解する処理が行われる。ここでは、公知の形態素解析などを用いることで、基準文書を単語に分解することができる。具体的には、例えば「今日はとても暑い」という文があった場合に、これを「今日／は／とても／暑い」というように分解する。更に具体的には、図８に示すような基準文書が入力されている場合には、図９においてスラッシュで切り分けたように、基準文書を単語に分解することができる。
【００４９】
ステップＳ３２では、基準文書に出現する単語と出現度数（出現回数）のリスト（ＴＦ表）を示すデータ（単語出現度数リストデータ）を作成し、メモリ１５ｂに記憶する。図１０では、図８に示す基準文書についてのＴＦ表の一例が示されており、ＴＦ表中の左側には単語が列挙され、右側には各単語の出現度数が示されている。なお、以下では、基準文書ｄにおける単語ｔの頻度をＴＦ値と呼び、tf（d,t）で表す。
【００５０】
ステップＳ３３では、予め準備され、記憶部１６に格納されたＩＤＦ表データ１６３をメモリ１５ｂに読出す。
【００５１】
ここで、予め準備したＩＤＦ表とは、所定の多数の文書を集めた所定の学習用の文書データベースを対象として、全文書中で各単語が出現する文書数の割合から求めた値のリスト、すなわち各単語の出現度合いを示すパラメータ（出現度合いパラメータ）のリストである。
【００５２】
具体的には、ある学習用データベースにおいて、全文書数がＮ、そのうちｔという単語が出現する文書数がf(t)である場合に、単語ｔのＩＤＦ値をidf(t)とすると、ＩＤＦ値idf(t)は、下式（１）に示すものとなる。
【００５３】
【数１】
2006201926.tif 000003
【００５４】
ここでは、ｔという単語が出現する文書数が少ないほどidf(t)の値は大きくなる。また、ここで、f(t)については、学習用データベースの全文書をステップＳ３１と同様にして単語に分解することによって求めることができる。なお、f(t)が０の場合には、idf(t)として十分大きな定数が与えられる。
【００５５】
このようなＩＤＦ値を、学習用データベース内の全文書に含まれる単語について求め、リストを作成したものがＩＤＦ表である。換言すれば、ＩＤＦ表は、所定の多数文書に出現する単語の出現度合いを示すパラメータ（出現度合いパラメータ）を各単語ごとに示したものである。
【００５６】
図１１には、ＩＤＦ表の一例が示されており、ＩＤＦ表中の左側には単語が列挙され、右側には各単語の出現度合いパラメータが示されている。なお、ここで、学習用データベースには、ある特定の分野（例えば、病気の症例や一般的なニュースなど）についての多数の文書データ（文書）が格納されているものとする。
【００５７】
ステップＳ３４では、学習用データベース内の数多くの文書に出現する単語（頻出語）を検出する。ここでは、ＩＤＦ表の各ＩＤＦ値と所定の閾値とを比較して、ＩＤＦ値が所定の閾値以下の単語（低ＩＤＦ単語）を検出する。ここで、ＩＤＦ値が所定の閾値以下であるということは、学習用データベース内の数多くの文書に、その単語が出現するということであり、ＩＤＦ値が小さい単語の具体例としては、助詞や接続詞などが挙げられる。よって、ここでは、低ＩＤＦ単語を頻出語とみなして検出することができる。
【００５８】
ステップＳ３５では、ステップＳ３２で作成された単語出現度数リストデータとステップＳ３３で読み出したＩＤＦ表データとからＴＦＩＤＦ表を作成する。なお、作成されたＴＦＩＤＦ表を示すデータは、メモリ１５ｂに一時的に保存される。
【００５９】
ここで、ＴＦＩＤＦ表の作成方法について説明する。
【００６０】
基準文書ｄにおいて、ステップＳ３２で作成したＴＦ表に含まれる単語ｔ1については、下式（２）に示すように、tf(d,t1)にidf(t1)を乗じた値を、基準文書ｄにおける単語ｔ1のＴＦＩＤＦ値と定め、tfidf(d,t1)と表す。
【００６１】
【数２】
2006201926.tif 000004
【００６２】
そして、このＴＦＩＤＦ値をＴＦ表に含まれる全ての単語について求め、リストにしたものがＴＦＩＤＦ表である。なお、一例として、図１２に、図８に示す基準文書についてのＴＦＩＤＦ表が示されている。
【００６３】
ここで、基準文書ｄにおいて、単語ｔ1のＴＦＩＤＦ値が大きいということは、単語ｔ1が基準文書ｄに頻出し、かつ他の文書ではあまり出現しないということを意味するため、単語ｔ1が基準文書ｄを特徴付ける度合いが大きいと言える。
【００６４】
よって、このようにして、特徴付け度合いパラメータ算出部１５２により、基準文書ｄに含まれる各単語について、ＴＦ表が示すＴＦ値と、ＩＤＦ表が示すＩＤＦ値とを用いることで、各単語が基準文書ｄを特徴付けている度合いを示すパラメータ（特徴付け度合いパラメータ）に相当するＴＦＩＤＦ値をそれぞれ算出することができる。
【００６５】
但し、このステップＳ３５では、ステップＳ３４の検出結果に基づいて、低ＩＤＦ単語についてのＴＦＩＤＦ値は算出しない。
【００６６】
低ＩＤＦ単語は、特定の文書内に頻出したとしても文書を強く特徴付けるとは言えない。そのため、低ＩＤＦ単語を類似文書の検索に使用すると、正確な類似文書の検索に対する阻害要因となる。そこで、頻出語の悪影響を排除するために、各ＩＤＦ値と所定の閾値とを比較することで検出された頻出語については、ＴＦＩＤＦ値を算出しないようにする。
【００６７】
ステップＳ３６では、特徴付け度合いパラメータ算出部１５２により、ステップＳ３５で得られたＴＦＩＤＦ表に対して正規化処理を行う。
【００６８】
具体的には、まず基準文書ｄの長さ（「ＴＦＩＤＦ表の大きさ」とも称する）Ｎ(d)を、下式（３）で求める。
【００６９】
【数３】
2006201926.tif 000005
【００７０】
なお、式（３）では、基準文書ｄに含まれる全ての単語ｔについて、ＴＦＩＤＦ値を２乗したものの総和（ＴＦＩＤＦ値の２乗和）を求めて、その平方根をＮ(d)として算出する。例えば、図１２に示すＴＦＩＤＦ値についての２乗和は１９６となり、その平方根は１４となる。
【００７１】
次に全ての単語ｔについて、下式（４）で示されるように、ＴＦＩＤＦ値tfidf(d,t)をＮ(d)で割る処理を行うことで、正規化を行ったＴＦＩＤＦ値（正規化後ＴＦＩＤＦ値）、すなわちＮtfidf(d,t)を算出する。
【００７２】
【数４】
2006201926.tif 000006
【００７３】
ここで、tfidf(d,t)をＮ(d)で割る処理を行うのは、文が長くなればなるほど各単語のＴＦＩＤＦ値も大きくなるため、この影響を抑えるためである。
【００７４】
そして、ここでは、作成したＴＦＩＤＦ表の各ＴＦＩＤＦ値を正規化後ＴＦＩＤＦ値に置き換えることで、ＴＦＩＤＦ表に対する正規化処理が実施される。
【００７５】
なお、正規化処理後のＴＦＩＤＦ表に含まれる正規化後ＴＦＩＤＦ値も、基準文書ｄに含まれる各単語が基準文書ｄを特徴付けている度合いを示すパラメータ（特徴付け度合いパラメータ）に相当する。
【００７６】
また、ステップＳ３６では、特徴ベクトル生成部１５３により、Ｎtfidf(d,t)を基準文書ｄに含まれる全単語ｔについて並べたもの、すなわち、基準文書に出現する各単語についての特徴付け度合いパラメータを成分とするベクトルを、基準文書ｄの特徴ベクトルとして生成する。
【００７７】
このようにして、ステップＳ３では、基準文書について特徴ベクトルを算出することができ、この基準文書についての特徴ベクトル（「基準特徴ベクトル」とも称する）は、メモリ１５ｂに記憶される。
【００７８】
図４に戻って説明を続ける。
【００７９】
図４のステップＳ４では、ステップＳ３において算出した基準文書の特徴ベクトルを用いて、文書ＤＢ１６２を対象とした検索を実行することで、類似文書を検出して出力する。具体的には、図６のステップＳ４１〜Ｓ４５の処理を行うことで、基準文書に類似した文書を検出して、出力する。
【００８０】
ここで、図６のステップＳ４１〜Ｓ４５の処理について説明する。
【００８１】
ステップＳ４１では、ステップＳ３で算出した、基準文書の特徴ベクトルを読出す。
【００８２】
ステップＳ４２では、ユーザーの操作に応じて、類似文書検索において重要視する特定の単語を指定する。
【００８３】
具体的には、ステップＳ４２に進むと、例えば、図１３に示すように、類似文書検索において重要視する特定の単語を指定するための画面（重要単語指定画面）ＩＧが表示される。重要単語指定画面ＩＧ（図１３）では、基準文書に出現する単語が上から順に列挙されたリストが表示され、ユーザーがキーボード１２２を適宜操作することで、太枠カーソルＫＳを所望の単語に合わせることができる。そして、所望の単語に太枠カーソルＫＳを合わせた状態で、ユーザーがキーボード１２２の実行ボタン（例えば、リターンキー）を押下すると、重要視する特定単語を指定することができ、ステップＳ４３に進む。なお、重要単語指定画面ＩＧで「指定なし」の表示に太枠カーソルＫＳを合わせて実行ボタンが押下されると、重要視する特定単語が指定されることなく、ステップＳ４３に進む。
【００８４】
ステップＳ４３では、ステップＳ４２で指定された特定単語については、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値を対象として、特定単語以外の単語と比較して、正規化後ＴＦＩＤＦ値が相対的に大きくなるように、重要視する特定単語の正規化後ＴＦＩＤＦ値を変換（重み付け）する。
【００８５】
例えば、「羽田空港」という単語が重要視する特定単語として指定されている場合には、「羽田空港」についての正規化後ＴＦＩＤＦ値が所定数倍（例えば、１０倍）の値に変換される。
【００８６】
このようにして、重み付けがなされた正規化後ＴＦＩＤＦ値を成分とする基準文書の特徴ベクトルが生成される。
【００８７】
ステップＳ４４では、類似度算出部１５４において、基準文書の特徴ベクトルと、検索対象である文書ＤＢ１６２に含まれる各文書の特徴ベクトルとの内積を求め、その内積値を類似度として算出する。
【００８８】
ここで、文書ＤＢ１６２に含まれる各文書の特徴ベクトル（文書ＤＢ特徴ベクトルデータ）１６４については、ステップＳ３における処理と同様な処理を行うことで、予め算出され、記憶部１６に格納されているものとする。つまり、記憶部１６には、文書ＤＢ１６２に含まれる各文書について、出現する各単語についての特徴付け度合いパラメータを成分とする特徴ベクトルが予め記憶されている。
【００８９】
ここで、記憶部１６に記憶されている特徴ベクトルの一例について説明する。
【００９０】
例えば、図１４に示すような文書ＤＢ１６２に格納される文書については、図１５に示すように、単語に切り分けてＴＦ表（図１６）を作成し、図１１に示すＩＤＦ表を用いて、ＴＦＩＤＦ値を算出して正規化すると、ＴＦＩＤＦ表（図１７）を得ることができる。よって、このＴＦＩＤＦ表（図１７）の各ＴＦＩＤＦ値を成分とした特徴ベクトルを図１４に示す文書の特徴ベクトルとして得ることができる。
【００９１】
以下、２つの文書についての特徴ベクトルの内積を求める方法について説明する。
【００９２】
ここで、２つの文書をｄ1,ｄ2とし、文書ｄ1に含まれる単語をｔ1、文書ｄ2に含まれる単語をｔ2として表すと、特徴ベクトルの内積値Ｉｄ1ｄ2は、下式（５）で示される。
【００９３】
【数５】
2006201926.tif 000007
【００９４】
式（５）におけるαはｔ1＝ｔ2のときに１となり、ｔ1＝ｔ2でないときには０となる。つまり、式（５）では、文書ｄ1と文書ｄ2に含まれる全単語を対象として、それぞれ同一となる全単語について、文書ｄ1に含まれる単語についての正規化後ＴＦＩＤＦ値と、文書ｄ2に含まれる単語についての正規化後ＴＦＩＤＦ値とを乗じて、全てを足し合わせたものを内積値Ｉｄ1ｄ2として算出する。すなわち、２つの文書ｄ1、ｄ2に同じ単語が含まれる場合、その同じ単語に対応する正規化後ＴＦＩＤＦ値の積の総和が内積値Ｉｄ1ｄ2となる。
【００９５】
より具体的には、例えば、図１２及び図１７のＴＦＩＤＦ表について正規化後ＴＦＩＤＦ値の積の総和を求める場合には、下線が付してある単語が、２つの文書に共通する単語であり、当該単語に係る正規化後ＴＦＩＤＦ値の積の総和が、内積値Ｉｄ1ｄ2として算出される。
【００９６】
そして、この内積値Ｉｄ1ｄ2が大きい程、２つの文書ｄ1、ｄ2の特徴ベクトルは「似ている」と言えるため、この内積値Ｉｄ1ｄ2を、２つの文書ｄ1、ｄ2の類似度合い（類似度）と見ることができる。
【００９７】
ステップＳ４５では、ステップＳ４４で算出した内積値（類似度）が一定値以上のものを基準文書と類似した文書（類似文書）として検出する。そして、例えば、検出された類似文書の識別標識（数字や記号などの組み合わせ等）の一覧表が検索結果の一覧として表示部１３において可視的に出力され、類似文書検索の動作が終了する。
【００９８】
図１８は、検出された類似文書の識別標識が列挙された一覧表が表示される画面（検索結果表示画面）ＲＧを例示する図である。
【００９９】
図１８に示す検索結果表示画面ＲＧでは、４つの類似文書の識別標識が上から順に表示されている。そして、一覧表に列挙される類似文書の識別標識は、ハイパーリンクなどによって類似文書のファイルとリンクされており、マウス１２１を適宜操作することで、所望の類似文書の識別標識にマウスポインタＭＰを合わせて、マウス１２１をクリックすることで、所望の類似文書の全文を表示部１３に表示させることができる。
【０１００】
以上のように、学習用データベースに含まれる多数文書に出現する単語の出現度合いを示すＩＤＦ値と所定の閾値とを比較することで頻出語を検出する。そして、基準文書に含まれる単語のうち、頻出語については、ＴＦＩＤＦ値を算出することなく、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値を成分とする基準文書の特徴ベクトルを算出する。さらに、基準文書の特徴ベクトルと、文書ＤＢ１６２に含まれる各文書についての特徴ベクトルとを用いて、基準文書と、文書ＤＢ１６２に含まれる各文書との類似度を算出する。そして、当該類似度に基づいて、基準文書と類似する文書を示す検索結果を出力する。このような構成とすることで、助詞などといった文書の特徴的な内容とは無関係の頻出語の影響を低減して類似文書を検索することができる。このため、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから正確に検出することができる。
【０１０１】
また、類似文書検索時に、ユーザーの操作に応じて、検索の基準となる基準文書に出現する単語のうちの特定単語を指定する。そして、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値を対象として、特定単語以外の単語と比較して特徴付け度合いが相対的に大きくなるように、特定単語に係る正規化後ＴＦＩＤＦ値を変換する。その後に、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値を成分とする基準文書の特徴ベクトルと、文書ＤＢ１６２に含まれる各文書についての特徴ベクトルとを用いて、基準文書と、文書ＤＢ１６２に含まれる各文書との類似度を算出する。そして、当該類似度に基づいて、基準文書と類似する文書を示す検索結果を出力する。このような構成とすることで、ユーザーが指定した文書の特徴的な内容を示す特定単語の影響を増大させて類似文書を検索することができる。その結果、類似文書の検索において、文書が示す特徴的な内容を正確に反映していない単語の影響度が相対的に小さくなる。したがって、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから正確に検出することができる。
【０１０２】
＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１０３】
◎例えば、上述の実施形態では、低ＩＤＦ単語については、ＴＦＩＤＦ値を算出しないようにしたが、これに限られず、例えば、低ＩＤＦ単語については、各ＴＦＩＤＦ値を算出する前に、ＩＤＦ表から外したりすることで、低ＩＤＦ単語を文書の類似度の計算から排除するようにしても良い。
【０１０４】
また、上述の実施形態と同様な効果を得るために、例えば、ＩＤＦ値と所定の閾値とを比較することで頻出語を検出しておき、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値、および文書ＤＢ１６２に含まれる各文書に出現する各単語についての正規化後ＴＦＩＤＦ値のうちの少なくとも一方を対象として、頻出語については、頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、頻出語の正規化後ＴＦＩＤＦ値を変換して、類似度を算出するようにしても良い。
【０１０５】
さらに、ＴＦＩＤＦ表から頻出語に係る正規化後ＴＦＩＤＦ値を消去することで、頻出語以外の単語と比較して特徴付け度合いが相対的に小さくなるように、頻出語に係る正規化後ＴＦＩＤＦ値を変換するようにした方が、助詞などといった文書の特徴的な内容とは無関係の頻出語の影響を無くした状態で類似文書を検索することができる。そのため、文書が示す特徴的な内容を正確に反映していない単語の存在に拘わらず、ある文書と類似した文書を文書データベースから更に正確に検出することができる。また、類似度の算出における計算量を低減する意味でも有効である。
【０１０６】
◎また、類似度を算出する前に、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値、および文書ＤＢ１６２に含まれる各文書に出現する各単語についての正規化後ＴＦＩＤＦ値のうちの少なくとも一方を対象として、所定値以下の正規化後ＴＦＩＤＦ値を削除するか、又は０とした後に、類似度を算出するようにしても良い。
【０１０７】
ここで、ある単語の正規化後ＴＦＩＤＦ値が所定値以下といった比較的小さな値である場合には、当該ある単語は、文書の特徴的な内容とは無関係とみなすことができる。そこで、所定値以下の正規化後ＴＦＩＤＦ値を削除すること、すなわち、文書の特徴的な内容とは無関係の単語に係る計算を除外することで、計算量の低減を図ることができ、検索時間の短縮などを図ることができる。
【０１０８】
◎また、上述の実施形態では、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値を対象として、特定単語以外の単語と比較して、正規化後ＴＦＩＤＦ値が相対的に大きくなるように、重要視する特定単語の正規化後ＴＦＩＤＦ値を変換した後に、類似度の算出を行ったが、ユーザーが指定した文書の特徴的な内容を示す特定単語の影響を増大させて類似文書を検索するためには、これに限られず、例えば、基準文書に出現する単語のうちの特定単語を指定するユーザーの操作に応じて、基準文書に出現する各単語についての正規化後ＴＦＩＤＦ値、および文書ＤＢ１６２に含まれる各文書に出現する各単語についての正規化後ＴＦＩＤＦ値のうちの少なくとも一方を対象として、特定単語以外の単語と比較して特徴付け度合いが相対的に大きくなるように、特定単語に係る正規化後ＴＦＩＤＦ値に重み付けを行った後に、類似度を算出するようにすれば良い。
【０１０９】
◎また、上述の実施形態では、特定の一分野の学習用データベースに係るＩＤＦ表を用いる場合を想定したものであったが、これに限られず、例えば、複数の分野の学習用データベースに係るＩＤＦ表を準備しておき、検索対象となる分野に応じた学習用データベースに係るＩＤＦ表をユーザーの操作に応答して選択するようにしても良い。
【０１１０】
◎また、上述の実施形態では、検索結果表示画面ＲＧには、検出された類似文書の識別標識が列挙された一覧表が表示されたが、これに限られず、例えば、検出された類似文書の全文が上から順に全て列挙されるような態様で表示されるようにしても良い。
【０１１１】
◎また、上述した実施形態では、２つの文書の特徴ベクトルの内積値を算出することで類似度を求めたが、これに限られず、例えば、ユークリッド距離を用いて類似度を算出しても良い。
【０１１２】
具体的には、２つの文書d1、d2の特徴ベクトルについてのユークリッド距離Ｕd1d2は、下式（６）で示される。
【０１１３】
【数６】
2006201926.tif 000008
【０１１４】
ここでは、式（６）に示すように、文書d1、d2のうちの少なくとも一方に含まれる全ての単語ｔについて、正規化後ＴＦＩＤＦ値の差分の２乗の総和について平方根を求めることで、ユークリッド距離Ｕd1d2が算出される。なお、式（６）では、単語ｔが文書d1、d2のうちの何れか一方に含まれる場合、含まれない文書に対する正規化後ＴＦＩＤＦ値は０、すなわち、Ｎtfidf(d,t)＝０となる。
【０１１５】
このようにユークリッド距離Ｕd1d2によって２つの文書d1、d2の類似度を評価する際には、ユークリッド距離Ｕd1d2が小さい程２つのベクトルは「似ている」ことになる。よって、ここでは、類似度としては、ユークリッド距離Ｕd1d2の逆数を用いるか、或いは、ユークリッド距離Ｕd1d2を類似度として、類似度が小さい程２つの文書d1、d2が類似しているとみなすようにすれば良い。
【０１１６】
◎また、上述の実施形態では、類似文書検索システムが１つのパソコンにおいて実現される例を挙げて説明したが、これに限られず、例えば、端末機器たるパソコンにおいて基準文書を入力することで、ネットワークによって接続されたサーバの文書データベースを利用して、類似文書を検索するようにしても良い。
【０１１７】
図１９は、通信回線を介してデータ送受信可能に接続されるパソコンと、文書データベースが格納されるサーバとを備えて構成される類似文書検索システム１Ａの概要を例示する図である。
【０１１８】
図１９に示すように、類似文書検索システム１Ａでは、インターネットやＬＡＮなどの通信回線ＮＴを介して、複数の端末機器１００，１０１，１０２、およびサーバ５００，７００などが相互にデータ送受信可能に接続されている。
【０１１９】
このような構成において、例えば、端末機器１００から通信回線ＮＴを介してサーバ５００にアクセスし、サーバ５００のリソースである類似文書検索の機能を利用して、端末機器１００において入力された基準文書に類似した類似文書がサーバ５００に格納された文書データベースから検出され、端末機器１００のモニタに検索結果が表示されるようにしても良い。
【図面の簡単な説明】
【０１２０】
【図１】本発明の実施形態に係る類似文書検索システムの外観構成を示す図である。
【図２】類似文書検索システムの機能構成を示すブロック図である。
【図３】類似文書検索時に制御部で実現される機能構成を例示する図である。
【図４】類似文書検索の動作フローを示すフローチャートである。
【図５】類似文書検索の動作フローを示すフローチャートである。
【図６】類似文書検索の動作フローを示すフローチャートである。
【図７】基準文書入力画面を例示する図である。
【図８】基準文書を例示する図である。
【図９】文書の単語への切り分けについて説明する図である。
【図１０】基準文書についてのＴＦ表を例示する図である。
【図１１】ＩＤＦ表を例示する図である。
【図１２】基準文書のＴＦＩＤＦ表を例示する図である。
【図１３】重要視する特定単語を指定する画面を例示する図である。
【図１４】文書ＤＢに格納される文書を例示する図である。
【図１５】文書の単語への切り分けについて説明する図である。
【図１６】文書ＤＢに格納される文書のＴＦ表を例示する図である。
【図１７】文書ＤＢに格納される文書のＴＦＩＤＦ表を例示する図である。
【図１８】検索結果を示す画面を例示する図である。
【図１９】変形例に係る類似文書検索システムを例示する図である。
【符号の説明】
【０１２１】
１，１Ａ  類似文書検索システム
１１  処理部
１２  操作部
１３  表示部
１５  制御部
１６  記憶部
１５１  単語出現度数算出部
１５２  特徴付け度合いパラメータ算出部
１５３  特徴ベクトル生成部
１５４  類似度算出部
１５５  検索結果出力部
１６１  類似文書検索用プログラム
１６２  文書データベース
１６３  ＩＤＦ表データ
１６４  文書ＤＢ特徴ベクトルデータ
【図１】
2006201926.tif 000009
【図２】
2006201926.tif 000010
【図３】
2006201926.tif 000011
【図４】
2006201926.tif 000012
【図５】
2006201926.tif 000013
【図６】
2006201926.tif 000014
【図７】
2006201926.tif 000015
【図８】
2006201926.tif 000016
【図９】
2006201926.tif 000017
【図１０】
2006201926.tif 000018
【図１１】
2006201926.tif 000019
【図１２】
2006201926.tif 000020
【図１３】
2006201926.tif 000021
【図１４】
2006201926.tif 000022
【図１５】
2006201926.tif 000023
【図１６】
2006201926.tif 000024
【図１７】
2006201926.tif 000025
【図１８】
2006201926.tif 000026
【図１９】
2006201926.tif 000027