(57)【特許請求の範囲】
【請求項１】
複数の文書が互いに類似している程度を表す類似度を算出する文書類似度算出装置であって、
互いに関連する単語からなる関連単語群を記憶する関連単語群記憶手段と、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成する単語文書頻度行列生成手段と、
前記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、前記記憶されている関連単語群に基づいて変換する単語文書頻度行列変換手段と、
前記変換後の単語文書頻度行列に基づいて前記類似度を算出する類似度算出手段と、
を備え、
前記類似度算出手段は、前記単語文書頻度行列を生成する基となる文書の数が予め設定された閾値数よりも少ない場合、前記生成された単語文書頻度行列に基づいて前記類似度を算出する、
文書類似度算出装置。
【請求項２】
請求項１に記載の文書類似度算出装置であって、
前記単語文書頻度行列変換手段は、前記記憶されている関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、前記単語文書頻度行列を変換するように構成された文書類似度算出装置。
【請求項３】
請求項１又は請求項２に記載の文書類似度算出装置であって、
前記変換後の単語文書頻度行列に基づいて関連単語群を抽出する関連単語群抽出手段を備え、
前記関連単語群記憶手段は、前記抽出された関連単語群を記憶するように構成された文書類似度算出装置。
【請求項４】
請求項３に記載の文書類似度算出装置であって、
前記関連単語群抽出手段は、前記変換後の単語文書頻度行列を、特異値分解することにより、関連単語群を抽出するように構成された文書類似度算出装置。
【請求項５】
請求項１乃至請求項４のいずれかに記載の文書類似度算出装置であって、
ユーザにより入力された検索単語を受け付ける検索単語受付手段と、
前記受け付けられた検索単語と関連する文書である関連文書を抽出する関連文書抽出手段と、
前記抽出された関連文書と類似する文書である類似文書を、前記算出された類似度に基づいて抽出する類似文書抽出手段と、
前記抽出された関連文書、及び、前記抽出された類似文書、を特定するための情報を出力する検索結果出力手段と、
を備える文書類似度算出装置。
【請求項６】
情報処理装置が、複数の文書が互いに類似している程度を表す類似度を算出する文書類似度算出方法であって、
情報処理装置が、互いに関連する単語からなる関連単語群を記憶装置に予め記憶し、
情報処理装置が、文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成し、
情報処理装置が、前記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、記憶装置に記憶されている前記関連単語群に基づいて変換し、
情報処理装置が、前記変換後の単語文書頻度行列に基づいて前記類似度を算出すると共に、前記単語文書頻度行列を生成する基となる文書の数が予め設定された閾値数よりも少ない場合、前記生成された単語文書頻度行列に基づいて前記類似度を算出する、
文書類似度算出方法。
【請求項７】
請求項６に記載の文書類似度算出方法であって、
情報処理装置が、記憶装置に記憶されている前記関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、前記単語文書頻度行列を変換するように構成された文書類似度算出方法。
【請求項８】
情報処理装置に、複数の文書が互いに類似している程度を表す類似度を算出する処理を実行させるための文書類似度算出プログラムであって、
前記処理は、
互いに関連する単語からなる関連単語群を予め記憶し、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成し、
前記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、前記記憶されている関連単語群に基づいて変換し、
前記変換後の単語文書頻度行列に基づいて前記類似度を算出すると共に、前記単語文書頻度行列を生成する基となる文書の数が予め設定された閾値数よりも少ない場合、前記生成された単語文書頻度行列に基づいて前記類似度を算出する、ように構成された文書類似度算出プログラム。
【請求項９】
請求項８に記載の文書類似度算出プログラムであって、
前記処理は、
前記記憶されている関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、前記単語文書頻度行列を変換するように構成された文書類似度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の文書が互いに類似している程度を表す類似度を算出する文書類似度算出装置に関する。
【背景技術】
【０００２】
複数の文書が互いに類似している程度を表す類似度を算出する文書類似度算出装置が知られている。この種の文書類似度算出装置の一つとして、特許文献１に記載の文書類似度算出装置は、単語文書頻度行列を生成する。ここで、単語文書頻度行列は、文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である。
【０００３】
そして、文書類似度算出装置は、生成された単語文書頻度行列を、特異値分解することにより、各文書の特徴を表す文書特徴ベクトルを生成する。次いで、文書類似度算出装置は、生成された文書特徴ベクトルに基づいて類似度を算出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３９７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記文書類似度算出装置は、類似度を算出する対象となる文書が増加した場合、すべての文書に対する単語文書頻度行列を生成し、生成された単語文書頻度行列を特異値分解する処理を再び実行する。従って、上記文書類似度算出装置においては、類似度を算出する処理の負荷が過大となる虞があった。
【０００６】
このため、本発明の目的は、上述した課題である「処理の負荷が過大となる場合が生じること」を解決することが可能な文書類似度算出装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる目的を達成するため本発明の一形態である文書類似度算出装置は、複数の文書が互いに類似している程度を表す類似度を算出する装置である。
【０００８】
更に、この文書類似度算出装置は、
互いに関連する単語からなる関連単語群を記憶する関連単語群記憶手段と、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成する単語文書頻度行列生成手段と、
上記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、上記記憶されている関連単語群に基づいて変換する単語文書頻度行列変換手段と、
上記変換後の単語文書頻度行列に基づいて上記類似度を算出する類似度算出手段と、
を備える。
【０００９】
また、本発明の他の形態である文書類似度算出方法は、複数の文書が互いに類似している程度を表す類似度を算出する方法である。
【００１０】
更に、この文書類似度算出方法は、
互いに関連する単語からなる関連単語群を予め記憶し、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成し、
上記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、上記記憶されている関連単語群に基づいて変換し、
上記変換後の単語文書頻度行列に基づいて上記類似度を算出する方法である。
【００１１】
また、本発明の他の形態である文書類似度算出プログラムは、情報処理装置に、複数の文書が互いに類似している程度を表す類似度を算出する処理を実行させるためのプログラムである。
【００１２】
更に、上記処理は、
互いに関連する単語からなる関連単語群を予め記憶し、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成し、
上記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、上記記憶されている関連単語群に基づいて変換し、
上記変換後の単語文書頻度行列に基づいて上記類似度を算出する、ように構成される。
【発明の効果】
【００１３】
本発明は、以上のように構成されることにより、処理の負荷を軽減することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る文書検索システムの概略構成を表す図である。
【図２】本発明の第１実施形態に係るサーバ装置の機能の概略を表すブロック図である。
【図３】本発明の第１実施形態に係る単語文書頻度行列の一例を示したテーブルである。
【図４】本発明の第１実施形態に係るサーバ装置が記憶する関連単語群の一例を示したテーブルである。
【図５】本発明の第１実施形態に係るサーバ装置が実行するプログラムを示したフローチャートである。
【図６】本発明の第１実施形態に係る文書類似度算出装置の機能の概略を表すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る、文書類似度算出装置、文書類似度算出方法、及び、文書類似度算出プログラム、の各実施形態について図１〜図６を参照しながら説明する。
【００１６】
＜第１実施形態＞
（構成）
図１に示したように、第１実施形態に係る文書検索システム１は、クライアント装置１０と、サーバ装置（文書類似度算出装置）２０と、を含む。クライアント装置１０、及び、サーバ装置２０は、通信回線（本例では、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網を構成する通信回線）ＮＷを介して、互いに通信可能に接続されている。
【００１７】
クライアント装置１０は、情報処理装置（本例では、パーソナル・コンピュータ）である。なお、クライアント装置１０は、携帯電話端末、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄａｔａ  Ａｓｓｉｓｔａｎｃｅ、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、スマートフォン、カーナビゲーション端末、又は、ゲーム端末等であってもよい。
【００１８】
クライアント装置１０は、図示しない中央処理装置（ＣＰＵ；Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、記憶装置（メモリ及びハードディスク駆動装置（ＨＤＤ；Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ））、入力装置（本例では、キーボード、及び、マウス）、及び、出力装置（本例では、ディスプレイ）を備える。
【００１９】
クライアント装置１０は、記憶装置に記憶されているプログラムをＣＰＵが実行することにより、後述する機能を実現するように構成されている。
【００２０】
サーバ装置２０は、情報処理装置である。サーバ装置２０は、クライアント装置１０と同様に、図示しないＣＰＵ及び記憶装置を備える。サーバ装置２０は、クライアント装置１０と同様に、記憶装置に記憶されているプログラムをＣＰＵが実行することにより、後述する機能を実現するように構成されている。
【００２１】
（機能）
クライアント装置１０の機能は、ユーザによって入力装置を介して入力された、検索単語としての単語（文字列）を受け付け、受け付けた検索単語をサーバ装置２０へ送信する機能を含む。
【００２２】
更に、クライアント装置１０の機能は、サーバ装置２０により送信された検索結果を受信し、受信された検索結果を出力装置を介して出力する（本例では、ディスプレイに表示する）機能を含む。ここで、検索結果は、文書を特定するための文書特定情報（例えば、ＵＲＩ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）、及び、ファイルシステムにおけるパス（ファイルパス）等）の一覧を表す情報である。
【００２３】
また、サーバ装置２０の機能は、図２に示したように、文書情報記憶部２１と、単語文書頻度行列生成部（単語文書頻度行列生成手段）２２と、関連単語群記憶部（関連単語群記憶手段）２３と、単語文書頻度行列変換部（単語文書頻度行列変換手段）２４と、類似度算出部（類似度算出手段）２５と、関連単語群抽出部（関連単語群抽出手段）２６と、検索単語受付部（検索単語受付手段）２７と、関連文書抽出部（関連文書抽出手段）２８と、類似文書抽出部（類似文書抽出手段）２９と、検索結果出力部（検索結果出力手段）３０と、を含む。
【００２４】
文書情報記憶部２１は、複数の文書情報を記憶する。本例では、文書情報は、文書と、文書を識別するための文書識別情報と、当該文書を特定するための文書特定情報（本例では、ＵＲＩ、及び、ファイルパス等）と、を含む。文書は、少なくとも１つの文を含む。文は、複数の文字からなる文字列により構成される。
【００２５】
本例では、サーバ装置２０は、通信回線ＮＷを介して接続された他のサーバ装置から文書（例えば、ウェブサーバが有する文書、及び、ファイルサーバが有する文書等）を受信し、受信された文書に係る文書情報を文書情報記憶部２１に記憶させる。なお、サーバ装置２０は、ユーザにより入力された文書情報を受け付け、受け付けられた文書情報を文書情報記憶部２１に記憶させるように構成されていてもよい。
【００２６】
更に、文書情報記憶部２１は、文書情報記憶部２１が記憶している、すべての文書に対する転置インデックスを記憶する。転置インデックスは、文書を識別するための文書識別情報と、当該文書において出現する単語と、当該単語が当該文書において出現する位置と、を対応付けた情報である。
【００２７】
本例では、文書情報記憶部２１は、文書情報記憶部２１が記憶している文書のそれぞれに対して形態素解析を行うことにより転置インデックスを生成する。また、文書情報記憶部２１は、文書情報を新たに記憶する場合、記憶されている転置インデックスを更新する。
【００２８】
更に、文書情報記憶部２１は、後述する類似度算出部２５により算出された類似度を記憶する。類似度は、複数の文書が互いに類似している程度を表す。
【００２９】
単語文書頻度行列生成部２２は、文書情報記憶部２１に記憶されている転置インデックスに基づいて単語文書頻度行列を生成する。単語文書頻度行列は、文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である。
【００３０】
本例では、単語文書頻度行列は、図３に示したように、行毎に異なる単語を割り当て、且つ、列毎に異なる文書識別情報を割り当てた場合において、各要素として、当該要素の列に割り当てられた文書識別情報により識別される文書において、当該要素の行に割り当てられた単語が出現する頻度（回数）が設定された行列である。
【００３１】
関連単語群記憶部２３は、後述する関連単語群抽出部２６により抽出された関連単語群を記憶する。関連単語群は、互いに関連する単語（例えば、同義語、類義語、対義語、複合語、派生語、及び、熟語等）からなる。
本例では、関連単語群記憶部２３は、図４に示したように、関連単語群を識別するための関連単語群識別情報と、関連単語群（複数の単語）と、を対応付けて記憶している。
【００３２】
単語文書頻度行列変換部２４は、単語文書頻度行列生成部２２により生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、関連単語群記憶部２３に記憶されている関連単語群に基づいて変換する。
【００３３】
具体的には、単語文書頻度行列変換部２４は、関連単語群記憶部２３に記憶されている関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、単語文書頻度行列を変換する。
【００３４】
類似度算出部２５は、単語文書頻度行列変換部２４により変換された（変換後の）単語文書頻度行列に基づいて、文書間の類似度を算出する。
【００３５】
本例では、類似度算出部２５は、単語文書頻度行列を生成する基となる文書の数（即ち、文書情報記憶部２１に記憶されている文書の数）が予め設定された閾値数よりも少ない場合、単語文書頻度行列生成部２２により生成された単語文書頻度行列に基づいて類似度を算出する。一方、類似度算出部２５は、単語文書頻度行列を生成する基となる文書の数が上記閾値数以上である場合、単語文書頻度行列変換部２４により変換された単語文書頻度行列に基づいて類似度を算出する。
【００３６】
具体的には、類似度算出部２５は、単語文書頻度行列を構成する第１の列ベクトルと、当該単語文書頻度行列を構成する第２の列ベクトルと、がなす角の余弦を類似度として算出する。この類似度は、第１の列ベクトルに割り当てられた文書識別情報により識別される第１の文書と、第２の列ベクトルに割り当てられた文書識別情報により識別される第２の文書と、が類似している程度を表す。
【００３７】
本例では、類似度算出部２５は、文書情報記憶部２１に記憶されている文書のすべての組み合わせのそれぞれに対して類似度を算出する。
【００３８】
関連単語群抽出部２６は、単語文書頻度行列変換部２４により変換された単語文書頻度行列に基づいて関連単語群を抽出する。具体的には、関連単語群抽出部２６は、変換後の単語文書頻度行列を、特異値分解することにより、関連単語群を抽出する。
【００３９】
本例では、関連単語群抽出部２６は、変換後の単語文書頻度行列を、特異値分解することにより、各単語に対する行ベクトルを、次元数を減らすように変換し、変換後の行ベクトルに基づいて、単語間の関連度を算出する。ここで、関連度は、複数の単語が互いに関連している程度を表す。
【００４０】
関連単語群抽出部２６は、算出された関連度が予め設定された閾値よりも高い単語の組を関連単語群として抽出する。なお、関連単語群抽出部２６は、算出された関連度に基づいてクラスタリングを行うことにより、関連単語群を抽出するように構成されていてもよい。
【００４１】
検索単語受付部２７は、クライアント装置１０により送信された検索単語を受信する（受け付ける）。
【００４２】
関連文書抽出部２８は、文書情報記憶部２１に記憶されている転置インデックスに基づいて、文書情報記憶部２１に記憶されている文書の中から、検索単語受付部２７により受け付けられた検索単語と関連する（例えば、検索単語を含む）文書である関連文書を抽出する。
【００４３】
類似文書抽出部２９は、文書情報記憶部２１に記憶されている文書の中から、関連文書抽出部２８により抽出された関連文書と類似する文書である類似文書を、文書情報記憶部２１に記憶されている（即ち、類似度算出部２５により算出された）類似度に基づいて抽出する。本例では、類似文書抽出部２９は、抽出された関連文書との間の類似度が予め設定された閾値よりも高い文書を、当該関連文書と類似する文書（類似文書）として抽出する。
【００４４】
検索結果出力部３０は、関連文書抽出部２８により抽出された関連文書、及び、類似文書抽出部２９により抽出された類似文書、を特定するための情報を出力する。本例では、検索結果出力部３０は、抽出された関連文書を特定するための文書特定情報、及び、抽出された類似文書を特定するための文書特定情報、の一覧を表す情報である検索結果をクライアント装置１０へ送信する。
【００４５】
（作動）
次に、上述した文書検索システム１の作動について説明する。
サーバ装置２０は、図５にフローチャートにより示したプログラムを実行するようになっている。
【００４６】
具体的に述べると、サーバ装置２０は、文書を受信するまで待機する（ステップＳ１０１）。そして、サーバ装置２０は、文書を受信すると、「Ｙｅｓ」と判定してステップＳ１０２へ進み、受信した文書に係る文書情報を記憶する。更に、サーバ装置２０は、受信した文書に対して形態素解析を行うことにより、記憶されている転置インデックスを更新する。
【００４７】
次いで、サーバ装置２０は、記憶されている転置インデックスに基づいて単語文書頻度行列を生成する（ステップＳ１０３）。
【００４８】
そして、サーバ装置２０は、生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、記憶されている関連単語群に基づいて変換する（ステップＳ１０４）。本例では、サーバ装置２０は、記憶されている関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、単語文書頻度行列を変換する。
【００４９】
次いで、サーバ装置２０は、変換された（変換後の）単語文書頻度行列に基づいて、文書間の類似度を算出する（ステップＳ１０５）。本例では、サーバ装置２０は、記憶されている文書のすべての組み合わせのそれぞれに対して類似度を算出する。更に、サーバ装置２０は、算出された類似度を記憶する。
【００５０】
次いで、サーバ装置２０は、変換後の単語文書頻度行列を、特異値分解することにより、各単語に対する行ベクトルを、次元数を減らすように変換し、変換後の行ベクトルに基づいて、単語間の関連度を算出する。更に、サーバ装置２０は、算出された関連度が予め設定された閾値よりも高い単語の組を関連単語群として抽出する（ステップＳ１０７）。そして、サーバ装置２０は、抽出された関連単語群を記憶する（ステップＳ１０８）。
【００５１】
その後、サーバ装置２０は、ステップＳ１０１へ戻り、ステップＳ１０１〜ステップＳ１０８の処理を繰り返し実行する。
【００５２】
その後、ユーザが入力装置を介してクライアント装置１０に検索単語を入力した場合を想定する。この場合、クライアント装置１０は、ユーザにより入力された検索単語を受け付ける。そして、クライアント装置１０は、受け付けた検索単語をサーバ装置２０へ送信する。
【００５３】
一方、サーバ装置２０は、クライアント装置１０から検索単語を受信する。次いで、サーバ装置２０は、記憶されている転置インデックスに基づいて、記憶されている文書の中から、検索単語と関連する関連文書を抽出する。
【００５４】
そして、サーバ装置２０は、記憶されている文書の中から、抽出された関連文書と類似する類似文書を、記憶されている類似度に基づいて抽出する。その後、サーバ装置２０は、抽出された関連文書、及び、抽出された類似文書、のそれぞれを特定するための文書特定情報の一覧を表す検索結果をクライアント装置１０へ送信する。
【００５５】
一方、クライアント装置１０は、サーバ装置２０により送信された検索結果を受信し、受信された検索結果を出力装置を介して出力する。
【００５６】
以上、説明したように、本発明の第１実施形態に係るサーバ装置２０によれば、サーバ装置２０は、次元数を減らした（即ち、変換後の）単語文書頻度行列に基づいて類似度を算出する。これにより、生成された（即ち、変換前の）単語文書頻度行列に基づいて類似度を算出する場合よりも、類似度を算出する処理の負荷を軽減することができる。
【００５７】
また、サーバ装置２０は、記憶されている関連単語群に基づいて単語文書頻度行列の次元数を減らす。従って、単語文書頻度行列の次元数を減らすための処理の負荷が過大となることを回避することができる。
【００５８】
更に、本発明の第１実施形態に係るサーバ装置２０は、変換後の単語文書頻度行列に基づいて関連単語群を抽出するように構成されている。
【００５９】
これによれば、サーバ装置２０は、次元数が減らされた後の単語文書頻度行列に基づいて関連単語群を抽出する。従って、次元数が減らされる前の単語文書頻度行列に基づいて関連単語群を抽出する場合よりも、関連単語群を抽出するための処理の負荷を軽減することができる。
【００６０】
加えて、本発明の第１実施形態に係るサーバ装置２０は、単語文書頻度行列を生成する基となる文書の数が予め設定された閾値数よりも少ない場合、生成された単語文書頻度行列に基づいて類似度を算出するように構成される。
【００６１】
ところで、単語文書頻度行列を生成する基となる文書の数が比較的少ない場合、類似度を算出する処理の負荷は、それほど大きくならないことが多い。一方、この場合において、単語文書頻度行列の次元数を減らしてしまうと、類似度の精度が低下する虞がある。従って、サーバ装置２０によれば、類似度を算出する処理の負荷が過大となることを回避しながら、類似度を高い精度にて算出することができる。
【００６２】
＜第２実施形態＞
次に、本発明の第２実施形態に係る文書類似度算出装置について図６を参照しながら説明する。
第２実施形態に係る文書類似度算出装置１００は、複数の文書が互いに類似している程度を表す類似度を算出する装置である。
【００６３】
更に、この文書類似度算出装置１００は、
互いに関連する単語からなる関連単語群を記憶する関連単語群記憶部（関連単語群記憶手段）１０１と、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成する単語文書頻度行列生成部（単語文書頻度行列生成手段）１０２と、
上記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、上記記憶されている関連単語群に基づいて変換する単語文書頻度行列変換部（単語文書頻度行列変換手段）１０３と、
上記変換後の単語文書頻度行列に基づいて上記類似度を算出する類似度算出部（類似度算出手段）１０４と、
を備える。
【００６４】
これによれば、文書類似度算出装置１００は、次元数を減らした単語文書頻度行列に基づいて類似度を算出する。これにより、生成された単語文書頻度行列に基づいて類似度を算出する場合よりも、類似度を算出する処理の負荷を軽減することができる。また、文書類似度算出装置１００は、記憶されている関連単語群に基づいて単語文書頻度行列の次元数を減らす。従って、単語文書頻度行列の次元数を減らすための処理の負荷が過大となることを回避することができる。
【００６５】
以上、上記実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成及び詳細に、本願発明の範囲内において当業者が理解し得る様々な変更をすることができる。
【００６６】
例えば、サーバ装置２０は、１つの情報処理装置により構成されていたが、互いに通信可能に接続された、複数の情報処理装置により構成されていてもよい。
【００６７】
なお、上記各実施形態において文書類似度算出装置の各機能は、ＣＰＵがプログラム（ソフトウェア）を実行することにより実現されていたが、回路等のハードウェアにより実現されていてもよい。
【００６８】
また、上記各実施形態においてプログラムは、記憶装置に記憶されていたが、コンピュータが読み取り可能な記録媒体に記憶されていてもよい。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【００６９】
また、上記実施形態の他の変形例として、上述した実施形態及び変形例の任意の組み合わせが採用されてもよい。
【００７０】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限られない。
【００７１】
（付記１）
複数の文書が互いに類似している程度を表す類似度を算出する文書類似度算出装置であって、
互いに関連する単語からなる関連単語群を記憶する関連単語群記憶手段と、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成する単語文書頻度行列生成手段と、
前記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、前記記憶されている関連単語群に基づいて変換する単語文書頻度行列変換手段と、
前記変換後の単語文書頻度行列に基づいて前記類似度を算出する類似度算出手段と、
を備える文書類似度算出装置。
【００７２】
これによれば、文書類似度算出装置は、次元数を減らした単語文書頻度行列に基づいて類似度を算出する。これにより、生成された単語文書頻度行列に基づいて類似度を算出する場合よりも、類似度を算出する処理の負荷を軽減することができる。また、文書類似度算出装置は、記憶されている関連単語群に基づいて単語文書頻度行列の次元数を減らす。従って、単語文書頻度行列の次元数を減らすための処理の負荷が過大となることを回避することができる。
【００７３】
（付記２）
付記１に記載の文書類似度算出装置であって、
前記単語文書頻度行列変換手段は、前記記憶されている関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、前記単語文書頻度行列を変換するように構成された文書類似度算出装置。
【００７４】
（付記３）
付記１又は付記２に記載の文書類似度算出装置であって、
前記変換後の単語文書頻度行列に基づいて関連単語群を抽出する関連単語群抽出手段を備え、
前記関連単語群記憶手段は、前記抽出された関連単語群を記憶するように構成された文書類似度算出装置。
【００７５】
これによれば、文書類似度算出装置は、次元数が減らされた後の単語文書頻度行列に基づいて関連単語群を抽出する。従って、次元数が減らされる前の単語文書頻度行列に基づいて関連単語群を抽出する場合よりも、関連単語群を抽出するための処理の負荷を軽減することができる。
【００７６】
（付記４）
付記３に記載の文書類似度算出装置であって、
前記関連単語群抽出手段は、前記変換後の単語文書頻度行列を、特異値分解することにより、関連単語群を抽出するように構成された文書類似度算出装置。
【００７７】
（付記５）
付記１乃至付記４のいずれかに記載の文書類似度算出装置であって、
前記類似度算出手段は、前記単語文書頻度行列を生成する基となる文書の数が予め設定された閾値数よりも少ない場合、前記生成された単語文書頻度行列に基づいて前記類似度を算出するように構成された文書類似度算出装置。
【００７８】
ところで、単語文書頻度行列を生成する基となる文書の数が比較的少ない場合、類似度を算出する処理の負荷は、それほど大きくならないことが多い。一方、この場合において、単語文書頻度行列の次元数を減らしてしまうと、類似度の精度が低下する虞がある。そこで、上記のように文書類似度算出装置を構成することにより、類似度を算出する処理の負荷が過大となることを回避しながら、類似度を高い精度にて算出することができる。
【００７９】
（付記６）
付記１乃至付記５のいずれかに記載の文書類似度算出装置であって、
ユーザにより入力された検索単語を受け付ける検索単語受付手段と、
前記受け付けられた検索単語と関連する文書である関連文書を抽出する関連文書抽出手段と、
前記抽出された関連文書と類似する文書である類似文書を、前記算出された類似度に基づいて抽出する類似文書抽出手段と、
前記抽出された関連文書、及び、前記抽出された類似文書、を特定するための情報を出力する検索結果出力手段と、
を備える文書類似度算出装置。
【００８０】
（付記７）
複数の文書が互いに類似している程度を表す類似度を算出する文書類似度算出方法であって、
互いに関連する単語からなる関連単語群を予め記憶し、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成し、
前記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、前記記憶されている関連単語群に基づいて変換し、
前記変換後の単語文書頻度行列に基づいて前記類似度を算出する、文書類似度算出方法。
【００８１】
（付記８）
付記７に記載の文書類似度算出方法であって、
前記記憶されている関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、前記単語文書頻度行列を変換するように構成された文書類似度算出方法。
【００８２】
（付記９）
情報処理装置に、複数の文書が互いに類似している程度を表す類似度を算出する処理を実行させるための文書類似度算出プログラムであって、
前記処理は、
互いに関連する単語からなる関連単語群を予め記憶し、
文書及び単語の組み合わせのそれぞれに対する、当該文書において当該単語が出現する頻度、を要素とする行列である単語文書頻度行列を生成し、
前記生成された単語文書頻度行列の次元数を減らすように、当該単語文書頻度行列を、前記記憶されている関連単語群に基づいて変換し、
前記変換後の単語文書頻度行列に基づいて前記類似度を算出する、ように構成された文書類似度算出プログラム。
【００８３】
（付記１０）
付記９に記載の文書類似度算出プログラムであって、
前記処理は、
前記記憶されている関連単語群に含まれる単語のそれぞれに対する要素からなる行を、当該関連単語群に含まれる単語のそれぞれに対する要素の和を要素とする行に置換することにより、前記単語文書頻度行列を変換するように構成された文書類似度算出プログラム。
【産業上の利用可能性】
【００８４】
本発明は、複数の文書が互いに類似している程度を表す類似度を算出する文書類似度算出装置等に適用可能である。
【符号の説明】
【００８５】
１      文書検索システム
１０    クライアント装置
２０    サーバ装置
２１    文書情報記憶部
２２    単語文書頻度行列生成部
２３    関連単語群記憶部
２４    単語文書頻度行列変換部
２５    類似度算出部
２６    関連単語群抽出部
２７    検索単語受付部
２８    関連文書抽出部
２９    類似文書抽出部
３０    検索結果出力部
１００  文書類似度算出装置
１０１  関連単語群記憶部
１０２  単語文書頻度行列生成部
１０３  単語文書頻度行列変換部
１０４  類似度算出部
ＮＷ    通信回線
【図１】
0005742506.tif 000002
【図２】
0005742506.tif 000003
【図３】
0005742506.tif 000004
【図４】
0005742506.tif 000005
【図５】
0005742506.tif 000006
【図６】
0005742506.tif 000007