(57)【特許請求の範囲】
【請求項１】
検索キー文書に類似する文書を複数の検索対象文書から検索する方法であって、
前記検索対象文書を記憶する文書記憶部と出力装置とを有するコンピュータが、
前記検索対象文書が属する分類毎に、前記検索対象文書が他の文書に類似する確率、及び前記確率を算出した母数を対応付けてメモリに記憶し、
前記検索キー文書の入力を受け付け、
前記検索対象文書のそれぞれについて、
前記検索対象文書と前記検索キー文書との類似度を算出し、
前記検索対象文書が属する前記分類を特定し、
特定した前記分類に対応する前記確率及び前記母数を前記メモリから読み出し、
読み出した前記確率を算出するために必要な標本サイズを算出し、
前記母数が前記標本サイズ以上である前記検索対象文書のうち、前記確率の最も大きいものを前記出力装置に出力すること、
を特徴とする類似文書検索方法。
【請求項２】
請求項１に記載の類似文書検索方法であって、
前記コンピュータは、
前記類似度の範囲、前記分類、前記確率、及び前記母数を対応付けて前記メモリに記憶し、
前記検索対象文書が属する前記分類と、算出した前記類似度が含まれる前記範囲とに対応する前記確率を前記メモリから読み出して、前記標本サイズを算出すること、
を特徴とする類似文書検索方法。
【請求項３】
請求項２に記載の類似文書検索方法であって、
前記コンピュータは、
前記母数が前記標本サイズ以上である前記検索対象文書がない場合、前記メモリから読み出した第１の前記確率及び第１の前記母数に加えて、前記類似度を含まない前記範囲のうち前記類似度に最も近い前記範囲と前記分類とに対応する第２の前記確率及び第２の前記母数を前記メモリから読み出し、
前記第１及び第２の確率、並びに前記第１及び第２の母数に基づいて、第３の確率を前記検索対象文書についての前記確率として算出し、
前記第１及び前記第２の母数を合計した合計数を前記検索対象文書についての前記母数とすること、
を特徴とする類似文書検索方法。
【請求項４】
請求項１に記載の類似文書検索方法であって、
前記コンピュータは、
前記母数が前記標本サイズ以上である前記検索対象文書がない場合、前記メモリから読み出した第１の前記確率及び第１の前記母数に加えて、前記検索対象文書が属する前記分類とは異なる前記分類に対応する第２の前記確率及び第２の前記母数を前記メモリから読み出し、
前記第１及び第２の確率、並びに前記第１及び第２の母数に基づいて、第３の確率を前記検索対象文書についての前記確率として算出し、
前記第１及び前記第２の母数を合計した合計数を前記検索対象文書についての前記母数とすること、
を特徴とする類似文書検索方法。
【請求項５】
請求項１に記載の類似文書検索方法であって、
前記コンピュータは、
前記検索対象文書のそれぞれについて、
前記検索対象文書が前記検索キー文書に類似しているかどうかを示す類否情報の入力を受け付け、
受け付けた前記類否情報に基づいて、前記検索対象文書の分類に対応する前記母数及び前記確率を更新すること、
を特徴とする類似文書検索方法。
【請求項６】
請求項１に記載の類似文書検索方法であって、
前記コンピュータは、
全ての前記文書の数である母集団の大きさの入力を受け付け、
前記母集団の大きさをＮ、所定の標本誤差をｅ、前記確率をｐ、所定の信頼度に対応する臨界値をｚとして、式
0004703415.tif 000006
により前記標本サイズを算出すること、
を特徴とする類似文書検索方法。
【請求項７】
請求項６に記載の類似文書検索方法であって、
前記コンピュータは、前記式の前記ｐに前記確率に代えて０．５を設定して前記標本サイズを算出すること、
を特徴とする類似文書検索方法。
【請求項８】
請求項６に記載の類似文書検索方法であって、
前記コンピュータは、前記式である第１の式を微分して、前記確率ｐを０．５とした第２の式
0004703415.tif 000007
が所定値以下となる前記母集団の大きさＮを算出し、
算出した前記母集団の大きさＮを前記第１の式における前記母集団の大きさＮとして、前記標本サイズを算出すること、
を特徴とする類似文書検索方法。
【請求項９】
検索キー文書に類似する文書を複数の検索対象文書から検索する類似文書検索装置であって、
前記検索対象文書を記憶する文書記憶部と、出力装置と、
前記検索対象文書が属する分類毎に、前記検索対象文書が他の文書に類似する確率、及び前記確率を算出した母数を対応付けて記憶する正解情報記憶部と、
前記検索キー文書の入力を受け付ける検索キー文書入力部と、
前記検索対象文書のそれぞれについて、前記検索対象文書と前記検索キー文書との類似度を算出する類似度算出部と、
前記検索対象文書のそれぞれについて、前記検索対象文書が属する前記分類を特定し、特定した前記分類に対応する前記確率及び前記母数を前記正解情報記憶部から読み出し、読み出した前記確率を算出するために必要な標本サイズを算出する標本サイズ算出部と、
前記母数が前記標本サイズ以上である前記検索対象文書のうち、前記確率の最も大きいものを前記出力装置に出力する類似文書出力部と、
を備えることを特徴とする類似文書検索装置。
【請求項１０】
検索キー文書に類似する文書を複数の検索対象文書から検索するためのプログラムであって、
前記検索対象文書を記憶する文書記憶部と出力装置とを有するコンピュータに、
前記検索対象文書が属する分類毎に、前記検索対象文書が他の文書に類似する確率、及び前記確率を算出した母数を対応付けてメモリに記憶するステップと、
前記検索キー文書の入力を受け付けるステップと、
前記検索対象文書のそれぞれについて、
前記検索対象文書と前記検索キー文書との類似度を算出するステップと、
前記検索対象文書が属する前記分類を特定するステップと、
特定した前記分類に対応する前記確率及び前記母数を前記メモリから読み出すステップと、
読み出した前記確率を算出するために必要な標本サイズを算出すステップと、
前記母数が前記標本サイズ以上である前記検索対象文書のうち、前記確率の最も大きいものを前記出力装置に出力するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似文書検索方法、類似文書検索装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、大量の文書を自動分類するなど、コンピュータにおいて類似する文書を検索することが行われている。特許文献１に記載の装置では、類似度及び文書の分類毎に文書が類似する確率（以下、正解率という。）を管理して、正解率を類似度に反映することで検索の精度を高める仕組みが開示されている。
【特許文献１】特開２０００−３１１１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の仕組みでは、正解率を算出する基礎となった文書の母数は考慮されておらず、正解率の信頼度にばらつきが出るおそれがある。
【０００４】
本発明は、このような背景を鑑みてなされたものであり、信頼性の高い正解率に基づいて類似する文書を検索することのできる、類似文書検索方法、類似文書検索装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための本発明のうち請求項１に記載の発明は、検索キー文書に類似する文書を複数の検索対象文書から検索する方法であって、前記検索対象文書を記憶する文書記憶部と出力装置とを有するコンピュータが、前記検索対象文書が属する分類毎に、前記検索対象文書が他の文書に類似する確率、及び前記確率を算出した母数を対応付けてメモリに記憶し、前記検索キー文書の入力を受け付け、前記検索対象文書のそれぞれについて、前記検索対象文書と前記検索キー文書との類似度を算出し、前記検索対象文書が属する前記分類を特定し、特定した前記分類に対応する前記確率及び前記母数を前記メモリから読み出し、読み出した前記確率を算出するために必要な標本サイズを算出し、前記母数が前記標本サイズ以上である前記検索対象文書のうち、前記確率の最も大きいものを前記出力装置に出力することとする。
【０００６】
本発明の方法によれば、確率の信頼度を保つために必要な標本サイズを算出し、母数が標本サイズ以上であるかどうかを確認することができる。したがって、信頼度の高い正解率を利用して、より精度の高い検索を行うことができる。
【０００７】
また、本発明のうち請求項２に記載の発明は、請求項１に記載の類似文書検索方法であって、前記コンピュータは、前記類似度の範囲、前記分類、前記確率、及び前記母数を対応付けて前記メモリに記憶し、前記検索対象文書が属する前記分類と、算出した前記類似度が含まれる前記範囲とに対応する前記確率を前記メモリから読み出して、前記標本サイズを算出することとする。  
この場合、類似度に応じた確率を用いて文書を検索することができる。したがって、類似度によって文書が類似する確率が変化するような場合にも、より精度の高い検索を行うことができる。
【０００８】
また、本発明のうち請求項３に記載の発明は、請求項２に記載の類似文書検索方法であって、前記コンピュータは、前記母数が前記標本サイズ以上である前記検索対象文書がない場合、前記メモリから読み出した第１の前記確率及び第１の前記母数に加えて、前記類似度を含まない前記範囲のうち前記類似度に最も近い前記範囲と前記分類とに対応する第２の前記確率及び第２の前記母数を前記メモリから読み出し、前記第１及び第２の確率、並びに前記第１及び第２の母数に基づいて、第３の確率を前記検索対象文書についての前記確率として算出し、前記第１及び前記第２の母数を合計した合計数を前記検索対象文書についての前記母数とすることとする。  
この場合、母数が少ないために確率の信頼度が低くなるような場合に、近い類似度の母数や確率を加味して確率を調整し、母数を増加させて、より信頼度の高い確率を求めることができる。よって、正解率の信頼度を高めることができる。またこれにより、類似文書の検索精度を向上することができる。
【０００９】
また、本発明のうち請求項４に記載の発明は、請求項１に記載の類似文書検索方法であって、前記コンピュータは、前記母数が前記標本サイズ以上である前記検索対象文書がない場合、前記メモリから読み出した第１の前記確率及び第１の前記母数に加えて、前記検索対象文書が属する前記分類とは異なる前記分類に対応する第２の前記確率及び第２の前記母数を前記メモリから読み出し、前記第１及び第２の確率、並びに前記第１及び第２の母数に基づいて、第３の確率を前記検索対象文書についての前記確率として算出し、前記第１及び前記第２の母数を合計した合計数を前記検索対象文書についての前記母数とすることとする。  
この場合、母数が少ないために確率の信頼度が低くなるような場合に、他の分野の母数や確率を加味して確率を調整し、母数を増加させて、より信頼度の高い確率を求めることができる。よって、正解率の信頼度を高めることができる。またこれにより、類似文書の検索精度を向上することができる。
【００１０】
また、本発明のうち請求項５に記載の発明は、請求項１に記載の類似文書検索方法であって、前記コンピュータは、前記文書情報により示される前記検索対象文書のそれぞれについて、前記検索対象文書が前記検索キー文書に類似しているかどうかを示す類否情報の入力を受け付け、受け付けた前記類否情報に基づいて、前記検索対象文書の分類に対応する前記母数及び前記確率を更新することとする。  
この場合、検索された文書についての類否の入力を受け付けて、母数や確率を更新するようにしている。したがって、標本の母数を増やし、より信頼度の高い類似の確率を算出することができる。よって、類似文書の検索精度を向上することができる。
【００１１】
また、本発明のうち請求項６に記載の発明は、請求項１に記載の類似文書検索方法であって、前記コンピュータは、母集団の大きさの入力を受け付け、前記母集団の大きさをＮ、所定の標本誤差をｅ、前記確率をｐ、所定の信頼度に対応する臨界値をｚとして、式
0004703415.tif 000002
により前記標本サイズを算出することとする。
【００１２】
また、本発明のうち請求項７に記載の発明は、請求項６に記載の類似文書検索方法であって、前記コンピュータは、前記式の前記ｐに前記確率に代えて０．５を設定して前記標本サイズを算出することとする。  
この場合、最も標本サイズが大きくなる確率である０．５を採用することで、確実に信頼度を担保する標本サイズを算出することができる。
【００１３】
また、本発明のうち請求項８に記載の発明は、請求項６に記載の類似文書検索方法であって、前記コンピュータは、前記式である第１の式を微分して、前記確率ｐを０．５とした第２の式
0004703415.tif 000003
が所定値以下となる前記母集団の大きさＮを算出し、算出した前記母集団の大きさＮを前記第１の式における前記母集団の大きさＮとして、前記標本サイズを算出することとする。
【００１４】
この場合、母集団の大きさＮの増加に対する標本サイズの増加が頭打ちとなる母集団の大きさＮを採用することができるので、母集団の大きさが不明である場合にも、妥当な標本サイズを算出することができる。
【発明の効果】
【００１５】
本発明によれば信頼性の高い正解率に基づいて類似する文書を検索することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態に係る類似文書検索装置１０について説明する。類似文書検索装置１０としては、例えばパーソナルコンピュータやワークステーションなどの一般的なコンピュータを想定している。
【００１７】
＝＝装置構成＝＝
図１に類似文書検索装置１０のハードウェア構成を示す。同図に示すように、類似文書検索装置１０は、ＣＰＵ１０１、メモリ１０２、記憶装置１０３、入力装置１０４、出力装置１０５を備えている。
【００１８】
記憶装置１０３は、プログラムやデータを記憶する、例えばハードディスクドライブやＣＤ−ＲＯＭドライブ、フラッシュメモリなどである。ＣＰＵ１０１は記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより、各種の機能を実現する。入力装置１０４は、利用者からデータの入力を受け付ける、例えばキーボードやマウス、マイクロフォンなどである。出力装置１０５は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
【００１９】
＝＝機能構成＝＝
図２は類似文書検索装置１０の機能ブロック図である。同図に示すように、類似文書検索装置１０は、検索キー文書入力部１１１、類似度算出部１１２、類否入力部１１３、正解率算出部１１４、標本サイズ算出部１１５、類似文書出力部１１６、文書記憶部１５１、正解情報記憶部１５２、標本サイズ記憶部１５３を備えている。
【００２０】
検索キー文書入力部１１１は、文書の検索においてキーとなる文書（以下、検索キー文書という。）の入力を受け付ける。図３に検索キー文書入力部１１１が検索キー文書の入力を受け付ける際のユーザインタフェースである画面２０の一例を示す。本実施形態では、文書とはテキスト形式のデータであって、文書の所属する分野（分類）と本文とを含んでいるものとする。図３に示すように、画面２０は、文書の分野を指定するためのコンボボックス２１及び本文の入力欄２２を備えている。コンボボックス２１に文書の分野が入力され又はリストに設定されている分野の選択が行われ、入力欄２２に本文が入力された後、ボタン２３が押下されると、検索キー文書入力部１１１は、コンボボックス２１に設定された分野及び入力欄２２に入力された本文を含む検索キー文書の入力を受け付けることになる。
【００２１】
文書記憶部１５１は、検索の対象となる文書（以下、検索対象文書という。）を記憶する。図４に文書記憶部１５１の構成例を示す。同図に示すように、文書には、文書の識別情報である文書ＩＤ、文書の分野、及び本文が含まれる。
【００２２】
類似度算出部１１２は、検索キー文書入力部１１１に入力された検索キー文書と、文書記憶部１５１に記憶されている検索対象文書との類似度を算出する。類似度は、例えば、検索キー文書及び検索対象文書のそれぞれを形態素に分割し、それぞれに共通して出現する単語の数をカウントすることにより算出することができる。もちろん、この方法に限らず、例えば、特許文献１に記載されているベクトル空間法などの公知の技術を用いることができる。
【００２３】
正解情報記憶部１５２は、検索キー文書と検索対象文書とが類似していたかどうか（正解であったかどうか）を判断した結果の集計値を含む情報（以下、正解情報という。）を記憶する。図５に正解情報記憶部１５２の構成例を示す。同図に示すように、正解情報には、類似度算出部１１２が算出する類似度についての範囲に対応付けて、「コンピュータ」「画像処理」「出版」などの分野毎に、類否の判断を行った母数と、２つの文書が類似していた数（以下、正解数という。）とを記憶している。すなわち、正解数と母数とは、検索キー文書と検索対象文書との類似度に応じて、それらの文書が類似している確率を算出するための情報である。
【００２４】
類否入力部１１３は、利用者が検索キー文書と検索対象文書とが類似しているかどうかを判断した結果の入力を受け付ける。類否入力部１１３は、受け付けた結果に応じて正解情報記憶部１５２の正解数や母数を更新する。なお、正解情報の更新処理の詳細については後述する。
【００２５】
標本サイズ算出部１１５は、正解率を算出する場合に必要な標本サイズ（標本の大きさやサンプルサイズなどとも呼ばれる。）を算出する。本実施形態では、標本サイズ算出部１１５は、母集団の大きさをＮ、標本誤差をｅ、正解率をｐ、信頼度に対応する臨界値をｚとして、次の式（１）により標本サイズを算出する。  
0004703415.tif 000004
なお、本実施形態では、許容する標本誤差ｅとして３％を用い、信頼度としては９５％を用いるものとする。
【００２６】
分野別の文書の数（母集団の大きさ）Ｎと、標本サイズとの関係を表すグラフを図６に示す。同図に示すように、母集団の大きさＮが増えるにつれて、標本サイズも増加するが、その増加率は母集団の大きさＮが増えるにつれて逓減している。
【００２７】
ここで、分野別の文書全体の数（母集団の大きさ）Ｎは一般的に不明である場合も多いため、本実施形態では、母集団の大きさＮの増加に対する標本サイズの増加が頭打ちとなる１０，０００程度を母集団の大きさＮとすることにする。なお、母集団の大きさＮとして採用する１０，０００は、次のようにして求める。
【００２８】
上記式（１）を母集団の大きさＮについて微分すると次の式（２）が求められる。  
0004703415.tif 000005
ここで、本実施形態では、上記の微分値が０．１以下となる母集団の大きさＮを、母集団の大きさＮの増加が頭打ちとなる数とする。
【００２９】
正解率ｐは二項分布に従うため、標本サイズがもっとも大きくなる正解率ｐである５０％を採用し、正規分布において信頼度９５％に対応する臨界値ｚは１．９６であるので、この微分値が０．１となる母集団の大きさＮを求めると、Ｎ＝９，６０５となる。本実施形態では、この値の千未満を四捨五入してＮ＝１０，０００を求めている。もちろん、上記のようにして求めた母集団の大きさＮをそのまま用いてもよい。
【００３０】
このようにして母集団の大きさＮを決定することにより、母集団の大きさが不明である場合にも、妥当な標本サイズを算出することができるようになる。一方で、正解率ｐに５０％を採用することで、信頼度９５％を確実に担保する母集団の大きさＮを算出することができる。
【００３１】
標本サイズ記憶部１５３は、正解率毎の標本サイズを記憶する。図７は標本サイズ記憶部１５３の構成例を示す図である。同図に示すように、標本サイズ記憶部１５３は、正解率に対応付けて、標本サイズを記憶している。標本サイズは、上述したように、母集団の大きさＮを１０，０００、信頼度を９５％、許容する標本誤差を３％として、正解率ｐ毎に上記式（１）から算出したものである。
【００３２】
正解率算出部１１４は、正解情報記憶部１５２に記憶されている正解情報に基づいて、文書の正解率を算出する。本実施形態では、後述するように、正解情報の母数が、正解率を算出するために必要な標本サイズ以上でない場合には、他の分野の文書の正解率なども用いて正解率を算出するようにしている。
【００３３】
類似文書出力部１１６は、検索キー文書に類似している文書のリストを出力する。なお、類似文書の出力処理の詳細については後述する。
【００３４】
＝＝正解率の登録処理＝＝
以下、本実施形態の類似文書検索装置１０において行われる処理について説明する。  
まず、正解情報記憶部１５２に記憶される正解情報の更新処理の流れを図８に示す。利用者は、予め定期的にこの処理により正解情報を更新するものとする。
【００３５】
類似文書検索装置１０では、検索キー文書入力部１１１が、上述した画面２０を介して、分野と本文とを含む検索キー文書の入力を受け付けると（Ｓ３０１）、文書記憶部１５１に記憶されている各検索対象文書について、以下の処理を行う。
【００３６】
類似度算出部１１２は、検索キー文書と検索対象文書との類似度を算出する（Ｓ３０２）。類否入力部１１３は、検索キー文書と検索対象文書とを出力して、利用者からこれらの文書が類似しているかどうかを示す類否の指定を受け付ける（Ｓ３０３）。
【００３７】
類否入力部１１３が受け付けた類否が類似している（正解）ことを示すものであった場合（Ｓ３０４：ＹＥＳ）、類否入力部１１３は、正解情報記憶部１５２において上記の類似度が含まれる類似度範囲と、検索対象文書に含まれる分野とに対応する正解数をインクリメントする（Ｓ３０５）。また、類否入力部１１３は、指定された類否にかかわらず、上記の類似度範囲と検索対象文書に含まれる分野とに対応する母数をインクリメントする（Ｓ３０６）。
【００３８】
上記の処理を繰り返して、各文書について算出された類似度に対応する正解数及び母数が正解情報記憶部１５２に登録される。
【００３９】
＝類似文書の検索処理＝＝
次に、類似文書検索装置１０において類似する文書を検索する処理について説明する。図９に検索キー文書に類似する文書を検索する処理の流れを示す。
【００４０】
検索キー文書入力部１１１は、上述した画面２０を介して、分野と本文とを含む検索キー文書の入力を受け付ける（Ｓ３２１）。文書記憶部１５１に記憶されている各検索対象文書について、類似度算出部１１２は、検索キー文書と検索対象文書との類似度を算出し（Ｓ３２２）、正解率算出部１１４は、図１０に示す処理により検索対象文書の正解率を算出する（Ｓ３２３）。
【００４１】
正解率算出部１１４は、変数Ｃ及びＳを「０」に初期化し（Ｓ３４１）、カウンタを「１」に初期化する（Ｓ３４２）。正解率算出部１１４は、正解情報記憶部１５２から、検索キー文書の分野と、上記の類似度が含まれる類似度範囲とに対応する正解数と母数とを取得する（Ｓ３４３）。正解率算出部１１４は、変数Ｃに正解数を加算し（Ｓ３４４）、変数Ｓに母数を加算し（Ｓ３４５）、変数Ｃを変数Ｓで割った商を正解率とする（Ｓ３４６）。標本サイズ算出部１１５は、正解率に対応する標本サイズを標本サイズ記憶部１５３から取得し（Ｓ３４７）、変数Ｓが標本サイズ以上であれば処理を終了する（Ｓ３４８：ＹＥＳ）。
【００４２】
一方、変数Ｓが標本サイズ未満であった場合（Ｓ３４８：ＮＯ）、カウンタが「１」であれば（Ｓ３４９：ＹＥＳ）、正解情報記憶部１５２から、検索キー文書の分野と、類似度に０．０１を加算した値又は類似度から０．０１を減算した値（以下、類似度±０．０１と略記する。）が含まれる類似度範囲とに対応する正解数及び母数を取得し（Ｓ３５０）、カウンタをインクリメントして（Ｓ３５１）、（Ｓ３４４）に戻り処理を続ける。
【００４３】
また、変数Ｓが標本サイズ未満であり（Ｓ３４８：ＮＯ）、カウンタが「２」であれば（Ｓ３５２：ＹＥＳ）、正解情報記憶部１５２から、検索キー文書の分野とは異なる分野と、類似度を含む類似度範囲とに対応する正解数及び母数を取得し（Ｓ３５３）、カウンタをインクリメントして（Ｓ３５４）、（Ｓ３４４）に戻り処理を続ける。
【００４４】
また、変数Ｓが標本サイズ未満であり（Ｓ３４８：ＮＯ）、カウンタが「３」であれば（Ｓ３５５：ＹＥＳ）、正解情報記憶部１５２から、検索キー文書の分野とは異なる分野と、類似度±０．０１が含まれる類似度範囲とに対応する正解数及び母数を取得し（Ｓ３５６）、カウンタをインクリメントして（Ｓ３５７）、（Ｓ３４４）に戻り処理を続ける。
【００４５】
上記のようにして各検索対象文書について正解率が算出されると、正解率算出部１１４は、正解率の順に検索対象文書をソートし（Ｓ３２４）、類似文書出力部１１６は、ソートされた順番に所定数の文書を一覧出力する（Ｓ３２５）。
【００４６】
次に類否入力部１１３は、類似文書出力部１１６が出力した検索対象文書のそれぞれについて、検索キー文書と類似しているかどうか（正否）の入力を受け付け（Ｓ３２６）、類似している旨が入力された場合には（Ｓ３２７：ＹＥＳ）、検索対象文書の分野と、上記（Ｓ３２２）で算出された類似度が含まれる類似度範囲とに対応する正解数をインクリメントする（Ｓ２３８）。類否入力部１１３は、検索キー文書と類似しているかどうかにかかわらず、検索対象文書の分野と、類似度が含まれる類似度範囲とに対応する母数をインクリメントする（Ｓ３２９）。このようにして、出力した文書について、利用者から類否のフィードバックを受け付ける。
【００４７】
以上説明したように、本実施形態の類似文書検索装置１０によれば、類似度のみならず、類似している確率である正解率に基づいた順番で検索結果を出力することができる。したがって、より類似している可能性の高い検索対象文書を優先的に出力することができる。よって、精度の高い検索を行うことができる。また、分野別に正解率を算出しているので、分野によって類否判断の正解率にばらつきがある場合であっても、より精度の高い検索結果を出力することができる。
【００４８】
また、本実施形態の類似文書検索装置１０では、正解率の信頼度を保つために必要な標本サイズを算出し、母数が標本サイズ以上であるかどうかを確認することができる。したがって、信頼度の高い正解率を利用して、より精度の高い検索結果を出力することができる。
【００４９】
また、本実施形態の類似文書検索装置１０では、分野別の正解率を算出する標本の母数が標本サイズより小さい場合には、他の分野や近い類似度の正解数及び母数を加味して正解率を算出している。したがって、正解率を算出するための標本の母数が少ない場合にも、母数を増加させて、より信頼度の高い正解率を算出することができる。これにより、類似文書の検索精度を向上することができる。
【００５０】
また、本実施形態の類似文書検索装置１０では、検索キー文書に類似する文書の検索を行った後に、検索された文書についての類否の入力を受け付けて、正解情報を更新するようにしている。したがって、正解率を算出する標本の母数を増やして、より信頼度の高い正解率を算出することができる。これにより、類似文書の検索精度を向上することができる。
【００５１】
なお、上記処理においては、文書記憶部１５１に記憶されている全ての文書について類否の指定を受け付けるものとしたが、これに限らず、例えば、類似度の高いものから所定数の文書についてのみ類否の指定を受け付けるようにしてもよい。
【００５２】
また、本実施形態では、検索対象文書の分野に対応する正解数や母数を更新するようにしたが、検索キー文書の分野に対応する正解数や母数を更新するようにしてもよい。
【００５３】
また、本実施形態では、文書記憶部１５１に記憶されている検索対象文書の全てを対象として類似度を算出するようにしたが、例えば、検索キー文書に含まれる分野と同一の分野の検索対象文書のみについて類似度を算出するようにしてもよい。またこの場合、例えば、検索キー文書と同一の分野である検索対象文書についての類似度が所定の値を超えない場合には、他の分野の検索対象文書を検索対象として類似度を算出するようにしてもよい。
【００５４】
また、本実施形態では、テキスト形式の文書を前提としていたが、これに限らず、画像データなどのバイナリデータを用いるようにしてもよい。この場合にも、例えば、画像の類似度などには一般的な公知の方式を用いることができる。
【００５５】
また、本実施形態では、類似度の範囲を０．０１単位で区切るものとし、近い類似度の正解数や母数を求める場合には、類似度に０．０１を加減算するようにしたが、０．０１以外にも任意の精度の数値を用いることができる。
【００５６】
また、本実施形態では、標本サイズ記憶部１５３に、１％単位の正解率毎に、予め算出した標本サイズを記憶するものとしたが、任意の精度の正解率毎に標本サイズを記憶するようにしてもよい。また、処理の度に上述の式（１）により標本サイズを計算するようにしてもよい。
【００５７】
また、本実施形態では、文書の母集団の大きさＮが不明であるものとしたが、例えば、特許文献の検索など、母集団の大きさＮが判明している場合には、１０，０００に代えて、判明しているＮを用いて標本サイズを算出するようにしてもよい。また、文書記憶部１５１に登録されている分野別の文書数を母集団の大きさＮとして、標本サイズを算出するようにしてもよい。
【００５８】
また、本実施形態では、正解率を算出する母数が標本サイズ未満である場合には、他の分野の文書についての正解数や母数、さらには異なる類似度の範囲に対応する正解数や母数を用いて正解率を算出するようにしているが、これに限らず、例えば、母数が標本サイズ未満である場合には、その検索対象文書は検索結果からはずすようにして、出力されないようにしてもよい。この場合、例えば、母数が標本サイズ未満であれば、正解率を「０」に設定するようにすることもできる。
【００５９】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態による類似文書検索装置１０のハードウェア構成を示す図である。
【図２】類似文書検索装置１０の機能ブロック図である。
【図３】検索キー文書の入力を受け付ける画面２０の一例を示す図である。
【図４】文書記憶部１５１の構成例を示す図である。
【図５】正解情報記憶部１５２の構成例を示す図である。
【図６】母集団の大きさＮと標本サイズとの関係を示すグラフである。
【図７】標本サイズ記憶部１５３の構成例を示す図である。
【図８】正解情報の更新処理の流れを示す図である。
【図９】検索キー文書に類似する文書の検索処理の流れを示す図である。
【図１０】検索対象文書の正解率を算出する処理の流れを示す図である。
【符号の説明】
【００６１】
１０    類似文書検索装置
１０１  ＣＰＵ
１０２  メモリ
１０３  記憶装置
１０４  入力装置
１０５  出力装置
１１１  検索キー文書入力部
１１２  類似度算出部
１１３  類否入力部
１１４  正解率算出部
１１５  標本サイズ算出部
１１６  類似文書出力部
２０    画面
２１    コンボボックス
２２    入力欄
２３    ボタン
【図１】
0004703415.tif 000008
【図２】
0004703415.tif 000009
【図３】
0004703415.tif 000010
【図４】
0004703415.tif 000011
【図５】
0004703415.tif 000012
【図６】
0004703415.tif 000013
【図７】
0004703415.tif 000014
【図８】
0004703415.tif 000015
【図９】
0004703415.tif 000016
【図１０】
0004703415.tif 000017