"検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力するキーワード検索手段と、検索対象の文書集合のうち、前記キーワード検索手段の検索結果の文書番号に相当する各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成するキーワード文脈作成手段と、前記キーワード文脈作成手段により作成された各キーワード文脈との間の文字列としての類似度を算出するキーワード文脈の類似度計算手段と、前記キーワード文脈の類似度計算手段で算出された類似度に基づいて、前記キーワード検索手段により検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する結果並び替え手段と、を備えたことを特徴とする文書検索装置。前記キーワード検索手段は、検索結果として関連度スコアを含み、利用者へ提示する検索結果文書件数をn、前記文書集合の重複率をrとしたときの、前記関連度スコアの上位n/1-r件の検索結果の文書番号を出力し、前記結果並び替え手段は、前記キーワード検索手段により検索された前記n/1-r件の検索結果すべてについて、i番目よりも関連度スコアが上位であるi-1番目までの検索結果中に、前記キーワード文脈の類似度計算手段により算出された類似度が類似度しきい値よりも高いものが存在するか否かを判定し、存在しないと判定されたときのi番目の検索結果が、存在すると判定されたときのi番目の検索結果よりも上位順位となる順序に並び替え、該上位順位からn件の前記並び替えられた検索結果文書のリストを出力することを特徴とする請求項1に記載の文書検索装置。キーワード検索手段が、検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力するキーワード検索ステップと、キーワード文脈作成手段が、検索対象の文書集合のうち、前記キーワード検索ステップの検索結果の文書番号に相当する各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成するキーワード文脈作成ステップと、キーワード文脈の類似度計算手段が、前記キーワード文脈作成ステップにより作成された各キーワード文脈との間の文字列としての類似度を算出するキーワード文脈の類似度計算ステップと、結果並び替え手段が、前記キーワード文脈の類似度計算ステップで算出された類似度に基づいて、前記キーワード検索ステップにより検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する結果並び替えステップと、を備えたことを特徴とする文書検索方法。前記キーワード検索ステップは、検索結果として関連度スコアを含み、利用者へ提示する検索結果文書件数をn、前記文書集合の重複率をrとしたときの、前記関連度スコアの上位n/1-r件の検索結果の文書番号を出力し、前記結果並び替えステップは、前記キーワード検索ステップにより検索された前記n/1-r件の検索結果すべてについて、i番目よりも関連度スコアが上位であるi-1番目までの検索結果中に、前記キーワード文脈の類似度計算ステップにより算出された類似度が類似度しきい値よりも高いものが存在するか否かを判定し、存在しないと判定されたときのi番目の検索結果が、存在すると判定されたときのi番目の検索結果よりも上位順位となる順序に並び替え、該上位順位からn件の前記並び替えられた検索結果文書のリストを出力することを特徴とする請求項3に記載の文書検索方法。コンピュータを請求項1又は2に記載の各手段として機能させる文書検索プログラム。しかし、従来の手法によっては文書全体としての類似性に基いて判定するため、文書全体としては似通っていなくとも、部分部分は似通っているような文書は検出および排除の対象とならなかった。このため、たとえば文書中に他の文書の一部を引用した場合などにおいて、引用箇所が利用者の入力したキーワードと関連していれば、引用元の文書に加えて、引用した文書も関連があるということになり検索結果に含まれてしまう。このため、二つの文書において、検索者が検索を行っている目的の情報を含んだ箇所についてはほぼ同一の内容が記述してあっても、それ以外の部分に差異がある場合、従来の技術によれば排除することができない。この結果このような文書は検索結果に含まれてしまい、結果として利用者が目的の情報に辿りつくための手間が増えてしまうという問題があった。これらを踏まえると、利用者が求めている情報に関連する箇所について重複を防ぎ、利用者が検索結果の全貌を容易に把握できるような方法が求められる。本発明は、上記課題を解決するものであり、その目的は、類似した検索を排除し、これによって利用者が求めている情報を含んだ文書に辿り着く手間を省くことができる文書検索装置、方法、プログラムを提供することにある。上記課題を解決するための本発明の文書検索装置は、検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力するキーワード検索手段と、検索対象の文書集合のうち、前記キーワード検索手段の検索結果の文書番号に相当する各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成するキーワード文脈作成手段と、前記キーワード文脈作成手段により作成された各キーワード文脈との間の文字列としての類似度を算出するキーワード文脈の類似度計算手段と、前記キーワード文脈の類似度計算手段で算出された類似度に基づいて、前記キーワード検索手段により検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する結果並び替え手段と、を備えたことを特徴としている。1請求項1~5に記載の発明によれば、利用者は指定したキーワードについて関連があるような文書のうち、類似した検索を排除することができるため、検索装置によって出力された上位の結果中に利用者が求めている情報を含まれやすくすることができる。このため、結果的に利用者が求めている情報を含んでいる文書に辿りつく手間が省かれ、該文書を容易に特定することが可能となる。2また請求項2、4に記載の発明によれば、キーワード検索手段における検索結果出力件数をn/1-r件nは利用者へ提示する検索結果文書件数、rは文書集合の重複率としたので、rを例えば文書集合毎の既知の重複率に設定した場合は、そのrに応じた適切な検索結果出力件数が決定され得る。また、検索結果を提示する者例えばサービス設計者がrを任意に設定することにより、状況に応じた装置の運用を実施することができる。すなわち、装置の処理負荷が重くなったとしても、利用者へ提示することになる重複文書数を減らすか又は零にしたい場合はrを大きく設定し、また逆に、利用者へ提示することになる重複文書数が増えたとしても、装置の処理負荷を軽くしたい場合はrを小さく設定することで対応が可能となる。以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図1は本発明の実施形態例における文書検索装置100の構成を示し、図2は図1の装置の各部が行なう処理の流れを示すフローチャートである。本実施形態例の文書検索装置100は、キーワード検索手段としてのキーワード検索部110、キーワード文脈作成手段としてのキーワード文脈作成部120、キーワード文脈の類似度計算手段としてのキーワード文脈の類似度計算部130、結果並び替え手段としての結果並び替え部140および文書集合DBデータベース150を備えている。図1の文書集合DB150には、ワールドワイドウェブからの収集等を通じて準備した検索対象の文書集合が事前に格納される。キーワード検索部110は、文書集合DB150に格納されている検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力する機能を有している。キーワード文脈作成部120は、文書集合DB150内の、前記キーワード検索部110で検索された各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成する機能を有している。キーワード文脈の類似度計算部130は、キーワード文脈作成部120で作成された各キーワード文脈との間の文字列としての類似度を算出する機能を有している。結果並び替え部140は、前記類似度計算部130で算出された類似度に基づいて、前記キーワード検索部110により検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する機能を有する。図1の文書検索装置100は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばROM、RAM、CPU、入力装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。このハードウェアリソースとソフトウェアリソースOS、アプリケーションなどとの協働の結果、文書検索装置100は、図1に示すように、キーワード検索部110、キーワード文脈作成部120、キーワード文脈の類似度計算部130、結果並び替え部140、文書集合DB150を実装する。前記文書集合DB150は、ハードディスクあるいはRAMなどの保存手段記憶手段に構築されているものとする。次に、上記のように構成された装置の動作を具体的に説明する。利用者は、文書検索装置100に対してキーワードを入力し、文書検索装置100からの出力はキーワードと関連する文書の順序つきリストである。文書検索装置100は、事前にワールドワイドウェブからの収集等を通じて準備した検索対象の文書集合を文書集合DB150に格納しておき、その文書集合DB150中の文書集合を対象に処理を行う。まず、キーワード検索部110は、キーワードを入力として、そのキーワードを含むような文書を文書集合DB150から検索し、関連度スコアを計算し、文書番号と関連度スコアを出力するステップS110。文書の検索、および関連度スコアの計算には、一般的な転置インデクスとBM25やPageRankといった従来より知られているスコアリング手法を組合せることによって実現することができる。ここでキーワード検索部110から出力する結果の件数について述べる。利用者へ提示する検索結果の数をn件であるとし、検索対象文書集合で予測される文書の重複率をr0≦r<1とするときに、検索結果の関連度スコアの上位n/1-r件をキーワード検索部110から出力する。ここで、nとしては典型的には10件から100件程度が用いられる。次にキーワード文脈作成部120では、キーワード検索部110の出力した文書番号を受け取り、検索結果の各文書文書集合DB150内の文書中において、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を生成するステップS120。これには非特許文献4に示されるような、従来から存在するKWICkeywordincontextあるいはquery-biased要約と呼ばれる技術を用いることができる。生成するキーワード文脈の長さは、提供するサービスの品質に応じて、サービス設計者が任意に設定して良い。ただし、最終的にユーザに概要文を提示するような検索サービスを作る場合であれば、本キーワード文脈作成部120の出力をそのまま概要文として提示できるように、そこで求められる長さとすると良い。キーワード文脈作成部120の出力は、図3に示すような、文書番号とキーワード文脈との対の集合である。図3はキーワードとして元素を想定した例を示している。次にキーワード文脈の類似度計算部130は、キーワード文脈作成部120の出力を入力とし、各キーワード文脈との間の文字列としての類似度を算出するステップS130。類似度の算出方法は任意であるが、一般的に用いられるコサイン類似度や各単語を集合の要素とみなした場合のJaccard係数等を用いることができる。次に結果並び替え部140では、キーワード検索部110の出力と、キーワード文脈の類似度計算部130の出力とを入力とし、キーワード文脈間の類似性を考慮した並び替え処理を行なって、ユーザに提示する検索結果を出力するステップS140。結果並び替え部140が行なう処理の流れを図4に示す。尚、図4において、ループL140は、後述のステップS143~S146を、検索結果最上位からn/1-r件目まで繰り返し実行することを表している。図4において、まず、重複を含まないものを含むための提示用結果上位リストDと、重複したものを含んでいるが、Dの件数が最終的にn件に達しなかった場合に用いるための結果補助リストSをそれぞれ初期化しステップS141、i=1にセットするステップS142。次に、キーワード検索部110からのn/1-r件について、関連度スコアが上位の結果から順に、以下の1、2を実行する。1i番目の検索結果のキーワード文脈が、より上位の、i-1番目までの検索結果のキーワード文脈と重複しているかどうかを、事前に定めた類似度閾値thよりも文脈間の類似度キーワード文脈の類似度計算部130の算出値が高いかどうかにより確認するステップS143。2前記1で重複するものがなかった場合、すなわちすべての類似度が閾値th未満だった場合は、i番目の結果を提示用結果上位リストDへ追加するステップS144。重複するものが存在した場合は、i番目の結果は順位を下げるべきであると判断し、結果補助リストSへ追加するステップS145。前記ステップS144,S145の処理の後はステップS146においてiをインクリメントする。次に上記1、2の繰り返しの結果得られたリストDとSをこの順で連結し、順位の上位から連結されたリストの先頭からn件を出力するステップS147。以上のように本実施形態例によれば、文書自体ではなく、ユーザに提示される情報概要文に着目し、概要文が同一あるいは強く類似している場合は表示提示しないことによって、ユーザにとっての見た目の多様性を高め、目的としている情報へ辿りつく機会を増やすことができる。また、キーワード検索部110における検索結果出力件数をn/1-r件nは利用者へ提示する検索結果文書件数、rは文書集合の重複率としたので、rを例えば文書集合毎の既知の重複率に設定した場合は、そのrに応じた適切な検索結果出力件数が決定され得る。また、検索結果を提示する者例えばサービス設計者がrを任意に設定することにより、状況に応じた装置の運用を実施することができる。すなわち、装置の処理負荷が重くなったとしても、利用者へ提示することになる重複文書数を減らすか又は零にしたい場合はrを大きく設定し、また逆に、利用者へ提示することになる重複文書数が増えたとしても、装置の処理負荷を軽くしたい場合はrを小さく設定することで対応が可能となる。また、本実施形態の文書検索装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の文書検索方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばFDFloppy登録商標Diskや、MOMagneto-Opticaldisk、ROMReadOnlyMemory、メモリカード、CDCompactDisk-ROM、DVDDigitalVersatileDisk-ROM、CD-R、CD-RW、HDD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。"