"情報検索システムであって、複数のデータベースと、クライアントがネットワークを介して前記複数のデータベースにアクセスすることを容易にする1つ以上のサーバとを含み、前記1つ以上のサーバは、全体として、複数の文書署名を生成する署名生成手段であって、各文書署名は、前記データベースのうちの1つ以上からの複数の特徴およびそれに対応する文書内の前記特徴のそれぞれの位置に基づいており、前記署名生成手段は、文書ハッシュ値および文書特徴ベクトルからなる群のうちの1つ以上に基づいて文書署名を形成する手段を含み、前記ハッシュ値は、文書内の特徴および前記特徴の位置に基づいている、署名生成手段と、クエリーを定義するクエリー定義手段であって、1つ以上の他のサーチ結果の文書のコンテンツ重複を含むサーチ結果文書の識別を命令するクエリー定義手段と、前記文書署名のサブセットに基づいて、前記クエリーの結果内の1つ以上の文書が、前記結果内の1つ以上の他の文書内のコンテンツのコンテンツ重複を含むか否かを決定する重複決定手段と、前記クエリーの結果の表示を制御する手段であって、前記表示された結果のうちの少なくとも1つは、前記結果内の1つ以上の他の文書のコンテンツのコンテンツ重複を含むものとして指示される、前記クエリーの結果の表示を制御する手段と、前記結果内の1つ以上の他の文書のコンテンツのコンテンツ重複を含む文書の出力に関するユーザによって選択されたオプションに基づいて、プリンタまたは電子メール伝送デバイスに対する前記クエリーの結果の出力を制御する手段とを含む、システム。前記署名生成手段は、各文書に対する時間、長さ、文書コンポーネントのうちの少なくとも2つを決定する手段を含む、請求項1に記載のシステム。各手段は、機械によって実行可能な命令のうちの1つ以上のセットを含む、請求項1に記載のシステム。クエリーを定義する前記クエリー定義手段は、ブール言語または自然言語を用いて、前記クエリを定義するオプションを提供する、請求項1に記載のシステム。複数の文書署名を生成する前記署名生成手段は、1つ以上の文書長さ特徴または値を決定する手段と、各文書からの特徴のセットをそれらに対応する逆文書頻度idf値に基づいて識別する手段と、各文書内の特徴の位置を決定する手段と、前記特徴のセットおよびそれらの決定された位置を連結することにより、文字列を定義する手段と、前記文字列をハッシュすることにより、各文書に対するハッシュ値を定義する手段と、前記文書長さ特徴または値および各文書に対するハッシュ値に基づいて、文書署名を形成する手段と、メモリデバイス内に文書署名を格納する手段とを含む、請求項1に記載のシステム。前記署名生成手段は、各特徴の前記決定された位置をラウンドする手段と、前記特徴のセットおよび前記特徴のラウンドされ決定された位置を連結することにより、文字列を決定する手段とをさらに含む、請求項5に記載のシステム。クエリを定義する前記クエリ定義手段は、1つ以上の他のサーチ結果文書のコンテンツ重複を含むサーチ結果文書の識別を制御するオプションを選択する手段を含む、請求項1に記載のシステム。情報検索システムであって、複数のデータベースと、前記データベースのうちの1つ以上に対するアクセスをユーザに提供するサーバとを含み、前記サーバは、クエリーを定義し、処理することにより、結果を生成する手段であって、前記結果は、前記結果内の1つ以上の他の文書内のコンテンツのコンテンツ重複を含む文書を含む、手段と、前記クエリーの結果内の1つ以上の文書が、前記結果の1つ以上の他の文書内のコンテンツのコンテンツ重複を含むか否かを決定する重複決定手段であって、前記重複決定手段は、前記結果内の前記文書のうちの第1の文書に対する第1の文書署名を前記結果内の前記文書のうちの第2の文書に対する第2の文書署名と比較する手段であって、各署名は、複数の用語およびそれに対応する文書内の対応する位置に基づいている、手段と、前記第1の文書および前記第2の文書の第1の長さおよび第2の長さ、および、第1の時間的特徴および第2の時間的特徴をそれぞれ比較する手段と、前記第1の文書および前記第2の文書のそれぞれに対する第1のハッシュ値および第2のハッシュ値を比較する手段であって、各ハッシュ値は、特徴およびそのそれぞれの文書内の前記特徴の位置に基づいている、手段とを含み、前記重複決定手段は、前記第1の文書および前記第2の文書が、ハッシュ値を比較する前記手段の結果に応答して重複するか否かを決定するように適合されている、重複決定手段と、前記クエリーの結果の表示を制御する手段であって、前記表示された結果のうちの少なくとも1つは、前記結果内の1つ以上の他の文書のコンテンツのコンテンツ重複を含むものとして指示される、手段と、前記結果内の1つ以上の他の文書のコンテンツのコンテンツ重複を含む文書の出力に関するユーザによって選択されたオプションに基づいて、プリンタまたは電子メール伝送デバイスに対する前記クエリーの結果の出力を制御する手段とを含む、情報検索システム。各署名は、前記複数の用語のラウンドされた位置に基づいている、請求項8に記載のシステム。各手段は、機械によって実行可能な命令のうちの1つ以上のセット含む、請求項8に記載のシステム。クエリーを定義し、処理する前記手段は、ブール言語または自然言語を用いて、前記クエリーを定義するオプションを提供する、請求項8に記載のシステム。第1のハッシュ値および第2のハッシュ値を比較する前記手段は、前記第1の文書および前記第2の文書の第1の長さおよび第2の長さ、および、第1の時間的特徴および第2の時間的特徴をそれぞれ比較する前記手段の結果に応答して実行される、請求項8に記載のシステム。前記重複決定手段は、将来の自動的な実行に適合されたクエリーに応答して実行され、そして、前記クエリーの自動的な実行に応答して実行される、請求項12に記載のシステム。第1のハッシュ値および第2のハッシュ値を比較する前記手段は、前記長さまたは時間の比較が肯定的である場合にのみ実行される、請求項8に記載のシステム。第1のハッシュ値および第2のハッシュ値を比較する前記手段は、それぞれの文書からの特徴のセットをそれらに対応する逆文書頻度idf値に基づいて識別する手段と、前記それぞれの文書内の特徴の位置を決定する手段と、各特徴の前記決定された位置をラウンドする手段と、前記特徴のセットおよびそれらのラウンドされた位置を連結することにより、文字列を定義する手段と、前記文字列をハッシュすることにより、ハッシュ値を決定する手段とをさらに含む、請求項8に記載のシステム。第1の文書および第2の文書が重複コンテンツを含むか否かを識別するコンピュータに実装される方法であって、前記方法は、前記第1の文書および前記第2の文書が、それらに対応する時間的特性であって、互いの第1の範囲内に存在する時間的特性を有するか否かを決定することと、前記第1の文書および前記第2の文書が、それらに対応する長さ特性であって、互いの第2の範囲内に存在する長さ特性を有するか否かを決定することと、前記第1の文書および前記第2の文書の前記時間的特性が、互いの前記第1の範囲内に存在するという肯定的決定に応答して、そして、前記第1の文書および前記第2の文書の前記長さ特性が、互いの前記第2の範囲内に存在するという肯定的決定に応答して、前記第1の文書および前記第2の文書が、互いに共通の有意な数の特徴を有するか否かを決定することと、前記第1の文書および前記第2の文書の前記時間的特性が、互いの前記第1の範囲内に存在し、前記第1の文書および前記第2の文書の前記長さが、互いの前記第2の範囲内に存在し、そして、前記第1の文書および前記第2の文書が、互いに共通の有意な数の特徴を少なくとも有するという決定に応答して、前記第1の文書および前記第2の文書を重複として識別することとを含む、方法。前記第1の範囲は、30日を超えず、前記第2の範囲は、20を超えず、前記有意な数の特徴は、各文書内のそれぞれの用語の数の少なくとも80として予め決定され、前記用語は、それに対応する逆文書頻度idf値に基づいて選択される、請求項16に記載の方法。前記第1の文書および前記第2の文書は、それぞれ第1の文書署名データ構造および第2の文書署名データ構造を含み、各文書署名データ構造は、前記文書に関連付けられた発行日に基づいている時間的コンポーネントと、前記文書に関連付けられた単語カウントに基づいている長さコンポーネントと、前記文書の一定数の最上位にランク付けされた逆文書頻度idf用語に基づいている用語ベクトルとを含む、請求項16に記載の方法。前記用語べクトルは、少なくとも10用語を含む、請求項18に記載の方法。第1の文書および第2の文書のそれぞれの長さ特性が、互いの一範囲内に存在するか否かを決定し、そして、前記第1の文書および前記第2の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定することであって、各特徴は、それに対応する逆文書頻度idf値に基づいて選択され、前記第1の文書および前記第2の文書が互いに共通の閾値数の特徴を少なくとも有するか否かを決定することは、前記第1の文書および前記第2の文書に対してそれぞれ第1の用語ベクトルおよび第2の用語ベクトルを定義することであって、各用語ベクトルは、そのそれぞれの文書に対して、idf用語の複数の等しい長さのバイナリ表現を含む、ことを含む、ことと、前記第1の用語ベクトルのバイナリ表現の数を前記第2の用語ベクトルのバイナリ表現の数と比較することと、前記決定が肯定的であることに応答して、前記第1の文書および前記第2の文書を重複として識別することとを含む、方法。コンピュータに実装される方法であって、ユーザクエリーを受信することと、前記ユーザクエリーに応答して、データベースからの第1の文書および第2の文書を少なくとも識別することであって、前記第1の文書および前記第2の文書は、それぞれ第1の特徴ベクトルおよび第2の特徴べクトルに関連付けられており、各特徴ベクトルは、そのそれぞれの文書内の用語または特徴の複数の等しい長さのバイナリ表現を有し、用語または特徴は、逆文書頻度idf値のテーブル内の対応する逆文書頻度idf値の相対的大きさに基づいて選択される、ことと、前記第1の文書または前記第2の文書の時間的特性が、互いの第1の範囲内に存在するか否かを決定することと、前記第1の文書または前記第2の文書の長さ特性が、互いの第2の範囲内に存在するか否かを決定することと、前記第1の文書および前記第2の文書を識別したこと、および、少なくとも1つの決定が肯定的であるということに応答して、前記第1の特徴ベクトルおよび前記第2の特徴ベクトルを比較することとを含む、方法。前記ユーザクエリーに応答して、前記第1の文書および前記第2の文書のうちの少なくとも1つを識別するサーチ結果を提示することをさらに含み、前記提示されたリストは、前記第1の特徴ベクトルおよび前記第2の特徴ベクトルの比較に基づいて、前記第1の文書および前記第2の文書が、互いの重複であるコンテンツを含むか否かの指示を含む、請求項21に記載の方法。前記第1の特徴ベクトルおよび前記第2の特徴ベクトルを比較することは、前記第1の文書および前記第2の文書の時間的特性が、互いの第1の範囲内に存在するという肯定的決定、および、前記第1の文書および前記第2の文書の長さ特性が、互いの第2の範囲内に存在するという肯定的決定に応答して、行われる、請求項22に記載の方法。前記第1の文書および前記第2の文書のうちの少なくとも1つを識別する前記サーチ結果を提示することは、前記第1の文書のタイトルのリストを提示することを含み、前記第1の文書および前記第2の文書が互いの重複であるコンテンツを含むか否かの指示は、前記第2の文書のタイトルのリストを提示することであって、前記第2の文書のタイトルは、前記第1の文書のタイトルよりも下であり、前記第1の文書のタイトルに対してインデントされている、ことと、前記第1の文書のタイトルのフォントとは異なるフォントで前記第2の文書のタイトルのリストを提示することと、前記第2の文書を識別する1つ以上の文書のリストを表示するように選択可能なフォルダまたは他のコンテンツアイコンを提示することとを含む、請求項21に記載の方法。第1の文書および第2の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、前記システムは、ユーザクエリーを受信する手段と、前記ユーザクエリーに応答して、データベースからの第1の文書および第2の文書を少なくとも識別する手段であって、前記第1の文書および前記第2の文書は、それぞれ第1の特徴ベクトルおよび第2の特徴べクトルに関連付けられており、各特徴ベクトルは、そのそれぞれの文書内の用語または特徴の複数の等しい長さのバイナリ表現を有し、用語または特徴は、逆文書頻度idf値のテーブル内の対応する逆文書頻度idf値の相対的大きさに基づいて選択される、手段と、前記第1の文書または前記第2の文書の時間的特性が、互いの第1の範囲内に存在するか否かを決定する第1の決定手段と、前記第1の文書または前記第2の文書の長さ特性が、互いの第2の範囲内に存在するか否かを決定する第2の決定手段と、前記第1の文書および前記第2の文書を識別したこと、および、少なくとも1つの決定が肯定的であるということに応答して、前記第1の特徴ベクトルおよび前記第2の特徴ベクトルを比較する手段とをさらに含む、コンピュータベースのシステム。グラフィカルユーザインターフェースをさらに含み、前記グラフィカルユーザインターフェースは、表示デバイス上のクエリー定義領域であって、前記領域は、クエリーのユーザによる定義を容易にするための1つ以上のインタラクティブ制御特徴を含む、クエリー定義領域と、前記クエリー定義領域内の少なくとも1つのインタラクティブ制御特徴であって、ユーザが、前記クエリーに応答して提供されたサーチ結果が、実質的に重複コンテンツを有すると決定された文書を識別するか否かを選択することを可能にする、少なくとも1つのインタラクティブ制御特徴とをさらに含む、請求項25に記載のコンピュータベースのシステム。前記1つのインタラクティブ制御特徴は、チェックボックスを含む、請求項26に記載のコンピュータベースのシステム。前記サーチ結果において他の文書と実質的に重複するコンテンツを有すると決定された文書の出力を制御する少なくとも1つのインタラクティブ制御特徴をさらに含む、請求項26に記載のコンピュータベースのシステム。クエリー結果領域をさらに含み、前記クエリー結果領域は、対応するサーチ結果文書の表示を引き起こす1つ以上のインタラクティブ制御特徴と、前記サーチ結果文書の少なくとも別の文書の重複であるとして見なされるサーチ結果文書を識別し、前記サーチ結果文書の表示を引き起こす少なくとも1つのインタラクティブ制御特徴とを含む、請求項26に記載のコンピュータベースのシステム。表示デバイス上に表示されるグラフィカルユーザインターフェースをさらに含み、前記インターフェースは、クエリを提出する1つ以上のインタラクティブ制御特徴と、前記クエリに基づいて、前記表示デバイス上にサーチ結果を表示するクエリ結果領域とを含み、前記領域は、少なくとも1つのインタラクティブ制御特徴であって、対応するサーチ結果文書の表示または検索を識別し、引き起こす少なくとも1つのインタラクティブ制御手段と、少なくとも1つの重複指示特徴であって、前記サーチ結果が、対応するサーチ結果文書の重複であるとして見なされる任意の文書を含むか否かを指示する、少なくとも1つの重複指示特徴と、重複であるとして見なされる文書の数を指示する重複カウントインジケータとを含む、請求項25に記載のコンピュータベースのシステム。前記1つの重複指示特徴は、選択可能リンクを含み、前記選択可能リンクは、対応するサーチ結果文書に対して、1つのインタラクティブ制御特徴の下に配置され、前記1つのインタラクティブ制御特徴に対してインデントされる、請求項30に記載のコンピュータベースのシステム。クエリーに応答して提示されたサーチ結果が実質的に重複コンテンツを有すると決定された文書を識別するか否かのデフォルト設定を定義する少なくとも1つのインタラクティブ制御特徴をさらに含む、請求項30に記載のコンピュータベースのシステム。前記1つのインタラクティブ制御特徴は、チェックボックスを含む、請求項32に記載のコンピュータベースのシステム。情報検索システムであって、複数のデータベースと、ユーザに前記データベースのうちの1つ以上に対するアクセスを提供するサーバとを含み、前記サーバは、クエリーを定義し、処理することにより、結果を生成する手段であって、前記結果は、前記結果内の1つ以上の他の文書内のコンテンツのコンテンツ重複を含む文書を含む、手段と、前記クエリーの結果内の1つ以上の文書が、前記結果内の1つ以上の他の文書内のコンテンツのコンテンツ重複を含むか否かを決定する重複決定手段であって、前記重複決定手段は、前記結果内の前記文書のうちの第1の文書に対する第1の文書署名を前記結果内の前記文書のうちの第2の文書に対する第2の文書署名と比較する第1の手段であって、各署名は、複数の用語およびそれに対応する文書内の前記複数の用語に対応する位置に基づいている、第1の手段と、前記第1の文書および前記第2の文書の第1の長さおよび第2の長さ、および、第1の時間的特徴および第2の時間的特徴をそれぞれ比較する第2の手段と、前記第1の文書および前記第2の文書に共通の特徴のセットを比較する第3の手段であって、前記特徴のセットは、それらに対応する逆文書頻度idf値に基づいて選択される特徴を含み、前記第1の文書および前記第2の文書は、互いに共通の閾値数の特徴を少なくとも含む、第3の手段とを含み、前記重複決定手段は、比較する前記第3の手段の結果に応答して、前記第1の文書および前記第2の文書が重複するか否かを決定するように適合されている、重複決定手段と、前記クエリーの結果の表示を制御する手段であって、前記表示された結果のうちの少なくとも1つは、前記結果内の1つ以上の他の文書のコンテンツのコンテンツ重複を含むものとして指示される、前記クエリーの結果の表示を制御する手段と、前記結果内の1つ以上の他の文書のコンテンツのコンテンツ重複を含む文書の出力に関するユーザによって選択されたオプションに基づいて、プリンタまたは電子メール伝送デバイスに対する前記クエリーの結果の出力を制御する手段とを含む、システム。特徴のセットを比較する前記手段は、前記第1の文書および前記第2の文書の第1の長さおよび第2の長さ、および、第1の時間的特徴および第2の時間的特徴をそれぞれ比較する手段の結果に応答して実行される、請求項34に記載のシステム。第1の文書および第2の文書にそれぞれ関連付けられた時間的値が、互いの一範囲内に存在するか否かを決定し、そして、前記第1の文書および前記第2の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定することであって、各特徴は、それに対応する逆文書頻度idf値に基づいて選択され、前記第1の文書および前記第2の文書が互いに共通の閾値数の特徴を少なくとも有するか否かを決定することは、前記第1の文書および前記第2の文書に対してそれぞれ第1の用語べクトルおよび第2の用語ベクトルを定義することであって、各用語ベクトルは、そのそれぞれの文書に対して、idf用語の複数の等しい長さのバイナリ表現を含む、ことを含む、ことと、前記第1の用語ベクトルのバイナリ表現の数を前記第2の用語ベクトルのバイナリ表現の数と比較することと、前記決定が肯定的であることに応答して、前記第1の文書および前記第2の文書を重複として識別することとを含む、方法。第1の文書および第2の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、前記システムは、前記第1の文書および前記第2の文書が、それらに対応する時間的特性であって、互いの第1の範囲内に存在する時間的特性を有するか否かを決定する第1の決定手段と、前記第1の文書および前記第2の文書が、それらに対応する長さ特性であって、互いの第2の範囲内に存在する長さ特性を有するか否かを決定する第2の決定手段と、前記第1の文書および前記第2の文書の前記時間的特性が、互いの前記第1の範囲内に存在するという肯定的決定に応答して、そして、前記第1の文書および前記第2の文書の前記長さ特性が、互いの前記第2の範囲内に存在するという肯定的決定に応答して、前記第1の文書および前記第2の文書が、互いに共通の有意な数の特徴を有するか否かを決定する第3の決定手段と、前記第1の文書および前記第2の文書の前記時間的特性が、互いの前記第1の範囲内に存在し、前記第1の文書および前記第2の文書の前記長さが、互いの前記第2の範囲内に存在し、そして、前記第1の文書および前記第2の文書が、互いに共通の有意な数の特徴を少なくとも有するという決定に応答して、前記第1の文書および前記第2の文書を重複として識別する手段とを含む、システム。第1の文書および第2の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、前記システムは、前記第1の文書および前記第2の文書のそれぞれの長さ特性が、互いの一範囲内に存在するか否かを決定し、そして、前記第1の文書および前記第2の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定する手段であって、各特徴は、それに対応する逆文書頻度idf値に基づいて選択される、手段と、前記第1の文書および前記第2の文書に対してそれぞれ第1の用語ベクトルおよび第2の用語ベクトルを定義する手段であって、各用語ベクトルは、そのそれぞれの文書に対して、idf用語の複数の等しい長さのバイナリ表現を含む、手段と、前記第1の用語ベクトルのバイナリ表現の数を前記第2の用語ベクトルのバイナリ表現の数と比較する手段と、前記決定が肯定的であるということに応答して、前記第1の文書および前記第2の文書を重複として識別する手段とを含む、システム。第1の文書および第2の文書が重複コンテンツを含むか否かを識別するコンピュータベースのシステムであって、前記システムは、プロセッサ、メモリ、ユーザインターフェース、前記プロセッサによって実行可能なコードを含み、前記システムは、前記第1の文書および前記第2の文書のそれぞれに関連付けられた時間的値が、互いの一範囲内に存在するか否かを決定し、そして、前記第1の文書および前記第2の文書が、互いに共通の閾値数の選択された特徴を少なくとも有するか否かを決定する手段であって、各特徴は、それに対応する逆文書頻度idf値に基づいて選択される、手段と、前記第1の文書および前記第2の文書に対してそれぞれ第1の用語ベクトルおよび第2の用語ベクトルを定義する手段であって、各用語ベクトルは、そのそれぞれの文書に対して、idf用語の複数の等しい長さのバイナリ表現を含む、手段と、前記第1の用語ベクトルのバイナリ表現の数を前記第2の用語ベクトルのバイナリ表現の数と比較する手段と、前記決定が肯定的であるという決定ことに応答して、前記第1の文書および前記第2の文書を重複として識別する手段とを含む、システム。概要こうした必要性に対処するために、本発明の発明者らは、検索結果内の重複する文書の識別および/またはグループ分けを容易にする、システム、方法、およびソフトウェアを案出した。一例示的システムは、次の3つ主要なコンポーネントを含む:1長さ、時間的、および/またはコンテンツコンポーネントに基づいて文書署名を生成する署名生成モジュール;2文書署名を使用して正確なまたはあいまいな重複する文書を識別する重複検出モジュール;および3検索結果に、どのように重複する文書を表すかをユーザーが制御できるようにする、ユーザーインターフェースまたは表示モジュール。例えば、ユーザーは、検索結果から重複を除外するか、または重複を結果の表示に一緒にグループ化するかどうかを選択することができる。いくつかの実施形態では、識別およびグループ分けは、最終的に、重複する文書を含む検索結果を解釈およびアクセスするユーザーのプロセスを合理化する。例えば、本発明は以下の項目を提供する。項目11つ以上のデータベースと、ネットワークを介した該データベースへのクライアントのアクセスを容易にするための1つ以上のサーバーとを備える情報検索システムであって、各サーバーは、ユーザーのクエリーのサブミッションを容易にし、1つ以上の他の検索結果の文書と重複するコンテンツを含む検索結果の文書の識別に関連するオプションをユーザーが選択しやすくするためのクエリー定義手段と、該検索結果の文書のうちの1つ以上が、1つ以上の他の検索結果の文書内のコンテンツと重複するコンテンツを含むかどうかを判断するための重複判定手段であって、該重複決定手段は、第1および第2の文書それぞれの第1および第2の特徴ベクトルを、該文書のそれぞれから選択された特徴の複数の等長二進表現を含む各特徴ベクトル、および該データベースのうちの1つ以上の逆文書頻度idfテーブル内の該特徴のうちの対応する1つの逐次的な位置に基づく各二進表現と比較するための手段と、該第1および第2の文書が、該第1および第2の特徴ベクトルの比較結果に基づく重複であるかどうかを判定するための手段とを含む、重複判定手段と、該選択されたオプションに基づく検索結果の文書の表示を制御するための手段であって、該結果内の1つ以上の他の文書のコンテンツと重複するコンテンツを含むものとして、該表示された結果のうちの少なくとも1つが示される、文書の表示を制御するための手段とを備える、情報検索システム。項目2前記サーバーは、前記第1および第2の文書それぞれの第1および第2の長さを比較するための手段をさらに備え、該第1および第2の文書それぞれの第1および第2の特徴ベクトルを比較するための手段は、所定の関係を有する該第1および第2の長さにのみ応えて、該特徴ベクトルを比較する、項目1に記載のシステム。項目3各特徴ベクトルは、そのそれぞれの文書から選択された少なくとも30の用語を含み、前記重複判定手段は、前記第1および第2の特徴ベクトル内の用語の少なくとも80パーセントが一致するときに、文書が重複していると判断する、項目1に記載のシステム。項目4前記idfテーブルは、idf値の降順でソートされる、項目1に記載のシステム。項目5各手段は、1つ以上の組の機械可読の命令を含む、項目1に記載のシステム。項目6情報検索システムのオペレーティング方法であって、第1および第2の文書それぞれの第1および第2の特徴ベクトルを、該文書のそれぞれから選択された特徴の複数の二進表現を含む各特徴ベクトル、および逆文書頻度idfテーブル内の該特徴のうちの対応する1つの逐次的な位置に基づく各二進表現と比較するステップと、該第1および第2の特徴ベクトルの比較結果に基づき、該第1および第2の文書が重複であるかどうかを判定するステップとを含む、情報検索システムのオペレーティング方法。項目7ユーザーのクエリーに応えて識別された前記第1および第2の文書それぞれの第1および第2の長さを比較するステップをさらに含み、該第1および第2の文書の比較は、該第1および第2の長さが所定の関係を有することを示す該第1および第2の長さの該比較に応じて生じる、項目6に記載の方法。項目8前記第1および第2の文書とそれぞれ関連する第1および第2の時間的値を比較するステップをさらに含む、項目6に記載の方法。項目9第1および第2の特徴ベクトルの比較は、インターネットを介した前記システムへのクエリーのサブミットに応じてリアルタイムで生じる、項目6に記載の方法。項目10前記第1および第2の文書が重複するかどうかの前記判定は、前記第1の特徴ベクトルが、少なくとも前記第2の特徴ベクトルと同じような特徴の閾値数を有する場合に限り肯定的である、項目7に記載の方法。項目11前記二進表現は、同じ長さのものであり、各特徴は、前記idfテーブル内の対応するidf値の相対的な大きさに基づいて、前記文書のそれぞれから選択される、項目6に記載の方法。項目12前記idfテーブルは、idf値の降順でソートされ、0.8を超えるidf値を有する特徴を除外する、項目11に記載の方法。項目13機械可読のメディアであって、該第1および第2の文書それぞれの第1および第2の特徴ベクトルを、該文書のそれぞれから選択された特徴の複数の等長二進表現を含む各特徴ベクトル、および逆文書頻度idfテーブル内の該特徴のうちの対応する1つの位置に基づく各二進表現と比較し、該第1および第2の特徴ベクトルの比較結果に基づき、該第1および第2の文書が重複であるかどうかを判定するための命令を含む、機械可読のメディア。項目14ユーザーのクエリーに応えて識別された前記第1および第2の文書それぞれの第1および第2の長さを比較するための命令をさらに含み、該第1および第2の文書の比較は、該第1および第2の長さが所定の関係を有することを示す該第1および第2の長さの該比較に応じて生じる、項目13に記載のメディア。項目15前記第1および第2の文書とそれぞれ関連する第1および第2の時間的値を比較するための命令をさらに含む、項目13に記載のメディア。上述の図を参照および組み込んだ記述は、本発明の1つ以上の特定の実施形態を説明するものである。これに限定されないが本発明を例証および教示するだけであるこれらの実施形態は、当業者が本発明を実行または実施できるようにするために十分詳細に図とともに記載される。したがって、必要な箇所で本発明を不明瞭にしないために、説明においては、当業者が公知の特定の情報を省略する場合がある。例示的な定義本記述には、従来技術における用法から、または該記述のコンテキスト内での使用から導出された意味を有する多数の用語が含まれる。しかし、更なる補助として、以下に例示的な定義を示す。文書という用語は、あらゆるアドレス指定可能な配置の、テキストデータのような機械可読のデータのことである。データベースという用語には、文書のあらゆる論理的配置を含む。いくつかの実施形態では、1つ以上のデータベースが、1つ以上の他のデータベースとコンテンツを共有する。重複duplicateという用語は、概して、少なくとも1つの別の文書と同じような実質的な量のコンテンツを有するあらゆる文書のことである。時間的、長さ、および/またはコンテンツ基準は、1つの文書が他と重複するかどうかを判定するために使用する。コンテンツ基準に関して、いくつかの実施形態では、一組の文書のそれぞれにおける一組の最も希有の用語または他の特徴を識別し、それらの文書は、正確な重複として、類似した相対的位置に同じ組の最も希有の用語を有するものとみなす。他の実施形態では、文書のそれぞれにおける一組の最も希有の用語を識別し、それらの文書は、あいまいな重複として、これらの組の最も希有の用語の中のオーバーラップの閾値レベルを超えているものとみなす。例示的な情報検索システム図1は、例示的なオンライン情報検索システム100を示す。システム100は、1つ以上のデータベース110と、1つ以上のサーバー120と、1つ以上のアクセスデバイス130と、を備える。データベース110は、代表的なデータベース112、114、および116を備える。例示的な実施形態では、データベース112は、ニュース記事例えばビジネスや金融情報を含み;データベース114は、科学および技術情報を含み;データベース116は、知的財産情報例えば米国および外国の特許を含む。いくつかの実施形態では、データベースのうちの1つ以上は、金融、科学、またはヘルスケアデータについて構成される。1つ以上の電子的、磁気的、または光学的なデータストレージデバイスの例示的な形態をとるデータベース112、114、および116は、それぞれのインデックス112N、114N、および116Nを含むか、またはこれらに関連付けられる。それぞれのインデックスは、文書のアドレス、識別子、および他の従来の情報に関連する用語およびフレーズを含む。データベース112、114、および116は、サーバー120に接続されるか、またはローカル、プライベート、仮想プライベートネットワークのような無線または有線通信ネットワークを介してサーバー120に接続可能である。サーバー120は、様々な厚さのサービスクライアントに、ウェブページの形態、または関連するアプレット、ActiveXコントロール、リモート起動オブジェクトの形態の他のマークアップ言語のデータを提供するか、または他の関連する、または類似するソフトウェアおよびデータ構造を提供するための、1つ以上のサーバーを概して代表する。より詳しくは、サーバー120は、プロセッサモジュール121と、メモリモジュール122と、検索モジュール123と、加入者データベース124と、署名データベース125と、重複処理モジュール126と、を備える。プロセッサモジュール121は、1つ以上のローカルまたは分散プロセッサ、コントローラ、または仮想マシンを含む。例示的な実施形態では、プロセッサモジュール121は、あらゆる好都合な、または所望の形態をとる。1つ以上の電子的、磁気的、または光学的なデータストレージデバイスの例示的な形態をとるメモリモジュール122は、検索モジュール123と、加入者データベース124と、署名データベース125と、重複処理モジュール126と、を格納する。検索モジュール123は、1つ以上のデータベース110に対するユーザークエリーを受信して処理するための、1つ以上の検索エンジンと、関連するユーザーインターフェースコンポーネントと、を備える。例示的な実施形態では、検索モジュール123に関連付けられた1つ以上の検索エンジンは、ブーリアンまたは自然言語検索機能を提供する。加入者データベース124は、データベース110への都度払いpay-as-you-goまたは加入者ベースのアクセスを制御、管理、および処理するための、加入者関連のデータを含む。例示的な実施形態では、加入者データベース124は、データ構造1241が代表的である、1つ以上の重複プレファレンスduplicatepreferenceデータ構造を含む。データ構造1241は、顧客またはユーザーの識別子部1241Aを含み、この部分は、プレファレンス1241B、1241C、および1241Dのような1つ以上の重複処理プレファレンスに論理的に関連付けられる。プレファレンス1241Bは、選択されたデータベースを検索するときに、重複の検索を有効にするか無効にするかを管理するデフォルト値を含む。プレファレンス1241Cは、例えば印刷中、保存中、またはメール中に、外部に検索結果を出力するときに、重複が含まれているかどうかを管理するデフォルト値を含む。プレファレンス1241Dは、2つ以上の重複する文書の定義および/または検出アルゴリズムの中のどれが、重複の検出中に使用されるのかを管理するデフォルト値を含む。いくつかの実施形態では、例えば一組の重複する文書を最長、最新、または最適のうちのどれで最初にリストするかといった、重複の検出または表示機能の1つ以上の側面を制御するために、更なるプレファレンスが格納される。署名データベース125は、データベース110のうちの1つ以上における各文書のための、代表のデータ構造1251のような、1つ以上の文書署名のデータ構造を含む。例示的な実施形態では、データ構造1251は、1つ以上の長さ関連のフィールド1251B、1つ以上の時間関連のフィールドまたは部分1251C、および/または1つ以上のコンテンツ関連の部分1251Dに論理的に関連付けられた、文書識別子フィールドまたは部分1251Aを含む。本願明細書で使用される場合、時間関連のフィールドとは、時間および/または日付を広義に包含する。これらのフィールドの構造およびコンテンツは、重複処理モジュール126によって定義される。重複処理モジュール126は、署名生成モジュール1261と、重複検出モジュール1262と、重複表示モジュール1263と、を備える。いくつかの実施形態では、ソフトウェアモジュールまたはそのコンポーネントは、複数のサーバーにわたって配信される。署名生成モジュール1261は、逆文書頻度idf;inverse-document-frequencyテーブル1261Aが概して代表する、1つ以上のidfテーブルを備える。例示的な実施形態では、組み合わせた一組の関連する文書コレクションの1/3のサンプリングから選択された用語とともに、約100万の用語を有する二進コード化したidfテーブルを使用する。このテーブルでは、idf用語が、実際のテキスト表現ではなく、対応する序数または製造番号で表すことができるように、各idf用語は、対応する3バイト24ビット表現の序数またはシリアル番号に関連付けられるので、迅速な処理を容易にし、idfテーブルのためのストレージ要件を減じることができる。各idf用語を表すために使用する一定のバイト数は、テーブル内の用語全体の関数である。例示的なidfテーブルは、数値トークン、英数字トークン、例えば.,-\のような特殊文字を有するトークン、および3つ未満の記号を有するトークンを除外する。しかしながら、いくつかの実施形態では、これらのトークンを含めることを選択することが可能である。署名生成、重複検出、および重複表示モジュールとそれらの例示的な動作は、以下で図2を参照して提供される。サーバー120は、アクセスデバイス130のような1つ以上のアクセスデバイスに、通信で接続されるか、またはローカル、プライベート、仮想プライベートネットワークのような無線または有線通信ネットワークを介して接続可能である。アクセスデバイス130は、概して1つ以上のアクセスデバイスを代表する。例示的な実施形態では、アクセスデバイス130は、パーソナルコンピュータ、ワークステーション、携帯情報端末、携帯電話、またはサーバーまたはデータベースとの有効なユーザーインターフェースを提供することが可能な他のデバイスという形態をとる。特に、アクセスデバイス130は、プロセッサモジュール131と、メモリ132と、ディスプレイ133と、キーボード134と、グラフィカルポインタまたはセレクタまたはマウス135と、を備える。プロセッサモジュール131は、1つ以上のプロセッサ、プロセス回路、またはコントローラを備える。例示的な実施形態では、プロセッサモジュール131は、あらゆる好都合な、または所望の形態をとる。メモリ132は、プロセッサモジュール131に接続される。メモリ132は、オペレーティングシステム136、ブラウザ137、および、グラフィカルユーザーインターフェースGUI138のためのコード機械可読の、または機械で実行可能な命令を格納する。例示的な実施形態では、オペレーティングシステム136は、MicrosoftWindows登録商標オペレーティングシステムのバージョンという形態をとり、ブラウザ137は、MicrosoftInternetExplorer登録商標のバージョンという形態をとる。オペレーティングシステム136およびブラウザ137は、キーボード134およびセレクタ135からの入力を受信するだけでなく、ディスプレイ133上へのGUI138の描写のサポートも行う。描写すると、GUI138は、1つ以上の対話型制御機能またはユーザーインターフェース要素に関連してデータを示す。例示的な実施形態では、サーバー120からのアプレットまたは他のプログラムのオブジェクトまたは構造を使用して、インターフェース138の1つ以上の部分を定義する。さらに具体的には、グラフィカルユーザーインターフェース138は、クエリー領域1381および検索結果領域1382のような、1つ以上の表示領域を定義するか、または提供する。クエリー領域1381は、メモリ内に定義され、描写に応じて、クエリー入力領域1381A、クエリーサブミッションボタン1381B、および重複処理選択1381Cのような、1つ以上の対話型制御機能要素または装置を備える。検索結果領域1382はまた、メモリ内にも定義され、描写に応じて、サーバー120を介して1つ以上のデータベース110にアクセスするか、またはこれらから1つ以上の対応する文書を検索するための、機能1382A、1382B、1382C、1382D、1382Eのような、1つ以上の対話型制御機能を備える。各制御機能は、DOCX、DOCY、DOCZ、DOCZ1、およびDOCZ2のようなそれぞれの文書識別子またはラベルを含み、これらは対応する文書を識別して、対応するリンクまたは全ての、または一部のユニフォームリソースロケータURLに関連付けられる。いくつかの実施形態では、同時係属中の米国特許出願第09/237,219号代理人整理番号962.002US1、1999年1月25日出願に示されるようなURLフォーマットを使用しており、上記出願は、参照することにより本願明細書に援用される。制御機能のユーザーの選択は、インターフェース138図示せず内の対応する文書の少なくとも一部を検索して表示する。制御機能1382Dおよび1382Eは、DOCZと重複するものとして、それらの対応する文書DOCZ1およびDOCZ2、制御機能1362Cに対応する文書の状態を示すために、制御機能1382Cに関連してインデントされる。制御特徴1382Cは、2つの重複する文書が存在することを示しているラベル2つの重複を含む。例示的な実施形態では、これらの制御機能のそれぞれは、ハイパーリンクまたは他のブラウザ互換のコマンド入力という形態をとり、クエリー領域1381および検索結果領域へのアクセスおよびそれらの制御を提供する。図1は、クエリー領域1381および結果領域1382が同時に示されたときの状態を示すが、いくつかの実施形態では、それらを別々の時間に示す。例示的なオペレーション方法図2は、システム100のような1つ以上の例示的なシステムのオペレーション方法のフローチャート200を示す。フローチャート200は、本記述における他のブロックと同様に、例示的な実施形態において連続したシーケンスで構成および説明されるブロック210~270を含む。なお、いくつかの実施形態では、複数のプロセッサまたはプロセッサのようなデバイスを使用して、または2つ以上の仮想マシンまたはサブプロセッサとして構成された単一のプロセッサを使用して、2つ以上のブロックを並行して実行する。いくつかの実施形態はまた、類似した結果を得るために、プロセスシーケンスを変更するか、または異なる機能分割を提供する。例えば、いくつかの実施形態では、サーバー側に表示および記述される機能が、クライアント側にその全体または一部が実装され、逆の場合も同じように実装されるように、クライアント-サーバー間の機能の割り当てを変更することが可能である。また、さらに他の実施形態では、モジュール間およびモジュールを介して通信される関連する制御およびデータ信号によって、2つ以上の相互接続されたハードウェアモジュールとして、ブロックを実装する。したがって、図2、およびこの記述内の例示的なプロセスフローを、ソフトウェア、ハードウェア、およびファームウェア実装に適用する。ブロック210で、例示的な方法は、オンライン情報検索システムの1つ以上の検索可能な文書に対するメタデータデジタル署名などの自動生成を開始する。例示的な実施形態では、このブロックは、ニュースのデータベースのような選択された一組のデータベース内の文書のためのバッチプロセスに基づいて進められる。いくつかの実施形態では、プロセスは、文書ごとに、および/またはリアルタイムのクエリー主導の基準で実行される。バッチプロセスは、概して、各文書に対する文書署名のデータ構造の生成および格納を伴う。例示的な実施形態は、概してフローチャート210Aおよび210Bで表される、2つ以上の署名生成プロセスのうちの1つを使用する。リアルタイムで署名を処理することが可能な、いくつかの実施形態では、プロセスの選択がユーザープレファレンスを介して管理される。しかし、他の実施形態では、2つの文書署名を有するそれぞれの文書を提供するために両方のプロセスを使用し、どちらの署名または検出方法を使用するのかを判断するために、検出中にユーザープレファレンスを使用する。いくつかの実施形態では、署名の選択は、管理的決定である。フローチャート210Aは、より正確な重複基準に基づく重複の検出を容易にする署名の生成を示し、フローチャート210Bは、あまり正確でない、またはあいまいなfuzzy基準に基づく重複の検出を容易にする署名の生成を示す。正確な署名の生成より詳しくは、フローチャート210Aは、長さスカラー量およびフィンガープリント例、ハッシュ値を有する署名を得るものであり、プロセスブロック211A~216Aを含む。このプロセスは、1つ以上の文書長の特徴または値の判定を伴う、ブロック211Aから開始する。このために、例示的な実施形態では、長さスカラー量を判定するが、これは新聞紙、タイトル、著者、および他のヘッダー情報を除く、トークン内における文書長として定義される。次に、ブロック212Aでは、文書に対する1つ以上の意味論的または語彙的より一般的には、コンテンツ値の判定および識別、またはランク付けを伴う。例示的な実施形態では、これは、文書タイトル、著者、および他のヘッダー情報またはメタデータを除くに対する、上位X例、6つの一意の最高位の逆文書頻度idf用語を含むように定義される、フィンガープリントfingerprintまたは用語ベクトルの判定を伴う。所与の用語に対するidfは、その用語の文書頻度の相互関係として、すなわち、その用語を含む検討中のコレクションにおける文書数の逆数として定義される。いくつかの実施形態は、次のように定義される正規化IDFを使用する:ここで、nは、所与の用語を含む文書数を示し、Nは、コレクションにおける文書の総数を示し、分子および分母の定数は、スパースデータsparsedataが存在するスケーリングファクタである。特にベクトルの定義では、例示的な実施形態は、文書内のタイトルおよび他のヘッダーにおける用語が、重複する新聞記事において著しく異なる可能性があるので、これらの用語を上位のidf用語としての考慮から除外する。また、これらの用語は誤植やスペルミスのようなテキストの異常である傾向があるので、非常に高いidfを有する用語例えば、0.8以上である用語を上位Xのidf用語から除外する。他の実施形態では、より多いか、またはより少ない数の用語、および/またはより高いか、またはより低いidf除外基準を使用する場合がある。いくつかの実施形態は、いかなるidf除外基準も使用しない場合がある。いくつかの実施形態では、単一の用語または単一の用語を組み合わせたフレーズではなく、単語の組のようなフレーズまたは用語の組み合わせを使用する場合がある。コンテンツの特徴が識別されて、ランク付けされると、ブロック213Aで実行を継続する。ブロック213Aは、文書内のidf用語の相対的位置の判定を伴う。その位置は、絶対的または相対的位置として定義することができる。絶対位置は、文書内の第1のトークンに対する用語の位置である。あるサンプルのベクトルには、次のようなものがあげられる:prevarication[76]、hostage[0]、conspicuous[25]、intransigence[121]、brutality[163]、theater[13]なお、用語はidfの降順でランク付けされて示され、カッコ内の位置は、文書内の第1のトークンに対するトークンで判断される。いくつかの実施形態では、先の最上位にランク付けされたidf用語の位置に対する各idf用語の位置を判断する。そして、重複する文書の緩和した、またはより許容性のある定義を提供する、いくつかの実施形態では、相対的位置のオフセットをbinにラウンドする。例えば、一実施形態では、10で分割したトークン内の文書のサイズによって判定されるbinの数によって、最も近い一連の10のトークンのbinに、対応する上位のidfのそれぞれの位置オフセットをラウンドする。この位置ビニングは、文書が挿入または置換されても、依然として別の異なる文書、または同一の文書の重複であると見なされるような場合を、本実施形態が処理できるようにする際に有効である。次の表は、6つのidf用語の一組のサンプルを示すものであり、文書内における元のまたは絶対的な位置を2列目に示し、相対的位置を3列目に示し、ビニングしたラウンドした相対的位置を4列目に示す。位置のビニングに使用される全てのラウンディングは上位に向かうものであり、差が0で終わるものは、使用されないままのものである例、テーブルのビニングした相対的位置のignobleを参照ことに留意されたい。また、本実施形態では、文書のタイトルおよび付随するヘッダーおよびサブヘッダーのうちのいずれかは、文書内でのオフセットの生成に関与しないすなわち、考慮されないことにも留意されたい。フィンガープリントを定義した後に、実行はブロック214Aに進む。ブロック214Aは、フィンガープリントに基づくハッシュ値または他の一意の値の判定を伴う。特に、例示的な実施形態では、上位のidf用語と位置情報と、irate20flabbergasted30dishonorable30disgraceful10outrageous20ignoble40のような単一の文字列に連結して、ハッシュ値を判定するためのアルゴリズムに基づいて、得られた文字列をハッシュする。例示的な実施形態では、これは、米国標準技術局NationalInstituteofStandardsandTechnologyのSHA1ハッシュアルゴリズムを使用した、20バイトのキーへのベクトルのハッシュを伴う。いくつかの実施形態は、ハッシュ値を判定する他の方法を使用することが可能である。ブロック215Aは、1つ以上の長さの値およびコンテンツに基づくハッシュ値のような判定されたフィンガープリント数に基づく、文書署名すなわち、データ構造の形成または定義を伴う。例示的な実施形態では、これは、例えば文書識別子またはポインタを使用して、対応する文書に論理的に関連付けられたデータ構造への、スカラー長の値およびフィンガープリント数の統合を伴う。ブロック216Aは、メモリデバイスへの文書署名のデータ構造の格納を伴う。このために、例示的な実施形態は、図1の文書署名データベース125のようなインデックスまたはメタデータのデータベースに、データ構造を格納する。あいまいな署名生成フローチャート210Bは、文書の時間的、長さ、およびコンテンツコンポーネントに基づく、文書署名のデータ構造または特性特徴の組の生成を示すものであり、プロセスブロック211B~215Bを含む。特に、ブロック211Bは、1つ以上の時間的コンポーネントまたは文書に対する値の判定を伴う。例示的な実施形態では、この判定は、文書の日付欄からの刊行日またはタイムスタンプの抽出と、1950年1月1日のような基準日に対する時間、日付、週、または月の数を表す単純な整数への日付またはタイムスタンプの変換と、を伴う。他の文書では、文書の最初または最後の発生日、または最初または最後の発生日の一部のような、文書に関連するか、またはこれに含まれる他の日付を使用することが可能である。例えば、いくつかの実施形態では、時間的コンポーネントに対する基準として、文書の最初の発生年を抽出して使用することが可能である。さらに他の実施形態では、文書内の複数の日付例えば、2つ以上の日付を平均または統合したものに基づく時間的コンポーネントを判定することが可能である。ブロック212Bで実行を継続する。ブロック212Bでは、文書に対する1つ以上の長さのコンポーネントまたは値を判定する。例示的な実施形態では、長さの値は、文書の長さに基づくものであり、文書に関連する所定の単語カウントから文書長のインジケータを抽出することによって判定される。なお、他の実施形態では、単語カウントを単独で判定して、これを長さの値として使用する。実行は、ブロック213Bへ進む。ブロック213Bは、文書に対する1つ以上のコンテンツの値または特徴の判定を伴う。例示的な実施形態では、これは、文書に対する1つ以上の語彙的な特徴の識別と、フィンガープリントまたは用語ベクトルの形成と、を伴う。フィンガープリントは、概して文書タイトル、著者、および他のヘッダー情報またはメタデータを除くに対する、上位Y例、60の最高位のidfを含む。さらに具体的には、例示的な実施形態は、文書を用語にトークン化および解析して、それらが関連するidfによってこれらの用語をソートする。idfテーブルに存在しないあらゆる用語、およびストップワードのリストに含まれるあらゆる用語は、用語または特徴ベクトルから除外される。文書のidf用語yの数が10未満の場合、文書に対する署名は作成されない。しかし、yが10からY-1の間である場合は、例示的な実施形態では、Yの用語を確実に含めるために、更なる用語を用語ベクトルに埋め込む。例示的な埋め込みは、次のように進められる。文書に対するidf用語の数yが30から59の間である場合は、例示的な実施形態では、pad1、pad2、pad3、、padnn=Y-yのようなベクトルに、最大で30の異なる英数字の用語を加えることによって埋め込む。yが10から29の間である場合は、例示的な実施形態では、nの所定の非idf用語とmのランダムに選択したynm=Yのような非idf用語とを組み合わせたものを用語ベクトルに埋め込む。いくつかの実施形態では、nの所定の非idfテーブル化した用語は、共通のテキスト部分と配列された数字部分とを有する、上述のpad1、pad2、、padnのような英数字の用語である。いくつかの実施形態では、ランダムに生成された非idfテーブル化した用語mは、既存のidf用語と一致しない用語を表す、英数字の用語R1、R2、Rmである。次の表は、例示的な実施形態で使用する埋め込みスキームを示す。次に、ブロック214Bは、用語ベクトルを符合化する。このために、例示的な実施形態では、ランク付けされたidfテーブル内の用語の位置に基づく符号化によって、各用語を別々に符号化する。特に、例示的な実施形態では、idfテーブル約100万のエントリを含む内のトークンに対応させるだけでなく、例示的な実施形態においてidfテーブル内の用語のランクも示す、一意の3バイト24ビットの製造番号またはインデックスとして、各用語のベクトルトークンを符号化する。例示的な実施形態では、不一致カウントを迅速化して計算時間を短縮するために、idf値の最高から最低へのベクトルで用語を構成する。用語ベクトルを符合化した後に、実行はブロック215Bに進む。ブロック215Bは、文書署名のデータ構造のメモリデバイスへの格納を伴う。このために、例示的な実施形態では、署名データベース125図1のようなメタデータのデータベースに署名を格納する。いくつかの実施形態では、文書に文書署名データを添付する。いくつかの実施形態では、コレクション統計のメンテナンスおよびidfテーブルの更新の環境を付与する。例えば、フローチャート210Aおよび/または210Bに基づく署名を作成する一実施形態では、所与のコレクションまたはデータベースにおける文書の追加、削除、または修正とともに一般に生じる、idfテーブルの更新に対するこれらの文書署名の検出感度を認識する。この実施形態は、idfテーブルの更新日付近例えば、更新日を中心に1乃至2ヶ月の範囲に発行された文書に、一組の署名を提供する。ある署名更新前の署名は、更新前のidfテーブルに基づき、別の署名更新後の署名は、更新後のidfテーブルに基づく。使用時には、例えばブロック250で、2つの署名のうちの少なくとも1つが、別の文書に対する少なくとも1つの署名と一致した場合に、2つの文書が重複していると見なされる。図3は、文書署名300が、そのコンテンツコンポーネント310を介してどのようにidfテーブル340に関連付けられるのかを示すものである。特に、文書署名300は、長さのコンポーネント310と、時間的コンポーネント320と、コンテンツコンポーネント330と、を含む。コンテンツコンポーネント330は、用語T0~T59を含む60の用語のベクトル330’の例示的な形態をとる。図3に示されるように、1つ以上の用語例、全ての用語は、100万の用語および対応するidf値を有する、idfテーブル340内の用語にマッピングされる。フローチャート210Aおよび210Bに示される方法のうちの1つまたは両方に基づく、選択されたデータベースの全ての文書に対する文書署名を生成および格納した後で、例示的な実行は、最終的にブロック220へ進む。ブロック220は、ユーザーへの検索インターフェースの表示を伴う。例示的な実施形態では、これは、Westlawシステムのような情報検索システムに対するインターネットプロトコルIPアドレスへのクライアントアクセスデバイスにおけるユーザーのブラウザへの命令と、システムへのロギングと、を伴う。図1のインターフェース138または図4のインターフェース300またはその1つ以上の部分のような、ウェブベースのインターフェースにおけるログインの成功によって、サーバー120からの出力、メモリ132への格納、およびクライアントアクセスデバイス130による表示が行われる。図4に示されるように、インターフェース400は、クエリー入力領域410と、クエリーフィールド規制領域420と、重複命令領域430と、およびクエリーサブミットコマンド440と、を含む複数の対話型制御機能を備える。クエリー入力領域410は、クエリーを定義するテキスト入力を受信する。クエリーターゲティング領域420によって、ユーザーは、フィールド分けされたデータベースにおいて、文書、見出し、および主要なパラグラフの特定のサブセクションへのクエリーのターゲットを定めることができるようになる。他の実施形態では、1つ以上の他の選択可能なサブセクションを有することが可能である。重複命令領域430によって、ユーザーは特に、定義されたクエリーに対する検索結果内の重複する文書の識別を可能にすることができる。この命令領域の初期の状態は、データベース124のような加入者データベース内に格納された、デフォルトのユーザープレファレンス値によって判定される。例示的な実施形態では、命令領域の状態の変更により、現在のクエリーに対する命令が変更されるが、より高い制御レベルで変化されない限りデフォルトのプレファレンス値は影響を受けない。インターフェース138または400を使用することによって、ユーザーは、クエリーを定義またはサブミットして、それをサーバー120のようなサーバーに出力させることができる。他の実施形態では、クエリーは、スケジュールまたはイベント主導基準で自動的に実行するように、ユーザーによって定義または選択されている場合がある。これらの場合、クエリーは、サービスのクリッピングに対して行われるように情報検索システムのためのサーバーのメモリ内にすでに存在している場合があるので、サーバーに繰り返し通信する必要はない。実行は、次いでブロック230図2へ進む。ブロック230は、クエリーの受信を伴う。例示的な実施形態では、クエリーは、クエリー文字列および/または選択されたデータベースのうちの1つ以上を含む一組のターゲットデータベースを含む。いくつかの実施形態では、クエリー文字列は、一組の用語および/またはコネクタを含み、他の実施形態では、自然言語文字列を含む。また、いくつかの実施形態では、一組のターゲットデータベースは、自動的に定義されるか、またはシステムまたは検索インターフェースの形態に基づくデフォルトによって定義される。さらにいくつかの実施形態では、受信したクエリーは、上述のように重複する文書を確認すべきかどうかを定義する情報のような、他の情報を伴うことが可能である。いずれにせよ、実行は、ブロック240で継続される。ブロック240は、受信したクエリーに基づくか、またはこれに応じた、一組の文書または検索結果の識別を伴う。例示的な実施形態では、これは、サーバー、またはサーバーもしくはコマンドの制御下にあるコンポーネントの、ターゲットにした組のデータベースに対するクエリーの実行と、クエリー基準を満たす文書の識別と、を伴う。実行は、ブロック250へ進む。ブロック250は、検索結果における複数組の重複する文書の識別を伴う。いくつかの実施形態では、重複識別ブロックの実行は、重複する文書を識別するがどうかを指定する、デフォルトまたは選択されたユーザーオプションに依存する。いくつかの実施形態によって、ユーザーまたは管理者は、2つ以上の重複検出技術またはアルゴリズムのうちのいずれを使用するのかを選択できるようになる。例示的な実施形態では、重複識別は、概して、1つ以上の文書署名の1つ以上の側面と、他の文書署名の対応する側面との比較と、重複する文書を構成する正確なまたはあいまいな正確でない基準に基づく文書の重複であるかどうかの判定と、を伴う。さらに具体的には、例示的な実施形態は、正確な、またはより正確な検出アルゴリズムのためのプロセスブロック251A~254Aを含む、フローチャート250Aに示される方法に従うか、または、あいまいな検出アルゴリズムのためのプロセスブロック251B~255Bを含む、フローチャート250Bに示される方法に従う。上述のどちらのタイプの署名も使用するいくつかの実施形態では、両方の対応する方法を使用する。正確な重複検出フローチャート250Aでは、例示的な方法はブロック251Aでから開始するが、比較のための検索結果の2つ以上の文書の選択を伴う。例示的な実施形態では、これは、各文書の文書識別子に基づく検索結果における各文書に対する文書署名のデータ構造の検索と、リアルタイムの重複検出または比較のための複数の文書の組の定義と、を伴う。文書の組の定義は、一次的文書の選択と、検索結果内の他の文書のそれぞれとの一次的文書の対合または、より正確には、その文書署名と、を伴い、次いで第二の一次的文書の選択と、まだ対合されていない全ての他の文書との第二の一次的文書の対合と、を伴う。同様に、各文書は、一次的文書として選択することができ、まだ対合されていない全ての他の文書と対合することができ、最終的に、比較のための完全な組の一意の文書の対合を定義する。いくつかの実施形態では、一次的文書は、検索結果内のそれらの関連性の順位の順に選択される。また、いくつかの実施形態では、特定の関連性の閾値を超えている文書か、または特定の最小順位を有する文書への重複検出プロセスの適用を制限する。実行は、次いでブロック252Aへ進む。ブロック252Aは、比較のために選択された一組の文書に対する長さ基準を満たしているかどうかの判定を伴う。例示的な実施形態では、これは、選択された対の文書署名のデータ構造の長さのスカラー量が、±40トークン、または互いの±10のような、所定の範囲内にあるかどうかの判定を伴う。固定または相対的な範囲によって、例えばDateline:Amsterdamのようなヘッダーのデータに近い、潜在的な差異を可能にさせる。長さ基準または条件を満たしていないという判定であった場合、実行は、比較のための別の組の文書の選択のために、ブロック251Aに戻る。しかし、長さ基準を満たした場合、実行は、ブロック253Aへ進む。ブロック253Aは、選択された文書のコンテンツ基準を満たしているかどうかを判定する。例示的な実施形態では、これは、選択された文書の文書フィンガープリントの互いに対する比較を伴う。2つのフィンガープリントが同一でない場合、実行は、比較のための別の組の文書の選択のために、ブロック251Aに戻る。フィンガープリントが同一である場合、実行は、ブロック254Aに進む。ブロック254Aは、選択された文書の互いに重複するものとしてのマーキングを伴う。例示的な実施形態では、このマーキングは、重複組のバッファにおいて重複するとみなされる文書の文書識別子の格納を伴う。他の実施形態では、マーキングは、特別な重複文書クエリーに再利用することが可能な、主たる重複する文書のデータベースか、または選択された文書に対するそれぞれの文書署名のデータ構造への、選択された文書に対する文書識別子の追加を含む。実行は、比較のための次の組の文書の選択のために、ブロック251Aに戻る。例示的な実施形態では、ブロック251Aは、全ての選択された組の文書が処理された後に、比較プロセスを終了させるためのロジックを含む。あいまいな重複検出フローチャート250Bは、代わりの検出プロセスを示し、概して検索結果において識別された文書に対する署名のデータ構造のリアルタイムのマルチレベル処理を伴う。いくつかの実施形態は、ユーザークエリーに応えてではなく、その前に重複の検出を行うことが可能である。フローチャート250Bは、プロセスブロック251B~255Bを含む。ブロック251Bで、プロセスは、検索結果において識別された文書に対する少なくとも2つの文書署名のデータ構造の検索に続いて生じる。例示的な実施形態では、これは、ブロック251Aに対して説明したものと同じ様式で、検索結果内の各文書に対する図1に示される署名データベース125からの、署名のデータ構造の検索を伴う。署名を検索すると、文書署名に対応する文書が重複しているかどうかの判断に使用するために、一組の2つ以上の文書署名が選択される。実行は、次いでブロック252Bで継続する。ブロック252Bは、2つ以上の文書署名に関連付けられたコンポーネントに対する時間的基準が、互いの特定の時間の範囲内にあるかどうかを判定する。例示的な実施形態では、これは、選択された文書署名の時間的コンポーネントが互いに30日以内であるかどうかの判定を伴う。いくつかの実施形態では、より小さいか、またはより大きな時間的ウィンドウを使用する。否定的な判定によって、文書は非重複とみなされ、実行は、ブロック251Bに戻り、比較のための別の一組の文書署名を獲得するが、一方で、肯定的な判定であれば、実行をブロック253Bに進める。ブロック253Bでは、1つ以上の対応する文書に対する署名のデータ構造の長さのコンポーネントが互いのある範囲内にあるかどうかを判定する。例示的な実施形態では、これは、長さのコンポーネントが互いの±20内にあるかどうかのリアルタイムでの判定を伴う。長さの判定が否定的である場合、文書は非重複とみなされ、実行は、比較のための別の一組の文書署名を選択するためにブロック251Bに戻る。なお、判定が肯定的な場合は、文書長が十分に近いことを示しており、実行は、ブロック254Bで継続する。ブロック254Bは、一組の文書署名が、重複する文書のフィンガープリントまたはコンテンツ基準を満たすかどうかの判定を伴う。例示的な実施形態では、これは、一方の文書の用語ベクトル内の用語の少なくとも80が他方の文書の用語ベクトルに含まれているかどうかの判定を伴う。いくつかの実施形態では、別の閾値例えば60、65、70、75、80、85、90、または95を使用することが可能である。他の実施形態では、文書またはデータベースのタイプによって変化する動的な閾値を使用することが可能である。実際にいくつかの実施形態によって、ユーザーは、閾値を選択することができるようになる。より詳しくは、コンテンツ基準を満たしているかどうかの判定では、例示的な実施形態は、リアルタイムで用語ごとの比較を行い、用語が不一致であれば不一致カウンタを増加させ、また用語が一致すれば一致カウンタを増加させる。用語ごとの比較は、不一致カウンタが非重複閾値例、12を超えたときに終了し、例えば、20を超える用語が一致しなかったためにコンテンツ基準を満たすことができないことを示す。別様には、用語ごとの比較は、一致カウンタが重複閾値例、49を満たしたときに終了させることができ、80を超える用語が一致したことを示す。いずれにしても、コンテンツ基準が満たされなかった場合、実行は、ブロック251Bに戻る。また、コンテンツ基準を満たした場合、実行は、ブロック255Bへ進む。ブロック255Bは、複数組の文書内の文書を重複するものとしてマーキングすることを伴う。例示的な実施形態では、このマーキングは、重複組のバッファにおいて重複するとみなされる文書の文書識別子の格納を伴う。検索結果内で重複を識別した後に、実行は、ブロック260へ進む。ブロック260は、ユーザーへの検索結果の表示を伴う。例示的な実施形態では、これは、図1のクライアントアクセスデバイス130のようなクライアントアクセスデバイスへの、ランク付けしたリストの形態での検索結果の出力を伴う。特に、例示的な実施形態は、インターフェース138特に図1の領域1382によって、または図5のインターフェース500によって例示されるように、グラフィカルユーザーインターフェースのコンテキスト内にそのリストを提供する。インターフェース500は、選択可能な文書の引用文またはハイパーリンクの結果リスト510を示し、また結果リスト510内の少なくとも1つの文書のテキストを表示するためのウィンドウ520を示す。結果リスト510は、1つ以上の組の、またはグループ分けした重複する文書の識別子を含み、その代表が重複組512である。例示的な実施形態では、結果リスト510内の重複組512の位置は、新しい順、関連性の順位、またはその組の中か、またはその組に関連する最高位のスコアに基づいて判定される。例えば、元の組が、重複する文書3および5ランク付けした順序でを含み、文書5が、一次的文書である場合、重複組全体が引用文リストの順位3の位置に表示される。重複組512は、一次的文書識別子5121と、重複カウントインジケータ5122と、重複識別子5123と、を含む。一次的文書識別子5121は、一次的文書を識別し、例示的な実施形態では、重複組における最も長い文書であると定義される。2つ以上の重複する文書が同じ長さすなわち、同じ単語カウントを有するである場合は、より最近の文書が一次的文書としてリストされる。いくつかの実施形態では、一次的文書識別子は、最適なスコアであるか、または最新の出版日である文書に対応する。重複カウントインジケータ5122は、一次的文書のコンテンツと重複するとみなされる、すなわち、一次的文書のコンテンツで重複であるコンテンツの実質的な量を含むとみなされる、検索結果内の文書数を示す。ここに示される例では、一次的文書は、結果リスト内に1つの重複があるように表示されている。重複リスト5123は、文書の引用文または識別子5123Aのような1つ以上の選択可能な文書の引用文または識別子をリストし、それぞれが、検索クエリーに関連するとみなされ、一次的文書内のコンテンツと重複する実質的な量のコンテンツを含むと考えられる文書または文書のURLに関連付けられる。例示的な実施形態では、本願明細書に示される技術および原理に従って判定されるが、他の実施形態では、別の技術および/または原理を使用することが可能である。重複リストでは、複数の重複をリストする順序は、長さ、発行日、文書の関連性、またはアクセスの頻度によって決定することができる。いくつかの実施形態では、これらのリンクのラベルは、文書、発行、および単語カウントの日付を含む。結果リスト内の重複リストを示すのではなく、いくつかの実施形態では、一次的文書の識別子に関連する、重複フォルダのようなコンテナアイコンを表示する。重複フォルダは、書誌情報とともに、重複する文書または対応するURLのリストを表示するために、選択されたときにウィンドウを開く、ユーザーが選択可能なアイコンである。実行は、ブロック260での検索結果の表示からブロック270に進み、検索結果から1つ以上の選択された文書の出力を伴う。例示的な実施形態では、この出力は、ユーザーの選択に応じて、アクセスデバイス130のようなクライアントアクセスデバイスに関連付けられたメモリへの、1つ以上の識別された文書の印刷、電子メール送信、または保存を伴う。ユーザーによるこの出力の制御または命令を容易にするために、例示的な実施形態では、図1のインターフェース138を介して組み込まれてアクセス可能となる、図6のインターフェース600のようなグラフィカルユーザーインターフェースをユーザーに示す。インターフェース600は、出力先領域610と、範囲定義領域620と、コンテンツ定義領域630と、リクエストサブミッション領域640と、を備える。出力先領域610によって、ユーザーは、検索結果の1つ以上の部分に対するプリンタ、電子メール、またはメモリの宛先を指定できるようになる。サンプルの電子メールメッセージは、図7および関係テキストを参照。範囲定義領域620によって、ユーザーは、領域610内で識別される宛先に出力すべき検索結果内の文書を識別できるようになる。コンテンツ定義領域630は、とりわけ重複出力制御ユニット機能631を備え、ユーザーは、出力のために範囲定義領域620内で選択される文書の特定の部分を識別できるようになる。この機能によって、ユーザーは、出力の一部として識別された文書の重複である文書を含んでいるかどうかを示して制御できるようになる。ユーザーが、図1の加入者データベース124内のプレファレンス設定1241Dのような、自身の対応するプレファレンスを変更していなかった場合、デフォルトでは出力から重複する文書を除外するが、これは、重複出力制御領域が最初に、出力から重複が除外されることを示すことを意味するものである。例示的な実施形態では、重複を含める機能の選択または起動によって、選択された文書または引用文のオプションを除く、範囲定義領域内の全てのオプションに対して重複する文書の出力を生じさせるだけでなく、インターフェース600内の表示にも影響を及ぼす。領域620内の全ての文書範囲のオプションは、検索結果の組全体からあらゆる重複を差し引いた一組の一次的文書とともに、検索結果内の一次的文書の数を示すラベルを含む。検索結果が合計30の文書を含む場合、文書1、5、および7は重複しており、領域620内の全ての文書のオプションの隣のラベルは、通常28の文書と示すことになる。しかし、ユーザーが重複を含める機能を手動またはデフォルトで実行している場合は、一次的および重複する文書を示す、すなわち例に従えば30の文書と示すことになる。図7は、とりわけ重複する文書を識別する結果リストを含む、例示的なHTMLフォーマットの電子メッセージ700を示す。特に、繰り返し、定期的、またはイベント手動の実行のために定義されたクエリーの自動実行に応えて送信することもできる、メッセージ700は、ヘッダー710と、クエリー領域720と、結果リスト領域730と、を含む。ヘッダー710は、From、Sent、To、Subjectの領域を含み、それぞれ送信者、送信日時、受信者、および電子メールの主題を識別する。クエリー領域720は、データベース識別フィールド722と、クエリーフィールド724と、を含む。データベース識別フィールド722は、検索されたデータベースを識別し、クエリーフィールド724は、クエリーのテキストをリストする。例示的な実施形態では、特定のクエリーは、ブーリアンまたは自然言語クエリーという形態をとる。結果リスト領域730は、識別子732および734のような1つ以上の文書の引用文またはハイパーリンクを含み、これらは対応する文書の全て、または一部の検索および表示を起動するために選択することができる。いくつかの実施形態では、ハイパーリンクのうちの1つを選択することよって、ブラウザウィンドウ内の対応する文書の検索が直ちに行われる。他の実施形態では、その選択によってブラウザウィンドウ内にログイン画面が表示され、ユーザーに、文書を識別する前に、適切なログインデータおよび/またはクライアントマター識別データを入力するように促す。関連付けられた文書識別子732は、一組の1つ以上の選択可能な重複文書の識別子またはリンク7322である。例示的な実施形態では、これらのリンクのラベルは、それぞれの発行日および単語カウントを含む。例示的なオプション制御インターフェース図8は、図1のインターフェース138の一部として機能し、ユーザーが、重複の処理および/または表現に関連するもののような、加入者データベース123内のプレファレンスに対する値を設定できるようにする、オプション制御インターフェース800を示す。例示的な実施形態では、インターフェース800は、識別重複制御機能810と、重複包含または除外制御機能820と、一次的重複選択機能830と、保存コマンド機能840と、を備える。識別重複制御機能810本実施形態ではチェックボックスによって、ユーザーは、適格な検索結果に重複処理を行うかどうかに対するデフォルトを設定することができるようになる。重複包含または除外制御機能820は、制御機能821および822を備える。本実施形態では、機能821および822は、ラジオボタンの形態をとり、それぞれによって、ユーザーは、重複が表示された結果リストに含めるか、または表示された結果リストから除外するかを選択できるようになる。一次的重複選択機能830は、機能831および832を備え、これもラジオボタンの形態をとり、これらによって、ユーザーは、一組の重複する文書のどちらの文書を結果リストの一次的文書として表示させるかを指定できるようになる。本実施形態では、ユーザーは、一次的文書として、最長の文書か、最新または最適な文書を有するように選択することができる。重複が検索結果から除外されることになっている場合、このオプションは、一組の重複のうちのどちらの文書を結果リストに表示するかを管理する。また、文書をリストに含めるようになっている場合、このオプションは、どちらの文書を最初にリストに表示するかを管理する。保存コマンド機能840によって、ユーザーは、現在の検索セッションの途中および今後の検索セッションにおける使用のために、制御機能810、820、830を介して、加入者データベース124に対する変更内容の保存を行うことができる。時間的および長さbinの使用いくつかの実施形態は、複数組またはbinの潜在的に重複する文書を定義することによって、ブロック252Bおよび253B図2の時間的比較と長さの比較とを統合する。例えば、いくつかの実施形態は、署名データベース124からフローチャート210Bで定義されたような、一組の対応する署名データ構造を検索して、それらのそれぞれの時間的コンポーネントに基づいて、新しい順にソートする。この時間的ソートの後、これらの実施形態は、固定した時間的ウィンドウをソートされた文書リストの下方に移動させることによって、1つ以上の時間的組またはbinを定義する。第1の時間的binは、第1のソートされた文書、および第1のソートされた文書の期間例、30日内の時間的値temporalvalueを有する全ての文書を含む。第2の時間的binは、第2のソートされた文書、および第2のソートされた文書の30日以内の時間的値を有する全ての文書を含む。更なるbinは同じように定義され、ソートされた文書のリストを下に移動させる。いくつかの実施形態は、相互排他的な組またはbinの文書を定義する。これらの時間的組またはbinが定義されると、これらの実施形態は、定義された時間的bin内の1つ以上の長さベースのbinまたは1つ以上の組の署名を定義する。これは、時間的binの対応する署名における長さのコンポーネントの降順で、時間的binのそれぞれの署名をソートし、1つ以上の長さbinまたは組を定義するために、ソートしたリストの下方に長さウィンドウを移動させることを伴う。第1の時間的bin内の第1の長さbinは、その長さbin内の長さをランク付けしたリストすなわち、時間的bin内の最も長い文書における第1の署名と、最も長い文書の長さの20を超えない第1の時間的bin内の全ての文書と、を含む。すなわち、以降の署名のそれぞれは、第1の長さbinにおける互いの署名の長さ値の少なくとも80を有する。第2の長さbinは、第1の時間的binにおける第2の最も長い文書と、その長さの20を超えない全ての文書と、を含む。以降の長さbinは、各時間的binにおける全ても文書が長さbinに割り当てられるまで、同じように定義される。したがって、2つの文書は、それらの時間的特長例、発行日が同じ30日の期間内であり、それらの文書のうちの短いほうが、長い方の文書の80を超えていなければ、同じ長さbinのメンバーである。さらに、第1の時間的bin、および他の時間的binに対する長さbinが、同じように定義される。このビニングを示すために、図9は、ダイアグラム900を示す。ダイアグラム900は、文書識別子または文書署名D1~D20を時間的に逆ソートしたリスト910を含み、これは、3つの時間的bin、すなわちTB1、TB2、およびTB3として構成され、互いに30日以内に発行された一組の文書を識別するか、またはこれに対応する各binを有する。時間的binTB1は、文書識別子または文書署名D1~D7を含む。コンテンツの文書署名の長さのコンポーネントに基づいて時間的binTB1のコンテンツをソートすることによって、長さをソートしたリスト920が得られる。リスト920は、2つの長さbinLB1およびLB2として構成して示され、bin内の最も長い文書の長さの20を超えない一組の文書を識別するか、またはこれに対応する各binを有する。各時間的binに対するすべての時間的binが定義されると、各長さbinにおける全ての一意の対の文書が、ブロック254B図2に対して概説したコンテンツ比較プロセスに従って比較される。いくつかの実施形態は、長さbinの実際の定義を省略し、その代わりに、各文書の長さを現在の時間的binにおける互いの文書と比較し、互いに±20以内の長さを有するそれらの対の文書に対してのみコンテンツの比較を行う。実質的に、これらの実施形態は、仮想的な様式で長さbinを定義する。結び技術促進のために、本発明は、情報検索システムの文書コレクション内の重複する文書の存在に、文書検索システムがどのように効果的に対処するかという必要性を認識しただけでなく、ユーザープレファレンスに基づいて、検索結果における重複する文書の識別および/またはグループ分けを容易にする、システム、方法、およびソフトウェアも本願明細書に示された。この識別およびグループ分けは、最終的に、ユーザーの重複する文書を含む検索結果へのアクセスおよびその検討を合理化する。上述の実施形態は、本発明の1つ以上の構成および使用方法を例証して教示することだけを意図したものであり、その領域および範囲を制限するものではない。本発明の教示を実施または実行する全ての方法を包含する、本発明の実際の範囲は、1つ以上の特許となる請求の範囲およびそれらの均等物よってのみ定義される。"