(57)【要約】データ・ネットワーク内のアクセス・ポイントおけるトラフィック・コンテンツにおいて、サーチ、およびアラート能力を提供する方法を開示する。インターネット、イントラネット、およびワイヤレス・トラフィック用の標準的なアクセス・ポイントを開示する。インターネット・サービス・プロバイダを介するトラフィックの流れを好適実施形態として使用し、データ・トラフィックを、本発明における入力ソースとして具現する。本発明は、適切なプライバシ、およびコンテンツ・フィルタが、トラフィック・ソースに適用可能であることを教示する。トラフィックの流れからろ過されたデータ・ストリームを使用して現行のサーチ、およびアラート・サービスの質を高めることが可能である。また本発明は、キャッシュを発展、最適化し、トラフィックの流れの中で取り込んだ新規のサーチ可能情報を保持することが可能であることを教示する。さらに、前述のキャッシュは、サーチ可能なインデックスに変換し、別個に、または外部のサーチ・インデックスと協働して、改善されたサーチ・サービスの基盤として使用することが可能であることを開示する。また、本発明は、トラフィックの流れを分析して、追加情報を引き出し、文書関連性、文書間のアクセス類似度、サーチ結果の個人用ランク付け、および文書アクセスの地域差を測定することが可能であることを開示する。
2004509415.tif 000002
【特許請求の範囲】
【請求項１】
データ・ネットワーク内のアクセス・ポイントにおいてトラフィック・コンテンツを検索し、分析する方法において、該ネット・ワークは共有ネットワーク・リソース、特に完全なインターネットまたはイントラネットであり、前記アクセス・ポイントは、特にインターネット・サービス・プロバイダによって提供されるか、または複数のユーザに対するアプリケーション形態で分布されるユーザ用のインターネット・アクセス・ポイント、あるいは無線機・ユーザ用の接続ポイントであり、該接続ポイントは、ネイティブ接続ポイント、または複数の接続ポイント用のインターネット・ゲートウエイであり、前記方法は、前記データ・ネットワーク内の前記アクセス・ポイントにおいて情報の流れから抽出したデータの形態の情報を収集するステップと、前記収集した情報を所定の最大の時間遅延でインデックスするステップと、前記インデックスした情報から情報を検索、取り込むステップとからなることを特徴とし、さらにアクセス・ポイントにおけるトラフィック・コンテンツの分析に基づいて、文書形態で収集した情報を位置符号化し、文書の類似度を測定し、さらに新たな且つ更新した情報に関しユーザにアラートする更なる任意のステップを特徴とする方法。
【請求項２】
請求項１記載の方法であって、１つ以上のアクセス・ポイントに備えられた１つ以上のキャッシュ手段におけるキャッシングによって収集された情報を格納することを特徴とする方法。
【請求項３】
請求項２記載の方法であって、増加する時間間隔集合の収集した情報を２つ以上のキャッシュ手段においてキャッシュし、前記キャッシュした情報を、前記キャッシュ手段の各々において繰り返しインデックスして対応するサーチ・インデックスを増加する時間間隔集合のために生成し、さらに当該生成したサーチ・インデックスからのサーチ結果を結合することを特徴とする方法。
【請求項４】
請求項２記載の方法であって、前記キャッシュした情報をそのコンテンツがインデックスされる迄キャッシュ手段に保持することを特徴とする方法。
【請求項５】
請求項４記載の方法であって、キャッシュした情報の新しさを、所与のトラフィック・コンテンツ・ユニットの最後の更新以来の経過時間に基づいて算出することを特徴とする方法。
【請求項６】
請求項２記載の方法であって、トラフィック・コンテンツをそれぞれキャッシュして外部の帯域幅要求を極力小さくし、新規の、関連のある情報を保持してインデックッスするサブステップを含んだ、情報を収集するステップを特徴とする方法。
【請求項７】
請求項６記載の方法であって、双方の点における前記トラフィック・コンテンツを、２つの専用キャッシュにおいてそれぞれキャッシュすることを特徴とする方法。
【請求項８】
請求項２記載の方法において、前記キャッシュした情報を、所定の最大時間遅延で反復処理し、前記収集した情報をインデックスし、更にそのインデックスを生成することを特徴とする方法。
【請求項９】
請求項８記載の方法であって、アクセス・ポイントにおいて以前確認されていない新しい情報、または更新された情報を検出し、該新しい、または更新された情報を、前記サーチ・インデックスに加えることによって前記インデックスを増分更新することを特徴とする方法。
【請求項１０】
請求項８記載の方法であって、前記キャッシュした情報の上での２つのインデックス動作の間に確認されたトラフィク・コンテンツを使用して、前記キャッシュした情報に関して行った最後のインデックス動作以来の新しいトラフィック・コンテンツで時間サーチ・インデックスを生成し、該時間サーチ・インデックスと、前記キャッシュした情報をインデックスすることによって生成された最も最近のサーチ・インデックスとの双方におけるサーチを結合することによってサーチを実行することを特徴とする方法。
【請求項１１】
請求項１記載の方法であって、前記収集した情報の前記インデクシングを、感応性フィルタによって廃棄されなかったトラフィック・コンテンツの部分集合に限定し、前記感応性フィルタは、ポルノ題材、秘密題材、所定の少数のユーザによってアクセスされただけの特に秘密な題材、およびｈｔｔｐＰＯＳＴ動作からの題材の中の１つ以上を検出するように構成されていることを特徴とする方法。
【請求項１２】
請求項１記載の方法であって、トラフィック・コンテンツ・ユニットの記録された時間属性に応じて関連性ランク付け、またはデータろ過を行うサブステップを含むサーチ・ステップによって特徴付けられ、前記記録された時間属性は、前記トラフィック・コンテンツ・ユニットを作成した時、前記トラフィック・コンテンツ・ユニットが変更された最後の時、所与のトラフィック・コンテンツ・ユニットがアクセス・ポイントにおいて最初に観察された時、および前記所与のトラフィック・コンテンツ・ユニットが前記アクセス・ポイントにおいて最後に観察された時の１つ以上である方法。
【請求項１３】
請求項１記載の方法であって、アクセス・ポイントを介した個々のトラフィック・コンテンツ・ユニットのアクセス集計に応じて関連性をランク付けるサブステップを含んだサーチ・ステップを特徴とする方法。
【請求項１４】
請求項１記載の方法において、前記サーチ・ステップは少なくとも１つの協動サーチ・エンジンによって実行され、サーチ要求を前記少なくとも１つの協動サーチ・エンジンにディスパッチするサブステップと、ローカル・トラフィック・インデックスからサーチ結果を収集するサブステップと、前記少なくとも１つの協動サーチ・エンジンからサーチ結果を収集するサブステップと、前記収集したサーチ結果を結合して統合結果を最初のサーチ要求に与えるサブステップとを含んだサーチ・ステップを特徴とする方法。
【請求項１５】
請求項１４記載の方法において、前記協動サーチ・エンジンがインターネット・サーチ・エンジンであって、前記サーチ・エンジンでインターネットからクロールされた情報をインデックスすることを特徴とする方法。
【請求項１６】
請求項１４記載の方法において、前記サーチ・ステップが１つよりも多い協動サーチ・エンジンによって実行され、データ・ネットワーク内の少なくとも１つのアクセス・ポイントに、サーチ・エンジンをそれぞれ設けることを特徴とする方法。
【請求項１７】
請求項１記載の方法であって、アクセス不能であった要求情報を検出し、該アクセス不能情報に関する情報を使用して、サーチ・インデックス、特に協動サーチ・インデックス内への関連する入力のランク付けを除去、または削減するサブステップを含む情報収集ステップを特徴とする方法。
【請求項１８】
請求項１記載の方法において、前記サーチ・ステップが少なくとも１つの協動サーチ・エンジンによって実行され、アクセス・ポイントにおいて以前確認されなかった、新しいまたは更新された情報を検出し、前記新しいまたは更新された情報を使用して前記少なくとも１つの協動サーチ・エンジンのサーチ・インデックスを増大させるサブステップを含んだ情報収集ステップを特徴とする方法。
【請求項１９】
請求項１記載の方法であって、要求された文書に対する文書識別子を収集するサブステップと、前記文書識別子を前記要求を提示するユーザに関する空間情報で注釈するサブステップと、少なくとも空間地域からの文書要求数および該空間地域からの要求の全数を含んだ少なくともひとつの文書に対するアクセス統計を算出するサブステップと、前記所与の空間地域に対するアクセス統計を少なくとも第２の空間領域に対する対応するアクセス統計と比較することによって、所与の空間領域に対しどの文書が最も関連性が高いかを判定するサブステップとを含んだ位置符号化する任意のステップ、を特徴とする方法。
【請求項２０】
請求項１９記載の方法であって、前記空間情報をインターネット・サービス・プロバイダによって記録されたユーザ・データから引き出すことを特徴とする方法。
【請求項２１】
請求項１９記載の方法であって、文書を要求する移動装置の前記位置から前記空間情報を引き出すことを特徴とする方法。
【請求項２２】
請求項１９記載の方法であって、充分の数のユーザがあらゆる空間領域内で獲得され、個々のユーザがアクセス統計において識別されることがないことを保証するように、空間保証を選択することを特徴とする方法。
【請求項２３】
請求項１９記載の方法であって、少なくとも２つの空間領域に対する前記アクセス統計が同じ統計分布に属する確率を算出することによって前記文書の特異性を判定することを特徴とする方法。
【請求項２４】
請求項１９記載の方法であって、大きな空間領域を帰還仮説用統計として使用し、所与の空間領域の前記アクセス統計上の差分試験の前記統計の重要性を算出することによって、前記文書の特異性を判定することを特徴とする方法。
【請求項２５】
請求項２３記載の方法であって、領域別スコアリングを用いて、サーチ結果の位置依存ランク付けを提供することを特徴とする方法。
【請求項２６】
請求項２４記載の方法であって、領域別スコアリングを用いて、評判のよい特定領域文書のトラフィック依存リストを提供することを特徴とする方法。
【請求項２７】
請求項２６記載の方法であって、前記文書リストを、前記文書コンテンツの自動カテゴリ分析によって、カテゴリ・サブリストに分割することを特徴とする方法。
【請求項２８】
請求項１記載の方法であって、要求された文書の文書識別子を収集するサブステップ、前記同じユーザからの連続要求が識別されるように文書に注釈をつけるサブステップ、および“ａ”要求近傍の“ｂ”要求の数を“ｂ”要求の平均頻度と比較することによって文書“ｂ”とレフェレンス文書“ａ”との間の文書類似度を算出するサブステップを含んだ、文書の類似度を測定する任意のステップを特徴とする方法。
【請求項２９】
請求項２８記載の方法であって、類似度測定を用い、あらゆる所与の文書インプットに基づいて類似文書ランク付けされたリストを提供することを特徴とする方法。
【請求項３０】
請求項２９記載の方法であって、前記同じサイトからの文書を、前記入力された文書として省くことによって、前記ランク付けされたリストを算出することを特徴とする方法。
【請求項３１】
請求項２８記載の方法であって、前記類似度測定を、前記文書コンテンツに基づく類似度測定、または同時引用の数の計算に基づく類似度測定と結合することを特徴とする方法。
【請求項３２】
請求項２８記載の方法であって、前記グループ内の文書の１つに対する全ての要求を、前記“ａ”文書に対する要求として処理することによって、文書識別子のグループに対する類似度測定を算出することを特徴とする方法。
【請求項３３】
請求項３２記載の方法であって、ユーザのウエブ・ログの部分集合を文書識別子の前記グループとして使用することを特徴とする方法。
【請求項３４】
請求項３３記載の方法であって、前記文書グループを選んでユーザの好みを考え、前記類似度測定に基づいたサーチ結果の個人用ランク付けを作成することを特徴とする方法。
【請求項３５】
請求項３３記載の方法であって、リンク・トポロジ分析に基づいて文書ランク付けを算出し、前記類似度測定を用いてリンク・トポロジ、および関連の重みを規定することを特徴とする方法。
【請求項３６】
請求項１記載の方法であって、データ・ネットワーク内のアクセス・ポイントにおいてデータの流れから抽出された情報をリアル・タイムに収集するサブステップと、前記アクセス・ポイントにおいて先に確認されなかった新しい、および／または更新された情報を検出するサブステップと、前記新しい、および／または更新された情報をユーザ・プロフィールと比較するサブステップと、前記新しい、および／または更新された情報によってトリガされたユーザ・プロフィールに関係付けられたユーザにアラート・メッセージを送るサブステップとを含んだ、アラートする任意のステップを特徴とする方法。
【発明の詳細な説明】
【０００１】
本発明は、データ・ネットワーク内のアクセス・ポイントにおいてトラフィック・コンテンツを検索、および分析する方法に関し、当該データ・ネットワークは、共有ネットワーク・リソース、特に完全なインターネット又はイントラネットであり、前述のアクセス・ポイントは、特にインターネット・サービス・プロバイダによって提供される、すなわち複数のユーザ対象のアプリケーションの形態で配布されるユーザ向けインターネット・アクセス・ポイント、または無線機ユーザ用接続ポイントであり、当該接続ポイントは、ネイティブ接続ポイント、又は多数の接続ポイント用のインターネット・ゲートウエイである。
方法発明は、改善された情報取り込みの方法、およびシステムに関する。更に特定すれば、本発明は、有線、又は無線のインターフェイスを介してインターネット又はイントラネット上で情報にアクセスする情報取り込みの方法およびシステムに関する。なおさらに特定すれば、本発明は、イントラネット、およびインターネットを使用するサーチ・エンジン、およびアラート・サービスに関する。
電子情報リソースは、インターネット、および限定されたイントラネットの双方において急速に増大しつつある。この種の電子情報が、新聞、雑誌、更にはテレビジョンといったより旧来型の情報リソースにますます取って代わっている。これらの情報データ・ベースの規模は、今日ほぼ指数関数的に増大している。
【０００２】
関連する背景技術の概要は、以下の出版物の中に見ることができる。
１９９８年４月、オーストラリア、ブリスベーンのＥｌｓｅｖｉｅｒ　Ｓｃｉｅｎｃｅ社発行の「第７回国際ワールド・ワイド・ウエブ会議会報」１０７−１１７頁記載の、Ｓ．Ｂｒｉｎ　ａｎｄ　Ｌ．Ｐａｇｅによる「大規模ハイパーテキストのウエブ・サーチ・エンジンの分析」、
１９９８年１月発行の「離散アルゴリズムに関するＡＣＭ−ＳＩＡＭシンポジュウム会報」６６８−６７７頁記載のＪ．Ｍ．Ｋｌｅｉｎｂｅｒｇによる「ハイパ・リンク環境における信頼できるソース」、および
１９９８年６月、ペンシルベニア州、ピッツバーグで発行された「ハイパーテキスト」２２５−２３４頁記載の、Ｄ．Ｇｉｂｓｏｎ、Ｊ．Ｍ．ＫｌｅｉｎｂｅｒｇおよびＰ．Ｒａｇｈａｖａｎによる「リンク・トポロジからのウエブ・コミュニティの推論」
【０００３】
ハイパーテキスト・トランスファ・プロトコル（ＨＴＴＰ）、ファイル・トランスファ・プロトコル（ＦＴＰ）、又はワイヤレス・アプリケーション・プロトコル（ＷＡＰ）といったプロトコルは、多くの場合、コンテンツをコンテンツ・プロバイダとクライアントとの間で転送するために使用される。インターネット、およびイントラネット・アプリケーション双方のためにサーチ・エンジン技術が開発されている。現在、これらのサーチ・エンジンは、ウエブ頁、およびアクセス可能サーバからの追加オンライン・コンテンツの自動クローリングに基づいている。
通常の場合、シード・ページ集合を用いてクローリングを開始する。第２局面では、クロールも最初のシード・ページの中の１ページで参照した文書を取り込む。当該プロセスは、クローラが、取り込んだ文書の１つの中に新しく、且つ訪れたことがない文書レフェラル（ｒｅｆｅｒｒａｌ）を検出する間は続けられる。ウエブ文書は、多くの場合ハイパ・マークアップ言語（ＨＴＭＬ）でフォーマットされる。この場合、文書レフェラルは、別のウエブ・ページに対するＨＴＭＬハイパ・リンクであるのが通常である。ウエブ・ページ自体は、通常ユニバーサル・リソース・ロケータ（ＵＲＬ）のようなアドレスによって特定される。
現在、サーチ・エンジンは、通常２つの局面において機能する。第１に、クローラを用いて文書データ・ベースを収集する。一旦文書が収集されると、これらの文書は、前処理が施され、索引が付けられて検索できるようにする。クローラの文書収集原理は以下のような制約、難点があり、その後の検索の質に影響する。
クローラは、文書レフェラルに基づいて選択されたシード・ページの推移クロージャ内の文書にアクセスするだけである。クローラは、例えば、なんらの参照文書もない文書には、決して訪れない。また、参照文書がついていない文書には、リンク・トポロジ、および選択されたシード・ページに応じ、クローラが訪れることはない。
【０００４】
クローラは、所与のいずれのサーバにアクセスするのも比較的まれであるように制約をうける。通常の場合、クローラは、同一のサーバへのアクセス間で３０秒以上待機する必要がある。この制約は、サーバが自動要求で過負荷になるのを防ぐために作成されたロボット・ルールによる。従って、所与のサイトの連続クローリングは、一日当りおよそ３千の文書に制限される。従来技術のクローリング原理で全てのコンテンツをダウンロードし、且つ索引を付けることは不可能なほど多くの文書を備えた大きなサイトがいくつか存在する。普通のサイトであっても、新しさの点では、従来技術のクローリング原理にとっては大きな問題となる。例えば、９万の文書を有するサイトは、全てを更新するには１ヶ月のクローリングが必要である。
クローリングの従来技術の動作原理は、収集した文書の新しさを保証するのにはあまり適していない。クローリングに課された制約のため、サーチ・エンジンで全てのサイトを更新することはサイトによっては不可能であり、また他のサイトによっては数週間、又は数ヶ月の作業となる。全てを毎日更新できるのは、約３千未満の文書を有するサイトだけである。新しさの欠如は、サーチ・エンジンにとって、潜在能力の厳しい制約となる。新しさは、日刊紙にとっては巨大なマーケットであるが、古新聞を読む、あるいは少なくとも検索する市場はほとんどない。同様に、サーチ又はアラート・サービスを介して、最近更新されたウエブ・コンテンツにアクセスできることは一般的に興味深いものであることは当然予想される。
クローリングの従来技術の動作原理は、動的オブジェクトを取り込むことはできない。動的オブジェクトは、通常の場合、ＨＴＴＰ要求と一緒に送られるパラミータを必要とする。ユーザは、例えば、ダイアログ・ボックス、チェック・ボックス、等においていくつか選択し、ｈｔｍｌファイルとしては永続的に記憶されず、逆にユーザの選択に基づいて自動的に生成されるページをダウンロードすることができる。実現可能性のあるパラミータ設定はすべてクローラにとっては、殆ど不可能であると推測し、これにより現在、動的オブジェクトはインターネットのサーチ・エンジンを介してアクセスすることはできない。他方において、ウエブは、ページ数、および情報、又はサービスの価値のいずれの点から見ても動的コンテンツがますます優勢になりつつある。
【０００５】
インターネット、および多くのイントラネットの文書データ・ベースはほぼ指数関数的に増大しつつある。然るに、クエリー（ｑｕｅｒｙ）の複雑さは、殆ど不変である。従って、所与の質問に関し対応する文書の数もまた、ほぼ指数関数的に増大しつつある。従って、サーチ・エンジンの適切性の課題はますます重要になりつつある。クローリングの従来技術により、文書間のリンク・トポロジの分析が可能となり、更に当該トポロジに基づいて文書の優先順位を付ける種々の技法が提案されている。他方において、リンク・トポロジは、動的オブジェクト、新しい文書、バイナリ・ファイル、およびワイヤレス・マークアップ言語（ＷＭＬ）で書かれたページのようなワイヤレス・ページといった重要な文書ランクに対する関連性のための適切なソースではない。これらの例のいずれにも、リンク・トポロジ分析用に使用することのできるリンクは全くないか、あるいは比較的少し有るだけである。
アラート・サービスは、従来技術において説明されており、サーチ・エンジンとほぼ同様に機能する。アラート・サービスは、通常の場合、サーチ・エンジン・クエリを取り入れ、当該クエリに対する新たな情報の流れをチェックすることができる。ユーザは、例えば、サーチ・エンジン上のデータ履歴を検索し、新しい文書の流れにクエリを使用するアラート・サービスにおいて、クエリをトリガとして使用することができる。
従来技術に固有の且つこれまでに論じてきた弱点、ならびに難点を理由に、サーチ、およびアラート・サービスにおける文書収集プロセスの改善が切に求められている。
従って、本発明の主たる目的は、無効（「デッド」リンク）となる文書の検出、および動的オブジェクト収集を可能とすることに加えて、収集可能な文書総数の増加、大きなサイトから収集可能な文書の比率を高めることを可能とし、さらに最後の文書更新または文書作成と、それをサーチ・サービスで検索可能となる時との間の遅延の観点からみた文書の新しさを高めることを可能とする方法を提供することである。
【０００６】
本発明の別の目的は、最近更新された文書の改善されたソースを活用し、アラート・サービスのユーザが規定したトリガに新しい文書が対応するか否かをチェックすることによって、アラート・サービスを作成することである。
本発明の更に別の目的は、サーチ・エンジンにおける関連性、即ちランク付け基準を文書年齢に基づくようにすることである。これは特に重要である。なぜなら、本発明はユーザが、ウエブ中に、１０分、１時間、又は１日前に作成、または更新された文書を検索することを可能とする改善された文書収集の動作原理を説明しているからである。
本発明の別の目的は、データ・ネットワーク内のアクセス・ポイントにおける要求統計を用い、サーチ、およびアラート・サービスにおいて改善した関連性を構築することである。
本発明の更に別の目的は、空間的近隣のユーザからの要求統計を用いることによって位置別の文書ランク付けを作成することである。
また、最後に本発明の目的は、要求統計における時間的近接度を用いて文書間の類似度を規定することである。
上述の目的、およびその他の特徴ならびに利点は、本発明の方法によって実現される。本発明の方法は、データ・ネットワークの前述のアクセス・ポイントにおいて情報の流れから抽出したデータ形態の情報を収集するステップ、当該収集した情報を所定の最大の時間遅延で索引付けするステップ、および当該索引付けた情報から情報を検出、取り込むステップを備えることを特徴とし、更にアクセス・ポイントにおけるトラフィック・コンテンツの分析に基づいて、文書形態で収集された情報を位置符号化するステップ、文書の類似度を計測するステップ、および新たな、ならびに更新された情報に関してユーザにアラーとするステップという追加の任意のステップを特徴とする。
【０００７】
本発明のその他の特徴および利点は、添付の独立クレーム２−３６項によって明らかになろう。
添付図面に関係付けて、好適な、および例示の実施形態の以下の詳細な説明を参照することによって、本発明そのもの、および好適実施形態の理解を深めることができよう。
好適実施形態を詳しく論ずる前に、本発明を理解しやすくするために、本発明の背景の概略を簡潔に論ずることとする。
【０００８】
インターネットのユーザは、多くの場合いわゆるインターネット・サービス・プロバイダ（ＩＳＰｓ）を介してネットに接続される。図１は、クライアントがＩＳＰを介して種々のウエブ・サーバに接続することを示す。ＩＳＰ（１２）はインターネット・バックボーン・プロバイダから帯域幅をリースし、時分割モデルに基づいて、エンド・ユーザが帯域幅（１４）の「ステイク（ｓｔａｋｅ）」を有するよう提示する。このようにエンド・ユーザからのアクセスは、ＩＳＰ（１２）を介して、ウエブ（１３）に導かれ、個々のサーバ（１４）は、文書（１５）およびマルティメディア・コンテンツ（１６）を処理する。同様のモデルは、無線機のユーザにも該当し、この場合、ネイティブ接続ポイント、または多接続ポイント用インターネット・ゲートウエイを経由する。従来技術のサーチ・エンジンは、ウエブ・サーバ（１４）から自動的にクローリング（１７）し、この情報をサーチ・インデックス（１８）で構成し、検索のために利用可能とすることを基本としている。検索の結果、ウエブ（１５、１６）上の元の文書に戻って参照することが可能となる。
コンピュータシステムに共通する概念は、キャッシング・システムである。ＩＳＰは、多くの場合、その帯域幅分散装置においてウエブ・キャッシュを採用する。このキャッシュによってバックボーン上の帯域幅使用量が削減され、エンド・ユーザの待ち時間は短くなる。ウエブ・キャッシュは、プロキシ・サーバを介して利用されることが多い。プロキシ・サーバはトランスパレント、またはノントランスパレントとすることができる。いくつかのキャッシング機構およびプロキシ・サーバは、従来技術にもある。一例として、Ｓｑｕｉｄ（ｗｗｗ．ｓｑｕｉｄ−ｃａｈｅ．ｏｒｇ）が挙げられる。これは、ウエブ・プロキシのフリー・ソフトウエア版である。図２は、プロキシ・サーバ（２１）が、内部で文書またはオブジェクト（２２）を収集する状況を示す。これらのオブジェクトに対するユーザの要求は、プロキシ・サーバによって対応され、ＩＳＰ（２４）からの外部帯域幅要求は削減される。また、キャッシュした文書、又はオブジェクトにアクセスするとき、ユーザも待ち時間の短縮を感ずる。個々のオブジェクトに対する終了ルールを規定し、キャッシュのコピーが元のオブジェクトを実際に反映することを保証する。
【０００９】
これより、いわゆるトラフィック・クローリングの概念、および特性について論ずる。
ＩＳＰを介してインターネットに接続されたユーザの完全集合は、全体としてウエブからの情報の大型のクローラとして作用する。本発明の残りの部分については、ＩＳＰにおけるこの全ての情報収集、または類似の接続ポイントを参照されたい。あるいは、トラフィック・クローラとしてのゲートウエイを参照されたい。この「人間」のトラフィック・クローラは、たくさんの特性を有するが、それらは以下のように自動ソフトウエア・クローラとはきわめて異なっている。
・トラフィック・クローラには、文書にアクセスするにあたって、シード・ページおよびリンク・トポロジに関しソフトウエア・クローラと同様の制約がある。
・ソフトウエア・クローラがアクセスを制約される所与のサイトに対して、トラフィック・クローラはアクセスを制約されない。これにより、トラフィック・クローラは、はるかに高速に、且つより完全に大きなサイトにクロールする可能性を有する。
・ソフトウエア・クローラは、以前に訪れたことのある文書を単にダウンロードし、さらにこれらのページのコンテンツが最後のダウンロード以来更新されたか否かをチェックすることによって多くの時間を費やす。トラフィック・クローラは、対応する文書の以前のコピーに対するテスト繰り返しを求めるユーザの要求に対し、ＩＳＰによって取り込み中のコンテンツをチェックすることができる。従って、更に情報をダウンロードする必要はない。
・トラフィック・クローラは、次のような２つの方法で、ソフトウエア・クローラが提供する新しさを高めることができる。
ｏトラフィック・クローラは、欠落文書、または一時的に使用不能な文書を検出する。この検出を実行可能とするには、通常の場合、所与のＵＲＬに対するＨＴＴＰの要求が、エラー番号４０４のようなエラー・メッセージとなった時を記録する。これらエラーとなった要求は、対応するＵＲＬを除去するか、または当該ＵＲＬに低い方のランク値を割り当て、サーチ・エンジンが作成した結果リスト内の文書をソートすることによって、対応するサーチ・サービスにおいて利用することができる。
ｏトラフィック・クローラは、接続されたＩＳＰクライアントの１つが文書をダウンロードするとすぐに新しい、または更新した文書を分析することが潜在的に可能である。例えば、新たなプレス・リリースは、このようにしてＩＳＰクライアントの１つが記事を読むとすぐに検索可能となる。
・ＩＳＰユーザが動的ページにアクセスすると、これらのページのコンテンツもまた検索可能となる。動的ページを生成するために使用することができるのは、多くの場合、殆ど無限の数のパラミータの組み合わせである。従って、これらの要求において実際に使用されるパラミータの組み合わせは、検索可能とされる動的ページ集合を規定するには極めて適切な選択である。これはまさに、トラフィック・クローラが次の検索用にインデックスすることが潜在的に可能な動的ページ集合である。
・また、ＩＳＰユーザのアクセス・パターンは、対応するサーチ・インデックスにおいて改善した関連性を増加させることができる。頻繁に訪れるサイトには、あまり訪れないサイトよりもより高いランクをつけることができる。また、かかるアクセス回数計算は、結果リスト内のユーザ選択をリダイレクトすることによりサーチ・エンジン自体によって実行することが潜在的に可能であるが、関連性の計算を、検索の結果得られるアクセス・パターンだけでなく、アクセス・パターン全体に基礎を置くことははるかに有用である。
これより、集中型、又は分散型のクローリングのそれぞれの概念に基づき、トラフィック・クローリングの実施態様、および設計について論ずることとする。
【００１０】
集中型トラフィック・クローリング
データ・ネットワークのアクセス・ポイントおけるトラフィックに基づいてトラフィック・クローラを実現する方法がいくつかある。本発明は少数の実現可能な実施形態を教示し、僅かに異なる設計選択を利用することによって同様の効果を得られることは当業者には明白であろう。本発明において教示する例は、ＩＳＰにおけるトラフィック、ウエブ文書の索引付けを一事例としてとして使用するが、同じ動作原理が、イントラネット・トラフィックまたはワイヤレス接続ポイントといった類似の状況において使用可能であることは当業者には明らかであろう。
ＩＳＰを通過する文書又はオブジェクトへの実際のアクセスは、種々の方法で行うことができる。１つの代替案は、ＩＳＰが使用するキャッシング機構を利用することである。このキャッシュのコンテンツに定期に索引をつけ、検索、およびアラートするか、あるいは新しい文書又はオブジェクトをウエブ・キャッシュに格納する毎に、サーチ・インデックスを増分増大させることも可能である。この手法に対する制約は、現在のウエブ・キャッシュがＩＳＰからの外部帯域幅要求を削減するように設計されていることである。帯域幅目標が、ウエブ・キャッシュ内にどのような種類のオブジェクトを保持するかの決定に大きく係る。通常の場合、ウエブ・キャッシュの大きな部分は、頻繁にアクセスされるマルティメディア・オブジェクトから成る。また、インデックス用の最も興味あるテキスト・ページの多くは、終了タグを有し、これによってウエブ・キャッシュは、キャッシュからタグを排除することを命ぜられるよう規定されている。
従って、トラフィック・クローリングの質を最適化するには、ウエブのキャッシング方式を変更すること、または別個のキャッシュをウエブ・キャッシュと平行して配置することが必要である。この場合、ウエブ・キャッシュは帯域幅最適化基準に基づいてオブジェクトを選択し、サーチ・キャッシュは、サーチ、およびアラート・サービス面での文書の質に基づいてオブジェクトを選択する。
【００１１】
図３は、プロキシ・サーバを変更すれば協動サーチ・キャッシュと通信を行うことができることを示している。サーチ・キャッシュは、プロキシ・サーバと同じコンピュータに常駐するか、異なるコンピュータに常駐しデータ・ネットワークを介して通信を行うことができる。プロキシ・サーバは、外部帯域幅要求を削減するために使用されるウエブ・キャッシュ（３１）を内蔵する。内部ウエブ・キャッシュは、トラフィック・クローリングを実現するためには必要ではない。通信モジュール（３２）が、プロキシ・サーバ内に備えられている。通信モジュールはプロキシ・サーバ（３４）を通過するウエブ要求（３５）を記録し、当該要求に対する結果メッセージ、実際のコンテンツを任意に記録し、バッファする。当該実際のコンテンツは、要求の結果としてユーザに提供される。通信モジュールはこの情報の一部をサーチ・キャッシュ（３３）に転送する（３６）。
・要求のみ：これは、プロキシ・サーバのアクセス・ログ内の最新版を通信モジュール（３２）からサーチ・キャッシュ（３３）に定期的に転送することによって実現可能である。各アクセス記録は、以下のような情報で任意に標識をつけることができる。
ｏＩＰアドレスのようなユーザ情報
ｏ暗号化されたユーザ情報　ウエブ・アプリケーションにおけるプライバシ問題のために、個々のユーザの匿名性を保持することは通常重要である。従って、プロキシ・サーバ内の通信モジュールは、個人情報は全て排除されるか又はコード化され、個々のユーザは分離することができるが、全てサーチ・キャッシュにインプットされたデータに基づいて識別されないよう設定することが可能である。一例では、ユーザ・セッションＩＤに基づいて、要求に暗号化した数で標識をつけることができる。この手法もまた、プライバシ方式を、ＩＳＰによって、およびＩＳＰプロキシ・サーバ内部で制御することを可能とする。
ｏ国および市のような関連するユーザ情報。この情報はかなり粗いレベルで保持され、個々のユーザが、サーチ・キャッシュに入力されたデータに基づいて識別することは不可能であることを保証する。位置情報は、個々のユーザが口座を開設時にＩＳＰによって記録された補助データに基づいて生成することが可能である。ワイヤレス・アプリケーションは、例えばワイヤレス装置によって得られるＧＰＳデータから、または例えば基地局ＩＤおよび遅延時間に基づく電話の位置特定から、位置特定情報を取得することができる。
ｏウエブ要求の結果コード　サーチ・キャッシュは、例えばこの情報を用いてデッド・リンクを除去し、または一時的に使用不可能なことが多いリンクのランクを下げることができる。
ｏ文書コンテンツのハッシュ値　通信モジュール（３２）は、要求の結果としてユーザに返却されたコンテンツを反映する１つ又は多数のハッシュ値を計算することができる。そのようなコンテンツ・キーを最小のＣＰＵオーバーヘッドで計算し、情報をおそらくはリモート・サーチ・キャッシュに転送する非常にコンパクトな方法を表すことができる。リモート・サーチ・キャッシュは、例えばこの情報を使用して、それを同じ文書のハッシュ値の履歴と比較する。ハッシュ値の変化は、文書が更新されたことを、さらにサーチ・インデックスを更新するためには文書はリクロールする必要があることを示している。
・コンテンツでの要求　　また通信モジュール（３２）も、要求そのものに関して上記で論じた情報に加えて実際の文書コンテンツを送ることができる。このオプションは、大容量のデータ・チャネルが通信モジュール（３２）とサーチ・キャッシュ（３３）との間で使用可能な場合に選択されるのが通常である。文書はＩＳＰによって取り込まれているため、このように元のウエブ・サーバに追加の要求をなんらすることなくインデックシング、およびアラーティングのために使用可能である。この場合データ・ストリームは、ユーザに戻された情報の一部が、通信モジュール（３２）からサーチ・キャッシュ（３３）に転送されるように分割されることが必要である。通信モジュール（３２）において何らかのろ過を行い、サーチ・キャッシュ（３３）への通信を削減することは効果的である。通常の場合、インデックスにとって興味のある要求だけが転送可能である。かかるろ過ルールの例には以下のものが含まれる。
ｏ転送ＨＴＴＰ　ＧＥＴ要求のみ、
ｏＭＩＭＥ型テキスト／＊に対する転送要求のみ、
ｏ要求に対し、うまくいった送信を示す結果コードと共にコンテンツを転送するだけ、
ｏはっきりと識別されたホスト又は識別されたホストのデータ・ベースにはなく除去されるべきホストに対する要求を転送するだけ、
サーチ・キャッシュ（３３）は、プロキシ・サーバ内の通信モジュール（３２）から情報ストリームを受け取り、この情報を利用してサーチ・インデックス又はアラート・サービスを構築する。図４は、サーチ・キャッシュの実現可能な構成を示す。サーチ・キャッシュ（３３）は、プロキシ・サーバ内の通信モジュール（３２）と共にデータ転送を取り扱う通信モジュール（４１）を備えている。実際の転送ロジックは、例えばソケットで実現可能である。通信モジュール（４１）が受け取ったデータは送られて更に処理される。第１の処理ステップは、場合によっては、プロキシ・サーバ内の通信モジュールのために説明したろ過機構を拡張、増大させることが可能な拒絶ロジックフィルタ（４２）である。プロキシ・サーバ内で拒絶ろ過を行うことの効果は、プロキシ・サーバとサーチ・キャッシュとの間のデータ帯域幅が縮小されることである。また、他方において、サーチ・キャッシュ内で何らかの拒絶ろ過を行うことは以下のような利点がある。
・プロキシ・サーバを実行させるＣＰＵの負荷の追加は、最小となる。従って、通信モジュール（３２）内のオーバーヘッド処理は最小弦に抑えられる。
・サーチ・キャッシュは、通常の場合、良好な拒絶フィルタの設計にとって重要な文書情報に高速にアクセスすることが可能である。かかる情報は、例えば文書コンテンツ用のハッシュ値の履歴、アクセス統計、および拒絶すべきホスト又はサイトを備えたデータ・ベースを含む。
なお、拒絶ロジック（４２）は、実際の転送中にリアル・タイムで実行することが可能である。従って、転送は、サーチ・キャッシュが拒絶すべきオブジェクトとして、ストリームが識別されるとすぐに停止することができる。
【００１２】
分散型トラフィック・クローリング
図３ｂは、クライアント・ソフトウエアから分散されたトラフィック・クローリングを示す。ユーザ集合（３ｂ１、３ｂ２、３ｂ３）は、インターネット、移動インターネット又はイントラネットといった共有ネットワーク・リソースから文書を取り込む。文書は取り込まれ、クライアント・ソフトウエア（３ｂ４、３ｂ６、３ｂ８）内部に表示される。クライアントのソフトウエアは、通常の場合、ブラウザ・アプリケーションとすることができる。通信モジュール（３ｂ５、３ｂ７、３ｂ８）は、プラグ・イン、または協動モジュールとしてクライアントのソフトウエア内側に配置することができる。通信モジュールは、起動するとクライアントのソフトウエアによって取り込まれた文書のＵＲＬのような文書ＩＤを記録する。通信モジュールは、更に、先に集中型トラフィック・クローリングのために説明したのと同じ種類の情報を送ることができる。クライアントのソフトウエア内の通信モジュールの分散型集合からのメッセージは、サーバ・アプリケーション（３ｂ１０）によって纏められる。サーバ・アプリケーション（３ｂ１０）は、集中型トラフィック・クローリング（３２）の通信モジュールが情報をサーチ・キャッシュ（３３）に送るのとまさに同じ方法で、取得した情報をサーチ・キャッシュ（３ｂ１１）に伝達する。
分散型トラフィック・クローリングは、システムをＩＳＰ又は類似のサービスと統合する必要なしに、集中型トラフィック・クローリングと同様の効果を得ることを可能とする。クライアントのソフトウエアを介して、分散型アクセス・ポイントが替わって利用され、分散されたアクセス情報は、ネットを通じ、集中型サーバ・アプリケーション宛の通信によって纏められる。
秘密情報の処理は、分散型トラフィック・クローリングでは容易に済ませることができる。なぜならユーザは、クライアントのソフトウエアを介して、通信モジュールを明確に起動させたり停止させたりすることができるからである。
これより、トラフィック・コンテンツのキャッシングについて論ずることとする。
【００１３】
拒絶ロジック・フィルタ（４２）によって拒絶された文書は、オブジェクト・マネージャ（４３）に転送され、オブジェクト・マネージャは、種々の文書に関連する情報を実際にキャッシュする。オブジェクト・マネージャ（４３）は、一次記憶装置（４７）内の文書をチェックし、秘密情報をオブジェクト・マネージャ（４３）からの出力から除去するプライバシ・フィルタ（４４）を備える。プライバシ・フィルタ（４４）は、本発明では別に説明する。オブジェクト・マネージャ（４３）内の文書レファレンスと一緒に格納する情報には以下のものが含まれる。
・先に説明したプロキシ・サーバ内の通信モジュール（３２）によって文書に添付された情報。
・最後に修正した属性のような文書統計
・最初に見た時刻、最後に見た時刻、種々の時間間隔におけるアクセスの数、および文書にアクセスした異なるユーザの数
・文書コンテンツそのもの
・文書に対する静的ランク値
オブジェクト・マネージャは、新たな、更新した、又は消去した文書に関する情報を持ったデータ・ストリームを連続して、又は定期的に出力するサービスとして機能することができる。データ・ストリームは文書レファレンス（４５）だけを含むか、または実際の文書コンテンツ（４６）を含んだ文書レファレンスを含むことができる。これらのデータ・ソースは、ウエブ更新用のアラート・サービスを構築するため、ウエブ上での一般的、および専用のサーチ・エンジンの規模、新しさ、ならびに関連性を改善するために有用である。文書レファレンス（４５）はインデックス信号として使用し、従来のサーチ・エンジンのクローラ（１７）を導くことができ、また実際の文書コンテンツ（４６）を用いて従来のサーチ・エンジン内のこれらの文書のクローリング（１７）と置換することができる。
【００１４】
また、オブジェクト・マネージャ（４３）は、一次記憶量を増大し、さらにキャッシュからの文書を除去するための立ち退きアルゴリズムを含むことによってキャッシュとして機能することができる。ウエブ・キャッシングを指示するために文書に割り当てることができるタイム・トゥ・リブ（ｔｉｍｅ−ｔｏ−ｌｉｖｅ）属性は、サーチ・キャッシングには必ずしも適切ではない。行ったサーチ・サービスにおいてユーザがアクセスした文書は、実は元の文書に対するアクセスである。従って、唯一のリスクは、インデックスしたテキストが、実際の文書と比較して古いという、サーチ・エンジンの従来からの問題である。他方において、この新しさ問題の確率は、本発明で教示された技術に基づいて構築されたサーチ・サービスによって劇的に削減される。文書ランク値が文書の品質および／または評判を正確に反映する場合、キャッシュ立ち退き方式は、文書ランク値と密接に結びつけることができよう。新たな、又は更新した文書を、キャッシュの中にある所定の最小時間保持し、最近のウエブの更新版用にサーチ・サービスを構築することができる。動的オブジェクトであれば、サーチ・キャッシュ内のタイム・トゥ・リブ（ｔｉｍｅ−ｔｏ−ｌｉｖｅ）を削減し、通常頻繁に更新される動的オブジェクトの過剰量を回避することがでるであろう。
また、オブジェクト・マネージャ（４３）は、一時記憶装置（４７）内の文書の静的ランク値（４８）を計算するためのモジュールを含むことができる。ランク値はどの文書を一時記憶装置（４７）から取り除くべきかを判定することに関するキャッシング方式、および得られたサーチ・サービス内のサーチ結果のランク付け用インプットとして使用可能である。ランク基準は、通常の場合、リンク・トポロジ、文書コンテンツ、およびアクセス・パターンの組合せとすることができる。トラフィック・クローラの効果は、アクセス統計の上での推定の質が従来技術よりも改善されることである。アクセス統計に限定される簡単なランク付け方式の例は、次のとおり。
ｒ’＝ｒ＋ｗ・Ｉ・ｆ（ヒットレート）・ｇ（ユーザの文書アクセスの数）＋（Ｉ−Ａ）
この式において、ｒは文書の以前のランクを示し、ｒ’は文書の更新したランクを示す。ｗはランク付け値の再帰的更新の計量係数である。Ｉは平均的なランク値を示し、新しい文書の初期値としても使用可能である。Ａは以前のランク付けにおける平均的ランクを示し、時間の経過と共にＩに基づいてランク値を安定させるために使用される。ｆおよびｇの関数は、多くの異なるユーザがたびたびアクセスする文書の重量を増大させる単調関数である。
【００１５】
これよりトラフィック・キャッシュのインデックシングについて簡単に説明する。
オブジェクト・マネージャは、新しい、更新された、または消去された文書（４５および４６）に関する情報を備えたデータ・ストリームを連続して、または定期的に出力するために簡単に使用することができる。生成されたデータ・ストリームの受領者は、この場合、この情報の索引作成、およびその結果のサーチ・サービス生成を処理する。別の代替案は、オブジェクト・マネージャ（４３）にキャッシュまたは一時記憶装置（４７）を使用させ、一時記憶装置（４７）内のコンテンツを連続してまたは定期的にインデックスすることである。
図５は、サーチ・キャッシュのコンテンツは、サーチ・インデックスに変更することができることを示す。単純な手法（５１）は、サーチ・キャッシュの完全なコンテンツを定期的に処理（５４）し、更新したサーチ・インデックスを構築する。あるいは、完全なサーチ・キャッシュを一度インデックスし、つぎに増分インデックス（５８）を連続的にまたは定期的に（５５）構築し、サーチ・キャッシュ（５２）において更新する（５７）ことができる。増分インデックスは、完全なインデックスと直接結合するか、定期的に結合する必要がある。また、結合は、完全なサーチ・キャッシュを簡単に再インデックスすることによって実現可能である。更に別の代替案は、最後に記録された文書最新バージョン（５３）に応じてサーチ・キャッシュにデータを数グループに分割させることである。これら数グループは、例えば、「最後の時間」（５９ｃ）、「最後の日」（５９ｂ）、および「最後の週」（５９ａ）とすることができる。従って、同じグループをサーチ・インデックス（５９ｄ、５９ｅ、５９ｆ）に反映させることができる。かかるグループは、インデックス要求、およびインデックスに必要な結合動作を削減する。
インデックス動作によって算出される文書ランクは、オブジェクト・マネージャ内のランク算出（４８）によって提示されるランク値を利用するか、またはこの値を、リンク・トポロジのような他の情報ソースと結合することができる。
本発明によれば、トラフィック・キャッシュは、サーチ・サービスにおいて使用可能であるという利点がある。
【００１６】
図６は、サーチ・キャッシュ・インデックスを利用するサーチ・サービスの構成を示す。サーチ・キャッシュから生成されるサーチ・インデックスは、従来方法で利用し、サーチ・エンジン・サービスを構築することができるインデックスである。ユーザは、クエリ（６１）をサーチ・キャッシュ・インデックス（６２）に送り、サーチ・キャッシュ・インデックス（６２）は結果を出す（６３）とこれをユーザに戻す。サーチ・エンジンは、トラフック・クローラによって得られる利点を活用することができる。当該クローラについては、本発明においてこれまでに説明した。
別の代替案は、サーチ・キャッシュから生成されたサーチ・インデックスを、ｗｗｗ．ａｌｔｈｅｗｅｂ．ｃｏｍのような大規模で、一般のインターネット・サーチ・サービスとすることができる外部のサーチ・インデックスと結合することである。ユーザ・サーチ・クエリ（６４）は、この場合、クエリ・ディスパッチ・モジュール（６５）に送られ、同じサーチが、トラフィック・キャッシュ・インデックス（６６）、および協動のサーチ・インデックス（６７）の双方で実行する。これら２つのサーチによって作成された結果リストは、文書のランク付け値を考慮する結合モジュール（６８）に結合される。最後に、結合された結果が構築され、最初のクエリ（６９）に対する応答としてユーザに戻される。従って、結合動作は、コンテンツを包括的にランク付けした協働のサーチ・エンジンからのコンテンツに対して、トラフィック・キャッシュ・インデックスから返却されたローカル・コンテンツをランク付けるための種々のアルゴリズムを選択することができる。
【００１７】
２つの協働サーチ・エンジンのコンセプトは、簡単に拡張し、潜在的に１つのより多いトラフィック・キャッシュをもった多数のサーチ・エンジンを処理するようにすることができる。ディスパッチ・モジュール（６５）、および結合モジュール（６８）は、この場合、選択したサーチ・サービス集合と通信するように修正する必要がある。インターネット用の多数の従来技術のサーチ・エンジンにおける平行サーチとの類似の組み合わせが従来技術には存在し、一般的にメタ・サーチ・エンジンと呼ばれている。
本発明の方法は、地域、即ちコミュニティ別のランク付けを使用することを可能とする利点がある。
インターネット、および多くのイントラネット双方のための文書データ・ベースは、ほぼ指数関数的に増大している。しかるに、クエリの複雑さはほぼ不変である。従って、所与の質問に対応する文書の数もまたほぼ指数関数的に増大している。従って、サーチ・エンジンに対する関連性の課題は、ますます重要になっている。位置情報は、必要な関連性の改善を実現する上で重要な役割を果たすことができる。
【００１８】
所与の文書のコンテンツ、および特性を研究することによって位置の符号化を実現することができる。アドレスまたは電話番号といった情報を用いて、文書に特定の地理的位置を割り当てることができる。あるいは、異なる地域から所与の文書へのアクセス・パターンを研究し、所与の地域からのアクセスの観点から、どの文書が統計的に過度に表示されているかを識別することができる。サーチ・エンジンはこの情報を利用して地域別のランク付け方式を作成することができる。スペインのサーチ・サービスのユーザは、例えばどのサイトがスペインのユーザ間で人気があるかに関する情報を利用したランク付けを有している。また、地域のアクセス・パターンは、あらゆる特定の地域に関連する評判の文書の自動式リストを作成するために使用することができる。これらのリストは、いくつかのカテゴリに更に分割し、それにより自動式地域郵便サービスを作成するために使用することができる。
サーチ・キャッシュに入力されたデータに基づいて個々のユーザが識別されることがないことを保証するためには、トラフィック・クローラによって得られる空間情報は、充分に疎のレベルで保持されることが必要である。通常の場合、全ての自動化された地域が有するユーザの数は、所定の最小限とすべきである。個々のユーザが口座を開設すると、位置情報は、ＩＳＰが記録した補助データに基づいて生成することが可能である。ワイヤレス・アプリケーションは、ワイヤレス装置によって得られるＧＰＳデータから、または例えば基地局のＩＤ、および遅延時間に基づいた電話の地域特定化によって、地域特定化情報を取得することができる。
本発明による方法は、情報を提供することができ、トラフィック・クローラによって得られる統計に基づいて文書の類似度を算出することが可能となるという利点がある。
【００１９】
クローリングの従来技術は、文書間のリンク・トポロジの分析を可能とし、さらに当該トポロジに基づいて文書の優先順位を付与する種々の技術が提案されている。他方において、動的オブジェクト、新しい文書、バイナリ・ファイル、およびワイヤレス・マークアップ言語（ＷＭＬ）で書かれたページのようなワイヤレス・ページといった重要な文書ランクに対する関連性にとって、リンク・トポロジは適切なソースではない。これらの例はいずれも、リンク・トポロジ分析に使用可能なリンクは全く有していないか、または比較的少ししか有していない。トラフィック・クローラが提供する要求統計における時間的近接度によって、これらの状況における文書間の類似度測定を規定するための有用なソースを得ることができる。また、要求統計は、より豊かなリンク・トポロジを使用して類似度測定が行う状況においては、類似度測定を増大させることができる。
図７は、文書類似度を規定する時間的近接度原理を示す。ＩＳＰ（７１）は、多数のユーザ（Ａ，Ｂ，Ｃ、．．）をサーバ（７４）および個々の文書（ａ，ｂ，ｃ，ｄ，．．）から構成されるウエブ・リソース（７３）に接続する。トラフィック・クローラによって記録されたアクセス・ログを、ユーザの上で分割し、同じユーザからの次の要求は識別することができるようにする（７４）。ユーザのＩＤ情報を暗号化することによって、ユーザ・プライバシはなお維持することが可能である。アクセス・ログにユーザ・ＩＤではなくセッション・ＩＤで注釈を付けることは次の分析にとって充分なことである。セッションＩＤ、または暗号化したセッションＩＤで注釈付けすることによりユーザのプライバシは更に保護される。
類似度の規定は、個々のユーザが、短期のウインドウ内、または連続要求の短い間隔内で関連する情報を取り込むのが顕著であるという想定に基づいている。この想定には例外があることは明らかであるが、ユーザによる焦点切替えによって生じるランダムな変化は、更に統計的ランダム特性を有することが予想される。
【００２０】
図８は、時間的近接度を規定する重み関数の実現可能な規定を示す。一例が示されており、その例において、ユーザ“Ｃ”は時間ｔ０において文書“ａ”に対する要求を行う。同じユーザまたはセッションによる文書“ｂ”に対する要求が時間ｔ１に行われる。また、同じユーザによって文書“ａ”および“ｂ”への要求の間に他の文書要求ｋが行われたと想定する。近接重み関数は、この場合関数ｗ（ｋ、ｔ１−ｔ０）として規定される。ここでｗはｋおよび｜ｔ１−ｔ０｜と一緒に単調に減少する関数である。単純化したモデルにおいては、ｗは例えばｔ０（ｔＭＩＮ−ｔＭＡＸ）に対する所与の時間間隔、またはｔ０の前のアクセスｋ１の所与の数、およびｔ０の後のアクセスｋ２の所与の数の署名関数として選択することができる。類似の重み関数モデルが、バーチャル・メモリのページを管理するアルゴリズムのような他のアプリケーションにおいて使用される。
ここで“ａ”文書要求近傍の他の文書の統計的過剰表示を測定することによって、所与の文書“ａ”のランク付けられた類似度リストを設定することができる。分析は、文書レベル上、またはサイト・レベル上で行われ、所与のサイト上に常駐する全ての文書は単にトップ・レベルのサイトに対する要求として処理される。ランク付け値は、多数の技術を基準とすることができ、本発明で教示された実施形態の僅かな修正は、適用可能であることは当業者には明瞭であろう。類似度ランクは、例えば以下の測定のうちの１つに基づくとすることができる。
・“ａ”文書要求の所定時間近接ウインドウ内のアクセス総数
・“ａ”文書要求の所定時間近接ウインドウ内の全アクセスに対する近接重み関数ｗの総計
・“ｂ”文書要求の所定の近接ウインドウ内で観られた“ｂ”要求数の統計的意義。統計的検定は“ａ”および“ｂ”文書に対する要求は実際無関係であると想定する帰無仮説を基準とすることができる。更に、“ａ”および“ｂ”文書への一般的なアクセス頻度は、この統計的検定においては考慮することができる。近接重み関数総計ｗを、要求カウントでなく変更可能な観察値として利用することによって、類似の統計的検定を考案することができる。
従って、提案された類似度ランク関数の一つに従って“ａ”文書に対する要求の所定の近接ウインドウ内で要求された文書をソートすることによって、あらゆる文書“ａ”に対し、文書類似度リストを算出することができる。同じサイト上の文書、またはハイパ・リンクで直接参照した“ａ”文書内の文書といったわずかな類似は除去することによって、かかる類似度リストの質を高めることができる。
【００２１】
また、類似度リストの算出は、単一文書に対してではなく、文書グループに対して行うことができる。これは、文書グループ内の１つの文書へのあらゆる要求を上述の“ａ”文書に対する参照として処理することによって、容易に実現可能である。あるいは、例えば文書グループと、個々のセッションに対するアクセス・ログのそれぞれとの間の共通文書の数を数えることができるユーザ類似度係数により要求を評価することによって、類似度を高めることができる。
このように、個人化ランク付け、および文書選択は、例えばユーザが選択した文書集合に基づいて文書類似度リストを算出することによって実現可能である。ユーザがこれらの文書を明示的に選択することは可能であり、またはブラウザ内のお気に入り選択、あるいはクライアントのブラウザによって内部に記録した、またはアクセス・ゲートウエイに記録したアクセス履歴に基づいて自動選択することが可能である。
サーチ・サービスおよびアラート・サービスによって、当該情報を利用すれば、ユーザは個人用ランク付け方式を作成することができる。個人用ランク付けは、結果リストの以下の文書に好都合である。
・ユーザによって実際に供給された文書
・新聞サイト上の新たな記事のような、ユーザが供給した文書に関連する新たな動的ページ
・上述したような、ユーザが供給した文書集合との類似度が高い係数を有する文書
また本発明は、文書類似度トポロジに基づいて関連性アルゴリズムを確立するように機能することができる。
【００２２】
類似度ランク付け用の所定の近接度ウインドウの規定を変更することによって、文書についての興味深い特性を導き出すことができる。例えば、２つの文書“ａ”と“ｂ”との間のランク値を２つの近接ウインドウ、即ち“ａ”要求後の１０分、および“ａ”要求前の１０分、と比較することができる。これら２つの値の差は、いずれも“ａ”と“ｂ”との間の関係、および“ａ”内のコンテンツの特性に関する情報を与える。これらの値は、実際の使用に基づいて、文書間の真に効果のあるリンク・トポロジを実際に規定する。これらの値は、ハイパリンク・トポロジと比較するか、または文書関連性算出の基準として、ハイパリンク・トポロジと置き換えることができる。リンク・トポロジに基づいた関連性の従来技術は、本発明で教示したトラフィックが導いた使用トポロジに拡張可能であることは当業者には明白であろう。２つのかかる代替案は、
・第１に、最初の文書ランクを各文書に割り当てる。それは全ての文書に対して同一とするか、またはその他の情報ソースを考慮して文書を差別化することができる。次に、最初の文書ランクをリンク力で評価することにより、文書ランクを上述の使用トポロジを介して広める。
・ページ・ランクまたはＨＩＴＳアルゴリズムのような従来技術に見られるアルゴリズムを対話型モデルとして使用し、前述の使用トポロジを介してページ・ランクを広めることができる。
本発明の殆どのウエブおよびワイヤレス・アプリケーションにおいては、ユーザのプライバシを維持することが最優先事項である。データ・ネットワークのアクセス・ポイントにおいてトラフィック・コンテンツをインデックスすることによって、多くの受け手は、個人情報を検索することが潜在的に可能となる。したがって、本発明による方法は、ユーザのプライバシを確保することである。
例えば、ＨＴＴＰＳのような、ウエブ・オブジェクトを安全に且つ確実に搬送する別個のプロトコルが考案されている。秘密のコンテンツを処理するウエブ・サーバは、ユーザに対し自由裁量を保証したいのであれば、このようなプロトコルを使用すべきである。生憎、一般の慣行は、むしろこの逆である。秘密のコンテンツを見えないようにするために、ウエブ・サーバでは多種多様の異なる方法を使用しているが、実際のコンテンツは、透明のテキストとしてなお搬送されている。多くの秘密のコンテンツは動的オブジェクトとして処理されているため、一般に従来技術のサーチ・サービスでは使用できなかった。本発明は、動的オブジェクトもまた効果的にインデックスすることができ、サーチ可能であることを教示する。
【００２３】
以下の動作原理を使用することにより、秘密の、または敏感情報のインデクシングを回避することができる。
・ＨＴＴＰＳプロトコルのような安全確実なプロトコルは、明らかにインデックスされない。
・インデクシングはＨＴＴＰ　ＧＥＴ要求に限定される。一部の個人オブジェクトは例えばサーバ上のＨＴＴＰ　ＰＯＳＴ動作を使用して取り込む。これらの動作からの結果は格納しない。
・ダイナミック、および秘密コンテンツがＨＴＴＰ認証機構の一部のバージョンによって保護されることもある。これは、特定の分野をＨＴＴＰ要求ヘッダ内に設定することによって機能する。この種の認証は、自動的に検出することができ、インデクシングから得られた情報を除去する。
・インデクシングは、所定の最小の数のユーザによって視認された文書に限定することができる。このように、単一のユーザだけが視認している情報のインデクシングは、回避することができる。
・インデクシングは、クッキイを内蔵しない要求に限定し、文書を取り込むために必要な個人情報をクッキイが送ることがないことを保証することができる。
・インデクシングは、所定集合のサイト、およびホストに限定することができる。
・インデクシングは、インデックスしてはならない所定のサイト、およびホストを除去することができる。
・情報が、実際、一般的に誰にも使用可能であることをチェックするために、検出された文書のレフェレンスを最終的にリクロールすることができる。
本発明を、好適実施形態を参照して説明し、具体的に示してきたが、本発明の精神および範囲を逸脱することなく、種々の形状および細目の変更を行うことは可能であることを当業者は理解するであろう。特定のプロトコル、およびフォーマットを利用することは、必ずしも本発明の特徴ではない。例えば、本発明において教示した動作原理に影響を与えることなく、他のワイヤレス・プロトコルをＷＡＰ／ＷＭＬに置き換えることができる。従って、かかる修正物は、添付の特許請求の範囲に規定する本発明の精神または範囲から逸脱することなく作成可能であることは考えられよう。
【図面の簡単な説明】
【図１】
図１は、ＩＳＰを介したインターネットへのクライアントの接続を示す。
【図２】
図２は、ウエブ・コンテンツをキャッシュ中のＩＳＰのプロキシ・サーバを示す。
【図３】
図３は、外部サーチ・キャッシュと通信を行うように変更したプロキシ・サーバを示す。
【図３ｂ】
図３ｂは、クライアント・ソフトウエアから分散されたトラフィック・クローリングを示す。
【図４】
図４は、実現可能なサーチ・キャッシュの構成を示す。
【図５】
図５は、サーチ・キャッシュのコンテンツをサーチ・インデックスに変えることができることを示す。
【図６】
図６は、サーチ・キャッシュ・インデックスを利用したサーチ・サービスの構成を示す。
【図７】
図７は、文書類似度を規定する時間近接度動作原理を示す。
【図８】
図８は、時間近節度を規定する重み関数の実現可能な規定を示す。
【図１】
2004509415.tif 000003
【図２】
2004509415.tif 000004
【図３】
2004509415.tif 000005
【図３ｂ】
2004509415.tif 000006
【図４】
2004509415.tif 000007
【図５】
2004509415.tif 000008
【図６】
2004509415.tif 000009
【図７】
2004509415.tif 000010
【図８】
2004509415.tif 000011
【国際公開パンフレット】
2004509415.tif 000012
2004509415.tif 000013
2004509415.tif 000014
2004509415.tif 000015
2004509415.tif 000016
2004509415.tif 000017
2004509415.tif 000018
2004509415.tif 000019
2004509415.tif 000020
2004509415.tif 000021
2004509415.tif 000022
2004509415.tif 000023
2004509415.tif 000024
2004509415.tif 000025
2004509415.tif 000026
2004509415.tif 000027
2004509415.tif 000028
2004509415.tif 000029
2004509415.tif 000030
2004509415.tif 000031
2004509415.tif 000032
2004509415.tif 000033
2004509415.tif 000034
2004509415.tif 000035
2004509415.tif 000036
2004509415.tif 000037
2004509415.tif 000038
2004509415.tif 000039
2004509415.tif 000040
2004509415.tif 000041
2004509415.tif 000042
2004509415.tif 000043
2004509415.tif 000044
【国際調査報告】
2004509415.tif 000045
2004509415.tif 000046
2004509415.tif 000047