(57)【要約】【課題】ロボットがウェルカム・ページを越えてウェブ・サイトをブラウズしないようにする方法及びシステムを提供する。【解決手段】未定義の発信元からの初期リクエストを受け取ったとき、ウェブ・サイトは、チャレンジを含むウェルカム・ページでもってそれに応答する。その後、未定義の発信元から更なるリクエストを受け取ると、ウェブ・サイトは、そのチャレンジが満たされたかどうかをチェックすることができる。それが満たされている場合、未定義の発信元は人間であるとみなされ、更に進むことを許される。しかし、チャレンジが満たされない場合、未定義の発信元はロボットであるとみなされ、その場合にはサイト・アクセスは拒否される。【選択図】図１
2004509413.tif 000002
【特許請求の範囲】
【請求項１】
ロボットがウェルカム・ページ［１００］を越えてウェブ・サイトをブラウズしないようにするための該ウェブ・サイトにおける方法にして、
未定義の発信元から初期リクエストを受け取ると［３００］、チャレンジを含む前記ウェルカム・ページでもって前記初期リクエストに応答するステップ［３１０］と、
前記未定義の発信元から更なるリクエストを受け取ると［３２０］、前記チャレンジが満たされているかどうかをチェックするステップ［３３０］とを含み、
前記チャレンジが満たされている場合、前記未定義の発信元が人間であるものと仮定して［３４０］、前記更なるリクエストの処理及びその後のリクエストがある場合には該更なるリクエストの処理及びその後のリクエストの処理を継続するステップ［３４１］と、
前記チャレンジが満たされていない場合、前記未定義の発信元がロボットであるものと仮定して［３５０］、前記更なるリクエストの処理及びその後のリクエストがある場合には該更なるリクエストの処理及びその後のリクエストの処理を停止するステップ［３５１］と、
を含む、方法。
【請求項２】
前記未定義の発信元のソースＩＰアドレスをログするステップ［３６１］と、
タイマを開始させるステップ［３６２］と、
を更に含む、請求項１に記載の方法。
【請求項３】
前記リクエストの処理を停止するステップ［３５１］は、前記未定義の発信元によって確立されたＴＣＰ接続を切断又はリダイレクトするステップ［３５２］を更に含む、請求項１又は請求項２に記載の方法。
【請求項４】
新たなリクエストを受け取るとき［４１０］、
前記新たなリクエストのソースＩＰアドレスが前記ログされたソースＩＰアドレスに一致するかどうかをチェックするステップ［４２０］と、
前記新たなリクエストのソースＩＰアドレスが前記ログされたソースＩＰアドレスに一致する場合、前記タイマが満了したかどうかをチェックし［４３０］、
前記タイマが満了している場合には前記ログされたＩＰアドレスをリセットして［４４０］、前記新たなリクエストに従って正常に進行し［４５０］、
前記タイマが満了していない場合には前記ＴＣＰ接続を切断又はリダイレクトするステップ［４６０］と、
前記新たなリクエストのソースＩＰアドレスが前記ログされたソースＩＰアドレスに一致しない場合、前記新たなリクエストに従って正常に進行するステップ［４５０］と、
を含み、
新たに受け取ったすべてのリクエストに従ってすべての上記ステップの実行を継続する［４１０］、請求項１乃至請求項３のいずれか１つに記載の方法。
【請求項５】
前記チャレンジが、特定のアクションを遂行するように前記未定義の発信元をプロンプト指示する［１３０］ことを含む、請求項１乃至請求項４のいずれか１つに記載の方法。
【請求項６】
前記プロンプト指示が、前記ウェブ・サイトのその後の各アクセスにおいて異なる、請求項５に記載の方法。
【請求項７】
前記アクションが、複数のオプションの間の選択を行わなければならない［１２０］ことを含む、請求項５に記載の方法。
【請求項８】
前記アクションが、クイズに応答することを要求する［５１０］、請求項５に記載の方法。
【請求項９】
前記アクションが提示される［５３０］、請求項５に記載の方法。
【請求項１０】
請求項１乃至請求項９のいずれか１つに記載の方法を実行するように適応した手段を含む、チャレンジ・アクセスを実施するウェブ・サイト等のシステム。
【請求項１１】
請求項１乃至請求項９のいずれか１つに記載の方法を実行するための命令を含む、コンピュータ可読媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネットに関し、更に詳しくいえば、人を歓迎するけれども、ロボットが参照（ｖｉｓｉｔ）してそこから情報を収集することを排除したいワールド・ワイド・ウェブ（ＷＷＷ）サイト等に関する。
【０００２】
【従来の技術】
ウェブ・ワンダラ（Ｗｅｂ Ｗａｎｄｅｒｅｒ）、ウェブ・クローラ（Ｗｅｂ Ｃｒａｗｌｅｒ）、又はウェブ・スパイダ（Ｗｅｂ Ｓｐｉｄｅｒ）とも呼ばれ、ボット（ボットはロボットに対する短縮形）と呼ばれることも多いＷＷＷロボットは、ウェブのハイパーテキスト構造を自動的に全探索するように工夫されたプログラムであり、従って、１つのドキュメントを検索すると、すべてのリンクしたページを帰納的に検索することができる。特に、これは、多数のサーチ・エンジン及びそれらのロボットが、コンテンツを見つけそしてインデックスして自分のデータベースに加えるためにワールド・ワイド・ウェブをローミングする場合に云えることである。ほとんどのロボットは貴重なサービスを提供するけれども、これは、これらのエンジンからのリクエストをサービスするために如何に多くの事前のサーバ・タイム及び帯域幅が使われるかということに関するかなりの懸念をウェブ・サイト・アドミニストレータの間で生じさせている。大多数のロボットがうまく設計され、専門的に操作され、しかも何の問題も生じていない場合でも、ウェブ・サーバを参照するロボットは、ロボットの行為のために歓迎されないことが時々ある。或るものは、サーバを矢継ぎ早のリクエストで窮地に陥れたり、或いは同じファイルを繰り返し検索することがある。意図的に行われる場合、これは、サービス妨害（ＤｏＳ；Ｄｅｎｉａｌ ｏｆ Ｓｅｒｖｉｃｅ）攻撃の一形態であるが、これは、出来の悪い又は不完全なロボット設計の結果であることが多い。
【０００３】
別の状況では、ロボットは、サーチされるには不適当なＷＷＷサーバの部分、例えば、複製情報又は一時的情報、大きいドキュメント、或いは、例えば、ＣＧＩスクリプト（ＣＧＩは、ワールド・ワイド・ウェブＨＴＴＰサーバからの外部プログラムを実行するための標準である）を含むＷＷＷサーバの部分を全探索することがある。この後者の場合、及び同様の状況においては、スクリプトは、それがアクセス及び実行される時、ダイナミック・ページを生成する際にかなりのサーバ・リソースを消費する傾向があり、従ってシステムを減速させる傾向がある。これらの問題点が認識される場合、多くのウェブ・ロボットは、それが実行することを許される事項を制限するために、ウェブ・サイト・アドミニストレータ及びコンテンツ・プロバイダ用のファシリティを提供する。即ち、２つの機構が提供される。１つは、実際には強制プロトコルではないが、「ウェブ・ロボット制御のための方法（Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｗｅｂ Ｒｏｂｏｔｓ Ｃｏｎｔｒｏｌ）」というタイトルの下に１９９６年にインターネット・エンジニアリング・タスク・フォースによってインターネット・ドラフトとして検討されたワーキング・ドキュメントであった「ロボット排斥プロトコル（Ｒｏｂｏｔ Ｅｘｃｌｕｓｉｏｎ Ｐｒｏｔｏｃｏｌ）」と呼ばれるものである。このドキュメントによれば、ウェブ・サイト・アドミニストレータは、ｈｔｔｐ：／／．．．／ｒｏｂｏｔｓ．ｔｘｔ において、特別にフォーマットされたファイルを提供することによって、そのサイトのどの部分がロボットによって参照されてはならないかを表すことができる。
【０００４】
別の機構は、特別のハイパテキスト・マークアップ言語（ＨＴＭＬ）メタ・タグ、即ち、「ロボット・メタ・タグ（Ｒｏｂｏｔｓ ＭＥＴＡ ｔａｇ）」の使用を通して、或るページがインデックスされ得るか又はインデックスされ得ないか、或いはリンクに関して分析され得るか又は分析され得ないかをウェブ・オーサ（Ｗｅｂ ａｕｔｈｏｒ）が表すことができるものと仮定する。しかし、これらの機構は、ロボットからの協力に依存し、あらゆるロボットに対して作用することを一様に保証されるわけではない。更に、既に上述した（ＤｏＳの）ように、これらのロボットの或るものは、それほど好意的ではないことがある。それらは、例えば、ウェブ・サイトを攻撃するという悪意の意図を持って実行することがあり得るし（更に、それらがロボット・テキスト・ファイル及びロボット・メタ・タグを無視し）、従って、それはオーバロードになり、正当なユーザのために働くこと、即ち、人間がそのサイトを正常に使用しようすることを拒否し始める。更に、或るサイトにおいて使用可能にされた情報は機密ではあり得ないけれども、アドミニストレータは、それの無制限な散逸を防ぐことを望む場合がある。そうしないと、それが、あらゆる種類のロボットによってインデックス又は参照されるという結果を招くことがあろう。
【０００５】
これを達成するための標準的な方法は、或る形式の認証を通してウェブ・サイトを保護することである。その認証のより一般的な方法は、ユーザがサイトをアクセスする際に署名しなければならない場合、パスワードを有する登録ユーザのリストを管理するものである。これの明らかな欠点は、ユーザのクローズされたリストでもアドミニストレータが管理及び更新しなければならず、従って、サイトの最初のコンサルテーションに対して、ユーザは、その後のコンサルテーションではパスワードを覚えていると仮定しても、登録ステップを必要とすることである。これは、そもそもアドミニストレータが得ようとしていたものでは全くあり得ず、サイトをブラウズしようとする個人を必ず落胆させるであろうし、それらが登録を要求される場合には更に状況が悪くなるので、逆効果とさえなることがある。
【０００６】
【発明が解決しようとする課題】
従って、本発明の主たる目的は、ウェブ・サイト・コンテンツがロボットによって調べられないようにすることにある。
【０００７】
本発明の更なる目的は、最初のアクセスにおいて登録を課すること及びその後の各アクセスにおいて手順上のログを課することによって、ロボット保護されたウェブ・サイトをアクセスしようとする人間を落胆させずに続行させることにある。
【０００８】
本発明の更に別の目的は、ロボットがウェブ・サイトのコンテンツにアクセスすることを防ぐためにロボットの協力に依存しないようにすることにある。
【０００９】
本発明の更なる目的、特徴、及び利点は、当業者には、添付図面に関連して以下の説明を考察すれば、明らかになるであろう。何らかの更なる利点を組み込むことが考えられる。
【００１０】
【課題を解決するための手段】
ロボットがウェルカム・ページ（Ｗｅｌｃｏｍｅ Ｐａｇｅ）を越えてウェブ・サイトをブラウズしないようにするための方法及びシステムが開示される。未定義の発信元からの初期リクエストを受け取った時、ウェブ・サイトは、チャレンジ（ｃｈａｌｌｅｎｇｅ）を含むウェルカム・ページでもってそれに応答する。その後、未定義の発信元から更なるリクエストを受け取った時、ウェブ・サイトは、そのチャレンジが満たされているかどうかをチェックすることができる。それが満たされた場合、未定義の発信元は人間であるとみなされ、サイトは、更なるリクエスト及びその後のすべてのリクエスト（それが存在する場合）の処理を続ける。しかし、チャレンジが満たされてない場合、未定義の発信元はロボットであるとみなされ、その場合、その発信元からのすべてのリクエストが更に処理されることはない。
【００１１】
本発明は、エンド・ユーザが許可されたユーザのアクセス・リストを登録すること、及びサイト・アドミニストレータがそのアクセス・リストを管理しなければならないことを必要とすることなく、ウェブ・サイト・コンテンツがロボットにより調べられることがないようにする。
【００１２】
【発明の実施の形態】
図１は、ロボットが、それのウェブ・サイトのウェルカム・ページ（Ｗｅｌｃｏｍｅ Ｐａｇｅ）を越えてアクセスすることを禁止するための本発明による方法を示す。個人が、例えば、次のようなＵＲＬ［１００］（ユニフォーム・リソース・ロケータ）「ｈｔｔｐ：／／ｗｗｗ．ａｎｙｓｉｔｅ．ｃｏｍ／ｗｅｌｃｏｍｅ．ｈｔｍｌ」におけるウェブ・サイトをアクセスすることによって見られる例示的なウェルカム・ページを示す。ウェブ・サイトへのアクセス動作は、任意の使用可能なウェブ・ブラウザによって、例えば、アメリカ合衆国９４０４３、カリフォルニア州、マウンテン・ビュー、ミドルフィールド・ロード、５０１Ｅにおけるネットスケープ・コミュニケーションズ社のネットスケープ・ブラウザ［１１０］によって、行われ得る。そこで、ロボットを禁止するためのこの第１の方法によれば、ウェルカム・ページは、ロボットでは必ず失敗するけれども、人間によって簡単に応じられ得るダミー・チャレンジを実施する。
【００１３】
種々の可能性のうち、図１は、本発明による代表的なチャレンジを示す。従って、ウェルカム・ページは、この特定の例では、幾つかの幾何学的形状を含むイメージ［１２０］を示す。これらの幾何学的形状は、ウェブをアクセスする個人が読み取ることができると思われる言語における単一のワード又は表現によって明瞭に参照され得るものである。ここでは正方形、円、十字形、及び三角形を含むイメージに関連して、見る人は誰でも、例えば、十字形［１２１］上をクリックするように（Ｔｏ ｅｎｔｅｒ ｔｈｉｓ ｓｉｔｅ， ｐｌｅａｓｅ ｃｌｉｃｋ ｏｎ ｃｒｏｓｓ）プロンプト指示される［１３０］。ロボットは何もしないけれども、そのサイトを進みそしてそのサイトを参照することを望む人間は、それを自然に行うであろうし、或いは、単に十字形が何であるかを知らないためにそれを間違って行うであろう。従って、これは、ロボットが総体的にこの能力に欠けているとき、人間にとって本質的に高い又は非常に高いレベルのそれぞれの抽象概念に基づいて人間とロボットとを区別することを容易に可能にする。これは、アクセスする人間に登録及びログ・オンしなければならないという負担を課さず、又は正規のユーザのリストを管理しなければならないことをサイトのアドミニストレータから要求しないけれども、ロボットがウェルカム・ページの他にサイトをブラウズしないようしたいという本発明の目的を達成することを可能にする。
【００１４】
所与のチャレンジ又はそのような予測し得るチャレンジのセットに適応するように調整され得るロボットによるブラウジングに対してサイトを更に抵抗力のあるものにするために、プロンプト指示が無作為に行われ、従って、誰かが登場する度に、チャレンジはわずかに異なる。例えば、十字形は、それの上をクリックするときに戻される座標が異なるように、イメージ・マップ上の異なる位置に移動させることができる。或いは、プロンプト指示は、例えば、代わりに三角形の上でクリックするようにリクエストを変更することができる。
【００１５】
図２は、この例のためのソースＨＴＭＬ（ハイパ・テキスト・マークアップ言語）コード［１４０］を示す。それは、ＨＴＭＬ言語の ＜ａ．．．．＞．．．＜／ａ＞ 構造形式［１４９］でもって作成されたアンカ・タグに含まれたサービス・サイド・マップ、即ち、ｉｓｍａｐ［１４２］を使用する。従って、ユーザが十字形［１２１］の上をクリックするとき、ブラウザは、クリックの座標が十字形の位置に完全に一致することをサーバがチェックできるようにｉｓｍａｐ［１４２］に含まれたクリックのＸ及びＹ座標を含むリクエストをサーバＵＲＬ（／ｃｇｉ−ｂｉｎ／ｃｈａｌｌｅｎｇｅ．ｅｘｅ）「１４１」に返送する。更に、アンカ・タグは、現在のチャレンジが上述のように或るユーザから他のユーザに変化するとき、クリック座標を含む返事を現在のチャレンジと相関させるために有用な識別フィールド、即ち、ｉｄ＝ＸＤ３４Ｆ７３９［１４３］を保持している。
【００１６】
図３は、ウェブ・サイトへの初期リクエストの発信元がチャレンジでもって応答されるときの本発明による方法のステップを示す。ウェブ・サイトのサーバは、この初期リクエスト［３００］を受け取った時に応答する［３１０］。これは、発信元とのＴＣＰ接続の確立（ウェブによって使用されるプロトコルのインターネットＴＣＰ／ＩＰスイートの信頼性あるトランスポート・プロトコル）を通して行われる。応答は、例えば、図１において説明した種類のチャレンジを含むウェブ・ページの形式のものである。そこで、発信元は、サーバの応答を得ると、ウェブ・サイトに向けた新たなトランザクションを続行する［３２０］。ウェブ・サイトのサーバは、その新たなトランザクションを受け取ると、チャレンジが満たされているかどうかをチェックする［３３０］。それが完全にその通りである場合［３４０］、発信元は人間であると見なされ、それを続行する。しかし、チャレンジが適切に応答されてないことをウェブ・サーバが見つける場合、発信元は、ロボットであると見なされなければならない［３５０］。その結果、それは、現在のリクエスト及び存在する場合の更なるリクエストの処理を停止［３５１］して、ＴＣＰ接続を切断すること及びそれを他のサイトに確立し直すことを含む［３５２］。更に、図４に示されるように、ＩＰソース・アドレスからのそのサイトへのアクセスが一時的に禁止され得るように、そのＩＰソース・アドレスが記憶され［３６１］、タイマがスタートされ得る［３６２］。
【００１７】
図４は、ロボットが仮定されるときに発信元のＩＰアドレスが記憶される場合を示す。そこで、しばらくの間、この特定のソースＩＰアドレスによって発生されたすべてのリクエストを直ちにドロップ又は再指向することが決定され、すべてがロボットから来るものと仮定される（しかし、これは、いつも真であるわけではない。なぜならば、ロボットは、それが送らなければならないすべてのＩＰソース・アドレスのネットワーク・アドレス変換を行うプロキシ又はファイアウォールの背後にあることがあるためである）。図３に関して説明したように、リクエストのＩＰソース・アドレスがログされそしてタイマが開始されるので、新たなリクエストが受信される度に、同じソースＩＰアドレスが見つかったかどうかが先ずチェックされる［４２０］。この結果が否定的である場合、プロセスは正常に進行し得る［４５０］。その結果が肯定的である場合、タイマがチェックされる［４３０］。それが時間経過した場合、ログされたＩＰアドレスがリセットされ［４４０］、新たなリクエストが正常に処理される［４５０］。しかし、タイマが時間経過していない場合、新たに受信されたリクエストに戻る［４１０］前にＴＣＰ接続が切断されるか又はリダイレクトされる［４６０］。
【００１８】
図５及び図６は、人間によって容易に応答される別のチャレンジの例である。
【００１９】
図５は、詳述したロボットに打ち勝つために、或いは、それとは別に、同じタイプの技術を共用する特定のエンド・ユーザ集団に適応するために図示のように単純にされ［５００］又は必要に応じて複雑にされ得るクイズの形式を取る［５１０］。
【００２０】
図６は、より抽象的な方法でイメージ［５２０］及びテキスト［５３０］を結合するもう１つの代替え方法である。この方法では、人間とロボットとを区別するように更によく適応した回答が提示される。しかし、そのようなチャレンジは文化依存的であり、社会又は民族の起源に基づいて人間を区別するようにも作用し得ることは云うまでもない。
【図面の簡単な説明】
【図１】
本発明に関する例示的なウェルカム・ページである。
【図２】
対応するＨＴＭＬコードを示す。
【図３】
本発明の方法のステップを示す。
【図４】
タイマがオンである間、ログされたＩＰアドレスを保持したリクエストに対して、本発明によるウェブ・サイトへのアクセスが否定されたときの方法の更なるステップを示す。
【図５】
チャレンジを有する別の例示的なウェルカム・ページである。
【図６】
チャレンジを有する更に別の例示的なウェルカム・ページである。
【符号の説明】
１００　ＵＲＬ
１１０　ネットスケープ・ブラウザ
１２０　イメージ
１３０　プロンプト
【図１】
2004509413.tif 000003
【図２】
2004509413.tif 000004
【図３】
2004509413.tif 000005
【図４】
2004509413.tif 000006
【図５】
2004509413.tif 000007
【図６】
2004509413.tif 000008
【国際公開パンフレット】
2004509413.tif 000009
2004509413.tif 000010
2004509413.tif 000011
2004509413.tif 000012
2004509413.tif 000013
2004509413.tif 000014
2004509413.tif 000015
2004509413.tif 000016
2004509413.tif 000017
2004509413.tif 000018
2004509413.tif 000019
2004509413.tif 000020
2004509413.tif 000021
2004509413.tif 000022
2004509413.tif 000023
【国際公開パンフレット（コレクトバージョン）】
2004509413.tif 000024
2004509413.tif 000025
【国際調査報告】
2004509413.tif 000026
2004509413.tif 000027
2004509413.tif 000028