(57)【要約】検索結果の関連性の改善のための方法。検索結果は、他の検索リスティングの中からユーザーによって、好ましくは検索エンジンの使用経験を有するユーザーによって、通常以下にまれに選択される検索リスティングを、自動的に探知し、および除去する検索エンジンから与えられる。検索結果の一部として各々の検索リスティングを示すデータ、およびユーザーによってそのような検索リスティングの選択を示すデータは、蓄積され、検索リスティングの性能を評価するために分析される。検索リスティングの選択の率は、検索結果セット内の同様な、および異なった位置にある検索リスティングの選択の率と比較される。通常よりも低い選択の率を持つ検索リスティングは、検索データベースから除去するように印し付けられる。検索リスティングの持ち主は、検索リスティングを修正する機会を与えられ、修正された検索リスティングは、低い性能のために同様にモニターされる。
2006525604.tif 000002
【特許請求の範囲】
【請求項１】
検索リスティングの性能の改善のための方法であって、該方法は、
検索結果の一以上のセットにおいて、該検索リスティングのうちの対象の一リスティングの選択の頻度の決定をすることと、
該選択の頻度を許される最低頻度と比較することと、
該選択の頻度が該許される最低頻度以下の状況の検索の結果として、該対象検索リスティングを使用不可にすることと
を包含する、方法。
【請求項２】
前記比較することは、前記対象検索リスティングが一以上の検索の結果として、所定の最低回数提示された状況にのみ行われる、請求項１に記載の方法。
【請求項３】
前記決定することは、探知可能なＵＲＬを検索結果リスト内の前記対象検索リスティングに関連付けることを包含する、請求項１に記載の方法。
【請求項４】
前記探知可能なＵＲＬは、ＵＲＬキャッチャーへのＵＲＬを含み、
該ＵＲＬキャッチャーは、前記検索リスティングに関連するリモートＵＲＬへリダイレクトする、請求項３に記載の方法。
【請求項５】
前記決定することは、
一以上のユーザーに最も最近提示された所定数の検索結果セットにおける対象検索リスティングの選択頻度を決定することを包含する、請求項１に記載の方法。
【請求項６】
前記一以上の検索結果セットにおいての前記対象検索リスティングの各々の位置に従って、該一以上の検索結果セットにおける該対象検索リスティングの前記選択頻度を決定することをさらに包含する、請求項１に記載の方法。
【請求項７】
前記一以上の検索結果セットにおいての前記対象検索リスティングの各々の位置に従って、および、該一以上の検索結果セット内の各々の他の位置においての、一以上の検索リスティングの各々の選択頻度にさらに従って、該一以上の検索結果セットにおける該対象検索リスティングの前記選択頻度を決定することをさらに包含する、請求項１に記載の方法。
【請求項８】
検索リスティングがデータベースから検索結果のために収集され、そのデータベースにおける前記対象検索リスティングの包含に責任がある物の識別に従って、前記許される最低頻度を選ぶことをさらに包含する、請求項１に記載の方法。
【請求項９】
前記対象検索リスティングの編集再検討を行う編集機能に従って、前記許される最低頻度を選ぶことをさらに包含する、請求項１に記載の方法。
【請求項１０】
前記編集機能は、人による、前記対象検索リスティングの編集再検討を含む、請求項９に記載の方法。
【請求項１１】
前記編集機能は、コンピューターによって実行される、前記対象検索リスティングの編集再検討を含む、請求項９に記載の方法。
【請求項１２】
前記対象検索リスティングが前記一以上の検索結果に含まれた回数に従って、前記許される最低頻度を選ぶことをさらに包含する、請求項１に記載の方法。
【請求項１３】
前記対象検索リスティングに関連する検索用語が検索された回数に従って、前記許される最低頻度を選ぶことをさらに包含する、請求項１に記載の方法。
【請求項１４】
前記一以上の検索結果セットが意図された地理的な需要情勢に従って、前記許される最低頻度を選ぶことをさらに包含する、請求項１に記載の方法。
【請求項１５】
前記対象検索リスティングを使用不可にすることは、該対象検索リスティングが除去されることを、該対象検索リスティングに関係する当事者に通告することを包含する、請求項１に記載の方法。
【請求項１６】
前記対象検索リスティングを使用不可にすることは、該対象検索リスティングが除去されることを、該対象検索リスティングに関係する当事者に通告することを包含する、請求項１に記載の方法。
【請求項１７】
前記対象検索リスティングを使用不可にすることは、該対象検索リスティングを使用不可にする以前に、該対象検索リスティングを修正する機会を前記当事者に提供することをさらに包含する、請求項１６に記載の方法。
【請求項１８】
前記対象検索リスティングへの修正を行うことであって、該修正は検索リスティングに関係する前記当事者によって提出される、ことと、
該対象検索リスティングを使用不可にする以前に、該対象検索リスティングは修正されたものとして、前記決定することおよび比較することを繰り返すことと
をさらに包含する、請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動化されたドキュメントコンテンツ分析に関し、詳細には、広い範囲のネットワークの検索エンジンにおいて検索リスティングの自動性能表示、および最適化のためのメカニズムに関する。
【背景技術】
【０００２】
インターネットは、実にグローバルな範囲を持ち、世界中のコンピューターを相互に連結する広い範囲のネットワークである。ワールド・ワイド・ウェブとして通常知られるインターネットの一部は、実に膨大な相互関係にあるデータの大きさの収集である。ワールド・ワイド・ウェブ（時折、「ｔｈｅ  Ｗｅｂ」と指される）の中身は、たとえば有名なプロトコル、ＨＴＴＰ（ハイパー・テキスト・トランスポート・プロトコル）に従ってインターネットを通して運ばれる有名なＨＴＭＬ（ハイパー・テキスト・マークアップ・ランゲージ）の書式のドキュメントである。
【０００３】
ウェブの内容の範囲と深さは、そこにおいて特定の情報を見つけようと期待する誰にとっても驚きであり、および圧倒的である。従って、ウェブの極めて重要な要素は検索エンジンである。そこに使われるように、検索エンジンは、ひとまとめにして検索クエリーを表す、１つ以上のユーザーによって明確にされた検索用語に関する内容の検出のための相互作用を活用したシステムである。有名なカモン・ゲートウェイ・インターフェース（ＣＧＩ）を通して、ウェブは、相互作用を活用した、すなわちウェブにつながれたコンピュータのユーザーによって決定されたデータに反応する内容を含むことも可能である。検索エンジンはユーザーからの１つ以上の検索用語の検索クエリーを受取り、および検索クエリーに関連すると決定された１つ以上のドキュメントのリストを提示する。
【０００４】
検索エンジンは、どのユーザーがウェブ上の望まれた情報を検出できる可能性があるかと共に劇的に効率を改善する。結果として、検索エンジンはインターネットの最も一般的に使われる供給源である。効果的な検索エンジンは、ユーザーがウェブ内にて何十億の現在提示されているドキュメント内のまさに特定の情報を検出するのに役立つ可能性もある。重大な機能、および検索エンジンの存在理由は、ユーザーのクエリーの数個の検索用語を与えられ、何十億の利用できるドキュメントの中から、数個の最も適切な結果を識別する事、および可能な限り、短い時間においてそれをする事である。
【０００５】
通常、検索エンジンは検索用語とウェブ上の情報源を結びつける記録のデータベースを維持する。検索エンジンは本来、幾数の方法においてウェブの内容についての情報を得る。最も一般的なものは、通常ウェブクローリングとして知られるものであり、および第２に一般的なものは、そのような情報のプロバイダー、または第三者（すなわち、情報のプロバイダーでも、検索エンジンのプロバイダーでもない）によってのそのような情報の提出である。ウェブの内容についての情報を得るための検索エンジンのための他の一般的なものは、人の編集者が彼らの再検討に基いての情報の見出しを作ることである。
【０００６】
クローリングを理解するために、ＨＴＭＬドキュメントが他の情報への参照、一般的にリンクとして参照される、を含んでいる可能性もある事をまず理解しなければならない。参照されたドキュメントの画面を出すためにドキュメントの一部分を「ｃｌｉｃｋｅｄ  ｏｎ」した誰もは、そのようなリンクを起動させる。ウェブクローリングは通常、自動的な処理により一ドキュメントによって参照されたドキュメントが引き出され、また分析され、および、そのドキュメントによって指されるドキュメントが引き出され、また分析され、およびその引き出し、または分析が再帰的に繰り返されるその自動的な処理を指す。従って、試みは、ウェブの内容の全体を部門別に分類するために、ウェブの全体を自動的に検討することにある。
【０００７】
ウェブのドキュメントは、絶えず、付け加えられ、および／または修正される事実、および、またまったくの膨大量のウェブの原因で、ウェブクローラーの誰一人として、ウェブの全体を成功のうちに部門別に分類していない。従って、検索エンジンデータベースにおいて項目を含みたいと願うウェブのプロバイダーは、検索エンジンのプロバイダーへ彼らの項目を直接提出する。項目、および／または、サービスの他のプロバイダーは、検索結果が現在の情報を含むように、項目は定期的にクロールされ、および更新されるために、検索エンジンのオペレータとのインターネットを通しての契約が得られる。カリフォルニアのパサデナのＯｖｅｒｔｕｒｅ，Ｉｎｃ．（ｈｔｔｐ:／／ｗｗｗ.ｏｖｅｒｔｕｒｅ．ｃｏｍ）によって提供され、ここに援用される米国特許出願番号第６，２６９，３６１号において記載される検索エンジンのような一部の検索エンジンは、項目、および／またはサービスと関連付けさせ、および検索クエリーの結果として提示されるために、インターネットの項目、および／またはサービスの提供者に、時折、検索リスティングとして示される簡潔なタイトル、または説明を提出することを許す。インターネットが成長し、および商業活動もインターネット上で成長すると共に、一部の検索エンジンは、増加するインターネット上の商業上の処理につながる対象広告の促進の付け加えられた利益と共に、情報の結果からは区別されて提示される商業上の検索結果の提供を専門にする。
【０００８】
不必要な情報を提供する検索エンジンは、不必要な情報の提示を最低限にする検索エンジンにとって明確な不利な立場にあり、したがって検索エンジンの提供者は、検索クエリーにて提供された結果の関連性を最大限にすることに強い関心を持つ。
【０００９】
必要なことは、複数のコンテクスト、および需要においての検索リスティングの性能の査定のための、およびそのようなリスティングの性能を改善するための特定のリスティングの自動識別、および最適化のためのシステムである。
【発明の開示】
【課題を解決するための手段】
【００１０】
本発明にしたがうと、検索データベース内においての検索リスティング性能は、通常、自動最適化、または除去のための関連のない、および／または不必要な検索リスティングを識別するためにモニターされる。性能（ｐｅｒｆｏｒｍａｎｃｅ）は、検索リスティングがユーザーに提示される方法と、同様な方法において提示された全ての他の検索リスティング、および／または、他の検索リスティングに関連する検索リスティングの選択の頻度との間の関係として計測される。例えば、ユーザーが一以上の検索リスティングから検索リスティングを選択する率は、検索クエリーの特定の検索用語に、検索リスティングの適切性の基準を与える。
【００１１】
本発明に従って、予期される（ｅｘｐｅｃｔｅｄ）よりも著しく少ない回数選択される検索リスティングは、関連性のない、および／または不必要な検索リスティングの可能性としてフラグが付けられ、および、最適化、および／または除去のために評価される。性能は、検索結果セット内において、時折、ランクとして指される相対的な位置での予期される性能とを比べられる可能性がある。例えば、検索リスティングが、全ての他の検索リスティングと相対しては、平均的なレベルで機能しているが、ユーザーに始めに提示される検索リスティングが、一番初めに置かれる検索リスティングの予期される率よりもはるかに低く、あるいは、４番目に置かれる検索リスティングの予期される率との方が比較に値する率をしかしながら持つという様な、その位置にとって検索リスティングが悪く機能している。そのような事は、検索リスティングが通常、ユーザーに良くない印象を与え、あるいは、検索リスティングが評価、および最適化から得られる可能性があり、またはその検索クエリーには関連がないものとして完全に除去されるべきであることを示す。
【００１２】
少なくとも２つの違った、性能の測定法が使われる。１つは絶対的性能。もう１つは相対的性能である。絶対的性能は、与えられた長さの検索結果セット内にて、同等の位置にある任意の検索リスティングの選択の予期される頻度と特定の検索リスティングの選択の頻度を測る。相対的性能は、予期される相対的な選択の頻度との比較において、セットにおいての他の検索リスティングの選択の頻度に関して検索結果のセット内の特定の検索リスティングの選択の頻度を測る。選択頻度は、時折、クリック率（ｃｌｉｃｋ  ｔｈｒｏｕｇｈ  ｒａｔｅ）としてここにて指される。
【００１３】
予期される相対的選択頻度は、通常、全検索クエリーのための結果として提示される全検索リスティングからの、および、詳細に、一般的な結果、および／または、同じクエリーの同等な結果として戻ってきたサービスとして適当な検索リスティングからの過去の性能データより導かれる。この方法において、予期されるクリック率は、検索リスティングの各々のランクのための通常予期されるクリック率、および特定のクエリーの結果として戻ってきた特定の検索リスティングのための特定の予期されるクリック率のどちらも含む。
【００１４】
時折、検索クエリーは、相対的にいくつかの関連性の高い検索リスティングを引き出すために、適確である。例えば、「ｕｃｌａ  ｓｗｅａｔｓｈｉｒｔ」の検索クエリーは、相対的には明確であり、非常に関連のある検索リスティングを引き出しやすい。したがって、関連のある検索リスティングの短いリストを見ているユーザーは、そのような検索リスティングを始めから終わりまでクリックしやすく、予期されるクリック率は、このクエリーに対して提示される全検索リスティングのための平均よりも高くなる。時折、検索クエリーはよく的を得られず、したがって、相対的に関連性の低い多数の検索リスティングが引き出されやすい。例えば、「ｉｎｔｅｒｎｅｔ  ｓｔｏｒｅ」の検索クエリーは、存在するおおよそ全てのＥコマースウェブサイトを指す検索リスティングを引き出す可能性がある。したがって、ほぼ関連のない検索リスティングの長いリストを見ているユーザーは、始めから終わりまでクリックをする事なしに、多数の検索リスティングを通り過ぎやすく、予期されるクリック率は、したがって、その検索クエリーに対して提示される検索リスティングのための平均よりも低くなる。したがって、特定の予期されるクリック率は、本発明に従う性能評価を改善する。
【００１５】
性能測定が統計的に信頼できることを保証するために、検索リスティング性能は、検索リスティングが最小数の表示を持つまでは評価されない。ここに使われるように、表示（ｉｍｐｒｅｓｓｉｏｎ）は、検索クエリーに対しての結果としてのユーザーへの検索リスティングの提示である。表示は、検索結果セットのサイズ、および、検索リスティングがセット内に提示される位置を含むコンテクストをも含む。表示は、正当な検索のみ検索リスティングの性能査定に考慮される事を保証するためにフィルターされる。クリックも同様に、クリックは人のユーザーによってされた正当な選択のみを表す事を保証するためにフィルターされる。ここに使われたように、クリックは、ユーザーによっての検索結果セットからの検索リスティングの選択の行為である。一部の検索エンジンにおいて、人のユーザーによっての検索リスティングのクリックは、検索エンジンのプロバイダーがクリックされる検索リスティングの持ち主に、同意された額を請求する請求可能な出来事である。
【００１６】
性能測定が変化に順応するのを許すために、および現性能測定へのはるか過去の性能の不適当な影響を避けるために、性能は、最も新しい表示、およびクリックのみに限られる可能性があり、または、動的に、任意の時間的な期間、および提示された位置の組み合わせを含むために調整させられる可能性もある。
【００１７】
検索リスティングが、性能の最低の許されるレベル以下にて機能していると決定される場合は、検索リスティングは、検索リスティングが機能改善をするために編集されるように、または、その検索クエリーに結果としてこれ以上有効にならないように、検索データベースから最適化、または、除去と印が付けられる。結果として、検索クエリーを提出したユーザーに良くない、または簡単に魅力のない印象を与える検索リスティングは、自動的に識別され、および改善され、または検索データベースから選別される。そのため、検索エンジンの価値と役割は相当に向上する。そうする事によって、特に大きな検索データベースのモニタリング、および維持は、自動的により管理しやすくなる。加えて、検索エンジンのプロバイダーは、各々の検索リスティングの性能をモニターすることによって検索エンジンの全体的な性能を絶えず改善することができる。
【００１８】
一旦、検索リスティングが性能以下と印を付けられると、検索リスティングは多数ある中の任意の方法において扱われる可能性がある。一方法は、検索リスティングの修正まで検索データベースにおいて検索リスティングを実行可能状態に置いておくことである。他の方法は、修正まで検索リスティングを除去し、その後、検索データベースに検索リスティングを再度、含む事である。性能以下の検索リスティングへの修正は、手動によって人の編集者、または自動的にされる可能もある。例えば、性能データは、タイトルに検索クエリーが含まれる検索リスティングと比べ、まさにその検索クエリーがタイトルに含まれない検索リスティングよりも、より良く機能する事を示す。検索クエリー自体の無いものは自動的に検出され、および、検索リスティング自体は、タイトルに検索クエリーを含むように、自動的に修正される。
【発明を実施するための最良の形態】
【００１９】
本発明にしたがうと、検索データベースにおいて、通常実施以下の検索リスティングは、自動的に削除、および評価としてフラグが付けられる。通常実施以下の検索リスティングは、その検索リスティングが検索データベースの使用者にとって不必要である印象を与える強い印である。自動的にフラグが付けられた検索リスティングは、検索データベースのそのような検索リスティングを含む物を避けるために、任意のフィルター編集機能を避け得る不必要な検索リスティングを発見することができる。
【００２０】
図１は、この例示的実施形態において、インターネットである広い範囲のネットワーク１０４に連結し、およびそれを提供する検索エンジン１０２を表している。幾つかのホストコンピュータシステム１０６Ａ〜Ｄはインターネット１０４と連結しており、幾つかのクライアントコンピュータシステム１０８Ａ〜Ｃにコンテンツを提供する。勿論、図１は図解のために非常に単純化したものである。例えば、４つのホストコンピュターシステムと３つのクライアントコンピュターシステムが図に表されているが、それは（ｉ）インターネットと連結された何百万ものホストコンピュターシステムとクライアントコンピュータシステムであり、（ｉｉ）ホストコンピュターシステムはクライアントコンピューターシステムの様に情報を取り出すことができ、クライアントコンピュターはホストコンピューターシステムの様に情報を受取る事ができる。
【００２１】
検索エンジン１０２はホストコンピュータシステム１０６Ａ〜Ｄによって受取られた情報を一覧化するコンピュターシステムであり、クライアントコンピュター１０８Ａ〜Ｃの任意のホストコンピューター１０６Ａ〜Ｄによって受取られ得る情報検索リクエストを提供する。そのようなリクエストへの応答として、検索エンジン１０２は検索クエリーで明言された１以上の検索用語と対応する任意の一覧化された情報のレポートを作り出す。そのようなホストコンピュターシステム１０６Ａ〜Ｄによって受取られた情報は、一般的にウェブサイトとして参照される形をとる情報も含まれる。そのような情報は、ワールドワイドウェブとして広く知られているインターネットの一環の中でよく知られ、幅広く使われているハイパーテキストトランスポートプロトコル（ＨＴＴＰ）を通して取り出される。使用者に出された単独のマルチメディア書類はウェブページとして一般的に参照され、１人、１グループまたは１団体によって制御された関連したウェブページは、ウェブサイトとして参照される。関連しているウェブページそしてウェブサイトの検索はそこに表される間、そこに表している幾つかの手法は広い範囲のネットワークに他の形で保存された情報の検索に同等に適用できる。
【００２２】
検索エンジン１０２は図２に詳細にわたり示されている。検索エンジン１０２は、検索データベース２０８を使った任意のクライアントコンピュータシステム１０８Ａ〜Ｃからの検索リクエストの受け取り、または提供をする検索サーバー２０６を含む。検索エンジン１０２はまた、任意のホストコンピュター１０８Ａ〜Ｄからの提示リスティング検索を受け取るための提示サーバー２０２も含む。各々の提示は、任意のホストコンピュータ１０８Ａ〜Ｄによって受取られた情報を検索データベース２０８内に一覧化させる事をリクエストし、したがって検索サーバー２０６を通して検索結果として用意される。
【００２３】
クライアントコンピュータシステム１０８Ａ〜Ｃへの不要な検索結果の提供を避けるために、検索エンジン１０２は、検索データベース２０８内にあるそのような検索リスティングを含む以前に提示された検索リスティングの評価をする編集エバリュエーター２０４を含む。
【００２４】
この例示的実施形態にある、各々の提示サーバー２０２、編集エバリュエーター２０４そして検索サーバー２０６を含む検索エンジン１０２は、１つ以上のコンピューター内で作動している１つ以上のコンピューター処理の全て、またはその一部である。簡潔には、提示サーバー２０２は検索データベース２０８内にある情報を並べるためにリクエストを受取り、そして編集エバリュエーター２０４は検索データベース２０８にある検索リスティングを含める以前に、提示されたそれらを評価する。そのような検索リスティングが確認される処理は、Ｄｏｍｉｎｉｃ  Ｃｈｅｕｎｇらによって２００２年９月１３日に出願された米国特許出願番号第１０／２４４，０５１号、「Ａｕｔｏｍａｔｅｄ  Ｐｒｏｃｅｓｓｉｎｇ  ｏｆ  Ａｐｐｒｏｐｒｉａｔｅｎｅｓｓ  Ｄｅｔｅｒｍｉｎａｔｉｏｎ  ｏｆ  Ｃｏｎｔｅｎｔ  ｆｏｒ  Ｓｅａｒｃｈ  Ｌｉｓｔｉｎｇｓ  ｉｎ  Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ  Ｓｅａｒｃｈｅｓ」により完全に記載されており、そしてその記載は任意のそしてあらゆる目的のためにここに援用される。
【００２５】
検索エンジン１０２は本発明にしたがった個々の検索リスティング性能を挙げるデータを含む性能データベース２１０も含む。編集エバリュエーター２０４は、もしある場合は、どの検索リスティングが検索データ-ベース２０８から除外されるべきなのかを決定する検索リスティングの性能を評価する性能データ-ベース２１０を使う性能モニター２１２を含む。性能モニター２１２の性質はロジックフロー図３００を絡めてここに簡潔に記載されており（図３）、より詳細に以下に記載されている。
【００２６】
ステップ３０２において、性能モニター２１２（図２）はモニターされた検索リスティングの性能を定期的に評価する。この例示的実施形態にあるように、検索結果の性能は、毎回検索の結果として検索リスティングが提供される度に更新され、それによって検索リスティングの評価性能はいつも現在の物である事が決定する。代替の実施例としては、検索リスティング性能は定期的に、例えば毎日、評価される。
【００２７】
人間の監督無しに自動的に認められた検索リスティングだけが、この例示的実施形態で性能モニターに表される。さらに、幾つかの提示者は信頼できると考えられ、彼らの検索リスティングは通常、性能に対してモニターされない。しかしながら、代替的な実施例では、全ての検索リスティングは性能に対してモニターされる。この実施例では、定期的な検索リスティングの評価が毎月ごと行われる。代替の実施例では、そのような評価は毎週、および半月ごと行われる。勿論、他の評価実施期間を使うこともできる。性能評価の頻度は、（ｉ）相対的性能の、公正に信頼できる査定を提供するために十分な性能データを収集でき、（ｉｉ）かなりの、または計測可能な量で査定が変化することが事実上予想できる査定間隔で十分なデータが集められる事がが望ましい。
【００２８】
性能モニター２１２があらゆる検索リスティングの性能を評価する方法は以下に記載される。テストステップ３０４（図３）において、性能モニター２１２（図２）は査定された性能が所定のしきい値以下かどうかを決定する。所定のしきい値は、より詳細な検索リスティング性能評価の説明と共に記載されている。性能が所定のしきい値以下でない場合は、性能モニター２１２は検索リスティングが格別不要ではなく、検索リスティングを検索データベース２０８（図２）に残したまま、ロジックフロー図３００（図３）に従って処理が完了する。
【００２９】
反対に検索リスティングの性能が所定のしきい値以下の場合は、性能モニター２１２は検索リスティングが通常以下に不要であると決定し、処理はテストステップ３０６（図３）へと移行する。テストステップ３０６において、性能モニター２１２は検索リスティングが自動修正の候補であるかを決定する。性能モニター２１２は検索リスティングの性能を改善すると信じられる多数の検索リスティング修正プロフィールを維持する。そのようなプロフィールは、検索リスティングが検索リスティングのタイトルにおいて格別適切とされる検索クエリーが含まれる事を示す。この例示的実施形態において、性能モニター２１２は検索リスティングのタイトルに検索クエリーがすでに含まれているかどうかを決定する事によって、テストステップ３０６の決定を下す。
【００３０】
検索リスティングが自動修正の候補である場合は、テストステップ３０６から、性能モニター２１２が検索リスティングに１つ以上の自動修正プロフィールを適用するステップ３０８に処理を移行する。この例示的実施形態において、性能モニター２１２は検索クエリーを含めるために検索リスティングのタイトルを修正する。ステップ３１０においては、修正された検索リスティングがオンラインになる。即ち、修正された検索リスティングは、検索リスティングが修正した物として検索クエリーの結果、提供されるように検索データベース２０８に記憶させる。ステップ３１０後、ロジックフロー図３００に従って処理は完了する。
【００３１】
性能モニター２１２（図２）がテストステップ３０６（図３）において検索リスティングが自動修正の候補でない場合は、ステップ３１２へ処理が移行する。ステップ３１２においては、性能モニター２１２（図２）は検索リスティングをオフラインに移す。一実施形態において、性能モニター２１２は検索リスティングを検索データベース２０８から取り除くことによって、検索リスティングをオフラインに移す。代替の実施形態において、性能モニター２１２は検索リスティングを不可と印し、検索データベース２０８にその印を付けたまま検索リスティングを残す事によって、検索リスティングをオフラインに移す。この実施形態において、検索サーバー２０６は検索結果として、不可と記されていない検索データベース２０８の検索リスティングのみを提供する。
【００３２】
ステップ３１４（図３）において、性能モニター２１２（図２）は検索リスティングのオフライン状態に関してオフライン検索リスティングの使用者に通知する。それに応じて、検索サーバー２０６の使用者に受け入れられるであろうとされる、新しい検索リスティングを提示する等の修正動作を使用者は取ることができる。
【００３３】
状態図６００（図６）は性能不十分検索リスティングが取り除かれず、例えばステップ３１２（図３）においてステップ３０８での自動修正の直後、またはその後も引き続き性能不十分が続行され、その代替として性能不十分検索リスティングの使用者は除去作業の以前に、検索リスティングを改善する機会を与えられる場合のような若干複雑な実施形態を例示する。
【００３４】
検索リスティングが検索データベース２０８（図２）に含まれる事がまず認められた場合は、その検索リスティングは蓄積状態６０２（図６）になる。蓄積状態６０２においては、検索リスティング性能に関してのデータは以下に、より完全に記載されているように蓄積される。蓄積状態６０２にある検索リスティングは検索リスティングがある程度の所定回数、すなわち検索リスティングが使用者に検索結果として出される所定回数蓄積するまでは、検索リスティング性能の観点で評価されない。この例示的実施形態において、ある程度の所定回数とは２００である。勿論、他の数値を所定数回として使われる可能性はある。
【００３５】
一旦検索リスティングが所定数回蓄積されれば、検索リスティングは評価状態６０４に進む。評価状態６０４は大多数の検索リスティングが大半回数留まる状態である。評価ステート６０４においては、検索リスティング性能はここでより完全に記載されているように評価される。検索リスティング性能が所定しきい値以上である限り、検索リスティングは評価状態６０４に留まる。しかしながら検索リスティング性能が所定しきい値より下回る場合があれば、検索リスティングは警告状態６０６に進む。
【００３６】
警告状態６０６においては、検索リスティング性能不十分の使用者は検索リスティング性能不十分と通知され、検索リスティングを修正するためのある程度限られた時間が与えられる。あるいは、検索リスティングを修正する機会を使用者に与えるよりも、以上ステップ３０６〜３１０（図３）で記載されたように自動修正が適切と決定された場合に、検索リスティングは自動的に修正される。
【００３７】
修正必要または自動修正の使用者への通知はＥメールまたは、使用者が所持している検索リスティングへのアクセスへの提供時のウェブ上のアカウント管理申請で使用者に提示された形であり、またこのようなウェブ上の申請は以下図１７で、より完全に記載されている。そのようなアクセスは例えば、検索リスティング性能の統計、検索リスティングの質そしてアカウント情報を含む可能性もある。通知はまた、検索リスティング性能の改善方法に関する提案をも含む可能性もある。
【００３８】
使用者が所定期間内、例えば１４日間内に検索リスティング性能不十分を修正する場合は、検索リスティングは仮状態６０８に進む。反対に検索リスティングが所定期間内に修正されない場合は、検索リスティングが検索データベース２０８（図２）より取り除かれる除去状態６１０に進み、検索リスティングの使用者はその除去を通知される。
【００３９】
仮状態６０８において、検索リスティング性能に関してのデータは、蓄積状態６０２での検索リスティング性能によく似た蓄積のされ方で蓄積される。仮状態６０８にある検索リスティングは検索リスティングがある程度の所定回数蓄積されるまでは、検索リスティング性能の観点で評価はされない。この例示的実施形態において、ある程度の所定回数とは２００である。一旦仮状態６０８にある検索リスティングが所定最低回数蓄積されれば、検索リスティングは評価状態６０４に戻り、検索リスティングの評価は続く。
【００４０】
一部の実施形態においては、蓄積状態６０２と仮状態６０８は同一状態である。代替実施形態では、仮状態６０８は蓄積状態６０２とは異なる。代表的な蓄積状態６０２と仮状態６０８の差異は、評価状態６０４への移行前までの蓄積所定回数と、検索リスティングが以前仮状態６０８に存在した記録回数である。この後者の差異は、特定の検索リスティングが仮状態６０８に何回進むことを許された可能性を限定するのに有益である。例えば、検索リスティングの再度の修正機会を使用者に与える事無しに除去される以前に一自動修正と三回の仮状態６０８が検索リスティングに許される。
【００４１】
あらゆる検索リスティングの性能査定を容易にするために、検索サーバー２０６は検索リスティングの表示と検索リスティングのクリックに関してのデータを収集する。検索リスティングの表示は検索リスティングが検索結果として提示される事を指す。クリックは、検索リスティングによって表されるウェブページまたは他の情報を引き出し見るために、ユーザーによる検索リスティングの選択を指す。
【００４２】
この例示的実施形態において、検索リスティングの表示は、検索結果として提供されたリスティング、および検索結果内での表示位置と定義される。その上、この例示的実施形態では、検索リスティングがビッド（ｂｉｄ）されたかどうか、即ち検索リスティングの持ち主が検索リスティングの重要な位置のために支払ったのかどうかを明確にするデータを表示に含む。実施例として、検索リスティングの表示は「ｅｘｐｅｒｉｍｅｎｔａｌ  ａｉｒｃｒａｆｔ  ｅｎｇｉｎｅ」と定義された検索の検索結果として提供された三番目の検索リスティングを明確にするデータによって、検索リスティングの表示は定義される事ができる。
【００４３】
検索エンジンの存在理由はインターネット１０４のような広い範囲でのネットワークでの必要な情報の場所確認を容易にする事であるので、必要な情報の正しい場所の印は、ユーザーに提供される検索リスティング結果に関連する情報の試みられた検索である。単純に言えば、ユーザーは検索リスティングと関連したウェブページへのリンクを提供され、例えばマウスまたは他の便利なアウトプット用の機器でリンクを「クリッキング」することによってリンクを作動させ、それによって検索リスティングに関連したウェブページがリクエストされる。したがって検索リスティングの「クリック」はユーザーによっての検索リスティングに関連したリンクの作動を指し、「クリック」は検索リスティングがユーザーへ必要な情報を提供する事の印である。
【００４４】
一般的には検索結果内の所定の場所は、他の場所より優れている。言い換えれば、ユーザーは一般的に、他の場所の検索結果が関連した検索結果内のそのような場所に提示された検索結果をクリックする事が多い。それに応じて、一実施形態において、検索リスティングの性能は、ユーザーに提示された検索結果内で同等の位置にある他の検索結果に関してクリックされた検索リスティングの率によって評価される。従って、情報は、ユーザーに提示された検索リスティングのあらゆる位置とユーザーによってのそのような検索リスティングへのクリックに関して収集される。
【００４５】
表示やクリックを表すデータを収集するために、検索サーバー２０６はリンクパッケジャー４０４（図４）とリダイレクトモジュール４０６を含む。検索サーバー２０６は又、ここに記載されてる以外は定型の検索エンジンロジック４０２も含む。任意のクライアントコンピューターシステム１０８Ａ〜Ｄ（図１）からの１つ以上の検索用語を含む検索リクエストの受け取りへの対応の検索サーバー２０６の反応は、ロジックフロー図５００（図５）によって示されている。
【００４６】
ステップ５０２において、検索エンジンロジック４０２（図４）は、検索データベース２０８（図２）から、検索データベース２０８に保存されたあらゆる検索リスティングに関したビッド（ｂｉｄ）量に応じて、検索用語に一般に最も関連した多数の検索リスティングを得る。
【００４７】
ステップ５０４（図５）において、検索エンジンロジック４０２（図４）はステップ５０２にて得られた検索リスティングをリンクパッケジャー４０４へと渡す。各々の検索リスティングについて、リンクパッケジャー４０４は検索リスティングのＵＲＬを構文解析し、ＵＲＬと検索表示を表すデータの両方をコード化する。コード化されたＵＲＬと表示データはリダイレクトモジュール４０６にアドレスされた新しいＵＲＬに含まれる。従って、リンクパッケジャー４０４は検索結果がユーザーに提示される時に、表示を表すデータを維持し、後にリダイレクトモジュール４０６によって受取られ、クリックを表すデータを保持するために構文解析されるデータをデータ化する。リダイレクトモジュール４０６によっての受け取りと構文解析は、以下により完全に記載されている。リンクパッケジャー４０４は検索エンジンロジック４０２にコード化されたＵＲＬを渡し、その検索エンジンロジック４０２はステップ５０６での検索結果の一部としてユーザーにコード化されたＵＲＬを渡す。
【００４８】
リンクパッケジャー４０４（図４）によって行われたステップ５０４はロジックフロー図５０４（図７）にてより詳細に示されている。ステップ７０２において、リンクパッケジャー４０４（図４）は現在行われている検索リクエストに結果セットに含まれる全結果検索リスティング数を決定する。ステップ７０４（図７）においては、リンクパッケジャー４０４（図４）は検索結果セットに含まれる全ビッド（ｂｉｄ）検索リスティング数を決定する。一実施形態において、検索結果に含まれる全検索リスティング数と全ビッド検索リスティング数は検索エンジンロジック４０２によって前もって決定され、リンクパッケジャー４０４へと伝達される。代替の実施形態において、検索エンジンロジック４０２は検索結果リスティングセットをリンクパッケジャー４０４へと伝達し、リンクパッケジャー４０４は検索リスティングそのものを検査することによって、全検索リスティング数と全ビッド検索リスティング数を推定する。
【００４９】
ループステップ７０６と次ステップ７０８は、リンクパッケジャー４０４（図４）がステップ７０８〜７１６（図７）に従って結果セットの各々の検索リスティングを処理するループとなる。ループステップ７０６〜７１８の特定の反復間、処理された特定の検索リスティングは対象（ｓｕｂｊｅｃｔ）検索リスティングを示す。
【００５０】
ステップ７０８において、リンクパッケジャー４０４（図４）は結果セット内の対象検索リスティングの場所を決定する。一実施形態において、リスティング内の相対的位置は、相対的な検索能力および/または、検索セットの各々の検索リスティングの相対ビッドに従って検索エンジンロジック４０２によって指定され、そして検索エンジン４０２が明白なそれらの指定された位置データを送信する事で、それらの相対的位置は、リンクパッケジャー４０４へと伝達される。代替の実施形態においては、検索エンジン４０２によって決定された相対的位置は、検索リスティングがリンクパッケジャー４０４へと伝達された順序から推定される。
【００５１】
テストステップ７１０（図７）において、リンクパッケジャー４０４（図４）は対象検索リスティングがビッドされたか否かを決定する。例えば、リンクパッケジャー４０４は各々の検索リスティングがビッドされたか否かを明白に指摘する検索エンジンロジック４０２から受取られたデータを読む事は可能である。代替的に、検索リスティングがビッドされたか否かは結果セット内の各々の検索リスティングの相対的位置から推定される事が可能である。例示的実施形態において、結果セットの検索リスティングの最初の３つと最後の２つは値が付けられ、残りの検索リスティングは値が付けられない。
【００５２】
対象検索リスティングがビッドされた場合、処理はリンクパッケジャー４０４（図４）が、ビッド検索結果セット内の対象検索リスティングの相対的位置を決定するステップ７１２（図７）へと移行する。以上に記載された方法においては、この相対的位置は明白に指定され、検索リスティング結果セットから推定される。反対に対象検索リスティングがビッドされていない場合は、リンクパッケジャー４０４はステップ７１２（図７）を飛ばす。
【００５３】
ステップ７１４において、リンクパッケジャー４０４（図４）は、全ての検索結果内のおよび、対象検索リスティングの全てのビッド検索結果内の全検索リスティング数、全ビッド検索リスティング数、対象検索リスティングのＵＲＬ、および相対的位置をコード化する。このような値は、クリアーテキストＣＧＩ変数としてコード化される可能性もあり、特定のコード化された値を隠すためにそしてそれによって、そのような値を変更する事を避けるためにも、データの寄せ集め、または他の暗号スクランブルとしてコード化される可能性もある。
【００５４】
ステップ７１６（図７）において、リンクパッケジャー４０４（図４）は、ステップ７１４（図７）からのコード化されたデータを含む探知可能な（ｔｒａｃｋａｂｌｅ）ＵＲＬを作る。リダイレクトモジュール４０６（図４）にアドレスされるので、ＵＲＬはトラック可能である。従って、任意のクライアントコンピュータ１０８Ａ〜Ｄ（図１）でユーザーに検索リスティングを提示した後、ユーザーによっての任意の検索リスティングの任意の選択はＨＴＴＰリクエストをリダイレクトモジュール４０６（図４）に送信する。リダイレクトモジュール４０６は、その結果、クリックされた検索リスティングを中断し、またはロジックフロー図８００（図８）に示されているようにそのようなクリックを記録する位置にある。
【００５５】
ステップ８０２において、リダイレクトモジュール４０６（図４）はＨＴＴＰリクエストのＵＲＬを検索する。上記したように、ＵＲＬは全検索リスティング内、および全ビッド検索リスティング内のユーザーに提示された全検索リスティング数、ユーザーに提示された全ビッド検索リスティング数、ユーザーが選択した検索リスティングのＵＲＬ、およびユーザーが選択した検索リスティングの相対的位置を表すデータを含む。リダイレクトモジュール４０６はステップ８０４（図８）にてＵＲＬからこのような値を復号する。
【００５６】
ステップ８０６において、リダイレクトモジュール４０６（図４）は以下に記載された方法での後の性能評価のために検索されたＵＲＬによって表されるクリックを記録する。簡潔にはリダイレクトモジュール４０６は、ユーザーによって選択された特定の検索リスティングを記録し、以下により完全に記載された方法で、検索リスティングがクリックのフィルタリングのために日付と時間の刻印と共に選択される検索結果セットを記録する。
【００５７】
ステップ８０６において、リダイレクトモジュール４０６は、ステップ８０４にて検索されたＵＲＬからディコードされたＵＲＬで表されたアドレスへＨＴＴＰリクエストをリダイレクト（ｒｅｄｉｒｅｃｔ）する。従って、ユーザーは結局、選択されたリスティングのＵＲＬによってアドレスされたウェブページを提供され、これはユーザーによって予想された行動である。
【００５８】
検索、表示、およびクリックは以上に記載されたように、性能データベース２１０（図２）にて表される。性能データベース２１０は図９にて詳細にわたって示されている。
【００５９】
性能データベース２１０は、検索ファイル９０４、ビッドクリックファイル９０６、およびビッドなしクリックファイル９０８を含む検索クリックジョイン９０２を含む。検索ファイル９０４は図１０により詳細に示されている。
【００６０】
検索ファイル９０４は多数の検索記録を含み、各々の検索記録は検索データベース２０８（図２）の個別の検索を表す。識別子１００２は特定の検索を特有に識別する。ターム１００４は、識別子によって識別された検索にてユーザーによって提供された１つ以上の検索用語を表す。リンクリスト１００６は検索エンジンロジック４０２（図４）によって収集された結果セットに含まれる検索リスティングを表し、また、リンクリスト１００６は、結果セットの各々のリスティングにおいて、検索リスティングが値付きであろうと値付きでなかろうと、検索リスティングが検索データベース２０８（図２）内に識別子によって設けられたその識別子を含み、また全検索リスティングセット内または、検索リスティングがビッドされている場合は値付き検索リスティング内の相対的位置を含む。検索リスティングがビッドされたか否かは、リンクリスト１００６内で明白に表される可能性があり、または、検索リスティングを表す検索データベース２０８からのデータ検索によって決定される。
【００６１】
検索ファイル９０４の検索記録は、特定の個人ユーザーに一度送られた検索結果の一セットを表し、または、ターム１００４によって表された検索用語とリンクリスト１００６によって表された結果検索リスティングのセットは多数の検索内では同等であり、検索ファイル９０４の検索記録はその多数の検索を表す。同様に結果セットは、検索リスティングの一つの統一された表示（即ち、結果の一頁）のために一処理内にて、ユーザーへ送られた検索リスティングセットと考慮される可能性があり、または、代替的に結果セットは、複数頁にわたり、バッチとしてユーザーに送られた検索リスティングの大きなセットと考慮される可能性がある。
【００６２】
ビッドクリックファイル９０６とアンビッド（ｕｎｂｉｄ）クリックファイル９０８はお互いに類似しており、次のビッドクリックファイル９０６の記載は、表示されている場合を除いては、同様にアンビッドクリックファイル９０８に適用する。本来、ビッドクリックファイル９０６は、アンビッドクリックファイル９０８をアンビッド検索リスティングのクリックを表すのに対し、ビッド検索リスティングのクリックを表す。ビッドクリックファイル９０６は図１１にて詳細に記載されている。
【００６３】
ビッドクリックファイル９０６は、クリックを表す各々のクリック記録数、すなわち上記している方法でリダイレクトモジュール４０６よって捕らわれた検索結果リスティングのユーザーによる選択の数を含む。各々のクリック記録は時刻印１１０２、検索識別子１１０４、およびリンク識別子１１０６を含む。時刻印１１０２はリダイレクトモジュール４０６によって見つけられたクリックの日付と時刻を表す。時刻印１１０２はより完全に下記されているように、クリックのフィルターのために使われる。
【００６４】
検索識別子１１０４は、クリックが各自の検索に適切かを指定し、およびそれによって関連した検索結果を指定するために各自の識別子１００２（図１０）に一致する。それに応じて、検索識別子１１０４は検索リスティング結果セット、例えばユーザーの選択時の選択枠、リンクリスト１００６を指定する。リンク識別子１１０６はユーザーによって選択された検索リスティングを識別する。即ち、リンク識別子１１０６はユーザーによって選択された唯一のものとしてリンクリスト１００６内の特定の検索リスティングを識別する。
【００６５】
従って、検索クリックジョイン９０２（図９）は表示、および明確な検索の結果セットの明確な検索のリスティングのクリックを記録する。予期されるクリック率９１０は、検索データベース２０８の明確な検索リスティングの性能査定での使用のための追加の以前のデータを含む。具体的に言えば、予期されるクリック率９１０は、絶対的なクリックスルー履歴テーブル９１２、およびを相対的なクリックスルー履歴テーブル９１４を含む。
【００６６】
テーブル９１２〜９１４は明確な検索リスティングの性能を量で表すのに下記の、より完全な方法に使われる。絶対的なクリックスルー履歴テーブル９１２は、各々の位置で検索リスティングが様々な大きさの結果セットの中でクリックされる回数を記録する。例えば、絶対的なクリックスルー履歴テーブル９１２は、一検索リスティングしか含まない結果セットの回数、および一検索リスティングがクリックされた回数を記録する。その上、絶対的なクリックスルー履歴テーブル９１２は、２つの検索リスティングを含む結果セットの回数、および１つめと２つめの検索リスティングがそれぞれにクリックされた回数を記録する。同様に、絶対的なクリックスルー履歴テーブル９１２は、３つの検索リスティングを含む結果セットの回数、ならびに第１、第２、および第３の検索リスティングがそれぞれにクリックされた回数を記録する。絶対的なクリックスルー履歴テーブル９１２は、順番に第４、第５と所定の最高数番目の検索リスティングを含む結果セットの同様の情報を記録する。
【００６７】
相対的なクリックスルー履歴テーブル９１４は、同じ検索においてクリックされた複数の検索リスティングを記録する以外は、同様な情報を記録する。例えば、相対的なクリックスルー履歴テーブル９１４は、結果セットが２つの検索リスティングを含む場合、第１と第２の検索リスティングが両方ともクリックされた回数を記録する。同様に、相対的なクリックスルー履歴テーブル９１４は、結果セットが３つの検索リスティングを含む場合、（ｉ）第１と第２の、（ｉｉ）第２と第３の、および（ｉｉｉ）第１と第３の検索リスティングが両方ともクリックされた回数を記録する。クリックは順番に第４、第５と所定の最高数番目の検索リスティングを含む結果セットの同様な組み合わせを、同様に計算する。
【００６８】
全検索のクリックの全履歴は、検索用語、または特定のユーザーに関らず、絶対的なクリックスルー履歴テーブル９１２、および相対的なクリックスルー履歴テーブル９１４に含められる事は注目すべきである。テーブル９１２〜９１４の目的は、特定の長さの結果セット内での特定の位置の検索リスティングが、検索リスティングの内容に関らずクリックされる可能性の推測を提供する事である。従って、性能モニター２１２は性能以下の検索リスティングを識別する基準を持っている。
【００６９】
スコア９１６は、下記の方法で性能モニター２１２によって決定された、個々の検索リスティングの相対性能を表す。削除テーブル９２４は、性能以下として性能モニター２１２によって決定され、したがって修正される、および／または検索データベース２０８から削除されることになる各々の検索リスティングを識別する。パラメーター９２２は、以下の方法で性能モニター２１２によって性能の査定を制御するデータを含む。
【００７０】
従って、リンクパッケジャー４０４の協力と共に、リダイレクトモジュール４０６によって収集された性能データを得て、性能モニター２１２は特定の検索リスティングの性能を効果的に査定する役にある。性能モニター２１２は図１２に詳細にわたって示されている。
【００７１】
性能モニター２１２は、検索リスティングの性能査定を、不適当に影響し得るユーザーの選択を表すデータを削除するクリックフィルター１２０２を含む。例えば、検索リスティングのユーザーの選択が、人のユーザーによっての選択にはありそうもない短時間で現れた場合、ユーザーが不注意に一選択内で複数回同じリンクをクリックしたと推測されるか、またはコンピュータ処理が人のユーザーのように機能しているので、おそらく人が選択をするのより速くなると推測される。どちらにおいても、所定のしきい値時間よりも短く、同じクライアントコンピュータシステムから、たとえば、任意のクライアントコンピューターシステム１０８Ａ〜Ｄから続く検索リスティングの選択は、クリックフィルター１２０２によって破棄される。所定の時間のしきい値はパラメータ９２２（図９）に表されている。
【００７２】
クリックフィルター１２０２（図１２）は、時間的に密の同様な検索の後の検索に一致するクリックも破棄する。この例示的実施形態において、検索記録破棄の検索間のしきい値の近さは、同じ検索用語での検索の所定回数で取られた平均内部検索インターバルの所定の部分である。所定の部分、および検索の所定回数はパラメーター９２２（図９）に示される。
【００７３】
他の種類のクリックは、ウェブの内容の誠実な検索の状況での人のユーザーのクリックを示さない。そのようなクリックの例は、検索リスティングの持ち主が、自分の検索リスティングが同じ検索クエリに付属する他の検索リスティングの中で、どのように位置付けされているのかを見つけるために、検索クエリを提示する場合のクリック、および検索リスティングの持ち主が不適切にも、検索リスティングの評価された性能をつりあげようと検索リスティングを検索する場合のクリックを含む。クリックフィルター１２０２は、より完全に、Ｓｃｏｔｔ  Ｂ．Ｋｌｉｎｅらによって、この出願が提出された日と同じ日に出願された米国特許出願Ｓ／Ｎ  １０＿，＿号、「Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ｉｍｐｒｏｐｅｒ  Ｓｅａｒｃｈ  Ｑｕｅｒｉｅｓ  ｆｉｎ  ａ  Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ  Ｓｅａｒｃｈ  Ｅｎｇｉｎｅ」（代理人  Ｐ−２２４２）に記載された方法で全ての違法の検索は除去され、その記載は援用される。違法の検索の除去において、クリックフィルター１２０２は、それらの除去された検索に関連する任意のクリックをも除去する。検索のフィルターの上に、クリックフィルター１２０２は、また、Ｓｔｅｐｈａｎ  Ｄｏｌｉｏｖによる米国特許出願Ｓ／Ｎ０９/７６５,８０２号、「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｔｏ  Ｄｅｔｅｒｍｉｎｅ  ｔｈｅ  Ｖａｌｉｄｉｔｙ  ｏｆ  ａｎ  Ｉｎｔｅｒａｃｔｉｏｎ  ｏｎ  ａ  Ｎｅｔｗｏｒｋ」に記載の方法で無効なクリックを発見し、その記載は援用される。任意の発見された無効なクリックは除去される。クリックのフィルターは、浅い検索用語需要、すなわち相対的にまれにしか検索されない検索用語の場合には、得に重要になる。このような用語の相対的にまれな検索の原因で、浅い需要での不適切な検索が、検索リスティングの計測された性能にかなり影響しやすい。
【００７４】
一実施形態においては、クリックフィルター１２０２（図１２）は、クリックと検索が検索クリックジョイン９０２（図９）で蓄積されている時に、クリックと検索をフィルターする。それに応じて、検索クリックジョイン９０２は合法なクリックと検索のみを示すデータを保存する。代替の実施形態において、全てのクリックと検索は検索クリックジョイン９０２内に記録され、クリックフィルター１２０２（図１２）は、検索とクリックが処理のために性能モニター２１２によってインポートされる時に、それらの検索とクリックをフィルターする。
【００７５】
性能モニター２１２は、任意の検索リスティングが、検索リスティングの除去を許すための十分なマージンによって機能しているか否かを決定する検索リスティング性能を査定する検索リスティング選別１２０４を含む。そのような機能はロジックフロー図１３００（図１３）に表してある。
【００７６】
この例示的実施形態において、ロジックフロー図１３００に従っての処理は毎月行われる。その処理は検索リスティングに、適度に信頼できる統計分析を提供するために十分検索回数に対して、結果セットに含められる機会を与える。勿論、他の頻度、例えば年４回、ひと月おき、半月、１週間、または毎日を特に実行可能状態の検索リスティングのために使用する可能性もある。
【００７７】
ループステップ１３０２、および次ステップ１３１６は、検索リスティング選別１２０４がループ内でステップ１３０４〜１３１４に従って検索ファイル９０４（図９）に保存された各々の検索を処理するそのループを規定する。ループステップ１３０２〜１３１６の各々の反復間に、検索リスティング鑑定によって処理された特定の検索は、時折、対象検索として示される。
【００７８】
ステップ１３０４において、検索リスティング選別１２０４（図１２）は、対象検索に適切であるビッドクリックファイル９０６（図９）とアンビッドクリックファイル９０８からクリック記録を収集する。そのようなクリック記録は、その検索フィールド１１０４（図１１）が対象検索と識別する記録である。結果は、対象検索に返信された結果セットをすでに見たユーザーによって選ばれたリンクリスト１００６（図１０）内のリンクフィールド１１０６からのリンクセットである。
【００７９】
ループステップ１３０６、および次ステップ１３１４は、検索リスティング選別１２０４がループ内でステップ１３０８〜１３１２に従って対象検索のリンクリスト１００６（図１０）の各々の検索リスティングを処理するそのループを規定する。ループステップ１３０６〜１３１４の各々の反復間に、検索リスティング選別１２０４によって処理された特定の検索リスティングは、時折、図１３の対象検索リスティングとして示される。
【００８０】
ステップ１３０８において、検索リスティング選別１２０３は対象検索リスティングの絶対的なスコアを更新する。ステップ１３０８はロジックフロー図１３０８（図１４）に詳細にわたって表される。ステップ１４０２において、検索リスティング選別１２０４は、対象検索のリンクリスト１００６（図１０）のサイズ、検索結果セット内での対象検索リスティングの位置の検索リスティングのための予期されるクリック率を決定する。例えば、対象検索リスティングが対象検索結果セットの第３の検索リスティングであり、および対象検索が１０の検索リスティング結果を得られた場合は、検索リスティング選別１２０４（図１２）は、ステップ１４０２（図１４）にて１０の検索リスティングのセットにおいて第３の位置の検索リスティングのための予期されるクリック率を決定する。
【００８１】
検索リスティング選別１２０４（図１２）は、（ｉ）各々各自の長さの検索ファイル９０４の全検索数、および（ｉｉ）検索の各々の長さのための、各々各自の位置においての検索リスティングがクリックされた回数を保存した、絶対的なクリックスルー履歴テーブル９１２から、そのような決定を下す。各々の位置での予期されるクリック率は、問題になっている位置にある検索リスティングがクリックされた回数を問題になっている長さの検索結果がユーザーに提示された回数で割ったものである。
【００８２】
一部の実施形態においては、対象検索リスティングの全表示が、検索リスティングの性能評価時に考慮される。しかしながら、この例示的実施形態において、一番最近の表示の限定された数、例えば、２００が考慮されている。最近の表示だけを考慮することによって、最近の性能が評価される。したがって、相当数の表示の後の性能の変化は、最近の性能評価を過度に別の意味において影響し得る表示の非常に長い履歴にも関らず、発見される可能性がある。
【００８３】
テストステップ１４０４において、検索リスティング選別１２０４は、対象検索リスティングがステップ１３０４にて収集されたクリックのセットに含まれるか否かを決定する。含まれる場合、処理は、検索リスティング選別１２０４が対象リスティングのためのクリックされた絶対的スコアを計算するステップ１４０８へ移動する。反対に、対象検索リスティングが収集されたクリックのセットに含まれない場合、処理は、検索リスティング選別１２０４が対象検索リスティングのためにクリックされなかった絶対的スコアを計算するステップ１４０６へ移動する。
【００８４】
この例示的実施形態においてのクリックされた絶対的スコアは、予期されるクリック率より２少ない。この例示的実施形態において、クリックされなかった絶対的スコアは、予期されるクリック率より１少ない。大半はクリックされると予期されるが、クリックされない検索リスティングは、ゼロに近い、低い絶対的スコアを持つ。大半はクリックされないと予期され、また、クリックされない検索リスティングは、１よりも小さいが、１に近づく絶対的スコアを持つ。大半はクリックされると予期され、また、クリックされる検索リスティングは、１以上であるが１に近い絶対的スコアを持つ。大半はクリックされないと予期され、また、クリックされる検索リスティングは、２に近い、高い絶対的スコアを持つ。従って、絶対的スコアは、結果セット内の位置の結果として、ユーザーが検索リスティングを選ぶのに関して、検索リスティングがユーザーによって選ばれるか否かの関係を計測する。勿論、絶対的スコアは希望に応じて、目盛をつける可能性がある。この例示的実施形態において、絶対的スコアは、０から１００までの範囲に絶対的スコアがなるように、５０で目盛がつけられる。
【００８５】
ステップ１４０６、またはステップ１４０８の後に、処理は、検索リスティング選別１２０４がステップ１４０６または１４０８にて決定された絶対スコアを、対象検索リスティングのために、集団絶対的スコアに組み入れるステップ１４１０へ移動する。一実施形態において、検索リスティング選別１２０４はフィルターされたクリック記録から絶対的スコアの相加平均を保つ。検索リスティング選別１２０４（図１２）はスコア９１６内に絶対的スコアデータベース９２０（図９）において集合絶対的スコアを保つ。ステップ１４１０（図１４）の後に、ロジックフロー図１３０８、ゆえにステップ１３０８（図１３）に従って処理は終える。
【００８６】
ステップ１３１０において、検索リスティング選別１２０４（図１２）は対象検索リスティングのために相対的スコアを更新する。ステップ１３１０は詳細にわたって、ロジックフロー図１３１０（図１５）にて示される。ステップ１５０２において、検索リスティング選別１２０４はステップ１４０２（図１４）に関して、上記の方法で対象検索リスティングのために予期されるクリック率を決定する。
【００８７】
ループステップ１５０４（図１５）、および次ステップ１５１０は、検索リスティング選別１２０４（図１２）が、ステップ１５０６〜１５０８に従っての対象検索リスティング以外の対象検索の各々の検索リスティングを処理するループを規定する。ステップ１５０４〜１５１０のループの各々の反復間に、特定の検索リスティングは、時折、他の検索リスティングとして示され、および対象検索リスティングとは異なっている。
【００８８】
ステップ１５０６（図１５）において、検索リスティング選別１２０４（図１２）は、対象検索リスティングのために上記の方法にて他の検索リスティングの予期されるクリック率を決定する。
【００８９】
ステップ１５０８（図１５）において、検索リスティング選別１２０４（図１２）は、対象検索リスティング他の検索リスティングとの間の相対的スコアを決定する。この例示的実施形態において、相対的スコアは、（ｉ）ｘは対象検索内の他の検索リスティングの位置を表す、（ｉｉ）ｒは対象検索内の対象検索リスティングの位置を表す、（ｉｉｉ）Ｃはステップ１３０４（図１３）にて収集されたクリックのセットを表す、（ｉｖ）ｂは対象検索においての検索リスティングの数を表す以下の等式によって与えられる。
【００９０】
【数１】
2006525604.tif 000003
等式（１）、および（２）の数値を決定するために、検索リスティング選別１２０４は以下の同値を利用する。
【００９１】
【数２】
2006525604.tif 000004
等式（５）において、Ｐ（ｒ∈Ｃ｜ｂ）は、対象検索の結果の数が与えられ、対象検索リスティングがクリックされる確率を表し、およびステップ１５０２にて決定された予期されるクリック率を使い推測される。Ｐ（ｘ∈Ｃ，ｒ∈Ｃ｜ｂ）は、対象検索の結果の数が与えられ、対象検索リスティング、および他の検索リスティングの両方をクリックする確率を表し、相対的なクリックスルー履歴テーブル９１４（図９）を使い推測される。履歴テーブル９１４は、特定の長さの検索内にて各自の位置にある２つの検索リスティングを、検索ファイル９０４にて表された全検索のためにユーザーが両方ともクリックした全回数を保存する。例えば、相対的なクリックスルー履歴テーブル９１４は、第２、および第３の検索の検索リスティングが結果セット内に５つの検索リスティングを含んでいる全回数を表す。相対的なクリックスルー履歴テーブル９１４から、検索リスティング選別１２０４は、対象検索リスティングの各自の位置にある検索リスティング、および他の検索リスティングが、対象検索結果セットの長さの検索結果セットから選ばれた全回数を引き出す。検索リスティング選別１２０４は、Ｐ（ｘ∈Ｃ，ｒ∈Ｃ｜ｂ）を推測するために、その数を対象検索の長さの検索全回数で割る。従って、等式（５）は、等式（１）、または（２）が適用される場合にて相対的スコアを決定するのに使われる。
【００９２】
等式（３）、および（４）の数値を決定するために、検索リスティング選別１２０４は以下の同値を利用する。
【００９３】
【数３】
2006525604.tif 000005
等式（６）にて、Ｐ（ｒ∈Ｃ｜ｂ）、およびＰ（ｘ∈Ｃ，ｒ∈Ｃ｜ｂ）は順に等式（１）、および（２）と上記の方法にて推測される。さらに、Ｐ（ｒ∈Ｃ｜ｂ）は、対象検索の結果数を与えられ、他の検索リスティングがクリックされた確率を表し、およびステップ１５０６にて決定された他の対象検索の予期されるクリック率を使い推測される。従って、等式（６）は、等式（３）、または（４）が適用される場合に相対的スコアを決定するのに使われる。
【００９４】
等式（１）〜（４）は、通常、対象検索リスティング以外の検索リスティングをユーザーが選んだ場合に対象検索リスティングを不利にする。等式（２）、および（４）は、他の検索リスティングを検索においてユーザーが選んだ場合のその検索を表し、従って通常、より厳しく不利にする。
【００９５】
一度、対象検索リスティング以外の対象検索の全検索リスティングがループステップ１５０４〜１５１０に従って処理されると、処理は、検索リスティング選別１２０４がステップ１５０８の反復作業にて、対象検索リスティングのために決定された全相対的スコアを組み合わせるステップ１５１２へ移動する。この例示的実施形態において、検索リスティング選別１２０４は相対的スコアの相乗平均を使って相対的スコアを組み合わせる。ステップ１５１４においては、検索リスティング選別１２０４は、対象検索リスティングのための相対的スコアを出すために対象検索リスティングの組み合わされた相対的スコアに加重値を与える。
【００９６】
ステップ１５１６において、検索リスティング選別１２０４は対象検索リスティングのために集団相対的スコアに相対的スコアを組み入れる。一実施形態において、検索リスティング選別１２０４は、フィルターされたクリック記録から、および結果セットにおいて一検索リスティング以上を含む検索から相対的スコアの相加平均を保つ。検索リスティング選別１２０４（図１２）はスコア９１６内の相対的スコアデータベース９１８（図９）において集合相対的スコアを保つ。ステップ１５１６の後、ロジックフロー図１３１０に従った処理、ゆえにステップ１３１０（図１３）は、終わる。
【００９７】
集合絶対的スコア、または検索リスティングの集合相対的スコアの一方を更新するのは、検索リスティングの除去のためのテストを誘発する誘発的出来事と考慮される。
【００９８】
この例示的実施形態において、検索リスティング選別１２０４はステップ１３１２において、そのようなテストを行う。代替の実施形態においては、検索リスティング選別１２０４は、集合絶対的、および/または相対的スコアが検索リスティングのために、可能性がある除去のためのそのようなスコアの次テストを待つ状態に更新されるその検索リスティングを配置する。どちらの場合ににおいても、対象検索リスティングの除去テストは、詳細にステップ１３１２が表されるロジックフロー図１３１２（図１６）にて例示された方法において行われる。
【００９９】
テストステップ１６０２において、検索リスティング選別１２０４（図１２）は、対象検索においてのビッドリスティングの数が少なくとも所定の最小しきい値であるか否かを決定する。テストステップ１６０２の通常の目的は、他のビッド検索リスティングの十分数が、相対的スコアを対象検索において性能の適した基準になるように表示されるのか、または対象検索において通常は他の検索リスティングの性能に依存しない絶対的スコアがより良い基準なのかを決定することである。上記されたように、この例示的実施形態はビッドされる、およびビッドされない検索リスティングを処理する。この例示的実施形態において、ビッドされないリスティングは、ビッドリスティングが検索データベースにおいて、包含のためにビッドリスティングの持ち主によって提出される間、「ｃｒａｗｌｉｎｇ」として、時折、指される。従って、ビッドリスティングはより疑わしく、その結果、より注意深く綿密に調べられ、および所定の最小しきい値はこの例示的実施形態において、ビッド検索リスティングのみに適切である。代替実施形態において、ビッドされない検索リスティング数、または全検索リスティングは、絶対的、または相対的スコアが対象検索の内容において、より効果的なのか否かの決定要素として使用される可能性もある。所定の最小しきい値はパラメーター９２２（図９）において、保存される。
【０１００】
ビッドリスティング数が所定の最小しきい値よりも低い場合は、対象検索リスティングの絶対的スコアは性能のよりよい基準と決定され、検索リスティング選別１２０４によっての処理はテストステップ１６０６へ進む。反対に、次第検索においてのビッドリスティング数が最低でも所定の最小しきい値の場合は、相対的スコアが性能のよりよい基準とされ、検索リスティング選別１２０４によっての処理はテストステップ１６０４へ進む。
【０１０１】
各々の相対的スコア、および絶対的スコアのために、各々の所定の最小しきい値はパラメーター９２２（図９）に保存される。検索リスティングは、表示の十分数が上記の方法で程よく信頼できる統計分析を提供するために蓄積されるまでは、除去として考慮されない。一実施形態において、表示の所定の最小数は２００である。代替の実施形態においては、表示の所定の最小数は、検索リスティングのあらゆる特質、および／または検索リスティングが検索用語のために結果として提示の候補であるその検索用語のあらゆる特質によって変化する可能性がある。例えば、表示の、異なった所定の最小数は、（ｉ）一部の検索リスティングの持ち主は時間を経て、より大きい信用を確立しえたゆえに、検索リスティングの持ち主に従って、（ｉｉ）特定の検索用語に検索量に従って、（ｉｉｉ）検索リスティングが適する需要情勢に従って、（ｉｖ）検索リスティングが本来、検索データベース２０８において、包含のために許可された方法に従って、つまり人の編集再検討、または自動編集再検討によって、明確にされる可能性がある。
【０１０２】
テストステップ１６０４にて、対象検索リスティングの表示の数が相対的スコアのための所定のしきい値よりも小さい場合、または、テストステップ１６０６において、対象検索リスティングの表示の数が絶対的スコアのための所定のしきい値よりも小さい場合、ロジックフロー図１３１２に従った処理、つまりステップ１３１２（図１３）は終わり、対象検索リスティングは除去されない。そのような場合において、対象検索リスティングは、蓄積状態６０２（図６）、または仮状態６０８の一方になる。反対に、対象検索リスティングの表示の数が少なくとも、相対的スコアのための所定のしきい値の場合は、処理は、テストステップ１６０８（図１６）へ進み、対象検索リスティングは評価状態６０４（図６）になり、または対象検索リスティングの表示の数が少なくとも、絶対的スコアのための所定のしきい値の場合は、処理は、テストステップ１６１０へ進み、対象検索リスティングは評価状態６０４（図６）になる。
【０１０３】
各々の相対的スコア、および絶対的スコアのために、各々の所定の最小しきい値は、パラメーター９２２（図９）において保存される。検索リスティングは、検索リスティングが表示の必須の数、および所定の最低スコア以下のスコアを有する場合に、除去の印が付けられる。一実施形態において、所定の最低スコアは４６．５である。代替の実施形態においては、表示の所定の最小数は検索リスティングのためのあらゆる特質によって変わる可能性がある。例えば、異なった所定の最低スコアは、（ｉ）一部の検索リスティングの持ち主は時間を経て、より大きい信用を確立しえたゆえに、検索リスティングの持ち主に従って、（ｉｉ）特定の検索用語の検索量に従って、（ｉｉｉ）検索リスティングが適する需要情勢に従って、（ｉｖ）検索リスティングが本来、検索データベース２０８において、包含のために許可された方法に従って、つまり人の編集再検討、または自動編集再検討によって、明確にされる可能性がある。
【０１０４】
テストステップ１６０８において、対象検索リスティングの集合相対的スコアが、相対的スコアのための所定のしきい値以下の場合、または、テストステップ１６１０において、対象検索リスティングの集合絶対的スコアが、絶対的スコアのための所定のしきい値以下の場合、処理は、検索リスティング選別１２０４が対象検索リスティングを除去テーブル９２４において対象検索リスティングを表すことによって除去のための印を付けるステップ１６１４へ進む。それは、警告状態６０６への対象検索リスティングの移行を表す。一実施形態において、所定の最低絶対的スコアを達成できなかった検索リスティングは、自動的に除去されないが、しかしながらその代わりに、自動的に修正をされ、または人の編集によって再検討のためにフラグが付けられる。反対に、対象検索リスティングの集合相対的スコアが少なくとも、相対的スコアのための所定のしきい値スコアである場合、または、対象検索リスティングの集合絶対的スコアが少なくとも、絶対的スコアのための所定のしきい値スコアである場合は、ロジックフロー図１３１２に従った処理、つまりステップ１３１２（図１３）は終わり、対象検索リスティングは除去されない。
【０１０５】
従って、検索リスティングは、表示のその数が所定の最低数に達した場合、および、そのスコアが所定の許されるしきい値以下に下がった場合、検索データベース２０８から除去のための印だけが付けられる。小数の検索リスティングが、対象検索リスティングと合わせて提示される場合は、絶対的スコアが、相対的スコアよりも使用される。
【０１０６】
ステップ１３１２（図１３）の後、対象検索の次検索リスティングは、ループステップ１３０６〜１３１４に従って、処理される。対象検索の全検索リスティングがループステップ１３０６〜１３１４に従って処理された後、検索リスティング選別１２０４によっての処理は、次ステップ１３１６を通して、検索リスティング選別１２０４がステップ１３０４〜１３１４に従って次検索を処理するループステップ１３０２へ進む。検索ファイル９０４の全検索が検索リスティング選別１２０４によって処理された場合、ロジックフロー図１３００に従った処理は終わる。
【０１０７】
性能モニター２１２は、除去テーブル９２４に加えられる検索リスティングを発見し、検索データベース２０８からそれらを除去する検索リスティング除去エージェント１２０８を含む。そのような発見は、例えば（ｉ）新しい入力のための除去テーブル９２４を定期的に調べることによって、または（ｉｉ）新しい入力が除去テーブル９２４に加えられる場合に、検索リスティング選別１２０４からシグナルを受信することによって、または（ｉｉｉ）新しい入力が除去テーブルに書かれる場合、誘発を基にした出来事の発見を使うことによっての可能性もある。
【０１０８】
そのような検索リスティングは検索データベース２０８において、後に元に戻される可能性もあるゆえに、任意の除去される検索リスティングの中身が失われないようにされるのが望まれる。検索リスティングの中身は、除去テーブル９２４内にて完全に表される可能性もあり、または検索リスティングは、それらが検索結果セットにおいて包含のために有効でないことを示すために、検索リスティングとフラグを結びつけることによって、事実上除去されると同時に、検索データベース２０８において保存されることを維持する可能性もある。加えて、除去される検索リスティングは、検索データベース２０８、および除去リスティング９２４両方から独立するデータ構成内にて完全に表される可能性もある。
【０１０９】
検索リスティング除去エージェント１２０８は、除去テーブル９２４において示される検索リスティングの除去を除去通知エージェント１２０６に伝達もする。除去通知エージェント１２０６は、除去される検索リスティングの持ち主、および除去の検索エンジン１０２に関連する人の編集者の両方に通知する。検索リスティングの持ち主への通知は、この例示的実施形態においては、Ｅメールによってであり、除去される検索リスティングの性能スコア、および修正のためのビッドが有る状況においては、検索リスティングの修正のためのビッドを含む除去の理由を含む。そのような事は、検索用語とＵＲＬとタイトルと除去される検索リスティングの説明間の相互関係の本質を考え直すことを持ち主に可能にさせる。人の編集者への通知、または代替的にコンピュター仕掛けの編集者への通知は、除去検索リスティングのレポートの形においてであり、この例示的実施形態においては、性能スコアを関連される。そのようなレポートは、適切な検索リスティングが検索データベース２０８から、不公平に除去されたか否かを見てチェックすることによって、性能モニター２１２の反応を評価することを編集者に可能にさせる。
【０１１０】
性能モニター２１２は、ステップ３０６〜３１０（図３）に関連した上記の方法において検索リスティングに自動修正プロファイルを適用する検索リスティング修正エージェント１２１０をも含む。
【０１１１】
画面図１７００（図１７）は図６に関連した上記の方法においてウェブ上のアカウント管理申請の表示を示す。画面図１７００は、一持ち主によって、管理される各々の検索リスティングのスコアされた性能を示す棒グラフを含む。棒グラフ１７０２は、容易に理解でき、および直感的に解りやすい方法において、検索リスティングの持ち主に性能評価をビッドする。とりわけ、棒グラフ１７０２は一連のゼロから５つのダッシュとして各々の検索リスティングの評価された性能をグラフを用いて表す。３つのダッシュは、通常、平均的な性能を表す。５つのダッシュは平均的な性能よりもはるかに良いことを表す。ダッシュのない表示は平均的な性能よりもはるかに悪いことを示す。代替的な実施形態において、ダッシュのない表示は、蓄積状態６０２（図６）、または仮状態６０８の一方においての検索リスティングを示し、および一ダッシュは警告状態６０６においての検索リスティングを表す。棒グラフが一ダッシュのみを含む場合は、そのダッシュは、特に悪く機能している検索リスティングに注意をひきつける為に、赤色において示される。そうでない場合、２つ以上のダッシュを含む棒グラフのダッシュは、この例示的実施形態において、青にて示されている。
【０１１２】
この実施形態において、棒グラフ１７０２（図１７）は、ロジックフロー図１３１２（図１６）に関連した上記の方法において、選択された関連検索リスティングの集合絶対的スコア、または集合総合的スコアの一方を表す。表された性能スコアは、棒グラフ１７０２によって表された情報は、画面図１７００（図１７）がとても最新であるようなユーザーへの表示のために構成される時に、引き出される。例えば、画面図１７００の検索リスティングの持ち主が、画面図１７００を再構成するために更新表示指示を出す場合、棒グラフ１７０２の性能スコアにおいての任意の変化は、画面図１７００の以前の構成からの性能スコアにおいての任意の変化、例えば、一以上の検索の返答において結果セットの一以上の検索リスティングの供給によるものを反映するために修正される。
【０１１３】
他の実施形態において、あらゆるマーケット需要情勢のための詳細図、および概略図を含む画面図１７００のバリエーションがある。以下のテーブルは詳細図においてのアメリカの需要情勢の棒グラフ１７０２によっての性能スコアの表示を要約する。
【０１１４】
【表１】
2006525604.tif 000006
以下のテーブルは概略図においてのアメリカの需要情勢の棒グラフ１７０２によっての性能スコアの表示を要約する。
【０１１５】
【表２】
2006525604.tif 000007
以下のテーブルはアメリカ以外の全需要情勢の棒グラフ１７０２によっての性能スコアの表示を要約する。
【０１１６】
【表３】
2006525604.tif 000008
以上の記載は、例示のみであり、限定はしない。本発明は後に続く請求項、および均等物の全範囲にのみ規定される。
【図面の簡単な説明】
【０１１７】
【図１】図１は、広い範囲でのネットワークに連結する本発明に従う検索エンジン、およびクライアントコンピューター、およびホストコンピューターを表すブロック図である。
【図２】図２は、詳細にわたる検索エンジンを表すブロック図である。
【図３】図３は、本発明に従う検索エンジンによっての性能モニターリングを表すロジックフロー図である。
【図４】図４は、図２の検索エンジンの詳細にわたる検索サーバーを表すブロック図である。
【図５】図５は、検索リスティングのユーザーの選択が検出される方法を表すロジックフロー図である。
【図６】図６は、本発明に従う性能モニターリングの間の検索リスティングのあらゆる状態を示す状態図である。
【図７】図７は、本発明に従う性能評価のために、検索結果として提示された多数の検索リスティングの準備を表すロジックフロー図である。
【図８】図８は、本発明に従う検索リスティングの選択、および表示に関する情報の収集を表すロジックフロー図である。
【図９】図９は、本発明に従う検索リスティングの性能を評価するために使われる性能データベースのブロック図である。
【図１０】図１０は、詳細にわたる図９の性能データベースの検索ファイルのブロック図である。
【図１１】図１１は、図９の性能データベースのビッドクリックファイルの詳細なブロック図である。
【図１２】図１２は、図２の検索エンジンの性能モニターの詳細なブロック図である。
【図１３】図１３は、本発明に従う多数の検索リスティングの性能評価のロジックフロー図である。
【図１４】図１４は、図１３のロジックフロー図の一部を表す詳細なロジックフロー図である。
【図１５】図１５は、図１３のロジックフロー図の一部を表す詳細なロジックフロー図である。
【図１６】図１６は、図１３のロジックフロー図の一部を表す詳細なロジックフロー図である。
【図１】
2006525604.tif 000009
【図２】
2006525604.tif 000010
【図３】
2006525604.tif 000011
【図４】
2006525604.tif 000012
【図５】
2006525604.tif 000013
【図６】
2006525604.tif 000014
【図７】
2006525604.tif 000015
【図８】
2006525604.tif 000016
【図９】
2006525604.tif 000017
【図１０】
2006525604.tif 000018
【図１１】
2006525604.tif 000019
【図１２】
2006525604.tif 000020
【図１３】
2006525604.tif 000021
【図１４】
2006525604.tif 000022
【図１５】
2006525604.tif 000023
【図１６】
2006525604.tif 000024
【手続補正書】
【提出日】平成18年1月11日(2006.1.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
【図１】図１は、広い範囲でのネットワークに連結する本発明に従う検索エンジン、およびクライアントコンピューター、およびホストコンピューターを表すブロック図である。
【図２】図２は、詳細にわたる検索エンジンを表すブロック図である。
【図３】図３は、本発明に従う検索エンジンによっての性能モニターリングを表すロジックフロー図である。
【図４】図４は、図２の検索エンジンの詳細にわたる検索サーバーを表すブロック図である。
【図５】図５は、検索リスティングのユーザーの選択が検出される方法を表すロジックフロー図である。
【図６】図６は、本発明に従う性能モニターリングの間の検索リスティングのあらゆる状態を示す状態図である。
【図７】図７は、本発明に従う性能評価のために、検索結果として提示された多数の検索リスティングの準備を表すロジックフロー図である。
【図８】図８は、本発明に従う検索リスティングの選択、および表示に関する情報の収集を表すロジックフロー図である。
【図９】図９は、本発明に従う検索リスティングの性能を評価するために使われる性能データベースのブロック図である。
【図１０】図１０は、詳細にわたる図９の性能データベースの検索ファイルのブロック図である。
【図１１】図１１は、図９の性能データベースのビッドクリックファイルの詳細なブロック図である。
【図１２】図１２は、図２の検索エンジンの性能モニターの詳細なブロック図である。
【図１３】図１３は、本発明に従う多数の検索リスティングの性能評価のロジックフロー図である。
【図１４】図１４は、図１３のロジックフロー図の一部を表す詳細なロジックフロー図である。
【図１５】図１５は、図１３のロジックフロー図の一部を表す詳細なロジックフロー図である。
【図１６】図１６は、図１３のロジックフロー図の一部を表す詳細なロジックフロー図である。
【図１７】図１７は、図６に関連した上記の方法においてウェブ上のアカウント管理申請の表示を示す画面図である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006525604.tif 000025
【図２】
2006525604.tif 000026
【図３】
2006525604.tif 000027
【図４】
2006525604.tif 000028
【図５】
2006525604.tif 000029
【図６】
2006525604.tif 000030
【図７】
2006525604.tif 000031
【図８】
2006525604.tif 000032
【図９】
2006525604.tif 000033
【図１０】
2006525604.tif 000034
【図１１】
2006525604.tif 000035
【図１２】
2006525604.tif 000036
【図１３】
2006525604.tif 000037
【図１４】
2006525604.tif 000038
【図１５】
2006525604.tif 000039
【図１６】
2006525604.tif 000040
【図１７】
2006525604.tif 000041
【国際調査報告】
2006525604.tif 000042
2006525604.tif 000043
2006525604.tif 000044