検索ウェブページに表示される検索結果の最適化を自動化する方法であって、コンピュータのプロセッサが、検索語に応じて検索エンジンからユーザに提供された検索結果を受信するステップと、前記検索結果のパフォーマンスを表すデータを収集するステップであって、前記収集されたデータは前記検索結果により種々のユーザの対話を定量化し、前記データは最初は正規化せずには互いに比較できない種々のタイプの評価を有する複数のパフォーマンスデータソースの少なくとも1つに由来し、種々のソースは前記種々のユーザの対話の定量化を含む、収集するステップと、前記検索結果の正規化されたデータを生成する正規化手続により前記収集されたデータを結合するステップであって、前記正規化されたデータは前記種々のユーザの挙動を反映し、前記正規化手続は、aデータソースの相対的重要度に応じて前記収集されたデータを正規化するステップと、b前記収集されたデータに関する前記種々のタイプの評価を共通の測度としてコンパイルするステップと、を含む、結合するステップと、前記正規化されたデータと前記コンピュータのデータベースに記憶された前記検索結果に対する予測パフォーマンスデータとを比較するステップと前記正規化されたデータが前記検索結果に対する前記予測パフォーマンスデータと比較して劣る少なくとも1つの考えられる理由を診断するステップと、後続の検索結果の妥当性を改善するために、前記検索結果を生成した検索エンジンの動作を前記診断に応じて調整するステップとを備えることを特徴とする方法。前記複数のパフォーマンスデータソースの少なくとも1つは、前記検索結果のクリックスルー率によって計測される暗黙パフォーマンスデータ、前記検索エンジンのヘルプ若しくはサポート機能を使用するとき、またはユーザ満足調査に対する応答を受信したときに収集される明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの1つを含むことを特徴とする請求項1に記載の方法。前記データソースの相対的重要度に応じて前記収集されたデータを正規化するステップは、より重要なソースからのデータにより大きな重みを付与するステップと、該データが由来するソースの相対的重要度を反映するためにデータを結合するステップとを含むことを特徴とする請求項1に記載の方法。前記正規化されたデータと前記予測パフォーマンスデータとを比較するステップは、前記正規化パフォーマンスが前記予測パフォーマンスよりも低いか、または実質的に低いときに、前記検索結果が低パフォーマンスであると判定するステップを含むことを特徴とする請求項2に記載の方法。最も重要なデータソースは暗黙パフォーマンスデータであり、前記収集されたデータを正規化するステップは、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与するステップを含むことを特徴とする請求項2に記載の方法。暗黙パフォーマンスデータは、ユーザが前記検索結果と対話するときに自動的に取り込まれることを特徴とする請求項2に記載の方法。暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも1つを含むことを特徴とする請求項6に記載の方法。暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも1つを含む、ユーザが結果に対して実行した動作をさらに識別することを特徴とする請求項7に記載の方法。暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項6に記載の方法。暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項6に記載の方法。明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成した照会に対するユーザ応答から取得されるデータを含み、前記照会はオンライン照会および電話照会の1つを含むことを特徴とする請求項2に記載の方法。人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項2に記載の方法。適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項2に記載の方法。サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項2に記載の方法。前記検索結果について前記正規化されたデータが前記予測パフォーマンスデータと比較して劣る少なくとも1つの考えられる理由を診断するステップは、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも1つを考慮することを含むことを特徴とする請求項2に記載の方法。後続の検索結果の妥当性を改善するために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索結果の再順位付け、除去、および置換の少なくとも1つを含む、前記検索エンジンの検索スキーマを修正して検索語に対して生成される前記検索結果を変更するステップを含むことを特徴とする請求項2に記載の方法。後続の検索結果の妥当性を改善するために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、検索結果ウェブページ上の前記検索結果の外見のハイライト、アニメーション、拡大、および位置変更することの少なくとも1つを含む、前記検索エンジンの検索スキーマを修正して検索語に対して生成される前記検索結果の提示を強化するステップを含むことを特徴とする請求項2に記載の方法。後続の検索結果の妥当性を改善するために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンのスペルチェッカの許容範囲を拡大するステップを含むことを特徴とする請求項2に記載の方法。後続の検索結果の妥当性を改善するために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促すステップを含むことを特徴とする請求項2に記載の方法。後続の検索結果の妥当性を改善するために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンの動作を永久的に調整する前に、前記検索エンジンの動作を一時的に調整して、該調整が実際に後続の検索結果の妥当性を改善したかどうかを判定するステップを含むことを特徴とする請求項2に記載の方法。後続の検索結果の妥当性を改善するために前記検索結果を生成した検索エンジンの動作を前記診断に従って調整するステップは、前記検索エンジンの動作をリアルタイムで調整するステップを含むことを特徴とする請求項2に記載の方法。前記検索エンジンの動作をリアルタイムで調整するステップは、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断するステップと、前記検索結果を修正するステップとを含むことを特徴とする請求項21に記載の方法。検索語に対して検索エンジンによって生成されユーザに提供された検索結果のパフォーマンスを表す入力データであって、最初は正規化せずには互いに比較できない種々のタイプの評価を有する複数のソースに由来し、種々のソースは前記種々のユーザの対話の定量化を含む入力データと、前記複数のソースから入力パフォーマンスデータを収集するデータ収集プロセスと、前記検索結果の正規化されたデータを生成する正規化手続により収集されたデータを結合する結合プロセスであって、前記正規化されたデータは前記種々のユーザの挙動を反映し、前記正規化手続は、aデータソースの相対的重要度に応じて前記収集されたデータを正規化する正規化プロセスと、b前記収集されたデータに関する前記種々のタイプの評価を共通の測度としてコンパイルするコンパイルプロセスと、を含む、結合プロセスと、前記正規化されたデータによって表される、前記検索結果のパフォーマンスを、前記検索結果の予測パフォーマンスと比較する比較プロセスと前記検索結果のパフォーマンスが、前記予測パフォーマンスと比較して劣る少なくとも1つの考えられる理由を診断する診断プロセスと、前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する調整プロセスとを備え、前記検索エンジンの調整動作は、後続の検索結果の妥当性を改善することであることを特徴とする自動検索結果最適化システム。前記複数の入力パフォーマンスデータソースの少なくとも1つは、前記検索結果のクリックスルー率によって計測される暗黙パフォーマンスデータ、前記検索エンジンのヘルプ若しくはサポート機能を使用するとき、またはユーザ満足調査に対する応答を受信したときに収集される明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの1つを含むことを特徴とする請求項23に記載のシステム。前記データ収集プロセスは、データソースの相対的重要度に応じて前記収集されたデータを正規化する正規化プロセスを含み、さらに正規化することは、より重要なソースからのデータにより大きな重みを付与すること、およびデータがそれに由来するソースの相対的重要度を反映するようにデータを結合することを含むことを特徴とする請求項23に記載のシステム。前記診断プロセスは、前記正規化収集パフォーマンスデータによって表される前記検索結果のパフォーマンスを、前記検索結果の予測パフォーマンスと比較し、さらに、前記パフォーマンスが予測パフォーマンスよりも低いか、または実質的に低いときに前記比較は好ましくないとすることを特徴とする請求項25に記載のシステム。最も重要なデータソースは前記検索結果のクリックスルー率によって計測される暗黙パフォーマンスデータであり、前記収集されたデータを正規化することは、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与することを含むことを特徴とする請求項25に記載のシステム。暗黙パフォーマンスデータは、ユーザが前記検索結果と対話するときに自動的に取り込まれることを特徴とする請求項27に記載のシステム。暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも1つを含むことを特徴とする請求項28に記載のシステム。暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも1つを含む、ユーザが結果に対して実行した動作の識別を表すデータをさらに含むことを特徴とする請求項29に記載のシステム。暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項28に記載のシステム。暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項28に記載のシステム。明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成したユーザ満足調査に対するユーザ応答から取得されるデータを含むことを特徴とする請求項24に記載のシステム。人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項24に記載のシステム。適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項24に記載のシステム。サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項24に記載のシステム。前記診断プロセスは、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも1つを考慮することを含む、前記検索結果のパフォーマンスが予測パフォーマンスと比較して劣ることに対する少なくとも1つの考えられる理由を診断することをさらに含むことを特徴とする請求項24に記載のシステム。前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの検索スキーマを修正するアクションを表す出力データを生成することを含み、前記修正検索スキーマは、前記検索結果の再順位付け、除去、および置換をすることの少なくとも1つを含む、前記検索エンジンが検索語に対して検索結果を生成する方法を変更することを特徴とする請求項23に記載のシステム。前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの検索スキーマを修正するアクションを表す出力データを生成することを含み、前記修正検索スキーマは、検索結果ウェブページ上の前記検索結果の外見のハイライト、アニメーション、拡大、および位置変更の少なくとも1つを含む、前記検索エンジンが検索語に対する前記検索結果を提示する方法を強化することを特徴とする請求項23に記載のシステム。前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンのスペルチェッカの許容範囲を拡大するアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促すアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの動作を永久的に調整するアクションを生成する前に、前記検索エンジンの動作を一時的に調整して、さらに該一時的調整が実際に後続の検索結果の妥当性を改善したかどうかを判定するアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。前記検索エンジンの動作を自動的に調整するアクションを表す出力データを生成する前記調整プロセスは、前記検索エンジンの動作をリアルタイムに調整するアクションを表す出力データを生成することを含むことを特徴とする請求項23に記載のシステム。前記検索エンジンの動作をリアルタイムで調整するアクションは、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断して前記検索結果をさらに修正することを含むことを特徴とする請求項42に記載のシステム。検索結果ユーザインターフェースにおける検索結果の自動最適化を容易にするために、コンピュータに、検索語に応じて検索エンジンからユーザに提供された検索結果を受信するステップと、前記検索結果のパフォーマンスを表すデータを収集するステップであって、収集されたデータは前記検索結果により種々のユーザの対話を定量化し、前記データは最初は正規化せずには互いに比較できない種々のタイプの評価を有する複数のパフォーマンスデータソースの少なくとも1つに由来し、種々のソースは前記種々のユーザの対話の定量化を含む、収集するステップと、前記検索結果の正規化されたデータを生成する正規化手続により前記収集されたデータを結合するステップであって、前記正規化されたデータは前記種々のユーザの挙動を反映し、前記正規化手続は、aデータソースの相対的重要度に応じて前記収集されたデータを正規化するステップと、b前記収集されたデータに関する前記種々のタイプの評価を共通の測度としてコンパイルするステップと、を含む、結合するステップと、前記正規化されたデータと前記コンピュータのデータベースに記憶された前記検索結果に対する予測パフォーマンスデータとを比較するステップと、前記正規化されたデータが前記検索結果に対する前記予測パフォーマンスデータと比較して劣る少なくとも1つの考えられる理由を診断するステップと、後続の検索結果の妥当性を改善するために、前記検索結果を生成した検索エンジンの動作を前記診断に応じて調整するステップとを実行させるプログラムを記憶したことを特徴とする1または複数のコンピュータ読取可能記憶媒体。前記複数のパフォーマンスデータソースの少なくとも1つは、前記検索結果のクリックスルー率によって計測される暗黙パフォーマンスデータ、前記検索エンジンのヘルプ若しくはサポート機能を使用するとき、またはユーザ満足調査に対する応答を受信したときに収集される明示パフォーマンスデータ、人間が判断したパフォーマンスデータ、適合性検証データ、およびサンプルテストデータの1つを含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。データソースの相対的重要度に応じて前記収集されたデータを正規化する命令は、より重要なソースからのデータにより大きな重みを付与する命令、および該データがそれに由来するソースの相対的重要度を反映するようにデータを結合する命令を含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記正規化されたデータと前記予測パフォーマンスデータを比較する命令は、前記正規化パフォーマンスが前記予測パフォーマンスよりも低いか、または実質的に低いときに、前記検索結果が低パフォーマンスであると判定する命令を含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。最も重要なデータソースは前記検索結果のクリックスルー率によって計測される暗黙パフォーマンスデータであり、前記収集されたデータを正規化する命令が、データを結合するときに暗黙パフォーマンスデータに実質的に大きい重みを付与する命令を含むことを特徴とする請求項47に記載のコンピュータ読取可能記憶媒体。暗黙パフォーマンスデータは、ユーザが検索結果と対話するときに検索エンジンによって自動的に取り込まれるデータであることを特徴とする請求項46に記載のコンピュータ読取可能記憶媒体。暗黙パフォーマンスデータは、ユーザが結果をクリックしたかどうか、ユーザが結果をクリックしたときの該結果の場所、およびユーザが結果をブラウズした時間の長さの少なくとも1つを表すデータを含むことを特徴とする請求項50に記載のコンピュータ読取可能記憶媒体。暗黙パフォーマンスデータは、編集、電子メール、印刷、ブックマーク、およびコピーの少なくとも1つを含み、ユーザが結果に対して実行した動作をさらに識別することを特徴とする請求項50に記載のコンピュータ読取可能記憶媒体。暗黙パフォーマンスデータは、前記検索結果との複数の対話にわたって合計された取込みデータを含むことを特徴とする請求項50に記載のコンピュータ読取可能記憶媒体。暗黙パフォーマンスデータは、前記検索結果と対話する複数のユーザにわたって合計された取込みデータを含むことを特徴とする請求項50に記載のコンピュータ読取可能記憶媒体。明示パフォーマンスデータは、前記検索結果についての検索エンジンのオペレータが生成した照会に対するユーザ応答から取得されるデータを含み、前記照会はオンライン照会および電話照会の1つを含むことを特徴とする請求項46に記載のコンピュータ読取可能記憶媒体。人間が判断したパフォーマンスデータは、前記検索結果についての人間の評価から取得されるデータを含むことを特徴とする請求項46に記載のコンピュータ読取可能記憶媒体。適合性検証データは、既知の適合性を有する検索結果が前記検索エンジンによって生成される前記検索結果にまだ含まれるかどうかを検証する、前記検索結果の適合性検証テストから取得されるデータを含むことを特徴とする請求項46に記載のコンピュータ読取可能記憶媒体。サンプルテストデータは、ユーザのサブセットのサンプルについて実行される前記検索結果の適合性テストから取得されるデータを含むことを特徴とする請求項46に記載のコンピュータ読取可能記憶媒体。前記検索結果のパフォーマンスが前記予測パフォーマンスに比較して劣ることに対する少なくとも1つの考えられる理由を診断する命令は、前記検索結果がもはや有効でないかどうか、前記検索結果が不利な場所に現れるかどうか、前記検索結果を生成した検索語がスペルミスを犯しやすいものかどうか、検索語が意味のある結果を生成するのに広すぎるかどうか、および検索語に対する検索を特定のリソースに制約しなくてはならないかどうかの内の少なくとも1つを判定する命令を含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、検索語に対して生成される前記検索結果を変更するために前記検索エンジンの検索スキーマを修正する命令を含み、前記検索結果を変更することは、前記検索結果の再順位付け、除去、および置換の少なくとも1つを含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、検索語に対して生成された前記検索結果の提示を強化するために前記検索エンジンの検索スキーマを修正する命令を含み、前記提示を強化することは、検索結果ウェブページ上の前記検索結果の表示をハイライト、アニメーション、拡大、および位置変更することの少なくとも1つを含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンのスペルチェッカの許容範囲を拡大する命令を含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、追加のユーザ入力を用いて、検索語を明確化するか、または狭めるかの内の一方をユーザに促す命令を含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンの動作を永久的に調整する前に、前記検索エンジンの動作を一時的に調整する命令と、該調整が実際に後続の検索結果の妥当性を改善したかどうかを判定する命令とを含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記検索結果を生成した前記検索エンジンの動作を前記診断に従って調整する命令は、前記検索エンジンの動作をリアルタイムで調整する命令を含むことを特徴とする請求項45に記載のコンピュータ読取可能記憶媒体。前記検索エンジンの動作をリアルタイムで調整する前記命令は、前記検索エンジンが前記検索結果をユーザに表示する前に、前記検索エンジンによって生成される前記検索結果を中断する命令と、前記検索結果を修正するさらなる命令とを含むことを特徴とする請求項65に記載のコンピュータ読取可能記憶媒体。より普及しつつある別のアプローチとしては、検索結果に対して収集されるクリックスルーclick-throughデータの使用がある。検索エンジンのオペレータは、ユーザがある結果をクリックする回数を記録することによって、クリックスルー率またはCTRと呼ばれるユーザと検索結果との対話を収集する。クリックスルーデータには多くの利点があり、それは、ユーザが検索結果と対話するときにデータを大量に収集することが可能であり、したがってユーザ満足に対するより客観的な測度であり、またより信頼性のある適合性の予測子であることにある。一般に、経験的に分かっていることは、CTRが高いほど、結果はより適合性が高いか、あるいは少なくともユーザのその結果に対する満足は大きいことである。しかしながら、CTRデータは、それでも分析しなくてはならず、次いでオペレータが、改善された結果を生成するために、どのように適合性スキーマを更新するかを決定しなくてはならない。さらに、CTRデータだけでは、意味のある結果を生成するには不十分であることがある。例えば、ある特定の結果についてのCTRは、ページ上の結果の外見に関係する多数の因子によって影響を受ける可能性があり、これらの因子は、根底にある結果の実際の適合性との釣り合いを失って、不当に誇張されることがある。どのアプローチにせよ、検索結果の適合性の判定は、主に検索結果の成功を示す単一の明確な指標がないことから、困難な課題である。検索エンジンが取り扱う絶大なスケールのクエリ、および検索結果を生成する速度の故に、適合性とは急速に変化する目標となる。上述の問題を克服するために、検索エンジンにおける検索結果適合性の最適化を自動化するためのシステム、方法、およびコンピュータアクセス可能媒体を提供する。このシステムおよび方法は、検索結果のパフォーマンスの様々な観点を表すデータを連続的に収集して、そのパフォーマンスデータと、検索結果に対する予測パフォーマンスとを比較する。このシステムおよび方法は、さらに低パフォーマンス結果underperformingresultsの考えられる理由を診断するとともに、検索エンジン動作を自動的に調整して検索結果適合性を最適化する。本発明の一態様によれば、パフォーマンスデータは、1つまたは複数のソースから収集されるとともに、好ましくは、CTRデータなどのユーザが検索結果と対話するときに自動的に収集される暗黙データを含むが、パフォーマンスデータには、ユーザが検索エンジンのヘルプまたはサポート機能を使用するとき、またはユーザ満足調査に応答するときに収集される明示データとともに、主観的な人間判断データ、適合性検証テストデータ、およびサンプルテストデータを含めることもできる。様々なデータソースは、適合性の予測子として、それらの相対的重要性または信頼性を反映するように正規化してもよい。本発明の別の態様によれば、予測されるパフォーマンスデータは、結果に対する予測パフォーマンスを表す1つまたは複数の値、例えば予測CTRなどを表すものであり、マーケットによって変化する可能性がある。任意の結果は、予測パフォーマンス値を下回ること、または実質的に下回ることを含めて、そのパフォーマンスが予測パフォーマンスを満たさないときに、低パフォーマンスであると判定することができる。本発明のさらに別の態様によれば、低パフォーマンス結果の考えられる理由の診断は、多数の因子を考慮することを含み、それらの因子としては、例えば、すでに有効ではないウェブサイトまたはドキュメントにリンクされた結果が不適当な場所に現れているかどうか、その結果を生成した検索語が、スペルミスを犯しやすいものか、または意味のある結果を生成するのに範囲が広すぎるかどうか、または特定の検索語に対する検索を、ローカルコミュニティリソースなどの特定のリソースに制約すべきかどうかなどである。本発明のさらに別の態様によれば、検索結果適合性を最適化するために検索エンジン動作を自動的に調整することは、検索エンジンのコンポーネントに対して種々のアクションを実行することを含む。例えば、検索結果を生成するために検索エンジンが使用する検索スキーマを修正して、それによって将来の検索結果を、再順位付けrerank、除去、再配置、または異なる結果で置換してもよい。場合によっては、検索結果は同じままであるが、結果の提示を強調して視認性を増大することによって、パフォーマンスを改善させてもよい。さらに別の場合には、低パフォーマンスの検索を一時的に修正して新規または強調した結果を含め、その修正を永久的なものとする前にサンプルマーケットで試験してもよい。検索語がそれ自体で問題の場合には、スペルチェッカの許容範囲を拡大するか、または結果の提示を修正して、追加の検索語を用いて検索を明確化するか、または狭めるようにユーザに促してもよい。場合によっては、検索エンジンの動作をリアルタイムで調整して、検索結果のパフォーマンスの急な変化に応じて検索結果の適合性を迅速に最適化してもよい。本発明のさらに別の態様によれば、検索エンジンにおける検索結果適合性の最適化を自動化するためのコンピュータアクセス可能媒体が提供される。このコンピュータアクセス可能媒体は、データ構造と、パフォーマンスデータを収集し、低パフォーマンスの検索を診断して、検索エンジンの動作を自動的に調整して検索結果を最適化する自動適合性オプティマイザを含むコンピュータ実行可能コンポーネントとを備える。このデータ構造は、概して上述の方法と整合性のある方法で、検索結果およびパフォーマンスデータを定義する。同様に、コンピュータ実行可能コンポーネントは、上述の方法と概して整合性のあるアクションを実行することができる。以下の詳細な説明を添付の図面と合わせ読むことによって本発明をさらに理解すれば、本発明の前述の態様および付随する利点の多くは、より簡単に理解されるであろう。以下の論述は、本発明の一実施形態の様々な特徴を実装するのに好適なコンピューティングシステムの簡潔な全体説明を提供することを意図するものである。コンピューティングシステムを、パーソナルコンピュータおよびサーバコンピュータ、または通信ネットワークを介して互いにリンクされたリモートコンピューティングデバイスによって相補的なタスクが実行される、分散コンピューティング環境において使用可能な、その他のタイプのコンピュータデバイスの一般的文脈において記述するが、当業者であれば、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータなどを含む、その他多くのコンピュータシステム構成によって本発明を実施できることを認識するであろう。上述したより従来型のコンピュータシステムに加えて、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタンツPDA、セルラ電話、およびコンピュータソフトウェアまたはその他のデジタルコンテンツがインストールされているその他のデバイスを含む、その他のコンピューティングデバイス上で本発明を実施できることを、当業者は認識するであろう。本発明の態様を、パーソナルコンピュータと一緒にウェブブラウザで実行されるプログラムまたはプロセス、あるいはサーバコンピュータと一緒に検索エンジンで実行されるプログラムまたはプロセスの観点で記述するが、当業者であれば、これらの態様はその他のプログラムモジュールと組み合わせて実装することもできることを認識するであろう。一般に、プログラムモジュールには、ルーチン、サブルーチン、プログラム、プロセス、コンポーネント、データ構造、ファンクション、インターフェース、オブジェクト、その他が含まれ、これらは、特定のタスクを実行するかまたは特定の抽象データ型を実装する。図1は、例示的な検索エンジンシステム100と、本発明の実施形態によって検索結果の最適化を自動化することのできる1つの好適なオペレーティング環境とを示している。図に示すように、このオペレーティング環境は、検索エンジンサーバ112を含み、この検索エンジンサーバは、一般に、デバイス102および104などの様々なユーザデバイスとのフロントエンドユーザ通信、およびバックエンド検索サービスを提供する役割を果たす。検索エンジンサーバ112によって提供されるフロントエンド通信には、とりわけ、コンピュータシステム102やパーソナルデジタルアシスタンツPDA104などの様々なユーザデバイスから受け取る情報および検索クエリsearchqueryに応答して、ハイパーテキストトランスファプロトコルを使用して検索ウェブページ106として編成されるテキストおよび/またはグラフィックスを生成するサービスが含まれる。検索エンジンサーバ112によって提供されるバックエンド検索サービスには、とりわけ、様々なユーザデバイス102、104から受け取る情報および検索クエリを使用して関係するウェブコンテンツを検索するサービス、検索ウェブページ106上の関係するウェブコンテンツへのリンクを表す検索結果110を生成するサービス、およびウェブページ結果および検索結果のパフォーマンスを追跡するサービスが含まれる。図1に示す環境においては、検索エンジンサーバ112は、検索ウェブページ106を生成し、その中にユーザは検索語108を入力してインターネット116を介してのウェブコンテンツ118の検索クエリを開始することができる。検索語108は検索エンジンサーバ112に伝送され、この検索エンジンサーバ112は、この語を使用して適合性スキーマ114に従って検索語108に関係するウェブコンテンツ120の検索を実行する。適合性スキーマ114は、検索エンジンが使用して所与の検索に対して最も適合性のある結果を生成するために、定期的または連続的に更新されるアルゴリズムである。検索エンジンサーバ112は、検索ウェブページ106におけるユーザに表示するために、関係するウェブコンテンツを一組の検索結果110として中継する。図1に示す環境において、ユーザデバイス102、104は、検索エンジンサーバ112と、インターネット116などの1つまたは複数のコンピュータネットワークを介して通信する。インターネットを介する通信のためのプロトコルおよびコンポーネントは、コンピュータネットワーク通信の技術における当業者には周知である。ユーザデバイス102、104、検索エンジンサーバ112、および適合性スキーマ114の間の通信は、ローカルな有線または無線コンピュータネットワーク接続によっても可能である。図1に示す検索エンジンサーバ112は分散コンピューティング環境において動作することも可能であり、分散コンピューティング環境は、通信リンク、例えば1つまたは複数のコンピュータネットワークまたは直接接続を介して相互接続されるいくつかのコンピュータシステムを備えることができる。しかしながら、当業者であれば、サーバ112は、図1に示すよりも少数または多数のコンポーネントを有するコンピュータシステムにおいても同等に動作できることを理解するであろう。したがって、図1の動作環境の記述は、例示的なものであり、添付の請求項の範囲を限定するものではないと解釈すべきである。図2は、本発明の一実施形態を実装するための自動適合性最適化システム200を示すブロック図である。1つの好適な実装においては、自動適合性最適化システム200によって、検索エンジンのオペレータが検索結果適合性の最適化を有利に自動化することが可能になる。この自動適合性最適化システム200は、自動適合性オプティマイザプロセス202を含み、これは、パフォーマンスデータを収集し、そのデータに基づいて検索結果のパフォーマンスを診断し、そして検索ウェブページ106に表示される検索結果110の適合性を最適化する必要に応じて、検索エンジンシステムの動作を自動的に調整する動作をする。一実施形態においては、パフォーマンスデータが、図2に示すように、様々な源から収集され、そのような源としてはとりわけ、ユーザと検索結果110との対話から取り込まれる暗黙適合性データ204、例えばクリックスルーデータ;ユーザが検索エンジンのオペレータによって提供される検索エンジンヘルプまたはサポート機能を使用するとき、またはユーザ満足度調査に応答するときに収集される明示適合性データ206;検索結果の適合性を定期的に評価する人間審判者によって生成される人間判断テストデータ208;検索適合性スキーマ114の修正の前後に生成される検索結果の正当性を検証する、すなわち1つの検索語についての検索結果の適合性を改善させるための調整が、別の検索結果の適合性を偶然に低下させていないことを確認する、検証テストによって生成される適合性検証テストデータ210;検索エンジンの動作の調整およびその調整が予測パフォーマンスのまだ決定されていない新規に挿入した結果の適合性を含む検索結果の適合性に与える影響、新規および/または変更結果を生成するための検索スキーマに対する一時的な修正、および検索エンジンの動作に対するその他のタイプの一時的修正を試行するために、ユーザグループ、例えばグループAおよびグループBについてのテストから生成されるサンプルA/Bテストデータ212が挙げられる。一実施形態においては、暗黙適合性データ204は、結果のクリックスルー率CTRによって計測され、これは結果が表示される回数と、結果が表示された後にそれをユーザがクリックする回数を比較すること、すなわちインプレッションimpressionの数をクリック回数で除することによって求められる。暗黙適合性データ204には、検索エンジンサーバ112によって追跡されるその他のデータ、例えば検索ウェブページ106に表示されたときの検索結果110の場所、およびパフォーマンスに影響を与える可能性のある結果のその他の特徴、例えば色、サイズ、フォント、アニメーション、グラフィックス、および隣接する検索結果のパフォーマンスデータなどが含まれる。検索エンジンサーバ112は、当該技術において知られている、スパムクリックspamclicking、ロボットによる擬似クリック、およびある時間内における同一IPアドレスまたは不明ソースからの多重クリックなどのその他の不信クリックなどの、不正クリックを検出してフィルタリングするようにさらに構成される。好ましい一実施形態においては、暗黙適合性データ204には、結果のCTR以上に、ユーザと検索結果108との複雑な対話を表すデータが含められるが、この理由は、より複雑なユーザ対話は一般にCTR単独よりもすぐれた適合性の予測子であるからである。複雑なユーザ対話の例としては、とりわけ、結果がブラウズされる時間、結果が編集、他所に電子メール、印刷、ブックマークされたかどうか、またはその全部または一部が、ユーザのその他の文書中に含めるためにカットアンドペーストもしくはコピーされたかどうかなどが挙げられる。一実施形態においては、暗黙関連性データ204は、一回の対話について収集するか、検索結果と対話するユーザのある特定のセッションにおけるすべての対話について合計するか、またはさらにユーザが類似の検索を行う間のすべてのユーザの同じ検索結果との対話について合計することができる。例えば、暗黙適合性データ204の基本ユニットは、一人のユーザ、1つのクエリ、そして1回の結果対話の極小のatomic測定である。任意のセッションにおいていくつかの極小の測定があり、それは、結果の印刷、結果を好みのフォルダへブックマークすること、結果を何人かの友人へ電子メールすることなどである。すべてのユーザおよびすべてのクエリに対して自動計測を合計することによって、暗黙適合性データ204は、十分に大きくかつ詳細なデータのコーパスとなり、これは適合性の優れた予測子である。好ましい一実施形態においては、自動適合性最適化システム200は、本明細書に参照により組み入れた、共通に譲渡された同時係属の米国特許出願第号明細書に詳細が示されるように、暗黙適合性データ204を収集する。データが検索結果適合性を精度よく予測するのに十分に大きくかつ詳細である限り、暗黙適合性データ204を収集するその他の方法を、添付の請求項の範囲から逸脱することなく、実装することができる。一実施形態においては、自動適合性オプティマイザ202は、結果に対する予測適合性データ214を取得し、そのデータと、パフォーマンスデータの様々なソース204、206、208、210、212に反映される実際のパフォーマンスとを比較する。自動適合性オプティマイザ202が、実際パフォーマンスが予測パフォーマンスに満たないと判定した場合には、結果の適合性を改善させるために、したがってよりよいパフォーマンスのために検索エンジンの動作を調整するアクション216が自動的に行われる。一実施形態においては、自動適合性オプティマイザ202は、実際パフォーマンスがパフォーマンスの許容できる閾値をある時間実質的に下回った後にのみ、実際パフォーマンスが予測パフォーマンスを満たさないことを判定する。このアプローチによって、結果の実際パフォーマンスが誤りであったときの不必要な調整が避けられる。一実施形態において、アクション216は、とりわけ、次回に問題の検索語に対して検索が呼び出されたときに、先の検索において生成された結果と比較して異なるまたは改善された一組の検索結果が生成されるように検索アルゴリズムを変更する、適合性スキーマデータベース114への変更を含む。例えば、元の一組の結果に現れるある特定の結果を、結果リストのずっと下に現れるように除去または並べ替えて、変更された適合性スキーマデータベース114に反映された更新された検索アルゴリズムに完全に従って、新規の結果をその代わりに挿入することができる。別の実施形態においては、アクション216には、リアルタイムに適用される検索結果への変更を含めることができる。例えば、自動適合性オプティマイザ202は、既存の適合性スキーマ114に従って検索エンジン112によって生成される検索結果110を中断して、検索結果がユーザデバイス102、104に転送される前に、最近の数時間の間に他のユーザに対して先に表示されたときの結果に対する低パフォーマンスの分単位up-to-the-minute診断に基づいて、調整216を加えることができる。一実施形態においては、アクション216は、とりわけ、予測適合性データ214に対する変更を含み、その結果として、その検索語に対して次回、検索が呼び出されるとき、検索エンジンの動作のその他の観点に対する修正を行う前に、検索エンジンのオペレータが予測するパフォーマンスをよりよく反映するように、結果のパフォーマンスを計測するために使用する予測値が修正される。もちろん、添付の請求項の範囲から逸脱することなく、上述のアクション216のいくつかの組合せを用いることができることが理解される。例えば、自動適合性オプティマイザ202は、低パフォーマンス検索の検索結果110に新規の結果を自動的に挿入することができ、また同時に、新規結果のパフォーマンスをテストするために初期の期間中、予測適合性データ214をより低い値に自動的に変更することができる。より決定的なパフォーマンス予測が把握されると、予測適合性データ214を相応して変更することができる。図3は、図2に示す自動適合性最適化システム200を動作させる役割を果たす検索エンジンサーバ112のいくつかの例示的なコンピューティングコンポーネントの配設をさらに詳細に示すブロック図である。具体的には、検索エンジンサーバ112が示してあり、これには、検索エンジンサーバ112の一般管理およびオペレーション用の実行可能なプログラム命令を実装するためのオペレーティングシステム302、プロセッサ306、およびメモリ308が含まれる。検索エンジンサーバ112は、さらに、インターネット116などのネットワークと通信するためのネットワークインターフェース304を含み、ユーザ検索語108に応答して、検索結果110を提供する。オペレーティングシステム302、プロセッサ306、メモリ308、およびネットワークインターフェース304の好適な実装については知られているか、または市販されており、当業者であれば、特に本明細書の開示に照らして、容易に実装することができる。検索エンジンサーバ112のメモリ308には、自動適合性オプティマイザプロセス202を備えるコンピュータ実行可能プログラム命令が含まれる。この自動適合性オプティマイザプロセス202には、とりわけ、データ収集プロセス310、診断プロセス312、および調整プロセス314が含まれる。データ収集プロセス310は、暗黙適合性データ204、明示適合性データ206、人間判断テストデータ208、適合性検証テストデータ210、およびサンプルA/Bテストデータ212を含み、先に図2を参照して記述した様々な源からパフォーマンスデータを収集する役割を果たす。データ収集プロセス310は、それにデータが由来するソースの相対的重要性に基づいて、さらにパフォーマンスデータを正規化する。好ましい一実施形態においては、暗黙適合性データ204は、一般にその他のデータソースよりも良好かつより客観的な予測子であると考えられるので、最も重く重み付けされる。それでも、実施形態によっては、人間判断テストデータなどのその他のパフォーマンスデータが、暗黙適合性データ204をオーバライドすることができる。正規化されたパフォーマンスデータは、予測パフォーマンスデータ214との比較に備えて結合される。一実施形態においては、診断プロセス312は、結合かつ正規化したパフォーマンスデータを予測パフォーマンスデータ214と比較する。この比較によって、検索結果110が低パフォーマンスであることが示されるときには、診断プロセス312はその理由を判定しようと試みる。例えば、低パフォーマンスの結果は、動作不能のウェブサイト、通用していないウェブページ、またはすでに有効ではない文書にリンクされている可能性がある。場合によっては、その結果は、その他の結果と比較してそれが可能であるほどユーザに対して目につきやすくない方法で、ウェブページ106のセクションに位置しているか、または提示されている可能性がある。低パフォーマンスの結果は、検索結果110よりも検索語108と関係している可能性がある。例えば、場合によっては、検索語は、スペルミスを犯しやすいものであったり、意味のある結果を生成するには一般的すぎたりすることがある。一例として、ユーザが検索語Schwarzeneggerを入力するとき、ユーザはこの名前をスペルミスしたり、タイプミスをしたりして、望んでいない結果を得やすい。他方で、ユーザが語Arnoldを入力するときには、ユーザはこの語を正しくスペリングして、タイプしやすいが、この検索語は一般的すぎて、ユーザはやはり多くの不要な結果を得ることになる。低パフォーマンス結果の原因が特定されると、この調整プロセス314は、とるべき適当なアクション216を生成する役割を果たす。すでに述べたように、一実施形態においては、調整プロセス314が、適合性スキーマデータベース114を修正するアクション216を生成して、その検索語についての検索の次の反復の間に、最適化した一組の検索結果110を生成することができる。代替として、調整プロセス314は、検索結果110がユーザデバイス102、104に表示される以前に、それらを中断して、リアルタイムで検索結果を自動的に最適化するアクション216を生成することができる。さらに別の実施形態においては、調整プロセス314は、検索結果そのものに本質的な変更を加えるのではなく、検索結果をウェブページ106上に提示する方法を変更することによって、検索結果を最適化するアクション216を生成することができる。さらに別の実施形態においては、調整プロセス314は、スペリングの示唆または追加の語によって検索語を明確化することをユーザに自動的に促すことを検索エンジンサーバ112に行わせる、アクション216を生成することができる。調整プロセス314は、添付の請求項の範囲から逸脱することなく、検索エンジンの動作を調整するその他のアクション216を生成して、アクション216を併用することができることが理解される。図4Aは、検索ウェブページ106を表示するブラウザプログラム400を示しており、これには本発明の一実施形態を実装するための例示的な検索エンジンユーザインターフェースが示してある。ウェブページ106図1は、検索エンジンサーバ112図1、2によって生成して、インターネット116図1を介してユーザのコンピューティングデバイス102、104に配信することができる。検索エンジンユーザインターフェースは、先に入力された検索語108図1をテキストボックス402内に表示し、必要であれば検索の絞込みREFINESEARCH404と表示されたコマンドボタンを使用して追加の検索語で検索を絞り込むことをユーザに促す。図4Aに図示した例においては、ユーザは検索語ドッグフードDOGFOODを入力している。検索結果は、インターネット116を介してのウェブコンテンツ118の検索から生成される。当技術分野において知られているように、検索エンジン112は、適合性スキーマデータベース114に従って、結果を分析して、どの結果が最も適合性があるかなどの事前設定された基準に基づいて、ユーザに表示するのに最良の結果を順位付けるプログラム命令を実行することができる。最良の結果は、通常、一組の結果の冒頭に表示される。一実施形態においては、検索結果は、検索を入力したユーザとローカル接続、例えばイエローページリストなどを有するウェブコンテンツ118から結果が取得されるローカルセクション内などの、ウェブページ106の異なるセクションに表示することができる。検索結果は、添付の請求項の範囲から逸脱することなく、様々な異なるフォーマットで、ウェブページ106の異なる場所に表示することができるものと理解される。例としてのみ、検索語ドッグフードに対して生成された3つの検索結果が、検索入力ボックス402の直下に表示されている。すなわち1参照番号406のPETsMART登録商標の検索結果、2参照番号408のeBAY登録商標の結果、および3参照番号410のWildAlaskaSalmon登録商標ドッグフードサプリメントの結果である。説明の目的で、検索語ドッグフードに対するこれらの3つの検索結果は本発明の一実施形態に従って最適化することなく、1:00PM時点での適合性スキーマデータベース114に従って図示の順序で表示してある。3つの結果のそれぞれに対する予測パフォーマンスを、以下の表1に列記してある。一実施形態においては、自動適合性オプティマイザ202の動作中に、暗黙適合性データ204図2が、検索結果406、408、および410のそれぞれに対して、類似の検索を最近入力してドッグフードに対する図示した検索結果を得たすべてのユーザにわたって合計した、CTRの形態で収集される。図示した例においては、暗黙適合性データ204から分かるのは、検索結果406、408、および410のそれぞれの実際のパフォーマンスは、予測されたものと異なり、図4Aの検索結果に示した検索結果の第1ページに現れない、他の2つの結果が、以下の表2に示すように、3つの結果のすべてよりも実際にはパフォーマンスが上回ったことである。図示した例においては、2つの実際のパフォーマンス、PETsMART登録商標406およびWildAlaskanSalmon登録商標410の検索結果が、予測結果に満たなかったので、自動適合性オプティマイザ202は、低パフォーマンス結果406、410の考えられる理由を診断して、適合性スキーマデータベース114を自動的に更新するアクション216をとり、その結果として、次にドッグフードの検索が入力されるときには、一組の異なる検索結果、すなわち表2に列記するAmazon.com登録商標416およびPETCO登録商標418に対する検索結果のパフォーマンスは、それらが優位であることに基づき、ユーザに表示されることになる。図4Bは、別のウェブページを表示するブラウザプログラム400を示し、この場合は、自動適合性オプティマイザ202が、適合性スキーマデータベース114を更新することによって検索結果の適合性を自動的に最適化するアクション216をとった後に、タイムボックス412に示されているように遅い時刻、3:00PMに生成されたものであり、ここでも検索語ドッグフードに対する検索結果が再び表示されている。図示した例においては、最初に1:00PMにおける一組の検索結果110の冒頭に現れたPETsMART登録商標の検索結果406に対する実際パフォーマンスが、そこに保持することを正当化するものではなかったので、図4Bに示すようにPETsMART登録商標の検索結果は消去されているまたは少なくとも後続のページに移されている。同様に、最初に1:00PMにおける一組の検索結果110の第1のページにおいて第3位に現れたWildAlaskanSalmon登録商標の検索結果410の実際パフォーマンスが、そこに維持することを正当化するものではなかったので、図4Bに示すように、それも消去されているまたは少なくとも次のページに移されている。低パフォーマンスの結果406、410の代わりに、サーチエンジン112は、以前の1:00PM時刻からアクション216によって更新された適合性スキーマデータベース114に従って、参照番号416のAmazon.com登録商標および参照番号418のPETCO登録商標に対する新規の検索結果を挿入している。Amazon.com登録商標の結果416は、今度は一組の検索結果110の冒頭に現れ、PETCO登録商標の結果418が第3位に現れる。eBAY登録商標の結果408は予測パフォーマンスレベルを満たしていたために、eBAY登録商標に関して適合性スキーマデータベース114は変更されずに、その結果は第2位のままである。上記の例において留意すべきことは、Amazon.com登録商標の結果416は、PETCO登録商標418およびeBAY登録商標408などのその他の結果がそうであるのとは異なり、実際のドッグフードと無関係であることである。したがって、純粋に人間判断の観点からは、新規の一組の検索結果は、検索語ドッグフードに対する適合性は低いように思えるかもしれない。しかし、20という高いパフォーマンスCTRから、その本が少なくとも一時的にはユーザが休暇のシーズン中に贈り物として購入することに関心のあるベストセラー本である可能性があることを、人間判断が見落とした可能性、および従来型コンテンツ分析が見落とした可能性がある傾向が明らかとなった。したがって、高い予測性の暗黙適合性データ204は、人間判断データ208よりも重みが大きくなり、大多数のユーザに対して適合性が高く満足できる最適の一組の結果を生成することができる。一実施形態においては、自動適合性オプティマイザ202が適合性スキーマデータベース114を更新することの代わりに、またはそれに加えてとることもできた別のアクション216としては、サーチエンジン112の動作を調整して、検索語としてドッグフードを入力するユーザに、ドッグフードという題名の新刊のベストセラー本についての結果が欲しいかどうか、あるいはドッグフードそのものおよびドッグフードを買う場所などについての情報の通常の結果が欲しいかどうかをさらに明確化するように促すことである。本ドッグフードの人気が低下すると、自動適合性オプティマイザ202は反対のアクションをとって、スキーマ114を更新してAmazon.com登録商標の結果416を消去するとともに、ユーザにその検索を絞り込むように促すことを解除することが予想される。こうすることによって、検索エンジンのオペレータは、検索結果の最適化を自動化することが可能となり、ユーザに対してより適合性の高くタイムリーな結果を提供するとともに、トラフィックの増大において検索エンジンに対するより多くの収入を生成することさえ可能である。上記の例は、説明の目的でのみ提示するものであると理解される。好ましい一実施形態において、暗黙適合性データ204は、CTR単独よりもより複雑なユーザの挙動を反映することになる。例えば、暗黙適合性データ204は、問題の結果に対しての多数のユーザの挙動、例えば、PETCO登録商標の結果418のユニフォームレコードロケータURLを1人または複数の友人に電子メールすること、その結果がリンクされているPETCO登録商標のウェブサイトで買い物をすることなど、の合計を反映することになる。そのような複雑な挙動は、一般に、CTR単独よりも適合性の予測性が高いものと考えられている。図5A~5Bは、本発明の一実施形態に従って検索エンジンにおける検索結果の最適化を自動化するために、図2および3の検索エンジンサーバ112と自動適合性オプティマイザ202と一緒に実行されるロジックを示すフロー図である。検索エンジンサーバ112は、スタートブロック502で始まり、処理ブロック504に続き、既存の適合性スキーマデータベース114による検索結果110図1を含む検索ウェブページ106が生成される。処理ブロック506において、自動適合性オプティマイザプロセス202は、暗黙適合性データ204、明示適合性データ206、人間判断テストデータ208、適合性検証テストデータ210、およびサンプルA/Bテストデータ212を含む、様々な源から検索結果110に対する適合性パフォーマンスデータを収集する。一実施形態においては、暗黙適合性データ204を収集することには、ローカルユーザセッション全体にわたって、または複数セッションにわたって、あるいは検索エンジンサーバ112からクロスユーザデータが利用可能な複数ユーザにわたって、データを合計することを含めることができる。代替として、暗黙適合性データ204は、自動適合性オプティマイザプロセス202による使用のために、検索エンジンサーバ112によってすでに合計されていてもよい。いずれにしても、処理は処理ブロック508に続き、ここで自動適合性オプティマイザプロセス202は、相対的な重要度に応じてパフォーマンスデータの様々な源を正規化することを含み、収集された適合性パフォーマンスデータの様々なソースを、考慮中の1つまたは複数の結果に対する実際パフォーマンスの測度としてコンパイルする。一実施形態においては、様々な源の相対的重要度は、検索結果の適合性を予測する上でのそれらの値の測度であり、その値は、検索エンジンのオペレータが事前設定することが可能であり、オペレータが自動適合性最適化プロセスを微調整するのを支援するために、時に応じてさらに変更される。好ましい一実施形態においては、暗黙適合性データ204の値は、適合性パフォーマンスデータのその他のソースよりも高くなりがちであるが、その理由は、そのようなデータは、データ収集が潜在的に大規模であり、またデータが迅速に収集できることにより予測性が高いためである。一実施形態においては、自動適合性オプティマイザプロセス202は、処理ブロック510に続き、考慮中の1つまたは複数の検索結果についての予測適合性データ214が取得される。予測適合性データ214は、検索エンジンのオペレータが事前定義することが可能であるとともに、検索結果の予測パフォーマンスにおける時間における変化を反映して時々変更することが可能である。一実施形態においては、この予測適合性データ214は、予測における自動変更を反映するために、自動適合性オプティマイザ202の先の反復によって生成されたアクション216によって変更しておくか、または更新しておくことができる。一実施形態においては、自動適合性オプティマイザプロセス202は処理ブロック512に続き、考慮中の1つまたは複数の結果の実際パフォーマンスの測度を予測パフォーマンスと比較し、ここで実際パフォーマンスは処理ブロック508において決定され、予測パフォーマンスは処理ブロック510において決定される。この比較が好ましくないとき、例えば実際パフォーマンスが予測パフォーマンスに満たない、または実質的に満たないときには、検索結果は低パフォーマンスであり、これは検索結果の適合性における問題を示すことができる。自動適合性オプティマイザプロセスは、この問題の考えられる1つまたは複数の原因を診断することを試みる。例えば、場合によっては、結果が陳腐化して、その他の新規の結果の適合性が高くなっており、このことは、例えば、これらの結果に対して収集された暗黙適合性データ204に反映されている。その他の場合においては、それについて検索結果が生成された検索語が、範囲が広すぎるか、またはスペルミスを犯しやすいものであり、検索エンジンはユーザを促してそれらの語を明確化する必要がある。添付の請求項の範囲から逸脱することなく、問題に対する考えられる原因について、その他多数の診断を行うことができる。図5Bにおいて、自動適合性オプティマイザ202は、判断ブロック514に続き、検索結果の適合性についての問題が診断されたかどうかが判定される。診断されていない場合には、自動適合性オプティマイザ202は終了楕円520において終了する。そうでない場合には、処理は処理ブロック516に続き、ここで自動適合性オプティマイザ202は、問題に対処するためにどのような調整または補正アクション216図2を生成するかを決定する。先述のように、アクション216には、検索語が一般的すぎるか、またはスペルミスを犯しやすいことに問題が関係する場合には、ユーザに検索語を明確化するか、または狭めることを促す、検索エンジン動作に対する調整を含めることができる。一実施形態においては、アクション216には、適合性スキーマデータベース114に対する一時的または永久的な修正、あるいは予測適合性データ214に対する修正をも含めることができる。さらに別の実施形態においては、アクション216には、検索ウェブページ106上の検索結果108に対する1つまたは複数の修正をリアルタイムで含めることができ、この場合に検索エンジン112によって生成された検索結果110は中断され、ユーザに対して検索結果適合性を最適化するために、再順位付け、並べ替え、再フォーマット、除去、他の結果と置換されるか、または修正される。上記のアクション216の組合せも、添付の請求項の範囲から逸脱することなく利用することができる。本発明の現時点で好ましい実施形態を示して説明したが、本発明の趣旨と範囲から逸脱することなく、様々な変更を行うことができることを認識されるであろう。例えば、すでに述べたように、本発明の一実施形態においては、自動適合性最適化システムプロセス202およびデータ収集310、診断312、および調整314のための関連するサブプロセスをリアルタイムで実装して、検索エンジンサーバ112によって取得されて自動適合性オプティマイザ202によって収集される、最新のパフォーマンスデータに基づく分単位の最適化が可能になる。別の実施形態においては、自動適合性最適化システム200プロセスをバッチモードで実装することによって、暗黙適合性データ204、明示適合性データ206、人間判断テストデータ、適合性検証テストデータ210、およびサンプルA/Bテストデータ212を含む、様々な源からのパフォーマンスデータのデータ収集、および検索結果の自動および手動の最適化を組み合わせることが可能になる。さらに他の実施形態においては、自動最適化検索結果適合性システム200は、応用において、パフォーマンスデータのすべてのソースよりも少ないソースの考慮に限定してもよく、例えば、暗黙適合性データ204に限定したり、同様に応用においてある種のアクション216に限定したりしてもよく、例えば適合性スキーマデータベース114に対する永久的修正、適合性スキーマデータベース114または検索結果110へのリアルタイム更新、またはそれらの任意の組合せに限定することができる。