(57)【要約】所与の関連性検証プロセスを人間決定プロセスに対して評価する測定可能な手段が提供される。たとえば、認識概念関係（ＣＣＲ）システムが、テスト対象の関連性検証アルゴリズムを訓練するために使用されるテストデータの関連性品質から独立した関連性検証評価を提供するために使用され得る。これにより、テストデータを手作業で再ラベル付けし、かつ／またはアルゴリズム関連性を再測定する必要なしに、それぞれ異なる関連性基準、および／または時間の経過に伴う関連性基準の変化を有する任意の数のビジネスアプリケーションについて、たとえばキーワード／アイテム対の関連性検証を評価する手段を提供する。【選択図】図４
2009520266.tif 000002
【特許請求の範囲】
【請求項１】
データアイテム対の関連性検証評価を容易にするシステムであって、
関連性評価のために入力データアイテム対を取得する受信コンポーネントと、
評価システムを使用して、関連性検証プロセスの評価、および前記関連性検証プロセスを訓練するために使用されるテストデータから独立した前記入力データアイテム対の関連性の決定を容易にする評価コンポーネントとを含むシステム。
【請求項２】
前記入力データアイテム対が、広告ターゲットまたはエンティティと、広告キーワードとに関連する、請求項１に記載のシステム。
【請求項３】
前記評価コンポーネントが認識概念関係（ＣＣＲ）システムを使用して前記関連性検証プロセスの評価を容易にする、請求項１に記載のシステム。
【請求項４】
前記ＣＣＲシステムがテストケースの人間分類を使用する、請求項３に記載のシステム。
【請求項５】
前記評価コンポーネントがアルゴリズム関連性精度の測定を提供する、請求項３に記載のシステム。
【請求項６】
前記関連性決定を使用して、ビジネスモデルに関してキーワードの関連性を適応的に判断するビジネスモデルコンポーネントをさらに含む請求項１に記載のシステム。
【請求項７】
前記ビジネスモデル関連性に基づいてキーワードについてのビジネス広告決定を判断する広告コンポーネントをさらに含む請求項６に記載のシステム。
【請求項８】
前記評価コンポーネントが、前記評価モデルを再訓練せずに、複数のビジネス関連性基準を同時にサポートすること、および、時間とともに変化するビジネス関連性基準をサポートすること、一方または双方を実行する請求項１に記載のシステム。
【請求項９】
請求項１に記載のシステムを少なくとも一部使用する広告キーワードオークションシステム。
【請求項１０】
データアイテム対の関連性検証評価を容易にする方法であって、
関連性について評価される入力データアイテム対を取得するステップと、
認識概念関係（ＣＣＲ）システムを使用する評価モデルの使用して、アルゴリズム関連性検証訓練データから独立した前記入力データアイテム対の関連性を評価するステップとを含む方法。
【請求項１１】
前記入力データアイテム対が、広告エンティティまたはターゲットと、広告キーワードとに関連する、請求項１０に記載の方法。
【請求項１２】
人間によって分類される前記ＣＣＲシステムのためにテストケースを使用するステップと、前記テストケースのデータのセット境界を分割し、テストデータから独立した関連性評価を可能にするステップとをさらに含む請求項１０に記載の方法。
【請求項１３】
前記ＣＣＲシステムを使用して関連性についてのアルゴリズム精度を測定するステップをさらに含む請求項１０に記載の方法。
【請求項１４】
それぞれ異なるビジネス関連性基準、時間の経過に伴うビジネス関連性基準の変化、および、複数の同時のビジネス関連性基準のうち、少なくとも１つを有するビジネスアプリケーションをサポートするためにアルゴリズム出力をビジネス基準に直接マッピングするステップをさらに含む請求項１０に記載の方法。
【請求項１５】
請求項１０に記載の方法を少なくとも一部使用してキーワードの自動オークションを容易にするオンラインインターネットオークション方法。
【請求項１６】
広告キーワードオークションを評価するための方法であって、
その広告に関連するビジネスエンティティによって望まれるキーワードを取得するステップと、
適応ビジネス関連性意思決定プロセスを使用して、前記キーワードが前記ビジネスに関連するかどうか評価するステップとを含む方法。
【請求項１７】
企業による入札の受入れを前記ビジネスへの前記キーワードの前記関連性に基づいて判断するステップをさらに含む請求項１６に記載の方法。
【請求項１８】
前記適応ビジネス関連性意思決定プロセスが、認識概念関係（ＣＣＲ）技術に少なくとも一部基づく請求項１６に記載の方法。
【請求項１９】
コンピュータ、サーバおよび手持ち式電子装置からなるグループから選択される少なくとも１つを含む、請求項１０の方法を使用する装置。
【請求項２０】
コンピュータ、サーバおよび手持ち式電子装置からなるグループから選択される少なくとも１つを含む、請求項１のシステムを使用する装置。
【発明の詳細な説明】
【背景技術】
【０００１】
ネットワーキングおよびコンピューティング技術の進歩は、基本の文書処理を実施し、低レベルの数学的計算をコンピュータ処理することができる低性能／高コストの装置から、無数の異なる機能が可能な高性能／低コストマシンへとコンピュータの変貌を可能にした。たとえば、消費者レベルのコンピューティング装置は、ユーザが支払いを行い、費用を追跡し、電子メールを用いて大きい距離にわたって友人または家族とほぼ瞬時に通信し、ネットワーク化されたデータレポジトリから情報を取得し、他の複数の機能／活動を行う助けとするために使用され得る。したがって、コンピュータおよび関連の周辺装置は、個人とビジネスの両方の活動のために使用される現代社会の必需品となっている。
【０００２】
特にインターネットは、任意の適切な主題に関する情報を取得するための機構をユーザに提供する。たとえば、様々なウェブサイトは、世界、国および／または地方のニュースに関するテキスト、画像およびビデオを掲載することに専用である。こうしたウェブサイトのうちの１つに関連するユニフォームリソースロケーター（ＵＲＬ：Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）についての知識を有するユーザは単純に、ウェブサイトおよびアクセスコンテンツを備えたウェブブラウザにＵＲＬを入力することができる。インターネットから所望の情報を見つける従来の別のやり方は、検索エンジンを使用することによる。たとえば、ユーザは、（たとえばボタン押下、１つまたは複数のキーストローク、音声コマンドなどによって）検索フィールドに単語または一連の単語を入力し、検索エンジンを開始することができる。次いで、検索エンジンは、検索アルゴリズムを使用して、ユーザによって検索フィールドに入力された単語または一連の単語に関連するウェブサイトを見つけ、次いでユーザは、検索エンジンによって返されたウェブサイトのうちの１つを選択して、関連するコンテンツをレビューすることができる。
【０００３】
ますます多くの人々がインターネットを使用し始めるにつれて、小規模ビジネスにも大規模ビジネスにも同様に収入の機会が存在することが明らかになっている。たとえば、多くの小売会社は、インターネットを使用してオンラインで商品を販売し、それによって、店舗位置の管理および維持に関連するコストを削減し、在庫を集中化する能力、ならびに顧客に転嫁されるコストの削減をもたらす他の様々な類似の利点を提供する。ビジネスおよび／または収入を生み出すためのこの増加したインターネットの使用に鑑みて、インターネットが広告機構として使用され得るということも明らかになっている。一実施例では、検索エンジンに用語「花」を入力する個人は、花の購入に関心があるかもしれず、したがって、ユーザが関連語を検索している時点でそのユーザに広告することは、花を販売する企業にとって有益である。情報を検索しているユーザはしばしば、関連する広告を見て、花を購入するためにこうした広告をクリックし、それによって、花小売業者のビジネスを創造する。さらに、検索エンジンには、たとえば用語「花」などの関連語が検索語として使用されるときなど、特定の期間の間の広告スペースを小売業者に販売することによって追加の収益が与えられる。
【０００４】
従来、検索エンジンに提供された検索語に関する広告スペースは、オークションのやり方で購入されまたは販売される。より具体的には、検索エンジンは、複数の購入者にとって関心のある１つまたは複数の検索語を含む（ユーザからの）問合せを受信することができる。購入者は、検索語の少なくとも１つに関して入札を行うことができ、最高入札に対応する購入者が、結果として生じるページビュー上に広告を表示してもらう。入札および入札の選択は、ほんの数ミリ秒の内に行われることができ、それによって、検索エンジンの有用性に悪影響を及ぼさない。したがって、２人以上の競合入札者が、受信された問合せの中の１つまたは複数の検索語に関連する広告スペースの販売価格が決定されるまでの制限された時間枠内に互いに入札することができる。この入札は、特定の検索語（１つまたは複数）の需要曲線でプログラムされたプロキシ（たとえばコンピュータコンポーネント）によってしばしば遂行される。上記に示唆されるように、検索語に関連する広告スペースのオークションは、検索エンジンのための実質的な収入源であり、さらに広告主の収入源であり得る。
【０００５】
検索語で広告することから得る収入の大幅な増大の潜在性のために、企業は、できるだけ多くの検索語、さらには検索語自体には関連性のない単語をもその広告に関連付けようとする可能性が非常に高い。これは一般に、２つの理由、第１に広告の露出増加のため、第２に広告可能であることから競争を除外するために試みられる。しかし、無関係な広告を検索語に関連付けることを可能することによって、ユーザは一般に、検索エンジンに直ぐに不満を感じるようになり、別の検索エンジンに切り換え、またはユーザが検索する度に無関係な広告を絶えず表示することに対して特定の広告主に反感を抱くようになる。これらの問題を回避するために、検索語が特定の広告および／またはビジネスに関連付けられることができるほど十分に関連性があるかどうか判断するために、しばしば「関連性基準」が使用される。関連性を判断するための現在の技術は非常に厄介であり、一般に、訓練され、またデータが変化するときに再訓練されなければならないモデルを必要とし、また特定のビジネス関連性基準のためだけに実施され得る。関連性は時間とともに変化し得る（たとえば企業が新製品を追加し、消費者傾向が変化し、単語が新しい意味をもつなど）ので、関連性を評価する現在の試みは非常に厄介であり、変更するのに多くの時間を要するものになる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
下記は、主題の実施形態のいくつかの態様についての基本的な理解を促すために、本主題の簡略化された要約を提示している。この要約は、本主題を広範に外観するものではない。それは、諸実施形態の重要な／重大な要素を識別するものでも、本主題の範囲を定めるものでもない。その唯一の目的は、以下で提示されるより詳細な説明の序文として、本主題のいくつかの概念を簡略化された形で提示することである。
【０００７】
本主題は、一般には、データ検証に関し、より詳細には、たとえばキーワード広告オークションで使用される関連性検証プロセスを評価するためのシステムおよび方法に関する。それは、所与の関連性検証プロセスを人間の決定プロセスと比較する測定可能な手段を提供する。たとえば、テスト対象の関連性検証アルゴリズムを訓練するために使用されるテストデータの関連性品質とは独立した関連性検証評価を提供するために、認識概念関係（ＣＣＲ：ｃｏｇｎｉｔｉｖｅ  ｃｏｎｃｅｐｔ  ｒｅｌａｔｉｏｎｓｈｉｐ）システムが使用され得る。これは、テストデータを手作業で再ラベル付けし、かつ／またはアルゴリズム関連性を再測定する必要なしに、それぞれ異なる関連性基準、および／または時間の経過に伴う関連性基準の変化を有する任意の数のビジネスアプリケーションについて、たとえばキーワード／アイテム対の関連性検証を評価する手段を提供する。したがって、関連性検証を評価する極めて柔軟な手段は、現在の関連性検証技術に必要な一般的なリソースなしに、他の目的のために時間とリソースの両方を解放して達成され得る。
【課題を解決するための手段】
【０００８】
上記および関連の目的を達成するために、実施形態の例示的な特定の態様が、以下の説明および添付の図面に関連して本明細書に述べられる。しかし、これらの態様は、本主題の原理が使用されてもよい様々なやり方のほんの数例を示すものであり、本主題は、すべてのこうした側面およびその等価物を含むものである。本主題の他の利点および新規の特徴は、図面と併せて考慮されるときに、以下の詳細な説明から明らかになり得る。
【発明を実施するための最良の形態】
【０００９】
次に、本主題が図面を参照して述べられる。図面では、同じ参照符号は、全体を通して同様の要素に言及するために使用されている。以下の記述では、説明目的により、複数の具体的な詳細が、本主題の完全な理解を促すために示されている。しかし、本主題の実施形態は、これらの具体的な詳細なしに実施されてもよいことが明らかであり得る。他の例では、諸実施形態についての説明を容易にするために、よく知られている構造および装置がブロック図の形で示されている。
【００１０】
本出願では、用語「コンポーネント」は、コンピュータ関連のエンティティ、すなわちハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェアまたは実行中のソフトウェアを指すものである。たとえば、コンポーネントは、それだけに限らないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラムおよび／またはコンピュータであり得る。例を挙げると、サーバ上で実行されるアプリケーションとサーバの両方が、コンピュータコンポーネントであり得る。１つまたは複数のコンポーネントが、プロセスおよび／または実行スレッド内に常駐してもよく、コンポーネントは、１つのコンピュータ上で集中化させても、かつ／または２つ以上のコンピュータ間で分配させてもよい。「スレッド」は、オペレーティングシステムカーネルが実行のためにスケジューリングするプロセス内のエンティティである。当技術分野でよく知られているように、それぞれのスレッドは、スレッドの実行に関連する揮発性データである、関連した「コンテキスト」を有する。スレッドのコンテキストは、システムレジスタのコンテンツと、スレッドのプロセスに属する仮想アドレスとを含む。したがって、スレッドのコンテキストを含む実データは、それが実行される間に変化する。
【００１１】
関連性検証（ＲＶ：Ｒｅｌｅｖａｎｃｙ  ｖｅｒｉｆｉｃａｔｉｏｎ）は、まずモデル構築のためにテストデータから学習し、次いでそれがテストデータから学習したこと（モデル内に格納された知識）に基づいて任意の入力対に関するアルゴリズム決定を提供する、マシン学習（ＭＬ：ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）アルゴリズムのクラスを記述する。残念ながら、テストデータを収集し、ＲＶモデル（いわゆるモデル訓練）を構築するには時間およびリソースを要し、同じ入力データに適用される必要がある複数のビジネス関連性基準があり得る。本明細書では、このシステムおよび方法の例は、テストデータから独立した関連性評価の基礎として認識概念関係（ＣＣＲ）システムを使用するＲＶ評価解決策を提供することができる。アルゴリズム関連性は、各データセットによってアルゴリズム関連性を測定する（垂直評価）のではなく、各ＣＣＲタイプで測定される（水平評価）。それを行う際に、アルゴリズム関連性は人間の認識に基づき、したがってテストデータの関連性品質から独立したものである。したがって、本明細書では、このシステムおよび方法の例は、データを手作業で再ラベル付けし、かつ／またはアルゴリズム関連性を再測定する必要なしに、それぞれ異なる関連性基準を有する任意の数のビジネスアプリケーションをサポートし、かつ／または時間の経過に伴うビジネス関連性基準の変化をサポートすることができる。
【００１２】
本明細書では、このシステムおよび方法の例は、広告主がその広告に関連付けるキーワードに入札するキーワードオークションで特に有用である。このタイプの関連付けでは、ユーザに、これらのキーワードを検索エンジン内の検索語として使用することに基づいて広告が提示され得る。キーワードへの広告の関連性が高くなるほど、キーワードがウェブ検索などのために使用されるときにユーザに提示されたアイテムおよび／またはサービスをユーザが購入する可能性が高くなる。したがって、キーワードと広告の間で高い関連性を有することは、広告主（たとえば、より適切な顧客に到達し、販売の可能性が高まるなど）と、ユーザ（たとえば、関係のない多くの邪魔な広告の集まりが提示されない）の両方のためになる。
【００１３】
図１に、一実施形態の一態様による適応ＲＶ評価システム１００のブロック図が示されている。適応ＲＶ評価システム１００は、入力１０４を取得し、出力１０６を提供する適応ＲＶ評価コンポーネント１０２で構成される。入力１０４は一般に、関連性のチェックが必要であるアイテムの入力対である。ある例では、入力１０４は、広告キーワード、および広告ターゲット（たとえば広告ウェブページ、ウェブページ広告、バナーなどによって販促された特定の製品および／または製品ライン）ならびに／あるいはエンティティ（たとえば特定の広告ターゲットなどではなくビジネス）で構成される。適応ＲＶ評価コンポーネント１０２は、入力１０４を受信し、入力１０４のアイテムの関連性を決定し、出力１０６を提供する。ある例では、出力１０６は、適応ＲＶ評価コンポーネント１０２によって使用されたＣＣＲシステムによって提供される認識概念関係（ＣＣＲ）タイプで構成される。ＣＣＲタイプは、適応可能なビジネス関連性モデルを提供するために、ビジネス関連性モデル（後述される）への入力として使用され得る。モデルはそれ自体、ビジネス関連性モデル内でＣＣＲタイプがどのように使用されるかを適応させることによって、複数のタイプの関連性基準、および／または時間の経過に伴う関連性基準の変化に適応され得る。しかし、適応ＲＶ評価コンポーネント１０２によって提供されるＣＣＲタイプは、この適応性を得るために変化することは求められない。
【００１４】
適応ＲＶ評価コンポーネント１０２は、関連性検証アルゴリズムの品質を評価するデータ独立型の手法を提供する。これは、テストデータセットへの一般的な依存なしに評価を行うことを可能にする。それは、人間が一般的な関連性モデルと対話することから生じる主観的傾向を減少させることもできる。ＣＣＲシステムは一般に、従来の技術で使用される関連性に対する主観的な関連／非関連「試み（ｓｔａｂ）」を有効に取り除く、そこから選択が行われる５つのタイプの関係を有する。これは、関連性の最終決定ではなく、ＣＣＲタイプへの人間の主観性を低減させる。ビジネス関連性モデル内でＣＣＲタイプがどのように使用され／ランク付けされるかは、時間とともに変化し、かつ／またはそれぞれ異なるビジネスモデル内で変化することがある。これは、変更された関連性モデルに基づいて入力１０４を再検証することを適応ＲＶ評価コンポーネント１０２に求めずに、企業が時間とともに関連性の認識を変更することを可能にする。
【００１５】
図２を参照すると、一実施形態の一態様による適応ＲＶ評価システム２００の別のブロック図が示されている。適応ＲＶ評価システム２００は、入力対２０４を取得し、入力対のＣＣＲタイプ２０６を提供する適応ＲＶ評価コンポーネント２０２で構成される。適応ＲＶ評価コンポーネント２０２は、受信コンポーネント２０８とＣＣＲ評価コンポーネント２１０で構成される。入力対２０４は一般に、キーワードおよび広告ターゲット／エンティティで構成される。受信コンポーネント２０８は、たとえば広告キーワードオークションエントリなどから、関連性判断のための入力対２０４を取得する。ＣＣＲ評価コンポーネント２１０は、受信コンポーネント２０８から入力対２０４を受信し、５つのＣＣＲタイプを有するＣＣＲシステムを使用することによって入力対２０４を分類する。ＣＣＲタイプ分類は、ＣＣＲ評価コンポーネント２１０によって、入力対ＣＣＲタイプ２０６として出力される。分類はそれ自体、プロセスを容易にするために人間の対話および／またはマシン学習を使用することができる。どんな人間対話もＣＣＲシステムに基づくタイプ付けに制限されるので、人間の相手方によって与えられた関連性への主観的な影響が大幅に減少される。
【００１６】
図３を見ると、一実施形態の一態様による適応キーワードＲＶ評価システム３００のブロック図が示されている。適応キーワードＲＶ評価システム３００は、キーワード３０４および広告ターゲット／エンティティ３０６を取得し、キーワードビジネス関連性３０８を提供する適応キーワードＲＶ評価コンポーネント３０２で構成される。適応キーワードＲＶ評価コンポーネント３０２は、適応ＲＶ評価コンポーネント３１０およびビジネス関連性モデルコンポーネント３１２で構成される。適応キーワードＲＶ評価コンポーネント３０２は、複数のキーワードビジネス関連性の評価を提供するために、複数のビジネス関連性モデルコンポーネントを使用することもできる。適応ＲＶ評価コンポーネント３１０は、キーワード３０４および広告ターゲット／エンティティ３０６を取得し、入力対のＣＣＲタイプを決定する。
【００１７】
ビジネス関連性モデルコンポーネント３１２は、ＣＣＲタイプを受信し、キーワードビジネス関連性３０８の決定を容易にするために、適切なビジネス関連性モデルを適用する。ビジネス関連性モデルコンポーネント３１２によって使用されるビジネス関連性モデルは時間とともに変化することがあり、したがって、キーワード３０４のキーワードビジネス関連性３０８、および広告ターゲット／エンティティ３０６は、適応ＲＶ評価コンポーネント３１０によって提供される同じＣＣＲタイプが与えられ、時間とともに変化することもあることに留意されたい。別の例では、異なるビジネス関連性モデルをそれぞれが有し得る複数のビジネス関連性モデルコンポーネントが使用され得る。したがって、適応ＲＶ評価コンポーネント３１０によって提供されるＣＣＲタイプは、適応ＲＶ評価コンポーネント３１０にＣＣＲタイプを再び決定し／検証することを求めずに、それぞれ異なるキーワードビジネス関連性を提供するために、複数のモデルによって（さらには同時に）使用され得る。したがって、適応キーワードＲＶ評価システム３００は、アルゴリズムで導出されたキーワードビジネス関連性に対する、人間認識で導出されたキーワードビジネス関連性の評価を提供するために使用され得る。
【００１８】
図４に移ると、一実施形態の一態様による適応キーワード広告評価システム４００のブロック図が示されている。適応キーワード広告評価システム４００は、キーワード４０４および広告ターゲット／エンティティ４０６を取得し、キーワードビジネス決定４０８を提供する適応キーワード広告評価コンポーネント４０２で構成される。適応キーワード広告評価コンポーネント４０２は、適応キーワードＲＶ評価コンポーネント４１０およびキーワード広告評価コンポーネント４１２で構成される。適応キーワードＲＶ評価コンポーネント４１０は、キーワード４０４および広告ターゲット／エンティティ４０６を取得する。適応キーワードＲＶ評価コンポーネント４１０は、入力対４０４／４０６のＣＣＲタイプを決定し、入力対４０４／４０６のビジネス関連性を決定するために適切なビジネス関連性モデルを適用する。ビジネス関連性モデルは、企業によって供給され、かつ／または適応キーワード広告評価コンポーネント４０２によって提供され得る。したがって、たとえば、広告オークション設定では、企業は、キーワードを選択し、ビジネス関連性モデルを提供し、かつ／または単にキーワードを選択し、オークションエンティティに適切なビジネス関連性モデルを提供させることができる。
【００１９】
キーワード広告評価コンポーネント４１２は、適応キーワードＲＶ評価コンポーネント４１０からキーワードビジネス関連性を取得し、キーワードビジネス決定４０８を提供する。キーワード広告評価コンポーネント４１２は、キーワード４０４のビジネス関連性が、企業のキーワード４０４への入札を可能にするのに十分であるかどうか本質的に判断する。キーワード広告評価コンポーネント４１２によって使用される基準は、要望に応じて動的に変更され得る。キーワード広告評価コンポーネント４１２は、オークションエンティティによって制御されることができ、かつ／またはキーワードビジネス決定を判断するために使用されるパラメータは、広告エンティティ／ビジネスが特定キーワードへの入札を行うのに適しているかどうか判断するためにそれ自体のシステムを評価することができるように、広告エンティティ／ビジネスに広められることができる。適応関連性検証、適応ビジネスモデル、および／または適応性キーワードビジネス決定モデルを使用することによって得られた大きい柔軟性によって、データの再ラベル付け、関連性アルゴリズムの再評価、および／または複数の関連性アルゴリズムの開発を行わずに、オークションのキーワード関連性評価の非常に効率的なやり方がもたらされる。
【００２０】
関連性検証（ＲＶ：Ｒｅｌｅｖａｎｃｅ  Ｖｅｒｉｆｉｃａｔｉｏｎ）
関連性検証は一般に、モデルを構築するために、テストデータから訓練されるマシン学習アルゴリズムを使用する。次いで、アルゴリズムは、テストデータから取得されたモデル内の学習によって得られた知識に基づいて入力対に関する関連性決定を提供する。たとえば、ＲＶは、大きいビジネスインパクトを有するキーワードオークションベースの有料検索プラットフォームで使用される。オークションシステムにおけるＲＶの役割は、広告主が入札するキーワードが、それが提出した広告ページに関連しているかどうか自動的に（人間編集者のレビューなしに）応答することである。このオークションシステムでは、それぞれのキーワード／広告ページ対は、ＲＶチェックを経なければならない。したがって、ＲＶは、有料検索システム内のクリティカルパスにある。したがって、ＲＶは、人間によるレビュー手法よりも遥かにスケーラブルであり、コスト効果の高い技術的解決策である。しかし、人間編集者に置き換わることができるように、ＲＶは、人間編集者に実質的に類似する正確な関連性判断を行わなければならない。課題は、ＲＶアルゴリズムが与えられて、人間認識システムによって表され得る測定可能なやり方でどのように関連性を評価し、またアルゴリズム決定を人間決定とどのように比較するかである。
【００２１】
さらに、テストデータを収集し、ＲＶモデルを構築する（いわゆる「モデル訓練」）には時間およびリソースを要する。ビジネス環境は常に変化しており、関連性へのビジネス基準は時間とともに変化することがあり、したがって、同じデータ入力に適用される必要がある複数のビジネス関連性基準があり得る。したがって、再訓練される必要なしに解決策が単一のＲＶアルゴリズムから様々な複数の関連性基準をサポートするならば最も効果的である。本明細書では、このシステムおよび方法の例は、テストデータから独立した人間認識概念関係に基づくＲＶ評価解決策を提供する。他の例では、評価解決策はまた、こうした概念関係によってアルゴリズム決定をビジネス関連性基準にマッピングし、したがって、モデル再訓練および／または複数のモデルの必要性を取り除く。
【００２２】
従来のＲＶ評価手法
ＲＶアルゴリズムを評価するための従来の方法は、一般的に下記のステップからなる：１）通常複数のデータセットを有するテストデータの人間によるラベル付け。それぞれのケースが、「関連」または「非関連」でラベル付けされる。２）ＲＶアルゴリズム決定を人間ラベル付けに対して比較する。３）報告によって、各データセット、およびすべてのデータケースに関する精度行列がもたらされる。表１に、精度行列の例が図示されており、２つのテストデータセットと共に示されている。
【００２３】
【表１】
2009520266.tif 000003
表１で使用された値は、例示するためのものにすぎないことに留意されたい。本明細書ではこのシステムおよび方法の例は、２値出力（関連および非関連）で示されているが、しかし、本明細書ではこのシステムおよび方法は、出力数および／または出力値に関して制限されない。これらの２つのデータセットは、データサイズの大きい変化、および固有のデータ関連性の差を有することが見て分かる。データセット間の関連性の差異に対処するために、通常、各データセット（たとえばデータセット１、データセット２）について人間ラベルおよびマシン決定の間で一致（正確）および不一致（誤り）を報告し、次いで、結合されたすべてのテストケース（たとえば合計）についての精度行列を計算する。
【００２４】
従来手法に関する問題
この既存の手法に関する問題は、以下を含む。
【００２５】
１）共通およびビジネスサウンドの評価基礎の欠如−こうした基礎なしでは、関連性についてのテストデータ品質は、定量的に表されることができず、したがって、人間ラベル付けの精度を制御するのは難しい。データケースが決定（関連または非関連）でラベル付けされる場合、それがなぜ、またどんな人間決定に基づいて行われるかは知られていない。したがって、２人の人間編集者が同じケースについてそれぞれ異なる関連性ラベルを有することは一般的である。
【００２６】
２）マシン関連性評価は、テストデータに結び付けられており、したがって、テストデータの関連性品質から独立していない−従来の手法は、個々の各テストセットについて人間の出力と比較することによってアルゴリズム出力品質（しかし厳密に各データセットが何を示しているか）を報告し、また、要約として結合されたすべてのケースについて同じことを報告することである。このようにアルゴリズム精度を客観的に独立して査定することは難しい。
【００２７】
３）様々なまたは複数のビジネスニーズによってビジネス関連性決定を変更することは難しい−たとえば、それぞれ異なる関連性ニーズを有する２つのビジネスアプリケーションがある。第１のアプリケーションは、２つの入力が同じことについて述べるまで、関連性決定を与えない。しかし、第２のアプリケーションは、こうした厳密な関連性基準を必要としない。それは、２つの入力が互いに無関係でない限り、関連性決定を出力する。あるいは、同じビジネスアプリケーションは、時間とともに変化する関連性基準を有する。これらのすべての要件は、データセット自体に結び付けられる関連性評価の従来の手法によっては満たされ得ない。それは、ビジネス関連性基準が変化し、またはそれぞれが異なるビジネス関連性基準に役立つ複数のモデルの構築を必要とする場合には、再ラベル付けおよびモバイル再訓練を必要とする。
【００２８】
適応可能な手法
本明細書ではこのシステムおよび方法の例は、関連性評価の基礎として認識概念関係（ＣＣＲ）システムを選択することを可能にする。これは、定量的かつ記述的なビジネスサウンド基礎である。この例は、テストケースをＣＣＲシステムに分ける人間による分類をも提供することができる。このステップは、データのセット境界を分割して、テストケースをＣＣＲタイプ別に分類する。これを行うことによって、テストデータから独立した関連性評価が可能になる。アルゴリズム精度の測定も、ＣＣＲシステムによって遂行される。したがって、各データセットによってアルゴリズム関連性を測定する（垂直評価）のではなく、人間認識に基づいており、テストデータの関連性品質とは独立した各ＣＣＲタイプで測定される（水平評価）。これは、適応ビジネス関連性意思決定を提供する。ビジネス関連性決定基準は、同じＣＣＲシステム上で表され、したがってアルゴリズム出力は、ビジネス基準に直接マッピングされ得る。本明細書ではこのシステムおよび方法の例は、人間によるデータの再ラベル付け、またはアルゴリズム関連性の再測定を必要とせずに、それぞれ異なる関連性基準を有する任意の数のビジネスアプリケーションを自然にサポートすることができ、時間の経過に伴うビジネス関連性基準の変化をサポートする。
【００２９】
適応可能な方法
本明細書に開示された例は、下記のステップ（以下に詳述される）のうちの一部またはすべてを使用することができる：
１．関連性評価基礎として認識概念関係（ＣＣＲ）システムを使用する。
２．人間がテストデータをＣＣＲに分類する。
３．ＣＣＲシステムによってアルゴリズム関連性を定量的に測定する。
４．ＣＣＲシステムによってアルゴリズム出力をビジネス関連性決定にマッピングする。
【００３０】
関連性評価基礎としての認識概念関係（ＣＣＲ）タイプの使用
表２に示されるように、１対の入力間に全体で５つのタイプの認識概念関係がある。
【００３１】
【表２】
2009520266.tif 000004
概して述べると、タイプの数が増加するにつれて、２つの入力の関連性は減少する。図に表すと、これらのタイプの認識概念関係（ＣＣＲ）は、図５の図表５００に示されるように視覚化され得る。ＣＣＲシステムは、任意の２つの入力の関連性を定量的に表す。
【００３２】
テストデータの人間ＣＣＲ分類
データラベル付けは、各データケース（２つの入力を含む）を５つのタイプのうちの１つに分類する、人間による分類訓練となる。このステップで、データセット境界が分割され、人間認識概念関係によって、５つのタイプのテストデータが生成される。データがＣＣＲタイプによってラベル付けされると、関連性などの所与のデータの差異、セット間のサイズのばらつきは、ＲＶ評価には無関係である。図６は、複数のセットを有するテストデータのＣＣＲタイプによる例示的な分布を示すグラフ６００である。
【００３３】
人間によるラベル付けが個々のテストケースに基づいて単に関連または非関連を出力する従来の手法は、定量化し、説明し、品質制御するのが難しい。また、関連性決定がなされると、それは、ビジネス関連性決定基準が更新されるときに変更され得ない。ビジネス関連性基準が変化する場合、テストデータは、再ラベル付けされなければならない。また、ＣＣＲなどのカテゴリシステムなしに、何が関連であり、何が非関連かを人間レビュー者に定量的に説明するのは難しい。本明細書のこのシステムおよび方法の例では、人間編集者は、テストデータ内の入力対をＣＣＲシステムに分類するように単に求められ、それは非常に簡単であり、ラベル品質のより容易な管理を許可する。関連性意思決定は、解決策の最後のステップに遅延され、様々なビジネス関連性基準がサポートされ得る。
【００３４】
ＣＣＲ内のアルゴリズム精度の測定
データセットを使用するのでなく、各タイプについて上記ステップからの分類されたデータを使用して、ここではＣＣＲタイプによってマシン精度が測定される。したがって、この評価は、定量的に記述的であり、所与のテストデータ品質から独立したものである。図７の中のグラフ７００は、ＣＣＲによるＲＶマシンシステムの精度の出力例を示している。このグラフ７００は、タイプ０（２つの入力が人間ラベル付けからのほぼ同じ概念である）７０２について、ＲＶアルゴリズムが９６％正確であり、すなわち１００個のタイプ０のケースでは、ＲＶは９６回正確であることを示す。このステップで、ＲＶアルゴリズムの精度は、各ＣＣＲタイプで定量的に測定される。結果は、個々のデータセットによるのではなく、ＣＣＲによって表される。この場合も、ビジネス関連性意思決定は、後続のステップに遅延される。
【００３５】
ＣＣＲによるアルゴリズム出力のビジネス関連性決定へのマッピング
ＣＣＲによって表されたアルゴリズム結果を用いて、アルゴリズム出力は、ＣＣＲシステム内でビジネス関連性決定に直接マッピングされ得る。表３は、それぞれ異なる関連性基準を有する２つのビジネスアプリケーションを仮定して、こうしたマッピングを示している。
【００３６】
【表３】
2009520266.tif 000005
まず、ビジネス関連性ニーズが、ＣＣＲに定量化される。たとえば、Ａｐｐ．１からの「厳密」は、以下に変換される：
１．関連がＣＣＲタイプ０を含む。
２．非関連がＣＣＲタイプ１から４を含む。
次に、アルゴリズム関連性は、ビジネス関連性のＣＣＲマッピング、および各ＣＣＲタイプのアルゴリズム関連性精度に基づいて定量化される。
【００３７】
アルゴリズムの評価されたビジネス関連精度（ＢＲＡ：Ｂｕｓｉｎｅｓｓ  Ｒｅｌｅｖａｎｔ  ａｃｃｕｒａｃｙ）は、以下の通りである。
【００３８】
【数１】
2009520266.tif 000006
一例として、アプリケーション＃１のＢＲＡは、
【００３９】
【数２】
2009520266.tif 000007
である。
【００４０】
アルゴリズムの評価されたビジネス非関連精度（ＢＮＲＡ：Ｂｕｓｉｎｅｓｓ  Ｎｏｎ−Ｒｅｌｅｖａｎｔ  ａｃｃｕｒａｃｙ）は、以下のように計算される
【００４１】
【数３】
2009520266.tif 000008
一例として、アプリケーション＃１のＢＮＲＡは、
【００４２】
【数４】
2009520266.tif 000009
のように計算される。
【００４３】
ＢＲＡおよびＢＮＲＡはそれぞれ、所与のビジネス基準によって関連および非関連であるケースについてどの程度正確であるか（人間との一致性）を示す。本明細書で示された評価解決策は、それぞれ単に１−ＢＲＡおよび１−ＢＮＲＡであるビジネス関連およびビジネス非関連カテゴリの誤り率について報告することもできる。このことから、単一のＲＶアルゴリズムが、データ再ラベル付け、アルゴリズム再訓練および／または再評価の必要なしに、それぞれ異なる関連性基準を有する複数のビジネスアプリケーション、および／または時間とともに変化する関連性基準を有する同じビジネスアプリケーションを直接サポートできることが示される。これは、ビジネス関連性基準を所与のＣＣＲタイプシステムにマッピングし、人間認識の互いに素なそれぞれ異なる関連性関係を十分に活用することによって達成される。次いで、ＮＲＡおよびＢＮＲＡは、メンバＣＣＲタイプのアルゴリズム精度尺度から、ビジネス関連およびビジネス非関連カテゴリへと計算される。キーワードビジネス関連性モデルおよび／またはキーワード広告モデルの精度をさらに評価するために、類似の評価アルゴリズムが使用されることもできる。
【００４４】
上記に示され述べられた例示的なシステムを考慮して、諸実施形態に従って実施されてもよい方法論は、図８〜図１０のフローチャートを参照してよりよく理解されよう。説明を簡単にするために、諸方法論は一連のブロックとして示され述べられているが、一実施形態によれば一部のブロックがそれぞれ異なる順序で、かつ／または本明細書に示され述べられた他のブロックと同時に生じることがあるので、諸実施形態は、ブロックの順序によって限定されないことを理解されたい（ｕｎｄｅｒｓｔａｎｄ  ａｎｄ  ａｐｐｒｅｃｉａｔｅ）。さらに、示されたすべてのブロックが、諸実施形態による諸方法論を実施するように求められ得るとは限らない。
【００４５】
諸実施形態は、１つまたは複数のコンポーネントによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で述べられ得る。一般に、プログラムモジュールは、特定のタスクを実施し、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、データ構造体などを含む。一般には、諸実施形態の様々な例で述べられるように、プログラムモジュールの機能性は組み合わされても、分散されてもよい。
【００４６】
図８に、一実施形態の一態様によるＲＶ評価を容易にする方法８００のフローチャートが示されている。方法８００は、入力対の取得８０４によって開始する８０２。入力対は、広告キーワード、および広告ターゲット（たとえば広告ウェブページ、ウェブページ広告、バナーなどによって販促された特定の製品および／または製品ライン）ならびに／あるいはエンティティ（たとえば特定の広告ターゲットなどではなくビジネス）で構成され得る。次いで、データとは独立した入力対の関連性が、認識概念関係タイプに少なくとも一部基づいて決定され８０６、フローを終了する８０８。ＣＣＲタイプは、適応可能なビジネス関連性モデルを提供するために、ビジネス関連性モデルへの入力として使用され得る。モデルはそれ自体、ビジネス関連性モデル内でＣＣＲタイプが使用されるやり方を適応させることによって、複数のタイプの関連性基準、および／または時間の経過に伴う関連性基準の変化に適応され得る。しかし、ＣＣＲタイプは、この適応性を得るために変化するように求められない。
【００４７】
図９に移ると、一実施形態の一態様によるビジネス関連性意思決定を適応可能に容易にする方法９００のフローチャートが示されている。この方法９００は、企業が望む広告キーワードを取得すること９０４によって開始する９０２。次いで、キーワード広告関連性が、適応ビジネス関連性意思決定プロセスを使用することによって決定される９０６、フローを終了する９０８。これは、ＣＣＲシステムを使用することができる適応ビジネス関連性意思決定プロセスを使用した広告関連性の評価を可能にする。したがって、アルゴリズム手法と人間認識手法の間の比較は、容易に得られることができる。
【００４８】
図１０を見ると、一実施形態の一態様によるＲＶ評価を容易にする方法１０００の別のフローチャートが示されている。この方法１０００は、関連性評価基礎として認識概念関係（ＣＣＲ）システムを使用する１００４ことによって開始する１００２。ＣＣＲシステムは、上記の表２に示されたように、５つのタイプの関係を含む。関連性は一般に、タイプの数が増加するにつれて減少する。図表５００については、図５を参照されたい。ＣＣＲシステムは、関連性が定量的に表されることを可能にする。次いで、テストデータが、人間によってＣＣＲシステムに分類される１００６。これによりデータセット境界を分割し、人間認識概念関係によって５つのタイプのテストデータが生成される。データがＣＣＲタイプによってラベル付けされると、関連性などの所与のデータの差異、およびセット間のサイズのばらつきは、ＲＶ評価とは無関係となる。たとえば、人間編集者は、テストデータの入力対をＣＣＲシステムに分類するように単に求められることができ、それは簡単であり、ラベル品質の制御をより容易にすることができる。これは、関連性意思決定を遅延させ、様々なビジネス関連性基準がサポートされることを可能にする。
【００４９】
次いで、アルゴリズム関連性は、ＣＣＲシステムによって定量的に測定される１００８。従来の手法のようにデータセットを使用するのではなく、マシン精度が、各タイプについて分類されたデータを使用してＣＣＲタイプによって測定される。したがって、この評価は、定量的に記述的であり、所与のテストデータ品質とは独立したものである。次いで、アルゴリズム出力は、ＣＣＲシステムによってビジネス関連性決定にマッピングされ１０１０、フローを終了する１０１２。ＣＣＲによって表されたアルゴリズム結果を用いて、アルゴリズム出力は、ＣＣＲシステム内でビジネス関連性決定に直接マッピングされ得る。まず、ビジネス関連ニーズが、ＣＣＲに定量化される。次いで、アルゴリズム関連性が、ビジネス関連性のＣＣＲマッピング、および各ＣＣＲタイプ内のアルゴリズム関連性精度に基づいて定量化される。したがって、単一のＲＶプロセスが、データ再ラベル付け、アルゴリズム再訓練および／または再評価を必要とせずに、それぞれ異なる関連性基準を有する複数のビジネスアプリケーション、および／または時間とともに変化する関連性基準を有する複数のビジネスアプリケーションを直接サポートすることができる。これは、ビジネス関連性基準を所与のＣＣＲタイプシステムにマッピングし、人間認識の互いに素な異なる関連性関係を十分に活用することによって達成される。次いで、ＮＲＡおよびＢＮＲＡは、メンバＣＣＲタイプのアルゴリズム精度尺度から、ビジネス関連およびビジネス非関連カテゴリへと計算される。キーワードビジネス関連性モデルおよび／またはキーワード広告モデルの精度をさらに評価するために、類似の評価アルゴリズムが使用されることもできる。
【００５０】
諸実施形態の様々な態様を実施するための追加のコンテキストを提供するために、図１１および以下の議論は、諸実施形態の様々な態様が実施され得る適切なコンピューティング環境１１００の簡潔で一般的な説明を提供するよう意図されている。諸実施形態について上記では、ローカルコンピュータおよび／またはリモートコンピュータ上で実行されるコンピュータプログラムのコンピュータ実行可能命令の一般的な文脈で述べられているが、諸実施形態は、他のプログラムモジュールと組み合わせて実施されることもできることが当業者には認識されよう。一般に、プログラムモジュールは、特定のタスクを実施し、かつ／または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造体などを含む。さらに、本発明の方法は、それぞれが１つまたは複数の関連装置と動作可能に通信することができる単一のプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、ならびにパーソナルコンピュータ、ハンドヘルドコンピューティング装置、マイクロプロセッサベースおよび／またはプログラマブル家電などを含めて、他のコンピュータシステム構成で実施され得ることが当業者には理解されよう。諸実施形態の示された諸態様は、通信ネットワークを介してリンクされたリモート処理装置によって特定のタスクが実施される分散コンピューティング環境内で実施されることもできる。しかし、諸実施形態のすべてではないにしても一部は、スタンドアロンコンピュータで実施され得る。分散コンピューティング環境では、プログラムモジュールは、ローカルおよび／またはリモートメモリ記憶装置に置かれ得る。
【００５１】
図１１を参照すると、諸実施形態の様々な態様を実施するための例示的なシステム環境１１００が、処理装置１１０４と、システムメモリ１１０６と、システムメモリを含めて様々なシステム構成要素を処理装置１１０４に結合するシステムバス１１０８とを含む従来のコンピュータ１１０２を含んでいる。処理装置１１０４は、任意の市販または独自仕様のプロセッサであり得る。さらに、処理装置は、たとえば並列に接続され得る２つ以上のプロセッサで形成されたマルチプロセッサとして実装され得る。
【００５２】
システムバス１１０８は、メモリバスまたはメモリコントローラ、周辺バス、ならびにいくつか例を挙げるとＰＣＩ、ＶＥＳＡ、マイクロチャネル、ＩＳＡおよびＥＩＳＡなど、様々な従来のバスアーキテクチャのいずれかを使用したローカルバスを含めて、複数のタイプのバス構造のいずれかであり得る。システムメモリ１１０６は、読取り専用メモリ（ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）１１１０とランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）１１１２とを含む。起動時などにコンピュータ１１０２内の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システム（ＢＩＯＳ：ｂａｓｉｃ  ｉｎｐｕｔ／ｏｕｔｐｕｔ  ｓｙｓｔｅｍ）１１１４は、ＲＯＭ  １１１０に格納される。
【００５３】
コンピュータ１１０２は、たとえばハードディスクドライブ１１１６と、たとえば取外し可能ディスク１１２０から読み出しまたはそこに書き込む磁気ディスクドライブ１１１８と、たとえばＣＤ−ＲＯＭディスク１１２４または他の光学媒体から読み出しまたはそこに書き込むための光ディスクドライブ１１２２とを含むこともできる。ハードディスクドライブ１１１６、磁気ディスクドライブ１１１８および光ディスクドライブ１１２２は、それぞれハードディスクドライブインターフェース１１２６、磁気ディスクドライブインターフェース１１２８および光ドライブインターフェース１１３０によってシステムバス１１０８に接続される。ドライブ１１１６〜１１２２および関連するコンピュータ読取り可能媒体は、コンピュータ１１０２のためデータ、データ構造体、コンピュータ実行可能命令などの不揮発性記憶域を提供する。上記のコンピュータ読取り可能媒体についての説明は、ハードディスク、取外し可能磁気ディスクおよびＣＤに言及しているが、磁気カセット、フラッシュメモリ、デジタルビデオディスク、ベルヌーイカートリッジなど、コンピュータによって読取り可能な他のタイプの媒体が例示的なオペレーティング環境１１００で使用されることもでき、またこうしたどんな媒体も、諸実施形態の諸方法を実施するためのコンピュータ実行可能命令を含み得ることを当業者は理解されたい。
【００５４】
オペレーティングシステム１１３２、１つまたは複数のアプリケーションプログラム１１３４、他のプログラムモジュール１１３６およびプログラムデータ１１３８を含めて、複数のプログラムモジュールが、ドライブ１１１６〜１１２２およびＲＡＭ  １１１２に格納され得る。オペレーティングシステム１１３２は、任意の適切なオペレーティングシステム、またはオペレーティングシステムの組合せであり得る。例を挙げると、アプリケーションプログラム１１３４およびプログラムモジュール１１３６は、一実施形態の一態様による関連性検証評価方式を含むことができる。
【００５５】
ユーザは、キーボード１１４０およびポインティング装置（たとえばマウス１１４２）など、１つまたは複数のユーザ入力装置によってコンピュータ１１０２にコマンドおよび情報を入力することができる。他の入力装置（図示せず）は、マイクロホン、ジョイスティック、ゲームパッド、衛星放送アンテナ、無線リモコン、スキャナなどを含み得る。これらおよび他の入力装置は、システムバス１１０８に結合されたシリアルポートインターフェース１１４４を介して処理装置１１０４にしばしば接続されるが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ  ｓｅｒｉａｌ  ｂｕｓ）など、他のインターフェースによって接続されることができる。モニタ１１４６または他のタイプの表示装置も、ビデオアダプタ１１４８などのインターフェースを介してシステムバス１１０８に接続される。モニタ１１４６に加えて、コンピュータ１１０２は、スピーカ、プリンタなど、他の周辺出力装置（図示せず）を含むことができる。
【００５６】
コンピュータ１１０２は、１つまたは複数のリモートコンピュータ１１６０への論理接続を使用して、ネットワーク化された環境内で動作できることを理解されたい。リモートコンピュータ１１６０は、ワークステーション、サーバコンピュータ、ルータ、ピアデバイスまたは他の一般的なネットワークノードとすることができ、また図１１には簡潔にするためにメモリ記憶装置１１６２だけが示されているが、コンピュータ１１０２に関して上記で述べた要素の多くまたはすべてを一般に含む。図１１に示された論理接続は、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）１１６４とワイドネットワーク（ＷＡＮ：  ｗｉｄｅ  ａｒｅａ  ｎｅｔｗｏｒｋ）１１６６とを含むことができる。こうしたネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットでは一般的である。
【００５７】
たとえばＬＡＮネットワーキング環境内で使用される場合、コンピュータ１１０２は、ネットワークインターフェースまたはアダプタの１１６８を介してローカルネットワーク１１６４に接続される。ＷＡＮネットワーキング環境内で使用される場合は、コンピュータ１１０２は一般に、モデム（たとえば電話、ＤＳＬ、ケーブルなど）１１７０を含み、またはＬＡＮ上で通信サーバに接続され、あるいはインターネットなどのＷＡＮ  １１６６を介して通信を確立する他の手段を含む。コンピュータ１１０２に対して内部にあっても、外部にあってもよいモデム１１７０は、シリアルポートインターフェース１１４４を介してシステムバス１１０８に接続される。ネットワーク化された環境では、プログラムモジュール（アプリケーションプログラム１１３４を含む）および／またはプログラムデータ１１３８は、リモートメモリ記憶装置１１６２に格納され得る。示されたネットワーク接続は例示的なものであり、一実施形態の一態様を実施するときにコンピュータ１１０２と１１６０の間の通信リンクを確立する例示的および他の手段（たとえば有線または無線）が使用され得ることが理解されよう。
【００５８】
コンピュータプログラミングの当業者の慣例によれば、諸実施形態は、他に示されていない限り、コンピュータ１１０２やリモートコンピュータ１１６０など、コンピュータによって実施される行為および動作の記号表現を参照して述べられる。こうした行為および動作は、コンピュータによって実行されるものと称されることがある。行為および記号表現された動作は、結果として生じる変換または電気信号表現の減少を引き起こすデータビットを表す電気信号の処理装置１１０４による操作、および（システムメモリ１１０６、ハードドライブ１１１６、フロッピー（登録商標）ディスク１１２０、ＣＤ−ＲＯＭ  １１２４およびリモートメモリ１１６２を含めて）メモリシステム内の記憶位置にデータビットを維持して、それによってコンピュータシステムの操作、ならびに信号の他の処理を再構成し、または他のやり方で変更することを含む。こうしたデータビットが維持されるメモリ位置は、データビットに対応する特定の電気、磁気または光学特性を有する物理位置である。
【００５９】
図１２は、実施形態が対話することができるコンピュータ環境１２００の一例の別のブロック図である。システム１２００は、１つまたは複数のクライアント１２０２を含むシステムをさらに示している。クライアント１２０２（１つまたは複数）は、ハードウェアおよび／またはソフトウェア（たとえばスレッド、プロセス、コンピュータ装置）であり得る。システム１２００は、１つまたは複数のサーバ１２０４をも含む。サーバ（１つまたは複数）１２０４は、ハードウェアおよび／またはソフトウェア（たとえばスレッド、プロセス、コンピュータ装置）とすることもできる。クライアント１２０２とサーバ１２０４の間の１つの可能な通信は、２つ以上のコンピュータプロセス間で送信されるように適応されたデータパケットの形であり得る。システム１２００は、クライアント（１つまたは複数）１２０２とサーバ（１つまたは複数）１２０４の間の通信を容易にするために使用され得る通信フレームワーク１２０８を含む。クライアント（１つまたは複数）１２０２は、クライアント（１つまたは複数）１２０２にローカルな情報を格納するために使用され得る１つまたは複数のクライアントデータストア１２１０に接続される。同様に、サーバ（１つまたは複数）１２０４は、サーバ（１つまたは複数）１２０４にローカルな情報を格納するために使用され得る１つまたは複数のサーバデータストア１２０６に接続される。
【００６０】
諸実施形態のシステムおよび／または方法は、コンピュータコンポーネントと非コンピュータ関連コンポーネントを同様に容易にする関連性検証評価で使用され得る。さらに、諸実施形態のシステムおよび／または方法は、それだけに限らないが、コンピュータ、サーバおよび／または手持ち式の電子装置などを含めて、非常に多くの電子関連技術で使用可能であることが当業者に認識されよう。
【００６１】
上記で述べられた内容は、諸実施形態の実施例を含む。もちろん、諸実施形態について述べるために構成要素または方法論の考えられるあらゆる組合せについて述べることは不可能であるが、諸実施形態の多くのさらなる組合せおよび置換が可能であることが当業者に認識されよう。したがって、本主題は、添付の特許請求の範囲の精神および範囲に含まれるすべてのこうした変更形態、修正形態および変形形態を包含することが意図される。さらに、用語「含む（ｉｎｃｌｕｄｅｓ）」が詳細説明または特許請求の範囲において使用される範囲では、こうした用語は、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」が請求項において移行語として使用されるときに解釈される用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」と同じように包含的なものであることが意図される。
【図面の簡単な説明】
【００６２】
【図１】一実施形態の一態様による適応ＲＶ評価システムのブロック図である。
【図２】一実施形態の一態様による適応ＲＶ評価システムの別のブロック図である。
【図３】一実施形態の一態様による適応キーワードＲＶ評価システムのブロック図である。
【図４】一実施形態の一態様による適応キーワード広告評価システムのブロック図である。
【図５】一実施形態の一態様による認識概念関係の図である。
【図６】一実施形態の一態様による、複数のセットを有するテストデータのＣＣＲタイプ別の例示的な分布のグラフである。
【図７】一実施形態の一態様による、ＣＣＲによるＲＶマシンシステムの精度の例示的な出力のグラフである。
【図８】一実施形態の一態様による、ＲＶ評価を容易にする方法のフローチャートである。
【図９】一実施形態の一態様による、ビジネス関連性意思決定を適応的に容易にする方法のフローチャートである。
【図１０】一実施形態の一態様による、ＲＦ評価を容易にする方法の別のフローチャートである。
【図１１】一実施形態が機能し得る例示的な動作環境を示す図である。
【図１２】一実施形態が機能し得る別の例示的な動作環境を示す図である。
【図１】
2009520266.tif 000010
【図２】
2009520266.tif 000011
【図３】
2009520266.tif 000012
【図４】
2009520266.tif 000013
【図５】
2009520266.tif 000014
【図６】
2009520266.tif 000015
【図７】
2009520266.tif 000016
【図８】
2009520266.tif 000017
【図９】
2009520266.tif 000018
【図１０】
2009520266.tif 000019
【図１１】
2009520266.tif 000020
【図１２】
2009520266.tif 000021
【国際調査報告】
2009520266.tif 000022
2009520266.tif 000023