(57)【要約】  システムは、サーチクエリに応答して１つ以上の広告をユーザに提供し、当該１つ以上の広告のユーザ選択に関連付けられるユーザ行動のログを取る。このシステムはさらに、１つ以上の広告のうちの選択された広告に関連付けられるか、またはサーチクエリに関連付けられる特性のログを取る。このシステムはさらに、選択された広告に関連付けられる品質スコアを評価するよう統計モデルとログが取られたユーザ行動とを用い、評価された品質スコアを集める。このシステムは、当該集められた品質スコアを用いて別の広告の品質を予測する。
2009522668.tif 000002
【特許請求の範囲】
【請求項１】
複数の広告の選択に関連付けられる品質値を求めるステップを含み、前記品質値は前記複数の広告が良好な広告である尤度を評価し、さらに、
前記品質値を集めるステップと、
別の広告が良好である将来の尤度を予測するよう、前記集められた品質値を用いるステップとを含む、方法。
【請求項２】
前記複数の広告の各選択にクエリが関連付けられる、請求項１に記載の方法。
【請求項３】
前記複数の広告の前記選択に関連付けられる１つ以上の広告またはクエリ特性に基づき前記品質値を集めるステップをさらに含む、請求項２に記載の方法。
【請求項４】
前記１つ以上の広告またはクエリ特性の各々は、前記複数の広告の各々の広告主に関連付けられる識別子、前記複数の広告の各々が目標とするキーワード、前記クエリにおける、前記複数の広告の各々が目標としなかった言葉、または前記クエリにおける、前記複数の広告の各々が目標としなかった言葉であるが、前記複数の広告の各々が目標とする言葉に似た言葉を含む、請求項３に記載の方法。
【請求項５】
前記品質値を集めるステップは、
前記品質値を記憶するよう、前記１つ以上の広告またはクエリ特性に基づきデータ構造をインデキシングするステップを含む、請求項３に記載の方法。
【請求項６】
クエリを受取るステップと、
前記クエリと関係のある広告のセットを得るステップと、
前記広告のセットからの他の広告の選択を受取るステップと、
前記他の広告の前記選択に関連付けられる１つ以上の第２の広告またはクエリ特性を観察するステップとをさらに含む、請求項５に記載の方法。
【請求項７】
前記１つ以上の第２の広告またはクエリ特性は、前記他の広告の広告主に関連付けられる識別子、前記他の広告が目標とするキーワード、前記クエリにおける、前記他の広告が目標としなかった言葉、または前記クエリにおける、前記他の広告が目標としなかった言葉であるが、前記他の広告が目標とする言葉に似た言葉のうちの少なくとも１つを含む、請求項６に記載の方法。
【請求項８】
前記他の広告が良好である将来の尤度を予測するよう、前記集められた品質値を用いるステップは、
前記１つ以上の第２の広告またはクエリ特性に基づき、前記集められた品質値の少なくともいくつかを前記データ構造から抽出するステップを含む、請求項６に記載の方法。
【請求項９】
サーチクエリに応答して１つ以上の広告をユーザに提供するステップと、
前記１つ以上の広告のユーザ選択に関連付けられるユーザ行動のログを取るステップと、
前記１つ以上の広告のうちの選択された広告に関連付けられるか、または前記サーチクエリに関連付けられる特性のログを取るステップと、
前記選択された広告に関連付けられる品質スコアを評価するよう、統計モデルと前記ログが取られたユーザ行動とを用いるステップと、
前記評価された品質スコアを集めるステップと、
前記集められた品質スコアを用いて別の広告の品質を予測するステップとを含む、方法。
【請求項１０】
メモリに前記評価された品質スコアを集めるステップは、
前記評価された品質スコアを記憶するよう、前記ログが取られた特性に基づきデータ構造をインデキシングするステップを含む、請求項９に記載の方法。
【請求項１１】
前記ログが取られた特性の各々は、前記１つ以上の広告の対応するものに関連付けられる識別子、前記１つ以上の広告の対応するものが目標とするキーワード、前記サーチクエリのクエリにおける、前記１つ以上の広告の各々が目標としなかった言葉、および前記サーチクエリにおける、前記１つ以上の広告の各々が目標としなかった言葉であるが、前記１つ以上の広告の各々が目標とする言葉に似た言葉のうちの少なくとも１つを含む、請求項９に記載の方法。
【請求項１２】
ユーザからサーチクエリを受取るステップと、
前記サーチクエリに基づき、広告の群を前記ユーザに提供するステップと、
広告の前記群からの広告の選択の指示を前記ユーザから受取るステップと、
前記サーチクエリまたは選択された広告に関連付けられる特性のログを取るステップと、
前記ログが取られた特性を用いてメモリから過去の品質スコアを抽出するステップと、
前記抽出された過去の品質スコアに基づき、前記選択された広告の将来の品質を予測するステップとを含む、方法。
【請求項１３】
前記ログが取られた特性の各々は、前記選択された広告に関連付けられる識別子、前記選択された広告が目標とするキーワード、前記サーチクエリにおける、前記選択された広告が目標としなかった言葉、および前記サーチクエリにおける、前記選択された広告が目標としなかった言葉であるが、前記選択された広告が目標とする言葉に似た言葉のうちの少なくとも１つを含む、請求項１２に記載の方法。
【請求項１４】
メモリから前記過去の品質スコアを抽出するステップは、
前記過去の品質スコアを抽出するよう、前記ログが取られた特性を用いて、前記メモリにおけるデータ構造をインデキシングするステップを含む、請求項１２に記載の方法。
【請求項１５】
前記抽出された過去の品質スコアに基づき、前記選択された広告の将来の品質を予測するステップは、
前記広告の前記将来の品質を予測する値を提供するよう、前記抽出された過去の品質スコアにアルゴリズムを適用するステップを含む、請求項１２に記載の方法。
【請求項１６】
ユーザが発行したサーチクエリに基づき、前記ユーザに複数の広告を提供するための手段と、
前記複数の広告からの広告の選択の指示を前記ユーザから受取るための手段と、
前記サーチクエリまたは前記選択された広告に関連付けられる特性のログを取るための手段と、
前記ログが取られた特性を用いて、データ構造から過去の品質スコアを抽出するための手段と、
前記抽出された過去の品質スコアに基づき、前記選択された広告の品質を予測するための手段とを含む、システム。
【請求項１７】
コンピュータ実行可能命令を記憶するコンピュータ読取可能媒体であって、
広告の複数の選択に関連付けられる品質値を求めるための命令を含み、前記品質値の各々は前記広告が第１の文脈において良好な広告である尤度を評価し、前記コンピュータ読取可能媒体はさらに、
前記品質値を記憶するための命令と、
前記広告が第２の文脈において良好である将来の尤度を予測するよう、前記記憶された品質値を用いることとを含み、前記第２の文脈は前記第１の文脈と異なる、コンピュータ読取可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
背景
発明の分野
ここで記載される実現例は一般的にオンライン広告に関し、より特定的には、オンライン広告の品質の予測評価を提供することに関する。
【背景技術】
【０００２】
関連技術の説明
オンライン広告システムは、さまざまなサービスおよび／または製品を宣伝し得る広告をホスティングする。このような広告は、広告システムがホスティングする文書にアクセスするユーザ、または文書のコーパス（corpus）を検索するためにサーチクエリを発行するユーザに提供され得る。広告は、宣伝されるサービスおよび／または製品に関連付けられるテキスト、グラフィックス、および／または画像を含む「クリエイティブ（creative）」を含み得る。広告はさらに、宣伝されるサービスおよび／または製品についてのさらなる詳細を含む広告「ランディング文書（landing document）」へのリンクを含み得る。ある特定のクリエイティブがあるユーザにとって興味深いもののように思われる場合、ユーザは当該クリエイティブを選択（またはクリック）し得、関連付けられるリンクによって、ユーザのウェブブラウザが、そのクリエイティブおよび関連付けられるリンクに関連付けられる「ランディング文書」を訪れる。ユーザによる、広告クリエイティブおよび関連付けられるリンク選択を以下「クリック」と呼ぶ。
【０００３】
オンライン広告システムはしばしば、課金およびその他の目的のために広告クリックを追跡する。課金目的ではない、広告クリックを追跡する１つの目的は、広告品質を確認しようとすることである。クリック率（click through rate; ＣＴＲ）は広告品質を判断するのに用いられる尺度である。ＣＴＲは、所与の広告クリエイティブがユーザに提供される際に所与の広告が「クリック」される回数の割合を示す。しかしながら、広告のＣＴＲは、ランディング文書であるその広告の対象ではなく広告クリエイティブに焦点を置くので、広告品質の尺度としては不完全である。ユーザは、広告が良好または不良であるかを判断するのに広告をクリックする必要があり、したがって、クリックがなされたこと／なされなかったことをもって、広告の品質を判断するには不十分である。広告の中には、良好なクリエイティブを有するため多くのクリックを受けるものがあるが、そのランディング文書はユーザにとって全く満足するものでないか、または関係がないものがある。他の広告の中には（たとえば、広告クリエイティブが貧弱であるため）ほとんどまったくクリックを受けないが、クリックされれば、ユーザを皆、満足させるものもある。したがって、オンライン広告に関連付けられるＣＴＲでの既存の判断では、広告品質について不完全な尺度しか提供されない。
【０００４】
さらに、既存のオンライン広告システムでは、ユーザに表示される広告およびユーザに表示される広告の順序は単に、広告のＣＴＲと、その示される広告を所有するのに広告主が快く入札する最大の「１クリック当たりのコスト（cost per click; ＣＰＣ）」とに基づく。ＣＰＣは、広告主が広告発行者に快く支払う量であり、特定の広告が受ける選択（たとえばクリック）の数に基づく。ＣＴＲが広告品質の代理物として利用されている限りにおいて、それは上述した理由のため不十分である。したがって、どの広告を表示するべきか判断するとともにそれらの広告をランキングするための既存のメカニズムは、広告品質の不完全な尺度しか用いておらず、ユーザに最高品質の広告を提供し得ない。
【発明の開示】
【課題を解決するための手段】
【０００５】
概要
一局面に従えば、方法は、広告の複数の選択に関連付けられる品質値を求めるステップを含んでもよく、品質値の各々は、当該広告が良好な広告である尤度を評価する。この方法はさらに、品質値を集めるステップと、広告が良好である将来の尤度を予測するよう、集められた品質値を用いるステップとを含んでもよい。
【０００６】
別の局面に従えば、方法は、サーチクエリに応答して１つ以上の広告をユーザに提供するステップと、当該１つ以上の広告のユーザ選択に関連付けられるユーザ行動のログを取るステップとを含んでもよい。この方法はさらに、１つ以上の広告のうちの選択された広告に関連付けられるか、またはサーチクエリに関連付けられる特性のログを取るステップと、選択された広告に関連付けられる品質スコアを評価するよう、統計モデルとログを取られたユーザ行動とを用いるステップとを含んでもよい。この方法はさらに、評価された品質スコアを集めるステップと、集められた品質スコアを用いて１つ以上の広告の広告の品質を予測するステップとを含んでもよい。
【０００７】
さらなる局面に従えば、方法は、ユーザからサーチクエリを受取るステップと、当該サーチクエリに基づき、広告の群をユーザに提供するステップとを含んでもよい。この方法はさらに、広告の群からの広告の選択の指示をユーザから受取るステップと、サーチクエリまたは選択された広告に関連付けられる特性のログを取るステップとを含んでもよい。この方法はさらに、ログが取られた特性を用いてメモリから過去の品質スコアを抽出するステップと、当該抽出された過去の品質スコアに基づき、選択された広告の将来の品質を予測するステップとを含んでもよい。
【０００８】
この明細書のある部分に組込まれるとともにそれを構成する添付の図面は、この発明の１つ以上の実施例を示し、記載とともにこの発明を説明する。
【発明を実施するための最良の形態】
【０００９】
詳細な説明
この発明の以下の詳細な説明は添付の図面を参照する。異なる図面における同じ参照番号は同じまたは同様の要素を識別し得る。さらに、以下の詳細な説明はこの発明を限定しない。
【００１０】
この発明の局面と一致するシステムおよび方法は、オンライン広告のユーザ選択に関連付けられるユーザ行動の複数の観察（たとえばリアルタイムの観察または記録されたユーザログからの観察）を用い、ＣＴＲにのみ基づく従来の品質判断と比較するとより正確に広告品質を評価し得る。既知の評定済広告に関連付けられる品質評定と、当該既知の評定済広告の選択（たとえば「クリック」）に関連付けられる対応する計測された観察されたユーザ行動とが、統計モデルを構築するのに用いられ得る。この統計モデルはその後、未評定広告の選択に関連付けられる観察されたユーザ行動に基づいて、未評定広告に関連付けられる品質を評価するのに用いられ得る。
【００１１】
ここで用いられる「文書（document）」という用語は、任意の機械読取可能および機械記憶可能な作業生産物を含むよう広く解釈されるべきである。文書には、たとえば電子メール、ウェブページまたはサイト、事業リスト、ファイル、ファイルの組合せ、他のファイルへの埋込リンクを有する１つ以上のファイル、ニュースグループポスティング、ブログ、オンライン広告などが含まれてもよい。文書はしばしばテキスト情報を含み、（メタ情報、画像、ハイパーリンクなどのような）埋込情報および／または（Java（登録商標）スクリプトなどのような）埋込命令を含んでもよい。ここで用いられる「リンク（link）」という用語は、ある文書から別の文書または当該文書の別の部分への任意の参照、別の
文書または当該文書の別の部分から当該文書への任意の参照を含むよう広く解釈されるべきである。
【００１２】
（概略）
図１および図２は、広告の選択に関連付けられる統計モデルおよび観察されるユーザ行動が、広告品質の将来の予測を提供するようさらに進んで、集められる予測値を評価するのに用いられる実現例の例示的な概略を示す。広告品質の将来の予測は、広告をフィルタリング、ランキング、または販売促進する際に用いられてもよい。
【００１３】
図１に示されるように、複数の評定済広告１００−１から１００−Ｎ（まとめてここでは広告１００と呼ぶ）の各々が、対応する文書１０５−１から１０５−Ｎ（まとめてここでは文書１０５と呼ぶ）に関連付けられ得る。各文書１０５は、ユーザが与えるサーチクエリに基づいてサーチエンジンが実行する検索から得られる検索結果のセットを含み得、評定済広告１００に加えて１つ以上の広告をさらに含み得る。各広告１００は、各評定済広告１００の品質を評定した人間の評定者が与える評定データ１２０に関連付けられ得る。各広告１００はさまざまな製品またはサービスを宣伝してもよい。
【００１４】
広告１００の受取りに応答して、受取りをするユーザは広告上に表示される「クリエイティブ」に基づいて広告を選択１１０し得る（たとえば、表示された広告をたとえばマウスを使って「クリック」する）。広告選択１１０の後、広告１００に埋込まれるリンクを用いて、この広告をホスティングするサーバによって広告ランディング文書１１５が選択をしたユーザに提供され得る。広告ランディング文書１１５は、対応する広告１００において宣伝される製品および／またはサービスの詳細を提供してもよい。
【００１５】
ユーザによる各広告選択１１０の前、その間、および／またはその後に、「セッション」の間に各広告選択１１０に関連付けられるセッション特性（session feature）１２５がリアルタイムで計測され得るか、またはメモリもしくはディスク上にログが取られ得る。セッションには、特定の期間よりも長い中断がなく起こるユーザ動作の群（たとえば３時間より長い中断がなく起こるユーザ動作の群）が含まれ得る。
【００１６】
計測されるセッション特性１２５は、任意のタイプの観察されるユーザ行動または動作を含み得る。たとえば、セッション特性１２５は、広告選択１１０の持続時間（たとえば広告１００への「クリック」の持続時間）、所与の広告選択の前および／もしくはその後の他の広告の選択の数、所与の広告選択の前および／もしくはその後の検索結果の選択の数、所与の広告選択の前および／もしくはその後の他のタイプの結果（たとえば画像、ニュース、製品など）の選択の数、所与の広告選択の前および／もしくはその後の文書閲覧（たとえばページ閲覧）の数（たとえば広告選択の前および／またはその後の検索結果のページ閲覧）、所与の広告選択の前および／もしくはその後のサーチクエリの数、ユーザセッションに関連付けられ、広告を示すクエリの数、同じ所与の広告の繰返選択の数、または所与の広告選択がセッションでの最後の選択であったか、セッションでの最後の広告選択であったか、所与のサーチクエリについて最後の選択であったか、もしくは所与のサーチクエリについて最後の広告選択であったかどうかの表示を含み得る。上述されていない、広告選択に関連付けられる別のタイプの観察されるユーザ行動が、この発明の局面と一致して用いられてもよい。
【００１７】
対応する評定済広告１００の各広告選択１１０に関連付けられる計測されるセッション特性１２５および広告評定データ１２０を用いて、統計モデル１３０が（下記にさらに記載されるように）構築され得る。統計モデルは統計技術を用いて導出される確率モデルを含み得る。このような技術には、たとえば、ロジスティック回帰、回帰ツリー、ブーステッドスタンプ、または任意の他の統計モデリング技術が含まれ得る。統計モデル１３０は
、所与の広告１００のユーザ選択に関連付けられる計測されるセッション特性が与えられると、当該広告１００が良好である尤度を評価する予測値を提供し得る（たとえば、
【００１８】
【数１】
2009522668.tif 000003
【００１９】
）。
統計モデル１３０の構築に続いて、１人以上のユーザが選択する未評定広告の広告品質が評価され得る。文書１４０に関連付けられるとともにネットワークにおけるサーバによってホスティングされる未評定広告１３５が、アクセスを行うユーザに提供され得る。未評定広告１３５のユーザ選択１４５に関連付けられるセッション特性１５５が計測され得るか、またはメモリもしくはディスク上にログが取られ得、当該計測が統計モデル１３０への入力として与えられ得る。統計モデル１３０は、計測されたセッション特性が与えられると、未評定広告１３５が良好な広告であるという尤度を判断し得、未評定広告１３５についての予測値１６０を生成し得る。
【００２０】
未評定広告１３５の選択に関連付けられる広告／クエリ特性（ad/query feature）１６５がさらに観察およびログが取られてもよい。広告／クエリ特性１６５は、広告１３５または当該広告をホスティングもしくは生成した広告主に関連付けられる異なる特性、またはユーザによって発行されるとともに広告１３５の表示へと繋がるクエリに関連付けられる特性を含み得る。たとえば、広告／クエリ特性１６５は、広告１３５の広告主に関連付けられる識別子（たとえば広告主の可視的なユニフォームリソースロケータ（ＵＲＬ））、広告１３５が目標とするキーワード、ユーザが発行したクエリにおける広告１３５が目標としなかった言葉、および／またはユーザが発行したクエリにおける広告１３５が目標としなかった言葉であるが、広告１３５が目標とする言葉に似た言葉を含み得る。上述されない別のタイプの広告またはクエリ特性が、この発明の原理と一致して用いられてもよい。以下にさらに詳細に記載されるように、評価された予測値１６０は、関連付けられる広告／クエリ特性１６５に従ってデータ構造１７０に記憶され得る。
【００２１】
図１は単一の未評定広告１３５に関連付けられる予測品質値の評価を示すが、予測値１６０は、ある期間にわたって１人以上のユーザが選択する各未評定広告１３５ごとに評価され、これにより複数の広告予測値１６０を作り出し得、各予測値１６０は１つ以上の広告／クエリ特性１６５に関連付けられる。複数の広告予測値１６０はデータ構造１７０に集められ得、これにより図２に示されるように集合予測値２００を作り出す。予測値の集合は、以下に図１４に関連して記載される。図２にさらに示されるように、データ構造１７０における各広告／クエリ特性についてオッズ（odds）が評価２１０され得る。これら評価されたオッズは、特定の広告／クエリ特性が与えられると、広告の品質を予測し得る。オッズ評価のさらなる例示的な詳細は、以下に図１７および図１８に関連して記載される。各広告／クエリ特性についての評価オッズは、データ構造１７０に記憶され得る。
【００２２】
次いで、広告２２０の選択に関連付けられる広告／クエリ特性が得られ２２０得る。ユーザが文書（たとえば検索結果文書）からある広告を選択すると、その選択に関連付けられる広告／クエリ特性が記録され得る。この広告の選択に関連して得られる広告／クエリ特性の各々についての評価オッズはデータ構造１７０から抽出２３０され得る。次いで、広告選択に関連付けられる各広告／クエリ特性についてのこの抽出された評価オッズを用いて、全体の広告品質が予測２４０され得る。全体の広告品質の予測のさらに例示的な詳細が、図１９に関連して以下に記載される。
【００２３】
（例示的なネットワーク構成）
図３は、この発明の原理と一致するシステムおよび方法を実現し得るネットワーク３００の例示的な図である。ネットワーク３００は、１つ以上のサーバ３２０−３３０にネットワーク３４０を介して接続される複数のクライアント３１０を含み得る。簡潔さのために、ネットワーク３４０に接続される２つのクライアント３１０および２つのサーバ３２０−３３０が示される。実際、クライアントおよびサーバは、これより多くても少なくてもよい。さらに、場合によっては、あるクライアントがあるサーバの機能を果たし、あるサーバがあるクライアントの機能を果たしてもよい。
【００２４】
クライアント３１０はクライアントエンティティを含み得る。エンティティは、パーソナルコンピュータ、無線電話、携帯情報端末（ＰＤＡ）、ラップトップ、または別の種類の計算もしくは通信装置等の装置、これらの装置のうち１つの上で実行されるスレッドまたは処理、および／またはこれらの装置のうち１つによって実行可能なオブジェクトとして定義される。１人以上のユーザが各クライアント３１０と関連付けられ得る。サーバ３２０および３３０は、この発明の原理と一致する態様で文書にアクセスし、フェッチし、集め、処理し、検索し、および／または維持するサーバエンティティを含み得る。クライアント３１０ならびにサーバ３２０および３３０は、有線、無線、および／または光接続を介してネットワーク３４０に接続し得る。
【００２５】
この発明の原理に一致する実現例では、サーバ３２０はクライアント３１０のユーザによって利用可能であるサーチエンジンシステム３２５を含み得る。サーバ３２０は、文書（たとえばウェブ文書）のコーパスを巡回し、これらの文書をインデキシングし、これらの文書に関連付けられる情報を文書のリポジトリに記憶することによりデータ集合サービスを実現し得る。データ集合サービスは他のやり方で実現され得、たとえばホスティングされる文書を当該データ集合サービスを介して配信する、データサーバ３３０のオペレータとの同意によって実現され得る。いくつかの実現例では、サーバ３２０は、クライアント３１０のユーザに与えられ得る広告（たとえばクリエイティブ、広告ランディング文書）をホスティングし得る。サーチエンジンシステム３２５は、クライアント３１０のユーザから受取ったクエリを、文書のリポジトリに記憶される文書のコーパス上で実行し得、この実行されたクエリに関係する検索結果のセットをユーザに提供し得る。検索結果のセットに加えて、サーバ３２０は実行された検索結果に関連付けられる１つ以上の広告クリエイティブをクライアント３１０のユーザに与え得る。
【００２６】
サーバ３３０はサーバ３２０が巡回し得た文書を記憶または維持し得る。このような文書には、公表されたニュース記事、製品、画像、ユーザグループ、地理的領域、または任意の他のタイプのデータに関係付けられるデータが含まれ得る。たとえば、サーバ３３０は、たとえばワシントンポスト、ニューヨークタイムズ、タイムマガジン、またはニューズウィークといったような任意のタイプのニュース源からのニュース記事を記憶または維持し得る。別の例としては、サーバ３３０は１つ以上の製品製造業者が提供する製品データのような、特定の製品に関係付けられるデータを記憶または維持し得る。さらに別の例としては、サーバ３３０はウェブサイトのページのような他のタイプのウェブ文書に関係付けられるデータを記憶または維持し得る。サーバ３３０はさらに、広告クリエイティブおよび広告ランディング文書のような広告をホスティングし得る。
【００２７】
ネットワーク３４０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、公衆交換電話網（ＰＳＴＮ）または公衆陸上移動網（ＰＬＭＮ）といった電話網、イントラネット、インターネット、メモリ装置、またはネットワークの組合せを含む、任意のタイプの１つ以上のネットワークを含み得る。ＰＬＭＮはさらに、たとえば汎用パケット無線サービス（ＧＰＲＳ）、セルラーデジタルパケットデータ（ＣＤＰＤ）、またはモバイルＩＰサブネットワークといったパケット交換サブネットワークを含み得る。
【００２８】
サーバ３２０−３３０は別個のエンティティとして示されるが、サーバ３２０−３３０のうち一方が、サーバ３２０−３３０のうち他方の機能のうち１つ以上を実行することが可能であろう。たとえば、サーバ３２０および３３０が単一のサーバとして実現されることが可能であろう。サーバ３２０および３３０のうち１つが、２つ以上の別個の（恐らくは分散した）装置として実現されることも可能であろう。
【００２９】
（例示的なクライアント／サーバアーキテクチャ）
図４は、この発明の原理と一致する実現例に従った、クライアント３１０および／またはサーバ３２０−３３０のうち１つ以上に対応し得るクライアントまたはサーバエンティティ（以下「クライアント／サーバエンティティ」と呼ぶ）の例示的な図である。このクライアント／サーバエンティティは、バス４１０、プロセッサ４２０、メインメモリ４３０、読出専用メモリ（ＲＯＭ）４４０、記憶装置４５０、入力装置４６０、出力装置４７０、および通信インターフェイス４８０を含み得る。バス４１０は、クライアント／サーバエンティティの要素の間での通信を可能にするパスを含み得る。
【００３０】
プロセッサ４２０は、命令を解釈し実行し得る、プロセッサ、マイクロプロセッサ、または処理ロジックを含み得る。メインメモリ４３０は、情報および命令をプロセッサ４２０による実行のために記憶するランダムアクセスメモリ（ＲＡＭ）または別のタイプの動的記憶装置を含み得る。ＲＯＭ４４０は、静的情報および命令を、プロセッサ３２０による使用のために記憶し得る、ＲＯＭ装置または別のタイプの静的記憶装置を含み得る。記憶装置４５０は、磁気および／または光記録媒体ならびにその対応するドライブを含み得る。
【００３１】
入力装置４６０は、キーボード、マウス、ペン、音声認識および／または生体情報メカニズムなどといった、オペレータがクライアント／サーバエンティティに情報を入力できるようにするメカニズムを含み得る。出力装置４７０は、表示装置、プリンタ、スピーカなどを含む、情報をオペレータに対して出力するメカニズムを含み得る。通信インターフェイス４８０は、クライアント／サーバエンティティが他の装置および／またはシステムと通信できるようにする任意のトランシーバのようなメカニズムを含み得る。たとえば、通信インターフェイス４８０は、ネットワーク３４０といったネットワークを介して別の装置またはシステムと通信するためのメカニズムを含み得る。
【００３２】
この発明の原理に従うクライアント／サーバエンティティは、以下で詳細に説明するように、ある動作または処理を実行し得る。クライアント／サーバエンティティは、これら動作を、メモリ４３０といったコンピュータ読取可能媒体に含まれるソフトウェア命令をプロセッサ４２０が実行するのに応答して実行し得る。コンピュータ読取可能媒体は、物理または論理記憶装置および／または搬送波として定義され得る。
【００３３】
ソフトウェア命令は、データ記憶装置４５０といった別のコンピュータ読取可能媒体から、または、通信インターフェイス４８０を介して別の装置から、メモリ４３０に読込み得る。メモリ４３０に含まれるソフトウェア命令は、プロセッサ４２０に、以下に記載する動作または処理を実行させ得る。代替的には、配線回路を、ソフトウェア命令の代わりにまたはソフトウェア命令と組合せて用いて、この発明の原理と一致する処理を実現してもよい。このように、この発明の原理に従う実現例は、ハードウェア回路およびソフトウェアの任意の特定の組合せに限定されない。
【００３４】
（広告選択に関連付けられるユーザ行動の統計モデルを構築するための例示的な処理）
図５は、複数のオンライン広告の選択に関連付けられるユーザ行動の統計モデルを構築するための例示的な処理のフローチャートである。当業者には理解されるであろうように
、図５によって例示される処理は、適切なように、ソフトウェアで実現され得、サーバ３２０、サーバ３３０、またはクライアント３１０のメインメモリ４３０、ＲＯＭ４４０、または記憶装置４５０のようなコンピュータ読取可能メモリ上に記憶され得る。
【００３５】
例示的な処理は、評定済広告に関連付けられる評定データを得ることから始まり得る（ブロック５００）。評定データは、評定済広告の各々の品質を評定する、人間が生成するデータを含み得る（たとえば、広告を評定する１つのやり方は、発行されたクエリに対してその広告がどれだけ関係があるかを評定することである）。次いで、評定済広告の各選択に関連付けられるセッション特性が得られ得る（ブロック５１０）。セッション特性は、ユーザに各アドインプレッション（ad impression）の提示の前、その間、およびその後に起こる実際のユーザ行動を所与のユーザセッションの間に観察することによりリアルタイムで得られ得るか、またはユーザへの各アドインプレッションの提示の前、その間、および／またはその後にデータ構造に記憶されたセッション特性（すなわちユーザ行動および動作）の記録ログから得られ得る。得られたセッション特性１２５は任意のタイプの観察されたユーザ行動を含み得る。セッション特性１２５の各々は、所与の広告のユーザ満足の間接的な計測に対応し得る。セッション特性１２５のうちのあるものは、異なるユーザがセッション特性１２５の他のものについてどれだけ異なる値を有するのかを判断する際の要因であり得る（たとえばダイヤルアップ接続のユーザは、高速インターネット接続を有するユーザよりも長い広告選択持続期間を有するかもしれない）。
【００３６】
セッション特性１２５は、広告選択の持続時間（たとえば当該広告の「クリック」への持続時間）、所与の広告選択の前および／もしくはその後の他の広告の選択の数、所与の広告選択の前および／もしくはその後の検索結果の選択の数、所与の広告選択の前および／もしくはその後の他の結果の選択の数、所与の広告選択の前および／もしくはその後の文書閲覧（たとえばページ閲覧）の数、所与の広告選択の前および／もしくはその後のサーチクエリの数、ユーザセッションに関連付けられ、広告を示すサーチクエリの数、同じ所与の広告に対する繰返選択の数、または所与の広告選択がセッションでの最後の選択であったか、セッションでの最後の広告選択であったか、所与のサーチクエリについて最後の選択であったか、もしくは所与のサーチクエリについて最後の広告選択であったかどうかの表示を含み得るが、これらに限定されない。下記の図６−図１３は、この発明の局面と一致するとともにセッション特性として計測され得るさまざまな例示的なタイプのユーザ行動を示す。
【００３７】
図６はセッション特性６００として、広告選択の持続時間の計測を示す。図６に示されるように、文書６１０に関連付けられる広告６０５がユーザに提供され得る。広告６０５の受取りに応答して、ユーザは広告６０５を選択６１５し得、広告ランディング文書６２０がユーザに提供され得る。広告選択の持続期間６２５（たとえば広告の選択から、別の広告をクリック、新しいクエリを入力するなどのユーザの次の動作までの期間）がセッション特性６００として計測され得る。
【００３８】
図７は、セッション特性７００として、特定の広告選択の前および／またはその後の他の広告選択の数の計測を示す。広告Ｎ７１０の特定の選択７０５が与えられ、この広告選択７０５に応答して広告ランディング文書７１５の提供がなされると、以前の広告ランディング文書７３０の提供に対応する、広告Ｎ−ｘ  ７２５の１つ以上の以前の広告選択７２０の数が計測され得る。付加的または代替的には、広告Ｎ７１０の特定の選択７０５が与えられると、その後の広告ランディング文書７４５の提供に対応する、広告Ｎ＋ｘ  ７４０の１つ以上の後の広告選択７３５の数が計測され得る。特定の広告選択の前および／またはその後の他の広告選択の数がセッション特性７００として計測され得る。
【００３９】
図８は、セッション特性８００として、特定の広告選択の前および／またはその後の検
索結果選択の数の計測を示す。広告Ｎ８１０の特定の選択８０５が与えられ、この広告選択８０５に応答して広告ランディング文書８１５の提供がなされると、広告選択８０５の前にユーザが閲覧した検索結果文書８２０の数がセッション特性８００として計測され得る。検索結果文書は、ユーザが発行したサーチクエリを用いる検索の実行に基づいてユーザに提供され得る。付加的または代替的には、広告選択８０５の後にユーザが閲覧した検索結果文書８２５の数がセッション特性８００として計測され得る。
【００４０】
図９は、セッション特性９００として、特定の広告選択の前および／またはその後にユーザが閲覧した文書の数の計測を示す。広告９１０の特定の選択９０５が与えられ、この広告選択９０５に応答して広告ランディング文書９１５の提供がなされると、広告選択９０５の前にユーザが閲覧した文書９２０（たとえばページ閲覧）の数がセッション特性９００として計測され得る。付加的または代替的には、広告選択９０５の後にユーザが閲覧した文書９２５（たとえばページ閲覧）の数がセッション特性９００として計測され得る。
【００４１】
図１０は、セッション特性１０００として、特定の広告選択の前および／またはその後にユーザが発行するサーチクエリの数の計測を示す。広告１０１０の特定の選択１００５が与えられ、この広告選択１００５に応答して広告ランディング文書１０１５の提供がなされると、広告選択１００５の前にユーザが発行したサーチクエリ１０２０の数がセッション特性１０００として計測され得る。付加的または代替的には、広告選択１００５の後にユーザが発行したサーチクエリ１０２５の数がセッション特性１０００として計測され得る。
【００４２】
図１１は、セッション特性１１００として、特定の広告選択を含むセッションにおける、広告の表示へと繋がるサーチクエリの数の計測を示す。特定の広告選択を含むセッションが与えられると、対応する広告１１１０−１から１１１０−Ｎの表示に繋がるサーチクエリ１１０５の数が計測され得る。サーチクエリの数は、セッション特性１１００として計測され得る。広告の表示へと繋がるサーチクエリ１１０５の数は、所与のユーザセッションの商業的な性質を示し得る。
【００４３】
図１２は、セッション特性１２００として、あるユーザによる同じ広告の繰返選択の数の計測を示す。図１２に示されるように、複数の文書１２１０−１から１２１０−Ｎに関連付けられ得る広告１２０５が、ユーザに１回以上提供され得る。広告１２０５の各受取りに応答して、そのユーザは広告１２０５を選択１２１５し得、繰返されるユーザ選択の各々のたびに広告ランディング文書１２２０がユーザに提供され得る。当該ユーザによる同じ広告の繰返選択の数は、セッション特性１２００として計測され得る。
【００４４】
図１３は、セッション特性１３００として、ある広告選択は所与のサーチクエリについて最後の広告選択であるかどうか、またはその広告選択はあるユーザセッションについて最後の広告選択であるかどうかの判断を示す。図１３に示されるように、あるユーザが所与のセッション１３１０の間にサーチクエリ１３０５を発行し得、１つ以上の広告１３１５がサーチクエリ１３０５の発行後にユーザに提供され得る。広告１３１５の各受取りに応答して、ユーザは広告１３１５を選択１３２０し得、広告ランディング文書１３２５がユーザに提供され得る。広告選択１３２０がサーチクエリ１３０５について最後の広告選択であるかどうか判断がなされ得る。したがって、サーチクエリ１３０５を発行したユーザによって複数の広告が選択されたならば、サーチクエリ１３０５についての最後の広告選択のみが識別され得る。さらに、広告選択１３２０がセッション１３１０についての最後の広告選択であったかどうかの判断がなされ得る。したがって、所与のセッションの間にユーザによって複数の広告選択がなされた場合、このセッションにとっての最後の広告選択のみが識別され得る。
【００４５】
図６−図１３に示されない他のタイプのユーザ行動が、この発明の原理に一致して、セッション特性として用いられてもよい。以下に、他の例示的なセッション特性の多くの例を一覧で示す。
【００４６】
１）  広告選択持続期間の代わりに、所与のユーザについての、平均的な広告選択持続時間に対する所与の広告選択持続時間の比がセッション特性として用いられてもよい。
【００４７】
２）  すべての選択（たとえば検索結果選択または広告選択）に対する所与の広告選択持続時間の比。
【００４８】
３）  あるユーザが所与のセッションにおいて所与の広告を何回選択するか。
４）  ある広告結果選択から、ユーザが別のサーチクエリを発行するまでの持続時間。これは、所与の広告クリックの後で（検索結果のクリックまたは広告のクリックを介して到達した）他のページに費やされる時間を含んでもよい。
【００４９】
５）  広告結果選択からユーザが別のサーチクエリを発行するまでのすべての他の時間と比較する、所与の広告結果選択からユーザが別のサーチクエリを発行するまでの時間の比。
【００５０】
６）  ある広告結果選択が与えられると、当該与えられた広告結果ではなく、サーチクエリの他の結果を閲覧するのに費やされる時間。
【００５１】
７）  すべてのクエリにわたる、上記６）において費やされる時間の平均に対する、上記の６）において費やされる時間（すなわち、クリック継続時間（click duration）ではなく、他の結果に費やされる時間）の比。
【００５２】
８）  所与の検索結果または広告選択の前に所与のセッションにおいて検索（すなわちユニークな発行サーチクエリ）が何回行なわれるか。
【００５３】
９）  所与の検索結果または広告選択の後に所与のセッションにおいて検索が何回行なわれるか。
【００５４】
１０）  検索ではなく、所与の選択の前に所与のサーチクエリについて何回結果ページ閲覧が行なわれるか。これは、そのクエリ（すなわちユニーククエリについてのみ）内で計算され得るか、または全セッションについて計算され得る。
【００５５】
１１）  検索ではなく、この選択の後に所与のサーチクエリについて何回結果ページ閲覧が行なわれるか。これは、そのクエリ（すなわちユニーククエリについてのみ）内で計算され得るか、または全セッションについて計算され得る。
【００５６】
１２）  セッションで行われるページ閲覧の総数。
１３）  セッションにおける、広告を示すページ閲覧の数。
【００５７】
１４）  セッションにおいて行われるページ閲覧の総数に対する、セッションにおける、広告を示すページ閲覧の数の比。
【００５８】
１５）  セッションにおいて示されるアドインプレッションの総数。
１６）  広告を示すクエリごとに示される広告の平均数。セッションの営利性の別の尺度である。
【００５９】
１７）  クエリの走査時間。すなわち、ユーザがクエリの結果を見たときから、ユーザが他のこと（広告、検索結果、次のページ、新しいクエリ、などをクリック）をするまでどれだけかかるか。
【００６０】
１８）  所与のクエリ走査時間とすべての他のクエリ走査時間との間の比。
１９）  所与の検索の際に行なわれた選択（たとえばクリック）の総数。これらの選択には、ただの広告選択ではなくすべてのタイプの選択（たとえば検索、ワンボックス、広告）が含まれる。
【００６１】
２０）  所与の広告選択の前のある検索の際に行なわれた選択の総数。
２１）  所与の広告選択の後のある検索の際に行なわれた選択の総数。
【００６２】
２２）  ある検索の際に行なわれた広告選択の総数。ページ上の広告の数によって正規化される必要があるかもしれない。
【００６３】
２３）  所与の広告選択の前のある検索の際に行なわれた広告選択の総数。
２４）  所与の広告選択の後のある検索の際に行なわれた広告選択の総数。
【００６４】
２５）  ある検索の際に行なわれた、文書上の広告の位置が当該文書上の所与の広告の位置より上に位置した広告選択の総数。
【００６５】
２６）  ある検索の際に行なわれた、文書上の広告の位置が当該文書上の所与の広告の位置より下に位置した広告選択の総数。
【００６６】
２７）  ある検索の際に行なわれた、所与の広告上にない広告選択の総数。
２８）  ある検索の際に行なわれた検索結果選択の総数。
【００６７】
２９）  所与の広告選択の前の検索の際に行なわれた検索選択の総数。
３０）  所与の広告選択の後の検索の際に行なわれた検索結果選択の総数。
【００６８】
３１）  セッションにおいて行なわれた長い継続期間の検索結果選択の総数。
３２）  セッションにおいて行なわれた短い継続期間の検索結果選択の総数。
【００６９】
３３）  セッションにおいて行なわれた最後である検索結果選択の総数。所与のユーザは、後に何の動作もせずある検索結果をクリックすることによりセッションを終え得るか、またはユーザは何らかの他の態様（たとえば広告結果のクリック、クリックせずにクエリを発行、など）でセッションを終え得る。
【００７０】
３４）  ある検索の際に行なわれた非検索結果および非広告選択の総数。
３５）  この広告選択からのコンバージョンがあったかどうかの表示。
【００７１】
３６）  ユーザの接続速度（たとえば、ダイヤルアップ、ケーブル、ＤＳＬ）の表示。
３７）  ユーザがどの国に位置するかの表示。文化が違えば、同じ広告に対してユーザが異なる反応をすることになるか、もしくは異なる文化的反応を有することになるか、または異なった様子でサイトに留まるかもしれない。
【００７２】
３８）  ユーザが位置するのは世界のどの領域か（たとえばＡＰＡＣ＝＝アジア太平洋）という表示。
【００７３】
３９）  所与の広告についてのキーワードはサーチクエリに対して完全な一致であったか（すなわち、クエリと同じ用語すべてを有しているか）、または１語、１つ以上言葉が欠落しているか、または書換え用語を有しているか。しばしば、広告の品質は変動し得（より完全な一致がなされるほど、品質が高くなる）、キーワードのマッチングは広告をセグメント化するのに妥当な方法であり得、ある広告が異なるマッチタイプについて別個に良好または不良であるかどうか予測し得る。
【００７４】
４０）  所与の広告について、評価されるクリック率（ＣＴＲ）の表示。
４１）  広告主が所与の広告選択に対して支払った１クリックごとのコスト（ＣＰＣ）はいくらか？広告が良好である尤度は、広告主がどれだけ支払ったかに依存し得る（多いほど高品質である）。
【００７５】
４２）  広告主が快く支払うＣＰＣはどれほどであるか？広告オークションでは、広告主の入札が広告ランキングを設定するよう用いられ得、所与の広告／広告主よりも低くランク付けされる広告／広告主が、次に高くランク付けされる広告／広告主が実際に支払う価格を設定する。
【００７６】
４３）  有効ＣＰＣ＊予測されるＣＴＲ。または、
４４）  入札されるＣＰＣ＊予測されるＣＴＲ。
【００７７】
上記では、統計モデルのために用いられてもよいセッション特性の多くの例を記載した。しかしながら、当業者ならば、他のセッション特性が代替的に、または上述したセッション特性のいずれかと併せて用いられてもよいことを認識するであろう。
【００７８】
図５に戻ると、広告選択に関連付けられる計測されるセッション特性が与えられると、各々の選択された広告が良質の広告である確率（probability）を判断する統計モデルが導出され得る（ブロック５２０）。たとえばロジスティック回帰のような既存の統計技術が、この発明の原理に一致した統計モデルを導出するのに用いられ得る。回帰は、結果変数（従属変数ｙ）を１つ以上の予測子（独立変数ｘ1、ｘ2、など）に関係付ける関数を求めることを含む。単純な線形回帰は以下の形の関数を想定する。
【００７９】
【数２】
2009522668.tif 000004
【００８０】
さらに、単純な線形回帰は、ｃ0、ｃ1、ｃ2などの値を求める（ｃ0は「切片」または「定数項」と呼ばれる）。この発明の文脈では、各予測子変数ｘ1、ｘ2、ｘ3などは広告選択の間に計測される異なるセッション特性に対応する。ロジスティック回帰は、通常の回帰の変形例であり、観察結果が、この発明の文脈において良好な広告または不良な広告のような、いくつかの結果イベントの発生または非発生（通常はそれぞれ１または０で符号化される）を通常示す２値に制限される場合に有用である。
【００８１】
ロジスティック回帰は、独立予測子変数の関数として発生の確率を予測する公式を作り出す。ロジスティック回帰は、線形回帰（上記の式（１））を取ることにより特別なｓ形状の曲線にフィッティングし、これにより負の無限大と正の無限大との間の任意のｙ値を作り出し得、それを以下の関数で変換する。
【００８２】
【数３】
2009522668.tif 000005
【００８３】
これにより、０（ｙが負の無限大に向かう場合）と１（ｙが正の無限大に向かう場合）との間のＰ値を作り出す。式（１）を式（２）に代入すると、良好な広告（good advertisement; good ad）の確率は以下のようになる。
【００８４】
【数４】
2009522668.tif 000006
【００８５】
式中、ｃg0はこの式の定数であり、ｃgnは、セッション特性予測子変数ｘｎの係数である。不良な広告（bad advertisement; bad ad）の確率は同様に以下によって決定され得る。
【００８６】
【数５】
2009522668.tif 000007
【００８７】
式中、ｃb0はこの式の定数であり、ｃbnは、セッション特性予測子変数ｘnの係数である。
【００８８】
どのセッション特性が良好または不良な品質の広告と相互に関連付けられるかを判断するよう、統計モデルのフィッティングが検定され得る。ロジスティック回帰技術が統計モデルを求めるのに用いられる場合、ロジスティック回帰の目標は、最も簡素なモデルを用いて、個々のケースについて結果を正確に予測することである。この目標を達成するよう、従属ｙ変数の結果を予測する際に有用であるすべての予測子変数（たとえばセッション特性）を含むモデルが作り出される。統計モデルを構築するよう、ロジスティック回帰は、各係数（ｃn）が加えられるかまたは削除される後でこのモデルのフィッティングを検定し得、これは段階的回帰と呼ばれる。たとえば、後方段階的回帰が用いられ得、その場合、モデル構築が全または飽和モデルから始まり、予測子変数およびそれらの係数が反復処理においてモデルから消去される。各変数の消去の後、このモデルのフィッティングが検定され、このモデルが未だ適切にデータにフィッティングすることが保証される。このモデルからさらにもう予測子変数が消去され得なくなると、モデル構築が完了する。モデルに残され、各々が計測されたセッション特性に対応する予測子変数は、良好または不良な広告に相互に関連付けられるセッション特性を識別する。したがって、ロジスティック回帰は異なる予測子変数の間の関係および強度の認識を提供し得る。係数およびそれらの対応する予測子変数が包含またはモデルからの消去についての有意性に対して検定される処理は、いくつかの異なる公知の技術を含み得る。このような技術には、ワルド検定、尤度比検定、またはホスマー−レメショウ適応度検定が含まれ得る。これらの係数検定技術は当該技術において公知であり、ここではさらに説明されない。他の実現例では、クロス確認および独立訓練のための既存の技術が、上述したような、回帰係数の古典的な評価および検定技術の代わりに用いられ得る。
【００８９】
ロジスティック回帰の代わりに、またはそれに加えて、他の既存の統計技術が、この発明の原理と一致した統計モデルを導出するのに用いられ得る。たとえば、「ブースティング」技術を用いる「スタンプ」モデルがこの統計モデルを導出するのに用いられ得る。当業者が認識するであろうように、「ブースティング」とは、そうでなければ弱い統計モデルを連続的に改善することにより統計モデルを構築するための機械学習技術である。その基礎の考えは、同じアルゴリズムを反復的に全訓練データセットに適用するが、各ステー
ジで訓練データを違った形で重み付けするということである。これらの重み付けは、ステージｋを通ったモデルが良好にフィッティングするケースはステージｋ＋１では相対的に小さい重み付けを受け、ステージｋを通ったモデルがフィッティングしないケースはステージｋ＋１では相対的に大きな重み付けを受けるようになされる。
【００９０】
スタンプは各ステージで適用され得る弱い統計モデルである。スタンプは、ルートノードと、ケースを２つの相互に排他的なサブセット（すなわち、リーフノード）に分けるバイナリルールとからなる２リーフ分類ツリーである。ルールは「ClickDuration＜１２０秒」の形を取り得、このルールを満たすClickDurationを有するすべてのケースは一方のリーフノードへと進み、このルールを満さないケースは他方のリーフノードへと進む。別のルールは「AdSelectionは最後の広告選択だった」という形を取り得、このルールを満たすAdSelectionを有するすべてのケースは一方のリーフノードへと進み、このルールを満たさないケースは他方のリーフノードへと進む。
【００９１】
たとえば傾度ベースの方法を含む、さまざまなアルゴリズムが「ブーステッドスタンプ」モデルをフィッティングするのに用いられ得る。このようなアルゴリズムは以下のように進行し得る。すなわち、重みのセットが与えられると、セッション特性から導出され、ケースを２つのリーフに分けるすべての可能なバイナリ決定ルールの中で、このアルゴリズムに関連付けられる（重み付けされた）損失関数を最小化するものを選ぶ。損失関数の例には、最尤法に対応する「ベルヌーイ損失」と、周知のＡＤＡブースト方法に対応する「指数関数損失」とがある。このステージで最良のバイナリ決定ルールを選んだ後、重みは再計算され得、処理が繰返され得る。これにより、新しい（重み付けされた）損失関数を最小限にする最良のバイナリルールが選ばれる。この処理は、何度も（たとえば何百から何千回も）繰返され得、（クロス確認のような）リサンプリング技術が、オーバーフィッティングを避けるよう中止ルールを定義するのに用いられ得る。
【００９２】
ブーステッドスタンプは、加法的なロジスティック回帰モデルを近似するよう示され、これにより、各特性が、フィッティングされるモデルに（ロジスティックスケール上で）加法的な非線形の寄与をする。スタンプのシーケンスは、セッション特性とある広告が「良好」と評定される確率との間の関係を規定する。このシーケンスは、以下の統計モデルによって表現され得る。
【００９３】
【数６】
2009522668.tif 000008
【００９４】
式中、セッション特性ｘがｋ番目のバイナリルールを満たす場合、Ｂｋ（ｘ）＝１、またはセッション特性ｘがｋ番目のバイナリルールを満たさない場合、Ｂｋ（ｘ）＝０である。係数ｃk、ｋ＝１，…，はアルゴリズムの副産物であり、ｋ番目のバイナリルールでの良好な広告のオッズに関する。実際には、セッション特性ｘが与えられると、各バイナリルールは評価され得、対応する係数が良好な広告の予測される確率を得るよう集められる。上記の式（５）に似ており、かつセッション特性と広告が「不良」と評定される可能性との間の関係を規定する統計モデルは同様に導出され得る。
【００９５】
ロジスティック回帰およびブーステッドスタンプが統計モデルを構築するための例示的な技術として上述されたが、当業者ならば、たとえば回帰ツリーのような他の既存の統計技術がこの発明の原理と一致する統計モデルを導出するのに用いられてもよいということを認識するであろう。
【００９６】
（広告品質に関係付けられる予測値を判断するための例示的な処理）
図１４は、この発明の原理に一致した実現例に従った、広告品質に関する予測値を求めるための例示的な処理のフローチャートである。当業者が理解するように、図１４によって例示される処理は、適切なように、ソフトウェアで実現され得、サーバ３２０もしくは３３０またはクライアント３１０のメインメモリ４３０、ＲＯＭ４４０、または記憶装置４５０のようなコンピュータ読取可能メモリ上に記憶され得る。
【００９７】
この例示的な処理は、サーチクエリの受取りから始まり得る（ブロック１４００）。あるユーザがこのサーチクエリをサーチエンジンシステム３２５による実行のためにサーバ３２０に発行し得る。受取られたサーチクエリと適合する広告のセットがサーチエンジンシステム３２５によって得られ得る（ブロック１４０５）。サーチエンジンシステム３２５は受取られたサーチクエリに基づいて検索を実行し得、このサーチクエリに適合する広告のセットおよびその他の文書を確認する。サーチエンジンシステム３２５は、サーチクエリを発行したユーザに広告のセットと他の文書のリストとを提供し得る。
【００９８】
広告のセットからの広告の選択に関連付けられるセッション特性が得られ得る（ブロック１４１０）。セッション特性はユーザ広告選択の間にリアルタイムで計測され得るか、または広告選択に関連付けられる記録されたユーザ行動のログから得られ得る。図１５に示されるように、あるユーザが文書１５１０（たとえば検索結果および関連のある広告を含む文書）に関連付けられる広告１５０５を選択１５００し得る。広告１５０５の選択に応答して、広告ランディング文書１５１５がユーザに提供され得る。図１５に示されるように、広告１５０５の選択１５００に関連付けられるセッション特性１５２０が計測され得る。これらの計測されるセッション特性は、ブロック５１０（図５）に関連して上述したような、広告の選択に関連付けられる任意のタイプのユーザ行動を含み得る。
【００９９】
上記のブロック５２０で導かれた統計モデルおよび得られたセッション特性は、その広告が良好な広告および／または不良な広告である予測値１５３０を求めるのに用いられ得る（ブロック１４１５）。予測値は、その広告のユーザ選択に関連付けられるセッション特性が与えられると良好な広告の確率を示す確率値（たとえば、上記の式（３）または（５）を用いて導かれる）を含み得る。予測値はさらに、その広告のユーザ選択に関連付けられる計測されたセッション特性が与えられると不良な広告の可能性を示す確率値（上記の式（４））を含み得る。したがって、セッション特性値が式（３）、（４）、および／または（５）に入力され得、選択された広告が良好または不良であることを示す予測値を得る。たとえば、セッション特性ｘ1、ｘ2、ｘ3、およびｘ4についての値が式（３）に入力され得、これによりＰ（good ad ｜ session features ｘ1，ｘ2，ｘ3，ｘ4）についての確率値を得る。図１５に示されるように、計測されたセッション特性１５２０は統計モデル１３０に入力され得、統計モデル１３０は広告１５０５についての予測値１５３０を出力し得る。
【０１００】
広告の選択に関連付けられる広告／クエリ特性が得られ得る（ブロック１４２０）。図１５に示されるように、広告／クエリ特性１５３５は、広告１５０５の選択１５００に関連して得られ得る。広告／クエリ特性１５３５は、広告１５０５の広告主に関連付けられる識別子（たとえば広告主の可視的なユニフォームリソースロケータ（ＵＲＬ））、広告１５０５が目標とするキーワード、ユーザが発行したサーチクエリにおける広告１５０５が目標としなかった言葉、および／またはユーザが発行したサーチクエリにおける当該広告が目標としなかった言葉であるが、広告１５０５が目標とする言葉に似た言葉を含み得る。上記に記載されない他のタイプの広告またはクエリ特性はこの発明の原理と一致して用いられ得る。例えば、組み合わされて観察された上述の広告／クエリ特性のいずれも（たとえば２つの広告／クエリ特性の対）が単一の広告クエリ／特性として用いられ得る。
【０１０１】
得られた（すなわち上記のブロック１４２０において得られた）広告／クエリ特性の各々について、求められた予測値が、広告／クエリ特性に対応する記憶された値と合計され得る（ブロック１４２５）。求められた予測値は、たとえば図１６に示されるデータ構造１６００のようなデータ構造に記憶される値と合計され得る。図１６に示されるように、データ構造１６００は、複数の広告／クエリ特性１６１０−１から１６１０−Ｎを含み得、各広告／クエリ特性１６１０に「広告選択総数」１６２０、総「良好」予測値１６３０、および総「不良」予想値１６４０が関連付けられる。ブロック１４０５で求められる各予測値は、エントリ１６３０または１６４０に記憶されるとともに、発行の際の広告およびクエリとさらに関連付けられる各広告／クエリ特性１６１０に対応する現在の値と合計され得る。例として、「１８００flowers.com」についての広告が、「母の日の花」というサーチクエリに応答してユーザに提供されるとする。この広告の選択に関連付けられるセッション特性は、０．９の確率Ｐ（good ad ｜ ad selection）を返す。広告およびクエリには３つの広告／クエリ特性が関連付けられる。すなわち、クエリ長（クエリにおける用語（term)の数）と、広告の可視的ＵＲＬと、広告に関連付けられるキーワードの中にある言葉ではなくクエリの中にある言葉の数とである。これら３つの広告／クエリ特性の各々について、エントリ１６２０における対応する「広告選択総数」値が１だけインクリメントされ、０．９が広告／クエリ特性の各々に対応する総良好予測値１６３０に記憶される各々の値に加えられる。
【０１０２】
図１５に示されるように、求められた予測値１５３０の各々はデータ構造１６００における現在の値と合計され得る。ブロック１４００から１４２５は、１つ以上の広告／クエリ特性に関連付けられる多くの合計予測値をデータ構造１６００に投入するよう、広告の各選択について１人以上のユーザによって選択的に繰返され得る。
【０１０３】
（例示的なオッズ評価処理）
図１７および図１８は、図１４のブロック１４２５において求められる総予測値１６３０または１６４０を用いて、広告に関連付けられる良好または不良な品質のオッズを評価するための例示的な処理のフローチャートである。当業者ならば理解するであろうように、図１７および図１８によって例示される処理は、適切なように、ソフトウェアにおいて実現され得、サーバ３２０もしくは３３０またはクライアント３１０のメインメモリ４３０、ＲＯＭ４４０、または記憶装置４５０のようなコンピュータ読取可能メモリ上に記憶され得る。
【０１０４】
所与の広告が良好または不良であるという評価オッズ（odds）は、所与の広告が良好または不良であったという先行のオッズと、所与の広告の選択に関連付けられる広告／クエリ特性に関連付けられる１つ以上のモデルパラメータとの関数である。モデルパラメータは、訓練のために用いられる実際の履歴データに対する良好または不良な広告の予測オッズの最良のフィッティングを作り出すパラメータ値を求めようとする反復プロセスを用いて計算され得る。
【０１０５】
各広告／クエリ特性に関連付けられるモデルパラメータは、良好な広告もしくは不良な広告の確率またはオッズに対する乗数のような単一のパラメータからなり得る。代替的には、各広告／クエリ特性は、良好または不良な広告の予測確率に対してより複雑な具合に影響し得る、それに関連付けられるいくつかのモデルパラメータを有してもよい。
【０１０６】
下記の記載では、さまざまなオッズおよび確率が用いられる。発生するイベントのオッズおよび発生するイベントの確率は、確率＝オッズ／（オッズ＋１）という式によって関係付けられる。たとえば、発生するイベントのオッズが１／２（すなわち、しばしば記載されるように、オッズが「１：２」）の場合、発生するイベントの対応する確率は１／３である。この規則に従えば、オッズおよび確率は相互に置換可能であると考えられ得る。
確率ではなくオッズについて計算を表すのが便利である。なぜならば、オッズは任意の負でない値を取り得るが、確率は０と１との間に必ずあるからである。しかしながら、確率のみを用いてか、またはlog（odds）のようななんらかの他の類似の表現を用いて、以下の実現例が、下記の記載に最小の変更しかなされずに実施され得るということは理解されるべきである。
【０１０７】
図１７は、広告の選択に関連付けられる広告／クエリ特性に基づき、所与の広告が良好または不良であるというオッズの評価を生成するための予測モデルの一実現例を示すフロー図である。この発明の原理の一実現例に従えば、良好または不良な広告のオッズは、良好な広告または不良な広告の先行のオッズ（ｑ0）を、各広告／クエリ特性（ｋi）と関連付けられ、オッズ乗数と以下で呼ばれるモデルパラメータ（ｍi）で乗算することにより計算され得る。このような解は以下のように表現され得る。
【０１０８】
【数７】
2009522668.tif 000009
【０１０９】
本質的には、各広告／クエリ特性ｋについてのオッズ乗数ｍは、ある広告が良好または不良かどうかを判断する際の、この広告／クエリ特性の予測指数の統計学的表現であり得る。
【０１１０】
この発明の原理と一致する一実現例では、上述したモデルパラメータは、ある広告が良好または不良であるという評価オッズに対する各広告／クエリ特性ｋの相対的な影響を反映するよう絶えず修正され得る。このような修正は、このクエリ／広告特性を有する広告が良好または不良であるという平均的な予測されるオッズを、所与の広告／クエリ特性を無視して、この広告／クエリ特性を有する広告の履歴品質の評価と比較することにより行なわれ得る。この態様で、分析される広告／クエリ特性ｋの相対値が識別および改良され得る。
【０１１１】
図１７に具体的に目を向けると、選択される広告／クエリ特性（ｋi）の各々について、平均自己排他的確率（Ｐi）がまず計算または識別され得る（動作１７００）。一実現例では、この自己排他確率（Ｐi）は選択される広告／クエリ特性の適合度を示す値であり、選択される広告／クエリ特性のモデルパラメータ（ｍi）が評価オッズ計算から取除かれる際に広告が良好または不良であるという得られるオッズを計測し得る。広告／クエリ特性３について、たとえば、このことは以下のように示され得る。
【０１１２】
【数８】
2009522668.tif 000010
【０１１３】
一実施例では、各広告／クエリ特性についての自己排他的確率は移動平均として維持され得、これにより、各選択された広告／クエリ特性についてのモデルパラメータの識別に続いて、識別された自己排他的確率はより速く収束することを確実にする。このような移動平均は以下のように表現され得る。
【０１１４】
【数９】
2009522668.tif 000011
【０１１５】
式中、αは移動平均の半減期を制御するのに用いられる１に非常に近い（たとえば０．
９９９）統計学的に規定される変数である。上記の式に示されるように、広告選択（ｎ）の現在の数についてのＰiの値（たとえば、広告／クエリ特性ｋiについての「広告選択総数」１６２０についての現在の値）が、以前の広告選択（たとえばｎ−１）で求められたＰiの値によって重み付けおよび平均化される。
【０１１６】
次に、平均自己排他的確率（Ｐi（avg））は、観察された広告選択の数と、観察された選択について観察された、良好または不良な広告のオッズとに関する履歴情報に対して比較され得る（動作１７１０）。選択される広告／クエリ特性ｋiに関連付けられるモデルパラメータｍiは、次いで、動作１７１０の比較に基づいて（図１８のブロック１８２０および１８３０に関連して下記にさらに記載されるように）生成または修正され得る（動作１７２０）。
【０１１７】
図１８は、図１７のブロック１７１０−１７２０の一例示的実現例を示すフロー図である。まず、良好な広告または不良な広告のオッズに関する信頼区間が決定され得る（動作１８００）。信頼区間技術を用いることで、より少ない量の履歴データを有する広告／クエリ特性ｋが用いられる場合でもより正確で安定した評価が可能になる。一実現例では、信頼区間は、低値Ｌiおよび高値Ｕiを含み、広告選択（ｎi）の数（たとえば、広告／クエリ特性ｋiについて、データ構造１６００における「広告選択総数」１６２０の現在の値）と、選択される広告／クエリ特性について観察される総良好性／不良性（ｊi）（たとえば、広告／クエリ特性ｋiについて、データ構造１６００における現在の総「良好」予測値１６３０または総「不良」予測値１６４０）とに基づく。たとえば、信頼区間は、広告選択の数（たとえば、広告／クエリ特性ｋiについての、データ構造１６００における「広告選択総数」１６２０の現在の値）と、観察される総良好性／不良性（たとえば、広告／クエリ特性ｋiについての、データ構造１６００における現在の総「良好」予測値１６３０または総「不良」予測値１６４０）とに基づいて従来の態様で計算される８０％の信頼区間［Ｌi，Ｕi］であり得る。信頼区間計算に続いて、次いで平均自己排他的確率（Ｐi（avg））がこの区間内にあるかどうか判断され得る（動作１８１０）。区間内にあるならば、選択された広告／クエリ特性（ｋi）は良好な広告または不良な広告のオッズに対して何の影響も有さず、そのモデルパラメータ（ｍi）は１に設定され得る。これにより評価オッズ計算からそれを効果的に取除く（動作１８２０）。しかしながら、Ｐi（avg）が信頼区間の外側にあると判断される場合、選択された広告／クエリ特性ｋiについてのモデルパラメータ（ｍi）は、平均自己排他的確率（Ｐi（avg））を信頼区間内にするのに必要な最小の調整に設定され得る（動作１８３０）。この計算は数学的に以下のように表現され得る。
【０１１８】
【数１０】
2009522668.tif 000012
【０１１９】
ここで図１７に戻ると、選択された広告／クエリ特性ｋiについてモデルパラメータｍiがひとたび計算されると、（たとえば図１６の広告／クエリ特性１６１０−１から１６１０−Ｎの）付加的な広告／クエリ特性が未処理で残っているかどうか（すなわち、ｋi＜ｋmかどうかであり、式中、ｍはデータ構造１６００における広告／クエリ特性の総数に等しい）が判断され得る（動作１７３０）。付加的な広告／クエリ特性が未処理で残っている場合、カウンタ変数ｉはインクリメントされ得（動作１７４０）、処理は次の広告／クエリ特性ｋiを処理するよう動作１７００に戻り得る。すべての広告／クエリ特性についてモデルパラメータがひとたび計算または修正されると、良好な広告または不良な広告のオッズが、
【０１２０】
【数１１】
2009522668.tif 000013
【０１２１】
という式を用いて評価され得る（動作１７５０）。良好な広告の評価オッズ（たとえばＯＤＤＳ（good ad ｜ ad query/feature））が、広告／クエリ特性１６１０に対応する、データ構造１６００の「良好」広告オッズエントリ１６５０に記憶され得る。不良な広告の評価オッズ（たとえばＯＤＤＳ（bad ad ｜ ad/query feature））が、広告／クエリ特性１６１０に対応する、データ構造１６００の「不良」広告オッズエントリ１６６０に記憶され得る。
【０１２２】
この発明の原理に一致する一実現例では、オッズ予測モデルは、ログデータが届くと処理し、かつ上述した統計（たとえば、広告選択、総良好性または不良性、自己包含確率など）を集めることにより訓練され得る。付加的な広告選択が行われると、各広告／クエリ特性に関連付けられる信頼区間は収縮し得、パラメータ評価はより正確になり得る。付加的な実現例では、訓練は古いログデータを再処理することにより加速され得る。ログデータを再処理すると、良好な広告または不良な広告の評価オッズは、最新のパラメータまたはオッズ乗算値を用いて再計算され得る。これにより、予測モデルがより速く収束する。
【０１２３】
（例示的な広告品質予測処理）
図１９は、この発明の原理と一致する実現例に従った、広告の品質を予測するための例示的な処理のフローチャートである。当業者ならば理解するであろうように、図１９によって例示される処理は、適切なように、ソフトウェアにおいて実現され得、サーバ３２０もしくは３３０またはクライアント３１０のメインメモリ４３０、ＲＯＭ４４０、または記憶装置４５０のようなコンピュータ読取可能メモリ上に記憶され得る。
【０１２４】
この例示的な処理は、あるユーザからのサーチクエリの受取りから始まり得る（ブロック１９００）。ユーザがこのサーチクエリをサーチエンジンシステム３２５による実行のためにサーバ３２０に発行し得る。受取られたサーチクエリと適合する広告のセットがサーチエンジンシステム３２５によって得られ得る（ブロック１９１０）。サーチエンジンシステム３２５は受取られたサーチクエリに基づき検索を実行し得、このサーチクエリに適合する広告のセットおよびその他の文書を確認する。広告のセットの各々の広告について、受取られたサーチクエリおよび広告に対応する各広告／クエリ特性が判断され得る（ブロック１９２０）。各サーチクエリおよび広告の対についての広告／クエリ特性は、広告主に関連付けられる識別子（たとえば広告主の可視的なユニフォームリソースロケータ（ＵＲＬ））、広告が目標とするキーワード、ユーザが発行したクエリにおける広告が目標としなかった言葉、および／またはユーザが発行したサーチクエリにおける広告が目標としなかった言葉であるが、広告が目標とする言葉に似た言葉を含み得る。上記に記載されない他のタイプの広告またはクエリ特性はこの発明の原理と一致して用いられ得る。例えば、組み合わされて観察された上述の広告／クエリ特性（たとえば２つの広告／クエリ特性の対）のいずれもが単一の広告クエリ／特性として用いられ得る。
【０１２５】
広告のセットの各広告について、判断される広告／クエリ特性ｉの各々について記憶されるＯＤＤＳi（たとえば、ＯＤＤＳ（good ad ｜ ad/query feature）１６５０、ＯＤＤＳ（bad ad ｜ ad/query feature）１６６０）がデータ構造１６００から抽出され得る（ブロック１９３０）。図２０に示されるように、データ構造１６００はサーチクエリおよび広告に対応する広告／クエリ特性２０００でインデキシングされ得、これにより各広告／クエリ特性に関連付けられる１つ以上のＯＤＤＳi２０１０を抽出する。たとえば、図１６に示されるような、各広告／クエリ特性１６１０に対応する「良好」広告オッズ値１６５０が抽出され得る。別の例では、図１６に示されるような、各広告／クエリ特性１６
１０に対応する「不良」広告オッズ値１６６０が抽出され得る。
【０１２６】
広告のセットの各広告について、各広告／クエリ特性ｉについての抽出されたＯＤＤＳiがともに乗算され得（ブロック１９４０）、合計のＯＤＤＳ値（ＯＤＤＳt）を算出する。
【０１２７】
【数１２】
2009522668.tif 000014
【０１２８】
たとえば、各広告／クエリ特性についての「良好」広告オッズ値１６５０はともに乗算され得、総良好広告オッズ値ＯＤＤＳt_GOOD ADを算出する。別の例として、各広告／クエリ特性についての「不良」広告オッズ値１６６０がともに乗算され得、総不良広告オッズ値ＯＤＤＳt_BAD ADを算出する。図２０に示されるように、データ構造１６００から抽出されるＯＤＤＳ２０１０はともに乗算され得、総オッズ値ＯＤＤＳt２０２０を算出する。
【０１２９】
広告のセットの各広告について、その広告が良好（ＰGOOD AD）および／またはその広告が不良（ＰBAD AD）である確率を含み得る品質パラメータが求められ得る（ブロック１９５０）。
【０１３０】
【数１３】
2009522668.tif 000015
【０１３１】
図２０に示されるように、総オッズ値ＯＤＤＳt１８２０および式（７）または（８）は品質パラメータ（Ｐ）２０３０を導出するよう用いられ得る。導出された品質パラメータＰはその後、たとえば、本件と同日に出願され、ここに全文引用によって援用される、「広告フィルタリング、ランキング、および販売促進のための評価広告品質の利用（Using Estimated Ad Qualities for Ad filtering, Ranking and Promotion）」という名称を有する同時係属中の米国出願第１１／３２１，０６４号（代理人整理番号第００２６−０１５８号）に記載されるように、広告をフィルタリング、ランキング、および／または販売促進するのに用いられ得る。
【０１３２】
（結論）
この発明の好ましい実施例の上記の記載は例示および説明を提供するが、開示される形態そのものに制限またはこの発明を当該形態に限定することを意図してはいない。上記教示に鑑みて修正例および変形例が可能であり、またはこの発明の実施から得られ得る。たとえば、図５、図１４、および図１７〜図１９に関連して動作の連なりが記載されたが、これら動作の順番はこの発明の原理と一致する他の実現例において修正されてもよい。さらに、非従属的な動作が並行して行なわれてもよい。
【０１３３】
上述したセッション特性に加えて、コンバージョントラッキング（conversion tracking）が予測値とユーザ満足との間の直接較正を導出するよういくつかの実現例において随意で用いられ得る。コンバージョンは、広告主が有益であると見なすユーザ行動（たとえばユーザの買い物）に広告の選択が直接的に繋がる場合に起こる。広告主または広告主のために広告をホスティングするサービスは、各広告選択ごとにコンバージョンが起こるかどうか追跡（track）し得る。たとえば、あるユーザが、ある広告主の広告を選択し、当該広告の選択に応答してユーザに提供される広告ランディング文書上に示される製品のオ
ンライン購入を次いで行なうと、広告主またはこの広告をホスティングするサービスはその広告選択についてのコンバージョンを記録し得る。コンバージョントラッキングデータは、識別される広告選択と関連付けられ得る。予測値とコンバージョンによって計測されるユーザ満足との間の直接較正を導出するのに、たとえばロジスティック回帰、回帰ツリー、ブーステッドスタンプなどのような統計技術が用いられてもよい。
【０１３４】
上述したように、この発明の局面が、図面で例示された実現例において、ソフトウェア、ファームウェア、およびハードウェアの数多くの異なる形態で実現し得ることは、当業者には明らかであろう。この発明の原理に一致する局面を実現するのに使用される実際のソフトウェアコードまたは専門的な制御ハードウェアは、この発明を限定するものではない。したがって、これら局面の動作および作用は、特定のソフトウェアコードを参照せずに述べられており、当業者が本明細書の説明に基づいてこれら局面を実現するようソフトウェアおよび制御ハードウェアを設計できるということが理解されるであろう。
【０１３５】
本願で使用される要素、動作または命令のいずれも、特に明記されない限りこの発明にとって不可欠または本質的なものと解釈されるべきでない。また、本明細書で使用される冠詞「ａ（ある）」は、１つ以上の項目を含むことが意図されている。意図する項目が１つのみの場合は、「１つの」または同様の表現が使用される。また、「基づいて」という表現は、特に明記されない限り、「少なくとも一部基づいて」を意味することが意図されている。
【図面の簡単な説明】
【０１３６】
【図１】観察されるユーザ行動と広告のセットに関連付けられる既知の品質評定とが、広告品質を予測するために用いられ得る統計モデルを構築するのに用いられる実現例の概略の例示的な図である。
【図２】観察されるユーザ行動と広告のセットに関連付けられる既知の品質評定とが、広告品質を予測するために用いられ得る統計モデルを構築するのに用いられる実現例の概略の例示的な図である。
【図３】この発明の原理と一致するシステムおよび方法が実現され得るネットワークの例示的な図である。
【図４】この発明の原理と一致する実現例に従った、図３のクライアントまたはサーバの例示的な図である。
【図５】この発明の原理と一致する実現例に従った、複数のオンライン広告の選択に関連付けられるユーザ行動のモデルを構築するための例示的な処理のフローチャートの図である。
【図６】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図７】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図８】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図９】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図１０】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図１１】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図１２】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図１３】観察されたまたはログが取られたユーザ動作に対応する、広告品質を予測するための統計モデルを構築するために用いられ得る例示的なセッション特性を示す図である。
【図１４】この発明の原理と一致する実現例に従った、広告の品質に関する予測値を求めるための例示的な処理のフローチャートの図である。
【図１５】この発明のある局面と一致する、図１４の例示的な処理を図示する図である。
【図１６】図１４で求められた予測値を記憶するための例示的なデータ構造の図である。
【図１７】この発明の原理と一致する実現例に従った、広告の品質を予測するための例示的な処理のフローチャートの図である。
【図１８】この発明の局面と一致する、図１７の例示的な処理を図示する図である。
【図１９】この発明の原理と一致する実現例に従った、広告の品質を予測するための例示的な処理のフローチャートの図である。
【図２０】この発明のある局面と一致する、図１９の例示的な処理を図示する図である。
【図１】
2009522668.tif 000016
【図２】
2009522668.tif 000017
【図３】
2009522668.tif 000018
【図４】
2009522668.tif 000019
【図５】
2009522668.tif 000020
【図６】
2009522668.tif 000021
【図７】
2009522668.tif 000022
【図８】
2009522668.tif 000023
【図９】
2009522668.tif 000024
【図１０】
2009522668.tif 000025
【図１１】
2009522668.tif 000026
【図１２】
2009522668.tif 000027
【図１３】
2009522668.tif 000028
【図１４】
2009522668.tif 000029
【図１５】
2009522668.tif 000030
【図１６】
2009522668.tif 000031
【図１７】
2009522668.tif 000032
【図１８】
2009522668.tif 000033
【図１９】
2009522668.tif 000034
【図２０】
2009522668.tif 000035
【手続補正書】
【提出日】平成20年8月20日(2008.8.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータ実行可能命令を記憶したコンピュータ読取可能媒体であって、
複数の広告の選択に関連付けられる品質値を求めるための命令を含み、前記品質値は前記複数の広告がある尺度の品質のものである尤度を評価し、前記複数の広告の各選択にクエリが関連付けられ、前記コンピュータ読取可能媒体はさらに、
前記複数の広告の前記選択に関連付けられる１つ以上の特性に基づき、前記品質値を集めるための命令を含み、前記１つ以上の特性は、前記クエリにおける用語の数を含むか、または前記クエリにおける１つ以上の言葉に関し、前記コンピュータ読取可能媒体はさらに、
別の広告が前記ある尺度の品質のものである将来の尤度を予測するよう、前記集められた品質値を用いるための命令を含む、コンピュータ読取可能媒体。
【請求項２】
前記１つ以上の特性は、前記複数の広告の広告主に関連付けられる識別子をさらに含む、請求項１に記載のコンピュータ読取可能媒体。
【請求項３】
前記クエリにおける前記１つ以上の言葉は、前記複数の広告の対応するものが目標とするキーワード、前記複数の広告の対応するものが目標としなかった、前記クエリの言葉、または、サーチクエリにおける、前記複数の広告の対応するものが目標にしなかった言葉であるが、前記複数の広告の前記対応するものが目標にする言葉に似た言葉を含む、請求項１に記載のコンピュータ読取可能媒体。
【請求項４】
前記品質値を集めるための前記命令は、
前記品質値を記憶するよう、前記１つ以上の特性に基づきデータ構造をインデキシングするための命令を含む、請求項１に記載のコンピュータ読取可能媒体。
【請求項５】
クエリを受取るための命令と、
前記クエリと関係のある広告のセットを得るための命令と、
前記広告のセットからの他の広告の選択を受取るための命令と、
前記他の広告の前記選択に関連付けられる１つ以上の第２の特性を観察するための命令
とをさらに含む、請求項４に記載のコンピュータ読取可能媒体。
【請求項６】
前記１つ以上の第２の特性は、前記他の広告の広告主に関連付けられる識別子、前記他の広告が目標とするキーワード、前記クエリにおける、前記他の広告が目標としなかった言葉、または前記クエリにおける、前記他の広告が目標としなかった言葉であるが、前記他の広告が目標とする言葉に似た言葉のうちの少なくとも１つを含む、請求項５に記載のコンピュータ読取可能媒体。
【請求項７】
前記他の広告が良好である将来の尤度を予測するよう、前記集められた品質値を用いるための前記命令は、
前記１つ以上の第２の特性に基づき、前記集められた品質値の少なくともいくつかを前記データ構造から抽出するための命令を含む、請求項５に記載のコンピュータ読取可能媒体。
【請求項８】
サーチクエリに応答して１つ以上の広告をユーザに提供するステップと、
前記１つ以上の広告のユーザ選択に関連付けられるユーザ行動のログを取るステップと、
前記サーチクエリに関連付けられる特性のログを取るステップとを含み、前記ログが取られた特性は、前記サーチクエリのクエリにおける用語の数を含むか、または前記サーチクエリの前記クエリにおける１つ以上の言葉に関し、さらに、
前記選択された広告に関連付けられる品質スコアを評価するよう、統計モデルと前記ログが取られたユーザ行動とを用いるステップと、
前記評価された品質スコアを、前記ログが取られた特性に基づき集めるステップと、
前記集められた品質スコアを用いて別の広告の品質を予測するステップとを含む、方法。
【請求項９】
前記評価された品質スコアを、前記ログが取られた特性に基づき集めるステップは、
前記評価された品質スコアを記憶するよう、前記ログが取られた特性に基づきデータ構造をインデキシングするステップを含む、請求項８に記載の方法。
【請求項１０】
前記ログが取られた特性は、前記１つ以上の広告の選択された広告にさらに関連付けられ、前記ログが取られた特性は、前記１つ以上広告の前記広告の広告主に関連付けられる識別子を含む、請求項８に記載の方法。
【請求項１１】
前記サーチクエリの前記クエリにおける前記１つ以上の言葉の各々は、前記１つ以上の広告の対応するものが目標とするキーワード、前記サーチクエリにおける、前記１つ以上の広告のそれぞれが目標としなかった言葉、および前記サーチクエリにおける、前記１つ以上の広告のそれぞれが目標としなかった言葉であるが、前記１つ以上の広告の前記それぞれが目標とする言葉に似た言葉を含む、請求項１０に記載の方法。
【請求項１２】
前記集められた品質スコアを用いて、他の広告の品質を予測するステップは、
前記他の広告の前記品質を予測する値を提供するよう、前記集められた品質スコアにアルゴリズムを適用するステップを含む、請求項８に記載の方法。
【請求項１３】
ユーザからサーチクエリを受取るステップと、
前記サーチクエリに基づき、広告の群を前記ユーザに提供するステップと、
広告の前記群からの広告の選択の指示を前記ユーザから受取るステップと、
前記サーチクエリまたは選択された広告に関連付けられる特性のログを取るステップとを含み、前記ログが取られた特性の各々は、前記選択された広告に関連付けられる識別子、前記選択された広告が目標とするキーワード、前記サーチクエリにおける、前記選択さ
れた広告が目標としなかった言葉、および、前記サーチクエリにおける、前記選択された広告が目標にしなかった言葉であるが、前記選択された広告が目標にする言葉に似た言葉のうちの少なくとも１つを含み、さらに、
前記ログが取られた特性を用いてメモリから過去の品質スコアを抽出するステップと、
前記抽出された過去の品質スコアに基づき、前記選択された広告の将来の品質を予測するステップとを含む、方法。
【請求項１４】
メモリから前記過去の品質スコアを抽出するステップは、
前記過去の品質スコアを抽出するよう、前記ログが取られた特性を用いて、前記メモリにおけるデータ構造をインデキシングするステップを含む、請求項１３に記載の方法。
【請求項１５】
前記抽出された過去の品質スコアに基づき、前記選択された広告の将来の品質を予測するステップは、
前記広告の前記将来の品質を予測する値を提供するよう、前記抽出された過去の品質スコアにアルゴリズムを適用するステップを含む、請求項１３に記載の方法。
【請求項１６】
ユーザが発行したサーチクエリに基づき、前記ユーザに複数の広告を提供するための手段と、
前記複数の広告からの広告の選択の指示を前記ユーザから受取るための手段と、
前記サーチクエリまたは前記選択された広告に関連付けられる特性のログを取るための手段とを含み、前記ログが取られた特性は、前記広告の広告主に関連付けられる識別子、前記広告が目標とするキーワード、前記サーチクエリにおける、前記広告が目標としなかった言葉、または、前記クエリにおける、前記広告が目標にしなかった言葉であるが、前記広告が目標にする言葉に似た言葉のうちの１つ以上を含み、さらに、
前記ログが取られた特性を用いて、データ構造から過去の品質スコアを抽出するための手段と、
前記抽出された過去の品質スコアに基づき、前記選択された広告の品質を予測するための手段とを含む、システム。
【国際調査報告】
2009522668.tif 000036
2009522668.tif 000037