(57)【要約】  システムは、１つ以上のサーバがホストする第１組の広告に関連する評価を取得し、この評価は第１組の広告の品質を示す。このシステムは、第１組の広告の中の広告のユーザによる選択に関連する複数の異なる第１のユーザ動作を観察し、観察した第１のユーザ動作および取得した評価を用いて統計モデルを導出する。このシステムはさらに、上記１つ以上のサーバがホストする第２の広告のユーザによる選択に関連する第２のユーザ動作を観察し、上記統計モデルおよび第２のユーザ動作を用いて第２の広告の品質を評価する。
2009522667.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のサーバがホストする第１組の広告に関連する評価を取得するステップを含み、前記評価は前記第１組の広告の品質を示し、
前記第１組の広告の中の広告のユーザによる選択に関連する複数の異なる第１のユーザ動作を観察するステップと、
前記観察された第１のユーザ動作および前記取得された評価を用いて統計モデルを導出するステップと、
前記１つ以上のサーバがホストする第２の広告のユーザによる選択に関連する第２のユーザ動作を観察するステップと、
前記統計モデルおよび前記第２のユーザ動作を用いて前記第２の広告の品質を推定するステップとを含む、方法。
【請求項２】
前記複数の異なる第１のユーザ動作を観察するステップは、前記複数の異なる第１のユーザ動作を記録するステップを含む、請求項１に記載の方法。
【請求項３】
前記複数の異なる第１のユーザ動作は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ動作を含む、請求項１に記載の方法。
【請求項４】
前記統計モデルを導出するステップは、ロジスティック回帰、回帰ツリーまたはブーストスタンプのうち少なくとも１つを用いて前記統計モデルを生成するステップを含む、請求項１に記載の方法。
【請求項５】
前記統計モデルを導出するステップは、前記統計モデルの適合度をテストし、前記観察された第１のユーザ動作のうち、良いまたは悪い広告と相関関係があるのはどの動作か判断するステップを含む、請求項１に記載の方法。
【請求項６】
前記統計モデルおよび前記第２のユーザ動作を用いるステップは、
前記統計モデルを用いて、前記第２の広告が良い広告である確率を、前記第２のユーザ動作を考慮して求めるステップと、
前記求められた確率に基づいて前記第２の広告の品質を推定するステップとを含む、請求項１に記載の方法。
【請求項７】
前記統計モデルおよび前記第２のユーザ動作を用いるステップは、
前記第２の広告に関連するスコアを、前記第２の広告が良い広告である確率を用いて求めるステップと、
前記求められたスコアに基づいて前記第２の広告の品質を推定するステップとを含む、請求項６に記載の方法。
【請求項８】
前記第２の広告に関連するスコアを求めるステップは、関数を、前記第２の広告が良い広告である確率に適用して前記スコアを求めるステップを含む、請求項７に記載の方法。
【請求項９】
前記複数の異なる第１のユーザ動作は、
広告選択の継続時間、
所与の広告選択の前および／または後の、他の広告の選択の数、
所与の広告選択の前および／または後の、検索結果の選択の数、
所与の広告選択の前および／または後の、他の種類の結果の選択の数、
所与の広告選択の前および／または後で、文書を見た回数、
所与の広告選択の前および／または後の、検索クエリの数、
広告を示す、ユーザセッションに関連する検索クエリの数、
同じ所与の広告を繰返し選択した回数、または
所与の広告選択が、所与のクエリに対する最後の広告選択なのか、ユーザセッションにおける最後の選択なのかの表示、
のうち少なくとも１つを含む、請求項１に記載の方法。
【請求項１０】
サーバがホストする第１の広告のユーザによる選択に関連する第１のユーザ行動を観察するステップを含み、前記観察された第１のユーザ行動は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ行動を含み、
前記観察された第１のユーザ行動に基づいて前記第１の広告の品質を推定するステップを含む、方法。
【請求項１１】
前記観察されたユーザ行動は、
広告選択の継続時間、
所与の広告選択の前および／または後の、他の広告の選択の数、
所与の広告選択の前および／または後の、検索結果の選択の数、
所与の広告選択の前および／または後の、他の種類の結果の選択の数、
所与の広告選択の前および／または後で、文書を見た回数、
所与の広告選択の前および／または後の、検索クエリの数、
広告を示す、ユーザセッションに関連するクエリの数、
同じ所与の広告を繰返し選択した回数、または
所与の広告選択が、所与のクエリに対する最後の広告選択なのか、ユーザセッションにおける最後の選択なのかの表示、
のうち少なくとも１つを含む、請求項１０に記載の方法。
【請求項１２】
１組の広告に関連する評価を取得するステップをさらに含み、前記評価は、前記１組の広告の中の各広告の品質を示し、
前記１組の広告の中の広告のユーザによる選択に関連する第２のユーザ行動を観察するステップと、
前記評価および観察された第２のユーザ行動を用いて統計モデルを構築するステップとをさらに含み、
前記第１の広告の品質を推定するステップは、前記統計モデルおよび前記観察された第１のユーザ行動を用いて前記第１の広告の品質を推定するステップを含む、請求項１０に記載の方法。
【請求項１３】
前記統計モデルを構築するステップは、ロジスティック回帰、回帰ツリーまたはブーストスタンプのうち少なくとも１つを用いて前記統計モデルを生成するステップを含む、請求項１２に記載の方法。
【請求項１４】
前記統計モデルおよび前記観察された第１のユーザ行動を用いるステップは、
前記統計モデルを用いて、前記第１の広告が良い広告である確率を、前記観察された第１のユーザ行動を考慮して求めるステップと、
前記求められた確率に基づいて前記第１の広告に関連するスコアを求めるステップとを含む、請求項１２に記載の方法。
【請求項１５】
前記統計モデルおよび前記観察された第１のユーザ行動を用いるステップは、前記求められたスコアに基づいて前記第１の広告の品質を推定するステップを含む、請求項１４に記載の方法。
【請求項１６】
コンピュータで実行可能な命令を格納するコンピュータ可読媒体であって、
サーバがホストする第１の広告のユーザによる選択に関連するユーザ行動を識別するた
めの命令を含み、観察される前記ユーザ行動は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ行動を含み、
前記ユーザ行動に基づいて前記第１の広告の品質を推定するための命令を含む、コンピュータ可読媒体。
【請求項１７】
１つ以上のサーバがホストする第１の広告のユーザによる選択に関連する複数のユーザ動作を観察するステップと、
前記第１の広告に関連する既知の品質を、前記複数のユーザ動作に含まれる動作に関連付けるステップと、
第２の広告のユーザによる選択に関連する、前記複数のユーザ動作に含まれる前記動作の存在を観察するステップと、
前記複数のユーザ動作に含まれる前記動作の存在に基づいて、前記第２の広告の品質を推定するステップとを含む、方法。
【請求項１８】
前記複数のユーザ動作は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ動作を含む、請求項１７に記載の方法。
【請求項１９】
前記複数のユーザ動作を観察するステップは、１つ以上のサーバがホストする前記第１の広告のユーザによる選択に関連する前記複数のユーザ動作を記録するステップを含む、請求項１７に記載の方法。
【請求項２０】
前記複数のユーザ動作は、
広告選択の継続時間、
所与の広告選択の前および／または後の、他の広告の選択の数、
所与の広告選択の前および／または後の、検索結果の選択の数、
所与の広告選択の前および／または後の、他の種類の結果の選択の数、
所与の広告選択の前および／または後で、文書を見た回数、
所与の広告選択の前および／または後の、検索クエリの数、
広告を示す、ユーザセッションに関連する検索クエリの数、
同じ所与の広告を繰返し選択した回数、または
所与の広告選択が、所与のクエリに対する最後の広告選択なのか、ユーザセッションにおける最後の選択なのかの表示、
のうち少なくとも１つを含む、請求項１７に記載の方法。
【請求項２１】
前記第１の広告に関連する既知の品質を、前記複数のユーザ動作に含まれる動作に関連付けるステップは、ロジスティック回帰、回帰ツリーまたはブーストスタンプのうち少なくとも１つを用いて、前記既知の品質を関連付けるステップを含む、請求項１７に記載の方法。
【請求項２２】
前記第１の広告に関連する既知の品質を関連付けるステップは、広告が良い広告である確率を、前記複数のユーザ動作を考慮して求める統計モデルを構築するステップを含み、
前記第２の広告の品質を求めるステップは、前記第２の広告の品質を、前記統計モデルおよび前記複数のユーザ動作に含まれる動作の存在を用いて推定するステップを含む、請求項２１に記載の方法。
【請求項２３】
前記第１の広告に関連する既知の品質を関連付けるステップは、前記統計モデルの適合度をテストして、前記複数のユーザ動作に含まれる前記動作が良い広告に関連付けられると判断するステップを含む、請求項２２に記載の方法。
【請求項２４】
システムであって、
１つ以上のサーバがホストする第１組の広告に関連する評価を取得するための手段を含み、前記評価は前記第１組の広告の品質を示し、
前記第１組の広告の中の広告のユーザによる選択に関連する複数の異なる第１のユーザ動作を識別するための手段と、
前記第１のユーザ動作および前記取得された評価に基づいて統計モデルを導出するための手段と、
前記１つ以上のサーバがホストする第２の広告のユーザによる選択に関連する第２のユーザ動作を識別するための手段と、
前記統計モデルおよび前記第２のユーザ動作に基づいて前記第２の広告の品質を推定するための手段とを含む、システム。
【請求項２５】
一群の広告のユーザによる選択に関連するユーザ動作を記録するステップを含み、前記一群の広告は品質評価に関連付けられ、前記ユーザ動作は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ動作を含み、
前記記録されたユーザ動作および前記品質評価を用いて統計モデルを生成するステップと、
前記統計モデルを用いて、前記一群の広告に含まれない広告の品質を推定するステップとを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
背景
発明の分野
ここで説明する実現化例は、包括的にはオンライン広告に関し、より特定的には観察したユーザの行動を用いてオンライン広告の品質を推定することに関する。
【背景技術】
【０００２】
関連技術の説明
オンライン広告システムは、さまざまなサービスおよび／または製品を宣伝し得る広告をホストする。このような広告は、広告システムがホストする文書にアクセスしたユーザに対して示され得る。広告は「創作物」を含んでもよく、この創作物には、宣伝するサービスおよび／または製品に関連する文章、図形および／または画像が含まれる。広告はさらに、宣伝するサービスおよび／または製品に関するより詳しい内容を含む、広告「ランディング文書（landing document）」へのリンクを含み得る。特定の創作物がユーザにとって興味深いと思われる場合、ユーザはこの創作物を選択（またはクリック）することができ、関連するリンクによって、ユーザのウェブブラウザは、上記創作物およびリンクに関連付けられた「ランディング文書」を訪れる。ユーザが広告創作物およびこれに関連するリンクを選択することを、以下「クリック」と呼ぶ。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
オンライン広告システムは大抵、課金およびそれ以外の目的で広告のクリックを追跡する。広告クリック追跡の、課金以外の目的の１つは、広告品質を確かめようとすることである。クリック率（ＣＴＲ（click through rate））は、広告品質の判断に使用される１つの基準である。ＣＴＲは、広告創作物がユーザに対して示されたときに所与の広告が「クリックされる」回数の割合を表わす。しかしながら、広告のＣＴＲは、広告品質の不完全な基準である。なぜなら、ＣＴＲは、ランディング文書という広告の目的ではなく、広告の創作物に注目するからである。ユーザは、ある広告が良いか悪いか判断するためには広告をクリックする必要があるので、クリックが発生した／発生しないというのは、広告の品質を判断するには不十分である。創作物が良いために数多くのクリックを受けるものの、ランディング文書がユーザにとって全く不十分であるかまたは無関係である広告がある。（たとえば広告創作物が貧弱であるが故に）クリックはほとんど受けないものの、クリック毎にユーザを満足させる広告もある。したがって、オンライン広告に関連するＣＴＲについて現在行なわれている判断は、広告品質の基準としては不十分である。
【課題を解決するための手段】
【０００４】
概要
ある局面に従うと、方法は、１つ以上のサーバがホストする第１組の広告に関連する評価を取得することを含むことができ、この評価は第１組の広告の品質を示す。この方法はさらに、第１組の広告の中の広告のユーザによる選択に関連する複数の異なる第１のユーザ動作を観察することと、観察された第１のユーザ動作および取得された評価を用いて統計モデルを導出することとを含み得る。この方法はまた、１つ以上のサーバがホストする第２の広告のユーザによる選択に関連する第２のユーザ動作を観察することと、統計モデルおよび第２のユーザ動作を用いて第２の広告の品質を推定することとを含み得る。
【０００５】
別の局面に従うと、方法は、サーバがホストする第１の広告のユーザによる選択に関連する第１のユーザ行動を観察することを含んでもよく、観察された第１のユーザ行動は、
クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ動作を含み得る。この方法はさらに、観察された第１のユーザ行動に基づいて第１の広告の品質を推定することを含み得る。
【０００６】
さらに他の局面に従うと、方法は、１つ以上のサーバがホストする第１の広告のユーザによる選択に関連する複数の測定可能なユーザ動作を観察することと、第１の広告に関連する既知の品質を、複数の測定可能なユーザ動作に含まれる動作に関連付けることとを含み得る。この方法はさらに、第２の広告のユーザによる選択に関連する、上記複数の測定可能なユーザ動作に含まれる動作の存在を観察することと、上記複数の測定可能なユーザ動作に含まれる動作の存在に基づいて、第２の広告の品質を推定することとを含み得る。
【０００７】
さらに他の局面に従うと、方法は、一群の広告のユーザによる選択に関連するユーザ動作を記録することを含んでもよく、上記一群の広告は品質評価に関連付けられ、上記ユーザ動作は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ動作を含む。この方法はさらに、記録されたユーザ動作および品質評価を用いて統計モデルを生成することと、統計モデルを用いて、上記一群の広告に含まれない広告の品質を推定することとを含み得る。
【０００８】
この明細書に組込まれてその一部をなす添付の図面は、本発明の１つ以上の実施例を示し、明細書の記載とともに本発明を説明する。
【発明を実施するための最良の形態】
【０００９】
詳細な説明
以下の本発明の詳細な説明は、添付の図面を参照する。異なる図面における同一の参照番号は、同一または同様の構成要素を示す。また、以下の詳細な説明は、本発明を限定するものではない。
【００１０】
本発明の局面に従うシステムおよび方法は、オンライン広告のユーザによる選択に関連するユーザ行動の複数の観察結果（たとえば実時間での観察結果または記録されたユーザログからの観察結果）を用いて、ＣＴＲのみに基づく従来の品質判断と比較して、より正確に広告品質を推定し得る。既知の評価された広告に関連する品質評価と、これに対応する、これら既知の評価された広告の選択（たとえば「クリック」）に関連する測定され観察されたユーザ行動とを用いて、統計モデルを構築し得る。次に、この統計モデルを用い、未評価の広告に関連する品質を、この未評価の広告の選択に関連する観察されたユーザの行動に基づいて、推定し得る。このように、統計モデルは、ある広告の選択に関連するユーザの行動の１組の観察結果に基づいて、この選択された広告にユーザが満足している尤度を推定し得る。
【００１１】
ここで使用する用語「文書」は、機械で読取可能かつ機械で格納可能な作業生産物を含むものであると広く解釈されるべきである。ある文書は、たとえば電子メール、ウェブページまたはサイト、ビジネスリスト、ファイル、ファイルの組合せ、他のファイルへのリンクが埋込まれた１つ以上のファイル、ニュースグループポスティング、ブログ、オンライン広告などを含み得る。文書は、大抵はテキスト情報を含み得、埋込まれた情報（メタ情報、画像、ハイパーリンクなど）および／または埋込まれた命令（たとえばジャバスクリプトなど）を含むこともある。ここで使用する用語「リンク」は、ある文書から別の文書へ、別の文書からある文書へ、または同じ文書の別の部分への参照を含むものであると広く解釈されるべきである。
【００１２】
概要
図１は、ある実現化例の代表的な概要を示し、この例では、観察したユーザの行動を利
用してオンライン広告の品質を推定する。図１に示されるように、複数の評価された広告１００−１〜１００−Ｎ（ここではまとめて広告１００と呼ぶ）はそれぞれ、対応する文書１０５−１〜１０５−Ｎ（ここではまとめて文書１０５と呼ぶ）に関連付けられる。各文書１０５は、ユーザが与えた検索クエリに基づき検索エンジンが実行した検索の結果得られた１組の検索結果を含み、さらに、評価された広告１００に加えて１つ以上の広告を含む。各広告１００は、評価された各広告１００の品質を評価した人間の評価者によって与えられた評価データ１２０に関連付けられ得る。各文書１０５はネットワーク内のサーバによってホストされてもよく、ユーザが各文書１０５にアクセスすると、関連する広告１００が自動的にユーザに与えられる（たとえばポップアップ広告）、または、その広告１００はそのアクセスされた文書１０５に取込まれ得る。各広告１００は、さまざまな製品またはサービスを宣伝し得る。
【００１３】
広告１００を受信すると、受信したユーザは、広告上に表示された「創作物」に基づいて広告を選択し得る１１０（例として、マウスを用いて表示された広告上を「クリックする」）。広告選択１１０の後、広告ランディング文書１１５が、広告をホストするサーバにより、広告１００に埋込まれたリンクを用いて、選択したユーザに提供され得る。広告ランディング文書１１５は、対応する広告１００で宣伝された製品および／またはサービスの詳細を提供し得る。
【００１４】
ユーザによる各広告選択１１０の前に、その間に、および／またはその後、「セッション」中の各広告選択１１０に関連するセッション特徴１２５を、実時間で測定し得る、または、メモリに記録し得る。１つのセッションは、特定期間よりも長い中断なしで生じる一群のユーザ動作を含み得る（たとえば３時間を超える中断なしで生じる一群のユーザ動作）。
【００１５】
測定したセッション特徴１２５は、何らかの種類の、観察したユーザの行動または動作を含むことができる。たとえば、セッション特徴１２５は、広告選択１１０の継続時間（たとえば広告１００上の「クリック」の継続時間）、所与の広告選択前および／または後の他の広告の選択の数、所与の広告選択の前および／または後の検索結果の選択の数、所与の広告選択の前および／または後の他の種類の結果（たとえば画像、ニュース、製品など）の選択の数、所与の広告選択の前および／または後で文書を見た回数（たとえばページビューの数）（たとえば広告選択の前および／または後の検索結果のページビュー）、所与の広告選択の前および／または後の検索クエリの数、広告を示す、ユーザセッションに関連するクエリの数、所与の同一の広告が繰返し選択された回数、または、所与の広告選択が、セッションにおける最後の選択であるか、セッションにおける最後の広告選択であるか、所与の検索クエリについての最後の選択であるか、もしくは所与の検索クエリについての最後の広告選択であるかの表示を含み得る。上記以外の、広告選択に関連する他の種類の観察されたユーザの行動を、本発明の局面に従い用いてもよい。
【００１６】
対応する評価された広告１００の各広告選択１１０に関連する、測定したセッション特徴１２５および広告評価データ１２０を用い、統計モデル１３０が構築されてもよい（以下で詳述する）。この統計モデルは、既存の統計技術を用いて導出した確率モデルを含み得る。このような技術は、たとえば、ロジスティック回帰、回帰ツリー、ブーストスタンプ（boosted stump）、または他の既存の統計モデル化技術を含み得る。統計モデル１３０は、所与の広告１００が良いまたは悪い広告である尤度を、その広告１００のユーザによる選択に関連する測定されたセッション特徴に基づいて、求め得る（たとえばＰ（良い広告│広告選択）＝ｆ（セッション特徴））。
【００１７】
統計モデル１３０の構築に続いて、ユーザが選択した未評価の広告の品質が推定され得る。文書１４０に関連する未評価の広告１３５は、ネットワーク内のサーバによってホス
トされてもよく、アクセスしたユーザに提供され得る。未評価の広告１３５のユーザによる選択１４５に関連するセッション特徴１５５を測定してもよく、測定結果を統計モデル１３０への入力として与える。統計モデル１３０は、測定したセッション特徴に基づいて、未評価の広告１３５が良い広告である尤度を求め、未評価の広告１３５の推定品質１６０を生成し得る。未評価の広告１３５の推定品質１６０は、たとえば、複数の広告間のランク付け、どの広告を提示または奨励するかの決定（たとえば所与の文書上における広告位置を差別的に変える）などの、さまざまな目的に使用され得る。
【００１８】
代表的なネットワーク構成
図２は、本発明の原理に従うシステムおよび方法を実現し得るネットワーク２００の代表的な図である。ネットワーク２００は、ネットワーク２４０を介して１つ以上のサーバ２２０−２３０に接続された複数のクライアント２１０を含み得る。単純にするために、ネットワーク２４０に接続された２つのクライアント２１０および２つのサーバ２２０−２３０を示す。実際、クライアントおよびサーバはこれより多くても少なくてもよい。また、場合によっては、クライアントがサーバのいくつかの機能を果たし、サーバがクライアントのいくつかの機能を果たしてもよい。
【００１９】
クライアント２１０は、クライアントエンティティを含み得る。エンティティは、パーソナルコンピュータ、無線電話、個人情報端末（ＰＤＡ）、ラップトップまたは別の種類の計算または通信装置などの装置、これらの装置のうち１つの上で実行されるスレッドまたはプロセス、および／またはこれらの装置のうち１つによって実行可能なオブジェクトであると定義され得る。１人以上のユーザが各クライアント２１０に関連付けられ得る。サーバ２２０および２３０は、本発明の原理に従うやり方で、文書にアクセスし、文書を取出し、文書を集約し、文書を処理し、文書を検索し、および／または文書を保存するサーバエンティティを含み得る。クライアント２１０およびサーバ２２０、２３０は、有線、無線、および／または光接続によってネットワーク２４０に接続され得る。
【００２０】
本発明の原理に従うある実現化例において、サーバ２２０は、クライアント２１０のユーザが利用できる検索エンジンシステム２２５を含み得る。サーバ２２０は、文書資料（たとえばウェブ文書）を巡回し、文書に索引付けを行ない、文書に関連する情報を文書の保存場所に格納させることにより、データ集約サービスを実現し得る。このデータ集約サービスは、データサーバ２３０のオペレータとの合意によりこれがホストする文書をデータ集約サービスを介して分配するなどの、他の方法で実現してもよい。実現化例によっては、サーバ２２０が、クライアント２１０のユーザに提供できる広告（たとえば創作物、広告ランディング文書）をホストし得る。検索エンジンシステム２２５は、文書の保存場所に格納させた文書資料に対し、クライアント２１０のユーザから受けたクエリを実行することができ、実行したクエリに関する１組の検索結果をユーザに提供し得る。この１組の検索結果に加えて、サーバ２２０は、クライアント２１０のユーザに、実行した検索の結果に関連する１つ以上の広告創作物を提供し得る。
【００２１】
サーバ２３０は、サーバ２２０によって巡回され得る文書を格納または保存し得る。このような文書は、公表されたニュース記事、製品、画像、ユーザグループ、地理的領域に関連するデータ、または他の種類のデータを含み得る。例として、サーバ２３０は、たとえばワシントンポスト、ニューヨークタイムズ、タイムマガジンまたはニューズウィークといった何らかの種類のニュースソースからのニュース記事を格納または保存し得る。別の例として、サーバ２３０は、１つ以上の製品製造業者から提供された製品データといった特定の製品に関連するデータを格納または保存し得る。さらに別の例として、サーバ２３０は、ウェブサイトのページといった他の種類のウェブ文書に関連するデータを格納または保存し得る。サーバ２３０はさらに、広告創作物および広告ランディング文書といった広告をホストし得る。
【００２２】
ネットワーク２４０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、公衆交換電話網（ＰＴＳＮ）もしくは公衆陸上移動通信網（ＰＬＭＮ）といった電話網、イントラネット、インターネット、記憶装置、またはネットワークの組合せを含む、何らかの種類の１つ以上のネットワークを含み得る。ＰＬＭＮはさらに、たとえば汎用パケット無線サービス（ＧＰＲＳ）、セルラーデジタルパケットデータ（ＣＤＰＤ）、またはモバイルＩＰサブネットワークといったパケット交換サブネットワークを含み得る。
【００２３】
サーバ２２０−２３０は別々のエンティティとして示されているが、サーバ２２０−２３０のうち一方のサーバが、サーバ２２０−２３０のうち他方のサーバの機能の１つ以上を実行してもよい。たとえば、サーバ２２０および２３０を単一のサーバとして実現することが可能である。サーバ２２０および２３０のうち一方を２つ以上の別々の（おそらく分散型の）装置として実現することも可能である。
【００２４】
代表的なクライアント／サーバアーキテクチャ
図３は、本発明の原理に従うある実現化例による、１つ以上のクライアント２１０および／またはサーバ２２０−２３０に対応し得る、クライアントまたはサーバエンティティ（以降「クライアント／サーバエンティティ」と呼ぶ）の代表的な図である。クライアント／サーバエンティティは、バス３１０、プロセッサ３２０、メインメモリ３３０、読出専用メモリ（ＲＯＭ）３４０、記憶装置３５０、入力装置３６０、出力装置３７０、および通信インターフェイス３８０を含み得る。バス３１０は、クライアント／サーバエンティティの要素間の通信を許可する経路を含み得る。
【００２５】
プロセッサ３２０は、命令を解釈し実行することができるプロセッサ、マイクロプロセッサまたは処理論理を含み得る。メインメモリ３３０は、情報およびプロセッサ３２０が実行する命令を格納するランダムアクセスメモリ（ＲＡＭ）または別の種類の動的記憶装置を含み得る。ＲＯＭ３４０は、プロセッサ３２０が使用する静的情報および命令を格納することができる従来のＲＯＭ装置または別の種類の静的記憶装置を含み得る。記憶装置３５０は、磁気および／または光記録媒体およびこれに対応するドライブを含み得る。
【００２６】
入力装置３６０は、オペレータが情報をクライアント／サーバエンティティに入力できるようにする、キーボード、マウス、ペン、音声認識および／または生体認証メカニズムなどの従来のメカニズムを含み得る。出力装置３７０は、ディスプレイ、プリンタ、スピーカなどを含む、情報をオペレータに出力する従来のメカニズムを含み得る。通信インターフェイス３８０は、クライアント／サーバエンティティが他の装置および／またはシステムと通信できるようにするトランシーバのようなメカニズムを含み得る。たとえば、通信インターフェイス３８０は、ネットワーク２４０といったネットワークを介して別の装置またはシステムと通信するためのメカニズムを含み得る。
【００２７】
本発明の原理に従うクライアント／サーバエンティティは、以下で詳細に説明するように、ある動作またはプロセスを実行することができる。クライアント／サーバエンティティは、これらの動作を、プロセッサ３２０による、メモリ３３０といったコンピュータ可読媒体に含まれるソフトウェア命令の実行に応答して実行することができる。コンピュータ可読媒体は、物理もしくは論理記憶装置および／または搬送波として定義され得る。
【００２８】
ソフトウェア命令は、データ記憶装置３５０といった別のコンピュータ可能媒体から、または通信インターフェイス３８０を介して別の装置から、メモリ３３０に読込まれ得る。メモリ３３０に含まれるソフトウェア命令によって、プロセッサ３２０は、以下で説明する動作またはプロセスを実行することができる。これに代えて、ハードワイヤード回路
を、ソフトウェア命令の代わりにまたはこれと組合せて用いて、本発明の原理に従うプロセスを実現してもよい。このように、本発明の原理に従う実現化例は、ハードウェア回路およびソフトウェアの特定の組合せに限定されない。
【００２９】
広告選択に関連するユーザ行動の統計モデルを構築するための代表的なプロセス
図４は、複数のオンライン広告の選択に関連するユーザ行動の統計モデルを構築するための代表的なプロセスのフローチャートである。当業者であれば理解するように、図４で代表的に示すプロセスを、ソフトウェアで実現することができ、かつサーバ２２０、サーバ２３０またはクライアント２１０の、メインメモリ３３０、ＲＯＭ３４０または記憶装置３５０といったコンピュータ可読メモリに適宜保存することができる。
【００３０】
この代表的なプロセスは、評価された広告に関連する評価データを取得することで始まり得る（ブロック４００）。この評価データは、評価された広告各々の品質を評価する、人間が生成した（たとえば発行されたクエリに関連する）データを含み得る。次に、評価された広告の各選択に関連するセッション特徴を取得し得る（ブロック４１０）。このセッション特徴は、ユーザに対する各広告インプレッション提示の前、その間およびその後に生じる、所与のユーザセッション中の実際のユーザ行動を観察することにより実時間で得られ、または、ユーザに対する各広告インプレッション提示の前、その間およびその後に、データ構造に格納されたセッション特徴（すなわちユーザ行動および動作）の記録されたログから得られる。取得したセッション特徴１２５は、何らかの種類の、観察されたユーザ行動を含むことができる。セッション特徴１２５は各々、所与の広告に対するユーザの満足度の間接的な基準に相当し得る。セッション特徴１２５のうちいくつかは、それ以外のセッション特徴１２５に対し、異なるユーザがどのように異なる価値を認めるか判断する際の要素である（たとえばダイヤルアップ接続を利用するユーザは、高速インターネット接続を利用するユーザよりも広告選択時間が長くなり得る）。
【００３１】
セッション特徴１２５は、広告選択の継続時間（たとえば広告上を「クリックする」継続時間）、所与の広告選択の前および／または後の他の広告の選択の数、所与の広告選択の前および／または後の検索結果の選択の数、所与の広告選択の前および／または後の他の結果の選択の数、所与の広告選択の前および／または後で文書を見た（たとえばページビューの）回数、所与の広告の選択の前および／または後の検索クエリの数、広告を示す、ユーザセッションに関連する検索クエリの数、所与の同一広告に対する繰返し選択の数、または、所与の広告選択が、セッション中の最後の選択か、セッション中の最後の広告選択か、所与の検索クエリに対する最後の選択か、もしくは所与の検索クエリに対する最後の広告選択かの表示を含み得るが、これに限定されるものではない。以下図５−図１２は、セッション特徴として測定される、本発明の局面に従う代表的なさまざまな種類のユーザ行動を示す。
【００３２】
図５は、セッション特徴５００として広告選択の継続時間を測定することを示す。図５に示されるように、文書５１０に関連する広告５０５がユーザに与えられ得る。広告５０５を受け、ユーザは広告５０５を選択してもよく５１５、広告ランディング文書５２０がユーザに与えられ得る。この広告選択の継続時間５２５（たとえば広告の選択から次のユーザ動作までの時間の長さ）が、セッション特徴５００として測定され得る。
【００３３】
図６は、セッション特徴６００として、特定の広告選択の前および／または後の、他の広告選択の数を測定することを示す。広告Ｎ６１０の特定の選択６０５および広告選択６０５に応じた広告ランディング文書６１５の提供があると、以前の広告ランディング文書６３０の提供に対応する広告Ｎ−ｘ６２５の１回以上の過去の広告選択６２０の数が測定され得る。加えてまたはこれに代えて、広告Ｎ６１０の特定の選択６０５があると、後続の広告ランディング文書６４５の提供に対応する広告Ｎ＋ｘ６４０の１回以上の後続の広
告選択６３５の数が測定され得る。特定の広告選択の前および／または後の、他の広告選択の回数が、セッション特徴６００として測定され得る。
【００３４】
図７は、セッション特徴７００として、特定の広告選択の前および／または後の検索結果選択の数を測定することを示す。広告Ｎ７１０の特定の選択７０５および広告選択７０５に応じた広告ランディング文書７１５の提供があると、広告選択７０５の前にユーザが見た検索結果文書７２０の数が、セッション特徴７００として測定され得る。この検索結果文書は、ユーザが発行した検索クエリを用いた検索の実行に基づいてユーザに与えられ得る。加えてまたはこれに代えて、広告選択７０５の後にユーザが見た検索結果文書７２５の数を、セッション特徴７００として測定してもよい。
【００３５】
図８は、セッション特徴８００として、特定の広告選択の前および／または後でユーザが見た文書の数を測定することを示す。広告８１０の特定の選択８０５および広告選択８０５に応じた広告ランディング文書８１５の提供があると、広告選択８０５の前にユーザが見た文書８２０（たとえばページビュー）の数が、セッション特徴８００として測定され得る。加えてまたはこれに代えて、広告選択８０５の後でユーザが見た文書８２５（たとえばページビュー）の数を、セッション特徴８００として測定してもよい。
【００３６】
図９は、セッション特徴９００として、特定の広告選択の前および／または後でユーザが発行した検索クエリの数を測定することを示す。広告９１０の特定の選択９０５および広告選択９０５に応じた広告ランディング文書９１５の提供があると、ユーザが広告選択９０５の前に発行した検索クエリ９２０の数がセッション特徴９００として測定され得る。加えてまたはこれに代えて、広告選択９０５の後でユーザが発行した検索クエリ９２５の数を、セッション特徴９００として測定してもよい。
【００３７】
図１０は、セッション特徴１０００として、結果として広告の表示に繋がる、特定の広告選択を含むセッションにおける検索クエリの数を測定することを示す。特定の広告選択を含むセッションがあると、対応する広告１０１０−１〜１０１０−Ｎの表示に繋がる検索クエリ１００５の数が測定され得る。この検索クエリの数がセッション特徴１０００として測定され得る。結果として広告の表示に繋がる検索クエリ１００５の数は、所与のユーザセッションの実用的特徴を示し得る。
【００３８】
図１１は、セッション特徴１１００として、ユーザによる同一広告の繰返し選択の数を測定することを示す。図１１に示されるように、複数の文書１１１０−１〜１１１０−Ｎに関連する広告１１０５が、１回以上ユーザに与えられ得る。広告１１０５を受信するたびに、ユーザは広告１１０５を選択してもよく１１１５、広告ランディング文書１１２０が、繰返されるユーザ選択のたびに与えられ得る。ユーザによる同一広告の繰返し選択の数がセッション特徴１１００として測定され得る。
【００３９】
図１２は、セッション特徴１２００として、ある広告選択が所与の検索クエリに対する最後の広告選択なのか、または、その広告選択がユーザセッションに対する最後の広告選択なのか判断することを示す。図１２に示されるように、ユーザは所与のセッション１２１０中に検索クエリ１２０５を発行することができ、１つ以上の広告１２１５が、検索クエリ１２０５の発行に続いてユーザに与えられ得る。広告１２１５を受けるたびにユーザは広告１２１５を選択することができ１２２０、広告ランディング文書１２２５がユーザに与えられ得る。この広告選択１２２０が検索クエリ１２０５に対する最後の広告選択であるか否かが判断され得る。したがって、検索クエリ１２０５を発行したユーザが複数の広告を選択した場合、検索クエリ１２０５に対する最後の広告選択のみが識別され得る。広告選択１２２０がセッション１２１０に対する最後の広告選択か否かも判断され得る。したがって、所与のセッション中にユーザが複数の広告選択を行なった場合、このセッシ
ョンの最後の広告選択のみが識別され得る。
【００４０】
図５−図１２に示されていない他の種類のユーザ行動を、本発明の原理に従うセッション特徴として用いてもよい。以下に、他の代表的なセッション特徴の多数の例を列挙する。
【００４１】
１）  広告選択継続時間の代わりに、所与のユーザについての平均広告選択継続時間に対する所与の広告選択継続時間の比率を、セッション特徴として用いてもよい。所与のユーザは、他のユーザよりも読む速度が速いかもしれず、そのため所与の広告に留まる時間が他のユーザとは異なるかもしれない。
【００４２】
２）  平均広告選択継続時間に対する所与の広告選択継続時間の比率により、特定のユーザが通常よりも長い時間留まるのはどの広告か識別することができる。
【００４３】
３）  ユーザによるすべての選択（たとえば検索結果選択または広告選択）に対する所与の広告選択継続時間の比率。
【００４４】
４）  ユーザが所与の広告を所与のセッションにおいて選択した回数。ユーザは、所与の広告を訪れてこれに興味を持ち、他の広告および／または検索結果を訪れた後、前記所与の広告が最も興味深いのでこの所与の広告に戻るかもしれない。
【００４５】
５）  広告結果選択からユーザが別の検索クエリを発行するまでの時間の長さ。この時間が短いほど、選択して到達した広告結果に対するユーザの満足度が低い可能性が高い（すなわちユーザは直ちにクエリを絞り込む必要があると感じている）。
【００４６】
６）  所与の広告結果選択からユーザが別の検索クエリを発行するまでの時間の、広告結果選択からユーザが別の検索クエリを発行するまでの他のすべての時間に対する比率。
【００４７】
７）  広告結果選択が行なわれて、所与の広告結果ではなく、検索クエリに対する他の結果を見ることに費やされた時間。このセッション特徴は、このクエリに対する結果が全体としてどれほど良かったかを示す。
【００４８】
８）  所与の広告選択継続時間の、他のすべての広告選択継続時間に対する比率。ユーザが所与の広告に費やす時間が他の広告に費やす平均時間よりも長ければ、ユーザはその広告により満足している可能性が高い。
【００４９】
９）  所与の検索結果または広告選択の前に所与のセッションにおいて生じた検索の数（すなわち固有発行検索クエリ）。
【００５０】
１０）  所与の検索結果または広告選択の後で所与のセッションにおいて生じた検索の数。所与のクエリ後の検索が多いほど、ユーザが所与の選択の結果に満足している可能性が低い。
【００５１】
１１）  検索ではなく、所与の検索クエリに対し、所与の選択の前に生じた結果ページビューの数。これは、そのクエリ内で（すなわち固有クエリについてのみ）またはセッション全体について計算できる。
【００５２】
１２）  検索ではなく、所与の検索クエリに対し、この選択の後で生じた検索結果ページビューの数。これは、そのクエリ内で（すなわち固有クエリについてのみ）またはセッション全体について計算できる。選択後のページビューが多いほど、満足度に欠けること
を示し得る。
【００５３】
１３）  セッション内で生じたページビューの総数。
１４）  セッションにおいて広告を示すページビューの数。このことからセッションの営利性がある程度わかる。セッションの営利性が高いほど、ユーザが広告結果に満足している可能性が高い。
【００５４】
１５）  セッションにおいて広告を示すページビューの数の、セッション内で生じたページビューの総数に対する比率。この比率が高ければ、ユーザが出したクエリの営利性が高い。
【００５５】
１６）  セッション内で示される広告インプレッションの総数。これは、セッションの営利性のもう１つの基準である。
【００５６】
１７）  広告を示すクエリごとに示される広告の平均数であり、これは、セッションの営利性のもう１つの基準である。
【００５７】
１８）  クエリスキャン時間、すなわち、ユーザがクエリの結果を見てからユーザが別のことを行なう（広告、検索結果、次のページ、新たなクエリなどの上をクリック）までの時間の長さ。この時間の長さは、ページが全体としてどの程度良いか示すことが可能。長いほど、ページは良くない（ユーザはクリックするに値するものを見つけるまでにページをより多く読まねばならない）。
【００５８】
１９）  所与のクエリスキャン時間と他のすべてのクエリスキャン時間との間の比率。
２０）  所与の検索に対して生じた選択（たとえばクリック）の総数。これら選択は、広告選択だけではなくすべての種類の選択（たとえば検索、ワンボックス、広告）を含む。
【００５９】
２１）  所与の広告選択の前に、検索に対して生じた選択の総数。
２２）  所与の広告選択の後で、検索に対して生じた選択の総数。
【００６０】
２３）  検索に対して生じた広告選択の総数。これはページ上の広告数と互いに関連させる必要がある。
【００６１】
２４）  所与の広告選択の前に、検索に対して生じた広告選択の総数。
２５）  所与の広告選択の後で、検索に対して生じた広告選択の総数。
【００６２】
２６）  文書上での広告位置が、文書上での所与の広告の位置よりも上にある、検索に対して生じた広告選択の総数。
【００６３】
２７）  文書上での広告位置が、文書上での所与の広告の位置よりも下にある、検索に対して生じた広告選択の総数。
【００６４】
２８）  所与の広告上にない、検索に対して生じた広告選択の総数。
２９）  検索に対して生じた検索結果選択の総数。
【００６５】
３０）  所与の広告選択の前に、検索に対して生じた検索選択の総数。
３１）  所与の広告選択の後で、検索に対して生じた検索結果選択の総数。
【００６６】
３２）  セッションにおいて生じた長期間の検索結果選択の総数。
３３）  セッションにおいて生じた短期間の検索結果選択の総数。
【００６７】
３４）  セッションにおいて最後に生じた検索結果選択の総数。所与のユーザは、後続の動作なしで、検索結果をクリックすることによってセッションを終了することができ、または、ユーザは別のやり方でセッションを終了してもよい（たとえば広告結果クリック、クエリを発行しクリックしないなど）。
【００６８】
３５）  検索に対して生じた非検索結果および非広告選択の総数。
３６）  この広告選択から変換があったか否かの表示。
【００６９】
３７）  ユーザの接続速度の表示（たとえばダイヤルアップ、ケーブル、ＤＳＬ）。
３８）  ユーザが存在するのはどの国かの表示。文化が異なれば、ユーザは同じ広告に対して異なる反応をする、または異なる文化的反応をする、またはサイトでの留まり方が異なる。
【００７０】
３９）  ユーザが存在するのは世界のどの地域かの表示（たとえばＡＰＡＣ＝アジア太平洋地域）。
【００７１】
４０）  所与の広告に対するキーワードが検索クエリに正確に一致するか（すなわちすべての用語がクエリの用語と同一か）、または１語もしくは２語以上欠けているか、または用語を書換えたか。広告の品質が変化することは多く（より正確に一致するほど品質は高い）、キーワード一致は、広告をセグメント化するとともに、種類の異なる一致について別々に、広告が良いか悪いか予測するための妥当な方法である。
【００７２】
４１）  所与の広告に対する、推定されるクリック率（ＣＴＲ）の表示。
【００７３】
４２）  所与の広告選択に対して広告主が支払った１クリック単価（ＣＰＣ）はいくらか？広告が良い広告である尤度は、広告主が支払った料金に依存し得る（多いほど高品質）。
【００７４】
４３）  広告主はどのようなＣＰＣを進んで支払おうとしたか？広告オークションでは、広告主の入札を用いて広告のランクを設定し、所与の広告／広告主よりも低いランクが与えられた広告／広告主は、次に高ランクの広告／広告主が実際に支払う価格を設定する。
【００７５】
４４）  有効ＣＰＣ＊予測ＣＴＲ、または
４５）  入札ＣＰＣ＊予測ＣＴＲ。
【００７６】
上では、統計モデルに使用し得るセッション特徴の数多くの例を説明している。しかしながら、当業者は、他のセッション特徴を、上記のセッション特徴に代えてまたは上記のセッション特徴と関連付けて使用できることを理解するであろう。
【００７７】
再び図４を参照して、次に、広告選択に関連する測定されたセッション特徴を考慮して、選択された各広告が良品質の広告である確率を求める統計モデルを導出し得る（ブロック４２０）。たとえばロジスティック回帰といった既存の統計技術を用いて、本発明の原理に従う統計モデルを導出する。回帰は、結果因子（従属変数ｙ）を１つ以上の予測因子（独立変数ｘ1、ｘ2など）に関連付ける関数を発見することを含む。簡単な線形回帰は、以下の形式の関数を想定し、ｃ0、ｃ1、ｃ2など（ｃ0は「インタセプト」または「定数項」と呼ばれる）の値を発見する。
【００７８】
【数１】
2009522667.tif 000003
【００７９】
本発明の文脈においては、各予測変数ｘ1、ｘ2、ｘ3などは、広告選択中に測定される、異なるセッション特徴に相当する。ロジスティック回帰は、通常回帰の変形であり、観察された結果が２つの値に限定されるときには有用であり、これは通常、本発明の文脈における良い広告か悪い広告かといったような、ある結果イベントが生じるか生じないかを表わす（通常それぞれ１または０として符号化される）。
【００８０】
ロジスティック回帰により、独立予測変数の関数として発生の確率を予測する式が生成される。ロジスティック回帰は、特別なＳ字型の曲線を、線形回帰（上記の式（１））を取ることによって適合させ、これは、マイナスの無限大とプラスの無限大との間のｙ値を生成し、それを次の関数で変形する。
【００８１】
【数２】
2009522667.tif 000004
【００８２】
これにより、０（ｙがマイナスの無限大に近づく）と１（ｙがプラスの無限大に近づく）との間のＰの値を生成する。式（１）を式（２）代入すると、良い広告である確率は次のようになる。
【００８３】
【数３】
2009522667.tif 000005
【００８４】
式中、ｃg0は、この式の定数であり、ｃgnは、セッション特徴予測変数ｘnの係数である。悪い広告である確率は、同様に次のようにして求められ得る。
【００８５】
【数４】
2009522667.tif 000006
【００８６】
式中、ｃb0は、この式の定数であり、ｃbnは、セッション特徴予測変数ｘnの係数である。
【００８７】
統計モデルの適合度をテストし、どのセッション特徴が、良いまたは悪い品質の広告と相関関係があるのか判断する。ロジスティック回帰技術を用いて統計モデルを求める場合、ロジスティック回帰の目的は、最も費用がかからないモデルを用いて個々の場合の結果を正確に予測することである。この目的を達成するために、従属ｙ変数の結果を予測するのに役立つすべての予測変数（たとえばセッション特徴）を含むモデルを作成する。この
統計モデルを構築するために、ロジスティック回帰は、段階的回帰と呼ばれる、各係数（ｃn）の追加または削除後のモデルの適合度をテストすることができる。たとえば、後方段階回帰を用いることができ、この場合、モデル構築は、完全または飽和モデルおよび予測変数で始まり、それらの係数は、反復プロセスにおいてモデルから除去される。各変数を除去した後、モデルの適合度をテストし、このモデルが依然としてデータに十分に適合していることを保証する。モデルから削除する予測変数がなくなると、このモデル構築は完了する。各々が測定されたセッション特徴に対応する、モデル内に残された予測変数は、良いまたは悪い広告と相関関係があるセッション特徴を識別する。したがって、ロジスティック回帰は、異なる予測変数間の関係および強度に関する知識を与えることができる。係数およびそれに対応する予測変数を、モデルに含めることまたはモデルから削除することの重要性についてテストするプロセスは、異なるいくつかの既知の技術を含み得る。このような技術は、ワルド（Wald）検定、尤度比検定、またはHosmer-Lemshow適合度検定を含む。これらの係数テスト技術は当該技術では既知であり、ここではこれ以上説明しない。他の実現化例では、既存のクロス確認および独立トレーニング技術を、上記の回帰係数の伝統的な推定およびテストの技術の代わりに用いてもよい。
【００８８】
ロジスティック回帰に代えてまたはこれに加えて、他の既存の統計技術を用いて本発明の原理に従う統計モデルを導出してもよい。たとえば、「ブースト(boosting）」技術を用いる「スタンプ（stumps）」モデルを用いて統計モデルを得てもよい。当業者が理解するように、「ブースト」は、さもなければ弱い統計モデルを順次改善することにより統計モデルを構築するための機械学習技術である。基本的な考え方は、同じアルゴリズムをトレーニングデータセット全体に繰返し適用するが、各段階でトレーニングデータに異なる重み付けをすることである。重みとは、段階ｋを通してモデルの適合度が良い場合は段階ｋ＋１で比較的小さな重みを受け、段階ｋを通してモデルの適合度が悪い場合は段階ｋ＋１で比較的大きな重みを受けるというようなものである。
【００８９】
スタンプは、各段階で適用可能な弱い統計モデルである。スタンプは、リーフが２つの分類ツリーであり、このツリーは、ルートノードと、事例を、互いに排他的な２つのサブセット（すなわちリーフノード）に分割するバイナリ規則からなる。規則は「ClickDuration（クリック継続時間）＜１２０秒」の形を取ることができ、この規則を満たすClickDurationを有するすべての事例は一方のリーフノードに入り、この規則を満たさないものは他方のリーフノードに入る。別の規則は「AdSelection was the last ad selection （広告選択は最後の広告選択）」の形を取ることができ、この規則を満たすAdSelectionを有するすべての事例は一方のリーフノードに入り、この規則を満たさないものは他方のリーフノードに入る。
【００９０】
さまざまなアルゴリズムを用い、たとえば傾斜に基づく方法を含む、「ブーストスタンプ」モデルを適合させることができる。このようなアルゴリズムは次のように進行する。１組の重みが与えられ、事例を２つのリーフに分割するセッション特徴から導き出された可能なすべてのバイナリ決定規則の中から、アルゴリズムに関連する（重み付けされた）損失関数を最小にするものを選択する。損失関数の例としては、最尤法に相当する「ベルヌーイ損失」および周知のADABoost法に相当する「指数損失」がある。この段階で最良のバイナリ決定規則を選択した後、重みは再計算されることができ、このプロセスを繰返すことにより、新たな（重み付けされた）損失関数を最小にする最良のバイナリ規則を選択する。このプロセスは何度も繰返されてもよく（たとえば数百回から数千回）、リサンプリング技術（たとえばクロス確認）を用いて、過剰適合を防止するために停止規則を規定する。
【００９１】
示されたブーストスタンプは、追加のロジスティック回帰モデルを近似し、それにより、各特徴は、適合させたモデルに対し、追加の非線形的寄与を（ロジスティックスケール
で）する。スタンプのシーケンスは、セッション特徴と、広告が「良い」と評価される確率との関係を規定する。このシーケンスは以下の統計モデルによって表わすことができる。
【００９２】
【数５】
2009522667.tif 000007
【００９３】
式中、セッション特徴ｘがｋ番目のバイナリ規則を満たす場合Ｂｋ（ｘ）＝１であり、または、セッション特徴ｘがｋ番目のバイナリ規則を満たさない場合Ｂｋ（ｘ）＝０である。係数ｃk、ｋ＝１、…は、アルゴリズムの副生成物であり、ｋ番目のバイナリ規則での良い広告の見込みに関する。実際、所与のセッション特徴ｘを考慮して、各バイナリ規則を評価し、対応する係数を累積し、良い広告の、予測された確率を得る。
【００９４】
統計モデルを構築するための代表的な技術として、ロジスティック回帰およびブーストスタンプについて述べてきたが、当業者であれば、たとえば回帰ツリーといった他の既存の統計技術を用いて、本発明の原理に従う統計モデルを導き出すことができることを理解するであろう。
【００９５】
代表的な広告品質推定プロセス
図１３は、本発明の原理に従うある実現化例による、ユーザが選択した広告の品質を推定するための代表的なプロセスのフローチャートである。当業者が理解するように、図１３が代表的に示すプロセスは、ソフトウェアで実現することができ、サーバ２２０またはサーバ２３０またはクライアント２１０の、メインメモリ３３０、ＲＯＭ３４０または記憶装置３５０といったコンピュータ可読メモリに、適宜格納させることができる。
【００９６】
この代表的なプロセスは、未評価の広告の選択に関連するセッション特徴を取得することで始まり得る（ブロック１３００）。このセッション特徴は、ユーザによる広告選択中に実時間で測定されてもよく、または、広告選択に関連するユーザ行動のログから取得されてもよい。未評価の広告には、上記図４で用いた広告評価などの、該未評価の広告に関連して人間が生成した品質評価がない。図１４に示されるように、ユーザは、文書１４１０（たとえば検索結果文書）に関連する未評価の広告１４０５を選択し得る１４００。未評価の広告１４０５の選択に応じ、広告ランディング文書１４１５がユーザに与えられ得る。取得されたセッション特徴は、ブロック４１０（図４）に関連して先に述べたような、広告選択に関連する何らかの種類のユーザ行動を含み得る。図１４に示されるように、未評価の広告１４０５の選択１４００に関連するセッション特徴１４２０が測定され得る。上記ブロック４２０で導出した統計モデルおよび測定したセッション特徴を用いて、未評価の広告に関連するスコアを求める（ブロック１３１０）。上記ブロック４１０および４２０で導出した統計モデルは、良い広告の確率を、その広告のユーザによる選択に関連する所与の測定したセッション特徴に基づいて示す、確率関数（例として式（３）または（５））を与え得る。したがって、測定したセッション特徴値を、式（３）または（５）に入力して、選択された広告が良い広告である確率を取得し得る。たとえば、セッション特徴の値ｘ１、ｘ２、ｘ３およびｘ４を式（３）または（５）に入力して、確率値Ｐ（良い広告│セッション特徴ｘ１、ｘ２、ｘ３、ｘ４）＝０．４を取得し得る。次に、確率値Ｐを品質スコアと同等に扱い得る。たとえば、確率値を、確率値の線形関数を用いて、品質スコアと同等に扱う。一例として、品質スコアを確率値Ｐと等しくする、または、確率値Ｐの倍数（たとえば確率値Ｐの１０倍）にする。しかしながら、当業者は、他の関数関
係を用いて確率値を選択された広告に関連する品質スコアに変換し得ることを理解するであろう。図１４に示されるように、測定したセッション特徴１４２０が、統計モデル１４２５に入力されてもよく、統計モデル１４２５は未評価の広告１４０５の品質スコア１４３０を出力してもよい。
【００９７】
次に、選択された広告の品質を、求めたスコアに基づいて推定し得る（ブロック１３２０）。たとえば、品質スコアの範囲を用いて、選択された広告の品質を推定する。たとえば、値０とＸとの間の品質スコアは低品質スコアを示し得、ＸとＸ＋Ｙとの間の品質スコア値は高品質スコアを示し得る。本発明の原理に従い、他の方法を用いて、求めた品質スコアに基づき、選択された広告の品質を推定してもよい。
【００９８】
ブロック１３１０で求めた品質スコアを、データ構造内に、多数のユーザによる複数の広告選択について、集約してもよい。これは、本願と同日に出願され、その全体をここに引用により援用する、「広告品質の予測（Predicting Ad Quality）」と題された同時係属中の米国出願第１１／３２１，０４６号（代理人文書番号００２６−０１５６）に記載されている。続いて、集約した品質スコアの結果得られた品質予測を用いて、たとえば広告を選別、ランク付けおよび／または奨励する。これは、本願と同日に出願され、その全体をここに引用により援用する、「推定した広告品質を用いた広告の選別、ランク付けおよび奨励（Using Estimated Ad Qualities for Ad Filtering, Ranking and Promotion）」と題された同時係属中の米国出願第１１／３２１，０４６号（代理人文書番号００２６−０１５８）に記載されている。
【００９９】
結論
上記本発明の好ましい実施例についての説明は例示であり、包括的に説明すること、または本発明を開示されたそのままの形態に限定することを意図していない。変形および変更は、上記教示に照らして可能であり、または、本発明を実施することにより得られる。たとえば、一連の動作について図４および１３と関連付けて説明しているが、この動作の順序は、本発明の原理に従う他の実現化例において変更してもよい。さらに、依存しない動作は並行して行なわれてもよい。
【０１００】
上記セッション特徴に加え、実現化例によっては、任意で変換追跡を用いて、予測値とユーザ満足度との間の直接較正を導き出してもよい。変換が生じるのは、広告の選択が直接的に、広告主が価値があると考えるユーザの行動（たとえばユーザ購入）に至ったときである。広告主、または広告主の広告をホストするサービスは、各広告選択について変換が生じたか否か追跡する。たとえば、ユーザがある広告主の広告を選択し次にその広告の選択に応じてユーザに提供された広告ランディング文書に示された製品をオンラインで購入した場合、その広告主またはその広告をホストするサービスは、その広告選択についての変換に注目する。変換追跡データは、識別された広告選択に関連付けられる。たとえばロジスティック回帰、回帰ツリー、ブーストスタンプなどの統計技術を用いて、予測値と、変換により測定されるユーザの満足度との間の直接較正を導き出してもよい。
【０１０１】
当業者にとって、上記本発明の局面が、図面に示された実現化例において、ソフトウェア、ファームウェアおよびハードウェアの、数多くの異なる形態で実現できることは、明らかであろう。本発明の原理に従う局面を実現するのに使用される実際のソフトウェアコードまたは特定の制御ハードウェアは本発明を限定しない。したがって、これら局面の動作および行動は、特定のソフトウェアコードを参照せずに説明されており、当業者はソフトウェアおよび制御ハードウェアを設計して本明細書での説明に基づく局面を実現できることが理解される。
【０１０２】
本願において使用されるどの要素、動作または命令も、明言されない限り本発明に必須
のものでも本質的なものでもないと理解されねばならない。また、本明細書で使用する冠詞「ａ」は、１つ以上のアイテムを含むことが意図されている。アイテムが１つのみであることが意図されている場合、「１つの」またはこれに類似する表現が用いられる。また、「基づく」という表現は、明言しない限り「少なくとも一部基づく」を意味することが意図されている。
【図面の簡単な説明】
【０１０３】
【図１】ある実現化例の概要の代表的な図であり、この例では、観察されたユーザの行動および１組の広告に関連する既知の品質評価を用い、広告品質を推定するのに利用可能な統計モデルを構築する。
【図２】本発明の原理に従うシステムおよび方法が実現されるネットワークの代表的な図である。
【図３】本発明の原理に従う実現化例による図２のクライアントまたはサーバの代表的な図である。
【図４】本発明の原理に従う実現化例による、複数のオンライン広告の選択に関連するユーザの行動のモデルを構築するための代表的なプロセスのフローチャートである。
【図５】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図６】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図７】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図８】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図９】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図１０】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図１１】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図１２】広告品質を予測するために統計モデルを構築するのに使用可能な、観察されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。
【図１３】本発明の原理に従うある実現化例による、ユーザが選択した広告の品質を推定するための代表的なプロセスのフローチャートである。
【図１４】本発明のある局面に従う、図１３の代表的なプロセスを図解して示す図である。
【図１】
2009522667.tif 000008
【図２】
2009522667.tif 000009
【図３】
2009522667.tif 000010
【図４】
2009522667.tif 000011
【図５】
2009522667.tif 000012
【図６】
2009522667.tif 000013
【図７】
2009522667.tif 000014
【図８】
2009522667.tif 000015
【図９】
2009522667.tif 000016
【図１０】
2009522667.tif 000017
【図１１】
2009522667.tif 000018
【図１２】
2009522667.tif 000019
【図１３】
2009522667.tif 000020
【図１４】
2009522667.tif 000021
【手続補正書】
【提出日】平成20年8月29日(2008.8.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上のサーバがホストする第１組の広告に関連する評価を取得するステップを含み、前記評価は前記第１組の広告の品質を示し、
前記第１組の広告の中の広告のユーザによる選択に関連する複数の異なる第１のユーザ動作を観察するステップと、
前記観察された第１のユーザ動作および前記取得された評価を用いて確率モデルを導出するステップとを含み、前記確率モデルは確率関数を含み、
前記１つ以上のサーバがホストする第２の広告のユーザによる選択に関連する複数の異なる第２のユーザ動作を観察するステップと、
前記確率関数を用いて、前記第２の広告がある品質を有する確率を、前記複数の異なる第２のユーザ動作の関数として求めるステップとを含む、方法。
【請求項２】
前記複数の異なる第１のユーザ動作を観察するステップは、前記複数の異なる第１のユーザ動作を記録するステップを含む、請求項１に記載の方法。
【請求項３】
前記複数の異なる第１のユーザ動作は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ動作を含む、請求項１に記載の方法。
【請求項４】
前記確率モデルを導出するステップは、ロジスティック回帰、回帰ツリーまたはブーストスタンプのうち少なくとも１つを用いて前記確率モデルを生成するステップを含む、請求項１に記載の方法。
【請求項５】
前記確率モデルを導出するステップは、前記確率モデルの適合度をテストし、前記観察された第１のユーザ動作のうち、良いまたは悪い広告と相関関係があるのはどの動作か判断するステップを含む、請求項１に記載の方法。
【請求項６】
前記求められた確率に基づいて前記第２の広告の品質の基準を推定するステップをさらに含む、請求項１に記載の方法。
【請求項７】
前記第２の広告に関連するスコアを、前記求められた確率を用いて求めるステップと、
前記求められたスコアに基づいて前記第２の広告の品質を推定するステップとをさらに含む、請求項６に記載の方法。
【請求項８】
前記第２の広告に関連するスコアを求めるステップは、関数を、前記求められた確率に適用して前記スコアを求めるステップを含む、請求項７に記載の方法。
【請求項９】
前記複数の異なる第１のユーザ動作は、
広告選択の継続時間、
所与の広告選択の前および／または後の、他の広告の選択の数、
所与の広告選択の前および／または後の、検索結果の選択の数、
所与の広告選択の前および／または後の、他の種類の結果の選択の数、
所与の広告選択の前および／または後で、文書を見た回数、
所与の広告選択の前および／または後の、検索クエリの数、
広告を示す、ユーザセッションに関連する検索クエリの数、
同じ所与の広告を繰返し選択した回数、または
所与の広告選択が、所与のクエリに対する最後の広告選択なのか、ユーザセッションにおける最後の選択なのかの表示、
のうち少なくとも１つを含む、請求項１に記載の方法。
【請求項１０】
サーバがホストする第１の広告のユーザによる選択に関連する第１のユーザ行動を観察するステップを含み、前記観察された第１のユーザ行動は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ行動を含み、
前記第１のユーザ行動の関数として、前記第１の広告がある品質を有する確率を求めるステップと、
前記求められた確率に基づいて前記第１の広告の品質を推定するステップとを含む、方法。
【請求項１１】
前記観察された第１のユーザ行動は、
広告選択の継続時間、
所与の広告選択の前および／または後の、他の広告の選択の数、
所与の広告選択の前および／または後の、検索結果の選択の数、
所与の広告選択の前および／または後の、他の種類の結果の選択の数、
所与の広告選択の前および／または後で、文書を見た回数、
所与の広告選択の前および／または後の、検索クエリの数、
広告を示す、ユーザセッションに関連するクエリの数、
同じ所与の広告を繰返し選択した回数、または
所与の広告選択が、所与のクエリに対する最後の広告選択なのか、ユーザセッションにおける最後の選択なのかの表示、
のうち少なくとも１つを含む、請求項１０に記載の方法。
【請求項１２】
１組の広告に関連する評価を取得するステップをさらに含み、前記評価は、前記１組の広告の中の各広告の品質を示し、
前記１組の広告の中の広告のユーザによる選択に関連する第２のユーザ行動を観察するステップと、
前記評価および観察された第２のユーザ行動を用いて確率モデルを構築するステップとをさらに含み、前記確率モデルは確率関数を含み、
前記確率関数を用いて前記確率を求めるステップをさらに含む、請求項１０に記載の方法。
【請求項１３】
前記確率モデルを構築するステップは、ロジスティック回帰、回帰ツリーまたはブーストスタンプのうち少なくとも１つを用いて前記確率モデルを生成するステップを含む、請求項１２に記載の方法。
【請求項１４】
前記求められた確率に基づいて前記第１の広告に関連するスコアを求めるステップをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記求められたスコアに基づいて前記第１の広告の品質を推定するステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
コンピュータで実行可能な命令を格納するコンピュータ可読媒体であって、
サーバがホストする広告のユーザによる選択に関連するユーザ行動を識別するための命令を含み、観察される前記ユーザ行動は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ行動を含み、
前記ユーザ行動の関数として、前記広告がある品質を有する確率を求めるための命令と、
前記求められた確率に基づいて前記広告の品質を推定するための命令とを含む、コンピュータ可読媒体。
【請求項１７】
１つ以上のサーバがホストする第１の広告のユーザによる選択に関連する複数のユーザ動作を観察するステップと、
前記第１の広告に関連する既知の品質を、前記複数のユーザ動作に含まれる動作に関連付けるステップとを含み、前記第１の広告に関連する既知の品質を、前記複数のユーザ動作に含まれる動作に関連付けるステップは、ロジスティック回帰、回帰ツリーまたはブーストスタンプを用いて前記既知の品質を関連付けるステップを含み、
第２の広告のユーザによる選択に関連する、前記複数のユーザ動作に含まれる前記動作の存在を観察するステップと、
前記複数のユーザ動作に含まれる前記動作の存在に基づいて、前記第２の広告の品質を推定するステップとを含む、方法。
【請求項１８】
前記複数のユーザ動作は、クリック率（ＣＴＲ）以外の、またはクリック率に追加されるユーザ動作を含む、請求項１７に記載の方法。
【請求項１９】
前記複数のユーザ動作を観察するステップは、１つ以上のサーバがホストする前記第１の広告のユーザによる選択に関連する前記複数のユーザ動作を記録するステップを含む、請求項１７に記載の方法。
【請求項２０】
前記複数のユーザ動作は、
広告選択の継続時間、
所与の広告選択の前および／または後の、他の広告の選択の数、
所与の広告選択の前および／または後の、検索結果の選択の数、
所与の広告選択の前および／または後の、他の種類の結果の選択の数、
所与の広告選択の前および／または後で、文書を見た回数、
所与の広告選択の前および／または後の、検索クエリの数、
広告を示す、ユーザセッションに関連する検索クエリの数、
同じ所与の広告を繰返し選択した回数、または
所与の広告選択が、所与のクエリに対する最後の広告選択なのか、ユーザセッションにおける最後の選択なのかの表示、
のうち少なくとも１つを含む、請求項１７に記載の方法。
【請求項２１】
前記第１の広告に関連する既知の品質を関連付けるステップは、広告が良い広告である確率を、前記複数のユーザ動作を考慮して求める統計モデルを構築するステップを含み、
前記第２の広告の品質を推定するステップは、前記第２の広告の品質を、前記統計モデルおよび前記複数のユーザ動作に含まれる動作の存在を用いて推定するステップを含む、請求項１７に記載の方法。
【請求項２２】
前記第１の広告に関連する既知の品質を関連付けるステップは、前記統計モデルの適合度をテストして、前記複数のユーザ動作に含まれる前記動作が良い広告に関連付けられると判断するステップを含む、請求項２１に記載の方法。
【請求項２３】
システムであって、
１つ以上のサーバがホストする第１組の広告に関連する評価を取得するための手段を含み、前記評価は前記第１組の広告の品質を示し、
前記第１組の広告の中の広告のユーザによる選択に関連する複数の異なる第１のユーザ動作を識別するための手段と、
前記第１のユーザ動作および前記取得された評価に基づいて、ロジスティック回帰、回帰ツリーまたはブーストスタンプ技術のうち少なくとも１つを用いて、統計モデルを導出するための手段と、
前記１つ以上のサーバがホストする第２の広告のユーザによる選択に関連する複数の異なる第２のユーザ動作を識別するための手段と、
前記統計モデルに基づいて、前記第２の広告がある品質を有する確率を、前記複数の異なる第２のユーザ動作の関数として求めるための手段とを含む、システム。
【国際調査報告】
2009522667.tif 000022