(57)【要約】  コンテンツ目標絞込み広告システムは、ユーザのふるまい（例えば選択（例えばクリック）、変換など）のフィードバックメカニズムと共に提供される。個々の広告、あるいは広告のグループのパフォーマンスは、文書ごと（例えばＵＲＬごと）に、及び／又はホストごと（例えばウェブサイトごと）を基本として追跡される。広告追跡機能のパフォーマンスは、また、文書ごと、及び／又はホストごとを基本として追跡される。そのようなユーザのふるまいのフィードバックデータは、実用的なデータ構造に処理される。そのようなユーザのふるまいのフィードバックデータ（生或いは処理された）は、その後、コンテンツ目標絞り込みシステムに使用され、広告の品質が改善され、ユーザ経験が改善され、及び／又は収益を最大化する。
2006528388.tif 000002
【特許請求の範囲】
【請求項１】
ａ）一又はそれ以上の広告のセットのために、文書に関係する広告セットパフォーマンス情報を追跡し、
ｂ）前記文書のために、追跡された広告セットパフォーマンス情報を収集する、
ことを有する方法。
【請求項２】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項１の方法。
【請求項３】
前記文書はＵＲＬにより特定されるウェブページである、請求項１の方法。
【請求項４】
ｃ）前記広告セットパフォーマンス情報を区分けすること、を更に有する請求項１の方法。
【請求項５】
ｃ）前記広告セットパフォーマンス情報の秘密メジャーを決定し、
ｄ）前記決定された秘密メジャーを用いて、前記文書に関係する前記広告セットパフォーマンス情報と一般的な広告セットパフォーマンス情報とを結合する、
ことを更に有する請求項１の方法。
【請求項６】
前記秘密メジャーの決定の行為には、少なくともデータ容量及びデータ年代の一方を用いる請求項５の方法。
【請求項７】
ａ）一又はそれ以上の広告のセットのために、文書のセットに関係のある広告パフォーマンス情報を追跡し、この文書のセットは、文書収集のサブセットであり、
ｂ）前記文書のセットのために、追跡された広告セットパフォーマンス情報を収集する、
ことを有する方法。
【請求項８】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項７の方法。
【請求項９】
前記文書はＵＲＬにより特定されるウェブページである、請求項７の方法。
【請求項１０】
ｃ）前記広告セットパフォーマンス情報を区分けすること、を更に有する請求項７の方法。
【請求項１１】
ｃ）前記広告セットパフォーマンス情報の秘密メジャーを決定し、
ｄ）前記決定された秘密メジャーを用いて、前記文書に関係する前記広告セットパフォーマンス情報と一般的な広告セットパフォーマンス情報とを結合する、
ことを更に有する請求項７の方法。
【請求項１２】
前記秘密メジャーの決定の行為には、少なくとも一つのデータ容量とデータ年代を用いる請求項１１の方法。
【請求項１３】
ａ）一又はそれ以上の広告のために、文書のためのパフォーマンス情報を受け入れ、
ｂ）前記受け入れられた前記文書のための広告セットパフォーマンス情報を用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減する、
ことを有する方法。
【請求項１４】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項１３の方法。
【請求項１５】
前記文書はＵＲＬにより特定されるウェブページである、請求項１３の方法。
【請求項１６】
前記スコアの評点或いは加減の行為には、
ｉ）前記広告セットのための一般的なパフォーマンス情報を少なくとも用いて第１の広告スコアを決定し、
ｉｉ）前記文書のための前記受け入れられた広告セットパフォーマンス情報を用いて前記第１の広告スコアを加減する、
ことを含む、請求項１３の方法。
【請求項１７】
第１のスコアを決定する前記行為には、少なくとも文書情報を更に用いる、請求項１６の方法。
【請求項１８】
第１のスコアを決定する前記行為には、少なくとも絞り込み情報を更に用いる、請求項１６の方法。
【請求項１９】
第１のスコアを決定する前記行為には、少なくとも広告に関連する情報を更に用いる、請求項１６の方法。
【請求項２０】
前記スコアの評点或いは加減の行為には、
ｉ）前記広告のための一般的なパフォーマンス情報と前記文書のための受け入れられた広告セットパフォーマンス情報とを少なくとも用いて、混合されたパフォーマンス情報を決定し、
ｉｉ）決定された混合されたパフォーマンス情報を用いて広告を評点する、
ことを含む、請求項１３の方法。
【請求項２１】
第１のスコアを決定する前記行為には、少なくとも文書情報を更に用いる、請求項２０の方法。
【請求項２２】
第１のスコアを決定する前記行為には、少なくとも絞り込み情報を更に用いる、請求項２０の方法。
【請求項２３】
第１のスコアを決定する前記行為には、少なくとも広告に関連する情報を更に用いる、請求項２０の方法。
【請求項２４】
ａ）一又はそれ以上の広告のために、文書のセットためのパフォーマンス情報を受け入れ、この文書のセットは、文書収集のサブセットであり、
ｂ）前記受け入れられた前記文書のセットのための広告セットパフォーマンス情報を用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減する、
ことを有する方法。
【請求項２５】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項２４の方法。
【請求項２６】
前記文書はＵＲＬにより特定されるウェブページである、請求項２４の方法。
【請求項２７】
前記スコアの評点或いは加減の行為には、
ｉ）前記広告セットのための一般的なパフォーマンス情報を少なくとも用いて第１の広告スコアを決定し、
ｉｉ）前記文書のセットための前記受け入れられた広告セットパフォーマンス情報を用いて前記第１の広告スコアを加減する、
ことを含む、請求項２４の方法。
【請求項２８】
第１のスコアを決定する前記行為には、少なくとも文書情報を更に用いる、請求項２７の方法。
【請求項２９】
第１のスコアを決定する前記行為には、少なくとも絞り込み情報を更に用いる、請求項２７の方法。
【請求項３０】
第１のスコアを決定する前記行為には、少なくとも広告に関連する情報を更に用いる、請求項２７の方法。
【請求項３１】
前記スコアの評点或いは加減の行為には、
ｉ）前記広告セットのための一般的なパフォーマンス情報と前記文書のセットのための受け入れられた広告セットパフォーマンス情報とを少なくとも用いて、混合されたパフォーマンス情報を決定し、
ｉｉ）決定された混合されたパフォーマンス情報を用いて広告を評点する、
ことを含む、請求項２４の方法。
【請求項３２】
第１のスコアを決定する前記行為には、少なくとも文書情報を更に用いる、請求項３１の方法。
【請求項３３】
第１のスコアを決定する前記行為には、少なくとも絞り込み情報を更に用いる、請求項３２の方法。
【請求項３４】
第１のスコアを決定する前記行為には、少なくとも広告に関連する情報を更に用いる、請求項３３の方法。
【請求項３５】
ａ）文書のための絞り込み関数パフォーマンスを受け入れ、
ｂ）前記受け入れられた前記文書のための絞り込み関数パフォーマンスを用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減する、
ことを有する方法。
【請求項３６】
前記広告パフォーマンスはセレクション及びインプレッション情報を含む請求項３５の方法。
【請求項３７】
前記文書はＵＲＬにより特定されるウェブページである、請求項３５の方法。
【請求項３８】
前記評点の行為は、
ｉ）前記文書のための前記受け入れられた絞り込み関数パフォーマンスを少なくとも用いてスコア関数を選択し、
ｉｉ）スコアを生成するために、広告情報と文書情報を前記選択されたスコア関数に適用する、
ことを含む請求項３５の方法。
【請求項３９】
前記絞り込み関数は、（Ａ）キーワード絞り込み、（Ｂ）文書コンテンツ絞り込み、（Ｃ）ホストコンテンツ絞り込みを含む関数のセットから選択された関数である、請求項３８の方法。
【請求項４０】
前記評点の行為は、
ｉ）前記文書のための前記受け入れられた絞り込み関数パフォーマンスを少なくとも用いてスコア関数の一又はそれ以上のパラメータを選択し、
ｉｉ）スコアを生成するために、選択された一又はそれ以上のパラメータを持つスコア関数に広告情報及び文書情報を適用する、
ことを含む請求項３５の方法。
【請求項４１】
ａ）文書のセットのための絞り込み関数パフォーマンスを受け入れ、
ｂ）前記受け入れられた前記文書のセットのための絞り込み関数パフォーマンスを用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減し、前記文書のセットは文書収集のサブセットである、
ことを有する方法。
【請求項４２】
前記広告パフォーマンスはセレクション及びインプレッション情報を含む請求項４１の方法。
【請求項４３】
前記文書のセットは関連付けられたウェブページを含む、請求項４１の方法。
【請求項４４】
前記評点の行為は、
ｉ）前記文書のセットのための前記受け入れられた絞り込み関数パフォーマンスを少なくとも用いてスコア関数を選択し、
ｉｉ）スコアを生成するために、広告情報と文書情報を前記選択されたスコア関数に適用する、
ことを含む請求項４１の方法。
【請求項４５】
前記絞り込み関数は、（Ａ）キーワード絞り込み、（Ｂ）文書コンテンツ絞り込み、（Ｃ）ホストコンテンツ絞り込みを含む関数のセットから選択された関数である、請求項４４の方法。
【請求項４６】
前記評点の行為は、
ｉ）前記文書のセットのための前記受け入れらた絞り込み関数パフォーマンスを少なくとも用いてスコア関数の一又はそれ以上のパラメータを選択し、
ｉｉ）スコアを生成するために、広告情報及び文書情報を、選択された一又はそれ以上のパラメータを持つスコア関数に適用する、
ことを含む請求項４１の方法。
【請求項４７】
文書を供給する適格を有する広告のセットを決定する方法であって、
ａ）第１の広告のセットを決定し、
ｂ）文書のセットのために広告パフォーマンス情報を受け入れ、
ｃ）文書のセットのために、最も機能する広告の数を決定し、
ｄ）前記第１の広告のセットと決定された最も機能する広告の数とを用いて広告の最終セットを決定する、
ことを有する方法。
【請求項４８】
文書を供給する適格を有する広告のセットを決定する方法であって、
ａ）第１の広告のセットを決定し、
ｂ）文書のセットのために前記文書が属する広告パフォーマンス情報を受け入れ、文書のセットは文書の収集のサブセットであり、
ｃ）文書のセットのために、最も機能する広告の数を決定し、
ｄ）前記第１の広告のセットと決定された最も機能する広告の数とを用いて広告の最終セットを決定する、
ことを有する方法。
【請求項４９】
ａ）文書のために少なくとも２つのコンセプトを決定し、
ｂ）前記少なくとも２つのコンセプトのそれぞれのために一又はそれ以上の広告を決定し、
ｃ）前記少なくとも２つのコンセプトのそれぞれのためにコンセプトパフォーマンススコアを決定し、
ｄ）前記広告が関連付けられている前記コンセプトのコンセプトパフォーマンススコアを用いて、前記広告の少なくとも一つのために、広告パフォーマンススコアを更新する、
ことを有する方法。
【請求項５０】
前記コンセプトパフォーマンススコアを決定する行為は、文書特有の前記コンセプトに関連する広告の広告パフォーマンススコアを用いる、請求項４９の方法。
【請求項５１】
前記文書はグループに属し、そして、
前記コンセプトパフォーマンススコアの決定の行為は、文書特有の前記コンセプトに関連する広告パフォーマンススコアを用いる、請求項４９の方法。
【請求項５２】
前記文書は、ウェブページであり、前記グループはウェブサイトに属するウェブページである、請求項５１の方法。
【請求項５３】
前記グループは関連する文書のクラスタである請求項５１の方法。
【請求項５４】
前記グループは、文書の分類である請求項５１の方法。
【請求項５５】
ａ）一又はそれ以上の広告のセットのために、文書に関係する広告セットパフォーマンス情報を追跡する手段と、
ｂ）前記文書のために、追跡された広告セットパフォーマンス情報を収集する手段と、
を有する装置。
【請求項５６】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項５５の装置。
【請求項５７】
前記文書はＵＲＬにより特定されるウェブページである、請求項５５の装置。
【請求項５８】
ｃ）前記広告セットパフォーマンス情報を区分けする手段を更に有する請求項５５の装置。
【請求項５９】
ｃ）前記広告セットパフォーマンス情報の秘密メジャーを決定する手段と、
ｄ）前記決定された秘密メジャーを用いて、前記文書に関係する前記広告セットパフォーマンス情報と一般的な広告セットパフォーマンス情報とを結合する手段と、
を更に有する請求項５５の装置。
【請求項６０】
前記秘密メジャーの決定の手段には、少なくともデータ容量及びデータ年代の一方を用いる請求項５９の装置。
【請求項６１】
ａ）一又はそれ以上の広告のセットのために、文書収集のサブセットである文書のセットに関係のある広告パフォーマンス情報を追跡する手段と、
ｂ）前記文書のセットのために、追跡された広告セットパフォーマンス情報を収集する手段と、
を有する装置。
【請求項６２】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項６１の装置。
【請求項６３】
前記文書はＵＲＬにより特定されるウェブページである、請求項６１の装置。
【請求項６４】
ｃ）前記広告セットパフォーマンス情報を区分けする手段を更に有する請求項６１の装置。
【請求項６５】
ｃ）前記広告セットパフォーマンス情報の秘密メジャーを決定する手段と、
ｄ）前記決定された秘密メジャーを用いて、前記文書に関係する前記広告セットパフォーマンス情報と一般的な広告セットパフォーマンス情報とを結合する手段と、
を更に有する請求項６１の装置。
【請求項６６】
前記秘密メジャーの決定の手段には、少なくとも一つのデータ容量とデータ年代を用いる請求項６５の装置。
【請求項６７】
ａ）一又はそれ以上の広告のために、文書のためのパフォーマンス情報を受け入れる入力と、
ｂ）前記受け入れられた前記文書のための広告セットパフォーマンス情報を用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減する手段と、
を有する装置。
【請求項６８】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項６７の装置。
【請求項６９】
前記文書はＵＲＬにより特定されるウェブページである、請求項６７の装置。
【請求項７０】
前記スコアの評点或いは加減の手段には、
ｉ）前記広告セットのための一般的なパフォーマンス情報を少なくとも用いて第１の広告スコアを決定する手段と、
ｉｉ）前記文書のための前記受け入れられた広告セットパフォーマンス情報を用いて前記第１の広告スコアを加減する手段と、
を含む、請求項６７の装置。
【請求項７１】
第１のスコアを決定する前記手段には、少なくとも文書情報を更に用いる、請求項７０の装置。
【請求項７２】
第１のスコアを決定する前記手段には、少なくとも絞り込み情報を更に用いる、請求項７０の装置。
【請求項７３】
第１のスコアを決定する前記手段には、少なくとも広告に関連する情報を更に用いる、請求項７０の装置。
【請求項７４】
前記スコアの評点或いは加減の手段には、
ｉ）前記広告のための一般的なパフォーマンス情報と前記文書のための受け入れられた広告セットパフォーマンス情報とを少なくとも用いて、混合されたパフォーマンス情報を決定する手段と、
ｉｉ）決定された混合されたパフォーマンス情報を用いて広告を評点する手段と、
を含む、請求項７０の装置。
【請求項７５】
第１のスコアを決定する前記手段には、少なくとも文書情報を更に用いる、請求項７４の装置。
【請求項７６】
第１のスコアを決定する前記手段には、少なくとも絞り込み情報を更に用いる、請求項７４の装置。
【請求項７７】
第１のスコアを決定する前記手段には、少なくとも広告に関連する情報を更に用いる、請求項７４の装置。
【請求項７８】
ａ）一又はそれ以上の広告のために、文書収集のサブセットである文書のセットためのパフォーマンス情報を受け入れる入力と、
ｂ）前記受け入れられた前記文書のセットのための広告セットパフォーマンス情報を用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減する手段と、
を有する装置。
【請求項７９】
前記広告セットパフォーマンス情報はセレクション及びインプレッション情報を含む請求項７８の装置。
【請求項８０】
前記文書はＵＲＬにより特定されるウェブページである、請求項７８の装置。
【請求項８１】
前記スコアの評点或いは加減の手段には、
ｉ）前記広告セットのための一般的なパフォーマンス情報を少なくとも用いて第１の広告スコアを決定する手段と、
ｉｉ）前記文書のセットための前記受け入れられた広告セットパフォーマンス情報を用いて前記第１の広告スコアを加減する手段と、
を含む、請求項７８の装置。
【請求項８２】
第１のスコアを決定する前記手段には、少なくとも文書情報を更に用いる、請求項８１の装置。
【請求項８３】
第１のスコアを決定する前記手段には、少なくとも絞り込み情報を更に用いる、請求項８１の装置。
【請求項８４】
第１のスコアを決定する前記手段には、少なくとも広告に関連する情報を更に用いる、請求項８１の装置。
【請求項８５】
前記スコアの評点或いは加減の手段には、
ｉ）前記広告セットのための一般的なパフォーマンス情報と前記文書のセットのための受け入れられた広告セットパフォーマンス情報とを少なくとも用いて、混合されたパフォーマンス情報を決定する手段と、
ｉｉ）決定された混合されたパフォーマンス情報を用いて広告を評点する手段と、
を含む、請求項７８の装置。
【請求項８６】
第１のスコアを決定する前記手段には、少なくとも文書情報を更に用いる、請求項８５の装置。
【請求項８７】
第１のスコアを決定する前記手段には、少なくとも絞り込み情報を更に用いる、請求項８５の装置。
【請求項８８】
第１のスコアを決定する前記手段には、少なくとも広告に関連する情報を更に用いる、請求項８５の装置。
【請求項８９】
ａ）文書のための絞り込み関数パフォーマンスを受け入れる入力と、
ｂ）前記受け入れられた前記文書のための絞り込み関数パフォーマンスを用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減する手段と、
を有する装置。
【請求項９０】
前記広告パフォーマンスはセレクション及びインプレッション情報を含む請求項８９の装置。
【請求項９１】
前記文書はＵＲＬにより特定されるウェブページである、請求項８９の装置。
【請求項９２】
前記評点の手段は、
ｉ）前記文書のための前記受け入れられた絞り込み関数パフォーマンスを少なくとも用いてスコア関数を選択する手段と、
ｉｉ）スコアを生成するために、広告情報と文書情報を前記選択されたスコア関数に適用する手段と、
を含む請求項８９の装置。
【請求項９３】
前記絞り込み関数は、（Ａ）キーワード絞り込み、（Ｂ）文書コンテンツ絞り込み、（Ｃ）ホストコンテンツ絞り込みを含む関数のセットから選択された関数である、請求項９２の装置。
【請求項９４】
前記評点の手段は、
ｉ）前記文書のための前記受け入れられた絞り込み関数パフォーマンスを少なくとも用いてスコア関数の一又はそれ以上のパラメータを選択する手段と、
ｉｉ）スコアを生成するために、選択された一又はそれ以上のパラメータを持つスコア関数に広告情報及び文書情報を適用する手段と、
を含む請求項８９の装置。
【請求項９５】
ａ）文書のセットのための絞り込み関数パフォーマンスを受け入れる入力と、
ｂ）前記受け入れられた文書収集のサブセットである前記文書のセットのための絞り込み関数パフォーマンスを用いて、一又はそれ以上の広告の各々のスコアを評点或いは加減する手段と、
を有する装置。
【請求項９６】
前記広告パフォーマンスはセレクション及びインプレッション情報を含む請求項９５の装置。
【請求項９７】
前記文書のセットは関連付けられたウェブページを含む、請求項９５の装置。
【請求項９８】
前記評点の手段は、
ｉ）前記文書のセットのための前記受け入れられた絞り込み関数パフォーマンスを少なくとも用いてスコア関数を選択する手段と、
ｉｉ）スコアを生成するために、広告情報と文書情報を前記選択されたスコア関数に適用する手段と、
を含む請求項９５の装置。
【請求項９９】
前記絞り込み関数は、（Ａ）キーワード絞り込み、（Ｂ）文書コンテンツ絞り込み、（Ｃ）ホストコンテンツ絞り込みを含む関数のセットから選択された関数である、請求項９８の装置。
【請求項１００】
前記評点の手段は、
ｉ）前記文書のセットのための前記受け入れらた絞り込み関数パフォーマンスを少なくとも用いてスコア関数の一又はそれ以上のパラメータを選択する手段と、
ｉｉ）スコアを生成するために、広告情報及び文書情報を、選択された一又はそれ以上のパラメータを持つスコア関数に適用する手段と、
を含む請求項９５の装置。
【請求項１０１】
文書を供給する適格を有する広告のセットを決定する装置であって、
ａ）第１の広告のセットを決定する手段と、
ｂ）文書のセットのために広告パフォーマンス情報を受け入れる入力と、
ｃ）文書のセットのために、最も機能する広告の数を決定する手段と、
ｄ）前記第１の広告のセットと決定された最も機能する広告の数とを用いて広告の最終セットを決定する手段と、
を有する装置。
【請求項１０２】
文書を供給する適格を有する広告のセットを決定する装置であって、
ａ）第１の広告のセットを決定する手段と、
ｂ）文書収集のサブセットである文書のセットのために前記文書が属する広告パフォーマンス情報を受け入れる入力と、
ｃ）文書のセットのために、最も機能する広告の数を決定する手段と、
ｄ）前記第１の広告のセットと決定された最も機能する広告の数とを用いて広告の最終セットを決定する手段と、
を有する装置。
【請求項１０３】
ａ）文書のために少なくとも２つのコンセプトを決定する手段と、
ｂ）前記少なくとも２つのコンセプトのそれぞれのために一又はそれ以上の広告を決定する手段と、
ｃ）前記少なくとも２つのコンセプトのそれぞれのためにコンセプトパフォーマンススコアを決定する手段と、
ｄ）前記広告が関連付けられている前記コンセプトのコンセプトパフォーマンススコアを用いて、前記広告の少なくとも一つのために、広告パフォーマンススコアを更新する手段と、
を有する装置。
【請求項１０４】
前記コンセプトパフォーマンススコアを決定する手段は、文書特有の前記コンセプトに関連する広告の広告パフォーマンススコアを用いる、請求項１０３の装置。
【請求項１０５】
前記文書はグループに属し、そして、
前記コンセプトパフォーマンススコアの決定の手段は、文書特有の前記コンセプトに関連する広告パフォーマンススコアを用いる、請求項１０３の装置。
【請求項１０６】
前記文書は、ウェブページであり、前記グループはウェブサイトに属するウェブページである、請求項１０５の装置。
【請求項１０７】
前記グループは関連する文書のクラスタである請求項１０５の装置。
【請求項１０８】
前記グループは、文書の分類である請求項１０５の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
§0.  関連の出願
本出願は、米国の仮出願番号60/489,322の権益を請求するものである。（ここで、次の参照事項を併せて追加する）
タイトル：「データ・クリックのようなユーザの行動データの収集、ユーザの行動データのプレゼンテーションの作成、および、コンテンツをベースにした広告の絞り込みに向けて、コンセプトの再強化をはかるためのユーザの行動データの利用」
出願年月日：July 22,2003
発明者のリスト：Alex Carobus, Claire Cui, Deepak Jindal, Steve Lawrence and
Narayanan Shivakumar
本発明は、この仮出願に記述されているいかなる特定の内容に対しても、制限を受けるものではない。
【０００２】
§１．  発明のバックグラウンド
§１．１  発明の分野
この発明は、広告方法に関する事項を扱ったものである。特に、”内容絞り込み方式による広告方法”の改良に関するものである。
【背景技術】
【０００３】
§１．２  関連項目
従来の広告方法
テレビ、ラジオ、新聞、あるいは雑誌などの様な従来のメディアを用いた広告方法については広く知られているところである。しかし残念なことに、各種メディアからの出力を視聴する主要な視聴者については、対人動態調査の研究、あるいは真に的確な視聴対象者の把握など、これらに関する備えはとなると、広告主は広告予算の大半がただ浪費されているだけであるとの認識を持っているだけなのである。更に云えば、そのような浪費は、それを分別して減らしていくことが大変難しいということである。
【０００４】
オンライン広告
近年、ますます双方向性を増しつつあるメディアでの広告が一般的になってきている。例えば、インターネットを利用する人の数が増大するにつれて、広告主は、インターネット上に供給されるメディアやサービスを広告のための潜在的な強力な武器として享受し始めている。
【０００５】
広告主は、そのような広告の価値を最大限に発揮するために、いろいろな戦略を開発してきています。ある一つの戦略では、広告主は、双方向性のメディアあるいはサービス（ここでは、一般性を損なわない範囲で特化して”ウェブサイト”として引用）を準備するために、大きな視聴者に到達するための導管として役割を果たす、広く知られている表出物や手段を利用するであろう。例えば、ある広告主は、最初のアプローチをする場合、the New York Timesのウェブサイト、あるいはUSA Todayのウェブサイトのホームページに広告を置くかもしれない。別の戦略では、ある広告主は、壁がんのような狭い範囲の視聴者にねらいを定めて広告を出す試みをするかもしれない。そうすることによって、視聴者の好感度を上げることになるかもしれないのである。例えば、コスタリカの熱帯雨林の旅行を企画している代理店は、ヤフー（Yahoo!）（登録商標）のウェブサイトにあるエコツアーのサブデレクトリーに広告を置くかもしれない。広告主は通常、手作業では、そのような対象設定の仕方を行うであろう。
【０００６】
戦略については云うまでもなく、ウェブサイトをベースにした広告（同様に、”ウェブ広告”として引用）は、しばしば、”バナー広告”−図形要素を含む長方形のボックス−  として広告対象の視聴者に提示される。多くの広告対象の視聴者（ここでは、一般性を損なわない範囲で特化して”訪問者”または”ユーザ”として引用）が、ボックス上でクリックをして、それらのバナー広告の一つを選択すると、埋め込まれたハイパー・テキストのリンクが確実に、訪問者を広告主のウェブサイトに導いてくれる。訪問者が広告を選択している時のプロセスは、一般に”クリック・スルー”として参照される。（”クリック・スルー”は、ユーザの選択を全て把握出来るように意図されている。）広告のイメージ印象の数値（すなわち、広告が表示された回数）に対する”クリック・スルー”の数値の割合は、一般に、広告における”クリック・スルー・レート”あるいは”CTR”として参照されている。
【０００７】
”コンバージョン”は、ユーザが以前保存していた広告に関連するトランザクションを完了したときに発生すると云われている。何が”コンバージョン”を構成するかということになると、それはケース・バイ・ケースで変わり、種々の方法で決定されるものである。例えば、ユーザが広告上でクリックをし、広告主のウェブ・ページを参照し、そのページを離れる前にそこで買い物を完了させる時に、コンバージョンが発生するといったケースが、それに当たるかもしれない。その他の場合では、ユーザが広告を表示し、広告主のウェブページ上で事前に設定された期間（たとえば、７日間）内に買い物を完了するといった場合、それがコンバージョンと定義されるかもしれない。さらにその他のケースでは、コンバージョンは広告主の側から計測や観察が可能なユーザの行動であると定義されるかもしれない。ユーザの行動としては、例えば、白紙のダウンロードから始まり、ウェブサイトの所定の深さまでナビゲートし、少なくともある数のウェブページを閲覧し、所定の時間ウェブサイトまたはウェブページ上で時間を消費するといった行動である。しばしば起こることではあるが、もしユーザの行動が購買の成立を示すものでない場合は、それらの行動はは販売の手がかりを示すものであるかもしれない。もちろん、”コンバージョン”を構成しているユーザの行動は、それだけに限られる訳ではないのであるが。広告に惹かれた人数（云ってみれば、広告が表示された回数など）に対する、広告に実際に反応して購買などを行ったコンバージョンの人数の割合は、一般に”コンバージョン・レート”として参照される。もし”コンバージョン”が広告の取り込みから一定の時間内に起こるとすれば、”コンバージョン・レート”に関して云いえる可能性の高い一つのことは、取り込まれた広告が過去に取り込まれた場合よりも長い時間取り込まれていたと考えられるかもしれないことである。
【０００８】
ウェブサイトをベースにした広告についてのはじめの約束にかかわらず、実際のアプローチについてはいくつかの問題を残している。広告主は大規模な視聴者に到達することは出来るようになったのではあるが、広告投資の見返りについては満足出来ないということがしばしば起こるのである。ある広告主は、ユーザがオンライン上でとる性癖を追跡することによって広告の成果を改善しようと試みたが、そのアプローチはプライバシー問題に遭遇してしまったのである。
【０００９】
オンライン上でのキーワード目標絞り込み広告
同様に、広告が展示されているウェブサイトのホスト（ここでは、”ウェブサイト・ホスト”または”広告消費者”として引用）では、ユーザの経験を損なうことなく広告収益を最大にする試みを行っている。あるウェブサイト・ホストでは、広告の収益をユーザの関心事の上にあるという選択を行った。そのようなウェブサイトの一つに”Overture.com”があり、そのサイトはいわゆる”検索エンジン”サービスで、ユーザの質問に答えて”検索結果”になりすました広告を返している。Overture.comウェブサイトは、広告主のウェブサイト（あるいは目標ウェブサイト）のための広告に対して、検索結果と称されるリスト上で、高いレベルの位置づけを与えることを広告主に許している。もし、ユーザが広告上でクリックした場合のみ支払いをするような図式（すなわち、”クリック当たりコスト”）が提供されることになれば、広告主は効果的に自分の広告に絞り込ませるための意欲を失うことになる。なぜなら、目的絞り込みの少ない広告はクリックされなくなり、それに伴って支払いの請求もなくなるからである。従って、”クリック当たりコスト”の高い広告はトップあるいはそれに近い所にショウアップされるが、訪問者がクリックしなくなるために、広告出版者の収益には必ずしもはね返らなくなるのである。更に云えば、訪問者がその上でクリックしなくなるような広告はリストの遙か下方に落ち込むか、リストから全く消滅していまい、そこで広告の検索能力も危うくなるのである。
【００１０】
例えば、Google（登録商標）のような検索エンジンは、次のような方法で、広告主をして自分の広告への絞り込みをさせることを可能ならしめたのである。すなわち、次のような方法とは、広告と関連があると思われる質問への回答としての検索結果のページと結びつけて、広告主の広告が表示されるようにしたことである。Googleシステムは、広告やキーワードについて”クリック・スルー”統計（成果の指標となるものである）を追跡している。検索キーワードに関していえば、表示され得る広告に絞り込まれるキーワードの数は限られており、全般的に見て問題があるとしても管理できる範囲にある。検索結果のページは、広告主に対して、自分たちの広告をより受容力のある視聴者に目標絞り込みをさせ得る大きな機会を与えてはいるが、所詮、それらのページは全世界に広がる”ワールド・ワイド・ウェブ”上で見られるページの１断片にしか過ぎないのである。
【００１１】
オンライン上のコンテンツ絞り込み広告
いくつかのオンライン広告システムでは、例えばウェブページのようなコンテンツを含むドキュメントに広告をマッチングさせるために、（あるいはまた、関連づけをするために、）広告に関連する情報やドキュメントのコンテンツに関連する情報（例えば、コンセプトやトピックス、特性ベクトルのような方向付けなど）を使用することになるかもしれない。そのようなオンライン広告システムのサンプルをいくつか上げると：−
・米国  仮出願番号  60/413,356  （ここで、関連事項を参照）
タイトル：「関連性がある広告に貢献するための方法と装置」
出願年月日：September 24, 2002
発明者のリスト：Jeffrey A. Dean, Georges R. Harik and Paul Bucheit
・米国  特許願番号  10/314,427  （ここで、関連事項を参照）
タイトル：「関連性がある広告に貢献するための方法と装置」
出願年月日：December 6, 2002
発明者のリスト：Jeffrey A. Dean, Georges R. Hank and Paul Bucheit
・米国  特許願番号  10/375,900  （ここで、関連事項を参照）
タイトル：「コンテンツをベースとした広告へ貢献する方法」
出願年月日：February 26, 2003 
発明者のリスト：Darrell Anderson, Paul Bucheit, Alex Carobus, Claire Cui, Jeffrey 
A. Dean, Georges R. Harik, Deepak Jindal, and Narayanan Shivakumar
・米国  特許願番号  10/452,830  （ここで、関連事項を参照）
タイトル：「電子メールと関連づけされた情報を用いている広告へ貢献する方法」
出願年月日：on June 2, 2003
発明者のリスト：Jeffrey A. Dean, Georges R. Harik and Paul Bucheit
一般に、このようなオンライン広告システムでは、ドキュメントに関連する各広告の成果を評価するために、対象となる広告およびドキュメントの両方の関連する情報が用いられることになる。そこで得られた成果は、ドキュメントとの関連で広告に貢献しているか否かを判定するのに用いられる。（同様にして、的確性の判定にも引用される。）あるいはまた、ドキュメントとの関連で貢献のある一つまたは複数の広告の相対的な貢献度の判定にも用いられる。
【００１２】
貢献度の判定に当たっては、例えば、次の諸項目の中の一つあるいはいくつかの項目が用いられる。
【００１３】
（１）広告に関する一つまたはいくつかの成果パラメータ（例えば、”クリック・スルー・レート”、”コンバージョン・レート”、”ユーザ・レーティング”、など）
（２）広告に関連する広告主についての資質の情報、
（３）広告に関連する価格の情報（例えば、（”クリック”当たり、”コンバージョン”当たり、”インプレッション”当たり、などの ）単位当たりの最高価格など）  
オンライン上のコンテンツ絞り込み広告の改善の必要性
例えばウェブページのような、ある一つのドキュメントについて見た場合、それは数多くの異なったコンセプトやトピックスと関連しているであろう。しかしながら、集合体の中で一つのドキュメントを探し求めているユーザにとっては、一つの関連あるトピックスやコンセプトの方が他のものにまして関心があるであろう。従って、広告が役に立つとすれば、一般性の少ないトピックスやコンセプトに関連した広告よりも、より広い全般的な関心を呼ぶトピックスやコンセプトに関連した広告の方が歩があり、有用である。このことは、検索結果のページを備えているキーワード目標絞り込み広告の検索で、言葉の前後関係について、少ない試みで済むということである。それは、ユーザの持つ関心が、人々の検索したい疑問から識別されることが多いからなのである。ドキュメントが二つあるいはそれ以上の関連するトピックスやコンセプトを持っている場合は、求めたドキュメントの中で、ユーザの関心を識別していくのは大変難しいことである。
【発明の開示】
【課題を解決するための手段】
【００１４】
本発明は、ユーザの行動（例えば、”セレクト”（ 例として、”クリック” ）、”コンバージョン”、など）にコンテンツ絞り込み広告システムのためのフィードバック機能を導入することである。本発明は、ドキュメント・ベース（例えば、URL単位）で、あるいはまた、ホスト・ベース（例えば、ウェブサイト単位）で、個々の広告、あるいはグループの広告の展開を追跡をする。本発明は、ユーザ行動のフィードバック・データを有用なデータに構成するまで行程分析をする（例えば、インターネット上のデータについての情報集約を行う）。本発明はまた、広告の展開を追跡し、単位ドキュメント、あるいはまた、単位ホストのベースで機能の絞り込みを行う。本発明は、広告の品質を改善し、ユーザの経験も改善し、あるいはまた、収益を最大にするために、コンテンツ絞り込み広告システムのユーザ行動フィードバック・データ（生の形、あるいは加工した形で）を利用する。
【発明を実施するための最良の形態】
【００１５】
§ 4.  詳細記述
本発明は、コンテンツ絞り込み広告方法を改善するための、新奇性を有する方式、装置、メッセージ・フォーマット、あるいはまた、データ構成を含んでいる。この後に続く記述では、ある程度の技術を有する人であれば、発明を行い、利用することが出来るということが示されており、また、特許申請の細目や要件についても記述されている。公開されている実施例に対する種々の変化は、技術を有する人にとっては明白に分かることである。また、下記で説明をする一般原則は、他の実施例や申請にも適用されるものである。従って、本発明はここに示された実施例に限定されるというものではないし、また、発明者は、自分の発明が特許性のある対象であると見なして記述をしている。 
次に、本発明が動作し、あるいはまたは関連する環境については§ 4.1 に記述されている。それから、本発明の実施例のモデルは§ 4.2 に記述されている。最後に、本発明に関する結論は§ 4.3に説明されている。
【００１６】
§ 4.1  本発明の動作する、または関連する環境
§ 4.1.1  広告モデルの環境
図１は、広告を行う環境についてのハイレベルの図解である。その環境は、広告の登録、保守および配信のシステム120（ここでは、簡単に”広告サーバー”として引用）を包含する。広告主110は、直接的に、あるいは間接的に、システム120にある広告情報に入り、維持し、追跡することが出来る。広告次のようなグラフィカルな形態となるであろう。すなわち、いわゆるバナー広告、テキストのみの広告、イメージ広告、音声広告、ビデオ広告、あるいは、これらのコンポーネントをいくつか組み合わせた広告などの形態である。広告はまた、リンク、あるいはまたマシンの実行命令のような、組み込みの情報を内蔵しているかもしれない。広告利用者130は、このシステムから利用者のリクエスト・フォームに答えが出来るような広告にするように、それからまた、このシステムに有益な情報を提供するように、このシステム120に求めるかもしれない。広告利用者130以外の組織が、広告に対する要求を提起するかもしれない。ここには表示されていないが、他の組織がこのシステム120に対して有用な情報（例えば、広告に関連する”コンバージョン”または”クリック・スルー”が生じているかどうか、などについて）を提起してくれるかもしれない。この有用な情報には、保存されている広告に関連して、計測されるとともに観察調査され得るユーザ行動の情報が含まれるかもしれない。
【００１７】
広告サーバー120は、上述の§1.2 で触れられているように、米国特許出願番号No. 10/375,900の図２に記載されているものと類似している。広告プログラムは、”アカウント”、”キャンペーン”、”クリエイティブ”、”ターゲット”などに関する情報を含んでいる。”アカウント”という用語は、当該広告主の情報（例えば、独自のメール・アドレス、パスワード、会計情報、など）と関連している。”キャンペーン”あるいは”広告キャンペーン”は、一つ以上の広告の一つ以上のグループに関連し、スタートのデータ、終了のデータ、財務の情報、地理検索情報、テレビ番組情報、などを含んでいる。例えば、ホンダ（登録商標）は、自動車ラインに対して一連の広告キャンペーンをすると共に、モーターバイク・ラインに対しても別の広告キャンペーンを行っている。自動車ラインに対するキャンペーンは、一つ以上の広告グループを持ち、それぞれのグループは一つ以上の広告を持っている。それぞれの広告グループとしては、目標絞り込みの情報（例えば、キーワードのセット、トピックスのセットなど）と価格の情報（例えば、コストの上限値  −”クリック・スロー”当たりのコスト、”コンバージョン”当たりのコストなど−  ）が含まれる。あるいは、それに加えて、それぞれの広告グループには、平均的コスト（例えば、”クリック・スルー”当たりの平均コスト、”コンバージョン”当たりの平均コスト、など）も含まれる。したがって、コストの上限値は、あるいはまたコストの平均値も、1つあるいはそれ以上のキーワード、あるいはトピックスと結びついている。述べてきたように、それぞれの広告グループは一つあるいはそれ以上の広告または”クリエイティブ”（すなわち、究極的にはエンド・ユーザに提供される広告のコンテンツのこと）を持っている。それぞれの広告はまた、ＵＲＬ（例えば、次のような到達先のウェブページ：広告主のホームページ、あるいは、特定の製品やサーバーに結びついているウェブページ）へのリンクを包含している。当然のこととして、広告情報は、多かれ少なかれ何らかの情報を持っており、いろいろな違う方法を用いて有機的にまとめられている。
【００１８】
図２は、本発明が使用される環境200について図示している。ユーザ機器250（ここでは、”クライアント”または”クライアント機器”として引用）は、ブラウザー操作部品（例えば、マイクロソフト（登録商標）のエクスプロラー・ブラウザー、ノルウェーのオペラ・ソフトウエア社のオペラ・ウェブ・ブラウザー、ＡＯＬ／タイム・ワーナー社のナビゲーター・ブラウザー、など）、メール操作部品（例えば、マイクロソフト社のアウトルック、など）、等を包含している。サーチ・エンジン220は、ドキュメント（例えば、ウェブページ）収集の検索を行うユーザ機器250も含む。コンテンツ・サーバー230は、ドキュメントにアクセスするためのユーザ機器250も含む。電子メール・サーバー240（マイクロソフト・ネットワークのホット・メール-Hotmail-、ヤフー・メール-Yahoo Mail-）は、ユーザ機器250に対して電子メール機能を提供するために用いられる。広告サーバー210は、広告をユーザ機器250に保存するために使用される。広告は、サーチ・エンジン220によってもたらされる検索結果と結びつけられて保存される。コンテンツと関連のある（ここではまた、”コンテンツ絞り込み”として引用）広告は、コンテンツ・サーバー230によってもたらされるコンテンツと結びつけられて保存されるか、あるいはまた、電子メールサーバー240またはユーザの電子メール機器によってもたらされる電子メールと結びつけられて保存される。
【００１９】
米国特許申請番号 10/375,900 （前段で引用）で議論されているように、広告はコンテンツ・サーバーによって保存されたドキュメントを目標絞り込みされたものであるということになる。従って、広告利用者[130]の一例としては、よく知られているコンテンツ・サーバー230というものがある。そして、そのコンテンツ・サーバーは、ドキュメントに対するリクエストを受け取り、そのリクエスト、あるいはその他のサービスなど、に応えるための応答ドキュメントが取り出せるようになっている。コンテンツ・サーバーは、広告に対するリクエストを広告サーバー120/210に引き継ぐ。そのような広告に他するリクエストは、望まれるような数多くの広告を含んでいるかもしれない。この広告リクエストはまた、ドキュメント・リクエスト情報を含んでいるかもしれない。このドキュメント・リクエスト情報は、次の諸項目を包含している。それらは、ドキュメントそのもの（例えば、ページ）、ドキュメントのコンテンツあるいはドキュメント・リクエスト（例えば、芸術、ビジネス、コンピュータ、芸能映画、芸能音楽、など）と結びついているカテゴリーまたはトピックス、ドキュメント・リクエストの一部または全部、コンテンツ年代、コンテンツ・タイプ（例えば、テキスト、グラフィックス、ビデオ、オーディオ、複合メディア、など）、地理的配置情報、ドキュメント情報、等々である。
【００２０】
コンテンツ・サーバー230は、広告サーバー120/210によって供給される一つまたはそれ以上の広告と併せて、リクエストされたドキュメントに結合される。ドキュメント・コンテンツと広告を包含したこの結合された情報は、次に、ユーザに対するプレゼンテーションのために、ドキュメントを要求したユーザ機器250へと進められる。最終的に、コンテンツ・サーバー230は広告に関する情報、および、広告が提供される方法、時期、あるいはまた場所についての情報（例えば、”ポジション”、”クリック・スルー”の有無、”インプレッション時間”、”インプレッション・データ”、”サイズ”、”コンバージョン”の有無、など）を、広告サーバー120/210に返し送信をする。あるいは、または追加として、これらの情報は、他の何らかの手段によっても広告サーバー120/210に提供される。
【００２１】
広告利用者130のその他の例を挙げれば、検索エンジン220である。検索エンジン220は、検索結果を求めるクエリー（＝検索要求）を受け取る。それに応えて、検索エンジンは関連する検索結果を（例えば、ウェブページの索引から）検索する。代表的な検索エンジンについては、S.Brin および L.Pageの記事「大規模ハイパー・テキスト検索エンジンの構造」第７回World Wide Web国際会議、ブリスベーン、オーストラリア（"The Anatomy of a Larg-Scale Hypertxstual Search engine" Seventh International World Wide Web Conference, Brisbane, Australia ）、および米国特許番号No. 6,285,999に記述されている（両者は共に、ここで引用されている）。これらの検索結果は、例えば、ウェブページのタイトルのリスト、ウェブページから抽出された情報の断片、および、それらのウェブページへのハイパー・テキストのリンクなどを含んでおり、それらは予め決められた数（例えば、１０）の検索結果にグループ分けされる。
【００２２】
検索エンジン220は、広告に対するリクエストを広告サーバー120/210に提供する。このリクエストは、望ましい広告を数多く含んでいる。その数は、検索結果、検索結果によって支配されるスクリーンやページ・スペースの容量、あるいは、広告のサイズや形などにより変化する。ある実施例では、望ましい広告の数は１から１０までであり、望ましくは３から５である。広告に対するリクエストにはまた、次のようなものを含んでいる。それは、（入力されて構文分析された）クエリー、クエリーに関連する情報（例えば、加入会員から来たクエリーであるか、加入会員のような資格を持ったものから来たものかといった、配置情報のようなもの）、あるいはまた、検索結果と結びついてるかまたは検索結果に乗った情報、などである。それらの情報は、例えば、検索結果と関連する識別子（例えば、ドキュメント識別子、すなわち”docID”）含むと共に、次の諸項目を含んでいる。含まれる諸項目には、検索結果に関連する評価（例えば、クエリーとドキュメントに相当する、特性ベクトルの内積のような情報検索（IR）の評価、ページ・ランク評価、あるいはまた、IR評価とページ・ランク評価の組合せ）、識別されたドキュメントから取り出されたテキストの断片（例えば、ウェブページ）、識別されたドキュメントの全テキスト、識別されたドキュメントのトピックス、識別されたドキュメントの特性ベクトル、などがある。
【００２３】
検索エンジン220は、広告サーバー120/210によって提供される1つ以上の検索ベースの広告と検索結果を結合する。次に、検索結果と広告が結びつけられた結合情報は、ユーザに対するプレゼンテーションのために、検索を提起したユーザへと進む。望ましいことは、検索結果が広告と明確に区分されて、ユーザがお金を支払われている広告と多分に中立であると思われる検索結果との間で混乱を来さないように維持されることである。
【００２４】
究極的に、検索エンジン220は、広告と広告が描画される時間、場所、および方法（例えば、ポジション、クリック・スルーの有無、インプレッション・タイム、インプレッション・データ、サイズ、コンバージョン有無、など）について、広告サーバー120/210にバックして伝達する。あるいは、また追加として、そのような情報は、他の何らかの手段によって、広告サーバー120/210に供給される。
【００２５】
究極的に、電子メールサーバー240は、その中に保存されれ文書は電子メールのみとなるコンテンツ・サーバーと一般に考えられている。更に、電子メールを送信、あるいはまた受信するには、電子メール用アプリケーション（例えば、マイクロソフトのアウトルックのようなアプリケーション）が使用される。したがって、電子メール・サーバーまたはアプリケーション・ソフトは、広告利用者130と考えられる。それゆえ、電子メールはドキュメントと見なされ、目標絞り込みをされた広告はそのようなドキュメントと一緒に保存される。例えば、一つあるいはそれ以上の広告が、電子メールの中にか、その上か、または関連づけて保存されることになる。
【００２６】
先の例では、サーバーを(i)広告を要求するものと、(ii)それらの要求をコンテンツに結びつけるものとの２つとして記述して来たが、それらの操作の一方または両方はクライアント・サーバー（例えば、終端のユーザ・コンピュータのようなもの）によって遂行される。
【００２７】
図３Ａは、本発明が適用されるか、または関連する環境300に対して貢献を及ぼす、コンテンツ目標絞り込み広告の”バブル・ダイアグラム”である。広告評価の操作340では、広告（または、広告の識別子）と関連する広告の評価表355の数量を決めるために、一つまたはそれ以上の広告のそれぞれに対する広告適格性情報334と併せて、ドキュメント310（例えば、そこから導き出されたもの）についてのドキュメント適格性情報320を用いる。その広告355としては、（絶対的な、または相対的な基準から）妥当性があると見なされた広告に限定され、350に保存される。その広告の評価表355は、広告適格性決定の操作、あるいはまた、広告の位置づけおよび特性強化と機能適用の操作に用いられる。
【００２８】
広告評価の操作340ではまた、広告パフォーマンス情報336、価格情報（表示されていない）、広告主の資質情報（表示されていない）など、広告評価の決定に当たり他の情報も考慮されるということに留意しなければならない。
【００２９】
当然のことながら、本発明はまた、次の様な他の環境でも使用されるものである。まず、前に述べた検索エンジンの環境。それから、米国特許番号 6,078,916、6,014,665、および6,006,222で公開されている環境；タイトルは「情報を統合するための方法[Methods for Orgnization Information]」、公布者 Cullis、公布年月日 June 20,2000, January 11,2000,  およびDecember 21,1999。次は、米国特許番号 6,182,068 および 6,539,377；タイトルは「個人用検索方法[Personalized Search Methods]」、公布者 Cullis、公布年月日 January 30,2001 および March 25,2003。
【００３０】
図３Ｂに示されているように、評価の操作は多段階のステージを包含している。例えば、第1次評価操作390は、第1次広告評価391を決めるために、ドキュメント適格性情報320および広告情報330を用いる。第1次評価は、適格性評価391となる。これらの評価391は、適格な広告397を作り出すために、篩い分け操作394によって篩い分けされる。第２次評価396は、一つ以上の適格な広告を作り出すために、（例えば、ランク付けのような）第２次評価399を提供する。
【００３１】
広告適格性情報およびドキュメント適格性情報は、種々の異なった表現形式をとる。例えば、適格性情報は、特性ベクトル（例えば、言語ベクトル）、多数のコンセプト（または、トピックス、文節、など）、コンセプト・ベクトル、クラスター（下記<参照>：「米国仮出願番号 60/416,144」）などである。本発明によっても使用されているが、コンテンツの妥当な広告を決定するための代表的な技術については、上で引用した米国特許番号 10/375,900 に記述されている。
【００３２】
（<参照>：米国  仮出願番号 60/416,144 （本願に引用して援用する）、タイトル：「確率的階層的推測的学習のための方法と装置（Methods and Apparatus for Probabilistic Hierarchical Inferential Learner）、出願：October 3,2002、それらの方法と装置は一つあるいはそれ以上のコンセプトまたはトピックス（ここでは、”ＰＨＩＬクラスター”として引用）を決定する代表的なモデルとして記述されている。）
適格性情報を抽出あるいはまた生成するための種々の方法については、米国仮出願番号 60/413,536 および  米国特許出願番号 10/314,427 に記述されており、両者とも上で引用されている。適格性情報は、広告またはドキュメントが属するところのトピックスまたはクラスターとして考えられていれる。適切な広告サーバーの適用に当たって記述されるような種々の類似性技術が、広告とドキュメントとの間の類似性の程度を決めるために用いられる。そのような類似性の技術は、抽出されたか生成された適格性情報を用いる。それから、一つまたはそれ以上のコンテンツの妥当な広告が、類似性決定をベースとしたドキュメントと関連づけられる。例えば、広告は、類似性の程度が絶対的かあるいは相対的なある限界を超えると、ドキュメントと関連づけられる。
【００３３】
本発明の具体化の一模範では、ドキュメントの識別子（例えば、ＵＲＬ）を一つあるいはそれ以上の広告に地図をたどるようにマッピングして、ドキュメントを一つあるいはそれ以上の広告に関連づけをしている。例えば、ドキュメント情報は、クラスター（例えば、”ＰＨＩＬクラスター”）、トピックスなどのような適格情報を生成するために処理が行われてきた。次に、マッチング適合クラスターは、大規模なオペレーション・リサーチ検索においては、マッチング適合の広告グループに到達するためのトピックス（例えば、”ＰＨＩＬクラスター”識別子）を構成しているインデックスに対処するために、検索クエリー用語として使用される。その次に、この検索クエリーの結果は、候補絞り込みの基準の第一カットとして使用される。それから、候補広告グループは、各広告グループに対する情報検索（ＩＲ）の実際の評価を決定するために、適格情報抽出・生成操作（例えば、”ＰＨＩＬサーバー”）へと再び送られる。なお、各広告グループでは、広告テキストを加えた基準情報がドキュメントの適格性情報にどの程度うまくマッチングしているかを総合評価している。広告グループに対する見積もりまたは既知のパフォーマンス・パラメータ（例えば、”クリック・スルー・レート”、”コンバージョン・レート”）は、広告グループの最善の評価を決定するために役に立つと考えられる。
【００３４】
一度最善の広告グループが選択されると、残りの一つあるいはそれ以上の広告は最善の広告グループの基準のリストを用いて選択されることになる。Ｍ基準のＫを送信すると返信されてしまう場合、ある広告が一つの広告グループにマッチしているかどうかというリクエストに対して、コンテンツの的確性がある広告サーバーは、このリストを用いることが出来る。そうすることによって、この広告は、リクエスト要求者に返される。
【００３５】
パフォーマンス情報（例えば、ＵＲＬ当たりまたはドメイン当たりの選択またはコンバージョンの経歴）は、システムの中でフィードバックされる。そうすることによって、特別な種類の広告（例えば、特別なクラスターやトピックスに所属する広告）に対してよいパフォーマンスを上げるクラスターやウェブページが判別される。このことは、コンテンツ適格性とパフォーマンスの両方の関数を使用して役に立つ広告が決定されるのであるが、そのようにして、再ランク付けされた適確性のある広告に対しても利用出来ることを示している。多くのパフォーマンス最適化手法が用いられている。例えば、しばしば訪問されるページの再計算を避けるために、ＵＲＬから的確な広告グループへのマッピングが作られている。当然ながら、本発明は、技術を有するコンテンツの適正な広告と一緒に使用されるものである。
【００３６】
§ 4.1.2  結論
オンライン広告は、図１および２を参照して上述されたモデル的なシステム、あるいはその他のシステムにおいて用いられているものと同様に、本来備わった種々の特性を持っている。それらの特性は、適用の仕方、あるいはまた、広告主によって特化されるものである。これらの特性は、”広告特性”として以下で参照される。例えば、テキスト広告の場合、広告特性は、タイトル・ライン、広告テキスト、および埋め込まれたリンクなどである。イメージ広告の場合は、広告特性は、イメージ、実行可能なコード、埋め込まれたリンクなどである。オンライン広告のタイプに応じて、広告特性は、次の諸項目を1つあるいはそれ以上含んでいる  ：  テキスト、リンク、オーディオ・ファイル、ビデオ・ファイル、イメージ・ファイル、実行可能なコード、埋め込まれた情報、など。
【００３７】
オンライン広告が提供されているとき、広告が提供された方法、時間、あるいはまた場所について記述するために、一つまたはそれ以上のパラメータが用いられる。これらのパラメータは、以下で”貢献パラメータ”として参照されている。貢献パラメータは、例えば、次のようなものの一つあるいはそれ以上を含んでいる：広告が提供されているページの特性（ページ上の情報も含めて）、広告の貢献に関連する検索クエリーと検索結果、ユーザの特徴（例えば、ユーザの地理的配置、ユーザの使用する言語、使用されるブラウザーのタイプ、直前のページ訪問、直前の振る舞い）、リクエストを開始したところとしてのホストサイトまたは系列サイト（例えば、America Online、Google、Yahoo）、広告が提供されているページ上での絶対的な位置づけ、提供されている他の広告と関連しての当該広告の位置づけ（空間的、または時間的）、広告の絶対的サイズ、他の広告に対比しての広告の相対的なサイズ、広告のカラー、提供されている他の広告の数、提供されている他の広告のタイプ、提供されている一日の時間数、提供されている一週間の時間数、提供されている一年の時間数、など。当然ながら、発明の条文に記載されている他の貢献パラメータもあります。
【００３８】
貢献パラメータは、広告特性に対しては付帯的なものであるかもしれないが、効力のある条件や制約として広告に関連している。それらの貢献パラメータは、効力のある条件や制約として用いられるときは、単純に、”効力のある制約”（または、”目標絞り込みの基準”）として参照される。例えば、あるシステムにおいては、広告主は次のような特定化を行うことによって自分の広告の働きを絞り込ませることができる。その特定化とは、ウイークデイに限り稼働させる、あるポジション以下に開放しない、特定の地域のユーザにのみ開放する、といったものである。他の例としては、あるシステムでは、ページまたは検索クエリーが特定のキーワードまたはフレーズを含む場合に限り広告が利用できるようにするといった特定化を広告主がおこなうこともある。更に他の例としては、提供されているドキュメントが特定のトピックスやコンテンツを含んでいる場合とか、あるいはまた、特別なクラスターかクラスター群、またはある他の分類か分類群に落ち込んだ場合とかにのみ、広告が利用できるようにするといった特定化を広告主がおこなうこともある。
【００３９】
”広告情報”は、広告特性などの次の諸項目を組合せたものを包含している。次の諸項目としては、広告特性の他、広告に効力のある制約、広告特性または広告に効力のある制約から引き出される情報（”広告由来の情報”として引用）、あるいはまた、広告と関連する情報（”広告関連情報”として引用）であるが、同様にして、それらの情報の拡張（例えば、広告関連情報から導き出された情報、など）も含まれる。
【００４０】
”ドキュメント”とは、マシンが読み取り、保存することが出来る業務製品も含むものであると広く解釈される。ドキュメントは、一つのファイルであったり、ファイルの組合せ、他のファイルへのリンクが張られた一つまたはそれ以上のファイル、などである。このファイルは次のような何らかのタイプになっている。すなわち、テキスト、オーディオ、イメージ、ビデオ、などである。最終ユーザに引き渡されるドキュメントの構成部分は、ドキュメントの”コンテンツ”と考えることが出来る。ドキュメントは、コンテンツ（ワード、写真、など）とそのコンテンツの意味を何らか指示するもの（例えば、e-mailフィールドと関連データ、ＨＴＭＬタグと関連データ、など）の両方を持った”構造化されたデータ”を含んでいる。ドキュメントの中の広告部分は、組み込まれている情報と指導によって定義される。インターネットの文脈の中では、通常のドキュメントに当たるものはウェブページである。ウェブページはしばしばコンテンツを含むとともに、埋め込まれた情報（メタ情報、ハイパーリンク、などのようなもの）や埋め込まれた指示（Ｊａｖａ（登録商標）・スクリプトのようなもの）を含んでいる。多くの場合、ドキュメントは他とは区別される特定の、アドレスを指示できる、保存場所を持っており、それゆえに、その指示出来る保存場所によって、他とは区分して特定され得るのである。”ユニバーサル・リソース・ロケーター”（ＵＲＬ）は、インターネット上の情報にアクセスする場合に用いられる、他とは区分される唯一のアドレスである。
【００４１】
”ドキュメント情報”は、ドキュメントに含まれるすべての情報を含むとともに、ドキュメントに含まれる情報から由来する情報（”ドキュメント由来の情報”として参照）、あるいはまた、ドキュメントに関連する情報（”ドキュメント関連の情報”として参照）を含んでいるが、同様にして、それらの情報が拡張されたもの（例えば、関連情報から導き出された情報）も含んでいる。ドキュメント由来の情報の例としては、ドキュメントの原文コンテンツをベースにした分類がある。ドキュメント関連の情報の例としては、現在のドキュメントからリンクしている他のドキュメントから得られるドキュメント情報と同様に、リンクによって現在のドキュメントに結ばれている他のドキュメントから得られるドキュメント情報も含まれる。
【００４２】
ドキュメントからのコンテンツは、”コンテンツを描画するアプリケーションまたは機器”の上に実際に描画される。コンテンツを描画するアプリケーションの例としては、インターネット・ブラウザ（例えば、”エクスプローラ”または”ネットスケープ”）、メディア・プレーヤー（例えば、ＭＰ３プレーヤー、リアルネットワークス・ストリーミング・オーディオ・ファイル・プレーヤー[ Realnetworks streaming audio file player ]、など）、ビューワー（例えば、アドビ・アクロバット・ＰＤＦ・リーダー[ Adobe Acrobat pdf reader ]）などがある。
【００４３】
”コンテンツ・オーナー”は、ドキュメントのコンテンツについて何らかの権限を持つ人物または存在である。コンテンツ・オーナーは、ドキュメントの著者である。それに加えて、またはそれに代えて、コンテンツ・オーナーは、コンテンツを再制作する権利や、ドキュメントの派生作品を準備する権利、コンテンツを公に展示または公演したりする権利、あるいはまた、コンテンツの中にあるその他の権利、などを持っている。コンテンツ・サーバーは、それが保存するドキュメントのコンテンツの中ではコンテンツ・オーナーとなるかもしれないが、これは必要のないことである。
【００４４】
”ユーザ情報”は、ユーザの行動情報、あるいはまた、ユーザのプロファイル情報を包含している。
【００４５】
”電子メール情報”は、電子メールに含まれる全ての情報（また、”内部電子メール情報”としても参照される）、電子メールに含まれている情報から引き出される情報、あるいはまた、電子メールに関連を有する情報を包含しているが、同様にして、そのような情報が拡張されたもの（例えば、関連する情報から導き出された情報）も包含される。電子メールから導き出された情報の例としては、検索クエリー、それは電子メールの主要なラインから抽出された言葉で構成されているのだが、その検索クエリーに応答して返された検索結果から抽出された、あるいは導き出された情報がある。電子メール情報に関連した情報の例としては、当該メールの同一送信者によって送られた一つ以上の他のメールについての電子メール情報、または電子メール受領者についてのユーザ情報が含まれる。電子メールから抽出されたか、またはそれと関連を有する情報については、”外部電子メール情報”として参照される。
【００４６】
本発明の具体化の模範的なもののいくつかは、只今、§ 4.2に記述する。
【００４７】
§ 4.2  具体化の模範
図３Ａと３Ｂを振り返って見ると、広告評価の操作は広告パフォーマンス情報を使用していることが分かる。本発明では、そのようなパフォーマンス情報（例えば、広告に対する”クリック・スルー・レート”）は、全てのドキュメントと全てのコンセプトを縦横に見て、グローバルに追跡、メンテナンスされているのがしばしばである。しかしながら、そのようなグローバルなパフォーマンス情報を用いても、あるケースでは最善の結果をもたらすことが出来ないこともある。本発明では、コンテンツ目標絞り込み広告の働きを改善するために、ドキュメント（例えば、ウェブページ）、ホスト（例えば、ウェブサイト）、あるいはまた、コンセプト・レベル上にあるパフォーマンス情報を、追跡・集約・利用することにした。
【００４８】
本発明は、次の３ステージの処理の一つあるいはそれ以上を包含している。
【００４９】
（１）ユーザ行動（例えば、クリック）データの収集ステージ
（２）ユーザ行動データの処理ステージ
（３）ユーザ行動データのベース化広告評価の決定と調整ステージ
これらのステージのそれぞれを遂行するための具体化の模範は、下に記述されている。特に、ユーザ行動データを収集し、それらのユーザ行動データを処理するための方法とデータ構造の模範は、§ 4.2.2に記述されている。それから、それらのユーザ行動データを用いて広告評価を決定・調整するための方法の模範は、§ 4.2.3に記述されている。本発明は、記述された特定の具体化に限定されるものではない。しかしながら、はじめに、、コンテンツ目標絞り込み広告の働く環境  −それについては、図３Ａおよび３Ｂの300と300'にあるようなものであるが−  への本発明の広い見地からの適用について、§ 4.2.1で記述をする。
【００５０】
§ 4.2.1  コンテンツ目標絞り込み広告の動作環境における本発明の使用
次の例からも分かるように、ドキュメント明細書（あるいはまた、ホスト明細書）、クリック・フィードバック（または、その他の追跡出来るユーザの行動）は、上の参照でリストアップして引用している仮特許申請および機器特許申請の中で記述されているように、コンテンツ目標絞り込み広告が作動するシステムの改善のために用いられる。異なった都市についての天候のページを主催するwww.wunderground.com  のような典型的なウェブサイトがあります。レーク・タホ、ラスベガスとハーレイ、ウイスコンシン（Lake Tahoe、Las Vegas and Hurley、Wisconsin）の天候に関する３つのウェブページ について見てみる。
【００５１】
まず、クリック・フィードバックは、広告の質を高めるのに有用である。例えば、コンテンツ目標絞り込み広告のシステムは、結合によってクエリーを生成し、バルーン”ＯＲ”操作を使用することによって、ウェブページからいくつかのコンセプトを引き出して、広告に貢献をする。そこで、クエリー＝"Lake Tahoe OR バロメータ（barometer） OR Squaw Valley"は、レーク・タホの天候に関するウェブページから抽出されたコンセプトを用いて生成される。これらは異なったコンセプトで、バロメータ、レーク・タホ・ホテル、スコー・バレー・スキー・レンタルについての広告に導かれるかもしれない。そのようなケースでは、役に立つ正しい広告（または、一連の広告）を選ぶことは難しいかもしれない。繰り返しになるが、いわゆる”正しい”広告（または、一連の広告）というものは、ウェブページの基盤により異なったものとなりがちである。ウェブページのラスベガスに対しては、最もリーズナブルな広告はそこにあるホテルに対するものである。ハーレイ  −ウェブページ関連のＷＩ−  に対しては、そこを訪問してホテルを必要とすのでなければ、そこの天候をチェックするための広告ではなく、天候関連の道具などにより関心が寄せられた広告となるであろう。ウェブページ関連のレーク・タホに対しては、ユーザは、リフト・チケットやスキー・レンタルに対する広告をより選択するであろう。この例が示すように、同じように構成された３つのウェブページでも、関連のないトピックスやコンセプト対しては、異なったクリック・リスポンスがなされる。広告パフォーマンス・パラメータ（例えば、クリック・スルー・レート（ＣＴＲ））は有用であり、ＵＲＬ当たりを基礎として維持されていくものである。本発明は、ウェブページに依存しながら、他は何をクリックしたかということについの情報を活用する広告で、更によりよい、もっと興味のある広告を選び出すために、これらの情報を用いる。
【００５２】
クリック・フィードバックはまた、広告スポットでの正確なオークションの目的に対いしては、あるいは、広告特性の強化の目的に対しては有益である。例えば、広告システムは、検索結果のウェブページ上にあるオークション広告スポットに対して、検索クエリー情報（例えば、キーワード）、ＣＴＲ（簡単に”検索ＣＴＲ”として参照）を用いる。しかし、これはコンテンツＣＴＲに対しては必ずしも適切ではない。例えば、キーワードの”バロメータ”に対する検索ＣＴＲは、ユーザが何を探しているかということによって、高くなるのである。しかし、コンテンツ目標絞り込み広告システムの処理の流れに対して、コンセプト目標絞り込みというバロメータを持っている広告は、例えばラスベガス・ウェブサイト上で天候ページが保持されている場合を例にとれば、いかなるクリックも成出されないかもしれない。そこで云えることとして、コンテンツ・ウェブページ上のオークション広告スポットの処理の過程において、（例えば、１,０００インプレッション当たり推定コスト[ECPMs = estimated cost per thosannd impression ]およびクリック当たりコスト[ CPCs = cost per click ]を決定するのに）検索結果のページにあるオークション広告スポットが訳に立たない場合には、検索ＣＴＲ情報が訳に立つかもしれない。本発明は、”ＵＲＬ当たりＣＴＲ”の統計を使用して、それぞれの広告（または、広告グループ）に対してのよりよいＣＴＲを決定するために用いられるものである。
【００５３】
クリック・フィードバックは、一時的な広告（または、広告グループ）からパフォーマンス情報の外挿をする目的には有用である。広告主、広告、あるいはまた広告グループは、一時的なものであるべきと考えられている。そうすることによってコスト削減ができ、前ぶれもなくキャンペーンなどを行ったり、終了させたりすることができるからである。ラスベガスのバーレイ・ホテル、あるいはＭＧＭグランド・ホテルのためのウェブページに付帯している広告に対してのクリック・フィードバック情報は、同様な特徴（例えば、同様なコンセプトあるいはコンセプト目的を持った特徴）を持った他の広告にも適用することが出来るであろう（多分に、低いウエイトでということになるであろうが）。もちろんそれは、ウェブページを持つそのような広告が訳に立つかどうかということを考慮してのことであるが。本発明は、前にクリックした広告から得られたクリック・フィードバック情報を、次の新しい広告へと推定・外挿するとともに、減少した広告品目を補償するために関連する（同じようなコンセプトを誘発する）広告を示す。
【００５４】
図４は、図３Ａのような環境における本発明の最初の具体化400を示すバブル・ダイアグラムである。図３Ａの環境300の場合にあったように、広告（または、広告識別子）と関連する広告評価455の多数性を決めるために、広告評価の操作440はドキュメント410のドキュメント適格性情報440を使用する。同様に、一つまたはそれ以上の広告432のそれぞれに対する広告適格性情報434も使用する。広告は（相対的な、あるいはまた、絶対的な基準で）適格と推定されたものに限られ、ソートの並べ替えがなされる。そのような広告評価表455は、広告適格性決定の操作460、あるいはまた、広告の位置づけ、および強化特性の適用の操作470で使用される。種々の操作は、実際には表示されていないが、特定のドキュメントに対応した広告のパフォーマンス・データ480を使用する。ドキュメント当たり、ホスト当たり、あるいはまた、コンセプト・ベース当たりの広告パフォーマンス・データの収集と集約の操作は表示されていない。いかなる動作においても、テーブル480に示されているように、広告パフォーマンス484（例えば、クリック・スルー・レート、コンバージョン・レート、など）は、ドキュメント・ベースごとの多数の広告（または、広告グループ）482のそれぞれに対して追跡される。同様にして、それらのパフォーマンス情報の下部に横たわるパーツ（例えば、インプレッションのカウント数、選択のカウント数、コンバージョンのカウント数、など）（個々では表示されていない）も追跡される。例えば、図４に図示されているように、ドキュメント410は、テーブル480と関連している（例えば、ドキュメント識別子412を用いて）のである。当該ドキュメントに対する全ての広告（または、広告グループ）482についての平均の広告（または、平均の広告グループ）のパフォーマンス484は、同様に決定、保存される。
【００５５】
本発明は、ここには表示されていない一つまたはそれ以上の操作を遂行することになっている。これらの操作は、広告（または、広告グループ）のパフォーマンス情報480についてのドキュメント明細書を使用する。候補広告セット拡大の操作490は、少なくとも広告（または、広告グループ）のパフォーマンス情報480についての明細書を用いて、”適格”且つ”適正”な広告の数を増やすために使用される。広告評価調整の操作は、少なくとも広告（または、広告グループ）のパフォーマンス情報480についての明細書を用いて、すでに決定されている広告の評価455を調整するために使用される。広告パフォーマンス情報調整の操作493は、少なくとも広告（または、広告グループ）パフォーマンス情報480についてのドキュメント明細書を用いて、広告パフォーマンス情報436（あるいは、広告パフォーマンス情報436の代替か、または、それと組み合わせて用いられる）を一時的に調整するために使用される。最後に、パフォーマンス・パラメータ推計（補外法）の操作496は、広告パフォーマンス情報484を固定させるために、あるいはまた、調整・補完するために使用される。それらの操作を実現するための模範的方法については、後に述べる。
【００５６】
図５は、図３Ａのような環境の下においての本発明の第２の具体化500を示すバブル・ダイアグラムである。図３の環境300について触れたケースのように、評価の操作540は、広告（または、広告識別子）および関連広告の評価表555の多数性を決定するために、 一つあるいはそれ以上の広告532のそれぞれに対しての広告適格性情報534を使用するのとと同様に、ドキュメント510のドキュメント適格性情報520を使用する。広告555は、（絶対的な基準、あるいはまた、相対的な基準により）適格と考えられるものに限定され、ソート550される。それらの広告評価555には、次に、適正性決定の操作、あるいはまた、位置づけおよび強化特性適用の操作560が用いられる。いろいろな操作は、図示はされていないが、広告（または、広告グループ）582のパフォーマンス・データ584を使用するか、あるいはまた、特定のドキュメントまたはホスト（例えば、ウェブサイト）のための絞り込み函数587のパフォーマンス・データ588を使用する。
【００５７】
ドキュメント当たり、ホスト当たり、あるいはまた、コンセプト当たりの基準に対する広告パフォーマンス・データを収集、およびまた、集計する操作については示されていない。テーブル580に示されているような作業の全てにおいて、広告（または、広告グループ）のパフォーマンス情報584（例えば、クリック・スルー・レート、コンバージョン・レート、など）は、それらのパフォーマンス情報の下敷きのパーツ（例えば、インプレッション・カウント数、選択カウント数、など）（示されていない）と同様に、ホスト・ベース単位に一連の広告（または、広告グループ）のそれぞれに対して追跡がなされる。同様にして、テーブル586に示されているように、広告（または、広告グループ）パフォーマンス情報588は、それらのパフォーマンス情報の下敷きのパーツ（示されていない）と同様に、ホスト・ベース単位に一連の絞り込み函数587のそれぞれに対して追跡がなされる。例えば、図５に図示されているように、ドキュメント510のホスト514はテーブル580および586に結びつけられている。当該ホストに対応する全ての広告（または、広告グループ）582，587の平均の広告（または、広告グループ）パフォーマンス584，588も同様に決定、保存される。
【００５８】
本発明は、表示されていない操作についても、一つまたはそれ以上の操作を行っている。それらの操作は、広告パフォーマンスのホスト明細書580、あるいはまた、広告パフォーマンスの絞り込み函数についてのホスト明細書586を使用している。（図解を簡略化するために、他の操作によるこの情報580と586の利用は示されていない。）候補広告のセット拡張の操作590は、少なくとも広告（または、広告グループ）のパフォーマンス情報480についてのホスト明細書を用いて、”適格な”あるいは”適正な”広告の数を増やすために使用される。広告評価調整の操作591は、少なくとも広告（または、広告グループ）のパフォーマンス情報580についてのホスト明細書を用いて、すでに決定している広告の評価555を調整するために使用される。 広告パフォーマンス情報調整の操作593は、少なくとも広告（または、広告グループ）のパフォーマンス情報580についてのホスト明細書を用いて、広告パフォーマンス情報536（または、広告パフォーマンス情報436の代わりに、またはそれと組み合わせて用いられる）を（一時的に）調整するために使用される。広告評価操作594のドキュメント明細書およびホスト明細書は、適切な評価機能を選択するために、あるいはまた、評価機能の構成要素や広告評価操作540で用いられているパラメータ595をうまく調整するために使用される。例えば、異なった評価機能では、異なった広告絞り込み技術（例えば、キーワード・ベース、コンセプト・ベース、ドキュメント・ベース、ホスト・コンセプト・ベース、など）を使用したり、または異なった絞り込み技術をいろいろとウエイト付けを変え組合せて使用することが出来る。最後に、パフォーマンス・パラメータ推計（補外法）の操作596は、広告（または、広告グループ）のパフォーマンス情報584を一般化したり、あるいはまた、調整および補足したりするために使用される。これらの操作を展開するための模範的な方法については、後ほど記述する。
【００５９】
先に進めさせていただくと、本発明に付随する各種の操作は、パフォーマンス情報（例えば、広告、広告グループ、絞り込み機能、など）についてのドキュメント明細書が広告評価の前か、途中か、または後かのいずれの時点で適用されるかを考えるために使用される。
【００６０】
例えば、図６は、広告評価調整の操作691（再掲、図４および５の491と591を別々に）を図示したもので、その操作では、初期の評価655から調整された評価699を生出させるために広告パフォーマンス情報680についてのドキュメント明細書を使用している。初期の評価655は、（一般の）広告パフォーマンス情報636、ドキュメント情報620、およびその他の広告情報632（例えば、絞り込み情報、価格情報、広告主資質情報、など）によって以前に生出されたものである。そこで、図６は、広告評価の後における広告パフォーマンス情報についてのドキュメント明細書の使用に関して図示したもである。
【００６１】
図７は、広告パフォーマンスの混合（調整）操作793（再掲、図４および５の493と593を別々に）について図示したもので、その操作では、混合された（または、調整された）広告パフォーマンス情報798を生成させてくれる（一般の）広告パフォーマンス情報736を調整するために、広告パフォーマンス情報についてのドキュメント明細書780を使用している。
【００６２】
広告評価操作740は、広告評価750を生成するために、他の広告情報732やドキュメント情報720と同様に、そのような混合された広告パフォーマンス情報798を利用する。かくして、図７は、広告評価の前における、広告パフォーマンス情報についてのドキュメント明細書の利用に関して図示したものである。
【００６３】
図８は、評価機能895にある機能の評価、あるいはまた、パラメータの調整について選択を行うための操作、その選択・調整の評価操作894によって目標絞り込み機能が展開するわけであるが、それらの選択・調整操作の情報についてのドキュメント明細書（または、ホスト明細書）の利用に関して図示したものである。それから広告評価の操作840は、広告評価を生成するために、広告情報832やドキュメント情報820と同様に、選択された評価機能、およびまたは、評価機能のパラメータを使用する。図８は、広告評価の際の目標絞り込み機能のパフォーマンス情報についての（例えば、ドキュメント、ホスト、などの）明細書の使用に関して図示したものである。
【００６４】
前述の操作はパフォーマンス情報についてのドキュメント明細書を参照して記述されたが、このパフォーマンス情報は、あるグループのドキュメント（例えば、ホスト明細書、ドキュメント・クラスター明細書、など）に対しては具体的なものとなりうるものである。加えて、前述の操作は広告パフォーマンス情報を参照して記述されたが、グループ化された広告（例えば、広告グループ、など）のパフォーマンス情報は使用されるものである。
【００６５】
§ 4.2.2  ユーザ行動データの保存と集約
図９は、本発明に属する手法でデータを収集、集約する場合の模範的な方法の流れ図である。広告がドキュメントと関連して保存される度に、ドキュメント（およびまたは、ホスト）識別子（例えば、ＵＲＬ）が記録され、広告（およびまたは、広告グループ）の識別子も記録され、それから、インプレッション情報も記録される。（ブロック910）種々のユーザ行動情報が受け入れられる。（ブロック920）例えば、ドキュメント識別子、広告（あるいはまた、広告グループ）の識別子、ユーザ行動情報とコスト情報（例えば、選択当たりコスト、コンベンション当たりコスト）が受け入れられる。相互に、あるいはそれに加えて、ホスト識別子、広告（あるいはまた、広告グループ）の識別子、ユーザ行動情報とコスト情報が受け入れられる。相互に、あるいはそれに加えて、ホスト識別子、絞り込み機能（または、複数の絞り込み機能）、ユーザ行動情報、そしてコスト情報が受け入れられる。そのようなユーザ行動情報は継続的（すなわち、それが起こる度に）、あるいは付加的に（例えば、バッチで）に受け入れられる。それから、カウント数、あるいはまた統計は、受け入れられたり記録されたりした情報をベースにしてアップデートされる。（ブロック 930）情報は、カウント数を用いて区分分けされる。（ブロック 940）データは、秘密のデータを用いて調整される（なめらかにされる）。（ブロック 950）アップデートされたカウント数、およびまたは、統計は保存される。（ブロック 960）ドキュメント識別子（例えば、ＵＲＬ）またはホスト識別子（例えば、ホームページＵＲＬ）は、保存されたカウント数、およびまたは、統計に対する検索キーとして用いられる。（ブロック960）
ブロック910 に戻って参照すると、本発明は、ユーザ行動（例えば、Ｇｏｏｇｌｅウェブサーバーのような、フロント・エンド・ウェブサーバーの使用）の記録を集約したり、ＵＲＬ当たり、ドメイン当たりの情報ベースに統計を記録したりするのに、オフライン処理を行う。例えば、全てのクリック、およびインプレッションのサンプルは収集することが出来る。（例えば、１日に２回とか）このデータは、下で”デイリー・デコーデド・ログ・データ”（Daily-Decoded Log Data）として参照される。
【００６６】
ブロック920 および930に返って参照すると、上記データ、および”AdGroupCreativeld-to-AdGroup ”のマッピングから、データ構造の概要が見えてくる。次のデータ構造は、AdGroupの精度を徐々に下げているようなコンテンツ広告システムに対しては有用である。そしてそれが、集約のユニットとして使用し続けられる理由なのである。他の集約単位（例えば、AdGroupCreativld 、または類似のユニット）も可能で、次のデータ構造はそれに従って修飾されうるものである。次に、”numimprs ”はインプレッション（impressions）の数を意味している。”numclicks ”はユーザ選択（例えば、クリック）の数を意味している。”avgcpc ”は選択（例えば、クリック）当たりの平均を意味している。そして、”avgctr ”は平均の選択（例えば、クリック・スルー）割合を意味している。
【００６７】
(1) URL:-> {AdGroup, numimprs, numclicks, avgcpc} + avgctr 
(2) Host:-> {AdGroup, numimprs, numclicks, avgcpc} + avgctr 
(3) Host:-> {targeting-feature, numimprs, numclicks, avgcpc} + avgctr 
(4) AdGroup:-> {numimprs, numclicks, avgcpc} + avgctr 
前述のデータ構造を生成させるために、本発明は、最後の K days (e.g., 2 months) of Daily-Decoded-LogDataを集約し、全てのキー[ numimprs > threshold-nun- imprs or numclicks > threshold_num_clicks ]に対する情報を維持する。平均のパフォーマンス情報も生成され、保存される。例えば、次の項目の全てに対してのユーザ行動の平均が決められる。次の項目とは：（a）ドキュメント当たりの広告グループ数、（b）ホスト当たりの広告グループ数、および（c）ホスト当たりの目標絞り込み機能の数、である。
【００６８】
ブロック940に返って参照すると、この集約は、「カウンティング  ＋  スレッシュホールディング(閾値)」問題[ "counting + thresholding" trouble ]の一例になるものである。そして、そこには、エントリーへの長い”しっぽ”がついているのである。すなわち、典型的な例となるが、全てのＵＲＬとAdGroupsにはカウンターが付けられていて、そのカウンターが一回の集計で閾値に到達出来ない場合には放棄されてしまうということである。これは古典的な”氷山”クエリー（註：”フリーズ”）と考えられるが、本発明では、この閾値早く解決するために、これまでに知られている技術を用意している。（参照：研究報告、M. Fang, N. Shivakumar, H. Garcia-Molina, R. Motwani, J. Ullman, "Computing Iceberg Queries Efficiently," 24th International Conference on Very Large Databases, (August 24-27, 1998)）
ブロック950に返って参照すると、本発明の洗練された具体化例では、データなめらかに扱えるのである。クリックの統計の信頼性は、異なった広告やＵＲＬによって大きく変化する。例えば、広告Ｘが1,000インプレッションで200クリックを獲得したとする。一方、広告Ｙは5インプレッションで1クリックを獲得したとする。両者は同じＣＴＲであるが、広告Ｘに対する統計的信頼性は、広告Ｙのそれよりも高いのである。
【００６９】
このような信頼性パラメータを反映するために、本発明では、次のように、ＣＴＲ値を平均的なコンテンツを有する広告のＣＴＲに向けて平準化している：−
SmoothedCTR = (Clicks + 1) / (Impressions + 1 / BaseCTR) 
ＣＴＲ値を平準化するための別な方法もある。一つの代替式は、次の式を用いることである：−
SmoothedCTR = CTR * confidence + BaseCTR * (1 - confidence) 
ここで、信頼性は、インプレッションの数によって決まる。信頼性はまた、例えばデータ・サンプルの年令のようなデータの特性値の函数でもある。
【００７０】
上で述べたようなクリック統計データの構造を維持するためのオプションに加えて、本発明と同じような方法でクリック統計を収集・保管するための方法が他に多く存在する。統計は全時間の期間を対象に収集される。同様に、統計は、時間を付け加えながら収集、ロードされる。統計はファイルに保管され、使用中はメモリにロードされる。同様に、あるいはそれに加えて、それらはデータベースに保管され、使用中は引き出される。コンピュータのオフラインでフィードバックが定期的に書き込まれるが、その様なフィードバック計算はオンラインで、しかもリアルタイムでも行われる。
【００７１】
図４および５のデータ構造480，580，586のようなデータ構造を生成するための、ユーザ行動データを記録・集約する技術の模範については記述してきたが、本発明と同じようなやり方でそれらのデータ構造を活用していく方法について以下の§ 4.2.3で記述する。
【００７２】
§ 4.2.3  保存されているユーザ行動データを使用しての広告評価を決定およびまたは調整
§ 4.2.3.1  候補広告のセット拡張
図１０は、本発明と同じ方法で候補広告（再掲−例示：操作490および590）のセットを拡張するための模範的方法についての流れ図である。ドキュメント識別子（例えば、ＵＲＬ）が受け入れられる。（ブロック 1010）保存・集約されているユーザ行動データを用いて、ドキュメントのために、ベストな展開をする広告（または、広告グループ）の初期設定番号（例えば、”Ｋ”、Ｋは一つの具体化の中の1から500までの範囲に入る）が決定される。（ブロック1020）最終的に、ベストな展開をする広告（または、広告グループ）の初期設定番号を少なくとも含んでいる、候補広告のセットが決定される。（ブロック 1020）候補広告のセットは、通常の処理の下で決定されるような広告を含んでいる。ここでは示されていないが、広告の初期セットを、あるいはまた、それによって初期セットの拡張を行う広告番号”Ｋ”を拡張するかどうかについては、初期セットの中にある広告の絶対的、あるいはまた、相対的なパフォーマンスに依存する。
【００７３】
先の記述から分かるように、本発明におけるこの態様は、当該ドキュメントとの関連における運用が適正となるようにするため、全体として（例えば、あらゆるドキュメントに対して）特別によく運行されるものではなくても、当該ドキュメント（または、当該ホスト）に対してはよく運行されるような広告を容認するものである。
【００７４】
本発明の具体化の模範の一つとして、各ＵＲＬに対して、最も高いＣＴＲの数値：トップ”Ｋ”を持つAdGroupsは、通常の評価メカニズムから得られたAdGroupに付加される。これは次のデータ構造を用いて行われる：−
URL:> [AdGroup,numimprs,numclicks,avgcpc j + avgctr
§ 4.2.3.2  広告評価調整技術
§ 4.2.3.2.1  広告評価調整
図１１は、本発明と同じ方法で広告評価の調整（再掲：例えば、操作491および591）を行う模範的な方式を図示した流れ図である。広告（または、広告グループ）候補およびそれぞれの評価が受け入れられる。（ブロック 1110）ドキュメント識別子（例えば、ＵＲＬ）、およびまたは、ホスト識別子（例えば、ウェブサイト・ホームページＵＲＬ）が受け入れられる。（ブロック 1120）ループ1130 - 1160に示されているように、それぞれの受け入れられた広告（または、広告グループ）候補に対していくつかのアクションがなされる。（ブロック1140）全ての広告（または、広告グループ）をカバーするドキュメント、およびまたは、ホストに対する平均のパフォーマンス情報が受け入れられる。それから、受け入れられたパフォーマンス情報についてのドキュメント明細書、およびまたは、ホスト明細書を用いて（それから、平均のパフォーマンス情報を用いて）、広告（または、広告グループ）の評価が調整される。（ブロック1160）全ての広告（または、広告グループ）候補が処理されると、手法1100は離れる。（ブロック1170）
先の記述から分かるように、広告の評価は、広告に対するパフォーマンス情報についてのドキュメント明細書、およびまたは、ホスト明細書を用いて調整される。そして、広告の評価というものは、少なくとも一緒に働く文書との関わりを持たない、広告遂行の機能の一つである。
【００７５】
本発明の具体化の模範の一つとして、当該ウェブページまたはホスト上のＣＴＲを用いて、AdGroup候補およびコンセプト（例えば、ＰＨＩＬクラスター）は再評価される。
【００７６】
これは、次のデータ構造を用いてなされる：−
URL: -> [AdGroup,numimprs,numclicks,avgcpc] + avgctr
図１１の方法1100は、パフォーマンス情報についてのドキュメント（およびまたは、ホスト） 明細書の後評価の適用につてのサンプルである。  
§ 4.2.3.2.2  広告パフォーマンスの調整  
図１２は、本発明と同じ方法で（一時的に）広告パフォーマンス情報（再掲−例示：操作493および593）を調整するための模範的な方法の流れ図である。適正な広告（または、広告グループ）および 広告（または、広告グループ）のパフォーマンス情報が受け入れられる。（ブロック1210）ドキュメント識別子（例えば、ＵＲＬ）およびまたは、ホスト識別子が受け入れられる。（ブロック1220）ループに示されているように、受け入れられた広告（または、広告グループ）候補に対して一連のアクションが遂行される。更に詳細に述べれば、広告（または、広告グループ）のパフォーマンス情報についてのドキュメント明細書、およびまたは、ホスト明細書が受け入れられる。（ブロック1240）全ての広告（または、広告グループ）をカバーするドキュメント、およびまたは、ホストに対する平均のパフォーマンス情報が受け入れられる。それから、受け入れられたパフォーマンス情報についてのドキュメント明細書、およびまたは、ホスト明細書を用いて（それから、平均のパフォーマンス情報を用いて）、広告（または、広告グループ）のパフォーマンス情報が調整される。（ブロック1250）全ての広告（または、広告グループ）候補が処理されると、手法1200は離れる。（ブロック 1270）
先の記述からも分かるように、当該ドキュメントに関連する広告の評価を決定するために、広告に対するパフォーマンス情報についてのドキュメント明細書、およびまたは、ホスト明細書を用いて、広告のパフォーマンスは調整される。そして、広告のパフォーマンスでは、通常、共に働くドキュメントについては考慮が払われない。図１２に示されている方法1200は、ドキュメント（およびまたは、ホスト）明細書情報（再掲−例示：図７）の前評価への適用のサンプルである。
【００７７】
本発明の具体化の模範の一つとして、ウェブページ、ウェブサイト、または、コンテンツ広告の明細な選択統計は広告サーバーへ送られ、それらは広告評価を決定するために用いられる。（例えば、広告の位置づけおよび広告特性の割り当ての用途として）これは、次のデータ構造の一つまたはそれ以上を用いて行われる：−
URL: -> [AdGroup, numimprs, numclicks, avgcpc) + avgctr; 
Host.--> (AdGroup, numimprs, numclicks, avgcpc} + avgctr; and 
(AdGroup: -> (numimprs, numclicks, avgcpc) + avgctr). 
本発明と一貫していることであるが、選択統計は、広告サーバーに送られるAdGroupリストの中にある個々のAdGroupに貼り付けられる。 本発明は、それが存在するときは、ＵＲＬレベルの統計を使用する。そうでない場合は、ホスト・レベル（例えば、ウェブサイト・ホームページＵＲＬレベル）の統計、コンテンツ広告の資源を横断するAdGroup統計、または、滅多に参照されないケースであるが、コンテンツ広告の手段であるAdCTRを使用する。
【００７８】
§ 4.2.3.2.3  ドキュメントおよびホスト明細広告の評価機能の決定
図１３Ａは、本発明と同じ方法による、ドキュメント（または、ホスト）明細の評価の機能（再掲−例示：操作594）を選択するための模範的な方法1300を図示したものである。ドキュメント（または、ホスト）識別子が受け入れられる。（ブロック 1305）最善のパフォーマンスを持った評価機能（そのドキュメントに対して広告に貢献したもの）が決定される。（ブロック 1310）（再掲−例示：図５の情報586）それから、決定された評価機能1300がそこを離れる前に（ノード1320）、その評価機能は、一つあるいはまたそれ以上の広告を評価するために使用される。（ブロック 1315）
図１３Ｂは、本発明と同じ方法による、ドキュメント明細、またはホスト明細の広告評価（再掲−例示：操作594）のための模範的な方法1350の流れ図である。注意することは、機能を利用して広告の評価が決定されるということである。その機能は、貴重な要素（例えば、コンセプト、キーワード、価格情報、パフォーマンス情報、類似の測定基準、およびまたは、広告主の資質情報、など）や普遍な要素（例えば、変数にウエ。イト付けをしたり、指数函数にべき乗の変数を与えたりするために用いる数字、）を含んでいる。
【００７９】
ドキュメント識別子（例えば、ＵＲＬ）、およびあるいはまた、ホスト識別子が受け入れられる 1355。ループ  1360 - 1375  に示されているように、広告評価関数の構成要素やパラメータのそれぞれの値に対して多くの動作が遂行される。更に詳細に述べれば、当該構成要素やパラメータに対するパフォーマンス情報についてのドキュメント明細書、およびまたは、ホスト明細書は受け入れられる。（ブロック 1365）全てのパラメータや構成要素にまたがるドキュメント、およびあるいは、ホストに対する平均のパフォーマンス情報は受け入れられる。評価における構成要素やパラメータの重要性については、それらの受け入れられているパフォーマンス情報についてのドキュメント明細書、およびまたは、ホスト明細書を用いて調整される。（同様にして、受け入れられている平均のパフォーマンス情報も陥られる。）（ブロック1370）全ての構成要素やパラメータが処理された後で、当方法1350はシステムを離れる。（ノード 1380）
本発明におけるこの特性の模範的な適用については、現在、提供がなされている。広告について、いろいろな事象がある中から、場所と時間帯の2つの要素を用いて、目標絞り込みがなされると仮定する。更に、特定のウェブページが動作していて、場所を用いて絞り込まれた広告の方が、時間帯を用いて絞り込まれた広告よりもよく絞り込みが遂行されていると仮定する。この場合、特定のウェブページと共に動作する広告が決めらると、絞り込み函数の場所要素の方が、絞り込み函数の時間帯要素よりもより重みが置かれることになる。
【００８０】
図１３Ａおよび１３Ｂに示された方式1300および1350は、それぞれに種々の側面をもっているが、組み合わせても使用されるということに注目する必要がある。
【００８１】
先の記述からも分かるように、本発明のこの側面は、 評価機能、およびまたは、その構成要素に関連するパフォーマンスについてのドキュメント（およびまたは、ホスト）明細書が使用されうることを容認している。（そしてこの場合は、当該広告に関連するパフォーマンスについてのドキュメント、およびまたは、ホスト明細書の場合より、より一般的であるかもしれない。）そこで、例えば、”自動車”と”ロールス・ロイス”というカテゴリーに関連しているウェブページに対して、”贅沢な不動産”というカテゴリーを持つ広告の方が、”自動車”というカテゴリーを持つ広告よりよいパフォーマンスを挙げるかもしれない。かくして、そのドキュメントが保持されることになるときは、カテゴリー”自動車”と”贅沢な不動産”とに関連するウエイトは、当然のこととして調整されることになる。他の例としては、ホスト適格性（例えば、コンセプト）絞り込みを用いて働く広告の方が、ドキュメント適格性（例えば、コンセプト）絞り込みを用いて働く広告より、よりパフォーマンスを挙げてきた。そして、それらは、パフォーマンスや価格パフォーマンス上で単独に絞り込みをされてきたものよりも、よいパフォーマンスを挙げてきたのである。このこは、どの評価機能を用いるべきかということを決めるのに影響を与えるかもしれないし、あるいは、最終評価の決定に当たって、異なった評価機能からの評価をどのようにウエイト付けするかということに影響を与えるかもしれない。
【００８２】
本発明の具体化の模範としての記述、”and”絞り込み機能の必要なスペースの他に、特別な絞り込み機能が選択される。それは、ＵＲＬ（例えば、デフォルトのコンテンツ、親子ＵＲＬ[ parent-url ]，ＵＲＬキーワード）用に、当ホストと絞り込み機能のためのクリック統計を使用するためである。このこは、次のデータ構造を用いて行われる：−
Host: -> ｛targeting function, numimprs, numclicks, avgcpc｝+ avgct. 
図１３Ａおよび１３Ｂの方法は、評価を行っている間のパフォーマンスについてのドキュメント（およびまたは、ホスト）明細書の適用のサンプルである。
【００８３】
§ 4.2.3.3  コンセプト・ベース広告パフォーマンス推計および補外法
図１４は、本発明と同様の方法で広告パフォーマンス情報を推計、およびまたは、調整を行うための模範的な方法1400である。ドキュメント・コンセプト（およびまたは、ホストコンセプト）が受け入れられか抽出される。（ブロック 1405 ）ループ1410 - 1465 に示されているように、受け入れられたたか、または抽出されたコンセプトのそれぞれに対して、一連の処理が行われる。更に明細に述べれば、最初のコンセプト適格な広告セットが決定される。（ブロック 1415 ）それから、ループ1420 - 1430 に示されているように、決定されたコンセプト適格な広告のそれぞれに対して、パフォーマンス情報についてのドキュメント明細書（およびまたは、ホスト明細書）が探し出される。（ブロック 1425 ）それから、コンセプト適格と決定されなかった広告ではあるが、しかしそれにもかかわらず、パフォーマンスについての高いレベルのドキュメント明細書（およびまたは、ホスト明細書）を持つ広告が、ないかどうかが確認される。（判断ブロック1435 ）高いパフォーマンスは、相対的な、または絶対的なパフォーマンスを用いて決定される。もしそうであれば、最初の広告セットとその他の広告を含む第２の広告セットが、高いパフォーマンスのあるものとしてとして、決定される。（ブロック 1440）一方、方法1400は、ブロック1445を続けている。コンセプト適格ではないが、その代わりに高いパフォーマンスのドキュメント（およびまたは、ホスト）明細書を持つ広告が存在しない場合は、方法1400は直接ブロック1445に進む。コンセプトと関連のある広告のパフォーマンスを用いて、コンセプト・パフォーマンスが決定される。（ブロック 1445）ループ 1450 - 1460に示されているように、ドキュメント（およびまたは、ホスト）明細書に対するパフォーマンス情報を全然持たない決定広告のそれぞれに対しては、推計のコンセプト・パフォーマンスを用いて、そのような広告のそれぞれについてのパフォーマンス情報がアップデートされる。（または、その代わりか、あるいは、それに加えてであるが、統計的に意味のある程度のパフォーマンス情報を持っている決定広告に対しても、およびまたは、コンセプト適格な全ての広告に対しても、同様である。）（ブロック1455）推計のコンセプト・パフォーマンスは、コンセプト以下に落ち込んでいる広告のパフォーマンスについてのドキュメント（およびまたは、ホスト）明細書を用いて決定される。一度、全ての広告とコンセプトについての処理を終えると、方法1400はその場を離れる。（ノード 1455）
パフォーマンス・パラメータ推計（補外法）の操作496および596は、コンセプト・ベースである。これらの操作は、広告（または、広告グループ）、およびまたは、広告主が一時的であれば有用である。それは、そのようなケースにおいては、当該ドキュメントの当該広告に関連する、統計的に有意な量のユーザ行動データを集めることは、不可能でないにしても、困難なことであるからである。追跡されるユーザ行動データ（例えば、クリック）の数が、（ＵＲＬで識別されるような）ドキュメントおよび広告の数に対して相対的に小さな数である場合には、ユーザ行動（クリック）の統計マトリックスはやや希薄なものになるであろう。ある広告ではクリックとインプレッションがほとんどなかったり、大概の広告では統計が全くなかったりする。限られたデータ・ポイントを効果的に活用するために、本発明は、ドキュメント（または、ホスト）のためのユーザ行動データの無い（または、非常に少ない）広告へユーザ行動（例えば、クリック）の統計を定着させるため、パフォーマンス・パラメータ推計法（補外法）の操作496，596を活用する。この操作496，596は、広告から広告への、増殖統計のため橋渡しとしてコンセプトを活用する。
【００８４】
図１５は、この表にある操作方法のサンプルについて図示した図解である。ドキュメント1510が、ＵＲＬ：http://www.webshots.com/g/tr.html を持っていると仮定する。例えば、ドキュメント1510に対するコンセプトＣ１、Ｃ２、およびＣ３  1520が抽出されたとします。一連のコンセプト適格な広告Ａ１、Ａ２、およびＡ９  1530は、この抽出されたコンセプト1520を用いて生出される。（再掲−参照：図１４のブロック1415）本発明は、クリック統計表についてのドキュメント明細書を検索するために、ドキュメント1510のＵＲＬを使用する。この表を用いて、本発明は、広告Ａ１、Ａ４、Ａ５、およびＡ８（それぞれは、濃い円枠で描かれている）のそれぞれに対するクリック統計を見いだすのに使用される。一方、広告Ａ２、Ａ３、Ａ６、Ａ７、およびＡ９は、クリック統計を持たない。（再掲−参照：図１４のブロック1425）
クリック統計の表から、広告Ａ１０は高いＣＴＲを持っているが、しかし、最初のラウンドの” content->concepts->ads ”のマッチング（突き合わせ）までは戻らないということが決定されたことになる。広告（または、広告グループ）候補のセットは、広告Ａ１０を含むまで拡張される。（再掲−参照：図１４のブロック1435および1440）
コンセプトＣｉのそれぞれについてのクリック統計は、コンセプトおよび広告コンセプトの接続性に関連する広告のためのクリック統計を用いて推計される。（再掲−参照：図１４のブロック1445）図１５の中の短い点線で示されている所についてであるが、コンセプトＣ１のクリック統計は広告Ａ１とＡ５のクリック統計の函数である。 コンセプトＣ２のクリック統計は広告Ａ４とＡ５のクリック統計の函数である。そして、コンセプトＣ３のクリック統計は広告Ａ８とＡ１０のクリック統計の函数である。本発明の具体化の模範の一つは、各コンセプトＣｉに対するクリック統計が次のように決定されることである：−
clicks(G) = sum Aj {clicks(Aj) : P(CijAj)} 
imprs(Ci) = sum Aj {imprs(Aj) * P(CilAj)} 
ctr(Ci) = clicks(O) I imprs(Ci)
ここで、P(CijAj)は、広告AjのコンセプトCiの確率である。例えば、Ａ８とＡ１０の両方は高いＣＴＲを持っていて、それらはコンセプトＣ３とよい関連性がある。（例えば、ＰＨＩＬクラスター分析によって）従って、コンセプトＣ３は高く推計されたＣＴＲを持つことになる。
【００８５】
図１５の中の長い点線で示されている所についてですが、コンセプトから得られる統計は、類似の態様で広告の休止符（例えば、クリックデータが無いとか、統計的に意味のあるクリックデータが無い広告）のところまで広げられる。かくして、高いＣＴＲの割合でコンセプトに関連づけられている広告は、高いＣＴＲの推計値が得られる。そして、低いＣＴＲの割合でコンセプトに関連づけられている広告は、低いＣＴＲの推計値となる。（再掲−参照：図１４のブロック1455）例えば、関連するコンセプトＣ２およびＣが３相対的に高いＣＴＲの推定値を持っているとすると、広告Ａ７はＣＴＲの５％という相対的に高い値が与えられることになる。他方、関連するコンセプトＣ１が相対的に低いＣＴＲの推定値を持っているとすると、広告Ａ３はＣＴＲの0.008％という相対的に低い値が与えられることになる。
【００８６】
本発明は、次の仮定に基づいて、広告とそのコンセプトとの間におこるクリック統計の拡張性を遂行するものである。その仮定とは、当該コンセプト上にある広告が、当該ドキュメント（または、ホスト）に対して高い（または、低い）パフォーマンスをアーカイブ（蓄積）したとすると、そのコンセプト上にある他の広告も相対的に高い（または、低い）パフォーマンスを持ちやすくなり、それにつれて、当該ドキ用いられるュメント（または、ホスト）が動いているときにはクリックされやすくなる、というものである。コンセプト・ベースの強化が図られているときには、種々の強化または弱体化のファクターが適用される。
【００８７】
本発明の具体化の一つでは、コンセプトと広告評価は、それらについての実際の、または推計のＣＴＲを用いて、調整がなされる。例えば、調整された評価は次の式を用いて決定される：−
new_score - old_score * (CTR / BaseCTR)
かくして、CTR > BaseCTR を持つ広告およびコンセプトは進化し、低い CTR の広告およびコンセプトは退化する。広告システムの中で用いられるこの公式は、経験的な結果にも当てはまるのである。
【００８８】
§ 4.2.3.4  操作の結合
本発明は、コンテンツ目標絞り込み広告の改善をするために、一つまたはそれ以上の、上述した操作を使用する。そして、このコンテンツ目標絞り込み広告は、ドキュメントおよびホスト明細書を用いて、ユーザ行動のフィードバック（例えば、クリック統計）に貢献をしている。例えば、本発明の具体化について挙げると、
１．  一つあるいはそれ以上のコンセプト（ Doc->concept ）を決定するためには、ドキュメント情報（例えば、ドキュメント識別子）を用いる。例えば、ウェブページのコンテンツはＰＨＩＬサーバーに提供される。そして、ＰＨＩＬサーバーは、クラスターと活動のマッチング（突き合わせ）のリストを送り返す。（この具体化では、もしページがネガティブでポルノのようなものに分類される場合は、広告は返されないことになっている。
【００８９】
２．  コンセプトは再評価される。例えば、マッチングされたクラスターの評価は、クリックされた広告のクリック統計から計算された推計ＣＴＲを用いて調整が行われる。
【００９０】
３．  それから、そのコンセプトは、コンセプト適格な広告を決定するために用いられる。例えば、そのマッチングされたクラスターは、広告候補マッチングのリストを取り出すのに用いられる。
【００９１】
４．  トップＣＴＲをもつ広告の規定値の数字（Ｋ）は、候補広告の初期セットに加えられる。
【００９２】
５．  それから、候補広告グループに対する評価の中間値は、広告情報（例えば、目標絞り込みの基準、着地ページのコンテンツ、およびまたは、広告テキスト）が以下に良くドキュメント（例えば、ウェブページ）のコンテンツにマッチするかというメジャーを用いて決定される（ＰＨＩＬ、またはＮ−Ｇｒａｍを用いて）。
【００９３】
６．  広告の評価は、推計されたクリック統計から計算された、実測および推計のＣＴＲを用いて、調整される。
【００９４】
７．  最後に、トップ評価の広告は、広告とドキュメントのコンテンツを結合するために設備機器（例えば、広告ミキサー）に送られる。 例えば、トップ評価の広告グループは、選別され、広告ミキサーへ送られる。
【００９５】
本発明は、リストに挙げられた候補広告を競争広告として篩い出す。
【００９６】
更に、家族安心の広告のみが見られるようになっている場合は、ポルノ広告はブロック・アウトされる。
【００９７】
§ 4.2.4  模範的装置
図１６は、上で議論を重ねてきた一つあるいはそれ以上の操作に影響を及ぼす機械1600に関する高次元のブロック図である。この機械1600は、基本的には次の設備機械等を含む。すなわち、一つまたはそれ以上の処理装置1610、一つまたはそれ以上の入出力インターフェース・ユニット1630、一つまたはそれ以上のストレージ機器1620、一つまたはそれ以上のシステム・バス、およびまたは、ネットワーク1640などであり、それらは組み合わされた要素間の情報のコミュニケーションを手助けするものである。一つまたはそれ以上の入力機器1632と一つまたはそれ以上の出力機器1634は、一つまたはそれ以上の入出力インターフェース1630と組み合わせられる。
【００９８】
一つまたはそれ以上の処理装置1610は、機械が実行できる命令を実行させて、本発明の一つまたはそれ以上の局面に効果を及ぼす。（機械が実行できる命令：例えば、 C または C++：  Solaris オペレーティング・システム上で走る、Sun Microsystems Inc. Palo Alto, Californiaより出荷・利用可。または、 Linax（登録商標） オペレーティング・システム上で走る、Red Hat, Durham, North Carolinaのような多くのベンダーから出荷・広く利用可。）最低限として、一連の機械で実行可能な命令は、一つまたはそれ以上のストレージ機器1620に（一時的に、または更に永久的に）保存されるか、およびまたは、一つまたはそれ以上の入力インターフェース・ユニット1630を経て、外部の情報源から受け取られる。
【００９９】
一つの具体化では、機械1600は、一つまたはそれ以上の従来のパソコンである。このケースでは、処理装置1610は、一つまたはそれマイクロプロセッサーである。バス1640は、システム・バスを含む。ストレージ機器1620は、リード・オンリー・メモリー（ＲＯＭ）、およびまたは、ランダム・アクセス・メモリー（ＲＡＭ）のようなシステム・メモリーを含む。ストレージ機器1620は、ハード・ディスクに読み書きするためのハード・ディスク・ドライブ、その他のものを含む。含まれるその他のものとしては、（例えば、リムーバブルな）マグネティック・ディスクに読み書きするためのマグネティック・ディスク・ドライブ、および、コンパクトなディスクまたは（マグネット−）光メディアのような脱着可能な（マグネット−）光ディスクに読み書きするための光ディスク・ドライブがある。
【０１００】
ユーザは、例えばキーボードやポインティング・デバイス（例えば、マウス）のような入力機器1632を通じて、パソコンに命令や情報を入力する。また他の入力機器としては（または、代わるものとして）、次のようなものが含まれる：マイクロホン、ジョイスティック、ゲーム・パッド、サテライト・デッシュ、スキャナー、あるいは同様なもの。
【０１０１】
これらや他の入力機器は、通常、システム・バス1640とつながっている適切なインターフェース1630を通じて処理ユニット1610に接続されている。出力機器1634は、モニターや他のタイプのデスプレイ機器を含む。そして、それらはまた、適切なインターフェースを通じてシステム・バス1640に接続される。モニターに加えて（または、それに代わって、）パソコンは、例えばスピーカーやプリンターのような、他の（周辺）出力機器（ここでは示されていない）を含む。
【０１０２】
§ 4.2.5  代替選択肢
この発明については、ＣＴＲのようなクリック統計を引用して記述してきたが、他のユーザ行動（例えば、ユーザ・レーティング（user rating）、コンバージョン（ conversion）など）も同様な方法で、記録され、保存され、処理され、およびまたは、利用される。
【０１０３】
データの収集と処理はこれまで広告グループのレベルで行われてきたが、そのようなデータの収集およびまたは処理は、個々の広告上で行われることになる。あるいは、他の収集単位の広告上で行われることになる。例えば、そのようなデータの収集およびまたは処理は、広告当たり、絞り込まれたコンセプト当たり、プレゼンテーションのフォーマット（例えば、広告カラー構想、テキストのフォント、広告の境目）当たり、等で行われることになる。同様に、データは、ドキュメント当たりのベース、ホストのベース、およびまたは、その他のドキュメント集約単位（例えば、クラスター分け、クラス分け、など）の機能に基づいたベースで、収集され、およびまたは、集約される。ドキュメントの集約単位（例えば、ドキュメント・セット）は、ウェブ上の全てのウェブページに対する補助セットのように、収集された全ての文書に対する補助セットとなるであろう。
【０１０４】
本発明は上述の具体化に限定されるものではなく、同時に、発明者は全ての記述された主要事項につて自らの発明とするものである。
【０１０５】
§ 4.3   結語
この公開に当たって、この発明がコンテンツ目標絞り込み広告システムに活用されることを願うものである。
【図面の簡単な説明】
【０１０６】
【図１】広告システムと相互作用を及ぼす団体や組織機構を示す高水準図。
【図２】本発明の稼働する、または関連する、環境を図示した図。
【図３Ａ】本発明が使用される、または関連する、コンテンツ絞り込み広告の          動作環境についてのバブル・ダイアグラム 。
【図３Ｂ】技術に貢献する代替広告についてのバブル・ダイアグラム。
【図４】図３Ａのような環境における本発明の最初の稼働状態についての          バブル・ダイアグラム。
【図５】図３Ｂのような環境における本発明の第二次稼働状態についての            バブル・ダイアグラム。
【図６】本発明の適用記録した後広告について図示したバブル・ダイアグラム。
【図７】本発明の適用を記録した前広告について図示したバブル・ダイアグラム。
【図８】本発明の広告記録への適用について図示したバブル・ダイアグラム。
【図９】本発明と同じ方法でデータ収集・集約を行う方式のモデルについての流れ図。
【図１０】本発明と同じ方法で候補広告セットの拡張を行う方式のモデルについての              流れ図。
【図１１】本発明と同じ方法で広告スコアの調整を行う方式のモデルについての              流れ図。
【図１２】本発明と同じ方法で（一時的な）広告展示情報の調整を行う方式の              モデルについての流れ図。
【図１３Ａ】本発明と同じ方法で広告の評価を行うドキュメント明細書                またはホスト明細書の方式についての流れ図。
【図１３Ｂ】本発明と同じ方法で広告の評価を行うドキュメント明細書                またはホスト明細書の方式についての流れ図。
【図１４】本発明と同じ方法で広告展示情報を評価したり、あるいはまた、            調整をしたりする方式のモデルについての流れ図。
【図１５】図１４の方式の操作例を図示した図。
【図１６】遂行される種々の操作の中で少なくとも何種類かの操作には効果を生じさせ、しかもまた、この発明と同様に活用することができ得る、あるいはまた、産み出されてくる情報を、少なくともいくつかは蓄積していけるようにするための装置、その装置のブロック図。
【図１】
2006528388.tif 000003
【図２】
2006528388.tif 000004
【図３Ａ】
2006528388.tif 000005
【図３Ｂ】
2006528388.tif 000006
【図４】
2006528388.tif 000007
【図５】
2006528388.tif 000008
【図６】
2006528388.tif 000009
【図７】
2006528388.tif 000010
【図８】
2006528388.tif 000011
【図９】
2006528388.tif 000012
【図１０】
2006528388.tif 000013
【図１１】
2006528388.tif 000014
【図１２】
2006528388.tif 000015
【図１３Ａ】
2006528388.tif 000016
【図１３Ｂ】
2006528388.tif 000017
【図１４】
2006528388.tif 000018
【図１５】
2006528388.tif 000019
【図１６】
2006528388.tif 000020
【手続補正書】
【提出日】平成18年8月22日(2006.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ａ）一又はそれ以上のメッセージのセットために、文書のためのパフォーマンス情報を受け入れ、
ｂ）前記受け入れられたパフォーマンス情報を用いて一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正し、
ｃ）（Ａ）前記文書を提供するために一又はそれ以上のメッセージの少なくとも一つを送信するか否か、及び／又は（Ｂ）どのようにして一又はそれ以上のメッセージの少なくとも一つが前記メッセージのスコアを用いて前記文書を提供するか、を決定する、
ことを含むコンピュータ実行方法。
【請求項２】
前記パフォーマンス情報はユーザメッセージセレクション及びメッセージインプレッション情報を含む請求項１の方法。
【請求項３】
前記文書はＵＲＬにより特定されるウェブページである請求項１の方法。
【請求項４】
前記一又はそれ以上のメッセージのそれぞれのスコアの評点及び修正の動作は、
ｉ）少なくとも前記メッセージの全体的なパフォーマンス情報を用いて第１スコアを決定し、
ｉｉ）前記文書のための前記メッセージの前記受け入れられたパフォーマンス情報を用いて前記第１スコアを修正する、
ことを含む請求項１の方法。
【請求項５】
前記一又はそれ以上のメッセージのそれぞれのスコアの評点及び修正の動作は、
ｉ）少なくとも前記メッセージの全体的なパフォーマンス情報と前記文書のための前記メッセージの前記受け入れられたパフォーマンス情報を用いて、前記メッセージの混合されたパフォーマンス情報を決定し、
ｉｉ）前記決定された混合されたパフォーマンス情報を用いてメッセージを評点する、
ことを含む請求項１の方法。
【請求項６】
前記第１のスコアを決定する動作は、少なくとも文書情報を更に用いる請求項４又は５の方法。
【請求項７】
前記第１のスコアを決定する動作は、少なくともメッセージ絞り込み情報を更に用いる請求項４又は５の方法。
【請求項８】
前記第１のスコアを決定する動作は、少なくともメッセージ関連性情報を更に用いる請求項４又は５の方法。
【請求項９】
ｃ）文書のための絞り込み関数パフォーマンスを受け入れる、
ことを更に含み、
前記一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正する動作は、文書のための前記受け入れられた絞り込み関数パフォーマンスを更に用いる、請求項１の方法。
【請求項１０】
前記一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正する動作は、
ｉ）少なくとも前記文書のための前記受け入れられた絞り込み関数パフォーマンスを用いてスコアリング関数を選択し、
ｉｉ）メッセージ情報と文書情報を、スコアを生成するために、前記選択されたスコア関数に適用する、
ことを含む、請求項９の方法。
【請求項１１】
前記一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正する動作は、
ｉ）少なくとも前記文書のための前記受け入れられた絞り込み関数パフォーマンスを用いて前記スコア関数の一又はそれ以上のパラメータを選択し、
ｉｉ）メッセージ情報及び文書情報を、スコアを生成するために、前記選択された一又はそれ以上のパラメータと共に前記スコア関数に適用する、
ことを含む、請求項９の方法。
【請求項１２】
前記スコア関数は、（Ａ）キーワード絞り込み、（Ｂ）文書コンテンツ絞り込み、及び（Ｃ）ホストコンテンツ絞り込み、を含む関数のセットから選択された関数である、請求項１０又は１１の方法。
【請求項１３】
前記メッセージは広告である、請求項１−５，９−１１の何れか一に記載の方法。
【請求項１４】
ａ）一又はそれ以上のメッセージのセットのために、文書のためのパフォーマンス情報を受け入れる手段と、
ｂ）前記受け入れられたパフォーマンス情報を用いて一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正する手段、及び
ｃ）（Ａ）前記文書を提供するために一又はそれ以上のメッセージの少なくとも一つを送信するか否か、及び／又は（Ｂ）どのようにして一又はそれ以上のメッセージの少なくとも一つが前記メッセージのスコアを用いて前記文書を提供するか、を決定する手段、を含む装置。
【請求項１５】
前記パフォーマンス情報はユーザメッセージセレクション及びメッセージインプレッション情報を含む請求項１４の装置。
【請求項１６】
前記文書はＵＲＬにより特定されるウェブページである請求項１４の装置。
【請求項１７】
前記一又はそれ以上のメッセージのそれぞれのスコアの評点或いは修正する手段は、
ｉ）少なくとも前記メッセージの全体的なパフォーマンス情報を用いて第１スコアを決定する手段と、
ｉｉ）前記文書のための前記メッセージの前記受け入れられたパフォーマンス情報を用いて前記第１スコアを修正する手段と、
を含む請求項１４の装置。
【請求項１８】
前記一又はそれ以上のメッセージのそれぞれのスコアの評点或いは修正する手段は、
ｉ）少なくとも前記メッセージの全体的なパフォーマンス情報と前記文書のための前記メッセージの前記受け入れられたパフォーマンス情報を用いて、前記メッセージの混合されたパフォーマンス情報を決定する手段と、
ｉｉ）前記決定された混合されたパフォーマンス情報を用いてメッセージを評点する手段と、
を含む請求項１４の装置。
【請求項１９】
前記第１のスコアを決定する手段は、少なくとも文書情報を更に用いる請求項１７又は１８の装置。
【請求項２０】
前記第１のスコアを決定する手段は、少なくともメッセージ絞り込み情報を更に用いる請求項１７又は１８の装置。
【請求項２１】
前記第１のスコアを決定する手段は、少なくともメッセージ関連性情報を更に用いる請求項１７又は１８の装置。
【請求項２２】
ｃ）文書のための絞り込み関数パフォーマンスを受け入れる、
ことを更に含み、
前記一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正する手段は、文書のための前記受け入れられた絞り込み関数パフォーマンスを更に用いる、請求項１４の装置。
【請求項２３】
前記一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正する手段は、
ｉ）少なくとも前記文書のための前記受け入れられた絞り込み関数パフォーマンスを用いてスコアリング関数を選択する手段と、
ｉｉ）メッセージ情報と文書情報を、スコアを生成するために、前記選択されたスコア関数に適用する手段と、
を含む、請求項２２の装置。
【請求項２４】
前記一又はそれ以上のメッセージのそれぞれのスコアを評点或いは修正する手段は、
ｉ）少なくとも前記文書のための前記受け入れられた絞り込み関数パフォーマンスを用いて前記スコア関数の一又はそれ以上のパラメータを選択する手段と、
ｉｉ）メッセージ情報及び文書情報を、スコアを生成するために、前記選択された一又はそれ以上のパラメータと共に前記スコア関数に適用する手段と、
を含む、請求項２２の装置。
【請求項２５】
前記スコア関数は、（Ａ）キーワード絞り込み、（Ｂ）文書コンテンツ絞り込み、及び（Ｃ）ホストコンテンツ絞り込み、を含む関数のセットから選択された関数である、請求項２３又は２４の装置。
【請求項２６】
前記メッセージは広告である、請求項１４−１８，２２−２４の何れか一に記載の装置。
【国際調査報告】
2006528388.tif 000021