(57)【特許請求の範囲】
【請求項１】
1つまたは複数のプロセッサによって、第1のメトリックのインクリメント値変化に関連する第1のユニフォームリソースロケータ(URL)を識別するステップと、
前記1つまたは複数のプロセッサによって、前記第1のURLに関連する複数のURLを識別するステップと、
クエリを備える検索クエリデータを第1の時間ウィンドウの中でターゲット地理的領域から受信するステップと、
前記1つまたは複数のプロセッサによって、前記第1のURLに関連付けられた第1のグループ、前記複数のURLのうちの1つまたは複数に関連付けられた第2のグループ、およびビジネスカテゴリーに関連付けられた第3のグループを備える複数のグループに前記受信された検索クエリデータを区分するステップであって、各それぞれの関連付けが、第2のメトリックの所定のしきい値に等しいかまたはそれを上回ることによって定義される、ステップと、
前記1つまたは複数のプロセッサによって、前記複数のグループに基づいて複数の検索クエリサブセットを生成するステップと、
前記1つまたは複数のプロセッサによって、前記第1のメトリックの前記インクリメント値変化に関連する因果効果の同定として備える因果ダイアグラムに基づいて加法回帰モデルを生成するステップと、
前記1つまたは複数のプロセッサによって、前記加法回帰モデルを前記複数の検索クエリサブセットに適合させることによって前記第1のメトリックの前記インクリメント値変化のバイアス補正済み推定値を計算するステップと
を備える、方法。
【請求項２】
前記受信された検索クエリデータの第1の検索語が、前記第1のURLを備える検索結果に関連すると判定するステップと、
前記受信された検索クエリデータの第2の検索語が、前記1つまたは複数のURLのうちの1つを備える検索結果に関連すると判定するステップと、
前記1つまたは複数のプロセッサによって、前記第1の検索語を前記第1のグループに、かつ前記第2の検索語を前記第2のグループに前記1つまたは複数のプロセッサによって区分するステップと
をさらに備える、請求項1に記載の方法。
【請求項３】
前記第1の時間ウィンドウを決定するステップと、
前記1つまたは複数のプロセッサによって、前記第1のグループにおける第1の検索の個数、前記第2のグループにおける第2の検索の個数、および前記第3のグループにおける第3の検索の個数を計算するステップと、
前記1つまたは複数のプロセッサによって、前記第1のグループ、前記第2のグループ、および前記第3のグループの全検索ボリュームを計算するステップと、
前記全検索ボリュームと比較された、前記第1のグループにおける前記第1の検索の個数、前記第2のグループにおける前記第2の検索の個数、および前記第3のグループにおける前記第3の検索の個数のうちの少なくとも1つが、第2の所定のしきい値を上回ると判定するステップと
をさらに備える、請求項1に記載の方法。
【請求項４】
前記受信された検索クエリデータの中の検索クエリの個数が所定の検索クエリしきい値を上回ると判定するステップと、
前記受信された検索クエリデータの中の前記検索クエリの個数が前記所定の検索クエリしきい値を上回ると判定する結果としての3次元完全テンソル積平滑化を使用して、前記加法回帰モデルを生成するステップと
をさらに備える、請求項1に記載の方法。
【請求項５】
前記第1のメトリックが広告支出収益率を備える、請求項1に記載の方法。
【請求項６】
制限付き最尤(REML)アルゴリズムを使用して前記加法回帰モデルを再公式化するステップをさらに備える、請求項1に記載の方法。
【請求項７】
前記検索クエリデータが、前記ターゲット地理的領域、前記第1の時間ウィンドウ、およびユーザ人口統計を備えるグループから選択された基準のうちの少なくとも1つを使用して選択されたすべてのクエリを備える、請求項1に記載の方法。
【請求項８】
少なくとも1つのメモリに動作可能に結合される少なくとも1つのコンピューティングデバイスを備え、前記少なくとも1つのコンピューティングデバイスが、
第1のメトリックのインクリメント値変化に関連する第1のユニフォームリソースロケータ(URL)を識別することと、
前記第1のURLに関連する複数のURLを識別することと、
クエリを備える検索クエリデータを第1の時間ウィンドウの中でターゲット地理的領域から受信することと、
前記第1のURLに関連付けられた第1のグループ、前記複数のURLのうちの1つまたは複数に関連付けられた第2のグループ、およびビジネスカテゴリーに関連付けられた第3のグループを備える複数のグループに前記受信された検索クエリデータを区分することであって、各それぞれの関連付けが、第2のメトリックの所定のしきい値に等しいかまたはそれを上回ることによって定義されることと、
前記複数のグループに基づいて複数の検索クエリサブセットを生成することと、
前記第1のメトリックの前記インクリメント値変化に関連する因果効果の同定として備える因果ダイアグラムに基づいて加法回帰モデルを生成することと、
前記加法回帰モデルを前記複数の検索クエリサブセットに適合させることによって前記第1のメトリックの前記インクリメント値変化のバイアス補正済み推定値を計算することと
を行うように構成される、システム。
【請求項９】
前記少なくとも1つのコンピューティングデバイスが、
前記受信された検索クエリデータの第1の検索語が、前記第1のURLを備える検索結果に関連すると判定し、
前記受信された検索クエリデータの第2の検索語が、前記1つまたは複数のURLのうちの1つを備える検索結果に関連すると判定し、
前記第1の検索語を前記第1のグループに、かつ前記第2の検索語を前記第2のグループに区分する
ようにさらに構成される、請求項8に記載のシステム。
【請求項１０】
前記少なくとも1つのコンピューティングデバイスが、
前記第1の時間ウィンドウを決定し、
前記第1のグループにおける第1の検索の個数、前記第2のグループにおける第2の検索の個数、および前記第3のグループにおける第3の検索の個数を計算し、
前記第1のグループ、前記第2のグループ、および前記第3のグループの全検索ボリュームを計算する
ようにさらに構成される、請求項8に記載のシステム。
【請求項１１】
前記少なくとも1つのコンピューティングデバイスが、
前記受信された検索クエリデータの中の検索クエリの個数が所定の個数の検索クエリしきい値を上回ると判定し、
前記受信された検索クエリデータの中の前記検索クエリの個数が前記所定の個数の検索クエリしきい値を上回ると判定する結果としての3次元完全テンソル積平滑化を使用して、前記加法回帰モデルを生成する
ようにさらに構成される、請求項8に記載のシステム。
【請求項１２】
前記第1のメトリックが広告支出収益率を備える、請求項8に記載のシステム。
【請求項１３】
前記少なくとも1つのコンピューティングデバイスが、制限付き最尤(REML)アルゴリズムを使用して前記加法回帰モデルを再公式化するようにさらに構成される、請求項8に記載のシステム。
【請求項１４】
前記検索クエリデータが、前記ターゲット地理的領域、前記第1の時間ウィンドウ、およびユーザ人口統計を備えるグループから選択された基準のうちの少なくとも1つを使用して選択されたすべてのクエリを備える、請求項8に記載のシステム。
【請求項１５】
コンピューティングシステムの1つまたは複数のプロセッサによって実行されたとき、プロセスを前記コンピューティングシステムに実行させる、その中に具現されたコンピュータ実行可能命令を有する非一時的コンピュータ可読記憶媒体であって、前記プロセスが、
第1のコンテンツアイテムを識別することと、
メディアミックス環境が前記第1のコンテンツアイテムに関連すると判定することと、
前記メディアミックス環境の第1のメディアと前記メディアミックス環境の第2のメディアとの間の因果関係を決定することと、
前記第1のコンテンツアイテムに関連する第1のユニフォームリソースロケータ(URL)を識別することと、
前記第1のURLに関連する複数のURLを識別することと、
クエリを備える検索クエリデータを第1の時間ウィンドウの中でターゲット地理的領域から受信することと、
前記第1のURLに関連付けられた第1のグループ、前記複数のURLのうちの1つまたは複数に関連付けられた第2のグループ、およびビジネスカテゴリーに関連付けられた第3のグループを備える複数のグループに前記受信された検索クエリデータを区分することであって、各それぞれの関連付けが、第2のメトリックの所定のしきい値に等しいかまたはそれを上回ることによって定義される、区分することと、
前記複数のグループに基づいて複数の検索クエリサブセットを生成することと、
前記因果関係に基づいて、前記メディアミックス環境の前記第1のメディアと前記メディアミックス環境の前記第2のメディアとの間のバイアス因子を計算することと、
前記メディアミックス環境の前記第1のメディアと前記メディアミックス環境の前記第2のメディアとの間の前記バイアス因子を使用して加法回帰モデルを生成することと、
前記加法回帰モデルを前記複数の検索クエリサブセットに適合させることによって、第1のメトリックのインクリメント値変化のバイアス補正済み推定値を計算することと
を備える、非一時的コンピュータ可読記憶媒体。
【請求項１６】
前記プロセスが、
前記受信された検索クエリデータの第1の検索語が、前記第1のURLを備える検索結果に関連すると判定することと、
前記受信された検索クエリデータの第2の検索語が、前記1つまたは複数のURLのうちの1つを備える検索結果に関連すると判定することと、
前記第1の検索語を前記第1のグループに、かつ前記第2の検索語を前記第2のグループに区分することと
をさらに備える、請求項15に記載の非一時的コンピュータ可読記憶媒体。
【請求項１７】
前記プロセスが、
第1の時間ウィンドウを決定することと、
前記第1のグループにおける第1の検索の個数、前記第2のグループにおける第2の検索の個数、および前記第3のグループにおける第3の検索の個数を計算することと、
前記第1のグループ、前記第2のグループ、および前記第3のグループの全検索ボリュームを計算することと
をさらに備える、請求項15に記載の非一時的コンピュータ可読記憶媒体。
【請求項１８】
前記プロセスが、
前記受信された検索クエリデータの中の検索クエリの個数が所定の検索クエリしきい値を上回ると判定することと、
前記受信された検索クエリデータの中の前記検索クエリの個数が前記所定の検索クエリしきい値を上回ると判定する結果としての3次元完全テンソル積平滑化を使用して、前記加法回帰モデルを生成することと
をさらに備える、請求項15に記載の非一時的コンピュータ可読記憶媒体。
【請求項１９】
前記プロセスが、制限付き最尤(REML)アルゴリズムを使用して前記加法回帰モデルを再公式化することをさらに備える、請求項15に記載の非一時的コンピュータ可読記憶媒体。
【請求項２０】
前記検索クエリデータが、地理的ターゲット領域、時間ウィンドウ、およびユーザ人口統計を備えるグループから選択された基準のうちの少なくとも1つを使用して選択されたすべてのクエリを備える、請求項15に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、2017年9月19日に出願された米国特許出願第15/708,592号の利益および優先権を主張する。
【背景技術】
【０００２】
複数のメディアチャネルがあり、かつ1つまたは複数の性能メトリックを最大にするために複数のメディアチャネルの使用において変更が必要とされるとき、性能メトリックを評価することは基本的な問題である。多くのエンティティは、それらの性能メトリックを最大にするために複数のメディアチャネルを使用する。メディアミックスモデリング("MMM:Media Mix Modeling")とは、観測データを使用して性能メトリックに対する様々なメディアミックス戦略の影響を推定および予想する分析手法(たとえば、多変量回帰)である。1つの性能メトリックは広告支出収益率("ROAS:Return On Ad Spend")であってもよい。
【発明の概要】
【課題を解決するための手段】
【０００３】
一実施形態は、メディアミックスモデリングにおけるバイアスを除去するための、1つまたは複数のプロセッサを使用する方法に関する。本方法は、第1のメトリックのインクリメント値変化に関連する第1のユニフォームリソースロケータ("URL")を識別することと、第1のURLに関連する複数のURLを識別することと、クエリを備える検索クエリデータを第1の時間ウィンドウの中でターゲット地理的領域から受信することと、受信検索クエリデータを、第1のURLに関連付けられた第1のグループ、複数のURLのうちの1つまたは複数に関連付けられた第2のグループ、およびビジネスカテゴリーに関連付けられた第3のグループを備える複数のグループに区分することであって、各それぞれの関連付けが、第2のメトリックの所定のしきい値に等しいかまたはそれを上回ることによって定義される、区分することと、複数のグループに基づいて複数の検索クエリサブセットを生成することと、第1のメトリックのインクリメント値変化に関連する因果効果の同定として備える因果ダイアグラムに基づいて加法回帰モデルを生成することと、加法回帰モデルを複数の検索クエリサブセットに適合させることによって、第1のメトリックのインクリメント値変化のバイアス補正済み推定値を計算することとを備える。
【０００４】
いくつかの実施形態では、本方法は、受信検索クエリデータの第1の検索語が、第1のURLを備える検索結果に関連すると判定することと、受信検索クエリデータの第2の検索語が、1つまたは複数のURLのうちの1つを備える検索結果に関連すると判定することと、第1の検索語を第1のグループに、かつ第2の検索語を第2のグループに区分することとをさらに備える。いくつかの実施形態では、本方法は、第1の時間ウィンドウを決定することと、第1のグループにおける第1の検索の個数、第2のグループにおける第2の検索の個数、および第3のグループにおける第3の検索の個数を計算することと、第1のグループ、第2のグループ、および第3のグループの全検索ボリュームを計算することと、全検索ボリュームと比較された、第1のグループにおける第1の検索の個数、第2のグループにおける第2の検索の個数、および第3のグループにおける第3の検索の個数のうちの少なくとも1つが、第2の所定のしきい値を上回ると判定することとをさらに備える。いくつかの実施形態では、本方法は、受信検索クエリデータの中の検索クエリの個数が所定の検索クエリしきい値を上回ると判定することと、受信検索クエリデータの中の検索クエリの個数が所定のしきい値を上回ると判定する結果としての3次元完全テンソル積平滑化を使用して、加法回帰モデルを生成することとをさらに備える。いくつかの実施形態では、本方法は、制限付き最尤("REML:REstricted Maximum Likelihood")アルゴリズムを使用して加法回帰モデルを再公式化することをさらに備える。
【０００５】
いくつかの実施形態は、少なくとも1つのメモリに動作可能に結合されるとともに、上記の方法のうちの1つまたは複数に対応する命令を実行するように構成される、少なくとも1つのコンピューティングデバイスを備えるシステムに関する。
【０００６】
いくつかの実施形態は、コンピューティングシステムの1つまたは複数のプロセッサによって実行されたとき、上記で説明した方法のうちの1つまたは複数に対応するプロセスをコンピューティングシステムに実行させる、その中に具現されたコンピュータ実行可能命令を有する非一時的コンピュータ可読媒体に関する。
【０００７】
いくつかの実施形態は、コンピューティングシステムの1つまたは複数のプロセッサによって実行されたとき、プロセスをコンピューティングシステムに実行させる、その中に具現されたコンピュータ実行可能命令を有する非一時的コンピュータ可読媒体に関し、プロセスは、第1のコンテンツアイテムを識別することと、メディアミックス環境が第1のコンテンツアイテムに関連すると判定することと、メディアミックス環境の第1のメディアとメディアミックス環境の第2のメディアとの間の因果関係を決定することと、第1のコンテンツアイテムに関連する第1のユニフォームリソースロケータ(URL)を識別することと、第1のURLに関連する複数のURLを識別することと、クエリを備える検索クエリデータを第1の時間ウィンドウの中でターゲット地理的領域から受信することと、受信検索クエリデータを、第1のURLに関連付けられた第1のグループ、複数のURLのうちの1つまたは複数に関連付けられた第2のグループ、およびビジネスカテゴリーに関連付けられた第3のグループを備える複数のグループに区分することであって、各それぞれの関連付けが、第2のメトリックの所定のしきい値に等しいかまたはそれを上回ることによって定義される、区分することと、複数のグループに基づいて複数の検索クエリサブセットを生成することと、因果関係に基づいて、メディアミックス環境の第1のメディアとメディアミックス環境の第2のメディアとの間のバイアス因子を計算することと、メディアミックス環境の第1のメディアとメディアミックス環境の第2のメディアとの間のバイアス因子を使用して加法回帰モデルを生成することと、加法回帰モデルを複数の検索クエリサブセットに適合させることによって、第1のメトリックのインクリメント値変化のバイアス補正済み推定値を計算することとを備える。
【０００８】
いくつかの実施形態では、第1のメトリックは広告支出収益率を備える。いくつかの実施形態では、検索クエリデータは、地理的ターゲット領域、時間ウィンドウ、およびユーザ人口統計を備えるグループから選択された基準のうちの少なくとも1つを使用して選択されたすべてのクエリを備える。
【０００９】
本明細書で説明する主題の1つまたは複数の実装形態の詳細が、添付図面および以下の説明に記載される。本主題の他の特徴、態様、および利点は、説明、図面、および特許請求の範囲から明らかとなろう。
【図面の簡単な説明】
【００１０】
【図１】例示的な一実施形態による、因果モデラを含む分析システムおよび関連する環境のブロック図である。
【図２】例示的な一実施形態による、因果ダイアグラムのブロック図である。
【図３】例示的な一実施形態による、因果ダイアグラムを生成するためのプロセスのフローチャートである。
【図４】例示的な一実施形態による、単純因果ダイアグラムのブロック図である。
【図５】例示的な一実施形態による、複合因果ダイアグラムのブロック図である。
【図６】例示的な一実施形態による、簡略化するいくつかの仮定を伴う複合因果ダイアグラムのブロック図である。
【図７】例示的な一実施形態による、検索結果におけるバイアスを除去するプロセスのフローチャートである。
【図８】例示的な一実施形態による、検索クエリ分類を示すチャートのセットである。
【図９】例示的な一実施形態による、第1のケーススタディにとってのメトリックと推定ROASとの間の相関関係を示す、散布図およびブロック図である。
【図１０】例示的な一実施形態による、第2のケーススタディにとってのメトリックと推定ROASとの間の相関関係を示す、散布図およびブロック図である。
【図１１】例示的な一実施形態による、第3のケーススタディにとってのメトリックと推定ROASとの間の相関関係を示す、散布図およびブロック図である。
【図１２】例示的な一実施形態による、第1のケーススタディにとっての選択バイアスを示す、適合済み関数値+モデル残差の散布図である。
【図１３】例示的な一実施形態による、第2のケーススタディにとっての選択バイアスを示す、適合済み関数値+モデル残差の散布図である。
【図１４】例示的な一実施形態による、第3のケーススタディにとっての選択バイアスを示す、適合済み関数値+モデル残差の散布図である。
【図１５】例示的な実施形態によるコンピューティングシステムのブロック図である。
【発明を実施するための形態】
【００１１】
メディアミックスモデリング(MMM)とは、観測データを用いた多変量回帰を使用して性能メトリック上での様々なメディアミックス戦略の混合を推定する分析手法である。ターゲット集団からの根源的な関心がスポンサー付きコンテンツ支出および販売を推進している場合があるので、選択バイアスは、ROASを正しく評価することに対するスポンサー付きコンテンツターゲッティングにおける1つの制限である。これはROASの過大評価につながることがある。
【００１２】
いくつかの実施形態では、メディアミックスモデリングにおいて検索バイアス補正値を作成するために、コンテンツアイテム検索環境の因果ダイアグラムが使用される。因果ダイアグラムが知られると、バイアス補正の方法が導出されることが可能である。一実施形態では、2つの変数の因果効果の推定値を作成するために、パール(Pearl)の因果理論が使用される。因果効果がデータから同定可能であるかどうかを判定するために、因果効果のバックドア基準が使用されることが可能である。変数のセットは、いくつかの条件が満たされるとき、変数の順序付きペアに対してバックドア基準を満足することができる。バックドア基準が満たされる場合、因果効果は同定可能であり、特有の式によって与えられる。
【００１３】
ROASを評価するための方法の一実施形態は、検索クエリデータを収集することと、モデルを検索クエリデータに適合させることとを備える。関連する検索クエリのボリュームが極めて大きい場合があるので、検索クエリは集計されてもよく、そのため、検索クエリはモデル適合にもっと適応する。検索クエリを集計することは、コンテンツプロバイダのウェブサイトおよびその上位競合者のウェブサイトを識別することと、所与の時間ウィンドウの中でターゲット領域にわたってすべてのクエリを収集することと、クエリごとに出現する宛先URLに従ってクエリセットを3つのグループに区分することとを備えてもよい。宛先URLは、a)コンテンツプロバイダに属する、b)上位競合者に属する、c)いずれにも属さないがビジネスカテゴリーに属する、およびd)ビジネスカテゴリーに属さないなどのグループに分類されてもよい。URLをグループに分類するためにインプレッション(impression)の個数が使用されてもよく、ターゲット支持(target-favoring)クエリ、競合者支持(competitor favoring)クエリ、および一般的関心(general interest)クエリに対する、クエリの3つのサブセットをもたらす。クエリのサブセットへのセグメント化プロシージャ用のしきい値を確立するために、所定のしきい値が使用されてもよい。因果ダイアグラムから生成されたモデルは、ROASを生成するためにクエリのサブセットに適用される。いくつかの実施形態では、モデル安定性は、ノンパラメトリックモデル適合プロシージャを使用することによってチェックされる。
【００１４】
概略的に図を参照すると、いくつかの実施形態では、メディアミックスモデリング(MMM)におけるバイアスを除去するために使用できる様々な例示的なシステムおよび方法が提供される。MMMの様々な限定、たとえばデータ収集、選択バイアス、長期的効果、季節性、および漏斗効果が認識される。いくつかの実施形態では、典型的なMMMは回帰モデルとして表され、ここで従属変数は、キーパフォーマンスインジケータ(KPI)、すなわち性能メトリックであり、独立変数は、様々なメディア入力(たとえば、支出レベル、インプレッション、またはGRP)、製品価格、経済的ファクタ、競合者の活動などを含む。性能メトリックは、日単位、週単位、または月単位で、特定のエリアの中で測定されてもよい。メディア効果のセットの因果推定では、因果推論は、観測データを用いると悪名高く厳しいものと知られている。MMMにおける有効な因果推論に対する主な課題のうちの1つは、スポンサー付きコンテンツターゲッティングに起因する選択バイアスである。スポンサー付きコンテンツターゲッティングは、多くの異なるメディアチャネルにわたって共通であるが、デジタルチャネルでは特に鋭敏である。ターゲット集団からの根源的な関心または需要がスポンサー付きコンテンツ支出と販売の両方を推進しているとき、スポンサー付きコンテンツターゲッティングからの選択バイアスが発生する。
【００１５】
コンテンツアイテム生産者は、彼らの製品に対してより強い需要があるとき、より多額を支出してもよい。その結果、スポンサー付きコンテンツ支出の変動に対する販売の変動を測定するナイーブ回帰(naive regression)は、ROASの過大評価につながる場合がある。発見的な説明としては、消費者需要もしくはスポンサー付きコンテンツ支出のいずれかまたはその両方の変動によって販売の変動が引き起こされることがあるが、ナイーブ方法は消費者需要の変動を無視するということである。いくつかの実施形態では、MMMにおけるコンテンツアイテム検索バイアス補正(SBC:Search Bias Correction)のための、統計学的な原則に基づいた方法を導出するために、コンテンツアイテムの因果ダイアグラムが使用される。いくつかの実施形態では、これは因果推論のバックドア基準に基づく。
【００１６】
次に図1を参照すると、分析システム120および関連する環境100のブロック図が、例示的な実施形態に従って示される。1つまたは複数のユーザデバイス104は、様々なアクションを実行しかつ/または様々なタイプのコンテンツにアクセスするために、ユーザによって使用されてもよく、そうしたコンテンツのうちのいくつかは、ネットワーク102(たとえば、インターネット、LAN、WANなど)を介して提供されてもよい。本明細書で使用する「ユーザ」または「エンティティ」とは、ユーザデバイス104を介してリソースまたはコンテンツアイテムと対話している、動作中の個々のユーザデバイス104などを指してもよい。ユーザデバイス104は、ウェブサイト(たとえば、インターネットブラウザを使用して)、メディアファイル、および/または任意の他のタイプのコンテンツにアクセスするために使用されてもよい。コンテンツ管理システム108は、リソース(たとえば、ウェブページ、アプリケーションなど)内でのユーザへの表示用のコンテンツを選択し、リソース内での表示のためにネットワーク102を介してコンテンツアイテムをユーザデバイス104に提供するように構成されてもよい。コンテンツ管理システム108がアイテムをそこから選択するコンテンツは、1つまたは複数のコンテンツプロバイダによって、1つまたは複数のコンテンツプロバイダデバイス106を使用してネットワーク102を介して提供されてもよい。
【００１７】
いくつかの実施形態では、コンテンツ管理システム108は、ユーザデバイス104上で表示されるべき、コンテンツプロバイダからのコンテンツアイテムを選択してもよい。そのような実施形態では、コンテンツ管理システム108は、リソースの1つまたは複数のコンテンツインターフェース(たとえば、ウェブページ、アプリケーションなど)の中で発行されるべきコンテンツを決定してもよい。コンテンツ管理システム108は、どのサードパーティコンテンツがユーザデバイス104に提供されるべきであるかを決定するために、サードパーティコンテンツプロバイダ間のコンテンツオークションを運営するように構成することができる。オークション勝者は、入札金額および品質スコア(すなわち、ユーザデバイス104のユーザがコンテンツ上でクリックすべき可能性がどのくらいあるのかという尺度)に基づいて決定することができる。いくつかの実装形態では、コンテンツ管理システム108により、コンテンツプロバイダがコンテンツキャンペーンを作成することが可能になる。キャンペーンは、最小および最大の入札金額、ターゲット入札金額、ならびに/または1つもしくは複数の予算金額(たとえば、毎日の予算、毎週の予算、総予算など)などの任意の数のパラメータを含むことができる。
【００１８】
分析システム120は、1つまたは複数のプロセッサ(たとえば、任意の汎用プロセッサまたは専用プロセッサ)を含むことができ、1つまたは複数の一時的かつ/または非一時的な記憶媒体および/またはメモリデバイス(たとえば、磁気ストレージ、光ストレージ、フラッシュストレージ、RAMなどの任意のコンピュータ可読記憶媒体など)を含むことができ、かつ/またはそれに動作可能に結合することができる。様々な実装形態では、分析システム120およびコンテンツ管理システム108は、別個のシステムとして実装することができるか、または単一のシステム内に統合することができる(たとえば、コンテンツ管理システム108は、分析システム120の機能/能力の一部または全部を組み込むように構成することができる)。
【００１９】
分析システム120は、分析データベース128に通信可能かつ動作可能に結合することができる。分析システム120は、情報を求めて分析データベース128に照会し、情報を分析データベース128の中に記憶するように構成することができる。様々な実装形態では、分析データベース128は、様々な一時的かつ/または非一時的な記憶媒体を含む。記憶媒体は、限定はしないが、磁気ストレージ、光ストレージ、フラッシュストレージ、RAMなどを含んでよい。データベース128および/または分析システム120は、データベース関数を実行する(すなわち、データベース128の中に記憶されたデータを管理すること)ための様々なAPIを使用することができる。APIは、限定はしないが、SQL、ODBC、JDBCなどであることが可能である。
【００２０】
分析システム120は、環境100に示す任意のデバイスまたはシステムと、ネットワーク102を介して通信するように構成することができる。分析システム120は、ネットワーク102から情報を受信するように構成することができる。情報は、ブラウジング履歴、クッキーログ、テレビジョン広告データ、印刷刊行物広告データ、ラジオ広告データ、および/またはオンライン広告活動データを含んでよい。分析システム120は、ユーザデバイス104がネットワーク102上で有する相互作用を受信および/または収集するように構成することができる。この情報は、検索クエリデータ130として記憶されてもよい。
【００２１】
データソース110は、広告データを分析システム120に提供できるデータ収集者またはコンテンツプロバイダであってもよい。データは、1つまたは複数の時点における特定のメディアチャネル(たとえば、テレビジョン、インターネット広告、ラジオ、掲示板、印刷刊行物)に対するコンテンツ入力(たとえば、広告支出)および応答(たとえば、収益)であってもよい。コンテンツ入力は、テレビジョン広告、掲示板広告、インターネット広告などに対する支出(たとえば、検索コンテンツアイテム支出または表示コンテンツアイテム支出)を含んでよい。データソース110はまた、広告データを収集する様々なデータ集約システムおよび/またはデータ集約エンティティであってもよい。分析システム120は、ネットワーク102を介してデータソース110から検索クエリデータ130を受信することができる。
【００２２】
分析システム120は、分析システム120が決定し、生成し、または適合させる様々なメトリックまたはモデルに関する情報および/または通知をコンテンツプロバイダデバイス106へ送信するように構成することができる。このことは、コンテンツプロバイダデバイス106のうちの1つのユーザが、分析システム120が決定する様々なメトリックまたはモデルを検討することを可能にしてもよい。さらに、分析システム120は、ユーザに連絡するのに都合のよい時間、または様々なメディアチャネル(たとえば、テレビジョン広告、インターネット広告、ラジオ広告など)に対して支出すべき適切な金額(たとえば、最適な混合メディア支出)を同定するために、様々なメトリックを使用することができる。分析システム120は、コンテンツ管理システム108がいくつかの時間においていくつかのユーザに連絡すべきであること、および/またはコンテンツキャンペーンがいくつかのパラメータを用いて動作することを示すメッセージを、コンテンツ管理システム108および/またはコンテンツプロバイダデバイス106へ送信させることができる。このことは、コンテンツ管理システム108に、それに応じてコンテンツオークションを管理させてもよく、かつ/または様々なシステム負荷を同定させてもよい。分析システム120は、バイアスを同定するために検索クエリデータを分析し、補償すべき混合メディア支出の各構成要素に割り振られた金額を更新するように構成することができる。
【００２３】
分析システム120は、分析システム120の様々な機能を実行するように構成される1つまたは複数のモジュール(すなわち、プロセッサによって実行可能なコンピュータ可読命令)および/または回路(すなわち、ASIC、プロセッサとメモリとの組合せ、論理回路など)を含んでよい。いくつかの実装形態では、モジュールは、因果モデル生成器124およびバイアス計算器126を含むように示される因果モデラ122であってもよく、またはそれを含んでよい。
【００２４】
因果モデラ122、すなわち因果モデル生成器124およびバイアス計算器126は、分析データベース128の中に記憶される様々なモデルおよびデータ構造を生成するように構成することができる。たとえば、バイアス計算器126は、検索クエリデータ130に基づいて1つまたは複数のバイアス計算値を生成するように構成することができる。検索クエリデータ130は、様々な地理的エリアによる検索クエリを示すデータ構造であってもよい。いくつかの実施形態では、検索クエリデータ130は、いくつかの人口統計、特定のソフトウェアユーザ、特定のオペレーティングシステムユーザ、特定のインターネットサービスプロバイダユーザなどに関連するデータ構造であってもよい。たとえば、地理的エリアは、州、都市、国、または任意の他の地理的エリアであることが可能である。検索バイアス計算器は、もっと小さい1つまたは複数の地理的領域、すなわち下位領域を一緒にグループ化することによって、バイアス計算器126によって生成することができる。たとえば、検索クエリデータ130は、複数の州を東海岸、西海岸、および中西部にグループ化することによって生成することができる。さらに、特定の州内の複数の都市が一緒にグループ化されて、既定の個数の検索クエリデータ130を形成することができる。
【００２５】
バイアス計算器126は、検索クエリデータ130を構成するカテゴリー、人口統計学的グループ、地理的下位領域などの各々に対して、検索クエリデータ130を受信するように構成することができる。たとえば、バイアス計算器126は、州の都市の各々に対して検索クエリデータ130を受信するように構成することができる。バイアス計算器126は、特定の下位カテゴリー、人口統計学的グループ、地理的下位領域などに特有のデータの代わりに、全体として検索クエリデータ130用のデータを受信するように構成することができる。バイアス計算器126が受信する受信データは、分析システム120が集約するデータ、および/または分析システム120がデータソース110から受信するデータであることが可能である。
【００２６】
検索クエリデータ130は、各々が応答、コンテンツ入力、コンテンツタイプ、制御変数、および/またはロケーション識別子を含む、データのセットを含んでよい。データは、ある区間にわたる1つまたは複数の時点に対するデータ(たとえば、1日のうちの時間ごとのデータ、1年のうちの日ごとのデータ、10年間のうちの月ごとのデータなど)であってもよい。コンテンツタイプは、データのセットの特定のメディアチャネル、たとえばテレビジョン、ラジオ、インターネット広告、新聞、または雑誌広告などを示してもよい。応答は、特定の時間における収益の特定の金額を示してもよい。いくつかの実施形態では、応答は、兌換の数、販売の数、アカウント登録の数などである。コンテンツ入力は、特定の時間におけるコンテンツタイプに対する広告支出の特定の金額を示してもよい。コンテンツ入力は、広告実行の数をさらに示してもよい。検索クエリデータ130は、様々なメディアチャネルに対するコンテンツ入力の金額、応答を経時的に示す、時系列データ構造であってもよい。
【００２７】
因果モデル生成器124は、メディアミックスの異なるメディアに関連する1つまたは複数のファクタと組み合わせられた検索クエリデータ130に基づいて因果モデルを生成するように構成することができる。いくつかの実施形態では、因果モデル生成器124は、因果モデルを検索クエリデータに適合させ、1つまたは複数のパラメータをバイアス計算器126に出力するように構成される。
【００２８】
図2を参照すると、例示的な一実施形態による、因果ダイアグラム200のブロック図が示される。因果ダイアグラム200は、クエリレベルにおけるコンテンツに対する因果ダイアグラムの表現であり、ここでQはクエリを表し、Aはオークションファクタを表し、Oはオーガニック検索結果(organic search result)を表し、Pは有料検索インプレッションを示し、Yは販売価格を表す。因果ダイアグラムは、因果モデルの中の変数の間の因果関係を表す有向非巡回グラフ(DAG:Directed Acyclic Graph)であってもよい。因果ダイアグラムは、モデルの範囲内にあるものとして定義される、グラフのノードとして表される変数のセットを備える。第1のノードから第2のノードへの矢印は、第1のノードから第2のノードへの因果作用を表す。すべての他のファクタが等しいと、第1のノードの変動は第2のノードの変動を引き起こしてもよい。いくつかの実施形態では、因果ダイアグラムを使用する推定方法はパールの因果理論に基づく。
【００２９】
一例では、検索コンテンツがどのように販売に影響を及ぼすのかについての簡略化された因果ダイアグラムは以下のとおりである。ユーザが検索クエリ(たとえば、花の配達)を検索エンジン(たとえば、www.google.com)にサブミットするものとする。2つの帰結があってもよく、すなわち1)ユーザは、検索ページの本体の中のURLのリスト+数行の説明(すなわち、検索クエリへのそれらの関連性に基づいて検索エンジンによってランク付けされているオーガニック結果)を見ることになり、2)ターゲットにされているいくつかのキーワードに検索クエリが整合する場合、ページ上に示されるべきコンテンツアイテムがオークションによって選ばれる。オークションは、入札、コンテンツアイテム品質、およびコンテンツプロバイダホームページ品質を含む、様々なファクタを考慮する。ユーザは、オーガニック結果からのいくつかのURL上でクリックしてもよく、またはコンテンツアイテム上でクリックしてもよく、次いで注文を行うためにいくつかの花の配達ウェブサイト上に到着してもよい。
【００３０】
再び図2を参照すると、例示的な一実施形態では、Aはオークションファクタを表し、Qは検索ユーザによって制御される検索クエリであり、Pは有料検索インプレッションの存在を示し、Oはオーガニック検索結果である。クエリQが与えられると、Oは検索エンジン(+それが個人化された検索である場合にはユーザ情報)によって決定され、Pは検索エンジンおよびオークションにおける他の当事者によって決定される。販売価格をYとする。因果経路は次のように進む。すなわち、1)Qは2つの帰結PおよびOを有する。2)PはQとAの両方によって影響を受ける。3)YはOとPの両方によって影響を受ける。したがって、Pに対する介入はYに対して直接の効果を有するが、Aに対する介入は、それがPの変化を引き起こさない限りYに対して影響を有しない。因果ダイアグラムは、図2に示す有向非巡回グラフによって表すことができる。図2に示す例示的な実施形態では、検索クエリQが与えられると、オーガニック検索コンテンツは有料検索コンテンツに依存せず、PとOとの間に矢印がない。
【００３１】
MMMのような観測に基づく研究では、測定は、しばしば因果ダイアグラムの中のノードのうちのいくつかのみに対して可能である。販売に対するコンテンツアイテム支出の因果効果を測定するために、最初に根源的な因果ダイアグラムを理解し、次いで部分的に観測されたデータから因果効果が同定可能であるかどうかを判定することが重要である。
【００３２】
パールの因果フレームワーク
【００３３】
いくつかの実施形態では、因果同定可能性の概念を理解することにとって、介入のモデルとしての因果ダイアグラムのパールの説明が重要である。因果ダイアグラムの中の各子Xiは、関係
Xi=fi(pai,εi)
を表し、ここでfiは関数であり、paiはXiの親のセットであり、iはモデルにおいてすべての他の変数および擾乱から独立していなければならない任意に決定されたランダムな擾乱である。
【００３４】
いくつかの実施形態では、2つの変数XおよびYが与えられると、
【数１】
0006748312.tif 000002
で示されるYに対するXの因果効果は、XからY上の確率分布の空間への関数である。Xの実現値xごとに、
【数２】
0006748312.tif 000003
は、Xに対応する式を図2に表されるモデルから削除すること、および残りの式においてxに等しくなるようにXを強制することによって誘導される、Y=yの確率を与える。
【数３】
0006748312.tif 000004
という表記は、Xをxに設定することによる介入を示す。
【００３５】
いくつかの実施形態では、数量
【数４】
0006748312.tif 000005
が、図との適合性がある観測された変数の任意の肯定的な確率から固有に算出できる場合、Yに対するXの因果効果は同定可能である。
【００３６】
いくつかの実施形態では、同定可能性とは、因果ダイアグラムによって表される同時分布から任意に大きいサンプルが与えられると因果効果
【数５】
0006748312.tif 000006
が決定できることを意味する。
【００３７】
いくつかの実施形態では、2つの条件、すなわち、1)経路がm∈Zとなるようなチェーンi→m→jもしくはフォークi←m→jを含むこと、または2)経路がm/∈Zとなるような、かつmの子孫がZに属さないような、反転フォークi→m←jを含むことのいずれかが満足される場合のみ、因果ダイアグラム上の2つのノード間の経路は、変数(ノード)のサブセットZによって分離またはブロックされていると言われる。
【００３８】
いくつかの実施形態では、バックドア基準は次のように述べることができる。すなわち、因果ダイアグラムが与えられると、1)Zの中のノードがXの子孫でなく、かつ2)Xへの矢印を含むXとYとの間のすべての経路をZがブロックする場合、変数のセットZは、図の中の変数(X,Y)の順序付きペアに対してバックドア基準を満足する。バックドア基準の定義における条件1)は、Xの帰結である共変量を除外し、条件2)は、Zが交絡因子の正しいセットを含むことを確実にする。バックドア調整定理(すなわち、パールのバックドア調整定理)は、変数のセットZが変数の順序付きペア(X,Y)に対してバックドア基準を満足する場合、Yに対するXの因果効果が同定可能であり、Yに対するXの因果効果が式
【数６】
0006748312.tif 000007
によって与えられると言っている。言い換えれば、いくつかの実施形態では、ZはYに対するXの因果効果を推定することを可能にする。
【００３９】
図2によって説明した例では、Pへの矢印を有する、PからYへの1つの経路、すなわちP←Q→O→Yしかないので、ノードQ(検索クエリ)はYに対するノードPの因果効果に対するバックドア基準を満たす。いくつかの実施形態では、このことは、適切なクエリレベルデータが与えられると検索コンテンツアイテムの因果影響を推定することを可能にする。
【００４０】
パールのフレームワークは、ネイマン-ルービン(Neyman-Rubin)の因果モデルにおいて定義される反事実フレームワークと同じ目標を有し、かつそれに転換することができるが、因果関係を可視化する助けとなるべき形式的意味論も提供する。いくつかの実施形態では、バックドア基準は、観測データから因果効果を同定するために、いわゆる無視可能性仮定を満足する共変量の適切なセットを同定するための便利なツールを我々に提供する。いくつかの実施形態では、因果効果に対する包括的な同定条件が使用される。いくつかの実施形態では、検索コンテンツアイテムのための選択バイアス補正の方法は、バックドア基準に基づく。
【００４１】
図3を参照すると、因果ダイアグラムを生成するためのプロセスのフローチャート300が、例示的な一実施形態に従って図示される。手短に言えば、プロセスは、因果ダイアグラムを導出するためのファクタが存在するかどうかを判定することと、オークションファクタの任意の影響が無視できるかどうかを判定することとを備える。オークションファクタの影響が無視できない場合、プロセスは、因果ダイアグラムを導出するためのファクタが存在するかどうかを判定することに戻る。オークションファクタの影響が無視できる場合、プロセスは、支出の予算が制約なしかどうかを判定する。支出のための予算が制約なし場合、プロセスは、第1の単純因果ダイアグラムを生成することに続く。支出のための予算が制約されている場合、プロセスは、支出が因果ダイアグラムのファクタに直接連結されるかどうかを判定することを備える。支出が直接連結される場合、プロセスは、第1の複合因果ダイアグラムを生成することに続く。支出が直接連結されない場合、プロセスは、第2の複合因果ダイアグラムを生成することに続く。
【００４２】
302において、因果ダイアグラムを導出するためのファクタが存在するかどうかの判定が行われる。いくつかの実施形態では、最小2乗法(OLS:Ordinary Least Squares)によってβ1のバイアスされていない推定値を取得することを防止する主なファクタは、Xtとtとの間の相関関係である。これは、計量経済学における内生性問題によって生じることがある。γ=cov(X,ε)/var(X)およびη=ε-γXを用いてε=γX+ηを書き直すことによって、以下が導出される。
Y=β0+(β1+γ)X+η
【００４３】
さらなるファクタ、および販売への重要な誘因は、経済的ファクタおよび季節性によって影響を受けることがある、根源的な消費者需要からの直接の影響であり、0として示される。オーガニック検索結果は、販売に直接寄与してもよく、1として示される。コンテンツアイテムターゲッティングに起因して、決定すべきファクタはオーガニック検索コンテンツを含み、有料検索コンテンツは、通常正の相関関係にあり、cov(X,ε1)>0という結果になる。主効果は、モデル4.1におけるようにモデリングすることができる。
【００４４】
304において、オークションファクタの影響が無視できるかどうかの判定が行われる。いくつかの実施形態では、ユーザが検索クエリをサブミットする。通常、2つの帰結があり、すなわち1)ユーザは、検索クエリへのそれらの関連性に基づいて検索エンジンによってランク付けされている、オーガニック結果と呼ばれる検索ページの本体の中のURLのリスト+数行の説明を見ることになり、2)検索クエリが、コンテンツプロバイダのセットによってターゲットにされているいくつかのキーワードに整合する場合、ページ上に示されるべきコンテンツアイテムがオークションによって選ばれる。オークションは、入札、コンテンツアイテム品質、およびコンテンツプロバイダホームページ品質を含む、様々なファクタを考慮する。ユーザは、オーガニック結果からのいくつかのURL上でクリックしてもよく、または広告上でクリックしてもよく、次いでいくつかの関連するウェブサイト上に到着してもよい。オークションは、入札、コンテンツアイテム品質、およびコンテンツプロバイダホームページ品質を含む、様々なファクタを考慮する。ユーザは、オーガニック結果からのいくつかのURL上でクリックしてもよく、または広告上でクリックしてもよく、次いで注文を行うために、いくつかの関連するコンテンツ特有のウェブサイト上に到着してもよい。
【００４５】
306において、支出のための予算が制約なしかどうかの判定が行われる。いくつかの実施形態では、検索コンテンツアイテムは、2つの部分、すなわちコンテンツプロバイダによってターゲットにされているキーワードを整合させるために検索クエリが利用可能であること、および検索コンテンツアイテムに対するオークションに参加するための予算をコンテンツプロバイダが有することによって決定される。特に検索コンテンツアイテムに対して予算が制約なしかどうか、または関連する検索クエリのボリュームの条件付きまたは所定のしきい値があるかどうかを見るために、スポンサー付きコンテンツプロバイダ予算が評価されることが可能である。より多額のまたは条件付きではない予算により、オークションにおけるコンテンツアイテムプロバイダの入札および競合者のアクションなどのオークションファクタに対する消費者需要の影響の考慮事項が無視できるようになる。
【００４６】
310において、支出が因果ダイアグラムのファクタに直接連結されるかどうかの判定が行われる。いくつかの実施形態では、オーガニック検索結果は、販売に直接寄与してもよい。いくつかの実施形態では、コンテンツアイテムターゲッティングに起因して、オーガニック検索コンテンツおよび有料検索コンテンツは正の相関関係にあり、因果ダイアグラムのファクタへの連結をもたらす。
【００４７】
308において、第1の単純因果ダイアグラムが生成される。いくつかの実施形態では、支出のための予算が制約なしという決定が行われると、単純因果ダイアグラムが生成される。いくつかの実施形態では、所定のしきい値金額を超える予算は、制約されていないものとして扱われる。単純なシナリオの例示的な一実施形態では、検索広告は唯一の広告チャネルであるものと仮定され、販売に対する他のメディアチャネルの寄与は、もしあれば無視できる。いくつかの実施形態では、Xtは、第tの時間ウィンドウにおいてコンテンツプロバイダによって販売される特定の製品のための検索コンテンツアイテム支出となるように設定され、Ytは、第tの時間ウィンドウ中での製品に対する販売として設定される。販売に対する検索コンテンツアイテムの影響がコンテンツアイテム暴露と同じ期間内に発生するという決定を行うことができる。
【００４８】
312において、第1の複合因果ダイアグラムが生成される。検索コンテンツアイテム支出が、他のメディア支出と直接相関関係にないが、消費者の関連する検索クエリボリュームを通じた検索コンテンツアイテム在庫目録の利用可能性によってその大部分が決定される場合、因果ダイアグラムは図6に縮小する。たとえば、コンテンツプロバイダが、検索コンテンツアイテム支出を制御するために特定の予算制約の代わりに入札最適化を使用するとき、このことは多くのコンテンツプロバイダに対して近似的に有効である。いくつかの実施形態では、この近似の下では、非検索誘因ならびにそれらの潜在的な遅れ効果は、β1の同定可能性に影響を及ぼさない。いくつかの実施形態では、検索コンテンツ提供が、販売に著しく影響を及ぼす場合がある唯一のチャネルではないケースが考慮される。いくつかの実施形態では、X2は、販売に直接影響を及ぼす場合があるすべての非検索コンテンツアイテム誘因、たとえば従来のメディアチャネルおよび非検索デジタルチャネルを示す。非検索誘因はまた、製品を求めてもっとオンラインで検索するように消費者をトリガしてもよい(すなわち、漏斗効果)。コンテンツプロバイダは、検索コンテンツアイテムと他のメディアチャネルの両方に対して予算を計画しようと希望する場合がある。
【００４９】
314において、第2の複合因果ダイアグラムが生成される。いくつかの実施形態では、支出は、他のメディア支出と直接相関関係にないが、検索コンテンツ在庫目録の利用可能性によってその大部分が決定されるので、第1の複合因果ダイアグラムが縮小できる場合、第2の複合因果ダイアグラムが生成されることが可能である。検索コンテンツアイテム支出が、他のメディア支出と直接相関関係にないが、消費者の関連する検索クエリボリュームを通じた検索コンテンツアイテム在庫目録の利用可能性によってその大部分が決定される場合、因果ダイアグラムは図6に縮小する。たとえば、コンテンツプロバイダが、検索コンテンツアイテム支出を制御するために特定の予算制約の代わりに入札最適化を使用するとき、このことは多くのコンテンツプロバイダに対して近似的に有効である。この近似の下では、非検索誘因ならびにそれらの潜在的な遅れ効果は、β1の同定可能性に影響を及ぼさない。
【００５０】
図4を参照すると、例示的な一実施形態による、単純因果ダイアグラム400のブロック図が示される。図5を参照すると、例示的な一実施形態による、複合因果ダイアグラムのブロック図500が示される。図6を参照すると、例示的な一実施形態による、簡略化するいくつかの仮定を伴う複合因果ダイアグラムのブロック図600が示される。
【００５１】
再び図4を参照すると、この因果ダイアグラムは、検索コンテンツアイテムが、コンテンツプロバイダが投資している唯一のメディアチャネルである、単純なケースを表す。いくつかの実施形態では、対応する因果ダイアグラム用のバイアス補正の方法を導出するためのバックドア基準が使用される。いくつかの実施形態では、単純因果ダイアグラム400を使用すると、検索広告は唯一の広告チャネルであるものと仮定され、販売に対する他のメディアチャネルの寄与は、もしあれば無視できる。Xtが、第tの時間ウィンドウにおいてコンテンツプロバイダによって販売される特定の製品のための検索コンテンツアイテム支出であり、かつYtが、第tの時間ウィンドウ中でのその製品に対する販売である場合、販売に対する検索コンテンツアイテムの影響がコンテンツアイテム暴露と同じ期間内に発生すると仮定することができる。
【００５２】
いくつかの実施形態では、下のモデルが使用される。
Yt=β0+β1Xt+εt  (4.1)
ここで、注目するパラメータは、検索コンテンツアイテム支出Xtにおける1単位変化の予想されるインクリメント値を測定するが、tが変化しないことを条件とする、β1である。ここで、β1は検索広告に対するROASと呼ばれる。すなわち、β1Xtは、販売に対する検索コンテンツアイテムの因果影響を測定し、tは、Xtによって明白にされない、販売に対する他の影響を(遮断β0によって平均が吸収されて)表す。
【００５３】
いくつかの実施形態では、最小2乗法(OLS)によるβ1のバイアスされていない推定値の取得を防止するファクタは、Xtとtとの間の相関関係である。これは、計量経済学における内生性問題と呼ばれる。γ=cov(X,ε)/var(X)およびη=ε-γXを用いてε=γX+ηを書き直すことによって、Y=β0+(β1+γ)X+ηという結果が生み出される。cov(X,η)=0であることを確認するのは簡単であり、したがってOLSを通じたナイーブ推定値β^1は、β1ではなくβ1+γという期待値を有する。いくつかの実施形態では、β1のバイアスされていない推定値を取得するために、εが何から構成されるのかを理解することが重要である。販売への重要な誘因は、経済的ファクタおよび季節性によって影響を受けることがある、根源的な消費者需要からの直接の影響であり、ε0として示される。オーガニック検索結果は販売に直接寄与してもよく、ε1として示される。コンテンツアイテムターゲッティングに起因して、オーガニック検索コンテンツおよび有料検索コンテンツは、通常正の相関関係にあり、cov(X,ε1)>0という結果になる。いくつかの実施形態では、主効果は図4におけるようにモデリングされる。しばしば、cov(X,ε0)>0であることが予想され、したがってε=ε0+ε1の場合、cov(X,ε)>0であり、そのことはナイーブ回帰による過大評価という現象を明白にする。
【００５４】
いくつかの実施形態では、製品の販売に対して潜在的な影響を有する関連する検索クエリのボリュームを集計するための十分な統計量をVとする。異なるクエリは販売に対して異なる効果を有してもよいので、Vは多次元の時系列として測定される。Vが正確に測定されるとき、検索コンテンツアイテムメカニズムに基づくと、
ε1⊥X|V  (4.2)
と仮定することが妥当であり、すなわち関連する検索クエリを条件とすると、検索コンテンツアイテム支出は潜在的なオーガニック検索影響から独立している。
【００５５】
いくつかの実施形態では、検索コンテンツアイテムは、2つの部分、すなわちコンテンツプロバイダによってターゲットにされているキーワードを整合させるために検索クエリが利用可能であること、および検索コンテンツアイテムに対するオークションに参加するための予算をコンテンツプロバイダが有することによって決定される。機能する例示的な因果ダイアグラムを導出するために、次のように2つの単純かつ明確な仮定が行われる。
(a)検索コンテンツアイテムのためのコンテンツプロバイダの予算が制約なし。
(b)関連する検索クエリのボリュームを条件とすると、コンテンツプロバイダの入札および競合者のアクションなどのオークションファクタに対する消費者需要の影響は無視できる。
いくつかの実施形態では、これらの仮定の下では、因果ダイアグラムは、図4におけるように表すことができる。図は、
ε1⊥X|Vおよびε0⊥X|V
の両方を暗黙的に仮定する。
【００５６】
定理1。いくつかの実施形態では、有料検索に対する図4における因果ダイアグラムが有効であると仮定する。XおよびVが完全に相関関係にあるとは限らない場合、セミパラメトリックモデルに対する規則性条件の下では、検索広告ROAS、すなわち図4におけるβ1は、下の加法回帰モデルを適合させることによって矛盾なく推定することができる。
Y=β0+β1X+f(V)+η  (4.3)
ここで、f(・)は未知関数であり、ηはXおよびf(V)と相関関係にない残差である。たとえば、検索コンテンツアイテム支出Xから販売まで、図4に示すような検索コンテンツアイテムの中への矢印を含む4つの経路、すなわちX←Y→ε1、X←V←消費者需要→ε0、X←V←消費者需要→ε0、X←オークション←V→オーガニック検索→ε1、およびX←オークション←V←消費者需要→ε0がある。定義によって、Vは、検索コンテンツアイテムおよび販売に対するバックドア基準を満足する。バックドア調整定理によれば、Yに対するXの因果効果は(Y,X,V)によって同定可能である。f(v)=E(ε|V=v)かつη=ε-E(ε|V)とする。ここでモデル4.1によれば、平均因果効果は条件付き期待値、すなわち
E(Y|X,V)=β0+β1X+E(ε|X,V)
から同定することができる。因果ダイアグラムによって仮定される条件付き独立性(ε0,ε1)⊥X|Vに起因して、以下が導出される。
E(ε|X,V)=E(ε|V)
次いで、
E(Y|X,V)=β0+β1X+f(V)
【００５７】
加法インデックスモデルの同定可能性定理によって、f(・)とβ1の両方が同定可能である。したがって、規則性条件の下では、β1は、fに対する適切な規則化を用いて、パラメータ(β0,β1,f)に関して||Y-β0-β1X-f(V)||を最小化する、通常の回帰方法によって矛盾なく推定することができる。fが一次関数であるものと知られているとき、β1の推定値は矛盾しないだけでなくバイアスされてもいない。
【００５８】
いくつかの実施形態では、図6において表されるモデルは、セミパラメトリックモデルのクラスに分類され、ここで注目するパラメータはβ1であり、ニューサンスパラメータ(nuisance parameter)は、平均0および未知の有限分散を有すると仮定してf(・)およびηの残差分布を含む。いくつかの実施形態では、検索コンテンツアイテムの因果効果が単純な一次形式から逸脱するときでも、図4におけるモデルの公式化は、やはり平均因果効果に関する関心深い洞察をもたらしてもよい。一次形式β1Xが未知関数に緩和されるとき、結果は当然拡張することができる。
【００５９】
上の仮定(a)および(b)は、図4における因果ダイアグラムが有効であることを予想する特別なケースである。いくつかの実施形態では、仮定(a)はチェックすることができる。因果ダイアグラムによって必要とされる必須の仮定は、検索コンテンツアイテム支出が、関連する検索クエリのボリュームのみに依存し、他のファクタは消費者需要によって影響を受けない雑音として扱うことができるということである。
【００６０】
いくつかの実施形態では、定理1における仮定は十分であるが必要ではなく、たとえば検索コンテンツアイテム支出が、コンテンツアイテム予算のみに依存するとともに、仮定(a)に反するように全体にランダム化される場合、モデル4.3は、やはりモデル4.1において定義されるような検索広告ROASの矛盾しない推定値を与えることができる。
【００６１】
図4における因果ダイアグラムが有効ではないシナリオが存在する場合がある。たとえば、コンテンツプロバイダが、消費者需要と相関関係にある比較的少ない予算を有し、かつ比較的高い入札価格を設定することによってその予算を常に高額で使用する場合、消費者需要からXまで直行の辺があることになる。このシナリオでは、検索広告ROASは同定可能ではない。
【００６２】
図6を参照すると、例示的な一実施形態による、簡略化するいくつかの仮定を伴う複合因果ダイアグラムのブロック図600が示される。もっと複合因果ダイアグラムは、検索広告が、販売に著しく影響を及ぼす場合がある唯一のチャネルではないケースをモデリングする。いくつかの実施形態では、X2は、販売に直接影響を及ぼす場合があるすべての非検索コンテンツアイテム誘因、たとえば従来のメディアチャネルおよび非検索デジタルチャネルを示す。非検索誘因はまた、製品を求めてもっとオンラインで検索するように消費者をトリガしてもよい(すなわち、漏斗効果)。コンテンツプロバイダは、検索コンテンツアイテムと他のメディアチャネルの両方に対して予算を計画しようと希望する場合がある。いくつかの実施形態では、図5は、そのようなシナリオに対する因果ダイアグラムの一例を示す。上のケースにおけるように、このグラフは劇的な簡略化である。たとえば、このグラフは、履歴コンテンツアイテムなどの複雑度が現在の販売に影響を及ぼす場合があること(非検索誘因の遅れ効果)を表さず、図において示されない潜在的に弱いリンクを無視する場合がある。
【００６３】
いくつかの実施形態では、検索コンテンツアイテム支出が、他のメディア支出と直接相関関係にないが、消費者の関連する検索クエリボリュームを通じた検索コンテンツアイテム在庫目録の利用可能性によってその大部分が決定される場合、因果ダイアグラムは図6において表されるモデルを縮小させる。たとえば、コンテンツプロバイダが、検索コンテンツアイテム支出を制御するために特定の予算制約の代わりに入札最適化を使用するとき、このことは多くのコンテンツプロバイダに対して近似的に有効である。この近似の下では、非検索誘因ならびにそれらの潜在的な遅れ効果は、β1の同定可能性に影響を及ぼさない。
【００６４】
いくつかの実施形態では、複雑なシナリオに対する簡略化された理論が、定理2におけるように導出されてもよい。
【００６５】
定理2。(1)検索コンテンツアイテムに対する図5における因果ダイアグラムが有効であること、および無視できる遅れ効果をX2が有することを仮定する。販売に対する有料検索の因果効果は、観測データ(X1,X2,V,Y)から同定可能である。X1がVおよびX2と完全に相関関係にあるとは限らない場合、規則性条件の下では、モデル4.1において定義される検索広告ROASβ1は、下の加法回帰モデルを適合させることによって矛盾なく推定することができる。
Y=β0+β1X1+f(V,X2)+η  (4.4)
ここで、
f(v,x2)=E(ε0|V=v,X2=x2)+E(ε1|V=v)+E(ε2|X2=x2)
であり、ηはX1およびf(V,X2)と相関関係にない残差である。
【００６６】
定理2。(2)図6における因果ダイアグラムが有効である場合、規則性条件の下では、モデル(4.1)において定義される検索広告ROASβ1は、下の加法回帰モデルを適合させることによって矛盾なく推定することができる。
Y=β0+β1X1+f(V)+η  (4.5)
ここで、β1は注目するパラメータであり、fは未知関数である。すなわち、推定プロシージャは、前に説明した単純なシナリオに対するものと同じである。いくつかの実施形態では、(1)を証明すると、(V,X2)がX1→Yに対するバックドア基準を満足し、したがってYに対するX1の因果効果を同定可能にさせることが定義によって確認されてもよい。次に、因果ダイアグラムからのε1⊥X1|V、ε2⊥X1|X2、およびε0⊥X1|(V,X2)に起因して、
E(Y|X1,X2,V)=β0+β1X1+E(ε1|V)+E(ε2|X2)+E(ε0|V,X2)
であることが示されてもよい。
【００６７】
結果(2)は同様に証明することができる。
【００６８】
備考4。いくつかの実施形態では、検索コンテンツアイテム支出に対して予算制約がない。このことは、図6によって識別されるシナリオが、図5におけるもっと複雑なシナリオよりも一般的であることが可能であることを暗示する。図5のシナリオに対する実際のモデルは、X2における遅れ効果の慎重な考慮を必要とする場合がある。
【００６９】
備考5。いくつかの実施形態では、経路X2←消費者需要がブロックされていないので、(X1,V)はX2→Yに対するバックドア基準を満足しない。たとえば、X2がソーシャルメディアコンテンツアイテム支出を表す場合がある。このことは、販売に対するX2の因果効果が(Y,X1,X2,V)に対する観測だけでは矛盾なく推定できないことを示唆する。
【００７０】
備考6。いくつかの実施形態では、X2→Yに対するバックドア基準を満足するように追加の変数が収集できる場合、従来のMMMにおいて単一の回帰からX1およびX2の因果効果を同時に推定できるという保証はない。X1→YおよびX2→Yに対するバックドア基準を別個に満足する変数の2つのサブセットが同じでなく、すべての関連する変数に対する回帰によって不可解な結果およびシンプソン(Simpson)のパラドックスさえも取得することがある場合、たとえば不必要な共変量を条件とすることによって、本当の影響が肯定的でありながら、いくつかのメディアに対して否定的な影響を取得する場合がある。
【００７１】
図7を参照すると、検索結果におけるバイアスを除去するプロセスのフローチャート700が、例示的な一実施形態に従って図示される。手短に言えば、プロセスは、第1のメトリックのインクリメント値変化に関連する第1のURLを識別することと、第1のURLに関連する複数のURLを識別することと、クエリを備える検索クエリデータを受信することと、受信検索クエリデータを複数のグループに区分することと、複数のグループに基づいて複数の検索クエリサブセットを生成することと、因果ダイアグラムに基づいて加法回帰モデルを生成することと、インクリメント値変化のバイアス補正済み推定値を計算することとを備える。プロセスはまた、複数のグループに基づいて加法回帰モデルを生成するときの使用のために因果ダイアグラムを生成することを備えてもよい。
【００７２】
いくつかの実施形態では、702において因果ダイアグラムが生成される。因果ダイアグラムは、因果モデルにおける変数の間の因果関係を表す有向非巡回グラフ(DAG)であることが可能である。因果ダイアグラムは、モデルの範囲内にあるものとして定義される、グラフのノードとして表される変数のセットからなる。ノードiから別のノードjへの矢印は、iからjまでのシーケンスにおける因果を表し、すなわちすべての他のファクタが等しいと、iの変動はjの変動を引き起こしてもよい。
【００７３】
704において、第1のメトリックのインクリメント値変化に関連する第1のURLが識別される。いくつかの実施形態では、Vは、製品の販売に対する潜在的な影響を有する関連する検索クエリのボリュームを表す。関連する検索クエリの総数は潜在的に極めて多く、そのため、モデル適合のために都合よく使用できる方法で検索クエリを集計することが重要である。各クエリ語の潜在的な影響が異なることがあるので、Vの集計は簡単ではない場合がある。第1のURLは、コンテンツプロバイダのウェブサイトを識別することによって識別されてもよい。いくつかの実施形態では、コンテンツプロバイダの上位競合者のウェブサイトも識別され、その上位競合者のウェブサイトである。
【００７４】
706において、第1のURLに関連する複数のURLが識別される。いくつかの実施形態では、クエリを備える検索クエリデータが受信される。たとえば、ターゲット領域、時間ウィンドウ、人口統計などに関連するすべてのクエリが収集されてもよい。クエリごとに、各URLがオーガニック検索結果の中に出現する回数が計数される(たとえば、宛先URL)。いくつかの実施形態では、クエリに関連するURLのセットがコンテンツプロバイダのウェブサイトを含む場合、クエリはそのコンテンツプロバイダに関連すると見なされる。Sの中の関連する各クエリは、コンテンツプロバイダの製品に対する異なるレベルの需要を表してもよい。
【００７５】
710において、受信検索クエリデータは複数のグループに区分される。いくつかの実施形態では、関連するクエリセットSは、クエリごとに出現するURLの混合に従って3つのグループに区分される。オーガニック結果の中に出現する宛先URLはまた、4つのグループ、すなわちa)コンテンツプロバイダに属する、b)上位競合者に属する、c)コンテンツプロバイダまたはその競合者に属さないがビジネスカテゴリーに属する、およびd)ビジネスカテゴリーに属さないに分類することができる。
【００７６】
任意のクエリqiに対して、各グループに分類されたURLに対するインプレッションの数の総和は、それぞれ、wi,a、wi,b、wi,c、およびwi,dとして示すことができる。いくつかの実施形態では、wi,total=wi,a+wi,b+wi,c+wi,dは、qiに対する全インプレッションであり、wi,category=wi,a+wi,b+wi,cは、qiに対するカテゴリーインプレッションである。
【００７７】
712において、複数のグループに基づく複数の検索クエリサブセットが生成される。いくつかの実施形態では、合計でクエリの数を超えるカテゴリーの中の数が所定のしきい値よりも小さい場合、クエリは、関連すべき可能性が低いので無視される。そうでなければ、ターゲットサブセットが所定のしきい値よりも大きい場合、それをターゲット支持として分類し、そうではなく、関連する競合者のサブセットがしきい値よりも大きい場合、それを競合者支持として分類し、他の場合、それを一般的関心として分類する。いくつかの実施形態では、このことは、クエリの3つのサブセット、たとえばすべてのターゲット支持クエリを含むS1、すべての競合者支持クエリを含むS2、およびすべての一般的関心クエリを含むS3をもたらす。クエリS1、S2、およびS3という3つのセットが与えられると、クエリセットごとの検索の総数は、各時間ウィンドウtの中で計数することができ、それに対応して、V1t(ターゲット支持)、V2t(競合者支持)、およびV3t(一般的関心)としてラベル付けすることができる。総和V1t+V2t+V3tは、時間ウィンドウtにおけるカテゴリー検索ボリュームに指定することができる。いくつかの実施形態では、上のセグメント化プロシージャに対して必要とされるしきい値にとって50%が妥当な選択である。
【００７８】
714において、因果ダイアグラムに基づく加法回帰モデルが生成される。SBC方法の実装形態は、定理1および定理2によって同定される加法モデルを適合させることに依拠してもよい。単純なシナリオの場合、いくつかの実施形態では、関数f(V)は、加法関数によって定理1において定義されるように近似され、ここでV=(V1,V2,V3)である。
【００７９】
716において、インクリメント値変化のバイアス補正済み推定値が計算される。β1のバイアス補正済み推定は、加法回帰モデルを適合させることによって実施されてもよい。いくつかの実施形態では、パラメトリック混合効果モデルを適合させることとして加法回帰プロシージャを再公式化する、制限付き最尤(REML)アルゴリズムが使用される。
【００８０】
いくつかの実施形態では、検索クエリの数が十分に多いとき、加法関数によってf(V)を近似する代わりに、3次元完全テンソル積平滑化、および下の回帰による推定値β1によって、f(V)を直接近似することができる。
【００８１】
Y〜β0+β1X+te(V1,V2,V3)  (5.2)
ここで、teは、完全テンソル積平滑化を実施するための、MGCVにおけるR関数である。
【００８２】
いくつかの実施形態では、モデル安定性は、単調増加するものと仮定して、β1Xを未知の平滑化関数s(X)で置き換える結果を見ることによってチェックすることができる。結果は、下のように限界のROASに基づいて計算された。
β^1=＼sum_t(s^((1+δ)Xt)-s^(Xt))/(δ＼sum_tXt)
【００８３】
これは、ノンパラメトリックモデル適合プロシージャである。いくつかの実施形態では、このプロシージャによる限界のROAS点推定値は、モデル5.1からの推定値に極めてよく類似する。
【００８４】
比較のために、OLSによって適合されるナイーブ推定値も、次のように計算できる。
Y〜β0+β1X  (5.3)
【００８５】
消費者需要は、販売に対して大きい影響を有するが、直接測定することは厳しい。モデラは、時々、プロキシ変数を使用して根源的な消費者需要に対して制御する。いくつかの実施形態では、需要調整された推定値も含まれ、
Y〜β0+β1X+s(S)  (5.4)
によって計算され、ここでSは消費者需要プロキシ変数を表す。Sに対してカテゴリー検索ボリュームが使用されてもよい。
【００８６】
検索コンテンツアイテム支出と他のメディア支出との間に直接の相関関係がない、図6における因果ダイアグラムによって説明した複雑なシナリオの場合、それは定理2に従って単純なシナリオに縮小する。
【００８７】
図8を参照すると、検索クエリ分類を示すチャートのセット800が、例示的な一実施形態に従って図示される。検索クエリ分類の例では、各ドットは関連するクエリに対するものである。x軸は、ターゲット重み/カテゴリー重みを示し、y軸は、カテゴリー重み/全重みを示す。垂直の赤色の線の右側のクエリは、ターゲット支持としてグループ化される。
【００８８】
いくつかの実施形態では、時系列の販売、検索広告支出、および検索クエリボリューム(ターゲット支持観点)は、下の第1のケーススタディにおける実データからシミュレートされてもよく、ここで各時系列はその中央値によって再スケーリングされる。各ケースにおける時系列の各変数は、明瞭な季節性パターン、たとえば曜日、および季節的動向に従う。いくつかの実施形態では、データはプライベートに保たれ、各変数のスケールはデータプライバシーを保つために報告されず、各変数のスケールは報告されないが、ペアごとの相関関係および適合済みモデルパラメータなどのいくつかの高レベルの要約統計量が報告される。また、いくつかの実施形態では、実験的な点推定値は1に等しくなるようにスケーリングされ、すべての結果および標準誤差はその結果へのインデックスが付けられる。
【００８９】
図9を参照すると、第1のケーススタディにとってのメトリックと推定ROASとの間の相関関係を示す散布図およびブロック図900が、例示的な一実施形態に従って図示される。この場合、コンテンツプロバイダは、中規模の(数千万USDの年間収益を有する)電子商取引小売業者であり、顧客の注文をオンラインで受け取った後、製品のオフライン配達を提供する。検索広告は、他のメディアチャネルに対する著しい支出を伴わない唯一の主なマーケティングチャネルであった。この例で利用可能なデータは、販売のyメトリック、コンテンツアイテム支出、および2015年における65日間に対する検索クエリボリュームを備える。図9の最上行における左のパネルはペアごとの散布図を示し、ここで上の方のパネルにおける数字はピアソン(Pearson)相関である。たとえば、広告支出と販売との間の相関関係は0.91である。広告支出を伴う単純な線形モデルは、良好に販売を適合させてもよく予測してもよい。この場合のターゲット支持検索クエリボリュームとコンテンツアイテム支出との間の強い相関関係(0.91)は、1)強いコンテンツアイテムターゲッティングがあってもよいこと、および2)コンテンツプロバイダが彼らの検索コンテンツアイテム予算の上位にめったにまたはまったくヒットしないことを示唆する。一方、検索ボリュームと販売との間の相関関係は0.97である。いくつかの実施形態では、SBC-SPは、モデル(5.1)で説明したように適合され、すなわち応答〜β0+β1×広告支出+s(target)+s(competitors)+s(general.interest)であり、ここでtarget、competitors、およびgeneral.interestは、ターゲット支持検索クエリボリューム、競合者支持検索クエリボリューム、および一般的関心検索クエリボリュームを別個に表す。図9、図10、および図11は、3つのケーススタディにとっての、検索コンテンツアイテム支出、ターゲット支持検索ボリューム、および販売の間の散布図および相関関係(左のパネル)、ならびに推定ROAS(右のパネル)を備え、ここでNEはナイーブ推定値を表し、SAは需要調整された推定値を表し、EXPはランダム化されたジオ実験(geo experiment)からの基準値を表す。棒線は、β^1±std.error(β^1)(標準誤差)の値を示す。点推定値と標準誤差の両方が、データプライバシーを維持するために元のEXP点推定値によって再スケーリングされる。
【００９０】
β1の点推定値は3.0であり標準誤差1.02を伴う。ターゲット支持クエリボリュームに対する適合済み平滑化関数は、単調増加しておりほとんど線形である(図12参照)。調整されたR2値は0.95である。単調性が予想されるが、いかなる形でも単調性を強いることなく、データからの適合済み曲線が直接見えることは関心深い。他方の競合者支持検索ボリュームに対する適合済み関数は統計学的に有意ではないが、一般的関心に対する適合済み関数は統計学的に有意である。
【００９１】
OLS、すなわちモデル5.3に基づくβ1のナイーブ推定値は14.7であり標準誤差0.83を伴う。モデル5.4におけるように、カテゴリー検索ボリュームを使用して季節的需要に対して制御すると、適合された値は7.1であり標準誤差1.51を伴う。これらの2つのモデル適合は、それぞれ、0.83および0.90というR2値を調整している。
【００９２】
コンテンツプロバイダは、期間の第2の月の間に、ランダム化されたジオ実験を実施した。ROASのインデックスが付けられた実験的な推定値は、標準誤差0.66を有する。ROASのナイーブ推定値は、実験結果よりもほぼ15倍大きい。単純なカテゴリー検索ボリュームベースの需要調整を用いると、ギャップは収縮するが推定値は依然として7倍大きい。対照的に、SBC推定値は実験結果にはるかに近い。図9における比較を参照されたい。
【００９３】
図10を参照すると、第2のケーススタディにとってのメトリックと推定ROASとの間の相関関係を示す散布図およびブロック図1000が、例示的な一実施形態に従って図示される。コンテンツプロバイダのビジネスは、たとえば旅行市場である。検索コンテンツアイテム支出、KPI、検索クエリボリュームデータが、約4か月(135日)という期間にわたって日単位で図示される。ランダム化された実験が、最後の6週間において示される。
【００９４】
この場合、需要調整はバイアスをさほど低減せず、推定ROASを8.4(標準誤差1.30を伴う)から7.3(標準誤差1.14を伴う)まで導く。一方、SBC推定値は1.9であり標準誤差0.71を伴い、実験結果にはるかに近く、標準誤差0.14を伴う。図10における比較を参照されたい。ターゲット支持検索ボリュームに対する適合済み平滑化関数は、同じく単調増加しておりほとんど線形である。図9におけるように、競合者支持検索ボリュームは、図10に示すように統計学的に有意ではない。ターゲット支持検索ボリュームと検索コンテンツアイテム支出との間の相関関係が0.47しかなく、図9におけるものよりもはるかに小さいことは注目に値するが、販売と検索ボリュームとの間の強い相関関係は、根源的な消費者需要もしくはオーガニック検索またはその両方が、この場合には販売に劇的に寄与していることを示唆してもよい。
【００９５】
図11を参照すると、第3のケーススタディにとってのメトリックと推定ROASとの間の相関関係を示す散布図およびブロック図1100が、例示的な一実施形態に従って図示される。コンテンツプロバイダは、たとえば国営の衣料品小売業者であり、KPIは、彼らのウェブサイトへの訪問の数である。データは約3か月(88日)をカバーする。ランダム化された実験が、最後の6週間において示される。
【００９６】
ROASのSBC推定値は0.8であり標準誤差0.28を伴い、ナイーブ推定値は2.9であり標準誤差0.23を伴うが、需要調整された推定値は1.4であり標準誤差0.33を伴う。図11におけるグラフによる比較を参照されたい。この場合、ナイーブ推定値は、実験結果よりも約3倍大きい。需要調整された推定値は、それの約半分であり実験結果にはるかに近い。ケース1および2におけるように、標準誤差を考慮に入れると、SBC推定値は同じく実験結果とまったく同等である。ターゲット支持検索クエリボリュームに対する適合された曲線は、左端部におけるスティーパ(steeper)を除いて同じくほとんど線形であり、他の2つの検索観点は、図11に示すように無視できる影響を有する。
【００９７】
図12を参照すると、第1のケーススタディにとっての選択バイアスを示す、適合済み関数値+モデル残差の散布図1200が、例示的な一実施形態に従って示される。図13を参照すると、第2のケーススタディにとっての選択バイアスを示す、適合済み関数値+モデル残差の散布図1300が、例示的な一実施形態に従って示される。図14を参照すると、第3のケーススタディにとっての選択バイアスを示す、適合済み関数値+モデル残差の散布図1400が、例示的な一実施形態に従って示される。いくつかの実施形態では、図12〜図14は、図の中でターゲット支持検索クエリボリューム、競合者支持検索クエリボリューム、および一般的関心検索クエリボリュームの変化によって明白にされた選択バイアスを示し、ここで3-dim(3次元)検索クエリボリュームに対する応答曲線および95%信頼性バンドは、回帰モデル5.1において説明したような加法関数で適合される。散布図は、適合済み関数値+モデル残差である。
【００９８】
図15を参照すると、コンピューティングシステム1500のブロック図が、例示的な実施形態に従って示される。図15は、たとえば例示的なユーザデバイス104、例示的なコンテンツ管理システム108、例示的なコンテンツプロバイダデバイス106、例示的な分析システム120、および/または本開示で説明する様々な他の例示的なシステムを実施するために使用できる、コンピューティングシステム1500の図を示す。コンピューティングシステム1500は、情報を通信するためのバス1505または他の通信構成要素、および情報を処理するための、バス1505に結合されるプロセッサ1510を含む。コンピューティングシステム1500はまた、情報、およびプロセッサ1510によって実行されるべき命令を記憶するための、バス1505に結合されるランダムアクセスメモリ(RAM)または他のダイナミック記憶デバイスなどのメインメモリ1515を含む。メインメモリ1515はまた、プロセッサ1510による命令の実行中に位置情報、一時変数、または他の中間的な情報を記憶するために使用することができる。コンピューティングシステム1500は、プロセッサ1510のための静的な情報および命令を記憶するための、バス1505に結合される読取り専用メモリ(ROM)1520または他のスタティック記憶デバイスをさらに含んでよい。ソリッドステートデバイス、磁気ディスク、または光ディスクなどの記憶デバイス1525は、情報および命令を永続的に記憶するためにバス1505に結合される。
【００９９】
コンピューティングシステム1500は、情報をユーザに表示するために、バス1505を介して液晶ディスプレイ、アクティブマトリックスディスプレイなどのディスプレイ1535に結合されてもよい。英数字キーおよび他のキーを含むキーボードなどの入力デバイス1530が、情報およびコマンド選択をプロセッサ1510に通信するためにバス1505に結合されてもよい。別の実装形態では、入力デバイス1530はタッチスクリーンディスプレイ1535を有する。入力デバイス1530は、方向情報およびコマンド選択をプロセッサ1510に通信するために、またディスプレイ1535上でカーソル移動を制御するために、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御装置を含むことができる。
【０１００】
いくつかの実装形態では、コンピューティングシステム1500は、ネットワーキングアダプタなどの通信アダプタ1540を含んでよい。通信アダプタ1540は、バス1505に結合されてもよく、コンピューティングもしくは通信ネットワーク1545および/または他のコンピューティングシステムとの通信を可能にするように構成されてもよい。様々な例示的な実装形態では、任意のタイプのネットワーキング構成が、(たとえば、イーサネット(登録商標)を介した)有線、(たとえば、WiFi、Bluetooth(登録商標)などを介した)ワイヤレス、事前構成型、アドホック、LAN、WANなどの通信アダプタ1540を使用して達成されてもよい。
【０１０１】
様々な実装形態によれば、本明細書で説明されている例示的な実装形態を実現するプロセスは、メインメモリ1515の中に含まれる命令の構成のプロセッサ1510による実行に応答して、コンピューティングシステム1500によって達成することができる。そのような命令は、記憶デバイス1525などの別のコンピュータ可読媒体からメインメモリ1515の中に読み取ることができる。メインメモリ1515の中に含まれる命令の構成の実行は、本明細書で説明する例示的なプロセスをコンピューティングシステム1500に実行させる。メインメモリ1515の中に含まれる命令を実行するために、多重処理構成での1つまたは複数のプロセッサも採用されてもよい。代替実装形態では、例示的な実装形態を実施するためのソフトウェア命令の代わりに、またはそれと組み合わせて、配線接続された回路構成が使用されてもよい。したがって、実装形態はハードウェア回路構成とソフトウェアとのいかなる特定の組合せにも限定されない。
【０１０２】
例示的な処理システムが図15において説明されているが、本明細書で説明した主題および機能的動作の実装は、本明細書で開示する構造およびそれらの構造的均等物を含めて、またはそれらのうちの1つもしくは複数の組合せで、他のタイプのデジタル電子回路構成を使用して、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実行することができる。
【０１０３】
様々な実装形態によれば、本明細書で説明されている例示的な実装形態を実現するプロセスは、メインメモリ1515の中に含まれる命令の構成のプロセッサ1510による実行に応答して、コンピューティングシステム1500によって達成することができる。そのような命令は、記憶デバイス1525などの別のコンピュータ可読媒体からメインメモリ1515の中に読み取ることができる。メインメモリ1515の中に含まれる命令の構成の実行は、本明細書で説明する例示的なプロセスをコンピューティングシステム1500に実行させる。メインメモリ1515の中に含まれる命令を実行するために、多重処理構成での1つまたは複数のプロセッサも採用されてもよい。代替実装形態では、例示的な実装形態を実施するためのソフトウェア命令の代わりに、またはそれと組み合わせて、配線接続された回路構成が使用されてもよい。したがって、実装形態はハードウェア回路構成とソフトウェアとのいかなる特定の組合せにも限定されない。
【０１０４】
例示的な処理システムが図15において説明されているが、本明細書で説明した主題および機能的動作の実装は、本明細書で開示する構造およびそれらの構造的均等物を含めて、またはそれらのうちの1つもしくは複数の組合せで、他のタイプのデジタル電子回路構成を使用して、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで実行することができる。
【０１０５】
本明細書で説明した主題および動作の実装は、本明細書で開示する構造およびそれらの構造的均等物を含めて、またはそれらのうちの1つもしくは複数の組合せで、デジタル電子回路構成を使用して、または有形媒体上で具現されたコンピュータソフトウェア、ファームウェア、もしくはハードウェアで、実行することができる。本明細書で説明した主題の実装形態は、データ処理装置による実行のために、またはデータ処理装置の動作を制御するために、1つまたは複数のコンピュータ記憶媒体において符号化された1つまたは複数のコンピュータプログラム、すなわちコンピュータプログラム命令の1つまたは複数のモジュールとして実装することができる。代替的にまたは追加として、プログラム命令は、データ処理装置による実行のための好適なレシーバ装置への送信のために、情報を符号化するために生成される人工的に生成された伝搬信号、たとえば機械生成の電気信号、光信号、または電磁信号において符号化することができる。コンピュータ可読記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセスもしくはシリアルアクセスのメモリアレイもしくはメモリデバイス、またはそれらのうちの1つもしくは複数の組合せであること、あるいはその中に含まれることが可能である。その上、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号の中で符号化されたコンピュータプログラム命令の送信元または送信先であることが可能である。コンピュータ記憶媒体はまた、1つまたは複数の別個の構成要素または媒体(たとえば、複数のCD、ディスク、または他の記憶デバイス)であること、あるいはその中に含まれることが可能である。したがって、コンピュータ記憶媒体は有形と非一時的の両方である。
【０１０６】
本明細書で説明した動作は、1つまたは複数のコンピュータ可読記憶デバイス上に記憶されるかまたは他のソースから受信されるデータに対してデータ処理装置によって実行される動作として実施することができる。
【０１０７】
「データ処理装置」または「コンピューティングデバイス」という用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、もしくは複数のそれら、または上記の組合せを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、専用論理回路構成、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置はまた、ハードウェアに加えて、当該のコンピュータプログラム用の実行環境を作成するコード、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム実行時環境、バーチャルマシン、またはそれらのうちの1つもしくは複数の組合せを構成するコードを含むことができる。装置および実行環境は、ウェブサービス基盤、分散型コンピューティング基盤、およびグリッドコンピューティング基盤などの様々な異なるコンピューティングモデル基盤を実現することができる。
【０１０８】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイル型言語またはインタープリタ型言語、宣言型言語または手続き型言語を含む、任意の形式のプログラミング言語で書くことができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に適した他の単位として含む、任意の形式で展開することができる。コンピュータプログラムは、ファイルシステムの中のファイルに対応してもよいが対応することは必須ではない。プログラムは、他のプログラムもしくはデータ(たとえば、マークアップ言語文書の中に記憶される1つまたは複数のスクリプト)を保持するファイルの一部分の中に、当該のプログラムに専用の単一のファイルの中に、または複数の協調されたファイル(たとえば、1つまたは複数のモジュール、サブプログラム、またはコードの部分を記憶するファイル)の中に記憶することができる。コンピュータプログラムは、1つのサイトに位置するか、または複数のサイトにわたって分散されるとともに通信ネットワークによって相互接続される、1つのコンピュータ上または複数のコンピュータ上で実行されるように展開することができる。
【０１０９】
本明細書で説明したプロセスおよび論理フローは、1つまたは複数のプログラマブルプロセッサが、入力データに作用し出力を生成することによってアクションを実行するための1つまたは複数のコンピュータプログラムを実行することによって、実行することができる。プロセスおよび論理フローはまた、専用論理回路構成、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行することができ、装置はまた、そうした専用論理回路構成として実装することができる。
【０１１０】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般に、プロセッサは、読取り専用メモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令に従ってアクションを実行するためのプロセッサ、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための1つまたは複数の大容量記憶デバイス、たとえば磁気ディスク、光磁気ディスク、または光ディスクを含むか、あるいはそうした大容量記憶デバイスからデータを受信すること、もしくはそうした大容量記憶デバイスへデータを転送すること、またはその両方を行うように動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有することは必須ではない。その上、コンピュータは、別のデバイス、たとえばほんのいくつかの例を挙げれば、携帯電話、携帯情報端末(PDA)、モバイルオーディオもしくはビデオプレーヤ、ゲーム機、全地球測位システム(GPS)レシーバ、またはポータブル記憶デバイス(たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブ)の中に組み込むことができる。コンピュータプログラム命令およびデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、たとえばEPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、たとえば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む、すべての形態の不揮発性のメモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路構成によって増補することができるか、または専用論理回路構成の中に組み込むことができる。
【０１１１】
ユーザとの対話を行うために、本明細書で説明した主題の実装は、情報をユーザに表示するためのディスプレイデバイス、たとえばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ、ならびにユーザがそれによって入力をコンピュータに提供できるキーボードおよびポインティングデバイス、たとえばマウスまたはトラックボールを有する、コンピュータを使用して実行することができる。同様にユーザとの対話を行うために他の種類のデバイスが使用されることが可能であり、たとえばユーザに提供されるフィードバックは、任意の形態の知覚フィードバック、たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバックであることが可能であり、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む、任意の形態で受信することができる。加えて、コンピュータは、ユーザによって使用されるデバイスへ文書を送信すること、およびそうしたデバイスから文書を受信することによって、たとえばユーザのクライアントデバイス上のウェブブラウザから受信された要求に応答して、そのウェブブラウザへウェブページを送信することによって、ユーザと対話することができる。
【０１１２】
本明細書で説明した主題の実装は、たとえばデータサーバとして、バックエンド構成要素を含むか、またはミドルウェア構成要素、たとえばアプリケーションサーバを含むか、またはフロントエンド構成要素、たとえば本明細書で説明した主題の実装形態とそれを通じてユーザが対話できるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータを含む、コンピューティングシステム、あるいは1つまたは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを使用して、実行することができる。システムの構成要素は、任意の形態または媒体のデジタルデータ通信、たとえば通信ネットワークによって、相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク("LAN")およびワイドエリアネットワーク("WAN")、インターネットワーク(たとえば、インターネット)、ならびにピアツーピアネットワーク(たとえば、アドホックピアツーピアネットワーク)を含む。
【０１１３】
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に互いに遠隔にあり、通常は通信ネットワークを通じて対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行し互いにクライアントサーバ関係を有する、コンピュータプログラムによって現れる。いくつかの実装形態では、サーバは、データ(たとえば、HTMLページ)をクライアントデバイスへ(たとえば、クライアントデバイスと対話しているユーザにデータを表示し、かつそうしたユーザからユーザ入力を受信するために)送信する。クライアントデバイスにおいて生成されるデータ(たとえば、ユーザ対話の結果)は、サーバにおいてクライアントデバイスから受信することができる。
【０１１４】
いくつかの例示的な実装形態では、本明細書で開示する機能は、インターネット接続性をもっと旧来型の(たとえば、ケーブル、衛星、オーバージエア、または他の信号を介して受信される)テレビジョン番組ソースと統合するように構成される処理回路を含んでよい、スマートテレビジョンモジュール(または、コネクティッドテレビジョンモジュール、ハイブリッドテレビジョンモジュールなど)上で実施されてもよい。スマートテレビジョンモジュールは、テレビジョンセットの中に物理的に組み込まれてもよく、またはセットトップボックス、Blu-ray(登録商標)または他のデジタルメディアプレーヤ、ゲーム機、ホテルテレビジョンシステム、および他のコンパニオンデバイスなどの別個のデバイスを含んでよい。スマートテレビジョンモジュールは、ウェブ上、ローカルケーブルテレビジョンチャネル上、衛星テレビジョンチャネル上の、またはローカルハードドライブに記憶された、ビデオ、ムービー、写真、および他のコンテンツを、見ている人が検索および発見することを可能にするように構成されてもよい。セットトップボックス(STB)またはセットトップユニット(STU)は、チューナーを含んでよくテレビジョンセットおよび信号の外部ソースに接続してもよい、信号をコンテンツに変える情報アプライアンスデバイスを含んでよく、コンテンツは、次いでテレビジョンスクリーンまたは他のディスプレイデバイス上で表示される。スマートテレビジョンモジュールは、ウェブブラウザ、および複数のストリーミングメディアサービス(たとえば、Netflix、Vudu、Huluなど)、接続されたケーブルまたは衛星メディアソース、他のウェブ「チャネル」などの複数の異なるアプリケーション用のアイコンを含む、ホームスクリーンまたはトップレベルスクリーンを設けるように構成されてもよい。スマートテレビジョンモジュールは、電子番組ガイドをユーザに提供するようにさらに構成されてもよい。スマートテレビジョンモジュールへのコンパニオンアプリケーションは、利用可能な番組についての追加の情報をユーザに提供すること、ユーザがスマートテレビジョンモジュールを制御することを可能にすることなどを行うように、モバイルコンピューティングデバイス上で動作可能であってもよい。代替実装形態では、機能は、ラップトップコンピュータもしくは他のパーソナルコンピュータ、スマートフォン、他のモバイルフォン、ハンドヘルドコンピュータ、タブレットPC、または他のコンピューティングデバイス上で実施されてもよい。
【０１１５】
本明細書は多くの特定の実装詳細を含むが、これらは任意の発明のまたは特許請求されてもよいものの範囲の限定としてではなく、むしろ特定の発明の特定の実装形態に特有の機能の説明として解釈されるべきである。本明細書で別個の実装形態の文脈で説明されているいくつかの機能はまた、組合せまたは単一の実装形態で実行することができる。反対に、単一の実装形態の文脈で説明されている様々な機能はまた、複数の実装形態で、別個に、または任意の好適な部分組合せで実行することができる。その上、機能は、いくつかの組合せで作用するものとして上記で説明される場合があり、当初はそのようなものとして特許請求されることさえあるが、特許請求される組合せからの1つまたは複数の機能は、場合によっては、その組合せから削除することができ、特許請求される組合せは、部分組合せまたは部分組合せの変形を対象とする場合がある。追加として、特定の題目に関して説明した機能は、他の題目の下で説明した例示的な実装形態に関して、かつ/またはそうした実装形態と組み合わせて利用されてもよく、題目は、提供される場合、単に読みやすさのために含まれており、そのような題目に関して提供されるいかなる機能を限定するものとしても解釈されるべきではない。
【０１１６】
同様に、動作は特定の順序で図面の中に示されるが、このことは、そのような動作が、示された特定の順序でもしくは順番に実行されること、または望ましい結果を達成するために、図示したすべての動作が実行されることを必要とするものとして理解されるべきではない。いくつかの環境では、マルチタスキングおよび並行処理が好都合な場合がある。その上、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきでなく、説明したプログラム構成要素およびシステムが、一般に、単一のソフトウェア製品の中で一緒に統合できるか、または有形媒体上で具現された複数のソフトウェア製品の中にパッケージ化できることを理解されたい。
【０１１７】
したがって、本主題の特定の実装形態が説明されている。他の実装形態が以下の特許請求の範囲内に入る。場合によっては、特許請求の範囲に記載されたアクションは、異なる順序で実行することができ、やはり望ましい結果を達成する。加えて、添付の図に示すプロセスは、望ましい結果を達成するために、必ずしも図示の特定の順序、または順番であることを必要とするとは限らない。いくつかの実装形態では、マルチタスキングおよび並行処理が好都合な場合がある。
【符号の説明】
【０１１８】
100  環境
102  ネットワーク
104  ユーザデバイス
106  コンテンツプロバイダデバイス
108  コンテンツ管理システム
108  コンテンツデータベース
110  データソース
112  コンテンツアイテム
120  分析システム
122  因果モデラ
124  因果モデル生成器
126  バイアス計算器
128  分析データベース
130  検索クエリデータ
1500  コンピューティングシステム
1505  バス
1510  プロセッサ
1515  メインメモリ
1520  読取り専用メモリ(ROM)
1525  記憶デバイス
1530  入力デバイス
1535  ディスプレイ
1540  通信アダプタ
【図１】
0006748312.tif 000008
【図２】
0006748312.tif 000009
【図３】
0006748312.tif 000010
【図４】
0006748312.tif 000011
【図５】
0006748312.tif 000012
【図６】
0006748312.tif 000013
【図７】
0006748312.tif 000014
【図８】
0006748312.tif 000015
【図９】
0006748312.tif 000016
【図１０】
0006748312.tif 000017
【図１１】
0006748312.tif 000018
【図１２】
0006748312.tif 000019
【図１３】
0006748312.tif 000020
【図１４】
0006748312.tif 000021
【図１５】
0006748312.tif 000022