(57)【要約】複数の外部コンテンツシステムにわたって、外部コンテンツシステムのユーザへデジタルコンテンツの実験および／または最適化を実施するクロスチャネル最適化システムおよび方法を提供する。コンピュータシステムは、システムに格納される一組以上のルールであって、外部コンテンツシステムのユーザに提示するために、コンテンツをデジタル形式で知覚可能に表示される処置に体系的に変化させることについての、様々な処置がそれぞれの外部コンテンツシステムにわたってユーザにどのように表示されるかについての、実験がシステムにわたってどのように追跡されるかについての、および、ユーザへの変動の配信についての該一組以上のルールと、デジタルネットワークを介して外部コンテンツシステムに渡すことが可能な、および外部コンテンツシステムによって実行可能な特有のプログラム命令としての一組以上のルールを配信可能なプログラムルール生成部とを有する。【選択図】図１３
2010514010.tif 000002
【特許請求の範囲】
【請求項１】
ユーザと複数の外部コンテンツシステム間での双方向セッションの間に、デジタルデータネットワークを介してユーザに配信されるコンテンツの体系的な変動を調整するコンピュータシステムであって、該システムは、
前記システムに格納される一組以上のルールであって、
外部コンテンツシステムのユーザに提示するために、コンテンツをデジタル形式で知覚可能に表示される処置に体系的に変化させることについての、
様々な前記処置がそれぞれの外部コンテンツシステムにわたってユーザにどのように表示されるかについての、
実験がシステムにわたってどのように追跡されるかについての、および、
ユーザへの前記変動の配信についての該一組以上のルールと、
デジタルネットワークを介して前記外部コンテンツシステムに渡すことが可能な、および、前記外部コンテンツシステムによって実行可能な特有のプログラム命令としての一組以上のルールを配信可能なプログラムルール生成部と、
を含むことを特徴とするコンピュータシステム。
【請求項２】
コンテンツ要素のそれぞれの処置が提示された回数、および／または、処置が提示されたときユーザが行ったことに関するデータを収集するデータ照合部をさらに含むことを特徴とする、請求項１に記載のコンピュータシステム。
【請求項３】
前記システムは、複数の異なるプラグインを介して前記外部コンテンツシステムと交信し、該プラグインのそれぞれは、一組以上のルールを外部コンテンツシステムが実行可能な形式に変換することを特徴とする、請求項１に記載のコンピュータシステム。
【請求項４】
前記システムは、実験の間にユーザのサンプリングを基にデータを受信するよう構成され、また、どのユーザを実験コンテンツの受信に割り当てるか、および、どちらを実験的制御として使用するかについて判定するよう構成されることを特徴とする、請求項１に記載のコンピュータシステム。
【請求項５】
ユーザへの処置の配信を統制する前記ルールは、実験ルール、予測ルール、または、ユーザ定義ルールを含む、状況特有のルールであることを特徴とする、請求項１に記載のコンピュータシステム。
【請求項６】
前記システムは、それぞれのユーザに異なる変動を配信するために、統計的なサンプリング方法を実施することを特徴とする、請求項１に記載のコンピュータシステム。
【請求項７】
モデルエンジンが、変動がユーザの行動に影響する度合いを識別することを特徴とする、請求項１に記載のコンピュータシステム。
【請求項８】
前記モデルエンジンは、変動に応じた記録したアクションを基に、観測ユーザ行動の理論記述を提供する一つ以上の行動モデルを作成することを特徴とする、請求項７に記載のコンピュータシステム。
【請求項９】
前記モデルエンジンは、変動に応じてユーザが起こす将来のアクションの可能性を予測することを特徴とする、請求項７に記載のコンピュータシステム。
【請求項１０】
前記モデルエンジンは、所定の成果に最適な変動を判定するために、変動に応じてユーザが起こす予測された将来のアクションの可能性を使用することを特徴とする、請求項７に記載のコンピュータシステム。
【請求項１１】
前記システムは、前記モデルエンジンから推奨処置を配信することを特徴とする、請求項７に記載のコンピュータシステム。
【請求項１２】
外部コンテンツシステムのユーザに提示するために、デジタル形式で知覚可能に表示される一組のコンテンツ要素を処置に体系的に変化させるステップと、
ユーザへの処置を制御、管理、生成、または、配信するための、システムのそれぞれのクラスに特有なデータを、外部コンテンツシステムの異なるクラスへ送るステップと、
を含む実験を実行するよう構成されることを特徴とする、
コンピュータシステム。
【請求項１３】
前記システムは、前記処置がどのように外部コンテンツシステムの異なるクラスで表示されるかについて判定するよう構成されることを特徴とする、請求項１２に記載のコンピュータシステム。
【請求項１４】
前記システムは、実験がどのように外部コンテンツシステムにわたって追跡されるかについて判定するよう構成されることを特徴とする、請求項１３に記載のシステム。
【請求項１５】
前記システムは、外部コンテンツシステムのクラスの特有なパラメータに従って、実験ルールをデジタルデータネットワークを介して外部コンテンツシステムに配信するよう構成されることを特徴とする、請求項１４に記載のシステム。
【請求項１６】
外部コンテンツシステムのユーザに提示するために、一組のコンテンツ要素をデジタル形式で知覚可能に表示される処置に体系的に変化させるステップと、
外部コンテンツシステムのクラスの特有なパラメータに従って、処置をデジタルデータネットワークを介して異なるクラスの複数の異なる外部コンテンツシステムに配信するステップと、
を含むことを特徴とする自動化方法。
【請求項１７】
デジタル形式で知覚可能に表示される一組のコンテンツ要素を含む処置を提示されるユーザが、どのように処置に反応するかについての予測を生成するステップであって、該予測は、その一組内のコンテンツ要素に対するユーザ行動をテストした一つ以上の実験によって集められたデータから生成され、前記実験は外部コンテンツシステムの異なるクラス上で実行される、該予測を生成するステップと、
提示されたコンテンツに応じて所望のユーザ行動の可能性を増大させるために、前記予測に従ってユーザに処置を配信するステップと、
を含むことを特徴とする自動化方法。
【請求項１８】
データネットワーク上で実験の構成およびユーザへの実験配信を統制する実験計画ルールに従って自動的に生成された個々のデジタルコンテンツ要素を含む、デジタル形式で知覚可能に表示される処置を使用して実行される実験から集められたデータを基に、行動のモデルを作成する手段であって、前記実験は外部コンテンツシステムの異なるクラス上で実行される、該行動のモデルを作成する手段と、
ユーザがどのように特定の処置に反応するかについての予測を生成するためにモデルを使用する手段と、
を含むことを特徴とするコンテンツ配信自動化システム。
【請求項１９】
データネットワーク上で変動の構成およびユーザへの変動配信を統制する実験計画ルールに従って自動的に生成された個々のコンテンツ要素を含む、デジタル形式で知覚可能に表示される処置を使用して実行される実験から集められたデータを基に、行動のモデルを作成するステップであって、前記実験は外部コンテンツシステムの異なるクラス上で実行される、該行動のモデルを作成するステップと、
ユーザがどのように特定の処置に反応するかについての予測を生成するために前記モデルを使用するステップと、
予測に従って、ユーザに対して知覚可能に表示される個々のデジタルコンテンツ処置、および／または、予測に従って、ユーザに対して知覚可能に表示されるデジタルコンテンツ処置を生成するために外部システムに対して実行可能な指示を、データネットワーク上で外部コンテンツシステムへ送るステップと、
を含むことを特徴とするコンテンツ配信自動化方法。
【請求項２０】
データネットワーク上で変動の構成およびユーザへの変動配信を統制する実験計画ルールに従って自動的に生成された個々のコンテンツ要素を含む、デジタル形式で知覚可能に表示される処置を使用して実行される実験から集められたデータを基に、行動のモデルを作成するステップであって、前記実験は外部コンテンツシステムの異なるクラス上で実行される、該行動のモデルを作成するステップと、
ユーザがどのように特定の処置に反応するかについての予測を生成するために前記モデルを使用するステップと、
予測に従って、ユーザに対して知覚可能に表示される個々のデジタルコンテンツ処置、および／または、予測に従って、ユーザに対して知覚可能に表示されるデジタルコンテンツ処置を生成するために外部システムに対して実行可能な指示を、データネットワーク上で外部コンテンツシステムへ送るステップ
についての一組の指示を含むことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の主題は、概して、実験の分野に関し、具体的には、インターネットなどのデジタルネットワークにおいてユーザへのコンテンツ配信の実験および最適化に関する。本願は、２００６年１２月１５日に出願された米国仮出願第６０／８７０、２１７号の利益および優先権を主張し、その内容は、参照することにより本明細書に全て列挙されるように組み込まれる。
【背景技術】
【０００２】
マーケティング戦略、マーケティング提案、マーケティング広告、および、マーケティング提供のテストを行うことで、企業は自身のキャンペーンおよび顧客管理方法を最適化することができる。例えば、オンライン小売業者は、オンライン広告において異なる見出しおよび収益報告書の効果をテストするかもしれない。広告主は、様々な出版社が提供する様々な広告掲載サービスにわたって、異なる広告の掲載をテストするかもしれない。銀行は、顧客の口座残高の変化を基に金融サービスの抱き合わせ販売を行うために、ダイレクトメールおよび電話発信による勧誘販売で異なる接触をテストし、戦略を提案するかもしれない。通信会社は、インターネット上で既存の顧客、および、顧客の携帯電話に対して異なる提案および種々のサービスのテストを行うかもしれない。企業は企業自身のウェブサイトでの取引を完了させながら、検索エンジン、バナー広告、コンテクスト広告、双方向テレビを含む様々な媒体にわたって盛んに広告を掲載している。見込みに対するこれらのチャンネルにわたる流れは途切れずに促進され、これらの異なるシステムにわたる最適なキャンペーン要素は、企業にとっての課題である。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の主題は、概して、複数の外部コンテンツシステムにわたって、外部コンテンツシステムのユーザへデジタルコンテンツの実験および／または最適化を実施するクロスチャネル最適化システム、クロスチャネル最適化方法、および、クロスチャネル最適化関連ソフトウェアに関する。
【０００４】
より具体的には、本発明の主題は、例えば、複数のチャンネル（ウェブサイト、双方向テレビ局、バナー、電子メール、ダイレクトメール、電話発信、店内宣伝）にわたって様々なコンテンツ要素の管理処理を自動化し、これらのチャンネルにわたって実験を一体的に実行し、取引の成果を最大にするためにこれらのチャンネルにわたって最適なルールを判定し、最終的には最適なルールを「公表」することで、従来技術の課題に取り組む。本発明の主題は、概して、商業的な展望に向けられる広告、宣伝、および、マーケティングに関連して説明されるが、本発明の主題はそのような分野に限定されず、デジタルコンテンツが提示される如何なる人へのコンテンツ配信を最適化するために使用可能である。以下、用語「ユーザ」は、商業的環境か非商業的環境のどちらかにおいてデジタルコンテンツが提示される人を示す。
【０００５】
本発明の主題は、２００５年８月２３に付与された米国特許第６、９３４、７４８号「一組のコンテンツ要素の処置に対するユーザ行動を計測する自動オンライン実験」“Ａｕｔｏｍａｔｅｄ  Ｏｎ−Ｌｉｎｅ  Ｅｘｐｅｒｉｍａｎｔａｔｉｏｎ  ｔｏ  Ｍｅａｓｕｒｅ  Ｕｓｅｒｓ  Ｂｅｈａｖｉｏｒ  ｔｏ  Ｔｒｅａｔｍｅｎｔ  ｆｏｒ  Ａ  Ｓｅｔ  ｏｆ  Ｃｏｎｔｅｎｔ  Ｅｌｅｍｅｎｔｓ”を拡張し、デジタルネットワークによって相互接続される外部コンテンツシステムの異なるクラス（「外部コンテンツシステム」）にわたって実験を調整する。米国特許第６、９３４、７４８号の内容は、参照することにより本明細書に全て列挙されるように組み込まれる。外部コンテンツの異なる種類として、ウェブサイト、ポータル、広告サーバ、広告ネットワーク、映像サーバ、ＣＲＭシステム、ビジネスインテリジェンスシステム、ウェブ分析プラットフォーム、コンテンツ管理システム、および、検索エンジンシステムが含まれる。これらの外部コンテンツシステムは、デジタルコンテンツ、広告、および、データを保守、または、それらにアクセスして、それらをインターネットおよび他のデジタルネットワーク上で配信する。
【０００６】
一つの可能な実施形態において、本発明の主題は、ユーザと複数の外部コンテンツシステム間での双方向セッションの間に、デジタルデータネットワークを介してユーザに配信されるコンテンツの体系的な変動を調整するコンピュータシステムに関し、該システムは、前記システムに格納される一組以上のルールであって、外部コンテンツシステムのユーザに提示するために、コンテンツをデジタル形式で知覚可能に表示される処置に体系的に変化させることについての、様々な前記処置がそれぞれの外部コンテンツシステムにわたってユーザにどのように表示されるかについての、実験がシステムにわたってどのように追跡されるかについての、および、ユーザへの前記変動の配信についての該一組以上のルールと、デジタルネットワークを介して前記外部コンテンツシステムに渡すことが可能な、および、前記外部コンテンツシステムによって実行可能な特有のプログラム命令としての一組以上のルールを配信可能なプログラムルール生成部と、を有することを特徴とするコンピュータシステムに関する。この実施形態および他の実施形態において、コンピュータシステムは、コンテンツ要素のそれぞれの処置が提示された回数、および／または、処置が提示されたときユーザが行ったことに関するデータを収集するデータ照合部をさらに含んでよい。この実施形態および他の実施形態において、前記コンピュータシステムは、複数の異なるプラグインを介して前記外部コンテンツシステムと交信してよく、該プラグインのそれぞれは、一組以上のルールを外部コンテンツシステムが実行可能な形式に変換する。この実施形態および他の実施形態において、前記コンピュータシステムを、実験の間にユーザのサンプリングを基にデータを受信するよう構成し、また、どのユーザを実験コンテンツの受信に割り当てるか、および、どちらを実験的制御として使用するかについて判定するよう構成してよい。この実施形態および他の実施形態において、ユーザへの処置の配信を統制する前記ルールは、実験ルール、予測ルール、または、ユーザ定義ルールを含む、状況特有のルールであってよい。この実施形態および他の実施形態において、前記コンピュータシステムは、それぞれのユーザに異なる変動を配信するために、統計的なサンプリング方法を実施してよい。この実施形態および他の実施形態において、前記コンピュータシステムは、変動がユーザの行動に影響する度合いを識別するモデルエンジンを含んでよい。この実施形態および他の実施形態において、前記コンピュータシステムのモデルエンジンは、変動に応じた記録したアクションを基に、観測ユーザ行動の理論記述を提供する一つ以上の行動モデルを作成してよい。この実施形態および他の実施形態において、前記モデルエンジンは、変動に応じてユーザが起こす将来のアクションの可能性を予測してよい。この実施形態および他の実施形態において、前記モデルエンジンは、所定の成果に最適な変動を判定するために、変動に応じてユーザが起こす予測された将来のアクションの可能性を使用してよい。この実施形態および他の実施形態において、前記モデルエンジンは、推奨処置を配信してよい。
【０００７】
別の可能な実施形態において、本発明の主題は、外部コンテンツシステムのユーザに提示するために、デジタル形式で知覚可能に表示される一組のコンテンツ要素を処置に体系的に変化させるステップと、ユーザへの処置を制御、管理、生成、または、配信するための、システムのそれぞれのクラスに特有なデータを、外部コンテンツシステムの異なるクラスへ送るステップと、を有する実験を実行するよう構成されるコンピュータシステムに関する。この実施形態および他の実施形態において、前記コンピュータシステムを、処置がどのように外部コンテンツシステムの異なるクラスで表示されるかについて判定するよう構成してよい。この実施形態および他の実施形態において、前記コンピュータシステムを、実験がどのように外部コンテンツシステムにわたって追跡されるかについて判定するよう構成してよい。この実施形態および他の実施形態において、前記コンピュータシステムを、外部コンテンツシステムのクラスの特有なパラメータに従って、実験ルールをデジタルデータネットワークを介して外部コンテンツシステムに配信するよう構成してよい。
【０００８】
別の可能な実施形態において、本発明の主題は、外部コンテンツシステムのユーザに提示するために、一組のコンテンツ要素をデジタル形式で知覚可能に表示される処置に体系的に変化させるステップと、外部コンテンツシステムのクラスの特有なパラメータに従って、処置をデジタルデータネットワークを介して異なるクラスの複数の異なる外部コンテンツシステムに配信するステップと、を有する自動化方法に関する。
【０００９】
別の可能な実施形態において、本発明の主題は、デジタル形式で知覚可能に表示される一組のコンテンツ要素を含む処置を提示されるユーザが、どのように処置に反応するかについての予測を生成するステップであって、該予測はその一組内のコンテンツ要素に対するユーザ行動をテストした一つ以上の実験によって集められたデータから生成され、前記実験は外部コンテンツシステムの異なるクラス上で実行される、該予測を生成するステップと、提示されたコンテンツに応じて所望のユーザ行動の可能性を増大させるために予測に従ってユーザに処置を配信するステップと、を有する自動化方法に関する。
【００１０】
別の可能な実施形態において、本発明の主題は、データネットワーク上で実験の構成およびユーザへの実験配信を統制する実験計画ルールに従って自動的に生成された個々のデジタルコンテンツ要素を含む、デジタル形式で知覚可能に表示される処置を使用して実行される実験から集められたデータを基に、行動のモデルを作成する手段であって、実験は外部コンテンツシステムの異なるクラス上で実行される、該行動のモデルを作成する手段と、ユーザがどのように特定の処置に反応するかについての予測を生成するためにモデルを使用する手段と、を有するコンテンツ配信自動化システムに関する。
【００１１】
別の可能な実施形態において、本発明の主題は、データネットワーク上で変動の構成およびユーザへの変動配信を統制する実験計画ルールに従って自動的に生成された個々のコンテンツ要素を含む、デジタル形式で知覚可能に表示される処置を使用して実行される実験から集められたデータを基に、行動のモデルを作成するステップであって、前記実験は外部コンテンツシステムの異なるクラス上で実行される、該行動のモデルを作成するステップと、ユーザがどのように特定の処置に反応するかについての予測を生成するためにモデルを使用するステップと、予測に従って、ユーザに対して知覚可能に表示される個々のデジタルコンテンツ処置、および／または、予測に従って、ユーザに対して知覚可能に表示されるデジタルコンテンツ処置を生成するために外部システムに対して実行可能な指示を、データネットワーク上で外部コンテンツシステムへ送るステップと、を含むコンテンツ配信自動化方法に関する。
【００１２】
別の可能な実施形態において、本発明の主題は、データネットワーク上で変動の構成およびユーザへの変動配信を統制する実験計画ルールに従って自動的に生成された個々のコンテンツ要素を含む、デジタル形式で知覚可能に表示される処置を使用して実行される実験から集められたデータを基に、行動のモデルを作成するステップであって、実験は外部コンテンツシステムの異なるクラス上で実行される、該行動のモデルを作成するステップと、ユーザがどのように特定の処置に反応するかについての予測を生成するために前記モデルを使用するステップと、予測に従って、ユーザに対して知覚可能に表示される個々のデジタルコンテンツ処置、および／または、予測に従って、ユーザに対して知覚可能に表示されるデジタルコンテンツ処置を生成するために外部システムに対して実行可能な指示を、データネットワーク上で外部コンテンツシステムへ送るステップについての一組の指示を有するコンピュータ読み取り可能な記憶媒体に関する。
【００１３】
前述の説明は、本発明の主題の実施形態および特徴の包括的なリストであるわけではない。当業者は、図面と併せて、以下の詳細な説明から他の実施形態および特徴を理解可能である。用語「本発明の主題」は、本書の説明が単一の発明の概念のみを対象にしていると意味するように解釈されるべきでない。この用語は、本明細書に開示される様々な発明の概念に適用可能な好都合な用語であり、その概念のいくつかは添付の請求項において示される。
【図面の簡単な説明】
【００１４】
以下の図面は、従来技術として言及されない限り、本発明の主題に係る実施形態を示す。
【００１５】
【図１】従来技術に係るコンテンツシステムおよび通信管理システムの環境を示す図である。
【００１６】
【図２】従来技術に係るコンテンツシステムおよび通信管理システムのブロック図である。
【００１７】
【図３】従来技術に係る実験エンジンのブロック図である。
【００１８】
【図４】従来技術に係るモデルエンジンのブロック図である。
【００１９】
【図５】従来技術に係る予測エンジンのブロック図である。
【００２０】
【図６】従来技術に係る観測モジュールのブロック図である。
【００２１】
【図７】従来技術に係るスクリプティング／スケジューリングエンジンのブロック図である。
【００２２】
【図８】従来技術に係る、ユーザに配信されるコンテンツを管理する例示的な方法のフローチャートである。
【００２３】
【図９】本発明の主題の実施形態および従来技術に係る、構造化コンテンツに対する実験を定義する例示的な方法のフローチャートである。
【００２４】
【図１０】従来技術に係る、追跡可能な成果／目的に対する実験の実施およびデータの収集のための例示的な方法のフローチャートである。
【００２５】
【図１１】従来技術に係る、モデル化および予測のための例示的な方法のフローチャートである。
【００２６】
【図１２】クロスチャネルの最適化に関連する代表的なシステム構成図である。
【００２７】
【図１３】クロスチャネルの最適化に関連する別の代表的なシステムの図である。
【００２８】
【図１４】本発明の主題に使用される処置変動の例示的な代表例を示す図である。
【００２９】
【図１５】クロスチャネルの最適化に関連する別の代表的なシステム構成図である。
【００３０】
【図１６】クロスチャネルの最適化に関連する方法ステップのフローチャートである。
【発明を実施するための形態】
【００３１】
本発明の主題は、概して、「クロスチャネル最適化システム」（ＣＣＯＳ）５００に関し、本発明の実施形態または特徴を図１２から図１６に図示する。また、本発明は、複数の外部コンテンツシステムにわたってデジタルコンテンツの実験および／または最適化の実施を外部コンテンツシステムのユーザに提供する。
【００３２】
図１２に図示される発明の主題の一実施形態によれば、自動ＣＣＯＳシステムは、実験エンジン５１０、データ照合部５１１、モデリングエンジン５１２、および、ルール生成部５１３を含み、それらは、以後「プラグイン」と称するアプリケーションインターフェース５１４を介して様々な外部コンテンツシステムに接続される。これらの外部コンテンツシステム（ＥＣＳ）５０３として、ウェブサイト、インターネット広告サーバ、コンテンツ配信エンジン、広告ネットワークシステム、広告オークションシステム、携帯コンテンツシステム、デジタル映像サーバ、コールセンターアプリケーション、デジタルリード生成システム、アフィリエイトマーケティングシステム、サービスアプリケーションとしてのソフトウェア、または、ユーザへのコンテンツ配信を制御する他のシステムが考えられる。用語「プラグイン」を使用しても、そのプラグインが備わる特定のハードウェアの位置を示唆するわけではない。
【００３３】
プラグインのいくつかの特有の機能として、ルール生成部からの命令を、特有の制約を考慮してそれぞれのＥＣＳが使用可能な固有の命令に変換すること、および、特定のＥＣＳに適用可能な要件を管理および実施することを含んでよい。
【００３４】
実験エンジンの一機能として、システム管理者に、テストされる所望のデジタルコンテンツ要素の全セットから適切な実験計画の選択を判定させる、または、適切な実験計画を選択させる。実験エンジンの別の機能として、コンテンツ要素に関連するキャンペーン特有コンテンツを管理する。実験エンジンは、異なるコンテンツ要素がそれぞれのシステムでどのように合成されるかを判定する実験ルールの特有のセットを生成する。コンテンツ要素としては、例えば、特有データ、テキスト、図形、または、情報が挙げられ、それらは管理されエンドユーザに配信される。また、コンテンツ要素として、ユーザに提示するコンテンツを判定するためにＥＣＳの何れかの組み合わせによって使用される理論命令が考えられる。実験エンジンはまた、追跡コードまたはユーザ識別番号の固有のセットを生成することにより、それぞれのシステムがユーザに関する情報をルール生成部に戻すことができ、それぞれのシステムによって配信される最適なコンテンツ要素の判定を可能にする。
【００３５】
データ照合部は、コンテンツ要素のそれぞれの組み合わせ（処置）が提示された回数、および、処置を提示した時にユーザが行ったことに関して、データをそれぞれＥＣＳから集める。データ照合部はその後、これらのデータソースを合成し、モデリングエンジンによる解析に適した統合データセットを提供する。データ照合部の特有の機能として、外部コンテンツシステムから自動で情報にアクセスし、その情報を集めること、追加情報を、日時、データソース、および／または、他の利用可能なユーザデータに関するこれらのデータセットに加えること、および、実験エンジンによって定義される追跡コード、または、ユーザ識別番号に従ってデータを一致させることで、これらのデータセットを照合して一つのデータファイルにすることを含んでよい。
【００３６】
モデリングエンジンは照合データを解析し、それぞれのコンテンツ要素から、ユーザ行動に対する独立した相関影響を判定する。モデリングエンジンのいくつかの特有の機能としては、所望のユーザ行動の促進におけるコンテンツ要素性能に関する包括レポートを提供すること、如何なるキャンペーンの包括レポートを提供すること、および、これらのデータセットを照合し一つのデータファイルにすることを含んでよい。例えば、システムは、広告においてメッセージと画像のどの組み合わせがユーザに提示されたかに依存して特定の商品を購入するユーザ性向の相対的な影響を判定する。別の例では、ユーザのクレジットカード利用への影響を測定することで、異なる利率および利益供与を提示する相対的な収益を判定する銀行が含まれる。さらに別の例では、電話会社は、異なる通話使用料金を提供し電話サービス提供の再契約をすることによる影響を数値化する。
【００３７】
ルール生成部は、提示すべきコンテンツ要素について、それぞれのシステムにプラグインを介してルールを送る。これらのルールは最適ルールとして、実験エンジンによって駆動するか、または、モデリングエンジンから駆動してよい。ルール生成部のいくつかの特有の機能として、ＥＣＳによって提示されるコンテンツ要素の組み合わせに関する命令を、スケジュールモードまたはリアルタイムモードのどちらかでプラグインに送ることを含んでよい。リアルタイムモードの場合、命令は、どのＥＣＳが命令をリクエストしているか、どのコンテンツ要素が以前に提示されたか、および、利用可能な他の文脈情報またはユーザ情報を基にした条件付きでよい。
【００３８】
本発明の主題の技術的な利点としては、処置を提示するための異なる制約下で、一組の外部コンテンツシステムで協調オンライン実験を実行する自動システムを提供することが含まれる。実験を調整することで、それぞれのコンテンツ要素の影響の悪化を防止することができる。換言すれば、システムは、それぞれの影響が評価される解析を除外するそれぞれの独立したコンテンツ要素の提示を偶然に関連付けする可能性を減少させる。これは、他の全てのコンテンツ要素が、実験計画によって判定される特有の処置変動の配信を通じて一定に保たれるか、または、制御される間に、それぞれのコンテンツ要素の影響の推定を可能にする統計的実験計画の使用により可能になる。
【００３９】
図１２から図１５に示されるような、ＣＣＯＳに関連し、本明細書に記載される本発明の主題は、米国特許第６、９３４、７４８号に記載される、図１から図１２の以下の従来のシステムの状況において実施してよい。
【００４０】
まず、本明細書の用語について、以下の詳細な説明の大部分は、汎用コンピュータシステムに関連する中央演算装置（ＣＰＵ）またはプロセッサ、プロセッサ用メモリ記憶装置、および、画素式表示装置などの従来のコンピュータ構成要素によって実行されるオペレーションの処理および象徴を示す。これらのオペレーションには、プロセッサによるデータビット操作、および、一つ以上のメモリ記憶装置に備わるデータ構造内でのこれらのビットの保守が含まれる。そのようなデータ構造は、コンピュータメモリに格納されるデータビット集合に物理的な編成を行い、特有の電気的または磁気的要素を表す。これらの象徴は、コンピュータプログラミングおよびコンピュータ構築の当業者によって使用される手段であり、教示および発見を他の当業者に最も効果的に伝えられる。
【００４１】
この考察の目的として、処理、方法、ルーチン、または、サブルーチンは、概して、所望の結果に導く、コンピュータによって実行される一連のステップとみなされる。これらのステップは、概して、物理量の操作を必要とする。通常、これらの量は、格納、転送、合成、または、操作可能な電気、磁気、または、光学信号の形式をとる。これらの信号を、ビット、値、要素、シンボル、文字、テキスト、用語、数字、記録、ファイルなどと呼ぶことは、当業者にとっては慣習的である。なお、これらの、または、他の用語は、コンピュータオペレーションの適切な物理量に関連し、これらの用語は、コンピュータオペレーション内、または、コンピュータオペレーションの間に存在する物理量に適用される単なる従来のラベルである。
【００４２】
また、コンピュータ内の操作は、人間のオペレータによって行われる手動オペレーションにしばしば関連する、追加、比較、移動などの用語で呼ばれることが理解される。人間のオペレータが関与しないことが、本発明の主題において必要であり、または、望ましいことが理解されなければならない。本明細書に記載のオペレーションは、コンピュータと交信する人間のオペレータまたはユーザとともに実行される機械オペレーションである。
【００４３】
さらに、本明細書に記載されるプログラム、処理、方法などは、本発明の主題の例示的な実施であり、特定の如何なるコンピュータ、装置、コンピュータ言語に関連または制限されない。むしろ、様々な種類の汎用コンピュータ機器または装置を、本明細書に記載される教示に従って構成されるプログラムとともに使用してよい。同様に、本発明に記載される方法ステップを実行する特殊装置を、読み出し専用メモリ（ＲＯＭ）などの不揮発性メモリに格納され、ハードウェアに組み込まれた論理またはプログラムを有する専用コンピュータの手段によって構成することは有益であると立証される。
【００４４】
コンテンツ管理の環境
【００４５】
図１は、単一のコンテンツシステム１０および通信管理システム１２の環境を示す。一般的に、一つ以上のコンテンツシステム１０、および、一つ以上の通信管理システム１２は協同して、本明細書に詳しく説明するように、一人以上のユーザ１６へのコンテンツ１５の配信管理を行う。一般的に単一のコンテンツシステムに限定される以下の考察を、本明細書の教示を基に、複数の外部コンテンツシステム（ＥＣＳ）が存在する環境での使用に適用してよい。
【００４６】
コンテンツシステム１０および通信管理システム１２のそれぞれは、本明細書に記載される機能を実行するソフトウェアおよび／またはハードウェアの適切な組み合わせを含んでよい。
【００４７】
システム１０および１２は、ユーザ１６に対するコンテンツ１５のプロバイダ１４によって保守、管理、および／または、操作されると考えられる。そのようなコンテンツプロバイダ１４は、コンテンツを配信可能なポータルまたは他のウェブサイトを操作または保守するエンティティとすることができる。例えば、コンテンツプロバイダ１４は、商品のオンライン小売業者、オンラインニュースサービスなどとすることができる。例えば、情報の閲覧、もしくは、商取引を完了するために、それぞれのユーザ１６はコンテンツプロバイダ１４によって運営されるウェブサイトにアクセスしてよい。ユーザ１６として、実在または仮想の個人、組織、または、それらの代理人を含んでよい。
【００４８】
コンテンツシステム１０は、コンテンツ１５のリポジトリとして機能を果たす。コンテンツシステム１０は、コンテンツの格納に適した如何なるシステムで、少なくとも部分的に実施することができる。例えば、コンテンツシステム１０として、インターウォーブン社（Ｉｎｔｅｒｗｏｖｅｎ  Ｃｏｒｐｏｒａｔｉｏｎ）のコンテンツサーバシステムまたはヴィグネット社（Ｖｉｇｎｅｔｔｅ  Ｃｏｒｐｏｒａｔｉｏｎ）のストーリー（ＳＴＯＲＹ）サーバシステムを含んでよい。一般的にコンテンツ１５は、ユーザ１６に（視覚的にまたは可聴的に、もしくは別の方法で）提示可能な如何なるデータまたは情報とすることができる。したがって、コンテンツ１５としては、書き込みテキスト、画像、図形、アニメーション、映像、音楽、音声など、または、それらの組み合わせを含むことができる。例えば、コンテンツプロバイダ１４が商品のオンライン小売業者である場合、コンテンツ１５は、小売業者によって提供される様々な品物の画像、テキスト形式の説明、それぞれの品物の価格表、オンライン注文についての詳細情報、ユーザの興味を引き寄せる図形またはアニメーションなどを含めてよい。同様に、コンテンツプロバイダ１４がウェブポータルである場合、コンテンツ１５として、様々な関心領域についてのテキスト形式のリストまたは案内、アイコン（双方的または非双方的）、商品の画像、他のウェブサイトへのハイパーリンク、バナー広告などを含んでよい。コンテンツプロバイダ１４が、オンラインニュースサービスである場合、コンテンツ１５として、様々なニュース記事についてのテキスト形式の情報、少なくともいくつかの記事を添えた写真および／またはイラスト、最新ニュースの映像および／または音声クリップ、様々な地理的地域についての気象報告のリスト、これら対象地域の地図などを含んでよい。コンテンツシステム１０からのコンテンツ１５を、例えば、商品開発、広報活動、顧客サービス、広告、電子商取引など、各種の目的または用途のために提供してよい。
【００４９】
デジタル形式で格納可能なコンテンツ１５は、一組の要素成分に分解または減少させてよい。要素成分は、例えば、テキストファイル、画像ファイル、音声ファイル、映像ファイルなどとすることができる。これらの要素成分は、コンテンツ１５をユーザ１６に提示するために多くの異なる方式または構造で合成および／またはフォーマットしてよい。
【００５０】
コンテンツ１５のそれぞれ別個の合成および／またはフォーマットにより、コンテンツ構造または処置が構成される。コンテンツ構造としては、例えば、任意の瞬間でのウェブページの特定の実施とすることができる。さらに具体的には、任意の時間で、ウェブページは画面上の特定の場所に位置する特定のテキスト、アイコン、画像、および／または、映像、特定の視覚背景シェーディングまたは視覚背景色、画面を区切る特定の境界線、特定の音声（音楽またはスピーチ）などを含んでよい。
【００５１】
コンテンツ１５の構造化方法は、コンテンツに対するユーザの行動または反応に作用または影響する可能性がある。例えば、ユーザ１６は、中間色の背景（例えば、灰色）を有するウェブページに対して積極的な反応を示す可能性があり、目立つ色の背景（例えば、明るい赤紫色）を有するウェブページに対して否定的な反応を示す可能性がある。ユーザの反応は、特定の所望の目的または成果に結び付けられる可能性がある。成果は、概して、コンテンツプロバイダ１４が影響を及ぼすまたは管理するウェブサイトで、ユーザによる行動に関連付けすることができる。この行動としては、ユーザによるウェブサイトの「クリックスルー」、情報をリクエストするユーザが費やす時間、ユーザが閲覧するページの数および性質、ユーザがウェブサイトで費やす時間長、繰り返しセッション、ウェブサイトで提供される品物／サービスの購入、情報の提出、登録、ログイン、個性化、読み込み、または、他の関連行動を含むことができる。例えば、商品のオンライン小売業者にとっては、所望の目的／成果は、取引または販売の完了とすることができる。ウェブポータルにとっては、所望の目的／成果は、「張り付き」（つまり、ユーザ１６がウェブサイトで費やす時間量、および、ウェブサイトへの繰り返しアクセス回数）の増大とすることができる。そのようなものとして、構造化コンテンツは、所望の目的／成果との関係において意味がある。
【００５２】
様々な目的／成果がコンテンツプロバイダ１４にとって重要である可能性があるので、通信管理システム１２が、ユーザ１６に最終的に配信または提示されるコンテンツ１５（および、コンテンツの構造）を管理するために設けられることで、所望の目的／成果に到達するようにユーザ１６の行動に影響を及ぼす。通信管理システム１２は、本明細書に記載されるように、既存のコンテンツシステム１０の機能を補完する。一実施形態において、通信管理システム１２は、コンテンツプロバイダ１４の既存のコンテンツシステムとまとめられ、統合されるソフトウェアベースの製品またはソフトウェアによって起動する製品として実施することが可能である。通信管理システム１２は、コンテンツ１５と所望の目的との間でのつながりまたは関係を識別することによって、および、将来、どの構造化コンテンツをユーザ１６に配信すべきかについてのフィードバックを提供することによって、構造化コンテンツの用途を向上させる。
【００５３】
これを達成するために、通信管理システム１２はコンテンツシステム１０と協同して、任意のコンテンツ１５をその要素成分に分解し、コンテンツをユーザに提示するための一つ以上のコンテンツ構造または処置を作成し、それぞれの処置に対するユーザの行動または反応をテストする実験を計画し、制御された実験において一人以上のユーザに適切なデータネットワーク上で処置を配信し、それぞれの実験に対する成果／目的に関する情報またはデータを収集し、収集した情報を使用して予測モデルを生成し、その予測モデルを使用してコンテンツ１５の構造を修正またはカスタマイズしてよい。
【００５４】
構造化コンテンツの効率を最適化するために、コンテンツプロバイダ１４は、ユーザ１６の行動に関係する関連ポータルまたはウェブサイトに対する目的を断定し、どの通信要素がその行動に関連するか、または、影響を及ぼす可能性があるかを決定する。例えば、コンテンツプロバイダ１４は、ユーザ１６のポータルまたはウェブサイトへの再アクセスを一般的に増加させるために、その通信を最適化して、関連コンテンツ１５とユーザ嗜好との調和を改善してよい。コンテンツシステム１０および通信管理システム１２は、関連要素成分の識別および指定、また、コンテンツ（例えば、通信メッセージおよび通信手段）の様々な代替え構造の指定を促進し、実施に際してこれらの構造に制御変数および制御値を割り当てる。そのようなものとして、コンテンツシステム１０および通信管理システム１２は、双方通信の設計および開発の体系的な取り組みを実施して、例えば、商品開発、広報活動、顧客サービス、宣伝効果、電子商取引、または、コンテンツ１５のリアルタイムのカスタマイズから利益を得ることができる他の用途を最適化、向上、または、改善してよい。従って、コンテンツシステム１０および通信管理システム１２は、ユーザ１６へのコンテンツ１５の配信を管理するシステムを集合的に実施してよい。
【００５５】
コンテンツシステム１０および通信管理システム１２を、適切なデータネットワークまたはデジタルシステム、すなわち、デジタルサービスによって拡大したシステムに統合または接続してよい。本明細書で使用されるように、用語「接続」、「連結」、または、それらの変化形は、二つ以上の要素間での直接または間接的な接続または連結を意味し、そのような接続または連結は、物理的または論理的とすることができる。一般的に、データネットワークまたはデジタルシステムは、ユーザ１６がコンテンツシステム１０および通信管理システム１２と交信する双方向チャンネルを提供またはサポートすることができる。そのようなデータネットワークまたはデジタルシステムの例として、電話コールセンター、携帯電話ネットワーク、ポケベルネットワーク、現金自動預入支払機（ＡＴＭ）のネットワーク、インスタントメッセージシステム、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク、イントラネット、エクストラネット、双方向テレビサービス、または、上述したようなインターネット１８が挙げられる。
【００５６】
インターネット１８は、世界中に位置するコンピュータ「クライアント」とコンピュータ「サーバ」の相互接続であり、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、Ｉｎｔｅｒｎｅｔｗｏｒｋ  Ｐａｃｋｅｔ  ｅＸｃｈａｎｇｅ／Ｓｅｑｕｅｎｃｅ  Ｐａｃｋｅｔ  ｅＸｃｈａｎｇｅ（ＩＰＸ／ＳＰＸ）、アップルトーク（Ａｐｐｌｅ  Ｔａｌｋ）、または、他の適切なプロトコルに従って情報を交換する。インターネット１８は、「ワールドワイドウェブ」として周知の配信アプリケーションをサポートする。ウェブサーバのそれぞれは、情報の閲覧が可能になる一つ以上のウェブページを含むウェブサイトを保守する。それぞれのウェブサイトまたはウェブページは、それぞれのＵＲＬによって識別可能で、例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）、または、汎用マークアップ言語（ＳＧＭＬ）などの適切な言語形式の文書によってサポートされる。クライアントは、局所的に「ウェブブラウザ」プログラムを実行してよい。ウェブブラウザは、ワールドワイドウェブと情報交換を可能にするコンピュータプログラムである。ネットスケープコミュニケーションズ社（Ｎｅｔｓｃａｐｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｃｏｒｐ．）のネットスケープナビゲータ（ＮＥＴＳＣＡＰＥ  ＮＡＶＩＧＡＴＯＲ）、マイクロソフト社（Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎ）のインターネットエクスプローラ（ＩＮＴＥＲＮＥＴ  ＥＸＰＬＯＲＥＲ）、モジラファウンデーション（Ｍｏｚｉｌｌａ  Ｆｏｕｎｄａｔｉｏｎ）のファイアーフォックス（Ｆｉｒｅｆｏｘ）、および、インターネット１８への簡単なアクセスおよびナビゲーションを可能にするその他様々なウェブブラウザが利用可能である。情報を、例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、または、ファイル転送プロトコル（ＦＴＰ）などの適切なプロトコルを使用して、ウェブサーバからクライアントへ伝達してよい。インターネット１８により、コンテンツシステム１０と通信管理システム１２との間での双方向通信が可能になる。
【００５７】
一実施形態において、コンテンツシステム１０および通信管理システム１２は、コンテンツプロバイダ１４に対して、インターネット１８のようなデータネットワークを介して、カスタマイズされたコンテンツ１５をユーザ１６に自動配信させる。インターネット１８の普及により、コンテンツシステム１０および通信管理システム１２は、大多数のユーザ１６に到達する性能を有し、重要なユーザのセグメンテーション、および、大多数における実験を可能にする。残りの説明として、インターネット１８との関連におけるシステムおよび方法を主として重点を置くが、本発明の主題は、ユーザの幅広いサンプルを提供するために比較的多数のユーザ１６に到達または接続可能なデータネットワークに対して広範囲に適用可能である。そのようなデータネットワークは、例えば、ウェブテレビ、双方向テレビ、無線アプリケーションプロトコルのモバイルサービス、または、他の双方向チャンネルとすることができる。
【００５８】
コンテンツシステム１０および通信管理システム１２は、所望の目的に到達するために、ユーザ１６を動的に分割し、自動で個性化ルールを生成し、商品／サービスのウェブページ／ウェブ提供を配信することにより、または、他の双方向通信によって完全自動化の解決法を提供することができる。換言すれば、コンテンツシステム１０および通信管理システム１２は、ユーザ１６にとって重要なことを判定し、この情報を利用して、例えば、販売および利益の増加、電子マーケティング効果の改善、および、特有のビジネスインテリジェンスアプリケーションの強化など、特有の成果／目的に到達するために双方向通信を最適化する。
【００５９】
コンテンツシステムおよび通信管理システム
【００６０】
図２は、コンテンツシステム１０および通信管理システム１２のブロック図である。コンテンツシステム１０および通信管理システム１２は協同して、構造化コンテンツの用途を向上させる。上述したように、コンテンツシステム１０は、アロケータモジュール２２、コンテンツ記憶装置２４、および、ユーザインターフェース２６を含む。通信管理システム１２は、実験エンジン３０、モデルエンジン３２、予測エンジン３４、観測モジュール３６、コンテンツプロバイダインターフェース３８、および、スクリプティング／スケジューリングエンジン３９を含む。
【００６１】
コンテンツシステム１０において、コンテンツ記憶装置２４は、例えばインターネット１８を介して様々なユーザ１６に配信または提示されるコンテンツ１５を格納するよう機能する。このコンテンツ１５としては、例えば、販売用に提供される様々な商品またはサービスの画像および／または説明、それぞれの商品またはサービスの価格表、オンライン注文についての詳細情報、様々な関心領域のリスト、一つ以上のウェブサイトへのリンク、バナー広告などを含んでよい。このコンテンツ１５の全てまたは一部は、デジタル形式で保守することが可能である。コンテンツ記憶装置２４を、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、または、他の適切な揮発性および／または不揮発性記憶メディアなど、一つ以上の適切な記憶メディアにおいて実施してよい。一実施形態において、コンテンツ記憶装置２４は関係型データベースを備えてよい。
【００６２】
ユーザインターフェース２６は、コンテンツ記憶装置２４に接続される。ユーザインターフェース２６は、概して、コンテンツシステム１０と一人以上のユーザ１６の間でのインターフェースの提供またはサポートを行い、それぞれのユーザはインターネット１８に接続する適切なクライアントコンピュータを使用する。ユーザインターフェース２６は、ユーザ１６からコンテンツ１５のリクエストを受け取ってよい。例示的なリクエストとしては、特定の一連の商品を表示するウェブページのリクエストとすることができ、例えばＵＲＬなどのウェブページの特定の識別子を指定してよい。さらに、ウェブページリクエストは、ウェブページ上の特定のハイパーリンクをユーザがクリックすることで関連付けられる。そのようなリクエストに応答して、ユーザインターフェース２６は、コンテンツ１５を配信または提示する。ユーザインターフェース２６の構成要素の相互接続は、コンテンツ配信に関与するデータネットワーク（すなわち、インターネット１８）の基本アーキテクチャに使用されるような、適切な通信ハブ、ルータなどでサポートしてよい。
【００６３】
コンテンツ記憶装置２４に接続されるアロケータモジュール２２は、実行時に本明細書に記載される機能を実行する一つ以上のプログラムを備えてよい。アロケータモジュール２２は、概して、コンテンツ１５を様々なユーザ１６に割り当てる（すなわち、配信する）よう機能する。割り当ては、例えばユーザ１６についての利用可能な情報、および、予測およびモデルに従って任意のユーザ１６を実験下に置く、または、コンテンツを配信するコンテンツシステム１０または通信管理システム１２内の他の要素またはモジュールからの命令を基に行われる。
【００６４】
そのようなものとして、アロケータモジュール２２は、ユーザ１６からのコンテンツ１５のリクエストに応答してよい。それぞれのリクエストに対して、アロケータモジュール２２は、実験の目的として、または、どれが所望の成果／目的に到達するかの予測を基にコンテンツ構造または処置を割り当ててよい。これを達成するために、アロケータモジュール２２は、（本明細書にて説明する）実験ルールおよび予測ルールなどの状況特有ルールを適用してよい。また、アロケータモジュール２２は、例えば、どのユーザ１６が、制御された通信（すなわち、特有コンテンツ）の受信に割り当てられるかを判定するために、ウェブサイトまたはポータルで全てのアクセス量のサンプリングを行ってよい。したがって、アロケータモジュール２２は、一人一人のユーザにどのコンテンツ１５を表示するかについてのガイダンスをコンテンツシステム１０に提供する。アロケータモジュール２２は、通信管理システム１２において観測モジュール３６に連結され、コンテンツシステム１０の代わりに観測データを格納してよい。
【００６５】
アロケータモジュール２２はまた、通信管理システム１２とコンテンツシステム１０の間でのインターフェースの提供またはサポートを行う。そのようなものとして、アロケータモジュール２２は、ウェブサーバソフトウェア（例えば、ネットスケープ（ＮＥＴＳＣＡＰＥ）、アパッチ（ＡＰＡＣＨＥ）、Ｊａｖａサーブレット（ＪＡＶＡ  ＳＥＲＶＬＥＴ）から入手可能）、および、管理アプリケーションソフトウェア（例えば、ヴィグネット（ＶＩＧＮＥＴＴＥ）、スペクトラ（ＳＰＥＣＴＲＡ）、または、ブロードビジョン（ＢＲＯＡＤＶＩＳＩＯＮ））に連動または統合する適切なアプリケーションプログラミングインターフェース（ＡＰＩ）を含んでよい。
【００６６】
アロケータモジュール２２の機能は、メインフレーム、ファイルサーバ、ワークステーションなどの適切な処理装置、または、適切なソフトウェアを実行し、ＭＳ−ＤＯＳ、アップルマッキントッシュ（Ａｐｐｌｅ  Ｍａｃｉｎｔｏｓｈ）のＯＳ、ＷＩＮＤＯＷＳ  ＸＰまたはＶＩＳＴＡ、ＷＩＮＤＯＷＳ２０００、０Ｓ／２、ＵＮＩＸ、ＸＥＮＩＸ、ＧＥＯＳなどの適切なオペレーティングシステムの制御下で作動する他の適切なデータ処理装置によって実行することができる。
【００６７】
通信管理システム１２は、コンテンツシステム１０と通信を行う。通信管理システム１２を参照すると、実験エンジン３０は（コンテンツシステム１０内の）コンテンツ記憶装置２４、および、（コンテンツシステム１０内の）アロケータモジュール２２に連結される。実験エンジン３０は、様々な実験の定義、および、コンテンツ１５を受信してよい。実験エンジン３０は、実行時に本明細書に記載される機能を実行する一つ以上のプログラムを備えてよい。実験エンジン３０は、概して、特定のコンテンツ１５に対するユーザ１６の行動または反応、および／または、コンテンツがフォーマット（すなわち、処置）される特定の方法をテストするための一つ以上の実験の作成および実行をサポートするよう機能する。それぞれの実験について、実験エンジン３０は、処置を実験の過程でどのように割り当てるかを指示する一組のルールを生成してよい。実験エンジン３０によって作成および実施される実験は、例えば、全要因実験、全要因実験のうちの計画部分（単に、計画実験と呼ぶ場合がある）を含んでよい。
【００６８】
任意の組のコンテンツ要素の全要因実験において、コンテンツ要素の可能な組み合わせが考慮される。それぞれのコンテンツ要素は、考慮および解析される要因を構成する。全要因実験は、分離してそれぞれの要因の影響を予測する。つまり、全要因実験の結果は、それぞれのコンテンツ要素が、他のそれぞれのコンテンツ要素から独立した観測成果に及ぼす主な影響についての全ての情報を含む。全要因実験はまた、要因の可能な全組み合わせの間でのそれぞれの相互作用の影響を予測する。
【００６９】
例えば、バナー広告、および、バナー広告の下に表示可能なテキストメッセージの二種類のコンテンツ要素がある場合を考える。それぞれのコンテンツ要素は二つの変動を有してよい。バナー広告については、変動を静的および動的とすることができる。メッセージについては、変動を「ここをクリック」および「２０％の節約」とすることができる。従って、閲覧可能な以下の四種類の組み合わせがある。（１）「クリック」メッセージを有する静的バナー広告。（２）「節約」メッセージを有する静的バナー広告。（３）「クリック」メッセージを有する動的バナー広告。（４）「節約」メッセージを有する動的バナー広告。それぞれの要素（すなわち、静的、動的、「クリック」、および、「節約」）の主な影響も、それぞれの要素の可能な全組み合わせの相互作用の影響も観測可能である。従って、可能性のある全ての影響の全体のスペースを推測できる。なぜならば、全要因実験によってコンテンツ構造に対する可能性のある全ての選択肢が考慮されるので、観測成果の非常に綿密な解析がサポートされる。
【００７０】
しかしながら、実験における変数の数が直線状に増加すると、コンテンツ要素の組み合わせの数は急激に増加する。つまり、別のコンテンツ要素または変動が任意の実験に加えられると、実験用の組み合わせの数は著しく増加する。例えば、それぞれが三つの変動を有する四つのコンテンツ要素については、８１の組み合わせが可能である。それぞれが四つの変動を有する五つのコンテンツ要素については、１０２４の組み合わせが可能である。このことを考慮し、全要因実験により、実験のための妥当数以上の組み合わせを生成可能であり、すなわち、ウェブサイトのヒット数を考慮すると、サンプリング要件を満たすために必要な時間はかなり長くなる可能性がある。
【００７１】
計画実験により、関心のある影響の計測および予測を行いながら、（全要因実験に対する）実験に必要とされる組み合わせの数が減少する。計画実験は典型的には、他の全ての影響を制御しながら、特に関心のある影響の比較的小さいグループに重点を置く。計画実験は、特有のイベントおよびこれらのイベントが発生する状況を制御するために実験計画を使用し、ある観測成果に関連するそのようなイベントの影響を明確に計測および推測する。換言すれば、計画実験は、制御可能な一つ以上の変数（例えば、広告の広告設置画面の背景色、広告のサイズ）を変化させ、および、そのような変化が関心のある一つ以上の成果に及ぼす影響を調査する体系化された方法である。計画実験は、変数の主な影響のみを考慮してよい。よって、計画実験は、実験に関与する情報（例えば、組み合わせの数）を減少させ、サンプリング要件（例えば、実験の参加に必要なユーザ１６の最小数）をかなり減少させる可能性がある。
【００７２】
例えば、それぞれが四つの変動を有する五つの要素について、重大な相互作用の影響がないと仮定すると、実験エンジン３０は、全要因実験に必要な１０２４の組み合わせでなく、１６の組み合わせのみで全ての主な影響（すなわち、相互作用に関与しない影響）を計測および予測する計画実験を作成してよい。
【００７３】
実験エンジン３０は、多くの方法で計画実験を生成してよい。例えば、実験エンジン３０は、例えば、米国規格基準局が公表する表などの様々な検索表を含むか、または、内蔵してよい。表に加えて、アルゴリズムを設計する基準に適合した適切な表を実行時に作成するアルゴリズムを使用して、計画実験を生成することができる。これらの表およびアルゴリズムを、（本明細書で記載される）行動モデルの適切な制約を識別するために使用してよい。さらに、計画実験は、変数値の無作為な選択によって、または、全要因スペースを通してプログラム化された検索アルゴリズムで作成することができる。
【００７４】
計画実験を、多くの重要な基準を使用して記述してよい。例えば、計画を、計画により可能になる特有の影響、含まれる要因の数および要因レベル、それぞれの要因に同じ数のレベルがあるか否か、目的の成果に関連する情報量によって記述してよい。実験エンジン３０は、これらの方法のいくつか、または、全てを採用して、特定用途の使用に最も良い計画を発見または生成してよい。
【００７５】
計画実験により、通信管理システム１２は、ユーザ１６の選択を促進するいくつかの変数について推論する。これらの計画実験により、ランダム効用理論（ＲＵＴ）が理解され、または、理解が後押しされる。ランダム効用理論の前提として、あるアイテム（例えば、バナー広告またはウェブページ）のユーザに対する真価は、それがユーザの心情の精神的特性であるので観測不可能である。すなわち、ユーザが特別の決定に到達する思考プロセスは常にとらえられる、または、観測されるというわけではない。すなわち、このことを考慮し、計画実験により、通信管理システム１２は、ユーザが考えることまたは表現することではなく、ユーザが実際に行うことを基に、ユーザの選択を促進するいくつかの変数について推論する。
【００７６】
一実施形態において、実験エンジン３０は以下の機能を提供する。ａ）可能性のある全組み合わせを考慮する全要因実験。ｂ）最低限の組み合わせ（主な影響のみ）を考慮する計画実験。ｃ）二つの変数の全ての相互作用または二つの変数の選択された相互作用を推定する計画実験。
【００７７】
モデルエンジン３２は、実験エンジン３０と通信を行い、様々な実験の定義を取得してよい。モデルエンジン３２は、実行時、本明細書に記載される機能を実行する一つ以上のプログラムを備えてよい。それぞれの実験から生成されるデータは、コンテンツプロバイダ１４によって設定される目的に関連する成果を指定する。実験が完了すると、このデータをモデルエンジン３２に転送し、コンテンツ要素がユーザ１６の行動に影響する度合いを識別してよい。すなわち、モデルエンジン３２は、様々な実験の間に集められた結果またはデータを使用して、人間の決定および選択の一つ以上の行動モデルを作成してよい。
【００７８】
一般的に、モデルは、類似の特徴を有するユーザの過去の行動からなる観測を基に、ユーザ１６が将来行うことについての推測を試みてよい。行動モデルは、コンテンツ構造または処置のどの態様が特定の成果に到達する可能性に影響するかを判定するために使用される、高度で連続的な、離散した多変量統計モデルを備えてよい。ユーザ１６が、双方向の環境で起こす可能性のある全てのアクションを、ランダム効用理論を基に選択モデル形式を使用して観測およびモデル化してよい。すなわち、ユーザ１６の観測された行動の特徴を、計画実験から生じる選択モデルに組み込んでよい。モデルは、ユーザ１６が異なる刺激（例えば、処置）にどのように反応するかについて、ユーザ１６の行動をモデル化することができる。モデルエンジン３２は、この解析を行い、所望の目的を達成するために、将来どの処置をユーザ１６に提示するかについて提案する。
【００７９】
行動モデルは、例えば、ユーザによって使用される不測の意思決定プロセスの統計的理論とすることができ、例えば、特定のバナー広告をクリックするか、提供されている特定の商品を購入するかなど、特定の決定を行う。従って、ユーザの意思決定プロセスは観測できないが、行動モデリングは、計量経済学者および精神測定学者によって開発および改良されるランダム効用理論を統計的に使用して、これらのプロセスに近づける試みを行う。説明していないユーザ選択の成分は、行動モデルの予測からの、そのユーザの逸脱と見なしてよい。この「確率論」は、説明できないユーザ行動の要素があることを意味する。
【００８０】
したがって、モデルエンジン３２によって生成されるモデルは、あるサンプルまたはセグメントから無作為に選択されたユーザ１６が、多くの可能なアクションに直面する際、特定のアクションまたはそれらの組み合わせを行う可能性をモデル化および予測してよい。そのようなものとして、行動モデルは、ユーザ選択を考慮してよい。これらの選択モデルは、ユーザによって行われる正確な選択を予測できないが、任意のユーザが特定のアクションを選択する可能性を予測する。特に、選択モデルは、ユーザの選択または決定（つまりユーザの行動）の可能性が、それぞれの実験において操作された一つ以上の要素に従って、または、ユーザのプロファイルに従ってどのように変化するかを記述する。したがって、選択モデルは、選択のオプション（例えば、価格、割引率、ウェブサイトで提供される商品の色）を説明する変数、および、ユーザ１６（例えば、時間、曜日、インターネットサービスプロバイダ（ＩＳＰ）、アプリケーションのオペレーティングシステム）を説明する変数を考慮する。ユーザ１６を説明する変数を含めることで、選択モデルを特定のユーザプロファイル用のコンテンツや提供物などを最適化するために使用する。例えば、モデルエンジン３２は、時間、曜日、ＩＳＰの他、背景色およびページ設置によってユーザ１６の選択の可能性がどのように変化するかを予測するモデルを生成し、その後、予測エンジン３４およびモデルエンジン３２は、目的を最適化するために（例えば、クリック率を最大化するために）、任意のユーザにどの色と設置場所を提供または表示すべきかを予測できる。したがって、コンテンツ１５のどのセットが所望の成果への到達に最も適しているかを判定するために、モデルを使用してよい。
【００８１】
選択モデルの一例において、ユーザの意思決定プロセスの説明していない成分は、ガンベル分布に従って分布される。それぞれの選択のその分布からの逸脱は合計で０になり、それぞれの逸脱は独立しており、同じ分散を有する。これにより、多項ロジット（ＭＮＬ）モデルとして知られるモデルが生成される。複数選択が可能な状況に対して、ＭＮＬモデルは以下のように表わされる。
Ｐ(ｉ|Ｃ）＝ｅｘｐ(Ｖｊ)/Σｊｅｘｐ(Ｖｊ), for all ｊ offered in Ｃ.
【００８２】
上記式において、ＶｉおよびＶｊは、ｉ番目およびｊ番目の選択オプション（アクション、選択）の値であり、ｅｘｐは指数演算子（つまり、ｅＶ）であり、Ｃは可能性のあるアクションまたは選択のセットである。ＭＮＬモデルの適用において、Ｖは、関心のある変数のパラメータ線形機能として推定される。すなわち、Ｖは、いくつかの予測変数（例えば、広告の色、広告の設置、観測された行動の時間、ユーザのＩＳＰ、広告の色とＩＳＰの相互作用など）の重回帰のような機能として表わされる。パラメータは、実験の成果として得られるデータから、それぞれの変数ごとに推定される。その後、パラメータは、ＭＮＬモデルに使用され、特定のユーザプロファイルが特定の選択オプション（アクション）を選択する可能性を予測する。または、モデルの結果は、特定のプロファイルのユーザに示す変数（つまり、処置）のどの特定の組み合わせ、例えば、広告の色および広告設置のどの組み合わせを、ＩＳＰであるアメリカオンラインでユーザに表示するか、および、誰が火曜日の午前２時と午前３時の間にウェブサイトと交信するかを判定するために使用される。
【００８３】
モデルエンジン３２は、選択モデリング、ベイズモデリング、または、例えば、クリックパターン、質問に対する返答、セッション時間、購入、登録、再アクセス、オプション選択などにおいて明らかにされるようなユーザ１６（例えば、ウェブサイトへアクセスする人）の選択に有益な他のモデリングの技術を実施してよい。一実施形態において、モデリングは、Ｂａｙｅｓｉａｎ  Ｍａｒｋｏｖ  Ｃｈａｉｎ  Ｍｏｎｔｅ  Ｃａｒｌｏ推定方法の技術を実施してよい。モデルエンジン３２は、モデル化に必要とされる実験データの一部を観測モジュール３６からモデルエンジン３２に抽出させる、「モデル指示」と称される構造を使用してよい。
【００８４】
予測エンジン３４は、モデルエンジン３２およびアロケータモジュール２２と通信を行う。予測エンジン３４は、実行時に本明細書に記載される機能を実行する一つ以上のプログラムを備えてよい。実験およびモデル化から、予測エンジン３４は、一つ以上の予測を生成または作成するよう機能する。予測は、一つ以上の所望の成果／目的に到達するための最も効果的な方法でコンテンツ１５をユーザ１６に配信するために使用されるモデルの簡素な記述とすることができる。例えば、ある特徴を有するユーザ１６が特定のウェブサイトの主要なウェブページにクリックスルーすること、そのウェブサイトで製品を購入すること、午後９時と深夜の間にアクセスすること、または、関心のある他の戦略的な目的を予測してよい。
【００８５】
一つの実施において、予測エンジン３４は、ウェブサイトにアクセスする任意のユーザにモデルの目的に一貫して行動させる可能性が最も高いと予測されるコンテンツ要素のセットを、モデルから識別してよい。別の実施においては、予測エンジン３４は、コンテンツプロバイダ１４にそのような識別を行わせてよい。
【００８６】
予測エンジン３４は、コンテンツリクエストに応じてコンテンツ１５をユーザ１６に割り当てる際に使用可能な予測共変量を生成してよい。すなわち、予測エンジン３４は、ある種類のユーザ１６に対する特有のコンテンツを対象にする予測ルールを生成することで、コンテンツ１５の配信において個性化を行ってよい。予測ルールは、ユーザ１６の異なる種類またはクラスと、特有のコンテンツ１５を一致させる一組のルールのとすることができる。よって、予測エンジン３４は、（観測さえれた行動の理論記述を提供する）モデルを、所望の行動の最適化を試みる簡素なルールのセットに変換する。予測ルールは、ユーザ１６へのコンテンツ１５の配信において利用するためにアロケータモジュール２２に転送される。
【００８７】
実験エンジン３０、モデルエンジン３２、および予測エンジン３４のそれぞれの機能は、メインフレーム、ファイルサーバ、ワークステーションなどの適切な処理装置、または、適切なソフトウェアを実行し、ＭＳ−ＤＯＳ、アップルマッキントッシュ（Ａｐｐｌｅ  Ｍａｃｉｎｔｏｓｈ）のＯＳ、ＷＩＮＤＯＷＳ  ＸＰまたはＶＩＳＴＡ、ＷＩＮＤＯＷＳ２０００、０Ｓ／２、ＵＮＩＸ、ＸＥＮＩＸ、ＧＥＯＳなどの適切なオペレーティングシステムの制御下で作動する他の適切なデータ処理装置によって実行することができる。
【００８８】
観測モジュール３６は、（コンテンツシステム１０内の）アロケータモジュール２２、実験エンジン３０およびモデルエンジン３２と通信を行う。観測モジュール３６は、概して、観測データを保守または格納するよう機能する。観測データは、コンテンツプロバイダ１４のウェブサイトにアクセスするユーザ１６の観測された行動に関連する情報またはデータとすることができる。観測データは、通信管理システム１２によって行われるそれぞれの実験ごとに集められ、したがって、実験状況および観測成果の情報を含むことができる。さらに、観測モジュール３６に格納される観測データは、実験変数、共変量、および、従属変数など多くの変数のデータを含むことができる。実験変数は、コンテンツ自体に関連してよく、または、コンテンツ自体を表してよい。例えば、実験変数は、実験用のコンテンツ処置および実験の期間に関連してよく、または、それらを指定してよい。実験変数は制御可能で、独立変数とみなしてよい。従属変数は成果に関連してよく、または、成果を表してよい。例えば、従属変数は、処置の割り当ての前後に、ユーザの観測された行動に関連してよい。従属変数は、典型的には、最適化される目標機能の成分である。図示例のように、従属変数は、処置の割り当て、および、そのような割り当ての成否に関連してよい。ユーザ１６が処置に対して所望の方法で反応する場合、処置の割り当ては「成功」とみなされ、ユーザ１６が処置に対して所望の方法で反応しない場合、処置の割り当ては「失敗」とみなされる。共変量は、ユーザ１６に関連する変数、または、ユーザ１６を表す変数である。例えば、共変量は、エンドユーザの特徴（例えば、特定のコンピュータおよびウェブブラウザ）に関連してよい。さらに、共変量は、使用の特徴（例えば、クリックされるボタン、選択されるナビゲーションオプション、提出される情報、購入など）に関連してよい。観測データはまた、ウェブサイトのデータログまたは顧客データベースから利用可能な情報を含んでよい。このデータと情報で、通信管理システム１２は、ユーザ１６を個々のグループに分割してよく、または、ユーザ１６の分布を指定してよい。それぞれのグループまたは分布は、行動成果の特定のセットによって特徴付けられる。
【００８９】
観測モジュール３６を、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、または、他の適切な揮発性および／または不揮発性記憶メディアなど、一つ以上の適切な記憶メディアにおいて実施してよい。一実施形態において、観測モジュール３６は関係型データベースを備えてよい。
【００９０】
コンテンツプロバイダインターフェース３８は、（コンテンツシステム１０内の）コンテンツ記憶装置２４、実験エンジン３０、および、観測モジュール３６と通信が可能である。コンテンツプロバイダインターフェース３８は、モデル結果を受信し、解析、評価、選択、較正、基本的なレポートを開始する。コンテンツプロバイダインターフェース３８は、概して、通信管理システム１２とコンテンツプロバイダ１４の情報サービス管理者などの人間のユーザの間でのインターフェースをサポートする。コンテンツプロバイダインターフェース３８は、管理者ユーザに質問をさせ、シナリオを記録およびテストさせ、および、結果を数値化するためにレポートを生成または取得させる。
【００９１】
例えば、コンテンツプロバイダインターフェース３８は、管理者ユーザに、通信管理システム１２によって行われる実験、モデル化、予測の処理の構築および管理を支援させる。コンテンツプロバイダインターフェース３８は、コンテンツ記憶装置２４に入力するための新しいコンテンツ１５、および、実験エンジン３０に転送するための定義を受信してよい。一実施形態において、コンテンツプロバイダインターフェース３８は、様々な実験の条件およびスペース、操作される属性およびレベル、追跡される個人データを定義するために、および、様々な実験計画の生成または作成を開始するために使用することができる。さらに、コンテンツプロバイダインターフェース３８は、管理者ユーザに、観測モジュール３６からのデータを未加工の形式で閲覧および解析させ、および、モデルエンジン３２からのデータをモデル形式で閲覧および解析させてよい。
【００９２】
コンテンツプロバイダインターフェース３８の機能は、キーパッド、タッチ画面、入力ポート、ポインティング機器（例えば、マウス）、マイク、および／または、情報を受信可能な他の機器など、一つ以上の適切な入力機器、および、コンピュータディスプレイ、出力ポート、スピーカ、または、デジタルデータ、可視情報、または、音声情報を含む情報を伝達するための他の機器によって実行してよい。一実施形態において、コンテンツプロバイダインターフェース３８は、情報の入力、閲覧および／または読み出しを促進するために、ボタン、ウィンドウ、プルダウンメニューなど、多くの双方向機器を有する、少なくとも一つのグラフィカルユーザインターフェース（ＧＵＩ）を備えてよく、または、少なくとも一つのＧＵＩの表示を操作可能であってよい。
【００９３】
スクリプティング／スケジューリングエンジン３９は、アロケータモジュール２２、実験エンジン３０、モデルエンジン３２、予測エンジン３４、および、コンテンツプロバイダインターフェース３８と通信を行ってよい。スクリプティング／スケジューリングエンジン３９は、実行時に本明細書に記載される機能を実行する一つ以上のプログラムを備えてよい。スクリプティング／スケジューリングエンジン３９は、概して、通信管理システム１２とコンテンツシステム１０の全体のオペレーションを管理するよう機能する。
【００９４】
スクリプティング／スケジューリングエンジン３９は、アロケータモジュール２２、実験エンジン３０、モデルエンジン３２、予測エンジン３４、および、観測モジュール３６の動作、活動、および／または、相互作用を調整するスクリプトを生成、または、その生成をサポートする。よって、スクリプティング／スケジューリングエンジン３９は、本明細書に記載される実験、モデル化、および、予測の全体の処理を自動化してよい。基本的には、それぞれのスクリプトは、コンテンツシステム１０または通信システム１２の一つ以上の要素に、特定の行動、または、行動のセットを行うよう指示してよい。
【００９５】
例えば、スクリプティング／スケジューリングエンジン３９は、ユーザ１６の行動または反応を計測するために行われる様々な実験の構築をサポートしてよい。それぞれの実験について、スクリプティング／スケジューリングエンジン３９は、定義を生成または供給してよい。これらの定義を、実験を行うためにアロケータモジュール２２に供給することができる。加えて、スクリプティング／スケジューリングエンジン３９は、実験の完了を観察し、その後、モデルエンジン３２に対して実験データからモデルを確立または生成させてよい。スクリプティング／スケジューリングエンジン３９は、そのような実験結果をモデル、および、最終的には特有の成果／目的に到達するよう計画される予測に変換するスクリプトを生成または供給してよい。スクリプティング／スケジューリングエンジン３９は、モデルの確立方法についての命令をモデルエンジン３２に伝達してよい。これらの命令は、観測モジュール３６内のデータ位置、複数の変数のそれぞれの名称（例えば、実験変数、共変量、および、従属変数）、簡易なモデル化のための符号化変換、連続的な形式から個々のモデル形式へのデータ変換、および、他のパラメータを指定してよい。スクリプティング／スケジューリングエンジン３９は、コンテンツ１５のユーザリクエストを処理する際にアロケータモジュール２２によって使用されるモデルの状態についての時間に関連した解釈を作成してよい。さらに、スクリプティング／スケジューリングエンジン３９は、指示または命令を、実験用の、または、モデル／予測に従ったコンテンツ１５を配信するためにアロケータモジュール２２に提供してよい。それぞれのスクリプトは、基本的なエラー処理方法を含んでよい。
【００９６】
スクリプティング／スケジューリングエンジン３９の機能は、実験エンジン３０、モデルエンジン３２、および、予測エンジン３４のプロセッサと同一または異なる適切なプロセッサによって実行してよい。
【００９７】
一般的に言えば、コンテンツプロバイダインターフェース３８は、オペレーションにおいてコンテンツプロバイダ１４から実験定義を受信してよい。一実施形態において、例えば、コンテンツプロバイダ１４の管理者ユーザは、実験の構築方法およびスケジュール方法を判定するために、過去のウェブサイトアクセス量またはサンプルに関するデータを現在のウェブサイトアクセス量から入力する。実験定義を使用することで、実験エンジン３０は、コンテンツ１５の特定のセットについての一つ以上の実験を計画する。それぞれの実験は、複数のコンテンツ構造またはコンテンツの処置に関与してよい。処置の一つは制御処置として機能し、残りの処置は、実験処置として機能する。それぞれの実験について、実験エンジン３０は、処置が実験の間にどのように配信されるかを決定づける実験ルールの異なるセットを生成してよい。これらの実験ルールは、アロケータモジュール２２に転送される。
【００９８】
アロケータモジュール２２は、ユーザからのコンテンツリクエストに応答して、異なる処置を様々なユーザ１６に割り当てる。この割り当ては、実験エンジン３０によって計画される実験のルールに従って行われる。実験の間、通信管理システム１２は、それぞれの処置に対するユーザの行動を観測し、これらの観測についてのデータを観測モジュール３６に収集または格納する。これには、実験変数、共変量、および、独立変数のデータが含まれる。
【００９９】
観測データを使用することで、モデルエンジン３２は実施されるそれぞれの実験についての一つ以上のモデルを生成する。これらのモデルは、ユーザ１６による目的行動の発生と、制御されたコンテンツ変数およびユーザクセスの詳細のセットとの関係を取得してよい。
【０１００】
実験およびモデル化から、通信管理システム１２は、ユーザ１６に配信されるコンテンツ１５の処置を修正またはカスタマイズしてよい。特に、予測エンジン３４は、一つ以上の所望の成果／目的に到達するための最も効果的な方法で、コンテンツ１５をユーザ１６に配信するために使用される一つ以上の予測を生成する。一実施形態において、予測エンジン３４は、最適なコンテンツ構造または処置を求めて自動的に実験およびモデル化の結果を検索し、ユーザ１６への配信としてその最適なコンテンツ構造または処置を推奨する。代替的な実施形態において、予測エンジン３４は、コンテンツプロバイダ１４の人間のユーザ（例えば、情報システム管理者）に、ユーザ１６への配信に最適な複数のコンテンツ構造または処置を指定させる。予測エンジン３４は、コンテンツシステム１０のアロケータモジュール２２に転送可能な一組の予測ルールを生成する。
【０１０１】
実験、モデル化、および、予測の処理のそれぞれは繰り返し行われてよい。ユーザ１６に配信されるコンテンツ１５で連続して実験を行うことで、コンテンツシステム１０および通信管理システム１２は、所望の成果／目的に対する通信の異なる属性の影響を体系的に分離する。セグメントまたは個人ユーザ１６を、（本明細書に記載される）この連続的な実験を基にモデル化することで、コンテンツシステム１０および通信管理システム１２は、所望の成果／目的に到達またはそれらを増加させるために、特別の通信を提示するルールを自動的および正確に、生成および定義することができる。
【０１０２】
そのようなものとして、コンテンツシステム１０および通信管理システム１２は、商品開発、広報活動、顧客サービス、宣伝効果、電子商取引、または、コンテンツ１５の即時のマスカスタマイゼーションから利益を得る他の用途を最適化、向上、または、改良するために、双方向通信の設計および開発に対する体系的な取り組みを実施する。
【０１０３】
実験エンジン
【０１０４】
図３は、実験エンジン３０のブロック図である。実験エンジン３０は、概して、特定のコンテンツ１５および／またはコンテンツがフォーマット化（すなわち、処置）される特定の方法に対するユーザ１６の行動または反応をテストするために、一つ以上の実験の作成よび実施をサポートする。一実施形態において、実験エンジン３０は、コンテンツプロバイダ１４の管理者ユーザに、双方向のコンテンツ実験に特に適した様々な可能な計画実験から、所望の実験を自動的に選択および実施させる。上述したように、実験エンジン３０は、実験データ記憶装置４０および実験管理オブジェクト４２を含む。
【０１０５】
実験管理オブジェクト４２は、概して、様々な実験の実施を制御または管理するよう機能する。実験管理オブジェクト４２は、計画実験の構築を可能にする。例えば、実験管理オブジェクト４２は、関心のある一つ以上の成果／目的に対する影響に関して、調査または考慮される一つ以上の実験変数の指定をサポートする。そのような実験変数は、例えば、背景色、ウェブページ上の位置、または、特別割引とすることができる。さらに、それぞれの実験変数について、実験管理オブジェクト４２は、一つ以上のレベルの指定をサポートする。例えば、背景色の実験変数について、レベルは、「青」、「ピンク」、「黄」、および「緑」を含むことができる。ウェブページ上の位置の実験変数について、レベルは、「中央上」、「右下」、「左下側」、および「中央右」を含むことができる。特別割引の実験変数について、レベルは、「１０％オフ」、「１５％オフ」、「２０％オフ」、「２５％オフ」、「３０％オフ」、「３５％オフ」、「４０％オフ」などを含むことができる。上記から、実験変数は本質的に離散（例えば、背景色）とすることでき、または、本質的に連続（例えば、特別割引）とすることができる。一実施形態において、変数および関連レベルは管理者ユーザによって選択可能である。
【０１０６】
実験変数およびレベルが選択されると、実験管理オブジェクト４２は、コンテンツ１５の異なる組み合わせまたは値を指定してよい。実験管理オブジェクト４２は、それぞれの実験用に配信されるコンテンツ構造または処置を生成し、配信の条件（すなわち、いつ誰に）を判定してよい。これを達成するために、実験管理オブジェクト４２は、本明細書に記載される実験エンジン機能（例えば、表、検索アルゴリズムなど）のいくつか、または、全てを使用してよい。これらの処置により、それぞれの実験変数のレベルは体系的に変化する。
【０１０７】
任意のコンテンツ１５のセットについての全ての可能なコンテンツ構造または処置のセットから、実験用にサブセットを選択してよい。より具体的には、実験管理オブジェクト４２は、所望の目的または成果に最適に対処するために、これらのうちのサンプルを、全ての可能な処置のセットから特定の方法で選択してよい。これにより、通信管理システム１２は多数のより複雑なコンテンツの問題点を調査し、一方では、どのコンテンツ要素がどの影響をユーザ行動に与えるか、つまり、どの処置がサイトにアクセスする人への配信に最適であるかをシステム（すなわち、管理者ユーザ）に確実に知らしめる。選択されたサブセットのそれぞれの処置は、「制御」コンテンツ構造とみなしてよい。制御は、処置における実験変数の異なるレベルが通信管理システム１２または管理者ユーザの制御下であること、または、通信管理システム１２または管理者ユーザによって指定可能であることを意味する。
【０１０８】
実験管理オブジェクト４２はまた、統計的なサンプリング方法を定義または実施してよい。これらの統計的なサンプリング方法は、コンテンツプロバイダ１４によって管理されるウェブサイトにアクセスする全てのユーザ１６から、制御コンテンツ構造または処置を受信する人数を選択するために使用される。この選択は、ユーザプロファイル（例えば、全てのユーザからなるセグメントを含むセグメンテーション）の組み合わせ、および／または、統計的に有効な無作為抽出技術を使用して達成できる。一実施形態において、実験管理オブジェクト４２は、コンテンツプロバイダ１４の管理者ユーザに、制御処置を受信するユーザ１６の特定の対象集団を暗黙的または明確に指定させてよい。例えば、実験管理オブジェクト４２は、管理者ユーザにウェブサイトのアクセス量の合計の一部を選択させ、その後、このアクセス量の合計の一部に適用可能な実験を計画および実施させてよい。実験管理オブジェクト４２から得られるサンプリング方法で、管理者ユーザは、特定のサンプルに、または、ユーザの特定集団からのサンプリングに割り当て量を設定してよく、それぞれの集団は、共通のある特徴を有してよい（例えば、ＩＳＰ、使用時間など）。
【０１０９】
実験管理オブジェクト４２はまた、それぞれの実験がいつ、または、どれくらいの間実行されるかについて、管理者ユーザからの入力を基に指定してよい。
【０１１０】
実験管理オブジェクト４２は、任意の時間において進行中の実験、および、それぞれの実験に参加するユーザ１６の経過を追ってよい。実験管理オブジェクト４２はまた、スクリプティング／スケジューリングエンジン３９を介して、通信管理システム１２またはコンテンツシステム１０の他のエンジンまたは要素に指示を行い、それぞれの実験についてのデータおよび情報を収集してよい。例えば、実験管理オブジェクト４２は、アロケータモジュール２２に様々な実験についての観測データの収集、および、このデータを観測モジュール３６に格納する指示を行ってよい。従って、どの実験が完了したか、どの実験が進行中か、および、実験スペースのどの部分が実験用に残っているかを判定することが可能である。さらに、それぞれの実験について、実験管理オブジェクト４２は、アロケータモジュール２２に、処置が実験の過程でどのように割り当てられるかを指示する一組のルールを生成してよい。
【０１１１】
一実施形態において、実験管理オブジェクト４２は、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間で実施してよく、または、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間に配信可能な一組のインターフェースオブジェクトを備えてよい。
【０１１２】
実験データ記憶装置４０は、実験管理オブジェクト４２と通信を行う。実験データ記憶装置４０は、実験データ４４を格納するよう機能する。実験データ４４は、概して、実験エンジン３０によって作成および実行される実験に関するデータおよび情報を含む。これには、過去の（昔の）実験、および、現在進行中の実験の両方のデータ／情報が含まれる。それぞれの実験について、実験データ４４は、例えば、実験を定義する定義およびパラメータ、実験の間に使用されるコンテンツ１５、実験に指定される変数、それぞれの実験変数のレベル、実験の間に考慮されるコンテンツ構造または処置、それぞれの実験のために追跡される目的行動、それぞれの実験についての実験ルール、実験に参加するために割り当てられるユーザ１６の定義または認識パターンを指定してよい。
【０１１３】
実験データ４４はまた、実験の構築に使用されるデータを指定または含んでよい。一実施形態において、このデータは、一つ以上の表を含んでよい。それぞれの表は、それぞれの実験計画に関連させることができる。これらの表は、コンテンツプロバイダ１４用に特別に計画された実験を作成するために、例えば実験管理オブジェクト４２によって（選択肢として、コンテンツプロバイダ１４の管理者ユーザと協同して）入力されるデータおよび情報で「埋める」ことができる。実験データ記憶装置４０はまた、実験に対するコンテンツシステム１０の性能に関する情報を格納する。
【０１１４】
実験データ記憶装置４０を、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、または、他の適切な揮発性および／または不揮発性記憶メディアなど、一つ以上の適切な記憶メディアにおいて実施してよい。一実施形態において、実験データ記憶装置４０は関係型データベースを備えてよい。
【０１１５】
実験エンジン３０と共に、通信管理システム１２は、コンテンツ１５の任意のセットについての全ての可能なコンテンツ構造または処置のセットから、所望の目的または成果に最適に対処する実験を行うサンプルを選択することができる。これにより、コンテンツシステム１０と協同する通信管理システム１２に多数の、しかも複雑なコンテンツの問題を調査させる。したがって、通信管理システム１２は、どのコンテンツ構造または処置がどの影響をユーザ１６へ与えるか、すなわち、どのコンテンツが将来的な他のユーザへの配信に最適であるかを判定することができる。
【０１１６】
モデルエンジン
【０１１７】
図４は、モデルエンジン３２のブロック図である。モデルエンジン３２は、概して、実験の間に集められたデータから行動モデルを作成または確立するように機能する。上述したように、モデルエンジン３２は、データビューリーダ４８、モデル生成部５０、データビュー管理オブジェクト５２、モデル出力オブジェクト５４、および、モデルデータ記憶装置５６を含む。
【０１１８】
観測モジュール３６と通信を行うデータビューリーダ４８は、概して、実験の間に集められた観測データを取り込むまたは読み込むように機能する。この観測データは、実験中に様々なユーザ１６に配信される処置、および、それぞれの配信の成果に関連するデータを含んでよい。様々な処置に対するユーザ１６の少なくともいくつかの反応は観測可能（例えば、ユーザは、特定の処置において提供される商品を最終的に購入する可能性がある）であるので、目的行動とみなされる。
【０１１９】
データビューリーダ４８と通信を行うモデル生成部５０は、観測データを受信する。モデル生成部５０は、観測データを、統計的に解析可能なフォーマットに変換する。観測データを使用することで、モデル生成部５０は、一つ以上の行動モデルを生成する。これらの行動モデルは、目的行動の発生、制御コンテンツ変数のセット（例えば、バナー広告の設置または背景色）、および、コンテンツが配信されるユーザ１６との関係を取得できる。選択モデルは、いくつかの変数のレベルが実験で操作される際、選択モデルはユーザの選択または決定（すなわち、ユーザ行動）の可能性がどのように変化するかを記述する意味において行動的である。モデルは、観測されない値の補間、および／または、実験中に投入されない処置についての予測に関与する状況に有益である。一実施形態において、モデル生成部５０は、一つ以上の分割表を生成してよい。分割表は、モデルの形式である。それぞれの分割表は、少数の定義された成果を有する状況に有用なレポートとすることができる。分割表は、複雑な形式のモデルが成功することを確認するために使用可能である。分割表を解析することで、通信管理システム１２は、複雑なモデルに推定のステップを失敗させるデータを識別可能である。分割表は、モデル化の完全な比較的高速な形式である。
【０１２０】
モデル生成部５０は、選択モデリング、ベイズモデリング、ニューラルネットワーク、決定木、または、他の関連モデリングアルゴリズムで実施可能である。モデル化の少なくともいくつかのアルゴリズムは、例えば、様々な学術出版物または商業的に入手可能なソフトウェアにおいて、公的に入手可能である。一実施形態において、モデル生成部５０は、ＭＡＴＬＡＢライブラリおよびオブジェクトコードコンパイラと共に実施可能である。
【０１２１】
モデルデータ記憶装置５６は、モデル生成部５０と通信を行う。モデルデータ記憶装置５６は、概して、モデルデータ５８を格納および保守するように機能する。モデルデータ５８は、本明細書に記載されるモデルを作成、記述、定義、および、実施するための如何なる情報およびデータとすることができる。それぞれのモデルについて、モデルデータ５８は、例えば、モデルの識別子、モデル下で利用可能な選択オプションを記述する変数（例えば、価格、割引率、背景色）、ユーザ１６を記述する変数（例えば、ユーザが関与する時間、ユーザが関与する曜日、ユーザのインターネットサービスプロバイダ（ＩＳＰ）、ユーザのコンピュータのオペレーティングシステムなど）、一つ以上のレガシーシステム、人口総計情報などを指定できる。
【０１２２】
モデルデータ記憶装置５６を、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、または、他の適切な揮発性および／または不揮発性記憶メディアなど、一つ以上の適切な記憶メディアにおいて実施してよい。一実施形態において、モデルデータ記憶装置５６は関係型データベースを備えてよい。
【０１２３】
データビュー管理オブジェクト５２は、モデルデータ記憶装置５６およびデータビューリーダ４８と通信を行う。データビュー管理オブジェクト５２は、概して、様々なモデルをコンテンツプロバイダ１４の人間ユーザ（例えば、情報システム管理者）へ、解釈を行うデータビューリーダ４８を介して出力するよう機能する。一実施形態において、データビュー管理オブジェクト５２は、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間で実施してよく、または、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間に配信可能な一組のインターフェースオブジェクトを備えてよい。
【０１２４】
一実施形態において、コンテンツプロバイダ１４は、モデルデータ記憶装置５８に組み込まれる個々のデータベースにユーザ情報を格納してよい。例えば、コンテンツプロバイダ１４によってサポートされるオンライン銀行のアプリケーションは、データをユーザのインターネットセッション、および、金融機関の企業データベースから引き出してよい。そのような場合、データビュー管理オブジェクト５２は企業データベースをモデルデータ記憶装置５６にリンクさせる。
【０１２５】
モデル出力オブジェクト５４は、モデルデータ記憶装置５６と通信を行う。モデル出力オブジェクト５４は、概して、様々なモデルを変換のために、または、予測として使用するために予測エンジン３４に出力するよう機能する。一実施形態において、モデル出力オブジェクト５４は、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間で実施してよく、または、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間に配信可能な一組のインターフェースオブジェクトを備えてよい。
【０１２６】
予測エンジン
【０１２７】
図５は、予測エンジン３４のブロック図である。予測エンジンは、概して、行動モデルを使用する予測を作成または確立するように機能する。上述したように、予測エンジン３４は、予測生成部６２、予測出力オブジェクト６４、および、予測データ記憶装置５６を含む。
【０１２８】
予測生成部６２は、概して、例えば、様々なユーザ１６が特定のコンテンツにどのように反応するかを予測する一つ以上の予測を生成するように機能する。これらの予測は、マスカスタマイゼーションの処理とみなしてよい。この予測は、統計的に実行可能な予測ルールを生成するモデルに具現化されるような、ユーザ１６の顕示（観測）嗜好を使用する。予測生成部６２は、モデルエンジン３２およびコンテンツプロバイダインターフェース３８からの入力を受信し、所望の目的／成果（例えば、商品の売上げ）に到達するために、特有のユーザ１６に対するコンテンツ１５を対象にするルールを開発することで、コンテンツ１５の配信を最適化する。これは、モデルエンジン３２によって出力される様々なモデルを変換することで達成できる。
【０１２９】
一実施形態において、予測生成部６２は、個性化の処理を実施してよい。双方向通信の領域において、個性化の処理は、ユーザ１６が述べた嗜好または黙示の嗜好を基に、コンテンツ１５が対象となりユーザ１６に配信される処理である。例示的な個性化の処理は、ユーザ１６をプロファイル化または分割するデータマイニング技術を備えてよい。セグメンテーションは、ユーザ１６を様々な個々のグループまたはセグメントに分解、分割、分離することを意味する。それぞれのグループまたはセグメントは、同じ行動特徴を有するユーザの指定または分布とすることができる。任意のセグメントのユーザ１６の行動は均一である一方、セグメント間のユーザ１６の行動は均一ではない。セグメントは、セグメント無し（大衆未分化マーケット）から固有の個人まで多岐にわたる。
【０１３０】
ユーザ１６のセグメントは、サイト関連行動において観測されるような、コンテンツ１５に対して独特に反応する特定のユーザ１６を識別する情報を基に、モデル化プロセスにおいて決定してよい。セグメントを実施するために、それぞれのセグメントの定義情報がユーザの相互作用のために追跡される。これは、セグメントルールで達成される。セグメントルールの個々のセットは、ユーザ１６のそれぞれのセグメントごとにプログラム化、または、提供できる。これらのルールは、ユーザ１６に配信されるコンテンツ１５の詳細を指定してよい。例えば、それぞれのセグメントについて、ルールのそれぞれのセットは、どのコンテンツ１５をいつ配信するかを指定してよい。または、コンテンツプロバイダ１４の管理者ユーザは、推測的に既定のセグメントを選択可能である。
【０１３１】
予測生成部６２は、モデルエンジン３２によって生成される予測モデルを、予測として知られる最適化ルールセットに変換する。つまり、予測生成部６２は、コンテンツシステム１０および／または通信管理システム１２からの不成功のコンテンツの組み合わせまたは処置についての情報を取り除く最適化プロセスを行うことで、使用する価値のあるコンテンツの組み合わせ、または、処置の情報のみを残す。そのような使用できないデータを取り除くことで、予測生成部６２は、結果的にリアルタイム処理速度を向上させる。予測生成部６２によって作用される任意のモデルについて、ルールセットへの変換は、モデルをコンテンツシステムが理解できない用語に戻すために行われる。この処理において、様々なユーザ１６の副集団の個々のモデルを受け入れることが可能で、および／または、モデルにおける行動が異なる個々のユーザの特徴を含むことができる。
【０１３２】
そのようなものとして、予測生成部６２の技術および機能により、ユーザ１６の多くの個々の特徴を含むことおよび解析することが可能で、また、行動を異ならせるために特徴を組み合わせる異なる方法が可能になる。例えば、時間を、ウェブサイトをクリックスルーする様々なユーザ１６の傾向における相違に関連させてよく、他の全ての要因は同じであってよい。さらに、時間を提示価格またはページの位置のような属性に対するユーザの感性の相違に関連させてよい。
【０１３３】
予測生成部６２は、例えば、コンテンツ配信の調査および最適化に対する特定のセグメントを指定するために、管理者ユーザからの入力を受信してよい。コンテンツプロバイダインターフェース３８を通じて、管理者ユーザは、観測モジュール３６で利用可能な、または、コンテンツプロバイダ自身の顧客（ユーザ）またはサイトデータベースから利用可能なデータ、フィールド、および、変数を基に認識ルールを指定してよい。
【０１３４】
予測データ記憶装置６６は、予測生成部６２と通信を行なう。予測データ記憶装置６６は、概して、予測データ６８を格納および保守するよう機能する。予測データ６８は、本明細書に記載される予測を作成、記述、定義、および、実施するための如何なる情報およびデータとすることができる。それぞれの予測について、予測データ６８は、例えば、予測の識別子、予測に対する一組のルール、ユーザのクラスを記述する定義、および、それぞれのクラスに最も適したコンテンツ１５を指定することができる。
【０１３５】
予測データ記憶装置５６を、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、または、他の適切な揮発性および／または不揮発性記憶メディアなど、一つ以上の適切な記憶メディアにおいて実施してよい。一実施形態において、予測データ記憶装置５６は関係型データベースを備えてよい。
【０１３６】
予測出力オブジェクト６４は、予測データ記憶装置６６および（モデルエンジン３２の）データビューリーダ４８と通信を行う。予測出力オブジェクト６４は、ユーザ１６へコンテンツ１５を配信中に、様々な予測ルールをコンテンツシステム１０に出力して適用してよい。一実施形態において、予測出力オブジェクト６４は、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間で実施してよく、または、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間に配信可能な一組のインターフェースオブジェクトを備えてよい。
【０１３７】
大規模なコンテンツまたは大容量のユーザデータを含むいくつかのアプリケーションにおいて、予測ルールのセットの大きさは、人間ユーザ（例えば、管理者ユーザ）によるレビュー用の実行可能な大きさよりも大きくてよい。実行可能な人間のレビューを可能にするため、予測エンジン３４は、縮小ルールセットを生成するための一つ以上のルール縮小アルゴリズムを組み込むか、または、含んでよい。したがって、場合によっては、管理者ユーザは、縮小ルールセットをリクエストするために予測エンジン３４と交信してよい。
【０１３８】
ルール縮小処理の一つの例示的な実施において、特徴における類似または相違、および、最適なコンテンツに従ってユーザ１６を検索および集めてよい。これらの集合グループは、予測を実施するセグメントとして機能する。ルール縮小処理の別の例示的な実施において、セグメントはモデル化処理の間、同時に検索される。さらに別の例示的な実施において、費用関数を、適度に少ない明確な予測ルールを生成するためにモデルの制約に使用する。
【０１３９】
観測モジュール
【０１４０】
図６は、観測モジュール３６のブロック図である。上述したように、観測モジュール３６は、観測データ記憶装置７４および観測アクセスオブジェクト７６を含む。
【０１４１】
観測データ記憶装置７４は、概して、観測データ７８を保守または格納するよう機能する。観測データ７８は、コンテンツプロバイダ１４にアクセスするユーザ１６の観測された行動に関連するデータまたは情報とすることができる。したがって、観測データ７８は、例えば、ウェブサイトにアクセスするユーザ１６、ユーザごとのインターネットプロトコル（ＩＰ）アドレス、コンテンツ１５がそれぞれのユーザに配信される実験条件、それぞれのアクセスの観測成果または結果、一つ以上の実験変数、一つ以上の予測共変量、一つ以上の従属変数、それぞれのアクセスについてのタイムスタンプ、および、解析中に使用可能な他の有用なデータを指定してよい。観測データ７８の少なくとも一部は、観測用の未加工情報または基本統計を構成してよい。観測データ７８は、ユーザ（例えば、アクセスする人）による結果、処置、セッション、および、ユーザプロファイルを閲覧およびモデル化するのに適した構造として保守してよい。観測データ７８により、通信管理システム１２およびコンテンツシステム１０は、同じ処置をそのウェブサイトに再アクセスするユーザ１６に配信してよい（例えば、そのようなユーザは識別可能なＩＰアドレスから再アクセスすると仮定する）。観測データ記憶装置７４は、観測データ７８をコンテンツプロバイダのユーザインターフェースを介して、管理者ユーザに供給してよい。
【０１４２】
観測アクセスオブジェクト７６は、観測データ記憶装置７４と通信を行う。観測アクセスオブジェクト７６は、概して、観測データ７８へのアクセス（観測データ７８の格納または取り込み）を提供する。観測アクセスオブジェクト７６は、観測データ７８を、モデル化に適したフォーマットでモデルエンジン３２に転送してよい。転送プロセスは、データの「不具合」（例えば、紛失データ、構造的依存など）について観測データ７８をチェックし、データをモデル化が可能な形式（例えば、カテゴリー化および影響のコード化）に変換してよい。一実施形態において、観測アクセスオブジェクト７６は、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間で実施してよく、または、通信管理システム１２およびコンテンツシステム１０の様々な構成要素またはモジュール間に配信可能な一組のインターフェースオブジェクトを備えてよい。
【０１４３】
いくつかの例において、コンテンツプロバイダ１４は、観測データ記憶装置７４において他のデータと合成させる個々のデータベースにユーザ情報を格納してよい。例えば、コンテンツプロバイダ１４によってサポートされるオンライン銀行のアプリケーションは、データをユーザのインターネットセッション、および、金融機関の企業データベースから引き出してよい。そのような場合、観測アクセスオブジェクト７６は企業データベースを観測データ記憶装置７４にリンクさせる。
【０１４４】
スクリプティング／スケジューリングエンジン
【０１４５】
図７は、スクリプティング／スケジューリングエンジン３９のブロック図である。上述したように、スクリプティング／スケジューリングエンジン３９は、概して、通信管理システム１２およびコンテンツシステム１０における他の要素のオペレーションを調整および自動化するよう機能する。上述したように、スクリプティング／スケジューリングエンジン３９は、イベントキュー８０、タイマー８２、スクリプトインタープリタ８４、およびスクリプトデータ格納装置８６を含む。
【０１４６】
スクリプトインタープリタ８４は、概して、通信管理システム１２およびコンテンツシステム１０の他のエンジンおよびモジュール（例えば、アロケータモジュール２２、実験エンジン３０、モデルエンジン３２、予測エンジン３４、または、観測モジュール３６）に指示または命令を提供する様々なスクリプトを実行するよう機能する。これらのスクリプトは、様々なイベントに応答して、通信管理システム１２またはコンテンツシステム１０での動作を開始または引き起こしてよい。それぞれのスクリプトは、システム１０および１２の他のエンジンおよびモジュールのオペレーションを調整するために、それらに発行される一連の、または、一続きの指示を指定してよい。
【０１４７】
イベントは、例えば、通信管理システム１２またはコンテンツシステム１０の様々なモジュールまたはエンジンの一つによって完了したあるタスクとすることができる。そのようなそれぞれのイベントの通知は、関連モジュールまたはエンジンにより、スクリプティング／スケジューリングエンジン３９へ送ってよい。イベントはまた、既定の時間（例えば、午前８時）の発現、または、既定の時間の経過（例えば、２時間）に関連してよい。タイマー８２は時間の経過を追い、時間に関するイベントごとの情報を生成する。
【０１４８】
スクリプトインタープリタ８４と通信を行うイベントキュー８０は、スクリプティング／スケジューリングエンジン３９に通知され、内部で生成されるイベントごとの情報を受信および格納する。イベントキュー８０は、一つ以上のイベントを扱うキューを実施する。これらのイベントは、様々なスクリプトにおいて指定することができ、スクリプトインタープリタ８４による指示の発行をトリガーするよう機能してよい。換言すれば、スクリプトインタープリタ８４は特定のスクリプトに従って、通信管理システム１２またはコンテンツシステム１０においてのある動作をイベントごとに開始または引き起こしてよい。
【０１４９】
例えば、イベントは、実験エンジン３０による実験の完了とすることができ、その場合、スクリプトインタープリタ８４は、望ましくは実験の結果を使用してそれぞれのモデルの生成を開始してよい。したがって、診断情報と共に、様々なモジュールおよびエンジンによって生成されるデータを使用することで、スクリプトインタープリタ８４は、モジュールまたはエンジンがそれぞれのタスクを首尾よく完了したかを判定してよく、それぞれの指示を発行することで適切なアクションを開始してよい。
【０１５０】
スクリプトインタープリタ８４と通信を行うスクリプトデータ格納装置８６は、概して、スクリプトデータ８８を保守または格納するよう機能する。スクリプトデータ８８は、スクリプトインタープリタ８４によって生成および実行される様々なスクリプトに関連するデータまたは情報とすることができる。したがって、それぞれのスクリプトごとに、スクリプトデータ８８は、例えば、スクリプトの識別子、スクリプトの一部である指示、指示が発行されるシーケンス、指示の発行をトリガーするイベント、指示が発行されるモジュールまたはエンジンを指定してよい。
【０１５１】
コンテンツ管理方法
【０１５２】
図８は、ユーザに配信されるコンテンツを管理する例示的な方法１００である。方法１００は、コンテンツシステム１０と協同する通信管理システム１２のオペレーションの様々な態様に対応してよい。
【０１５３】
ステップ１０２および１０４から方法１００が開始され、コンテンツシステム１０と協同する通信管理システム１２は、実験スペースおよび実験を定義する。一実施形態において、実験エンジン３０は、実験および対応する実験スペースに対する様々な定義を生成してよい。これらの定義は、実験の対象であるコンテンツ１５の特定のセット、コンテンツ１５が配置される一つ以上の処置、それぞれの実験が実施される期間、処置が配信されるユーザ１６の制御グループ、コンテンツ処置の配信を統制する実験ルール、監視すべきユーザ１６の行動、達成すべき目的／成果などを指定してよい。一実施形態において、コンテンツプロバイダ１４の管理者ユーザは、実験を計画するために通信管理システム１２と交信してよい。
【０１５４】
ステップ１０６で、実験エンジン３０は、特定の処置をユーザ１６のそれぞれの制御グループに配信する実際の実験の予定を組む。ステップ１０８で、アロケータモジュール２２と協同する実験エンジン３０は、定義された実験を実施し、ユーザの観測された行動に関連するデータを収集する。一実施形態において、アロケータモジュール２２は、様々な処置を配信するための実験ルールを特有の制御グループに適用してよい。これは、コンテンツ１５のユーザリクエストに応答して行われてよい。アロケータモジュールは、ユーザの観測された行動に関する詳細を、最適化される目的に関連しているので、観測モジュール３６に格納してよい。
【０１５５】
ステップ１１０で、モデルエンジン３２は観測された行動の収集データ／情報を使用してモデルを作成する。モデルは、コンテンツ要素がユーザ１６の行動または選択に影響する度合いを反映してよい。特に、行動モデルは、コンテンツ構造または処置のどの態様が、特定の成果に到達する可能性に影響するかを判定する高度で連続的な、離散した多変量統計モデルを備えてよい。
【０１５６】
ステップ１１２で、予測エンジン３４は、予測を作成または生成する。この予測は、所望の成果／目的に到達する最も効果的な方法でコンテンツ１５をユーザ１６に配信するために使用されるモデルの簡素な記述とすることができる。予測は、特定の種類のユーザに対する特有のコンテンツを対象にする一組の予測ルールで、部分的に実施可能である。ステップ１１４で、通信管理システム１２は、コンテンツプロバイダ１４の管理者ユーザに、必要に応じて予測をカスタマイズさせる。
【０１５７】
ステップ１１６で、通信管理システム１２はコンテンツシステム１０と協同し、予測を実施し、データを収集する。特に、アロケータモジュール２２は、ユーザ１６のリクエストに応じてコンテンツ１５を配信する予測ルールを適用してよい。結果的に、ある規準（例えば、時間、クリック追跡など）に依存して、特定の処置を様々なユーザ１６に配信する。それぞれの処置に対するユーザ１６の行動に関連するデータが集められる。ステップ１１８で、モデルエンジン３２および予測エンジン３４は協同して、予測段階の間に処置の配信結果を解析してよい。
【０１５８】
ステップ１２０で、通信管理システム１２は、観測結果が十分であるかを判定する。つまり、通信管理システム１２は、ユーザ１６が配信されたコンテンツ処置に対して所望の方法で反応したかを判定することで、所望の成果または目的に到達する。観測結果が十分でない場合、ステップ１２２で、モデルエンジン３２はモデル化パラメータ、種類などを変更し、その後、方法１００はステップ１１０に戻り、新しいモデルを作成する。方法１００は、ステップ１２０で予測の結果が十分であると判定されるまでステップ１１０から１２２を繰り返す。その時点で、方法１００は終了する。
【０１５９】
実験の定義方法
【０１６０】
図９は、構造化コンテンツの実験を定義する例示的な方法２００のフローチャートである。方法２００は、通信管理システム１２の実験エンジン３０のオペレーションの様々な態様に対応してよい。
【０１６１】
方法２００は、コンテンツシステム１０と協同する通信管理システム１２によって実行されるそれぞれの実験に対して行われてよい。それぞれの実験は、コンテンツシステム１０に格納可能なコンテンツ１５の特定のセットに焦点を合わせ、または、注意を向ける。コンテンツ１５のどのセットも、例えば、書き込みテキスト、画像、図形、アニメーション、映像、音楽、音声などを含むことができる。コンテンツの要素成分は、テキストファイル、画像ファイル、音声ファイル、映像ファイルなどとすることができる。
【０１６２】
ステップ２０２から方法２００が開始され、現在の実験について、実験エンジン３０はユーザ行動に対する所望の成果／目的を識別する。そのような成果または目的は、例えば、販売および利益の増加、電子マーケティング効率の改善、特有のビジネスインテリジェンスアプリケーションの強化とすることができる。一実施形態において、所望の成果／目的は、コンテンツプロバイダ１４の管理者ユーザによって、コンテンツプロバイダインターフェース３８を介して識別または選択が可能である。ステップ２０４で、実験エンジン３０はコンテンツ１５の特定のセットのうち、どの要素成分が所望の成果／目的に関連するユーザ行動に影響する可能性があるかを特定してよい。
【０１６３】
ステップ２０６で、実験エンジン３０は、要素成分の様々な組み合わせを使用して多くの代替えコンテンツ構造または処置を生成する。それぞれのコンテンツ構造または処置は、例えば、ウェブページでの特定の実施とすることができる。これらの代替えコンテンツ構造は、通信管理システム１２の制御下で一つ以上の実験変数に対する要素成分において変化してよい。これらの変数は、例えば、背景色、画面設置、コンテンツの大きさなどとすることができる。それぞれの変数ごとに、異なる値またはレベルが有効であってよい。例えば、背景色の変数について、異なるレベルを、赤色、青色、灰色、黒色とすることができる。画面設置の変数について、異なるレベルを、中央上、右下、左下側などとすることができる。様々な処置を、本明細書に記載されるように、同じコンテンツリクエストに応答して交互に配信してよい。
【０１６４】
ステップ２０８で、実験エンジン３０は、実験の実施用に制御変数およびレベルを割り当てる。これにより、現在の実験のコンテンツ１５の特定のセットに対する多くの代替えコンテンツ構造または処置を生み出す。例えば、一つの処置において、バナー広告は、黄色の背景色を有し、画面の右上隅に配置してよく、その一方では、別の処置において、バナー広告は、青色の背景色を有し、画面の中央左部分に配置してよい。コンテンツ１５に対するこれらの代替え処置は、実験の間にユーザ１６に配信してよい。その後、方法２００は終了する。
【０１６５】
実験の実施方法およびデータ収集方法
【０１６６】
図１０は、追跡可能な成果／目的に対する実験の実施およびデータの収集を行う例示的な方法３００のフローチャートである。方法３００は、コンテンツシステム１０と協同する通信管理システム１２のオペレーションの様々な態様に対応してよい。
【０１６７】
ステップ３０２から方法３００が開始され、実験エンジン３０およびスクリプティング／スケジューリングエンジン３９は、現在の実験の間、ユーザ１６に配信する一つ以上のコンテンツ構造または処置を選択する。それぞれの処置は、ウェブページ上に提示されるコンテンツ１５用の特定のフォーマットとすることができる。例えば、ウェブページのコンテンツに対する処置は、それぞれの記事の写真が画面の左側の上から下まで表示される青色の背景を含むことができ、その画面にはそれぞれの写真の右隣りに説明が添えられる。コンテンツの別の処置は、それぞれの記事の写真が画面の上側の左から右まで表示される赤色の背景を含むことができ、その画面下のそれぞれの写真の下には説明が添えられる。
【０１６８】
これらの処置を、同じコンテンツリクエストに応答して交互に配信してよい。例示的なリクエストは、特定の一連の商品（例えば、複数の洋服）を表示するウェブページのリクエストとすることができる。そのようなウェブページリクエストは、例えば、ＵＲＬなどの、ウェブページの特定の識別子を指定することができる。さらに、ウェブページリクエストは、ウェブページ上の特定のハイパーリンクをユーザがクリックすることで関連付けられる。
【０１６９】
ステップ３０４で、通信管理システム１２は、選択された処置を受信するために、ユーザ１６の特定の対象集団またはセグメントを指定する。一実施形態において、管理者ユーザは、サイトユーザの特定対象集団を明確に指定してよい。例えば、対象集団は、平日の午後４時から午後１０時までの間に特定のウェブページにアクセスするユーザとすることができる。ステップ３０６で、アロケータモジュール２２は、対象集団からユーザ１６の一つ以上の制御グループを選択するために統計的なサンプリングを行う。例えば、一実施形態において、統計的なサンプリング方法は、サイトへアクセスする全ての人から、本明細書に記載される制御処置を受信する、プロファイルが一致する無作為サンプルを選択するよう使用される。それぞれの制御グループは、コンテンツをコンテンツプロバイダ１２からリクエストする一人以上のユーザ１６を備えてよい。それぞれの制御グループは、識別可能なコンテンツリクエストに応答して、実験の間に異なる処置を受信してよい。ステップ３０８で、通信管理システム１２は、実施用に制御変数および値／レベルを割り当てることにより、どの処置をそれぞれの制御グループに配信するかを指定する。
【０１７０】
ステップ３１０で、アロケータモジュール２２は、ユーザインターフェース２６を介して、それぞれの処置をそれぞれの制御グループに割り当てるか、または、配信する。コンテンツプロバイダ１４のウェブサイトへ（同一ＵＲＬを指定、または、同一ハイパーリンクをクリックすることで）識別可能なリクエストを行うさまざまなユーザ１６に、実験の間、異なる処置を配信してよい。上述した例を参照し、洋服の一連の商品についての情報をリクエストする第一の制御グループは、青色の背景および縦に並んだ写真を有する処置を受信してよく、同一の情報をリクエストする第二のグループは、赤色の背景および横に並んだ写真を有する処置を受信してよい。アロケータモジュール２２は、制御処置およびそれぞれの制御グループへの配信に関する情報を観測モジュール３６に格納または記録してよい。
【０１７１】
ステップ３１２で、コンテンツシステム１０と協同する通信管理システム１２は、様々な処置を受信するユーザ１６のサイト関連行動を追跡する。この行動は、ユーザがどれくらい好意的に、または、どれくらい不快感を抱いて異なる処置を閲覧したかについての指標とすることができる。上記の例に続いて、第一の制御グループの４０％のユーザは、青色の背景および縦に並んだ写真を有する処置で提示される洋服を実際に購入してよく、第二のグループのわずか１５％のユーザは、赤色の背景および横に並んだ写真を有する処置で提示される洋服を実際に購入してよい。通信管理システム１２は、そのようなユーザ行動に関連する情報およびデータを記録する。この情報またはデータは、所望の目的／成果に関連する従属変数情報を含むことができる。この情報の全ては、観測データ７８として観測モジュール３６に格納してよい。
【０１７２】
一実施形態において、ユーザ行動は様々な状態にカテゴリー化することができる。これらの状態は、例えば、商品を購入する決定、商品を購入しない決定、特定のウェブページにとどまる決定などとすることができる。異なる制御グループにわたって、通信管理システム１２は、処置における相違がどのように状態の変化に影響するかを識別するために、様々な処置に対するユーザ行動の状態のそれぞれの変化を記録してよい。
【０１７３】
モデル化および予測方法
【０１７４】
図１１は、モデル化および予測を行うための例示的な方法４００である。方法４００は、通信管理システム１２のモデルエンジン３２および予測エンジン３４のオペレーションの様々な態様に対応してよい。
【０１７５】
ステップ４０２から方法４００が開始され、モデルエンジン３２は、観測モジュール３６から、実験エンジン３０によって部分的に実施される実験の間に生成される観測データを取り込む。この観測データは、コンテンツプロバイダ１４のウェブサイトにアクセスするユーザ１６の観測された行動に関連するデータまたは情報を含むことができる。特に、観測データは、例えば、コンテンツプロバイダ１４のウェブサイトにアクセスするユーザ１６、コンテンツ１５がそれぞれのユーザに配信される実験状況、それぞれのアクセスの観測成果または結果、それぞれのアクセスの間に観測される行動に関連する一つ以上の従属変数を含んでよい。
【０１７６】
ステップ４０４において、モデルエンジン３２は、コンテンツ１５のどの態様（例えば、種類およびフォーマット）が成果の可能性に影響したか判定するために、多変量統計モデル化技術（例えば、Ｂａｙｅｓｉａｎ  Ｍａｒｋｏｖ  Ｃｈａｉｎ  Ｍｏｎｔｅ  Ｃａｒｌｏ推定方法）を使用して観測データを解析する。これを達成するために、モデルエンジン３２は、実験の間に観測される行動に関連する様々な従属変数を解析または考慮してよい。モデルエンジン３２は、一つ以上の予測共変量を生成してよい。
【０１７７】
ステップ４０６において、解析結果を使用して、予測エンジン３４と協同するモデルエンジン３２は、どのコンテンツ構造または処置が、ある所望の成果または目的の到達に最もふさわしいかを判定する。特に、モデルエンジン３２および予測エンジン３４は、例えば、様々なユーザ１６が特定のコンテンツにどのように反応するかの予測を生成する。これは、モデルを一組の予測ルールに変換することによって行うことができる。所望の目的／成果（例えば、商品の売上げ）に到達するために、この予測ルールが、特有のユーザに対するコンテンツ１５を対象にすることで、コンテンツ１５の配信を最適化する。その後、方法４００は終了する。
【０１７８】
本発明の主題の実施形態に係るシステムおよび方法は、コンテンツ（種類およびフォーマット）と様々な所望の成果／目的の間の関係を体系的に判定する実験計画を使用する。実験は、インターネットまたは他の適切なデータネットワーク上で行われることで、さらに現実的で代表的なサンプルを提供するユーザの幅広い集団に到達する。実験の作業の多くが自動化されることで、手動の設定および解析の必要性を減少させる。
【０１７９】
まず、本明細書の用語について、以下の詳細な説明の大部分は、汎用コンピュータシステムに関連する中央演算装置（ＣＰＵ）またはプロセッサ、プロセッサ用メモリ記憶装置、および、画素式表示装置などの従来のコンピュータ構成要素によって実行されるオペレーションの処理および象徴を示す。これらのオペレーションには、プロセッサによるデータビット操作、および、一つ以上のメモリ記憶装置に備わるデータ構造内でのこれらのビットの保守が含まれる。そのようなデータ構造は、コンピュータメモリに格納されるデータビット集合に物理的な編成を行い、特有の電気的または磁気的要素を表す。これらの象徴は、コンピュータプログラミングおよびコンピュータ構築の当業者によって使用される手段であり、教示および発見を他の当業者に最も効果的に伝えられる。
【０１８０】
この考察の目的として、処理、方法、ルーチン、または、サブルーチンは、概して、所望の結果に導く、コンピュータによって実行される一連のステップとみなされる。これらのステップは、概して、物理量の操作を必要とする。通常、これらの量は、格納、転送、合成、または、操作可能な電気、磁気、または、光学信号の形式をとる。これらの信号を、ビット、値、要素、シンボル、文字、テキスト、用語、数字、記録、ファイルなどと呼ぶことは、当業者にとっては慣習的である。なお、これらの、または、他の用語は、コンピュータオペレーションの適切な物理量に関連し、これらの用語は、コンピュータオペレーション内、または、コンピュータオペレーションの間に存在する物理量に適用される単なる従来のラベルである。
【０１８１】
また、コンピュータ内の操作は、人間のオペレータによって行われる手動オペレーションにしばしば関連する、追加、比較、移動などの用語で呼ばれることが理解される。人間のオペレータが関与しないことが、本発明の主題において必要であり、または、望ましいことが理解されなければならない。本明細書に記載のオペレーションは、コンピュータと交信する人間のオペレータまたはユーザとともに実行される機械オペレーションである。
【０１８２】
さらに、本明細書に記載されるプログラム、処理、方法などは、本発明の主題の例示的な実施であり、特定の如何なるコンピュータ、装置、コンピュータ言語に関連または制限されない。むしろ、様々な種類の汎用コンピュータ機器または装置を、本明細書に記載される教示に従って構成されるプログラムとともに使用してよい。同様に、本発明に記載される方法ステップを実行する特殊装置を、読み出し専用メモリ（ＲＯＭ）などの不揮発性メモリに格納され、ハードウェアに組み込まれた論理またはプログラムを有する専用コンピュータの手段によって構成することは有益であると立証される。
【０１８３】
クロスチャネルの最適化
【０１８４】
図１３は、外部コンテンツシステム（ＥＣＣ）５０３が、異なるコンテンツをユーザ５０１に配信するＣＣＯＳ５００と通信を行う環境を示す。ユーザ５０１は、インターネットまたは双方向テレビネットワークなどのデジタルネットワーク５０２を介してＥＣＳ５０３と交信する。
【０１８５】
概して、ＥＣＳ５０３は、ウェブサーバまたはコンテンツ管理システムなどのコンテンツシステム５０５、および、異なる機能性能を加えユーザ５０１のコンテンツシステム５０５との交信についてのデータを取得するバックエンド５０６からなる。コンテンツシステム５０５およびバックエンド５０６のそれぞれは、本明細書に記載される機能を行うソフトウェアおよび／またはハードウェアの適切な組み合わせを含む。
【０１８６】
ＥＣＳ５０３は、コンテンツ５０７を直接ユーザ５０１に提供するか、または、広告を他のウェブサイトに広範囲に提供する検索エンジンの場合のように、コンテンツ５０７を他のＥＣＳに提供することでユーザ５０１に提供することができる。
【０１８７】
一実施形態において、ＣＣＯＳ５００は、プラグイン５１４を介して、ＥＣＳ５０３と通信を行う。プラグインは、ルール生成部５１３からのデータをＥＣＳが操作可能なフォーマットに変換し、また、ＥＣＳからのデータを収集し、このデータをデータ照合部５１１に戻す。例えば、変換は、．ＮＥＴ、ＰＨＰ、ＪＳＰ、Ｊａｖａスクリプト、および、他のスクリプティング、通信、または、プロムラミングコマンドの特有のコマンド形式であってよい。
【０１８８】
図１３は、プラグインＡのＥＣＳ  Ａへの接続、および、プラグインＢのＥＣＳ  Ｂへの接続を示す。増設されるまたは異なるＥＣＳは、共通のプラグインを共有するか、または、機能およびオペレーションの相違に依存して専用プラグインを必要とする。例えば、あるＥＣＳは、アクセスを行う者のそれぞれが受信するコンテンツを判定するリアルタイムの応答がプラグインによって提供される機構を使用してよい。他の例では、プラグインは、ユーザ集団にわたって、これらのユーザに提供されるコンテンツ要素に対する集合的な指示の提供のみ行ってよい。
【０１８９】
図１４は、デジタル形式で格納可能なコンテンツ５０７のセットが、一組のコンテンツ要素に分解または減少されることを表す。要素的なコンテンツ成分は、例えば、テキスト、画像、音声、映像などとすることができる。これらの要素的なコンテンツ成分を、コンテンツ５０７をユーザ５０１に提示する多くの異なる方法または構造で、合成、配置、並び替え、および／または、フォーマットなどしてよい。コンテンツ要素のそれぞれの固有の組み合わせは処置と呼ばれる。
【０１９０】
最終的に、ＣＣＯＳは、どの処置を異なるユーザ５０１に提示するかを判定する。処置５１５から５１８は、二つの属性（長方形および正方形）の二つのレベル（縦線および斜線）で提示される異なる組み合わせを示す。
【０１９１】
図１５は、ＣＣＯＳ５００内の機能の内部フローを表す。実験エンジン５１０は、ＣＣＯＳ５００が結合するＥＣＳ５０３に提供されるコンテンツ要素にわたって適用する適切な実験計画を判定する。
【０１９２】
コンテンツの管理方法
【０１９３】
図１６は、ユーザに配信されるコンテンツを管理する例示的な方法６００である。方法６００は、ＥＣＳ５０３と協同するＣＣＯＳ５００のオペレーションの様々な態様に対応してよい。
【０１９４】
ステップ６０２から方法６００が開始され、プラグイン５１４がインストールされ、または、プラグイン５１４は異なるＥＣＳ５０３と接続するように構成される。それぞれのＥＣＳは、実験を扱うまたは処置を提示する独自の制約の組み合わせを有することにおいて異なってよい。例えば、あるシステムは、別のシステムと同様の実験を実行しないでよく、例えば、限られた数の置換、または、コンテンツ要素の要因計画が別のシステムに対して可能である。したがって、プラグイン５１４を、ＥＣＳ５０３によって管理される異なるコンテンツ要素を制御するために、および、ＥＣＳ５０３からデータを収集するためにパラメータ化またはカスタマイズしてよい。
【０１９５】
ステップ６０４において、実験エンジンは、ＥＣＳ５０３にわたって現れる一組の属性およびレベルを定義するために使用される。一実施形態において、実験エンジン５３０は、実験に対する様々な定義を生成してよい。これらの定義は、実験の対象であるコンテンツ要素の特定のセット、コンテンツ５０７が配置される一つ以上の処置、それぞれ実験が実施される期間、処置が配信されるユーザ５０１のグループ、および、処置の配信を統制する実験ルールを指定してよい。
【０１９６】
一つの可能な実施形態において、ＣＣＯＳ５００の管理者ユーザは、実験を計画するためにシステムと交信してよい。
【０１９７】
別の可能な実施形態において、実験計画は、属性およびレベルの混同、および、ユーザ変数および文脈変数の混同を防ぐよう定義される。実験エンジン５１０は、システムオペレータまたはプラグインからの情報を基に、それぞれの関連ＥＣＳがバッチモードまたはリアルタイムモードで動作するかを判定する。バッチモードでのこれらのオペレーションについて、実験エンジン５１０は、属性とレベルの適切なセットを判定し、最適化された実験計画をＥＣＳ５０３の任意の制約に割り当てる。例えば、異なる種類の部分的な要因計画が、必要に応じて、あるＥＣＳ５０３の広告変動の数を減少させるために使用される。実験を実施するためにＥＣＳ間で調整が必要とされる状況では、実験エンジン５１０はまた、プラグイン５１４と共に、バッチモードでＥＣＳ５０３に追加情報を提供し、例えば、以前提示された属性またはレベル、ユーザ５０１、または、文脈データに関するデータを含む情報をＥＣＳ５０３へ渡すことが可能である。
【０１９８】
リアルタイムモードで作動するＥＣＳ５０３について、実験エンジン５１０は、適切な処置を配信するために、および、ＣＣＯＳ５００の制御下で別のＥＣＳ５０３によってＥＣＳ５０３に渡されるユーザデータまたは文脈データの解釈方法についての指示を提供するために、ルール生成部５１３を構成してよい。
【０１９９】
ステップ６０６で、ルール生成部５１３は、特定の処置をユーザ５０１のそれぞれのグループに配信するための実験を予定する。
【０２００】
ステップ６０８で、ルール生成部５１３と協同するデータ照合部５１１は、定義された実験を実施し、ユーザの観測された行動に関するデータを収集する。データ照合部５１１は、ＥＣＳ５０３の追跡性能と共にリアルタイムの追跡性能の如何なる組み合わせを使用する。データ照合部５１１は、これらのデータソースを、それぞれのレベルが提示された回数、それがどこに提示されたか、それが誰に提示されたか、過去のユーザ５０１のデータ、ユーザの交信時間またはユーザについての情報などの文脈データ、および、以降のユーザ５０１の行動を含む一組のデータにまとめる。
【０２０１】
ステップ６１０で、モデリングエンジン５１２は、データ照合部５１１から集められたデータ／情報を使用してモデルを作成する。モデルは、コンテンツ要素がユーザ５０１の行動または選択に影響する度合いを反映してよい。行動モデルは、例えば、特定の成果に到達する可能性に対するコンテンツ要素の影響を数値化するために使用可能な連続的な、または、離散的な多変量統計モデルで構成してよい。モデリングエンジン５１２は、テストされた属性、ユーザ、および、文脈データの全てから、期待される成果に関する一組の予測を生成する。なぜならば、これらの予測は、ＥＣＳ５０３によって追跡される複数のユーザ行動にわたって行われ、相対的価値または重み付けを成果ごとに把握している場合、予測を成果の如何なる組み合わせに対して行う。この予測は、ユーザ行動の値を最大化するためにユーザ５０１に提示されるコンテンツ要素の簡素な記述とすることができる。予測は、特定種類のユーザに対する特殊なコンテンツを対象にするルール生成部５１３によって実施することができる。ステップ６１２で、ＣＣＯＳ５００は、管理者ユーザに、変更に対して期待される成果を計算させながら、場合によっては、選択的に最適なルールをカスタマイズさせる。
【０２０２】
ステップ６１４で、ルール生成部５１３は、予測を実施するためにＥＣＳ５０３と、プラグイン５１４経由で協同する。この結果、ある規準（例えば、時間、クリック追跡など）に依存して、様々なユーザ５０１に特定の処置が配信される。それぞれの処置に対するユーザ５０１の行動に関するデータもまた、データ照合部５１１によって収集可能である。
【０２０３】
前述の方法ステップの全てを一括で行う必要はない。例えば、最初に特定のハードウェアシステム下で行ってよい。その後、第一のシステムからのデータを使用する、異なるハードウェアシステム下で行ってよい。
【０２０４】
多くの修正および変形は、本発明の本質を説明するために記載および図示した構成要素および作用の詳細、材料、および配置において可能であり、そのような修正および変形は、本明細書に含まれる技術および請求項の精神および範囲から逸脱しないことを当業者は理解するであろう。
【０２０５】
本発明の主題の特定の実施形態を示し、記載したが、本発明の広い態様において本発明の主題から逸脱することなく変更または修正が可能であり、したがって、添付の請求項は、本発明の主題の正確な範囲内にあるそのような変更および修正の全てを請求項の範囲で網羅することは当業者には明らかであろう。
【図１】
2010514010.tif 000003
【図２】
2010514010.tif 000004
【図３】
2010514010.tif 000005
【図４】
2010514010.tif 000006
【図５】
2010514010.tif 000007
【図６】
2010514010.tif 000008
【図７】
2010514010.tif 000009
【図８】
2010514010.tif 000010
【図９】
2010514010.tif 000011
【図１０】
2010514010.tif 000012
【図１１】
2010514010.tif 000013
【図１２】
2010514010.tif 000014
【図１３】
2010514010.tif 000015
【図１４】
2010514010.tif 000016
【図１５】
2010514010.tif 000017
【図１６】
2010514010.tif 000018
2010514010.tif 000019
【国際調査報告】
2010514010.tif 000020