(57)【特許請求の範囲】
【請求項１】
１つの商材についての複数の広告コンテンツを管理する広告データベースから対象となる一群の広告コンテンツを選択する手段と、
選択された一群の広告コンテンツの個々に対して初回の配信確率を等分に設定する手段と、
配信確率が設定された広告コンテンツを配信し、ＣＴＲを記録する手段と、
広告コンテンツ毎の所定期間のＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する手段と
を備え、
前記の新たな配信確率を広告コンテンツ毎に算出して設定する手段は、
ｉを広告コンテンツのインデックス、ａｉを広告コンテンツ、Π（ａｉ）を広告コンテンツａｉの直前の配信確率、βを所定の学習率として、
ＣＴＲが最大の広告コンテンツの配信確率を、
（Π（ａｉ）＋β（１−Π（ａｉ）））／ΣΠ（ａｉ）
により算出した値に設定し、
その他の広告コンテンツの配信確率を、
（Π（ａｉ）＋β（０−Π（ａｉ）））／ΣΠ（ａｉ）
により算出した値に設定する
ことを特徴とする広告情報提供装置。
【請求項２】
広告情報提供装置の制御部が、１つの商材についての複数の広告コンテンツを管理する広告データベースから対象となる一群の広告コンテンツを選択する工程と、
前記制御部が、選択された一群の広告コンテンツの個々に対して初回の配信確率を等分に設定する工程と、
前記制御部が、配信確率が設定された広告コンテンツを配信し、ＣＴＲを記録する工程と、
前記制御部が、広告コンテンツ毎の所定期間のＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する工程と
を備え、
前記の新たな配信確率を広告コンテンツ毎に算出して設定する工程は、
ｉを広告コンテンツのインデックス、ａｉを広告コンテンツ、Π（ａｉ）を広告コンテンツａｉの直前の配信確率、βを所定の学習率として、
ＣＴＲが最大の広告コンテンツの配信確率を、
（Π（ａｉ）＋β（１−Π（ａｉ）））／ΣΠ（ａｉ）
により算出した値に設定し、
その他の広告コンテンツの配信確率を、
（Π（ａｉ）＋β（０−Π（ａｉ）））／ΣΠ（ａｉ）
により算出した値に設定する
ことを特徴とする広告情報提供方法。
【請求項３】
広告情報提供装置を構成するコンピュータを、
１つの商材についての複数の広告コンテンツを管理する広告データベースから対象となる一群の広告コンテンツを選択する手段、
選択された一群の広告コンテンツの個々に対して初回の配信確率を等分に設定する手段、
配信確率が設定された広告コンテンツを配信し、ＣＴＲを記録する手段、
広告コンテンツ毎の所定期間のＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する手段
として機能させ、
前記の新たな配信確率を広告コンテンツ毎に算出して設定する手段は、
ｉを広告コンテンツのインデックス、ａｉを広告コンテンツ、Π（ａｉ）を広告コンテンツａｉの直前の配信確率、βを所定の学習率として、
ＣＴＲが最大の広告コンテンツの配信確率を、
（Π（ａｉ）＋β（１−Π（ａｉ）））／ΣΠ（ａｉ）
により算出した値に設定し、
その他の広告コンテンツの配信確率を、
（Π（ａｉ）＋β（０−Π（ａｉ）））／ΣΠ（ａｉ）
により算出した値に設定する
広告情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は広告情報提供装置に関する。
【背景技術】
【０００２】
インターネットのホームページ等においては、バナー広告と呼ばれる広告欄が設けられることが多い。
【０００３】
また、広告主は１つの商材につき、視聴者の嗜好を考慮して複数の広告コンテンツを用意する場合が多い。どのような広告コンテンツが視聴者に受け入れられるかについては、予め知ることはできないので、ランダムに配信したり（例えば、４つの広告コンテンツがある場合は０．２５（２５％）ずつ）、所定期間のＣＴＲ（Click Through Rate）に比例した配信確率を用いたりする（例えば、４つの広告コンテンツのＣＴＲが０．８％、０．６％、０．４％、０．２％であった場合、配信確率をＣＴＲに比例させて４０％、３０％、２０％、１０％）。なお、ＣＴＲとは、バナー広告のような広告コンテンツが選択（クリック）された数を、配信数で割った値であり、広告効果を評価する指標の一つである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７１６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、１商材について複数の広告コンテンツが存在する場合、従来は配信確率を均等にしたり、ＣＴＲに比例した値を用いたりしていたため、広告効果を高める上で充分ではないという問題があった。
【０００６】
すなわち、トータルのクリック数を最大化するためには、最も評判のいい広告コンテンツ１本に絞ることが必要であり、２位以下の広告コンテンツに相当量の配信確率を割くということはクリック数の最大化には反するからである。
【０００７】
しかしながら、ＣＴＲは変動が大きく、ある時点で最高の値を示していた広告コンテンツが最も評判がいい広告コンテンツであると断ずることは危険である。そのため、従来の手法を踏襲するほか術がなかった。
【０００８】
一方、特許文献１には、少ない露出回数で的確にクリエイティブ（広告）の有効性を評価し、クリエイティブが効率よく露出されるようにする技術が開示されている。しかし、正規分布を用いた統計的手法に基づくものであり、必ずしも広告効果を高める上では充分ではなかった。
【０００９】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、強化学習の考え方を導入することで、１商材について複数の広告コンテンツが存在する場合の広告効果を高めることにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、１つの商材についての複数の広告コンテンツを管理する広告データベースから対象となる一群の広告コンテンツを選択する手段と、選択された一群の広告コンテンツの個々に対して初回の配信確率を等分に設定する手段と、配信確率が設定された広告コンテンツを配信し、ＣＴＲを記録する手段と、広告コンテンツ毎の所定期間のＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する手段とを備え、前記の新たな配信確率を広告コンテンツ毎に算出して設定する手段は、ｉを広告コンテンツのインデックス、ａｉを広告コンテンツ、Π（ａｉ）を広告コンテンツａｉの直前の配信確率、βを所定の学習率として、ＣＴＲが最大の広告コンテンツの配信確率を、（Π（ａｉ）＋β（１−Π（ａｉ）））／ΣΠ（ａｉ）により算出した値に設定し、その他の広告コンテンツの配信確率を、（Π（ａｉ）＋β（０−Π（ａｉ）））／ΣΠ（ａｉ）により算出した値に設定する広告情報提供装置を要旨としている。
【００１１】
また、請求項２に記載されるように、広告情報提供装置の制御部が、１つの商材についての複数の広告コンテンツを管理する広告データベースから対象となる一群の広告コンテンツを選択する工程と、前記制御部が、選択された一群の広告コンテンツの個々に対して初回の配信確率を等分に設定する工程と、前記制御部が、配信確率が設定された広告コンテンツを配信し、ＣＴＲを記録する工程と、前記制御部が、広告コンテンツ毎の所定期間のＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する工程とを備え、前記の新たな配信確率を広告コンテンツ毎に算出して設定する工程は、ｉを広告コンテンツのインデックス、ａｉを広告コンテンツ、Π（ａｉ）を広告コンテンツａｉの直前の配信確率、βを所定の学習率として、ＣＴＲが最大の広告コンテンツの配信確率を、（Π（ａｉ）＋β（１−Π（ａｉ）））／ΣΠ（ａｉ）により算出した値に設定し、その他の広告コンテンツの配信確率を、（Π（ａｉ）＋β（０−Π（ａｉ）））／ΣΠ（ａｉ）により算出した値に設定する広告情報提供方法として構成することができる。
【００１２】
また、請求項３に記載されるように、広告情報提供装置を構成するコンピュータを、１つの商材についての複数の広告コンテンツを管理する広告データベースから対象となる一群の広告コンテンツを選択する手段、選択された一群の広告コンテンツの個々に対して初回の配信確率を等分に設定する手段、配信確率が設定された広告コンテンツを配信し、ＣＴＲを記録する手段、広告コンテンツ毎の所定期間のＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する手段として機能させ、前記の新たな配信確率を広告コンテンツ毎に算出して設定する手段は、ｉを広告コンテンツのインデックス、ａｉを広告コンテンツ、Π（ａｉ）を広告コンテンツａｉの直前の配信確率、βを所定の学習率として、ＣＴＲが最大の広告コンテンツの配信確率を、（Π（ａｉ）＋β（１−Π（ａｉ）））／ΣΠ（ａｉ）により算出した値に設定し、その他の広告コンテンツの配信確率を、（Π（ａｉ）＋β（０−Π（ａｉ）））／ΣΠ（ａｉ）により算出した値に設定する広告情報提供プログラムとして構成することができる。
【発明の効果】
【００１３】
本発明の広告情報提供装置にあっては、強化学習の考え方を導入することで、１商材について複数の広告コンテンツが存在する場合の広告効果を高めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態にかかるシステムの構成例を示す図である。
【図２】広告ＤＢのデータ構造例を示す図である。
【図３】広告情報提供装置のハードウェア構成例を示す図である。
【図４】実施形態の処理例を示すフローチャートである。
【図５】初期配信確率の設定の例を示す図である。
【図６】配信確率の設定の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の好適な実施形態につき説明する。
【００１６】
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。
【００１７】
図１において、インターネット等のネットワーク１には、ユーザが操作するＰＣ（Personal Computer）、携帯電話、ＰＤＡ（Personal Digital Assistants）等のユーザ端末２が複数接続されている。ユーザ端末２は、一般的なブラウザ（Ｗｅｂブラウザ）２１を備えている。ブラウザ２１は、インターネットの標準プロトコルであるＨＴＴＰ（Hyper Text Transfer Protocol）等に従い、ＨＴＭＬ（Hyper Text Markup Language）等の言語で記述されたページデータの要求・取得・表示およびフォームデータの送信等を行う機能を有している。
【００１８】
一方、ネットワーク１には、ユーザ端末２のブラウザ２１に対して広告情報を提供する広告情報提供装置３が接続されている。
【００１９】
広告情報提供装置３は、機能部として、対象広告選択部３０１と初期配信確率設定部３０２と広告情報配信・ＣＴＲ記録部３０３と配信確率算出・設定部３０４とを備えている。
【００２０】
これらの機能部は、広告情報提供装置３を構成するコンピュータのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のハードウェア資源上で実行されるコンピュータプログラムによって実現されるものである。これらの機能部は、単一のコンピュータ上に配置される必要はなく、必要に応じて分散される形態であってもよい。
【００２１】
また、広告情報提供装置３が利用するデータベースとして、広告ＤＢ（Data Base）３０５が設けられている。このデータベースは、広告情報提供装置３を構成するコンピュータ内のＨＤＤ（Hard Disk Drive）等の記憶媒体上に所定のデータを体系的に保持するものである。なお、広告ＤＢ３０５は広告情報提供装置３内に配置される必要はなく、他の装置上に配置してもよい。
【００２２】
図２は広告ＤＢ３０５のデータ構造例を示す図である。広告ＤＢ３０５は、「広告ＩＤ」「広告コンテンツ数」「広告コンテンツＩＤ」「広告コンテンツデータ／リファレンス」「ＣＴＲ」「配信確率」等の項目を含んでいる。「広告ＩＤ」は、一の広告主の一の商材にかかる一群の広告コンテンツを識別する情報である。「広告コンテンツ数」は、一の広告主の一の商材にかかる一群の広告コンテンツに含まれる広告コンテンツの数である。「広告コンテンツＩＤ」は、個々の広告コンテンツを識別する情報である。「広告コンテンツデータ／リファレンス」は、広告コンテンツの実データもしくは格納場所の情報である。「ＣＴＲ」は、その広告コンテンツについてのＣＴＲの記録である。「配信確率」は、算出されて決定された広告コンテンツ毎の配信確率である。
【００２３】
図１に戻り、広告情報提供装置３の対象広告選択部３０１は、広告ＤＢ３０５から処理対象となる広告（一の広告主の一の商材にかかる一群の広告コンテンツ）を選択する機能を有している。
【００２４】
初期配信確率設定部３０２は、対象広告選択部３０１の選択した一群の広告コンテンツにつき、初期の配信確率を設定する機能を有している。
【００２５】
広告情報配信・ＣＴＲ記録部３０３は、広告ＤＢ３０５に登録された広告コンテンツを、設定された配信確率に基づいてユーザ端末２のブラウザ２１に配信するとともに、ユーザ端末２のブラウザ２１による広告の選択操作（バナー広告のクリック操作等）を検出し、ＣＴＲを広告ＤＢ３０５に記録する機能を有している。
【００２６】
配信確率算出・設定部３０４は、広告ＤＢ３０５に記録された広告コンテンツ毎の所定期間のＣＴＲに基づき、強化学習の手法により新たな配信確率を広告コンテンツ毎に算出して広告ＤＢ３０５に設定する機能を有している。強化学習は、大きい報酬に続く行動はより再現しやすく、小さい報酬に続く行動はより再現しづらくなるという経験的事実を基本とした方法であり、数値化された報酬信号を最大にするために、何をすべきか（どのようにして状況に基づく動作選択を行うか）を学習する（「強化学習」、三上貞芳・皆川雅章  訳、森北出版株式会社、２０００年１２月２０日発行等を参照。）。すなわち、配信確率算出・設定部３０４は、広告コンテンツ毎の所定期間のＣＴＲを報酬として、当該報酬に基づき複数の広告コンテンツの中から一の広告コンテンツの配信確率を最大化しつつ、残りの広告コンテンツにも最小限の配信確率を残すように強化学習を行い、新たな配信確率を広告コンテンツ毎に算出して設定する。
【００２７】
図３は広告情報提供装置３のハードウェア構成例を示す図である。
【００２８】
図３において、広告情報提供装置３は、システムバス３１に接続されたＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、ＮＶＲＡＭ（Non-Volatile Random Access Memory）３５、Ｉ／Ｆ（Interface）３６と、Ｉ／Ｆ３６に接続された、キーボード、マウス、モニタ、ＣＤ／ＤＶＤ（Compact Disk/Digital Versatile Disk）ドライブ等のＩ／Ｏ（Input/Output Device）３７、ＨＤＤ３８、ＮＩＣ（Network Interface Card）３９等を備えている。Ｍはプログラムもしくはデータが格納されたＣＤ／ＤＶＤ等のメディア（記録媒体）である。
【００２９】
＜動作＞
図４は上記の実施形態の処理例を示すフローチャートである。
【００３０】
図４において、処理を開始すると（ステップＳ１０１）、広告情報提供装置３の対象広告選択部３０１は、広告ＤＢ３０５から処理対象となる広告（一の広告主の一の商材にかかる一群の広告コンテンツ）を選択する（ステップＳ１０２）。図２の広告ＤＢ３０５では広告ＩＤを一つ選択する。
【００３１】
次いで、図４に戻り、広告情報提供装置３の初期配信確率設定部３０２は、対象広告選択部３０１の選択した一群の広告コンテンツにつき、初期の配信確率を設定する（ステップＳ１０３）。初期の配信確率は同じ配信確率にすべく、選択した広告ＩＤに対応する広告コンテンツ数を得て、逆数とすることで初期の配信確率を算出する。例えば、４つの広告コンテンツがある場合は０．２５ずつとなる。図５は初期の配信確率が設定された状態における広告ＤＢ３０５を示している。
【００３２】
次いで、図４に戻り、広告情報提供装置３の広告情報配信・ＣＴＲ記録部３０３は、広告ＤＢ３０５に登録された広告コンテンツを、設定された配信確率に基づいてユーザ端末２のブラウザ２１に配信するとともに、ユーザ端末２のブラウザ２１による広告の選択操作（バナー広告のクリック操作等）を検出し、ＣＴＲを広告ＤＢ３０５に記録する（ステップＳ１０４）。
【００３３】
その後、所定の期間経過後、広告情報提供装置３の配信確率算出・設定部３０４は、広告ＤＢ３０５に記録された広告コンテンツ毎の所定期間のＣＴＲに基づき、強化学習の手法により新たな配信確率を広告コンテンツ毎に算出する（ステップＳ１０５）。
【００３４】
例えば、追跡法（Pursuit Methods）を用いる場合、ｉを広告コンテンツのインデックス（例えば、広告コンテンツが４個の場合はｉ＝０〜３）、ａｉを広告コンテンツ、Π（ａｉ）を広告コンテンツａｉの直前の配信確率、βを所定の学習率（０〜１の間の値）とすると、ＣＴＲが最大の広告コンテンツの配信確率は、
（Π（ａｉ）＋β（１−Π（ａｉ）））／ΣΠ（ａｉ）
その他の広告コンテンツの配信確率は、
（Π（ａｉ）＋β（０−Π（ａｉ）））／ΣΠ（ａｉ）
とする。ΣΠ（ａｉ）で割っているのは正規化するためである。
【００３５】
行動選択規則（εグリーディ手法）を用いる場合、εを所定の定数（０〜１の間の値）、広告コンテンツの数をｎとすると、ＣＴＲが最大の広告コンテンツの配信確率は、
１−ε
その他の広告コンテンツの配信確率は、
ε／（ｎ−１）
とする。
【００３６】
次いで、広告情報提供装置３の配信確率算出・設定部３０４は、算出された新たな配信確率を広告ＤＢ３０５に設定する（ステップＳ１０６）。図６は、εグリーディ手法によりε＝０．１とした場合に、配信確率が更新された状態の広告ＤＢ３０５を示している。
【００３７】
その後、図４に戻り、広告情報の配信およびＣＴＲの記録（ステップＳ１０４）に戻り、同様の処理を繰り返す。
【００３８】
＜総括＞
以上説明したように、本実施形態によれば、強化学習の考え方を導入することで、１商材について複数の広告コンテンツが存在する場合の広告効果を高めることができる。
【００３９】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００４０】
１          ネットワーク
２          ユーザ端末
２１        ブラウザ
３          広告情報提供装置
３０１      対象広告選択部
３０２      初期配信確率設定部
３０３      広告情報配信・ＣＴＲ記録部
３０４      配信確率算出・設定部
３０５      広告ＤＢ
【図１】
0005265659.tif 000002
【図２】
0005265659.tif 000003
【図３】
0005265659.tif 000004
【図４】
0005265659.tif 000005
【図５】
0005265659.tif 000006
【図６】
0005265659.tif 000007