(57)【要約】  課金条件に見合う広告効果が出なかった場合には広告料を支払う義務がないようにして、広告主が経済的リスクを負うことなくインターネット端末に広告を掲載できる電子広告システムを提供する。課金条件が記載された課金タグ付きの電子広告データを送信する広告主側コンピュータと、多数の会員側端末コンピュータと、広告代理店側統括コンピュータとがインターネットを介して接続している。広告代理店側統括コンピュータのコントロール下で、広告主側コンピュータから出力された課金タグ付き電子広告データが、その課金タグが修正されて各会員側端末コンピュータに送信される。会員側端末コンピュータは、受信した電子広告データの修正課金条件が達成されたか否かを電子機器からの入力データを解析して判断する。広告代理店側統括コンピュータは、会員側端末コンピュータからの修正課金条件判断データを集計し、広告主側コンピュータに処理させるための課金請求データを生成する。
2013051153.tif 000002
【特許請求の範囲】
【請求項１】
課金条件が記載された情報からなるタグを備えた課金タグ付き電子広告データを生成する広告主側コンピュータと、画面の前方の情況を入力データとして取り込む電子機器を備えた多数の会員側端末コンピュータと、前記課金タグ付き電子広告データを受信し、前記課金条件の中、集計部分を削除した修正課金タグを生成する広告代理店側統括コンピュータとがインターネットを介して接続し、前記広告代理店側統括コンピュータのコントロール下で、前記広告主側コンピュータから出力された電子広告データが、これに修正課金タグが付加されて前記会員側端末コンピュータに送信され、該電子広告データが会員側端末コンピュータの画面に表示されるようにしたシステムであって、前記会員側端末コンピュータは、前記電子広告データを処理する広告データ受信処理プログラムを内蔵し、該プログラムは、受信した電子広告データの修正課金条件が達成されたか否かを前記電子機器からの入力データを解析して判断する入力映像解析手段を有し、前記広告代理店側統括コンピュータに内蔵されたプログラムは、前記会員側端末コンピュータから送信された修正課金条件判断データを集計し電子広告データの課金条件が達成されたか否かを判断するプログラムを有し、前記課金条件が達成されたとき、前記広告主側コンピュータに処理させるための課金請求データを生成するようにしたことを特徴とする課金電子広告システム。
【請求項２】
前記課金タグ付き電子広告データを作成するためのプログラムが前記広告代理店側統括コンピュータのウエブサイトに用意され、該ウエブサイトから前記課金タグ付き電子広告データ作成プログラムが前記広告主側コンピュータにダウンロードされるようにしたことを特徴とする請求項１に記載の課金電子広告システム。
【請求項３】
前記課金請求データを処理し、該データに記載された課金を精算する課金請求データ精算プログラムが前記広告代理店側統括コンピュータのウエブサイトに用意され、該プログラムが前記ウエブサイトから前記広告主側コンピュータにダウンロードされるようにしたことを特徴とする請求項１に記載の課金電子広告システム。
【請求項４】
前記入力映像解析手段を有する修正課金タグ付き広告データを処理する広告データ受信処理プログラムが前記広告代理店側統括コンピュータのウエブサイトに用意され、該ウエブサイトから前記広告データ受信処理プログラムが前記会員側端末コンピュータにダウンロードされるようにしたことを特徴とする請求項１に記載の課金電子広告システム。
【請求項５】
前記会員側端末コンピュータは、前記広告代理店側統括コンピュータのウエブサイトの会員リストデータベースに登録されていることを特徴とする請求項１に記載の課金電子広告システム。
【請求項６】
前記課金条件が、前記会員側端末コンピュータの電子広告データ表示画面に対する該コンピュータ所有者の注視時間が所定時間以上であり、該注視時間を満足する会員側端末コンピュータ数が所定数を超えるということを内容とすることを特徴とする請求項１に記載の課金電子広告システム。
【請求項７】
前記修正課金条件が、前記会員側端末コンピュータの電子広告データ表示画面に対する該コンピュータ所有者の注視時間が所定時間以上であることを内容とすることを特徴とする請求項１に記載の課金電子広告システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポンサーの希望した所定の広告効果が確認できたときのみスポンサーに広告料が課金されるようにしたインターネット対応の電子広告システムに関する。
【背景技術】
【０００２】
インターネットを通して様々な映像や文字情報を発信する電子看板が従来知られている。この電子看板において、カメラを設置し、カメラが撮影した映像に基づいて客の顔の画像を分析し、この分析結果に基づいて広告を切り替えるようにしたものが従来知られている。また、デジタルカメラで撮った人物の表情を抽出し定量化する映像解析手段を備えた情報処理装置が従来知られている（例えば特許文献１参照）。また、コンピュータプログラムによって、映像データに基づき、２次元または３次元のオブジェクトを生成し、生成したオブジェクトを制御するプログラム技術が従来知られている（例えば特許文献２参照）。また、スポンサーの希望した所定の広告効果が確認できたときのみスポンサーに広告料が課金されるようにした電子広告システムが従来知られている（例えば特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５５８２３号公報
【特許文献２】特開２００２−３６６９７３号公報
【特許文献３】特許第４６９８７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の課金型電子広告システムは大型のディスプレイに不特定多数の通行人を対象として広告映像を表示するものであり、多数のインターネット端末である小型パーソナルコンピュータ、携帯電話等の所有者に向けた広告に対応していない。
本発明は、多数のインターネット端末コンピュータに広告を行うのに適した課金型電子広告システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明は、課金条件が記載された情報からなるタグを備えた課金タグ付き電子広告データを生成する広告主側コンピュータと、画面の前方の情況を入力データとして取り込む電子機器を備えた多数の会員側端末コンピュータと、前記課金タグ付き電子広告データを受信し、前記課金条件の中、集計部分を削除した修正課金タグを生成する広告代理店側統括コンピュータとがインターネットを介して接続し、前記広告代理店側統括コンピュータのコントロール下で、前記広告主側コンピュータから出力された電子広告データが、これに修正課金タグが付加されて前記会員側端末コンピュータに送信され、該電子広告データが会員側端末コンピュータの画面に表示されるようにしたシステムであって、前記会員側端末コンピュータは、前記電子広告データを処理する広告データ受信処理プログラムを内蔵し、該プログラムは、受信した電子広告データの修正課金条件が達成されたか否かを前記電子機器からの入力データを解析して判断する入力映像解析手段を有し、前記広告代理店側統括コンピュータに内蔵されたプログラムは、前記会員側端末コンピュータから送信された修正課金条件判断データを集計し電子広告データの課金条件が達成されたか否かを判断するプログラムを有し、前記課金条件が達成されたとき、前記広告主側コンピュータに処理させるための課金請求データを生成するようにしたことを特徴とする。
また本発明は、前記課金タグ付き電子広告データを作成するためのプログラムが前記広告代理店側統括コンピュータのウエブサイトに用意され、該ウエブサイトから前記課金タグ付き電子広告データ作成プログラムが前記広告主側コンピュータにダウンロードされるようにしたことを特徴とする。
また本発明は、前記課金請求データを処理し、該データに記載された課金を精算する課金請求データ精算プログラムが前記広告代理店側統括コンピュータのウエブサイトに用意され、該プログラムが前記ウエブサイトから前記広告主側コンピュータにダウンロードされるようにしたことを特徴とする。
また本発明は、前記入力映像解析手段を有する修正課金タグ付き広告データを処理する広告データ受信処理プログラムが前記広告代理店側統括コンピュータのウエブサイトに用意され、該ウエブサイトから前記広告データ受信処理プログラムが前記会員側端末コンピュータにダウンロードされるようにしたことを特徴とする。
また本発明は、前記会員側端末コンピュータは、前記広告代理店側統括コンピュータのウエブサイトの会員リストデータベースに登録されていることを特徴とする。
また本発明は、前記課金条件が、前記会員側端末コンピュータの電子広告データ表示画面に対する該コンピュータ所有者の注視時間が所定時間以上であり、該注視時間を満足する会員側端末コンピュータ数が所定数を超えるということを内容とする。
また本発明は、前記修正課金条件が、前記会員側端末コンピュータの電子広告データ表示画面に対する該コンピュータ所有者の注視時間が所定時間以上であることを内容とするものである。
【発明の効果】
【０００６】
本発明は、スポンサーが広告効果のなかった広告に対して広告料を支払うというリスクを負うことなく、多数のインターネット端末の所有者に対して効果的な広告を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の説明図である。
【図２】本発明に使用される端末コンピュータの説明図である。
【図３】本発明のブロック説明図である。
【図４】本発明のブロック説明図である。
【図５】本発明のブロック説明図である。
【図６】本発明のブロック説明図である。
【図７】本発明の説明図である。
【図８】本発明の説明図である。
【図９】本発明の説明図である。
【図１０】本発明の説明図である。
【図１１】本発明の説明図である。
【図１２】本発明の動作を示すフローチャートである。
【図１３】本発明の動作を示すフローチャートである。
【図１４】本発明の動作を示すフローチャートである。
【図１５】本発明の動作を示すフローチャートである。
【図１６】本発明の動作を示すフローチャートである。
【図１７】本発明の動作を示すフローチャートである。
【図１８】本発明の説明図である。
【発明を実施するための形態】
【０００８】
以下に本発明の構成を添付した図面を参照して詳細に説明する。
図１，３は、本システムのハードウエア構成図を示し、システムを統括する広告代理店側の統括コンピュータ１は、ワークステーションから構成される。統括コンピュータ１の中央処理装置１５は、図４に示すように、ネットワークインターフェイス１６を介してインターネット２に接続し、ウエブサイト構築プログラム３によって、インターネット２に公開される、本システムを運営するための課金電子広告ウエブサイト１１を構築している。統括コンピュータ１の記憶装置２３には、課金タグ付き電子広告データ作成プログラム４、集計プログラム６、修正課金タグ付き広告データ受信処理プログラム７、課金請求データ精算プログラム８、会員リストデータベース９、修正課金タグ作成プログラム１０、その他本システムの運営に必要な各種のプログラムやデータが格納されている。
【０００９】
インターネット２には、種々のネットワークを介して、多数の会員側端末コンピュータ１２が、接続している。会員側端末コンピュータ１２は、パソコン、コンピュータ内蔵携帯電話、携帯型情報端末などから構成され、それぞれ図２に示すようにスピーカ２０、マイクロフォン２６、動画及び静止画撮影用のデジタルビデオカメラ２４，及びタッチパネル１４２の付いた映像表示入力画面２２を備えている。タッチパネル１４２は図５に示すように、タッチパネル制御プログラム１４５により制御されるように構成されている。また、インターネット２には、種々のネットワークを介して、複数の広告主側コンピュータ１３と、デジタル広告映像作成業者側コンピュータ１４が接続している。
図７〜１０は、本システムに使用されるタグ付きデータのフォーマットであり、図７は、広告主側コンピュータから広告代理店側統括コンピュータに送られる課金タグ付き電子広告データ２８を示し、図８は、広告代理店側統括コンピュータから広告主側コンピュータに送られる課金タグ付きデータ３０を示している。
【００１０】
また、図９は、広告代理店側統括コンピュータから会員側端末コンピュータに送られる修正課金タグ付き電子広告データ２９を示し、図１０は、会員側端末コンピュータから広告代理店側統括コンピュータに送られる修正課金タグ付きデータ３１を示している。図８と１０のタグ付きデータのデータ構造は同一である。また、図７と図９のタグ付き電子広告データ２８，２９は、図９のタグ付き電子広告データ２９に修正タグ３５が付加された以外は、同一のデータ構造となっている。図７において、データ２８は、ユニークワード３２、タグ３４、データブロック３６から成り、タグ３４は、ヘッダ３８、認証データ部４０、課金保証データ部４２、タグ・チェックコード４４から成り、認証データ４０は、ヘッダ４６、認証データ４８から構成され、課金保証データ部４２は、ヘッダ５０、課金保証データ５２から構成されている。
【００１１】
データブロック３６は、ヘッダ５４、広告映像音声データ５６、データブロック・チェックコード５８から成り、広告映像音声データ５６は、メインシナリオ６０、多数のユニットデータ６２とから構成され、メインシナリオ６０は、ヘッダ６４、データ６６から成り、ユニットデータ６２の各ユニットは、ヘッダ６８、データ７０とから構成されている。前記ユニークワード３２は、課金タグ付きデータ２８の識別同期符号から成る。ヘッダ３８は、タグ３４のバイト数を示す。認証データ４８は、広告主IDコード、広告代理店IDコードから成る。尚、図９においては、認証データ４８’は、広告代理店IDコード、会員端末IDコードから成る。
【００１２】
ヘッダ５０は、課金保証データ５２のバイト数を示す。課金保証データ５２は、課金タグ付きデータ２８のシリアル番号、課金金額、課金条件から構成される。課金条件は、広告主の希望する広告効果を得るための条件であり、例えば、「広告映像画面を０．５秒以上注視する会員の数が１０万を超えること」等である。尚、図９において、課金保証データ５２’の修正課金条件は「広告映像画面を０．５秒以上注視すること」等である。タグ・チェックコード４４は、タグのヘッダ３８、認証データ部４０、課金保証データ部４２の誤り検出訂正符号から構成される。ヘッダ５４は、データ・ブロック３６のバイト数から構成される。ヘッダ６４はメインシナリオ６０のバイト数から構成される。データ６６は、ユニットデータ６２の実行手順、ユニットデータ６２へのリンク情報から構成される。
【００１３】
ヘッダ６８は各ユニットデータ６２のバイト数を示し、データ７０はユニットデータ６２の映像・音声データから構成される。データブロック・チェックコード５８は、データブロック３６のヘッダ５４、広告映像データ５６の誤り検出訂正符号から構成される。図８において、タグ付きデータ３０は、ユニークワード７２、タグ７４、データブロック７６から成り、タグ７４は、ヘッダ７５、認証データ７８、課金請求データ８０、タグ・チェックコード８２から成る。認証データ部７８はヘッダ８４と認証データ８６とから構成される。課金請求データ部８０は、ヘッダ８８と課金請求データ９０とから構成される。データブロック７６は、ヘッダ９２、広告結果データ部９４、データブロック・チェックコード９６から成る。
【００１４】
広告結果データ部９４は、ヘッダ９８と広告結果データ１００とから成る。ユニークワード７２は課金タグ付きデータ３０の識別同期符号から構成され、ヘッダ７５はタグ７４のバイト数を示し、ヘッダ８４は、認証データ８６のバイト数を示し、認証データ８６は、広告代理店IDコード、広告主IDコードから構成される。尚、図１０においては認証データ８６は、会員端末IDコード、広告代理店IDコードから成る。ヘッダ８８は課金請求データ９０のバイト数を示し、課金請求データ９０は課金タグ付きデータ２８のシリアル番号、課金金額、課金条件から構成される。
図１０の修正課金タグ付きデータ３１においては、課金請求データ９０’は修正課金タグ付き電子広告データ２９のシリアル番号、修正課金条件から構成される。
タグ・チェックコード８２は、タグ７４のヘッダ７５、認証データ７８、課金請求データ部８０の誤り検出訂正符号から構成される。ヘッダ９２はデータ・ブロック７６のバイト数を示し、ヘッダ９８は、広告結果データ１００のバイト数を示し、広告結果データ１００は、認識結果、広告効果、ログからそれぞれ構成される。データブロック・チェックコード９６は、データ・ブロック７６のヘッダ、広告結果データ部９４の誤り検出訂正符号から構成される。
【００１５】
図１１は本システムで使用されるデータの構造を示している。
図１１に示す、映像・音認識データ１０２のデータ構造は以下の通りである。
背景データ１０２ａは、人物像と思われる映像情報以外のカメラ入力からの映像データで、統計処理などを施した背景抜き取り用データである。
人物モデル・データ１０２ｂは、多数の人物画像から統計処理などによって得た普遍的な特徴量を持つ人物モデルである。
顔モデル・データ１０２ｃは、多数の人物の顔画像から統計処理などによって得た普遍的な特徴量を持つ顔モデルである。
目、瞳モデル・データ１０２ｄは、多数の人物の目、瞳画像から統計処理などによって得た普遍的な特徴量を持つ目、瞳モデルである。
【００１６】
笑顔モデル・データ１０２ｅは、多数の人物の笑顔画像から統計処理などによって得た普遍的な特徴量を持つ笑顔モデルである。
顔オブジェクトデータ１０２ｆは、顔追跡処理単位毎のオブジェクト認識の各種情報である。顔オブジェクトデータ１０２ｆは、会員の顔オブジェクトデータから成り、会員の顔オブジェクトデータは、会員の顔追跡処理のオブジェクト認識の履歴、認識情報である。
尚、上記において、特徴量とは、人物、顔、目、笑顔等の形状の特徴を数値化したものであり、人間の顔の皺、瞼、瞳、唇、歯等の各器官の相対位置、形状、相互関連度、変化の速さなどである。
【００１７】
認識解析結果データ１０４のデータ構造は、以下の通りである。
認識解析データ・シリアルNo.：00000001
プロジェクト・コード：PrjctCd00-01
電子広告媒体No.：EastStreet97
日時：20100808-23:00.00-20100808-23:59.59  
画面注視時間：xxxx
広告結果データ１００のデータ構造は、以下の通りである。
広告結果データ：
課金タグ付きデータ・シリアルNo.KTD0001
電子広告媒体No.：EastStreet97
日時：20100808-23:00.00-20100808-23:59.59
画面注視時間：xxxx
【００１８】
出力補正用データ１０６の各ブロック１０６ａ、１０６ｂ、１０６ｃのデータ構造は以下の通りである。
ブロック１０６ａ：
出力補正データ・シリアルNo.：00000001
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：00000003
映像・音声データ
ブロック１０６ｂ：
出力補正用データ・シリアルNo.：00000002
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：00000003
映像・音声データ
【００１９】
ブロック１０６ｃ：
出力補正用データ・シリアルNo.：00000003
プロジェクト・コード：PrjctCd00-01
シナリオコード：ABCD-0001
シナリオ・スクリプトリンク情報：刺激用修正映像・音声情報
親リンク情報：00000001
子リンク情報：None
映像・音声データ
【００２０】
出力データ１０８の各ブロック１０８ａ、１０８ｂ、１０８ｃのデータ構造は以下の通りである。
ブロック１０８ａ：
出力データシリアルNo.：T00000001
作成プロセスID:  PC00001
映像・音声リンクアドレス情報：T00000002, T00000003
映像・音声データ
【００２１】
ブロック１０８ｂ：
出力データシリアルNo.：T00000002
作成プロセスID：PC00001
映像・音声リンクアドレス情報：T00000003
映像・音声データモード：  MPEG4
映像・音声データ
【００２２】
ブロック１０８ｃ：
出力データシリアルNo.：T00000003
作成プロセスID：PC00001
映像・音声リンクアドレス情報：None
映像・音声データモード：MPEG4
映像・音声データ：
【００２３】
認証データ４８のデータ構造は、以下の通りである。
認証データ：
広告主IDコード、広告代理店IDコード
課金保証データ５２のデータ構造は、以下の通りである。
課金タグ付きデータ・シリアルNo.：KTD0001
課金金額：￥200,000-
課金条件：
画面注視時間：0,5秒
注視時間満足人数閾値：N
【００２４】
課金請求データ９０のデータ構造は以下の通りである。
課金タグ付きデータ・シリアルNo.：KTD0001
課金金額：￥200,000-
課金条件：
画面注視時間：0,5秒
注視時間満足人数閾値：N
判定結果：
【００２５】
次に、広告代理店側のウエブサイトを通じたシステム管理作業について説明する。
まず、広告代理店側管理者は、ウエブサイト１１を通じて課金電子広告システムに協力するインターネット端末会員を募集する。広告代理店側と会員側との間には、会員契約が締結され、会員側にその協力に対して所定の対価がポイント制などの形態で広告代理店側から支払われる。広告代理店側の統括コンピュータ１の会員リストデータベース９には、会員の特定のためのデータが記録される。また、会員契約が成立すると、統括コンピュータ１から修正課金タグ付き広告データ処理プログラム７が会員側端末コンピュータ１２にダウンロードされ、該広告データ処理プログラム７によって、会員側端末コンピュータ１２に図５に示すように電子広告掲示システムが構築される。
【００２６】
また、広告主から、課金電子広告利用の申し込みがウエブサイト１１を通じて成されると、広告代理店側の統括コンピュータ1から統括プログラム１１２を含む課金タグ付き電子広告データ作成プログラム４が、広告主側のコンピュータにダウンロードされ、これらのプログラムによって広告主側コンピュータ１３に図６に示すように課金電子広告作成システムが構築される。
広告主側コンピュータ１３は、インターネット２を通じて広告映像作成業者のコンピュータ１４から提供された広告映像・音声データに基づいて、課金電子広告を作成する。
以下に広告主側コンピュータ１３による課金電子広告作成動作を図１２に示すフローチャートを参照して説明する。
【００２７】
図１２において、広告主側システム２の、広告映像・音声データの作成、タグ付加、送信に関する動作は、ラベルR1から入る。広告主側システム２は、ステップS1で、統括プログラム１１２は、広告のストーリー情報に基づいてストーリー情報１１０を作成する。このストーリー情報１１０は、複数のステージ（行程）から構成されている。
次に、ステップS２で、映像・音声作成プログラム１１４は、ストーリー情報１１０の各ステージに基づき、各ステージを構成する映像・音声のユニットデータ６２を作成する。
次に、ステップS３で、シナリオ作成プログラム１１６は、ストーリー情報に基づき、ステージ毎に展開したメインシナリオ６６を作成する。次にステップS４で、統括プログラム１１２は、メインシナリオ６６と映像音声のユニットデータ６２とを合成して広告映像・音声データ５６を作成する。
【００２８】
次に、ステップS５で、課金プログラム１１８は、課金保証に関する入力データに基づき、課金保証データ部５２を作成する。次にステップS６で、認証プログラム１２０は、認証に関する入力データに基づき、認証データ４８を作成する。次に、ステップS７で、統括プログラム１１２は、課金保証データ５２と、認証データ４８とからタグ３４を作成する。
次に、ステップS８で、統括プログラム１１２は、広告映像・音声のデータブロック３６とタグ３４から、課金タグ付きデータ２８を生成する。次に、ステップS９で、統括プログラム１１２は、課金タグ付きデータ２８を、課金電子広告掲示システム６へネットワークを介して送出し、広告主側コンピュータ１３の送信処理を完了する。
【００２９】
図１３は、広告主側コンピュータ１３の広告主側システムの課金請求データ受信の処理を示している。図１３において、広告主側システムは、課金請求データのネットワーク受信処理のスタートをラベルＲ２から入る。広告主側システムは、ステップS１で、認証プログラム１２０は、統括コンピュータ１から受信した認証データ８６を検証する。
次に、認証プログラム１２０は、ステップS２で、認証データ８６の検証ができたか否か判断する。ステップS２で否定を判断するとステップS１に戻り肯定を判断するとステップS３で、課金プログラム１１８は、タグ７４から課金請求データ９０を分離する。次に、ステップS５で、結果検証プログラム１２２は、広告結果データ１００を検証する。次に、結果検証プログラム１２２は、ステップS６で、広告結果データ１００の検証ができたか否か判断する。ステップS６で否定を判断すると、広告主側システム２は、処理を終了する。また、結果検証プログラム１２２が、判断ステップS６で、肯定を判断すると、ステップS７で、統括プログラム１１２は、課金請求を精算し、処理を終了する。
【００３０】
次に、広告代理店側統括コンピュータ１の受信処理動作について説明する。
広告代理店側統括コンピュータ１は、インターネット２を通じて広告主側コンピュータ１３から課金タグ付き電子広告データ２８を受信すると、課金条件を図９に示すように、単一の会員側端末コンピュータ１２に適した課金条件に修正した修正タグ３５を作成し、会員側端末コンピュータ１２用の修正課金タグ付き電子広告データ２９を作成する。修正された課金条件は、例えば課金条件が「広告映像画面を０，５秒以上注視する会員の数が１０万を超えること」であるとすると、集計部分が削除されて、「広告映像画面を０，５秒以上注視する」となる。
【００３１】
次に、広告代理店側統括コンピュータ１は、インターネット２を通じて、各会員側端末コンピュータ１２に修正課金広告電子データ２９を送信する。この修正課金電子広告データ２９は、５秒程度を３０分に１回繰り返し各会員側端末コンピュータ１２に送信される。図１８は、広告代理店側統括コンピュータ１から各会員側端末コンピュータ１２に電子広告データ２９が送信され会員側端末コンピュータ１２に初期画面が表示された状態を示している。この初期画面データは、１日に１回程度表示されるように予め会員側において設定されている。初期画面には、拒否２３と応諾２５のボタンが表示され、会員がタッチパネル１４２に触れて、応諾のボタン２５を押すと、会員側端末コンピュータ１２にアニメーションからなる広告映像音声データの映像が表示される。拒否のボタン２３を押した場合には、会員側端末コンピュータ１２への送信が停止し、初期画面の映像が消去される。会員側端末コンピュータ１２は、ビデオカメラ２４からの入力とダウンロードされたプログラムに基づいて、カメラ２４の前の人物２０４の顔を認識し、これら人物を特定し、会員契約者を特定する。また、人物の目の動きから、視線を認識し、端末コンピュータ１２の画面２２に表示されるアニメーションなどの広告映像データへの注視時間をカウントする。また、顔表情から人物の感情、関心を認識する。また、身振りから応諾、拒否、疑問などを認識する。また、マイクロホン２６からの入力を通じて、人物の音声や感情を認識する。
【００３２】
次に会員側端末コンピュータ１２の修正課金タグ付きデータ受信の処理動作を、図１４を参照して説明する。
図１４において、端末コンピュータ１２は、課金タグ付きデータ受信の処理動作をラベルR３から入る。
端末コンピュータ１２のデータ受信処理がスタートすると、ステップS１で、認証プログラム１２４は、受信した修正課金タグ付きデータ２８の認証データ４８を分離・検証する。次にステップS２で、認証プログラム１２４は、認証データ４８の検証ができたか否か判断し、肯定を判断すると、ステップS３で、課金プログラム１２６は、受信した修正課金タグ付きデータの課金保証データ５２を分離、検証、保存する。
【００３３】
次のステップS４で、統括プログラム１２８は、課金保証データ５２の修正課金条件から判定項目と閾値とを課金判定条件として設定する。次に、ステップS５で、統括プログラム１２８は、受信した修正課金タグ付きデータ２８の広告映像音声データ５６を分離し、保存、且つ、広告映像音声データ５６からメイン・シナリオ６０、映像音声ユニットデータ６２を分離し、保存する。次に、ステップS６で、統括プログラム１２８はメイン・シナリオ６０と修正課金条件からストーリーを構築し、ステップS７で、ユニットデータ６２に基づいて、出力制御プログラム１３０下に出力オブジェクトを生成し、映像、音声入力に基づいて、解析プログラム１３２下に入力オブジェクトを生成し、これらオブジェクト間の通信を管理する。入力オブジェクトは、カメラ２４の入力映像データを認識解析することで生成される。出力データや入力データに基づいて、出力オブジェクトや入力オブジェクトを生成する方法は従来知られているプログラム技術（特許文献２参照）であり、本実施形態では従来知られているプログラム生成技術を用いている。統括プログラム１２８中のオブジェクト生成・制御を担当するプログラム部分を便宜上、ストーリー・マネージャーと称する。
【００３４】
このステップS７の処理を図１５に示すフローチャートを参照して以下に詳しく説明する。
図１４に示すステップS７のスタートは、図１５のラベルR５から入る。統括プログラム１２８は、ステップS１で、シナリオに基づき、映像音声ユニット６２を編成して各ステージを構成、反応度の閾値を設定し、第１ステージをスタートする。次に、ステップS２で、ステージ毎に該当する出力オブジェクトの場面の管理を行う。次に、ステップS２で、出力制御プログラム１３０は、場面を構成する。次に、ステップS３で、表示・音出力プログラム１３４は、場面のオブジェクト毎に、表示・音出力を生成する。次に、ステップS５で、表示・音出力プログラム１３４は、合成画面を表示入力部２２に出力し、出力合成音をスピーカー２０に出力する。
【００３５】
次に、ステップS６で、統括プログラム１２８は、解析プログラム１３２で生成した人物オブジェクト（入力オブジェクト）の反応度をチェックする。ここで反応度とは、画面注視時間などを意味する。次に、ステップS７で、出力制御プログラム１３０は、ステージが終了したか否か判断し、肯定を判断すると、ステップS９に移行する。ステップS７で否定を判断すると、ステップS８で、反応度が閾値以上か否か判断し、肯定を判断すると、ステップS９に移行する。ステップS８で否定を判断すると、ステップS１３で、出力制御プログラム１３０は、ステージ、オブジェクト、刺激度、反応度を基準として、登場場面を出力補正用データ１０６内で検索する。
【００３６】
次に、ステップS１４で、出力制御プログラム１３０は、出力補正用データ１０６内に、刺激度、反応度の大きい場面が有るか否か判断し、否定を判断した場合には、輝度、コントラスト、音量、アニメーションモーフィング等を変化させて、現在の刺激場面を更に大きく補正し、ステップS１６に移行する。ステップS１４で肯定を判断すると、ステップS１６で、出力制御プログラム１３０は、刺激度、反応度の大きな場面でストーリーを再構築し、ステップS４に移行する。ステップS８で、肯定を判断した場合は、出力制御プログラム１３０は、場面を反応度と共に出力補正用データ１０６として登録する。次に、ステップS１０で、出力制御プログラム１３０は、ストーリーが終了段階か否か判断し、否定を判断すると、ステップS１１で、次のステージをスタートさせ、ステップS２に移行する。ステップS１０で肯定を判断すると、ステップS１２で広告効果データ１００即ち、人物オブジェクトの画面注視時間を含むログを生成し、これを統括プログラム１２８に送出し、処理を終了する。上記ステップS６での人物オブジェクトの反応度のチェックでは、顔認識と顔追跡の並列的処理が実行される。
【００３７】
次に、上記顔認識と顔追跡処理の動作について図１６に示すフローチャートを参照して説明する。
顔認識・追跡処理がラベルＲ６からスタートすると映像・音認識プログラム１３６による人物の顔検出処理がスタートする（ステップＳ１）。次に、ステップＳ２で、映像・音認識プログラム１３６は、カメラ入力による映像データ、マイク入力による音データから人物認識処理をスタートする。次に、ステップＳ３で映像入力データから背景を消去し、人物モデルデータによる普遍的特徴量を閾値以上に多く持つオブジェクトを人物オブジェクトとして検出する。次に、ステップＳ４で、顔モデルデータによる普遍的特徴量を閾値以上に多く持つオブジェクトを顔オブジェクトとして検出する。
【００３８】
次に、ステップＳ５で、発生、消滅、移動、変化するオブジェクトとして、顔オブジェクト毎に対応した顔追跡処理を生成する。この並列的顔追跡処理は、ステップＳ６で、目・瞳モデルデータによる普遍的特徴量を閾値以上多く持つオブジェクトを目・瞳オブジェクトとして検出する。次に、顔追跡処理は、ステップＳ７で、目・瞳オブジェクトの中の瞳の目に対する位置で視線、およびその方向を検出する。次に、ステップＳ８で顔追跡処理は、笑顔モデルデータによる普遍的特徴量を閾値以上多く持つオブジェクトを笑顔オブジェクトとして検出する。次に、ステップＳ９で、映像・音認識プログラム１３６は、顔追跡処理が追跡する顔オブジェクトが、顔モデルデータによる普遍的特徴量を閾値以上多く持つか否か調査する。ステップＳ１０で、映像・音認識プログラム１３６は、前記顔オブジェクトの普遍的特徴量を閾値以上であるか否か判断し、否定を判断すると、ステップＳ１１で、閾値未満のオブジェクトを追跡する処理を消去して、ステップＳ１２に移行する。
【００３９】
ステップＳ１０で肯定を判断すると、ステップＳ１２で、統括プログラム２８は、映像・音認識プログラムから人物オブジェクトの反応度等のパラメータを取得し、顔オブジェクトとその持つ視線方向、及び笑顔オブジェクトとを解析プログラム１３２に引き渡して処理を終了する。次に、再び図１４に戻り、ステップＳ８以下の処理について説明する。
ステップＳ８で、統括プログラム１２８は、ストーリーが終了したか否か判断する。肯定を判断すると、次に、ステップＳ９で、ストーリー回数が終了したか否か判断し、否定を判断するとステップＳ７に戻り、肯定を判断すると、ステップＳ１０に移行する。
【００４０】
ステップＳ１０で、統括プログラム１２８は、広告結果データ１００をストーリーマネージャーから受け取り、ステップＳ１１で、広告結果データ１００が修正課金条件、例えば画面注視時間を満たしているか判断する。次に、ステップＳ１２で判定結果が満足できるものであるか否か判断し、肯定を判断すると、ステップＳ１３で、解析プログラム１３２は、映像・音認識データ１４０に基づいて、解析した認識解析結果データ１３８を保存し、課金開始イベントを発生する。ステップＳ１２で否定を判断したときは、処理を終了する。
【００４１】
次に、図７を参照して、会員側端末コンピュータ６の修正課金タグ付きデータ送信処理について説明する。
ラベルＲ４から課金開始イベントがスタートすると、ステップＳ１で、課金プログラム１２６は、課金請求データ９０を作成する。次に、ステップＳ２で、認証プログラム１２４は、認証データ８６を作成する。次に、ステップＳ３で、統括プログラム１２８は、課金請求データ９０と認証データ８６とから、タグ７４を作成する。次に、ステップＳ４で、統括プログラム１２８は、認識解析結果データ１３８から、広告結果データ１００を作成する。次に、ステップＳ５で統括プログラム１２８は、広告結果データ１００を含むデータブロック７６とタグ７４から修正課金タグ付きデータ３０を作る。次に、ステップＳ６で統括プログラム１２８は、修正課金タグ付きデータ３０をネットワークを通して、広告代理店側の統括コンピュータ１に送出し、処理を終了する。
【００４２】
広告代理店側の統括コンピュータ１は、各会員側端末コンピュータ１２からの修正課金タグ付きデータ３１を集計プログラム６に基づいて集計し、集計データが課金条件を満足すると、課金タグ付きデータ３０をネットワーク２を通して、広告主側コンピュータ１３の課金精算システムに送出し、処理を終了する。
【符号の説明】
【００４３】
１      統括コンピュータ
２      インターネット
３      ウエブサイト構築プログラム
４      課金タグ付き電子広告データ作成プログラム
６      集計プログラム
７      修正課金タグ付きデータ受信処理プログラム
８      課金タグ処理プログラム
９      会員リストデータベース
１０    修正課金タグ作成プログラム
１１    課金電子広告ウエブサイト
１２    会員側端末コンピュータ
１３    広告主側コンピュータ
１４    広告映像作成業者側コンピュータ
１５    ＣＰＵ
２０    スピーカ
２２    映像表示入力部
２４    ビデオカメラ
２６    マイクロフォン
２８    タグ付き電子広告データ
２９    タグ付き電子広告データ
３０    タグ付きデータ
３１    タグ付きデータ
３２    ユニークワード
３４    タグ
３５    修正タグ
３６    データブロック
３８    ヘッダ
４０    認証データ部
４２    ユニークワード
４４    タグ
４６    データブロック
４８    認証データ部
５０    課金請求データ部
５２    タグ・チェックコード
５４    ヘッダ
５６    認証データ
５８    ヘッダ
６０    課金請求データ
６２    ヘッダ
６４    広告結果データ部
６６    データブロック・チェックコード
６８    ヘッダ
７０    データ
７２    ユニークワード
７４    タグ
７６    データ・ブロック
７８    認証データ部
８０    課金請求データ部
８２    タグ・チェックコード
８４    ヘッダ
８６    認証データ
８８    ヘッダ
９０    課金請求データ
９２    ヘッダ
９４    広告結果データ
９６    データブロック・チェックコード
９８    ヘッダ
１００  広告結果データ
１０２  映像・音認識データ
１０４  認識解析データ
１０６  出力解析データ
１０８  出力データ
１１０  ストーリー情報
１１２  統括プログラム
１１４  映像・音声作成プログラム
１１６  シナリオ作成プログラム
１１８  課金プログラム
１２０  認証プログラム
１２２  結果検証プログラム
１２４  認証プログラム
１２６  課金プログラム
１２８  統括プログラム
１３０  出力制御プログラム
１３２  解析プログラム
１３４  表示・音出力プログラム
１３６  映像・音認識プログラム
１３８  認識解析結果データ
１４０  映像・音認識データ
１４２  初期画面
【図１】
2013051153.tif 000003
【図２】
2013051153.tif 000004
【図３】
2013051153.tif 000005
【図４】
2013051153.tif 000006
【図５】
2013051153.tif 000007
【図６】
2013051153.tif 000008
【図７】
2013051153.tif 000009
【図８】
2013051153.tif 000010
【図９】
2013051153.tif 000011
【図１０】
2013051153.tif 000012
【図１１】
2013051153.tif 000013
【図１２】
2013051153.tif 000014
【図１３】
2013051153.tif 000015
【図１４】
2013051153.tif 000016
【図１５】
2013051153.tif 000017
【図１６】
2013051153.tif 000018
【図１７】
2013051153.tif 000019
【図１８】
2013051153.tif 000020
【国際調査報告】
2013051153.tif 000021
2013051153.tif 000022
2013051153.tif 000023
2013051153.tif 000024