(57)【要約】【課題】個々人に適した広告を提示する際に広告同士が重畳した場合においても、広告提示可能な視聴者の数を減らすことなく、広告画像を効果的に提示する広告提示装置を得る。【解決手段】画像情報を取得する撮像部１と、画像情報から視聴者情報を算出する視聴者情報算定部２と、視聴者情報を記憶する視聴者情報記憶部３と、広告情報を記憶する広告情報記憶部４と、投影対象面の三次元形状情報を記憶する三次元情報記憶部５と、投影画像を生成する投影画像生成部６と、投影画像を投影する映像投影部７とを備え、投影画像生成部６は広告画像の重要コンテンツ同士の重畳を回避する処理を行う。【選択図】図１
2014153666.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を取得する撮像部と、
前記撮像部が取得した画像情報から視聴者情報を算出する視聴者情報算定部と、
広告画像と、広告画像内の重要コンテンツ部を記録した重要コンテンツマップとを広告情報として記憶する広告情報記憶部と、
投影対象面の三次元形状情報を記憶する三次元情報記憶部と、
前記視聴者情報と前記広告情報と前記三次元形状情報とから投影画像を生成する際に、複数の広告画像の重畳を考慮し、前記重要コンテンツマップを参照することで、重畳を回避すべきかどうかを判断して投影画像を生成する投影画像生成部と、
前記投影画像生成部が生成した投影画像を投影する映像投影部とを備えたことを特徴とする広告提示装置。
【請求項２】
前記投影画像生成部は、複数の広告画像の重要コンテンツ同士が重畳する場合に、前記複数の広告画像の投影サイズを縮小することを特徴とする請求項１記載の広告提示装置。
【請求項３】
前記投影画像生成部は、複数の広告画像の重要コンテンツ同士が重畳する場合に、前記複数の広告画像に対応する複数の視聴者に共通する属性を算出し、前記共通する属性に対応する広告画像を前記広告情報記憶部から取得することを特徴とする請求項１記載の広告提示装置。
【請求項４】
前記投影画像生成部は、前記複数の広告画像を用いずに、前記広告情報記憶部から取得した共通する属性に対応する広告画像を用いて投影画像を生成することを特徴とする請求項３記載の広告提示装置。
【請求項５】
前記投影画像生成部は、複数の広告画像の重要コンテンツ同士が重畳する場合であって、前記複数の広告画像に対応する複数の視聴者に共通する属性に対応する広告画像を前記広告情報記憶部から取得できない場合に、前記複数の広告画像の投影サイズを縮小することを特徴とする請求項１記載の広告提示装置。
【請求項６】
前記投影画像生成部は、複数の広告画像の重要コンテンツ同士が重畳する場合に、前記複数の広告画像それぞれの中心位置における投影対象面の法線ベクトルと、当該広告画像に対応する視聴者の視線方向ベクトルとが為す角度に応じて、前記複数の広告画像のうち、投影画像の生成に用いる広告画像を選択することを特徴とする請求項１記載の広告提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視聴者に対して、各視聴者に適した複数の広告を投影して提示する広告提示装置に関するものである。
【背景技術】
【０００２】
映像投影機器を用いて、個々人に適した広告を提示するシステムがある。特許文献１では、視聴者の顔を認識し、顔カテゴリ(年齢、性別等)によって、表示するコンテンツを視聴者の興味を引く内容に変更するシステムが開示されている。また、特許文献２では、移動する人物のグループ（親子、カップル等）を推定し、グループ毎に１つの広告を提示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−０９２０２３号公報
【特許文献２】特開２０１１−２４８５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１や特許文献２のような従来技術では、各人ごと、あるいは、各グループごとに、適した広告が１つずつ存在するが、これらそれぞれの広告を提示する際に広告同士が重畳してしまう場合の処理については、考慮されていない。そして、広告同士が重畳してしまった場合はどれか１つの広告のみを提示するようにすると、広告提示可能な視聴者の数、つまり、提示された１つの広告に適している視聴者の数が減ってしまうという問題があった。
【０００５】
この発明は、上記のような問題点を解決するためになされたもので、個々人に適した広告を提示する際に広告同士が重畳した場合においても、広告提示可能な視聴者の数を減らすことなく、広告画像を効果的に提示することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る広告提示装置は、画像情報を取得する撮像部と、撮像部が取得した画像情報から視聴者情報を算出する視聴者情報算定部と、広告画像と、広告画像内の重要コンテンツ部を記録した重要コンテンツマップとを広告情報として記憶する広告情報記憶部と、投影対象面の三次元形状情報を記憶する三次元情報記憶部と、視聴者情報と広告情報と三次元形状情報とから投影画像を生成する際に、複数の広告画像の重畳を考慮し、重要コンテンツマップを参照することで、重畳を回避すべきかどうかを判断して投影画像を生成する投影画像生成部と、投影画像生成部が生成した投影画像を投影する映像投影部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、個々人に適した広告をその人の視線の先に投影して提示し、かつ、異なる人同士の視線の先が隣接してしまうことで提示する広告が投影画像上で重なってしまう場合は、各広告画像内の重要コンテンツの重畳を避ける処理を行った投影画像を提示することにより、広告提示可能な視聴者の数が減ることなく効果的な広告提示を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１に係る広告提示装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る広告提示装置の視聴者情報算定部の内部構成を示すブロック図である。
【図３】本発明の実施の形態１に係る広告提示装置の視聴者情報算定部による処理の流れを示すフローチャートである。
【図４】本発明の実施の形態１に係る広告提示装置の視聴者情報記憶部に記憶されている内容を示す説明図である。
【図５】本発明の実施の形態１に係る広告提示装置の広告情報記憶部に記憶されている内容を示す説明図である。
【図６】本発明の実施の形態１に係る広告提示装置の投影画像生成部の内部構成を示すブロック図である。
【図７】本発明の実施の形態１に係る広告提示装置の表示広告リスト記憶部に記憶されている内容を示す説明図である。
【図８】本発明の実施の形態１に係る広告提示装置の投影画像生成部による前半部分の処理の流れを示すフローチャートである。
【図９】本発明の実施の形態１に係る広告提示装置の投影画像生成部による後半部分の処理の流れを示すフローチャートである。
【図１０】本発明の実施の形態１に係る広告提示装置の重畳広告グループリスト記憶部に記憶されている内容を示す説明図である。
【図１１】本発明の実施の形態１に係る広告提示装置の頭部姿勢計算部が推定した頭部姿勢に基づき定義できる座標系を示す説明図である。
【図１２】本発明の実施の形態１に係る広告提示装置の広告描画部が生成する投影画像の一例である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、本発明の実施の形態１に係る広告提示装置の構成を示すブロック図である。本発明の実施の形態１に係る広告提示装置は、撮像部１と、視聴者情報算定部２と、視聴者情報記憶部３と、広告情報記憶部４と、三次元情報記憶部５と、投影画像生成部６と、映像投影部７とを備える。
【００１０】
撮像部１は、１つもしくは複数の撮像部を有しており、投影対象面を視聴可能な視聴者の情報を取得することを目的として、投影対象面周辺を撮影する。
視聴者情報算定部２は、撮像部１が有する各撮像部の位置情報、顔画像データベース、平均的な顔の三次元形状モデルの情報を予め持っており、これらの３つの情報と撮像部１により撮影された画像とを解析して、視聴者情報（年齢・性別等の視聴者の属性、視聴者の位置、視聴者の視線方向）を算出する。
【００１１】
視聴者情報記憶部３は、視聴者情報算定部２により算出された視聴者情報を記憶する。
広告情報記憶部４は、予め登録された広告情報を記憶する。
三次元情報記憶部５は、予め取得しておいた投影対象面の三次元形状情報を保存する。この三次元形状情報は、点群とそれらの点をつなぐ面の情報を含む。
【００１２】
投影画像生成部６は、視聴者情報記憶部３から送られる視聴者情報と、広告情報記憶部４から送られる広告情報と、三次元情報記憶部５から送られる三次元形状情報とを元に、表示すべき投影画像を生成する。
映像投影部７は、１つもしくは複数の映像投影部を有しており、投影画像生成部６が生成した投影画像を、投影対象面に投影する。
【００１３】
次に、広告提示装置の動作について説明する。
まず、撮像部１が広告投影対象面周辺の画像情報を取得し、取得された画像情報は、視聴者情報算定部２へ送られる。
視聴者情報算定部２は、撮像部１から送られる画像情報を用いて、視聴者情報（年齢・性別等の視聴者の属性、視聴者の位置、視聴者の視線方向）を算出し、算出された視聴者情報は、視聴者情報記憶部３へ送られ、記憶される。
ここで、視聴者情報算定部２の構成と動作について、以下詳細に説明する。
【００１４】
ます、視聴者情報算定部２の構成について、以下に説明する。
図２は、視聴者情報算定部２の内部構成を示すブロック図である。また、図２中の丸印Ａは撮像部１からの入力、丸印Ｂは視聴者情報記憶部３への出力を示し、図１の丸印Ａ、丸印Ｂと対応する。
視聴者情報算定部２は、顔認識部２０１と、顔画像一時記憶部２０２と、顔画像データベース２０３と、顔画像比較部２０４と、視聴者属性計算部２０５と、視聴者−撮像部間距離計算部２０６と、撮像部位置記憶部２０７と、顔形状モデル記憶部２０８と、頭部姿勢計算部２０９と、視聴者位置計算部２１０と、視線方向計算部２１１とを備える。
【００１５】
顔認識部２０１は、撮像部１から送られる画像において、顔パターンを探索し、各視聴者の顔画像を切り出すと共に、視聴者数を計算する。その後、各顔画像から、目、耳、鼻、口等の顔のパーツ位置を検出する。以上の処理によって求められた顔画像、顔のパーツ位置、視聴者数を、顔画像一時記憶部２０２へ送る。なお、画像からの顔認識に関する公知技術は開示されており、一般に良く知られている（例えば、赤松茂,“コンピュータによる顔の認識の研究動向，”電子情報通信学会誌，ｖｏｌ.８０，ｎｏ.３，ｐｐ.２５７−２６６，１９９７  等）。
【００１６】
顔画像一時記憶部２０２は、顔認識部２０１が認識した各視聴者の顔情報（顔画像、顔のパーツ位置、視聴者数）を記憶する。
顔画像データベース２０３は、予め複数の平均顔の画像を記憶している。この平均顔の画像は、年齢・性別ごとに作成されたものである。また、各平均顔の実寸サイズも記憶している。
【００１７】
顔画像比較部２０４は、顔画像データベース２０３に記憶された、各属性の平均顔の画像と顔画像一時記憶部２０２に記憶された顔画像とを比較し、色情報等を用いて、それら２つの顔がどれだけ似ているかを表す類似度を計算し各属性毎に比較結果を得る。
【００１８】
視聴者属性計算部２０５は、顔画像比較部２０４によって計算された複数の比較結果から、視聴者の顔画像と最も類似する顔画像の属性（年齢、性別等）を算出する。算出された属性は、視聴者−撮像部間距離計算部２０６に送られるほか、視聴者情報記憶部３に送られ、記憶される。
【００１９】
視聴者−撮像部間距離計算部２０６は、視聴者属性計算部２０５で求めた視聴者に最も類似する属性を参照し、顔画像データベース２０３に記憶されている該属性の平均顔の実寸サイズと、顔画像一時記憶部２０２に記憶された視聴者の顔画像における顔サイズとから、撮像部１から視聴者までの距離を算出する。
撮像部位置記憶部２０７は、撮像部１の設置位置（三次元位置）を予め記憶している。
顔形状モデル記憶部２０８は、人間の平均的な顔パーツの三次元的な位置関係を記憶している。
【００２０】
頭部姿勢計算部２０９は、顔画像一時記憶部２０２に記憶されている視聴者の顔のパーツ位置情報と、顔形状モデル記憶部２０８に記憶されている平均的な顔パーツの位置情報と、撮像部位置記憶部２０７に記憶されている撮像部１の設置位置情報とから、視聴者の頭部姿勢を算出する。具体的な計算方法は、一般に良く知られている（例えば、菅野  裕介，佐藤洋一，“顔変形をともなう３次元頭部姿勢の単眼推定”，情報処理学会論文誌１（２），４１−４９  等）。
また、頭部姿勢を算出することで、図１１に示すような座標系を定義することが出来る。この座標系は、３軸の直交座標系であり、鼻パーツの中心位置を原点とし、視線方向と平行となるＸ軸、２つの目を結ぶ線と平行となるＹ軸、頭頂部方向を示すＺ軸である。
【００２１】
視聴者位置計算部２１０は、頭部姿勢計算部２０９にて算出された頭部姿勢と、視聴者−撮像部間距離計算部２０６にて算出された視聴者−撮像部間距離と、撮像部位置記憶部２０７に記憶されている撮像部１の設置位置情報より視聴者位置を算出する。算出された視聴者位置は視聴者情報記憶部３に送られ、記憶される。
【００２２】
視線方向計算部２１１は、頭部姿勢計算部２０９によって算出された、図１１に示す座標系のＸ軸方向ベクトルを視線方向ベクトルとして決定する。この視線方向ベクトルは、視聴者の視線方向を示す情報として、視聴者情報記憶部３へ送られ、記憶される。
以上が視聴者情報算定部２の構成である。
【００２３】
次に、図３に示すフローチャートを参照しながら、視聴者情報算定部２の動作について以下に説明する。
撮像部１から広告投影対象面周辺の画像情報が送られると、顔認識部２０１は該画像情報から生成される画像に対して顔パターンを探索し、各視聴者の顔画像を切り出すと共に、認識された視聴者の数を算出する。その後、各顔画像から、目、耳、鼻、口等のパーツ位置を検出し（ステップＳＴ２０１）、顔画像、顔パーツの位置、視聴者数の情報を、顔画像一時記憶部２０２へ送る。
【００２４】
次のステップＳＴ２０２〜ステップＳＴ２０８のループ処理において、検出された各視聴者の顔画像から、各視聴者の属性、位置、頭部姿勢、視線方向を算出する。ここで、ステップＳＴ２０２に示すｎは、撮像部１での一回の撮像で検出された視聴者の数を示す。ステップＳＴ２０２〜ステップＳＴ２０８のループ処理を、検出された視聴者の数だけ反復する。
【００２５】
まず、顔画像データベース２０３に保存されている各属性別の平均顔の画像と、顔画像一時記憶部２０２に保存されている顔画像との類似度を、顔画像比較部２０４にて算出し、その後、視聴者属性計算部２０５にて、最も類似度が高い平均顔の画像の属性（年齢・性別等）を、視聴者の属性の推定結果とする（ステップＳＴ２０３）。推定結果は視聴者情報記憶部３へ送られ、記憶される。
【００２６】
視聴者−撮像部間距離計算部２０６にて、推定された視聴者の属性の平均顔の実寸サイズを顔画像データベース２０３から読み出し、顔画像一時記憶部２０２に記憶された該視聴者の顔画像における顔サイズより、撮像部１から視聴者までの距離を算出する（ステップＳＴ２０４）。
【００２７】
次に、頭部姿勢計算部２０９にて、顔画像一時記憶部２０２に記憶されている視聴者の顔のパーツ位置情報と、顔形状モデル記憶部２０８に記憶されている人間の平均的な顔パーツの位置情報と、撮像部位置記憶部２０７に記憶されている撮像部１の設置位置情報とから、視聴者の頭部姿勢を算出する（ステップＳＴ２０５）。
【００２８】
その後、視聴者位置計算部２１０にて、頭部姿勢計算部２０９にて算出された頭部姿勢と、視聴者−撮像部間距離計算部２０６にて算出された視聴者−撮像部間距離と、撮像部位置記憶部２０７に記憶されている撮像部１の設置位置情報とから、視聴者位置を算出する（ステップＳＴ２０６）。視聴者位置は視聴者情報記憶部３に送られ、記憶される。
【００２９】
最後に、視線方向計算部２１１にて、頭部姿勢計算部２０９にて算出された視聴者の頭部姿勢から、視聴者の視線方向を決定する（ステップＳＴ２０７）。視聴者の視線方向は、視聴者情報記憶部３に送られ、記憶される。
以上の動作により、視聴者情報算定部２から、視聴者情報（年齢・性別等の視聴者の属性、視聴者の位置、視聴者の視線方向）が視聴者情報記憶部３へ送られる。
【００３０】
視聴者情報記憶部３は、視聴者情報算定部２により算出された視聴者情報を記憶する。
視聴者情報記憶部３に記憶されている要素について、図４を用いて説明する。まず、各視聴者には番号（視聴者番号）が振られ、視聴者情報記憶部３には、この視聴者番号、視聴者の位置、視聴者の視線方向、視聴者の属性とが記憶されている。属性とは、性別、年齢等、視聴者の見た目から分別可能な視聴者の分類である。また、属性はこれら二つに限らない。視聴者情報算定部２において必要な処理を追加することで、例えば、髪型等を含めることも可能である。
【００３１】
視聴者情報記憶部３に記憶されている視聴者情報と、広告情報記憶部４に記憶されている広告情報と、三次元情報記憶部５に記憶されている投影対象面の三次元形状情報とは、投影画像生成部６へ送られる。
【００３２】
投影画像生成部６は、視聴者情報記憶部３から送られる視聴者情報と、広告情報記憶部４から送られる広告情報と、三次元情報記憶部５から送られる投影対象面の三次元形状情報とから、映像投影部７にて投影すべき投影画像を生成する。生成された投影画像は映像投影部７へ送られる。
ここで、投影画像生成部６の構成と動作について、以下詳細に説明する。
【００３３】
ます、投影画像生成部６の構成について、以下に説明する。
図６は、投影画像生成部６の内部構成を示すブロック図である。また、図６中の丸印Ｃは視聴者情報記憶部３と広告情報記憶部４と三次元情報記憶部５からの入力、丸印Ｄは映像投影部７への出力を示し、図１の丸印Ｃ、丸印Ｄと対応する。
投影画像生成部６は、広告表示中心位置計算部６０１と、広告投影サイズ計算部６０２と、視聴者毎適切広告情報取得部６０３と、表示広告リスト記憶部６０４と、広告描画部６０５と、重なり情報取得部６０６と、重畳広告グループリスト記憶部６０７と、広告重畳判定部６０８と、視聴者共通項目計算部６０９と、広告検索部６１０と、広告見易さ判定部６１１と、表示広告リスト変更部６１２とを備える。
また、表示広告リスト変更部６１２は、広告削除部６１２１と、広告投影サイズ調整部６１２２と、広告追加部６１２３とを備える。
【００３４】
広告表示中心位置計算部６０１は、視聴者情報記憶部３に記憶されている視聴者の位置、視聴者の視線方向と、三次元情報記憶部５に記憶されている投影対象面の三次元形状情報とから、視聴者の視線と投影対象面との交点を算出する。なお、この交点を、広告表示中心位置とする。
【００３５】
広告投影サイズ計算部６０２は、広告表示中心位置計算部６０１にて算出された広告表示中心位置と視聴者情報記憶部３に記憶されている視聴者の位置とから、広告表示中心位置と視聴者との距離を算出する。広告表示中心位置と視聴者との距離及び人間の平均的な中心視野角とから、以下の式（１）にて広告画像の投影サイズを決定する。
2014153666.tif 000003
【００３６】
視聴者毎適切広告情報取得部６０３は、視聴者情報記憶部３に記憶されている視聴者属性を用いて、その視聴者の属性に適した広告を広告情報記憶部４から取得する。複数の広告が該当する場合は、より対象の狭い広告を参照する。例えば、各々、［３０代／男性］［３０代〜８０代／男性］［２０代〜３０代／性別問わず］を対象属性とした広告が存在し、視聴者が３０代の男性だった場合、視聴者は上記３つ全ての広告の提示対象者に該当するが、ここでは最も範囲の狭い［３０代／男性］の広告が取得される。また、視聴者が３０代の男性で、[３０代／男性］を対象とした広告が複数存在した場合は、それらの中からランダムに１つの広告が取得される。
この処理により、視聴者に適した広告を提示することが可能となる。
【００３７】
ここで、広告情報記憶部４に記憶されている広告情報の要素について、図５を用いて、説明する。広告情報記憶部４は、それぞれの広告を識別するための広告番号、名称、広告画像、広告画像内の重要箇所を示す重要コンテンツマップ、その広告の提示対象となる視聴者の属性の５つの要素から成る。重要コンテンツマップとは、広告画像内のアピールポイント文、製品の画像等の重要コンテンツと、背景や装飾等の非重要コンテンツとを区別して示すためのもので、重要コンテンツ部を白、非重要コンテンツ部を黒で表現したマップである。これは、予め広告を広告情報記憶部４へ記憶させる時に手動で登録しても良いし、広告画像から自動抽出しても良い。
【００３８】
表示広告リスト記憶部６０４には、広告表示中心位置計算部６０１、広告投影サイズ計算部６０２、視聴者毎適切広告情報取得部６０３にてそれぞれ求めた、広告表示中心位置、広告画像投影サイズ、広告番号と、対象視聴者番号とが、表示広告リストとして記憶される。
図７に、表示広告リスト記憶部６０４に記憶されている表示広告リストを示す。表示広告リストでは、表示広告番号が振られ、広告表示中心位置、広告画像投影サイズ、広告番号、対象視聴者番号が記憶される。
【００３９】
広告描画部６０５は、表示広告リスト記憶部６０４に記憶された表示広告リストに基づき、表示広告リスト中の広告番号に該当する広告情報等を用いて投影画像を生成する。
投影画像の生成では、広告表示中心位置が広告画像の中心となるように、投影対象面の三次元形状に対し、広告画像を表示広告リストでの表示広告番号順にマッピング（投影）する。この処理により、視聴者に適した広告を該視聴者の視線の先に投影して提示することができるので、広告の視聴率が向上し、効果的な広告提示が可能となる。この際、重要コンテンツの部分は常に表示が優先される。
【００４０】
後述するステップＳＴ６０６における描画時に、重要コンテンツ同士が重なっている場合は、表示広告リスト記憶部６０４に記憶されている広告番号の大きい方の広告が優先される。
非重要コンテンツが重畳している場合は、重畳している部分の広告画像の表示色を足し合わせて、重畳している広告数で割った色が投影画像に表示される。輝度値に関しても同様に、重畳している広告数で割った値が投影画像に表示される。
【００４１】
図１２に投影画像の作成例を示す。この例では、図５で示した広告番号１と２の広告画像が重畳している投影画像となっている。図中の比は、輝度、色ブレンド時の広告番号１の広告の輝度、色と、広告番号２の広告の輝度、色との比を表し、（広告番号１の広告）：（広告番号２の広告）で表している。広告番号１の重要コンテンツと広告番号２の非重要コンテンツが重畳している部分では、広告番号１の重要コンテンツが表示される（（広告番号１の広告）：（広告番号２の広告）＝１００：０  の比で輝度、色をブレンド）。また、広告番号１の非重要コンテンツと広告番号２の非重要コンテンツが重畳している部分では、広告番号１と広告番号２それぞれの輝度、色を平均した画像が表示される（（広告番号１の広告）：（広告番号２の広告）＝５０：５０  の比で輝度、色をブレンド）。
【００４２】
重なり情報取得部６０６は、重要コンテンツが重畳している広告同士をグループにまとめて、グループ番号を割り当て、これらの情報を重畳広告グループリスト記憶部６０７に送る。
【００４３】
重畳広告グループリスト記憶部６０７は、重なり情報取得部６０６から送られる情報を重畳広告グループリストとして記憶する。
図１０に重畳広告グループリストの例を示す。重畳広告グループリストは、グループ番号、グループに属する表示広告番号、グループを形成する要素数（グループを形成する表示広告番号の個数）から成る。図１０に示す例では、表示広告番号１の広告画像は他の表示広告番号の広告画像と重畳しておらず表示広告番号１の広告単独で１つのグループを形成する（グループ番号１）。また、表示広告番号２と表示広告番号３の広告画像同士は重畳しているが、重要コンテンツ同士は重畳していないため、別グループと見なされ、表示広告番号２の広告単独で１つのグループ（グループ番号２）、表示広告番号３の広告単独で１つのグループ（グループ番号３）をそれぞれ形成する。また、表示広告番号４，５，６の広告画像は、重要コンテンツ同士が重畳しているため、それら３つの広告で１つのグループ（グループ番号４）を形成する。
なお、グループをまとめる条件として、重要コンテンツの厳密な重畳ではなく、重要コンテンツ間の距離が所定の閾値以内のときでも、重要コンテンツが重畳していると判断し、グループとしてまとめるようにしてもよい。
【００４４】
広告重畳判定部６０８は、重畳広告グループリストに示されている各グループに対して、要素数が２以上つまり、重要コンテンツが重畳しているか否かを判定する。
視聴者共通項目計算部６０９は、重要コンテンツが重畳しているグループに対し、そのグループを形成する各広告に該当する視聴者の属性の和集合、すなわち共通する属性を算出する。例えば、［２０代／男性］という属性と、［３０代／男性］という属性の和集合は、［２０〜３０代／男性］となる。
広告検索部６１０は、視聴者共通項目計算部６０９で和集合の概念を用いて算出した属性に該当する広告を、広告情報記憶部４に記憶された広告の中から検索する。
【００４５】
広告見易さ判定部６１１は、同一グループ内の複数の広告に対して、それぞれの広告に関連づけられた視聴者の視線方向ベクトルと、広告表示中心位置における投影対象面の法線ベクトルとが為す角度を算出する。この角度は、視聴者と投影対象面との正対の度合いを示すパラメータであり、大きいほど、視聴者と投影対象面とが正対していないことを示す。従って、広告見易さ判定部６１１は、上記視線方向ベクトルと上記法線ベクトルとが為す角度が最も大きい広告を、グループ内で最も視聴者が見辛い広告であると判定する。
【００４６】
表示広告リスト変更部６１２は、表示広告リスト記憶部６０４に記憶されている表示広告リストに何らかの変更を加える処理を行う。広告削除部６１２１は表示広告リストからある表示広告番号の広告を削除する処理を行う。広告投影サイズ調整部６１２２は表示広告リスト記憶部６０４に記憶されているある表示広告番号の広告の広告画像投影サイズを変更する処理を行う。広告追加部６１２３は、ある広告をリストの末尾に追加する処理を行う。
以上が投影画像生成部６の構成である。
【００４７】
次に、図８，９に示すフローチャートを参照しながら、投影画像生成部６の動作について以下に説明する。
図８には、投影画像生成部６が行う動作の前半部分を示す。ステップＳＴ６０１〜ステップＳＴ６０５のループ処理において、ステップＳＴ６０１に示すｎは、撮像部１での一回の撮像で検出された視聴者の数を示す。ステップＳＴ６０１〜ステップＳＴ６０５のループ処理を、検出された視聴者の数だけ反復する。
【００４８】
広告表示中心位置計算部６０１にて、視聴者情報記憶部３に記憶された視聴者の視線方向と三次元情報記憶部に記憶された投影対象面との交点を算出し、この点を広告表示中心位置とする（ステップＳＴ６０２）。広告表示中心位置は、広告投影サイズ計算部６０２に送られるほかに、表示広告リスト記憶部６０４に送られ、記憶される。
【００４９】
次に、広告投影サイズ計算部６０２にて、広告表示中心位置計算部６０１にて計算された広告表示中心位置と視聴者情報記憶部３に記憶されている視聴者の位置とから、広告表示中心位置と視聴者との距離を算出し、該距離と人間の視野角を考慮して、投影する広告画像の投影サイズを決定する（ステップＳＴ６０３）。広告画像の投影サイズは、表示広告リスト記憶部６０４に送られ、記憶される。
【００５０】
視聴者毎適切広告情報取得部６０３にて、視聴者の属性を基にその視聴者を対象とした広告を広告情報記憶部４から１つ取得する（ステップＳＴ６０４）。取得した広告の広告番号は、表示広告リスト記憶部６０４に送られ、記憶される。
【００５１】
以上のステップＳＴ６０１〜ステップＳＴ６０５を視聴者の数だけ反復すると、表示広告リストに、検出された視聴者数分のリストが生成される。また、この段階では、表示広告リスト中の表示広告番号と対象視聴者番号とは等しくなっている。
【００５２】
その後、広告描画部６０５にて表示広告リスト記憶部６０４に記憶された表示広告リストに基づき投影画像を生成する（ステップＳＴ６０６）。
このステップＳＴ６０６の処理段階においては、重要コンテンツが常に優先して表示され、重要コンテンツ同士が重畳している部分については、表示広告リスト記憶部６０４に記憶されている広告番号の大きい方の広告が優先される。また、非重要コンテンツ同士が重畳している部分については、重畳している部分の広告画像の表示色を足し合わせて、重畳している広告数で割った色が投影画像に表示される。輝度値に関しても同様に、重畳している広告数で割った値が投影画像に表示される。
【００５３】
重なり情報取得部６０６にて、広告描画部６０５で描画された投影画像内の広告のうち、重要コンテンツ同士が重畳しているもの同士を１つのグループにまとめる処理を行い、重畳広告グループリスト記憶部６０７に記憶する（ステップＳＴ６０７）。
【００５４】
図９には、図８に示した投影画像生成部６が行う動作の前半部分の続きとなる後半部分の動作を示す。ステップＳＴ６０８〜ステップＳＴ６１６のループ処理において、ステップＳＴ６０８に示すｋは、重畳広告グループリスト記憶部６０７に記憶された総グループ数を示す。ステップＳＴ６０８〜ステップＳＴ６１６のループ処理を、重畳広告グループリスト記憶部６０７に記憶されたグループ毎、つまりグループの数だけ反復する。
【００５５】
まず、広告重畳判定部６０８が、重畳広告グループリストの要素数が２以上かどうかを判定する（ステップＳＴ６０９）。２以上であれば、重要コンテンツが重畳していることを示し、２未満であれば、重要コンテンツは重畳していないことを示している。
２未満だった場合は（ステップＳＴ６０９；ＮＯ）、何も処理せずに、次のグループへ処理が移る。
２以上であった場合は（ステップＳＴ６０９；ＹＥＳ）、視聴者共通項目計算部６０９にて、重畳広告グループリスト内のループ処理中のグループに属する表示広告番号の広告に該当する視聴者の属性の和集合を算出する（ステップＳＴ６１０）。
【００５６】
その後、広告検索部６１０にて、この属性の和集合を対象とする広告を、広告情報記憶部４に記憶された広告の中から検索する（ステップＳＴ６１１）。
ステップＳＴ６１１の検索にて、該当する広告があった場合は（ステップＳＴ６１１；ＹＥＳ）、ループ処理中のグループに属する広告の、表示広告リストにおける該当箇所を広告削除部６１２１にてすべて削除した上で、広告追加部６１２３にて該当した広告を表示広告リストに追加する。なお、この際、広告追加部６１２３が追加した広告のサイズは、広告投影サイズ調整部６１２２にて、広告削除部６１２１が削除した該グループに属する広告の広告画像投影サイズを合算したサイズに変更され、また、追加した広告の広告表示中心位置は、削除した該グループに属する全ての広告の広告表示中心位置の重心に変更され、表示広告リストにおいて反映される（ステップＳＴ６１２）。以上の処理を行うことで、重要コンテンツが重畳している広告の広告画像が、広告検索部６１０の検索で該当した広告の広告画像に置き換えられる。ステップＳＴ６１２を行った後は、ステップＳＴ６０９へ戻り、処理対象が次グループへ移る。
【００５７】
ステップＳＴ６１１での検索にて、該当する広告がなかった場合は（ステップＳＴ６１１；ＮＯ）、ステップＳＴ６１３に移る。
【００５８】
ステップＳＴ６１３では、広告投影サイズ調整部６１２２にて、ループ処理中のグループに属する広告の広告画像の投影サイズが、一律で広告投影サイズ計算部６０２で求めた元の投影サイズから８０％に縮小される。なお、縮小率は８０％に限るものではなく、適宜選択してよい。
【００５９】
その後、広告重畳判定部６０８にて、グループ内の広告の重要コンテンツ同士が重畳しているかを判定する（ステップＳＴ６１４）。
重畳していないと判定された場合は（ステップＳＴ６１４；ＮＯ）、広告画像の投影サイズの変更を表示広告リスト記憶部６０４の表示広告リストに反映した上で、次のグループへ処理が移る。
重畳していると判定された場合は（ステップＳＴ６１４；ＹＥＳ）、広告見易さ判定部６１１にて、グループ内のそれぞれの広告に関連づけられた視聴者の視線方向ベクトルと、広告表示中心位置における投影対象面の法線ベクトルとが為す角度を算出する。算出した角度から、最も見辛い広告を判定し、広告削除部６１２１にて表示広告リストから該広告を削除する。その後再度、広告重畳判定部６０８にてグループ内の広告の重要コンテンツ同士が重畳しているかを判定する。この処理を、グループ内の広告の重要コンテンツ同士が重畳していないと判定されるまで繰り返す（ステップＳＴ６１５）。このようにして投影画像の生成に用いる広告画像が選択される。
【００６０】
ステップＳＴ６０８〜ステップＳＴ６１６のループ処理がグループの数だけ反復されると、広告描画部６０５にて、再度、表示広告リスト記憶部６０４に記憶された表示広告リストを用いて、広告表示中心位置が広告画像の中心となるように表示広告番号順にマッピングし、投影画像を生成する（ステップＳＴ６１７）。
このステップＳＴ６１７の処理段階においては、重要コンテンツ同士が重畳していることはないので、各重要コンテンツが確実に表示される。また、非重要コンテンツ同士が重畳している部分については、重畳している部分の広告画像の表示色を足し合わせて、重畳している広告数で割った色が投影画像に表示される。輝度値に関しても同様に、重畳している広告数で割った値が投影画像に表示される。
ステップＳＴ６０８〜ステップＳＴ６１６のループ処理により、異なる視聴者同士の広告表示中心位置つまり視線の先が隣接してしまうことで、提示しようとしている広告画像が投影画像上で重なった場合でも、それら視聴者全員を対象とした別の広告へと広告を置き換えること、また、広告画像の投影サイズ縮小や視認しにくい広告画像の削除を行い、各広告画像内の、広告効果に影響が有る重要コンテンツの重畳を避けることができるので、広告提示可能な視聴者の数が減ることなく効果的な広告提示を行うことができる。
【００６１】
以上の動作により、投影画像が生成され、映像投影部７へ送られる。
映像投影部７は、投影画像生成部６から送られた投影画像を、投影対象面に投影する。
【００６２】
以上のように、本発明の実施の形態１によれば、広告提示エリア周辺の個々人に適した広告を個々人の視線の先に投影して提示し、異なる人同士の視線の先が隣接してしまうことで提示する広告が投影画像上で重なってしまう場合は、広告効果に影響が有る重要コンテンツ同士の重畳のみ考慮して、広告の置き換え、また、広告画像の投影サイズ縮小や視認しにくい広告画像の削除を行うことで、広告効果に影響が有る重要コンテンツの重畳を避けることができるので、広告提示可能な視聴者の数が減ることなく効果的な広告提示を行うことができる。
【００６３】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００６４】
１  撮像部、２  視聴者情報算定部、２０１  顔認識部、２０２  顔画像一時記憶部、２０３  顔画像データベース、２０４  顔画像比較部、２０５  視聴者属性計算部、２０６  視聴者−撮像部間距離計算部、２０７  撮像部位置記憶部、２０８  顔形状モデル記憶部、２０９  頭部姿勢計算部、２１０  視聴者位置計算部、２１１  視線方向計算部、３  視聴者情報記憶部、４  広告情報記憶部、５  三次元情報記憶部、６  投影画像生成部、６０１  広告表示中心位置計算部、６０２  広告投影サイズ計算部、６０３  視聴者毎適切広告情報取得部、６０４  表示広告リスト記憶部、６０５  広告描画部、６０６  重なり情報取得部、６０７  重畳広告グループリスト記憶部、６０８  広告重畳判定部、６０９  視聴者共通項目計算部、６１０  広告検索部、６１１  広告見易さ判定部、６１２  表示広告リスト変更部、６１２１  広告削除部、６１２２  広告投影サイズ調整部、６１２３  広告追加部、７  映像投影部。
【図１】
2014153666.tif 000004
【図２】
2014153666.tif 000005
【図３】
2014153666.tif 000006
【図４】
2014153666.tif 000007
【図５】
2014153666.tif 000008
【図６】
2014153666.tif 000009
【図７】
2014153666.tif 000010
【図８】
2014153666.tif 000011
【図９】
2014153666.tif 000012
【図１０】
2014153666.tif 000013
【図１１】
2014153666.tif 000014
【図１２】
2014153666.tif 000015