(57)【要約】【課題】大型のモニタ装置を用い、広告等のコンテンツを音声情報や映像情報を用いて報知する音声・映像データ報知システムにおいては、大型モニタ表示装置に映し出された映像データの内容が視聴者にとって興味深い内容でない場合、視聴者はすぐに視線をそらしてしまうことが考えられる。【解決手段】音声データを再生する音声出力装置と映像データを表示する表示装置とを有しており、上記表示装置の前方周辺に人物が存在していることを検知したら第１のコンテンツを告知し、上記人物の顔が上記映像表示装置の方向に向いていることが検知されたら上記人物の性別及び年代を推定し、その推定結果に応じて第２のコンテンツを報知する。【選択図】図１
2012205112.tif 000002
【特許請求の範囲】
【請求項１】
音声データを再生する音声出力装置と映像データを表示する映像表示装置とを有する音声・映像データ報知システムにおいて、
上記映像表示装置の前方の周辺域を撮像する撮像手段と、
上記撮像手段の撮像により取得された画像データに基づいて、上記映像表示装置の前方周辺に人物が存在しているか否かを判定する人物検知手段と、
上記撮像手段の撮像により取得された画像データに基づいて、上記人物の顔が上記映像表示装置の方向に向いているか否かを判定する顔部検知手段と、
上記撮像手段の撮像により取得された画像データに基づいて、上記人物の性別及び年代を推定する人物推定手段と、
告知情報としてのコンテンツデータを記憶するコンテンツ記憶手段と、
上記人物検知手段、上記顔部検知手段、及び、上記人物推定手段の出力に応じて、上記コンテンツ記憶手段に記憶された複数のコンテンツの中から告知するコンテンツを選択的に読み出し、上記映像表示装置及び上記音声出力装置に告知させる制御手段と、
を具備することを特徴とする音声・映像データ報知システム。
【請求項２】
上記制御手段は、上記人物検知手段によって上記表示装置の前方周辺に人物が存在していることが検知されたら第１のコンテンツを報知させ、上記人物推定手段によって上記人物の性別及び年代の推定が行われたら、その結果に応じて第２のコンテンツを報知させることを特徴とする請求項１に記載の音声・映像データ報知システム。
【請求項３】
音声データを再生する音声出力装置と映像データを表示する表示装置とを有する音声・映像データ報知システムの制御方法において、
上記表示装置の前方周辺に人物が存在していることを検知したら第１のコンテンツを告知するステップと、
上記人物の顔が上記映像表示装置の方向に向いているか否かを判定するステップと、
上記人物の顔が上記映像表示装置の方向に向いていることが検知されたら、上記人物の性別及び年代を推定するステップと、
上記人物の性別及び年代の推定が行われたら、その結果に応じて第２のコンテンツを報知するステップと、
を具備することを特徴とする音声・映像データ報知システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば大型のモニタ装置を用い、広告等のコンテンツを音声情報や映像情報を用いて報知する音声・映像データ報知システム及びその制御方法に関する。
【背景技術】
【０００２】
最近、大型で薄型のモニタ装置（以下、大型モニタ表示装置と称する）は、そのコストが安価になっている。これにより、当該大型モニタ表示装置を公共の場に設置し、この大型モニタ表示装置に例えば広告等のコンテンツを再生表示し、かかる大型モニタ表示装置の周辺域に存在する被報知対象の人物すなわち視聴者に広告等のコンテンツを報知するという新たな使用方法が多く見受けられるようになっている。
【０００３】
このような広告等のコンテンツの報知では、大型モニタ表示装置の周辺域に視聴者が不在の状況で再生表示しても効果的でない。又、常に広告等のコンテンツを再生表示しては、視聴者に与えるインパクトが小さく、かつ常に電力を消費して省エネルギーの観点からも望ましくない。
【０００４】
かかる広告等のコンテンツの報知の技術としては、例えば特許文献１がある。この特許文献１は、大型モニタ表示装置の表示画面の前方の周辺状況を撮像し、大型モニタ表示装置の表示画面の前方に存在する視聴者の人数が予め設定された第１の所定値を超えれば、第１のコンテンツ情報として少なくとも発声部から大型モニタ表示装置の表示画面に対して注視を促す少なくとも音声情報を発生させ、この後、大型モニタ表示装置の表示画面を見ている視聴者の正面顔の人数が予め設定された第２の所定値を超えれば、第２のコンテンツ情報として少なくとも大型モニタ表示装置の表示画面に主情報の映像データを映し出すものである。
【特許文献１】特開２０１０−００４３５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、大型モニタ表示装置に映し出された映像データの内容が視聴者にとって興味深い内容でない場合、視聴者はすぐに視線をそらしてしまうことが考えられる。特許文献１には、視聴者が望む映像を選択的に映し出すような機能は有していない。
【０００６】
本発明の目的は、視聴者に対して効果的に広告等の情報を提供できる音声・映像データ報知システム及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の主要な局面に係る音声・映像データ報知システムは、音声データを再生する音声出力装置と映像データを表示する映像表示装置とを有し、上記映像表示装置の前方の周辺域を撮像する撮像手段と、上記撮像手段の撮像により取得された画像データに基づいて、上記映像表示装置の前方周辺に人物が存在しているか否かを判定する人物検知手段と、上記撮像手段の撮像により取得された画像データに基づいて、上記人物の顔が上記映像表示装置の方向に向いているか否かを判定する顔部検知手段と、上記撮像手段の撮像により取得された画像データに基づいて、上記人物の性別及び年代を推定する人物推定手段と、告知情報としてのコンテンツデータを記憶するコンテンツ記憶手段と、上記人物検知手段、上記顔部検知手段、及び、上記人物推定手段の出力に応じて、上記コンテンツ記憶手段に記憶された複数のコンテンツの中から告知するコンテンツを選択的に読み出し、上記映像表示装置及び上記音声出力装置に告知させる制御手段とを具備することを特徴とするものである。
【０００８】
また、本発明の主要な局面に係る音声・映像データ報知システムは、音声データを再生する音声出力装置と映像データを表示する表示装置とを有し、上記表示装置の前方周辺に人物が存在していることを検知したら第１のコンテンツを告知するステップと、上記人物の顔が上記映像表示装置の方向に向いているか否かを判定するステップと、上記人物の顔が上記映像表示装置の方向に向いていることが検知されたら、上記人物の性別及び年代を推定するステップと、上記人物の性別及び年代の推定が行われたら、その結果に応じて第２のコンテンツを報知するステップを具備している。
【発明の効果】
【０００９】
本発明によれば、視聴者に対して効果的に広告等の情報を提供できる音声・映像データ報知システム及びその制御方法を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態について図面を参照して説明する。
【００１１】
図１は音声・映像データ報知システムの構成図を示す。レンズ系１と撮像部２とは、撮像装置３を構成する。また、映像表示部４は映像データを表示する表示装置、発音部１５は音声データを発する音声出力装置（スピーカ）である。
【００１２】
撮像装置３は、例えば 図２に示すように映像表示部４の周辺部、例えば上部に設けられている。この撮像装置３は、映像表示部４の表示画面４ａを注視している被報知対象、すなわち人物５の顔面に対向するように撮像視野の方向を向けて設置される。すなわち、撮像装置３は、例えば映像表示部４の表示画面４ａの前方において当該表示画面４ａを注視している人物５の顔面を撮像することを可能とする方向に撮像視野が向けられている。なお、撮像部２は、レンズ系１によって結像された映像表示部４の前方の周辺状況の光像を光電変換して画像信号を出力する。この撮像部２は、例えばＣＣＤ又はＣＭＯＳにより形成される。この撮像装置３は、映像表示部４の前方の周辺状況を動画として撮像するものであるが、所定間隔毎に単写により撮像するものであってもよい。
【００１３】
画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。
【００１４】
ここで、上記撮像装置３と画像処理装置６は撮像手段を構成するものである。
【００１５】
人物検知手段としての人物検知部７は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる人物５を認識する。この人物検知部７には人物５を認識するための複数の基準体型データが予め記憶されており、その基準体型データに類似の部位が取得した画像内に含まれているかを判定する。これら基準体型データは、例えば人物５の頭部、上半身の形状、全身である。さらにそのバリエーションとして、子供や大人、男性や女性等、複数有する。画像データの中に人物が認識された場合には、画像内に人物が存在することを示す信号を出力する。
【００１６】
顔部検知手段としての顔部検知部８は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる人物５の顔部を認識する。この顔部検知部８には、人物５の正面顔を認識するための複数の基準正面顔データが予め記憶されており、その基準正面顔データに類似の部位が取得した画像内に含まれているかを判定する。これら基準正面顔データは、例えば人物５の目、鼻、口の形状、大きさ、位置等に応じて複数有する。画像データの中に存在する人物の顔部が認識された場合、それは人物が映像表示部４の方向を見ていると考えられるので、その場合には画像内の人物が表示画面４ａを見ていることを示す信号を出力する。
【００１７】
人物推定手段としての人物推定部９は、人物５の性別／年代を推定するものであり、性別や年代によって特徴が現れる部位（例えば、目、鼻、口、眉、耳、骨格、首）の形状、目じりや首筋、口元の近辺に発生している皺の有無、髪型や化粧の状態などから、その人物が男性であるか女性であるか、さらに幼年、少年、青年、壮年、老年のどの年代のグループに属するかをパターンマッチングによって推定する。この人物推定部９は上述のパターンマッチングのための複数のデータを記憶する記憶部（不図示）を含んでおり、マッチングの処理を行なった結果として性別と年代を表す２種類の信号（データ）を出力する。
【００１８】
人物検知部７、顔部検知部８、人物推定部９の出力結果は、それぞれ制御手段としての制御部１０に供給される。この制御部１０は、人物検知部７、顔部検知部８、人物推定部９の検知結果に基づき、告知すべき内容を決定して告知部１２に制御信号を出力する。制御部１０には、図３に示す音声・映像情報報知フローチャートに従った音声・映像情報報知プログラムが予め格納されており、この音声・映像情報報知プログラムにより告知部１２を通して音声出力装置（スピーカ）としての発音部１５、及び、映像表示装置としての映像表示部４の動作を制御するものである。
【００１９】
告知手段としての告知部１２は、複数の報知コンテンツを記憶するコンテンツ記憶手段としてのコンテンツ記憶部１３を含んでいる。このコンテンツ記憶部１３には、複数の動画コンテンツが記憶されており、告知部１２は制御部１０からの制御信号に応じていずれかの動画コンテンツを選択的に読み出して、映像表示部４、発音部１５に対して出力する。この報知用動画コンテンツは動画像と音声が１つのファイルに収められているいわゆる動画データであるが、これに限るものではなく動画と音声とを別々に記憶しておいて対応つけて再生表示する形式にしても良いし、動画ではなく静止画であっても良い。
【００２０】
コンテンツ記憶部１３に記憶されているコンテンツの１つとしては、映像表示部４の周辺域に存在する人物５に対して表示画面４ａに対して注視を促すために再生表示されるコンテンツ（第１のコンテンツ）である。これは、例えば、映像表示部１４にガイドの女性が表示され、その女性が発音部１５を介して「いらっしゃいませ。」とアナウンスする動画コンテンツである。その様子を模式的に図６ａで示す。
【００２１】
コンテンツ記憶部１３に記憶されているコンテンツの他の１つとしては、映像表示部４を見ている人物（視聴者）５に対して製品詳細情報などを見せるために再生表示されるコンテンツ（第２のコンテンツ）である。これは、例えば、映像表示部１４にその人物５にお勧めの製品が表示され、発音部１５を介して「こちらが新製品の××××です。」などとその製品の特徴をアナウンスする動画コンテンツである。その様子を模式的に図６ｂで示す。
【００２２】
ここで、第１のコンテンツは、映像表示部４の前方周辺にいる人物５に対して映像表示部１４の表示画面４ａに注意を促すためのコンテンツであるから「いらっしゃいませ。」と話す女性ガイドである必要はなく、同じ目的のためであるなら各種の動画コンテンツに置き換え可能である。また、第２のコンテンツは、映像表示部４を見ている人物５に対して告知したい製品の詳細情報に関するコンテンツである。この第２のコンテンツは、映像表示部４を見ている人物５の性別及び年代に応じて変更される類のコンテンツである。そのため、コンテンツ記憶部１３には複数種類が記憶されており、人物推定部９の推定結果に応じて適宜選択される。これについては後述する。
【００２３】
次に、上記の如く構成されたシステムによる音声・映像情報の報知動作について 図３に示す音声・映像データ報知フローチャートに従って説明する。尚、このフローチャートに基づく一連の動作は制御部１０が主体的に実行する。
【００２４】
＜ステップＳ１＞映像表示部４の前方の状況を撮像装置３にて画像信号として取得する。この撮像装置３にて取得された画像信号は、画像処理部６に随時送られる。このとき、画像処理部６はこの画像信号をデジタル変換し、かつ各種画像処理を施した後に人物検知部７、顔部検知部８、人物推定部９に対して出力する。
【００２５】
＜ステップＳ２＞撮像部３の撮像範囲内に人物５が存在しているか否かを人物検知部７からの出力結果に基づいて判断する。図４に示すように人物５が撮像部３の撮像範囲内に存在しない場合は、人物５が撮像範囲１６内に侵入するまで動画像の取得のみが繰り返させる。
【００２６】
＜ステップＳ３＞図５ａに示すように人物５が撮像範囲１６内に進入し、人物検知部７によって人物５が撮像範囲１６内に存在していることが検知されると、第1のコンテンツを表示画面４ａ及び発音部５を介して報知する。その様子を模式的に図６ａで示す。
【００２７】
＜ステップＳ４＞映像表示部４の前方周辺に位置する人物５は、発音部１５にて再生された音声が聞こえるとその声がする方向、つまり映像表示部４の方向に顔を向ける確率が高い。したがって、第１のコンテンツを報知した後、人物５が映像表示部４の方向に顔を向けるのを待つ。図５ｂに示すように、人物５が映像表示部４の方向を向いていることを顔部検知部８が検知したらステップ５に進む。
【００２８】
＜ステップＳ５＞人物５が映像表示部４の方向に顔を向ければ、人物推定部９が人物５の性別及び年代を推定できる。したがって、このステップＳ５では人物推定部９による人物５の性別／年代の推定が完了するのを待つ。人物推定部９によって人物５の性別と年代が推定されたら、ステップＳ６に進む。
【００２９】
＜ステップＳ６＞人物推定部９によって人物５の性別及び年代が推定されたら、その結果に応じて第２のコンテンツの選択を行なう。ここで選択される第２のコンテンツは、その時点での広告提供者のビジネスに応じて決定される広告情報であり、人物５の嗜好に適合すると思われる内容である。例えば、自動車メーカの場合、推定結果が「男性」及び「青年」であれば、「スポーツカー」の広告を選択する。また、「女性」及び「壮年」と推定されれば、「軽自動車」の広告を選択するという具合である。
【００３０】
＜ステップ７＞ステップ６で選択された第２のコンテンツを映像表示部４及び発音部１５を介して報知する。一連の広告情報の報知が終了したら、再びステップＳ２に戻って新たな人物の検知を行なう。
【００３１】
次に、上述の第２のコンテンツの具体例を説明する。図７は、カメラメーカにおいて人物推定部９による推定結果に対してどのような広告表示を行うかを例示したものである。告知する内容は、マーケッティング活動で得られたデータ、例えば、若い女性であればオシャレなコンパクトデジタルカメラに関心が高いことや中年男性は子供を撮影するための高機能なビデオカメラに感心が高いという調査結果に基づいて、性別と年代ごとにもっとも興味があると予想できる製品を割り付けている。ただし、子供にとってはカメラにはあまり感心がないと考えられるので、子供には子供が興味を引くアニメキャラクター等を用いて企業ＣＭを流せば、クライアント企業に対して好感をもたせることができる。
【００３２】
以上のように、本発明の音声・映像データ報知システムにおいては、人物が表示装置の前方周辺に存在することを検知してから音声や映像の再生を始めるようにしているので、誰もいない場所で無駄な報知が行なわれることが無く、電力消費の無駄をはぶくことが可能である。
【００３３】
また、本発明の音声・映像データ報知システムにおいては、表示装置の前方周辺に位置する人物が検知されたら最初にその人物に対して表示装置の方向に顔を向けるように注意を促す音声および映像を報知し、その後に広告情報を報知するようにしているので、確実に視聴者である人物に広告情報を伝えることが出来る。
【００３４】
さらに、本発明の音声・映像データ報知システムにおいては、人物の性別と年代を推定することによってその人物が興味を持っていると思われる製品に関する広告情報を選択するようにしたので、視聴者に対して効果的に製品広告を行なうことができる。
【００３５】
上記の実施の形態に示した音声データや映像データは、本発明を説明するための例示に過ぎない。つまり、本発明は、初めに視聴者の注意を促す情報を提供することで表示装置に視聴者の興味を引き、次に視聴者の性別と年代を推定することによってその視聴者が感心を持っていると思われる製品を選択し、選択された製品に関する詳細情報を提供するという一連のステップ及びそれを実現するシステムであり、それを逸脱しない限りでの応用が可能であることはいうまでもない。
【図面の簡単な説明】
【００３６】
【図１】本発明に係る音声・映像データ報知システムの一実施の形態を示す構成図。
【図２】同システムにおける表示装置、撮像装置及び発音装置等を示す図。
【図３】同システムにおける音声・映像情報報知フローチャート。
【図４】同システムにおける撮像装置の撮像範囲外に１人の人物が存在する場合を示す図。
【図５ａ】同システムにおける撮像装置の撮像範囲内に人物が進入した様子を示す模式図。
【図５ｂ】同システムにおける撮像装置の撮像範囲内において人物が正面を見た様子を示す模式図。
【図６ａ】同装置における表示装置に表示される第１の映像データと、音声出力装置から発せられる第１の音声データを示す模式図。
【図６ｂ】同装置における表示装置に表示される第２の映像データと、音声出力装置から発せられる第２の音声データを示す模式図。
【図７】人物推定部９の推定結果に基づいて選択される広告内容の一覧表。
【符号の説明】
【００３７】
１：レンズ系、２：撮像部、３：撮像装置、４：映像表示部４ａ：表示画面、５：人物（表示の視聴者）、６：画像処理部、７：人物検知部、８：顔部検知部、９：人物推定部、１０：制御部、１１：推定用データ記憶部、１２：告知部、１３：コンテンツ記憶部、１５：発音部。
【図１】
2012205112.tif 000003
【図２】
2012205112.tif 000004
【図３】
2012205112.tif 000005
【図４】
2012205112.tif 000006
【図５ａ】
2012205112.tif 000007
【図５ｂ】
2012205112.tif 000008
【図６ａ】
2012205112.tif 000009
【図６ｂ】
2012205112.tif 000010
【図７】
2012205112.tif 000011