(57)【要約】【課題】人が多く集まる場所や街中のように広範囲の場所であっても、その周辺の人間の数や挙動を総合的に解析して注目度を求めることができる注目度算出装置等を提供する。【解決手段】注目度を入力する注目度入力部３１２を備える情報提供装置２と連携可能な注目度算出装置１であって、撮像装置により撮像された映像に映った人間を認識し、当該人間の挙動を解析する認識処理部３０１と、前記認識処理部３０１で認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、当該人間の数や挙動に応じて予め設定された重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出部３０２と、前記注目度算出３０２が求めた注目度を出力する注目度出力部３０３とを備える。【選択図】図３
2009116510.tif 000002
【特許請求の範囲】
【請求項１】
周辺の映像を撮像する撮像装置、注目度算出装置と情報提供装置が連動する情報提供システムであって、
人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、
前記映像に映っている１又は複数の人間を認識し、当該人間の挙動を解析する認識処理手段と、
前記認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、
前記注目度算出手段が求めた注目度を出力する注目度出力手段と、
を備える注目度算出装置と、
前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、
前記注目度算出装置から出力された注目度を入力する注目度入力手段と、
前記注目度、及び、前記出力の優先度に基づいて、前記提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、
該制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から提供する提供情報を選択する提供情報選択手段と、
該選択された提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段と、
該出力した提供情報及び当該提供情報が出力された時の注目度を対応付けて、履歴情報として格納する履歴情報保存手段と、
を備える情報提供装置とを備える情報提供システム。
【請求項２】
周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能な注目度算出装置であって、
人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、
前記撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手段と、
該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、
前記注目度算出手段が求めた注目度を出力する注目度出力手段とを備えることを特徴とする注目度算出装置。
【請求項３】
請求項２に記載の注目度算出装置において、
前記認識処理手段が、前記映像に映った各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動を解析することを特徴とする注目度算出装置。
【請求項４】
請求項２または３に記載の注目度算出装置において、
任意の物理量を検知する検知手段を備え、
該検知手段にて検知された物理量に基づいて、前記認識処理手段が当該注目度算出装置の周辺の状況を解析し、前記注目度算出手段が当該認識処理手段にて解析された結果に基づいて注目度を求めることを特徴とする注目度算出装置。
【請求項５】
注目度を出力する注目度出力手段を備える注目度算出装置と連携可能な情報提供装置であって、
人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、
前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、
前記注目度算出装置の前記注目度出力手段から注目度を入力する注目度入力手段と、
前記入力した注目度、及び、当該注目度に応じて予め設定された提供情報の出力の優先度に基づいて、前記提供情報データベースに格納された提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、
該生成した制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から、提供する提供情報を選択する提供情報選択手段と、
該選択した提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段とを備えることを特徴とする情報提供装置。
【請求項６】
請求項５に記載の情報提供装置において、
前記提供情報出力手段が任意の一の提供情報を出力している場合に、前記注目度入力手段が入力した注目度に基づいて、前記情報選択手段が他の提供情報を選択し、当該他の提供情報を前記提供情報データベースから抽出して出力する特別情報出力手段を備えることを特徴とする情報提供装置。
【請求項７】
周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として動作させる注目度算出方法であって、
前記コンピュータに、
人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶ステップと、
前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理ステップと、
該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求めるステップと、
前記注目度を求めるステップで求められた注目度を出力する注目度出力ステップと実行させる注目度算出方法。
【請求項８】
周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として機能させる手順を実行させるための注目度算出プログラムであって、
人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶手順と、
前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手順と、
前記認識された人間物の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める手順と、
前記注目度を求める手順で求められた注目度を出力する注目度出力手順とをコンピュータに実行させるための注目度算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された映像から人間を認識して注目度を求める注目度算出装置等に関する。
【背景技術】
【０００２】
現在、街中や店舗、電車内など様々な箇所に液晶ディスプレイなどの情報を提供する装置が設置されており、装置からは広告などの多くの情報が提供されている。また、これらの情報を提供する装置については、特に広告の配信に関して、効果的に情報を配信するための方法が様々提案されている。
【０００３】
特許文献１に示す技術は、所定の空間部にいる人の属性（男性、女性、子供、流れ）を判断して、最も効果がある広告、音楽を提供するシステムに関する技術であり、地下街、アーケード等の通路に監視カメラ装置を配置し、これらの、監視カメラ装置で撮像した画像を監視制御装置が取得する。そして、監視制御装置が、監視カメラ装置からの画像から通路の人間が女性か男性か子供（総称して人間属性情報ともいう）を判断し、これらの人間種類の人数、流れ方向を計測する。この計測した流れ方向、人数及び人間属性情報によって、通路のエアコン、照明等を適切に制御すると共に、通路の表示モニタ又はスピーカに適宜な広告映像、音楽コンテンツを供給する技術である。
【０００４】
また、特許文献２に示す技術は、屋内あるいは屋外における広告表示または画像表示を、人間の特徴、特に顧客としての特徴に合わせて自動的に切り換えることにより、広告の効果や人間や顧客にとって表示画像の効果や価値を高めることのできる画像表示方法に関する技術であり、撮影画像中の人間を抽出し、該抽出された人間の第１の特徴を検出し、該検出された人間の第１の特徴に応じて、画像表示媒体に表示する画像を切り換える技術である。
【０００５】
さらに、特許文献３に示す技術は、リアルタイムで顧客の行動に基づいて選定した有効なプロモーション情報を提供する技術であり、画像処理部は、各カメラ部からの映像を画像処理して、映像の中に含まれている顧客の人間情報、滞在時間情報等を取得し、画像解析部は、映像中の対象人間の行動を解析して行動軌跡情報を生成する。プロモーション実行判定部は、人間の行動軌跡の認識結果をもとにその人間に対してどのようなプロモーションデータを表示するべきかどうかを判定し、指定されたプロモーションデータを、情報提供部を通して特定のディスプレイに対して送信して表示させる。これにより、行動軌跡を基に選定した特定人間に対して有効なプロモーションデータをリアルタイムに提供する技術である。
【特許文献１】２００７−３４５８５号公報
【特許文献２】２００２−７３３２１号公報
【特許文献３】２００６−１１３７１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１ないし３に示した技術は、装置の周辺にいる個々の人間の身長、性別などの属性や行動を判別して情報を提供する技術であるため、複数の属性や行動を示す人間が同時に通過するような場所での使用には不向きであり、同時に通過する人間が少ない場所等での適用に限られてしまうという課題を有する。
【０００７】
また、情報を提供するために、撮像した映像から判断している属性が、年齢、性別、行動などの比較的細かい情報であるため、狭い範囲を監視し解像度の高い状態で人間を撮影する必要があり、街中にある大型ディスプレイのように、広範囲から視聴できる装置には適用できないという課題を有する。
さらに、人が多く集まる場所においては、いずれかの属性向けの情報だけしか提供できず、本来期待している、人間に特化した情報配信が行えないという課題を有する。
【０００８】
そこで、本発明は前記課題を解決するためになされたものであり、人が多く集まる場所や街中のように広範囲の場所であっても、その周辺の人間の数や挙動を総合的に解析して注目度を求めることができる注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１．情報提供システム）
本情報提供システムは、周辺の映像を撮像する撮像装置、注目度算出装置と情報提供装置が連動する情報提供システムであって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記映像に映っている１又は複数の人間を認識し、当該人間の挙動を解析する認識処理手段と、前記認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段と、を備える注目度算出装置と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置から出力された注目度を入力する注目度入力手段と、前記注目度、及び、前記出力の優先度に基づいて、前記提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から提供する提供情報を選択する提供情報選択手段と、該選択された提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段と、該出力した提供情報及び当該提供情報が出力された時の注目度を対応付けて、履歴情報として格納する履歴情報保存手段と、を備える情報提供装置とを備えるものである。
【００１０】
このように、本情報提供システムにおいては、撮像された映像に映った人間の数や挙動を解析し、それらの結果と予め設定された重み付け情報に基づいて注目度を求めるため、人が多く集まる場所や街中のように広範囲の場所であっても、総合的に注目度を求めることができ、求めた注目度に応じて適切な情報を動的に提供することができ、情報を効果的に発信することができるという効果を奏する。特に、提供情報が広告映像のような場合は、注目度により広告映像の効果が大きく異なるため、非常に有効な技術となる。
【００１１】
また、提供情報が出力された履歴情報を、提供情報が出力された時の注目度と対応付けて格納して保存するため、提供時における注目度を集計することができ、各提供情報の実際の効果を後から確認することができ、改善が必要な場合には、それを直ちにフィードバックすることができるという効果を奏する。
【００１２】
（２．注目度算出装置）
本注目度算出装置は、周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能な注目度算出装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手段と、該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段とを備えるものである。
【００１３】
このように、本注目度算出装置においては、撮像された映像に映った人間の数や挙動を解析し、それらの結果と予め設定された重み付け情報に基づいて注目度を求めるため、人が多く集まる場所や街中のように広範囲の場所であっても、総合的に注目度を求めることができ、求めた注目度に応じて様々が処理を行うことができるという効果を奏する。
【００１４】
（３．認識処理手段の詳細）
本注目度算出装置は、前記認識処理手段が、前記映像に映った各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動を解析するものである。
【００１５】
このように、本注目度算出装置においては、映像に映っている各人間と撮像装置との距離、映像に映っている各人間の顔の向き、映像に映っている各人間の視線方向、映像に映っている各人間の移動速度、及び、映像に映っている各人間の移動方向の少なくとも一の情報に基づいて人間の挙動を解析するため、様々な視点で細かい解析結果を得ることができると共に、それらの結果を総合的に判断して注目度を求めることで、正確な注目度を得ることができるという効果を奏する。
【００１６】
（４．様々な物理量の検知）
本注目度算出装置は、任意の物理量を検知する検知手段を備え、該検知手段にて検知された物理量に基づいて、前記認識処理手段が当該注目度算出装置の周辺の状況を解析し、前記注目度算出手段が当該認識処理手段にて解析された結果に基づいて注目度を求めるものである。
【００１７】
このように、本注目度算出装置においては、装置の周辺の状況を、任意の物理量を検知した結果に基づいて解析し、注目度を求めるため、映像のみから注目度を求める場合に比べて、より正確に人間と撮像装置の距離や人間の数や移動方向や移動速度を測定することができ、高精度に注目度を求めることができるという効果を奏する。
なお、物理量とは、音波、電波、電磁波、温度、圧力、重量等の物理的な量である。
【００１８】
（５．情報提供装置）
本情報提供装置は、注目度を出力する注目度出力手段を備える注目度算出装置と連携可能な情報提供装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置の前記注目度出力手段から注目度を入力する注目度入力手段と、前記入力した注目度、及び、当該注目度に応じて予め設定された提供情報の出力の優先度に基づいて、前記提供情報データベースに格納された提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該生成した制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から、提供する提供情報を選択する提供情報選択手段と、該選択した提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段とを備えるものである。
【００１９】
このように、本情報提供装置においては、注目度に基づいて周辺にいる人間に対して情報を提供するため、状況に応じて適切な情報を動的に提供することができ、情報を効果的に発信することができるという効果を奏する。特に、提供情報が広告映像のような場合は、注目度により広告映像の効果が大きく異なるため、非常に有効な技術となる。
【００２０】
（６．特別情報出力手段）
本情報提供装置は、前記提供情報出力手段が任意の一の提供情報を出力している場合に、前記注目度入力手段が入力した注目度に基づいて、前記情報選択手段が他の提供情報を選択し、当該他の提供情報を前記提供情報データベースから抽出して出力する特別情報出力手段を備えるものである。
【００２１】
このように、本情報提供装置においては、提供情報出力手段が任意の一の提供情報を出力している場合に、注目度入力手段が入力した注目度に基づいて、他の提供情報を提供情報データベースから抽出して出力するため、注目度が急激に変化した場合であっても、現在提供している情報は提供している状態を保持しつつ、他の提供情報を効果的で且つ動的に提供することができるという効果を奏する。
【００２２】
これまで、本発明をシステム、及び、装置として示したが、所謂当業者であれば明らかであるように本発明を方法、及び、プログラムとして捉えることもできる。これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【００２４】
本実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明はシステム、方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００２５】
（本発明の第１の実施形態）
（１．概要）
以下に、本実施形態に係る注目度算出装置の概要を説明する。図１は、本実施形態に係る注目度算出装置の概要を示す図である。ここでは、注目の対象となるディスプレイがあり、そのディスプレイを見る（聞く）人間（近くに存在する人間）を監視するためのカメラを設け、カメラで撮像される映像を画像処理により解析することで、当該ディスプレイへの注目度を求める。ディスプレイを注視している人間が多いほど注目度が高くなり、ディスプレイに対して興味を示しているということがわかる。
このようにして求めた注目度は、例えば、注目度に対応した情報の提供（詳細は後述する）、注目度による人気度の調査等の技術に応用することができる。
【００２６】
（２．構成と機能）
（２−１  注目度算出装置のハードウェア構成）
図２は、本実施形態に係る注目度算出装置のハードウェアの構成図である。注目度算出装置１は、ＣＰＵ(Central  Processing  Unit)２０１、ＲＡＭ(Random  Access  Memory)２０２、ＲＯＭ(Read  Only  Memory)２０３、フラッシュメモリ(Flash  memory)２０４、外部記憶装置であるＨＤ(Hard  disk)２０５、ＬＡＮ(Local  Area  Network)カード２０６、マウス２０７、キーボード２０８、ビデオカード２０９、このビデオカード２０９と電気的に接続する表示装置であるディスプレイ２０９ａ、サウンドカード２１０、このサウンドカード２１０と電気的に接続する音出力装置であるスピーカ２１０ａ及びフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記憶媒体を読み書きするドライブ２１１からなる。
なお、上記ハードウェア構成はあくまで一例を示したものであり、構成要素の変更をすることができるのは当然である。
【００２７】
（２−２  注目度算出装置のモジュール構成と機能）
図３は、本実施形態に係る注目度算出装置１のモジュール構成図である。注目度算出装置１は、認識処理手段としての認識処理部３０１と注目度算出手段としての注目度算出部３０２と、注目度出力手段としての注目度出力部３０３とを備える。
【００２８】
なお、本実施形態に係る注目度算出装置１は、注目度を入力する注目度入力処理部を備える情報提供装置と連携することが可能となっている。つまり、注目度算出装置１が求めた注目度に基づいて、情報提供装置が処理を行うことが可能となっている。
【００２９】
認識処理部３０１は、カメラ１１０で撮像された映像に映った人間を認識し、認識された人間の挙動を解析する処理を行う。解析処理を行う際には、撮像された各人間とカメラとの距離、撮像された各人間の顔の向き、撮像された各人間の視線方向、撮像された各人間の移動速度、及び、撮像された各人間の移動方向の少なくとも一の情報に基づいて行う。解析方法の詳細は後述する。
なお、カメラ１１０と注目度算出装置１は一体的な装置として捉えてもよい。すなわち、注目度算出装置の構成要素にカメラ１１０を含むようにしてもよい。
【００３０】
注目度算出部３０２は、認識処理部３０１で認識された人間の数、解析結果、及び、人間の挙動に応じて予め設定された重み付け情報に基づいて、注目度を求める処理を行う。この注目度算出処理は、一定時間間隔で行われる。注目度の算出方法の詳細は後述する。
注目度出力部３０３は、注目度算出部３０２が求めた注目度を出力する処理を行う。
なお、注目度の出力は、画面や紙に値を出力してもよいし、上記に示した情報提供装置に出力してもよい。また、情報提供装置以外にも注目度を利用して処理を行う装置と連携して注目度を出力するようにしてもよい。
【００３１】
（３．動作）
図４は、本実施形態に係る注目度算出装置１の動作を示すフローチャートである。まず、注目の対象物周辺の映像をカメラにより撮像する（ステップＳ４０１）。撮像された映像は、認識処理部３０１に入力される（ステップＳ４０２）。認識処理部３０１は、入力された映像から人間を認識し（ステップＳ４０３）、認識した人間の数を求める（ステップＳ４０４）。
【００３２】
次に、人間の挙動を解析する処理が行われる。認識した各人間の人間全体の映像から体の向きを検出する（ステップＳ４０５）。人間全体から人間の顔を抽出して、顔の方向を検出する（ステップＳ４０６）。抽出された顔から目周辺を抽出して、視線方向を検出する（ステップＳ４０７）。撮像したカメラと人間との距離を予め用意された距離変換テーブルから計測する（ステップＳ４０８）。人間の移動方向と移動速度を検出する（ステップＳ４０９、ステップＳ４１０）。
【００３３】
ここで、人間の認識、及び、人間の挙動を解析する処理について詳細に説明する。図５は、人間を認識し、挙動を解析する処理を示す図である。人間の認識、及び、挙動の解析とは、人間全体の検出（図５（ａ）に相当）、人間全体の体の方向（図５（ｂ）に相当）、人間の顔の方向（図５（ｃ）に相当）、人間の視線の方向（図５（ｄ）に相当）、カメラと人間との距離（図５（ｅ）に相当）、人間の移動速度（図５（ｆ）に相当）、及び、人間の移動方向（図５（ｆ）に相当）の少なくとも一の情報を解析する処理である。
【００３４】
人間全体の検出については、例えば、背景差分法（辻村他、“背景自動更新による差分システムに関する研究”、電子情報通信学会総合大会、２００３）と呼ばれる一般的な画像処理が知られており、背景画像と呼ばれる、検出対象が映っていない基準画像と入力画像との間で差を計算し、差がある領域を物体として検出することで、実現することができる。人間全体を認識することで、映像内の人間の数を求めることができる。また、体全体の向きは、図５に示す検出領域の横幅、及び、目の位置から検出することができる。例えば、検出領域の横幅が所定の値以上で目が検出された場合は、体がカメラ１１０の方向に向いている可能性が高く、検出領域の横幅が所定の値以上で目が検出されない場合は、体がカメラ１１０とは反対の方向を向いている可能性が高い。また、検出領域の横幅が所定値以下の場合は、体がカメラ１１０に対して横向きになっている可能性が高いと判断できる。
【００３５】
顔の検出については、ニューラルネットワークを用いた一般的な学習方法（H.Arowley他、“Neural  network-based  face  detection”、IEEE  Trans.on  Pattern  Analysis  and  Machine  Intelligence、Vol.2.0、No.1、pp23-38、1998）により予め顔と非顔を学習しておき、学習に基づいて撮像された映像の中から顔の領域を検出する方法で実現することができる。顔の検出に関しては、撮像の状況によっては、人間の顔の細かい情報が得られない可能性があるが、人間全体を検出した後に検出領域の肌色部分を求めることで大まかな顔の向きを検出することができる。図６は、顔の向きを検出する処理を示す図である。図６に示すように、人間全体の検出領域の上部分（頭部分）に肌色領域が一定以上存在していなければ、その人間の顔がカメラ１１０の反対側を向いていると判断することができる。
【００３６】
視線の検出については、テンプレートマッチング（青山他、“一台のカメラによる顔と視線方向の推定”、IEICE  technical  report.Pattern  recognition  and  understanding、Vol.95、No.583、PP.131-136）により、予め代表的な視線方向の画像を辞書として登録しておき、辞書画像と入力画像を比較して類似度が最も高い辞書画像の視線方向を、その人間の視線方向として検出することができる。この場合も、顔の向きの検出と同様に、撮像の状況によっては、視線の細かい情報が得られない可能性があるが、重み付け情報に調整することができる。
【００３７】
カメラ１１０と人間との距離については、カメラ１１０の焦点距離、高さ、向き等の設置条件を予め把握しておき、カメラ１１０と撮像した映像の幾何学特性を用いることで計算することができる。図７は、カメラ１１０と人間の距離を計算する処理を示す図である。図７に示すように、認識した人間の映像中における位置、大きさからカメラ１１０と人間との実際の距離を変換する距離変換テーブルを作成しておく。距離変換テーブルは、例えば、検出領域のｘ座標、検出領域のｙ座標、検出領域のサイズに応じて、カメラ１１０と人間の実際の距離が抽出できるような構成とする。図８は、カメラ１１０と人間との距離を計算する処理のフローチャートである。まず、入力映像が入力され、人間が検出される。人間が検出された領域の検出位置（ｘ座標、ｙ座標）とサイズを取得し、距離変換テーブルを参照する。距離変換テーブルに基づいてカメラ１１０と人間との実際の距離を求める。
なお、カメラ１１０と人間との距離は実際の値でもよいし、相対的な値を用いてもよい。
【００３８】
移動速度、移動方向については、一の人間について、所定の時間内で移動した距離（ｘ座標、ｙ座標から算出）と移動前後における検出領域の大きさの変化により移動速度と移動方向を検出することができる。例えば、人間がカメラ１１０に対して左右方向に移動した場合は、移動前後で検出領域の大きさはそれほど変化がなく、位置のみが変化する。一方、人間がカメラ１１０に対して前後方向に移動した場合は、移動前後で検出領域の大きさは変化するが、位置はそれほど変化しない。つまり、座標の変化の度合いと検出領域の変化の度合いから人間の移動速度と移動方向を検出することができる。
【００３９】
なお、距離変換テーブルと同様に、移動速度変換テーブル、移動方向変換テーブルを用意し、ｘ座標、ｙ座標、及び、検出領域の大きさの変化に基づいて、移動速度及び移動方向を検出するようにしてもよい。
【００４０】
図４に戻って、上記ステップＳ４０４からＳ４１０までの処理が終了すると、認識された全ての人間について処理が行われたかどうかが判定され（ステップＳ４１１）、全ての人間について処理が行われていなければ、ステップＳ４０５に戻って、次の人間の解析処理を行う。全ての人間について処理が終了していれば、注目度を求めて（ステップＳ４１２）、処理を終了する。
ここで、注目度の算出方法について詳細に説明する。注目度Ｎを以下の式で定義する。
【００４１】
【数１】
2009116510.tif 000003
【００４２】
Ｐnumは撮像された映像中の人数、Ｐbdyは体の向き、Ｐfacは顔の向き、Ｐeyeは視線の強さ、Ｐdisはカメラ１１０と人間との距離、Ｐdirは移動方向、Ｐspdは移動速度、Ａｖｅ（Ａ）はＡの平均値、α、β、γ、δ、ε、ζ、η、θは重み付け係数である。体の向きＰbdy、顔の向きＰfac、視線の強さＰeyeは、カメラ１１０に対して正対している向きであれば１、真逆の向きであれば０とし、カメラ１１０に体、顔、視線が向いているほど高い値をとる。移動方向Ｐdirは、カメラ１１０に向かっている場合を１、カメラから遠ざかっている場合を０とし、カメラ１１０に近づくほど高い値をとる。移動速度Ｐspdは、移動速度が遅いほど高い値をとる。
【００４３】
式（１）において、第１項は人数、第２項は体の向き、第３項は顔の向き、第４項は視線の強さ、第５項はカメラ１１０と人間との距離、第６項は視線の強さと、カメラと人間の距離との積、第７項は移動方向、第８項は移動速度の評価値を意味している。各重み付け係数については、どの解析結果を重視するかにより調整される。
【００４４】
なお、移動方向と移動速度の積の項目を追加してもよい。また、式（１）は、上記に限定されず、解析する項目により変化する。例えば、体の向きＰbdy、顔の向きＰfac、移動方向Ｐdir、移動速度Ｐspdを解析しなければ、以下の式になる。
【００４５】
【数２】
2009116510.tif 000004
【００４６】
なお、上記式（２）において、（１）式のβ、γ、η、θを０に設定してもよい。
このように、認識処理部３０１が解析した結果に基づいて、注目度算出処理部３０２が注目度の算出を行うことができる。
なお、図４において、ステップＳ４０５の体の向きを検出する処理からステップＳ４１０の移動速度を求める処理までは、全て省略してもよいし、少なくとも一の処理を行うようにしてもよい。また、それに合わせて、注目度算出処理部３０２が行う算出処理も対応させる。例えば、図４においてステップＳ４０４の処理を省略した場合は、式（１）における第２項の項目は削除されるか、またはβの値を０に設定する。
【００４７】
以上のように、本実施形態に係る注目度算出装置においては、撮像された映像に映った人間の数や挙動を解析し、それらの結果と予め設定された重み付け情報に基づいて注目度を求めるため、人が多く集まる場所や街中のように広範囲の場所であっても、総合的に注目度を求めることができ、求めた注目度に応じて様々が処理を行うことができる。また、映像に映った各人間と撮像装置との距離、映像に映った各人間の顔の向き、映像に映った各人間の視線方向、映像に映った各人間の移動速度、及び、映像に映った各人間の移動方向の少なくとも一の情報に基づいて人間の挙動を解析するため、様々な視点で細かい解析結果を得ることができると共に、それらの結果を総合的に判断して注目度を求めることで、正確な注目度を得ることができる。
【００４８】
（本発明の第２の実施形態）
本実施形態に係る注目度算出装置のハードウェア構成は、第１の実施形態と同様であるため説明は省略する。
図９は、本実施形態に係る注目度算出装置のモジュール構成図である。第１の実施形態と異なる点は、入力情報としてカメラ１１０で撮像された映像以外に、音を集音するマイク１３０、ミリ波レーダ１４０、荷重センサ１５０を備える点である。その他の構成については、第１の実施形態と同様であるため説明は省略する。
【００４９】
なお、カメラ１１０、マイク１３０、ミリ波レーダ１４０、荷重センサ１５０と注目度算出装置１は一体的な装置として捉えてもよい。すなわち、注目度算出装置の構成要素にカメラ１１０、マイク１３０、ミリ波レーダ１４０、荷重センサ１５０を含むようにしてもよい。
【００５０】
以下、複数のセンサを基に人間の認識、及び、挙動の解析を行う認識処理部３０１の処理について詳細に説明する。カメラ１１０により撮像された映像による人間の認識、及び、挙動の解析については第１の実施形態と同様であるため説明は省略する。マイクによる人間の認識については、例えば、ＩＳＢＮ：９７８４２５４０９７１６、“ニューラルネットと計測制御”で示されているニューラルネットワークを用いて、予め人間の混雑／注目状況毎の装置周辺の音声を記録／学習することで、現在の音声ではどの程度の混雑／注目状況かを把握することができる。ミリ波レーダについては、例えば、IEICE  technical  report.  PRMU、Vol.106、No.605、pp.85−90に示されているように、対象物から反射してきた電波を受信し、伝搬時間やドップラー効果によって生じる周波数差などを基に、対象物の位置や相対速度を測定し、映像による人間の認識結果と統合することで、映像での距離計測の精度を高めることができる。用いるセンサは、マイク、ミリ波レーダ単体、併用でも、その他のものを使っても良い。以上の処理により、映像による人間の認識、及び、挙動の解析結果以外に、音声、ミリ波などのカメラ１１０以外のセンサによる人間の認識、及び、挙動の解析結果を得ることができる。これらの結果を注目度算出部３０２へ送る。
注目度算出部３０２は、認識処理部３０１の結果に基づいて注目度を求める。注目度Ｎを以下のように定義する。
【００５１】
【数３】
2009116510.tif 000005
【００５２】
Ｐnumは撮像された映像中の人数、Ｐbdyは体の向き、Ｐfacは顔の向き、Ｐeyeは視線の強さ、Ｐdisはカメラ１１０と人間との距離、Ｐdirは移動方向、Ｐspdは移動速度、Ｐvoiceは音声による認識結果、Ｐs2はセンサ２による認識結果、ＰsNはセンサＮによる認識結果、Ａｖｅ（Ａ）はＡの平均値、α、β、γ、δ、ε、ζ、η、θ、ι、λ、ωは重み付け係数である。第８項までは式（１）と同じくカメラ１１０により撮像された映像の認識、及び、挙動の解析結果である。ただし、ミリ波レーダを用いた場合は、Ｐdisはミリ波レーダによる結果とする。第９項以下は、カメラ以外のセンサの認識処理部３０１での認識、及び、挙動の解析結果である。以上のように、複数のセンサの認識結果を総合的に判断し注目度を求める。各重み付け係数については、第１の実施形態と同様に、どの認識結果を重視するかにより調整される。
【００５３】
以上のように、本実施形態に係る注目度算出装置においては、装置の周辺の状況を、任意の物理量を検知した結果に基づいて総合的に解析して注目度を求めるため、映像のみから注目度を求める場合に比べて、より正確に人間と撮像装置の距離や人間の数や移動方向や移動速度を測定することができ、高精度に注目度を求めることができる。
なお、物理量は、音波、電波、電磁波、温度、圧力、重量等の物理的な量であれば何でもよく、その物理量に対応したセンサを備える構成となる。
【００５４】
（本発明の第３の実施形態）
（１．構成と機能）
（１−１  ハードウェア構成）
本実施形態に係る情報提供装置のハードウェア構成は、第１及び第２の実施形態と同様であるため説明は省略する。
【００５５】
（１−２  モジュール構成と機能）
図１０は、本実施形態に係る情報提供装置のモジュール構成図である。情報提供装置２は、提供情報データベース３１１と、注目度入力手段としての注目度入力部３１２と、提供情報管理手段としての提供情報管理部３１３と、提供情報選択手段としての提供情報選択処理部３１４と、履歴情報保存手段としての履歴情報生成部３１５と、履歴情報データベース３１６とを備える。
提供情報データベース３１１は、情報提供装置２の周辺にいる人間に対して提供する提供情報を格納するデータベースである。
【００５６】
注目度入力部３１２は、注目度を入力する処理を行う。注目度は、例えば、第１の実施形態で示したような注目度算出装置から入力するようにしてもよいし、値をマウス２０７やキーボード２０８から入力するようにしてもよい。
提供情報管理部３１３は、提供情報データベース３１１が格納する提供情報を管理する処理を行う。提供情報の詳細な管理方法は後述する。
【００５７】
提供情報選択部３１４は、提供情報管理部３１３が管理する情報に基づいて提供情報を選択してモニタ１６０に出力する処理を行う。
履歴情報生成部３１５は、提供情報選択部３１４が選択してモニタ１６０に出力した提供情報と注目度入力部３１２が入力した注目度を対応付けて履歴情報を生成する処理を行う。
【００５８】
履歴情報データベース３１６は、履歴情報生成部３１５が生成した履歴情報を格納するデータベースである。
なお、履歴情報生成部３１５及び履歴情報データベース３１６については備えても備えなくてもよい。
【００５９】
（２．動作）
図１１は、本実施形態に係る情報提供装置２の動作を示すフローチャートである。まず、注目度入力部３１２により注目度が入力される（ステップＳ１１０１）。入力された注目度に基づいて提供情報データベース３１１に格納されている提供情報の出力優先度を決定する（ステップＳ１１０２）。出力優先度に基づいて出力制御情報（出力制御テーブル）を生成する（ステップＳ１１０３）。出力制御テーブルから出力する提供情報を選択し（ステップＳ１１０４）、モニタ１６０に出力する（ステップＳ１１０５）。モニタ１６０に出力された提供情報については、出力制御テーブルに「出力済み」を示すフラグをセットする（ステップＳ１１０６）。ステップＳ１１０５で出力された提供情報とステップＳ１１０１で入力された注目度を対応付けて履歴情報を生成し（ステップＳ１１０７）、履歴情報データベース３１６に格納する（ステップＳ１１０８）。全ての提供情報について「出力済み」を示すフラグがセットされたかどうかを判定し（ステップＳ１１０９）、全ての提供情報についてフラグがセットされていなければ、ステップＳ１１０４に戻って、次の提供情報を選択する。全ての提供情報についてフラグがセットされていれば、「出力済み」を示すフラグをクリアして（ステップＳ１１１０）、処理を終了する。
なお、履歴情報生成部３１５及び履歴情報データベース３１６を備えない構成とした場合は、ステップＳ１１０７及びステップＳ１１０８の処理は省略してもよい。
【００６０】
上記処理をさらに詳細に説明する。提供情報選択部３１４は、図１２に示すような、注目度と出力する提供情報とを対応付けた提供情報選択テーブルを保持している。図１２（ａ）は、晴れの日の平日の朝用の提供情報選択テーブルであり、図１２（ｂ）は、晴れの日の休日の朝用の提供情報選択テーブルである。このように、曜日、天気、時間帯ごとに様々な状況に応じて提供情報選択テーブルが存在する。
【００６１】
提供情報選択テーブルは、注目度により出力を優先する提供情報を記したものであり、図１２（ａ）の場合は、映像Ａは注目度が１０以上の場合に優先されることを意味する。すなわち、優先度が高い映像ほど注目度の高い場合に表示する機会を設定できる。このように、注目度入力部３１２が入力した注目度を提供情報選択選択テーブルで参照し、出力を優先すべき提供情報を提供情報管理部３１３に通知する。
【００６２】
なお、提供情報選択テーブルは、曜日、天気、時間帯ごと以外にも、月、年、週、季節、温度、湿度、気圧、イベント、及び、地域等、あらゆる状況に応じて用意することが可能である。
【００６３】
一方、提供情報管理部３１３は、モニタ１６０に表示する提供情報を管理するために、図１３に示すような提供情報表示テーブルを保持している。提供情報表示テーブルは、提供情報の表示順、提供する情報、表示する時間、及び、提供状態を管理するフラグを有しており、この表示順と表示時間を基にしたタイミングで繰り返し表示する。ただし、この順番は、提供情報選択部３１４より送られてくる優先度を示す優先情報により変更される。情報提供表示テーブルのフラグは、提供情報がモニタ１６０に表示完了後１（表示済み）になり、テーブル内の全ての提供情報が表示完了となったら（フラグが全て１になったら）全ての提供情報のフラグを０にクリアする。フラグは、注目度による提供情報の変更を制御するための仕組みであり、フラグが１の提供情報については、提供情報選択部３１４から優先情報が送られてきた場合であっても表示順の変更を禁止する。この仕組みにより、注目度が高い状況で、同じ提供情報が何度も表示される状態を防止する。この映像表示テーブルの表示順に応じて提供情報選択部３１４へ提供情報を送る。
【００６４】
図１４及び図１５を参照してさらに具体的に説明する。図１４は、提供情報選択部３１４が保持する提供情報選択テーブルと提供情報管理部３１３が保持する提供情報表示テーブルである。図１５は、提供情報が提供される様子を時系列に示した図である。図１４（ａ）は、提供情報選択部３１４が保持する提供情報選択テーブルであり、図１４（ｂ）は、時刻Ｔ0における提供情報管理部３１３が保持する提供情報表示テーブルである。時刻Ｔ0においては、映像Ｃ、映像Ｄ、映像Ａ、映像Ｂの順に表示される状態であり、現時点ではどの映像も表示されていない状態である。図１５で時刻Ｔ1において、注目度情報（＝２５）を受信すると、図１４（ａ）の提供情報選択テーブルより、注目度２５で優先される映像は映像Ａと映像Ｂであるため、時刻Ｔ2で提供情報選択部３１４は、これら２つの映像の表示順を優先するように提供情報管理部３１３へ通知する。この通知により、提供情報管理部３１３では、提供情報表示テーブルについて、映像Ａ及び映像Ｂの表示順を現在表示中の映像Ｃの次に変更し、新しい表示順を確定し、時刻Ｔ3で次に表示予定の映像Ａを提供情報選択部３１４へ送る。時刻ＴNでは、映像Ｃの表示が完了し、映像Ｃのフラグに１が設定される。
【００６５】
映像Ｃについて、フラグに「１：表示済み」が設定されると、履歴情報生成部３１５が履歴情報を生成する。履歴情報は、図１６に示すように、映像表示時の注目度や表示回数などの履歴情報である。図１６（ａ）は、提供情報と当該提供情報が表示された時刻と注目度を対応付けたテーブルであり、図１６（ｂ）は、提供情報と当該提供情報が表示された回数と平均の注目度を示すテーブルである。これらの履歴テーブルは履歴情報データベース３１６に保存され、必要に応じて参照、取り出しが可能である。
【００６６】
このような構成で処理を行うことで、注目度に応じて、表示する情報の順番を動的に制御することが可能となり、映像表示時の注目度および表示回数などの履歴情報を保存しておくことで、表示時や表示時刻毎の注目度を集計することができると共に、各映像が広告映像である場合においては、広告費に見合った注目度や表示回数で表示されているかを確認することができ、新しい広告費の設定基準の作成や、広告費へのフィードバック（追加徴収および返金）する仕組みを可能とする。
【００６７】
以上のように、本実施形態に係る情報提供装置においては、注目度に基づいて周辺にいる人間に対して情報を提供するため、状況に応じて適切な情報を動的に提供することができ、情報を効果的に発信することができる。特に、提供情報が広告映像のような場合は、注目度により広告映像の効果が大きく異なるため、非常に有効な技術となる。また、提供情報が出力された履歴情報を、提供情報が出力された時の注目度と併せて格納して保存するため、提供時における注目度を集計することができ、各提供情報の実際の効果を後から確認することができ、改善が必要な場合には、それを直ちにフィードバックすることができる。
【００６８】
なお、提供される情報は映像に限定せず、音声や映像と音声の組み合わせでもよい。
また、第１及び第２の実施形態に係る注目度算出装置と組み合わせて、情報提供システムを構築するようにしてもよい。
【００６９】
（本発明の第４の実施形態）
（１．構成と機能）
（１−１  ハードウェア構成）
本実施形態に係る情報提供装置のハードウェア構成は、第１、第２及び第３の実施形態と同様であるため説明は省略する。
【００７０】
（１−２  モジュール構成と機能）
図１７は、本実施形態に係る情報提供装置のモジュール構成図である。第３の実施形態と相違する点は、提供情報選択部３１４が通常の場合に提供情報を送信するモニタ１６０以外に、特別の場合に提供情報を送信する特別情報表示部１７０を備えている点である。
特別情報表示部１７０は、モニタ１６０に表示されている任意の一の提供情報以外の提供情報を表示する必要がある場合に、提供情報選択部３１４から送られてくる他の提供情報を表示する処理を行う。
【００７１】
（２．動作）
図１８は、本実施形態に係る情報提供装置２の動作を示すフローチャートである。ステップＳ１１０１からステップＳ１１０５までの処理は第３の実施形態と同様であるため、説明は省略する。ステップＳ１１０５で任意の一の提供情報が出力されると、当該提供情報が出力されている間に注目度が大きく変化したかどうかを判定する（ステップＳ１８０１）。変化の度合いは、予め閾値を設定しておき（例えば１０）、変化量がその閾値を超えた場合に、注目度が大きく変化したと判断する。注目度が大きく変化していなければ、第３の実施形態と同様にステップＳ１１０６からステップＳ１１１０までの処理を行って、処理を終了する。注目度が大きく変化していれば、特別情報表示部１７０に他の提供情報を出力する（ステップＳ１８０２）。ステップＳ１８０２で他の提供情報の出力が完了すると、第３の実施形態と同様にステップＳ１１０７からステップＳ１１１０までの処理を行って、処理を終了する。
【００７２】
上記処理について、さらに詳細に説明する。図１９は、特別情報表示部１７０に提供情報を表示する様子を示す図である。図１９は、街中の大画面でサッカー中継が行われている。試合に動きがない場合は、画面に注目する人数が少なく、その注目度（例えば、注目度５とする）に対応する提供情報（提供情報Ｓとする）が通常の提供情報出力領域に表示される。しかし、ゴールシーンのように、試合に動きが出てくると、画面に注目する人数が急激に増え、その注目度（例えば、４０とする）と通常の提供情報出力領域に表示されている提供情報Ｓの対応関係が大きくずれる場合がある。そのような場合に、提供情報Ｓの表示を維持させつつ、注目度４０に対応する提供情報（提供情報Ｔとする）を特別情報表示領域に表示させる。このように提供情報の表示を選択的に表示させることで、注目度に対応する提供情報を表示させることができる。特に、提供情報が広告の場合には、広告費をたくさん払っているにも関わらず、注目度が高い時に広告情報が提供されないのは不公平となってしまうため、そのような不公平感をなくし、広告費を多く払ったスポンサーの広告情報は、注目度が高い場合には必ず提供されるようにすることができる。
【００７３】
以上のように、本実施形態に係る情報提供装置においては、提供情報出力手段が任意の一の提供情報を出力している場合に、注目度入力手段が入力した注目度に基づいて、他の提供情報を提供情報データベースから抽出して出力するため、注目度が急激に変化した場合であっても、現在提供している情報は提供している状態を保持しつつ、他の提供情報を効果的で且つ動的に提供することができる。
なお、第１及び第２の実施形態に係る注目度算出装置と組み合わせて、情報提供システムを構築するようにしてもよい。
【００７４】
（その他の実施形態）
（１．表示回数の設定）
提供情報管理部３１３より送られてくるモニタ１６０へ表示する提供情報について、注目度に応じて、モニタへ表示する時間（回数）を調整することができる。図２０に表示時間（回数）調整するための時間調整テーブルを示す。時間調整テーブルは、注目度により表示する提供情報の表示時間（回数）を記したものであり、この場合、映像Ａは注目度が５０〜１００の場合には２回連続で表示し、映像Ｃは注目度によらず１回のみ表示することを意味する。すなわち、優先度が高い映像ほど注目度の高い場合には表示する機会を多く設定できる。また、提供情報選択テーブルのように、注目度のみではなく、表示する曜日、時間帯によっても用意することも可能である。
【００７５】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【００７６】
（２．付記）
上記実施形態に関し、更に以下の付記を開示する。
（付記１）周辺の映像を撮像する撮像装置、注目度算出装置と情報提供装置が連動する情報提供システムであって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記映像に映っている１又は複数の人間を認識し、当該人間の挙動を解析する認識処理手段と、前記認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段と、を備える注目度算出装置と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置から出力された注目度を入力する注目度入力手段と、前記注目度、及び、前記出力の優先度に基づいて、前記提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から提供する提供情報を選択する提供情報選択手段と、該選択された提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段と、該出力した提供情報及び当該提供情報が出力された時の注目度を対応付けて、履歴情報として格納する履歴情報保存手段と、を備える情報提供装置とを備える情報提供システム。
【００７７】
（付記２）周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能な注目度算出装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手段と、該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段とを備えることを特徴とする注目度算出装置。
【００７８】
（付記３）前記付記２に記載の注目度算出装置において、前記認識処理手段が、前記映像に映った各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動を解析することを特徴とする注目度算出装置。
【００７９】
（付記４）前記付記２または３に記載の注目度算出装置において、任意の物理量を検知する検知手段を備え、該検知手段にて検知された物理量に基づいて、前記認識処理手段が当該注目度算出装置の周辺の状況を解析し、前記注目度算出手段が当該認識処理手段にて解析された結果に基づいて注目度を求めることを特徴とする注目度算出装置。
【００８０】
（付記５）注目度を出力する注目度出力手段を備える注目度算出装置と連携可能な情報提供装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置の前記注目度出力手段から注目度を入力する注目度入力手段と、前記入力した注目度、及び、当該注目度に応じて予め設定された提供情報の出力の優先度に基づいて、前記提供情報データベースに格納された提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該生成した制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から、提供する提供情報を選択する提供情報選択手段と、該選択した提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段とを備えることを特徴とする情報提供装置。
【００８１】
（付記６）前記付記５に記載の情報提供装置において、前記提供情報出力手段が任意の一の提供情報を出力している場合に、前記注目度入力手段が入力した注目度に基づいて、前記情報選択手段が他の提供情報を選択し、当該他の提供情報を前記提供情報データベースから抽出して出力する特別情報出力手段を備えることを特徴とする情報提供装置。
【００８２】
（付記７）周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として動作させる注目度算出方法であって、前記コンピュータに、人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶ステップと、前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理ステップと、該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求めるステップと、前記注目度を求めるステップで求められた注目度を出力する注目度出力ステップと実行させる注目度算出方法。
【００８３】
（付記８）周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として機能させる手順を実行させるための注目度算出プログラムであって、人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶手順と、前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手順と、前記認識された人間物の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める手順と、前記注目度を求める手順で求められた注目度を出力する注目度出力手順とをコンピュータに実行させるための注目度算出プログラム。
【００８４】
（付記９）前記付記７に記載の注目度算出方法において、前記認識処理ステップで、前記映像に映っている各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動が解析されることを特徴とする注目度算出方法。
【００８５】
（付記１０）前記付記８に記載の注目度算出プログラムにおいて、前記認識処理手順で、前記映像に映っている各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動が解析されることを特徴とする注目度算出プログラム。
【００８６】
このように、上記各実施形態によれば、通行人の注目度を計測し、計測値により提供する情報を動的に制御することができる。これにより、例えば、提供情報が広告の場合は、高い広告費を支払えば、注目度が高い状況（多くの人が見ている，存在している、近くにいる、など）で広告を提供できるなど、対価に合った情報提供を可能にし、広告主の満足度および広告効果を高めることができる。また、広告費を決定するために、予め情報提供装置周辺の通行量などの統計値について人手を介して調べるという作業も必要ない。従って、広告配信依頼側には効果的な情報配信の機会を与え、広告配信場所の提供側には広告配信料の統計調査の簡易化を図るなど、双方にとって有益な広告配信システムを実現することができる。
【図面の簡単な説明】
【００８７】
【図１】第１の実施形態に係る注目度算出装置の概要を示す図である。
【図２】第１の実施形態に係る注目度算出装置のハードウェアの構成図である。
【図３】第１の実施形態に係る注目度算出装置のモジュール構成図である。
【図４】第１の実施形態に係る注目度算出装置の動作を示すフローチャートである。
【図５】人間の認識及び挙動を解析する処理を示す図である。
【図６】顔の向きを検出する処理を示す図である。
【図７】カメラと人間の距離を計算する処理を示す図である。
【図８】カメラと人間との距離を計算する処理のフローチャートである。
【図９】第２の実施形態に係る注目度算出装置のモジュール構成図である。
【図１０】第３の実施形態に係る情報提供装置のモジュール構成図である。
【図１１】第３の実施形態に係る情報提供装置の動作を示すフローチャートである。
【図１２】提供情報選択テーブルを示す図である。
【図１３】提供情報表示テーブルを示す図である。
【図１４】提供情報選択部が保持する提供情報選択テーブルと提供情報管理部が保持する提供情報表示テーブルを示す図である。
【図１５】提供情報が提供される様子を時系列に示す図である。
【図１６】履歴情報を示す図である。
【図１７】第４の実施形態に係る情報提供装置のモジュール構成図である。
【図１８】第４の実施形態に係る情報提供装置の動作を示すフローチャートである。
【図１９】特別情報表示部に提供情報を表示する様子を示す図である。
【図２０】時間調整テーブルを示す図である。
【符号の説明】
【００８８】
１  注目度算出装置
２  情報提供装置
１１０  カメラ
１２０  算出結果
１３０  マイク
１４０  ミリ波レーダ
１５０  荷重センサ
１６０  モニタ
１７０  特別情報表示部
２０１  ＣＰＵ
２０２  ＲＡＭ
２０３  ＲＯＭ
２０４  フラッシュメモリ
２０５  ＨＤ
２０６  ＬＡＮカード
２０７  マウス
２０８  キーボード
２０９  ビデオカード
２０９ａ  ディスプレイ
２１０  サウンドカード
２１０ａ  スピーカ
２１１  ドライブ
３０１  認識処理部
３０２  注目度算出部
３０３  注目度出力部
３１１  提供情報データベース
３１２  注目度入力部
３１３  提供情報管理部
３１４  提供情報選択部
３１５  履歴情報生成部
３１６  履歴情報データベース
【図１】
2009116510.tif 000006
【図２】
2009116510.tif 000007
【図３】
2009116510.tif 000008
【図４】
2009116510.tif 000009
【図５】
2009116510.tif 000010
【図６】
2009116510.tif 000011
【図７】
2009116510.tif 000012
【図８】
2009116510.tif 000013
【図９】
2009116510.tif 000014
【図１０】
2009116510.tif 000015
【図１１】
2009116510.tif 000016
【図１２】
2009116510.tif 000017
【図１３】
2009116510.tif 000018
【図１４】
2009116510.tif 000019
【図１５】
2009116510.tif 000020
【図１６】
2009116510.tif 000021
【図１７】
2009116510.tif 000022
【図１８】
2009116510.tif 000023
【図１９】
2009116510.tif 000024
【図２０】
2009116510.tif 000025