(57)【特許請求の範囲】
【請求項１】
複数の人の動画像を撮像する第一撮像部と、
前記複数の人の各々の体動量を前記第一撮像部での撮像画像から検出する体動量検出部と、
前記複数の人の各々の顔の動画像を撮像する第二撮像部と、
前記第二撮像部を制御して、前記複数の人のうちの前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させる制御部と、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出する視線検出部と、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する注目対象特定部と、
を備えることを特徴とする注目対象特定装置。
【請求項２】
前記第一撮像部は、前記第二撮像部よりも画角が広角であることを特徴とする請求項１に記載の注目対象特定装置。
【請求項３】
複数の人の動画像を撮像する第一撮像部と、
前記複数の人の各々の体動量を前記第一撮像部での撮像画像から検出する体動量検出部と、
前記複数の人の各々の顔の動画像を撮像する第二撮像部と、
前記第二撮像部を制御して、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人の顔、若しくは、前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させる制御部と、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出する視線検出部と、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する注目対象特定部と、
を備え、
前記第二撮像部による前記顔の動画像の撮像におけるフレームレートが、前記第一撮像部による前記複数の人の動画像の撮像におけるフレームレートよりも低い
ことを特徴とする注目対象特定装置。
【請求項４】
前記第一撮像部での撮像画像に映っている前記複数の人のうち、該撮像画像に顔が映っている人を検出する顔検出部を更に備え、
前記制御部は、前記第一撮像部での撮像画像に顔が映っている人についての顔の動画像を前記第二撮像部に撮像させる、
ことを特徴とする請求項１から３のうちのいずれか一項に記載の注目対象特定装置。
【請求項５】
前記視線検出部によって前記視線の方向が検出された人が前記注目を集めている対象物に該視線を向けている時間の長さに基づいて、前記注目を集めている対象物への注目度を分析する分析部を更に備えることを特徴とする請求項１から４のうちのいずれか一項に記載の注目対象特定装置。
【請求項６】
複数の人の動画像を撮像する第一撮像部と、
前記複数の人の各々の体動量を前記第一撮像部での撮像画像から検出する体動量検出部と、
前記複数の人の各々の顔の動画像を撮像する第二撮像部と、
前記第二撮像部を制御して、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人の顔、若しくは、前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させる制御部と、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出する視線検出部と、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する注目対象特定部と、
前記複数の人のうちでの前記注目を集めている対象物への注目度の高さの順位を表している優先度を、前記複数の人の各々と前記対象物との相対的な位置関係に基づき、該複数の人の各々に付与する優先度付与部と、
を備え、
前記制御部は、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人、若しくは、前記検出された体動量が減少した人に、前記優先度の高い順に前記第二撮像部の視野を向けさせて顔の動画像を撮像させる、
ことを特徴とする注目対象特定装置。
【請求項７】
前記注目を集めている対象物は表示装置に表示されており、
前記注目対象特定部は、前記検出された視線の方向に基づくと共に、更に、前記視線検出部によって該視線の方向の検出が行われた人と前記注目を集めている対象物の前記表示装置上での表示位置との相対的な位置関係に基づいて、該対象物を特定する、
ことを特徴する請求項１から６のうちのいずれか一項に記載の注目対象特定装置。
【請求項８】
前記第一撮像部及び前記第二撮像部での撮像画像、前記制御部による制御の履歴、前記体動量検出部による前記体動量の検出結果、及び前記視線検出部による前記視線の方向の検出結果を記憶しておく記憶部を更に備え、
前記注目対象特定部は、前記記憶部での記憶内容を用いて前記対象物を特定する、
ことを特徴する請求項１から７のうちのいずれか一項に記載の注目対象特定装置。
【請求項９】
複数の人の動画像を第一撮像部で撮像し、
前記複数の人の各々の体動量を、前記第一撮像部での撮像画像から検出し、
前記複数の人の各々の顔の動画像を撮像する第二撮像部を制御して、前記複数の人のうちの前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させ、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出し、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する、
ことを特徴とする注目対象特定方法。
【請求項１０】
複数の人の動画像を第一撮像部で撮像し、
前記複数の人の各々の体動量を、前記第一撮像部での撮像画像から検出し、
前記複数の人の各々の顔の動画像を撮像する第二撮像部を制御して、前記複数の人のうちの前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させ、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出し、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する、
処理を演算処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、注目を集めている対象を特定する技術に関するものである。
【背景技術】
【０００２】
特定の注目対象の注目度を計測し、解析して得られる注目度データを容易に把握できるようにするという技術が知られている。この技術は、まず、撮像された人物の視線方向を計測し、計測された視線方向から、その人物の注目位置情報を算出し、算出された注目位置情報を用いて、その人物の注目対象についての注目度情報を算出する。この技術は、その後、算出された注目度情報に基づき生成されたグラフィックス情報と、注目対象の画像とを重ね合わせた表示を行う。
【０００３】
また、人体の眼球運動から映像コンテンツの評価を行うという技術が知られている。この技術は、評価すべき映像としての刺激映像をディスプレイに提示すると共に、この刺激映像を観察中の被検者の眼球反応の撮像を行う。この技術は、その後、撮像された眼球画像信号を２値化処理して所定の眼球運動データを得ると共に、刺激映像と、それに対応する眼球運動データとを時間軸上に併せて表示する。
【０００４】
また、画像表示装置に表示される画像が動画像の場合に、画像を見ている時間や人数だけでなく、注目しているタイミングを考慮して注目度の度合いを測定するという技術が知られている。この技術は、まず、表示部に表示された動画像情報を注視する被検査個体を撮像し、撮像画像から人物の視線を検出し、検出された視線が表示部を注視しているかを判断し、注視している人数をカウントする。この技術は、その後、カウントされた人数と、各フレームに与えられたフレーム重みとから、動画のフレームがどれだけ注目されたかを表すフレーム注目スコアを算出し、算出されたフレーム注目スコアから動画像全体における動画像注目スコアを算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２８６９９５号公報
【特許文献２】特開２００４−２８２４７１号公報
【特許文献３】特開２００６−２６８６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
広告のためにコンテンツ（商品等の対象物）を表示若しくは配置する表示装置（デジタルサイネージ：Digital Signage ）や商品陳列棚というものが知られている。以下の説明では、これらを「サイネージ」と総称する。
【０００７】
サイネージでは、複数の見物人が、そこに表示若しくは配置される様々なコンテンツを同時に見ながら、欲しいものがあるかどうかの品定めをする。このような状況では、各見物人は、様々なコンテンツに視線を向け、その注目度に応じて移動する。このような、複数の見物人がサイネージのコンテンツを同時に見るような環境下において、コンテンツの提供者には、コンテンツの見物人の注目度を調べ、どのコンテンツが気に入っているかを知り、その知見を今後の商品開発に役立てたいという希望がある。
【０００８】
複数の見物人がサイネージ上のコンテンツを見ている際における、当該コンテンツに対する注目度を抽出する手法が知られている。そのひとつに、図１に図解するように、サイネージ１上のコンテンツ２を見ている複数の見物人３の顔画像を１人ずつカメラ４で撮像し、この顔画像から検出される各見物人３の視線の情報に基づいて、コンテンツ２に対する注目度を抽出するという手法がある。この手法では、１台のカメラを回動させながら、例えば１秒程度の短時間の撮像時間で見物人３の顔画像を一人ずつ撮像するようにして視線情報を取得する。
【０００９】
ところが、この手法では、見物人３が本当にコンテンツ２に注目しているかどうかを正しく判定することは難しい。これは、上述のような短時間の撮像時間では、その撮像時にたまたまコンテンツ２を眺めていた場合や、注目していたコンテンツ２からたまたま視線を外していた場合などに、見物人３がコンテンツ２に注目しているかどうかを誤認することがあるためである。
【００１０】
一般に、人が注意を向けようとして対象物を実際に見る場合には、じっと（例えば５秒程度）見続けることが多い。そこで、例えば、一人の顔画像を例えば十数秒間連続して撮像して得られた顔画像を使用して視線情報を取得するようにすれば、見物人３がコンテンツ２に注目しているかどうかを確定できるようにはなる。しかし、コンテンツ２への注目度の抽出をする処理を特定の一人に注力すれば、他の見物人３は、その場から離れてしまったり、注目しているコンテンツ２の対象が変わってしまったりして、他の見物人３のコンテンツ２への注目度の抽出がおろそかになってしまう。このように、上述した手法では、サイネージ１を見ている見物人３全員を対象としてコンテンツ２への注目度の抽出を行うことは難しい。
【００１１】
また、別の手法として、図２に図解するように、画角の広い広角カメラ５を使用して、同時にサイネージ１を見ている見物人３全員の顔又は体を撮像するという手法が考えられる。しかし、この手法では、各見物人３がどの方向を向いているかまでは確認できるものの、各見物人３が何かに注目しているかどうかを個別に確認することは難しい。また、広角カメラ５で得られる広角画像から見物人３の視線情報を取得することは難しいため、この手法では、各見物人３がコンテンツ２にどの程度注目しているのかを詳細に調べることが困難である。
【００１２】
また、複数の人の各々についてコンテンツに注目しているかどうかを確定するために、カメラを多数用意して、各カメラで各人の顔画像を撮像して視線情報を取得することは可能であるが、多数のカメラを用意することでコストが極めて高くなってしまう。
【００１３】
上述した問題に鑑み、本明細書で後述する注目対象特定装置は、注目を集めている対象を的確に特定できるようにする。
【課題を解決するための手段】
【００１４】
本明細書で後述する注目対象特定装置のひとつに、第一撮像部と、体動量検出部と、第二撮像部と、制御部と、視線検出部と、注目対象特定部とを備えるというものがある。ここで、第一撮像部は、複数の人の動画像を撮像する。体動量検出部は、この複数の人の各々の体動量を、第一撮像部での撮像画像から検出する。第二撮像部は、この複数の人の各々の顔の動画像を撮像する。制御部は、第二撮像部を制御して、この複数の人のうちの検出された体動量が減少した人の顔に第二撮像部の視野を向けさせて、その顔の動画像を撮像させる。視線検出部は、第二撮像部での撮像画像に顔が映っている人の視線の方向を当該撮像画像から検出する。そして、注目対象特定部は、注目を集めている対象物を、検出された視線の方向に基づいて特定する。
【００１５】
また、本明細書で後述する注目対象特定方法のひとつは、まず、複数の人の動画像を第一撮像部で撮像する。次に、この複数の人の各々の体動量を、第一撮像部での撮像画像から検出する。次に、この複数の人の各々の顔の動画像を撮像する第二撮像部を制御して、複数の人のうちの検出された体動量が減少した人の顔に第二撮像部の視野を向けさせて、その顔の動画像を撮像させる。次に、第二撮像部での撮像画像に顔が映っている人の視線の方向を当該撮像画像から検出する。そして、注目を集めている対象物を、検出された視線の方向に基づいて特定する。
【００１６】
また、本明細書で後述するプログラムのひとつは、以下の処理を演算処理装置に行わせる。この処理は、まず、複数の人の動画像を第一撮像部で撮像する。次に、この複数の人の各々の体動量を、第一撮像部での撮像画像から検出する。次に、この複数の人の各々の顔の動画像を撮像する第二撮像部を制御して、複数の人のうちの検出された体動量が減少した人の顔に第二撮像部の視野を向けさせて、その顔の動画像を撮像させる。次に、第二撮像部での撮像画像に顔が映っている人の視線の方向を当該撮像画像から検出する。そして、注目を集めている対象物を、検出された視線の方向に基づいて特定する。
【発明の効果】
【００１７】
本明細書で後述する注目対象特定装置によれば、注目を集めている対象を的確に特定できるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】コンテンツに対する注目度を抽出する手法の第一の例を説明する図である。
【図２】コンテンツに対する注目度を抽出する手法の第二の例を説明する図である。
【図３】注目対象特定装置の一実施例の構成を図解した機能ブロック図である。
【図４】注目対象特定装置の一実施例のハードウェア構成図である。
【図５】注目対象特定装置において行われる制御処理の処理手順を図解したフローチャートである。
【図６】全身撮像部制御処理の説明図である。
【図７Ａ】コンテンツに注目していない状態の見物人の体の動きの説明図である。
【図７Ｂ】コンテンツに注目している状態の見物人の体の動きの説明図である。
【図８】撮像部制御部による全身撮像部の駆動制御の説明図である。
【図９】全身画像撮像処理の処理手順の一例を図解したフローチャートである。
【図１０】体動量検出・判定処理の処理手順の一例を図解したフローチャートである。
【図１１】撮像部制御部による顔撮像部の駆動制御の説明図である。
【図１２】顔画像撮像処理の処理手順の一例を図解したフローチャートである。
【図１３】コンテンツのサイネージ上の配置位置が表されているテーブルの例である。
【図１４】図１３のテーブルを説明する図である。
【図１５】体動量に基づいたコンテンツへの注目の判定における誤判定の例の説明図である。
【図１６】顔検出部が行う処理の処理手順を図解したフローチャートである。
【図１７】優先度の付与の説明図である。
【図１８】優先度付与部が行う処理の処理手順を図解したフローチャートである。
【発明を実施するための形態】
【００１９】
これより説明する実施例に係る注目対象特定装置では、サイネージに陳列されているコンテンツを複数の人が同時に見ている場合における各人のコンテンツに対する注目度を判定するために、全身撮像用のカメラと視線検出用のカメラとの２台のカメラを使用する。
【００２０】
この装置では、まず、全身撮像用のカメラを用いて、人の体の動きや顔の動きを撮像する。詳しくは後述するが、通常、人は、コンテンツに注目していない状態では、顔や体をいろいろな向きに動かしているが、何かに注意を向けると、体や顔の動きが小さくなる。この装置では、この体や顔の動きの変化を捉えて、注目している人を抽出する。
【００２１】
この装置に使用する全身撮像用のカメラとしては、広角で且つ高フレームレートのカメラを使用し、例えば、３０ｆｐｓ（フレーム／秒）以上の速度で動画像の撮像を行うことが好ましい。なお、この全身撮像用のカメラでの複数の人を撮像する際には、カメラの向きを変えながら一人ずつ全身撮像しても良いし、一度に複数の人の全身を撮像するようにしてもよい。なお、この装置には、全身撮像用のカメラの向きを変える機能を持たせるようにする。
【００２２】
次に、この装置では、視線検出用のカメラを使用して、顔や体の動きが小さい人、若しくはその動きの変化が小さくなった人の顔の画像を撮像し、得られた顔画像から、その視線の方向の検出を行う。
【００２３】
視線検出用のカメラとしては、全身撮像用のものに比べて低フレームレートのカメラを使用し、例えば、１〜２０ｆｐｓ（フレーム／秒）以上の速度で顔の動画像の撮像を行うようにする。これは、通常、人は、何かに注目しているときは、同じコンテンツを比較的長時間継続して見ることから、視線の動きの変化が小さく、従って、低フレームレートでの動画像撮像を行って顔画像の取得枚数を減らしても視線の検出は適切に行えるからである。なお、視線検出用のカメラで顔画像を撮像する際には、カメラの向きを変えながら一人ずつ撮像するようにする。
【００２４】
実施例に係る注目対象特定装置では、上述のように全身撮像用のカメラと視線検出用のカメラとの２台のカメラを使用して、コンテンツに注目する人の注目度を取得する機能を有する。
【００２５】
図３について説明する。図３は、注目対象特定装置の一実施例の構成を図解した機能ブロック図である。
図３の注目対象特定装置１０は、全身撮像部１１、体動量検出部１２、顔撮像部１３、撮像部制御部１４、視線検出部１５、記憶部１６、及び注目対象特定部１７を備えている。
【００２６】
全身撮像部１１は、サイネージに陳列されているコンテンツ（対象物）を見ている、当該サイネージの周囲に在る複数の人の動画像を撮像する。より具体的には、全身撮像部１１は、複数の人の体の動きや顔の動きを撮像する、前述した全身撮像用のカメラである。
【００２７】
体動量検出部１２は、その複数の人の各々の体動量を全身撮像部１１での撮像画像から検出する。
顔撮像部１３は、人の顔の動画像を撮像する。より具体的には、顔撮像部１３は、顔や体の動きが小さい人の顔、若しくはその動きの変化が小さくなった人の顔の画像を撮像する、前述した視線検出用のカメラである。
【００２８】
撮像部制御部１４は、顔撮像部１３を制御して、その複数の人のうちの、体動量検出部１２により検出された体動量が閾値よりも小さい人の顔、若しくは、当該検出された体動量が減少した人の顔に顔撮像部１３の視野を向けさせて、その顔の動画像を撮像させる。また、撮像部制御部１４は、全身撮像部１１の駆動制御も行う。
【００２９】
視線検出部１５は、顔撮像部１３での撮像画像に顔が映っている人の視線の方向を、その撮像画像から検出する。
記憶部１６は、全身撮像部１１及び顔撮像部１３による撮像画像と、撮像部制御部１４による制御の履歴とを記憶しておくメモリである。更に、記憶部１６は、体動量検出部１２による複数の人の各々の体動量の検出結果、及び、視線検出部１５による各人の視線の方向の検出結果を記憶する。
【００３０】
注目対象特定部１７は、記憶部１６に記憶されている情報のうちの、視線検出部１５による各人の視線の方向の検出結果に基づいて、注目を集めているコンテンツの特定を行う。
【００３１】
なお、サイネージがデジタルサイネージである場合、すなわち、注目を集めているコンテンツが不図示の表示装置に表示されている場合がある。この場合には、注目対象特定部１７は、視線検出部１５により検出された視線の方向に基づくと共に、更に、視線検出部１５によって視線の方向の検出が行われた人とコンテンツの表示装置上での表示位置との相対的な位置関係に基づいて、コンテンツの特定を行う。
【００３２】
なお、この注目対象特定装置１０において、全身撮像部１１として、顔撮像部１３よりも画角が広角である撮像部を使用してもよい。このようにすると、１フレームの撮像画像により多数の人の像を取り込むことができる。
【００３３】
また、顔撮像部１３による顔の動画像の撮像におけるフレームレートは、全身撮像部１１による複数の人の動画像の撮像におけるフレームレートよりも低くしてもよい。このようにしても、視線の検出は適切に行うことができ、副次的には、視線検出の処理量の低減化や記憶部１６の容量の節約にも繋がる。
【００３４】
なお、注目対象特定装置１０は、図３において破線を用いて描かれている顔検出部２１を更に備えてもよい。顔検出部２１は、全身撮像部１１での撮像画像に映っている複数の人のうち、当該撮像画像に顔が映っている人を検出する。なお、この場合には、撮像部制御部１４は、顔検出部２１により検出された、全身撮像部１１での撮像画像に顔が映っている人についての顔の動画像を顔撮像部１３に撮像させる。詳細は後述するが、このようにすることで、コンテンツに注目していない人をコンテンツに注目していると誤検出することの抑制が可能になる。
【００３５】
また、注目対象特定装置１０は、図３において破線を用いて描かれている分析部２２を更に備えてもよい。分析部２２は、注目を集めているコンテンツへの注目度の分析を行う。なお、本実施例では、この分析は、視線検出部１５によって視線の方向が検出された人が当該コンテンツに視線を向けている時間の長さに基づいて行われる。なお、分析部２２は、記憶部１６に記憶されている、視線検出部１５による視線の検出結果を用いて、この分析を行う。
【００３６】
また、注目対象特定装置１０は、図３において破線を用いて描かれている優先度付与部２３を更に備えてもよい。優先度付与部２３は、前述の複数の人のうちでの注目を集めているコンテンツへの注目度の高さの順位を表している優先度を、当該複数の人の各々とコンテンツとの相対的な位置関係に基づき、当該複数の人の各々に付与する。なお、この場合、撮像部制御部１４は、複数の人のうちの、体動量検出部１２により検出された体動量が閾値よりも小さい人、若しくは、当該検出された体動量が減少した人に、この優先度の高い順に顔撮像部１３の視野を向けさせて顔の動画像を撮像させる。詳細は後述するが、このようにすることで、コンテンツを見ている複数の人の中でもコンテンツに対する注目度が相対的に高い人ほど早期に視線の検出が行われ、高い注目を集めているコンテンツの特定が早期に行えるようになる。
【００３７】
図３の注目対象特定装置１０は、以上のように構成されている。この注目対象特定装置１０では、まず、サイネージの周囲に在る複数の人の全身画像の取得が行われ、この全身画像から、複数の人の各々の顔や体の動き（体動）を捉え、この体動量に基づき、どの人がコンテンツに注目しているかを判別する。この注目対象特定装置１０では、更に、コンテンツに注目していると判別された人の視線を検出することによって、この人がコンテンツに注目しているかどうかを更に詳細に確認する。このように、注目対象特定装置１０では、コンテンツに注目しているかどうかについて２段階のチェックを行う。注目対象特定装置１０は、このようにすることで、複数の人が同時に同じサイネージを見ている場合に、どのコンテンツに対しての注目度が高いかを、的確に検出することが可能であるので、注目度を検出する際において高い検出性能が得られる。
【００３８】
次に図４について説明する。図４は、注目対象特定装置の一実施例のハードウェア構成図である。
図４において、注目対象特定装置１０は、コンピュータ３０、全身撮像カメラ４１、顔撮像カメラ４２、及びカメラ駆動装置４３を備えている。
【００３９】
コンピュータ３０は、図３における体動量検出部１２、撮像部制御部１４、視線検出部１５、記憶部１６、注目対象特定部１７、顔検出部２１、分析部２２、及び優先度付与部２３の各機能を提供する。
【００４０】
全身撮像カメラ４１は、サイネージに陳列されているコンテンツ（対象物）を見ている、当該サイネージの周囲に在る複数の人の全身画像を撮像するカメラであり、図３における全身撮像部１１の機能を提供する。
【００４１】
顔撮像カメラ４２は、人の顔の動画像を撮像するカメラであり、図３における顔撮像部１３の機能を提供する。
カメラ駆動装置４３は、撮像部制御部１４として機能しているコンピュータ３０によって制御されて、全身撮像カメラ４１及び顔撮像カメラ４２を駆動してその向きを変化させることにより、カメラの視野を変化させる。
【００４２】
コンピュータ３０のハードウェア構成について説明する。
コンピュータ３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、インタフェース装置３４、及びハードディスク装置３５を備えている。なお、これらの構成要素はバスライン３６を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。
【００４３】
ＭＰＵ（Micro Processing Unit）３１は、コンピュータ３０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この基本制御プログラムをコンピュータ３０の起動時に読み出して実行することにより、コンピュータ３０の各構成要素の動作制御が可能になる。
【００４４】
ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００４５】
インタフェース装置３４には、全身撮像カメラ４１、顔撮像カメラ４２、及びカメラ駆動装置４３が接続されている。インタフェース装置３４は、これらの機器との間で行われる、撮像画像データや制御データ等の各種情報の授受の管理を行う。
【００４６】
ハードディスク装置３５は、ＭＰＵ３１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ３１は、ハードディスク装置３５に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。また、ハードディスク装置３５は、図３における記憶部１６として機能する。
【００４７】
前述したように、コンピュータ３０は、図３における体動量検出部１２、撮像部制御部１４、視線検出部１５、記憶部１６、注目対象特定部１７、顔検出部２１、分析部２２、及び優先度付与部２３の各機能を提供する。このためには、以降で説明する各種の制御処理をＭＰＵ３１に行わせるための制御プログラムを予め作成しておき、作成された制御プログラムをハードディスク装置３５に予め格納しておく。そして、コンピュータ３０に所定の指示を与えて、ＭＰＵ３１に上述の制御プログラムをハードディスク装置３５から読み出させて実行させる。こうすることで、コンピュータ３０を、上述した図３における各機能ブロックとして機能させることが可能になる。
【００４８】
また、上述の制御プログラムは、図４に描かれているような可搬型の記録媒体５１に格納しておくようにしてもよい。記録媒体５１としては、例えば、ＵＳＢ（Universal Serial Bus）規格のコネクタが備えられているフラッシュメモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。なお、このようにする場合には、図４において破線を用いて描かれている記録媒体駆動装置５０をコンピュータ３０に備えてバスライン３６に接続しておく。そして、コンピュータ３０に所定の指示を与えて、ＭＰＵ３１に上述の制御プログラムを、記録媒体５１から、記録媒体駆動装置５０を介して読み出させて実行させる。このようにすることによっても、コンピュータ３０を、上述した図３における各機能ブロックとして機能させることが可能になる。
【００４９】
次に、注目対象特定装置１０において行われる制御処理について説明する。図５は、この制御処理の処理手順を図解したフローチャートである。このフローチャートに沿って、この制御処理を説明する。
【００５０】
図５の制御処理が開始されると、まず、Ｓ１００において、全身画像撮像処理を撮像部制御部１４及び全身撮像部１１が行う。全身画像撮像処理は、図６に図解するように、撮像部制御部１４が全身撮像部１１を駆動してその撮像方向を変化させながら、サイネージ１付近に在る複数の見物人３の各々の全身の動画像を全身撮像部１１に撮像させる処理である。この全身画像撮像処理について説明する。
【００５１】
通常、人は、コンテンツに注目していない状態では、顔や体をいろいろな向きに動かしているが、何かに注意を向けると、体や顔の動きが小さくなる。
例えば、図７Ａに図解したように、サイネージ１上のコンテンツ２のうちのどれに注目するかを見物人３が未だ決心していない場合には、見物人３は、サイネージ１のあちらこちらを見回しており、この場合には、見物人３の体や顔はふらついて動いている。その後、図７Ｂに図解したように、注目するコンテンツ２を見物人３が決めた場合には、見物人３の体や顔はそのコンテンツ２の方向に向き、体や顔の動きは小さくなる。全身撮像部１１は、この、見物人３の体や顔の動きが大から小になる変化を捉えるために、見物人３の全身の動画像を撮像する。
【００５２】
撮像部制御部１４は全身撮像部１１を駆動制御して、図８に図解したように、水平面上での回転移動（首振り）と、水平面に対して傾斜させる移動（首の上げ下げ）とを行い、複数の見物人３の全身画像を全身撮像部１１に撮像させる。ここで、全身撮像部１１として、画角が広角であるカメラを使用していれば、１つの撮像フレームに多数の見物人３の全身像を取り込むことができるので、少ない撮像回数で複数の見物人３の全員の全身画像が取得できる。もちろん、全身撮像部１１が複数の見物人３の全身画像を一人ずつ取得するようにしてもよい。
【００５３】
また、上述の実施例では、見物人３の全身画像を全身撮像部１１が取得するようにしているが、見物人３の体動が大から小になる変化が十分に捉えられる場合には、見物人３の顔の画像、若しくは上半身の画像を全身撮像部１１が取得するようにしてもよい。
【００５４】
ここで図９について説明する。図９は、全身画像撮像処理の処理手順の一例を図解したフローチャートであり、図５のフローチャートにおけるＳ１００の処理として注目対象特定装置１０において行われる処理である。なお、図９のフローチャートに図解されている各処理は、全身撮像部１１が図８に図解のように設置されている場合を前提としている。
【００５５】
全身画像撮像処理の処理手順について、図９のフローチャートに沿って説明する。
図９において、まず、Ｓ１０１では、全身撮像部１１の駆動制御を行って、図８の［Ａ］の視野が得られる向きに全身撮像部１１を移動させる処理を撮像部制御部１４が行う。
【００５６】
次に、Ｓ１０２では、図８の［Ａ］の視野が得られる向きで全身撮像部１１を静止させると共に、見物人３の全身の動画像を、例えば３０ｆｐｓのフレームレートで例えば１秒間に亘り、全身撮像部１１に撮像させる処理を撮像部制御部１４が行う。
【００５７】
次に、Ｓ１０３では、全身撮像部１１の駆動制御を行って、図８の［Ｂ］の視野が得られる向きに全身撮像部１１を移動させる処理を撮像部制御部１４が行う。
次に、Ｓ１０４では、図８の［Ｂ］の視野が得られる向きで全身撮像部１１を静止させると共に、見物人３の全身の動画像を、例えば３０ｆｐｓのフレームレートで例えば１秒間に亘り、全身撮像部１１に撮像させる処理を撮像部制御部１４が行う。
【００５８】
次に、Ｓ１０５では、前述したＳ１０１及びＳ１０２の処理並びにＳ１０３及びＳ１０４の処理と同様の全身撮像部１１の移動及び撮像の制御処理を、撮像対象である見物人３を全て撮像するまで撮像部制御部１４が繰り返す。ここで、サイネージ１付近に在る全ての見物人３の全身画像の撮像が完了したときには、図９の全身画像撮像処理が終了し、その後は図５のＳ２００に処理が進む。
以上までの処理が全身画像撮像処理である。
【００５９】
図５の制御処理の説明を続ける。Ｓ１００の全身画像撮像処理に続くＳ２００では、体動量検出・判定処理を体動量検出部１２が行う。体動量検出・判定処理は、見物人３の体動量を、Ｓ１００の処理によって全身撮像部１１により取得された撮像画像から検出し、検出された体動量に基づいて、サイネージ１上のコンテンツ２を見物人３が注目しているか否かの判定を下す処理である。
【００６０】
ここで図１０について説明する。図１０は、体動量検出・判定処理の処理手順の一例を図解したフローチャートであり、図５のフローチャートにおけるＳ２００の処理として注目対象特定装置１０において行われる処理である。
【００６１】
図１０の処理は、全身撮像部１１により取得された撮像画像に含まれている見物人３の一人ずつの全身像に対して行われる。
まず、Ｓ２０１において、撮像画像のフレーム毎に、見物人３の全身像（被写体像）を抽出する処理を体動量検出部１２が行う。
【００６２】
次に、Ｓ２０２では、Ｓ２０１の処理により抽出した被写体像から鼻孔の像を検出し、この鼻孔の像の撮像画像上の位置を取得する処理を体動量検出部１２が行う。本実施例では、この鼻孔の像の位置を、見物人３の体動量の検出の基準として使用する。
【００６３】
次に、Ｓ２０３では、撮像画像において連続する２フレーム毎に、先行するフレームと後続のフレームとの間での鼻孔の像の位置の差分値を計算する処理を体動量検出部１２が行う。本実施例では、撮像画像のフレーム順に算出されるこの差分値を、見物人３の体動量として使用する。
【００６４】
次に、Ｓ２０４では、Ｓ２０３の処理によりフレーム順に取得された体動量が、以下の２つの条件のうちの少なくとも一方を満たしているか否かを判定する処理を体動量検出部１２が行う。この２つの条件のうちの第一の条件は、フレーム順に取得された体動量がその順で単調に減少していることであり、この２つの条件のうちの第二の条件は、フレーム順に取得された体動量の全てが、所定の閾値ｔｈよりも小さいことである。体動量検出部１２は、ここで、この第一の条件と第二の条件とのうちの少なくとも一方を満たしていると判定したとき（判定結果がＹｅｓのとき）にはＳ２０５に処理を進める。一方、体動量検出部１２は、ここで、この第一及び第二の条件のどちらも満たしていないと判定したとき（判定結果がＮｏのとき）にはＳ２０６に処理を進める。
【００６５】
Ｓ２０５では、実行中の体動量検出・判定処理が全身像を処理対象としている見物人３は、サイネージ１上のコンテンツ２に注目している見物人３であるとの判定を下す処理を体動量検出部１２が行う。その後、体動量検出部１２は、体動量検出・判定処理を終了して、図５のＳ３００に処理を進める。
【００６６】
一方、Ｓ２０６では、実行中の体動量検出・判定処理が全身像を処理対象としている見物人３は、サイネージ１上のコンテンツ２に注目している見物人３ではないとの判定を下す処理を体動量検出部１２が行う。その後、体動量検出部１２は、体動量検出・判定処理を終了して、図５のＳ３００に処理を進める。
以上までの処理が体動量検出・判定処理である。
【００６７】
なお、図１０の体動量検出・判定処理では、見物人３の体動量の検出の基準として、鼻孔の像の撮像画像上の位置を使用したが、身体の他の部位の像を、見物人３の体動量の検出の基準として使用してもよい。すなわち、見物人３の体動量の検出の基準として、例えば、見物人３の目（瞳孔）の像や口の像の撮像画像上の位置を使用してもよく、また、見物人３の顔全体の像の輪郭から顔の中心を求め、その中心の撮像画像上の位置を使用してもよい。
【００６８】
図５の制御処理の説明を続ける。Ｓ２００の体動量検出・判定処理に続くＳ３００では、顔画像撮像処理を撮像部制御部１４及び顔撮像部１３が行う。顔画像撮像処理は、撮像部制御部１４が顔撮像部１３を駆動して、その撮像方向を、視線の方向の検出の対象者へ向け、顔の動画像を顔撮像部１３に撮像させる処理である。なお、視線の方向の検出の対象者とは、体動量検出・判定処理によってサイネージ１上のコンテンツ２に注目していると判定された見物人３である。この顔画像撮像処理について説明する。
【００６９】
撮像部制御部１４は顔撮像部１３を駆動制御して、図１１に図解したように、水平面上での回転移動（首振り）と、水平面に対して傾斜させる移動（首の上げ下げ）とを行い、その撮像方向を、検出対象者６へ向ける。このとき、撮像部制御部１４は、顔撮像部１３のズーム量の調整も行って、顔撮像部１３の視野を検出対象者６の顔に合わせる。
【００７０】
なお、顔撮像部１３と全身撮像部１１との初期情報（設置位置、首ふり角、仰角、ズーム量等）は予め把握しておく。顔撮像部１３と全身撮像部１１とは同一の位置に設置してもよく、また、両者を別の位置に設置してもよい。
【００７１】
ここで図１２について説明する。図１２は、顔画像撮像処理の処理手順の一例を図解したフローチャートであり、図５のフローチャートにおけるＳ３００の処理として注目対象特定装置１０において行われる処理である。
【００７２】
図１２の処理は、体動量検出・判定処理によってサイネージ１上のコンテンツ２に注目していると判定された見物人３の全員を視線検出の対象者として、その一人ずつに対して行われる。
【００７３】
まず、Ｓ３０１において、検出対象者６の全身画像を参照する処理を撮像部制御部１４が行う。
次に、Ｓ３０２では、参照中の検出対象者６の全身画像と、全身撮像部１１の設置位置情報と、この全身画像の撮像時における全身撮像部１１の制御情報（首ふり角、仰角など）とに基づき、検出対象者６の位置を特定する処理を撮像部制御部１４が行う。
【００７４】
次に、Ｓ３０３では、Ｓ３０２の処理による検出対象者６の位置の特定結果と、顔撮像部１３の設置位置情報とに基づき、検出対象者６の顔画像の撮像のための顔撮像部１３の制御情報（首ふり角、仰角、ズーム量）を算出する処理を撮像部制御部１４が行う。
【００７５】
次に、Ｓ３０４では、Ｓ３０３の処理によって算出された制御情報に基づいて顔撮像部１３を駆動制御する処理を撮像部制御部１４が行う。
次に、Ｓ３０５では、顔撮像部１３を制御して、検出対象者６の顔の動画像を撮像させる処理を撮像部制御部１４が行う。顔画像の撮像が完了したときには、図１２の顔画像撮像処理が終了し、その後は図５のＳ４００に処理が進む。
【００７６】
図５の制御処理の説明を続ける。Ｓ３００の顔画像撮像処理に続くＳ４００では、視線検出処理を視線検出部１５が行う。この処理は、顔画像撮像処理によって撮像された検出対象者６の顔画像から、検出対象者６の視線の方向を表している視線情報を検出する。なお、本実施例では、顔画像における、眼及び鼻の位置、並びに、眼の瞳孔及び角膜反射を用いて視線情報の検出を行う。なお、眼の瞳孔や角膜反射の情報を顔画像から得るために、顔撮像部１３として、赤外発光ダイオード等を用いて発光させた赤外光を検出対象者６に照射しながら検出対象者６の顔の赤外画像を撮像する赤外画像撮像装置を使用するようにしてもよい。
【００７７】
次に、Ｓ５００では、Ｓ１００の処理で得られた全身画像及びＳ３００の処理で得られた顔画像の画像データ、並びに、Ｓ２００の処理で得られた体動量及びＳ４００の処理で得られた視線情報を記憶しておく処理を記憶部１６が行う。なお、記憶部１６は、画像データ、体動量、及び視線情報は見物人３毎に対応付けて記憶しておくようにし、更に、画像データの撮像日時データ、及び、撮像時の撮像部制御部１４による制御情報も対応付けて記憶しておくようにする。このようにしておくことで、コンテンツ２に対する注目度の分析を、後で行うことができる。なお、体動量及び視線情報は、この他の各種の記憶データから後に改めて検出することができるので、記憶部１６での記憶対象から除外してもよい。
【００７８】
次に、Ｓ６００では、コンテンツ２に対する注目度の判定のためのデータ取得を終了するか否かを判定する処理を撮像部制御部１４が行う。このデータ取得の終了は、例えば、この注目対象特定装置１０の使用者によって指示される。撮像部制御部１４は、ここで、データ取得の終了指示を受けたと判定したとき（判定結果がＹｅｓのとき）にはＳ７００に処理を進める。一方、撮像部制御部１４は、ここで、データ取得の終了指示を受けていないと判定したとき（判定結果がＮｏのとき）にはＳ１００に処理を戻して上述した処理を繰り返すことでデータの取得を継続する。
【００７９】
次に、Ｓ７００では、注目コンテンツ特定処理を注目対象特定部１７が行う。この処理は、検出対象者６が注目しているコンテンツ２を、検出対象者６について検出された視線の方向に基づいて特定する処理である。この処理について説明する。
【００８０】
全身撮像部１１及び顔撮像部１３は、サイネージ１が設置されている場所の近傍の位置に固定して設置されており、その位置で首ふり、首の上げ下げ、ズームなどが行われる。従って、撮像画像に基づいて、サイネージ１上のどのコンテンツ２を見ているかを特定することができる。このために、注目対象特定部１７は以下の処理を行う。
【００８１】
まず、人物とサイネージ１との距離は、全身撮像部１１で撮像した画像全体の倍率（撮像範囲の実際のサイズと画素数との関係）に対する、撮像されている人物像（身長を例えば１．７ｍ程度に仮定）の画素数より、概ね求めることができる。また、人の顔の両目（瞳孔間）の間隔は概ね６５ｍｍであるので、取得画像における両目の間隔に相当する距離と画素数との比を用いても、人物とサイネージ１との概略の距離を求めることができる。更に、顔撮像部１３での検出対象者６の顔画像の撮像時における撮像条件（首ふり角度、仰角、ズーム量）を基に、検出対象者６から見たサイネージ１の位置や方角を求めることができる。これらから、検出対象者６とサイネージ１との位置関係が特定される。注目対象特定部１７は、以上の計算を行って、検出対象者６とサイネージ１との位置関係情報を得る。
【００８２】
一方、注目対象特定部１７には、コンテンツ２のサイネージ１上の配置位置が表されているテーブルを予め用意しておく。図１３は、このテーブルの例である。
図１３のテーブルでは、商品Ａ、Ｂ、Ｃ、…、Ｎの各々について、表示装置であるサイネージ１上の配置位置を表す座標データが示されている。このテーブルにおいて、例えば、商品「Ａ」は、「左右方向」の座標が「α１１〜α１２」とされており、「上下方向」の座標が「β１１〜β１２」とされている。これは、図１４に図解したように、サイネージ１上に右上端を原点とする二次元直交座標を定義したときに、商品Ａが、Ｐ方向（左右方向）の座標α１１〜α１２の範囲、且つ、Ｑ方向（上下方向）の座標β１１〜β１２の範囲に配置されていることを表している。
【００８３】
注目対象特定部１７は、検出対象者６とサイネージ１との位置関係情報と、上述したテーブルと、検出対象者６の視線情報とを用いて、検出対象者６の視線がコンテンツ２を貫いているかどうかを判定する処理を行う。そして、検出対象者６の視線によって貫かれているコンテンツ２を特定する処理を行う。
【００８４】
検出対象者６が注目しているコンテンツ２の特定は、以上のようにして行われる。
なお、上述した注目コンテンツ特定処理では、コンテンツ２のサイネージ１上の配置位置を表す座標データが示されているテーブルを注目対象特定部１７に用意しておくようにしていた。この代わりに、サイネージ１を見るときの見物人３の位置及び視線の方向に揃えた撮像位置及び撮像方向の画像を予めカメラで撮像しておき、この撮像画像を注目対象特定部１７に用意しておくようにする。そして、注目対象特定部１７は、この画像情報を利用して、検出対象者６が注目しているコンテンツ２を特定する処理を行うようにしてもよい。
【００８５】
図５の制御処理の説明を進める。注目対象特定装置１０が分析部２２を備えている場合には、Ｓ７００の注目コンテンツ特定処理に続くＳ８００において、注目度分析処理を分析部２２が行う。この処理は、注目を集めているコンテンツ２への注目の高さ（注目度）を分析する処理である。本実施例では、検出対象者６がコンテンツ２を注目している（視線を向けている）時間の長さを注目度とし、検出対象者６毎且つコンテンツ２毎に、注目度の集計を行うようにする。なお、分析部２２は、注目対象特定部１７によるコンテンツ２の特定情報と、記憶部１６に記憶されている、検出対象者６毎の顔画像の撮像日時データとを用いて、これらの集計を行う。この注目度分析処理を終えた後には、図５の制御処理が終了する。
【００８６】
以上までの制御処理が行われることによって、注目対象特定装置１０により、見物人３からの注目を集めているコンテンツ２の特定が行われる。
なお、以上までに説明した制御処理では、全身撮像部１１で撮像した見物人３の全身の撮像画像から求めた体動量に基づいて、サイネージ１上のコンテンツ２に注目している見物人３であるかどうかの判定を行っている。しかしながら、この判定では、図１５に図解したように、サイネージ１に背を向けて立ち止まっている見物人３ｂや、サイネージ１から視線が外れて静止している見物人３ｄを、見物人３ａ及び３ｃと同様に、コンテンツ２に注目していると誤判定することがある。前述した顔検出部２１は、このような誤判定を抑制するために、注目対象特定装置１０に備えられる。
【００８７】
ここで図１６について説明する。図１６は、顔検出部２１が行う処理の処理手順を図解したフローチャートである。なお、このフローチャートは、図１０の体動量検出・判定処理のフローチャートにおけるＳ２０４の処理とＳ２０５の処理との間に挿入される。
【００８８】
図１０のＳ２０４の判定処理の結果がＹｅｓのとき、まず、Ｓ２１１において、全身撮像部１１により取得された撮像画像に映っている、判定対象の見物人３の全身像から、顔の像を検出する処理を顔検出部２１が行う。顔の像の検出は、例えば、全身像の上部から、肌色の楕円形状の所定サイズの領域（顔）を検出することによって行われる。
【００８９】
次に、Ｓ２１２では、Ｓ２１１の検出処理によって顔の像を検出できたか否かを判定する処理を顔検出部２１が行う。顔検出部２１は、ここで、顔の像を検出できたと判定したとき（判定結果がＹｅｓのとき）には、その見物人３はサイネージ１の方を向いているのでコンテンツ２に注目していると判断して図１０のＳ２０５に処理を進める。一方、顔検出部２１は、ここで、顔の像を検出できなかったと判定したとき（判定結果がＮｏのとき）には、その見物人３はサイネージ１の方を向いていないためコンテンツ２に注目していないと判断して図１０のＳ２０６に処理を進める。
【００９０】
顔検出部２１が以上の処理を行うことで、体動量のみに基づいたコンテンツ２への注目の判定における誤判定が抑制される。
なお、顔検出部２１は、顔の像の検出のみならず、眼や鼻などの顔の部位の像の検出を更に行うようにして、見物人３はサイネージ１の方を向いているかどうかの判定の精度を更に高めるようにしてもよい。
【００９１】
ところで、前述した体動量検出・判定処理によって、サイネージ１上のコンテンツ２に注目している見物人３が複数人抽出された場合に、抽出された見物人３の各々に対し、視線検出の処理の優先度を与えるようにしてもよい。前述した優先度付与部２３は、抽出された見物人３の各々に対し、この優先度を付与するために、注目対象特定装置１０に備えられる。
【００９２】
優先度付与部２３は、見物人３とコンテンツ２との相対的な位置関係に基づいて設定される優先度を、見物人３の各々に付与する。本実施例では、優先度付与部２３は、サイネージ１までの距離が短い見物人３ほど高い優先度を与えるようにし、また、サイネージ１に対する向きが直角に近い（すなわち正対に近い）人ほど、高い優先度を与えるようにする。図１７に図解した例では、見物人３ｅ、３ｆ、３ｇ、及び３ｈのうちで、サイネージ１までの距離が最短であり、且つ、サイネージ１に対して正対している見物人３ｇに対して、最も高い優先度が優先度付与部２３によって付与される。
【００９３】
ここで図１８について説明する。図１８は、優先度付与部２３による処理内容を図解したフローチャートである。なお、このフローチャートで図解されている処理手順は、図１０の体動量検出・判定処理のフローチャートにおけるＳ２０５の処理に続いて行われる。
【００９４】
図１０のＳ２０５の処理に続き、Ｓ２２１では、全身撮像部１１で撮像した撮像画像と、当該撮像画像の撮像時における撮像部制御部１４の全身撮像部１１に対する制御情報とを取得する処理を優先度付与部２３が行う。なお、この処理によって取得される撮像画像は、Ｓ２０５の処理によってコンテンツ２に注目しているとの判定が下された全ての見物人３（すなわち、視線の検出対象者６）についてのものである。
【００９５】
次に、Ｓ２２２では、検出対象者６とサイネージ１との距離を算出する処理を優先度付与部２３が行う。この距離の算出は、例えば、前述した注目対象特定部１７での算出の手法と同様のものでよい。
【００９６】
次に、Ｓ２２３では、検出対象者６とサイネージ１との相対角度を取得する処理を優先度付与部２３が行う。この処理は、本実施例では、検出対象者６の全身像を撮像したときの全身撮像部１１の横方向の首ふり角度から、相対角度を得るようにする。例えば、検出対象者６の全身像を撮像したときに、全身撮像部１１の首ふり角度が、サイネージ１の面に対して直角であった場合には、その検出対象者６は、サイネージ１に対して正対しているものとみなす。
【００９７】
次に、Ｓ２２４では、検出対象者６に対し、Ｓ２２２の処理により算出された距離の短い順に優先度を付与する処理を優先度付与部２３が行う。
次に、Ｓ２２５では、Ｓ２２２の処理により算出された距離が同一である検出対象者６に対し、Ｓ２２３の処理により得られた相対角度が直角に近い順に優先度を付与する処理を優先度付与部２３が行う。そして、その後は、優先度付与部２３は図１８の処理を終了して図１０の体動量検出・判定処理に処理を戻す。すると、体動量検出部１２は、図１０の体動量検出・判定処理を終了して、図５のＳ３００に処理を進める。
【００９８】
以上の処理を優先度付与部２３が行うことで、検出対象者６の各々に対して視線検出の処理の優先度が付与される。この後に実行される、図５のＳ３００の顔画像撮像処理及びＳ４００の視線検出処理は、検出対象者６の各々に対し、この優先度に従った順序で行われる。
【００９９】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の人の動画像を撮像する第一撮像部と、
前記複数の人の各々の体動量を前記第一撮像部での撮像画像から検出する体動量検出部と、
前記複数の人の各々の顔の動画像を撮像する第二撮像部と、
前記第二撮像部を制御して、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人の顔、若しくは、前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させる制御部と、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出する視線検出部と、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する注目対象特定部と、
を備えることを特徴とする注目対象特定装置。
（付記２）
前記第一撮像部は、前記第二撮像部よりも画角が広角であることを特徴とする付記１に記載の注目対象特定装置。
（付記３）
前記第二撮像部による前記顔の動画像の撮像におけるフレームレートが、前記第一撮像部による前記複数の人の動画像の撮像におけるフレームレートよりも低いことを特徴とする付記１又は２に記載の注目対象特定装置。
（付記４）
前記第一撮像部での撮像画像に映っている前記複数の人のうち、該撮像画像に顔が映っている人を検出する顔検出部を更に備え、
前記制御部は、前記第一撮像部での撮像画像に顔が映っている人についての顔の動画像を前記第二撮像部に撮像させる、
ことを特徴とする付記１から３のうちのいずれか一項に記載の注目対象特定装置。
（付記５）
前記視線検出部によって前記視線の方向が検出された人が前記注目を集めている対象物に該視線を向けている時間の長さに基づいて、前記注目を集めている対象物への注目度を分析する分析部を更に備えることを特徴とする付記１から４のうちのいずれか一項に記載の注目対象特定装置。
（付記６）
前記複数の人のうちでの前記注目を集めている対象物への注目度の高さの順位を表している優先度を、前記複数の人の各々と前記対象物との相対的な位置関係に基づき、該複数の人の各々に付与する優先度付与部を更に備え、
前記制御部は、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人、若しくは、前記検出された体動量が減少した人に、前記優先度の高い順に前記第二撮像部の視野を向けさせて顔の動画像を撮像させる、
ことを特徴とする付記１から５のうちのいずれか一項に記載の注目対象特定装置。
（付記７）
前記注目を集めている対象物は表示装置に表示されており、
前記注目対象特定部は、前記検出された視線の方向に基づくと共に、更に、前記視線検出部によって該視線の方向の検出が行われた人と前記注目を集めている対象物の前記表示装置上での表示位置との相対的な位置関係に基づいて、該対象物を特定する、
ことを特徴する付記１から６のうちのいずれか一項に記載の注目対象特定装置。
（付記８）
前記第一撮像部及び前記第二撮像部での撮像画像、前記制御部による制御の履歴、前記体動量検出部による前記体動量の検出結果、及び前記視線検出部による前記視線の方向の検出結果を記憶しておく記憶部を更に備え、
前記注目対象特定部は、前記記憶部での記憶内容を用いて前記対象物を特定する、
ことを特徴する付記１から７のうちのいずれか一項に記載の注目対象特定装置。
（付記９）
複数の人の動画像を第一撮像部で撮像し、
前記複数の人の各々の体動量を、前記第一撮像部での撮像画像から検出し、
前記複数の人の各々の顔の動画像を撮像する第二撮像部を制御して、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人の顔、若しくは、前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させ、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出し、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する、
ことを特徴とする注目対象特定方法。
（付記１０）
前記第一撮像部での撮像画像に映っている前記複数の人のうち、該撮像画像に顔が映っている人を検出し、
前記第二撮像部を制御するときには、前記第一撮像部での撮像画像に顔が映っている人についての顔の動画像を前記第二撮像部に撮像させる、
ことを特徴とする付記９に記載の注目対象特定方法。
（付記１１）
前記視線の方向が検出された人が前記注目を集めている対象物に該視線を向けている時間の長さに基づいて、前記注目を集めている対象物への注目度を分析することを特徴とする付記９又は１０に記載の注目対象特定方法。
（付記１２）
前記複数の人のうちでの前記注目を集めている対象物への注目度の高さの順位を表している優先度を、前記複数の人の各々と前記対象物との相対的な位置関係に基づき、該複数の人の各々に付与し、
前記第二撮像部の制御では、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人、若しくは、前記検出された体動量が減少した人に、前記優先度の高い順に前記第二撮像部の視野を向けさせて顔の動画像を撮像させる、
ことを特徴とする付記９から１１のうちのいずれか一項に記載の注目対象特定方法。
（付記１３）
前記注目を集めている対象物は表示装置に表示されており、
前記注目を集めている対象物を特定するときには、前記検出された視線の方向に基づくと共に、更に、該視線の方向の検出が行われた人と前記注目を集めている対象物の前記表示装置上での表示位置との相対的な位置関係に基づいて、該対象物を特定する、
ことを特徴する付記９から１２のうちのいずれか一項に記載の注目対象特定方法。
（付記１４）
前記第一撮像部及び前記第二撮像部での撮像画像、前記第二撮像部の制御の履歴、前記体動量の検出結果、及び前記視線の方向の検出結果を記憶部に記憶しておき、
前記注目を集めている対象物を特定するときには、前記記憶部での記憶内容を用いて前記対象物を特定する、
ことを特徴する付記９から１３のうちのいずれか一項に記載の注目対象特定方法。
（付記１５）
複数の人の動画像を第一撮像部で撮像し、
前記複数の人の各々の体動量を、前記第一撮像部での撮像画像から検出し、
前記複数の人の各々の顔の動画像を撮像する第二撮像部を制御して、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人の顔、若しくは、前記検出された体動量が減少した人の顔に前記第二撮像部の視野を向けさせて該顔の動画像を撮像させ、
前記第二撮像部での撮像画像に顔が映っている人の視線の方向を該撮像画像から検出し、
注目を集めている対象物を、前記検出された視線の方向に基づいて特定する、
処理を演算処理装置に実行させるプログラム。
（付記１６）
前記第一撮像部での撮像画像に映っている前記複数の人のうち、該撮像画像に顔が映っている人を検出する処理を前記演算処理装置に更に実行させ、
前記第二撮像部を制御する処理は、前記第一撮像部での撮像画像に顔が映っている人についての顔の動画像を前記第二撮像部に撮像させる、
付記１５に記載のプログラム。
（付記１７）
前記視線の方向が検出された人が前記注目を集めている対象物に該視線を向けている時間の長さに基づいて、前記注目を集めている対象物への注目度を分析する処理を前記演算処理装置に更に実行させる付記１５又は１６に記載のプログラム。
（付記１８）
前記複数の人のうちでの前記注目を集めている対象物への注目度の高さの順位を表している優先度を、前記複数の人の各々と前記対象物との相対的な位置関係に基づき、該複数の人の各々に付与する処理を前記演算処理装置に更に実行させ、
前記第二撮像部を制御する処理は、前記複数の人のうちの、前記検出された体動量が閾値よりも小さい人、若しくは、前記検出された体動量が減少した人に、前記優先度の高い順に前記第二撮像部の視野を向けさせて顔の動画像を撮像させる、
付記１５から１７のうちのいずれか一項に記載のプログラム。
（付記１９）
前記注目を集めている対象物は表示装置に表示されており、
前記注目を集めている対象物を特定する処理は、前記検出された視線の方向に基づくと共に、更に、該視線の方向の検出が行われた人と前記注目を集めている対象物の前記表示装置上での表示位置との相対的な位置関係に基づいて、該対象物を特定する、
付記１５から１８のうちのいずれか一項に記載のプログラム。
（付記２０）
前記第一撮像部及び前記第二撮像部での撮像画像、前記第二撮像部の制御の履歴、前記体動量の検出結果、及び前記視線の方向の検出結果を記憶部に記憶させる処理を前記演算処理装置に更に実行させ、
前記注目を集めている対象物を特定する処理は、前記記憶部での記憶内容を用いて前記対象物を特定する、
付記１５から１９のうちのいずれか一項に記載のプログラム。
【符号の説明】
【０１００】
１  サイネージ
２  コンテンツ
３、３ａ、３ｂ、３ｃ、３ｄ、３ｅ、３ｆ、３ｇ、３ｈ  見物人
４  カメラ
５  広角カメラ
６  検出対象者
１０  注目対象特定装置
１１  全身撮像部
１２  体動量検出部
１３  顔撮像部
１４  撮像部制御部
１５  視線検出部
１６  記憶部
１７  注目対象特定部
２１  顔検出部
２２  分析部
２３  優先度付与部
３０  コンピュータ
３１  ＭＰＵ
３２  ＲＯＭ
３３  ＲＡＭ
３４  インタフェース装置
３５  ハードディスク装置
３６  バスライン
４１  全身撮像カメラ
４２  顔撮像カメラ
４３  カメラ駆動装置
５０  記録媒体駆動装置
５１  記録媒体
【図１】
0005834941.tif 000002
【図２】
0005834941.tif 000003
【図３】
0005834941.tif 000004
【図４】
0005834941.tif 000005
【図５】
0005834941.tif 000006
【図６】
0005834941.tif 000007
【図７Ａ】
0005834941.tif 000008
【図７Ｂ】
0005834941.tif 000009
【図８】
0005834941.tif 000010
【図９】
0005834941.tif 000011
【図１０】
0005834941.tif 000012
【図１１】
0005834941.tif 000013
【図１２】
0005834941.tif 000014
【図１３】
0005834941.tif 000015
【図１４】
0005834941.tif 000016
【図１５】
0005834941.tif 000017
【図１６】
0005834941.tif 000018
【図１７】
0005834941.tif 000019
【図１８】
0005834941.tif 000020