(57)【要約】      （修正有）【課題】顧客が関心を有する対象をより正確に捉える映像処理装置、方法、システム及びプログラムを提供する。【解決手段】撮像装置により撮像された映像における人物の位置を検出する人物位置検出部２０３と、前記人物の頭部の高さを検出する頭部位置検出部２０６と、前記人物の位置と、前記人物の頭部の高さの変化とに基づいて、前記人物が注視する対象に関する情報を生成する情報生成部２０７とを有する。また、映像に基づいて、前記人物の属性を推定する人物属性推定部２０５を更に有し、前記情報生成手段２０７は、前記人物の属性に関する情報を、前記人物が注視する対象に関する情報に含める。【選択図】図１
2017045423.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された映像における人物の位置を検出する人物位置検出手段と、
前記人物の頭部の高さを検出する頭部位置検出手段と、
前記人物の位置と、前記人物の頭部の高さの変化とに基づいて、前記人物が注視する対象に関する情報を生成する生成手段と、
を有することを特徴とする映像処理装置。
【請求項２】
前記映像に基づいて、前記人物の属性を推定する属性推定手段を更に有し、
前記生成手段は、前記人物の属性に関する情報を、前記人物が注視する対象に関する情報に含めることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像に基づいて、前記人物の顔を検出する顔検出手段を更に有し、
前記属性推定手段は、前記顔検出手段により検出された顔に基づいて前記人物の属性を推定することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記顔検出手段は、検出された顔に基づいて該顔の向きを検出し、
前記生成手段は、前記人物の位置が変化しない場合の顔の向きと前記人物の頭部の高さの変化とに基づいて、前記人物が注視する対象に関する情報を生成することを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記人物の位置が所定時間変化しない場合、前記生成手段は、前記人物の位置で前記顔の向きの方向に配置されている対象の位置を、前記人物が注視する対象に関する情報に含めることを特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記人物の頭部の高さが変化した場合、前記生成手段は、前記人物の位置で前記顔の向きの方向に配置されている対象の位置を、前記人物が注視する対象に関する情報に含めることを特徴とする請求項４または５に記載の映像処理装置。
【請求項７】
前記頭部位置検出手段は、前記属性推定手段により前記人物の属性が推定されなかった場合、前記人物の頭部の高さに基づいて、前記人物の属性を推定することを特徴とする請求項２から６のいずれか１項に記載の映像処理装置。
【請求項８】
前記人物の属性は、前記人物の性別と年齢の少なくともいずれかを含むことを特徴とする請求項２から７のいずれか１項に記載の映像処理装置。
【請求項９】
前記映像と、前記人物が注視する対象に関する情報とを表示する表示手段を更に有することを特徴とする請求項１から８のいずれか１項に記載の映像処理装置。
【請求項１０】
撮像装置により撮像された映像における人物の位置を検出する人物位置検出工程と、
前記人物の頭部の高さを検出する頭部位置検出工程と、
前記人物の位置と、前記人物の頭部の高さの変化とに基づいて、前記人物が注視する対象に関する情報を生成する生成工程と、
を有することを特徴とする映像処理方法。
【請求項１１】
人物を撮影する撮像手段と、
前記撮像手段によって撮像された映像における前記人物の位置を検出する人物位置検出手段と、
前記人物の頭部の高さを検出する頭部位置検出手段と、
前記人物の位置と、前記人物の頭部の高さの変化とに基づいて、前記人物が注視する対象に関する情報を生成する生成手段と、
前記映像と前記人物が注視する対象の情報とを表示する表示手段と、
を有することを特徴とする映像処理システム。
【請求項１２】
コンピュータを、請求項１から９のいずれか１項に記載の映像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで撮影された映像を解析する映像処理装置、映像処理方法、映像処理システム、およびプログラムに関する。
【背景技術】
【０００２】
近年、映像解析技術の向上とともに、スーパーやコンビニエンスストア等の店舗内に配置されたカメラにより撮影された映像に基づいて、店舗に来店する顧客の購買行動を分析するシステムが考案されている。例えば、特許文献１では、顧客が関心を有する商品を特定し、その商品に関する情報と、該顧客の情報とを対応付けて出力するシステムが提案されている。また、特許文献２では、人物の手や腕の動きを検知することができない状況でも、人物が物品を手に取る行動を検知する分析装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2009-3701号公報
【特許文献２】特開2015-11649号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実際の店舗では、商品は多くの陳列棚に置かれており、顧客は同じ位置に立ちながらも商品を見るために様々な方向を向く可能性がある。また、所望の商品の位置が顧客の目線から遠い場合は、顧客は、しゃがんだり、脚立等に乗って商品を見る場合もある。しかしながら、上記の従来技術では、顧客が関心を有する商品の情報を把握するために、顧客の顔の向きや顧客の地面から垂直方向の動きの変化は考慮されていない。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、顧客が関心を有する対象をより正確に捉えることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、本発明の映像処理装置は以下の構成を備える。すなわち、撮像装置により撮像された映像における人物の位置を検出する人物位置検出手段と、前記人物の頭部の高さを検出する頭部位置検出手段と、前記人物の位置と、前記人物の頭部の高さの変化とに基づいて、前記人物が注視する対象に関する情報を生成する生成手段とを有する。
【発明の効果】
【０００７】
本発明によれば、顧客が関心を有する対象をより正確に捉えることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】第一の実施形態における映像処理システムの機能ブロック構成の一例を示す図。
【図２】第一の実施形態における映像処理システムの動作環境を示す図。
【図３】第一の実施形態におけるサーバ装置のハードウェア構成の一例を示す図。
【図４】第一の実施形態における映像処理システムの動作を示すフローチャート。
【図５】第一の実施形態における人物位置検出の動作を示すフローチャート。
【図６】第一の実施形態におけるキャリブレーションの処理を説明する図。
【図７】第一の実施形態における人物の対応付け探索と人物の三次元位置座標の検出の処理を説明する図。
【図８】第一の実施形態における検出漏れの補完の処理を説明する図。
【図９】第一実施形態における表示装置に表示される画面の例を示す図。
【図１０】第一実施形態における表示装置に表示される画面の例を示す図。
【図１１】第一実施形態における表示装置に表示される画面の例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜第一の実施形態１＞
図２は、第一の実施形態における映像処理システムの動作環境を示す図である。カメラ１００、サーバ装置２００、ストレージ装置３００、表示装置４００が、ネットワーク回線であるLAN（Local Area Network）５００によって接続されている。LANによるネットワークであることは一例であり、その他のネットワークであってもよい。
【００１１】
カメラ１００は、ネットワークに接続可能な撮像装置である。サーバ装置２００は、LAN５００で接続された複数のカメラ１００により撮影された映像データを収集（例えば受信）し、映像解析処理を行う。すなわち、サーバ装置２００は映像処理装置として機能する。映像解析処理は、例えば、動体検知、動体追尾、人体検知、顔認識、物体検知などの処理を含む。サーバ装置２００は、映像解析処理が施された解析データのほかに、ストレージ装置３００に記録された過去の映像データや解析データを収集する。そして、サーバ装置２００は、収集したデータを利用することによって、店舗内全体に渡る映像情報の管理を行なう。ストレージ装置３００には、カメラ１００で撮影された映像データ、さらにサーバ装置２００で映像解析処理が施された解析データがLAN５００を介して記録される。
【００１２】
表示装置４００は、ストレージ装置３００に記録された映像データと解析データを組み合わせた画像の表示を行う。また、表示装置４００は、サーバ装置２００により管理されている映像情報や時刻などの情報を表示することも可能である。表示装置４００は、不図示のユーザI/F（インタフェース）を介して、映像検索のための操作を受け付けることも可能である。この場合、サーバ装置２００は、表示装置から検索対象に関する情報を受け取り、ストレージ装置３００に記録されているデータから、検索対象となる特定のイベントシーンを検索し、検索結果を表示装置４００へ提供する。表示装置４００は、提供された情報の表示を行う。なお、表示装置４００は、サーバ装置２００の一部に組み込まれてもよい。また、サーバ装置２００が表示装置４００に情報を表示させる表示制御機能を有していてもよい。
【００１３】
表示装置４００は、図２に示すように、例えばPCとモニタとの組み合わせなどが想定される。しかし、表示装置４００のLAN５００への物理的な接続形態は、有線だけでなく、無線の場合もあることから、表示装置４００はタブレット端末のような無線端末であってもよい。また、サーバ装置２００が表示装置４００に情報を表示させる表示制御機能を有している場合、表示装置４００は単なるモニタであってもよい。このように、表示装置４００の形態は限定されない。また、映像処理システムを構成するカメラ１００の台数は、図２では４台としているが、何台でもよい。さらに、LAN５００に接続される、サーバ装置２００、ストレージ装置３００、表示装置４００の台数は、図１で示すように1台に限定されず、アドレスなどで識別できれば複数であってもよい。なお、カメラ１００それぞれが設置されている位置は、既知であるとする。
【００１４】
図１は、本実施形態における映像処理システムの機能ブロック構成の一例を示す図である。カメラ１００は、撮像センサ部１０１、映像処理部１０２、映像符号化部１０３及び通信制御部１０４を有する。
撮像センサ部１０１は、CMOSなどの撮像素子であり、撮像面に結像された光像を光電変換によりデジタル電気信号に変換する。
映像処理部１０２は、撮像センサ部１０１から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行う。上記の処理を行うことで、映像処理部１０２は、RGBあるいはYUVなどのデジタル映像を生成する。さらに、映像処理部１０２は、生成したデジタル映像に対して所定の演算処理を行い、得られた演算結果に基づいてホワイトバランスの調整、シャープネスの調整、コントラストの調整、色変換などの映像処理を行うこともできる。
【００１５】
映像符号化部１０３は、映像処理部１０２から入力されたデジタル映像信号に対して符号化を行う。映像符号化部１０３は、例えば、映像を配信するために、入力されたデジタル映像信号に対して圧縮処理を施す。圧縮処理の方式は、例えば、MPEG4、H.264、MJPEGまたはJPEGなどの規格に基づく。さらに、映像符号化部１０３は、mp4やmov形式などに従って映像データをファイル化する。なお、圧縮処理については必ずしも行わなくてもよい。
通信制御部１０４は、サーバ装置２００と通信を行うための通信制御を行なう。例えば、通信制御部１０４は、サーバ装置２００と802.11シリーズに準拠した通信を行うための通信制御を行なう。また、通信制御部１０４は、ストレージ装置３００の通信制御部（不図示）と連携することにより、例えば、NFS（Network File System）やCIFS（Comon Internet File System）などのネットワークファイルシステムを構築して、映像データの記録を行なうことも可能である。
【００１６】
サーバ装置２００は、通信制御部２０１、映像復号化部２０２、人物位置検出部２０３、顔検出部２０４、人物属性推定部２０５、頭部位置検出部２０６および情報生成部２０７を有する。通信制御部２０１は、上述のカメラ１００の通信制御部１０４と同等の機能を持つ。
映像復号化部２０２は、カメラ１００から配信された映像データを伸張し復号化する。映像復号化部２０２は、ストレージ装置３００から取得した映像データを伸張し復号化することも可能である。
人物位置検出部２０３は、複数のカメラ１００からの映像データにより、撮影されている人物の追尾処理を行いながら、三角測量の方式を用いて、人物の位置を検出する位置検出処理を行う。
顔検出部２０４は、復号された映像データから、撮影されている人物の顔を検出する。そして、顔検出部２０４は、検出した人物の顔の目や鼻、口などの部位を認識することによって、顔の向きを検出する。
人物属性推定部２０５は、顔検出部２０４で検出された人物の顔に基づいて、該人物の年齢および性別を推定する。頭部位置検出部２０６は、復号された映像データから、撮影されている人物の頭部の位置を検出し、検出した頭部の位置に基づいて、該人物の身長を推定する。なお、身長を推定するには、入口のドア枠を通過したときの枠の下端から頭部の位置までの距離を用いて推定してもよいし、パターンマッチングによって人物の足を検出し、足から頭部までの距離を用いて推定してもよい。また、床面を認識して、床から頭部までの距離で推定してもよい。人物の足を検出する方法は、任意の地点における人物の身長を推定できる。
情報生成部２０７は、人物が注視する対象に関する情報を生成する。情報生成部２０７は、予め店内の商品の位置や商品棚の位置についての情報を有しているものとする
【００１７】
図３は、本実施形態におけるサーバ装置２００と表示装置４００のハードウェア構成の一例を示す図である。一例として表示装置４００を、サーバ装置２００に組み込んだ例を示している。制御部３１は例えばCPU（Central Processing Unit）であり、各構成要素の動作を制御する。ROM（Read Only Memory）３２は、制御命令つまりプログラムを格納する。RAM（Random Access Memory）３３は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。通信部３４は、外部の装置と物理的に通信するための制御を行う。表示部３５は、各種表示を行う。ユーザI/F３６は、ユーザの操作を受け付ける。
【００１８】
次に、人物位置検出部２０３の動作について図５を参照して説明する。図５は、人物位置検出部２０３の動作を示すフローチャートである。人物位置検出部２０３は、予め、複数のカメラ１００で生成された映像 データに基づく映像に含まれる物体（例えば人物）に対して、その映像上の座標と三次元上の実際の座標（三次元位置座標）とを関連付けるキャリブレーションを行なう(S11)。
【００１９】
S11の処理を図６を参照して説明する。図６は、キャリブレーションの処理を説明する図である。図６において、カメラ１〜３は、図１と図２におけるカメラ１００に相当する。本処理では、図６で示すように、人物位置検出部２０３は、例えば、カメラ１で生成された映像データに含まれる人物６０２の映像上の座標(X1,Y1,Z1)と、人物６０１の三次元上の実際の座標(Xa,Ya,Za)が同じであるということを関連付ける。そして、人物位置検出部２０３は、カメラ２とカメラ３で撮影された映像データに対しても同様な処理を行う。これにより、カメラ１〜３それぞれで生成された映像に含まれる人物６０２〜６０４の座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)それぞれと、人物６０１の三次元上の実際の座標(Xa,Ya,Za)とが同じであるとして、以下の処理を開始する。詳細は後述するが、人物６０１の三次元上の実際の座標(Xa,Ya,Za)は、例えば、所定時間ごとに算出されることとなる。キャリブレーションの段階では、三次元上の実際の座標(Xa,Ya,Za)は任意の初期値としてもよい。
【００２０】
S11におけるキャリブレーションが完了した後、人物位置検出部２０３は、各カメラ１００で生成された映像に含まれる人物の追跡を行なうための追尾処理を行なう(S12)。例えば、パターンマッチングを用いて人物を検出し、その検出した人物の画像特徴量を記録し、次のフレームにてその画像特徴量に最も類似する領域を検出することで追尾処理を行うことができる。人物追尾を行う方法はこの他にも種々の方法を用いることができる。
次に、人物位置検出部２０３は、追尾処理を行っている人物に対して、多視点幾何の解析を利用したカメラ間の人物の対応付け探索を行なう(S13)。その後、人物位置検出部２０３は、追尾処理を行っている人物の三次元位置座標の算出を行う（S14）。
【００２１】
S13とS14の処理を図７を参照して説明する。図７は、人物の対応付け探索と、人物の三次元位置座標の算出の処理を説明する図である。図７におけるカメラ１〜２は、図１と図２におけるカメラ１００に相当する。図７に示すように、カメラ１で撮影された映像に含まれる人物７０１（図７では頭部）とカメラ１とを繋ぐ直線７０２は、カメラ２で撮影された映像上では直線７０３のように見える。人物位置検出部２０３は、各カメラの位置を示す情報を用いて、カメラ２で撮影された映像上における直線７０３の位置を算出する。各カメラの位置を示す情報は、少なくとも各カメラの相対的な位置を示す情報であればよいが、カメラが設置される空間を三次元座標で表現した情報であってもよい。
人物位置検出部２０３は、カメラ２で撮影された映像上で直線７０３と交わる人物７０４（図７では頭部と直線７０３が交わる人物）を、カメラ１で撮影された映像に含まれる人物７０１と同定する。すなわち、カメラ１で生成された映像に含まれる人物７０１とカメラ２で生成された映像に含まれる人物７０４とは、同じ人物７０５であると判定されて、対応付けられる。次に、人物位置検出部２０３は、既知であるカメラ１とカメラ２の位置の情報を用いて、三角測量により、人物７０５の三次元位置座標の検出を行なう(S14)。具体的には、人物位置検出部２０３は、各カメラの位置を示す情報と、カメラの撮影方向を示す情報とから、カメラ１で撮影された映像に含まれる人物７０１とカメラ１とを繋ぐ直線７０２を算出する。そして、カメラ２で撮影された映像に含まれる人物７０１とカメラ２とを繋ぐ直線を算出する。そして、その２つの直線の交点を人物７０１（図７では頭部）の位置として算出する。これによって、カメラの設置位置に対する人物７０１の実際の位置を算出することができる。
【００２２】
さらに、人物位置検出部２０３は、S13で人物の対応付けができなかったカメラに対して、検出漏れを補完する（S15）。S15の処理を図８を参照して説明する。図８は、検出漏れの補完の処理を説明する概略図である。図８におけるカメラ１〜３は、図１と図２におけるカメラ１００に相当する。図８では、図７を用いて説明したように、カメラ１とカメラ２は、人物７０５との対応付けができているが、カメラ３は人物７０５との対応付けができていないものとする。この場合、人物位置検出部２０３は、S14で検出した人物７０５の３次元位置座標を、カメラ３で生成された映像データに基づく映像上に対して射影したときの映像上の位置座標を検出する。そしてその位置に他のカメラの検出結果に基づいて算出した人物７０５の位置を認識可能な画像を表示する。これにより、カメラ３で生成された映像データには人物７０５が映ることとなり、カメラ３での検出漏れが補完される(S15)。このときに表示する画像は他のカメラで人物７０５を撮像した画像であってもよいし、人物を示す図形等であってもよい。
【００２３】
人物位置検出部２０３は、上述のS12からS15の処理を繰り返すことによって、人物位置の検出処理を行っていく。なお、上記の位置検出処理方法は一例であって、人物位置検出部２０３は、別の位置センサ等によって特定人物の位置を検出することも可能である。例えば、レーダー等によって検出することも可能である。
【００２４】
次に、上記の構成を有する本実施形態における映像処理システムの動作の詳細を説明する。図４は、映像処理システムの動作を示すフローチャートである。図４では、一例として、顧客である人物が、ある店舗に来店し、店内を動く際のシステムの動作を示している。まず、顧客である人物が、ある店舗に来店する。そして、店舗内に設置してあるカメラ１００は、人物を撮影して映像データを生成し、サーバ装置２００に配信する。配信された映像データは、サーバ装置２００の映像復号化部２０２で復号化され、人物位置検出部２０３に入力される。人物位置検出部２０３は、映像データを用いて人物の追尾を行いながら、店舗内での人物の位置を検出する処理を開始する(S1)。その際、人物位置検出部２０３は、ユニークな追尾IDを映像に含まれる追尾対象の人物に付与する。該人物の位置は、追尾IDに関連付けられ、RAM３３等において管理される（S1）。
【００２５】
そして、人物位置検出部２０３が、人物に対する位置検出・追尾を行っている状態で、顔検出部２０４は、映像データから、人物の顔を検出し、該顔の向きの検出を行う(S2)。さらに、顔検出部２０４で検出された人物の顔に対して、人物属性推定部２０５は、人物の顔の画像特徴量などに基づいて、人物の年齢及び性別を推定する(S3)。推定結果である年齢及び性別などの属性データは、S1で付与されたものと同じ追尾IDが関連付けられ、RAM３３等において管理される。次に、頭部位置検出部２０６は、映像データから人物の頭部の位置の検出を行い、その検出結果から、人物の身長の推定を行う（S4）。頭部の位置はパターンマッチング等を用いて検出することができる。推定された身長のデータは、S1で付与されたものと同じ追尾IDが関連付けられ、RAM３３等において管理される。S3の工程において、人物属性推定部２０５が、年齢の推定を行えなかった場合には、頭部位置検出部２０６は、推定した身長のデータから、大人か子供をおおよそ分類し、該分類に基づいて年齢や性別を推定してもよい。この場合も、推定された年齢や性別を含む属性データは、S1で付与されたものと同じ追尾IDが関連付けられ、RAM３３等において管理される。
【００２６】
以上の処理によって、サーバ装置２００は、人物が店舗内を歩く間、追尾処理を行い続ける。また、カメラ１００で生成された映像データやサーバ装置２００により上述のように管理されている情報は、表示装置４００に表示される。図９に、表示装置４００に表示される画面の例９００を示す。カメラ１〜４は、図１と図２におけるカメラ１００に相当する。画面９０１〜９０４はそれぞれ、カメラ１〜４で生成された映像データを表している。また、画面９０５は、カメラ１〜４と人物との位置関係を表している。カメラ１〜２で生成された映像データでは、人物の顔が検出されており、人物属性推定部２０５により、該映像データから、年齢及び性別が推定される。上述したように、頭部位置検出部２０６が人物の年齢を推定してもよい。さらに、カメラ１〜４で生成された映像データから、画面９０１〜９０４に図示されているように、頭部位置検出部２０６により人物の頭部が検出される。
【００２７】
次に、人物位置検出部２０３は、位置検出の結果から、人物がある商品棚の前で静止しているか否かを判定する(S5)。静止していないと判定された場合（S5のNo）、処理はS2へ戻り、人物位置検出部２０３は、引き続き人物の追尾を続ける。静止していると判定された場合（S5のYes）、頭部位置検出部２０６は、人物の頭部を検出して該人物の身長を推定し、身長が閾値以上変化しているか否かを判定する(S6)。少なくとも頭の位置を検出できれば身長の変化を検出できるが、足と頭の位置から検出してもよい。
身長が変化していない（頭部の高さが閾値以上変化していない）と判定された場合（S6のNo）、処理はS7へ進む。身長が変化した（頭部の高さが変化した）と判定された場合（S6のYes）、顔検出部２０４は、人物の顔の向きを検出する。この検出結果は該人物の追尾IDに関連付けられ、情報生成部２０７へ渡される。
【００２８】
情報生成部２０７は、顔検出部２０４により検出された人物の顔の向きの方向に置かれている商品、または商品棚の位置を検出し、該検出した位置を、その人物が関心を有する商品、すなわち、その人物が注視する対象が配置されている店内の位置と特定する。そして、情報生成部２０７は、この特定した位置の情報を、人物が注視する対象に関する情報として生成する(S8)。人物がしゃがんだり、脚立等に乗ったりして商品を見た場合、商品を注視する行動と判断できるからである。また、頭部の高さが変化した場合、変化しなかった場合と異なる対象を人物が注視する対象として情報を生成してもよい。例えば、人物の頭部の高さが低くなった場合、棚の下部にある商品を人物が注視する対象としてもよい。また、サーバ装置２００が不図示のタイマを有していれば、情報生成部２０７は、顔検出部２０４により顔の向きの検出が行われた時刻の情報をタイマから取得して、人物が注視する対象に関する情報に含めてもよい。情報生成部２０７は、追尾IDに基づいて、RAM３３等に管理されている上述した情報を取得し、該取得した情報を人物が注視する対象に関する情報に含めることができる。その後、情報生成部２０７により生成された情報は、LAN５００を介してストレージ装置３００内のデータベースへ記録される。また、情報生成部２０７により生成された情報は、LAN５００を介して表示装置４００に送られてもよい。
【００２９】
図１０に、表示装置４００に表示される画面の例１０００を示す。図１０では、店舗内の商品棚の前で人物が商品を見ている状況が示されている。カメラ１〜４は、図１と図２におけるカメラ１００に相当する。画面１００１は、カメラ１〜４のうちのいずれかにより生成された映像データを表している。また、画面１００２は、カメラ１〜４と人物との位置関係を表している。
【００３０】
図４に戻り、S6において、身長が変化していないと判定された場合（S6のNo）、頭部位置検出部２０６は、そのまま、人物の位置が閾値以上変化するか否か（人物が所定距離以上移動するか否か）の判定を所定時間続ける（S7のNo）。人物の位置が所定時間変化しなければ（S7のYes）、頭部位置検出部２０６は、所定時間が経過したことを顔検出部２０４へ通知する。そして、上述のS8と同様の処理が行われる。
【００３１】
その後、サーバ装置２００により人物が追尾可能である間は、該人物が店舗内にまだいると判断し、サーバ装置２００は、引き続き上述の処理を続ける(S9のNo)。サーバ装置２００は、該人物が追尾できなくなった場合には、該人物は退店したものと判断し、処理を終了する（S9のYes）。
【００３２】
図１１に、表示装置４００表示される、映像データと人物が注視する対象に関する情報が組み合わされた例示的な画面１１０１を示す。画面１１０１には、一例として、人物の顔のデータ、性別、時刻、該人物が関心を有する商品棚の位置や識別情報が表示される。
【００３３】
このように本実施形態によれば、顧客である人物が所定時間静止した場所、及び、静止しつつ身長の変化があった場所が、該人物が関心を有する商品や商品棚の店舗内の位置として特定される。これにより、顧客が関心を有する商品の把握を、より正確に行うことが可能となる。なお、上記実施形態では、情報生成部２０７は、人物が注視する対象に関する情報を生成するために、顔検出部２０４により検出された人物の顔の向きを利用したが、静止している人物の位置から該人物が注視する対象に関する情報を生成することが可能であれば、該人物の顔の向きを利用しなくともよい。この場合、情報生成部２０７は、静止している人物の位置と、頭部位置検出部２０６により人物の身長が変化したことの判定を受けて、該人物が注視する対象に関する情報を生成することができる。
【００３４】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 
【符号の説明】
【００３５】
１００  カメラ、２００  サーバ装置、３００  ストレージ装置、４００  表示装置、２０１  通信制御部、２０２  映像復号化部、２０３  人物位置検出部、２０４  顔検出部、２０５  人物属性推定部、２０６  頭部位置検出部、２０７  情報生成部
【図１】
2017045423.tif 000003
【図２】
2017045423.tif 000004
【図３】
2017045423.tif 000005
【図４】
2017045423.tif 000006
【図５】
2017045423.tif 000007
【図６】
2017045423.tif 000008
【図７】
2017045423.tif 000009
【図８】
2017045423.tif 000010
【図９】
2017045423.tif 000011
【図１０】
2017045423.tif 000012
【図１１】
2017045423.tif 000013