(57)【要約】【課題】より詳細に顧客等の移動体の行動を分析可能にすることを課題とする。【解決手段】サーバ１０３（情報処理装置）は、ＣＰＵ２０２を有する。ＣＰＵ２０２は、撮影による映像データから移動体を検出する移動体検出機能と、その移動体の速度を検出する速度検出機能と、その移動体の速度を基に、当該移動体の速度の変化量を検出する変化量検出機能と、その速度の変化量を解析する解析機能と、を有する。【選択図】図２
2020095365.tif 000002
【特許請求の範囲】
【請求項１】
撮影による映像データから移動体を検出する移動体検出手段と、
前記検出された前記移動体の速度を検出する速度検出手段と、
前記検出された前記移動体の速度を基に、前記移動体の速度の変化量を検出する変化量検出手段と、
前記検出された速度の変化量を解析する解析手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記映像データによる映像領域の中に解析領域を設定する領域設定手段を有し、
前記解析手段は、前記設定された解析領域について、前記移動体の前記速度の変化量を解析することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記速度検出手段は、前記解析領域へ進入する前の前記移動体の第１の速度と、前記解析領域の中での前記移動体の第２の速度とを検出し、
前記変化量検出手段は、前記第１の速度と前記第２の速度とを基に速度の変化量を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記解析手段は、前記速度の変化量と変化量に対する閾値とを、比較する解析を行うことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記速度検出手段により検出された速度を前記移動体ごとに蓄積する蓄積手段を有し、
前記変化量検出手段は、前記移動体ごとに蓄積された速度から正規化した速度の変化量を算出し、
前記解析手段は、前記正規化された速度の変化量を解析することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記速度検出手段は、前記撮影が行われる撮影範囲全域における前記移動体の平均通過速度と、解析対象の移動体の速度とを検出し、
前記変化量検出手段は、前記平均通過速度に対する前記解析対象の移動体の速度の割合を、前記正規化した速度の変化量として算出することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記変化量検出手段は、前記移動体ごとに蓄積された速度を所定の値に収まるようにスケーリングすることで前記正規化した速度の変化量を取得することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記解析手段は、前記速度の変化量ごとに前記移動体の出現頻度を解析することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記移動体の検出の結果を基に、前記移動体の速度もしくは前記移動体の速度の変化量を補正する補正手段を有し、
前記解析手段は、前記補正された前記速度の変化量を解析することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記補正手段は、
前記移動体の検出の結果を基に、前記移動体の混雑度を取得する混雑度取得手段と、
前記混雑度に応じた補正値を生成する補正値生成手段と、
前記生成された補正値に基づいて、前記移動体の速度もしくは前記移動体の速度の変化量を補正する補正処理手段と、
を有することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記移動体の検出の結果を基に前記移動体の移動軌跡を生成する軌跡生成手段と、
前記移動軌跡を表示装置に表示させる表示制御手段と、
を有することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記表示制御手段は、前記移動体の移動軌跡を表示する際に、前記移動軌跡の中の各位置における前記移動体の速度の変化量に応じて、前記表示する移動軌跡の色と太さの少なくともいずれかを、変更することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
撮影による映像データから移動体を検出する移動体検出手段と、
前記映像データによる映像領域の中に解析領域を設定する領域設定手段と、
前記撮影が行われる撮影範囲全域における前記移動体の平均通過速度と、前記解析領域における前記移動体の速度とを検出する速度検出手段と、
前記平均通過速度を基に前記移動体を分類し、前記解析領域における前記移動体の速度と、前記分類ごとに設定されている閾値との比較を基に、前記解析領域における前記移動体の速度を解析する解析手段と、
を有することを特徴とする情報処理装置。
【請求項１４】
前記移動体検出手段は、前記移動体の特徴をも検出し、
前記解析手段は、前記移動体の特徴に応じた前記閾値を用いることを特徴とする請求項４または１３に記載の情報処理装置。
【請求項１５】
前記移動体検出手段は、前記移動体として検出した人物の年齢と性別の少なくともいずれかを、前記移動体の特徴として検出することを特徴とする請求項１４に記載の情報処理装置。
【請求項１６】
前記解析手段による解析対象から除外する映像領域を設定する除外設定手段を有することを特徴とする請求項１から１５のいずれか１項に記載の情報処理装置。
【請求項１７】
複数の撮像装置によって撮影された複数の映像データから同一の移動体を特定する特定手段と、
前記複数の撮像装置で重複する撮影範囲において前記同一の移動体の速度を補正する速度補正手段と、
を有することを特徴とする請求項１から１６のいずれか１項に記載の情報処理装置。
【請求項１８】
情報処理装置が実行する情報処理方法であって、
撮影による映像データから移動体を検出する移動体検出工程と、
前記検出された前記移動体の速度を検出する速度検出工程と、
前記検出された前記移動体の速度を基に、前記移動体の速度の変化量を検出する変化量検出工程と、
前記検出された速度の変化量を解析する解析工程と、
を有することを特徴とする情報処理方法。
【請求項１９】
情報処理装置が実行する情報処理方法であって、
撮影による映像データから移動体を検出する移動体検出工程と、
前記映像データによる映像領域の中に解析領域を設定する領域設定工程と、
前記撮影が行われる撮影範囲全域における前記移動体の平均通過速度と、前記解析領域における前記移動体の速度とを検出する速度検出工程と、
前記平均通過速度を基に前記移動体を分類し、前記解析領域における前記移動体の速度と、前記分類ごとに設定されている閾値との比較を基に、前記解析領域における前記移動体の速度を解析する解析工程と、
を有することを特徴とする情報処理方法。
【請求項２０】
コンピュータを、請求項１から１７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば店舗における人物などの行動を解析する技術に関する。
【背景技術】
【０００２】
近年、小売業界の競争は激しさを増し、小売店では顧客のニーズに合った店舗作りがますます求められている。そのため、店舗内の顧客の行動を分析し商品棚の配置や品揃えを変えるなど、顧客行動データを販売促進戦略に活かす取り組みが重要となる。顧客行動を分析するため、店舗内に設置されている監視カメラの映像が利用されることが多い。
顧客行動を分析する一つの指標として、商品に対する関心度がある。例えば、特許文献１では、商品棚の前を通過した顧客の通過速度を測定し、「遅い」通過速度のときには商品に興味を持っていると分析し、逆に「速い」通過速度のときには商品に興味を持っていないと分析する手法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−６４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に技術では、どのように「遅い」「速い」を判断するかについての具体的な記述はない。単純に速度の閾値を設け、閾値より低ければ「遅い」、高ければ「速い」と判断する方法も考えられるが、例えば若年層の顧客と高齢層の顧客とでは平均通過速度が異なるため、一つの閾値で両者の「遅い」「速い」を判断することは難しい。両者ともに「遅い」速度を検知するためには、ほぼ停止に近い低い速度の閾値を設定するしかなかった。
【０００５】
このように、従来技術ではほぼ「停止した」場合しか検出できず、実際に購入する顧客や足を止めてじっくり眺める顧客の行動分析しかできない。しかしそれでは、停止はしないまでも関心を持って遅く通過する顧客が検出できない。マーケティングでは、商品に関心はあるが購入に至らない購入予備軍を引き込む戦略も重要となる。また、商品ではなく広告ポップの関心度を分析する場合、客が必ずしも足を止めて見入るとは考えにくく、広告ポップの関心度も従来技術では判別できない。
【０００６】
そこで、本発明は、顧客等の移動体の行動をより詳細に分析可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、撮影による映像データから移動体を検出する移動体検出手段と、前記検出された前記移動体の速度を検出する速度検出手段と、前記検出された前記移動体の速度を基に、前記移動体の速度の変化量を検出する変化量検出手段と、前記検出された速度の変化量を解析する解析手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、顧客等の移動体の行動をより詳細に分析可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の概略的なシステム構成例を示す図である。
【図２】サーバ装置の概略構成を示すブロック図である。
【図３】第１の実施形態の移動体データ蓄積シーケンスのフローチャートである。
【図４】第１の実施形態に係る移動体データの構成例を説明する図である。
【図５】第１の実施形態の速度変化解析シーケンスのフローチャートである。
【図６】解析対象エリアの設定例を説明する図である。
【図７】第１の実施形態の速度変化解析処理のフローチャートである。
【図８】第１の実施形態に係る速度変化量の出現頻度をプロットした図である。
【図９】第１の実施形態を適用したときの効果を説明する図である。
【図１０】複数の閾値による判別方法を説明する図である。
【図１１】第２の実施形態の速度変化解析シーケンスのフローチャートである。
【図１２】第２の実施形態の速度変化解析処理のフローチャートである。
【図１３】第２の実施形態に係る移動体データの構成例を説明する図である。
【図１４】第２の実施形態に係る一人の速度変化量をプロットした図である。
【図１５】第２の実施形態に係る速度変化量の出現頻度をプロットした図である。
【図１６】第３の実施形態の速度変化解析シーケンスのフローチャートである。
【図１７】第３の実施形態の速度変化解析処理のフローチャートである。
【図１８】第４の実施形態の表示制御処理のフローチャートである。
【図１９】第４の実施形態に係る一人の速度変化の表示例を示す図である。
【図２０】第４の実施形態に係る複数の移動体の速度変化の表示例を示す図である。
【図２１】第５の実施形態に係る店舗内のカメラの撮影範囲を説明する図である。
【図２２】第５の実施形態に係るカメラが撮影した店舗内映像を説明する図である。
【図２３】カメラの個体差による速度変化の違いを説明する図である。
【図２４】第５の実施形態に係る移動体データの構成例を説明する図である。
【図２５】第５の実施形態の速度変化解析シーケンスのフローチャートである。
【図２６】複数カメラ補正処理のフローチャートである。
【図２７】複数カメラ補正処理適用後の速度データを説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
以下、図１〜図７を参照して、本発明の第１の実施形態について説明する。
図１に本実施形態におけるシステム構成例を示す。
カメラ１０１およびカメラ１０２は、店舗内を撮影する１台以上の撮像装置であり、ネットワーク１０４を介してサーバ１０３と接続されている。カメラ１０１およびカメラ１０２は、それぞれが撮影した映像データを、ネットワーク１０４を介してサーバ１０３に送信する。サーバ１０３は、カメラの制御コマンドを、ネットワークを介してカメラ１０１およびカメラ１０２へ送信可能となされている。
【００１１】
図２は、図１に示したサーバ１０３のハードウェア構成例を示すブロック図である。
サーバ１０３は、例えばＣＰＵ２０２と記憶部２０３と通信制御部２０１と表示部２０４と入力部２０５を備え、これらが互いに接続されている。
通信制御部２０１は通信処理およびその制御を行うための構成であり、ＣＰＵ２０２がネットワーク１０４を介してカメラ１０１もしくはカメラ１０２等の外部機器と通信する際の通信処理およびその制御を行う。
【００１２】
ＣＰＵ２０２は、サーバ１０３の装置全体を統括制御する。また、ＣＰＵ２０２は、カメラ１０１やカメラ１０２から受信した映像データから、移動する物体を検出する公知の機能（移動体検出機能）を有する。また詳細は後述するが、ＣＰＵ２０２は、カメラ１０１や１０２から受信した映像データから移動体の速度を検出する速度検出機能、さらにその検出した速度の変化量を検出する変化量検出機能、その速度変化量を解析する移動体速度変化解析機能を有する。なお本実施形態では、移動体の一例として店舗内を移動する顧客を想定している。
【００１３】
記憶部２０３は、カメラ１０１およびカメラ１０２から受信した映像データや、後述するようにしてＣＰＵ２０２が検出した移動体、移動体の速度、移動体の速度変化等の情報を記憶する。
表示部２０４は、映像データに基づく映像や、ＣＰＵ２０２が処理した結果に応じた画像、グラフィックユーザインタフェース画像などを、表示装置に表示させる。なお表示部２０４には表示装置が含まれていても良い。
入力部２０５は、ユーザによる操作を受け付け、そのユーザからの操作内容をＣＰＵ２０２に送信する。
【００１４】
以下、図３と図４を参照して、サーバ１０３がカメラ１０１や１０２から映像データを受信して、移動体の検出、移動体の速度検出、移動体速度変化解析を行う、一連の処理について説明する。
ここでは、例えばカメラ１０１から送られた映像データを用いて移動体速度変化解析を行う例を挙げて説明する。移動体検出、移動体速度検出、移動体速度変化解析の一連の処理はＣＰＵ２０２により行われる。
【００１５】
先ず、サーバ１０３において、映像データから移動体を検出し、その検出した移動体に関する情報（移動体データとする）を蓄積するまでの移動体データ蓄積シーケンスについて、図３のフローチャートを参照ながら説明する。なお図３のフローチャートの各処理ステップＳ３０１〜Ｓ３０４をＳ３０１〜Ｓ３０７と略記する。この図３のフローチャートに示した処理は、本実施形態に係るプログラムに基づくソフトウェア構成により実現されても良いし、ハードウェア構成にて実現されても、一部がソフトウェア構成で残りがハードウェア構成で実現されてもよい。ソフトウェア構成により処理が実行される場合、例えば記憶部２０３に記憶されている本実施形態に係るプログラムをＣＰＵ２０２が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。これらのことは後述する他のフローチャートにおいても同様であるとする。
【００１６】
サーバ１０３において入力部２０５を介してユーザから移動体検出開始の指示が入力されると、ＣＰＵ２０２は、図３の移動体データ蓄積シーケンスの処理を開始する。そして、Ｓ３０１において、ＣＰＵ２０２は、カメラ１０１から送られてくる映像データを、通信制御部２０１を介して受信する。なおこの例では、映像データはカメラ１０１からネットワーク１０４を介してリアルタイムで受信する構成を挙げているが、カメラ１０１からの映像データを記憶部２０３に蓄積し、その蓄積した映像データを処理の対象としても良い。
【００１７】
次にＳ３０２において、ＣＰＵ２０２は、Ｓ３０１で取得した映像データから、カメラの撮影範囲内を移動する移動体を検出する。移動体の検出方法には、事前に取得した背景画像との差分を抽出して動物体を検出する背景差分法などを用いる。またＳ３０２において、ＣＰＵ２０２は、検出した移動体を個別に認識し、移動体ごとに撮影日時、画面上の位置情報と速度を含む移動体データを取得する。
【００１８】
次にＳ３０３において、ＣＰＵ２０２は、Ｓ３０２の移動体検出処理により取得した移動体データを、図２に示した記憶部２０３に蓄積する。
さらにＳ３０４において、ＣＰＵ２０２は、入力部２０５を介してユーザから移動体検出の終了指示が入力されたか否かを判定し、終了指示が入力されるまで、Ｓ３０１からＳ３０４までの処理を映像データのフレーム毎に繰り返す。
なお、ＣＰＵ２０２は、処理中の映像を表示部２０４により表示させることも可能である。これにより、ユーザは処理中の映像を確認可能となる。
【００１９】
図４は、映像データからＳ３０２の移動体検出処理によって検出される移動体と、その検出された移動体に関する移動体データの一例を説明する図である。
図４（ａ）に示した映像４０１〜４０３は店舗内を俯瞰撮影した映像を表しおり、時刻順に並んでいる。また、図４（ｂ）は映像４０１〜４０３から検出された移動体データを表として示した図である。なおＣＰＵ２０２が受信する映像データは動画のフレームごとのデータであるが、図４（ａ）に例示した映像４０１〜４０３は、移動体の移動を分かり易く図示するために、ある程度時間間隔を空けた映像となされている。
【００２０】
例えば、映像４０１において顧客Ａが撮影範囲内に初めて出現すると、ＣＰＵ２０２はＳ３０２の移動体検出処理において顧客Ａを移動体として検出する。またＣＰＵ２０２は、検出した移動体である顧客Ａに対し、人物ＩＤ０００１を付与する。さらにＣＰＵ２０２は、他の映像４０２や映像４０３についても同様にして移動体を検出する。このとき、ＣＰＵ２０２は、画像の特徴量から顧客Ａは別の映像４０２や映像４０３においても同一人物であると判定し、顧客Ａの移動情報（時刻情報、位置情報、通過速度の情報）を取得して人物ＩＤ０００１と紐付ける。移動情報として取得される位置情報は、映像上に仮想的に二次元座標（ｘ，ｙ）を設定し、映像上で移動体が位置する場所の（ｘ，ｙ）座標である。移動体の通過速度については後述する。またＣＰＵ２０２は、映像４０３において別の顧客Ｂが出現し、この顧客Ｂを移動体として検出すると、この顧客Ｂに対しては別の人物ＩＤ０００２を付与し、顧客Ａとは区別して移動情報を取得して紐付けを行う。そして、ＣＰＵ２０２は、Ｓ３０３の移動体データ蓄積処理において、図４（ｂ）の表で示されるような、移動体ごとの識別情報（人物ＩＤ）とそれに紐付けした移動情報とからなる移動データを、記憶部２０３に保存する。前述したような移動体の検出および識別情報（人物ＩＤ）の付与、それら移動体の識別情報に対する移動情報の紐付け、それら移動体データの保存は、映像データのフレームごとに行われる。
【００２１】
次に図５に示す移動体速度変化解析シーケンスのフローチャートを参照し、サーバ１０３においてＳ３０３の処理で蓄積された移動体データを使って移動体速度変化を解析する一連の処理について説明する。
サーバ１０３において、入力部２０５を介してユーザから移動体変化の解析開始の指示が入力されると、ＣＰＵ２０２は、図５の移動体速度変化解析シーケンスの処理を開始する。そしてＳ５０１において、ユーザから、速度変化を分析したい解析領域を指定する指示が入力部２０５を介して入力されると、ＣＰＵ２０２は、映像データによる映像領域の中に、その指示に応じた解析領域を設定する領域設定処理を実行する。以下、ユーザにより指定された解析領域を解析対象エリアと表記する。
【００２２】
図６は、解析対象エリアの指定時に、表示部２０４を介してユーザに提示する表示画面６００の例を示した図である。図６には、一例として、店舗内の映像を表示し、その上に移動体（顧客）がこれまで通過した移動軌跡６０２を重畳表示した表示画面６００を示している。この時のユーザは、その表示画面６００を見ながら、入力部２０５を介してカーソル６０３等を操作してグラフィカルに範囲を描いたり、座標を入力したりして、解析対象エリア６０１を指定する。また予め商品と売り場エリアを関連付けておき、ユーザが注目したい商品を選択した場合に、その商品の位置や商品棚の位置などを基に、ＣＰＵ２０２が解析対象エリアを自動で設定するようにしても良い。
【００２３】
次にＳ５０２において、ＣＰＵ２０２は、解析対象エリアを通過した移動体に対応した移動体データを記憶部２０３から取り出し、移動体速度変化解析処理を実行する。
図７は、Ｓ５０２においてＣＰＵ２０２が実行する、移動体速度変化解析処理の詳細な制御のフローチャートである。
【００２４】
先ずＳ７００において、ＣＰＵ２０２は、Ｓ５０１で指定された解析対象エリアを通過した移動体の移動体データを記憶部２０３から探索する。移動体データには位置情報が記録されているため、ＣＰＵ２０２は、Ｓ７０１において、解析対象エリアの座標範囲内に含まれる位置情報を有する移動体データが記憶部２０３に蓄積されているか否かを判定する。そして、ＣＰＵ２０２は、解析対象エリアの座標範囲内に含まれる位置情報を有する移動体データが蓄積されていると判定（ＹＥＳ）した場合にはＳ７０２へ処理を進め、蓄積されていないと判定（ＮＯ）した場合には図７の処理を終了する。
【００２５】
Ｓ７０２へ進むと、ＣＰＵ２０２は、Ｓ７０１で記憶部２０３から抜き出した移動体データから、移動体が解析対象エリアを通過した時の通過速度Ｖ１を取得する。通過速度Ｖ１は、解析対象エリア内の平均通過速度でも良いし、エリア進入・退出時の瞬間通過速度でも良く、また、これらはユーザ設定で選べるようにしても良い。
【００２６】
次にＳ７０３に進み、ＣＰＵ２０２は、その移動体が解析対象エリアへ進入する前の通過速度Ｖ２を取得する。本実施形態では、解析対象エリアに進入する例えば３秒前の瞬間通過速度を通過速度Ｖ２として取得するものとする。なお、通過速度Ｖ２としてどの時点の速度を取得するかはユーザ設定で選べるようにしても良い。
【００２７】
次にＳ７０４において、ＣＰＵ２０２は、解析対象エリアにおける移動体の速度の変化を表す情報として、移動体の速度変化量Ｐｖを計算する。具体的には、ＣＰＵ２０２は、下記の式（１）により、解析対象エリア進入前の通過速度Ｖ２に対する解析対象エリア内の通過速度Ｖ１の割合を、移動体の速度変化量Ｐｖとして算出する。
【００２８】
Ｐｖ＝Ｖ１／Ｖ２        式（１）
【００２９】
次にＳ７０５において、ＣＰＵ２０２は、速度変化量の判定を行う。ここでＣＰＵ２０２は、予め閾値として設定された基準値Ｒを用い、Ｓ７０４で計算した速度変化量Ｐｖが基準値Ｒ以下である場合（ＹＥＳ）にはＳ７０６において通過速度を「遅い」と判定する。例えば基準値Ｒを０．５に設定した場合、速度変化量Ｐｖが基準値Ｒ以下になった顧客、つまり解析対象エリアへ進入する前と比べて当該エリア通過時の通過速度が半分以下になった顧客が「遅い」と判定されることになる。一方、ＣＰＵ２０２は、速度変化量Ｐｖが基準値Ｒを超えている場合（ＮＯ）にはＳ７０７において通過速度を「速い」と判定する。これらＳ７０６またはＳ７０７の後、ＣＰＵ２０２は、Ｓ７０８の処理に進む。
【００３０】
Ｓ７０８に進むと、ＣＰＵ２０２は、Ｓ７０６またはＳ７０７による解析結果（遅いまたは速いの判定結果）を、人物ＩＤ毎に記憶部２０３の移動体データ表に保存する。このＳ７０８の後、ＣＰＵ２０２は、Ｓ７０１に処理を戻し、以下前述同様に、Ｓ７０１からＳ７０８までの処理を、記憶部２０３に蓄積されている移動体データのＩＤ毎に繰り返す。
【００３１】
以上説明した図７のフローチャートの処理が、Ｓ５０２における移動体速度変化解析処理の詳細な流れであり、このＳ５０２の処理後、ＣＰＵ２０２は、Ｓ５０３に処理を進める。
Ｓ５０３に進むと、ＣＰＵ２０２は、Ｓ５０２で得た移動体速度変化の解析結果を記憶部２０３から取得してグラフにまとめ、そのグラフを表示部２０４により画面表示させる。
【００３２】
図８は、ある解析対象エリアにおける速度変化量毎の出現頻度（つまり通過人数）をプロットした解析結果グラフの一表示例を示した図である。この図８の解析結果グラフの表示例によれば、基準値Ｒを０．５としたとき、０．５よりも左側の「遅い」と判定された顧客が多く存在したことが視覚的に確認でき、解析対象エリア内の商品等に興味を持った人が多かったことが分かる。
【００３３】
また図９には、例えば平均通過速度が異なる顧客Ａと顧客Ｂが存在しているような場合の解析結果グラフの一表示例を示した図である。この図９の解析結果グラフの表示例では、グラフの縦軸が顧客（移動体）の速度[pixel/sec]、横軸が時間を表している。この図９の例の場合、顧客Ａは、解析対象エリアに進入する３秒前の通過速度が８０[pixel/sec]であったのに、解析対象エリア通過時の速度は４０[pixel/sec]になっている。つまり顧客Ａは、解析対象エリアを通過する３秒前の通過速度（Ｖ２＝８０[pixel/sec]）が、解析対象エリア通過時には通過速度（Ｖ１＝４０[pixel/sec]）になっており、したがって顧客Ａの速度変化量はＰｖ＝４０／８０＝０．５である。そして、速度変化量に対する比較の基準値Ｒが０．５であるとすると、顧客Ａは解析対象エリアを通過する際に「遅い」速度で移動したことが分かる。また、図９の例の場合、同様にして顧客Ｂについて求めた速度変化量（Ｐｖ）が０．２５となっているため、顧客Ｂもまた解析対象エリアを通過する際に「遅い」速度で移動したことが分かる。
【００３４】
なお、前述した特許文献１に示した技術の場合は、「遅い」と判断する閾値を停止に近い速度に設定しており、顧客Ａが減速したことは検出できないため、顧客Ａは解析対象エリアに関心がないと判定されることになる。これに対し、本実施形態の場合は、直前の通過速度と比較して速度が落ちている個所を検出することができ、より詳細に「遅い」か「速い」かを、判定ができる。したがって、本実施形態によれば、例えば「遅い」と判定された顧客は関心を持って速度を落とした顧客であると検出できるようになる。
【００３５】
前述した本実施形態の説明では、解析対象エリアにより場所を指定した上で、直前の通過速度に対する速度変化量を計算し、その速度変化量の大きさによって「遅い」「速い」を判定したが、別の手法により移動体毎の速度の変化を検出することもできる。例えば、ＣＰＵ２０２は、撮影範囲全域における移動体の平均通過速度を計算し、その平均通過速度によって移動体（顧客）を通過速度が「速い人」「普通の人」「遅い人」など複数に分類する。またそれぞれの分類に対して閾値Ｔ１、Ｔ２、Ｔ３を予め設定しておく。そして、ＣＰＵ２０２は、図１０に示すように、「速い人」と分類された人について、あるエリアの通過速度が閾値Ｔ１未満のときは通過速度が「遅い」、閾値Ｔ１以上の速度のときは通過速度が「速い」と判定する。また、ＣＰＵ２０２は、「普通の人」「遅い人」も同様に、それぞれの閾値を使って通過速度の「遅い」「速い」を判定する。すなわちこの例の場合、移動体の速度の変化を、撮影範囲全域における平均通過速度に応じた分類結果と、それら分類毎に設定された閾値とを基に検出する。なおここでは３つの分類を例示したが、分類はもっと細かくても良い。
【００３６】
また、本実施形態で用いる前述の各閾値は、移動体の特徴に基づいて設定してもよい。例えば、公知の顔認識技術により顧客の特徴として年齢や性別等を判定し、例えば高齢者と判定した時には閾値を低くするなどして閾値を設定もしくは調整してもよい。
【００３７】
＜第２の実施形態＞
次に第２の実施形態について、図１１〜図１３を参照しながら説明する。
第２の実施形態では、解析対象エリアのような特定エリアにおける移動体の通過速度の「遅い」「速い」の判定だけではなく、撮影範囲全体における移動体の速度変化を解析する例を説明する。第２の実施形態では、移動体の通過速度のデータ全体を正規化することで、複数の移動体の速度変化を比較できるようにする。なお、第２の実施形態において、システム構成は図１と同様であり、またサーバ１０３のハードウェア構成は図２、移動体データ蓄積シーケンスは図３とそれぞれ同様であるためそれらの図示および構成説明は省略する。
【００３８】
先ず図１１を参照して、第２の実施形態における移動体速度変化解析シーケンスについて説明する。
第２の実施形態のサーバ１０３において、入力部２０５を介してユーザから移動体変化の解析開始の指示が入力されると、ＣＰＵ２０２は、図１１の移動体速度変化解析シーケンスの処理を開始する。そして、Ｓ１１０１において、入力部２０５を介してユーザから移動体を指定する指示が入力されると、ＣＰＵ２０２は、そのユーザ指示による移動体（顧客）を解析対象として設定する。解析対象の移動体の設定方法としては、第１の実施形態と同様にして指定されたエリアを通過した移動体を解析対象として設定しても良いし、ユーザが解析したい時間帯を指定してその時間帯に現れた移動体を解析対象として設定しても良い。また、移動体データ表中の人物ＩＤをユーザが直接指定して、その人物ＩＤに対応した顧客（移動体）を解析対象として設定しても良い。なお、特にユーザによる指定がなければ、ＣＰＵ２０２は、記憶部２０３に蓄積された全移動体データに対応した移動体を解析対象として設定する。
【００３９】
次にＳ１１０２において、ＣＰＵ２０２は、Ｓ１１０１で設定された解析対象の移動体の移動体データを記憶部２０３から取り出し、移動体速度変化解析処理を実施する。
図１２は、Ｓ１１０２においてＣＰＵ２０２が実行する、移動体速度変化解析処理の詳細な制御のフローチャートである。
【００４０】
先ずＳ１２００において、ＣＰＵ２０２は、Ｓ１１０１で指定された条件に合致する移動体（顧客）の移動体データを記憶部２０３から探索する。この時、ＣＰＵ２０２は、Ｓ１２０１において、Ｓ１１０１で指定された条件に合致する移動体の移動体データが記憶部２０３に蓄積されているか否かを判定する。そして、ＣＰＵ２０２は、合致する移動体データが蓄積されていると判定（ＹＥＳ）した場合にはＳ１２０２へ処理を進め、蓄積されていないと判定（ＮＯ）した場合には図１２の処理を終了する。
【００４１】
図１２のＳ１２０２からＳ１２０５までの処理ステップは、通過速度の正規化を行う正規化ステップである。
Ｓ１２０２に進むと、ＣＰＵ２０２は、Ｓ１１０１で取得した移動体データを基に、解析対象の移動体について撮影範囲全域における平均通過速度Ｖａを計算する。
【００４２】
次に１２０３において、ＣＰＵ２０２は、解析対象の移動体の移動体データを記憶部２０３から探索し、ある時刻tにおける通過速度Ｖｔを取得する。
さらに１２０４において、ＣＰＵ２０２は、下記の式（２）により、平均通過速度Ｖａに対する通過速度Ｖｔの割合を計算し、その割合を移動体の速度変化量Ｐｖｔとして取得する。そして、ＣＰＵ２０２は、その速度変化量Ｐｖｔを記憶部２０３の移動体データ表（後述する図１３の表）に保存する。
【００４３】
Ｐｖｔ＝Ｖｔ／Ｖａ        式（２）
【００４４】
次に１２０５において、ＣＰＵ２０２は、解析対象の移動体における次の移動体データ（次のレコード）が存在するか否かを判定する。そしてＣＰＵ２０２は、次のレコードが存在しないと判定（ＮＯ）した場合にはＳ１２０１に処理を戻す。一方、次のレコードが存在すると判定（ＹＥＳ）した場合、ＣＰＵ２０２は、Ｓ１２０３に処理を戻すことで、全てのレコードに対してＳ１２０３からＳ１２０５までの正規化ステップを実行する。
【００４５】
以上説明した図１２のフローチャートの処理が、Ｓ１１０２における移動体速度変化解析処理の詳細な流れであり、このＳ１１０２の処理後、ＣＰＵ２０２は、Ｓ１１０３に処理を進める。
Ｓ１１０３に進むと、ＣＰＵ２０２は、Ｓ１１０２で得た移動体速度変化の解析結果を記憶部２０３から取得し、グラフにまとめて、表示部２０４により画面表示させる。
【００４６】
図１３は、ある移動体の速度変化量Ｐｖｔを解析結果のグラフの一例として表した移動体データ表を示した図である。この図１３の移動体データ表によれば、顧客（移動体）の人物ＩＤとともに、その顧客が通過した場所、時刻、通過速度、速度変化量（Ｐｖｔ）を合わせて表示することで、ユーザは移動体がどこでどのくらいの割合で減速したかを視覚的に認識可能となる。
【００４７】
また図１４には、移動体速度変化の解析結果として、ある移動体の速度変化量Ｐｖｔのグラフの表示例を示した図である。この図１４は、グラフの縦軸が速度変化量Ｐｖｔを、横軸が時間を表している。図１４によれば、平均通過速度に対する移動体の速度変化が分かり、さらに通過した場所（第１売り場、第２売り場）の情報などを合わせて表示することで、顧客Ａや顧客Ｂがどの場所でどのくらいの割合で減速等したかを視覚的に分かりやすく提示できる。
【００４８】
また図１５に示すように、前述した図８と同様に、あるエリアにおける速度変化量Ｐｖｔの出現頻度（通過人数）をプロットしたグラフを表示してもよい。図１５の表示例によれば、速度変化量Ｐｖｔ＝１付近で通過した移動体が多いときは、売り場に関心を持たずに素通りした人が多いと分析できる。また、速度変化量Ｐｖｔ＝０は停止を表しており、図１５の例では停止した人はあまりいないとも分析できる。
【００４９】
第２の実施形態においては、速度変化を正規化することにより、全ての顧客に対して同じ指標で速度変化を比較できるようになった。これにより、あるエリアでの正規化した速度変化の値を集計することで、そのエリアの関心度を測ることが容易になる。また、例えば「平均通過速度に対して０．３の割合の通過速度で通過した」エリアを抽出するようなことも可能になるので、多くの人が減速をしているのに、今まで店舗側では着目していなかったエリアを新たに発見できるようになる。
なお第２の実施形態では、平均通過速度に対する割合で正規化したが、別の正規化方法を使用しても良い。一例として、移動体の通過速度が所定の値（例えば０〜１）に収まるように通過速度をスケーリングする方法などを用いることができる。
【００５０】
＜第３の実施形態＞
次に第３の実施形態について、図１６〜図１７を参照しながら説明する。
第３の実施形態では、速度もしくは速度変化の値に対して補正をかける速度補正処理を行う例を説明する。以下、第３の実施形態について、第２の実施形態を基に説明し、第２の実施形態と同様の処理等については説明を省略する。なお第３の実施形態において、システム構成は図１と同様であり、またサーバ１０３のハードウェア構成は図２、移動体データ蓄積シーケンスは図３とそれぞれ同様であるため、それらの図示および構成説明も省略する。
【００５１】
ここで、例えばある売り場が夕方の時間帯だけ混雑していたとき、夕方の時間帯に通過した顧客は、混雑していない他の時間帯に通過した顧客に比べて、関心度の高さに依らずに通過速度が遅くなると考えられる。そのため、時間帯の異なる顧客の速度変化を比較する場合には、混雑度に応じて速度を補正する必要がある。また、顧客が曲がり角や障害物のある場所を通過するときも、関心度の高さに依らずに通過速度が遅くなる。また、曲がり角等には商品が置かれていないことも多く、解析する必要がない場合もある。その場合、曲がり角を通過速度解析の解析対象から除外することが考えられる。
【００５２】
そこで、第３の実施形態では、移動体が通過するエリアの状況に応じて速度もしくは速度変化量に補正をかけ、また、解析が不要なエリアについては解析対象から除外することにより、速度変化量を適切に比較できるようにする。
【００５３】
以下、図１６を参照して、第３の実施形態における移動体速度変化解析シーケンスについて説明する。
第３の実施形態のサーバ１０３において、入力部２０５を介してユーザから移動体変化の解析開始の指示が入力されると、ＣＰＵ２０２は、図１６の移動体速度変化解析シーケンスの処理を開始する。そして、Ｓ１６０１において、入力部２０５を介してユーザから解析対象を指定する指示が入力されると、ＣＰＵ２０２は、そのユーザ指示による移動体（顧客）を解析対象として設定する。移動体データの指定方法は、前述した第２の実施形態と同様でありその説明は省略する。
【００５４】
さらにＳ１６０２において、入力部２０５を介してユーザにより解析対象から除外する場所や時間帯等の条件が指定されると、ＣＰＵ２０２は、そのユーザ指定の条件に合致している移動体データを解析対象から除外するような除外設定処理を行う。解析の対象から除外する移動体データを指定する際の手法としては、Ｓ１６０１と同様に例えばエリアを指定し、そのエリアを通過した移動体の移動体データを解析対象外に設定するようは方法を用いる。また、予め登録された店舗内のマップ情報を用いて曲がり角等の場所を設定しておき、その曲がり角等の場所を通過した移動体の移動体データを自動的に解析対象外にするようにしても良い。
【００５５】
次にＳ１６０３に進むと、ＣＰＵ２０２は、Ｓ１６０１で設定された移動体のうち、Ｓ１６０２で解析対象から除外していない移動体の移動体データを、記憶部２０３から取り出し、移動体速度変化解析処理を実施する。
【００５６】
図１７は、Ｓ１６０３においてＣＰＵ２０２が実行する、移動体速度変化解析処理の詳細な制御のフローチャートである。
先ずＳ１７００において、ＣＰＵ２０２は、Ｓ１６０１で指定された条件に合致する移動体データと、Ｓ１６０２で指定された条件に合致する移動体データとを、記憶部２０３から探索する。この時、ＣＰＵ２０２は、Ｓ１７０１において、それら指定された条件に合致する移動体データが記憶部２０３に蓄積されているか否かを判定する。そして、ＣＰＵ２０２は、合致する移動体データが蓄積されていると判定（ＹＥＳ）した場合にはＳ１７０２へ処理を進め、蓄積されていないと判定（ＮＯ）した場合には図１７の処理を終了する。
【００５７】
Ｓ１７０２に進むと、ＣＰＵ２０２は、移動体が通過した場所の通過時点における混雑度を計算する混雑度取得処理を行う。例えば記憶部２０３には、図１３の移動体データ表に示したように各移動体が通過した時刻と位置が保存されているので、解析対象の移動体の周囲にいた人数を計算するのは容易にできる。例えば、ＣＰＵ２０２は、解析対象移動体から半径１ｍ以内にいる移動体の人数を計算し、その人数を混雑度として取得する。
【００５８】
次にＳ１７０３に進むと、ＣＰＵ２０２は、Ｓ１７０２で得た混雑度から補正値Ｃを生成する補正値生成処理を行う。本実施形態の補正値生成処理としては、例えば混雑度と補正値Ｃとの対応を表すテーブルを予め用意しておき、ＣＰＵ２０２は、そのテーブルから、Ｓ１７０２で算出した混雑度に対応した補正値Ｃを参照するような処理を用いることができる。
【００５９】
次にＳ１７０４において、ＣＰＵ２０２は、前述のＳ１２０２と同様の処理により平均通過速度Ｖａを計算する。
さらにＳ１７０５において、ＣＰＵ２０２は、前述のＳ１２０３と同様の処理により通過速度Ｖｔを取得する。
【００６０】
次にＳ１７０５において、ＣＰＵ２０２は、下記の式（３）により、平均通過速度Ｖａに対する通過速度Ｖｔの割合を計算し、さらに計算した割合の値に対して補正値Ｃによる補正をかけた速度変化量Ｐｖｔｃを算出する。そして、ＣＰＵ２０２は、その算出した速度変化量Ｐｖｔｃを、記憶部２０３の移動体データ表に保存する。
【００６１】
Ｐｖｔｃ＝Ｖｔ／Ｖａ＋Ｃ        式（３）
【００６２】
その後、Ｓ１７０７において、前述したＳ１２０５と同様に次のレコードが存在するか否かの判定処理を行い、存在しないと判定（ＮＯ）した場合にはＳ１７００に処理を戻し、一方、存在すると判定（ＹＥＳ）した場合にはＳ１７０５に処理を戻す。
【００６３】
以上説明した図１７のフローチャートの処理が、Ｓ１６０３における移動体速度変化解析処理の詳細な流れであり、このＳ１６０３の処理後、ＣＰＵ２０２は、Ｓ１６０４に処理を進める。Ｓ１６０４の表示制御処理は前述したＳ１１０３と同様であるためその説明は省略する。
【００６４】
以上のように、第３の実施形態では、移動体が通過するエリアの状況に応じて、速度もしくは速度変化を補正し、また解析が不要なエリアでは解析対象から除外することで、エリア通過時の状況が異なる複数の移動体（顧客）の速度変化を比較できるようになる。
なお第３の実施形態では、第２の実施形態の例を基に説明したが、第１の実施形態の例にも適用可能である。第１の実施形態では解析対象エリアにおいて移動体の速度変化量を計算したが、第３の実施形態に第１の実施形態を適用する場合、その速度変化量計算時に当該エリアにおける混雑度を計算して前述同様に補正をかけ、また解析対象の除外を行うようにする。
【００６５】
＜第４の実施形態＞
次に第４の実施形態について、図１８〜図２０を参照しながら説明する。
第４の実施形態では、移動体速度変化解析の結果を表示させるような表示制御を行う例について説明する。第４の実施形態では、解析結果を視覚的に分かりやすく提示するため、映像上に重畳する移動軌跡を生成する移動軌跡生成処理を行い、その生成した移動軌跡に解析結果を反映させるような表示制御を行う。この第４の実施形態においても、第２の実施形態の例を基に説明し、第２の実施形態と同様の処理等については説明を省略する。なお第４の実施形態において、システム構成は図１と同様であり、またサーバ１０３のハードウェア構成は図２、移動体データ蓄積シーケンスは図３、移動体速度変化解析シーケンスは図１１とそれぞれ同様であるため、それらの図示および構成説明も省略する。ただし第４の実施形態の場合、図１１のＳ１１０３の表示制御処理で実施する処理が異なる。
【００６６】
以下、図１８のフローチャートを参照して、第４の実施形態におけるＳ１１０３で実行される表示制御処理の詳細な制御について説明する。
先ずＳ１８００において、ＣＰＵ２０２は、表示部２０４により表示する対象となる移動体の移動体データを記憶部２０３から探索する。表示対象の移動体を設定する方法は第２の実施形態と同様で良い。この時のＣＰＵ２０２は、Ｓ１８０１において、表示対象の条件に合致する移動体の移動体データが記憶部２０３に蓄積されているか否かを判定する。そして、ＣＰＵ２０２は、合致する移動体データが蓄積されていると判定（ＹＥＳ）した場合にはＳ１８０２へ処理を進め、蓄積されていないと判定（ＮＯ）した場合には図１８の処理を終了する。
【００６７】
Ｓ１８０２に進むと、ＣＰＵ２０２は、表示対象の移動体の移動体データから、位置情報（ｘ，ｙ）を取得する。
またＳ１８０３において、ＣＰＵ２０２は、その表示対象の移動体の速度変化量を取得する。このときの速度変化量は、前述した第２の実施形態で説明した速度変化量Ｐｖｔでも良いし、３の実施形態のように補正された速度変化量Ｐｖｔｃであってもよい。
【００６８】
次にＳ１８０４において、ＣＰＵ２０２は、Ｓ１８０３で取得した速度変化量の大きさから、移動軌跡として表示する点（例えば各フレームに対応した位置の点）の大きさを決定する。つまり本実施形態の場合、移動体の移動軌跡は複数の点の連なりによって表現されており、点の大きさが速度変化量の大きさを表すようになされている。このため、ＣＰＵ２０２は、例えば速度変化量が大きくなるほど、移動軌跡上の点の大きさを大きくするように表示する。また、解析対象外エリアに指定されていたために速度変化量が保存されていない場合、ＣＰＵ２０２は、解析対象外とわかるように点の特徴を変えて表示する。また例えば、速度変化量がゼロのときは移動体が停止していることになるため、その停止位置は重要な情報であるので移動体が停止したと分かるように点の特徴を変えて表示する。また本実施形態では、移動軌跡上の点の大きさ（移動軌跡の線の太さ）で速度変化量を表現しているが、点の大きさでなく移動軌跡の色（移動軌跡の線の色）を変えて表現しても良い。
【００６９】
次にＳ１８０５に進むと、ＣＰＵ２０２は、表示部２０４を介して、店舗内を撮影した映像上に移動体の移動軌跡を重畳表示する。移動軌跡を表示する位置は、Ｓ１８０２で取得した位置（ｘ，ｙ）であり、移動軌跡上の点の大きさはＳ１８０４で決定した速度変化量に応じた点の大きさとする。
その後、Ｓ１８０６において、ＣＰＵ２０２は、表示対象の移動体の移動体データに前述同様に次のレコードが存在するかを確認し、全てのレコードに対してＳ１８０２からＳ１８０６までの処理を実行する。
【００７０】
図１９は、ある顧客に対して移動体速度変化解析を行った結果を、本実施形態に係る表示方法により移動軌跡上に関連付けて表示させた例を示した図である。図１９（ａ）は店舗等の映像上に移動体（顧客）の移動軌跡を重畳表示した表示例を示した図であり、図１９（ｂ）は移動体の速度と移動軌跡上の点の大きさとの対応関係の凡例を示した図である。図１９（ａ）の例では、顧客は出入口１９０１から出入口１９０２までの間を移動し、その間に第１売り場と第２売り場の前を通過している。また図１９（ａ）の例において、顧客が止まった位置は、移動軌跡上の点の特徴としての形状を例えば星型の形状（星型マーク）とすることで停止位置を表すようにして映像上で確認可能としている。この図１９（ａ）の例の場合、第１売り場の前では移動軌跡が細く表示され且つ星型マークが表示されているため、顧客は、第１売り場の前では停止もしくは停止に近い遅い速度で且つ速度変化量も少ない状態で移動していることが分かる。一方で、出入口１９０１や出入口１９０２の近辺、第２売り場の前では、移動軌跡が太く表示されているため、速度変化量が大きくなっていることが分かる。つまり、図１９（ａ）の例の場合、顧客は、第１売り場ではゆっくりと速度変化が少ない状態で移動し、第１売り場から離れるほど速い移動速度で移動したことが分かる。図１９のような表示を行うことにより、顧客の店舗内全体の通過速度変化を視覚的にとらえることができるようになる。また、第１売り場前では移動軌跡が細くまた顧客が停止しているため、顧客は第１売り場について興味を持って遅い速度で通過したと分析できる。一方、第２売り場前では移動軌跡が太く顧客の速度変化量が大きいため、第２売り場については余り関心を持たずに通過したと分析できる。
【００７１】
また図２０は、複数の顧客に対して実施した移動体速度変化解析の結果を表示した例を示した図である。図２０（ａ）は店舗等の映像上に複数の移動体（顧客）の移動軌跡を重畳表示した表示例を示した図であり、図２０（ｂ）は移動体の速度と移動軌跡上の点の大きさとの対応関係の凡例を示した図である。図２０（ａ）の例においても、顧客は出入口２００１から出入口２００２までの間を移動し、その間に第１売り場と第２売り場の前を通過している。また顧客が止まった位置は星型マークにより表されている。図２０（ａ）の例でも図１９の例と略々同様に、複数の顧客は、第１売り場前では停止もしくは停止に近い遅い速度で且つ速度変化量も少ない状態で移動していることが分かる。また、出入口２００１や出入口２００２近辺、第２売り場の前では、概ね速度変化量が大きくなっていることが分かる。図２０の表示例においても、図１９と同様に、顧客の店舗内全体の通過速度変化を視覚的にとらえることができるようになる。また図２０の例では、複数の顧客における移動軌跡を表示することで、どのくらいの速さで通過した顧客が多かったのかを視覚的にとらえることが出来るようになる。そして、図２０の例では、第１売り場前では細い線の移動軌跡が多いため、遅い速度で通過した顧客が多いこと、つまり顧客は第１売り場に興味を持っていると分析できる。一方、第２売り場前では太い線の移動軌跡が多いため、速い速度で通過した顧客が多く、あまり売り場に関心を持たれていないと分析できる。
【００７２】
以上のように、第４の実施形態によれば、移動体速度変化解析の解析結果を店舗内映像上に移動軌跡と関連付けて表示することで、視覚的に分かりやすくユーザに解析結果を提示できる。なお、第４の実施形態では第２の実施形態を基に説明したが、前述の第３の実施形態の場合と同様に第１の実施形態の例を適用することも可能である。
【００７３】
＜第５の実施形態＞
次に第５の実施形態について、図２１〜図２７を参照しながら説明する。
第５の実施形態では、異なるカメラによって撮影される複数の撮影範囲をまたがって顧客が移動した場合の例について説明する。なお第５の実施形態において、システム構成は図１と同様であり、またサーバ１０３のハードウェア構成は図２と同様であるため、それらの図示および構成説明も省略する。
【００７４】
図２１は、売り場面積が広い店舗内に複数のカメラが配置され、それら複数のカメラによってこの店舗内を撮影している例を表した図である。図２１に例示したカメラ１０１、カメラ１０２は、それぞれ図１のカメラ１０１、カメラ１０２と同じものとする。カメラ１０１は撮影範囲２１１１で示されるように店舗内の入り口付近を撮影し、カメラ１０２は撮影範囲２１１２で示されるように店舗内の中央付近を撮影しており、重複撮影範囲２１１３では両カメラの撮影範囲が重なっている。これらカメラ１０１と１０２は、それぞれ撮影した映像データをサーバ１０３に送信しているとする。また、図２１には、顧客Ａが移動した移動軌跡２１０１も示している。
【００７５】
ここで、顧客Ａが図２１中の移動軌跡２１０１のように移動したとすると、顧客Ａはカメラ１０１およびカメラ１０２のそれぞれによって撮影される。図２２はカメラ１０１とカメラ１０２により撮影されている映像例を示した図であり、図２２（ａ）はカメラ１０１により撮影されている映像例を、図２２（ｂ）はカメラ１０２により撮影されている映像例を表しているとする。図２２（ａ）の映像内には顧客Ａの移動軌跡２２０１も示しており、また一点鎖線で示した範囲２２１１はカメラ１０２でも重複撮影されている範囲を示している。同様に、図２２（ｂ）の映像内には、顧客Ａの移動軌跡２２０９と、カメラ１０１でも重複撮影されている範囲２２１２とを示している。
【００７６】
このときサーバ１０３では、カメラ１０１の映像データとカメラ１０２の映像データとのそれぞれから、顧客Ａの移動情報（時刻、位置、通過速度の情報）を取得する。すなわちサーバ１０３は、カメラ１０１とカメラ１０２の映像データからそれぞれ顧客Ａの画像の特徴量を抽出することで、それら異なるカメラの映像から顧客Ａを同一人物であると認識している。しかしながら、それぞれのカメラの映像データから通過速度を取得すると、カメラの設置位置や設置高さ、カメラの性能といったカメラの個体差から、同じ顧客が同じ場所を通過したときの通過速度でも速度に差が出てしまうことがある。
【００７７】
図２３は、カメラ１０１の映像から取得された顧客Ａの通過速度の変化を表したグラフ２３０１と、カメラ１０２の映像から取得された顧客Ａの通過速度の変化を表したグラフ２３０２とを示した図である。この図２３に示したようにカメラの設置位置や設置高さ、カメラの性能などのカメラの個体差により、同一の顧客Ａであっても通過速度に差が生ずることがある。このように、同一の顧客Ａでも通過速度に差が出ると、連続した速度変化のデータが得られず、移動体速度変化解析ができないことになる。
【００７８】
ここで、サーバ１０３は、複数のカメラで重複して撮影するような撮影範囲（重複撮影範囲）がある場合、それら複数のカメラの中の何れか一台を基準のカメラとして設定する。なお図２３の例の場合、重複撮影範囲２３０３が、カメラ１０１とカメラ１０２とで重複して撮影される範囲である。さらにサーバ１０３は、基準のカメラの映像データと、基準以外の他のカメラの映像データとで、重複撮影範囲内に写っている同一の移動体の速度のデータを比較し、重複撮影範囲内の同一地点で検知された速度の差分を求める。そして、サーバ１０３は、同一地点で検知された速度の差分だけ、基準以外の他のカメラの映像データに写っている同一移動体の速度データをシフトさせるように補正をかける。これにより、複数の撮影範囲をまたがって顧客が移動した場合でも、連続して速度変化のデータを得ることができるようになり、移動体速度変化解析が可能となる。
【００７９】
この第５の実施形態においても、第２の実施形態の例を基に説明し、第２の実施形態と同様の処理等については説明を省略する。第５の実施形態の場合、図３の移動体データ蓄積シーケンスはカメラ毎に実施する。第５の実施形態における処理の流れは第２の実施形態と概ね同様であるが、保存する移動体データの形式が異なる。
【００８０】
図２４は、第５の実施形態において、図３のＳ３０２の移動体検出処理で取得する移動体データの例を示した図である。図２４（ａ）はカメラ１０１の映像データから取得された移動体データを示し、図２４（ｂ）はカメラ１０２の映像データから取得された移動体データを示している。図２４に示すように、第５の実施形態の場合、移動体データには、人物ＩＤ、時刻情報、位置情報、通過速度に加えて、いずれのカメラの映像データから取得したのかを判別可能にするためのカメラＩＤ（撮影したカメラのＩＤ）が含まれている。なお、時刻はカメラ同士で同期されており、時刻のずれはないものとする。位置情報は第２の実施形態の例と同様に、それぞれのカメラの映像データ上に仮想的に設定された二次元座標から取得される。また通過速度は、前述同様に位置情報と時刻情報に基づいて取得される。
【００８１】
以下、図２５のフローチャートを参照して、第５の実施形態における移動体速度変化解析シーケンスについて説明する。
第５の実施形態のサーバ１０３において、入力部２０５を介してユーザから移動体変化の解析開始の指示が入力されると、ＣＰＵ２０２は、図２５の移動体速度変化解析シーケンスの処理を開始する。そして、Ｓ２５０１において、入力部２０５を介してユーザから解析対象を指定する指示が入力されると、ＣＰＵ２０２は、そのユーザ指示による移動体（顧客）を解析対象として設定する。Ｓ２５０１における処理は図１１のＳ１１０１と同様であるため、その説明は省略する。
【００８２】
次にＳ２５０２において、ＣＰＵ２０２は、複数カメラの設置位置、設置高さ、各カメラの性能の差等のカメラの個体差による速度変化の違いを補正するためのカメラ補正処理を実施する。
図２６は、Ｓ２５０２におけるカメラ補正処理の詳細な制御のフローチャートである。
先ずＳ２６００において、ＣＰＵ２０２は、Ｓ２５０１で指定された条件に合致する移動体データを記憶部２０３から探索する。この時のＣＰＵ２０２は、Ｓ２６０１において、指定された条件に合致する移動体データが記憶部２０３に蓄積されていると判定した場合にはＳ２６０２へ処理を進め、蓄積されていないと判定した場合には図２６の処理を終了する。
【００８３】
次にＳ２６０２において、ＣＰＵ２０２は、Ｓ２６０１で得られた移動体データのカメラＩＤを取得し、どのカメラで撮影した映像データを基に検出した移動体データなのかを判別する。ここでは、カメラ１０１のカメラＩＤが取得され、したがって移動体データは図２１で示したカメラ１０１の映像データから検出した移動体のデータであるとする。またこの例では、カメラ１０１を基準のカメラにしたとする。
【００８４】
次にＳ２６０３において、ＣＰＵ２０２は、基準以外の別のカメラで撮影された同一被写体の移動体データがないかを見るため、基準以外のカメラによる他の移動体データ表から同じ人物ＩＤの移動体データを探索する。この時のＣＰＵ２０２は、Ｓ２６０４において、同じ人物ＩＤの移動体データが見つからなければ、別の移動体データを補正するためにＳ２６０１へ処理を戻し、一方、同じ人物ＩＤの移動体データが見つかればＳ２６０５へ処理を進める。
【００８５】
Ｓ２６０５に進むと、ＣＰＵ２０２は、Ｓ２６０３で発見した移動体データのカメラＩＤを取得する。この例では、カメラ１０２のカメラＩＤが取得され、したがって移動データは図２１のカメラ１０２の映像データから検出した移動体データであるとする。
【００８６】
次にＳ２６０６に進むと、ＣＰＵ２０２は、カメラ１０１とカメラ１０２との間における重複撮影範囲が存在するか否かを判定する。重複撮影範囲は、カメラの設置位置の関係から予め計算等して登録されているとする。また、同じ人物ＩＤの移動体を同時刻に検出した移動体データがある場合、同時刻のデータが存在する範囲が重複撮影範囲であると判断しても良い。そして、ＣＰＵ２０２は、Ｓ２６０６において、重複撮影範囲が存在しないと判定した場合にはＳ２６０１に処理を戻して、他のカメラに対する探索処理を行う。一方、重複撮影領域が存在すると判定した場合、ＣＰＵ２０２は、Ｓ２６０７に処理を進める。
【００８７】
Ｓ２６０７に進むと、ＣＰＵ２０２は、重複撮影範囲における移動体の平均通過速度をカメラＩＤ毎に計算する。ここでは、カメラ１０１の映像データから取得された移動体データにより重複撮影範囲における平均通過速度Ｖａ１が算出され、カメラ１０２の映像データから取得された移動体データより重複撮影範囲における平均通過速度Ｖａ２が算出されたとする。
次にＳ２６０８において、ＣＰＵ２０２は、下記の式（４）によりＳ２６０６で取得した二つの平均通過速度Ｖａ１とＶａ２の差分Ｖｓｕｂを計算する。
【００８８】
Ｖｓｕｂ＝Ｖａ２−Ｖａ１        式（４）
【００８９】
次にＳ２６０９に進むと、ＣＰＵ２０２は、カメラ１０２の映像データから得られた移動体データ表のうち、対象の人物ＩＤに関連する通過速度全てに対して、差分Ｖｓｕｂを減算するような移動体データのシフト補正を行う。
その後、Ｓ２６１０において、ＣＰＵ２０２は、補正後の通過速度の情報を記憶部２０３に保存する。Ｓ２６１０の後、ＣＰＵ２０２は、Ｓ２６０３に処理を戻して、Ｓ２６０３からＳ２６１０までの処理を他のカメラの移動体データに対しても繰り返す。
【００９０】
以上説明した図２６のフローチャートの処理が、Ｓ２５０３における移動体速度変化解析処理の詳細な流れであり、このＳ２５０３の処理後、ＣＰＵ２０２は、Ｓ２５０４に処理を進める。Ｓ２５０４の表示制御処理は前述したＳ１１０３と同様であるためその説明は省略する。
なお、Ｓ２５０３の移動体速度変化解析処理は、解析処理させる移動体データをＳ２５０２で補正したものに変更すれば、他は第２の実施形態と同様であるのでその詳細な説明は省略する。
【００９１】
図２７は、第５の実施形態において補正した通過速度データの一例を示した図である。
図２７中のグラフ２７０１はカメラ１０１の映像データによる移動体データから得られた補正前の通過速度データを表し、グラフ２７０２はカメラ１０２の映像データによる移動体データから得られた補正前の通過速度データを表している。これら補正前の通過速度データのグラフ２７０１とグラフ２７０２とでは、重複撮影範囲２７０４において同じ移動体であっても過速度が異なっているため、カメラ１０１とカメラ１０２の撮影範囲をまたがった移動体速度変化解析はできないことになる。
【００９２】
これに対し、第５の実施形態の場合には、例えばカメラ１０１による通過速度データを基準とし、他方のカメラ１０２による通過速度データを補正することで、連続した通過速度データを得ることができる。図２７のグラフ２７０３は、カメラ１０２の映像データに基づく補正前の通過速度データ（グラフ２７０２）を補正した後の通過速度データを表している。したがって、第５の実施形態によれば、移動体が複数のカメラが撮影する範囲をまたがって移動した場合でも、移動体速度変化解析が出来るようになる。なお、第５の実施形態では第２の実施形態を基に説明したが、前述の第３の実施形態や第４の実施形態の場合と同様に第１の実施形態の例を適用することも可能である。
【００９３】
以上説明したように第１〜第５の実施形態においては、例えば商品の売り場での顧客毎に異なる通過速度の特性を考慮した上で、顧客が速度を落として通過したエリアを検出し、より詳細に顧客行動分析可能な情報処理装置を提供することが可能である。すなわち第１〜第５の実施形態によれば、歩行速度という個人差のある顧客の特性に左右されずに、商品や売り場の展示に関心を持って顧客が通過したエリアを検出できる。また第１〜第５の実施形態によれば、複数の顧客の行動をまとめることが出来るため、あるエリアで通過速度を落とした人が一定数いると分かれば、そのエリアの関心度が高いと判断できる。このように、第１〜第５の実施形態によれば、より詳細な顧客行動の分析が可能となる。
【００９４】
本発明に係る情報処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサーにより読出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９５】
１０１，１０２：カメラ、１０３：サーバ、１０４：ネットワーク、２０１：通信制御部、２０２：ＣＰＵ、２０３：記憶部、２０４：表示部、２０５：入力部
【図１】
2020095365.tif 000003
【図２】
2020095365.tif 000004
【図３】
2020095365.tif 000005
【図４】
2020095365.tif 000006
【図５】
2020095365.tif 000007
【図６】
2020095365.tif 000008
【図７】
2020095365.tif 000009
【図８】
2020095365.tif 000010
【図９】
2020095365.tif 000011
【図１０】
2020095365.tif 000012
【図１１】
2020095365.tif 000013
【図１２】
2020095365.tif 000014
【図１３】
2020095365.tif 000015
【図１４】
2020095365.tif 000016
【図１５】
2020095365.tif 000017
【図１６】
2020095365.tif 000018
【図１７】
2020095365.tif 000019
【図１８】
2020095365.tif 000020
【図１９】
2020095365.tif 000021
【図２０】
2020095365.tif 000022
【図２１】
2020095365.tif 000023
【図２２】
2020095365.tif 000024
【図２３】
2020095365.tif 000025
【図２４】
2020095365.tif 000026
【図２５】
2020095365.tif 000027
【図２６】
2020095365.tif 000028
【図２７】
2020095365.tif 000029