(57)【要約】【課題】所望の移動体の動線データに必要な時刻情報を容易にかつ精度よく設定できるようにする。【解決手段】動線データベースに記憶された各動線データについてそれぞれ分析して、停止判定領域内に停止した形跡のある動線データを検出する。そして、検出された動線データのリストを表示部に表示させる。このリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を再生する。その再生中に、操作入力部の操作入力によりトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶させる。【選択図】      図１３
2009157846.tif 000002
【特許請求の範囲】
【請求項１】
トリガ信号の入力手段と、
監視領域を撮影したカメラ画像から検出された複数の移動体それぞれの始点から終点までの軌跡を示す動線データを記憶する動線データ記憶手段と、
前記監視領域内に形成される停止判定領域の領域指定情報を記憶する停止判定領域記憶手段と、
前記動線データ記憶手段により記憶された各動線データについてそれぞれ分析して、前記停止判定領域内に停止した形跡のある動線データを検出する停止動線検出手段と、
この停止動線検出手段により検出された動線データのリストを表示部に表示させる停止動線リスト表示手段と、
この停止動線リスト表示手段により表示されたリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を再生する停止動線再生手段と、
この停止動線再生手段による動線及びカメラ画像の再生中に前記入力手段によりトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶させる動線データ編集手段と、
を具備したことを特徴とする動線データ編集装置。
【請求項２】
前記停止判定領域記憶手段は、複数の停止判定領域の各領域指定情報をそれぞれ異なる領域識別情報と紐付けて記憶し、
前記動線データ編集手段は、前記トリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報とともに、再生中の動線が停止したと判定された停止判定領域の前記領域識別情報を、前記再生中の動線の動線データに紐付けて記憶させることを特徴とする請求項１記載の動線データ編集装置。
【請求項３】
前記停止動線再生手段は、前記停止動線リスト表示手段により表示されたリストの中から選択された動線データについて、前記停止判定領域に停止したと判定された時点以降の動線及びカメラ画像を再生することを特徴とする請求項１または２記載の動線データ編集装置。
【請求項４】
前記入力手段は、第１のトリガ信号と第２のトリガ信号とを入力可能であり、
前記停止動線再生手段は、前記停止動線リスト表示手段により表示されたリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を始点から順に再生し、その再生中に前記入力手段を介して第１のトリガ信号が入力されると、前記停止判定領域に停止したと判定された時点から動線及びカメラ画像の再生を再開し、
前記動線データ編集手段は、前記停止判定領域に停止したと判定された時点以降の動線及びカメラ画像の再生中に前記入力手段を介して第２のトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶することを特徴とする請求項１記載の動線データ編集装置。
【請求項５】
前記第１のトリガ信号は、移動体の種類毎に異なるものであり、
前記動線データ編集手段は、前記停止動線再生手段による動線及びカメラ画像の再生中に前記入力手段により第１のトリガ信号が入力されると、この第１のトリガ信号に応じた移動体の種別情報を再生中の動線の動線データに紐付けて記憶する手段を含むことを特徴とする請求項４記載の動線データ編集装置。
【請求項６】
前記監視領域は、売場と会計場とからなる店内領域であり、
前記移動体は、買物客であり、
前記停止判定領域は、前記会計場の領域であって、
前記動線データ編集手段は、前記トリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を買物客との購買取引時刻情報として、再生中の動線の動線データに紐付けて記憶することを特徴とする請求項１乃至４のうちいずれか１項記載の動線データ編集装置。
【請求項７】
前記監視領域は、売場と会計場とからなる店内領域であり、
前記移動体は、買物客であり、
前記停止判定領域は、前記会計場の領域であって、
前記動線データ編集手段は、前記第１のトリガ信号が入力されると、このトリガ信号に応じた移動体の種別情報として、買物客の性別，年齢層等の客層情報を再生中の動線の動線データに紐付けて記憶し、前記第２のトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を買物客との購買取引時刻情報として、再生中の動線の動線データに紐付けて記憶することを特徴とする請求項５記載の動線データ編集装置。
【請求項８】
監視領域を撮影したカメラ画像から検出された複数の移動体それぞれの始点から終点までの軌跡を示す動線データを記憶する動線データベースを有するコンピュータを、
前記動線データベースに記憶された各動線データについてそれぞれ分析して、前記監視領域内に予め設定された停止判定領域内に停止した形跡のある動線データを検出する停止動線検出手段、
この停止動線検出手段により検出された動線データのリストを表示部に表示させる停止動線リスト表示手段、
前記表示部に表示されたリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を再生する停止動線再生手段、及び、
この停止動線再生手段による動線及びカメラ画像の再生中に入力部を介してトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶させる動線データ編集手段、
として機能させるための動線データ編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗内等の監視領域内を移動する買物客等の移動体の移動経路を示す動線データに所望の時刻情報を付加することが可能な動線データ編集装置及びコンピュータを当該動線編集装置として機能させるための動線データ編集プログラムを提供しようとするものである。
【背景技術】
【０００２】
コンビニエンスストア，スーパーマーケット等の店舗内において、顧客の移動経路を示す動線情報と顧客の購買商品を示す購買情報とを関連付けて管理することを可能にしたシステムは、例えば、特許文献１に開示されている。
【０００３】
特許文献１に開示されたシステムは、チェックアウトレーンで顧客が密集していても、それまでの動線情報を会計時の購買情報と関連付けて収集できるようにしたものである。
【０００４】
具体的には、顧客の店舗内における移動状況を撮影するカメラと、カメラが撮影した画像を取り込む画像入力部と、画像入力部が取り込んだ画像から顧客の存在を検出する人物検出部と、人物検出部が検出した顧客の位置情報及び時刻情報に基づき動線情報を得る動線形成部と、チェックアウトレーン単位にそのチェックアウトレーンで会計を終えた顧客の購買情報を記憶する購買情報記憶部と、チェックアウトレーン単位にそのチェックアウトレーンにおいて会計を待つ顧客の行列を記憶する待ち行列記憶部と、同一の顧客に対する動線情報と購買情報とを関連付ける顧客動向連結部とを備える。
【０００５】
人物検出部は、画像から検出される顧客について、チェックアウトレーンで会計待ちの行列の最後尾に並んだか否かを判定し、並んだと判定すると、当該顧客の動線計測終了要求を動線形成部へ送る。この要求に応じて、動線形成部は、当該顧客の動線計測を終了する。
【０００６】
顧客が、あるチェックアウトレーンの会計待ちの行列の最後尾に並ぶと、その顧客に対する動線のインデックス情報が、当該チェックアウトレーンに対応した待ち行列記憶部に追加される。あるチェックアウトレーンにおいて、先頭の顧客の会計が完了すると、顧客動向連結部は、その顧客の購買情報に、そのチェックアウトレーンに対応した待ち行列記憶部の先頭の動線インデックスを関連付ける。
【０００７】
かくして、チェックアウトレーンにおいて会計を完了した顧客の購買情報とその顧客の動線情報とを関連付けるようにしたものである。
【特許文献１】特開２００７−０８７２０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１記載の従来システムにおいては、顧客がチェックアウトレーンの会計待ちの行列に並んだ段階でその顧客の動線計測を終了し、それ以後は、会計待ちの行列の順番にその顧客のインデックス情報を待ち行列記憶部に記憶し、そのチェックアウトレーンにおいて顧客の会計が完了する毎に、その顧客の購買情報に対して、そのチェックアウトレーンに対応した待ち行列記憶部の先頭から順番に動線インデックス情報を関連付けていたので、会計待ちの行列に一旦並んだ顧客が列から外れた場合に、同一顧客の購買情報と動線情報との対応関係が取れなくなるという点で、解決しなければならない課題があった。
【０００９】
そこで本願発明者等は、購買情報には取引時刻データが含まれていることに鑑み、各顧客の動線からその顧客が会計場で購買取引を行った時刻を設定し、この購買取引時刻との差が最小の取引時刻データを有する購買情報を各動線に関連付けるようにした発明を提案済である（特願２００７−１６７９３８号）。
【００１０】
但し、各顧客の動線に購買取引時刻を設定するには、顧客全員の動線を追跡して、会計場に並び、その列の先頭になった時点を見出して購買取引時刻を設定せざるを得ず、作業負荷が大きい。また、列の先頭になった時点と購買情報の取引時刻とが必ずしも一致しないため、精度が悪いという問題があった。
【００１１】
本発明はこのような事情に基づいてなされたものであり、その目的とするところは、所望の移動体の動線データに必要な時刻情報を容易にかつ精度よく設定することができる動線データ編集装置及びコンピュータを当該動線データ編集装置として機能させる動線データ編集プログラムを提供しようとするものである。
【課題を解決するための手段】
【００１２】
本発明の動線データ編集装置は、トリガ信号の入力手段と、監視領域を撮影したカメラ画像から検出された複数の移動体それぞれの始点から終点までの軌跡を示す動線データを記憶する動線データ記憶手段と、監視領域内に形成される停止判定領域の領域指定情報を記憶する停止判定領域記憶手段と、動線データ記憶手段により記憶された各動線データについてそれぞれ分析して、停止判定領域内に停止した形跡のある動線データを検出する停止動線検出手段と、この停止動線検出手段により検出された動線データのリストを表示部に表示させる停止動線リスト表示手段と、この停止動線リスト表示手段により表示されたリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を再生する停止動線再生手段と、この停止動線再生手段による動線及びカメラ画像の再生中に入力手段によりトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶させる動線データ編集手段とを備えたものである。
【００１３】
また、本発明の動線データ編集プログラムは、監視領域を撮影したカメラ画像から検出された複数の移動体それぞれの始点から終点までの軌跡を示す動線データを記憶する動線データベースを有するコンピュータを、動線データベースに記憶された各動線データについてそれぞれ分析して、監視領域内に予め設定された停止判定領域内に停止した形跡のある動線データを検出する停止動線検出手段、この停止動線検出手段により検出された動線データのリストを表示部に表示させる停止動線リスト表示手段、表示部に表示されたリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を再生する停止動線再生手段、及び、停止動線再生手段による動線及びカメラ画像の再生中に入力部を介してトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶させる動線データ編集手段として機能させるものである。
【発明の効果】
【００１４】
かかる手段を講じた本発明によれば、所望の移動体の動線データに必要な時刻情報を容易にかつ精度よく設定することができる動線データ編集装置を提供できる。  
また、コンピュータを上記動線データ編集装置として機能させることができる動線データ編集プログラムを提供できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態について、図面を用いて説明する。  
なお、この実施の形態は、動線の監視領域を、コンビニエンスストア等のように売場と会計場とからなる店内領域とし、監視対象の移動体を、店内で買い物を行う顧客とする。そして、各顧客の売場での移動経路や会計場での購買取引時刻等を、顧客単位の動線データとして管理する場合である。
【００１６】
図１は、本発明に関わる動線データ編集装置２０を含む一実施の形態のシステム図である。本実施の形態は、動線の監視領域、すなわち店内領域を撮影するための複数台（本実施の形態では６台）のカメラＣＡ１〜ＣＡ６と、各カメラＣＡ１〜ＣＡ６によってそれぞれ撮影されたカメラ画像データを画像処理して人物を特定し、この人物の追跡を行って、人物毎の動線データを生成する周知の動線データ生成システム１０と、動線データ編集装置２０とから構成されている。
【００１７】
各カメラＣＡ１〜ＣＡ６は、図２の店内領域平面レイアウト図に示すように、店内中央部の天井に１台（ＣＡ１）、ＰＯＳ（Point Of Sales）端末ＰＯＳ１，ＰＯＳ２が置かれている会計カウンタＣＨ近傍の天井に２台（ＣＡ２，ＣＡ３）、会計カウンタＣＨに対して店内奥側及び左右壁側の計３箇所の天井に３台（ＣＡ４，ＣＡ５，ＣＡ６）が取り付けられている。このうち、カメラＣＡ１，ＣＡ２，ＣＡ３は魚眼カメラであり、カメラＣＡ４，Ｃ５，ＣＡ６は全方位カメラである。
【００１８】
このように配置された６台のカメラＣＡ１〜ＣＡ６でそれぞれ撮影されたカメラ画像データにより、動線データ生成システム１０は、店舗の入退場口ＩＮ／ＯＵＴから入店した人物を移動体のターゲットとして検出し、店舗内を移動する各ターゲットを入退場口ＩＮ／ＯＵＴから出るまで個別に追跡して、そのターゲットの移動経路に沿った動線データを生成する。
【００１９】
詳しくは、動線データ生成システム１０は、同一時刻に撮影された複数のカメラ画像データから新たなターゲット（移動体）を検出する毎に、そのターゲットに固有の識別子であるターゲットＩＤを付して追跡し、追跡が途絶えるまでを１本の動線として生成する。このため、ターゲットが商品陳列棚Ｒの陰に隠れてしまったり、複数のターゲットが重なったために追跡が途絶えたりした場合には、同一人物に対して複数の動線が生成される。そこで、動線データ生成システム１０は、同一人物に対して生成された複数の動線を結合し、入店から出店までを結んだ動線（この動線を完全動線という）を作成する機能を有する。
【００２０】
なお、本実施の形態では、説明の便宜上、動線データ生成システム１０で検出されたターゲットに付与されるターゲットＩＤは、“０”から１ずつ昇順に繰り上がる連続番号とする。
【００２１】
動線データ編集装置２０は、図１に示すように、動線データ生成システム１０からデータを受信するインターフェイス機能を有したデータ受信部２１、大容量の記憶部２２、操作入力部２３、画面表示部２４及びこれらを制御する制御部２５等を備えている。記憶部２２としては、例えばハードディスクやフラッシュメモリ等の不揮発性記憶媒体を用いている。操作入力部２３としては、キーボード，マウス等の入力デバイスを用いている。画面表示部２４としては、液晶ディスプレイ，有機ＥＬディスプレイ等を用いている。制御部２５は、ＣＰＵ，ＲＯＭ及びＲＡＭのコンピュータ部品を主体に構成したものである。
【００２２】
記憶部２２には、特に動線生データベース３１、カメラ画像データベース３２、動線データベース３３、設定データベース３４、カメラパラメータデータベース３５、店内エリア定義データベース３６及び店内マップデータベース３７を形成している。なお、記憶部２２は、動線データ編集装置２０に内蔵されていてもよいし、外付けされていてもよい。
【００２３】
動線生データベース３１には、完全動線の動線生データが蓄積記憶される。完全動線の動線生データは、動線データ生成システム１０で時系列に生成される。動線生データベース３１に記憶される動線生データのデータ構造を図３に示す。図示するように動線生データベース３１には、動線データ生成システム１０においてカメラ画像の１フレーム毎に生成される動線生データ（フレーム別動線生データ）が蓄積記憶される。
【００２４】
本実施の形態では、１／１５秒毎に、１フレーム単位の動線生データが生成される。１フレームの間隔は変更が可能であり、より詳細な動線データが必要であれば１フレームの間隔を例えば１／３０秒毎とすれば良いし、動線生データベース３１のファイル容量を小さくする必要があれば１フレームの間隔を例えば１／１０秒毎等とすれば良い。
【００２５】
ここで、１フレーム単位の動線生データには、６台のカメラＣＡ１〜ＣＡ６で撮影された同時点の各カメラ画像の１フレームを保存したカメラ画像ファイルのファイル名、各フレームをそれぞれ特定するオフセット値、各フレームの撮影日時情報、各フレームの画像処理によって移動体として検出された人物すなわちターゲットの数及びそのターゲット数分のターゲット情報（ＩＤ，Ｘ，Ｙ，Ｈ）等が含まれる。
【００２６】
ターゲット情報には、ターゲットを識別するためのターゲットＩＤ（識別子）と、そのターゲットの店舗内の位置を三次元の世界座標系で示す店舗内座標（Ｘ，Ｙ，Ｈ）とが含まれる。本実施の形態では、図２の店内レイアウト図において、左奥の角をＸ軸及びＹ軸の原点Ｏ（０，０）とし、その床面をＨ（Height）軸の原点とする。
【００２７】
カメラ画像データベース３２には、カメラ画像ファイルが蓄積記憶される。カメラ画像ファイルは、６台のカメラＣＡ１〜ＣＡ６で撮影された同時点の各カメラ画像、すなわちフレーム撮影時刻が同一の各画像フレームを、１ファイルにまとめて記憶したものである。カメラ画像ファイル内の各画像フレームは、オフセット値によって特定される。
【００２８】
動線データベース３３には、完全動線の動線データが記憶される。動線データは、動線生データベース３１に記憶された動線生データに基づいてターゲット毎に生成される。１ターゲットに対する動線データの主要なデータ構造を図４に示す。図示するように、動線データは、固有の動線ＩＤと、この動線に関わるフレーム時間単位のインデックス情報と、停止ステータス、会計ＰＯＳＮｏ、購買取引時刻及び客層情報とで構成される。インデックス情報には、店舗内座標（Ｘ，Ｙ，Ｈ）と、画像フレームの撮影日時情報Ｔと、停止フラグＳとが含まれる。停止ステータス、会計ＰＯＳＮｏ、購買取引時刻、客層情報及び停止フラグＳについては後述する。
【００２９】
設定データベース３４には、動線データ編集作業に必要な種々の設定データが予め格納されている。
【００３０】
カメラパラメータデータベース３５には、魚眼カメラＣＡ１〜ＣＡ３に関する種々のパラメータデータと、全方位カメラＣＡ４〜ＣＡ６に関する種々のパラメータデータとが予め格納されている。
【００３１】
店内エリア定義データベース３６には、店舗内のエリアを定義するためのデータが予め格納されている。本実施の形態では、図２のレイアウト図において、会計カウンタＣＨの売場側近傍である図中破線で示す矩形領域を会計エリアＲｅｇ１、Ｒｅｇ２として設定し、この会計エリアを定義するためのデータテーブル、いわゆる会計エリア定義テーブル４０を店内エリア定義データベース３６で記憶している。
【００３２】
店内マップデータベース３７には、図２に示す平面レイアウト図と同様の店内マップ平面図のイメージデータが予め格納されている。
【００３３】
店内エリア定義データベース３６に記憶される会計エリア定義テーブル４０について、図５及び図６を用いて詳細に説明する。図５において、ＣＨは会計カウンタを示しており、ＰＯＳ１，ＰＯＳ２はＰＯＳ端末を示している。また、Ｍ１，Ｍ２はキャッシャを示しており、Ｃ１，Ｃ２は顧客を示している。一方のキャッシャＭ１は、会計カウンタＣＨを挟んで対面する顧客Ｃ１が購入する商品の販売情報をＰＯＳ端末ＰＯＳ１に売上登録する。この際に、顧客Ｃ１が立つ領域を、会計エリアＲｅｇ１としている。同様に、他方のキャッシャＭ１は、会計カウンタＣＨを挟んで対面する顧客Ｃ２が購入する商品の販売情報をＰＯＳ端末ＰＯＳ２に売上登録する。この際に顧客Ｃ２が立つ領域を、会計エリアＲｅｇ２としている。本実施の形態では、この会計エリアＲｅｇ１，Ｒｅｇ２を停止判定領域とする。
【００３４】
会計エリアＲｅｇ１は、その左上の点Ｐ１と右下の点Ｐ２を二次元座標系の座標値（ｘ１，ｙ１）−（ｘ２，ｙ２）で指定することにより矩形領域が定義される。同様に、会計エリアＲｅｇ２は、その左上の点Ｐ３と右下の点Ｐ４を二次元座標系の座標値（ｘ３，ｙ３）−（ｘ４，ｙ４）で指定することにより矩形領域が定義される。
【００３５】
そこで、会計エリア定義テーブル４０では、図６に示すように、会計エリアＲｅｇ１に対して、その左上の点Ｐ１と右下の点Ｐ２の各座標値（ｘ１，ｙ１）−（ｘ２，ｙ２）をエリア内座標情報として設定している。また、対応するＰＯＳ端末ＰＯＳ１の識別番号ＰＯＳＮｏ“１”をエリア識別情報として設定している。同様に、会計エリアＲｅｇ２に対しては、その左上の点Ｐ３と右下の点Ｐ４の各座標値（ｘ３，ｙ３）−（ｘ４，ｙ４）をエリア内座標情報として設定し、対応するＰＯＳ端末ＰＯＳ２の識別番号ＰＯＳＮｏ“２”をエリア識別情報として設定している。ここに、会計エリア定義テーブル４０は、停止判定領域記憶手段として機能する。
【００３６】
かかる構成の動線データ編集装置２０を用いて動線データの編集作業を行うオペレータは、作業に先立ち動線データ生成システム１０から作業対象である動線生データとその動線生データを生成するために用いたカメラ画像データとをデータ受信部２１を介して取込む。そして、動線生データベース３１とカメラ画像データベース３２とにそれぞれ保存する。この状態で、操作入力部２３を操作して、動線データ編集業務の開始を指令する。すると、動線データ編集プログラムが起動する。動線データ編集プログラムは、予め記憶部２２にインストールされている。
【００３７】
動線データ編集プログラムが起動すると、制御部２５は、このプログラムに従い図８の流れ図に示す手順で各部を制御する。先ず、ＳＴ（ステップ）１として動線編集画面５０を画面表示部２４に表示させる。
【００３８】
動線編集画面５０の一レイアウト例を図７に示す。図示するように、動線編集画面５０は、動線編集部５１と、カメラ画像表示部５２と、動線リスト表示部５３と、座標表示部５４とに区分されている。
【００３９】
動線編集部５１には、店内マップデータベース３７に記憶されているイメージデータにより店内マップの平面図が表示される。また、スクロールバー５５を画面に向かって左端から右端にスライドさせることによりカメラ画像の撮影時間が経過し、その時間に撮影されたカメラ画像から検出されたターゲットの動線が該店内マップに重ねて表示される。
【００４０】
カメラ画像表示部５２には、各カメラＣＡ１〜ＣＡ６で撮影された画像が表示される。図示するように、６個のカメラ画像を並べて同時に表示することもできるし、その中から選択された１乃至複数のカメラ画像を拡大して表示することもできる。
【００４１】
動線編集画面５０を表示した後、制御部２５は、ＳＴ２として動線データ作成処理を実行する。この作成処理の処理手順は、図９の流れ図によって示される。すなわち制御部２５は、先ず、ＳＴ３１として動線データベース３３をクリアする。また、ＳＴ３２として番号カウンタＮを“０”にリセットする。このカウント値“０”は、動線データ生成システム１０において、新たなターゲットを検出する毎に付与されるターゲットＩＤの初期値である。
【００４２】
次に、制御部２５は、ＳＴ３３として動線生データベース３１を検索する。そして、ＳＴ３４として各フレーム別動線生データの中からターゲットＩＤが番号カウンタＮと一致するターゲット情報（ＩＤ＝Ｎ，Ｘ，Ｙ，Ｈ等）を有する動線生データを検出する。
【００４３】
ターゲットＩＤが“Ｎ”のターゲット情報を有するフレーム別動線生データを１つでも検出した場合には、制御部２５は、ＳＴ３５としてそのターゲットＩＤを動線ＩＤとする動線編集レコード、すなわち動線ＩＤ“Ｎ”の動線編集レコード（動線データ）を作成する。
【００４４】
具体的には、動線生データベース３１から検出された全てのフレーム別動線生データから、ターゲットＩＤが“Ｎ”のターゲット情報をすべて抽出する。そして、抽出したターゲット情報毎に、その店舗内座標（Ｘ，Ｙ，Ｈ）とフレームの撮影日時情報Ｔとを用いてフレーム単位の動線インデックス情報を作成する。そして、動線ＩＤを“Ｎ”とした動線編集レコードに、各動線インデックス情報をフレーム撮影日時の古い順にセットする。なお、この時点において、上記動線編集レコードの停止ステータス、会計ＰＯＳＮｏ、購買取引時刻及び客層情報は、いずれも未設定を示す“０”にリセットされている。
【００４５】
こうして、動線ＩＤ“Ｎ”の動線編集レコードを作成したならば、制御部２５は、ＳＴ３６としてこの動線編集レコードを動線データベース３３に追加する。しかる後、ＳＴ３７として番号カウンタＮを“１”だけカウントアップして、ＳＴ３３に戻る。そして、動線生データベース３１からターゲットＩＤが“Ｎ”のターゲット情報を有する動線生データを検出し、この動線生データに基づいて動線ＩＤ“Ｎ”の動線編集レコードを作成して、動線データベース３３に追加する。以後、番号カウンタを“１”ずつカウントアップする毎に、上記処理を繰返し実行する。すなわち、動線生データベース３１のフレーム別動線生データを基に、動線ＩＤが１ずつ昇順する動線編集レコードを生成して、動線データベース３３に追加する。ここに、動線データベース３３は、動線データ記憶手段として機能する。
【００４６】
しかして、ＳＴ３４にてターゲットＩＤが“Ｎ”のターゲット情報を有する動線生データが検出されなかったならば、制御部２５は、ＳＴ３８として番号カウンタＮから“１”を減算した値（Ｎ−１）を最終動線ＩＤとして記憶して、この動線データ作成処理を終了する。
【００４７】
動線データ作成処理を終了すると、制御部２５は、次に、ＳＴ３として所定エリア停止判定処理を実行する。この判定処理の処理手順は、図１０の流れ図によって示される。すなわち制御部２５は、先ず、ＳＴ４１として番号カウンタＮを“０”にリセットする。
【００４８】
次に、制御部２５は、ＳＴ４２として動線データベース３３から動線ＩＤが“Ｎ”の動線編集レコードを抽出する。また、ＳＴ４３としてインデックスカウンタＱを“０”にリセットする。
【００４９】
次に、制御部２５は、ＳＴ４４として該インデックスカウンタＱを“１”だけカウントアップする。そして、ＳＴ４５として動線ＩＤ“Ｎ”の動線編集レコードに動線インデックス情報の中から、インデックスカウンタＱの値に相当する順位（以後、Ｑ番目と称する）の動線インデックス情報と、これより定数Ｋ（Ｋは０または自然数）だけ後の順位（以後、Ｑ＋Ｋ番目と称する）の動線インデックス情報とを読み出す。動線編集レコードには、動線インデックス情報がフレーム撮影日時が古い順にセットされている。すなわち、Ｑ番目インデックス情報は、Ｑ＋Ｋ番目インデックス情報よりもＫフレーム前のデータである。
【００５０】
両動線インデックス情報を読み出すことができた場合には（ＳＴ４６のＹＥＳ）、制御部２５は、ＳＴ４７として両インデックス情報の店舗内座標（Ｘ，Ｙ，Ｈ）から、単位時間内におけるターゲット移動距離δを算出する。そして、ＳＴ４８としてこの移動距離δが予め設定された停止判定しきい値Ｌより短いか否かを判断する。
【００５１】
移動距離δが停止判定しきい値Ｌ以上の場合には、ターゲットＩＤが“Ｎ”のターゲット（顧客）が店内を移動しているとみなすことができる。逆に、移動距離δが停止判定しきい値Ｌより短い場合には、同ターゲット（顧客）が停止しているとみなすことができる。例えば、ターゲットの１秒間の移動距離が２５ｃｍ未満の場合にターゲットが停止しているとみなす場合には、本実施の形態では、１／１５秒毎に１フレーム単位の動線生データが生成されるので、定数Ｋを１４とし、停止判定しきい値Ｌを２５ｃｍとすればよい。
【００５２】
ＳＴ４８にて移動距離δが停止判定しきい値Ｌ以上の場合には、ターゲット（顧客）は停止していないので、制御部２５は、ＳＴ４４に戻ってそれ以降の処理を再度実行する。
【００５３】
これに対し、移動距離δが停止判定しきい値Ｌより短い場合には、ターゲット（顧客）が停止しているので、制御部２５は、ＳＴ４９として停止判定に用いたＱ番目とＱ＋Ｋ番目の動線インデックス情報のうち、フレーム撮影日時の古い方、すなわちＱ番目の動線インデックス情報に停止フラグＳをセットする。これにより、Ｑ番目動線インデックス情報の停止フラグＳが“１”となる。
【００５４】
次に、制御部２５は、ＳＴ５０としてＱ番目動線インデックス情報から店内平面座標（Ｘ，Ｙ）を取得する。そして、ＳＴ５１として会計エリア定義テーブル４０に設定されている会計エリアＲｅｇ１，Ｒｅｇ２毎のエリア内座標情報を参照して、店内平面座標（Ｘ，Ｙ）がいずれかの会計エリアＲｅｇ１，Ｒｅｇ２の領域内、すなわち停止判定領域内であるか否かを判断する。
【００５５】
Ｑ番目動線インデックス情報の店内平面座標（Ｘ，Ｙ）が、いずれかの会計エリアＲｅｇ１，Ｒｅｇ２の領域内であった場合には、ターゲットＩＤが“Ｎ”のターゲット（顧客）がその会計エリアＲｅｇ１，Ｒｅｇ２内に停止したものとみなすことができる。この場合、制御部２５は、ＳＴ５２として動線ＩＤが“Ｎ”の動線編集レコードの停止ステータスを、停止状態を示す値“１”とする。また、ＳＴ５３としてＱ番目動線インデックス情報の撮影日時情報Ｔを、当該動線編集レコードの購買取引時刻としてセットする。さらに、ＳＴ５４として会計エリア定義テーブル４０を参照して、店内平面座標（Ｘ，Ｙ）が存在するいずれかの会計エリアＲｅｇ１，Ｒｅｇ２に対して設定されたエリア識別情報を取得する。そして、このエリア識別情報を当該動線編集レコードの会計ＰＯＳ番号としてセットする。
【００５６】
一方、Ｑ番目動線インデックス情報の店内平面座標（Ｘ，Ｙ）が、いずれの会計エリアＲｅｇ１，Ｒｅｇ２の領域内でもなかった場合には、ターゲットＩＤが“Ｎ”のターゲット（顧客）は会計エリア以外に停止したものとみなすことができる。この場合、制御部２５は、ＳＴ５２〜ＳＴ５４の処理を実行しない。
【００５７】
しかる後、制御部２５は、ＳＴ４４に戻ってそれ以降の処理を再度実行する。すなわち、インデックスカウンタＱをさらに“１”だけカウントアップする。そして、動線ＩＤ“Ｎ”の動線編集レコードから、Ｑ番目動線インデックス情報とＱ＋Ｋ番目動線インデックス情報とを読み出したならば、これらインデックス情報を基に単位時間内におけるターゲット移動距離δを算出して、停止判定しきい値Ｌと比較する。その結果、ターゲット移動距離δが停止判定しきい値Ｌより小さい場合には、Ｑ番目動線インデックス情報に停止フラグＳをセットする。また、Ｑ番目動線インデックス情報の店内平面座標（Ｘ，Ｙ）が、会計エリアＲｅｇ１，Ｒｅｇ２の領域内であるか否かを判断する。そして、領域内の場合には、動線ＩＤが“Ｎ”の動線編集レコードの停止ステータスを“１”とする。また、当該動線編集レコードの購買取引時刻を、Ｑ番目動線インデックス情報の撮影日時情報Ｔとする。さらに、会計エリア定義テーブル４０を参照して、店内平面座標（Ｘ，Ｙ）が存在するいずれかの会計エリアＲｅｇ１，Ｒｅｇ２に対して設定されたエリア識別情報を取得し、当該動線編集レコードの会計ＰＯＳ番号を、このエリア識別情報とする。その後、インデックスカウンタＱをさらに“１”だけカウントアップして、同様な処理を繰り返す。
【００５８】
こうして、動線編集レコードからＱ＋Ｋ番目の動線インデックス情報を読み出せなくなるまで、制御部２５は、ＳＴ４４〜ＳＴ５４の処理を繰返し実行する。そして、Ｑ＋Ｋ番目の動線インデックス情報を読み出せなかったならば（ＳＴ４６のＮＯ）、制御部２５は、ＳＴ５５として番号カウンタＮを“１”だけカウントアップする。そして、ＳＴ５６として番号カウンタＮが前記動線データ作成処理のＳＴ３８の処理で記憶された最終ＩＤの値を越えたか否かを判断する。
【００５９】
番号カウンタＮが最終ＩＤの値を越えていない場合には、動線データベース３３に所定エリア停止判定処理を実行していない動線編集レコードが残っているので、ＳＴ４２に戻る。そして、動線データベース３３から動線ＩＤが“Ｎ”の動線編集レコードを抽出したならば、ＳＴ４３以降の処理を再度実行する。
【００６０】
ＳＴ５６にて番号カウンタＮが最終ＩＤの値を越えた場合には、動線データベース３３に記憶された動線編集レコードに対して所定エリア停止判定処理を全て実行したので、この停止判定処理を終了する。
【００６１】
ここに、停止判定処理を実行する制御部２５は、動線データ記憶手段（動線データベース３３）により記憶された各動線データについてそれぞれ分析して、停止判定領域（会計エリアＲｅｇ１，Ｒｅｇ２）内に停止した形跡のある動線データを検出する停止動線検出手段として機能する。また制御部２５は、再生中の動線が停止したと判定された停止判定領域のエリア識別情報（ＰＯＳ端末の識別番号）を、再生中の動線の動線データに紐付けて記憶させる動線データ編集手段としても機能する。
【００６２】
所定エリア停止判定処理が終了すると、いずれかの会計エリアＲｅｇ１，Ｒｅｇ２内に停止した形跡のある動線の動線データレコードには、停止ステータスが“１”にセットされる。また、その停止した会計エリアＲｅｇ１，Ｒｅｇ２に対応するＰＯＳ端末の端末番号が、会計ＰＯＳＮｏとしてセットされる。さらに、動線が停止状態から移動状態に変化する直前の動線インデックス情報における撮影日時情報Ｔが、購買取引時刻としてセットされる。また、動線が停止状態と判定された期間中の全ての動線インデックス情報の停止フラグがいずれもセット状態となる。
【００６３】
なお、顧客の中には、例えば会計エリアＲｅｇ１の会計待ち行列に並んだ後、買い忘れに気付いて一旦行列を離れ、その後、別の会計エリアＲｅｇ２で会計を行うような場合がある。このような場合、当該顧客の動線に対応した動線データレコードには、実際に会計を行った会計エリアＲｅｇ２に対応するＰＯＳ端末の端末番号が、会計ＰＯＳＮｏとしてセットされる。また、実際に会計を行った会計エリアＲｅｇ２から移動する直前の動線インデックス情報における撮影日時情報Ｔが、購買取引時刻としてセットされる。
【００６４】
そこで制御部２５は、次に、ＳＴ４として動線データベース３３を検索して、停止ステータスがセットされている動線編集レコード、すなわちいずれかの会計エリアＲｅｇ１，Ｒｅｇ２内に停止した形跡のある動線の動線データレコードを全て抽出する。そして、これら抽出した動線編集レコードの動線ＩＤと会計ＰＯＳＮｏと購買取引時刻とを一覧表にした停止動線リストを作成し、動線編集画面５０の動線リスト表示部５３に表示させる。ここに、制御部２５は、停止動線検出手段により検出された動線データのリストを表示部（画面表示部２４）に表示させる停止動線リスト表示手段として機能する。
【００６５】
停止動線リストが表示された後、制御部２５は、ＳＴ５としてこのリストから動線が選択されるのを待機する。そして、操作入力部２３の操作入力により、停止動線リストからいずれか１つの動線ＩＤが選択されたならば、制御部２５は、ＳＴ６としてその選択された動線ＩＤ（以後、選択動線ＩＤと称する）が設定された動線の全再生処理を実行する。この選択動線全再生処理の処理手順は、図１１の流れ図によって示される。
【００６６】
すなわち制御部２５は、先ず、ＳＴ６１として動線生データベース３１を先頭フレームの動線生データから順に検索して、ターゲットＩＤが選択動線ＩＤと一致するターゲット情報を有する動線生データを全て取込む。次に、ＳＴ６２として取込んだ各動線生データから、それぞれカメラ画像ファイル名を取得する。そして、カメラ画像データベース３２からこのカメラ画像ファイル名が設定されたカメラ画像ファイルを全て取込む。
【００６７】
次に、制御部２５は、ＳＴ６３として取込んだ各動線生データについて、それぞれのフレーム撮影日時を比較する。そして、撮影日時が最も古い動線生データを抽出して、以下のＳＴ６４〜ＳＴ６６の処理を実行する。
【００６８】
すなわち制御部２５は、抽出した動線生データからターゲットＩＤが選択動線ＩＤと一致するターゲット情報の三次元座標（Ｘ，Ｙ，Ｈ）を取得する（ＳＴ６４）。また、抽出した動線生データからカメラ画像オフセット値を読み出す。そして、このオフセット値で特定される画像フレームを、ＳＴ６２の処理で取り込んだカメラ画像ファイルから取得する（ＳＴ６５）。さらに、ターゲット情報から取得した世界座標系の三次元座標を、該当するカメラ画像系の座標に変換する（ＳＴ６６）。
【００６９】
この変換処理は、カメラＣＡ１〜ＣＡ６毎に、それぞれ図１２の流れ図に示す手順で処理する。なお、この変換処理では、カメラパラメータデータベース３５に予め設定されている以下のパラメータを使用する。
【００７０】
・世界座標系の動線座標：ｘ，ｙ，ｈ
・世界座標系のカメラの位置：Ｗｘ，Ｗｙ，Ｗｚ
・画像中心の座標：Ｃｘ，Ｃｙ
・世界座標系の座標軸周りのカメラ回転角：Ｒｘ，Ｒｙ，Ｒｚ
・全方位カメラのパラメータ：ｂ，ｃ，ｆ
・魚眼カメラのパラメータ：ｋ１，ｋ３，ｋ５，scale
先ず、制御部２５は、ＳＴ７１として変換対象の動線座標（ｘ，ｙ，ｈ）を、カメラ位置を原点とした座標系（Ｘ０，Ｙ０，Ｚ０）に平行移動する。この処理は、次の演算式により実行される。
【数１】
2009157846.tif 000003
【００７１】
次に、制御部２５は、ＳＴ７２として平行移動した動線座標（Ｘ０，Ｙ０，Ｚ０）について、世界座標系の座標軸周りのカメラ回転角を使って回転処理し、世界座標系とカメラ座標系の軸を合せる。この処理は、次の演算式により実行される。
【００７２】
［Ｘ軸周りの回転］
【数２】
2009157846.tif 000004
【００７３】
［Ｙ軸周りの回転］
【数３】
2009157846.tif 000005
【００７４】
［Ｚ軸周りの回転］
【数４】
2009157846.tif 000006
【００７５】
次に、制御部２５は、ＳＴ７３として処理対象のカメラの種類を判別する。魚眼カメラＣＡ１，ＣＡ２，ＣＡ３に対しては、ＳＴ７４として魚眼カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算により実行される。
【００７６】
先ず、Ｘｄ＝ｒcosｔ：Ｙｄ＝ｒsinｔとする。
【００７７】
ただし、Ｙｚ≧０のとき、
【数５】
2009157846.tif 000007
【００７８】
Ｙｚ＜０のとき、
【数６】
2009157846.tif 000008
【００７９】
である。ここで、上記ｒの値を、下記数式のニュートン法を用いて求める。
【数７】
2009157846.tif 000009
【００８０】
なお、この数式において、初期値ｒ0を0.0、目標値をθとする。また、｜ｒn+1−ｒｎ｜＜0.01で収束したとみなす。その時点でのｒの値を使用する。
【００８１】
一方、全方位カメラＣＡ４，ＣＡ５，ＣＡ６に対しては、ＳＴ７５として全方位カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算式により実行される。
【数８】
2009157846.tif 000010
【００８２】
こうして、動線座標を世界座標系からカメラ画像座標系に変換したならば、制御部２５は、ＳＴ７６として変換後の座標（Ｘｄ，Ｙｄ）をカメラ画像座標系の原点に平行移動する。この処理は、次の演算式により実行される。
【数９】
2009157846.tif 000011
【００８３】
以上、ＳＴ７１〜ＳＴ７６の処理を実行することにより、選択した動線生データから取得したターゲット情報の三次元座標が、各カメラＣＡ１〜ＣＡ６のカメラ画像系の座標に変換される。
【００８４】
こうして、選択動線ＩＤをターゲットＩＤとするターゲット情報の三次元座標と、このターゲット情報に同期した画像フレームと、三次元座標から変換されたカメラ画像系座標とを得たならば、制御部２５は、ＳＴ６７としてターゲット情報の三次元座標に基づいて動線編集画面５０の動線編集部５１に動線を表示する。また、画像フレームを動線編集画面５０のカメラ画像表示部５２に表示する。さらに、カメラ画像系座標に基づいて、上記カメラ画像表示部５２に動線ＩＤを表示する。
【００８５】
次に、制御部２５は、ＳＴ６８として操作入力部２３を介して客層情報が入力されたか否かを判断する。客層情報が入力されていない場合には、ＳＴ６９として直前に処理した動線生データの次に撮影日時が古い動線生データが取り込まれているか否かを判断する。取り込まれている場合には、ＳＴ６３に戻り、その動線生データを抽出して、ＳＴ６４以降の処理を再度実行する。
【００８６】
かくして、動線編集画面５０の動線編集部５１には、停止動線リストの中から選択された選択動線ＩＤの動線が始点（入店時）から再生される。また、カメラ画像表示部５２には、この動線の動きに同期してカメラ画像が再生される。さらに、このカメラ画像における動線のターゲット位置に該当する動線ＩＤが表示される。
【００８７】
このように、オペレータが停止動線リストの中からいずれか１つの動線ＩＤを選択すると、その動線ＩＤで特定される動線とそれに同期したカメラ画像とが入店時から再生される。そこでオペレータは、再生中のカメラ画像からターゲットである顧客の性別，年齢層等の客層を推定する。そして、例えば男性の２０代、女性の３０代というように客層を推定したならば、操作入力部２３に設けられている客層入力手段を操作して、その客層情報を入力する。
【００８８】
客層情報を入力すると、操作入力部２３から制御部２５にその客層情報に応じた信号が入力される。この信号入力をトリガとして、制御部２５は、ＳＴ６８の判断処理で「ＹＥＳ」に進む。すなわち、ＳＴ７０として選択動線ＩＤがセットされた動線データレコードに、入力された客層情報をセットする。そして、この選択動線全再生処理を終了する。
【００８９】
一方、トリガとなる信号が入力されることなく、フレーム撮影日時が最も新しい動線生データについてＳＴ６４以降の処理を実行した場合、すなわち動線の終点まで再生が行われた場合には（ＳＴ６９のＮＯ）、制御部２５は、ＳＴ７１として当該全再生処理の再実行が指令されたか否かを判断する。操作入力部２３の操作入力により再実行が指令された場合には、ＳＴ６１に戻り、この選択動線全再生処理を再度実行する。再実行が指令されなかった場合には、この選択動線全再生処理を終了する。
【００９０】
選択動線全再生処理が終了すると、制御部２５は、ＳＴ７として動線編集画面５０を、選択動線ＩＤが設定された動線が会計エリアＲｅｇ１，Ｒｅｇ２に停止する直前の画面とする。具体的には先ず、選択動線ＩＤがセットされた動線データレコードの購買取引時刻で、その動線データレコードの動線インデックス情報を検索して、この購買取引時刻をフレーム撮影日時とする動線インデックス情報を検出する。この動線インデックス情報は、停止フラグＳが“１”にセットされているので、次に、この動線インデックス情報よりフレーム撮影日時が古い方向に順に動線インデックス情報を調べ、停止フラグＳが“１”から“０”に変化した動線インデックス情報を検出する。そして、この動線インデックス情報のフレーム撮影日時に一致するフレーム別動線生データを抽出して、前記ＳＴ６４〜ＳＴ６７の処理を実行する。
【００９１】
かくして、動線編集画面５０には、選択動線ＩＤが設定された動線が会計エリアＲｅｇ１，Ｒｅｇ２に停止する直前の画面が静止画として表示されるので、制御部２５は、ＳＴ８として再生指示を待つ。操作入力部２３を介して再生指示が入力されたならば、制御部２５は、ＳＴ９として選択動線の部分再生処理を実行する。この選択動線部分再生処理の処理手順は、図１３の流れ図によって示される。
【００９２】
すなわち制御部２５は、先ず、ＳＴ９１として選択動線ＩＤのターゲット情報を含むものとして動線生データベース３１から取り込んだ全ての動線生データのうち、画面表示部２４に表示中の停止直前画面に関わる動線生データ以降のデータで、かつ選択フラグＳが“１”から“０”に変化する直前の動線インデックスのフレーム撮影日時を有する動線生データまでを有効とする。あるいは、それ以外の動線生データを無効とする。
【００９３】
次に、制御部２５は、ＳＴ９２として有効とした各動線生データについて、それぞれのフレーム撮影日時を比較する。そして、撮影日時が最も古い動線生データを抽出して、前記ＳＴ６４〜ＳＴ６６と同様の処理を実行する。
【００９４】
すなわち制御部２５は、抽出した動線生データからターゲットＩＤが選択動線ＩＤと一致するターゲット情報の三次元座標（Ｘ，Ｙ，Ｈ）を取得する（ＳＴ９３）。また、抽出した動線生データからカメラ画像オフセット値を読み出す。そして、このオフセット値で特定される画像フレームをカメラ画像ファイルから取得する（ＳＴ９４）。さらに、ターゲット情報から取得した世界座標系の三次元座標を、該当するカメラ画像系の座標に変換する（ＳＴ９５）。
【００９５】
しかる後、制御部２５は、ＳＴ９６としてターゲット情報の三次元座標に基づいて動線編集画面５０の動線編集部５１に動線を表示する。また、画像フレームを動線編集画面５０のカメラ画像表示部５２に表示する。さらに、カメラ画像系座標に基づいて、上記カメラ画像表示部５２に動線ＩＤを表示する。
【００９６】
次に、制御部２５は、ＳＴ９７として操作入力部２３を介して会計指示が入力されたか否かを判断する。会計指示が入力されていない場合には、ＳＴ９８として直前に処理した動線生データの次に撮影日時が古い動線生データが有効であるか否かを判断する。有効である場合には、ＳＴ９２に戻り、その動線生データを抽出して、ＳＴ９３以降の処理を再度実行する。
【００９７】
かくして、動線編集画面５０の動線編集部５１には、停止動線リストの中から選択された選択動線ＩＤの動線が会計エリア内で停止判定される直前から再生される。また、カメラ画像表示部５２には、この動線の動きに同期したカメラ画像が再生される。さらに、このカメラ画像における動線のターゲット位置に該当する動線ＩＤが表示される。
【００９８】
このように、オペレータが停止動線リストの中から選択した動線に対して再生指示を行うと、その動線とそれに同期したカメラ画像とが会計エリア内で停止判定される直前から再生される。そこでオペレータは、再生中のカメラ画像からターゲットである顧客の購買商品１品目をキャッシャがＰＯＳ端末に売上登録するのを見極め、そのタイミングで操作入力部に設けられている会計指示キーを押下する。なお、本実施の形態では、ＰＯＳ端末で売上登録された商品の購買情報に含まれる取引時刻データは、１品目の売上登録時点とする。
【００９９】
会計指示キーを押下すると、操作入力部２３から制御部２５に所定の信号が入力される。この信号入力をトリガとして、制御部２５は、ＳＴ９７の判断処理で「ＹＥＳ」に進む。すなわち、ＳＴ９０として選択動線ＩＤがセットされた動線データレコードの購買取引時刻を、会計指示キーが押下された時点で画面表示部２４に表示されている動線編集画面５０のフレーム撮影日時に更新する。そして、この選択動線部分再生処理を終了する。
【０１００】
一方、トリガとなる信号が入力されることなく、有効化された動線生データの中でフレーム撮影日時が最も新しい動線生データについてＳＴ９３以降の処理を実行した場合、すなわち動線が停止判定状態から移動判定状態に切り替る直前まで再生が行われた場合には（ＳＴ９８のＮＯ）、制御部２５は、ＳＴ１００として当該部分再生処理の再実行が指令されたか否かを判断する。操作入力部２３の操作入力により再実行が指令された場合には、ＳＴ９１に戻り、この選択動線部分再生処理を再度実行する。再実行が指令されなかった場合には、この選択動線部分再生処理を終了する。
【０１０１】
選択動線部分再生処理が終了すると、制御部２５は、ＳＴ１０として編集作業の終了が指示されたか否かを判断する。編集作業終了が指示されることなく（ＳＴ１０のＮＯ）、次の動線ＩＤが選択されたならば（ＳＴ５のＹＥＳ）、制御部２５は、その選択動線ＩＤの動線に関して、ＳＴ６以降の処理を実行する。編集作業終了が指示された場合には（ＳＴ１０のＹＥＳ）、この動線データ編集プログラムを終了する。
【０１０２】
ここに、選択動線全再生処理及び選択動線部分再生処理を実行する制御部２５は、停止動線リスト表示手段により表示されたリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を再生する停止動線再生手段として機能する。また制御部２５は、停止動線再生手段による動線及びカメラ画像の再生中に入力手段（操作入力部２３の会計指示キー）によりトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶させる動線データ編集手段として機能する。
【０１０３】
詳しくは、停止動線再生手段は、停止動線リスト表示手段により表示されたリストの中から選択された動線データの動線及びこの動線と同期したカメラ画像を始点から順に再生し、その再生中に入力手段（操作入力部２３の客層入力手段）を介して第１のトリガ信号が入力されると、停止判定領域に停止したと判定された時点から動線及びカメラ画像の再生を再開する。
【０１０４】
動線データ編集手段は、停止判定領域に停止したと判定された時点以降の動線及びカメラ画像の再生中に入力手段（操作入力部２３の再生指示キー）を介して第２のトリガ信号が入力されると、このトリガ信号入力時点におけるカメラ画像フレームの撮影時刻情報を再生中の動線の動線データに紐付けて記憶する。
【０１０５】
より詳しくは、第１のトリガ信号は、移動体の種類、すなわち顧客の客層毎に異なるものであり、動線データ編集手段は、停止動線再生手段による動線及びカメラ画像の再生中に入力手段により第１のトリガ信号が入力されると、この第１のトリガ信号に応じた移動体の種別情報を再生中の動線の動線データに紐付けて記憶する。
【０１０６】
このように本実施の形態の動線データ編集装置２０においては、動線データ編集業務を実行することによって、動線データベース３３に記憶された各顧客の動線データのうち、会計エリアＲｅｇ１，Ｒｅｇ２に停止した顧客の動線データが自動的に抽出される。そして、この抽出された動線データのリストが動線編集画面５０の動線リスト表示部５３に表示される。また、抽出された動線データには、その顧客が停止した会計エリアＲｅｇ１，Ｒｅｇ２に対応するＰＯＳ端末ＰＯＳ１，ＰＯＳ２の端末番号と、その顧客が停止判定状態から移動判定状態に変化する直前の日時情報とが付加される。
【０１０７】
ここで、オペレータがリストの中からいずれか１つの動線ＩＤを選択する。そうすると、この動線ＩＤで特定される動線が最初から再生される。また、この動線の動きと同期したカメラ画像が再生される。そこで、オペレータは、再生されるカメラ画像を見て、再生中の動線に対応した顧客の客層を推定する。そして、客層を推定できたならば、操作入力部２３に設けられている客層入力手段を操作して、その客層情報を入力する。そうすると、この顧客の動線に関する動線データに、入力された客層情報が付加される。また、動線編集画面５０が、この顧客が会計エリアＲｅｇ１，Ｒｅｇ２に停止する直前の画面に切り替る。
【０１０８】
そこでオペレータは、操作入力部２３を操作して再生指示を行う。そうすると、動線編集画面５０において、動線とカメラ画像の再生が再開される。つまり、会計エリアＲｅｇ１，Ｒｅｇ２に入った顧客の購買商品がキャッシャによってＰＯＳ端末ＰＯＳ１，ＰＯＳ２に売上登録され、会計を終えるまでの店内状況がカメラ画像によって再生される。
【０１０９】
そこでオペレータは、当該顧客の購買商品１品目がキャッシャによってＰＯＳ端末ＰＯＳ１，ＰＯＳ２に売上登録されたタイミングで、操作入力部２３の会計指示キーを押下する。そうすると、この顧客の動線データに、会計指示キーを押下したときに再生中の画像フレーム撮影日時が購買取引時刻としてセットされる。
【０１１０】
一方、ＰＯＳ端末ＰＯＳ１，ＰＯＳ２においては、購買商品１品目の売上登録時点のシステム日時が取引時刻として当該顧客の購買情報に含まれる。したがって、取引時刻との差が最小となる組合せの購買情報と動線データとを関連付ける場合に、信頼性の高い関連付けを行うことができる。
【０１１１】
このように本実施の形態によれば、各顧客にそれぞれ対応した動線データのうち、会計エリアに停止した顧客の動線データのみがリストアップされる。したがって、会計を行った顧客の動線に購買取引時刻を設定する作業を行う際、オペレータは、リストアップされた動線データだけを再生して、購買取引開始のタイミングを確認すればよいので、作業負荷を軽減できる。また、顧客全員の動線を追跡する必要がない上、会計エリアに停止している期間だけを再生できるので、作業時間を大幅に短縮することができる。
【０１１２】
なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【０１１３】
例えば前記実施の形態では、完全動線の動線データ（動線編集レコード）を動線データベース３３で記憶するために、図９の流れ図に示す手順の動線データ作成処理を実行したが、動線データの作成手順は必ずしもこれに限定されるものではない。要は、動線データベース３３に各移動体（顧客）の動線データが記憶されればよい。
【０１１４】
また、前記実施の形態では、停止動線リストからいずれかの動線ＩＤが選択されると、先ず、その動線に対して全再生処理を行い、その後、部分再生処理を行ったが、全再生処理は動線データに客層情報を負荷するための処理なので省略してもよい。
【０１１５】
また、前記実施の形態では、停止判定領域を会計エリアＲｅｇ１，Ｒｅｇ２としたが、停止判定領域はこれに限定されるものではない。例えば、雑誌コーナーで停止する顧客の情報を分析したい場合、雑誌コーナーの周辺領域を停止判定領域に設定する。そして、再生されるカメラ画像から立ち読み開始と終了のタイミングを見極め操作入力部２３を操作することによって、立ち読み開始時刻と終了時刻を動線データに付加することもできる。
【０１１６】
また、本実施の形態では装置内部に発明を実施する動線データ編集プログラムが予め記録されている場合で説明をしたが、これに限らず同様のプログラムをネットワークから装置にダウンロードしても良いし、同様のプログラムを記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【０１１７】
この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。
【図面の簡単な説明】
【０１１８】
【図１】本発明に関わる動線データ編集装置を含む一実施の形態のシステム図。
【図２】同実施の形態における店舗内レイアウトの説明図。
【図３】同実施の形態における動線データのデータ構造を示す模式図。
【図４】同実施の形態における動線編集レコードのデータ構造を示す模式図。
【図５】同実施の形態において停止判定領域である会計エリアの説明図。
【図６】同実施の形態において店内エリア定義データベース３６に記憶される会計エリア定義テーブルのデータ構造を示す模式図。
【図７】同実施の形態における動線編集画面の一例を示す模式図。
【図８】同実施の形態において動線データ編集プログラムによる動線データ編集業務の処理手順を示す流れ図。
【図９】図８における動線データ作成処理の要部処理手順を示す流れ図。
【図１０】図８における所定エリア停止判定処理の要部処理手順を示す流れ図。
【図１１】図８における選択動線全再生処理の要部処理手順を示す流れ図。
【図１２】図１１における座標変換処理の要部処理手順を示す流れ図。
【図１３】図８における選択動線部分再生処理の要部処理手順を示す流れ図。
【符号の説明】
【０１１９】
１０…動線データ生成システム、２０…動線データ編集装置、２１…データ受信部、２２…記憶部、２３…操作入力部、２４…画面表示部、２５…制御部、３１…動線生データベース、３２…カメラ画像データベース、３３…動線データベース、３４…設定データベース、３５…カメラパラメータデータベース、３６…店内エリア定義データベース、３７…店内マップデータベース、４０…会計エリア定義テーブル、５０…動線編集画面、５１…動線編集部、５２…カメラ画像表示部、５３…動線リスト表示部。
【図１】
2009157846.tif 000012
【図２】
2009157846.tif 000013
【図３】
2009157846.tif 000014
【図４】
2009157846.tif 000015
【図５】
2009157846.tif 000016
【図６】
2009157846.tif 000017
【図７】
2009157846.tif 000018
【図８】
2009157846.tif 000019
【図９】
2009157846.tif 000020
【図１０】
2009157846.tif 000021
【図１１】
2009157846.tif 000022
【図１２】
2009157846.tif 000023
【図１３】
2009157846.tif 000024