(57)【特許請求の範囲】
【請求項１】
追跡対象物を含む領域の撮像画像を得る撮像部と、
前記追跡対象物を測位し、前記追跡対象物の測位データを出力する測位部と、
各時点の前記撮像画像に前記追跡対象物が写っているか否かに基づいて、前記追跡対象物が前記撮像画像内の遮蔽物の手前に存在するのか背後に存在するのかを判定し、前記各時点に対応する動線の表示種別を選択する動線種別選択部と、
前記測位データと前記動線種別選択部によって選択された動線表示種別とに基づいて、動線データを形成する動線作成部と、
前記撮像画像に基づく画像と、前記動線データに基づく動線とを重ねて表示する表示部と、
を具備する動線作成システム。
【請求項２】
前記測位部は、前記追跡対象物に付された無線タグから受信した無線信号に基づいて、前記測位データを得る、
請求項１に記載の動線作成システム。
【請求項３】
前記撮像部は、撮像画像を得る撮像部と、前記各時点の撮像画像内に前記追跡対象物が写っているか否かを示す追跡状況データを得る画像追跡部と有し、
前記動線種別選択部は、前記追跡状況データに基づいて、動線の表示種別を選択する、
請求項１に記載の動線作成システム。
【請求項４】
前記撮像部は、撮像画像を得る撮像部と、前記各時点の撮像画像における前記追跡対象物の撮像座標データを得る撮像座標取得部と有し、
前記動線種別選択部は、前記各時点の撮像画像における前記撮像座標データの有無に基づいて、動線の表示種別を選択する、
請求項１に記載の動線作成システム。
【請求項５】
前記動線種別選択部は、前記撮像画像内に前記追跡対象物が写っている場合は実線を選択し、前記撮像画像内に前記追跡対象物が写っていない場合は点線を選択する、
請求項１に記載の動線作成システム。
【請求項６】
前記動線種別選択部は、前記追跡対象物が写っていない撮像画像が閾値ｔｈ（ｔｈ≧２）以上連続した場合にのみ、前記撮像画像に前記追跡対象物が写っていないと判断する、
請求項１に記載の動線作成システム。
【請求項７】
前記動線種別選択部は、時間的に連続する複数の撮像画像において、前記追跡対象物が写っていない撮像画像の割合が閾値以上の場合にのみ、前記撮像画像に前記追跡対象物が写っていないと判断する、
請求項１に記載の動線作成システム。
【請求項８】
各時点の撮像画像に追跡対象物が写っているか否かに基づいて、前記追跡対象物が前記撮像画像内の遮蔽物の手前に存在するのか背後に存在するのかを判定し、前記各時点に対応する動線の表示種別を選択する動線種別選択部と、
前記追跡対象物の測位データと前記動線種別選択部によって選択された動線表示種別とに基づいて、動線データを形成する動線作成部と、
を具備する動線作成装置。
【請求項９】
前記動線種別選択部は、前記撮像画像内に前記追跡対象物が写っている場合は実線を選択し、前記撮像画像内に前記追跡対象物が写っていない場合は点線を選択する、
請求項８に記載の動線作成装置。
【請求項１０】
前記動線種別選択部は、前記追跡対象物が写っていない撮像画像が閾値ｔｈ（ｔｈ≧２）以上連続した場合にのみ、前記撮像画像に前記追跡対象物が写っていないと判断する、
請求項８に記載の動線作成装置。
【請求項１１】
前記動線種別選択部は、時間的に連続する複数の撮像画像において、前記追跡対象物が写っていない撮像画像の割合が閾値以上の場合にのみ、前記撮像画像に前記追跡対象物が写っていないと判断する、
請求項８に記載の動線作成装置。
【請求項１２】
各時点の追跡対象物の測位データを利用して、前記追跡対象物の移動軌跡である動線を形成し、
前記各時点の撮像画像中に前記追跡対象物が写っているか否かに基づいて、前記追跡対象物が前記撮像画像内の遮蔽物の手前に存在するのか背後に存在するのかを判定し、前記動線の種別を線分毎に選択する、
動線作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の移動軌跡である動線を作成する動線作成システム、動線作成装置、動線作成方法及び動線作成方法に関する。
【背景技術】
【０００２】
従来、無線タグや監視カメラ等を用いて測位した対象（人物、物品等）の動線（移動軌跡）を表示する技術が多数提案されている。このような動線を表示することで、不審人物のモニタリング、人物の異常行動の探索やその人物への警告、作業者の行動分析による作業効率化、消費者の動線分析によるレイアウト設計等が可能となる。
【０００３】
従来、この種の動線作成装置として、特許文献１及び特許文献２で開示されたものがある。
【０００４】
特許文献１には、画像処理によって画像内の移動体の軌跡を求め、この軌跡を動画に重畳して表示する技術が開示されている。
【０００５】
特許文献２には、移動体に付された無線ＩＤタグを用いて移動体の測位データを得、この測位データから移動軌跡を求め、この軌跡を動画に重畳して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３５０６１８号公報
【特許文献２】特開２００５−７１２５２号公報
【特許文献３】特開平４−７１０８３号公報
【非特許文献】
【０００７】
【非特許文献１】新情報教育ライブラリＭ−１０  ３次元ＣＧの基礎と応用  千葉則茂・土井章男  サイエンス社  ＩＳＢＮ４−７８１９−０８６２−８  ＰＰ．５４−５６
【非特許文献２】飯尾他，『顔の向きと頭部位置の３  次元情報を利用したユーザインタフェースの試作』，第８回画像センシングシンポジウム（ＳＳＩＩ２００２），ｐｐ．５７３−５７６，２００２年７月
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１に開示された技術においては、移動体がカメラから見て物陰に入ると追跡ができないので、移動体が物陰に入っている間の正確な動線を作成することができない欠点がある。また、物陰に入ってしまうとその間の追跡ができなくなるので、物陰に入った移動体と物陰から出てきた移動体との同一性の判断も困難になる。
【０００９】
また特許文献２に開示された技術においては、移動体がカメラから見て物陰に入った場合でも追跡できるが、移動体が物陰にあるか否かの判断ができないので、移動体が物陰に入った場合でもそのまま動線が引かれてしまい、ユーザが移動軌跡を把握する点で非常に分かりにくいものとなってしまう欠点がある。
【００１０】
移動体が物陰に入ったか否かを検出する技術としては、例えば非特許文献１に記載されているようなＺバッファ法がある。Ｚバッファ法は、撮影空間の３Ｄモデルを利用するものである。ここで、特許文献２の技術とＺバッファ法とを組み合わせることが考えられる。つまり、無線ＩＤタグから得た移動軌跡データと、３Ｄモデルデータとを利用して、陰線処理を行うことが考えられる。
【００１１】
しかしながら、Ｚバッファ法を実施するためには、撮影空間の３Ｄモデル情報（カメラからの深度情報）を予め取得しておく必要があり、この作業が煩雑である。特に３Ｄモデルが経時的に変化する場合には、実用的でない。
【００１２】
本発明は、３Ｄモデル情報を用いなくても、追跡対象物の移動軌跡を分かり易く表示できる動線作成システム、動線作成装置及び動線作成方法を提供する。
【課題を解決するための手段】
【００１３】
本発明の動線作成システムの一つの態様は、追跡対象物を含む領域の撮像画像を得る撮像部と、前記追跡対象物を測位し、前記追跡対象物の測位データを出力する測位部と、各時点の前記撮像画像に前記追跡対象物が写っているか否かに基づいて、前記追跡対象物が前記撮像画像内の遮蔽物の手前に存在するのか背後に存在するのかを判定し、前記各時点に対応する動線の表示種別を選択する動線種別選択部と、前記測位データと前記動線種別選択部によって選択された動線表示種別とに基づいて、動線データを形成する動線作成部と、前記撮像画像に基づく画像と、前記動線データに基づく動線とを重ねて表示する表示部と、を具備する。
【００１４】
本発明の動線作成装置の一つの態様は、各時点の撮像画像に追跡対象物が写っているか否かに基づいて、前記追跡対象物が前記撮像画像内の遮蔽物の手前に存在するのか背後に存在するのかを判定し、前記各時点に対応する動線の表示種別を選択する動線種別選択部と、前記追跡対象物の測位データと前記動線種別選択部によって選択された動線表示種別とに基づいて、動線データを形成する動線作成部と、を具備する。
【００１５】
本発明の動線作成方法の一つの態様は、各時点の追跡対象物の測位データを利用して、前記追跡対象物の移動軌跡である動線を形成し、前記各時点の撮像画像中に前記追跡対象物が写っているか否かに基づいて、前記追跡対象物が前記撮像画像内の遮蔽物の手前に存在するのか背後に存在するのかを判定し、前記動線の種別を線分毎に選択するようにした。
【発明の効果】
【００１６】
本発明によれば、３Ｄモデル情報を用いることなく、追跡対象物の移動軌跡を分かり易く表示し得る動線作成システム、動線作成装置及び動線作成方法を実現できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１に係る動線作成システムの構成を示すブロック図
【図２】カメラ部の動作を示すフローチャート
【図３】動線種別選択部の動作を示すフローチャート
【図４】動線作成部の動作を示すフローチャート
【図５】本実施の形態の動線作成システムによって作成され表示される動線の様子を示す図であり、図５Ａは人物が物体の手前を歩いた場合の動線を示す図、図５Ｂは人物が物体の背後（物陰）を歩いた場合の動線を示す図
【図６】実施の形態２の動線作成システムの構成を示すブロック図
【図７】動線種別選択部の動作を示すフローチャート
【図８】撮像画像と動線とを合成して表示した表示画像例を示す図
【図９】撮像画像と動線とを合成して表示した表示画像例を示す図
【図１０】実施の形態３の表示画像例を示す図
【図１１】実施の形態３の表示画像例を示す図
【図１２】実施の形態３の表示画像例を示す図
【図１３】図１３Ａは実施の形態３の表示画像例を示す図、図１３Ｂはマウスホイールを示す図
【図１４】実施の形態３の３次元動線表示装置の構成を示すブロック図
【図１５】移動ベクトルの様子を示す図
【図１６】視線ベクトルと、移動ベクトルとの関係を示す図
【図１７】図１７Ａ及び図１７Ｂは視線ベクトルと移動ベクトルが平行に近いケースを示す図、図１７Ｃは視線ベクトルと移動ベクトルが垂直に近いケースを示す図
【図１８】実施の形態４の３次元動線表示装置の構成を示すブロック図
【図１９】実施の形態５の表示画像例を示す図
【図２０】実施の形態６の３次元動線表示装置の構成を示すブロック図
【図２１】実施の形態６の表示画像例を示す図
【図２２】実施の形態６の３次元動線表示装置の構成を示すブロック図
【図２３】実施の形態７の表示画像例を示す図
【図２４】実施の形態７の表示画像例を示す図
【図２５】実施の形態７の表示画像例を示す図
【図２６】実施の形態８の表示画像例を示す図
【図２７】実施の形態８の３次元動線表示装置の構成を示すブロック図
【図２８】実施の形態８の表示画像例を示す図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。以下の実施の形態では、追跡対象物が人物である場合について述べるが、追跡対象物は人物に限らず、例えば車両等であってもよい。
【００１９】
（実施の形態１）
図１に、本発明の実施の形態に係る動線作成システムの構成を示す。動線作成システム１００は、カメラ部１０１と、タグリーダ部１０２と、表示部１０３と、データ保持部１０４と、動線種別選択部１０５と、動線作成部１０６と、を有する。
【００２０】
カメラ部１０１は、撮像部１０１−１と画像追跡部１０１−２とを有する。撮像部１０１−１は追跡対象物を含む領域を撮像し、撮像画像Ｓ１を表示部１０３及び画像追跡部１０１−２に送出する。画像追跡部１０１−２は、撮像部１０１−１によって各時点で得られた撮像画像Ｓ１を用いて追跡対象物である人物を追跡する。本実施の形態の場合、画像追跡部１０１−２は、各時点の画像において、人物を検知しているか否かを示す検知フラグＳ２を追跡状況データとして形成し、この検知フラグＳ２をデータ保持部１０４に送出する。
【００２１】
タグリーダ部１０２は、無線タグからの無線信号を受信する無線受信部と、受信した無線信号に基づいて無線タグの位置座標を求める測位部と、求めた位置座標を表示画像上のＸＹ座標に変換する座標変換部と、を有する。タグリーダ部１０２は、変換した無線タグの座標データＳ３をデータ保持部１０４に送出する。
【００２２】
タグリーダ部１０２の測位部において位置座標を求める方法としては、無線タグから受信した無線信号の電波強度による３点測量方式や、到来時間・到来方向推定方式など既存技術を用いることができる。また無線タグ自身がＧＰＳなど測位機能を搭載し、自ら測位した結果を無線信号として、タグリーダ部１２０の無線受信部に送信する構成とすることも可能である。この場合には、タグリーダ部１０２は測位部を有しなくてもよい。また、上記座標変換部を、タグリーダ部１０２に設けるのではなく、データ保持部１０４に設けてもよい。
【００２３】
データ保持部１０４は、追跡対象物についての、各時点の検知フラグＳ２−１と座標データＳ３−１とをタイミングを合わせて出力する。検知フラグＳ２−１は動線種別選択部１０５に入力され、座標データＳ３−１は動線作成部１０６に入力される。
【００２４】
動線種別選択部１０５は、検知フラグＳ２−１に基づいて、各時点で追跡対象物が物陰にいるか否かを判定する。具体的には、動線種別選択部１０５は、検知フラグＳ２−１がＯＮの場合（カメラ部１０１によって追跡対象物が検知されている場合、すなわち撮像画像中に追跡対象物が写っている場合）には、追跡対象物が物陰にいないと判定する。これに対して、動線種別選択部１０５は、検知フラグＳ２−１がＯＦＦオフの場合（カメラ部１０１によって追跡対象物が検知されていない場合、すなわち撮像画像中に追跡対象物が写っていない場合）には、追跡対象物が物陰にいると判定する。
【００２５】
動線種別選択部１０５は、判定結果に基づいて動線種別指示信号Ｓ４を形成し、これを動線作成部１０６に送出する。本実施の形態の場合には、追跡対象物が写っている場合には「実線」を指示し、写っていない場合には「点線」を指示する動線種別指示信号Ｓ４を形成する。
【００２６】
動線作成部１０６は、各時点の座標データＳ３−１を繋げることで動線データＳ５を形成する。このとき、動線作成部１０６は、動線種別指示信号Ｓ４に基づいて動線の種別を線分毎に選択することで、動線データＳ５を形成する。動線データＳ５は、表示部１０３に送出される。
【００２７】
表示部１０３は、カメラ部１０１から入力した撮像画像Ｓ１に基づく画像と、動線作成部１０６から入力した動線データＳ５に基づく動線とを重畳して表示する。これにより、カメラ部１０１によって撮像された画像中に、追跡対象物の移動軌跡である動線が重畳されて表示される。
【００２８】
次に、本実施の形態の動作について説明する。
【００２９】
図２に、カメラ部１０１の動作を示す。カメラ部１０１は、ステップＳＴ１０で処理を開始すると、ステップＳＴ１１で撮像部１０１−１によって撮影を行い、撮像画像Ｓ１を表示部１０３及び画像追跡部１０１−２に出力する。ステップＳＴ１２では、画像追跡部１０１−２がパターンマッチング等の方法を用いて撮像画像Ｓ１から追跡対象物の人物を検知する。
【００３０】
ステップＳＴ１３では、画像追跡部１０１−２が人物を検知できたか否か判断する。人物を検知できた場合、ステップＳＴ１４に移って、検知フラグＳ２をＯＮにした追跡状況データを出力する。これに対して、人物を検知できなかった場合、ステップＳＴ１５に移って、検知フラグＳ２をＯＦＦにした追跡状況データを出力する。
【００３１】
次に、カメラ部１０１は、ステップＳＴ１６でタイマー処理を行うことで所定時間待機してからステップＳＴ１１に戻る。ステップＳＴ１６におけるタイマー処理での待機時間は、追跡対象物の移動速度等に応じて設定すればよい。例えば、追跡対象物の移動速度が速いほど待機時間を短く設定することにより、撮影間隔を短くするとよい。
【００３２】
図３に、動線種別選択部１０５の動作を示す。動線種別選択部１０５は、ステップＳＴ２０で処理を開始すると、ステップＳＴ２１で検知フラグがＯＮか否かを判別する。動線種別選択部１０５は、検知フラグがＯＮであると判別した場合、ステップＳＴ２２に移って、動線種別を「実線」にするよう動線作成部１０６に指示する。これに対して、検知フラグがＯＦＦであると判別した場合、ステップＳＴ２３に移って、動線種別を「点線」にするよう動線作成部１０６に指示する。次に、動線種別選択部１０５は、ステップＳＴ２４でタイマー処理を行うことで所定時間待機してからステップＳＴ２１に戻る。この待機時間は、カメラ部１０１の撮影間隔に一致させて設定すればよい。
【００３３】
図４に、動線作成部１０６の動作を示す。動線作成部１０６は、ステップＳＴ３０で処理を開始すると、ステップＳＴ３１で動線種別選択部１０５からの動線種別指示信号Ｓ４を入力することで動線種別を取得すると共に、ステップＳＴ３２でデータ保持部１０４から座標データＳ３−１を入力することで追跡対象物の座標データＳ３−１を取得する。次に、動線作成部１０６は、ステップＳＴ３３において、前回までに作成した動線の終点と今回の取得した座標点とを、今回取得した種別の動線で繋げることで、動線を作成する。次に、動線作成部１０６は、ステップＳＴ３４でタイマー処理を行うことで所定時間待機してからステップＳＴ３１、ＳＴ３２に戻る。この待機時間は、カメラ部１０１の撮影間隔に一致させて設定すればよい。
【００３４】
なお、ステップＳＴ３４での待機時間は、無線タグを用いた測位時間間隔（タグリーダ部１０２から各時点の座標データＳ３が出力される間隔）に合わせてもよく、あらかじめ設定されている一定時間としてもよい。通常、カメラ部１０１の撮影間隔は無線タグを用いた測位間隔よりも短いので、待機時間を、無線タグを用いた測位時間間隔以上の一定時間に設定することが好ましい。
【００３５】
図５に、本実施の形態の動線作成システム１００によって作成され表示される動線の様子を示す。図５Ａに示すように、人物が物体１１０の手前を歩いた場合は、物体１１０の位置における動線は「実線」とされる。一方、図５Ｂに示すように、人物が物体１１０の背後（物陰）を歩いた場合は、物体１１０の位置における動線は「点線」とされる。これにより、ユーザは、人物が物体１１０の手前を移動したのか、物体１１０の背後（物陰）を移動したのかを、動線から容易に把握できるようになる。
【００３６】
以上説明したように、本実施の形態によれば、カメラ部１０１によって、撮像画像Ｓ１から追跡対象物を検知できているか否かを示す検知フラグ（追跡状況データ）Ｓ２を形成し、動線種別選択部１０５によって、検知フラグＳ２に基づいて動線の表示種別を決定し、動線作成部１０６によって、タグリーダ部１０２で取得した座標データＳ３と動線種別選択部１０５によって決定された動線種別指示信号Ｓ４とに基づいて動線を作成する。これにより、３Ｄモデル情報を用いなくても、追跡対象物が物体１１０の手前を移動したのか、物体１１０の背後を移動したのかが明示された動線を表示することができ、分かり易い移動軌跡を表示できるようになる。
【００３７】
なお、本実施の形態では、移動軌跡をタグリーダ部１０２によって得られた座標データＳ３のみによって形成する場合について述べたが、画像追跡部１０１−２によって得られる座標データを相補的に用いて移動軌跡を求めてもよい。
【００３８】
（実施の形態２）
本実施の形態では、実施の形態１で説明した構成を基本構成としつつ、さらに追跡対象物が複数存在する場合に好適な形態を提示する。
【００３９】
図６に、本実施の形態の動線作成システム２００の構成を示す。
【００４０】
カメラ部２０１は、撮像部２０１−１と撮像座標取得部２０１−２とを有する。撮像部２０１−１は追跡対象物を含む領域を撮像し、撮像画像Ｓ１０を画像保持部２１０及び撮像座標取得部２０１−２に送出する。画像保持部２１０は、撮像画像Ｓ１０を一旦保持し、タイミングが調整された撮像画像Ｓ１０−１を表示部２０３に出力する。
【００４１】
撮像座標取得部２０１−２は、撮像部２０１−１によって各時点で得られた撮像画像Ｓ１０を用いて追跡対象物である人物の座標を取得する。撮像座標取得部２０１−２は、各時点の画像において検知した人物の座標データを撮像座標データＳ１１としてデータ保持部２０４に送出する。なお、検知した人物が複数存在する場合、撮像座標取得部２０１−２は、複数人を追跡して、複数人分の撮像座標データＳ１１を出力する。
【００４２】
タグリーダ部２０２は、無線タグからの情報を無線受信する無線受信部を有する。タグリーダ部２０２は、受信した無線信号に基づいて無線タグの位置座標を求める測位機能と、タグＩＤ受信機能と、を有する。なお、実施の形態１で説明したのと同様に、無線タグ自身に測位機能を搭載し、タグリーダ部２０２が測位結果を受信する構成としてもよい。タグリーダ部２０２は、無線タグのタグ座標データＳ１２と、タグＩＤデータＳ１３とをペアにしてデータ保持部２０４に送出する。
【００４３】
これにより、データ保持部２０４には、撮像座標データＳ１１と、タグＩＤデータＳ１３と、タグＩＤに対応するタグ座標データＳ１２とが格納される。追跡対象物の人物が複数人である場合には、各時点において、複数の撮像座標データＳ１１と、複数のタグＩＤデータＳ１３と、それぞれが各タグＩＤに対応した複数のタグ座標データＳ１２とが格納される。
【００４４】
データ統合部２１１は、データ保持部２０４に格納されたデータを読み出して、人物の統合と座標の統合とを行う。人物の統合とは、複数人の撮像座標及びタグ座標の中から、対応する人物の撮像座標とタグ座標とを統合することである。この際、データ統合部２１１は、例えば、人物画像認識の手法を用いて各撮像座標に対応する人物を特定し、特定した人物とタグＩＤで示された人物とを紐付けることで、対応する人物の撮像座標とタグ座標とを統合すればよい。また、撮像座標とタグ座標との間で互いに座標の近いもの同士を、対応する人物の撮像座標とタグ座標であるとして、統合してもよい。
【００４５】
データ統合部２１１は、さらに撮像座標とタグ座標を正規化することで、撮像座標とタグ座標を動線作成用のＸＹ平面座標に統合する。ここでの正規化とは、対応する人物の撮像座標とタグ座標の両方を用いて、撮像座標が欠落している場合には、タグ座標にて補間する処理を含む。統合され正規化された各人物の座標データＳ１４は、データ保持部２０４を介して動線作成部２０６に送出される。
【００４６】
動線作成部２０６は、前時点の座標から次の時点の座標へのベクトルを順次繋いでいくことで、現時点までの追跡結果を示す動線ベクトルデータＳ１５を形成し、これを動線種別選択部２０５に送出する。
【００４７】
動線種別選択部２０５は、動線ベクトルデータＳ１５及び撮像座標データＳ１１−１を入力する。動線種別選択部２０５は、動線ベクトルを一定区間毎に分割し、各区間に対応する期間の撮像座標データＳ１１−１の有無に応じて、各区間毎に動線ベクトルで示される動線の種別を判定する。動線種別選択部２０５は、動線ベクトルと各区間毎の動線ベクトルの種別情報とを含む動線データＳ１６を表示部２０３に送出する。
【００４８】
具体的には、動線種別選択部２０５は、動線ベクトルに対応する撮像座標データＳ１１−１が存在する場合には、追跡対象物が物体の前方に存在すると判断して、動線ベクトルで示される動線を「実線」で表示することを指示する動線データＳ１６を出力する。これに対して、動線種別選択部２０５は、動線ベクトルに対応する撮像座標データＳ１１−１が存在しない場合には、追跡対象物が物体の背後に存在すると判断して、動線ベクトルで示される動線を「点線」で表示することを指示する動線データＳ１６を出力する。
【００４９】
上述した動線作成部２０６及び動線種別選択部２０５の処理は、追跡対象物である各人物毎に行われる。
【００５０】
図７に、動線種別選択部２０５の動線種別判定動作を示す。動線種別選択部２０５は、ステップＳＴ４０で動線種別判定処理を開始すると、ステップＳＴ４１で、判定する動線ベクトルの区間を初期化する（区間＝１に設定する）。
【００５１】
ステップＳＴ４２では、設定された動線ベクトル区間に該当する期間の撮像座標データＳ１１−１を用いて、撮像座標があるか否かを判断する。撮像座標が無かった場合には、ステップＳＴ４５−４に移って、人物が物陰にいると判定し、ステップＳＴ４６−４で、当該動線ベクトルにて示される動線を「点線」で表示させる。これに対して、撮像画像が存在した場合には、ステップＳＴ４２からステップＳＴ４３に移る。
【００５２】
ステップＳＴ４３では、設定された動線ベクトル区間に該当する期間の撮像座標データＳ１１−１を用いて、撮像座標を取得できた割合が閾値以上であるか否か判定する。撮像座標を取得できた割合が閾値以上の場合には、ステップＳＴ４５−３に移って、映像上に人物が見えると判断し、ステップＳＴ４６−３で、当該動線ベクトルにて示される動線を「実線」で表示させる。これに対して、撮像座標を取得できた割合が閾値未満の場合には、ステップＳＴ４３からステップＳＴ４４に移る。
【００５３】
ステップＳＴ４４では、設定された動線ベクトル区間に該当する期間の撮像座標データＳ１１−１を用いて、撮像座標が連続して欠落しているか否か判断する。ここで、撮像座標が連続して欠落しているとは、追跡対象物が写っていない撮像画像が閾値ｔｈ（ｔｈ≧２）以上連続した場合のことを意味する。撮像座標が連続して欠落している場合には、ステップＳＴ４５−２に移って、人物が物陰にいると判定し、ステップＳＴ４６−２で、当該動線ベクトルにて示される動線を「点線」で表示させる。これに対して、撮像座標が連続して欠落していない場合には、ステップＳＴ４４からステップＳＴ４５−１に移って、映像上に人物が見えると判定し（撮像の失敗又は人物検出（追跡）の失敗が原因で撮像座標データＳ１１−１が得られなかったと判断し）、ステップＳＴ４６−１で、当該動線ベクトルにて示される動線を「実線」で表示させる。
【００５４】
動線種別選択部２０５は、ステップＳＴ４６−１〜ＳＴ４６−４の処理後、ステップＳＴ４７に移って、判定する動線ベクトルの区間として次の区間を設定し（区間＝区間＋１に設定し）、ステップＳＴ４２に戻る。
【００５５】
このように動線種別選択部２０５は、ステップＳＴ４２、ＳＴ４３、ＳＴ４４において、各区間毎の撮像座標の有無、撮像座標の欠落の度合いに基づいて、動線種別を総合的に判断したことにより、撮像座標の取得に失敗した区間を誤って物陰であると判断することを回避できる。これにより、的確な動線種別を選択することができる。
【００５６】
なお、本実施の形態では、ステップＳＴ４２、ＳＴ４３、ＳＴ４４の３段階処理によって動線種別を選択する場合について述べたが、ステップＳＴ４２、ＳＴ４３、ＳＴ４４のうちのいずれか２つを用いた２段階処理によって動線種別を選択してもよく、またＳＴ４３、ＳＴ４４のうちのいずれか１つを用いた１段階処理によって動線種別を選択してもよい。
【００５７】
以上説明したように、本実施の形態によれば、データ統合部２１１を設けたことにより、同一時点に複数の追跡対象物が存在する場合でも、各追跡対象物毎の動線を作成することができる。
【００５８】
また、追跡対象物が写っていない撮像画像が閾値ｔｈ（ｔｈ≧２）以上連続した場合にのみ、撮像画像に追跡対象物が写っていないと判断したことにより、撮像座標の取得に失敗した区間を誤って物陰であると判断することを回避できる。同様に、時間的に連続する複数の撮像画像において、追跡対象物が写っていない撮像画像の割合が閾値以上の場合にのみ、撮像画像に追跡対象物が写っていないと判断したことにより、撮像座標の取得に失敗した区間を誤って物陰であると判断することを回避できる。
【００５９】
（実施の形態３）
本実施の形態及び続く実施の形態４−８では、３次元情報を持つ動線を２次元画像上に表示する際の視認性を向上させることで、３次元動線をユーザに分かり易く提示する３次元動線表示装置を提示する。
【００６０】
本発明の発明者らは、３次元情報を持つ動線を２次元画像上に表示した際の視認性について考察した。
【００６１】
例えば特許文献１には、画像認識処理を用いて検出した対象の移動軌跡を、カメラ画像に合成して表示する技術が開示されている。
【００６２】
対象の３次元座標は、図８に示す座標軸によって表現されていると仮定する。すなわち、対象の３次元座標とは、図８における、ｘ軸（水平方向）、ｙ軸（奥行き方向）、ｚ軸（高さ方向）である。
【００６３】
特許文献１で開示された技術は、対象のカメラ画像（画面）内における２次元の移動軌跡をカメラ画像に合成して表示するものであり、カメラから見た奥行き方向の移動を含む３次元の移動軌跡を表示させるものではない。したがって、対象が物陰に隠れたり対象どうしが重なり合ったりした場合には表示される移動軌跡が途切れてしまうなど、対象の移動軌跡を十分に把握することができない。
【００６４】
一方、特許文献３には、対象の移動軌跡が３次元的に見えるように工夫された表示方法が開示されている。具体的には、特許文献３では、物体（粒子）の運動軌跡をリボン形状で表示すると共に隠面処理を行うことで、物体の奥行き方向の移動が表現されている。
【００６５】
カメラ画像に３次元の情報を有する対象の移動軌跡を合成して表示すれば、ユーザに対象のより詳細な移動軌跡を提示できるようになるので、このような表示装置の実現が望まれる。
【００６６】
しかしながら、従来、カメラ画像に３次元の移動軌跡を合成して表示する場合における、２次元ディスプレイ上での表示画像の視認性については十分な配慮がなされていない。
【００６７】
発明者らは、カメラ画像に３次元の移動軌跡を合成したものを、２次元ディスプレイに表示する場合の、従来の問題点について検討した。図８及び図９を用いて、その検討結果について説明する。
【００６８】
図８は、カメラ画像を２次元ディスプレイに表示すると共に、対象ＯＢ１についての３次元の情報を有する動線（移動軌跡）Ｌ０をカメラ画像に合成して２次元ディスプレイに表示した例である。動線Ｌ０は、図中黒丸で示す対象ＯＢ１の測位点の履歴を繋げたものである。なお、図８は、対象ＯＢ１である人物の像を、動線と共に表示した例である。
【００６９】
こうした例の場合、移動軌跡の表示画像から、対象ＯＢ１の動きが高さ方向のものなのか、或いは奥行き方向のものなのかを視認することは困難である。
【００７０】
つまり、図９に示したように、動線Ｌ０だけを表示すると、ユーザは、画面上での動線の画面縦方向への変位が、対象ＯＢ１が高さ方向に移動したものによるものなのか、或いは、対象ＯＢ１が奥行き方向に移動したものによるものなのかを区別することができず、表示された移動軌跡から対象の動きを把握することが困難となる。
【００７１】
さらに、図８に示したように、測位結果に高さ方向の誤差（例えば無線タグを用いた測位においては無線タグの付帯位置や無線の電波環境に応じて誤差が生じる）が含まれている場合には、ユーザは、動線の画面縦方向への変位が、対象ＯＢ１が高さ方向に移動したものによるものなのか、対象ＯＢ１が奥行き方向に移動したものによるものなのか、或いは高さ方向の測位誤差によるものなのかを区別することができないため、移動軌跡から対象の動きを把握することがさらに困難となる。
【００７２】
因みに、特許文献３に開示された技術は、そもそもカメラ画像に移動軌跡を合成して表示することを前提としたものではないが、もしカメラ画像にリボンによる移動軌跡を重ねることを想定すると、リボンによって画像が隠されてしまうので、カメラ画像と動線とを同時に確認することが妨げられるといった問題が考えられる。
【００７３】
本実施の形態及び続く実施の形態４−８は、以上のような考察に基づいてなされたものである。
【００７４】
本実施の形態の構成を説明する前に、先ず、本実施の形態の３次元動線表示装置によって作成され表示される表示画像について説明する。
【００７５】
（ｉ）図１０は、測位データに基づく実際の動線（以下これを原動線と呼ぶ）Ｌ０を床面に貼り付けた（投影した）丸め動線Ｌ１を表示した表示画像を示す。丸め動線Ｌ１は、動線Ｌ０の高さ方向成分（ｚ方向成分）を床面に固定（すなわちｚ＝０）した上で、カメラの視野座標系に座標変換することで形成される。このように表示された動線Ｌ１が床面に固定されていることを観察者（ユーザ）が認識することで、観察者は対象ＯＢ１の奥行き方向の移動と上下方向の移動とを誤認識することなく把握することができるようになる。なお、ここでは、丸め動線が、原動線を床面に投影した動線となるようにしたが、要は、丸め動線が、原動線を対象ＯＢ１の移動平面に投影した動線となるように、測位データに関する所定の座標成分を一定値に固定すればよい。
【００７６】
（ｉｉ）図１１は、測位データに基づく原動線Ｌ０を壁面に貼り付けた（投影した）丸め動線Ｌ１を表示した表示画像を示す。丸め動線Ｌ１は、動線Ｌ０の水平方向成分（ｘ方向成分）を壁面に固定（すなわちｘ＝壁面のｘ座標）した上で、カメラの視野座標系に座標変換することで形成される。このようにすることで、対象ＯＢ１の高さ方向（ｚ方向）及び奥行き方向（ｙ方向）への動きの様子を画像上で確認できるようになる。
【００７７】
（ｉｉｉ）図１２は、測位データに基づく原動線Ｌ０を動線Ｌ０の所定期間における高さ成分の平均値である平面Ｆ１に貼り付けた（投影した）丸め動線Ｌ１を表示した表示画像を示す。丸め動線Ｌ１は、動線Ｌ０の高さ方向成分（ｚ方向成分）を平面Ｆ１に固定（すなわちｚ＝所定期間における高さ成分の平均値）した上で、カメラの視野座標系に座標変換することで形成される。このようにすることで、対象ＯＢ１の平面的な動き（ｘｙ平面での動き）の様子を画像上で確認できるようになると共に、平面Ｆ１の高さから対象ＯＢ１がどのくらいの高さで移動しているのかをある程度認識できるようになる。
【００７８】
（ｉＶ）図１３Ａは、測位データにおける高さ方向成分を一定値に固定した丸め動線を生成し、かつ前記一定値を変化させることで、高さ方向（ｚ方向）に平行移動された複数の丸め動線Ｌ１−１、Ｌ１−２を生成し、この複数の丸め動線Ｌ１−１、Ｌ１−２を順次表示することで、高さ方向に経時的に平行移動する丸め動線を表示した表示画像の様子を示す。なお、図１３Ａでは、図を簡単化するために、２つの丸め動線Ｌ１−１、Ｌ１−２のみを図示しているが、丸め動線Ｌ１−１、Ｌ１−２の間にも丸め動線を生成して、丸め動線Ｌ１−１〜Ｌ１−２の間で丸め動線を高さ方向に平行移動させて表示する。このようにすることで、丸め動線の高さを変えるだけで、画像上での透視変換的な効果が得られ、奥行き方向（ｙ方向）に伸びる動線の前後関係を把握し易くすることができる。平行移動の制御は、例えば図１３Ｂに示すように、ユーザによるマウスホイール１０の操作量に応じて行えばよい。また、平行移動の制御は、ユーザによるスライダーバー等の操作量や、キーボードの所定キー（矢印キー）の押下回数等に応じて行ってもよい。
【００７９】
（Ｖ）本実施の形態では、好ましい例として、測位データにおける水平方向成分又は高さ方向成分の単位時間当たりの変動量を閾値判定し、前記変動量が閾値以上の場合に前記丸め動線Ｌ１を表示し、前記変動量が閾値未満の場合に丸め処理を行わない原動線Ｌ０を表示することを提案する。このようにすることで、原動線Ｌ０を表示すると実際上視認性が低下してしまうときだけ丸め動線Ｌ１を表示できるようになる。
【００８０】
（Ｖｉ）本実施の形態では、好ましい例として、図１０、図１１、図１２に示すように、丸め動線Ｌ１と、丸め処理を行わない原動線Ｌ０と、丸め動線Ｌ１と原動線Ｌ０との対応箇所間を結合する線分（図中の点線）と、を同時に表示することを提案する。このようにすることで、撮像画像を隠蔽することなく、対象ＯＢ１の３次元的な移動方向を擬似的に提示できるようになる。すなわち、図１０及び図１２のように高さ方向（ｚ方向）成分を一定値に固定した丸め動線Ｌ１を表示する場合には、丸め動線Ｌ１によって対象ＯＢ１のｘｙ平面における移動を確認できると共に、丸め動線Ｌ１と原動線Ｌ０との対応箇所間を結合する線分の長さによって対象ＯＢ１の高さ方向（ｚ方向）における移動を確認できる。一方、図１１のように水平方向（ｘ方向）成分を一定値に固定した丸め動線Ｌ１を表示する場合には、丸め動線Ｌ１によって対象ＯＢ１のｙｚ平面における移動を確認できると共に、丸め動線Ｌ１と原動線Ｌ０との対応箇所間を結合する線分の長さによって対象ＯＢ１の水平方向（ｘ方向）における移動を確認できる。
【００８１】
次に、上記表示画像を作成して表示する３次元動線表示装置の構成について説明する。
【００８２】
図１４に、本実施の形態の３次元動線表示装置の構成を示す。３次元動線表示装置３００は、撮像装置３１０と、位置検出装置３２０と、表示動線生成装置３３０と、入力装置３４０と、表示装置３５０とを有する。
【００８３】
撮像装置３１０は、レンズ、撮像素子及び動画符号化のための回路等から構成されるビデオカメラである。撮像装置３１０は、ステレオビデオカメラであってもよい。符号化方式は、特に限定されるものではないが、例えばＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４／ＡＶＣ（Ｈ．２６４）等が用いられる。
【００８４】
位置検出装置３２０は、対象に付帯された無線タグの３次元位置を電波により測定することで、水平方向成分、奥行き方向成分及び高さ方向成分からなる３次元の情報を有する、対象の測位データを得る。なお、撮像装置３１０がステレオカメラである場合には、位置検出装置３２０は撮像装置３１０によって得られた撮像画像の立体視差から、対象の３次元位置を測定してもよい。また、位置検出装置３２０は、レーダや赤外線、超音波等を用いて対象の３次元位置を測定してもよい。要は、位置検出装置３２０は、水平方向成分、奥行き方向成分及び高さ方向成分からなる３次元の情報を有する、対象の測位データを得ることがきるものであれば、どのような装置であってもよい。
【００８５】
画像受信部３３１は、撮像装置３１０から出力された撮像画像（動画データ）をリアルタイムに受信し、画像再生部３３３からの要求に従って画像再生部３３３に動画データを出力する。また、画像受信部３３１は、受信した動画データを画像記憶部３３２に出力する。画像記憶部３３２の記憶容量に制限等がある場合には、画像受信部３３１は、受信した動画データを一度復号化し、より圧縮効率の高い符号化方法で再符号化した動画データを画像記憶部３３２に出力してもよい。
【００８６】
画像記憶部３３２は、画像受信部３３１から出力された動画データを記憶する。また、画像記憶部３３２は、画像再生部３３３からの要求に従い、画像再生部３３３に動画データを出力する。
【００８７】
画像再生部３３３は、入力受付部３３８を介して受けた入力装置３４０からのユーザ指示（図示せず）に従って、画像受信部３３１又は画像記憶部３３２から取得した動画データを復号し、復号した動画データを表示装置３５０に出力する。
【００８８】
表示装置３５０は、動画像データに基づく画像と、動線作成部３３７により得られた動線データに基づく動線とを、合成して表示する２次元ディスプレイである。
【００８９】
位置記憶部３３４は、位置検出装置３２０から出力された位置検出結果（測位データ）を位置履歴として記憶する。時刻、対象ＩＤ、位置座標（ｘ，ｙ，ｚ）を１レコードとして記憶する。つまり、位置記憶部３３４には、対象毎に、各時刻の位置座標（ｘ，ｙ，ｚ）が記憶される。
【００９０】
撮像条件取得部３３６は、撮像装置３１０から、撮像装置３１０のＰＴＺ（パン・チルト・ズーム）情報を撮像条件情報として取得する。撮像条件取得部３３６は、撮像装置３１０が可動式の場合には、撮像条件が変更される毎に変更された撮像条件情報を受信し、変更された撮像条件情報を変更時刻情報とともに履歴として保存する。
【００９１】
位置変動判定部３３５は、上記（Ｖ）のように、変動量に応じて丸め動線を表示するか否かを選択する場合に用いられものである。位置変動判定部３３５は、動線生成部３３７からの問い合わせに応答して、位置記憶部３３４に記憶された位置履歴から、一定時間内の同一ＩＤに関するレコードを複数抽出し、画面における高さ方向（ｚ方向）の座標の変動幅（最大値と最小値の差分）を算出し、変動幅が閾値以上であるか否かを判定する。このとき、位置変動判定部３３５は、撮像条件取得部３３６から取得した撮像条件（撮像装置３１０のＰＴＺに関する情報）を用いて、位置履歴の座標（ｘ，ｙ，ｚ）をカメラの視野座標系に変換してから、対象の高さ方向（ｚ方向）の変動幅を算出し、算出結果を閾値判定する。なお、水平方向（ｘ方向）の判定を行う場合も同様に、位置変動判定部３３５は、カメラの視野座標系に変換した水平方向（ｘ方向）の座標を用いて、水平方向の変動幅を算出し、算出結果を閾値判定すればよい。なお、位置検出装置３２０の測位結果が表現される座標系の高さ方向（ｚ方向）または水平方向（ｘ方向）の座標軸が、カメラの視野座標系における座標系の高さ方向または水平方向の座標軸に一致する場合には、上述の座標変換が不要となることは言うまでもない。
【００９２】
入力装置３４０は、マウス等のポインティングデバイスや、キーボード等であり、ユーザ操作を入力する装置である。
【００９３】
入力受付部３３８は、入力装置３４０からユーザの操作入力信号を受信して、マウス（ポインティングデバイス）の位置・ドラッグ量・ホイール回転量・クリックイベントや、キーボード（矢印キー等）の押下回数等のユーザ装置情報を取得し、これを出力する。
【００９４】
動線生成部３３７は、入力受付部３３８から、動線生成開始に対応するイベント（マウスクリック、メニュー選択等により、過去画像のうち動線表示を行う期間を指定する期間指定情報や、リアルタイム動線表示を行うことを指定するコマンドイベント）を受ける。
【００９５】
動線生成部３３７による動線生成処理は、動線の表示方法によって異なるので、以下では各表示方法に分けて、動線生成部３３７の動線生成処理について説明する。なお、本実施の形態では、図１０、図１２、図１３に示したような対象の高さ方向成分を一定値に固定した丸め動線を表示する方法と、図１１に示したような対象の水平方向成分を一定値に固定した丸め動線を表示する方法とを提案しているが、以下では説明を簡単化するために、高さ方向成分を一定値に固定した丸め動線を表示する方法を実現する処理についてのみ説明する。
【００９６】
［１］上記（Ｖ）の表示を行う場合（つまり、水平方向成分又は高さ方向成分の単位時間当たりの変動量が閾値以上の場合にのみ、丸め動線を生成する場合）
【００９７】
この場合には、動線生成処理は、過去画像に対応した動線を表示する場合の処理と、リアルタイム画像に対応した動線を表示する場合の処理とに大きく分けられるので、それぞれの場合について説明する。
【００９８】
・過去画像に対応した動線を表示する場合：
動線生成部３３７は、位置変動判定部３３５に、期間指定情報で指定される期間Ｔにおける変動幅が基準値以上か否かを問い合わせて、その判定結果を入力する。動線生成部３３７は、位置変動判定部３３５から変動幅が閾値以上であることを示す判定結果を入力した場合には、位置記憶部３３４から読み出した期間Ｔの位置履歴データ（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））を、丸め動線を表示するための動線用座標データに変換する。一方、動線生成部３３７は、位置変動判定部３３５から変動幅が閾値未満であることを示す判定結果を入力した場合には、位置記憶部３３４から読み出した期間Ｔの位置履歴データ（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））を、そのまま動線用座標データとする。
【００９９】
すなわち、動線生成部３３７は、位置変動判定部３３５によってｚ座標の変動幅（高さ方向の変動幅）が閾値以上であると判定された場合には、座標データ（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））を、
（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））  →  （ｘ（ｔ），ｙ（ｔ），Ａ）  ，  ｔ∈Ｔ，  Ａは所定値
のように変換することで、丸め動線を表示するための動線用座標データを得る。このときＡ＝０に設定すれば、図１０に示したように、床面に固定された丸め動線Ｌ１を生成することができる。
【０１００】
最後に、動線生成部３３７は、動線用座標データで示される座標点の間を結ぶことで動線データを生成し、これを表示装置３５０に出力する。なお、動線生成部３３７は、座標点間を結んだ折れ線を、スプライン補間などで曲線補間することで、動線データを生成してもよい。
【０１０１】
・リアルタイム画像に対応した動線を表示する場合：
動線生成部３３７は、コマンドイベントを受けた時刻Ｔ１での最新のレコードを位置記憶部３３４の位置履歴から読み出して、動線生成を開始する。動線生成部３３７は、最初は、変動幅に応じた座標変換処理は行わずに、一定期間経過した時点Ｔ２で、期間Ｔ１〜Ｔ２での変動幅の判定結果を位置変動判定部３３５に問い合わせ、判定結果に応じて、上述した“過去画像に対応した動線を表示する場合”と同様の処理を行うことで、リアルタイムに順次動線を生成していく。
【０１０２】
［２］上記（Ｖｉ）の表示を行う場合
動線生成部３３７は、位置履歴データにおける水平方向成分（ｘ方向成分）又は高さ方向成分（ｚ方向成分）を一定値に固定した座標点間を結んだ丸め動線データと、位置履歴データの座標点間をそのまま結んだ原動線データと、丸め動線と原動線との対応箇所間を結合する結合線分データと、を生成し、これらを表示装置３５０に出力する。
【０１０３】
さらに、動線生成部３３７は、入力受付部３３８から取得したマウスホイールの移動量等のユーザ操作量に比例して、（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））  →  （ｘ（ｔ），ｙ（ｔ），Ａ）  ，  ｔ∈Ｔ、におけるＡの値を変動させることで、丸め動線の高さを変動させる。これにより、画面内における丸め動線の高さの変動量は、手前側（つまりカメラに近い側）では大きく、奥側（つまりカメラから遠い側）に行くに従い小さくなるため、丸め動線が平面に固定されていることを認識している観察者にとっては、擬似的な立体視差の感覚（近いものほど視差が大きく、遠くなるに従い視差が小さくなる感覚）を得ることができ、奥行き方向に伸びる丸め動線の様子をより正確に把握できるようになる。
【０１０４】
また、このとき、複数の対象の動線が表示されている場合には、ユーザがＧＵＩ（Graphical User Interface）等を用いて指定した対象の動線のみの高さを移動させてもよい。このようにすれば、指定した対象の動線がどの動線であるかを容易に確認できるようになる。
【０１０５】
以上説明したように、本実施の形態によれば、対象ＯＢ１の測位データに関する所定の座標成分を一定値に固定した丸め動線と、撮像画像とを合成して表示したことにより、対象ＯＢ１の高さ方向（ｚ方向）の移動と対象ＯＢ１の奥行き方向（ｙ方向）の移動とが分離された動線を提示できるので、ユーザは丸め動線Ｌ１により、対象ＯＢ１の高さ方向（ｚ方向）の移動と対象ＯＢ１の奥行き方向（ｙ方向）の移動とを区別できるようになる。このように、本実施の形態によれば、観察者が対象の３次元的な動きを容易に把握でき、観察者による視認性を向上させることができる３次元動線表示装置３００を実現できる。
【０１０６】
（実施の形態４）
本実施の形態では、撮像装置（カメラ）３１０の視線ベクトルと、対象ＯＢ１の移動ベクトルとの関係に基づいて、実施の形態３で説明した動線の丸め処理を行うか否かを選択する。
【０１０７】
図１５に、表示画像上における、対象ＯＢ１の移動ベクトルＶ１、Ｖ２の様子を示す。また、図１６に、撮影環境における、対象ＯＢ１の移動ベクトルＶと、カメラ３１０の視線ベクトルＣＶとの関係を示す。
【０１０８】
カメラ３１０の視線ベクトルＣＶに平行に近い原動線は、奥行き方向（ｙ方向）への移動であるか或いは高さ方向（ｚ方向）への移動であるかの見分けが困難である。この点に着目して、本実施の形態では、視線ベクトルＣＶに平行に近い原動線に対しては、実施の形態３で説明したような丸め処理を行う。
【０１０９】
図１７Ａ及び図１７Ｂに、視線ベクトルＣＶと対象の移動ベクトルＶが平行に近いケースを示す。一方、図１７Ｃに、視線ベクトルＣＶと対象の移動ベクトルＶが垂直に近いケースを示す。
【０１１０】
視線ベクトルＣＶを正規化したベクトルＵｃｖと、移動ベクトルＶを正規化したベクトルＵｖとの内積の絶対値が所定値以上なら、視線ベクトルＣＶと原動線が平行に近いと判断する。前記所定値としては、例えば１／√２等の値を用いればよい。
【０１１１】
すなわち、Ｕｃｖ＝ＣＶ／｜ＣＶ｜，Ｕｖ＝Ｖ／｜Ｖ｜としたとき、｜Ｕｃｖ・Ｕｖ｜≧α（αは所定値）ならば、視線ベクトルＣＶと原動線が平行に近いと判断し、丸め動線を生成して表示する。
【０１１２】
一方、視線ベクトルＣＶを正規化したベクトルＵｃｖと、移動ベクトルＶを正規化したベクトルＵｖとの内積の絶対値が所定値よりも小さいなら、視線ベクトルＣＶと原動線が垂直に近いと判断する。
【０１１３】
すなわち、Ｕｃｖ＝ＣＶ／｜ＣＶ｜，Ｕｖ＝Ｖ／｜Ｖ｜としたとき、｜Ｕｃｖ・Ｕｖ｜＜α（αは所定値）ならば、視線ベクトルＣＶと原動線が垂直に近いと判断し、丸め処理を行わずに、原動線を生成して表示する。
【０１１４】
図１４との対応部分に同一符号を付して示す図１８に、本実施の形態の３次元動線表示装置の構成を示す。３次元動線表示装置４００の表示動線生成装置４１０は、移動ベクトル判定部４１１を有する。
【０１１５】
移動ベクトル判定部４１１は、動線生成部４１２からの問い合わせ（動線を生成する期間情報等）を受け、この問い合わせに応じて撮像条件取得部３３６から撮像条件情報（撮像装置３１０のＰＴＺ情報）を取得する。移動ベクトル判定部４１１は、撮像条件情報から、撮像装置３１０の視線ベクトル（ベクトルの大きさは１とする）を算出する。また、移動ベクトル判定部４１１は、位置記憶部３３４から該当期間の位置履歴データを取得し、位置座標間のベクトルである移動ベクトル（ベクトルの大きさは１とする）を算出する。移動ベクトル判定部４１１は、上述したように、視線ベクトルと移動ベクトルとの内積の絶対値を閾値判定し、判定結果を動線生成部４１２に出力する。
【０１１６】
動線生成部４１２は、前記内積の絶対値が閾値以上の場合には位置履歴データの高さ方向成分を一定値に固定した丸め動線を生成し、前記内積の絶対値が閾値未満の場合には丸め処理を行わずに位置履歴データをそのまま用いて原動線を生成する。
【０１１７】
以上説明したように、本実施の形態によれば、丸め処理を行うべき動線を的確に判断することができる。
【０１１８】
なお、本実施の形態では、撮像装置３１０の視線ベクトルＣＶと、対象ＯＢ１の移動ベクトルＶとの内積の絶対値を閾値判定することで、丸め処理を行うべきか否かを判定したが、視線ベクトルＣＶに平行な直線と、移動ベクトルＶに平行な直線とのなす角度を閾値判定することで、丸め処理を行うべきか否かを判定してもよい。具体的には、前記なす角度が閾値未満の場合には、測位データにおける高さ方向成分、又は測位データにおける各方向成分を撮像装置３１０の視野座標系に変換した際の高さ方向成分を、一定値に固定した丸め動線を生成し、前記なす角度が閾値以上の場合に、丸め処理を行わない原動線を生成する。
【０１１９】
（実施の形態５）
図１９に、本実施の形態で提案する表示画像の例を示す。本実施の形態では、実施の形態３で説明したような測位データにおける高さ方向成分（ｚ方向成分）を一定値に固定した丸め動線を生成して表示することに加えて、丸め動線が存在する高さに補助平面Ｆ１を生成して表示することを提案する。このように、丸め動線の存在する補助平面Ｆ１を明示することで、観察者は、高さ方向（ｚ方向）の移動は補助平面Ｆ１上に固定（貼り付け）されていることを認識でき、丸め動線は水平方向（ｘ方向）及び奥行き方向（ｙ方向）の移動のみを示していることを、感覚的に視認することができるようになる。
【０１２０】
なお、図１９に示すように、補助平面Ｆ１を半透明状にし、かつ撮像画像に対して陰面処理を施せば、ユーザは、撮像画像と補助平面Ｆ１との関係から、対象ＯＢ１の実際の移動軌跡と移動可能領域との関係等を容易に視認できるようになる。
【０１２１】
図１４との対応部分に同一符号を付して示す図２０に、本実施の形態の３次元動線表示装置の構成を示す。３次元動線表示装置５００の表示動線生成部５１０は、補助平面生成部５１１と、環境データ格納部５１２とを有する。
【０１２２】
補助平面生成部５１１は、動線生成部３３７から出力された丸め動線の位置情報に従い、丸め動線の存在する平面として、補助平面Ｆ１を生成する。その際、補助平面生成部５１１は、環境データ格納部５１２に問い合わせて、環境物（壁・柱、什器等）に関する３次元位置情報を取得し、また撮像条件取得部３３６に問い合わせて、撮像装置３１０のＰＴＺ情報を取得する。そして、補助平面生成部５１１は、撮像装置３１０の視界内での、補助平面Ｆ１と環境物との前後関係を判定し、補助平面Ｆ１の隠面処理を行う。
【０１２３】
環境データ格納部５１２は、位置検出装置３２０及び撮像装置３１０による対象の検出及び撮像範囲に存在する、壁や柱等の建物構造体の位置情報、什器のレイアウト情報等の３次元位置情報を格納する。環境データ格納部５１２は、補助平面生成部５１１の問い合わせに応答して、この３次元環境情報を出力する。
【０１２４】
（実施の形態６）
図２１に、本実施の形態で提案する表示画像の例を示す。本実施の形態では、実施の形態３で説明したような測位データにおける高さ方向成分（ｚ方向成分）を一定値に固定した丸め動線Ｌ１−１を生成して表示することに加えて、対象ＯＢ１が人物である場合に、人物の頭部位置が大きく変動した区間の丸め動線Ｌ１−２の高さを実際の頭部位置の高さにすることを提案する。このような、丸め動線Ｌ１−２を表示することにより、ユーザは、例えば人物のしゃがみ動作などを認識できるようになる。
【０１２５】
図１４との対応部分に同一符号を付して示す図２２に、本実施の形態の３次元動線表示装置の構成を示す。３次元動線表示装置６００の表示動線生成装置６１０は、頭部位置検出部６１１と、頭部位置変動判定部６１２とを有する。
【０１２６】
頭部位置検出部６１１は、頭部位置変動判定部６１２からの問い合わせ（指定期間）に応じて、画像受信部３３１又は画像記憶部３３２からの動画データを取得し、これを解析することで、対象が人物である場合の対象の頭部位置を検出し、検出結果を頭部位置変動判定部６１１に出力する。ここで、頭部位置を検出は、例えば非特許文献２等に記載されている既知の画像認識技術により実現できるので、ここでの説明は省略する。
【０１２７】
頭部位置変動判定部６１２は、動線生成部６１３からの問い合わせ（指定期間）に応じて、頭部位置検出部６１１に問い合わせて、該期間における頭部の位置を取得し、頭部位置のｚ座標（画面内高さ方向）の変動幅を算出する。具体的には、頭部位置の平均高さからの変動量を算出する。頭部位置変動判定部６１２は、該期間における頭部位置の変動量が所定の閾値以上か否かを判定し、判定結果を動線生成部６１３に出力する。
【０１２８】
動線生成部６１３は、頭部位置変動判定部６１２から頭部位置の変動幅が閾値以上であることを示す判定結果を入力すると、位置記憶部３３４から読み出した期間Ｔの位置履歴データ（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））を、該期間Ｔの平均頭部位置をＨとしたとき、（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））  →  （ｘ（ｔ），ｙ（ｔ），Ｈ）  ，  ｔ∈Ｔ、のように変換する。一方、動線生成部６１３は、頭部位置変動判定部６１２から頭部位置の変動幅が閾値未満であることを示す判定結果を入力すると、（ｘ（ｔ），ｙ（ｔ），ｚ（ｔ））  →  （ｘ（ｔ），ｙ（ｔ），Ａ）  ，  ｔ∈Ｔ、のように変換する。ここで、Ａは例えば床面の高さ（Ａ＝０）である。
【０１２９】
（実施の形態７）
図２３〜図２６に、本実施の形態で提案する表示画像の例を示す。
【０１３０】
（ｉ）図２３は、高さ方向（ｚ方向）の固定値を、対象ＯＢ１〜ＯＢ３毎に異ならせた丸め動線Ｌ１〜Ｌ３を生成して表示した表示画像を示す。このようにすることで、複数の対象ＯＢ１〜ＯＢ３の動線Ｌ１〜Ｌ３を同時に表示する場合において、区別し易く見易い動線Ｌ１〜Ｌ３を表示できる。さらに、実施の形態５で説明したような半透明の補助平面Ｆ１〜Ｆ３を、各丸め動線Ｌ１〜Ｆ３が存在する高さに生成して表示することで、各丸め動線Ｌ１〜Ｆ３を一段と区別し易くなるので、各対象ＯＢ１〜ＯＢ３の移動が一段と見易くなる。なお、関連の強い複数人を同一平面上（同じ高さ）に表示してもよい。また、対象ＯＢ１〜ＯＢ３の身長に応じて、高さを自動設定してもよい。また、対象が、例えば工場内でフォークリフトに乗車中は、それに合わせて高い位置に丸め動線を表示してもよい。
【０１３１】
（ｉｉ）図２４及び図２５は、図２３で説明した表示に加えて、ＧＵＩ画面（図中の動線表示設定ウィンドウ）を表示し、このＧＵＩ画面の人物アイコンを移動させることで、ユーザ（観察者）による人物毎の固定値の設定を可能とする表示画像を示す。これにより、ＧＵＩ上で、丸め動線Ｌ１〜Ｌ３の高さを、人物アイコンの位置に連動して設定できるので、直感的な操作及び表示が可能となる。例えば、ＧＵＩで人物アイコンの高さ変化させると、その人物アイコンに対応する丸め動線及び補助平面の高さも人物アイコンの高さと同じだけ変化させる。また、ＧＵＩで人物アイコンの高さを入れ替えると（例えば“Ｂさん”の人物アイコンと“Ａさん”の人物アイコンの高さを入れ替えると）、それに応じて丸め動線及び補助平面の高さも入れ替わる。人物アイコンの高さは、丸め動線及び補助平面の高さに対応している。チェックボックスによって、丸め動線及び補助平面の表示・非表示の設定が可能とされている。因みに、図２５は、図２４の状態から、“Ｂさん”の丸め動線Ｌ２及び補助平面Ｆ２を非表示にし、“Ｃさん”と“Ａさん”の丸め動線Ｌ３、Ｌ１及び補助平面Ｆ３、Ｆ１の高さを入れ替え、“Ｃさん”の丸め動線Ｌ３及び補助平面Ｆ３の高さ変更を行った例を示す。
【０１３２】
（ｉｉｉ）図２６は、図２３で説明した表示に加えて、異常・危険状態区間を強調表示した表示画像を示す。画像認識や、動線分析、他のセンサによるセンシング結果等に基づいて、不審人物や、危険な歩行状態（オフィス内での走行等）、立入禁止区間に立ち入ったこと等を検出した場合、その区間を強調して表示することで、観察者（ユーザ）に警告を分かり易く提示できるようになる。図２６の例では、Ａさんが危険歩行したことが検出され、その区間の丸め動線Ｌ１−２が他の区間の丸め動線Ｌ１よりも高い位置に表示されることで強調表示されている。また、強調表示された丸め動線Ｌ１−２に対応するように補助平面Ｆ１−２も新たに表示されている。
【０１３３】
図１４との対応部分に同一符号を付して示す図２７に、本実施の形態の３次元動線表示装置の構成を示す。３次元動線表示装置７００の表示動線生成部７１０は、異常区間抽出部７１１と、操作画面生成部７１２とを有する。
【０１３４】
異常区間抽出部７１１は、位置記憶部３３４に記憶された対象の位置履歴や撮像装置３１０で撮像された撮像画像等から、対象の異常行動を検出し、異常行動を検出した区間の位置に関する位置履歴レコードを抽出し、これを動線生成部７１３に出力する。異常区間の抽出方法としては、以下の３通りの例があるがこれらに限定されない。
【０１３５】
（１）対象の標準的な動線を標準動線として予め設定・保存しておき、標準動線との比較で異常を検出する。
（２）対象が立ち入りを許可されない禁止区域を予め設定・保存しておき、禁止区域に対象が立ち入ったか否かを検出する。
（３）撮像装置３１０の撮像画像を用いて画像認識を行うことで、異常を検出する。
【０１３６】
操作画面生成部７１２は、対象（人物）ごとの動線の高さを設定する人物アイコンと、表示・非表示を切り替えるチェックボックスを含む操作補助画面を生成する。操作画面生成部７１２は、入力受付部３３８から出力されたマウス位置、クリックイベント、マウスドラッグ量等に応じて、人物アイコンの位置を移動させたり、チェックボックスのＯｎ／Ｏｆｆを切り替えた操作補助画面を生成する。この操作画面生成部７１２の処理は、公知のＧＵＩにおける操作ウィンドウの生成処理と同様である。
【０１３７】
（実施の形態８）
図２８に、本実施の形態で提案する表示画像の例を示す。本実施の形態では、対象ＯＢ１の移動ベクトルＶに垂直な動径で、原動線Ｌ０の周囲を円運動する補助動線を表示させることを提案する。これにより、撮像画像を隠蔽することなく、擬似的な奥行き感を持たせた動線を提示できる。
【０１３８】
なお、本実施の形態で提案する方法によれば、丸め動線を用いなくても、撮像画像を隠蔽することなく、擬似的な奥行き感を持たせた動線を提示できる。つまり、原動線Ｌ０と、対象の移動ベクトルＶに垂直な動径で原動線Ｌ０の周囲を円運動する補助動線とを生成し、これらを表示すればよい。なお、丸め動線と、対象の移動ベクトルＶに垂直な動径で丸め動線の周囲を円運動する補助動線とを生成し、これらを表示してもよい。
【０１３９】
ここで、このような補助動線は、動線生成部３３７、４１２、６１３又は７１３において、動線データを生成する際に、移動ベクトル（ある動線用座標点から次の動線用座標点に向かうベクトル）に垂直な動径で円運動する補助動線を生成し、表示装置３５０に出力することで表示できる。なお、動線をスプライン曲線などで補間する場合には、補助動線は補間後のスプライン曲線に垂直な動径で円運動するスプライン曲線としてもよい。
【０１４０】
（他の実施の形態）
なお、上述の実施の形態１、２では、タグリーダ部１０２、２０２を用いて無線タグからの座標データを取得する場合について述べたが、本発明はこれに限らず、タグリーダ部１０２、２０２に換えて、追跡対象物を測位し得る種々の測位手段を適用可能である。タグリーダ部１０２、２０２に換わる測位手段としては、追跡対象物がカメラ部１０１、２０１から見て物陰に入ったときに、追跡対象物を測位できる位置に設けられたレーダー、超音波センサ、カメラ等が考えられる。また、屋内の場合には、床に多数のセンサを設けることで、追跡対象物を測位してもよい。要するに、測定手段は、追跡対象物がカメラ部１０１、２０１から見て物陰に入ったときに、その位置を測位できるものであればよい。
【０１４１】
また、上述の実施の形態１、２では、カメラ部１０１、２０１が画像追跡部１０１−２、撮像座標取得部２０１−２を有し、動線種別選択部１０５、２０５が画像追跡部１０１−２、撮像座標取得部２０１−２によって得られた追跡状況データ（検知フラグ）、撮像座標データに基づいて動線の表示種別を判定する場合について述べたが、本発明はこれに限らず、要は、各時点の撮像画像に追跡対象物が写っているか否かに応じて、各時点に対応する動線の表示種別を選択すればよい。
【０１４２】
また、上述の実施の形態１、２では、動線の種別として、追跡対象が物陰にないと判定された場合には「実線」を選択し、物陰にあると判定された場合には「点線」を選択した場合について述べたが、本発明はこれに限らず、例えば追跡対象が物陰にないと判定された場合には「太線」を選択し、物陰にあると判定された場合には「細線」を選択してもよい。または、追跡対象が物陰にないと判定されたか、物陰にあると判定されたかに応じて、動線の色を変えてもよい。要は、追跡対象がカメラ部から見て物陰にない場合と物陰にある場合との間で、異なる種別の動線を選択すればよい。
【０１４３】
また、無線タグの状況に応じて動線の表示種別を変えてもよい。例えば、無線タグから、電池残量が少なくなったことを示す情報を受信した場合に、動線の色を変えれば、ユーザは動線の色から電池残量が少なくなったことを知ることができ、電池交換の目安とすることができる。
【０１４４】
また、実施の形態１、２で用いられる画像追跡部１０１−２、撮像座標取得部２０１−２、動線種別選択部１０５、２０５、動線作成部１０６、２０６はパソコン等の汎用コンピュータによって実施可能であり、画像追跡部１０１−２、撮像座標取得部２０１−２、動線種別選択部１０５、２０５、動線作成部１０６、２０６に含まれる各処理は、コンピュータのメモリに格納された各処理部の処理に対応するソフトウェアプログラムを読み出してＣＰＵで実行処理することで実現される。
【０１４５】
同様に、実施の形態３−８で用いられる表示動線生成装置３３０、４１０、５１０、６１０、７１０はパソコン等の汎用コンピュータによって実施可能であり、表示動線生成装置３３０、４１０、５１０、６１０、７１０に含まれる各処理は、コンピュータのメモリに格納された各処理部の処理に対応するソフトウェアプログラムを読み出してＣＰＵで実行処理することで実現される。また、表示動線生成装置３３０、４１０、５１０、６１０、７１０は各処理部に対応するＬＳＩチップを搭載した専用機器によって実現してもよい。
【０１４６】
２００８年１０月１７日出願の特願２００８−２６８６８７の日本出願および２００９年１月２９日出願の特願２００９−０１８７４０の日本出願にそれぞれ含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１４７】
本発明は、人物や物体の移動軌跡を動線で表示するシステム、例えば監視システムに用いて好適である。
【図１】
0005634266.tif 000002
【図２】
0005634266.tif 000003
【図３】
0005634266.tif 000004
【図４】
0005634266.tif 000005
【図５】
0005634266.tif 000006
【図６】
0005634266.tif 000007
【図７】
0005634266.tif 000008
【図８】
0005634266.tif 000009
【図９】
0005634266.tif 000010
【図１０】
0005634266.tif 000011
【図１１】
0005634266.tif 000012
【図１２】
0005634266.tif 000013
【図１３】
0005634266.tif 000014
【図１４】
0005634266.tif 000015
【図１５】
0005634266.tif 000016
【図１６】
0005634266.tif 000017
【図１７】
0005634266.tif 000018
【図１８】
0005634266.tif 000019
【図１９】
0005634266.tif 000020
【図２０】
0005634266.tif 000021
【図２１】
0005634266.tif 000022
【図２２】
0005634266.tif 000023
【図２７】
0005634266.tif 000024
【図２８】
0005634266.tif 000025
【図２３】
0005634266.tif 000026
【図２４】
0005634266.tif 000027
【図２５】
0005634266.tif 000028
【図２６】
0005634266.tif 000029