(57)【要約】【課題】複数のカメラを用いた物体追跡において、各カメラを用いて追跡した物体どうしを正確に対応付ける。【解決手段】物体追跡装置は、第１物体像を検出することによって、第１物体を追跡する第１物体追跡部と、第２物体像を検出することによって、第２物体を追跡する第２物体追跡部と、第２物体の追跡で得られる第２物体像の群の中から、同一物体の判定に用いられる第２物体像を選択する第２物体像選択部と、第１物体の追跡で得られる第１物体像の群の中から、上記選択された第２物体像の特徴と類似する特徴を有する第１物体像を選択する第１物体像選択部と、この選択された第１物体像と上記選択された第２物体像とを用いて、第１物体と第２物体とが同一物体か否かを判定する同一物体判定部と、同一物体判定部によって第１物体と第２物体とが同一物体と判定されたとき、第１物体と第２物体とを対応付ける処理をする対応付け処理部と、を備える。【選択図】図１
2019096062.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラを用いて物体を追跡する物体追跡装置であって、
前記複数のカメラの一つである第１カメラによって撮像された画像が時系列に並ぶ第１時系列画像、および、前記複数のカメラの他の一つである第２カメラによって撮像された画像が時系列に並ぶ第２時系列画像を取得する取得部と、
第１物体の像である第１物体像を前記第１時系列画像から検出することによって、前記第１物体を追跡する第１物体追跡部と、
第２物体の像である第２物体像を前記第２時系列画像から検出することによって、前記第２物体を追跡する第２物体追跡部と、
所定の基準に従って、前記第２物体追跡部による前記第２物体の追跡で得られる前記第２物体像の群の中から、同一物体の判定に用いられる前記第２物体像を選択する第２物体像選択部と、
前記第１物体追跡部による前記第１物体の追跡で得られる前記第１物体像の群の中から、前記第２物体像選択部によって選択された前記第２物体像の特徴と類似する特徴を有する前記第１物体像を選択する第１物体像選択部と、
前記第１物体像選択部によって選択された前記第１物体像と前記第２物体像選択部によって選択された前記第２物体像とを用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する同一物体判定部と、
前記同一物体判定部によって前記第１物体と前記第２物体とが同一物体と判定されたとき、前記第１物体と前記第２物体とを対応付ける処理をする対応付け処理部と、を備える物体追跡装置。
【請求項２】
前記対応付け処理部は、１つの前記第２物体に対して、複数の前記第１物体の中から１つの前記第１物体を対応付ける処理をし、
前記物体追跡装置は、１つの前記第２物体の位置と複数の前記第１物体の位置との関係を基にして、複数の前記第１物体の中から、前記第２物体と同一物体である可能性を有する前記第１物体を決定する第１物体決定部をさらに備え、
前記第１物体像選択部は、前記第１物体決定部によって決定された前記第１物体に対して、前記第１物体像を選択する処理をする、請求項１に記載の物体追跡装置。
【請求項３】
前記第１カメラの視野と前記第２カメラの視野とが一部重なる重複領域があり、
前記第１物体決定部は、前記第２物体像が前記重複領域で検出された時刻に前記重複領域で検出された前記第１物体像が示す前記第１物体を、前記第２物体と同一物体である可能性を有する前記第１物体と決定する、請求項２に記載の物体追跡装置。
【請求項４】
前記同一物体判定部は、機械学習を用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する、請求項１〜３のいずれか一項に記載の物体追跡装置。
【請求項５】
前記第１物体像選択部は、以下の（１）〜（４）のいずれか１つ、または、これらの２つ以上の組み合わせについて、前記第１物体像と前記第２物体像とが同じであれば、前記第１物体像の特徴と前記第２物体像の特徴とが類似すると判断する、請求項１〜４のいずれか一項に記載の物体追跡装置。
（１）前記第１物体像の移動方向と前記第２物体像の移動方向とが同じである。
（２）前記第１物体像の画像上の位置と前記第２物体像の画像上の位置とが同じである。
（３）前記第１物体像の移動速度と前記第２物体像の移動速度とが同じである。
（４）前記第１物体像の向きと前記第２物体像の向きとが同じである。
【請求項６】
複数のカメラを用いて物体を追跡する物体追跡方法であって、
前記複数のカメラの一つである第１カメラによって撮像された画像が時系列に並ぶ第１時系列画像、および、前記複数のカメラの他の一つである第２カメラによって撮像された画像が時系列に並ぶ第２時系列画像を取得する取得ステップと、
第１物体の像である第１物体像を前記第１時系列画像から検出することによって、前記第１物体を追跡する第１物体追跡ステップと、
第２物体の像である第２物体像を前記第２時系列画像から検出することによって、前記第２物体を追跡する第２物体追跡ステップと、
所定の基準に従って、前記第２物体追跡ステップによる前記第２物体の追跡で得られる前記第２物体像の群の中から、同一物体の判定に用いられる前記第２物体像を選択する第２物体像選択ステップと、
前記第１物体追跡ステップによる前記第１物体の追跡で得られる前記第１物体像の群の中から、前記第２物体像選択ステップによって選択された前記第２物体像の特徴と類似する特徴を有する前記第１物体像を選択する第１物体像選択ステップと、
前記第１物体像選択ステップによって選択された前記第１物体像と前記第２物体像選択ステップによって選択された前記第２物体像とを用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する同一物体判定ステップと、
前記同一物体判定ステップによって前記第１物体と前記第２物体とが同一物体と判定されたとき、前記第１物体と前記第２物体とを対応付ける処理をする対応付け処理ステップと、を備える物体追跡方法。
【請求項７】
複数のカメラを用いて物体を追跡する物体追跡プログラムであって、
前記複数のカメラの一つである第１カメラによって撮像された画像が時系列に並ぶ第１時系列画像、および、前記複数のカメラの他の一つである第２カメラによって撮像された画像が時系列に並ぶ第２時系列画像を取得する取得ステップと、
第１物体の像である第１物体像を前記第１時系列画像から検出することによって、前記第１物体を追跡する第１物体追跡ステップと、
第２物体の像である第２物体像を前記第２時系列画像から検出することによって、前記第２物体を追跡する第２物体追跡ステップと、
所定の基準に従って、前記第２物体追跡ステップによる前記第２物体の追跡で得られる前記第２物体像の群の中から、同一物体の判定に用いられる前記第２物体像を選択する第２物体像選択ステップと、
前記第１物体追跡ステップによる前記第１物体の追跡で得られる前記第１物体像の群の中から、前記第２物体像選択ステップによって選択された前記第２物体像の特徴と類似する特徴を有する前記第１物体像を選択する第１物体像選択ステップと、
前記第１物体像選択ステップによって選択された前記第１物体像と前記第２物体像選択ステップによって選択された前記第２物体像とを用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する同一物体判定ステップと、
前記同一物体判定ステップによって前記第１物体と前記第２物体とが同一物体と判定されたとき、前記第１物体と前記第２物体とを対応付ける処理をする対応付け処理ステップと、をコンピュータに実行させる物体追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて、物体を追跡する技術に関する。
【背景技術】
【０００２】
物体追跡の一つとして、異なる場所に設置された複数のカメラが、受け持ちの範囲で物体を撮像し、各カメラで撮像された画像を用いて物体を追跡する技術がある。これによれば、長い距離において、物体を追跡することができる。この物体追跡では、各カメラを用いて追跡した物体どうしを対応づける必要がある。この対応づけの前提として、各カメラを用いて追跡した物体どうしが同一物体か否かが判定される。
【０００３】
同一物体（例えば、同一人物）の判定技術として、例えば、特許文献１は、入力画像から対象人物を検出し、前記検出された対象人物の画像領域を求めるとともに前記対象人物の移動方向を算出する検出部と、画像特徴と人物の向きとの対応関係を示す情報を記憶する記憶部と、カメラの光軸に対する前記対象人物の移動方向と観測可能範囲の対応テーブルを用いて、前記対象人物の移動方向によって観測領域範囲を選択し、抽出した部分領域特徴を分割して特徴テーブルを作成するとともに、前記部分領域特徴を前記観測領域範囲内に格納する画像特徴抽出部と、比較する二つの特徴テーブルが重畳する部分領域の範囲を求め、前記重畳する部分領域の特徴のみを照合する特徴照合部と、 を備えていることを特徴とする画像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カメラで撮像された物体は、同一物体であっても、カメラの配置位置に対する物体の位置によって、その物体の像（以下、物体像）の形が異なる。特に、カメラの画角が大きいとき、物体像の形状が大きく異なる。例えば、カメラの視野の中央部と上端部と下端部と左端部と右端部とでは、同一物体であっても、物体像の形状が大きく異なる。本発明者は、物体が一つのカメラの視野から出る直前の物体像と、その物体が次のカメラの視野に入った直後の物体像とを用いて、同一物体か否かの判定をすれば、同一物体であるのにもかかわらず、同一物体でないと判定され、この結果、物体どうしを正確に対応付けることができないことを見出した。
【０００６】
本発明の目的は、複数のカメラを用いた物体追跡において、各カメラを用いて追跡した物体どうしを正確に対応付けることができる物体追跡装置、物体追跡方法、および、物体追跡プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１局面に係る物体追跡装置は、複数のカメラを用いて物体を追跡する物体追跡装置であって、前記複数のカメラの一つである第１カメラによって撮像された画像が時系列に並ぶ第１時系列画像、および、前記複数のカメラの他の一つである第２カメラによって撮像された画像が時系列に並ぶ第２時系列画像を取得する取得部と、第１物体の像である第１物体像を前記第１時系列画像から検出することによって、前記第１物体を追跡する第１物体追跡部と、第２物体の像である第２物体像を前記第２時系列画像から検出することによって、前記第２物体を追跡する第２物体追跡部と、所定の基準に従って、前記第２物体追跡部による前記第２物体の追跡で得られる前記第２物体像の群の中から、同一物体の判定に用いられる前記第２物体像を選択する第２物体像選択部と、前記第１物体追跡部による前記第１物体の追跡で得られる前記第１物体像の群の中から、前記第２物体像選択部によって選択された前記第２物体像の特徴と類似する特徴を有する前記第１物体像を選択する第１物体像選択部と、前記第１物体像選択部によって選択された前記第１物体像と前記第２物体像選択部によって選択された前記第２物体像とを用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する同一物体判定部と、前記同一物体判定部によって前記第１物体と前記第２物体とが同一物体と判定されたとき、前記第１物体と前記第２物体とを対応付ける処理をする対応付け処理部と、を備える。
【０００８】
追跡の対象となる物体（第１物体、第２物体）は、第１カメラの視野から第２カメラの視野へ移動してもよいし、第２カメラの視野から第１カメラの視野へ移動してもよい。第１カメラの視野と第２カメラの視野とは、重なっていなくてもよいし、一部が重なっていてもよい。
【０００９】
第２物体像選択部は、所定の基準に従って、同一物体の判定に用いられる第２物体像を選択する。例えば、第２物体像選択部は、第２時系列画像を構成する画像（フレーム）の中で、第２物体像が最初に出現する画像（フレーム）に含まれる第２物体像を選択する。
【００１０】
第１物体像選択部は、第２物体像選択部によって選択された第２物体像の特徴と類似する特徴を有する第１物体像を選択する。特徴類似の判断要素を例示すれば、以下の通りである。
【００１１】
（１）第１物体像の移動方向（動線の方向）と第２物体像の移動方向（動線の方向）とが同じである。
（２）第１物体像の画像（フレーム）上の位置と第２物体像の画像（フレーム）上の位置とが同じである。
（３）第１物体像（第１物体）の移動速度と第２物体像（第２物体）の移動速度とが同じである。
（４）第１物体像の向きと第２物体像の向きとが同じである。
【００１２】
ここでの同じとは、完全に同じでもよいし、ほぼ同じでもよい。第１物体像選択部は、（１）〜（４）のいずれか１つ、または、これらの２つ以上の組み合わせについて、第１物体像と第２物体像とが同じであれば、第１物体像の特徴と第２物体像の特徴とが類似すると判断する。例えば、（１）および（２）を満たせば、第１物体像の特徴と第２物体像の特徴とは類似する。
【００１３】
第１物体像選択部は、第２物体像の特徴と類似する特徴を有する第１物体像が複数あれば、所定の基準に従って、複数の第１物体像の中から第１物体像を選択する。例えば、第１物体像選択部は、第２物体像選択部によって選択された第２物体像を含む画像（フレーム）が撮像された時刻と一番近い時刻に撮像された画像（フレーム）に含まれる第１物体像を選択する。
【００１４】
同一物体判定部は、第２物体像と、この第２物体像の特徴と類似する特徴を有する第１物体像とを用いて、第１物体と第２物体とが同一物体か否かを判定するので、同一物体の判定精度を向上させることができる。従って、本発明の第１局面に係る物体追跡装置によれば、複数のカメラを用いた物体追跡において、各カメラを用いて追跡した物体どうしを正確に対応付けることができる。
【００１５】
上記構成において、前記対応付け処理部は、１つの前記第２物体に対して、複数の前記第１物体の中から１つの前記第１物体を対応付ける処理をし、前記物体追跡装置は、１つの前記第２物体の位置と複数の前記第１物体の位置との関係を基にして、複数の前記第１物体の中から、前記第２物体と同一物体である可能性を有する前記第１物体を決定する第１物体決定部をさらに備え、前記第１物体像選択部は、前記第１物体決定部によって決定された前記第１物体に対して、前記第１物体像を選択する処理をする。
【００１６】
第１物体像選択部が、第１物体追跡部が追跡した全ての第１物体に対して、第１物体像を選択する処理をする場合を考える。この場合、第１物体追跡部が追跡した第１物体の数が多ければ、第１物体像を選択する処理量が増えるので、物体追跡の高速化が妨げられる。この構成によれば、第１物体像選択部は、第１物体追跡部が追跡した全ての第１物体に対して、第１物体像を選択する処理をするのではなく、第１物体決定部によって決定された第１物体に対して、第１物体像を選択する処理をする。よって、第１物体追跡部が追跡した第１物体の数が多くても、第１物体像を選択する処理量を抑制できるので、物体追跡の高速化を図れる。
【００１７】
上記構成において、前記第１カメラの視野と前記第２カメラの視野とが一部重なる重複領域があり、前記第１物体決定部は、前記第２物体像が前記重複領域で検出された時刻に前記重複領域で検出された前記第１物体像が示す前記第１物体を、前記第２物体と同一物体である可能性を有する前記第１物体と決定する。
【００１８】
この構成は、重複領域を基にして、上述した「１つの前記第２物体の位置と複数の前記第１物体の位置との関係」を定める。
【００１９】
第２物体像が重複領域で検出された時刻に、重複領域で検出された第１物体像と重複領域以外で検出された第１物体像とがあれば、重複領域以外で検出された第１物体像が示す第１物体は、第２物体像が示す第２物体と同一物体ではない。また、第２物体像が重複領域で検出された時刻に、重複領域で検出された第１物体像が２以上であれば、これら２以上の第１物体像が示す第１物体のいずれかが、第２物体と同一物体である。以上より、この構成では、第２物体像が重複領域で検出された時刻に、重複領域で検出された第１物体像が示す第１物体を、第２物体像が示す第２物体と同一物体である可能性を有する第１物体と決定する。
【００２０】
上記構成において、前記同一物体判定部は、機械学習を用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する。
【００２１】
この構成は、同一物体の判定方法の一例である。
【００２２】
本発明の第２局面に係る物体追跡方法は、複数のカメラを用いて物体を追跡する物体追跡方法であって、前記複数のカメラの一つである第１カメラによって撮像された画像が時系列に並ぶ第１時系列画像、および、前記複数のカメラの他の一つである第２カメラによって撮像された画像が時系列に並ぶ第２時系列画像を取得する取得ステップと、第１物体の像である第１物体像を前記第１時系列画像から検出することによって、前記第１物体を追跡する第１物体追跡ステップと、第２物体の像である第２物体像を前記第２時系列画像から検出することによって、前記第２物体を追跡する第２物体追跡ステップと、所定の基準に従って、前記第２物体追跡ステップによる前記第２物体の追跡で得られる前記第２物体像の群の中から、同一物体の判定に用いられる前記第２物体像を選択する第２物体像選択ステップと、前記第１物体追跡ステップによる前記第１物体の追跡で得られる前記第１物体像の群の中から、前記第２物体像選択ステップによって選択された前記第２物体像の特徴と類似する特徴を有する前記第１物体像を選択する第１物体像選択ステップと、前記第１物体像選択ステップによって選択された前記第１物体像と前記第２物体像選択ステップによって選択された前記第２物体像とを用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する同一物体判定ステップと、前記同一物体判定ステップによって前記第１物体と前記第２物体とが同一物体と判定されたとき、前記第１物体と前記第２物体とを対応付ける処理をする対応付け処理ステップと、を備える。
【００２３】
本発明の第２局面に係る物体追跡方法は、本発明の第１局面に係る物体追跡装置を方法の観点から規定しており、本発明の第１局面に係る物体追跡装置と同様の作用効果を有する。
【００２４】
本発明の第３局面に係る物体追跡プログラムは、複数のカメラを用いて物体を追跡する物体追跡プログラムであって、前記複数のカメラの一つである第１カメラによって撮像された画像が時系列に並ぶ第１時系列画像、および、前記複数のカメラの他の一つである第２カメラによって撮像された画像が時系列に並ぶ第２時系列画像を取得する取得ステップと、第１物体の像である第１物体像を前記第１時系列画像から検出することによって、前記第１物体を追跡する第１物体追跡ステップと、第２物体の像である第２物体像を前記第２時系列画像から検出することによって、前記第２物体を追跡する第２物体追跡ステップと、所定の基準に従って、前記第２物体追跡ステップによる前記第２物体の追跡で得られる前記第２物体像の群の中から、同一物体の判定に用いられる前記第２物体像を選択する第２物体像選択ステップと、前記第１物体追跡ステップによる前記第１物体の追跡で得られる前記第１物体像の群の中から、前記第２物体像選択ステップによって選択された前記第２物体像の特徴と類似する特徴を有する前記第１物体像を選択する第１物体像選択ステップと、前記第１物体像選択ステップによって選択された前記第１物体像と前記第２物体像選択ステップによって選択された前記第２物体像とを用いて、前記第１物体と前記第２物体とが同一物体か否かを判定する同一物体判定ステップと、前記同一物体判定ステップによって前記第１物体と前記第２物体とが同一物体と判定されたとき、前記第１物体と前記第２物体とを対応付ける処理をする対応付け処理ステップと、をコンピュータに実行させる。
【００２５】
本発明の第３局面に係る物体追跡プログラムは、本発明の第１局面に係る物体追跡装置をプログラムの観点から規定しており、本発明の第１局面に係る物体追跡装置と同様の作用効果を有する。
【発明の効果】
【００２６】
本発明によれば、複数のカメラを用いた物体追跡において、各カメラを用いて追跡した物体どうしを正確に対応付けることができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態に係る物体追跡装置の機能ブロック図である。
【図２】第１カメラおよび第２カメラの配置の一例を示す模式図である。
【図３】天井から見た第１カメラの視野の平面図である。
【図４】実施形態に係る物体追跡装置の動作を説明するフローチャートである。
【図５】２つの物体（人物）が通路を歩いているときに、第１カメラによって撮像された動画Ｖ１の一部分、および、第２カメラによって撮像された動画Ｖ２の一部分を示す模式図である。
【図６】図５において、物体像を囲む矩形領域が設定された状態を示す模式図である。
【図７】図６において、動線が設定された状態を示す模式図である。
【図８】第１変形例に係る物体追跡装置の機能ブロック図である。
【図９】第２変形例に係る物体追跡装置の機能ブロック図である。
【図１０】撮像時刻が同じである２つのフレームの一例を示す模式図である。
【図１１】撮像時刻が同じである２つのフレームの他の例を示す模式図である。
【図１２】図１１において、重複領域に対応する２つの領域を重ねる処理がされた画像を示す模式図である。
【発明を実施するための形態】
【００２８】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、物体４）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、物体４−１、物体４−２）。
【００２９】
図１は、実施形態に係る物体追跡装置３−１の機能ブロック図である。物体追跡装置３−１は、通信部３１と、第１物体追跡部３２と、第２物体追跡部３３と、第１物体像選択部３４と、第２物体像選択部３５と、同一物体判定部３６と、対応付け処理部３７と、を備える。物体追跡装置３−１が追跡する物体４として、人物を例にして説明する。しかしながら、物体４は、人物に限らず、カメラで撮像できる動体（例えば、自動車）であればよい。
【００３０】
図１を参照して、通信部３１は、有線または無線によって、第１カメラ１および第２カメラ２と通信する通信インターフェースである。第１カメラ１および第２カメラ２は、監視カメラとして用いられる。第１カメラ１が撮像した動画Ｖ１、および、第２カメラ２が撮像した動画Ｖ２は、通信部３１によって受信される。動画Ｖ１は、第１カメラ１によって撮像された画像が、時系列に並ぶ第１時系列画像の一例である。動画Ｖ２は、第２カメラ２によって撮像された画像が、時系列に並ぶ第１時系列画像の一例である。第１カメラ１の視野１１に物体４が存在する期間中の動画Ｖ１には、物体４を示す物体像が含まれる。第２カメラ２の視野２１に物体４が存在する期間中の動画Ｖ２には、物体４を示す物体像が含まれる。動画Ｖ１，Ｖ２のフレームレートは、任意である（例えば、２４ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ、１ｆｐｓ）。
【００３１】
以上説明したように、通信部３１は、動画Ｖ１および動画Ｖ２を取得する取得部として機能する。
【００３２】
図２は、第１カメラ１および第２カメラ２の配置の一例を示す模式図である。図２を参照して、この図は、通路１２を横方向から見た状態を示している。物体４−１（人物）は、矢印Ｄ方向に通路１２を歩いている。物体４−２（人物）は、矢印Ｄ方向と逆方向に通路１２を歩いている。通路１２の上方に天井１３がある。通路１２が延びる方向に沿って、第１カメラ１、第２カメラ２が間隔を設けて、天井１３に設置されている。第１カメラ１の視野１１と第２カメラ２の視野２１とは、一部が重なっており、視野の重複領域２２が形成されている。第１カメラ１は、視野１１内に位置する物体４を撮像する。第２カメラ２は、視野２１内に位置する物体４を撮像する。
【００３３】
天井１３から見たカメラの視野について、第１カメラ１を例にして説明する。図３は、天井１３から見た第１カメラ１の視野１１の平面図である。第１カメラ１の光軸中心１４が視野１１の中心に位置する。物体４の向き、および、視野１１上での物体４の位置に応じて、同一物体であっても、物体４を示す物体像の外観形状が大きく異なる。
【００３４】
図１および図２を参照して、第１物体追跡部３２が追跡する物体４を第１物体とする。言い換えれば、第１カメラ１を用いて追跡する物体４が第１物体である。第１物体追跡部３２は、通信部３１が受信した動画Ｖ１から、第１物体の像である第１物体像を検出することによって、第１物体を追跡する。この追跡には、公知の物体追跡技術（例えば、パーティクルフィルター、オプティカルフロー）を用いることができる。
【００３５】
第１物体追跡部３２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及び、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等のハードウェア、並びに、第１物体追跡部３２の機能を実行するためのプログラムおよびデータ等によって実現される。第１物体追跡部３２の機能の一部又は全部は、ＣＰＵによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、第１物体追跡部３２の機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。以上説明したことは、第２物体追跡部３３、第１物体像選択部３４、第２物体像選択部３５、同一物体判定部３６、対応付け処理部３７についても同様である。また、後で説明する第１変形例に備えられる第１物体決定部３８、および、第２変形例に備えられる第１物体決定部３９についても同様である。
【００３６】
物体追跡装置３−１は、図１に示す複数の要素によって構成される。従って、上記ＨＤＤには、これらの要素を実現するためのプログラムが格納されている。すなわち、ＨＤＤには、第１物体追跡部３２、第２物体追跡部３３、第１物体像選択部３４、第２物体像選択部３５、同一物体判定部３６、対応付け処理部３７のそれぞれを実現するためのプログラムが格納されている（後で説明する第１変形例では、第１物体決定部３８を実現するためのプログラムがさらにＨＤＤに格納されており、第２変形例では、第１物体決定部３９を実現するためのプログラムがさらにＨＤＤに格納されている）。これらのプログラムは、第１物体追跡プログラム、第２物体追跡プログラム、第１物体像選択プログラム、第２物体像選択プログラム、同一物体判定プログラム、対応付け処理プログラムと表現される。
【００３７】
これらのプログラムは、要素の定義を用いて表現される。第１物体追跡部３２と第１物体追跡プログラムを例にして説明する。第１物体追跡部３２は、第１物体像を動画Ｖ１（第１時系列画像）から検出することによって、第１物体を追跡する。第１物体追跡プログラムは、第１物体像を動画Ｖ１（第１時系列画像）から検出することによって、第１物体を追跡するプログラムである。
【００３８】
上記ＣＰＵによって実行されるこれらのプログラム（第１物体追跡プログラム、第２物体追跡プログラム、第１物体像選択プログラム、第２物体像選択プログラム、同一物体判定プログラム、対応付け処理プログラム）のフローチャートが、後で説明する図４である。
【００３９】
なお、これらのプログラムは、ＨＤＤに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤに記憶されてもよい。また、これらのプログラムは、物体追跡装置３−１とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤに送られ、ＨＤＤに記憶されてもよい。これらのプログラムは、ＨＤＤの替わりにＲＯＭに記憶してもよい。物体追跡装置３−１は、ＨＤＤの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。
【００４０】
第２物体追跡部３３が追跡する物体４を第２物体とする。言い換えれば、第２カメラ２を用いて追跡する物体４が第２物体である。第２物体追跡部３３は、通信部３１が受信した動画Ｖ２から、第２物体の像である第２物体像を検出することによって、第２物体を追跡する。この追跡には、公知の物体追跡技術（例えば、パーティクルフィルター、オプティカルフロー）を用いることができる。
【００４１】
第１物体像選択部３４、第２物体像選択部３５、同一物体判定部３６、対応付け処理部３７については後で説明する。
【００４２】
実施形態に係る物体追跡装置３−１の動作について説明する。図４は、これを説明するフローチャートである。図１および図２を参照して、第１カメラ１および第２カメラ２は、所定時間連続して作動し（例えば、２４時間連続作動）、通信部３１（取得部の一例）は、第１カメラ１によって撮像された動画Ｖ１、および、第２カメラ２によって撮像された動画Ｖ２をリアルタイムで受信する（図４のステップＳ１）。
【００４３】
第１物体追跡部３２は、通信部３１が受信した動画Ｖ１から物体像を検出することにより、物体４（第１物体）を追跡し、第２物体追跡部３３は、通信部３１が受信した動画Ｖ２から物体像を検出することにより、物体４（第２物体）を追跡する（図４のステップＳ２）。物体４の追跡について、詳しく説明する。図５は、物体４−１（人物）および物体４−２（人物）が通路１２を歩いているときに、第１カメラ１によって撮像された動画Ｖ１の一部分、および、第２カメラ２によって撮像された動画Ｖ２の一部分を示す模式図である。動画Ｖ１の一部分は、撮像時刻Ｔ１から撮像時刻Ｔ６までのフレームＦ１によって構成される。動画Ｖ２の一部分は、撮像時刻Ｔ１から撮像時刻Ｔ６までのフレームＦ２によって構成される。撮像時刻Ｔ１、撮像時刻Ｔ２、撮像時刻Ｔ３、撮像時刻Ｔ４、撮像時刻Ｔ５、撮像時刻Ｔ６の順に時間が進む。図６は、図５において、物体像４１，４２，４３を囲む矩形領域４１１，４２１，４３１が設定された状態を示す模式図である。図７は、図６において、動線Ｌ１，Ｌ２，Ｌ３が設定された状態を示す模式図である。
【００４４】
図１、図２および図５を参照して、物体像４１（第１物体像）は、第１カメラ１によって撮像された動画Ｖ１に含まれる物体４−１（第１物体）の像である。物体像４３（第１物体像）は、第１カメラ１によって撮像された動画Ｖ１に含まれる物体４−２（第１物体）の像である。物体像４２（第２物体像）は、第２カメラ２によって撮像された動画Ｖ２に含まれる物体４−１（第２物体）の像である。
【００４５】
図１、図２および図６を参照して、第１物体追跡部３２は、動画Ｖ１に含まれる物体像を検出し、物体像を囲む矩形領域を動画Ｖ１に設定する。ここでは、第１物体追跡部３２は、物体像４１および物体像４３を検出し、物体像４１を囲む矩形領域４１１、および、物体像４３を囲む矩形領域４３１を動画Ｖ１に設定する。撮像時刻Ｔ４のフレームＦ１には、物体像４１が含まれるが、物体４−１の一部分の像なので、物体像４１は検出されていない。
【００４６】
第２物体追跡部３３は、動画Ｖ２に含まれる物体像を検出し、物体像を囲む矩形領域を動画Ｖ２に設定する。ここでは、第２物体追跡部３３は、物体像４２を検出し、物体像４２を囲む矩形領域４２１を動画Ｖ２に設定する。撮像時刻Ｔ３のフレームＦ２には、物体像４２が含まれるが、物体４−１の一部分の像なので、物体像４２は検出されていない。
【００４７】
第１カメラ１の視野１１と第２カメラ２の視野２１とは、一部が重複している。この重複領域２２は３次元であり、重複領域２２の高さは、物体４より低い。このため、重複領域２２には、物体４の一部しか収まらないので、重複領域２２では物体４が検出されない。従って、物体４−１の物体像４１と物体４−１の物体像４２とが同時に検出されることはない。すなわち、撮像時刻Ｔ３では、物体４−１の物体像４１が検出されているが、物体４−１の物体像４２は検出されていない。撮像時刻Ｔ４では、物体４−１の物体像４２が検出されているが、物体４−１の物体像４１は検出されていない。
【００４８】
以上が物体４の追跡である（図４のステップＳ２）。物体追跡装置３−１は、物体４−１を追跡するために、物体像４１（第１物体像）と物体像４２（第２物体像）とを用いて、物体像４１が示す物体４−１（第１物体）と物体像４２が示す物体４−１（第２物体）とが同一物体であることを判定しなければならない。図６を参照して、例えば、物体像４１が検出された３つのフレームＦ１、物体像４２が検出された３つのフレームＦ２のうち、撮像時刻が最も近いフレームＦ１，Ｆ２に含まれる物体像４１，４２が、同一物体の判定に用いられるとする。ここでは、撮像時刻Ｔ３のフレームＦ１に含まれる物体像４１と撮像時刻Ｔ４のフレームＦ２に含まれる物体像４２である。撮像時刻Ｔ３のフレームＦ１に含まれる物体像４１は、物体４−１（人物）の背中側の像である。撮像時刻Ｔ４のフレームＦ２に含まれる物体像４２は、物体４−１（人物）の正面側の像である。外観からすると、物体像４１と物体像４２とは似ておらず、物体像４１が示す物体４−１と物体像４２が示す物体４−１とは、同一物体であるにもかかわらず、同一物体でないと判定される可能性がある。
【００４９】
そこで、実施形態では、以下のステップＳ３およびステップＳ４によって、同一物体の判定に用いられる物体像４１（第１物体像）および物体像４２（第２物体像）を選択する。図１、図２および図７を参照して、第２物体像選択部３５は、同一物体の判定に用いる物体像４２を選択する（図４のステップＳ３）。詳しく説明すると、第２物体像選択部３５は、動画Ｖ２の物体像に動線を設定する。動線は、物体４が歩いた方向、および、歩いた軌跡を示す線である。第２カメラ２は、通路１２を矢印Ｄ方向に歩く物体４−１を撮像している。第２物体像選択部３５は、物体４−１を示す物体像４２の動線Ｌ２を生成し、第２物体追跡部３３によって検出された物体像４２を含むフレームＦ２（撮像時刻Ｔ４のフレームＦ２、撮像時刻Ｔ５のフレームＦ２、撮像時刻Ｔ６のフレームＦ２）に動線Ｌ２を設定する。物体像４２の動線Ｌ２は、矢印Ｄ方向と同じ方向の直線である。
【００５０】
第２物体像選択部３５は、動線Ｌ２が設定されたフレームＦ２の中から、同一物体の判定に用いられる物体像４２を選択する。実施形態では、最初に検出された物体像４２、すなわち、撮像時刻Ｔ４のフレームＦ２に含まれる物体像４２が選択される。
【００５１】
以上説明したように、第２物体像選択部３５は、所定の基準に従って、第２物体追跡部３３による第２物体（物体４−１）の追跡で得られる第２物体像の群（撮像時刻Ｔ４，Ｔ５，Ｔ６のフレームＦ２にそれぞれ含まれる物体像４２）の中から、同一物体の判定に用いられる第２物体像（撮像時刻Ｔ４のフレームＦ２に含まれる物体像４２）を選択する。
【００５２】
図１、図２および図７を参照して、次に、第１物体像選択部３４は、同一物体の判定に用いる物体像４１を選択する（図４のステップＳ４）。詳しく説明すると、第１物体像選択部３４は、動画Ｖ１の物体像に動線を設定する。第１カメラ１は、通路１２を矢印Ｄ方向に歩く物体４−１、および、通路１２を矢印Ｄ方向と逆方向に歩く物体４−２を撮像している。第１物体像選択部３４は、物体４−１を示す物体像４１の動線Ｌ１を生成し、第１物体追跡部３２によって検出された物体像４１を含むフレームＦ１（撮像時刻Ｔ１のフレームＦ１、撮像時刻Ｔ２のフレームＦ１、撮像時刻Ｔ３のフレームＦ１）に動線Ｌ１を設定する。物体像４１の動線Ｌ１は、矢印Ｄ方向と同じ向きの直線である。
【００５３】
第１物体像選択部３４は、物体４−２を示す物体像４３の動線Ｌ３を生成し、第１物体追跡部３２によって検出された物体像４３を含むフレームＦ１（撮像時刻Ｔ１のフレームＦ１、撮像時刻Ｔ２のフレームＦ１、撮像時刻Ｔ３のフレームＦ１）に動線Ｌ３を設定する。物体像４３の動線Ｌ３は、矢印Ｄ方向と逆方向の直線である。
【００５４】
第１物体像選択部３４は、第１物体追跡部３２が追跡した物体４のうち、動線Ｌ２と同じ方向の動線が設定されている物体像で示される物体４を選択する。ここでは、第１物体追跡部３２が、物体４−１と物体４−２とを追跡している。動線Ｌ２と同じ方向の動線が設定されている物体像で示される物体４は、動線Ｌ１が設定されている物体像４１で示される物体４−１である。
【００５５】
第１物体像選択部３４は、動線Ｌ１が設定された物体像４１のうち、ステップＳ３において第２物体像選択部３５が選択した物体像４２とフレーム上の位置が同じである物体像４１を選択する。これは、図３で説明したように、同一物体であっても、視野１１上の物体４の位置に応じて、物体４の像（物体像）の形状が異なるからである。例えば、縦２個×横３個の合計６個の領域（中央上側領域、中央下側領域、左上側領域、左下側領域、右上側領域、右下側領域）に仮想的に分割されたフレームＦ１およびフレームＦ２において、物体像が同じ領域に位置すれば、物体像のフレーム上の位置が同じとされる。
【００５６】
第２物体像選択部３５が選択した物体像４２は、フレームＦ２の右下側領域に位置している。そこで、第１物体像選択部３４は、フレームＦ１の右下側領域に位置する物体像４１（撮像時刻Ｔ１のフレームＦ１に含まれる物体像４１）を選択する。ここでは、物体像４１の群の中で、フレームＦ１の右下側領域に位置する物体像４１は、撮像時刻Ｔ１のフレームＦ１に含まれる物体像４１だけである。しかしながら、撮像時刻Ｔ１のフレームＦ１を含む連続するフレームＦ１のいずれにも、右下側領域に物体像４１が位置すれば、第１物体像選択部３４は、これらの物体像４１の中から所定の基準に従って、物体像４１を選択する。例えば、第１物体像選択部３４は、それらの連続するフレームＦ１の中から、撮像時刻Ｔ４に最も近い撮像時刻のフレームＦ１に含まれる物体像４１を選択する。
【００５７】
実施形態では、物体像４１が位置する領域と物体像４２が位置する領域とが同じであれば、これらが同じ位置にあると判定している。しかしながら、これに限定されず、例えば、第１物体像選択部３４は、物体像４１の重心と物体像４２の重心との距離が所定のしきい値以下のとき、これらが同じ位置にあると判定してもよい。
【００５８】
以上説明したように、第１物体像選択部３４は、第１物体追跡部３２による第１物体（物体４−１）の追跡で得られる第１物体像の群（撮像時刻Ｔ１，Ｔ２，Ｔ３のフレームＦ１にそれぞれ含まれる物体像４１）の中から、第２物体像選択部３５によって選択された第２物体像（撮像時刻Ｔ４のフレームＦ２に含まれる物体像４２）の特徴と類似する特徴を有する第１物体像（撮像時刻Ｔ１のフレームＦ１に含まれる物体像４１）を選択する。特徴類似の判断要素を例示すれば、以下の通りである。
【００５９】
（１）第１物体像の移動方向（動線の方向）と第２物体像の移動方向（動線の方向）とが同じである。
（２）第１物体像の画像（フレーム）上の位置と第２物体像の画像（フレーム）上の位置とが同じである。
（３）第１物体像（第１物体）の移動速度と第２物体像（第２物体）の移動速度とが同じである。
（４）第１物体像の向きと第２物体像の向きとが同じである。
【００６０】
ここでの同じとは、完全に同じでもよいし、ほぼ同じでもよい。（３）の「移動速度」は、例えば、所定時間において、物体像がフレーム上を移動した量を基にして算出される。（４）の「向き」は、例えば、テンプレートマッチングによって求められる。第１物体像選択部３４は、（１）〜（４）のいずれか１つ、または、これらの２つ以上の組み合わせについて、第１物体像と第２物体像とが同じであれば、第１物体像の特徴と第２物体像の特徴とが類似すると判断する。実施形態では、（１）および（２）を満たせば、第１物体像の特徴と第２物体像の特徴とが類似していると判断する。
【００６１】
図１、図２および図７を参照して、同一物体判定部３６は、ステップＳ４で第１物体像選択部３４によって選択された物体像４１（第１物体像）と、ステップＳ３で第２物体像選択部３５によって選択された物体像４２（第２物体像）とを用いて、物体像４１が示す物体４−１（第１物体）と物体像４２が示す物体４−１とが同一物体か否かを判定する（図４のステップＳ５）。
【００６２】
この判定には、公知の同一物体の判定技術を用いることができる。例えば、同一物体判定部３６は、ステップＳ４で第１物体像選択部３４によって選択された物体像４１の色情報と、ステップＳ３で第２物体像選択部３５によって選択された物体像４２の色情報との一致度が、予め定められたしきい値より高い場合、同一物体と判定する（ヒストグラムインターセクション）。色情報の替わりに形状情報の一致度でもよい。これらに限らす、例えば、同一物体判定部３６は、機械学習（例えば、ディープラーニング、サポートベクターマシン）を用いて、同一物体か否かを判定してもよい。
【００６３】
同一物体判定部３６が、同一物体と判定したとき（図４のステップＳ５でＹｅｓ）、対応付け処理部３７は、物体像４１が示す物体４−１（第１物体）のＩＤと同じＩＤを、物体像４２が示す物体４−１（第２物体）に付与する（図４のステップＳ６）。すなわち、対応付け処理部３７は、同一物体判定部３６によって、物体像４１が示す物体４−１（第１物体）と物体像４２が示す物体４−１（第２物体）とが同一物体と判定されたとき、第１物体と第２物体とを対応付ける処理をする。
【００６４】
同一物体判定部３６が、同一物体でないと判定したとき（図４のステップＳ５でＮｏ）、対応付け処理部３７は、物体像４１が示す物体４−１のＩＤと異なるＩＤを、物体像４２が示す物体４−１に付与する（図４のステップＳ７）。
【００６５】
以上説明したように、対応付け処理部３７は、第２物体追跡部３３が追跡した１つの物体４−１（１つの第２物体）に対して、第１物体追跡部３２が追跡した２つの物体４−１，４−２（複数の第１物体）の中から、１つの物体４−１（１つの第１物体）を対応付ける処理をする。
【００６６】
実施形態では、第１物体追跡部３２が追跡した物体４−１，４−２（第１物体）の中で、動線Ｌ２と同じ方向の動線が設定された物体像が示す物体４（第１物体）の数が、１つの場合（物体４−１）を例に説明した。しかしながら、この数が２以上の場合、２以上のそれぞれの物体４（第１物体）に対して、第１物体像選択部３４は、ステップＳ４の処理をし、同一物体判定部３６は、ステップＳ５の処理をする。そして、上記２以上の物体４（第１物体）の中で、同一物体の判定のスコアが一番大きい物体４（第１物体）のＩＤと同じＩＤを、物体像４２が示す物体４−１（第２物体）に付与する。
【００６７】
実施形態の主な効果を説明する。図１、図２および図７を参照して、第１物体像選択部３４は、撮像時刻Ｔ４のフレームＦ２に含まれる物体像４２（第２物体像）の特徴と類似する特徴を有する物体像４１（第１物体像）として、撮像時刻Ｔ１のフレームＦ１に含まれる物体像４１を選択する。同一物体判定部３６は、これら２つの物体像４１，４２を用いて、物体像４１が示す物体４−１（第１物体）と物体像４２が示す物体４−１（第２物体）とが同一物体か否かを判定する。これにより、同一物体の判定精度を向上させることができる。従って、実施形態に係る物体追跡装置３−１によれば、複数のカメラを用いた物体追跡において、各カメラを用いて追跡した物体どうしを正確に対応付けることができる。
【００６８】
実施形態は、カメラの数が２つの場合で説明したが、カメラの数が３つ以上でもよい。カメラの数が３つの場合、視野が隣り合う２つのカメラが、第１カメラ１と第２カメラ２となる。例えば、カメラＡ、カメラＢ、カメラＣの３つのカメラが配置され、カメラＡの視野、カメラＢの視野、カメラＣの視野が順に並ぶ場合、カメラＡとカメラＢ、および、カメラＢとカメラＣが第１カメラ１と第２カメラ２の関係となる。
【００６９】
物体追跡装置３−１は、カメラの数が３つ以上の場合、視野が隣り合う２つのカメラを紐付けたデータを予め記憶する記憶部（不図示）を備える。視野が隣り合う２つのカメラが第１カメラ１と第２カメラ２となり、第１カメラ１によって撮像された動画Ｖ１（第１時系列画像）と第２カメラ２によって撮像された動画Ｖ２（第２時系列画像）とを用いて、第１物体と第２物体とが同一物体か否かが判定されるからである。
【００７０】
実施形態の変形例について説明する。実施形態では、第１物体像選択部３４が物体像を選択する処理（図４のステップＳ４：動線の設定、第２物体像選択部３５が選択した物体像４２と動線の方向が同じ、かつ、フレーム上の位置が同じ物体像の特定）の対象となる物体４は、第１物体追跡部３２が追跡した物体４の全てである（物体４−１、物体４−２）。第１物体追跡部３２が追跡した物体４の数が多い場合、上記処理（図４のステップＳ４）の演算量が増えるので、物体追跡の高速化が妨げられる。そこで、第１変形例は、上記処理（図４のステップＳ４）の対象となる物体４を減らすことができる処理をする。以下、詳しく説明する。
【００７１】
図８は、第１変形例に係る物体追跡装置３−２の機能ブロック図である。図１に示す物体追跡装置３−１と異なる点を主に説明する。物体追跡装置３−２は、図１に示す物体追跡装置３−１の構成要素に加えて、第１物体決定部３８をさらに備える。
【００７２】
図２および図６を参照して、物体４−１は、矢印Ｄ方向（図２の紙面において、左方向）に歩いている。よって、物体４−１の物体像４１は、フレームＦ１の左端（左側）から消え、所定時間後、物体４−１の物体像４２が、フレームＦ２の右端（右側）に出現する。言い換えれば、撮像時刻Ｔ３のフレームＦ１の左端に物体４−１の物体像４１が位置し、撮像時刻Ｔ４のフレームＦ２の右端に物体４−１の物体像４２が位置する。この所定時間は、歩行速度から決まる推定時間（数秒）である。よって、第１物体追跡部３２が追跡した複数の物体４の中で、以下の（ｉ）および（ｉｉ）の条件を満たす物体４は、第２物体追跡部３３が追跡した１つの物体４（物体４−１）の可能性がある。
【００７３】
（ｉ）フレームＦ１は、物体４−１の物体像４２が右端に位置するフレームＦ２の撮像時刻（撮像時刻Ｔ４）より前であり、かつ、この撮像時刻から所定時間内に撮像されたフレームＦ１（撮像時刻Ｔ３のフレームＦ１）である。
（ｉｉ）物体４は、（ｉ）のフレームＦ１の左端に物体像（物体像４１）が位置する物体４（物体４−１）である。
【００７４】
第２物体追跡部３３が追跡した１つの物体４（物体４−１）と同一物体でない物体４−２は、撮像時刻Ｔ３のフレームＦ１の左端に、物体像４３が位置していない。よって、物体４−２は、（ｉ）および（ｉｉ）の条件を満たしていない。
【００７５】
以上より、第１物体決定部３８は、第１物体追跡部３２が追跡した物体４（第１物体）が、（ｉ）および（ｉｉ）の条件を満たす場合、第２物体追跡部３３が追跡した１つの物体４（第２物体）と同一物体である可能性を有する物体４（第１物体）と決定する。このように、第１物体決定部３８は、１つの第２物体の位置と複数の第１物体の位置との関係を基にして、複数の第１物体の中から、第２物体と同一物体である可能性を有する第１物体を決定する。
【００７６】
第１物体像選択部３４は、第１物体決定部３８によって決定された物体４（第１物体）に対して、第１物体像選択部３４が物体像を選択する処理（図４のステップＳ４）をする。
【００７７】
対応付け処理部３７は、第２物体追跡部３３が追跡した１つの物体４−１（１つの第２物体）に対して、第１物体追跡部３２が追跡した２つの物体４−１，４−２（複数の第１物体）の中から、１つの物体４−１（１つの第１物体）を対応付ける処理をする。第１変形例は、これを前提とし、第１物体決定部３８を備えることにより、第１物体追跡部３２が追跡した物体４（第１物体）の数が多い場合でも、上記処理（図４のステップＳ４）の演算量を抑制できるので、物体追跡の高速化を図ることができる。
【００７８】
実施形態の第２変形例を説明する。第１物体追跡部３２が追跡した複数の物体４（第１物体）の中から、第２物体追跡部３３が追跡した１つの物体４（第２物体）と同一物体である可能性を有する物体４（第１物体）の決定の仕方が、第２変形例は第１変形例と異なる。図９は、第２変形例に係る物体追跡装置３−３の機能ブロック図である。図１に示す物体追跡装置３−１と異なる点を主に説明する。物体追跡装置３−３は、図１に示す物体追跡装置３−１の構成要素に加えて、第１物体決定部３９およびアドレス記憶部４０をさらに備える。
【００７９】
第２変形例では、図２に示す重複領域２２で物体４を検出できるように、第１カメラ１および第２カメラ２の画角が設定されている。図１０は、撮像時刻が同じであるフレームＦ１、フレームＦ２の一例を示す模式図である。フレームＦ１には、重複領域２２に対応する領域２２１が、フレームＦ１の左端部に位置する。フレームＦ２には、重複領域２２に対応する領域２２２が、フレームＦ２の右端部に位置する。第２変形例は、重複領域２２を基にして、「１つの第２物体の位置と複数の第１物体の位置との関係」を定める。
【００８０】
第１物体追跡部３２は、物体像４４、物体像４５および物体像４６を検出している。フレームＦ１には、物体像４４を囲む矩形領域４４１が設定され、物体像４５を囲む矩形領域４５１が設定され、物体像４６を囲む矩形領域４６１が設定されている。物体像４４が示す物体４、物体像４５が示す物体４、物体像４６が示す物体４は、それぞれ異なる。
【００８１】
第２物体追跡部３３は、物体像４７および物体像４８を検出している。フレームＦ２には、物体像４７を囲む矩形領域４７１が設定され、物体像４８を囲む矩形領域４８１が設定されている。物体像４７が示す物体４と物体像４８が示す物体４とは異なる。
【００８２】
アドレス記憶部４０は、フレームＦ１上の領域２２１のアドレス、および、フレームＦ２上の領域２２２のアドレスを予め記憶している。アドレス記憶部４０は、ＨＤＤ、フラッシュメモリ等によって実現される。第１物体決定部３９は、フレームＦ２上の領域２２２のアドレスを基にして、フレームＦ２上の物体像（物体像４７、物体像４８）が領域２２２に位置するか否かを判断する。第１物体決定部３９は、フレームＦ１上の領域２２１のアドレスを基にして、フレームＦ１上の物体像（物体像４４、物体像４５、物体像４６）が領域２２１に位置するか否かを判断する。
【００８３】
物体像４４と物体像４５とは領域２２１に位置し、物体像４６は領域２２１外に位置する。物体像４７は領域２２２に位置する。よって、３つの物体像４４，４５，４６の中で、物体像４４が示す物体４、および、物体像４５が示す物体４が、物体像４７が示す物体４と同一物体の可能性を有する。そこで、第１物体決定部３９は、物体像４７（第２物体像）が重複領域２２で検出された時刻に重複領域２２で検出された物体像４４，４５のそれぞれが示す物体４（第１物体像が示す第１物体）を、物体像４７が示す物体４（第２物体）と同一物体である可能性を有する物体４（第１物体）と決定する。
【００８４】
なお、図４のステップＳ４の説明において、第１物体像選択部３４は、第２物体像（物体像４２）の特徴と類似する特徴を有する第１物体像（物体像４１）が複数あれば、第２物体像選択部３５によって選択された第２物体像（物体像４２）を含む画像フレームＦ２が撮像された時刻（撮像時刻Ｔ４）と一番近い時刻に撮像されたフレームＦ１に含まれる第１物体像を選択する。これに限らず、例えば、第１物体像選択部３４は、第２物体像（物体像４２）の特徴と最も類似した特徴を有する第１物体像（物体像４１）を選択してもよいし、第１物体像選択部３４は、第２物体像と複数の第１物体像とのそれぞれの距離を基にして、第１物体像を選択してもよい。後者について詳しく説明する。
【００８５】
図１１は、撮像時刻が同じであるフレームＦ１、フレームＦ２の他の例を示す模式図である。図１１について、図１０と相違する点を説明する。第１物体追跡部３２は、物体像４９および物体像５０を検出している。フレームＦ１には、物体像４９を囲む矩形領域４９１が設定され、物体像５０を囲む矩形領域５０１が設定されている。物体像４９が示す物体４と物体像５０が示す物体４とは異なる。第２物体追跡部３３は、物体像５１を検出している。フレームＦ２には、物体像５１を囲む矩形領域５１１が設定されている。
【００８６】
第１物体像選択部３４は、重複領域２２に対応する領域２２１の画像と重複領域２２に対応する領域２２２の画像とを重ねる処理をする。図１２は、この処理がされた画像を示す模式図である。第１物体像選択部３４は、物体像４９、物体像５０、物体像５１のそれぞれについて、重心４９ａ、重心５０ａ、重心５１ａを算出する。
【００８７】
第１物体像選択部３４は、物体像５１（第２物体像）の重心５１ａと物体像４９（第１物体像）の重心４９ａとの距離ｄ１を算出し、物体像５１（第２物体像）の重心５１ａと物体像５０（第１物体像）の重心５０ａとの距離ｄ２を算出する。第１物体像選択部３４は、これらの距離の中で、一番短い距離を特定し（ここでは、距離ｄ１）、この距離を規定する重心を有する物体像（ここでは、物体像４９）を第１物体像として選択する。
【符号の説明】
【００８８】
１  第１カメラ
２  第２カメラ
３−１，３−２，３−３  物体追跡装置
４，４−１，４−２  物体
１１  視野
１２  通路
１３  天井
１４  光軸中心
２１  視野
２２  重複領域
４１〜５１  物体像
４９ａ，５０ａ  重心
４１１，４２１，４３１，４４１，４５１，４６１，４７１，４８１，４９１，５０１，５１１  矩形領域
２２１，２２２  重複領域に対応する領域
ｄ１，ｄ２  距離
Ｆ１，Ｆ２  フレーム
Ｌ１，Ｌ２，Ｌ３  動線
Ｖ１  動画（第１時系列画像の一例）
Ｖ２  動画（第２時系列画像の一例）
【図１】
2019096062.tif 000003
【図２】
2019096062.tif 000004
【図３】
2019096062.tif 000005
【図４】
2019096062.tif 000006
【図５】
2019096062.tif 000007
【図６】
2019096062.tif 000008
【図７】
2019096062.tif 000009
【図８】
2019096062.tif 000010
【図９】
2019096062.tif 000011
【図１０】
2019096062.tif 000012
【図１１】
2019096062.tif 000013
【図１２】
2019096062.tif 000014