(57)【要約】オブジェクトの追跡を引き継ぐ監視カメラ端末（１）との間における受け渡しエリアでのオブジェクトの同定を、このオブジェクトが当該受け渡しエリアに位置している間に行うことで、当該オブジェクトの追跡がリアルタイムで行えるようにする。受け渡し側監視カメラ端末（１）は、無線通信で、撮像したフレーム画像の処理結果を、引き継ぎ側監視カメラ端末（１）に通知する。ここで通知する処理結果は、受け渡しエリア内に位置する、追跡している不審者を含めた人物毎のフレーム画像上の位置である。受け渡し側監視カメラ端末（１）と引き継ぎ側監視カメラ端末（１）とは、第２の無線通信部（１９）で直接通信する。したがって、受け渡し側監視カメラ端末（１）と引き継ぎ側監視カメラ端末（１）との間における通信遅延が十分に抑えられる。
2011114770.tif 000002
【特許請求の範囲】
【請求項１】
自端末の周辺に位置する別の端末との無線通信を、直接、または他の端末を介して行う無線通信手段と、
自端末に割り当てられている監視対象エリアを撮像する撮像手段と、
前記撮像手段が撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段が抽出したオブジェクトを、前記監視対象エリア内において追跡する追跡手段と、
割り当てられている前記監視対象エリアが、その一部において自端末の前記監視対象エリアと重複している相手側端末との無線通信を前記無線通信手段で行い、前記追跡手段が追跡しているオブジェクトを、前記監視対象エリアが重複している受け渡しエリアで受け渡す受け渡し手段と、
前記受け渡し手段がオブジェクトの受け渡しを行うとき、このオブジェクトを受け渡す相手側端末との間で、前記無線通信手段が直接通信する無線通信路を形成する無線通信路形成手段と、を備えた監視カメラ端末。
【請求項２】
前記無線通信手段は、無指向性アンテナを有する第１の無線通信部、および指向性アンテナを有する第２の無線通信部を有し、
前記無線通信路形成手段は、前記受け渡し手段がオブジェクトの受け渡しを行う相手側端末に対して、前記第１の無線通信部で当該相手側端末に受け渡し要求を送信するとともに、前記指向性アンテナの指向性の向きを当該相手側端末との直接通信に適した向きに変更し、
前記受け渡し手段は、前記第２の無線通信部で相手側端末と無線通信を行う、請求項１に記載の監視カメラ端末。
【請求項３】
前記受け渡し手段は、自端末、および相手側端末が前記受け渡しエリアを撮像したフレーム画像を用いて、前記追跡手段が追跡しているオブジェクトを相手側端末に同定させる、請求項１、または２に記載の監視カメラ端末。
【請求項４】
前記追跡手段が前記監視対象エリア内で追跡しているオブジェクトの移動経路に基づいて、前記受け渡し手段がオブジェクトを受け渡す相手側端末を予測する予測手段、を備え、
前記無線通信路形成手段は、前記予測手段が予測した相手側端末と直接通信する無線通信路を形成する、請求項１〜３のいずれかに記載の監視カメラ端末。
【請求項５】
前記追跡手段が前記監視対象エリア内で追跡しているオブジェクトの位置に応じて前記撮像手段の撮像視野を変化させる撮像視野制御手段を備えた請求項１〜４のいずれかに記載の監視カメラ端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自端末に割り当てられている監視対象エリアを撮像したフレーム画像を処理し、この監視対象エリアに位置する人物を追跡する監視カメラ端末に関する。特に、本発明は、監視対象エリアの一部が重複している他の監視カメラ端末との間で、追跡している人物の受け渡しを行い、この人物を広域にわたって追跡する監視カメラ端末に関する。
【背景技術】
【０００２】
従来、駅、ショッピングセンタ、繁華街等の不特定多数の人が集まる場所では、複数の監視カメラ端末を用いて、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）の検出や、検出した不審者の追跡を行っている。複数の監視カメラ端末で不審者を広域にわたって追跡する場合、この不審者の移動に応じて、追跡する監視カメラ端末を切り替えている。不審者を追跡する監視カメラ端末を切り替えるときは、追跡を引き継ぐ監視カメラ端末に、当該不審者の受け渡しを行っている。不審者の受け渡しが行える監視カメラ端末間では、監視対象エリアの一部が重複している。不審者が、この重複しているエリア（以下、受け渡しエリアと言う。）に位置しているときのフレーム画像を用いて、撮像されている人物の中にいる不審者を、追跡を引き継ぐ監視カメラ端末に同定させている。【０００３】
なお、この不審者の同定に失敗すると、追跡を引き継いだ監視カメラ端末が、これまで追跡していた不審者でない別の人物を追跡することになる。したがって、不審者の追跡に失敗する。【０００４】
また、システム全体で使用する監視カメラ端末の台数を抑え、システムの構築にかかるコストを抑えるために、不審者の移動に応じて撮像視野を変更する監視カメラ端末を用い、個々の監視カメラ端末に割り当てる監視対象エリアを大きくすることも行われている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３１０９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、監視カメラ端末間で不審者を受け渡すとき、両監視カメラ端末間の無線通信が、直接ではなく、他の監視カメラ端末を介する無線通信路で行われることがある。例えば、不審者を追跡している監視カメラ端末が、この不審者の追跡を引き継ぐ監視カメラ端末との無線通信路を、受信強度を条件にして形成した場合に他の監視カメラ端末を介する無線通信路が形成されることがある。この無線通信路に位置する監視カメラ端末（所謂、中継ノード）が増加するにつれて、不審者の受け渡しを行う両端末間での通信の遅延時間が長くなる。その結果、受け渡しエリアでの不審者の同定に遅れが生じ、当該不審者の追跡がリアルタイムで行えず、警備員等に対する不審者への対応指示が適正に行えなくなる。すなわち、不審者を捕まえられず、取り逃がすことになる。【０００７】
なお、監視対象エリア内で撮像視野を変更する監視カメラ端末であれば、不審者の同定の遅れによって、不審者の受け渡しを行う両監視カメラ端末が、受け渡しエリアに位置している不審者を撮像したフレーム画像を得ることができず、不審者の追跡に失敗する。【０００８】
この発明の目的は、オブジェクトの追跡を引き継ぐ監視カメラ端末との間における受け渡しエリアでのオブジェクトの同定を、このオブジェクトが当該受け渡しエリアに位置している間に行うことで、当該オブジェクトの追跡がリアルタイムで行える監視カメラ端末を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の監視カメラ端末は、上記目的を達するために、以下のように構成している。【００１０】
オブジェクト抽出手段は、撮像手段が自端末に割り当てられている監視対象エリアを撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出する。追跡手段は、オブジェクト抽出手段が抽出したオブジェクトを、監視対象エリア内において追跡する。例えば、撮像手段が撮像したフレーム画像を時系列に処理し、時間経過にともなうオブジェクトの位置を追跡する。受け渡し手段は、割り当てられている監視対象エリアが、その一部において自端末の監視対象エリアと重複している相手側端末と無線通信を行い、追跡手段が追跡しているオブジェクトを、監視対象エリアが重複している受け渡しエリアで受け渡す。すなわち、追跡しているオブジェクトが自端末の監視対象エリアから、相手側端末の監視対象エリアへ移動する場合、受け渡しエリアで相手側端末に追跡しているオブジェクトを同定させ、オブジェクトの追跡を引き継ぐ。【００１１】
さらに、無線通信路形成手段は、受け渡し手段がオブジェクトの受け渡しを行うとき、このオブジェクトを受け渡す相手側端末との間で、無線通信手段が直接通信する無線通信路を形成する。これにより、オブジェクトの受け渡し時における端末間での無線通信の遅延が抑えられる。したがって、この追跡しているオブジェクトが当該受け渡しエリアに位置している間に、相手側端末に追跡しているオブジェクトを同定させることができる。その結果、オブジェクトの追跡がリアルタイムで行える。【００１２】
また、無線通信手段を、無指向性アンテナを有する第１の無線通信部、および指向性アンテナを有する第２の無線通信部を有する構成にするとともに、無線通信路形成手段を、受け渡し手段がオブジェクトの受け渡しを行う相手側端末に対して、第１の無線通信部で当該相手側端末に受け渡し要求を送信するとともに、指向性アンテナの指向性の向きを当該相手側端末との直接通信に適した向きに変更する構成にしてもよい。この場合、受け渡し要求を受信した相手側端末は、指向性アンテナの指向性の向きを、この受け渡し要求を送信してきた端末（この時点でオブジェクトを追跡している端末。）との直接通信に適した向きに変更する構成にすればよい。オブジェクトの受け渡し時における端末間での無線通信は、第２の無線通信部で行えばよい。【００１３】
これにより、オブジェクトの受け渡し時における端末間での無線通信の受信強度を確保でき、スループットの低下にともなう、通信の遅延も抑えられる。【００１４】
また、追跡手段が監視対象エリア内で追跡しているオブジェクトの移動経路に基づいて、受け渡し手段により追跡しているオブジェクトを受け渡す相手側端末を予測する予測手段を設けてもよい。この場合、無線通信路形成手段は、この予測手段が予測した相手側端末と直接通信する無線通信路を形成する構成にすればよい。これにより、追跡しているオブジェクトが当該受け渡しエリアに進入する前に、オブジェクトの受け渡しを行う端末間で、直接通信する無線通信路を形成することができる。【００１５】
さらに、撮像手段は、撮像視野が固定されていてもよいし、撮像視野制御手段により追跡手段が追跡しているオブジェクトの位置に応じて撮像視野を変化させる構成であってもよい。
【発明の効果】
【００１６】
この発明によれば、オブジェクトの追跡を引き継ぐ監視カメラ端末との間における受け渡しエリアでのオブジェクトの同定を、このオブジェクトが当該受け渡しエリアに位置している間に行うことができ、当該オブジェクトの追跡がリアルタイムで行える。
【図面の簡単な説明】
【００１７】
【図１】広域監視システムの構成を示す概略図である。
【図２】監視カメラ端末の主要部の構成を示すブロック図である。
【図３】監視カメラ端末における監視対象エリアと、撮像エリアとを説明する図である。
【図４】隣接する監視カメラ端末間における、監視対象エリアの関係を示す図である。
【図５】監視カメラ端末の動作を示すフローチャートである。
【図６】追跡処理を示すフローチャートである。
【図７】追跡処理時の撮像画像を示す図である。
【図８】引き継ぎ処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、この発明の実施形態である監視カメラ端末について説明する。
【００１９】
図１は、この発明の実施形態にかかる監視カメラ端末を用いた、広域監視システムの構成を示す概略図である。この広域監視システムは、複数の監視カメラ端末１（１Ａ〜１Ｈ）を有するネットワークシステムである。この広域監視システムは、例えば、アドホック型のネットワークシステムである。監視カメラ端末１間では、直接、または他の監視カメラ端末１を介してデータ通信が行える。この監視カメラ端末１間のデータ通信は、無線通信で行われる。
【００２０】
なお、この広域監視システムを構成する監視カメラ端末１の台数は、ここで例示している８台に限らず、複数台であれば何台であってもよい。また、図１に示した、監視カメラ端末１間を結ぶ線はリンクである。また、以下の説明では、特に監視カメラ端末１Ａ〜１Ｈを区別しないで説明する場合、監視カメラ端末１と示す。
【００２１】
図２は、監視カメラ端末の主要部の構成を示す図である。監視カメラ端末１は、制御部１１と、撮像部１２と、駆動機構部１３と、撮像視野制御部１４と、画像処理部１５と、記憶部１６と、タイマ１７と、第１の無線通信部１８と、第２の無線通信部１９と、指向性制御部２０と、を備えている。制御部１１は、本体各部の動作を制御する。
【００２２】
撮像部１２は、撮像視野内（撮像エリア）を撮像したフレーム画像を１秒間に３０フレーム程度出力する。この撮像部１２は、パン方向、およびチルト方向に、個別に回動する雲台（不図示）に取り付けている。パン方向と、チルト方向とは直交する方向である。また、撮像部１２は、撮像光学系を駆動する光学系駆動部（不図示）を有し、撮像倍率Ｚｏｏｍを変化させることができる。
【００２３】
駆動機構部１３は、撮像部１２を取り付けている雲台をパン方向、およびチルト方向に回動するモータ等の駆動源を有する。また、雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを検出するセンサを有する。
【００２４】
撮像視野制御部１４は、撮像部１２に対して撮像倍率Ｚｏｏｍを指示する。撮像部１２は、この指示にしたがって、撮像倍率Ｚｏｏｍを変化させる。また、撮像視野制御部１４は、駆動機構部１３に対して、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを指示する。駆動機構部１３は、この指示にしたがって、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを変化させる。
【００２５】
撮像部１２は、雲台のパン方向にかかる回動角θ、雲台のチルト方向にかかる回動角φ、および撮像倍率Ｚｏｏｍの変化にともなって、その撮像視野が変化する。監視カメラ端末１には、図３に示すように、監視対象エリアが定められている。この監視対象エリアは、撮像部１２の撮像視野を変化させることによって撮像可能な範囲である。
【００２６】
また、画像処理部１５は、撮像部１２が撮像したフレーム画像を処理し、撮像されている人物を抽出し、ここで抽出した人物にＩＤを付す。このＩＤは、人物を識別できるユニークな値である。また、画像処理部１５には、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを検出するセンサの出力が入力されている。すなわち、画像処理部１５は、このセンサの出力により、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを得る。また、画像処理部１５は、撮像部１２から入力されている撮像倍率Ｚｏｏｍにかかる信号により、当該撮像部１２の撮像倍率Ｚｏｏｍを得る。画像処理部１５は、雲台のパン方向にかかる回動角θ、チルト方向にかかる回動角φ、および撮像倍率Ｚｏｏｍにより、撮像部１２の撮像視野、すなわち監視対象エリアにおける撮像エリアの位置、を得ることができる。したがって、画像処理部１５は、撮像部１２が撮像したフレーム画像上における人物の位置を、監視対象エリアにおける位置に変換できる。画像処理部１５は、追跡している人物の移動に応じて、撮像部１２の撮像視野を撮像視野制御部１４に指示する。
【００２７】
この画像処理部１５は、例えば時空間ＭＲＦ(Markov Random Field) モデルを利用して、撮像されている人物の抽出や追跡を行う構成である。時空間ＭＲＦモデルは、公知のように、時空間画像の時間軸方向の相関関係に着目し、ＭＲＦモデルを時空間モデルとして拡張したものである。この時空間ＭＲＦモデルは、処理対象であるフレーム画像に対して数ピクセル×数ピクセル（例えば、８ピクセル×８ピクセル）のブロックでエリア分割を行い、時間的に連続するフレーム画像間でのブロック毎の動きベクトルを参照した時間軸方向の相関を定義するモデルである。
【００２８】
記憶部１６は、本体を動作させる動作プログラムや、動作時に利用する設定データ、動作時に発生した処理データ等を記憶する。タイマ１７は、現在時刻を計時する。
【００２９】
第１の無線通信部１８は、無指向性アンテナ１８ａが接続されており、他の監視カメラ端末１との間における無線通信を制御する。
【００３０】
第２の無線通信部１９は、指向性制御部２０を介して指向性アンテナ２０ａが接続されている。指向性制御部２０は、指向性アンテナ２０ａの指向性の向きを変化させる。第２の無線通信部１９も、他の監視カメラ端末１との間における無線通信を制御する。
【００３１】
この広域監視システムは、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）を追跡するシステムである。各監視カメラ端末１には、上述したように監視対象エリアが割り当てられている。また、図４に示すように、隣接する２つの監視カメラ端末１Ａ、１Ｂは、監視対象エリアの一部が重なっている。図４は、隣接する２つの監視カメラ端末１Ａ、１Ｂについて監視対象エリアを例示したものであるが、隣接する他の２つの監視カメラ端末１の組み合せにおいても、監視対象エリアの一部が重なっている。この重なっているエリアは、不審者を、一方の監視カメラ端末１Ａ（または１Ｂ）から他方の監視カメラ端末１Ｂ（または１Ａ）に受け渡すための受け渡しエリアである。例えば、監視カメラ端末１Ａが追跡している不審者が、監視カメラ端末１Ｂとの受け渡しエリアを通って、監視カメラ端末１Ｂの監視対象エリアに入るときに、監視カメラ端末１Ｂが、この受け渡しエリアで不審者を同定し、この不審者の追跡を監視カメラ端末１Ａから引き継ぐためのエリアである。
【００３２】
監視カメラ端末１は、隣接する監視カメラ端末１毎に、その監視カメラ端末１との間で不審者を受け渡すときの撮像部１２の撮像視野（パン方向にかかる回動角θ、チルト方向にかかる回動角φ、および撮像倍率Ｚｏｏｍ）を記憶部１６に記憶している。不審者を受け渡すときの撮像部１２の撮像視野には、不審者の受け渡しを行う相手側の監視カメラ端末１との受け渡しエリアが含まれる。
【００３３】
また、各監視カメラ端末１は、隣接する監視カメラ端末１毎に、自端末の撮像部１２が受け渡しエリア撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が受け渡しエリアを撮像したフレーム画像の２次元座標系と、の相対的な位置関係を示す座標変換情報を記憶部１６に記憶している。この座標変換情報は、自端末の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系と、を共通の座標系に射影変換する情報である。ここでは、この座標変換情報として、以下に示す、第１の座標変換パラメータと、第２の座標変換パラメータと、を記憶部１６に記憶している。第１の座標変換パラメータは、自端末の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系を、隣接する相手側監視カメラ端末１の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系に射影変換するパラメータである。第２の座標変換パラメータは、隣接する相手側監視カメラ端末１の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系を、自端末の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系に射影変換するパラメータである。
【００３４】
なお、座標変換情報は、第１の座標変換パラメータ、または第２の座標変換パラメータのどちらか一方のみであってもよい。
【００３５】
ここで、第１の座標変換パラメータ、および第２の座標変換パラメータについて説明しておく。この第１の座標変換パラメータ、および第２の座標変換パラメータは、監視カメラ端末１の設置時に、実際に撮像したフレーム画像を用いて算出した値である。
【００３６】
まず、監視カメラ端末１の設置完了時に、テープ等を用いて、隣接する相手側監視カメラ端末１との受け渡しエリア内の床面に４点をマーキングする。そして、自端末の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像を処理し、このフレーム画像上におけるマーキングした４点の座標位置（ｘ，ｙ）を検出する。同様に、隣接する相手側監視カメラ端末１の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像上におけるマーキングした４点の座標位置（Ｘ，Ｙ）を、この相手側端末から取得する。そして、マーキングした点毎に、その座標位置を、
Ｘ＝（ａ１ｘ＋ｂ１ｙ＋ｃ１）／（ａ０ｘ＋ｂ０ｙ＋１）
Ｙ＝（ａ２ｘ＋ｂ２ｙ＋ｃ２）／（ａ０ｘ＋ｂ０ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、ａ０，ｂ０，ａ１，ｂ１，ｃ１，ａ２，ｂ２，ｃ２の８個の定数が、この隣接する相手側監視カメラ端末１との第１の座標変換パラメータである。監視カメラ端末１は、この第１の座標変換パラメータを記憶部１６に記憶する。
【００３７】
同様に、マーキングした点毎に、その座標位置を、
ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、Ａ０，Ｂ０，Ａ１，Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２の８個の定数が、この隣接する相手側監視カメラ端末１との第２の座標変換パラメータである。監視カメラ端末１は、この第２の座標変換パラメータを記憶部１６に記憶する。
【００３８】
受け渡しエリア内に位置している人物の同定は、自端末が撮像したフレーム画像の受け渡しエリアに撮像されている人物毎に、フレーム画像上の座標位置を取得する。また、相手側端末から、相手側端末が撮像したフレーム画像の受け渡しエリアに撮像されている人物毎に、フレーム画像上の座標位置を取得する。また、自端末が撮像した受け渡しエリアに位置する人物と、相手側端末が撮像した受け渡しエリアに位置する人物と、を１対１で対応付ける組み合せパターンを作成する。ここで作成される組み合せのパターン数は、例えば、受け渡しエリア内に位置している人物が２人であれば２通りであり、また受け渡しエリア内に位置している人物が３人であれば６通りである。
【００３９】
また、監視カメラ端末１は、自端末が撮像した受け渡しエリアに位置する人物毎に、第１の座標変換パラメータを用いて、その人物の座標位置を相手側端末の座標系に変換する。監視カメラ端末１は、人物の組み合せパターン毎に、相手側端末の座標系での、対応する人物間の距離の総和である第１の距離エネルギーを算出する。また、監視カメラ端末１は、相手側端末が撮像した受け渡しエリアに位置する人物毎に、第２の座標変換パラメータを用いて、その人物の座標位置を自端末の座標系に変換する。監視カメラ端末１は、人物の組み合せパターン毎に、自端末の座標系での、対応する人物間の距離の総和である第２の距離エネルギーを算出する。
【００４０】
そして、監視カメラ端末１は、受け渡しエリアに位置する人物の組合せの中で、第１の距離エネルギーと、第２の距離エネルギーとの和が最小である組み合せパターンを、受け渡しエリア内に位置する人物の適正な対応付けと判断する。したがって、不審者が受け渡しエリアに位置していれば、当該不審者の追跡を引き継ぐ側の監視カメラ端末１は、受け渡しエリア内に位置する人物の中で誰が不審者であるかを、この不審者を追跡している監視カメラ端末１から得ることで、不審者を同定することができる。
【００４１】
なお、受け渡しエリア内に位置する不審者の同定は、この不審者を追跡している監視カメラ端末１が、不審者の検出に使用したテンプレート情報を、この不審者の追跡を引き継ぐ監視カメラ端末１に通知し、この不審者の追跡を引き継ぐ監視カメラ端末１が通知されたテンプレート情報を用いて不審者を同定してもよい。また、上述のテンプレート情報だけではなく、不審者の検出に利用した特徴情報（例えば、画像から切り出した不審者の画像データ、形状、色、大きさなどにより不審者を特定する情報、あるいは目、鼻、口等の顔部品の形状や、位置等）も不審者の追跡を引き継ぐ監視カメラ端末１に通知してもよい。
【００４２】
次に、監視カメラ端末１の動作について説明する。図５は、この監視カメラ端末１の動作を示すフローチャートである。監視カメラ端末１は、監視対象エリア内における不審者の探索にかかる探索処理を開始する（Ｓ１）。監視カメラ端末１は、この時点では、不審者の追跡を行っていない（後述する追跡処理を実行していない。）。監視カメラ端末１は、Ｓ１で開始した探索処理で不審者が検出されるか（Ｓ２）、隣接する監視カメラ端末１からの不審者の受け渡し要求があるのを待つ（Ｓ３）。
【００４３】
Ｓ１で開始する探索処理は、一定時間（数秒）毎に、撮像部１２の撮像視野を変化させる。具体的には、撮像視野制御部１４が、一定時間毎に、予め定められた条件に基づき、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを駆動機構部１３に指示する。この条件は、例えば、撮像部１２の撮像視野が、監視対象エリア全体を走査するように設定されている。また、撮像倍率は、予め定めた撮像倍率である。
【００４４】
画像処理部１５は、撮像部１２が撮像したフレーム画像を処理し、撮像されている人物を抽出するとともに、抽出した人物にＩＤを付与する。このとき、画像処理部１５は、すでにＩＤが付与されている人物については、ＩＤを付与しない。また、画像処理部１５は、抽出した人物毎に、ＩＤと監視対象エリアにおける位置とを対応付けたオブジェクトマップを作成する。このオブジェクトマップには、作成時にタイマ１７が計時していた時刻がタイムスタンプとして付与される。画像処理部１５は、時間的に連続するオブジェクトマップを用いて、ＩＤを付与した人物毎に、その行動を解析する。そして、その行動が特異な人物（予め定めた行動パターンである人物）がいれば、その人物を不審者として検出する。また、要注意人物の顔画像を登録しておき、撮像部１２が撮像した人物の顔画像との照合により、要注意人物を検出したときに、この要注意人物を不審者として検出するように構成してもよい。
【００４５】
Ｓ３では、第１の無線通信部１８で、他の監視カメラ端末１から自端末に対する受け渡し要求を受信するのを待っている。第１の無線通信部１８は、無指向性のアンテナ１８ａを接続しているので、他の端末に対する受け渡し要求を受信することもある。この他の端末に対する受け渡し要求を受信したときには、中継ノードとして機能する。具体的には、今回受信した他の端末に対する受け渡し要求の転送先を、この受け渡し要求を送信してきた端末以外の端末（受け渡し要求の送信先の端末を含む。）の中から決定し、ここで決定した端末に送信する。例えば、図１に示す監視カメラ端末１Ａが、監視カメラ端末１Ｂに対して送信した受け渡し要求が、監視カメラ端末１Ａ→１Ｆ→１Ｃ→１Ｂの経路で送信されたり、監視カメラ端末１Ａ→１Ｇ→１Ｂの経路で送信されたりすることがある。この場合、監視カメラ端末１Ｆ、１Ｃ、１Ｇが中継ノードとして機能する。
【００４６】
監視カメラ端末１は、不審者を検出すると、追跡処理を開始する（Ｓ４）。また、自端末に対する受け渡し要求を受信すると、引き継ぎ処理を実行する（Ｓ５）。
【００４７】
以下の説明では、Ｓ４にかかる追跡処理を実行する監視カメラ端末１を受け渡し側監視カメラ端末１と言い、Ｓ５にかかる引き継ぎ処理を実行する監視カメラ端末１を引き継ぎ側監視カメラ端末１と言う。
【００４８】
まず、Ｓ４にかかる追跡処理について説明する。図６は、この追跡処理を示すフローチャートである。受け渡し側監視カメラ端末１の画像処理部１５は、撮像部１２が撮像したフレーム画像を取り込み（Ｓ１１）、このフレーム画像を処理し、不審者が撮像部１２の中心になる撮像視野（雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φ）を算出する（Ｓ１２）。このとき、撮像部１２の撮像倍率Ｚｏｏｍは、予め定めた撮像倍率である。また、不審者には、検出された時点で、ＩＤが付与されている。
【００４９】
受け渡し側監視カメラ端末１は、撮像部１２の撮像視野をＳ１２で算出した撮像視野に合わせる（Ｓ１３）。すなわち、雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを、Ｓ１２で算出した角度に合わせる。具体的には、画像処理部１５は、ここで算出した雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを撮像視野制御部１４に通知する。撮像視野制御部１４が、この通知に基づいて、駆動機構部１３による雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを変更する。
【００５０】
受け渡し側監視カメラ端末１は、この不審者の追跡を引き継ぐ隣接する他の監視カメラ端末１（引き継ぎ側監視カメラ端末１）を予測する（Ｓ１４）。受け渡し側監視カメラ端末１は、追跡している不審者がＳ１４で予測した隣接する引き継ぎ側監視カメラ端末１との受け渡しエリア周辺に位置しているかどうかを判定する（Ｓ１５）。受け渡し側監視カメラ端末１は、追跡している不審者がＳ１４で予測した引き継ぎ側監視カメラ端末１との受け渡しエリア周辺に位置していないと判定すると、Ｓ１１に戻り上述した処理を繰り返す。
【００５１】
受け渡し側監視カメラ端末１は、Ｓ１１〜Ｓ１５に示す処理を繰り返すことにより、図７に示すように、不審者Ｘを撮像部１２の撮像視野の略中心にとらえながら、この不審者Ｘを追跡することができる。また、画像処理部１５は、この追跡処理においても、不審者について、ＩＤと監視対象エリアにおける位置とを対応付けたオブジェクトマップを作成している。したがって、このオブジェクトマップを用いることにより、不審者の移動方向や、移動速度にかかる移動ベクトルが得られる。受け渡し側監視カメラ端末１は、この移動ベクトルを用いて、Ｓ１４で追跡している不審者の追跡を引き継ぐ引き継ぎ側監視カメラ端末１を予測する。
【００５２】
また、Ｓ１５にかかる判定は、引き継ぎ側監視カメラ端末１との受け渡しエリアからの距離の閾値を予め定めておき、不審者の位置と、この受け渡しエリア（例えば、受け渡しエリアの中心や境界）との距離が、この閾値以下になったかどうかにより判定すればよい。また、不審者の移動速度も考慮し、追跡している不審者が引き継ぎ側監視カメラ端末１との受け渡しエリアに到達するまでに要する時間が予め定めた時間（例えば、２〜３秒）以下になったかどうかにより、不審者が受け渡しエリア周辺に位置しているかどうかを判定してもよい。
【００５３】
受け渡し側監視カメラ端末１は、Ｓ１５で追跡している不審者がＳ１４で予測した引き継ぎ側監視カメラ端末１との受け渡しエリア周辺に位置していると判定すると、この引き継ぎ側監視カメラ端末１に対して受け渡し要求を送信する（Ｓ１６）。Ｓ１６にかかる受け渡し要求は、第１の無線通信部１８から送信される。このため、この受け渡し要求は、引き継ぎ側監視カメラ端末１で直接受信されるとは限らない。すなわち、他の監視カメラ端末１を介した無線通信路で、引き継ぎ側監視カメラ端末１で受信されることもある。自端末に対する受け渡し要求を受信した引き継ぎ側監視カメラ端末１が、Ｓ５にかかる引き継ぎ処理を実行する。
【００５４】
受け渡し側監視カメラ端末１は、Ｓ１６で不審者の受け渡し要求を行うと、指向性制御部２０が指向性アンテナ２０ａの指向性の向きを、今回の受け渡し要求を受信した引き継ぎ側監視カメラ端末１と直接通信するのに適した向きに変更する（Ｓ１７）。指向性制御部２０は、隣接する監視カメラ端末１毎に、直接通信するのに適した指向性アンテナ２０ａの指向性の向きを記憶している。
【００５５】
また、受け渡し側監視カメラ端末１は、撮像倍率Ｚｏｏｍを受け渡し時の撮像倍率に変更する（Ｓ１８）。画像処理部１５は、撮像部１２が撮像したフレーム画像を取り込んで処理し（Ｓ１９）、撮像部１２の撮像視野を受け渡し時の撮像視野にしたときに、不審者がフレームアウトするかどうかを判定する（Ｓ２０）。
【００５６】
受け渡し側監視カメラ端末１は、Ｓ２０で不審者がフレームアウトすると判定すると、この不審者が収まる撮像視野（雲台のパン方向にかかる回動角（θ）、およびチルト方向にかかる回動角（φ））を算出する（Ｓ２１）。Ｓ２１では、撮像視野は、不審者が中心になる撮像視野を算出してもよいが、好ましくは、不審者を中心からずらし、受け渡し時の撮像視野に近い撮像視野を算出するのがよい。受け渡し側監視カメラ端末１は、撮像部１２の撮像視野を、Ｓ２１で算出した撮像視野に合わせ（Ｓ２２）、Ｓ１７に戻る。
【００５７】
受け渡し側監視カメラ端末１は、Ｓ２０で不審者がフレームアウトしないと判定すると、撮像部１２の撮像視野を、記憶部１６に記憶している受け渡し時の撮像視野に決定する（Ｓ２３）。受け渡し側監視カメラ端末１は、撮像部１２の撮像視野を受け渡し時の撮像視野に合わせる（Ｓ２４）。
【００５８】
上述したＳ１６で受け渡し側監視カメラ端末１が行った不審者の受け渡し要求を受信した引き継ぎ側監視カメラ端末１は、図８に示す引き継ぎ処理を開始している。引き継ぎ側監視カメラ端末１は、指向性制御部２０が指向性アンテナ２０ａの指向性の向きを、受け渡し側監視カメラ端末１と直接通信するのに適した向きに変更する（Ｓ３１）。また、引き継ぎ側監視カメラ端末１は、撮像部１２の撮像視野を、この受け渡し側監視カメラ端末１との間で不審者を受け渡すときの撮像視野に合わせ（Ｓ３２）、受け渡し側監視カメラ端末１からの同期信号を待つ（Ｓ３３）。
【００５９】
したがって、受け渡し側監視カメラ端末１が、Ｓ２４で撮像部１２の撮像視野を、引き継ぎ側監視カメラ端末１との間で不審者を受け渡すときの撮像視野に合わせたときには、第２の無線通信部１９で直線通信できる状態になっている。また、この時点で、引き継ぎ側監視カメラ端末１は、撮像部１２の撮像視野を、この受け渡し側監視カメラ端末１との間で不審者を受け渡すときの撮像視野に合わせている。
【００６０】
これ以降、不審者の追跡の引き継ぎが完了するまで、受け渡し側監視カメラ端末１と引き継ぎ側監視カメラ端末１とは、第２の無線通信部１９で直接通信する。
【００６１】
受け渡し側監視カメラ端末１は、Ｓ２４で撮像部１２の撮像視野を、引き継ぎ側監視カメラ端末１との間で不審者を受け渡すときの撮像視野に合わせると、不審者が受け渡し領域に進入するのを待つ（Ｓ２５）。受け渡し側監視カメラ端末１は、不審者が受け渡し領域に進入すると、引き継ぎ側監視カメラ端末１に対して同期信号を送信する（Ｓ２６）。この同期信号は、時刻を通知するものであってもよいし、単に基準タイミングを通知するものであってもよい。また、この同期信号は、第２の無線通信部１９において、引き継ぎ側監視カメラ端末１に送信する。
【００６２】
受け渡し側監視カメラ端末１、および引き継ぎ側監視カメラ端末１は、同期信号を基準にしたタイミングで、撮像部１２が撮像したフレーム画像を取り込む（Ｓ２７、Ｓ３４）。引き継ぎ側監視カメラ端末１は、受け渡し側監視カメラ端末１との間で、受け渡しエリアを撮像した撮像画像を基に、撮像されている不審者を同定する（Ｓ２８、Ｓ３５）。この不審者の同定は、上述した第１の距離エネルギー、および第２の距離エネルギーを用いた手法で行えばよい。また、このとき、受け渡し側監視カメラ端末１と引き継ぎ側監視カメラ端末１とは、第２の無線通信部１９で直接通信し、受け渡し側監視カメラ端末１がＳ２７で撮像したフレーム画像の処理結果（受け渡しエリア内に位置する、追跡している不審者を含めた人物毎の位置（フレーム画像上の位置））を、引き継ぎ側監視カメラ端末１に通知する。
【００６３】
したがって、受け渡し側監視カメラ端末１と引き継ぎ側監視カメラ端末１との間における通信遅延が十分に抑えられ、受け渡し側監視カメラ端末１と引き継ぎ側監視カメラ端末１との間における不審者の同定が、この不審者が当該受け渡しエリアに位置している間に行うことができる。これにより、不審者の追跡がリアルタイムで行える。また、警備員等に対する不審者への対応指示が適正に行え、この不審者を取り逃がすことなく、捕まえられる。
【００６４】
引き継ぎ側監視カメラ端末１は、Ｓ５にかかる引き継ぎ処理が終了すると、上述したＳ４にかかる追跡処理を開始する。すなわち、今回引き継いだ不審者の追跡を行う。一方、受け渡し側監視カメラ端末１は、Ｓ４にかかる追跡処理を終了すると、Ｓ１に戻る。
【００６５】
なお、上述の例では、各監視カメラ端末１は、撮像視野を変化させることができる構成として説明したが、撮像視野が固定されたものであってもよい。この場合には、固定された撮像視野で撮像される範囲が監視対象エリアになる。
【００６６】
また、上述の例では、受け渡し側監視カメラ端末１と引き継ぎ側監視カメラ端末１との間における無線通信を直接行うために、第２の無線通信部１９が指向性アンテナ２０ａを用いて通信する構成としたが、無指向性アンテナ１８ａを用いた第１の無線通信部１８における直接通信でも、十分な受信強度が得られる環境であれば、第２の無線通信部１９、指向性制御部２０、および指向性アンテナ２０ａを不要にしてもよい。
【００６７】
また、上述の例では、追跡対象を不審者として説明したが、この追跡対象は人に限らず、車両等の他の種類の移動体であってもよい。
【符号の説明】
【００６８】
１（１Ａ〜１Ｈ）…監視カメラ端末
１１…制御部
１２…撮像部
１３…駆動機構部
１４…撮像視野制御部
１５…画像処理部
１６…記憶部
１７…タイマ
１８…第１の無線通信部
１８ａ…無指向性アンテナ
１９…第２の無線通信部
２０…指向性制御部
２０ａ…指向性アンテナ
【図１】
2011114770.tif 000003
【図２】
2011114770.tif 000004
【図３】
2011114770.tif 000005
【図４】
2011114770.tif 000006
【図５】
2011114770.tif 000007
【図６】
2011114770.tif 000008
【図７】
2011114770.tif 000009
【図８】
2011114770.tif 000010
【手続補正書】
【提出日】平成23年6月16日(2011.6.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自端末の周辺に位置する別の端末との無線通信を、直接、または他の端末を介して行う無線通信手段と、
自端末に割り当てられている監視対象エリアの一部を撮像視野内に収めて撮像する撮像手段と、
前記撮像手段の撮像視野を、自端末の前記監視対象エリア内の任意の領域に合わせる撮像視野制御手段と、
前記撮像手段が撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段が抽出したオブジェクトを、前記監視対象エリア内において追跡する追跡手段と、
割り当てられている前記監視対象エリアが、その一部において自端末の前記監視対象エリアと重複している相手側端末毎に、その相手側端末と前記監視対象エリアが重複している受け渡しエリアで、前記追跡手段が追跡しているオブジェクトを受け渡す受け渡し手段と、
前記受け渡し手段がオブジェクトの受け渡しを行うとき、このオブジェクトを受け渡す相手側端末との間で、前記無線通信手段が直接通信する無線通信路を形成する無線通信路形成手段と、を備えた監視カメラ端末。
【請求項２】
前記無線通信手段は、無指向性アンテナを有する第１の無線通信部、および指向性アンテナを有する第２の無線通信部を有し、
前記無線通信路形成手段は、前記受け渡し手段がオブジェクトの受け渡しを行う相手側端末に対して、前記第１の無線通信部で当該相手側端末に受け渡し要求を送信するとともに、前記指向性アンテナの指向性の向きを当該相手側端末との直接通信に適した向きに変更し、
前記受け渡し手段は、前記第２の無線通信部で相手側端末と無線通信を行う
請求項１に記載の監視カメラ端末。
【請求項３】
前記受け渡し手段は、自端末、および相手側端末が前記受け渡しエリアを撮像したフレーム画像を用いて、前記追跡手段が追跡しているオブジェクトを相手側端末に同定させる、請求項１、または２に記載の監視カメラ端末。
【請求項４】
前記追跡手段が前記監視対象エリア内で追跡しているオブジェクトの移動経路に基づいて、前記受け渡し手段がオブジェクトを受け渡す相手側端末を予測する予測手段、を備え、
前記無線通信路形成手段は、前記予測手段が予測した相手側端末と直接通信する無線通信路を形成する、請求項１〜３のいずれかに記載の監視カメラ端末。
【請求項５】
前記撮像視野制御手段は、前記追跡手段が前記監視対象エリア内で追跡しているオブジェクトの位置に応じて前記撮像手段の撮像視野を変化させる、請求項１〜４のいずれかに記載の監視カメラ端末。
【手続補正書】
【提出日】平成25年1月10日(2013.1.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
オブジェクト抽出手段は、撮像手段が自端末に割り当てられている監視対象エリア内の一部の領域を撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出する。撮像視野制御手段は、撮像手段の撮像視野を変化させることで、この撮像手段が撮像視野内に収めて撮像する自端末の監視対象エリア内の一部の領域を変化させる。追跡手段は、オブジェクト抽出手段が抽出したオブジェクトを、監視対象エリア内において追跡する。例えば、撮像手段が撮像したフレーム画像を時系列に処理し、時間経過にともなうオブジェクトの位置を追跡する。撮像視野制御手段は、追跡手段が監視対象エリア内でオブジェクトを追跡しているとき、この追跡しているオブジェクトの位置に応じて撮像手段の撮像視野を変化させる構成とすればよい。受け渡し手段は、割り当てられている監視対象エリアが、その一部において自端末の監視対象エリアと重複している相手側端末と無線通信を行い、追跡手段が追跡しているオブジェクトを、監視対象エリアが重複している受け渡しエリアで受け渡す。すなわち、追跡しているオブジェクトが自端末の監視対象エリアから、相手側端末の監視対象エリアへ移動する場合、受け渡しエリアで相手側端末に追跡しているオブジェクトを同定させ、オブジェクトの追跡を引き継ぐ。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、各監視カメラ端末１は、隣接する監視カメラ端末１毎に、自端末の撮像部１２が受け渡しエリアを撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が受け渡しエリアを撮像したフレーム画像の２次元座標系と、の相対的な位置関係を示す座標変換情報を記憶部１６に記憶している。この座標変換情報は、自端末の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系と、を共通の座標系に射影変換する情報である。ここでは、この座標変換情報として、以下に示す、第１の座標変換パラメータと、第２の座標変換パラメータと、を記憶部１６に記憶している。第１の座標変換パラメータは、自端末の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系を、隣接する相手側監視カメラ端末１の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系に射影変換するパラメータである。第２の座標変換パラメータは、隣接する相手側監視カメラ端末１の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系を、自端末の撮像部１２が不審者を受け渡すときの撮像視野で撮像したフレーム画像の２次元座標系に射影変換するパラメータである。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自端末の周辺に位置する別の端末との無線通信を形成された無線通信路で、直接、または他の端末を介して行う無線通信手段と、
自端末に割り当てられている監視対象エリア内の一部の領域を撮像視野内に収めて撮像する撮像手段と、
前記撮像手段の撮像視野を変化させることで、この撮像手段が撮像視野内に収めて撮像する自端末の監視対象エリア内の一部の領域を変化させる撮像視野制御手段と、
前記撮像手段が撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段が抽出したオブジェクトを、前記監視対象エリア内において追跡する追跡手段と、
割り当てられている前記監視対象エリアが、その一部において自端末の前記監視対象エリアと重複している相手側端末毎に、その相手側端末と前記監視対象エリアが重複している受け渡しエリアで、前記追跡手段が追跡しているオブジェクトを受け渡す受け渡し手段と、
前記受け渡し手段がオブジェクトの受け渡しを行うとき、このオブジェクトを受け渡す相手側端末との間で、前記無線通信手段が直接通信する無線通信路を形成する無線通信路形成手段と、を備えた監視カメラ端末。
【請求項２】
前記無線通信手段は、無指向性アンテナを有する第１の無線通信部、および指向性アンテナを有する第２の無線通信部を有し、
前記無線通信路形成手段は、前記受け渡し手段がオブジェクトの受け渡しを行う相手側端末に対して、前記第１の無線通信部で当該相手側端末に受け渡し要求を送信するとともに、前記指向性アンテナの指向性の向きを当該相手側端末との直接通信に適した向きに変更し、
前記受け渡し手段は、前記第２の無線通信部で相手側端末と無線通信を行う、請求項１に記載の監視カメラ端末。
【請求項３】
前記受け渡し手段は、自端末、および相手側端末が前記受け渡しエリアを撮像したフレーム画像を用いて、前記追跡手段が追跡しているオブジェクトを相手側端末に同定させる、請求項１、または２に記載の監視カメラ端末。
【請求項４】
前記追跡手段が前記監視対象エリア内で追跡しているオブジェクトの移動経路に基づいて、前記受け渡し手段がオブジェクトを受け渡す相手側端末を予測する予測手段、を備え、
前記無線通信路形成手段は、前記予測手段が予測した相手側端末と直接通信する無線通信路を形成する、請求項１〜３のいずれかに記載の監視カメラ端末。
【請求項５】
前記撮像視野制御手段は、前記追跡手段が前記監視対象エリア内で追跡しているオブジェクトの位置に応じて前記撮像手段の撮像視野を変化させる、請求項１〜４のいずれかに記載の監視カメラ端末。
【国際調査報告】
2011114770.tif 000011
2011114770.tif 000012
2011114770.tif 000013
2011114770.tif 000014