(57)【要約】【課題】監視する領域内に異常領域が複数同時に存在する場合に、効率的に顔認証を行うことができるようにする。【解決手段】撮像手段による撮像画像から検出されたオブジェクトの動き情報を取得する取得手段と、前記オブジェクトの認識処理結果を前記動き情報に対応づける対応付け手段と、前記撮像手段による撮像画像から検出された複数のオブジェクトのうち、認識処理を適用すべきオブジェクトを、前記動き情報に対応づけられた認識処理結果に基づいて決定する決定手段とを設ける。【選択図】図１
2014241578.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段による撮像画像から検出されたオブジェクトの動き情報を取得する取得手段と、
前記オブジェクトの認識処理結果を前記動き情報に対応づける対応付け手段と、
前記撮像手段による撮像画像から検出された複数のオブジェクトのうち、認識処理を適用すべきオブジェクトを、前記動き情報に対応づけられた認識処理結果に基づいて決定する決定手段とを有することを特徴とするカメラシステム。
【請求項２】
前記決定手段は、前記複数のオブジェクトのうち、前記認識処理を適用すべきオブジェクトを、前記複数のオブジェクトに対応づけられた前記動き情報に基づいて決定することを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記決定手段により決定された前記オブジェクトを認識するための撮像方向に、１又は複数の撮像手段の撮像方向を制御する制御手段を有することを特徴とする請求項１又は２に記載のカメラシステム。
【請求項４】
前記対応付け手段は、前記オブジェクトの移動方向と、前記オブジェクトの認識処理の成否に関する情報とを対応づけ、
前記決定手段は、前記撮像画像から検出された第１のオブジェクトと第２のオブジェクトとのうち、前記認識処理の失敗頻度が低い移動方向に対応する前記第１のオブジェクトを、認識処理を適用すべきオブジェクトとして決定することを特徴とする請求項１乃至３のうちいずれか１項に記載のカメラシステム。
【請求項５】
第１の撮影画像から検出されたオブジェクトの認識処理結果が、第１の撮影画像から検出されたオブジェクトに対応する第２の撮影画像から検出されたオブジェクトの認識処理結果と異なる場合、前記対応付け手段は、前記オブジェクトの動き情報と、前記認識処理の失敗に関する情報とを対応付け、
前記決定手段は、前記撮像画像から検出された第１のオブジェクトの第１の動き情報と第２のオブジェクトの第２の動き情報とのうち、失敗頻度が低い前記第１の動き情報を持つ前記第１のオブジェクトを、前記認識処理を適用すべきオブジェクトとして決定することを特徴とする請求項１乃至４のうちいずれか１項に記載のカメラシステム。
【請求項６】
前記撮像画像から検出された第１のオブジェクトと第２のオブジェクトのそれぞれの前記動き情報が示す移動方向の差が所定範囲内である場合、前記決定手段は、前記第２のオブジェクトよりも移動速度が遅い前記第１のオブジェクトを、前記認識処理を適用すべきオブジェクトとして決定することを特徴とする請求項１乃至５のうちいずれか１項に記載のカメラシステム。
【請求項７】
前記撮像画像から検出された前記複数のオブジェクトのうち、前記認識処理を適用すべきオブジェクトであると前記決定手段により決定されたオブジェクトの識別情報を、ネットワークを介して認識処理手段へ通知する通知手段を有することを特徴とする請求項１乃至６のうちいずれか１項に記載のカメラシステム。
【請求項８】
前記対応付け手段は、前記オブジェクトの移動方向と、前記オブジェクトの認識処理の成否に関する情報とを対応付け、
前記決定手段は、前記撮像画像から検出された前記複数のオブジェクトのうち、前記認識処理を適用すべきオブジェクトを、ポイントに基づいて決定し、前記ポイントは、前記オブジェクトの動きが第１の速さの場合は、前記第１の速さより速い第２の速さの場合よりも高くなり、前記オブジェクトの移動方向が、前記認識処理の第１の失敗頻度に対応する移動方向の場合は、前記認識処理の前記第１の失敗頻度より高い頻度である第２の失敗頻度に対応する移動方向の場合よりも高くなるように決定されることを特徴とする請求項１に記載のカメラシステム。
【請求項９】
撮像手段による撮像画像から検出されたオブジェクトの動き情報を取得する取得手段と、
前記オブジェクトの認識処理結果を前記動き情報に対応づける対応付け手段と、
前記撮像手段による撮像画像から検出された複数のオブジェクトのうち、認識処理を適用すべきオブジェクトを、前記動き情報に対応づけられた認識処理結果に基づいて決定する決定手段とを有することを特徴とするカメラ制御装置。
【請求項１０】
前記決定手段により決定された前記オブジェクトを認識するための撮像方向に、１又は複数の撮像手段の撮像方向を制御する制御手段を有することを特徴とする請求項９に記載のカメラ制御装置。
【請求項１１】
前記対応付け手段は、前記オブジェクトの移動方向と、前記オブジェクトの認識処理の成否に関する情報とを対応づけ、
前記決定手段は、前記撮像画像から検出された第１のオブジェクトと第２のオブジェクトとのうち、前記認識処理の失敗頻度が低い移動方向に対応する前記第１のオブジェクトを、認識処理を適用すべきオブジェクトとして決定することを特徴とする請求項９又は１０に記載のカメラ制御装置。
【請求項１２】
第１の撮影画像から検出されたオブジェクトの認識処理結果が、第１の撮影画像から検出されたオブジェクトに対応する第２の撮影画像から検出されたオブジェクトの認識処理結果と異なる場合、前記対応付け手段は、前記オブジェクトの動き情報と、前記認識処理の失敗に関する情報とを対応付け、
前記決定手段は、前記撮像画像から検出された第１のオブジェクトの第１の動き情報と第２のオブジェクトの第２の動き情報とのうち、失敗頻度が低い前記第１の動き情報を持つ前記第１のオブジェクトを、前記認識処理を適用すべきオブジェクトとして決定することを特徴とする請求項９乃至１１のうちいずれか１項に記載のカメラ制御装置。
【請求項１３】
前記撮像画像から検出された第１のオブジェクトと第２のオブジェクトのそれぞれの前記動き情報が示す移動方向の差が所定範囲内である場合、前記決定手段は、前記第２のオブジェクトよりも移動速度が遅い前記第１のオブジェクトを、前記認識処理を適用すべきオブジェクトとして決定することを特徴とする請求項９乃至１２のうちいずれか１項に記載のカメラ制御装置。
【請求項１４】
前記撮像画像から検出された前記複数のオブジェクトのうち、前記認識処理を適用すべきオブジェクトであると前記決定手段により決定されたオブジェクトの識別情報を、ネットワークを介して認識処理手段へ通知する通知手段を有することを特徴とする請求項９乃至１３のうちいずれか１項に記載のカメラ制御装置。
【請求項１５】
前記対応付け手段は、前記オブジェクトの移動方向と、前記オブジェクトの認識処理の成否に関する情報とを対応付け、
前記決定手段は、前記撮像画像から検出された前記複数のオブジェクトのうち、前記認識処理を適用すべきオブジェクトを、ポイントに基づいて決定し、前記ポイントは、前記オブジェクトの動きが第１の速さの場合は、前記第１の速さより速い第２の速さの場合よりも高くなり、前記オブジェクトの移動方向が、前記認識処理の第１の失敗頻度に対応する移動方向の場合は、前記認識処理の前記第１の失敗頻度より高い頻度である第２の失敗頻度に対応する移動方向の場合よりも高くなるように決定されることを特徴とする請求項９乃至１４のうちいずれか１項に記載のカメラ制御装置。
【請求項１６】
カメラシステムが行う制御方法であって、
撮像手段による撮像画像から検出されたオブジェクトの動き情報を取得する取得工程と、
前記オブジェクトの認識処理結果を前記動き情報に対応づける対応付け工程と、
前記撮像手段による撮像画像から検出された複数のオブジェクトのうち、認識処理を適用すべきオブジェクトを、前記動き情報に対応づけられた認識処理結果に基づいて決定する決定工程とを有することを特徴とする制御方法。
【請求項１７】
前記決定工程により決定された前記オブジェクトを認識するための撮像方向に、１又は複数の撮像手段の撮像方向を制御する制御工程を有することを特徴とする請求項１６に記載の制御方法。
【請求項１８】
前記対応付け工程は、前記オブジェクトの移動方向と、前記オブジェクトの認識処理の成否に関する情報とを対応づけ、
前記決定工程は、前記撮像画像から検出された第１のオブジェクトと第２のオブジェクトとのうち、前記認識処理の失敗頻度が低い移動方向に対応する前記第１のオブジェクトを、認識処理を適用すべきオブジェクトとして決定することを特徴とする請求項１６又は１７に記載の制御方法。
【請求項１９】
コンピュータを請求項９乃至１５のうちいずれか１項に記載のカメラ制御装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラシステム及びカメラ制御装置に関し、特に、監視領域を撮影した画像から特定の人物を効率的に認識するために用いて好適な技術に関する。
【背景技術】
【０００２】
監視カメラシステムは、複数の監視カメラ、監視カメラの映像を処理するサーバ、映像を確認するビューアなどから構成されるシステムである。
監視カメラには、広域を撮影する広角カメラや、ユーザ操作によりパン・チルト・ズーム制御などを行うことが可能であるＰＴＺカメラが用いられる。
【０００３】
監視カメラシステムでは、広域を連続して撮影し続けると同時に、前述の広角画角内の特定の部分や被写体にズームして鮮明かつ詳細な映像を撮影したいとの要望がある。
特許文献１では、固定型のカメラで動体検知、不動体検知あるいはセンサ入力検知を行い、ＰＴＺ型のカメラで異常領域を高解像で撮影するようにした監視カメラシステムが提案されている。
【０００４】
また、特許文献２では、一つの領域の全体を撮影する第１のカメラと、第１のカメラが撮影した全体画像から認証対象として選択した一人をズームして顔認証を行う第２のカメラからなる顔認証装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−８５８３２号公報
【特許文献２】特開２００７−２４９２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した特許文献１では、異常領域が複数同時に存在する場合に、人物の認識処理を実施することは考慮されていなかった。
【０００７】
また、特許文献２では、赤外線センサにより人を感知した時点での顔の向きや明るさ等から顔認証の優先順位を決定するが、一時点での情報だけでは顔認証に適した条件とは限らず、効率的に顔認証できるとは限らないという問題点があった。
本発明は前述の問題点に鑑み、撮影領域内において効率的にオブジェクトの認識処理を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のカメラシステムは、撮像手段による撮像画像から検出されたオブジェクトの動き情報を取得する取得手段と、前記オブジェクトの認識処理結果を前記動き情報に対応づける対応付け手段と、前記撮像手段による撮像画像から検出された複数のオブジェクトのうち、認識処理を適用すべきオブジェクトを、前記動き情報に対応づけられた認識処理結果に基づいて決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影領域内において効率的にオブジェクトの認識処理を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る監視カメラシステムの一例を示す図である。
【図２】第１の実施形態に係る監視カメラシステムの構成例を示すブロック図である。
【図３】第１の実施形態に係る追尾管理情報の一例を示す図である。
【図４】第１の実施形態に係る移動方向及び移動速度の決定方法の一例を示す図である。
【図５】第１の実施形態に係る図であり、（ａ）は、移動方向に対するポイント例を示す図、（ｂ）は、移動速度に対するポイント例を示す図である。
【図６】第１の実施形態に係る広角カメラで行なわれる処理手順を説明するフローチャートである。
【図７】第１の実施形態に係るＰＴＺカメラで行なわれる処理の一例を説明するフローチャートである。
【図８】第１の実施形態に係るサーバにおいて優先順位を設定する手順を説明するフローチャートである。
【図９】第２の実施形態に係る単一カメラの監視カメラシステムを示す図である。
【図１０】第２の実施形態に係る単一カメラの監視カメラシステムの構成例を示すブロック図である。
【図１１】第２の実施形態に係る追尾管理情報と処理履歴情報の一例を示す図である。
【図１２】第２の実施形態に係る単一カメラの監視カメラシステムのＰＴＺカメラで行われる処理の一例を説明するフローチャートである。
【図１３】第２の実施形態に係る単一カメラの監視カメラシステムのサーバの処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜第１の実施形態＞
図１は、本実施形態の監視カメラシステム（カメラシステム）の一例を示す図である。本実施形態の監視カメラシステムは、広域領域を撮影する広角カメラ１０１と、パン・チルト・ズーム制御可能なカメラ（ＰＴＺカメラ）１０３と、広角カメラ１０１及びＰＴＺカメラ１０３を制御するサーバ１０５からなる。
【００１３】
広角カメラ１０１の撮影領域は広角カメラ撮影領域１０２であり、ＰＴＺカメラ１０３の撮影領域はＰＴＺカメラ撮影領域１０４である。ＰＴＺカメラ１０３をパン・チルト・ズーム制御することで、広角カメラ撮影領域１０２の領域内の一部分を拡大して撮影する。
【００１４】
図２は、本実施形態の監視カメラシステムの構成例を示すブロック図である。
広角カメラ１０１は、撮像部２０１と、人体検出・追尾部２０２と、追尾情報送信部２０３とからなる。
ＰＴＺカメラ１０３は、撮像部２０４と、顔認識用ＤＢ部２０５と、顔検出・認識部２０６と、認識情報送信部２０７と、制御情報受信部２０８と、認識処理制御部２０９と、カメラ制御部２１０とからなる。
【００１５】
サーバ１０５は、追尾情報受信部２１１と、認識情報受信部２１２と、追尾情報管理部２１３と、優先順位決定部２１４と、ＰＴＺカメラ管理部２１５と、制御情報送信部２１６とからなり、監視カメラ制御を行う。本実施形態のサーバ１０５は、カメラ制御装置として動作する。
【００１６】
広角カメラ１０１において、撮像部２０１は、監視領域を撮像して連続した領域画像（撮像画像）を作成し、作成した領域画像には、夫々を識別するため画像ＩＤを付与して人体検出・追尾部２０２に出力する。
人体検出・追尾部２０２は、撮像部２０１が作成した監視領域の撮影画像からパターンマッチング処理を行って人体（オブジェクト）を検出する。そして人体検出・追尾部２０２は、フレーム間での位置関係から同定した人体に固有の人体追尾ＩＤ（オブジェクトの識別情報）を付与することで人体（オブジェクト）の追尾処理を行う。
【００１７】
人体検出・追尾部２０２は処理が完了したとき、各人体の固有の人体追尾ＩＤ、画像上の中心点座標、外接矩形の幅・高さ、及び大きさ、移動速度からなる追尾情報を処理実施の度に出力する。人体検出・追尾部２０２は、画像から人体を検出する処理であればよく、パターンマッチング処理に限定されるものではない。輝度勾配・強度による特徴量を用いた人体検出処理など人体を画像から検出する処理であればよい。
【００１８】
追尾情報送信部２０３は、人体検出・追尾部２０２から出力される追尾情報をネットワーク経由でサーバ１０５に送信する。追尾情報送信部２０３の処理は、広角カメラ１０１からサーバ１０５に追尾情報を送信する処理であり、ＬＡＮやシリアル通信など特定の通信方法に限定されるものではない。
【００１９】
ＰＴＺカメラ１０３において、撮像部２０４は、広角カメラ撮影領域１０２の一部を撮像して複数のフレームからなる画像（撮像画像）を生成する。そして、生成した画像には、それぞれを識別するため画像ＩＤを付与する。前述の画像ＩＤは、他のカメラ、つまり広角カメラ１０１の撮像部２０１が付与する画像ＩＤと同期する必要はない。
【００２０】
顔認識用ＤＢ部２０５は、顔を特定の個人として認識するために必要な個人の特徴量を管理するデータベースである。前述の特徴量と特徴量に対応した人物の名前は、予め外部、例えばサーバ１０５から取得して設定する。
【００２１】
顔検出・認識部２０６は、撮像部２０４が作成した画像からパターンマッチング処理により顔を検出するとともに、顔の特徴量を抽出し、顔認識用ＤＢ部２０５が持つ特徴量と比較することで個人の顔検出認識処理を行い、認識処理結果（認証結果）を出力する。そして、人物追尾ＩＤ及び移動方向及び移動速度、及び認識成否の結果、及び成功の場合は顔の位置、及び認識した個人の名前、及び人物識別ＩＤからなる認識情報を、認識処理が実施される度に出力する。
【００２２】
ただし、顔検出・認識部２０６の顔検出認識処理は、認識処理制御部２０９から認識処理実施の命令があった場合に限り行い、認識処理実施命令がない場合には処理を行わない。また、カメラ制御部２１０からＰＴＺ制御開始命令を受信してからＰＴＺ制御終了命令を受信するまでの間、処理を行わない。
なお、顔検出・認識部２０６は、画像から顔を検出し認識する処理であり、パターンマッチング処理に限定されるものではない。Haar-like（ハールライク）特徴量を使用するような高速な検出手法を用いてもよい。
【００２３】
認識情報送信部２０７は、顔検出・認識部２０６から出力される認識情報をネットワーク経由でサーバ１０５に送信する。認識情報送信部２０７の処理は、ＰＴＺカメラ１０３からサーバ１０５に認識情報を送信する処理であり、ＬＡＮやシリアル通信など特定の通信方法に限定されるものではない。
【００２４】
制御情報受信部２０８は、サーバ１０５からパン・チルト・ズームの制御情報、及び顔検出認識処理の実施命令、及び処理対象の人体追尾ＩＤ、及び、移動方向及び移動速度を受信する。
認識処理制御部２０９は、制御情報受信部２０８が受信した情報に基づき、顔検出・認識部２０６に認識処理実施命令を出力し、カメラ制御部２１０にパン・チルト・ズーム制御命令を出力する。
【００２５】
カメラ制御部２１０は、認識処理制御部２０９からのパン・チルト・ズーム制御命令に基づいてカメラのパン・チルト・ズーム制御を行う。すなわちカメラの撮像方向は、カメラ制御部２１０により制御される。パン・チルト・ズーム制御開始時は、顔検出・認識部２０６にＰＴＺ制御開始命令を、パン・チルト・ズーム制御終了時は、顔検出・認識部２０６にＰＴＺ制御終了命令を送信する。
【００２６】
サーバ１０５において、追尾情報受信部２１１は、広角カメラ１０１から追尾情報を受信し、認識情報受信部２１２は、ＰＴＺカメラ１０３から認識情報を受信する。
追尾情報管理部２１３は、追尾情報受信部２１１が受信した追尾情報と認識情報受信部２１２が受信した認識情報とを対応付けて管理する。そして、認証処理を行った時の人物（オブジェクト）の動き情報と認証処理の結果（認識処理結果）とからなる認証処理履歴を生成する。図３に示す追尾管理情報３０１の更新を行う。
【００２７】
図３に、追尾管理情報の一例を示す。
追尾管理情報３０１は、人物追尾ＩＤ（オブジェクトＩＤ）ごとに人物追尾情報３０２を管理する。
人物追尾情報３０２は、人物追尾ＩＤと、人物が最初に出現した時間と、同人物の名前及び人物識別ＩＤと、現在の移動方向及び移動速度と、認識処理失敗時の移動方向及び移動速度と、一つ以上の位置情報３０３とからなる。なお、この他に、加速度、移動パターン、移動量などを動き情報として用いてもよい。
位置情報３０３は、人物の広角カメラ１０１の画像上での位置、及び外接矩形の幅・高さ、大きさ、及び前述の情報を取得した時刻からなる。
【００２８】
追尾情報管理部２１３は、追尾情報受信部２１１から追尾情報を取得する度に、追尾管理情報３０１を更新する。具体的には、追尾管理情報３０１で管理されていない人物追尾ＩＤを持つ追尾情報が存在する場合、人物追尾情報３０２を新規に作成し、最初に出現した時間、現在の移動方向及び移動速度、位置情報３０３を更新する。また、追尾管理情報３０１で管理される人物追尾ＩＤを持つ追尾情報が存在する場合、現在の移動方向及び移動速度、位置情報３０３を更新する。
【００２９】
一方で、追尾管理情報３０１で管理される人物追尾ＩＤを持つ追尾情報が存在しない場合、対応する人物追尾情報３０２を削除する。また、追尾情報管理部２１３は、認識情報受信部２１２から認識情報を取得する度に、追尾管理情報３０１を更新する。ここでは、認識が成功した場合、人物の名前及び人物識別ＩＤを更新する。認識が失敗した場合、認識処理失敗時の移動方向及び移動速度を更新する。
【００３０】
優先順位決定部２１４は、ＰＴＺカメラ１０３で顔認識処理を実施する人物の優先順位(Point・human)を決定する。すなわち優先順位決定部２１４は、複数のオブジェクトのうち、認識処理を適用すべきオブジェクトを決定する。優先順位は、追尾管理情報３０１を参照し、人物追尾ＩＤごとに移動方向（direction）と、移動速度(speed)に基づくポイントと、認証処理結果の履歴における失敗履歴（失敗頻度）に基づくペナルティー(penalty)の合計得点から決定する。下記の式は、ポイント決定の計算式である。ここでは、得点が高いほど優先順位が高いものとする。
【００３１】
【数１】
2014241578.tif 000003
【００３２】
図４に、移動方向及び移動速度の決定方法の一例を示す。
人物４０１の過去の位置４０２と、現在の画像上での位置４０３とを結ぶ線分を移動方向、人物の移動ベクトル４０４とする。本実施形態では、過去の位置情報Ｐｏｓｉｔｉｏｎ（ｎ−４）は現在の位置情報Ｐｏｓｉｔｉｏｎ（ｎ）の４フレーム前の位置情報であるが、フレームの間隔は５フレームに限定されるものではない。移動速度は、線分の画像上での長さ及び２点間の所要時間から決定する。
【００３３】
図５（a）は、移動方向に対するポイント例を図示したものであり、移動方向に基づきポイントを決定する。図５（a）においては、移動方向が画像の下向きに対して、４５°〜−４５°の範囲の場合は１０点、４５°〜９０°もしくは−４５°〜−９０°の範囲の場合は８点とする。また、９０°〜１３５°もしくは−９０°〜−１３５°の範囲の場合は６点、１３５°〜１８０°もしくは−１３５°〜−１８０°の範囲の場合は２点とする。
【００３４】
図５（b）は、移動速度に対するポイント例を図示したものであり、移動速度に基づきポイントを決定する。本実施形態のカメラシステムによれば、移動方向の違いが所定範囲内である複数のオブジェクトが存在する場合、より移動速度が低いオブジェクトを優先的に認識処理させることができる。
一方で、ペナルティーは、現在の移動方向が失敗履歴中の移動方向の±１５°の範囲内となる場合、−３点とする。このように本実施形態では、失敗履歴（失敗頻度）に応じて認識処理させるオブジェクトを決定するためのポイントを下げる。前述した得点計算結果に従い、未認識かつ得点の合計値が最も高い人物をＰＴＺカメラ１０３で認識処理を行う。ただし、優先順位の設定は、一定期間に一度、もしくは、ＰＴＺカメラ１０３での認識処理が成功した後に行う。
【００３５】
本実施形態では、失敗履歴に基づきペナルティーを設定することで優先順位設定を行ったが、本方式に限定されるものではない。本優先順位の設定では、前回の処理の結果を考慮した優先順位の設定方法であればよく、前回の認識処理を実施した期間中の認識情報の安定性に基づいて優先順位を設定する方法でもよい。
【００３６】
具体的には、前回認識処理を実施した期間中の各フレームから得られた認識情報のうち、一定の割合以上で同一人物の認識情報が得られた人物に関しては優先順位が低くなるよう設定する。
一方で、同一人物の認識情報が一定の割合以下、つまりは、フレームごとに異なる結果が得られた人物に対しては優先順位が高くなるよう設定する。
【００３７】
サーバ１０５において、ＰＴＺカメラ管理部２１５は、優先順位決定部２１４が決定した認識処理の対象人物の人物追尾ＩＤと現在の位置情報を管理する。また、現在の位置情報からＰＴＺカメラ１０３のパン・チルト・ズームの制御情報への変換を行う。制御情報への変換処理は、あらかじめ広角カメラ１０１の画像上の位置とＰＴＺカメラのパン角、チルト角、ズーム倍率との変換テーブルを作成して行う。また、認識処理の実施命令を出してからの処理継続時間を計測して管理する。
【００３８】
制御情報送信部２１６は、ＰＴＺカメラ管理部２１５が作成したパン・チルト・ズームの制御情報、及び顔検出認識処理の実施命令、及び処理対象の人体追尾ＩＤ、及び、移動方向及び移動速度を、監視カメラ制御を行うＰＴＺカメラ１０３に送信（通知）する。
【００３９】
図６は、広角カメラ１０１で行なわれる処理手順を説明するフローチャートである。
Ｓ６０１においては、撮像部２０１は画像を取得する。
次に、Ｓ６０２において、人体検出・追尾部２０２は前述の画像から人体の検出及び追尾処理を行う。
Ｓ６０３では、追尾情報送信部２０３にて前述の人体検出・追尾部２０２で行なわれた人体検出追尾処理の追尾結果である追尾情報をサーバ１０５に送信する。そして、Ｓ６０４において処理を継続するか否かの判定を行い、継続する場合にはＳ６０１に戻り、継続しない場合には終了する。
【００４０】
図７は、ＰＴＺカメラ１０３で行なわれる処理手順を説明するフローチャートである。
Ｓ７０１において、認識処理制御部２０９は認識処理実施命令の有無を確認する。認識処理実施の命令がある場合、Ｓ７０２では、カメラ制御部２１０においては、パン・チルト・ズームの制御を行い、Ｓ７０３では、撮像部２０４において画像の取得を行う。そして、Ｓ７０４では、顔検出・認識部２０６は顔検出及び顔認証処理を行い、Ｓ７０５では、認識情報送信部２０７は前述のＳ７０４で行われた顔検出及び顔認証処理の結果をサーバ１０５に送信する。
最後にＳ７０６では、処理を継続するか否かの判定を行い、継続する場合にはＳ７０１に戻り、継続しない場合には終了する。
【００４１】
図８は、サーバ１０５（カメラ制御装置）において優先順位を設定する手順を説明するフローチャートである。
Ｓ８０１において、ＰＴＺカメラ管理部２１５はＰＴＺカメラ１０３にて認識処理を実施中であるか否か、追尾情報管理部２１３から認識処理が成功したか否か、認識処理の継続時間を取得する。
【００４２】
Ｓ８０２において、認識処理実施中であり認識処理が成功しておらず、前述の認識処理の継続時間が終了経過時間以下の場合、現実施中の認識処理を継続する。前述した処理を継続する場合、Ｓ８０３において、ＰＴＺカメラ管理部２１５はＰＴＺカメラ１０３の現認識対象の位置情報に合わせＰＴＺカメラ１０３のパン・チルト・ズームの制御を行う。
【００４３】
一方で、前述の条件外の場合、Ｓ８０４において、優先順位決定部２１４は優先順位の設定を行う。
そして、Ｓ８０５において、前述の優先順位の設定に基づき認識処理の実施か否かの判定を行う。前述の判定において、認識処理を実施する場合、Ｓ８０６において、ＰＴＺカメラ管理部２１５は認識対象の位置情報に合わせＰＴＺカメラ１０３のパン・チルト・ズームの制御、及び顔検出認識処理の実施命令を発行する。
最後にＳ８０７では、処理を継続するか否かの判定を行い、継続する場合にはＳ８０１に戻り、継続しない場合には終了する。
【００４４】
本実施形態においては、ＰＴＺカメラ１０３の数が1台の場合について述べたが、ＰＴＺカメラの数は1台に限定されるものではなく、ＰＴＺカメラは1台以上のシステムでも同様の優先順位に基づく処理を行うことができる。
また、本実施形態においては、ＰＴＺカメラ１０３の制御をパンおよびチルトおよびズームとしたが、カメラの制御方法は前述の方法に限定されるものではない。回転や前後左右への移動、画像の部分切り出しによるデジタルパン、チルト、ズーム制御でもよい。また、本実施形態では、サーバ１０５をカメラ制御装置として動作させる例を説明したが、サーバ１０５の機能を、例えば、広角カメラ１０１やＰＴＺカメラ１０３等に持たせることも可能である。
【００４５】
＜第２の実施形態＞
図９は、本実施形態の単一カメラの監視カメラシステムの一例を示す図である。本実施形態の監視カメラシステムは、パン・チルト・ズーム制御可能なカメラ（ＰＴＺカメラ）９０１と、ＰＴＺカメラ９０１を制御するサーバ９０４からなる。
【００４６】
ＰＴＺカメラ９０１の広角設定時の撮影領域は広角撮影領域９０２であり、ズーム設定時の撮影領域はズーム撮影領域９０３である。ＰＴＺカメラ９０１は、通常は広角設定で撮影を行い、顔検出認識処理を行う場合はズーム設定で撮影を行う。
【００４７】
図１０は、本実施形態の監視カメラシステムの構成例を示すブロック図である。
ＰＴＺカメラ９０１は、撮像部１００１と人体検出・追尾部１００２と追尾情報送信部１００３とを備える。さらに、顔認識用ＤＢ部１００４と顔検出・認識部１００５と認識情報送信部１００６と制御情報受信部１００７と認識処理制御部１００８とカメラ制御部１００９とを備える。
【００４８】
サーバ９０４は、追尾情報受信部１０１０と認識情報受信部１０１１と追尾認識情報管理部１０１２と処理対象決定部１０１３とＰＴＺカメラ管理部１０１４と制御情報送信部１０１５とからなる。
ＰＴＺカメラ９０１において、撮像部１００１は、監視領域を撮像して連続した領域画像を作成し、作成した領域画像には、夫々を識別するため画像ＩＤを付与して人体検出・追尾部１００２と顔検出・認識部１００５に出力する。
【００４９】
人体検出・追尾部１００２は、第１の実施形態の人体検出・追尾部２０２と同一である。
ただし、人体検出・追尾部１００２の人体検出・追尾処理は、認識処理制御部１００８から人体処理実施命令があった場合に限り行い、人体処理実施命令がない場合には処理を行わない。
【００５０】
追尾情報送信部１００３は、第１の実施形態の追尾情報送信部２０３と同一である。
顔認識用ＤＢ部１００４は、第１の実施形態の顔認識用ＤＢ部２０５と同一である。
顔検出・認識部１００５は、第１の実施形態の顔検出・認識部２０６と同一である。
ただし、顔検出・認識部１００５の顔検出認識処理は、認識処理制御部１００８から顔処理実施命令があった場合に限り行い、顔処理実施命令がない場合には処理を行わない。また、カメラ制御部１００９からＰＴＺ制御開始命令を受信してからＰＴＺ制御終了命令を受信するまでの間、処理を行わない。
【００５１】
認識情報送信部１００６は、顔検出・認識部１００５から出力される認識情報をネットワーク経由でサーバ９０４に送信する。認識情報送信部１００６の処理は、ＰＴＺカメラ９０１からサーバ９０４に認識情報を送信する処理であり、ＬＡＮやシリアル通信など特定の通信方法に限定されるものではない。
【００５２】
制御情報受信部１００７は、サーバ９０４からＰＴＺ制御情報、及び人体処理実施命令または顔認識処理実施命令を受信する。
認識処理制御部１００８は、制御情報受信部１００７が人体処理実施命令を受信した場合、人体検出・追尾部１００２に人体処理実施命令を出力し、顔処理実施命令を受信した場合、顔検出・認識部１００５に顔処理実施命令を出力する。また、制御情報受信部１００７がＰＴＺ制御情報を取得した場合、カメラ制御部１００９にＰＴＺ制御命令を出力する。
カメラ制御部１００９は、第１の実施形態のカメラ制御部２１０と同一である。
【００５３】
サーバ９０４において、追尾情報受信部１０１０はＰＴＺカメラ９０１から追尾情報を受信し、認識情報受信部１０１１はＰＴＺカメラ９０１から認識情報を受信する。
追尾認識情報管理部１０１２は、追尾管理情報１１０１と処理履歴情報１１１１とを管理する。
【００５４】
図１１に、追尾管理情報１１０１と処理履歴情報１１１１の一例を示す。
追尾管理情報１１０１は、人物追尾ＩＤごとに人物追尾情報１１０２を管理する。人物追尾情報１１０２は、図１１に示す人物追尾ＩＤと、人物が最初に出現した時間と、現在の移動方向及び移動速度と、一つ以上の位置情報１１０３とからなる。なお、この他に、加速度、移動パターン、移動量などを動き情報として用いてもよい。位置情報１１０３は、ＰＴＺカメラ９０１の広角設定時の人物の画像上での位置、及び外接矩形の幅・高さ、大きさ、及び前述の情報を取得した時刻からなる。
【００５５】
追尾管理情報１１０１の更新は、追尾情報受信部１０１０から追尾情報を取得する度に行う。具体的には、追尾管理情報１１０１で管理されていない人物追尾ＩＤを持つ追尾情報が存在する場合、人物追尾情報１１０２を新規に作成し、最初に出現した時間、現在の移動方向及び移動速度、位置情報１１０３を更新する。
【００５６】
また、追尾管理情報１１０１で管理される人物追尾ＩＤを持つ追尾情報が存在する場合、現在の移動方向及び移動速度、位置情報１１０３を更新する。一方で、追尾管理情報１１０１で管理される人物追尾ＩＤを持つ追尾情報が存在しない場合、対応する人物追尾情報１１０２を削除する。また、ＰＴＺカメラ管理部１０１４から追尾情報削除命令を受信した場合、追尾管理情報１１０１を削除する。
【００５７】
処理履歴情報１１１１は、一つ以上の処理情報１１１２からなる。処理情報１１１２は、顔認証処理を実施した時刻とＰＴＺカメラ９０１の広角設定の画像上における処理領域の矩形座標とパン、チルト、ズームの設定値と顔認証結果の成否からなる情報である。処理履歴情報１１１１は、ＰＴＺカメラ９０１のパン、チルト、ズームを制御して顔認証処理を実施する度に処理情報１１１２を追加する。また、認識情報受信部１０１１から取得した認識情報に従い、顔検出認識処理が成功し人物を特定した場合、顔認証結果に成功を設定し、特定できない場合、顔認証結果に失敗を設定する。
【００５８】
処理対象決定部１０１３は、ＰＴＺカメラ９０１のパン・チルト・ズームを制御して顔検出認識処理を実施する対象を追尾管理情報１１０１が管理する各人物にポイント(Point・human)を設定の上で決定する。各人物のポイントは、次のように決定する。追尾管理情報１１０１を参照し人物追尾ＩＤごとに移動方向（direction）と、移動速度(speed)に基づくポイントと、追尾管理情報１１０１と処理履歴情報１１１１とに基づくペナルティー(penalty)の合計得点から決定する。下記の式は、ポイント決定の計算式である。ここでは、ポイントが最も高い人物を処理対象とする。
【００５９】
【数１】
2014241578.tif 000004
【００６０】
移動方向及び移動速度の決定方法、並びに、移動方向及び移動速度に対するポイントの決定方法は、第１の実施形態と同一である。
ペナルティーは、人体の現在の中心座標が直近顔認識処理を実施した領域内である場合、−５点とする。また、人体の現在の中心座標が過去２〜５回前の前回顔認識処理を実施した内にある場合、−２点とする。前述した得点計算結果に従い、得点の合計値が最も高い人物をＰＴＺカメラ９０１でパン、チルト、ズームの制御を行い、顔認識処理を行う。
【００６１】
本実施形態では、処理履歴情報１１１１に基づきペナルティーを設定することで処理対象を決定したが、本方式に限定されるものではない。処理対象の決定は、過去の処理履歴情報を考慮した処理対象の決定方法であればよく、過去の顔認識処理の結果、より高い確率で成功が得られる領域を優先して処理対象を決定する方法でもよい。
【００６２】
サーバ９０４において、ＰＴＺカメラ管理部１０１４は、ＰＴＺカメラ９０１の処理状態を管理する。本システムの初期時、及び、処理対象決定部１０１３が処理対象を決定していない場合、広角設定で映像撮影するＰＴＺ制御情報と人体処理実施命令を制御情報送信部１０１５に出力する。
【００６３】
一方、処理対象決定部１０１３が処理対象を決定した場合は、以下のようにする。すなわち、ＰＴＺカメラ撮影領域１０４は、対象人物の位置情報１１０３の位置及び矩形に基づき、人物の矩形が撮影領域の８０％以上を満たすようパン、チルト、ズームを制御したＰＴＺ制御情報と顔処理実施命令を、制御情報送信部１０１５に出力する。また、処理対象決定部１０１３が処理対象を決定してからの処理継続時間を計測して管理する。
【００６４】
処理継続時間が予め設定した終了時間を超えた場合、ＰＴＺカメラ撮影領域１０４は、広角設定で映像撮影するＰＴＺ制御情報と人体処理実施命令を制御情報送信部１０１５に出力し、追尾認識情報管理部１０１２に追尾情報削除命令を出力する。
本実施形態においては、対象人物を撮影するとき該人物の矩形領域が撮影領域の８０％以上となるようパン、チルト、ズームの制御を行ったが、前述の制御に限定されるものではない。顔検出認証処理を実施するに当たり十分な解像度が得られるようパン、チルト、ズームの制御を行えばよい。
制御情報送信部１０１５は、ＰＴＺカメラ管理部１０１４が作成したＰＴＺ制御情報、及び顔処理実施命令、または、人体処理実施命令をＰＴＺカメラ９０１に送信する。
【００６５】
図１２は、ＰＴＺカメラ９０１で行なわれる処理手順を説明するフローチャートである。
Ｓ１２０１では、認識処理制御部１００８が出力する処理実施命令に応じて人体処理と顔処理とを切り替える。認識処理制御部１００８が人体処理実施命令を出力した場合、Ｓ１２０２において、撮像部１００１から画像を取得する。
【００６６】
次に、Ｓ１２０３において、人体検出・追尾部１００２は前述の画像から人体検出および追尾処理を行う。
Ｓ１２０４では、追尾情報送信部１００３にて前述の人体検出・追尾部１００２で行なわれた人体検出追尾処理の追尾結果である追尾情報をサーバ９０４に送信する。一方で、認識処理制御部１００８が顔処理実施命令を出力した場合、Ｓ１２０５において、ＰＴＺ制御命令に従いパン、チルト、ズームの制御を行う。ただし、ＰＴＺ制御命令を受信していない場合、パン、チルト、ズームの制御は行わない。
【００６７】
Ｓ１２０６では、顔検出・認識部１００５は、撮像部１００１から画像を取得する。そして、Ｓ１２０７において、顔検出・認識部１００５は顔検出及び顔認証処理を行う。
Ｓ１２０８において、認識情報送信部１００６は前述のＳ１２０７で行われた顔検出及び顔認証処理の結果をサーバ９０４に送信する。
最後にＳ１２０９では、処理を継続するか否かの判定を行い、継続する場合にはＳ１２０１に戻り、継続しない場合には終了する。
【００６８】
図１３は、サーバ９０４の処理手順を説明するフローチャートである。
処理開始時において、ＰＴＺカメラ９０１は広角設定で映像撮影を行う。
Ｓ１３０１では、ＰＴＺカメラ管理部１０１４において人体処理実施命令を作成し、制御情報送信部１０１５において人体処理実施命令をＰＴＺカメラ９０１に送信する。
その後、Ｓ１３０２において、ＰＴＺカメラ９０１から追尾情報の受信待ちを行い、追尾情報受信部１０１０で追尾情報を受信した場合、追尾認識情報管理部１０１２で追尾管理情報１１０１の更新を行う。
【００６９】
そして、Ｓ１３０３では、処理対象決定部１０１３において処理対象の決定処理を行う。Ｓ１３０４において、Ｓ１３０３の決定処理で処理対象が決定したか否かの判定を行う。処理対象が決定した場合、Ｓ１３０５では、ＰＴＺカメラ管理部１０１４においてＳ１３０３の決定処理で決定した処理対象にズームするようパン、チルト、ズームの制御を行うＰＴＺ制御命令を作成する。
【００７０】
Ｓ１３０６では、制御情報送信部１０１５においてＰＴＺ制御命令をＰＴＺカメラ９０１に送信する。
Ｓ１３０７では、ＰＴＺカメラ管理部１０１４において顔処理実施命令を出力してからの処理継続時間を計測し、処理終了か否かの判定を行う。処理を継続する場合、Ｓ１３０８に進み、制御情報送信部１０１５において顔処理実施命令をＰＴＺカメラ９０１に送信する。
Ｓ１３０９において、ＰＴＺカメラ９０１から認識情報の受信待ちを行い、認識情報受信部１０１１で認識情報を受信した場合、追尾認識情報管理部１０１２で処理履歴情報１１１１の更新を行う。
【００７１】
その後、Ｓ１３１０において、処理継続か否かの判定を行う。認識情報に従って顔検出認識処理が成功し人物を特定した場合、Ｓ１３１１に進み、ＰＴＺカメラ管理部１０１４は、広角設定で映像撮影するＰＴＺ制御情報を作成する。
Ｓ１３１２では、制御情報送信部１０１５において前記ＰＴＺ制御命令をＰＴＺカメラ９０１に送信する。
Ｓ１３１３において、処理を継続するか否かの判定を行い、継続する場合にはＳ１３０１に戻り、継続しない場合には終了する。
一方、Ｓ１３１０において、認識情報に従って顔検出認識処理が失敗したと判断した場合、Ｓ１３０７に戻り、処理を継続する。
【００７２】
本実施形態においては、ＰＴＺカメラ９０１の制御をパンおよびチルトおよびズームとしたが、カメラの制御方法は前述の方法に限定されるものではない。回転や前後左右への移動、画像の部分切り出しによるデジタルパン、チルト、ズーム制御でもよい。
【００７３】
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７５】
１０１  広角カメラ
１０２  広角カメラの撮影領域
１０３  ＰＴＺカメラ
１０４  ＰＴＺカメラの撮影領域
１０５  サーバ
３０１  追尾管理情報
３０２  人物追尾情報
３０３  位置情報
９０１  ＰＴＺカメラ
９０２  広角撮影領域
９０３  ズーム撮影領域
９０４  サーバ
【図１】
2014241578.tif 000005
【図２】
2014241578.tif 000006
【図３】
2014241578.tif 000007
【図４】
2014241578.tif 000008
【図５】
2014241578.tif 000009
【図６】
2014241578.tif 000010
【図７】
2014241578.tif 000011
【図８】
2014241578.tif 000012
【図９】
2014241578.tif 000013
【図１０】
2014241578.tif 000014
【図１１】
2014241578.tif 000015
【図１２】
2014241578.tif 000016
【図１３】
2014241578.tif 000017