(57)【要約】【課題】少ない計算量で、且つ高い精度で移動物体を追尾するように撮影装置を制御する。【解決手段】時系列に入力された画像フレームから動きを検出する動き検出部４４と、検出された動きの重心位置を移動物体の重心位置として算出する重心算出部４５２と、算出された移動物体の重心位置が、画像フレームの各方向のフレーム端から所定距離内の領域である回転反応領域内にあるか否かを判定する重心位置解析部４５５と、移動物体の移動速度を算出する移動速度算出部４５６と、移動物体が回転反応領域外である画像フレームの中心付近領域を経由して移動先方向の回転反応領域内に入ったときに、移動物体の重心位置と画像フレームの中心位置との距離に移動物体の移動速度から算出された移動物体の移動量を加算することにより撮影方向を移動させるための制御信号を生成して監視カメラ１に送信するモータ制御部４５７とを備える。【選択図】図１
2009100454.tif 000002
【特許請求の範囲】
【請求項１】
回転により撮影方向を変更する機能を有する撮像装置に移動物体を追尾して撮影させるために、前記撮像装置の撮影方向の回転を制御する移動物体追尾制御装置において、
時系列に入力された、前記撮像装置により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部と、
前記動き検出部において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部と、
前記重心算出部で算出された移動物体の重心位置が、予め設定された、前記画像フレームの各方向のフレーム端から所定距離内の領域である回転反応領域内にあるか否かを判定する重心位置解析部と、
前記重心位置解析部により前記移動物体の重心位置が回転反応領域外の領域である前記画像フレームの中心付近領域にあると判定されたときに、前記重心算出部において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部で算出された前記移動物体の重心位置との差分と、前記画像フレームが入力されるフレームレートとに基づいて前記移動物体の移動速度を算出する移動速度算出部と、
前記移動物体の重心位置が前記回転反応領域外である前記画像フレームの中心付近領域を経由して移動先方向の前記回転反応領域内に入ったときに、前記重心算出部で算出された前記移動物体の重心位置と前記画像フレームの中心位置との距離に、前記移動速度算出部で算出された前記移動物体の移動速度に基づいて算出される前記移動物体の移動量を加算することにより前記撮像装置の回転距離を算出し、この回転距離に基づいて前記撮像装置の撮影方向を回転させるための制御信号を生成して前記撮像装置に送信するモータ制御部と、
を備えることを特徴とする移動物体追尾制御装置。
【請求項２】
回転により撮影方向を変更する機能を有する撮像装置に移動物体を追尾して撮影させるために、前記撮像装置の撮影方向の回転を制御する移動物体追尾制御装置において、
時系列に入力された、前記撮像装置により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部と、
前記動き検出部において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部と、
前記重心算出部において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部で算出された前記移動物体の重心位置との差分と、前記画像フレームが入力されるフレームレートとに基づいて前記移動物体の移動速度を算出する移動速度算出部と、
前記重心算出部において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部で算出された前記移動物体の重心位置とに基づいて単位時間あたりの前記移動物体の移動距離である単位移動距離を算出する単位移動距離算出部と、
前記単位移動距離算出部で算出された前記移動物体の単位移動距離が前記重心算出部で算出された移動物体の重心位置から前記移動物体の移動方向の延長線上の画像フレーム端までの距離より大きいときには前記移動物体の重心位置が画像フレーム内に収まる最終位置であると判定する最終位置判定部と、
前記最終位置判定部において前記移動物体の重心位置が画像フレーム内に収まる最終位置であると判定されたときには前記重心算出部で算出された前記移動物体の重心位置と前記画像フレームの中心位置との距離に、前記移動速度算出部で算出された前記移動物体の移動速度に基づいて算出される前記移動物体の移動量を加算することにより前記撮像装置の回転距離を算出し、この回転距離に基づいて前記撮像装置の撮影方向を回転させるための制御信号を生成して前記撮像装置に送信するモータ制御部と、
を備えることを特徴とする移動物体追尾制御装置。
【請求項３】
回転により撮影方向を変更する機能を有する撮像装置に移動物体を追尾して撮影させるために、前記撮像装置の撮影方向の回転を制御する移動物体追尾制御装置において、
時系列に入力された、前記撮像装置により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部と、
前記動き検出部において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部と、
前記重心算出部で算出された移動物体の重心位置が、予め設定された、前記画像フレームの各方向のフレーム端から所定距離内の領域である回転反応領域内にあるか否かを判定する重心位置解析部と、
前記移動物体の重心位置が前記回転反応領域外である前記画像フレームの中心付近領域を経由して移動先方向の前記回転反応領域内に入ったときに、予め設定された前記移動物体の移動速度と前記撮像装置の撮影方向のチルト角とに基づいて前記撮像装置の回転距離を算出し、この回転距離に基づいて前記撮像装置の撮影方向を回転させるための制御信号を生成して前記撮像装置に送信するモータ制御部と、
を備えることを特徴とする移動物体追尾制御装置。
【請求項４】
回転により撮影方向を変更する機能を有する撮像装置に移動物体を追尾して撮影させるために、前記撮像装置の撮影方向の回転を制御する移動物体追尾制御装置において、
時系列に入力された、前記撮像装置により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部と、
前記動き検出部において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部と、
前記重心算出部において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部で算出された前記移動物体の重心位置との差分と、前記画像フレームが入力されるフレームレートとに基づいて前記移動物体の移動速度を算出する移動速度算出部と、
前記重心算出部において算出された前記移動物体の重心位置と前記移動速度算出部において算出された前記移動物体の移動速度とから、次に入力されるフレームにおける前記移動物体の重心位置である予測重心位置を算出し、前記撮像装置が撮影方向の変更を開始してからの経過時間である回転時間ごとに予め設定された速度で前記撮像装置の撮影方向が回転することにより、前記予測重心位置から前記移動速度算出部で算出された移動速度で移動する前記移動物体が前記画像フレームの所定位置に捉えられるまでの前記撮像装置の回転時間を算出する回転時間算出部と、
前記回転時間算出部で算出された前記撮像装置の回転時間内に、前記移動速度算出部で算出された移動速度で移動する前記移動物体の前記画像フレーム内における移動距離が、前記撮像装置が前記予め設定された速度で撮影方向が回転することにより移動する撮影される視界の移動距離と、前記予測重心位置から前記移動物体の移動方向の延長線上の画像フレーム端までの距離との和よりも大きくなることにより、前記移動物体の重心位置が画像フレーム枠からはみ出す時点があるか否かを判定するフレーム枠内判定部と、
前記フレーム枠内判定部において前記移動物体の重心位置が画像フレーム枠からはみ出す時点があると判定されたときには前記重心算出部で算出された前記移動物体の重心位置と前記画像フレームの中心位置との距離に、前記移動速度算出部で算出された前記移動物体の移動速度に基づいて算出される前記移動物体の移動量を加算することにより前記撮像装置の回転距離を算出し、この回転距離に基づいて前記撮像装置の撮影方向を回転させるための制御信号を生成して前記撮像装置に送信するモータ制御部と、
を備えることを特徴とする移動物体追尾制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列に入力される画像フレームから求められる動き検出結果に基づいて画像フレーム内の移動物体を追尾するように撮像装置を制御する移動物体追尾制御装置に関する。
【背景技術】
【０００２】
従来、監視カメラなどにおいては、パンおよびチルト制御機構を利用することにより、監視員が画面を見て判断して制御することなく、移動物体を自動的に追尾して撮影する機能が知られている。
【０００３】
このような機能においては、予め取得している背景画像と入力画像との輝度差分を求める背景差分法や、前後のフレームとの輝度差分を求めるフレーム差分法などが用いられて画像内の移動物体が検出されることにより、移動物体が追尾される。
【０００４】
そして、特許文献１には、カメラが回転中に被写体のみの動きを検出する手段が記載されている。この特許文献１に記載の動き検出装置では、動きが検出された領域の中心を算出して画面の中心との距離に応じた速度でパンおよびチルトの駆動モータを制御することで、移動物体の中心が画面の中央に滑らかにくるような自動追尾を行うことができる。
【特許文献１】特開２００６−２２９６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、この特許文献１に記載の動き検出装置によりカメラの回転中に移動物体の動きを検出しようとすると、背景差分法やフレーム差分法に比べ、制御を行うための計算量が増大する。そして、このような動き検出および自動追尾の機能は監視カメラに組み込まれることも多く、特許文献１の場合のように計算量が多くなると、これらの機能を実現させるために従来の監視カメラに新たに高価なマイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等のハードウェアを実装しなければならず、コストアップにつながるという問題があった。
【０００６】
そこで、特許文献１記載の技術を利用せずに少ない計算量で移動物体の動きを検出しようとすると、カメラを一旦静止させてから動き検出結果を取得しなければならない。
【０００７】
パンおよびチルト制御機構のモータを有するカメラにおいて、静止状態から最高の速度設定でカメラをパン回転させたときのカメラの移動時間と移動距離との関係を、図２３のグラフに示す。同図のグラフからわかるように、設定値であるパン回転の最高速度に対して、初速は非常に遅い。
【０００８】
そのため、カメラを一旦静止させて動き検出を行う方法を用いて自動追尾を行うためには、（１）動き検出結果の取得、（２）動き検出位置に向かってカメラをパンおよびチルト機能で制御、（３）カメラを静止、の３つの動作を繰り返えさなければならず、（２）によるカメラ制御時の初速の遅い動きでカメラが回転している間に移動物体が画面外に去ってしまい、移動物体を追尾しきれずに機能が発揮されなくなるという問題があった。
【０００９】
そこで、本発明は上記問題に鑑みてなされたものであり、少ない計算量で且つ高い精度で移動物体を追尾するように撮影装置を制御する移動物体追尾制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための、本発明の移動物体追尾装置（４０Ａ）は、回転により撮影方向を変更する機能を有する撮像装置（１）に移動物体を追尾して撮影させるために、前記撮像装置（１）の撮影方向の回転を制御するものであり、時系列に入力された、前記撮像装置（１）により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部（４４）と、前記動き検出部（４４）において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部（４５２）と、前記重心算出部（４５２）で算出された移動物体の重心位置が、予め設定された、前記画像フレームの各方向のフレーム端から所定距離内の領域である回転反応領域内にあるか否かを判定する重心位置解析部（４５５）と、前記重心位置解析部（４５５）により前記移動物体の重心位置が回転反応領域外の領域である前記画像フレームの中心付近領域にあると判定されたときに、前記重心算出部（４５２）において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部（４５２）で算出された前記移動物体の重心位置との差分と、前記画像フレームが入力されるフレームレートとに基づいて前記移動物体の移動速度を算出する移動速度算出部（４５６）と、前記移動物体の重心位置が前記回転反応領域外である前記画像フレームの中心付近領域を経由して移動先方向の前記回転反応領域内に入ったときに、前記重心算出部（４５２）で算出された前記移動物体の重心位置と前記画像フレームの中心位置との距離に、前記移動速度算出部（４５６）で算出された前記移動物体の移動速度に基づいて算出される前記移動物体の移動量を加算することにより前記撮像装置（１）の回転距離を算出し、この回転距離に基づいて前記撮像装置（１）の撮影方向を回転させるための制御信号を生成して前記撮像装置（１）に送信するモータ制御部（４５７）とを備えることを特徴とする。
【００１１】
また、本発明の他の形態の移動物体追尾制御装置（４０Ｂ）は、回転により撮影方向を変更する機能を有する撮像装置（２）に移動物体を追尾して撮影させるために、前記撮像装置（２）の撮影方向の回転を制御するものであり、時系列に入力された、前記撮像装置（１）により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部（４４）と、前記動き検出部（４４）において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部（４５２）と、前記重心算出部（４５２）において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部（４５２）で算出された前記移動物体の重心位置との差分と、前記画像フレームが入力されるフレームレートとに基づいて前記移動物体の移動速度を算出する移動速度算出部（４５６）と、前記重心算出部（４５２）において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部（４５２）で算出された前記移動物体の重心位置とに基づいて単位時間あたりの前記移動物体の移動距離である単位移動距離を算出する単位移動距離算出部（４５８）と、前記単位移動距離算出部（４５８）で算出された前記移動物体の単位移動距離が前記重心算出部（４５２）で算出された移動物体の重心位置から前記移動物体の移動方向の延長線上の画像フレーム端までの距離より大きいときには前記移動物体の重心位置が画像フレーム内に収まる最終位置であると判定する最終位置判定部（４５９）と、前記最終位置判定部（４５９）において前記移動物体の重心位置が画像フレーム内に収まる最終位置であると判定されたときには前記重心算出部（４５２）で算出された前記移動物体の重心位置と前記画像フレームの中心位置との距離に、前記移動速度算出部（４５６）で算出された前記移動物体の移動速度に基づいて算出される前記移動物体の移動量を加算することにより前記撮像装置（２）の回転距離を算出し、この回転距離に基づいて前記撮像装置（２）の撮影方向を回転させるための制御信号を生成して前記撮像装置（２）に送信するモータ制御部（４５７）とを備えることを特徴とする。
【００１２】
また、本発明の他の形態の移動物体追尾制御装置（４０Ｃ）は、回転により撮影方向を変更する機能を有する撮像装置（３）に移動物体を追尾して撮影させるために、前記撮像装置（３）の撮影方向の回転を制御するものであり、時系列に入力された、前記撮像装置（１）により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部（４４）と、前記動き検出部（４４）において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部（４５２）と、前記重心算出部（４５２）で算出された移動物体の重心位置が、予め設定された、前記画像フレームの各方向のフレーム端から所定距離内の領域である回転反応領域内にあるか否かを判定する重心位置解析部（４５５）と、前記移動物体の重心位置が前記回転反応領域外である前記画像フレームの中心付近領域を経由して移動先方向の前記回転反応領域内に入ったときに、予め設定された前記移動物体の移動速度と前記撮像装置（３）の撮影方向のチルト角とに基づいて前記撮像装置（３）の回転距離を算出し、この回転距離に基づいて前記撮像装置（３）の撮影方向を回転させるための制御信号を生成して前記撮像装置（３）に送信するモータ制御部（４５７）とを備えることを特徴とする。
【００１３】
また、本発明の他の形態の移動物体追尾制御装置（４０Ｄ）は、回転により撮影方向を変更する機能を有する撮像装置に移動物体を追尾して撮影させるために、前記撮像装置の撮影方向の回転を制御する移動物体追尾制御装置において、時系列に入力された、前記撮像装置により撮影され生成された画像フレームの、最新の画像フレームと所定期間前に入力された画像フレームとを比較して動きを検出する動き検出部と、前記動き検出部において検出された動きの重心位置を前記移動物体の重心位置として算出する重心算出部と、前記重心算出部において算出された前記移動物体の重心位置と前記所定期間前に画像フレームが入力された際に前記重心算出部で算出された前記移動物体の重心位置との差分と、前記画像フレームが入力されるフレームレートとに基づいて前記移動物体の移動速度を算出する移動速度算出部と、前記重心算出部において算出された前記移動物体の重心位置と前記移動速度算出部において算出された前記移動物体の移動速度とから、次に入力されるフレームにおける前記移動物体の重心位置である予測重心位置を算出し、前記撮像装置が撮影方向の変更を開始してからの経過時間である回転時間ごとに予め設定された速度で前記撮像装置の撮影方向が回転することにより、前記予測重心位置から前記移動速度算出部で算出された移動速度で移動する前記移動物体が前記画像フレームの所定位置に捉えられるまでの前記撮像装置の回転時間を算出する回転時間算出部と、前記回転時間算出部で算出された前記撮像装置の回転時間内に、前記移動速度算出部で算出された移動速度で移動する前記移動物体の前記画像フレーム内における移動距離が、前記撮像装置が前記予め設定された速度で撮影方向が回転することにより移動する撮影される視界の移動距離と、前記予測重心位置から前記移動物体の移動方向の延長線上の画像フレーム端までの距離との和よりも大きくなることにより、前記移動物体の重心位置が画像フレーム枠からはみ出す時点があるか否かを判定するフレーム枠内判定部と、前記フレーム枠内判定部において前記移動物体の重心位置が画像フレーム枠からはみ出す時点があると判定されたときには前記重心算出部で算出された前記移動物体の重心位置と前記画像フレームの中心位置との距離に、前記移動速度算出部で算出された前記移動物体の移動速度に基づいて算出される前記移動物体の移動量を加算することにより前記撮像装置の回転距離を算出し、この回転距離に基づいて前記撮像装置の撮影方向を回転させるための制御信号を生成して前記撮像装置に送信するモータ制御部とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明の移動物体追尾制御装置によれば、少ない計算量で且つ高い精度で移動物体を追尾するように撮影装置を制御することができる。
【発明を実施するための最良の形態】
【００１５】
《第１実施形態》
〈第１実施形態による監視カメラの構成〉
本発明の第１実施形態である移動物体追尾制御装置を内蔵した監視カメラの構成を、図１を参照して説明する。同図に示すように、本実施形態を適用した監視カメラ１は、撮像素子１０と、画像入力部２０と、画像出力部３０と、移動物体追尾制御装置４０Ａと、モータ部５０とを備えている。
【００１６】
撮像素子１０は、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）やＣＣＤイメージセンサ（Charge Coupled Devices Image Sensor）などであり、撮影時に入射された入射光をレンズなどの光学系により結像し、この像による明暗を電荷の量に光電変換し、この電荷の量を順次読み出して電気信号に変換する。画像入力部２０は、撮像素子１０で変換された電気信号をデジタルデータに変換し、逐次画像フレームを生成する。画像出力部３０は、画像入力部２０で生成された画像フレームを画像表示信号に変換し、外部のＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイなどの表示装置に出力する。また画像出力部３０は、ＤＶＤ（Digital Versatile Disc）などの記憶媒体に記憶させるためにＤＶＤドライブ等に出力するときには、複数の画像フレームを符号圧縮化してＭＰＥＧ（Moving Picture Experts Group）データとして出力する。
【００１７】
移動物体追尾制御装置４０Ａは、操作入力部４１と、設定値記録部４２と、メモリ４３と、動き検出部４４と、パン・チルト制御部４５Ａとを備えている。
【００１８】
操作入力部４１は、動き検出部４４において動き検出処理が実行される間隔であるフレーム間隔、動き検出部４４において動き検出を行う際に利用される閾値、パン・チルト制御部４５Ａにおいて後述するパン・チルト制御を行うか否かの判定に利用される回転反応領域Ｒの位置等を、ユーザの操作により設定値として入力する。
【００１９】
操作入力部４１により設定する回転反応領域Ｒの一例を、図２に示す。回転反応領域Ｒは、画像フレームの上下左右の枠から所定距離内の領域であり、図２においては斜線で示すように、所定数のブロックに分割された画像フレーム中の、上下左右の枠から２ブロックに該当する領域が回転反応領域Ｒとして設定されている。
【００２０】
設定値記録部４２は、操作入力部４１から入力された設定値を記録する。メモリ４３は、動き検出部４４で画像入力部２０から取得された所定期間前の画像フレームを記録する。動き検出部４４は、画像入力部２０で生成された画像フレームを取得し、設定値記録部４２に記録されたフレーム間隔で、取得した画像フレームとメモリ４３に記録された所定期間前の画像フレームとを比較して、画像フレーム内に移動物体による動きを検出する。
【００２１】
パン・チルト制御部４５Ａは、回転判定設定部４５１と、重心算出部４５２と、無検出時間測定タイマ４５３と、タイマ制御部４５４と、重心位置解析部４５５と、移動速度算出部４５６と、モータ制御部４５７とを備えている。
【００２２】
回転判定設定部４５１は、パン・チルト制御を行うか否かのうち、制御を行う状態である回転判定on状態、または制御を行わない状態である回転判定off状態に設定する。重心算出部４５２は、動き検出部４４において動きが検出されたときに、この動きの重心位置を移動物体の重心位置として算出する。無検出時間測定タイマ４５３は、動き検出部４４において動きが検出されていない時間を計測する。タイマ制御部４５４は、無検出時間測定タイマ４５３のリセットを行う。重心位置解析部４５５は、重心算出部４５２において算出された移動物体の重心位置が、予め設定され設定値記録部４２に記録された回転反応領域Ｒ内に入っているか否かを判定する。移動速度算出部４５６は、重心算出部４５２で算出された移動物体の重心位置の移動速度を算出して記憶する。
【００２３】
モータ制御部４５７は、重心位置解析部４５５により移動物体の重心位置が回転反応領域Ｒ内であると判定され、且つ回転判定設定部４５１において回転判定をonに設定したとき、つまり、移動物体が移動元方向の回転反応領域から入り、回転反応領域Ｒ外である画像フレームの中心付近領域を経由して移動先方向の回転反応領域Ｒ内に入ったときには、重心算出部４５２で算出された移動物体の重心位置と画像フレームの中心位置との距離に、移動速度算出部４５６で算出された移動速度に基づいて算出される移動物体の移動量を加算することにより、パン・チルト制御を行うためのコマンドを発行しモータ部５０に送出する。
【００２４】
モータ部５０は、モータ制御部４５７で発行されたコマンドを取得し、このコマンドに従って監視カメラ１のレンズの向きを操作する。
【００２５】
〈第１実施形態による監視カメラの動作〉
次に、本実施形態において、監視カメラ１で移動物体を追尾して撮影するときの処理について説明する。
【００２６】
図３は、監視カメラ１で移動物体を追尾して撮影するときの移動物体追尾制御装置４０Ａの動作を示すフローチャートである。本実施形態においては、予め動き検出部４４において動き検出処理が実行されるフレーム間隔、および動き検出部４４において利用される閾値、パン・チルト制御を行うか否かの判定に利用される回転反応領域Ｒの位置が設定値としてユーザの操作により操作入力部４１から入力され、設定値記録部４２に記録されている。
【００２７】
監視カメラ１に電源が投入されると、初期設定として、移動物体追尾制御装置４０Ａ内のパン・チルト制御部４５Ａの回転判定設定部４５１において、パン・チルト制御を行うか否かの判定が行われない状態である回転判定off状態に設定されるとともに、後述するように移動速度算出部４５６で記憶される移動速度が「０」に初期化される（Ｓ１）。
【００２８】
ステップＳ１において回転判定off状態に設定されることにより、例えば図４に示すように移動物体である人物Ｐが撮影エリアＡ内を矢印方向に横切るために撮影エリアＡの外から撮影エリアＡ右端に差し掛かったとき、監視カメラのレンズが人物Ｐの移動方向と逆の画面右端方向に動くことが禁止されて人物Ｐの動きと同方向へのみ動き、滑らかな制御で人物Ｐが追尾される。
【００２９】
このように初期設定された状態で監視カメラ１により撮影が開始され入射光が入射されると、撮像素子１０において入射光による明暗が電荷の量に光電変換され、この電荷の量が順次読み出されて電気信号に変換される。撮像素子１０で変換された電気信号は、画像入力部２０においてデジタルデータに変換され、画像フレームが逐次生成される。
【００３０】
画像入力部２０で生成された画像フレームは画像出力部３０において画像表示信号に変換されて外部の表示装置に表示されるか、または、複数の画像フレームが符号圧縮化されてＭＰＥＧデータとして出力記録装置に記録される。
【００３１】
一方、画像入力部２０で生成された画像フレームは動き検出部４４でも取得され、動き検出部４４からメモリ４３に送出されて記録される（Ｓ２）。
【００３２】
動き検出部４４では、取得された現在の画像フレームと、ステップＳ２の処理によりメモリ４３に既に記録されている所定期間前の画像フレームとが比較され、画像フレーム内に動きがあるか否かが判定され動きが検出される（Ｓ３）。
【００３３】
この動きが検出されるときの動き検出部４４における詳細な処理について、図５のフローチャートを参照して説明する。
【００３４】
まず動き検出部４４において、画像入力部２０から取得された画像フレームＸが、図６に示すように水平方向にｍ個、垂直方向にｎ個となるように複数（ｍ×ｎ個）の位置のブロックＸ(0,0)〜ブロックＸ(n-1,m-1)に分割される（Ｓ２１）。
【００３５】
画像フレームＸが複数のブロックＸ(0,0)〜ブロックＸ(n-1,m-1)に分割されると、各ブロックＸ内の全画素の輝度平均値であるｘ(i,j)[i=0,1,…m-1、j=0,1,…n-1]が算出され（Ｓ２２）、参照画像フレームとしてメモリ４３に記録される（Ｓ２３）。
【００３６】
この輝度平均値の算出および記録は、画像フレームＸ内のすべてのブロックに対する処理が終了するまで繰り返し行われる（Ｓ２４）。
【００３７】
次に動き検出部４４では、設定値記録部４２に記録されたフレーム間隔が経過するまで処理が待機される（Ｓ２５）。このフレーム間隔とは動き検出処理が実行される間隔を示すフレーム数であり、最小値は「１」である。このフレーム間隔の値が小さい程、動きの早い移動物体を取り逃がすことなく検出することができるが、動き検出部４４の負荷は大きくなる。
【００３８】
ステップＳ２５において、所定のフレーム間隔が経過したと判断されたときには（Ｓ２５の「YES」）、このときに新たに取得された動き検出対象の画像フレームＹが、前述の画像フレームＸと同様に複数のブロックＹ(0,0)〜ブロックＹ(n-1,m-1)に分割され、各ブロックＹ内の全画素の輝度平均値であるｙ(i,j)[i=0,1,…m-1、j=0,1,…n-1]が算出される（Ｓ２６）。
【００３９】
各ブロックＹの輝度平均値ｙ(i,j)が算出されると、これらの各ブロックＹに対応する画像フレームＸのブロックＸの輝度平均値ｘ(i,j)がそれぞれメモリ４３から読み出されて輝度平均値ｘ(i,j)と輝度平均値ｙ(i,j)との差分が算出され、さらにこの差分が予め設定値として設定値記録部４２に記憶された閾値（感度）Thを超えているか否かが判定される（Ｓ２７）。すなわち、下記式（１）が満たされているか否かが判定される。
【００４０】
［数１］
｜ｙ(i,j)−ｘ(i,j)｜ ＞ Th      （１）
判定の結果、上記式（１）が満たされているときには（Ｓ２７の「YES」）、当該ブロックＸ(i,j)からブロックＹ(i,j)において動きがあったと判断される（Ｓ２８）。
【００４１】
一方、判定の結果、上記式（１）が満たされていないときには（Ｓ２７の「NO」）、当該ブロックＸ(i,j)からブロックＹ(i,j)において動きがなかったと判断される（Ｓ２９）。
【００４２】
動きの有無が判断に利用されたブロックＹ(i,j)の輝度平均値ｙ(i,j)は、次回の動き検出処理において参照される過去のブロックＸ(i,j)の輝度平均値ｘ(i,j)として、メモリ４３に記録される（Ｓ３０）。
【００４３】
この輝度平均値の算出および記録は、画像フレームＹ内のすべてのブロックに対する処理が終了するまで繰り返し行われる（Ｓ３１）。
【００４４】
画像フレームＹ内のすべてのブロックに対する処理が終了すると（Ｓ３１の「YES」）、ブロック毎の動きの有無が動き検出結果として出力される（Ｓ３２）。
【００４５】
動き検出結果が出力されるとステップＳ２５に戻り、所定フレーム間隔でステップＳ２６〜Ｓ３２の処理が繰り返される。
【００４６】
以上により、画像フレーム内の動きが検出されるときの処理の説明を終了し、図３のフローチャートの説明に戻る。
【００４７】
上述した動き検出処理により、検出対象の画像フレームにおいて少なくとも１ブロックで動きが検出されたか否かが判断される（Ｓ４）。
【００４８】
少なくとも１ブロックで動きが検出されていたときは（Ｓ４の「YES」）、パン・チルト制御部４５Ａの重心算出部４５２において動きの重心位置が移動物体の重心位置として算出される（Ｓ５）。
【００４９】
本実施形態においてこの移動物体の重心位置は、下記式（２）に示すように、動きが検出されたブロックＹ(i,j)の座標値の合計を、動きが検出されたブロックＹの数で割ることにより算出される。
【００５０】
［数２］
水平方向の重心＝（Σi）／動きが検出されたブロック数
垂直方向の重心＝（Σj）／動きが検出されたブロック数      （２）
この移動物体の重心位置が算出されると、動きがない無検出時間を計測する無検出時間測定タイマ４５３がタイマ制御部４５４により「０」にリセットされる（Ｓ６）とともに、移動物体の重心位置が図２のように設定された回転反応領域Ｒ内に入っているか否かが重心位置解析部４５５により解析され判定される（Ｓ７）。
【００５１】
重心位置解析部４５５により移動物体の重心位置が回転反応領域Ｒ外である画像フレームの中心付近の領域にあると判定されたときは（Ｓ７の「NO」）パン・チルト制御は行われないが、後に移動物体の重心位置が回転反応領域Ｒ内に入ったときにはパン・チルト制御が行われるようにするために、回転判定設定部４５１により回転判定on状態に設定される。
【００５２】
つまり、移動物体の重心位置が画像フレームの中心付近にあるときにはパン・チルト制御は行われないが、このように一旦画像フレームの中心付近に移動物体の重心位置が捕らえられることにより初めて、パン・チルト制御が行われる状態であるの回転判定on状態に設定される。そして、検出された移動物体の重心位置の水平方向と垂直方向とのそれぞれに対する移動速度が下記式（３）により移動速度算出部４５６において算出される（Ｓ８）。
【００５３】
［数３］
移動速度＝（前回の重心位置−今回の重心位置）／動き検出間隔      （３）
ここで、動き検出間隔は、下記式（４）により算出される。
【００５４】
［数４］
動き検出間隔＝動き検出のフレーム間隔×撮像素子１０および画像入力部２０において
１フレームの処理に要する時間      （４）
ステップＳ８において回転判定がonに設定されるとともに移動速度が算出されると、ステップＳ３に戻り、動き検出処理が続けられる。
【００５５】
一方、ステップＳ４において動きが検出されたブロックがないと判断されたときには（Ｓ４の「NO」）、動きがない無検出時間を計測する無検出時間測定タイマ４５３において計測が開始される（Ｓ９）。
【００５６】
次に、この無検出時間測定タイマ４５３における無検出時間の計測時間が、予め設定された所定時間に達したか否かが判定され（Ｓ１０）、所定時間に達していた場合（Ｓ１０の「YES」）は回転判定設定部４５１において回転判定がoff状態に戻され（Ｓ１１）、さらにステップＳ３から動き検出処理から繰り返される。
【００５７】
この所定時間は、移動物体がない状態に移ったかまたは検出された動きは誤検出であったと判断するための時間であり、例えば５秒、または１０秒程度である。
【００５８】
ステップＳ１０において無検出時間の計測時間が予め設定された所定時間に達していなかったと判定されたときには（Ｓ１０の「NO」）、そのままステップＳ３に戻り動き検出処理から繰り返される。
【００５９】
ステップＳ７において重心位置解析部４５５により移動物体の重心位置が回転反応領域Ｒ内であると判定されたときは（Ｓ７の「YES」）、モータ制御部４５７によりパン・チルト制御を行うか否かの状態を示す回転判定がoffであるかonであるかが判定される（Ｓ１２）。
【００６０】
モータ制御部４５７において回転判定がoffであると判定されたときには（Ｓ１２の「YES」）移動物体が画像フレームの外から入ってきたときであるためパン・チルト制御は行われずにステップＳ３に戻り動き検出処理が繰り返され、回転判定がonであると判定されたときには（Ｓ１２の「NO」）移動物体が移動元方向の回転反応領域Ｒから入り画像フレームの中心付近領域を経由して移動先方向の回転反応領域Ｒに入ったときであると判断され、移動物体を画像フレームの外に取り逃がさないようにモータ部５０にパン・チルト制御を行わせて追尾するためのコマンド発行処理が行われる（Ｓ１３）。
【００６１】
ここで、前述したとおりモータによりカメラを回転させるときの初速が遅いため、このパン・チルト制御を行うためのコマンド発行処理を行う際は一度になるべく大きく距離を動かしてモータの能力を高く引き出したほうが移動物体に対する追尾性能が高くなる。
【００６２】
具体的には下記式（５）のように算出された回転距離でモータ部５０によりカメラが回転されるように、パン・チルト制御を行うためのコマンドが発行される。
【００６３】
［数５］
カメラの回転距離＝移動物体の重心位置と画像フレーム中心位置との距離＋移動物体の
移動距離
＝移動物体の重心位置と画像フレーム中心位置との距離＋移動物体の
移動速度×移動時間      （５）
このように、移動物体の重心位置と画像フレーム中心位置との距離に加え、移動速度にも応じて算出されたカメラの回転距離で監視カメラ１が回転されるようにモータ制御部４５７でコマンドが発行されることにより、追尾の性能が高くなり、適切に追尾が行われる。
【００６４】
モータ制御部４５７でコマンドが発行されるとこのコマンドがモータ部５０に送出され、モータ部５０においてパン・チルト制御が行われることにより移動物体が追尾される（Ｓ１４）。このとき発行されるコマンドにおける回転方向は、移動物体の移動方向に回転するようにパン角、チルト角が設定される。
【００６５】
モータ部５０によるパン・チルト制御が終了すると監視カメラ１の回転がストップされるまで監視され（Ｓ１５の「NO」）、監視カメラ１の回転がストップされると（Ｓ１５の「YES」）ステップＳ３に戻り動き検出処理から繰り返される。
【００６６】
この監視カメラ１の回転がストップされたか否かは、ステップＳ１４におけるパン・チルト制御において監視カメラ１の回転がストップするまでの時間を算出してこの時間が経過するまでカウントすることにより判断してもよいし、パン角とチルト角がモータ制御部４５７からモータ部５０にコマンドで設定された角度になるまで監視することにより判断してもよい。
【００６７】
以上の第１実施形態によれば、移動物体の位置と移動速度とに基づいてパン・チルト制御を行うため、高精度に移動物体を追尾して撮影を行うことができる。
【００６８】
また、第１実施形態によれば、撮影エリア外から入って来た移動物体に対しては画像フレームの中心付近に来るまでパン・チルト制御を行わないため、移動物体の移動方向と逆にカメラを回転させてしまうような無駄な追尾が行われることを避けることができる。
【００６９】
《第２実施形態》
第１実施形態において説明したとおり、移動物体を追尾する際に移動物体の移動速度に応じて監視カメラをなるべく大きい距離で回転させるほうが追尾性能は高くなる。
【００７０】
さらに追尾性能を高めるためには、式（５）においてカメラの回転距離が算出される際に移動物体の重心位置と画像フレームの中心位置との距離が利用されることから、なるべく画像フレーム枠に近い位置で移動物体が検出されたときに監視カメラのパン・チルト制御が開始されることが望ましい。
【００７１】
たとえば、図７に示すように複数のブロックに分割された画像フレーム内を移動物体が矢印方向に移動するときに丸印の位置で移動物体の重心位置が検出されるとすると、画像フレーム内に収まる最終位置である位置ｂに移動物体があるときにパン・チルト制御が開始されることが望ましい。
【００７２】
この図７の場合、回転反応領域Ｒが画像フレームの枠から３ブロック分であると、移動物体が位置ｃに来たときにパン・チルト制御が開始されてしまう。また、回転反応領域Ｒが画像フレーム枠から１ブロック分であると、移動物体を撮影画面の外に取り逃がしてしまい追尾することができなくなってしまう。
【００７３】
この図７の場合は回転反応領域Ｒが画像フレーム枠から２ブロック分であれば適切であるが、この回転反応領域Ｒは移動物体の移動速度や移動方向などにより適切な大きさが異なる。
【００７４】
そこで、第２実施形態では、移動物体の速度に応じて移動物体が画像フレームの外に出る直前の最終位置を検出し、この位置でパン・チルト制御を行うようにする。
【００７５】
〈第２実施形態による監視カメラの構成〉
本発明の第２実施形態である移動物体追尾制御装置を内蔵した監視カメラの構成を、図８を参照して説明する。同図に示すように、本実施形態を適用した監視カメラ２は、第１実施形態におけるパン・チルト制御部４５Ａに代わってパン・チルト制御部４５Ｂを有する他は、第１実施形態の構成と同様であるため、詳細な説明は省略する。
【００７６】
パン・チルト制御部４５Ｂは、重心算出部４５２と、移動速度算出部４５６と、モータ制御部４５７と、単位移動距離算出部４５８と、最終位置判定部４５９とを備えている。
【００７７】
重心算出部４５２は、動き検出部４４において動きが検出されたときに、この動きの重心位置を移動物体の重心位置として検出する。移動速度算出部４５６は、重心算出部４５２で算出された移動物体の重心位置の移動速度を算出して記憶する。モータ制御部４５７は、後述する最終位置判定部４５９により移動物体の重心位置が画像フレーム内に収まる最終位置であると判定されたときには、重心算出部４５２で算出された移動物体の重心位置と画像フレームの中心位置との距離に、移動速度算出部４５６で算出された移動速度に基づいて算出される移動物体の移動量を加算することにより、パン・チルト制御を行うためのコマンドを発行しモータ部５０に送出する。
【００７８】
単位移動距離算出部４５８は、重心算出部４５２で算出された移動物体の重心位置の単位時間あたりの移動距離である単位移動距離を算出して記憶する。最終位置判定部４５９は、単位移動距離算出部４５８で算出された単位移動距離と、移動物体の重心位置から移動物体の移動方向の延長線上の画像フレーム端までの距離とを比較し、単位移動距離の方が大きいときには移動物体の重心位置が画像フレーム内に収まる最終位置であると判定し、単位移動距離の方が小さいときには移動物体の重心位置が画像フレーム内に収まる最終位置ではないと判定する。
【００７９】
〈第２実施形態による監視カメラの動作〉
次に、本実施形態において、監視カメラ２で移動物体を追尾して撮影するときの処理について説明する。
【００８０】
図９は、監視カメラ２で移動物体を追尾して撮影するときの移動物体追尾制御装置４０Ｂの動作を示すフローチャートである。本実施形態においては、予め動き検出部４４において動き検出処理が実行されるフレーム間隔、および動き検出部４４において利用される閾値が設定値としてユーザの操作により操作入力部４１から入力され、設定値記録部４２に記録されている。
【００８１】
監視カメラ２に電源が投入されると、初期設定として、移動物体追尾制御装置４０Ｂ内のパン・チルト制御部４５Ｂの移動速度算出部４５６で記憶される移動速度および単位移動距離算出部４５８で記憶される単位移動距離が「０」に初期化される（Ｓ４１）。
【００８２】
このように初期設定された状態で監視カメラ２により撮影が開始され入射光が入射されると、第１実施形態と同様の処理で撮影された画像の画像フレームが表示装置等に出力されるとともに、動き検出部４４で取得されてメモリ４３に送出され記録される（Ｓ４２）。
【００８３】
また、動き検出部４４では、取得された現在の画像フレームと、ステップＳ４２の処理によりメモリ４３に既に記録されている所定期間前の画像フレームとが比較され、画像フレーム内に動きがあるか否かが判定され動きが検出される（Ｓ４３）。
【００８４】
この動きが検出されるときの動き検出部４４における詳細な処理は、第１実施形態において図５のフローチャートを用いて説明した処理と同様であるため、詳細な説明は省略する。
【００８５】
動き検出部４４により動き検出処理が行われると、検出対象の画像フレームにおいて少なくとも１ブロックで動きが検出されたか否かが判断される（Ｓ４４）。
【００８６】
少なくとも１ブロックで動きが検出されていたときは（Ｓ４４の「YES」）、パン・チルト制御部４５Ｂの重心算出部４５２において動きの重心位置が移動物体の重心位置として算出される（Ｓ４５）。
【００８７】
この移動物体の重心位置の算出処理は、第１実施形態において式（２）を用いて説明した重心位置の算出処理と同様であるため詳細な説明は省略する。
【００８８】
移動物体の重心位置が算出されると、今回の動き検出が最初の動き検出である場合（前回の動き検出処理で動きが検出されていない場合）（Ｓ４６の「YES」）は、ステップＳ４３に戻り、再度動き検出処理が行われる。
【００８９】
今回の動き検出が最初の動き検出ではない場合（Ｓ４６の「NO」）は、検出された移動物体の重心位置の移動速度が移動速度算出部４５６において算出されるとともに、移動物体の重心位置の動き検出時間間隔あたりの移動距離である単位移動距離が単位移動距離算出部４５８において算出される（Ｓ４７）。
【００９０】
この移動物体の重心位置の移動速度の算出処理は、第１実施形態において式（３）および（４）を用いて説明した移動速度の算出処理と同様であるため、詳細な説明は省略する。
【００９１】
また、単位移動距離（動き検出間隔当たりの移動距離）は、下記式（６）により算出される。
【００９２】
［数６］
単位移動距離＝｜前回の重心位置−今回の重心位置｜      （６）
次に、最終位置判定部４５９において、単位移動距離算出部４５８で算出された単位移動距離と、移動物体の重心位置から移動物体の移動方向の延長線上の画像フレーム端までの距離とが比較されることにより、移動物体の重心位置が画像フレーム内に収まる最終位置であるか否かが判定される（Ｓ４８）。
【００９３】
この移動物体の重心位置が画像フレーム内に収まる最終位置であるか否かの判定は、下記式（７）を満たすか否かにより行われる。
【００９４】
［数７］
単位移動距離  ＞  移動物体の重心位置から移動方向の延長線上の画像フレーム端まで
の距離＋α      （７）
ここで、αは任意に設定できる定数値であり、単位移動距離の測定誤差や移動物体による速度変化を吸収するためのものである。
【００９５】
判定の結果、単位移動距離の方が大きく上記式（７）を満たす場合には移動物体の重心位置が画像フレーム内に収まる最終位置であると判定される（Ｓ４８の「YES」）。
【００９６】
移動物体の重心位置が画像フレーム内に収まる最終位置であると判定されると、移動物体が画像フレームの外に出ないようにモータ部５０にパン・チルト制御を行わせて追尾するためのコマンド発行処理が行われる（Ｓ４９）。
【００９７】
このコマンド発行処理は、第１実施形態において式（５）を用いて説明したコマンド発行処理と同様であるため、詳細な説明は省略する。
【００９８】
コマンド発行処理が行われた後のステップＳ５０およびＳ５１の処理は、第１実施形態における図３のステップＳ１４およびＳ１５の処理と同様であるため、詳細な説明は省略する。
【００９９】
また、ステップＳ４８において、単位移動距離の方が小さく上記式（７）を満たさない場合には次の動き検出においても移動物体を捉えることができると考えられ、移動物体の重心位置が画像フレーム内に収まる最終位置ではないと判定され（Ｓ４８の「NO」）、ステップＳ４３に戻り、動き検出処理から繰り返される。
【０１００】
また、ステップＳ４４において動きが検出されたブロックがないと判断されたときには（Ｓ４４の「NO」）、移動物体の重心位置が画像フレーム内に収まる最終位置を取り逃がした場合を考慮し、前回の動き検出処理で動きが検出されていたか否かが判定される（Ｓ５２）。
【０１０１】
前回の動き検出処理で動きが検出されていたときには（Ｓ５２の「YES」）、ステップＳ４９に移り前回の動き検出結果を基にコマンド発行処理が行われる。前回の動き検出処理で動きが検出されていないときには（Ｓ５２の「NO」）、ステップＳ４３に戻り、動き検出処理から繰り返される。
【０１０２】
以上の第２実施形態によれば、移動物体が画像フレームの枠から外に出る直前に移動物体の位置と移動速度とに基づいてパン・チルト制御を行うため、さらに高精度に移動物体を追尾して撮影を行うことができる。
【０１０３】
また、第２実施形態によれば、移動物体の速度変化等により移動物体の重心位置が画像フレーム内に収まる最終位置を取り逃がしてしまった場合にも、前回の動き検出に基づき続けて追尾して撮影を行うことができる。
【０１０４】
本実施形態の監視カメラ２においては、単位移動距離を動きが検出される都度算出される場合について説明したが、数回の動き検出により算出された値の平均値を採用して移動物体の重心位置が画像フレーム内に収まる最終位置であるか否かの判定を行うようにしてもよい。
【０１０５】
《第３実施形態》
上記の第１実施形態および第２実施形態においては、速度が異なる複数種類の移動物体を対象にすることが可能であったが、第３実施形態では、人間、車、船舶などの一種類の移動物体、もしくは同程度の移動速度の移動物体を監視対象とする場合に適用する、より簡易な構成の監視カメラについて説明する。
【０１０６】
〈第３実施形態による監視カメラの構成〉
本発明の第３実施形態による監視カメラの構成を、図１０を参照して説明する。
【０１０７】
図１０に示すように、本実施形態による監視カメラ３は、移動物体追尾制御装置４０Ｃのパン・チルト制御部４５Ｃに移動速度算出部を含まないことを除いては第１実施形態の構成と同様であるため、同一機能の処理部については詳細な説明を省略する。
【０１０８】
本実施形態において、モータ制御部４５７は、重心位置解析部４５５により移動物体の重心位置が回転反応領域Ｒ内であると判定され、且つ回転判定設定部４５１において回転判定がonであると判定されたとき、つまり、移動物体が移動元方向の回転反応領域Ｒから入り、回転反応領域Ｒ外である画像フレームの中心付近領域を経由して移動先方向の回転反応領域Ｒ内に入ったときには、重心算出部４５２で算出された移動物体の重心位置と、監視カメラ３のチルト角と、予め記憶されている移動物体の移動速度とに基づいて、パン・チルト制御を行うためのコマンドを発行しモータ部５０に送出する。
【０１０９】
また、本実施形態による監視カメラ３は、図１１に示すように、部屋の天井に設置され、チルト角が０度〜９０度の範囲で回転可能であるものとする。
【０１１０】
〈第３実施形態による監視カメラの動作〉
次に、本実施形態による監視カメラ３の動作を図３のフローチャートを参照して説明する。
【０１１１】
本実施形態においては、ステップＳ１〜Ｓ１２の動作は第１実施形態と同様であるため、詳細な説明は省略する。
【０１１２】
ステップＳ１３において、モータ部５０によりパン・チルト制御を行うためのコマンド発行処理が行われるときの処理について説明する。
【０１１３】
ここで、本実施形態においては、監視カメラ３はチルト角が０〜９０度の範囲で回転可能な状態で部屋の天井に設置されている。
【０１１４】
このように設置された監視カメラ３で、上記のチルト角の範囲の中のある角度で人物を撮影して表示した場合、図１２に示すように、監視カメラ３に近い位置にいる人物Ｑよりも遠方にいる人物Ｓのほうが画面上では小さく表示される。
【０１１５】
したがって、この人物Ｑと人物Ｓとでは、左右に移動する場合を比較すると、実際には同じ速度で動いていても、表示画面上における見かけの移動速度は監視カメラ３から近い程速くなる。この移動速度はチルト角によってもさらに異なり、チルト角が大きい（９０度に近い）程早くなる。
【０１１６】
この特長に基づいて、本実施形態においては監視カメラ３の回転距離を、移動物体の重心位置と、監視カメラ３のチルト角と、予め記憶されている移動物体の移動速度とに基づいて、パン・チルト制御を行うためのコマンドが発行されモータ部５０に送出される。
【０１１７】
具体的には監視カメラ３の回転距離は、下記式（８）のように算出される。
【０１１８】
［数８］
カメラの回転距離＝回転の最大距離−（回転の最大距離×領域係数×チルト角係数）
（８）
ここで回転の最大距離とは、予め記憶される、監視カメラ３と移動物体とが最も近い状態であるときの移動物体の移動速度、つまり最高速度で追尾するときの単位時間あたりの監視カメラ３の回転距離である。
【０１１９】
また、領域係数とは、予め設定された図１３のようなグラフに基づいて、画像フレーム内における移動物体の上下位置により算出される係数であり、画像フレーム内の下の位置になるほど係数は小さくなる。
【０１２０】
さらに、チルト角係数とは、予め設定された図１４のようなグラフに基づいて、監視カメラ３のチルト角により算出される係数であり、チルト角が大きくなる（９０度に近くなる）ほど係数は小さくなる。これらの係数が小さいほど、上記式（８）により、カメラの回転距離は大きくなる。
【０１２１】
このようにして算出されたカメラの回転距離で監視カメラ３が回転されるようにモータ制御部４５７でコマンドが発行されることにより、適切に追尾が行われる。
【０１２２】
また、ステップＳ１４、Ｓ１５の処理も第１実施形態と同様であるため、詳細な説明は省略する。
【０１２３】
以上の第３実施形態によれば、移動速度を実測することなく、簡易な装置構成で高精度に移動物体を追尾して撮影を行うことができる。
【０１２４】
《第４実施形態》
第２実施形態において説明したように、なるべく画像フレーム枠に近い位置で移動物体が検出されたときに監視カメラのパン・チルト制御が開始されるようにして監視カメラをなるべく大きい距離で回転させるようが追尾性能は高くなる。しかし、前述したとおりモータによりカメラを回転させるときの初速が遅いため、図１５（ａ）に示すように画像フレームに近い位置で人物Ｐが移動物体として検出され監視カメラのパン・チルト制御が開始されたときに、（ｂ）に示すように一旦画像フレームから人物Ｐが消えてしまう場合がある。
【０１２５】
その後監視カメラの回転速度が徐々に上がり、（ｃ）に示すように移動物体に追いつき初めて画像フレーム内に捉え始め、（ｄ）に示すように人物Ｐが追尾されて撮影が続行されることになるが、（ｂ）のように一旦移動物体が画像フレームから消えてしまうと画面の映像で移動物体を監視している監視員が心理的に安心して見ていることができない。
【０１２６】
そこで、第４実施形態では、監視カメラの回転中に常に移動物体を画像フレーム内に捉えるように、パン・チルト制御を行うようにする。
【０１２７】
〈第４実施形態による監視カメラの構成〉
本発明の第４実施形態である移動物体追尾制御装置を内蔵した監視カメラの構成を、図１６を参照して説明する。同図に示すように、本実施形態を適用した監視カメラ４は、第２実施形態におけるパン・チルト制御部４５Ｂに代わってパン・チルト制御部４５Ｄを有する他は、第２実施形態の構成と同様であるため、詳細な説明は省略する。
【０１２８】
パン・チルト制御部４５Ｄは、重心算出部４５２と、移動速度算出部４５６と、モータ制御部４５７と、回転時間算出部４６０と、フレーム枠内判定部４６１とを備えている。
【０１２９】
重心算出部４５２は、動き検出部４４において動きが検出されたときに、この動きの重心位置を移動物体の重心位置として検出する。移動速度算出部４５６は、重心算出部４５２で算出された移動物体の重心位置の移動速度を算出して記憶する。モータ制御部４５７は、後述するフレーム枠内判定部４６１により、監視カメラ４の回転中に移動物体の重心位置が画像フレーム枠内からはみ出す時間があると判定されたときには、重心算出部４５２で算出された移動物体の重心位置と画像フレームの中心位置との距離に、移動速度算出部４５６で算出された移動速度に基づいて算出される移動物体の移動量を加算することにより、パン・チルト制御を行うためのコマンドを発行しモータ部５０に送出する。
【０１３０】
回転時間算出部４６０は、次フレームにおける移動物体の重心位置である予測重心位置を算出し、監視カメラ４が撮影方向の変更を開始してからの経過時間である回転時間ごとに予め設定された速度で監視カメラ４の撮影方向が回転することにより、予測重心位置から移動速度算出部４５６で算出された移動速度で移動する移動物体が画像フレームの中心位置に捉えられて停止するまでの時間である、監視カメラ４の回転時間を算出する。フレーム枠内判定部４６１は、回転時間算出部４６０で算出された監視カメラ４の回転時間内に、「移動物体の移動距離」と、「監視カメラ４の視界の移動距離」および「次フレームにおける移動物体の予測重心位置から移動方向の延長線上の画像フレーム端までの距離」の和とを比較し、「移動物体の移動距離」のほうが常に小さいときには監視カメラ４の回転中に移動物体の重心位置が画像フレーム枠からはみ出すことはないと判定し、「移動物体の移動距離」のほうが大きい時点があると判定されたときには移動物体の重心位置が画像フレーム枠からはみ出すことがあると判定する。
【０１３１】
〈第４実施形態による監視カメラの動作〉
次に、本実施形態において、監視カメラ４で移動物体を追尾して撮影するときの処理について説明する。
【０１３２】
図１７は、監視カメラ４で移動物体を追尾して撮影するときの移動物体追尾制御装置４０Ｄの動作を示すフローチャートである。本実施形態においては、予め動き検出部４４において動き検出処理が実行されるフレーム間隔、および動き検出部４４において利用される閾値が設定値としてユーザの操作により操作入力部４１から入力され、設定値記録部４２に記録されている。
【０１３３】
監視カメラ４に電源が投入されると、初期設定として、移動物体追尾制御装置４０Ｄ内のパン・チルト制御部４５Ｄの移動速度算出部４５６で記憶される移動速度および回転時間算出部４６０で記憶される監視カメラ４の回転時間が「０」に初期化される（Ｓ６１）。
【０１３４】
このように初期設定された状態で監視カメラ４２により撮影が開始され入射光が入射されると、第１実施形態と同様の処理で撮影された画像の画像フレームが表示装置等に出力されるとともに、動き検出部４４で取得されてメモリ４３に送出され記録される（Ｓ６２）。
【０１３５】
また、動き検出部４４では、取得された現在の画像フレームと、ステップＳ４２の処理によりメモリ４３に既に記録されている所定期間前の画像フレームとが比較され、画像フレーム内に動きがあるか否かが判定され動きが検出される（Ｓ６３）。
【０１３６】
この動きが検出されるときの動き検出部４４における詳細な処理は、第１実施形態において図５のフローチャートを用いて説明した処理と同様であるため、詳細な説明は省略する。
【０１３７】
動き検出部４４により動き検出処理が行われると、検出対象の画像フレームにおいて少なくとも１ブロックで動きが検出されたか否かが判断される（Ｓ６４）。
【０１３８】
少なくとも１ブロックで動きが検出されていたときは（Ｓ６４の「YES」）、パン・チルト制御部４５Ｄの重心算出部４５２において動きの重心位置が移動物体の重心位置として算出される（Ｓ６５）。
【０１３９】
この移動物体の重心位置の算出処理は、第１実施形態において式（２）を用いて説明した重心位置の算出処理と同様であるため詳細な説明は省略する。
【０１４０】
移動物体の重心位置が算出されると、今回の動き検出が最初の動き検出である場合（前回の動き検出処理で動きが検出されていない場合）（Ｓ６６の「YES」）は、ステップＳ６３に戻り、再度動き検出処理が行われる。
【０１４１】
今回の動き検出が最初の動き検出ではない場合（Ｓ６６の「NO」）は、検出された移動物体の重心位置の移動速度が移動速度算出部４５６において算出されるとともに、回転時間算出部４６０において次フレームにおける移動物体の重心位置である予測重心位置が算出され、さらにこの予測重心位置から移動物体の追尾処理を開始して（すなわち監視カメラ４が回転し始めて）から移動物体を画像フレームの中心位置に捉えて監視カメラ４の回転が停止するまでの時間（監視カメラ４の回転時間）が算出される（Ｓ６７）。ここで、本実施形態においては移動物体が等速で移動しているものとする。
【０１４２】
移動物体の重心位置の移動速度の算出処理は、第１実施形態において式（３）および（４）を用いて説明した移動速度の算出処理と同様であるため、詳細な説明は省略する。
【０１４３】
また、監視カメラ４の回転時間は、下記式（９）に基づいて算出される。
【０１４４】
［数９］
監視カメラ４の視界の移動距離（Ａ）
＝移動物体の予測重心位置と画像フレームの中心位置との距離（Ｂ）
＋移動物体の移動距離（Ｃ）
＝移動物体の予測重心位置と画像フレームの中心位置との距離（Ｂ）
＋移動物体の重心位置の移動速度×監視カメラ４の回転時間        （９）
ここで、監視カメラ４の視界の移動距離（Ａ）とは、監視カメラ４の回転前から回転後までの移動距離を画像フレーム内の画素数で示したものであり、監視カメラ４の視界に映っている同一の静止物を基に算出される。例えば、図１８において監視カメラ４の回転前の視界を示す画像を（ａ）とし、回転後の視界を示す画像を（ｂ）とすると、画像フレームの左枠から同一の静止物Ｚまでの距離（画素数）は、回転前の画像（ａ）ではＸ画素であり回転後の画像（ｂ）ではＹ画素であるため、監視カメラ４の視界の移動距離は（Ｘ−Ｙ）画素で示される。また、監視カメラ４の回転が開始されてからの、回転時間（秒）ごとの監視カメラ４の視界の移動距離は予め図１９に示すように取得され回転時間算出部４６０に記憶されている。図１９からもわかるように、監視カメラ４の回転は初速が遅いため回転時間が短いと監視カメラ４の視界の移動距離が短くなる。
【０１４５】
また、移動物体の予測重心位置と画像フレームの中心位置との距離（Ｂ）は、次フレームの予測画像である図２０においては矢印（Ｂ）で示される距離である。
【０１４６】
また、移動物体の重心位置の移動速度は移動速度算出部４５６で算出された値であり、上述したとおり本実施形態においては移動物体は等速で移動しているため、監視カメラ４の回転が開始されてからの回転時間（秒）ごとの移動物体の移動距離は図２１に示すように正比例の関係で表される。
【０１４７】
本実施形態において、図１９で示すような速度で回転する監視カメラ４で、図２１に示すような速度で移動する移動物体の追尾する処理を、次フレームから開始したときの監視カメラ４の回転速度と移動物体の移動速度との関係を、図２２に示す。
【０１４８】
図２２に示すように、監視カメラ４の視界の移動距離（Ａ）と、移動物体の予測重心位置と画像フレームの中心位置との距離（Ｂ）および移動物体の移動距離（Ｃ）の和とが等しくなる点（Ｄ）の時点の監視カメラ４の回転時間が、監視カメラ４が回転し始めてから移動物体を画像フレームの中心に捉えて監視カメラ４の回転が停止するまでの時間として算出される。
【０１４９】
次に、この算出された監視カメラ４の回転時間の間、常に下記式（１０）を満たすか否かが判定されることにより、移動物体の重心位置が画像フレームからはみ出すことがあるか否かがフレーム枠内判定部４６１において判定される（Ｓ４８）。
【０１５０】
［数１０］
移動物体の移動距離（Ｃ）
＜監視カメラ４の視界の移動距離（Ａ）＋予測重心位置から移動方向の延長線上の画
像フレーム端までの距離（Ｅ）        （１０）
ここで、予測重心位置から移動方向の延長線上の画像フレーム端までの距離（Ｅ）は、次フレームの予測画像である図２０においては矢印（Ｅ）で示される距離である。
【０１５１】
判定の結果、監視カメラ４の回転時間の間常に上記式（１０）を満たし、回転中に移動物体の重心位置が画像フレームからはみ出すことがないと判定された場合には（Ｓ６８の「NO」）、次の動き検出の時点から移動物体の追尾処理を開始して（すなわち監視カメラ４が回転し始めて）も移動物体を常に捉えることができると判定され、ステップＳ６３に戻り、動き検出処理から繰り返される。
【０１５２】
また、ステップＳ６８において監視カメラ４の回転時間の間に上記式（１０）を満たさない時間があり、回転中に移動物体の重心位置が画像フレームからはみ出す可能性があると判定された場合には（Ｓ６８「YES」）、この時点でモータ部５０にパン・チルト制御を行わせて追尾するためのコマンド発行処理が行われる（Ｓ６９）。
【０１５３】
このコマンド発行処理は、第１実施形態において式（５）を用いて説明したコマンド発行処理と同様であるため、詳細な説明は省略する。
【０１５４】
コマンド発行処理が行われた後のステップＳ７０およびＳ７１の処理は、第１実施形態における図３のステップＳ１４およびＳ１５の処理と同様であるため、詳細な説明は省略する。
【０１５５】
また、ステップＳ６４において動きが検出されたブロックがないと判断されたときには（Ｓ６４の「NO」）、移動物体の重心位置が画像フレーム内に常に収まる位置を取り逃がした場合を考慮し、前回の動き検出処理で動きが検出されていたか否かが判定される（Ｓ７２）。
【０１５６】
前回の動き検出処理で動きが検出されていたときには（Ｓ７２の「YES」）、ステップＳ６９に移り前回の動き検出結果を基にコマンド発行処理が行われる。前回の動き検出処理で動きが検出されていないときには（Ｓ７２の「NO」）、ステップＳ６３に戻り、動き検出処理から繰り返される。
【０１５７】
以上の第４実施形態によれば、監視カメラの初速が遅い場合にも、回転中に一時的に移動物体が画像フレームからはみ出すことがなく常に画像フレーム内に捉えるようにパン・チルト制御を行うため、さらに高精度に移動物体を追尾して撮影を行うことができる。
【０１５８】
なお、上述した第１〜第４実施形態のいずれかで利用される動き検出のブロック数、動き検出のフレーム間隔、動き検出を行う際に利用される閾値（感度：Th）、回転反応領域Ｒの位置等は、ユーザにより操作入力部４１が操作されることにより変更することも可能である。
【０１５９】
また、上記の第１実施形態〜第４実施形態のいずれかの移動物体追尾制御装置の機能構成をプログラム化してコンピュータに組み込むことにより、当該コンピュータを移動物体追尾制御装置として機能させることも可能である。
【図面の簡単な説明】
【０１６０】
【図１】本発明の第１実施形態である移動物体追尾制御装置４０Ａを内蔵する監視カメラ１の構成を示すブロック図である。
【図２】本発明の第１実施形態および第３実施形態による移動物体追尾制御装置４０Ａ，４０Ｃで予め画像フレーム内に設定される回転反応領域Ｒの一例を示す説明図である。
【図３】本発明の第１実施形態および第３実施形態による移動物体追尾制御装置４０Ａ，４０Ｃを内蔵する監視カメラ１，３の動作を示すフローチャートである。
【図４】本発明の第１実施形態〜第３実施形態による移動物体追尾制御装置４０Ａ，４０Ｃを内蔵する監視カメラ１，３で撮影する撮影エリア内を、人物Ｐが移動するときの状態を示す説明図である。
【図５】本発明の第１実施形態〜第３実施形態による移動物体追尾制御装置４０Ａ，４０Ｂ，４０Ｃを内蔵する監視カメラ１〜３で動き検出を行うときの動作を示すフローチャートである。
【図６】本発明の第１実施形態〜第３実施形態による移動物体追尾制御装置４０Ａ，４０Ｂ，４０Ｃを内蔵する監視カメラ１〜３で動きを検出する際に所定数に分割された画像フレームを示す説明図である。
【図７】本発明の第２実施形態による移動物体追尾制御装置４０Ｂで検出された、画像フレーム内の移動物体の重心の履歴を示す説明図である。
【図８】本発明の第２実施形態による移動物体追尾制御装置４０Ｂを内蔵する監視カメラ２の構成を示すブロック図である。
【図９】本発明の第２実施形態による移動物体追尾制御装置４０Ｂを内蔵する監視カメラ２の動作を示すフローチャートである。
【図１０】本発明の第３実施形態による移動物体追尾制御装置４０Ｃを内蔵する監視カメラ３の構成を示すブロック図である。
【図１１】本発明の第３実施形態による移動物体追尾制御装置４０Ｃを内蔵する監視カメラ３が部屋の天井に設置された状態を示す説明図である。
【図１２】本発明の第３実施形態による移動物体追尾制御装置４０Ｃを内蔵する監視カメラ３で移動物体である人物を撮影し表示したときの一例を示す画面構成図である。
【図１３】本発明の第３実施形態による移動物体追尾制御装置４０Ｃにおいて監視カメラ３の回転距離を算出する際に利用される、画像フレーム内の移動物体の重心位置に対する領域係数を示すグラフである。
【図１４】本発明の第３実施形態による移動物体追尾制御装置４０Ｃにおいて監視カメラ３の回転距離を算出する際に利用される、監視カメラ３のチルト角に対するチルト角係数を示すグラフである。
【図１５】本発明の第２実施形態による移動物体追尾制御装置４０Ｂを内蔵する監視カメラ２で移動物体である人物を撮影し表示したときの一例を示す画面構成図である。
【図１６】本発明の第４実施形態による移動物体追尾制御装置４０Ｄを内蔵する監視カメラ４の構成を示すブロック図である。
【図１７】本発明の第４実施形態による移動物体追尾制御装置４０Ｄを内蔵する監視カメラ４の動作を示すフローチャートである。
【図１８】本発明の第４実施形態による移動物体追尾制御装置４０Ｄを内蔵する監視カメラ４で撮影した（ａ）回転前の視界と、（ｂ）回転後の視界を表示したときの一例を示す画面構成図である。
【図１９】本発明の第４実施形態による移動物体追尾制御装置４０Ｄを内蔵する監視カメラ４の回転時間ごとの監視カメラ４の視界の移動距離を示すグラフである。
【図２０】本発明の第４実施形態による移動物体追尾制御装置４０Ｄを内蔵する監視カメラ４で撮影した画像の次フレームの予測画像を示す画面構成図である。
【図２１】本発明の第４実施形態による移動物体追尾制御装置４０Ｄを内蔵する監視カメラ４の回転時間ごとの移動物体の移動距離を示すグラフである。
【図２２】本発明の第４実施形態による移動物体追尾制御装置４０Ｄを内蔵する監視カメラ４の、回転時間ごとの監視カメラ４の視界の移動距離と移動物体の移動距離との関係を示すグラフである。
【図２３】従来の監視カメラにおける、静止状態から最高の速度設定でパン回転させたときのカメラの移動時間と移動距離との関係を示すグラフである。
【符号の説明】
【０１６１】
１，２，３…監視カメラ
１０…撮像素子
２０…画像入力部
３０…画像出力部
４０Ａ，４０Ｂ，４０Ｃ、４０Ｄ…移動物体追尾制御装置
４１…操作入力部
４２…設定値記録部
４３…メモリ
４４…動き検出部
４５Ａ，４５Ｂ，４５Ｃ、４５Ｄ…パン・チルト制御部
５０…モータ部
４５１…回転判定設定部
４５２…重心算出部
４５３…無検出時間測定タイマ
４５４…タイマ制御部
４５５…重心位置解析部
４５６…移動速度算出部
４５７…モータ制御部
４５８…単位移動距離算出部
４５９…最終位置判定部
４６０…回転時間算出部
４６１…フレーム枠内判定部
【図１】
2009100454.tif 000003
【図２】
2009100454.tif 000004
【図３】
2009100454.tif 000005
【図４】
2009100454.tif 000006
【図５】
2009100454.tif 000007
【図６】
2009100454.tif 000008
【図７】
2009100454.tif 000009
【図８】
2009100454.tif 000010
【図９】
2009100454.tif 000011
【図１０】
2009100454.tif 000012
【図１１】
2009100454.tif 000013
【図１２】
2009100454.tif 000014
【図１３】
2009100454.tif 000015
【図１４】
2009100454.tif 000016
【図１５】
2009100454.tif 000017
【図１６】
2009100454.tif 000018
【図１７】
2009100454.tif 000019
【図１８】
2009100454.tif 000020
【図１９】
2009100454.tif 000021
【図２０】
2009100454.tif 000022
【図２１】
2009100454.tif 000023
【図２２】
2009100454.tif 000024
【図２３】
2009100454.tif 000025