(57)【特許請求の範囲】
【請求項１】
撮像装置が撮像した撮像画像、及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信手段と、
前記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手段とを有することを特徴とする撮像設定装置。
【請求項２】
前記変化検知処理により第１及び第２及び第３の変化検知領域が検知された場合、前記表示制御手段は、前記第１及び第２の変化検知領域よりも面積が大きい前記第３の変化領域の位置を示す枠を、前記第１及び第２の変化検知領域の位置を示す枠とは異なる色で表示させることを特徴とする請求項１に記載の撮像設定装置。
【請求項３】
色情報に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像と前記色情報との比較結果に応じて前記撮像方向が制御されるように、前記撮像画像と比較すべき色情報を前記撮像制御装置へ送信する送信手段を有することを特徴とする請求項１又は２に記載の撮像設定装置。
【請求項４】
前記撮像画像と比較すべき色情報は、前記撮像画像の表示画面上で指定された位置の色情報に基づいて決定されることを特徴とする請求項３に記載の撮像設定装置。
【請求項５】
テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像と前記テンプレート画像との比較結果に応じて前記撮像方向が制御されるように、前記テンプレート画像の情報を前記撮像制御装置へ送信する送信手段を有することを特徴とする請求項１又は２に記載の撮像設定装置。
【請求項６】
顔画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像から検知された顔画像の位置に応じて前記撮像方向が制御されるように、設定情報を前記撮像装置へ送信する送信手段を有することを特徴とする請求項１又は２に記載の撮像設定装置。
【請求項７】
前記表示制御手段は、前記撮像画像の明るさが所定レベル以下の場合、テンプレート画像に基づく追尾対象の位置の検知を推奨するメッセージを表示させることを特徴とする請求項５に記載の撮像設定装置。
【請求項８】
テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合に、前記撮像画像と前記テンプレート画像との比較を行う探索範囲を前記撮像画像において設定する設定手段を有し、
前記設定手段は、前記撮像画像の明るさが所定レベル以下の場合、前記撮像画像の明るさが前記所定レベルより高い場合よりも、前記探索範囲を広くすることを特徴とする請求項５に記載の撮像設定装置。
【請求項９】
撮像装置の撮像方向を制御する撮像制御装置と、前記撮像装置が撮像した撮像画像を前記撮像制御装置から受信して表示画面上に表示する撮像設定装置とがネットワークを介して通信を行う監視システムであって、
前記撮像設定装置は、
前記撮像装置が撮像した撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置に関する情報を取得する取得手段と、
前記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手段とを有することを特徴とする監視システム。
【請求項１０】
前記撮像設定装置は、テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像と前記テンプレート画像との比較結果に応じて前記撮像方向が制御されるように、前記テンプレート画像の情報を前記撮像制御装置へ送信する送信手段を有することを特徴とする請求項９に記載の監視システム。
【請求項１１】
前記撮像設定装置は、前記撮像画像の明るさが所定レベル以下の場合、テンプレート画像に基づく追尾対象の位置の検知を推奨するメッセージを表示させるメッセージ表示手段を有することを特徴とする請求項１０に記載の監視システム。
【請求項１２】
前記撮像設定装置は、テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合に、前記撮像画像と前記テンプレート画像との比較を行う探索範囲を前記撮像画像において設定する設定手段を有し、
前記設定手段は、前記撮像画像の明るさが所定レベル以下の場合、前記撮像画像の明るさが前記所定レベルより高い場合よりも、前記探索範囲を広くすることを特徴とする請求項１０に記載の監視システム。
【請求項１３】
撮像設定装置が行う制御方法であって、
撮像装置が撮像した撮像画像、及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信ステップと、
前記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御ステップとを有することを特徴とする制御方法。
【請求項１４】
コンピュータに、
撮像装置が撮像した撮像画像、及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信手順と、
前記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手順とを実行させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を追尾しながら撮像する追尾機能を有するカメラを用いた監視を行う監視システム、撮像設定装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラで撮影した映像をネットワーク経由で配信する映像配信システムや、屋内外の所定の監視区域をカメラで監視する監視システムが広く普及している。更に、ネットワークに接続できるサーバ機能を有するネットワークカメラや、カメラをネットワークに接続するためのセットトップボックスが製品化されている。これらのいわゆるカメラサーバには、画像の変化（例えば所定の監視区域内に不審者が侵入した場合など）を検知して警報装置を作動させる機能を有するものがある。
【０００３】
この他の従来技術として、JPEG（Joint Photographic Experts Group）圧縮に代表されるような、画像を複数のブロックに分割し、ブロックごとに画像情報を直交変換して量子化し、エントロピー符号化する符号化方式に関する技術が提案されている。該提案は、直交変換して得られた変換係数と過去の画像フレームの同じブロック位置の変換係数とを比較し、比較結果に応じてブロックごとの変化の有無を判断する技術である（例えば、特許文献１、特許文献２参照）。
【０００４】
更に、この他の従来技術として、画像を圧縮して得られた圧縮データの総符号量又は圧縮率と、過去の画像フレームにおける圧縮データの総符号量又は圧縮率とを比較し、比較結果に応じて画像全体の変化の有無を判断する技術が提案されている（例えば、特許文献３、特許文献４参照）。
【特許文献１】特開昭６２−２３０２８１号公報
【特許文献２】特開平７−２５５０５２号公報
【特許文献３】特開平１１１８０７３号公報
【特許文献４】特開２０００−５０２３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、カメラサーバにネットワークを介して接続されたクライアント装置は、カメラサーバに対して遠隔地に配置されている。そのため、カメラが有する複数の追尾機能のパラメータを設定する際に、そのパラメータの変更がカメラの追尾処理にどれだけ影響するかが分かりにくかった。これは、例えば、クライアント装置側でカメラの追尾機能のパラメータを設定する場合、実際にカメラの撮像領域中のどの部分を対象として追尾しているのか表示されないことが１つの要因とも考えられる。
【０００６】
本発明の目的は、変化検知領域を追尾対象にする場合も、変化検知領域以外の領域を追尾対象にしたい場合も、精度良く追尾処理を行うことを可能とした監視システム、撮像設定装置、制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の撮像設定装置は、撮像装置が撮像した撮像画像、及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信手段と、前記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、表示画面上に変化検知領域の位置を示すと共に、撮像装置の撮像方向を制御するために検知される撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる。これにより、変化検知領域を追尾対象にする場合も、変化検知領域以外の領域を追尾対象にしたい場合も、精度良く追尾処理できるようになる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を図面を参照して説明する。
【００１０】
本発明の実施の形態では、カメラサーバと管理者用の設定クライアントから構成される監視システムについて説明する。具体的には、設定クライアントが、カメラサーバにおいて実行される追尾機能に関わる設定を行う際に、カメラサーバの追尾処理の途中経過或いは最終結果を示す情報をネットワーク経由でカメラサーバから受信し、受信した情報に基づいて再設定処理する例を説明する。
【００１１】
図１は、本実施の形態に係る監視システムの構成例を示すブロック図である。
【００１２】
図１において、監視システムは、カメラ１００及びカメラサーバ２００と、設定クライアント３００とから構成されている。カメラサーバ２００は、Ａ／Ｄ変換部２１０、符号化部２２０、変化検知・追尾処理部２３０、通信部（受信）２４０、通信部（送信）２５０を備えている。通信部２４０，２５０は一体的に構成されてもよい。カメラサーバ２００の中央処理装置（ＣＰＵ）は、制御プログラムに基づいて変化検知・追尾処理部２３０等を制御し、画像の動きを検知すると共に検知結果に基づいてオブジェクトの追尾処理を行うものであり、図４〜図８、図１４、図１７、図２０のフローチャートに示す処理を実行する。
【００１３】
また、設定クライアント３００は、通信部（受信）３１０、復号化部３２０、画像表示部３３０、変化検知・追尾設定部３４０、設定操作部３５０、通信部（送信）３６０を備えている。通信部３１０、３６０は一体的に構成されてもよい。設定クライアント３００の中央処理装置（ＣＰＵ）（表示制御手段）は、制御プログラムに基づいて変化検知・追尾設定部３４０等を制御し、図９、図１０、図２１のフローチャートに示す処理を実行する。
【００１４】
図１のＡは、カメラサーバ２００から、カメラ１００によって撮像されたライブ画像及び変化検知・追尾情報を設定クライアント３００に送信し、設定クライアント３００から変化検知・追尾設定情報を受信することを示している。また、図２のＢは、設定クライアント３００から送信されるライブ画像要求及び変化検知・追尾設定要求をカメラサーバ２００が受信することを示している。
【００１５】
カメラサーバ２００は、カメラ１００で撮像したライブ画像をネットワーク経由で設定クライアント３００に送信することができる。設定クライアント３００は、カメラサーバ２００からネットワーク経由で送信された画像変化検知処理・追尾処理の結果をライブ画像と共に受信して表示する。
【００１６】
カメラサーバ２００の画像変化検知機能及び追尾機能に関わる設定は、送信された画像を確認しながら自由に変更可能である。具体的には、設定クライアント３００において、設定者によりGUI（Graphical User Interface）を用いて設定値を変更する。そして、設定クライアント３００は、変更された設定値をカメラサーバ２００に対して送信する。カメラサーバ２００は、設定クライアント３００から送信された設定値を受信し、以後その設定値に基づいて画像変化検知処理や追尾処理を行う。
【００１７】
設定クライアント３００がカメラサーバ２００から画像を取得するには、例えばURL（Uniform Resource Locator）エンコーディングされたコマンドをHTTP（Hypertext Transfer Protocol）によって送信したときに複数フレーム分の画像が返信される方式を用いる。なお、本実施の形態では、ネットワークはインターネットを想定しているが、デジタル信号を送受信可能で画像通信に十分な容量のある伝送路であれば、ネットワークの実現方式は問わない。
【００１８】
カメラサーバ２００は、パン・チルト（撮像方向）、ズームなどの制御が可能なカメラ１００と接続されるが、カメラ１００とカメラサーバ２００を同一の筐体に配設した一体型であっても構わない。
【００１９】
先ず、カメラサーバ２００の内部構成を画像処理に関連する構成を中心に説明する。
【００２０】
カメラサーバ２００において、カメラ１００からカメラサーバ２００に入力された画像信号は、Ａ／Ｄ変換部２１０においてデジタル化され、符号化部２２０において符号化される。ここで、符号化方式は、上記JPEGやMPEG（Moving Picture Experts Group）などがある。本実施の形態は、特定の符号化方式に限定されるものではないが、JPEG方式は画像を所定サイズのブロックに分割するものであり、本実施の形態では、このブロック化を画像の変化検知に利用している。
【００２１】
画像の符号化の後、変化検知・追尾処理部２３０において、画像内のオブジェクトの動きを検知するための画像の変化検知処理と検知されたオブジェクトの追尾処理が行われる。符号化された画像や画像変化検知処理・追尾処理の結果は、設定クライアント３００からの要求に応じて通信部（送信）２５０からネットワーク経由で設定クライアント３００に送信される。また、カメラサーバ２００の画像変化検知機能及び追尾機能に関わる各種の設定は、設定クライアント３００により変更され、設定クライアント３００からネットワーク経由で送信されたその変更情報は通信部（受信）２４０により受信される。
【００２２】
画像変化検知処理の方式としては、隣接フレーム間差分を基に画像変化検知を行う方式や、背景差分を基に画像変化検知を行う方式がある。これらの差分方式のうち隣接フレーム間差分方式は、隣接フレーム間差分の特徴量として、座標が同じ画素の明度差の絶対値や、JPEG符号化ブロック単位でのDCT係数の差の絶対値和などが用いられ、これらを画像全体で積算した値が予め定めた閾値を超えると画像に変化ありとする方式である。何れの差分方式を用いるかによって、変化検知・追尾処理部２３０に符号化後の画像を入力するか符号化前の画像を入力するかが異なるため、図１では変化検知・追尾処理部２３０に入力する画像の経路を実線と点線で区別している。
【００２３】
本実施の形態は、特定の画像変化検知処理の方式に限定されるものではないが、説明の都合上、JPEG符号化ブロック単位でDCT係数の差の絶対値和を求める隣接フレーム間差分方式を想定する。この場合、画像変化検知イベントの発生は、例えば、感度、面積比、継続時間の３つの閾値で決定するものとする。
【００２４】
感度とは、JPEG符号化ブロック単位でのDCT係数の差の絶対値和がある閾値を超えた場合に当該ブロックで画像変化が発生したと検知する際の閾値を定めるもので、感度が高いほど閾値が低くなり、より少ない画像変化でも検知可能である。また、面積比とは、画像中で定めた変化検知対象領域（所定サイズのブロックで構成される）に属する全ブロック数に対する変化が発生したブロック数の割合がある一定の閾値を超えた場合に、画像変化を検知したとするものである。また、継続時間とは、前記の面積比によって検知された変化がある一定の閾値時間を超えて継続した場合に、最終的に画像変化を検知したとするもので、ここで初めて画像変化検知イベントが発生する。
【００２５】
カメラサーバ２００の動作状態には、画像変化検知状態と追尾状態がある。カメラサーバ２００の動作状態が画像変化検知状態とは、画像撮影時にカメラ１００が停止しているときに被写体の動きを検知する処理を行う状態を指す。また、画像の変化の検知に伴って、カメラサーバ２００の動作状態は画像変化検知状態から追尾状態になる。追尾状態の処理では、カメラサーバ２００において、画像上で変化の大きな領域を動物体と認識し、この動物体が撮像画面の中心となるようカメラ１００の視線を向けるように制御する。
【００２６】
具体的には、変化検知・追尾処理部２３０は、ブロック単位で変化の有無を求めた後、変化ありと検知されたブロックのうち、最大数のブロックの集合体の領域（最大領域）の重心を求める。もし、最大領域の面積が予め定めた一定値以上であれば、求めた重心点に関して画像中心からの変位量をカメラ１００のパン・チルトの制御量に変換し、最大領域の重心を画像中心とするようにカメラ１００を制御する。
【００２７】
また、変化検知・追尾処理部２３０は、追尾処理に用いられた最大領域に属するブロック位置と最大領域の重心座標を通信部（送信）２５０により設定クライアント３００に送信する。
【００２８】
変化検知・追尾処理部２３０は、カメラ１００の動作が停止すると再度画像変化検知のための隣接フレーム間差分処理を開始するが、追尾状態にある場合は隣接フレーム間差分処理後に再び領域分割処理を行い、最大領域の面積が予め定めた一定値以上であれば、追尾処理を継続する。一方、最大領域の面積が予め定めた一定値以上でなく、かつ予め定めた一定時間以上連続して面積の大きな領域が見つからない場合には、追尾処理を終了し、次回の画像取得からは通常の画像変化検知処理に戻る。
【００２９】
次に、設定クライアント３００の内部構成を説明する。
【００３０】
設定クライアント３００は、通信部（受信）３１０においてネットワーク経由でカメラサーバ２００から画像信号を受信すると、復号化部３２０において画像信号の復号化を行い、画像表示部３３０において画像を表示する。通信部（受信）３１０は、更に、カメラサーバ２００における画像変化検知処理と追尾処理結果を受信する。
【００３１】
画像変化検知処理と追尾処理結果に関する情報には、以下の情報が含まれる。変化検知対象領域、変化検知対象領域に対する変化が生じたブロックの総和の面積比、変化検知ブロックごとの画像変化検知の有無、変化ありと検知されたブロックのうち、最大数のブロックの集合体の領域（最大領域）とその重心位置に関する情報、追尾状態の開始時刻と終了時刻に関する情報などである。それらの情報は画像表示部３３０の表示画面上で表示される。なお、設定クライアント３００で設定される変化検知対象領域は、カメラサーバ２００における画像変化検知処理の対象となる領域を指す。
【００３２】
通信部（受信）３１０は、更にカメラサーバ２００において既に設定されている変化検知設定信号を受信する。この変化検知設定信号は、変化検知・追尾設定部３４０に送られ、変化検知・追尾設定の初期値に使用される。なお、設定クライアント３００がカメラサーバ２００から変化検知信号や変化検知設定信号を取得するためのプロトコルとしては、TCP（Transmission Control Protocol）プロトコル上に実装する方法やHTTPプロトコル上に実装する方法などがある。
【００３３】
設定操作部３５０は、カメラサーバ２００の画像変化検知機能及び追尾機能に関わる設定を行うためのものであり、例えば画像表示部３３０の表示画面上で変化検知対象領域を指定したり、検知感度を指定したりするためのものである。変化検知・追尾設定部３４０は、設定操作部３５０による設定パラメータの入力を検知すると、変化検知・追尾設定部３４０に入力されたパラメータの送信（変化検知・追尾設定要求）、及びライブ画像の要求を行う。通信部（送信）３６０は、カメラサーバ２００に対し設定されたパラメータの送信を行う。
【００３４】
次に、設定クライアント３００の画像表示部３３０の表示画面上に表示されるウィンドウを図２及び図３を用いて説明する。
【００３５】
図２は、設定クライアント２００の画像表示部３３０におけるウィンドウの表示例を示す図である。
【００３６】
図２において、画像表示ウィンドウ４００は、設定クライアント２００においてアプリケーションソフトを実行することにより表示される。画像表示ウィンドウ４００には、カメラサーバ２００から受信した画像を表示する画像表示領域４１０を有し、その画像表示領域４１０内の変化検知処理に用いられる画像データを抽出する変化検知対象領域を示すフレーム４２０が表示される。フレーム４２０に対して、ラッチ４３０を不図示のマウスカーソルでドラッグすることでその大きさを変更することができる。また、フレーム４２０上で不図示のマウスカーソルをドラッグすることでフレーム位置を変更することができる。
【００３７】
更に、画像表示ウィンドウ４００上の画像表示領域４１０において、設定クライアント３００がカメラサーバ２００から受信した画像の変化を検知した領域を示す変化発生ブロック４４０が表示される。なお、本実施の形態では、上述したようにJPEGの処理において規定されるブロック単位で画像変化検知を行うためブロック表示としているが、画素単位で変化を検知する場合は画素ごとに変化の有無を表示しても何ら問題はない。
【００３８】
また、画像表示ウィンドウ４００の下部には、カメラ制御ボタン群４５０、設定した変化検知対象領域をカメラサーバ２００に送信するための適用ボタン４８０、画像表示ウィンドウ４００を閉じるためのボタン４９０が配設されている。
【００３９】
図３は、設定クライアント３００の画像表示部３３０におけるカメラサーバ２００の画像変化検知機能及び追尾機能に関する各種設定を行うための設定操作ウィンドウの表示例を示す図である。
【００４０】
図３において、設定操作ウィンドウ６００は、設定クライアント３００においてアプリケーションソフトを動作させることにより表示される。設定操作ウィンドウ６００の入力は、キーボード、マウスなどの設定操作部３５０を用いて行われる。設定操作ウィンドウ６００には、チェックボックス６１０、変化検知機能設定部６２０〜６２４、追尾機能設定部６３１〜６３４、アイコン６４２、設定内容をカメラサーバに送信するための適用ボタン６５１、設定操作ウィンドウ６００を閉じるためのボタン６５２が配設されている。チェックボックス６１０は、画像変化検知機能の有効/無効を選択するためのものである。アイコン６４２は、カメラサーバ２００の画像変化検知結果または追尾状態を表示する。
【００４１】
変化検知機能設定部６２０〜６２４は、上下矢印付き編集ボックス６２０、感度設定部６２１、面積比表示部６２２、面積比設定部６２３、継続時間設定部６２４から構成される。上下矢印付き編集ボックス６２０は、カメラサーバ２００で画像変化検知を行う際のパン・チルト・ズーム位置を指定するためのものである。図３上に記載される感度、面積比、継続時間は、それぞれ画像変化検知に関係する閾値であり、感度と面積比はスライダにより値が設定され、継続時間は上下矢印付編集ボックスにより値が設定される。
【００４２】
面積比表示部６２２は、面積比、即ち変化検知対象領域に対して実際に変化を検知した領域の割合を図示の左右方向に変化するグラフとして実時間で表示するもので、面積比が閾値を超えたかどうかを一目で確認することができる。
【００４３】
追尾機能設定部６３１〜６３４は、チェックボックス６３１、上下矢印付編集ボックス６３２、上下矢印付編集ボックス６３３、不図示の追尾方法の変更ボタン６３４から構成される。チェックボックス６３１は、画像変化検知イベントが発生した際に対象の追尾を行うかどうかを指定するためのものである。上下矢印付編集ボックス６３２は、追尾対象の最小サイズを設定するためのものである。上下矢印付編集ボックス６３３は、追尾失敗時に画像変化検知状態に戻る復帰時間を設定するためのものである。追尾方法の変更ボタン６３４は、追尾設定を詳細に設定するためのものである。詳細ボタンによる設定に関しては後述する。
【００４４】
操作者により設定操作ウィンドウ６００上の上記ボタンやスライダなどを操作することにより設定が行われ、適用ボタン６５１が押下されると、設定値が設定クライアント３００の通信部（送信）３６０を介してカメラサーバ２００に送信される。
【００４５】
設定クライアント３００に対しカメラサーバ２００から送信された画像変化検知処理・追尾処理の途中経過及び結果は、設定操作ウィンドウ６００上のアイコン６４２として表示される。画像変化検知イベントが発生した際に対象の追尾を行うかどうかを指定するチェックボックス６３１がチェックされない場合は、アイコン６４２は画像変化検知機能がＯＮである状態を表し、チェックされている場合には、アイコン６４２は追尾機能がＯＮである状態を表す。
【００４６】
次に、本実施の形態における監視システムのカメラサーバ２００及び設定クライアント３００の動作を図４乃至図１０を参照しながら詳細に説明する。なお、カメラサーバ２００及び設定クライアント３００は、それぞれが有する中央処理装置（ＣＰＵ）がそれぞれの制御プログラムを実行することによって以下に示す処理が実行される。
【００４７】
カメラサーバ２００は、メインプロセスと、画像取得及び画像変化検知処理・追尾処理を行うサブプロセスを実行する。最初にメインプロセスを説明し、次にサブプロセスを説明する。
【００４８】
図４及び図５は、カメラサーバ２００のＣＰＵが実行するメインプロセスの処理手順を示すフローチャートである。
【００４９】
図４及び図５において、カメラサーバ２００のＣＰＵは、メインプロセスの処理を開始した後、ステップＳ４０１で初期化処理を行い、ステップＳ４０２でサブプロセス（図６及び図７）を起動する。次に、カメラサーバ２００のＣＰＵは、ステップＳ４０３でイベント待ちを行い、イベントが発生すると、ステップＳ４０４の処理に進む。
【００５０】
カメラサーバ２００のＣＰＵは、ステップＳ４０４で発生したイベントが接続開始要求イベントであるかどうかを判別する。そして、ステップＳ４０４において接続開始要求イベントである場合には、ステップＳ４０５に進み、接続を許可できるかどうかを判別する。
【００５１】
カメラサーバ２００のＣＰＵは、もしステップＳ４０５において接続を許可できないと判定した場合は、ステップＳ４０６に進み、設定クライアント３００に対して接続拒否通知を行う。カメラサーバ２００のＣＰＵは、もしステップＳ４０５において接続を許可できると判定した場合には、ステップＳ４０７に進み、接続を許可した設定クライアント３００を登録する。具体的には、設定クライアント３００に管理番号を割り振り、IPアドレスを登録し、接続時間などの管理データを初期化する。
【００５２】
次に、カメラサーバ２００のＣＰＵは、ステップＳ４０８において設定クライアント３００に対して接続許可通知を発行する。接続許可通知を行う際は、例えばクライアント３００に割り当てられる管理番号なども同時に設定クライアント３００に通知する。処理終了後、ステップＳ４０３に戻り、次のイベントを待つ。
【００５３】
カメラサーバ２００のＣＰＵは、もしステップＳ４０４において接続要求イベントでないと判定した場合には、ステップＳ４０９に進み、接続終了要求イベントであるかどうかを判別する。カメラサーバ２００のＣＰＵは、ステップＳ４０９において接続終了要求イベントであると判定した場合には、ステップＳ４１０に進み、接続終了を設定クライアント３００に通知する。次に、カメラサーバ２００のＣＰＵは、ステップＳ４１１に進み、設定クライアント３００の管理番号を記憶媒体から抹消する。処理終了後、ステップＳ４０３に戻って次のイベントを待つ。
【００５４】
カメラサーバ２００のＣＰＵは、ステップＳ４０９において接続終了要求イベントでないと判定した場合には、ステップＳ４１２に進んで画像要求イベントであるか否かを判別する。カメラサーバ２００のＣＰＵは、ステップＳ４１２において画像要求イベントであると判定した場合には、ステップＳ４１３に進み、カメラ１００から画像を取得し、ステップＳ４１４で画像要求した設定クライアント３００に対して画像を送信する。更に、カメラサーバ２００のＣＰＵは、ステップＳ４１５において変化検知情報（画像変化検知処理・追尾処理の結果）を設定クライアント３００に送信する。処理終了後、ステップＳ４０３に戻って次のイベントを待つ。
【００５５】
カメラサーバ２００のＣＰＵは、ステップＳ４１２において画像要求イベントでないと判定した場合には、ステップＳ４１６に進み、カメラ制御要求イベントであるか否かを判別する。カメラサーバ２００のＣＰＵは、ステップＳ４１６においてカメラ制御要求イベントであると判定した場合には、ステップＳ４１７に進み、カメラ１００の制御を行う。処理終了後、ステップＳ４０３に戻って次のイベントを待つ。
【００５６】
カメラサーバ２００のＣＰＵは、ステップＳ４１６においてカメラ制御要求イベントでないと判定した場合には、ステップＳ４１８に進み、変化検知・追尾設定値送信要求イベントであるか否かを判別する。カメラサーバ２００のＣＰＵは、ステップＳ４１８において変化検知・追尾設定値送信要求イベントであると判定した場合には、ステップＳ４１９に進み、変化検知・追尾設定値を設定クライアント３００に送信する。処理終了後、ステップＳ４０３に戻って次のイベントを待つ。
【００５７】
カメラサーバ２００のＣＰＵは、ステップＳ４１８において変化検知・追尾情報要求イベントでないと判定した場合には、ステップＳ４２０に進み、設定値更新要求イベントであるか否かを判別する。この設定値更新要求イベントは、設定クライアント３００より設定値を受信した場合に発生する。カメラサーバ２００のＣＰＵは、ステップＳ４２０において設定値更新要求イベントであると判定した場合には、ステップＳ４２１に進み、設定値を更新する。処理終了後、ステップＳ４０３に戻って次のイベントを待つ。カメラサーバ２００のＣＰＵは、ステップＳ４２０において設定値更新要求イベントでないと判定した場合には、ステップＳ４０３に戻って次のイベントを待つ。
【００５８】
図６及び図７は、カメラサーバ２００のＣＰＵが実行するサブプロセスの処理手順を示すフローチャートである。
【００５９】
サブプロセスでは、画像変化検知及び追尾のための画像処理を行う。なお、ここでは、設定クライアント３００において、上記図３の設定操作ウィンドウ６００上のチェックボックス６３１（「変化検知時に追尾する」）をチェックして追尾処理をONに設定にしている場合を説明する。
【００６０】
図６及び図７において、カメラサーバ２００のＣＰＵは、サブプロセスの処理を開始した後、ステップＳ５０１においてカメラ１００の動作状態を確認し、カメラ１００が動作中であれば、ステップＳ５０２において画像変化検知処理及び追尾処理に関連する変数を初期化する。そして、カメラサーバ２００のＣＰＵは、ステップＳ５２０において終了指示があったか否かを判別し、終了指示があれば本処理を終了し、終了指示がなければステップＳ５０１に戻る。
【００６１】
カメラサーバ２００のＣＰＵは、ステップＳ５０１においてカメラ１００が停止中であれば、ステップＳ５０３に進み、カメラ１００の撮像画像を取得し、取得した画像に対する処理を行う。次に、カメラサーバ２００のＣＰＵは、ステップＳ５０４に進み、取得した撮像画像の隣接するフレーム間の差分処理を行う。既に述べたように、差分処理は、JPEG画像の各ブロックにおける変化の有無を求めるものである。具体的には、差分処理は、ブロック単位でJPEGのDCT係数の差分和を求め、該差分和が感度によって決定される閾値より大きければ、画像の動きありとする処理である。
【００６２】
次に、カメラサーバ２００のＣＰＵは、ステップＳ５０５に進み、追尾状態かどうかを判別する。カメラサーバ２００の動作状態には、上述したように画像変化検知状態と追尾状態の２つの状態があり、初期の動作状態は画像変化検知状態であるが、画像変化を検知すると追尾状態となる。
【００６３】
カメラサーバ２００のＣＰＵは、ステップＳ５０５において追尾状態であると判定した場合は、ステップＳ５０８の処理に進む。カメラサーバ２００のＣＰＵは、ステップＳ５０５において追尾状態でないと判定した場合は、ステップＳ５０６で変化判別処理を行う。変化判別処理の手順は図８で説明する。
【００６４】
次に、カメラサーバ２００のＣＰＵは、ステップＳ５０７に進み、画像変化検知状態を参照する。カメラサーバ２００のＣＰＵは、ステップＳ５０７において画像変化が検知されなかった場合には、ステップＳ５２０に進み、画像の変化が検知された場合には、ステップＳ５０８に進む。
【００６５】
カメラサーバ２００のＣＰＵは、ステップＳ５０８において変化検知ブロックの連結処理を行う。変化検知ブロックの連結処理は、差分処理の結果、画像の変化ありと検知されたブロック同士が隣接している場合には、一つの領域として連結する処理である。
【００６６】
次に、カメラサーバ２００のＣＰＵは、ステップＳ５０９において、上記ステップＳ５０８で連結された領域のうち最大面積を持つ領域の面積が予め定めた閾値Thsより大きいかどうかを判別する。カメラサーバ２００のＣＰＵは、もしステップＳ５０９において最大面積を持つ領域の面積が予め定めた閾値Thsより大きいと判定した場合には、ステップＳ５１０に進み、追尾処理に入る。
【００６７】
カメラサーバ２００のＣＰＵは、ステップＳ５１０で最大面積ラベル（ブロック）の重心位置と画像中心との差をパン・チルト制御量に変換する。次に、カメラサーバ２００のＣＰＵは、ステップＳ５１１で、上記求めたパン・チルト制御量（カメラ制御量）を用いてカメラ制御を行う。更に、カメラサーバ２００のＣＰＵは、ステップＳ５１２でカメラ制御を開始した時点での時刻Tlastを記録し、ステップＳ５１３で追尾状態記録フラグを１即ち追尾状態に変更する。
【００６８】
次に、カメラサーバ２００のＣＰＵは、ステップＳ５１４で設定クライアント３００に対して追尾開始イベント（追尾開始信号）を発行する。そして、カメラサーバ２００のＣＰＵは、ステップＳ５１５において画像変化検知処理と追尾処理に関する情報を設定クライアント３００に送信する。画像変化検知処理と追尾処理に関する情報は、変化が発生したブロック位置、面積比、変化検知された最大面積領域とその重心位置、追尾状態を示す情報を含む。カメラサーバ２００のＣＰＵは、送信を終了するとステップＳ５２０に進む。
【００６９】
カメラサーバ２００のＣＰＵは、もしステップＳ５０９において最大面積を持つ領域の面積が予め定めた閾値Ths以下であると判定した場合には、ステップＳ５１６に進み、カメラ１００による追尾が開始されてからの経過時間を確認する。これは、変化検知処理の結果、検出された追尾対象候補が雑音であるか否かを正確に判断するためである。
【００７０】
カメラサーバ２００のＣＰＵは、ステップＳ５１６において最後にカメラ制御した時刻からの経過時間（Tnow-Tlast）を求め、経過時間が予め定めた時間Tht以下の場合には、本処理を終了する。これは、追尾状態のときは一時的に対象を見失った場合であるので、追尾状態モードを継続することを意味する。
【００７１】
カメラサーバ２００のＣＰＵは、ステップＳ５１６において経過時間が予め定めた時間Thtを経過している場合には、ステップＳ５１７に進み、追尾状態記録フラグを０即ち画像変化検知状態に変更する。更に、カメラサーバ２００のＣＰＵは、ステップＳ５１８に進み、画像変化検知用のカメラプリセット値となるようにカメラ制御を行う。最後に、カメラサーバ２００のＣＰＵは、ステップＳ５１９に進み、設定クライアント３００に追尾終了イベント（追尾終了信号）を発行して、ステップＳ５１５の処理に進む。
【００７２】
図８は、カメラサーバ２００の画像変化検知判別の処理手順を示すフローチャートである。
【００７３】
図８において、カメラサーバ２００のＣＰＵは、本処理を開始した後、ステップＳ６０１でMD=０を初期化する。MDは、画像変化検知の最終結果を表すものであり、MD=０が画像変化検知なし、MD=１が画像変化検知ありを示す。次に、カメラサーバ２００のＣＰＵは、ステップＳ６０２で面積比（変化量）が閾値より大きいかどうかを判別する。面積比とは、既に説明したように、変化検知対象領域に属する全ブロックに対して実際に変化のあったブロックの合計面積の割合である。
【００７４】
カメラサーバ２００のＣＰＵは、もしステップＳ６０２において面積比（変化量）が閾値より大きいと判定した場合、ステップＳ６０３に進み、Ton=０か否かを判別する。Tonは、面積比が閾値より大きくなった時刻（画像変化検知ON開始時刻）である。後述のToffは、面積比が閾値以下になった時刻（画像変化検知OFF開始時刻）である。Tonの初期値は０、Toffの初期値は−１である。
【００７５】
カメラサーバ２００のＣＰＵは、もしステップＳ６０３においてTon=０即ち初期化された状態であると判定した場合は、ステップＳ６０４でTon=Tnowとし、ステップＳ６０５に進む。Tnowは、現在の時刻である。カメラサーバ２００のＣＰＵは、ステップＳ６０３において既に画像変化検知ON開始時刻が設定されていると判定した場合は、ステップＳ６０５に進む。
【００７６】
カメラサーバ２００のＣＰＵは、ステップＳ６０５においてTnow−Tonが継続時間Td以上であると判定した場合は、ステップＳ６０６に進み、画像変化検知あり（MD=１）のフラグを立てる。これは、継続時間以上連続して面積比が閾値より大きかったか、或いは、面積比が瞬間的に閾値以下になることがあっても、継続時間以上は連続しなかった結果、画像変化検知ありとカメラサーバ２００のＣＰＵによって判別されたことを示す。そして、カメラサーバ２００のＣＰＵは、ステップＳ６０７において画像変化検知OFF開始時刻をToff=０と初期化し、本処理を終了する。カメラサーバ２００のＣＰＵは、ステップＳ６０５においてTnow−Tonが継続時間Td未満であると判定した場合は、本処理を終了する。
【００７７】
カメラサーバ２００のＣＰＵは、ステップＳ６０２において面積比（変化量）が閾値以下であった場合には、ステップＳ６０８でToff=０かどうかを判別する。ステップＳ６０８においてToff=０である場合には、Toff=Tnow即ち現在時刻をOFF開始時刻に代入して、ステップＳ６１０に進む。ステップＳ６０８においてToff=０でない場合にはステップＳ６１０の処理に進む。
【００７８】
カメラサーバ２００のＣＰＵは、ステップＳ６１０においてTnow−Toffが継続時間Td以上であると判定した場合は、ステップＳ６１２の処理に進み、Ton=０と初期化する。これは、継続時間以上連続したが面積比が閾値以下であったか、或いは、面積比が瞬間的に閾値より大きくなることがあったが継続時間以上は連続しなかった結果、画像変化検知なしと判定したことを示す。カメラサーバ２００のＣＰＵは、もしステップＳ６１０においてTnow−Toffが継続時間Td未満であると判定した場合には、ステップＳ６１１に進み、画像変化検知あり（MD=１）のフラグを立てる。これは、面積比が閾値以下となる時間が短いため、画像変化検知ありの状態が続いていることを示す。
【００７９】
次に、設定クライアント３００のプロセスの処理手順を図９及び図１０を用いて説明する。
【００８０】
設定クライアント３００の処理は、メインプロセスとサブプロセスからなる。サブプロセスは、設定クライアント３００がカメラサーバ２００からの画像の受信と画像の復号化を行うものであり、復号化を終了した時点でメインプロセスに対して画像の表示を要求するイベントを発行する。サブプロセスをGUI関連のプロセスと分離することにより、GUIの反応低下を防止している。以下ではメインプロセスのみ説明する。
【００８１】
図９及び図１０は、設定クライアント３００のＣＰＵが実行するメインプロセスの処理手順を示すフローチャートである。
【００８２】
図９及び図１０において、設定クライアント３００のＣＰＵは、本処理を開始した後、ステップＳ７０１で初期化を行い、ステップＳ７０２でカメラサーバ２００に対して接続要求を行う。次に、設定クライアント３００のＣＰＵは、ステップＳ７０３でカメラサーバ２００からの応答を待って、もし接続に失敗した場合には、ステップＳ７０４に進み終了処理を行う。
【００８３】
設定クライアント３００ＣＰＵは、接続に成功した場合には、ステップＳ７０５に進み、カメラサーバ２００から画像受信を行うサブプロセスを起動する。設定クライアント３００ＣＰＵは、ステップＳ７０６においてイベントが発生したと判定した場合には、ステップＳ７０７に進み、画像受信イベントであるかどうかを判別する。設定クライアント３００のＣＰＵは、ステップＳ７０７において画像受信イベントであると判定した場合には、ステップＳ７０８に進み、画像表示部３３０に受信された画像を表示する。その後、ステップＳ７０６に戻って次のイベントを待つ。
【００８４】
設定クライアント３００のＣＰＵは、ステップＳ７０７において画像受信イベントではないと判定した場合は、ステップＳ７１１に進み、変化検知情報受信イベントであるかどうかを判別する。設定クライアント３００のＣＰＵは、ステップＳ７１１において変化検知情報受信イベントであると判定した場合には、ステップＳ７１２に進み、変化検知結果を示す情報の表示を更新する。変化検知結果を示す情報とは、上記図２の変化検知ブロック位置４４０、上記図３の面積比６２２、及び変化検知結果・追尾状態表示（アイコン）６４２である。
【００８５】
設定クライアント３００のＣＰＵは、ステップＳ７１１において変化検知情報受信イベントではないと判定した場合には、ステップＳ７１３に進み、設定値受信イベントであるかどうかを判別する。この設定値受信イベントは、設定値を再読み込みした場合に発生するものである。設定クライアント３００のＣＰＵは、ステップＳ７１３において設定値受信イベントであると判定した場合には、ステップＳ７１４に進み、カメラサーバ２００の画像変化検知機能及び追尾機能に関わる設定値の表示を更新する。その後、ステップＳ７０６に戻って次のイベントを待つ。
【００８６】
設定クライアント３００のＣＰＵは、ステップＳ７１３において設定値受信イベントではないと判定した場合には、ステップＳ７１５に進み、設定値送信イベントであるかどうかを判別する。この設定値送信イベントは、上記図２の画像表示ウィンドウ４００上の適用ボタン４８０の押下時に発生するものである。設定クライアント３００のＣＰＵは、ステップＳ７１５において設定値送信イベントであると判定した場合には、ステップＳ７１６に進み、画像変化検知機能及び追尾機能に関わる設定値をカメラサーバ２００に送信する。その後、ステップＳ７０６に戻って次のイベントを待つ。
【００８７】
設定クライアント３００のＣＰＵは、ステップＳ７１５において設定値送信イベントではないと判定した場合には、ステップＳ７１７に進み、カメラ制御要求イベントであるかどうかを判別する。このカメラ制御要求イベントは、上記図２のカメラ制御ボタン群（パン・チルト・ズーム）４５０の押下時に発生するものである。
【００８８】
設定クライアント３００のＣＰＵは、ステップＳ７１７においてカメラ制御要求イベントであると判定した場合には、ステップＳ７１８に進み、カメラ制御要求をカメラサーバ２００に送信する。その後、ステップＳ７０６に戻って次のイベントを待つ。設定クライアント３００のＣＰＵは、ステップＳ７１７においてカメラ制御要求イベントでないと判定した場合には、ステップＳ７１９に進み、その他のイベント処理を行う。その後、ステップＳ７０６に戻って次のイベントを待つ。
【００８９】
上述したように、本実施の形態においては、カメラサーバ２００は、カメラ１００で撮影した画像の取り込みと画像変化検知処理及び追尾処理を行うと共に、画像と画像変化検知処理・追尾処理の途中経過及び結果をネットワーク経由で設定クライアント３００に送信している。設定クライアント３００では、カメラサーバ２００から送信された画像と画像変化検知処理・追尾処理の途中経過及び結果に関する情報の表示を確認しながら、カメラサーバ２００の画像変化検知機能と追尾機能の最適な設定を簡便に行うことができる。
【００９０】
次に、本実施の形態の監視システムにおける追尾機能に関する制御について図１１乃至図２１を参照しながら詳細に説明する。
【００９１】
図１１は、本実施の形態に係る設定クライアント３００の画像表示部３３０における追尾処理が実行されているときの画像表示ウィンドウの表示例を示す図である。
【００９２】
図１１において、追尾開始時の画像表示ウィンドウ４００上には、変化検知ブロック９２０、９３０、９４０が表示されている。変化検知ブロック９２０、９３０、９４０は、それぞれ複数のブロックが連結された別々の領域である。最大面積領域である変化検知ブロック９２０は、他の変化検知ブロック９３０、９４０とは異なる枠色で表示される。更に、最大面積領域である変化検知ブロック９２０の重心位置には、標的マーカ９５０が表示される。
【００９３】
この表示機能を実現するためには、上記図７のステップＳ５１５において、カメラサーバ２００から、変化検知情報に加え、追尾処理に関する情報として、以下の情報を設定クライアント３００に送信すればよい。即ち、変化検知対象の追尾時における変化を検知したブロックの連結結果を示す情報、最大面積領域に属するブロックの位置を示す情報、最大面積領域の重心位置を示す情報である。
【００９４】
具体的には、ブロック連結情報は、画像サイズが例えば３２０×２４０画素の場合、JPEG符号化方式のブロックが８×８であることから、ラベル番号が記された４０×３０の配列となる。同一の連結ブロックには同一のラベル番号が振られる。各要素の大きさは、ラベル番号の最大値に依存するが、最大でも２４００であるため、２バイトで足りる。また、最大面積領域情報は、最大面積領域のラベル番号を２バイトで送信すればよく、重心位置もX座標、Y座標共に２バイトで足りる。
【００９５】
一方、設定クライアント３００側では、上記図１０に示した設定クライアント３００のメインプロセスの画像の変化検知情報受信イベントを判別する処理（ステップＳ７１１）において、変化検知情報に加えて上記の追尾処理に関する情報も取得する。そして、設定クライアント３００側では、カメラサーバ２００が画像変化検知状態の場合は、第１の実施の形態と同様な表示を行い（図２参照）、カメラサーバ２００が追尾状態の場合は、図１１に示した表示と同様な表示を行う。
【００９６】
このように、設定クライアント３００は、カメラサーバ２００の変化検知情報（変化検知ブロック位置、変化検知面積比、変化検知結果）に加えて、追尾処理の途中経過（変化検知対象の追尾時における変化を検知したブロックの連結結果、最大面積領域に属するブロックの位置、最大面積領域の重心位置）を視覚的に表示する。これにより、設定者はカメラサーバ２００のより正確な画像変化検知機能及び追尾機能に関わる設定を行うことができる。
【００９７】
次に、設定クライアント３００における追尾方法の変更に関して説明する。設定クライアント３００のＣＰＵは、図３に示す設定操作ウィンドウ６００の追尾方法の変更ボタン６３４（不図示）の選択を検出すると、図１２に示すような追尾方法の詳細選択を行うための設定ウィンドウ１０００を画像表示部３３０に表示する。
【００９８】
＜色検知による追尾＞
まず、図１２に示す設定ウィンドウ１０００において、「色検知による追尾」を選択した場合の処理を説明する。
【００９９】
図１２は、設定クライアント３００の画像表示部３３０におけるカメラ１００の追尾方法を選択するための設定ウィンドウ１０００の表示例を示す図である。
【０１００】
図１２において、設定ウィンドウ１０００には、追尾方法の選択として、「フレーム間差分による追尾」、「色検知による追尾」、「テンプレートによる追尾」「顔検知による追尾」が表示されている。設定クライアント３００のＣＰＵは、設定ウィンドウ１０００上で例えば「色検知による追尾」のチェックボックスがチェックされ、「ＯＫ」ボタン１００２が選択されたことを検出すると、図１３（ａ）に示す色検知による追尾設定のための設定ウィンドウ１１１０を画像表示部３３０に表示する。
【０１０１】
図１３（ａ）は、設定クライアント３００の画像表示部３３０における色情報を用いた追尾処理に関する設定ウィンドウ１１１０の表示例を示す図、図１３（ｂ）は、横軸を色相とし縦軸を彩度とした色領域を示す図である。
【０１０２】
図１３において、追尾時の対象検知処理に色情報を用いる方式を説明する。カメラサーバ２００における色情報を用いた対象検知方式の概略は以下の通りである。まず、特定の表色系で表現された色空間上に部分領域を設け、画像上の各画素が前記の色空間に属するかどうかを判別する。次に、抽出された画素に対して連結処理を行い複数の領域を求める。最後に追尾処理として、最大領域の重心点が画面の中央に位置するようにカメラ制御を行う。
【０１０３】
まず、図１３（ｂ）を用いて色空間の例を説明する。色空間は、色相と彩度の２次元で定義され、色相と彩度各々の範囲を定めることにより空間上に部分領域１１０１を設定する。彩度と色相は，画素のＲＧＢ値から公知の変換式により求めることができる。
【０１０４】
次に、図１３（ａ）、（ｂ）を用いて色領域の設定方法を説明する。図１３（ａ）のウィンドウ１１１０では、横軸を色相、縦軸を彩度とした色空間１１１１と、色空間１１１１上にある色領域１１１２が表示される。矩形で表示される色領域１１１２は、色相と彩度の範囲を示している。カメラサーバ２００は、色領域１１１２内の色を有するオブジェクトを追尾することになる。色領域１１１２の設定は、色相の範囲設定部１１１３と彩度の範囲設定部１１１４に値を入力して設定できるだけでなく、色領域１１１２をマウスカーソルで直接ドラッグすることによっても設定できる。色領域１１１２の設定が終了したら、ＯＫボタン１１１５の押下により値を反映するか、キャンセルボタン１１１６の押下により値を反映せずに終了する。
【０１０５】
ウィンドウ１１１０を表示したまま設定値を確認するためには、プレビューボタン１１１７を選択する。ＯＫボタン１１１５ないしはプレビューボタン１１１７の選択により、色領域１１１２の領域情報がカメラサーバ２００へ送信される。カメラサーバ２００は、この領域情報を受信し、追尾処理に反映する。なお、指標１１１８は、現在カメラサーバ２００から設定クライアント３００に送信されている映像を積分したときに得られる彩度及び色相の値である。この指標１１１８付近に色領域１１１２を設定してしまうと、即ち背景と追尾対象の物体との彩度、色相が類似してしまうと、追尾の精度が低減してしまう。設定者はこの指標１１１８を参考にして色領域１１１２を設定することができるので、精度のよい追尾の設定が可能となる。
【０１０６】
また、色空間を入力する別の方法としては、カメラサーバ２００から配信された画像上で検知対象としたい領域を直接指定する方法がある。これは例えば、図２において、人物の肌色部分をマウスカーソルで指示し、周辺画素の色分布に基づいて色領域を決めるものである。その際に指定された色は、ウィンドウ１１１０の色領域１１１２として表示され、設定者が色領域１１１２を確認することができる。
【０１０７】
なお、領域を指定する方法としては、マウスカーソルで指定した点から一定距離以内にある点群を集計の対象とすることもできるし、画像上で矩形領域などの任意形状の領域を指定してその領域内にある点群を集計の対象とすることもできる。このような指定においても、上記図１１に示したような最大検知領域及びその重心位置が表示されることになるので、どの領域を追尾の対象領域としてよいのかを容易に把握することができる。
【０１０８】
なお、色情報による追尾処理を行う場合、設定クライアント３００からカメラサーバ２００に送信される設定情報は、色領域情報や画面上での領域指定情報となる。具体的には、図１３（ａ）の領域指定方法の場合は、彩度の最小値C0、彩度の最大値C1、色相の最小値H0、色相の最大値H1である。また、画面上の点を指定する場合は、その点の画素座標位置(Ix、Iy)である。
【０１０９】
一方で、色情報による追尾処理を行う場合、カメラサーバ２００から設定クライアント３００に対して送信される情報は、画像変化検知状態のときは、上記図６及び図７等で説明した情報と同様である。追尾状態のときは、色検知画素とラベル、或いは色検知ブロックとラベル、最大ラベル番号、最大ラベル領域のサイズ、色検知領域の重心位置を、カメラサーバ２００から設定クライアント３００に送信する。これらは、以下のように表される。
【０１１０】
色検知画素とラベル：(Pxi、Pyi)及びLpi|i=1    M
色検知ブロックとラベル：(Bxj、Byj)及びLbj|j=1    N
最大ラベル番号：Lpmax、Lbmax
最大領域ラベルのサイズ：Spmax、 Sbmax
色検知領域の重心位置：(Cpx、Cpy)、 (Cbx、Cby)
なお、本実施の形態では、色空間として彩度と色相を使用したが、この他にもCrCb空間、UV空間、xy空間などの他の表色系に由来する色空間を用いてもよい。また、色空間上の領域は矩形に限らず、任意形状の領域設定が可能である。また、画像上で指定した任意領域に属する点群の色分布を集計し、これを追尾対象の色分布とすることも可能である。
【０１１１】
また、色情報を用いた別の対象検出方法としては、追尾対象に属する画素集合に対して、頻度を含む色分布を記憶しておき、撮影画像から同一色分布領域を抽出することにより追尾対象の画像上の位置を検出する方法がある。同一の色分布領域の抽出は、例えば８×８画素からなるブロック単位で色分布を求めて照合する照合方法を用いる。これは、従来の手法であるカラーヒストグラムによる照合方法である。
【０１１２】
以下、色情報による追尾処理が設定された場合のカメラサーバ２００と設定クライアント３００の処理手順を説明する。
【０１１３】
色情報による追尾処理を行う際のカメラサーバ２００のＣＰＵによるサブプロセスの手順を図１４を用いて説明する。
【０１１４】
図１４は、カメラサーバ２００の色情報を用いた追尾処理の手順を示すフローチャートである。
【０１１５】
なお、画像変化検知の詳細処理は図６と同一であるので、その説明は省略する。また、図１４に示すサブプロセスの実行前に、色領域情報の送受信などをカメラサーバ２００及び設定クライアント３００間で完了しているものとする。
【０１１６】
図１４において、カメラサーバ２００のＣＰＵは、ステップＳ１２０１においてカメラ１００から撮像画像を取得し、ステップＳ１２０２においてカメラ１００が追尾中かどうか判別する。もしカメラ１００が追尾中でなければ、ステップＳ１２０３に進み、設定クライアント３００の感度設定部６２１、面積比表示部６２２、面積比設定部６２３、継続時間設定部６２４による設定に基づいて変化検知処理を行う。
【０１１７】
次に、カメラサーバ２００のＣＰＵは、ステップＳ１２０４で変化検知の結果を判別し、もし変化なしの場合には、ステップＳ１２１３に進む。カメラサーバ２００のＣＰＵは、もし変化ありの場合には、ステップＳ１２０５に進み、追尾開始イベントを発行して、ステップＳ１２１３に進む。ここで変化検知状態から追尾状態に変移する。カメラサーバ２００のＣＰＵは、ステップＳ１２１３では変化検知情報に加え、追尾情報として色検知画素とラベル、或いは、色検知ブロックとラベル、色検知された最大ラベルの領域とそのサイズ、最大領域ラベルの重心位置を設定クライアント３００に送信して、ステップＳ１２０１に戻る。
【０１１８】
なお、設定クライアント３００側では、画像表示部３３０において、図１１に示すような最大の変化検知領域が表示された画像上に、色検知された最大ラベルの領域を重畳して表示するので、更にユーザはカメラ１００の追尾機能の設定が容易となる。
【０１１９】
カメラサーバ２００のＣＰＵは、ステップＳ１２０２においてカメラ１００が追尾中の場合は、ステップＳ１２０６において既に述べた色情報を用いた追尾対象の検出処理を行う。次に、カメラサーバ２００のＣＰＵは、ステップＳ１２０７において追尾対象を検出できたかどうか判別する。これは、検出した色領域を連結によりラベリング処理し、最大領域の面積が一定値以上であるかどうかで判別する。カメラサーバ２００のＣＰＵは、もし最大領域の面積が一定値以上である場合には、ステップＳ１２０８に進み、検出した色領域を追尾すべくカメラ１００のパン、チルト、ズームを制御し、ステップＳ１２１３に進む。
【０１２０】
カメラサーバ２００のＣＰＵは、ステップＳ１２０７において追尾対象を検出できなかった場合には、ステップＳ１２１０に進み、追尾を終了するかどうかを判別する。これは、追尾対象を検出できない状態が一定時間連続しているかどうかで判別する。カメラサーバ２００のＣＰＵは、もし追尾を終了するのであれば、ステップＳ１２１１で所定の検知対象状態にカメラ１００を戻す。この時点で追尾状態から変化検知状態に変移する。そして、カメラサーバ２００のＣＰＵは、ステップＳ１２１２で発行した追尾終了イベントを、ステップＳ１２１３において設定クライアント３００に送信する。カメラサーバ２００のＣＰＵは、もしステップＳ１２１０で追尾を継続する場合には、ステップＳ１２１３に進み、変化検知処理を続ける。
【０１２１】
＜テンプレートによる追尾＞
次に、上記図１２に示した設定ウィンドウ１０００において、「テンプレートによる追尾」を選択した場合の処理を説明する。
【０１２２】
テンプレートマッチングは、予め設定したテンプレート画像を撮影画像中から探索する手法である。テンプレートマッチングを行うためには、テンプレートを用意する必要があるが、設定クライアント３００の画像表示部３３０に表示した画像上で設定する方法と、変化検知領域から自動的に設定する方法との２種類の方法を用いる。
【０１２３】
図１５は、設定クライアント３００の画像表示部３３０における「テンプレートによる追尾」状態にあるときの画像表示ウィンドウ４００の表示例を示す図である。
【０１２４】
図１５において、画像表示ウィンドウ４００には、追尾対象９１０が移動中であり、テンプレート１３１０が追尾対象上に位置している様子が表示されている。また、画像表示ウィンドウ４００の下部には、テンプレートの位置１３２０や、テンプレートと画像の一致度１３３０が表示される。
【０１２５】
ここで、テンプレートの位置１３１０は、テンプレートの左上座標と右下座標を用いて、４つの整数(Tx0、Ty0)，(Tx1、Ty1)で表される。テンプレートと画像の一致度１３２０は、相関の方法にも依存するが、０から１００までの整数Mで表される。なお、設定クライアント３００は、テンプレートの位置１３１０や、テンプレートと画像の一致度１３２０のデータは、カメラサーバ２００から受信する。また、画像表示ウィンドウ４００には、フレーム間差分において変化検知された最大領域９２０及びその重心位置９５０も表示されるので、テンプレートの設定が正しいか否かを容易に把握することができる。
【０１２６】
上記図２の変化検知領域４４０を自動的にテンプレート画像として設定する場合は、変化を検知したときに上述したような領域の統合とラベリング処理を行い、最大領域の重心点付近の画像をテンプレートとする。この他に、変化検知領域上で最もエッジ成分が多い部分をテンプレートとすることも可能である。
【０１２７】
なお、変化検知された最大領域９２０の撮像画像上で追尾対象を指定することも可能である。この場合、マウスカーソルで画像上の点を指定すると、指定したときの位置情報をカメラサーバ２００に送信し、カメラサーバ２００では所定のサイズの領域をテンプレート画像として記憶する。
【０１２８】
図１６は、設定クライアント３００の画像表示部３３０におけるテンプレートによる追尾の設定を行うためのウィンドウ１４００の表示例を示す図である。
【０１２９】
図１６において、テンプレート関連の設定情報は、ウィンドウ１４００のテンプレートサイズ入力領域１４０１、探索範囲入力領域１４０２、相関演算方法入力領域１４０３、更新時間入力領域１４０４に入力される。
【０１３０】
テンプレートサイズ入力領域１４０１は、例えば16x16や24x24などの複数のテンプレートサイズの選択肢を有する入力領域である。テンプレートサイズが大きい方が雑音に強く、安定した追尾が可能であるが、その一方で処理時間が増加するため、適切に設定することが肝要である。探索範囲入力領域１４０２は、現在、テンプレートのある周辺でどのくらいの広さの範囲を探索するかを指定する入力領域である。探索範囲が広いほど大きな動きに対応できるが、演算量は増大する。
【０１３１】
相関演算方法入力領域１４０３は、演算の高速化に適した画素間の差分和による相関演算方法や、前記方法より低速であるが画像間の明度差に依存しない正規化相関などの相関演算方法から、目的に応じて選択する入力領域である。更新時間入力領域１４０４は、連続して同一のテンプレート画像を使用する最大時間の入力領域である。テンプレートと画像の一致度が高い間はテンプレートの更新は不要であるが、一致度が低くなると更新を行う必要がある。ただし、あまりに長時間連続して同一のテンプレートを使用することも問題あるため、更新時間で調節する。
【０１３２】
次に、図１７を用いてテンプレートによる追尾処理を行う際のカメラサーバ２００のＣＰＵによるサブプロセスの手順を説明する。
【０１３３】
図１７は、カメラサーバ２００のテンプレートによる追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。
【０１３４】
なお、画像の変化検知の詳細処理は図６と同一である。また、図１７における上記図１４と同じステップ番号の処理は同様の処理が実行されるものとして、その説明を省略する。
【０１３５】
図１７において、カメラサーバ２００のＣＰＵは、追尾処理の開始後、ステップＳ１２０４において画像の変化ありと判定した場合には、ステップＳ１５０５においてテンプレート画像をカメラサーバ２００に内蔵されている記憶媒体に記憶する。ただし、設定クライアント３００から予めテンプレート画像が指定されている場合には、この処理は行わない。
【０１３６】
カメラサーバ２００のＣＰＵは、ステップＳ１２０２において追尾状態の場合には、ステップＳ１５０７において、ステップＳ１５０５で記憶されたテンプレート画像或いは設定クライアント３００で指定されたテンプレート画像と、カメラ１００から得られる画像とのマッチングを行う。更に、カメラサーバ２００のＣＰＵは、ステップＳ１５０８において追尾対象を検出できたかどうかを判別する。ステップＳ１５０８における判別処理では、探索範囲中の最大相関度（一致度）が所定の値以上の場合に、追尾対象を検出したものと判別する。
【０１３７】
カメラサーバ２００のＣＰＵは、ステップＳ１５０８において追尾対象を検出した場合は、ステップＳ１５０９においてその検出された追尾対象にカメラ１００の向きを制御する。カメラサーバ２００のＣＰＵは、ステップＳ１５０８において追尾対象を検出できなかった場合には、ステップＳ１５１０において追尾終了かどうかを判別する。ステップＳ１５１０における判別処理では、テンプレート画像と撮影画像との一致度が所定値以上得られなかった時間が一定時間経過した場合に、追尾対象を見失ったものと判別する。
【０１３８】
カメラサーバ２００のＣＰＵは、ステップＳ１５０９における処理の終了後、或いは、ステップＳ１５１０において追尾を終了しないと決定した場合は、ステップＳ１５１４に進み、テンプレートの更新処理を行う。これは、テンプレートマッチングの結果、一致度が低い場合か、或いは、予め設定したテンプレートの更新時間を前回の更新から現在までの時間が経過した場合に、テンプレート画像をカメラ１００から取得した現在の撮像画像内の対応する領域の画像に差し替える処理である。
【０１３９】
＜顔検知による追尾＞
次に、上記図１２に示した設定ウィンドウ１０００において、「顔検知による追尾」を選択した場合の処理を説明する。顔検知機能は、人物の目、鼻、口などの画像の特徴から顔の位置と向きを検出するものである。
【０１４０】
図１８は、設定クライアント３００の画像表示部３３０における顔検知による追尾状態にあるときの画像表示ウィンドウ４００の表示例を示す図である。
【０１４１】
図１８において、画像表示ウィンドウ４００には、設定クライアント３００がカメラサーバ２００から受信したカメラ１００の画像４３０上に検出された複数の顔の領域１６０１、１６０２が表示されている。また、顔検知処理には顔の向きを求めるものがある。顔の位置と顔の向きは、顔検知リスト１６０３に表示される。顔の位置と顔の向きに関しては公知の手法を用いるものとしてその説明を省略する。
【０１４２】
このような顔検知結果は、設定クライアント３００がカメラサーバ２００から受信して画像表示部３３０に表示する。また、フレーム間差分において変化検知された最大領域９２０及びその重心位置９５０も、画像表示部３３０に表示されるので、テンプレートの設定が正しいか否かを容易に把握することができる。
【０１４３】
次に、図１９に示すウィンドウ１７００を用いた設定クライアント３００における顔検知パラメータの設定方法を説明する。
【０１４４】
図１９は、設定クライアント３００の画像表示部３３０における顔検知による追尾の設定を行うためのウィンドウ１７００の表示例を示す図である。
【０１４５】
図１９において、ウィンドウ１７００は、上記図１２に示した設定ウィンドウ１０００において「顔検知による追尾」を選択した場合に表示される。顔検知パラメータとしては、「最大検出人数」、「検知方向」、「検知精度」の３つを設定する。
【０１４６】
「最大検出人数」は、顔画像の最大検出数である。検出人数に制限を設けることにより、検出途中で顔である確率の低いものを排除し、顔検知処理の高速化を図ることができる。「検知方向」は、画面に垂直な軸まわりの回転に対応した顔の検知を制限するものである。顔の向きによって検知フィルタを複数回使用する必要がある方式では、検知方向を制限することによる高速化が期待できる。「検知精度」は、顔検知精度の高低を設定するものである。これは具体的には、顔候補の絞り込みに使用するフィルタや工程の簡略化を設定するものであり、フィルタ数を適切に設定することにより、精度と速度のバランスを取ることができる。
【０１４７】
次に、図２０を用いて顔検知による追尾処理が設定された場合のカメラサーバ２００のＣＰＵによるサブプロセスの手順を説明する。
【０１４８】
図２０は、カメラサーバ２００の顔検知による追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。
【０１４９】
カメラサーバ２００は、画像変化検知状態では撮像画像全体に対して顔検知処理を行い、顔を検知すると追尾状態に移行する。追尾状態でも、画像変化検知状態と同様に顔検知処理を行う。この際に追尾対象付近の画像に対して顔検知処理を行うことにより、複数の顔が同時に存在する場合であっても対象の追尾が可能である。或いは公知の顔認識処理を用いて、顔の特徴の類似度や配置から同一の顔を認識して追尾する手法も使用可能である。
【０１５０】
図２０において、カメラサーバ２００のＣＰＵは、追尾処理の設定後、ステップＳ１８０１においてカメラ１００から撮像画像を取得し、ステップＳ１８０２において顔検知処理を行う。次に、カメラサーバ２００のＣＰＵは、ステップＳ１８０３で顔画像の検出に成功したかどうかを判別し、もし顔画像の検出に成功した場合には、ステップＳ１８０４でカメラ制御を行う。ここで、顔画像の検出に成功したかどうかは、検出された顔画像のうち、所定の評価値以上の顔が少なくとも一つ存在する必要がある。評価値は、顔らしさを決定するもので、使用する顔検知方式に依存する。
【０１５１】
カメラサーバ２００のＣＰＵは、ステップＳ１８０４のカメラ制御の後、ステップＳ１８０５に進み、追尾中かどうかを判別する。カメラサーバ２００のＣＰＵは、追尾中でない場合は、ステップＳ１８０６で追尾開始イベントを設定クライアント３００に対して発行した後、ステップＳ１８１３に進む。また、カメラサーバ２００のＣＰＵは、ステップＳ１８０５で既に追尾中の場合は、ステップＳ１８１３に進む。カメラサーバ２００のＣＰＵは、ステップＳ１８１３では顔検知情報を設定クライアント３００に送信し、ステップＳ１８０１に戻って処理を続ける。
【０１５２】
カメラサーバ２００のＣＰＵは、ステップＳ１８０３において顔画像の検出に失敗した場合には、ステップＳ１８１０に進み、追尾状態を終了するかどうか判別する。カメラサーバ２００のＣＰＵは、顔画像を連続して検出できなかった場合は、追尾状態を終了する。カメラサーバ２００のＣＰＵは、もし追尾状態を終了する場合で、特定のプリセットを監視している場合などは、ステップＳ１８１１で所定の位置にカメラ制御を行う。次に、カメラサーバ２００のＣＰＵは、ステップＳ１８１２で追尾終了イベントを設定クライアント３００に対して発行し、ステップＳ１８１３に進む。カメラサーバ２００のＣＰＵは、ステップＳ１８１０でもし追尾状態を継続する場合には、ステップＳ１８１３に進み、追尾状態を設定クライアント３００に送信する。
【０１５３】
なお、本実施の形態において、追尾する人数が複数存在する場合は、複数の人数が含まれるようにカメラ１００のズームを広角に制御したり、フレーム差分法によって変化検知されている領域に近いものを追尾制御したりすることになる。
【０１５４】
＜推奨メッセージ及びパラメータの表示＞
カメラ１００の設置個所の影響により或る一定の照度が得られない場合など、追尾方法によってはその精度が上がらないものがある。本実施の形態では、設定クライアント３００においてカメラサーバ２００から配信されたカメラ１００の撮像画像を参照し、その撮像画像の明るさの平均値に応じて、上記図１２の設定ウィンドウ１０００のコメント欄１００１に追尾方法を推奨するメッセージを表示している。
【０１５５】
図２１は、設定クライアント３００の追尾方法推奨メッセージ表示処理の手順を示すフローチャートである。
【０１５６】
図２１において、設定クライアント３００のＣＰＵは、ステップＳ２１０１においてカメラサーバ２００から配信されたカメラ１００の撮像画像の明るさの平均値を算出する。設定クライアント３００のＣＰＵは、撮像画像の明るさの平均値が所定レベル以上の場合は、ステップＳ２１０４に進み、上記図１６の選択された追尾方法を設定するためのウィンドウ１４００において、通常の照度用の初期設定値を入力領域１４０１〜１４０４に表示させる。
【０１５７】
設定クライアント３００のＣＰＵは、撮像画像の明るさの平均値が所定レベル以下の場合は、ステップＳ２１０２に進み、他の方法より低照度であってノイズなどの影響を受けにくい「テンプレートによる追尾を推奨します」というメッセージを設定ウィンドウ１０００のコメント欄１００１に表示する。更に、設定クライアント３００のＣＰＵは、上記図１６の選択された追尾方法を設定するためのウィンドウ１４００において、低照度用の初期設定値を入力領域１４０１〜１４０４に表示させる。
【０１５８】
例えば、上記図１２の設定ウィンドウ１０００において「テンプレートによる追尾」を選択した場合、上記図１６のウィンドウ１４００において、テンプレートサイズ入力領域１４０１には、上記ステップＳ２１０４で表示させる値より大きめの値、初期設定値として例えば３０×３０を表示する。また、探索範囲入力領域１４０２には、広めの探索範囲を設定し、相関演算方法入力領域１４０３には、精度の良い「方法２」を初期設定値として表示する。また、更新時間入力領域１４０４には、上記ステップＳ２１０４で表示させる値より長くしたものを表示する。
【０１５９】
また、例えば、上記図１２の設定ウィンドウ１０００において「テンプレートによる追尾」を推奨したにも関わらず、「顔検知による追尾」の選択が検出された場合、顔の検知方向を「正面のみ」（初期設定値）のみの選択を表示させ、顔の検知方向における他の選択肢は表示させないようにする。
【０１６０】
なお、上記図１２の設定ウィンドウ１０００において「テンプレートによる追尾」を推奨したにも関わらず、「フレーム間差分による追尾」、「色検知による追尾」の選択が検出された場合は、照度に依存して推奨できるパラメータを有するものとは言えないので、上記ステップＳ２１０４における初期設定値の表示と同じものとする。
【０１６１】
このように、カメラ１００の撮像画像の明るさに応じて追尾方法の推奨メッセージ及び推奨する設定を表示しているので、適切な設定を設定者が行うことが可能となる。
【０１６２】
以上説明したように、本実施の形態によれば、カメラサーバ２００ではカメラ１００による撮像画像及び動物体の検知結果を設定クライアント３００に送信し、設定クライアント３００では設定ウィンドウ上で変更された追尾方法に関わる設定情報をカメラサーバ２００に送信するので、設定クライアント３００によりカメラ１００の追尾機能を容易に設定することが可能となる。
【０１６３】
［他の実施の形態］
上述したように、カメラサーバ２００において追尾用画像処理を行うと同時に、設定クライアント３００においてもカメラサーバ２００と同様な画像変化検知処理や追尾用画像処理を行ってもよい。その場合、設定クライアント３００においてカメラサーバ２００から追尾処理結果を受信する必要がないので、設定クライアント３００とカメラサーバ２００との間の通信量を低減することができる。
【０１６４】
図２２は、他の実施の形態に係る設定クライアント３００’の構成例を示すブロック図である。
【０１６５】
図２２において、設定クライアント３００’は、通信部（受信）３１０、復号化部３２０、画像表示部３３０、変化検知・追尾設定部３４０、設定操作部３５０、通信部（送信）３６０を備える他に、更に、変化検知・追尾処理部３７０を備えている。なお、カメラサーバ２００の構成は図１と同様である。
【０１６６】
設定クライアント３００’は、カメラサーバ２００からの画像受信時に、上述した実施の形態において説明したカメラサーバ２００における追尾用画像処理・画像変化検知処理と同一の処理を行う。
【０１６７】
そして、設定クライアント３００’は、設定クライアント３００’における計算結果に基づいて、画像変化検知状態の場合には、変化発生ブロック４４０、面積比表示部６２２、変化検知結果アイコン６４２を画像表示部３３０に表示する。また、設定クライアント３００’は、追尾状態の場合には、最大領域に属する変化検知ブロック９２０、標的マーカ（重心位置）９５０、変化検知結果・追尾状態アイコン６４２を画像表示部３３０に表示する。ただし、追尾処理として行うのは画像処理のみでカメラ制御は行わない。
【０１６８】
以上説明したように、他の実施の形態によれば、設定クライアント３００’においてもカメラサーバ２００と同様な画像変化検知処理や追尾用画像処理を行うため、設定クライアント３００’がカメラサーバ２００から取得するのは画像のみとなる。その結果、設定クライアント３００’とカメラサーバ２００との間の通信量を低減することができ、容量の小さな回線経由であっても設定クライアント３００’からカメラサーバ２００の画像変化検知機能及び追尾機能に関わる設定が可能となる。
【０１６９】
なお、設定クライアント３００’がカメラサーバ２００側の動作結果を表示するか或いは設定クライアント３００側で処理するか否かは、例えば図２３に示すウィンドウ６００を用いて設定することによって達成することができる。具体的には、ウィンドウ６００上に「サーバの変化検知、追尾結果を表示する」チェックボックス６４１を設ける。このチェックボックス６４１にチェックが付いている場合には、変化検知結果をカメラサーバ２００側の結果に切り替え、チェックがついていない場合には、クライアント３００側において実行された結果を表示する処理を行えばよい。
【０１７０】
なお、設定クライアント３００’において追尾状態時のカメラ制御を含む全ての処理を行いながら、パラメータの設定を行うことも可能である。この場合、設定クライアント３００’側での画像処理結果に基づいてカメラ制御を行うために、画像表示ウィンドウに表示される画像変化検知処理や追尾処理の結果と、カメラの追尾動作とが完全に一致するという利点がある。これにより、カメラサーバ２００の正確な画像変化検知機能及び追尾機能に関わる設定を行うことができる。
【０１７１】
また、上記実施の形態及び他の実施の形態の監視システムにおけるカメラサーバ２００、設定クライアント３００、設定クライアント３００’の構成は、例えば図２４に示すハードウエア構成が考えられる。
【０１７２】
図２４は、カメラサーバ２００、設定クライアント３００、設定クライアント３００’のハードウエア構成例を示すブロック図である。
【０１７３】
図２４において、カメラサーバ２００、設定クライアント３００、設定クライアント３００’は、それぞれ、ＣＰＵ２４０１、ＲＡＭ２４０２、ＲＯＭ２４０３、入力部２４０４、２次記憶部２４０５、表示部２４０６、インタフェース（Ｉ／Ｆ）２４０７を備えている。
【０１７４】
ＣＰＵ２４０１は、装置各部を統括制御するために、ＲＯＭ２４０３から所定のプログラムを読み出して実行し、各種処理を実現する。ＲＡＭ２４０２は、プログラムによる処理に必要な作業領域を提供する。ＲＯＭ２４０３は、本実施の形態を実行するプログラムを格納するためのものである。入力部２４０４は、キーボード，マウスなどによって構成される。２次記憶部２０５は、装置に内蔵されるハードディスク或いは不揮発性の着脱可能なメモリカードに対するデータの読出し或いは書き込みを行う記憶制御部などによって構成される。
【０１７５】
表示部２４０６は、設定画面、撮影画像などを表示するものであり、カメラサーバ２００の構成では不可欠なものではない。Ｉ／Ｆ（インタフェース）２４０７は、インターネットなどを介してカメラサーバ２００及び設定クライアント３００（設定クライアント３００’）が通信するためのものである。なお、カメラサーバ２００には、図２４の構成に加えてカメラ１００と接続するためのコネクタが接続されることになる。
【０１７６】
また、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【０１７７】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１７８】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【０１７９】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１８０】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【０１８１】
【図１】本発明の実施の形態に係る監視システムのカメラサーバ及び設定クライアントの構成例を示すブロック図である。
【図２】設定クライアントの画像表示部におけるウィンドウの表示例を示す図である。
【図３】設定クライアントの画像表示部におけるカメラサーバの画像変化検知機能及び追尾機能に関する各種設定を行うための設定操作ウィンドウの表示例を示す図である。
【図４】カメラサーバのメインプロセスの処理手順を示すフローチャートである。
【図５】図４のフローチャートの続きである。
【図６】カメラサーバのサブプロセスの処理手順を示すフローチャートである。
【図７】図６のフローチャートの続きである。
【図８】カメラサーバの画像変化検知判別の処理手順を示すフローチャートである。
【図９】設定クライアントのメインプロセスの処理手順を示すフローチャートである。
【図１０】図９のフローチャートの続きである。
【図１１】設定クライアントの画像表示部における追尾処理が実行されているときの画像表示ウィンドウの表示例を示す図である。
【図１２】設定クライアントの画像表示部におけるカメラの追尾方法を選択するためのウィンドウの表示例を示す図である。
【図１３】（ａ）は、設定クライアントの画像表示部における色情報を用いた追尾処理に関する設定ウィンドウの表示例を示す図、（ｂ）は、横軸を色相とし縦軸を彩度とした色領域を示す図である。
【図１４】カメラサーバの色情報を用いた追尾処理の手順を示すフローチャートである。
【図１５】設定クライアントの画像表示部におけるテンプレートによる追尾状態にあるときのウィンドウの表示例を示す図である。
【図１６】設定クライアントの画像表示部におけるテンプレートによる追尾の設定を行うためのウィンドウの表示例を示す図である。
【図１７】カメラサーバのテンプレートによる追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。
【図１８】設定クライアントの画像表示部における顔検知による追尾状態にあるときのウィンドウの表示例を示す図である。
【図１９】設定クライアントの画像表示部における顔検知による追尾の設定を行うためのウィンドウの表示例を示す図である。
【図２０】カメラサーバの顔検知による追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。
【図２１】設定クライアントの追尾方法推奨メッセージ表示処理の手順を示すフローチャートである。
【図２２】本発明の他の実施の形態に係る設定クライアントの構成例を示すブロック図である。
【図２３】設定クライアントの画像表示部における設定ウィンドウの表示例を示す図である。
【図２４】カメラサーバ及び設定クライアントのハードウエア構成例を示すブロック図である。
【符号の説明】
【０１８２】
１００  カメラ（撮像装置）
２００  カメラサーバ（撮像制御装置）
２３０  変化検知・追尾処理部
２５０  通信部
３００、３００’  設定クライアント（撮像設定装置）
３１０  通信部（受信手段）
３３０  画像表示部
３４０  変化検知・追尾設定部
３６０  通信部（送信手段）
３７０  変化検知・追尾処理部
【図１】
0004819380.tif 000002
【図２】
0004819380.tif 000003
【図３】
0004819380.tif 000004
【図４】
0004819380.tif 000005
【図５】
0004819380.tif 000006
【図６】
0004819380.tif 000007
【図７】
0004819380.tif 000008
【図８】
0004819380.tif 000009
【図９】
0004819380.tif 000010
【図１０】
0004819380.tif 000011
【図１１】
0004819380.tif 000012
【図１２】
0004819380.tif 000013
【図１３】
0004819380.tif 000014
【図１４】
0004819380.tif 000015
【図１５】
0004819380.tif 000016
【図１６】
0004819380.tif 000017
【図１７】
0004819380.tif 000018
【図１８】
0004819380.tif 000019
【図１９】
0004819380.tif 000020
【図２０】
0004819380.tif 000021
【図２１】
0004819380.tif 000022
【図２２】
0004819380.tif 000023
【図２３】
0004819380.tif 000024
【図２４】
0004819380.tif 000025