(57)【要約】移動物体を検出し、監視システムを制御する方法は、少なくとも１つの像形成センサ(104)からの像情報を受け取るように適応された処理モジュール(1016)を含む。前記システムは、捕獲された像に対して動き検出分析を実行すると共に、移動物体が検出されると、特定のやり方で、カメラ(104)を制御する。像処理は、監視エリアに対するカメラの物理的方向を使用して、カメラにより捕獲された像を、監視エリアの基準マップへとマッピングするのを容易にする。カメラの方向を使用すると、シーン内の移動物体の位置（例えば、緯度、経度及び高度）を導出することができる。
2006523043.tif 000002
【特許請求の範囲】
【請求項１】
監視を行なう方法において、
シーン内の位置に像形成センサを指向するステップと、
前記シーン内の移動物体を検出するステップと、
前記移動物体を自動的に追跡するように前記像形成センサのパン、チルト及びズーム機能を制御するステップと、
を含む方法。
【請求項２】
前記指向するステップは、更に、前記位置を像形成するように前記像形成センサを手動で向ける段階を含む、請求項１に記載の方法。
【請求項３】
前記指向するステップは、更に、前記位置を像形成するように前記シーンにわたり前記像形成センサを自動的に走査させる段階と、前記移動物体が検出されるまで前記シーンを走査し続ける段階とを含む、請求項１に記載の方法。
【請求項４】
前記像形成センサのパン、チルト及びズームパラメータに基づいて、前記移動物体の緯度、経度及び高度を導出するステップを更に含む、請求項１に記載の方法。
【請求項５】
前記像形成センサと前記移動物体との間の視線を予想するステップと、
前記視線を使用して、前記移動物体を最適に像形成するステップと、
を含む請求項１に記載の方法。
【請求項６】
複数の像形成センサを備え、前記視線を使用して、前記移動物体の最適なビューを与える像形成センサを前記複数の像形成センサから選択するステップを更に含む、請求項５に記載の方法。
【請求項７】
前記像形成センサにより発生される情報は、前記シーンを示すゾーンマップと結合されて表示される、請求項１に記載の方法。
【請求項８】
前記ゾーンマップにおける位置の座標は、ルックアップテーブルを使用してパン／チルト／ズームパラメータへとマップされる、請求項７に記載の方法。
【請求項９】
複数の像形成センサからの情報を前記ゾーンマップと結合するステップを更に含む、請求項７に記載の方法。
【請求項１０】
複数の像形成センサが前記シーンを像形成し、更に、前記移動物体の緯度、経度及び高度を使用して、１つの像形成センサの像形成を別の像形成センサへハンドオフするステップを更に含む、請求項４に記載の方法。
【発明の詳細な説明】
【関連出願への相互参照】
【０００１】
[0001]本出願は、参考としてここに援用する２００２年１０月２１日に出願された米国プロビジョナル特許出願第６０／４１９，８９３号の利益を請求する。
【発明の分野】
【０００２】
[0002]本発明は、一般に、像処理に係る。より詳細には、本発明は、静止した又はパンするカメラから静止又は移動物体を検出するための監視システムに係る。
【関連技術の説明】
【０００３】
[0003]特定エリアのセキュリティを与えるために、監視を行なうに充分な監視方法及び装置が必要とされる。通常、監視システムは、監視エリアをカバーする広い視野をカメラに許すために１台以上のカメラを支柱の頂部又は他の希望高さ位置に配置したもので構成される。カメラは、固定してもよいし、或いはカメラの視野角を調整するためにカメラのパン（視野角を広げるための軸上での回転）及びチルトを許すメカニズムに取り付けてもよい。カメラにより撮られた像は、１人以上のシステムオペレータ又は守衛が見張っているか又は付き添っている複数のモニタに表示される。このようなシステムは、多数の固有の欠点がある。より詳細には、これらのシステムは、監視エリア内の移動物体を自動的に検出してその後に追跡することができない。これらのタスクは、守衛やシステムオペレータの責任となる。守衛やシステムオペレータは、その注意を各モニタに同時に集中することができず、それ故、１つのカメラの視野における移動物体を、オペレータが異なるモニタに注意を向けているために検出できないという事態を招くことがある。別の問題として、このようなシステムは、カメラが移動するとき（即ち、異なる視野を通してパン又はチルトするとき）、動きのある像を検出できず、又、処理もできない。又、このようなシステムは、瞬間的な像の質低下（即ち、風や地震のためにカメラが振れた場合）を考慮できず、カメラからシステムへ送信される信号の瞬間的な脱落が生じた場合にそれを考慮することもできない。
【０００４】
[0004]それ故、この技術では、静止した又はパンするカメラから静止又は移動物体を自動的に検出できるシステムが要望される。更に、このようなシステムは、監視された環境における僅かな変化や、瞬間的なシステム劣化又は遮断のために生じる偽の動き検出を減少又は排除できるものである。
【発明の概要】
【０００５】
[0005]本発明は、一般に、移動物体を検出し且つ監視システムを制御する方法を提供する。このようなシステムは、少なくとも１つの像捕獲装置からの像情報と、この像捕獲装置の位置及び状態に関するエンジニアリングサポートデータ（ＥＳＤ）とを受信するように適応された処理モジュールを備えている。又、このシステムは、捕獲された像に対して動き検出分析を行なうために像捕獲装置へ制御信号を開始すると共に、物体が検出されたときにこのような制御信号を停止するように適応される。一実施形態において、少なくとも１つの像捕獲装置は、ワイヤレスネットワーク又は固定配線により前記モジュールに接続された２台の可視光線カメラを備えている。ＥＳＤは、監視エリアへの像捕獲装置の物理的向きに関連したパン、チルト及びズーム値で構成される。ＥＳＤは、像捕獲装置により捕獲された対応する像へとマップされて、監視エリアの基準マップを形成する。前記制御信号は、像捕獲装置のパン及び走査動作の自動モードと、処理モジュールにおけるその後の動き検出分析とをアクチベートする。これらの制御信号は、移動物体が検出されたときに停止され、像捕獲装置の手動制御を行なうための第２組の制御信号を許す。
【０００６】
[0006]本発明の前記特徴がいかに達成されるか詳細に理解するために、前記で簡単に概要を述べた本発明を、添付図面に示すその実施形態を参照して、以下に詳細に説明する。
【０００７】
[0007]しかしながら、添付図面は、本発明の典型的な実施形態を示すに過ぎず、それ故、本発明の範囲を限定するものではない。本発明は、他の等しく有効な実施形態も受け容れられることに注意されたい。
【詳細な説明】
【０００８】
[0019]本発明は、静止した又はパンする１つ又は複数のカメラから物体を自動的に検出し、その物体検出状態に基づいてこれらカメラの動作を制御するための方法及びシステムに関する。図１は、本発明による物体動き検出システム１００のブロック図である。このシステム１００は、監視のための基準視野を確立し、監視エリアから像を得て処理し、監視エリアにおける移動物体を自動的に検出し、監視下のエリアの状態に関する情報を表示し、更に、システム１００に接続されたカメラ（１つ又は複数）の動作モードを選択的に変更するのを容易にするように相互接続された複数のモジュール及びインターフェイスを備えている。より詳細に述べると、この例に限定されないが、システム１００は、少なくとも１つの像形成センサ１０３（例えば、可視光線又は赤外線カメラ）のパン／チルト／ズームパラメータを制御するカメラパン／チルト／ズーム（ＰＴＺ）モジュール１０２と、グラフィックユーザインターフェイス（ＧＵＩ）設定ディスプレイ１０６と、検出／ＰＴＺ制御モジュール１０８と、ＧＵＩ出力ディスプレイ１１０とを備えている。これらの相互接続されたモジュール及びインターフェイス各々の機能（以下に詳細に述べる）は、カメラが静止、パン又はズーミングしている間にカメラＰＴＺモジュール１０２からの像を処理し、それらの像を基準と比較して、移動物体を検出するための能力をシステムに与える。
【０００９】
[0020]カメラ／ＰＴＺモジュール１０２は、例えば、カメラ１０４（図１及び１０に示す）のような１つ以上の像形成センサに接続され、これは、ビデオ信号を捕獲してシステム１００へ一般にＮＴＳＣ信号フォーマット（これに限定されない）で送信することができる。例えば、カメラ１０４は、７２０ｘ４８８連続走査又は７２０ｘ２４４の飛び越しフォーマットのいずれかにおいて約３０Ｈｚのレートでビデオ信号を送信する可視光線カメラでよい。本発明の一実施形態では、ビデオ信号は、連続走査カメラからのＳビデオフォーマットで、圧縮欠陥や送信ノイズのないものである。別の実施形態では、カメラ（１つ又は複数）１０４は、飛び越しＮＴＳＣフォーマットで赤外線（ＩＲ）情報を捕獲することができ、これは、エリアを夜間に監視するのに有効である。このようなカメラは、システム１００に固定配線することもできるし、或いは各モジュールに取り付けられた一連のアンテナ（図示せず）を経て、ワイヤレスネットワークを経て信号を送信することもできる。カメラ（１つ又は複数）１０４をシステム１００に直接接続することは、例えば、ケーブル（例えば、ＲＳ２３２）によるか、又は光ファイバ接続により行うことができる。焦点、輝度及びコントラストのような全ての機能は、カメラ１０４において、システム１００を経て、特に、ＧＵＩ設定ディスプレイ１０６又は検出／ＰＴＺ制御モジュール１０８を経て、オペレータからのコマンドに基づいて調整することができる。ビデオ信号は、システム１００により処理されて、二次元（Ｘ、Ｙ）の１組の像（又はピクセル）座標を発生する。エリアの特定物体の細部を容易に選択的に見ることができるように、カメラ（１つ又は複数）１０４の各々にはズームレンズが通常接続される。アパーチャー、信号利得及び他の設定のような他のカメラ機能も同様に、検出／ＰＴＺ制御モジュール１０８により制御される。
【００１０】
[0021]カメラ／ＰＴＺモジュール１０２は、建物又は支柱のような支持構造体に物理的に取り付けられる。カメラ／ＰＴＺモジュール１０２は、検出／ＰＴＺ制御モジュール１０８からパン、チルト及びズームコマンドを送信することにより制御される。エンジニアリングサポートデータ（ＥＳＤ）として知られているコマンド（又は信号）も、カメラ／ＰＴＺモジュール１０２と検出／ＰＴＺ制御モジュール１０８との間にケーブル又はワイヤレスリンクを経て通される。本発明の１つの実施形態では、カメラ／ＰＴＺモジュール１０２から中継されるＥＳＤは、指向精度が１°より良好で且つ更新が１０Ｈｚより良好という正確なものである。本発明により与えられる１°の移動において、検出／ＰＴＺ制御モジュール１０８は、カメラ（１つ又は複数）１０４を監視エリアにわたってスイープさせるコマンドを送信する。カメラ（１つ又は複数）１０４がこのようなエリアの距離を更に指すときに、検出／ＰＴＺ制御モジュール１０８は、特定の物体にズームインするコマンドを任意に送信することができる。このようなコマンドは、システムオペレータ又は守衛の側で手動で行なわれてもよいし、又はカメラの視野内で検出される物体に応答して自動的に発生されてもよい。カメラ／ＰＴＺモジュール１０２は、所与のビデオ信号に対して特定のカメラ位置としてシステム１００が認識する一連の座標を与える。従って、実世界におけるカメラ位置（ここではＰＴＺ座標として定義されるパン、チルト、ズームパラメータ）を、捕獲された像（像又はピクセル座標）へとマップすることができる。
【００１１】
[0022]カメラ／ＰＴＺモジュール１０２の幾つかのコンポーネントの機械的特性が与えられると、このモジュールと検出／ＰＴＺ制御モジュール１０８との間に約１０Ｈｚの範囲で信号が通される。上述したように、ビデオ信号は、カメラ／ＰＴＺモジュール１０２とシステム１００の他部分との間に約３０Ｈｚのレートで結合される。ビデオ信号と、システムに使用されるＰＴＺ制御信号との間には送信レートに著しい差があるので、像又はピクセル座標とＰＴＺ座標との不整列を防止するには、ビデオ及びＰＴＺ制御信号におけるこのような差を考慮しなければならない。カメラ１０４のパン動作は直線的であるから、直線的な補間方法を使用して、実際のＰＴＺ座標情報の送信間にＰＴＺ座標を仮定又は予想することが受け容れられる。
【００１２】
[0023]別の実施形態では、像又はピクセル座標とＰＴＺ座標との差を考慮することに関して、閉ループシステムが確立される。より詳細には、スクリーン上の特定物体のＸ、Ｙピクセル座標が決定され、負のフィードバックループが付勢される。又、このフィードバックループは、特定の物体上に位置されたときのカメラ１０４の最後に受信したＰＴＺ座標を含み、その物体に対する修正されたＰＴＺ座標を発生する。例えば、所与のＰＴＺ値が、カメラ／ＰＴＺモジュール１０２からの信号により確立されると共に、検出／ＰＴＺ制御モジュール１０８により解釈される。更に、カメラ１０４の視野内の物体が検出され、そのＸ、Ｙピクセル座標がシステム１００により確立される。Ｘ、Ｙピクセル座標は、例えば、ＰＴＺ座標の右側へ１００ピクセルであり、これは、システム１００に現在あるＰＴＺ座標に対する物体の厳密な位置に若干のエラーを招くことがある。負のフィードバックループにＸ、Ｙ像座標を通すことにより、物体をスクリーン上にセンタリングして、特定カメラ位置のより正確な読み、ひいては、物体の実世界の位置を与えるように、ＰＴＺ座標が調整される。或いは又、ＰＴＺ座標と像座標との間の調整を、三次元ドメインにおいて行なってもよい。即ち、システム１００は、検出された物体の緯度及び経度座標を分析し、それら座標を、ＸＹピクセル座標に代わってフィードバックループに入れることができる。３Ｄドメイン及び方法を使用する１つの効果は、物体の高さも決定でき、そのサイズ及び相対速度に基づいて物体の認識に関して仮定を行なえることである。従って、物体の緯度、経度、及び高度を決定することができる。
【００１３】
[0024]ＧＵＩ設定ディスプレイ１０６は、監視下のエリアの基線を確立するための基準像（以下、ゾーンマップと称される）を確立する。より詳細には、ＧＵＩ設定ディスプレイ１０６は、一連の像を捕獲し、これらの像は、移動物体を検出するための種々の検出スレッシュホールドが指定された一連のカスタマイズされた領域へとセグメント化することができる。これら領域を定義する二次元（Ｘ、Ｙ）座標は、ＰＴＺ座標へとマップされる値のルックアップテーブルの一部分を形成する。従って、カメラ／ＰＴＺモジュール１０２がパン及び走査モードにあるときには、ＰＴＺ座標がルックアップテーブルに結合されると共に、パン及び走査された像をシステムにより形成されたゾーンマップに基づいて処理するためにどの検出スレッシュホールドを使用すべきかについて決定がなされる。ＧＵＩ設定ディスプレイ１０６の細部は、図２及び３に示されたシステム初期化方法と、図８及び９の対応するピクトグラムとに関して各々説明する。これらの図面を参照して以下に説明を行なう。
【００１４】
[0025]図２は、物体検出システム１００に対するゾーンマップを手動で確立するのに使用される一連の方法ステップ２００を示す。より詳細には、この方法は、ステップ２０２で開始されて、ステップ２０４へ進み、ここでは、像捕獲動作を実行して、監視に含まれるべき完全なエリアの一部分である固定位置を捕獲する。このような固定位置は、システムオペレータにより入力される適当なＰＴＺ制御信号を経てモニタ又はオペレータビュースクリーンに捕獲されるか又は完全に表示される。図８は、このように表示されたビデオ像８００を示す。ステップ２０６では、システムオペレータは、監視に対して関心のあるカスタマイズされた領域８０４を選択する。このカスタマイズされた領域８０４の中心のＰＴＺ座標８０２が取得される（システム１００により処理される）。ステップ２０８では、カスタマイズされた領域８０４の角のＰＴＺ座標が、中心のＰＴＺ座標８０２から予想される（破線の対角線８０６により明らかなように）。例えば、中心のＰＴＺ座標が既知であり（これは、カメラが見ている場所だからである）且つカメラの形状が既知であるので、例えば、長方形のカスタマイズされた領域の座標に関して、既知の像形成アルゴリズムに基づいて、予想することができる。
【００１５】
[0026]ステップ２１０において、オペレータは、カスタマイズされた領域８０４にある感度検出スレッシュホールドレベルを指定するようにシステム１００に命令する。例えば、カスタマイズされた領域８０４が、移動するが良性な物体（水域、葉が風で動いている木、等）の像を含む場合には、オペレータが、このような領域に対して感度検出スレッシュホールドを非常に高くセットするか又は全くセットしないようにシステム１００に命令することができる。このようにして、このカスタマイズされた領域における動きによりトリガーされる偽の警報のおそれが著しく減少される。もちろん、カスタマイズされた領域における動きを処理しないようにオペレータがシステム１００に命令するような環境では、警報が送信されるおそれがない。或いは又、第２のカスタマイズされた領域８０８が、良性でない物体が検出されることのある像（車や人が移動している道路）を含む場合には、感度検出スレッシュホールドが低くセットされる。オペレータが、感度検出スレッシュホールドを選択しない場合には、システム１００は、デフォールトスレッシュホールドを自動的に選択する。
【００１６】
[0027]ステップ２１２において、カスタマイズされた領域８０４のＰＴＺ座標が、像の特定のＸ、Ｙピクセル座標へとマップされる。従って、所与のカメラ位置のＰＴＺ座標値ごとに、対応する像に、対応するＸ、Ｙピクセル座標が存在する。従って、図４に示すようなルックアップテーブル４００の形態で基準ライブラリー（即ちゾーンマップ）が作られる。特に、ルックアップテーブルの第１列４０２は、カメラ／ＰＴＺモジュール１０２により与えられて検出／ＰＴＺ制御モジュール１０８へ通されたデータにより決定されるＰＴＺ座標を含む。ルックアップテーブルの第２列４０４は、ＰＴＺ座標（カメラ位置）に対応する像のＸ、Ｙ像又はピクセル座標を含む。更に別の実施形態では、ＰＴＺ座標は、緯度、経度及び高度へとマップされる。このマッピングは、カメラにより像形成されたシーンの全３Ｄモデルを使用して実行される（即ち、モデルは、地域高さマップと、建物のようなシーン内容物のモデルとを含む）。このような情報を使用して、システムは、カメラとシーン内の物体との間の視線と、その物体までの距離とを予想することができる。従って、物体の最適なカメラビューを自動的に選択することができ、例えば、複数のカメラの中の特定のカメラを選択することができ、又は特定の１組のパン／チルト／ズームパラメータを使用して物体を最適に像形成することができ、或いはその両方である。
【００１７】
[0028]方法２００は、ステップ２１４へ進み、ここで、固定位置を表わす次の像が、上述したステップ２０４から２１２に基づいて捕獲され、処理され、マッピングされる。監視下のエリアを構成する全ての像がこのように処理されると、ゾーンマップが完了し、そしてこの方法は、ステップ２１６で終りとなる。
【００１８】
[0029]図３に示すゾーンマップ及びテーブルを設定する別の方法は、システム１００がオペレータの指示のもとで監視領域を自動的に処理するのを許すことによるものである。例えば、図３は、ゾーンマップを自動設定するための一連の方法ステップ３００を示す。図９は、このように表示されたビデオ像９００を示す。この方法は、ステップ３０２で開始されて、ステップ３０４へ進み、ここで、システム１００は、全監視エリア（パン矢印９０２で示す）をパンするように命令される。システムが全監視エリアをパンするときに、オペレータ又は守衛９０４は、パンされているシーンに非良性な移動物体が存在しないことを受動的に確保する。即ち、システム１００は、絶対的な動き（風で揺れる木の葉や、地表水で検出される陽炎や、小動物の動き、等）に関わらず良性の監視領域全体が本質的に何であるか捕獲して、基準像を確立する。ステップ３０６において、システム１００は、捕獲されたいずれの基準像にも（相対的な）動きがないことをオペレータが指示するのに基づいて走査された各ＰＴＺにおいて感度検出スレッシュホールドを自動的にセットする。この方法は、ステップ３０８で終了する。この別の自動設定モードは、ユーザの側でカスタマイズされた領域を手動でマークして形成しなければならない厄介なステップを除去するという利点がある。ＰＴＺ座標の想起を繰り返すことができ且つこれはシステム１００に対して正確であるので、ＰＴＺ対ピクセル値の相関（即ち、図４のテーブル又は他の同様のテーブル）を形成する能力を、数学的な計算により生み出すことができる。
【００１９】
[0030]いずれの初期化プロセスも、静止カメラ用途（支柱又は背の高い構造物の頂部に取り付けられる）に対して非常に良好に作用することに注意されたい。しかしながら、より精巧なマルチカメラシステムでは、カメラハンドオフの概念を考慮しなければならない。カメラハンドオフは、２台以上のカメラを使用して監視エリアを広げることを含む。このような環境では、システム１００は、偽の検出警報を設定せずにシステム１００へ送信される重畳する像を考慮する必要がある。ソース像のジオロケーション(geolocation)又はジオレジストレーション(georegistration)が実行される。換言すれば、あるソース（第１カメラＣ１）からの像Ｉ１は、像データ送信責任が第２ソース（第２カメラＣ２）へハンドオフされる前に、監視エリアの正射投影(orthographic)表示（即ち表面マップ）へジオロケーションされる（緯度及び経度座標を確かめることにより）。システム１００は、次いで、Ｉ１の既知の座標を使用し、そして像データＩ２を送信する前にこれらの座標を指すようにカメラ２に命令することができる（即ち、検出／ＰＴＺ制御モジュール１０８により送信された信号を経て）。このようにして、継ぎ目のない移行（カメラ１からカメラ二へ）が行なわれると共に、Ｉ１及びＩ２は２つの異なる位置から見た本質的に同じ像であるからハンドオフ時間中も監視エリアは完全に監視されたままとなる。位置の推定に何らかの不確実性が存在する場合には、物体が自動的に検出されるまで、その不確実性の方向に第２カメラで走査することができる。
【００２０】
[0031]システム１００が移動カメラ（例えば、無人エアロビヒクル（ＵＡＶ）における）を使用する場合には、より精巧な座標システムが必要となる。更に、このシステムの精度は、所与のカスタマイズされた領域に対して中心ＰＴＺ座標だけを使用するのに実質上充分であることにも注意されたい。即ち、カスタマイズされた領域の到来者座標は、数学的アルゴリズムにより、中心ＰＴＺ座標で表わされた中心点へ本質的にコラプス(collapse)することができる。
【００２１】
[0032]検出／ＰＴＺ制御モジュール１０８は、カメラが静止しているとき（手動制御モード）、パンしているとき（自動連続走査モード）、又はその両方の動作の混合であるとき（歩進／凝視モード）、静止又は移動物体を検出することができる。カメラがパンしているときには、モジュールは、ビデオフレーム間の像整列を実行して、カメラのパンにより生じる像の動きを除去する。整列を行なう方法は、「Hierarchical Model-based motion analysis」（プロシーディングズ・オブ・ヨーロピアン・コンファレンス・オン・コンピュータ・ビジョン１９９２年、ベルゲン氏等）に説明されたように、既に実行されている。整列後に残る動きは、移動物体を指示する。しかしながら、上述したように、例えば、木がそよ風で揺れることで動きが生じることもある。この問題に対処するために多数のサブモジュールが使用されている。特に、図５は、位置合わせサブモジュール５０２、通常フローサブモジュール５０４、短時間の一時的フィルタリングサブモジュール５０６、フローベースのフィルタリングサブモジュール５０８、及び最終物体追跡サブモジュール５１０を更に備えた検出／ＰＴＺ制御モジュール１０８の詳細な回路図である。これらサブモジュールの各々は、検出された物体が実際にオペレータ又は守衛にとって関心のあるものである確率にアクセスするための異なる像処理アルゴリズムを与える。
【００２２】
[0033]検出／ＰＴＺ制御モジュール１０８へ到来するビデオフレームＦｎを最初に位置合わせすることで、システムがフレームの所与の番号を通して１つのバックグランドを「見る」ことを本質的に許す。バックグランドの動き（パンするカメラにより生じた）を排除することにより、真の移動物体を識別することができる。このような位置合わせは、前記ベルゲン氏等の参照文献に見られ且つそこに説明されたような位置合わせ技術に基づいて、位置合わせサブモジュール５０２により実行される。例えば、像は、パンするカメラ又は静止したカメラから１−２秒の周期で取得される。像におけるピクセルテクスチャーが測定され、それが充分である場合には、像が互いに整列される。測定されたピクセルテクスチャーが整列に不充分である場合には、カメラ／ＰＴＺモジュール１０２が停止するように指令され、従って、カメラのパンによる像の動きをもたない新たな像を取得することができる。その結果、一連の位置合わせされたフレームＲＦｎが得られ、更に別の物体検出処理へと通される。例えば、所定のシステムパラメータに基づき、ゼロ番目のフレームで始まりｎ番目のフレームまでの複数のフレームが互いに位置合わせされる。このような位置合わせステップは、全てのフレームに共通でない前記フレーム間の像の部分を排除する。即ち、カメラがあるエリアをパンしてシステムに像を送るときには、初期のフレーム及びその後のフレームの周辺エリアは、全てのフレームに共通とはならない。位置合わせステップは、このような周辺エリアを除去する。
【００２３】
[0034]フレーム内の物体が著しく大きい場合には、システムがバックグランドではなくこの物体に基づいて将来のフレームを位置合わせしようと試みるので（即ち、ズームインされたカメラ位置を経て移動する大きなトラック）、最初の位置合わせ中に問題が生じることがある。このような状態を考慮するために、最初に捕獲された像のコントラストを高くして、物体をより強く識別する。その後、このシステムは、コントラストの高いエリア（移動物体）ではなく、コントラストの低いエリア（バックグランド）に基づいて、到来するフレームを位置合わせするように命令される。位置合わせの改良に対する別の解決策は、最初の像（大きな物体を伴う）を捕獲し、その物体をマスクして、バックグランドに基づき位置合わせを強制することである。
【００２４】
[0035]像の位置合わせが完了した後、その像内における移動物体の実際の検出が複数のフィルタを経て実行される。最初の物体検出では、バックグランド整列ステップからの像を処理して、フレーム間の輝度変化を検出する。整列された像は、例えば、侵入者がシーン内を歩くことによる輝度の変化を含むことがある。重要な計算において、検出されたピクセル輝度変化は、３段階で評価される。第１に、初期化ステップにおいて設定オペレータにより定義されたカスタマイズされた領域、サイズ及び分類パラメータが与えられると、パン、チルト及びズーム値を読み取り、それらを使用して、その領域のピクセル変化に対して予想されるサイズ、形状及び検出感度を想起する。第２に、輝度変化の実際のサイズ及び形状を測定し、予想される基準に一致しない変化を拒絶する。これらの輝度変化は、例えば、道路上の予想される乗物の活動に対応してもよい。第３に、像対応性アルゴリズムを、整列された像シーケンスに対して実行し、輝度変化の位置をフレームごとに測定する。各輝度変化の測定された変位が所定値を越えない場合には、その輝度変化を拒絶する。輝度変化は、例えば、風で木が揺れることによるものである。他の全ての場合には、警報状態が宣言される。
【００２５】
[0036]像のテクスチャーが整列に対して不充分である場合には、カメラ／ＰＴＺモジュール１０２が走査を停止するように指令され、輝度変化の変位を、新たに捕獲された像において測定する。測定された変位がある時間周期にわたり第２のプリセット値を越える場合には、警報状態が宣言される。この場合には、短い時間周期にわたり輝度変化のピクセル変位がカメラの振動によるもので、侵入者の動きによるものではないので、警報状態は迅速に宣言されない。
【００２６】
[0037]通常フローサブモジュール５０４は、所与の像において様々な異なる形式の動きを検出する比較的低レベルのフィルタである。例えば、通常フローフィルタは、安定したバックグランドと、木及び葉、地表水移動からの閃光、熱によるバックグランドの陽炎、瞬間的なカメラの焦点ずれ又は像のボケ、及び２つのポイント間の顕著な（一貫した）動きの物体表示特性より成るグループから選択された動きとの間を区別する。
【００２７】
[0038]通常フローフィルタリングは、図６に示す一連の方法ステップ６００に基づいて実行される。より詳細には、一連の方法ステップ６００は、ステップ６０２で開始されて、ステップ６０４へ進み、ここでは、一連の位置合わせされた入力像フレームＲＦｎ（例えば、カメラ／ＰＴＺモジュール１０２により捕獲されて、検出／ＰＴＺ制御モジュール１０８に結合された像Ｆｎ）が位置合わせサブモジュール５０２から得られる。ステップ６０５は、ゼロ番目及びｎ番目のフレームのフィルタリングを実行し、特定の動きで直接生じることのない像間の差を考慮する。例えば、自動利得制御（ＡＧＣ）を瞬間的に変化させるべき場合には、特定の動きがないのに、ゼロ番目のフレームとｎ番目のフレームとの間に差が生じる。従って、フィルタリングステップ６０５はこのような差を考慮する。ステップ６０６では、ｎ番目のフレームを、整列即ち位置合わせされたゼロ番目のフレームに位置合わせするために、ワープステップを実行する。ステップ６０５及び６０６は交換可能であることに注意されたい。即ち、ｎ番目からゼロ番目のフレームへのワープと、前記フレームのフィルタリングとは、前記フレームにおいて動きを検出するための能力に何ら影響せずに交換することができる。通常フローサブモジュール５０４は、通常フロー処理方法６００に基づいて一連の通常フローパラメータ（ＮＦ０、ＮＦ１、・・・ＮＦｎ）を出力する。
【００２８】
[0039]一連のフレームにおいて分析された最後のフレームの比較を、ゼロ番目のフレームに対して比較する。このような２つのフレーム間の差は、検出のための潜在的な関連性と考えられる。従って、ゼロ番目のフレームとｎ番目のフレームとの間で検出される動きのレベルを決定するために基準を確立しなければならない。このような決定は、ゼロ番目のフレームとｎ番目のフレームとの間の像の変化＊１及びこれら同じフレームの勾配＊２をステップ６０８において計算することにより行なわれる。ΔＩは、像における相対的な動きの変化を考慮し、一方、∇Ｉは、必ずしも動きの変化でないコントラストの変化を考慮するための正規化である（これは、ステップ６０５のフィルタリングを促進するためのものである）。ステップ６１０において、ΔＩと∇Ｉの比を比較し、それが、低レベルの動き検出スレッシュホールドである定数Ｃより大きいかどうかを決定することにより、数学演算を実行する。ΔＩ／∇Ｉが、検出スレッシュホールドＣより小さい場合は、この方法は、移動物体が検出されないステップ６１２へ進み、次いで、ステップ６１６へ進んで、通常フローフィルタリングを完了する。ΔＩ／∇Ｉが、低レベルの動き検出定数Ｃより大きい場合には、この方法は、考えられる移動物体検出状態が指示されるステップ６１４へ進む。
【数１】
2006523043.tif 000003
【００２９】
[0040]短時間の一時的フィルタリング（ＳＴＴＦ）サブモジュール５０６は、像におけるランダムノイズ及びボケにより生じる偽の欠陥を減少する。従って、このモジュールは、多数のフレームにわたる一貫した動きを検出することによりフィルタリングの次の順序の高いレベルを表わす。換言すれば、通常フローフィルタリングによって物体が「検出」された場合に、ＳＴＴＦは、その物体が瞬間的なものか（即ち１つ又は２つのフレームに見えるだけか）又は長い時間スパンにわたって一貫したものかを決定する。このモジュールの機能は、図７に示す一連の方法ステップ７００に基づいて以下に説明する。
【００３０】
[0041]一連の方法ステップ７００は、ステップ７０２で開始されて、ステップ７０４へ進み、ここでは、通常フローサブモジュール５０４からの通常フローパラメータ（ＮＦ０、ＮＦ１、・・・）が更なる処理のために得られる。これらのパラメータが得られると、方法７００は、ステップ７０６へ進み、ここでは、ゼロ番目のフレーム（ＮＦ０）からの最初の通常フローパラメータが所定の最後のフレームＮＦｔへワープされる。このようなワープは、良く知られた像処理アルゴリズムに基づいて実行される。ステップ７０８では、像フレームＮＦ０内の潜在的な物体の周りのピクセルエリアが拡張される。ピクセルエリアのこの拡張は、潜在的に検出される物体より若干広いエリアを分析して、フレームごとのベースで動きがあるかどうか決定できるようにする。ステップ７１０では、時間ｔにおける通常フローパラメータより小さい全ての通常フローパラメータに対してステップ７０６及びステップ７０８を繰り返して、互いに整列された像フレームを有すると共に潜在的物体の周りの拡張されたピクセルエリアを含む一連のパラメータを形成する。ステップ７１２では、全ての拡張された通常フローパラメータＮＦｎ及び時間ＮＦｔにおける通常フローパラメータの論理ＡＮＤがとられて、拡張されたピクセルエリア全体にわたって動きが生じたかどうか決定する。ステップ７１４では、全てのフレームにおいて物体が検出されたかどうか決定する（全ての通常フローパラメータのＡＮＤ演算から生じる論理１により）ための判断動作が実行される。物体が検出された場合には、この方法はステップ７１８へ進み、物体検出状態をセットする。論理ＡＮＤ演算が論理０を生じる場合には、判断ステップ７１４において、物体が検出されなかったと決定され、この方法はステップ７１６へ進み、このような状態をセットする。この方法は、ステップ７２０で終了となる。像フレーム及びピクセル情報を処理するこのような方法は、像フレーム全体を処理する必要がないので、非常に効率的であると考えられる。即ち、パラメータ値ＮＦｔでは、潜在的に物体であるとしてハイライトされたピクセルのみに関心がもられ、それ以前の像フレーム及びそれに付随する通常フローパラメータは、ＮＦｔにより決定された関心のあるピクセルに焦点を合わせるように処理される。従って、ＮＦｔは、関心のあるピクセル及び拡張されたピクセルエリアを決定し、本発明は、以前のフレーム及びパラメータを経て本質的に引き返し、ＮＦｔで検出された関心のある同じポイントをハイライトし、拡張し、次いで、論理ＡＮＤする。
【００３１】
[0042]ＳＴＴＦサブモジュール５０６の出力は、特定像における実際の動きを構成し得るピクセルの本質的な「クリーナー(cleaner)」表示である一連の動きフローパラメータ（ＭＦ１、ＭＦ２、・・・ＭＦｎとして表わされた）である。関心のある特定の動きにおいてどのピクセルが実際に動くかを更に「クリーン」にし即ち解明するための努力において、より長時間のフィルタが使用され、これがフローベースサブモジュール５０８により表わされる。より詳細には、フローベースサブモジュール５０８は、ＳＴＴＦサブモジュール５０６からの動きフローパラメータの接続コンポーネント分析を実行するのに必要なコンポーネント及びアルゴリズムを含む。接続コンポーネント分析は、光学フローパラメータを生じさせ、これらパラメータは、動きを有するピクセルを本質的に分離し且つ特定形式の動き又は特徴に対して更に研究されるべきものである。次いで、フローベースの動き追跡を使用して、物体が、移動物体として識別されるまでにある距離を移動したことをチェックする。フローアルゴリズムは、「Hierarchical Model-based motion analysis」（プロシーディングズ・オブ・ヨーロピアン・コンファレンス・オン・コンピュータ・ビジョン１９９２年、ベルゲン氏等）において既に説明されている。フローは、フレーム間で計算され、像にわたりピクセルを追跡できるように連結される。本質的に、像は再整列され（ノイズソースとしてのバックグランドを除去するために）、そして特定ピクセルセットの増分的な動きが多数の所定のフレームにわたって決定される。所定数のピクセルを越えて物体が移動した場合には、検出が宣言される。しかしながら、物体の動きは、その動きがエラー性であるか一貫したものであるか決定する第２のテストにも合格しなければならない。動きがエラー性である（例えば、木の葉や、餌をあさっている小動物）場合には、関心のある物体が検出されない。動きが一貫したものである（例えば、人間が道を歩いている、自動車が道路を走行している）場合には、関心のある真の物体が検出される。
【００３２】
[0043]ＰＴＺ／検出モジュール１０８の最後のサブモジュールは、最終的物体追跡サブモジュール５１０である。このサブモジュールは、ある形式の二次の短時間フィルタリング（ＳＴＴＦサブモジュール５０６と概念が同様の）を実行する。即ち、最終フローパラメータ（ＦＦ１、ＦＦ２、・・・ＦＦｎ）がフローベースサブモジュール５０８により発生されて、最終的物体追跡サブモジュール５１０へ通される。このようなパラメータは、ＳＴＴＦサブモジュール５０６により処理されるものより相当に簡単なアルゴリズムにより処理されるが、依然として、移動を表わすパラメータとなる。例えば、２つの連続するＦＦパラメータ（ＦＦ２及びＦＦ３）のセントロイドが計算される。ＦＦｔのセントロイドは、ＦＦｔ−１へワープして戻され（この特定例では、ＦＦ３のセントロイドがＦＦ２のセントロイドへワープして戻され）、そしてＦＦ２に見られる関心のある同じ物体がＦＦ３に依然として見られるかどうかの決定がなされる。これは、所定数のフレームを通る同じ物体の一貫した動きの指示を与える。従って、物体の追跡が確認されるだけでなく、以前に検出された同じ物体として経歴的にも示される。２つのフレームによるトラッキングアルゴリズムについて述べたが、最終的物体追跡サブモジュール５１０においていかなる数のフレームを処理し又は分析してもよく、その予めの決定は、追跡及び識別することが望まれる物体の既知の速度に基づいてシステムオペレータにより行うことができる。
【００３３】
[0044]検出／ＰＴＺ制御モジュール１０８により像の分析及びフィルタリングが完了された後に、適当な検出信号がＧＵＩ出力ディスプレイモジュール１１０へ転送される。例えば、方法６００及び／又は７００の判断ブロック６１０及び／又は７１４により各々発生されて、後で顕著な（一貫して追跡される）物体として確認されるような動き検出信号は、ＧＵＩ出力ディスプレイモジュール１１０へ送られる情報を発生し、これにより、ユーザ（即ち守衛）には多数のオプションが使用できる。第１に、可聴警報が鳴るか、又は他の形式の警告がアクチベートされ、これは、以下に詳細に述べるように、カメラ制御の状態を自動から手動へ切り換える。次いで、守衛は、とるべきステップを決定することができる。第２に、移動物体のビデオが記憶されて表示される。ビデオは、物体の検出前、検出中及び検出後に、記憶され表示される。ビデオ（ＮＴＳＣ又はデジタルフォーマット）は、例えば、ＡＶＩファイルとしてコンピュータに直接記憶されてもよいし、或いはＧＵＩ出力ディスプレイモジュール１１０の一部分として又はリモート位置においてＶＤＲ（ビデオディスクレコーダー）マシンに記憶されてもよい。次いで、守衛は、システムがシーンを横切ってパンし続けていても、ビデオをブラウズして、移動物体をチェックすることができる。第３に、物体のゾーンマップにおける位置、適当なサイズ、速度、並びにその明らかな分類のような物体データが表示される。この物体データは、ビデオに見られる物体の確認を容易にする。
【００３４】
[0045]別の検出筋書きでは、システムがパン／チルト／ズーム走査を停止し、検出の像座標から導出された位置にカメラを向ける。これは、初期化モードにおいて決定されたルックアップテーブル（図４）を使用し、且つ移動物体の記録と共にパン／チルト／ズーム値を記憶することにより、行なわれる。又、これらの値をＧＵＩ出力ディスプレイにフィードバックして、ユーザがディスプレイ上でアイコンをクリックし、カメラを正しい位置に自動的に向けるようにすることもできる。
【００３５】
[0046]又、システム１００の付加的な特徴として、ＧＵＩ出力ディスプレイモジュール１１０は、出力マップディスプレイ上にジオロケーションされた検出物体も示す。これは、初期化モード中に定義されたルックアップテーブルであって、シーンにおける実世界の特徴をパン／チルト／ズーム値及び像の位置に関連付けるルックアップテーブルを使用して、実行される。
【００３６】
[0047]両形式のデータの知識を単一のＧＵＩ出力ディスプレイに使用して、像の識別を更に促進することができる。これは、座標情報（即ち、ＧＰＳ座標に基づく物体の位置と、パン／チルト／ズーム値及びそれに対応するＸ、Ｙ値）をＧＵＩディスプレイに供給することにより実行される。例えば、基本的なピクセル分析（Ｘ、Ｙ座標情報のみ）では、中間距離位置の人間から又は近距離の小物体からの距離において車を識別することを困難にする。というのは、それらは、全て、厳密に一致したピクセルカウントを有するからである。しかしながら、ＧＰＳ情報が同時に処理される場合には、物体の相対的な速度を決定することができ、又は少なくともカメラから物体までの距離を決定することができる。従って、通常検出される物体の既知の特性に基づいて物体を識別することが非常に容易になる。
【００３７】
[0048]又、ＧＵＩ設定モジュール１０６を使用して、ＧＵＩ出力ディスプレイモジュール１１０を校正することもできる。ＧＵＩ出力ディスプレイモジュール１１０は、シーンの正射投影又は他のビューを示すことができる。カメラは、浅い角度で遠くを見ることが多いので、角度が僅かに変化するか又は地上高さが僅かに変化しても、カメラは、地上の非常に異なる位置を見ることになる。ＧＵＩ出力ディスプレイは、正射投影又は他のもの（例えば、マップビュー）をディスプレイ上に示すことにより校正される。次いで、ユーザは、カメラを手動でシーン内の特徴部に向けるが、これは、カメラ像及びマップディスプレイの両方において認識できるもの、例えば、建物や道路の合流点である。次いで、ユーザは、マップ及び像をクリックし、２つのポイント間の対応が記憶される。次いで、ユーザは、シーンにわたる多数のポイントに対してこのプロセスを繰り返す。次いで、世界の平らな３Ｄモデルがこれらポイントに適合されて、カメラが取り付けられた支柱の底に平面が通るようにする。簡単な幾何学形状がカメラのパン／チルト／ズーム位置を平面上のポイントの位置に関連付ける。システムの１つのバージョンでは、これは、カメラを特定のマップ位置に向けるのに必要なパン／チルト／ズーム値を予想するための方法である。システムの第２のバージョンでは、３Ｄポイントを補間して、ポイント間に滑らかな３Ｄ表面を形成する。システムの第３のバージョンでは、地理的測量からのＤＥＭ又はマップ高さデータをシステムに読み込み、第１及び第２の方法で述べた方法に代わって又はそれに加えて働くようにする。又、これらの方法を使用して、シーンにわたる検出感度を変更するためにハイライトされた当該領域（例えば、多角形）を補間することができる。
【００３８】
[0049]物体検出システム１００の１つの特定の用途及び動作が図１０に示されており、これについて以下に説明する。物体検出システム１００は、既存の監視システムに一体化されて、可変制御物体検出及び監視（ＶＣＯＤＳ）システム１０００を形成する。このＶＣＯＤＳシステム１０００は、動き検出分析モジュール１００２と、監視モジュール１００４と、支持構造体１００６（即ち、支柱、天井の梁、等）に取り付けられた複数のカメラ／ＰＴＺモジュール１０２とを備えている。監視モジュール１００４は、既存の監視システムのコンポーネントを維持し且つモニタリングするために種々の入力／出力装置１０１０、１００８、中央処理ユニット１０１１、メモリ１０１３、及びサポート回路１０１５をもつ汎用コンピュータである。又、監視モジュール１００４は、ＶＣＯＤＳ１０００の手動制御中に複数のカメラ／ＰＴＺモジュール１０２を制御するために第１組のカメラ制御信号ＣＣＳ１も発生する。これらの機能は、ＣＰＵ１０１１、メモリ１０１３、サポート回路１０１５、及び付属のＩ／Ｏ装置１００８、１０１０により実行される。
【００３９】
[0050]動き検出分析モジュール１００２も、動き検出のタスクを実行するために種々の入力／出力装置１０１２、１０１４、中央処理ユニット１０１６、メモリ１０１７、及びサポート回路１０１９をもつ汎用コンピュータである。例えば、動き検出分析モジュール１００２は、複数のカメラ／ＰＴＺモジュール１０２の各々からビデオ像及びＥＳＤを受け容れるように適応される。より詳細には、カメラで捕獲された像において移動物体を予想するために、ビデオ信号Ｖｉｄｅｏ１及びＶｉｄｅｏ２がカメラ／ＰＴＺモジュール１０２から動き検出分析モジュール１００２へ入力される。同時に、カメラからのビデオ像を監視下のエリアの基準マップに相関させるために、ＥＳＤ（パン、チルト及びズーム座標）が動き検出分析モジュール１００２へ入力される。又、監視モジュール１００４と同様に、動き検出分析モジュール１００２も、複数のカメラ／ＰＴＺモジュール１０２を制御するためにカメラ制御信号（即ち、第２セットのカメラ制御信号ＣＣＳ２）を発生する。しかしながら、カメラ制御信号ＣＣＳ２は、ＶＣＯＤＳ１０００の自動制御中にカメラ／ＰＴＺモジュール１０２へ供給される。このような処理は、全て、ＣＰＵ１０１６、メモリ１０１７、サポート回路１０１９、及び付属のＩ／Ｏ装置１０１２、１０１４により実行される。検出／ＰＴＺ制御モジュール１０８は、通信チャンネルを経てＣＰＵ１０１６に結合された物理的装置である。或いは又、検出／ＰＴＺ制御モジュール１０８は、記憶装置からロードされてメモリ１０１７に常駐するソフトウェアアプリケーションにより表わすこともできる。従って、本発明の検出／ＰＴＺ制御モジュール１０８は、コンピュータ読み取り可能な媒体に記憶することができる。
【００４０】
[0051]各コンピュータ（動き検出分析モジュール１００２又は監視モジュール１００４）は、その複数の各入力及び出力装置、例えば、キーボード、マウス、カメラ、カムコーダ、ビデオモニタ、任意の数の像形成装置、又は記憶装置に結合することができ、記憶装置は、テープドライブ、フロッピードライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含むが、これらに限定されない。
【００４１】
[0052]システムの動作（及びより詳細には、一般に検出／ＰＴＺ制御モジュール１０８及び動き検出分析モジュール１００２のタスク）は、図１１に一連の方法ステップ１１００として示されており、これについて以下に説明する。この方法は、ステップ１１０２で開始されて、ステップ１１０４へ進み、システムの初期化が行なわれる。このような初期化は、例えば、方法２００に基づいて実行される感度スレッシュホールドの手動選択により行われるか、又は方法３００に基づいて実行される自動的な初期化により行なわれる。方法２００に基づく手動の初期化の一例では、システムオペレータが監視モジュール１００４にアクセスして、カメラ（１つ又は複数）を固定位置に向けさせるカメラ制御信号ＣＣＳ１を発生させる。次いで、システムオペレータは、動き検出分析モジュール１００２にアクセスして、カメラ（１つ又は複数）が固定される領域をカスタマイズする。次いで、システムユーザは、監視モジュール１００４にアクセスして、カスタマイズされるべき次の固定位置にカメラ（１つ又は複数）を向けさせるための付加的なカメラ制御信号ＣＣＳ１を発生させ、監視エリア全体が初期化されるまでこれらのステップを繰り返す。ステップ１１０６では、システム初期化が完了し、動き検出分析モジュール１００２が「走査開始」信号を受信する。ステップ１１０８では、動き検出分析モジュール１００２がこの走査開始信号に応答し、ＶＣＯＤＳシステム１０００が自動制御に入る。自動制御の間に、カメラ／ＰＴＺモジュール１０２のカメラ（１つ又は複数）は、動き検出分析モジュール１００２からのカメラ制御信号ＣＣＳ２に基づいて監視エリアをパンして走査する。従って、カメラ／ＰＴＺモジュール１０２は、ビデオ及びＥＳＤ信号を動き検出分析モジュール１００２へ通す。ビデオ信号は、その後、検出／ＰＴＺ制御モジュール１０８により分析される。
【００４２】
[0053]像処理の結果、ステップ１１１０において移動物体が検出されると、ＶＣＯＤＳシステム１０００の手動制御が行なわれる。より詳細には、物体が検出されると、警報が作動され（即ち、警報が鳴るか又は表示され）、次いで、検出された物体を含むパン及び走査された監視エリアを表わす出力ビデオ信号Ｖｏが監視モジュール１００４へ通されて、ディスプレイ装置１００８に表示される。像分析に基づいて、検出の時間、ゾーンマップにおける物体の特定座標、及び物体の最もあり得る識別（即ち、車、人、等）のような付加的な事象データがディスプレイ装置１００８へ通される。手動制御の間に、システムユーザは、監視モジュール１００４とインターフェイスする。この制御の程度では、ユーザは、検出された物体の像及び事象データを調査すると共に、カメラ（１つ又は複数）を手動で動かして、検出された物体のより詳細な像を得るためのカメラ制御信号ＣＣＳ１を発生したり、物体の現在位置を確認したり、その分類を照合したり、或いは考えられる脅威及び必要な応答を確かめるのに必要な他のステップを実行したりすることができる。
【００４３】
[0054]警報状態が合格であった後、ステップ１１１２において警報がリセットされ、ＶＣＯＤＳシステム１０００は、自動制御に復帰する。例えば、システムユーザは、検出された物体を識別し、適当な当局に通知するか、さもなければ、その物体が脅威でないことを確かめる。その後、ユーザは、「走査開始」信号を動き検出分析モジュール１００２へ送信する。警報がトリガーされた後に所定時間が経過してもシステムユーザにより特定のアクションがとられないか、又はシステムがアイドル状態にある場合には、監視モジュール１００４が「走査モード開始」信号を動き検出分析モジュール１００２へ送信する。いずれの筋書きでも、この方法は、ステップ１１０８に復帰して、再び自動制御に入る。この方法は、ステップ１１１４において、例えば、動き検出分析モジュール１００２がオフラインとなるか又は遮断されたときに、終了となる。
【００４４】
[0055]別の実施形態では、方法１１００は、カメラの自動制御から手動モードへ切り換えることができる。一実施形態では、ユーザによるカメラ制御ジョイスティックの使用が自動的に検出され、この方法は、カメラの自動制御を停止してユーザがカメラを制御するのを許す。ユーザがジョイスティックの使用を停止すると、この方法は、自動カメラ制御モードに切り換えて戻すことができる。ジョイスティック使用の監視は、ユーザがカメラを手動で位置設定するのを希望するときにそれを検出する１つの考えられる方法に過ぎない。
【００４５】
[0056]以上、本発明の好ましい実施形態を説明したが、本発明の基本的な範囲から逸脱せずに他の及び更に別の実施形態も考えられ、したがって、本発明の範囲は、特許請求の範囲によって限定されるものとする。
【図面の簡単な説明】
【００４６】
【図１】本発明により物体を自動的に検出し、その検出状態に基づいてカメラを制御するためのシステムを示すブロック図である。
【図２】図１の物体検出システムを手動で初期化するための方法を示すフローチャートである。
【図３】図１の物体検出システムを自動的に初期化するための方法を示すフローチャートである。
【図４】カメラにより捕獲された像のＸ、Ｙピクセル座標に相関するカメラ座標のルックアップテーブルである。
【図５】本発明の検出／ＰＴＺ制御モジュールの詳細な回路図である。
【図６】本発明による物体検出のための像処理法方を示すフローチャートである。
【図７】本発明による物体検出のための第２の像処理法方を示すフローチャートである。
【図８】図２の方法で処理されたビデオの単一フレームのピクトグラムである。
【図９】図３の方法で処理されたビデオの単一フレームのピクトグラムである。
【図１０】既存の監視システムと協働する本発明の一実施形態を示す回路図である。
【図１１】本発明により監視システムのカメラを制御する方法のフローチャートである。
【符号の説明】
【００４７】
１００・・・物体動き検出システム、１０２・・・カメラ／ＰＴＺモジュール、１０４・・・像形成センサ（カメラ）、１０６・・・ＧＵＩ設定ディスプレイ、１０８・・・検出／ＰＴＺ制御モジュール、１１０・・・ＧＵＩ出力ディスプレイ、４００・・・ルックアップテーブル、５０２・・・位置合わせサブモジュール、５０４・・・通常フローサブモジュール、５０６・・・短時間一時的フィルタリングサブモジュール、５０８・・・フローベースのフィルタリングサブモジュール、５１０・・・最終物体追跡サブモジュール
【図１】
2006523043.tif 000004
【図２】
2006523043.tif 000005
【図３】
2006523043.tif 000006
【図４】
2006523043.tif 000007
【図５】
2006523043.tif 000008
【図６】
2006523043.tif 000009
【図７】
2006523043.tif 000010
【図８】
2006523043.tif 000011
【図９】
2006523043.tif 000012
【図１０】
2006523043.tif 000013
【図１１】
2006523043.tif 000014
【国際調査報告】
2006523043.tif 000015