(57)【要約】  多数のカメラの配置からの画像を用いることで、広角ビデオカメラのズーム機能を自動的に拡張するためのシステムである。ある好適な実施形態は、広角ビデオカメラからの画像を用いてこれを実現し、その広角ビデオカメラは解析されることによって、対象範囲(RoI)を特定することができる。その後パンチルトズーム（PTZ）制御が送信されることによって、スレーブカメラがRoIへと向けられる。そして処理回路が用いられることによって、広角画像からのRoIがスレーブカメラの一つからの高解像度画像に置き換えられる。加えて、動作検知ソフトウェアが利用されることによって、動いている対象を自動的に検知、追跡及び／又は拡大することができる。
2008507229.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラシステムであって、
広角マスタカメラと、
一つ以上の（前記マスタカメラの直ぐ近くにある）スレーブビデオカメラと、
前記一つ以上のスレーブカメラの視野の自動制御と、
を有し、スレーブビデオカメラは、前記マスタカメラによって対象とされる範囲の少なくとも一部を監視することができ、自動制御は前記マスタカメラから行われ、前記一つ以上のカメラへの制御信号の少なくともいくつかが、前記マスタカメラの利用可能な情報に基づいているシステム。
【請求項２】
前記スレーブカメラ又はカメラへの前記制御信号が、前記マスタ及びスレーブカメラの相対位置の調整を含む請求項１に記載のシステム。
【請求項３】
前記スレーブカメラ又はカメラが機械式PTZビデオカメラである請求項１に記載のシステム。
【請求項４】
前記スレーブカメラ又はカメラへの前記制御信号が、前記スレーブカメラ内の事前設定されたPTZプリセットを参照することによって決定される請求項１に記載のシステム。
【請求項５】
前記スレーブカメラ又はカメラのビデオ出力の明るさ、露出率、色素バランス及び他の画質が、前記スレーブカメラ又はカメラからのビデオ画像をマスタカメラからのビデオ画像と比較することによって自動的に調整される請求項１に記載のシステム。
【請求項６】
前記画質が、前記スレーブカメラ又はカメラからのビデオ画像のヒストグラムを前記マスタカメラからのヒストグラムと比較することによって調整される請求項５に記載のシステム。
【請求項７】
広角ビデオカメラが魚眼レンズを有する請求項１に記載のシステム。
【請求項８】
広角ビデオカメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項１に記載のシステム。
【請求項９】
前記マスタカメラが利用できる前記情報の少なくとも一部が、マスタカメラ中に含まれるソフトウェアプログラムによって局所的に作成され、それが広角ビデオを画像処理することによって行われる請求項１に記載のシステム。
【請求項１０】
前記画像処理が、前記広角マスタカメラからカメラ内の変換エンジンを介して作成される補正済み俯瞰画像に施される請求項９に記載のシステム。
【請求項１１】
前記ソフトウェアプログラムが、動作検知を含み、ビデオ画像の動いている範囲を決定する請求項９に記載のシステム。
【請求項１２】
前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項９に記載のシステム。
【請求項１３】
前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項１１に記載のシステム。
【請求項１４】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項９に記載のシステム。
【請求項１５】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項１１に記載のシステム。
【請求項１６】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項１２に記載のシステム。
【請求項１７】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項１３に記載のシステム。
【請求項１８】
前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項９に記載のシステム。
【請求項１９】
前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項１１に記載のシステム。
【請求項２０】
前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項９に記載のシステム。
【請求項２１】
前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項１１に記載のシステム。
【請求項２２】
前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項１８に記載のシステム。
【請求項２３】
前記スレーブカメラが動いている対象を自動的に追跡する機能を有し、スレーブカメラが、マスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項１９に記載のシステム。
【請求項２４】
前記マスタカメラが利用できる前記情報の少なくとも一部が、使用者によって発令された外部コマンドから得られる請求項１に記載のシステム。
【請求項２５】
広角ビデオカメラのズーム性能／解像度を自動的に拡張する方法であって、
広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
前記マスタカメラが利用できる情報を使用し、それによって、前記マスタカメラによって対象とされる範囲の少なくとも一部を監視する能力を有するスレーブカメラを遠隔的に制御する手順とを有する方法。
【請求項２６】
前記スレーブカメラからのビデオ出力が前記マスタカメラを経由する請求項２５に記載の方法。
【請求項２７】
前記マスタカメラからの出力が、マスタカメラが利用できる情報に基づいて、前記広角ビデオ画像由来のビデオと、前記経由したスレーブビデオとの間で切り替わる請求項２６に記載の方法。
【請求項２８】
前記広角マスタカメラが、カメラ内の変換エンジンを介して（複数の）補正済み俯瞰画像を抽出でき、前記補正済み俯瞰画像の少なくとも一部が、マスタカメラが利用できる情報に基づいて前記スレーブカメラからの画像と自動的に置き換えられる請求項２５に記載の方法。
【請求項２９】
広角ビデオカメラが魚眼レンズを有する請求項２５の方法。
【請求項３０】
広角ビデオカメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項２５に記載の方法。
【請求項３１】
前記マスタカメラが利用できる前記情報の少なくとも一部が、広角ビデオからマスタカメラ中に含まれるソフトウェアプログラムによって局所的に作成される請求項２５に記載の方法。
【請求項３２】
前記ソフトウェアプログラムが、動作検知を含み、ビデオ画像の動いている範囲を決定する請求項２５に記載の方法。
【請求項３３】
前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項２５に記載の方法。
【請求項３４】
前記ソフトウェアプログラムが、自動的な範囲の移動及び対象の追跡を含む請求項３２に記載の方法。
【請求項３５】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項２５に記載の方法。
【請求項３６】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項３２に記載の方法。
【請求項３７】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項３３に記載の方法。
【請求項３８】
前記ソフトウェアプログラムが、前記スレーブカメラの事前設定されたPTZプリセットを制御することによって、追跡される範囲及び対象がスレーブカメラの視野内に収まる請求項３４に記載の方法。
【請求項３９】
前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項２５に記載の方法。
【請求項４０】
前記ソフトウェアプログラムが、前記スレーブカメラの視野を制御することによって、検知された動いている範囲それぞれを異なるスレーブカメラに割り当てる請求項３２に記載の方法。
【請求項４１】
前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項２５に記載のシステム。
【請求項４２】
前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項３２に記載のシステム。
【請求項４３】
前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項３９に記載のシステム。
【請求項４４】
前記スレーブカメラが自動的に動いている対象を追跡する機能を有し、スレーブカメラがマスタカメラによってそれらに割り当てられた動いている範囲を独立して追跡できる請求項４０に記載のシステム。
【請求項４５】
前記マスタカメラが利用できる前記情報の少なくとも一部が、使用者によって発令された外部コマンドから得られる請求項２５に記載の方法。
【請求項４６】
マルチカメラのビデオシステムにおいて機械式スレーブPTZカメラの反応時間を短縮する方法であって、
広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
前記マスタカメラから遠隔的に機械式スレーブPTZビデオカメラを制御する手順と、
前記マスタカメラから前記スレーブカメラへとPTZコマンドを伝達する手順と、
を有し、広角マスタカメラはカメラ内の変換エンジンを介して補正済み俯瞰画像を抽出することができ、
機械式スレーブPTZビデオカメラは前記マスタカメラによって対象とされる範囲の少なくとも一部を監視することができ、
前記補正済み俯瞰画像の拡大率が事前に決められた拡大率の閾値を越えた時には、PTZコマンドを伝達する手順によって前記補正済み俯瞰画像をほぼ追跡するようになっている方法。
【請求項４７】
前記マスタカメラの前記補正済み俯瞰画像は、前記補正済み俯瞰画像に対する遠隔の拡大コマンドが前記マスタカメラの拡大範囲外の拡大率になる時に、前記スレーブカメラからの画像によって置き換えられる請求項４６に記載の方法。
【請求項４８】
広角ビデオカメラのズーム機能を自動的に拡張する方法であって、
歪んだ広角ビデオ画像を広角ビデオカメラを用いて撮影する手順と、
機械式スレーブPTZビデオカメラを前記マスタカメラから遠隔制御する手順と、
算出されたPTZコマンドをマスタカメラから前記スレーブカメラへと伝達する手順と、
前記スレーブカメラのデジタルビデオ出力をマスタカメラ中の前記変換エンジンへと送信する手順と、
前記PTZ制御信号への調整を決定する手順と、
前記PTZ調整制御信号を前記スレーブカメラへと伝達する手順と、
この方法の前の三つの手順を更に反復的に繰り返す手順と、
マスタカメラの補正済み俯瞰画像を置き換える手順と、
を有し、広角マスタカメラはカメラ内の変換エンジンを介した遠隔PTZ制御下において、複数の補正済み俯瞰画像を抽出することができ、
算出されたPTZコマンドを伝達する手順によって、マスタカメラからの対象範囲の補正済み俯瞰画像とスレーブカメラからの画像との間で方向及び大きさの両方において近似の整合をなすことができ、
デジタルビデオ出力の送信の手順は歪んだスレーブ画像への逆変換のためになされ、逆変換は歪んだ広角ビデオ画像と同様に歪められ、
PTZ制御信号への調整を決定する手順は前記歪んだスレーブ画像を前記歪んだ広角画像と比較することによってなされ、
PTZ調整制御信号を伝達する手順によって、スレーブカメラからの画像と補正された俯瞰画像との間でマスタカメラからの前記対象範囲に対してより良い整合を行うことができ、
反復的に繰り返す手順によって、所望される整合の精度が実現でき、
補正済み俯瞰画像がスレーブカメラからの調整された画像によって置き換えられるために、マスタカメラの拡大範囲外である前記対象範囲用の遠隔の拡大コマンドが前記スレーブカメラへと送信されることによって、拡張された光学ズーム機能を実現できるようになっている方法。
【請求項４９】
前記マスタカメラへの前記遠隔PTZ制御信号が、マスタカメラ内のソフトウェアプログラムによって局所的に作成される請求項４８に記載の方法。
【請求項５０】
前記ソフトウェアプログラムが動作検知を含み、ビデオ画像の動いている範囲を決定する請求項４９に記載の方法。
【請求項５１】
前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項４９に記載の方法。
【請求項５２】
前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項５０に記載の方法。
【請求項５３】
前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置のための調整を含むことによって決定される請求項４８に記載の方法。
【請求項５４】
前記算出されたPTZコマンドが、スレーブカメラ内の事前設定されたPTZプリセットを参照することによって決定される請求項４８に記載の方法。
【請求項５５】
前記スレーブPTZカメラが、デジタルビデオ信号へと変換する必要があるアナログビデオ出力を有する請求項４８に記載の方法。
【請求項５６】
前記歪んだスレーブ画像の前記歪んだ広角ビデオ画像との比較が、色及びウェーブレットのヒストグラムの比較に基づいた画像整合技術を用いて行われる請求項４８に記載の方法。
【請求項５７】
前記歪んだスレーブ画像の前記歪んだ広角ビデオ画像との比較が、一般的に用いられる画像比較手段を用いて行うことができる請求項４８に記載の方法。
【請求項５８】
平均平方誤差が前記画像比較手段として用いられる請求項５７に記載の方法。
【請求項５９】
平均絶対差が前記画像比較手段として用いられる請求項５７に記載の方法。
【請求項６０】
色のヒストグラムの違いが前記画像比較手段として用いられる請求項５７に記載の方法。
【請求項６１】
前記置き換えられた補正済み俯瞰画像が、多数画像出力の分離した部分として表示されるマスタカメラからの複数の出力の一つである請求項４８に記載の方法。
【請求項６２】
前記置き換えがオーバーレイによってなされる請求項４８に記載の方法。
【請求項６３】
明度、露出率、色素バランス及び前記スレーブカメラのビデオ出力の他の画質が、前記スレーブカメラからのビデオ画像のヒストグラムを前記マスタ広角カメラからのヒストグラムと比較することによって自動的に調整される請求項４８に記載の方法。
【請求項６４】
広角カメラが魚眼レンズを有する請求項４８に記載の方法。
【請求項６５】
広角カメラが周辺視野を拡大する目的に合わせて作られたレンズを有する請求項４８に記載の方法。
【請求項６６】
広角カメラが、使用者が規定したプライバシ範囲をビデオ出力へと適用することができ、ソースビデオがカメラの広角画像センサ又はスレーブカメラ又はその両方から得られる請求項４８に記載の方法。
【請求項６７】
前記広角ビデオカメラのズーム機能が、前記マスタカメラの直近部内のいくつかのスレーブカメラによって拡張することができる請求項４８に記載の方法。
【請求項６８】
広角ビデオカメラのズーム機能を自動的に拡張する方法であって、
広角マスタカメラを用いて歪んだ広角ビデオ画像を撮影する手順と、
前記マスタカメラから機械式のスレーブPTZビデオカメラを遠隔制御する手順と、
算出されたPTZコマンドをマスタカメラから前記スレーブカメラへと伝達する手順と、
マスタカメラの補正済み俯瞰画像を置き換える手順と、
を有し、広角マスタカメラは遠隔PTZ制御下においてカメラ内の変換エンジンを介して複数の補正された俯瞰画像を抽出することができ、
機械式のスレーブPTZビデオカメラを遠隔制御する手順によって、高解像度の対象範囲を撮影することができ、
算出されたPTZコマンドを伝達する手順によって、マスタカメラからの対象範囲の補正済み俯瞰画像とスレーブからの画像との間で方向と大きさにおいて近似の整合が実現でき、
補正済み俯瞰画像の置き換えがスレーブカメラからの調整された画像によってなされることによって、マスタカメラの拡大範囲外である前記対象範囲のための遠隔拡大コマンドが前記スレーブカメラに送信されることによって、拡張された光学ズーム機能が実現できるようになっている方法。
【請求項６９】
前記算出されたPTZコマンドが、前記スレーブPTZカメラからの位置のPTZフィードバック情報を含むことによって計算される請求項６８に記載の方法。
【請求項７０】
位置のPTZフィードバック情報を用いることで必要なPTZコマンドを決定する前記ステージが、反復的に繰り返されることによって、前記スレーブPTZ画像とマスタカメラからの対象範囲の補正済み俯瞰画像との間で方向及び大きさにおいて改善された整合をもたらす請求項６９に記載の方法。
【請求項７１】
前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置の調整を含むことによって決定される請求項６８に記載の方法。
【請求項７２】
前記マスタカメラへの前記遠隔PTZ制御信号が、マスタカメラ中にあるソフトウェアプログラムによって局所的に作成される請求項６８に記載の方法。
【請求項７３】
前記ソフトウェアプログラムが動作検知を含み、ビデオ画像の動いている範囲を決定する請求項７２に記載の方法。
【請求項７４】
前記ソフトウェアプログラムが自動的な範囲の移動及び対象の追跡を含む請求項７２に記載の方法。
【請求項７５】
前記算出されたPTZコマンドが、PTZコマンドを与えられた時の前記スレーブPTZカメラの挙動のモデルを用いて決定され、前記スレーブPTZカメラが断続的に既知の固定位置へと較正される請求項６８に記載の方法。
【請求項７６】
前記算出されたPTZコマンドが、前記マスタ及びスレーブカメラの相対的な物理的位置の調整を含むことによって決定される請求項７５に記載の方法。
【請求項７７】
広角カメラが使用者が規定したプライバシ範囲をビデオ出力へと適用する機能を有し、ソースビデオがカメラの広角画像センサ又はスレーブカメラ又はその用法から最初に得られる請求項６８に記載の方法。
【請求項７８】
前記広角ビデオカメラのズーム機能が、前記マスタカメラの直近部内のいくつかのスレーブカメラによって拡張されることができる請求項６８に記載の方法。
【請求項７９】
システムであって、
第一のカメラと、
監視プロセスと、
第二のカメラと、
位置制御システムと、
を有し、第一のカメラが広角画像配置における出力画像の第一のストリームを提供し、ズーム機能をほとんど有さず、
監視プロセスが前記第一のストリームを解析することによって、前記画像内の対象範囲を特定し、
第二のカメラが第二の画像配置における出力画像の第二のストリームを提供すると共に、前記第一のカメラに対して拡張されたズーム機能を有し、
位置制御システムが前記第二のカメラを現在の前記対象範囲の一つへと自動的に向けるようになっているシステム。
【請求項８０】
システムであって、
第一のカメラと、
監視プロセスと、
第二のカメラと、
位置制御システムと、
を有し、第一のカメラが広角画像配置における出力画像の第一のストリームを提供し、ズーム機能をほとんど有さず、
監視プロセスが前記第一のストリームを解析することによって、前記画像内の対象範囲を特定し、
第二のカメラが第二の画像配置における出力画像の第二のストリームを提供すると共に、前記第一のカメラに対して拡張されたズーム機能を有し、さらに、前記第一のカメラに対して物理的に動くことができ、
位置制御システムが前記監視プロセスから前記対象範囲の少なくとも一部の同定を受け、それに基づいて前記第二のカメラを自動的に向けるようになっているシステム。
【請求項８１】
システムであって、
第一のカメラと、
監視プロセスと、
第二のカメラと、
制御システムと、
を有し、第一のカメラは歪んだ広角画像配置において出力画像の第一のストリームを提供し、移動機能をほぼ有さないと共にズーム機能をほぼ有さず、
監視プロセスが前記第一のストリームを解析することによって前記画像中の対象範囲を特定し、
第二のカメラが第二の画像配置における出力画像の第二のストリームを提供し、PTZ制御入力に従ってパン、チルト及び拡大し、前記第一のカメラに対して拡張されたズーム機能を有し、
制御システムが前記監視プロセスから前記対象範囲の少なくとも一部の同定を受け、それに基づいて前記PTZ制御入力を更新するようになっているシステム。
【請求項８２】
方法であって、
第一のカメラから広角画像の配列中の画像の第一のストリームを出力する行為と、
前記第一のストリームを解析し、前記第一のストリーム内に対象範囲を特定する行為と、
第二のカメラから第二の画像の配列中の画像の第二のストリームを出力する行為と、
前記第一のカメラからの出力に少なくとも部分的に基づいて、位置制御システムからのコマンドを介して第二のカメラを特定された対象範囲へと向ける行為と、
を有する方法。
【請求項８３】
方法であって、
第一のカメラから広角画像の配列中の画像の第一のストリームを出力する行為と、
前記第一のストリームを監視することで、前記画像内の対象範囲を特定する行為と、
第二のカメラから第二の画像の配列中の画像の第二のストリームを出力する行為と、
位置制御システムを用いて、前記対象範囲に少なくとも部分的に基づき前記第二のカメラの視野を制御する行為と、
を有し、第二のカメラは前記第一のカメラと比べて物理的な可動性を有し、前記第一のカメラと比べてより狭い視野を有する方法。
【請求項８４】
方法であって、
歪んだ第一の画像の配列において第一のカメラからの出力画像のストリームを監視する行為と、
前記ストリーム内の異なる画像の比較によって、前記画像内に対象範囲を特定する行為と、
PTZ制御入力を提供することで、第二のカメラのパン、チルト及びズームを制御する行為と、
第二の画像の配列において前記第二のカメラから出力画像の第二のストリームを出力する行為と、
を有し、PTZ制御入力の提供が、前記監視行為によって特定される前記対象範囲に少なくとも部分的に基づいて行われる方法。
【請求項８５】
システムであって、
第一のカメラと、
第二のカメラと、
プロセスと、
を有し、  第一のカメラが第一の画像の配列中の出力画像の第一のストリームを提供し、ほとんど拡大機能を有さず、
第二のカメラが第二の画像の配列中の出力画像の第二のストリームを提供し、前記第一のカメラに対して拡張されたズーム機能を有し、
第一及び第二のカメラは少なくとも重複した視野を有し、
プロセスが前記ストリームの一つを変換することによって、リアルタイムに前記第一及び第二のストリームを結合することで、前記ストリームの他の物の画像の配列を整合することができるようになっているシステム。
【請求項８６】
前記第一のカメラが、前記第二のカメラの前記視野を取り囲む視野を有する請求項８５に記載のシステム。
【請求項８７】
方法であって、
第一のカメラから第一の画像配列中の画像の第一のストリームを出力する行為と、
第二のカメラから第二の画像配列中の画像の第二のストリームを出力する行為と、
前記ストリームの一つを変換することによって、リアルタイムに画像の第一及び第二のストリームを結合する行為と、
を有し、第二のカメラが前記第一のストリームと少なくとも重複する視野を有し、
第一及び第二のストリームを結合することによって、前記ストリームの他の物の画像の配置を整合することができる方法。
【請求項８８】
監視システムであって、
アナモルフィックイメージャと
ズームイメージャと、
を有し、アナモルフィックイメージャが、５ステラジアンより大きい視野に相当する歪んだ画像配列を出力し、ズーム機能をほとんど又は全く有さず、
ズームイメージャが前記配列の対象及び／又は動作追跡に基づいて自動的に制御され、前記第一のカメラと比較するとズーム機能を有するシステム。
【請求項８９】
前記イメージャの両方の出力を結合する少なくとも一つの画像処理ユニットをさらに有する請求項８８に記載のシステム。
【請求項９０】
方法であって、
アナモルフィックイメージャからの５ステラジアンより大きい視野に相当する歪んだ画像配列を出力する行為と、
前記出力された配列の対象及び／又は動作追跡に基づいて自動的にズームイメージャを制御する行為と、
を有し、アナモルフィックイメージャが僅かな光学ズーム機能を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
他の出願の相互参照
本出願は、本開示中に文献援用されている２００４年７月１９日出願の米国特許仮出願第60/589,104号に基づく優先権を主張する。
【０００２】
発明の背景及び概要
発明の分野
本発明はビデオ監視システムに関連し、特に、広角ビデオカメラのズーム機能の自動拡張に関する。
【０００３】
背景
リアルタイムのビデオ監視システムは、防犯監視装置として普及してきている。新しい種類のカメラは、機械式のパンチルトズーム（ＰＴＺ）機能を広角光学システム及び画像処理に置き換えている。これは、本開示中で文献援用されている「ビデオ監視用複数視野同時表示の方法（Method of Simultaneously Displaying Multiple Views for Wide-AngleVideo Camera）」という米国特許出願第10/837,019号で論じられている。この種類のカメラは、本願において文献援用されている「広角ビデオカメラにおける複数視野の処理（Multiple View Processing in Wide-Angle Video Camera）」という米国特許出願第10/837,325号で更に論じられている。この種類のカメラは広い視野を監視し、そこから基地局へ伝達すべき範囲を選別する。このようにして、この種類のカメラは機械式ＰＴＺカメラの動作を模倣する。広角光学系は撮影された画像に歪みを生じてしまい、アルゴリズム処理を用いることで歪みを補正し、その画像を機械式ＰＴＺカメラと同様の見え方の画像へと変換する。
【０００４】
本開示中で文献援用されているヤウズ・アヒスカ（YavuzAhiska）の「広角ビデオカメラによる複数対象処理（MultipleObjective Processing in Wide-Angle Video Camera）」という米国特許出願第10/837,326号は、広角カメラによって撮影された歪んだ画像を補正する方法を説明している。この歪み補正処理を用いたとしても、このカメラは、対象となる領域を拡大する僅かな性能を有するのみである。カメラは以下の特許出願で説明されるようにプログラム可能な物であることも可能である。その特許出願とは、内蔵されたプログラム可能なマイクロプロセッサを有する「広角ビデオカメラにおける複数視野の処理」という米国特許出願第10/837,325号である。
【０００５】
ビデオカメラの視野とその画像の有効な解像度との間には競合が存在する。広角レンズは重要な光学ズームをほとんど実施できない。また同様に、高性能なズームを有するビデオカメラは（特に倍率が上がっている時に）狭い視野を有する。
【０００６】
広角の範囲を監視すると共に高解像度で範囲を撮影することができる解決策は、異なる場所で多数のカメラを利用することである。本開示中で文献援用されている米国特許第6,724,421号及び、エックス・チョウ（X.Zhou）らの「遠距離における人のバイオメトリックイメージを得るためのマスタ／スレーブシステム（A Master-Slave System to Acquire Biometric Imagery of Humans atDistance）」という公開文書は、これも本願において文献援用されているが、広角範囲を多数のカメラを使用することで広角の範囲を監視するシステムを説明している。これらのシステムにおいては、一つの独立した基地局ユニットが現場を監視する二台のカメラを制御する。その上、これらのシステムはマスタカメラのズーム機能を拡張しようとしない。
【０００７】
本開示中で文献援用されている米国特許第6,147,709号には、高解像度の画像をカメラによって撮影された半球状の双方向性（interactive）画像上に重ね合わせる方法及び装置が記載されている。重ね合わせは、高解像度画像と補正された俯瞰画像との間で少なくとも３箇所を一致させることによってなされる。この処理の主な欠点は、補正された俯瞰範囲において比較がなされることである。
【０００８】
ビデオ中で動いている範囲及びそれらの周囲は対象範囲（Regions of Interest）（RoI）を形成し、動いている範囲には、人又は動いている物及び、既に動いていないであろうが追跡された対象が相当する。その理由は、人、動いている対象及び／又は追跡される対象などは防犯監視装置にとって重要だからである。危険な事態に対してリアルタイムの警報を発するために、RoIは詳細な見分のために追跡され、拡大されるべきである。従来式の監視カメラ（CCTV）システムは、後の解析のために録画ビデオを撮影するのみであり、遅滞無く自動警報及びイベントトリガ（event trigger）を発することはない。
【０００９】
広視野カメラであって、広角の現場を監視することができ、一方で同時及び自動に高倍率で対象範囲を撮影することもできるカメラは監視システムにとって非常に望まれている。例えば、高解像度画像は犯人の違法行為を確実に特定する場合に効果があるか、放置されたスーツケースの周囲を分析するのに役立つであろう。それ故に、監視装置において、人の高解像度画像を得ることは非常に重要である。
【００１０】
広角の監視は多くのCCTV装置にとって必要である。ドーム状カメラ及び魚眼若しくは周辺レンズ（peripherallenses）を有するカメラのようなカメラは、広角のビデオを撮影することができる。広角監視カメラ及びシステムの主な欠点は、RoIへのズーム機能を有さないか、そのズーム機能が脆弱なことである。
【００１１】
そのシステムは、機械が読み取り可能な媒体を含むコンピュータプログラムを有することができる。それはコンピュータが実施可能なプログラムの命令を含んでおり、プログラム可能なカメラ装置において動く対象を検知し、対象を追跡するアルゴリズムを十分に実行するためのものである。これは、本開示中で文献援用されているセチンとアヒスカ（A. E. Cetin and Y. Ahiska）の「ウェーブレット領域情報を用いたビデオ中の動く対象の追跡（Tracking Moving Object in Video Using Wavelet Domain Information）」という米国特許出願第10/924,279号に記載されている。広視野カメラの自動的な動いている対象の検知及び対象追跡機能はRoIを規定することができ、RoIは、問題となる対象を捉えているカメラによって監視された広角の現場中にある。このRoIは多くの防犯装置にとって対象であろうから、その範囲はマスタカメラの電子式PTZ機能によって追跡することができる。
【００１２】
現在、広い範囲を監視することと、同時及び自動に高解像度で対象範囲の撮影とが両方できるシステムに対する要請がある。
【特許文献１】米国特許仮出願第60/589,104号明細書
【特許文献２】米国特許出願第10/837,019号明細書
【特許文献３】米国特許出願第10/837,325号明細書
【特許文献４】米国特許出願第10/837,326号明細書
【特許文献５】米国特許第6,724,421号明細書
【特許文献６】米国特許第6,147,709号明細書
【特許文献７】米国特許出願第10/924,279号明細書
【特許文献８】米国特許第6,509,926号明細書
【特許文献９】米国特許出願第10/837,012号明細書
【特許文献１０】米国特許出願第11/178,232号明細書
【非特許文献１】A Master-SlaveSystem to Acquire Biometric Imagery of Humans at Distance、X. Zhou、R. Collins、T. Kanade、P. Metes、ACM International Workshop on Video Surveillance、 November 2003
【非特許文献２】Fundamentals of Digital Image Processing、Anil Jain、Prentice-Hall、NJ、1988
【非特許文献３】A System forVideo Surveillance and Monitoring、R. Collins、Lipton、Kanade、in Proc. American Nuclear Society (ANS) Eighth International TopicalMeeting on Robotics and Remote Systems、Pittsburgh、PA、April、25-29、1999
【発明の開示】
【００１３】
広角ビデオカメラの自動的なズーム機能の拡張
本発明は、広角の範囲を監視しつつ、より詳細に範囲を撮影することができる性能を実現する新しいアプローチを含む。
【００１４】
ある実施形態においては、ドーム状カメラ若しくは魚眼又は周辺レンズを有するカメラのような広角のマスタカメラであって、好ましくはほぼ拡大機能のないカメラは、画像を撮影するため及び自動でRoIを特定するために用いられる。それは例えば、動作検知及び／又は対象の追跡である。この実施形態においては、好ましくはマスタカメラと比べてより高度なズーム機能を有する少なくとも一つの他のカメラが、特定されたRoIを拡大するために用いられるであろう。マスタカメラ以外のカメラからの画像は、いくつかの目的のために用いられるであろう。それは、限定するのではないが、マスタカメラへと入力する又は基地局へと出力することを含む。
【００１５】
他の実施形態においては、制御回路が一つ以上のスレーブカメラへとPTZ制御を送信し、それはマスタカメラによって撮影された広角画像に少なくとも部分的に基づいて行われる。他の実施形態においても、これらの制御指令が用いられることによって、スレーブカメラをRoIに向ける、及び／又はスレーブカメラをRoIについて拡大させることができるであろう。
【００１６】
他の種類の実施形態においては、スレーブカメラの出力画像がマスタカメラによって撮影された画像と比較され、少なくとも部分的に比較に基づいてPTZ制御が一つ以上のスレーブカメラへと送信される。スレーブカメラからの出力画像は、その後いくつかの目的のために用いられるであろう。その目的には、限定するのではないが、その画像をマスタカメラからのRoIと比較すること、それらを基地局へと送信すること、又はそれらを他の画像に重ね合わせることを含む。
【００１７】
この実施形態の実施例においては、スレーブカメラがPTZ制御に従って移動した後に、スレーブカメラからの出力画像がマスタカメラからの画像と比較されることで、新しい一連のPTZ制御が作成される。この処理は、スレーブカメラからの出力画像をマスタカメラからの出力画像中に特定されたRoIと整合する必要は無いものの、整合することができる。この処理は、反復プロセスでなくても良いが、反復プロセスにすることができる。反復プロセスは繰り返されることによって、いかなる水準の所望される整合の精度をもなし得ることができる。この同期化を実行するための方法はたくさんあり、限定するのではないが、画像を整合するための画像処理技術、較正処理又はスレーブカメラからのフィードバックの位置解析を含む。
【００１８】
他の実施形態においては、スレーブカメラからの画像が、いくつか又は全てのマスタカメラからの画像に置換、補正、挿入又は整合するために用いられるであろう。合成画像はいくつかの目的のために用いられる事が可能であり、限定するのではないが、それらを記録し、それらを基地局へと送信し、及び／又はPTZ制御を作成するためにそれらを用いることを含む。
【００１９】
他の実施形態においては、好ましくは異なる範囲を監視するいくつかのスレーブカメラを用いることができ、マスタカメラの補正済み俯瞰画像は、これらのスレーブカメラの少なくとも一つの調整された画像に少なくとも部分的に基づいて変更されるであろう。
【００２０】
別の実施形態においては、動作検知ソフトソフトウェアが、RoIをビデオ中の動いている範囲として規定するために利用することができる。それは限定するのではないが、ビデオ中における人、動いている対象、もはや動いていないであろう追跡した対象、及び／又はそれらの近接物に相当する。
【００２１】
本発明のこれら及び他の実施形態は、以下により詳細に説明される。
【００２２】
開示される発明は、添付の図面を参照することによって説明されるであろう。図面は、発明の重要な実施形態を示し、参照によってここの明細書に導入されている。
【００２３】
好適な実施形態の詳細な説明
本出願の多数の革新的な教示が、（限定ではなく、例として）現時点における好適な実施形態を特に参照して説明されるであろう。
【００２４】
本革新の以前においては、利用可能なシステムはズーム機能のみに限られていたが、マスタカメラから制御されるスレーブPTZカメラを用いて電子ズーム機能を拡大することによって、RoIの高解像度画像を得ることができる。
【００２５】
米国特許第6,147,709号と異なり、以下で開示される比較を行う方法及びシステムは、補正済み俯瞰範囲とは対照的に、マスタカメラの広角の歪んだ範囲内においてそうすることによって、スレーブPTZビデオカメラを制御するためのPTZコマンドを発する。これは反復プロセスにすることができ、十分な手順を経ることで所望される整合の精度を達成できる。
【００２６】
制御システムは、マスタの広角ビデオカメラとスレーブPTZカメラとの画像の整合を行うマスタカメラ内にあり、マスタカメラがスレーブカメラから必要な範囲の詳細な画像を得ることを可能にする。この同期化、すなわち画像を整合するために画像処理技術を用いること及び／又は較正処理によって実施される多数の方法がある。スレーブカメラからの位置のフィードバックは、正確な画像整合のための情報の有用な要素にもなるであろう。本開示中に文献援用されている、「カメラ監視システム用監視装置（Surveillance Apparatus for Camera Surveillance System）」という米国特許第6,509,926号は、カメラ及びレンズのアジマス角及び仰角を設定するためのシステムを考察している。歪んだ範囲においてこの処理を実施することによって、質に関して何も損なうことなく比較を行うことができる。画像又はベクトルｘ及びｙの比較は、多くの異なる方法によって実施されるであろう。最も良く知られている方法は、ユークリッド距離（Euclidian distance）||x-y||であるが、gがゆがみを表す適当な関数である||g(x)-g(y)||も用いることが可能である。
【００２７】
好適な実施形態においては、マスタの広角カメラがスレーブPTZカメラへとPTZ制御信号を送る機能を有しており、自動的にRoIを拡大することができる。それは、現在の広い視野の画像に動作検知及び／又は対象追跡アルゴリズムを施すことによってなされる。ある実施形態においては、スレーブが指定の角度に動くようにコマンドを受けることは、それが通常の広範囲PTZインターフェースではない場合、PTZ制御として説明されるであろう。マスタカメラ中の制御システムは、マスタの広角ビデオカメラとスレーブPTZカメラとの間で画像整合を実施できる。ある好適な実施形態は画像処理技術を用いることによって、マスタとスレーブカメラの画像を整合することができ、RoIの詳細な画像を得ることができる。
【００２８】
ある種の実施形態においては、マスタ及びスレーブカメラは較正され、PTZ制御がこれらの較正に少なくとも部分的に基づいてスレーブカメラへと送信されるであろう。マスタ及びスレーブカメラ間の較正が不十分である場合のみ、画像の記録又は整合が、その現場の補正済み画像を用いるか、マスタカメラによって撮影された未処理の広角画像を用いることによって行われる。
【００２９】
以下は、マスタ及びスレーブカメラ間の較正処理のある実施可能な例である。それは切り替えモードを有し、マスタカメラの出力がスレーブカメラの出力へと切り替えられ、切り替えは事前に決められた拡大位置に基づくであろう。その後スレーブカメラの位置はマスタカメラの選択した画像と共に並べられ、スレーブ追跡が用いられている場合は、スレーブカメラは動作追跡によって追跡されている対象を追うために用いられるであろう。マスタカメラの広角画像はより狭い範囲へと分割され、画像処理をすることによって、これらの範囲は拡大されることができる。これらの小さな画像を追跡することによって、マスタカメラはバーチャルカメラ又はVCAMとして機能する。上述したように、VCAM中で拡大された画像は端が平坦になっており、細部がぼけている。スレーブカメラの画像は、大半の監視装置において要求される細部の水準に達する必要がある。
【００３０】
手動モード
ヘッドＡ（Head A）のビデオ（ある好適な実施形態においては、これはマスタカメラからの出力画像を指す）は、エンターキーを押すことでスレーブカメラのビデオ出力へと切り替わる。一度切り替わると、スレーブカメラのキーボードによる制御が利用できるようになる。その後スレーブカメラは手動で較正されることによって、マスタカメラと同じ対象に向くことができる。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。別の実施形態においては、マスタカメラからの二つのアナログ出力があり、それぞれヘッド（Head）と呼ばれるであろう。モニタはヘッドからの出力を表示することができる。マスタカメラの後部にＡ及びＢと標識されたBNCコネクタがあるために、モニタはヘッドＡ又はヘッドＢへと接続することができる。
【００３１】
ズーム切り替えモード
ヘッドＡ上のいずれかのVCAMを制御している間に、視野が２５°を超える時は、ビデオがスレーブカメラに切り替わり、スレーブカメラはマスタカメラのVCAMと同じ位置に動かされる。オプションが事前配置用に提供される。このオプションがオンになる場合、スレーブカメラは３０倍のズームレベルにおいてマスタカメラのVCAMの位置へと動くであろう。また、ズームレベルが、ビデオがスレーブカメラへと切り替わる地点である２５倍に達するまで再配置される。エスケープを押すことによって、ビデオ及びキーボード制御がマスタカメラへと戻される。
【００３２】
スレーブの追跡モード
動作追跡が開始される時は、ヘッドＡがスレーブカメラへと切り替わり、スレーブカメラが追跡されている動作レクタングル（motion rectangle）の位置へと動き、動作レクタングルが動いた時に更新される。動作レクタングルが動くことを止める又は動きが遅くなる場合に、スレーブカメラは拡大し、動作レクタングルが再び早く動く場合には、再度ズームアウトするであろう。使用者がジョイスティックを動かす場合には、スレーブカメラの制御はそれに担われるであろう。５秒間キーボードから操作がない後に、カメラがまだ追跡している場合、それはスレーブカメラを動作レクタングルの追跡へと戻すであろう。追跡が終了すると、制御及びビデオはマスタカメラへと戻されるであろう。
【００３３】
設計
３つの付加的なクラスが、マスタ／スレーブの特徴である、スレーブ較正、スレーブマネジャ及びシリアル出力を実行するために必要であった。ここで説明されるコードはadome.ini内のabspos設定によって可能になる。
【００３４】
スレーブ較正
このクラスは、マスタカメラをスレーブカメラと較正すること及びマスタカメラの球座標とスレーブカメラの球座標の間を平行移動させることに関与する。
【００３５】
較正フェーズは、スレーブカメラを基準点に配置することによって進行する。その後、そのビデオ出力はヘッドＡ上に表示され、一方でVCAMが同じ基準点（しかし、マスタカメラの座標システム内でもある）に配置される。そして使用者はマスタカメラのVCAMの配置の制御を行い、VCAMを調整する事によってスレーブカメラからの画像を整合すべきである。一度整合されれば、使用者がエンターを押すとVCAMの現在位置が読み取られるであろう。パンしている状態での基準点とVCAMの新しい位置との間の違いが、平行移動機能によって後の用途のために保存される。較正フェーズのために、スレーブ較正クラスはメニュークラスと協調し、もし必要であれば、メニュークラスを変更することなく一つ以上の基準点を用いることが可能である（スレーブ較正クラスの既定較正作成（GenerateCalibrationPresets）機能を参照）。
【００３６】
スレーブ較正クラスの第二の関与は、スレーブマネジャクラスのためにマスタカメラの座標をスレーブカメラの座標へと平行移動することである。これはスレーブ座標への平行移動（TranslateToSlaveCoordinates）機能中で、画像化される点が５メートル離れた距離であることを最初に仮定することによって実行される。その後球座標は、デカルト座標（Cartesian coordinate）へと移される。較正フェーズ中に測定されたパンにおける違いによるz軸についての回転が、その後になされる。そして、x及びz座標の平行移動がなされる。この平行移動は、二つのカメラ間の（それらの高さの違いも含めた）物理的な距離に起因する。キットを取り付けることによって、二台のカメラ間の距離がx軸に関して一定であることが保証されるであろう。スレーブカメラの高さが互いに異なっているであろうために、z軸の平行移動は接続されているスレーブカメラに依存する。最後の段階は、平行移動され、回転されたデカルト座標を球座標へと逆変換することである。
【００３７】
スレーブマネジャ
スレーブマネジャクラスは、スレーブカメラへと切り替える時にズームのレベルを確認すること、ビデオをスレーブカメラへと切り替えること、スレーブカメラを位置決めすること及びキーボードからの操作が無いタイムアウトに対応することに関与する。
【００３８】
スレーブ処理モード（ProcessSlaveMode）機能はフレーム毎に一度呼び出される。ズーム切り替えが可能であれば、それはヘッドＡ上の稼動しているVCAMのズームレベルを確認するであろうし、それが２５未満であれば、（以下で説明する）スレーブ設定モード（SetSlaveMode）機能を呼び出すことによって、それはスレーブカメラへと切り替わり、それを配置するであろう。再配置が可能であれば、それはスレーブカメラも配置するであろう。しかし、ズームレベルが３０から２５の間である時は、それへと切り替わらないであろう。この事は、（以下で説明される）最近規定位置へのスレーブの切り替え（SwitchSlaveToNearestPreset）機能を呼び出すことによって実行される。タイマはそのクラスによって管理されることで、スレーブモード及びスレーブ追跡モードからのタイムアウトに対応する。このタイマは、この機能及びタイムアウト後に入った適切なモード中に確認される。タイマはスレーブ移動（SlaveMoved）機能を呼び出すことによってリセットされる。（この事は、以下で説明されるシリアル出力（serialOut）及びシリアルによって実行される。）
【００３９】
スレーブ設定モード機能は、ビデオをスレーブカメラへと切り替え、それを位置決めする。スレーブカメラビデオへの切り替えは、i2cの書き込みによってCPLDを制御するレジスタのビットを設定することによって実行される。位置決めは、稼動しているVCAMの現在位置を読み取り、スレーブ較正クラスのスレーブ座標への平行移動機能を呼び出すことによって座標を平行移動し、（以下で説明されるように）シリアル出力クラス用の出力列へとそれを移すことによって対応することによって実行される。
【００４０】
最近規定位置へのスレーブの切り替え機能は、マスタカメラの球座標を取り、スレーブ較正クラスのスレーブ座標への平行移動機能を用いて、（以下で説明されるように）シリアル出力クラス用の出力キューへとそれを移すことによって処理する。これは、事前配置及び、（以下で説明される）スレーブ追跡のための動作追跡（MotionTracker）クラスによって用いられる。
【００４１】
シリアル出力
シリアル出力クラスは、RS485によってスレーブカメラへとコマンドを送信することに関与する。シリアル出力クラスは分離スレッドを走らせ、分離スレッドは、コマンドがキューに加えられるまで出力キューを妨げる。キューにコマンドが加えられると、それは適した送信機能をシリアルクラス上に呼び出す。
【００４２】
上述の新しいクラスに加えて、いくつかの変更が現存するクラスに加えられる。キーの変更が以下に説明される。
【００４３】
シリアル
シリアルクラスはキーボード入力を処理し、パススルーモードの追加を有する。パススルーモードは、スレーブモード、スレーブ追跡モード又はスレーブ較正モードである時に可能である。パススルーモードにおいては、全ての受信したコマンドが第二シリアルポート（スレーブドームに連結されているポート）から送信される。エスケープキーはこのモードである間はシリアルクラスによって記憶され、スレーブモードは、それが（スレーブマネジャのスレーブ設定モード機能を呼び出すことによって）受信された時には、使用不能である。このモード中は、スレーブマネジャのスレーブ移動機能が、コマンドがキーボードから及びそれを通って受信されるたびに呼び出される。この事は、そのタイマをリセットすることによってスレーブマネジャがモードのタイムアウトになるのを防止する。
【００４４】
動作追跡
動作追跡クラスは、動作追跡を処理しており、スレーブ設定ポス（SetSlavePos）という付加機能を有する。スレーブ設定ポスは、動作追跡が追跡VCAMカメラを動かし、スレーブ追跡が可能である時に呼び出される。
【００４５】
スレーブ設定ポス機能は、未処理の動作レクタングルとズームレベルを行い、ズームレベルは、動作検知と追跡VCAM用に用いられる追跡アルゴリズムとによって決められる。その後、それがスレーブカメラを位置決めすることを試みるために、それは動作レクタングルの上部中央に集まる。（これは人の頭部を狙おうと試みる高度な単純照準システムである。）スレーブのために決められた位置が、スレーブカメラの現在位置を避けて決められた閾値より小さければ、スレーブカメラはそれがある位置に取り残される。これは、スレーブカメラによってなされる小さな移動の回数を減少させるためである。スレーブカメラが移動する時に、それは本当に突然停止してしまうため、わずかな振動効果は、アルゴリズムが大きな移動をたくさんの小さな移動より好むことによって、この効果の衝撃を減少することができることが認識されるであろう。
【００４６】
動作レクタングルがゆっくり動いているか、停止している場合、アルゴリズムがスレーブカメラをVCAMの動作追跡アルゴリズムから算出された拡大率より更に拡大させる。これはm-距離移動（m_DistanceMoved）変数を算出することによって実行される。この変数は、追跡が開始した時に１００になるように設定されている。トラッキング中は、その値が現在の値の８０％と距離の２０％をとることで再計算され、その距離はスレーブドームが、それが最後に動いた時からの動いた（直線距離による）距離である。この値が３未満に下がった時、拡大率はスレーブカメラが位置決めされる前に大きくなる。値が３以上である場合は、拡大率はVCAMの動作追跡アルゴリズムによって算出された倍率になる。上記の実施形態は例示に過ぎず、本発明が実施できる多くの可能な方法を制限することを意図しない。
【００４７】
ある実施形態においては、画像が同じ範囲、例えば歪んだ又は補正された範囲において比較される。広角の画像範囲で比較を行うために、スレーブカメラの画像は歪んだ画像へと逆変換され、それはマスタカメラの未処理の広角画像の一部と類似する。その後画像は比較され、ある実施形態においては、制御がこの比較の結果に少なくとも部分的に基づいて送信されるであろう。マスタカメラが画像整合の結果に対応するPTZ制御信号を調整できるために、RoIはスレーブカメラの画像範囲の中央に位置する。
【００４８】
画像整合が反復して実行されることによって、RoIとスレーブカメラ又はカメラの視野との間の画像整合の精度が向上されるであろう。この画像整合は多様な方法で実施できる。これらの方法のいくつかは、１９８８年にニュージャージー州プレンティスホール（Prentice-Hall）のアニル・ジェーン（AnilJain）によって書かれた「デジタル画像処理の基礎（Fundamentalsof Digital Image Processing）」という公開文書中で説明されている。この実施形態のある実施例においては、マスタカメラが付加的なPTZ制御信号を送信することによって、いかなる水準の所望する整合の精度も実現できる。
【００４９】
二つの画像が整合又は記録されると、マスタカメラの補正済み俯瞰画像がスレーブカメラからの修正された画像と置換されることによって、マスタカメラ単独のズーム機能で可能であろう画像よりも、RoIの高解像度の画像を得ることができる。光学ズーム機能を有するスレーブPTZカメラは、広角マスタカメラから得られるRoIの補正済み画像と比較して、より鮮明なRoIの画像を作成する。これはいくつかの広角カメラが数値補間を実施することによって、ある範囲へと拡大することに起因する。それによって、RoI中の対象の輪郭は滑らかになるであろう。この実施形態においては、マスタカメラからの画像をスレーブカメラから得られたより鮮明な画像と置き換えることが、マスタカメラの拡大機能を拡張する。
【００５０】
好適な実施形態の実施例が図１から９に示されている。発明のある実施形態が図３、４及び５に示され、それらはプロムラム可能な内蔵マイクロプロセッサ及び回路を有している。好適な実施形態が全ての必要な画像処理操作を行う機能を有することによって、拡張された光学ズームを実現できる。
【００５１】
図１は、広角マスタカメラの好適な実施形態を含むシステム用の好適なレイアウトを示す。画像センサ１０２と連結している広角光学システム１０１は画像を撮影し、それは補正のために画像処理回路１０３に送信されるであろう。ある実施形態においては、補正は画像の歪みであり、レンズによって生じた歪みを修正する。本開示中に文献援用されている、「画像処理による光学歪みの補正（Correction of Optical Distortion by Image Processing）」という米国特許出願第10/837,012号に開示されるように、歪みは恣意的な複合体（arbitrarily complex）であろう。歪みは、必要な歪みを規定するテーブルを用いることによって補正される。画像処理回路１０３はメモリを有しており、いくつかの方法で行うことができる。それは広帯域バスと連結された一つ又はカスケード状の一連のマイクロプロセッサを有することで、利用できる処理能力を向上させる。デジタルセンサのデータは、回路が十分に高速で稼動している場合は、画像処理回路１０３へバッファを介して又は直接送信されるであろう。この回路は画像の脱ベイヤ化、色の均等化及び色の平衡化にも関与するであろう。露出や絞りのような画像検知１０２の性質及び画像処理１０３は、制御回路１０４によって制御されるであろう。出力回路１０５は、ビデオ信号を基地局へと送信するのに用いられるであろう。
【００５２】
マスタカメラの画像処理回路１０３は、スレーブPTZカメラからのデジタルビデオを他の入力として取り込むことができる。スレーブカメラからの画像は、より高度な光学ズームによる画像が、改善された細部に対して望まれる時に用いることができる。スレーブからの画像が必要か否かの決定は、マスタカメラ１０４内にある制御回路によってなされ、それは内蔵したソフトウェアプログラム及び基地局からの制御に基づいて実行されるであろう。基地局からの制御は、RS485又はTCP/IPフォーマットを含むいかなる標準でもありえる。スレーブカメラは基地局から直接制御されないが、好ましくはマスタカメラ１０４中の、制御回路を介して制御される。
【００５３】
ある実施形態においては、制御回路１０４がマスタの広角ビデオカメラとスレーブPTZカメラとの間の必要とされるいかなる画像整合をも行う。PTZ制御がスレーブカメラへとマスタカメラ中の制御回路から伝達されることで、最初の近似の整合がなされる。この近似は、例えばスレーブカメラ中のPTZプリセットであろう。スレーブカメラからの任意の位置フィードバック信号があり、それがPTZカメラを希望する場所へと位置決めする時に制御回路を補助する。
【００５４】
好適な実施形態においては、この整合が、画像を整合するために画像処理技術を用いて補助されるであろう。広角の画像範囲中で画像を比較するために、スレーブPTZカメラのデジタルビデオ出力が、画像処理回路１０３において歪んだスレーブ画像へと逆変換されるであろう。歪んだスレーブ画像は、マスタカメラの未処理の広角画像の一部に似ている。逆変換はスレーブカメラからの長方形の画像を取り込み、それを歪んだ広角画像の中に曲がった辺を有するより複雑な形状へと変換するであろう。
【００５５】
ある実施形態においては、逆変換は画像処理回路１０３の二つのステージで起こると考えられる。スレーブカメラのパン、チルト及びズームについての知識を得れば、最初のステージは(x,y)座標をスレーブ画像においてワールド座標（θ,φ）へと変換する。これは、マスタカメラ内の補正済み画像を作成するために用いられる変換の逆である。拡大率からの位置フィードバックが利用できない場合、マスタ及びスレーブ画像間の移行は常に同じ倍率で実行されることが保証されるであろう。ワールド座標が算出されれば、第二ステージは、ワールド座標から歪んだ画像への参照テーブルを用いた投影を含む。この第二のステージの投影は、個々のピクセル、スレーブ画像をモザイク状にする三角形又はスレーブ画像をタイル張りにする他のあらゆる形状に適用されるであろう。
【００５６】
ある実施形態においては、スレーブカメラの画像を補正するのに必要とされるPTZ制御調整が、二つの画像の色及びウェーブレットのヒストグラムを比較することによって決定されるであろう。対応する画像の平行移動ベクトルは補正済み俯瞰範囲へと変換され、PTZ調整コマンドを形成するために用いられるであろう。この平行移動のベクトルの比率のみを用いることは、所望する状態へのスレーブカメラの収束を最大にするであろう。これらPTZ調整制御信号はスレーブカメラへと伝達されることで、スレーブカメラからの画像とマスタカメラからの前記RoI用の補正済み俯瞰画像との間のより良い整合を得ることができる。画像整合及びPTZ制御送信処理が反復して実行されることによって、所望される整合の精度を実現できる。精度は平均平方誤差、平均絶対差及びヒストグラム比較又は他の平均値によって決定されるであろう。
【００５７】
マスタ及びスレーブカメラは実際には異なる色の設定を有するであろう。登録する前に、それらの色のヒストグラムが均等化されることによって、それらは同じダイナミックレンジ（dynamic range）、明度及び露出レベルを有し、起こり得る色の相殺もヒストグラムの均等化によって除去される。それは広く用いられる画像処理技術である（例えば、本開示中に文献援用されている１９９８年にニュージャージー州プレンティスホールのアニル・ジェーンによって書かれた「デジタル画像処理の基礎」という教科書を参照）。
【００５８】
マスタカメラはプライバシ領域を補助する機能を有することができ、それは出力された画像から使用者に決められた領域を不明瞭にする。この機能は、本開示中に文献援用されている「広角ビデオカメラにおける領域の画像処理（Image Processing of Regions in a Wide Angle Video Camera）」という名前の米国特許出願第11/178,232号（代理人整理番号GRND-02）に記載されている。スレーブPTZカメラからの画像とマスタカメラ中の俯瞰の補正済みRoIが整合されることによって、マスタカメラ中に規定されたプライバシ領域の形状を示すマスクが、スレーブの画像の適切な領域を空白にするよう適用されるであろう。ある実施形態においては、これは画像処理回路１０３中で実施される。
【００５９】
ある種の好適な実施形態においては、二つの画像が整合又は記録されると、制御回路１０４が所望される画像を指示し、その画像は画像処理回路１０３で構成されるであろう。より高度な拡大が必要である場合、対応する補正済み俯瞰画像が適切に整合されたスレーブの画像によって置き換えられるであろう。この実施形態の実施例の意図することは、マスタ画像とスレーブ画像との間で可能な限り継ぎ目が無いように移行することによって、連続的な拡大機能の質を向上させることである。画像処理回路からの出力は、広角画像、スレーブカメラの画像、又はいくつかのこれらを含む多数の画像のコラージュからの補正済み俯瞰画像を多く含む。
【００６０】
デジタル出力は好ましく受け渡されることによって、監視のために基地局へとデジタル処理で出力される前に、出力回路１０５で必要に応じてフォーマット及び圧縮される。例えば、多数のMPEG4ストリームが可能である。図１の実施形態を説明するこのプロセスは、図８にフローチャートを用いて図示されている。歪んだ広角ビデオ画像は、広角マスタカメラを用いて撮影される（手順８０２）。その後、マスタカメラ中のRoIが規定される（手順８０４）。そして算出されたPTZコマンドがマスタカメラからスレーブカメラへと伝達されることで、RoIと整合した近似画像が得られる（手順８０６）。スレーブカメラの出力は、その後マスタカメラによって逆変換される（手順８０８）。そして歪んだスレーブ画像が歪んだ広角画像と比較されることで、スレーブカメラへの調整PTZ制御信号が決定及び伝達され（手順８１０）、それによって所望される整合の精度が満たされているか否かを決定することができる（手順８１２）。所望される整合の精度が満たされている場合、その後に処理は手順８１４へと続く。所望される整合の精度が満たされていない場合は、その後に処理は手順８０６へとループして戻る。所望される整合の精度が満たされれば、マスタカメラの補正済み俯瞰画像は、調整されたスレーブカメラの画像と置き換わることによって、拡張されたズーム機能を実現できる（手順８１４）。
【００６１】
方法及びシステムは、いくつかのスレーブカメラを有することができる。そのような方法及びシステムは、それぞれの動いている対象を異なるスレーブカメラに割り当てることによって、同時にいくつかの動いている領域を追跡することができ、スレーブカメラは動いているブロブ（moving blob）のより鮮明な画像を映し出す。この場合においては、マスタカメラの補正済み俯瞰画像は、動いているブロブを追跡しているスレーブカメラの調整された画像によって置き換えられるであろう。実施形態は図１Ｂに示されており、マスタカメラが光学ズーム機能を有した二つのスレーブカメラを制御する。
【００６２】
本発明の他の変形形態は、マスタカメラからの出力にアナログビデオを用いるであろう。デジタルからアナログのビデオ及びフォーマットへの変換は、出力回路１０５で行われるであろう。別の可能な実施形態は、二つのアナログ複合ビデオの出力チャネルから成る。
【００６３】
他の実施形態はアナログのスレーブカメラを用いるであろう。このカメラによって作成されたアナログビデオは、図２に示されるようなアナログ／デジタル変換機（analog-to-digital converter）（ADC）を用いてデジタルビデオへと変換されるであろう。出力回路２０５は、マスタカメラからのデジタルビデオ出力に必要なフォーマット及び圧縮を行うであろう。図１について述べたように、図２の変形形態はマスタカメラからのアナログビデオ出力を有するシステムを含む。デジタルからアナログのビデオ及びフォーマットへの変換は出力回路２０５で行われるであろう。
【００６４】
システムのアナログ切り替え版（analog-switchingversion）を伴う他の実施形態が図３に示されている。この実施形態においては、スレーブPTZカメラからのビデオはアナログである。画像センサ３０２に連結されている光学システム３０１が画像を撮影するために用いられ、その後にその画像は補正のために画像処理回路３０３へと移されるであろう。上記の実施形態において述べたように、補正は画像の歪みであり、それはレンズによって生じた歪みを補完するであろう。画像処理回路３０３はメモリを有することが可能であり、高帯域バスに連結された一つ又はカスケード状の一連のマイクロプロセッサを有することで、利用できる処理能力を向上させている。デジタルセンサのデータは、回路が十分に高速で稼動している場合、画像処理回路３０３へとバッファを介して又は直接送信されるであろう。この回路は画像の脱ベイヤ化、色の均等化及び色の平衡化にも関与するであろう。露出や絞りのような画像検知３０２の性質及び画像処理３０３は、制御回路３０４によって制御されるであろう。
【００６５】
ある好適な実施形態においては、スレーブからの画像が必要か否かの決定が、マスタカメラ３０４内にある制御回路によってなされ、制御回路は、内蔵したソフトウェアプログラム及び／又は基地局からの制御に基づいて実行するであろう。基地局からの制御は、RS485又はTCP/IPフォーマットを含むいかなる標準でもありえる。スレーブカメラは基地局から直接制御されないが、好ましくはマスタカメラ３０４中の制御回路を介して制御される。使用者にとって、多数のカメラが用いられていることを気付かないことは望ましいであろう。
【００６６】
ある実施形態においては、必要な場合には、制御回路３０４がマスタの広角ビデオカメラとスレーブPTZカメラ間の近似の画像整合を実行するであろう。PTZ制御はマスタカメラ中の制御回路からスレーブカメラへと伝達されることによって、近似の整合が実現できる。ある好適な実施形態においては、この近似にはスレーブカメラ中のPTZプリセットを用いる。別の実施形態はスレーブカメラを利用し、それは命令されることによっていかなるPTZの状態へも変化できる。他の代替実施形態はスレーブカメラを使用し、PTZコマンドが出された時に、カメラの位置出力が予測され整合性がとられる。ある実施形態の実施例においては、スレーブカメラが土台を有し、それはステッピングモータを用いて制御されており、時折既知の位置へと較正される。他の実施形態は較正技術を利用しており、使用者が有限の数の位置を較正することによって、両方のカメラが同じ較正対象を映し出す。スレーブカメラはその後、位置のフィードバック信号を発し、その値がテーブル中のマスタカメラ画像の擬似PTZ座標に応じてメモリに記録される。線形補完が用いられることで、これらの較正された点の間の中間位置が決定できる。スレーブPTZカメラ画像は、こうして所望されるRoIとの近似整合における位置へと送られる。これらのアナログの解決法においては、スレーブカメラに限界の拡大率を超える前に動くよう命令することが可能である。この先取りは、機械式スレーブPTZカメラの伝達時間による遅延を減少させることができる。
【００６７】
画像処理回路３０３からの出力は、アナログ変換及びフォーマット回路３０５へと受け渡され、回路３０５はデジタルデータからアナログ出力を作成することができる。アナログ変換及びフォーマット回路３０５及びスレーブPTZカメラからの出力は、ビデオ切り替え及び出力回路３０６へと伝達されるであろう。この回路は制御回路３０４によって制御されることができ、制御回路はどのビデオストリームが適切な出力チャネル上に出力されるべきかを決定する。ビデオ切り替え回路からの出力は、一つ以上のアナログビデオチャネルであろう。
【００６８】
マスタカメラはプライバシ領域を補助する機能を有しており、それは出力された物から使用者が決めた範囲を不明瞭にする。この機能は、「広角ビデオカメラの範囲の画像処理（Image Processing of Regions in a Wide Angle Video Camera）」という米国特許出願第11/178,232号（代理人整理番号GRND-02）に記載されている。マスタカメラ中の規定されたプライバシ領域の形状を示すマスクは、画像処理回路３０３で作成されるであろう。スレーブPTZカメラからの画像とマスタカメラ中の俯瞰の補正済みRoIが近似的に整合されることによって、このマスクは、ビデオ切り替え及び出力回路３０６を用いてスレーブの画像の適切な近似領域を空白にするように適用されるであろう。別の実施形態は自身のプライバシ領域補助を有するスレーブカメラを使用し、プライバシ領域補助はマスタカメラを介して較正されるであろう。
【００６９】
図４は図３の実施形態の改良されたバージョンである。この実施形態においては、スレーブPTZカメラからのビデオは、アナログの代わりにデジタルである。このように、表示するためのいずれの出力かの決定は、「多重圧縮及びフォーマット回路（multiplexing, compression & formatting circuitry）」４０５によってデジタルの領域で行われるであろう。これは単一のビデオストリーム又は多重送信を用いたストリームの組合せのいずれかを出力するオプションを有する。カメラシステムは（例えばMPEG4のような）デジタル出力を有するであろう。マスタカメラ中に規定されたあらゆるプライバシ領域を表すマスクが、この回路４０５に適用されることによって、スレーブ画像中の適切な近似領域が空白化されることができる。この最後のステージを別とすると、残りのプロセスは図３に記載されるプロセスと同様の手順に従う。
【００７０】
別の実施形態が図５に示されており、スレーブカメラがアナログビデオ出力を有し、それはアナログ／デジタル変換機（ADC）を用いることでデジタルビデオへと変換されることができる。そうでなければ、それは図４用の説明に記載されたのと同じプロセス及びレイアウトに従う。
【００７１】
図６の実施形態はあるレイアウトを図示しており、そこではビデオ切り替えは起こらないであろう。スレーブPTZカメラからのビデオ出力はマスタカメラ中のいかなる回路も通る必要が無い。マスタカメラ中の制御回路６０４が所望される近似場所へとスレーブカメラを動かすことにまだ対応しているために、選択されたRoIを映し出すことができる。二つのカメラは別個のビデオ出力を有するであろう。スレーブPTZカメラからの出力は、アナログかデジタルのビデオのいずれかであろう。マスタカメラの画像処理回路６０３からのデジタル出力は、監視するために基地局へとデジタル処理によって送信される前に、出力回路６０５で必要に応じてフォーマット及び圧縮されるであろう。多数のMPEG4出力が可能である。この実施形態からの変形形態は、マスタカメラからのアナログビデオ出力を有するシステムである。デジタルからアナログへの変換及び画像処理回路６０３からのデジタルデータのフォーマットは、出力回路６０５において実施されるであろう。可能な実施形態は二つのアナログ複合ビデオチャネルを有する。スレーブPTZからの出力は、アナログ又はデジタルのビデオのいずれかであろう。プライバシ領域は、スレーブPTZカメラの個々の回路及び構造設定を用いることによって実行されるであろう。
【００７２】
マスタカメラの動作検知
好適な実施形態においては、マスタカメラでの動作検知は、周知のバックグラウンド除去法を用いることによって行われるであろう。ビデオ中でのバックグラウンドの算出を説明した多数の公開文書がある。現場のバックグラウンドは多くの方法によって算出される。現場のバックグラウンドの画像は、現場中の静止物に属するそれらピクセルとして規定されるであろう。例えば、本開示中に文献援用されている「ビデオ監視及びモニタリング用システム（A System for Video Surveillance and Monitoring）」という題のコリンズ（R. Collins）らの公開文書によると、再帰的バックグラウンド算出法は以下の方程式に基づいて提案される。
In(k,l)が静止ピクセルであれば、Bn+1(k,l)=aBn(k,l)+(l-a)In
In(k,l)が運動ピクセルであれば、Bn+1(k,l)=aBn(k,l)
In(k,l)は、マスタカメラによって撮影されたビデオのｎ番目の画像フレームIn中のピクセルを表し、画像Bn+1は、n+1の時刻に算出されたバックグラウンド画像であり、aは０から１の間のパラメータである。この漸化式は、過去の画像フレームの加重和を導く。一時的な物体は長時間の平均上では消滅し、現場の静止物はバックグラウンドに残る。バックグラウンド算出処理は他の手段によっても問題なく行うことができる。同様に、動作検知それ自体も、本発明の範囲内において他の方法によって行うことができる。
【００７３】
現在の画像の運動ピクセルは、現在の画像Inを現在のバックグラウンド画像Bnから減算することによって好ましく算出される。その後これらピクセルは、結合された構成要素の解析によって動いているブロブに結合される。結合された構成要素の解析は周知の画像処理技術である（例えば１９８８年にニュージャージー州プレンティスホールのアニル  ジェーンによって書かれたデジタル画像処理の基礎を参照）。ビデオ中の動いているブロブは人又は動いている対象に相当し、ビデオ中でそれらの近辺の周辺物を伴うブロブは対象範囲を形成する。その理由は、現場中の人、動く対象、残された対象などは、防犯監視装置にとって重要であるからである。後の解析のために記録ビデオを撮影するのみである従来式のシステムとは違って、リアルタイムの監視は、遅滞なく警報及び事象トリガーの追加的利点を提供する。それ故そのような範囲は、詳細な見分のために追跡され、拡大されるべきである。
【００７４】
マスタカメラにおける追跡
動いているブロブが検知されると、それはマスタカメラによって追跡されるであろう。ある好適な実施形態は、マスタカメラにおいて追跡を行い、そのマスタカメラは、ビデオの広角画像フレームを用いたマスタカメラにおいて、セチンとアヒスカ（A. E. Cetin and Y. Ahiska）の「ウェーブレット領域情報を用いたビデオ中の動く対象の追跡（Tracking Moving Object in Video Using Wavelet Domain Information）」という米国特許出願第10/924,279号に従っている。本特許出願においては、動いているブロブが、ブロブの色及びウェーブレット領域情報から構築された一次元のヒストグラムによって特徴付けられている。ビデオの現在の画像フレーム中のブロブと以前の画像フレーム中のブロブとが、ブロブのヒストグラムを用いて相互に比較される。ヒストグラムの比較は、平均絶対差又はバッタチャリヤ係数（Bhattacharya coefficient）を用いて行われる。最も小さい平均絶対差を生じるブロブは、相互に関連している。
【００７５】
他の実施形態においては、追跡は対象を指し示すことによって開始されるであろう。クリックされたピクセルが動いているブロブ内にある場合、その後にこのブロブは、上述のようにビデオを形成する複数の画像フレームにおいて追跡される。クリックされたピクセルが動いているブロブの一部でない場合には、その後に範囲成長（region-growing）アルゴリズムがクリックされたピクセルの周囲で開始され、同様の性質を有するピクセルが連結されてブロブを形成する。算出された範囲の色及びウェーブレットのヒストグラムは、次の画像フレーム中の同じ範囲のヒストグラムと比較される。この範囲の色及びウェーブレットのヒストグラムが、時間がたつにつれて変化する場合、この事は対象が動き始めたことを意味する。この事は、範囲のある部分が、カメラの動作検知アルゴリズムによって決定される動いているブロブの一部であろうことも意味する。一度決定がなされれば、現在ではこの静止対象物は動いている対象物であり、その後にそれは上記のパラグラフで説明したように追跡される。
【００７６】
多くの監視装置においては、人又は動いている対象の高精度の画像を得ることが非常に重要である。追跡アルゴリズムは必要な情報を提供することで、動いている対象の詳細な画像を得ることができる。「広角ビデオカメラにおける複数視野の処理」という米国特許出願第10/837,325号で説明されている広角カメラは拡大機能を有する。この機能は、マスタカメラから指示を受けるスレーブPTZカメラを用いることによって拡張することができる。追跡されるブロブの塊の中央部を収めているRoIは、PTZ制御をスレーブPTZカメラへと送るのに用いられ、その結果、スレーブカメラがブロブへと拡大することで拡張されたズーム機能を実現できるであろう。
【００７７】
スレーブPTZカメラは、マスタの広角カメラから得られたブロブの補正済み画像と比較して、より明確なブロブの画像を度々作成するであろう。これは、マスタの広角カメラが数値の補完を行うことによってある範囲へと拡大するからであり、その事は限られたセンサの解像度によって対象の端を滑らかにし、多くの場合は滑らかな画像になる。マスタカメラから得られた滑らかな画像をスレーブカメラからの明確な画像に置き換えることによって、システムのズーム機能は拡張される。人及び動いている対象（又は過去に動いていた対象）は防犯監視装置において重要であるため、対象の追跡は、RoIを形成する上で詳細な見分を得るための拡大において有用である。
【００７８】
上述したように、好適な実施形態は図１Ｂで示されるようにマスタカメラと光学ズーム機能を有する二つのスレーブカメラから構成される。図２、３、４、及び５に示される方法及びカメラシステムの代替形態も、一つのマスタカメラと光学ズーム機能を有する複数のスレーブから構成されるであろう。
【００７９】
ある種の実施形態において方法及びシステムは、スレーブカメラが内蔵の追跡機能を有している場合には、マスタカメラ又はスレーブカメラにおいて動く対象の追跡を認識することに柔軟性を有する。これらの実施形態のある実施例においては、マスタカメラが現場の動いている範囲を検知し、それぞれの動いている範囲を異なるスレーブカメラに割り当てる。その後、各スレーブカメラが内蔵された追跡機構を用いて動いている範囲を追跡するであろう。
【００８０】
マスタカメラにおける画像の記録
スレーブPTZカメラによって撮影される動いているブロブ及びその直近の周辺の画像並びに、マスタカメラにおけるブロブに対応する画像がマスタカメラ中に記録されることによって、RoIの高画質の画像を得ることができる。画像の記録は二つのステージにおいてマスタカメラ中で行われる。第一のステージにおいては、動いているブロブを含むマスタカメラの画像の一部及びPTZカメラの変換された画像の両者の中にあるいくつかのサリエントポイント（salient point）が、二つの画像中で同じアルゴリズムを走らせることによって決定されるであろう。例えば、マスタカメラが魚眼レンズからの画像を有する場合、その後にスレーブPTZカメラの画像が歪んだ魚眼画像の座標へと変換される。これは、周辺レンズを用いるような広角ビデオ撮影の他の手段にも適用される。両方の画像が現場の同じブロブを表示することによって、サリエントポイント検知アルゴリズムは対象の点として同じピクセルを形成すべきである。サリエントポイントはウェーブレット領域法を用いて決定されるであろう。このステージの後に二つの画像のサリエントポイントが、局所の色のヒストグラムをそれぞれの箇所の周囲で用いることによって、相互に整合されるであろう。
【００８１】
マスタカメラ用のこの画像記録アルゴリズム手段の実施形態を表すフローチャートが、図７に図示されている。現在の画像Inはマスタカメラの未処理の広角画像を表し、画像Jnはスレーブカメラの変換された画像を表す。In入力を用いると、画像中のサリエントポイントが決定される（手順７０２）。Jn入力を用いると、画像中のサリエントポイントが決定される（手順７０４）。これら二つのサリエントポイントが、局部のヒストグラム比較を用いて整合される（手順７０６）。その後にこの情報が用いられることで、マスタカメラの画像InのピクセルがスレーブカメラのJnのピクセルを用いて更新される（手順７０８）。
【００８２】
文献には多くの公開されたサリエントポイント検知アルゴリズムがある（例えば１９８８年にニュージャージー州プレンティスホールのアニル  ジェーンによって書かれたデジタル画像処理の基礎を参照）。一般に用いられているものには、ハリスコーナーセンサ（Harris Corner detector）及びウェーブレット領域サリエントコーナーセンサが含まれる。二次元におけるウェーブレット変換は、空間と規模（頻度）の両方の情報をもたらす。画像のサリエントポイントはピクセルとして規定され、そのピクセルのウェーブレット係数は、ウェーブレット変換の高頻度のサブバンド画像の全て又はいくつかにおいて、他のウェーブレット係数と比べて比較的高い振幅値を有する。ピクセルが画像の均一な範囲の部分である場合、その後にその対応するウェーブレット係数が理想的にはゼロ又は非常にゼロに近づく。ピクセルが対象の水平の（垂直の）端上である場合は、その後にそれが、低−高（高−低）サブバンド画像における高振幅のウェーブレット係数及び、ウェーブレット変換のあるステージ後に得られた高−高サブバンド画像における別の一組の高振幅の係数を形成する。それとは別に、ピクセルが対象の角である場合、その後にそれが、低−高、高−低及び高−高のサブバンド画像における高振幅のウェーブレット係数を形成する。それ故に、画像の重要な角は、全ての画像における高振幅のウェーブレット係数の限界を決めることによって決定されるであろう。いくつかのサリエントポイントは、動いているブロブ及び画像のバックグラウンド中のその直近の周辺部の角及び重要な端にあることが結果として分かる。
【００８３】
両方の画像のサリエントポイントが検知されると、それらは互いに整合されることによって、同じ対象を映すマスタ及びスレーブカメラからの二つの画像を記録しなければならない。最も単純な整合プロセスは、対応するピクセルの値を比較することによって行うことができる。しかしながら、これは不正確な結果をもたらすであろう。その理由は、対象は単一色であり、全てのサリエントポイントは同じ又は近似のピクセル値を有するからである。それ故に、サリエントポイント周りの局所の周辺物を比較することが、確固たる結果を得るのにより良いことである。ある実施形態においては、この整合はサリエントポイントの周囲の局所的な色のヒストグラムを比較することによって行われる。ピクセルの周りの色のヒストグラムは、あらゆる色の表現空間において決定されるであろう。最も広く用いられている色の表現スキームには、赤、緑及び青（RGB）並びに輝度及びクロミナンス表現（YUV又はYCrCb）が含まれる。
【００８４】
マスタカメラの画像In中のサリエントポイントp周囲の局所範囲Oの標準化された色のヒストグラムは、以下の式で表される。
2008507229.tif 000003
式中、sは明度化されたピクセルsを表し、Oはサリエントピクセルp周囲の局所範囲を表し、δはクロネッカーのデルタ（Kronecker-delta）機能であり、NはO中のデータポイントの数であり、qは色の空間領域データをLのビット数に描く量子化機能である。Lはこの実施形態においては12として選択されている。色のヒストグラムhpはピクセルp周囲の色素情報から構築されており、このピクセルを特徴付ける。
【００８５】
仮に、hq(k)がスレーブカメラの画像Jn中のサリエントピクセルq周囲の別の標準化されたヒストグラムであるとする。ヒストグラムhp(k)及びhq(k)は、多くの方法で相互に比較が可能である。平均絶対差（MAD）は比較の手段となる。
2008507229.tif 000004
式中、K=212は標準化された色のヒストグラムにおけるポイントの数である。p番目のサリエントポイントとq番目のサリエントポイントの距離の平均絶対差が、他のサリエントポイント間の距離よりも小さい場合、その後に、画像Inのp番目のサリエントポイントが画像Jnのq番目のサリエントポイントに割り当てられる。
【００８６】
他の色のヒストグラムの比較方法には、平均平方誤差、相互相関（cross correlation）及びバッタチャリヤ測定（Bhattacharyameasure）が含まれる。
2008507229.tif 000005
式中、hp(k)及びhq(k)のバッタチャリヤ測定Dが高いほど、ヒストグラムhp(k)及びhq(k)間の整合はより良くなる。
【００８７】
マスタ及びスレーブカメラからの画像のサリエントポイントが整合されると、画像Inのピクセルは、整合されたサリエントポイントに対応するJnのピクセルを用いて、マスタカメラ中で更新される。
【００８８】
システム中の画像記録は、好ましくは反復プロセスである。通常の市販のPTZカメラは、有限の多くの（例えば１２８）可能な物理的な表示位置をとることができる。追跡アルゴリズムから与えられる最初の位置情報は正確ではないであろうし、結果的にPTZカメラは対象範囲及び／又は追跡される対象の一部に及ぶのみであろう。そのような場合においては、マスタカメラの画像上に決められたいくつかのサリエントポイントは整合しないであろう。この事は、追加の位置情報がPTZカメラへと伝達されることによって、両方の画像中のほぼ全てのサリエントポイントを適合すべきであることを意味する。同様に、最初に記録された画像は十分に詳しくはないであろう。例えば、追跡されるブロブはスレーブPTZカメラによって戻された画像の小さな部分に過ぎないであろう。スレーブカメラは現場へと拡大するはずであるために、追跡されるブロブはスレーブPTZカメラによって戻される画像の大部分になるはずである。この場合においては、追加コマンドが同様に反復してスレーブカメラへと伝達されるであろう。反復プロセスは、二つの画像を比較した後に終了されるであろう。未処理の広角ビデオ画像とのPTZカメラからの歪んだスレーブ画像の比較は、多くの一般に用いられる画像比較手段を用いて行われるであろう。その画像比較手段には、平均平方誤差（MSE）、平均絶対差（MAD）及び二つの画像の色のヒストグラムの整合が含まれる。MSE、MAD又は二つの画像間の色のヒストグラムの相違が閾値を下回る場合、反復記録プロセスは終了する。
【００８９】
上の段落においては、画像記録プロセスは単一のスレーブカメラに対して説明されている。上記の画像記録法の異なるRoIを監視する多数のスレーブカメラへの拡張は、容易である。スレーブカメラによって作成されるビデオ画像は、ひとつずつマスタカメラの補正済み俯瞰画像上に配置される。
【００９０】
スレーブカメラは、RS485バス又は他の位置データ情報を転送できるバスを介してマスタカメラと情報伝達できる。
【００９１】
更なる情報
以下の文書は発明分野の更なる情報のために用いることができ、本開示中に文献援用されている。
【００９２】
引用された文献
本開示中に文献援用されている「カメラ監視システム用監視装置」という米国特許第6,509,926号。
本開示中に文献援用されている「パイロット及びスレーブカメラを有するビデオ監視システム」という米国特許第6,724,421号。
本開示中に文献援用されている「高解像度画像を低解像度の双方向性画像を挿入することで現実的な没入経験（Immersive Experience）を形成するための方法及び装置」という米国特許第6,147,709号。
本開示中に文献援用されている「広角ビデオカメラにおける複数対象処理」という２００４年４月３０日に出願された米国特許出願第10/837,326号（弁理士整理番号GRND-15）。
本開示中に文献援用されている「広角ビデオカメラにおける複数画像処理」という２００４年４月３０日に出願された米国特許出願第10/837,325号（弁理士整理番号GRND-14）。
本開示中に文献援用されている「ビデオ監視用複数画像の同時表示の方法」という２００４年４月３０日に出願された米国特許出願第10/837,019号（弁理士整理番号GRND-16）。
本開示中に文献援用されているセチン（A. E.Cetin）とアヒスカ（Y. Ahiska）による「ウェーブレット領域情報を用いたビデオにおける動く対象物の追跡」という２００４年８月２３日に出願された米国特許出願第10/924,279号（弁理士整理番号GRND-05）。
本開示中に文献援用されている「画像処理による光学的ひずみの補正」という２００４年４月３０日に出願された米国特許出願第10/837,012号（弁理士整理番号GRND-13）。
本開示中に文献援用されている「広角ビデオカメラにおける範囲の画像処理」という２００５年７月８日に出願された米国特許出願第11/178,232号（弁理士整理番号GRND-02）。
【００９３】
公開文書
（１）本開示中に文献援用されている「遠距離における人のバイオメトリックイメージを得るためのマスタ／スレーブシステム」、X. Zhou、R. Collins、T. Kanade、P. Metes、ビデオ監視に関するACM国際ワークショップ、２００３年１１月。
（２）本開示中に文献援用されている「ビデオ監視及びモニタリング用システム」、R.Collins、Lipton、Kanade、米国原子力学会（ANS）主催のロボティクス及び遠隔システムに関する第８回国際会議、ピッツバーグ、ペンシルベニア州、１９９９年４月２５−２９日。
（３）本開示中に文献援用されている「デジタル画像処理の基礎」、Anil Jain、プレンティスホール、ニュージャージー州、１９９８年。
【００９４】
改良及び変形
当業者によって理解されるように、本出願中で説明される発明のコンセプトは、出願の膨大な範囲を超えて改良及び変更されるであろう。従って特許された対象の範囲は、与えられたいくつかの特別な例示的な教示によっても限定されない。
【００９５】
例えば、本発明があらゆる個数の異なる構造の実施を用いて実施できることも想定される。本発明の別の実施形態には、限定するのではないが、マスタ及びスレーブカメラ並びに全ての必要な回路を内蔵した単一の物理的構造、マスタカメラと全てのスレーブカメラと全ての必要な回路用の分離したハウジング、若しくは上記のハウジング分配物のいずれかの組合せが含まれる。
【００９６】
他の種類の想定される実施形態においては、本発明が可動性の４番目の軸をスレーブカメラに加えることによって実施される。例えば、スレーブカメラはパン、チルト及びズームと同様に回転することができる。
【００９７】
その上、これらの発明のコンセプトは特殊な実施例や本開示中で開示されている実施に限定することを意図していないが、限定するのではないが、マスタ及びスレーブカメラ用に異なる種類のカメラを用いるような全ての同等の実施を含むことを意図する。これは例えば、マスタ及びスレーブカメラの両方に制御可能なPTZを使用することを含む。この事は例えば、マスタ及びスレーブカメラの両方に拡大機能を有するカメラを用いるか、マスタ及びスレーブカメラの両方に用いない事も含む。
【００９８】
他の種類の想定される実施形態においては、本発明は、動作検知及び対象追跡に加えて、三次元俯瞰画像比較をRoIを規定するために用いて実施されるであろう。例えば、マスタカメラが窓の列に向けられている場合、画像処理回路はプログラムされることによって、葉の落下のような重要でない動きを無視し、開いた窓のみをRoIとして特定するであろう。
【００９９】
本発明の他の及び稀な好適な実施形態は、光学式、デジタル式、機械式又は光学ズームを行う多くの異なる方法の内のいずれかを用いて実施されるであろう。
【０１００】
別の実施形態は二つのマスタカメラを利用する。これらはそうする必要は無いが、逆方向に向けて配置されることができる。これらのカメラはそうである必要は無いが、魚眼カメラであることが可能である。この実施形態の利点は、広範囲の展望がマスタカメラの使用によって実現できることである。マスタカメラは、他の方法では３６０°の表示能力を有さないであろう。この実施形態は、ドームカメラのような３６０°の視野を有する単一のマスタカメラの使用を除外しない。
【０１０１】
他の種類の想定される実施形態においては、一つ又はいくつかのマスタカメラが多数のスレーブカメラを制御するであろう。これらのマスタカメラは、スレーブカメラをそれぞれ独立して、順列的に又は多数の異なる方法のうちのいずれかによって制御することができる。この種類の実施形態のある実施例においては、一つ以上のマスタカメラが、一つ以上のスレーブカメラを制御する一つ以上の中間カメラを制御する。この実施形態の実施例は、「デイジーチェーン（daisy chain）」のスレーブカメラであり、マスタカメラは他のスレーブカメラを介して直接又は間接的に別個の追跡タスクを割り当てる。いくつかのスレーブカメラを利用する利点には、限定するのではないが、単一のRoIの異なる画像を得ること、いくつかのRoIを撮影すること、及び／又はRoIが物理的な構造物の後ろを通った時にRoIを追うことが含まれる。この実施形態の実施例はスレーブカメラである。
【０１０２】
他の実施形態においては、スレーブカメラは内蔵された追跡機能を有することができる。この実施形態においては、スレーブカメラは、マスタカメラがそれを割り当てた後に、追跡ジョブを引き継ぐであろう。その後、マスタカメラは別のスレーブカメラへと別の追跡タスクを割り当てる。
【０１０３】
他の種類の想定される実施形態においては、マスタ及び／又はスレーブカメラは多数の異なる画像強化手段のいずれをも備えることができ、限定するのではないが、それは暗視画像、赤外線画像又は熱感知機能を含む。熱感知の利点には、限定するのではないが、車、人及び／又は動物のような熱を生じる対象のより良い検知及び追跡が含まれる。暗視画像又は他の低光量画像強化手段を使用する利点には、夜間に照らされていない範囲を監視できる能力が含まれる。
【０１０４】
本出願中の記載には、特定の要素、手順又は機能が、請求項の範囲に含まれなければならない不可欠な要素であることを意味するように読まれるべきものは無い。特許を受けた主題の範囲は認可された請求項によってのみ規定される。さらに、正確な単語「〜の手段（means for）」は分詞を従えない限り、これらの請求項のいずれも35U.S.C.第112条の第６段落を呼び起こすことを意図するものでは無い。その上、この出願と共に提出される請求項は、可能な限り包括的であることを意図する。全ての新規及び明らかでない開示される発明が対象となることを意図しており、対象が意図的に放棄され、拒否され、ささげられることは無い。
【図面の簡単な説明】
【０１０５】
【図１Ａ】本発明の好適な実施形態に一致するカメラシステムの図である。
【図１Ｂ】本発明の好適な実施形態に一致するカメラシステムの図である。
【図２】本発明の好適な実施形態に一致するカメラシステムの図である。
【図３】本発明の好適な実施形態に一致するカメラシステムの図である。
【図４】本発明の好適な実施形態に一致するカメラシステムの図である。
【図５】本発明の好適な実施形態に一致するカメラシステムの図である。
【図６】本発明の好適な実施形態に一致するカメラシステムの図である。
【図７】本発明の好適な実施形態に一致する処理手順を実施するフローチャートである。
【図８】本発明の好適な実施形態に一致する処理手順を実施するフローチャートである。
【図１Ａ】
2008507229.tif 000006
【図１Ｂ】
2008507229.tif 000007
【図２】
2008507229.tif 000008
【図３】
2008507229.tif 000009
【図４】
2008507229.tif 000010
【図５】
2008507229.tif 000011
【図６】
2008507229.tif 000012
【図７】
2008507229.tif 000013
【図８】
2008507229.tif 000014
【国際調査報告】
2008507229.tif 000015
2008507229.tif 000016
2008507229.tif 000017
2008507229.tif 000018
2008507229.tif 000019