(57)【要約】  監視の方法およびシステムが説明される。説明される、カメラを有する監視システム内で使用するための一方法は、カメラの対象領域の背景画像を生成すること、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。【選択図】図１
2008527806.tif 000002
【特許請求の範囲】
【請求項１】
カメラを有する監視システムで使用するための方法であって、
前記カメラの対象領域の背景画像を生成すること、
前記対象領域内にある、前記カメラの現在視野のライブビデオ画像を受け取ること、および
前記背景画像内で前記ライブビデオ画像の位置を相関させること
を含む方法。
【請求項２】
前記ライブビデオ画像は、前記カメラにより、夜間に、赤外線（ＩＲ）照射器を使って取り込まれる請求項１に記載の方法。
【請求項３】
前記ＩＲ照射器はレーザである請求項２に記載の方法。
【請求項４】
前記ライブビデオ画像と前記背景画像を、前記ライブビデオ画像の前記位置が前記背景画像内で関連付けられるように表示することをさらに含む請求項１に記載の方法。
【請求項５】
前記ライブビデオ画像は前記背景画像とは別個に表示され、前記背景画像は前記ライブビデオ画像の前記位置の標識を含む請求項４に記載の方法。
【請求項６】
前記ライブビデオ画像は前記背景画像内に表示される請求項４に記載の方法。
【請求項７】
前記ライブビデオ画像は前記背景画像の中央に表示される請求項６に記載の方法。
【請求項８】
前記背景画像内での前記ライブビデオ画像の表示位置は、前記カメラの前記現在視野の変化に基づいて変化する請求項６に記載の方法。
【請求項９】
前記背景画像を生成することは、
前記対象領域を走査して複数の背景サブ画像を取り込むこと、および
前記サブ画像を整合させて合成画像にすること
を含む請求項１に記載の方法。
【請求項１０】
動く対象を除去することによって前記サブ画像を処理することをさらに含む請求項９に記載の方法。
【請求項１１】
前記合成画像は、前記合成画像を色補正し、輝度補正するように処理される請求項１０に記載の方法。
【請求項１２】
前記対象領域を走査することは、前記対象領域を、複数の異なるパターンで複数回走査することを含む請求項９に記載の方法。
【請求項１３】
ＩＲ背景画像を生成すること、および
前記背景画像を用いて前記ＩＲ背景画像を補正すること
をさらに含む請求項９に記載の方法。
【請求項１４】
前記サブ画像を組み合わせて合成画像にすることは、位置情報を受け取ること、および画像処理技術を使用することを含む請求項１に記載の方法。
【請求項１５】
前記背景画像内でライブビデオ画像の前記位置を相関させることは、位置情報を受け取ること、および画像処理技術を使用することを含む請求項１に記載の方法。
【請求項１６】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる照射器と、
前記対象領域の背景画像を生成し、前記照射ビームを使って前記カメラによって取り込まれる、前記対象領域内にある前記カメラの現在視野のライブビデオ画像を受け取り、前記背景画像内で前記ライブビデオ画像の位置を相関させることのできるコンピュータと
を備えるシステム。
【請求項１７】
前記照射器は赤外線（ＩＲ）レーザ照射器であり、前記照射ビームはＩＲレーザ照射ビームである請求項１６に記載のシステム。
【請求項１８】
前記カメラと照射器を支持し、前記カメラと照射器を動かすことのできるパン／チルトユニットであり、前記コンピュータによって制御される前記パン／チルトユニットをさらに備える請求項１６に記載のシステム。
【請求項１９】
前記カメラと前記照射器は異なる場所に位置する請求項１６に記載のシステム。
【請求項２０】
前記カメラの焦点距離と前記照射器の焦点距離が一致して動くことのできる請求項１６に記載のシステム。
【請求項２１】
前記ライブビデオ画像と前記背景画像を、前記背景画像内で前記ライブビデオ画像の前記位置を相関させて表示することのできるディスプレイをさらに備える請求項１６に記載のシステム。
【請求項２２】
前記コンピュータは、前記対象領域を走査して複数の背景サブ画像を取り込み、前記サブ画像を整合させて合成画像にすることによって前記背景画像を生成する請求項１６に記載のシステム。
【請求項２３】
前記コンピュータに検出目標位置情報を提供することのできる検出システムをさらに備える請求項１６に記載のシステム。
【請求項２４】
複数のカメラをさらに備える請求項１６に記載のシステム。
【請求項２５】
少なくとも１台のカメラを使用する監視の方法であって、
前記カメラの対象領域の背景画像を生成すること、
前記対象領域内の少なくとも１つの関心領域（ＡＯＩ）の位置に対応するＡＯＩ位置情報に基づいて前記対象領域を走査すること、
前記少なくとも１つのＡＯＩをカバーする、前記対象領域内にある前記カメラの現在視野のライブビデオ画像を受け取ること、および
前記背景画像内で前記ライブビデオ画像の位置を相関させること
を含む方法。
【請求項２６】
前記ＡＯＩ位置情報は、関心領域を指定するユーザから受け取られる請求項２５に記載の方法。
【請求項２７】
前記ＡＯＩ位置情報は、前記カメラの所定の走査経路に対応する請求項２６に記載の方法。
【請求項２８】
前記カメラの設定が、前記走査経路に沿って画像解像度を最適化するように自動的に変更される請求項２７に記載の方法。
【請求項２９】
前記所定の走査経路は、ユーザインターフェースを介し、直接ユーザ入力で操作される請求項２７に記載の方法。
【請求項３０】
前記ユーザ入力は、前記対象領域内の領域、経路、または関心地点の少なくとも１つである請求項２９に記載の方法。
【請求項３１】
前記ＡＯＩ位置情報は検出システムから受け取られる請求項２５に記載の方法。
【請求項３２】
前記ＡＯＩ位置情報は画像処理方法によって生成される請求項２５に記載の方法。
【請求項３３】
前記ライブビデオ画像は、前記カメラによって、夜間に、赤外線（ＩＲ）レーザ照射器を使って取り込まれる請求項２５に記載の方法。
【請求項３４】
前記照射器の設定が、前記照射器に対する前記現在視野内の目標の近接度に基づいて自動的に変更される請求項３３に記載の方法。
【請求項３５】
少なくとも一部は前記現在視野の平均輝度に基づいて、前記照射器のビーム拡散角度と前記現在視野を自動的に調整することをさらに含む請求項３３に記載の方法。
【請求項３６】
少なくとも一部は前記現在視野内の内容情報に基づいて、前記照射器のビーム拡散角度と前記現在視野を自動的に調整することをさらに含む請求項３３に記載の方法。
【請求項３７】
前記照射器は、前記現在視野が光源によって照明される場合には、スイッチオフされる請求項３３に記載の方法。
【請求項３８】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる赤外線（ＩＲ）照射器であり、視差を生じるように前記カメラから分離されている前記照射器と、
前記カメラと前記照射器を制御することのできるコンピュータと
を備えるシステム。
【請求項３９】
前記照射器はＩＲレーザ照射器であり、前記照射ビームはＩＲレーザ照射ビームである請求項３８に記載のシステム。
【請求項４０】
前記カメラと照射器を支持し、前記カメラと照射器を動かすことのできるパン／チルトユニットであり、前記コンピュータによって制御される前記パン／チルトユニットをさらに備える請求項３８に記載のシステム。
【請求項４１】
前記カメラと前記照射器は異なる場所に位置し、別々のパン／チルトユニット上に取り付けられている請求項３８に記載のシステム。
【請求項４２】
前記カメラの焦点距離と前記照射器の焦点距離が一致して動くことのできる請求項３８に記載のシステム。
【請求項４３】
前記照射器に近すぎる対象の有無を検出し、前記照射ビームを遮断することのできる安全モジュールをさらに備える請求項３８に記載のシステム。
【請求項４４】
暗視監視システムであって、
対象領域を有するカメラと、
照射ビームを生成することのできる赤外線（ＩＲ）照射器と、
前記カメラと前記照射器を制御することのできるコンピュータと、
前記照射器に近すぎる対象の有無を検出し、前記照射ビームを遮断することのできる安全モジュールと
を備えるシステム。
【請求項４５】
前記安全モジュールは、前記照射ビームに戻るビーム反射を検出することのできる画像検出器と、前記ビーム反射を分析し、前記分析に基づいて前記照射ビームを遮断することのできる安全プロセッサとを備える請求項４４に記載のシステム。
【請求項４６】
前記安全プロセッサは前記ビーム反射の形状を分析する請求項４５に記載のシステム。
【請求項４７】
前記安全モジュールは、前記照射ビームの遮断に続いて前記照射ビームを徐々に始動させることができる請求項４４に記載のシステム。
【請求項４８】
前記照射ビームを徐々に始動させることは、前記照射ビームを低減電力でオンにし、対象が依然として存在するかどうか判定し、対象が検出されない場合に前記照射ビームの電力を徐々に増大することを含む請求項４７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
［０００１］
本発明は、参照によりその全部が本明細書に組み込まれる、２００５年１月３日に出願した、「監視カメラに基づいたアクティブ照明の夜間性能の向上についてのシステム及び方法（SYSTEM AND A METHOD FOR IMPROVING NIGHT TIME PERFORMANCE OF ACTIVE ILLUMINATION BASED SURVEILLANCE CAMERAS）」という名称の米国仮特許出願第６０／６４０２４４号の優先権を主張するものである。
【０００２】
技術分野
［０００２］
本発明は、一般に、監視システムに関し、より詳細には、本発明の実施形態は暗視監視システムのシステムおよび方法に関する。
【０００３】
背景技術
［０００３］
赤外線照射器を使用する暗視カメラは、高倍率を提供し得るが、この高倍率は、必然的に、狭い瞬間視野をもたらす。また、狭い視野は、所与の距離において、照射器のビームを、ある一定の角度を超えて拡散させると、有用な画像を生成するには不十分なビーム強度が必然的にもたらされることによるものである。この視野制限は、特に、カバーする必要のある領域が広く、複雑であるとき、または瞬間暗視視界の情報内容が低いときには、かかる監視カメラのユーザが監視対象領域内で方向定位するのを困難にする。
【０００４】
［０００４］
この限界を克服するのに使用され得る一方法が、現在視野を位置決めするのに役立ち得る目立った目標物を見つけるために、対象領域を系統的に走査するものである。監視作業の性質上、かかるサーチ手順は、緊急時に貴重な時間を使い果たすことになり得るため、一般に実際的はでない。これによって派生する、監視カメラの対象領域を定義する典型的な角度セクタをカバーするために監視カメラが必要とする長い走査時間が問題となり得る。
【０００５】
［０００５］
暗視システムの中には、レーザ赤外線照射器を利用するものもある。これらのシステムの多くは、ゲート式撮像技術を利用して、主要な雑音機構とみなされる大気による後方散乱を克服する。ゲート式撮像技術の使用は、高価な撮像器と、レーザパルスと撮像器の複雑な同期を必要とする。加えて、ゲート式撮像に基づく暗視システムは、撮像器の視野内の強烈な光源による飽和の影響を受けやすい。また、従来のレーザ照射暗視システムの使用は、目の安全の問題を提示する可能性もあり、用途によっては、レーザ安全管理者が暗視システムの現場にいることを必要とし得る。
【０００６】
［０００６］
他の暗視システムには、ＬＥＤ電球によって生成されるアクティブ赤外線照明を、その投射光を拾うように設定されたカメラと共に利用するものもある。これらのシステムは、短距離でのみ使用可能な画像を提供し、電球は比較的短命であり、システムに保守と運用のコストが増える。加えて、これらのシステムもやはり撮像器の視野内の強烈な光源による飽和の影響を受けやすい。
【０００７】
［０００７］
別の暗視システムは、高感度ＣＣＤカメラによって捕捉される周辺光（星明かりや月明かりなど）を利用するＩＣＣＤ（Ｉｎｔｅｎｓｉｆｉｅｄ  ＣＣＤ）構成を使用する。これらのシステムもまた、動作距離が短く、曇った夜や月のない夜には機能しない。加えて、これらのシステムは、撮像器の視野内の強烈な光源による飽和の影響を受けやすい。
【０００８】
［０００８］
最も一般的な暗視システムは、熱撮像に基づくものであり、対象の熱を使って結果の画像が生成される。操作者が訓練を積めば、結果画像を検出に使用し得るが、文字も画像詳細も見えないため、正確な識別には使用できない。加えて、非冷却式熱システムは距離が短く、他方冷却式システムは、距離はより長いが、非常に高価である。最後に、熱システムにズーム機能を追加するのは、専用レンズを使用する必要があるため高くつく。このため、多くの熱システムは、固定焦点距離である。
【０００９】
発明の概要
［０００９］
本発明の実施形態は、現在視野を含む監視対象領域の広い視界を提供するシステムおよび方法を含む、夜間監視のシステムおよび方法を提供する。このシステムおよび方法は、ユーザが、現在視野がどこに位置決めされているか即座に理解し、適切な空間方向定位を獲得し、脅威検出の場合には、誘導される適切な措置を講じることを可能にし得る。また、このシステムおよび方法は、監視カメラの走査対象セクタ内の所与の地点の再訪時間はもとより、対象領域走査時間を短縮することもできる。一実施形態において、カメラを有する監視システム内で使用するための方法は、カメラの対象領域の背景画像を生成すること、対象領域内にある、カメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。ライブビデオ画像は、背景画像上にライブビデオ画像の位置標識を表示することによって背景画像と関連付けられてもよく、ライブビデオ画像を、背景画像上でその相対的な位置に融合させることによって関連付けられても良い。
【００１０】
［００１０］
別の実施形態において、暗視監視システムは、対象領域を有するカメラと、照射ビームを生成することのできる照射器と、対象領域の背景画像を生成し、照射ビームを使ってカメラによって取り込まれる、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取り、背景画像内でライブビデオ画像の位置を相関させることのできるコンピュータとを備える。
【００１１】
［００１１］
別の実施形態において、少なくとも１台のカメラを使用する監視方法は、カメラの対象領域の背景画像を生成すること、対象領域内の少なくとも１つの目標の位置に対応する目標位置情報に基づいて対象領域を走査すること、少なくとも１つの目標を含む、対象領域内にあるカメラの現在視野のライブビデオ画像を受け取ること、および背景画像内でライブビデオ画像の位置を相関させることを含む。
【００１２】
［００１２］
別の実施形態において、暗視監視システムは、対象領域を有するカメラと、照射ビームを生成することのできる赤外線（ＩＲ）照射器であり、視差を生じるようにカメラから分離されている照射器と、カメラと照射器を制御することのできるコンピュータとを備える。また、システムは、照射器に近すぎる対象の有無を検出し、照射ビームを遮断することのできる安全モジュールを含んでいてもよい。
【００１３】
［００１３］
これらの例示的実施形態は、本発明を限定し、または定義するためではなく、本発明の理解に役立つ例を提供するために示すものである。例示的実施形態については、以下の詳細な説明で論じ、そこで本発明の詳細な説明を行う。本発明の様々な実施形態によって提供される利点は、本明細書をよく読めばさらに理解されよう。
【００１４】
本発明の上記その他の特徴、態様および利点は、以下の詳細な説明を、添付の図面を参照して読めばよりよく理解されるものである。
【００１５】
詳細な説明
［００１５］
本発明の実施形態は、夜間監視のシステムおよび方法を提供する。本発明の複数の実施形態がある。導入例として、本発明の１つの例示的実施形態は、ズーム視準レンズを備えるＩＲレーザ照射器、およびビデオカメラとズームレンズからなる撮像器を利用する夜間監視システムを提供する。照射器と撮像器の光軸は、大気による後方散乱を低減するために、視差を生じるように空間的に分離されている。レーザ照射器からの照射ビームは、視野全体にわたって光を均一に分散するように形成され得る。照射器内のコリメータの焦点距離は、カメラの焦点距離と一緒に変化するように作られていてもよく、これらの焦点距離が相互に独立に動くこともできる。また、システムは、対象が照射器に近すぎるときにこれを検出することができ、レーザ光源を遮断することができる安全機構または回路を含んでいてもよい。
【００１６】
［００１６］
システムは、カメラの対象領域のパノラマ背景画像を生成し、この背景画像と、ＩＲレーザ照射器を使ってカメラによって取り込まれるライブビデオ画像を相関させる。システムは、ユーザに、ライブビデオ画像が対象領域内のどこに配置されているか明確に指示するために、背景画像と相関させたライブビデオ画像を表示し得る。システムは、ライブ夜間ビデオ画像を取り込むために、対象領域をインテリジェントに走査し得る。
【００１７】
システムアーキテクチャ
［００１７］
本発明による様々なシステムが構築され得る。次に図面を参照する。これらの図では、類似の要素を類似の番号で示す。図１は、本発明の一実施形態の実施のための例示的環境を示すブロック図である。図１に示すシステム１００は、カメラユニット１０２と、パン／チルトユニット１０４と、照射ユニット１０６と、電子回路ユニット１２０と、制御コンピュータ１５０を含む。また、システム１００は、熱検出システム、レーダ、フェンスシステムなどの目標検出システム１６０も含み得る。
【００１８】
［００１８］
パン／チルトユニット１０４は、ポール、スタンド、三脚、壁などといった構造１１０に取り付けられ得る。パン／チルトユニット１０４にアダプタブリッジ１０８を結合することができ、このアダプタブリッジ１０８は、カメラユニット１０２と照射ユニット１０６に接続され、これらを支持することができる。パン／チルトユニット１０４は、水平方向に動くことのできるパン機構１０５と、垂直方向に動くことのできるチルト機構１０７を含み得る。パン／チルトユニット１０４は、パン機構１０５とチルト機構１０７に、幅広いパノラマをカバーするように照射ユニット１０６とカメラユニット１０２を移動させる電子回路板１２０からの制御信号を受け取ることができる。また、パン／チルトユニット１０４は、パン／チルトユニット１０８の位置（パン角度とチルト角度）、よって、カメラユニット１０２と照射ユニット１０６の位置を指示する位置信号を提供するセンサ１０９も含み得る。別の実施形態では、パン／チルトユニット１０８を、可動式の、または不安定な台の上で使用するためにジャイロ安定機によって安定させる。
【００１９】
［００１９］
別の実施形態では、システム１００は、パン／チルトユニットを含まなくてもよく、カメラユニット１０２と照射ユニット１０６は固定されていてもよい。別の実施形態では、カメラユニット１０２と照射ユニット１０６は、別の場所にあり、別々のパンユニットとチルトユニットに取り付けられていてもよい。一実施形態では、カメラユニット１０２と照射ユニット１０６は、少なくとも６メートルの高さに取り付けられる。
【００２０】
［００２０］
図２に示すように、照射ユニット１０６はアクティブ照射器２１１を収容するハウジング２１０を含み、照射器２１１は、光ファイバアダプタ２１２とズームコリメータ２０４を含む。また、照射器２１１は、図１に示す電子回路ユニット１２０内のレーザ高原１２２などの光源も含む。当分野の技術者に知られている他の適切な光源も使用され得る。光ファイバアダプタ２１２は、（以下で説明するように）電子回路ユニット１２０内のレーザ光源１２２からＩＲレーザ照射ビームを受け取る。一実施形態では、光ファイバアダプタ２１２は、円形の光ファイバケーブルである。ズームコリメータ２０４は、ＩＲレーザ照射ビームを目標２０６に当て、制御するように動作する１つまたは複数の視準レンズ２０５を含み得る。ズームコリメータ２０４は、（以下で説明するように）電子回路ユニット１０２からズーム、フォーカスなどの制御信号を受け取ることができる。
【００２１】
［００２１］
カメラユニット１０２は、ズームレンズ付きカメラ２０２、カメラインターフェースカード２２６、機械式照準機構２２４、およびスペクトルフィルタ機構２２２を囲い込むハウジング２２０を含み得る。一実施形態では、カメラ２０２は、例えば、ＣＢＣ社製Ｃｏｍｐｕｔａｒレンズを備えるパナソニック社製ＣＣＤカメラなどである。
【００２２】
［００２２］
機械式照準機構２２４は、ＩＲレーザ照射ビームの光軸２３０とカメラ２０２の光軸２３２を目標２０６に同時に整合させるのに使用され得る。カメラインターフェース２２６は、（以下で説明するように）電子回路ユニット１２０から、ズーム、フォーカス、ゲイン、シャッタなどの制御信号を受け取り、これらの制御信号をカメラ２０２に中継することができる。また、カメラインターフェース２２６は、カメラ２０２からビデオ画像信号を受け取り、これらのビデオ画像信号を電子回路ユニット１２０に送ることもできる。
【００２３】
［００２３］
カメラ２０２とコリメータ２０４の焦点距離は、ロックする、すなわち、一致して変化させることもでき、独立に変化させることもできる。例えば、一実施形態では、制御コンピュータ１５０は、カメラ２０２のズーム設定とフォーカス設定を使用し、これらのパラメータをコリメータ２０４のズーム設定とフォーカス設定に変換して、２つの視野が同じサイズになるようにする。このようにして、カメラ２０２のズーム設定とフォーカス設定の変更が、コリメータ２０４での同様の変更を生じることになる。
【００２４】
［００２４］
スペクトルフィルタ機構２２２は、夜間、あるいはそれ例外の光の全く、またはほとんどないときに、ＩＲレーザ照射ビームを使用するカメラ２０２でビデオを取り込むのに使用され得る。スペクトルフィルタ機構２２２は、少なくとも１つの狭帯域幅またはカットオフフィルタと、運動機構を含み得る。狭帯域幅フィルタは、レーザ波長を伝え、他の光帯域を排除する。例えば、９１０ｎｍレーザが使用される場合、９００から９２０ｎｍの波長帯域を有するフィルタが使用され得る。別の実施形態では、９００ｎｍ以上の波長を有する光を伝え、９００ｎｍより低い波長を有する光を排除するカットオフフィルタが使用され得る。狭帯域幅フィルタを使用すれば、システムは、カメラの視野内の可能な全ダイナミックレンジの光に対処することができる。例えば、狭帯域幅フィルタがあれば、システムは、真っ暗な領域や近くの街路灯を、強い光によって飽和されずに見ることができる。運動機構は、夜間モードにあるとき、または、そうでなく、レーザ照射器を使用するときに、カメラレンズ２０７前の所定の位置にフィルタを移動させるのに使用される。一実施形態では、システム１００は、昼間システムと夜間システムとして動作するように構成される。
【００２５】
［００２５］
一実施形態では、カメラ２０２とコリメータ２０４は、ＩＲ照射夜間システムでの雑音の主要原因とみなされる、短距離における大気中のエアロゾルから発する後方散乱を低減する視差を生じるように間隔を置いて配置される。短距離の後方散乱に起因する雑音は、長距離における後方散乱に起因する雑音よりも強い。視差を生じるように照射器をカメラから分離することによって、近距離の後方散乱が回避され、または低減され得る。例えば、カメラ２０２とコリメータ２０４を０．５メートル離すことができ、これは、レーザ照射ビーム２３０を使用するカメラ２０２で、カメラ２０２とコリメータ２０４から２０メートル離れた対象の、後方散乱がほとんど、または全くない画像を取り込むことを可能にする。
【００２６】
［００２６］
一実施形態では、カメラユニット１０２と照射ユニット１０６は、単一のポールまたは三脚上に、カメラユニット１０２と照射ユニット１０６が相互に垂直になるように取り付けられる。例えば、照射ユニット１０６は、カメラユニット１０２の上部に取り付けられていてもよい。別の実施形態では、照射ユニット１０６とカメラユニット１０２は、別々のポールまたは三脚の上に取り付けられる。このようにして、大気による後方散乱は、完全に、またはほぼ完全に除去される。この実施形態では、照射ユニット１０６とカメラユニット１０２が、それぞれ、パン／チルトユニットを有していてもよく、これらのパン／チルトユニットは、相互に連動し合ってもよい。別の実施形態では、後方散乱を低減するために、制御コンピュータが画像処理技術を使って、画像のコントラストをデジタル式に伸張させることができる。
【００２７】
［００２７］
レーザ光源を使用する照射器２１１は、１０００メートル以上の動作範囲を可能にする輝度レベルの能力があるものとすることができる。コリメータ２０４は、レーザ照射ビームの拡散を、カメラの視野に対応して容易に変更させることができる。大部分の従来方式の夜間監視システムは、ＬＥＤまたは電球ベースの照射器を使用する。かかる照射器は、一般に、その輝度に限界があるために範囲が非常に限られており（最大１５０〜２００ｍ）、ビームの拡散角度とカメラの視野の同期的変更に対応することができない。
【００２８】
［００２８］
一実施形態では、照射レーザビームは、レーザビームの光が、そのレーザビーム全体にわたって均一に拡散するように形成される。例えば、光ファイバアダプタ２１２は、照射ビーム全体にわたる光の均一な分布を作り出すことができる。また、光ファイバアダプタ２１２は、円形であって、その外半径において強度の急激な降下を有する照射ビームを生じるようにも作用し得る。照射ビームの均一な光の拡散と鋭いエッジは、ＬＥＤまたは電球によって通常作られる照射ビームの不均一な光の拡散と緩やかなエッジとは対照的である。照射ビームのサイズは、コリメータレンズ２０５の焦点距離を制御することによって決定され得る。
【００２９】
［００２９］
図１に戻って、カメラ２０２によって取り込まれるビデオ画像データは、カメラユニット１０２から電子回路ユニット１２０に送られる。次いで、電子回路ユニット１２０は、ビデオ画像データを制御コンピュータ１５０に転送する。制御コンピュータ１５０は、メモリ１５４などのコンピュータ可読媒体に結合されたプロセッサ１５２を含み得る。プロセッサ１５２は、以下で述べるように、カリフォルニア州サンタクララのインテル社製プロセッサや、イリノイ州ショウンバーグのモトローラ社製プロセッサなど、いくつかのコンピュータプロセッサのいずれかとすることができる。かかるプロセッサには、マイクロプロセッサ、ＡＳＩＣ、および状態機械も含まれ得る。かかるプロセッサは、コンピュータ可読媒体を含み、またはコンピュータ可読媒体と通信状態にあってもよく、コンピュータ可読媒体は、プロセッサによって実行されるとプロセッサに処置を実行させるプログラムコードまたは命令を格納する。コンピュータ可読媒体の実施形態には、それだけに限らないが、プロセッサにコンピュータ可読命令を提供することのできる、電子、光、磁気、その他の記憶装置または伝送装置が含まれる。他の適切な媒体の例には、それだけに限らないが、フロッピー(登録商標)ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成済みプロセッサ、光媒体、磁気テープ媒体、またはコンピュータプロセッサが命令を読み出すことのできる他の任意の適切な媒体が含まれる。また、有線と無線両方の、ルータ、専用または公衆ネットワーク、あるいは他の伝送装置またはチャネルを含む、様々な他の形のコンピュータ可読媒体が、コンピュータにプログラムコードまたは命令を送信し、または搬送してもよい。命令は、例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｊａｖａ(登録商標)、Ｐｙｔｈｏｎ、Ｐｅｒｌ、Ｊａｖａ(登録商標)Ｓｃｒｉｐｔなどを含む、任意のコンピュータプログラミング言語のプログラムコードを含んでいてもよい。
【００３０】
［００３０］
制御コンピュータ１５０は、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）やＬｉｎｕｘなど、任意のオペレーティングシステム上で動作し得る。制御コンピュータの例が、パーソナルコンピュータ、サーバ機器、情報端末、携帯情報端末、移動電話機、デジタルタブレット、ラップトップコンピュータ、インターネット家電、その他のプロセッサベースの機器などである。一般に、制御コンピュータ１５０は、１つまたは複数のアプリケーションプログラムと対話する任意の適切な種類のプロセッサベースのプラットフォームとすることができる。制御コンピュータ１５０は、インターネットなどのネットワーク（不図示）に接続されていてもよく、有線または無線接続を介して電子回路ユニット１２０と検出システム１６０に直接接続されていてもよく、あるいは、有線または無線のネットワークを介して電子回路ユニット１２０と検出システム１６０に接続されていてもよい。制御コンピュータは、キーボード、マウス、ディスプレイ、記憶装置といった入出力機器を含んでいてもよい。
【００３１】
［００３１］
制御コンピュータ上で走り、メモリ１５４に記憶されるプログラムコードには、制御エンジン１５６、背景画像エンジン１５８、ビデオ動き／変化検出モジュール１５７、ユーザインターフェースアプリケーション１５９が含まれる。制御エンジン１５６は、レーザ光源１２２、コリメータ２０４、およびカメラ２０２を制御するのに使用され得る制御信号を計算し、電子回路ユニット１２０に送ることができる。背景画像エンジン１５８は、カメラユニット１０２から画像データを受け取って背景画像を生成し、ライブビデオ画像と背景画像を相関させることができる。ビデオ変化／動き検出モジュール１５７は、カメラ視野内の動く対象を検出し、隔離することのできる動き検出アルゴリズムと、例えば、空港内の放置物や美術館における紛失絵画など、所与の視野内の新しい、または欠けている対象を識別することのできる変化検出アルゴリズムを含む。
【００３２】
［００３２］
ユーザインターフェースアプリケーション１５９は、表示装置上に、ユーザがシステムと対話できるようにするユーザインターフェースを提示する。図３に、ユーザインターフェース３００の例を示す。
【００３３】
［００３３］
電子回路ユニット１２０は、レーザ光源１２２と、安全モジュール１２８と、制御ユニット１２４を含み得る。レーザ光源１２２は、光ファイバ１３４を介して照射ユニット１０６にレーザビームを送ることができる。レーザ光源１２２は、連続波レーザとすることができる。例えば、レーザ光源１２２は、独国のＬＩＭＯ  ＧｍｂＨ社製のダイオードレーザモデルＨＬＵ１０Ｆ６００−８０８などとすることができる。
【００３４】
［００３４］
安全モジュール１２８は、対象がレーザ照射ビームに近づきすぎる場合には、レーザ光源１２２を遮断するように機能し得る。安全モジュール１２８は、安全プロセッサ１６２と、レーザ光源１２２からのレーザビームと同一直線上にある画像検出器１６０を含む。画像検出器１６０は、レーザビームに入る対象からのビーム反射（または後方散乱画像）を検出し、安全プロセッサ１６２に信号を送ることができる。安全プロセッサ１６２は、検出１６０から受け取られる後方散乱放射分布を分析することができる。これは、安全モジュール１２８が、対象がレーザビームに近すぎるときにこれを検出することを可能にする。レーザビームに近すぎる対象を検出すると、安全モジュール１２８は、レーザ光源１２２に制御信号を送って、レーザビームを遮断することができる。
【００３５】
［００３５］
一実施形態では、安全プロセッサ１６２は、例えば、フィールドプログラマブルゲートアレイなどの集積回路であり、電子回路ユニット１２０内に位置する。安全プロセッサ１６２は、制御コンピュータ１５０内に位置するソフトウェアとして操作されてもよい。電子回路ユニットに安全プロセッサ１６２を実装すれば、安全プロセッサ１６２は、制御コンピュータ１５０におけるソフトウェア実装と比べて、より信頼性が高く、より短いループを有するものとなり得る。一実施形態では、安全モジュール１２８は、約１７ミリ秒のビデオフィールド時間内にレーザ光源１２２をシャットダウンすることができる。よって、対象のレーザ放射への露光が、この期間だけに限られる。レーザ放射によって引き起こされる目の損傷は露光期間に左右され、シャットダウン時間が短ければ、かかる損傷を低減するように作用し得る。このように、安全モジュール１２８は、人間対象がレーザに近づきすぎるときにレーザ光源を遮断するように機能し得るが、不要なシャットダウンでシステム１００を妨害することはない。
【００３６】
［００３６］
図１１に、本発明の一実施形態による、対象の検出に基づいてレーザ光源をシャットダウンする安全方法１１００を示す。ブロック１１０２で、安全プロセッサ１６２は、カメラの視野を複数の領域に分割し得る。一実施形態では、安全プロセッサ１６２は、カメラ２０２の視野を、小さい正方形に分割する。
【００３７】
［００３７］
ブロック１１０４で、安全プロセッサ１６２は、次いで、安全閾値を超える領域を決定する。例えば、安全プロセッサは、各領域または正方形ごとに、その輝度が所与の閾値を超える画素の数を数えることができる。この数が指定の数字より高い場合、所与の領域は、閾値を上回るとみなされる。ブロック１１０６で、輝度閾値を超える領域によってカバーされる範囲が決定される。例えば、安全プロセッサ１６２は、輝度閾値を超えている正方形によってカバーされる範囲のサイズと形状を求めることができる。ブロック１１０８で、安全プロセッサ１６２は、この範囲情報を使って、レーザ光源１２２をシャットダウンすべきかどうか判定する。例えば、対象のサイズと形状を使って、検出されている対象が、シャットダウンの根拠となる人間である可能性が高いか、それとも、虫や鳥など、レーザ光源のシャットダウンの根拠とならないはずの別の対象であるか判定することもできる。
【００３８】
［００３８］
ブロック１１０８で、安全プロセッサ１６２が、レーザ光源をシャットダウンすべきでないと判定した場合、方法１１００は、ブロック１１０４に進む。安全プロセッサ１６２が、レーザ光源をシャットダウンすべきであると判定した場合、安全モジュール１２８は、ブロック１１１０でレーザ光源１２２をシャットダウンする。
【００３９】
［００３９］
また、安全モジュール１２８は、ユーザの介在なしで自動的に照射器を回復させることもできる。例えば、安全モジュール１２８は、レーザの強度を徐々に増大し、目の安全への潜在的な脅威の原因となる、照射器に近すぎる対象の有無を絶えずチェックしてもよい。レーザをシャットダウンする根拠となる対象が検出された場合、レーザ強度は、再度低減されてゼロになる。そうでない場合、レーザの強度は、所望の強さになるまで徐々に増大する。例えば、シャットダウンイベント時において、レーザ強度は０まで下がるが、直後に、小さい値、例えばその最大値の１０％程度まで徐々に増大する。次のフィールド時間において、安全プロセッサ１６２は、この低減された強度で、依然として目の安全への脅威の可能性があるかどうか判定することができる。依然として脅威がある場合、強度は、自動的により小さい値まで下げられる。脅威がない場合、強度は、次のフィールドにおいてより高い値まで上がる。このプロセスは、各時点において最大限の目に安全なレーザ強度が実施されるように続行する。このように、（若干の性能低下を伴った）監視ジョブが、安全シャットダウン後でさえも続行し得る。また、これは、システムが、手動リセットまたはオペレータ対話なしで、夜間監視モードに自動的に復帰することも可能にし、これは、システムが無人である場合には、重要である。
【００４０】
［００４０］
一実施形態では、安全モジュール１２８は、レーザがクラス１レーザとして分類され得るように実施される。レーザをクラス１に分類すれば、レーザの使用時にレーザ安全管理者が居合わせる必要がなくなる。
【００４１】
［００４１］
図１に再度戻って、制御ユニット１２４は、制御コンピュータ１５０から制御信号を受け取り、制御信号を、レーザ光源１２２、照射ユニット１０６、パン／チルトユニット１０４およびカメラユニット１０２に送ることができる。レーザ制御信号は、レーザ光源１２２におけるレーザの強度を制御することができる。照射ユニット制御信号は、レーザ照射ビームのズームを制御するなど、コリメータ２０４を制御するのに使用され得る。パン／チルトユニット制御信号は、パン／チルトユニット１０４の動きを制御することができる。カメラユニット制御信号は、ズーム、フォーカス、ゲイン、シャッタ、その他のカメラ制御など、カメラ２０２を制御するのに使用され得る。
【００４２】
［００４２］
また、電子回路ユニット１２０は、制御コンピュータまたは他の電源から電力を受け取り、照射ユニット１０６、パン／チルトユニット１０４、およびカメラユニット１０２のみならず、電子回路ユニット１２０内の構成要素にも電力を提供することのできる電源ユニット１２６も含むことができる。電源回路１２６は、受け取った電力を、様々な構成要素が必要とする電力に変換する変換器を含んでいてもよい。また、電子回路ユニット１３０は、ユニット１３０の構成要素を冷却する冷却ユニット（不図示）を含んでいてもよい。
【００４３】
ユーザインターフェース
［００４３］
図３に、制御コンピュータ１５０によって生成されるユーザインターフェース３００の一実施形態を示す。ユーザインターフェースは、背景画像３０２と、ライブビデオ画像３０４と、制御ボタン３０６を含み得る。図３に示す実施形態において、背景画像３０２は、カメラ２０２の対象領域のパノラマ画像であり、カラーで表示される。ライブビデオ画像３０４は、レーザ照射ビーム２３０を使ってカメラ２０２によって取り込まれるカメラ２０２の現在視野である。ライブビデオ画像３０４の位置は、この実施形態では、背景画像３０２上の標識ボックス３０８によって、背景画像３０２と相互に関連付けられる。背景画像３０２と標識ボックス３０８とは、ユーザに、現在見えている領域に関して即座の方向定位を提供する。この方向定位を達成した後で、ユーザは、検査対象領域をより詳細に見るためにズームインしてもよい。
【００４４】
［００４４］
制御ボタン３０６は、パン／チルトユニット１０８の動きの制御、カメラ２０２とコリメータ２０４の制御、レーザ光源１２２の制御など、様々な機能を実行することができる。例えば、ユーザは、制御ボタン３０６を介して、パン／チルトユニット１０８を制御することによって、カメラ２０２の視野を移動させることができる。フォーカス、ゲイン、シャッタなどのカメラ２０２設定は、ユーザにより、制御ボタン３０６を介して制御され得る。また、カメラ２０２によって使用されるフィルタ２２２とカメラ２０２の安定性設定も、ユーザにより、制御ボタン３０６を介して制御され得る。ズームやフォーカスなど、コリメータ２０４の照射器設定は、制御ボタン３０６を介して制御され得る。また、制御ボタン３０６は、ユーザにレーザ照射ビームをオンにさせ、レーザ照射ビームの強度とサイズを制御させることもできる。制御ボタン３０６は、ユーザに、カメラと照射器の焦点距離を、これらが一致して動くようにロックさせることもできる。
【００４５】
［００４５］
ユーザは、制御ボタン３０６を介して、背景画像３０２を生成し、そのサイズを設定してもよい。また、制御ボタン３０６は、ユーザが関心地点または目標と、パノラマ背景画像３０２内の経路を設定し、目標間をナビゲートするためのインターフェースも提供する。また、制御コンピュータ１５０は、他の検出システムから情報を受け取り、この情報を表示してもよい。一実施形態では、熱撮像システムが使用され、熱撮像器の位置が、ボックス３０８と同様の標識を用いて背景画像上に示される。熱撮像器標識ボックスは、ボックス３０８より大きく、色の異なるものとすることもできる。また、熱撮像器からの画像（不図示）も、ユーザインターフェースでユーザに表示され得る。
【００４６】
［００４６］
図４に、ユーザインターフェースの画像部分の代替の実施形態を示す。この実施形態では、パノラマ背景画像４０２の一部が、背景画像４０２内に表示され、または融合されたライブビデオ画像４０４と共に表示される。この領域４０４は、ＩＲ照射器によって照射され、カメラによって撮像される。カメラによって生成されるライブビデオ画像４０４は、制御コンピュータ１５０のメモリから取り出される対象領域の調整済み固定画像４０２に自動的に合成される。この合成画像がユーザに提示される。この実施形態では、部分４０４だけが、リアルタイムで取り込まれるライブ画像である。合成画像は、ユーザに、ユーザが現在見ている領域に関する即座の方向定位をもたらす。この方向定位を達成した後、ユーザは、検査対象領域を詳細に見るためにズームインしてもよい。ズームインするとき、ライブビデオ画像４０４は光学的に拡大され、合成領域４０２は、合成画像全体が、単一の実際の撮像器から発する単一の画像として振る舞うように、光学機器と同期してデジタル的に拡大される。
【００４７】
［００４７］
別の実施形態では、ライブビデオ画像は、システムがパンし、またはチルトする場合でさえも、背景画像の中央または別の任意の所定位置に固定される。ユーザがズームインするとき、ライブビデオ画像は光学的に拡大され、背景画像は、背景とライブ画像の全体が、単一の実際の撮像器から発する単一の画像として振る舞うように、光学機器と同期してデジタル的に拡大される。別の実施形態では、背景画像は固定され、ライブビデオ画像部分は、カメラが移動するに従って背景画像フレーム内でその位置を変える。このオプションは、監視システムが、カメラの対象領域内の特定の経路を自動的に追跡する必要があるとき、すなわち「仮想巡回」に役立ち得る。ライブビデオ画像の位置と背景画像を相関させる別のやり方が使用されてもよい。
【００４８】
方法
［００４８］
本発明の実施形態による様々な方法が実行され得る。図５に、図１と２に示すシステム１００によって実施され得る監視の例示的方法５００を示す。この例示的方法は、例として示すものであり、本発明による方法を実行する様々なやり方がある。図５に示す方法５００は、様々なシステムの１つまたはこれらの組み合わせによって実行され、または別様に行われ得る。図１と２に示す前述のシステムを、例として使用する。
【００４９】
［００４９］
方法５００は、ブロック５０２で、背景画像の生成から開始する。背景画像は、カメラ２０２の対象領域の全体または一部を含むパノラマ画像とすることができ、これを図３に画像３０２で示す。一実施形態では、背景画像は、白昼に作成されるカラー画像である。また、背景画像は、ＩＲフィルタを使って作成され、次いで、カラー背景画像と相互に関連付けられてもよい。ＩＲ背景画像は、ＩＲ照射を使って取り込まれるライブビデオ画像とのよりよい相関を実現し得る。
【００５０】
［００５０］
一実施形態では、背景画像エンジン１５８は、カメラ２０２を、カメラ２０２の対象領域から複数の画像を取り込むように制御し、次いで、これらの画像をパノラマ画像内に相関させることによって背景画像を生成する。以下の図８で、背景画像生成の例示的方法をより詳細に説明する。
【００５１】
［００５１］
ブロック５０４で、ライブビデオ画像が受け取られる。一実施形態では、ライブビデオ画像は、照射器２１１からのレーザ照射を使ってカメラ２０２によって取り込まれる。ライブビデオ画像は、カメラ２０２の現在視野とすることができ、例えば、図３の画像３０４や図４の画像４０４で示される。前述のように、コリメータ２０４の焦点距離は、カメラ２０２の視野に連動させることができる。また、ユーザは、カメラ２０２とコリメータ２０４とレーザ光源１２２を別々に制御することもできる。
【００５２】
［００５２］
ブロック５０６で、ライブビデオ画像の位置が背景画像と相互に関連付けられ。カメラ２０２の瞬間視野は、一般に、カメラ２０２の対象領域より小さい。したがって、この現在の取り込みライブ画像が、ユーザにとって認識可能な環境の視覚的手掛かりを全く含まない可能性もある。よって、ユーザが空間的方向定位を失い、カメラがどこに向けられており、ライブ画像が対象領域全体のどこに位置しているか分からなくなる可能性がきわめて高い。このため、ユーザにライブビデオ画像の方向定位が提供されるように、ライブビデオ画像と背景画像を相関させることが必要になる。一実施形態では、背景画像内で、ユーザに、ライブビデオ画像が対象領域内のどこに配置されるか示すボックスが設けられる。この実施形態は、例えば、図３にボックス３０８で示されている。別の実施形態では、ライブビデオ画像は、背景画像内のこれの位置に表示され得る。この実施形態は、例えば、図４に示されている。
【００５３】
［００５３］
暗視カメラのライブビデオ画像とカメラの対象領域の背景画像を相関させるのに、様々な方法が使用され得る。一実施形態では、この相関は、自動リアルタイムプロセスである。
【００５４】
［００５４］
一方法では、ボアサイトカメラのみならず、レーザ照射ビームもまた、その方向が制御コンピュータ１５０に知られている「復帰位置」を有する。例えば、一実施形態では、パン／チルトユニット１０４は復帰機能を有し、所与のパン／チルト位置がゼロ位置として定義される。このゼロまたは復帰位置を使用すれば、制御コンピュータ１５０は、連続するフレーム対フレームの照合計算を使って、視野の瞬間位置を計算することができる。視野方向が分かっていれば、ライブビデオ画像が、制御コンピュータ１５０によって背景画像に大まかに関連付けられ得る。一実施形態では、次いで、（以下で説明する）パターン照合技術を使って、ライブビデオ画像と背景画像の間のより正確な位置相関が提供される。
【００５５】
［００５５］
別の方法は、パターン照合法を使って、ライブビデオ画像を背景画像内のその正しい位置に整合させ、相関させる。一実施形態では、パターンの認識と照合が、ＩＲフィルタを使って生成される背景画像を使って行われる。次いで、ＩＲ背景画像と着色背景画像の間の事前計算された相関を使って、ライブビデオ画像が背景画像に関連付けられる。一実施形態では、２つの背景画像、すなわち、ユーザインターフェース上の表示に使用される着色昼間背景画像と、ブロック／特徴照合に使用される（ＩＲフィルタを使って昼間に取られ、またはレーザ照射を使って夜間に取られる）ＩＲ背景画像が相互に関連付けられる。着色背景画像は、照合にも使用され得るが、このプロセスは、ＩＲ背景画像を用いた場合ほど成功しないこともある。
【００５６】
［００５６］
別の方法では、視野方向が、（例えば、ポテンショメータや符号器といった）パン、チルトおよびズームセンサを連続して読み取ることによって計算されて、パン角度およびチルト角度とズーム設定が提供される。パンセンサとチルトセンサは、例えば、パン／チルトユニット１０４内のセンサ１０９などとすることができる。ズームセンサは、カメラ２０２および／またはコリメータ２０４と関連付けることができる。これらのセンサは、現在視野のために制御コンピュータ１６０に位置情報（パン、チルト角度とズーム設定）を送ることができる。制御コンピュータ１５０は、この位置情報に基づき、対象領域（背景画像）内の現在視野（ライブビデオ画像）のおおよその位置を計算することができる。一実施形態では、次いで、（前述の）パターン照合技術を使って、ライブビデオ画像と背景画像の間のより正確な位置相関が提供される。
【００５７】
［００５７］
別の方法は、ＩＲ感知位置センサを利用する。このＩＲ位置センサは、その視野がカメラの対象領域全体をカバーするような固定位置に取り付けられてもよい。この位置センサは、複数の照射器のために使用され得る。このセンサは、照射器地点を自動的に検出し、その直径を抽出し、その方向とサイズを制御コンピュータ１５０に送ることができる。監視システムの場所のみならず、位置センサの場所と姿勢が分かっていれば、制御コンピュータ１５０は、背景画像上の瞬間レーザスポットの位置を計算することができる。
【００５８】
［００５８］
本発明の一実施形態では、前述の方法の複数の方法を使って、ライブビデオ画像を背景画像に相関させてもよい。個々のシステムの要件とユーザの必要および予算に応じて、前述の方法の様々な組み合わせが使用され得る。例えば、ライブビデオ画像の位置で最大限の正確さを達成するには、まず、ライブビデオ画像位置の大ざっぱな推定値のためにパン、チルトおよびズームセンサが読み取られ、次いで、精密な方向定位調整のためにビデオ特徴照合が行われてもよい。
【００５９】
対象領域の走査
［００５９］
カメラによる対象領域の長い走査時間と、対象領域内の所与の地点での「再訪時間」（走査システムの後続巡視間の期間）を克服するために、様々な方法が使用され得る。長い再訪時間は、いくつかの実施形態では、照射器のビーム拡散角度の限界に由来し得る。
【００６０】
［００６０］
一方法が、対象領域または仮想巡回における、領域、経路、関心地点などといった関心領域の事前定義である。一実施形態では、ユーザは、例えば、図３に示す制御ボタン３０６を使用するなど、ユーザインターフェースとの対話を通じて、関心領域または目標を識別し得る。次いで、制御コンピュータ１５０は、これらの地点を格納し、これらの関心領域のライブビデオ画像を、その対象領域の残りの部分よりも頻繁に、またはユーザ定義の経路に従って取り込むようにカメラを制御し得る。例えば、制御コンピュータ１５０は、カメラが、ほぼ真直ぐな監視経路を、観察経路の各区間ごとの最適な画像解像度を用いて走査する間、（必要に応じて）カメラのズームとフォーカスのパラメータだけが変更されるようにカメラとＩＲ照射ビームを制御してもよい。
【００６１】
［００６１］
一実施形態では、仮想巡回プロセスが、制御コンピュータ１５０が、パン、チルト角度、およびレンズズーム（および必要に応じてフォーカス）値を含むすべてのパラメータを、予定される仮想巡回に沿って動的に指定することを必要とし得る。ユーザは、例えば、ユーザインターフェース３００の背景画像３０２内の地点をクリックすることによって、関心地点および／または関心経路を指定してもよい。これは、システムのセットアップまたは初期設定時にユーザによって行われ得る。仮想経路または巡回が指定されると、システムは、指定の経路または巡回に自動的に従うことができる。
【００６２】
［００６２］
制御コンピュータ１５０は、ユーザの選択を、指定の地点から、または指定の経路に沿って画像を取り込むのに必要なカメラ、照明、およびパン／チルトパラメータと相関させることができる。例えば、図３において、「Ｘ」は、ユーザによって設定された所定の関心領域または目標を示す。制御コンピュータ１５０は、背景画像内の目標Ｘのアドレス情報を、対象領域内の位置情報と相関させることができる。制御コンピュータは、例えば、レーザ照射ビームを使用するカメラを制御して、各目標において左から右へ画像を取り込むことができる。ユーザからの入力に基づき、制御コンピュータ１５０は、カメラの対象領域内の所定の経路に沿った夜間「仮想巡回」、ならびにその他の洗練された走査パターンを行うようにカメラを制御してもよい。スキャン中を通して動的に変更され得る別のパラメータが、照射器の強度であり、これは、システムが近距離で使用されるときには、偶然に通りかかった人の目の安全を保護し、かつ／または画像飽和を回避するために、低減される必要がある。
【００６３】
［００６３］
かかる仮想巡回の効率的な実施は、撮影用カメラの視野とＩＲ照射器の拡散角度の同期的変更を必要とする。カメラの視野とＩＲ照射器の拡散角度を同期させることによって、照射器ビーム全体の強度の焦点を対象領域の関連部分に当てることが可能になる。一例を図６に示す。ボアサイトカメラの視野内を飛ぶ、６０１から６０５で指定する照射ビームスポットは、動的に、カメラレンズズーム機構と同調して、対象領域内の様々な重要地点を有効に見るように変化する。
【００６４】
［００６４］
システムには、図１に示す検出システム１６０など、対象領域のインテリジェントな走査を可能にする検出システムが含まれ得る。例えば、走査熱撮像器や対人レーダのような広域検出システムが使用され得る。また、（独立に配置され、またはフェンス上に取り付けられる）近接検出センサを備えるセキュリティシステムが使用されてもよい。検出システム１６０は、検出位置を制御コンピュータ１５０に送ることができる。次いで、制御コンピュータは、関心領域からのライブビデオ画像を取り込むようにカメラ視野と照射ビームを誘導することができる。
【００６５】
［００６５］
例えば、検出システム１６０は、対象領域内に位置する一連のセンサを備える警報システムとすることができる。対象領域内の各センサの位置は、システムのセットアップ時に設定される。制御コンピュータ１５０は、センサから警報信号を受け取ることができ、この信号は、視野を自動的にセンサの方向に向けさせ、レンズズーム値に、潜在的脅威の推定位置を包含させることができる。視野が警報の正確な位置に変化し得る能力は、センサの機能に左右される。例えば、フェンスセンサが、高ズームで、５０メートルのフェンスラインに沿った位置を提供する場合、システムは、実際の目標を見るためにパンすることが必要になり得る。
【００６６】
［００６６］
対象領域を走査する別の方法は、対象領域内の動きおよび／または変化の検出と、かかる活動（動く対象、場面に追加された新しい対象、場面から除去された対象）が検出される領域の連続的探査に基づくものである。動く対象、追加対象または除去対象は、後続の走査で作成される全対象領域のモザイク画像の画像処理相関と照合を介して、制御コンピュータ１５０のビデオ動き／変化検出モジュール１５７によって自動的に検出され得る。関心領域の自動検出を用いれば、制御コンピュータ１５０は、カメラを、これらの領域からのライブビデオ画像の取り込みにより多くの時間を費やすように制御することができる。よって、かかる関心地点の再訪時間は、大幅に短縮される。
【００６７】
［００６７］
対象領域の走査時間を短縮させる別の方法は、カメラのパン、チルト角度によって指定される、カメラの対象領域内の各地点に、カメラまでの所与の距離が割り当てられ得ることに関連するものである。照射ビームの強度は（第１次近似では）距離の二乗に反比例する。よって、ビームの拡散角度と誘導されるカメラの視野（有界長方形）は、走査プロセスの間動的に変化して、カメラにより近い領域では、照射ビームが比例的に拡大される。これを図７に概略的に示す。円７０１は、カメラに近い領域における照射ビームである。円７０２はより離れた場所のビームを表し、円７０３は、有用な夜間画像を可能にする対象領域内の最も遠い領域に関連するものである。また、制御コンピュータ１５０は、所与のフレーム内の平均強度または内容情報を測定することによって、ビーム拡散角度と誘導されるカメラの視野を自動的に調整してもよく、これは、対象領域の走査時間を短縮することができる。
【００６８】
［００６８］
カメラの対象領域の走査中、いくつかの領域が、別の人口または自然の光源によって照射されてもよい。システムがこれらの領域を走査するとき、制御コンピュータ１５０は、照射ビームをスイッチオフし、カメラの視野をその可能な最高値に動かしてもよい。これらの方法の任意の１つまたは組み合わせを使って、システム１００により、対象領域の走査が実施され得る。
【００６９】
背景画像の生成
［００６９］
図８に、対象領域の背景画像を生成する例示的方法５０２を示す。システムが複数のカメラを有する場合、各カメラごとの背景画像が生成され得る。背景画像は、制御コンピュータ１５０の背景画像エンジン１５８によって同期エンジン生成され得る。
【００７０】
［００７０］
ブロック８０２で、それぞれがカメラの対象領域の一部に対応するサブ画像が取り込まれる。これらのサブ画像は、カメラ２０２が対象領域を順次走査することによって取り込まれ得る。対象領域のサブ画像は、好ましくは、生成されるサブ画像の可能な最高の解像度と品質を達成するように、カメラを最大倍率に設定して、白昼に取り込まれる。また、対象領域画像は、より低い解像度オプションを使って取り込まれてもよい。例えば、一実施形態では、単一の広視野画像が取り込まれ、カメラの対象領域を表す背景画像として使用される。カメラがアナログである場合、取り込みサブ画像は、デジタル画像に変換される。取り込みサブ画像は、制御コンピュータ１５０のメモリ１５４に格納されてもよい。各サブ画像は、パン／チルト値などの位置情報や、関連付けられるズーム情報などを有していてもよい。
【００７１】
［００７１］
一実施形態では、走査プロセスは、連続するサブ画像フレーム間で若干のオーバーラップ（通常、フレームサイズの１／３）が生じるように行われる。図９に示すように、第１の順次走査は、例えば、複数の連続する垂直スライスによって生成されてもよい。様々な走査パターンを使って、対象領域内の各位置における複数のサブ画像が取り込まれ得る。例えば、初期走査が垂直走査パターンを使って行われる場合、第２の走査は、図１０に示すような水平パターン、または対象領域を連続してカバーする他の任意のパターンを使用することができる。複数の走査パターンを使って、対象領域のよりよい全体解像度と、連続フレーム間のよりよい色調整（境界現象の除去）が達成され得る。走査パターンのパターン数と指定は、特定の監視システム要件、時間制限、他のリソース、およびユーザの必要に合わせて調整され得る。
【００７２】
［００７２］
ブロック８０４で、個々のサブ画像が処理される。一実施形態では、個々のサブ画像は、サブ画像から動く対象を除去するように処理される。例えば、人間、車、鳥などの動く対象が、複数の走査の単一のサブ画像またはごく少数のサブ画像に取り込まれてもよい。動く対象は、異なる走査で取り込まれる各サブ画像内の画素の画素値を比較することによって除去され得る。所与の画素は、ある１時点においてのみ動く対象でカバーされるが、大半は「背景値」を示し得る。また、「走査平均」画素を使用すれば、ただ１回の走査だけが使用された場合には全背景画像の少なからぬ歪みを生じ得るはずの、球面などのレンズの歪みも低減され得る。
【００７３】
［００７３］
図８に戻って、領域を走査すると、ブロック８０６で、背景画像エンジン１５８は、連続するサブ画像フレームを整合させて、カメラの対象領域の合成画像を生成する。また、ライブ画像と背景画像を相関させる前述の方法は、取り込みサブ画像を整合させて合成背景画像にするのにも使用され得る。例えば、パン／チルトユニット１０４上のセンサ１０９からのパン値およびチルト値と、カメラ２０２と関連付けられたズームセンサからのズーム値が各サブ画像と関連付けられてもよい。これらのパン値、チルト値、およびズーム値を使って、各サブ画像を合成背景画像内に配置することができる。システムは、合成背景画像内の各サブ画像の位置を決定するのに使用され得るＩＲ位置センサを含んでいてもよい。
【００７４】
［００７４］
別の実施形態では、ブロック照合法やオプティカルフロー法といった画像処理方法を使って、取り込みサブ画像を整合させて合成画像にすることもできる。上記その他の適切な方法の任意の１つまたは組み合わせを使って、複数の取り込みサブ画像から合成背景画像が生成され得る。例えば、まず、パン値、チルト値およびズーム値を使って、サブ画像が大ざっぱに正しい位置に配置され、次いで、画像処理技術を使って、合成画像がさらに洗練されてもよい。
【００７５】
［００７５］
ブロック８０８で、合成画像はさらに処理される。例えば、合成画像上で均一な色と輝度を提供するために、合成画像上で色相関と輝度相関が行われ得る。また、合成画像上で前述のレンズ歪み除去が行われてもよい。
【００７６】
［００７６］
ブロック８１０で、自動プロセスによって生じる幾何学的誤差などを補正するために、合成背景画像の手作業による検査が行われ得る。手作業による検査は、ユーザがユーザインターフェースと対話することによって行われる。実施形態によっては、この手作業の検査が行われないものもある。
【００７７】
［００７７］
ブロック８１２で、対象領域を走査し、ＩＲフィルタを使用するカメラで画像を取り込むことによって別の合成画像が生成される。ＩＲフィルタは、照射器のスペクトルと同様の分光透過を有していてもよい。代替として、このプロセスは、夜間、照射器がオンであるときに、ＩＲフィルタありまたはなしで行うこともできる。生成される対象領域のＩＲ合成画像は、ライブビデオが、特徴照合によって背景画像と関連付けられるときに必要とされ得る。ライブビデオ夜間画像とＩＲ背景画像の間の相関は、対象と地形から反射される光強度が波長依存であることにより、広帯域スペクトルの背景画像との相関よりよくなると期待される。よって、ＩＲコントラストは、可視の広帯域コントラスとは大幅に異なり得る。また、背景ＩＲ画像も、ライブビデオ画像と関連付けられ、よって、背景画像の提示に使用され得る。実施形態によっては、合成ＩＲ画像が生成されないものもある。
【００７８】
［００７８］
ブロック８１４で、カラー背景画像とＩＲ背景画像が相互に関連付けられる。この相関は、自動、手動またはその両方で行われ得る。
【００７９】
［００７９］
前述の背景画像作成方法は、設置時に一度だけ行われてもよく、カメラの対象領域内で大きな変更が生じるたびに行われてもよい。カメラが新しい位置に移動されるたびに、このプロセスが反復されるべきことは言うまでもない。この手順は、昼間でも、夜間でも行われ得る。最後の事例では、ＩＲ画像生成のために、照射器のスイッチがオンにされている必要がある。また、この手順は、倉庫、駐車場などのような動的環境では、規則的に反復されてもよい。
【００８０】
［００８０］
対象領域の背景画像を生成する別の方法は、当該領域のコンピュータによる３次元モデルの作成を利用するものである。かかるモデルは、この領域の衛星画像と、地形および建物建築のデータを組み合わせて生成され得る。２次元衛星画像が、現実的なテクスチャを有する３次元モデルに変換される。３次元モデルを有し、監視カメラの設置位置が分かっていれば、カメラの視点上に３次元モデルをレンダリングすることによって、各カメラの対象領域の背景画像の作成が可能になる。レンダリングプロセスは、基本的に、仮想カメラ焦点面上に３次元モデルを結像するものであり、最新のグラフィックカードの１つと、市販のソフトウェアグラフィックレンダリングエンジンを備える標準的なパーソナルコンピュータを使って実施され得る。
【００８１】
［００８１］
後者の方法は、所与の領域内のあらゆる地点からの視野画像の自動生成を可能にし、前者の方法は、幾何学的にも、テクスチャにおいてもはるかに正確な画像を生成する。
【００８２】
総論
［００８２］
本発明の、好ましい実施形態を含む、各実施形態の以上の説明は、例示と説明のために示しているにすぎず、網羅的であることも、本発明を開示通りの形に限定することも意図されていない。当分野の技術者には、本発明の精神と範囲を逸脱することなく、本発明の多数の変更と適応が明らかになるであろう。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施形態による監視システムを示すブロック図である。
【図２】本発明の一実施形態による監視システムのカメラユニットと照射ユニットを示すブロック図である。
【図３】本発明の一実施形態による例示的ユーザインターフェースを示す図である。
【図４】本発明の別の実施形態のユーザインターフェースの一部を示す図である。
【図５】本発明の一実施形態による例示的な夜間監視の例示的方法を示す流れ図である。
【図６】本発明の一実施形態による照射ビームスポットのサイズの変化を示す図である。
【図７】本発明の一実施形態によるカメラの対象領域内の様々な照射ビームスポットの例を示す図である。
【図８】本発明の一実施形態による背景画像を生成する例示的方法を示す流れ図である。
【図９】本発明の一実施形態による背景画像の作成で使用され得る走査パターンを示す図である。
【図１０】本発明の一実施形態による背景画像の作成で使用され得る別の走査パターンを示す図である。
【図１１】本発明の一実施形態による安全方法を示す図である。
【図１】
2008527806.tif 000003
【図２】
2008527806.tif 000004
【図３】
2008527806.tif 000005
【図４】
2008527806.tif 000006
【図５】
2008527806.tif 000007
【図６】
2008527806.tif 000008
【図７】
2008527806.tif 000009
【図８】
2008527806.tif 000010
【図９】
2008527806.tif 000011
【図１０】
2008527806.tif 000012
【図１１】
2008527806.tif 000013
【国際調査報告】
2008527806.tif 000014
2008527806.tif 000015
2008527806.tif 000016
2008527806.tif 000017
2008527806.tif 000018
2008527806.tif 000019