(57)【要約】  自動化されたインテリジェントな監視システムは、パノラマ視野を空間的にマッピングし、観察するための１つ又は複数の固定基準カメラ、並びに、パン、チルト及びズームで制御される可動の狭視野高分解能カメラ、及び計算装置を備える。計算装置は、パノラマ視野内のどこからでも受け取られる基準画像を解析し、物体の特定のタイプ、又は物体の特定の挙動があることを識別することができる。計算装置はこの解析の結果を用いて、空間マップの適切な領域に可動カメラを指し向けて、関心の選択された物体又は事象の１つ若しくは複数のクローズアップ画像を収集するようズームインさせる。前述の画像は、計算装置内の高速ランダム・アクセス記憶装置において、関連した広角基準画像と同期化されて記録される。関心の物体又は事象として物体又は事象を規定するパラメータは、予め設定しても、ユーザが選択しても、計算装置によって適応的に学習してもよい。【特許請求の範囲】
【請求項１】
固定基準画像収集器（限定されないがCCTVカメラなど）からの広角データを用いて、仮想マップの電子画像の形式における観察点を取り巻く、360度全部、又はその一部のパノラマ展望をマッピングする監視装置。
【請求項２】
計算装置が、領域の電子仮想マップの内容をインテリジェントに解析して、特定の所定選択基準を満たすことによって示される関心物体又は関心事象を表す画像部分を識別する監視装置。
【請求項３】
所定選択基準を満たす画像データの受け取りに応答して、計算装置が、可動の高分解能狭視野カメラを適切な座標若しくは適切なズーム角度、又は両方に指し向けて、選択された物体又は事象の詳細な画像を捕捉する監視装置。
【請求項４】
請求項１乃至３の何れか一項に記載の監視装置であって、固定基準画像収集器（CCTVカメラなどであるが、これに限定されない）からの広角事象データ、及び高分解能のパン、チルト及びズーム（PTZ）カメラからの高分解能識別データが同時に自動的かつインテリジェントに捕捉され、このデータの記録が、事象の画像の捕捉及び位置特定の時点について厳密に関係付けられ、識別される監視装置。
【請求項５】
請求項１記載の装置であって、デカルト若しくは極又はその他であり得る座標基準系が計算装置内の前記画像上にスーパインポーズされる装置。
【請求項６】
請求項１記載の装置であって、例えば、別々の電磁スペクトル部分において動作するセンサなどの、別の、又は複数のセンサを情報源として用いて、関心物体又は関心事象の識別又は記録を拡充する装置。
【請求項７】
請求項１記載の装置であって、基準画像収集器は、その視野が、球状のモザイク、又はそのモザイク部分集合を形成するように構成される装置。
【請求項８】
請求項７記載の装置であって、モザイク要素の重なりが生じる領域の画像を除去又は補正するようにする装置。
【請求項９】
請求項２記載の監視装置であって、前記選択基準の決定規準が、前記計算装置によって適応的に学習される監視装置。
【請求項１０】
請求項２記載の装置であって、決定規準が、同時に生起する2つ以上の事象の巡回的なクローズアップ観察を可能にするか、若しくは、後のレビューのために、適切な基準カメラ画像の適切な記憶を制御するか、又は両方を行うよう可動カメラの移動を制御する装置。
【請求項１１】
請求項１０記載の装置であって、観察サイクルの制御自体は、関心がより大きな事象のより多い又は良好な画像を得るように前記コンピュータ装置の決定規準の対象となる装置。
【請求項１２】
請求項１乃至１１の何れか一項に記載の装置であって、全面的に外部の情報に応じてか、又は、自己準拠性情報（例えば、「オートズーム」機能を含む）に応じてか、若しくはこれらの２つの組み合わせに応じて、パンあるいはチルトあるいはズーム、又はこれらの何れか若しくは全てにおいて制御される装置。
【請求項１３】
請求項１乃至１２の何れか一項に記載の装置であって、計算装置は、日時、広角基準画像、及び事象に関係する個人の識別に十分な高分解能クローズアップ画像の全て又は一部を含む、関心物体又は関心事象の同時の証拠記録を作成する装置。
【請求項１４】
請求項１乃至１３の何れか一項に記載の装置であって、１つ又は複数の情報源が、関心物体又は関心事象の識別又は記録を拡充するよう阻止又はフィルタリングされる装置。
【請求項１５】
請求項１乃至１４の何れか一項に記載の装置であって、視差効果が、可動カメラの、基準カメラに対する適切な位置によって除去されるか、又は最小にされる装置。
【請求項１６】
請求項１乃至１５の何れか一項に記載の装置であって、現場での手作業の校正によって、重なりの誤差、視差誤差やその他によって生じる、電子マップ上の特定の点との、可動カメラのアラインメントにおける差異を解消するようにする装置。
【請求項１７】
請求項１乃至１６の何れか一項に記載の装置であって、計算装置は、可動カメラから、かつ、前記基準カメラから受け取られたデータを解析する装置。
【請求項１８】
請求項１乃至１７の何れか一項に記載の装置であって、決定規準が、予測的な要素を含む装置。
【請求項１９】
請求項１乃至１８の何れか一項に記載の装置であって、決定規準が、事象の当初の識別を引き起こす装置。
【請求項２０】
請求項１乃至１９の何れか一項に記載の装置であって、決定規準が、進行中の事象を追跡するための規準を規定する装置。
【請求項２１】
請求項１乃至２０の何れか一項に記載の装置であって、外部警告システムを例えば、人間の操作者に提供するか、又は、事象の生起が識別される時点などの時点において監視するための監視手段を備えた装置。
【請求項２２】
請求項１乃至２１の何れか一項に記載の装置であって、基準カメラ及び可動カメラについて記録された画像が互いに正確に同期化され、日時が計られることを確実にする手段を備える装置。
【請求項２３】
特定の領域の監視を行う方法であって、
a.  空間的に固定された複数の画像収集装置（例えば、カメラ）によって規定又は調査された空間の連続した電子基準画像を体系的に収集する工程、
b.  前記収集された画像から、関心領域のモザイク化された仮想マップを作成し、空間座標系をこのマップに施す工程、
c.  関連した日時データとともに前記基準画像全てを記録し、記憶する工程、
d.  所定の、又は適応的な決定規準によって上記基準画像をリアルタイムに解析して、特定の挙動パターンを表す特定の物体タイプの生起として規定される「事象」を識別する工程、
e.  「事象」が識別された時点などの時点で警告を与える工程、
f.  適切なデータを前記画像から自動的に抽出し、解析し、選択して、（適切に規定された座標系によって）前記空間内で「事象」全てを識別し、位置特定する工程、
g.  識別された場所、及びそこで生起する事象の更なる拡充画像を更なる可動カメラによって自動的に収集する工程、
h.  前記拡充画像を記録し、記憶し、前記画像を、収集された元の画像の完全な記録、並びに、生起の時点、及び、記録カメラの場所に関するデータと同期化させる工程、並びに、
i.  記憶された同期化画像を索引付け、前記同期化画像への高速アクセスを提供して、識別された特定の事象、又は、特定の時点における生起の画像の容易な取り出しを可能にし、法廷において用いるために、記録の認可された真の複製を作成する工程の、自動化人工知能工程の全て又は一部を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
監視目的で移動をパン、チルト及びズーム（「PTZ」）で制御可能であり得る可動カメラの方向及びズームを制御するために１つ又は複数の基準カメラを用いることが知られている。
【背景技術】
【０００２】
「監視装置」と題する国際公開第2004／042667号明細書には、前述の装置が開示されている。
【０００３】
本発明は、前述の制御をインテリジェントにかつ自動的に行うことを可能にして、高品質の監査可能データを取得し、前述のデータを、法廷における、事象の証拠及び識別の証拠として首尾良く用いることを可能にするように連係され、適切なタンパリング耐性を有するように前述のデータを記録する装置及び特にその操作方法を備える。
【０００４】
前述の要件の本質は、広角事象データ及び高分解能識別データが、自動的にかつインテリジェントに同時に捕捉され、このデータの記録が、事象の画像捕捉及び位置特定の時点に関して厳密に関係付けられ、識別される。
【０００５】
本発明の装置は、国際公開第2004/042667号パンフレットによる装置であり得るが、必ずしもそうでなくてよい。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、
a.  観察点を取り囲む完全な３６０度、又はその一部のパノラマ展望を仮想マップの電子画像の形態においてマッピングする手段と、
b.  その画像の内容をインテリジェントに解析する手段と、
c.  関心に値すると考えられるある程度の活動があること（又は活動がないこと）を受信画像データが示した場合に、予め設定されるか、又は適応的に学習される決定規準に基づいて、可動高分解能の狭視野カメラを適当な座標に向ける手段とを提供する。
【課題を解決するための手段】
【０００７】
可動カメラは、空間的にパン及びチルト（極座標では、方位角及び仰角に等しい）において、かつ、更にズームにおいて制御することができる。この制御は、完全に外部の情報に応じて行ってもよく、自己準拠性情報（例えば、「オートズーム」機能を含む）に応じて行ってもよく、２つの組み合わせに応じて行ってもよい。
【０００８】
本発明は、よって、
a.  固定の基準カメラによる空間マッピング、及びこのマップの、明確な座標系への校正、
b.  マッピングされた領域内で生起している特定の事象の識別及び位置特定、
c.  事象の、拡充された観察を可能にするための、事象及びそれを位置特定する座標に対するPTZカメラの制御、並びに、
d.  事象の日時、及び広角基準画像、並びに、事象に関係している個人の識別に十分な高分解能クローズアップ画像を含む、事象の証拠記録の作成の、単一の発明に一体化される４つの主構成要素を備える。
【発明を実施するための最良の形態】
【０００９】
［実施例］
仮想マップの作成及び監視
基準画像収集器（通常、CCTVカメラであり、以降、一般に「カメラ」として表す）は、球状のモザイク、又はそのモザイク部分集合をその視野が形成するように構成される。通常、この部分集合は、画像の水平方向の円状、又は一部、円状の帯域である。通常、この帯域は、地上の障害物を超えた所まで光学又は準光学「照準線」視野を増大させるために、かつ、前述の視野を、（例えば、視野の最上部エッジが自然の地平線の直ぐ下にある状態で）地平線の下に押し下げて、地面上又は地面近くの空間及び活動をマッピングするように、かなり高い所に通常搭載されるカメラからの画像を備える。
【００１０】
基準カメラは、この合成パノラマ展望全体を連続して監視する。このパノラマ展望をデータ形式にレンダリングすることによって、シーンの仮想マップが作成される。このマップに座標基準系を施す種々の手段は当業者に知られている。既知の固定点にあるパン・アンド・チルト・カメラを制御する目的で、局座標が好都合であり得る。
【００１１】
センサ構成
一般に、基準カメラは、空間的に固定され（しかし、例えば地平線に対する異なる俯角を可能にするよう、予め設定された他の配列に調節するようにすることができる）、その視野間の重なりを最小にして配置することができる。
【００１２】
更なるデータ形式のセンサ（例えば、ｅ-mスペクトルの他の帯域からの撮像など）や、音響情報によって基準カメラ・データを拡充するようにすることができる。逆に、e-mスペクトルの特定の帯域を除去して、特定の対象に焦点を当てるか、又は、特定の現象（火、煙等など）の認識を支援することができる。
【００１３】
画像の重なり
モザイクには、視野のエッジにおいて重なりが生じる。これは、この重なり領域が、２つのカメラによって監視されることを意味する。画像データを収集するセンサ・アレイが平面である場合、重なり領域から受信される２つの画像は異なる。一方には右「エッジ誤差」が生じ、他方には左「エッジ誤差」が生じる。これらはよって、適切な座標を同様に表す訳でない。
【００１４】
これは、特定点のマッピング位置におけるあいまいさをもたらす。このあいまいさは、種々の手段によって処理するか、又は除去することができる。重なり領域、又は少なくともその大部分を「マスクする」（すなわち、重なり領域、又は少なくともその大部分から受け取ったデータを廃棄する）ための手段を提供することができる。各点はその場合、一意の位置基準を空間マップ上に有する。あるいは、画像データの収集に用いるセンサ・アレイは、中心がレンズの中心にある球の表面上にあるよう配置することができる。前述の配置では、重なり領域から受け取られた画像は、直交かつ同一になり、あいまいさは生じない。あるいは、エッジ誤差が生じる画像領域では、適切な数学的変換をデータに施すことによって直交形式に変換することができる。あるいは、特定の平均化形式を、あいまいな領域からのデータに用いることができる。
【００１５】
視差及び校正
モザイク視野全体をカバーする一体的な座標系を作成すると、PTZカメラは次いで、その座標グリッド上の何れの点にも向けることが可能である。PTZのパン回転の中央が、基準カメラのリングの中心と同じ位置に配置された場合、グリッド上の位置の方位角の測定値は理論的に正確であり得る。これは、全てのカメラの照準線が、共通の垂直軸に対して放射方向に延びているからである。方位角における視差はよって、無視できるよう構成することができる。
【００１６】
しかし、その場合、PTZカメラ及び基準カメラが同じ平面を占めることは不可能であるため、仰角の測定は必然的に、視差効果を受けるので、カメラとの距離が異なる物体は、異なる視差誤差を有する。よって、PTZカメラ・アラインメントを基準モザイクと同期化させて前述の誤差を最小にする校正手段が必要である。
【００１７】
基本的に、これらは何れも、絶対的に（すなわち、地平線及び羅針盤に対して）校正することが可能である。これは、両方が同じ仰角設定を使用することにつながり、それらの照準器はよって平行になる。すなわち、仰角における視差収束はなく、PTZカメラは常に、基準カメラの視野より上の同じ高さの点上でアラインされることになる。PTZカメラがその上に搭載されるからである。動くカメラと基準カメラとのこの垂直方向の間隔は十分に小さい場合、観察される事象における照準器のミスアラインの量の観点では、その重要度は無視できる。
【００１８】
あるいは、人間の操作者が、固定基準カメラ上、及び可動カメラ上で監視されるいくつかの固定点を識別し、これらが同じ点であり、仮想マップ上のそれらの座標が同じであり、互いにロックされるはずであることをデータ解析システムに確認することによって校正することができる。
【００１９】
どの校正手法を選んでも、校正の結果は、システム内に永久に埋め込まれ、システムを設置する対象の場所に係わらず、一定の状態に留まり得る。あるいは、システムは、特定の場所におけるシステムの設置に続き、人間の操作者によって校正を行うことが可能である（か、又は、行わなければならない）ように設計することができる。
【００２０】
データ解析
基準画像のパノラマ・モザイク全体からのデータの、連続的な解析（通常、画素解析であるが、必ずしも画素解析でない）を行って、適切な決定規準に基づいて規定される、関心の事象を識別する。可動カメラから受け取られたデータにも、前述の解析を施すことができる。前述の画像データ解析に施す対象の多くの既知のインテリジェント・アルゴリズムが存在していることが当業者に明らかになるであろう。ニューラル・ネットワーキング手法も前述の解析に用いることができる。
【００２１】
関心の事象を規定するための決定規準として用いることができる物体の画像に関する特定のデータは、サイズ、形状、色、場所、移動速度、加速度、以上の何れかに対する変更、及び、前述の変更がたどる時間パターン又は空間パターンを含むが、これらに限定されない。
【００２２】
決定規準は、予測的な要素も含み得るものであり、外部的に施され、恒久的であるか、又は観察される事象に関する蓄積データに応答して適応的に変わり得る。これは、事象の当初の識別を引き起こすか、又は、進行中の事象を追跡するための規則を定義することができる。例えば、人間の操作者に向けて外部警告システムを提供するか、又は、事象の生起が識別されるような時点において監視するための警告システムを提供する警告手段を提供することができる。
【００２３】
特定の環境に適切な特定の決定規準組を検出プロファイルとして定義し、記憶することができるので、適切なプロファイルを容易に選択し、特定の環境における利用に施すことが可能である。
【００２４】
複数の事象
特定時点において、関心の事象が２つ以上生起する場合、データ解析は、これら全てを識別する。したがって、
a.  将来の参照のために前述の複数の識別情報を記録し、かつ／又は、
b.  巡回的にそれら全てを観察するよう可動カメラを制御するための手段を提供することができる。
【００２５】
前述の複数の事象が観察された場合、基準カメラによって受け取られる画像データの解析に施される優先度決定規準をこの観察サイクルに施して、より関心の少ない事象を犠牲にして、関心がより大きいとして評価される事象の一部からの高分解能データの収集に可動カメラを部分的又は全体的に集束させることができる。
【００２６】
データの記憶及び提示
基準カメラからのデータ、及び可動カメラからのデータは一般に、一連の画像として記憶される。これは、必要な場合、リアルタイムで視ることができる。しかし、記録目的で、かつ、人間の操作者による解釈のために必要でない限り、視ることが可能な形式で画像をレンダリングする必要はない。視聴可能な画像は基本的には、記録されたモザイク全体の何れかの部分のものであり得る。
【００２７】
索引付け及び取り出しに適切な手段を提供する。これは、可動カメラからの特定の画像を、基準カメラからの同じ事象の画像に直接関係付けることが可能であり、事象の日時を高精度で判定することが可能であることを確実にするよう基準カメラの記録及び可動カメラの記録が同期化されることを確実にする手段を含む。
【００２８】
本発明の概要
この概要は、本発明が包含する主要な特徴を大まかに表す。しかし、上記説明から、本発明が、種々の詳細な特徴も有し、種々のやり方で実施することができることが以上の説明から明らかになる。特定の実施例は、本明細書及び特許請求の範囲記載の特徴全てを含んでいないことがあり得るものであり、必ずしも本明細書及び特許請求の範囲記載の特徴全てを含んでいなくてよい。
【００２９】
方法（又は、前述の方法によって実質的に動作する装置）は、
a.  空間的に固定された画像収集装置（例えば、カメラ）によって規定又は調査された空間の連続した電子基準画像を体系的に収集する工程（手段）と、
b.  上記収集された画像から、関心領域のモザイク化された仮想マップを作成し、空間座標系をこのマップに施す工程（手段）と、
c.  関連した日時データとともに上記基準画像全てを記録し、記憶する工程（手段）と、
d.  所定の、又は適応的な決定規準によって上記基準画像をリアルタイムに解析して、特定の挙動パターンを表す特定の物体タイプの生起として規定される「事象」を識別する工程（手段）と、
e.  「事象」が識別された時点などの時点で警告を与える工程（手段）と、
f.  適切なデータを前述の画像から自動的に抽出し、解析し、選択して、（適切に規定された座標系によって）上記空間内で「事象」全てを識別し、位置特定する工程（手段）と、
g.  識別された場所、及び、そこで生起する事象の拡充された更なる画像を更なる可動カメラによって自動的に収集する工程（手段）と、
h.  拡充された前述の画像を記録し、記憶し、前述の画像を、収集された元の画像の完全な記録、並びに、生起の時点、及び、記録カメラの場所に関するデータと同期化させる工程（手段）と、
i.  記憶された同期化画像を索引付け、上記同期化画像への高速アクセスを提供して、識別された特定の事象、又は、特定の時点における生起の画像の容易な取り出しを可能にし、法廷において用いるために、上記記録の認可された真の複製を作成する工程（手段）とを備える。
【国際調査報告】
2008538474.tif 000002
2008538474.tif 000003
2008538474.tif 000004