(57)【要約】【課題】２次元画像データを３Ｄ高密度レンジマップに変換するためのシステムおよび方法を提供する。【解決手段】ビデオ監視システム１０は、少なくとも１つの関心領域から画像を獲得するように適合されたイメージセンサ１２、１４、１６、４０、画像フレーム５６、７４内でイメージセンサから獲得された画像を表示するためのグラフィカルユーザーインタフェース２４、６８、および、画像フレーム内の１つまたは複数の対象４６のジオロケーションを決定するためのプロセッサ２０を含むことができる。プロセッサは、イメージセンサから受信された２次元データ５４を、画像フレーム内の１つまたは複数の対象の物理的特徴を含む３Ｄレンジマップ５２に変換するように適合された、アルゴリズムまたはルーチン２２を実行するように構成される。【選択図】図１
2006302284.tif 000002
【特許請求の範囲】
【請求項１】
画像フレーム（５６、７４）をイメージセンサ（１２、１４、１６、４０）から獲得する（２８）ステップと、
少なくとも１つの関心領域を前記画像フレーム内で選択するステップ（３０）と、
各選択された関心領域内の３つ以上の参照点（Ｒ１、Ｒ２、Ｒ３、Ｒ４）のジオロケーションを決定するステップと、
各選択された関心領域からの２Ｄ画像ドメインデータ（５４）を、前記画像フレーム内の１つまたは複数の対象（４６）の物理的特徴を含む３Ｄ高密度レンジマップ（５２）に変換するステップ（５０）と、
を備える２次元画像ドメインデータを３Ｄ高密度レンジマップに変換する方法。
【請求項２】
画像フレーム（５６、７４）をイメージセンサ（１２、１４、１６、４０）から獲得する（２８）ステップと、
３Ｄ座標系を前記イメージセンサのために確立するステップ（３２）と、
少なくとも１つの関心領域を前記画像フレーム内で手動で分割し、グラフィカルユーザーインタフェース（２４、６８）を使用して、その中で多角形ゾーン（３６、１０２）を定義するステップと、
各分割された関心領域内の３つ以上の参照点（Ｒ１、Ｒ２、Ｒ３、Ｒ４）のジオロケーションを決定するステップと、
各選択された関心領域からの２Ｄ画像ドメインデータ（５４）を、前記画像フレーム内の１つまたは複数の対象（４６）の物理的特徴を含む３Ｄ高密度レンジマップ（５２）に変換するステップ（５０）と、
前記画像フレーム内で定義された各関心領域からの１つまたは複数の物理的特徴を含む、特徴ベクトルを計算するステップ（６２）と、
前記イメージセンサ（１２、１４、１６、４０）からのいくつかの連続画像フレーム（５６、７４）を解析し、各連続画像フレーム（５６、７４）内の１つまたは複数の対象（４６）のジオロケーションを決定するステップ（４４）と、
前記３Ｄ高密度レンジマップ（５２）を、各連続画像フレーム（５６、７４）からの前記１つまたは複数の物理的特徴により、動的に更新するステップ（６６）と、
を備える２次元画像ドメインデータを３Ｄ高密度レンジマップに変換する方法。
【請求項３】
少なくとも１つの関心領域を含む画像を獲得するように適合されたイメージセンサ（１２、１４、１６、４０）と、
画像フレーム（５６、７４）内で前記イメージセンサ（１２、１４、１６、４０）から獲得された画像を表示するためのグラフィカルユーザーインタフェース（２４、６８）と、
前記画像フレーム内の１つまたは複数の対象（４６）のジオロケーションを決定する（４４）ための処理装置（２０）と、を備え、
前記処理装置は、前記イメージセンサから受信された２次元画像データ（５４）を、前記画像フレーム内の１つまたは複数の対象の物理的特徴を含む３Ｄ高密度レンジマップ（５２）に変換する（５０）ように適合された、アルゴリズムまたはルーチン（２２）を実行するように構成される、
ビデオ監視システム（１０）。
【請求項４】
前記アルゴリズムまたはルーチンは、
各選択された関心領域内の１つまたは複数の対象（４６）のジオロケーションを決定し（４４）、
前記画像フレーム（５６、７４）内の各対象（４６）からの１つまたは複数の物理的特徴を含む、特徴ベクトルを計算し（６２）、および
前記特徴ベクトルの１つまたは複数のパラメータ（６０）を含む応答をユーザーに出力する（６４）ように適合される、請求項３に記載のビデオ監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にビデオ画像処理、ならびに、コンテキストベースのシーン理解および行動分析の分野に関する。具体的には、本発明は、２次元画像ドメインデータを３Ｄ高密度レンジマップに変換するためのシステムおよび方法に関する。
【背景技術】
【０００２】
ビデオ監視システムは様々な応用例において、環境内の対象を検出および監視するために使用される。セキュリティの応用例では、例えば、このようなシステムは時として、ビル施設またはセキュリティゲートに出入りする個人または車両を検出および追跡するため、または、店、オフィスビル、病院、もしくは、他のこのような、占有者の健康および／または安全性が懸念される場合のある設定内で個人を監視するために使用される。航空産業では、例えば、このようなシステムは、空港内の重要な場所、セキュリティゲートまたは駐車場などで、個人の存在を検出するために使用されてきた。
【０００３】
ビデオ画像のシーン理解（ＳＵ）および／または行動分析を実行するために十分なデジタル画像処理の自動化は通常、１つまたは複数のビデオカメラから獲得された画像を比較し、次いでこれらの画像を、特定の関心領域を表現する前もって格納された参照モデルと比較することによって、実施される。ある応用例では、例えば、複数のビデオカメラからのシーン画像が得られ、次いで、関心領域のためのピクセル座標を含む、前もって格納されたＣＡＤサイトモデルまたはマップに対して比較される。前もって格納されたサイトモデルまたはマップを使用して、モーションディテクション、モーショントラッキング、および／または、対象分類／シーン理解などのイベントが、いずれかの特定の領域内でおよび／または複数の領域に渡って移動していた可能性のあるいかなる新しい対象においても、バックグラウンド除去または他の知られる技術を使用して、実行されることが可能である。いくつかの技術では、複数のイメージセンサを使用する立体画像三角測量技術が、関心領域内の対象の場所を計算するために使用されることが可能である。
【０００４】
多数のビデオ画像処理システムにおける１つの固有の問題は、各画像フレーム内のピクセルを現実世界の座標のものと相関させる問題である。ピクセル対応における誤差はしばしば、１つまたは複数のビデオカメラが望ましくない動きにより較正されなくなることに起因する可能性があり、このことはしばしば、モーションディテクション、モーショントラッキングおよび対象分類などの機能を実行するために使用される自動化プロセスを複雑にする。このようなピクセル相関における誤差はまた、対象の行動、および、他の対象とのその相関性など、シーンの力学についての推論にもさらに影響を及ぼす可能性がある。シーン内で静止している対象の動き、ならびに、複数の画像フレームに渡る照明の変化もまた、ある場合においてシステムの性能に影響を及ぼす可能性がある。
【特許文献１】米国出願第１０／９３８，２４４号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、２次元画像ドメインデータを３Ｄ高密度レンジマップに変換するためのシステムおよび方法に関する。
【課題を解決するための手段】
【０００６】
本発明の例示的実施形態による例示的方法は、少なくとも１つの画像フレームをイメージセンサから獲得するステップ、手動および／またはアルゴリズム支援分割を介して、画像の重要な物理的バックグラウンド領域を選択するステップ、各選択された関心領域内の３つ以上の参照点のジオロケーションを決定するステップ、および、各選択された関心領域からの２Ｄ画像ドメインデータを、画像フレーム内の１つまたは複数の対象の物理的特徴を含む３Ｄ高密度レンジマップに変換するステップを含むことができる。手動分割プロセスは、画像フレーム内のいくつかの多角形ゾーンを定義するために実行されることが可能であり、各多角形ゾーンは対応する関心領域を表現する。多角形ゾーンは、例えば、いくつかの参照点を画像フレーム上で、グラフィカルユーザーインタフェースを使用して選択することによって、定義される場合がある。ソフトウェアツールは、画像フレームの選択された物理的領域を手動分割およびラベル付け（例えば、「道路」、「駐車場」、「ビル」など）するためにユーザーを支援するために、利用されることが可能である。
【０００７】
グラフィカルユーザーインタフェースは、ユーザーに、３Ｄ座標系を確立して、画像フレーム内のピクセルのジオロケーションを決定するようにプロンプトを出すように構成されることが可能である。ある実施形態では、例えば、グラフィカルユーザーインタフェースはユーザーに、イメージセンサから、多角形ゾーンの定義において使用された第１および第２の参照点までの間の距離を表現する値を入力するように、および次いで、これらの参照点の間の距離を測定するように、プロンプトを出す場合がある。代替として、および、他の実施形態では、グラフィカルユーザーインタフェースはユーザーに、多角形ゾーンによって定義された平面三角形の第１および第２の参照点までの距離を表現する値を入力するように、および次いで、これらの２つの距離を形成する複数の線の間に含まれた角度を測定するように、プロンプトを出すように、構成されることが可能である。
【０００８】
多角形ゾーンの定義において使用された参照点のための値が入力された後、アルゴリズムまたはルーチンは、最初に２Ｄにおける座標ペアによって表現された参照点のための３Ｄ座標を計算するように、構成されることが可能である。続いて、多角形ゾーン内で入力された２Ｄ画像ドメインデータは、３Ｄ高密度レンジマップへ、補間技術を使用して変換され、補間技術は２Ｄ画像ドメインデータ（すなわち、ピクセル）を３Ｄルックアップテーブルに変換し、画像フレーム内の各ピクセルが、３Ｄ座標系によって定義された現実世界の座標に対応するようにする。その後、同じ手順が、望まれる場合は、ユーザーによって定義された別の多角形ゾーンに適用されることが可能である。画像フレームから得られたピクセル特徴、ならびに、３Ｄルックアップテーブル内に格納されたパラメータを使用して、関心領域内に位置する１つまたは複数の対象の物理的特徴が次いで計算され、ユーザーおよび／または他のアルゴリズムへ出力される場合がある。いくつかの実施形態では、物理的特徴は、各オブジェクトに関連付けられたこれらの特徴、ならびに、画像フレーム内の他のオブジェクトおよび／または静的バックグラウンドに関係する特徴を含む、物理特徴ベクトルとして表現される場合がある。望まれる場合、このアルゴリズムまたはルーチンは、３Ｄルックアップテーブルを、獲得された各連続画像フレームについて、および／または、ユーザーによって定義された各新しい関心領域についての、新しいまたは修正された情報により動的に更新するように構成されることが可能である。
【０００９】
本発明の例示的実施形態による例示的ビデオ監視システムは、少なくとも１つの関心領域を含む画像を獲得するように適合されたイメージセンサ、画像フレーム内でイメージセンサからの画像を表示するための表示手段、および、画像フレーム内の１つまたは複数の対象のジオロケーションを決定するための処理手段を含むことができる。処理手段は、イメージセンサから受信された２次元画像データを、画像フレーム内に位置する１つまたは複数の対象の物理的特徴を含む３Ｄ高密度レンジマップに変換する、アルゴリズムまたはルーチンを実行するように適合された、マイクロプロセッサ／ＣＰＵ、または他の適切なプロセッサを備えることができる。
【発明を実施するための最良の形態】
【００１０】
以下の説明は、図面を参照して読まれるべきであり、異なる図面における類似の要素は類似の方法で付番される。図面は必ずしも拡大縮小するものではなく、選択された実施形態を示し、本発明の範囲を限定するように意図されない。様々なプログラミングおよび動作ステップの実施例が様々な図において例示されるが、提供された実施例の多数が、利用されることが可能である適切な代替物を有することは、当業者には理解されよう。
【００１１】
図１は、本発明の例示的実施形態による、例示的ビデオ監視システム１０を示す概略図である。図１に示されるように、監視システム１０は、いくつかのイメージセンサ１２、１４、１６を含むことができ、各々はコンピュータ１８を介して共にネットワーク化されて、環境内の特定のイベントの発生を検出することが可能である。ある実施形態では、例えば、イメージセンサ１２、１４、１６の各々は、ビルまたは構造物の様々な場所に位置付けられることが可能であり、部屋、廊下、エレベータ、駐車場または他のこのような空間内に位置する個人および／または他の対象を監視するために使用されることが可能である、ビデオ画像を獲得するタスクを課せられることが可能である。使用されるイメージセンサ１２、１４、１６のタイプ（例えば、静止カメラ、パンチルトズーム（ＰＴＺ）カメラ、移動カメラ、赤外線（ＩＲ）など）は、設置場所および／または追跡されるべき対象のタイプに応じて変わる場合がある。「ビデオ」という語は、本明細書で特定のデバイスおよび／または実施例に関して使用されるが、このような語は、イメージセンサによって生成されたいかなる画像をも含むように幅広く解釈されるべきである。企図される他の画像スペクトルの例には、それに限定されないが、近赤外（ＮＩＲ）、中赤外（ＭＩＲ）、長赤外（ＬＩＲ）、および／または、受動もしくは能動ミリ波（ＭＭＷ）が含まれる場合がある。
【００１２】
コンピュータ１８は、１つまたは複数のイメージセンサ１２、１４、１６から受信されたリアルタイム画像を処理して、特定のイベントの発生を検出するように適合された、ソフトウェアおよび／またはハードウェアを含むことができる。ある実施形態では、および、図２に関してさらに後述されるように、マイクロプロセッサ／ＣＰＵ２０は、イメージセンサ１２、１４、１６の１つから画像を獲得し、次いでこのような画像を、ユーザーによってグラフィカルユーザーインタフェース（ＧＵＩ）２４を介して選択された関心領域（ＲＯＩ）に関係する様々なバックグラウンドおよび対象パラメータを含む、３Ｄ高密度レンジマップに変換する、アルゴリズムまたはルーチン２２を実行するように構成されることが可能である。３Ｄ高密度レンジマップは、例えば、特定のシーン（すなわち、ＲＯＩ）の座標を含む３Ｄルックアップテーブル、ならびに、そのシーン内に位置する対象に関係する様々な物理的特徴（例えば、場所、速度、軌道、方向、対象タイプなど）を備える場合がある。３Ｄルックアップテーブルを使用して、コンピュータ１８は次いで、行動分類、対象分類、集中分析、または他のこのような技術を使用して、シーン内のイベントの発生を検出するための、様々な低レベルおよび／または高レベルの処理アルゴリズムまたはルーチンを実行することができる。ある実施形態では、例えば、コンピュータ１８は、参照により全体として本明細書に組み込まれる、「Ｕｎｓｕｐｅｒｖｉｓｅｄ  Ｌｅａｒｎｉｎｇ  Ｏｆ  Ｅｖｅｎｔｓ  Ｉｎ  Ａ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅ（ビデオシーケンスにおけるイベントの管理されない学習）」という名称の米国出願第１０／９３８，２４４号に関して説明されたものに類似の、行動分析エンジンを実行するように構成されることが可能である。いくつかの実施形態では、コンピュータ１８は、プログラムされたイベントのイベントライブラリまたはデータベースを含むことができ、イベントライブラリまたはデータベースは、ビデオ監視システム１０に特定の方法でタスクを課すために、ユーザーによって動的に更新されることが可能である。
【００１３】
図２は、図１の例示的ビデオ監視システム１０を使用して、２次元画像ドメインデータを３Ｄ高密度レンジマップに変換するための、例示的アルゴリズムまたはルーチンを示す流れ図である。このアルゴリズムまたはルーチンは、図２において全体的に参照番号２６によって示され、ブロック２８で、図１の１つまたは複数のイメージセンサ１２、１４、１６を使用した視野内の１つまたは複数の画像フレームの獲得により開始することができる。ある応用例では、例えば、ブロック２８は、イメージセンサのＦＯＶの全体または一部内を移動する個人、自動車または他の対象を追跡することが望まれる、セキュリティゲート、ビルの通路、駐車場、または他の場所に設置された、単一のデジタルビデオカメラからのリアルタイム画像の獲得を表現する場合がある。
【００１４】
１つまたは複数の画像フレームがイメージセンサ１２、１４、１６によって獲得された後、ユーザーは次に、監視システム１０によって監視されるべき少なくとも１つの関心領域に関係する様々なパラメータを入力することができ、これは全体的にブロック３０によって指示される。３Ｄレンジ情報が望まれる、１つまたは複数の関心領域の選択は、画像フレーム上で手動分割プロセスを使用して実施されることが可能であり、コンピュータ１８はユーザーに、グラフィカルユーザーインタフェース２４を使用していくつかの点を手動で選択するようにユーザに指示し、関心の特定領域を輪郭する閉じた多角形構造を定義する。例えば、ある技術では、コンピュータ１８はグラフィカルユーザーインタフェース２４上の少なくとも３つの個別の参照点をユーザに指示し、道路、駐車場、ビルディング、安全ゲート、並木道、空、または他の所望のジオロケーションのような関心の特定の領域を定義する。選択された関心の各領域用の文脈情報はそこで、閉じた多角形線、閉じた曲線、または両者の組み合わせとしてグラフィカルユーザーインタフェース２４上に表すことができる。多角形線および／または曲線は、多角形ゾーンを形成する、関心の平面または非平面領域の外側境界を画定するために使用でき、ゾーン内の全てのピクセルは単一の文脈クラス（例えば、「道路」、「ビルディング」、「駐車場」など）を表す。典型的には、少なくとも３つの参照点は、多角形ゾーンを定義し、これに対しより多くの点は、所望ならばグラフィカルユーザーインタフェース２４上のより多くの複雑な領域を選択するために使用されても良い。
【００１５】
ユーザが手動のセグメンテーションを実行しそして関心領域を図形的に表す多角形ゾーンを定義すると、アルゴリズムまたはルーチン２６は、次にユーザを指示し、一般にブロック３２により指示されるように、グラフィカルユーザーインタフェース２４上で選択された各参照点からイメージセンサの距離を決定するために使用され得る３Ｄカメラ座標系をセットアップする。３Ｄカメラ座標系の設定を示す例示のステップ３２は図３を参照して理解でき、図３は、４つの参照点Ｒ１、Ｒ２、Ｒ３、Ｒ４により定義される平面多角形ゾーン用の３Ｄカメラ座標系３４を示す。図３に示すように、の参照点または（Ｘ、Ｙ、Ｚ）＝（０、０、０）の原点は、各種のカメラ軸に対応する各軸（Ｘ、Ｙ、Ｚ）を持つ、イメージセンサ４０に割り当てることができる。別の実施形態において、原点がイメージセンサ位置（（Ｘ、Ｙ、Ｚ）＝ｘ１、ｙ１、ｚ１）のようにどこか別に置かれている世界座標系がまた使用され得る。
【００１６】
イメージセンサ４０から４つの各参照点Ｒ１、Ｒ２、Ｒ３、Ｒ４までの距離Ｄ１、Ｄ２、Ｄ３、Ｄ４を測定するために、ユーザは最初に、参照点のひとつから、レーザ距離ファインダまたは他の適当な道具を使用するイメージセンサまでの距離を測定し、その参照点から他の参照点までの距離を測定し、それからその参照点からイメージセンサ４０まで戻る距離を測定しても良い。それからプロセスは対の参照点毎に繰り返されても良い。
【００１７】
ひとつの例示の実施形態において、このようなプロセスはイメージセンサ４０と参照点Ｒ２の間の距離Ｄ２を測定するステップ、参照点Ｒ２とＲ４のような他の参照点間の距離Ｄ２−４を測定するステップ、およびその参照点Ｒ４からイメージセンサ４０の原点３８に戻る間の距離Ｄ４を測定するステップを含んでも良い。測定された距離Ｄ１、Ｄ４およびＤ２−４を使用し、そこで三角形４２が、該三角形４２を形成する各参照点Ｒ２、Ｒ４のピクセル座標に沿ってグラフィカルユーザーインタフェース２４上に表示されることができる。同様のプロセスがそれから、他の参照点Ｒ１とＲ３、Ｒ１とＲ２、Ｒ３とＲ４のピクセル座標を決定するために実行でき、三角形４２と結合し、原点３８に位置する頂点および平面多角形ゾーン３６を表現する底辺を有する多角形を形成する３つの追加の三角形を生成する。
【００１８】
代替技術では、２つの点までの距離、およびカメラからのそれらの点に含まれる角度を測定することができる。この角度は、これらの２つの点の間の距離Ｄ２−４を決定するのではなく、カメラから２つの参照点Ｒ２およびＲ４の間の角度θを測定するための、分度器または他の適切な計器を使用して、決定されることが可能である。このシーンは、例えば、これらの参照点のうち一方に容易に到達可能ではないときに生じる。レーザー照準機または他の適切な計器は、参照点Ｒ２およびＲ４の各々と原点３８の間の距離Ｄ２およびＤ４を測定するために利用されることが可能である。類似のプロセスは次いで、他の参照点Ｒ１およびＲ３、Ｒ１およびＲ２、ならびに、Ｒ４およびＲ３のピクセル座標を決定するために実行されることが可能である。
【００１９】
カメラが非常に高く設置されるか、またはそうでない場合は到達不可能であり、地上の参照点の一方（例えば、Ｒ２）に到達不可能であり、他方の参照点（例えば、Ｒ４）に到達可能である、いくつかの場合では、Ｒ４に位置する分度器または他の適切な計器は次いで、参照点Ｒ２と原点３８の間の角度θをＲ４で測定するために使用されることが可能である。レーザー照準機または他の適切な計器は次いで、距離Ｄ２−４およびＤ４を測定するために利用されることが可能である。
【００２０】
３Ｄカメラ座標系が確立された後、アルゴリズムまたはルーチン２６は次に、多角形ゾーン３６内の１つまたは複数の対象のジオロケーションを決定することができ、これは全体的に図２においてブロック４４によって指示される。多角形ゾーン内の対象のジオロケーションを決定する例示的ステップ４４は、図４を参照することによって理解される場合があり、図４は、個人４６が図３の多角形ゾーン３６内で時間「ｔ」から時間「ｔ＋１」まで移動することを示す。個人４６がある場所から別の場所へ経時的に移動するとき、個人４６の移動は、イメージセンサ４０を頂点として使用して、多角的ゾーン３６のピクセル座標を、検出された個人４６のピクセル座標と対応させることによって、追跡されることが可能である。個人の足などの接点４８が、レーザー分析ステージ中にピクセル特徴を物理的特徴に変換することを容易にするために、参照点として利用される場合がある。しかし、検出されるべき対象ならびに他の要素に応じて、他の接点が選択される場合があることを理解されたい。例えば、監視されるべき対象が自動車である場合、タイヤまたはホィールなどの接点が、望まれる場合は利用される場合がある。
【００２１】
ステップ４４で、多角形ゾーン３６内の各オブジェクトのジオロケーションが決定された後、アルゴリズムまたはルーチン２６は次に、ピクセルで表現された２Ｄ画像ドメインデータを、ジオロケーションの３Ｄ高密度レンジマップに変換し、これは全体的に図２のブロック５０によって指示される。補間技術は、２Ｄ画像ドメインデータを３Ｄルックアップテーブルに変換し、画像フレーム内の各ピクセルが定義済みの３Ｄカメラ座標系に対応するようにするために、使用される場合がある。ある実施形態では、例えば、３Ｄルックアップテーブルは、ジオロケーションの座標を表現するＸ、ＹおよびＺパラメータ、これらの座標を含むＲＯＩの名前を識別する領域名パラメータ、および、定義されたＲＯＩのタイプ（例えば、道路、駐車場、ビルなど）を記述する領域タイプパラメータを含む場合がある。照明条件、時間／日付、イメージセンサタイプなど、他の情報もまた、望まれる場合は３Ｄルックアップテーブルにおいてパラメータとして提供される場合がある。
【００２２】
２Ｄ画像ドメインデータを３Ｄルックアップテーブル５２へ変換する例示的ステップ５０は、図５を参照することにより理解される場合がある。図５に示されるように、ピクセル５４の座標（ｕ，ｖ）を、図２のステップ３２で確立された３Ｄカメラ座標と相関させることによって、２Ｄ画像フレーム５６内の各画像ピクセル５４は３Ｄルックアップテーブル５２へマップされることが可能である。全体的に矢印５８によって指示されるように、各ピクセル座標（ｕ，ｖ）が対応する３Ｄカメラ座標とマッチさせられるとき、これに３Ｄルックアップテーブル５２内の（Ｘ，Ｙ，Ｚ）の別のパラメータブロック６０が割り当てられる場合があり、各パラメータブロック６０の「Ｘ」、「Ｙ」および「Ｚ」パラメータは、そのピクセルのためのジオロケーションの座標を表現する。ある実施形態では、および、図５に示されるように、パラメータブロック６０の各々は、そのシーン内のＲＯＩのタイプを表現する「ｔ」パラメータを含む場合もある。例えば、パラメータブロック６０の座標が、駐車場などのＲＯＩに対応する場合、そのブロック６０の「ｔ」パラメータは、ＲＯＩが駐車場であることを示すテキストまたはコード（例えば、「駐車場」、「コード１」など）を含む場合がある。いくつかの実施形態では、サイズ、グローバルロケーション（例えば、ＧＰＳ座標）、他のＲＯＩに対する距離および場所など、他のＲＯＩパラメータもまた、３Ｄルックアップテーブル５２内のパラメータとして提供される場合がある。
【００２３】
３Ｄルックアップテーブル５２は、画像フレーム５６内に位置する複数のＲＯＩからのパラメータブロック６０を含む場合がある。ある実施形態では、例えば、３Ｄルックアップテーブル５２は、画像フレーム５６内の第１のＲＯＩ（例えば、駐車場）を表現する第１の数のパラメータブロック６０ａ、および、画像フレーム５６内の第２のＲＯＩ（例えば、ビルの通路）を表現する第２の数のパラメータブロック６０ｂを含む場合がある。ある実施形態では、３Ｄルックアップテーブル５２は、単一のイメージセンサから、または、複数のイメージセンサから獲得された、複数の画像フレーム５６のためのパラメータブロック６０を含むことができる。例えば、監視システムが、図１に関して上述されたものに類似のマルチセンサ監視システムを備える場合、３Ｄルックアップテーブル５２は、ＲＯＩの定義において使用された各イメージセンサのためのパラメータブロック６０を含む場合がある。
【００２４】
画像フレーム５６から得られたピクセル特徴、ならびに、３Ｄルックアップテーブル５２内に格納されたパラメータブロック６０を使用して、ＲＯＩ内に位置する１つまたは複数の対象の物理的特徴が次いで計算され、ユーザーおよび／または他のアルゴリズムに出力される場合があり、これは全体的に図２のブロック６２および６４によって指示される。ある応用例では、例えば、ＲＯＩ内、または複数のＲＯＩに渡って移動する対象の速度を計算することが望ましい場合がある。画像フレーム５６内の対象に対応するピクセル速度（例えば、３ピクセル／秒）を追跡し、次いで、この速度を、３Ｄルックアップテーブル５２内に含まれたパラメータと相関させることによって、オブジェクトの速度の正確な量（例えば、８０４５ｍ（５マイル）／時）が得られることが可能である。イメージセンサから、ＲＯＩ内の他のいかなる対象および／または場所までのレンジなど、他の情報もまた決定されることが可能である。
【００２５】
物理的特徴は、追跡された対象に関連付けられたこれらの特徴、ならびに、画像フレーム５６内の他の対象および／または静的バックグラウンドに関係する特徴を含む、特徴ベクトルとして表現される場合がある。ある実施形態では、例えば、特徴ベクトルは、対象の速度、軌道、開始点、終了点、パスの長さ、パスの距離、縦横比、方向、高さおよび／または幅に関する情報を含む場合がある。対象の分類（例えば、「個人」、「車両」、「動物」、「無生物」、「生物」など）など、他の情報もまた提供される場合がある。物理的特徴は生のデータとして、グラフィカルユーザーインタフェース２４を介して対象のグラフィカル表現として、または、望まれるように両方の組み合わせとして、３Ｄルックアップテーブル５２内に出力されることが可能である。
【００２６】
ある実施形態では、および、図２の線６６によってさらに指示されるように、アルゴリズムまたはルーチン２６は、３Ｄルックアップテーブルを、獲得された各連続画像フレームについて、および／または、ユーザーによって定義された各新しいＲＯＩについての、新しいかまたは修正された情報により動的に更新するように、構成されることが可能である。例えば、監視システムが、画像シーケンス内の対象がＲＯＩの特定のピクセル領域内で上方向に常に移動することを検出し、坂、階段、エスカレーターまたは他のそのような特徴の存在を指示する場合、アルゴリズムまたはルーチン２６は、このような情報を３Ｄルックアップテーブル５２に追加するように構成されることが可能である。特に、シーン理解および／または行動分析が実行されるべきである応用例において、３Ｄルックアップテーブルをこのように動的に更新することによって、より複雑なＲＯＩ内の対象の追跡における監視システムの頑強性が改善されることが可能である。
【００２７】
このとき図６から１１を見ると、２次元画像ドメインデータを３Ｄ高密度レンジマップに変換する方法がこのとき、例示的グラフィカルユーザーインタフェース６８との関連で説明される。図６の第１の画像図に示されるように、グラフィカルユーザーインタフェース６８は、イメージセンサに関係する情報、いずれかの定義済みＲＯＩ、ＲＯＩ内に位置するいずれかの対象、ならびに、監視システムの他のコンポーネントを表示するように適合された、表示画面７０を含む場合がある。図６に示された例示的図では、例えば、グラフィカルユーザーインタフェース６８は、イメージセンサから得られたリアルタイム画像フレーム７４を含むＳＣＥＮＥセクション７２、および、ＳＣＥＮＥセクション７２上に表示されたこれらの画像フレーム７４の提供において使用されたイメージセンサの現在の位置を示すＣＡＭＥＲＡ  ＰＯＳＩＴＩＯＮセクション７６を含む場合がある。
【００２８】
グラフィカルユーザーインタフェース６８のＣＡＭＥＲＡ  ＰＯＳＩＴＩＯＮセクション７６は、イメージセンサに適用されるべき３Ｄカメラ座標系を示すフレーム７８、ならびに、座標系内のイメージセンサの現在位置を指示するステータスボックス８０を表示するように構成されることが可能である。図６の例示的図では、例えば、ステータスボックス８０はフレーム７８の右上角に位置し、イメージセンサが現在座標系の第１の象限内に位置付けられることを指示する。フレーム７８の角に位置するいくつかの選択ボタン８２、８４、８６、８８は、イメージセンサの現在の位置付けを調整するために利用されることが可能である。例えば、ユーザーがセンサ位置を下および左に移動させることを望む場合、ユーザーは適切な選択ボタン８６を表示画面７０上で選択し、イメージセンサに、その現在の位置（すなわち、第１の象限）から選択された場所（すなわち、第４の象限）へ位置を変更させることができる。ある実施形態では、グラフィカルユーザーインタフェース６８は、望まれる場合、「Ｄｏｗｎ＿Ｌｅｆｔ」など、特定の象限をデフォルトにするように構成されることが可能である。
【００２９】
イメージセンサの位置付けがＣＡＭＥＲＡ  ＰＯＳＩＴＩＯＮセクション７６を介して選択された後、ユーザーは「Ｄｏｎｅ」ボタン９０を選択し、監視システムに、選択された位置を受け入れさせることができる。ボタン９０が選択された後、グラフィカルユーザーインタフェース６８は、ユーザーに、様々なパラメータ値を表示画面７０のＶＡＬＵＥ  ＩＮＰＵＴセクション９２に入力するように、プロンプトを出すように構成されることが可能であり、これは図７の第２の図において示される。図７に示されるように、ＶＡＬＵＥ  ＩＮＰＵＴセクション９２は、辺のみまたは辺および角の組み合わせのいずれかを使用した値の入力の間で切り替えることをユーザーに許可するＩＮＰＵＴ  ＭＯＤＥ選択ボックス９４、名前を特定のＲＯＩに割り当てるためのＲＥＧＩＯＮ  ＮＡＭＥテキストボックス９６、および、定義されるべきＲＯＩのタイプを入力するためのＲＥＧＩＯＮ  ＴＹＰＥテキストボックス９８を含む場合がある。
【００３０】
ＲＯＩを画像フレーム７４上で定義するため、ユーザーは「Ｐｏｉｎｔ」ボタン１００をＶＡＬＵＥ  ＩＮＰＵＴ選択９２上で選択し、次いで少なくとも４つの参照点を画像フレーム７４上で選択して、ＲＯＩの外側の境界を定義することができる。図７の例示的図では、例えば、参照点「Ａ」、「Ｂ」、「Ｃ」および「Ｄ」が画面フレーム７４上で選択されて示され、それぞれ参照点Ａ、Ｂ、ＣおよびＤを有する多角形ゾーン１０２を定義する。グラフィカルユーザーインタフェース６８は、各参照点が画像フレーム７４上で選択されるとき、望まれる場合、選択された各参照点を示すラベルと共に、折れ線または曲線を表示するように構成されることが可能である。これらの参照点の選択は、例えば、マウス、トラックボール、グラフィックタブレット、または他の適切な入力デバイスを使用して実施されることが可能である。
【００３１】
多角形ゾーン１０２が画像フレーム７４上で定義された後、ユーザーは次いで名前および領域タイプをゾーン１０２へ、ＲＥＧＩＯＮ  ＮＡＭＥおよびＲＥＧＩＯＮ  ＴＹＰＥテキストボックス９６、９８を使用して割り当てることができる。領域名およびタイプのテキストをこれらのテキストボックス９６、９８内に入力した後、ユーザーは次いで「Ａｄｄ」ボタン１０４を選択し、グラフィカルユーザーインタフェース６８に、シーンの静止画像１０６をＣＡＭＥＲＡ  ＰＯＳＩＴＩＯＮセクション７６内に、カメラ原点「Ｖ」と多角形ゾーン１０２の少なくとも４つの選択された参照点の間に線を描くことによって形成された多角体１０８と共に表示させることができ、これは図８の第３の図に示される。グラフィカルユーザーインタフェース６８は、多角体１０８の４つの面の各々を形成するこれらの三角形および／または辺のリスト１１０を表示するように構成されることが可能である。多角体１０８の４つの面を形成する三角形は画面上で、明滅テキスト、カラー、および／または他の適切な技術によって強調表示されることが可能であり、表示画面７０上で、「Ｔ１」、「Ｔ２」、「Ｔ３」および「Ｔ４」としてラベル付けされることが可能である。望まれる場合、多角体１０８の頂点を記述するメッセージ１１２もまた、静止画像１０６に隣接して表示されることが可能である。
【００３２】
グラフィカルユーザーインタフェース６８のＦＡＣＥＴ  ＩＮＰＵＴセクション１１４は、多角体１０８の様々な辺のための値を受信するように構成されることが可能であり、これらの値は後に、画像フレーム７４内のピクセル座標をイメージセンサの視野内の物理的特徴と相関させる３Ｄルックアップテーブルを形成するために使用されることが可能である。ＦＡＣＥＴ  ＩＮＰＵＴセクション１１４は、多角体１０８を形成する様々な辺および／または角を表形式で表示するように構成されることが可能であり、選択される現在のＲＯＩの名前（すなわち「第１」）を指示するアイコンタブ１１６を含むことができる。図８に示されるように、ＩＮＰＵＴ  ＭＯＤＥ選択ボックス９２が「Ｓｉｄｅ  Ｏｎｌｙ」モードに設定されると、ＦＡＣＥＴ  ＩＮＰＵＴセクション１１４は、多角体を形成する辺および多角体底辺（すなわち、多角形ゾーン１０２の辺）を表示するいくつかの列１１８、１２０、ならびに、これらの辺のための入力値を受信するように構成された入力列１２２、１２４を含む場合がある。ユーザーが入力列１２２、１２４の各々においてボックスを選択するとき、グラフィカルユーザーインタフェース６８は、特定の多角体辺またはその選択に対応する面上の辺を強調表示するように構成されることが可能である。例えば、ユーザーが、多角体辺「ＶＣ」のための値を入力列１２２に入力するためにボックス１２６を選択する場合、グラフィカルユーザーインタフェース６８は、ＣＡＭＥＲＡ  ＰＯＳＩＴＩＯＮセクション７６内に位置する多角体１０８上で対応する線「ＶＣ」を強調表示するように構成されることが可能である。
【００３３】
図９は、いくつかの値を入力列１２２、１２４に入力する例示的ステップを示すもう１つの画像図である。図９に示されるように、イメージセンサ頂点「Ｖ」と、多角体１０８の各参照点「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」の間の距離に関係するいくつかの距離値が、列１２２に入力されることが可能である。類似の方法で、各参照点「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」の間の距離に関係するいくつかの距離値が、入力列１２４に入力されることが可能である。図２のブロック４４に関して上述されたものと類似の方法では、イメージセンサ頂点「Ｖ」および２つの参照点からの距離、ならびに、２つの参照点の間の距離が、イメージセンサに対してこれらの参照点の座標を計算するために使用されることが可能である。最小数の値が入力された後、「ＯＫ」ボタン１２８がユーザーによって選択されて、入力列１２２、１２４内で残る距離および／または角の値が入力される場合がある。代替として、ユーザーが現在のエントリを入力列１２２、１２４から破棄することを望む場合、「Ｃａｎｃｅｌ」ボタン１３０が選択されることが可能である。「Ｄｅｌｅｔｅ」ボタン１３２は、入力列１２２、１２４内の１つまたは複数のエントリを削除するため、または、ＲＯＩ全体を削除するために、ユーザーによって選択されることが可能である。
【００３４】
代替として、および他の実施形態では、ユーザーは「Ａｎｇｌｅ＆Ｓｉｄｅ」ボタンをＩＮＰＵＴ  ＭＯＤＥフレーム９２上で選択して、各参照点の座標を、角および辺の測定を使用して計算することができる。ある実施形態では、および、また図２に関しても上述されたように、ユーザーは、頂点「Ｖ」と、多角体１０８の少なくとも２つの参照点の間の距離値、ならびに、これらの２つの参照点の間の頂点「Ｖ」での角度を入力して、イメージセンサに対してこれらの参照点の座標を計算することができる。
【００３５】
各関心領域のための値がＦＡＣＥＴ  ＩＮＰＵＴセクション１１４を介して入力された後、ユーザーは次いで「３Ｄ＿ＣＡＬ」ボタン１３４を選択し、監視システムに、その関心領域のための特徴ベクトルを含む３Ｄ高密度レンジマップを作成させることができる。ある実施形態では、例えば、「３Ｄ＿ＣＡＬ」ボタン１３４の選択は、監視システムに、ジオロケーションの座標を表現するＸ、Ｙ、Ｚおよびｔパラメータ、座標を含むＲＯＩの名前を識別する領域名パラメータ、および、定義されたＲＯＩのタイプを記述する領域タイプパラメータを含む、図５に関して上述されたものに類似の３Ｄルックアップテーブルを作成させる場合がある。
【００３６】
２Ｄ画像ドメインデータが３Ｄルックアップテーブルに変換された後、グラフィカルユーザーインタフェース６８は次いで、監視システムによって後に使用するために、このテーブルをファイルへ出力することができる。グラフィカルユーザーインタフェース６８は、図１０のウィンドウ１３６を参照することにより指示されるように、３Ｄルックアップテーブルデータを含むファイルを保存するべきであるかどうか、ユーザーにプロンプトを出すように構成されることが可能である。ある実施形態では、例えば、３Ｄルックアップテーブル内のパラメータは、テキストファイルリーダーツールを使用して後に検索および表示されることが可能である、「．ｔｘｔ」ファイルなどのテキストファイルを使用して格納されることが可能である。このような３Ｄルックアップテーブルデータはさらに、望まれる場合、さらなる処理のために監視システムの他のコンポーネントに提供されることが可能である。
【００３７】
このように本発明のいくつかの実施形態を説明したが、本明細書に付属された特許請求の範囲の範囲内に入る他の実施形態が作成および使用される場合があることは、当業者には容易に理解されよう。本書によって対象とされた本発明の多数の利点が、前述の説明において示された。本開示は、多くの点で、例示的でしかないことは理解されよう。本明細書で説明された様々な要素について、本発明の範囲を超えることなく、変更が行われることは可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の例示的実施形態による、例示的ビデオ監視システムを示す概略図である。
【図２】２次元画像ドメインデータを３Ｄ高密度レンジマップに変換するための、例示的アルゴリズムまたはルーチンを示す流れ図である。
【図３】３Ｄカメラ座標系を確立する例示的ステップを示す概略図である。
【図４】多角形ゾーン内の対象のジオロケーションを決定する例示的ステップを示す概略図である。
【図５】２次元画像ドメインデータを３Ｄルックアップテーブルに変換する例示的ステップを示す概略図である。
【図６】２次元画像ドメインデータを３Ｄ高密度レンジマップに変換することにおいて使用するための、例示的グラフィカルユーザーインタフェースを示す画像図である。
【図７】図６のグラフィカルユーザーインタフェースを使用して、多角形ゾーンのいくつかの参照点を定義する例示的ステップを示す画像図である。
【図８】多角形ゾーンが画像フレーム内で選択された後の、図６のグラフィカルユーザーインタフェースを示す画像図である。
【図９】図６のグラフィカルユーザーインタフェースを使用して選択された、これらの参照点のための値を入力する例示的ステップを示す画像図である。
【図１０】図６のグラフィカルユーザーインタフェースが、ユーザーに、３Ｄルックアップテーブルデータを含むファイルを保存するようにプロンプトを出すことを示す画像図である。
【符号の説明】
【００３９】
１０  ビデオ監視システム
１２、１４、１６、４０  イメージセンサ
２０  マイクロプロセッサ／ＣＰＵ
２２  アルゴリズムまたはルーチン
２４、６８  グラフィカルユーザーインタフェース
３６、１０２  多角形ゾーン
４６  個人
５２  ３Ｄルックアップテーブル
５４  ピクセル
５６  ２Ｄ画像フレーム
６０  パラメータブロック
７４  画像フレーム
Ｒ１、Ｒ２、Ｒ３、Ｒ４  参照点
【図１】
2006302284.tif 000003
【図２】
2006302284.tif 000004
【図３】
2006302284.tif 000005
【図４】
2006302284.tif 000006
【図５】
2006302284.tif 000007
【図６】
2006302284.tif 000008
【図７】
2006302284.tif 000009
【図８】
2006302284.tif 000010
【図９】
2006302284.tif 000011
【図１０】
2006302284.tif 000012