(57)【要約】【課題】【解決手段】  空間の第１の画像から空間の第２の画像にデータを変換するために使用される変換行列を決定する方法が開示される。この方法は、空間を監視するビデオカメラから画像データを受け取る段階であって、ビデオカメラは、空間内を運動するオブジェクトの画像データを生成する段階と、画像データからカメラの視野に対するオブジェクトの時空的位置を決定する段階とを含む。この方法は、更に、オブジェクトの時空的位置に基づいてカメラの視野に対するオブジェクトの運動の観察属性を決定する段階を含み、観察属性は、カメラの視野に対するオブジェクトの速度と、カメラの視野に対するオブジェクトの加速度の少なくとも一方を含む。この方法は、また、オブジェクトの運動の観察属性に基づいて変換行列を決定する段階を含む。【選択図】図１
2013520723.tif 000002
【特許請求の範囲】
【請求項１】
空間の第１の画像から空間の第２の画像にデータを変換する方法であって、
前記空間を監視するビデオカメラから画像データを受け取る段階であって、前記ビデオカメラが、前記空間内を運動するオブジェクトの画像データを生成する段階と、
前記画像データから、前記カメラの視野に対する前記オブジェクトの時空的位置を決定する段階と、
前記オブジェクトの前記時空的位置に基づいて、前記カメラの視野に対する前記オブジェクトの運動の観察属性を決定する段階であって、前記観察属性が、前記カメラの視野に対する前記オブジェクトの速度と前記カメラの前記視野に対する前記オブジェクトの加速度との少なくとも一方を含む段階と、
前記オブジェクトの運動の前記観察属性に基づいて前記変換行列を決定する段階と、
を含む方法。
【請求項２】
前記空間の前記第１の画像を前記空間の前記第２の画像に変換する段階を更に含む、請求項１に記載の方法。
【請求項３】
コンピュータ生成オブジェクトを前記第１の画像に挿入し、
前記コンピュータ生成オブジェクトを前記第２の画像内の変換オブジェクトに変換し、
前記コンピュータ生成オブジェクトと前記変換オブジェクトとを比較し、
前記比較に基づいて前記変換行列内の要素を調整することによって、
前記変換行列を較正する段階を含む、請求項２に記載の方法。
【請求項４】
前記変換行列を決定する前記段階が、更に、前記空間に対する運動の実際の属性に基づき、前記運動の実際の属性が、前記オブジェクトと別のオブジェクトとの少なくとも一方の空間に対して一定速度を含む、請求項１に記載の方法。
【請求項５】
前記カメラの前記視野が、複数のセルに分割された、請求項１に記載の方法。
【請求項６】
前記オブジェクトの前記時空的位置が、複数のセルに対して定義された、請求項５に記載の方法。
【請求項７】
複数のセルの各セルの支配的流れ方向と、前記支配的流れ方向に運動するセル内の複数の観察オブジェクトの速度を示すセル速度と、を示す速度マップを生成する段階を更に含み、
前記セル速度が、前記カメラの前記視野に対して定義され、前記複数の観察オブジェクトが、前記オブジェクトを含む、請求項６に記載の方法。
【請求項８】
前記変換行列を決定する前記段階が、前記速度マップに基づく、請求項７に記載の方法。
【請求項９】
前記変換行列を決定する前記段階が、更に、前記空間に対する運動の実際の属性に基づき、前記運動の実際の属性が、前記オブジェクトと別のオブジェクトとの少なくとも一方の空間に対して一定速度を含む、請求項８に記載の方法。
【請求項１０】
前記複数のセルの各セルの支配的流れ方向と、前記支配的流れ方向に運動する前記セル内の複数の観察オブジェクトの加速度を示すセル加速度と、を示す加速度マップを生成する段階を更に含み、
前記セル加速度が、前記カメラの前記視野に対して定義され、前記複数の観察オブジェクトが、前記オブジェクトを含む、請求項６に記載の方法。
【請求項１１】
前記変換行列を決定する前記段階が、加速度マップに基づく、請求項１０に記載の方法。
【請求項１２】
前記変換行列を決定する前記段階が、更に、前記空間に対する運動の実際属性に基づき、前記運動の実際属性が、０の値を有する加速度を含み、前記加速度が、前記空間に対しかつ前記オブジェクトと別のオブジェクトとの少なくとも一方に対応する、請求項８に記載の方法。
【請求項１３】
前記較正する段階が、繰り返し実行される、請求項３に記載の方法。
【請求項１４】
前記空間の第１の画像から第２の画像にデータを変換するシステムであって、
前記空間を監視するビデオカメラから画像データを受け取るように構成され、前記ビデオカメラは、前記空間内で運動するオブジェクトの画像データを生成し、また前記画像データから前記カメラの視野に対する前記オブジェクトの時空的位置を決定するように構成されたメタデータ処理モジュールと、
前記オブジェクトの時空的位置に基づいて前記カメラの前記視野に対する前記オブジェクトの運動の観察属性を決定するように構成された処理モジュールであって、前記観察属性が、前記カメラの視野に対する前記オブジェクトの速度と、前記カメラの前記視野に対する前記オブジェクトの加速度と、の少なくとも一方を含む処理モジュールと、
前記オブジェクトの前記運動の観察属性に基づいて前記変換行列を決定するように構成された変換モジュールと、
を含むシステム。
【請求項１５】
前記変換モジュールが、更に、前記空間の前記第１の画像を前記空間の前記第２の画像に変換するように構成された、請求項１４に記載のシステム。
【請求項１６】
コンピュータ生成オブジェクトを第１の画像に挿入し、
前記コンピュータ生成オブジェクトを前記第２の画像内の変換オブジェクトに変換し、
前記コンピュータ生成オブジェクトと前記変換オブジェクトとを比較し、
前記比較に基づいて前記変換行列内の要素を調整するように構成された較正モジュールを更に含む、請求項１５に記載のシステム。
【請求項１７】
前記変換行列が、更に、前記空間に対する運動の実際属性に基づき、前記運動の実際属性が、前記オブジェクトと別のオブジェクトとの少なくとも一方の空間に対する一定速度を含む、請求項１４に記載のシステム。
【請求項１８】
前記カメラの視野が、複数のセルに分割された、請求項１４に記載のシステム。
【請求項１９】
前記オブジェクトの前記時空的位置が、前記複数のセルに対して定義された、請求項１８に記載のシステム。
【請求項２０】
前記複数のセルの各セルの支配的流れ方向と、前記支配的流れ方向に運動する前記セル内の複数の観察オブジェクトの速度を示すセル速度と、を示す速度マップを生成するように構成されたデータ融合モジュールを更に含み、
前記セル速度が、前記カメラの前記視野に対して定義され、前記複数の観察オブジェクトが、前記オブジェクトを含む、請求項１９に記載のシステム。
【請求項２１】
前記変換行列が、速度マップに基づく、請求項２０に記載のシステム。
【請求項２２】
前記変換行列が、更に、前記空間に対する運動の実際属性に基づき、前記運動の実際属性が、オブジェクトと別のオブジェクトとの少なくとも一方の空間に対する一定速度を含む、請求項２１に記載のシステム。
【請求項２３】
前記複数のセルの各セルの支配的流れ方向と、前記支配的流れ方向に運動する前記セル内の複数の観察オブジェクトの加速度を示すセル加速度と、を示す加速度マップを生成するデータ融合モジュールを更に含み、前記セル加速度が、前記カメラの前記視野に対して定義され、前記複数の観察オブジェクトが、前記オブジェクトを含む、請求項１９に記載のシステム。
【請求項２４】
前記変換行列が、前記加速度マップに基づく、請求項２３に記載のシステム。
【請求項２５】
前記変換行列が、更に、前記空間に対する運動の実際属性に基づき、前記運動の実際属性が、０の値を有する加速度を含み、前記加速度が、前記オブジェクトと別のオブジェクトとの少なくとも一方の空間に対する、請求項２４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、第１の画像を第２の画像に変換しかつ第１の画像を第２の画像に変換する変換行列を決定するシステム及び方法に関する。
【背景技術】
【０００２】
ビデオ監視システムの需要が増大にするにつれて、より自動化されたシステムの需要が明らかになっている。そのようなシステムは、動いている物体を検出し、その挙動を分析するように構成される。そのようなシステムを最適化するには、システムが、物体を互いに対してかつカメラによって監視されている空間に対して地理空間的に位置決めできることが重要である。
【０００３】
これまで提案された１つの解決策は、物体の検出と位置決めを可能にする較正されたカメラを使用することである。しかしながら、そのようなカメラは、カメラを手動で較正するのに多くの時間を必要とする。更に、カメラの手動較正は、きわめて複雑なプロセスであり、チェッカーボード、照明パターン、ランドマーク基準などの物理的幾何学パターンの使用を必要とする。ビデオ監視カメラは、駐車場、大きなロビー、又は広い空間に配置されることが多いので、カメラの視野（ＦＯＶ）が多くの場合かなり大きく、較正物体（例えば、チェッカーボード）は、そのような大きいＦＯＶ内でカメラを較正するには小さすぎる。したがって、較正し易く物体の位置決めを改善するカメラを備えたビデオ監視システムが必要とされている。
【０００４】
この節では、必ずしも先行技術とは限らない本開示と関連した背景情報を提供する。
【発明の概要】
【課題を解決するための手段】
【０００５】
空間の第１の画像から空間の第２の画像にデータを変換するために使用される変換行列を決定する方法が開示される。この方法は、空間を監視するビデオカメラから画像データを受け取る段階であって、ビデオカメラが、空間内を移動するオブジェクトの画像データを生成する段階と、画像データからカメラの視野に対するオブジェクトの時空的位置を決定する段階とを含む。この方法は、更に、オブジェクトの時空的位置に基づいてカメラの視野に対するオブジェクトの運動の観察属性を決定する段階を含み、観察属性は、カメラの視野に対するオブジェクトの速度と、カメラの視野に対するオブジェクトの加速度との少なくとも一方を含む。この方法は、また、オブジェクトの運動の観察属性に基づいて変換行列を決定する段階を含む。
【０００６】
この節は、開示の概略的要約を提供し、開示の全範囲又はその全ての特徴の包括的開示ではない。
【０００７】
適用可能性の更なる範囲は、本明細書に示された説明から明らかになる。この要約における説明と特定の例は、単なる例示のためのものであり、本開示の範囲を限定するものではない。
【図面の簡単な説明】
【０００８】
【図１】例示的なビデオ監視システムを示すブロック図である。
【図２】監視システムの例示的な構成要素を示すブロック図である。
【図３】（Ａ）はビデオカメラの例示的な視野（ＦＯＶ）を示す図であり、（Ｂ）カメラの例示的なＦＯＶをＦＯＶに重ねられたグリッドと共に示す図である。
【図４】異なる分解能のグリッドと各グリッドに対するオブジェクトの運動とを示す図である。
【図５】データ・マイニング・モジュールの例示的な構成要素を示すブロック図である。
【図６】方向八分円に分解されたデータ・セルを示す図である。
【図７】処理モジュールの例示的な構成要素を示すブロック図である。
【図８】様々な分解能を有するグリッドに対する運動データを示す図である。
【図９】様々な方向のベクトルを有する例示的な速度マップを示す図である。
【図１０】支配的流れ方向のベクトルだけを有する例示的な速度マップを示す図である。
【図１１】データ・セルのマージを示す図である。
【図１２】データ融合を実行する例示的な方法を示す流れ図である。
【図１３】変換に使用される例示的なグリッドを示す図である。
【図１４】変換行列を決定する例示的な方法を示す流れ図である。
【図１５】較正モジュールの例示的な構成要素を示すブロック図である。
【図１６】第２の画像に変換される画像を示す図である。
【図１７】第２の画像に変換される第１の画像内のオブジェクトを示す図である。
【発明を実施するための形態】
【０００９】
本明細書に示された図面は、単に特定の実施形態を例示するものであり可能な全ての実施態様ではなく、また本開示の範囲を限定するものではない。
【００１０】
対応する参照数字は、図面の幾つかの図にわたって対応する部分を示す。
【００１１】
本明細書では、自動ビデオ監視システムについて述べる。ビデオカメラは、ロビーや駐車場などの空間を監視する。ビデオカメラは、カメラの視野（ＦＯＶ）内で観察された空間に対応する画像データを生成する。システムは、以下で「運動オブジェクト」と呼ばれるカメラのＦＯＶ内で動いていることが観察されたオブジェクトを検出するように構成される。画像データは処理され、ＦＯＶに対する運動オブジェクトの位置が分析される。運動オブジェクトの位置に基づいて、ＦＯＶに対する運動オブジェクトの速度や加速度などの観察運動データを計算し補間することができる。これは、複数の運動オブジェクトに関して実行されることを想起されたい。観察運動データを使用することによって、空間の画像を第２の画像に変換できるように変換行列を決定することができる。例えば、第２の画像は、空間の鳥瞰図、即ち空間の地面より上で実質的に地面と平行な視点からのものである。画像が、鳥瞰図に変換された後で、運動オブジェクトの実際の運動データ（例えば、空間に対する運動オブジェクトの速度及び／又は加速度）と、空間内のオブジェクトの幾何学的位置を、より高い精度で容易に決定することができる。
【００１２】
システムは、自己較正するように構成されてもよい。例えば、コンピュータ生成オブジェクト（例えば、三次元アバタ）を第１の画像に挿入し、観察空間内を「運動する」ように構成することができる。次に、画像は、変換される。変換画像内の三次元アバタが、第２の画像内の三次元アバタのほぼ同じサイズか、第２の画像内の観察運動が、第１の画像の運動に対応する場合は、変換行列の要素が十分であると判断される。しかしながら、三次元アバタがそれより大きいか小さい場合、又は運動が第１の画像内で観察された運動に対応しない場合は、要素は、間違っており、調整されなければならない。変換行列や他のパラメータが調整され、プロセスが繰り返される。
【００１３】
変換行列が適切に調整された後で、カメラが較正される。したがって、空間のより有効な監視が可能になる。例えば、空間が変換された後で、オブジェクトの幾何学的位置をより正確に推定することができる。更に、空間に対する絶対速度及び加速度を決定することができる。
【００１４】
次に図１を参照すると、例示的なビデオ監視システム１０が示される。システムは、検出装置（例えば、ビデオカメラ１２ａ〜１２ｎ）と監視モジュール２０とを含んでもよい。検出装置が赤外線カメラなどの他のタイプの監視カメラでもよいことを理解されたい。説明のため、検出装置は、本明細書ではビデオカメラと呼ばれる。更に、単一カメラ１２に対する言及は、カメラ１２ａ〜１２ｎに拡張されてもよい。ビデオカメラ１２ａ〜１２ｎは、空間を監視し、カメラの視野（ＦＯＶ）とＦＯＶ内で観察されたオブジェクトとに関する画像データを生成し、画像データを監視モジュール２０に伝達する。監視モジュール２０は、画像データを処理して運動イベントが生じたかどうかを判断するように構成されてもよい。運動イベントは、カメラ１２ａのＦＯＶ内で運動オブジェクトが観察されることである。運動オブジェクトが検出された後、監視モジュール２０が、運動オブジェクトの軌跡の動きに対応する観察軌跡を生成することができる。監視モジュール２０は、運動オブジェクトの挙動又は運動を分析して、異常挙動が観察されたかどうかを判定する。観察軌跡が異常と判定された場合は、例えば警報通知を生成することができる。また、監視モジュール２０は、ビデオ保持ポリシを管理することができ、それにより監視モジュール２０は、どのビデオを記憶すべきか、またビデオ・データストア２６からどのビデオを削除すべきかを決定する。ビデオ・データストア２６は、監視モジュール２０を収容する装置（例えば、レコーダ）に含まれてもよく、ネットワークを介して装置に接続されたコンピュータ可読媒体でもよい。
【００１５】
図２は、監視モジュール２０の例示的な成分を示す。ビデオカメラ１２は、ビデオカメラ１２のＦＯＶ内に観察されたシーンに対応する画像データを生成する。例示的なビデオカメラ１２ａは、画像データに対応するメタデータを生成するメタデータ生成モジュール２８を含む。あるいは、メタデータ生成モジュール２８が監視モジュール２０に含まれてもよいことを想起されたい。データ・マイニング・モジュール３０は、メタデータを受け取り、運動オブジェクトの観察軌跡を決定する。観察軌跡は、カメラのＦＯＶ内の様々な時空位置における運動オブジェクトの速度と加速度を含むことができるが、これらに限定されない。運動データ（例えば、速度と加速度）は、カメラのＦＯＶに対するものであることを理解されたい。したがって、速度は、単位時間当たりのカメラのＦＯＶに対する画素／秒又は同等の距離基準で表されてもよい。複数の運動オブジェクトをカメラのＦＯＶ内で観察することができ、したがって、複数の観察軌跡が、データ・マイニング・モジュール３０によって生成されることがあることを理解されたい。
【００１６】
最終的には、生成された軌跡を使用して異常挙動の存在を判定してもよい。しかしながら、この開示の態様では、軌跡は、処理モジュール３２に伝達される。処理モジュール３２は、軌跡を受け取り、カメラのＦＯＶ内で観察された運動オブジェクトに対応する速度マップ、加速度マップ、及び／又は出現マップを生成するように構成されてもよい。処理モジュール３２は、更に、生成されたマップがより豊富なデータセットに基づくように、追加の運動データを補間するように構成されてもよい。処理モジュール３２は、更に、ＦＯＶ内で観察された空間の画像を、空間の鳥瞰図などの第２の画像に変換する変換行列を決定するように構成される。変換モジュール３２は、カメラに対する観察運動データを使用して変換行列を生成する。変換行列は、マイニング・メタデータ・データストア３６に様々なメタデータと共に記憶されてもよい。マイニング・メタデータ・データストア３６は、記録モジュール２０によって使用されるメタデータ、運動データ、融合データ（fused data）、変換行列、三次元オブジェクト、及び他のタイプのデータを含む、様々なタイプのデータを記憶する。
【００１７】
較正モジュール３４は、変換行列を較正し、それにより第１の画像から第２の画像への変換が最適化される。較正モジュール３４は、処理モジュール３２又は記憶装置（例えば、マイニング・データ・データストア３６）から変換行列を受け取る。較正行列は、第１の画像を受け取り、その画像にコンピュータ生成オブジェクトを埋め込む。更に、較正モジュール３４は、コンピュータ生成オブジェクトの軌跡を追跡するように構成されてもよい。次に、較正モジュール３４は、埋め込みコンピュータ生成オブジェクトを有する画像を変換する。次に、較正モジュール３４は、変換空間内の埋め込みコンピュータ生成オブジェクトとその軌跡を評価し、コンピュータ生成オブジェクトが空間内で「運動」したかどうかを確認する。較正モジュール３４は、変換されたコンピュータ生成オブジェクトを元のコンピュータ生成オブジェクトと比較し、変換行列が第１の画像を第２の画像に正確に変換したかどうかを判定する。これは、オブジェクト自体及び／又はオブジェクトの運動を比較することによって達成される。変換行列が画像を正確に変換しない場合は、変換行列の値が、較正モジュール３４によって調整される。
【００１８】
監視モジュール２０とその構成要素が、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭ、ハード・ディスク・ドライブなどのコンピュータ可読媒体に埋め込まれたコンピュータ可読命令として実施されてもよいことを想起されたい。更に、命令は、ビデオ監視システムと関連付けられたプロセッサによって実行可能である。更に、監視モジュールの構成要素又は副構成要素の幾つかが、専用ハードウェアとして実施されてもよい。
【００１９】
メタデータ生成モジュール２８は、画像データを受け取り、画像データに対応するメタデータを生成する。メタデータの例には、運動オブジェクト識別子、運動オブジェクトを取り囲むバウンディング・ボックス、バウンディング・ボックス上の特定の点（例えば、左上角又は中心点）の（ｘ，ｙ）座標、バウンディング・ボックスの高さと幅、及びフレーム数又はタイムスタンプが挙げられるが、これらに限定されない。図３Ａは、カメラのＦＯＶ内のバウンディング・ボックス３１０の例を示す。左上角は、バウンディング・ボックスの基準点又は位置として使用されることが分かる。また図には、バウンディング・ボックス３１０の（ｘ，ｙ）座標、高さ及び幅を含む、抽出することができるメタデータの例が示されている。軌跡は、必ずしもメタデータではなく、運動オブジェクトの経路を示すためにだけに示される。更に、ＦＯＶは、複数のセルに分割されてもよい。図３Ｂは、５ｘ５グリッド（即ち、２５個のセル）に分割された例示的なＦＯＶを示す。参考のため、バウンディング・ボックスと運動オブジェクトも示される。ＦＯＶがグリッドに分割されるとき、運動オブジェクト又はバウンディング・ボックス上の特定の点があるセルによって、運動オブジェクトの位置を参照することができる。更に、カメラの特定のセル又は領域のメタデータの時系列をデータ・キューブにフォーマットすることができる。更に、各セルのデータ・キューブは、運動オブジェクトがそれらのセルを通過するときに運動オブジェクトから得られる観察された運動及び出現サンプルに関する統計を含んでもよい。
【００２０】
運動イベントが検出されるたびに、タイムスタンプ又はフレーム番号を使用して運動オブジェクトを時間的に順序付けることができることが分かる。各イベントで、特定のフレーム又はタイムスタンプのメタデータが生成されてもよい。更に、全てのフレーム又はタイムスタンプのメタデータを順序付きタプルにフォーマットすることができる。例えば、以下は、一連の運動イベントを表すことができ、ここで、運動オブジェクトに対応するメタデータのタプルが、次のようにフォーマットされる。＜ｔ，ｘ，ｙ，ｈ，ｗ，ｏｂｊ＿ｉｄ＞：
＜ｔ1，５，５，４，２，１＞，＜ｔ2，４，４，４，２，１＞，．．．＜ｔ5，１，１，４，２，１＞
【００２１】
ｉｄタグ１を有し、高さ４単位と幅２単位のバウンディング・ボックスを有する運動オブジェクトが、５つのサンプルで点（１，１）から点（５，５）まで移動したことが分かる。運動オブジェクトは、１組の時空座標によって定義される。また、メタデータを生成するメタデータ生成モジュール２８が、現在既知又は後で開発される、画像データからメタデータを生成する任意の手段を使用できることを理解されたい。
【００２２】
更に、ＦＯＶは、複数のセルに分割されたグリッドオーバレイを有することができる。図３Ｂは、５ｘ５グリッド（即ち、２５個のセル）に分割された例示的なＦＯＶを示す。参考のため、バウンディング・ボックスと運動オブジェクトも示される。ＦＯＶがグリッドに分割されたとき、運動オブジェクト又はバウンディング・ボックス上の特定の点があるセルによって運動オブジェクトの位置を参照することができる。
【００２３】
更に、この開示の態様では、メタデータ生成モジュール２８は、複数のグリッドに対する運動オブジェクトの時空的位置を記録するように構成されてもよい。下に示されるように、運動オブジェクトの位置を複数のグリッドに関して追跡することにより、変換モジュール３２は、運動データをより正確に補間することができる。
【００２４】
図４は、オブジェクトの動きを追跡するために使用される複数グリッドの例を示す。図から分かるように、それぞれ対応するグリッドを有する同じシーンの３つのＦＯＶが描かれている。ＦＯＶ４０２は４ｘ４グリッドを有し、ＦＯＶ４０４は３ｘ３グリッドを有し、ＦＯＶ４０６は８ｘ８グリッドを有する。ＦＯＶ４０８は、３つ全てのグリッドが互いに重ねられた視野である。各ＦＯＶで分かるように、オブジェクトは、位置４１０で始まり位置４１２で終わる。メタデータ生成モジュール２８は、オブジェクトが特定の時間に各グリッド内のどのセルにあるかを識別することによってオブジェクトの動きを追跡する。図４の例で分かるように、各運動イベントで、メタデータ生成モジュール２８は、各グリッドに対するオブジェクトの場所に対応する３つのセル識別子を出力することができる。
【００２５】
メタデータ生成モジュール２８は、メタデータから外れ値を除去するように構成されてもよい。例えば、受け取った特定の時間サンプルのメタデータが、残りのメタデータと一致しない場合は、メタデータ生成モジュール２８は、そのサンプルが外れ値であると判断し、そのサンプルをメタデータから除去する。
【００２６】
メタデータ生成モジュール２８は、生成されたメタデータを、メタデータ・マイニング・ウエアハウス３６とデータ・マイニング・モジュール３０に出力する。メタデータ生成モジュール２８は、また、メタデータを変換モジュール３８に伝達し、変換モジュール３８は、空間の画像を変換し、変換画像を監視モジュール４０に伝達する。
【００２７】
図５は、データ・マイニング・モジュール３０の例示的な構成要素を示す。データ・マイニング・モジュール３０は、メタデータ生成モジュール２８又はマイニング・メタデータ・データストア３６からメタデータを受け取る。例示的なデータ・マイニング・モジュール３０は、ベクトル生成モジュール５０、外れ値検出モジュール５２、速度計算モジュール５４、及び加速度計算モジュール５６を含む。
【００２８】
ベクトル生成モジュール５０は、メタデータを受け取り、生成されるベクトルの量を決定する。例えば、２つのオブジェクトが、単一シーン内で動いている場合は、２つのベクトルが生成される。ベクトル生成モジュール５０は、所定量までの軌跡ベクトルを記憶するベクトル・バッファを有することができる。更に、ベクトル内のエントリの量が、運動オブジェクトが検出されたフレーム又はタイムスタンプ付きフレームの量と等しいとき、ベクトル生成モジュール５０は、各ベクトルに対して運動オブジェクトに対応する適切な量のメモリを割り当てることができる。ベクトル生成が実時間で行われた場合、ベクトル生成モジュール５０は、新しいメタデータを受け取ったときに軌跡内の新しい点に対して追加メモリを割り当てることができる。また、ベクトル生成モジュール５０は、位置データ及び時間データを軌跡ベクトルに挿入する。位置データは、メタデータから決定される。位置データは、実際の（ｘ，ｙ）座標で、又は運動オブジェクトが観察されたセルの識別によってリストされてもよい。
【００２９】
外れ値検出モジュール６６は、様々な時間サンプリング時に、軌跡ベクトルを受け取り、運動オブジェクトの値を読み取る。外れ値は、データセットの残りの部分と一致しないデータ・サンプルである。例えば、運動オブジェクトが、サンプルｔ１及びｔ３ではＦＯＶの左上角で検出されたが、サンプルｔ２では右下角にあった場合、外れ値検出モジュール５２は、時間ｔ２の時間サンプルが外れ値であると判定することができる。外れ値検出モジュール内に任意の外れ値検出手段が実現されてもよいことを想起されたい。更に、後述するように、外れ値が検出された場合は、他のデータ・サンプルに基づいて運動オブジェクトの位置が補間されてもよい。外れ値検出モジュール５２が任意の外れ値決定手段を実施できることを想起されたい。
【００３０】
速度計算モジュール５４は、様々な時間サンプルおける運動オブジェクトの速度を計算する。各時間セクションにおける速度が、速度ベクトルの方向と大きさの２つの成分を有することを理解されたい。大きさは、運動オブジェクトの速度に関連する。ｔcurrでの軌跡の速度ベクトルの大きさ、即ち運動オブジェクトの速度を次の式で計算することができる。
【００３１】
【数１】
2013520723.tif 000003
【００３２】
あるいは、速度ベクトルの大きさは、その個々の成分で次のように表れてもよい。
【００３３】
【数２】
2013520723.tif 000004
【００３４】
更に、データ・セル表現が使用される場合、即ち、運動オブジェクトの位置が、運動オブジェクトが中で見つかったデータ・セルによって定義される場合は、データ・セル又はセル識別子に対応する所定の（ｘ，ｙ）値を実際の位置の代わりに使用することができることを理解されたい。更に、複数のグリッドが実施された場合は、運動オブジェクトの位置と速度を、複数のグリッドに対して、即ち各グリッドの個別の表現に関して表すことができる。計算された速度は、カメラのＦＯＶと相対的、例えば１秒当たりの画素数になることを理解されたい。これにより、２つのオブジェクトが、同じ速度又は類似の速度で運動しているという事実にもかかわらず、遠くにあるオブジェクトは、カメラに近いオブジェクトより遅く見える。更に、相対速度を計算する他の手段を実施できることを想起されたい。
【００３５】
各データ・セルを所定のサブセル（例えば、８個の八分円）に分割することによって、速度ベクトルの方向を、データ・セル内のその方向に対して表すことができる。図６は、８個の八分円１〜８に分割されたデータ・セル７０の例を示す。ｔcurrサンプルとｔcurr+1サンプルの間の軌跡の方向により、軌跡がどの八分円に入るかを決定することによって方向を近似させることができる。例えば、ほぼＮＮＥの任意の方向、例えば実質的に上方で僅かに右方向に運動する軌跡には、参照６２によって示されたような単一軌跡方向を与えることができる。したがって、データ・セル八分円の識別子と大きさによって、データ・セルの任意の速度ベクトルを表すことができる。
【００３６】
加速度計算モジュール５６は、速度計算モジュール５４と実質的に同じように動作する。位置値の代わりに、様々な時間サンプルでの速度ベクトルの大きさを使用することができる。したがって、加速度を次の式によって計算することができる。
【００３７】
【数３】
2013520723.tif 000005
【００３８】
あるいは、加速度ベクトルの大きさは、個々の成分で次のように表されてもよい。
【００３９】
【数４】
2013520723.tif 000006
【００４０】
方向に関して、加速度ベクトルの方向は、速度ベクトルと同じ方向でもよい。しかしながら、運動オブジェクトが減速又は回転している場合は、加速度ベクトルの方向は、速度ベクトルの方向と異なることを理解されたい。
【００４１】
データ・マイニング・モジュール３０は、更に、各セルのデータ・キューブを生成するように構成されてもよい。データ・キューブは多次元配列であり、配列の各要素が、異なる時間に対応する。データ・キューブ内のエントリは、対応する時間に特定のセル内で観察された運動データを含んでもよい。したがって、セルのデータ・キューブには、時間の経過により観察された様々な運動オブジェクトの速度と加速度が記録されてもよい。更に、データ・キューブは、最小バウンディング・ボックスのサイズなど、運動オブジェクトの予想属性を含んでもよい。
【００４２】
運動オブジェクトの軌跡ベクトルが生成された後で、ベクトルは、メタデータ・マイニング・ウエアハウス３６に記憶されてもよい。
【００４３】
処理モジュール３２は、観察された空間の画像を第２の画像に変換する変換行列を決定するように構成される。図７は、処理モジュール３２の例示的な構成要素を示す。
【００４４】
第１のデータ補間モジュール７０は、データ・マイニング・モジュール３０又はマイニング・メタデータ・データストア３６から軌跡ベクトルを受け取り、関連した不完全な運動データを有するセルのデータを補間するように構成される。補間された運動データは、決定された後、軌跡の観察運動データに含まれる。
【００４５】
データ融合モジュール７２は、補間された運動データを含む観察運動データを受け取り、複数の観察軌跡の運動データを組み合わせるように構成される。データ融合モジュール７２の出力は、少なくとも１つの速度マップ、少なくとも１つの加速度マップ、及び少なくとも１つの出現マップを含むがこれらに限定されず、運動データが定義されたグリッドに対して様々なマップが定義される。
【００４６】
変換モジュール７４は、融合データを受け取り、それに基づいて変換行列を決定する。幾つかの実施形態では、変換モジュール７４は、空間に対する運動オブジェクトの一定速度などの特定の仮定により変換行列を決定する。監視システムは、変換行列を使用して、空間の視野を第２の視野（例えば、鳥瞰図）に「回転させる」ことができる。変換モジュール７４は、更に、実際に空間の画像を第２の画像に変換するように構成されてもよい。第１の画像は、変換又は回転されると表現されるが、変換は、変換空間内の運動オブジェクトを追跡するように実行されてもよいことを理解されたい。したがって、オブジェクトの運動が追跡されるとき、観察空間の代わりに変換空間内で追跡されてもよい。
【００４７】
第１のデータ補間モジュール７０は、不完全なデータを有するセルのデータを補間するように構成されてもよい。図８は、不完全なデータセットと補間の例を示す。図８に示されたＦＯＶは、図４に示されたＦＯＶに対応する。枠内の矢印は、図４に示された運動オブジェクトの速度ベクトルを表す。
【００４８】
各運動イベントが、あるフレームから別のフレームへの変化に対応することができることが分かる。したがって、運動データがサンプリングされるとき、観察軌跡は、様々な時点で取得されたサンプルからなる可能性が高い。したがって、運動オブジェクトが特定のセル内を通過しているときにはサンプルが取得されないので、運動オブジェクトが通過した特定のセルにデータが関連付けらないことがある。例えば、ＦＯＶ４０２内のデータは、枠（０，０）、（２，２）及び（３，３）内に速度ベクトルを含む。しかしながら、枠（０，０）〜（２，２）を得るには、軌跡はカラム１を通っていなければならない。第１のデータ補間モジュール７０は、データを補間するセルと、ベクトルの大きさとを決定するように構成される。第１のデータ補間モジュール７０によって行われる補間は、第１の前のセルと第１の次のセルからのデータを平均化して不完全なデータを含むセルのデータを決定することによって実行することができる。代替実施形態では、軌跡の運動データに線形回帰を実行するような他の統計的手法を実行して、不完全なデータを含むセルのデータを決定することができる。
【００４９】
第１のデータ補間モジュール７０は、１つのグリッド又は多数のグリッドを使用してデータを補間するように構成されてもよい。他のデータ補間手法を使用することも想起されたい。
【００５０】
第１のデータ補間モジュール７０がデータを補間した後で、データ融合モジュール７２は、複数の運動オブジェクトからデータを融合することができる。データ融合モジュール７２は、メタデータ・マイニング・データストア３６、又は第１のデータ補間モジュール７０やそれに関連したメモリ・バッファなどの別のソースから複数の軌跡からの運動データを取得することができる。幾つかの実施形態では、データ融合モジュール７２は、各セル内で観察された速度を示す速度マップを生成する。同様に、加速度マップを生成することができる。最後に、特定のセル内で観察された運動オブジェクトの量を示す出現マップを生成することができる。更に、データ融合モジュール７２は、各グリッドの速度マップ、加速度マップ、及び／又は出現マップを生成することができる。各マップが、各セルのエントリを有するデータ構造として構成されてもよく、各エントリが、各セルの運動データを示すリスト、配列、又は他の手段を有することを理解されたい。例えば、４Ｘ４グリッドの速度マップは、１６個のエントリを有するデータ構造から構成されてもよく、各エントリは、特定のセルに対応する。各エントリは、速度ベクトルのリストで構成されてもよい。更に、速度ベクトルは、単純な三角方程式を使用してベクトルのｘ成分とｙ成分に分解されてもよい。
【００５１】
図９は、例示的な速度マップを示す。マップが、１６個のセルからなることが分かる。各セルでは、セル内で観察された軌跡の成分ベクトルが示される。この例から分かるように、上方向を指す速度ベクトルは、ＦＯＶの下部の近くで上部より大きい大きさを有する。これは、ＦＯＶの下部が、空間内で、ＦＯＶの上部に対応する空間内の領域よりカメラに近い可能性の高い領域に対応することを示す。データ融合モジュール７２が、速度マップと似た加速度マップを生成してもよく、矢印が、セル内で観察された加速度ベクトルを指定することを理解されたい。出現マップは、セルと、特定の期間中にセル内に観察された運動オブジェクトの数を示す数とによって表すことができる。融合データ（例えば、生成されたマップ）は、マイニング・メタデータ・データストア３６に記憶されてもよい。
【００５２】
更に、データ融合モジュール７４は、各セルの支配的流れ方向を計算するように構成されてもよい。各セルについて、データ融合モジュールは、関連した速度ベクトルを調べ、セルと関連した全体の流れを決定することができる。これは、特定のセルに関して各方向の速度ベクトルの数を数えることによって達成することができる。前述したように、ベクトルの方向は、前に図６に示されたようにセルを１組の八分円に分割することによって近似させることができる。
【００５３】
支配的流れ方向が決定された後、データ融合モジュール７２は、速度マップからセルの支配的流れ方向でない全てのベクトルを除去する。図１０は、図９に一致し、非支配的流れ方向ベクトルが除去された後の速度マップ１０２を示す。特定の実施形態では、支配的流れ方向ベクトルだけを有する単純化された速度マップは、後述する計算において、システムの計算複雑さを軽減するために使用される。更に、幾つかの実施形態では、データ融合モジュール７２は、更に、支配的流れ方向の運動ベクトルの大きさ（例えば、速度と加速度）を決定するように構成される。これは、支配的流れ方向の平均速度又は加速度の計算を含む様々な方法で達成することができる。支配的流れ方向ベクトルは、更に、それぞれのｘ成分及びｙ成分ベクトルに分解されてもよい。例えば、特定のセルの支配的流れ方向速度ベクトルの成分は、以下の式によって計算することができる。
ｖｘ＝ｖｍ＊ｓｉｎ（α）  （５）
ｖｙ＝ｖｍ＊ｃｏｓ（α）  （６）
ここで、ｖｍは、支配的流れ方向速度ベクトルの大きさであり、αは、方向ベクトルの角度である。
【００５４】
更に、幾つかの実施形態では、多数のセル（例えば、２５６個のセルを有する１６ｘ１６グリッド）が使用される場合、データ融合モジュール７２は、セルをより大きいセル（例えば、１６個のセルを有する４ｘ４グリッド）にマージしてもよいことを理解されたい。小さいセルを大きいセルに単純に挿入して、大きいセル内の単一セルとして処理できることを理解されたい。図１１は、データ・セルをマージする例を示す。この図では、グリッド１１０は、１６ｘ１６グリッドである。また、グリッド１１０には、左上角に１６個のセルを有するサブグリッド１１２が示される。データ融合モジュール７２は、データを上のサブグリッドからグリッド１１４の左上セル１１６に挿入する。図で分かるように、サブグリッド１１２は、グリッド１１４の左上セル１１６にマージされ、その結果、サブグリッド１１２からのデータが、あたかも単一セル１１６内にあるかのように扱われる。データ融合モジュール７４は、第１のグリッド内のセルの残りの部分にこの操作を実行し、それにより、第１のグリッド１１２から第２のグリッド１１４にデータがマージされる。前述のグリッドサイズが、例であり、限定するものでないことを理解されたい。更に、グリッドは、正方形でなくても長方形（例えば、４ｘ３グリッドにマージされる１６ｘ１２グリッド）でもよい。
【００５５】
図１２は、データ融合モジュール７２が実行することができる例示的な方法を示す。データ融合モジュール７２は、ステップ１２０２で示されたように、所望の量のセルを有する運動データ・マップ（例えば、速度マップ）を生成する。説明のため、運動データ・マップは、速度マップであると仮定される。前述したように、速度データ・マップは、運動データ・マップの各セルにエントリを有する配列などのデータ構造でよい。
【００５６】
次に、ステップ１２０４で示されたように、データ融合モジュール７２は、特定の時間期間、マイニング・メタデータ・データストア３６から軌跡データを取得する。システムは、所定の時間期間にのみ生じる軌跡だけを分析するように構成されてもよいことを理解されたい。したがって、データ融合モジュール７２は、複数の速度マップを生成してもよく、各マップは異なる時間期間に対応し、この異なる時間期間は、以下で「スライス」と呼ばれる。各マップは、そのスライス（即ち、マップに対応する時間期間）によって識別することができる。
【００５７】
軌跡データを取得した後で、データ融合モジュール７２は、速度ベクトルを速度マップのセルに挿入することができ、これは、ステップ１２０６に対応する。更に、データ融合モジュール７２が、データ・セルをマージするように構成された場合、これは、ステップ１２０６で同様に行われてもよい。これは、図１１の例で示されたように、軌跡データを定義するために使用されたセルをマップのもっと大きいセルにマッピングすることによって行うことができる。
【００５８】
データが、速度マップのセルに挿入された後、ステップ１２０８で示されたように、データ融合モジュール７２は、各セルの支配的流れ方向を決定することができる。データ融合モジュール７２は、セル内の各速度ベクトルを分析し、セル内の各方向の数を維持する。最も多い速度ベクトルが対応する方向が、セルの支配的流れ方向として決定される。
【００５９】
支配的流れ方向が決定された後、ステップ１２１０に示されたように、各セルの支配的流れ方向速度ベクトルを計算することができる。前述したように、このステップは、多くの方法で達成することができる。例えば、支配的流れ方向に向けられた速度ベクトルの平均の大きさを計算することができる。あるいは、支配的流れ方向速度ベクトルの大きさとして、中間の大きさを使用するか、最大又は最小の大きさを使用することができる。更に、支配的流れ方向速度ベクトルは、その成分ベクトルに分解されてもよく、ステップ１２１２に示されたように、ｘ方向のベクトルとｙ方向のベクトルによって表される。２つのベクトルの和が、方向と大きさの両方で支配的流れ方向速度ベクトルと等しいことを理解されたい。
【００６０】
前述の方法は、データ融合の一例である。記載されたステップは、所定の順序で実行されなくてもよく、他の順序で実行されてもよいことを想起されたい。更に、ステップのうちの幾つかは、同時に実行されてもよい。更に、ステップの全てが必要とは限らず、追加のステップが実行されてもよい。以上の説明は、速度マップの生成に関して述べたが、この方法を使用して加速度マップを決定することもできることを理解されたい。
【００６１】
データ融合モジュール７２は、更に、出現マップを生成するように構成されてもよい。ステップ１２０８に示されたように、方向を数えているとき、別個のカウントは、各セル内で観察されたベクトルの総数になるように維持されてもよい。したがって、各セルには、更に出現の総数が関連付けられてもよく、これを出現マップとして使用することができる。
【００６２】
特定のセルのデータをマージした後で、特定のセルのデータは、＜ｃｎ，ｒｎ，ｖｘcn,rn，ｖｙcn,rn，ｓｎ＞によって表すことができ、この場合、ｃｎはセルの列番号であり、ｒｎはセルの行番号であり、ｖｘcn,rnは、セルの支配的流れ方向速度ベクトルのｘ成分であり、ｖｘcn,rnは、セルの支配的流れ方向速度ベクトルのｙ成分であり、ｓｎはスライス番号である。前述したように、スライス番号は、軌跡ベクトルが取得された時間期間に対応する。更に、含まれることがある追加のデータは、支配的流れ方向の加速度ベクトルの加速度ベクトルｘ及びｙ成分と、セル内の出現数である。例えば、特定のセルの融合データは、更に、＜ｃｎ，ｒｎ，ｖｘcn,rn，ｖｙcn,rn，ａｘcn,rn，ａｙcn,rn，ｏｎ，ｓｎ＞によって表すことができる。
【００６３】
データ融合モジュール７２は、更に、各セルの４組の係数を決定するように構成されてもよく、それにより各セルは、セルの角に対応する４つの係数を有する。データ融合モジュール７２は、セルの支配的流れ方向速度ベクトルを使用して、その特定のセルの係数を生成する。図１３は、４ｘ４グリッド１３０を示し、各セルの１組の係数は、その対応する角に示される。図は、各セルが９０度の角度で整列しているグリッド１２０を示すが、各セルの形状が著しく傾斜されてもよいことは明らかである。各セルの頂点又は座標は、以下の値によって計算することができる。
Ｘ１＝ｖｘ0,0
Ｘ２＝ｖｘ1,0
Ｘ３＝ｖｘ3,0
Ｘ４＝ｖｘ4,0
Ｙ１＝ｖｙ0,0
Ｙ２＝ｖｙ1,0
Ｙ３＝ｖｙ2,0
Ｙ４＝ｖｙ3,0
Ｘ５＝ｖｘ0,1
Ｘ６＝ｖｘ1,1
Ｘ７＝ｖｘ2,1
Ｘ８＝ｖｘ3,1
Ｙ５＝ｖｙ0,1
Ｙ６＝ｖｙ1,1
Ｙ７＝ｖｙ2,1
Ｙ８＝ｖｙ3,1
Ｘ９＝ｖｘ0,2
Ｘ１０＝ｖｘ1,2
Ｘ１１＝ｖｘ3,2
Ｘ１２＝ｖｘ4,2
Ｙ９＝ｖｙ0,2
Ｙ１０＝ｖｙ1,2
Ｙ１１＝ｖｙ2,2
Ｙ１２＝ｖｙ3,2
Ｘ１３＝ｖｘ0,3
Ｘ１４＝ｖｘ1,3
Ｘ１５＝ｖｘ3,3
Ｘ１６＝ｖｘ4,3
Ｙ１０＝ｖｙ0,3
Ｙ１１＝ｖｙ1,3
Ｙ１２＝ｖｙ2,3
Ｙ１３＝ｖｙ3,3
【００６４】
ｖｘa,bは、第ａ列と第ｂ行の支配的流れ方向速度ベクトルのｘ成分の絶対値であり、ｖｙa,bは、第ａ列と第ｂ行の支配的流れ方向速度ベクトルのｙ成分の絶対値である。最初の列が列０あり、最上の行が行０であることを理解されたい。以上の説明は例であり、更に、述べた構成を使用して様々な寸法のグリッドを決定できることを理解されたい。
【００６５】
データ融合モジュール７２が、各セルの支配的流れ方向に対応する座標を生成した後で、変換モジュール７４は、各セルの変換行列を決定する。セルの変換行列は、観察空間の画像（即ち、カメラのＦＯＶ内で観察された空間に対応する画像）を、空間の異なる視点に対応する別の画像に変換するために使用される。
【００６６】
データ融合モジュール７２は、更に、運動オブジェクトの実際の運動データを決定するように構成されてもよい。即ち、観察された運動データから、データ融合モジュール７２は、空間に対するオブジェクトの絶対速度又は加速度を決定することができる。更に、データ融合モジュール３２は、観察運動データ及び／又は実際の運動データに基づいて、カメラの角度（例えば、カメラのパン及び／又はチルト）を決定するように構成されてもよい。
【００６７】
この実施形態では、変換モジュール７４は、セルの支配的流れ方向を含む融合データと、セルの支配的流れ方向速度に対応する座標とを受け取る。次に、変換モジュール７４は、セルの論理座標を計算する。セルの論理座標は、平均運動オブジェクトの想定速度とセルの支配的流れ方向に基づく。例えば、カメラが歩道を監視している場合、想定速度は、平均的歩行者の速度（例えば、１．８ｍ／ｓ）に対応する。カメラが駐車場を監視している場合、想定速度は、駐車場状況における車両の平均速度（例えば、１５ｍｐｈ又は７．７ｍ／ｓ）に対応することができる。
【００６８】
平均速度をハードコードしてもよく、監視システムの使用全体にわたって適応的に調整してもよいことを理解されたい。更に、オブジェクト検出技術は、較正に使用される軌跡が全て同じオブジェクトタイプに対応することを保証するように実施されてもよい。
【００６９】
変換モジュール７４は、セルの支配的流れ方向と想定速度ｖａを使用して、想定速度のｘ成分とｙ成分の絶対値を決定する。支配的流れ方向の角度αをｘ軸に対してとると仮定すると、以下の式を使用してｘ成分とｙ成分を得ることができる。
ｖｘ’＝ｖａ＊ｓｉｎ（ａ）  （７）
ｖｙ’＝ｖａ＊ｃｏｓ（ａ）  （８）
この場合、ｖａが想定速度であり、αは、ｘ軸（又は、任意の水平軸）に対するセルの支配的流れ方向の角度である。成分ベクトルを計算した後で、次のように論理座標を行列Ｂ’に挿入することができる。
【００７０】
【数５】
2013520723.tif 000007
【００７１】
また、セルの計算された座標、即ち、セルの支配的流れ方向速度ベクトルに基づくセルの座標を、次のように行列Ｂに挿入してもよい。
【００７２】
【数６】
2013520723.tif 000008
【００７３】
２つの行列Ｂ及びＢ’を使用することにより、セルＡの変換行列を解くことができる。変換行列Ａを以下のように定義できることを理解されたい。
【００７４】
【数７】
2013520723.tif 000009
【００７５】
Ａの値は、以下の式を使用することにより解くことができる。
【００７６】
【数８】
2013520723.tif 000010
【００７７】
【数９】
2013520723.tif 000011
【００７８】
ここで、ｘi’とｙi’は、Ｂ’のｉ番目の要素の座標値であり、ｘiとｙiは、Ｂのｉ番目の要素の座標値であり、ここで、ｉ＝［１，２，３，４］であり、１は左上要素であり、２は右上要素であり、３は右上要素であり、４は右下要素である。連立方程式を利用して変換行列Ａの要素を解くことができる。
【００７９】
変換モジュール７４は、各特定セルの融合データを使用することによって各セルに以上のステップを実行して、セルの変換行列を決定することができる。したがって、４ｘ４グリッドが使用される例では、１６個の個別の変換行列が生成される。更に、変換モジュール７４は、各セルに対応する変換行列をマイニング・メタデータ・データストア３６に記憶することができる。
【００８０】
代替の実施形態では、変換モジュール７４は、画像全体を変換するために単一の変換行列を決定する。代替の実施形態では、変換モジュール７４は、支配的流れ方向速度ベクトル及び／又は加速度ベクトル、及び出現マップを受け取る。
【００８１】
図１４は、単一の変換行列を決定するために変換モジュール７４によって実行されてもよい例示的な方法を示す。変換モジュール７４は、ステップ１４０２で、融合データとカメラ・パラメータを受け取る。カメラ・パラメータは、カメラに固有のパラメータであり、カメラ・メーカー又はカメラからの仕様から得られてもよい。カメラ・パラメータには、カメラレンズの焦点距離とカメラの中心点が挙げられる。カメラの中心点は、レンズの光学軸が画像と交差する画像内の位置である。この値が、ｘ値ｐxとｙ値ｐyを有することを理解されたい。また、レンズの焦点距離をそのｘ成分とｙ成分に分解することができ、ｆxが焦点距離のｘ成分であり、ｆyが焦点距離のｙ成分である。
【００８２】
次に、変換モジュール７４は、ステップ１４０４で示されたように、出現マップから最大量の出現を有するｎセルを決定する。出現マップは、融合運動データと共に受け取られる。ｎが６以上でなければならないことは明らかである。また、ｎが大きいほど変換行列が正確になるが、計算リソースが犠牲になる。ｎ個のセルのそれぞれについて、ステップ１４０６に示されたように、変換モジュール７４が、特定のセルの支配的流れ方向加速度ベクトルのｘ成分とｙ成分ベクトルを取得する。
【００８３】
ｎ個のセルに関するカメラ・パラメータと成分ベクトルを使用することにより、変換モジュール７４は、以下のように変換式を定義する。
【００８４】
【数１０】
2013520723.tif 000012
【００８５】
ここで、λは、最初１に設定され、Ｘ、Ｙ及びＺは０に設定される。Ｘ、Ｙ及びＺは、空間に対する運動オブジェクトの実際の加速度に対応する。カメラを較正するとき、一定速度を有する運動オブジェクトを使用してカメラを較正することができると仮定する。したがって、空間に対する実際の加速度は、０の加速度を有する。観察された加速度が、カメラのＦＯＶに関するものであり、０以外の値を有することがあることが分かる。更に、ｋ個の速度サンプルがある場合は、ｋ−１個の加速度サンプルがある。
【００８６】
統計的回帰を使用し、入力としてｎ個のセルの支配的流れ方向加速度の加速度成分ベクトルを使用することによって、次の値を推定することができる。
【００８７】
【数１１】
2013520723.tif 000013
【００８８】
最小自乗回帰などの他の統計的回帰推定技術だけでなく線形回帰も使用できることを理解されたい。回帰の結果は、変換行列であり、この変換行列を使用して、観察空間の画像を別の画像に変換することもでき、ある空間を別の空間に変換することもできる。
【００８９】
変換モジュール７２は、更に、変換行列が、ＦＯＶの特定の領域の十分なデータを受け取らなかったかどうかを判定するように構成されてもよい。例えば、式１４に実行された回帰が、収束結果を作成しない場合、変換モジュール７２は、追加のデータが必要であることを決定する。同様に、様々なセルの式１４からの結果が一貫しない場合、変換モジュール７２は、そのセルに追加のデータが必要であることを決定することができる。この例では、変換行列は、第２のデータ補間モジュール７４を開始する。
【００９０】
第２のデータ補間モジュール７４は、適合しない変換行列を作成した速度マップを受け取り、セルのデータ量を増大させるように構成される。これは、グリッドの分解能を高めかつ／又は他のスライスからデータを追加することによって達成される。例えば、図９を参照すると、第２のデータ補間モジュール７４は、４ｘ４グリッドを取得しデータを２ｘ２グリッドに組み合わせることもでき、８ｘ８グリッドを４ｘ４グリッドに組み合わせることもできる。第２のデータ補間モジュール７４は、また、他のタイム・スライスに対応する速度マップを取得し、２つ以上の速度マップからのデータを組み合わせることができる。速度マップは、連続タイム・スライスに対応することがあるが、組み合わされた速度マップは、連続タイム・スライスに対応しなくてもよい。例えば、類似の支配的流れ方向パターンを有する速度マップを組み合わせることができる。第２のデータ補間モジュール７４の結果をデータ融合モジュール７０に伝達することができる。
【００９１】
前述の実施形態における変換行列は、運動オブジェクトの運動属性に関する仮定をすることによって生成されるが、運動オブジェクトの実際の速度及び／又は加速を使用して変換行列を決定することもできる。このデータは、トレーニング段階で決定されてもよく、データ融合モジュール７２によって決定されてもよい。
【００９２】
処理モジュール３２が、変換行列を決定した後で、較正モジュール３４が変換行列を較正することができる。図１５に示されたような較正モジュール３４は、エミュレーション・モジュール１５２と評価適応モジュール１５４からなる。
【００９３】
エミュレーション・モジュール１５２は、アバタ１５６と呼ばれる三次元オブジェクトを生成するように構成される。アバタ１５６は、予め生成されコンピュータ可読媒体から取得されてもよく、実時間で生成されてもよい。アバタ１５６は、既知のサイズとバウンディング・ボックス・サイズを有することができる。アバタ１５６は、空間の画像の画像内の所定の位置に挿入される。画像又は単にアバタ１５６は、処理モジュール３２によって決定された変換行列を使用して変換される。一実施形態によれば、特定のセルの変換行列は、次の通りである。
【００９４】
【数１２】
2013520723.tif 000014
【００９５】
これらの実施形態では、アバタ１５６は、較正繰り返しごとに単一セル内に配置されなければならない。アバタ１５６があるセル内の各画素は、以下の式を計算して変換することができる。
X = (x * C00 + y * C01+ C02)/{x * C20 + y * C21 + C32)
Y = (x * C10 + y * C11+ C12)/{x * C20 + y * C21 + C32)
ここで、ｘとｙは、変換される第１の画像上の座標であり、ＸとＹは、変換された画素の座標である。これが、セル内の画素の幾つか又は全てに関して実行されることがあることを理解されたい。また、較正のために、各セルは対応する変換行列を使用して較正されなければならない。
【００９６】
この実施形態では、変換行列は、次のように定義される。
【００９７】
【数１３】
2013520723.tif 000015
【００９８】
これらの実施形態では、変換は、以下の式を使用して実行することができる。
【００９９】
【数１４】
2013520723.tif 000016
【０１００】
ここで、ｘとｙは、変換される画素の座標であり、ＸとＹは、変換された画素の座標である。ＸとＹを解くことによって画素は変換されることを理解されたい。
【０１０１】
アバタ１５６が変換された後、変換されたアバタ１５６の位置が、評価適応モジュール１５４に伝達される。評価適応モジュール１５４は、最初に配置されたアバタ１５６の元の空間に対する位置と、変換されたアバタ１５６の変換された空間に対する位置を受け取る。変換後、アバタ１５６のバウンディング・ボックスは、同じサイズのままでなければならない。したがって、評価適応モジュール１５４は、元のアバタ１５６と変換されたアバタ１５６のバウンディング・ボックスを比較する。変換されたアバタ１５６が元のアバタ１５６より小さい場合は、評価適応モジュール１５４は、変換行列に１より大きいスカラーを掛ける。変換されたアバタ１５６が元のアバタ１５６より大きい場合は、評価適応モジュール１５４は、変換行列に１より小さいスカラーを掛ける。２つのアバタ１５６が、実質的に同じサイズである場合、例えば互いの５％以内の場合は、変換行列が較正済みと見なされる。エミュレーション・モジュール１５２が、倍率調整された変換行列を受け取り、再び変換を実行することを理解されたい。エミュレーション・モジュール１５２と評価適応モジュール１５４が、前述のプロセスにしたがって行列を繰り返し較正してもよい。変換行列は、較正された後、マイニング・メタデータ・データストア３６に記憶されてもよく、画像及びオブジェクト変換モジュール３８に伝達されてもよい。
【０１０２】
図１を再び参照すると、画像及びオブジェクト変換モジュール３８が、カメラのＦＯＶ内で観察され監視モジュール４０によって監視される空間を変換するために使用される。画像及びオブジェクト変換モジュール３８は、画像を受け取り、その画像を変換行列を使用して変換する。変換された画像は、監視モジュール４０に伝達され、監視モジュール４０は、変換された空間内の運動オブジェクトの運動を観察することができる。変換された空間から観察することによって、運動オブジェクトの幾何学的位置だけでなく、空間に対する運動オブジェクトの速度と加速度を容易に決定できることを理解されたい。
【０１０３】
カメラを較正するとき、１つ又は複数の運動オブジェクト（例えば、人又は車両）を、一定速度でカメラのＦＯＶ内で観察された空間内で移動させることが有用なことがある。必ずしも必要でないが、一定速度の運動オブジェクトから得られた運動データによって、変換行列が正確になることがある。
【０１０４】
図１６と図１７は、画像及びオブジェクト変換モジュール３８の結果を示す。図１６では、未知のカメラ角度を有するＦＯＶに対応する画像１６０２が観察される。画像１６０２は、決定された変換行列を使用して画像を第２の画像１６０４に変換する画像及びオブジェクト変換モジュール３８に渡される。この例では、第２の画像は、第１の画像から得られた鳥瞰図視点を有する。画像内の暗い領域１６０６及び１６０８は、観察空間内のカメラのＦＯＶ内にない区分に対応するが、カメラに近い領域と接する。図１７は図１６に対応する。図１７では、アバタ１７１０は、画像１６０２に挿入された。画像及びオブジェクト変換モジュール１６０２は、画像を受け取り、オブジェクトを第２の画像１６０８に変換する。図１７のオブジェクトも観察画像でよいことを理解されたい。
【０１０５】
空間を監視するときに変換を実行することによって、監視モジュール４０による観察が大幅に改善されることを理解されたい。例えば、カメラの視野に対する速度又は加速度の代わりに運動オブジェクトの実際の速度と加速度を決定することができる。更に、カメラの視野に対するオブジェクトの位置の代わりに、静止しているか移動しているオブジェクトの幾何学的位置を決定することができる。
【０１０６】
実施形態の以上の説明は、実例と説明のために提供された。説明は、網羅的でもなく本発明を限定するものでもない。特定の実施形態の個々の要素又は特徴は、一般に、その特定の実施形態に限定されず、適用可能な場合は、特に示されず説明されない場合でも、交換可能であり、特定の実施形態で使用することができる。実施形態は多くの形で変更されてもよい。そのような変形は、本発明からの逸脱と見なされず、そのような修正は全て、本発明の範囲内に含まれるものである。
【符号の説明】
【０１０７】
１２ａ，１２ｂ，１２ｎ  センサ装置
２０  記録モジュール
２６  ビデオ・データベース
２２  グラフィカル・ユーザ・インタフェース
２４  音声／視覚警告
【図１】
2013520723.tif 000017
【図２】
2013520723.tif 000018
【図３】
2013520723.tif 000019
【図４】
2013520723.tif 000020
【図５】
2013520723.tif 000021
【図６】
2013520723.tif 000022
【図７】
2013520723.tif 000023
【図８】
2013520723.tif 000024
【図９】
2013520723.tif 000025
【図１０】
2013520723.tif 000026
【図１１】
2013520723.tif 000027
【図１２】
2013520723.tif 000028
【図１３】
2013520723.tif 000029
【図１４】
2013520723.tif 000030
【図１５】
2013520723.tif 000031
【図１６】
2013520723.tif 000032
【図１７】
2013520723.tif 000033
【国際調査報告】
2013520723.tif 000034
2013520723.tif 000035
2013520723.tif 000036
2013520723.tif 000037