(57)【要約】捜索領域を監視する際に使用するためのシステムおよび方法は、複数の撮像装置に対応する視野が定義された捜索領域を有効範囲とするために、複数の撮像装置を１つまたは複数の据付場所に設置することを含む。例えば、各撮像装置の各視野はオーバーラップする視野部分は、撮像装置の視野の約２５パーセントよりも大きく、約８５パーセントよりも小さくすることができるなど、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含むことができる。さらに、例えば、画像は、１つまたは複数のホモグラフィ変換行列を使用して融合することができる。【選択図】図１
2004531842.tif 000002
【特許請求の範囲】
【請求項１】
捜索領域の監視に使用する方法において、
複数の撮像装置のそれぞれに対応する視野を表す画像ピクセルデータの少なくとも１つのフレームを含む画像ピクセルデータの複数のフレームを提供するステップと、各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、
相互にオーバーラップする視野部分を含む少なくとも一対の撮像装置の視野に対する画像ピクセルデータ間の座標関係を示す少なくとも１つのホモグラフィ変換行列を計算することにより、画像ピクセルデータの複数のフレームを捜索領域の少なくとも一部を表す単一画像に結合するステップと
を含む方法。
【請求項２】
前記複数の撮像装置の前記視野は捜索領域全体の有効範囲を提供する、請求項１に記載の方法。
【請求項３】
オーバーラップする前記視野部分は前記撮像装置の前記視野の約２５パーセントよりも大きい、請求項１に記載の方法。
【請求項４】
オーバーラップする前記視野部分は前記撮像装置の前記視野の約８５パーセントよりも小さい、請求項３に記載の方法。
【請求項５】
少なくとも１つのホモグラフィ変換行列で計算するステップは、前記少なくとも一対の前記撮像装置においてオーバーラップする前記視野部分の共通性の複数の標識点に基づいて少なくとも１つのホモグラフィ変換行列を計算するステップを含む、請求項１に記載の方法。
【請求項６】
画像ピクセルデータの前記複数のフレームを前記捜索領域の少なくとも一部を表す単一画像に結合するステップが、大域座標系を有する単一画像に画像ピクセルデータの前記複数のフレームを融合するために前記ホモグラフィ変換行列を使用するステップをさらに含む、請求項１に記載の方法。
【請求項７】
外周エッジを有する画定された捜索領域全体を有効範囲とするために複数の撮像装置を設置するステップをさらに含み、各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする１つの視野部分を含み、オーバーラップする前記視野部分は前記撮像装置の視野の約２５パーセントよりも大きく、約８５パーセントよりも小さい、請求項１に記載の方法。
【請求項８】
オーバーラップする前記視野部分が約３５パーセントよりも大きい、請求項７に記載の方法。
【請求項９】
前記複数の撮像装置を設置するステップは、
前記外周エッジの少なくとも一部に沿って前記画定された捜索領域の少なくとも１つの領域を第１の撮像装置の視野が有効範囲とするために、前記第１の撮像装置を第１の据付場所に設置するステップと、
前記第１の撮像装置の前記視野が有効範囲としない前記画定された捜索領域の１つまたは複数の領域をその視野によって有効範囲とするために、１つまたは複数の追加の撮像装置を、適宜、前記第１の据付場所に設置するステップと、
前記第１の据付場所に設置された前記撮像装置の前記視野が有効範囲としない前記画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、１つまたは複数の追加の撮像装置を、適宜、１つまたは複数の追加の据付場所に設置するステップと
を含む、請求項７に記載の方法。
【請求項１０】
前記複数の撮像装置を設置する工程は、前記撮像装置に対する有用な有効範囲を示す前記複数の撮像装置の少なくとも１つの限定範囲を決定する工程をさらに含み、前記限定範囲は前記撮像装置の視野および前記撮像装置の解像度に基づく、請求項９に記載の方法。
【請求項１１】
移動対象物に対する移動対象物経路が得られる前記単一画像内で前記移動対象物を追跡するステップをさらに含む、請求項１に記載の方法。
【請求項１２】
前記移動対象物経路が正常か異常かを判定する工程をさらに含む、請求項１１に記載の方法。
【請求項１３】
捜索領域の監視に使用するためのシステムにおいて、
画像ピクセルデータの複数のフレームを提供するよう動作可能な複数の撮像装置であって、前記複数のフレームは前記複数の撮像装置のそれぞれに対応する視野を表す画像ピクセルデータの少なくとも１つのフレームを含み、各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする１つの視野部分を含む複数の撮像装置と、
相互にオーバーラップする視野部分を含む少なくとも一対の前記撮像装置の視野に対する画像ピクセルデータ間の座標関係を示す少なくとも１つのホモグラフィ変換行列を計算することにより、画像ピクセルデータの前記複数のフレームを前記捜索領域の少なくとも一部を表す単一画像に結合するよう動作可能なコンピューティング装置と
を含むシステム。
【請求項１４】
オーバーラップする前記視野部分は前記撮像装置の前記視野の約２５パーセントよりも大きい、請求項１３に記載のシステム。
【請求項１５】
オーバーラップする前記視野部分は前記撮像装置の前記視野の約８５パーセントよりも小さい、請求項１４に記載のシステム。
【請求項１６】
前記コンピューティング装置は、前記少なくとも一対の前記撮像装置に関してオーバーラップする前記視野部分の共通性の複数の標識点に基づいて、少なくとも１つのホモグラフィ変換行列を計算するようさらに動作可能である、請求項に１３記載のシステム。
【請求項１７】
前記コンピューティング装置は、大域座標系を有する単一画像に画像ピクセルデータの複数のフレームを融合するために前記ホモグラフィ変換行列を使用するようさらに動作可能である、請求項１６に記載のシステム。
【請求項１８】
外周エッジを有する画定画定された捜索領域全体を有効範囲とするために前記複数の撮像装置が設置され、各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする１つの視野部分を含み、オーバーラップする前記視野部分は前記撮像装置の前記視野の約２５パーセントよりも大きく、約８５パーセントよりも小さい、請求項１３に記載のシステム。
【請求項１９】
オーバーラップする前記視野部分が約３５パーセントよりも大きい、請求項１８に記載のシステム。
【請求項２０】
前記複数の撮像装置は、
前記外周エッジの少なくとも一部に沿って前記画定画定された捜索領域の少なくとも１つの領域を第１の撮像装置の視野が有効範囲とするために、第１の据付場所に設置された前記第１の撮像装置と、
前記第１の撮像装置の前記視野が有効範囲としない前記定義された捜索領域の１つまたは複数の領域をその視野によって有効範囲とするために、適宜、前記第１の据付場所に設置された１つまたは複数の追加の撮像装置と、
前記第１の据付場所に設置された前記撮像装置の前記視野が有効範囲としない前記画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、適宜、１つまたは複数の追加の据付場所に設置された１つまたは複数の追加の撮像装置と
を含む、請求項１３に記載のシステム。
【請求項２１】
前記コンピューティング装置は、前記撮像装置に対する有用な有効範囲を示す前記複数の撮像装置の少なくとも１つに対する限定範囲を決定するようさらに動作可能であり、前記限定範囲は前記撮像装置の前記視野および前記撮像装置の前記解像度に基づく、請求項２０に記載のシステム。
【請求項２２】
前記コンピューティング装置は、前記移動対象物に対する移動対象物経路が得られる前記単一画像内で移動対象物を追跡するようさらに動作可能である、請求項１３に記載のシステム。
【請求項２３】
前記コンピューティング装置は、前記移動対象物経路が正常か異常かを決定するようさらに動作可能である、請求項２２に記載のシステム。
【請求項２４】
捜索領域を監視する際に使用する方法において、
外周エッジを有する捜索領域を画定するステップと、
前記外周エッジの少なくとも一部に沿って前記画定された捜索領域の少なくとも１つの領域を第１の撮像装置の視野が有効範囲とするために前記第１の撮像装置を第１の据付場所に設置するステップと、
前記第１の撮像装置の前記視野が有効範囲としない前記画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、１つまたは複数の追加の撮像装置を、適宜、前記第１の据付場所に設置するステップと、
前記第１の据付場所に設置された前記撮像装置の視野が有効範囲としない前記画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、１つまたは複数の追加の撮像装置を、適宜、１つまたは複数の追加の据付場所に設置するステップと、を含み、
各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする１つの視野部分を含み、オーバーラップする前記視野部分が前記撮像装置の前記視野の約２５パーセントよりも大きい、方法。
【請求項２５】
前記撮像装置の前記視野は前記捜索領域全体の有効範囲を提供する、請求項２４に記載の方法。
【請求項２６】
オーバーラップする前記視野部分は前記撮像装置の前記視野の約８５パーセントよりも小さい、請求項２４に記載の方法。
【請求項２７】
前記撮像装置の１つまたは複数を設置するステップは、前記撮像装置に対する有用な有効範囲を示す少なくとも１つの前記撮像装置の少なくとも１つの計算された限定範囲に基づいて実行され、前記限定範囲が前記撮像装置の前記視野および前記撮像装置の前記解像度に基づく、請求項２４に記載の方法。
【請求項２８】
前記撮像装置のそれぞれに対応する視野を表す画像ピクセルデータの少なくとも１つのフレームを含む画像ピクセルデータの複数のフレームを提供するステップと、
画像ピクセルデータの前記複数のフレームを前記捜索領域の少なくとも一部を表す単一画像に結合するステップと
をさらに含む、請求項２４に記載の方法。
【請求項２９】
移動対象物に対する移動対象物経路が得られる前記単一画像内で前記移動対象物を追跡するステップをさらに含む、請求項２８に記載の方法。
【請求項３０】
前記移動対象物経路は正常か異常かを決定するステップをさらに含む、請求項２９に記載の方法。
【請求項３１】
捜索領域の監視に使用するためのシステムにおいて、
その外周エッジに沿って定義された捜索領域の少なくとも１つの領域を第１の撮像装置の視野が有効範囲とするために第１の据付場所に設置された前記第１の撮像装置と、
前記第１の撮像装置の前記視野が有効範囲としない前記定義された捜索領域の１つまたは複数の領域をその視野によって有効範囲とするために、適宜、前記第１の据付場所に設置された１つまたは複数の追加の撮像装置と、
前記第１の据付場所に設置された前記撮像装置の前記視野が有効範囲としない前記画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、適宜、１つまたは複数の追加の据付場所に設置された１つまたは複数の追加の撮像装置と、を含み、
各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、オーバーラップする前記視野部分は前記撮像装置の前記視野の約２５パーセントよりも大きい、システム。
【請求項３２】
前記撮像装置の前記視野は前記画定された捜索領域全体の有効範囲を提供する、請求項３１に記載のシステム。
【請求項３３】
オーバーラップする前記視野部分は前記撮像装置の前記視野の約８５パーセントよりも小さい、請求項３１に記載のシステム。
【請求項３４】
前記撮像装置の１つまたは複数の位置は、前記撮像装置に対する有用な有効範囲を示す少なくとも１つの前記撮像装置の少なくとも１つの計算された限定範囲に基づき、前記限定範囲は前記撮像装置の前記視野および前記撮像装置の前記解像度に基づく、請求項３１に記載のシステム。
【請求項３５】
画像ピクセルデータの複数のフレームを受け取るように動作可能なコンピューティング装置をさらに含み、画像ピクセルデータの前記複数のフレームは、前記撮像装置のそれぞれに対応する視野を表す画像ピクセルデータの少なくとも１つのフレームを含み、さらに前記コンピューティング装置が、画像ピクセルデータの前記複数のフレームを前記画定された捜索領域の少なくとも一部を表す単一画像に結合するようさらに動作可能である、請求項３１に記載のシステム。
【請求項３６】
前記コンピュータ装置は、前記移動対象物に対する移動対象物経路が得られる前記単一画像内で移動対象物を追跡するようさらに動作可能である、請求項３５に記載のシステム。
【請求項３７】
前記コンピュータ装置は、前記移動対象物経路が正常か異常かを決定するようさらに動作可能である、請求項３６に記載のシステム。
【請求項３８】
捜索領域の監視に使用する方法において、
捜索領域を定義するステップと、
複数の撮像装置に対応する視野が前記捜索領域全体を有効範囲とするために前記複数の撮像装置を１つまたは複数の据付場所に設置するステップと、を含み、
各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、オーバーラップする前記視野部分は前記撮像装置の前記視野の約２５パーセントよりも大きい、方法。
【請求項３９】
オーバーラップする前記視野部分は前記撮像装置の前記視野の約８５パーセントよりも小さい、請求項３８に記載の方法。
【請求項４０】
前記複数の撮像装置を前記１つまたは複数の据付場所に設置するステップは、前記撮像装置の１つまたは複数を設置するステップ、または前記撮像装置に対する有用な有効範囲を示す少なくとも１つの撮像装置の少なくとも１つの計算された限定範囲に基づいて１つまたは複数の前記撮像装置の前記視野を調節するステップを含み、前記限定範囲が前記撮像装置の前記視野および前記撮像装置の前記解像度に基づく、請求項３８に記載の方法。
【請求項４１】
複数の撮像装置のそれぞれに対応する視野を表す画像ピクセルデータの少なくとも１つのフレームを含む画像ピクセルデータの複数のフレームを提供するステップと、
画像ピクセルデータの前記複数のフレームを前記捜索領域の少なくとも一部を表す単一画像に結合するステップと
をさらに含む、請求項３８に記載の方法。
【請求項４２】
前記移動対象物に対する移動対象物経路が得られる単一画像内で移動対象物を追跡するステップをさらに含む、請求項４１に記載の方法。
【請求項４３】
前記移動対象物経路が正常か異常かを決定するステップをさらに含む、請求項４１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、参照により本明細書に組み込んだ２００１年６月２９日出願の「ＳＵＲＶＥＩＬＬＡＮＣＥ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＲＥＧＡＲＤＩＮＧ  ＳＡＭＥ」という名称の米国仮出願第６０／３０２，０２０号の特典を請求する。
【背景技術】
【０００２】
本発明は、一般に、捜索領域を監視するためのシステムおよび方法に関する。より詳細には、本発明は、移動対象物の追跡、サーベイランスなど、様々な用途における捜索領域を監視することに関する。
【０００３】
様々な状況におけるセキュリティの提供は長い間に発展してきた。従来、セキュリティ産業は主としてその人的資源に頼っている。科学技術は常に高く評価されるわけではなく、時には疑念を以って見られることがある。例えば、セキュリティ産業で最新の普遍的に受け入れられている技術変化の一つに、警備保障員間の無線通信の採用があった。
【０００４】
セキュリティ産業では既にビデオ記録が用いられているが、一般に、そのような記録はまだ普遍的には採用されていない。例えば、ビデオ記録を全く使用せず専ら人間の労力に依存する部分がセキュリティ市場の大部分を占めている。人間の労力を使用する一例としては、司法当局が実行する監視操作の大部分がある。
【０００５】
一般に、セキュリティ産業のインフラストラクチャは次のように要約することができる。第１に、セキュリティシステムは、通常、局所的に働き、効果的に協力することはない。さらに、非常に価値の高い資産は、旧式の技術システムにより不十分な保護しか受けていない。最後に、セキュリティ産業は、脅威の状況を検出し評価するために徹底的な人間集中に依存する。
【０００６】
ビデオベースの監視を実現するために、近年ではコンピュータビジョンが採用されるようになった。コンピュータビジョンは、監視画像、画像セット、またはコンピューティング装置で行った計算からの画像シーケンスから世界に関する有用な情報を自動的に抽出し、解析することのできる理論的でアルゴリズムによる基準を開発する科学である。例えば、コンピュータビジョンは、クラッターのある環境における対象物の位置識別、構成要素が確実に存在し、または仕様通りに正確に位置することを保証するための対象物の検査または測定、および／または移動対象物の位置を大域座標系に対して決定するよう移動対象物を追跡するための対象物のナビゲーションおよびローカリゼーションに使用することができる。多くの場合、コンピュータビジョンの使用法は、軍事的用途に集中され、赤外線、レーザ、およびレーダなど、非可視帯カメラを使用してきた。例えば、軍事目標の識別に重点が置かれた。
【０００７】
しかし、コンピュータビジョンは、可視帯カメラを使用した非軍事設定におけるサーベイランス用途でも使用されてきた。例えば、このようなサーベイランスシステムは、人間および車両の動きを追跡するよう対象物認識を実行するために使用される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
様々なコンピュータビジョンシステムが当技術分野では知られている。例えば、コンピュータビジョン追跡は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混成モデル（Ａｄａｐｔｉｖｅ  ｂａｃｋｇｒｏｕｎｄ  ｍｉｘｔｕｒｅ  ｍｏｄｅｌｓ  ｆｏｒ  ｒｅａｌ−ｔｉｍｅ  ｔｒａｃｋｉｎｇ）」、１９９９  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）の記事に記載されている。しかし、このような追跡または監視システムおよび方法にはさらに高度な精度が要求される。
【０００９】
さらに、監視されるべきエリアで対象物を追跡するために対象物移動検出方法が使用可能だが、一般に、このようなシステムは、脅威の状況と脅威でない状況というような正常状況と異常状況を適切に評価する方法は提供しない。一般に、既存の民間セキュリティシステムはそのような評価を実行するために主として人間の注意力と労力に依存する。
【課題を解決するための手段】
【００１０】
以下の構成要素の１つまたは複数を含む監視方法およびシステムが本明細書に記載されている。例えば、このような構成要素は、光学構成要素、コンピュータビジョン構成要素、および／または脅威評価構成要素を含むことができる。
【００１１】
例えば、光学構成要素は、撮像装置の配置、較正シーン（例えば、単一画像）への撮像装置視野の融合、および／またはそれぞれのコンピュータ支援設計またはファイルに対する較正シーンの照合を含むことができる。さらに、例えば、コンピュータビジョン構成要素は、光学構成要素によって提供された較正シーンを対象に処理される移動対象物のセグメント化および追跡を含むことができる。さらにまた、脅威査定官は、コンピュータビジョン構成要素によって提供された注釈付き軌道データから推論することができる。
【００１２】
本発明による捜索領域を監視する際に使用する方法は、画像ピクセルデータの複数のフレームを提供することを含む。画像ピクセルデータの複数のフレームは、複数の撮像装置のそれぞれに対応する視野を表す画像ピクセルデータの少なくとも１つのフレームを含む。各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含む。撮像装置の視野の約２５パーセントよりも大きなオーバーラップ、撮像装置の視野の約８５パーセントよりも小さいオーバーラップなど、相互にオーバーラップする視野部分を含む少なくとも一対の撮像装置の視野に対する画像ピクセルデータ間の座標関係を示す少なくとも１つのホモグラフィ変換行列を計算することにより、画像ピクセルデータの複数のフレームは捜索領域の少なくとも一部を表す単一画像に結合される。
【００１３】
方法の１つまたは複数の実施形態では、少なくとも一対の撮像装置でオーバーラップする視野部分の共通性の複数の目標部分に基づいて少なくとも１つのホモグラフィ変換行列を計算することができ、大域座標系を有する単一画像に画像ピクセルデータの複数のフレームを融合するためにホモグラフィ変換行列を使用して画像ピクセルデータの複数のフレームを捜索領域の少なくとも一部を表す単一画像に結合することができ、外周エッジを有する定義された捜索領域全体を有効範囲とするために複数の撮像装置を設置することができ、移動対象物に対する移動対象物経路が得られる単一画像内で移動対象物を追跡することができ、移動対象物経路が正常か異常かを決定することができる。
【００１４】
本発明による捜索領域を監視する際に使用するためのシステムは、画像ピクセルデータの複数のフレームを提供するよう動作可能な複数の撮像装置を含む。複数のフレームは、複数の撮像装置のそれぞれに対応する視野を表す画像ピクセルデータの少なくとも１つのフレームを含む。各撮像装置の各視野は、別の撮像装置の少なくとも１つの他の視野とオーバーラップする１つの視野部分を含む。システムは、オーバーラップは撮像装置の視野の約２５パーセントよりも大きいことが好ましく、オーバーラップは撮像装置の視野の約８５パーセントよりも小さいことが好ましいなど、相互にオーバーラップする視野部分を含む少なくとも一対の撮像装置の視野に対する画像ピクセルデータ間の座標関係を示す少なくとも１つのホモグラフィ変換行列で計算することにより、画像ピクセルデータの複数のフレームを捜索領域の少なくとも一部を表す単一画像に結合するよう動作可能なコンピューティング装置をさらに含む。
【００１５】
システムの１つまたは複数の実施形態では、コンピューティング装置は、少なくとも一対の撮像装置でオーバーラップする視野部分の共通性の複数の標識点に基づいて、少なくとも１つのホモグラフィ変換行列を計算するようさらに動作可能であってよく、コンピューティング装置は、画像ピクセルデータの複数のフレームを大域座標系を有する単一画像に融合するためにホモグラフィ変換行列を使用するようさらに動作可能であってよく、外周エッジを有する定義された捜索領域全体を有効範囲とするために複数の撮像装置を設置することができ、コンピューティング装置は、移動対象物に対する移動対象物経路が得られる単一画像内で移動対象物を追跡するようさらに動作可能であってよく、またコンピューティング装置は、移動対象物経路が正常か異常かを判定するようさらに動作可能であってよい。
【００１６】
捜索領域を監視する際に使用する別の方法は、外周エッジを有する捜索領域を画定すること、および外周エッジの少なくとも一部に沿って画定された捜索領域の少なくとも１つの領域を第１の撮像装置の視野が有効範囲とするために第１の撮像装置を第１の据付場所に設置することを含む。第１の撮像装置の視野が有効範囲としない画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、１つまたは複数の追加の撮像装置を、適宜、第１の据付場所に設置することができる。さらに、第１の据付場所に設置された撮像装置の視野が有効範囲としない画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、１つまたは複数の追加の撮像装置を、適宜、１つまたは複数の追加の据付場所に設置することができる。各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップする１つの視野部分を含み、オーバーラップする視野部分は、撮像装置の視野の約２５パーセントよりも大きいことが好ましい。
【００１７】
方法の１つまたは複数の実施形態では、撮像装置の視野は捜索領域全体の有効範囲を提供し、オーバーラップする視野部分は撮像装置の視野の約８５パーセントよりも小さく、撮像装置の１つまたは複数は、撮像装置に対する有用な有効範囲を示す少なくとも１つの撮像装置の少なくとも１つの計算された限定範囲に基づいて調節される（すなわち、限定範囲は撮像装置の視野および撮像装置の解像度に基づいている）。
【００１８】
本発明による捜索領域を監視する際に使用するための別のシステムは、その外周エッジに沿って画定された捜索領域の少なくとも１つの領域を第１の撮像装置の視野が有効範囲とするために第１の据付場所に設置された第１の撮像装置と、第１の撮像装置の視野が有効範囲としない定義された捜索領域の１つまたは複数の領域をその視野によって有効範囲とするために、適宜、第１の据付場所に設置された１つまたは複数の追加の撮像装置とを含む。さらに、システムは、第１の据付場所に設置された撮像装置の視野が有効範囲としない画定された捜索領域の１つまたは複数の追加の領域をその視野によって有効範囲とするために、適宜、１つまたは複数の追加の据付場所に設置された１つまたは複数の追加の撮像装置を含む。各撮像装置の各視野は別の撮像装置の少なくとも１つの他の視野とオーバーラップし、撮像装置の視野の約２５パーセントよりも大きい１つの視野部分を含む。
【００１９】
システムの１つまたは複数の実施形態では、撮像装置の視野は捜索領域全体の有効範囲を提供することができ、オーバーラップする視野部分は撮像装置の視野の約８５パーセントよりも小さいことが好ましく、撮像装置の１つまたは複数の位置は、撮像装置に対する有用な有効範囲を示す少なくとも１つの撮像装置の少なくとも１つの計算された限定範囲に基づくことができる（すなわち、限定範囲は撮像装置の視野および撮像装置の解像度に基づいている）。
【００２０】
本発明による捜索領域を監視する際に使用するさらに別の方法は、複数の撮像装置に対応する視野が捜索領域全体を有効範囲とするために、捜索領域を画定すること、および１つまたは複数の据付場所に複数の撮像装置を設置することを含む。各撮像装置の各視野は、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含む。オーバーラップする視野部分は、撮像装置の視野の約２５パーセントよりも大きい。
【００２１】
方法の１つまたは複数の実施形態では、オーバーラップする視野部分は、撮像装置の視野の約８５パーセントよりも小さいことが好ましく、複数の撮像装置の１つまたは複数は、撮像装置の有用な有効範囲を示す少なくとも１つの撮像装置の少なくとも１つの計算された限定範囲に基づいて調節することができる。
【００２２】
本発明の上記の概要は、本発明の各実施形態またはすべての実施形態を説明することを意図するものではない。添付の図面に関してなされる以下の詳細な説明と特許請求の範囲を参照することによって、本発明のより完全な理解と共に利点は明らかになり、理解されるだろう。
【発明を実施するための最良の形態】
【００２３】
本発明による様々なシステムおよび方法を、図１〜２０を参照して説明する。一般に、本発明は、１つまたは複数の異なるタイプのアプリケーションモジュール１４が使用することができるデータを提供するコンピュータビジョンシステム１２を一般的に含む監視／検出システム１０を提供する。
【００２４】
本発明は、明確に限定はしないが、監視システム（例えば、セキュリティ市場を対象とした都市監視システム）を含む様々な目的に使用することができる。例えば、このような監視システムおよびそれに関連する方法は、大きなオープンスペースの監視および不規則または不審な行動パターンのピンポイントに特に有益である。例えば、このようなセキュリティシステムは、分離された事象を報告する現在使用可能なシステムと、例えば現在は一般に人間によって実行される機能である脅威を推論し、報告することのできる自動制御された共働ネットワークとの間のギャップを埋めることができる。
【００２５】
本発明のシステム１０は、駐車場などにおける歩行者と車両の追跡など、捜索領域で移動対象物を追跡し、そのような移動対象物に関する情報を、そのような情報を受け取り、解析するよう構成された１つまたは複数のアプリケーションモジュールに提供するように動作可能なコンピュータビジョンシステム１２を含む。例えば、図２に全体的に示され、図２を参照して説明される監視システムで、コンピュータビジョンシステムは、注釈付き軌道または移動対象物経路など、特定の特徴の報告を、例えば対象物経路は正常か異常か、すなわち対象物経路が強盗またはテロリストなどのような潜在的な脅威または脅威でない事象の特徴を示すか否かの解析など、報告されたデータを評価するための脅威評価モジュールに提供することができる。
【００２６】
本明細書に記載のシステムおよび方法の様々な別個の部分は、システムまたは方法の一実施形態を形成するよう別個に、または組合わせて共に使用することができるということに留意されたい。例えば、コンピュータビジョンシステム１２は、そのシステムによって生成された情報を、セキュリティ分野を超えて様々な目的のために１つまたは複数のアプリケーションモジュール１４によって使用することができるような方法で実施される。例えば、コンピュータビジョンシステム１２を使用して収集された交通統計を、建築工事のためにアプリケーションモジュール１４によって使用することができる。
【００２７】
そのような使用例の１つとして、一年のうちの様々な日時の駐車場の利用に洞察を与えるために交通統計を使用することがある。このような洞察は、輸送手段およびセキュリティの必要性により役立つよう、監視中のオープンスペース（例えば、駐車場、道路、車庫、歩行者専用区域など）の機能上の再デザインをサポートすることができる。
【００２８】
さらに、例えば、このようなデータを、交通パターン解析、歩行者解析、ターゲット識別、および／または任意の他のタイプの対象物認識および／または追跡アプリケーションのためのモジュール１４において使用することができる。例えば、別のアプリケーションは、販売促進を目的として百貨店の顧客の道程統計を提供することを含むことができる。
【００２９】
さらに、例えば、本発明の脅威評価モジュールを、コンピュータビジョンシステム以外のデータ獲得など、完全に異なる別個のデータ獲得システムによって提供されるデータとは別個に使用することができる。例えば、脅威評価モジュールは、レーダーシステム（例えば、飛行機パターンの提供、鳥の往来の提供など）、赤外線撮像システム（例えば、それによって検出された人間の追跡の提供など）のような、捜索領域の移動対象物の対象物経路またはそれに関する他の情報を提供することのできるいかなる他のタイプのシステムによっても利用することができる。
【００３０】
本明細書において使用するように、捜索領域は、本発明によって監視されるいかなる領域であってもよい。このような捜索領域は、いかなる特定のエリアにも限定されるものではなく、その中にあるいかなる周知の対象物をも含むことができる。例えば、このような捜索領域は屋内でも屋外でも、照明されていても照明されていなくても、地上であっても空中であってもよい。捜索領域の様々な実例は、部屋、車庫、駐車場、ロビー、銀行、上空の一領域、運動場、歩行者専用区域などのような画定されたエリアを含むことができる。
【００３１】
本明細書において使用するように、移動対象物は、捜索領域内で位置を変更することができる生物または無生物の如何なるものも意味する。例えば、移動対象物は、人間（例えば、歩行者、顧客など）、飛行機、自動車、自転車、動物などを含むことができる。
【００３２】
図１に全体的に示されている監視／検出システム１０の説明的な一実施形態では、監視／検出システム１０は、図２に示される監視システム２０として使用される。監視システム２０は、場面など捜索領域の画像データを獲得し、その中の前景データなど移動対象物を識別するためにそのような画像データを処理するコンピュータビジョンシステム２２を含む。脅威評価モジュールなど評価モジュール２４に提供される画像データの少なくとも一部として対象物経路または軌道を提供するために移動対象物が追跡される。
【００３３】
一般に、コンピュータビジョンシステム２２は、捜索領域の少なくとも一部、好適には外周縁によって範囲の定められた画定された捜索領域全体の有効範囲を可視帯カメラなど複数の撮像装置３０を使用して規定する光学デザイン２８を含む。複数の撮像装置のそれぞれは、コンピュータビジョンソフトウェアモジュール３２の１つまたは複数のルーチンを実施するために、対応する視野（ＦＯＶ）の画像ピクセルデータを、画像ピクセルデータを処理することができる１つまたは複数のコンピュータ処理装置３１に提供する。
【００３４】
一般に、図３のコンピュータビジョン方法１００に示すように、捜索領域内の複数の視野に関する画像ピクセルデータを獲得するために撮像装置を設置する際（ブロック１０２）に、コンピュータビジョンモジュール３２は、複数の撮像装置の様々な視野から形成されたグローバル座標系の複合画像など、単一画像を表す画像データを獲得するために（ブロック１０４）、複数の撮像装置の複数の視野（例えば、様々なローカル座標系の視野）の画像ピクセルデータを融合させるようそのような画像データを処理する。
【００３５】
その後、捜索領域内の移動対象物（例えば、前景ピクセル）を決定するために単一画像を前景と背景にセグメント化することができる（ブロック１０６）。次いで、移動対象物経路または軌道、および関連情報（例えば、対象物経路の長さ、移動対象物の検出回数のような計算された情報など）を提供するためにそのような移動対象物を追跡することができる（ブロック１０８）。
【００３６】
光学デザイン２８は、画定された捜索領域を最適に有効範囲とする撮像装置の配列の仕様を含むことが好ましい。光学システムデザインは、リアルタイムでコンピュータビジョンアルゴリズムを実行するために必須の計算資源の仕様も含む。このようなアルゴリズムは、画像を融合するために上記のような必須のものを含み、前景情報と背景情報のセグメント化、追跡などを規定する。さらに、最適システムデザインは、システムのユーザに情報を中継するための表示ハードウェアおよびソフトウェアを含む。例えば、コンピュータビジョンアルゴリズムは、捜索領域を完全に有効範囲とするために十分な計算能力を必要とする。したがって、そのようなアルゴリズムを実行するために５００ＭＨｚのプロセッサなど、少なくともミッドエンドのプロセッサが使用されることが好ましい。
【００３７】
市販のハードウェアおよびソフトウェア開発構成要素が使用され、オープンアーキテクチャ戦略が可能になることが好ましい。例えば、市販のパーソナルコンピュータ、カメラ、および組込み型でないソフトウェアツールが使用される。
【００３８】
例えば、コンピューティング装置３１は、本発明によるコンピュータビジョンアルゴリズムおよび／または評価アルゴリズムを実行するために使用される１つまたは複数のプロセッサベースのシステム、または他の専用ハードウェアであってよい。コンピューティング装置３１は、例えば、パーソナルコンピュータなど、１つまたは複数の固定式または移動式コンピュータシステムであってよい。コンピュータシステム構成は厳密にこの通りであるよう限定するものではなく、適切な計算機能を提供することができるいかなる１つまたは複数の装置の大部分が本発明によって使用することができる。さらに、コンピュータディスプレイ、マウス、キーボード、プリンタなどのような様々な周辺装置は、コンピューティング装置３１のプロセッサと組み合わせて使用されることを意図している。コンピュータビジョンアルゴリズムを実施するために使用されるコンピュータ装置は、脅威評価など、そのアルゴリズムから得られる特性データの評価を実行するために使用される装置と同じであっても、異なっていてもよい。
【００３９】
以下で詳述するコンピュータビジョン方法１００の好ましい一実施形態では、本発明は、ピクセルレベルでマルチノーマル表示を通しての移動対象物セグメント化を実行することが好ましい。このセグメント化方法は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡に使用する活動のパターン学習動作（Ｌｅａｒｎｉｎｇ  Ｐａｔｔｅｒｎｓ  ｏｆ  ａｃｔｉｖｉｔｙ  ｕｓｉｎｇ  ｒｅａｌ−ｔｉｍｅ  ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７４７〜７６７頁、２０００年、並びにＣ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混合モデル（Ａｄａｐｔｉｖｅ  ｂａｃｋｇｒｏｕｎｄ  ｍｉｘｔｕｒｅ  ｍｏｄｅｌｓ  ｆｏｒ  ｒｅａｌ−ｔｉｍｅ  ｔｒａｃｋｉｎｇ）」、１９９９  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）に様々な有利な変形と共に記載されているセグメント化方法と類似している。この方法は、各ピクセルの混合モデルの記述を更新しながら、画像データの各新フレームの前景ピクセルを識別する。
【００４０】
次いで、ラベリングされた、または識別された前景ピクセルを、好適には結合構成要素アルゴリズムを使用して対象物として組み立てることができる。フレーム間の対象物の対応を確立すること（すなわち、追跡）は、位置とサイズの両方を組み込む線形予測の複数仮定追跡アルゴリズムを使用して達成することが好ましい。
【００４１】
カメラなど単一の撮像装置は駐車場のような大きなオープンスペース全体を有効範囲とすることができないので、全般的な認識を維持するために一貫した単一画像に様々なカメラの視野が融合される。カメラなど複数の撮像装置のこのような融合（または一般的に較正と称される）は、コンピューティングホモグラフィ行列によって達成されることが好ましい。計算は、数対のカメラの間で共通してオーバーラップする視野領域にある複数の標識点の識別に基づく。
【００４２】
脅威評価モジュール２４は、脅威分類子４８が従うフィーチャー・アセンブリ・モジュール４２を含むことが好ましい。フィーチャー・アセンブリ・モジュール４２は、対象物経路、すなわち対象物トラック、または群の経路から様々なセキュリティ関連統計を抽出する。脅威分類子４８は、特徴となる捜索領域の移動対象物など特定の対象物経路が脅威を構成するか否かを、好適にはリアルタイムで決定する。脅威分類子４８は、脅威の対象物経路と脅威でない対象物経路、もしくは脅威の事象または脅威でない事象に関する対象物経路情報を定義するために使用することができる脅威モデリング訓練モジュール４４によって支持することができる。
【００４３】
図面をさらに参照すると、本発明は、図３のコンピュータビジョン方法における画像装置の設置によって全体的に示される（ブロック１０２）異なる光学撮像デザイン２８（図２を参照のこと）をいくつでも使用することができる。しかし、本発明は、複数の撮像装置３０が他のマルチ撮像装置システムより優れた利点を得るために慎重に設置される光学デザイン２８を提供することが好ましい。本発明による好ましいカメラ設置デザインにより、セキュリティ中断の脅威の原因となりうる死角ができないようにするために監視中のオープンスペースが完全に有効範囲となるよう保証される。
【００４４】
ビデオセンサおよび複数の画像装置からのデータを処理するための計算能力は安価になりつつあり、したがってオープンスペースに対する有効範囲を提供するために大量に使用することができるが、大部分の安価なビデオセンサは高品質の対象物追跡に対処するために要求される解像度を有しない。したがって、遠方監視用途のビデオ画像装置は依然としてやや高額であり、撮像装置の数を減らすことによってシステム費用の大幅な削減を実現している。使用されるカメラは、屋外エリアで使用するために全天候型であることが好ましい。しかし、これは追加費用を生じる。
【００４５】
さらに、時には処理設備から非常に遠距離への電力供給およびビデオ信号伝送を含む据付費により、システムは最小台数のカメラの使用を余儀なくされる。例えば、各カメラの据付費は、通常、カメラ原始価格の数倍にのぼる。
【００４６】
さらに、エリアの地形（例えば、道路、並木）により、また市および建築物の条例（例えば、美観）など、他の理由により使用されるカメラの台数に制約が課せられる場合もある。
【００４７】
要約すると、上記の考慮事項に鑑みて、監視システムに許可されるカメラ台数を最低限に抑えることが好ましい。さらに、他の光学システムデザイン考慮事項は、計算資源のタイプ、コンピュータネットワーク帯域幅、およびシステムに関連する表示機能を含むことができる。
【００４８】
光学デザイン２８は、図３のブロック１０２に全体的に示され、図４に示される光学デザイン２８を提供するさらに詳細な説明的な一実施形態にある撮像装置３０の選択的な設置によって提供されることが好ましい。本明細書で使用される光学デザインは撮像装置の実際の物理的な配置、並びにそのような撮像装置のデザインプランのシミュレーションおよび提示を意味することを理解されたい。
【００４９】
光学デザインプロセス（ブロック１０２）は、捜索領域を最初に定義することによって（ブロック１２０）開始される。例えば、本明細書で既に説明した捜索領域は、駐車場、ロビー、車道、上空の一部などのような監視されるべき様々な領域のどれでも含むことができる。
【００５０】
定義された捜索領域を有効範囲とする際に使用するために複数の撮像装置が提供される（ブロック１２２）。複数の撮像装置のそれぞれは、視野を有し、以下で詳述するようにそれを表す画像ピクセルデータを提供する。
【００５１】
複数の撮像装置は、本発明で使用するための画像ピクセルデータを提供することができるいかなるタイプのカメラでも含むことができる。例えば、単一または二重チャネルカメラシステムを使用することができる。昼間は中解像度カラーカメラとして機能し、夜間は高解像度グレイスケールカメラとして機能する二重チャネルカメラシステムが使用されることが好ましい。昼間動作から夜間動作への切り替えは、光センサによって自動的に制御される。二重チャネル技術は、夜間の低光条件ではカラー情報が失われるという事実を利用している。したがって、夜間の条件においてカラーカメラを使用する理由はない。代わりに、カラー情報の損失を補うために、より安価でより解像度の高いグレイスケールカメラを使用することができる。
【００５２】
例えば、撮像装置は、Ｄｅｔｅｃｔｉｏｎ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｅｎｇｉｎｅｅｒｉｎｇ（Ｔｒｏｙ、Ｍｉｃｈｉｇａｎ）から市販されているＤＳＥ  ＤＳ−５０００二重チャネルシステムであってよい。昼間用カラーカメラは、フレーム当たりＨσ＝４８０走査線の解像度を有する。夜間用グレイスケールカメラは、フレーム当たりＨｎ＝５７０走査線の解像度を有する。ＤＳＥ  ＤＳ−５０００カメラシステムは、昼間用カメラと夜間用カメラの両方のために２．８〜６ミリメートルｆ／１．４可変焦点自動絞りレンズを有する。これは、カメラの視野を４４．４度から８２．４度の範囲で変更することを可能にする。
【００５３】
デザイン上の考慮事項のために、必須の計算を実行する際に使用するのに適した視野が選択される。例えば、そのような計算に対してはＦＯＶ＝６０度の中間値を選択することができる。以下で詳述するオーバーラップに関する制約を満たすために、この値からカメラの１つまたは複数のＦＯＶを増減させることができる。
【００５４】
光学デザイン２８は、上記のように費用を削減するために、駐車場、上空など、画定された捜索領域全体の有効範囲に最低台数のカメラを提供することが好ましい。しかし、多くの環境では、カメラを設置するための据付空間は捜索領域の地形によって限定される。例えば、道路の中央にカメラのポールを置くことはできない。しかし、可能な限り既存の電柱および屋上を使用することができる。
【００５５】
このような地形的考慮事項に鑑みて、画定された捜索領域のコンピュータ支援設計の様々な可能なカメラ据付場所を図示することができる。しかし、据付探索空間は、コンピュータビジョンアルゴリズムによってそれに課された制約によってさらに縮小することができる。例えば、都市監視システムは、車両と人間という２種類の対象物を監視することができる。サイズの点では、人間が監視対象としては最も小さい対象物である。したがって、人間のフットプリントは、以下で詳述するようにカメラの限定範囲に対する要求を助長する。このような限定範囲は、監視されている最少の対象物に少なくとも一部には基づく。反対に、限定範囲の決定は、駐車場に所与のカメラ構成では有効範囲とならない空間があることを確認する際に役立つ。
【００５６】
カメラなど、各撮像装置は、少なくとも１つの他の撮像装置とオーバーラップする視野を有することが好ましい。オーバーラップするエリアの索引付けによって１つのカメラから別のカメラへの遷移が容易に達成され、中断なしに単向移動ですべてのカメラの前を通過できるように、オーバーラップする配列を構成することが好ましい。このような索引付けは、撮像装置の視野を、以下で詳述するような有効な方法で既に融合されている他の撮像装置の視野と融合することを可能にする。
【００５７】
視野のオーバーラップは、好適には２５パーセントより大きくすべきであり、より好適には３５パーセントよりも大きくすべきである。さらに、このようなオーバーラップは、カメラの使用可能な視野を有効活用するためには好適には８５パーセントよりも少なく、より好適には５０パーセントよりも少ない。このようなパーセンテージの要求は、マルチカメラ較正アルゴリズム（すなわち、融合アルゴリズム）が確実に実行することを可能にする。正確なホモグラフィ用の共通の視野で良好に分散した複数の標識点を獲得するためにこのオーバーラップのパーセントが必要とされる。例えば、通常、オーバーラップするエリアの複数部分は、目標を提供するために利用することはできない。何故ならば、オーバーラップするエリアは、並木など、平面的でない構造によって覆われているからである。したがって、２つのカメラの間の共通エリアにはそれぞれの視野の半分を有効範囲とすることを要求することができる。
【００５８】
したがって、図４に示すように、各撮像装置の視野の少なくとも２５％が少なくとも１つの他の撮像装置の視野とオーバーラップするように各撮像装置が設置される（ブロック１２４）。捜索領域が設置された撮像装置の有効範囲とされる場合、撮像装置の構成の配列は完成する（ブロック１２８）。しかし、捜索領域が完全に有効範囲とされていない場合（ブロック１２６）、追加の撮像装置が設置される（ブロック１２４）。
【００５９】
さらに詳細なカメラ配置プロセス２０２の説明を図５に示す。カメラ配置アルゴリズムまたはプロセス２０２では、捜索領域が画定されている（ブロック２０４）。例えば、捜索領域は、外周縁を有する縁によって画定することができる。駐車場２２４が捜索領域に画定された一例を図６に示す。図から分かるように、道路７１は、外周縁の少なくとも一部として機能する。
【００６０】
また、カメラ配置アルゴリズムまたはプロセスにさらに従い、それぞれが視野を有する複数のカメラが設置される（ブロック２０６）。第１に、１つの据付場所では、その視野が捜索領域の外周縁の少なくとも一部と接するように最初のカメラが配置される（ブロック２０８）。すなわち、視野は、外周縁の少なくとも一部に沿った領域を有効範囲とする。
【００６１】
したがって、最初の据付場所の最初のカメラによって有効範囲とされるエリアに隣接した領域を有効範囲とするために、適宜、カメラが最初のカメラの周囲に追加される（ブロック２１０）。例えば、外周縁の別の部分に達するまでカメラを配置することができる。このような有効範囲の導入を図６に示す。図に示すように、図面下部の外周縁の領域を有効範囲とするように最初のカメラが据付場所３３に配置され、駐車場に隣接する道路７１など、図面上部の外周縁に沿った領域をカメラが有効範囲とするまでカメラが配置され続ける。
【００６２】
各カメラが配置されると、オーバーラップ量を決定する必要がある。好適には、隣接視野の少なくとも約２５パーセントのオーバーラップが達成されていることを確認すべきである（ブロック２１４）。さらに、据え付けられたカメラのそれぞれに対して限定範囲が計算される（ブロック２１２）。視野と限定範囲を認識することによって、以下で詳述するように各カメラに対する完全に有用な有効範囲エリアが達成される。これらに鑑みて、カメラまたはカメラの視野の位置に対して調整を行うことができる。
【００６３】
最初の据付場所でのカメラの設置が完了すると、捜索領域全体が有効範囲とされているか否かが決定される（ブロック２１６）。捜索領域が有効範囲とされている場合、限定された平面空間によるなど、地形上の制約のために必要とされる可能性があるような最後の調節がなされる（ブロック２２０）。
【００６４】
捜索領域全体が有効範囲とされていない場合、カメラは１つまたは複数の他の据付場所に同様の方法で設置される（ブロック２１８）。例えば、最初の据付場所でカメラが有効範囲としたエリアの直ぐ外側である次の据付場所にこのようなカメラが配置され続ける。しかし、追加の据付場所の追加のカメラの少なくとも１つの視野は、最初の据付場所のカメラの視野の１つと少なくとも２５パーセントはオーバーラップすることが好ましい。追加の据付場所の使用は、捜索領域全体が有効範囲とされるまで反復される。
【００６５】
上記から分かるように、様々な他の配置後調節が必要とされる場合がある（ブロック２２０）。これらは、通常、カメラの１つまたは複数の視野の増減を伴う。視野の調節は、平面空間がほとんどない場合（例えば、樹木が多い場合など）、幾分かの余分なオーバーラップを切り捨てるか、エリアに幾分かの特別なオーバーラップを追加することになる。
【００６６】
特に、このような調節を行う際に役立つようにカメラの限定範囲Ｒｃの計算が使用される。これは、次の等式から計算される。
Ｒｃ＝Ｐｆ／ｔａｎ(ＩＦＯＶ)
上式で、Ｐｆは、人間など監視されている対象物の最小の許容可能なピクセルフットプリントであり、ＩＦＯＶは瞬間視野である。
【００６７】
例えば、人体のシグネチャは、焦点面配列（ＦＰＡ）のｗ×ｈ＝３×９＝２７ピクセルの長方形よりも小さくなるべきではない。２７ピクセルより少ないピクセルを有するクラスタは雑音レベル以下になる可能性がある。平均的な人間の身体の幅を約Ｗｐ＝６１ｃｍ（２４インチ）とすると、ピクセルフットプリントＰｆ＝２４／３＝８である。ＩＦＯＶは次の公式から計算される。
ＩＦＯＶ＝ＦＯＶ／ＬＦＰＡ
上式で、ＬＦＰＡはカメラの解像度である。
【００６８】
例えば、ＦＯＶ＝６０度、およびＬＦＰＡ＝４８０ピクセル（昼間用カラーカメラ）の場合、限定範囲はＲｃ＝９２．９６ｍ（３０５フィート）である。ＦＯＶ＝６０度、およびＬＦＰＡ＝５７０ピクセル（夜間用グレイスケールカメラ）の場合、限定範囲はＲｃ＝１１０．３ｍ（３６２フィート）である。すなわち、同じＦＯＶの２台のカメラでは、解像度の高いカメラの方が有効範囲が大きい。反対に、２台のカメラが同じ解像度を有する場合、ＦＯＶの小さい方が有効範囲が大きい。したがって、配置後調節中（ブロック２２０）、カメラの有効範囲限界を増やすために、カメラの視野を、例えば６０度のＦＯＶから、昼間用の解像度の低いカメラチャネルのいくつかでＦＯＶ＝５２度にするなど、減らすことができる。
【００６９】
光学デザイン２８は、監視システム２０の有効性にとって重要である。光学デザインに使用される原理、アルゴリズム、および計算は、駐車場またはオープンスペースなど、任意の他の定義された捜索領域での撮像装置に対する光学デザインを提供する際に使用するように自動制御とすることができる。
【００７０】
１つの説明的な光学デザイン２２２の少なくとも一部を図６に示す。道路７１および建物２２６によって少なくとも部分的に画定された駐車場である捜索領域２２４全体を有効範囲とするよう７台のカメラが設置される。
【００７１】
複数のパーソナルコンピュータの１つを、以下で詳述するように、７台すべてのカメラからの画像ピクセルデータの融合を実行することができるサーバに指定して、各カメラは情報を処理するために１台の専用標準型パーソナルコンピュータを有することができる。当業者ならば、すべての処理が十分な計算能力を有する単一または複数のコンピュータシステムによって実際に実行されるようにして、いかなるコンピュータセットアップでも使用することができることを理解するだろう。
【００７２】
図６に示すように、有効範囲は、３つの据付場所３３、３５、および３７に設置されたカメラ３０によって提供される。簡約化のため、４台のカメラ３０を第１の据付場所３３に設置し、追加のカメラ３０を据付場所３５に設置し、他の２台の追加のカメラ３０を第３の据付場所３７に設置する。図６に示すような視野７０により、またカメラ３０相互の視野７０間の少なくとも２５％のオーバーラップ７２により、駐車場２２４全体を撮像することができる。
【００７３】
さらに図３を参照すると、複数の視野に関して画像ピクセルを獲得するように撮像装置３０を設置することにより、画像ピクセルデータは好適に融合される（ブロック１０４）。融合された画像情報は、例えば任意の注釈（例えば、画像の取得時刻のような画像の関連情報）と共に、複数の断片化された風景に注意を散らすことなくユーザが即座に気付くことができるようにするいかなるディスプレイ上にでも表示することができる。画像融合方法１０４の説明的な一実施形態を図７の図面に示す。
【００７４】
図７に示すように、複数のオーバーラップする視野に対する画像ピクセルデータが提供される（ブロック２３０）。一般に、広大な捜索領域の監視は、複数のカメラ撮像装置を調整して使用することによってのみ達成することができる。好適には、すべての撮像装置の有効範囲とされる地理的捜索領域全体を通した人間と車両のシームレスな追跡が望まれる。捜索領域の単一画像を提供するために、局所座標系を有する個々の撮像装置の視野を融合するか、またはこれを大域座標系と結合する必要がある。この場合、移動対象物の対象物経路は、複数の断片化された風景とは反対に大域座標系に対して登録することができる。
【００７５】
複数の撮像装置登録または融合（一般的に較正とも呼ばれる）を達成するために、第１の対の撮像装置に対してホモグラフィ変換が計算される。その後、以前に計算されたホモグラフィ変換に追加撮像装置の視野を追加するためにホモグラフィ計算を実行することができる。この方法は、隣接する数対の撮像装置の視野の間に存在するオーバーラップ部分を利用する。さらに、上述のように１台の撮像装置の視野から次の撮像装置の視野へ、さらにその次へと索引付けすることができるように視野が好適に設定されているので、追加の撮像装置は系統的で有効な方法でホモグラフィ変換に連続的に追加される。
【００７６】
すなわち、第１のホモグラフィ変換行列が、オーバーラップ部分を有する第１と第２の撮像装置に対して計算される。この結果、第１と第２の撮像装置の両方に対する大域座標系が得られる。その後、第１と第２の撮像装置に関して計算されたホモグラフィ行列に加え、第２と第３の撮像装置の視野のオーバーラップする部分の標識点を用いてホモグラフィ変換行列を計算することにより、第２の撮像装置とオーバーラップする第３の撮像装置が第１と第２の撮像装置に融合される。この結果、３台の撮像装置すべて、すなわち第１、第２、および第３の撮像装置に対するホモグラフィ変換、つまり３台の撮像装置すべてに対する大域座標系が得られる。このプロセスは、撮像装置すべてに対して単一の大域座標系を得るために、すべての撮像装置が追加されるまで続けられる。
【００７７】
撮像装置に対するホモグラフィ変換を計算する際（ブロック２３４）に使用するために、一対の撮像装置に対する一対の視野のオーバーラップする部分の複数の標識ピクセル座標が特定される（ブロック２３２）。１つの撮像装置が１つまたは複数の他の撮像装置に融合される時、オーバーラップする部分の少なくとも４つの点のピクセル座標が使用される（ブロック２３４）。
【００７８】
オーバーラップする部分の点は、それに対して１つの行列を計算中の２つの撮像装置の視野の間のオーバーラップする部分に入る物理的な地面上の点の投影である。これらの点は、撮像装置３０の据付中に選択され、地面に物理的にマーク付けされる。その後、変換行列を計算する際に対応する投影された画像点を使用することができるように、対応する投影された画像点をユーザがグラフィカルユーザインターフェースによってサンプリングすることができる。
【００７９】
この物理的なマーキングプロセスは、光学デザイン２８の導入開始時にのみ必要とされる。撮像装置の相互登録は一度完了すると繰り返す必要はない。
【００８０】
ホモグラフィ計算は、いかなる周知の方法でも実行することができる。ホモグラフィ変換行列を計算するための１つの方法は、Ｌ．Ｌｅｅ、Ｒ．Ｒｏｍａｎｏ、およびＧ．Ｓｔｅｉｎ著、「複数ビデオストリームからアクティビティを監視（Ｍｏｎｉｔｏｒｉｎｇ  ａｃｔｉｖｉｔｉｅｓ  ｆｒｏｍ  ｍｕｌｔｉｐｌｅ  ｖｉｄｅｏ  ｓｔｒｅａｍｓ）：共通座標フレームを確立（Ｅｓｔａｂｌｉｓｈｉｎｇ  ａ  ｃｏｍｍｏｎ  ｃｏｏｒｄｉｎａｔｅ  ｆｒａｍｅ）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７５８〜７６７頁（２０００年）に記載のいわゆる最小二乗法である。しかし、使用はできるが、この方法は、通常は偏った推定のために等式の制約を受けたシステムに対して不十分な解決策しか提供しない。さらに、特別な事象が発生している時には、一般的なホモグラフィ計算を有効に特化することができない可能性がある。
【００８１】
好適には、Ｋ．Ｋａｎａｔａｎｉ著、「信頼性測定のある最適ホモグラフィ計算（Ｏｐｔｉｍａｌ  ｈｏｍｏｇｒａｐｈｙ  ｃｏｍｐｕｔａｔｉｏｎ  ｗｉｔｈ  ａ  ｒｅｌｉａｂｉｌｉｔｙ  ｍｅａｓｕｒｅ）」、ＩＡＰＲ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ議事録、日本国、千葉、幕張、４２６〜４２９頁（１９９８年１１月）に記載のアルゴリズムがホモグラフィ行列を計算するために使用される。このアルゴリズムは、Ｋ．Ｋａｎａｔａｎｉ著、「幾何学的コンピュータビジョンに対する統計的最適化（Ｓｔａｔｉｓｔｉｃａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ  ｆｏｒ  Ｇｅｏｍｅｔｒｉｃ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）：Ｔｈｅｏｒｙ  ａｎｄ  Ｐｒａｃｔｉｃｅ」、Ｅｌｓｅｖｉｅｒ  Ｓｃｉｅｎｃｅ、オランダ、アムステルダム（１９９６年）に記載の幾何学コンピュータビジョンのための統計的最適化理論に基づいている。このアルゴリズムは、最小二乗法が呈する不備を解決するものと考えられる。
【００８２】
Ｋａｎａｔａｎｉの著書に記載されているアルゴリズムの基本前提は、撮像問題の統計的な性質により、エピポーラ制約は様々な雑音源によって破られる可能性がある。図８の図面２４０に示すように、撮像問題の統計的性質はエピポーラ制約に影響を与える。Ｏ１およびＯ２は、対応する撮像装置２４２と２４４の光心である。Ｐ（Ｘ，Ｙ，Ｚ）は、共通エリア２４６、すなわち一対の撮像装置の２つの視野の間のオーバーラップする部分に入る捜索領域内の１点である。ベクトル
【００８３】
【数１】
2004531842.tif 000003
【００８４】
は共面であると理想的である。しかし雑音のある撮像プロセスのため、実際のベクトル
【００８５】
【数２】
2004531842.tif 000004
【００８６】
は共面ではない。ホモグラフィ変換の計算は当技術分野では周知なので、本明細書で提供する情報は簡約化した。Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｚｉｓｓｅｒｍａｎ著、「コンピュータビジョンにおける複数ビュー幾何学（Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｇｅｏｍｅｔｒｙ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ）」、ケンブリッジ大学出版、６９〜１１２頁（２０００年）から、より詳細な情報を得ることができる。
【００８７】
上記のように、また決定ブロック２３６およびループブロック２３９によって示されるように、撮像装置のＦＯＶのすべてを融合するために、ホモグラフィ変換が計算される。そこに示されているように、ＦＯＶのすべてがまだ融合済みでない場合、追加のＦＯＶを融合すべきである（ブロック２３９）。すべてのＦＯＶが一度他に登録されると、画像ピクセルデータを大域座標系の単一画像に融合するためにホモグラフィ変換行列が使用される（ブロック２３８）。
【００８８】
ホモグラフィ変換行列は、対応する一対の撮像装置に対して１つの視野の複数の点と別の視野の複数の点との間の関係を完全に記述しているので、様々な撮像装置の画像ピクセルデータのこのような融合が可能である。このような融合は撮像装置の較正と呼ぶこともできる。
【００８９】
様々な視野のピクセルが大域座標系の座標に提供される。ピクセルが特定の一組の座標に対して存在する場合、当該特定の一組の座標に対するピクセル値を提供するために平均化技法が使用される。例えば、視野のオーバーラップ部分にピクセル値を割り当てる際にこのような平均化が使用される。カメラのそれぞれからのオーバーラップ部分の特定の一組の座標に対するピクセル値が同じになるように、このシステムでは同等のカメラを使用することが好ましい。
【００９０】
図３をさらに参照すると、画像ピクセルデータが複数の視野に対して一度融合されると（ブロック１０４）、前景情報を背景情報からセグメント化するなど、捜索領域での移動対象物のセグメント化が実行される（ブロック１０６）。様々な移動対象物セグメントの任意の１つを使用することができる。しかし、以下で詳述するように、画像の各ピクセルに対して複数の経時的に変化する正規分布を使用する方法が好ましい。
【００９１】
静止したカメラに関して移動対象物のセグメント化のために使用することができる２つの従来の方法は、Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ、Ｐ．Ｊ．Ｂｕｒｔ、およびＧ．Ｓ．Ｖａｎ  Ｄｅｒ  Ｗａｌ著、「角錐変換技術を用いた変化検出および追跡（Ｃｈａｎｇｅ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｔｒａｃｋｉｎｇ  ｕｓｉｎｇ  ｐｙｒａｍｉｄ  ｔｒａｎｓｆｏｒｍ  ｔｅｃｈｎｉｑｕｅｓ）」、ＳＰＩＥ−ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｏｐｔｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ議事録、マサチューセッツ州、ケンブリッジ、第５７９巻、７２〜７８頁（１９８５年９月１６〜２０日）に記載の時間差と、Ｉ．Ｈａｒｉｔａｏｇｌｕ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｓ．Ｄａｖｉｓ著、「Ｗ／ｓｕｐ  ４／ｓ：２  １／２で人を検出し且つ追跡する実時間システム（Ａ  ｒｅａｌ−ｔｉｍｅ  ｓｙｓｔｅｍ  ｆｏｒ  ｄｅｔｅｃｔｉｎｇ  ａｎｄ  ｔｒａｃｋｉｎｇ  ｐｅｏｐｌｅ  ｉｎ  ２  １／２ｄ）」、５ｔｈ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ議事録、ドイツ、フライブルク、第１巻、８７７〜８９２頁（１９９８年６月２〜６日）に記載の背景の差し引きとを含む。時間差は、動的な環境には非常に順応性があるが、すべての関連する対象物のピクセルを抽出する適切な機能は提供しない場合がある。背景の差し引きは、最も完全な対象物データを提供するが、照明および無関係な事象による動的な場面の変化には非常に影響されやすい。
【００９２】
他の順応性のある背景化方法は、Ｔ．Ｋａｎａｄｅ、Ｒ．Ｔ．Ｃｏｌｌｉｎｓ、Ａ．Ｊ．Ｌｉｐｔｏｎ、Ｐ．Ｂｕｒｔ、およびＬ．Ｗｉｘｓｏｎ著、「共働マルチセンサビデオ監視における進展（Ａｄｖａｎｃｅｓ  ｉｎ  ｃｏｏｐｅｒａｔｉｖｅ  ｍｕｌｔｉ−ｓｅｎｓｏｒ  ｖｉｄｅｏ  ｓｕｒｖｅｉｌｌａｎｃｅ）」、ＤＡＲＰＡ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ議事録、カリフォルニア州、モンテレー、３〜２４頁（１９９８年１１月）に記載されており、環境のダイナミズムにより有効に対応することができる。しかし、これらは依然としてバイモーダル背景を処理するには不十分な場合があり、多くの移動対象物のある場面では問題がある。
【００９３】
Ｓｔａｕｆｆｅｒ他の著書は、ピクセルレベルでの法線混合表現に基づくより高度な対象物検出方法を記載している。この方法は、遥かに順応性に富み、バイモーダル背景（例えば、揺れる木の枝）を処理することができるという特徴を有する。この方法は強力な表現方式を提供する。各ピクセルに対する法線混合の各法線は、同じ場面ポイントのサンプルがガウス雑音分布を表示する可能性がある期待値を反映する。法線混合は、複数のプロセスを経時的に観察することができる期待値を反映する。さらに、Ａ．Ｅｌｇａｍｍａｌ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｄａｖｉｓ著、「背景減法のための非パラメトリックモード（Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ  ｍｏｄｅｌ  ｆｏｒ  ｂａｃｋｇｒｏｕｎｄ  ｓｕｂｔｒａｃｔｉｏｎ）」、ＩＥＥＥ  ＦＲＡＭＥ−ＲＡＴＥ  Ｗｏｒｋｓｈｏｐ議事録、ギリシャ、コルフ、ｗｗｗ．ｅｅｃｓ．ｌｅｈｉｇｈ．ｅｄｕ／ＦＲＡＭＥ（２０００年９月）は、正常の核関数によって密度推定が達成される法線混合モデルの一般化を提案している。
【００９４】
一般に、法線混合パラダイムは、厄介な屋外の状況で適切な結果を提供する。これは、本発明による好ましい移動対象物セグメンターに対するベースラインアルゴリズムである。この方法は、本発明の１つまたは複数の実施形態に従って、Ｓｔａｕｆｆｅｒ他によって記載の形式で、もしくは好適には本明細書に記載のように変更されて使用することができる。
【００９５】
上記のように、Ｓｔａｕｆｆｅｒ他の著書に記載のプロセスに類似のセグメント化プロセス１０６が本発明に従って使用されることが好ましい。しかし、Ｓｔａｕｆｆｅｒによるプロセスは、以下で特に図１２Ａと１２Ｂの比較を参照して詳述するように変更される。
【００９６】
一般に、図９の流れ図と図１０のブロック図の両方に示されるようなセグメント化プロセス１０６は、捜索領域に対応するピクセルに対する統計値を提供するために使用される初期化の段階２５０を含む。その後、着信更新ピクセル値データが受け取られ（ブロック２５６）、セグメント化プロセス１０６の更新周期段階２５８で使用される。
【００９７】
図９および１０に示され、これらを参照して説明されるように、初期化段階２５０の目標は、場面に対応するピクセルに対して統計的に有効な値を提供することである。この場合、これらの値は前景および背景認識の動的処理の開始点として使用される。初期化段階２５０は一度だけ行われ、リアルタイムで実行する必要はない。初期化段階２５０で、ピクセル値データの特定数のフレームＮ（例えば、Ｎ＝７０）が捜索領域の複数のピクセルに提供され（ブロック２５１）、オンラインまたはオフラインで処理される。
【００９８】
図１０に説明のために示した複数の経時的に変化する正規分布２６４は、少なくともピクセル値データに基づいて捜索領域の各ピクセルに提供される（ブロック２５２）。例えば、各ピクセルｘは、５つの経時的に変化する三変数正規分布の混合と見なされる（但し、分布は幾つでも使用することができる）。
【００９９】
【数３】
2004531842.tif 000005
【０１００】
上式で、
【０１０１】
【数４】
2004531842.tif 000006
【０１０２】
は混合割合（重み付け）であり、Ｎ３（μ、Σ）はベクトル平均μと分散−共分散行列Σによる三変数正規分布を示す。この分布は、カラーカメラの一般的な事例での各ピクセルの３つの成分色（赤、緑、および青）に相当する三変数である。次に留意されたい。
【０１０３】
【数５】
2004531842.tif 000007
【０１０４】
上式で、ｘＲ、ｘＧ、およびｘＢは、特定ピクセルに対してカメラの赤、緑、および青のチャネルから受け取られた測定値を表している。
【０１０５】
簡約化のために、分散−共分散行列は、すべての成分は横断しないが、各法線成分内に同一の分散を有するｘＲ、ｘＧ、およびｘＢと対角であると仮定される（すなわち、ｋ≠１成分の場合、σ２ｋ≠σ２ｌ）。したがって、
【０１０６】
【数６】
2004531842.tif 000008
【０１０７】
である。
複数の経時的に変化する正規分布は、その経時的に変化する正規分布が捜索領域の背景または前景を表す確率に基づいて各ピクセルに対して最初に順序付けされる。複数の経時的に変化する正規分布２６４のそれぞれは前景または背景とラベリングされる。そのような順序付け、および背景２８０または前景２８２でのラベリングは、全体的に図１２Ａに示され、以下で更新周期段階２５８に関して詳述される。
【０１０８】
文献で報告されている他の使用できる方法は、ランダムに、またはＫ平均アルゴリズムによってピクセル分布を初期化する。しかし、ランダムな初期化は、動的混合モデル更新段階での学習を遅らせることがあり、不安定さの原因とさえなる場合がある。Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ、Ｎ．Ｍ．Ｌａｉｒｄ、およびＤ．Ｂ．Ｒｕｂｉｎ著、「ＥＭアルゴリズム（吟味した）を経た不完全データからの最尤度（Ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｆｒｏｍ  ｉｎｃoｍｐｌｅｔｅ  ｄａｔａ  ｖｉａ  ｔｈｅ  ＥＭ  ａｌｇｏｒｉｔｈｍ（ｗｉｔｈ  ｄｉｓｃｕｓｓｉｏｎ））」、Ｊｏｕｎａｌ  ｏｆ  ｔｈｅ  Ｒｏｙａｌ  Ｓｔａｔｉｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  Ｂ、第３９巻、１〜３８頁（１９７７年）に記載のＫ平均または期待値−最大化（ＥＭ）法による初期化からはよりよい結果が得られる。ＥＭアルゴリズムは、計算集約的でありオフラインの初期化プロセスには約１分が掛かる。人間と車両の交通量が少ない上記の説明のための駐車場の応用例では、短期間のオフライン間隔は問題ではない。ＥＭ初期化アルゴリズムは、天候条件が動的な場合（例えば、速く移動する雲）はより有効に機能することができるが、監督下にあるエリアが往来の激しいオープンスペース（多くの移動する人間と車両）の場合はオンラインによるＫ平均初期化が好ましい場合がある。
【０１０９】
各ピクセルに対する初期の混合モデルは、初期化段階２５０の後で動的に更新される。更新機構は、更新画像データまたは着信証拠（例えば、更新ピクセル値データを提供する新しいカメラフレーム）の提示に基づいている（ブロック２５６）。セグメント化プロセスのいくつかの構成要素は、更新周期段階２５８の更新周期中に変更または更新される場合がある。例えば、いくつかの分布の形式を変更することができる（例えば、変更重み付けπｉ、変更平均μｉ、および／または変更分散σ２ｉ）。いくつかの前景状態は背景に戻ることができ、またその反対も可能である。さらに、例えば、既存の分布の１つは破棄され、新しい分布がこれに取って代わることができる。
【０１１０】
どの時点でも、最強の証拠を有する分布は、ピクセルの最も確率の高い背景状態を表すものと見なされる。図１１は法線混合モデルを視覚化したものであり、図１０は混合モデルの更新機構を示している。図１１は、複数時点（ｔ０〜ｔ２）で簡約化のために一色だけで表示される複数の法線２６４を示している。画像２６６、２６８、および２７０のピクセル２６３に対して図示するように、より強力な証拠による分布、すなわち分布２７１は、画像２６６では夜間、画像２６８では昼間の道路であるピクセルを示している。しかし、ピクセル２６３が画像２７０に示すように移動中の自動車２６７を表す場合、ピクセル２６３は遥かに弱い分布２７３によって表される。
【０１１１】
図９にさらに示すように、各ピクセルに対する更新周期２５８は以下のように進み、そのピクセルが背景か前景かを決定することを含む（ブロック２６０）。第１に、アルゴリズムは、ピクセルに対する少なくとも更新ピクセル値データに基づいて各ピクセルに対して経時的に変化する正規分布とそれらのパラメータとの混合を更新する（ブロック２５７）。更新の性質は、照合オペレーションおよび／またはピクセル値データの結果に基づくことができる。
【０１１２】
例えば、更新ピクセル値に対して狭い分布を生成することができ、その狭い分布をそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合することを試みることができる。一致が見られると、以下で詳述する積率法を使用して更新を実行することができる。さらに、例えば、一致が見られない場合、最も弱い分布を新しい分布で置き換えることができる。以下で詳述するように前景セットに新しい分布が含まれることを保証するために更新プロセスのこの種の置き換えを使用することができる。
【０１１３】
その後、ピクセルごとに更新された複数の正規分布が、分布が前景または背景ピクセルデータである確率を示すそれらの重み付け値に基づいて降順などに再度順序付けられ、ラベリングされる（ブロック２５９）。次いでそれぞれのピクセルの状態は、更新され照合された分布（例えば、それぞれの更新ピクセル値を表す狭い分布によって照合された分布）が前景とラベリングさているか、背景とラベリングされているか、更新された分布が前景を表す新しい分布を含むか否か（例えば、一致しないために生成された新しい分布）など、順序付けられ、ラベリングされて更新された分布に基づいて前景または背景の状態とすることができる（ブロック２６０）。
【０１１４】
更新周期の順序付けプロセスの一実施形態では（ブロック２５９）、順序付けアルゴリズムが、割り当てられた重み付けに基づいて複数の正規分布を順序付ける。例えば、順序付けアルゴリズムは、証拠７の事前定義された断片に相当する複数の経時的に変化する正規分布の最初のＢ分布を選択する。
【０１１５】
【数７】
2004531842.tif 000009
【０１１６】
上式で、ｗｊ，ｉ＝１，．．．，ｂは分布の重み付けを表している。これらのＢ分布は、すなわち背景分布とラベリングされているものと見なされ、残りの５−Ｂ分布は、すなわち前景分布とラベリングされているものと見なされる。例えば、順序付けられた分布２５４を図１２Ａに示す。分布２８０は背景分布であり、分布２８２は前景分布である。
【０１１７】
すなわち、更新周期段階２５８の更新周期中、更新周期に捜索領域の各ピクセルに対して更新ピクセル値データが受け取られると、それぞれのピクセルに対する更新ピクセル値を考慮する更新されて再度順序付けられた複数の経時的に変化する正規分布に基づいてそのピクセルが背景か前景かが決定される。例えば、アルゴリズムは、評価中のピクセルに対して着信ピクセル値を、既存の正規分布のどれかに属するものとする、すなわち一致させることができるか否かをチェックすることが好ましい。例えば、使用される一致基準は、以下で詳述するＪｅｆｆｒｅｙｓ（Ｊ）発散測度であってよい。このような評価がピクセルごとに実行される。その後、アルゴリズムは経時的に変化する正規分布と各ピクセルに対するそれらのパラメータの混合を更新し、更新された経時的に変化する正規分布の混合は再度順序付けられ、ラベリングされる。次いで、ピクセルは、この再度順序付けられ、ラベリングされた混合に基づいて前景状態か背景状態とされる。
【０１１８】
更新周期段階２５８の一実施形態を図１３にさらに示す。更新ピクセル値データは、捜索領域を表す複数のピクセルのそれぞれに対する更新周期で受け取られる（ブロック３００）。狭い分布などの分布が更新ピクセル値を表す各ピクセルに対して作成される（ブロック３０２）。
【０１１９】
その後、この発散が、１つのピクセルに対する更新ピクセル値を表す狭い分布と、それぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で計算される（ブロック３０４）。それぞれのピクセルに対する複数の経時的に変化する正規分布は、図１４を参照して以下で詳述する照合オペレーションに基づく方法で更新される（ブロック３０５）。例えば、照合オペレーションは、狭い分布とそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で発散測定のすべてが計算された後で、狭い分布に対して最小の発散を有する経時的に変化する正規分布を求めて実行される。
【０１２０】
この場合、それぞれのピクセルに対する更新された複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序付けられ、ラベリングされる（ブロック３０６）。それぞれのピクセルの状態は、ブロック２６０を参照して上述したように再度順序付けられ、ラベリングされて更新された分布（ブロック３０７）に基づいて前景または背景とされる。
【０１２１】
所望のピクセルのそれぞれは、決定ブロック３０８によって全体的に示された上記の方法で処理される。すべてのピクセルが一度処理されると、背景および／または前景をユーザに表示することができ（ブロック３１０）、または追跡、脅威評価など、本明細書で詳述するように使用することができる。
【０１２２】
図１３に全体的に示される更新ブロック３０５の照合オペレーションおよび更新周期段階２５８の他の部分は、図１２Ａ〜１２Ｂと図１４を参照して以下の節で説明するように各ピクセルに対して以下の方法で実施することができる。
【０１２３】
照合オペレーション
このプロセスは、１つのピクセルに対して更新ピクセル値を表す狭い分布を、評価中のピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合する試みを含む（ブロック３０１）。着信データ点が既存の５つの分布の１つに属するか否か（すなわち、一致するか否か）を決定するために、Ｈ．Ｊｅｆｆｒｅｙｓ著、「確率の理論（Ｔｈｅｏｒｙ  ｏｆ  Ｐｒｏｂａｂｉｌｉｔｙ）」Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ、イギリス、オックスフォード１９４８年に記載のＪｅｆｆｒｅｙｓ発散測度Ｊ（ｆ，ｇ）が使用される。
【０１２４】
Ｊｅｆｆｒｅｙｓ数値測度は、更新ピクセル値を表す狭い分布など、１つの分布（ｇ）が、複数の経時的に変化する正規分布の１つなど、他の（ｆ）によって表される母集団から導かれた可能性のなさである。Ｊｅｆｆｒｅｙｓ発散測度の理論的特性は、Ｊ．Ｌｉｎ著、「シャノン・エントロピーに基づく発散測度（Ｄｉｖｅｒｇｅｎｃｅ  ｍｅａｓｕｒｅ  ｂａｓｅｄ  ｏｎ  ｔｈｅ  ｓｈａｎｎｏｎ  ｅｎｔｒｏｐｙ）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ、第３７巻、第１号、１４５〜１５１頁（１９９１年）に記載されており、簡約化のため本明細書では詳述しない。
【０１２５】
一実施形態によれば、ｆｉ〜Ｎ３（μｉ，σ２ｉＩ），ｉ＝１，．．．，５という５つの既存の正規分布が使用される。しかし、既に指摘したように５より多くても少なくても適切な場合がある。Ｊ（ｆ．ｇ）がデータ点ではなく分布を示すものなので、着信データ点２８１は、上述し、図１２Ａに示した狭い分布など、分布２８４に関連付けられる必要がある。着信分布はｇ〜Ｎ３（μｇ，σ２ｇＩ）のように構築される。それは次のように仮定される。
μｇ-＝ｘｔ  および  σ２ｇ＝２５
上式で、ｘｔは着信データ点である。σ２ｇ＝２５の選択は、小さい時間窓での連続的なピクセル値の典型的な拡散に関する実験的観察の結果である。ｇとｆｉ，ｉ＝１，．．．，５の間の５つの発散測度は次の公式によって計算される。
【０１２６】
【数８】
2004531842.tif 000010
【０１２７】
５つの発散測度が一度計算されると、分布ｆｊ（１≦ｊ≦５）を見つけることができる。これは、
【０１２８】
【数９】
2004531842.tif 000011
【０１２９】
であり、ｆｊとｇの間の一致は、
【０１３０】
【数１０】
2004531842.tif 000012
【０１３１】
の場合にのみ行われる。上式で、Ｋ＊は事前に指示した切り捨て値である。Ｊ（ｆｊ，ｇ）＞Ｋ＊の場合、着信分布ｇは既存の分布のどれとも一致する可能性はない。
【０１３２】
相違点がすべての使用可能な分布に対して測定されることに特に留意されたい。Ｓｔａｕｆｆｅｒ他のような他の方法は、特定順序で既存の分布に対して相違点を測定する。特定状況の満足度に基づいて、Ｓｔａｕｆｆｅｒ他のプロセスは、５つすべての測定値が取られて、比較される前に停止することができる。これは、異なるタイプの天候など、特定状況下でのセグメンターの性能を弱める可能性がある。
【０１３３】
上記に鑑みて、狭い分布（ｇ）がピクセルに対する複数の経時的に変化する正規分布の１つと一致するか否かが決定される（ブロック３０３）。
【０１３４】
一致が見られた場合に実行されるプロセス
着信分布が既存の分布の１つと一致する場合、以下に記載する積率法を使用して、新しくプールされた正規分布を形成するために着信分布および一致した既存の分布を共にプールすることによって複数の正規分布が更新される（ブロック３０５Ａ）。新しくプールされた分布を含む複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序づけられ、前景または背景分布とラベリングされる（ブロック３０６Ａ）。プールされた分布は、評価中ピクセルの現在の状態を表すものと見なされ、したがってピクセルの状態は、再度順序付けられた分布リストのプールされた分布の位置に応じて背景または前景とされる（ブロック３０７Ａ）。
【０１３５】
例えば、図１２Ａに示すように、狭い分布２８４が分布と一致すると仮定し、複数の経時的に変化する正規分布の更新と、それに続く再順序付け／ラベリングのプロセスの後で、一致の結果プールされた分布が分布２８０である場合、点２８１によって表される着信ピクセルは背景とラベリングされる。同様に、一致の結果プールされた分布が分布２８２である場合、点２８１によって表される着信ピクセルは、移動対象物を表す可能性があるなど、前景とラベリングされる。
【０１３６】
一実施形態では、積率法を使用して新しくプールされた分布が生成されるなど、正規分布の混合のパラメータが更新される（ブロック３０５Ａ）。第１に、既存の分布重み付けに重み付けするある学習パラメータαが採用される。したがって、５つの既存の重み付けのそれぞれから１００α％重み付けが引かれ、１００α％が着信分布の（すなわち、狭い分布の）重み付けに加えられる。すなわち、
【０１３７】
【数１１】
2004531842.tif 000013
【０１３８】
なので、着信分布は重み付けαを有し、５つの既存の分布は重み付け、πｊ（１−α），ｊ＝１，．．．，５を有する。
【０１３９】
明らかに、αは０＜α＜１の範囲内にある。αの選択は、主としてＫ＊の選択に依存する。この２つの数量は逆関係にある。Ｋ＊の値が小さいほど、αの値は高くなり、またこの逆の場合も同様である。Ｋ＊とαの値も監視エリア内の雑音量に影響を受ける。したがって、例えば、屋外領域が監視されており、環境条件（すなわち、雨、雪など）による雑音が多い場合、高いＫ＊値、すなわち「低い」α値が要求される。これは、分布の１つとの不一致が背景雑音によって引き起こされる可能性が非常に大きいからである。一方、雑音がほとんど存在しない屋内領域が監視されている場合、好適には「低い」Ｋ＊値、すなわち「より高い」α値が要求される。何故ならば、既存の５つの分布の１つとの一致が達成されない時はいつでも、この不一致が何らかの前景の動きによって発生する可能性が非常に大きいからである（背景にはほとんど雑音がないので）。
【０１４０】
１≦ｊ≦５として、新しい分布ｇと既存の分布ｆｊの１つとの間で照合が行われる場合、混合モデルの重み付けは次のように更新される。
【０１４１】
【数１２】
2004531842.tif 000014
【０１４２】
平均ベクトルとその分散も更新される。ｗ１が（１−α）πｊ，ｔ−１（すなわち、ｗ１は、新しい分布ｇと一致した分布をプールする前の照合の勝者であるｆ番目の成分の重み付けである）であり、ｗ２＝プールされた分布の重み付けであるαである場合、因数（ｐ）は次のように定義される。
【０１４３】
【数１３】
2004531842.tif 000015
【０１４４】
Ｇ．Ｊ．ＭｃＬａｃｈｌａｎおよびＫ．Ｅ．Ｂａｓｆｏｒｄ著、「クラスタリングに対する混合モデル推論および応用（Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌｓ  Ｉｎｆｅｒｅｎｃｅ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  Ｃｌｕｓｔｅｒｉｎｇ）」、Ｍａｒｃｅｌ  Ｄｅｋｋｅｒ、ニューヨーク州、ニューヨーク（１９８８年）に記載の積率法を使用すると、次の結果が得られる。
【０１４５】
【数１４】
2004531842.tif 000016
【０１４６】
ここで、他の４つ（不一致）の分布は、ｔ−１の時点で有したのと同じ平均値と分散とを維持する。
【０１４７】
一致が見られない場合に実行されるプロセス
一致が見られない場合（すなわち、ｍｉｎ１≦ｉ≦５Ｋ（ｆｊ，ｇ）＞Ｋ＊）、順序付けられたリストの最後の分布（すなわち、前景の状態を最もよく表している分布）を更新ピクセル値に基づく新しい分布で置き換える（ブロック３０５Ｂ）ことによって複数の正規分布が更新されるが、これはこのピクセルが前景の状態に関わっていることを保証する（例えば、それが前景にならなければならないように重み付けが分布に割り当てられる）。（例えば、ブロック２５９を参照して上述したように）新しい分布を含む複数の経時的に変化する正規分布が再度順序付けられて、前景を表す新しい分布でラベリングされ（ブロック３０６Ｂ）、ピクセルの状態は前景の状態とされる（ブロック３０７Ｂ）。
【０１４８】
順序付けられたリストの最後の分布に取って代わる新しい分布のパラメータは次のように計算される。平均ベクトルμ５は着信ピクセル値で置き換えられる。分散σ２５は分布リストの最小分散で置き換えられる。したがって、新しい分布の重み付けは次のように計算することができる。
【０１４９】
【数１５】
2004531842.tif 000017
【０１５０】
上式で、Ｔは背景閾値指標である。この計算により、現在のピクセルの状態を前景に分類することが保証される。残り４つの分布の重み付けは次の公式に従って更新される。
【０１５１】
【数１６】
2004531842.tif 000018
【０１５２】
上記の照合方式は少なくとも一部で使用される。何故ならば、Ｓｔａｕｆｆｅｒ他の著書で報告された法線混合モデリングによって実施されるこの方式は、湖水の蒸発が増加し、冷たい風が吹いたために雲が切れ切れになった環境の屋外で監視が行われ、様々な密度の細切れの雲が頻繁にカメラの視野を足早に横切るなどの多くの状況では適切でないからである。
【０１５３】
Ｓｔａｕｆｆｅｒ他の著書では、図１２Ｂに示すような混合モデルの分布は、ｗを重み付け、αを各分布の分散として、ｗ／αに従い常に降順に維持される。この場合、着信ピクセルは、リストの一番上から一番下に（矢印２８３参照のこと）順に順序付けられた分布に対して照合される。着信ピクセル値が分布の２．５標準偏差内にある場合、一致が宣言されてプロセスは停止する。
【０１５４】
しかし、例えば、この方法は、少なくとも次のシナリオでは脆弱である（例えば、ピクセル誤認）。着信ピクセル値が、例えば分布４に属する可能性が高いが、依然としてキューのそれ以前の分布（例えば、２）に対する２．５標準偏差の基準を満たしている場合、プロセスは正しい分布に達する前に停止し、一致には早すぎることが宣言される（図１２Ｂ参照のこと）。この照合に引き続き、不正分布を不当に支持するモデル更新が行われる。これらの累積的な誤りは、一定期間後にシステム性能に影響を与える危険性がある。１つの分布（例えば、２）が偶然背景であり、他（例えば、４）が前景である場合に、これは直接的で重大な影響を有することさえある可能性がある。
【０１５５】
例えば、上記のシナリオは、速く移動する雲によって始めることができる。Ｓｔａｕｆｆｅｒ他の著書では、新しい分布は、システムに導入される時、着信ピクセル値２８１を中心に配置され、最初に高い分散と小さい重み付けが与えられる。より多くの証拠が蓄積するにつれ、分布の分散は落ち、その重み付けは増加する。この結果、この分布は順序付けられた分布リストの中で上昇する。
【０１５６】
しかし、天候パターンは非常に活発なので、支持する証拠は頻繁にオンオフ切り換えされるため分布の分散は比較的高いまま維持される。この結果、分布が比較的拡散した混合モデルが生じる。この期間に特定の色の対象物が偶然に場面内で移動すると、複数の分布と僅かに一致することのできる着信ピクセル値がキューの一番上に生成され、したがってこれは背景であると解釈される。移動する雲はカメラの視野の広いエリアに影響を与えるので、処理後技法はそのような欠陥を解消するには一般に無効である。
【０１５７】
反対に、上記の本発明による好ましいセグメント化の方法は、順序付けられた分布リストの一番上から一番下まで着信ピクセル値を照合することは試みない。そうではなく、この方法は、着信データ点２８１を表す狭い分布２８４を作成することが好ましい。この場合、この方法は、着信した狭い分布２８４と混合モデルの「全」分布２８０、２８２との間の最小発散値を見つけることによって分布を照合するよう試みる。この方法で、着信データ点２８１が正確な分布と一致する機会は高まる。
【０１５８】
さらに、図３を参照すると、上記のように、背景からの前景ピクセルのオンラインセグメント化を実行するために統計手続きが使用され、前景は、人間および車両など、対象となる移動対象物に対応する可能性がある（ブロック１０６）。セグメント化に引き続き、対象となる移動対象物が追跡される（ブロック１０８）。すなわち、監視されている捜索領域で検出された１つまたは複数の移動対象物が辿った軌道または対象物経路を形成するために、図１５に説明的に示すような追跡方法が使用される。
【０１５９】
他の適切な追跡方法を使用することはできるが、追跡方法は、数群の相互に隣接する前景ピクセルなど、ブロブ（すなわち、数群の連結ピクセル）または捜索領域で検出された移動対象物に関する対象物トラックまたは対象物経路を提供する際に使用するために前景対象物に対応しても対応しなくてもよいそのブロブの中心トラック（ブロック１４０）の計算を含むことが好ましい。このようなブロブの中心トラックは、画像データの背景からセグメント化された前景ピクセルに連結成分解析アルゴリズムを適用後に形成することができる。
【０１６０】
例えば、標準８連結成分解析アルゴリズムを使用することができる。この連結成分アルゴリズムは、面積が一定数のピクセルよりも少ないブロブ、すなわち数群の連結ピクセルを除去する。通常は１エリア内のこのような少数ピクセルが前景対象物に対する雑音を表すので、このような除去が実行される。例えば、連結成分アルゴリズムは、α＝３×９＝２７ピクセルよりも面積の小さいブロブを除去する。例えば、２７ピクセルは撮像装置の視野の最少の対象となる最小対象物の最小ピクセルフットプリントであってよく、例えば２７ピクセルは人間のフットプリントであってよい。
【０１６１】
数群のピクセルなど、いくつかのブロブが捜索領域の前景対象物を表していると一度識別されると、複数のフレームの前景対象物として識別されるブロブの中心トラックを別個の軌道または対象物経路にグループ化するために使用されるアルゴリズムが提供される。前景対象物を表す識別されたブロブ中心トラックを別の軌道にグループ化するには、複数の仮説追跡（ＭＨＴ）アルゴリズム１４１を使用することが好ましい。
【０１６２】
ＭＨＴはマルチターゲット追跡アプリケーションへの好ましい方式と考えられるが、他の方法を使用することもできる。ＭＨＴは、入力データをトラックに正確に関連付ける確率を最大に高める帰納的なベイズの確率論的方法である。早期に特定のトラックを付けないので、他の追跡アルゴリズムが好ましい。このように早期にある経路またはトラックを付けることは誤りの原因となる場合がある。ＭＨＴは、十分な情報が収集され、処理された後でのみ入力データをトラックにグループ化する。
【０１６３】
この状況で、ＭＨＴは、前景対象物を表す識別されたブロブなど、入力データの関連付けに関する複数の候補仮説を、データの以前のフレームを使用して確立された対象物経路など、既存のトラックによって形成する（ブロック１４４）。ＭＨＴは、ひどい擾乱と高密度のトラフィックがある応用例には特に有益である。軌道が交差している難しいマルチターゲット追跡問題では、Ｓ．Ｓ．Ｂｌａｃｋｍａｎ著、「レーダーアプリケーションを備えた多重目標追跡（Ｍｕｌｔｉｐｌｅ−Ｔａｒｇｅｔ  Ｔｒａｃｋｉｎｇ  ｗｉｔｈ  Ｒａｄａｒ  Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ａｒｔｅｃｈ  Ｈｏｕｓｅ、マサチューセッツ州、ノーウッド（１９８６年）に記載の最近接（ＮＮ）相関および結合確率論的データ関連付け（ＪＰＤＡ）のような他の追跡方法とは対照的にＭＨＴは有効に機能する。
【０１６４】
図１５は、本発明による移動対象物を追跡するために使用されるＭＨＴアルゴリズム１４１のアーキテクチャの一実施形態を示している。いかなる追跡システムにおいても必須の部分は予測モジュールである（ブロック１４８）。予測は移動対象物の状態の推定値を提供し、カルマンフィルタとして実施されることが好ましい。カルマンフィルタの予測は、ターゲットの動力学と測定雑音に対する先験モデルに基づいて行われる。
【０１６５】
検証（ブロック１４２）は、入力データ（例えば、ブロブの中心トラック）と現在の軌道のセット（例えば、以前の画像データに基づくトラック）の間の関連付けに関する仮説（ブロック１４４）の生成に先行するプロセスである。検証（ブロック１４２）の関数は、発生する見込みのない関連付けを早期に除外し、したがって生成されるべき可能な仮説の数を限定することである。
【０１６６】
ＭＨＴアルゴリズム１４１の実施態様の中心となるのは、トラックの仮説の生成と表現である（ブロック１４４）。トラック、すなわち対象物経路は、識別されたブロブなど新しい測定値が、（１）既存のトラックに属し、（２）新しいトラックの出発点であり、（３）誤認警報または前景対象物であると誤って識別されている可能性があるという仮定に基づいて生成される。仮定は、仮説構造に組み込まれる前に、検証プロセスによって検証される（ブロック１４２）。
【０１６７】
例えば、トラック仮説の完全なセットは、図１６の表１５０で示すように仮説行列によって表すことができる。表で表される仮設状態は、フレームｋ＝１およびｋ＋１＝２でそれぞれに作られた２と１の測定値の２つの走査セットに対応する。
【０１６８】
表に関する表記法は次のように分類することができる。測定値Ｚｊ（ｋ）はフレームｋに対してなされるｊ番目の観察（例えば、ブロブの中心トラック）である。さらに、誤認警報は０で示し、古いトラック（ＴｏｌｄＩＤ）から生成される新しいトラック（ＴｎｅｗＩＤ）の構成はＴｎｅｗＩＤ（ＴｏｌｄＩＤ）で示す。この表の最初の列は仮説の指標である。
【０１６９】
この典型的な状況では、走査１の間に合計４つの仮説が生成され、走査２の間にさらに８つの仮説が生成される。最後の列は、特定の仮説が含んでいるトラックを列挙する（例えば、仮説Ｈ８はトラックｎｏ．１とｎｏ．４を含んでいる）。仮説表の行のセルは、特定の測定値ｚｊ（ｋ）が属するトラックを示している（例えば、仮説Ｈ１０の下で、測定値ｚ１（２）はトラックｎｏ．５に属する）。
【０１７０】
仮説行列は、図１７に系統的に示すようなツリー構造１５２によって計算上表される。ツリーの分岐１５２は、本質的に、測定値とトラックの関連付けに関する仮説である。上記の典型的な状況から明らかなように、図１７の仮説ツリー１５２は測定値数に伴い指数関数的に増加させることができる。
【０１７１】
仮説の数を減らすために、異なる方策を適用することができる。例えば、第１の測定は、Ｄ．Ｂ．Ｒｅｉｄ著、「複数目標を追跡するためのアルゴリズム（Ａｎ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｒａｃｋｉｎｇ  ｍｕｌｔｉｐｌｅ  ｔａｒｇｅｔｓ）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｃｏｎｔｒｏｌ、第２４巻、８４３〜８５４頁（１９７９年）にあるように、仮説を互いに素な集合に集積することである。この意味で、同じ測定値に対して競合しないトラックは、互いに素な仮説ツリーに関連付けられた互いに素な集合を構成する。本発明者らの第２の方策は、仮説ツリーのすべての分岐に確率を割り当てることである。Ｎｈｙｐｏ最も高い確率を有する分岐の集合は考慮されるのみである。ＭＨＴアルゴリズムの様々な他の実施態様は、Ｉ．Ｊ．ＣｏｘおよびＳ．Ｌ．Ｈｉｎｇｏｒａｎｉ著、「アルゴリズムを追跡するリードの複数仮説の有効な実現および可視追跡のためのその評価（Ａｎ  ｅｆｆｉｃｉｅｎｔ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ｏｆ  ｒｅｉｄ’ｓ  ｍｕｌｔｉｐｌｅ  ｈｙｐｏｔｈｅｓｉｓ  ｔｒａｃｋｉｎｇ  ａｌｇｏｒｉｔｈｍ  ａｎｄ  ｉｔｓ  ｅｖａｌｕａｔｉｏｎ  ｆｏｒ  ｔｈｅ  ｐｕｒｐｏｓｅ  ｏｆ  ｖｉｓｕａｌ  ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、第１８巻、第２号、１３８〜１５０頁（１９９６年）に記載されている。
【０１７２】
コンピュータビジョンシステム２２を使用して対象物トラック、すなわち軌道を提供することにより、図２に示すような評価モジュール２４は、そのようなコンピュータビジョン情報を処理し、移動対象物が、脅威か脅威でないかなど、正常か異常かを決定するために提供することができる。評価モジュール２４を使用して実行される評価解析は、対象物トラックのピクセル座標を捜索領域のＣＡＤ描画による現実の座標系設定に変換後に実行することができる。したがって、移動対象物の評価目的に内容を提供するために捜索領域の周知の目標を使用することができる。例えば、駐車場に関するこのような目標には、一台一台の駐車場所、駐車場の外周、電柱、および並木を含めることができる。このような座標変換は、Ｏｐｔｉｃａｌ  Ｒｅｓｅａｒｃｈ  Ａｓｓｏｃｉａｔｅ（カリフォルニア州、パサディナ）社製のＣＯＤＥ  Ｖソフトウェアアプリケーションのような光学計算パッケージを使用して達成することができる。しかし、評価解析を実行する他のアプリケーションはこのような設定を要求しない場合がある。
【０１７３】
図２に示される一実施形態では、評価モジュール２４は、フィーチャー・アセンブリ・モジュール４２と分類ステージ４８とを含む。評価モジュール２４は、図１８に示すような評価方法１６０を実行するために使用することが好ましい。
【０１７４】
上記のような評価方法１６０は、移動対象物のトラックが、目標を含む捜索領域の描画など、捜索領域の座標系に変換された後で使用することが好ましい（ブロック１６２）。さらに、正常な移動対象物および／または異常な移動対象物を特徴とする事前定義された特性モジュール５７が分類ステージ４８に提供される（ブロック１６４）。脅威分類ステージなど、分類状態４８は、正常な特性モジュール５８と異常な特性モジュール５９とを含む。
【０１７５】
本明細書で使用されるように、特徴モデルは、正常な対象物経路または異常な対象物経路の任意の特徴またはその関連情報であってよい。例えば、監視中の上空空間に飛行機が飛行する予定がない場合、ブロブの検出はその上空空間では異常であるなど、その上空空間に飛行機がいるという指摘は異常と見なすことができる。さらに、例えば、駐車場のある期間にブロブが検出される予定がない場合、この静かな期間中のある時点でブロブを検出することを特徴モデルとすることができる。明らかに認識できようが、特徴モデルのリストは数が多すぎて列挙できず、脅威の特徴モデルおよび／または脅威でない特徴モデルを包含するだけではなく、彫刻の前を通過する人数と鑑賞するために一定期間立ち止まっている人数を数えるためなど、特定位置の前を通過する対象物を数えるための特徴モデルのような様々な他のタイプの特徴モデルを含めることができる。
【０１７６】
評価モジュール２４のフィーチャー・アセンブリ・モジュール４２は、例えば、対象物経路を表す軌道情報、対象物経路に関して収集された情報（例えば、獲得時刻のような他のデータ）、または対象物経路の長さ（例えば、車両／歩行者当たりベース）のような対象物ベースに対する関連するより高レベルな特性など、コンピュータビジョンモジュール３２によって提供された軌道情報を使用して計算され、または収集される情報を含むことができる特性４３のような対象物経路情報を提供する（ブロック１６６）。すなわち、特性のような対象物経路データには、明確に限定はしないが、移動対象物軌道情報、対象物経路に関して収集される他の情報、対象物経路情報を使用して演算された計算済みの特性、もしくは捜索領域およびその中の移動対象物に関するいかなる他のパラメータ、特徴、または関連情報を含めることができる。
【０１７７】
計算済みの特性は、正常な移動対象物または異常な移動対象物に関する常識的な意見を取り込むようデザインすることができる。例えば、脅威の状況と脅威でない状況の決定に関して、特性は、無害の合法的な軌道および侵入者の周知のまたは仮定のパターンに関する常識的な意見を取り込むようデザインされる。
【０１７８】
一実施形態では、駐車場または脅威の事象（例えば、強盗）の評価が実行されるべき他の捜索領域のような捜索領域に対して計算された特性には、例えば次のものを含めることができる。
・サンプル点の数
・出発点（ｘ、ｙ）
・終了点（ｘ、ｙ）
・経路の長さ
・有効範囲とされる距離（直線）
・距離の比率（経路の長さ／有効範囲とされる距離）
・出発時刻（局所壁時計）
・終了時刻（局所壁時計）
・所要時間
・平均速度
・最高速度
・速度比（平均／最高）
・合計回転角度（ラジアン）
・平均回転角度
・「Ｍ」交差数
【０１７９】
特性の大部分は自明であるが、いくつかは明らかでない場合がある。いくつかの対象物経路の活動は、深夜および早朝など一日の特定の時間では自動的に推測がつくので、壁時計が適切である。
【０１８０】
回転角度および距離の比率の特性は、経路がどれだけ遠回りしたかという解釈を取り込む。例えば、駐車場など施設の合法的ユーザは、車線によって可能となる最も直接的な経路を辿る傾向がある（例えば、直接的な経路を図２０Ｂに示す）。反対に、「うろついている人間」はより蛇行した経路を取る可能性がある。図２０Ｂは、追跡中の脅威でない車両の経路４１８が示された駐車場４１２という脅威でない状況４１０を示している。
【０１８１】
「Ｍ」交差特性は、自動車のドアをよく確認し、または施錠確認するために反復的にループしながら（例えば、２回のループは「Ｍ」字型をとる）、車線に沿って駐車場の複数の区画を系統的に確認するために自動車泥棒の周知の傾向の監視を試みる。これは、駐車場の複数の区画に対して複数の基準線を維持し、複数の区画への出入り回数を数えることによって監視することができる。歩行者の「Ｍ」字型の横断が図２０Ａに示すように捕らえられている。図２０Ａは、脅威の人物経路４０４が示された駐車場４０２という脅威の状況４００を具体的に示している。
【０１８２】
提供された特性（例えば、対象物トラックに関連付けられた特性）は、分類子ステージの正常な移動対象物と異常な移動対象物を特徴とする事前定義された特徴モデル５７と比較することなどによって評価される（ブロック１６８）。移動対象物が正常であるか異常であるかが、フィーチャー・アセンブリ・モジュール４２によって１つまたは複数の対象物経路に対して計算された特性４３と、分類ステージ４８でアクセス可能な（例えば、記憶された）事前定義された特徴モデル５７との間の比較に基づいて決定される（ブロック１７０）。さらに、例えば、対象物経路が脅威であると識別されると、警報６０をユーザに提供することができる。無音、可聴、ビデオなど、いかなるタイプの警報でも使用することができる。
【０１８３】
常識および、例えばユーザがグラフィカルユーザインターフェースで定義した周知の正常な特徴と異常な特徴によって特徴付けられる事前定義された特徴モデル５７に加えて、さらなる特徴モデルを提供するための訓練モジュール４４が提供される。訓練モジュール４４はオンラインでもオフラインでも使用することができる。
【０１８４】
一般に、訓練モジュール４４は、一定期間に亘って特定捜索領域について記録された対象物経路に対するフィーチャー・アセンブリ・モジュール４２の出力を受け取る。対象物経路軌道、および対象物経路に関する計算された情報を含む関連情報（図面では総合してラベリングされたケースと称される）など、このような特性は、データベース構造を使用して収集し、かつ／または編成することができる。次いで、分類ステージ４８での潜在的な使用のためにそのようなデータベース特性に基づいて１つまたは複数の正常な特徴モデルおよび／または異常な特徴モデルを生成するために訓練モジュール４４が使用される。
【０１８５】
そのような訓練モジュール４４とそれに関連付けられたプロセスの説明的な一実施形態を、図１９を参照して説明する。一般に、トレーニングプロセス３５０は、特徴モデル開発モジュール５４によって、定義された特徴モデルなど、対象物の挙動のより明確な説明を生成する際に役立つクラスタ化アルゴリズム５２を提供する。例えば、トレーニングプロセスのために使用されるトレーニングデータには、明確に限定はしないが、ラベリングされた軌道５０および対応する特性ベクトルが含まれる。このようなデータは、Ｗ．Ｂｕｎｔｉｎｅ著、「分類ツリーを学習する（Ｌｅａｒｎｉｎｇ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｔｒｅｅｓ）」、Ｓｔａｔｉｓｔｉｃｓ  ａｎｄ  Ｃｏｍｐｕｔｉｎｇ、第２巻、第２号、６３〜７３頁（１９９２年）に基づくアルゴリズムのような分類ツリー誘導アルゴリズムによって一緒に処理することができる。
【０１８６】
より具体的には、図１９を参照して説明したように、長期に亘る１つまたは複数の移動対象物を表す対象物経路とそのような対象物経路に関連する計算された特性が得られる（ブロック３５２）。例えば、このような対象物経路とそれに関連する計算された特性は、数週間、数ヶ月などに亘って得られる。
【０１８７】
対象物経路と関連する計算された特性は、そのような情報の特定の特徴に基づいてグループ化される（ブロック３５４）。このような対象物トラックは複数のクラスタに分類される。例えば、特定レベルの迂遠性を有する対象物経路を１つのクラスタにグループ化することができ、所定の長さより長い対象物経路を１つのクラスタにグループ化することができる、などである。すなわち、特定の特徴に基づく共通性を有する対象物経路が同じグループにグループ化される（ブロック３５４）。
【０１８８】
次いでそれらのクラスタが比較的大きなクラスタか比較的小さなクラスタかを決定するために、これらのクラスタが解析される。すなわち、これらのクラスタは、それが含んでいる対象物トラックの数に基づいてある程度順序付けられ、大きいか小さいかが判断される。一般に、大きなクラスタは、小さなクラスタと比較して、そこにグループ化された対象物トラックの数が特に多く、比較的正常な対象物トラックであると識別することができる（ブロック３５８）。すなわち、移動対象物が一般的に特定期間に亘り何度も同じ経路をとる場合、その移動対象物に対応する対象物経路は、脅威でない移動対象物を表す対象物経路など、一般的に正常な経路である。次いで対象物経路またはそれに関連付けられた特性は、脅威分類ステージにおいてなど、後で対象物トラックを正常か異常か識別するために事前定義された特徴モデルの一部として使用される（ブロック３６０）。すなわち、大きなクラスタに基づいて分類ステージ４８に含めるために新しい特徴モデルを定義することができる。
【０１８９】
単一対象物トラックを含むことができる比較的小さなクラスタの対象物経路を解析する必要がある（ブロック３６２）。このような解析は、比較的小さなクラスタの対象物トラックまたは単一対象物トラックが、脅威であるなど、異常であるか否かを人間が判断するためにグラフィカルユーザインターフェースによって対象物経路を再検討するシステムのユーザによって実行することができる（ブロック３６４）。
【０１９０】
小さいクラスタの１つまたは複数の対象物トラックが異常である場合、分類ステージ４８で特徴モデルとして使用されるなど、異常な対象物経路を識別するために特性を事前定義された特徴モデルの一部として使用することができる（ブロック３６６）。しかし、１つまたは複数の対象物経路が、そのような対象物経路の他の出現と同時発生せず、もしくはそのような対象物経路がほとんどなく、単なる正常な出現であると判断された場合、解析中のその１つまたは複数の対象物経路を無視することができる（ブロック３６８）。
【０１９１】
そのような対象物トラックがどのようにして生成されたかと関係なく、移動対象物に関して正常な対象物トラックと異常な対象物トラックを識別するためにクラスタ化方法を使用することができる。例えば、図２に示すように、そのような対象物トラックは、複数の撮像装置３０から情報を受け取るコンピュータビジョンモジュール３２によって提供される。しかし、レーダーシステムによって生成された対象物トラックは、訓練モジュール４４に関して説明されるように評価モジュール２４および／またはクラスタ解析ツールを使用して評価し、解析することもできる。
【０１９２】
本明細書で引用するすべての参照文献は、その全体をそれぞれが別個に組み込まれているように組み込まれる。以上、本発明を説明的な実施形態を参照して説明したが、これは限定的な意味で解釈されることを意図するものではない。説明的な実施形態に対する様々な修正形態、並びに本発明の追加の実施形態は、本明細書を参照すれば当業者には明らかになろう。
【図面の簡単な説明】
【０１９３】
【図１】本発明によるコンピュータビジョンシステムからの出力を使用するように動作可能なコンピュータビジョンシステムおよびアプリケーションモジュールを含む監視／検出システムの全体的なブロック図である。
【図２】本発明によるコンピュータビジョンシステムおよび評価モジュールを含む監視システムの全体的なブロック図である。
【図３】図２に全体的に示されたコンピュータビジョンシステムによって実行することができるコンピュータビジョン方法の説明的な一実施形態を一般化した流れ図である。
【図４】図３に全体的に示された光学システムデザインプロセスの説明的な一実施形態を示す流れ図である。
【図５】図３に全体的に示された光学システムデザインプロセスのさらに詳細な説明的一実施形態の流れ図である。
【図６】図５に全体的に示されたデザインプロセスを示す際に使用するための光学システム配置の説明図である。
【図７】図３のコンピュータビジョン方法の部分として全体的に示された画像融合方法の説明的な一実施形態の流れ図である。
【図８】図７に全体的に示された画像融合方法を説明する際に使用する図である。
【図９】図３のコンピュータビジョン方法の部分として全体的に示されたセグメント化プロセスの説明的な一実施形態の流れ図である。
【図１０】図９に示されたセグメント化プロセスを説明する際に使用する略図である。
【図１１】本発明による、図９を参照して説明されるピクセルに対する複数の経時的に変化する正常な分布を示す図である。
【図１２Ａ】本発明による、図９を参照して説明される、複数の経時的に変化する正常な分布の順序付けと、更新データを複数の経時的に変化する正常な分布に照合することを示す図である。
【図１２Ｂ】更新データを複数の経時的に変化する正常な分布に照合する従来技術による方法を示す図である。
【図１３】図９に示されたセグメント化プロセスの更新周期の一実施形態を示す流れ図である。
【図１４】図１３に示された更新周期の一部の説明的な一実施形態のさらに詳細な流れ図である。
【図１５】図３に全体的に示された移動対象物追跡の説明的な一実施形態を示すブロック図である。
【図１６】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１７】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１８】図２に示された監視システムの評価モジュールによる図２に全体的に示された評価方法のさらに詳細な説明的一実施形態を示す流れ図である。
【図１９】図１８に全体的に示された評価方法を支援するために使用することができるクラスタ化プロセスの説明的な一実施形態を示す流れ図である。
【図２０】図２０Ａは、本発明により表示することができる図面で脅威の対象物経路を示す図である。図２０Ｂは、本発明により表示することができる図面で脅威でない対象物経路を示す図である。
【図１】
2004531842.tif 000019
【図２】
2004531842.tif 000020
【図３】
2004531842.tif 000021
【図４】
2004531842.tif 000022
【図５】
2004531842.tif 000023
【図６】
2004531842.tif 000024
【図７】
2004531842.tif 000025
【図９】
2004531842.tif 000026
【図１０】
2004531842.tif 000027
【図１２Ａ】
2004531842.tif 000028
【図１２Ｂ】
2004531842.tif 000029
【図１３】
2004531842.tif 000030
【図１４】
2004531842.tif 000031
【図１５】
2004531842.tif 000032
【図１６】
2004531842.tif 000033
【図１７】
2004531842.tif 000034
【図１８】
2004531842.tif 000035
【図１９】
2004531842.tif 000036
【国際公開パンフレット】
2004531842.tif 000037
2004531842.tif 000038
2004531842.tif 000039
2004531842.tif 000040
2004531842.tif 000041
2004531842.tif 000042
2004531842.tif 000043
2004531842.tif 000044
2004531842.tif 000045
2004531842.tif 000046
2004531842.tif 000047
2004531842.tif 000048
2004531842.tif 000049
2004531842.tif 000050
2004531842.tif 000051
2004531842.tif 000052
2004531842.tif 000053
2004531842.tif 000054
2004531842.tif 000055
2004531842.tif 000056
2004531842.tif 000057
2004531842.tif 000058
2004531842.tif 000059
2004531842.tif 000060
2004531842.tif 000061
2004531842.tif 000062
2004531842.tif 000063
2004531842.tif 000064
2004531842.tif 000065
2004531842.tif 000066
2004531842.tif 000067
2004531842.tif 000068
2004531842.tif 000069
2004531842.tif 000070
2004531842.tif 000071
2004531842.tif 000072
2004531842.tif 000073
2004531842.tif 000074
2004531842.tif 000075
2004531842.tif 000076
2004531842.tif 000077
2004531842.tif 000078
2004531842.tif 000079
2004531842.tif 000080
2004531842.tif 000081
2004531842.tif 000082
2004531842.tif 000083
2004531842.tif 000084
2004531842.tif 000085
2004531842.tif 000086
2004531842.tif 000087
2004531842.tif 000088
2004531842.tif 000089
2004531842.tif 000090
2004531842.tif 000091
2004531842.tif 000092
2004531842.tif 000093
2004531842.tif 000094
2004531842.tif 000095
2004531842.tif 000096
2004531842.tif 000097
2004531842.tif 000098
2004531842.tif 000099
2004531842.tif 000100
2004531842.tif 000101
2004531842.tif 000102
2004531842.tif 000103
2004531842.tif 000104
2004531842.tif 000105
2004531842.tif 000106
2004531842.tif 000107
2004531842.tif 000108
2004531842.tif 000109
2004531842.tif 000110
2004531842.tif 000111
2004531842.tif 000112
2004531842.tif 000113
2004531842.tif 000114
2004531842.tif 000115
2004531842.tif 000116
【国際調査報告】
2004531842.tif 000117
2004531842.tif 000118