(57)【要約】  本サイトの没入型監視を提供するシステムは、サイトの各部分の各生ビデオを生成する複数のカメラを備える。処理コンポーネントが、カメラから生ビデオを受け、生ビデオから処理済みビデオを生成する。映像化エンジンが、処理システムに結合されており、そこから処理済みビデオを受ける。映像化エンジンは、処理済みビデオの少なくとも一部分がサイトのコンピュータモデルに基づく画像表現上に重ね合わされているサイトの視界に対応するリアルタイム画像をレンダリングする。映像化エンジンは画像をビューアにリアルタイムで表示する。処理コンポーネントは、第１と第２のフィルタモジュールを備える。第２のフィルタモジュールは、第１のフィルタモジュールからの出力として受け取られるビデオを処理する。コントローラコンポーネントが、第１と第２のフィルタモジュール間の全てのデータとビデオの送信を制御する。【選択図】図３
2008502229.tif 000002
【特許請求の範囲】
【請求項１】
サイトの没入型監視を提供するシステムであって、
それぞれが前記サイトの個々の部分の個々の生ビデオを生成する複数のカメラと、
前記カメラから前記生ビデオを受け取り、前記生ビデオから処理済みビデオを生成する処理コンポーネントであり、第２のフィルタモジュールが第１のフィルタモジュールからの出力として受け取られるビデオを処理する前記第１と第２のフィルタモジュールを備える前記処理コンポーネントと、
前記処理システムに結合されており、前記処理システムから前記処理済みビデオを受け取る映像化エンジンであり、前記処理済みビデオの少なくとも一部分が、前記サイトのコンピュータモデルに基づく画像表現上に重ね合わされている前記サイトの視界に対応するリアルタイム画像をレンダリングし、前記画像をビューアにリアルタイムで表示する前記映像化エンジンと、
前記第１と第２のフィルタモジュールの間のすべてのデータおよびビデオの送信を制御するコントローラコンポーネントと
を備えるシステム。
【請求項２】
前記第１と第２のフィルタモジュールが、別々のコンピュータ上で実行されるソフトウェア制御のプロセスである、請求項１に記載のシステム。
【請求項３】
前記第１のフィルタモジュールが、前記複数のカメラから前記生ビデオを読み取り、さらなる処理に適した形式を有する変換済みビデオに変換するデータ読取り／変換モジュールを備える、請求項１に記載のシステム。
【請求項４】
前記第２のフィルタモジュールが、前記データ読取り／変換モジュールに結合されており、前記データ読取り／変換モジュールから前記変換済みビデオ出力を受け取り、さらに、前記変換済みビデオをメタデータとの融合のためのデータ融合可能状態のビデオに処理するビデオ処理モジュールを備える、請求項３に記載のシステム。
【請求項５】
前記処理コンポーネントが、前記第２のフィルタモジュールから前記データ融合可能状態のビデオを受け取る第３のフィルタモジュールを備え、前記コントローラコンポーネントが、前記第２と第３のフィルタモジュールの間のすべてのデータおよびビデオの送信を制御する、請求項４に記載のシステム。
【請求項６】
前記第３のフィルタモジュールが、前記融合可能状態のビデオに対するデータ融合を実行して前記処理済みビデオを生成する、請求項６に記載のシステム。
【請求項７】
前記第２と第３のフィルタモジュールが、それぞれ、異なるコンピュータ上で実行されるプロセスである、請求項６に記載のシステム。
【請求項８】
前記第３のフィルタモジュールに結合されている規則エンジンをさらに備える、請求項６に記載のシステム。
【請求項９】
データ格納モジュールを用いて前記処理済みビデオを格納することをさらに備える、請求項１に記載の没入型監視システム。
【請求項１０】
前記コンピュータモデルが前記サイトの３Ｄモデルである、請求項１に記載の没入型監視システム。
【請求項１１】
サイトの没入型監視システムにおいてビデオを処理する方法であって、
複数のビデオカメラから生ビデオを受け取るステップと、
一方のフィルタモジュールが他方のフィルタモジュールの出力を処理する、少なくとも２つのフィルタモジュールによる少なくとも２つの別個のフィルタステップとして実行される、前記生ビデオを処理して処理済みビデオを生成するステップと、
前記処理済みビデオを、前記サイトのコンピュータモデルに基づく画像表現上に前記処理済みビデオの少なくとも一部を適用する映像化エンジンに、あるいは前記処理済みビデオをコンピュータアクセス可能なデータベースに格納するデータベース格納モジュールに送信するステップと、
前記ビデオが重ね合わされた前記レンダリング画像をユーザに表示するステップと、
マスタコントローラを用いて、前記フィルタモジュール間のすべてのビデオおよびデータの送信を制御するステップと
を備える方法。
【請求項１２】
前記第１と第２のフィルタプロセスが異なるコンピュータによって実行される、請求項１１に記載の方法。
【請求項１３】
前記フィルタモジュールの１つの前記処理が、前記生ビデオのデータ読取りまたは変換を行うステップ含む、請求項１１に記載の方法。
【請求項１４】
前記フィルタモジュールの１つの前記処理が、メタデータとのデータ融合のために前記ビデオを準備するステップを含む、請求項１１に記載の方法。
【請求項１５】
前記フィルタモジュールの１つの前記処理が、前記ビデオとメタデータを融合するステップを含む、請求項１１に記載の方法。
【請求項１６】
前記生ビデオの処理済みビデオへの前記処理が、前記２つのフィルタモジュールと第３のフィルタモジュールにより、少なくとも３つの別個のフィルタステップとして実行され、前記フィルタモジュール間のすべてのデータ送信が前記コントローラによって制御される、請求項１１に記載の方法。
【請求項１７】
前記フィルタステップが、それぞれ、データ読取り／変換と、コンポーネント処理と、データ融合とである、請求項１６に記載の方法。
【請求項１８】
前記第２の処理ステップが前記第２のフィルタモジュールによって実行されている間に、前記第１のフィルタモジュールが、続いて受け取られる生ビデオに対して前記第１のフィルタステップを実行する、請求項１１に記載の方法。
【請求項１９】
前記処理済みビデオが前記映像化エンジンに送信される、請求項１１に記載の方法。
【請求項２０】
前記フィルタモジュールがＸＭＬファイルに基づいてインスタンス化され、前記フィルタモジュール間でのデータの送信が前記ＸＭＬファイルによって構成される、請求項１１に記載の方法。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、２００４年６月１日に出願された、「ＭＥＴＨＯＤ  ＡＮＤ  ＳＹＳＴＥＭ  ＦＯＲ  ＰＥＲＦＯＲＭＩＮＧ  ＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ」という名称の米国仮出願第６０／５７５，８９５号、２００４年６月１日に出願された、「ＭＥＴＨＯＤ  ＡＮＤ  ＳＹＳＴＥＭ  ＦＯＲ  ＷＩＤＥ  ＡＲＥＡ  ＳＥＣＵＲＩＴＹ  ＭＯＮＩＴＯＲＩＮＧ，ＳＥＮＳＯＲ  ＭＡＮＡＧＥＭＥＮＴ  ＡＮＤ  ＳＩＴＵＡＴＩＯＮＡＬ  ＡＷＡＲＥＮＥＳＳ」という名称の米国仮特許出願第６０／５７５，８９４号、および２００４年６月１日に出願された、「ＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ／ＶＩＳＩＯＮ  ＡＬＥＲＴ」という名称の米国仮出願第６０／５７６，０５０号の優先権を主張するものである。
【発明の分野】
【０００２】
本発明は、一般に、画像処理に関し、より詳細には、特定のサイトまたは環境内のいくつかのカメラまたはセンサからのデータまたはビデオが、これらのカメラからのビデオを、監視下にあるサイトの２Ｄまたは３Ｄモデル上に重ね合わせることによって処理される没入型監視を提供するシステムおよび方法に関する。
【発明の背景】
【０００３】
効果的な監視および警備が、空港、原子力発電所およびその他の機密性の高い場所において、今やかつてないほどに必要とされている。空港および機密性の高いサイトでは、ビデオ監視が、ますます配置されるようになっている。現実的な状況で有効であるために、ビデオベースの監視は、確固たる場面把握を必要とする。典型的な監視警備システムでは、複数のモニタまたはテレビ画面が使用され、各画面が、１台のカメラの場面の視界を提供する。このシステムの一例を図１の図１Ａに示す。このシステムの運用には、普通、広い空間と数人の警備員が必要である。
【０００４】
しかしながら、信頼性の高い場面把握がなされるならば、（ずらりと並んだモニタと数人の警備員を有する）図１Ａに示すような典型的な設備やシステムは、図１の図１Ｂに示す単一のディスプレイとオペレータで置き換えることができる。図示の監視システムをＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ（商標）といい、参照により本明細書に組み込まれている、２００３年５月８日に公開された、米国特許出願公開第２００３／００８５９９２号明細書に記載されている。一般には、自動化されたアルゴリズムが送られてくるビデオを分析し、周辺が侵害され、動きが検知され、またはその他の行為が報告されたときに、オペレータの注意を喚起する。状況認識システムにおいて、カメラの場所、分析結果、および警告を視覚的に融合すれば、オペレータに、サイト全体の全包括的な視界がもたらされる。かかる設備があれば、オペレータは、潜在的脅威に迅速にアクセスし、対応することができる。
【０００５】
このシステムは、多くの台数に及ぶこともあるサイトに位置する防犯カメラのシステムの表示を可能にするものである。没入型システム内のカメラのビデオ出力は、サイトのレンダリングコンピュータモデルと組み合わされる。米国特許出願公開第２００３／００８５９９２号明細書に記載されているシステムなど、これらのシステムは、ユーザが、仮想モデル内をくまなく移動し、サイトのコンピュータによる２Ｄまたは３Ｄモデルからのレンダリング画像上に重ね合わされた各カメラからのリアルタイムビデオフィードを含む、没入型仮想環境内に自動的に提示される関連するビデオを見ることができるようにする。これは、カメラからの、膨大な数に及ぶことさえある、多数のビデオフィードのビデオを調べる優れた方法を提供する。
【０００６】
しかしながら、同時に、監視をより完全なものとするために、あるいはより広い区域を対象とするためや、他の任意の理由で、しばしば、データを生成するビデオカメラの数を増やすことが求められる。残念ながら、既存の監視システムは、普通、システムが処理するデータ量を大幅に拡張するようには設計されていない。したがって、カメラまたはその他のセンサの台数を大幅に増加させるよう容易に拡張することができ、レーダ、フェンスセンサおよびアクセス制御システムを含む他の種類のセンサを含めるように適用範囲を拡大することもでき、しかも、これらのセンサにまたがる挙動を解釈して脅威条件を識別することのできる同等の機能を維持するシステムがあれば、望ましい。
【０００７】
加えて、コンポーネントが除去され、交換され、またはシステムに追加される必要がある場合のコンポーネント間のモジュール性を提供するシステムがあることも望ましい。
【発明の概要】
【０００８】
したがって、本発明の目的は、カメラ台数を大幅に増加させるよう容易に拡張することのできるシステム、特に前述のビデオフラッシュライトシステムを提供することである。
【０００９】
また、本発明の目的は、既存のモジュールを、新しいモジュールに変更し、システムの機能を強化するために、必要に応じて、モジュラ方式で切り換えることができるように、ソフトウェアがモジュールとして編成されている、没入型監視システムを提供することでもある。
【００１０】
本発明は、一般に、モジュラコンポーネントを単一の環境に統合するシステムおよび方法に関するものである。
【００１１】
本発明の一態様によれば、サイトの没入型監視を提供するシステムは、それぞれが、サイトの個々の部分の個々の生ビデオを生成する複数のカメラを備える。処理コンポーネントがカメラから生ビデオを受け取り、生ビデオから処理済みビデオを生成する。映像化エンジンが処理システムに結合されており、そこから処理済みビデオを受け取る。映像化エンジンは、処理済みビデオの少なくとも一部分が、サイトのコンピュータモデルに基づく画像表現上に重ね合わされているサイトの視界に対応するリアルタイム画像をレンダリングする。映像化エンジンは、画像をビューアにリアルタイムで表示する。処理コンポーネントは、第１と第２のフィルタモジュールを備える。第２のフィルタモジュールは、第１のフィルタモジュールからの出力として受け取られるビデオを処理する。コントローラコンポーネントが、第１と第２のフィルタモジュールの間のすべてのデータおよびビデオの送信を制御する。
【００１２】
本発明の別の態様によれば、サイトの没入型監視システムにおいてビデオを処理する方法は、複数のビデオカメラから生ビデオを受け取るステップを備える。生ビデオは、処理済みビデオを生成するように処理される。処理済みビデオは、サイトのコンピュータモデルに基づく画像表現上に処理済みビデオの少なくとも一部を適用する映像化エンジンに、あるいは処理済みビデオをコンピュータアクセス可能なデータベースに格納するデータベース格納モジュールに送信される。レンダリング画像は、上記ビデオを重ね合わせて、ユーザに表示される。生ビデオの処理済みビデオへの処理は、少なくとも２つのフィルタモジュールによって、少なくとも２つの別個のフィルタステップとして実行される。一方のフィルタモジュールが、他方のフィルタモジュールの出力を処理する。マスタコントローラが、２つのフィルタモジュールの間のすべてのビデオおよびデータの送信を制御する。
【００１３】
本発明のその他の利益および利点は、本明細書の開示を読めば明らかになる。
【好ましい実施形態の詳細説明】
【００１４】
前述の本発明の特徴が詳細に理解されるように、上記で簡単に要約した本発明のより詳細な説明を、実施形態を参照して行い、その一部を、本明細書の各図に示す。しかしながら、図面は、本発明の典型的な実施形態を示しているにすぎず、したがって、本発明の範囲を限定するものとみなすべきではなく、本発明は、他の同等に有効な実施形態も包含し得るものであることに留意すべきである。
【００１５】
適正な場面把握が求められる場合、システムアーキテクチャは、単なるＷｅｂサービスによって接続されたソフトウェアコンポーネントセット以上のものでなければならない。効果的な場面分析のためには、システムアーキテクチャコンポーネントが、フレーム同期方式で、ビデオサンプル（画素）とリアルタイムで対話することが絶対に必要である。この要件は、他のコンポーネントの統合を可能にするために、すなわち、他のコンポーネントおよびフィルタプロセスがシステムに容易に接続され得るようにするために開放型アーキテクチャが望ましい場合には、しばしば困難である。というのは、複数のデータソースが、必ずしも同期されないからである。しかしながら、本発明のシステムアーキテクチャは、同期の問題を生じさせることなく、これらの容易な接続の機能を提供し、本発明によるシステムアーキテクチャは、これまでにない新規な場面分析アルゴリズムに接続するための基礎を形成する。このシステムアーキテクチャは、レーダ、フェンスセンサ、アクセス制御システムといった他のモダリティを含め、これらのモダリティにまたがる挙動を解釈して脅威条件を限定するように拡張し、適用範囲を拡大することができる。
【００１６】
ＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ（商標）などのシステムは、例えば、ＶＩＳＩＯＮＡＬＥＲＴ（商標）というプラットフォームなど、高度な視覚ベースの検知プラットフォームを、ビデオ記録および状況内映像化および脅威評価と統合する。ＶＩＳＩＯＮＡＬＥＲＴ（商標）のプラットフォームは、移動カメラから場面内の動きを効果的に検知し、同じカメラから移動物体を追跡し、樹木の揺れ、波浪、照明の変化などといった誤検出を確実に排除することができる。また、徘徊や周辺侵害などの活動を検知したり、場面内に放置物体が残されている場合に注意を喚起したりすることもできる。これらの分析プロセスは、大部分、受け取られたビデオの処理を利用するものであり、このビデオには、フィードがアナログである場合にはアナログからディジタルに変換する、そのフレームの同期をとなどの処理が施されねばならない。
【００１７】
ＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ（商標）などのシステムは、多数のビデオフィードを融合し、これらを３Ｄモデルまたは地形図上に重ね合わせる。これらのシステムは、シームレスに時間を遡ったり、進めたりして、迅速に法的脅威の分析を行うことができるように、ＤＶＲ（ディジタルビデオレコーダ）を統合する。また、これらのシステムは、複数のパン／チルト／ズームカメラユニットを統合し、正確なＰＴＺ視点を制御し、選択するための直観的な地図／３Ｄモデルベースのインターフェースを提供することもできる。
【００１８】
図２に、これらのシステムに使用されるシステムアーキテクチャの一例を示す。ビデオには、図示されていないいくつかのソースから時刻コードが提供される。ビデオは、移動物体を追跡する追跡システム、動きおよび放置物体の検知、ポーズ生成プログラム、ならびに警報変換プログラムを含めて、すべて、サイトの監視に関連するデータを獲得するようにビデオまたは警報出力を処理するいくつかのフロントエンドプログラムによって処理され、それが、警告などの場合に表示に含めるため、または他の出力のために、ＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ（商標）没入型表示に送信され得る。また、記録されたビデオおよび警報データが再生され、ユーザへの没入型表示で使用するために、ＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ（商標）ステーションに送信される。
【００１９】
本発明では、監視システムが、ＣＣＴＶ中心のカスタマイズされた監視警備システムを迅速に配備するための汎用プラットフォームを含む。セキュリティ機器、アルゴリズム、表示ステーションなど複数のコンポーネントが単一の環境に統合され得る。システムアーキテクチャは、フィルタ間でデータをストリーミングし合うように相互接続されたモジュラフィルタの集合体を含む。「フィルタ」および「ストリーム（ｓｔｒｅａｍ）」という用語は、本明細書ではより広い意味で使用されている。一般に、フィルタは、データを作成し、変換し、または廃棄するプロセスである。ストリーミングは、単に、ネットワークを介したデータのストリーミングだけにとどまらず、潜在的には、同じコンピュータシステム内のプログラムモジュール間でさえもの送信も含むものである。以下で（図３との関連で）より詳細に論じるように、このストリーミングは、インテグレータが、データフローを維持する複数のＰＣシステムにまたがって動作するシステムを構成することを可能にする。
【００２０】
本発明の目的は、本発明の好ましい実施形態によるシステムアーキテクチャを示す図３のシステムアーキテクチャを使用して達成される。この環境では、システムは、好ましくは、別個のマシンが多くのプロセスに関与するマルチプロセッサ／マルチコンピュータシステムであることに留意すべきである。
【００２１】
システムは、いくつかのＣＰＵを含むコンピュータ、あるいはネットワークまたは通信インターフェースによってリンクされた別々のコンピュータシステムの通常のコンポーネントを含み、ＲＡＭおよび／またはＲＯＭメモリと、磁気ディスクやＣＤ−ＲＯＭ装置など他の適切な記憶装置とを備える。
【００２２】
図３に戻って、システムアーキテクチャ１０は、システムのすべてのリンクされたコンピュータの計算処理作業を機能的に表す階層フィルタグラフに基づくものである。
【００２３】
プロセスが異なるマシン内で実行され得るモジュラシステムを作成するために、これまでのシステムが、没入型モデルに適用し、またはデータに格納する目的で生ビデオを作成するのに使用したプロセスは、本明細書では「フィルタ」と呼ぶ、別個のコンポーネント処理に分けられた。各フィルタは、システムの他の部分で行われている計算処理や、他のフィルタによって実行される計算処理を侵害することなく、独自に処理することができる。同様に、各フィルタは、異なるコンピュータシステム上で実行されてもよい。
【００２４】
フィルタグラフは、フィルタ間で相互にデータをストリーミングし合うように相互接続され得るモジュラフィルタで構成されている。フィルタは、本質的に、次の３種類、すなわち、ソースフィルタ（ビデオ取り込み装置、ＰＴＺ伝達機構、データベース読取り機構など）、変換フィルタ（動き検知機構、追跡機構などのアルゴリズムモジュール）またはシンクフィルタ（レンダリングエンジン、データベース書込み機構など）の１つとすることができる。これらのフィルタは、複数のコンポーネントを並列に実行させることのできる固有のスレッディング機能と共に構築されており、これにより、システムは、マルチプロセッサプラットフォームで利用可能なリソースを最適に使用することができる。言い換えると、データ読取り機構／変換機構は、コンポーネント処理モジュールおよびデータ融合モジュールと同時に実行され得る。
【００２５】
さらに、バッファリング、ストリーム同期および多重化のための適切なソフトウェア構成も設けられている。
【００２６】
各フィルタは、下位の処理動作（例えば、変化検知、ブロブ形成など）の出力が、上位フィルタ（分類機構、認識機構、融合）に供給されるという点で、階層的に動作する。図３に示す好ましい実施形態では、各フィルタは、リアルタイムデータ読取り／変換機構１１、コンポーネント処理モジュール１３、およびデータ融合モジュール１５である。センサ装置からの生データストリームが、リアルタイムデータ読取り／変換機構１１に供給され、そこで、生ビデオが、システム内の他のビデオと共通の形式を有するビデオに変換される。次いで、データ読取り機構１１からの変換済みデータは、ビデオの標準化における別のステップである、コンポーネント処理モジュール１３によって処理される。次いで、処理済みデータが、データ融合モジュールによって、例えば、ＰＴＺカメラの方向およびズーム表示を指示するメタデータなどのデータと融合される。データ融合は、普通、同期と結合されており、そこで融合されるデータは、ビデオフレームなどと同じ時刻のものである。
【００２７】
これは、没入型監視システムにおけるビデオ処理の各段の並列処理を可能にする、フィルタのスレッドを作成する１つの方法であるが、システムによって受け取られるビデオ処理を分割する他の方法もあることが理解される。重要なのは、各フィルタが、それ以外のフィルタとの間でデータの受け渡しをすること以外に、そられのフィルタから事実上分離されていることである。
【００２８】
また、好ましい実施形態は、マルチプロセッサ、マルチマシン環境を示すものであるが、本発明の利点は、特に、複数のプロセッサがある単一マシン環境でも得ることができることも理解すべきである。
【００２９】
また、システムアーキテクチャ１０は、より複雑な推論および脅威評価を可能にするために、データ融合モジュール１６からのこれらの基本情報パケットの上に具体的な挙動を迅速にモデル化する規則エンジン１８も提供する。また、規則エンジン１８は、規則エンジン１８による処理の間に、データベース／アーカイブ２０からもデータを受け取る。規則エンジン１８から映像化エンジン２２に供給されるデータが、適当なサイズの表示など、ユーザインターフェース２４による表示のための場面情報を生成する。マスタコンポーネントコントローラ／コンフィギュレータ２６は、フィルタ１２、１４、１６およびデータベース／アーカイブ２０、規則エンジン１８、ならびに映像化エンジン２２との通信を行い、これらの動作を制御する。
【００３０】
規則エンジン１８は、データベース／アーカイブ２０など、分散されたデータベースセットにまたがって動作する。ゆえに、規則エンジン１８は、システムが大幅に拡大された場合に大幅に拡張されたたとしても、通常どおり動作し続けることができる。規則エンジン１８は、データベース／アーカイブ２０に自動的に問い合わせを行い、オペレータが、異なるフィールドを利用して、これらのフィールドに関する複雑な規則ベースの推論を組み立てることができるようにする。規則エンジン１８は、警備員がプレビューする警戒ステーションに統合することができる。
【００３１】
データベース／アーカイブ２０は、（元の、または処理済みの）ストリーミングデータを永続的データベースに保管するために設けられている。このデータベースは、オペレータが、複数のメタデータストリームの記録と再生を同時に行うことができるようにＤＶＲ様のインターフェースに覆われている。好ましくはＷｅｂインターフェースまたはソフトウェアインターフェースであるが、データベース／アーカイブ２０（モジュール）にインターフェースすることによって、システムの再生挙動を制御することができる。このインターフェースは、非リアルタイムコンポーネントと規則ベースエンジンが、データを処理することができるようにする。また、これは、（以下で説明する）規則ベースのエンジンが、このデータベースに問い合わせし、このデータベースの上に複雑なインターフェースを作成することも可能にする。
【００３２】
マスタコンポーネント２６は、例えば、目的物を追跡するために、ユーザインターフェースからのコマンドによって、またはシステムによって自動的に移動させることのできるパン／チルト／ズームカメラなど、システム内のセンサ装置を制御するデバイスコントローラ２８を含む。
【００３３】
各フィルタ１２、１４、１６は、ＸＭＬベースの構成ファイルを有する。相互接続性およびデータフローは、ＸＭＬファイル内で構成される。ＸＭＬファイルにアクセスしてフィルタの挙動を制御するために、ＨＴＴＰコマンドが、そのフィルタの割り当てＩＰアドレスと共に使用される。ＨＴＴＰ要求は、ユーザのブラウザによってアドレス指定される。したがって、ブラウザは、ＸＭＬ文書を受け取り、構文解析プログラムを使用してページを構築し、表示閲覧のためにＸＭＬをＨＴＭＬに変換する。好ましい実施形態によれば、オペレータがフィルタに変更を加えることができる。フィルタのデータ変更は、ネットワークインターフェースを介して送られる、すなわち、ＸＭＬストリームとしてストリーミングされる。これらのストリームには、ＳＯＡＰ（簡易オブジェクトアクセスプロトコル）またはＣＯＲＢＡ（共通オブジェクト要求ブローカアーキテクチャ）インターフェースを介してアクセスすることができる。ＳＯＡＰメッセージは、特定のフィルタへのＨＴＴＰ要求に埋め込まれる。このように、ソフトウェアを複雑化せずに、新しいコンポーネントを、追加し、変更し、またはシステムから除去することができる。場合によっては、フィルタグラフは、処理モジュールの動的適応的アセンブリを可能にするように実行時に変更できることもある。
【００３４】
要約すると、システムアーキテクチャ１０は、以下の主要な特徴を有する。
【００３５】
システム拡張性：このアーキテクチャは、複数のプロセッサおよび複数のマシンにまたがってコンポーネントを統合することができる。単一のマシン内で、相互接続されたスレッド化フィルタコンポーネントが接続性を提供する。１対のフィルタが、ＰＲＣベースのトランスポート層を介してＰＣ間の接続性を提供する。
【００３６】
コンポーネントのモジュール性：このアーキテクチャは、コンポーネント間でデータをストリーミングする機構を用いて、ソフトウェアモジュール間の明確な分離を保持する。各モジュールは、フィルタ間でデータをストリーミングするための共通インターフェースを備えるフィルタとして定義される。フィルタは、アルゴリズム開発者が、すぐに統合に利用できる処理コンポーネントを迅速に開発するのに好都合なラッパを提供する。このアーキテクチャは、コードの書き換えなしで、フィルタモジュールの迅速なアセンブリを可能にする。これが、プロセスを、フィルタステップのスレッドに分割することによって得られるモジュール性の利点である。
【００３７】
コンポーネントのアップグレード性：システムのコンポーネントを、システムインフラストラクチャーの残りの部分に影響を及ぼさずに交換するのが容易である。各フィルタは、ＸＭＬベースの構成ファイルに基づいてインスタンス化される。相互接続性およびデータフローは、ＸＭＬファイル内で構成される。これは、ソフトウェアを複雑化せずに、新しいコンポーネントが追加され、変更され、またはシステムから除去され得るようにする。場合によっては、フィルタグラフは、処理モジュールの動的適応的アセンブリを可能にするように実行時に変更できることもある。
【００３８】
データストリーミングアーキテクチャ：本明細書で説明するシステムアーキテクチャは、システム内のモジュール間でデータをストリーミングする機構を提供する。このアーキテクチャは、システム全体にわたる時間の整合性のある理解を可能にする。特化されたフィルタが、複数のデータソースにまたがる同期を提供し、複数のデータストリームを組み合わせる必要のある融合フィルタがサポートされる。新しいデータストリームが、インフラストラクチャーに接続するいくつかの追加の方法を実施することによって追加される。データストリーミングの別の重要な態様が、メモリ使用量、データコピー、および適正なメモリクリーンアップである。このアーキテクチャは、ストリーミングデータを、データがシステムを流れる際にデータを再コピーすることを必要とせずにデータを追跡する、参照カウントポインタとして実施する。
【００３９】
データ格納アーキテクチャ：本明細書で説明するシステムアーキテクチャは、（元の、または処理済みの）ストリーミングデータを永続的データベースに保管するためのインターフェースを提供する。このデータベースは、ユーザが、複数のメタデータストリームの記録と再生を同時に行うことができるようにＤＶＲ様のインターフェースに覆われている。ソフトウェアインターフェースまたはＷｅｂインターフェースを介して、このモジュールにインターフェースすることによって、システムの再生挙動を制御することができる。このインターフェースは、非リアルタイムコンポーネントと規則ベースのエンジンがデータを処理することができるようにする。また、これは、（以下で説明する）規則ベースのエンジンが、このデータベースに問い合わせを行い、このデータベースの上に複雑なインターフェースを作成することも可能にする。
【００４０】
規則ベースの問い合わせエンジン：規則ベースのエンジンが、前述の分散データベースセットにまたがって動作する。これは、拡張性の見地から見た利点である。規則ベースのエンジンは、自動的にデータベースに問い合わせを行い、ユーザが、異なるフィールドを利用して、これらのフィールドに関する複雑な規則ベースの推論を組み立てることができるようにする。このエンジンは、警備員がプレビューする警戒ステーションに統合することができる。
【００４１】
開放型アーキテクチャ：本明細書で説明するシステムアーキテクチャは、複数の対話レベルにおいてシステムへの開放型インターフェースをサポートする。最も単純なレベルでは、すべてのフィルタへのＨＴＴＰインターフェースが、その挙動を制御するために設けられる。データは、ネットワークインターフェースを介してＸＭＬストリームとしてストリーミングされる。これらには、ＣＯＢＲＡまたはＳＯＡＰインターフェースを介してアクセスすることができる。また、ユーザがデータベース情報を直接統合することができるように、データベースへのソフトウェアインターフェースも公開される。ソフトウェアレベルでは、アルゴリズムを統合するためのソースコードフィルタシェルを自動的に生成するようにアプリケーションウィザードが設けられる。これは、プログラマ以外の人が、それぞれの環境における場面把握のためにカスタマイズされた複雑なフィルタグラフをアセンブルすることができるようにする。
【００４２】
以上の本発明の好ましい実施形態の説明は、図示と説明のために提示したものである。網羅的であることも、本発明の範囲を開示どおりの形だけに限定することも意図しておらず、前述の教示に鑑みての変更および変形も可能であり、本発明の実施により変更および変形を獲得することも可能である。実施形態は、当業者が、様々な実施形態において、企図される特定の使用に適した様々な変更と共に本発明を利用することができるように、本発明の原理およびその実際の適用を説明することを目的として選択し、記述したものである。本発明の範囲は、添付の特許請求の範囲およびその均等物によって定義されるべきものである。
【図面の簡単な説明】
【００４３】
【図１】図１Ａは複数のモニタとカメラの運用を伴う従来のシステムを示す図であり、図１ＢはＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ（商標）視界選択システムの動作モデルを示す図である。
【図２】ＶＩＤＥＯ  ＦＬＡＳＨＬＩＧＨＴ（商標）システムのシステムアーキテクチャを示す構成図である。
【図３】本発明の好ましい実施形態によるシステムを示す図である。
【図１】
2008502229.tif 000003
【図２】
2008502229.tif 000004
【図３】
2008502229.tif 000005