(57)【要約】監視視覚化システムが、複数のカメラから情報を抽出してシーンのグラフィカル表現を生成し、建物及び樹木等の静止エンティティがグラフィカル・モデルによって表現され、自動車及び人々等の移動エンティティが、プライバシー保護のために当該エンティティのアイデンティティを選択的に明らかにするか、又は遮るべくコード化が可能な別の動的物体によって表現される。パワー・レンズ・ツールが、シーン内の物体とリンクされたメタデータ・ストアに適用されるデータ・マイニング動作をユーザが指定し、その結果を回収することを可能にする。分散型モデルが呈示されており、それではデータ・マイニング条件の定義、及び多様な異なるフォーマットによる結果の呈示にグリッド又はマトリクスが使用される。このシステムは、メタデータ及びデータ・マイニング・クエリを互いに共有することが可能な複数の者による使用をサポートする。【選択図】図３
2010521831.tif 000002
【特許請求の範囲】
【請求項１】
自動化された広域多センサ多ユーザの監視及び動作システムを作るための方法であって、
共有される多レイヤ多次元の協働的データ空間を生成するステップと、
少なくとも１つの監視カメラ及びビデオ・アナライザから多次元メタデータを受信し、前記協働的データ空間にストアするステップと、
ユーザにより定義される関心領域を構成し、当該関心領域と、データ・マイニング・プロセス、データ空間、及び多レイヤのグラフィック・モデル表現とを結びつけるステップと、
前記メタデータに対してデータ・マイニング・プロセスを実行し、前記モデルの結果を前記協働的データ空間にストアするステップとを、有し、
前記構成、結びつけるステップは、複数のユーザによる寄与によって、少なくとも部分的には実行され、
前記データ・マイニング・プロセスは、複数のユーザによって供給される動的な指定パラメータに基づいて、少なくとも部分的には実行される方法。
【請求項２】
前記メタデータは、前記複数のユーザのアクセスが可能な、協働的グローバル・データ空間内にストアされる、請求項１に記載の方法。
【請求項３】
さらに、解析、データ・マイニング、及びリアル‐タイム・スコアリングからなるグループから選択される前記メタデータの解析処理を実行することを含む、請求項１に記載の方法。
【請求項４】
前記データ・マイニングを実行するステップは、
前記複数のユーザのうちの少なくとも１人によって指定される、動的なオン‐デマンド・フィルタリングを使用して実行される、請求項１に記載の方法。
【請求項５】
前記データ・マイニングを実行するステップは、
前記複数のユーザのうちの少なくとも１人によって指定される、相関リンキングによって実行される、請求項１に記載の方法。
【請求項６】
さらに、前記複数のユーザのうちの少なくとも１人による見ることが可能な多モード視覚化をオン‐デマンドで生成することを含む、請求項１に記載の方法。
【請求項７】
さらに、前記データ・マイニングの結果を、複数のユーザに同時に表示することを含み、前記表示の際、各ユーザは、前記複数のユーザに呈示される視界の性質に関して独立したコントロールを有する、請求項１に記載の方法。
【請求項８】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義し、前記クエリ・フィルタ・グリッドを使用して前記データ・マイニングを実行するステップを実行することを含む、請求項１に記載の方法。
【請求項９】
さらに、互いにリンクされた複数の視覚化構成要素を包含する視覚化融合グリッドを定義し、前記視覚化融合グリッドを使用して前記データ・マイニングを実行した結果の視覚的表示を生成すること、を含む、請求項１に記載の方法。
【請求項１０】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義し、前記フィルタ・グリッドを使用して前記データ・マイニングを実行するステップを実行し、
互いにリンクされた複数の視覚化構成要素を包含する視覚化融合グリッドを定義し、前記クエリ・フィルタ・グリッドによって生成された結果に基づき、かつ前記視覚化融合グリッドを使用して前記データ・マイニングを実行するステップの結果の視覚的表示を生成すること、を含む、請求項１に記載の方法。
【請求項１１】
静止エンティティ及び移動エンティティを含むシーンについての監視情報を呈示する方法であって、
少なくとも１つの監視カメラからシーンの画像データを受信するステップと、
前記受信した画像データに基づいて前記シーンの少なくとも１つの視界を表すグラフィック・モデルを生成するステップと、
前記シーン内の前記静止エンティティを表す静止物体を包含する少なくとも１つの背景レイヤ、及び前記シーン内の前記移動エンティティを表す少なくとも１つの動的物体を包含する少なくとも１つの前景レイヤを有するべく前記グラフィック・モデルを構成するステップと、
前記動的物体についてのメタデータを獲得し、前記獲得したメタデータを前記動的物体と関連付けしてデータ・ストアを定義するステップと、
前記グラフィック・モデルを使用し、前記背景レイヤ及び前記前景レイヤからの情報を結合することによって、前記静止物体に対する前記動的物体の視覚化された位置が、前記シーン内における前記静止エンティティ及び前記移動エンティティの物理的な位置の知識に基づいて計算されるように、前記シーンのグラフィカル表示を生成するステップと、
前記シーンの前記グラフィカル表示に関連してデータ・マイニング・ツールのグラフィカル表示を生成するステップと、
前記データ・マイニング・ツールを使用し、あらかじめ定義済みの評価基準に基づいて前記データ・ストアを発掘し、かつ前記データ・マイニングの結果を前記動的物体に関連して前記グラフィカル表示上に表示するステップと、を含む方法。
【請求項１２】
前記データ・マイニング・ステップは、複数のクエリ・プロセスを生成すること、データ融合を使用して統合された結果を生成すること、及び、その後前記統合された結果を、前記データ・マイニング・ツールを使用して表示することによって実行される、請求項１１に記載の方法。
【請求項１３】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義すること、及び前記フィルタ・グリッドを使用して前記データ・ストアを発掘すること、を包含する、請求項１１に記載の方法。
【請求項１４】
さらに、互いにリンクされた複数の視覚化構成要素を包含する視覚化融合グリッドを定義すること、及び前記視覚化融合グリッドを使用して前記データ・マイニング・ステップの結果の視覚的表示を生成すること、を包含する、請求項１１に記載の方法。
【請求項１５】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義すること、及び前記フィルタ・グリッドを使用して前記データ・ストアを発掘すること、及び  互いにリンクされた複数の視覚化構成要素を包含する視覚化融合グリッドを定義すること、及び前記クエリ・フィルタ・グリッドによって生成された結果に基づき、かつ前記視覚化融合グリッドを使用して前記データ・マイニング・ステップの結果の視覚的表示を生成すること、を包含する、請求項１１に記載の方法。
【請求項１６】
さらに、ユーザ・インタラクティブ・コントロールを受信し、選択的に平行移動、回転、及び平行移動と回転の組み合わせ演算を、前記グラフィカル・モデルに対して実行し、前記グラフィカル表示の観測点を変更すること、を包含する、請求項１１に記載の方法。
【請求項１７】
さらに、前記データ・マイニング・ツールを使用し、あらかじめ定義済みのパラメータに基づいて少なくとも１つのアラート状態を構成すること、及び
前記データ・マイニング・ツールを使用し、前記あらかじめ定義済みのパラメータに基づいて前記データ・ストアを発掘し、かつ前記アラート状態が生じたときにグラフィカル指標を前記グラフィカル表示上に提供すること、を包含する、請求項１１に記載の方法。
【請求項１８】
前記グラフィカル指標は、前記シーン内の少なくとも１つの静止物体又は動的物体の見かけを変更することによってもたらされる、請求項１７に記載の方法。
【請求項１９】
前記データ・マイニング・ツールは観察ポータルを提供し、前記方法は、さらに、前記データ・マイニングの結果に基づいて前記ポータル内に情報を供給することを包含する、請求項１１に記載の方法。
【請求項２０】
前記ポータル内に情報を供給する前記ステップは、データ・マイニング結果に基づき、座標系に対してグラフィカルに情報を表示することを包含する、請求項１９に記載の方法。
【請求項２１】
前記ポータル内に情報を供給する前記ステップは、通常は前記グラフィカル表示内において第２の物体によってわかりにくくなる第１の物体の視覚的レンダリングを、前記第２の物体を不可視として呈示することによって提供することによりシー‐スルーの画像情報を表示することを包含する、請求項１９に記載の方法。
【請求項２２】
前記動的物体は、関連するエンティティのアイデンティティを開示する情報の表示を選択的に許可又は禁止する、コンピュータ・グラフィックにより生成されるアバターを使用して表示される、請求項１１に記載の方法。
【請求項２３】
さらに、複数のユーザ間における協働的環境を定義することを包含し、それによって第１のユーザがメタデータを前記データ・ストアに供給し、その後そのメタデータが第２のユーザによるデータ・マイニングにおける使用のために利用可能となる、請求項１１に記載の方法。
【請求項２４】
さらに、複数のユーザ間における協働的環境を定義することを包含し、それによって第１のユーザがデータ・マイニング動作の構成を供給し、その後その構成されたデータ・マイニング動作が第２のユーザによるデータ・マイニングにおいて起動されるべく利用可能となる、請求項１１に記載の方法。
【請求項２５】
監視視覚化システムであって、
静止エンティティ及び移動エンティティを含む少なくとも１つのシーンの視界に対応する少なくとも１つの画像データ・フィードを提供するカメラ・システム、
前記画像データ・フィードを受け入れ、前記シーンのコンピュータ・グラフィクス・モデルを組み立てるべく動作可能なグラフィクス・モデリング・システムであって、前記モデルが前記静止エンティティを少なくとも１つの静止物体として表し、前記移動エンティティを前記静止物体とは別途の動的物体として表す、グラフィクス・モデリング・システム、
前記移動エンティティに関連付けされたメタデータのデータ・ストア、及び
ユーザが定義できる有利なポイントから前記シーンの表示を、前記静止物体及び前記動的物体を使用して組み立てる表示生成システムを包含し、
前記表示生成システムが、前記動的物体のうちの少なくとも１つに関連付けされ、かつメタデータの検索のために前記データ・ストアに提出される、データ・マイニング・クエリの結果の選択及び観察のためにユーザが操作するパワー・レンズ・ツールを有する監視視覚化システム。
【請求項２６】
前記カメラ・システムは、前記シーンの異なる部分をカバーする複数の動画監視カメラを含む、請求項２５に記載の監視視覚化システム。
【請求項２７】
前記グラフィクス・モデリング・システムは、前記静止物体を少なくとも１つの背景レイヤ内でモデリングし、前記動的物体を前記背景レイヤとは別途の少なくとも１つの前景レイヤ内でモデリングし、それにおいて前記動的物体は、それぞれ互いとは別々に表現される、請求項２５に記載の監視視覚化システム。
【請求項２８】
前記データ・ストアは、静止エンティティに関連付けされたメタデータもストアする、請求項２５に記載の監視視覚化システム。
【請求項２９】
前記データ・ストアは、複数のユーザによってアクセス可能なネットワーク上に展開され、前記複数のユーザがそれぞれ移動エンティティについてのメタデータを前記データ・ストアに追加することを可能にする、請求項２５に記載の監視視覚化システム。
【請求項３０】
前記データ・ストアは、前記パワー・レンズ・ツールによってデータ・マイニング結果をもたらすべくアクセスされることを許すデータ・マイニング・クエリ指定情報もストアする、請求項２５に記載の監視視覚化システム。
【請求項３１】
前記データ・ストアは、複数のユーザによってアクセス可能なネットワーク上に展開され、前記複数のユーザがそれぞれデータ・マイニング・クエリ指定情報を前記データ・ストアに追加することを可能にする、請求項２５に記載の監視視覚化システム。
【請求項３２】
前記表示生成システムは、前記静止物体と前記動的物体を組み合わせて、ユーザによってインタラクティブに回転及び平行移動が行われることが可能な前記シーンの３次元視界を定義する、請求項２５に記載の監視視覚化システム。
【請求項３３】
前記パワー・レンズ・ツールは、ユーザ入力コントロールを含み、それによってユーザが、あらかじめ定義済みのパラメータに基づいて少なくとも１つのアラート状態を指定し、それにおいて前記パワー・レンズは、前記アラート状態が生じたときにグラフィカル指標を提供する、請求項２５に記載の監視視覚化システム。
【請求項３４】
前記パワー・レンズは、前記アラート状態が生じたときに、少なくとも１つの静止物体又は動的物体の見かけを変更する、請求項３３に記載の監視視覚化システム。
【請求項３５】
さらに、互いにリンクされた複数のクエリ・プロセスを定義するクエリ・フィルタ・グリッドを包含し、前記グリッドが、前記データ・ストアのデータ・マイニングを容易にするべく前記パワー・レンズ・ツールのアクセスが可能なネットワーク上に配置される、請求項２５に記載の監視視覚化システム。
【請求項３６】
さらに、データ・マイニング結果の視覚的表示を生成するべく前記パワー・レンズのアクセスが可能なネットワーク上に配置される、互いにリンクされた複数の視覚化構成要素を包含する視覚化融合グリッドを包含する、請求項２５に記載の監視視覚化システム。
【請求項３７】
前記パワー・レンズは、データ・マイニング結果に基づき、座標系に対してグラフィカルに情報を表示するべく適合されたポータルを含む、請求項２５に記載の監視視覚化システム。
【請求項３８】
前記表示生成システムは、動的物体を、関連するエンティティのアイデンティティを開示する情報の表示を選択的に許可又は禁止する、コンピュータ生成されるアバターとして表示するべく適合される、請求項２５に記載の監視視覚化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、概して監視システムに関し、より詳細には多カメラ、多センサの監視システムに関する。本件開示は、データ・マイニングを活用して監視作業者がシーン内で起こっている事態を理解することをより有意に容易にするシステム及び方法を開発する。
【背景技術】
【０００２】
最近の高機能の監視作業に使用されているシステム及びセンサ・ネットワークは、一般に多くのカメラ及びセンサを採用しており、それらが集合的に、複数のカメラからのビデオ・データ・ストリーム及び監視サイトから収集されるそのほかの形式のセンサ・データを含む膨大な量のデータを生成する。この膨大な量のデータを前提とすると、現在の事態を理解することがきわめて複雑なことになり得る。
【発明の概要】
【０００３】
従来の監視モニタリング・ステーションにでは、図１に図解されているようなビデオ・スクリーンの集合の正面に監視作業者が座らされる。それぞれのスクリーンは、異なるカメラからのビデオ・フィードを表示する。人間の作業者は、しばしば分断化される一連の視界から何が起きているかを理解する努力の中で、最初は追加の調査の根拠となる異常な挙動が存在するか否かを検出しようとし、次にその異常な事態に反応しようとして、すべてのスクリーンのモニタを試みなければならない。これはきわめて単調で退屈な作業であり、作業者は、何も起きないスクリーンの凝視に何時間も費やさないことがある。その後、瞬間的に普通でない事態が生ずることがあり、その事態が悪意のあるものであるか又は無害であるかを決定する即座の反応を作業者に求める要求が発現する。普通でない事象が生じるときであっても引き続き何時間にもわたって何も起きない退屈の中に落ち着く相当数の問題とは別に、多くの重要な詳細又はデータの傾向が作業者から隠れる視覚的に小さい画像を作ることから、単にそれらの事態が見落とされることがある。
【０００４】
本件のシステム及び方法は、作業者が大きなピクチャを見ることを可能にしつつ、強力なデータ・マイニング・テクニック及びマルチメディア視覚化の補助を使用して潜在的な異常を迅速に探ることが可能な高機能の視覚化テクニックを採用することによってこれらの監視の問題の克服を求める。作業者は、あらかじめ決定済みの仮説なしに、異常な監視状況を発見するべく探究的な分析を実行できる。データ・マイニング・テクニックは、ビデオ・データ・スクリーンに関連付けされたメタデータ及びセンサ・データを探究する。これらのデータ・マイニング・テクニックは、潜在的脅威を見つけ出すことによって、また監視データベースから「隠れた」情報を発見することによって作業者を補助する。
【０００５】
現在のところ好ましい実施態様では、視覚化が、多次元データを容易に表現し、没入型の視覚的監視環境を提供することが可能であり、作業者が事態を容易に理解し、迅速かつ効率的に応答することができる。
【０００６】
この視覚化システムは、民間及び政府のセキュリティ応用のための重要な用途を有するが、当該システムは、コミュニティのユーザがシステムにアクセスし、当該システムが提供するセキュリティ及び監視機能の利点を得ることが許される応用の中での展開が可能である。システムは、異なるレベルの動的に割り当てられるプライバシーを実装する。したがってユーザは、システムに登録し、アラート状態の根拠とならない限り、他者のプライバシーを侵害することなくそれを使用できる。
【０００７】
このほかの適用可能性の分野は、ここに提供されている説明から明らかとなるであろう。理解されるものとするが、説明及び特定の例は、例証の目的のためだけを意図しており、本件開示の範囲の限定は意図されていない。
【０００８】
ここで述べられている図面は、例証の目的のためだけであって、いかなる形においても本件開示の範囲を限定することは意図されていない。
【図面の簡単な説明】
【０００９】
【図１】複数のビデオ・モニタを採用した従来的な監視システム（従来技術）を図解した概略図
【図２ａ】本発明の監視視覚化システムによって生成されるパノラマ視界を示している表示する図
【図２ｂ】図２ａ内に示されているシーンを３Ｄ空間において回転したシーンを示している表示の概略図
【図３】パノラマ・ビデオ表示の生成に使用されるデータ・フローを示したブロック図
【図４】監視視覚化システム内において実装されるパワー・レンズ・ツールの平面図
【図５】監視システム内において視覚及びメタデータに対して実行されるプロセスを図解したフローチャート
【図６ａ】異なる視覚化機能を実行するパワー・レンズを図解した説明図
【図６ｂ】異なる視覚化機能を実行するパワー・レンズを図解した説明図
【図６ｃ】異なる視覚化機能を実行するパワー・レンズを図解した説明図
【図７】監視視覚化システムの分散型の実施態様の理解に有用な対応するマイニング視覚化グリッドとともに例示的なマイニング・クエリ・グリッド・マトリクスを示した説明図
【図８】現在のところ好ましいパワー・レンズの実施態様を図解したソフトウエア・ブロック図
【図９】本発明のデータ・マイニング及び監視視覚化の態様を使用するコミュニティの安全サービス・サイトを示している例示的なウェブ・スクリーンの視界を示した説明図
【図１０】協働的適用内における監視視覚化システムの使用の理解に有用な情報プロセス・フローチャート
【図１１】どのようにして協働的監視視覚化システムが実装可能であるかの理解に有用なシステム構造図
【発明を実施するための形態】
【００１０】
本発明の説明は本質的に例示に過ぎず、したがって本発明の骨子から逸脱しない変形は、本発明の範囲内となることが意図されている。その種の変形が本発明の精神及び範囲から逸脱していると見なされることはない。
【００１１】
視覚化システムの詳細な説明に移る前に概要を述べる。図１は、従来の監視システムを使用しなければならない監視作業者が遭遇する事態を示している。従来システムでは、一般に複数の監視カメラが存在し、それぞれが複数のモニタのうちの異なる１つにデータ・フィードを提供する。図１は、その種のモニタの並びを図解する。それぞれのモニタは、異なるビデオ・フィードを示す。ビデオ・カメラにパン、ティルト、及びズーム（ＰＴＺ）能力が備えられるが、一般的な使用では、作業者がＰＴＺコントロールの操作を決定しない限り、それらのカメラが固定された観測点にセットされることになる。
【００１２】
従来システムでは、作業者が、普通でないと思われる何らかの動き又は活動を探しつつ、継続的にモニタの並びを見なければならない。その種の動き又は活動が検出されたとき、作業者がＰＴＺコントロールを使用して関心活動にズーム・インすることがあり、また疑わしい活動の追加の視界を得ようとして、他のモニタのアングルを調整することもある。監視作業者の上記仕事は、困難なものである。平穏なときの間は、一度に数時間にわたって、作業者がいずれのモニタ上にも関心事をまったく見ないことがある。作業者が、そういった時間の間に退屈から催眠状態になることがあり、したがって潜在的に重要な事象を見落とすおそれがある。逆に、忙しいときの間は、作業者が正常な活動の洪水を心の中で選別して除き、異常な活動の瞬間に気付くことが、事実上不可能となる。複数のモニタ上に表示される複数の画像が互いに相関されていないことから、作業者は、心の中で、いくつかのモニタが示すかもしれない共通事象を繋げ合わせなければならない。
【００１３】
図２ａ及び図２ｂは、発明者らの監視視覚化システム及び方法によって状況がどのように劇的に改善されるかの例を与えている。複数の共通点のないビデオ・モニタを眺めることを作業者に求める代わりに、この好ましい実施態様は、１０に図解されているような単一のモニタ（又は、１つのパノラマ視界を示す横並びのモニタのグループ）を使用して実装できる。より完全な説明を後述するとおり、ビデオ・ストリーム及びその他のデータが収集され、使用されて、いくつかの異なるレイヤからなる複合画像が生成され、その後それらがコンピュータ生成された３次元画像上にマップされ、その後それを作業者が随意に回転すること、並びにズーム・イン及びズーム・アウトすることが可能である。永続的に静止している物体が背景レイヤ内でモデリングされ、移動する物体が前景レイヤ内でモデリングされ、履歴移動データから抽出された正常な軌跡が１つ又は複数の中間レイヤ内でモデリングされる。したがって、図２ａ及び図２ｂでは、建物１２が、背景レイヤ内に配置される建物のグラフィカル・モデルによって表されている。個人の（自動車から４階の事務所へ歩いていく）動きが、軌跡ライン１４として前景レイヤ内でモデリングされる。なお、そのラインは、建物の背後になるか、又は建物内となるときに破線で示されており、経路のその部分がコンピュータ生成された３Ｄ空間内において直接見ることができないことを図解している。
【００１４】
モデリング・テクニックが使用されることから、監視作業者は、仮想３次元空間内において容易に画像を回転して、事態のより良好な視界を得ることが可能である。図２ｂでは、画像が建物の垂直軸周りに回転され、その結果、４階の事務所１６が、図２ｂの平面図内に示される。図２ａ又は図２ｂ内には図示されていないが作業者は、シーンのズーム・イン又はズーム・アウトを容易に行うことが可能であり、望ましい場合には作業者が人にズーム・インすること、又は建物１２が置かれている近隣全体を見るためにズーム・アウトすることを可能にする。
【００１５】
モデリング・テクニック及びレイヤ化表示が使用されていることから、作業者は、コンピュータによりシミュレーションされたシーンのモデル、実際のビデオ画像、又はこれら２つの組み合わせて見るかどうかを選択できる。これに関して言えば、作業者は、コンピュータ生成された画像を使用して建物をモデリングし、しかもビデオ・データ・ストリーム自体によって示される人を見ることを望むことができる。代替として、移動している人をコンピュータ生成されるアバターとして表示し、その人のアイデンティティのプライバシーが保護されるようにできる。このように、発明者らの監視視覚化システムによって採用されるレイヤ化表示テクニックは、望ましい場合には同一シーン内の異なるタイプのメディアを混合するマルチメディア表示を可能にする。
【００１６】
しかしながら視覚化システムは、さらにその先へ進む。選択された関心シーンを表す視覚的画像の表示に加えて、視覚化システムは、シーン内の選択された要素に関連付けされるその他のメタデータを表示することも可能である。現在のところ好ましい実施態様では、監視作業者によってパワー・レンズ２０がスクリーン上で操作され得る。パワー・レンズは、覗き穴又は網線（たとえば十字線）を有し、作業者は、それを関心エリアの上に置く。この場合では、パワー・レンズ２０の覗き穴が４階の事務所１６の上に置かれている。作業者がこのパワー・レンズを使用して見るものは、完全にその作業者に委ねられる。本質的に、パワー・レンズは、ユーザ‐コントロール可能なデータ・マイニング・フィルタの役割をする。作業者がフィルタリングのためのパラメータを選択し、それらのパラメータがクエリ・パラメータとして使用されてデータ・マイニング結果を、パワー・レンズに関連付けされたポータル内又は吹き出しボックス２２内いずれかの視覚的オーバーレイとして作業者に表示される。
【００１７】
たとえばカメラ・システムが、視覚的に観察される物体から抽出されるメタデータを生成するデータ・マイニング・ファシリティを含むと仮定する。例として述べるが、おそらくはシステムが、観察されている物体の支配的な色を示すデータを提供するべく構成されることになろう。したがって、白い配達トラックはその物体が『白』であるとするメタデータを生成することになり、ピザ配達員の上着は、その者の支配的な色が『赤』（その者の上着の色）であることを示すメタデータを生成することになる。支配的な色に基づいて物体を調査することを望む場合には、パワー・レンズが、そのメタデータを抽出し、かつパワー・レンズのポータル内において識別された物体のためにそれを表示するべく構成される。
【００１８】
より高機能のシステムでは、顔認識テクノロジが使用されることがある。距離が遠く離れていると、顔認識テクノロジが人の顔を見分けられないこともあるが、その者が監視カメラの近くに移動するに従って、データが顔認識結果の生成に充分となり得る。顔認識結果が獲得された後は、その者のアイデンティティをメタデータとして、検出された者に関連付けすることができる。その者のアイデンティティを知ることを監視作業者が希望する場合には、単純に、パワー・レンズによってフィルタリングされるべき因子の１つとして顔認識識別情報を含める。
【００１９】
ここでは、色及び顔認識が述べられたが、当然のことながら、カメラ又は他のセンサによって、若しくはそれらのカメラ又はセンサからのデータを使用する他のデータベースをルックアップすることによって、突きとめることが可能なあらゆるものを、視覚化システムによって利用が可能なメタデータとし得ることが理解されるであろう。したがって、たとえばその者のアイデンティティが突きとめられた後は、その者のナンバー・プレート番号を、自動車監督局のデータを使用してルックアップしてもよい。システムは、ルックアップしたナンバー・プレート番号と、そのユーザが出てきた乗り物（図２ａ）のナンバー・プレート番号とを比較し、そのシーン内に現在いる者が、他人のものではなく実際に自分の自動車を運転していたか否かを警告する追加のメタデータを生成できる。特定の状況下では、その種の乗り物の運転挙動が、強調されるセキュリティ手段の根拠となり得る異常となることがある。これは１つの例に過ぎないが、発明者らの視覚化システムが、伝統的なビデオ・モニタの並びにまったく整合できない潜在的に悪意のある事態についての情報の提供が可能であることが、ここで認識されたものとする。この概要を用いて、次に監視視覚化システムのより詳細な議論に進む。
【００２０】
ここで図３を参照し、監視視覚化システム内の情報フローの基本的な概要を次に示す。例証の目的のために、図３内には３０に複数のカメラが図解されている。この場合では、パン・ズーム・ティルト（ＰＴＺ）カメラ３２及びオーバーラップする視界を伴うペアのカメラ３４が例証の目的のために示されている。高機能のシステムは、数十又は数百台のカメラ及びセンサを採用することがある。
【００２１】
カメラ３０からのビデオ・データ・フィードは、背景減算処理モジュール４０に入力され、それが集合的なビデオ・フィードを解析し、時間を経ても移動しない集合的な画像の部分を識別する。これらの非移動領域は、背景４２に帰属させられる。画像内の移動部分は、前景物体４４の集合に帰属させられる。背景及び前景部分へのビデオ・データ・フィードの分離は、監視視覚化システムの１つの一般化された実施態様を表す。望ましい場合には、前景及び背景の構成要素を、時間を経た移動履歴に基づいてさらに細分してもよい。したがってたとえば、常に静止したままの建物を静的背景カテゴリに割り当てることができ、部屋の中の家具（たとえば椅子）を異なる背景カテゴリ、すなわち通常は静止しているがそのときどきで移動され得る物体に対応する背景カテゴリに割り当てることができる。
【００２２】
背景減算プロセスは、前景から背景を分離するだけでなく、個別の前景物体を、前景物体グループ内の別々のエンティティとして別々に識別する。したがって、午前８：２５に駐車場に到達する赤色の自動車の画像は、午前６：１０に駐車場に到達した緑色の自動車と別の前景物体として扱われる。同様にそれぞれの乗り物から出て来た者は、それぞれ別々に識別されることになる。
【００２３】
図３に示されているとおり、背景情報は、モジュール４６内においてさらに処理されてパノラマ背景を組み立てる。パノラマ背景は、ビデオ・モザイク・テクニックによって組み立てることができ、それによってそれぞれのカメラからの背景データが互いに縫い合わされてパノラマ的な合成物を定義する。互いに縫い合わされたパノラマな的合成物は、ビデオ・ドメイン内における描写（すなわち、前景物体を控除したカメラ・ビデオ・データを使用して）が可能であるが、３次元モデリング・テクニックも使用できる。
【００２４】
３次元モデリング・プロセスは、基礎をなしているビデオ・データに基づいてベクトル・グラフィック・ワイヤ・フレーム・モデルを展開する。その種のモデルを使用することの１つの利点は、ワイヤ・フレーム・モデルが、ビデオ画像より有意に少ないデータをとることである。したがって、ワイヤ・フレーム・モデルとして表現される背景画像は、はるかに少ないプロセッサ負荷で操作することが可能である。さらに、当該モデルは、３次元空間内において容易に操作することが可能である。図２ａ及び図２ｂに図解されていたとおり、モデリングされた背景画像は、仮想３次元空間内において回転が可能であり、作業者が、そのときの自分自身のニーズにもっとも適した有利なポイントを選択することを可能にする。また３次元モデリングされた表現は、仮想３次元空間内におけるパン、ズーム、ティルト、フライ‐バイ、及びフライ‐スルーを含む他の動きも容易にサポートする。フライ‐バイ動作では、前景の物体が背景の物体より大きく現れるようになり、作業者は、あたかも自分自身が仮想空間内を飛行しているかのように仮想画像を見る。フライ‐スルーのパラダイムでは、作業者が建物の壁を通り抜けることが可能となり、それによって作業者が、建物の壁の一方の側又は他方の側で何が起こっているかを容易に見ることを可能にする。
【００２５】
前景の物体は、異なる、処理モジュール４８に図示されている処理を受ける。前景の物体は、それぞれの物体に関連付けされた空間的及び時間的な情報に従ってパノラマ背景上に呈示される。この方法では、前景の物体がビデオ・データ・フィードと同期された場所及び時間で配置される。望ましい場合には、前景の物体を、ビデオ画像から抽出されたビットマップ・データを使用するか、又は実際の物体の代わりになるアバター等のコンピュータ生成された画像を使用して表現することができる。
【００２６】
個人のプライバシーが尊重されなければならない応用では、シーン内に現れる者を、その者の顔又はアイデンティティを明らかにせずに、その者の位置及び動きが正確にレンダリングできるように、コンピュータ生成されたアバターで表現することができる。侵入者の検出が重要な機能となる監視システムでは、個人のプライバシーの維持する能力が直観に反するものとなるおそれがある。しかしながら、正常な建物の占有者が、保安監視員によって継続的に監視されることを望まないセキュリティ応用は多い。ここに述べられている監視視覚化システムは、この要件に適応する。当然のことながら窃盗犯が建物内に検出される場合には、窃盗犯のアイデンティティを決定するべく基礎をなしている、１つ又は複数のカメラ３０から取り込まれたビデオ・データに容易にアクセスすることができる。
【００２７】
これまでのところ、図３に図解されているシステムは、パノラマ・シーンがどのように生成され、表示されるかということに中心が置かれていた。しかしながら監視視覚化システムの別の非常に重要な側面は、それによるメタデータの使用及び要求時におけるユーザに対するそのメタデータの選択表示である。メタデータは、多様なソースから到来することが可能であり、それにはビデオ画像自体からのもの、又はそれらのビデオ画像から組み立てられたモデルからのものが含まれる。さらに、メタデータは、観察されている物理的空間に関連付けされたネットワーク内に配置されるセンサから引き出すことも可能である。たとえば、監視ビデオの取り込みに使用される多くのデジタル・カメラは、それのカメラ・パラメータ（焦点距離、解像度、ｆストップ、及びこれらの類）、それの位置決めメタデータ（パン、ズーム、ティルト）をはじめ他の、実世界内におけるそのカメラの物理的な位置（たとえば、カメラが取り付けられたときに供給されたデータ又はＧＰＳ情報から引き出されたデータ）等のメタデータを含む多様なメタデータを提供することが可能である。
【００２８】
カメラ自体から入手できるメタデータに加えて、監視及びセンサ・ネットワークを、他のネットワーク・データ・ストア及び画像処理エンジンにリンクすることができる。たとえば顔認識処理エンジンをネットワーク上に展開し、カメラ又はカメラ・システムにサービスを提供するべく構成し、それによって顔画像をストア済み画像のデータ・バンクと比較し、ある者のアイデンティティとその者自身の顔画像の関連付けに使用できる。その者のアイデンティティが既知になった後は、他のデータベースを調べてその者についての追加の情報を獲得することが可能である。
【００２９】
同様に、文字認識処理エンジンを展開してもよく、たとえばナンバー・プレートの番号を読み取り、続いてその情報を使用してその乗り物の登録済みの所有者についての情報を調べることができる。
【００３０】
この情報はすべてメタデータを構成し、それを、監視視覚化システムによって生成されるパノラマ・シーン内に表示される背景及び前景の物体に関連付けすることができる。以下においてより完全に論じられているとおり、この追加のメタデータは、ボタンのクリック時に多くの有用な情報を監視作業者に提供するべく探し出すことができる。
【００３１】
柔軟な方法でのシーン情報及びメタデータ情報の表示に加えて、監視視覚化システムは、事象に対して自動的に反応する能力も有する。図３に図解されているとおり、事象ハンドラ５０が、おそらくは多様な異なるソースから自動事象入力を受け取り、それらの事象入力５２を処理してパノラマ・ビデオ・ディスプレイ５４内に変化をもたらす。事象ハンドラは、到来する事象が比較される規則５６のデータ・ストアを含む。事象のタイプ及び適切な規則に基づいて、ディスプレイ５４にコントロール・メッセージを送り、監視作業者の注意を惹くように設計可能な変化を表示内に生じさせることができる。たとえば、表示の中のあらかじめ定義済みの、おそらくはモニタされる物体に関連付けされた領域の色を、緑色から黄色、赤色に変化させてアラート・セキュリティ・レベルを示すことが可能である。監視作業者は、その場合に、モニタされる物体が攻撃の下にあったか否かを、単に色の変化を観察することによって見分けることが容易に可能である。
【００３２】
監視視覚化システムの非常に有用な側面の１つは、発明者らがパワー・レンズと呼ぶデバイスである。パワー・レンズは、３Ｄグローバル空間内における挙動及び事象を観察する能力及び予測を行う能力を提供することが可能なツールである。パワー・レンズは、ユーザが、１つ又は複数の関心領域に適用される、パワー・レンズの観察範囲を定義することを可能にする。パワー・レンズは、観察及び予測のための解析、スコアリング、及びクエリ・フィルタのセットから選択される１つ又は複数の評価基準フィルタを適用することができる。パワー・レンズは、動的でインタラクティブな解析、観察、及びコントロール・インターフェースを提供する。これは、ユーザが挙動検出シナリオの組み立て、配置、及び観察を自動的に行うことを可能にする。パワー・レンズは、予測モデルを使用して解析ノード間のリンク及びアクティブ化を動的に構成できる。
【００３３】
現在のところ好ましい形態では、パワー・レンズが、図４の２０に図解されているところの修正された拡大鏡の形式及び見かけをとることができるグラフィカル観察ツールを包含する。認識されるものとするが、当然のことながらパワー・レンズの視覚的構成は、それの物理的有用性を損なうことなしに多様化が可能である。したがって、図４に図解されているパワー・レンズ２０は、適切な観察ツールの１つの例に過ぎない。パワー・レンズは、ポータル６０を定義する領域を好適に有し、ユーザは、それを表示スクリーン上のパノラマ視界内の関心エリア上に配置することができる。望ましい場合には、視界内の物体の精密な識別のために十字線又は網線６２を含めてもよい。
【００３４】
パワー・レンズには、フィルタリングされることになる画像内の物体に関連付けされたメタデータ及びデータ・マイニングのために使用される出力を与えるクエリ生成システムが関連付けされる。好ましい実施態様では、パワー・レンズ２０が、複数の異なるスコアリング及びフィルタ評価基準機能をサポートすることが可能であり、論理積／論理和、及び否定等のブール演算子を使用することによってそれらを結合することができる。システムの操作者は、パワー・レンズを操作することにより実行されるインタラクティブな動的クエリ構築プロセスにおいてパラメータ・リストからパラメータを選択することによって、自分自身のクエリを組み立てることができる。
【００３５】
図４では、パワー・レンズが、データ・マイニング・フィルタ・ブロック６４、６６、及び６８として表されている３つの独立したデータ・マイニング機能を伴って図解されている。ここは３つのブロックが図解されているが、パワー・レンズは、ユーザの選択に応じてそれより多くの又は少ない数のブロックを与えるべく設計される。ユーザは、適切なグラフィカル表示の操作（たとえば、マウスを用いたクリック）によってブロックの１つを選択することが可能であり、それが７０にあるような拡張可能なパラメータのリストを表示させる。ユーザは、関心のあるパラメータを選択することが（たとえば、マウスのクリックによって）可能であり、選択されたパラメータが、その後ブロックに追加される。その後ユーザは、選択したパラメータのそれぞれのための評価基準を設定することが可能であり、続いてパワー・レンズが、メタデータをモニタし、選択された評価基準に整合する結果を抽出する。
【００３６】
パワー・レンズは、ユーザが既存のパワー・レンズ・クエリ及び視覚化テンプレート・モデルからクエリ・テンプレートを選択することを可能にする。これらのモデルは、（１）適用されるクエリ適用ドメイン、（２）評価基準パラメータ・フィールドのセット、（３）リアル‐タイム・マイニング・スコア・モデル及び提案スレッショルド値、及び（４）視覚化モデルを包含できる。これらのモデルは、その後、好ましくはＸＭＬフォーマットのパワー・レンズ記述言語を使用することによって応用のニーズを満たすべく拡張及びカスタム化が可能である。使用では、ユーザがパノラマ・ビデオ表示内にパワー・レンズをクリック又はドラッグ・アンド・ドロップし、その後そのパワー・レンズを、関心領域に適用されるべきクエリを定義するため、及びその後に続くクエリ結果の視覚的表示のためのインターフェースとして使用することができる。
【００３７】
パワー・レンズは、ビデオ・アナライザとモニタ・ステーションの間において適用及び使用が可能である。したがってパワー・レンズは、連続的に、ビデオ・アナライザの出力又はリアル‐タイム事象マネージャからの出力のクエリを行うこと、及びその後この入力データのフィルタリング及びサーチを、あらかじめ定義済みのマイニング・スコアリング又は意味論上の関係に基づいて行うことが可能である。図５は、パワー・レンズの基本的なデータ・フローを図解している。ビデオ・アナライザが、７１にあるとおり、入力としてデータをパワー・レンズに供給する。望ましい場合には、データ融合テクニックを使用して、いくつかの異なるソースからのデータ入力を結合することができる。その後７２において、パワー・レンズ・フィルタが適用される。フィルタは、回収された結果に対して、ユーザによって、又はあらかじめ定義済みのパワー・レンズ・テンプレートによって設定されたあらかじめ定義済みのアルゴリズムに基づいて重み又はスコアを割り当てることができる。意味論上の関係もまた、この段階において呼び出すことが可能である。したがって、獲得されたクエリ結果を、類似の意味を有するほかの結果と意味論的に結合することができる。たとえば、認識された顔の識別とその者の車両免許証番号の間に意味論上の関係を定義することができる。意味論上の関係が設定される場合には、免許証番号に整合する認識済みの顔が識別されるとき、個人の免許証番号に関するクエリがヒットをもたらすことになる。
【００３８】
７３に図示されているとおり、データ・マイニング結果は、望ましい場合に、その結果がグラフィカルに表示可能となるように視覚的表示エンジンに送られる。１つのケースでは、回収された結果をテキスト又は表形式で表示することがもっとも適当となり得る。これはしばしば、認識された者の名前といった特定の結果に意味がある場合にもっとも有用である。しかしながら、７４に図示されている視覚化エンジンは、多様な異なるグラフィカル表示を含むそのほかのタイプの視覚的表示を作ることができる。その種のグラフィカル表示の例は、ツリー・マップ、２Ｄ／３Ｄ散布図、平行座標プロット、風景図、密度図、waterfall diagrams、time wheel diagrams、地図‐ベースの表示、３Ｄ multicomb displays、市街地断層マップ、information tubes、及びこれらの類を含む。これに関して言えば、表示の形式は本質的に制限がないことが認識されるものとする。もっとも適するものであればどのようなタイプでも、実行されるクエリを選択できる。さらに、これらのより高機能のグラフィカル出力に加えて、視覚化エンジンを使用して、単純に色又はそのほかの属性を、パノラマ視界内の物体を表すために使用されるコンピュータ生成されたアバター又は他のアイコンに提供することも可能である。したがって、事務所建物監視システムでは、ＲＦ  ＩＤバッジを所有しているすべての建物の占有者が１つの色で描写され、他のすべての者が異なる色で描写されるようにできる。図６ａ〜図６ｃは、異なる視覚化の例を実行するパワー・レンズ２０を図示する。図６ａは、視界が、例示的なＶＭＤフィルタの適用を伴った、指定時間ウインドウ（午前９：００〜午後５：００）にわたる指定場所（駐車場）の活動マップとなるポータル６０を通じたシーンを図解している。クエリ・パラメータは、パラメータのふきだしボックス７０内に示される。
【００３９】
図６ｂは、異なる視界、すなわち３Ｄ軌跡マップを図解している。図６ｃは、視界が３Ｄ速度／加速度マップになるさらに別の例を図解している。認識されることになろうが、パワー・レンズは本質的に、任意のタイプのマップ、グラフ、表示、又は視覚的レンダリングの表示、特にシステムのデータ・ストアから発掘されたメタデータに基づいてパラメータ化されたものに使用可能である。
【００４０】
広域監視モニタリング又は調査については、いくつかの領域からの情報のモニタ及び同化が必要となることがある。監視視覚化システムは、複数のパワー・レンズが定義されることを許し、その後それらのパワー・レンズの結果が併合されるか又は融合されて、統合された視覚化情報を提供できる。現在のところ好ましい実施態様では、異なるソース及び異なるパワー・レンズからのデータの間における関係のマップにグリッド・ノードが採用される。図７は、グリッド・ノード間の関係に基づく例示的なデータ・マイニング・グリッドを図解している。
【００４１】
図７を参照すると、それぞれのクエリ・グリッド・ノード１００は、もっとも最近のクエリ・ステートメント及び獲得された結果のキャッシュを含む。それらは、パワー・レンズを使用してなされた構成セッティングに基づいて生成される。それぞれの視覚化グリッド・ノードは、もっとも最近の視覚的レンダリング要求及び当該構成セッティングに基づくレンダリング結果のキャッシュも含む。
【００４２】
ユーザのクエリは、クエリ又はマイニング・プロセスの複数のレイヤに分解される。図７では、座標（ｍ，ｎ）を有する２次元グリッドが図解されている。理解されるであろうが、グリッドは、望ましければ２より多くの次元とすることが可能である。図７に示されるとおり、マイニング・グリッドのそれぞれの行は、１０２に示されているマイニング視覚化グリッドを生成する。マイニング視覚化グリッド１０２は、続いて１０４において融合されて統合マイニング視覚化グリッド１０４となる。なお、図解されているとおり、個別のグリッドが、それの直接の行の近隣だけでなく、対角の近隣とも情報を共有する。
【００４３】
図７に示されるとおり、マイニング・クエリ・グリッドのエンティティ間の可能接続パスによって作り出される情報メッシュは、１つのグリッドの結果が別のグリッドの評価基準及び目標データ・セット両方の入力になることを可能にする。マイニング・クエリ・グリッドからの任意の結果に、マイニング視覚化グリッド内における情報の呈示を指示することが可能である。図７では、マイニング視覚化グリッドがマトリクスの右側に沿って示されている。それにもかかわらずここで理解される必要があるが、これらの視覚化グリッドは、マイニング・クエリ・グリッドに関連付けされた表示インストラクションに従って、任意のマイニング・クエリ・グリッドからデータを受け取ることが可能である。
【００４４】
図８は、パワー・レンズ及びそれのクエリ生成及び視覚化能力をサポートするアーキテクチャを図解している。図８内に図解されたアーキテクチャは、主としてたとえば図７に図解されているところのマイニング・クエリ・グリッドの設定及び維持を担う分散型グリッド・マネージャ１２０を含む。パワー・レンズ監視アーキテクチャは、ユーザのグラフィカル・ユーザ・インターフェース（ＧＵＩ）レイヤ１２２を情報処理エンジン１２４から、及び分散型グリッド・ノード・マネージャ１２０から分離するレイヤ化された配置で構成できる。したがって、ユーザ・グラフィカル・ユーザ・インターフェース・レイヤ１２２は、クエリ作成構成要素１２６、インタラクティブ視覚化構成要素１２８、及びスコアリング及び行動構成・構成要素１３０を含むユーザ・インターフェース構成要素を作成するエンティティを包含する。それに加えて、ユーザ・インターフェースの拡張を可能にするために、モジュール拡張構成要素も含ませることができる。これらのユーザ・インターフェースの構成要素は、ユーザの操作及びインタラクションのために表示スクリーンのグラフィカル構成要素を配置する、任意の適切なテクノロジを通じて生成することができる。これらの構成要素は、サーバ側又はクライアント側のいずれにおいても展開可能である。現在のところ好ましい１つの実施態様では、ＡＪＡＸテクノロジを使用してそれらの構成要素を、それらの構成要素がクライアント側において非同期態様で動作するようにページ記述インストラクション内に埋め込むことができる。
【００４５】
処理エンジン１２４は、クエリ・ステートメントの生成及びユーザのインタラクションをサポートするクエリ・エンジン１３４を含む。ユーザが、たとえば新しいクエリの定義を希望するとき、ユーザは、クエリ作成ユーザ・インターフェース１２６を通じて通信し、続いてそれがクエリ・エンジン１３４を呼び出す。
【００４６】
パワー・レンズの処理エンジンは、視覚化エンジン１３６も含む。視覚化エンジンは、視覚化レンダリングの取り扱いを担い、同様にインタラクティブである。インタラクティブ視覚化ユーザ・インターフェース１２８は、視覚化エンジンと通信し、ユーザが視覚化された画像とインタラクションすることを可能にする。
【００４７】
処理エンジン１２４は、幾何学的場所処理エンジン１３８も含む。このエンジンは、パノラマ・ビデオ表示内及びそのほかのタイプの情報表示内に表示されることになるデータに関連付けされる、時間属性及び空間属性を突きとめること及び操作することを担う。幾何学的場所処理エンジンは、シーン内に配置されることになるそれぞれの物体についての場所情報を獲得し、かつスコア付けし、また表示内のあらかじめ定義済みのゾーンにあらかじめ定義済みの場所をマップする情報も獲得し、かつストアする。ゾーンは、表示内の、特定にデータ・マイニング動作が関連するあらかじめ決定済みの領域を包含するべく定義できる。たとえば、ユーザが特定の通路のモニタを希望する場合には、その通路をゾーンとして定義し、その後そのゾーンにクエリのセットを関連付けすることができる。
【００４８】
柔軟な監視視覚化システムのデータ・マイニング構成要素のうちのいくつかは、特定の事象へのスコアの割り当てを伴うことが可能である。その後規則のセットが使用されて、割り当て済みのスコアに基づいて特定の行動がとられるべきであるか否かが評価される。図８に図解されている好ましい実施態様では、スコアリング及び行動エンジン１４０がスコアと特定の事象又は事象のグループを関連付けし、その後、エンジン１４０内にストアされているあらかじめ定義済みの規則に基づいて特定の行動をとらせる。データ及びタイムスタンプと割り当て済みスコアを関連付けすることによって、スコアリング及び行動エンジン１４０は、観察されている状態のリアル‐タイム・スコアリングを生成し、かつ仲立ちすることが可能である。
【００４９】
最後に、情報処理エンジン１２４は、構成データ及び評価基準パラメータ・セットの作成及び／又は更新に使用可能な構成拡張モジュール１４２も好適に含む。図４に戻るが、好ましいパワー・レンズが、インタラクティブな動的クエリ・パラメータのセットをそれぞれが採用するデータ・マイニング・フィルタ・ブロックの集合（たとえば、ブロック６４、６６、及び６８）を採用できることを想起されるであろう。構成拡張モジュール１４２は、新しいタイプのクエリの設定、すなわちその後に続いてユーザがデータ・マイニングのために呼び出すことができるクエリの設定が望ましいときに使用できる。
【００５０】
図８に図解されている好ましい実施態様では、処理エンジン１２４をマルチ‐スレッド態様で呼び出すことができ、それによって複数の個別のクエリ及び個別の視覚化レンダリングがインスタンス作成され、その後（個別及び組み合わせ両方で）使用されて、望ましい監視視覚化表示を作る。分散型グリッド・ノード・マネージャ１２０は、これらの動作を仲立ちする。例証の目的のために、例示的なクエリ・フィルタ・グリッドが１４４に示され、１つ又は複数のマイニング・クエリ・グリッド１００（図７）によって採用される機能を表している。したがって、６×６マトリクスが採用される場合には、図示されたボックス１４４に対応する３６個のクエリ・フィルタ・グリッドのインスタンス作成が存在し得る。それらのそれぞれの中では、クエリ・プロセスが（クエリ・エンジン１３４によって作られるクエリ・ステートメントに基づいて）立ち上げられ、結果のセットがストアされる。したがってボックス１４４は、図７のマイニング・クエリ・グリッド１００のそれぞれに関連付けされる処理及び結果のストアを図式的に表現する。
【００５１】
１つのグリッドの結果が別のグリッドによって使用されることになる場合には、クエリ融合動作が起動される。分散型グリッド・ノード・マネージャ１２０は、したがって１つ又は複数のクエリ融合グリッド１４６のインスタンス作成をサポートし、ノード間のリンクを定義し、かつ統合された結果をストアする。したがってクエリ融合グリッド１４６は、図７のマイニング・クエリ・グリッド１００間の接続ラインを定義する。
【００５２】
分散型グリッド・ノード・マネージャ１２０は、図７のマイニング視覚化グリッド１０２及び１０４のコントロールも担う。したがってマネージャ１２０は、複数の視覚化グリッド１５０及び複数の視覚化融合グリッド１５２をコントロールする能力を含む。これらはともに、ユーザに対してどのようにデータが表示されるかを担う。図８に図解されている好ましい実施態様では、視覚化データ（たとえば、ビデオ・データ及び同期された２次元及び３次元のグラフィカル・データ）の表示が、センサ・グリッドをわたって非カメラ・デバイスから受け取られたセンサ・データと別々に取り扱われる。分散型グリッド・ノード・マネージャ１２０は、したがって１５４に図解されるとおり、デバイス及びセンサ・グリッドのデータを仲裁する能力を含む。
【００５３】
図８に図示されている好ましい実施態様では、分散型グリッド・ノード・マネージャが、多様なクエリ・フィルタ・グリッド、融合グリッド、視覚化グリッド、視覚化融合グリッド、並びにデバイス及びセンサ・グリッドを起動するべく登録及びステータス更新メカニズムを採用する。このように分散型グリッド・ノード・マネージャ１２０は、登録管理、ステータス更新、コマンド・コントロール、及びフロー配置の能力を含み、図８ではそれらが図式的に図示されている。
【００５４】
図８に図示されたシステムは、発明者らが３Ｄグローバル・データ空間と呼ぶ共有データ・リポジトリの作成に使用できる。このリポジトリは、監視下にある物体、及び３Ｄ仮想モニタリング空間に対するそれらの物体の結合のデータを含む。上で述べたとおり、複数のカメラ及びセンサが、３Ｄ仮想モニタリング空間を定義するデータを供給する。それに加えてシステムのユーザが、その空間にデータを協働的に追加できる。たとえば、保安監視員が、監視下にあるデバイス又は物体の状態を提供することをはじめ、関心領域のための構成データを協働的に作成又は更新することが可能である。３Ｄグローバル空間内のデータは、運用、追跡、補給管理、及び視覚化を含む多くの目的のために使用できる。
【００５５】
現在のところ好ましい実施態様では、３Ｄグローバル・データ空間が、以下の共有データを含む。
・センサ・デバイス物体：カメラ、エンコーダ、レコーダ、アナライザの装備及び構成のデータ。
・監視物体：人々、自動車等のビデオの前景物体の場所、時間、性状、ランタイム状態、及び視覚化のデータ。
・半背景物体：特定の時間区間にわたって移動することなく同一の背景にとどまっている物体の場所、時間、性状、ランタイム状態、半背景レベル、及び視覚化のデータ。
・背景物体：地面、建物、橋梁等の静止背景の場所、性状、及び視覚化のデータ。
・視覚化の対象：プライバシー保護レンダリングを用いた監視物体の正しい場所における表示といった、要求された表示タスクのための視覚化データの対象。
【００５６】
好ましくは、３Ｄグローバル・データ空間が、メタデータ及び場所データの１つのグローバル空間を複数ユーザが共有することを可能にしつつ、プライバシーを保護するべく構成されるようにできる。複数ユーザは、このグローバル空間からのデータを使用して、視野の表示及び当該視野内において監視下にある物体の表示を行うことが可能であるが、プライバシー属性が採用されてプライバシーが保護される。したがってユーザＡは、所定の視野を探究できるが、当該視野内の特定の個人的詳細を見ることができないことがある。
【００５７】
現在のところ好ましい実施態様は、プライバシー保護マネージャを採用してプライバシー保護機能を実装する。監視下にある物体の表示は、メタデータの一部としてそれぞれの物体と関連付けされたプライバシー保護スコアによって仲立ちされる。プライバシー保護機能（ＰＰＦ）スコアが完全アクセスより低い場合には、監視物体のビデオ・クリップが、暗号化されるか、又はメタデータだけを含むかのいずれかとなり、当該物体のアイデンティティが突きとめられることが不可能となる。
【００５８】
プライバシー保護機能は、以下の入力パラメータに基づいて計算できる。
・ａｌａｒｍＴｙｐｅ  ‐  アラームのタイプ。それぞれのタイプは、重大度に基づいて異なるスコアを有する。
・ａｌａｒｍＣｒｅａｔｏｒ  ‐  アラームのソース。
・ｌｏｃａｔｉｏｎ  ‐  物体の場所。場所情報は、場所に基づくアクセスの保護に使用される。秘匿性の高いマテリアルは、許容アクセス場所のセット内において定義された場所内の場所を介してのみアクセスが許される。
・ｐｒｉｖａｃｙＬｅｖｅｌ  ‐  物体のプライバシーの度合い。
・ｓｅｃｕｒｉｔｙＬｅｖｅｌ  ‐  物体のセキュリティの度合い。
・ａｌｅｒｔ  ｌｅｖｅｌ  ‐  プライバシー及びセキュリティのレベルは、ｌｏｃａｔｉｏｎと及びａｌｅｒｔ  ｌｅｖｅｌとを組み合わせて緊急アクセスをサポートすることが可能である。たとえば、高いセキュリティ・アラート及び緊急事態の下であれば、いくつかのプライバシー・レベルを無効にすることが可能である。
・ｓｅｒｖｉｃｅＯｂｊｅｃｔｉｖｅ  ‐  サービス目的は、監視の適用の目的を、プライバシー擁護者グループ又は団体及びコミュニティによって定義され、その目的は、公開されているポリシーから展開されるプライバシー・ガイドラインに従う。セキュリティ・システムがセキュリティ目的を伴って設置されている旨を示すことは重要であり、このフィールドは、ガイドライン適合の具体的表現を示すことが可能である。たとえば、人々が回避不可能な公共の道路をカバーするＦＯＶを伴う交通監視サービス・カメラは、それが公共エリアであるとはいえ、高いレベルのプライバシー保護を必要とすることがある。これに対して、私有地のアクセス・コントロール・サービス・カメラは、来訪者の生物測定学的情報の識別が可能となるように、ユーザのセッティングに応じてそれほど高いプライバシーが必要とならないことがある。
【００５９】
好ましくは、プライバシー保護レベルが状況に敏感となる。
プライバシー保護マネージャは、状況の状態に基づいてプライバシー保護レベルを昇格又は降格することができる。
【００６０】
たとえば、コミュニティ内のユーザは、人々及び自動車等の前景監視物体の、時間、場所、並びに事象メタデータを含む同一のグローバル空間を共有できる。完全な特権を伴う保安監視員は、このグローバル空間によってカバーされる任意の物理的幾何学的視野を選択することが可能であり、並びにすべての履歴、現在、及び予測の情報を眺めることができる。コミュニティ内の住宅所有者等の非保安監視員のユーザは、自分の私道内を歩いてくる人々を完全なビデオ視界で（たとえば、その者の顔を伴って）見ることが可能であり、またコミュニティの公園内の部分的なビデオ視界だけを見ることが可能であるが、ほかの人々の家の中のエリアを見ることは、特権及びプライバシー保護機能に基づいて不可能である。状況が、ある者がユーザの家に侵入し、アラームをトリガするといったアラーム事象の下にある場合には、そのユーザは、この者の活動を追跡するために、この者が隣家に、その後公共の公園及び公共の道路に逃げたとしてもこの者を継続して観察する能力を含めたプライバシー保護機能内の完全な観察特権を獲得することが可能である。そのユーザは、このアラーム状況の下に、３Ｄ  ＧＵＩ及びビデオ上に完全なレンダリングを表示させることができる。
【００６１】
ユーザのコミュニティによるアクセスをサポートするために、システムは、登録システムを使用する。システムの監視視覚化機能の使用を希望するユーザは、そのユーザがほかの者のプライバシーを侵害しないようにユーザのアイデンティティを確認し、適切なプライバシー属性を設定する登録段階を通過する。以下は、コミュニティ安全サービスを実装するときに使用できるユーザ登録段階についての説明であり、それによってコミュニティの構成員が監視視覚化システムを使用して個人的セキュリティ機能を実行できる。たとえば親は、システムを使用して、自分の子供が学校から安全に帰宅したことを確認することができる。
１．  ユーザは、システムに登録してコミュニティの安全サービスを得る。
２．  システムは、ユーザに、ユーザがモニタしたい領域を定義し、脅威検出機能及び通知方法を選択するパワー・レンズを与える。
３．  システムは、上記情報をユーザから獲得した後に、このユーザに関連付けされた情報をユーザ・テーブル内に作成する。
・ユーザ・テーブルは、ユーザ名、ユーザＩＤ、パスワード、モニタリングの役割、サービス情報、及び実行されるべきクエリの対象のリスト（ＲＯＩオブジェクト）を含む。
・サービス情報は、サービス識別、サービス名、及びサービスの記述、サービス開始日時、サービス終了日時を含む。
・ユーザのクエリ要求の詳細が獲得されてストアされる。この例では、ユーザがパワー・レンズを起動してモニタリングの領域及び、子供が学校から安全に帰宅することをモニタするといったサービスの機能を選択したものと仮定する。ＲＯＩオブジェクトは、ユーザがパワー・レンズを使用することによって定義した領域情報の場所、ユーザによって選択されたモニタリング機能及びユーザが好ましいとした通知方法に基づいて作成されるモニタリング規則、並びにユーザの役割及び構成データベース内のＲＯＩ領域プライバシー・セッティングに基づいて作成されるプライバシー規則をストアするべく作成される。
・情報を集中管理データベース内に保存する。
【００６２】
上記のように定義されているアーキテクチャは、少なくとも２つの点において視覚化システムの協働的使用をサポートする。第１にユーザは、メタデータをシーン内の物体に関連付けされるメタデータのデータ・ストアに供給することによって協働できる。たとえば、ワイヤの張られた柵を通して見ている普通の市民が、倉庫のドアの南京錠が解錠されたままとなっていることに気付くことがある。その者は、パワー・レンズを使用して倉庫のドアにズーム・インし、ロックが安全でないという注釈を提供できる。同じデータ・ストアへのアクセスを有する保安監視員が、その後その注釈を見て、適切な行動をとることが可能になる。
【００６３】
第２にユーザは、データ・ストア内に保存され、その後ほかのユーザにより、スタンド‐アロンのクエリとして、又はデータ・マイニング・グリッド（図７）の部品として使用されることが可能なデータ・マイニング・クエリ・パラメータ（たとえば、サーチ評価基準及びスレッショルド・パラメータ）を指定することによって協働できる。これは、データ・マイニング・スキーム、仕様の再利用、及び拡張を可能にすることから、非常に強力な機能である。
【００６４】
たとえば第１のユーザが、パワー・レンズ又は他の指定ツールを使用し、熱形跡に基づいてどの程度長く乗り物が駐車されているかを検出するクエリを構成できる。これは、温度センサを使用し、測定された温度を容易な観察のための色スペクトルによりマップすることによって達成できる。クエリは、温度の読み値を入力として受け取り、それぞれの乗り物の色がどの程度長くその乗り物が置かれているか（それのエンジンが冷却するまでにどの程度の長さの時間を有するか）を示すように色づけした出力を提供することになる。
【００６５】
第２の者は、パワー・レンズ内のこの熱形跡・クエリを使用して、一日を通じた駐車場の使用を評価できる。これは、乗り物の色スペクトル値（熱形跡測定）を、乗り物に異なるマーキングを行い（たとえば、異なる色を適用し）、５〜１０分の駐車と一日中駐車されている自動車を区別するサーチ・クエリのための入力として使用することによって容易に達成できる。クエリ出力は、統合的な駐車場使用形態を示す統計レポート又はヒストグラムとすることができる。その種の情報は、顧客には短時間の駐車が許容されるが、被雇用者及び通勤客が一日中にわたって貴重な駐車空間を占有することが許容されるべきでないショッピング・センターの駐車場の管理に有用となり得る。
【００６６】
以上から、監視視覚化システムが、民間及び政府の保安監視員をはじめ、コミュニティの個別の構成員によって呼び出されることが許される強力な視覚化及びデータ・マイニング機能を提供することも認識されるものとする。民間及び政府のセキュリティ応用では、カメラ及びセンサのシステムが、専用ネットワーク上で展開されて、一般人がアクセスを得ることが防止されることがある。コミュニティ・サービス応用では、ネットワークが解放され、当該コミュニティの構成員には、ログオン規則及び適用可能なプライバシー制約に従うことを条件としてアクセスが許される。監視視覚化システムが提供する力を立証するために、次に、システムの使用例について述べる。この例は、ユーザが参加コミュニティの構成員となるコミュニティ安全サービスを取り上げている。
【００６７】
この例は、一般的なシナリオを仮定する。両親が、自分たちの子供が学校から安全に帰宅したか否かを案ずる。おそらくは子供は、１ブロック離れた自宅までスクール・バスから歩かなければならない。その道に沿って、子供に道草を誘惑するおそれのある多くの立ち寄りポイントが存在し得る。親は、自分たちの子供がまっすぐに、その道から逸れずに帰宅したことを知りたい。
【００６８】
図９は、監視視覚化システムによって観察される、コミュニティ安全サービスのシナリオを図示している。この例では、ユーザがコミュニティの構成員であり、ログイン済み、かつインターネット経由でウェブ・ブラウザからこの安全サービスにアクセスしていることが仮定される。ユーザは、パワー・レンズを起動して、自分の子供は学校から安全に帰宅したか？という、監視任務に適用可能なパラメータを定義する。ユーザは、地理的な関心エリア（図９に示されるとおり）を定義することによって開始することになる。当該エリアは、バス停の場所、子供の自宅の場所をはじめ、一般的な帰宅途中の立ち寄り場所を含む。子供もまたシステムに対して識別されるが、どのような適切な手段でも利用できる。それらには、顔認識、ＲＦ  ＩＤタグ、着衣の色、及びこれらの類を含めることが可能である。その後パワー・レンズが使用されて、毎日、バス停から自宅へ進む子供が追跡される。
【００６９】
システムがその子供の挙動を学習するに従って、『正常な』帰宅経路を表す軌跡経路が学習される。この正常な軌跡は、その後、子供が正常経路に従わないときの検出に使用するために利用できる。システムは、とられた経路だけでなく時間パターンも学習する。時間パターンは、絶対時間（時刻）及び相対時間（バス停に到着するときにバスが検出されたときからの分）の両方を含むことが可能である。これらの時間パターンは、正常挙動のモデリング及び異常挙動の検出に使用される。
【００７０】
異常挙動が検出された場合、異常検出事象を取り囲むデータの取り込み及び解析を開始するべくシステムを構成できる。したがって、子供が学校からの帰宅途中に自動車に乗ること（異常挙動）があれば、システムを、その自動車の画像及びナンバー・プレート番号を取り込み、アラートを親に送信するべく構成することができる。またシステムは、その後その自動車の動きを追跡し、それが速度超過しているか否かを検出することもできる。なお、子供が自動車に乗り込むまでアラーム事象のトリガを待つ必要はない。望ましい場合には、自動車が子供に近づく都度、システムがモニタし、警告を発することが可能である。その場合では子供が自動車に入ったときには、システムがすでにその事態を能動的にモニタし、処理するべくセットされている。
【００７１】
以上の協働的使用の例を念頭に置き、次に、監視視覚化システムの協働的適用における基本的な情報処理の流れを示す図１０を参照する。示されているとおり、情報処理は、４つの段階、すなわち共有、解析、フィルタリング、及び認識を伴う。第１段階では、固定カメラ、パン‐ティルト‐ズーム・カメラ、及び他のセンサを含む多様なソース、人間のユーザによる入力、又は人間のユーザによって装着されたＲＦ  ＩＤタグ等のセンサから入力データが受信され得る。入力データはデータ・ストアにストアされ、協働的グローバル・データ空間２００を定義する。
【００７２】
あらかじめ定義済みのデータ・マイニング及びスコアリング・プロセスのセットに基づいて、２０２においてデータ・ストア内のデータが解析される。この解析は、前処理（たとえば、偽の域外データ及びノイズの除去、欠落値の供給、一貫していないデータの訂正）、データの統合及び変換（たとえば、冗長性の除去、重みの適用、データのスムージング、統合、正規化、及び属性の組み立て）、データの縮小（たとえば、次元的な縮小、データ・キューブの統合、データ圧縮）、並びにこれらの類を含むことができる。
【００７３】
解析されたデータは、その後、２０４に図示されているとおり、データ・マイニングのために利用可能となる。データ・マイニングは、許可された任意の協働ユーザによって実行されることが許され、それらのユーザがパワー・レンズを操作して動的なオン‐デマンド・フィルタリング及び／又は相関リンキング実行する。
【００７４】
ユーザのデータ・マイニングの結果は２０６において返され、そこでそれらが、データ・マイニング動作の状況を定義した関連する意味（パワー・レンズに関連付けされた関連ふきだしボックス内に示される）とともに、オン‐デマンドの多モード視覚化として表示される（パワー・レンズのポータル内に示される）。視覚的表示は、パノラマ３Ｄ視界上に好ましく重合され、それを通じてユーザは、仮想３Ｄ空間内において移動すること（フライ‐イン、フライ‐スルー、パン、ズーム、回転）ができる。この視界は、ユーザに過去、現在（リアル‐タイム）、及び予測（前兆的な）シナリオの強調された状態認識を与える。システムが協働的であることから、多くのユーザが情報及びデータ・マイニング・パラメータを共有できるが、それにもかかわらず、個人の表示される物体がプライバシー属性及び関連するプライバシー規則に従うことから個人のプライバシーが保護される。
【００７５】
協働的環境は多くの方法で構築可能であるが、現在のところ好ましい１つのアーキテクチャを図１１に示す。図１１を参照すると、協働的システムは、２１０に示されるモバイル局端末、及び２１２に示される中央局端末のユーザによってアクセスされることが可能である。入力データが複数のセンサ２１４から受信され、それには、限定ではないが、固定位置カメラ、パン‐ティルト‐ズーム・カメラ、及び多様な他のセンサが含まれる。センサのそれぞれは、それ独自のプロセッサ及びメモリを有することが可能であり（事実上、それぞれはネットワーク・コンピュータとなる）、その上でインテリジェント・マイニング・エージェント（ｉＭＡ）が実行される。インテリジェント・マイニング・エージェントは、ピア‐トゥ‐ピアで他のデバイスと、また中央サーバとも通信することが可能であり、かつ情報処理負荷の一部をローカルに取り扱うことができる。インテリジェント・マイニング・エージェントは、関連するデバイスが、他のデバイスによって、又は中央サーバによってオプションで供給されるパラメータに基づいてデータ（たとえば、ビデオ・データ・フィード又はセンサ・データから抽出される）を収集し、解析することを可能にする。その後インテリジェント・マイニング・エージェントが、解析済みデータを使用してメタデータを生成することが可能であり、それらは、システムのデータ・ストアにアップロードすること、又はそれの中のほかのデータと併合することが可能である。
【００７６】
図解されているとおり、中央局端末は、協働的な自動化された監視動作センタを定義するコンピュータ・システム２１６と通信する。これは、ソフトウエア・システムであり、コンピュータ・システム上、又は分散コンピュータ・システムのネットワーク上で実行することができる。さらにシステムは、協働的な自動化された監視動作センタ・サービスを提供するサーバ又はサーバ・システム２１８を含む。サーバは、デバイス２１４と通信し、そこから受信されるデータを調和させる。したがってサーバ２１８は、デバイス２１４から受信される情報を収集し、かつその情報をモバイル局及び中央局（１つ又は複数）に供給するべく機能する。
【図１】
2010521831.tif 000003
【図２ａ】
2010521831.tif 000004
【図２ｂ】
2010521831.tif 000005
【図３】
2010521831.tif 000006
【図４】
2010521831.tif 000007
【図５】
2010521831.tif 000008
【図６ａ】
2010521831.tif 000009
【図６ｂ】
2010521831.tif 000010
【図６ｃ】
2010521831.tif 000011
【図７】
2010521831.tif 000012
【図８】
2010521831.tif 000013
【図９】
2010521831.tif 000014
【図１０】
2010521831.tif 000015
【図１１】
2010521831.tif 000016
【手続補正書】
【提出日】平成20年7月30日(2008.7.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自動化された広域多センサ多ユーザの監視及び動作システムを作成するための方法であって、
少なくとも１つのセンサから獲得されるシーンのメタデータから協働的データ空間を生成するステップと、
少なくとも１つの監視カメラ及びビデオ・アナライザから多次元メタデータを受信し、前記協働的データ空間にストアするステップと、
前記協働的データ空間内でユーザにより定義される関心領域を、複数のユーザによる寄与によって、少なくともの部分的には構成・結びつけるステップと、
前記多次元メタデータに、複数のユーザによって供給される動的なクエリ・パラメータに少なくとも部分的に基づいて、データ・マイニング・プロセスを実行し、
当該データ・マイニング・プロセスの結果を、他者による使用のために、前記協働的データ空間にストアするステップと、
前記データ・マイニング・プロセスの結果を、前記複数のユーザに同時に表示するステップであって、各ユーザが、ユーザに呈示される視界の性質に関して独立したコントロールを有するステップと、を包含する方法。
【請求項２】
前記多次元メタデータは、前記複数のユーザがアクセス可能である協働的グローバル・データ空間内にストアされる、請求項１に記載の方法。
【請求項３】
さらに、以前に前記メタデータに割り当てられたスコアに基づくグループから選択される前記多次元メタデータのリアル‐タイム解析を実行することを包含する、請求項１に記載の方法。
【請求項４】
前記データ・マイニングを実行するステップは、
前記複数のユーザのうちの少なくとも１人によって指定される前記メタデータの動的フィルタリングを使用して実行される、請求項１に記載の方法。
【請求項５】
前記データ・マイニングを実行するステップは、前記複数のユーザのうちの少なくとも１人によって指定される相関リンキングによって実行される、請求項１に記載の方法。
【請求項６】
少なくとも１つの前記センサから獲得される前記シーンは、前記複数のユーザのうちの少なくとも１人による観察が可能である、請求項１に記載の方法。
【請求項７】
（削除）
【請求項８】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義し、
前記フィルタ・グリッドを使用して前記データ・マイニング・ステップを実行すること、を包含する、請求項１に記載の方法。
【請求項９】
さらに、互いにリンクされた複数の視覚化構成要素を定義し、
前記視覚化構成要素の組み合わせを使用して、前記データ・マイニング・ステップの結果の視覚的表示を生成すること、を包含する、請求項１に記載の方法。
【請求項１０】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義し、前記フィルタ・グリッドを使用して、前記データ・マイニング・ステップを実行し、
互いにリンクされた複数の視覚化構成要素を定義し、前記視覚化構成要素の組み合わせを使用して前記データ・マイニング・ステップの結果の視覚的表示を生成すること、
を包含する、請求項１に記載の方法。
【請求項１１】
静止エンティティ及び移動エンティティを含むシーンについての監視情報を呈示する方法であって、
少なくとも１つの監視カメラからシーンの画像データを受信するステップと、
前記受信した画像データに基づいて前記シーンの少なくとも１つの視界を表すグラフィック・モデルを生成するステップと、
前記シーン内の前記静止エンティティを表す静止物体を包含する少なくとも１つの背景レイヤと、前記シーン内の前記移動エンティティを表す少なくとも１つの動的物体を包含する少なくとも１つの前景レイヤと、を有するように前記グラフィック・モデルを構成するステップと、
前記動的物体についてのメタデータを獲得し、当該獲得したメタデータを前記動的物体と関連付けしてデータ・ストアを定義するステップと、
前記静止物体に対する前記動的物体の視覚化された位置が、前記シーン内における前記静止エンティティ及び前記移動エンティティの、物理的な位置の知識に基づいて、計算されるように、前記グラフィック・モデルを使用して前記背景レイヤ及び前記前景レイヤからの情報を結合することで、前記シーンのグラフィカル表示を生成するステップと、
前記メタデータの入力及び出力を可能にするべく動作可能であるデータ・ウインドウについて、前記シーンの前記グラフィカル表示に関連して、当該データ・ウインドウのグラフィカル表示を生成するステップと、
前記データ・ウインドウを使用して、あらかじめ定義済みの評価基準に基づいて前記データ・ストアを探し出し、かつ前記データ・マイニングの結果を前記動的物体に関連して前記グラフィカル表示上に表示するステップと、を包含する方法。
【請求項１２】
前記データ・マイニング・ステップは、
複数のクエリ・プロセスを生成し、データ融合を使用して統合された結果を生成し、それから前記統合された結果を、前記データ・ウインドウを使用して表示することによって実行される、請求項１１に記載の方法。
【請求項１３】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義し、前記フィルタ・グリッドを使用して前記データ・ストアを探し出すこと、を包含する、請求項１１に記載の方法。
【請求項１４】
さらに、互いにリンクされた複数の視覚化構成要素を定義し、
前記視覚化構成要素の組み合わせを使用して前記データ・マイニング・ステップの結果の視覚的表示を生成すること、を包含する、請求項１１に記載の方法。
【請求項１５】
さらに、互いにリンクされた複数のクエリ・プロセスを包含するクエリ・フィルタ・グリッドを定義し、前記フィルタ・グリッドを使用して前記データ・ストアを探し出し、
互いにリンクされた複数の視覚化構成要素を定義し、前記クエリ・フィルタ・グリッドによって生成された結果に基づき、かつ前記視覚化構成要素の組み合わせを使用して前記データ・マイニング・ステップの結果の視覚的表示を生成すること、を包含する、請求項１１に記載の方法。
【請求項１６】
さらに、ユーザ・インタラクティブ・コントロールを受信し、
選択的に平行移動、回転、および平行移動と回転との組み合わせ演算を、前記グラフィカル・モデルに対して実行し、
前記グラフィカル表示の観測点を変更すること、を包含する、請求項１１に記載の方法。
【請求項１７】
さらに、前記データ・ウインドウを使用し、あらかじめ定義済みのパラメータに基づいて少なくとも１つのアラート状態を構成し、
前記データ・ウインドウを使用し、前記あらかじめ定義済みのパラメータに基づいて前記データ・ストアを探し出し、
前記アラート状態が生じると、グラフィカル指標を前記グラフィカル表示上に提供すること、を包含する、請求項１１に記載の方法。
【請求項１８】
前記グラフィカル指標は、前記シーン内の少なくとも１つの静止物体、又は動的物体の見かけを変更することによってもたらされる、請求項１７に記載の方法。
【請求項１９】
前記データ・ウインドウは、観察ポータルを提供し、
さらに、前記データ・マイニングの結果に基づいて前記ポータル内に情報を供給することを包含する、請求項１１に記載の方法。
【請求項２０】
前記観察ポータル内に情報を供給するステップは、
データ・マイニングの結果に基づき、座標系に対してグラフィカルに情報を表示することを包含する、請求項１９に記載の方法。
【請求項２１】
前記観察ポータル内に情報を供給する前記ステップは、
通常は前記グラフィカル表示内において第２の物体によってわかりにくくなる第１の物体の視覚的レンダリングを、前記第２の物体を不可視として呈示することによって提供することにより、シー‐スルー画像情報を表示することを包含する、請求項１９に記載の方法。
【請求項２２】
前記動的物体は、関連するエンティティのアイデンティティを開示する情報の表示を、選択的に許可又は禁止する、コンピュータ・グラフィックにより生成されるアバターを使用して表示される、請求項１１に記載の方法。
【請求項２３】
さらに、複数のユーザ間における協働的環境を定義することを包含し、それによって第１のユーザがメタデータを前記データ・ストアに供給し、
当該メタデータが第２のユーザによるデータ・マイニングにおける使用のために利用可能となる、請求項１１に記載の方法。
【請求項２４】
さらに、複数のユーザ間における協働的環境を定義することを包含し、それによって第１のユーザがデータ・マイニング動作の構成を供給し、
当該構成されたデータ・マイニング動作が、第２のユーザによるデータ・マイニングにおいて起動されるべく利用可能となる、請求項１１に記載の方法。
【請求項２５】
静止エンティティと移動エンティティとを含む少なくとも１つのシーンの視界に対応する、少なくとも１つの画像データ・フィードを提供するカメラ・システムと、
前記画像データ・フィードを受け入れ、前記シーンのコンピュータ・グラフィクス・モデルを組み立てるべく動作可能なグラフィクス・モデリング・システムであって、前記モデルが、前記静止エンティティを少なくとも１つの静止物体として表し、前記移動エンティティを前記静止物体とは別の動的物体として表す、グラフィクス・モデリング・システムと、
前記移動エンティティに関連付けされたメタデータのデータ・ストアと、
ユーザが定義できる有利なポイントから前記シーンの表示を、前記静止物体及び前記動的物体を使用して組み立てる表示生成システムと、を有し、
前記表示生成システムが、
前記動的物体のうちの少なくとも１つに関連付けされ、かつメタデータ検索のために前記データ・ストアに提示される、データ・マイニング・クエリの結果の選択及び観察のためにユーザが操作する、観察ポータルを有する、監視視覚化システム。
【請求項２６】
前記カメラ・システムは、前記シーンの異なる部分をカバーする複数の動画監視カメラを含む、請求項２５に記載の監視視覚化システム。
【請求項２７】
前記グラフィクス・モデリング・システムは、前記静止物体を少なくとも１つの背景レイヤ内でモデリングし、前記動的物体を、前記背景レイヤとは別の少なくとも１つの前景レイヤ内で、モデリングし、それにより、前記動的物体は、互いに別々に表現される、請求項２５に記載の監視視覚化システム。
【請求項２８】
前記データ・ストアは、静止エンティティに関連付けされたメタデータもストアする、請求項２５に記載の監視視覚化システム。
【請求項２９】
前記データ・ストアは、
複数のユーザによってアクセス可能なネットワーク上に展開され、前記複数のユーザがそれぞれ移動エンティティについてのメタデータを前記データ・ストアに追加することを可能にする、請求項２５に記載の監視視覚化システム。
【請求項３０】
前記データ・ストアは、データ・マイニング結果を生成するために、前記パワー・レンズ・ツールでアクセスされることを許す、データ・マイニング・クエリ指定情報もストアする、請求項２５に記載の監視視覚化システム。
【請求項３１】
前記データ・ストアは、複数のユーザによってアクセス可能なネットワーク上に展開され、前記複数のユーザがそれぞれデータ・マイニング・クエリ指定情報を前記データ・ストアに追加することを可能にする、請求項２５に記載の監視視覚化システム。
【請求項３２】
前記表示生成システムは、前記静止物体と前記動的物体とを組み合わせて、ユーザによってインタラクティブに回転及び平行移動が可能な前記シーンの３次元視界を定義する、請求項２５に記載の監視視覚化システム。
【請求項３３】
前記観察ポータルは、ユーザ入力コントロールを含み、
前記ユーザ入力コントロールによってユーザが、あらかじめ定義済みのパラメータに基づいて少なくとも１つのアラート状態を指定し、
前記少なくとも１つのアラート状態が生じると、前記観察ポータルは、グラフィカル指標を提供する、請求項２５に記載の監視視覚化システム。
【請求項３４】
前記観察ポータルは、
前記アラート状態が生じたときに、少なくとも１つの静止物体、又は少なくとも１つの動的物体の見かけを変更する、請求項３３に記載の監視視覚化システム。
【請求項３５】
前記システムは、さらに、互いにリンクされた複数のクエリ・プロセスを定義するクエリ・フィルタ・グリッドを包含し、
前記グリッドが、前記データ・ストアのデータ・マイニングを容易にするべく前記観察ポータルのアクセスが可能なネットワーク上に配置される、請求項２５に記載の監視視覚化システム。
【請求項３６】
さらに、データ・マイニング結果の視覚的表示を生成するべく前記観察ポータルのアクセスが可能なネットワーク上に配置される、互いにリンクされた複数の視覚化構成要素を包含する、請求項２５に記載の監視視覚化システム。
【請求項３７】
前記観察ポータルは、データ・マイニング結果に基づき、座標系に対してグラフィカルに情報を表示するべく適合されたポータルを含む、請求項２５に記載の監視視覚化システム。
【請求項３８】
前記表示生成システムは、動的物体を、関連するエンティティのアイデンティティを開示する情報の表示を選択的に許可または禁止する、コンピュータ生成されるアバターとして表示するべく適合される、請求項２５に記載の監視視覚化システム。
【国際調査報告】
2010521831.tif 000017
2010521831.tif 000018
2010521831.tif 000019
2010521831.tif 000020