(57)【要約】潜入型見張りを行う方法及び装置(102)であって、遠隔の保安警備員(122)は、場面の三次元コンセプトビューを形成するようにモデルに対してレンダリングされる種々の像ソース(108,110,112,114)を使用して場面(100)を監視することができる。ビューセレクタ(120)を使用して、保安警備員は、コンセプトモデルに表示されるべきカメラビューを動的に選択し、場面のウォークスルーを実行し、移動物体を識別し、これら移動物体の最良のビューを選択し、等々を行うことができる。
2005517253.tif 000002
【特許請求の範囲】
【請求項１】
場面を監視する見張りシステムであって、
上記場面を捕獲する映像を生成する複数のカメラと、
前記複数のカメラに結合されて、上記映像の各々を上記場面のモデルに適用する像プロセッサ手段と、
上記像プロセッサに結合されて、上記映像及びモデルの結合体を表示する表示手段と、
上記像プロセッサに結合されて、表示される上記結合体のビューを選択するビューコントローラ手段と、
を備える、見張りシステム。
【請求項２】
上記像プロセッサ手段は、
三次元モデルジェネレータと、
像レンダリングプロセッサと、
を更に備える、請求項１に記載の見張りシステム。
【請求項３】
上記像プロセッサ手段は、
上記映像の各々における移動物体を識別する手段と、
上記識別された移動物体の各々を表わすアイコンを生成する手段と、
上記アイコンを上記結合体に挿入する手段と、
を更に備える、請求項２に記載の見張りシステム。
【請求項４】
個人を移動物体として識別する手段と、
上記表示に上記個人の記述を注釈付けする手段と、
を更に備える、請求項３に記載の見張りシステム。
【請求項５】
場面の見張りを提供する方法であって、
場面の複数の映像を生成するステップと、
上記場面の三次元モデルを生成するステップと、
上記三次元モデルに対して視点を選択するステップと、
上記複数の映像を上記三次元モデルに整列させるステップと、
上記複数の映像を上記三次元モデルにおいてレンダリングして、結合ビューを形成するステップと、
上記結合ビューを表示するステップと、
を備える方法。
【請求項６】
上記選択された視点は鳥瞰図である、請求項５に記載の方法。
【請求項７】
上記結合ビュー内の位置を選択するステップと、
上記選択された位置から上記場面のビューを生成するステップと、
を更に備える、請求項５に記載の方法。
【請求項８】
上記映像において移動物体を識別するステップと、
各移動物体を表わすアイコンを生成するステップと、
上記アイコンを上記結合ビューに挿入するステップと、
を更に備える、請求項５に記載の方法。
【請求項９】
上記結合ビューを再生のために記憶するステップを更に備える、請求項５に記載の方法。
【請求項１０】
上記識別するステップは、
上記物体を個人として識別する段階と、
上記個人の識別を表わすテキストを上記結合ビューに注釈付けする段階と、
を更に備える、請求項８に記載の方法。
【発明の詳細な説明】
【本発明に関する政府の権利】
【０００１】
本発明は、契約番号Ｆ３０６０２−００−Ｃ−０１４３のもとで米国政府の支援を受けてなされたものである。米国政府は、本発明に関して幾つかの権利を有する。
【関連出願のクロスレファレンス】
【０００２】
本出願は、参考としてここに援用する２００１年１１月２日に出願された米国プロビジョナル特許出願第６０／３３９，７２６号の利益を請求するものである。
【発明の背景】
【０００３】
[発明の分野]
本発明は、一般に、見張りシステムに係り、より詳細には、潜入型見張りを提供する方法及び装置に係る。
[関連技術の説明]
【０００４】
見張り又は可視化表示装置の目的は、通常、ユーザがある場面を、その場面内の状況が完全に分かる状態で監視又は観察できるようにすることである。典型的な見張り又は可視化システムは、１台の表示装置上で２台以上のカメラからの映像をユーザに提供する。このような表示装置は、ユーザが場面の異なる部分を観察したり又は場面の同じ部分を異なる視点から観察したりすることができるようにする。典型的な見張り表示装置は、例えば、ある場面の１６個の映像をモニタ上で４ｘ４格子に表示する。各映像は、通常、その像を識別するために映像セグメントの下に表示される固定の注釈テキストがラベル添付される。例えば、「ロビー」や「玄関」といったテキストが示されてもよい。注目に値する事象が１つの特定の映像に観察された場合には、そのラベルを使用して場面内の活動体を探索することができる。
【０００５】
見張り及び可視化のこの解決策は、長年にわたって広く利用されてきた。しかしながら、この解決策には幾つかの基本的な問題がある。
【０００６】
第１に、注目に値する事象が１つの特定の映像に発生した場合に、ユーザは、その場面のマップ又は３Ｄモデルを参照するか又は思い出さないと、その活動体が場面内の他の位置にいかに関連しているか分からない。例えば、「エレベータ１」の付近で活動体が観察され、警備員が現在「階段吹き抜け５」にいることがユーザに分かった場合に、マップ又は３Ｄモデルがないと、ユーザは、警備員が介入のためにその活動体に非常に接近しているか又はそこから非常に離れているか分からない。紙面上又はコンピュータ上でマップ又は３Ｄモデルを参照するプロセスは、通常、カメラビューをマップ又はモデルに関連付けるのに人間が関与するので、時間がかかる上に、エラーの傾向がある。マップ又は３Ｄモデルを思い出すプロセスもエラーの傾向があり、非常に多数のカメラが使用されるか又は場所が広い場合には通常不可能である。
【０００７】
第２に、注目に値する事象が映像に発生し、次いで、活動体が映像の視野から１つの特定の方向に移動した場合に、ユーザが活動体の新たな位置を予想できる方法は２つしかない。第１に、ユーザは、固定座標システム（例えば、コンパス方向）に対してカメラの向き（指向方向）を思い出すことができる。第２に、ユーザは、映像内の目印を確認し、これら目印を利用して、その場面のマップ又は３Ｄモデルを思い出し又は参照することにより、固定座標システムに対するカメラのおおよその向きを決定することができる。活動体の新たな位置を予想するこれら２つの方法は、エラーの傾向がある。というのは、通常、カメラからのビューは、各カメラが設置中にいかに取り付けられたかに基づいてカメラごとに大幅に変化する多数の異なる任意の座標システムに対して示されるからである。より多くのカメラがシステムに追加されたときには、ユーザがそれらの向きを思い出し又は場面内の目印を確認することが益々困難になる。更に、場面の幾つかの部分は、全く見分けのつかない目印を含むことがある。
【０００８】
第３に、より多くの映像がスクリーン上に表示されるときには、それらを表示装置に適合させるために各映像の解像度を下げねばならない。これは、注目に値する事象の細部を映像において観察するのを困難にする。この問題に対する現在の解決策は、１つの選択された映像を高い解像度で示す追加の表示装置をもたせるか、又は多数の低解像度映像を示すビューと、単一映像を高い解像度で示すビューとの間で単一の表示装置を切り換えることである。しかしながら、この解決策に伴う問題は、ユーザが単一の高解像度映像に集中している間に他の映像に現われるかもしれない活動体を見失うことである。
【０００９】
それ故、この技術では、場面の三次元コンテクストビューをユーザに提供する潜入型見張りシステムを構成する方法及び装置が必要とされる。
【発明の概要】
【００１０】
本発明は、場面の三次元コンテクストビューが提供されるように三次元モデルに対してレンダリングされる種々の像ソースを使用して、リモートユーザが場面を監視することのできる潜入型見張り方法及び装置に関する。この見張りシステムは、映像を供給する複数のカメラと、場面の三次元（３Ｄ）モデルに映像を適用するための像プロセッサとを備えている。レンダリングされたモデル／映像の結合体は、ユーザを潜入させることのできる場面の３Ｄコンテクストビューを提供する。ビューセレクタを使用して、ユーザは、コンテクストモデルから表示されるべき特定のビューを動的に選択し、場面の仮想ウォークスルーを実行し、移動物体を識別し、それら移動物体の最良のビューを選択し、等々を行うことができる。
【００１１】
上述した本発明の特徴がいかに達成されるかを詳細に理解できるようにするために、添付図面に示された実施形態を参照して、上記で要約した本発明を更に詳細に説明する。
【００１２】
しかしながら、添付図面は、本発明の典型的な実施形態を示すに過ぎず、それ故、本発明の範囲を何ら限定するものではなく、本発明は、他の等しく有効な実施形態も受け入れることに注意されたい。
【好適な実施形態の詳細な説明】
【００１３】
図１は、簡単な廊下場面１００において活動体を監視するのに適用される見張りシステム１０２のブロック図である。廊下場面１００は、第１廊下１０４と、これに交差して「Ｔ」字型を形成する第２廊下１０６とを含む。廊下構造体１００は、４台のカメラ１０８、１１０、１１２及び１１４により監視される。これらのカメラは、像プロセッサ１１６に結合される。この像プロセッサは、カメラ１０８、１１０、１１２及び１１４からの像を処理して、像表示装置１１８（例えば、ビデオモニタ）に表示するための像を生成する。種々のカメラからレンダリングされる特定のビューは、ビューセレクタ１２０を使用して選択することができる。一般に、ユーザ、例えば、保安警備員１２２は、場面１００を含む施設にいてもよいし、又は場面１００から離れた位置にいてもよい。以下に述べるように、場面は、三次元コンピュータモデルとしてモデリングされ、カメラ１０８、１１０、１１２及び１１４からの像がこのモデル上にオーバーレイされて、廊下場面１００の三次元コンテクストビューが保安警備員１２２に提供される。保安警備員は、ビューセレクタを操作することにより、場面の仮想巡回を行うこともできるし、場面内の移動物体を識別及び分離することもできるし、カメラの位置から又はカメラ間の位置の仮想視点から場面を見ることもできるし、或いは「鳥瞰」図から場面を見て、場面内に見える移動物体又は他の位置を識別することもできる。
【００１４】
図６は、図１の場面１００の「鳥瞰」図である。場面、特に、廊下の接合部がカメラの多数のビューでカバーされるようにカメラが配置される。各カメラ１０８、１１０、１１２及び１１４は、特定のビューエリア６０２、６０４、６０６及び６０８を有する。以下に述べるように、構造体１００の三次元モデルは、各カメラ１０８、１１０、１１２及び１１４から収集された像で「ドレープ」され、保安警備員は、その保安警備員を見張り状態に潜入させた場面のコンテクストモデルを見ることになる。カメラ１０８、１１０、１１２、１１４は、一般に、できるだけ多くの場面をカバーすると共にカメラビュー間を若干オーバーラップさせてモデルが種々の像を互いに整列できるように配置される。しかしながら、本発明の見張りシステムは、カメラビューのオーバーラップが不要となるように場面の全ての像を整列させる座標システムとして場面のモデルを使用する。
【００１５】
図２は、本発明の見張りシステム１０２のブロック図である。このシステム１０２は、カメラアッセンブリ２１２と、像プロセッサ１１６と、モデル更新ソース２００と、ビューセレクタ１２０と、像表示装置１１８とを備えている。カメラアッセンブリは、マルチプレクサ２０２に結合された複数のカメラ１０８、１１０、１１２及び１１４を備えている。見張りされる建物又は領域全体をカメラアッセンブリ２１２でカバーできるように、いかなる数のカメラを使用して複数のマルチプレクサに結合してもよい。マルチプレクサ２０２は、例えば、スクリーンを４つの象限に分割して各象限に１つの映像流を挿入することにより４台のカメラからの映像流を合成する。映像フレームの流れは、像プロセッサ１１６に結合される。像プロセッサ１１６は、フレーム捕獲回路２０４と、フレームスプリッター２０６と、像レンダリングプロセッサ２０８と、３Ｄモデルジェネレータ２１０とを備えている。本発明による像プロセッサとして使用できるコンピュータシステムの一例は、デュアルプロセッサ、デュアルＰＣＩバス、２つのペンティウム４プロセッサを含む汎用コンピュータ、ＩＮＶＩＤＩＡ  ＧｅＦｏｒｃｅ３  ＧＰＵベースのビデオカード及び４フレーム捕獲回路である。
【００１６】
フレーム捕獲回路２０４は、映像の各フレームを既知のやり方で捕獲し、その情報をメモリに一時的に記憶する。フレームスプリッター２０６は、映像流をデマルチプレクスするのに使用され、各カメラからの映像信号が独立して処理及び記憶されるようにする。３Ｄモデルジェネレータ２１０及び像レンダリングプロセッサ２０８は、場面のコンテクストビューを生成するように協働する。場面１００の３Ｄモデルは、ワイヤフレーム又はプレーナコンピュータモデルとして前もって発生される。モデル更新ソース２００は、３Ｄモデルを提供する。レンダリングされるべきモデルのビューは、ビューセレクタ１２０により識別される。通常、ビューセレクタは、ジョイスティック、マウスポインター及びズーム制御器で構成され、保安警備員は、必要に応じて、場面内を動き回ったり、場面内の特定の物体にズームイン又はズームアウトしたり、場面の種々のビューを選択したりしてもよい。モデルのビューが発生されると、モデルが像レンダリングプロセッサに結合され、そこで、カメラからの種々の映像がモデルと整列するようにワープされると共に、モデルに対してレンダリング又はドレープされる。ビューを含むモデルの特定ビューが表示される。
【００１７】
映像を整列するためにモデルの座標システムが使用される。映像は、共通の座標システムに厳密に整列され、ユーザは、場面のマップ又は３Ｄモデルを参照したり思い出したりせずに、ある映像内の活動体が他の映像内の活動体にいかに関連するか容易に決定することができる。例えば、注目に値する事象が１つのカメラビューからの映像に発生し、その活動体がそのカメラの視野から特定の方向に移動する場合に、ユーザは、別のカメラのビュー内におけるその活動体の新たな位置を容易に予想することができる。ユーザは、カメラからの全ての映像が今や整列されているので、カメラの向きを思い出す必要なくこれを行うことができる。例えば、活動体が１つのカメラビューから右へ移動する場合に、ユーザは、最初のビューの右に表示されたビューをもつカメラにより再捕獲される活動体を見ることを予想できる。３Ｄモデルからの共通の座標システムを使用することにより、カメラからの映像の多数の非オーバーラップ部分をモデルに整列させることができる。本発明の見張りシステムに使用することのできる３Ｄモデルに対して像をレンダリングするための１つの特定のプロセスが、参考としてここに援用する２００１年３月７日に出願された米国特許出願第０９／８００，５５０号（代理人ドケットＳＡＲ１３８２５）に開示されている。３Ｄモデルに対して像をレンダリングするための他のプロセスも使用できる。
【００１８】
図３は、本発明の見張りシステム１０２が動作するプロセス３００のフローチャートである。ステップ３０２において、カメラからの入力像が像プロセッサに結合される。ステップ３０４において、ユーザは場面のビューを選択し、そのビュー情報はステップ３０６に結合され、そこで、ビュー選択ステップ３０４で選択された位置から見たモデルを描いたモデルが発生される。場面の全体的なモデルは、良く知られた種々のモデリング技術を使用して前もってレンダリングされる。モデル発生ステップ３０６は、選択された視点からモデルを作成するのに使用される。モデルを作成するために、位置又は建物の輪郭が３Ｄデジタルフォーマットでエンコードされる。輪郭モデルは、位置又は建物の周囲と、回廊、街路、建物等の重要なエリアの輪郭も含む。又、輪郭モデルは、部屋番号のような簡単な位置の属性を含んでもよい。輪郭モデルのソースは、手で記録された単純な測定値でよく、これは、その後、エイリアス／ウェーブフロントＯＢＪ、オープンインベンター、ＶＲＭＬ等の公知の３Ｄフォーマットの１つにエンコードされる。
【００１９】
担当者は、場面の輪郭モデルに各カメラの位置をマークする。担当者は、部屋番号、建物の形状又は他の見分けのつく目印のような周囲領域からの情報を使用すると共に、カメラの位置を手で輪郭モデルに対応させることによりこのプロセスを実行する。又、担当者は、高さや向きのようなカメラのパラメータも定義する。カメラの向きは、場面により定義された全体的な座標システムに対するカメラのパン、チルト及びロールを含む。カメラのパン、チルト及びロールを測定するものとしては、多数の方法が知られており、場面のモデルを構築するのにそのいずれも有用である。カメラパラメータを定義するプロセスの結果は、場面の全体的な輪郭モデルに対する各カメラの位置、高さ、パン、チルト及びロールを定義する１組のパラメータである。
【００２０】
それに続いて、場面の輪郭モデルの平面が、良く知られた３Ｄ形状モデリング技術を使用してモデリングされる。例えば、場面内の多角形を回復させるための１つの方法は、設置担当者が場面の３Ｄ形状の知識及び捕獲像を使用して簡単なモデル構築を実行することである。担当者は、各カメラビューからの単一像を表示装置へロードする。次いで、担当者は、場面内の単一平面、例えば、壁の境界を定義する１組のポイントを像内で選択する。この面は、全体的に平らである必要はなく、この面に取り付けられた物体、例えば、ヒーターが、単一平面に属するものとして定義されてもよい。次いで、担当者は、その平面がほぼ垂直であるか水平であるか又は他の所定の向きであるかを記録する。次いで、担当者は、場面の他の平面及び各カメラビューに対してプロセスを繰り返す。更に、担当者は、多層ビルディングにおいて各カメラが配置された階床を記録する。このプロセスの結果は、像の座標システムにおける１組のポイント、３Ｄにおける面の向きを定義する１組のフラグ、及び各カメラが配置された階床を定義する１組の番号である。
【００２１】
場面の完全な３Ｄモデルを開発するのに他のモデリング技術を使用してもよい。レンダリングプロセス中に映像でドレープされない場面内の壁や床や他の物体がユーザに対して明らかなテクスチャーをもつように、３Ｄモデルに付加的なテクスチャーがマップされてもよい。
【００２２】
ステップ３０８において、選択された視点からのモデルと入力像が合成され、保安警備員により指示されたように場面のビューがレンダリングされる。ここに述べる例では、カメラの位置が固定であると仮定するが、以下の説明から、カメラは動的にパン及びチルトしてもよいと共に、このパン及びチルトの動きを反映するように像が動的に更新されてもよいことが明らかである。場面のレンダリングされたビューは、この時点では、移動物体を含まない。レンダリングプロセスは、２００１年３月７日に出願された米国特許出願第０９／８００，５５０号（代理人ドケット番号ＳＡＲ１３８２５）に開示されたように実行されるか又は同様のレンダリングプロセスとして実行される。要約すれば、各カメラからの映像がモデルに整列され、位置がワープされる。各カメラからのワープされた映像は、モデルに適用されると共に、場面のコンテクストビューを形成するように合体される。このように、場面１００の廊下構造体は、カメラからの映像で現された壁を含む。ユーザには、場面１００の「真」の３Ｄビューが与えられる。
【００２３】
場面内の移動物体は、ステップ３１０で処理される。ここでは、入力像が処理されて移動物体を識別すると共にアイコンを発生し、これらアイコンは、レンダリングされたビューに挿入され、保安警備員が場面内での動きを識別できるようにする。動きを識別するプロセスは、図４を参照して説明し、動きを表わすためのアイコンを生成するプロセスは、図５を参照して以下に説明する。ステップ３１４では、レンダリングされた像にアイコンが挿入される。ステップ３１６において、プロセス３００は、レンダリングされた像を記憶すべきかどうか問合せる。ステップ３１６の問合せの回答が肯定である場合には、像がステップ３１８においてビデオテープ又はデジタルメモリに記憶される。このような記憶は、モデル及びその構成映像を必要に応じて保安警備員が「巻き戻し」及び「再生」できるようにする。ステップ３２０では、レンダリングされた像及びアイコンが保安警備員に対して表示される。ステップ３２２では、プロセス３００は、保安警備員により新たなビューが選択されたかどうか問合せる。新たなビューが選択されていない場合には、プロセスはステップ３０２へ復帰し、カメラからの更なる映像流を処理する。新たなビューが選択されている場合には、プロセスは、ステップ３０２及び３０４の両方へ復帰し、新たなビューの新たなモデルを生成すると共に、そのモデルの新たなビューに新たな像を適用する。
【００２４】
映像を生成するのに使用されるカメラがパン／チルト／ズーム（ＰＴＺ）特徴を有する場合には、場面のビューをレンダリングするときにこのカメラの動きを受け入れねばならない。カメラのＰＴＺ向きがカメラのエンコーダにより捕獲される場合には、システムは、この情報をカメラから直接読み取ることができる。次いで、システムは、ルックアップテーブルにアクセスし、ＰＴＺ値が与えられると、場面の幾何学形状内でのカメラの姿勢を見つける。この姿勢を利用して、表示をレンダリングする。
【００２５】
姿勢ルックアップテーブルを形成するために、校正プロセスを実行しなければならない。カメラは、場面内の特定の位置に向けられ、ユーザは、像内のポイントと、それに対応する３Ｄモデル内のポイントを識別する（通常、マウスポインターを向けてクリックすることにより）。次いで、システムは、その特定の１組のＰＴＺ値に対して姿勢の回転部分を計算する。この手順は、カメラが種々の方向に向けられた多数の像に対して繰り返される。捕獲されたＰＴＺ値及び各方向に対して計算された姿勢は、姿勢ルックアップテーブルに記憶される。次いで、補間アルゴリズムが、測定値と測定値との間のＰＴＺ及び姿勢値を計算し、姿勢ルックアップテーブルを完全に母集団化(populate)する。
【００２６】
上記のエンコーダベースの解決策が、映像とモデルを整列できるに充分なほど正確でないか、又はカメラのＰＴＺ値を生成するためのエンコーダが入手できない場合には、ＰＴＺ値なしに又は不正確なＰＴＺ値でも、像情報を使用してモデルに対して一致させると共に整列を得ることができる。
【００２７】
ある手順は、映像を３Ｄモデルと直接整列させる。この手順は、２００１年３月７日に出願された米国特許出願第０９／８００，５５０号（代理人ドケット番号ＳＡＲ１３８２５）に開示されている。この整列手順は、１９９８年５月８日に出願された米国特許出願第０９／０７５，４６２号（代理人ドケット番号ＳＡＲ１２４２６）に教示により増強され、テクスチャーマップ及び像フィルタリングを使用して、場面の照明が変化するときに像の整列を改善することができる。
【００２８】
第２の技術は、それ自身３Ｄモデルに整列された（おそらく手で）球状の像モザイクに映像を整列させるものである。これは、像対モデルの整列ではなく像対像の整列が行われるので、健全な技術である。球状の像モザイクは、ＰＴＺ特徴を有する各カメラに対して従来のやり方で前もって形成される。これらのモザイクは、３Ｄモデルに整列されると共に記憶される。カメラからのその後の像は、モザイクに整列され、現在像と３Ｄモデルとの正確な整列が与えられる。場面の照明が変化する間に整列エラーが発生しないように保証するために、各カメラに対して多数のモザイクを種々の光レベルで生成することもできるし、或いは参考としてここに援用する１９９８年５月８日に出願された米国特許出願第０９／０７５，４６２号（代理人ドケット番号ＳＡＲ１２４２６）に開示された技術を使用して、広範囲な照明変化にわたり像を整列させることもできる。
【００２９】
図４は、場面内の移動物体を識別するためのプロセス４０１（図３のステップ３１０で実行される）を示す。ステップ４００において、像シーケンスがプロセスに入力される。この像シーケンスは、二次元（２Ｄ）モジュール４１８及び三次元（３Ｄ）モジュール４２０の両方により処理される。２Ｄモジュール４１８は、前景物体を静的な背景場面から分離する。３Ｄモジュール４２０は、奥行き及び形状回復を実行し、場面内を移動している物体の形態をプロセス４０１で識別できるようにする。ステップ４０２では、場面内の静的な背景情報（基準像）が、ビデオシーケンスから前景の動きを除去する公知のフィルタリング技術を使用して像シーケンスから抽出される。このような方法の１つがヨーロッパ特許公告番号ＥＰ１０４５５９１号に開示されている。次いで、基準像が、ステップ４０４においてオリジナル像シーケンスから差し引かれ、場面内の各移動物体に対して二次元（２Ｄ）物体のシルエットが形成される。全ての移動物体は、ステップ４０６においてシルエットとして現われる。
【００３０】
３Ｄ場面内を移動している物体を正確に識別するために、カメラの移動や影等のために見掛け上移動する物体に対して移動物体を識別して分離するための三次元情報が必要となる。このような三次元処理は、ステップ４０８、４１０、４１２及び４１４を含む３Ｄモジュールにおいて実行される。ステップ４０８では、像シーケンスから奥行き情報が計算される。ステップ４１０では、背景奥行き情報が計算又は決定され、ステップ４１２では、その背景奥行き情報が、像シーケンスから収集された奥行き情報から差し引かれ、前景物体奥行き情報だけが発生される。この前景奥行き情報は、ステップ４１４において物体シルエット情報と合成され、ステップ４１６において三次元物体シルエットが発生される。２Ｄ及び３Ｄの物体シルエット情報を合成することにより、カメラの移動や影のために見掛け上移動される前景物体を、ここで、非移動物体として識別することができる。従って、ステップ４１６で発生される物体シルエットは、場面内を移動している前景物体を正確に描写する。
【００３１】
前景物体がセグメント化され、それらの奥行き及び形状が回復されると、これらの物体を三次元でモデリングすることができる。各物体のシルエットが三次元モデルへとレンダリングされる場合には、そのモデルが場面のレンダリングされた像へアイコンとして挿入されるときに、その前景物体は異なる視点から可視化することができ、場面内で幾何学的に正しく見える。
【００３２】
図５は、場面内の移動物体の三次元モデルであるアイコンを生成するためのプロセス５０１（図３のステップ３１２で実行される）のフローチャートである。ステップ５００において、図４のプロセス４０１からの２Ｄ及び／又は３Ｄ物体がプロセス５０１に入力される。物体シルエットは、一般に、奥行き推定モジュールからの奥行き及び／又は形状情報と、色及び輝度のようなテクスチャー情報との両方を含む。例えば、著しい奥行き不連続部にも接近した著しいテクスチャー不連続部は、物体の輪郭又はシルエットの部分であると分類することができる。ステップ５０２では、物体シルエットが分類される。この分類段階の目的は、前景物体に適合されねばならないモデルの形式を識別することである。分類は、物体の属性を分析することにより実行できる。属性は、例えば、シルエットのサイズ及び形状を含む。物体の属性を回復することのできる方法は、例えば、モーメント分析である。前景物体に対して計算される１次及び２次モーメントは、物体が細長いかどうか決定するのに使用できる。細長い物体は、人間として分類されてもよく、非細長の物体は、乗物のような別の形式の物体であると分類されてもよい。この分類に基づいて、物体に対する異なるモデルを呼び出すことができる。例えば、ステップ５０４では、１組の球体により人間がモデリングされ、ステップ５０６では、乗物をボックスとしてモデリングすることができる。ステップ５０８及び５１０では、他の物体が種々の形式としてモデリングされる。これらのアイコン（物体モデル）は、上述したように、レンダリングされた像に挿入される。
【００３３】
図７は、保安警備員により見ることのできる表示スクリーンを示す。ビュースクリーン７００は、監視スクリーンの「鳥瞰」図を領域７１０に示すと共に、４台のカメラ１０８、１１０、１１２及び１１４各々からの４つの生のカメラビューを領域７１２に示す。領域７１０内には、移動物体を含む図１の廊下構造体１００がレンダリングされ、移動物体は、移動物体検出プロセス４０１により識別されたもので、移動物体アイコンジェネレータ５０１によりアイコンとしてレンダリングされる。アイコン７０２、７０４及び７０６は、一般に、物体の移動を捕獲するカメラに基づいて異なる色の「ドット」として示される。例えば、アイコン７０２は、赤で示されてもよく、更に、その移動を捕獲するカメラ（カメラ１１０）に対するアイコン７１６も赤で示される。同様に、カメラアイコン７１４は、青で示されてもよく、物体７０４も青で示される。物体の認識及び移動を向上させるために、足跡影７０８を使用し、移動物体が場面を通して移動するときにその以前の位置を示してもよい。物体アイコン７０６は、廊下１０４に沿った物体の動きを示すために足跡影７０８を含む。従って、保安警備員は、場面を通る物体の一貫性のない又は異常な動きから付加的な情報を受け取ることができる。保安警備員は、もっと接近して見たい物体を識別するときには、マウスポインターを物体の上に乗せてクリック又はダブルクリックし、その物体を選択する。選択後に、見張りシステムは、特定のカメラ位置、或いは場面を見ている多数のカメラからレンダリングされた合成カメラ位置から、その物体のビューを生成する。
【００３４】
図８は、廊下１０６における物体７０２の位置からの合成ビューである。この合成ビューは、ズーム制御器を使用して物体にズームイン／アウトしたり、又はジョイスティックを使用して場面内を移動して物体及びその行先の良好なビューを得たりするように操作することができる。更に、保安警備員は、物体の像を現在形成しているカメラから撮影された場面の生のビューを常に選択することができる。レンダリングされたビュー７０２は、廊下１０６に沿って歩いている個人の球ベースのモデルを示す。異なる位置から発生される合成ビューに対してカメラの角度がパン又はチルトされると、三次元の球モデルは、廊下を歩いている個人をレンダリングする。レンダリングされた像の壁及び床は、合成ビューが場面の実際のカメラビューと同程度の精度となるように、カメラにより発生される映像からテクスチャー化される。移動物体を識別し、次いで、場面内のその物体と共に全場面の一部分の特定像をレンダリングすることは、「フラッシュライトモード」動作として知られている。フラッシュライトモード像をレンダリングするのに使用されるプロセスは、２００１年３月７日に出願された米国特許出願第０９／８００，５５０号に説明されている。
【００３５】
本発明のシステムは、場面の視点及び映像レンダリングに相当の融通性を伴う。例えば、ビューセレクタは、オペレータが規則的なベースでチェックを行うために特定の行先ポイントを含んでもよい。ビューは、生の供給信号からどんなビューが得られるか保安警備員に正確に分かるようにカメラアイコンを含んでもよい。図７に示すような動きのトップビューを得ることができる。保安警備員は、離れた位置から場面の仮想ウォークスルーを行うように像の中を飛ぶことができ、各カメラの供給信号からいつでも全解像度映像が得られ、保安警備員は、場面内の像の全解像度ビューを選択することができる。
【００３６】
更に、マウスポインターで場面内のある位置を指したときに像に注釈をつけて、その場面に関する位置情報又は物体の識別を示してもよい。例えば、ある個人が保安チェックポイントを経て入場した場合に、その個人のアイコンが場面内で識別されたときにその個人の名前及びＩＤ番号がスクリーン上に現われるようにしてもよい。従って、その個人は、保安エリアを経て移動するときに追跡することができる。或いは又、特定の位置において個人を観察することができ、ユーザは識別を要求することができ、顔認識システムにより全解像度映像をサンプリングしてその個人を識別することができる。次いで、個人の識別の注釈が場面の三次元コンテクストビューに現われるようにすることができる。次いで、ユーザは、個人が施設を経て移動するときにその個人を追跡することができる。個人を識別できない場合には、その未識別の個人を取り押さえるように保安要員を派遣することができる。
【００３７】
暗示的３Ｄモデルを使用して、像シーケンスを相互接続する直観的マップを形成する本発明の別の実施形態が図９に示されている。このシステム９００は、複数の映像シーケンスを生成する複数のビデオカメラ又は他の像ソース９０２、９０４、９０６及び９０８を備えている。映像シーケンスは、暗示的３Ｄモデル９１８を含む像プロセッサ９１２に結合される。モデル９１８は、モデル更新ソース９１４を使用して形成することができる。像プロセッサ９１２にはビューセレクタ９１０が結合される。このビューセレクタ９１０は、カメラ９０２、９０４、９０６及び９０８により撮影された像のビューが像表示装置９１６に表示されるようにユーザにより操作される。
【００３８】
モデル更新ソース９１４は、ユーザにより暗示的３Ｄモデルを前もって形成するのに使用される。本質的に、暗示的３Ｄモデルは、種々のカメラのビューを相互接続するマップを形成し、カメラにより像形成された場面を通して物体が移動するときに、スクリーン上にマウスポインターを使用してビューを単に選択するだけで、その選択された像エリアの最良のビューが自動的に表示されるようにする。
【００３９】
マップ（暗示的モデル）は、映像シーケンス間の相互接続を識別する。一実施形態において、マップは、映像シーケンスごとに、遷移領域と、その遷移領域に関連した映像シーケンスとを備えたルックアップテーブルである。遷移領域は、単一ピクセルでもよいし、ピクセルの領域でもよい。各映像シーケンスには、独特の識別番号が与えられる。この独特の識別番号は、１つ以上の遷移領域に関連してもよい。関係が作られると、ユーザは、表示された映像シーケンスにおいて遷移領域を選択することができ、その領域に関連した映像シーケンスが表示される。
【００４０】
一実施例では、各シーケンスは、像の座標システムと０、９０、１８０及び２７０度において遷移領域を有する。これらの領域は、像の上部、下部、左右の縁に配置される。他の位置を使用してもよい。４つの位置を使用すると、ユーザは、オブジェクトの更に適切なビューが表示されるように、オブジェクトが移動する遷移領域を選択することができる。
【００４１】
カメラが固定位置にある場合には、暗示的マップは一度形成するだけでよい。マップを形成するために、ユーザは、カメラにより形成された映像がオーバーラップすることだけを知っていればよく、従って、どのカメラが他のカメラとオーバーラップするか又は互いに密接にオーバーラップするかをユーザに識別させてマップを形成することができる。像と像との間に明確なオーバーラップがある必要はないことに注意されたい。ユーザは、ターゲットが特定の方向に移動することがある場合に、どのカメラビューを次に表示することを望むか識別するだけでよい。オーバーラップ又はほぼオーバーラップする各カメラに対して、ユーザは、長方形又は他の形状の当該領域を像に描き、その領域内を特定の方向に物体が移動している場合にはどのカメラを表示すべきかキー入力する。
【００４２】
図１１Ｄは、３台のカメラ１１０４、１１０６及び１１０８を有する例示的場面を示す。各像の座標システムがスケール１１５０で示されている。各カメラは、各カメラにより像形成される特定領域１１１４、１１１２及び１１１０をカバーする。テーブル１は、図１１Ｄのカメラ配置に対する暗示的三次元モデル（マップ）を示す。
【００４３】
【表１】
2005517253.tif 000003
【００４４】
第１列において、カメラ１は、物体が２７０°の領域を移動するときにカメラ２への使用可能な遷移を１つもつだけである。カメラ２は、９０°でカメラ１へ遷移し、０°でカメラ３へ遷移し、１８０°でもカメラ３へ遷移する。最後に、カメラ３は、０°でカメラ２へ遷移し、１８０°でもカメラ２へ再び遷移する。
【００４５】
図１１Ａ、１１Ｂ及び１１Ｃは、物体が図１１Ｄに示す経路１１０２をたどるときにカメラ１１０４、１１０６及び１１０８からの３つのビューを示す。物体は、位置１１１６で始まり、カメラ１１０４のビューにおいて図１１Ａで右から左へ遷移する。物体が左側へ領域１１１８に到着すると、カーソル１１２０を物体又は領域１１１８に置いて新たなビューを選択することができる。この時点で、テーブル１に定義された遷移が、２７０°の領域においてカメラ２を次のカメラとして識別し、物体が最も良く見えるようにするために使用する。図１１Ｂは、カメラ２のビュー内を左から０°領域１１２８へ移動する物体を示す。物体が領域１１２８へ移動すると、カーソル１１２０をその領域に乗せて選択し、次いで、再びテーブルを使用して、移動物体の像を最も良く形成するための場面の次のビューを識別することができる。物体が位置１１３０で始まって位置１１３２へ移動するときに、今度は、第３のカメラ１１０８が選択される。次いで、物体は、位置１１３０から位置１１３２へ移動する。次いで、物体は、場面から遷移して消える。このようにして、暗示的３Ｄモデルを容易に形成することができ、ユーザは、暗示的三次元モデルを確立するのに使用された任意の台数のカメラにより場面を経て移動する物体を迅速に追跡することができる。
【００４６】
図１０は、本発明の別の実施形態の方法を示す。この方法１０００は、ステップ１００２において、カメラから複数の映像シーケンスを入力することで始まる。ステップ１００４では、映像シーケンスは、どのカメラへ遷移すべきか識別するためにユーザ選択領域により定義された暗示的関係モデルへ登録される。ステップ１０１０では、マウス、トラックパッド、トラックボール等の入力装置を使用して場面のビューが選択される。ステップ１００６では、上述したカーソルの配置に基づき、ステップ１０１０で識別されたように表示するためにシーケンスが選択される。選択された映像シーケンスは、次いで、ステップ１００８において表示される。このシステムは、直観的及び簡単なやり方で、ユーザが場面を通して物体を追跡できるようにする。オペレータは、特定の映像フレーム内の遷移領域にカーソルを配置してその領域を選択することにより場面を巡って容易にナビゲーションすることができる。オペレータは、ビルのコーナーを巡って監視しようとする場合に、そのコーナーの領域を選択することができ、コーナーを巡る最良のビューが表示される。
【００４７】
本発明の上記実施形態において、ビューセレクタは、場面のビューを選択するためにユーザにより操作されるものとして説明された。しかしながら、ビューセレクタは、自動化されてもよい。例えば、場面において動きが検出された（又は特定形式の動きが検出された）ときに、ビューセレクタは、その動きを含む場面の領域を最良に表示するビューを自動的に選択してもよい。当業者であれば、ビュー選択を自動化するのに他の多数の基準を使用できることが理解されよう。
【００４８】
以上、本発明の好適な実施形態を説明したが、本発明の基本的な範囲から逸脱せずに本発明の他の及び更に別の実施形態を案出することができ、従って、本発明の範囲は、特許請求の範囲により決定されるものとする。
【図面の簡単な説明】
【００４９】
【図１】本発明の高レベルブロック図である。
【図２】本発明による見張りシステムの詳細なブロック図である。
【図３】本発明の動作を示すフローチャートである。
【図４】移動物体を識別する本発明のプロセッサを示す図である。
【図５】移動物体にアイコンを指定する本発明のプロセッサを示す図である。
【図６】本発明により監視できる場面内の説明上の廊下構造体の「鳥瞰」図である。
【図７】図６の廊下構造体内の移動物体をモデリングするのに使用される表示装置を例示する図である。
【図８】本発明により識別される移動物体の合成図である。
【図９】本発明の別の実施形態のブロック図である。
【図１０】図９の実施形態の方法を示すフローチャートである。
【図１１Ａ】図９の実施形態の動作例を示す図である。
【図１１Ｂ】図９の実施形態の動作例を示す図である。
【図１１Ｃ】図９の実施形態の動作例を示す図である。
【図１１Ｄ】図９の実施形態の動作例を示す図である。
【符号の説明】
【００５０】
１００・・・廊下場面、１０２・・・見張りシステム、１０４・・・第１廊下、１０６・・・第２廊下、１０８、１１０、１１２、１１４・・・カメラ、１１６・・・像プロセッサ、１１８・・・像表示装置、１２０・・・ビューセレクタ、１２２・・・保安警備員、２００・・・モデル更新ソース、２０２・・・マルチプレクサ、２０４・・・フレーム捕獲回路、２０６・・・フレームスプリッター、２０８・・・像レンダリングプロセッサ、２１０・・・３Ｄモデルジェネレータ、７００・・・ビュースクリーン、７１０、７１２・・・領域、７０２、７０４、７０６・・・物体アイコン、７０８・・・足跡影、７１４、７１６、７１８、７２０・・・カメラアイコン
【図１】
2005517253.tif 000004
【図２】
2005517253.tif 000005
【図３】
2005517253.tif 000006
【図４】
2005517253.tif 000007
【図５】
2005517253.tif 000008
【図６】
2005517253.tif 000009
【図７】
2005517253.tif 000010
【図８】
2005517253.tif 000011
【図９】
2005517253.tif 000012
【図１０】
2005517253.tif 000013
【図１１】
2005517253.tif 000014
【国際調査報告】
2005517253.tif 000015