(57)【要約】映像監視システム（２０）は、シーン（２３）の地理空間モデル（２２）を記憶する地理空間モデルデータベース（２１）と、シーンにおいて動いているオブジェクト（２９）の映像を捕捉する少なくとも１つの映像監視カメラ（２４）と、映像監視ディスプレイ（２６）とを有する。そのシステム（２０）は、地理空間モデルに対して動いているオブジェクト（２９）の捕捉された映像をジオリファレンス処理し、地理空間モデル（２２）のシーン（２３）に対して重ね合わされた、動いているオブジェクトの捕捉された映像に関連する挿入部分（３０）を有する、ジオリファレンス処理された監視映像を映像監視ディスプレイ（２６）において生成するための映像監視プロセッサ（２５）を更に有する。
2010504711.tif 000002
【特許請求の範囲】
【請求項１】
シーンの地理空間モデルを記憶する地理空間モデルデータベース；
前記シーンにおいて動いているオブジェクトの映像を捕捉する少なくとも１つの映像監視カメラ；
映像監視ディスプレイ；及び
前記地理空間モデルに対して前記動いているオブジェクトの捕捉された映像をジオリファレンス処理し、そして前記地理空間モデルの前記シーンに対して重ね合わされた前記動いているオブジェクトの前記捕捉された映像に関連する挿入部分を有する、ジオリファレンス処理された監視映像を前記映像監視ディスプレイにおいて生成するための映像監視プロセッサ；
を有する映像監視システム。
【請求項２】
請求項１に記載の映像監視システムであって、前記プロセッサは、ジオリファレンス処理された監視映像におけるビューポイントのユーザ選択を可能にする、映像監視システム。
【請求項３】
請求項１に記載の映像監視システムであって、前記少なくとも１つの映像監視カメラは、前記動いているオブジェクトの三次元映像を捕捉する、複数の距離を置いた映像監視カメラを有する、映像監視システム。
【請求項４】
請求項３に記載の映像監視システムであって、前記挿入部分は、前記動いているオブジェクトの前記捕捉された三次元映像を有する、映像監視システム。
【請求項５】
請求項１に記載の映像監視システムであって、前記挿入部分は、前記動いているオブジェクトを表すアイコンを有する、映像監視システム。
【請求項６】
地理空間モデルデータベースにシーンの地理空間モデルを記憶する段階；
前記シーンにおいて動いているオブジェクトの映像を、少なくとも１つの映像監視カメラを用いて捕捉する段階；
前記地理空間モデルに対して前記動いているオブジェクトの前記捕捉された映像をジオリファレンス処理する段階；及び
前記地理空間モデルに対して重ね合わされた前記動いているオブジェクトの前記捕捉された映像に関連する挿入部分を有する、ジオリファレンス処理された監視映像を映像監視ディスプレイにおいて生成する段階；
を有する映像監視方法。
【請求項７】
請求項６に記載の映像監視方法であって、前記少なくとも１つの映像監視カメラは、前記動いているオブジェクトの三次元映像を捕捉する、複数の距離を置いた映像監視カメラを有する、映像監視方法。
【請求項８】
請求項６に記載の映像監視方法であって、前記挿入部分は、前記動いているオブジェクトの前記捕捉された三次元映像挿入部分及び前記動いているオブジェクトを表すアイコンのうちの少なくとも１つを有する、映像監視方法。
【請求項９】
請求項６に記載の映像監視方法であって、前記シーンにおいて一時的に不明瞭になるにも拘わらず、監視のための前記動いているオブジェクトと、識別フラグ及び予測経路のうちの１つを、プロセッサが関連付ける、映像監視方法。
【請求項１０】
請求項６に記載の映像監視方法であって、前記地理空間モデルデータベースは数値標高モデルデータベースを有する、映像監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムの分野に関し、特に、映像監視システム及びそれに関連する方法に関する。
【背景技術】
【０００２】
映像監視は、セキュリティモニタリング操作の重要な特徴である。映像監視は、個人の特徴及び建物をモニタするように用いられている一方、かなり広い地理領域における安全確保で用いることがより重要になってきている。例えば、映像監視は、港、街等の法執行監視についてのかなり重要な部分である。
【０００３】
しかし、対象の大きな地理領域の映像監視に関連する１つの困難なことは、リアルタイムに事前セキュリティをもたらすようにモニタする必要がある多くのビデオカメラを備えることである。典型的な大規模なセキュリティシステムにおいては、各々のカメラが個別のビデオモニタにフィードされるか又は、複数の映像カメラからのフィードがより少数のモニタに対して選択的に多重化されるかのどちらかである。しかしながら、比較的大きい領域については、数十台乃至数百台の映像監視カメラが必要である。このことは、対応する多数のセキュリティモニタを収容するために必要な空間の問題ばかりでなく、制限された数の警備員がそのような多くの映像フィードをモニタすることが困難である問題をもたらす。
【０００４】
そのようなシステムを用いる更なる他の困難なことは、それらのシステムが、典型的には、カメラの視野の二次元ビューを与え、そのカメラの視野が、ときどき、所望の正確度に対してその視野内のオブジェクト（特に、ズームアウトしたとき）の位置をオペレータが正確に評価することを困難にすることである。また、オブジェクトが異なるカメラの視野の間を動き続け、それ故、互いに直接隣接していない異なるモニタに現れるとき、対象の地理領域全体に亘って動いているオブジェクトの位置を追跡することは困難になる。
【０００５】
種々の従来技術が、映像監視を容易にするように開発されてきている。例えば、米国特許第６，２９５，３６７号明細書において、第１対応撮影装置及び第２対応撮影装置を用いて、複数のビデオフレームのストリームからのシーンにおいてオブジェクトの動きを追跡するシステムについて開示されている。オブジェクト対応撮影装置と呼ばれる第１対応撮影装置は、追跡されるオブジェクトの仮説である、シーンにおける領域クラスタを表す複数のノードと、複数のトラックとを有する。各々のトラックは、シーンにおいてオブジェクトの追跡セグメントを表す連続的なビデオフレームにおける順序付けられた一連のノードを有する。トラック対応撮影装置と呼ばれる第２対応撮影装置は、各々のノードが第１対応撮影装置における少なくとも１つのトラックに対応する、複数のノードを有する。第２対応撮影装置における順序付けられた一連のノードを有するトラックは、シーンにおけるオブジェクトの経路を表す。シーンにおける人間等のオブジェクトについての追跡情報は、第１対応撮影装置及び第２対応撮影装置に基づいて収集される。
【０００６】
米国特許第６，５１２，８５７号明細書においては、他のシステムについて記載されている。この特許文献においては、地理空間登録と呼ばれる、カメラ座標と地理座標との間の正確なマッピングのためのシステムについて提供されている。そのシステムは、地理的に較正された参照画像を入力画像、例えば、動的に生成された映像画像と位置合わせし、それ故、シーンにおける位置を特定することができる地理空間データベースに含まれている画像情報及び地形情報を用いる。ビデオカメラ等のセンサが地理空間データベースに含まれているシーンを画像化するとき、そのシステムは、その画像化されたシーンに関係する参照画像を呼び出す。この参照画像は、パラメータ変換を用いてセンサ画像と位置合わせされる。その後、参照画像に関連する他の情報がセンサ画像と重ね合わされる、又はセンサ画像に関連付けられる。
【０００７】
そのようなシステムにより提供される恩恵にも拘わらず、対象の比較的大きい地理領域をモニタし、この領域内を動いているオブジェクトを追跡するように用いられるシステムについて、より制御可能及び／又は追跡可能な特徴を有することは更に望ましいことである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６，２９５，３６７号明細書
【特許文献２】米国特許第６，５１２，８５７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の背景に鑑み、本発明の目的は、それ故、改善された監視特徴を提供する映像監視システム及びそれに関連する方法を提供することである。
【課題を解決するための手段】
【００１０】
上記の及び他の目的、特徴及び有利点については、シーンの地理空間モデルを記憶する地理空間モデルデータベースと、シーン内の動いているオブジェクトの映像を捕捉する少なくとも１つの映像監視カメラと、映像監視ディスプレイと、を有することが可能である映像監視システムにより提供されることが可能である。そのシステムは、地理空間モデルに対して動いているオブジェクトの捕捉された映像をジオリファレンス処理し（ｇｅｏｒｅｆｅｒｅｎｃｉｎｇ）、地理空間モデルのシーンに対して重ね合わされる、動いているオブジェクトの捕捉された映像に関連する挿入部分を有するジオリファレンス処理された監視映像を映像監視ディスプレイにおいて生成するための映像監視プロセッサを、更に有することが可能である。
【００１１】
そのプロセッサは、ジオリファレンス処理された監視映像におけるビューポイントのユーザ選択を可能にする。また、その少なくとも１つの映像監視カメラは、１つ又はそれ以上の固定式又は可動式ビデオカメラを有することが可能である。特に、その少なくとも１つの映像監視カメラは、動いているオブジェクトの三次元（３Ｄ）映像を捕捉する、複数の空間的に離れた映像監視カメラを有することが可能である。
【００１２】
挿入部分は、動いているオブジェクトの捕捉された３Ｄ映像挿入部分を有することが可能である。挿入部分は、更に又は代替として、動いているオブジェクトを表すアイコンを有することが可能である。更に、プロセッサは、シーンにおける一時的な不明瞭さにも拘わらず、監視のための動いているオブジェクトに、識別フラグ及び／又は予測経路を関連付けることが可能である。例示として、その少なくとも１つの映像監視カメラは、光学的ビデオカメラ、赤外線ビデオカメラ及び走査開口レーザ（ＳＡＲ）ビデオカメラの少なくとも１つであることが可能である。更に、地理空間モデルデータベースは、例えば、数値標高モデル（ＤＥＭ：Ｄｉｇｉｔａｌ  Ｅｌｅｖａｔｉｏｎ  Ｍｏｄｅｌ）等の三次元（３Ｄ）モデルであることが可能である。
【００１３】
映像監視方法の特徴は、地理空間モデルデータベースにシーンの地理空間モデルを記憶することと、少なくとも１つの映像監視カメラを用いてシーンにおいて動いているオブジェクトの映像を捕捉することと、地理空間モデルに対して動いているオブジェクトの捕捉された映像をジオリファレンス処理することと、を有することが可能である。その方法は、地理空間モデルのシーンに対して重ね合わされた、動いているオブジェクトの捕捉された映像に関連する挿入部分を有する、ジオリファレンス処理された監視映像を映像監視ディスプレイにおいて生成することを更に有することが可能である。
【図面の簡単な説明】
【００１４】
【図１】本発明に従った映像監視システムの模式的なブロック図である。
【図２】本発明に従って、地理空間モデルと、その地理空間モデルに重ね合わされた、動いているオブジェクトの捕捉された映像に関連する挿入部分とを有する、ジオリファレンス処理された監視映像のスクリーンプリントである。
【図３】本発明に従って、地理空間モデルと、その地理空間モデルに重ね合わされた、動いているオブジェクトの捕捉された映像に関連する挿入部分とを有する、ジオリファレンス処理された監視映像のスクリーンプリントである。
【図４】図１のシステムの、動いているオブジェクトを不明瞭にする建物の、及びオブジェクト追跡特徴を示す模式的なブロック図である。
【図５】図１のシステムの、動いているオブジェクトを不明瞭にする建物の、及びオブジェクト追跡特徴を示す模式的なブロック図である。
【図６】本発明に従った映像監視方法のフロー図である。
【図７】本発明の映像監視方法の特徴を示すフロー図である。
【発明を実施するための形態】
【００１５】
先ず、図１を参照するに、映像監視システム２０は、シーン２３の地理モデル２２、例えば、三次元（３Ｄ）数値標高モデル（ＤＥＭ：Ｄｉｇｉｔａｌ  Ｅｌｅｖａｔｉｏｎ  Ｍｏｄｅｌ）を記憶する地理モデルデータベース２１を有する。１つ又はそれ以上の映像監視カメラ２４は、シーン２３において動いているオブジェクトの映像を捕捉するためのものである。その例示としての実施形態においては、動いているオブジェクト２９は小さい飛行機であるが、他の種類の動いているオブジェクトも、そのシステム２０を用いて追跡されることが可能である。種々の種類のビデオカメラ、例えば、光学ビデオカメラ、正規外線ビデオカメラ及び／又は走査開口レーダー（ＳＡＲ）ビデオカメラを用いることが可能である。本明細書で用いる用語“映像”は、リアルタイムに変化する画像列のことをいう。
【００１６】
図示しているように、システム２０は、映像監視プロセッサ２５及び映像監視ディスプレイ２６を更に有する。例示として、映像監視プロセッサ２５は、ＰＣ、ＭＡＣ又は他のワークステーションの中央演算処理装置（ＣＰＵ）であることが可能である。一般に、映像監視プロセッサ２５は、地理モデル２２に対して動いているオブジェクト２９の捕捉された映像をジオリファレンス処理し（ｇｅｏｒｅｆｅｒｅｎｃｉｎｇ）、地理モデルのシーン２３に重ね合わせられる、動いているオブジェクトの捕捉された映像に関連する挿入部分３０を有するジオリファレンス処理された監視映像を映像監視ディスプレイ２６において生成するためのものである。
【００１７】
例示としての実施形態においては、挿入部分３０は、シーン２３における動いているオブジェクト２９の位置に対応する位置における地理モデル２２に重ね合わされたアイコン（即ち、三角形又はフラグ）である。特に、カメラ２４の位置は、固定位置にあるか又は、動いているカメラの場合には、その動いているカメラに関連する位置評定装置（例えば、ＧＰＳ）を有するかのどちらかである。更に、典型的な映像監視カメラは、シーンにおいて動いている画素の群のみを出力するように、関連処理回路を備える又は較正されることが可能である。更に、当業者が理解できるであろうように、そのカメラはまた、動いているオブジェクト２９に範囲及び方向を与えるように、関連処理回路を備える又は較正されることが可能である。プロセッサ２５は、それにより、例えば、緯度座標／経度座標／高さ座標位置に関して動いているオブジェクト２９の位置を決定し、地理モデル２２における適切な緯度座標／経度座標／高さ座標位置において挿入部分３０を重ね合わすことが可能である。
【００１８】
処理動作の一部は図１に示す単独のＣＰＵの外部で実行されることが可能であることに留意する必要がある。即ち、プロセッサ２９により実行される、本明細書で記載している処理動作は、カメラ２４に関連するプロセッサ／処理モジュールを含む複数の異なるプロセッサ又は処理モジュール間に分配されることが可能である。
【００１９】
ここで、図２及び３に示す代替の実施形態を参照するに、挿入部分３０′は、カメラ２４により実際に捕捉された、動いているオブジェクトの映像挿入部分であることが可能である。その例示としての実施形態において、シーンは港領域であり、動いているオブジェクトは、港内で水面上を動いている船である。複数の間隔を置いた映像監視カメラ２４が用いられる場合、動いているオブジェクトの３Ｄ映像は、挿入部分３０′として捕捉されて、表示されることが可能である。その挿入部分は、図示されているように、映像“チップ”としてボックス内にフレーム付けされることが可能であり、又は、一部の実施形態においては、当業者が理解できるであろうように、動いているオブジェクトを囲む少数の映像画素を示すことが可能である。
【００２０】
動いているオブジェクトの実際の映像挿入部分を見ることができることに加えて、他の特定の有利な特徴、即ち、視点を変えるユーザの能力がまた、示されている。即ち、プロセッサ２５は、有利であることに、ジオリファレンス処理された監視映像において視点をユーザが選択することを可能にする。ここでは、図２においては、視点は、第１位置からのものであり、図３においては、ジオリファレンス処理された監視映像の最下部の座標で示されているように、第１位置と異なる第２位置からのものである。
【００２１】
更に、ユーザはまた、ジオリファレンス処理された監視映像のズーム比を変えることが可能であるようにされることが可能である。図３に示すように、挿入部分３０′は、より大きいズーム比が用いられているため、図２に比べて、より大きく現れている。ユーザは、当業者が理解できるであろうように、プロセッサ２５に接続された（有線接続か又は無線接続のどちらかにより）キーボード２７、マウス２８、ジョイスティック（図示せず）等の入力装置を用いて、画像のズーム比又は視点を変えることが可能である。
【００２２】
ここで、更に図４及び５を参照して、ジオリファレンス処理された監視映像を表示する付加的特徴について説明する。特に、それらの特徴は、シーンにおける他のオブジェクトによりまた不明瞭にされる、動いているオブジェクトを追跡する能力をシステム２０のユーザ又はオペレータに与えることに関するものである。例えば、プロセッサ２５は挿入部分が建物のような地理空間モデルにおけるオブジェクト３６′′の後ろを通るとき、実際の又は予測される経路３５′′を挿入部分３０′′と関連付けることが可能である。換言すれば、動いているオブジェクトに対するカメラアングルは曖昧にならないが、動いているオブジェクトは、シーンの現時点の視点のために、不明瞭になる。
【００２３】
プロセッサ２５により表示される予測される経路３５′′に加えて又はそれに代えて、映像挿入部分３０′′′が、シーンにおける一時的な不明瞭さにも拘わらず、監視のために動いているオブジェクトに関連する識別フラグ／アイコンとして表示されることが可能である。図５に例示として示すように、動いているオブジェクト（即ち、飛行機）が動いていて、建物３６′′′と重なったとき、挿入部分３０′′′は、図４に示す、実際に捕捉された映像挿入部分から、動いているオブジェクトが建物の背後にあることを示すように、図５において破線で示すフラグに、変化させることが可能である。
【００２４】
図６に示す他の有利な特徴に従って、プロセッサ２５は、ビデオカメラ２４から動いているオブジェクトの一時的な不明瞭さにも拘わらず、挿入部分３０′′′（例えば、フラグ／アイコン）を表示することが可能である。それ故、ビデオカメラ２４は、図６において矩形３７′′′で示す、動いているオブジェクトに対する観察の不明瞭な線を有する。その場合、実際の経路又は予測された経路が尚も、上記のように用いられることが可能である。更に、当業者が理解できるであろうように、カメラ又は建物等の曖昧さが生じた場合、上記の技術を用いることが可能である。
【００２５】
他の潜在的に有利な特徴は、挿入部分３０についてラベルを作成する能力である。特に、そのようなラベルは、当業者が理解できるであろうように、無線識別信号等に基づいて決定されることが可能である、既知のシーン２３における動いているオブジェクト２９（例えば、海洋パトロールボート等）について、プロセッサ２５により自動的に生成され、表示されることが可能である。他方、プロセッサ２５は、それ故、不審オブジェクトをラベル付けすることが可能であり、オブジェクトの速度、セキュリティゾーンに対するオブジェクトの位置等のような因子に基づいて、他のラベルを生成する又は警告を発することが可能である。更に、ユーザはまた、キーボードのような入力装置を用いて、動いているオブジェクトをラベリングする能力を有することが可能である。
【００２６】
映像監視方法の特徴について、ここで、図７を参照して説明する。ブロック６０から開始して、シーン２３の地理空間モデル２２は、ブロック６１において地理空間モデルデータベース２１に記憶される。地理空間モデル（例えば、ＤＥＭ）が、一部の実施形態において、プロセッサ２５により生成されることが可能であり、又は、その地理空間モデルがどこかで生成され、更なる処理のために、データベース２１に記憶されることが可能である。また、データベース２１及びプロセッサ２５が、説明を明確化するように、図１においては別個に示されているが、それらの構成要素は、例えば、同様のコンピュータ又はサーバにおいて実施されることが可能である。
【００２７】
その方法は更に、例示として、ブロック６２において、１つ又はそれ以上の固定／可動式映像監視カメラ２４を用いて、シーン２３における動いているオブジェクト２９の映像を捕捉する段階を有する。更に、その捕捉された、動いているオブジェクト２９の映像は、ブロック６３において、地理空間モデル２２に対してジオリファレンス処理される。更に、ジオリファレンス処理された監視映像が、上で説明しているように、ブロック６４において、地理空間モデル２２のシーンに対して重ね合わされる、捕捉された、動いているオブジェクト２９の映像に関連する挿入部分３０を有する映像監視ディスプレイ２６において生成され、そのようにして、その例示としての方法を終了する（ブロック６５）。
【００２８】
上記の動作は、ＲｅａｌＳｉｔｅ（登録商標）等の３Ｄサイトモデリングプロダクト及び／又はＩｎＲｅａｌｉｔｙ（登録商標）等の３Ｄ視覚化ツールを用いて実行されることが可能であり、それらの両方は、現在のＡｓｓｉｇｎｅｅ  Ｈａｒｒｉｓ社製のものである。ＲｅａｌＳｉｔｅ（登録商標）は、対象の地理空間領域の重ね合わされた画像を登録し、ステレオビュー技術及び天底（ｎａｄｉｒ）ビュー技術を用いて高解像度ＤＥＭを抽出する。ＲｅａｌＳｉｔｅ（登録商標）は、正確なテクスチャ及び構造境界を有する、紫外を含む、地理領域の三次元（３Ｄ）地形モデルについての半自動処理を提供する。更に、ＲｅａｌＳｉｔｅ（登録商標）モデルは、地理空間的に正確である。即ち、そのモデルにおける何れかの所定ポイントの位置は、かなり高い正確さを有する地理領域における正確な位置に対応するものである。ＲｅａｌＳｉｔｅ（登録商標）モデルを作成するように用いられるデータは、航空写真、衛星写真並びに光電子、赤外及び光検出及び測距（ＬＩＤＡＲ）を有することが可能である。更に、ＩｎＲｅａｌｉｔｙ（登録商標）は、３Ｄ仮想シーンにおける高度な相互作用を提供する。シーンにおける何れかの位置に集中する能力により、ユーザは地理空間的に正確な仮想環境を進むことが可能である。
【００２９】
上記のシステム及び方法は、それ故、監視目的で見る単独のポイントを作成するように映像カメラにより動いているオブジェクトを追跡するために高解像度３Ｄ地理空間モデルを有利に用いることが可能である。更に、複数の異なる映像監視カメラからの挿入部分は、それらの挿入部分をリアルタイムに更新して又は略リアルタイムに更新して、ジオリファレンス処理された監視映像において重ね合わされることが可能である。
【図１】
2010504711.tif 000003
【図２】
2010504711.tif 000004
【図３】
2010504711.tif 000005
【図４】
2010504711.tif 000006
【図５】
2010504711.tif 000007
【図６】
2010504711.tif 000008
【図７】
2010504711.tif 000009
【国際調査報告】
2010504711.tif 000010
2010504711.tif 000011
2010504711.tif 000012