(57)【特許請求の範囲】
【請求項１】
複数のビデオストリームを組み合わせる方法であって、
複数のビデオフレームを受信するステップを含み、各ビデオフレームは複数の光センサの１つによって同時に獲得されたイメージデータに対応し、
前記複数のビデオフレームのそれぞれについて、隣り合うビデオストリーム間の動きオフセットを集約したモザイク推定メタデータを計算するステップと、
前記複数のビデオフレームおよび前記モザイク推定メタデータから合成ビデオフレームを作成するステップとをさらに含む方法。
【請求項２】
前記モザイク推定メタデータは、前記複数の光センサによってイメージングされる区域のサブウインドウについて計算され、前記サブウインドウは、パン-チルト-ズーム要求に対応する請求項１に記載の方法。
【請求項３】
前記モザイク推定メタデータは、前記複数のビデオフレームのうち少なくとも２つについて計算された特徴メタデータを含み、前記少なくとも２つのビデオフレームは、ほぼ同一の時点で異なる光センサによってキャプチャされる請求項１に記載の方法。
【請求項４】
前記モザイク推定メタデータは、前記複数のビデオフレームのうち少なくとも２つに基づいて計算された動き推定メタデータを含み、前記少なくとも２つのビデオフレームは、異なる時点で同一の光センサによってキャプチャされる請求項１に記載の方法。
【請求項５】
前記複数のビデオフレームから選択されたビデオフレームに固定の位置を割り当てるステップと、
前記選択されたビデオフレームの近傍の複数のビデオフレームのそれぞれについてペアの平行移動を測定するステップと、
前記近傍のビデオフレームのそれぞれを、そのビデオフレームについて測定された前記ペアの平行移動に基づいて、前記選択されたビデオフレームと整列させるステップとをさらに含む請求項１に記載の方法。
【請求項６】
前記選択されたビデオフレームに固定の位置を割り当てるステップと前記近傍のビデオフレームのそれぞれについてペアの平行移動を測定するステップとを繰り返すステップと、
前記測定されたペアの平行移動に基づいて、各ビデオフレームが固定された位置の集合から、前記複数のビデオフレームのそれぞれについて平均位置を計算するステップとをさらに含む請求項５に記載の方法。
【請求項７】
前記合成ビデオフレームを作成するステップは、
前記複数のビデオフレームのそれぞれの中で表示される特徴の平行移動を推定するステップと、
前記特徴の推定された平行移動に基づいて前記複数のビデオフレームに対して大域調整を実行して、前記複数の光センサのうち１つまたは複数の動きを補正するステップとをさらに含む請求項１に記載の方法。
【請求項８】
前記複数のビデオフレームは、移動センサプラットフォームによってキャプチャされる請求項１に記載の方法。
【請求項９】
前記合成ビデオフレームは、ギガピクセルイメージである請求項１に記載の方法。
【請求項１０】
前記複数のビデオフレームのそれぞれは、4メガピクセルイメージである請求項１に記載の方法。
【請求項１１】
前記光センサは、空中観察ユニットによって提供される請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のビデオストリームを組み合わせるシステムおよび方法に関する。
【０００２】
関連出願
本発明は、参照により開示の全体が本明細書に組み込まれている、2006年2月13日に出願した米国特許仮出願第60/772,670号の優先権を主張するものである。本発明は、参照により開示の全体が本明細書に組み込まれている、2006年7月11日に出願した米国特許出願第11/456,745号に関連する。
政府の権利
本発明は、国防総省部局である国防総省高等研究計画局のために、米国内務省、National Business Centerによって与えられた契約番号NBCHC050090の下で米国政府の支援を受けて行われた。政府は、本発明に一定の権利を有する。
【背景技術】
【０００３】
様々なセンサおよび観察システムが知られている。例えば、様々なタイプの航空機が、実地における地上部隊に援助を提供するのに使用され、地上部隊に、地上部隊の任務目的と関係のあるリアルタイムのデータを提供する。高い解像度要件が存在する場合、空中プラットフォームは、地表近くを低空飛行することが従来から可能である。低高度で飛行することは、より危険であるので、有人航空機ではなく、UAV(無人航空機)が、しばしば、使用される。一部のUAVは、現場から発射される可能性があり、この可搬性要件は、プラットフォームが小さく、軽量であることを余儀なくする可能性がある。このことにより、積載量がより小さくなり、搭載されるセンサの複雑度が制限される。例示的な戦略UAVには、PioneerおよびScanEagleが含まれる。Dragon Eyeその他などの、より小さいUAVが、開発されている。これらの航空機は、10,000フィートより低く飛行することが可能であり、100ポンド未満の積載量を有することが可能である。
【０００４】
センサシステムの容量が増加するにつれ、複数のビデオストリームなどの大量のイメージデータを管理する必要性が、存在する。具体的には、観察プラットフォームの動きを補正しながら、ビデオストリームの中に存在する物体を識別する、さらに/または追跡することができる必要性が、存在する。リモートセンサシステムおよび/または空中センサシステムから受信されたイメージデータを操作するため、および視覚化するための技術は、存在するが、現在、利用可能な技術は、一般に、複雑なイメージ操作およびイメージ変換を実行するのに十分な処理能力および/または帯域幅を有さない。
【発明の開示】
【課題を解決するための手段】
【０００５】
複数のビデオストリームを組み合わせるための方法およびシステムが、提供される。或る実施形態では、ビデオフィードが、カメラアレイなどの複数の光センサから受信される。ビデオフィードの各フレームに関するイメージデータが、ビデオストリームを組み合わせて合成ビデオにするのに使用される。この合成ビデオを作成するのに、ホモグラフィ情報および/またはコーナーメタデータが、各ビデオストリームからの各フレームについて計算される。このデータは、それらの別々のフレームをモザイク化して、単一のビデオフレームにするのに使用される。また、各イメージの局所平行移動が、それらのビデオフレームを同期するのに使用されることも可能である。センサの動きは、連続するビデオフレームの中で生じる特徴を識別し、この特徴の予測される動きを使用して、外部からの動きを補償することによって考慮に入れられることが可能である。或る実施形態では、光センサは、有人または無人の偵察機などの、飛行していることが可能な移動プラットフォームによって提供される。イメージデータが、地上の操作者から要求されて、空中プラットフォームからユーザにリアルタイムで、または後の時点で伝送されることが可能である。或る実施形態では、合成イメージおよび/または合成ビデオが、動的に作成されることが可能であり、これにより、カメラの動きが考慮に入れられることが可能である。
【０００６】
様々なデータ構成が、集約システムによって、センサモジュールから受信されたイメージデータをシリアル化(serialize)し、さらに/または多重化するのに使用されることが可能である。例示的な方法は、固定サイズレコード構成、および可変サイズレコード構成を含む。固定サイズレコード構成では、各記録ブロックは、物理的に妥当なサイズの倍数であることが可能である。
【０００７】
ギガピクセルイメージからの、またはギガピクセルイメージの中に含まれるデータを含め、イメージデータを、ユーザが要求すること、見ること、および操作することを可能にするグラフィカルユーザインタフェースが、提供される。このユーザインタフェースは、ユーザによって要求されたイメージデータを求める要求を送信することによって、イメージキャプチャシステムやイメージストレージシステムなどの、他の様々なシステムと通信することができる。様々なオーバーレイ、アイコン、およびその他の情報が、その他のシステムから受信されたイメージデータに関連して提示されて、活動レベルや物体の動きなどのさらなるデータがユーザに提供されることが可能である。
【０００８】
本発明の実施形態は、広角ビデオイメージなどの広角イメージをキャプチャするように動作可能な光センサおよびレンズのアレイを含む。本明細書で使用される「カメラ」などの用語は、単数形で使用される場合でも、複数の光センサなどの複数のイメージキャプチャデバイス(例えば、複数のセンサからの出力が、単一のイメージを事実上、形成するように集約される場合の)を含むものと読まれたい。「ギガピクセル」という用語が、本明細書全体にわたって、イメージデータを表すのに使用されるが、任意の適切な解像度(例えば、テラピクセルなど)、および対応するイメージ解像度および/またはビデオ解像度を有するマルチセンサカメラが、作成される、または使用されることも可能であることが理解されよう。
【０００９】
実施形態は、対話的な仕方で、光センサのアレイによってキャプチャされたイメージを処理して、これらのイメージをユーザに提示するように動作可能な方法およびシステムをさらに含む。さらなる実施形態は、ユーザが、センサのアレイを含むシステムと対話することを可能にするように動作可能なユーザインタフェースを含む。例えば、ユーザインタフェース実施形態の一例は、例えば、「仮想PTZ(パンチルトズーム)カメラ」として、大きいイメージの一部分を、より詳細に見るように選択する能力をユーザに与えることができる。さらなる実施形態には、光センサのアレイを取り付けるためのシステム、光センサのアレイを含むシステムを較正するための方法、および光センサのアレイを含むシステムを使用するいくつかの方法が含まれる。
【００１０】
一部の実施形態は、飛行するプラットフォームと、この飛行するプラットフォームに固定された広角カメラシステムと、この広角カメラシステムからのビューを提供するように動作可能な、飛行するプラットフォームから遠隔のリアルタイムのビューイング局とを含む。
【００１１】
他の実施形態は、任意の数のコーナー/特徴検出、イメージタイルモザイク化、イメージ動き推定(位置合わせ)、カメラ内前処理、PTZビュー抽出、および/またはターゲット追跡-推測を含む、イメージデータを処理するように動作可能なデータワークフロー/アルゴリズムを含む。
【００１２】
他の実施形態は、イメージデータ多重化システム/方法、および/または専用ファイル索引付けシステム/方法を含む。
【００１３】
他の実施形態は、イメージをレンダリングし、そのようなイメージと関係するユーザ入力を受け取るように動作可能なGUI(グラフィカルユーザインタフェース)を含む。
【００１４】
他の実施形態は、広角イメージを共同でキャプチャするように動作可能な複数のイメージセンサおよび光学部品を保持するように構成されたドーム様のフレーム構造を含む。
【００１５】
これらの実施形態のそれぞれが、他のいくつかの実施形態に加えて、以下でより詳細に説明される。
【発明を実施するための最良の形態】
【００１６】
本発明の実施形態は、「ギガピクセル」イメージまたはビデオフレームの作成を提供する。本明細書で使用される「ギガピクセル」イメージは、約109ピクセルを有するイメージであるが、8×108ピクセルから1.2×109ピクセルまでを有するイメージも、「ギガピクセル」イメージと考えられる。ギガピクセルビデオは、ギガピクセルイメージから成るモーションピクチャビデオストリームである。本明細書で使用される「イメージデータ」とは、個別のイメージ、ビデオフレーム、またはビデオシーケンスを構築するのに使用されることが可能なデータを指すことが可能である。ギガピクセルイメージおよびギガピクセルビデオは、広い区域をイメージングするために、例えば、空中観察システムにおいて役立つ可能性がある。そのような大量のイメージデータを提供する現在利用可能な単一のカメラシステムは、全く存在しないので、ギガピクセルイメージは、複数の光センサからのイメージデータを組み合わせることによって作成されることが可能である。
【００１７】
ビデオフィードが、そのようなカメラアレイなどの複数のセンサから受信されることが可能である。或る実施形態では、これらのセンサが、移動性であること、特に、移動性の空中プラットフォーム上で利用可能であることが好ましい可能性がある。例示的なセンサシステムは、25,000フィート以下の高度を目標とすることが可能である。もちろん、他の任意の高度レベルが、使用されることも可能であり、本明細書で説明される方法およびシステムは、地上ベースのセンサシステム、または他の光イメージキャプチャシステムで使用されることも可能である。例示的なマルチレンズアレイが、米国特許出願第11/456,745号において説明される。ビデオフィードの各フレームに関するイメージデータは、組み合わされて合成ビデオにされることが可能である。合成ビデオを作成するのに、ホモグラフィ情報および/またはコーナーメタデータが、各ビデオストリームからの各フレームに関して計算されることが可能である。本明細書で使用される「ホモグラフィ」情報とは、イメージ変換情報を指す。例えば、動き推定値が、或るビデオストリームに関して計算される際、ホモグラフィ情報は、t=1およびt=2において撮影されたフレームなどの、同一のシーケンスにおける2つのフレーム間の動き推定値に関連する変換を記述する。このイメージ変換情報は、別々のフレームをモザイク化して単一のビデオフレームにするのに使用されることが可能である。また、各イメージの局所平行移動が、それらのビデオフレームを同期するのに使用されることも可能である。センサの動きは、連続するビデオフレームの中で生じる特徴を識別し、この特徴の予測される動きを使用して、外部からの動きを補償することによって考慮に入れられることが可能である。
【００１８】
表示された特徴を追跡することなどの動き推定および追跡は、複合ビデオストリームを使用して実行されることが可能である。システムは、様々な方法およびアルゴリズムを使用して、ビデオストリームの中で表示される動く特徴を識別し、ビデオストリームの中で表示される区域におけるその特徴の動きを予測し、さらに/または追跡することができる。
【００１９】
ビデオストリームは、ビデオストリームのリアルタイムの、または遅延された表示および/または格納のために、TDM(time division multiplex)構成またはTDMA(time division multiplex access)構成などを使用して多重化されることが可能である。そのような構成は、処理時間および/またはストレージ記録時間を短縮することができる。
【００２０】
グラフィカルユーザインタフェースが、ビデオストリームの組み合わせおよび集約に対するコントロールをユーザに与えることができる。インタフェースは、完全なイメージを表示することができ、あるいはユーザによって要求されるとおり、イメージの一部分だけを表示することも可能である。ユーザが、利用可能なイメージの一部分だけを要求した場合、ユーザインタフェースは、要求された区域からのイメージデータだけをキャプチャするよう、コンピュータ制御システムに命令して、処理時間および帯域幅が低減されることが可能である。また、ユーザインタフェースは、動き推定-追跡システムと通信して、アイコン、および他のオーバーレイが、ビデオストリーム上に表示されることを可能にすることもでき、ただし、重ね合わされた要素は、ビデオストリームの中で表示される特徴に対応する。
【００２１】
＜複数のビデオストリームを組み合わせること＞
図１は、本発明の実施形態によるイメージデータを処理するための例示的な高レベルシステムを示す。複数のSM(センサモジュール)121、122、123、および関連するSPM(センサ処理モジュール)111、112、113が、イメージ「タイル」をキャプチャし、一貫性のある合成ビューを生成するのに使用されることが可能な処理機能を提供することができる。コントローラPC(PCカード2 140)と連携して、これらのセンサ処理モジュールは、圧縮されたビデオ出力を使用して、格納のため、および/またはライブで見るために、整列させられたタイルを生成することができる。圧縮されたビデオは、各タイルから集約システム110に伝送されることが可能であり、システム110は、それらのデータストリームをシリアル化して、ストレージデバイス100への入力を可能にする。集約システムは、可変ビット長ビデオデータ、および関連するメタデータを多重化して、高速データ格納を可能にすることができる。例えば、集約は、複数のカメラから受信された決定論的なタイミング情報を使用して、ハードウェアレベルで実行されることが可能である。この実施形態のシステムは、パケットヘッダ情報を読み取って、ビデオデータがいつ終わり、メタデータがいつ終わるかを特定することによって、データの可変長を考慮に入れることができる。カスタムファイル索引付けシステムが、メタデータおよびイメージデータを格納し、メタデータおよびイメージデータに索引付けすることができる。キャプチャされたビデオ、および/または集約されたビデオを格納するための例示的なストレージデバイスが、VMetroストレージシステムである。
【００２２】
或る実施形態では、SM111...113およびSPM121...123は、並行に動作することができる。つまり、各時点t0、t1で、各センサが、関連する処理モジュールによって処理されるべきイメージをキャプチャすることができる。各処理モジュールは、イメージの中の特徴を識別するメタデータ(「コーナー」メタデータ)、センサの相対的動きを識別する、または記述するメタデータ(「動き推定」メタデータ)、または他のメタデータなどの、センサから受信されたイメージに関するメタデータを計算することができる。また、各処理モジュールは、イメージデータに対して圧縮を実行することもできる。個別のセンサから獲得される各イメージは、システムにおける他のいずれのセンサから獲得されるイメージとも無関係に考慮されることが可能であるので、各処理モジュールは、その他の処理モジュールとは無関係に動作することができる。センサ処理モジュールからのデータおよびメタデータは、後に組み合わされて合成イメージを形成することが可能である。
【００２３】
視覚化のために、PCカード1 130が、ストレージデバイスからビューを要求し、これらのビューを伸張し、或るビューを抽出し、もたらされるVGAフィードを再圧縮することができる。これにより、ビューを表示するのに必要とされる通信帯域幅が低減されることが可能である。例えば、地上に位置するユーザが、空中カメラシステムからイメージデータを要求する際、そのユーザは、所望されるビューを指定することができる。すると、PC Card 130が、ストレージデバイスの中に格納された妥当なイメージデータを特定し、要求されたビューを抽出し、そのイメージデータを再圧縮してから、ユーザに送信することができる。そのようなプロセスにより、要求されたビューに関係のあるデータだけが圧縮されて、伝送されるので、イメージデータを伝送するのに要求される帯域幅が低減されることが可能である。また、このアーキテクチャは、任意の持続時間の格納を可能にすること、およびより低い解像度、またはより高い解像度のためのスケーラブルな構造を可能にすることにより、遡及追跡シナリオを可能にすることもできる。例えば、ユーザが、所望される持続時間にわたって所望される地域に関するビデオストリームを見ることを欲することを示した場合、システムは、要求された地域、および要求された時間に関して関係のあるイメージデータだけを抽出し、処理し、伝送することができる。
【００２４】
ギガピクセルイメージからのライブのビューをサポートするのに、さらなる処理が、使用されることが可能である。この場合、PCカード1 130は、カスタムハードウェアで置き換えられることが可能である。図１に示される設計は、低速データリンク、例えば、毎秒30フレームにおけるVGA解像度に関して毎秒47Mbを使用することが可能であるが、さらなるビュー、またはより高い解像度、またはより広い視界のために、より高い帯域幅のリンクを利用することもできる。PTZ(pan-tilt-zoom(パンチルトズーム))ビューが、PCカード1を使用して「切り出される」ことが可能である。そのようなビューは、動的に作成されて、システムの操作者が、オンデマンドでモザイク化されるサブウインドウビューを要求することができるようにすることが可能である。
【００２５】
物理的に、集約回路基板、PCカード、ストレージコントローラ、およびセンサ処理モジュールは、VME(Versa Module Eurocard)カードケージ内に配置されることが可能である。VMEカードケージは、回路のための堅牢なソリューションを提供することができ、そのようなケージは、軍用アプリケーション、航空アプリケーション、および宇宙アプリケーションにおいてしばしば、使用される。もちろん、この構成、およびこれらの構成要素は、単に例示的であり、他の任意の構成要素および構成が、使用されることも可能である。
【００２６】
PCカード2 140上の制御コンピュータが、無線接続などを介して、システムに関する地上管制信号を受信し、適切な制御情報をセンサ処理モジュールに送信することができる。また、制御コンピュータは、単独で、または視覚化システムと連携して、イメージ前処理および/またはイメージ処理を調整することもできる。例えば、制御コンピュータは、センサ処理モジュールからホモグラフィ情報を受信し、センサモジュールからコーナー情報を受信し、動き推定およびモザイク推定を視覚化サブシステム(例えば、PCカード1上の)に送信することができる。データは、集約システムに、集約システムから、または集約システムを通って送られることが可能である。
【００２７】
無線接続が使用される場合、無線接続インタフェースは、標準のRS232インタフェースまたはより高い帯域幅の接続を介することが可能である。センサモジュールに対してなどの内部接続は、ギガビットイーサネット（登録商標）または他の通信媒体を介することが可能である。
【００２８】
プロセッサは、チルトカメラのアレイなどの複数の光センサから受信された個々の動き推定(ホモグラフィ)を取り込み、所望されるビュー上に定着させる視覚化システムのための適切な情報を生成することもできる。後にさらに説明されるとおり、イメージは、コーナー情報を使用して、ジッタ除去され、単一のイメージにモザイク化されることが可能である。これらのファンクションは、視覚化システムにおいて使用されることが可能であり、したがって、データは、即時の使用のために視覚化システムに送られ、地上における再処理を減らすようにストレージシステムに送られることが可能である。さらに、制御PCは、各センサモジュールに関するフレーム同期信号を発生させることが可能である。
【００２９】
図示される例は、2つのPCカードを含むが、任意の数のPCカードが使用されることが可能であることが理解されよう。単に例として、単一のPCカードが、使用されることが可能である。さらに、PCカードの任意の代替が、使用されることも可能である。
【００３０】
ギガピクセルイメージが、複数のセンサのアレイから獲得されることが可能である。例示的なセンサには、CMOS(complementary metal oxide semiconductor)センサおよびCCD(charge coupled device)カメラもしくはCCDセンサが含まれる。センサの特定の例が、カリフォルニア州サンノゼ所在のサイプレスセミコンダクタコーポレーションから入手可能なLUPA系列のイメージセンサである。各センサは、個別のセンサモジュール上に実装されることが可能である。各センサモジュールは、光が、センサ上に集束させられることが可能であるため、光アセンブリ上に機械的に実装されることが可能である。光アセンブリの物理的サイズおよび重量を小さくするのに、各センサモジュールの基板面積は、センサ自体よりそれほど大きくないことが可能である。したがって、各センサモジュールは、センサを制御し、光を集めるのに要求される最小限の量の回路を含むことが可能である。センサモジュール回路は、1つのセンサ、センサのアナログ部分のための電源供給装置、センサ制御およびデータ伝送のためのFPGA(フィールドプログラマブルゲートアレイ)、およびシステムの他の要素とのケーブル配線および通信のためのコネクタを含むことが可能である。各センサモジュールによって集められたデータは、対応するセンサ処理モジュールに伝送されることが可能である。
【００３１】
例示的な実施形態は、「ギガピクセル」システムに関連して説明されるが、本発明は、任意の所望される解像度にスケール変更されることが可能であるものと理解されたい。センサモジュールとセンサ処理モジュールとは、並行に動作することが可能であり、集約システム110は、任意の数のビデオストリームをシリアル化し、操作することができるので、任意の数のセンサおよびセンサ処理モジュールが、使用されることが可能である。例えば、任意の数のセンサモジュール121、122、123、および任意の数のセンサ処理モジュール111、112、113が、使用されることが可能である。特定の例として、1012ピクセルを有する合成イメージを提供することができるシステム(「テラピクセル」システム)が、実現されることが可能である。
【００３２】
この実施形態のセンサ処理モジュールは、対応するセンサモジュールからイメージデータを受け入れ、そのイメージデータを処理することができる。操作には、イメージを正規化すること、イメージの中のコーナーを算出すること、フレームごとのイメージの動きを計算すること、およびイメージを圧縮することが含まれることが可能である。センサ処理モジュール上の回路は、FPGA、1つまたは複数のDSP、イメージバッファリングおよびアルゴリズム作業空間のためのメモリ、ローカル電源供給装置、およびデータおよび制御の入力および出力をサポートするコネクタを含むことが可能である。
【００３３】
センサ処理モジュールアルゴリズムに関する流れ図が、図２に示される。イメージデータフローは、センサによる生のピクセルのキャプチャから始まることが可能である、200。例えば、センサモジュールが、前述したとおり、生のイメージデータをキャプチャすることが可能である。このデータが、イメージ正規化のためにセンサ処理モジュールに送信されることが可能である、210。正規化は、例えば、デッドピクセル、パターンノイズ、明るさ、およびコントラストを補正することができる。また、所定の較正パラメータが適用されて、複数のタイルが一様に見えることを確実にすることも可能である。
【００３４】
イメージが正規化された後、イメージに関するコーナーが、識別されることが可能であり、220、動き推定が、生成されることが可能である、230。これは、FPGAなどの、正規化と同一のプロセッサ上で行われてもよく、あるいはDSPチップなどの第2のプロセッサが、この目的で使用されてもよい。
【００３５】
これらのイメージタイルは、格納、および後の視覚化のために圧縮され、240、伝送されることが可能である。例示的なシステムは、ATEME社の圧縮システムを使用して、1つの1GHz TI DSPを使用して、各タイルイメージを圧縮する。複数の処理されたタイルの同期された圧縮を使用して、記憶効率が向上させられることが可能である。センサは、同期されることが可能であり、様々なプロセッサのタイミングが、同一であることが可能であるので、そのような同期は、利用可能な構成要素を使用して実現可能であるはずである。
【００３６】
圧縮されたイメージは、集約システムに伝送されて、ストレージモジュールに入ることが可能な複合データストリームが構築されることが可能である、250。イメージ、ホモグラフィ、およびコーナーデータが、LVDS(low voltage differential signaling(低電圧差動信号))またはギガビットイーサネット（登録商標）などの高速インタフェースを介して伝送されることが可能である、260。システムからの例示的な出力には、圧縮されたビデオ、瞬間的な動き、ホモグラフィ、およびコーナーデータが含まれることが可能である。
【００３７】
センサ処理モジュール(および関連するセンサモジュール)のさらなる制御が、制御インタフェースによって実行されることが可能である。或る実施形態では、システム再起動、ならびにフレームレートおよび/または露光時間などのセンサパラメータが、制御インタフェースによって扱われることが可能である、250。特定の例として、イーサネット（登録商標）を介して制御されるWebサーバが、制御インタフェース、およびシステムデバッグ機能を可能にすることができる。
【００３８】
或る実施形態では、すべてのセンサにわたって一貫性のあるギガピクセルイメージをキャプチャするのに、アレイの中の各センサが、キャプチャを同時に開始する。リアルタイムで生成されることが可能な同期信号を使用して、そのようなトリガ機能がもたらされることが可能である。この同期信号は、専用配線を介して制御コンピュータから伝送されて、センサモジュール内のセンサコントローラ、およびセンサ処理モジュールFPGAとインタフェースをとることが可能である。
【００３９】
センサ処理モジュールは、格納に先立って集約システムにセンサ処理モジュールのビデオデータを伝送することができる。集約システムは、これらのイメージデータを組み合わせて、ストレージシステムに伝送するための複数のシリアル化されたデータストリームにすることができる。さらに、集約システムは、イメージの動き、およびコーナー推定をビデオと一緒に保存して、地上局が、このデータを再算出しなくてもよいようにすることができる。
【００４０】
合成イメージを作成するのに、システムは、光センサから受信されたすべてのイメージが、互いに全体的に整列させられて、隣接する境界が一致するようにされるものと想定することができる。しかし、個々のイメージ(タイル)のセットから合成イメージを作成するのに、さらなる処理が要求されることが可能である。タイルのセットをモザイク化するプロセスは、様々なファンクションを含むことが可能である。正規化プロセスが、マトリックスにわたる明るさ/輝度の違いをもたらすセンサ感度のばらつきを補正するのに使用されることが可能である。光角、センサの物理的位置合わせなどの違いに起因するイメージ平坦度およびイメージ投影のばらつきは、歪み補正を介して解消されることが可能である。センサ平面の振動および非剛直性に起因するセンサ間の絶対的動きおよび相対的動きを解消するのに、イメージが、ジッタ除去されることが可能である。冗長なピクセルが、1つまたは複数のタイルの端部をトリミングすることによって除去されることが可能である。
【００４１】
システムは、各光/センサ平面に固有であるが、時を経ても静的である歪み補正変換および正規化変換を利用することができる。このため、これらの変換は、地上較正プロセスを介して事前決定されて、カメラにプログラミングされることが可能である。これらのファンクションは、センサ処理モジュールにおいて実行されることが可能である。
【００４２】
その他のファンクションは、動的であることが可能であり、カメラの動作フレームレートで、リアルタイムで計算される必要がある可能性がある。例として、PCカード1が、PCカード2などの制御するPCからのデータに基づいて、これらのファンクションを実行することができる。
【００４３】
図１に関連して説明されるシステムを配線することに関連する重量、コスト、および複雑度を小さくするのに、シリアルインタフェースが、長距離(1インチ程度より大きい)伝送に関して使用されることが可能である。また、LVDSの変形(一方向と双方向の両方)およびイーサネット（登録商標）が、使用されることも可能である。Power over Ethernet（登録商標）システムまたは類似したシステムが、電力と通信を1つの接続に組み合わせることによって、配線を減らすことができる。また、実施形態は、その他の目的で(例えば、生のデータが所望される場合)、センサ処理モジュール上に特別に高速の接続も含むことが可能である。
【００４４】
システムは、複数の仕方でイメージデータを処理することができる。次に、各プロセスについて、カメラ側の実施のために使用されることが可能である例示的なハードウェアに関連して説明する。本明細書で説明されるプロセスは、市販で入手されることも、或る実施形態のためにカスタム作成されることも可能な他の様々なハードウェアおよび/またはソフトウェアによって実行されることが可能であることを理解されたい。
【００４５】
モザイク化: システムは、単一の時点からのイメージタイルを整列させて、ビデオストリームが、ジッタを生じるタイルを有するように見えないようにすることができる。これは、個々のフレームを組み合わせて、より大きい合成イメージを生成する標準の「モザイク化」技術とは異なる可能性がある。一般に、ギガピクセルイメージの縫い合わされた集合を生成することは必要ない。本明細書で使用されるモザイク化と、他の動き検出技術との違いは、一般的に単一のセンサによってキャプチャされたイメージに関して、2つの期間に関して、または2つの期間の間で実行される全体的なイメージの動き、および通常のモザイク化とは異なり、モザイク化が、単一の時点で複数のセンサによってキャプチャされたイメージ間で行われることである。次の3つの段階のイメージ処理、すなわち、各タイル上のコーナー検出、各タイル間の局所平行移動、全体的ギガピクセルフレームをどのように作成するかについての全体的推定が、モザイク化のために使用されることが可能である。
【００４６】
コーナー検出: バス上のピクセルレベル計算およびピクセル通信の量を減らすのに、コーナーベースの方法が、使用されて、最適なタイリング調整が決定されることが可能である。コーナーは、各タイルに関して独立に計算されることが可能である。後に説明されるハリスコーナーが、使用されることが可能であり、ただし、一部の構成では、他の方法が使用されることが可能である。一般に、より正確なコーナー検出は、より多くの処理能力および/または処理時間を要求する。都市景観などの一部の場合、簡単なコーナー検出器でさえ、十分な性能を示す可能性がある。或る実施形態では、後に説明され、M. Trajkovic、「Fast corner detection」、Journal of Image and Vision Computing、1998年、第16巻、57〜87ページにおいてさらに詳細に説明されるMIC(最小輝度変化)アプローチが、使用される。このアプローチは、ピラミッドを含み、コーナーは、デシメートされたイメージの中で検出され、その後、小さくなるようにピラミッドをたどる。また、エッジ検出アルゴリズムが、コーナーを検出するのに使用されることも可能である。「コーナー検出」という用語が、本明細書で使用されるが、より一般的に、そのような方法は、「特徴検出」と呼ばれることが可能であるものと理解されたい。つまり、本明細書で説明される「コーナー検出」は、イメージ内、ビデオフレーム内、ビデオシーケンス内、またはイメージデータの他のセット内の任意の形状または特徴を識別するのに使用されることも可能である。
【００４７】
コーナー検出器は、イメージタイルモザイク化や動き推定などの後続のアルゴリズムにおいて使用されることが可能な特徴のセットを見出すことができる。個々のイメージタイルの大きいセットが、全体的なギガピクセルイメージに統合されることが可能である。例えば、271個の4メガピクセルセンサが、使用されることが可能である。このイメージサイズは、リアルタイムの処理において一般に利用可能であるより多くの処理を要求する可能性があるので、イメージ上で獲得される特徴ポイント、ならびにそれらのポイントの周囲の小さいイメージサブウインドウ(例えば、11×11ピクセル)が、後続のアルゴリズムへの入力として使用されることが可能である。
【００４８】
揺動の見込みに対処するのに、この実施形態のシステムは、単一の時点におけるイメージタイルを整列させて、ビデオストリームが、ジッタを生じるタイルを有するように見えないようにすることができる。
【００４９】
明るさ補正、コントラスト強調、FPN(fixed pattern noise(固定パターン雑音))除去、ガンマ補正、デッドピクセルの検出および補間、ホワイトクリップ、およびその他のタスクなどの、多数のイメージ前処理タスクが実行されてから、イメージが、後続のモジュールに送られる。
【００５０】
例示的なコーナー検出方法は、ハリスコーナー検出または改良されたハリス法、SUSAN法、MIC法、COP法、SIFT法、および/またはその他の検出方法を利用することができる。例示的な検出方法が、後にさらに詳細に説明される。これらの方法は、或る特定のスケールにおいてすべての方向で勾配を有する任意のイメージロケーションなどの、コーナー以外の特徴を選択してもよい。
【００５１】
ハリスコーナー検出は、局所勾配推定Ix, Iyを使用し、コーナーを、イメージ輝度の局所自己相関が高いポイントと定義する。自己相関の測度は、一次微分から推定されることが可能である。各ピクセルロケーションに関して、2×2の自己相関行列A=g×[(□I)(□I)T]が計算され(□IはIの勾配)、ただし、gは、ガウス平滑化マスクである。Aの両方の固有値が、大きい場合、そのピクセルには、コーナーとしてフラグが設定される。これらの固有値は、局所相関関数の主曲率に比例する。ハリス検出は、L字形の接合部に関しては確実に機能することが可能であるが、他のコーナー検出に関しては、それほど効率的でない可能性がある。例えば、ハリス検出は、一次微分、およびガウス平滑化に関して数回の畳み込みを要求する可能性がある。元のアルゴリズムとほとんど同一の性能を実現するが、計算コストがはるかに低い、改良されたハリスアルゴリズムが、使用されることが可能である。そのようなアルゴリズムは、高いイメージ勾配を有するピクセルをコーナー候補として選択することができる。各ピクセルに関して、イメージ勾配がまず、計算され、この勾配が、何らかの閾値より低い場合、計算コストの高いコーナー応答関数を評価することは必要ない。
【００５２】
SUSAN(Smallest Univalue Segment Assimilating Nucleus)は、勾配畳み込みの代わりに、簡単なマスキング操作を利用する。イメージの中の任意のピクセル、およびそのピクセルを囲む対応する円形ウインドウ(中心ピクセルが、ウインドウの中心である)に関して、イメージがテクスチャ付きではないという条件付きで、ピクセルが中核と類似した明るさを有するコンパクトな領域が、ウインドウ内に存在する。この区域が、SUSANとして選択される。この区域、およびSUSANの重力の中心が、計算され、これらのパラメータとともに非極大点除去に基づくコーナー検出器が、使用されることが可能である。
【００５３】
MIC(最小輝度変化)は、選択されたポイントの近傍内の調査ポイントを通る任意の線に沿ったイメージ輝度の変動に基づく。コーナーは、そのような線に沿ったイメージ輝度の変動が、すべての線方向に関して高い場合、すなわち、最小輝度変化が、閾値より高い場合、検出される。MICは、直線補間を使用して、方向性の一次微分を計算する。SUSANとは異なり、MICは、コーナーの近傍におけるイメージ構造についての想定を全く行わず、より広い範囲の接合部を検出することができる。MICは、ピクセル間近似を介して最小輝度変化に関する解析解を提供するので、比較的単純で高速であると考えられる。
【００５４】
COP(Crosses as Oriented Pair)は、SUSANと同一の概念を使用するが、十字方向操作を使用して逆SUSAN区域を計算して、確率論的な優勢な方向を獲得し、コーナー候補を分類し、コーナーを試験し、探索ウインドウ内で局所極大を見出す。
【００５５】
SIFT(Scale Invariant Feature Transform)法は、勾配、向き、およびスケールと一緒に使用されることが可能である。これらの特徴は、イメージスケールおよびイメージ回転に対して不変であり、相当な範囲のアフィン歪み、3D視点の変化、ノイズの追加、および照明の変化にわたって堅牢なマッチングをもたらすことが分かっている。SIFTは、スケールおよび向きに沿ってキーポイントを検出することができる。スケール-空間極大検出において、SIFTは、DOG(difference-of-Gaussian)関数を使用して、スケールおよび向きに関して不変である潜在的な関心ポイントを識別することによって、すべてのスケールおよびイメージロケーションにわたって探索する。「キーポイント方向付け」において、各候補ロケーションで、詳細なモデルが、ロケーションおよびスケールを決定するように合わせられる。キーポイントは、キーポイントの安定性の測度に基づいて選択されることが可能である。「向き割り当て」において、1つまたは複数の向きが、局所イメージ勾配方向に基づいて、各キーポイントロケーションに割り当てられる。将来のすべての操作は、各特徴の割り当てられた向き、スケール、およびロケーションに関して変換されたイメージデータに対して実行されて、これらの変換について不変性をもたらす。「キーポイントディスクリプタ」において、局所イメージ勾配が、各キーポイントの周囲の領域内において選択されたスケールで測定される。これらの局所イメージ勾配は、次に、相当なレベルの局所形状歪み、および照明の変化を許容する表現に変換される。
【００５６】
KLT(Kanade-Lucas-Tomasi)検出器およびShi-Tomasi検出器が使用されてもよい。ハリス検出器の場合と同様に、これらの方法は、偏微分の散乱行列の固有ベクトルを計算することに基づく。KLTは、イメージペア間の変化に対処し、このことは、時間にわたってコーナーを追跡するために重要である。Shi-Tomasi検出器は、コーナー検出器のすべての原理を満たすことが可能である。Gabotフィルタリング、ウェーブレット変換の局所極大、および他の方法などの、他のコーナー検出方法が使用されてもよい。
【００５７】
局所平行移動: コーナーが見つかった後、各タイル間の動きが、計算されることが可能である。センサジッタを補償するのに、ばらつきが平行移動だけであると想定する単純化されたモデルが、使用されることが可能である。実装の不正確やレンズ曲率などの、イメージの動きの他の原因は、平行移動ではない可能性がある。そのようなイメージの動きを含むモデルは、完全に平面射影型であるが、これらのソースは、イメージキャプチャに先立って較正または補償される。隣接する各センサ間のペアの平行移動(pairwise translation)を計算するための例示的な方法が、RANSAC(ランダムサンプルコンセンサス)法である。重複領域内のコーナーのすべてを使用して、最良の1D平行移動変数が、合わされる。
【００５８】
大域調整: この個別の動きが、見つかった後、大域推定方法が、実行されて、個別の各推定が異なる場合、つまり、各センサに関する推定が、周囲の推定と合致しない可能性がある場合が考慮に入れられることが可能である。例えば、或るセンサが、アレイ上でそのセンサの下のセンサに対して10ピクセル分、上方に移動するが、このセンサの下のセンサもやはり、アレイ上でそのセンサの下のセンサに対して10ピクセル分、上に移動している場合、この2つのセンサからキャプチャされるイメージは、互いに比較された場合、またはイメージが重なり合う局所化された領域内で、正しく配置されて見える。しかし、イメージタイルは、依然として、他のイメージタイルに対して整列していない可能性がある。この場合、大域調整が行われて、すべてのタイルが適切にモザイク化されていることが確実にされることが可能である。大域調整を実行するための例示的な方法が、大域最小2乗プロセスである。
【００５９】
リスク緩和: 所与のアプリケーションに関して特定のモザイク化アプローチを選択することが可能である。例えば、特定の光学設計がどれだけ揺動するかについての割り出しのため、コーナーが、所与のシステムにおいて設計された量の重なり合いでイメージを位置合わせするのに十分であるかどうかを調べることができる。閾値を下げて、より多くのコーナーを獲得する、重なり合いを増やす、或る相関スキームに切り替える、または他の措置をとる必要がある可能性がある。
【００６０】
例示的なモザイク化方法は、すべてのイメージタイルペアに関してペアの平行移動をまず測定し、次に、1つのタイルを固定して、それらのペアの平行移動測定値に基づいて、その他のタイルを整列させることである。別の例示的な方法は、タイルを固定して、近傍のタイルを整列させ、次に、すべてのタイルにわたって、このプロセスを繰り返すことによって、各イメージタイルに関するペアの平行移動を使用することである。例えば、タイル1が、固定されることが可能であり、タイル2...Nが、タイル1に対して整列させられ、次に、タイル2が、固定され、タイル1、3...Nが、タイル2に対して整列させられ、以下同様に行われて、整列が、N個のタイルのそれぞれに関して実行される。このようにすることは、タイル位置が、タイルを1つずつ整列させる際に蓄積される誤差のため、最初の固定されたタイルに依存する可能性があるため、有用である可能性がある。同一のペアの平行移動結果が、各タイルに適用されることが可能であり、平均タイル位置が、推定された位置から獲得されることが可能である。重なり合う領域に対する相関マッチングが、同一の重なり合う領域に対して行われるコーナーマッチングと比べて、速度の利点をもたらすことが可能である。
【００６１】
モザイク化方法は、例えば、タイルウインドウが最初に配置されていたと考えられる元の位置から、タイルウインドウを揺さぶる、またはそれ以外でランダムに摂動させることによって、シミュレートされてきた。
【００６２】
カメラ内処理: システムは、バックエンドタスクを実行することもできる。例えば、或るイメージがキャプチャされた後、そのイメージは、ギガピクセルイメージに関して正しいモザイクロケーションに入れられることが可能である。このことには、センサ実装収差およびレンズ歪みを小さくする、または除去する予備の歪み補正がかかわることが可能である。単純な場合、これらのパラメータが、観察飛行前などに、事前較正され、アルゴリズムは、単にピクセルを移動するだけでよい可能性がある。さらに、イメージは、他のいくつかの仕方で処理されることが可能である。例えば、イメージは、モザイク化のために切り詰められ、さらに/または歪められることが可能である。イメージが、最終のイメージモザイク上に配置された後、センサ出力が、その配置のために移動され、切り詰められることが可能である。例えば、タイルが、大域モザイクに対して上方に、3ピクセルを超えて移動した場合、そのタイルは、下方に移動されることが可能である。この切り詰めにより、平行移動の後にタイル上に広がるイメージの部分だけでなく、そのタイルと他のタイルとの間の重なり合いも解消されることが可能である。
【００６３】
別の例として、イメージは、明るさ/輝度のばらつきに関して補正されることが可能である。全体的なモザイクは、各タイルが、独自の明るさおよび輝度のばらつきを有する場合、ユーザに奇妙に見える可能性がある。さらに、動き解析が、ピクセル比較を要求する場合、そのような条件において機能しない可能性がある。この補正の多くは、それらの差が、概ね、個別化されたセンサ応答に基づくことが可能であるので、カメラが製造または較正される際に、確立されることが可能である。輝度レベルは、全体的なイメージがシームレスに見えるように、事前設定された補正パラメータを使用して調整されることが可能である。
【００６４】
また、イメージは、コントラスト強調などを使用して、強調されることも可能である。例示的なセンサは、1ピクセル当たり10ビットまでのイメージを生成することが可能であるが、このうち約8ビットだけしか圧縮を生き残ることができないことが可能である。大気が、コントラストを小さくする可能性があることから、等化スキームが、生き残ったビットの間のコントラストを大きくすることが可能である。
【００６５】
他のイメージ処理方法は、固定パターンノイズ除去、デッドピクセルの検出および補間、露光制御、ガンマ補正、口径食の補正、および径方向輝度降下の他のソースに関する補正を含む。
【００６６】
位置合わせ(イメージ動き推定): キャプチャされたイメージは、位置合わせされることが可能である。多くの市販のMPEGエンコーダの探索範囲は、より小さいイメージサイズのために構築されているため、探索範囲は、ギガピクセルイメージ、またはギガピクセルイメージの中で使用されるべきタイルと比べて小さい可能性がある。本発明において生じる可能性がある大きいイメージの動きから、民生品のMPEGチップは、効率的な探索を実行することができない、または一部の場合、全く探索を完了することができない可能性がある。圧縮を助けるのに、MPEGチップは、推定された動きを使用して符号化されることが可能である。別の例として、Ateme社から入手可能なソフトウェアが、例示的なSFPSにおいて、この実施形態の600ピクセルの動きを扱うことが可能でありうる。さらなる改良が、品質に役立つ、またはより小さい、さらに/またはより安価なチップを使用するのに役立つことが可能である。また、600ピクセル以外の様々な範囲のピクセルの動きが生じることが可能であることも認識されよう。
【００６７】
動き推定は、リアルタイムのビデオストリームがユーザに提供される際に、使用されることが可能である。特定の例として、丘の向こうを見ることを望む地上の観察者が、空中観察システムから、或る特定のロケーションにおけるビデオストリームを要求することが可能である。そのようなシナリオにおいて、要求されたロケーションが、キャプチャされたイメージデータの中で固定されたままであることが望ましい可能性がある。この場合、システムは、イメージ全体を歪めなくてもよい可能性がある。部隊に送られるPTZウインドウだけしか変化しない可能性があるので、マルチセンサカメラは、各フレームでブロードキャストされるビデオウインドウだけを変更することができる。次に、PTZウインドウが、大域動き推定パラメータに応答して識別されることが可能である。つまり、システムは、サブウインドウを抽出して、オンデマンドでモザイク化を実行することができる。例えば、サブウインドウは、システムの操作者から受信されたPTZ要求に基づくことが可能である。或る実施形態では、動き推定メタデータを計算して、それらのセンサ、または各センサの動きを割り出し、それに相応してPTZウインドウを調整することによって、動的モザイク化が実行されることが可能である。
【００６８】
複数のイメージ間のホモグラフィが、RANSAC動き推定を使用して計算されることが可能である。試験データの解析により、イメージの動きが、大域レベル(すなわち、すべてのタイルにわたって)においてではなく、タイルレベルで動き推定が実行されることが可能なだけ十分に小さいことが明らかにされた場合、タイル間の通信が、減らされることが可能である。或る実施形態では、ビデオストリーム全体を表す、処理のために選択されるビデオフレームまたはビデオシーケンスが、そのような試験の有効性を高めるように選択されることが可能である。イメージデータの中のコーナーが少なすぎる場合、または、例えば、実際の目標プラットフォームを表さない飛行パターンの場合、試験は、完全には有効でない可能性がある。例えば、カメラビューが余りにも広く、試験データに関して良好な位置合わせを可能にするが、イメージデータのセット全体に関して予期されることが可能な位置合わせを表さない、非現実的に多数のコーナーが存在する可能性がある。より大きいイメージは、動き推定を実行するのに使用されることが可能な、より多くの特徴を含み、大域動き推定ではなく、局所動き推定を使用する可能性を許すことが可能である。
【００６９】
地上部隊などへ、イメージが送られる前に、「切り出し」ウインドウが、抽出されることが可能である。ウインドウは、可変ズームであることが可能であるので、複数のセンサタイルに重なり合うことが可能である。いずれのセンサが影響を受けるかを選択した後、合成イメージは、必要に応じてダウンサンプリングされ、選択されたセンサイメージが、一緒に縫い合わされることが可能である。各次元における50%の低減より前に、ガウスフィルタを適用することなどの標準のダウンサンプリングが、使用されることが可能である。縫い合わせるプロセスは、イメージが前もって「ジッタ除去」されている、またはイメージの正しいモザイク位置に配置されている場合、単純化されることが可能である。
【００７０】
モザイク化を実行するかどうかの決定は、ズームアウトウインドウが、センサタイルジッタに関する補正を全く要求しない可能性があるのに対して、より高いズームレベルは、より大きい補正を要求する可能性があるため、一部の場合に複雑である可能性がある。しかし、他のプロセス(例えば、大域推定)が、モザイクを必要とする可能性があり、したがって、一部の場合、モザイク化システムは、常時、動作することが可能である。
【００７１】
例示的な動き推定は、地上のユーザが、空中センサシステムからイメージングを要求した場合、実行されることが可能である。地上ユーザは、小さいロケーションのビデオストリームを要求することができる。帯域幅限度のため、システムは、要求されたロケーションの周囲の比較的小さいズームウインドウしか伝送することができない可能性がある。しかし、地上ユーザは、空中センサの動きのためにビデオストリームが動くことを望まない可能性がある。したがって、ビデオストリームは、ビデオの動きが大きすぎる場合、順次のイメージを位置合わせするのに十分なデータを提供しない可能性があるので、動き補償が、空中で実行されることが可能である。そのような効果は、ズームインビューに関してより顕著である。そのような状況において、システムは、動き推定、および動き補償を使用して、イメージが、センサシステムに対してどのように動くかを追跡することができる。イメージワーピング、モザイク化、変更検出、および類似した変換は、一般に、センサシステムにおいて必要ない。代わりに、PTZウインドウが、新たなロケーションに移動することができ、つまり、地上のユーザに送られるPTZウインドウは、時間が経つにつれて変化することが可能であるので、カメラは、各フレームにおいてブロードキャストされるビデオウインドウだけを変更することが可能である。このため、PTZウインドウは、大域動き推定パラメータに応答して設定されることが可能である。
【００７２】
MPEG圧縮が使用される場合、大域動き推定は、イメージを位置合わせして、MPEGプロセッサに開始探索範囲を提供することもできる。これにより、圧縮チップが異なる圧縮スキームに戻るようにさせる可能性がある、センサの動きが、圧縮チップの組み込まれた探索範囲を超えるイメージの動きをもたらす状況が回避される。例えば、一部のMPEGエンコーダは、最大探索範囲を超えた場合、JPEG圧縮に戻る可能性がある。
【００７３】
圧縮オプション: 本発明によるギガピクセルビデオカメラは、1ピクセル当たり1バイト、および毎秒5フレームを想定すると、毎秒5GBのピクセルデータまたは毎時18TBのピクセルデータを生成することができる。望ましくない量のストレージを要求することなしに、長時間のビデオを、これらのレートで記録するのに、データ圧縮が使用されることが可能である。特定のビデオ圧縮技術を選択することには、圧縮比(ストレージ要件に影響を与える)、計算負荷、およびイメージ品質の間のトレードオフがかかわる可能性がある。後に説明される例示的な圧縮オプションが使用されることが可能であるが、他の任意の圧縮スキームも使用されることが可能であるものと理解される。
【００７４】
Motion JPEGは、フレーム内圧縮方法であり、つまり、Motion JPEGは、シーケンスにおける他のフレームを参照せずに、各フレームを個々に圧縮する。このことは、Motion JPEGを計算的に単純にするが、圧縮比を制限する可能性がある。JPEGは、DCT(離散コサイン変換)に基づく。グレースケールイメージに関して、JPEGは、目に見える損失の閾値において、およそ5:1の圧縮比を実現する。
【００７５】
Motion JPEG2000は、JPEGと類似するが、DCTの代わりにウェーブレットベースの符号化を使用し、より良好な圧縮を提供するが、より多くの処理を要求する。JPEG2000は、JPEG圧縮の約2倍の効率であることが可能である。JPEG2000を使用して10:1の圧縮を想定すると、毎秒5フレームにおけるギガピクセルビデオは、毎時約1.8TBに圧縮される。Motion JPEGとMotion JPEG2000はともに、他のビデオコーデックと比べて、比較的待ち時間が短く、計算リソースを多く使用しないが、それほど圧縮しない。
【００７６】
MPEG2は、ビデオストリームにおける後続のフレーム間の時間的類似性を活用して、JPEGのようなフレーム内方法より高い圧縮比を実現する。MPEG2は、フレーム間の動きを推定するため、JPEGアルゴリズムと比べて、計算的により要求が厳しい可能性がある。例えば、ブロードキャスト品質のHDTVは、カラーの毎秒30フレームのビデオに関して毎秒20Mbを要求する。毎秒7フレームで、毎秒5Mbだけしか必要としない可能性があり、グレースケールだけのビデオは、レートを毎秒4Mbにまで低減する(カラー情報は、サブサンプリングされ、mpegビデオの中でより高度に圧縮され、データのわずかな部分だけにしかならない)。HDTVイメージは、およそ2メガピクセル解像度であり、したがって、ギガピクセルイメージは、毎時約900GB((1000MP/2MP)×4Mb/s=2Gb/s=7200Gb/hr)を要求することが可能である。MPEG2は、単にデコーダ標準であり、符号化性能は、異なるエンコーダ実施形態に関して異なる可能性があることに留意することが重要である可能性がある。
【００７７】
また、MPEG4が、使用されることも可能である。或る実施形態では、MPEG4 Simple Profileを使用して、空中プラットフォーム上の4MPイメージに関して20:1の圧縮比が達せられることが可能であり、毎秒5フレームで、ギガピクセルシステムは、毎時約9Tbを出力することができる。
【００７８】
H.264(MPEG4, Part 10 AVC)は、MPEG2より効率的である可能性がある。或る実施形態では、H.264は、MPEG2圧縮より2倍ないし3倍効率的である可能性がある。このため、ギガピクセルビデオに関して、毎時およそ450GBの圧縮されたデータがもたらされることが可能である。しかし、H.264は、MPEG2およびMPEG4 Simple Profileと比べて、計算リソースをさらに多く使用する可能性がある。一般に、およそ2倍の計算処理で、圧縮の40〜50%の向上が達せられることが可能である。
【００７９】
或る実施形態は、MPEG4 Simple Profileをエンコーダとして使用する。また、Ateme TI DSPライブラリが、使用されることも可能である。単一の1GHz TI DSPが、4MPのイメージに対して毎秒5フレームを実現することができる可能性がある。もたらされる圧縮比は、約20:1であることが可能である。低品質/高速設定において、品質損失は、人間の目には認識されない可能性がある。Steam Processors社からの次世代チップが、はるかに高速の圧縮を約束する可能性があり、多くのデータを出力する可能性がある。他の例示的な圧縮チップは、Cradle社から市販で入手可能である。
【００８０】
性能を向上させる別の仕方は、本明細書で説明される動き推定アルゴリズムを使用して、MPEGアルゴリズムに初期探索ロケーションを与えることである。このことは、数百ピクセルの探索ではなく、a+/-16ピクセルの探索を許すことが可能である。探索範囲が短すぎる場合、MPEGライブラリは、JPEGライブラリに移ることが可能である。
【００８１】
MPEG符号化の欠点は、待ち時間である可能性があり、つまり、イメージが、通常、15フレーム長のピクチャのグループで符号化される可能性がある。例えば、H.264シーケンスは、IBBPBBPBBPBBPBBであり、ただし、Iフレームは、イントラ符号化され(JPEGと同様に)、Pフレームは、先行のIフレームまたはPフレームから予測され、Bフレームは、先行のIフレームまたはPフレーム、および後続のIフレームまたはPフレームから双方向で予測される。Bフレームを復号するのに、グループのIフレーム、およびBフレームに関する基準イメージを獲得するのに必要なだけの数のPフレームを復号しなければならない。このことは、再生を遅くし、システムをより柔軟でなくする可能性がある。単純なプロファイルでさえ、Pフレームだけ、つまり、IPPPPPPP...しか有さないものの、同一の問題に悩まされる可能性がある。これに対して、JPEG2000は、各フレームへの独立したアクセスを許すだけでなく、可変の解像度で復号することを許す可能性もある。一般に、符号化スキームは、所与の構成に関する利用可能な計算能力および時間に基づいて選択されることが可能である。
【００８２】
一部のアプリケーションでは、ビデオ圧縮およびイメージ圧縮は、人間の知覚の欠如を活用するように最適化されることが可能である。しかし、コンピュータビジョンアルゴリズムが、ビデオに適用される限りで、見る側の人間には気づかれずに済む圧縮製品は、許容できない可能性がある。したがって、1つの考慮すべきことは、下流の追跡アルゴリズムに差し障ることなしに、どれだけ積極的にビデオを圧縮することができるかを見極めることであることが可能である。
【００８３】
追跡および自動化された推測: 追跡ソフトウェアが、地上で、さらに/またはリアルタイムで使用されることが可能である。例えば、http://www.vividevaluation.ri.cmu.edu/software.htmlにおいてWeb上で入手可能なソースコードのVIVIDライブラリが、追跡システムの一部として使用されることが可能である。追跡アルゴリズム自体は、次の4つの段階、すなわち、検出、追跡、位置参照、および推測を使用することが可能である。
【００８４】
検出は、追跡されることが可能なビデオストリームの中の特徴を識別することを含むことが可能である。或る実施形態では、動いている物体を検出する3フレーム差分アプローチが、大きいイメージをモザイク化することの潜在的な困難を回避するのに使用されて、背景に関するより長期の統計が収集されることが可能である。もたらされる0〜1マスクから、小さいブラブを作成する最近傍探索が、使用されることが可能である。
【００８５】
これらの仮説を追跡するのに、VIVIDプロジェクトページ上で説明されるとおりfg/bg比を使用するベースライン平均シフトトラッカが、使用されることが可能である。
【００８６】
位置参照は、本発明によって生成されるイメージが、何らかの種類の地上ポイントを基準とすることが可能であるように使用されることが可能である。カメラ位置データが、この探索を初期化するのに役立つことが可能であり、広域イメージは、以前の地図上の特徴とマッチングされることが可能な複数の特徴を含むことが可能である。この方法は、従来の「soda straw」アプローチより正確でありうる。
【００８７】
システムは、追跡情報に対してユーザの注意をいつ喚起するかを決定する必要がありうる。現在、「この区域を通過するあらゆるターゲットを示す」、「以下の速度で移動しているあらゆるターゲットを示す」、または「このターゲットが、今後数時間にどこに行くかを示す」などの様々なクエリが使用されることが可能であることが想像されている。これらのクエリのそれぞれは、メタ言語を使用して、例えば、探索エンジンに追跡結果を記述することが可能である。
【００８８】
操作者の期待が適切に設定されるように信頼度メトリックを使用することなどによって、複数の景観タイプにわたって一貫した結果をもたらすことが可能なコンピュータビジョンアルゴリズムが、使用されることが可能である。
【００８９】
モザイク化されるべき複数のビデオストリームが、全体的に整列させられていない場合(例えば、カメラアレイにおける複数のカメラが、カメラプラットフォームの動きによって摂動させられた場合、または初期製造段階で既に整列不良である場合)、全く調整なしに、それらのビデオストリームを縫い合わせて1つのストリームにすることは、イメージモザイクの整列不良のレイアウトを生じさせる可能性がある。これらの問題は、モザイクの局所整列(ペアの変換)および大域整列によって減らされる、または取り除かれることが可能である。局所整列および大域整列は、平行移動だけの変換、全体的なホモグラフィ変換、または他の変換でありうる。
【００９０】
或る実施形態は、複数のビデオストリームを組み合わせて単一のビデオストリームにする方法を含み、ただし、この複数のストリームは、大きい領域の隣接するビデオを含む。システムは、次の2つの段階、すなわち、(1)ペアの変換推定、および(2)大域均質化を有して、矛盾する推定が全く存在しないことを確実にすることができる。その結果は、システムが、カメラシステムプラットフォームの相当な動きが或る状態でさえ、複数のビデオストリームを取り込み、これらのビデオストリームを単一の出力ストリームに入れることができるようにすることが可能である。
【００９１】
或る実施形態は、以下のステップを含む。すなわち、
(1)単一のセンサビデオストリームの4つのエッジにおいて、重なり合った領域上でコーナーポイントのセットを見つける。このコーナー情報(イメージデータ全体ではなく)が、モザイク化のための集中的な計算を軽減するのに使用される。
(2)相関マッチングによって、1つのビデオストリームの中のコーナーポイントを隣り合うビデオストリームの中の別のポイントとマッチングして、それら2つの隣接するビデオストリームの間のペアのオフセットを獲得する。
(3)ステップ(2)から獲得された、隣り合うビデオストリームの間のすべてのペアの動きオフセットを集約する最小2乗解を獲得して、モザイクの全体的に正確な推定を形成する。
【００９２】
この実施形態、およびその他の実施形態を変更し、実施する他の仕方は、当業者には明白であろう。
【００９３】
＜例示的な実施形態＞
例示的なシステムにおいて、既存の民生品の構成要素が、カメラの様々な主要なモジュールを実施することができる。所与の機能または構成要素の実施のための様々なオプションの間で選択するのに使用される戦略は、実施の柔軟性、処理要件および帯域幅要件、民生品の構成要素の利用可能性、およびタスクへの適合性を含む要因を比較検討することが可能である。次に、例示的なハードウェアモジュールについて説明する。他の市販のハードウェアまたはカスタムハードウェアが使用されることも可能であることが理解されよう。
【００９４】
カメラ制御モジュールは、システムの動的部分であることが可能である。或る実施形態では、カメラ制御モジュールは、システムの他の要素より低い不可欠な処理要求を有して、予測可能で、決定論的なシステム性能を保証する。このモジュールは、組み込み型PCアーキテクチャを使用して実施されることが可能である。特定の例において、民生品のインタフェースを使用して、UAV ComlinkおよびCymbal controlが提供されることが可能である。複数の並行ネットワークチャネルが、センサモジュールおよびストレージシステムのネットワークとインタフェースをとることができる。
【００９５】
センサ自体の他に、センサモジュールの残りの部分は、DSPとFPGAの組み合わせを使用して実施されることが可能である。DSPは、プログラムを実行するという点でマイクロプロセッサと同様であるが、さらなる動作を並行に行うように最適化もされる。FPGAは、プログラマブルロジック部分であるが、ユーザは、プログラムを書く代わりに、FPGAのゲートレベル機能を指定する。FPGAの柔軟性は、様々なチップ(しばしば、「グルーロジック」と呼ばれる)間のインタフェースを管理することを可能にする。例示的なシステムにおいて、FPGAは、イメージセンサのための制御信号を生成し、ピクセルデータを受信することができる。
【００９６】
FPGAとDSPの間で計算リソースをより多く使用するタスクを分けることには、電力、効率、およびコード開発時間の間のトレードオフがかかわる。FGPAは、高度に構造化され、並行性の高い、計算リソースを多く使用するアルゴリズムによく適している可能性がある。例えば、フィルタリングおよびダウンサンプリング、イメージワーピング、イメージトリミング、明るさ補正およびコントラスト強調はすべて、FPGAアーキテクチャにうまくマップされることが可能である。特定の例として、JPEG2000イメージ圧縮が、リアルタイムで実施されることが可能である。
【００９７】
FPGAコードは、完全にソフトウェアで書かれ、シミュレートされることが可能であるが、FPGAのためのコードを開発することは、非常に時間のかかるプロセスである可能性がある。これに対して、DSP(デジタルシグナルプロセッサ)は、プログラミングするのがはるかに簡単である可能性があるだけでなく、一般に、計算リソースを多く使用するタスクのために設計される。DSPは、アルゴリズムが、PC上で書かれて、試験され、次に、高い性能および小さい物理的サイズの制約を満たすよう、DSPに再び的が絞られることを許すことができる。
【００９８】
以下のセクションは、イメージキャプチャ-処理ボードのための様々な例示的な民生用の処理オプションを簡単に説明する。FPGAおよびDSPに加え、ハードウェアビデオコーデックについても説明される。大容量(したがって、より高価な)、高精細度のビデオコーデックを見つけることが好都合である可能性があるものの、これらのコーデックは、稀であり、高価である可能性がある。また、専用ハードウェアは、特定の静的な機能を組み込むことによって、システムの柔軟性を低下させる可能性もある。また、DSPが、これらの機能のために使用されることも可能である。
【００９９】
例示的なFPGAチップは、Xilinx社およびAltura社から入手可能な部品を含む。一実施形態では、FPGAは、デバイス間のギガビット通信を可能にする高速シリアルインタフェース(例えば、Xilinx社からのRoeketIO)を含む。これらのインタフェースは、イメージキャプチャボードとピラミッド処理ボードの間で高帯域幅の通信を円滑にすることができる。Barco社およびCAST社から、JPEG2000のためのサードパーティIPコアが入手可能である。
【０１００】
例示的なDSPが、TI社およびAnalog Devices社から入手可能である。一部の構成において、DSPは、MPEGエンコーダやJPEGエンコーダなどの事前構成されたソフトウェアを含むことが可能である。一実施形態では、TI TMS320DM642が、ビデオ処理のために使用される。別の実施形態では、TI TMS320C64xxシリーズが、使用される。また、DSPプロセッサは、Cradle Technologies社およびSteam Processors社などの他の供給元から入手可能であることも可能である。また、アルゴリズムが、異なるオンチッププロセッサにおいて実行されるべき複数の並行パスに分割されることが可能である場合、GPP(汎用プロセッサ)が使用されることも可能である。Steam Processors Inc.からのDSPなどの他のDSPは、より並列化されたアーキテクチャを提供する可能性がある。H.246、HDTV(1920×1080)、または他のコーデックなどの様々なコーデックが、使用されることが可能である。
【０１０１】
ビデオ圧縮コーデック: VGA(720×480ピクセル)MPEG-2ビデオ圧縮が、ブロードキャスト品質ビデオに関する標準である。例示的な設計において、複数の圧縮プロセッサが、イメージを並行に処理するのに使用される。例えば、ギガピクセルビデオを圧縮するのに、約3000のそのようなチップが、使用されることが可能である。また、HDTVビデオコーデックが、使用されることも可能である。大きいイメージサイズ、およびそれに相応して、より大きい動き探索ウインドウが、これらのコーデックを、大きいイメージの動きに対して、より堅牢にするが、これらのコーデックは、より高い計算コストを被る可能性がある。例示的なHDTVエンコーダが、Hitachi High Technologies VASAエンコーダである。また、JPEG2000符号化システムが、使用されることも可能である。例えば、Analog Devices社から入手可能なADV202 JPEG2000エンコーダのペアが、HDTVビデオをリアルタイムで圧縮することができる。そのような圧縮システムは、専用ハードウェアを使用する代わりに、DSP上、またはFPGA上で実施されることが可能である。或る実施形態では、FPGA/DSPの組み合わせを使用して、妥当なコストで性能と柔軟性の組み合わせがもたらされる。
【０１０２】
サンプルストレージ構成: 2.5インチドライブなどの物理的に小さいストレージシステムが、より小さいスペース、重量、および電力の要件を利用するように使用されることが可能である。特定の例として、或る実施形態では、32個のWestern Digital Scorpio 80GB WD800VEハードドライブが、2.5TB(10:1の圧縮を想定して、1時間の毎秒7フレームのギガピクセルビデオ)を格納するのに使用される。各ドライブは、毎秒22MBで記録することができる。他のタイプ、および他の組み合わせのストレージが、使用されてもよい。例えば、2倍の数のドライブを使用する実施形態は、帯域幅を1/2に減らすことができる。移動性の空中カメラプラットフォームが使用される場合、ハードドライブは、高い高度と低い気圧の状況のために選択されることが可能である。例えば、一部のハードドライブは、10,000フィートを超えて飛行しながら、動作可能であり続けることが可能である。アレイに対する統一されたインタフェース(FPDP)を伴う、または伴わないRAID、堅牢化されたストレージ、およびモジュラーストレージなどの、さらなるストレージ構成が、使用されることも可能である。例えば、VMetroハードドライブシステムが、使用されてもよい。また、他のストレージシステムが、使用されてもよく、一般に、ストレージシステムは、そのシステムが使用されるべきプラットフォームに合うように設計されることが可能である。
【０１０３】
図３は、イメージセンサからユーザシステムにデータを供給するための例示的なシステムに関する機能ブロック図を示す。データパスが、実線の矢印で示され、制御パスが、破線の矢印で示される。
【０１０４】
1つまたは複数のセンサ300が、初期イメージデータをキャプチャする。或る実施形態では、複数のセンサが、ギガピクセルイメージをキャプチャするのに使用される。センサ処理モジュール310が、この生のイメージデータを受信して、処理することができる。前述したとおり、各センサ300に割り当てられたセンサ処理モジュール310が、存在することが可能である。センサ処理モジュールは、FPGA311やDSP312、313などの複数の処理チップを含むことが可能である。例えば、FPGA311は、イメージ正規化およびコーナー検出を実行してから、イメージデータおよび/またはコーナーメタデータを他のプロセッサ312、313にそれぞれ送信することができる。すると、これらの他のプロセッサは、MPEG圧縮などの圧縮(312)、動き推定および/または追跡(313)を実行することができる。次に、圧縮されたデータ、およびイメージホモグラフィが、最初のプロセッサ311に戻され、データ集約システム320に伝送されることが可能である。データ集約システム320は、複数のセンサから受信されたデータをシリアル化し、さらに/または多重化することなどによって、イメージデータを格納のために準備することができる。集約システムの動作に関するさらなる詳細は、後に説明される。次に、準備されたイメージデータが、格納のためにストレージシステム331に送信されることが可能である。
【０１０５】
モジュール330は、記憶機能、視覚化機能、および制御機能を実行することができる。モジュール330は、センサ処理モジュール310およびセンサ300と一体化されることが可能であり、あるいは物理的に別個であってもよい。無線接続が、モジュール間の通信のために使用されることが可能である。ストレージモジュール331が、データ集約システム320から受信されたイメージデータを格納することができる。データを求める要求が、視覚化システム332から受信されると、ストレージモジュール331は、イメージデータ、コーナーメタデータ、ホモグラフィ、および他の関係のあるデータを視覚化システムに送信することができる。或る実施形態では、視覚化システムは、ユーザが、センサによって観察される特定の領域のビューを要求する場合などに、イメージデータが要求されるセンサを指定することができる。また、視覚化システムは、カメラ制御システム333および/またはセンサ処理モジュール310に制御情報を送信することもできる。また、視覚化システム332は、伸張、モザイク化、および動き調整などの、ユーザへの提示のためにイメージデータを準備する様々な操作を実行することもできる。
【０１０６】
或る実施形態では、視覚化システムは、グラフィカルユーザインタフェース350を含むことが可能なユーザシステム340からの要求に応答してイメージデータを準備する。ユーザインタフェースに関するさらなる詳細は、後に提供される。要求が、ユーザシステム340から受信されると、視覚化システム332は、前述したとおり、イメージデータキャプチャ、ならびにセンサ処理モジュール310、データ集約システム320、および/またはストレージシステム331の間の転送を調整することができる。
【０１０７】
図４は、ビデオストリームを組み合わせるための例示的な方法を示す。最初に、複数のビデオフレームシーケンスが、複数のセンサ400から受信されることが可能である。前処理ステップ410において、動き推定情報、コーナーメタデータ、および/または他のメタデータが、前述したとおり、計算されることが可能である。一部の場合、次に、イメージデータ、ならびに関連するホモグラフィ情報およびコーナーメタデータが、後の使用のために格納されることが可能である。或る実施形態では、イメージ整列420などの、さらなる処理が、実行されることが可能である。イメージ整列を実行するのに、前述したペアの平行移動法が、使用されることが可能である。第1のフレームを固定した後、421、ペアの平行移動が、隣り合う各フレーム422を基準として測定されることが可能である、422。フレームは、1つのフレームを基準とするペアの平行移動測定に基づいて整列させられることが可能であり、424、あるいはさらなるフレームが、ペアの平行移動測定のために使用されることが可能であり、423、これらの結果の平均が、フレームを整列させるのに使用されることが可能である。コーナーメタデータに基づいてコーナーおよび/または他の特徴を検出すること、430、平行移動、または他の動きを推定すること、440、およびグローバル調整を実行すること、445などのさらなる処理ステップが、前述したとおり実行されることが可能である。イメージタイルに対して実行される処理ステップに基づき、合成ビデオフレームが、作成されることが可能である、450。ビデオストリームに関して、一部の方法は、フレームのサブセットだけに対して実行されて、処理時間をスピードアップすることが可能である。
【０１０８】
＜ビデオストリームを集約すること＞
様々なデータ構成が、集約システムによって使用されて、センサモジュールから受信されたイメージデータがシリアル化され、さらに/または多重化されることが可能である。例示的な方法は、固定サイズレコード構成および可変サイズレコード構成を含む。固定サイズレコード構成において、各記録ブロックは、物理的に妥当なサイズの倍数であることが可能である。例えば、6というディスクグループの中のディスクストライプは、(6のディスク×512KB)=3MBというサイズを有することが可能であり、したがって、各記録ブロックは、サイズが3MBのブロックに入れられる。一般に、任意のサイズのブロックが、使用されることが可能であるが、1キロバイトなどの、より細かい細分性の書き込みブロックは、パフォーマンス低下をもたらす可能性がある。図５は、例示的な固定サイズデータ構成(TDMAストレージに類似した)を示す。この実施形態では、各センサイメージチャネル(68のうちの)に、200ミリ秒内のデータ格納のための450KBのスロットが与えられる。この時間中、30メガバイトのデータが、68すべてのセンサイメージチャネルに関するディスクに、追加のパディングを伴って書き込まれる。固定サイズレコード構成は、任意の時点で任意のデータストリームにアクセスすることが、オフセットを計算すること、およびオフセットブロックを読み込むことだけしか要求しないので、高速のデータ取得を提供することができる。
【０１０９】
固定サイズレコード構成において、データは、byte0、byte1といった具合に順に伝送され、複数バイト値は、ビッグエンディアンフォーマットを有することが可能である。具体的には、byte0が、最上位バイトであることが可能である。パケットの中のデータフィールドは、変形が使用されてもよいものの、以下のとおり定義されることが可能である。128バイトのパッド510が、集約システムによって0に設定されることが可能である。パッドは、データが、伝送から欠落している場合、または伝送の中で重複している場合、ドリフト許容差を提供することができる。4バイトの「SIG」(4バイト)520が、パケットが有効であることを示すことができる。例えば、SIGは、秘密鍵、または本発明による処理システムのプロバイダの名前に設定されることが可能である。2バイトの「Chan」エントリ530は、或る実施形態において、byte0×16+byte0によって識別されるチャネル番号を格納することができる。同様に、2バイトのFrame Typeフィールド540は、値=byte0×16+byte1を格納することができ、ただし、例示的なフレーム値は、0=通常、1=開始フレーム、2=停止フレーム、およびOxFFFF=無効なフレームである。各パケットの中で送信される様々なデータの長さが、格納されることが可能である。例えば、Meta Len 550は、伝送される任意のメタデータの長さを与えることができ、MPEG Len 560は、符号化されたデータの長さを格納することができ、(M&D)Sum 590は、Chan(チャネル番号)からDataまでのデータの合計(summation)を格納することができる。パケットペイロードは、Metadataペイロード570およびMPEG Dataペイロード580を含むことが可能である。
【０１１０】
パケットの不必要な部分は、使用されないままにされることが可能である(595)。毎秒5フレームのビデオストリームに関する図５に示される例示的なデータストリームに関するデータスループットは、毎秒150MB(毎フレーム30MB×毎秒5フレーム)である。例示的なシステムにおいて、FPDPリンク当たり毎秒190MBの帯域幅で、68のイメージストリーム(毎秒150MB)をサポートするのに十分である可能性があるが、136のイメージストリームをサポートするのには十分でない可能性がある。
【０１１１】
例示的な可変サイズレコード構成が、図６に示される。図示される実施形態において、異なるイメージセンサからのデータは、異なるレコードサイズを利用することができるが、すべて1キロバイトで揃えられていてもよい。このタイプの構成において、集約システムによってストレージに書き込まれるフレームは、可変サイズを有することが可能である。データフィールドは、固定サイズレコードと同様であるが、他のフィールド、および他の構造が使用されてもよい。パッド601が、集約システムによって0に設定されることが可能であり、データが、伝送から欠落している場合、または伝送の中で重複している場合、ドリフト許容差を提供することができる。SIG 602は、パケットが有効であることを示すことが可能である。例えば、SIGは、秘密鍵、または本発明による処理システムのプロバイダの名前に設定されることが可能である。「Ver」フィールド603は、或る実施形態において、レコード構成の構造が変更されている場合などに、データバージョンを指定することができる。「Agg Scr」604は、集約ソースを指定し、このフィールドは、複数の集約ソースの1つを識別するようにタイミング-インタフェースモジュールによって設定されることが可能である。Packet Sequence ID 605は、一般に、第1のレコード上の0から開始する規則的にインクリメントされる識別子であるが、他の識別スキームが使用されてもよい。Packet Length 606は、現在のパケットが占有するバイトの数を示す。例えば、通常のシステムにおいて、単一のパケットは、1024バイトである。特定のチャネル607、609のメタデータ、および特定のチャネル608、610の符号化されたデータの長さなどのチャネル長が、パケットの中に含められることが可能である。パケットペイロードは、Metadataペイロード620、640、および符号化されたデータのペイロード630、650を含むことが可能である。ストリームIDは、ペイロードの中に埋め込まれることが可能である。また、N個のチャネルに関するチャネル1ないしチャネルNの中のデータのSum 611も、パケットの中で送信されることが可能である。パケットの中の残りのスペース612は、空のままにされること、0で埋められること、またはそれ以外で使用
されないことが可能である。
【０１１２】
図６に示されるようなデータ構成は、固定サイズレコードアプローチと比べて、より効率的にディスクスペースを利用することができる。また、この構成は、適切なフィールドを0に設定することによって、ファイルの中に68より少ないイメージストリームが存在する状況に対処することもできる。また、この構成は、光イメージングシステムにおける複数のMDRユニットの使用を可能にすることもできる。所与の時点におけるデータストリームを取得するのに、探索は、ファイルの先頭から開始することができる。次に、所望されるレコード番号が探し出されるまで、各ヘッダが読み取られて、次のレコードがどこに配置されているかが特定されることが可能である。例えば、300秒の記録の中で秒数299を探し出すのに、合計(299×5)=1495回の読み取りが実行されて、所望されるフレームが探し出されることが可能である。或る実施形態では、データは、高速インタフェースを介してリードバックされるので、リードバック速度は、フレームを探し出す数百回から数千回の読み取りが、法外な遅延をもたらさないことが可能であるだけ十分に高いことが可能である。これら、およびその他の実施形態を変更し、実施する他の仕方は、当業者には明白であろう。
【０１１３】
図７は、ビデオストリームを集約するための例示的な方法を示す。集約システムは、様々なビデオストリームソースにチャネルを割り当てることができ、710、あるいはチャネルは、様々なソースに事前割り当てされていることが可能である。或る実施形態では、各チャネルは、CCDカメラアレイまたはCMOSカメラアレイなどのマルチセンサアレイにおけるセンサに割り当てられる。各ソースが、パケットの中に符号化される、ビデオストリームなどの一連のイメージを提供することができる、720。可変レコードスキームが使用される場合、各パケットのサイズは、各パケットに関する各ソースから受信されるビデオの量から決定されることが可能である、730。固定サイズレコードスキームが使用される場合、各パケットは、同一のサイズであることが可能である、740。或る実施形態において、パケットサイズは、特定の物理記憶媒体に関する好都合なブロックサイズなどの、関連する物理的大きさに基づくことが可能である、745。パケットが集約システムに伝送される伝送媒体によって決定されるサイズなどの、他の固定サイズが使用されてもよい。集約システムは、複数のビデオソースからパケットを受信することができ、750、各パケットによって符号化されたビデオデータを記憶媒体に書き込むことができる、760。ビデオデータは、ビデオデータが受信される順序またはフォーマットで記録されることが可能であり、あるいは後の使用に適したフォーマットに構築されてもよい。或る実施形態では、集約システムは、本明細書で説明される方法を使用して、個々のストリームから大規模なビデオストリームを構築することができる。
【０１１４】
＜ユーザインタフェース＞
或る実施形態では、ユーザが、イメージデータを要求すること、見ること、および操作することを可能にするGUI(グラフィカルユーザインタフェース)が、提供される。このユーザインタフェースは、1つまたは複数のディスプレイ上で汎用コンピュータによって表示されることが可能である。このユーザインタフェースは、ユーザによって要求されたイメージデータを求める要求を送信することによって、イメージキャプチャシステムおよびイメージストレージシステムなどの、他の様々なシステムと通信することができる。様々なオーバーレイ、アイコン、およびその他の情報が、その他のシステムから受信されたイメージデータと併せて提示されることが可能である。
【０１１５】
或る実施形態では、GUIは、イメージデータをキャプチャする光センサから遠隔のロケーションにおいて表示され、操作されることが可能である。例えば、空中観察システムが使用される場合、GUIは、地上に配置され、イメージデータがキャプチャされる間、ユーザが地上の固定ロケーションにとどまることを可能とする。或る実施形態では、GUIは、操作者が、キャプチャされたビデオの中で迅速に探索を行い、選択された領域が観察された時間中に何が起きたかを突き止めることができるようにすることが可能である。また、GUIは、ライブのデータダウンリンク、すなわち、リアルタイムのイメージデータを提供することもできる。GUIは、境界インターセプト情報、ならびに複数のライブのデータダウンリンクを扱うことができる。
【０１１６】
GUIは、ユーザが、複数のカメラと交信すること、他の人間の操作者のための探索タスクを提供すること、地図と連携をとることができるようにすることが可能であり、自動化された追跡、および他の警報情報との統合を提供する。例えば、或る実施形態は、一組のカメラまたはチルトカメラの間で遷移を可能とすることによって、単一のカメラ、または一組のカメラを使用して大きい区域を監視することができる。例示的なGUIは、探索を行うべき可能な次のビデオカメラを推奨し、操作者が、見ることを1つのカメラから次のカメラに切り替えるように、妥当な時点で妥当なビデオを合図することができる。それらのビューが隣接している場合、効果は、あたかもユーザが、デジタルでパンしている、チルトしている、またはズームしているかのようであることが可能である。カメラが隣接していない場合、効果は、3D回転、あるいは単に次のカメラへのフェードおよびフェードオーバー、または他の何らかの効果であることが可能である。
【０１１７】
或る実施形態では、別の人々が、別の事象、および関心を引くターゲットを大きいビデオデータセットの中で探索するタスクが、作成される。この実施形態は、ユーザが、他の機関と連携をとって、情報(ロケーションデータおよび外見データなどの)を共有して、ターゲットを捕らえる、またはターゲットと交戦することができるようにすることが可能である。また、この実施形態は、自動化された追跡情報を使用して、ユーザが、警報についてフォローアップするタスクを生じさせる意図で、関心を引く活動に対して映像を入れることも可能である。
【０１１８】
GUIは、複数のビューをユーザに提供することができる。例えば、1つまたは複数のビューは、広角ビューを提供するイメージを含むことが可能であるのに対して、他の1つまたは複数のビューは、同一のイメージ内(例えば、広角ビュー内)からのより狭い角度のビューを提供するイメージを含むことが可能である。この、より狭い角度のビューのビューイングパラメータ(例えば、パン、チルト、ズームなど)は、GUIを介して、リアルタイムのユーザ制御を受けることが可能である。このため、ビューセットは、広角ビューと、仮想PTZビューとを含むことが可能である。
【０１１９】
ユーザインタフェースは、イメージデータ、および他の情報をユーザに表示する構成要素、ならびに表示を作成し、前述したイメージ処理システムからデータを要求し、ユーザに表示すべきイメージを作成する構成要素を含むことが可能である。インタフェースは、デュアルディスプレイ構成を使用してもよい。例えば、より高レベルのビュー、ならびに光センサによってキャプチャされた区域全体、およびユーザによって定義されたタスクビューを表示すべき区域へのアクセスを提供する概観マップが、存在することが可能である。例示的なタスクは、或るズームで或る区域を監視し、カメラの視界内のどこにおいても或る特定の対象物を追跡することである。他のタスクが定義されることも可能である。ユーザインタフェースは、ユーザによって定義されたタスクを、イメージングシステムに送信される制御データ、および/またはイメージストレージシステムもしくはイメージ処理システムに送信される、イメージデータを求める要求に変換することができる。制御は、状況に敏感とすることが可能である。適宜、透過的な表示が使用されて、表示を煩くすることなしに、さらなるデータが示されることを許すことが可能である。
【０１２０】
GUIは、事前定義されたタスクビューなどを介して、格納されたビデオの中で探索を行う機構を提供することができる。例えば、ビデオデータの中で時間を遡って探索することを始めるのに、ユーザは、ビデオストリームの中で表示されたトラックを追うタスクをセットアップすることができる。GUIは、ユーザが、そのビデオストリーム内でパン、チルト、およびズームを行って、追跡される対象物についてのさらなる情報を獲得することを可能にすることができる。
【０１２１】
別の例示的な用法は、完全なギガピクセルイメージまたはビデオストリームの任意の部分を戦略的に見る用法であることが可能である。特定の例として、小型のUAVが、戦略的偵察のために使用される。これらのUAVは、数百フィート遠方から数マイル遠方までの範囲で地形のライブのビデオフィードを提供することができる。しかし、これらのUAVの利用可能性は、限られている可能性がある。ギガピクセルシステムが、類似した戦略的偵察を提供するのに使用されることが可能である。初期の焦点は、完全なカメラ視界の概観イメージを提供し、限られた数のライブのフィードを最大限の解像度で、ただし、カメラの視界の非常に小さい部分だけを範囲に含んで提供することである。これらのライブのイメージは、無線リンクを使用して、地上局から現場における部隊に供給されることが可能である。部隊のためのライブのイメージは、全体的なカメラビューの非常に小さい部分に過ぎないことが可能である。そのような構成の潜在的利点は、カメラが、複数の、隣接していないビューを同時に提供することができることである。さらに、ビューは、ユーザの要求および優先順位が変化するにつれ、異なる部隊に再割り当てされることが可能である。
【０１２２】
ギガピクセルイメージを表示することは、すべての標準のコンピュータディスプレイにおいて利用できるわけではない能力を要求する可能性がある。複数の標準のディスプレイを使用して、ギガピクセルパネルを作成することを所望する場合、ディスプレイのパネルは、およそ500のディスプレイから成ることが可能である。この大きさの物は、高価であり、組み立てるのが物理的に困難である可能性があるだけでなく、個人のユーザに役立たない可能性もある。単一のモニタ上でギガピクセルイメージを表示するのに、次の2つの技術、すなわち、生のデータのサブサンプリング、および関心対象のデータのアイコン識別が、利用されることが可能である。
【０１２３】
完全なギガピクセルイメージが、サブサンプリングされて、単一のモニタ上で表示されることが可能である。このことは、2つの目的を果たす。すなわち、ユーザに表示されるデータを減らすこと、およびカメラから転送されるデータの量を減らすことである。サブサンプリングされたデータは、カメラから直接に要求されて、システムを通る全体的帯域幅が低減されることが可能である。イメージがキャプチャされるにつれ、所望される解像度が、カメラに提供され、サブサンプリングが、実行されることが可能である。サブサンプリングされたイメージデータを、識別されたターゲットを追跡することができるカメラと組み合わせることにより、カメラは、ターゲットロケーションを識別する、生のイメージデータではなく、メタデータを送信することができる。次に、GUIが、アイコンイメージを生成して、ディスプレイ上でターゲットのロケーションを識別することができる。さらに、ユーザは、カメラから、ズームされた、より高い解像度のイメージを要求することができる。或る実施形態では、センサシステムから取得されるイメージデータの量は、一般に、ディスプレイデバイスの解像度より少ないことが可能である。
【０１２４】
GIS(地理的情報システム)が、本システムと一緒に利用されて、ユーザによって要求されるとおり、各タイプのデータが、表示上に動的に階層化される、または表示から除去されることを可能にすることができる。GISを使用することにより、他のソースからのさらなるデータが、追加されることも可能である。
【０１２５】
アイコンは、表示されたイメージの中のターゲットを識別することができる。しかし、複数のターゲットが、限られた区域を埋めるにつれ、アイコン表示は、混雑し、有効性を失う可能性がある。したがって、表示は、個々のアイコンを示すことから、活動密度に基づいて、表示されたイメージに陰影を付けることに遷移することが可能である。活動のレベルが上がるにつれ、アイコンは、消滅して、色付の陰影によって取って代わられることが可能である。陰影の色は、活動のレベル、重要度、および/または観察される対象物についての他の詳細を反映することが可能である。
【０１２６】
データのきめ細かいビューを提示するのに、ユーザは、領域およびズームレベルをインタラクティブに定義することができる可能性がある。例えば、GUIは、メインマップにわたるズームされたウインドウ、第2の表示上のズームされたタスクビュー、または他の表示モードなどの複数の表示モードを使用することが可能である。
【０１２７】
GUIは、タスクを作成する、タスクが何であるかを定義する、タスクに関する規則を定義する、メモを追加する、タスクを割り当てる、さらにタスクの作成、変更、および管理を行う他の操作を実行するように組み込まれたツールを含むことが可能である。タスクの履歴は、保持され、時系列で記録されることが可能である。例えば、操作者が、追跡される対象物のアクションの中で探索を行うにつれ、システムは、操作者のアクションを記録して、「探索」タスクが、通常のビデオとして再生される、またはエクスポートされることを可能にすることができる。また、GUIは、さらなる報告能力および構成能力を提供することもできる。
【０１２８】
ターゲットベースの追跡が使用されると、GUIは、メタデータの中にターゲットロケーションを記録することに加え、最大限の解像度でターゲットの周囲の区域イメージデータを記録することができる。カメラは、ユーザが、領域内で関心対象の何かが観察されていることを示した場合に限って、最大限の解像度のデータを記録することができるので、このことは、GUIと、システムの他の要素との間の通信に必要とされる帯域幅を低減することができる。記録されたビューは、オンデマンドでカメラから引き出されることが可能であり、あるいは完全なセンサユニットが地上に戻った後、取り出されることが可能である。
【０１２９】
図８〜図１０は、本発明の実施形態による例示的なユーザインタフェースを示す。図８を参照すると、イメージ表示構成要素810および制御構成要素820を含むユーザインタフェース800が、示される。イメージ表示構成要素810は、前述したとおり、視覚化システムおよび/または光センサから受信されたイメージデータを表示することができる。制御構成要素820は、前述したとおり、パン/チルト/ズーム機能840やタスク830などの、表示構成要素810において表示されたイメージを変更する様々な仕方を操作者に提供することができる。或る実施形態では、表示構成要素は、ギガピクセルイメージのいくつかの部分、またはギガピクセルイメージ全体を表示することができる。制御構成要素820および表示構成要素810は、汎用コンピュータに接続された複数のモニタなどの、別々のハードウェアディスプレイ上で表示されてもよい。
【０１３０】
都市景観のギガピクセルイメージの例示的な部分が、示される。任意のイメージが使用されることが可能であることが理解されよう。イメージは、乗り物、人々、および他の物体などの、操作者の関心を引く様々な特徴(feature)850を含むことが可能である。前述したとおり、或る実施形態は、操作者が、1つまたは複数の特徴を追跡する、表示されたイメージおよび/またはビデオの中で一般的な傾向を見る、さらに他の操作を実行するオプションを提供することができる。
【０１３１】
図９は、操作者が、追跡のために、いくつかの特徴を選択している、図８と同一のユーザインタフェースを示す。例えば、操作者は、3つの対象物に関して「選択された対象物を追跡」タスクを開始していることが可能である。そのような要求に応答して、表示構成要素810は、イメージ上にオーバーレイを表示することができる。例えば、様々なアイコン910、920、930が、操作者によって選択された対象物の近く、またはそのような対象物上に表示されることが可能である。ビデオストリームが、表示構成要素810によって表示されると、アイコンは、選択された対象物の動きを追跡するように動くことが可能である。例えば、乗り物850が、通りを進むにつれ、割り当てられたアイコン910も、その乗り物の領域内で、その通りを進むように見えることが可能である。時間を遡ってビデオを見て、或る特徴の前のイベントを特定することなどの、他の機能が使用されることも可能である。
【０１３２】
図１０は、操作者が、表示されたイメージ内で活動を示すオーバーレイを要求している、図８と同一のインタフェースを示す。例えば、操作者は、「活動を表示」要求を開始していることが可能である。このオーバーレイは、イメージ1010、1020、1030の上に表示される様々な領域を含むことが可能であり、これらの領域のそれぞれは、表示されたイメージデータ内で異なるレベルの活動を表示するように、異なる色、陰影、透明度、または他の特性を有することが可能である。例えば、より明るい色は、より少ない活動を表示することが可能であり、より暗い色は、より多い活動を表示することが可能である。「活動」は、操作者によって定義されることが可能である。例えば、群衆などの、多くの動く対象物を有する区域には、高い活動レベルが割り当てられることが可能であり、単一の乗り物などの、少数の動く対象物を有する区域には、低い活動レベルが割り当てられることが可能である。別の例として、活動は、区域内の動きの度合いに基づいて、決定されてもよい。そのようなスキームにおいて、単一の急速に動く乗り物には、動きがほとんどない群衆の人々よりも高い活動が割り当てられる。他の定義、および他のオーバーレイスキームが、使用されてもよい。
【０１３３】
図１１は、本発明の実施形態によるイメージデータを表示するための例示的な方法を示す。操作者が、イメージまたはビデオストリームを要求すると、1110、ユーザシステムまたはユーザインタフェースが、ストレージシステムおよび/または集約システムなどなどから、サブサンプリングされたイメージを要求することが可能である、1120。また、ユーザ要求は、光センサによってイメージングされる或る特定の区域のPTZ(パン-チルト-ズーム)要求であることも可能である。一般に、ユーザが、システムの中に格納された合成イメージまたは合成ビデオストリームの一部分を要求すると、サブサンプリングが、使用されるが、サブサンプリングは、ユーザが、イメージ全体またはビデオ全体を要求した場合に使用されて、処理時間および伝送時間を短縮することも可能である。サブサンプリングされたイメージは、センサから直接に受信されることが可能であり、あるいはストレージシステムから受信されてもよい、1130。また、或る実施形態では、ユーザインタフェースは、イメージデータの中の特徴を識別する際、および操作する際に使用されるべき、コーナーメタデータなどの特徴メタデータを受信することもできる。或る実施形態では、操作者は、いくつかの特徴を表示することなどのタスクを要求することもでき、1101、このタスクは、初期イメージデータを求める要求の前に、そのような要求の後に、またはそのような要求と同時に要求されることが可能である。イメージデータおよびタスク要求に基づき、ユーザインタフェースは、そのタスクと関係のある特徴を識別し、オーバーレイを構築することができる、1102。次に、イメージデータおよび/またはオーバーレイが、ユーザに表示される、1150。
【０１３４】
＜例示的な使用シナリオ＞
いくつかのサンプル使用事例が、後に説明される。これらのサンプル使用事例の多くは、航空機におけるカメラシステムの使用を示唆するが、使用は、そのような飛行するプラットフォームに限定される必要はないことが認められよう。実際、使用には、地上に配置された(例えば、陸上車両上の)使用、水上に配置された(例えば、船艇上の)使用、および固定位置使用が含まれることが可能である。提示されるシナリオは、非限定的な例であることが意図され、本発明の特定の実施形態を例示するように与えられることがさらに理解されよう。他の変形、実施形態、および構成が、使用されてもよく、本発明の実施形態は、本明細書で説明されるシナリオ以外のシナリオのために使用されることも可能である。
【０１３５】
或る実施形態は、テロリスト爆破遡及追跡を実行するのに使用されることが可能である。テロリスト爆破などの事件の前に、いずれの行為主体が攻撃をするかを前もって検知して、事前対応で、その攻撃を防止することは困難でありうる。しかし、事後には、本発明の実施形態を使用して、その爆破を時間的に遡って追跡し、その爆破についての重要な事実を見出すことが可能である。例えば、そのトラック爆弾は、どこから町に入ったか。そのトラックは、途中にどこで停車したか。そのトラックは、どのような経路を使用して、検知を免れたか。これらの質問のすべてが、将来の攻撃を防止し、個々の容疑者を逮捕するのに役立つ可能性がある。本発明の実施形態によるギガピクセルカメラによって提供される広域のカバー範囲を使用して、諜報コミュニティは、場合により、爆破に至るまでの出来事、および爆破の後に続く出来事を分析することができる。
【０１３６】
従来の地上センサにおける大きな盲点は、連続性を制限し、容易な、時間的に遡る追跡を妨げる可能性がある。加えて、複数のセンサを視覚化し、時間的に互いに関係付け、調整する適切なソフトウェアは、容易に入手できない、または使用するのが容易でない可能性がある。最後に、これらのセンサは、検出するのが容易であることが可能であり、地元の部隊が、計画された攻撃に対する妨げ、または他の対応策を作り出すこともできる。さらに、従来の空中センサは、広域の一貫したカバー範囲と高い解像度の両方は提供しない可能性がある。
【０１３７】
遡及追跡が所望される区域のビデオを格納するのに十分なストレージを提供する本発明の実施形態において、飛行機が、爆発の後に着陸するように命令されることが可能であり、データは、地上で解析されることが可能である。このため、システムは、搭載されたリアルタイムの追跡を必ずしも有さなくてもよい。或る実施形態において、一部のリアルタイムの追跡は、後日の容易な探索のためにデータにタグを付けるのに使用されることも可能である。解析の大部分は、地上で行われることが可能であるので、データリンクの必要性も、最小限である可能性がある。
【０１３８】
或る実施形態では、戦略的な「空における目」が、戦略司令官が、丘の向こう、または建造物の周囲を見て、どのような敵が先方に潜んでいるかを知ることを可能にすることができる。従来、人間の偵察者が、そのような目的で使用されてきた。しかし、偵察は、検知の危険を冒す可能性があり、このことは、偵察者と主力部隊の両方に危険である可能性がある。現在、多くの部隊が、戦略的UAVを使用する可能性がある。そのような航空機は、約4フィートの翼幅を有して、航空機を運搬することに困難を生じ、部隊の検知、および攻撃の可能性、および/またはUAVの破壊の危険を冒す可能性がある。
【０１３９】
本発明の或る実施形態は、「丘の向こうを覗く」能力を複数の部隊に提供することができる。この実施形態は、より大きいイメージ内の関心対象の区域を「切り出し」、その関心対象の区域だけを戦場司令官に伝送することができる。また、プラットフォームは、或る特定の交戦区域内の複数の部隊に援助を提供することもできる。したがって、或る実施形態は、戦略的支援を現在、提供する多数の小型の、低解像度のUAVカメラの代替品の役割を、局地的な展開の必要なしに同様のイメージを配信することによって果たす。また、或る実施形態では、本発明のスケールダウンバージョンが、移動性を提供するために使用されることも可能である。或る実施形態では、自動化された追跡が、観察の区域を識別するのに使用されることが可能である。
【０１４０】
第3の例示的な使用事例には、国境警備がかかわる。米国国境の大部分に柵がない状態で、密輸入者および不法移民が、米国に越境して入ることが容易でありうる。現在の技術は、この必要性を満たさない可能性がある。地震センサ、マイクロ波センサ、およびレーザセンサは、設置するのが高価である可能性があり、野生動物と人間を見分ける追加の情報をもたらさない可能性がある。カメラは、国境全体に沿って取り付けるのが高価である可能性があり、このため、ビデオカバー範囲は、まばらである可能性がある。或る実施形態では、前述した観察システムは、国境の広域空中カバー範囲を提供することができる。例えば、UAVが、上空を飛行して、越境者を検知することが可能である。自動化された視覚的検知および追跡を使用して、カメラシステム自体が、任意の動く対象物を選択し、さらなる取調べのためにユーザに警報することも可能である。
【０１４１】
別の例示的な使用事例は、センサが、空中の他の部隊にライブのデータを提供することである。軍事顧客の重要な能力は、「射撃するセンサ能力」である。特定の例として、米国空軍が、敵と交戦する際、「発見/確定/追跡/標的/交戦/評価」システムを使用することが可能である。本発明の或る実施形態は、これらのステップのそれぞれをスピードアップすることができる。インテリジェント光センサを使用して、そのようなシステムの発見部分、確定部分、および追跡部分は、自動的に実行されることが可能である。高解像度イメージが、広い区域の一貫したカバー範囲を提供することができ、そのような高解像度センサは、攻撃すべきターゲットを発見する可能性を高めることが可能である。例えば、UAVが、地上のターゲットを発見し、それらのターゲットを位置特定し、他の航空機(または同一の航空機)による交戦のために追跡データを提供することができる。
【０１４２】
都市における交通を監視する能力、都市において犯罪の証拠を法科学的に探索する能力、および都市における重要な資産に関するリアルタイムの位置データを提供する能力を含め、そのような技術の他の多数の民生用使用事例が、存在する。本明細書で説明される方法およびシステムのさらなる使用が、当業者には明白となろう。
【０１４３】
本明細書で説明される様々なコンピュータシステムはそれぞれ、説明され、図示される様々なプロセスを実行するための機械読み取り可能な命令を格納するための記憶構成要素を含むことが可能である。記憶構成要素は、ハードドライブメモリ、フラッシュメモリ、フロッピー（登録商標）ディスクメモリ、光符号化型メモリ(例えば、コンパクトディスク、DVD-ROM(digital versatile disk-read only memory)、DVD-R(DVD-recordable)、CD-ROM(compact disk-ROM)、CD-R(CD-recordable)、ホログラフィディスク)、熱機械メモリ(例えば、走査型プローブベースのデータストレージ)、または任意のタイプの機械読み取り可能な(コンピュータ読み取り可能な)記憶媒体などの任意のタイプのマシン可読媒体(すなわち、機械によって読み取られることが可能な媒体)であることが可能である。また、各コンピュータシステムが、それぞれのプラットフォーム上のプロセッサによって機械読み取り可能な命令が実行される際に、機械読み取り可能な命令内に含まれる、または機械読み取り可能な命令によって実行されることが可能なデータおよび/または命令セットを格納するアドレス指定可能なメモリ(例えば、ランダムアクセスメモリ、キャッシュメモリ)を含むことも可能である。また、本明細書で説明される方法およびシステムは、前述した記憶機構のいずれかの機構上に格納された、またはいずれかの機構において実体化される機械読み取り可能な命令として実施されることも可能である。
【０１４４】
本発明は、特定の実施形態に関連して説明されてきたが、本発明は、それらの実施形態に限定されないものと理解されたい。したがって、主張される本発明は、当業者には明白なとおり、本明細書で説明される特定の実施形態からの変形を含む。
【図面の簡単な説明】
【０１４５】
【図１】本発明の実施形態によるイメージデータを処理するための例示的なシステムを示す図である。
【図２】本発明の実施形態によるセンサ処理モジュールを示す流れ図である。
【図３】本発明の実施形態によるイメージセンサからユーザシステムにデータを供給することに関する機能ブロック図である。
【図４】本発明の実施形態によるビデオストリームを組み合わせるための例示的な方法を示す図である。
【図５】本発明の実施形態による例示的な固定サイズデータ構成を示す図である。
【図６】本発明の実施形態による例示的な可変サイズレコードデータ構成を示す図である。
【図７】本発明の実施形態によるビデオストリームを集約するための例示的な方法を示す図である。
【図８】本発明の実施形態による例示的なユーザインタフェースを示す図である。
【図９】本発明の実施形態による例示的なユーザインタフェースを示す図である。
【図１０】本発明の実施形態による例示的なユーザインタフェースを示す図である。
【図１１】本発明の実施形態によるイメージデータを表示するための例示的な方法を示す図である。
【符号の説明】
【０１４６】
300  センサ
310  センサ処理モジュール
311  フィールドプログラマブルゲートアレイ
312、313  デジタルシグナルプロセッサ
320  データ集約システム
330  モジュール
331  ストレージシステム
332  視覚化システム
333  カメラ制御
340  ユーザシステム
350  グラフィカルユーザインタフェース
【図１】
0005584893.tif 000002
【図２】
0005584893.tif 000003
【図３】
0005584893.tif 000004
【図４】
0005584893.tif 000005
【図５】
0005584893.tif 000006
【図６】
0005584893.tif 000007
【図７】
0005584893.tif 000008
【図８】
0005584893.tif 000009
【図９】
0005584893.tif 000010
【図１０】
0005584893.tif 000011
【図１１】
0005584893.tif 000012