(57)【特許請求の範囲】
【請求項１】
第１の視点を有する第１の撮像装置から、スペクトル像データと空間像データを含む第１の一組の画像を取得するステップと、
第２の視点を有する第２の撮像装置から、スペクトル像データと空間像データを含む第２の一組の画像を取得するステップと、
前記空間像データに少なくとも部分的に基づいて、物体の前記第１の視点に基づく第１の一組の空間部分と、物体の前記第２の視点に基づく第２の一組の空間部分とを識別するステップと、
前記スペクトル像データに少なくとも部分的に基づいて、前記第１の一組の空間部分と前記第２の一組の空間部分に含まれる空間部分と、スペクトル的特徴とを関連付けするステップと、
前記第１の一組の空間部分および前記第２の一組の空間部分と関連するスペクトル的特徴とを含む前記物体のプロファイルを生成するステップと、
を含む、撮像された物体を参照する方法。
【請求項２】
前記識別するステップは、前記物体と前記第１の撮像装置との間の相対的な動きのパラメータを判定するステップを含む、請求項１に記載の方法。
【請求項３】
前記識別するステップは、前記第１の一組の画像のサブセットにおける前記物体の向きを判定するステップを含む、請求項１または２に記載の方法。
【請求項４】
前記生成するステップは、多次元スペクトル反射率プロファイルを生成するステップを含む、請求項１から３のいずれかに記載の方法。
【請求項５】
前記第１の一組の画像を取得するステップは、ハイパースペクトルビデオを取得するステップを含む、請求項１から４のいずれかに記載の方法。
【請求項６】
前記第１の一組の画像を取得するステップは、マルチスペクトルもしくはハイパースペクトルデータキューブを取得するステップを含む、請求項１から４のいずれかに記載の方法。
【請求項７】
前記プロファイルに少なくとも部分的に基づいて、前記物体を分類するステップをさらに含む、請求項１から６のいずれかに記載の方法。
【請求項８】
前記生成するステップは、前記物体の、一組の空間的次元および一組のスペクトルテクスチャのうちの少なくとも１つと、前記プロファイルとを関連付けするステップを含む、請求項１から７のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スペクトル的および空間的物体モデルから識別する方法に関する。
【背景技術】
【０００２】
ハイパースペクトルカメラは、ビデオフレームレートで、ハイパースペクトル画像フレームまたはデータキューブを取得することを可能にする。このようなカメラは、高空間およびスペクトル解像度画像を取得する。コンピュータビジョンに関する技術と、スペクトル分析に関する技術との組み合わせで、ハイパースペクトルカメラのオペレータは、撮像物の検出、追跡、および識別に関する監視用途に携わってきた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６４８８１５５号明細書
【発明の概要】
【０００４】
本発明の一態様は、撮像物を照合する方法に関する。本方法は、少なくとも一部がスペクトル的で、一部が空間的な一連の画像を取得することと、一部がスペクトル画像内にあり、一部が空間画像内にある、一連の画像のそれぞれにおける物体の主要特性を観測することと、観測された主要特性を物体と関連付けることと、関連付けられた主要特性に基づいて一意の識別子を物体に割り当てることとを含む。
【０００５】
本発明の他の態様は、撮像物を照合するシステムに関する。本システムは、物体についての一連のスペクトル画像および空間画像を記録するよう構成される少なくとも１つの撮像デバイスと、スペクトル画像および空間画像を処理するよう構成されるプロセッサと、プロセッサ内のソフトウェアとを備える。ソフトウェアは、一部がスペクトル画像内にあり、一部が空間画像内にある、一連の画像のそれぞれにおける物体の主要特性を観測するため、観測された主要特性を物体と関連付けるため、および関連付けられた主要特性に基づいて物体に一意の識別子を割り当てるための命令を備える。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態によるシステムが、車両の画像を取得する２つの例示的な移動プラットフォームを含む状況を示す図である。
【図２】本発明の一実施形態によるシステムが、移動中の車両の画像を取得する例示的なプラットフォームを含む状況を示す図である。
【図３】図１に示すようなシステムによって取得された画像から空間的およびスペクトル的物体モデルを生成する方法を示すフローチャートである。
【図４】空間的およびスペクトル的物体モデルを生成するために使用される撮像された車両の空間的分割を説明する図である。
【図５】空間的およびスペクトル的物体モデルから識別する方法を示すフローチャートである。
【発明を実施するための形態】
【０００７】
背景技術および以下の説明では、例示目的のために、多くの具体例を記載し、本明細書で説明する技術の完全な理解をもたらす。しかしながら、例示的実施形態は、これらの具体的な詳細無しに実施してもよいことは、本業者には明らかであろう。他の例において、例示的実施形態の説明を容易にするために構造およびデバイスを図に示す。
【０００８】
例示的実施形態は、図面を参照して説明する。これらの図面は、本明細書で説明するモジュール、方法、またはコンピュータプログラム製品を実現する特定の実施形態についてのある詳細を図示する。しかしながら、本図面は、図面内の記載により何らかの限定を課すものと解釈すべきではない。本方法およびコンピュータプログラム製品は、それらの動作を実現するための、何らかの機械読取り可能メディアで提供してもよい。本実施形態は、既存のコンピュータプロセッサを使用して実現してもよく、または、本目的もしくは他の目的のために組み込まれた特定用途コンピュータプロセッサによって、または配線システムによって実現してもよい。
【０００９】
上記のように、本明細書で説明する実施形態は、そこに格納される機械実行可能命令またはデータを持ち運ぶか、または保持するための機械読取り可能メディアを備えるコンピュータプログラム製品を備えてもよい。そのような機械読取り可能メディアは、任意の利用可能メディアとすることができ、汎用もしくは特定用途コンピュータまたはプロセッサを有する他の機械によってアクセスすることができる。例えば、そのような機械読取り可能メディアは、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、もしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または機械実行可能命令もしくはデータの形式で所望のプログラムコードを持ち運ぶか、もしくは格納するために使用することができ、汎用もしくは特定用途コンピュータまたはプロセッサを有する他の機械によってアクセスすることができる、他の任意のメディアを備えることができる。ネットワークもしくは他の通信接続（有線、無線、または有線ならびに無線の組み合わせ）で機械に情報が送られる、またはもたらされる場合、機械は、機械読取り可能メディアとしてその接続を適切に閲覧する。したがって、任意のそのような接続は、適切には、機械読取り可能メディアと称される。上記の組み合わせはまた、機械読取り可能メディアの範囲に含まれる。機械実行可能命令は、例えば、命令およびデータを備える。そのような命令およびデータは、汎用コンピュータ、特定用途コンピュータ、または特定用途処理機械に、ある種の関数もしくは関数のグループを実行させる。
【００１０】
実施形態は、プログラムコードなどの、例えば、ネットワーク環境内の機械によって実行されるプログラムモジュールの形式の、機械実行可能命令を含むプログラム製品によって、一実施形態において実施することができる方法ステップの一般的な状況について説明する。一般に、プログラムモジュールは、特定のタスクを実行する技術的効果を有するか、または特定の抽象データ型を実現する、ルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造などを含む。機械実行可能命令、関連付けられたデータ構造、およびプログラムモジュールは、本明細書で開示される方法のステップを実行するためのプログラムコードの例を表す。そのような実行可能命令または関連付けられたデータ構造の特定のシーケンスは、そのようなステップで説明される関数を実行するための対応する動作の例を表す。
【００１１】
実施形態は、プロセッサを有する１つまたは複数の遠隔コンピュータへの論理接続を使用するネットワーク環境で実施してもよい。論理接続には、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）を含むことができ、これらは例示目的であり、限定するものではない。そのようなネットワーク環境は、事務所内もしくは企業内コンピュータネットワーク、イントラネット、およびインターネットにおいて普及しており、さまざまな異なる通信プロトコルを使用することができる。そのようなネットワークコンピューティング環境は、典型的に、多くの種類のコンピュータシステム構成を含み、パーソナルコンピュータ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサ型もしくはプログラム可能家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、およびメインフレームコンピュータなどを含むことが、当業者には明らかである。
【００１２】
実施形態はまた、分散型コンピューティング環境で実施してもよい。そのような環境では、通信ネットワークを介して（有線リンク、無線リンクによって、または有線リンクもしくは無線リンクの組み合わせによって）リンクされたローカルおよび遠隔処理デバイスによってタスクが実行される。分散型コンピューティング環境では、プログラムモジュールは、ローカルメモリストレージデバイスおよび遠隔メモリストレージデバイスの両方に配置してもよい。
【００１３】
例示的実施形態のすべて、または一部を実施する例示的システムには、処理ユニット、システムメモリ、およびシステムバスを備えるコンピュータの形式での汎用コンピューティングデバイスを含んでもよく、そのようなシステムバスは、システムメモリを含むさまざまなシステムコンポーネントを処理ユニットに結合する。システムメモリには、リード・オンリー・メモリ（ＲＯＭ）およびランダム・アクセス・メモリ（ＲＡＭ）を含んでもよい。コンピュータはまた、磁気ハードディスクに読み書きするための磁気ハードディスクドライブ、リムーバブル磁気ディスクに読み書きするための磁気ディスクドライブ、およびＣＤ−ＲＯＭならびに他の光学メディアなどのリムーバブル光学ディスクに読み書きするための光学ディスクドライブを備えてもよい。ドライブおよびそれに関連した機械読取り可能メディアは、機械実行可能命令、データ構造、プログラムモジュール、およびコンピュータに対する他のデータの不揮発性ストレージを提供する。
【００１４】
本実施形態で開示する方法の技術的効果には、物体検出、追跡、および識別のための遠隔撮像システムの実用性および性能を向上させることが挙げられる。空間およびスペクトル画像を解析して、観測した物体を参照および描写する一意の識別子を形成する撮像および追跡システムは、画像収集処理と関連付けられたファクタの変化に左右されない。一意の識別子が、撮像システムの特性から独立した物体の固有特性に基づくので、追跡システムは、物体寿命についての履歴情報が最初は不明である場合、物体に関する別々の観測を対応づけることができる。言い換えると、本システムは、これまで不明であった物体を観測し、本発明の方法により一意の識別子を割り当て、次いで、その後で物体を観測し、観測結果を正確に関連付けることができる。さらに、本発明の方法により、複数のソース確認を必要としない物体の遠隔観測および検索で、物体の識別情報を検証することが可能となる。
【００１５】
図１を参照すると、物体３０を照合するための単一の統一識別子を形成するシステム１０は、物体３０の一連の空間画像およびスペクトル画像を記録するよう構成される少なくとも１つの撮像デバイス１４を備える。プロセッサ１６は、物体３０の空間画像およびスペクトル画像を処理するよう構成され、プロセッサ１６内のソフトウェアは、一連の画像のそれぞれにおける物体３０の主要特性を観測し、関連付けるための命令を含む。プラットフォームに搭載されているプロセッサは、一連の画像の処理を実行することができ、または一連の画像を第２のプロセッサもしくは処理システム（まとめて「プロセッサ」１６と称し、図１において撮像デバイス１４から地理的に離れたユニットとして示す）によって処理するために遠隔地に送信するよう指示することができる。物体３０の主要特性の関連付けに基づいて、プロセッサ１６は、一意の識別子を物体３０に割り当てることができる。
【００１６】
撮像デバイス１４は、電磁気スペクトル全体にわたって特定の波長で画像データを取得および記録することを可能にする１つまたは複数のカメラを備えてもよい。本発明で使用する撮像デバイスは、赤外バンド、可視バンド、および紫外バンドによって規定される波長において画像を取得することができる。さらに、撮像デバイス１４は、画像を収集して、カメラの動作可能バンドが、パンクロマティック画像を形成するために組み合わされるか、またはマルチスペクトルもしくはハイパースペクトルデータキューブを形成するよう分割されるよう構成されてもよい。パンクロマティック撮像装置の場合、撮像デバイス１４は、一連のパンクロマティック画像を形成することができ、各画像は、画像の各ピクセル上への放射の総強度の記録である。ピクセルとそれらの相対的な強度との関係により、収集された一連の画像の空間的内容（すなわち、空間画像）が形成される。
【００１７】
あるいは、撮像デバイス１４は、一連の画像を形成することができ、各画像は、特定の波長のバンドに対応するデータを含む。例えば、汎用カメラは、可視スペクトルにおける画像の３つの描写を形成することができ、１つ目は、緑色と関連した波長に対応し、２つ目は、赤色に対応し、３つ目は、青色に対応する。バンドを追加して、いわゆる、可視スペクトルの外側の画像を形成してもよい。より多数のバンド、より細かなスペクトル解像度、またはより広いスペクトル有効範囲を有するスペクトル撮像装置は、撮像スペクトルバンドの特定数および相対的な波長により、マルチスペクトル、ハイパースペクトル、またはウルトラスペクトルと呼ばれることがある。このように、各ピクセルは、スペクトル的特徴、すなわち、収集した一連の画像に対するスペクトル的内容（すなわち、スペクトル画像）と関連する強度のベクトルを含む。多くの撮像デバイス１４は、空間画像およびスペクトル画像の収集を意図しているが、好適な実装態様の１つでは、撮像デバイス１４は、ステアリングアレイ・ハイパースペクトル・ビデオカメラを含む。しかしながら、他の既知のハイパースペクトル撮像デバイスは、ステアリングアレイ・カラー／パンクロマティック・カメラと、高速スキャニング・スペクトル・カメラとの組み合わせを含むことができる。
【００１８】
撮像デバイス１４は、例えば、可動プラットフォーム１２上に静置するか、（図２に示すように）静止プラットフォーム１１２上で可動であるか、またはそれらの任意の組み合わせとすることができる。可動プラットフォーム１２では、図１に例として示すように、撮像デバイス１４は、対象物体３０を撮像することができ、撮像領域１８、２０、２２、２４の形跡は、部分的には、プラットフォーム１２の動きの結果として移動する。プラットフォームの移動は、撮像デバイス１４が横切った円弧２８、撮像デバイス１４が横切った線２６、またはプラットフォーム１２の可動性によって定められる任意の動きとすることができる。
【００１９】
静止プラットフォーム１１２では、図２に例として示すように、撮像デバイス１１４は、プラットフォーム１１２での単一軸を中心として回転することで動き、対象物体３０を追跡および撮像することができる。この場合、撮像形跡１１６、１１８、１２０は、円弧１２２を辿り、対象物体３０を撮像する。大抵の場合、対象物体３０は、同じ形跡の円弧１２２を辿らず、その場合、形跡の視点が変化する。なお、対象物体３０は、静止していても、動いていてもよい。
【００２０】
撮像デバイス１４もしくは１１４および撮像された対象物体３０の間の相対的な動きは、撮像デバイス１４もしくは１１４および対象物体３０の間の視点を変えることは明らかであろう。したがって、対象物体３０の観測されたスペクトル反射は、少なくとも部分的に、変化する相対的な視点に応じて変化する。
【００２１】
図３は、図１および図２で上記したシステムを使用する空間的およびスペクトル的物体モデルを生成する方法を示すフローチャートである。最初に、ステップ２００で、撮像デバイス１４は、空間的およびスペクトル的に分解された画像を取得することによって、対象物体３０を取得および追跡することができる。本明細書における「ハイパースペクトル画像」は、空間的およびスペクトル的内容もしくは画像の両方の存在を示し、実際の画像は、上記のように撮像デバイスで収集することができ、複数の紫外波長、赤外波長、および／または可視波長に対する要素を含むことができる。
【００２２】
ステップ２０２で、撮像デバイス１４は、一連のハイパースペクトル画像２０３を取得することができる。連続するハイパースペクトル画像２０３内の配列を決定するために、プロセッサ１６は、画像安定技術を使用して、フレーム・ツー・フレームから、例えば、プラットフォーム１２の動きによって引き起こされた可能性のある相殺動作ならびにジッタに、一連のハイパースペクトル画像２０３をシフトすることができる。物体３０の一連のハイパースペクトル画像２０３は、対象物体３０と撮像デバイス１４との間で相対的な動きを有することができる。
【００２３】
ステップ２０４で、プロセッサ１６は、対象物体３０と撮像デバイス１４との間の相対的な動きについて、少なくとも１つのパラメータ２０５を決定することができる。例えば、プロセッサ１６は、相対的および絶対的な位置を測定するオンボードセンサ位置決定システムからのデータを使用することができる。オンボードシステムの例には、ＧＰＳのような、絶対位置決定システムと組み合わせられた慣性ナビゲーションシステムのような相対位置決定システムを挙げることができる。オンボード位置決定データに加えて、プロセッサ１６は、一連のハイパースペクトル画像２０３内の差を確かめ、対象物体３０の動きを推測し、撮像デバイス１４から対象物体３０への範囲を推定することができる。プロセッサ１６は、撮像デバイス１４と対象物体３０との間の回転（すなわち、ロール、ピッチ、ヨー）および移動（すなわち、ｘ、ｙ、ｚ）として、相対的な動きを判断することができる。プロセッサ１６は、相対的な動きを、オイラー角および方向ベクトルでパラメータ化することができる。撮像デバイス１４と対象物体３０との間の相対的な動きの他のパラメータ化は、実装態様により適用することができる。プロセッサ１６は、物体３０と撮像デバイス１４との間の相対的な動きについてのパラメータ２０５をマッピングし、ステップ２０６で、一連の各ハイパースペクトル画像における物体３０の方向２０７を判断することができる。
【００２４】
一連のハイパースペクトル画像２０３のそれぞれにおける対象物体３０の方向２０７の判断時に、ステップ２０８で、プロセッサ１６は、一連のハイパースペクトル画像２０３のそれぞれにおける対象物体３０の空間部分２０９を識別することができる。次いで、ステップ２１０で、プロセッサ１６は、スペクトル的特徴２１１を、一連のハイパースペクトル画像２０３のそれぞれにおける対象物体３０の各空間部分２０９に割り当てることができる。スペクトル的特徴２１１の、対象物体３０の空間部分２０９への割り当てに基づいて、プロセッサ１６は、ステップ２１２で、多次元スペクトル反射率プロファイル２１３を生成することができる。スペクトル反射率プロファイル２１３の次元性は、物体３０の方向２０７、空間部分２０９、および空間部分２０９と関連したスペクトル的特徴２１１によって判断される。したがって、多次元スペクトル反射率プロファイル２１３は、物体３０の空間的、すなわち、幾何学的記述とともに、対象物体３０のスペクトル反射率特徴２１１と、スペクトル反射率特徴２１１間の空間関係との両方を描写することができる。
【００２５】
多次元スペクトル反射率プロファイル２１３が生成されると、プロセッサ１６は、一連のハイパースペクトル画像２０３における対象物体３０を分類することができる。多次元スペクトル反射率プロファイル２１３は、対象物体３０の空間次元およびスペクトルテクスチャの記述を符号化する。プロセッサ１６は、以下で説明するような追加の処理技術を実施して、対象物体３０の空間部分２０９について、テクスチャ特性に加えて、サイズと形状とを判断することができる。
【００２６】
ステップ２１４で本方法が完了すると、撮像デバイス１４は、連続する一連のハイパースペクトル画像２０３における対象物体３０を再取得することができる。プロセッサ１６は、ハイパースペクトル画像の連続的な収集に基づいて、物体の多次元スペクトル反射率プロファイル２１３を改善することができる。初期のパスは、物体の未観測の方向をもたらす可能性があるが、連続的なパスは、以前の未観測の方向に対する多次元スペクトル反射率プロファイル２１３のモデルを満たし始める可能性がある。
【００２７】
逆に、プロセッサ１６は、以前に観測された方向に対する多次元スペクトル反射率プロファイル２１３を改善することができる。プロセッサ１６が、以前観測された方向で物体を再取得した場合、プロセッサ１６は、ハイパースペクトル画像の積分時間に基づいて、スペクトル的特徴１１１を重み付けすることによって、以前に生成された多次元スペクトル反射率プロファイル１１３を更新することができる。例えば、所与の方向２０７に対する所与の空間部分２０９が、０．１秒間、事前に観測され、スペクトル的特徴２１１を判断し、さらなる測定を０．２秒間行った場合、多次元スペクトル反射率プロファイル２１３における方向２０７に対する空間部分２０９のためのスペクトル的特徴２１１は、調整されて、以前の測定値の２倍の重みで新しい測定値を重み付けする。
【００２８】
例示のために、図４は、３つの異なる方向３００、３０２、３０４に対する撮像された車両の空間位置を示す。方向３００での車両の第１の撮像側に対し、プロセッサ１６は、４つの空間部分３１０、３１２、３１４、３１６を識別する。方向３０２での車両の第２の撮像側に対し、プロセッサ１６は、４つの空間部分３１８、３２０、３２２、３２４を識別する。方向３０４での車両の第３の撮像側に対し、プロセッサ１６は、４つの空間部分３２６、３２８、３３０、３３２を識別する。次いで、プロセッサ１６は、空間部分のそれぞれに対して、ハイパースペクトル画像に基づくスペクトル的特徴を割り当てる。この例では、１２の別個のスペクトル的特徴のすべてに対する３つの撮像方向のそれぞれに対して４つの別個のスペクトル的特徴が存在する。したがって、図３で概説した方法に対し、図４の図示は、３つの方向を含む多次元スペクトル反射率プロファイル２１３を示し、４つの空間部分２０９を有するそれぞれと、各空間部分とは、１つの対応するスペクトル反射率特徴２１１を含む。
【００２９】
さらに、プロセッサ１６は、空間画像およびスペクトル画像を分析し、対象物体を一意に識別することができる。すなわち、プロセッサ１６は、（上記した多次元スペクトル反射率プロファイルなどの）空間／スペクトル特徴を分析し、撮像した物体の個々の実例を識別するために、物体３０の主要特性を導出し、関連付けることができる。このようにして、物体の種類を単に認識するだけでなく、プロセッサ１６は、特定の物体の同一性を確認することができる。
【００３０】
図５は、空間的およびスペクトル的物体モデルから識別する方法を示すフローチャートである。最初に、プロセッサ１６は、物体についての一連の画像を取得する。上記のように、一連の画像は、スペクトル的および空間的内容をもたらすことができ、１つまたは複数の種類の画像を取得するよう構成される１つまたは複数の撮像デバイスから取得することができる。各撮像デバイスは、スペクトル画像、空間画像、またはスペクトル画像と空間画像との両方の組み合わせをもたらすことができる。取得画像の波長によって描写される場合、画像をもたらすことができる撮像デバイスは、可視線４１２、赤外線４１４、紫外線４１６、およびハイパースペクトル４１８を含む。
【００３１】
次いで、プロセッサ１６は、一連の画像内の物体３０についての主要特性を観測することができる。プロセッサ１６は、コンピュータビジョンの分野で既知の、従来の画像処理技術を使用して、空間画像から主要特性を導出してもよい。典型的な技術は、特徴抽出、検出、画像分割、パラメータ推定、画像表示および認識の概念に関する。
【００３２】
さらに、または空間分析とともに、プロセッサ１６は、スペクトル画像の分析で既知の技術を使用して、スペクトル画像から主要特性を導出することができる。スペクトルベース処理アルゴリズムは、同様のピクセル、すなわち、同様のスペクトル特性または特徴を有するピクセルを、分類またはグループ化するよう開発されている。多くのハイパースペクトル検索アルゴリズムが開発され、対象検出のためにハイパースペクトル画像を処理する際に使用されてきた。これらのハイパースペクトル検索アルゴリズムは、典型的に、画像内の候補対象の統計的特性を利用するよう設計され、典型的に、既知の統計概念に基づいて構築される。例えば、マハラノビス距離は、ハイパースペクトルピクセル特徴に適用されているのと同様の統計的測定値である。マハラノビス距離は、特徴の既知のクラスの平均および標準偏差に対する特徴をテストすることによって、特徴の同様性を測定する。
【００３３】
他の既知の技術には、スペクトル角マッピング（Ｓｐｅｃｔｒａｌ  Ａｎｇｌｅ  Ｍａｐｐｉｎｇ：ＳＡＭ）、スペクトル情報発散（Ｓｐｅｃｔｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｖｅｒｇｅｎｃｅ：ＳＩＤ）、ゼロ平均差分面積（Ｚｅｒｏ  Ｍｅａｎ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ａｒｅａ：ＺＭＤＡ）、およびバッタチャリャ距離がある。ＳＡＭは、各スペクトルをベクトルとして扱い、ベクトル間の角度を算出することによって、スペクトル的特徴を既知の特徴と比較するための方法である。ＳＡＭはベクトルの方向のみを使用し、ベクトルの長さを使用しないので、本方法は照度の変動の影響を受けにくい。ＳＩＤは、スペクトル間の確率的な不一致または発散を測定することによって、スペクトル的特徴を既知の特徴と比較するための方法である。ＺＭＤＡは、特徴をそれらの分散によって正規化し、それらの差を計算するものであり、２つのベクトル間の面積に対応する。バッタチャリャ距離は、マハラノビス距離と同様であるが、特徴の既知のクラスに対する１組のスペクトル的特徴の間の距離を測定するために使用される。
【００３４】
空間およびスペクトル処理技術を統合することができるフレームワークを確立することによって、プロセッサ１６は、ステップ４２０で、物体の主要特性を観測することができる。主要物体特性は、物体形状４２２、物体サイズ４２４、物体位置４２６、および物体速度４２８などの空間に基づく属性を含むことができる。空間属性を組み込む主要物体特性は、物体色４３０、物体材料組成４３２、およびテクスチャを含むことができる。これらの特性は、分類処理で典型的に使用される種類の情報をもたらすことができる。例えば、これらの特性の組み合わせは、撮像システムによって観測された車両の種類を示すことができる。
【００３５】
プロセッサ１６は、追加の処理で他の主要特性を推測し、そのような主要特性には、物体の外観４３４、識別物体ラベル４３６、物体挙動４３８、および物体履歴４４０を含む。物体の外観４３４は、物体の表面の、わずかに異なる、潜在的に一意な態様を含む。例えば、車のへこみや、車両の天井に取り付けられた追加アンテナは、プロセッサ１６が、空間およびスペクトル処理技術で観測および検出することができる、特定の識別特徴をもたらすことができる。
【００３６】
識別物体ラベル４３６は、物体の外観と類似する人工的な識別子をもたらすことができ、ナンバープレート、バンパーのステッカー、およびテールマーキングなどを含むことができる。プロセッサ１６は、例えば、物体ラベルをさらに区別するための光学式文字認識のためのアルゴリズムを含んでもよい。プロセッサ１６は、物体挙動４３８を観測し、車の回転半径などの物体の限界または交通法規の遵守レベルなどの人工的属性と関連した物体の態様を検出および定量化することができる。
【００３７】
プロセッサ１６はまた、ある時間全体での物体の複数の観測結果を関連付けることによって、物体の履歴４４０を推測することができる。プロセッサ１６が関連付ける必要がある可能性のある、時間的に不連続な期間である、時間尺度は、観測された物体が、一時的に不明瞭となる場合などの数秒から、車両などの物体が遠隔撮像デバイスの観測形跡を珍しく経由した日の順序についての時間尺度の範囲とすることができる。したがって、物体の履歴は、位置、ある期間にわたる挙動、および物理的な外観の変化のパターンを確立することができる。
【００３８】
主要特性４４２を関連付けることによって、プロセッサ１６は、物体の形状４２２、サイズ４２４、位置４２６、速度４２８、および色４３０などの主要特性を使用して、対象物体を分離する場合、物体を、他の種類の物体から区別することができる。時間的不連続性全体での物体の分離および区別は、物体の識別情報を確立するために、上記した材料組成４３２、物体外観４３４、識別ラベル４３８などの他の主要特性の識別を必要とする可能性がある。
【００３９】
保管および検索のために対象物体の参照を容易にするために、プロセッサ１６は、単一で一意の識別子４４４を、遠隔撮像システムによって観測されたライフサイクルを通じて、物体を参照するために割り当てることができる。一意の識別子４４４は、物体と関連付けられた主要特性、すなわち、上記したような履歴特性に加えて、視覚的、スペクトル的、および挙動的特性を符号化することができる。
【００４０】
システムは、システムの現在ビュー内の物体により、単一または複数の識別子を同時に管理することができる。主要特性は、集約され、複数のシステムによって観測された物体を描写する新規の識別子を生成することができる。識別子の一意性（および基準となる物体への１対１マッピング）などにより、識別子は、遠隔撮像システムによって観測された物体の主要特性にインデックスをもたらすことができる。計算システム（上記におけるプロセッサ１６）は、識別子を自動的に生成することができ、または計算システムのオペレータが、識別子を手動で生成することができる。識別子の生成に続き、識別子は、新規の主要特性を追加するため、または関連物体の既知の特性を検索するため、物体に基準をもたらすことができる。
【００４１】
ビデオハイパースペクトルセンサの到来により、１つのシステムで十分な情報を収集し、観測した物体を一意に識別することができる。複数のシステムを独立して動作させてもよく、各システムが十分な情報を収集し、観測した物体を一意に識別することができる。複数システム撮影装置では、情報は、次いで、システム間で共有され、主要特性を集約することができる。このようにして、１つのシステムによって観測可能な主要特性は、第２のシステムによって観測された異なる主要特性と組み合わされ、物体に対する全体的な識別子を改善することができる。
【００４２】
物体の多くの観測可能な推測された特性を含む対象物体に対する単一の統合識別子は、遠隔撮像システムに基本的な主要動作を容易にすることができる。例えば、複数の遠隔撮像システムを使用する場合、一意の識別子が、システム間の物体の描写を効果的に転送することを可能にすることによって、システム間の物体ハンドオフが容易になる可能性がある。さらに、識別子を使用して、ハンドオフが生じる必要のある可能性がある時間または場所を予測することを可能にすることができる。
【００４３】
本システムの主要要素の１つは、可視、赤外、紫外、およびハイパースペクトル撮像機から生じたスペクトル情報の、物体の一意性を規定するためのより従来的な画像処理技術から生じた空間特性との融合である。遠隔感知システムは、空間画像およびスペクトル画像の両方を含む画像の時間シーケンスを取得することを可能にする、ハイパースペクトルビデオならびにハイブリッド撮像システムを使用して、空間情報ならびにスペクトル情報の連続的な関連付けを可能にしなければならない。
【００４４】
本明細書は最良の形態を含む本発明を開示するため、および、あらゆるデバイスまたはシステムを製作し、ならびに使用し、およびあらゆる組込方法を実行することを含む任意の当業者が本発明を実施することを可能にするための例を用いる。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者が想到するその他の実施例を含むことができる。このような他の実施例は、特許請求の範囲の文言との差がない構造要素を有する場合、または特許請求の範囲の文言との実質的な差がない等価の構造要素を含む場合、特許請求の範囲内にある。
【符号の説明】
【００４５】
１２  モバイルプラットフォーム
１４  （ハイパースペクトル）撮像装置
１６  プロセッサ
１８−２４  撮像領域の形跡
２６  線
２８  円弧
３０  対象物体
１１２  静止プラットフォーム
１１６−１２０  撮像領域の形跡
１２２  円弧
２００  方法の開始
２０１  ハイパースペクトル撮像装置
２０２  一連のハイパースペクトル画像の取得
２０３  一連のハイパースペクトル画像
２０４  相対的な動きの判断
２０５  相対的な動きの１パラメータ
２０６  撮像された物体の向きを判断
２０７  物体の向き
２０８  物体の空間部分を識別
２０９  空間部分
２１０  物体へのスペクトル的特徴の割り当て
２１１  スペクトル的特徴
２１２  物体の多次元スペクトル反射率プロファイルの生成
２１３  多次元スペクトル反射率プロファイル
２１４  方法の終了
３００、３０２、３０４  ある方向での車両の撮像側
３１０、３１２、３１４、３１６  ある方向での車両の撮像側の空間部分
３１８、３２０、３２２、３２４  ある方向での車両の撮像側の空間部分
３２６、３２８、３３０、３３２  ある方向での車両の撮像側の空間部分
４１０  物体の一連の画像の取得
４１２  可視画像
４１４  赤外画像
４１６  紫外画像
４１８  ハイパースペクトル画像
４２０  物体の主要特性の観測
４２２〜４４０  特性
４４２  主要特性の関連付け
４４４  一意の識別子の割り当て
【図１】
0005941514.tif 000002
【図２】
0005941514.tif 000003
【図３】
0005941514.tif 000004
【図４】
0005941514.tif 000005
【図５】
0005941514.tif 000006