(57)【要約】      （修正有）【課題】ハイパースペクトル画像テンプレートにマッチングする信頼度をリアルタイムで評価する方法を提供する。【解決手段】少なくとも一つの追跡対象物のシグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、前記少なくとも一つの追跡対象物の前記シグネチャーの組のピクセル値と、前記ハイパースペクトル画像テンプレートの前記シグネチャーの組のピクセル値との差の絶対値を定めること、最大絶対値と最小絶対値の差を１から減算することによってマッチング度を定めること、並びに、前記少なくとも一つの追跡対象物の画像が前記ハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、前記マッチング度を前記少なくとも一つの追跡対象物の画像のピクセル数に正規化すること、を含む。【選択図】図１
2014038614.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの追跡対象物のシグネチャーの組を選択すること、
前記少なくとも一つの追跡対象物の前記シグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、
前記少なくとも一つの追跡対象物の前記シグネチャーの組のピクセル値と、前記ハイパースペクトル画像テンプレートの前記シグネチャーの組のピクセル値との差の絶対値を定めること、
最大絶対値と最小絶対値の差を１から減算することによってマッチング度を定めること、並びに、
前記少なくとも一つの追跡対象物の画像が前記ハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、前記マッチング度を前記少なくとも一つの追跡対象物の画像のピクセル数に正規化すること
を含む、
少なくとも一つの追跡対象物を追跡しながら、画像センサのピクセルによって輪郭が示される少なくとも一つの追跡対象物のハイパースペクトル画像のシグネチャーが、ハイパースペクトル画像テンプレートにマッチングする信頼度を、リアルタイムで評価する方法。
【請求項２】
前記ハイパースペクトル画像は、ハイパースペクトルイメージングビデオカメラで収集されたビデオの１フレームである、請求項１に記載の方法。
【請求項３】
前記少なくとも一つの追跡対象物は、可能性のある物体の組である、請求項１に記載の方法。
【請求項４】
前記シグネチャーの組は、ハイパースペクトル的なデータと空間的なデータの両方を含む、請求項１に記載の方法。
【請求項５】
空間的にマッチングする前記シグネチャーの割合を判定するステップと、
最大絶対値と最小絶対値の差を１から減算することによってマッチング度を定める前記ステップを、前記シグネチャーの割合に適用するステップと、
を更に含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイパースペクトル画像のシグネチャーのマッチングの信頼度を評価する方法に関する。
【背景技術】
【０００２】
ハイパースペクトル画像のリモートセンシングシステムの環境については、Ｍａｎｏｌａｋｉｓ，Ｄ．、Ｍａｒｄｅｎ，Ｄ．、及びＳｈａｗ，Ｇ．著の「自動対象検出アプリケーションのためのハイパースペクトル画像の処理（Ｈｙｐｅｒｓｐｅｃｔｒａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  ｆｏｒ  Ａｕｔｏｍａｔｉｃ  Ｔａｒｇｅｔ  Ｄｅｔｅｃｔｉｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ）」（リンカーン研究所ジャーナル、２００３年、第１４巻、７９〜８２ページ）に詳述されている。画像センサは、ハイパースペクトルエネルギーの大きさを記録するピクセルを有する。ハイパースペクトル画像装置は、ピクセル配列のエネルギーを記録するが、そのピクセルの配列は、空間情報をピクセルの配列形状から取得し、且つ、スペクトル情報を各ピクセル内で多くの隣接するハイパースペクトルバンドを計測して取得している。空間及びスペクトル情報の更なる処理は、リモートセンシングシステムの個別の用途によって決まる。
【０００３】
遠隔で検出されるハイパースペクトル画像は、環境や土地利用の監視、軍事偵察や査察を含む広い範囲での利用において貴重であることがわかっている。ハイパースペクトル画像は、空間情報とスペクトル情報の両方を含む画像データを提供する。この種類の情報は、遠隔検出や追跡作業に利用可能である。具体的には、一組の視覚センサを無人航空機（ＵＡＶ）や地上局のようなプラットフォームに取り付けてハイパースペクトル画像のビデオを取得し、スペクトルビデオに一連のアルゴリズムを適用し、フレームごとに対象物を検出したり追跡したりする。
【０００４】
スペクトルに基づいた処理アルゴリズムが、類似のスペクトル特性やシグネチャーを有するピクセルを分類したりグループ化したりするために開発されている。ある場面での対象物の数や大きさが小さすぎて、対象物を種類ごとに分類するために必要な統計的な性質の判定を裏付けることができないような場合に、このような方法だけでの処理では、対象の追跡及び検出用途には向かない。しかし、通常のハイパースペクトル画像の空間処理能は、ハイパースペクトル画像を収集する通常のシステムの空間分解能が低いことによって低下する。結果として、ハイパースペクトル画像を収集し処理する遠隔検出システムは、解像された対象が１つ以上のピクセルで撮像された物体であるとき、解像された対象と解像されていない対象の両方が最大限に検出されるように、スペクトル分解能と空間分解能がトレードオフするようにして開発された。このように、スペクトル技術では対象のシグネチャーによって解像されていない対象を検出し、空間技術では対象の形状によって解像された対象を検出することができる。
【０００５】
多数のハイパースペクトル検索アルゴリズムが対象物を検出する目的でハイパースペクトル画像処理の中で開発され用いられてきた。これらのハイパースペクトル検索アルゴリズムは、通常は画像の中の対象候補の統計的な特性を利用するように設計され、通常は周知の統計学の概念に基づいている。例えば、マハラノビス距離は、類似性に関する統計学の一方法であり、ハイパースペクトルピクセルシグネチャーにも適用される。マハラノビス距離は、シグネチャーを既知の種類のシグネチャーの平均や標準偏差と比較して検証することによってそのシグネチャーの類似性を測定する。
【０００６】
他の既知の方法に、スペクトラル角度マッピング（ＳＡＭ）、スペクトラル情報ダイバージェンス（ＳＩＤ）、ゼロ平均差領域（ＺＭＤＡ）とバタチャリヤ距離がある。ＳＡＭは、各スペクトルをベクトルとして扱いベクトル間の角度を計算することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。ＳＡＭではベクトルの方向だけを使いベクトルの大きさは使わないので、この方法は照度の変化には影響されない。ＳＩＤは、スペクトル間の確率的な不一致や相違を計測することによって、対象候補のシグネチャーを既知のシグネチャーと比較する方法である。ＺＭＤＡでは、対象候補のシグネチャーと既知のシグネチャーを、それらの分散によって正規化し、その差を演算するが、その差は二つのベクトル間の領域に対応している。バタチャリヤ距離はマハラノビス距離に似ているが、対象候補のシグネチャーの組の間の距離を既知の種類のシグネチャーに照らして計測するのに使用される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第７２１２６５２号明細書
【発明の概要】
【０００８】
本発明は、少なくとも一つの追跡対象物を追跡しながら、画像センサのピクセルによって輪郭が示される少なくとも一つの追跡対象物のハイパースペクトル画像のシグネチャーが、ハイパースペクトル画像テンプレートにマッチングする信頼度をリアルタイムで評価する方法に関する。この方法は、少なくとも一つの追跡対象物のシグネチャーの組を選択すること、少なくとも一つの追跡対象物のシグネチャーの組に対応するハイパースペクトル画像テンプレートのシグネチャーの組を選択すること、少なくとも一つの追跡対象物のシグネチャーの組のピクセル値とハイパースペクトル画像テンプレートのシグネチャーの組のピクセル値との差の絶対値を定めること、最大絶対値と最小絶対値の差を１から減算してマッチング度を定めること、並びに、少なくとも一つの追跡対象物の画像がハイパースペクトル画像テンプレートにどの程度近似しているかの信頼度を判定するために、そのマッチング度を少なくとも一つの追跡対象物の画像のピクセル数に正規化すること、を含む。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施例における、ハイパースペクトル画像内の監視対象物の追跡及び検出確率を判定する方法の線図である。
【図２】本発明の一実施例における、ハイパースペクトル検索アルゴリズムを選択する方法の線図である。
【図３】本発明の一実施例における、ハイパースペクトル検索アルゴリズムの許容誤差を選択する方法の線図である。
【図４Ａ】本発明の一実施例における、ハイパースペクトル画像撮影システムが２つの対象物を検出し追跡するシナリオを示す。
【図４Ｂ】本発明の一実施例における、ハイパースペクトル画像撮影システムが追跡した対象物の変化を検出するシナリオを示す。
【発明を実施するための形態】
【００１０】
背景技術と以下の記述において、本明細書に記載の技術を完全に理解できるように、説明目的で多くの具体的な詳細を記載する。しかし、これらの具体的な詳細なしで実施形態を実施可能であることは、当業者には明らかである。また、実施形態の説明を簡単にするために、構造や装置を略図で示している。
【００１１】
図面を参照しながら実施例を説明する。これらの図はここに記載されているモジュール、方法、コンピュータプログラム製品を実施する具体的な実施形態の詳細を示している。しかし、これらの実施形態は、図面に示したものだけに限定されないと解釈されたい。コンピュータ読み取り可能媒体に本方法及びコンピュータプログラム製品を使用して、作業を遂行する。これらの実施例は、既存のコンピュータプロセッサを使用したり、本目的或いは他の目的のために組み込まれた専用コンピュータプロセッサや、ハードウェアに組み込まれたシステムを使用したりすることで実施される。
【００１２】
上記のように、本明細書に記載の実施例は、コンピュータ実行可能な命令やデータ構造を格納したコンピュータ読み取り可能媒体を含む、コンピュータプログラム製品を含む。このようなコンピュータ読み取り可能媒体は、汎用或いは専用コンピュータやプロセッサを有するコンピュータでアクセス可能な媒体であればよい。例として、このようなコンピュータ読み取り可能媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭや他の光ディスク記憶装置、磁気ディスク記憶装置や他の磁気ディスク記憶装置、或いは、必要なプログラムコードをコンピュータ実行可能命令やデータ構造といった形で保持し格納するために用いられて、汎用或いは専用コンピュータやプロセッサを有するコンピュータでアクセスできる媒体を含む。情報がネットワークや他の通信の接続（有線、無線、或いは有線と無線の組み合わせ）を使ってコンピュータに転送や送信されると、コンピュータはその接続を適宜コンピュータ読み取り可能媒体とみなす。従ってこのような接続はコンピュータ読み取り可能媒体とよばれる。上記のものの組み合わせもコンピュータ読み取り可能媒体の範囲に含まれる。コンピュータ実行可能命令は、例えば命令やデータから構成され、その命令やデータによって汎用コンピュータや専用コンピュータ、或いは専用のプロセッサに、或る機能や複数の機能を実施させる。
【００１３】
実施例では一般的な方法をステップの形式で記載しているが、その方法ステップは、一実施例においてはプログラム製品によって実施され、このプログラム製品には、例えば、ネットワーク化された環境にあるコンピュータによって実行されるプログラムモジュールの形式の、プログラムコードのようなコンピュータ実行可能な命令が含まれる。一般的に、プログラムモジュールは、ルーチン、プログラム、目的、構成要素、データ構造等を含むが、これらは特定のタスクを実行するという技術的効果を奏し、特定の抽象データ型を実装するものである。コンピュータ実行可能な命令、関連するデータ構造、そしてプログラムモジュールは、本明細書で開示する方法のステップを実行するためのプログラムコードの例である。このような実行可能な命令や関連するデータ構造の特定の配列は、かかるステップに記載されている機能を実行するための対応する動作の例を示している。
【００１４】
実施例は、プロセッサを有する一以上のリモートコンピュータとの論理的な接続を用いるネットワーク化された環境の中で実践される。論理的接続には、ローカルエリアネットワーク（ＬＡＮ）や広域ネットワーク（ＷＡＮ）が含まれるが、ここではこれらを例として示しているので、それに限定されるものではない。このようなネットワーク化された環境は、オフィス全体や企業全体のコンピュータネットワーク、イントラネット、インターネットでは普通のことであり、種々の異なった通信プロトコルを使用することもある。当業者はこのようなネットワークを利用したコンピュータ環境には、一般的にパーソナルコンピュータや携帯機器、マルチプロセッサシステム、マイクロプロセッサ、或いはプログラム可能な家庭用電化製品、ネットワーク接続可能なパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ等を含む、多くの種類のコンピュータシステム形態があると理解されよう。
【００１５】
実施例は、タスクが通信ネットワークを通して接続された（有線或いは無線の接続、又は有線と無線接続の組み合わせによって接続された）ローカルプロセッサやリモートプロセッサによって実行される分散型コンピュータ環境においても実施できる。分散型コンピュータ環境においては、プログラムモジュールはローカルメモリ装置とリモートメモリ装置の両方に配置される。
【００１６】
実施例の全部の或いは一部分を実行する例となるシステムは、コンピュータの形をとる汎用コンピュータ機器を含むが、それはプロセッシングユニット、システムメモリ、そしてシステムメモリとプロセッシングユニットを含む様々なシステムコンポーネントを結ぶシステムバスから構成される。システムメモリには読み出し専用メモリ（ＲＯＭ）とランダムアクセスメモリ（ＲＡＭ）が含まれる。コンピュータもまた、磁気ハードディスクからの読み取りや書き込みのための磁気ハードディスクドライブ、着脱式磁気ディスクからの読み取りや書き込みのための磁気ディスクドライブ、そしてＣＤ−ＲＯＭや他の光媒体のような脱着式光ディスクからの読み取りや書き込みのための光ディスクドライブを含む。これらのドライブや関連するコンピュータ読み取り可能媒体は、コンピュータ実行可能な命令、データ構造、プログラムモジュールやコンピュータの他のデータの不揮発性記憶装置となっている。
【００１７】
本実施例において開示する方法の技術的効果には、ハイパースペクトル画像内の対象物を検出する作業の自動化とその検出に対する信用度を割り当てることを含む。また、この方法は既存のシグネチャーマッチングの技術を、検出された対象物と最も知られているシグネチャーを空間的及びスペクトル的に自動でリアルタイムに比較することによって改良するものである。この技術はスペクトルキューブ配列から合成画像を作成できるシステムであれば、使用可能である。
【００１８】
図１は、本発明の第１実施例におけるハイパースペクトル画像内の監視対象物の追跡を行い、当該対象物の検出確率を判定する方法１０の線図である。遠隔で検出された、単一の画像又はハイパースペクトルビデオを含むハイパースペクトル画像は、ステップ１２でハイパースペクトル画像を処理可能なプロセッサに入力される。プロセッサはステップ１２でハイパースペクトルデータを受け取り、ステップ１４では、ノイズフィルタリング、コーナー検出、画像レジストレーション、ホモグラフィー、フレームアライメントといった一連の周知の画像処理ステップであるがそれらに限定されない一連の画像処理ステップを実行してデータセットを幾つかのハイパースペクトル画像フレームに処理する。プロセッサはステップ１６で検索アルゴリズムを使用してハイパースペクトル画像フレーム内の追跡対象の中から対象候補を選択する。この対象候補と追跡された物体は、実在する対象物のハイパースペクトル画像を表すピクセルのセットとなっている。例えば、動いている対象を探すために作成されたハイパースペクトル画像を収集するシステムでは、対象候補は動いている物体である。この例では、プロセッサはハイパースペクトル画像内の動く物体を識別するための最小の判別特性を計算によって検索する。他の例では、ハイパースペクトル画像を収集するシステムのユーザーが手動でディスプレイのピクセルを選択し、対応するシグネチャーを識別して分析する。
【００１９】
プロセッサは更にステップ１８でハイパースペクトル画像のフレームごとに、選択された対象候補を追跡する。プロセッサは、ステップ２０において、選択された対象候補とテンプレートテータベース２８に格納された既知の対象である基準対象テンプレートと比較する。この基準対象テンプレートは予め設定されたピクセルのセットであり、実在する対象物のハイパースペクトル画像を表す。
【００２０】
ステップ２２では、プロセッサが照合のための比較をする。選択された対象候補がテンプレートデータベース２８の基準対象テンプレートと一致する場合、プロセッサは、ステップ２４で選択された対象候補と基準対象テンプレートのマッチング度と、選択された対象候補が検出される確率を判定する。選択された対象候補がテンプレートと一致しない場合は、プロセッサはステップ３０で選択された対象候補を新しい基準対象テンプレートとみなすか、或いはステップ３２でその対象候補を切り捨てる。その選択された対象候補をステップ３０で新しいテンプレートとみなす場合は、プロセッサは新しい対象に関するデータを対象テンプレートデータベース２８に追加する。
【００２１】
ステップ２４におけるマッチング度と検出確率の判定後、プロセッサはステップ２６でその確率と閾値を比較する。確率が当該閾値を超えている場合は、ステップ３４の措置をとる。超えていない場合、プロセッサは、ステップ１８で選択された対象候補の追跡を続ける。
【００２２】
特定の基準対象テンプレートを基準対象テンプレートデータベース２８から指定して、ステップ２０で対象候補と比較した後、プロセッサはステップ２４でマッチング度と検出確率を計算する。まずステップ２４で、選択された対象候補内に現れるトップスペクトルシグネチャーと基準対象テンプレートの輪郭を示すトップスペクトルシグネチャーを比較し、次にそれを空間的にマッチングさせて、マッチング度と検出確率によって、選択された対象候補が特定の基準対象テンプレートとマッチングする確率を判定する。
【００２３】
ステップ２４でマッチング度と検出確率を判定する方法を実行するプロセッサは、まず、選択された対象候補と基準対象テンプレートの両方に現れるトップシグネチャーの組を判定する。次にプロセッサは、トップシグネチャーの分布を、選択された対象候補と基準対象テンプレートの両方のピクセル数に基づいて計算する。これを行うための最初のステップは、基準対象テンプレートにあるピクセルのある割合を占めている基準対象テンプレート内のシグネチャーの組を判定し、基準対象テンプレート内の各シグネチャーの割合を判定することである。ステップ２４を実行するプロセッサは、次に、選択された対象候補のシグネチャーの分布を判定する。各シグネチャーのピクセルの分布が基準対象テンプレートのシグネチャーの分布に類似している場合、プロセッサは、両方の類似しているシグネチャーのピクセルの最大差と最小差を考慮して、各シグネチャーのマッチング度を計算する。プロセッサは、ハイパースペクトルピクセルの分布の類似性を一以上の方法を用いて計算する。類似性を判定する方法には、ＳＡＭ、ＳＩＤ、ＺＭＤＡ、バタチャリヤ距離が含まれる。プロセッサは、実装に応じて類似性を判定する他の方法を使うこともある。
【００２４】
仮にＳi＝｛ｓ1，ｓ2，・・・，ｓp｝を対象のシグネチャーの集合であるとする。そしてｘijがハイパースペクトルフレームの２次元の空間表現ではｉｊという位置にあるピクセルとする。ｑがハイパースペクトル画像のスペクトルバンドの数を表す場合、ピクセルｘijは、ｘb1，ｘb2，・・・，ｘbqという値の組を有する、サブピクセルの配列から構成されている。したがって、各ピクセルは、ピクセルが表す空間的位置の各スペクトルバンドに関連づけられたサブピクセルを含む。
【００２５】
ここで、簡略にするために、一つの選択された対象候補を対象物Ｏiとし、Ｏiは対象Ｔとして参照される基準テンプレート対象と空間的にマッチングしている。対象ＴのＲ％のトップシグネチャーの組が対象物Ｏiにλという同様の割合で存在する場合は、対象物Ｏiはスペクトル的にも対象Ｔと信用度Ｃでマッチングしている。目標は対象物と対象を空間的にもスペクトル的にもマッチングさせること、即ち対象物と対象の形状とシグネチャーが類似しているということである。
【００２６】
仮にＮiを対象物Ｏiのピクセル数とする。ｒ＜ｐであるがｒは対象物Ｏiのピクセルの組の基数やサイズを規定しｎi1，ｎi2，・・・，ｎirは、類似したシグネチャーｓ1，ｓ2，・・・，ｓrを示すとする。ステップ２４を実行するプロセッサは、対象物ＯiのトップＲ％のスペクトルシグネチャーが対象物ＯjのトップＲ％のシグネチャーとマッチングしている場合、２つの対象物ＯiとＯjが、スペクトルマッチしているとみなす。｛ｎi1，ｎi2，・・・，ｎir｝と｛ｎj1，ｎj2，・・・，ｎjr｝としてそれぞれ表される対象物ＯiとＯjの全ての選択された数のトップシグネチャーがそれぞれ：
【００２７】
【数１】
2014038614.tif 000003
で表される場合２つの対象物ＯiとＯjは厳密にλという同じ割合でマッチングしている。
各シグネチャーｌのマッチング度は次のように定められる。
【００２８】
【数２】
2014038614.tif 000004
この方法では各シグネチャーｌのマッチング度を求めるために他の定義を使用することもある。ステップ２４でマッチング度を判定するのに使う定義は、周知のファジー測度の数学的定義に合致してなければならない。
【００２９】
最後に、ステップ２４で方法を実行するプロセッサは、テンプレート内のシグネチャーの組と対象物のシグネチャーの組の類似性に基づいて検出確率を計算する。対象物ＯiにはＮi個のピクセルがあり、対象物ＯjにはＮj個のピクセルがあるとすると、プロセッサはステップ２４でマッチング度と各シグネチャーにマッチングするピクセルの数に基づいて検出確率を計算する。プロセッサはマッチング度を対象物のピクセルの数に正規化して検出確率を算出し、選択された対象候補の物体の画像とハイパースペクトル画像の基準対象テンプレートがどの程度近似しているかという信用度を判定する。対象物ＯiのＮｉ｜ｓ個のピクセルがシグネチャーｓとλという同じ割合でマッチングする場合、ＴＭとして参照される検出確率は次のように算出される。
【００３０】
【数３】
2014038614.tif 000005
ステップ２６では、対象テンプレートにマッチングしている選択された対象候補の検出確率ＴＭを閾値と比較する。ステップ２６で示すようにプロセッサはＴＭ−１を計算して閾値εと比較する。ＴＭ−１がこの閾値εを超えている場合、プロセッサはステップ３４で措置をとる。超えていない場合、プロセッサはステップ１８に戻って選択された対象候補の追跡を続ける。この閾値の値εは、ステップ２２の照合アルゴリズムの実行とステップ１６の検索アルゴリズムと、ハイパースペクトル画像の場面での対象物の速度のような、特定の対象候補とデータベース２８の基準対象テンプレートに関連する情報に基づいて選択される。
【００３１】
ＴＭの値によって様々な信用度が定義づけられる。例えば、ＴＭが０．３５未満の場合、信用度は非常に低い。ＴＭが０．３５と０．６０の間の場合、信用度は低く、ＴＭが０．６０と０．７５の間の場合、信用度は中程度で、ＴＭが０．７５と０．８５の間の場合、信用度は中程度より少し高い。ＴＭが０．８５よりも大きい場合、信用度は高いことになる。マッチングする確率が高くなるほど、その結果はＴＭのレベルでマッピングされた一連の色で反復表示され、検出された信用度の高い対象と信用度の低い対象とを区別する。例えば、検出された信用度の高い対象の画像の全てのピクセルを、ディスプレイでは赤で色付けできる。実際の実施に応じて他の閾値や信用度や表示方法が用いられる。
【００３２】
プロセッサがステップ１２でデータを受け取り、それをステップ１４でハイパースペクトル画像フレームのセットに処理してから、ステップ１６で次にハイパースペクトルフレームから対象候補を選択する。プロセッサは、ステップ１６で対象候補を選択するために、ハイパースペクトルデータの検索アルゴリズムを選択してこれを使用する。ハイパースペクトルデータの次元は、主成分分析、特性の抽出やエントロピー測定やその他を含む、周知の次元縮小法を使って縮小される。図２は本発明の一実施例におけるハイパースペクトルデータの検索アルゴリズムを選択する方法１００の線図である。ハイパースペクトルデータの検索アルゴリズムを選択するために、方法１００を実行するプロセッサは、最初にステップ１１０でハイパースペクトルフレームの特性をデータベースに保存する。次にステップ１１２でハイパースペクトルフレームの特性を評価する。ステップ１１２で、その特性がハイパースペクトルフレームにとって有意であると評価された場合、ステップ１１６でデータに検索アルゴリズムを適用してフレームの対象候補を区別する。ステップ１１２で、その特性がハイパースペクトルフレームにとっては有意でないと評価された場合は、プロセッサはステップ１１４で第２の特性を評価する。ステップ１１４で第２の特性がハイパースペクトルフレームとして有意な場合は、プロセッサはステップ１２０で第２のスペクトル検索アルゴリズムをデータに適用してフレームの対象候補を区別する。ステップ１１４において第２の特性がフレームにとって有意でないと評価された場合、プロセッサはステップ１１８で第３の特性を評価する。ステップ１１８で第３の特性がハイパースペクトルフレームとして有意であると評価された場合、プロセッサはステップ１２２で第３の検索アルゴリズムをデータに適用してハイパースペクトルフレームの対象候補を区別する。プロセッサがステップ１１８で第３の特性がハイパースペクトルフレームとして有意でないと評価した場合、ステップ１２４でデータにデフォルト検索アルゴリズムを適用する。
【００３３】
最初に、ステップ１１０でプロセッサは、ハイパースペクトルフレームの特性を判定する。プロセッサは、ハイパースペクトルの特性を後の検索アルゴリズムを選択する際の処理に使えるように、そのハイパースペクトルフレームの特性をステップ１１０で保存する。特性の例としては、撮像された場面の照度のばらつき、類似するシグネチャーを有するピクセルのばらつきや基準対象テンプレート内の独特なシグネチャーの数が含まれる。ハイパースペクトルフレームの特性は他にも考えられ、これらの例に限定されるものではない。
【００３４】
ステップ１１２でのハイパースペクトルフレームの第１特性の評価に基づいて、プロセッサは、第１特性を有するハイパースペクトルデータに適しているとわかっている検索アルゴリズムをステップ１１６で適用する。ステップ１１２でハイパースペクトルフレームの第１特性を評価したときに、第１の検索アルゴリズムがそのハイパースペクトルフレームには適さない場合、プロセッサは、ステップ１１０で保存されていたフレーム特性にアクセスして、ステップ１１４で第２のフレーム特性を評価する。一例としては、第１特性がハイパースペクトルフレームの撮像された場面の照度のばらつきであり得る。プロセッサは、撮像された場面の照度のばらつきを判定するためにハイパースペクトルフレームの特性にアクセスする。プロセッサは、ばらつきが大きいか小さいかを判定する。方法の実施に応じて他のフレーム特性を第１のフレーム特性として使用することもある。
【００３５】
第１のハイパースペクトルフレームの特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ１１６で第１の検索アルゴリズムを使う。この例では、撮像された場面の照度のばらつきが大きいと算出された場合、最良の結果を得るためにＳＡＭに基づく検索アルゴリズムを使って撮像された場面を処理する。ここでは、その実施によってはＳＩＤ、マハラノビス距離、ＺＭＤＡ、バタチャリヤ距離を含み、またそれ以外のものも含む分類方法に基づく他の検索アルゴリズムも用いられる。
【００３６】
ステップ１１４でのハイパースペクトルフレームの第２特性の評価に基づいて、プロセッサは第２特性を有するハイパースペクトルデータに適しているとわかっている検索アルゴリズムをステップ１２０で適用する。ステップ１１４でハイパースペクトルフレームの第２特性を評価したときに、第２の検索アルゴリズムがそのハイパースペクトルフレームには適していない場合、プロセッサは、ステップ１１０で保存されていたフレーム特性にアクセスして、ステップ１１８で第３のフレーム特性を評価する。一例としては、第２特性が類似のシグネチャーを有するピクセルのばらつきであり得る。プロセッサは類似のシグネチャーを有するピクセルのばらつきを判定するためにハイパースペクトルフレームの特性にアクセスする。プロセッサは、ばらつきが大きいか小さいかを判定する。実施によっては他のフレーム特性を第２のフレーム特性として用いることもある。
【００３７】
第２のハイパースペクトルフレーム特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ１２０で第２の検索アルゴリズムを使用する。この例では、類似のシグネチャーを有するピクセルのばらつきが大きいと算出された場合、最良の結果を得るためにＳＩＤに基づく検索アルゴリズムを使って、撮像されたシーンを処理する。ここでは、その実施によってはＳＡＭ、マハラノビス距離、ＺＭＤＡ、やバタチャリヤ距離を含み、またそれ以外のものも含む類似性や距離測定に基づく他の検索アルゴリズムも用いられる。
【００３８】
ステップ１１８でのハイパースペクトルフレームの第３の特性の評価に基づいて、プロセッサは第３特性を有するハイパースペクトルデータに適するとわかっている検索アルゴリズムをステップ１２２で適用する。ステップ１１８でハイパースペクトルフレームの第３の特性を評価したときに、第３の検索アルゴリズムがそのハイパースペクトルフレームには適さない場合、プロセッサはハイパースペクトルフレームを処理するためにステップ１２４でデフォルト検索アルゴリズムを適用する。一例では、第３の特性が基準対象テンプレート内に固有のシグネチャーの数であり得る。プロセッサは、基準対象テンプレート内の独特なシグネチャーの数を判定するために以前に追跡した対象と対応する基準対象テンプレートを含むハイパースペクトルフレームの特性にアクセスする。プロセッサは、基準対象テンプレート内の独特なシグネチャーの数が多いか少ないかを判定する。方法の実施に応じて他のフレーム特性が第３のフレーム特性として用いられることもある。
【００３９】
第３のハイパースペクトルフレームの特性が有意であると評価された場合、プロセッサはハイパースペクトルフレームとその対象候補を処理するためにステップ１２２で第３の検索アルゴリズムを使用する。この例では、基準対象テンプレート内の独特のシグネチャーの数が多いと算出された場合、最良の結果を得るためにマハラノビス距離に基づく検索アルゴリズムを使って、撮像された場面を処理する。この方法では、その実施によってはＳＡＭ、ＳＩＤ、ＺＭＤＡ、やバタチャリヤ距離を含み、またそれ以外のものも含む類似性や距離測定に基づく他の検索アルゴリズムも用いられる。
【００４０】
全てのフレーム特性を使い切ると、プロセッサはステップ１２４でデフォルト検索アルゴリズムを用いてハイパースペクトルフレームとその対象候補を処理する。デフォルト検索アルゴリズムは、ＳＡＭ、ＳＩＤ、マハラノビス距離、ＺＭＤＡ、バタチャリヤ距離に基づいている。実装によっては、他の検索アルゴリズムがデフォルト検索アルゴリズムとして用いられることもある。
【００４１】
方法１００では他のフレーム特性やその評価を使ってステップを追加することもある。フレーム特性は、ステップ１１２、１１４、１１８で既に開示されている判定ステップの後に続く判定ステップの中に組み込まれる。また、プロセッサは、特定の検索アルゴリズムがハイパースペクトルフレームを処理するのに最適に活用されているかを判定するために多数のフレームの特性を評価する。
【００４２】
方法１００では検索アルゴリズムを追加して実行することもある。例えばプロセッサは多数の検索アルゴリズムを同時にハイパースペクトルフレームに適用して、多数の検索アルゴリズムで同時に処理して得られた多くの結果を、多基準意思決定手順を用いて一つの結果にする作業を行う。
【００４３】
図３は、検索アルゴリズムの許容誤差を選択する方法２００の線図である。図２のステップ１１６、１２０、１２２、と１２４において、選択された検索アルゴリズムを使ってハイパースペクトルフレームを処理するとき、所定のアルゴリズムのパラメータや許容誤差はステップ２１０で最初はデフォルト値や或る値に設定されている。ステップ２１２でデフォルトの許容誤差を有する検索アルゴリズムを使ってハイパースペクトルフレームのデータを処理する。ステップ２１６では、ハイパースペクトルフレームの対象候補を基準対象テンプレートにマッチングさせる、ハイパースペクトルフレームのハイパースペクトルピクセルの数を、選択された検索アルゴリズムによって計算する。対象候補を基準対象テンプレートにマッチングさせるハイパースペクトルピクセルの数が少な過ぎる場合は、ステップ２１８でプロセッサは、選択された検索アルゴリズムの許容誤差を緩和し、ステップ２１２でフレームを、修正された許容誤差の検索アルゴリズムで再度処理する。対象候補を基準対象テンプレートにマッチングさせるハイパースペクトルピクセルの数が多すぎる場合は、ステップ２１４でプロセッサは、選択された検索アルゴリズムの許容誤差を狭め、ステップ２１２においてフレームを、修正された許容誤差の検索アルゴリズムで再度処理する。マッチングさせるハイパースペクトルピクセルの数が許容範囲内である場合、ステップ２２０でプロセッサは、マッチングするハイパースペクトルピクセルの位置とシグネチャーを保存する。
【００４４】
ステップ２１６でマッチングするピクセル数が許容範囲内になるまで、プロセッサはステップ２１４と２１８で検索アルゴリズムの許容誤差を修正するステップと、その後、ステップ２１２で選択された検索アルゴリズムを使ってハイパースペクトルフレームを処理するステップを繰り返す。
【００４５】
本発明の第１実施例における図１のハイパースペクトル画像内の監視対象の追跡と検出確率の判定の方法１０では、基準対象テンプレートデータベース２８の既知のテンプレートに対する対象候補のスペクトル的と空間的なパラメータの分析に基づいて、対象候補の検出確率がステップ２６で閾値を超えている場合、図１のステップ３４の措置をとるように命令する。この時、各対象候補は個々に関連付けられた固有の識別子を有する。図１の方法１０を実行するプロセッサが、スペクトル的及び空間的な特性の変化による対象候補の逸脱を検出した場合、プロセッサは自発的にこの逸脱を対象候補の過程における重大なイベントとしてマークする。プロセッサは識別子を割り当てて、逸脱が検出された対象を新しい対象物として識別する。プロセッサは全ての対象に起きたイベントを集めて再評価するが、このとき、プロセッサが追跡された対象物に新しい識別子又は既存の識別子を関連付けたことをオペレータが評価して補正することもありうる。
【００４６】
図１の方法１０を実行するプロセッサは、図１のステップ１６で対象を選択する時点で対象候補のハイパースペクトル的及び空間的な情報及び特性について、図１の対象テンプレートデータベースにエントリを作成できる。図１の対象テンプレートデータベース２８は、ハイパースペクトル画像内の対象候補をプロセッサが追跡しているときに、ハイパースペクトル的及び空間的な情報に加えて時間の情報を記憶できる。プロセッサが対象候補を追跡するのに用いられたスペクトル的と空間的なパラメータに図１のステップ２０で逸脱を検出した場合、図１のデータベース２８に、後に再検討するときに使うために、イベントとしてその逸脱を分類する情報を記憶する。更にプロセッサは、本来の対象とはかなり違うパラメータを有する新しい対象物体に、同じ又は新しい固有の識別子を関連付ける。イベントに指定するか否かの判定では、信頼度の測定値に基づいてパラメータからの逸脱が大きいかを判定する。信頼度の測定には、空間的、スペクトル的、又はその両方で定められるパラメータを用い、ハイパースペクトル的及び空間的な情報の誤差を確実に感知する。
【００４７】
対象候補のパラメータが予め設定されていたパラメータから大きくかけ離れて、イベントとされるシナリオが多くある。そのようなシナリオとは、追跡対象物が、他の対象物に邪魔された場合、一つの追跡対象物が複数の別個の対象物に分割した場合、或いは、例えば追跡対象物が影に入って、色やコントラスト、輝度のような対象物のスペクトル特性が大きく変わった場合である。他のシナリオも考えられ、これら上記のものに限られない。プロセッサがこのようなイベントの前後で対象候補を結び付けることができない場合、イベントが起きる前に対象候補に使われていた同じ識別子をイベント後の一つ以上の新しい対象候補に関連付けて、対象を見失ったり、誤って表示したりしないようにする。
【００４８】
図４Ａと図４Ｂはこのようなシナリオの例である。図４Ａはシナリオ３００という例を示している。ここでは本発明の一実施例におけるハイパースペクトル画像内の監視対象を追跡し検出確率を判定する方法によって道路を走行中の２台の車両３１０、３１２を検出したというシナリオを示している。図１の方法１０を実行するプロセッサは、図１のステップ１２で、受け付けたハイパースペクトルデータを図１のステップ１４で一連のハイパースペクトルフレームに処理し図１のステップ１６で対象候補を選択する。図１のステップ２０で、対象候補を図１の基準対象テンプレートデータベース２８と比較すると、図１のステップ２４でマッチングの度合と検出確率の計算の結果有意であるため、図１のステップ３４の措置を取る。プロセッサは各車両３１０、３１２に対象識別子を割り当て、その対象識別子は図１の基準対象テンプレートデータベース２８に格納される。
【００４９】
図４Ｂは本発明の一実施例におけるハイパースペクトル画像内の監視対象を追跡し検出確率を判定する方法によって追跡対象の変化を検出するシナリオである。図４Ｂでは、以前に図４Ａで対象候補として認識されていた内の一台の車両３１０が木３２４の影３１８を走行して、図４Ａで追跡されている車両３１０のスペクトル特性とは大きく変化してしまったというイベントを表している。更に、第２の類似の車両が、図４Ａで以前に追跡されていた車両３１０の隣を走行中である。図１の方法１０を実行するプロセッサは、車両３１４と３１６の車両のどちらが図４Ａで追跡されて特定されていた車両３１０であるかを識別して、低い信用度であるとした。プロセッサは図１のステップ３４で措置を取り、両車両３１４と３１６が以前追跡されていた車両の識別子に関連付けられていた識別子を有すると判定して、両方の対象について、イベントの時間を図１のデータベース２８にロギングする。
【００５０】
図４Ａで、以前に識別されていた第２の車両３１２が駐車場で止まり、乗客３２２が止まった車両３２０から出た。プロセッサは図４Ａの元の対象物である車両３１２が２つの別個の追跡対象に分割されたというイベントを検出し識別する。プロセッサは図１のステップ３４で措置を取り、車両３２０と人間３２２がイベントの発生前に図４Ａの車両３１２に関連付けられていた識別子を有すると識別し、図１のデータベース２８にイベントの時間をロギングする。
【００５１】
イベントの情報を記憶することとイベントに関連付けられた識別子を作成することの利点は、このシステムのオペレータが識別子に関連付けられた対象のイベントの履歴を呼び出せることである。オペレータは、識別子や関連付けられた識別子を有する全ての追跡されている対象物をその履歴と一緒に分析し見直すことができる。イベント履歴には追跡対象の識別子がこのシステムによって修正されることになった全てのイベントに関する全てのデータが含まれる。更に、イベントにおいて対象に関連付けられた識別子が誤りである場合、オペレータは手動でシステムを修正することができる。
【００５２】
本明細書では、実施例を使用して最良の態様を含めた本発明を開示し、且つ全ての当業者が、装置又はシステムを作製及び使用すること、並びにこれに含まれるあらゆる方法を実行したりすることを含め、本発明を実施できるようにしている。本発明の特許請求の範囲は請求項によって定義されており、当業者に想到される他の実施例も含み得る。他のこのような実施例は、それらが特許請求の範囲の文言と相違ない構成要素を有する場合、或いはそれらが特許請求の範囲の文言と実質的に相違ない同等な構成要素を含んでいる場合、特許請求の範囲内にあることを意図する。
【符号の説明】
【００５３】
１０  ハイパースペクトル画像における監視対象を追跡して検出確率を判定する方法
１２  データを受け取るステップ
１４  ハイパースペクトルフレームのセットを処理するステップ
１６  対象候補を選択するステップ
１８  選択された対象物を追跡するステップ
２０  データベース中のテンプレートと比較するステップ
２２  マッチングを判定するステップ
２４  マッチング度と検出確率を判定するステップ
２６  検出確率が閾値を超えているか否かを判定するステップ
２８  テンプレートデータベース
３０  新しいテンプレートを作成するか否かを判定するステップ
３２  テンプレート候補を切り捨てるステップ
３４  検出に基づいて措置を取るステップ
１００  ハイパースペクトル検索アルゴリズムを選択する方法
１１０  フレームの特性を保存するステップ
１１２  第１のフレームの特性にアクセスするステップ
１１４  第２のフレームの特性にアクセスするステップ
１１６  第１の検索アルゴリズムを用いるステップ
１１８  第３のフレームの特性にアクセスするステップ
１２０  第２の検索アルゴリズムを用いるステップ
１２２  第３の検索アルゴリズムを用いるステップ
１２４  デフォルトの検索アルゴリズムを用いるステップ
２００  ハイパースペクトル検索アルゴリズムの許容誤差を選択する方法
２１０  初期の許容誤差をデフォルト値に設定するステップ
２１２  選択されたアルゴリズムを実行するステップ
２１４  許容誤差を狭めるステップ
２１６  マッチングするピクセル数を判定するステップ
２１８  許容誤差を緩和するステップ
２２０  ピクセルの位置とシグネチャーを保存するステップ
３００  ２つの対象物がハイパースペクトルイメージングシステムによって検出され、追跡されるシナリオ
３１０、３１２、３１４、３１６、３２０  追跡対象の車両
３１８  影
３２２  人間
３２４  木
【図１】
2014038614.tif 000006
【図２】
2014038614.tif 000007
【図３】
2014038614.tif 000008
【図４Ａ】
2014038614.tif 000009
【図４Ｂ】
2014038614.tif 000010
【外国語明細書】
2014038614000001.pdf