(57)【要約】  撮影プラットフォームとシーンとの間の相対的な動きにより引き起こされる画像の動きを補償するための方法及びシステムが開示される。露出期間の間に、シーンのフレームは多重スペクトル・バンドでそれぞれキャプチャーされ、或るスペクトル・バンドは第1スペクトル・バンドより低い光レベルを有し、同時期のフレームはほぼ同一の引き起こされた画像の動きを含む。より高いSNRのスペクトル・バンドから、引き起こされた画像の動きを推定し、多重バンドの各々で補償を行うために、画像固有関数が使用される。
2019512964.tif 000002
【特許請求の範囲】
【請求項１】
画像をキャプチャーする方法であって：
移動する撮影プラットフォームにおける少なくとも1つのセンサにより露出期間の間に、第1スペクトル・バンドと前記第1スペクトル・バンドより低い光レベルを有する第2スペクトル・バンドとでシーンのフレームをキャプチャーするステップであって、前記第1スペクトル・バンドでキャプチャーされたフレームと前記第2スペクトル・バンドでキャプチャーされたフレームとは、前記撮影プラットフォームと前記シーンとの間の相対的な運動により引き起こされた同じ画像の動きを含む、ステップ；
前記引き起こされた画像の動きを補償するために前記第1スペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に基づいて、1つ以上の変換を算出するステップ；
キャプチャーされたフレームをディジタル的に変換するステップであって、1つ以上の変換は前記引き起こされた画像の動きを補償する、ステップ；及び
第2スペクトル・バンドでより高い信号対雑音比(SNR)の画像を取得するために、前記第2スペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するステップ；
を有する方法。
【請求項２】
前記少なくとも１つのセンサはマルチバンド焦点面アレイ(FPA)を含む、請求項1に記載の方法。
【請求項３】
1つ以上の移動するターゲットを表現する情報を、少なくとも前記第1スペクトル・バンドでキャプチャーされたフレームの中で識別するステップ；
前記識別された情報を、前記露出期間内にキャプチャーされたフレームから除去するステップ；及び
少なくとも1つのディジタル的に変換されたキャプチャーされたフレームに前記情報を加えるステップ；
を更に有する請求項1に記載の方法。
【請求項４】
前記シーンのフレームをキャプチャーするステップが、前記第1スペクトル・バンドと前記第2スペクトル・バンドとでキャプチャーされたフレームを位置合わせするステップを含み；及び
前記少なくとも1つのセンサが複数の焦点面アレイ(FPAs)を含み、前記複数のFPAsのうちの各FPAは、別個のスペクトル・バンドでフレームをキャプチャーし、かつ複数のFPAsのうち他のFPAの各々に対する既知の位置関係を有する；
請求項1に記載の方法。  
【請求項５】
前記より高いSNRの画像は、高いNIIRS夜間画像を含む、請求項1に記載の方法。
【請求項６】
前記シーンをキャプチャーするステップが、より短い第1スペクトル・バンド露出時間とより長い第2スペクトル・バンド露出時間とをインターリーブするステップを含む、請求項1に記載の方法。
【請求項７】
前記第1スペクトル・バンドは放射バンドを含み、前記第2スペクトル・バンドは反射バンドを含む、請求項1に記載の方法。
【請求項８】
前記1つ以上の変換を算出するステップが、勾配を算出するために、前記第1スペクトル・バンドでキャプチャーされた連続的なフレーム画像を比較し、前記勾配を1つ以上の画像固有関数に当てはめ、1つ以上の対応する固有関数係数を算出するステップを含み；及び
前記キャプチャーされたフレームをディジタル的に変換するステップが、前記対応する係数を利用して前記1つ以上の画像固有関数を、キャプチャーされたフレームに適用し、既知の撮影プラットフォームの軌道及びセンサが指示する動きの影響を、前記キャプチャーされたフレームから除去するステップを含む；
請求項1に記載の方法。
【請求項９】
前記画像固有関数は、直線的運動、回転、伸縮、アナモルフィック・ストレッチ、スキュー、及びジッターのうち少なくとも何れかを含む、請求項8に記載の方法。
【請求項１０】
画像をキャプチャーするように構成されるシステムであって：
少なくとも1つのセンサにより露出期間の間に、第1スペクトル・バンドと前記第1スペクトル・バンドより低い光レベルを有する第2スペクトル・バンドとでシーンのフレームをキャプチャーするように構成される移動可能な撮影プラットフォームであって、前記第1スペクトル・バンドでキャプチャーされたフレームと前記第2スペクトル・バンドでキャプチャーされたフレームとは、前記撮影プラットフォームと前記シーンとの間の相対的な運動により引き起こされた同じ画像の動きを含む、移動する撮影プラットフォーム；
前記引き起こされた画像の動きを補償するために前記第1スペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に、1つ以上の画像固有関数を当てはめることに基づいて、1つ以上の固有関数係数を算出するように構成される変換計算プロセッサ；
前記画像の歪みを補償するために、1つ以上の固有関数変換及び算出された1つ以上の固有関数係数により、キャプチャーされたフレームをディジタル的に変換するように構成される画像補正プロセッサ；及び
第2スペクトル・バンドでより高い信号対雑音比(SNR)の画像を取得するために、前記第2スペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するように構成される融合プロセッサ；
を有するシステム。
【請求項１１】
前記少なくとも１つのセンサはマルチバンド焦点面アレイ(FPA)を含む、請求項10に記載のシステム。
【請求項１２】
1つ以上の移動するターゲットを表現する情報を、前記第1スペクトル・バンドでキャプチャーされたフレームの中で識別し；
前記識別された情報を、前記露出期間内にキャプチャーされたフレームから除去し；及び
少なくとも1つのディジタル的に変換されたキャプチャーされたフレームに前記情報を選択的に加える；
ように構成される移動体プロセッサを更に有する請求項10に記載のシステム。
【請求項１３】
前記少なくとも1つのセンサが複数の焦点面アレイ(FPAs)を含み、前記複数のFPAsのうちの各FPAは、別個のスペクトル・バンドでフレームをキャプチャーし、かつ複数のFPAsのうち他のFPAの各々に対する既知の位置関係を有し；及び
前記移動する撮影プラットフォームは、前記第1スペクトル・バンドと前記第2スペクトル・バンドとでキャプチャーされたフレームを位置合わせするように構成される位置合わせプロセッサを含む；
請求項10に記載のシステム。
【請求項１４】
前記より高いSNRの画像は、高いNIIRS夜間画像を含む、請求項10に記載のシステム。
【請求項１５】
前記少なくとも1つのセンサは、より長い第2スペクトル・バンド露出時間とインターリーブされたより短い第1スペクトル・バンド露出時間において前記シーンのフレームをキャプチャーする、請求項10に記載のシステム。
【請求項１６】
少なくとも前記第1スペクトル・バンドは放射バンドを含み、前記第2スペクトル・バンドは反射バンド(SWIR)を含む、請求項10に記載のシステム。
【請求項１７】
前記変換計算プロセッサは、勾配を算出するために、前記第1スペクトル・バンドでキャプチャーされた連続的なフレーム画像を比較し、前記勾配を1つ以上の画像固有関数に当てはめ、前記引き起こされた動き及びポインティング・エラーを推定することにより、前記1つ以上の固有関数係数を算出するように更に構成され；及び
前記画像補正プロセッサは、前記1つ以上の画像固有関数及び固有関数係数を、キャプチャーされたフレームに適用し、既知の撮影プラットフォームの軌道及びセンサが指示する動きの影響を、前記キャプチャーされたフレームから除去するように更に構成される；
請求項10に記載のシステム。  
【請求項１８】
前記画像固有関数は、直線的運動、回転、伸縮、アナモルフィック・ストレッチ、スキュー、及びジッターのうち少なくとも何れかを含む、請求項17に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
米国政府の権利
本願で説明され保護が請求される発明に関し米国政府の所有権その他の利権は存在しない。
【０００２】
背景技術
本願は一般に画像処理に関連し、特に、持続的な観察のためにプラットフォームの動きに起因するフレーム間の画像変動を修正することに関連する。
【０００３】
オーバーヘッド・プラットフォームに基づく(例えば、空中又は宇宙ベースの)センサから、ターゲットの持続的なビデオ(即ち、多数の画像シーケンス)を収集する要請が存在し、ターゲットはディスプレイにより容易に眺められる及び/又は判読されることが可能なものである。これは、限られた処理能力しか有しない携帯デバイスを利用する軍事関係者及び/又はその他の人々にとって特に重要なことであるかもしれない。一般に従来の持続性ビデオ・センサは例えば地面のような一箇所に固定されたままである(或いは焦点を合わせたままである)一方、オーバーヘッド・プラットフォームは動いている。しかしながら、プラットフォームの動きは、スケール、視点(例えば、視差)、回転における変化、及び/又は眺めている形状における他の変化を引き起こす。これらの変化は、ターゲット、特徴(features)、及び脅威(threats)の人間による及び/又は機械による解釈を複雑化あるいは妨げてしまう可能性がある。
【０００４】
2013年6月25日付で発行された「Self-Correcting  Adaptive  Long-Stare  Electro-Optical  System」(SCALES)と題する米国特許第8,471,915号は、全体的に本願のリファレンスに組み込まれ、この米国特許は或るシステムを開示しており、そのシステムは、シーンと撮像プラットフォームとの間の相対的な動きに起因する画像フレーム内歪みを防止し、かつ幾何学的な相違が、積分時間内でスミア(smear)として明白化してしまうことを防止し、フレーム内歪みを防止するように構成される。しかしながら、このシステムは画像歪みを防止するために変換に基づいて光学要素を制御することを当てにしており、フレーム内歪みを防止するために、より多くの演算を必要としてしまう。
【０００５】
多くの夜間撮影は日中の撮影よりも低い空間解像度で実行され、その理由は微弱な信号を収集するためにより長い波長又は高速な光学系が使用されるからである。現在の短波赤外ステアリング・センサ(short  wave  infrared(SWIR)  staring  sensors)は、非常に高速な〜F/1光学系を利用して或るビデオ・レートで動作する。判読を可能にする信号対雑音比で長い焦点距離の高い解像度の画像を収集するため、高い米国画像判読性判断指標(National  Imagery  Interpretability  Rating  Scales：NIIRS)の画像及び多重スペクトル画像を提供するために、多くの低光量データ・フレームが統合される必要がある。「Correcting  Frame-to-Frame  Image  Changes  Due  to  Motion  for  Three  Dimensional  (3-D)  Persistent  Observations」と題する2016年3月22日付で発行された米国特許第9,294,755号は、全体的に本願のリファレンスに組み込まれ、この米国特許(‘755パテント)は、夜間の微光又は無光の撮影条件の下でNIIRSの改善をもたらすが、固有関数(eigenfunctions)に適用する係数を進展させるために、プラットフォームの動きの先験的な知識を必要とし、各々の固有関数はシーン全体の変換(a  scene-wide  transformation)を記述する。これらの先験的に算出される係数は、引き起こされる動きの影響を排除するために、多数の画像フレームに適用される。これらの画像修正方法は、ランダム・エラー(例えば、ジッター)や、先験的な情報におけるエラーを無視している。
【０００６】
従って、上記欠点を伴わない改善された画像品質を有する撮影プラットフォームが望まれている。例えば、撮影プラットフォームとシーンとの間の相対的な動きに起因して引き起こされるフレーム間の画像変化を補正することが可能な撮影プラットフォームが望まれている。また、フレーム間変動に特に敏感である低光量アプリケーションで撮影される画像品質を改善することが可能な撮影プラットフォームも望まれており、例えばその撮影プラットフォームは、特にシーン中の三次元的な特徴に対して、幅広い視野、及び/又は地表に対する速い角速度運動を有するものである。
【発明の概要】
【０００７】
様々な実施形態によれば、撮影プラットフォームは、撮影プラットフォームのシーンに対する相対的な動きが存在する場合に、解釈を曲げてしまう「引き起こされた動き(induced  motion)」を補正することが可能である。特に、地表撮影に使用される航空及び低軌道スペース・プラットフォームは、例えば、それらの幅広い視野及び/又は大きな運動角速度に起因して、動きに敏感な傾向がある。更に、夜間及び低光量の撮影プラットフォームは歪みに敏感であり、なぜなら光を収集するためにより長い露出期間が必要とされるからである。引き起こされた動きを補正することにより、「ぼやけ」を引き起こすことなく露出不足及びコントラストの欠落を減らすように、露出期間は増やされることが可能である。更に、撮影プラットフォームはより小さな開口を利用することが可能であり、従って重量、体積及びコストを減らせる。
【０００８】
実施例は、相対的に高い信号対雑音比(SNR)のバンドで画像を収集し、プラットフォームの動きを決定し、シーン全体の変化についての調和した画像固有関数係数を算出し、これらの画像固有関数を算出した係数に従って適用し、高いSNRバンドと共に照準を合わせた少なくとも1つの他のバンドで収集された低光量の画像を補正する。所定の実施例は、多重バンド焦点面アレイ(FPA)を利用することで複数のバンドの間でサンプル間の位置合わせを保証する。低い光レベルのバンドにおける改善されたSNRは、物体空間内で同じグリッドに位置合わせされた空間的に補正されたフレームを平均化することにより達成可能である。低光量撮影の以前の利用の仕方は、一般にスタンド・アローンの画像を含み、典型的には、照明が十分である場合に限り可能である。実施例で使用される低光量フレームのアグリゲーション(aggregation)は、当業者によってかつては適用されておらず、その理由は、引き起こされた動きを測定するためにその画像を利用することは不可能であること、及び特徴を見分けるにはフレーム毎のSNRが低すぎることに起因して固有ベクトル係数を抽出することは不可能であることに起因する。
【０００９】
実施形態では、システムが画像をキャプチャーするように構成され、本システムは、焦点面を有する少なくとも1つのセンサにより露出期間の間に、少なくとも2つのスペクトル・バンドでシーンのフレームをキャプチャーするように構成される移動可能な撮影プラットフォームを有し、スペクトル・バンドのうち少なくとも1つは、スペクトル・バンドの他のものより低い光レベルを有する。第1のより高いSNRのスペクトル・バンドにおけるより短い露出時間は、より低い光レベルのスペクトル・バンドにおけるより長い露出時間とインターリーブされてもよい。単独の焦点面を利用して、各々のスペクトル・バンドでキャプチャーされたフレームは、説明されるように、他のスペクトル・バンドでキャプチャーされたフレームと位置合わせされる。システムは1つ以上のプロセッサを含み、1つ以上のプロセッサは、シーンと撮影プラットフォームとの間の相対的な運動により引き起こされた画像の動きを補償するために、より高いSNRのスペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に基づいて、1つ以上の変換係数を算出し、プラットフォームの動きを補償するために、算出された1つ以上の固有関数係数により、キャプチャーされたフレームをディジタル的に変換し、より高いSNRの画像を取得するために、より低い光量のスペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するように構成される。
【００１０】
別の実施形態では、画像をキャプチャーする方法が説明され、本方法は：移動する撮影プラットフォームにおける少なくとも1つのセンサにより露出期間の間に、第1スペクトル・バンドと前記第1スペクトル・バンドより低い光レベルを有する少なくとも1つの他のスペクトル・バンドとでシーンのフレームをキャプチャーするステップであって、第1及び第2スペクトル・バンドでキャプチャーされたフレームはそれぞれ撮影プラットフォームとシーンとの間の相対的な運動により引き起こされた(縦方向又は横方向の)同じ画像の動き成分を含む、ステップ；撮影プラットフォームとシーンとの間の相対的な運動により引き起こされた画像の動きを補償するために第1スペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に基づいて、1つ以上の固有関数変換係数を算出するステップ；キャプチャーされたフレームをディジタル的に変換するステップであって、1つ以上の変換は画像の歪みを補償する、ステップ；及びより高いSNRの画像をそこで取得するために、より低い光レベルのスペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するステップを有する。
【００１１】
所定の実施形態において、プロセッサは、1つ以上の移動するターゲットを表現する情報を、より高い光レベルのスペクトル・バンドでキャプチャーされたフレームの中で識別するように更に構成される。識別された情報は、露出期間内にキャプチャーされたフレームから除去されてもよく、選択的に、少なくとも1つのディジタル的に変換されたキャプチャーされたフレームに加えられてもよい。
【００１２】
所定の実施形態において、第1及び第2スペクトル・バンドのフレームが同じ引き起こされた画像の動きを捕らえることを保証することは、マルチバンドFPAを利用することにより達成され、他の実施形態では、近接に砲口焦準を定めた複数のFPAsが使用され、複数のFPAsのうちの各FPAは、別個のスペクトル・バンドでフレームをキャプチャーし、かつより高いSNRのスペクトル・バンドに関連するFPAに対して既知の位置関係を有する。この実施形態では、プロセッサは、より高いSNRのスペクトル・バンドでキャプチャーされたフレームを、より低い光レベルのスペクトル・バンドにおけるものと位置合わせする。
【００１３】
より高いSNRの画像は高いNIIRS夜間画像を含んでもよい。より高い光レベルのスペクトル・バンドは放射バンドを含む一方、より低い光レベルのスペクトル・バンドは反射バンド(例えば、SWIR等)を含んでよい。
【００１４】
プロセッサは、勾配を算出するために、第1スペクトル・バンドでキャプチャーされた連続的なフレーム画像を比較し、勾配を1つ以上の画像固有関数にフィッティングし、引き起こされた動き及びポインティング・エラーを推定することにより、1つ以上の画像固有関数変換を算出してもよい。算出されたフレームのディジタル変換は、その後、係数により示される範囲に対する画像固有関数とともに、キャプチャーされたフレームを変換し、オーバーラップする部分を位置合わせし直し、変換後に画像からキャプチャーされたフレームを合計し直すことを含んでもよい。画像固有関数は、直線的運動、回転、伸縮、アナモルフィック・ストレッチ、スキュー、及びジッターの固有関数を含んでもよい。
【００１５】
システム及び方法についてのこれら及び他の特徴及び利点は本開示から明らかであろう。要約、図面及び詳細な説明は本願で説明される発明概念の範囲の制限ではないことが理解されるべきである。
【図面の簡単な説明】
【００１６】
添付図面の例において、様々な図面を通じて同様な参照キャラクタは同じパーツを指す。図面は必ずしも寸法どおりであるとは限らず、むしろ実施例の原理を説明する際に強調している。
【００１７】
【図１Ａ】図1Aは撮影プラットフォームとその初期の視野とを示す。
【００１８】
【図１Ｂ】図1Bは初期の視野と以後の視野との間の変化を示す。
【００１９】
【図２Ａ】図2Aは撮影プラットフォームと初期の視野とを開始点に関して示す。
【００２０】
【図２Ｂ】図2Bは初期及び以後の撮影時間の間での撮影プラットフォームの動きに起因する以後の視野を示す。
【００２１】
【図３Ａ】図3Aは撮影プラットフォームと初期の視野とを示す。
【００２２】
【図３Ｂ】図3Bは撮影されるエリアに向かう撮影プラットフォームの動きに起因する、撮影プラットフォームの以後の視野のスケール変化を示す。
【００２３】
【図４Ａ】図4Aは天頂軸に対する角度及び高度の双方が減少する場合の撮影プラットフォームを示す。
【００２４】
【図４Ｂ】図4Bは高度及び天頂角の変化に起因するX及びY方向双方においてスケール変化した以後の視野を示す。
【００２５】
【図５Ａ】図5Aは紙面に垂直方向に読者に接近する場合の撮影プラットフォームを示す。
【００２６】
【図５Ｂ】図5Bはスキュー(skew)に起因する以後の視野を示す。
【００２７】
【図５Ｃ】図5Cはベクトル場として描かれたスキューを示す。
【００２８】
【図６Ａ】図6Aは直線X方向におけるアナモルフィック・ストレッチ(an  anamorphic  stretch)を含む例示的な固有関数変換のベクトル場を示す。
【００２９】
【図６Ｂ】図6Bは直線Y方向におけるアナモルフィック・ストレッチを含む例示的な固有関数変換のベクトル場を示す。
【００３０】
【図６Ｃ】図6Bは回転(a  rotation)を含む例示的な固有関数変換のベクトル場を示す。
【００３１】
【図６Ｄ】図6Dはスケール(又は焦点距離)の変化を含む例示的な固有関数変換のベクトル場を示す。
【００３２】
【図６Ｅ】図6Eはアナモルフィック・ストレッチを含む例示的な固有関数変換のベクトル場を示す。
【００３３】
【図６Ｆ】図6Fはスキューを含む例示的な固有関数変換のベクトル場を示す。
【００３４】
【図７】図7は例示的なデュアル・バンドFPAディテクタ・アーキテクチャの断面図である。
【００３５】
【図８】図8は実施形態による画像の捕捉及び処理のためのシステム例の機能ブロック図を示す。
【００３６】
【図９】図9は実施形態による画像の捕捉及び処理のためのプロセス例のフローチャートを示す。
【００３７】
【図１０】図10は600kmの高度から1.6ミルの視野で1秒間にわたって見えるシーンの全体的な画像変化についてのベクトル場を示す。
【００３８】
【図１１】図11は回転に対する修正後に残っている画像変化を示す。
【００３９】
【図１２】図12はズームに対する修正後に残っている画像変化を示す。
【００４０】
【図１３】図13はx軸に沿うアナモルフィック・ストレッチに対する修正後に残っている画像変化を示す。
【００４１】
【図１４】図14は45度のアナモルフィック・ストレッチに対する修正後に残っている画像変化を示す。
【００４２】
【図１５Ａ】図15A-15Bは2つの別個の例においてフォトンが少ないスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
【図１５Ｂ】図15A-15Bは2つの別個の例においてフォトンが少ないスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
【００４３】
【図１６Ａ】図16A-16Bは2つの別個の例においてフォトンが豊富なスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
【図１６Ｂ】図16A-16Bは2つの別個の例においてフォトンが豊富なスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
【００４４】
【図１７】図17は、2つの例の2つのフレーム間において算出された方向及び大きさの変化の矢印とともに示すフォトンが豊富なスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
【００４５】
【図１８Ａ】図18A-18Cは、実施形態により達成される、シーンの雑音の多い及びより高いSNRの画像フレームを示す。
【図１８Ｂ】図18A-18Cは、実施形態により達成される、シーンの雑音の多い及びより高いSNRの画像フレームを示す。
【図１８Ｃ】図18A-18Cは、実施形態により達成される、シーンの雑音の多い及びより高いSNRの画像フレームを示す。
【００４６】
【図１９Ａ】図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。
【図１９Ｂ】図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。
【図１９Ｃ】図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。
【図１９Ｄ】図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。
【発明を実施するための形態】
【００４７】
画像をキャプチャーするシステム及び方法が開示される。以下の説明では多くの具体的な詳細が説明される。別の状況では、当業者に周知の詳細は、本発明を曖昧にしないように言及されていないかもしれない。修正、置換及び/又は変化が本発明の範囲及び精神から逸脱することなく施されてよいことが、本開示の観点から当業者に明らかであろう。以下の説明では、同様なコンポーネントは、それらが相違する例で示されるか否かによらず、同じ参照番号を付与されている。上述したように、明確かつ簡潔な方法で本開示の具体例を説明するために、図面は必ずしも寸法どおりであるとは限らず、或る特徴は何らかの概略的な形式で示されているかもしれない。一実施例に関連して記述及び/又は説明される特徴は、1つ以上の他の実施例において、及び/又は他の実施例における特徴との組み合わせ又は代替例において、同じ形式又は類似する形式で使用されてよい。
【００４８】
図1-5は移動する撮影プラットフォーム・ベースのセンサに関連する画像変動の問題を示す。上述したように、持続性の画像及びビデオ・センサは、一般に、例えば地面に関する追跡される一点に固定されたまま(又は凝視したまま、又は焦点を合わせたまま)であるのに対し、上方の撮影プラットフォームは動いている。しかしながら、プラットフォームの動きは、寸法、視点(例えば、視差)、回転における変化、及び/又はその他の観察する形状における他の変化を引き起こす可能性がある。これらの変化は、ターゲット、特徴及び脅威を人間及び/又は機械が解釈することを困難にする又は妨げてしまう可能性がある。
【００４９】
図1Aは撮影プラットフォーム105(この例では、衛星)を示し、撮影プラットフォーム105は、初期の視野110を有し、画像を撮影する一方、ステアリング・ポイント(staring  point)115を凝視している。初期画像は、初期ディテクタ・ポイント(例えば、ピクセル)(白丸で示されている)でセンシングされる。しかしながら、以後の画像では、撮影プラットフォーム105の視野は、シーンと撮影プラットフォーム105との間の相対的な動きに起因して変化しているかもしれない。
【００５０】
図1Bは、撮影プラットフォーム105の動きに起因して、後の画像捕捉では、以後の視野120はもはや初期の視野110と同一の広がりをもっていないことを示す。例えば、(中心の)ステアリング・ポイント115に整合させることは可能であるが、(影の付いた丸で示されるような)ディテクタ・ポイントは、初期のディテクタ・ポイントに対してシフトさせられている。その結果、画像、或いは複数の画像を組み合わせることで形成される複合的な画像(合成画像)はぼやけてしまうかもしれない。
【００５１】
図2A-5Cは、画像の変化を引き起こすかもしれない物理的な動きの例を示す。例えば、図2Aは、プラットフォームが速度Vで動きながら、撮影プラットフォーム105はポイント115を凝視する場合の初期の視野110を示す。図2Bは、全体的な動きに起因する以後の視野220の変化を示す。
【００５２】
視野のサイズ及び方向の変化は、一連の固有関数(a  series  of  eigenfunctions)に分解される。図3Aは、撮影プラットフォーム105の高度が減少する場合の初期の視野110を示す。図3Bは以後の視野320のスケール変化を示す。この例では、スケールの変化は水平方向及び垂直方向の双方で等しく、その理由は撮影プラットフォーム105が視野110に向かって真っ直ぐに移動しているからである。しかしながら、一般的には、スケールの変化は各々の軸に沿って異なっていてよい。視野のスケールの変化は、個々の画像ピクセルのシーンに対するマッピングの変化をもたらす結果となる。
【００５３】
図4Aは天頂軸(the  zenith)及び撮影されるエリアの双方に近付く撮影プラットフォーム105を示す。図4Bは以後の視野420についてのアナモルフィック・スケール変化を示す。特に、以後の視野420は、撮影プラットフォーム105の高度の減少に起因して、X及びY方向の双方においてスケール変更される。更に、以後の視野420はX方向よりもY方向に多くスケール変更されており、その理由は、見通し線425はX軸と垂直のままであるが、角度430は天頂角の変化に起因してY軸に関して変化するからである。
【００５４】
図5Aは、見通し線525を有する速度Vで移動する(即ち、紙面に垂直な方向で読者に接近している(別の例では遠ざかっていてもよい))撮影プラットフォーム105を示す。図5Bは、初期の視野105と、スキュー変化に起因して引き起こされる以後の視野520とを示す。更に、図5Cはスキューの代替的な様子をベクトル場として示し、このベクトル場は実施例による分解法で使用される何れかの固有関数を表現する。ベクトルの長さは、見通し線からの隔たりの大きさに対応する。
【００５５】
撮影プラットフォームに基づくセンサの動きに起因するこれら及びその他の検出されるフレーム間の画像変化は、本願で説明されるように、1つ以上の実施形態において撮像システムを利用することで修正され、1つ以上の実施形態は、連続的な画像が同じ不動のプラットフォームから眺めた際に見えるように、連続的な画像を共通する視野に関してディジタル的に変換する。各々の変換される画像のピクセルのピクセル・サイズ及び方向は同一又は共通している。
【００５６】
図6A-6Fは、静的な眺め(the  stationary  view)を提供するための6つの画像変換固有関数に関連するベクトル場を示す。特に、これらは、X方向及びY方向におけるアナモルフィック・ストレッチ、回転、焦点距離のスケール変化、45度のアナモルフィック・ストレッチ、及びスキューをそれぞれ示し、実施形態に従って撮影システム(及び方法)により実行されてよいものである。更に、不図示の方位角及び仰角の方向における並進の変換が存在してもよい。
【００５７】
アーキテクチャ及びプロセス例
【００５８】
図8は例示的な移動するプラットフォームに基づく撮影システム800の概略を示し、撮影システムは、実施形態に従って、複数のスペクトル・バンドでシーン805の画像(ビデオ・フレーム825)をキャプチャーし、よりフォトンが豊富な内容を有するスペクトル・バンドを利用して、見かけ上の動き及び真の対象物の動きに対するインサイトュー補正(in-situ  corrections)を算出する。システム800は、センサ光学系810、少なくとも1つのセンサ815、変換演算プロセッサ(a  transformation  computation  processor：TCP)820、画像補正プロセッサ835、及び融合プロセッサ840とともに構成される可動撮影プラットフォームを含んでよい。
【００５９】
図9は実施形態に従ってシステム800を利用するプロセス例900のフローチャートを示す。ステップ905において、センサ光学系810及びセンサ815は、複数のスペクトル・バンドでシーン805の画像のフレーム825を収集し、この場合において、(例えば、MWIR、LWIR等のような)スペクトル・バンドのうち何れかは、少なくとも1つの他のスペクトル・バンド(例えば、SWIR)の光レベルより高い豊富なフォトン(光)レベルを有する。
【００６０】
1つ以上の実施形態によれば、地上シーンの各画像は、移動するプラットフォームから或る時点で収集される。画像フレーム825は別の時間又は場合にセンサ815により収集されてもよい。場合によっては、これらのフレーム825は、典型的なビデオの場合のように、隣接する又は連続した画像フレームであってもよい。その他に、フレーム825は異なる時間で処理されてもよいが、必ずしもセンサ815により収集された順序であるとは限らない。持続的なビデオ・コレクションに対するフレーム間の変化は、画像フレーム・セット(即ち、画像のシーケンス)に関してだけでなく、スーパーフレーム・セット(即ち、多数のフレーム・セット)に関して決定又は算出されることが可能である。ここで使用されるように、「フレーム間(inter-frame)」は、画像フレーム同士の間の様子を指し、「フレーム・トゥ・フレーム(frame-to-frame)」とも言及される。
【００６１】
画像825は、例えば、センサにより収集される、ビデオ画像及び/又は多数の断続的な静止画像を含んでもよい。1つ以上の実施例において、センサ815はカメラであってもよい。ビデオのフレーム・レートは例えば毎秒30フレーム(fps)又はHzであってもよい。但し、フレーム・レートは、例えば60fpsのように、より高いものであるとすることも可能である。画像フレームは、様々な色(例えば、レッド・グリーン・ブルー(RGB)又はシアン・イエロー・マゼンダ・ブラック(CYMK))をサポートするか又はモノクロであるかによらず、ディジタル・データであってもよく、複数のピクセルを含んでもよく、そこに何が描写されているかを観察者が認めることを許容する程度に十分な解像度を有するものである。例えば、解像度は、例えば、幅及び高さの双方で480ピクセルであってもよいし、或いは640×480、800×800、1024×768、又は1280×800のように更に大きくてもよい。(例えば、より小さな及びより大きな)他の解像度も可能である。
【００６２】
システム800はセンサ光学系810によりシーン805の1つ以上の画像をキャプチャーし、センサ光学系810は複数の反射ミラー及び/又は透過性レンズ要素を含んでもよい。シーン805の画像は、センサ光学系810により修正されるように、センサ815に焦点を結ぶ。特に、センサ810はシーン805から電磁放射(光)を受信し、受信した電磁放射(光)をセンサ815にフォーカスする。一実施例では、センサ光学系815は、対物レンズ、又はその他の従来の光学系(1つ以上のミラー及び/又はレンズ等)を含んでよい。
【００６３】
センサ815は、移動するプラットフォーム上に搭載されてもよく、そのプラットフォームは空中又は宇宙ベースの撮影プラットフォームであってもよい。センサ815は、興味のある入射光に対応する電磁放射(光)を検出し、静止画像又はビデオ画像によらず画像フレームを生成するように構成される任意の二次元(2-D)センサを含んでよい。例示的な電磁放射ディテクタは、相補型金属酸化物半導体(CMOS)、電荷結合デバイス(CCD)、又はその他のディテクタ(例えば、赤外線(IR)、可視光(VIS)、及び/又は紫外線(UV)スペクトルで客体の電磁放射(光)検出する程度に十分なスペクトル応答を有するもの)を含んでもよい。
【００６４】
ほぼ完全な画像レジストレーション(又は位置合わせ)を達成するため、近似的に同じ誘発画像運動(a  nearly  identical  induce  image  motion)を捕捉するために、複数のスペクトル・バンドのフレームにおいて、センサ815はマルチバンドFPA技術を活用してもよく、その場合、2つの感光レイヤが結合され且つ完全に整合させられる。例えば、レイセオン・カンパニー(マサチューセッツ州ウォルサム)の子会社であるレイセオン・ビジョン・システムズ(RVS)(カリフォルニア州ゴリータ)は、様々な半導体材料及び/又はFPAアーキテクチャを利用することにより、3-5マイクロメートルMWIR及び8-12マイクロメートルLWIRスペクトル領域におけるハイ・パフォーマンスFPA技術を開発している。これらの技術のうち図7の断面図に示されるものは、デュアル・バンドHgCdTe赤外線FPAアーキテクチャである。レイヤの間のレイヤ間距離は、それぞれのスペクトル・バンドにおいてシーンの各自のセンシングに無視しうる影響しか持たず、それにより、それぞれのフレームでキャプチャーされる引き起こされる画像の運動成分は同じであると考えられてよい。第2スペクトル・バンドに関するスペクトル情報の利用可能性は、シーン内の対象物の固有のシグネチャ(unique  signatures  of  objects)及び絶対温度の識別を可能にする。本願で説明される信号処理技術と結合される場合、多重カラー赤外線検出(multiple  color  infrared  detection)は、シングル・カラー・デバイスのものと比較して改善された感度をもたらす。
【００６５】
多重スペクトル・バンドでFPAセンサ815により取得されるスペクトル信号は、(例えば、RVS社やSofradir社により製造される)一群の読み出し集積回路(read-out  integrated  circuit：ROIC)エレクトロニクスを利用して読み出されてもよい。シーン805についての多くのショート露出画像(Many  short  exposure  images)(例えば、1ないし100ms)がFPAセンサ815により取得されてもよい。露出は、1つの露出期間(又は画像)内のプラットフォームの動きが比較的微小であるように期待される程度に十分短く選択される。そして、連続的なフレーム825は静的な観察者により眺められるような体裁を有するように処理又は変換される。優れたSNRで多重バンドでほぼ完全に整合した画像を取得するために、長い焦点距離の(例えば、回折が制限された)光学系を利用することで、フォトンが豊富なスペクトル・バンド(photon  rich  spectral  band(s))における非常に短い露出(例えば、ミリ秒)が、フォトンが乏しいバンド(photon  poor  band(s))のより長い露出(例えば、ミリ秒の数十倍)と交互になされてもよい。即ち、1つのFPAセンサ815の利用は、収集の時間が分配されることを許容し、例えば、露出時間の95-99%をフォトンが乏しいスペクトル・バンドに、1-5％をフォトンが豊富なスペクトル・バンドに分配することを許容する。
【００６６】
(例えば、MWIR、LWIR等のような)フォトンが豊富なスペクトル・バンドは、高いSNRの端末画像を提供するかもしれず、その画像はスペクトル収集システムの全体的な動きを決定するために使用される。(例えば、SWIRビジブル/NIR、及び/又はサーマルSWIR等のような)フォトンが乏しいスペクトル・バンドの各フレーム825は、低いSNRで反射を含む(即ち、大気光、月光、人工光等を含む)。フォトンが豊富なバンドにより測定される動きは、プラットフォームの動きの影響を除去するために、フォトンが乏しい画像に適用される変換を進展させるために使用される。変換された反射スペクトル・バンド画像の時間平均(即ち、合計)は、高いNIIRS反射画像をもたらす結果となり、その画像は対象物の認識を改善するようにサーマル画像と融合されることが可能である。
【００６７】
マルチバンドFPAセンサ815は効率及び位置合わせ(co-registration)に関して好ましいが、フォトンの豊富さが異なるスペクトル・バンドで画像を取得するために2つ以上の別個のFPAsを利用することが許容可能であることが、認められるであろう。そのような実施形態では、FPAsは固定的な空間的位置関係で線密に砲口焦準を合わせ、それにより、個々のFPAsでキャプチャーされるフレーム825は矛盾無く位置合わせされることが可能である。これは、プラットフォームにおけるFPAsの固定された既知の相対的な間隔に基づいてフレームを位置合わせするように予め決定された何れか又は双方のフレームに画像変換を適用することにより達成されてもよい。移動プラットフォーム撮影システム800は、第1スペクトル・バンド及び第2スペクトル・バンドでキャプチャーされたフレーム825を共に位置合わせするように構成される別個のレジストレーション・プロセッサを含んでもよく、或いはその機能がTCP820により実行されることも可能である。
【００６８】
センサは、シーン内の如何なる特定のロケーションに関してもトレーニングされる必要はないことが、認められるであろう。そうではなく、変換は、(実際に動いている対象物や、地表面上空の対象物以外について)不動のプラットフォームから撮影されたように見えるシーンをもたらし得る。背景は近似的に静的であるので、移動する対象物は観測者により容易に検出され得る。高さを有する3-D特徴は、予測可能な経路に沿ってシーンの中で僅かに「傾斜する」動き(a  slight“leaning”  motion)を示す。動きの速度は対象物の高さに直接的に比例する。
【００６９】
TCP820は、センサ815から画像フレームを受信し、本願で説明されるような画像処理を実行するように構成される。TCP820は、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGAs)、ディジタル信号プロセッサ(DSPs)、又はその他の集積形態のようなハードウェアを含んでよい。しかしながら、TCP820は、全体的又は部分的に、1つ以上のコンピュータで動作するコンピュータ実行可能な命令又はコードを有する1つ以上のコンピュータ・プログラム(例えば、1つ以上のコンピュータ・システムで動作する1つ以上のプログラム)として、1つ以上のプロセッサで動作する1つ以上のプログラム(例えば、1つ以上のマイクロプロセッサで動作する1つ以上のプログラム)として、ファームウェアとして、それらの任意の組み合わせとして集積回路で等しく実現されてもよいこと、及びソフトウェア及び/又はファームウェアに関する回路の設計及び/又はコードの記載は本開示に照らして当業者に十分に把握され得ることを、当業者は認めるであろう。更に、本願で説明される対象事項についての仕組みは様々な形態でプログラム製品として分散されることが可能であること、及びその分散を実行するのに使用される特定のタイプのコンピュータ読み取り可能な媒体によらず、本願で説明される対象事項の例示的な実施形態は適用可能であることを、当業者は認めるであろう。
【００７０】
或る実施形態では、TCP820は撮影プラットフォーム上に及び/又はセンサ815とともに直接的に配置されてもよい。従って、変換された画像は、何らの追加的な画像処理を必要とすることなく、ユーザーに直接的に送信されることが可能である。しかしながら、そうすることは必須でない。従って、或る実施形態では(説明されるように)、画像TCP820は撮影プラットフォームから別個であってもよい。例えば、TCP820は地上ベースであってもよい(例えば、コマンド・センターにおけるものであってもよい)。他の例では、TCP820は、例えば車両、戦車、ヘリコプタ、航空機、船舶、潜水艦等のような乗物に基づくものであってもよい。センサ815及びTCP820は、情報及びデータを好ましくは「リアルタイム」で1つ以上のコネクション及び/又はそれらの間のネットワークを介して、情報を通信及び/又は共有してもよい。センサ815は、画像フレーム、軌道情報、センサ視界情報をTCP820へ何らかの手段により送信してよい(何らかの手段は、例えば、無線機、マイクロ波その他の電磁放射手段、光通信、電気通信、有線又は無線伝送等を含む)。更に、イントラネット及びインターネットのような1つ以上のディジタル・ネットワークによりネットワーク化された通信も可能である。
【００７１】
TCP820は、センサ815により収集された様々な画像間の相違する性質及び程度を判断するように、及びフレーム間の相違を数学的に記述する1値有情の変換関数を適用するように更に構成される。一実施形態では、変換は固有関数変換であってもよい。TCP820は、ステップ910において、差分又は勾配画像を生成するために、信号リッチ・スペクトル・バンドでキャプチャーされたシーン850の一連のフレーム825を比較する。TCP820は、連続的なフレームを比較する前に、センサ815同士の間の固定的な既知の空間的な位置関係に基づいて、個々のスペクトル・バンドにおける露出期間の間にキャプチャーされる(複数の)フレームを共に位置合わせしてもよい。ステップ915において、TCPは、「信号リッチ・スペクトル・バンドでキャプチャーされるフレーム825に含まれる情報であってシーン805の中で移動しているターゲット(「真の移動体」(true  movers))を表現する情報」を選択的に識別し、識別された情報を除外する。そのような真の移動体は信号リッチ・バンドで解像度を改善することが可能である。
【００７２】
ステップ920において、TCP820は、シーン全体の差分又は勾配画像を固有関数(上述したもの及び図5C、6A-6Fで示されるもの等)に当てはめ、適切な1つ以上の変換と対応する最適な一群の固有関数係数とを決定し、その係数群は、シーン及び撮影プラットフォーム間の相対的な運動により誘発される画像の動きを補償するためのものである。変換のモデリングは、1つ以上の固有関数変換に関する各々の固有関数について「最も当てはまる(best-fit)」係数を発見するように実行されてよい。変換は、最大誤差又は平均二乗誤差(MSE)を最小化する係数又は「ベスト・フィット(best  fits)」を算出することにより最適化されてもよい。ベスト・フィットを計算した後に、引き起こされている画像の動きを補正するために、モデル化された固有関数変換が、画像をディジタル的に変換するように画像補正プロセッサ835へ出力される。
【００７３】
本願で説明されるようなシーン全体の変化を利用するシーン変換の推定830(引き起こされた画像の動きを推定及び補正するために必要な固有関数変換及び関連する係数の推定を含む)は、例えばサブ・フレーム画素グループを利用することのような代替的な技術で実行されることが可能であるが、そのようなアプローチはより多くの演算負担となってしまう傾向にあることを、画像処理の当業者は容易に認めるであろう。
【００７４】
画像補正プロセッサ835は、TCP820からシーン変換830(即ち、適切な固有関数変換及び係数)を受信し、全てのスペクトル・バンドの画像フレーム825をディジタル的に変換し、それにより、センサ815からの画像フレーム825は、同じ固定された又は不動の撮影プラットフォームから眺められているように見える。特に、画像補正プロセッサ835は、共通する視野(FOV)に対してシーン805の連続的な画像をディジタル的に変換するように構成されてもよく、それにより、連続的な画像は同じ不動のプラットフォームから眺められているように見える。例えば、固有関数変換は、上述したように、回転、ズーム、方位角方向(又は焦点面アセンブリ(FPA)のX軸)でのアナモルフィック・ストレッチ、(X軸から)45度方向でのアナモルフィック・ストレッチ、(Y軸からの)仰角方向でのアナモルフィック・ストレッチ、及び/又は(X軸から)-45度方向でのアナモルフィック・ストレッチを含んでもよい。
【００７５】
画像補正プロセッサ835は、ステップ925において、使用される各々のスペクトル・バンドにおけるキャプチャーされた全てのフレーム825にシーン変換を適用し、キャプチャーされたフレーム825をディジタル的に変換し、プラットフォームの動き及びポインティング・エラー(及び選択的にジッター)を補償する。本質的に、固有関数変換が算出される基礎の凍結面(the  frozen  plane)の上方又は下方にあるオブジェクトに関し、視差に起因する非常に小さく現れる動きが存在する。
【００７６】
融合プロセッサ840は、信号プア・スペクトル・バンドでキャプチャーされた画像825の解像度を高めるように構成される。融合プロセッサ840は、ステップ930において、スペクトル・バンドで高いSNR画像を取得するために、少ない光レベルを有する1つ以上のスペクトル・バンドでキャプチャーされた複数の連続的な補償済みフレームを位置合わせし直して合計する。「真の移動体」情報が前もって識別され、キャプチャーされたフレーム825から除去されていた場合、そのような情報が、補償されたキャプチャーされたフレームに加え戻されてもよい。進展させられる変換は、信号が乏しいバンドにおける補正を許容し、任意の照明(照明が全く無い場合も含む)の下で夜間でも、回折制限画像のマルチ・スペクトル収集を可能にする。或る場合には、改善された画像は、米国画像判読性判断指標(NIIRS)により高い「評価」となり得る。
【００７７】
変換された画像のビデオ・シーケンスは表示されてもよく、静的な、移動する及び/又は3-Dの対象物が、シーンの表示画像の中で識別されてもよい(例えば、強調、カラーコード化、注釈等が行われてもよい)。従って、人間又はマシンの解釈が顕著に促進される。多くの実施例において、画像が変換されると、追加的なディジタル画像処理は必要とされない。
【００７８】
代替的な実施例
【００７９】
代替的な実施例において、TCP820は、以前に言及され全体的にリファレンスとして組み込まれている‘755パテントで説明されているように、プラットフォームの動き情報についての先験的な情報を当てにする1つ以上の予測技術を利用してもよい。そのような実施例において、本願で説明される技術は、選択的に、フォトンが豊富なMWIRバンド画像に先ず適用されてもよい。これは、既知の軌道及びセンサが示す動きの影響を全ての画像から除外することが可能である。次に、本願で説明される実施形態が、先験的な技術からの画像に適用され、それにより、本願で説明される技術が、先験的な結果における残留エラーのみを算出してもよい。
【００８０】
別の代替的な実施例において、システム800及び方法900は、表示に選択されることも可能な、高められた解像度(例えば、超解像度)の画像を提供してもよい。画像のエンハンスト2-D表示は、例えば、変換されたシーンの集まりに超解像度技術を適用することにより、更に提供されてもよい。更に、画像の3-D表示がステレオ表示により提供されてもよい。これは、生じたとしても僅かな追加処理しか要しない。画像フレームのビデオ・シーケンスが表示され、静的な、移動する、及び3-Dの対象物がシーンの中で識別されてもよい(例えば、強調されてもよい)。従って、人間又はマシンの解釈が顕著に促進される。多くの実施例において、追加的なディジタル画像処理は不要である。
【００８１】
フレーム間のシーンの相違から、上述したように算出される固有関数変換は、初期画像処理ステップとして、以後のキャプチャーされるフレームに適用されてもよい。他の実施例において、変換は、運動誘発誤差を最小化するように、収集光学系810を調節するようにフィードバックされてもよい。
【００８２】
1人以上のユーザーはシステム800と相互作用することが可能である。ユーザーは、典型的には、例えば撮像プラットフォーム及び/又は画像プロセッサ820及び835から離れて位置するであろう。当然に、ユーザーは、撮影プラットフォームに存在してもよいし、及び/又はシステム800の近辺の位置に存在してよい。1つ以上の実施例において、ユーザーは、任意の手段によりシステム800と情報及びデータを通信及び/又は共有することが可能である(その手段は、例えば、無線機、マイクロ波その他の電磁放射手段、光通信、電気通信、有線又は無線伝送等を含む)。更に、イントラネット及びインターネットのような1つ以上のディジタル・ネットワークを介してネットワーク化された通信も可能である。適切な任意のユーザー・ディスプレイが使用されてもよく、ディスプレイは、例えば、表示されるビデオ及び/又は画像フレームのために構成される任意のディスプレイ・デバイスを含んでよい。テレビジョン、コンピュータ・モニタ、ラップトップ、タブレット・コンピューティング・デバイス、スマート・フォン、パーソナル・ディジタル・アシスタント(PDAs)及び/又はその他のディスプレイ及びコンピューティング・デバイスが使用されてもよい。例示的なディスプレイ・デバイスは、例えば、陰極線管(CRT)、プラズマ・ディスプレイ、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイを含んでもよい。
【００８３】
画像の具体例
【００８４】
図10-14は、地面に対する撮影プラットフォームの動きに起因するフレーム間の画像変化を修正する具体例を示す。この例では、4つの固有関数変換(即ち、回転、ズーム、x軸におけるアナモルフィック・ストレッチ、45度方向に沿うアナモルフィック・ストレッチ)が実行される。更に、二乗平均誤差を最小化することにより、各々の固有関数変換に対するベスト・フィット係数が決定される。
【００８５】
これらのプロットは、異なる時点で取得される2つの異なる画像間でのピクセルの相対的な動きを示す。プロットは、地表に対するピクセルの動きをマッピングする。ベクトル矢印の長さ及び方向は、或るフレームから別のフレームへのピクセルの動きを示す。
【００８６】
図10は、特に、600kmの高度から1.6mradの視野で(即ち、近似的に1km)1秒間の間に撮影プラットフォーム105により見える画像変化の全体的な方向及び大きさのベクトル場を示す。図10は、最大の画像変化は近似的に毎秒28μradであることも示す。
【００８７】
図11は、回転補正を実行した後に残っている画像変化を示す。回転のみの除去は、最大画像変化を、近似的に毎秒6.8μradに減らす。
【００８８】
図12は、回転及びズーム(焦点距離)に関する補正後に残っている変化を示す。回転の画像変化に加えて、ズームを除去することは、最大画像変化を、近似的に毎秒2.7μradに減らす。
【００８９】
図13は、回転、ズーム、及びx軸に沿うアナモルフィック・ストレッチに対する補正後に残っている変化を示す。x軸に沿うアナモルフィック・ストレッチを除去することは、最大画像変化を、近似的に毎秒3.8μradに減らす。
【００９０】
図14は、回転、ズーム、x軸に沿うアナモルフィック・ストレッチ、45度のアナモルフィック・ストレッチを補正した後に残っている画像変化を示す。45度のアナモルフィック・ストレッチを除去することは、最大画像変化を、近似的に毎秒0.015μradに減らす。
【００９１】
様々な実施形態によれば、撮影プラットフォーム又はユーザーは、図10-14に関連して説明した変換についての他の組み合わせ及びシーケンスを選択してもよい。図15A-15B及び16A-16Bはそれぞれ月明かりの無い夜間での典型的な画像コレクションの前後でフォトンが乏しい(1.0-1.8μm  SWIR，主に反射されたエネルギ)及びフォトンが豊富な(2.0-2.5μm  SWIR，主に熱エネルギ)スペクトル・バンドについてのシミュレーションされた画像を示す。図15B及び16Bに示されるように露出時間にわたって解像度に関してプラットフォームの動きにより引き起こされる「ぼやけ」の影響(The  blurring  effect)が明確に見受けられる。図17は、図16A-16Bに示されるフレーム間の相違についての算出された方向及び大きさを示す矢印を示す。これらの計算に基づく固有関数変換が、より高いSNR画像を取得するために、信号プア・スペクトル・バンドに適用されることが可能である。
【００９２】
図18A-18Cは、ノイズの多いSWIR画像及びSWIRで取得された改善されたSNRを示す。図18Aは、1.3というピークSNRを有するノイズの多いシーンの単独のSWIRフレームを示す。図18Bは、今や6というピークSNRを示す、説明された実施例により補正された複合フレームを示す。図18Cは、より長いフレーム及びより低い読み込みノイズFPAを利用することで30というSNRの更なる改善を示す。
【００９３】
図19A-19Dは実施例の利点を示し、この場合において、前のシーン(19A,19B)のSWIR及びMWIR画像は、スペクトル・バンドのうち何れか一方のみに関連する情報(例えば、熱)の融合及びより大きな解像度を示す画像(19C,19D)を生成するために、固有関数変換によりディジタル的に補正されてもよい。
【００９４】
本願で使用されるように、「有する」、「含む」及び/又はそれらの複数形式はオープン・エンド形式であり、列挙されたパーツを含み、かつ列挙されていない追加的なパーツを含むことが可能である。「及び/又は」はオープン・エンド形式であり、1つ以上の列挙されたパーツ、及び/又は列挙されたパーツの組み合わせを含む。
【００９５】
本発明は、その精神及び本質的特徴から逸脱することなく、他の具体的な形態に組み込まれてよいことを、当業者は理解するであろう。従って上記の実施形態は本願で説明される発明の限定ではなく全て例示的な文脈で解釈されるべきである。従って本発明の範囲は上記の説明によってではなく添付の特許請求の範囲によって示され、従って特許請求の範囲の意味及び均等の範囲に由来する全ての変更は特許請求の範囲に包含されるように意図されている。
【図１Ａ】
2019512964.tif 000003
【図１Ｂ】
2019512964.tif 000004
【図２Ａ】
2019512964.tif 000005
【図２Ｂ】
2019512964.tif 000006
【図３Ａ】
2019512964.tif 000007
【図３Ｂ】
2019512964.tif 000008
【図４Ａ】
2019512964.tif 000009
【図４Ｂ】
2019512964.tif 000010
【図５Ａ】
2019512964.tif 000011
【図５Ｂ】
2019512964.tif 000012
【図５Ｃ】
2019512964.tif 000013
【図６Ａ】
2019512964.tif 000014
【図６Ｂ】
2019512964.tif 000015
【図６Ｃ】
2019512964.tif 000016
【図６Ｄ】
2019512964.tif 000017
【図６Ｅ】
2019512964.tif 000018
【図６Ｆ】
2019512964.tif 000019
【図７】
2019512964.tif 000020
【図８】
2019512964.tif 000021
【図９】
2019512964.tif 000022
【図１０】
2019512964.tif 000023
【図１１】
2019512964.tif 000024
【図１２】
2019512964.tif 000025
【図１３】
2019512964.tif 000026
【図１４】
2019512964.tif 000027
【図１５Ａ】
2019512964.tif 000028
【図１５Ｂ】
2019512964.tif 000029
【図１６Ａ】
2019512964.tif 000030
【図１６Ｂ】
2019512964.tif 000031
【図１７】
2019512964.tif 000032
【図１８Ａ】
2019512964.tif 000033
【図１８Ｂ】
2019512964.tif 000034
【図１８Ｃ】
2019512964.tif 000035
【図１９Ａ】
2019512964.tif 000036
【図１９Ｂ】
2019512964.tif 000037
【図１９Ｃ】
2019512964.tif 000038
【図１９Ｄ】
2019512964.tif 000039
【国際調査報告】
2019512964.tif 000040
2019512964.tif 000041
2019512964.tif 000042