(57)【要約】  ハイパースペクトル撮像システムは、撮像センサ、マルチスペクトルフィルタ、及びアクチュエータを含む。アクチュエータは、フルスペクトルデータで情景を取り込むよう、撮像センサに対してマルチスペクトルフィルタを移動させる。情景のスペクトルデータはハイパースペクトルデータキューブに格納することができ、それは圧縮、処理、格納、及び／又は遠隔地へ送信することができる。取得された各画像は、ポインティング、焦点合わせ、及びデータ分析を容易にする情景の空間地図を含む。スペクトル測定パラメータは、スペクトル分解能、ストレージ容量、及び伝送帯域幅等の性能を最適化するために動的に構成することができる。このシステムは、高いスペクトル及び空間分解能を達成し、単純、コンパクト、及び軽量であり、それによって効果的なハイパースペクトル撮像システムを提供する。
2020503516.tif 000002
【特許請求の範囲】
【請求項１】
マルチスペクトル撮像装置であって、
複数のピクセルセンサを有する領域撮像デバイスと、
前記領域撮像デバイスの光路内に配設されるマルチスペクトルフィルタと、
前記領域撮像デバイスに対して前記マルチスペクトルフィルタを移動させるよう構成されるアクチュエータと、
制御モジュールであって、
前記領域撮像デバイスによって捕捉される情景の対象の空間領域を特定し、
前記情景の対象のスペクトルを特定し、
前記マルチスペクトルフィルタ及び対象の前記スペクトルに少なくとも部分的に基づいて、連続画像取り込みのためのサンプリング距離を特定し、
前記サンプリング距離で１回以上の露光を撮るよう前記領域撮像デバイスに指示するよう構成される制御モジュールと、
１回以上の露光に少なくとも基づいて前記情景の画像を形成するよう構成される撮像モジュールと、
を備える、マルチスペクトル撮像装置。
【請求項２】
人工衛星を更に備え、前記領域撮像デバイス、前記制御モジュール、及び前記撮像モジュールは前記人工衛星に搭載される、請求項１に記載の装置。
【請求項３】
前記マルチスペクトルフィルタは連続可変光学フィルタである、請求項１に記載の装置。
【請求項４】
前記マルチスペクトルフィルタは光学バンドパスフィルタ又はノッチフィルタである、請求項１に記載の装置。
【請求項５】
前記撮像モジュールは、前記画像に対して画像安定化調整を適用して、前記ピクセルセンサと前記対象の空間領域との間の相対運動を補正するよう構成される、請求項１に記載の装置。
【請求項６】
前記画像はハイパースペクトル画像であり、前記ハイパースペクトル画像は受信デバイスに格納され、処理され、及び送信される、請求項３に記載の装置。
【請求項７】
前記サンプリング距離は、前記情景の前記対象の空間領域が前記対象のスペクトルでの１回以上の露光において捕捉されるように特定される、請求項１に記載の装置。
【請求項８】
前記撮像モジュールは、更に、前記１回以上の露光にわたる各ピクセルのための補間曲線を作成するよう構成される、請求項１に記載の装置。
【請求項９】
前記撮像モジュールは、更に、前記対象のスペクトルにおける各ピクセルのための前記補間曲線を評価することによって単色画像を構築するよう構成される、請求項８に記載の装置。
【請求項１０】
撮像装置であって、
複数のピクセルセンサを有する撮像デバイスと、
前記撮像装置の光路内に配設される光学フィルタであって、少なくとも第１のスペクトル帯と第２のスペクトル帯とを有する光学フィルタと、
前記光学フィルタに取り付けられ、前記光学フィルタを前記複数のピクセルセンサに対して移動させるよう構成されるアクチュエータと、
１つ以上のプロセッサと、
メモリと、
プログラミング命令であって、前記メモリに格納され、
情景の対象の空間領域を特定することと、
対象のスペクトルを特定することと、
前記アクチュエータを作動させて前記光学フィルタを移動させることと、
前記対象の空間領域から反射された光が前記第２のスペクトル帯を通過する場合、前記撮像デバイスに前記情景の少なくとも１回の露光を捉えるよう指示することであって、前記第２のスペクトル帯は前記対象のスペクトルに対応することと、
少なくとも１回の露光に基づいて前記情景の画像を生成することと、
を含む動作を実行するよう前記１つ以上のプロセッサによって実行可能なプログラミング命令と、
を備える、撮像装置。
【請求項１１】
前記光学フィルタは単一方向に沿ってバンドパスを変更し、前記アクチュエータは、前記光学フィルタを前記複数のピクセルセンサを横断して前記単一方向に移動させるよう構成される、請求項１０に記載の撮像装置。
【請求項１２】
前記光学フィルタは連続可変光学バンドパスフィルタであり、前記複数のピクセルセンサは行列のアレイ内に配置され、前記ピクセルセンサの列は、前記アクチュエータの所定の位置に対する前記連続可変光学バンドパスフィルタの共通スペクトル帯と関連付けられる、請求項１１に記載の撮像装置。
【請求項１３】
前記命令は、前記１つ以上のプロセッサに、
連続露光のためのサンプリング距離を特定することと、
前記撮像デバイスに第１の露光と第２の露光とを取り込ませることと、
を含む更なる動作を実行させ、前記第２の露光は前記第１の露光から前記サンプリング距離だけ離間している、請求項１０に記載の撮像装置。
【請求項１４】
第１の露光により前記対象の空間領域が前記第１のスペクトル帯を通して捕捉され、第２の露光により前記対象の空間領域が前記第２のスペクトル帯を通して捕捉される、請求項１３に記載の撮像装置。
【請求項１５】
前記命令は、前記プロセッサに、
対象のスペクトル帯を有する第１の露光の第１の部分を作成するために前記第１の露光をセグメント化することと、
前記対象のスペクトル帯を有する第２の露光の第２の部分を作成するために前記第２の露光をセグメント化することと、
前記対象のスペクトル帯を有する画像を作成するために前記第１の部分と前記第２の部分とを共にスティッチすることと、
を含む更なる動作を実行させる、請求項１０に記載の撮像装置。
【請求項１６】
前記対象のスペクトル帯を有する前記画像は第１の波長における第１の画像であり、命令は前記プロセッサに、第２のスペクトル帯における第２の画像を作成することと、前記第１の画像及び前記第２の画像を含むハイパースペクトルキューブを作成することとを含む動作を実行させる、請求項１５に記載の撮像装置。
【請求項１７】
ハイパースペクトル撮像システムを動作させる方法であって、
マルチスペクトル光学フィルタと、前記マルチスペクトル光学フィルタを移動させるためのアクチュエータとを有する領域撮像デバイスを提供することと、
前記マルチスペクトル光学フィルタ及び対象のスペクトル帯に少なくとも部分的に基づくサンプリング距離を特定することと、
前記領域撮像デバイスに情景の最初の露光を捉えるよう指示することと、
前記マルチスペクトル光学フィルタを前記サンプリング距離と等しい距離を移動させることと、
前記領域撮像デバイスに前記情景の第２の露光を捉えるよう指示することと、
前記第１の露光及び前記第２の露光に少なくとも基づいて前記情景の画像を生成することと、
を含む、方法。
【請求項１８】
前記情景の画像を生成することは、
対象のスペクトルを特定することと、
前記対象のスペクトルを有する第１の画像スライスを作成するために前記第１の露光をセグメント化することと、
前記対象のスペクトルを有する第２の画像スライスを作成するために前記第２の露光をセグメント化することと、
前記対象のスペクトルを有する前記情景の画像を形成するために前記第１の画像スライスと前記第２の画像スライスとを共にスティッチすることと、
を含む、請求項１７に記載の方法。
【請求項１９】
第２の対象のスペクトルを有する前記情景の第２の画像を生成することと、前記対象のスペクトルを有する前記情景の画像と前記第２の対象のスペクトルを有する前記情景の前記第２の画像とを備えるマルチスペクトルキューブを作成することとを更に含む、請求項１８に記載の方法。
【請求項２０】
画像解析アルゴリズムへの入力として、少なくとも前記第１の露光と前記第２の露光とを入力することと、
前記画像分析アルゴリズムを実行することによって少なくとも部分的に基づいて、数値を作成することと、
前記数値を格納することと、
前記数値を遠隔地に送信することと、
を更に含む、請求項１７に記載の方法。
【請求項２１】
請求項１７に記載の方法であって、前記撮像システムは固定式デバイス上に取り付けられ、前記方法は、前記画像を圧縮することと、前記画像を受信デバイスに送信することとを更に含む方法。
【請求項２２】
前記数値を作成することは、前記第１の露光若しくは前記第２の露光、又はその両方の少なくとも一部を構成する複数のピクセルのそれぞれについて１つ以上の数値を作成することを含む、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
この特許出願は、２０１６年１２月２７日に出願された米国仮特許出願第６２／４３９，３９６号明細書、発明の名称「ＨＹＰＥＲ−ＳＰＥＣＴＲＡＬ  ＩＭＡＧＩＮＧ  ＷＨＥＮ  ＯＢＳＥＲＶＥＤ  ＯＢＪＥＣＴ  ＩＳ  ＳＴＩＬＬ」の利益及び優先権を主張する２０１７年１２月２７日に出願された同時係属中の米国特許出願第１５／８５５，８６９号明細書、発明の名称「ＨＹＰＥＲ−ＳＰＥＣＴＲＡＬ  ＩＭＡＧＩＮＧ  ＷＨＥＮ  ＯＢＳＥＲＶＥＤ  ＯＢＪＥＣＴ  ＩＳ  ＳＴＩＬＬ」の利益を主張する。両出願（第１５／８５５，８６９号明細書及び第６２／４３９，３９６号明細書）はここで、それらの全体を引用して本明細書に組み込む。
【背景技術】
【０００２】
マルチスペクトルイメージングは、撮像システムが電磁スペクトル全体から画像情報を取り込むことを可能にしている。多くのかかるシステムは、時系列画像を撮影し、それぞれ連続する画像間で光源と画像センサとの間に様々なフィルタを位置決めすることによって動作する。一般に、これらの撮像システムは、大型で重量があり、計算集約的、複雑であり、連続画像を撮影するのが比較的遅く、又は上記の全てである。
【０００３】
撮像システムの複雑性及び連続する画像間の固有の遅延は、ハイパースペクトル画像を取り込むよう試みる場合、捕捉すべき対象のより多くのスペクトル帯を見越したマルチスペクトル画像の種類といった、追加的な考慮を生じる。
【０００４】
詳細な説明を添付図面を参照して説明する。図において、参照番号の左端の数字は、その参照番号が最初に出現する図を識別している。異なる図における同じ参照番号の使用は、類似又は同一の項目を示している。
【図面の簡単な説明】
【０００５】
【図１ａ−１ｄ】図１ａ〜１ｄは、様々なマルチスペクトル撮像技術を示す。
【図２】図２は、撮像センサに対する光学フィルタの位置配向を示す領域撮像デバイスの斜視図を示す。
【図３】図３は、領域撮像デバイスと、アクチュエータによって撮像センサに対して移動可能な光学フィルタとの平面図を示す。
【図４】図４は、領域撮像デバイスに対する線形フィルタの動きを示す。
【図５】図５は、情景の時系列画像が取り込まれる際の、領域撮像デバイスによる情景の撮像及び線形フィルタの動きを示す。
【図６】図６は、ハイパースペクトル画像を取り込むプロセスを示すブロック図である。
【図７】図７は、時系列画像によりマルチスペクトル光学フィルタの異なる部分を通して捕捉される情景の点を示す。
【図８】図８は、撮像システム例のブロック図である。
【発明を実施するための形態】
【０００６】
概要
実施形態は、撮像センサと、連続可変光学フィルタと、アクチュエータとを有し、多次元データキューブを作成することによって情景のマルチスペクトル及びハイパースペクトル画像を取り込み且つ処理するために様々な計算処理命令を処理ユニット（例えば、プロセッサ又は他の論理回路）において用いる撮像システムを含む。
【０００７】
幾つかの実施形態は、λｍｉｎからλｍａｘまでの範囲の中心波長を有する可変光学バンドパスフィルタ、領域撮像デバイス、リニアアクチュエータ、並びに画像の読み出し、制御、処理、圧縮、及び格納を担当する１つ以上の処理ユニットを含んでいる。
【０００８】
幾つかの実装形態において、領域撮像デバイスは、領域撮像デバイスを横断して可変光学バンドパスフィルタを移動させるリニアアクチュエータを含む。フィルタが領域撮像デバイスを横断して移動するにつれて、情景の対象の各領域が１つ以上の所望のスペクトル帯において光学フィルタを介して捕捉されるように、時系列画像が取り込まれる。
【０００９】
時系列画像のためのタイミングは、光学フィルタ及び所望の出力に基づいて、空間座標のｎ個のタプルが結果としてｘ、ｙ、及びλ値を有するピクセルを生じる多次元データキューブを結果として生じるよう特定され、ここでｘ及びｙは情景の２つの空間次元を表し、λはある範囲の波長を備えるスペクトル次元を表している。
【００１０】
情景の対象の範囲は、フィルタがＡＩＤに対して移動する間に十分な露光回数を可能にするよう特定される。複数の露光は、光学フィルタを通してＡＩＤにより連続露光を撮ることによって捕捉される。フィルタがＡＩＤを横断して移動するにつれて、情景内の様々な点は、情景内の様々な点から放射又は反射される光が、ＡＩＤの撮像センサに到達する前に光学フィルタの１つのスペクトル帯から別のものへ通過する際に捕捉される。幾つかの実施形態において、可変光学バンドパスフィルタはＡＩＤと対象の情景との間の光路に位置決めされ、フィルタがＡＩＤに対して移動するにつれて、連続画像が取り込まれ、それには情景の特定の点が可変光学バンドパスフィルタの様々な部分を通してＡＩＤによって捕捉される。各連続画像における露光は、情景の各部分が情景全体にわたって異なるスペクトル帯の分布を有する連続画像を生成するよう各スペクトル帯の異なる中心波長において捕捉されることを可能にする。露光はスライスされ、共にスティッチされて情景のマルチスペクトル又はハイパースペクトル画像を形成する。画像の各セグメントは、連続する画像の間に光学フィルタの所望のスペクトル帯、又は場合によっては全ての帯域を通して露光される。
【００１１】
本明細書で用いる場合、マルチスペクトル光学フィルタ（又は単にフィルタ）とは、様々な波長の光がその一部を通過することを可能にする光学フィルタを指す。例えば、光学バンドパスフィルタは、他の波長を減衰させながら電磁スペクトルの一部を選択的に透過させるよう構成されるフィルタの１つ以上の領域を含んでいてもよい。１つ以上の領域は離散的であってもよく、すなわち、バンドパスフィルタは、狭帯域にわたる高透過率を可能にする一方で、不要な光を減衰させて必要とされる波長での画像取り込みを最大にするフィルタのストライプ状領域を有していてもよい。バンドパスフィルタのスペクトル感度は、光源に対してフィルタの位置を移動することによって簡単に調整することができるか、又は、ＡＩＤ全体を光源に対して移動させてもよい。連続可変光学バンドパスフィルタは、本明細書中に説明する実施形態と共に利用することができるバンドパスフィルタの別の実施例であり、ここで高透過率を有するスペクトル帯幅の範囲はフィルタ全体にわたって連続的に変化する。光学フィルタの他の実施例は、本明細書中に説明する実施形態と共に用いることができ、説明する特徴及び利点を提供するように本明細書中では考えられている。例えば、ノッチフィルタ、狭帯域内の波長を減衰させる一方で、狭帯域外の波長を通過させることを可能にするフィルタは、本明細書中に説明するシステム及び方法により実施することができる。
【００１２】
本明細書中に説明する撮像システム及び装置の幾つかの実施形態は、静止衛星軌道（ＧＥＯ）上の人工衛星等の衛星から地球の画像を捉えるために採用されてもよい。幾つかの実施形態において、撮像システムは望遠鏡を含み、ＡＩＤは望遠鏡の焦点面に配置されてもよい。マルチスペクトル光学フィルタは、ＡＩＤに直接取り付けられてもよく、従って、望遠鏡の焦点面の近くにも配置されてもよい。
【００１３】
本明細書中に説明するプロセス、システム、及びデバイスは多くの方法で実装されてもよい。実装例は以下の図を参照して以下で提供される。
【００１４】
スペクトルイメージングの目的は、情景画像内の各ピクセルのスペクトルを測定することにある。本明細書で用いるように、情景画像内のピクセルは情景内の対応する箇所を表す撮像デバイスによって捕捉される光を指す。すなわち、情景内の各領域から放射又は反射された光がＡＩＤ内のアドレス指定可能な素子によって捕捉される際に、光はバンドパスフィルタの一部を通過し、情景のその特定の領域のスペクトルが捕捉される。フィルタがＡＩＤに対して移動される際に、情景のその特定の領域から放射又は反射された光が捕捉される場合、光はバンドパスフィルタの異なる部分を通過し、情景のその特定の領域のための異なるスペクトルは捕捉されてもよい。
【００１５】
この意味では、物体によって放射又は反射される光の強度はその像平面において測定される。結果として生じる測定値は、空間座標及びスペクトルの大きさのｎ個のタプルのセットとして表される。これらｎ個のタプルは組み合わされて処理及び分析のための多次元（ｘ、ｙ、λ）データキューブを形成し、ここでｘ及びｙは情景の２つの空間次元を表し、λはある範囲の波長を備えるスペクトル次元を表している。データ処理の観点から、スペクトルイメージングはデータキューブの次元によって特徴付けられ得る。
【００１６】
幾つかの実施形態によれば、マルチスペクトル撮像装置は複数のピクセルセンサを有する領域撮像デバイスを含む。マルチスペクトルフィルタは領域撮像デバイスの光路内に配設され、アクチュエータはマルチスペクトルフィルタを領域撮像デバイスに対して移動させるよう構成される。撮像装置は、更に、領域撮像デバイスによって捕捉される情景の対象の空間領域を特定する制御モジュールを含む。制御モジュールは、更に、情景の対象のスペクトルを特定する。それは、少なくとも部分的にマルチスペクトルフィルタ及び対象のスペクトルに基づいて、連続画像取り込みのためのサンプリング距離を特定し、サンプリング距離で１回以上の露光を撮るよう領域撮像デバイスに指示する。撮像装置は、更に、１回以上の露光に少なくとも基づいて情景の画像を形成するよう構成される撮像モジュールを含む。
【００１７】
撮像装置は、領域撮像デバイス、制御モジュール、及び撮像モジュールが人工衛星に搭載されるように人工衛星上に位置してもよい。人工衛星は静止衛星軌道上に位置決めされてもよく、撮像装置に関する情景の任意の相対運動は、１つ以上の画像安定化アルゴリズムを実行することによって等で補正されてもよい。
【００１８】
幾つかの例において、マルチスペクトルフィルタは、ハイパースペクトルフィルタ等の連続可変光学フィルタである。他の例において、マルチスペクトルフィルタは光学バンドパスフィルタ又はノッチフィルタである。
【００１９】
撮像装置はハイパースペクトル画像を作成してもよく、ハイパースペクトル画像は、遠隔地等の受信デバイスに格納され、処理され、送信されてもよい。サンプリング距離は、情景の対象の空間領域が対象のスペクトルでの１回以上の露光において捕捉されるように特定されてもよい。
【００２０】
幾つかの実施形態において、撮像モジュールは、１回以上の露光全体にわたる各ピクセルのための補間曲線を作成するように構成され、また、対象のスペクトルで各ピクセルのための補間曲線を評価することによって単色画像を構築してもよい。
【００２１】
幾つかの実施形態において、撮像装置は、複数のピクセルセンサを有する撮像デバイスと、撮像デバイスの光路内に配設される光学フィルタとを含む。光学フィルタは、少なくとも第１のスペクトル帯及び第２のスペクトル帯を有していてもよい。すなわち、光学フィルタは、ある特定のスペクトルを許容する（又は減衰させる）様々な部分を有していてもよい。アクチュエータは、光学フィルタに取り付けられ、光学フィルタを複数のピクセルセンサに対して移動させるよう構成されてもよい。
【００２２】
撮像装置は、１つ以上のプロセッサと、プロセッサに情景の対象の空間領域を特定させ、対象のスペクトルを特定させる命令を含む１つ以上のメモリとを含んでいてもよい。これは、遠隔地から撮像装置に送信された命令の結果としてであってもよいか、又は１つ以上のプロセッサによって実行される規則に基づいていてもよい。
【００２３】
プロセッサは、更に、対象の領域から反射された光が第２のスペクトル帯を通過する場合、アクチュエータを作動させて、光学フィルタを移動させ、情景の少なくとも１回の露光を捉えるよう撮像デバイスに指示する。画像は、次いで、少なくとも１回の露光に基づいて生成され得る。
【００２４】
幾つかの例において、光学フィルタは単一方向に沿ってバンドパスを変更し、アクチュエータは、光学フィルタを複数のピクセルセンサを横断して単一方向に移動させるよう構成される。幾つかの例において、光学フィルタは連続可変光学バンドパスフィルタである。複数のピクセルセンサは、ピクセルセンサの列がアクチュエータの所定の位置に対する連続可変光学バンドパスフィルタの共通スペクトルに関連付けられるように、行列のアレイ内に配置されてもよい。
【００２５】
命令は、１つ以上のプロセッサに連続露光のためのサンプリング距離を特定させ、撮像デバイスに第１の露光及び第２の露光を捕捉させ、第２の露光はサンプリング距離だけ第１の露光から離間される。
【００２６】
第１の露光は第１のスペクトル帯を通して対象の空間領域を捕捉してもよく、第２の露光は第２のスペクトル帯を通して対象の空間領域を捕捉してもよい。
【００２７】
幾つかの実施形態において、第１の露光はセグメント化されて対象のスペクトル帯を有する第１の露光の第１の部分を作成することができ、第２の露光はセグメント化されて対象のスペクトル帯を有する第２の露光の第２の部分を作成することができ、第１の部分及び第２の部分は共にスティッチされて対象のスペクトル帯を有する画像を作成することができる。
【００２８】
対象のスペクトル帯を有する画像は第１の波長における第１の画像であってもよく、命令は、プロセッサに第２のスペクトル帯における第２の画像を作成させ、第１の画像及び第２の画像を含むハイパースペクトルキューブを作成してもよい。
【００２９】
幾つかの実施形態によれば、ハイパースペクトル撮像システムを動作させる方法は、マルチスペクトル光学フィルタと、マルチスペクトル光学フィルタを移動させるためのアクチュエータとを有する領域撮像デバイスを提供することを含む。方法は、マルチスペクトル光学フィルタ及び対象のスペクトル帯に少なくとも部分的に基づくサンプリング距離を特定してもよい。方法は、領域撮像デバイスに指示して第１の露光を捉えさせ、マルチスペクトル光学フィルタをサンプリング距離に等しい距離に移動させ、及び第２の露光を捉えさせることを含んでいてもよい。方法は、また、第１の露光及び第２の露光に少なくとも基づいて情景の画像を生成してもよい。
【００３０】
情景の画像を生成することは、対象のスペクトルを特定することと、第１の露光をセグメント化して対象のスペクトルを有する第１の画像スライスを生成することと、第２の露光をセグメント化して対象のスペクトルを有する第２の画像スライスを生成することと、並びに、第１の画像スライス及び第２の画像スライスを共にスティッチして対象のスペクトルを有する情景の画像を形成することとを含んでいてもよい。
【００３１】
場合によっては、方法は、第２の対象のスペクトルを有する情景の第２の画像を生成することと、対象のスペクトルを有する情景の画像と第２の対象のスペクトルを有する情景の第２の画像とを備えるマルチスペクトルキューブを作成することとを含む。
【００３２】
幾つかの例において、第１の露光及び第２の露光は、第１及び第２の露光に基づいて数値を出力してもよい画像解析アルゴリズムに入力され得る。数値は格納され及び／又は遠隔地に送信することができる。
【００３３】
撮像システムは固定式デバイス上に取り付けられてもよく、方法は、更に、画像を圧縮することと、画像を受信デバイスに送信することとを含んでいてもよい。幾つかの実施形態において、数値を作成することは、第１の露光若しくは第２の露光、又はその両方の少なくとも一部を構成する複数のピクセルのそれぞれについて１つ以上の数値を作成することを含む。場合によっては、画像解析アルゴリズムの結果が遠隔地に送信され、画像が破棄されてもよい。
【００３４】
図１ａに示すように、多次元データキューブは、各ピクセルについてｘ及びｙ値を有する複数の平面を備えていてもよく、各平面はスペクトル次元を備えていてもよい。その結果、多数の単色画像を生じる。単色画像は、データキューブのスペクトル次元（λ）が単一のスペクトル帯における又はスペクトル帯内に共通の中心波長を有する比較的狭いスペクトル帯内の強度の測定値を表すものである。出力は二次元データキューブに対応し、ここで情景全体が単一の波長又は比較的狭い波長によってマッピングされる。
【００３５】
ＲＧＢ画像において、データキューブは空間次元（ｘ、ｙ）と、赤、緑、及び青に対応する正確に３つのスペクトル帯の両方の値を有する。マルチスペクトルイメージングにおいて、対応するデータキューブは最大で数十のスペクトル帯（概して、比較的広い）を備え、通常、スペクトルの異なる範囲又はばらばらの範囲さえも含んでいる。次に、ハイパースペクトルイメージングは、広いスペクトル領域における物体の放射輝度の測定値として特徴付けることができ、連続スペクトル領域を備えていてもよい。その（ｘ、ｙ、λ）空間に関する表現は、スペクトル次元全体にわたって比較的狭い帯域幅の数十、数百、又は数千ものスペクトル帯を有するデータキューブに対応する。
【００３６】
スペクトルイメージングの特徴付けは、とりわけ、空間及びスペクトル分解能、スペクトル領域及び帯域幅、並びにセンサ特性等の撮像システムの物理的及び光学的特徴を考慮に入れてもよい。しかし、また、撮像システムが測定を行い、データキューブにデータを入力する手法を適切に特徴付けることも関連する。
【００３７】
図１ａ〜１ｄは、様々なマルチスペクトル撮像技術に基づく多次元データキューブを示している。Ｇｒｕｓｃｈｅ，Ｓａｓｃｈａ．Ｂａｓｉｃ  ｓｌｉｔ  ｓｐｅｃｔｒｏｓｃｏｐｅ  ｒｅｖｅａｌｓ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｓｃｅｎｅｓ  ｔｈｒｏｕｇｈ  ｄｉａｇｏｎａｌ  ｓｌｉｃｅｓ  ｏｆ  ｈｙｐｅｒｓｐｅｃｔｒａｌ  ｃｕｂｅｓ  Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，ＯＳＡ，２０１４年６月。２０１４年６月９日取得。スペクトルイメージングのための技術は、大まかに以下の４つのグループ：スナップショットハイパースペクトル技術、スペクトル走査技術、空間走査技術、及び空間−スペクトル走査技術に分類されてもよい。
【００３８】
図１ａは、スナップショットイメージングから結果として得られる代表的なデータキューブを示しており、ここで単一のキャプチャは全ての空間及びスペクトル（ｘ、ｙ、λ）データを含んでいる。単一のスナップショットは、光路に挿入されたフィルタに応じてスペクトルデータを含むよう取り込むことができる。スナップショットイメージングに基づくシステムは、全てのハイパースペクトル（ｘ、ｙ、λ）キューブを単一のセンサ出力として返す。これらのデバイスは走査を必要としない利点を有する。しかし、これらのシステムは、高い計算労力及び製造コストを呈する欠点を有している。
【００３９】
図１ｂに示すように、スペクトル走査の出力は、結果として情景の単色空間（ｘ、ｙ）マップを表すそれぞれの捕捉されたフレームを生じる。これらのデバイスは一般に、情景をスペクトルで走査するために調整される必要があるフィルタに基づいている。個々のフィルタの選択は電気的又は機械的手段によって達成されなければならず、その場合、可動部分はフィルタを光路に物理的に挿入するか又は交換することを必要とし、それらは連続スペクトル走査ができない。この種の撮像システムは、光路に順次挿入される複数のフィルタを必要とし、情景のその後の露光は、多次元データキューブに対象のスペクトルデータを入力することができる。
【００４０】
図１ｃは空間走査の結果を示しており、各取得フレームはフルスリットスペクトル（ｘ、λ）に対応している。すなわち、各取得フレームは、スペクトルデータλと共に、ｘ方向にピクセルの単一行を含む。走査デバイスの実施例はプッシュブルーム及びポイント走査分光装置である。これらのシステムは、ライン毎に画像を分析させ、ポイントスキャナの場合には可動部品を必要とする欠点を有する。
【００４１】
図１ｄは、空間−スペクトル走査システムの出力を示し、ここで各２Ｄセンサ出力は、一次元に符号化されたスペクトル情報により情景の空間（ｘ、ｙ）マップを表すデータキューブの傾斜したスライスに対応する。これらのデバイスは、移動式又は固定式プラットフォームのどちらか一方の使用を可能にする利点を有する。しかし、これらのシステムは、通常、達成するのが困難であり、高い製造コスト及び複雑な機械アセンブリ等の欠点を呈する。
【００４２】
図２は、ハイパースペクトル画像を生成するために領域撮像デバイス２００と共に使用するための可変フィルタ帯域を有する光学フィルタ２０２を組み込む領域撮像デバイス２００の斜視図を示している。光学フィルタ２０２の実施形態は、ストライプ状フィルタの場合において、離散的なフィルタ帯域を有してもよく、フィルタ帯域は要望通りの任意の横幅すなわち幅であってもよい。フィルタ帯域は、何の離散帯域も存在しないように光学フィルタ２０２全体にわたって連続的に変化してもよい。光学フィルタ２０２は任意の数のスペクトル帯を有していてもよく、マルチスペクトル及びハイパースペクトルイメージングの両方を可能にしている。フレーム２０４は、光学フィルタ２０２を所定位置に保持し、リニアアクチュエータであってもよいアクチュエータ２０６と協働して、光学フィルタ２０２を撮像センサ２０８全体にわたって移動させる。
【００４３】
光学フィルタ２０２は、電磁スペクトルの所望の部分の透過を可能にするよう選択され、実施形態は任意の特定のスペクトル帯又は複数のスペクトル帯に限定されない。光学フィルタ２０２は、フィルタリングされていない範囲の別の帯域（すなわち、パンクロマティック帯）の別の帯域と共に、例えば、紫外線、青色、緑色、赤色、及び赤外線帯域を含んでいてもよい。フィルタ帯域の数、及び光学フィルタのスペクトル透過率は、対象の波長の任意の組み合わせを取得するよう選択される。光学フィルタ２０２は、吸収フィルタ、干渉フィルタ、又は他の種類のフィルタであってもよい。
【００４４】
幾つかの実施形態において、光学フィルタ２０２は、フィルタのスペクトル特性がフィルタの一次元に沿って連続的に変化する線形可変光学バンドパスフィルタである。従って、被写体の捕捉された画像の中心波長は、撮像センサに対してフィルタ又は被写体を移動させることにより調整され得る。
【００４５】
撮像センサ２０８の活性面は、二次元アレイに配置された光吸収検出器等の複数のピクセルセンサを含む。撮像センサ２０８は、例えば電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、又は他の適切なアーキテクチャ等の任意の様々な種類のものであってもよい。
【００４６】
光学フィルタ２０２は、撮像センサ２０８の延長内のλｍｉｎからλｍａｘまでの範囲内のλ中心を有する可変バンドパス範囲から構成されてもよい。光学フィルタ２０２及び撮像センサ２０８の様々な組み合わせは、関連及び所望の機能を達成するために用いられてもよい。対象の波長範囲、波長変動形状（線形、キューブ、連続、等）及びスペクトル透過率は、対象の波長、帯域幅、及びスペクトル分布の任意の組み合わせを取得するために選択され得る。
【００４７】
ハイパースペクトル画像は、撮像センサ２０８に対して光学フィルタ２０２の異なる位置で情景を繰り返し撮像することによって達成されてもよい。すなわち、光学フィルタ２０２が撮像センサ２０８に対してアクチュエータ２０６によって移動されるにつれて、時系列画像がアクチュエータ２０６の速度に応じて所定のステップ（例えば、光学フィルタ２０２の移動中の所定の時間）で捉えられ、所望の波長の撮像データが光学フィルタ２０２の特性と組み合わせて捉えられる。
【００４８】
図３は、領域撮像デバイス３００を示している。領域撮像デバイスは、バンドパスフィルタ３０２、フィルタホルダ３０４、及びアクチュエータ３０６を含んでいる。領域撮像デバイス３００は、更に、情景の画像を取り込むよう構成される撮像センサ（図示せず）を含んでいる。説明したように、バンドパスフィルタ３０２は、マルチスペクトル及び／又はハイパースペクトルイメージングのための選択的スペクトルバンドパスを提供する任意の適切な光学バンドパスフィルタであってもよい。図示するように、バンドパスフィルタ３０２は線形連続バンドパスフィルタである。幾つかの例において、バンドパスフィルタは、離散スペクトル帯を示すストライプ状フィルタであってもよい。他の例において、バンドパスフィルタはキューブであってもよく、又は円形配置のスペクトル帯を提供してもよい。いずれにせよ、フィルタは、任意の所望の機能を達成するよう選択することができ、フィルタの波長範囲、波長変動曲線（例えば、線形、キューブ、等）及びスペクトル透過率は、対象の波長の任意の組み合わせを取得するよう選択することができる。
【００４９】
バンドパスフィルタ３０２は、アクチュエータ３０６に接続されるフィルタホルダ３０４によって保持されてもよい。アクチュエータ３０６は、スペクトル可変方向にバンドパスフィルタ３０２を移動させるよう構成されることが好ましい。図示するように、光学フィルタ３０２がＺ方向３０８に変化するスペクトル次元を有する場合、アクチュエータ３０６はバンドパスフィルタ３０２をＺ方向３０８に移動させる。バンドパスフィルタ３０２は、撮像される情景から反射又は放射された光が撮像センサに到達する前にバンドパスフィルタ３０２を通過するように、撮像センサの光路内に位置決めされてもよい。
【００５０】
このような方法で、取り込まれた画像は情景のフルスペクトルキャプチャを含み、情景の一部は異なるスペクトル帯を示す。すなわち、それぞれの取り込まれた画像について、スペクトル次元（λ）はバンドパスフィルタ３０２内のスペクトル変動に対応する画像全体にわたって変化する。後続の画像間でバンドパスフィルタ３０２を移動させることによって、それぞれの取り込まれた画像は同じ空間次元を示すが、取り込まれた画像のそれぞれの部分ごとに異なるスペクトル次元を有する。
【００５１】
バンドパスフィルタ３０２は、任意の適切な方法によりフィルタホルダ３０４に取り付けられてもよい。幾つかの例において、フィルタは、摩擦により、締結具、クリップ、接着剤、又はバンドパスフィルタ３０２を確実に保持する任意の他の適切な固定機構によって保持される。フィルタホルダ３０４は、任意の適切な機構によりアクチュエータ３０６に固定して取り付けられてもよい。幾つかの例において、フィルタホルダ３０４は、アクチュエータ３０６と一体の部品として形成されてもよい。他の場合において、フィルタホルダ３０４は、締結具、溶接、接着剤、又は他の締結方法によって取り付けられる。場合によっては、フィルタホルダは、撮像センサに対するバンドパスフィルタ３０２の正確で反復可能な位置決めを提供するために、アクチュエータとの堅固な固定係合を提供するべきである。バンドパスフィルタ３０２が円形のバンドパス可変性を有して配置されるような場合、アクチュエータは、サーボモータ等の回転アクチュエータ、又は撮像センサに対してバンドパスフィルタ３０２を回転させるためのその他の適切なアクチュエータであってもよい。バンドパスフィルタ３０２が線形に変化するような場合、アクチュエータ３０６はリニアアクチュエータ３０６であってもよく、ステッパモータ、ブラシレスモータ、ギヤードモータ、又は線形作動を提供するよう構成される別の適切なモータを備えていてもよい。幾つかの実施例において、リニアアクチュエータは、撮像センサ上での光学フィルタ３０２の正確で反復可能な位置決めを可能にするよう小さいステップ角を提供する高分解能アクチュエータである。
【００５２】
最適ステップ、すなわちサンプリング距離を特定するために、フィルタの半値全幅（ＦＷＨＭ）がλｍｉｎとλｍａｘとの間で異なってもよいことを考慮に入れる必要がある。全てのハイパースペクトル画像を取得するためには、対象情景のあらゆるピクセルがバンドパスフィルタの所望の各スペクトル帯を通して捕捉されるべきであり、従って、撮像センサ２０８を横断するバンドパスフィルタ２０２の移動は、図４及び５に示すように光学フィルタの長さの少なくとも２倍であるべきである。すなわち、ＡＩＤの撮像センサに到達する前に、情景の各部分からの光がバンドパスフィルタの所望のスペクトル帯を通過する際に、ＡＩＤ２００は対象の情景の各部分の時系列画像を取り込むべきである。
【００５３】
システムはその性能を最適化するよう較正されてもよい。較正は、フィルタ及び画像センサの物理的特性、及びそれらの間の整列の精度に大きく依存する。一旦システムが較正されると、それは再較正を更に必要とせずにハイパースペクトルイメージングのために操作されてもよい。
【００５４】
光学設定が与えられると、センサ上の各ピクセルは、アクチュエータの所定の位置に対する特定の波長に対応する。すなわち、アクチュエータの既知の位置が与えられると、センサ上の各ピクセルに到達する光は、取り込まれた各画像について特定の波長にスペクトル的にフィルタリングされる。アクチュエータが離散的なステップで移動すると仮定すると、各ピクセルは、ピクセルの位置及びアクチュエータのステップに応じて、波長の固定グループを測定する。所定の波長について情景を再構成するために、各ピクセルについて、アクチュエータの各位置に対して測定されたスペクトル帯を知ることが必要である。帯域幅が分かっている場合、これは各アクチュエータ位置の中心波長（λ中心）を識別することに単純化され得る。線形可変フィルタの場合、例えば、較正は方程式１の形態を示す。
λ中心＝ａ×（Ｚアクチュエータ＋Ｎピクセル×ｐｓ）＋ｂ      方程式１
【００５５】
ここで、λ中心はセンサの特定の列の中心波長、ａはフィルタのミリメートル当たりの波長変動、Ｚアクチュエータはアクチュエータの位置、Ｎピクセルはピクセル列の番号、ｐｓはピクセルサイズ、及びｂはフィルタとセンサとの間の初期相対位置を表すオフセットであり、それはピクセルの第１列によって測定される波長に対応してもよく、それは機械的アセンブリ及びアクチュエータのオフセット設定に依存する。マルチスペクトル光学フィルタが線形可変ではないそれらの実施形態において、特定の波長分布に合わせた解決策を実施することによって、較正は依然として可能である。
【００５６】
例えば、可能な較正は、均一で概ね単色の照明によって一連の写真を撮影することからなっていてもよい。この実施例において、λ中心、Ｚアクチュエータ、Ｎピクセル、及びｐｓは各画像について既知である。フィルタパラメータ（この実施例において、１ミリメートル当たりのフィルタの波長変動ａ及びオフセットｂ）は、異なる照明波長に対してこのプロセスを繰り返すことによって計算することができる。
【００５７】
無論、非線形可変フィルタが用いられる場合、較正は異なる。一旦フィルタパラメータが判明し、アクチュエータステップが設定されると、各ピクセルによって測定された波長のグループは自動的に特定され得る。
【００５８】
ハイパースペクトル画像は、フィルタの異なる位置で情景を繰り返し撮像することによって作成されてもよい。画像は対象のスペクトル帯を分離するためにスライスされてもよく、結果として生じるスライスは所望のスペクトル次元を有する情景の画像を作成するために共にスティッチされてもよい。
【００５９】
図４を参照すると、フィルタ４００の大きさ及びＡＩＤ４０２の幅は、情景全体から取り込まれた画像が対象のスペクトル帯全体を含むことを確実にするために重要となる。その初期構成において、フィルタｆＡ４０４の第１の縁部は、ＡＩＤ４０２の第１の縁部ｓＢ４０６に近接して位置決めされてもよい。一旦アクチュエータがフィルタ４００のその動きを開始すると、フィルタ４００が所望のサンプリング距離を移動する際に、複数の画像が捕捉される。その最終構成において、フィルタ４００の第２の縁部ｆＢ４０８は、ＡＩＤ４０２の第２の縁部ｓＡ４１０に近接していてもよい。
【００６０】
一旦画像が取り込まれると、フィルタの各帯域からの情報が保存される。情景がＡＩＤに対して動いているように見えない場合の例において、各画像は、同じ空間次元を有するが、図３０５の実施例においてＺ方向であるフィルタの動きの方向に沿って変位するスペクトル情報を持つ同じ情景に対応する。複数の画像は、ハイパースペクトル画像を得るために共に処理されてもよい。例えば、特定のスペクトル帯のみを示す情景の最終画像を作成することが望ましい場合、所望のスペクトル帯は情景の各画像から分離され、次いで、共にスティッチされて所望のスペクトル帯のみを有する情景完全な画像を作成してもよい。
【００６１】
ＡＩＤ２００によるリモートセンシングにより、対象の画像を取り込み、最終目的地に送信することに関連する送信コストがあってもよい。例えば、画像が取り込まれ、任意の後処理がＡＩＤ２００によって実行されてもよく、最終画像は、例えば、衛星通信、レーザ通信、マイクロ波通信、又はその他の無線周波数方式の無線通信機能等の無線通信機構を介して等、最終目的地に送信され得る。送信コスト及び各画像を格納するために必要なメモリ量（衛星若しくは他の航空機又は移動体プラットフォームにおいて重要な考慮事項である）を減らすために、フレーム全体を取得する代わりに、ＡＩＤ２００の選択された対象領域（ＲＯＩ）を有する画像を撮影することが可能である。
【００６２】
図５に示すように、バンドパスフィルタが（アクチュエータの既知の位置によって等）撮像センサに対する既知の位置に取り付けられる場合、センサ上の各ピクセルは、バンドパスフィルタを介して受光される光の特定の波長に対応する。対象のスペクトル帯が制限され且つ画像が取り込まれる前に判明している場合、それらのスペクトル帯に関連する情景の画像のみを取得することが可能である。これは、連続スペクトル全体の代わりに情景の離散スペクトル情報を返す。スペクトル帯の選択は、ＡＩＤが対象のスペクトルデータを収集する一方で、処理、送信、及び格納コストを削減することを可能にする。
【００６３】
一旦対象のスペクトル帯が選択されると、ＡＩＤ２００は正しい時間に必要な数の画像を取り込んで、所望のスペクトルデータを有する画像を生じることができる。無論、全スペクトルが求められる場合、ＡＩＤ２００は、フィルタがイメージングセンサ全体を横断して移動する際に、時系列画像を取り込むことができる。
【００６４】
情景を取り込むことにおいて、幾つかの写真を撮ることができ、フィルタの各帯域からの情報を保存することができる。連続した画像は、スティッチングによって等、共に処理されてもよい。情景が全てのスペクトル帯にわたって撮像される場合、連続した画像は、ハイパースペクトル写真を得るために共に処理され得る。各フレーム間で、フィルタは、新しいスペクトル帯域が情景の各セグメントに関連付けられるように移動している。この動きのタイミングは、連続した画像間の変位（本明細書中、サンプリング距離と称される）を定義し、それは必ずしも一定でなくてもよい。
【００６５】
ＡＩＤ２００に対するフィルタの動きが所望のサンプリング距離に略等しくなる度に、写真が撮影される。コントローラは、図５に示すように、各写真が適切な時間及び位置で取得されるように、画像を取り込むことをＡＩＤ２００に指示してもよい。
【００６６】
図５は、マルチスペクトル（又はハイパースペクトル）画像を取り込む時空グラフを示している。例えば、４つの所望のスペクトル帯で範囲ａ５０２を捕捉するために、最初のフレームがショット１  ５０４で捕捉される。一旦アクチュエータ速度のステップ及びバンドパスフィルタの特性が判明すると、サンプリング距離５０６が特定され得る。フィルタがサンプリング距離５０６だけ撮像センサを横断して移動すると、ショット＃２  ５０８が取り込まれる。見て取ることができるように、ショット＃２  ５０８は、ここでバンドパスフィルタの異なる帯域を通して範囲ａ５０２を捕捉し、従って、ショット＃１  ５０４と比較して範囲ａの異なる波長を捕捉する。サンプリング距離５０６は、後続のショット間で一定のままである必要はないが、むしろ、各捕捉についての所望のスペクトルデータに基づいて特定され得る。
【００６７】
図４及び図５から見て取ることができるように、範囲ａ５０２等の情景の全スペクトルを捕捉するために、フィルタの移動距離はフィルタの長さに少なくとも等しくなければならない。しかし、ＡＩＤ２００の初期視野の全スペクトルを捕捉するには、情景の見かけの動きの距離は、範囲ａ５０２及びｂ５１０の捕捉によって、図５に示すように、フィルタの長さの少なくとも２倍に撮像センサ５１２の幅を加えたものに等しくなければならない。
【００６８】
図６は、様々な実施形態による例示的なプロセスを示すフローグラフを示している。これらのプロセスの動作は、個々のブロックに示されており、それらのブロックを参照して要約されている。これらのプロセスは論理フローグラフとして示されており、その各動作は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得る一連の動作を表してもよい。ソフトウェアの文脈において、動作は、１つ以上のプロセッサによって実行される場合、１つ以上のプロセッサが列挙した動作を実行することを可能にする、１つ以上のコンピュータストレージ媒体に格納されるコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、モジュール、コンポーネント、データ構造等を含んでいる。ハードウェアの文脈において、動作は、特定用途向け集積回路（ＡＳＩＣ）等の集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス、又は他のデバイスで実行されてもよい。動作が説明される順序は、制限として解釈されることを意図しておらず、説明される動作の任意の数は、任意の順序で組み合わされ、サブ動作に分けられ、及び／又はプロセスを実施するために並列で実行され得る。本開示の様々な実施形態によるプロセスは、論理フローグラフに示される動作のうちの幾つかのみ又は全てを含んでいてもよい。
【００６９】
図６は、情景が撮像プラットフォームに関して静止しているに見える場合に撮像デバイスを用いるハイパースペクトル画像取り込みのための例示的な概略プロセス６００を示すフロー図である。これは、例えば、撮像されるべき情景に関して静止軌道上の衛星ベースのプラットフォームの結果であってもよい。無論、撮像システムは静止プラットフォーム上に取り付けられてもよい。他の例において、撮像プラットフォームと撮像される情景との間の相対運動は、撮像システム内の高速光学系によってか又はモーションブラーを補正するための後処理よるかのどちらか一方により相対運動を説明できるほど小さい。６０２において、波長較正を開始することができる。これは、撮像デバイスの最初の起動時の一回限りの設定ステップであってもよいか、又は時々繰り返されてもよいが、ＡＩＤ２００の各画像取り込み操作にとって必要なステップではないことに留意すべきである。較正は、バンドパスフィルタ、撮像センサの構成、及びアクチュエータの分解能に基づいている。フィルタの構成及びアクチュエータの分解能を考慮すると、撮像センサ上の各ピクセルは、アクチュエータの所定の位置に対する特定の波長に対応する。アクチュエータが撮像センサに対してフィルタを移動させるにつれて、アクチュエータの位置は撮像センサの各ピクセルの波長を特定する。この較正は、撮像システムの展開前に完了され得、撮像システムの耐用年数の間に定期的に実行されてもよい。
【００７０】
６０４において、対象の範囲が特定され、全空間及びスペクトルイメージングを含んでいてもよく、又は特定の空間座標及び／又はスペクトルデータを含んでいてもよい。幾つかの例において、撮像システムによって取り込まれたフルフレーム画像は対象範囲を含む。対象範囲が単一の画像内の対象範囲全体を取り込むための撮像システムの能力よりも大きい場合、撮像システムは移動され、複数の画像を取り込んでもよく、それらは共にスティッチされて、単一の取り込みにおいて撮像システムによって可能なものよりも大きい画像を形成してもよい。加えて、比較的高解像度の画像が望まれる場合、撮像システムは対象範囲を拡大してズームによって提供されるより多くの詳細を取り込んでもよく、撮像システムは、より大きな画像を形成するために共にスティッチされ得る複数の画像を取り込んでもよい。
【００７１】
６０６において、画像フレームは、特定されたＲＯＩの空間及びスペクトル要件に従って取り込まれる。アクチュエータが撮像センサを横断してフィルタを移動させるにつれて、画像フレームがＡＩＤ２００によって撮影された時系列画像として取り込まれ、対象範囲から反射された光は、撮像デバイスの撮像センサへの途中でバンドパスフィルタの所望の帯域を通過する。
【００７２】
６０８において、画像は対象の画像を作成するために後処理される。例えば、６１０において、画像は、撮像プラットフォームと情景との間の相対運動によって生じるモーションブラーについて安定化され、補正され得る。
【００７３】
６１２において、撮像デバイスの各ピクセルに対する空間及びスペクトルデータを含むハイパースペクトルデータキューブが構築され、キューブ内に表される各ピクセルに対する少なくともｘ、ｙ、及びλデータを含んでいてもよい。幾つかの例において、ハイパースペクトルデータキューブは、より効果的な格納及び送信に役立つよう離散分割するためにスライスされてもよく、それによって対象の空間及び／又はスペクトルデータのみを含む。
【００７４】
６１４において、ハイパースペクトルデータキューブは別の宛先に格納され及び／又は送信される。無論、本明細書中に示すプロセスはＡＩＤ２００内に担持されるコンピューティングリソースによって実行されてもよいか、又は幾つか若しくは全てのプロセスはＡＩＤ２００から遠隔に位置するコンピューティングリソースによって実行されてもよい。他の実施形態において、処理は撮像プラットフォーム及び遠隔地の両方に位置するリソースの組み合わせによって実行されてもよい。
【００７５】
図示する図面は、画像の後処理６０８が画像の格納６１４の前に実行されてもよいことを示しているが、場合によっては、取り込まれた画像は後処理の前に格納されてもよく、後処理は後で実行されてもよい。
【００７６】
更に図６を参照すると、後処理技術は、オルソ補正及び／又は画像位置合わせの更なるステップを追加的に含んでいてもよい。オルソ補正アルゴリズムは、最終的な画像に対してより正確な座標を割り当てるためにいずれかの内部又は外部歪みを除去するため等、それぞれの別々のフレームに適用することができる。このアルゴリズムは、自然の土地の地形的なプロファイルによって与えられた変形を修正することができ、画像の直交透視図を再構成することを可能にする。
【００７７】
オルソ補正アルゴリズムへの入力の１つは、各ピクセルのスペクトルデータであってもよく、これは画像が取り込まれたスペクトル帯によって影響を受ける歪みを補正するために必要であってもよい。スペクトル較正は、撮像システムを実施する較正段階中等で先に行われていてもよい。この較正は、アクチュエータの各位置について各ピクセルによって測定された波長帯を示すセンサとしての形状をなすマトリックスを返し、これは、撮像システムの一部として、又は、画像が撮像プラットフォームから送信された後、後処理のためのその他の外部位置において格納されてもよい。
【００７８】
オルソ補正アルゴリズムは、各フレームに含まれる空間情報を「変形」する。各ピクセルによって測定された波長を正確に再現するために、較正の出力として得られた波長行列に同じ変換を適用することが好ましい場合がある。このような方法で、各オルソ補正フレームはそれに対応する補正波長マトリックスを伴う。
【００７９】
撮像センサが単一の露光で取り込むことができるよりも大きい画像を生成するために、ＡＩＤは再配置され、複数の画像を取り込むことができる。画像スティッチングは、センサによって取得された複数の連続した画像を単一のフル画像に整列させることによって実行されてもよい。位置合わせアルゴリズムは、各画像内で一致する特徴を見つけることと、それらの変位及び回転を取得することと、変位及び回転をフル画像に適用することと、及びそれらが重なる箇所で両方の画像を混合することとからなっていてもよい。画像間のおおよその変位は、所望のサンプリング距離に基づいて予め特定されている。多くの実施形態において、撮像プラットフォームは画像取り込み中に回転せず、従って、重大な回転は多くの実施形態に対して予想されず、これは、回転するプラットフォームから画像を取り込むことと比較して、画像位置合わせを実行するために必要な計算時間を大幅に短縮する。
【００８０】
画像スティッチングは、また、特定の中心波長（λ中心）を有する情景全体の画像が望まれる場合にも用いられてもよい。この画像を生成するために、本明細書中の他の箇所で説明するように、フィルタが初期位置から最終位置に移動するにつれて、撮像システムは情景の複数の画像を取り込む。複数の画像は、対象の波長を分離するためにスライスすることができ、対象の波長を有する結果として生じるスライスは共にスティッチされて対象の波長を有する完全な情景の画像を作成することができる。
【００８１】
ハイパースペクトルキューブ６１２の構築は、ＡＩＤ２００によって取り込まれる各ピクセルのためのｘ、ｙ、及びλ値を含む撮像データを結果として生じる。ハイパースペクトル撮像プロセスの間、ＡＩＤ２００の各ピクセルは、アクチュエータの所定位置に対して常に同じ波長を測定している。生のフレームは、センサの応答性と波長当たりのフィルタの透過率とを考慮に入れることによって個別に補正されてもよい。アクチュエータの位置が所望のサンプリング距離（ｓｄ）に等しくなる度に写真が撮られるので、情景からの各ピクセルは、図４及び図５に示すように、この距離においてもスペクトル的にサンプリングされる。単一情景のピクセル（ｍ）の全スペクトルを測定するために必要な画像の数は、方程式２に従って、フィルタの全長をサンプリング距離で除算したものに等しい。
【数１】
2020503516.tif 000003
【００８２】
実施例のために、情景のスペクトルが滑らかに変化すると仮定すると、スペクトル軸内の補間曲線５１４は、補間多項式又はスプライン等、情景上の各ピクセルについて計算することができる。曲線補間点は、ＡＩＤ２００上の各ピクセルによって測定された異なる波長について情景の放射照度を計算することによって得ることができる。各補間曲線は、ｍ個の異なる補間点を有する。
【００８３】
サンプリング距離は１ピクセルより大きくてもよく、これは結果として、中心波長の異なるグループによってサンプリングされるこの距離内に投影される情景上の各ピクセルを生じる。これは図７に示されており、ここでサンプリング距離内に異なるスペクトル帯によって測定されたｐ個のピクセルが存在する。この結果として、これらのｐ個のピクセルのそれぞれについての補間曲線は、（情景の放射照度が異なる波長について計算されるのであれば）補間点の異なるグループで構築される。
【００８４】
従って、各補間曲線はｍ個の補間点で構築され、補間点として用いられる中心波長のｐ個の異なるグループが存在する。一旦各ピクセルの補間曲線が計算されると、単色画像の再構成は、所望の波長で各ピクセルの曲線を評価することによって実行されてもよい。
【００８５】
情景の放射照度スペクトルの滑らかさに応じて、用いられる場合に補間多項式の次数を変更することによって、ハイパースペクトルキューブに符号化されたスペクトル情報の圧縮度を調整することが可能である。スペクトルが十分に滑らかである場合、例えば、低次多項式が情報量を圧縮するために選択され得る。それ以外の場合、スペクトルシグネチャが大きく異なる場合は、高次多項式がスペクトルデータを補間するために選択され得る。
【００８６】
このアルゴリズムは極めて低い計算労力量を示し、大量の情報を極めて高速に処理することを可能にしている。ここに提示されたアルゴリズムは、情景のスペクトルがいずれの種類の不連続性も示さずに滑らかに変化するという仮定に基づいている。しかしながら、実際の情景がこの仮定から所定の閾値を超えて変化する場合、画像処理の精度は、サンプリング距離を減少させること及び／又は異なるスペクトル再構成アルゴリズムを適用することによって等で向上させることができる。
【００８７】
一旦写真が撮られてデータが処理されると、情報は格納され、リモートセンシングの場合には、最終的に別の宛先に送信される。データキューブ内に含まれる所望の情報に応じて、格納されている情報の構造を選択することができる。フル解像度が求められる場合、ハイパースペクトルデータキューブ全体が格納され、フル空間及びスペクトル分解能を維持することができる。一方で、フル解像度が必要ではない場合、ハイパースペクトルキューブは格納する前に圧縮されてもよい。更に、対象のスペクトル帯が制限されている場合、所望のスペクトル帯に対応する１つ以上のスライス等のデータキューブの一部分だけが、格納及び／又は送信されてもよい。
【００８８】
他の例において、各ピクセルからのスペクトル情報は、正規化植生指数（ＮＤＶＩ）等の異なる種類の指数、又は、例えば、農業分析の場合には他の緑色指数を計算するために処理されてもよい。特定のスペクトル帯が望まれる場合、ピクセル当たりの対応する指数と共に単色画像が、各ピクセルに対する全てのスペクトルシグネチャを格納することなく、格納されてもよい。
【００８９】
このような方法で、格納及び送信要件を最適化するために、特定の用途の詳細に用いられるデータ構造及び情報を合わせることが可能である。更に、分類アルゴリズムがハイパースペクトルキューブを分析するために実装されてもよい。例えば、類似のスペクトルシグネチャを有する端成分のクラスタが同定されてもよく、これは、例えば、異なる種類の植生、土壌、水、又は人工材料若しくは物体等の多種多様な材料の同定及び分類を可能にする。とりわけ、主成分分析、一般的な自動分類器、及び機械学習アルゴリズム等、幾つかの方法が実施されてもよい。
【００９０】
図８は、ハイパースペクトル画像を作成するために使用可能な例示的な撮像システム８００のブロック図である。幾つかの実施形態において、撮像システム８００の幾つかのコンポーネントは、遠隔に配置されてもよく、又は様々な場所及び複数ピースのハードウェアにわたって分散されてもよい。撮像システム８００は、任意の適切なコンピューティングデバイス又はシステムを含むよう構成されてもよい。メモリ８０２は、１つ以上のプロセッサ８０４上でロード可能且つ実行可能であるプログラム命令及びプログラムモジュール、並びにこれらのプログラムの実行中に生成され、及び／又はこれらと共に使用可能な、画像データ、画像、データキューブ、等のデータを格納してもよい。
【００９１】
メモリ８０２は、少なくとも制御モジュール８０６及び撮像モジュール８０８を含んでいる。制御モジュールは、本開示の実施形態に従って画像を取り込むことに関連する制御機能の幾つか又は全てを実行してもよい。制御モジュール８０６は、１つ以上の入出力インターフェースを介して等、制御するために１つ以上のプロセッサによって実行可能である。
【００９２】
制御モジュール８０６は、１つ以上の入出力インターフェースを介して等、ＡＩＤ２００を制御するために１つ以上のプロセッサ８０４によって実行可能である。ＡＩＤ２００は、本開示の様々な実施形態によるバンドパスフィルタの所望のスペクトルを通して露光を取り込むようサンプリング距離と同期させる等、１回以上の露光を取り込むよう制御されてもよい。
【００９３】
領域撮像デバイス２００は、ＡＩＤ２００の様々な機能を実行するか又はそうでなければ制御するよう１つ以上のプロセッサ８１０及びファームウェア８１２（適切な非一時的コンピュータ読取可能記憶媒体に格納されている）を含んでいてもよい。ファームウェア８１２は、露光時間、時系列露光捕捉を制御し、サンプリング距離を特定し、画像データを圧縮し、メモリ８０２上に（スペクトルデータキューブを含む）画像データ８１８を格納する、等を行うよう、１つ以上のプロセッサ８１０によって実行可能であってもよい。
【００９４】
ＡＩＤ２００は、また、例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、又はＡＩＤ２００の活性面上の他の適切なセンサアーキテクチャを実装するのに適した半導体コンポーネント等の感光センサ８１４を含む。
【００９５】
ＡＩＤ２００は、更に、リニアアクチュエータ等の１つ以上のアクチュエータ８１６を含む。アクチュエータ８１６は、光学バンドパスフィルタ８２０に取り付けられ、センサ８１４に対してフィルタを直線的に移動させるよう構成されてもよい。幾つかの実施形態において、フィルタは線形可変光学バンドパスフィルタであり、アクチュエータは、センサ８１４に対してフィルタをフィルタの波長が変化する方向と平行な方向に移動させるよう構成される。例えば、フィルタ８２０が垂直列に配置されたスペクトル帯を含む場合、フィルタはセンサ８１４を横断して水平に移動することができる。無論、フィルタが他の構成を含む場合、適切なスペクトルイメージング方式は、マルチスペクトル又はハイパースペクトル画像を取り込み及び／又はそうでなければ生成するために、センサ８１４に対してフィルタ８２０を移動させるよう実施され得る。
【００９６】
撮像モジュール８０８は、高ダイナミックレンジ（ＨＤＲ）画像を生成するためのトーンマッピング、高解像度画像を生成するための解像度向上アルゴリズム、及び複数の部分的に重なり合う露光から画像を生成するか又は複数の画像のスライスを共にスティッチすることによって対象のスペクトル帯を含む画像を生成するためのスティッチングアルゴリズム、並びに、ぼかし除去、アーチファクト除去、色強調、クロッピング、画像変換、画像圧縮、データ暗号化、等の他の処理機能を含む撮像システム８００の様々な画像処理機能を実行する。
【００９７】
幾つかの実施形態において、ＡＩＤ２００のファームウェア８１２は、ファームウェア８１２上で若しくはそれによって実行される制御モジュール８０６及び／又は撮像モジュール８０８の機能の幾つか又は全ては１つ以上のプロセッサ８１０上で実行するため、制御モジュール８０６及び撮像モジュール８０８の一方又は両方の拡張と見なしてもよい。幾つかの実施形態において、制御モジュール８０６、撮像モジュール８０８の機能、及び／又はファームウェア８１２の他の機能の幾つか又は全ては、１つ以上のプロセッサ８０４上の論理関数として実装されてもよい。例えば、幾つかの実施形態において、１つ以上のプロセッサ８０４は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス、又は、制御モジュール８０６の様々な制御機能及び／又は撮像モジュール８０８の画像処理機能を含む様々な機能を実行するための他の論理回路を含んでいてもよい。
【００９８】
用いられるコンピューティングデバイスの構成及び種類に応じて、撮像システム８００のメモリ８０２、並びにＡＩＤ２００にファームウェア８１２を格納するための媒体は、揮発性メモリ（ランダムアクセスメモリ（ＲＡＭ）等）及び／又は非不揮発性メモリ（読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、等）を含んでいてもよい。メモリ８０２、並びにＡＩＤ２００にファームウェア８１２を格納するための媒体は、また、コンピュータ読み取り可能命令、データ構造、プログラムモジュール、及び撮像システム８００のための他のデータの不揮発性ストレージを提供してもよいフラッシュメモリ、磁気ストレージ、及び／又は光学ストレージ、及び／又はテープストレージを含むがこれらに限定されない追加のリムーバブルストレージ及び／又は非リムーバブルストレージを含んでいてもよい。
【００９９】
メモリ８０２、並びにＡＩＤ２００にファームウェア８１２を格納するための媒体は、非一時的コンピュータ読取可能媒体の一実施例である。非一時的コンピュータストレージ媒体は、コンピュータ読取り可能命令、データ構造、プログラムモジュール、又は他のデータ等の情報を格納するための任意のプロセス又は技術で実装される揮発性及び不揮発性、リムーバブル及び非リムーバブル媒体を含む。コンピュータストレージ媒体は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他の種類のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ（１つ以上の不揮発性メモリカードに含まれてもよく、シングルレベル及びマルチレベルセル技術の両方を有するフラッシュを含む等のＮＡＮＤフラッシュメモリ等）又は他のメモリ技術、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）又は他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又はコンピューティングデバイスによるアクセスのために情報を格納するために用いることができるその他の任意の非伝送媒体を含むが、これらに限定されない。
【０１００】
本明細書中に説明する実施形態に基づいて、撮像システムは、マルチスペクトル（又はハイパースペクトル）光学バンドパスフィルタを移動させ、フィルタが撮像センサに対して移動するにつれて時系列画像を取り込むことによって、情景のハイパースペクトル画像を取り込むことができる。システムは、連続する露光の間にフィルタを変える必要はない。ハイパースペクトルデータキューブは、対象の空間及び／又はスペクトル領域のみを収集するために画像キャプチャ時に構成することができ、撮像デバイスの動的構成を可能にする。それは既存のハイパースペクトル撮像システムと比較すると比較的単純であり、これにより宇宙空間で操作されるハイパースペクトルイメージングのための劇的な改善策が可能となる。
【０１０１】
結論
開示は構造的特徴及び／又は方法論的作用に特有な言語を使用するが、本発明は記載された特定の特徴又は作用に限定されない。むしろ、特定の特徴及び作用は、発明を実施する例示的な形態として開示されている。
【図１Ａ】
2020503516.tif 000004
【図１Ｂ】
2020503516.tif 000005
【図１Ｃ】
2020503516.tif 000006
【図１Ｄ】
2020503516.tif 000007
【図２】
2020503516.tif 000008
【図３】
2020503516.tif 000009
【図４】
2020503516.tif 000010
【図５】
2020503516.tif 000011
【図６】
2020503516.tif 000012
【図７】
2020503516.tif 000013
【図８】
2020503516.tif 000014
【国際調査報告】
2020503516.tif 000015