(57)【要約】  スペクトル撮像データを得るための方法が、空間ベースで物体の画像のスペクトル特性をサンプリングすることによって生成されるサンプルデータセットを受信する工程を少なくとも含み、物体の画像のスペクトル特性をサンプリングすることは、表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し；複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長にそれぞれ中心を合わされた１つまたはそれ以上のスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし；表面にわたる複数のＳＦＡ素子すべての均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、ＳＦＡを提供することを含む。物体の画像のスペクトル特性をサンプリングすることは、複数のＳＦＡ素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光を各画素で記録するように構成された画像センサを提供し、それにより、複数の素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光の１つの強度値を画素毎に生成すること；レンズまたはレンズのグループを通してＳＦＡ上に物体の画像を生成すること；および画像センサのすべての画素に関して、スペクトル面でフィルタされた強度値を記録し、それにより、物体の画像に対応する強度値の２次元アレイを得ることをさらに含む。スペクトル撮像データを得るための方法は、サンプリングされた２次元アレイから、撮像された物体のフル３次元スペクトルデータキューブを再構成する工程をさらに含む。
2017526910.tif 000002
【特許請求の範囲】
【請求項１】
スペクトル撮像データを得るための方法であって、
空間ベースで物体の画像のスペクトル特性をサンプリングすることによって生成されるサンプルデータセットを受信する工程であって、物体の画像のスペクトル特性をサンプリングすることは、
表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し、
複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長にそれぞれ中心を合わされた１つまたはそれ以上のスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、
表面にわたる複数のＳＦＡ素子すべての均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、
ＳＦＡを提供すること、
複数のＳＦＡ素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光を各画素で記録するように構成された画像センサを提供し、それにより、複数の素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光の１つの強度値を画素毎に生成すること、
レンズまたはレンズのグループを通してＳＦＡ上に物体の画像を生成すること、
画像センサのすべての画素に関して、スペクトル面でフィルタされた強度値を記録し、それにより、物体の画像に対応する強度値の２次元アレイを得ること
を含む、工程と、
サンプリングされた２次元アレイから、撮像された物体のフル３次元スペクトルデータキューブを再構成する工程と
を少なくとも含む前記方法。
【請求項２】
再構成する工程は、数学的モデリングおよび計算数値最適化を含む請求項１に記載の方法。
【請求項３】
数学的モデリングおよび計算数値最適化は、ＳＦＡによる透過率測定をなくすことを可能にする機械学習法を含む請求項２に記載の方法。
【請求項４】
数学的モデリングおよび計算数値最適化は、少なくとも、ＳＦＡの透過率測定に基づく凸最適化法を含む請求項２に記載の方法。
【請求項５】
再構成する工程は、
ＳＦＡの個々のＳＦＡ素子の測定された透過率を提供すること、
個々のＳＦＡ素子の測定された透過率と、画像センサ放射計測較正とから、システム設計行列を作成すること、および
システム設計行列に基づいて、デコンボリューションまたは非線形スパース再構成法を使用して、サンプリングされていないスペクトル情報を推量すること
を含む請求項１に記載の方法。
【請求項６】
ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は決定論的であり、それにより、ワンまたはペンローズなどの非周期タイリングを含む請求項１に記載の方法。
【請求項７】
ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、
ＳＦＡ表面を反復パターンで埋め、次いで、
ＳＦＡ中心波長の測定されるエントロピーが十分に高くなるまで、連続的に、およびランダムにＳＦＡ素子を相互変化させること
をさらに含む請求項１に記載の方法。
【請求項８】
ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、
均一な分布からＳＦＡ素子をランダムサンプリングすること
をさらに含む請求項１に記載の方法。
【請求項９】
ＳＦＡの特定波長のマルチバンド分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、
隣接するＳＦＡ素子がスペクトル的に直交するように、マルチバンドＳＦＡ素子をサンプリングすること
をさらに含む請求項１に記載の方法。
【請求項１０】
スペクトルフィルタアレイ（ＳＦＡ）設計および後続の応答減算によるＳＦＡ素子の２次透過相殺のための方法であって、
表面を形成するために複数のＳＦＡ素子をまとめて配置し、
複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、
表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、
均一におよび非周期的に分布されたスペクトルフィルタアレイ（ＳＦＡ）を設計する工程と、
画像センサの感度範囲内で２次透過を有するＳＦＡ素子を識別する工程と、
２次透過を有するＳＦＡ素子に隣接するＳＦＡ素子の中心波長を変えて、２次透過の中心波長に一致させる工程と、
変更されなかった、または２次透過を有していないＳＦＡ素子の中心波長を構成し直して、ＳＦＡ中心波長分布の均一性を保つ工程と、
画素強度値の２次元アレイで、２次透過を有するＳＦＡ素子に対応する応答から、変更された隣接する素子に対応する応答を減算する工程と
を少なくとも含む前記方法。
【請求項１１】
撮像された物体のリアルタイム単色プレビューを得るための方法であって、撮像された物体は、請求項１〜８のいずれか１項に記載のスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、
表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るように、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を設定することによって、均一であり非周期的なＳＦＡを設計する工程と、
２次元周期選択によって、ＳＦＡ素子の部分集合を生成する工程と、
該部分集合に属するＳＦＡ素子を、同一の透過率のＳＦＡ素子で置き換える工程と、
画素強度値の２次元アレイから、同一の透過率を有する周期的なＳＦＡ素子の部分集合に対応する値の部分集合を使用して、より低い解像度の単色画像を作成する工程と
を含む前記方法。
【請求項１２】
撮像された物体のリアルタイム単色プレビューを得るための方法であって、該撮像された物体は、請求項１〜９のいずれか１項に記載のスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、
表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長に中心を合わされた複数のスペクトルバンドをフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を、隣接するＳＦＡ素子がスペクトル的に直交するように設定することによって、均一であり非周期的なＳＦＡを設計する工程と、
画素強度値の２次元アレイから、ＳＦＡ素子構成に対応する各チャネルを、他のＳＦＡ素子構成が存在する画素位置で、独立して空間的に補間する工程と、
高解像度単色画像を作成するために、独立して補間されたチャネルを平均化する工程とを含む前記方法。
【請求項１３】
撮像された物体のスペクトル３Ｄモデルを生成し、撮像されたシーンのスペクトル再構成品質を高めるための方法であって、
シーンの複数の画像を撮影する工程であって、各画像は、少なくとも画素強度のアレイを含む工程と、
単色プレビューを使用して、画像レジストレーションによって画像を光学的に位置合わせし、それによりシーンの３Ｄモデルを生成する工程と、
撮像されたシーン内の同じ点に複数の画素が位置合わせされた場合に、複数の画像のうちの異なる画像に対応する異なる画素強度アレイからの値をグループ化する工程と、
グループ化された値に基づいて、異なる位置から取られた、画素強度の複数のアレイに対応するシステム設計行列をモデル化し直す工程と、
クロス画像システム設計行列に基づいて、３Ｄモデルのスペクトルテクスチャを再構成する工程と
を含む前記方法。
【請求項１４】
メモリデバイスに記憶されたコンピュータプログラムであって、コンピューティングデバイスによって実行されるときに、請求項１に記載の方法の工程を実施することによって、メモリデバイスから読み出し、２Ｄ空間スペクトルデータセットから３Ｄハイパースペクトル画像を再構成することを可能にする前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像分光法の分野に関し、より正確には、ハイパースペクトル撮像に関する。より具体的には、本発明は、圧縮スペクトル画像獲得および再構成システムを含む。
【背景技術】
【０００２】
撮像分光法撮像分光法は、シーンが２つの空間次元および１つのスペクトル次元で光学的にサンプリングされて３次元データキューブを生成する、デジタル検知プロセスである。スペクトル画像は、カラー写真よりもはるかに大量のスペクトル情報を含み、典型的には、画像の個々の画素それぞれに関して、数十または数百の良く定義された狭いスペクトルチャネルを含む。すなわち、スペクトル画像の各空間画素は、撮像された表面のそれぞれの点のスペクトル応答を含む。対照的に、カラー画像は、３つの大まかに定義された赤−緑−青チャネルによって構成される。スペクトル画像は、厳密に測定された放射計測出力によってカラー写真とは区別される：色は知覚に基づき、絶対単位を有さないが、スペクトル放射は物理的尺度であり、その単位は、［Ｗｍ−２μｍ−１ｓｒ−１］である。その結果、スペクトル撮像は、物理的接触の必要性をなくしつつ、物体の化学的および生物学的組成を決定するためにしばしば使用される［１、２］。撮像センサの２次元性質により、３Ｄハイパースペクトル撮像データの獲得は難しい。
【０００３】
２次元センサを用いてスペクトルデータキューブを得るために、ほとんどのスペクトル撮像カメラは、以下の３つの素子を使用する：
１．レンズなどの光学素子：光学シーンを撮像平面上に合焦するため。
２．プリズムまたは回折格子などの分散素子：撮像平面からスペクトル情報を空間的に分散させるため。
３．ＣＣＤまたはＣＭＯＳなどの撮像センサ：分散された光を空間的にサンプリングするため。
【０００４】
スペクトル分散により、空間解像度は損なわれざるを得ない。解像度の損失を克服するために、多くのスペクトル撮像カメラは、以下のようないくつかの走査形式を採用する：
・プッシュブルームまたはラインスキャンカメラは、データキューブの空間スペクトルスライスを捕捉し、撮像センサの２次元を１Ｄスペクトルおよび１Ｄ空間サンプリングとして使用する。プッシュブルームセンサは、ハイパースペクトル画像全体を再構成するための動きを必要とし、それらは空間的な走査を必要とする。
・バンドシーケンシャルカメラは、回転型または同調可能なスペクトルフィルタを使用して、スペクトルデータキューブのスペクトルスライスを捕捉する。それらは、撮像センサの２次元を２Ｄ空間サンプリングとして使用し、様々なスペクトルフィルタを撮像センサの前で順次に適用することによってスペクトル的に走査し、したがってスペクトル走査を必要とする。
・干渉計ベースのスペクトルカメラは、データキューブのインターフェログラムを画像センサ上に順次に捕捉する。インターフェログラムは、干渉計を同調することによって生成され、これは、スペクトル走査と同様のプロセスである。
【０００５】
フレームまたはスナップショットスペクトルカメラは、走査なしでデータキューブ全体を獲得し、解像度をかなり損なう。現況技術のスナップショットカメラは、２Ｄ回折格子または小さなフィルタバンクに基づき、高解像度センサを必要とし、走査型のスペクトルカメラに比べて非常に低い解像度のスペクトルデータキューブを生成する［２］。
【０００６】
圧縮センシング
従来の信号処理は、情報損失なく信号をサンプリングし、次いで再構成するために、信号が、それが含む最高周波数の少なくとも２倍でサンプリングされなければならないことを要求している。この最小のサンプリング周波数は、ナイキスト周波数とも呼ばれる。サンプリングがナイキスト周波数未満で行われる場合、再構成される信号は、情報損失およびアーチファクト、例えばエイリアスを示す。ナイキスト制約の下でフルハイパースペクトルデータキューブを再構成するのに多数の測定値が必要であることが、非圧縮スナップショットスペクトルカメラが低い解像度を有する主な理由の１つである。
【０００７】
信号処理の近年の研究、および計算能力の向上が、圧縮センシングによる信号獲得帯域幅を低減するうえで多くの改善をもたらしている。圧縮センシングの核心には、以下の仮説がある。すなわち、獲得する必要がある信号が、何らかの数学的ベースでスパースである場合、信号を再構成するのに必要とされる測定値の数は、そのスパース性（ｓｐａｒｓｉｔｙ）によって与えられ、したがって、ナイキスト周波数によって決定される測定の数よりもかなり小さいことがある。
【０００８】
圧縮センシング数学モデルを使用した元の信号の効果的な再構成は、根底の信号サンプリング法に対して特定の要件、特に均一性および非周期性（ａｐｅｒｉｏｄｉｃｉｔｙ）を課す。
【０００９】
磁気共鳴撮像（ＭＲＩ）などの用途の分野では、必要とされる測定値の量を１０〜２０分の１に低減する、またはそれに対応する１／１０〜１／２０の圧縮比で低減するように、圧縮センシングが良好に実施される［４］。カラー画像に関しては、この方法が［５］で示唆されているが、実用的な実装は、従来のデモザイクに対する低い情報利得および高い計算コストによって制限されている。カラー写真では、画像が少量のスペクトル情報を有するので、必要な圧縮比は１／３である。
【００１０】
また、複数の科学的実験で、圧縮センシングはスペクトル撮像にも適用されており、１／４〜１／１６の圧縮比を示す［６］［７］。しかし、これらの実験は、約１／５０以上の圧縮比を必要とする実用的なスナップショットスペクトルカメラに必要とされる結果を生み出せなかった。［５］で述べられているカラー撮像法は、以下のような複数の理由から、２Ｄスペクトルサンプリングベースの撮像に直接適用することができない：
・正しい画素毎のスペクトル再構成は、フィルタの最適なスペクトル分布または高次フィルタ応答相殺（ｈｉｇｈｅｒ  ｏｒｄｅｒ  ｆｉｌｔｅｒ  ｒｅｓｐｏｎｓｅ  ｃａｎｃｅｌｌａｔｉｏｎ）など、一連の新たな問題を提示する。
・カラーフィルタアレイは、十分なスペクトル分離を提供しない。
・ハイパースペクトル画像再構成に関して、アルゴリズムは、かなり大きいデータセットを、そのサイズの５％未満から再構成する必要があり、カラー撮像での３３％のサブサンプリングレートとは対照的である。
【００１１】
干渉スペクトルフィルタアレイ
スペクトル撮像の非常に厳しい要件により、スペクトルフィルタアレイは、商用のカラーカメラで使用されるカラーアレイよりもはるかに製造が難しい。カラーカメラは通常、色素ベースのフィルタを採用し、そのようなフィルタのスペクトル透過帯域幅は、スペクトル撮像の放射計測による測定のためには広すぎ一定でなさすぎる。また、色素ベースのカラーフィルタアレイで製造することができる異なるフィルタの数は、使用される色素の数によっても制限される。したがって、カラーフィルタのコストは、異なるフィルタの数の増加と共に大幅に増加する。
【００１２】
ファブリペローフィルタなどの干渉フィルタは、色素フィルタとは異なる原理に基づき、撮像分光法に有用な以下のようないくつかの特性を有する：
・精密に同調可能な中心波長：中心波長は、光をそれ自体と干渉させるために使用される反射面間の距離によって与えられる。この距離の変化は、そのスペクトル透過曲線の形状を大幅に変えることなく、フィルタの中心波長を変える；
・中心波長の周りでの対称性：フィルタ透過は、自然な干渉プロセスにより、中心波長に関して局所的に対称である；
・精密に同調可能な帯域幅：フィルタ帯域幅は、光を反射する表面の反射率によって与えられる；
・多数の異なる波長の干渉フィルタの製造コストは、色素ベースのフィルタに関するコストよりもはるかに低い。
【００１３】
それらの特性は、干渉フィルタを撮像分光法のための明白な選択肢にするが、最近まで、干渉フィルタを単一画素のサイズで作成することは実現可能でなかった。したがって、センサ表面全体をカバーする大きな全域フィルタとして、バンドシーケンシャル走査によってスペクトル画像を製造するためにファブリペローフィルタが使用されていた［８］。しかし、小型化およびナノテクノロジーの近年の発達により、個々のフィルタが画素以下の大きさである干渉スペクトルフィルタアレイが開発されている［４］。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
干渉フィルタの主な欠点の１つは、それらの２次および高次透過である。フィルタのこれらの高次透過は、光を所望の中心波長で通すだけでなく、その波長の２倍、その波長の３倍などでも通す。また、干渉フィルタは、それらが光を透過する複数の特定波長を含む高次透過により、マルチバンドフィルタとして構成することもできる。ほとんどの場合、高次透過は、望ましくない効果であり、無効化する必要がある。
【課題を解決するための手段】
【００１５】
第１の態様では、本発明は、スペクトル撮像データを得るための方法を提供する。この方法は、空間ベースで物体の画像のスペクトル特性をサンプリングすることによって生成されるサンプルデータセットを受信する工程を少なくとも含み、物体の画像のスペクトル特性をサンプリングすることは、表面を形成するために複数のスペクトルフィルタアレイ（ＳＦＡ）素子をまとめて配置し；複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長にそれぞれ中心を合わされた１つまたはそれ以上のスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし；表面にわたる複数のＳＦＡ素子すべての均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、ＳＦＡを提供することを含む。物体の画像のスペクトル特性をサンプリングすることは、複数のＳＦＡ素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光を各画素で記録するように構成された画像センサを提供し、それにより、複数の素子の１つ、または複数のＳＦＡ素子の部分集合によってフィルタされる光の１つの強度値を画素毎に生成すること；レンズまたはレンズのグループを通してＳＦＡ上に物体の画像を生成すること；および画像センサのすべての画素に関して、スペクトル面でフィルタされた強度値を記録し、それにより、物体の画像に対応する強度値の２次元アレイを得ることをさらに含む。スペクトル撮像データを得るための方法は、サンプリングされた２次元アレイから、撮像された物体のフル３次元スペクトルデータキューブを再構成する工程をさらに含む。
【００１６】
好ましい実施形態では、再構成する工程は、数学的モデリングおよび計算数値最適化を含む。
【００１７】
さらなる好ましい実施形態では、数学的モデリングおよび計算数値最適化は、ＳＦＡによる透過率測定をなくすことを可能にする機械学習法を含む。
【００１８】
さらなる好ましい実施形態では、数学的モデリングおよび計算数値最適化は、少なくとも、ＳＦＡの透過率測定に基づく凸最適化法を含む。
【００１９】
さらなる好ましい実施形態では、再構成する工程は、ＳＦＡの個々のＳＦＡ素子の測定された透過率を提供すること；個々のＳＦＡ素子の測定された透過率と、画像センサ放射計測較正とから、システム設計行列を作成すること；およびシステム設計行列に基づいて、デコンボリューションまたは非線形スパース再構成法を使用して、サンプリングされていないスペクトル情報を推量することを含む。
【００２０】
さらなる好ましい実施形態では、ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は決定論的であり、それにより、ワンまたはペンローズなどの非周期タイリングを含む。
【００２１】
さらなる好ましい実施形態では、ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、ＳＦＡ表面を反復パターンで埋め、次いで、ＳＦＡ中心波長の測定されるエントロピーが十分に高くなるまで、連続的に、およびランダムにＳＦＡ素子を相互変化させることをさらに含む。
【００２２】
さらなる好ましい実施形態では、ＳＦＡの特定波長の均一であり非周期的な空間分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、均一な分布からＳＦＡ素子をランダムサンプリングすることをさらに含む。
【００２３】
さらなる好ましい実施形態では、ＳＦＡの特定波長のマルチバンド分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定する工程は、隣接するＳＦＡ素子がスペクトル的に直交するように、マルチバンドＳＦＡ素子をサンプリングすることをさらに含む。
【００２４】
第２の態様では、本発明は、ＳＦＡ設計および後続の応答減算によるスペクトルフィルタアレイ（ＳＦＡ）素子の２次透過相殺のための方法を提供する。この方法は、表面を形成するために複数のＳＦＡ素子をまとめて配置し；複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし；表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るために、表面での複数のＳＦＡ素子の各ＳＦＡ素子の特定波長を設定することによって、均一におよび非周期的に分布されたスペクトルフィルタアレイ（ＳＦＡ）を設計する工程を少なくとも含む。この方法は、さらに、画像センサの感度範囲内で２次透過を有するＳＦＡ素子を識別する工程と；２次透過を有するＳＦＡ素子に隣接するＳＦＡ素子の中心波長を変えて、２次透過の中心波長に一致させる工程と；変更されなかった、または２次透過を有していないＳＦＡ素子の中心波長を構成し直して、ＳＦＡ中心波長分布の均一性を保つ工程と；画素強度値の２次元アレイで、２次透過を有するＳＦＡ素子に対応する応答から、変更された隣接する素子に対応する応答を減算する工程とをさらに含む。
【００２５】
第３の態様では、本発明は、撮像された物体のリアルタイム単色プレビューを得るための方法であって、該撮像された物体は、本明細書で上述したスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、表面を形成するために複数のＳＦＡ素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する中心波長に中心を合わされたスペクトルバンド幅をフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面にわたって均一であり非周期的であるようにすべての中心波長の分布を得るように、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を設定することによって、均一であり非周期的なスペクトルフィルタアレイ（ＳＦＡ）を設計する工程と；２次元周期選択によって、ＳＦＡ素子の部分集合を生成する工程と；上記の部分集合に属するＳＦＡ素子を、同一の透過率のＳＦＡ素子で置き換える工程と；画素強度値の２次元アレイから、同一の透過率を有する周期的なＳＦＡ素子の部分集合に対応する値の部分集合を使用して、より低い解像度の単色画像を作成する工程とを含む方法を提供する。
【００２６】
第４の態様では、本発明は、撮像された物体のリアルタイム単色プレビューを得るための方法であって、該撮像された物体は、本明細書で上述したスペクトル撮像データを得る方法を使用して得られており、リアルタイム単色プレビューを得るための方法は、表面を形成するために複数のＳＦＡ素子をまとめて配置し、複数のＳＦＡ素子の各ＳＦＡ素子を、該ＳＦＡ素子に対応する特定波長に中心を合わされた複数のスペクトルバンドをフィルタするように構成し、それにより、まとめられた複数のＳＦＡ素子すべてが所定のスペクトル範囲をカバーし、表面での複数のＳＦＡ素子の各ＳＦＡ素子の中心波長を、隣接するＳＦＡ素子がスペクトル的に直交するように設定することによって、均一であり非周期的なスペクトルフィルタアレイ（ＳＦＡ）を設計する工程と；画素強度値の２次元アレイから、ＳＦＡ素子構成に対応する各チャネルを、他のＳＦＡ素子構成が存在する画素位置で、独立して空間的に補間する工程と；高解像度単色画像を作成するために、独立して補間されたチャネルを平均化する工程とを含む方法を提供する。
【００２７】
第５の態様では、本発明は、撮像された物体のスペクトル３Ｄモデルを生成し、撮像されたシーンのスペクトル再構成品質を高めるための方法であって、シーンの複数の画像を撮影する工程であって、各画像は、少なくとも画素強度のアレイを含む工程と；単色プレビューを使用して、画像レジストレーションによって画像を光学的に位置合わせし、それによりシーンの３Ｄモデルを生成する工程と；撮像されたシーン内の同じ点に複数の画素が位置合わせされた場合に、複数の画像のうちの異なる画像に対応する異なる画素強度アレイからの値をグループ化する工程と；グループ化された値に基づいて、異なる位置から取られた、画素強度の複数のアレイに対応するシステム設計行列をモデル化し直す工程と；クロス画像システム設計行列に基づいて、３Ｄモデルのスペクトルテクスチャを再構成する工程とを含む方法を提供する。
【００２８】
第６の態様では、本発明は、メモリデバイスに記憶されたコンピュータプログラムであって、コンピューティングデバイスによって実行されるときに、本明細書で上述したスペクトル撮像データを得るための方法の工程を実施することによって、メモリデバイスから読み出し、２Ｄ空間スペクトルデータセットから３Ｄハイパースペクトル画像を再構成することを可能にするコンピュータプログラムを提供する。
【００２９】
対応するハイパースペクトル画像再構成モジュールは、２Ｄデータセットから３Ｄハイパースペクトル画像を再構成するようにプログラムされたシングルもしくはマルチプロセッサコンピューティングデバイスまたはコンピュータネットワークを含む。ハイパースペクトル画像再構成の根底にあるアルゴリズムフレームワークは、デコンボリューション、非線形スパース再構成、回帰的機械学習法、１組のアプリオリに知られているスペクトルシグネチャへの獲得されたスペクトルサンプルの投影、およびここでの３つの方法の任意の組合せを含むことがある。固定の構成イメージャに基づく、撮像されたシーンの可変空間スペクトル解像度再構成のためのアルゴリズムによる方法も提供される。
【００３０】
好ましい実施形態の説明に鑑みて、また図面を参照して、本発明がより良く理解されよう。
【図面の簡単な説明】
【００３１】
【図１Ａ】中核的な撮像設計およびプロセスの概略全体図である。
【図１Ｂ】主撮像レンズと撮像センサとの間に取り付けられたスペクトルフィルタアレイアダプタに基づく、２Ｄスペクトルサンプリングイメージャの変形形態を示す図である。
【図１Ｃ】再構成器がイメージャに組み込まれた２Ｄスペクトルサンプリングイメージャの変形形態を示す図である。
【図２Ａ】空間画像シーンのカラープレビューと、それに対応する、シミュレーションによって計算された、再構成された１００個の帯域スペクトルデータキューブのセンサ読取値およびカラープレビューとを示す図である。対象の４点が、再構成された画像上にマークされる。
【図２Ｂ】図２Ａにマークされた４点それぞれに関して、１００個の帯域でサンプリングされた元の画像シーン（「元」とマークされている）と、再構成されたスペクトルデータキューブ（「再構成」とマークされている）とのスペクトル比較を示す図である。
【図２Ｃ】図２Ａにマークされた４点それぞれに関して、１００個の帯域でサンプリングされた元の画像シーン（「元」とマークされている）と、再構成されたスペクトルデータキューブ（「再構成」とマークされている）とのスペクトル比較を示す図である。
【図３Ａ】ナノメートル単位での中心波長によって与えられる、均一に分布された非周期的な１２×１２素子のスペクトルフィルタアレイパターンの一例を示す図である。６１個の可能なフィルタを、１０ｎｍのステップで４００〜１０００ｎｍの間の中心波長で考察した。
【図３Ｂ】無視できない２次透過を有する素子が、それらの中心波長の２倍でフィルタする素子のすぐ近くに常に配置される、図３Ａの変形形態を示す図である。これらのフィルタ対は、灰色で強調されている；
【図３Ｃ】非周期的パターンが、非フィルタリング素子または共通のスペクトル透過率を有する素子の周期的パターンと交互配置される、図３Ａの変形形態を示す図である。周期的パターンの素子が、灰色で強調されている；
【図４】撮像センサへの光の光路に沿って、スペクトルフィルタアレイの前にはアンチエイリアシングフィルタがあり、後にはカラーフィルタアレイがある、画像フィルタリング構成を示す図である。
【図５Ａ】７００ｎｍの中心波長と１００ｎｍの半値全幅とを有するファブリペロースペクトルアレイ素子の連続的なスペクトル透過率および離散されたスペクトル透過率の例示的なプロットを含む図である。
【図５Ｂ】７００ｎｍの中心波長と１００ｎｍの半値全幅とを有するファブリペロースペクトルアレイ素子の連続的なスペクトル透過率および離散されたスペクトル透過率の例示的なプロットを含む図である。
【図６】マルチバンドフィルタリングのために設計された２つのファブリペロースペクトルアレイ素子の透過率の例示的なプロットを示す図である。マルチバンド波長の数と帯域幅の両方の変化が示されている。６つの特定波長で設計された広帯域フィルタ（上）と、５つのマルチバンド波長で設計された狭帯域フィルタ（下）とがプロットされている。
【発明を実施するための形態】
【００３２】
この節では、先行技術に対する提示された解決策の利点を概説し、その後、本発明の以下の３つの主要な側面に関する技術的な詳細に焦点を当てる：
１．カメラ設計および機能；
２．スペクトルフィルタアレイ設計；および
３．再構成器の実施形態および好ましい実装形態
【００３３】
本発明は、多くの点で、先行技術を改善する。空間またはスペクトル走査スペクトル撮像システムに関して、本発明は走査の必要性を克服し、同様の解像度を提供しながら、撮像されたシーンを同時にサンプリングする。本発明の極端に短い光路により、スペクトル分散素子（ｓｐｅｃｔｒａｌｌｙ  ｄｉｓｐｅｒｓｉｖｅ  ｅｌｅｍｅｎｔ）を必要とするものよりもはるかに小型で軽量のスペクトル画像獲得システムを作製することができる。また、光学および機械部品の複雑さがより低いことにより、分散素子を有するスペクトル撮像システムと比較したときに製造コストが大幅に削減される。現況技術のスナップショットスペクトル獲得システムに関して、本発明は、大幅に高い解像度のスペクトルデータキューブを生成する。本発明は、撮像センサの画素の数を超えない比較的小さい２Ｄ光学サンプルセットからスペクトルデータキューブが再構成されるので、スペクトルデータキューブを獲得するのに必要とされる記憶量を大幅に低減し、一方、フルデータキューブは、センサでの画素の数に、登録されたスペクトルバンドの数を掛けた値と同数の素子を含む。２Ｄサンプルセットと再構成されたハイパースペクトルデータキューブとのサイズ比は、構成に応じて変化することがあるが、典型的には１／１０〜１／２００の間になる。
【００３４】
カメラ
本発明の中核的な実施形態は、２Ｄスペクトルサンプルセット８を生成するために採用される、図１Ａに示される撮像分光法カメラシステムと、前述した２Ｄ光学サンプルセットから完全な３Ｄスペクトルデータキューブを再構成するために利用される計算方法とを含む。より具体的には、カメラは、画像面に対象物１の画像を生成するために使用される光学レンズ５、または１群のレンズを含む。カメラは、物体の画像の様々なスペクトル成分が画像センサに送信されるスペクトルフィルタアレイ（ＳＦＡ）６と、個々のＳＦＡ素子によって送信された光を検出するように構成された画像センサアレイ７とをさらに含む。また、カメラは、アナログ／デジタル信号変換器と記憶媒体９とを含み、記憶媒体９に、得られた２Ｄデータセットが記憶される。
【００３５】
対応するスペクトルデータキューブ再構成モジュール３または再構成器は、シングルもしくはマルチプロセッサコンピューティングデバイス、または２Ｄ光学サンプルセットから３Ｄスペクトル画像を再構成するようにプログラムされたコンピュータネットワークを含む。スペクトル画像再構成の根底にあるアルゴリズムフレームワークは、デコンボリューション、非線形スパース再構成、１組のアプリオリに知られているスペクトルシグネチャへの獲得されたスペクトルサンプルの投影、および本明細書で述べる３つの方法の任意の組合せを含むことがある。
【００３６】
撮像プロセスは、以下のようなものである：
・撮像されたシーンが、レンズによってＳＦＡの平面上に合焦される。
・ＳＦＡの各素子は、その透過曲線に応じて、光の特定の周波数のみがその素子を通過するようにする。
・ＳＦＡによって透過された光が撮像センサに入り、撮像センサは、各画素について、画素によって受信された光の量に比例して電荷を生成する。
・撮像センサでの電荷は、アナログ／デジタル変換器によって離散化およびデジタル化されて、センサ読取値を生成する。
・次いで、センサ読取値が記憶媒体に記憶される。
・再構成器は、記憶媒体からセンサ読取値を受信し、フル３Ｄスペクトル画像を再構成する。
【００３７】
いくつかの実施形態では、本発明のカメラは、図１Ｂに示される交換可能なレンズカメラに基づく。スペクトルフィルタアレイ６および再合焦レンズ１４はアダプタ１３に組み込まれ、アダプタ１３は、交換可能なレンズカメラのレンズ５と撮像センサ７との間に嵌まる。レンズからの画像は、スペクトルフィルタアレイに合焦され、次いで再合焦レンズによって撮像センサに再合焦される。これらの実施形態では、任意の交換可能レンズカラーカメラが、そのようなアダプタ１３を使用することによって本発明の核心となる。
【００３８】
主撮像レンズ５の様々な実施形態は、固定焦点光学レンズまたはレンズグループを含み、他の実施形態は、可変焦点および可変合焦レンズを具備する。
【００３９】
いくつかの実施形態は、カメラに組み込まれた記憶媒体９を想定しており、他の実施形態は記憶媒体を有さず、画像は、獲得およびアナログ／デジタル変換後に、コンピュータまたはコンピュータネットワークに直接送信される。
【００４０】
スペクトルフィルタアレイ
本発明の大抵の実施形態は、均一に分布された非周期的スペクトルフィルタアレイ６（ＳＦＡと呼ぶ）を含み、このアレイ６は、個々のスペクトルフィルタ（素子と呼ぶ）から構成される。そのようなＳＦＡ実施形態の一例が図３Ａに示されており、ここで、各素子は、その中心波長によって表されている。他の実装形態では、図３Ｃに示されるように、ＳＦＡは、その表面の大部分にわたる干渉フィルタの非周期的分布を保ちながら、非フィルタリング素子を含むこともある。好ましい実装形態では、ＳＦＡは、ファブリペローフィルタなどの干渉フィルタから構成される。
【００４１】
均一な非周期的の分布は、以下のようないくつかの方法で得ることができる：
・決定論的に、ワン（Ｗａｎｇ）またはペンローズのタイリングなどの非周期タイリングによって。
・ＳＦＡ表面を反復パターンで埋め、次いで、ＳＦＡ中心波長分布の測定されるエントロピーが十分に高くなるまで、連続的に、およびランダムにＳＦＡ素子を相互変化させることによって。
・均一な分布からＳＦＡ素子をランダムサンプリングすることによって。
【００４２】
本発明のいくつかの実施形態は、干渉スペクトルフィルタの２次および高次透過がいくつかの方法によって無効化されるＳＦＡ設計を含む。
・２次透過相殺のための方法は、図４に示されるように、ＳＦＡ６を既存のカラーフィルタアレイ１１（ベイヤーパターンフィルタアレイなど）の上方に配置し、１次応答のみがカラーフィルタアレイによって透過されるように個々のＳＦＡ素子の透過率を適合させることからなる。
・２次透過相殺のための別の方法は、それらのフィルタがセンサの感度範囲内で２次透過を有する場合、ＳＦＡ素子を、その隣接する素子の１つの２次透過に等しい透過を有するように常に配置することである。図３Ｂに示される設計は、再構成前に、隣接するフィルタに基づいて２次透過を減算することを可能にする。
【００４３】
本発明のいくつかの実施形態は、ＳＦＡの素子として、中心波長ではなくマルチバンド波長透過を用いる干渉フィルタを使用する。これらのマルチバンドフィルタ透過の例が、図６に示されている。これらの実施形態では、素子の空間的であり均一であり非周期的な分布が、マルチバンドフィルタのスペクトル直交性を最大にするように選択される。「フィルタ間のスペクトル直交性」とは、それらのフィルタが同じ波長に異なる応答を示すことを意味する。スペクトル直交性の最大化は、スペクトル的に相関しないフィルタの選択と言い換えられる。
【００４４】
様々な実施形態において、ＳＦＡでの周期的な位置にある素子は、図４および１Ａに示されるのと同じ、スペクトルフィルタアレイ全体にわたる透過率を有する。この周期的素子は、干渉スペクトルフィルタ、色素ベースのカラーフィルタ、または光のすべての波長を透過する非フィルタリング素子でよい。これらの周期的素子の下の画素は、撮像されたシーンのプレビュー画像１５を作成するために使用される。これらの画像は、撮像されたシーンのリアルタイムプレビューとして、または直接、画像レジストレーションおよび画像ベースの３Ｄ再構成において使用することができる。
【００４５】
本発明のいくつかの実施形態はカメラを含み、ここで、異なるフィルタに達する光を均質化するために、図４に示されるように、スペクトルフィルタアレイの前にアンチエイリアシングフィルタ１２が配置される。アンチエイリアシングフィルタは、２×２よりも大きいセンサ素子にわたって延びる複屈折フィルタ、適合された開口絞りを有する合焦ずれ対物レンズ、および／または低彩度（ｄｅｇｒａｄｅｄ）撮像レンズによって構成される。
【００４６】
スペクトルキューブ再構成
本発明の様々な実施形態では、再構成器３は、単一のコンピュータ、プログラマブルシングルもしくはマルチプロセッサ１０デバイス、または、非線形スパース再構成によって、獲得された２次元データセット８からハイパースペクトル画像を再構成するようにプログラムされたコンピュータネットワークである。再構成器は、インターネットを介してアクセス可能であり、クラウドベースの計算サーバ上で実行される仮想機械でもよい。
【００４７】
様々な実施形態は、再構成器を特徴とし、再構成器は、カメラに組み込まれ、２次元の光学サンプルセットを獲得した直後にハイパースペクトル画像を生成する。図１Ｃは、撮像センサ７の上に配置されたＳＦＡ６の上に光を合焦する撮像光学系５から構成されたそのような内蔵カメラを示す。次いで、撮像センサ７からのデータは、記憶媒体９に保存され、複数の処理ユニット１０から構成される再構成器３によってスペクトルデータに変換される。
【００４８】
本発明のハイパースペクトルイメージャ（ｈｙｐｅｒｓｐｅｃｔｒａｌ  ｉｍａｇｅｒ）による、撮像されたシーンのサンプリングおよび離散化を表す数学的モデルは、以下の一次方程式によって表される。
Ａｘ＝ｙ      （１）
ここで、Ａは、ＳＦＡの個々の素子のスペクトル透過を含むシステム設計行列であり、ｙは、センサ読取値であり、ｘは、撮像されたシーンの空間スペクトル特性に対応するハイパースペクトルデータキューブである。したがって、ベクトルｘおよびｙは、３Ｄハイパースペクトルおよび２Ｄセンサデータセットのシリアル化バージョンである。
【００４９】
ＳＦＡ素子は、連続的な入射光スペクトルをサンプリングするが、設計行列Ａは、ＳＦＡ透過の離散バージョンを含み、そのスペクトル解像度は、再構成されたデータキューブのスペクトルバンドの数に等しい。この特性は、いくつかの様々なスペクトルバンドの再構成を可能にし、この数は、ＳＦＡ素子の透過曲線を適切に表すために必要とされる帯域の最小数によって規定される下限のみを有する。図５Ａおよび５Ｂに、上述した離散化および下限の効果が示されている：３０個および１０個の帯域が、ＳＦＡ素子透過の適切な表現を生成し、３個の帯域では不十分である。
【００５０】
撮像されたシーンの局所スペクトル均質性の仮説の下で、ｙでのスペクトルサンプルの数は、画素グループ化によって人工的に増加させることができ、非対角システム設計行列Ａを生み出す。この仮説は、ＳＦＡの前に配置されたアンチエイリアシングフィルタの使用によってさらに強化することができる。画像センサ読取値の各空間画素は、撮像されたシーン内の対応する点の全スペクトル応答の単一のスペクトルサンプルを構成する。再構成プロセスは、画素当たり複数のスペクトルサンプルのグループ化を含むことがあり、これらのスペクトルサンプルは、処理される画素のごく近くにある空間画素から導出される。
【００５１】
画素グループ化のための１つの方法は、スライディング２Ｄ窓（ｓｌｉｄｉｎｇ  ２Ｄ  ｗｉｎｄｏｗ）でよく、これは、その領域内に入る画素からのすべてのスペクトルサンプルを中心画素にグループ化する。ＳＦＡが周期的な交互配置パターンを含む場合、画素グループ化のための別の方法は、周期的素子の後方の画素から直接得られる高密度画像内でコントラスト勾配が観察されることによって行われることがある。この高密度画像の使用は、縁部または高コントラスト領域に及ばない画素をグループ化することを可能にし、それにより、画素グループ化によって生成される生じ得るアーチファクトを低減する。
【００５２】
上述した可変解像度離散フィルタ表現法と画素グループ化法とが同時に働いて、再構成されたハイパースペクトルデータキューブの空間およびスペクトル解像度の調節を可能にする。望まれる目標ハイパースペクトルデータキューブ解像度に応じて、それに従ってＡおよびｙのみを再計算すればよく、ハイパースペクトルイメージャ構成はそのままである。
【００５３】
ハイパースペクトルキューブの再構成は、センサ読取値または画素グループ化されたセンサ読取値に、ニューラルネットワークまたはランダムフォレストなどの回帰的機械学習法［１２］を適用することによって実現することができる。これらの方法は、入力信号またはフィーチャ（ｙ）を取り込み、元の信号（ｘ）の推定を出力する。多数の例による訓練を通して、ニューラルネットワークなどのモデルは学習し、センサ読取値からのスペクトルデータを抜き出し（ｕｎ−ｍｉｘ）て訂正することができる。
【００５４】
測定値ｙからハイパースペクトルデータキューブｘを再構成するための別の方法は、凸最適化問題としてモデル化することができる：
ａｒｇｍｉｎ（｜｜Ａｘ−ｙ｜｜２＋ｃ（ｘ））      （２）
ここで、関数ｃ（ｘ）は、常に正のペナルティ項であり、ｘの特性のアプリオリな知識に基づいて、最適なｘに関する探索空間を制約する。関数ｃ（ｘ）は、アプリオリな知識に対応するｘのインスタンス（ｉｎｓｔａｎｃｅ）に関して低い値を有し、｜｜Ａｘ−ｙ｜｜２は、測定されたデータｙに適合するｘのインスタンスに関して低い値を有する。したがって、凸最適化（２）は、測定されたデータｙと、スペクトルデータキューブｘの構造ｃ（ｘ）に関するアプリオリな知識とに同時に最良適合するスペクトルデータキューブｘを見付けることと解釈することができる。
【００５５】
上述した再構成モデルの変形は、ｘの表現を、ｘがスパースになる数学的ベースに変えることを含む。例えば、フーリエ、ダイレクトコサイン変換、ウェーブレット、または勾配などのベースが、自然な画像のためにスパースであることが知られている［９］。これらの場合、式（２）は、以下のようになることがある：
ａｒｇｍｉｎ（｜｜ＡＳｘ−ｙ｜｜２＋λ｜｜Ｓｘ｜｜１）      （３）
ここで、Ｓは、選択されるスパース数学ベースからの変換の行列表現であり、ｃ（ｘ）は、Ｌ１ノルムで置き換えられ、これは、ｘの表現に対するスパース性を強化し、λは、ペナルティ強度を制御する。ハイパースペクトルデータキューブに関して、主成分分析によって得られる既知のスペクトルベクトルセットへの測定データの投影など、他の変換を想定することもできる。
【００５６】
再構成アルゴリズムの好ましい実装形態は、［１０］で紹介されている、ペナルティ項として全変動（ＴＶ）ノルムを使用する高速反復収縮閾値アルゴリズム（ＦＩＳＴＡ：ｆａｓｔ  ｉｔｅｒａｔｉｖｅ  ｓｈｒｉｎｋａｇｅ−ｔｈｒｅｓｈｏｌｄｉｎｇ  ａｌｇｏｒｉｔｈｍ）の１つのバージョンに基づく。したがって、再構成されるデータキューブは、以下のものを最小化することによって見られる：
ａｒｇｍｉｎ（｜｜Ａｘ−ｙ｜｜２＋λ｜｜ｘ｜｜ＴＶ）      （４）
ここで、｜｜ｘ｜｜ＴＶは、再構成されたハイパースペクトルデータキューブ全体の３Ｄ
ＴＶノルムでよく、または再構成されたハイパースペクトルデータキューブの個々のスペクトルバンドの２Ｄ  ＴＶノルムの和でよい。３Ｄ  ＴＶノルムではなく２Ｄ  ＴＶノルムの和を使用することは、スペクトルバンドを独立して処理し、ＦＩＳＴＡの最も計算量の多い工程の並列化を可能にする。
【００５７】
光路内にアンチエイリアシングフィルタを有するシステム構成によって測定値ｙが生成された場合、ＦＩＳＴＡによって生成される再構成の品質および速度は、アンチエイリアシングフィルタによって誘発されるブラーリング（ｂｌｕｒｒｉｎｇ）に比例する量で、アルゴリズムの各反復で推定される再構成のスペクトルバンドを独立してブラーリングすることによって改善することができる。このプロセスは並列化することができる。
【００５８】
本発明の原理を確認するために、本発明の撮像および再構成プロセスのシミュレーションを使用した。その結果を図２Ａおよび２Ｂに示す。ターゲット圧縮比は１／１００とした。これは、ハイパースペクトルデータキューブが、その素子の総数の１００分の１の測定値から再構成されることを意味する。４００〜１０００ｎｍの間の中心波長および１００ｎｍの半値全幅（ＦＷＨＭ）の１００個のフィルタを含む、ワンタイリングおよびファブリペローフィルタ透過に基づくＳＦＡモデルを採用した。ＳＦＡ素子の透過を１００個のスペクトルバンドに離散化した。また、図３Ｃおよび５に示されるように、ＳＦＡは、７００ｎｍの中心波長を有する素子の周期的パターンも含んでいた。勾配ベースの画素グループ化を適用し、５×５画素の近傍からの４つの画素をグループにまとめた。ＦＩＳＴＡは、並列な独立した帯域の２Ｄ  ＴＶノルムの和を最小化するように構成され、各反復でブラーリング工程を含んでいた。
【００５９】
得られるシミュレートされたセンサ読取値、およびハイパースペクトルデータキューブのカラープレビューが図２Ａに示される。対象の４点は、再構成された画像にマークされており、様々なスペクトル特性を表し、また、撮像されたシーンにわたる様々な空間的詳細の領域内に位置されている。元の空間スペクトル画像シーンおよび再構成されたハイパースペクトルデータキューブのスペクトル特性を、これら４点で比較した。結果が、図２Ｂおよび２Ｃに示されている。スペクトル解像度は注目に値し、ここで、再構成されたスペクトルは、スペクトルをサンプリングするために使用されるＳＦＡ素子のＦＷＨＭよりもはるかに細かい解像度で詳細を示す。半値幅で１００ｎｍ幅のフィルタを有するスペクトルカメラがそのようなスペクトルを直接サンプリングしている場合、ピークなどの鋭いスペクトルフィーチャは、サンプリングプロセスにより、これらのフィルタによって平滑化されことになる。しかし、本発明者らによる再構成では、スペクトルサンプリングのために使用されるＳＦＡ素子のＦＷＨＭの十分に下で、１０個未満の帯域（または６０ｎｍ）に及ぶ鋭いピークおよび谷が明瞭に観察される。
【００６０】
商業上の用途
撮像分光法技術は、とりわけ農業、天然資源管理、鉱物学、医学、および製造を含めた研究および商業的分野において多くの実証済みの用途を有する。具体的には、開示する発明は、新種のコンパクトで、軽量で、安価なスペクトル撮像センサの開発を容易にする。新規のセンサは、小さな無人航空機システムを使用する配備に適しており、多くの既存の用途の要求に応え、全く新しい範囲の使用シナリオを容易に実現する。
【００６１】
特に、［１１］に、農業および関連産業の文脈で、提供されるマーケット規模の推定が詳細に論じられている。
【００６２】
空中スペクトル撮像は、以下のような実証済みの機能を有する、植物の大規模な監視および分析の唯一の最も効果的な方法を成す：
・植物の病気の早期検出、診断、および制御；
・ストレス検出および成長監視；
・侵入種の検出および制御
【００６３】
多くの実証済みの利益に関わらず、今日の空中スペクトル撮像技術は、農業および関連産業での有効な利用のためには費用が高すぎ、複雑すぎる。特に、これまで、商業的農業の用途で普及している既存の解決策はない。
【００６４】
提案される発明は、データ獲得および処理のコストを１０分の１以下に減らすことによって、植物の系統的なスペクトル監視を利用可能にして利益性を上げることができる可能性を有し、顧客のための歩留まりおよび関連の収益を最大１０％増加させる。
【００６５】
入手可能な米国での統計によれば、１年に５回以上の割合で系統的な監視を必要とすることがある１億ヘクタールの主要耕作地が示唆されている。必要な監視を行うために、約１００００個のスペクトル撮像システムが必要とされる。データ処理サービスのハードウェアの最終的な合計値は、米国市場に関して５億４千万ＵＳドルと推定される。世界市場の規模を米国市場の規模の５倍と仮定し、環境監視、林業、侵入種の制御などを含めた他の適用分野を考慮すると、空中スペクトル植物監視に関する全世界市場の推定規模は、少なくとも２０億ドルとなる。
【００６６】
要約すると、本発明は、撮像分光法に関し、これは、空間画像特性とスペクトル画像特性との両方の光学的検知のための方法である。具体的には、本発明は、２つの空間次元と１つのスペクトル次元とによって構成される３次元性質によりスペクトルデータキューブとしても知られているスペクトル画像を得るためのシステムおよび方法を述べる。
【００６７】
上記のシステムは、構造的に単純であり、コンパクトで軽量なスペクトル撮像カメラの製造を容易にするように設計される。システム実施形態は、レンズと、２Ｄスペクトルフィルタアレイと、２Ｄ撮像センサとを含み、さらに、記憶装置と、スペクトル画像を得るために必要とされるデータ処理メカニズムとを含む。好ましくは、本発明は、画像センサの個々の感光素子の前に位置決めされたスペクトルフィルタによって構成されるスペクトルフィルタアレイの特定の構成を含む。本発明は、撮像センサによって提供される２Ｄデータセットからの３Ｄスペクトルデータキューブの再構成、およびプレビュー画像のリアルタイムでの生成に利用される計算フレームワークをさらに述べる。固定の構成イメージャに基づく、撮像されたシーンの可変空間スペクトル解像度再構成に関するアルゴリズム的方法も提供される。
【００６８】
参考文献
[1] Ellis, J., (2001) Searching for oil seeps and oil-impacted soil with hyperspectral imagery, Earth Observation Magazine.
[2] Lacar, F.M., et al., (2001) Use of hyperspectral imagery for mapping grape varieties in the Barossa Valley, South Australia, Geoscience and remote sensing symposium (IGARSS'01) - IEEE 2001 International, vol.6 2875-2877p.
[3] Tack, K., Lambrechts, A., Haspeslagh, L. (2011) Integrated circuit for spectral imaging system, Patent No. WO/2011/064403
[4] Lustig et al, (2007) Sparse MRI: The Application of Compressed Sensing for Rapid MR Imaging, MRM 58:1182-1195 
[5] Singh, T., Singh, M. (2011) Method and System for Compressive Color Image Sampling and Reconstruction. Patent no. US20110142339 A1.
[6] A. Wagadarikar, R. John, R. Willett, and David Brady, (2008) Single disperser design for coded aperture snapshot spectral imaging, Appl. Opt. 47, B44-B51.
[7] Golbabaee, M., Vandergheynst, P., (2012) Hyperspectral image compressed sens
ing via low-rank and joint-sparse matrix recovery, IEEE International Confer-ence on Acoustics, Speech and Signal Processing (ICASSP), p. 2741-2744
[8]  Heikki, S., Ville-Veikko, A., Altti A., Tapani A., Christer H., Uula K., Jussi M., Jyrki O., (2009) Novel miniaturized hyperspectral sensor for UAV and space appli-cations. Proc. SPIE 7474, Sensors, Systems, and Next-Generation Satellites XIII, 74741M, doi:10.1117/12.830284.
[9] Subhasis, S., (2000) Image compression-from DCT to wavelets: a review. Crossroads 6, doi:10.1145/331624.331630
[10] Beck, A., Teboulle, M., (2009) Fast Gradient-Based Algorithms for Con-strained Total Variation Image Denoising and Deblurring Problems, IEEE Transac-tions on Image Processing, vol.18, no.11, pp.2419,2434, Nov. 2009 doi:10.1109/TIP.2009.2028250
[11] The Economic Impact of Unmanned Aircraft Systems Integration in the United States, AUVSI, 2013
[12] T. M. Mitchell, “Machine Learning”, 1997, ISBN: 0070428077 9780070428072
【図１Ａ】
2017526910.tif 000003
【図１Ｂ】
2017526910.tif 000004
【図１Ｃ】
2017526910.tif 000005
【図２Ａ】
2017526910.tif 000006
【図２Ｂ】
2017526910.tif 000007
【図２Ｃ】
2017526910.tif 000008
【図３Ａ】
2017526910.tif 000009
【図３Ｂ】
2017526910.tif 000010
【図３Ｃ】
2017526910.tif 000011
【図４】
2017526910.tif 000012
【図５Ａ】
2017526910.tif 000013
【図５Ｂ】
2017526910.tif 000014
【図６】
2017526910.tif 000015
【国際調査報告】
2017526910.tif 000016
2017526910.tif 000017
2017526910.tif 000018