(57)【要約】  【解決手段】  カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を実施する複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面アレイ周囲長基準および最小周囲長対面積比基準を満たす。反復単位セル内のバンドの空間配列は、最近傍間のバンド間相関関係を最小化する。カメラシステムは、モザイク光学カラーフィルタアレイと光学的に連結する短波長赤外線検出器を更に有する。複数の反復単位セルは、少なくとも５つのスペクトルバンドを有する。  【選択図】  図１
2017535747.tif 000002
【特許請求の範囲】
【請求項１】
装置であって、
少なくとも５つのスペクトルバンドを有するモザイク光学カラーフィルタアレイと、
前記光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器とを有することを特徴とする装置。
【請求項２】
請求項１記載の装置において、前記モザイク光学カラーフィルタアレイは前記少なくとも５つのスペクトルバンドを有する複数の反復単位セルを有し、前記複数の反復単位セルはスペクトル一貫性および空間均一性を確実にし、前記複数の反復単位セルの各反復単位セルは最小焦点面周囲長基準および最小周囲長対面積基準を満たし、前記最小周囲長対面積基準は前記最小焦点面周囲長基準の後に満たすものである
ことを特徴とする装置。
【請求項３】
請求項２記載の装置において、前記少なくとも５つのスペクトルバンドの各スペクトルバンドは複数の空間最近傍と複数の空間第二近傍とを有し、前記少なくとも５つのスペクトルバンドの前記各スペクトルバンドは、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
ことを特徴とする装置。
【請求項４】
請求項３記載の装置において、前記少なくとも５つのスペクトルバンドの前記各スペクトルバンドは、前記複数の空間最近傍がスペクトル的に隣接しないように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
ことを特徴とする装置。
【請求項５】
請求項２記載の装置において、前記少なくとも５つのスペクトルバンドはＮスペクトルバンドを有し、前記複数の反復単位セルの前記各反復単位セルはＭｘＰ単位セルを有し、Ｍは少なくともＮの平方根に等しい最小整数であり、Ｐは少なくともＮ／Ｍに等しい最小整数である
ことを特徴とする装置。
【請求項６】
請求項２記載の装置において、前記複数の反復単位セルの前記各反復単位セルは、前記少なくとも５つのスペクトルバンドの各スペクトルバンドに、少なくとも１つの画素を有するものである
ことを特徴とする装置。
【請求項７】
請求項１記載の装置において、前記モザイク光学カラーフィルタアレイは、前記短波長赤外線検出器に固定されているか、前記短波長赤外線検出器から少し離れた距離に配置されているかのいずれかである
ことを特徴とする装置。
【請求項８】
請求項１記載の装置において、前記短波長赤外線検出器は、焦点面アレイと線形検出器アレイとのうち１つを有するものである
ことを特徴とする装置。
【請求項９】
請求項２記載の装置において、前記少なくとも５つのスペクトルバンドは、大気吸収の影響を受けていないものである
ことを特徴とする装置。
【請求項１０】
請求項１記載の装置において、前記短波長赤外線検出器は１１００ｎｍと１７００ｎｍとの間の波長の光に敏感である
ことを特徴とする装置。
【請求項１１】
装置であって、
スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイであって、前記複数の反復単位セルの各反復単位セルは最小焦点面周囲長基準と最小周囲長対面積基準とを満たし、前記最小周囲長対面積基準は前記最小焦点面周囲長基準の後で満たすモザイク光学カラーフィルタアレイと、
前記モザイク光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器と
を有することを特徴とする装置。
【請求項１２】
請求項１１記載の装置において、前記モザイク光学カラーフィルタアレイは少なくとも５つのスペクトルバンドを有し、前記複数の反復単位セルは前記少なくとも５つのスペクトルバンドを有するものである
ことを特徴とする装置。
【請求項１３】
請求項１２記載の装置において、前記少なくとも５つのスペクトルバンドの各スペクトルバンドは複数の空間最近傍と複数の空間第二近傍とを有し、前記少なくとも５つのスペクトルバンドの前記各スペクトルバンドは、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
ことを特徴とする装置。
【請求項１４】
請求項１３記載の装置において、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
ことを特徴とする装置。
【請求項１５】
請求項１２記載の装置において、前記少なくとも５つのスペクトルバンドはＮスペクトルバンドを有し、前記複数の反復単位セルの前記各反復単位セルはＭｘＰ単位セルを有し、Ｍは少なくともＮの平方根に等しい最小整数であり、Ｐは少なくともＮ／Ｍに等しい最小整数である
ことを特徴とする装置。
【請求項１６】
請求項１２記載の装置において、前記複数の反復単位セルの前記各反復単位セルは、前記少なくとも５つのスペクトルバンドの各スペクトルバンドに、少なくとも１つの画素を有するものである
ことを特徴とする装置。
【請求項１７】
請求項１１記載の装置において、前記モザイク光学カラーフィルタアレイは、前記短波長赤外線検出器に固定されているか、前記短波長赤外線検出器から少し離れた距離に配置されているかのいずれかである
ことを特徴とする装置。
【請求項１８】
請求項１１記載の装置において、前記短波長赤外線検出器は、焦点面アレイと線形検出器アレイとのうち１つを有するものである
ことを特徴とする装置。
【請求項１９】
請求項１２記載の装置において、前記少なくとも５つのスペクトルバンドは、大気吸収の影響を受けていないものである
ことを特徴とする装置。
【請求項２０】
請求項１１記載の装置において、前記短波長赤外線検出器は１１００ｎｍと１７００ｎｍとの間の波長の光に敏感である
ことを特徴とする装置。
【請求項２１】
装置であって、
スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイであって、前記複数の反復単位セルの各反復単位セルは最小焦点面周囲長基準と最小周囲長対面積基準とを満たし、前記最小焦点面周囲長対面積基準は前記最小焦点面周囲長基準の後で満たし、前記モザイク光学カラーフィルタアレイは少なくとも６つのスペクトルバンドを有し、前記複数の反復単位セルは前記少なくとも６つのスペクトルバンドを有するモザイク光学カラーフィルタアレイと、
前記モザイク光学カラーフィルタアレイに光学的に連結している可視波長検出器と
を有することを特徴とする装置。
【請求項２２】
請求項２１記載の装置において、前記少なくとも６つのスペクトルバンドの各スペクトルバンドは複数の空間最近傍と複数の空間第二近傍とを有し、前記少なくとも６つのスペクトルバンドの前記各スペクトルバンドは、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
ことを特徴とする装置。
【請求項２３】
装置であって、
スペクトル一貫性および空間均一性を実施する複数の反復単位セルを有するモザイク光学カラーフィルタアレイであって、前記複数の反復単位セルの各反復単位セルは近傍バンド間相関関係基準を満たし、前記モザイク光学カラーフィルタアレイは少なくとも６つのスペクトルバンドを有し、前記複数の反復単位セルは前記少なくとも６つのスペクトルバンドを有するモザイク光学カラーフィルタアレイと、
前記モザイク光学カラーフィルタアレイに光学的に連結している可視波長検出器と
を有することを特徴とする装置。
【請求項２４】
請求項２２記載の装置において、前記最小最近傍バンド間相関関係基準は、前記各反復単位セル内で第二近傍の方が最近傍よりも密接に相互関連していることを保証することを有するものである
ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、その全体を参照として本明細書に援用する、２０１４年９月１３日出願の、Ｙｅｔｚｂａｃｈｅｒ等による「マルチバンド短波長赤外線モザイクアレイフィルタ」と題した米国仮特許出願第６２／０５０，１１７号の優先権を主張する。
【０００２】
本開示は、マルチスペクトル画像コレクションに関している。特に、本発明は短波長スペクトル帯域におけるマルチスペクトル画像コレクションに関している。
【背景技術】
【０００３】
マルチスペクトルおよびハイパースペクトル撮像は、草木、鉱物、化学物質並びに生物組織の種類および正常性を検出および識別するのに使用されている。今日まで、ハイパースペクトルおよびマルチスペクトル撮像システムは、オフナー撮像分光計設計を用いる、ラインスキャン・プッシュブルーム装置設計を利用している。いくつかの設計は、極端に斜めの角度におけるハイパースペクトルデータをラインスキャン分光装置が集められるように、特別に調整した安定化ジンバル設計を用いている。例えば、海軍研究試験所により開発されＢａｎｄｙｗｉｎｅ  Ｐｈｏｔｏｎｉｃｓ  ＬＬＣが製造したＭＸ−２０ＳＷハイパースペクトル撮像素子等がそれである。しかし、斯かる装置のラインスキャン特性は、完全なハイパースペクトルデータキューブを構築するのに必要な時間の所為で、指定された領域の再訪率を制限する。持続性のあるハイパースペクトルデータおよびフルモーションビデオのハイパースペクトルデータを得たいという願望は、代替の設計、例えば、ＰＨＩＲＳＴ  Ｌｉｇｈｔを生んだが、これは、望ましいスペクトルの液晶フィルタをスキャンしながら、ビデオレート近傍で全シーンを持続的に撮像する液晶チューナブルフィルタを使用する。この方法の欠点は、シーンからの全スペクトルは時間的に同時には集められないことである。コンピュータ断層撮影分光計（ＣＴＩＳ）は、光学／演算面の複雑性および焦点面アレイ・リアルエステートを犠牲にすることにより、空間情報およびスペクトル情報の両方をシングルショットで集められる。比較的単純な光学要素を用いるプレノプティック原理に基づく方法が、最近実証された。この特殊なプレノプティックカメラは、空間分解能の代わりにスペクトル分解能を得るため、対物レンズ上にスペクトル素子を使用し、検出器に小型レンズアレイを用いる。しかし、斯かる装置は、小型レンズアレイおよび焦点面アレイ設計に特に整合するレンズを必要としており、並びにレンズ特異的な収差を説明するため追加の計算が必要である。最後に、従来のカラーフィルタアレイ（ＣＦＡ）技術は、大型の焦点面アレイの検出器ピクセル上に、反復するパターンまたはモザイク状のフィルタ要素パターンを配置する。次に、このモザイク状パターンの画像を画像処理し、撮像領域内の複数の場所用に完全なハイパースペクトルデータセットを作成する。ＣＦＡ設計は、あらゆるラインスキャンおよび小型レンズシステムに見られる制限的レンズ調整を省く。その結果、現場でのレンズ変更機能が改善され、カメラを種々の撮像ニーズに迅速に適応できるようになる。
【０００４】
カラーフィルタアレイは、二次元および線形感光性アレイを用いて色情報を検知するのに使用される。参照として本明細書に組み込まれる援用される米国特許第３，９７１，０６５号を参照。３色可視カラーフィルタアレイの多くの変形が知られているが、商業用のほとんどのカラー可視カメラシステムは、個々の赤、青および緑のフィルタリングされた画素の反復２ｘ２パターンから成るベイヤカラーフィルタアレイを使用する。参照として本明細書に援用される、Ｃｏｍｐｔｏｎ等による米国特許出願公開第２００７００２４９３１号およびＣｈａｎｇによる米国特許出願公開第２００７０１４５２７３号を参照。可視バンドカラーフィルタアレイは、誘電薄層フィルタ要素を用いる例も存在するが、一般的には、吸収物質をフィルタ要素に使用する。Ｂｕｃｈｓｂａｕｍによる米国特許第７，６４８，８０８号を参照。
【０００５】
従来の３色ベイヤフィルタアレイに存在するバンド数よりも多いバンド数にカラーフィルタアレイを拡張する関連技術が存在する。例えば、高空間周波数輝度および低空間周波数色度の回復に基づいて、ＨｉｒａｋａｗａおよびＷｏｌｆｅは、ベイヤパターンの線形組み合わせであるモザイクアレイフィルタにより任意数のスペクトルバンドが達成できることを提案した。参照として本明細書に援用されるＨｉｒａｋａｗａ，  Ｋ．  ｅｔ  ａｌ．，  "Ｓｐａｔｉｏ−Ｓｐｅｃｔｒａｌ  Ｃｏｌｏｒ  Ｆｉｌｔｅｒ  Ａｒｒａｙ  Ｄｅｓｉｇｎ  ｆｏｒ  Ｏｐｔｉｍａｌ  Ｉｍａｇｅ  Ｒｅｃｏｖｅｒｙ，"  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ  （ＩＥＥＥ）  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．  １７，  Ｎｏ．  １０，  ｐｐ.  １８７６−１８９０（２００８）を参照。しかし、短波長赤外線帯域においては、カラーチャンネル間の相関性は保証されていない。更に、ＳＷＩＲにおいては、人間の視覚特性に起因して、色度および輝度は十分には画成されない。Ｍｉａｏ等は、人間の視覚と独立したマルチスペクトルＣＦＡを設計する代替方法を開示しているが、彼らはバンド出現の蓋然性に基づいてＣＦＡ設計を行っている。参照として本明細書に援用されるＭｉａｏ，  Ｌ．  ｅｔ  ａｌ．，  "Ｂｉｎａｒｙ  ｔｒｅｅ−ｂａｓｅｄ  ｇｅｎｅｒｉｃ  ｄｅｍｏｓａｉｃｋｉｎｇ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｍｕｌｔｉｓｐｅｃｔｒａｌ  ｆｉｌｔｅｒ  ａｒｒａｙｓ，"  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．  １５，  Ｎｏ．  １１，  ｐ．  ３５５０（２００６）を参照。しかし、Ｍｉａｏ等の設計計画は、ＳＷＩＲ（はるかに小さな画像ライブラリしか入手可能でなく、バンド蓋然性は必ずしも推定できない）においては阻止されている。加えて、Ｍｉａｏ等の設計アルゴリズムによって生成されるパターンは、スペクトル一貫性および空間均一性が欠如している。対照的に、Ｓｈｒｅｓｔｈａらは、スペクトル一貫性および空間均一性を確実にするマルチスペクトル・カラーフィルタアレイ設計アルゴリズムを作成した。参照として本明細書に援用されるＳｈｒｅｓｔａ，  Ｒ．  ｅｔ  ａｌ．，  "Ｓｐａｃｉａｌ  ａｒｒａｎｇｅｍｅｎｔ  ｏｆ  ｃｏｌｏｒ  ｆｉｌｔｅｒ  ａｒｒａｙ  ｆｏｒ  ｍｕｌｔｉｓｐｅｃｔｒａｌ  ｉｍａｇｅ  ａｃｑｕｉｓｉｔｉｏｎ，"  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＰＩＥ−ＩＳ&Ｔ  Ｅｌｅｃｔｒｉｃ  Ｉｍａｇｉｎｇ  ｖ．７８７５  ｐ．７８７５０３（２０１１）を参照。しかし、Ｓｈｒｅｓｔｈａ等のアルゴリズムは、設計にバンド蓋然性の予知を使用する。不都合にも、Ｓｈｒｅｓｔｈａのアルゴリズムは、独立かつ完全なスペクトル測定値を集めるのに必要な焦点面上の距離を最小にすると同時に、スペクトル質を最大にするための制約を実行しない。その結果、Ｓｈｒｅｓｔｈａ等のモザイク単位セルは、密集した数多くのバンドを収容するのに必要なサイズよりも大きくなり、いくつかの色情報を欠いた凸領域がモザイクアレイに生じる結果となる。斯かる両方の影響の結果、最小周囲長単位セルに相当する対象に関し���は、スペクトルの平均的質を低下させる。上記専門誌の考察は可視バンド検出器に限定される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
出願者達は、平均スペクトル質の低下を生じないマルチスペクトル撮像コレクションシステムの必要性を決定した。
【０００７】
出願者達は、ハイパースペクトルシステムの性能に近い性能を有するコンパクトなマルチスペクトルシステムを可能にする４バンド超に、ＣＦＡ技術を拡張する必要性を更に決定した。
【０００８】
出願者達は、最小デモザイキングエラーおよび最大スペクトル質のためにバンド間相関関係を最適化するスペクトルバンドの配列の必要性を更に決定した。  
【課題を解決するための手段】
【０００９】
本発明の実施形態はカメラシステムを有する。該カメラシステムは少なくとも５つのスペクトルバンドを有するモザイク光学カラーフィルタアレイを有する。カメラシステム１０は、モザイク光学カラーフィルタアレイに光学的に連結している標準の短波長赤外線検出器を有する。
【００１０】
別の実施形態はカメラシステムを有する。該カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面アレイ周囲長基準および最小周囲長対面積比基準を満たす。最小周囲長対面積比基準は、最小焦点面アレイ周囲長基準の後に満たす。カメラシステムは、モザイク光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器を更に有する。
【００１１】
本発明の別の実施形態はカメラシステムを有する。該カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、単位セル内の最近傍間のバンド間相関関係を最小にし、従って、第二近傍間のバンド間相関関係を最大にする。
【００１２】
本発明の別の実施形態はカメラシステムを有する。該カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面アレイ周囲長基準および最小周囲長対面積比基準を満たす。最小周囲長対面積比基準は、上記最小焦点面アレイ周囲長基準の後に満たす。モザイク光学カラーフィルタアレイは、少なくとも６つのスペクトルバンドを有する。複数の反復単位セルは、少なくとも６つのスペクトルバンドを有する。カメラシステムは、モザイク光学カラーフィルタアレイに光学的に連結している標準の可視波長検出器を更に有する。
【００１３】
別の実施形態はカメラシステムを有する。該カメラシステムは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイを有する。複数の反復単位セルの各反復単位セルは、最小最近傍バンド間相関関係基準を満たす。モザイク光学カラーフィルタアレイは、少なくとも６つのスペクトルバンドを有する。複数の反復単位セルは、少なくとも６つのスペクトルバンドを有する。カメラシステムは、モザイク光学カラーフィルタアレイに光学的に連結している検出器を更に有する。検出器は、可視波長検出器または短波長赤外線検出器を含む。
【００１４】
短波長赤外線検出器は、任意で、１１００ｎｍと１７００ｎｍとの間の波長を有する光に敏感である。
【００１５】
最小最近傍バンド間相関関係基準には、任意で、各反復単位セル内で第二近傍の方が最近傍よりも密接に相互関連していることを保証することも含まれる。
【００１６】
本発明の実施形態は、以下の利点の１つ以上を有する。
（ｉ）ビデオレートのマルチバンドスペクトル撮像を短波長赤外線にまで拡張。
（ｉｉ）いくつかのバックグラウンドにおけるいくつかの標的の検出および識別のため、十分なスペクトル分解能を提供。
（ｉｉｉ）追加の光学要素は不要、あるいはサイズ、重量および動力に関するシステム需要の増大は不要。
（ｉｖ）リモートセンシング使用に適している、あるいはかなりの量の大気での撮像に適している。
（ｖ）デモザイキングに使用されるバンド間相関関係の最大量を提供することにより、デモザイキングエラーを最小化。
（ｖｉ）高品質撮像スペクトル測定に必要な最小の空間的広がりを提供。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の少なくとも１つの実施形態の構成図を示す。
【図２】図２は、本発明の例示的９バンド実施形態におけるバンド１の例示的フィルタ応答を示す。
【図３】図３は、本発明の例示的９バンド実施形態におけるバンド２の例示的フィルタ応答を示す。
【図４】図４は、本発明の例示的９バンド実施形態におけるバンド３の例示的フィルタ応答を示す。
【図５】図５は、本発明の例示的９バンド実施形態におけるバンド４の例示的フィルタ応答を示す。
【図６】図６は、本発明の例示的９バンド実施形態におけるバンド５の例示的フィルタ応答を示す。
【図７】図７は、本発明の例示的９バンド実施形態におけるバンド６の例示的フィルタ応答を示す。
【図８】図８は、本発明の例示的９バンド実施形態におけるバンド７の例示的フィルタ応答を示す。
【図９】図９は、本発明の例示的９バンド実施形態におけるバンド８の例示的フィルタ応答を示す。
【図１０】図１０は、本発明の例示的９バンド実施形態におけるバンド９の例示的フィルタ応答を示す。
【図１１】図１１は、本発明の少なくとも１つの実施形態の構成図を示す。
【発明を実施するための形態】
【００１８】
出願者達は、標準設計原理である１）スペクトル一貫性、２）スペクトル均一性、３）最小焦点面周囲長、４）最小焦点面周囲長対面積比、および５）最小デモザイキングエラーを認識し、取り入れた。最初の２つの原理は反復単位セルを用いて構築されるカラーフィルタアレイを必要とすることを出願者達は認識した。第三と第四の原理は、焦点面検出器の双方向空間的広がりの最小化に関係しており、高品質スペクトル再構築に必要である。スペクトル精度を有する二次元の望ましい最小標的を表示できるような最少数の画素を反復単位セルが有していることが、斯かる第三および第四の原理を満たすのに必要であることを出願者達は決定した。一般的に、ＮバンドＣＦＡに関しては、最小焦点面周囲長および最小焦点面周囲長対面積原理の適用にはＭｘＰ単位セルを用いる必要がある（ここで、ＭはＮの平方根以上の最小整数であり、ＰはＮ／Ｍ以上の最小整数である）ことを、出願者達は決定した。
【００１９】
第五の原理すなわちデモザイキングエラーは、単位セル内のフィルタ要素の空間的配列を制約すると出願者達は決定した。ＣＦＡは相互関連するスペクトルバンドを用いてシーンを空間的にサブサンプリングするものであると出願者達は認識した。画像特性が単位セルサイズに相当する撮像対象について、バンド間の相関関係をデモザイキングエラーの最小化に利用し得ると出願者達は更に認識した。撮像シーンのスペクトル内容に関する先験的情報がなければ、幅広いスペクトル全体の色相関関係を推定できない。しかし、可視および短波長赤外線（ＳＷＩＲ）バンドにおける固体または液体の対象のスペクトル特性は例えば広範ではあるが、全体的に相互関連している訳ではない。従って、スペクトル特性は、局所的に、隣接スペクトルバンドの近接性と言う意味で相互関連していると推定するのが適切であると出願者達は決定した。すなわち、２つのスペクトルバンドが波長的に近ければ近いほど画像内容はより相互関連している、と出願者達は推定した。従って、出願者達は、相互関連したスペクトルバンドを引き離して反復単位セル内の分離を最大にすることにより、最小最近傍相関関係の原理を適用した。従って、本発明のＣＦＡ設計においては、各画素に関して、そのスペクトルバンドからその最近傍をスペクトル的に出来るだけ引き離す必要がある。すなわち、デモザイキングエラーを最小化するには、最近傍間のスペクトル距離を最大にする必要がある。例えば、本発明の実施形態の例示的９バンドＣＦＡにおいては、単一バンド超の情報を使用する場合のデモザイキングエラーの最小化には、空間／スペクトル相互関係をカラーフィルタアレイに利用するのが好ましいと出願者達は決定した。斯かる空間／スペクトル相互関係は、例えば、第二近傍間（すなわち、この９バンドＣＦＡ設計において、空間的に対角線にある画素間）のスペクトル距離を最小にすることにより達成される。上記原理を適用することにより、および局所的なスペクトル相関関係を利用することにより、出願者達はモザイクパターンを最適化した。
【００２０】
密集したモザイク単位セルを出来るだけ最小に保ちつつ、スペクトル近傍を可能な限り広げ、第二近傍間のスペクトル距離を最小にすることにより、モザイクパターンを最適化できる。斯かる方法により、（自然に相互関連したスペクトル内容を有する）スペクトル近傍を広範に配分することにより全体的な画像構造が保存でき、従って、モザイク単位セルのサイズ未満またはそれに等しい物理的サイズを有する有効なスペクトル単位セルが生成できる。この操作は、バンド数に関係なく、スペクトルバンドの適切な空間配列により達成される。
【００２１】
本発明の１つの実施形態は、図１を参照することにより例示的に記載される。本発明のこの実施形態はカメラシステム１０を有する。カメラシステム１０は、少なくとも５つのスペクトルバンドを有する標準のモザイク光学カラーフィルタアレイ２０を有する。カメラシステム１０は、モザイク光学カラーフィルタアレイ２０に光学的に連結している標準の短波長赤外線検出器３０を有する。本発明の実施形態に使用できるモザイクカラーフィルタアレイの少なくとも１つの例が、参照として本明細書に援用される、Ｂｕｃｈｓｂａｕｍによる米国特許第６，６３８，６６８号で考察されている。
【００２２】
モザイク光学カラーフィルタアレイは、任意で、上記検出器とは別に製造される。加えて、本明細書記載のマルチスペクトル撮像装置またはカメラシステム１０の製造プロセスは、上記検出器と共に製造されるＣＦＡに応用可能である。
【００２３】
モザイク光学カラーフィルタアレイ２０は、任意で、少なくとも５つのスペクトルバンドを有する複数の反復単位セルを有する。スペクトルバンド数、その幅、およびバンド中心波長はアプリケーションに依存している（すなわち、どの標的を観察したいかに依存している）ことを、当業者は認識するであろう。複数の反復単位セルはスペクトル一貫性および空間均一性を確実にする。複数の反復単位セルの各反復単位セルは、最小焦点面周囲長基準および最小周囲長対面積比基準を満たす。実際面では、ユーザーは可能なＣＦＡサイズを識別するのに最小焦点面周囲長基準を適用し、次に、必要に応じて、最小焦点面周囲長対面積比基準を適用することにより、可能なＣＦＡサイズから好ましいＣＦＡサイズを選別する。例えば、最小焦点面周囲長基準を８バンドカラーフィルタアレイに適用すれば、２つの可能なＣＦＡサイズ、すなわち３ｘ３ＣＦＡサイズおよび４ｘ２ＣＦＡサイズが得られる。４ｘ２セルは８バンドを有する最小整数長の長方形または正方形であり、従って最小の周囲長を有する。３Ｘ３セルも８バンドを有する最小整数長の長方形または正方形であり、やはり最小の周囲長を有する。次に、斯かる２つの可能なＣＦＡサイズに最小焦点面周囲長対面積比基準を適用し、好ましいＣＦＡサイズを決定する、すなわち２つの画像方向に関してどちらのＣＦＡサイズがより平等な空間周波数を与えるかを決定する。次に、３ｘ３ＣＦＡサイズの方が４ｘ２ＣＦＡサイズよりも小さい周囲長対面積比を有するので、周囲長対面積比基準により、例えば、４ｘ２ＣＦＡサイズではなく３ｘ３ＣＦＡサイズが提供される。少なくとも５つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍と複数の空間第二近傍とを有する。少なくとも５つのスペクトルバンドの各スペクトルバンドは、各スペクトルバンドが複数の空間最近傍よりも複数の空間第二近傍との間でより大きい相関関係を有するように、モザイク光学カラーフィルタアレイ上に配置される。少なくとも５つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍がスペクトル的に隣接しないように、モザイク光学カラーフィルタアレイ上に配置される。例えば、例示的な９バンド３ｘ３ＣＦＡでは、ＣＦＡの各対角線またはアンチ対角線はスペクトル的な最近傍によって占められている。
【００２４】
任意で、少なくとも５つのスペクトルバンドはＮスペクトルバンドを有する。複数の反復単位セルの各反復単位セルは、ＭｘＰ単位セルを有する（ここで、ＭはＮの平方根以上の最小整数であり、ＰはＮ／Ｍ以上の最小整数である）。
【００２５】
バンド数を変えると、マルチスペクトル画像コレクションに関する上記システムおよび操作の対称性およびアルゴリズム制約を保持する、新しいモザイクパターンが得られる。上記原理に従う例示的ＣＦＡサイズを表１に掲げる。
【表１】
2017535747.tif 000003
【００２６】
例えば、表１を９ＳＷＩＲバンドを有するカラーフィルタアレイに適用すると、３ｘ３単位セルが得られるであろう。別の例では、表１を１１ＳＷＩＲバンドを有するカラーフィルタアレイに適用すると、４ｘ３単位セルが得られるであろう。
【００２７】
本発明の実施形態によるスペクトル局所相関関係の利用方法を例示するため、以下の例が提供される。９バンドの場合、第二近傍（例えば対角線に隣接およびアンチ対角線に隣接）画素のスペクトル距離の最小化は、最近傍画素のスペクトル距離の最大化に等しい。その結果、各画素とその最近傍との間の相関関係を最小にしつつ、確実に、各画素の周りの第二近傍との間の相関関係を最大化する。９つのスペクトルバンドがある場合、本発明の実施形態に従って開発されるパターンの１例を表２に示す。
【表２】
2017535747.tif 000004
【００２８】
表２を参照すると、各バンドの指数はスペクトル領域の順番を示す。上記９つのスペクトルバンドＣＦＡの例を継続すると、図２〜１０は、それぞれバンド１〜９画素の例示的フィルタ応答を示す。バンドは、隣接スペクトルバンドを空間的に最近傍として配置するのを最小化するように単位セル内に配列してある。例えば、バンド３はその短波長側をバンド２と境界を接しており、長波長側をバンド４と境界を接している。上述したように、単位セルはＣＦＡ全体に亘って反復されるものなので、対角線に沿った要素はスペクトル的に局所群のメンバーである。例えば、バンド２はバンド１およびバンド３と同じ対角線上のみに見出される。平等に間隔を空けてあるスペクトルバンドに関しては、斯かる配列の置換は、要素を対角線に沿った他の要素と交換したとしても、対角線上の隣接画素は全て同じ平均スペクトル距離を有する。上記パターンの巡回置換、線対称変換および回転は全て同等であることを当業者は認識するであろう。更に、いくつかの隣接したスペクトルバンドを交換しても、例えば、バンド８とバンド９を交換しても、第二近傍間または最近傍間の平均バンド間相関関係に影響は及ばないし、同様に、デモザイキングエラーにも影響は及ばないことを当業者は認識するであろう。
【００２９】
８つのスペクトルバンドがある場合、本発明の実施形態に従って開発されるパターンの１例を表３に示す。
【表３】
2017535747.tif 000005
【００３０】
表３を参照すると、各バンドの指数はスペクトル領域の順番を示す。バンドは、隣接スペクトルバンドを空間的に最近傍として配置するのを最小化するように単位セル内に配列してある。上記パターンの巡回置換、線対称変換および回転は全て同等であることを当業者は認識するであろう。
【００３１】
８つのスペクトルバンドがある場合、本発明の実施形態に従って開発される４ｘ２単位セルのパターンの別の例を表４に示す。バンド間相関関係は、あらゆる２つのスペクトルバンド間における画像内容の類似性の尺度である。４ｘ２単位セルは最小周囲長対面積比の原理と一致していないが、単位セル内の最近傍間のバンド間相関関係を最小化することにより、最小デモザイキングエラーの原理には一致している。この最小化は、第二近傍が最近傍よりも相互関連するようにバンドを空間的に配列することにより行われる。
【表４】
2017535747.tif 000006
【００３２】
表４を参照すると、各バンドの指数はスペクトル領域の順番を示す。表４に示されるように、バンドは、隣接スペクトルバンドを空間的に最近傍として配置するのを最小化するように単位セル内に配列してある。上記パターンの巡回置換、線対称変換および回転は全て同等であることを当業者は認識するであろう。
【００３３】
本発明の例示的実施形態では、ＣＦＡのスペクトルバンドはＩｎＧａＡｓ検出器素材の感度に一致させた。更に、大量の大気を通した撮像に利用可能な波長空間を平等にサンプリングするように、バンド中心と幅を選択した。典型的な大気吸収がいくつかのスペクトル情報を削除するので、本発明の実施形態によるＣＦＡは、大気により遮られたスペクトル情報に影響されないのが好ましい。バンド幅は、隣接バンド間の重なり合いを最小にして、利用可能なバンド幅を完全に網羅するのが好ましい。例示的ＣＦＡ用のバンド中心波長（ＣＷＬｓ）を以下の表５に示す。 
【表５】
2017535747.tif 000007
【００３４】
スペクトルバンドは、長距離撮像用の高大気透過の窓を平等にサンプリングするように選択される。表５に列挙したバンド中心とは異なるバンド中心の代替選択はアプリケーションに依存することを、当業者は理解するであろう。例えば、ＩｎＧａＡｓセンサーと整合した感度曲線に一致するように特別のバンドが選択されるし、異なるバンド中心の場合、それは他のＳＷＩＲ検出器素材（例えば、ＨｇＣｄＴｅ、ＩｎＳｂ等）に整合する、あるいはいくつかのスペクトル領域がより小さいまたは大きいバンド分離を有している場合に整合する。
【００３５】
複数の反復単位セルの各反復単位セルは、任意で、少なくとも５つのスペクトルバンドの各スペクトルバンドに少なくとも１つの画素を含む。
【００３６】
モザイク光学カラーフィルタアレイ２０は、任意で、短波長赤外線検出器に固定されている、あるいは短波長赤外線検出器から少し離れた場所に配置される。例えば、モザイク光学カラーフィルタアレイは焦点面アレイに接着される。他の設計には、フィルタアレイを検出器アレイにリイメージングすること、あるいはフィルタアレイを検出器アレイ上に直接作製することも含まれる。
【００３７】
本発明の例示的実施形態では、ＣＦＡは６４０ｘ５１２正方画素および２５ミクロンセンサーピッチの二次元フォーマットを有する標準のＩｎＧａＡｓセンサーに適合している。フィルタは、厚さ０．５ｍｍの透過性基盤上に置かれた、３ｘ３反復パターンの画素サイズフィルタから成る。フィルタは焦点面アレイセンサーに近接した位置（約２ミクロン）に配置されるように設計される。
【００３８】
短波長赤外線検出器３０は、任意で、標準の焦点面アレイまたは標準の線形検出器アレイを含んでいる。
【００３９】
少なくとも５つのスペクトルバンドは、任意で、大気吸収の影響を受けない。すなわち、この本発明による任意の実施形態では、ＣＦＡは大気を透過可能な光しか受け入れない。
【００４０】
短波長赤外線検出器３０は、任意で、１１００ｎｍと１７００ｎｍとの間の波長を有する光に敏感である。
【００４１】
本発明の別の実施形態を図１を参照して例示的に記載する。この実施形態にはカメラシステム１０が含まれる。カメラシステム１０はモザイク光学カラーフィルタアレイ２０を有し、該アレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面周囲長基準および最小周囲長対面積比基準を満たす。カメラシステム１０は、モザイク光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器を更に有する。
【００４２】
モザイク光学カラーフィルタアレイ２０は、任意で、少なくとも５つのスペクトルバンドを有する。複数の反復単位セルは少なくとも５つのスペクトルバンドを有する。少なくとも５つのスペクトルバンドの各スペクトルバンドは、複数の空間最近傍と複数の空間第二近傍とを有する。少なくとも５つのスペクトルバンドの各スペクトルバンドは、その各スペクトルバンドが上記複数の空間最近傍よりも上記複数の空間第二近傍とより大きい相関関係を有するように、モザイク光学カラーフィルタアレイ上に配置されている。
【００４３】
少なくとも５つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍がスペクトル的に隣接しないように、モザイク光学カラーフィルタアレイ上に配置されている。
【００４４】
少なくとも５つのスペクトルバンドは任意でＮスペクトルバンドを有しており、上記複数の反復単位セルの上記各反復単位セルはＭｘＰ単位セルを有する（ここで、ＭはＮの平方根に少なくとも等しい最小整数であり、ＰはＮ／Ｍに少なくとも等しい最小整数である）。
【００４５】
複数の反復単位セルの各反復単位セルは、任意で、少なくとも５つのスペクトルバンドの各スペクトルバンドに少なくとも1つの画素を有する。
【００４６】
モザイク光学カラーフィルタアレイ２０は、任意で、短波長赤外線検出器３０に固定されている、あるいは短波長赤外線検出器３０から少し離れた位置に配置されている。
【００４７】
短波長赤外線検出器３０は、任意で、標準の焦点面アレイまたは標準の線形検出器アレイを有する。
【００４８】
少なくとも５つのスペクトルバンドは、任意で、大気吸収の影響を受けない。
【００４９】
短波長赤外線検出器は、任意で、１１００ｎｍと１７００ｎｍとの間の波長を有する光に敏感である。
【００５０】
本発明の別の実施形態を図１０を参照して例示的に記載する。この実施形態にはカメラシステム１０が含まれる。カメラシステム１０はモザイク光学カラーフィルタアレイ２０を有し、該アレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面周囲長基準および最小周囲長対面積比基準を満たす。モザイク光学カラーフィルタアレイは少なくとも６つのスペクトルバンドを有する。複数の反復単位セルは少なくとも６つのスペクトルバンドを有する。カメラシステム１０は、モザイク光学カラーフィルタアレイ２０に光学的に連結した標準の可視波長検出器４０を更に有する。
【００５１】
少なくとも６つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍と複数の空間第二近傍とを有し、少なくとも５つのスペクトルバンドの上記各スペクトルバンドは、その各スペクトルバンドが上記複数の空間最近傍よりも上記複数の空間第二近傍とより大きい相関関係を有するように、モザイク光学カラーフィルタアレイ上に配置されている。
【００５２】
別の実施形態はカメラシステムを有するが、図１および図１０を参照して例示的にそれを以下に記載する。カメラシステム１０は、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイ２０を有する。全体的なバンド間相関関係は、スペクトルバンドの選択によって固定されている。最近傍相関関係および第二近傍相関関係は、各反復単位セル内のスペクトルバンドの配置に依存する。デモザイキングプロセスにおいて最近傍バンド間相関関係は最小化され、それよりも大きい第二近傍バンド間相関関係が利用される。従って、複数の反復単位セルの各反復単位セルは、最小最近傍バンド間相関関係基準を満たす。モザイク光学カラーフィルタアレイ２０は少なくとも６つのスペクトルバンドを有する。複数の反復単位セルは少なくとも６つのスペクトルバンドを有する。カメラシステムは、モザイク光学カラーフィルタアレイ２０に光学的に連結された検出器を更に有する。該検出器は可視波長検出器４０または短波長赤外線検出器３０を有する。
【００５３】
短波長赤外線検出器３０は、任意で、１１００ｎｍと１７００ｎｍとの間の波長を有する光に敏感である。
【００５４】
最小最近傍バンド間相関関係基準は、任意で、第二近傍が各反復単位セル内で最近傍よりも密接に相関関連していることを保証することを含む。
【００５５】
本開示の特定の特徴がいくつかの実施の僅か１つに関して例示されている、および／または記載されているかもしれないが、斯かる特徴は、一定のアプリケーションまたは特定のアプリケーションにとって望ましいまたは有利であると考えられる場合には、他の実施の１つ以上の他の特徴と組み合わせてもよい。更に、発明を実施するための形態および特許請求の範囲には「含んで」、「含む」、「有する」、「有し」等の用語、またはそれらの変形が使用されているが、斯かる用語は「有するものである」と言う用語と類似の意味で包括的に使用されることが意図されている。
【００５６】
本明細書に記載された内容は、本発明の最善の形態を説明するものであり、本発明を記載するための実施例並びに当業者が本発明を作製および使用できるようにするための実施例を提供するものである。本明細書に記載された内容は、使用されている精確な用語に本発明を制限するものではない。従って、本発明は上述の実施例を参照して詳細に記載されているが、当業者は、本発明の範囲から逸脱することなく、実施例の改変、修正および変形の実施が可能である。
【００５７】
斯かる実施並びに他の実施が以下の特許請求項の範囲内にある。
【図１】
2017535747.tif 000008
【図２】
2017535747.tif 000009
【図３】
2017535747.tif 000010
【図４】
2017535747.tif 000011
【図５】
2017535747.tif 000012
【図６】
2017535747.tif 000013
【図７】
2017535747.tif 000014
【図８】
2017535747.tif 000015
【図９】
2017535747.tif 000016
【図１０】
2017535747.tif 000017
【図１１】
2017535747.tif 000018
【国際調査報告】
2017535747.tif 000019
2017535747.tif 000020
2017535747.tif 000021