(57)【要約】【課題】マルチモード撮像システムを改善することを目的とする。【解決手段】調整可能なマルチモード光照射野撮像システムである。非均質フィルタモジュールが、光照射野撮像システムの瞳孔面に配置され、マルチモード機能を提供する。フィルタモジュールは、撮像システムに対して動かされ、露光条件が相応に調整される。これにより、マルチモード機能の調整が可能になる。【選択図】図１Ａ
2014132266.tif 000002
【特許請求の範囲】
【請求項１】
調整可能なマルチモード光照射野撮像システムであって、
物体の視像を形成する光学モジュールであり、撮像光学素子、瞳孔面及び像平面により特徴付けられる光学モジュールと、
前記瞳孔面の近くに配置されるフィルタアレイであり、前記光学モジュールに対して移動可能であるフィルタアレイと、
前記像平面の近くに配置されるマイクロ撮像素子のアレイと、
前記マイクロ撮像素子が前記フィルタアレイを検出アレイ上に映すように配置される検出アレイであり、露光条件に従って前記物体のマルチモード画像を取得する検出アレイと、
前記フィルタアレイの位置に応じて前記露光条件を調整するコントローラと
を有する光照射野撮像システム。
【請求項２】
前記フィルタアレイは、前記瞳孔面に存在する方向に沿って移動可能である、請求項１に記載の光照射野撮像システム。
【請求項３】
前記コントローラは、前記フィルタアレイの位置に応じて前記露光条件を調整し、
前記フィルタアレイの異なる位置において、前記フィルタアレイの同じフィルタが瞳孔を占有するが、前記瞳孔の異なる部分を占有する、請求項２に記載の光照射野撮像システム。
【請求項４】
前記コントローラは、前記物体を照らす光源の強度を調整する、請求項１に記載の光照射野撮像システム。
【請求項５】
前記コントローラは、前記光学モジュールの光通過量を調整する、請求項１に記載の光照射野撮像システム。
【請求項６】
前記コントローラは、中性フィルタの減衰を調整する、請求項１に記載の光照射野撮像システム。
【請求項７】
前記コントローラは、前記検出アレイの露光／積分時間を調整する、請求項１に記載の光照射野撮像システム。
【請求項８】
前記コントローラは、前記マルチモード画像の画像品質メトリックに応じて前記露光条件を調整する、請求項１に記載の光照射野撮像システム。
【請求項９】
前記画像品質メトリックは、信号対雑音比である、請求項８に記載の光照射野撮像システム。
【請求項１０】
前記画像品質メトリックは、信号エネルギーである、請求項８に記載の光照射野撮像システム。
【請求項１１】
前記画像品質メトリックは、露光指数である、請求項８に記載の光照射野撮像システム。
【請求項１２】
前記コントローラは、前記露光条件への調整を判定するために、参照テーブルにアクセスする、請求項１に記載の光照射野撮像システム。
【請求項１３】
前記フィルタアレイは、異なる波長応答を備えたフィルタを含む、請求項１に記載の光照射野撮像システム。
【請求項１４】
前記フィルタアレイは、マルチスペクトル撮像を実施する、請求項１に記載の光照射野撮像システム。
【請求項１５】
前記マイクロ撮像素子のアレイは、マイクロレンズアレイを含む、請求項１に記載の光照射野撮像システム。
【請求項１６】
前記光学モジュールは、テレセントリックである、請求項１に記載の光照射野撮像システム。
【請求項１７】
前記瞳孔面は、前記検出アレイに対して少なくとも10:1の倍率を有する、請求項１に記載の光照射野撮像システム。
【請求項１８】
プレノプティック撮像システムの瞳孔面に配置されたフィルタアレイを有するプレノプティック撮像システムを調整する方法であって、
前記プレノプティック撮像システムに対する前記フィルタアレイの動きに応じて、前記プレノプティック撮像システムの露光条件を調整するステップと、
前記露光条件で、前記フィルタアレイの位置に基づいて物体のマルチモード画像を取得するステップと、
を有する方法。
【請求項１９】
前記フィルタアレイの前記動きで、前記フィルタアレイの同じフィルタが瞳孔を占有するが、前記フィルタが瞳孔の異なる部分を専有する、請求項１８に記載の方法。
【請求項２０】
前記露光条件を調整するステップは、前記物体を照らす光源の強度を調整することを有する、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概してフィルタモジュールを使用したプレノプティック（plenoptic）撮像（イメージング）システムのようなフィルタモジュールを使用したマルチモード撮像システムに関する。
【背景技術】
【０００２】
マルチモード撮像システムは、従来の撮像システム（例えば、RGB  Bayerパターンに基づくもの）により取得される通常の空間情報を超える情報を取得することができる撮像システムである。例えば、マルチモード撮像システムは、スペクトル分析又は物質の識別に使用される更なるスペクトル情報（マルチスペクトル及びハイパースペクトルシステム）を取得し得る。マルチモード撮像システムは、シーンの偏光についての情報も取得し、更に、検出アレイの固有の機能により提供されるものより高いダイナミックレンジも提供し得る。
【０００３】
ほとんどの商用の検出アレイは入来する画像を２次元の画像信号に空間的にセグメント化するため、この更なる情報の取得は困難になることがある。従来では、スペクトル、偏光又は他のモードの更なる情報は、時分割多重により取得されていた。例えば、スペクトル撮像用途では、関心のある異なる波長で物体からの照射を取得することが望ましいことがある。関心のある波長域の数は、マルチスペクトルイメージャでは、5〜20の間になり、ハイパースペクトルイメージャでは20より多くなることがある。従来のマルチスペクトル又はハイパースペクトルイメージャは、関心のある波長域に対応する波長フィルタを含むフィルタホイール、又はプリズム若しくは回折格子のような分散素子に基づく。フィルタホイールが使用される場合、常に、波長フィルタのうち１つのみが撮像経路に配置される。フィルタホイールは、１つの波長フィルタから次の波長フィルタに切り替えるために回転する。従って、マルチスペクトル又はハイパースペクトル撮像は、時分割多重方式で実施される。しかし、結果のシステムは大規模且つ複雑になる可能性がある。異なる波長を空間的に分離するために分散素子が使用される場合、光は、典型的には検出アレイの１つの次元に沿って分散する。他の次元は、物体の１つの次元空間を取得するために使用される。しかし、物体の第２の次元空間も取得することは困難である。場合によっては、例えばスキャンすることにより、第２の次元空間を取得するために時分割多重が導入される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、シーンのマルチモード情報を同時に又は「単一スナップショット」で取得することが、ますます注目されている。これらの単一スナップショットシステムは、異なるモードの信号を検出アレイの異なる検出画素に多重する。すなわち、マルチモード情報は、時分割多重ではなく、空間多重される。
【０００５】
単一スナップショットのマルチスペクトル撮像アーキテクチャは、概して２つの種類に分類され得る。一方の種類は、何らかのビーム分割素子（例えば、プリズム又はマスク）と組み合わせて異なる波長を空間的に分離するために、プリズム又は回折格子のような分散素子を使用する。このアーキテクチャは、典型的には分散素子が平行ビーム又は介在する像平面に適用されるという欠点を有する。その結果、これらのシステムの多くは、非常に大きくなる可能性があり、及び／又は限られた視野を有する可能性がある。
【０００６】
他方の種類の単一スナップショットイメージャでは、従来のカラー撮像システムにあるRGB  Bayerパターンと同様に、別々のフィルタが各検出器に取り付けられる。すなわち、カラーフィルタアレイは、個々のフィルタ（マイクロフィルタと呼ばれる）のそれぞれが個々の検出器に向かう光をフィルタリングするように、検出アレイの上に配置される。個々のマイクロフィルタは、マルチモード撮像を実施するように設計される。例えば、フィルタアレイは、マルチスペクトル撮像を実施するために、20個の異なる波長応答を備えたマイクロフィルタを含むことがある。この種類のシステムの１つの欠点は、コストの増加及び生産の複雑さにある。マイクロフィルタと検出器との間に１対１の対応が存在するため、また、マイクロフィルタが検出器に取り付けられるため、マイクロフィルタは、検出器と同じ大きさになり、小さくなる。多くの異なる小さいマイクロフィルタは、アレイ上に配置され、基礎となる検出器と整列されなければならない。他の欠点は、柔軟性の欠如である。マイクロフィルタアレイが検出アレイに取り付けられると、マイクロフィルタアレイを変更することは困難である。
【０００７】
従って、マルチモード撮像システムの改善が必要である。
【課題を解決するための手段】
【０００８】
本発明は、調整可能なマルチモード光照射野撮像システムを提供することにより、従来技術の制約を克服する。非均質フィルタモジュール（例えば、フィルタアレイ）が、光照射野撮像システムの主な（又は１次の）画像形成光学モジュールの瞳孔面に又は瞳孔面の近くに配置され、マルチモード機能を提供する。フィルタモジュールは、相応に調整された露光条件で撮像システムに対して動かされてもよい。従って、マルチモード機能の調整が可能になる。
【０００９】
一実施例では、調整可能なマルチモード光照射野撮像システムは、物体の視像を形成する光学モジュールを含む。光学モジュールは、撮像光学素子、瞳孔面及び像平面により特徴付けられる。フィルタアレイは、瞳孔面の近くに配置される。フィルタアレイは、光学モジュールに対して移動可能である。マイクロ撮像素子のアレイは、像平面の近くに配置される。検出アレイは、マイクロ撮像素子がフィルタアレイを検出アレイ上に映すように配置される。検出アレイは、露光条件に従って物体のマルチモード画像を取得する。フィルタアレイの位置の変化は、撮像システムのマルチモード機能を変化させる。コントローラは、フィルタアレイの位置に応じて露光条件を調整する。
【００１０】
露光条件は、異なる方法で調整されてもよい。例えば、コントローラは、顕微鏡の設定と同様に、物体を照らす光源の強度を調整してもよい。或いは、コントローラは、例えばシステムの中性フィルタの減衰を調整することにより、撮像システムの光通過量を調整してもよい。コントローラはまた、検出アレイの露光／積分時間を調整してもよい。
【００１１】
他の態様では、露光条件は、画像品質メトリックに応じて調整されてもよい。このようなメトリックの例は、信号対雑音比（SNR：signal  to  noise  ratio）、信号エネルギー、コントラスト、輝度及び露光指数を含む。
【００１２】
本発明の他の態様は、前述のデバイス及びシステムに対応する方法と、前述の用途とを含む。
【発明の効果】
【００１３】
本発明によれば、露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システムの動的な調整が可能になる。
【図面の簡単な説明】
【００１４】
【図１Ａ】本発明による調整可能なマルチモード光照射野撮像システムの図
【図１Ｂ】瞳孔面上の検出器の投影を示す図
【図１Ｃ】図１Ａの詳細を示す図
【図２Ａ】図１のシステムの動作を更に示す図
【図２Ｂ】図１のシステムの動作を更に示す図
【図３】フィルタモジュールと光学モジュールとの間の異なる種類の相対運動を示す図
【図４Ａ】瞳孔面で平行移動するフィルタアレイに基づく例を示す図
【図４Ｂ】瞳孔面で平行移動するフィルタアレイに基づく例を示す図
【図４Ｃ】瞳孔面で平行移動するフィルタアレイに基づく例を示す図
【図５Ａ】瞳孔面で平行移動する非アレイ型フィルタモジュールに基づく他の例を示す図
【図５Ｂ】瞳孔面で平行移動する非アレイ型フィルタモジュールに基づく他の例を示す図
【図６Ａ】瞳孔面で回転するフィルタアレイに基づく例を示す図
【図６Ｂ】瞳孔面で回転するフィルタアレイに基づく例を示す図
【図７Ａ】光軸に沿った移動に基づく例を示す図
【図７Ｂ】光軸に沿った移動に基づく例を示す図
【図８Ａ】トウモロコシ及び米について乾いた植物と新鮮な植物とを区別する例を示す図
【図８Ｂ】トウモロコシ及び米について乾いた植物と新鮮な植物とを区別する例を示す図
【図９Ａ】検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図
【図９Ｂ】検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図
【図９Ｃ】検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図
【図９Ｄ】検出サブアレイに対する異なる位置の２フィルタ・フィルタモジュールを示す図
【図１０Ａ】図９Ａのフィルタモジュール位置に対応するマルチモード画像
【図１０Ｂ】図９Ｂのフィルタモジュール位置に対応するマルチモード画像
【図１０Ｃ】図９Ｃのフィルタモジュール位置に対応するマルチモード画像
【図１０Ｄ】図９Ｄのフィルタモジュール位置に対応するマルチモード画像
【図１１】フィルタモジュール位置及び露光条件を調整する方法の例のフローチャート
【発明を実施するための形態】
【００１５】
本発明は、添付図面と共に、本発明の以下の詳細な説明及び特許請求の範囲から容易に明らかになる利点及び特徴を有する。
【００１６】
図面は、単なる例示目的で本発明の実施例を示している。当業者は、ここに記載の本発明の原理を逸脱することなく、ここに記載の構成及び方法の別の実施例が使用されてもよいことを、以下の説明から容易に理解する。
【００１７】
図１Ａ〜１Ｃは、本発明による調整可能なマルチモード光照射野撮像システムの図である。このシステムは、物体150のマルチモード画像を取得する。物体150は、顕微鏡の設定の場合のように、別の光源190により照らされてもよい。マルチモード光照射野撮像システムは、画像形成光学モジュール105を含む。図１では、画像形成光学モジュール105は、単一のレンズ素子で表されているが、光学モジュール105は、複数のレンズ素子及び／又は非レンズ素子（例えば、鏡）（複数の撮像光学素子）を含んでもよい。光学モジュール105は、物体150の視像（光学画像）160を形成する。視像160は、光学モジュール105の像平面125に形成される。光学モジュール105は、瞳孔117及び瞳孔面115により特徴付けられる。図１では、瞳孔117及び瞳孔面115は、単一のレンズ素子と同じ場所にある物理的な絞りにより表されている。更に複雑な光学モジュール105では、瞳孔117及び瞳孔面115は、光学モジュール内の光学素子のいずれかと同じ場所にある必要はない。
【００１８】
従来の撮像システムでは、検出アレイは、視像160を取得するために、像平面125に存在する。従来のカラー撮像システムでは、それぞれ個々の検出器がデータの赤、緑又は青のチャネルを取得するために、マイクロフィルタのアレイ（例えば、RGB  Bayerパターンで構成されたもの）が像平面125の検出アレイに取り付けられる。
【００１９】
しかし、図１では異なる。まず、非均質フィルタモジュール110が瞳孔面115に配置される。フィルタモジュールは、フィルタリング特性が位置の関数として変化するという点で非均質である。以下の例では、フィルタモジュール110は、異なるフィルタ111を含むフィルタアレイである。例えば、フィルタ111は、異なる波長応答、異なる偏光応答又は異なる輝度応答を有してもよい。しかし、フィルタモジュールは、フィルタアレイである必要はない。例えば、フィルタモジュールは、連続的に変化する応答を備えたフィルタでもよい。この例では、フィルタアレイは例示目的で使用される。典型的には、フィルタモジュールは、フィルタモジュールの一部のみが照らされるように、瞳孔117より大きい。
【００２０】
次に、マイクロ撮像素子121が像平面125に存在する。図１では、マイクロ撮像素子121は、マイクロレンズとして示されている。例えば、ピンホール（小さい穴）のアレイのような他の素子が使用されてもよい。検出アレイ130は、マイクロ撮像素子のアレイ120の後ろ（すなわち、光学的に下流）に存在する。より具体的には、検出アレイ130は、瞳孔面115に対する共役平面135に位置する。すなわち、各マイクロ撮像素子121は、共役平面135において瞳孔面115から検出アレイ130に光を向ける。
【００２１】
マイクロレンズの場合、各マイクロレンズ121は、共役平面135で瞳孔（及びフィルタモジュール）の画像170を形成する。検出アレイ130の対応する部分は、単一の検出器131を含んでもよく、複数の検出器131を含んでもよく（好ましくは複数の検出器を含む）、これは「サブアレイ」133と呼ばれる。従って、図１の例では、検出アレイ130はサブアレイ133に細分され、各マイクロレンズ121は、瞳孔及びフィルタモジュールを対応するサブアレイ133に映す。各サブアレイ133は、１つ以上の検出器131を含む。
【００２２】
逆に、図１Ｂを参照すると、それぞれ個々の検出器131は、マイクロレンズ121を通じて瞳孔面115及びフィルタモジュール110の対応する位置119に投影されてもよい。この特定の検出器131について、マイクロレンズ121は、対応する位置119からの光を集める。図１Ｂは、中央のマイクロレンズを通じた位置119Aへの検出器131Aの投影と、位置119Bへの検出器131Bの投影とを示している。検出器の投影119は、実際の検出器のサイズに対して少なくとも10倍だけ拡大される。
【００２３】
更なる詳細について図１Ｃを参照すると、各マイクロレンズ121は、全体のフィルタアレイ110（瞳孔内に入るもの）をサブアレイ133に映す。各フィルタ111は、フィルタアレイ110の一部のみをカバーするため、各フィルタ111の画像171は、サブアレイ133の一部のみをカバーする。その部分は、図１Ｃの詳細に示すように、サブピクセル132と呼ばれる。すなわち、各マイクロレンズ121は、フィルタ111から対応するサブピクセル132に光を向ける。各サブピクセル132は、１つ以上の検出器を含んでもよい。
【００２４】
各検出器131は、１つのマイクロレンズ121を通過する１つのフィルタ111からの光を集める。マイクロレンズアレイ120は、物体150に対して共役平面に存在するため、物体150とマイクロレンズアレイ120との間に撮像関係が存在する。従って、マイクロレンズに入射する光は、全体の物体からではなく、物体の一部から生じる光である。従って、各検出器131は、対応するフィルタ111によりフィルタリングされた物体の対応する部分（マイクロレンズの範囲により判定される）からの光を集める。
【００２５】
図２Ａは、この概念を更に詳細に示している。明瞭にするために、主レンズ105が省略されている。この例では、物体150は、３つの部分151A、B、Cに分割される。同様に、フィルタアレイ110の照らされる部分は、４つのフィルタ111x、x、y、zを含む。フィルタモジュール110は大きく、図２Ａでは照らされていないフィルタ111vも含む。物体150は、マイクロレンズアレイ120に映される。より具体的には、部分物体151Bは、マイクロレンズ121Bに映される。これは、部分物体151Bを離れた各光線が瞳孔を通過して（及び瞳孔の場所に応じて異なるフィルタ111を通過して）マイクロレンズ121Bに到達することを意味する。同様に、部分物体151Aは、マイクロレンズ121Aに映され、部分物体151Cは、マイクロレンズ121Cに映される。
【００２６】
同様に、マイクロレンズ121Bは、全体のフィルタアレイ110（少なくとも照らされた部分）をサブアレイ133Bに映す。従って、フィルタ111wはマイクロレンズ121Bによりサブピクセル132B(w)に映され、フィルタ111xはサブピクセル132B(x)に映され、他のフィルタ／サブピクセルの対及び他のマイクロレンズ121についても同様に映される。サブピクセル132B(w)内に完全に入る検出器131では、これらの検出器は、フィルタ111wを通過する部分物体151Bから入来する光を検出する。他のサブピクセル132A(w)〜132C(z)についても同様である。
【００２７】
撮像システムは、検出器により集められる光線が（従来の撮像システムのように）物体平面の位置の関数だけでなく、瞳孔面の位置の関数でもあるため、「光照射野（lightfield）」撮像システムである。撮像システムは、フィルタモジュール110がマルチモード画像を取得するため、マルチモード撮像システムである。これらのシステムは、場合によってプレノプティック撮像システムと呼ばれる。
【００２８】
再び図１を参照すると、デジタル処理ユニット180は、検出アレイ130からデータを集め、相応にデータを処理する。簡単な例では、デジタル処理ユニット180は、フィルタ111wによりフィルタリングされた画像を形成するために、サブピクセル132A(w)、132B(w)及び132C(w)からのデータを集めて、データを並び替えてもよい。フィルタ111x、y、zについても同じことが行われてもよい。
【００２９】
このシステムは、アクチュエータ140と光源コントローラ142も含んでもよい。アクチュエータ140は、光学モジュール105に対するフィルタモジュール110の位置を変化させてもよい。このように、どのフィルタ111がどのサブピクセル132に向かうかが変化することにより、有効フィルタリングを変化させてもよい。例えば、図２Ｂでは、フィルタアレイ110は、フィルタ111v、w、x、yが照らされるように、下方向に平行移動している。光源コントローラ142は、相応に光源の照射190（照度）の強度を変化させてもよい。例えば、新たなフィルタセットは、強い照射又は弱い照射を享受してもよい。図１Ａは、光源190を調整するコントローラ142を示しているが、コントローラは、全体の露光を調整する他の機構を使用してもよい。例えば、コントローラは、光源の照射の強度を変化させることなく、全体の光通過量を調整するために、システムのどこかに位置する中性フィルタの減衰を調整してもよい。或いは、コントローラは、検出器131の露光／積分時間を増加又は減少させてもよい。「露光条件」という用語は、これらの量を示すために使用される。露光条件に対する調整は、SNR（信号対雑音比）、信号エネルギー、コントラスト、輝度、露光指数又は他の画像品質メトリックの増加に基づいて行われてもよい。
【００３０】
図３〜８は、相対運動のいくつかの例を示しており、図９〜１１は、露光条件の調整のいくつかの例を示している。
【００３１】
図３は、フィルタモジュール110と光学モジュールとの間の異なる種類の相対運動を示す図である。この例では、光学モジュール105は２つのレンズグループG1及びG2を含み、瞳孔面及びフィルタモジュール110が２つのレンズグループの間に存在する。一例として、アクチュエータ140は、光軸に対して平行の方向310に沿って、瞳孔面に存在する方向320に沿って、又は他の方向に沿って、光学モジュール105に対してフィルタモジュール110を平行移動させてもよい。或いは、アクチュエータ140は、瞳孔面内でフィルタモジュール110を回転させてもよい330。他の例として、アクチュエータ140は、光学モジュール105に対してフィルタモジュール110を傾斜させてもよい340。アクチュエータは、フィルタモジュールと光学モジュールとの間に相対運動が存在する限り、フィルタモジュールを動かすのではなく、光学モジュール（又は光学モジュール内の光学素子）を動かしてもよい点に留意すべきである。運動350は、光学モジュール内の光学素子の動き（例えば、ズーム動作）を示している。
【００３２】
図４Ａ〜４Ｃは、瞳孔面に存在する方向に沿って平行移動したときのフィルタアレイ110の照射を示している。この例では、フィルタアレイは、点線の輪郭で示すように、４つのフィルタF1〜F6を含む。１つのサブアレイ133からの検出器（すなわち、１つのマイクロレンズに対応する検出器）の投影は、実線で示されている。便宜上、サブアレイ133は、正方形として示されているが、ほとんどの場合に瞳孔が丸いため、典型的にはサブアレイ133は丸い。検出サブアレイ133内の各正方形は、異なる検出器131を表す。
【００３３】
図４Ａ〜４Ｃのそれぞれは、異なる位置のフィルタアレイに対応する。図４Ａの位置では、光はアレイのフィルタセットF1、F2、F4、F5を照らす。フィルタF1を通過する光は、フィルタF1に対応するサブピクセル132Aを形成する25個の検出器に集められ、これらの信号は、F1によりフィルタリングされた光に対応する。同様に、サブピクセル132Bを形成する25個の検出器は、フィルタF4を通過する光を集め、フィルタF2及びF5を通過する光を集める対応するサブピクセルも存在する。各サブピクセルの光の全ては、全てが同じマイクロレンズを通過するため、同じ部分物体から生じる。従って、サブピクセルのそれぞれは、全体の物体の１つの部分物体の領域についてのスペクトル情報（又は他のマルチモード情報）を取得する。
【００３４】
図４Ｂでは、フィルタアレイが動かされている。この位置では、光はアレイのフィルタセットF2、F3、F5、F6を照らす。サブピクセル132Aの25個の検出器は、フィルタF2を通過する光を集め、サブピクセル132Bの25個の検出器は、フィルタF5を通過する光を集め、以下同様である。
【００３５】
多くの場合に、フィルタアレイは、各フィルタが等しい数の検出器をカバーするように配置されてもよい。しかし、このことは必要ではない。図４Ｃの位置では、フィルタF1からの光は、サブピクセル131Aの5個の検出器のみを照らし、フィルタF2からの光は、30個の検出器を照らし、フィルタF3からの光は、15個の検出器を照らす。図４は、単なる例である。フィルタアレイは、様々なマルチモード撮像を実施するために、別の幾何学的レイアウト及び形状と、フィルタの異なる組み合わせとを有してもよい。
【００３６】
このアーキテクチャは、従来の手法に対して複数の利点を有する。従来の手法は、２つのフィルタホイールを使用することがあり、一方はスペクトル分析が望まれる場合のフィルタF1、F2、F4、F5を含み、他方は別のスペクトル分析のためのフィルタF2、F3、F5、F6を含む。F1、F2、F4、F5のフィルタホイールが使用される場合、フィルタF1、F2、F4、F5のそれぞれは順に照射光路に通じて回転する。これは、（スペクトル情報の単一スナップショットの取得ではなく）スペクトル情報の時間多重を生じる。更に、F2、F3、F5、F6の分析が望まれる場合、単に図４のようなフィルタモジュールの移動ではなく、フィルタホイールが変更されなければならない。
【００３７】
図５Ａ〜５Ｂは、フィルタモジュールがアレイではないが、連続的に変化する非均質フィルタである例を示している。この例では、フィルタモジュール110は、x及びy方向に変化する。例えば、フィルタモジュールは、x方向に沿って異なる中心波長を有し、y方向に沿って異なるフィルタ幅を有する波長フィルタでもよい。フィルタモジュールが位置５Ａから５Ｂに動かされた場合、各サブアレイは、フィルタモジュールのどの部分が当該サブアレイに対応するかに応じて異なる情報を取得する。
【００３８】
他の例として、図５のフィルタモジュールは、xの関数として変化する波長応答と、yの関数として変化する偏光応答とを有してもよい。更に、これは、互いに独立して動かされる２つのフィルタ（波長フィルタ及び偏光フィルタ）として実装されてもよい。
【００３９】
図６Ａ〜６Ｂは、瞳孔面で回転するフィルタモジュールに基づく例を示している。この例では、フィルタモジュールは、異なるフィルタ応答を有する４つの象限Q1〜Q4を有する。実線の輪郭133が、瞳孔面に投影される検出器のサブアレイの輪郭である。図６Ａでは、象限1が照らされる。図６Ｂでは、フィルタは90度だけ時計方向に回転し、象限2が照らされ、異なるフィルタリングを生じる。
【００４０】
図７Ａ〜７Ｂは、光軸に沿った移動に基づく例を示している。この例では、フィルタモジュールは、同心のフィルタ1〜3のセットである。図７Ａの位置では、（実線の円133で示すように）全ての３つのフィルタが照らされる。図７Ｂでは、中央のフィルタ1のみが照らされる。これは、例えばズームレンズで実現されてもよい。図３を参照すると、双方のレンズグループG1及びG2は、光軸に沿って移動してもよい。フィルタモジュールが２つのレンズグループの間に存在する場合、レンズのズームは、フィルタモジュール上の光ビームのフットプリント（占有場所）を変化させることができる。その結果、光がフィルタモジュールの大きい部分又は小さい部分のみを通過する。フィルタモジュールが図７のように区分されている場合、ズームイン構成では、内側のリングの数個のフィルタのみが実質上使用され得るが、ズームアウト構成では、外側のリングのフィルタも使用され得る。
【００４１】
この手法は、空間分解能及びスペクトル分解能がトレードオフになっている用途で使用されてもよい。物体の詳細な画像（すなわち、高い空間分解能）は、ズームインにされた場合に、低いスペクトル分解能又は少ないスペクトル情報で形成されてもよい。ズームアウトされた場合、更なるスペクトル分解能が、空間分解能を犠牲にして実現されてもよい。
【００４２】
どのフィルタが照らされるかを変化させるために、他の種類の移動も使用されてもよい。
【００４３】
最後の例として、異なる種類のスペクトル信号を検出することを含むマルチスペクトル撮像タスクについて検討する。例えば、乾いたもの又は新鮮なものとしての植物の分類は、米、トウモロコシ、小麦のような異なる穀物の種類に対して異なるスペクトルシグネチャ（spectral  signature）を必要とする。好ましくは、単一のマルチスペクトル撮像システムは、穀物の種類毎に別のフィルタホイールを必要とするのではなく、異なる穀物の種類に対処するように調整され得る。
【００４４】
図８Ａ〜８Ｂは、瞳孔面におけるフィルタモジュールの簡単な移動を使用して、乾いた植物と新鮮な植物とを区別するフィルタアレイの例を示している。フィルタf1〜f4及びc5、c6、r5、r6が表１〜３で指定される。
【表１】
2014132266.tif 000003
【表２】
2014132266.tif 000004
【表３】
2014132266.tif 000005
【００４５】
フィルタf1〜f4及びc5、c6は、トウモロコシを識別するために使用され、新鮮なトウモロコシの葉と乾いたトウモロコシの葉とを区別するために使用される。フィルタf1〜f4及びr5、r6は、米を識別するために使用され、新鮮な米の葉と乾いた米の葉とを区別するために使用される。フィルタf1〜f4は、トウモロコシと米とに共通する共用のフィルタである点に留意すべきである。表１〜３のフィルタ仕様は、商用に利用可能なフィルタの辞書から選択されている。
【００４６】
トウモロコシを検出する場合、フィルタアレイは、サブアレイ133に対して図８Ａに示すように位置し、フィルタf1〜f4及びc5、c6を照らす。米を検出する場合、フィルタアレイは、フィルタf1〜f4及びr5、r5を使用して、図８Ｂに示すように位置する。従って、トウモロコシと米との双方に同じシステムが使用可能になる。
【００４７】
非均質フィルタモジュールの使用は、単一スナップショットでマルチモード画像の取得を可能にする。すなわち、フィルタF1、F2等によりフィルタリングされた画像が同時に取得され得る。しかし、異なるモードは異なる照射（照度）を受けてもよい。例えば、F1が赤色フィルタであり、F2が青色フィルタであり、検出アレイ又はシーンが青色より赤色に対して感度がよい場合、青色の画像は、強い照射を受けてもよい。しかし、赤色及び青色の画像が同時に取得されるため、強い照射は、赤色及び青色の画像の双方に対して強い照射を生じる。これは、フィルタモジュールを再配置し140、光源の強度（又は他の露光条件）を調整する142ことにより対処されてもよい。
【００４８】
図９〜１０は、この概念を示している。この例では、フィルタモジュール110は、２つの帯域通過波長フィルタを有する。フィルタF1は450nmを中心とし、フィルタF2は650nmを中心とする。図９Ａは、フィルタF1のみが使用される場合のサブアレイ133を示している。花びらの対応する画像が図１０Ａに示されている。表面に斑点が存在する点に留意すべきである。図９Ｂは、フィルタF2のみが使用される場合のサブアレイ133を示している。花びらの対応する画像が図１０Ｂに示されている。花びらの表面にリングが存在する点に留意すべきである。図９Ｃは、双方のフィルタF1及びF2が使用されが、等しい割合で使用されている場合のサブアレイ133を示している。すなわち、フィルタF1は瞳孔の50%を占有し、フィルタF2は他の50%を占有する。結果のマルチモード画像が図１０Ｃに示されている。650nmのリングは見えるが、450nmの斑点は見えない点に留意すべきである。これは、450nmの成分は、長い露光又は強い照射を必要とするからである。しかし、単に露光を増加させることは、650nmの成分を過度に露光する。
【００４９】
図９Ｄ及び１０Ｄが解決策を示している。フィルタモジュールは、図９Ｄに示すように、450nmのフィルタF2が瞳孔領域の多くを占有するように配置される。双方のフィルタF1及びF2からの成分が正確な露光を受け取ることができるように、露光条件も調整される。この例では、それぞれのフィルタの後方の全ての検出器で集められる光子の和が最適化される。各フィルタの後方の検出器が飽和しないように、フィルタ領域に対する露光／光出力を調整するよう注意が払われる。結果のマルチモード画像が図１０Ｄに示されている。450nmの斑点と650nmのリングとの双方が見える。
【００５０】
図１１は、この解決策のフローチャートである。フィルタモジュールは、何らかの初期位置1110にて始まる。例えば、フィルタモジュールは、異なるフィルタが同じ瞳孔領域をカバーするように配置されてもよい。この位置のフィルタモジュールにより、マルチモード画像が取得され1120、処理される1130。処理された画像は、画像品質メトリックを計算する1140ために使用される。画像品質メトリックの例は、SNR、信号エネルギー、コントラスト、輝度及び露光指数を含む。品質が十分でない場合1150、フィルタモジュールの位置及び露光条件が調整される1160。十分な品質が得られるまで、これが繰り返される。結果の設定は格納されてもよい1170。
【００５１】
マルチモード画像は、多くの方法で処理されてもよい1130。処理の方法は、画像品質メトリックに影響を与えてもよい1140。例えば、処理された画像は、各フィルタに対応する全ての検出器を合計又は平均化することにより生成されてもよい。或いは、１つのフィルタについて複数の部分画像が、小型レンズの背後の検出器を１つの部分画像に多重分離することにより生成されてもよい。第２の方法が選択された場合、画像品質メトリックをより良く定めるために、更なる処理が適用されてもよい。この更なる処理は、所与のフィルタについて全ての部分画像を平均化することでもよく、「最も先鋭な特徴量」の画像、「最高のSNR」の画像等を定めるように各部分画像で最高の特徴量を選択することでもよい。
【００５２】
以下は、フィルタモジュールの位置に対応して露光条件を判定する他の方法の例である。Qを画像品質メトリックとする。K個のフィルタfkが存在することを仮定する。この例では、画像の系列を取得する前に、初期のキャリブレーション（ステップ1及び2）が存在する。
【００５３】
ステップ1．フィルタモジュールの異なる位置について、どの検出器が各フィルタfk（k=1,...K）に対応するどのサブピクセルに入るかを判定する。すなわち、フィルタモジュール位置1について、どの検出器がフィルタf1によりフィルタリングされた光を集めるか、どれがf2によりフィルタリングされた光を集めるか等を判定する。これは、実験的に行われてもよく、モデリング又はシミュレーションを通じて行われてもよい。例えば、検出アレイへのフィルタを通過する光を反映させるために、幾何学的光学計算が使用されてもよい。
【００５４】
ステップ2．フィルタfkのうち１つのみが（例えば、図９Ａ又は９Ｂに示すように）露光されるようにフィルタモジュールを配置する。最適な露光条件（例えば、光源の強度レベルLk,cal及び積分／露光時間Tk,cal）を判定する。対応する画像品質メトリックQk,calを計算する。フィルタ毎にこれを繰り返す。この時点で、フィルタ毎に１つずつ、K個の画像品質メトリックQk,calが存在する。
【００５５】
ステップ3．各フィルタfkが（例えば、図９Ｃに示すように）瞳孔の等しい領域をカバーするようにフィルタモジュールを配置する。単一スナップショットの取得について露光条件を調整する。L0及びT0を照度及び露光時間とする。部分画像毎に画像品質メトリックQk,0を計算する。すなわち、１つのフィルタに対応する検出器のセット毎に画像品質メトリックを計算する。
【００５６】
ステップ4．フィルタモジュールの他の位置を以下のように処理する。
【００５７】
●新たな位置では、フィルタfkのうちどれが領域が増加しているか、どれが減少しているかを識別する。例えば、図９Ｄでは、図９Ｃに対してフィルタF2は領域が増加しているが、フィルタF1は領域が減少している。{fk_m,m=1,...M}を領域が増加しているフィルタのセットとし、。{fk_n,n=1,...N}を領域が減少しているフィルタのセットとする。
【００５８】
●フィルタの領域が減少している場合の部分画像についてQk_n,newを計算する。これらは、画像品質の低減を受ける可能性が高い部分画像である。この理由は、減少した瞳孔領域のため、これらの部分画像の全体の光通過量が減少しているからである。
【００５９】
●減少した領域のフィルタの画像品質メトリックQk_n,newが十分になるように露光条件を調整する。以下は、このようなことを行ういくつかの可能な方法である。
【００６０】
○計算された画像品質メトリックQk_n,newがキャリブレーション値に到達するまで、照度及び／又は露光時間を増加させる。例えば、
maxk_n(Qk_n,new)=mink_n(Qk_n,cal)、又は
maxk_n(Qk_n,new)=meank_n(Qk_n,cal)
○フィルタfk_nにより照らされる検出器が飽和するまで、照度及び／又は露光時間を増加させる。
【００６１】
○現在の照度設定とLk_n,calの平均との間の中間に照度を設定する。
【００６２】
Lnew=[Lold+meank_n(Lk_n,cal)]/2
○設定ファイルにおける（例えば、予め生成された参照テーブル（へのアクセス）を介した）品質メトリックQk_n,newの仕様に従って露光条件を調整する。
【００６３】
○或る場合には、照度及び／又は露光時間の増加は、飽和を生じることがあるため、これも検査されてもよい。
【００６４】
●Qk_m,newの露光条件（すなわち、フィルタ領域の増加したもの）も十分であることを検査する。例えば、前述のステップは、照度及び／又は露光の増加を生じてもよい。多すぎる増加は、領域が増加しているフィルタの部分領域を飽和させる可能性がある。
【００６５】
特定の場合、画像品質メトリックは、露光指数である。
【００６６】
EV=log2(A/T)      (1)
ただし、Aは、関係するフィルタによりカバーされる瞳孔の領域であり、Tは、積分／露光時間である。この場合、露光指数の対数の性質のため、いくつかの計算は簡略化される。他の変形では、前述の手法が使用されるが、初期のキャリブレーション段階は存在しない。
【００６７】
フィルタモジュールの異なる位置について異なる露光条件が判定されるため、この情報は、将来の使用のために格納されてもよい。１つの手法では、データは参照テーブルに格納される。次に、異なるフィルタモジュールの位置が照射野で使用された場合、対応する露光条件が参照テーブルから判定されてもよい。
【００６８】
詳細な説明は、多くの細部を含むが、これらは本発明の範囲を限定するものとして解釈されるべきではなく、単に本発明の異なる例及び態様を示すものとして解釈されるべきである。本発明の範囲は、上記に詳細に説明されていない他の実施例を含むことが分かる。
【００６９】
例えば、多くの種類のフィルタアレイが実装されてもよい。フィルタは、異なる波長応答を有してもよい。フィルタの全てが異なってもよく、一部が異なり一部が同じでもよい。複数のフィルタ又はフィルタアレイも使用されてもよい。例えば、それぞれが他のものに対して独立して動かされる（又は動かされない）複数のフィルタアレイ又はフィルタモジュールが使用されてもよい。波長応答の数及び種類も、用途に応じて変化してもよい。或る用途は多くの異なる波長フィルタ（10個、20個、25個又はそれ以上）を使用する。或る場合には、特定の波長ラインが検出されるため、狭帯域干渉フィルタが使用されてもよい。波長フィルタ以外のフィルタ（例えば、偏光フィルタ、輝度フィルタ及び中性フィルタ）が使用されてもよい。
【００７０】
フィルタは、システムの他の箇所に実装されてもよい。例えば、本発明は、検出アレイを用いた従来のマイクロフィルタの使用を妨げない。反射及び反射屈折系を含み、様々な種類の光学モジュールが使用されてもよい。或る用途では、光学モジュールは、テレセントリックであることが好ましい。最後に、「光」及び「光学」のような用語は、電磁スペクトルの可視領域又は純粋に光学的な領域に限定されることを意味するものではなく、紫外線及び赤外線（これらに限定されない）のような領域を含むことを意味するものである。
【００７１】
特許請求の範囲に定義される本発明の要旨及び範囲を逸脱することなく、当業者に明らかな様々な他の変更、変化及び変形が、ここに開示された本発明の方法及び装置の構成、動作及び詳細において行われてもよい。従って、本発明の範囲は、特許請求の範囲及びその法的な均等物により判定されるべきである。
【符号の説明】
【００７２】
105  光学モジュール
110  フィルタモジュール
111  フィルタ
115  瞳孔面
117  瞳孔
120  マイクロレンズアレイ
121  マイクロレンズ
125  像平面
130  検出アレイ
131  検出器
133  サブアレイ
135  共役平面
140  アクチュエータ
142  コントローラ
150  物体
160  視像
170  画像
180  デジタル処理ユニット
190  光源
【図１Ａ】
2014132266.tif 000006
【図１Ｂ】
2014132266.tif 000007
【図１Ｃ】
2014132266.tif 000008
【図２Ａ】
2014132266.tif 000009
【図２Ｂ】
2014132266.tif 000010
【図３】
2014132266.tif 000011
【図４Ａ】
2014132266.tif 000012
【図４Ｂ】
2014132266.tif 000013
【図４Ｃ】
2014132266.tif 000014
【図５Ａ】
2014132266.tif 000015
【図５Ｂ】
2014132266.tif 000016
【図６Ａ】
2014132266.tif 000017
【図６Ｂ】
2014132266.tif 000018
【図７Ａ】
2014132266.tif 000019
【図７Ｂ】
2014132266.tif 000020
【図８Ａ】
2014132266.tif 000021
【図８Ｂ】
2014132266.tif 000022
【図９Ａ】
2014132266.tif 000023
【図９Ｂ】
2014132266.tif 000024
【図９Ｃ】
2014132266.tif 000025
【図９Ｄ】
2014132266.tif 000026
【図１１】
2014132266.tif 000027
【図１０Ａ】
2014132266.tif 000028
【図１０Ｂ】
2014132266.tif 000029
【図１０Ｃ】
2014132266.tif 000030
【図１０Ｄ】
2014132266.tif 000031