(57)【要約】撮像デバイス及び撮像の方法が開示される。デバイスは、液晶セルのアレイと、各々は、セルを通過する電磁放射に位相シフトを提供する、  液晶セルの各々によって提供された位相シフトを制御するための制御エレクトロニクスと、  検出器と、  検出器によって検出された電磁放射から画像を生成するための画像プロセッサと  を含む。セルのアレイは、複数のパッチを形成し、制御エレクトロニクスは、パッチがレンズのアレイを形成するように、検出器に向かって電磁放射を集束させるそれぞれのレンズに各パッチを形成するために、各パッチのセルの位相シフトを制御するように構成される。撮像の方法もまた開示される。【選択図】図３
2021516784.tif 000002
【特許請求の範囲】
【請求項１】
撮像の方法であって、
液晶セルのアレイを提供することと、各セルは、前記セルを通過する電磁放射に位相シフトを提供する、
前記液晶セルの各々によって提供された前記位相シフトを制御することと、
前記液晶セルを通過した前記電磁放射を検出することと
を備え、ここにおいて、
前記方法は、電磁放射を集束させる複数のレンズを形成するために、前記セルの前記位相シフトを制御することを備える、方法。
【請求項２】
前記検出された電磁放射からの１つ以上の画像及び／又は信号に対して逆多重化を実行するステップを更に備える、請求項１に記載の方法。
【請求項３】
前記検出された電磁放射に対応する１つ以上の画像を鮮明化するステップを更に備える、請求項１又は２に記載の方法。
【請求項４】
前記検出された電磁放射に対応する複数の画像を超解像するステップを更に備える、請求項１〜３のうちのいずれか一項に記載の方法。
【請求項５】
撮像デバイスであって、
液晶セルのアレイと、各々は、前記セルを通過する電磁放射に位相シフトを提供する、
前記液晶セルの各々によって提供された前記位相シフトを制御するための制御エレクトロニクスと、
検出器と、
前記検出器によって検出された電磁放射から画像を生成するための画像プロセッサと
を含み、ここにおいて、
セルの前記アレイは、複数のパッチを形成し、
前記制御エレクトロニクスは、前記パッチがレンズのアレイを形成するように、前記検出器に向かって電磁放射を集束させるそれぞれのレンズに各パッチを形成するために、各パッチの前記セルの前記位相シフトを制御するように構成される、撮像デバイス。
【請求項６】
前記液晶セルは、電気的にアドレス指定される、請求項５に記載の撮像デバイス。
【請求項７】
液晶セルの前記アレイは、平面である、請求項５又は６に記載の撮像デバイス。
【請求項８】
セルの前記アレイは、液晶空間光変調器中に備えられる、請求項５〜７のうちのいずれか一項に記載の撮像デバイス。
【請求項９】
前記空間光変調器は、透過液晶空間光変調器である、請求項８に記載の撮像デバイス。
【請求項１０】
前記空間光変調器は、反射液晶空間光変調器である、請求項８に記載の撮像デバイス。
【請求項１１】
各パッチは、前記セルの隣接グループから形成される、請求項５〜１０のうちのいずれか一項に記載の撮像デバイス。
【請求項１２】
前記パッチは、形状が長方形である、請求項１１に記載の撮像デバイス。
【請求項１３】
固定レンズを更に備え、前記固定レンズは、前記パッチによって形成された前記レンズの光軸を発散する役割を果たす、請求項５〜１２のうちのいずれか一項に記載の撮像デバイス。
【請求項１４】
ミサイルシーカ中又は上で使用するために構成される、請求項５〜１３のうちのいずれか一項に記載の撮像デバイス。
【請求項１５】
請求項１〜４のうちのいずれか一項に記載の撮像の方法を実行するように構成され、及び／又は請求項５〜１４のうちのいずれか一項に記載の撮像デバイスを備える、ミサイル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像デバイスの分野に関する。より詳細には、ただし排他的ではないが、本発明は、空間光変調器（ＳＬＭ）を使用してシーン又は他の物体の画像を形成するイメージャに関する。
【背景技術】
【０００２】
電気的にアドレス指定されるＳＬＭは、液晶セルのアレイを備え、ＳＬＭは、セルの屈折率の制御を可能にするように電子的にアドレス指定される。セルの屈折率を変化させることは、セルを通る光路長（optical path length）における、及び従って、セルに入射して通過する（偏光）電磁放射によって経験される遅延における対応する変化をもたらす。ＳＬＭのセルに屈折率の適切な分布を適用することは、ＳＬＭが光学屈折率分布型（ＧＲＩＮ：gradient-index）レンズを形成することを可能にする。しかしながら、各液晶セルに導入されることができる屈折率の最大変化は、典型的には約±０．２である。ＳＬＭによって形成されるレンズは、セル屈折率の可能な変化によって制限される最小焦点距離（focal length）を有し、より大きなレンズは、より長い最小焦点距離をもたらす。従って、この技法を使用して形成されたレンズは比較的弱く、レンズの幅に対して長い最小焦点距離を有する。しかしながら、幅が大きく、従って開口がより大きいレンズは、より高品質の画像を提供するので有利である。従って、画質と最小焦点距離との間でトレードオフが行われなければならない。
【０００３】
先行技術のＳＬＭレンズは、レンズ幅に対して焦点距離が本質的に長いため、多くの用途には適していないが、そのようなレンズは、固定レンズを支持して効果的に使用され得る。「Adaptive Focal Length Imaging System using Liquid Crystal Spatial Light Modulator」（10.17485/ijst/2016/v9i48/109312）におけるSENIWONG NA AYUTTHAYA他は、固定レンズとＳＬＭとを備える撮像デバイスを開示している。ＳＬＭは、固定レンズの光軸上に、固定レンズと平行に位置付けられる。ＳＬＭの液晶セルの屈折率は、ＳＬＭがレンズに近づくように電気的に制御される。システムのターゲットシーンからの電磁放射は、固定レンズとＳＬＭとの両方を通過し、従って、それらによって集束される。撮像デバイスの集束力の大部分は、固定レンズによって提供される。弱い集束力しか提供することができないが、電子的に制御可能であるＳＬＭは、固定レンズの焦点距離から撮像デバイスの焦点距離を変化させるために使用される。それにより、撮像デバイスは、いかなる可動部分も必要とせずに、電子的に微調整され得る焦点を提供される。しかしながら、撮像デバイスによって達成可能な焦点距離の範囲は依然として、ＳＬＭによって提供されることができる集束力に対する制限によって制約され、固定レンズによって大部分が決定される。
【０００４】
先行技術のＳＬＭは、注視点（fixation point）の位置に従って画像解像度が画像全体にわたって異なる中心窩撮像（foveated imaging）を提供するために使用され得る。注視点は、シーンの残りの部分よりも高い解像度で撮像されるターゲットシーンの一部である。「Analysis and Design of Wide-angle Foveated Optical Systems」（CFE0002584）におけるCURATUは、固定レンズとＳＬＭとを備える撮像デバイスを開示している。ＳＬＭは、固定レンズの光軸上に、固定レンズと平行に位置付けられる。ＳＬＭの液晶セルの屈折率は、ＳＬＭが、注視点に対応する固定レンズの部分によって導入される波面収差を補正するように、電子的に制御される。それにより、注視点における画質が、画像の残りの部分の画質と比較して向上される。
【０００５】
しかしながら、上述された撮像デバイスの各々は依然として、固定光学レンズの使用を必要とし、それは、撮像デバイス全体によって必要とされる物理的空間を増大させ、撮像デバイス全体の柔軟性を制約する。
【０００６】
本発明は、上述された問題のうちの１つ以上を軽減しようとするものである。
【発明の概要】
【０００７】
本発明は、第１の態様によると、撮像の方法であって、
液晶セルのアレイを提供することと、各セルは、前記セルを通過する電磁放射に位相シフトを提供する、
前記液晶セルの各々によって提供された前記位相シフトを制御することと、
前記液晶セルを通過した前記電磁放射を検出することと
を備え、ここにおいて、
前記方法は、電磁放射を集束させる複数のレンズを形成するために、前記セルの前記位相シフトを制御することを備える、方法を提供する。
【０００８】
本発明は、第２の態様によると、撮像デバイスであって、
液晶セルのアレイと、各々は、前記セルを通過する電磁放射に位相シフトを提供する、
前記液晶セルの各々によって提供された前記位相シフトを制御するための制御エレクトロニクスと、
検出器と、
前記検出器によって検出された電磁放射から画像を生成するための画像プロセッサと
を含み、ここにおいて、
セルの前記アレイは、複数のパッチを形成し、
前記制御エレクトロニクスは、前記パッチがレンズのアレイを形成するように、前記検出器に向かって電磁放射を集束させるそれぞれのレンズに各パッチを形成するために、各パッチの前記セルの前記位相シフトを制御するように構成される、撮像デバイスを提供する。
【０００９】
本発明の第３の態様によると、ミサイルシーカ中又は上で使用するための撮像デバイスが提供される。
【００１０】
本発明の第４の態様によると、本発明の第１〜３の態様のうちの任意のものを組み込むミサイルが提供される。
【００１１】
当然のことながら、本発明の一態様に関連して説明される特徴は、本発明の他の態様に組み込まれ得ることが認識されるであろう。例えば、本発明の方法は、本発明の装置を参照して説明される特徴のうちの任意のものを組み込み得、逆もまた同様である。
【００１２】
本発明の実施形態がここで、ほんの一例として、添付の概略図を参照して説明されることになる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実例的な実施形態による、撮像デバイスのシステムブロック図である。
【図２】図１の撮像デバイスの概略側面図である。
【図３】図１の撮像デバイスの部分のより詳細な概略図である。
【図４】図１の撮像デバイスのパッチの概略側面図である。
【図５】本発明の第３の態様による、イメージャのパッチの概略側面図である。
【図６】本発明の第４の実施形態による、撮像デバイスの概略側面図である。
【図７】本発明の第５の実施形態による、方法のステップを例示するフローチャートである。
【図８】本発明の第６の態様による、ミサイルを示す。
【図９】本発明の実施形態のモデルの出力である。
【発明を実施するための形態】
【００１４】
本発明は、第１の態様によると、撮像の方法であって、
液晶セルのアレイを提供することと、各セルは、前記セルを通過する電磁放射に位相シフトを提供する、
前記液晶セルの各々によって提供された前記位相シフトを制御することと、
前記液晶セルを通過した前記電磁放射を検出することと
を備え、ここにおいて、
前記方法は、電磁放射を集束させる複数のレンズを形成するために、前記セルの前記位相シフトを制御することを備える、方法を提供する。
【００１５】
形成された複数のレンズの各々は、同じ又は実質的に同じ集束力を提供し得る。
【００１６】
液晶セルのアレイは、液晶空間光変調器中に備えられ得る液晶空間光変調器は、透過液晶空間光変調器であり得る。方法は更に、液晶セルのアレイの特性の入力を受信するステップを備え得る。特性は、液晶セルのアレイ及び検出器とのその関係を定義する固定値を備え得る。特性は、セルの数、セルの幅及び高さ、セルの厚さを単位とする液晶セルのアレイの寸法、検出器からの液晶セルのアレイの距離、及びセル中で誘発され得る屈折率の最大変化のうちの１つ以上を備え得る。
【００１７】
方法は更に、検出された電磁放射からの１つ以上の画像及び／又は信号を逆多重化するステップを備え得る。
【００１８】
方法は更に、検出された電磁放射に関連する１つ以上の画像を鮮明化するステップを備え得る。
【００１９】
方法は更に、検出された電磁放射に関連する複数の画像を超解像するステップを備え得る。
【００２０】
複数の、典型的には小さいレンズ（パッチ）を使用してマルチ画像を形成し、その後に超解像を適用することにより、先行技術のＳＬＭレンズベースの撮像デバイスの制限のうちのいくつかが克服される。最小焦点距離は、パッチの幅によって決定されるが、超解像画像は、単一のパッチのみを使用することによって達成可能であろうよりもはるかに高い品質のものである。これは、ＳＬＭが非常に浅い撮像デバイスの基礎を形成することを可能にする。
【００２１】
本発明の実施形態は、焦点面アレイ検出器（focal plane array detectors）の不均一性補正（non-uniformity correction）を単純化することができる。従来、不均一性補正は、イメージャの前に均一なシーンを周期的に挿入することを必要とする。しかしながら、本発明の実施形態のセルの全てが同じ屈折率に設定される場合、ＳＬＭは、集束を提供しないであろう。検出器ピクセルの全ては従って、平均シーン強度で均一な照射に曝され、不均一性補正のための均一なシーンを提供する。
【００２２】
複数のレンズを形成するためにセルの位相シフトを制御することは、複数のエリアを形成するためにセルの位相シフトを制御することを備え得、複数のエリアの各々は、複数のレンズのサブセットから成り、エリアのレンズの各々は、複数のエリアの各々が集束力を有すると言え得るように、実質的に同じ集束力を提供し、各エリアは、複数のエリアのうちのその他のエリアの集束力とは異なる集束力を提供するように制御される。
【００２３】
本発明の実施形態は、高度に再構成可能な撮像デバイスを提供することができる。任意の命令可能な（commandable）ＳＬＭ構成は、ＳＬＭフレームレートで適用されることができる。そのようなフレームレートは典型的には、１０又は１００Ｈｚである。命令可能なＳＬＭ構成は、パッチの数、サイズ、形状、及び焦点距離の変形を含む。本発明の実施形態では、必要とされるときにはいつでも構成が変更されることができるだけでなく、ＳＬＭセルもまた、所望される数のパッチの配置に構成されることができる。言い換えれば、ＳＬＭを様々なエリアに分割し、エリアの各々において異なるようにパッチを構成することができ、例えば、あるエリアにおいてより高いＦＯＶを提供し、別のエリアにおいてより高い感度を提供することができる。
【００２４】
本発明は、第２の態様によると、撮像デバイスであって、
液晶セルのアレイと、各々は、前記セルを通過する電磁放射に位相シフトを提供する、
前記液晶セルの各々によって提供された前記位相シフトを制御するための制御エレクトロニクスと、
検出器と、
前記検出器によって検出された電磁放射から画像を生成するための画像プロセッサと
を含み、ここにおいて、
セルの前記アレイは、複数のパッチを形成し、
前記制御エレクトロニクスは、前記パッチがレンズのアレイを形成するように、前記検出器に向かって電磁放射を集束させるそれぞれのレンズに各パッチを形成するために、各パッチの前記セルの前記位相シフトを制御するように構成される、撮像デバイスを提供する。
【００２５】
複数のレンズの使用は、ターゲットシーンの各点が複数の検出器ピクセル（パッチの各々に対して１つ）によってサンプリングされるので、複数のパッチの使用に起因して本質的に広いダイナミックレンジを有する撮像デバイスを可能にすることができる。
【００２６】
検出器は、液晶セルのアレイに平行且つ隣接して位置付けられ得る。
【００２７】
検出器は、非冷却長波赤外線焦点面アレイであり得る。検出器は、非冷却可視光検出器であり得る。検出器は、非冷却短波赤外線検出器であり得る。検出器は、冷却赤外線検出器であり得る。
【００２８】
撮像デバイスは、デュワーを備え得る。検出器は、デュワーの内部、例えば、液晶セルのアレイに最も近いデュワーの端部に位置付けられ得る。
【００２９】
検出器は、液晶セルのアレイと同じ幅のものであり得る。検出器は、液晶セルのアレイから離間され得る。検出器と液晶セルのアレイとの離間は、０．１ｍｍ〜１０ｍｍ、例えば、１ｍｍであり得る。
【００３０】
検出器と液晶セルのアレイとの間の間隔は、調整可能であり得る。制御エレクトロニクスは、検出器と液晶セルのアレイとの分離を制御するように構成され得る。
【００３１】
検出器は、検出器と液晶セルのアレイとの間に傾斜分離が存在するように、液晶セルのアレイに対してある角度で位置付けられ得る。
【００３２】
制御エレクトロニクスは、液晶セルのアレイの特性の入力を受信するように構成され得る。特性は、液晶セルのアレイ及び検出器とのその関係を定義する固定値を備え得る。特性は、セルの数、セルの幅及び高さ、セルの厚さを単位とする液晶セルのアレイの寸法、検出器からの液晶セルのアレイの距離、及びセル中で誘発され得る屈折率の最大変化のうちの１つ以上を備え得る。
【００３３】
制御エレクトロニクスは、液晶セルのアレイの入力された特性に基づいて、視野、解像度、感度、ダイナミックレンジ、及び撮像デバイスによって達成可能なディスクリートパッチ配置の数のうちの１つ以上を備えるメトリックを算出するように構成され得る。制御エレクトロニクスは、ユーザに算出されたメトリックを提示するように構成され得る。制御エレクトロニクスは、ユーザ選択構成を提供され得る。ユーザ選択構成は、算出されたメトリックに基づき得る。ユーザ選択構成は、所望されるイメージャプロパティを定義し得る。
【００３４】
制御エレクトロニクスは、パッチ制御機能を備え得る。パッチ制御機能は、ユーザ選択構成を適用するのに必要とされるパッチの性質、サイズ、及び数を算出するように構成され得る。制御エレクトロニクスは、セル制御機能を備え得る。セル制御機能は、パッチをインスタンス化するのに必要とされる個々のセル屈折率値を算出するように構成され得る。セル制御機能は、液晶セルにセル屈折率値を割り当てるように構成され得る。
【００３５】
液晶セルのアレイは、平面であり得る。
【００３６】
パッチの各々は、同じ形状であり得る。パッチの各々は、同じサイズであり得る。パッチの各々は、液晶セルの隣接グループから形成され得る。パッチの各々は、同数の液晶セルから形成され得る。パッチは、形状が長方形であり得る。パッチは、不規則な形状であり得る。
【００３７】
液晶セルのアレイのセルを、セルの隣接グループから形成される平面、及び／又は形状が長方形になるように配置することにより、必要とされる画像処理の計算の複雑さを低減することができる。長方形のパッチを有する撮像デバイスは、一方の軸において他方の軸よりも高い解像度を提供することができる。
【００３８】
パッチによって形成されるレンズは、屈折率分布型レンズであり得る。レンズは、半径方向に階段状の屈折率プロファイルを有し得る。
【００３９】
制御エレクトロニクスは、ズーム機能を提供するために、パッチ焦点距離を変化させるように構成され得る。パッチ焦点距離を変化させることによってズーム機能を提供することは、ＳＬＭのフレームレートで倍率を偏向することができる電子制御ズーム機能を可能にすることができる。
【００４０】
撮像デバイスは更に、偏光子を備え得る。偏光子は、液晶セルのアレイが偏光子と検出器との間にあるように配置され得る。
【００４１】
撮像デバイスは、撮像デバイスの集束力の大部分を提供する固定レンズを備えない場合がある。液晶セルのアレイによって形成されるレンズは、固定レンズの焦点を微調整するために使用されない場合がある。
【００４２】
液晶セルは、電気的にアドレス指定され得る。液晶セルは、光学的にアドレス指定され得る。液晶セルは、個々にアドレス指定され得る。液晶セルは、電極の入れ子状の環状構成によってアドレス指定されない場合がある。
【００４３】
個々にアドレス指定された液晶セルの使用は、パッチのサイズ、形状、及び数が変更されることを可能にすることができる。これは従って、高度に再構成可能な撮像デバイスを提供することができる。
【００４４】
液晶セルは各々、電極を備え得る。電極は、比較的小さくあり得る。
【００４５】
形成される複数のレンズの各々の焦点距離は、アレイの幅よりも小さくあり得る。
【００４６】
各々がアレイの幅よりも小さい焦点距離を有する複数のレンズの使用は、非常に薄型の撮像デバイスの作成を可能にすることができる。
【００４７】
検出器に入射する電磁放射は、複数のパッチのうちの第１のパッチを通過した電磁放射と、複数のパッチのうちの第２のパッチを通過した電磁放射との両方を備え得、そのため、複数のパッチのうちの第１のパッチを通過した電磁放射は、複数のパッチのうちの第２のパッチを通過した電磁放射上に重ね合わされる。
【００４８】
パッチによって形成される重複する単一の画像は、重複する単一の画像の組み合わせを備えるマルチ画像を形成すると言え得る。
【００４９】
画像プロセッサは、画像逆多重化機能を提供するように構成され得る。画像逆多重化機能は、マルチ画像を複数の単一の画像に分離するように構成され得る。画像プロセッサは、高ダイナミックレンジ機能を提供するように構成され得る。
【００５０】
マルチ画像は、ターゲットシーンの幾何学的画像の畳み込み、ぼかし機能（blur function）、強度プロファイル、パッチ間隔での複製機能（replication function）、及び検出器のサンプリング機能（sampling function）を備え得る。
【００５１】
画像逆多重化機能は、逆畳み込みによって複数の単一の画像を抽出するように構成され得る。画像逆多重化機能は、計算撮像によって複数の単一の画像を抽出するように構成され得る。計算撮像は、追跡アルゴリズムを使用して、推定画像の変換の誤りスコア（例えば、Ｌ１ノルム）を最小化することを備え得る。画像逆多重化機能は、訓練された機械学習エージェントの使用によって複数の単一の画像を抽出するように構成され得る。
【００５２】
画像逆多重化機能は、ターゲットシーンの複数の画像に対応する信号を出力し得る。複数の画像の各々は、複数のパッチのうちの１つに対応し得る。
【００５３】
パッチは、各パッチ形成レンズによって生成される画像が重複しないように離間され得る。
【００５４】
画像プロセッサは、高ダイナミックレンジ機能を提供するように構成され得る。高ダイナミックレンジ機能は、複数の画像を組み合わせて、高ダイナミックレンジを有する単一の画像を形成するように構成され得る。
【００５５】
画像プロセッサは、超解像機能を提供するように構成され得る。超解像機能は、複数の低解像度画像から高解像度画像を生成するように構成され得る。
【００５６】
制御エレクトロニクスは、パッチによって形成されるレンズの光軸を発散するように構成され得る。レンズの光軸を発散させることは、パッチによって生成される画像がパッチの下の中心に位置しないように、画像シフトを導入するようにパッチの各々を制御することを備え得る。パッチの各々は、複数の結果として生じる単一の画像の各々が固有の角度からターゲットシーンを見るように、他のパッチに異なる画像シフトを導入するように制御され得る。
【００５７】
画像シフトを導入するようにパッチを制御することは、パッチのセル２０９に段階的オフセットを適用することを備え得る。セルに適用されるオフセットは、パッチ内のその位置に線形に関連し得る。
【００５８】
撮像デバイスは、固定レンズを備え得る。固定レンズは、液晶セルのアレイに平行且つ隣接して配置され得る。固定レンズは、パッチによって形成されるレンズの光軸を発散する（例えば、純粋に発散する）役割を果たし得る。
【００５９】
液晶空間光変調器は、反射液晶空間光変調器であり得る。
【００６０】
制御エレクトロニクスは、電子ビームステアリングを提供するために液晶セルのアレイの屈折率を制御するように構成され得る。電子ビームステアリングを提供するために液晶セルのアレイの屈折率を制御することは、パッチのセルに段階的オフセットを適用することを備え得る。
【００６１】
制御エレクトロニクスは、画像安定化を提供するために、例えば、機械的衝撃を補償するために、液晶セルのアレイの屈折率を制御するように構成され得る。
【００６２】
制御エレクトロニクスは、深度測定を実行するために、液晶セルのアレイの屈折率を制御するように構成され得る。深度測定を実行することは、ＳＬＭの１つ以上のパッチの焦点距離を変化させることを備え得る。深度測定を実行することは、画像焦点の測定値を決定することを備え得る。
【００６３】
本発明の実施形態は、ビームスプリッタ及びリレーレンズを備え得る。ビームスプリッタは、ターゲットシーンからの電磁放射がビームスプリッタを透過するが、液晶セルのアレイから反射されて戻る電磁放射がリレーレンズに向かって反射されるように配置され得る。リレーレンズは、液晶セルのアレイから検出器の画像の表面上に反射された電磁放射が検出器自体の対応する表面上にもリレーされるように、液晶セルのアレイに隣接且つ平行な検出器の画像を投影するように配置され得る。
【００６４】
画像プロセッサは、画像鮮明化機能を提供し得る。
【００６５】
本発明の第３の態様によると、ミサイルシーカ中又は上で使用するための撮像デバイスが提供される。
【００６６】
撮像デバイスの浅い性質は、ミサイルにおいて特に重要である実質的な空間節約を提供することができる。
【００６７】
本発明の第４の態様によると、本発明の第１〜３の態様のうちの任意のものを組み込むミサイルが提供される。
【００６８】
撮像デバイスは更に、検出器及び液晶セルのアレイが取り付けられるジンバルを備え得る。
【００６９】
本発明の実施形態は、例えば、ターゲット捕捉のための広い視野を提供し、次いで、ターゲット追跡のための精細な分解能に切り替えることによって、シーカの性能がミッションフェーズに適するように変化することを可能にすることができる。本発明の実施形態は、パッシブシーカが距離データを獲得することを可能にし、それが近接信管として機能することを可能にすることができる。本発明の実施形態はまた、空力加熱効果に起因して生じる固有の焦点ぼけを相殺するように再集束することを可能にすることによって、ミサイルアサーマル化（missile athermalisation）を提供することができる。
【００７０】
本発明の実例的な実施形態はこのことから、撮像の方法であって、前記方法は、
液晶セルのアレイを提供することと、各セルは、前記セルを通過する電磁放射に位相シフトを提供する、
前記アレイを通過する電磁放射を集束させる複数のレンズを形成するために、前記液晶セルの各々によって提供された前記位相シフトを制御することと、
前記電磁放射を検出することと
のステップを備える、方法を提供する。
【００７１】
本発明の第１の実例的な実施形態による撮像デバイス１００は、それ自体が複数の液晶セル１０９（図３）を備える透過液晶空間光変調器（ＳＬＭ）１０１を備える（図１）。撮像デバイスは更に、検出器１０３と、ＳＬＭを制御するための制御エレクトロニクス１０５と、画像処理を提供するための画像プロセッサ１０７とを備える（図１）。図２により詳細に示されるように、検出器１０３は、（この例では）１ｍｍの間隔でＳＬＭ１０１に平行且つ隣接して位置付けられる。検出器１０３は、ＳＬＭ１０１と同じ幅の非冷却長波赤外線（ＬＷＩＲ）焦点面アレイである。
【００７２】
制御エレクトロニクス１０５は、パッチ制御１１３及びセル制御１１５機能を備え（図１）、ＳＬＭ特性１１７及びユーザ選択構成１１９の入力を提供される。ＳＬＭ特性１１７は、ＳＬＭ１０１及び検出器１０３に対するその特定の物理的関係を定義する固定値を備える。この例証的な実施形態では、ＳＬＭ特性１１７は、セル１０９の数、セルの幅及び高さ、セルの厚さを単位とするＳＬＭ１０１の寸法、検出器１０３からのＳＬＭ１０１の距離、及びセル１０９中で誘発され得る屈折率の最大変化を含む。
【００７３】
動作時には、ＳＬＭ特性１１７は、制御エレクトロニクス１０５に提供され、それは、ＦＯＶ、解像度、感度、ダイナミックレンジ、及び撮像デバイスによって達成可能なディスクリートパッチ配置の数の値を算出する。これらのオプションは、所望されるイメージャプロパティに対応するユーザ選択構成１１９（図１）をそれらから選択するユーザに提示される。（本発明の実例的な実施形態では、「ユーザ」は、ソフトウェア機能であり得、必ずしもエンドユーザではない。）ユーザ選択構成１１９は、ユーザ選択構成１１９を適用するのに必要とされるパッチ１１１の性質、サイズ、及び数を算出するパッチ制御機能１１３に提供される。このパッチ情報は、それらのパッチ１１１をインスタンス化するのに必要とされる個々のセル１０９の屈折率値を算出し、ＳＬＭセル１０９にセル屈折率値を割り当てるセル制御機能１１５に提供される。
【００７４】
ＳＬＭ１０１の液晶セルはそれにより、複数のパッチ１１１に形成され、各パッチ１１１がそれぞれのレンズを形成し、従って、ＳＬＭ１０１が複数のレンズを形成するように制御される（図３）。この例では、パッチ１１１の各々は、同じ形状及びサイズであり、同数のセル１０９の隣接グループから形成される。レンズの各々は、検出器１０３の表面１２３（図４）上に入射電磁放射１２１を集束させ、そのため、全体的な検出画像は、複数のより小さい単一の画像−パッチ１１１の各々に対して１つ−から成る。
【００７５】
パッチ１１１は各々、有限数のセル１０９から形成されるので、パッチ１１１によって形成されるＧＲＩＮレンズは、半径方向に階段状の屈折率プロファイルを有することになる。従って、ＳＬＭ１０１によって形成されるレンズは、比較的粗くなるが、結果として生じる歪みは（所望される場合）、画像処理によって低減されることができる。形成されたレンズの粗さはまた、ＳＬＭセルエッジ効果によって軽減されることになり、それは、近隣セル間の遷移をどれほど鮮明に達成することができるかを制限し、それによりＳＬＭの屈折率プロファイルを平滑化する。
【００７６】
図１に戻ると、検出器１０３は、電磁放射の検出されたパターンに対応する信号１２５を画像プロセッサ１０７に送り、それは、検出されたパターンを処理して画像を生成する。
【００７７】
ＳＬＭ１０１の構成の詳細と、そのパッチ１１１によって生成されるレンズの焦点距離との間の正確な関係は、理想的には、各デバイスに対して個々に特徴付けられて、デバイス間のハードウェアのばらつきによる軽微な誤りを最小化するべきである。しかしながら、その光軸がその表面に対して法線方向に位置合わせされる、ＳＬＭレンズパッチのおおよその焦点距離は一般に、以下の式によって特徴付けられると予想されることができる（図４）。
【数１】
2021516784.tif 000003
【数２】
2021516784.tif 000004
ここで、
ｆ＝焦点距離
ｄ＝パッチの最も外側のセルを通る光路長を中央のセルを通る光路長と比較した差
ｎ＝セルの数を単位とするパッチ幅
ｗ＝セルの幅
Ｔ＝セルの厚さ
η0＝パッチの中央のセルの屈折率
ηi＝パッチの最も外側のセルの屈折率
【００７８】
本発明の第２の実例的な実施形態（別個に例示せず）は、第１の実例的な実施形態と同じであるが、以下で説明される追加の特徴を有する。
【００７９】
パッチ１１１は、ＳＬＭ１０１の小さいセクションから形成され、検出器１０３は、パッチの各々よりもはるかに大きいので、各パッチ１１１は、非常に広い視野を有することになる。結果として、任意の１つのパッチ１１１によって形成された単一の画像は、１つ以上の他のパッチ１１１によって形成された単一の画像と重複し得、重複する単一の画像の組み合わせから成るマルチ画像を形成する。
【００８０】
第２の実例的な実施形態では、画像プロセッサ１０７は更に、画像逆多重化及び高ダイナミックレンジ（ＨＤＲ）機能を提供する。画像逆多重化機能は、検出されたマルチ画像に対応する信号を検出器１０３から受信し、マルチ画像をその構成要素である単一の画像に分離する。
【００８１】
マルチ画像は本質的に、以下の全ての畳み込みである：
１．見られているシーンの幾何学的画像
２．各レンズパッチの性質に起因するぼかし機能
３．強度プロファイル（通常これは、画像の中心から画像上の任意の点までの角度の余弦の４乗であると予想されるであろう）
４．パッチ間隔での複製機能（即ち、パッチ当たり１つの単一の画像）
５．検出器ピクセルのサンプリング機能。
【００８２】
項目２〜５は全て、適宜、既知のＳＬＭ仕様及び制御値、又は測定された較正値から算出されることができる。
【００８３】
従って、逆畳み込みの逆処理によって、元のシーンである項目１を数学的に抽出することが可能である。しかしながら、単純な逆畳み込みは、周知のように、アーティファクトを導入する傾向があり、画像ノイズに非常に敏感であり得る。以下を含む、画像処理の当業者によく知られた代替の技法が利用可能である：名目の（nominal）逆畳み込みが実行され、次いで、画像特性の事前知識（例えば、ルーシー・リチャードソン・アルゴリズム）を使用することによって反復的に改善される、標準画像処理と、  推定画像の変換の誤りスコア（例えば、Ｌ１ノルム）を最小化するために追跡アルゴリズムが使用される計算撮像と、  例えば、キャプチャされたマルチ画像を必要とされる単一の鮮明な画像に変換する問題を解決するためにニューラルネットが教示されることができる機械学習。
【００８４】
画像逆多重化機能の出力は、ターゲットシーンの複数の画像に対応する信号であり、各画像は、パッチ１１１のうちの１つに対応する。この信号は、ＨＤＲ機能によって受信され、それは、複数の単一の画像を組み合わせて、高いダイナミックレンジを有する単一の画像を生成する。ＨＤＲ機能を実行するための画像処理技法は、当該技術分野でよく知られているので、ここではこれ以上論述されない。
【００８５】
本発明の第３の実例的な実施形態（図５）は、第１の実例的な実施形態と同じであるが、以下で説明される追加の特徴を有する。同様の参照番号は、同様の項目をラベル付けするために使用され、このことから、撮像デバイスは２００とラベル付けされ、パッチは２１１とラベル付けされる。
【００８６】
本発明のこの第３の実例的な実施形態は、複数の低解像度画像から高解像度画像を生成するために超解像技法を利用する。そうするために、画像の各々は、各画像が他の画像に対してわずかにシフトされるように、固有の位置からターゲットシーンを見なければならない。
【００８７】
従って、各パッチは更に、パッチによって生成される合焦された画像がパッチの下の中心に位置しないように、画像シフトを導入するようにパッチ制御モジュールによって制御される。ＳＬＭ２０１の各パッチ２１１は、複数の結果として生じる単一の画像の各々が固有の角度からターゲットシーンを見るように、他のパッチに異なる画像シフトを導入するように制御される。画像シフトを導入するために、レンズを形成する際に使用されるセルの屈折率は、いくらかの屈折率が予備として取り置かれるように制約されなければならない。この予備屈折率は、セル２０９に適用されるオフセットがパッチ２１１内のその位置に線形に関連するように、パッチ２１１のセル２０９に段階的オフセットとして適用される。
【００８８】
その光軸がその表面に対して法線方向に位置合わせされる、所与の画像シフトを有するＳＬＭレンズパッチのおおよその焦点距離は一般に、以下の式によって特徴付けられると予想されることができる：
【数３】
2021516784.tif 000005
【数４】
2021516784.tif 000006
ここで、
ｆ＝焦点距離
ｄ＝パッチの最も外側のセルを通る光路長を中央のセルを通る光路長と比較した差
ｎ＝セルの数を単位とするパッチ幅
ｗ＝セルの幅
ａ＝超解像のための画像シフト
Ｔ＝セルの厚さ
η0＝パッチの中央のセルの屈折率
ηi＝パッチの最も外側のセルの屈折率
【００８９】
検出されたマルチ画像は、このケースでは、第２の実例的な実施形態のものと比較して、各サブ画像の中心点が、方位角及び仰角の両方において、パッチのアレイ中のその位置に比例する量だけシフトされる角度サブシフト関数で追加的に畳み込まれる。再び、例えば、逆畳み込みの逆処理によって元のシーンを数学的に抽出することが可能である。
【００９０】
画像プロセッサは更に、超解像機能を提供する。超解像機能は、異なる視点からのターゲットシーンの複数の画像を組み合わせて、同じシーンのより高い解像度の画像を生成する。超解像撮像技法は、当該技術分野においてよく知られているので、ここではこれ以上詳細には説明されない。超解像機能の出力は、入力単一画像よりも高い解像度の単一超解像画像である。
【００９１】
本発明の第４の実例的な実施形態（図６）では、撮像デバイス３００は、反射液晶空間光変調器（ＳＬＭ）３０１と、検出器３０３と、リレーレンズ３２７と、ビームスプリッタ３２９と、ＳＬＭを制御するための制御エレクトロニクスと、画像処理を提供するための画像プロセッサとを備える。ＳＬＭは更に、複数の液晶セルを備える。ＳＬＭのセルは、複数のパッチを備え、それらの各々は、同じ形状及びサイズであり、同数のセルの隣接グループから形成される。画像プロセッサ及び制御エレクトロニクスは、本発明の第１の実例的な実施形態にあるのと同じである。この例証的な実施形態では、検出器は、非冷却可視光焦点面アレイである。ビームスプリッタ３２９は、ターゲットシーンからの入射電磁放射３２１がビームスプリッタを透過するが、ＳＬＭ３０１から反射されて戻る電磁放射がリレーレンズ３２７に向かって反射されるように配置される。リレーレンズ３２７は、ＳＬＭから検出器の画像の表面上に反射された電磁放射が検出器自体の対応する表面上にもリレーされるように、ＳＬＭ３０１に隣接且つ平行な検出器３０３の画像３３１を投影するように配置される。
【００９２】
動作中、ターゲットシーンからの入射電磁放射３２１は、ビームスプリッタを透過し、ＳＬＭに入射する。制御エレクトロニクスは、ＳＬＭの各パッチがそれぞれの反射レンズを形成するように制御され、従って、ＳＬＭが複数のレンズを形成するように、本発明の第１の実例的な実施形態で説明されたように動作する。形成されたレンズの各々は、入射電磁放射３２１を検出器３０３のリレーされた画像３３１の表面上に集束させる。リレーレンズ３２７及びビームスプリッタ３２９は、ＳＬＭ３０１によって反射された電磁放射をリレーし、そのため、検出器３０３は、検出器のリレーされた画像３３１上に集束された放射パターンを検出する。検出器３０３は、電磁放射の検出されたパターンに対応する信号３２５を画像プロセッサ１０７に送り、それは、検出されたパターンを処理して画像を生成する。
【００９３】
図７は、本発明の第５の実例的な実施形態による、方法４００のステップを示す。
【００９４】
ボックス４０１によって表された第１のステップは、液晶セルのアレイを提供することを備え、各々は、セルを通過する電磁放射に位相シフトを提供する。ボックス４０３によって表される第２のステップは、液晶セルの各々によって提供される位相シフトを制御して、セルのパッチをそれぞれのレンズに形成することを備える。ボックス４０５によって表される第３のステップは、液晶セルを通過した電磁放射を検出することを備える。ボックス４０７によって表されるオプションの第４のステップは、検出された電磁放射によって形成されたマルチ画像を鮮明化することを備える。ボックス４０９によって表されるオプションの第５のステップは、マルチ画像を複数の単一の画像に逆多重化することを備える。ボックス４１１によって表されるオプションの第６のステップは、複数の単一の画像に超解像機能を適用することを備える。それらステップは、同時に及び／又は図７に示される順序とは異なる順序で実行され得ることが認識されるであろう。
【００９５】
図８は、本発明の第６の実例的な実施形態によるミサイルを示し、それ自体は、本発明の第１の実例的な実施形態による撮像デバイスを備える。ミサイル５００は、シーカ５３３を備える。シーカ５３３は、ＳＬＭ及び検出器５３５と、制御エレクトロニクス５０５と、画像プロセッサ５０７とを備え、これらは全て、本発明の第１の実例的な実施形態で説明された通りである。シーカは更に、検出器及びＳＬＭ５３５が取り付けられるジンバル５３７を備える。第１の実例的な実施形態に関して説明されたように、画像プロセッサによって生成された画像は、他のミサイルサブシステム、例えば、誘導及びナビゲーションコンピュータによって使用するための信号５３９として出力される。
【００９６】
所与のサイズの検出器ピクセルに対してミサイルシーカ及び他の撮像デバイスによって必要とされる画像解像度を提供するために、従来の光学系は、最小長のものでなければならない。これは、ミサイルシーカの最小実用サイズを制限する。
【００９７】
シーカに対する要求はまた、例えば、シーカが広い視野を必要とし得る場合もあれば、精細な分解能を必要とし得る場合もあるなど、ミッションフェーズによって変化する可能性がある。これらの要求の両方を達成するためには、どちらの要求も最適化されないということに至り得る妥協が必要である。ズームシステムが使用され得るが、これは、光学系に更なるサイズ及び複雑さを追加する。
【００９８】
ミサイルはまた、通常、別個のシーカ及び信管を有するが、これは、従来の光学系を有するパッシブシーカは一般に、信管にとって重要な情報である標的までの距離を測定することができないからである。
【００９９】
本発明の実施形態は、いくつかの方法及び入力を使用してモデル化されており、それらの全てが、期待される結果及び性能に適合するようにそれらの実施形態を実証している。図９は、入射平面波にさらされたときの、本発明の実例的な実施形態による、撮像デバイスの電磁シミュレーションの点広がり関数（ＰＳＦ）を示す。この電磁シミュレーションは、７×７セルパッチに基づくことに留意されたい。典型的なイメージャ設計は、例えば、全体にわたって５０個までのセルのパッチを使用し得、従って、著しく良好な結果を達成し得る。
【０１００】
本発明は、特定の実施形態を参照して説明及び例示されているが、本発明は、本明細書に具体的に例示されていない多くの異なる変形に役立つことが、当業者によって認識されるであろう。ほんの一例として、ある特定の可能な変形がここで説明される。
【０１０１】
本発明の実例的な実施形態では、検出器とＳＬＭとの間の物理的分離は、例えば０．１ｍｍと例えば１０ｍｍとの間の距離であり得る。
【０１０２】
本発明の実例的な実施形態では、ＳＬＭと検出器との間の分離は調整可能である。これは、撮像デバイスを構成し、様々な性能パラメータ（例えば、分解能、感度、視野、ダイナミックレンジ、ビームステアリングの量）をトレードオフするときに、固定構成よりもはるかに柔軟な応答を可能にする更なる自由度を提供する。本発明のいくつかの実例的な実施形態では、ＳＬＭと検出器との間の光学的距離は、例えば、ＳＬＭアレイ全体と同じ大きさの単一セルであり得る更なる液晶セルの使用によって変化する。
【０１０３】
本発明の実例的な実施形態では、検出器は、ＳＬＭと検出器との間に傾斜分離を提供するように、ＳＬＭに対してある角度で位置付けられる。これは、より大きな分離を受けるパッチがより小さい分離を受けるパッチよりも高い解像度を効果的に有するので、中心窩撮像を提供する。
【０１０４】
本発明の実例的な実施形態では、ＳＬＭは、電気的にアドレス指定されるＳＬＭ又は光学的にアドレス指定されるＳＬＭのうちの１つであり得る。
【０１０５】
本発明の実例的な実施形態では、ＳＬＭは、セルエッジ効果を意図的に高めるために、通常のサイズよりも小さい電極を有し得る。これは、ＳＬＭの屈折率プロファイルを平滑化する効果を有することができ、より粗さの少ないレンズの形成を可能にする。
【０１０６】
本発明の実例的な実施形態では、検出器は、例えば、非冷却可視光検出器、非冷却中波赤外線（ＭＷＩＲ）検出器、非冷却短波赤外線（ＳＷＩＲ）検出器、又は冷却赤外線検出器のうちの１つであり得る。冷却検出器を組み込む実例的な実施形態は、検出器をデュワー中に配置し、ＳＬＭをデュワーの外側に配置し得る。検出器は、ＳＬＭに最も近いデュワーの端部に配置され得るか、又はリレーレンズが、ＳＬＭ及び検出器を共に十分に近接して位置付けるために使用され得る。
【０１０７】
本発明の実例的な実施形態では、画像プロセッサは更に、画像逆多重化機能の前又は後のいずれかに適用される画像鮮明化機能を提供し得る。本発明の実例的な実施形態では、ＳＬＭセルは、パッチの複数の配置に構成され得る。これは、ＳＬＭが様々なエリアに分割されることを可能にし、それらのエリアの各々では、パッチが異なって構成され、例えば、あるエリアにおいてより高いＦＯＶを提供し、別のエリアにおいてより高い感度を提供する。
【０１０８】
本発明の実例的な実施形態では、パッチは不規則な形状である。例えば、長方形のパッチを有する撮像デバイスは、一方の軸において他方の軸よりも高い解像度を提供する。不規則な形状のパッチは、ＳＬＭ全体にわたって、又はＳＬＭの選択されたエリアにおいて使用され得る。
【０１０９】
本発明の実例的な実施形態では、パッチは、各パッチによって生成される単一の画像が重複することを回避するように、ＳＬＭ上で離間され得、画像逆多重化ステップの必要性を除去する。代替として、本発明の実例的な実施形態は、ある時間期間にわたって複数のパッチを取るために、単一の画像と重複することを回避するように再び配置された１つ以上の画像の各々を使用することによって、画像逆多重化の必要性を回避し得る。
【０１１０】
本発明の実例的な実施形態では、追加の凸レンズがＳＬＭに平行且つ隣接して配置される。この追加のレンズは、ＳＬＭのパッチの光軸を発散する（例えば、純粋に発散する）役割を果たし、そのため、ＳＬＭパッチによる画像シフトを必要とせずに、超解像に適したシフトされた画像を提供する。このレンズは、ＳＬＭ又は検出器がその焦点面に位置するように位置付けられる必要はなく、ＳＬＭと直接接触することさえできる。従って、追加のレンズを含むことは、非常に浅い撮像デバイス設計を妨げない。
【０１１１】
本発明の実例的な実施形態では、ビームステアリングを提供するために、パッチのセルの屈折率に追加の段階的オフセットが適用される。各パッチに対する凝視方向(stare  direction)のシフトが同じになるように、パッチの各々の対応するセルに同じオフセットが適用される。ビームステアリングを可能にするために、超解像のための画像シフトと必要とされるビームステアリング角との両方を適用するのに十分な屈折率が予備に保たれなければならない。
【０１１２】
所与の画像シフト及び所与のビームステアリング角を有するＳＬＭレンズパッチのおおよその焦点距離は一般に、以下の式によって特徴付けられると予想されることができる。
【数５】
2021516784.tif 000007
【数６】
2021516784.tif 000008
ここで、
ｆ＝焦点距離
ｄ＝パッチの最も外側のセルを通る光路長を中央のセルを通る光路長と比較した差
ｎ＝セルの数を単位とするパッチ幅
ｗ＝セルの幅
θ＝ビームステアリング角
ａ＝超解像のための画像シフト
Ｔ＝セルの厚さ
η0＝パッチの中央のセルの屈折率
ηi＝パッチの最も外側のセルの屈折率
【０１１３】
本発明の実例的な実施形態では、ＳＬＭパッチの焦点距離及びビームステアリング角は、画像安定化を提供するために、又は機械的衝撃を補償するために変化し得る。
【０１１４】
本発明の実例的な実施形態では、ＳＬＭの１つ以上のパッチの焦点距離が変化し得、画像焦点の測定値が深度測定値を獲得するために使用され得る。これは、例えば、近接ヒューズを提供するために使用され得るターゲットまでの距離を決定することを容易にし得る。
【０１１５】
本発明の実例的な実施形態では、画像プロセッサは、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、特定用途向けＩＣ（ＡＳＩＣ）、又は他の処理デバイスのうちの１つ以上から成り得る。
【０１１６】
前述の説明において、既知の、明白な、又は予測可能な同等物を有する整数又は要素が言及される場合、そのような同等物は、個々に記載されているかのように本明細書に組み込まれる。本発明の真の範囲を決定するために特許請求の範囲に対する参照が行われるであり、それは、任意のそのような同等物を包含するように解釈されるべきである。好ましい、有利な、便利な、又は同様の用語で記載される本発明の整数又は特徴はオプションであり、独立請求項の範囲を限定しないことも読者によって認識されるであろう。その上、そのようなオプションの整数又は特徴は、本発明のいくつかの実施形態では利点となる可能性があるが、望ましくない場合があり、従って、他の実施形態では存在しない場合があることが理解されるべきである。
【図１】
2021516784.tif 000009
【図２】
2021516784.tif 000010
【図３】
2021516784.tif 000011
【図４】
2021516784.tif 000012
【図５】
2021516784.tif 000013
【図６】
2021516784.tif 000014
【図７】
2021516784.tif 000015
【図８】
2021516784.tif 000016
【図９】
2021516784.tif 000017
【国際調査報告】
2021516784.tif 000018
2021516784.tif 000019
2021516784.tif 000020
2021516784.tif 000021