(57)【要約】  マイクロレンズアレイの前のメインレンズと画像センサとを有するプレノプティックカメラを用いて高解像度画像を生成するシステム及び方法であって、前記メインレンズと前記マイクロレンズアレイとの間に配置された複屈折媒体を用いることによって、動作の第１の非励起状態において第１の画像セットを捕捉することであって、前記複屈折媒体の前記非励起状態が、各画素に常光線を提供することと、前記複屈折媒体の両端にわたって電圧を印加することによって、第１の非励起状態が第２の励起状態になるようにすることと、第２の励起状態において第２の画像セットを捕捉することであって、前記複屈折媒体の前記励起状態が、前記メインレンズからの光を常光線及び異常光線に分割し、前記異常光線が、前記画像センサにおいて常光線から一半画素の距離だけシフトされることと、前記第２の画像セットに関連する画素値から前記第１の画像セットに関連する画素値を少なくとも２回減算することと、前記減算及び前記第１の画像セットから、高解像度を備えた最終画像セットを生成することと、を含むことを特徴とするシステム及び方法。
2019521599.tif 000002
【特許請求の範囲】
【請求項１】
プレノプティックカメラを用いて高解像度画像を生成する方法であって、
メインレンズと、複数のアパーチャを有するレンズアレイとの間に配置された複屈折媒体を用いることによって、動作の第１の非励起状態において第１の画像セットを捕捉すること（４１０）と、
前記第１の画像セットの各画素を第１のアパーチャセットにマップすること（４１０）と、
前記複屈折媒体の両端にわたって電圧を印加することによって、前記第１の非励起状態を第２の励起状態（４１５）にさせること（４１０）と、
第２の光線セットが生成されるように、第２の励起状態において第２の画像セットを捕捉すること（４２０）と、
前記第２の画素セットの各画素を第２のサブアパーチャセットにマップすること（４２０）と、
前記第１の画像セット及び第２の画像セット用の値を計算すること（４３０）と、
前記第２の画像セットに関連する計算された値から前記第１の画像セットに関連する値を少なくとも２回減算すること（４３０）と、
を含む方法。
【請求項２】
前記減算ステップ後に、最終画像セットを生成すること（４４０）を更に含む、請求項１に記載の方法。
【請求項３】
前記複屈折媒体の両端にわたる電圧の前記印加が、相異なるアパーチャセットにマップされる２つの同期光線セットを生成させる、請求項１に記載の方法。
【請求項４】
前記２つの光線セットが、それぞれ緑色及び青色であり、前記マップされたアパーチャの幾つかが共有される、請求項３に記載の方法。
【請求項５】
前記第２の励起状態が、電圧のない状態で前記第１の状態に戻る、請求項１又は４に記載の方法。
【請求項６】
第１のセットが、第１の下部アパーチャにマップされ、第２のセットが、第２の上部アパーチャにマップされるように、電圧の前記印加が、２つの同期光線セットを生成する、請求項１に記載の方法。
【請求項７】
前記第２の光線セットが、前記第１の光線セットと相異なる第２の屈折角を有する、請求項１、４又は６に記載の方法。
【請求項８】
前記第１及び前記第２の光線セットが、相異なる方向に伝搬する、請求項１、４又は６に記載の方法。
【請求項９】
前記第１及び第２のセット光線が、相異なる屈折率を有する、請求項７に記載の方法。
【請求項１０】
前記第１及び第２のセット光線が、相異なる伝搬距離で生成される、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
相異なる色強度及び特性の多数の画像を生成するシステムであって、
複数のアパーチャに関連するレンズアレイ（３５２）の前に配置されたメインレンズ（３１０）と、
前記メインレンズと前記レンズアレイとの間に配置された電気的に制御される複屈折媒体（３２５）であって、電圧の印加で、第１の非励起状態（３４０）と第２の励起状態（３３０）との間で動作する複屈折媒体（３２５）と、
第１の画像セットの各画素が、第１のアパーチャセットに対応するように、前記第１の非励起状態中に、前記第１の画像セットを捕捉しマップする（４２０）手段と、
第２の画像セットの各画素が、第２のアパーチャセットに対応するように、前記第２の励起状態中に、前記第２の画像セットを捕捉しマップする（４３０）手段と、
前記異常状態において第２の画像セットを捕捉する手段と、
前記第１の画像セット及び第２の画像セットに関連する画素用の値を計算する（４３０）ように構成されたプロセッサ（４４０）であって、前記第２の画像セットに関連する画素から計算された値から前記第１の画像セットに関連する値を少なくとも２回減算する（４３０）ように同様に構成されたプロセッサ（４４０）と、
を含むシステム。
【請求項１２】
更に、電圧の前記印加が、２つの同期光線セットを生成し、第１のセットが、第１の下部アパーチャにマップされ、第２のセットが、第２の上部アパーチャにマップされるようにする、請求項１１に記載のシステム。
【請求項１３】
前記第１の光線が、前記第１の非励起状態に関連するものとして屈折する緑色であり、前記第２の光線が、前記励起された第２の励起状態に関連するものとして屈折する青色である、請求項１２に記載のシステム。
【請求項１４】
前記第１及び光線の第２のセットが、相異なる伝搬距離で生成される、請求項１１、１２又は１３に記載のシステム。
【請求項１５】
前記第１及び前記第２の光線セットが、相異なる方向に伝搬する、請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本開示は、一般にデジタル画像処理に関し、特にデモザイキングを用いるプレノプティック撮像技術に関する。
【背景技術】
【０００２】
背景
このセクションは、読者に技術の様々な態様を紹介するように意図されており、技術の様々な態様は、以下で説明及び／又は請求される本発明の様々な態様と関係し得る。この論考は、よりよい理解を促進するために、読者に背景情報を提供する際に役立つと考えられる。従って、これらの文言が、この観点で読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。
【０００３】
写真術は、光又は他の電磁放射を記録することによって、耐久性のある画像を作成する。画像は、画像センサによって電子的に、又は感光性材料によって化学的に捕捉される。通常のカメラにおいて、時間の決まった露光中にカメラの内部で、対象から反射又は放射された光を感光性表面上で実画像に合焦させるために、レンズが用いられる。電子画像センサを用いると、電荷が、各画素において生成され、次にそれが、処理されて、更なる使用のためにデジタル画像ファイルに格納される。従来の写真術において、焦点面は、ほぼ平面又は焦平面である。焦点面は、カメラの光学軸に垂直であり、被写界深度は、平面に沿って一定である。対照的に、プレノプティックカメラにおいて、各マイクロ画像は、捕捉されたシーンのエリアを描写し、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定の領域を示す。次に、シーンの生画像が、全てのマイクロ画像の和の結果として取得され、生画像は、明視野の角度情報を含む。従って、生画像における隣接画素は、各画素が、相異なるビューに対応するので、相異なる角度情報を含む。
【０００４】
プレノプティックカメラは、マイクロレンズアレイを用いるが、マイクロレンズアレイは、メインレンズの画像平面に、且つ１つのマイクロ画像（サブ画像とも呼ばれる）が投影される光センサアレイの前に配置される。メインレンズとセンサとの間にマイクロレンズアレイを配置することによって、プレノプティックカメラは、カメラに入る光束の位置、強度及び色に加えて、カメラに入る光束の方向を捕捉する。次に、捕捉されたデータは、シーンにわたるわずかに相異なる視点からの水平及び垂直に整列されたビューのマトリックスを提供するために、逆多重化される。従って、各マイクロ画像は、捕捉されたシーンのエリアを描き、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定のエリアを示す。次に、シーンの生画像は、光センサアレイのそれぞれの部分から取得された全てのマイクロ画像の和の結果として取得される。
【０００５】
手持ち式プレノプティックカメラの最近の公開は、明視野撮像の可能性を大衆市場に導入した。この新しい能力は、多数の明視野用途の導入における興味を急に増加させた。幾つかの人気のある用途には、奥行き推定又は捕捉後再合焦に集中することが含まれる。生データ変換は、複雑であり、且つ解決される必要のある幾つかの問題を含む。１つのかかる問題は、優れた解像度を提供することに関する問題を伴う。従って、捕捉された生データを用いて、よりよい画像解像度を提供できる改善された技術の必要がある。
【発明の概要】
【０００６】
概要
追加の特徴及び利点は、本開示の技術を通して実現される。本発明の他の実施形態及び態様は、本明細書で詳細に説明され、且つ請求される本発明の一部と考えられる。利点及び特徴と共に本発明のよりよい理解のために、説明及び図面を参照する。
【０００７】
プレノプティックカメラを用いて高解像度画像を生成するシステム及び方法が提供される。一実施形態において、メインレンズと複数のアパーチャを有するレンズアレイとの間に配置された複屈折媒体を用いることによって、動作の第１の非励起状態において第１の画像セットを捕捉することを含む。次に、第１の画像セットの各画素は、第１のアパーチャセットにマップされる。次に、第１の非励起状態は、前記複屈折媒体の両端にわたって電圧を印加することによって、第２の励起状態になるようにされる。第２の画像セットが、第２の励起状態において捕捉され、第２の画像の第２の画素セットが、第２のアパーチャセットにマップされる。各第１及び第２の画像セット用の値が計算され、前記第１の画像セットに関連する値は、前記第２の画像セットから計算された値から少なくとも２回減算される。
【０００８】
図面の簡単な説明
本開示は、添付の図を参照し、決して限定的ではない以下の実施形態及び実行例によって、よりよく理解され例示されよう。
【０００９】
図１〜４において、表現された図は、純粋に機能エンティティである例を提供し、必ずしも物理的に別個のエンティティに対応するわけではない。即ち、それらは、ソフトウェアかハードウェアの形で開発され得、又は１つ又は複数のプロセッサを含む１つ又は幾つかの集積回路において実現され得る。
【００１０】
可能な限り、同じ参照数字は、図の全体にわたって、同じ又は同様の部分を指すために用いられる。
【図面の簡単な説明】
【００１１】
【図１】デモザイキングプロセスにおいて用いられるカラーフィルタアレイ（ＣＦＡ）を示すブロック図である。
【図２Ａ】カラーフィルタアレイ（ＣＦＡ）パターンで捕捉されたプレノプティックマイクロ画像の描写である。
【図２Ｂ】カラーフィルタ及びマイクロレンズアレイを用いて捕捉された逆多重化画像の実例である。
【図３Ａ】一実施形態に従って、通常及び異常状態の両方の画素マッピングに対するサブアパーチャ用の図の描写である。
【図３Ｂ】図３Ａに示されている実施形態によって提供されるような通常状態のより詳細な画素マッピングを提供するズーム画像の実例である。
【図３Ｃ】図３Ａに示されている実施形態によって提供されるような通常状態のより詳細な画素マッピングを提供するズーム画像の実例である。
【図４】一実施形態による、図３におけるプロセスの流れ図描写である。
【発明を実施するための形態】
【００１２】
説明
本発明の図及び説明が、本発明の明確な理解に適した要素を示すために簡略化され、一方で明確にするために、典型的なデジタルマルチメディアコンテンツ送出方法及びシステムにおいて見出される多くの他の要素を削除することを理解されたい。しかしながら、かかる要素が、当該技術分野においてよく知られているので、かかる要素の詳細な説明は、本明細書では提供されない。本明細書における開示は、全てのかかる変形及び修正に向けられている。
【００１３】
図１は、デモザイキングプロセスにおいて使用されるカラーフィルタアレイ（ＣＦＡ）を用いたプレノプティックマイクロ画像マトリックスの先行技術の描写である。デモザイキングは、当業者には周知のように、図１で用いられるＣＦＡなどのフィルタで覆われた画像センサから出力された不完全なカラーサンプルを再構成することによって、画像を処理するための技術である。カラーフィルタアレイは、不完全なカラーサンプルからフルカラー画像を再構成するために、カラーフィルタアレイを使用するデモザイキングプロセス及びデジタル画像処理技術において用いられる。カラーサンプルは、ＣＦＡで覆われた１つ又は複数の画像センサの出力であることが多い。カラーフィルタアレイは、１つ又は複数の画像センサの前におけるカラーフィルタモザイクである。商業的に最も一般的に用いられるＣＦＡ構成は、ベイヤーフィルタである。図１の先行技術の例は、かかるフィルタの例を提供する。図示のように、奇数行用の交互の赤色（Ｒ）及び緑色（Ｇ）フィルタは、点在された緑色（Ｇ）及び青色（Ｂ）フィルタを含む介在行と偶数行で更に交互にされる。これは、ベイヤーパターンが、各次元（垂直及び水平）において２つの相異なる色画素の周期を備えた周期パターンであるからである。水平全方向において、単一の周期は、緑色画素及び赤色画素、又は青色画素及び緑色画素のどちらかを含む。垂直方向において、単一の周期は、緑色画素及び青色画素、又は赤色画素及び緑色画素のどちらかを含む。
【００１４】
この例におけるように最終結果として、赤色又は青色フィルタの二倍の緑色フィルタが存在して、緑色光に対する人間の目のより高い感度に応える。ＣＦＡのカラーサブサンプリングは、その性質上、エイリアシングに帰着し、従って光学アンチエイリアシングフィルタが、補間によって導入された偽色アーチファクト（色エイリアス）を低減するために、画像センサとレンズとの間の光路に配置される。センサの各画素が、カラーフィルタの背後にあるので、出力は、画素値のアレイであり、各画素値は、３つのフィルタカラーの１つにおける生の強度を表す。ベイヤーフィルタは、均一なグリッド上で多変量補間を用いるＣＦＡの例である。従って、単一の成分ではなく、全ての色成分用の色レベルを各画素用に評価するために、アルゴリズムが必要とされる。従来のデモザイキングアルゴリズムは、ＣＦＡ又は他のフィルタから出力された、かかる空間的にアンダーサンプリングされたカラーチャンネルからのフルカラー画像を再構成する。
【００１５】
かかるアルゴリズムに含まれる数学的演算は、それが、同じ色成分の近くの例に基づくので単純である。かかる補間アルゴリズムの最も単純な方法は、同じカラーチャネルの隣接画素を単にコピーする最近傍補間に依存する。しかしながら、かかるフィルタは、画像の詳細及び質が重要ないかなる用途にも適していない。加えて、これらの方法は、均質な画像領域において優れた結果を得ることができるが、それらは、純色ＣＦＡと共に用いられた場合に、エッジ及び詳細を備えた領域において激しいデモザイキングアーチファクトを被りやすい。より洗練されたデモザイキングアルゴリズムは、カラー画像内の画素の空間及び／又はスペクトル相関を活用するが、しかしそれらは、図２Ｂを参照することによって一層詳細に分かるように、やはり問題となる。図２Ａは、プレノプティックカメラによって捕捉されたマイクロ画像を図示する例示的な実施形態である。各画素は、メインレンズの射出瞳のサブアパーチャによって照射される。複数のレンズを通したサンプリング故に、ひとたびサブアパーチャビューが逆多重化されると、最終画像は、従来の撮像システムと比較した場合に、低解像度を有する可能性がある。これらの技術は、図３及び４に関連して、より詳細に説明される。この解像度は、いかなる追加センサも要求せずに、大いに向上させることができる。図２Ａにおいて、より明るい陰は、緑色（Ｇ）を表し、一方で最も暗い陰は、青色（Ｂ）を表し、中間モノクロ階調は、赤色（Ｒ）を表す。この例において、各画素は、メインレンズの射出瞳のサブアパーチャによって照射される。
【００１６】
六角サンプリング、レンズと画素グリッドとの間の残留回転、及びＣＦＡ故に、ひとたびサブアパーチャビューが逆多重化されると、後続のビューは、幾つかのエリアにおいて、ビューから情報又は色が欠ける可能性がある。シーンにおけるビュー又は対象の欠けた部分を回復するために、プレノプティックカメラによって取得された生データをデモザイクし、次にビューを回復するように逆多重化することが可能である。問題は、ほとんどの例において、これが、ビュー上の色アーチファクトにつながるということである。隣接画素構成が、相異なる角度情報を含むプレノプティック生画像上で用いられる事例を検討する（マイクロレンズ下の各画素は、相異なるビューに対応する）。この場合における生プレノプティック画像のデモザイキングは、角度情報を潜在的に誤って混合する。いわゆるビュークロストークアーチファクトを生成する隣接色値を補間する従来のアルゴリズムにおいて、これは、誤った結果をもたらす。
【００１７】
更に、デモザイクされた生画像から取得されたビューからの視差推定が、更に大きな誤差を被りやすいことが示された。図２Ｂは、説明されるような逆多重化画像の実例である。図２Ｂの図示された例において、シーンは、１つ又は複数の対象のビュー又は画像を提供される。画像は、プレノプティックカメラによって捕捉された。図２Ｂのビューを見ると、提示されているシーンの画像を認識するのは困難である。対象の全体的な輪郭は、図２Ｂにおいて見えるが、しかし詳細な対象認識を可能にするためには、十分な情報が画像には提供されていない。陰、強度、及び色が完全に欠けたわけではない例においてさえ、補色情報は、ほとんどの例において問題となる離れた画素から補間される必要がある。これは、解像度に大きく影響する。図２Ｂにおいて、デモザイクされた画像は、やはり情報を欠いているが、しかし画像は、適切な手法で逆多重化される。デモザイキングなしでは、生データは、デモザイクされずにシーンのビューへと逆多重化されることを要求する。解像度の向上は、低い光及びより高いノイズにおける一層貧弱な性能に結びつくより小さな「セル」を用いる一層高解像度のセンサの使用を要求する。しかしながら、かかる質の追加センサセルが用いられる場合でさえ、この技術は、すぐに限界に遭遇する。図３及び４に関連して説明されるような本技術は、優れた性能に適したオリジナルセンサのどれもが、改善された最終解像度品質でやはり使用され得るように、光学解像度を向上させる手法を提供する。
【００１８】
一実施形態において、電圧の印加で複屈折媒体に変わる媒体が用いられる。複屈折は、光線が当たった場合に、２つの屈折光線の生成を引き起こす結晶材料の特性である。この特性は、媒体における原子の非等方性分布故であり、且つ結晶メッシュ構造が強く非等方性である結晶媒体において生じる。石英及び方解石は、複屈折を示す天然素材である。それらの媒体を用いると、非偏光光線が、特定の方位にあるそれらの媒体表面の１つに当たった場合に、２つの光線が屈折で生成される。これらの光線の１つは、１つの偏光特性を有し、もう一方は、わずかに異なる偏光特性を有する。スネル−デカルトの法則：ｎｉｓｉｎθｉ＝ｎｒｓｉｎθｒに従うと、この式でｎｉ及びｎｒは、入射及び屈折媒体のそれぞれの（且つ相異なる）屈折率であり、θｉ及びθｒは、入射角度及び屈折角度である。
【００１９】
複屈折材料は、スネルの法則に従って光線を屈折させるが、しかし媒体における有効屈折率は、入力偏光状態、及び屈折光線が結晶軸に対して作る角度に依存する。複屈折材料において、２つのタイプの光線が、通常及び異常として定義され得る。常光線は、スネルの原理、即ちｎ  ｓｉｎθ＝ｎ０  ｓｉｎθ’に従って屈折され、この式で「０」は、常光線屈折率を表す。
【００２０】
複屈折媒体において、スネル−デカルトの法則に従う光線は、常光線と呼ばれ、媒体は、１つの常光線屈折率ｎ０を有する。生成される第２の光線は、別の屈折ｎｅを経験し、それは、異常光線屈折率ｎｅを有する、且つ常光線に垂直に偏光される材料内の或る方向に伝搬する。複屈折媒体において、２つの光線が、相異なる伝搬方向を備えて生成される。
【００２１】
異常光線用に、複屈折の事例において、屈折の法則は、ｎ  ｓｉｎθ＝ｎ（θｗ）ｓｉｎθ’を提供し、この式で、複屈折材料における有効屈折率は、角度θｗの関数である。角度θｗは、結晶軸ベクトル「ａ」と屈折波ベクトル「ｋ」との間の角度である。加えて、光線ベクトル「ｓ」は、エネルギ伝搬の方向を指し示すベクトルであるが、波ベクトル「ｋ」には従わず、ベクトル「ｋ」に対して小さな角度を作る。等方性媒体において、ベクトル「ｋ」及び「ｓ」は、同じである。従って、ほとんどの光学設計用に、ベクトル「ｋ」は、考慮されなければならない。これらの事例において、角度θｗは、次のように定義される。
【数１】
2019521599.tif 000003
有効屈折率は、
【数２】
2019521599.tif 000004
によって定義される。
この式で、ｎ０は、常光線屈折率であり、ｎｅは、異常光線屈折率である。
【数３】
2019521599.tif 000005
間の角度αは、
【数４】
2019521599.tif 000006
によって定義され、この場合に
【数５】
2019521599.tif 000007
であり、及びベクトル
【数６】
2019521599.tif 000008
は、両方とも結晶軸ベクトル
【数７】
2019521599.tif 000009
と共面である。波ベクトル
【数８】
2019521599.tif 000010
は、法線に沿って波面を指し示し、一方で、
【数９】
2019521599.tif 000011
は、エネルギ伝搬の方向に沿って指し示す。
【００２２】
図３Ａは、通常状態及び異常状態両方の画素マッピングに対するサブアパーチャ用の図を図示する。示されているように、複数の光線（一般に３２０として示されている）が、参照数字３２５によって示されている媒体を通過する。図の右側に、一般に参照数字３２７によって示されているメインレンズの射出瞳がある。このメインレンズ出口は、参照数字３５２によって集合的に示されているように、サブアパーチャＶ１〜Ｖ１２に更に分割される。この実施形態において、媒体３３０は、電気的に制御可能である。一実施形態において、複屈折材料が用いられるが、しかし当業者によって認識され得るように、様々な類似の媒体が利用可能である。一例において、複屈折媒体を提供するために、ツイストネマティック液晶（ＴＮ）を組み込む媒体が用いられる。ＴＮ液晶は、一実施形態において、透明酸化インジウムスズ（ＩＴＯ）電極を有する２つのガラスプレート間に挟むことができる。一例では、セルの接地状態で、ＴＮセルに電圧が印加されない状態において、サブアパーチャは、常光線を表現する緑色ラインに従って、マイクロ画像当たり１つの単独の画素上にそれぞれ撮像される。
【００２３】
図３Ａは、１つのマイクロレンズを示し、１つの画素列は、常光線が、２つのサブアパーチャ画素（常光線に対応する１つ、異常光線に対応する１つ）に各センサ画素をどのようにマップするかを示す。物事が、異常光線に関してどのように働くかを理解するために、画素からサブアパーチャへと逆に青色光線（より暗い陰で示されている）に従うのがよりよい。１つの画素を去ると、異常光線は、青色経路（図における暗い灰色）に従う。それは、そのマイクロレンズの光学中心と交差し、次に複屈折セル３２５に当たる。セルは、印加電圧でその「異常」状態にあり、従ってこの時、２つの光線、即ち、常光線として屈折する緑色及び異常光線として屈折する青色が生成される。両方が、メインレンズの射出瞳に当たると、常光線は、１つのサブアパーチャ上で終わり、一方で異常光線は、別のサブアパーチャへとマップする。これは、１つが、正常状態において射出瞳から始まる場合に、メインサブアパーチャ（緑色ｖ２〜ｖ１２、ｖ１３〜ｖ２３）の常光線が、センサ画素に当たり、二次サブアパーチャが、落とされて無視されることを意味する。「異常」状態において、光の一部は、メインサブアパーチャ（図における緑色又は明るい灰色−常光線として）から来て、光の別の部分は、二次サブアパーチャ（青色ｖ１〜ｖ１１〜ｖ１４〜ｖ２４）から来る。これは、通常状態で一度、且つ異常状態で一度、変調器でセンサを読み出すことによって、解像度を２回捕捉できるようにする。後の処理は、より高い解像度の画像を回復する。
【００２４】
図３Ｂ及び３Ｃは、それぞれ、図３Ａのエリア３１０のより詳細な実例を提供する。より具体的には、図３Ｂは、常（緑色−明るい灰色）光線をより詳細に示し、一方で図３Ｃは、異常（青又は暗い灰色）光線をより詳細に示す。このように、図３Ａの通常状態（緑色）及び異常状態（青色）の画素マッピングに対するサブアパーチャは、図３Ｂ及び３Ｃにおいて提供される詳細を見ることによってより明白になる。
【００２５】
通常状態において、画素ｖ１〜ｖ１１は読み出され、間の画素（例えばｖ１／２＋ｖ２／２．．．ｖ１１／２＋ｖ１２／２）（示されていない光線）は、サブアパーチャ間に落ち込む。プレノプティック画像に解像度情報を追加するには、２つの画像が連続して撮られることを必要とする。第１の画像は、通常状態におけるセルでｔ０に撮られる。センサ上の画素は、次の状態を記録する。
Ｐ（ｔ０，ｖ２），Ｐ（ｔ０，ｖ４），Ｐ（ｔ０，ｖ６），．．．，Ｐ（ｔ０，ｖ１２），Ｐ（ｔ０，ｖ１３），Ｐ（ｔ０，ｖ１５），Ｐ（ｔ０，ｖ１７），．．．，Ｐ（ｔ０，ｖ２３）
第２の画像は、異常状態におけるセルでｔ１に撮られる。シーンに偏光現象が存在しない場合に、等しい強度の２つの光線が生成される。
Ｐ（ｔ０，ｖ１）／２＋Ｐ（ｔ０，ｖ２）／２，Ｐ（ｔ０，ｖ３）／２＋Ｐ（ｔ０，ｖ４）／２
従って、
第１の画像が、２つの時間から減算された場合に、画素用の第２のショットは、境界線でない。一実施形態ごとに、ｖ１、ｖ２４を回復すること、従って単に１２の画素を有するセンサで２４の値を読み出すことが可能である。
【００２６】
画素の残りにこの概念を適用すると、２つのシーンショットが、ｔ０及びｔ１で生成される場合に、これらから、従来の方法を用いて通常提供されるより二倍多くの解像度情報を可能にする画素値の線形結合が取得され得る。一例において、このシステムにおいて用いられる追加コンポーネントは、ツイストネマティック（ＴＮ）セルである。
【００２７】
このシステムにおいて用いられる追加コンポーネントは、ＴＮセルである。液晶は、常光線屈折率ｎ０と異常屈折率ｎｅとの間の値に大きな差を有し得る。幾つかの事例において、例えば当業者に周知のようなＭＬＣ−９２００−１００と名付けられたＬＣ混合物は、非常に大きな差であるｎｅ−ｎ０＞０．２を有し得る。しかしながら、幾つかの実施形態において、これは、セルの厚さを低減するために必要とされる。この厚さは、マイクロレンズアレイとセンサとの間のセルの配置と適合するように調整される必要があり、従って、いかなるサイズ低減も、ある用途において有用になり得る（たとえ数ｍｍであっても）。
【００２８】
図４は、一実施形態に従って上記で説明したプロセスの流れ図表現である。図４は、複数のアパーチャを有するレンズアレイの前にメインレンズを配置したプレノプティックカメラを用いて、相異なる色強度及び特性の複数の画像を生成する方法用のステップを図示する。図４においてステップ４１０に示されているように、第１の画像セットが、電気光学偏光変調器の第１の状態を用いて捕捉される。一実施形態において、変調器は、前記メインレンズと複数のアパーチャを備えたレンズアレイとの間に配置される。ステップ４２０において、第２の画像セットが、電気光学偏光変調器の第２の状態を用いて捕捉される。ステップ４３０において、第２の画像セットに関する情報は、例えば構成されたプロセッサなどを用いて、第１のセットに関する情報から減算される。ステップ４４０において、最終画像セットが減算後に生成され、前記最終画像セットが、解像度を向上させるようにする。一実施形態において、相異なる色強度及び特性の複数の画像を生成するためのシステムは、図４の方法ステップ並びに図３Ａ及び３Ｂの配置を行うために用いることができる。この実施形態において、メインレンズ（３１０）は、複数のアパーチャに関連するレンズアレイ（３５２）の前に配置される。図３Ａに示されているような電気的に制御される電気光学変調器（３２５）は、示されているマイクロレンズとレンズアレイとの間に配置することができる。電気光学変調器は、電圧が印加されると、２つの状態（図３Ａの３３０及び３４０）の間で機能する。次に、図４に関連して説明されているように、第１の画像セットは、電気光学偏光変調器の第１の状態を用いて捕捉され、第２の画像セットも又、電気光学偏光変調器の第２の状態を用いて捕捉される。続いて、向上された色強度及び特性を備えた最終画像セットを生成する（図４の４４０）ために、捕捉された画像の第１のセットに関する情報から前記第２の画像セットに関する情報を減算するように構成されるプロセッサが、システムに組み込まれ得る。このようにして、プレノプティックカメラが非常に乏しい色情報を伝える非常に複雑な状況においてさえ、豊富な色情報が、取得され得る。
【図１】
2019521599.tif 000012
【図２Ａ】
2019521599.tif 000013
【図２Ｂ】
2019521599.tif 000014
【図３Ａ】
2019521599.tif 000015
【図３Ｂ】
2019521599.tif 000016
【図３Ｃ】
2019521599.tif 000017
【図４】
2019521599.tif 000018
【国際調査報告】
2019521599.tif 000019
2019521599.tif 000020
2019521599.tif 000021