(57)【要約】【課題】プレノプティックイメージングシステムのフォーカシングを特徴付けるための計量を提供する。【解決手段】一つの態様において、計量は、プレノプティックイメージの高い周波数のコンテント及び／又はぼやけることに基づいたものである。【選択図】図１
2012242841.tif 000002
【特許請求の範囲】
【請求項１】
プレノプテイックイメージングシステムをフォーカシングするための方法であって、
前記プレノプテイックイメージングシステムは、一次のイメージングサブシステム、二次のイメージングアレイ、及びセンサーアレイを具備するものであると共に、
前記方法は、
前記センサーアレイによって取得された対象のプレノプテイックイメージを受けること、及び、
前記プレノプテイックイメージンにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節すること
を具備する、方法。
【請求項２】
請求項１の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプティックイメージにおけるリンギングの周波数を増加させることに基づいたものである、方法。
【請求項３】
請求項１の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングによって引き起こされたリプルの数を増加させることに基づいたものである、方法。
【請求項４】
請求項１の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングの平坦度を増加させることに基づいたものである、方法。
【請求項５】
請求項１の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数のサブイメージにおける高い周波数のコンテントを説明する計量に基づいたものである、方法。
【請求項６】
請求項１の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数の波長における高い周波数のコンテントを説明する計量に基づいたものである、方法。
【請求項７】
請求項１の方法であって、
前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置を調節すること
をさらに具備する、方法。
【請求項８】
請求項１の方法において、
前記対象は、少なくとも一つの点の対象を含む、方法。
【請求項９】
請求項８の方法において、
前記対象は、点の対象のアレイを含むと共に、
各々の点の対象は、前記二次のイメージングアレイにおける個々のイメージング素子に対応するものである、
方法。
【請求項１０】
請求項１の方法において、
前記プレノプティックイメージングシステムは、前記プレノプティックイメージ内の異なるサブイメージについての異なる波長のフィルターを含む、方法。
【請求項１１】
請求項１の方法であって、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置に基づいて、前記対象までの距離を見積もること
をさらに具備する、方法。
【請求項１２】
請求項１の方法において、
前記一次のイメージングサブシステムは、反射性のサブシステムである、方法。
【請求項１３】
請求項１の方法において、
前記二次のイメージングアレイは、マイクロレンズアレイである、方法。
【請求項１４】
請求項１の方法において、
前記二次のイメージングアレイは、ピンホールアレイである、方法。
【請求項１５】
プレノプティックイメージングシステムを自動的に設計するためのコンピューターで実施される方法であって、
前記プレノプティックイメージングシステム内の一次のイメージングサブシステム及び二次のイメージングアレイのための候補の設計を含むものである、前記プレノプティックイメージングシステムのための候補の設計にアクセスすること、
プレノプティックイメージにおける高い周波数のコンテントに関する軸の方向に沿って単調なものである計量を算出すること、並びに、
前記プレノプティックイメージにおける前記高い周波数のコンテントを増加させる様式で前記計量を改善することに基づいて、前記候補の設計を調節すること
を具備する、方法。
【請求項１６】
オートフォーカスのプレノプティックイメージングシステムであって、
一次のイメージングサブシステム、
前記一次のイメージングサブシステムのための一次のイメージの場所に位置決めされた二次のイメージングアレイ、
前記二次のイメージングアレイのための瞳のイメージの場所に位置決めされたセンサーアレイ、及び、
前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するオートフォーカス機構
を具備する、プレノプティックイメージングシステム。
【請求項１７】
請求項１６のプレノプティックイメージングシステムにおいて、
前記オートフォーカス機構は、ルックアップテーブルをさらに具備すると共に、
前記オートフォーカス機構は、前記ルックアップテーブルに基づいて前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、
プレノプティックイメージングシステム。
【請求項１８】
請求項１７のプレノプティックイメージングシステムにおいて、
前記ルックアップテーブルは、チップ又はソフトウェアに格納されたものである、
プレノプティックイメージングシステム。
【請求項１９】
請求項１６のプレノプティックイメージングシステムにおいて、
前記オートフォーカス機構は、前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、プレノプティックイメージングシステム。
【請求項２０】
現存するイメージングシステムにプレノプティックセンサーモジュールを組み込むための方法であって、
前記プレノプティックセンサーモジュールは、二次のイメージングアレイ及びセンサーアレイを具備するものであると共に、
前記方法は、
前記現存するイメージングシステムのための一次のイメージの場所に前記プレノプティックセンサーモジュールを位置決めすること、及び、
前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記現存するイメージングシステムに相対的な前記プレノプティックセンサーモジュールの軸方向の位置を調節すること
を具備する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、一般にはプレノプティックイメージングシステムに、及びより詳しくはプレノプティックイメージングシステムのフォーカシングに、関係する。
【背景技術】
【０００２】
プレノプティックイメージングシステムは、最近、増加した注目を受けてきたものである。それを、取得されたプレノプティックイメージのディジタル処理をすることに基づいて、対象の異なるフォーカスの点又は視点を再度算出するために使用することができる。プレノプティックシステムは、また、瞳のアパーチャの平面において多モードのフィルターアレイを使用する、多モードのイメージングにおける用途を見出す。各々のフィルターは、センサーにイメージングされると共に、フィルターの平面に各々のイメージングの様相について対象のマルチプレックス化されたイメージを有効に生じさせる。プレノプティックイメージングシステムについての他の用途は、変動する視野の深度のイメージング及び高いダイナミックレンジのイメージングを含む。
【０００３】
しかしながら、あるものは、幾何光学の考察を超えて行くものであるプレノプティックイメージングシステムの光学設計についての限定された文献である。これまでは、これらのシステムについての文献の大部分は、コンピュータービジョン、グラフィック、及びディジタル処理をするアルゴリズムのエリア、−どのようにしてプレノプティックシステムのセンサーで取得されたデータの“光の場”の性質をさらに処理するかということ−、に集中させられたものである。これらのアルゴリズムは、プレノプティックイメージと共に、それらが取得された後にすることがどのようなものであるかということに焦点を合わせる。追加として、それらのアルゴリズムの多数のものは、プレノプティックイメージングシステムに対して特異的なものではないものである；それらを、マルチレンズイメージングシステム（互いに対して隣接して取り付けられたマルチプルカメラ）のような、完全に異なる構成に直接的に移すことができる。この働きの本体は、プレノプティックイメージングシステムが良好に設計されてきた、製造されてきた、及び組み立てられてきたものであることを仮定する。しかしながら、あるものは、どのようにしてプレノプティックイメージングシステムを現実に設計する、製造する、又は組み立てるかということを説明するあまり多量なものではない文献である。
【０００４】
一つの例として、プレノプティックイメージングシステムを“フォーカシング”することを考察する。センサーに対象の鮮鋭なイメージを生じさせる為に、どのように従来のイメージングシステムをフォーカシングするかということについての多くのことは、知られたものである。しかしながら、“インフォーカス”であるものであるプレノプティックイメージングシステムは、センサーアレイに対象の鮮鋭なイメージを生じさせるものではないものである。プレノプティックイメージングシステムにおいて、センサーアレイは、イメージの平面に共役な平面に置かれるものではないものである。従って、従来のフォーカシングの判断基準は、プレノプティックシステムをフォーカシングすることに適当なものではないものである。回折の効果を含む、プレノプティックシステムを設計する為に、システムの質を測るために使用することができるものである適当な評価の計量を得ることは、望ましいことである。
【０００５】
このように、あるものは、そのような判断基準についての要望である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、センサーアレイによって取得されたプレノプティックイメージに基づいたプレノプティックイメージングシステムにおける構成部品の軸方向のスペーシング（即ち、“デフォーカス”）を調節するためのアプローチを提供することによって先行技術の限定を克服する。
【課題を解決するための手段】
【０００７】
プレノプティックイメージングシステムは、一次のイメージングサブシステム、二次のイメージングアレイ、及びセンサーアレイを含む。“インフォーカス”のものであるプレノプティックイメージングシステムは、センサーアレイに対象の鮮鋭なイメージを生じさせるものではないことになる。このように、従来のイメージングシステムに使用されたものとは異なるフォーカシングの計量が要求される。一つのアプローチにおいて、一次のイメージングサブシステムに相対的な二次のイメージングアレイの軸方向の位置は、センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて調節される。異なるバリエーションにおいては、これは、プレノプティックイメージにおけるリンギングの周波数に、プレノプティックイメージにおけるリンギングによって引き起こされたリプルの数に、又は、プレノプティックイメージにおけるリンギングの平坦度若しくはコントラストに、基づいた計量を使用することによって達成される。
【０００８】
さらには、プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて二次のイメージングアレイに相対的なセンサーアレイの軸方向の位置を調節することができる。追加として、一度、二次のイメージングアレイ及び／又はセンサーアレイのインフォーカスの位置が決定されてしまったものであると、対象までの距離を見積もることができる。
【０００９】
これらの原理を他の方式においてもまた使用することができる。例えば、それらをオートフォーカスの可能性を備えたプレノプティックイメージングシステムについての基礎として使用することができる。交互に、それらを現存するイメージングシステムへとプレノプティックセンサーモジュール（即ち、センサーアレイを加えた二次のイメージングアレイ）を組み込むために使用することができる。最後の例として、プレノプティックイメージに基づいたメリット関数をプレノプティックイメージングシステムのための設計プロセスに使用することができる。
【００１０】
当該発明の他の態様は、方法、デバイス、システム、及び上に記載された原理に関係した用途を含む。
【図面の簡単な説明】
【００１１】
当該発明は、他の利点及び特徴を有するが、それらは、付随する図面と併せて考慮されたとき、後に続く発明の詳細な説明及び添付された請求項からより容易に明白なものであることになる。
【００１２】
【図１】図１は、プレノプティックイメージングシステムの単純化された図である。
【図２】図２ａ〜２ｄは、インフォーカスシステムの応答を示すシミュレートされたイメージである。
【図３】図３ａ〜３ｄは、ｚ２におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。
【図４】図４ａ〜４ｄは、ｚ３におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。
【図５】図５は、プレノプティックイメージングシステムを整列させるためのフロー図である。
【図６ａ】図６ａは、ｚ２の関数としての平坦度のプロットである。
【図６ｂ】図６ｂは、ｚ２の関数としての低い周波数のリプルの数のプロットである。
【図７ａ】図７ａは、ｚ３の関数としてのエッジの鮮鋭度のプロットである。
【図７ｂ】図７ｂは、ｚ３の関数としてのエッジの幅のプロットである。
【図８】図８は、オートフォーカスを備えたプレノプティックイメージングシステムの図である。
【図９ａ】現存するイメージングシステムへ組み込まれたプレノプティックセンサーモジュールの図である。
【図９ｂ】現存するイメージングシステムへ組み込まれたプレノプティックセンサーモジュールの図である。
【図１０】図１０は、プレノプティックイメージングシステムを設計するためのフロー図である。
【００１３】
図は、例示の目的のみのために本発明の実施形態を描く。当業者は、ここに例示された構造及び方法の代替の実施形態がここに記載された発明の原理から逸脱すること無く用いられることがあることを後に続く議論から容易に認識することになる。
【発明を実施するための形態】
【００１４】
図及び後に続く記載は、例示のみの方式による好適な実施形態に関係する。後に続く議論から、ここに開示された構造及び方法の代替の実施形態が、請求されるものの原理から逸脱することなく用いられることがあるものである現実味のある代替品として容易に認識されることになることは、留意されるべきことである。
【００１５】
サンプル構成。
【００１６】
図１は、プレノプティックイメージングシステムの単純化された図である。システムは、（図１において単一のレンズによって表現された）一次のイメージングサブシステム１１０、（小型レンズアレイによって表現された）二次のイメージングアレイ１２０、及びセンサーアレイ１３０を含む。これらは、図１においてサブシステム１及びサブシステム２と称された、二つの重なり合うイメージングサブシステムを形成する。
【００１７】
空間的な座標（ξ，η）は、対象の平面で、（ｘ，ｙ）は、イメージングサブシステム１についての瞳の平面で、（ｕ，ｖ）は、小型レンズアレイの平面で、及び、（ｔ、ｗ）は、センサーの平面で、使用されることになる。一次のレンズは、対象からの距離ｚ１であると共に、小型レンズアレイは、一次のレンズからの距離ｚ２であると共に、センサーは、小型レンズアレイからの距離ｚ３である。図１において、異なる構成部品は、各々、単一の平面に位置させられたものであるのだから、構成部品の間における距離は、定義することが簡単なものである。しかしながら、他のシステムにおいては、異なる構成部品は、より複雑なものであることがある（例．一次の“レンズ”は、レンズのセットであることがある）が、しかし、知られた原理を使用することで距離ｚ１、ｚ２、ｚ３の概念を一般化することができる。一次のレンズ及び小型レンズアレイの焦点距離は、ｆ１及びｆ２によって表現されたものであると共に、それらの直径は、それぞれ、Ｄ１及びＤ２である。追加として、異なる構成部品は、図１に示されたような正確に設計される必要がないものである。例えば、“一次のレンズ”は、レンズ、ミラー、及び二つのものの組み合わせを含む、素子の様々な組み合わせであることがきできると思われる。同様に、二次のイメージングアレイは、ピンホールアレイ、又は反射性のアレイであることができると思われる。
【００１８】
イメージングサブシステム１において、対象１５０は、“一次のイメージ”と称されることになるものであるイメージを生じさせるために一次のレンズ１１０によってイメージングされる。この一次のレンズ１１０は、カメラのイメージングレンズである、顕微鏡の対物系のレンズである、又はいずれの他のそのようなイメージングシステムでもある、ことがある。小型レンズアレイ１２０は、おおよそ一次のイメージの場所に置かれる。そのとき、各々の小型レンズは、センサーの平面へ一次のレンズの瞳をイメージングする。これは、イメージングサブシステム２であるが、それは、イメージングサブシステム１と部分的に重なり合う。センサーアレイ１３０に作り出されたイメージは、“一次のイメージ”との混同を回避するために“プレノプティックイメージ”と称されることになる。プレノプティックイメージを、小型レンズの各々に対応する、サブイメージのアレイへと分割することができる。しかしながら、サブイメージが、イメージングサブシステム１の瞳のイメージであると共に、対象１５０のものではない、ことに留意すること。
【００１９】
波の伝播の分析。
【００２０】
今、波の伝播に基づいてこのシステムを分析する。第一のイメージングサブシステムを考察するが、そこでは一次のレンズは、一般化された瞳関数Ｐ１を有する。それの対応するインパルス応答は、
【数１】
2012242841.tif 000003
によって与えられるが、そこではλは、イメージングの波長、ｋ＝２π／λであると共に、対象からイメージの平面までの倍率は、Ｍ＝−ｚ２／ｚ１によって与えられる。等式（１）における積分においてｘ’＝ｘ／λｚ２及びｙ’＝ｙ／λｚ２を代入することは、
【数２】
2012242841.tif 000004
を生み出すが、そこでは我々は、
【数３】
2012242841.tif 000005
として便宜のためにｈ１’を定義しておいたものである。これは、
【数４】
2012242841.tif 000006
へ等式（１）を換算する。
【００２１】
そのとき、複素数の場Ｕ０を有する対象は、
【数５】
2012242841.tif 000007
によって与えられた、小型レンズアレイの平面にイメージを生じさせる。等式（４）及び（５）を使用すること、並びに、ξ’＝Ｍξ及びη’＝Ｍηを代入することは、
【数６】
2012242841.tif 000008
を生み出す。上の等式を（記号＊によって指し示された）畳み込み：
【数７】
2012242841.tif 000009
として書くことができる。これは、小型レンズアレイの平面に一次のレンズによって形成された第一のイメージの場を生み出す。
【００２２】
我々は、各々の小型レンズが直径Ｄ２、焦点距離ｆ２、Ｐ２によって与えられた瞳関数を有すると共にアレイにあるものは、Ｍ’×Ｎ’個のそのような小型レンズであることを仮定する。そのとき、小型レンズアレイの後における場Ｕｉの振幅の分布は、
【数８】
2012242841.tif 000010
のように書かれることがある。
【００２３】
小型レンズアレイから距離ｚ３に位置させられるものである、センサーへこの場を伝播させるためにフレネル（Ｆｒｅｓｎｅｌ）変換を使用することで、
【数９】
2012242841.tif 000011
を生み出す。さらに、単純化は、
【数１０】
2012242841.tif 000012
を与える。等式（１０）を使用することで、センサーで取得されたプレノプティックイメージは、
【数１１】
2012242841.tif 000013
によって与えられる。
【００２４】
シミュレーションの結果。
【００２５】
我々は、一般的な蛍光性のものではない点の対象についてＭａｔｌａｂにおいてこの分析をシミュレーションしたと共に、システムにおける軸方向の距離を変動させることの効果を試験した。一次のレンズ及び小型レンズアレイの焦点距離は、ｆ１＝５１ｍｍ及びｆ２＝５ｍｍであった。一次のレンズのアパーチャは、直径Ｄ１＝１０ｍｍの円に内接させられた五角形である。五角形の形状は、瞳の効果及び対象の効果がより明白なものであると思われるように、選択されたものであった。対象は、一次のレンズから対象の距離ｚ１＝５００ｍｍにあるものである。多数の小型レンズのアレイにおける各々の小型レンズは、直径Ｄ２＝０．５ｍｍを備えた円形のものである。一次のレンズの平面からの小型レンズアレイの理想的な距離は、ｚ２＝１／（１／ｆ１−１／ｚ１）に基づいて、５６．８ｍｍであることが算出された。小型レンズアレイからのセンサーについての理想的な距離は、ｚ３＝１／（１／ｆ２−１／ｚ２）によって与えられた、５．５ｍｍである。
【００２６】
簡潔さの目的のために、我々は、軸上の小型レンズ及び軸上の対象の点のみについてシミュレーションの結果を表示する。しかしながら、分析及びシミュレーションは、軸外の対象の点及び小型レンズについて妥当なままである。例えば、軸上の対象の点は、インフォーカスであるとすれば軸上の小型レンズにフォーカシングされたスポットを生じさせることになるものである、一次のイメージを生じさせることになる。点源のアレイであるものである対象を使用することによってアレイにおける小型レンズの全て（又は選択されたサブセット）について類似の状況を生じさせることができるが、各々の点源は、対応する小型レンズにイメージングされる。
【００２７】
インフォーカスシステム。図２ａ−２ｄは、それがインフォーカスにあるものであるときに、このシステムの応答を示すシミュレートされたイメージである。これらの条件の下では、第一のイメージングサブシステムは、完璧なフォーカスにあるものである。よって、軸上の点の対象は、小型レンズアレイの平面におけるしっかりとフォーカシングされたスポットへイメージングされるが、それは、第一のイメージングサブシステムのインパルス応答に対応する。そのとき、それは、軸上の小型レンズの有限な広がりによって切り取られる。切り取られたインパルス応答は、図２ａに示される。インパルスは、それのかすかな詳細を強調するために図２ａにおいて｜Ｕ’ｉ｜０．１として表示される。インパルス応答の中心から放射する五つのスジは、我々のシミュレーションにおいては一次のレンズの五つの辺を有する（五角形の）瞳のフーリエ（Ｆｏｕｒｉｅｒ）変換に対応する。五角形の形状は、純粋に例示の目的のために選択された。円形の境界は、円形の小型レンズのエッジに対応する。
【００２８】
そのとき、この場Ｕ’ｉは、等式（１１）に与えられた強度Ｉｆとしてセンサーへ伝播されると共にそれにおいて取得される。図２ｂ−２ｄは、プレノプティックイメージの一つのサブイメージを示す。対象が、点源であるので、サブイメージは、一次のレンズの五角形に整形された瞳のイメージである。図２ｂは、Ｉｆ０．１を表示すると共に、図２ｃは、これの拡大された部分を示す。図２ｄは、図２ｃと同じ拡大された部分を示すが、しかし、Ｉｆ２．５が、切り取りによるエッジにおける細かいリングを示すために表示される。便宜にために、我々は、瞳イメージ関数（ＰＩＦ）として、点の対象について各々の小型レンズによって生じさせられた、瞳のこのイメージを参照する。
【００２９】
ｚ１、ｚ２、及びｚ３がインフォーカスにあるものである理想的な事例において、あるものは、瞳イメージ関数の内部に細かいへりであると共に、エッジは、図２ｄに見られるような小さい鮮鋭なオーバーシュートを有する。しかしながら、全体的に、ＰＩＦのエッジは、鮮鋭なものであると共に、内部は、相対的に平坦なものである。
【００３０】
ｚ２のデフォーカス。今、ｚ２におけるデフォーカスの誤差の効果を考察する。正確なｚ１及びｚ３を仮定すると、我々は、今、ｚ２の値における不正確の効果を試験する。我々は、ｚ１＝５００ｍｍ及びｚ３＝５．５ｍｍを保持した。しかし、５６．８ｍｍの代わりに、我々は、ｚ２＝５４ｍｍを使用する。図３ａ−３ｄは、ｚ２におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。
【００３１】
図３ａは、小型レンズによって切り取られた、第一のイメージングサブシステムのインパルス応答を示す。図３ａに示されたように、ｚ２の値におけるデフォーカスは、小型レンズアレイが、軸方向の位置に置かれるが、そこでは、第一のイメージングサブシステムのインパルス応答が、いくらかのデフォーカスを含有することを暗示する。従って、小型レンズアレイは、一次のレンズのこのデフォーカスされたインパルス応答を取得すると共に切り取る。これは、さらに、センサーへ伝播されると共に、図３ｂ−３ｄにおいて示された瞳イメージ関数として取得される。図３ｂ及び３ｃは、それぞれ、Ｉｆ２．５及びＩｆ０．１を表示する。図３ｄは、図３ｃの拡大された図である。ＰＩＦは、内部におけるリンギングを示す（図３ｂ及び２ｂを比較する）が、しかし、図３ｃ−３ｄは、一次のレンズの瞳の五角形に整形されたイメージのエッジが、相対的に鮮鋭なままであることを示す。これは、多分、第一のイメージングサブシステムにおけるデフォーカスにもかかわらず、センサーに一次のレンズの瞳をイメージングするものである第二のイメージングサブシステムが、ｚ２における変動に対してより大きい公差を有すると共に適度にフォーカシングされたままであるためである。
【００３２】
ｚ３のデフォーカス。今、ｚ３におけるデフォーカスの誤差の効果を考察する。正確なｚ１及びｚ２を仮定すると、我々は、今、ｚ３の値における不正確の効果を試験する。我々は、ｚ１＝５００ｍｍ及びｚ２＝５６．８ｍｍを保持した。しかし、５．５ｍｍの代わりに、我々は、ｚ３＝５ｍｍを使用する。図４ａ−４ｄは、ｚ３におけるデフォーカスを備えたシステムの応答を示すシミュレートされたイメージである。
【００３３】
図４ａは、第一のイメージングサブシステムのインパルス応答を示す。期待されたように、ｚ３における不正確は、第一のイメージングサブシステムに影響を有するものではない。従って、対象の点は、小型レンズアレイに正確にイメージングされる。しかしながら、ｚ３におけるデフォーカスは、第二のイメージングサブシステムにおけるデフォーカスを作り出す。図４ｂ及び４ｃは、それぞれ、Ｉｆ２．５及びＩｆ０．１を表示する。図４ｄは、図４ｃの拡大された図である。図４ｃ−４ｄは、たとえＰＩＦの内部が図４ｂに示されたように相対的に平坦なものであるとしても、五角形に整形された瞳のイメージのエッジが、今、ぼやけさせられたものであることを示す。
【００３４】
いくつかの用途。
【００３５】
上に示されたように、ＰＩＦのエッジにおけるぼけは、ｚ３におけるデフォーカスのインジケーターであると共に、ＰＩＦの内部におけるリンギング（より一般的には、ＰＩＦにおける高い周波数のコンテントの量）は、ｚ２におけるデフォーカスのインジケーターである。これらのインジケーターを多数の異なる方式で使用することができる。例えば、それらを、プレノプティックイメージングシステム内における構成部品の正しい軸方向のスペーシングを決定することを助けるために使用することができる。どの特性が観察されるかに依存して、一次のイメージングサブシステム及び二次のイメージングアレイの間における距離（ｚ２）及び／又は二次のイメージングアレイ及びセンサーアレイの間における距離（ｚ３）のいずれかが、調節されることがある。この整列は、プレノプティックイメージングシステムの組み立ての間に起こることがある、又は、それは、視野におけるプレノプティックイメージングシステムのオートフォーカス又はマニュアルフォーカスの調節として実施されることがある。現存するイメージングシステムが、プレノプティックセンサーモジュール（即ち、センサーアレイを加えた二次のイメージングアレイ）で現存するセンサーアレイを取り替えるによってプレノプティックイメージングシステムへ転換されるとき、整列は、また起こることがある。その事例においては、プレノプティックセンサーモジュールは、現存するシステムにおける一次のイメージング光学部品に対して整列させられるものでなければならない。
【００３６】
別の使用は、システムの設計の工程の間におけるものである。あるものが、プレノプティックイメージングシステムの質を取得するものであるあまり良好に定義されたものではない計量であるので、従来のレンズ設計のソフトウェアを使用することでプレノプティックイメージングシステムを設計することは、困難なことである。しかしながら、上の特性に基づいた計量を、今、デフォーカスに対してプレノプティックイメージングシステムを最適化するために使用することができる。最後の例の用途として、上の特性を、対象の距離ｚ１を見積もるために逆の様式で使用することができる。最適な距離ｚ２及びｚ３が（例．ぼけ及び高い周波数の特性を最適化することによって）知られたものであるとすれば、そのとき、これを、対象の距離ｚ１を見積もるために使用することができる。
【００３７】
可能性のある計量。
【００３８】
平坦度／高い周波数のコンテントの計量。ｚ２（即ち、一次のイメージングサブシステム及び二次のイメージングアレイの分離）におけるデフォーカスは、ＰＩＦの内部におけるリンギングによって特徴付けられる。より一般には、それは、ＰＩＦにおける高い周波数のコンテントの量によって特徴付けられる。ｚ２が、フォーカスへとやって来ると、リンギングは、より高い周波数のもの及びより少なく変調されたものになる（即ち、内部が、より平坦なものになるように、あるものは、より多い隆起、しかしより低いコントラストを備えたもの、である）。これは、ＰＩＦにおける高い周波数のコンテントが増加するものであるためである。これらの特性を測定するために異なる計量を使用することができる。例えば、計量は、リンギングのピーク及び谷（即ち、局所的な極大及び極小）の数を数えること、極大及び極小の検出についての勾配の分析、空間的な周波数の分析（例．ある一定の周波数より上に含有された百分率のエネルギー又は周波数にわたるエネルギーの分布）、又はリンギングの平坦度（例．ＤＣレベルによって割られた変調）に基づいたものであることができる。
【００３９】
この判定規準の自動化された検出の二つの例は、Ｍａｔｌａｂにおけるイメージを処理する機能を使用する。一つの例の計量は、Ｍａｔｌａｂにおける機能“ｉｍｒｅｇｉｏｎａｌｍａｘ”でＰＩＦの内部におけるピークを数える。この機能は、局所的な近隣におけるピークを検出する。我々は、ＰＩＦの内側で検出されたピークの合計の数を総計する。ＰＩＦの内部はより平坦なものになるとき、それにおける局所的なピーク（リプル）は、より細かいものになると共に、数において増加する。従って、ｚ２における減少するデフォーカスは、増加する数の局所的なピークによって特徴付けられるべきである。
【００４０】
別の例の計量は、“慎重な”エッジ検出器を使用することの選択肢を備えたＭａｔｌａｂの機能“ｅｄｇｅ”に基づいたものである。この機能は、細かい局所的な変動に対してあまり敏感なものではないものであると共に、（局所的なピークが単一のピクセルであることがあるｉｍｒｅｇｉｏｎａｌｍａｘとは違った）ＰＩＦの内部におけるより長い連続のエッジを検出する。ＰＩＦが、より平坦なものになると、ＰＩＦが、細かい局所的な変動によってより多く支配されるので、これらの低い周波数のピークから谷までのリプルの数は、減少する。従って、ｚ２のデフォーカスが減少すると、慎重なエッジ検出器は、より少数のエッジを見出す。
【００４１】
ぼけの計量：ＰＩＦのエッジのまわりのぼけを、例えば、鮮鋭度又はコントラストの検出のアルゴリズムを使用することによって、検出することができる。一つの例は、ｘ又はｙの次元（行又は列）のいずれかに沿ったＰＩＦの導関数を取ることに基づいたものである。ＰＩＦは、それの導関数が最大の勾配を示すものであるが、最も鮮鋭なエッジを含有すると共に、ｚ３の最適な位置を指し示すべきものである。シミュレーションにおいて、我々は、導関数を得るためにＭａｔｌａｂの機能“ｄｉｆｆ（ＰＩＦ，１）”を使用した。ｄｉｆｆ（ＰＩＦ，１）におけるピークから谷までの差異は、そのＰＩＦについて最も大きい勾配であるために、近似されたものである。この勾配は、ｚ３におけるデフォーカスが減少するにつれて、増加するべきものである。
【００４２】
別のぼけの計量は、ＰＩＦのエッジを閾値処理すること及び選択された閾値より上の値を有するものである全てのピクセルを数えることに基づいたものである。ぼけが低減するにつれて、エッジにおけるピクセルの数は、減少するべきものである。
【００４３】
この現象は単語“ぼけ”を使用することで記載されてきたものであるが、しかし、鮮鋭度、コントラスト、等についての計量が、またぼけの尺度であることがあることは理解されるべきことであることに留意すること。
【００４４】
例の自動化された整列
【００４５】
図５は、上に記載された原理に基づいて、プレノプティックイメージングシステムを整列させるためのフロー図である。この例においては、ｚ２及びｚ３を正確に算出することは可能性のあるものではないことであるように、対象が未知の対象距離ｚ１にあるものであることが、仮定される。代わりに、ｚ２及びｚ３は、後に続くもののように調節される。初期のセッティングをする際に、ｚ３は、ｆ２へセットされる５１０。その次に、ｚ２は、センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて調節される５２０。その次に、ｚ３は、ＰＩＦにおけるぼけを低減することに基づいて調節される５３０。ステップ５２０及び５３０は、繰り返される又は交換されることがある。交互に、ｚ２及びｚ３は、高い周波数及びぼけの特性の両方を説明するものである計量に基づいて同時に調節されることがある。より詳細なことは、先に導入された例のプレノプティックイメージングシステムを使用することで、下に与えられる。
【００４６】
ステップ５１０において、センサーアレイは、小型レンズアレイの後方のフォーカスの平面へ移動させられる、即ち、ｚ３＝ｆ２＝５ｍｍ。これを、コリメートされた光を使用すること及びそれをセンサーにおける引き締まったスポットへフォーカシングするための小型レンズアレイを使用することで実験的にすることができる。
【００４７】
ステップ５２０において、我々は、ｚ３が一定のままである一方でｚ２が変化するように、一斉に小型レンズアレイ及びセンサーアレイを移動させる５２２。センサーアレイは、ｚ２の異なる値でプレノプティックイメージを取得する５２５。平坦度の計量は、これらの異なる値で算出される５２６。この例において、ｚ１＝５００ｍｍ及びｚ３＝ｆ２＝５ｍｍである。図６ａは、ｚ２〜５４ｍｍから５８ｍｍまでについてｉｍｒｅｇｉｏｎａｌｍａｘによって検出された局所的なピークにおけるピクセルの数をプロットする。このプロットは、ｚ２＝５６．８ｍｍで最大を示す。図６ｂは、ｚ２〜５４ｍｍから５８ｍｍまでについての慎重なエッジ検出器によって検出されたエッジにおけるピクセルの数をプロットする。それは、また、ｚ２＝５６．８ｍｍで最小を示す。二つの異なる計量についてのこれらの曲線は、両方とも、小型レンズアレイについての軸方向の位置ｚ２＝５６．８ｍｍが、ＰＩＦについて最も平坦な内部を与えることを示す５２７。このように、小型レンズアレイは、この場所にセットされる５２９。そのように、ｚ１＝５００ｍｍ及びｚ２＝５６．８ｍｍである。
【００４８】
ステップ５３０において、我々は、ｚ３が変化するように、センサーを移動させる５３２。ステップ５２０への類似の手順は、使用される。センサーアレイは、ｚ３の異なる値でプレノプティックイメージを取得する５３５。ぼけの計量は、これらの異なる値で算出される５３６。図７ａは、Ｍａｔｌａｂにおける関数ｄｉｆｆ（ＰＩＦ，１）を使用することで得られた、（行に沿った）ＰＩＦの導関数における最大から最小までの差異をプロットする。プロットは、ｚ３＝５．５ｍｍについて最大を示す。図７ｂは、ｚ３＝５．１ｍｍから５．８ｍｍまでについて閾値処理されたエッジのぼけにおけるピクセルの数をプロットする。それは、また、ｚ３＝５．５ｍｍで最小を示す。二つの異なるぼけの計量についてのこれらの曲線は、両方とも、センサーアレイについての軸方向の位置ｚ３＝５．５ｍｍが、最も多くぼけを低減することを示す５３７。このように、センサーアレイは、この場所へセットされる５３９。
【００４９】
図６から７までが、各々、三つの異なる小型レンズについてのプロットを示すことに留意すること。小型レンズアレイが多数の小型レンズを含有すると共に、それらの各々がプレノプティックイメージ内に対応するサブイメージを生じさせることを思い出すこと。このアレイの性質を異なる方式で扱うことができる。例えば、様々な計量（ぼけ、平坦度、高い周波数のコンテント、等）を各々のサブイメージについて算出すると共にこれらの計量を最適化のために単一の計量へと組み合わせることができる。組み合わせることについての二つの共通の方法は、（重みがつけられた平均化をすることを含む）平均化することに、又は、最も悪い事例を取ることに、基づいたものである。また、計量を、全てのサブイメージについて、又は、ちょうどサブイメージのサブセット若しくはサンプリングについて、算出することができる。プレノプティックイメージにおける異なる波長を、類似の様式で取り扱うことができる。プレノプティックイメージングシステムが、ある範囲の対象の距離について固定された位置を有するとすれば、そのとき対象の距離における変動をもまた、類似の様式で（例．異なる対象の距離における性能の何らかの組み合わせを取ることによって）取り扱うことができる。プレノプティックイメージングシステムは、瞳において対応するフィルターを置くことによって異なるサブイメージについて異なるフィルター処理をすることを果たすために一般的に使用される。例えば、異なる波長のフィルターは、瞳における異なる場所で使用されることがある。異なるサブイメージにわたる性能をもまた類似の様式で取り扱うことができる。
【００５０】
より多くの用途
【００５１】
プレノプティックイメージングシステムが、調節可能なものであるとすれば、そのとき、上に記載された原理をオートフォーカスの機構において実施することができる。図８は、オートフォーカスを備えたプレノプティックイメージングシステムのブロック図である。オートフォーカスの機構８５０は、センサーアレイ１３０によって取得されたプレノプティックイメージを受けると共に、取得されたイメージに基づいて、距離ｚ２及び／又はｚ３を調節する。一つのアプローチにおいて、距離は、図５に記載されたもののようなアルゴリズムに基づいて調節される。
【００５２】
他の用途において、ｚ１は、ｚ２及び／又はｚ３に追加して又はそれ（ら）の代わりに変動させられることがある。例えば、二次のイメージングアレイからセンサーアレイまでの距離が固定されたもの（即ち、固定されたｚ３）であるとすれば、対象の距離ｚ１を調節することによってプレノプティックイメージングシステムをフォーカシングすることは、可能性のあることであることがある。
【００５３】
別のアプローチにおいて、ルックアップテーブルは、ｚ２の異なる値に対応するものであるｚ３の値を列挙する。距離ｚ２は、取得されたプレノプティックイメージに基づいて決定されると共に、距離ｚ３は、ルックアップテーブルに基づいて決定される。
【００５４】
別のバリエーションとして、一度ｚ２及び／又はｚ３が決定されると、それらを、対象の距離ｚ１を見積もるために使用することができる。ルックアップテーブルは、ハードウェアにおけるソフトウェア／チップにおけるファームウェアに格納されたものであることがある。
【００５５】
なおも別のアプローチにおいて、プレノプティックイメージングシステムは、単一の調節の使用によって、手動で又は自動的にいずれかでフォーカシングされる。例えば、ｚ２についての一つの調節及びｚ３についての第二の調節を提供することの代わりに、ｚ２及びｚ３は、結合させられると共に一つの調節を通じて一緒に変動させられることがある。この結合させることは、上に記載された原理に基づいたものであることがある。類似のアプローチを、ｚ１、ｚ２、及びｚ３の中からの他の距離が調節可能なものである事例について、使用することができる。
【００５６】
類似のアプローチは、図９ａ−９ｂに示されたように、現存するイメージングシステムがプレノプティックイメージングシステムへ転換されるとき、使用されることがある。図９ａは、現存するイメージングシステムを示すが、それは、一次のレンズ９１０及び従来の一次のイメージを取得するものであるセンサーアレイ９３２を含む。図９ｂに示されたように、従来のセンサーアレイ９３２は、プレノプティックセンサーモジュール９２０によって取り替えられるが、それは、二次のイメージングアレイ１２０及びセンサーアレイ１３０を含む。プレノプティックセンサーモジュールの改装は、上に記載されたような、一次のイメージングサブシステム９１０とのモジュールの整列を含む。
【００５７】
別の態様において、記載された原理を、図１０のフロー図に示されたように、設計の局面の間にもまた使用することができる。候補の設計１０１０についての瞳イメージ関数は、算出される１０２０。ＰＩＦは、高い周波数のコンテントの計量１０３０及び／又はぼけの計量１０４０を算出するために使用される。計量が十分に良好なものであるとすれば、そのとき、レンズの設計は、完了させられる１０５０。そうでなければ、設計は、繰り返される１０６０。他のアプローチをもまた使用することができる。例えば、異なる計量又は計量の組み合わせを使用することができると思われる。高い周波数のコンテントの計量のみ又はぼけの計量のみを使用することができると思われる、又は、二つのものを組み合わせる又は（二乗平均平方根の波面の誤差又はスポットのサイズのような）他の計量とこれらの計量を組み合わせるものである計量を使用することができると思われる。別の代替案として、計量を、直接的に瞳イメージ関数を算出すること無しに評価することができると思われる。
【００５８】
詳細な説明が多数の特定のものを含有するとはいえ、これらは、発明の範囲を限定するものとしてではなく、単に発明の異なる例及び態様を例示するものとして、解されるべきものである。発明の範囲が、上に詳細に議論されたものではない他の実施形態を含むことは、認識されるべきことである。当業者に明らかなものであることになる様々な他の変更、変化、及び変動は、添付された請求項において定義されたような発明の趣旨及び範囲から逸脱することなしにここに開示された本発明の方法及び装置の配置、動作、及び詳細においてなされることがある。従って、発明の範囲は、添付された請求項及びそれらの法律上の均等物によって決定されるべきものである。
【００５９】
［付記］
付記（１）：
プレノプテイックイメージングシステムをフォーカシングするための方法であって、
前記プレノプテイックイメージングシステムは、一次のイメージングサブシステム、二次のイメージングアレイ、及びセンサーアレイを具備するものであると共に、
前記方法は、
前記センサーアレイによって取得された対象のプレノプテイックイメージを受けること、及び、
前記プレノプテイックイメージンにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節すること
を具備する、方法。
付記（２）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプティックイメージにおけるリンギングの周波数を増加させることに基づいたものである、方法。
付記（３）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングによって引き起こされたリプルの数を増加させることに基づいたものである、方法。
付記（４）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージにおけるリンギングの平坦度を増加させることに基づいたものである、方法。
付記（５）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数のサブイメージにおける高い周波数のコンテントを説明する計量に基づいたものである、方法。
付記（６）：
付記（１）の方法において、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するステップは、前記プレノプテイックイメージ内の複数の波長における高い周波数のコンテントを説明する計量に基づいたものである、方法。
付記（７）：
付記（１）の方法であって、
前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置を調節すること
をさらに具備する、方法。
付記（８）：
付記（１）の方法において、
前記対象は、少なくとも一つの点の対象を含む、方法。
付記（９）：
付記（８）の方法において、
前記対象は、点の対象のアレイを含むと共に、
各々の点の対象は、前記二次のイメージングアレイにおける個々のイメージング素子に対応するものである、
方法。
付記（１０）：
付記（１）の方法において、
前記プレノプティックイメージングシステムは、前記プレノプティックイメージ内の異なるサブイメージについての異なる波長のフィルターを含む、方法。
付記（１１）：
付記（１）の方法であって、
前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置に基づいて、前記対象までの距離を見積もること
をさらに具備する、方法。
付記（１２）：
付記（１）の方法において、
前記一次のイメージングサブシステムは、反射性のサブシステムである、方法。
付記（１３）：
付記（１）の方法において、
前記二次のイメージングアレイは、マイクロレンズアレイである、方法。
付記（１４）：
付記（１）の方法において、
前記二次のイメージングアレイは、ピンホールアレイである、方法。
付記（１５）：
プレノプティックイメージングシステムを自動的に設計するためのコンピューターで実施される方法であって、
前記プレノプティックイメージングシステム内の一次のイメージングサブシステム及び二次のイメージングアレイのための候補の設計を含むものである、前記プレノプティックイメージングシステムのための候補の設計にアクセスすること、
プレノプティックイメージにおける高い周波数のコンテントに関する軸の方向に沿って単調なものである計量を算出すること、並びに、
前記プレノプティックイメージにおける前記高い周波数のコンテントを増加させる様式で前記計量を改善することに基づいて、前記候補の設計を調節すること
を具備する、方法。
付記（１６）：
オートフォーカスのプレノプティックイメージングシステムであって、
一次のイメージングサブシステム、
おおよそ前記一次のイメージングサブシステムのための一次のイメージの場所に位置決めされた二次のイメージングアレイ、
おおよそ前記二次のイメージングアレイのための瞳のイメージの場所に位置決めされたセンサーアレイ、及び、
前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記一次のイメージングサブシステムに相対的な前記二次のイメージングアレイの軸方向の位置を調節するオートフォーカス機構
を具備する、プレノプティックイメージングシステム。
付記（１７）：
付記（１６）のプレノプティックイメージングシステムにおいて、
前記オートフォーカス機構は、ルックアップテーブルをさらに具備すると共に、
前記オートフォーカス機構は、前記ルックアップテーブルに基づいて前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、
プレノプティックイメージングシステム。
付記（１８）：
付記（１７）のプレノプティックイメージングシステムにおいて、
前記ルックアップテーブルは、チップ又はソフトウェアに格納されたものである、
プレノプティックイメージングシステム。
付記（１９）：
付記（１６）のプレノプティックイメージングシステムにおいて、
前記オートフォーカス機構は、前記プレノプティックイメージングシステムの瞳イメージ関数におけるぼけを低減することに基づいて、前記二次のイメージングアレイに相対的な前記センサーアレイの軸方向の位置をさらに調節する、プレノプティックイメージングシステム。
付記（２０）：
現存するイメージングシステムにプレノプティックセンサーモジュールを組み込むための方法であって、
前記プレノプティックセンサーモジュールは、二次のイメージングアレイ及びセンサーアレイを具備するものであると共に、
前記方法は、
おおよそ前記現存するイメージングシステムのための一次のイメージの場所に前記プレノプティックセンサーモジュールを位置決めすること、及び、
前記センサーアレイによって取得されたプレノプティックイメージにおける高い周波数のコンテントを増加させることに基づいて、前記現存するイメージングシステムに相対的な前記プレノプティックセンサーモジュールの軸方向の位置を調節すること
を具備する、方法。
【図１】
2012242841.tif 000014
【図２】
2012242841.tif 000015
【図３】
2012242841.tif 000016
【図４】
2012242841.tif 000017
【図５】
2012242841.tif 000018
【図６ａ】
2012242841.tif 000019
【図６ｂ】
2012242841.tif 000020
【図７ａ】
2012242841.tif 000021
【図７ｂ】
2012242841.tif 000022
【図８】
2012242841.tif 000023
【図９ａ】
2012242841.tif 000024
【図９ｂ】
2012242841.tif 000025
【図１０】
2012242841.tif 000026