(57)【要約】  モバイルデバイス用のプレノプティックカメラであって、メインレンズ（１０２）、マイクロレンズアレイ（１０４）、イメージセンサ（１０８）、および第１反射要素（５１０）を備えている。第１反射要素（５１０）は、イメージセンサ（１０８）に衝突する前にカメラによってキャプチャされた光の光路を折り畳む。追加の反射要素（５１２）を使用して、カメラ内部の光路をさらに折り畳むこともできる。反射要素（５１０、５１２）は、プリズム、ミラーまたは３面光学要素（８０２）の反射面（８０４ｂ、８１４ｂ）であり得る。３面光学要素（８０２）は、メインレンズ（１０２）のレンズ要素を形成する２つの屈折面（８０４ａ、８０４ｃ）を有する。このプレノプティックカメラをモバイルデバイスに装備することにより、現在の制約の下でモバイルデバイスの厚さを維持しながら、焦点距離を大幅に増加させることができる。
2021529334.tif 000002
【特許請求の範囲】
【請求項１】
メインレンズ（１０２）と、マイクロレンズアレイ（１０４）と、イメージセンサ（１０８）とを備えるプレノプティックカメラであって、
前記プレノプティックカメラは、前記イメージセンサ（１０８）に到達する前に、前記プレノプティックカメラによってキャプチャされた光線（６０１ａ）を反射するように構成される第１反射要素（５１０）をさらに備えることを特徴とする、プレノプティックカメラ。
【請求項２】
３面光学要素（８０２）を備えるプレノプティックカメラであって、
前記３面光学要素（８０２）は、前記メインレンズ（１０２）のレンズ要素を形成する２つの屈折面（８０４ａ、８０４ｃ）と、前記第１反射要素（５１０）を形成する反射面（８０４ｂ）とを有する、請求項１に記載のプレノプティックカメラ。
【請求項３】
前記３面光学要素（８０２）は、ガラスまたはプラスチックから作製される、請求項２に記載のプレノプティックカメラ。
【請求項４】
前記３面光学要素（８０２）の前記屈折面（８０４ａ、８０４ｃ）は、平面、凸面、凹面、非球面またはこれらの組み合わせである、請求項２または３に記載のプレノプティックカメラ。
【請求項５】
前記３面光学要素（８０２）の前記反射面（８０４ｂ）は、平面、凸面、又は凹面である、請求項２から４のいずれか１項に記載のプレノプティックカメラ。
【請求項６】
前記第１反射要素（５１０）はプリズムである、請求項１に記載のプレノプティックカメラ。
【請求項７】
前記第１反射要素（５１０）はミラーである、請求項１に記載のプレノプティックカメラ。
【請求項８】
前記第１反射要素（５１０）は、前記メインレンズ（１０２）に到着する前に、前記キャプチャされた光線（６０１ａ）を受光するように配置される、請求項１から７のいずれか１項に記載のプレノプティックカメラ。
【請求項９】
前記第１反射要素（５１０）は、前記光線（６０１ａ）が前記メインレンズ（１０２）の少なくとも１つのレンズ要素によって屈折された後に、前記光線（６０１ａ）を受光するように配置される、請求項１から７のいずれか１項に記載のプレノプティックカメラ。
【請求項１０】
前記メインレンズ（１０２）の第１レンズ要素の光軸（５０２）は、前記イメージセンサ（１０８）と平行である、請求項１から９のいずれか１項に記載のプレノプティックカメラ。
【請求項１１】
少なくとも１つのさらなる反射要素（５１２）を備え、前記少なくとも１つのさらなる構成要素（５１２）は、前記第１反射要素（５１０）によって反射された光線（６０１ｂ）を、前記イメージセンサ（１０８）に到達する前に反射するように構成される、請求項１から１０のいずれか１項に記載のプレノプティックカメラ。
【請求項１２】
少なくとも１つのさらなる３面光学要素（８１２）を備えるプレノプティックカメラであって、
前記少なくとも１つのさらなる３面光学要素（８１２）は、２つの屈折面（８１４ａ、８１４ｃ）と、前記少なくとも１つのさらなる反射要素（５１２）を形成する反射面（８１４ｂ）とを有する、請求項１１に記載のプレノプティックカメラ。
【請求項１３】
前記少なくとも１つのさらなる３面光学要素（８１２）は、ガラスまたはプラスチックから作製される、請求項１２に記載のプレノプティックカメラ。
【請求項１４】
前記光学要素（８１２）の前記屈折面（８１４ａ、８１４ｃ）は、平面、凸面、凹面、非球面またはそれらの組み合わせである、請求項１２または１３に記載のプレノプティックカメラ。
【請求項１５】
前記光学要素（８１２）の前記反射面（８１４ｂ）は、平面、凸面、または凹面である、請求項１２から１４のいずれか１項に記載のプレノプティックカメラ。
【請求項１６】
前記少なくとも１つのさらなる反射要素（５１２）は、プリズムまたはミラーである、請求項１１に記載のプレノプティックカメラ。
【請求項１７】
前記メインレンズ（１０２）は、複数の非接合レンズ要素を含む、請求項１から１６のいずれか１項に記載のプレノプティックカメラ。
【請求項１８】
前記メインレンズ（１０２）のレンズ要素のうちの少なくとも１つは非回転対称であり、前記少なくとも１つのレンズ要素の領域は、前記イメージセンサ（１０８）の寸法（ＩＳｚ、ＩＳｘ）に適合される、請求項１７に記載のプレノプティックカメラ。
【請求項１９】
前記メインレンズ（１０２）は、第１レンズ要素セットおよび第２レンズ要素セットを含み、各セットは１つ以上の同心レンズ要素を含み、
前記第１レンズ要素セットの光軸は、前記第２レンズ要素セットの光軸に垂直であり、前記イメージセンサ（１０８）に平行である、請求項１７に記載のプレノプティックカメラ。
【請求項２０】
前記第１反射要素（５１０）は、前記第１レンズ要素セットと前記第２レンズ要素セットとの間に配置される、請求項１９に記載のプレノプティックカメラ。
【請求項２１】
前記第１反射要素（５１０）は、前記メインレンズ（１０２）に到達する前に前記キャプチャされた光線（６０１ａ）を受光するように構成されており、
前記プレノプティックカメラは、前記第１レンズ要素セット（６５０、６５２）と前記第２レンズ要素セット（６５４、６５６）との間に配置される第２反射要素（５１２）を含み、前記第２反射要素（５１２）は、光線（６０１ｂ）がイメージセンサ（１０８）に到達する前に、前記第１反射要素（５１０）によって反射され、前記第１レンズ要素セット（６５０、６５２）によって既に屈折された光線（６０１ｂ）を反射するように構成される、請求項１９に記載のプレノプティックカメラ。
【請求項２２】
請求項１から２０のいずれか１項に記載のプレノプティックカメラを備える、モバイルデバイス用カメラモジュール（４００）。
【請求項２３】
前記プレノプティックカメラの構成要素は、前記カメラモジュール（４００）の厚さ（Ｓｚ）が１０ｍｍよりも小さくなるように配置される、請求項２２に記載のカメラモジュール（４００）。
【請求項２４】
請求項１〜２１のいずれか１項に記載のプレノプティックカメラ、または請求項２２もしくは２３に記載のカメラモジュール（４００）を含む、モバイルデバイス。
【請求項２５】
前記プレノプティックカメラの前記イメージセンサ（１０８）は、前記イメージセンサ（１０８）の法線（５０４）がモバイルデバイスの背面（７１０）と平行になるように、モバイルデバイス上に配置される、請求項２４に記載のモバイルデバイス。
【請求項２６】
前記プレノプティックカメラの構成要素は、前記モバイルデバイスの厚さ（Ｔｚ）が１０ｍｍよりも低くなるように配置される、請求項２４または２５に記載のモバイルデバイス。
【請求項２７】
前記モバイルデバイスがスマートフォン（７００）である、請求項２４〜２６のいずれか１項に記載のモバイルデバイス。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
〔技術分野〕
本発明は、マイクロレンズアレイ、マイクロレンズアレイを組み込んだ光学システム、ライトフィールド（light field）画像、ライトフィールドカメラおよびプレノプティック（plenoptic）カメラの分野に含まれる。
【０００２】
〔背景技術〕
プレノプティックカメラは、シーンの空間情報だけでなく角度情報もキャプチャすることができるイメージングデバイスである。このキャプチャされた情報は、４次元タプルＬＦ（ｐｘ，ｐｙ，ｌｘ，ｌｙ）として表すことができるライトフィールドとして知られている。ここで、ｐｘおよびｐｙは、センサへの光線の到来方向を選択し、ｌｘおよびｌｙは、これらの光線の空間位置である。プレノプティックカメラは、典型的にはセンサの前に配置されるマイクロレンズアレイによって形成される。
【０００３】
このシステムは、いくつかの視点（いわゆるプレノプティックビュー）からシーンをキャプチャすることと等価である。したがって、プレノプティックカメラは、マルチビューシステムであると考えることができる。ライトフィールドをキャプチャすることができる別のシステムは、いくつかのカメラのアレイ（整列）によって形成することができる。したがって、前記シーンにおける異なる対象物の深度（depth）（すなわち、当該対象物自体とカメラとの距離）に関する情報は、ライトフィールドにおいて暗黙のうちにキャプチャされる。プレノプティックカメラのこの能力は、深度マップ生成と３Ｄイメージングに関する広範な応用を必要とする。
【０００４】
２０１２年、Ｌｙｔｒｏは、国際市場で市販される最初のシングルアセンブリプレノプティックカメラを発表し、３年後にＬｙｔｒｏ  Ｉｌｌｕｍカメラを発表した。これ以来、他のライトフィールドカメラは、家電市場には発売されていない。Ｌｙｔｒｏの最初のプレノプティックカメラは、１２ｃｍの光軸に沿った機械サイズを有していた。Ｌｙｔｒｏ  Ｉｌｌｕｍカメラは、１２ｃｍを超える対物レンズ（ＤＳＬＲカメラのような）および約２０ｃｍのトータルサイズを有していた。Ｌｙｔｒｏ  Ｉｌｌｕｍカメラの改良された光学系は、５群のレンズである専用の対物ズームレンズによって、Ｉｌｌｕｍカメラが最初のＬｙｔｒｏカメラの性能を破ることを可能にした。消費者向けカメラにおけるこれら２つの侵入の後、Ｌｙｔｒｏは、非常に異なる市場、すなわち、シネマ市場に移り、非常に大きなカメラを製造した。当該カメラは、光学システムの長さが数十センチメートルであり得、７５５メガピクセルのセンサと非常に重要な解決（extremely heavy solutions）とを有している。これらのカメラは、手持ちのカメラではなく、三脚や重い機械構造によって保持されるプロ仕様の映画製作者用カメラである。
【０００５】
また、Ｌｙｔｒｏ以外にも、Ｒａｙｔｒｉｘは、産業用途を対象としたライトフィールド技術をベースとした製品をいくつか市場に投入している。これらのカメラは、良好な深度推定性能を保証する大型対物レンズを備えた大型カメラである。
【０００６】
結論として、ライトフィールドカメラは、３Ｄ画像と深度感知に関して良好な性能を実証した。しかしながら、プレノプティックカメラは、小型化することが非常に困難であるという事実のために、モバイルデバイス市場に持ち込まれたことがない。米国特許９，６４７，１５０−Ｂ２には、小型化されたプレノプティックセンサの製造方法が開示されている。しかしながら、既に説明したように、消費者向け電子市場に発売された最小のプレノプティックカメラは、１２ｃｍのＬｙｔｒｏカメラである。
【０００７】
プレノプティックカメラに対する性能は、焦点距離やｆ値のような主要な光学設計因子に依存する。これらの光学設計因子において、大きな焦点距離あるいは小さなｆ値は、カメラの性能を劇的に改善できる。小さなｆ値はスマートフォンレンズにおいて容易に見出されるが、大きな焦点距離は、スマートフォン市場の設計規則を満たすように設計および製造するのが非常に困難である。このことは、カメラのＭＴＴＬ（Ｍｅｃｈａｎｉｃａｌ  Ｔｏｔａｌ  Ｔｒａｃｋ  Ｌｅｎｇｔｈ：機械的総トラック長）において困難な制約を課す、非常に小さなモジュールの厚さに起因する。
【０００８】
さらに、現在のスマートフォン市場は、ミニカメラの寸法を世代ごとにますます縮小する傾向があり、大きな焦点距離を設計することの困難性を増大させている。したがって、焦点距離を大幅に増大させると同時にスマートフォンのサイズに関する機械的制約を満たすライトフィールド技術をスマートフォン市場に導入する必要がある。
【０００９】
（定義）
・プレノプティックカメラ：空間位置だけでなく、入射光線の到来方向もキャプチャすることができるデバイス。
・マルチビューシステム：いくつかの視点からシーンをキャプチャすることができるシステム。プレノプティックカメラはマルチビューシステムであるとみなすことができる。ステレオカメラおよびマルチステレオカメラもまた、マルチビューシステムとみなされる。
・ライトフィールド：４次元構造ＬＦ（ｐｘ，ｐｙ，ｌｘ，ｌｙ）であり、プレノプティックカメラのマイクロレンズ（ｌｘ、ｌｙ）の下流（below）のピクセル（ｐｘ，ｐｙ）によってキャプチャされた光からの情報を含む。
・深度：シーンの対象点（object point）の平面と、カメラの主平面（両方の平面は光軸に垂直である）との間の距離である。
・プレノプティックビュー：特定の値（ｐｘ，ｐｙ）を選択することによりライトフィールド構造のサブセットを取得することによって形成される２次元画像であり、マイクロレンズ（ｌｘ，ｌｙ）のすべてについて常に同じである。
・マイクロレンズアレイ（ＭＬＡ）：小さなレンズ（マイクロレンズ）のアレイ（整列）。
・深度マップ：算出された対象物世界（object world）の深度値が、加算値として２次元画像の各画素（ｘ,ｙ）に追加された２次元画像であり、深度＝ｆ（ｘ，ｙ）を構成する。
・視差（disparity）：カメラに入る対象物ポイントの２つ（またはそれ以上）の投射間の距離。
・ベースライン：ステレオ（またはマルチステレオ）構造における２つ（またはそれ以上）のカメラの位置の差。
・折り畳み光学系：特定の厚さの仕様に到達するように系の厚さを変える方法において、プリズムまたはミラーなどの反射要素を介して光路を折り曲げる光学系。
・ＯＴＴＬ（Ｏｐｔｉｃａｌ  Ｔｏｔａｌ  Ｔｒａｃｋ  Ｌｅｎｇｔｈ：光学的総トラック長）：光学系に入る点からセンサに到達する点までの、光が続く光路の長さ。
・ＭＴＴＬ（Ｍｅｃｈａｎｉｃａｌ  Ｔｏｔａｌ  Ｔｒａｃｋ  Ｌｅｎｇｔｈ：機械的総トラック長）：光学系の機械部品を含めるために必要なデバイスの総長。
・プリズムまたはミラー：光をある角度で反射させるために用いる光学部品であり、光の光路を曲げる。
【００１０】
〔発明の概要〕
ライトフィールド技術をスマートフォン市場に導入することを目的として、プレノプティックカメラの新しい概念をここに提示する。当該新しい概念では、プリズムもしくはミラーまたは他の反射要素を用いてレンズの光路を折り畳むことにより、レンズの厚さを増すことなく大きな焦点距離を有するレンズを設計することを可能にする。
【００１１】
本発明の第１の態様は、モバイルデバイス用のプレノプティックカメラに関する。当該プレノプティックカメラは、メインレンズ、マイクロレンズアレイ、イメージセンサ、および第１反射要素（好ましくはプリズムまたはミラー）を備える。前記第１反射要素は、イメージセンサに衝突する前に、カメラによってキャプチャされた光の光路を折り畳むために、イメージセンサに到着する前に、前記プレノプティックカメラによってキャプチャされた光線を反射するように構成されている。
【００１２】
一実施形態において、前記第１反射要素は、前記メインレンズに到着する前にキャプチャされた光線を受光するように配置される。別の実施形態では、前記第１反射要素は、前記メインレンズによって既に集束された光線を受光するように配置される。１つの前記反射要素のみを使用する場合、前記メインレンズの光軸は、好ましくは前記イメージセンサの表面に平行である（このようにして、光路は９０°または任意の他の角度に折り曲げられる）。
【００１３】
別の実施形態では、前記プレノプティックカメラは、１つ以上のさらなる反射要素（好ましくはプリズムまたはミラー）を備える。前記１つ以上のさらなる反射要素は、イメージセンサに到着する前に、第１反射要素によって反射された光線を反射するように構成される。したがって、前記さらなる反射要素は、前記第１反射要素と前記イメージセンサとの間に挿入される。これにより、前記さらなる反射要素は、光路をさらに折り畳み、所定の軸における前記プレノプティックカメラの物理的寸法を低減するのに役立つ。
【００１４】
前記メインレンズは、複数のレンズ要素を備えることができる。特に、前記メインレンズは、第１レンズ要素セットおよび第２レンズ要素セットを含むことができ、各セットは、１つ以上の同心レンズ要素を含む。両レンズ要素セットの物理的配置は、第１レンズ要素セットの光軸は、第２レンズ要素セットの光軸に垂直であり、イメージセンサに対して平行であるような配置であってもよい。一実施形態によると、前記第１反射要素は、前記第１レンズ要素セットと前記第２レンズ要素セットとの間に配置される。別の実施形態では、前記第１反射要素は、前記メインレンズに到着する前にキャプチャされた光線を受光するように配置されている。また、前記プレノプティックカメラは、前記第１レンズ要素セットと前記第２レンズ要素セットとの間に配置される第２反射要素を含む。前記プレノプティックカメラにおいて、前記第２反射要素は、前記第１反射要素によって反射され、前記第１レンズ要素セットによって既に集束された光線を、前記イメージセンサに到着する前に反射するように構成される。
【００１５】
本発明の別の態様は、先に説明したプレノプティックカメラを備えるモバイルデバイス用のカメラモジュールに関する。このカメラモジュールは、例えば、別個の部品であってもよい。当該カメラモジュールは、結合手段および電気的接点によって、スマートフォンに直接的に組み込まれる（例えば、スマートフォンに挿入される、またはスマートフォンの背面ケースに取り付けられる）。前記カメラモジュールにおいて、前記プレノプティックカメラの構成要素は、前記カメラモジュールの厚さが１０ｍｍよりも小さくなるように配置される。
【００１６】
本発明のさらなる態様は、前述のプレノプティックカメラまたはカメラモジュールを備えるモバイルデバイス、好ましくはスマートフォンに関する。前記モバイルデバイスでは、前記プレノプティックカメラのイメージセンサは、前記イメージセンサの垂線が前記モバイルデバイスの背面に平行になるように配置されてもよい。このようにして、前記カメラによってキャプチャされた光線の光路は、前記第１反射要素（および必要に応じて、さらなる反射要素）によって折り畳まれる。これにより、前記モバイルデバイスの厚さを低減させることができる。前記モバイルデバイスにおいて、前記プレノプティックカメラの構成要素は、モバイルデバイスの厚さが１０ｍｍよりも小さくなるように配置されることが好ましい。
【００１７】
〔図面の簡単な説明〕
本発明をより良く理解するのに役立ち、非限定的な例として提示される、本発明の実施形態と明確に関連する一連の図面を、以下に非常に簡単に説明する。
【００１８】
図１Ａは、従来技術による、イメージセンサ、マイクロレンズアレイ、およびフィールドレンズを備えたプレノプティックカメラシステムの概略側面図である。図１Ｂは、マイクロレンズによって生成されたマイクロイメージであって、イメージセンサ上の正面図である。図１Ｃは、イメージセンサの１つのマイクロイメージを形成するピクセルを示している。
【００１９】
図２は、ベースラインｂによって互いに分離された２つのカメラを通る、同じ対象ポイントの２つの投射間の視差を示す。
【００２０】
図３は、プレノプティックカメラにおける異なる焦点距離について、対象物世界における対象物の実距離に対する、深度計算の誤差を示している。
【００２１】
図４は、スマートフォン用の典型的なカメラモジュールを示している。
【００２２】
図５Ａは、純粋なプレノプティック（折り畳まれていない）構成を有する、従来技術によるプレノプティックカメラを示している。図５Ｂおよび図５Ｃは、折り畳み光学系構成を有する、本発明の２つの異なる実施形態によるプレノプティックカメラを示している。
【００２３】
図６Ａ〜図６Ｄは、本発明による４つの異なるプレノプティックカメラの実施形態を示している。
【００２４】
図７は、スマートフォン内に搭載された本発明によるプレノプティックカメラの概略例を示している。
【００２５】
図８Ａ〜図８Ｄは、折り畳み光学系構成を有する、プレノプティックカメラデバイスの別の４つの実施形態を示している。
【００２６】
図９は、イメージセンサおよびイメージセンサのフィッティングイメージサークルを示している。
【００２７】
図１０Ａは、折り畳み光学系構成を有するプレノプティックカメラの３Ｄ図をしている。図１０Ｂは、折り畳み光学構成を有するプレノプティックカメラの３Ｄ図である。当該プレノプティックカメラは、デバイスのＺ軸方向の厚さを低減させるためにレンズが切断されている。
【００２８】
（詳細な説明）
従来のカメラは、センサでキャプチャした光線の二次元空間情報をキャプチャする。さらに、色情報は、いわゆるベイヤーパターンセンサー（Bayer pattern sensor）または他の色センサを使用することによってもキャプチャすることができる。しかしながら、従来のカメラでは光線の到来方向に関する情報は記録されていない。プレノプティックカメラは、異なる対象物に関する３Ｄ情報を記録する能力を有する。基本的に、プレノプティックカメラは、いくつかの視点（プレノプティックカメラの等価な絞り（aperture）の周りに分散される複数のカメラのように作用する、いわゆるプレノプティックビュー）からシーンをキャプチャすることと等価である。
【００２９】
通常、プレノプティックカメラ１００（図１Ａ参照）は、メインレンズ１０２とイメージセンサ１０８との間にマイクロレンズアレイ１０４を配置することによって作製される。各マイクロレンズ１０６（ｌｘ，ｌｙ）は、イメージセンサ１０８上に、マイクロイメージ（１１０ａ、１１０ｂ）として知られる、メイン絞りの小さな画像を形成している（図１Ｂ、１Ｃ参照）。任意のマイクロイメージ（１１０ａ、１１０ｂ）の各ピクセル（ｐｘ，ｐｙ）は、メイン絞りの異なる部分からの光線１０１をキャプチャしている。任意のマイクロレンズの下流（below）にある全てのマイクロイメージは、メインレンズ絞りのイメージであり、全てのマイクロレンズ１０６における、位置ｐｘ１，ｐｙ１から位置ｐｘｎ，ｐｙｎまでの全てのピクセルは、マイクロレンズの位置とは無関係に絞りの所定の部分（ａｘｎ，ａｙｎ）からの光を統合させる。対象物世界の異なる位置から来る、位置（ａｘｎ，ａｙｎ）で絞りを横切る光は、異なるマイクロレンズにヒットするが、カメラの全てのマイクロレンズの下流にあるピクセル（ｐｘｎ，ｐｙｎ）によって常に統合される。従って、マイクロイメージ内のピクセルの座標（ｐｘ，ｐｙ）は、所定のマイクロレンズへのキャプチャ光線の到来方向を決定し、（ｌｘ，ｌｙ）は、２次元空間位置を決定する。全てのこの情報は、ライトフィールドとして知られており、４次元マトリックスＬＦ（ｐｘ,ｐｙ,ｌｘ,ｌｙ）または色情報（ｃ）が考慮される場合には５多次元マトリックスＬＦ（ｐｘ,ｐｙ,ｌｘ,ｌｙ,ｃ）によって表すことができる。
【００３０】
前述したように、いくつかの重要な態様では、プレノプティックカメラは、ビュー間のベースラインが縮小されたマルチステレオカメラのようにふるまう（どちらもマルチビューシステムであるため）。すなわち、マルチステレオシステムは、ライトフィールドを記録することもできる。マルチステレオカメラおよびステレオカメラのこの挙動は、これまで広く研究されてきた。「Ｑｕａｎｔｉｚａｔｉｏｎ  Ｅｒｒｏｒ  ｉｎ  Ｓｔｅｒｅｏ  Ｉｍａｇｉｎｇ」［Ｒｏｄｒｉｇｕｅｚ，Ｊ．Ｊ．，  ＆  Ａｇｇａｒｗａｌ，Ｊ．Ｋ．  Ｑｕａｎｔｉｚａｔｉｏｎ  ｅｒｒｏｒ  ｉｎ  ｓｔｅｒｅｏ  ｉｍａｇｉｎｇ．ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，１９８８．Ｐｒｏｃｅｅｄｉｎｇｓ  ＣＶＰＲ’８８．，  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ（ｐｐ．１５３−１５８）．ＩＥＥＥ］などの論文は、長い焦点距離が、マルチビューシステムにおける比較的長い距離における深度誤差推定を向上させることを示している。
【００３１】
ステレオカメラの深度推定は、以下の式に従う：
【００３２】
【数１】
2021529334.tif 000003
【００３３】
式中、ｚは、目的の深度ポイントであり、ｂは、ベースラインであり、ｆは、カメラの焦点距離（両方のカメラが同じ焦点距離を有する場合）であり、ｄは、視差である。視差ｄは、ステレオ（マルチステレオ）システムの２つ（またはそれ以上）のカメラにおいて、対象物世界における同じ点の２つの投射（またはマルチステレオシステムの場合には２つ以上の投射）の位置の差を表している。一例として、図２は、互いにベースラインｂだけ離れた２つのカメラを示している。対象世界の点Ｐからの光が２つのカメラ由来の２つの等価なレンズｃ１およびｃ２を横切り、センサの２つの異なる位置で２つのカメラ由来のセンサｓ１およびｓ２に到達するとき、視差ｄは、２つのセンサｓ１およびｓ２における同じ点Ｐの、画像
【００３４】
【数２】
2021529334.tif 000004
【００３５】
と、画像
【００３６】
【数３】
2021529334.tif 000005
【００３７】
との間距離である。
【００３８】
前出の式より、深度推定誤差は以下のように計算することができる：
【００３９】
【数４】
2021529334.tif 000006
【００４０】
式中、Δｚは、深度の絶対誤差を表しており、Δｄは、絶対視差誤差を表している。
【００４１】
プレノプティックカメラは、深度計算で生じる誤差に対して、同じ方程式に従う。この場合、ベースラインは、光学系の絞りサイズ（Ｄ）に対応する。
【００４２】
【数５】
2021529334.tif 000007
【００４３】
式中、ｆ＃＝ｆ／ｄ（すなわちｆ値）である。
【００４４】
従って、プレノプティックカメラで生じる深度誤差Δｚは、ｆ値を維持したまま光学系の焦点距離ｆを大きくするか、焦点距離ｆを保ったままｆ値を小さくする（すなわちＤを大きくする）か、焦点距離ｆを長くすると同時にｆ値を小さくすることにより、小さくすることができる。携帯電話のレンズは、一般的に、（携帯電話産業の制限的な厚さ要件のために）小さなｆ数および小さな焦点距離で設計される。ｆ値が小さく、焦点距離が小さいスマートフォン用レンズの既製デザインから離れて、図３は、ｆ値を保ったときの焦点距離の増加に伴い、深度推定誤差がどのように２次関数的に減少するかを示している。携帯電話産業で一般的に見られる小さな焦点距離である焦点距離（ｆ１）による誤差は、焦点距離ｆ２（ｆ２＝２ｆ１）による誤差の４倍であり、ｆ３（ｆ３＝３ｆ１）による誤差の９倍である。
【００４５】
しかしながら、焦点距離を長くすることは、一般的には、光学系のＯＴＴＬ（光学的総トラック長）を長くする手段となる。たとえそれが特定の光学設計に依存するとしても、焦点距離とＯＴＴＬとの間の関係は、折り畳まれていない構成の式
【００４６】
【数６】
2021529334.tif 000008
【００４７】
にほぼ従う。したがって、焦点距離の増加は、ｆ値を一定に保つためにＯＴＴＬのほぼ比例的な増加を伴い、ＭＴＴＬ（機械的総トラック長）の増加を伴い、カメラモジュール（図４に示されるスマートフォン用のカメラモジュール４００など）をより厚くする（すなわち、大きなＳｚ）。
【００４８】
図４は、限定ではなく例示を目的とした、スマートフォンなどのモバイルデバイス用の典型的なカメラモジュール４００の模式図を示す。重要な寸法が明示されている（Ｓｘ×Ｓｙ×Ｓｚ）。携帯電話産業で使用されるカメラモジュールの典型的な寸法は、４ｍｍ＜Ｓｚ＜６．５ｍｍ；８ｍｍ＜Ｓｙ＜１０ｍｍ；８ｍｍ＜Ｓｚ＜１０ｍｍである。ここで、Ｓｘ、Ｓｙ、およびＳｚは、カメラモジュール４００の幅、高さ、および厚さにそれぞれ対応する（図７の軸Ｘ、Ｙ、およびＺに従う）。
【００４９】
最も重要な寸法はＳｚであり、これはＭＴｚ（ｚにおける機械的トラック）と一致する。カメラモジュール４００のサイズＳｚは、図７に示されるように、モバイルデバイスの厚さＴｚよりも小さくなければならず、携帯電話の製造業者は、新しい電話世代ごとに、より小さな厚さへと移行する傾向がある。このことは、目標がモバイルデバイスに適合する場合、カメラは、これらの傾向に追従する必要があることを意味している。厚さＳｚが１０ｍｍより大きいカメラモジュールは、市場によって厳しく拒絶され、Ｓｚが５ｍｍおよび４ｍｍに近づくカメラを目指すであろう。
【００５０】
今日、スマートフォン市場の傾向は、ミニカメラの厚さＳｚを低減することを要求しており、このことは、供給元がクライアントの仕様を達成するために、焦点距離ｆを非常に短くしたレンズを設計することを余儀なくさせている。小型化されたプレノプティックカメラ（例えば、米国特許第９６４７１５０号Ｂ２に開示されている）は、焦点距離ｆがミニカメラ産業における従来の撮像レンズでは一般に見られない値まで増大される場合、非常に改善された性能を有することができる。当該小型化されたプレノプティックカメラは、他の誰によっても商業的に発売されていないとしても、図４に類似したフォームファクタ（形状因子）を有している。したがって、スマートフォン市場の設計規則（非常に薄い厚さを必要とする）に違反することなく、特定のプレノプティカルシステムの焦点距離を増大させることは、深度誤差精度を改善し、プレノプティックミニカメラをポータブルデバイス用の深度／３Ｄカメラの最上位レベルに押し上げるために必須であることが分かる。
【００５１】
焦点距離ｆを増加させる第１のアプローチは、光学系のすべての構成要素をスケーリングし、ｆ値を保ちながらすべての寸法を増加させることである。これは、メインレンズを変更すること、マイクロレンズおよびセンサ自体を変更することを意味する。その結果、ＯＴＴＬおよびＭＴＴＬもまた、小さな厚さ（Ｓｚ）に関するスマートフォン市場の要件を確実に超えるように、寸法を増大させることを余儀なくされる。
【００５２】
焦点距離ｆを増加させるための第２のアプローチは、メインレンズをスケーリングする一方、センサおよびマイクロレンズのサイズを維持することであり得る。プレノプティックカメラの焦点距離ｆは増加すると考えられる。しかし、マイクロレンズおよびセンサが同じ大きさで維持されると、ＦＯＶ（視野）は減少する。これは、センサが光学系のＦＯＶ全体をキャプチャするのではなく、サブセットのみをキャプチャするという事実に起因する。さらに悪いことに、この場合、ＯＴＴＬおよびＭＴＴＬも増加することでメインレンズの長さが増加し、携帯電話用途での使用がより困難になる。
【００５３】
焦点距離ｆを増加させるこれらのアプローチは、深度計算の誤差を改善することを可能にする（これらのアプローチは設計点（design point）を図３におけるより下側の曲線に移動させる）。そしてこれらのアプローチは、カメラからより遠くに位置する（すなわち、図３のより長い距離を有する）対象物の深度の推定についての誤差割合をより低くすることにより、カメラをより正確にする。しかしながら、結果として得られるＯＴＴＬおよびＭＴＴＬは増加し、現在のスマートフォンミニカメラの制限的な厚さ仕様に適合しない。言い換えれば、図４のようなモジュールは、携帯電話内に適合するには厚すぎる厚さＳｚを有する。
【００５４】
本明細書において、本発明では、光の光路を折り畳むためにプリズムまたはミラーが使用される。当該プリズムまたはミラーは、カメラモジュール４００の厚さＳｚを増加させることなくＯＴＴＬを増加させる。従って、折り畳み光学構成を有する新しいプレノプティックデバイスがここに提示される。
【００５５】
図５Ａ〜図５Ｃは、プレノプティックカメラのいくつかの実施形態を示し、厚さに関して折り畳みデバイスの利点を示す。これらの全ての実施形態において、メインレンズ１０２は、単一のレンズ要素、または接合されたレンズ要素のペアまたは群によって形成される。これらの図において、タームＯＴは光学トラック長を示し、ＭＴは、機械的トラック長を示す。
【００５６】
図５Ａ〜図５Ｃは、プレノプティックカメラのいくつかの実施形態を示す。当該実施形態は、厚さに関して折り畳みデバイスの利点を示している。これらの全ての実施形態において、メインレンズ１０２は、単一のレンズ要素、または接合されたレンズ要素のペアもしくはセットによって形成される。これらの図において、用語ＯＴは、光学トラック長を示し、ＭＴは、機械的トラック長を示す。図７に示すＺ軸における機械的トラック長（ＭＴｚ）は、カメラを携帯電話に取り付けるときに（または、換言すると、図４のカメラモジュール４００において厚さＳｚを可能な限り小さくするときに）考慮すべき重要な寸法である。これは、当該機械的トラック長がデバイスの厚さＴｚに対応するからである。図５Ａ〜５Ｃの３つの実施形態は、焦点距離ｆおよびｆ値に関しては同じ光学性能を有するが、ＭＴｚは異なる。
【００５７】
図５Ａは、従来技術による典型的なプレノプティックカメラ５００ａを示す。このプレノプティックカメラ５００ａの構成は、良好な深度誤差精度を得ることを目的として、ｆ値が小さく、焦点距離ｆが大きい設計となっている。メインレンズ１０２の光軸５０２は、イメージセンサ１０８に対して垂直であり、イメージセンサ１０８の中心と交差している（すなわち、その中心点におけるイメージセンサ１０８の法線５０４が光軸５０２と一致している）。しかしながら、この構成はＯＴＴＬａ＝ＯＴｚａが大きい。このことは、大きなＭＴＴＬａ＝ＭＴｚａが、スマートフォンの典型的な寸法内に収まらないことを意味している。
【００５８】
図５Ｂは、本発明の一実施形態による、プレノプティックカメラ５００ｂを示す。図５Ｂに示されるプレノプティックカメラ５００ｂは、同じ焦点距離を保ちながらＭＴｚを低減させた折り畳み光学系を使用する（ＯＴＴＬおよびｆ値は、図５Ａと同じままである）。この構成では、光路がプリズムまたはミラーなどの第１反射要素５１０の反射面を使用して曲げられる。これにより、ＯＴＴＬｂは、ＯＴｚｂおよびＯＴｘｂという２つの構成要素を有する。しかしながら、ＯＴＴＬｂは、図５Ａで使用されたものと同じである（ＯＴＴＬｂ＝ＯＴＴＬａ＝ＯＴｚａ＝ＯＴｚｂ＋ＯＴｘｂ）。図５Ｂに示す構成では、メインレンズ５０２の光軸５０２は、イメージセンサ１０８に平行である（すなわち、光軸５０２とイメージセンサの法線５０４とは垂直である）。
【００５９】
しかしながら、以前の構成とは異なり、カメラモジュールのＭＴｚ厚は、ミニカメラ仕様の低い厚さ要件内に適合するのに十分に薄くなっている。一方で、プレノプティックカメラシステムのための大きな焦点距離の利益は保持されている。あるいは、換言すると、図５Ａおよび５Ｂのプレノプティックカメラ５００ａおよび５００ｂは、同じ光学性能および同じｆナンバーを提供するが、図５Ａのプレノプティックカメラ５００ａの厚さは図５Ｂのプレノプティックカメラ５００ｂの厚さよりも大きい（ＭＴｚａ＞ＭＴｚｂ）。あるいは、図４のようなモジュールで実施される場合には、図５Ｂに示される実施形態の方がより小さい厚さＳｚである。
【００６０】
図５Ｃは、本発明の別の実施形態による、プレノプティックカメラ５００ｃを表す。このプレノプティックカメラ５００ｃは、第１反射要素５１０および第２反射要素５１２の２つの反射要素が光路を曲げるために導入された構成を有する。第２反射要素５１２（プリズムまたはミラーなど）は、第１反射要素５１０によって既に反射された光線を反射する。追加の反射要素（例えば、第３の反射要素、第４の反射要素など）を使用して、光路に沿って配置される前の反射要素によって反射された光線をさらに反射させることができる。図５ＣのＯＴＴＬは、ＯＴｚ１ｃ、ＯＴｘｃ、およびＯＴｚ２ｃの３つの構成要素を有している。これらの合計は、図５ＡのＯＴＴＬａと一致する（ＯＴＴＬｃ＝ＯＴＴＬａ＝ＯＴｚ１ｃ＋ＯＴｘｃ＋ＯＴｚ２ｃ）。そのため、焦点距離は一定に保たれ、ＭＴｚは大幅に短縮されている（ＭＴｚｃ＜ＭＴｚｂ＜ＭＴｚａ）。図５Ｃに示す構成では、メインレンズ１０２の光軸５０２と、イメージセンサ１０８の中心点における法線とは、平行であるが一致していない（すなわち、それらは異なる高さに位置している）。これは、光路が途中で２回折り畳まれているからである。
【００６１】
図６Ａ〜図６Ｄは、折り畳み光学系構成を有するプレノプティックカメラデバイス（６００ａ、６００ｂ、６００ｃ、６００ｄ）のいくつかの実施形態を示している。これらは、例示を目的としており、決して実施形態を限定するものではない。これらの実施形態において、メインレンズ１０２は、複数の非接合レンズ要素またはレンズ群によって構成される。この図に示されているプレノプティックカメラデバイスは、イメージセンサ１０８と、マイクロレンズアレイ１０４と、赤外線フィルタ６１２（存在しない場合のある任意の要素）と、４つまたは５つのレンズ要素によって構成されるメインレンズ１０２とによって形成される。しかしながら当該プレノプティックカメラデバイスは、より少ないかまたはより多くのレンズ要素によって構成されてもよい。
【００６２】
各構成は、図７に示すように、異なるＭＴｚ（モバイルデバイスの厚さＴｚに対応するＺ軸における機械的トラック長）を示している。各図は、モバイルデバイスへのプレノプティックカメラの設置に従って、図７に示されている軸に対応する軸Ｘ、Ｙ、Ｚを示している（図６Ａ〜図６Ｃにおいて、イメージセンサ１０８は、Ｚ軸に沿って延びているのに対し、図６Ｄの実施形態においては、イメージセンサ１０８はＸ軸に沿って延びている）。全ての場合において、光路を折り畳む第１反射要素５１０（好ましくはプリズムまたはミラー）の導入は、元の非折り畳み構成からＭＴｚを減少させる。図６Ａ〜６Ｄから分かるように、すべての場合において、ＭＴｚ＜ＯＴＴＬであり、もちろん、ＭＴｚ＜ＭＴＴＬである（ＭＴＴＬを計算するために元の非折り畳み構成を考慮する）。
【００６３】
図６Ａに示される第１の構成では、光軸に対して４５度に配置されたプリズムまたはミラーなどの第１反射要素５１０が任意の光学面を横切る直前、すなわちメインレンズ１０２のレンズ要素（６２０、６２２、６２４、６２６、６２８）のいずれかに到達する直前に、プレノプティックカメラ６００ａによってキャプチャされる光線６０１ａを反射する。図６Ａの例では、第１反射要素５１０によって反射された（そしてキャプチャされた光線６０１ａに対してある角度をなす）光線６０１ｂが、メインレンズ１０２に到達する。ＭＴｚａ＜ＯＴＴＬａであること、実際的な言い方をすれば、カメラモジュール４００（図４）の厚さＳｚが小さく、携帯電話の厳しい要求内に適合しやすいことは、図６Ａから非常に明らかである。
【００６４】
図６Ｂに示す第２の構成では、メインレンズ１０２が第１レンズ要素セット（６３０、６３２）および第２レンズ要素セット（６３４、６３６）を含む。図６Ｂのプレノプティックカメラ６００ｂは、キャプチャされた光線６０１ａがメインレンズ１０２の第１レンズ要素セット（２つの第１のレンズ６３０および６３２）（この場合、色収差のない二重レンズ（an achromatic doublet））を横切った後に、両方のセットのレンズ要素の光軸に対して４５度に配置された第１反射要素５１０であるプリズムまたはミラーの助けを借りて、キャプチャされた光線６０１ａを曲げる。この場合、ＭＴｚｂ＝ＭＴｚａであり、両方の場合において、ＭＴｚｂ＝ＭＴｚａは、センサダイ寸法（図６Ａ〜６ＣのＤｘ）によって制限される。しかしながら、パッケージングを根拠としておよび／または光学的な設計により、いくつかの光学表面を横切った後または前に光を折り畳むことがよりよい場合がある。
【００６５】
第３の構成（図６Ｃ）は、第１レンズ要素セット（６４０、６４２、６４４）と第２レンズ要素セット（６４６、６４８）に分けられた５つのレンズ要素によって形成されるメインレンズ１０２を示している。キャプチャされた光線６０１ａは、第１レンズ要素セット（３つの第１のレンズ要素６４０、６４２、６４４）を横切った後に反射され、第２レンズ要素セット（６４６、６４８）およびイメージセンサ１０８に衝突する反射光線６０１ｂを得る。ここでも、ＭＴｚｃ＜ＯＴＴＬ＝ＯＴｚｃ＋ＯＴｘｃである。
【００６６】
図６Ｄは、厚さＭＴｚ（ＭＴｚ＜ＯＴＴＬ＝ＯＴｘｄ＋ＯＴｚｄ）を低減するために、第１反射要素５１０に加えて、第２反射要素５１２（例えば、プリズムまたはミラー）が使用される第４の構成を示している。この場合、センサは、ｘ座標軸に沿って延びている。したがって、当該センサのダイ寸法は、ＭＴｚを制限しない。この実施形態では、メインレンズ１０２は、第１レンズ要素セット（６５０、６５２）と第２レンズ要素セット（６５４、６５６）に分けられた４つのレンズ要素によって形成される。第１反射要素５１０は、反射光線６０１ｂを得るために、メインレンズ１０２に到達する前にキャプチャされた光線６０１ａを受光するように配置される。第２反射要素５１２は、第２レンズ要素セット（６５４、６５６）およびイメージセンサ１０８に衝突するさらなる反射光線６０１ｃを得るために、両方のレンズ要素セットの間に配置され、反射光線６０１ｂを反射させる。
【００６７】
上の図５Ａ〜図５Ｃおよび図６Ａ〜図６Ｄで説明したように、折り畳み光学系は、一般的に大きなＳｚ寸法につながるであろう大きな焦点距離を有するカメラの厚さ（図４のＭＴｚ、または図７のＳｚ）を減少させることを可能にする（例えば、図６Ｄに示されるように、長い（high）焦点距離が、短い（low）ＭＴｚまたはＳｚを有する実に薄いモジュールに適合され得る）。既に述べたように、図５Ｂ〜図５Ｃおよび図６Ａ〜図６Ｄのすべての場合において、カメラの厚さはその元の厚さ（折り畳まれていない同等の構成におけるＭＴＴＬ）に対して大幅に低減される。このことは、折り畳まれた光学技術を使用しない場合には厚さに関してスマートフォン産業の仕様を決して達成することができないポータブルデバイスに、大きなカメラを適合させることを可能にする。
【００６８】
本発明によって提案される厚さを低減したプレノプティックカメラは、タブレット、ＰＤＡ、またはスマートフォンなど、厳しい厚さ制約を有する任意のモバイルデバイスに取り付けるのに適している。図７は、スマートフォン７００に取り付けられたプレノプティックカメラの一例を示す。当該プレノプティックカメラは、図６Ｂおよび図６Ｃの実施形態に示された構成と同様の構成を有している。図７に描かれるように、当該プレノプティックカメラは、好ましくはスマートフォン７００の後部または背面７１０に設置され、画面の背後から画像をキャプチャする。あるいは、当該プレノプティックカメラを、スマートフォン７００の前面側である画面の横に設置して、正面画像をキャプチャすることもできる。スマートフォン７００は、図７に示すＸ軸、Ｙ軸、Ｚ軸において、それぞれ幅Ｔｘ、長さＴｙ、厚さＴｚの寸法を有する。この実施例は、例示を目的とするものであり、限定を目的とするものではない。この実施例では、当該プレノプティックカメラのメインレンズ１０２は、図６Ｂの実施形態と同様に、５つのレンズ要素（７３０、７３２、７３４、７３６、７３８）によって形成されており、第１反射要素５１０（プリズムまたはミラー）は、メインレンズ１０２の第１レンズ要素セット（第１の２つのレンズ要素７３０および７３２）を通過した後に、光を反射する。第２レンズ要素セットを形成する３つの他のレンズ要素（７３４、７３６、７３８）、マイクロレンズアレイ１０４およびイメージセンサ１０８は、Ｘ軸に沿って分布しており、カメラの厚さＭＴｚ（図４の重要サイズＳｚ）には寄与しない。代わりに、これらの要素を、Ｙ軸に沿って、またはイメージセンサ１０８の法線５０４および第２レンズ要素セットの光軸がＸ−Ｙ平面に平行であるような任意の配置で分布させてもよい。
【００６９】
結論として、提案されたこの新しい折り畳み光学技術は、優れたプレノプティック性能（長い焦点距離および小さなｆ値を有する）と、小さなＭＴｚ（またはカメラモジュール４００の厚さＳｚ）を同時に有することを可能にする。この折り畳み光学技術は、スマートフォン、タブレット、ラップトップなどのポータブルデバイスに、これらの折り畳み光学技術を組み込むのに理想的である。
【００７０】
図８Ａ〜図８Ｄは、折り畳み光学系構成を有する、プレノプティックカメラデバイスの４つのさらなる実施形態（８００ａ、８００ｂ、８００ｃ、８００ｄ）を示している。これらの実施形態において、完全折り畳みプレノプティック設計（full folded plenoptic design）（第１反射要素５１０を含む）は、例示を目的とするものであり、限定を目的とするものではない。
【００７１】
これらの４つの実施形態では、第１のプリズムレンズ８０２が第１反射要素５１０として使用される（および、任意選択で、さらなる（第２、第３…）プリズムレンズ８１２が第２（第３、第４…）反射要素５１２として使用される）。この実施形態では、ガラスまたはプラスチックで作られるプリズムレンズ８０２（および任意選択で、使用される任意のさらなるプリズムレンズ（第２、第３など）８１２）は基本的に、３面光学要素（例えば、３つの表面が平坦な表面の代わりに非球面であり得る本体またはプリズム）である。当該３面光学要素において、中間の面が反射性である。プリズムレンズ８０２／８１２の２つの面（第１面８０４ａ／８１４ａおよび第３面８０４ｃ／８１４ｃ）は屈折面であり、中間の第２面８０４ｂ／８１４ｂは反射面である。したがって、プリズムレンズ８０２／８１２は、メインレンズのレンズ要素（２つの屈折面８０４ａ／８１４ａおよび８０４ｃ／８１４ｃを用いて形成される）と、光路を折り畳む反射要素５１０／５１２（反射面８０４ｂ／８１４ｂにより形成される）とを一体化する光学要素である。プリズムレンズ８０２／８１２の第１面８０４ａ／８１４ａを横切る光線は、プリズムレンズ８０２／８１２の第２面８０４ｂ／８１４ｂで生じる反射により、第３の表面８０４ｃ／８１４ｃを横切る光線とは異なる光軸（典型的には垂直）を有する。２つの屈折面（８０４ａ／８１４ａ、８０４ｃ／８１４ｃ）は、凸面、凹状または非球面形状を有することができる。前記反射面は、平面または凸面／凹状、球状または非球面であってもよい。
【００７２】
プリズムレンズを使用することにより、小さな厚さ内で長い光学全トラック長ＯＴＴＬ（つまりは長い有効焦点距離、ＥＦＦＬ）を達成する光路を折り畳むことができる。また、プリズムレンズ８０２／８１２を光学系の他のレンズ要素と一体化することは、例えば、位置合わせ作業が確実により困難である単一のミラーを使用するよりも容易である。プリズムレンズ８０２／８１２が２つの明確な屈折面（８０４ａ／８１４ａ、８０４ｃ／８１４ｃ）を有しており、したがって当該プリズムレンズの明確な光軸を有しているという事実は、位置合わせプロセスを容易にする。
【００７３】
プリズムレンズのいくつかの選択肢および実施は、図８Ａ〜図８Ｄの異なる実装形態に組み込まれており、以下に詳述する。
【００７４】
図８Ａは、５つのレンズ要素（８０２、８２２、８２４、８２６、８２８）、任意選択の赤外フィルタ６１２、マイクロレンズアレイ１０４、およびイメージセンサ１０８を含むメインレンズを示す。第１レンズ要素は、凸レンズ（第１面８０４ａおよび第３面８０４ｃ）および第１反射要素５１０（第２面８０４ｂ）を単一の実体内に統合するプリズムレンズ８０２である。第１面８０４ａは、凸形状（しかし、凹状または平坦であってもよい）を有している。第２面８０４ｂは、光軸に対して４５°（しかし、他の角度であってもよい）の平坦面である。この平坦面は、第３面８０４ｃである第２の凸面（しかし、凹状または平坦であってもよい）に向かって光を反射する。プリズムレンズ８０２の第１凸面８０４ａは、プレノプティックカメラ８００ａによってキャプチャされた光線８０１ａを屈折させる。次いで、これらの光線は、プリズムレンズ８０２の第１反射要素５１０（平坦面８０４ｂ）によって、光軸に沿って合計９０°反射される（しかし、第１反射要素５１０が光軸に対して４５°傾いていない場合には、異なる場合がある）。第１の光軸はＺ軸に沿って延びており、反射要素５１０の後、光は、第１の光軸（Ｘ軸）に垂直な第２の光軸（Ｘ軸）に従って、プリズムレンズ８０２の第３面８０４ｃに到達する。次いで、光は、他のレンズ要素（８２２、８２４、８２６、８２８）と交差して、マイクロレンズアレイ１０４に到達し、最後にイメージセンサ１０８に到達する。
【００７５】
図８Ａの実施形態では、光学総トラック長ＯＴＴＬａ（ＯＴｚａ１＋ＯＴｘａ１）は１１．２ｍｍである（しかし、長くても短くてもよい）。しかしながら、プリズムレンズ８０２を使用して光路を折り曲げることにより、カメラのＯＴＴＬの大部分をＸ軸に沿って延ばすことができる。プリズムレンズ８０２の使用は、約５．１ｍｍのＭＴｚ厚（しかし、さらに短くてもよいし、または長くてもよい）をもたらすことができる。また、プリズムレンズ８０２の使用により、低減されたＭＴｚのおかげで、このレンズが携帯電話に組み込むのに適切な非常に大きなＯＴＴＬを有することを可能にする。この場合、厚さ（Ｚ軸）は、センササイズによって制限される。図８Ａ〜図８Ｄに示される、イメージセンサ１０８の対角線を指すＭＴｚｓ（ＭＴｚａ、ＭＴｚｂ、ＭＴｚｃ、ＭＴｚｄ）につながる極端な（extreme）フィールド光線は、（平面ＸＺにあるが）、センサ対角線におけるフィールドを意味することに留意されたい。これは光学設計における一般的な慣行であり、レンズは通常回転対称性を有するが、センサは長方形であるからである。このことが、最後のレンズ直径が、その最後の面を交差する最後の光線の高さと一致する理由である。この折り畳みデザインは、焦点距離を９．３ｍｍまで延ばすことを可能にする（この実施形態では９．３ｍｍであるが、より高くすることができる）。この折り畳みデザインは、深度感知性能を大幅に改善し、携帯電話における非常に薄い厚さ要件（５．１ｍｍのＭＴｚａ）に依然として準拠する。
【００７６】
図８Ａのレンズ実施例は、限定的な選択として解釈されるべきではなく、折り畳まれた設計が小さな厚さで、いかに大きな焦点距離および優れた深度性能を達成できるかの例示的な実施例としてのみ解釈されるべきである。カメラのメインレンズ１０２は、光学的性能を向上させるために、より多くまたはより少ないレンズ要素を有してもよい（この実施例では、５つのレンズ要素であるが、より少なくまたはより多くのレンズであってもよい）。プリズムレンズ８０２の非反射面は、設計者が適切と考え得る凸面、平面、凹面または任意の非球面によって形成されてもよい。また、反射要素５１０（この場合、光軸に対して４５°傾斜した平坦な面である）は、凸状または凹状の反射表面（または光軸に対して任意の他の角度で傾斜した平坦な表面）であってもよい。プリズムレンズ８０２は、１つ以上のレンズ要素の後に、第１のレンズ要素として、または後続のレンズ要素、第２のレンズ要素として）配置されてもよい。
【００７７】
図８Ｂは、２つのプリズムレンズ（第１のプリズムレンズ８０２および第２のプリズムレンズ８１２）を使用して、光路を２回折りたたむ実施形態を示す。この場合、イメージセンサ１０８は、Ｘ座標軸およびＹ座標軸に沿って延びるため、イメージセンサ１０８のサイズがレンズの厚さを制限することはない（Ｚ座標軸における制限因子ではなくなる：センサ矩形（長方形）は図７のＸ−Ｙ次元に沿って延び、図８Ａの実施形態によって課されるような、センサ矩形のダイが図７のＴｚよりも小さくなければならないことは、これ以上課されない）。また、メインレンズ１０２は、５つの要素（８０２、８３２、８３４、８３６、８１２）、任意選択の赤外線フィルタ６１２、マイクロレンズアレイ１０４およびイメージセンサ１０８によって形成される。第１の４つのレンズ要素（８０２、８３２、８３４、８３６）は、図８Ａに記載された実施形態と同様である。第５のレンズ要素は、非球面形状を有する２つの屈折面（第１面８１４ａおよび第３面８１４ｃ）と、第２反射要素５１２として作用する第２反射面（本実施例では４５°の平坦面）とを有する第２のプリズムレンズ８１２である。このケースでは、レンズの光学総トラック長ＯＴＴＬ（ＯＴｚｂ１＋ＯＴｘｂ１＋ＯＴｚｂ２）は、約１２．９ｍｍである（ただし、より長くても短くてもよい）。折り返し光学系の使用は、わずか数ミリメートル（本実施形態では約５．０ｍｍ）の厚さＭＴｚｂを有することを可能にする。さらに、第２反射要素５１２を使用することにより、有効焦点距離ＥＦＦＬをさらに増大させることができ（図８Ａの実施形態では９．３ｍｍに対して、本実施例では１３．２ｍｍまで）、プレノプティックカメラの深度感知性能を大幅に改善することができる。
【００７８】
再び、図８Ｂの実施形態は、限定するのではなく、単に例として解釈されるべきである。このレンズは、本実施例における５つの要素よりも少ない要素または多い要素によって、および２つよりも少ないまたは多い反射要素（５１０、５１２）によって形成され得る。当該反射要素は、プリズムもしくはミラーのいずれか、またはプリズムとミラーとの組み合わせであり得る。反射要素（５１０）および任意の他のさらなる反射要素（５１２）は、９０°の角度または任意の他の角度で入射光線を反射することができる。当該反射要素は、入射光線の入射角（つまりは、対応する反射角）が、（０〜９０）の範囲内、好ましくは［２２．５〜６７．５］の範囲内に含まれる任意の角度とすることができるように、（すなわち、傾斜させて）配置され得る。いくつかの実施形態では、当該反射角は、好ましくは４５°であり、これにより９０°折り畳まれた光路が得られる。
【００７９】
図８Ｃは、メインレンズ１０２の全てのレンズ要素（８０２、８４２、８１２、８４４）の２つのレンズ要素がプリズムレンズ（８０２、８１２）であるように、２つのプリズムレンズ（８０２、８１２）が４要素レンズに一体化された実施形態を示す。また、カメラ８００ｃは、任意の赤外線フィルタ６１２、マイクロレンズアレイ１０４およびイメージセンサ１０８を備える。第１のプリズムレンズ８０２は、図８Ａのものと同様である。しかしながら、第２のプリズムレンズ８１２は、第１面８１４ａおよび第３面８１４ｃとして凹面レンズによって形成される。反射性の第２面８１４ｂは光軸平面に対して４５°である。第２のプリズムレンズ８１２は、２つの通常の球面レンズ（８４２、８４４）の間に位置する。この場合、メインレンズは、光学総トラック長ＯＴＴＬ（ＯＴｚｃ１＋ＯＴｘｃ１＋ＯＴｚｃ２）が１２．０ｍｍであり、１０．４ｍｍの有効焦点長ＥＦＦＬを有しており、厚さＭＴｚｃは５．７ｍｍである。この場合、厚さＭＴｚは、プリズムレンズ（８０２、８１２）のサイズおよび最後の通常のレンズ要素８４４の厚さによって制限される。優先事項ができる限り厚さＭＴｚを小さくすることである場合、最初のレンズ要素および／または最後のレンズ要素としてプリズムレンズを使用することが明らかに最善の解決策である。
【００８０】
図８Ｄは、折り畳み光学系構成を有するプレノプティックカメラの別の実施形態を示している。当該実施形態において、２つのプリズムレンズ（８０２、８１２）は、５つのレンズ要素（８０２、８５２、８５４、８５６、８１２）から構成されるメインレンズ１０２において使用されていた。この場合、第１のプリズムレンズ８０２は、図８Ａのプリズムレンズと同様であるが、小さな凹面が反射要素５１０に導入されている（図８Ｄの模式図では理解できないほど小さい）。第２のプリズムレンズ８１２は、非球面レンズと凹型反射面８１４ｂ（実施形態８Ａ〜８Ｃのように平坦ではない）とを一体化する。非平面反射面（８０４ｂ、８１４ｂ）を含めることは設計を複雑にするが、製造上の利点を有する。メインレンズは、１４ｍｍの光学総トラック長ＯＴＴＬ（ＯＴＺｄ１＋ＯＴＸｄ１＋ＯＴＺｄ２）を持ち、有効焦点長ＥＦＦＬは１２．４ｍｍである。本実施形態におけるレンズの厚さＭＴｚｄは６．２ｍｍである。
【００８１】
１つ以上のプリズムレンズ（８０２、８１２）の使用は、小さな厚さＭＴｚｓを有しながらも大きな光学総トラック長ＯＴＴＬを有することを可能にする。すべての場合において、厚さＭＴｚは６．５ｍｍ未満である。したがって、厚さＭＴｚは、現代の携帯電話に組み込むことができる。現代の携帯電話では、通常の慣例としての厚さが背面カメラでは７．５ｍｍを決して超えず、前方カメラでは５ｍｍを超えない。
【００８２】
デバイスの厚さＭＴｚを減少させるために前述したプリズムレンズ技術または任意の他の折り畳み光学技術に加えて、デバイスの厚さを減少させるために他の方策を使用することもできる。先に説明したように、レンズは一般的に回転対称性を有するが、イメージセンサ１０８は円形ではない（矩形である）。このことは、レンズはセンサ全体にわたって良好な性能を保証するために、イメージセンサ１０８の全対角線に沿って良好な光学性能を発揮するように最適化されなければならないことを意味する。しかし、最適化されたフィールドの一部はイメージセンサ１０８の形状のために破棄される（図９の点線の円の内側に当たるが、長方形状のセンサのアクティブ領域の内側には当たらない光子は使用されず、光子は電子に変換されない）。図９は、側面サイズＩＳｚ×ＩＳｘを有するイメージセンサ１０８と、当該イメージセンサ１０８に対応するイメージ円を示す。イメージ円の直径は、センサのアクティブ領域の対角線によって固定される。しかしながら、センサは長方形であるので、最適化されたフィールドの無視できない（non-negligible）部分は破棄される。したがって、レンズの無視できない部分の領域は、センサのアクティブ領域に当たる有用な光のためには使用されない。
【００８３】
図１０Ａは、プレノプティックカメラ１０００ａを示している。プレノプティックカメラ１０００ａは、任意の通常のカメラのように、回転対称性のレンズが、マイクロレンズアレイ（１０４）に当たり、最終的に、イメージセンサ（１０８）に当たる画像円を生成する。図１０Ａのイメージセンサ（１０８）は、図９に示す円のようなものであるが、実際、イメージセンサ１０８およびマイクロレンズアレイ１０４は、図９および１０Ｂのように、長方形であり、円の内側ではあるが、イメージセンサ１０８の長方形の外側に当たる光は有用な役割を全く持たない。図１０Ａは、５つのレンズ要素（１００２、１００４、１００６、１００８、１０１０）を有する折り畳みプレノプティックカメラを示す。このカメラでは、プレノプティックカメラ１０００ａの視野（ＦＯＶ）を制限する４つの異なる光線がイメージセンサ１０８の四隅に到達するように描かれている（イメージセンサ１０８の中心に到達するＦＯＶの非常に中心の光も図１０Ａに描かれている）。
【００８４】
ＦＯＶを制限する４点によって形成される長方形の外側の、図１０Ａのマイクロレンズアレイ１０４の表面に到達する光は、いかなる用途も提供しない。図１０Ｂでは、イメージセンサ１０８（光子が電子に変換される場所）およびマイクロレンズアレイ１０４のアクティブ領域のみが示されている。図１０Ａのレンズ１００８および１０１０はまた、図１０Ｂにおいて切り取られており（切り取られたレンズ１０１８および１０２０）、図９の円形に光を伝えるが長方形の外側（すなわち、センサのアクティブ領域の外側）に光を伝えるそれらのレンズの部分を排除している。
【００８５】
正味の結果は、プレノプティックカメラ１０００ａおよび１０００ｂは機能的に同一である。しかし、カメラ１０００ａではＭＴＴＬ（厚さＭＴｚａ）はレンズ１００８および１０１０の外円によって（または図９の外円によって）固定される一方、カメラ１０００ｂではＭＴＴＬ（厚さＭＴｚｂ）はレンズ１０１２（カメラ１０００ａのレンズ１００２と全く同じであり、ｚ寸法が切り取られたレンズ１０１８および１０２０よりも大きい）によって固定される。
【００８６】
要約すると、図８Ａ〜図８Ｄの実施形態に示すように、メインレンズの設計には多くの自由度がある。プリズムレンズの屈折面（８０４ａ、８０４ｃ；８１４ａ、８１４ｃ）は、凹面、凸面、平面、非球面、またはそれらの任意の組み合わせであり得る。反射面（８０４ｂ；８１４ｂ）は、平面状または凸状／凹状であってもよく、任意の傾斜度であってよい（ほとんどの図に示されるように、光軸に対して必ずしも４５°でなくてもよい）。プリズムレンズは、設計の特定のニーズに応じて、メインレンズの第１のレンズ要素として、メインレンズの最後のレンズ要素として、またはメインレンズの通常のレンズ要素間に、配置することができる。プリズムレンズの数も可変である（１つ、２つまたはそれ以上のプリズムレンズを使用してもよい）。さらに、レンズは、厚さを低減させるために切断されてもよい。
【００８７】
本明細書の図面に示されている実施形態は限定的な特徴として解釈されるべきではない例に過ぎない。実施例ではカバーできないが、本発明にアクセスした後に主題の専門家にとって明らかになる無限の数の可能な実施形態が存在するため、本発明の範囲は、特許請求の範囲からのみ抽出されるべきである。例えば、図５Ｂ、５Ｃ、６Ａ、６Ｂ、６Ｃ、６Ｄ、７、８Ａ、８Ｂ、８Ｃ、８Ｄ、１０Ａおよび１０Ｂにおける反射面における光の伝搬方向のすべての変化において、入射光線および反射光線は垂直であるが、異なる入射角および反射角を有する実際的な設計は用途によっては都合がよい。例えば、いくつかのケイ素センサでは、アクティブ感光領域はケイ素ダイ領域内において完全に中心には位置していない。例えば、プレノプティックカメラ１０００ｂでは、ケイ素センサ１０８を右または左に少し動かすことが便利である場合がある。これは、レンズ１０１２の第１面の光軸に対して４５°よりわずかに高いまたは低い角度でレンズ１０１２内に反射面を構築することによってなされ得る（明らかに、この場合、センサは携帯電話の外側フレームに完全に平行または垂直ではないが、小型化の問題を解決することになる）。
【図面の簡単な説明】
【００８８】
【図１Ａ】従来技術による、イメージセンサ、マイクロレンズアレイ、およびフィールドレンズを備えたプレノプティックカメラシステムの概略側面図である。
【図１Ｂ】マイクロレンズによって生成されたマイクロイメージであって、イメージセンサ上の正面図である。
【図１Ｃ】イメージセンサの１つのマイクロイメージを形成するピクセルを示している。
【図２】ベースラインｂによって互いに分離された２つのカメラを通る、同じ対象ポイントの２つの投射間の視差を示す。
【図３】プレノプティックカメラにおける異なる焦点距離について、対象物世界における対象物の実距離に対する、深度計算の誤差を示している。
【図４】スマートフォン用の典型的なカメラモジュールを示している。
【図５Ａ】純粋なプレノプティック（折り畳まれていない）構成を有する、従来技術によるプレノプティックカメラを示している。
【図５Ｂ】折り畳み光学系構成を有する、本発明の実施形態によるプレノプティックカメラを示している。
【図５Ｃ】折り畳み光学系構成を有する、本発明の実施形態によるプレノプティックカメラを示している。
【図６Ａ】本発明によるプレノプティックカメラの実施形態を示している。
【図６Ｂ】本発明によるプレノプティックカメラの実施形態を示している。
【図６Ｃ】本発明によるプレノプティックカメラの実施形態を示している。
【図６Ｄ】本発明によるプレノプティックカメラの実施形態を示している。
【図７】スマートフォン内に搭載された本発明によるプレノプティックカメラの概略例を示している。
【図８Ａ】折り畳み光学系構成を有する、プレノプティックカメラデバイスの別の実施形態を示している。
【図８Ｂ】折り畳み光学系構成を有する、プレノプティックカメラデバイスの別の実施形態を示している。
【図８Ｃ】折り畳み光学系構成を有する、プレノプティックカメラデバイスの別の実施形態を示している。
【図８Ｄ】折り畳み光学系構成を有する、プレノプティックカメラデバイスの別の実施形態を示している。
【図９】イメージセンサおよびイメージセンサのフィッティングイメージサークルを示している。
【図１０Ａ】折り畳み光学系構成を有するプレノプティックカメラの３Ｄ図をしている。
【図１０Ｂ】折り畳み光学構成を有するプレノプティックカメラの３Ｄ図である。当該プレノプティックカメラは、デバイスのＺ軸方向の厚さを低減させるためにレンズが切断されている。
【図１Ａ】
2021529334.tif 000009
【図１Ｂ】
2021529334.tif 000010
【図１Ｃ】
2021529334.tif 000011
【図２】
2021529334.tif 000012
【図３】
2021529334.tif 000013
【図４】
2021529334.tif 000014
【図５Ａ】
2021529334.tif 000015
【図５Ｂ】
2021529334.tif 000016
【図５Ｃ】
2021529334.tif 000017
【図６Ａ】
2021529334.tif 000018
【図６Ｂ】
2021529334.tif 000019
【図６Ｃ】
2021529334.tif 000020
【図６Ｄ】
2021529334.tif 000021
【図７】
2021529334.tif 000022
【図８Ａ】
2021529334.tif 000023
【図８Ｂ】
2021529334.tif 000024
【図８Ｃ】
2021529334.tif 000025
【図８Ｄ】
2021529334.tif 000026
【図９】
2021529334.tif 000027
【図１０Ａ】
2021529334.tif 000028
【図１０Ｂ】
2021529334.tif 000029
【国際調査報告】
2021529334.tif 000030
2021529334.tif 000031
2021529334.tif 000032
2021529334.tif 000033
2021529334.tif 000034
2021529334.tif 000035