(57)【要約】  ライトフィールド撮像デバイスおよび方法が提供される。デバイスは、シーンから波面を受け取り、各々が格子軸に沿って格子周期を有し、波面を回折して回折波面を生成する1つ以上の回折格子を含む回折格子アセンブリを含むことができる。デバイスはまた、回折格子アセンブリの下方に配置され、近接場回折レジームにおいて回折波面を検出して、シーンに関するライトフィールド画像データを提供する画素アレイを含むことができる。画素アレイは、格子周期よりも小さい格子軸に沿った画素ピッチを有する。デバイスは、画素アレイによって検出される前に回折波面を空間的色彩的サンプリングするために、画素アレイの上方に配置されたカラーフィルタアレイをさらに含むことができる。装置および方法は、背面照明型センサアーキテクチャで実施することができる。この装置および方法で使用する回折格子アセンブリも開示する。
2019523910.tif 000002
【特許請求の範囲】
【請求項１】
シーンに関するライトフィールド画像データをキャプチャするためのライトフィールド撮像デバイスであって、
前記シーンから出る光波面を受け取るように構成された回折格子アセンブリと、
前記回折格子アセンブリの下方に配置され、回折された波面をライトフィールド画像データとして検出する複数の感光画素を有する画素アレイと、を備え、
前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
前記画素アレイは、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する、ライトフィールド撮像デバイス。
【請求項２】
前記画素アレイの上方に配置され、モザイク色パターンで配置された複数のカラーフィルタを備えるカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記複数の感光画素による前記回折波面の検出の前に、前記モザイク色パターンに従って前記回折波面を空間的かつスペクトル的にフィルタリングする、請求項1に記載のライトフィールド撮像デバイス。
【請求項３】
前記カラーフィルタの各々が、前記感光画素の対応する1つに光学的に結合される、請求項2に記載のライトフィールド撮像デバイス。
【請求項４】
前記カラーフィルタの各々が、前記複数の感光画素のうちの少なくとも2つの対応する画素に光学的に結合される、請求項2に記載のライトフィールド撮像デバイス。
【請求項５】
前記カラーフィルタの各々が、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つである、請求項2〜4のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項６】
前記モザイク色パターンがベイヤーパターンである、請求項2〜5のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項７】
前記回折格子は、前記光波面を400ナノメートル〜1550ナノメートルの範囲の波長帯で回折するように構成されている、請求項1〜6のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項８】
前記回折格子の周期は、1マイクロメートルから20マイクロメートルの範囲である、請求項1から7のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項９】
前記回折格子は、前記格子周期の2〜10回の繰り返しを含む、請求項1〜8のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項１０】
前記回折格子が位相格子である、請求項1〜9のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項１１】
前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置されている、請求項10に記載のライトフィールド撮像デバイス。
【請求項１２】
前記回折格子は、約50%のデューティサイクルを有する、請求項11に記載のライトフィールド撮像デバイス。
【請求項１３】
前記感光画素の各々が、前記リッジの対応する1つまたは前記溝の対応する1つの下方に当該リッジまたは溝に整列して位置する、請求項12に記載のライトフィールド撮像デバイス。
【請求項１４】
前記感光画素の各々が、前記リッジの対応する1つと当該リッジに隣接する前記溝の1つとの間の移行部の下方に当該移行部に整列して位置する、請求項12に記載のライトフィールド撮像デバイス。
【請求項１５】
前記回折格子が、50%とは異なるデューティサイクルを有する、請求項11に記載のライトフィールド撮像デバイス。
【請求項１６】
前記一連のリッジは、前記一連の溝に対して0.2マイクロメートルから1マイクロメートルの範囲のステップ高さを有する、請求項11から15のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項１７】
前記回折格子の前記屈折率変調パターンと前記画素アレイの受光面との離間距離が0.5マイクロメートル〜20マイクロメートルである、請求項1〜16のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項１８】
前記回折格子の前記屈折率変調パターンと前記画素アレイの受光面との離間距離が、前記光波面の中心波長の約10倍未満であることを特徴とする請求項1〜16のいずれか1項に記載のライトフィールド撮像デバイス。
【請求項１９】
前記格子軸に沿った前記画素ピッチに対する前記格子周期の比は、実質的に2に等しい、請求項1から18のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２０】
前記複数の感光画素は、2つの直交する画素軸によって画定される矩形画素グリッドに配置され、前記格子軸は、前記2つの直交する画素軸のうちの1つに平行であるか、または前記2つの直交する画素軸の両方に斜めであるかのいずれかである、請求項1から19のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２１】
前記画素ピッチが、1マイクロメートルから10マイクロメートルの範囲である、請求項1から20のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２２】
前記シーンと前記回折格子アセンブリとの間の前記光波面の光路に配置された分散光学素子をさらに含み、前記分散光学素子は、前記光波面を受け取ってスペクトル分散させるように構成される、請求項1から21のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２３】
前記画素アレイの上方に配置され、複数のマイクロレンズを備えるマイクロレンズアレイをさらに備え、各マイクロレンズは、前記感光画素の対応する1つに光学的に結合される、請求項1から22のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２４】
背面照明構成では前記画素アレイの下方に、または、前面照明構成では前記回折格子アセンブリと前記画素アレイとの間に、配置される画素アレイ回路をさらに備える、請求項1から23のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２５】
前記回折格子は、前記回折格子アセンブリの複数の回折格子の1つであり、当該複数の回折格子は、前記画素アレイの上方に設けられた二次元格子アレイに配置されている、請求項1から24のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２６】
前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの互いに異なるセットの回折格子の格子軸は、異なる配向を有する、請求項25に記載のライトフィールド撮像デバイス。
【請求項２７】
前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの回折格子の格子軸は、前記第2のセットの回折格子の格子軸に実質的に垂直に延在する、請求項26に記載のライトフィールド撮像デバイス。
【請求項２８】
前記回折格子の各々が、屈折率変調パターンが形成された上面を有する格子基板を備え、前記格子基板は、前記複数の感光画素による前記回折波面の検出の前に前記回折波面をスペクトル的にフィルタリングするように構成されたスペクトルフィルタ材料または領域を含み、したがって前記複数の回折格子がカラーフィルタアレイを形成する、請求項24〜27のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項２９】
前記格子基板の各々が、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つとして働く、請求項28に記載のライトフィールド撮像デバイス。
【請求項３０】
前記カラーフィルタアレイは、ベイヤーパターンで配置される、請求項28または29に記載のライトフィールド撮像デバイス。
【請求項３１】
シーンに関するライトフィールド画像データをキャプチャするための背面照明ライトフィールド撮像デバイスであって、当該背面照明ライトフィールド撮像デバイスは、
前面および背面を有する基板と、
前記基板の背面の上方に設けられ前記シーンから出る光波面を受け取る回折格子アセンブリと、
前記基板内に形成された画素アレイと、
前記前面の下方に設けられ前記画素アレイに結合された画素アレイ回路と、を備え、
前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
前記画素アレイは、前記回折波面を、前記背面を通じて受け取り前記ライトフィールド画像データとして検出するように構成された複数の感光画素を備え、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する、背面照明ライトフィールド撮像デバイス。
【請求項３２】
前記背面の上方に配置され、モザイク色パターンで配置された複数のカラーフィルタを備えるカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記複数の感光画素による前記回折波面の検出の前に、前記モザイク色パターンに従って前記回折波面を空間的かつスペクトル的にフィルタリングする、請求項31に記載の背面照明ライトフィールド撮像デバイス。
【請求項３３】
前記モザイク色パターンがベイヤーパターンである、請求項32に記載の背面照明ライトフィールド撮像デバイス。
【請求項３４】
前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置されている、請求項31〜33のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項３５】
前記回折格子は、約50%のデューティサイクルを有し、前記感光画素の各々は、前記リッジの対応する1つ又は前記溝の対応する1つの下方に当該リッジまたは溝に整列して位置する、請求項34に記載の背面照明ライトフィールド撮像デバイス。
【請求項３６】
前記回折格子が約50%のデューティサイクルを有し、各感光画素が、前記リッジの対応する1つと当該リッジに隣接する前記溝の1つとの間の移行部の下方に当該移行部に整列して位置する、請求項34に記載の背面照明ライトフィールド撮像デバイス。
【請求項３７】
前記回折格子の屈折率変調パターンと前記画素アレイの受光面との離間距離が0.5マイクロメートル〜5マイクロメートルである、請求項31〜36のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項３８】
前記格子軸に沿った前記画素ピッチに対する前記格子周期の比が、実質的に2に等しい、請求項31から37のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項３９】
前記複数の感光画素は、2つの直交する画素軸によって画定される矩形画素グリッドに配置され、前記格子軸は、前記2つの直交する画素軸のうちの1つに平行であるか、または前記2つの直交する画素軸の両方に斜めであるかのいずれかである、請求項31〜38のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項４０】
前記画素ピッチが、1マイクロメートルから5マイクロメートルの範囲である、請求項31から39のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項４１】
前記シーンと前記回折格子アセンブリとの間の前記光波面の光路に配置された分散光学素子をさらに含み、前記分散光学素子は、前記光波面を受け取ってスペクトル分散させるように構成される、請求項31〜40のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項４２】
前記画素アレイの上方に配置され、複数のマイクロレンズを備えるマイクロレンズアレイをさらに備え、各マイクロレンズは、前記感光画素の対応する1つに光学的に結合される、請求項31〜41のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項４３】
前記回折格子は、前記回折格子アセンブリの複数の回折格子の1つであり、前記複数の回折格子は、前記画素アレイの上方に設けられた二次元格子アレイに配置される、請求項31から42のいずれか一項に記載の背面照明ライトフィールド撮像デバイス。
【請求項４４】
前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの互いに異なるセットの回折格子の格子軸は、異なる配向を有する、請求項43に記載の背面照明ライトフィールド撮像デバイス。
【請求項４５】
前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの回折格子の格子軸は、前記第2のセットの回折格子の格子軸に実質的に垂直に延在する、請求項44に記載の背面照明ライトフィールド撮像デバイス。
【請求項４６】
前記背面の上方に配置されたカラーフィルタアレイと、前記カラーフィルタアレイの上方に配置されたマイクロレンズアレイと、をさらに備え、
前記カラーフィルタアレイは、複数の感光画素の対応する1つにそれぞれ光学的に結合される複数のカラーフィルタを備え、前記複数の感光画素によって前記回折波面が検出される前に、前記回折波面を空間的かつスペクトル的にフィルタリングし、
前記マイクロレンズアレイは、前記複数のカラーフィルタの対応する1つに光学的に結合されるマイクロレンズの複数個を備え、
前記回折格子は、前記屈折率変調パターンが形成された上面と、前記マイクロレンズアレイの上方に配置された底面とを有する格子基板をさらに備える、請求項31に記載の背面照明ライトフィールド撮像デバイス。
【請求項４７】
ライトフィールド撮像デバイスであって、
格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子を備えた回折格子アセンブリと、
前記回折格子の下方に配置された複数の感光画素を備えた画素アレイであって、前記格子周期よりも小さい格子軸に沿った画素ピッチを有する画素アレイと、を備えたライトフィールド撮像デバイス。
【請求項４８】
前記画素アレイの上方に配置され、モザイク色パターンで配置された複数のカラーフィルタを備えるカラーフィルタアレイをさらに備え、前記カラーフィルタアレイは、前記複数の感光画素による前記回折波面の検出の前に、前記モザイク色パターンに従って前記回折波面を空間的かつスペクトル的にフィルタリングする、請求項47に記載のライトフィールド撮像デバイス。
【請求項４９】
前記回折格子の周期は、1マイクロメートルから20マイクロメートルの範囲である、請求項47または48に記載のライトフィールド撮像デバイス。
【請求項５０】
前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置される、請求項47から49のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項５１】
前記回折格子は、約50%のデューティサイクルを有し、各感光画素は、前記リッジの対応する1つ又は前記溝の対応する1つの下方に当該リッジまたは溝に整列して位置する、請求項50に記載のライトフィールド撮像デバイス。
【請求項５２】
前記回折格子は、約50%のデューティサイクルを有し、各感光画素は、前記リッジの対応する1つと当該リッジに隣接する前記溝の1つとの間の移行部の下方に当該移行部に整列して位置する、請求項50に記載のライトフィールド撮像デバイス。
【請求項５３】
前記格子軸に沿った前記画素ピッチに対する前記格子周期の比が実質的に2に等しい、請求項47から52のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項５４】
前記複数の感光画素は2つの直交する画素軸によって画定される矩形画素グリッドに配置され、前記格子軸は、前記2つの直交する画素軸のうちの1つに平行であるか、または前記2つの直交する画素軸の両方に斜めであるかのいずれかである、請求項47から53のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項５５】
前記シーンと前記回折格子アセンブリとの間の前記光波面の光路に配置された分散光学素子をさらに含み、前記分散光学素子は、前記光波面を受け取ってスペクトル分散させるように構成される、請求項47から54のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項５６】
前記回折格子は、前記回折格子アセンブリの複数の回折格子のうちの1つであり、前記複数の回折格子は、前記画素アレイの上方に配置された二次元格子アレイに配置される、請求項47から55のいずれか一項に記載のライトフィールド撮像デバイス。
【請求項５７】
前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの異なるセットの回折格子の格子軸は、異なる配向を有する、請求項56に記載のライトフィールド撮像デバイス。
【請求項５８】
前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの前記回折格子の格子軸は、前記第2のセットの回折格子の前記格子軸に実質的に垂直に延在する、請求項57に記載のライトフィールド撮像デバイス。
【請求項５９】
ライトフィールド画像データをシーンについてキャプチャする複数の感光画素を有する画素アレイを備えた画素センサと共に使用するための回折格子アセンブリであって、
当該回折格子アセンブリは、格子軸と前記格子軸に沿った格子周期を有する屈折率変調パターンとを有する回折格子を備え、
前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチよりも大きく、
前記回折格子は、前記ライトフィールド画像データとして感光画素によって検出する回折波面を生成するために、前記シーンから生じる光波面を受け取り、回折するように構成され、  当該回折格子アセンブリは、前記画素アレイの上方に配置されるように構成されている、
回折格子アセンブリ。
【請求項６０】
前記回折格子アセンブリは、前記画像センサのカラーフィルタアレイの上方に配置されるように構成され、
前記カラーフィルタアレイは、前記画素アレイの上方に配置され、前記複数の感光画素による前記回折波面の検出の前に、前記回折波面を空間的およびスペクトル的にフィルタリングするように構成される、
請求項59に記載の回折格子アセンブリ。
【請求項６１】
前記回折格子は、400ナノメートルから1550ナノメートルの範囲の波長帯で前記光波面を回折するように構成される、請求項59または60に記載の回折格子アセンブリ。
【請求項６２】
前記格子周期が1マイクロメートルから20マイクロメートルの範囲である、請求項59から61のいずれか一項に記載の回折格子アセンブリ。
【請求項６３】
前記回折格子は、バイナリ位相格子であり、前記屈折率変調パターンは、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、当該リッジは前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置される、請求項59から62のいずれか一項に記載の回折格子アセンブリ。
【請求項６４】
前記格子軸に沿った前記画素ピッチに対する前記格子周期の比が実質的に2に等しい、請求項59から63のいずれか一項に記載の回折格子アセンブリ。
【請求項６５】
前記回折格子は、前記回折格子アセンブリの複数の回折格子のうちの1つであり、前記複数の回折格子は、前記画素アレイの上方に配置された二次元格子アレイに配置される、請求項59から64のいずれか一項に記載の回折格子アセンブリ。
【請求項６６】
前記複数の回折格子は、複数の回折格子のセットを含み、前記セットのうちの互いに異なるセットの回折格子の格子軸は、異なる配向を有する、請求項65に記載の回折格子アセンブリ。
【請求項６７】
前記回折格子の複数のセットは、回折格子の第1のセットと、回折格子の第2のセットとを含み、前記第1のセットの回折格子の格子軸は、前記第2のセットの回折格子の格子軸に実質的に垂直に延在する、請求項66に記載の回折格子アセンブリ。
【請求項６８】
各回折格子が、格子周期の2〜10回の繰り返しを含む、請求項59〜67のいずれか一項に記載の回折格子アセンブリ。
【請求項６９】
シーンに関するライトフィールド画像データをキャプチャする方法であって、
回折波面を生成するために、格子軸に沿って格子周期を有する回折格子でシーンから発する光波面を回折するステップと、
前記回折格子の下方に配置された複数の感光画素を含む画素アレイであって前記格子周期よりも小さい格子軸に沿った画素ピッチを有する画素アレイにより前記回折波面を前記ライトフィールド画像データとして検出するステップと、を備える方法。
【請求項７０】
前記複数の感光画素で前記回折波面を検出する前に、前記回折波面をカラーフィルタアレイで空間スペクトルフィルタリングするステップをさらに含む、請求項69に記載の方法。
【請求項７１】
前記シーンから生じる前記光波面を回折するステップは、前記光波面を400ナノメートルから1550ナノメートルの範囲の波長帯で回折するステップを含む、請求項69または70に記載の方法。
【請求項７２】
前記格子周期を1マイクロメートルから20マイクロメートルの間の範囲で選択するステップをさらに含む、請求項69から71のいずれか一項に記載の方法。
【請求項７３】
前記回折格子を、前記格子周期で周期的に間隔を置いて配置された一連のリッジを備え、前記格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置されたバイナリ位相格子として提供するステップをさらに含む、請求項69〜72のいずれか一項に記載の方法。
【請求項７４】
前記回折格子に約50%のデューティサイクルを提供するステップと、各感光画素を、前記リッジの対応する1つ又は前記溝の対応する1つの下方に当該リッジ又は溝に整列させて配置し、或いは、前記リッジの対応する1つと前記溝の対応する1つとの間の移行部の下方に当該移行部に整列させて配置するステップとを更に含む、請求項73に記載の方法。
【請求項７５】
前記リッジ及び前記溝の隣接するものの間の光路差を制御するために、前記溝に対する前記リッジのステップ高さを設定するステップをさらに含む、請求項73または74に記載の方法。
【請求項７６】
前記回折格子の前記屈折率変調パターンと前記画素アレイの前記受光面との間の分離距離を、前記光波面の中心波長の約10倍未満に設定するステップをさらに含む、請求項69〜75のいずれか一項に記載の方法。
【請求項７７】
前記格子軸に沿った前記画素ピッチに対する前記格子周期の比を実質的に2に設定するステップをさらに含む、請求項69から76のいずれか一項に記載の方法。
【請求項７８】
前記複数の感光画素を、2つの直交する画素軸によって画定される矩形画素グリッド内に設けるステップと、前記格子軸を、前記2つの直交する画素軸のうちの1つに平行に、または前記2つの直交する画素軸の両方に斜めに配向するステップとをさらに含む、請求項69〜77のいずれか一項に記載の方法。
【請求項７９】
前記光波面を回折する前に前記光波面をスペクトル的に分散させることをさらに含む、請求項69〜78のいずれか一項に記載の方法。
【請求項８０】
シーンを観察し複数の感光画素を有する画素アレイを備える画像センサに三次元撮像能力を提供する方法であって、
格子軸と前記格子軸に沿った格子周期とを有する回折格子を備えた回折格子アセンブリを画像センサの前に配置するステップと、
前記回折格子で前記シーンから発する光波面を受け取って回折し、回折波面を生成するステップと、
前記感光画素で前記回折波面を検出するステップと、を備える、
前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチより大きい、方法。
【請求項８１】
前記複数の感光画素によって前記回折波面を検出する前に、前記回折波面をカラーフィルタアレイで空間的かつスペクトル的にフィルタリングするステップをさらに含む、請求項80に記載の方法。
【請求項８２】
前記格子周期を1マイクロメートルから20マイクロメートルの間の範囲で選択するステップをさらに含む、請求項80または81に記載の方法。
【請求項８３】
前記回折格子を、前記格子周期で周期的に間隔を置いて配置され、前記格子周期で周期的に間隔を置いて配置された一連の溝と交互配置されたリッジを備えたバイナリ位相格子として提供するステップをさらに含む、請求項80〜82のいずれか一項に記載の方法。
【請求項８４】
前記回折格子に約50%のデューティサイクルを提供するステップと、前記回折格子アセンブリを前記画素アレイの上方に配置して、各リッジおよび各溝が、前記感光画素の対応する1つの上方に当該リッジ又は溝と整列して延在するか、または前記交互配置されたリッジおよび溝の間の各移行部の上方に当該移行部と整列して延在するようにするステップと、をさらに含む、請求項83に記載の方法。
【請求項８５】
前記リッジ及び前記溝のうち相互に隣接するリッジと溝との間の光路差を制御するために、前記溝に対する前記リッジのステップ高さを設定するステップをさらに含む、請求項83または84に記載の方法。
【請求項８６】
前記回折格子アセンブリを前記画像センサの前に配置するステップは、前記感光画素で検出される前の前記回折波面の光路長が前記光波面の中心波長の約10倍未満となるように選択された距離だけ前記画素アレイから分離させて前記回折格子アセンブリを配置するステップを含む、請求項80〜85のいずれか一項に記載の方法。
【請求項８７】
前記格子周期を、前記格子軸に沿った画素ピッチの実質的に2倍に等しく設定するステップをさらに含む、請求項80〜86のいずれか一項に記載の方法。
【請求項８８】
前記画像センサの前に前記回折格子アセンブリを配置するステップは、前記格子軸を、前記画素アレイの2つの直交する画素軸のうちの1つに平行に、または前記2つの直交する画素軸の両方に斜めに配向することを含む、請求項80〜87のいずれか一項に記載の方法。
【請求項８９】
前記光波面を回折する前に前記光波面をスペクトル的に分散させることをさらに含む、請求項80〜88のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
一般的な技術分野は、撮像システムおよび撮像方法に関し、より詳細には、深度取得および3次元(3D)撮像のためのライトフィールド撮像デバイスおよび撮像方法に関する。
【背景技術】
【０００２】
従来の撮像ハードウェアは、入射光が有する次元を諦めて、複雑な3次元(3D)シーンを単純化された2次元(2D)平面上に投影することを含む。この情報の損失は、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサアレイなどの2乗検波器の性質の直接的な結果であり、これらの検出器は、入射光の時間平均強度Iのみを直接測定することができ、その位相φまたは波数ベクトルkまたは角周波数ωは測定することができない。
【数１】
2019523910.tif 000003
【０００３】
この制約内で動作すると、プレノプティックカメラは、同時に取得された複数の画像の比較分析、複雑な機械学習および/または再構成技術、または能動照明器およびセンサの使用のいずれかによって、深度情報を回復することを強いられる。プレノプティックカメラは一般に、観察者または点に衝突するライトフィールドを以下の式によってパラメータ化する「プレノプティック関数」を用いてシーンを記述する。
【数２】
2019523910.tif 000004
【０００４】
ここで、xおよびy座標は、位置(Vx、Vy、Vz)で観察者によって見られるとき、波長λおよび偏光角pについて、時間tにおける特定の像平面を定義する。それらは、単一またはマルチセンサベースのシステムであってもよいが、現在のプレノプティックカメラは、最低でも、センサアレイの任意の所与の画素によって検出される光の強度のみに依存することができる。より実用的には、ステレオビジョンまたはマイクロレンズ化などの既存の解決策は、奥行きを識別するために必要とされる様々な視野に適応するために、複数のセンサまたはセンサのセグメント化を採用することによって、全体的な画質およびセンサのフットプリントを犠牲にする。
【０００５】
ランダムバイナリオクルージョンマスクおよびコード化アパーチャは、パッケージングまたは全体的なフットプリントへの影響を最小限に抑えながら、単一センサの解決策を提供する他の既存のアプローチである。しかし、圧縮センシングおよび非線形再構成技術の進歩にもかかわらず、これらの解決策は、大量の画像辞書およびそれに伴う計算費用によって妨げられたままである。
【０００６】
飛行時間および構造化光ベースの技術は、パルス化された、パターン化された、または変調された連続波赤外光でシーンを能動的に照明し、完全な戻り移動時間または照明された光パターンの微妙な変化を介して深さを決定する。これらの技術は、画像セグメント化の影響を受けないが、一般的に、追加の能動赤外線エミッタおよび検出器を必要とし、これらの両方が、電力消費ならびにデバイス全体のフットプリントを増加させる。同様に、これらの技術は、干渉信号、鏡面反射、および周囲の赤外光に敏感である傾向があり、したがって、屋外でのそれらの実現可能性を制限する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従って、ライトフィールド撮像の分野には課題が残っている。
【課題を解決するための手段】
【０００８】
本説明は、一般的に、深度マッピング及び他の3Dイメージ用途のためのライトフィールド撮像技術に関する。
【０００９】
一態様によれば、シーンに関するライトフィールド画像データをキャプチャするためのライトフィールド撮像デバイスが提供される。当該デバイスは、
前記シーンから出る光波面を受け取るよう構成された回折格子アセンブリと、
前記回折格子アセンブリの下方に配置され、回折された波面をライトフィールド画像データとして検出する複数の感光画素を有する画素アレイと、を備え、
前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
前記画素アレイは、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する。
【００１０】
いくつかの実施態様では、回折波面は格子軸に沿った強度プロファイルを有し、画素アレイは、回折波面の強度プロファイルが格子周期に実質的に一致する空間周期を有する分離距離だけ回折格子から分離される。
【００１１】
別の態様によれば、シーンに関するライトフィールド画像データをキャプチャするための背面照明ライトフィールド撮像デバイスが提供され、当該デバイスは、
前面および背面を有する基板と、
前記基板の背面の上方に設けられ前記シーンから出る光波面を受け取る回折格子アセンブリと、
前記基板内に形成された画素アレイと、
前記前面の下方に設けられ前記画素アレイに結合された画素アレイ回路と、を備え、
前記回折格子アセンブリは、格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子であって前記光波面を回折させて回折波面を生成する回折格子を備え、
前記画素アレイは、前記回折波面を、前記背面を通じて受け取り前記ライトフィールド画像データとして検出するように構成された複数の感光画素を備え、前記格子周期よりも小さい、前記格子軸に沿った画素ピッチを有する。
【００１２】
いくつかの実施態様では、回折波面は格子軸に沿った強度プロファイルを有し、画素アレイは、回折波面の強度プロファイルが格子周期に実質的に一致する空間周期を有する分離距離だけ回折格子から分離される。
【００１３】
別の態様により提供されるライトフィールド撮像デバイスは、
格子軸と当該格子軸に沿って格子周期を有する屈折率変調パターンとを有する回折格子を備えた回折格子アセンブリと、
前記回折格子の下方に配置された複数の感光画素を備えた画素アレイであって、前記格子周期よりも小さい、格子軸に沿った画素ピッチを有する画素アレイと、を備える。
【００１４】
別の態様によれば、ライトフィールド画像データをシーンについてキャプチャする複数の感光画素を有する画素アレイを備えた画素センサと共に使用するための回折格子アセンブリが提供され、当該回折格子アセンブリは、
格子軸と前記格子軸に沿った格子周期を有する屈折率変調パターンとを有する回折格子を備え、
前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチよりも大きく、
前記回折格子は、前記ライトフィールド画像データとして感光画素によって検出する回折波面を生成するために、前記シーンから生じる光波面を受け取り、回折するように構成され、
当該回折格子アセンブリは、前記画素アレイの上方に配置されるように構成されている。
【００１５】
別の態様によれば、シーンに関するライトフィールド画像データをキャプチャする方法であって、当該方法は、
回折波面を生成するために、格子軸に沿って格子周期を有する回折格子でシーンから発する光波面を回折するステップと、
前記回折格子の下方に配置された複数の感光画素を含む画素アレイであって前記格子周期よりも小さい格子軸に沿った画素ピッチを有する画素アレイにより前記回折波面を前記ライトフィールド画像データとして検出するステップと、を備える。
【００１６】
いくつかの実施態様では、前記回折波面は前記格子軸に沿った強度プロファイルを有し、前記画素アレイは、前記回折波面の強度プロファイルが前記格子周期に合致する空間周期を有するような離隔距離だけ前記回折格子から離間している。
【００１７】
別の態様によれば、シーンを観察し複数の感光画素を有する画素アレイを備える画像センサに三次元撮像能力を提供する方法が提供され、当該方法は、
格子軸と前記格子軸に沿った格子周期とを有する回折格子を備えた回折格子アセンブリを画像センサの前に配置するステップと、
前記回折格子で前記シーンから発する光波面を受け取って回折し、回折波面を生成するステップと、
前記感光画素で前記回折波面を検出するステップと、を備える。そして、前記格子周期は、前記格子軸に沿った画素アレイの画素ピッチより大きい。
【００１８】
いくつかの実施態様では、回折格子アセンブリを画像センサの前に配置するステップは、回折波面が格子周期に実質的に一致する空間周期を有する格子軸に沿った強度プロファイルを有する画素アレイからの分離距離に回折格子アセンブリを配置するステップを含む。
【００１９】
いくつかの実施態様では、ライトフィールド撮像デバイスは、感光素子のアレイと、各カラーフィルタが感光素子のうちの少なくとも1つを覆い、カラーフィルタがモザイク色パターンに従って空間的に配置されるように、感光素子のアレイを覆い、感光素子のアレイと位置合わせされたカラーフィルタのアレイと、カラーフィルタのアレイ上に延在する回折格子構造とを含むことができる。
【００２０】
いくつかの実施形態では、ライトフィールド撮像デバイスは、シーンから入射する光波面に露光される回折格子構造であって、回折波面を生成するために光波面を回折する回折格子構造と、モザイク色パターンに従って空間的に配置されるカラーフィルタのアレイであって、回折格子構造の下方に延在するカラーフィルタのアレイと、モザイク色パターンに従って回折波面を空間的色彩的フィルタリングして複数の空間的に分布する波面成分を含むフィルタリングされた波面を生成するカラーフィルタのアレイと、フィルタリングされた波面をライトフィールド画像データとして検出する感光素子のアレイとを含むことができ、感光素子のアレイは、各感光素子が空間的に分布する波面成分のうちの少なくとも対応する1つを検出するように、カラーフィルタのアレイと位置合わせされる。
【００２１】
いくつかの実施態様では、本方法は、シーンから入射する光波面を回折して回折波面を生成するステップと、モザイク色パターンに従って空間的に配置されたカラーフィルタのアレイを通して回折波面をフィルタリングし、それにより、複数の空間的に分布した波面成分を含むフィルタリングされた波面を取得するステップと、各感光素子が空間的に分布した波面成分のうちの対応する1つを少なくとも部分的に検出するように、カラーフィルタのアレイの下方にあり、カラーフィルタのアレイの下方に当該アレイと位置合わせされた感光素子のアレイにより、ライトフィールド画像データとして、フィルタリングされた波面を検出するステップとを含むことができる。
【００２２】
いくつかの実施態様では、本方法は、シーンから入射する光波面を回折して回折波面を生成するステップと、回折波面をスペクトル的および空間的にフィルタリングして、複数の空間的に分布し、スペクトル的にフィルタリングされた波面成分を含むフィルタリングされた波面を生成するステップと、アレイ状に並べられた複数の感光素子において、空間的に分布しスペクトル的にフィルタリングされた複数の波面成分をライトフィールド画像データとして検出するステップとを含むことができる。
【００２３】
本説明の他の特徴および利点は、添付の図面を参照して例としてのみ与えられる、その特定の実施形態の以下の非限定的な説明を読めば、より明らかになるであろう。
【図面の簡単な説明】
【００２４】
【図１】可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図である。
【図２】図1のライトフィールド撮像デバイスの概略部分分解斜視図である。
【図３】各カラーフィルタが2×2ブロックの感光画素の上方に位置する、別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解斜視図である。
【図４】別の可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図であり、ライトフィールド撮像デバイスは、モノクロ撮像用途のために構成される。
【図５】図4のライトフィールド撮像デバイスの概略部分分解斜視図である。
【図６】別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解斜視図であり、ライトフィールド撮像デバイスは、カラーフィルタアレイの上方に設けられたマイクロレンズアレイを含む。
【図７】デバイスを通る光の波面の伝播が概略的に示される、別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解側面図である。図7の光フィールド撮像デバイスは、モノクロ撮像用途に適している。
【図８Ａ】図8A〜8Cは、ライトフィールド撮像デバイスの3つの他の可能な実施形態の概略的な部分分解側面図であり、デバイスを通る光の波面の伝播が概略的に示される。図8Aにおいて、各感光画素は、1つのリッジと1つの溝との間の移行部に垂直に整列される。
【図８Ｂ】図8Bにおいて、格子軸に沿った画素ピッチに対する格子周期の比は4に等しい。
【図８Ｃ】図8Cにおいて、回折格子のデューティサイクルは50%と異なる。
【図９Ａ】回折格子の格子軸が2つの直交する画素軸のいずれかに対して斜めである、ライトフィールド撮像デバイスの他の可能な実施形態の部分的に透明な概略上面図である。
【図９Ｂ】回折格子の格子軸が2つの直交する画素軸のいずれかに対して斜めである、ライトフィールド撮像デバイスの他の可能な実施形態の部分的に透明な概略上面図である。
【図１０】デバイスを通る光の波面の伝播が概略的に示される、別の可能な実施形態による、ライトフィールド撮像デバイスの概略的な部分分解側面図である。図10のライトフィールド撮像デバイスは、カラー撮像用途に適している。
【図１１】別の可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図であり、回折格子アセンブリは、チェッカーボードパターンを画定するように行および列の両方で交互に配置された2セットの直交配向回折格子を含む。
【図１２Ａ】二次元アレイに配置された複数の回折格子を含む回折格子アセンブリの代替実施形態を示す。
【図１２Ｂ】二次元アレイに配置された複数の回折格子を含む回折格子アセンブリの代替実施形態を示す。
【図１２Ｃ】二次元アレイに配置された複数の回折格子を含む回折格子アセンブリの代替実施形態を示す。
【図１３】回折格子アセンブリが、カラーフィルタのアレイを形成する複数の回折格子を含み、各回折格子が、回折格子のそれぞれ1つによって具現化される、別の可能な実施形態による、ライトフィールド撮像デバイスの概略斜視図である。
【図１４】別の可能な実施形態による、ライトフィールド撮像デバイスの概略側面図であり、ライトフィールド撮像デバイスは、回折格子アセンブリに到達する前にシーンから生じる光波面を空間スペクトル的に広げるために、回折格子アセンブリの前に配置された分散光学系を含む。図15は、別の可能な実施形態による、前面照明構成におけるライトフィールド撮像デバイスの概略側面図である。
【図１５】別の可能な実施形態による、前面照明構成におけるライトフィールド撮像デバイスの概略側面図である。
【図１６】別の可能な実施形態による、背面照明構成におけるライトフィールド撮像デバイスの概略側面図である。
【図１７】可能な実施形態による、シーンに関するライトフィールド画像データをキャプチャするための複数の感光画素を有する画素アレイを含む画像センサで使用するための回折格子アセンブリの概略斜視図である。
【図１８】可能な実施形態による、シーンに関するライトフィールド画像データをキャプチャする方法のフロー図である。
【図１９】可能な実施形態による、シーンを観察し、感光画素のアレイを含む画像センサに3Dイメージ能力を提供する方法のフロー図である。
【発明を実施するための形態】
【００２５】
本明細書では、図面中の類似の特徴には類似の参照番号が与えられており、図面を不当に妨げないように、いくつかの要素は、それらが先行する図面において既に識別されている場合、いくつかの図に示されないことがある。また、本発明の実施形態の要素および構造を明確に示すことに重点が置かれているため、図面の要素は必ずしも一定の縮尺で描かれていないことも理解されたい。
【００２６】
本明細書では、特に明記しない限り、用語「接続された」、「結合された」、ならびにその変形および派生語は、2つ以上の要素間の直接または間接のいずれかの任意の接続または結合を指す。要素間の接続または結合は、機械的、光学的、電気的、動作可能、またはそれらの組み合わせであってもよい。また、別の要素に対する1つの要素の位置または向きを示す位置記述子および他の同様の用語は、説明の容易さおよび明瞭さのために本明細書で使用され、別段の指示がない限り、図面の文脈で解釈されるべきであり、限定とみなされるべきではないことも理解されよう。そのような空間的に相対的な用語は、図面に例示された配向に加えて、本発明の実施形態の使用または動作における異なる配向を包含することが意図されることが理解されるであろう。より詳細には、本明細書では、2つの要素の相対空間関係を指定する際の用語「上方」および「下方」は、2つの要素が互いに直接接触するか、または1つまたは複数の介在要素によって互いに分離され得ることを示すことに留意されたい。
【００２７】
本明細書において、用語「a」、「an」、および「one」は、「少なくとも1つ」を意味するように定義され、すなわち、これらの用語は、特に断らない限り、複数のアイテムを排除しない。
【００２８】
本説明は、概して、シーンから発する光波面に関するライトフィールド情報または画像データを取得するためのライトフィールド撮像技術に関する。様々な態様によれば、本説明は、シーンに関するライトフィールド画像データをキャプチャするためのライトフィールド撮像デバイス、例えば、背面照明ライトフィールド撮像デバイス、シーンに関するライトフィールド画像データを取得するために画像センサと共に使用するための回折格子アセンブリ、シーンに関するライトフィールド画像データをキャプチャする方法、およびシーンを見る画像センサレイに3次元(3D)撮像能力を提供する方法に関する。
【００２９】
いくつかの実施形態では、本技法は、適切な色符号化機構と対にされた1つまたは多くの回折光学素子による回折の色依存性の特定の操作および比較、ならびに3Dイメージにおけるその使用を可能にする。いくつかの実施態様では、本明細書で開示されるライトフィールド撮像デバイスおよび方法は、回折の色依存性の直接測定を可能にする、生成された干渉パターンの特定の空間スペクトルサブサンプリングを通して、観察可能なシーンから生じる光波面の強度および入射角だけでなく、波長にも敏感である。ライトフィールド情報または画像データは、観察可能なシーンから発する光波面の強度だけでなく、入射角、位相、波長、および光波面の偏光を含むがこれらに制限されない他のライトフィールドパラメータに関する情報を含むことができる。したがって、例えば深度カメラなどのライトフィールド撮像デバイスは、通常は光強度のみを記録する従来のカメラよりも多くの情報を取得することができる。光フィールド撮像デバイスによってキャプチャされた画像データは、3D深度マップ抽出、3D表面再構成、画像再焦点合わせなどを含むが、これらに限定されない複数の機能を提供するために、様々な方法で使用または処理することができる。用途に応じて、観察可能なシーンのライトフィールド画像データは、1つ以上の静止画像として、またはビデオストリームとして取得することができる。
【００３０】
本技法は、例えば、ユーザがシーンのキャプチャされた画像の焦点、視点、および/または被写界深度を変更することを可能にするために、深度感知機能および他の3Dイメージ機能の向上を必要とするか、またはその機能から利益を得ることができる撮像アプリケーションにおいて使用することができる。本技法は、プレノプティック記述を使用するライトフィールド撮像アプリケーション、回折の色依存性の比較分析による測距アプリケーション、および単一センサ単一画像深度取得アプリケーションを含むがこれらに限定されない様々なタイプの3Dイメージシステムおよび方法に適用または実装することができる。本技法の特定の実施形態の非網羅的な利点および利益は、それらの機能を実行するためにより少ない電力を使用する受動感知モダリティとの互換性、低減されたフットプリントを有する単一センサアーキテクチャとの互換性、2D性能を維持しながら奥行きマッピング機能を可能にすること、既存の画像センサハードウェアおよび製造プロセスへの単純かつ低コストの統合、従来のCMOSおよびCCD画像センサとの互換性、ならびに奥行き検出のための能動照明システムを装備したデュアルカメラまたはカメラなどの複数の構成要素の必要性の排除を含むことができる。
【００３１】
本明細書では、用語「光」および「光学」は、電磁スペクトルの任意の適切な領域における放射を指すために使用される。より詳細には、用語「光」および「光学」は、可視光に限定されず、テラヘルツ(THz)、赤外線(IR)および紫外線(UV)スペクトル帯域を含むがこれらに限定されない電磁スペクトルの不可視領域を含むこともできる。いくつかの実施態様では、用語「光」および「光学」は、深紫外線の約175ナノメートル(nm)からテラヘルツ範囲の約300マイクロメートルまでの範囲の波長、例えば、可視スペクトルの青色端の約400nmから通信波長の約1550nmまでの範囲の波長、または典型的な赤緑青色(RGB)カラーフィルタのスペクトル範囲に一致する約400nmから約650nmまでの範囲の波長を有する電磁放射を包含することができる。しかしながら、当業者は、これらの波長範囲が例示の目的のみのために提供され、本技術がこの範囲を超えて動作し得ることを理解するであろう。
【００３２】
本明細書では、用語「色」および「色彩」ならびにその変形および派生語は、可視電磁放射(例えば、赤色、緑色、および青色)の人間の知覚の通常の文脈において使用されるだけでなく、電磁スペクトルの任意の適切な領域にわたるスペクトル特性(例えば、回折、透過、反射、分散、吸収)を記述するためにもより広く使用される。この文脈において、特に明記しない限り、用語「色」および「有彩色」ならびにそれらの派生語は、用語「スペクトル」およびその派生語と互換的に使用することができる。
【００３３】
（ライトフィールド撮像デバイスの実施形態）
図1および図2を参照すると、観察可能なシーン22に関するライトフィールドまたは深度画像データをキャプチャするためのライトフィールド撮像デバイス20の例示的な実施形態の概略図が提供されている。本明細書では、「ライトフィールド撮像デバイス」という用語は、シーンから発するライトフィールドまたは波面を表す画像を取得することができ、画像平面における光強度だけでなく、例えば光線がデバイスに入る方向およびライトフィールドのスペクトルなどの他のライトフィールドパラメータに関する情報を含む任意の画像キャプチャデバイスを広く指す。本明細書では、「ライトフィールド撮像デバイス」という用語は、「ライトフィールドカメラ」、「ライトフィールドイメージャ」、「ライトフィールドイメージキャプチャデバイス」、「深度イメージキャプチャデバイス」、「3Dイメージキャプチャデバイス」などの用語と互換的に使用することができることに留意されたい。
【００３４】
図示の実施形態では、ライトフィールド撮像デバイス20は、シーン22から発せられる光波面26を受け取るように構成された回折格子アセンブリまたは構造24を含む。回折格子アセンブリ24は、少なくとも1つの回折格子28を含むことができ、各回折格子28は、格子軸30と、格子軸30に沿った格子周期34を有する屈折率変調パターン32とを有する。図1および図2では、回折格子アセンブリ24は単一の回折格子28を含むが、以下に説明するように、他の実施形態では、回折格子アセンブリは2つ以上の回折格子を含むことができる。回折格子28は、入射光波面26を回折し、それによって回折波面36を生成するように構成される。図1および2の回折格子28は、入射光波面26および回折波面36が回折格子28の反対側にあるので、透過に使用される。
【００３５】
さらに図1および図2を参照すると、ライトフィールド撮像デバイス20は、回折格子アセンブリ24の下方に配置され、回折波面36をシーン22に関するライトフィールド画像データとして検出するように構成された複数の感光画素40を含む画素アレイ38も含む。カラー実装では、ライトフィールド撮像デバイス20は、画素アレイ38の上方に配置されたカラーフィルタアレイ42も含むことができる。カラーフィルタアレイ42は、モザイク色パターンで配列された複数のカラーフィルタ44を含み、各カラーフィルタ44は、カラーフィルタアレイ42内のそれぞれの位置で色情報をキャプチャするために、入射光を波長ごとにフィルタリングする。カラーフィルタアレイ42は、複数の感光画素40による回折波面36の検出に先立って、モザイク色パターンに従って回折波面36を空間的かつスペクトル的にフィルタリングするように構成される。したがって、上述したように、画素アレイによる検出の前に、回折格子アセンブリによって生成された回折波面の直接的な空間的および色的にサブサンプリングを実行するカラーフィルタアレイを提供することによって、ライトフィールド撮像デバイスは、光の入射波面の角度および強度だけでなく、そのスペクトル内容にも感度を有することができる。
【００３６】
カラーフィルタアレイは、いくつかの用途、例えばモノクロ撮像用に設ける必要がないことに留意されたい。また、感光画素によって検出される波面は、モノクロおよびカラーの両方の実装において一般的に「回折波面」と呼ばれるが、後者の場合、用語「フィルタリングされた波面」または「フィルタリングされた回折波面」は、場合によっては、回折格子アセンブリによって生成される回折波面が、下にある画素アレイによる検出の前に、カラーフィルタアレイによって空間的およびスペクトル的にフィルタリングされるという事実を示すために使用されてもよいことにも留意されたい。カラーフィルタアレイが提供されないいくつかの実施形態では、回折格子がカラーフィルタとして働くことができることに留意されたい。例えば、回折格子は、その上部に屈折率変調パターンが形成された上面を有する格子基板であって、複数の感光画素による回折波面の検出に先立って、波長に従って回折波面をスペクトル的にフィルタリングするように構成されたスペクトルフィルタ材料または領域を有する格子基板を含むことができる。そして、例えば、このスペクトルフィルタ材料または領域は、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つとして働くことができる。
【００３７】
用途または用途に応じて、ライトフィールド撮像デバイスの実施形態は、様々な画像センサキテクチャおよび画素アレイ構成を使用して実装することができる。例えば、いくつかの実施形態では、ライトフィールド撮像デバイスは、画素アレイ（カラーベースの用途では、カラーフィルタアレイを含む）を有する既存の画像センサの上方に回折格子アセンブリを追加または結合することによって簡単に実装することができる。例えば、既存の画像センサは、従来の2D CMOSまたはCCDイメージャとすることができる。しかし、他の実施形態では、ライトフィールド撮像デバイスは、その構成要素(例えば、回折格子アセンブリ、画素アレイ、カラーフィルタアレイ)の全てまたは大部分をその中に組み込んだ、別々の、専用の、および/またはカスタム設計されたデバイスとして実装および一体的にパッケージ化することができる。
【００３８】
前段落で紹介した構成要素の構造、構成、および動作に関するさらなる詳細、ならびにライトフィールド撮像デバイスの他の可能な構成要素について、以下に説明する。
【００３９】
図1および図2に示す実施形態では、回折格子28は、カラーフィルタアレイ42の上方に延在する格子基板46を含む。格子基板46は、周期的屈折率変調パターン32が形成された上面48と、底面50とを有する。回折格子基板46は、回折波面36が透過できるように、スペクトル動作範囲において透明または十分に透明な材料で作られる。このような材料の非限定的な例としては、酸化ケイ素(SiOx)、ポリマー、コロイド粒子、SU−8フォトレジスト、ガラスが挙げられる。例えば、いくつかの実施態様では、回折格子28は、約400nm〜約1550nmの範囲の波長帯域で光波面26を回折するように構成することができる。
【００４０】
当技術分野で知られているように、回折は、波面が、電磁気であろうと他のものであろうと、物理的物体または屈折率摂動に遭遇するときに生じる。波面は、物体の縁部の周りで曲がる傾向がある。波面が複数の物体に遭遇した場合、周期的であろうと、そうでなければ、対応するウェーブレットは、ヤングの二重スリット実験によって実証されるように、最初の遭遇からいくらかの距離だけ離れて干渉し得る。この干渉は、「回折パターン」または「干渉パターン」と呼ばれる明確なパターンを、波面の入射角およびスペクトル内容、ならびに遭遇する物体の一般的なサイズ、形状、および相対空間関係に敏感な元の遭遇からの距離の関数として生成する。この干渉は、Huygens−Fresnel原理によって記述されるように、各対応するウェーブレットの成長する相対的な波面によって記述することができる。
【００４１】
本明細書では、用語「回折格子」または単に「格子」は、一般に、入射する光波面の振幅および/または位相を空間的に変調する、周期的に変調された光学特性(例えば、屈折率変調パターン)を有する周期的構造を指す。回折格子は、その空間周期(格子周期)が光の波長にほぼ等しいかまたはそれよりわずかに長い回折素子(例えば、交互のリッジおよび溝)の周期的配列を含むことができる。回折格子に入射するある範囲の波長を含む光波面は、回折すると、その振幅および/または位相が変更され、その結果、空間依存および時間依存の回折波面が生成される。一般に、回折格子は、入力光波面の各波長が異なる方向に沿って出力されるようにスペクトル分散型である。しかし、動作スペクトル範囲にわたって実質的に無彩色の応答を示す回折格子が存在し、いくつかの実施態様で使用することができる。例えば、いくつかの実施態様では、回折格子は、関心のあるスペクトル範囲において無彩色であり、関心のあるスペクトル範囲の中心波長に対して設計することができる。より詳細には、ベイヤー(Bayer)パターン化カラーフィルタアレイの場合、回折格子は、緑色チャネル、すなわち、約532nmの中心波長付近に対して最適化することができる。回折格子が無彩色である場合、回折波面の回折パターンの色サブサンプリングを提供するのは、カラーフィルタアレイのモザイク色パターンであることに留意されたい。
【００４２】
回折格子を形成する回折素子が透過性であるか反射性であるかに応じて、回折格子は「透過格子」または「反射格子」と呼ばれる。本明細書で開示される実施形態では、回折格子は透過格子であるが、反射格子の使用は先験的に排除されない。回折格子は、回折要素の性質に応じて、「振幅格子」または「位相格子」として分類することもできる。振幅格子では、格子によって引き起こされる初期波面への摂動は、直接振幅変調の結果であり、一方、位相格子では、これらの摂動は、格子材料の屈折率の周期的変化によって引き起こされる光の相対群速度の特定の変調の結果である。本明細書で開示する実施形態では、回折格子は位相格子であるが、他の実施形態では、振幅格子を使用することもできる。
【００４３】
図1および図2の図示の実施形態では、回折格子28は位相格子であり、より詳細には、屈折率変調パターン32が、格子周期34で周期的に間隔を置いて配置された一連のリッジ52を含み、これもまた格子周期34で周期的に間隔を置いて配置された一連の溝54と交互配置されたバイナリ位相格子である。したがって、屈折率変調パターン32の空間プロファイルは、格子周期34が、1つのリッジ52と1つの隣接する溝54の格子軸30に沿った幅の合計に対応する2レベルステップ関数、すなわち方形波関数を示す。いくつかの実施態様では、格子周期34は、約1マイクロメートル〜約20マイクロメートルの範囲とすることができるが、他の実施態様では、他の値も可能である。図1および図2の例示の実施形態では、溝54は空である(すなわち、空気で満たされる)が、代わりに、リッジ材料の屈折率とは異なる屈折率を有する材料で満たすこともできる。また、用途に応じて、回折格子28は、50%に実質的に等しいかまたは異なるデューティサイクルを有することができ、デューティサイクルは、格子周期34に対するリッジ幅の比として定義される。回折格子28の他のパラメータは、段差高さ56、すなわち、リッジ52と溝54との間の高さの差である。例えば、いくつかの実施態様では、ステップ高さ56は、約0.2マイクロメートル〜約1マイクロメートルの範囲とすることができる。幾つかの実施態様では、ステップ高さ56は、回折格子28が隣接するリッジ52と溝54との間に所定の光路差を生じさせるように選択することができることに留意されたい。例えば、ステップ高さ56は、光波面の所与の波長および入射角(例えば、その中心波長)において、リッジと溝との間の半波長光路差(half-wave optical path difference)を提供するように制御され得る。もちろん、他の実施態様では、他の光路差値を使用することができる。
【００４４】
図1および2の実施形態における回折格子28は、方形波屈折率変調パターン32を形成する平行なリッジ52および溝54の交互のセットからなる線形または一次元のバイナリ位相格子であるが、他の実施形態は、異なるタイプの回折格子を使用することができることに留意されたい。例えば、他の実施形態は、格子周期、デューティサイクル、およびステップ高さのうちの少なくとも1つが可変である回折格子、格子軸に垂直な非直線フィーチャを有する回折格子、より精巧な屈折率プロファイルを有する回折格子、２Ｄ回折格子などを使用することができる。回折された波面の特性は、格子パラメータの適切な選択によって調整され得ることが理解される。回折格子の動作、回折格子の相対的な位置決め、およびライトフィールド撮像デバイスの他の構成要素への光学的結合に関するさらなる詳細は、以下でさらに説明される。
【００４５】
さらに図1および図2を参照すると、上述したように、画素アレイ38は、カラーフィルタアレイ42の下方に配置された複数の感光画素40を含み、カラーフィルタアレイ42自体は、回折格子アセンブリ24の下方に配置されている。用語「画素アレイ」は、一般に、複数の光センサ(本明細書では「感光画素」または単に「画素」と呼ぶ)から構成されるセンサアレイを指し、これらの光センサは、観察可能なシーンからそこに入射する電磁放射を検出し、典型的には、検出された放射を電気データに変換することによって、シーンの画像を生成するように構成される。本技法では、光フィールド画像データとして感光画素40によって検出される電磁放射は、画素アレイ38に到達する前に回折され、任意選択的に空間的色彩的フィルタリングされたシーン22から入射する光波面26に対応する。画素アレイ38は、CMOSまたはCCD画像センサによって具現化することができるが、他のタイプの光検出器アレイ(例えば、電荷注入デバイスまたはフォトダイオードアレイ)を代わりに使用することができる。上述したように、画素アレイ38は、スペクトルの任意の適切な領域における電磁放射を検出するように構成することができる。用途に応じて、画素アレイ38は、ローリングまたはグローバルシャッタ読み出し設計のいずれかに従って構成されてもよい。画素アレイ38はさらに、以下でより詳細に説明するように、積み重ねられた、背面または前面照明センサアーキテクチャの一部であってもよい。画素アレイ38は、例えば、4/3インチ、1インチ、2/3インチ、1/1.8インチ、1/2インチ、1.27インチ、1/3インチ、1/3.2インチ、1/3.6インチ、35mmなどの任意の標準または非標準の光学フォーマットとすることができるが、これらに限定されない。画素アレイ38はまた、コントラストまたは位相検出オートフォーカス機構のいずれか、およびそれらのそれぞれの画素アーキテクチャを含んでもよい。本明細書では、「画素アレイ」という用語は、「光検出器アレイ」、「光センサアレイ」、「イメージャアレイ」などの用語と互換的に使用することができることに留意されたい。
【００４６】
画素アレイ38の各感光画素40は、それに入射する回折波面36の空間部分を蓄積電荷に変換することができ、その量は、画素40によって収集され記録された光の量に比例する。各感光画素40は、感光性表面と、画素レベルで信号を処理し、読み出しユニットなどの他の電子機器と通信する関連画素回路とを含むことができる。当業者は、種々の他の構成要素が各画素の画素回路に統合され得ることを理解する。一般に、感光画素40は、個別にアドレス指定し、読み出すことができる。
【００４７】
さらに図1および図2を参照すると、感光画素40は、2つの直交する画素軸58、60によって画定される行および列の矩形グリッドに配列することができ、行および列の数は、画素アレイ38の解像度を画定する。例えば、いくつかの実施形態では、画素アレイ38は、少なくとも16ピクセルの解像度を有することができるが、最大40メガピクセルまたはそれ以上を含む広範囲の他の解像度値を他の実施形態で使用することができる。図1および図2の実施形態では、感光画素40が２Ｄアレイに編成されているが、他の実施形態では、代替的に線形アレイとして構成されてもよいことに留意されたい。また、感光画素40は、図1および2の実施形態では正方形であり、1:1の画素アスペクト比に対応するが、他の実施形態では他の画素アスペクト比値を使用することができることに留意されたい。
【００４８】
画素アレイ38は、画素ピッチ62によって特徴付けることもできる。本明細書では、「画素ピッチ」という用語は、一般に、個々の画素40間の間隔を指し、通常、隣接する画素40間の中心間距離として定義される。画素アレイ38の物理的配置に応じて、2つの直交する画素軸58、60に沿った画素ピッチ62は同じであっても、同じでなくてもよい。画素ピッチは、任意の軸に沿って、例えば、2つの直交する画素軸58、60に対して45°に向けられた対角軸に沿って定めることもできることに留意されたい。また、本技法では、関連する画素ピッチ62は、図1および図2に示すように、の上方に重なる回折格子28の格子軸30に沿った画素ピッチである。以下により詳細に説明するように、回折格子28の格子周期34は、格子軸30に沿った画素アレイ38の画素ピッチ62よりも大きくなるように選択される。例えば、いくつかの実施態様では、格子軸30に沿った画素ピッチ62は、1マイクロメートル以下から10マイクロメートルまでの範囲とすることができるが、他の実施態様では、異なる画素ピッチ値を使用することができる。
【００４９】
本明細書では、用語「画素データ」は、各個々の画素によってキャプチャされた画像情報を指し、積分期間にわたって各個々の画素によって吸収された光エネルギーの総量を示す強度データを含むことができる。全ての画素40からの画素データを組み合わせることにより、シーン22に関するライトフィールド画像データが得られる。本技法では、シーン22から入射する光波面26が回折され、場合によっては検出前に空間的およびスペクトル的にフィルタリングされるので、ライトフィールド画像データは、入射波面26の強度だけでなく、入射角、位相、およびスペクトル内容などの他のライトフィールドパラメータに関する情報を提供することができる。より詳細には、本技法は、以下でさらに説明するように、画素アレイ38によってキャプチャされた強度ベースの回折パターンからの深度情報または他のライトフィールド情報の回復または抽出を可能にすることができることが理解されよう。
【００５０】
更に図1及び図2を参照すると、カラーフィルタアレイ42は画素アレイ38と空間的に位置合わせされ、各カラーフィルタ44は感光画素40の対応する1つに光学的に結合される。すなわち、各カラーフィルタ44は、カラーフィルタ44と感光画素40との間に1対1の関係またはマッピングが存在するように、単一の感光画素40をカバーする。しかし、他の実施形態では、各カラーフィルタは、複数の感光画素のうちの少なくとも2つの対応する画素に光学的に結合することができる。例えば、図3を簡単に参照すると、カラーフィルタアレイ42の各カラーフィルタ44が感光画素40のグループまたはサブセット、すなわち2×2ブロックの感光画素40の上方に重なるライトフィールド撮像デバイス20の別の実施形態が示されている。図1および2の実施形態および図3の実施形態の両方において、カラーフィルタアレイ42および画素アレイ38は、共に、以下に詳述および説明されるように、上方に重なる回折格子アセンブリ24によって生成される回折波面の直接的な空間的色彩的サンプリングを可能にする。
【００５１】
「色」および「色彩」という用語に関して上述したように、「カラーフィルタ」および「カラーフィルタリング」などの用語は、可視範囲内だけでなく、電磁スペクトルの任意の適切なスペクトル範囲における「スペクトルフィルタ」および「スペクトルフィルタリング」と等価であると理解されるべきである。用途に応じて、カラーフィルタは、例えば染料ベースのカラーフィルタを使用して、望ましくないスペクトル成分の吸収を通してスペクトルフィルタリングを達成することができるが、本技法の範囲から逸脱することなく、他のフィルタリング原理を使用することもできる。
【００５２】
図1および図2に戻ると、カラーフィルタ44は、モザイク色パターンまたは構成に従って物理的に編成される。いくつかの実施形態では、各カラーフィルタ44は、赤色パスフィルタ、緑色パスフィルタ、および青色パスフィルタのうちの1つである。例えば、図示の実施形態では、カラーフィルタアレイ42のモザイク色パターンはベイヤーパターン（Bayer pattern）であり、このパターンにおいては、赤(R)および緑(G)フィルタの行が交互に並ぶチェッカーボードパターンに配置されたカラーフィルタが、緑(G)および青(B)フィルタの行とインターリーブされている。当技術分野で知られているように、ベイヤーパターンは、モザイク色パターンの緑色成分が赤色成分および青色成分よりも高密度にサンプリングされるように、赤色または青色フィルタの2倍の緑色フィルタを含む。別の実施形態では、モザイク色パターンは、より精巧なベイヤーパターン、例えば、nが4より大きい整数であるn画素単位セルを有するベイヤーパターンによって具体化することができる。もちろん、本技法は、ベイヤーパターンに限定されず、RGB、RGB−IR、RGB−W、CYGM、CYYM、RGBE、RGBW #1、RGBW #2、RGBW #3、およびモノクロを含むがこれらに限定されない任意の適切なモザイク色パターンに適用することができる。いくつかの実施形態では、カラーフィルタアレイ42は、ハイパースペクトル撮像およびフィルタリング技法または干渉フィルタリング技法を含むように、標準可視ベイヤーパターンを超えて拡張され得ることに留意されたい。このような実施形態において、回折格子28の設計(例えば、格子周期34)は、増加したスペクトルサンプリング範囲に適応するように調整され得る。
【００５３】
次に図4および図5を参照すると、モノクロ画像化用途に適したライトフィールド撮像デバイス20の別の実施形態が示されている。この実施形態は、上述の、図1および図2に示す実施形態に対して、一般的に、少なくとも1つの回折格子28を有する回折格子アセンブリ24を備え、この回折格子アセンブリ24は複数の感光画素40を含む画素アレイ38の上方に配置されるという点に関しては、多くの特徴を共有する。これらの構成要素は、構造および動作の点で、図1および2の実施形態の同様の構成要素と概して同様であり得る。図4および図5のライトフィールド撮像デバイス20は、回折格子アセンブリ24と画素アレイ38との間に配置されたカラーフィルタアレイを含まないという点で、図1および図2のライトフィールド撮像デバイスとは主に異なる。その結果、感光画素40は、回折格子28を透過した回折波面36を直接検出する。
【００５４】
図6を参照すると、図4および図5の実施形態と類似の特徴を共有するが、画素アレイ38の上方に配置され、複数のマイクロレンズ66を含むマイクロレンズアレイ64をさらに含むという点で異なるライトフィールド撮像デバイス20の別の実施形態が示されている。各マイクロレンズ66は、感光画素40の対応する1つに光学的に結合され、それに入射する回折波面36の空間部分を対応する感光画素40上に集束させるように構成される。図1および図2のようなカラーフィルタのアレイが提供される実施形態では、マイクロレンズアレイは、各マイクロレンズがカラーフィルタの対応する1つに光学的に結合されるように、カラーフィルタアレイの上方に配置されることに留意されたい。いくつかの変形例では、光撮像デバイスは、画素アレイ38の上方に設けられた反射防止コーティング(anti-reflection coating)(図示せず)も含むことができる。
【００５５】
次に図7を参照すると、モノクロ画像化用途に適したライトフィールド撮像デバイス20の実施形態の概略部分分解側面図が示されている。光フィールド撮像デバイス20は、感光画素40の画素アレイ38の上方に配置された回折格子28を含むという点で、図4および図5に示されたものと類似点を共有する。回折格子28は、50%のデューティサイクルと、リッジ52と溝54の交互のセットからなる周期的な屈折率変調パターン32とを有する透過型のバイナリ位相格子である。図7はまた、デバイス20を通る光の伝播を概略的に示す。動作中、ライトフィールド撮像デバイス20は、観察可能なシーン22を包含する視野を有する。回折格子28は、シーン22から入射した光波面26(実線)を入射側で受光し、光波面26を回折して出力側に回折波面36(実線)を生成し、この回折波面36が画素アレイ38に向かって伝搬して検出される。簡単にするために、図7の入射光波面26は、垂直入射で回折格子28に入射する平面波の波面に対応する。しかし、本技術は、ライトフィールド撮像デバイスの視野内で任意の角度で回折格子28に入射する任意の形状の光波面に対して実施することができる。
【００５６】
さらに図7を参照すると、回折波面36は、回折格子28の幾何学的形状、光学波面26の波長および入射角、ならびに画素アレイ38の受光面68に対応する観察平面の位置の関数の形状を有する回折パターンによって特徴付けることができる。観察面において、回折波面36の回折パターンは、画素アレイ38の受光面68における格子軸30に沿った空間的に変化する強度プロファイル70によって特徴付けられる。図7において、格子軸30は画素軸58に平行であることに留意されたい。
【００５７】
本技術では、回折格子28および画素アレイ38は、画素アレイ38の受光面68が回折格子28の近接場回折領域または単に近接場に位置するように、互いに対して配置される。近接場回折レジームでは、フレネル回折理論を使用して、回折格子を通過する波の回折パターンを計算することができる。遠視野Fraunhofer回折理論とは異なり、フレネル回折は波面湾曲を説明し、干渉波の相対位相の計算を可能にする。同様に、回折放射照度パターンを波長の数倍の整数倍内で、回折格子と同じ寸法次数の光センサまたは別の撮像デバイスで検出する場合、高次回折効果は、単に空間サンプリングによって制限される傾向がある。近接場における回折波面36を検出するために、本技術は、屈折率変調パターン32が形成され回折が生じる回折格子28の上面48と、下方に位置して回折波面36を検出する画素アレイ38の受光面68との間の十分に小さい分離距離72を維持することを含むことができる。いくつかの実施態様では、これは、分離距離72を光波面26の中心波長の約10倍未満になるように選択することを含むことができる。いくつかの実施態様では、分離距離72は、約0.5マイクロメートル〜約20マイクロメートルの範囲、例えば、光波面の中心波長が可視範囲内にある場合、0.5マイクロメートル〜約8マイクロメートルの範囲とすることができる。
【００５８】
近接場回折レジームでは、周期的回折格子28によって生成される回折波面36の強度プロファイル70は、一般に、回折格子28の格子周期34に実質的に一致する空間周期74と、回折格子28の屈折率変調パターン32に実質的に一致する形状とを有する。例えば、図示の実施形態では、画素アレイ38の感光画素40によって検出される回折波面36の回折パターンは、バイナリ位相回折格子28の屈折率変調パターン32の強度プロファイルと実質的に一致する方形波または2ステップの強度プロファイル70を有する。本明細書では、用語「一致」及びその派生語は、検出された回折波面36の強度プロファイル70と回折格子28の周期的屈折率変調パターン32との間の「正確な」又は「完全な」一致だけでなく、「実質的な」、「近似的な」又は「主観的な」一致も包含すると理解されるべきである。したがって、用語「一致」は、本明細書では、2つの特徴が同じであるか、または互いの所定の許容差内のいずれかである状態を指すことが意図される。
【００５９】
周期的回折格子による近接場回折の別の特徴は、入射光波面26の回折格子28への入射角76を変化させると、回折波面36の強度プロファイル70が格子軸30に沿って横方向にシフトするが、図7の実線と破線の波面線との比較から分かるように、その周期74および形状を実質的に保持することである。いくつかの実施形態では、回折格子28と画素アレイ38との間の分離距離は、回折波面36の強度プロファイル70が受ける空間シフトが、光波面26の入射角76がライトフィールド撮像デバイス20の視野の角度スパンにわたって変化するときに、格子周期34よりも小さくなることを確実にするように選択できることが理解されよう。そうでなければ、光波面26の入射角76の曖昧さが問題となり得る。例えば、例示の目的で、視野が±20°の角度スパンを有し、入射光波面26の入射角76を10°だけ変化させることによって、回折波面36の強度プロファイル70の空間シフトが格子周期34に等しくなるライトフィールド撮像デバイス20を考える。このような場合、例えば+2°の入射角で回折格子34に入射する光は、位相情報のみからは、+12°の入射角で回折格子34に入射する光と区別できない。
【００６０】
また、回折格子28は、下方にある画素アレイ38に光学的に結合されると、検出された回折波面36の回折パターンの強度プロファイル70が、変調成分Imodおよび基底成分Ibaseを含む変調関数I〜Imod(深度情報)×Ibase(2D画像)として一般に書くことができるように、標準の2D画像で光の位相情報を畳み込むことにも留意されたい。基底成分Ibaseは、画素アレイ38の前に回折格子28がない場合に画素アレイ38によって検出される位相非依存光波面を表す。換言すれば、基底成分Ibaseのみを検出することにより、シーン22の従来の2Dイメージを得ることができる。一方、変調成分Imod(これは、基底成分Ibase(例えば、約0.1〜約0.3の範囲のImod対Ibase の比)と比較して一般に小さい)は、入射光波面26の位相の直接的な結果であり、その結果、入射角のわずかな差も、画素アレイ38を横切って空間的にサンプリングされた周期的な電気応答として現れる。光波面26の入射角76に対する感度、したがってライトフィールド撮像デバイス20の角度分解能は、一般に、回折格子28の特定の設計に依存することが理解されよう。
【００６１】
さらに図7を参照すると、上述したように、本技法では、画素アレイ38は、回折格子28の格子周期34よりも小さい格子軸30に沿った画素ピッチ62を有する。これは、画素アレイ38の受光面68が回折格子28の近接場にあるとき、格子軸30に沿った画素アレイ38の画素ピッチ62も、検出された回折波面36の格子軸30に沿った強度プロファイル70の空間周期74よりも小さいことを意味する。この条件が満たされると、検出された回折波面36の強度プロファイル70の完全な周期が、画素アレイ38の少なくとも2つの隣接する画素バンクによってサンプリングされ、これらの画素バンクの各々が、全サイクルにわたって強度プロファイル70の異なる空間部分をサンプリングすることが理解されるであろう。本明細書では、「画素バンク」という用語は、の上方にある回折格子の格子軸に垂直な線に沿って配置された、画素アレイの感光画素のグループを指す。すなわち、隣接する2つの画素バンクは、格子軸に沿った画素ピッチに相当する距離だけ互いに離間している。例えば、図7において、画素アレイ38の各画素バンクは、ページの平面に対して垂直に向けられた画素軸60に対して平行に延びている。
【００６２】
用途に応じて、回折格子28の格子周期34の、格子軸30に沿った画素アレイ38の画素ピッチ62に対する比Rは、いくつかの値をとることができることが理解されよう。いくつかの実施態様では、比Rは、2以上(すなわち、R>=2)、または1より大きい正の整数(すなわち、R=(n+1),ただし、n={1,2,....})、または2の整数乗(すなわち、R=2n、ただし、n={1,2,....})等とすることができる。いくつかの実施態様では、格子周期34が格子軸30に沿った画素ピッチ62よりも大きいだけでなく、画素ピッチ62に近すぎないことが有益であるか、または必要であり得る。例えば、いくつかの実施形態では、格子周期34は、隣接する画素バンクの各対が、結果として生じる変調された回折波面36（この空間変調速度は回折格子28の特性によって決定される）をナイキスト速度付近またはナイキスト速度で十分にサブサンプリングすることを可能にするために、下にある画素バンクピッチ62の少なくとも約2倍であることが有利であり得る。このナイキストまたはほぼナイキスト速度でのサブサンプリングは、標準的な信号処理技術によって測定信号Iから変調コンポーネントImodを直接取り除くことを可能にする。一旦除去されると、変調信号Imodは、基底成分Ibaseとは独立して操作され得る。いくつかの実施態様では、格子軸30に沿った画素ピッチ62が格子周期34よりも十分に小さくない場合、アンダーサンプリング効果が生じる可能性がある。このようなシナリオでは、信号減算を可能にするために2つの異なるサブ格子間に十分な相対位相オフセットを設けるために、格子設計を変更することが有用または必要になることがある。
【００６３】
例えば、図7に示した実施形態では、格子軸30に沿った画素ピッチ62に対する格子周期34の比Rは、実質的に2に等しい。このような場合、隣接する画素バンクは、検出された回折波面36の強度プロファイル70の相補的な空間位相、すなわち、互いに対して180°位相シフトされた強度プロファイル70の空間部分をサンプリングすることが理解されるであろう。これは、数学的に次のように表すことができる。
【数３】
2019523910.tif 000005
このような構成は、入射波面相互作用から生じる干渉パターンのサブサンプリングを通して、変調成分Imodおよび基底成分Ibaseの直接デコンボリューションを可能にすることができる。
Ibase=I(bankn)＋I(bankn+1)、  (3)
Imod=I(bankn)−I(bankn+1).    (4)
【００６４】
さらに図7を参照すると、図示の実施形態では、回折格子28は50%のデューティサイクル(すなわち、等しい幅のリッジ52および溝54)を有し、各感光画素40は、リッジ52のうちの対応する1つまたは溝54のうちの対応する1つと垂直に整列して位置付けられる。しかし、他の実施形態では、他の構成を使用することができ、その非限定的な例が図8A〜8Cに示される。第1に、図8Aにおいて、回折格子28は、50%のデューティサイクルを有するが、図7の実施形態と比較して、格子周期34の1/4だけ横方向にシフトされる。その結果、各感光画素40は、リッジ52の対応する1つと溝54の対応する隣接する1つとの間の移行部78の下方に垂直に整列して配置される。第2に、図8Bにおいて、回折格子28は、50%のデューティサイクルを有するが、図7の実施形態と比較して、格子軸30に沿った画素ピッチ62に対する格子周期34の比Rは、2ではなく4に等しい。したがって、各リッジ52および各溝54の下方には2つの感光画素40がある。最後に、図8Cにおいて、格子軸30に沿った画素ピッチ62に対する格子周期34の比Rは、図7におけるように、2に等しいが、回折格子のデューティサイクルは、50%とは異なる。
【００６５】
いくつかの実施態様では、例えば、高い主光線角度の光学システムを有する背面照明アーキテクチャでは、回折格子は、対応する主光線の各々が意図された格子特徴の中心およびその後続のマイクロレンズを通過するように、感光画素に対するマイクロレンズアレイの設計された主光線角度オフセットに従うように設計することができる。このような構成は、高度に制約された光学システムに対して適切な位相オフセットを保証することができる。これは、いくつかの実施形態において、回折格子(例えば、リッジおよびグルーブ)の特徴と下にある感光画素との間の垂直方向の位置合わせの程度が、画素アレイ内の位置の関数として、例えば、画素アレイの中心からエッジに向かうにつれて、所定の主光線角度オフセットに適応するように変化し得ることを意味する。例えば、画素アレイのいくつかの領域では、各感光画素は、回折格子の溝またはリッジの下方に直接配置されてもよく、一方、画素アレイの他の領域では、各感光画素は、リッジの一部および溝の一部の両方の下方に延在してもよい。
【００６６】
図7および図8A〜図8Cの実施態様では、回折格子28は、格子軸30が2つの直交する画素軸58、60のうちの1つに平行(したがって、互いに垂直)になるように、下にある画素アレイ38に対して配向される。しかし、図9Aおよび9Bを参照すると、格子軸30が2つの直交する画素軸58、60の両方に対して斜めである、2つの他の可能な実施形態が示されている。これは、図9Aでは、格子軸30が画素軸58、60の各々に対して角度θ=45°で配向され、図9Bでは、格子軸が画素軸58に対して角度θは26.565°とほぼ等しい角度で配向される。9Aと9B、格子軸30に沿った画素ピッチ62は格子周期よりも小さいことは変わりない点に留意すべきである。また、上に定義したような画素バンク、すなわち、の上方に重なる回折格子28の格子軸30に対して横断する線に沿って配列された画素のグループも、斜めの構成で定義できることに留意されたい。例えば、図9Aは、リッジ52の下方に位置する第1の画素バンクに属する第1の画素群401と、隣り合うグルーブ54に位置する第2の画素バンクに属する第2の画素群402とを含む。
【００６７】
次に図10を参照すると、カラー撮像用途に適したライトフィールド撮像デバイス20の実施形態の概略的な部分分解側面図が示されている。光フィールド撮像デバイス20は、感光画素40の画素アレイ38の上方に配置されるカラーフィルタアレイ42の上方に配置される回折格子28を含むという点で、図1および図2に示されるものと類似点を共有する。回折格子28は、50%のデューティサイクルと、リッジ52と溝54の交互のセットからなる周期的な屈折率変調パターン32とを有する透過型のバイナリ位相格子である。カラーフィルタアレイ42は、ベイヤーパターンを有し、図10は、緑色(G)及び青色(B)フィルタの交互の列を示す。図10はまた、デバイス20を通る光の伝播を概略的に示す。動作中、回折格子28は、シーン22から発せられる光波面26を、受け取って回折し、回折波面36を生成する。簡略化のために、図10の回折格子28は、緑色光および青色光を包含するスペクトル範囲において無彩色であると仮定する。カラーフィルタアレイ42は、回折波面36を受け取り、その下方にある画素アレイ38による検出に先立って、回折波面36を空間スペクトル的にフィルタリングする。したがって、ライトフィールド撮像デバイス20の動作は、カラーフィルタアレイ42およびその下方にある画素アレイ38を含むセンサ構造の上方に配置された周期的回折格子28の提供によって可能になる、直接的に空間的および色的にサンプリングされた回折波面36に基づく。
【００６８】
図7におけるように、図10の回折格子28によって生成される回折波面36は、格子軸30に沿って空間的に変化する強度プロファイル70によって特徴付けられる回折パターンを規定する。また、回折格子28および画素アレイ38は、画素アレイ38の受光面68が回折格子28の近接場に位置するように互いに対して配置され、検出された回折波面36の強度プロファイル70の空間周期74は、回折格子28の格子周期34と実質的に一致する。
【００６９】
カラーフィルタアレイ42による空間スペクトルフィルタリング後に画素アレイ38によって検出される回折波面36の強度プロファイル70は、赤色フィルタによってフィルタリングされた回折波面36の部分、緑色フィルタによってフィルタリングされた回折波面36の部分、および青色フィルタによってフィルタリングされた回折波面36の部分の組み合わせまたは重ね合わせであることが理解されよう。このように、標準的なRGBベイヤーパターンを例として用いると、強度プロファイルIの変調成分Imodおよび基底成分Ibaseは、以下のようにそれぞれの色成分に分割することができる。
IR〜Imod,R(奥行き情報)×Ibase,R(2Dイメージ)、   (5)
IG〜Imod,G(奥行き情報)×Ibase,G(2Dイメージ)、   (6)
IB〜Imod,B(深度情報)×Ibase,B(2Dイメージ)。     (7)
図10において、強度プロファイルIGおよびIBは、それぞれ一点鎖線および点線で示されている。
【００７０】
図7におけるように、回折格子28の格子周期34の、格子軸30に沿った画素アレイ38の画素ピッチ62に対する比Rは、図10の実施形態では2に等しく、上で紹介した関係
【数４】
2019523910.tif 000006
が適用される。標準的なRGBベイヤーパターンでは、赤色フィルタおよび青色フィルタは常にベイヤーパターンの隣接画素バンクに配置され、まばらにサンプリングされた赤色成分および青色成分に関連する信号IRおよびIBは互いに逆位相になる。一方、緑色フィルタは全ての画素バンクに存在するので、密にサンプリングされた緑色成分に関連する信号IGは、同位相の寄与および異位相の寄与の両方を含む。
【００７１】
これまで説明した実施態様では、回折格子アセンブリは、1つの回折格子のみを含むものとして描かれた。しかし、図11を参照すると、他の実施例では、回折格子アセンブリ24は、複数の回折格子28a、28bを含み、回折格子28a、28bは、カラーフィルタアレイ42の上方に配置された2次元格子アレイに配置される。図11において、回折格子アセンブリ24は、16個の回折格子を含むが、この数は、例示の目的のために提供され、他の実施形態では変更され得る。たとえば、アプリケーションによっては、回折格子アセンブリ24の回折格子28a、28bの数は、1から100万まで(例えば、20メガピクセルの配列38は、その上方に最大280万の回折格子を有しうる)に及ぶ。図11に示される回折格子アセンブリ24のすべての回折格子28は、それらの格子軸配向以外は、50%の同じデューティサイクル、同じ格子周期34、および格子周期34の同じ繰り返し数を有する平行なリッジ52および溝54の交互のセットを含むバイナリ位相格子であるが、他の実施形態では、これらのパラメータの各々は、回折格子28ごとに変更され得ることに留意されたい。より詳細には、図11の回折格子28の各々は、格子周期34の2つの繰り返しを含む。しかし、この数は、用途に応じて、例えば、いくつかの実施形態では2回から10回の繰り返しの間で変更できることが理解されよう。
【００７２】
いくつかの実施態様では、複数の回折格子28は、回折格子28の複数のセット80a、80bを含み、セット80a、80bのうちの異なるセットの回折格子28の格子軸30a、30bは、異なる向きを有する。例えば、図11では、複数のセット80a、80bは、回折格子28の第1のセット80aと、回折格子28の第2のセット80bとからなり、第1のセット80aの回折格子28の格子軸30aは、第2のセット80bの回折格子28の格子軸30bに実質的に垂直に延在する。第1の格子軸30aは第1の画素軸58に平行であり、第2の格子軸30bは第2の画素軸60に平行である。図示の実施形態では、第1のセット80aおよび第2のセット80bの回折格子28は、行および列の両方において交互に配置され、チェッカーボードパターンをもたらす。もちろん、他の実施形態では、任意の他の適切な規則的または不規則的な配列、パターン、または直交配向格子のモザイクを想定することができる。例えば、直交配向格子は、行のみ、または列のみで交互に配置されるか、またはランダムに配置され得る。さらに、他の実施の形態には、2セット以上の回折格子が含まれることがあり、これらは互いに直交しているかもしれないし、そうでないかもしれない。例えば、いくつかの実施形態では、回折格子アセンブリは、最大24個の異なる回折格子セットを含むことができる。
【００７３】
異なる格子軸配向を有する回折格子を有する回折格子アセンブリを提供することは、回折が個々の回折格子の格子軸に沿って起こるので、いくつかの実装において有利であるか、または必要とされ得ることが理解される。これは、回折格子アセンブリ内に単一の格子配向だけが存在する場合、この単一の格子配向に垂直に延びるシーンの物体から来る光は回折されないことを意味する。いくつかの実施形態では、2セットの直交配向格子(例えば、水平および垂直配向格子)を設けることは、シーンについての十分なライトフィールド画像データをキャプチャするのに十分であり得る。2つ以上の格子配向を有する回折格子アセンブリを使用する概念は、中心から半径方向に増加する周期性を有する完全に円形の回折格子の限界までとることができ、これによりほぼ完全なフーリエ平面イメージャが提供される。
【００７４】
図12A〜12Cを参照すると、複数の回折格子を含む回折格子アセンブリにおける格子配置の他の例が示されている。図12Aにおいて、回折格子アセンブリ24は、2セット80a、80bの直交して配向された回折格子28を含み、これらの回折格子は列内でのみ交互に並ぶ。一方のセット80aの格子軸配向は、一方の画素軸58に沿っており、他方のセット80bの格子軸配向は、他方の画素軸60に沿っている。図12Bにおいて、回折格子アセンブリ24は、その格子軸34a〜34dが水平画素軸58に対して0°、33°、66°および90°に向けられた回折格子28の4つのセット80a〜80dを含む。図12Cにおいて、回折格子アセンブリ24は、格子軸34a〜34dが水平画素軸58に対して0°、45°、90°および−45°に向けられた回折格子28の4つのセット80a〜80dを含む。図12A〜図12Cの各々において、描かれた回折格子28は、複数回繰り返される回折格子アセンブリ24の単位セルを表し得ることが理解される。
【００７５】
次に図13を参照すると、カラーベースの用途に適するが、回折格子アセンブリ24と下方にある画素アレイ38との間に配置されたカラーフィルタアレイを含まないライトフィールド撮像デバイス20の実施形態が示されている。むしろ、図示の実施形態では、回折格子アセンブリ24は、回折格子28のアレイを含み、その各々は、その上部に形成された屈折率変調パターン32(例えば、交互の一連のリッジ52および溝54から作製される)を有する格子基板46を含む。各回折格子28の格子基板46はまた、複数の感光画素40による検出の前に回折波面36をスペクトル的にフィルタリングするように構成されたスペクトルフィルタ材料または領域82を含む。いくつかの実施形態では、回折格子28の各々は、例えば、格子基板46に適切な色素ドーパントを組み込むことによって、所望のスペクトル成分をフィルタリングするように調整された材料から作製することができる。
【００７６】
図13をさらに参照すると、回折格子アセンブリ24の複数の回折格子28は、したがって、各カラーフィルタが回折格子28の対応する1つによって具現化されるカラーフィルタアレイを形成する。言い換えれば、回折格子28の各々は、カラーフィルタアレイにおいてそれ自体のそれぞれのカラーフィルタを形成するように、個別に設計および調整されることができる。図13において、複数の回折格子28からなるカラーフィルタアレイは、ベイヤーパターンで配置されており、各回折格子28の格子基板46は、赤色パスフィルタ、緑色パスフィルタ、青色パスフィルタとして機能する。もちろん、複数の回折格子28によって画定されるカラーフィルタアレイは、電磁スペクトルの可視領域の外側で動作させることができ、そのモザイク色パターンは、ベイヤーパターンに限定されず、上記に列挙されたものを含む任意の適切なモザイク色パターンに適用することができる。
【００７７】
いくつかの実施態様では、ライトフィールド撮像デバイスは、回折格子の前に波面調整光学系を含むことができる。波面調整光学系は、シーンが回折格子アセンブリに到達する前に、シーンから入射する光波面を収集、誘導、透過、反射、屈折、分散、回折、コリメート、集束、または別の方法で、シーンから入射する光波面に作用するように構成することができる。波面調整光学系は、レンズ、ミラー、フィルタ、光ファイバ、および任意の他の適切な反射、屈折、および/または回折光学コンポーネントなどを含むことができる。いくつかの実施態様では、波面調整光学系は、入射波面がライトフィールド撮像デバイスによってサンプリングされ得るように入射波面を修正するように位置決めされ構成されたフォーカス光学系を含むことができる。
【００７８】
次に図14を参照すると、ライトフィールド撮像デバイス20の別の可能な実施形態が示されており、シーンと回折格子アセンブリとの間の光波面26の光路に配置された分散光学系84を含む。分散光学系84は、入射光波面26を受けて分散させるように構成されている。分散光学系84は、電磁ビームが通過するときに波長の関数として空間拡散を受ける(例えば、色収差(chromatic aberration))任意の光学部品または光学部品の組み合わせによって具現化することができる。図14の実施形態では、分散光学系84は、簡略化のために集束レンズである。しかしながら、他の実施形態では、分散光学系84は、光学波面26が回折格子アセンブリ24に衝突する前に(例えば、その固有色収差のために)光学波面26を分散するように共に作用する、より多数の光学構成要素(例えば、フォーカス光学系およびデフォーカス光学系)を含む光学スタックとして提供され得ることが理解される。
【００７９】
例示の目的で、図14において、シーン22から発する光波面26は、複数の波長の光、例えば、緑色成分(破線)および青色成分(点線)を含む波の重ね合わせであると仮定する。光波面26の各色成分は、分散光学系84とのエネルギー依存相互作用の性質により、わずかに異なる光路をたどり、回折格子28によって導入される位相シフトの色依存性をもたらす。言い換えれば、回折格子28によって生成される角度依存回折を通してサンプリングされるような光波面26の色拡散は、光波面26に関する粗い深度情報を提供することができる。このようなシナリオでは、深度情報のより細かい細部は、カラーフィルタアレイ42によってサンプリングされた光路差によって互いに位相シフトされた変調成分Imod,RおよびImod,Bの比較分析から得ることができる。
【００８０】
図14に示されるような集束レンズに衝突する単色平面光学波面の場合、集束レンズは、波面がレンズを横断するにつれて、波面を徐々に屈折させ、集束させることに留意されたい。回折格子アセンブリに到達する波面の断面積は、回折格子アセンブリが集束レンズの焦点面の外に(前または後に)配置される場合、焦点面に配置される場合、より大きくなることが理解される。したがって、回折波面は、焦点が合った構成の場合よりも焦点がずれた構成の場合の方がより多くの数の感光画素によってサンプリングされる。
【００８１】
図15および16を参照すると、いくつかの実施態様では、ライトフィールド撮像デバイス20は、前面照明構成(図15)では回折格子アセンブリと画素アレイとの間に、または背面照明構成(図16)では画素アレイ38の下方に配置された画素アレイ回路86を含むことができる。より詳細には、回折格子アセンブリ24は、前面照明アーキテクチャの場合には上にあるシリコン層に直接エッチングすることができ(図15)、背面照明アーキテクチャの場合にはマイクロレンズアレイ64およびカラーフィルタアレイ42の上方に直接配置することができる(図16)。前面照明技術では、画素アレイ回路86は、カラーフィルタ44をそれらの対応する感光画素40に接続する金属配線(例えば、複数の金属相互接続層(metal interconnect layer)をホストするシリコン層)のアレイを含む。一方、背面照明技術は、回折格子アセンブリ24による光学波形26の回折によって生成される回折波面36を直接サンプリングする機会を提供する。光は、画素アレイ38に到達する前に画素アレイ回路86の金属配線のアレイを通過する必要がなく、そうでなければ光の損失をもたらすので、周期性が増大したより積極的な回折格子設計を実現することができる。また、図16に示されるように、より短い光学スタック構成は、回折格子アセンブリ24が、画素アレイ38の受光面68に非常に近接して配置されることを可能にし、それにより、画素バンク間の望ましくないクロストークを引き起こし得る高次の回折効果のリスクを低減し得る。同様に、画素サイズの減少は、既存のイメージングウェルによる回折格子の直接サブサンプリングを可能にすることができる。
【００８２】
次に図16をより具体的に参照すると、シーン22の周りのライトフィールド画像データをキャプチャするための背面照明ライトフィールド撮像デバイス20が示されている。デバイス20は、前面90および背面92を有する基板88と、基板88の背面92の上方に配置され、シーン22から発生する光波面26を受け取るように構成された回折格子アセンブリ24と、基板88内に形成された画素アレイ38と、前面90の下方に配置され、画素アレイ38に結合された画素アレイ回路86とを含む。回折格子アセンブリ24は、格子軸30を有する少なくとも1つの回折格子28と、格子軸30に沿った格子周期34を有する屈折率変調パターン32とを含む。回折格子28は、光波面26を回折し、回折波面36を生成する。画素アレイ38は、背面92を通して受光し、回折波面36を光フィールド画像データとして検出するように構成された複数の感光画素40を含む。上述したように、画素アレイ38は、格子周期34よりも小さい、格子軸30に沿った画素ピッチ62を有する。上述のように、本技術において背面照明センサ技術の利点は、回折格子アセンブリ24を、前面照明用途よりも画素アレイ38の受光面68に近接して配置することができることである。例えば、いくつかの背面照明の実施形態では、回折格子28の屈折率変調パターン32と画素アレイ38の受光面68との間の分離距離72は、約0.5マイクロメートルから約5マイクロメートル、例えば1から3マイクロメートルの範囲とすることができる。
【００８３】
カラー撮像用途では、背面照明ライトフィールド撮像デバイス20は、背面92の上方に配置され、モザイク色パターン、例えばベイヤーパターンで配置された複数のカラーフィルタ44を含むカラーフィルタアレイ42を含むことができる。カラーフィルタアレイ42は、複数の感光画素40による検出の前に、モザイク色パターンに従って回折波面36を空間的およびスペクトル的にフィルタリングする。デバイス20はまた、カラーフィルタアレイ42の上方に配置され、複数のマイクロレンズ66を含むマイクロレンズアレイ64を含み、マイクロレンズ66の各々は、複数のカラーフィルタ44の対応する1つに光学的に結合される。図16において、回折格子28はまた、その上方に屈折率変調パターン32が形成された上面48と、マイクロレンズアレイ64の上方に配置された底面50とを含む格子基板46を含む。背面照明光フィールド撮像デバイス20の回折格子アセンブリ24、画素アレイ38、カラーフィルタアレイ42、およびマイクロレンズアレイ64は、上述したものと同様の特徴を共有することができることに留意されたい。
【００８４】
背面照明型およびスタック型アーキテクチャデバイスは、センサフットプリントが問題となる状況(例えば、スマートフォンモジュール、タブレット、ウェブカム)でしばしば使用され、設計がますます複雑になっていることに留意されたい。いくつかの実施態様では、本技法は、独立したプロセスとして、既存のセンサアーキテクチャの上方に直接回折格子アセンブリを配置することを伴う。したがって、本技術を背面照明センサ技術と共に使用することは、マイクロレンズまたはコード化開口アプローチの場合のように完全なセンサまたはパッケージングの再設計を必要としないので、センサレベル深度感知光学系に柔軟な機会を提示することができる。さらに、センサの上方部への回折格子アセンブリの集積から生じるマイクロメートルオーダーの適度なzスタック増加は、同様に、センサモジュールの光学スタック全体におけるパッケージング要件および実装を単純化することができる。さらに、背面照明製造プロセス自体は、表面照明技術の場合のように、既存のシリコン層への直接エッチングを必要としない。より大きな画素ピッチ値を有する背面照明デバイスおよびある種の正面照明デバイスでは、回折格子アセンブリ自体がカラーフィルタアレイとして働くことができ(例えば、図13を参照)、製造の複雑さおよび/または光学スタックの全高を低減することができることに留意されたい。また、ライトフィールド撮像デバイスの異なる層は、所望の光学機能をサポートする幾何学的パラメータに従って、積み重ねられ、間隔を置いて配置されてもよいことにも留意されたい。
【００８５】
（回折格子アセンブリの実施形態）
図17を参照すると、別の態様によれば、本説明は、シーン22の周囲のライトフィールド画像データをキャプチャするために複数の感光画素40を有する画素アレイ38を含む画像センサ94と共に使用するための回折格子アセンブリ24にも関する。画素アレイ38の上方に配置されるように構成された回折格子アセンブリ24は、格子軸30を有する回折格子28と、格子軸30に沿った格子周期34を有する屈折率変調パターン32とを含み、格子周期34が格子軸30に沿った画素アレイ38の画素ピッチ62よりも大きい限り、ライトフィールド撮像デバイスの実施に関して上述したものと多くの類似点を共有することができる。例えば、格子軸30に沿った画素ピッチ62に対する格子周期34の比は、2または2の整数倍に等しくすることができる。いくつかの実施態様では、回折格子28は、バイナリ位相格子とすることができ、屈折率変調パターン32は、交互のリッジ52および溝54を含むことができる。回折格子28は、ライトフィールド画像データとして感光画素40によって検出される回折波面36を生成するために、シーン22から発せられる光波面26を受け取り、回折するように構成される。カラー撮像用途向けのいくつかの実施形態では、回折格子アセンブリ24は、画像センサ94のカラーフィルタアレイ42の上方に配置されるように構成される。カラーフィルタアレイ42は、画素アレイ38の上方に配置され、複数の感光画素40によって検出される前に、回折波面36を空間的およびスペクトル的にフィルタリングするように構成される。
【００８６】
用途に応じて、回折格子アセンブリ24は、単一の回折格子28、または画素アレイ38の上方に配置された2次元格子アレイに配置された複数の回折格子28を含むことができる。
【００８７】
（方法の実施形態）
別の態様によれば、本説明は、シーンに関するライトフィールド画像データをキャプチャする方法、ならびに従来の2D画像センサに3D画像化能力を提供する方法を含む、様々なライトフィールド画像化方法にも関する。これらの方法は、上述したようなライトフィールド撮像デバイスおよび回折格子アセンブリ、または他の類似のデバイスおよびアセンブリを用いて実行することができる。
【００８８】
図18を参照すると、シーンに関するライトフィールド画像データをキャプチャする方法200の実施形態のフローチャートが提供されている。この方法は、シーンから発する光波面を回折格子で回折するステップ202を含む。回折格子は、格子軸と、格子軸に沿った格子周期とを有する。回折格子は、入射光波面を回折して回折波面を生成するように構成される。回折波面は、格子軸に沿った強度プロファイルによって特徴付けることができる。いくつかの実施態様では、回折ステップ202は、400nm(可視スペクトルの青色端)から1550nm(電気通信の波長)、例えば400nmから650nmの範囲の波長帯で光波面を回折することを含むことができる。いくつかの実施態様では、回折格子は、回折格子アセンブリをまとまって形成する複数の回折格子のうちの1つである。このような実施形態では、図18の方法200は、回折格子アセンブリの各回折格子に対して同時に実行することができる。
【００８９】
いくつかの実施態様では、方法200は、回折格子を位相格子、例えばバイナリ位相格子として提供するステップを含むことができる。バイナリ位相格子は、格子周期で周期的に離間された交互のリッジおよび溝を含むことができる。方法200は、1マイクロメートル〜20マイクロメートルの範囲の格子周期を選択するステップを含むことができる。方法200はまた、隣接するリッジと溝との間の光路差を制御するために、溝に対するリッジの段差高さを設定するステップを含むことができる。例えば、いくつかの実施形態では、ステップ高さは、光波面の所与の波長において、リッジと溝との間の半波光路差を提供するように設定することができる。もちろん、光路差の他の値を他の実施形態で使用することもできる。
【００９０】
さらに図18を参照すると、方法200は、回折波面をカラーフィルタアレイで空間的及びスペクトル的にフィルタリングしてフィルタリングされた波面を生成するステップ204も含む。このステップ204はオプションであり、一部の実装、例えばモノクロ撮像用途では省略できることに留意されたい。
【００９１】
方法200は、空間的及びスペクトル的にフィルタリングされた波面をライトフィールド画像データとして検出するステップ206をさらに含むことができる。検出ステップ206は、カラーフィルタアレイの下方に配置された複数の感光画素を含む画素アレイを用いて実行することができる。しかしながら、空間スペクトルフィルタリングステップ204が省略される場合、回折格子アセンブリと画素アレイとの間にカラーフィルタアレイが配置されず、検出ステップ206は、複数の感光画素による回折波面の直接検出を含む。デバイスの実施に関して上述したように、回折格子の格子周期は、格子軸に沿った画素アレイの画素ピッチよりも大きくなるように選択される。やはり上述したように、回折格子の上面(すなわち、屈折率変調パターン)と下方にある画素アレイの受光面との間の分離距離は、フィルタリングまたは回折された波面が近接場回折レジーム(near-field diffraction regime)で検出されるように選択され、格子軸に沿った回折された波面の強度プロファイルは、格子周期に実質的に一致する空間周期を有する。例えば、いくつかの実施態様では、この方法は、分離距離を、光波面の中心波長の約10倍未満の値に設定して、近接場におけるフィルタリングされた波面または回折された波面を検出するステップを含むことができる。
【００９２】
いくつかの実施形態では、回折格子は、約50%のデューティサイクルを備えることができ、方法200は、各感光画素を、回折格子の隆起または溝の下方に、それと位置合わせして、または隆起と隣接する溝との間の移行部または接続部の下方に、それと位置合わせして位置決めするステップを含むことができる。いくつかの実施態様では、方法200は、格子軸に沿った画素ピッチに対する格子周期の比を実質的に2または2の整数倍に設定するステップを含むことができる。
【００９３】
さらに図18を参照すると、いくつかの実施態様では、複数の感光画素は、2つの直交する画素軸によって画定される矩形画素グリッドに配置することができ、方法200は、格子軸を2つの直交する画素軸の一方に平行に、または2つの直交する画素軸の両方に対して斜めに配向するステップを含むことができる。例えば、いくつかの直交実装では、回折格子の一方の半分を1つの画素軸に沿って配向することができ、他方の半分を他方の画素軸に沿って配向することができる。1つの可能な斜めの構成は、各画素軸に対して45°の角度で回折格子を配向することを含むことができる。
【００９４】
いくつかの実施態様では、方法200は、光波面を回折する前に、光波面をスペクトル的に分散させる任意選択のステップをさらに含むことができる。
【００９５】
次に図19を参照すると、シーンを観察し、複数の感光画素を有する画素アレイを含む画像センサに、3Dイメージ能力、例えば奥行きマッピング能力を提供する方法300のフローチャートが提供されている。例えば、画像センサは、従来の又はカスタム設計された前面又は背面照明型CMOS又はCCDセンサとすることができる。
【００９６】
方法300は、回折格子アセンブリを画像センサの前に配置するステップ302を含む。回折格子アセンブリは、少なくとも1つの回折格子を含み、各回折格子は、格子軸と、格子軸に沿った格子周期とを有する。格子周期は、格子軸に沿った画素アレイの画素ピッチよりも大きくなるように選択される。例えば、いくつかの実施態様では、格子周期は、格子軸に沿った画素ピッチよりも2倍以上大きくすることができる。いくつかの実施形態では、配置ステップ302は、感光画素による検出前の回折波面の光路長が光波面の中心波長の約10倍未満であるように選択される、画素アレイからの分離距離に回折格子アセンブリを配置することを含むことができる。このような構成により、近接場回折領域における回折波面の検出が可能となる。いくつかの実施態様では、配置ステップ302は、格子軸を、画素アレイの2つの直交する画素軸のうちの1つに平行に、または画素軸に対して斜めに(例えば、45°で)配向することを含むことができる。
【００９７】
いくつかの実施態様では、方法300は、回折格子を位相格子、例えばバイナリ位相格子として提供するステップを含むことができる。バイナリ位相格子は、格子周期で周期的に間隔を置いて配置された一連のリッジを含むことができ、格子周期で周期的に間隔を置いて配置された一連の溝と交互に配置される。方法300は、1マイクロメートル〜20マイクロメートルの格子周期を選択するステップを含むことができる。方法300はまた、隣接するリッジと溝との間の光路差を制御するために、溝に対するリッジの段差高さを設定するステップを含むことができる。上述したように、段差高さは、リッジと溝との間に所定の光路差を与えるように選択することができる。いくつかの実施形態では、回折格子は、約50%のデューティサイクルを備えることができ、回折格子アセンブリは、各リッジおよび各溝が、感光画素の対応する1つの上方に整列して延在するように、または代替的に、隣接するリッジおよび溝の間の各移行部または接続部が、感光画素の対応する1つの上方に整列して延在するように、画素アレイの上方に位置決めすることができる。
【００９８】
さらに図19を参照すると、方法300はまた、回折格子を用いてシーンから発する光波面を受信し、回折して回折波面を生成するステップ304と、感光画素を用いて回折波面を検出するステップ306とを含む。カラー撮像用途では、方法300は、検出ステップ306の前に、回折波面をカラーフィルタアレイで空間スペクトルフィルタリングする任意選択のステップ308を含むことができる。いくつかの実施態様では、方法300は、光波面を回折する前に、光波面をスペクトル的に分散させる任意選択のステップをさらに含むことができる。
【００９９】
もちろん、本説明の範囲から逸脱することなく、上述の実施形態に対して多数の修正を行うことができる。
【図１】
2019523910.tif 000007
【図２】
2019523910.tif 000008
【図３】
2019523910.tif 000009
【図４】
2019523910.tif 000010
【図５】
2019523910.tif 000011
【図６】
2019523910.tif 000012
【図７】
2019523910.tif 000013
【図８Ａ】
2019523910.tif 000014
【図８Ｂ】
2019523910.tif 000015
【図８Ｃ】
2019523910.tif 000016
【図９Ａ】
2019523910.tif 000017
【図９Ｂ】
2019523910.tif 000018
【図１０】
2019523910.tif 000019
【図１１】
2019523910.tif 000020
【図１２Ａ】
2019523910.tif 000021
【図１２Ｂ】
2019523910.tif 000022
【図１２Ｃ】
2019523910.tif 000023
【図１３】
2019523910.tif 000024
【図１４】
2019523910.tif 000025
【図１５】
2019523910.tif 000026
【図１６】
2019523910.tif 000027
【図１７】
2019523910.tif 000028
【図１８】
2019523910.tif 000029
【図１９】
2019523910.tif 000030
【国際調査報告】
2019523910.tif 000031
2019523910.tif 000032
2019523910.tif 000033