(57)【要約】【課題】モバイルデバイスに内蔵できる時空間ライトフィールドカメラを提供する。【解決手段】時空間に拡張された角度範囲においてライトフィールドを捕捉するために使用できる時空間ライトフィールドカメラが提供される。かかるカメラを用いて、３Ｄ画像、コンピュータにより焦点合わせできる２Ｄ画像、又は広角パノラマ２Ｄ画像を、比較的高い空間及び方向解像度で記録することができる。また、本ライトフィールドカメラは、拡張された角度範囲を有する２Ｄ／３Ｄ切替え可能カメラとして使用できる。新規のライトフィールドカメラの時空間態様により、広い角度における複数の方向の画像から、強度及び色を捕捉しデジタル的に記録できる。本ライトフィールドカメラの本来的な容積のコンパクト化により、小型モバイルデバイスに内蔵して、３Ｄ画像又はコンピュータによる焦点合わせ可能な２Ｄ画像を捕捉することができる。このライトフィールドカメラの本来的な多用途性は、３Ｄ映画及びビデオ記録アプリケーション用の複数視野のライトフィールド捕捉に適する。【選択図】図６
2015524202.tif 000002
【特許請求の範囲】
【請求項１】
ライトフィールドカメラであって、
各ピクセルが、個別にアドレス指定可能であり、前記各ピクセルの開口に結合された光の強度に応答する電気信号を出力する光検知器であるピクセルのアレイを定める光検知表面を有する、マイクロ光検知器アレイデバイスと、
マイクロレンズ素子のマイクロレンズアレイと、
を備え、
前記マイクロ光検知器アレイデバイス及び前記マイクロレンズアレイは一緒に組み立てられて、単一の組立体として、前記マイクロ光検知器アレイデバイスの前記光検知表面の平面に平行な少なくとも１つの軸の周りに、及び少なくとも最大連接角度を通して、時間的かつ角度的に連接され、
前記マイクロレンズアレイの各マイクロレンズ素子は、前記マイクロ光検知器アレイデバイスのそれぞれの２次元ピクセル群アレイ内の複数のピクセルに対して関連付けられかつ位置合わせされ、各レンズは、それぞれのレンズの角度範囲によって定められるライトフィールド内の方向の別個の組から前記それぞれのレンズの開口に衝突する光を、前記マイクロ光検知器アレイデバイスの前記ピクセル群の２次元アレイ内の対応する複数のピクセルに光学的にマップし、前記方向の別個の組は、隣接する各方向の間の角度解像度、及び前記光方向の組の角度範囲を定め、
前記少なくとも１つの軸の周りの前記時間的角度連接は、前記角度連接の前記軸の周りの方向における前記角度範囲及び／又は前記角度解像度を拡張する、
ことを特徴とするライトフィールドカメラ。
【請求項２】
各ピクセルは、前記それぞれのピクセルの開口に結合された光の色にも同様に応答する前記電気信号を出力するために個別にアドレス指定可能であることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３】
前記時間的角度連接は、２つの直交する軸の周りであることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項４】
前記マイクロレンズ素子は、先端が切り取られて、各々が前記それぞれのピクセル群を構成する前記ピクセルの前記２次元アレイの寸法アスペクトと一致するそれぞれの寸法アスペクトを有し、各々の光学中心が前記ピクセルの前記それぞれの２次元アレイの中心に位置合わせされることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項５】
タイル状アレイ内に一緒に組み立てられた複数の前記マイクロ光検知器アレイデバイスとマイクロレンズアレイとをさらに備えることを特徴とする、請求項４に記載のライトフィールドカメラ。
【請求項６】
前記ライトフィールドカメラは、モバイルデバイスに内蔵され、同じように内蔵されたライトフィールドカメラを有する他のモバイルデバイスにネットワーク接続され、前記モバイルデバイスは、無線若しくは有線ネットワークのいずれか、又はフラッシュメモリモジュールを用いるバルクデータ転送により相互接続されることにより、ライトフィールドカメラの出力データを、ビューイングシーンの異なる視野を捕捉した複数のかかるモバイルデバイスと交換でき、かかるネットワーク化されたライトフィールドカメラの出力データを用いて前記ビューシーンの集合的ライトフィールドを作成できることを特徴とする、請求項５に記載のライトフィールドカメラ。
【請求項７】
前記ネットワーク化されたモバイルデバイスは、携帯電話若しくはコンピュータのいずれかであり、又は代替的に、前記ライトフィールドカメラは、それ自体のネットワーク接続インタフェース機能と統合されることを特徴とする、請求項６に記載のライトフィールドカメラ。
【請求項８】
前記角度連接は、画像捕捉フレームレートに比例しかつ同期される反復速度を有し、前記２つの軸の各々の周りの前記最大角度連接は、前記ライトフィールドカメラの全角度範囲、前記ライトフィールドカメラが定める角度カバー範囲形状、及びそのアスペクト比を定めることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項９】
前記ライトフィールドカメラは、２次元ライトフィールド画像を捕捉し、次に前記２次元ライトフィールド画像は、コンピュータによって所望の平面又は湾曲面に焦点を合わせられるか、又はコンピュータによって平担若しくは湾曲表面を有する所望の深度容積に焦点を合わせられることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１０】
前記マイクロレンズアレイは、互いに対してかつ前記マイクロ光検知器のピクセルアレイに対して位置合わせされたレンズ素子のアレイで構成されることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１１】
前記マイクロ光検知器アレイデバイスの前記光検知表面は、前記マイクロレンズ素子の焦点平面に又は焦点平面から離れて配置され、前記配置は、固定又はｚ軸アクチュエータを用いて可変であることを特徴とする、請求項１０に記載のライトフィールドカメラ。
【請求項１２】
前記マイクロレンズアレイの各レンズ素子は、前記マイクロ光検知器アレイデバイスのそれぞれの２次元ピクセル群アレイの複数のピクセルに対して関連付けられかつ位置合わせされ、各レンズは、前記それぞれのレンズの角度範囲によって定められるライトフィールド内の方向の別個の組から前記それぞれのレンズの開口に衝突する光を、前記マイクロ光検知器アレイデバイスの前記２次元アレイピクセル群の前記対応する複数のピクセルに光学的にマップし、及び
前記マイクロ光検知器アレイデバイスの前記光検知表面は、前記マイクロレンズ素子の前記焦点面から離れて配置されて、前記マイクロ光検知器アレイデバイスの前記ピクセル群の各々を構成する前記複数のピクセルを、前記ライトフィールドを記録する際に集合的に共有させ、それにより前記ライトフィールドカメラに、前記マイクロ光検知器アレイデバイスが前記マイクロレンズ素子の前記焦点平面に配置される場合よりも高い、角度及び方向解像度を達成させることができる、
ことを特徴とする、請求項１１に記載のライトフィールドカメラ。
【請求項１３】
前記マイクロレンズアレイの各レンズ素子は、前記マイクロ光検知器アレイデバイスのそれぞれの２次元ピクセル群アレイの複数のピクセルに対して関連付けられかつ位置合わせされ、各レンズは、前記それぞれのレンズの角度範囲によって定められるライトフィールド内の方向の別個の組から前記それぞれのレンズの開口に衝突する光を、前記マイクロ光検知器アレイデバイスの前記２次元アレイピクセル群の前記対応する複数のピクセルに光学的にマップし、及び
前記ピクセル群の各々の各ピクセルは、複数の方向からの前記ライトフィールド情報の既知の加重和を記録し、前記ライトフィールド情報をコンピュータによって分解することにより前記ライトフィールドカメラの前記角度及び方向解像度を高くすることができる、
ことを特徴とする、請求項１２に記載のライトフィールドカメラ。
【請求項１４】
前記マイクロレンズ素子は、先端が切り取られて、各々が前記それぞれのピクセル群を構成する前記ピクセルの前記２次元アレイの寸法アスペクトと一致するそれぞれの寸法アスペクトを有し、各々の光学中心が前記ピクセルの前記それぞれの２次元アレイの中心に位置合わせされることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１５】
前記マイクロレンズ素子は、先端が切り取られて、それぞれのサイズが、前記それぞれのピクセル群の前記ピクセルの２次元アレイの寸法に一致し、
前記マイクロレンズアレイの中心の前記レンズ素子の光学的中心は、それぞれのピクセル群の中心に位置合わせされ、前記マイクロレンズアレイの前記中心から離れた前記レンズ素子は、前記それぞれのピクセル群の中心からオフセットし、前記オフセットは、前記マイクロレンズアレイの中心から離れるにつれてレンズ素子に対して次第に増大する、
ことを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１６】
前記角度連接は、時間的に連続又は離散し、画像捕捉フレームレートに比例し、かつ同期された反復速度を有し、前記２つの軸の各々の周りの前記最大角度連接は、前記ライトフィールドカメラの全角度範囲、前記ライトフィールドカメラが定める角度カバー範囲形状、及びそのアスペクト比を定めることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１７】
前記マイクロレンズ素子の光学系は、無限距離に焦点合わせされたフーリエ光学系であり、前記角度範囲内で開口に衝突する前記ライトフィールドの方向アスペクトを、前記ピクセル群を構成する前記ピクセルの前記２次元アレイ上にマップすることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１８】
前記ライトフィールドカメラは、モバイルデバイスに内蔵されることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１９】
時間的角度連接を有し、前記ライトフィールドカメラは、それが捕捉するライトフィールドの湾曲波面を記録して、前記ライトフィールドカメラに前記ライトフィールドの湾曲視差を捕捉させることができることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２０】
前記ライトフィールドカメラは、２次元ライトフィールド画像を捕捉し、次いで前記２次元ライトフィールド画像は、コンピュータにより所望の平面又は湾曲平面に焦点合わせされ、又はコンピュータにより平担又は湾曲表面を有する所望の深度容積に焦点合わせされることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２１】
所望の動作モードに適合させることによって、３次元ライトフィールドカメラとしての動作と、２次元ライトフィールドカメラとしての動作とを切り替えるための動作モードを有することを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２２】
前記ライトフィールドカメラは、モバイルデバイスに内蔵され、同じように内蔵されたライトフィールドカメラを有する他のモバイルデバイスにネットワーク接続され、前記モバイルデバイスは、無線若しくは有線ネットワークのいずれか、又はフラッシュメモリモジュールを用いるバルクデータ転送により相互接続されることにより、ライトフィールドカメラの出力データを、ビューイングシーンの異なる視野を捕捉した複数のかかるモバイルデバイスと交換でき、かかるネットワーク化されたライトフィールドカメラの出力データを用いて前記ビューシーンの集合的ライトフィールドを作成できることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２３】
前記ネットワーク化されたモバイルデバイスは、携帯電話若しくはコンピュータであり、又は代替的に、前記ライトフィールドカメラは、それ自体のネットワーク接続インタフェース機能と統合されることを特徴とする、請求項２２に記載のライトフィールドカメラ。
【請求項２４】
前記マイクロ光検知器アレイデバイスの光検知表面は、前記マイクロレンズアレイの前記マイクロレンズ素子の焦点面に又はそれから離れて配置され、前記配置は、設計選択によって固定又はｚ軸アクチュエータを用いて特定の範囲にわたり調節可能であることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２５】
前記マイクロ光検知器アレイデバイスの前記光検知表面を前記マイクロレンズ素子の前記焦点面から離れて配置することにより、前記マイクロ光検知器アレイデバイスの前記ピクセル群の各々を構成する前記複数のピクセルを、前記ライトフィールドを記録する際に集合的に共有させ、それにより前記ライトフィールドカメラに、前記マイクロ光検知器アレイデバイスが前記マイクロレンズ素子の前記焦点平面に配置される場合よりも高い、角度及び方向解像度を達成させることができる、ことを特徴とする、請求項２４に記載のライトフィールドカメラ。
【請求項２６】
前記マイクロレンズアレイの前記レンズ素子の各々は、前記マイクロ光検知器アレイデバイスの２次元ピクセル群アレイにおける複数のピクセルと関連付けられかつ正確に位置合わせされ、各レンズは、前記レンズの角度範囲によって定められるライトフィールド内の方向の別個の組からその開口に衝突する光を、前記マイクロ光検知器アレイデバイスの該２次元ピクセル群アレイの対応する前記複数のピクセルに光学的にマップし、
前記マイクロ光検知器アレイデバイスの前記ピクセルの前記ライトフィールド記録の集合的共有により、前記ピクセル群の各々の各ピクセルに、複数の方向からの前記ライトフィールド情報の既知の加重和を記録させ、及び
前記ライトフィールド情報は、コンピュータによって分解されて前記ライトフィールドカメラの前記角度及び／又は方向解像度を増大させる、
ことを特徴とする、請求項２５に記載のライトフィールドカメラ。
【請求項２７】
前記マイクロレンズ素子の光学系は、無限距離に焦点合わせされたフーリエ光学系であり、前記角度範囲内で開口に衝突する前記ライトフィールドの方向アスペクトを、前記ピクセルの前記２次元ピクセルアレイ上にマップすることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２８】
前記角度連接は、時間的に連続又は離散し、画像捕捉フレームレートに比例し、かつ同期された反復速度を有し、前記２つの軸の各々の周りの前記最大角度連接は、前記ライトフィールドカメラの全角度範囲、前記ライトフィールドカメラが定める角度カバー範囲形状、及びそのアスペクト比を定めることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２９】
各々のマイクロレンズ素子は、フーリエレンズ系であることを特徴とする請求項１に記載のライトフィールドカメラ。
【請求項３０】
前記マイクロ光検知器アレイデバイスの前記光検知表面は、前記マイクロレンズ素子の前記焦点平面から離れて配置され、前記マイクロ光検知器アレイデバイスの前記ピクセル群の各々を構成する前記複数のピクセルを、前記ライトフィールドを記録する際に集合的に共有させて、前記ライトフィールドカメラに、前記マイクロ光検知器アレイデバイスが前記マイクロレンズ素子の前記焦点平面に配置される場合よりも高い、角度及び方向解像度を達成させることができ、前記ピクセル群の各々の中の各ピクセルは、複数の方向からの前記ライトフィールド情報の既知の加重和を記録し、前記ライトフィールド情報は、コンピュータによって分解されて前記ライトフィールドカメラの前記角度及び方向解像度を増大させる、ことを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３１】
前記角度連接は、時間的に連続又は離散することを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３２】
前記マイクロレンズアレイの中心の前記レンズ素子の光学的中心は、それぞれのピクセル群の中心に位置合わせされ、前記マイクロレンズアレイの前記中心から離れた前記レンズ素子は、それぞれのピクセル群の中心からオフセットし、該オフセットは、前記マイクロレンズアレイの中心からさらに離れるにつれて、レンズ素子に対して次第に増大することを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３３】
任意の空間及び方向解像度を有する３次元ライトフィールドカメラとして構成されることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３４】
前記ライトフィールドカメラは、モバイルデバイスに内蔵され、同じように内蔵されたライトフィールドカメラを有する他のモバイルデバイスにネットワーク接続され、前記モバイルデバイスは、無線若しくは有線ネットワークを通して、又はフラッシュメモリモジュールを用いるバルクデータ転送により相互接続されることにより、ライトフィールドカメラの出力データを、ビューイングシーンの異なる視野を捕捉した複数のかかるモバイルデバイスと交換でき、かかるネットワーク化されたライトフィールドカメラの出力データを用いて前記ビューシーンの集合的ライトフィールドを作成できることを特徴とする、
請求項１に記載のライトフィールドカメラ。
【請求項３５】
静止画又は動画のいずれかを記録するように構成されることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３６】
複数の前記マイクロ光検知器アレイデバイス及び前記マイクロレンズアレイは、複数が一緒にかつタイル状アレイに組み立てられ、かつ単一の組立体として時間的に角度連接される、ことを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３７】
ライトフィールドカメラであって、
複数のピクセルを備えたマイクロ光検知器アレイデバイスと、
前記マイクロ光検知器アレイデバイスの表面に位置合わせされ、かつ物理的に接合されたマイクロレンズアレイと、
ジンバル台座上に支持され、かつ前記マイクロ光検知器アレイデバイスの表面に位置合わせされ、かつ物理的に接合された前記マイクロレンズアレイを有する前記マイクロ光検知器アレイデバイスが物理的かつ電気的に接合される接合パッドを有する、２軸ジンバルと、
前記ジンバルの前記２つの軸と位置合わせされて前記ジンバルの前記２つの軸の周りの前記接合パッドの時間的角度連接を行わせる、２組の電気機械アクチュエータと、
を備える、
ことを特徴とする、ライトフィールドカメラ。
【請求項３８】
前記２軸ジンバルは、前記ジンバルの２軸ピボット用の複数のシリコン基板層と、前記ジンバル台座に対する前記ジンバルの中立位置を定める機械的抵抗バネとを用いて実装されることを特徴とする、請求項３７に記載のライトフィールドカメラ。
【請求項３９】
前記機械的抵抗バネは、２組のシリコンブリッジを含むことを特徴とする、請求項３８に記載のライトフィールドカメラ。
【請求項４０】
前記２軸ジンバルは、前記接合パッドの裏面に球形ピボットを、及び前記ジンバル台座上面に一致した球形ソケットを備えることを特徴とする、請求項３７に記載のライトフィールドカメラ。
【請求項４１】
前記電気機械アクチュエータは、前記接合パッドの裏面及び前記ジンバル台座上面に接合されることを特徴とする、請求項４０に記載のライトフィールドカメラ。
【請求項４２】
各々が
光検知表面を有するマイクロ光検知器アレイデバイスと、
マイクロレンズ素子のマイクロレンズアレイと、
を有する複数のライトフィールドカメラを準備するステップを含む方法であって、
前記マイクロ光検知器アレイデバイスと前記マイクロレンズアレイは、一緒に組み立てられて、単一の組立体として前記マイクロ光検知器アレイデバイスの前記光検知表面の平面に平行な２つの直交する軸の周りで時間的角度的に連接され、
前記時間的角度連接は、各軸に対してプラスからマイナスまでの最大角度連接の範囲にあり、
前記方法は、
各々の前記ライトフィールドカメラをそれぞれのモバイルデバイスに内蔵させるステップと、
各前記モバイルデバイスを、無線又は有線ネットワークを通して、又はフラッシュメモリモジュールを使用するバルクデータ転送によって、少なくとも１つのホストデバイスに相互接続するステップと、
ライトフィールドカメラ出力データを、ビューイングシーンの異なる視野を捕捉したモバイルデバイスと前記ホストデバイスの間で交換して、集合的ライトフィールドカメラ出力データを形成するステップと、
前記集合的ライトフィールドカメラ出力データを使用して、前記ビューシーンの集合的ライトフィールドを作成するステップと、
を含むことを特徴とする方法。
【請求項４３】
各ライトフィールドカメラは、前記マイクロ光検知器アレイデバイス及びマイクロレンズアレイのタイル状アレイが備えることを特徴とする、請求項４２に記載の方法。
【請求項４４】
前記集合的ライトフィールドカメラ出力データを形成するステップは、
（１）各モバイルデバイスがホストデバイスとして動作し、前記集合的ライトフィールドカメラ出力データを、各モバイルデバイスによって処理して、前記集合的ライトフィールドを生成する方法、
（２）前記ホストデバイスがネットワークサーバであり、前記集合的ライトフィールドカメラ出力データを前記ネットワークサーバによって処理し、次いで前記ビューシーンの前記集合的ライトフィールドを前記モバイルデバイスにダウンロードする方法、
のいずれかによって行われることを特徴とする、請求項４２に記載の方法。
【請求項４５】
それぞれが内蔵されたライトフィールカメラを有する相互接続されたモバイルデバイスを用いて、複数の参加者により協働して捕捉されたビューイングシーンの２次元広角画像つまりパノラマを生成するために応用されることを特徴とする、請求項４４に記載の方法。
【請求項４６】
複数の２次元デジタルカメラを、それぞれのモバイルデバイス内に準備して、ビューイングシーンの２次元ライトフィールドデータを捕捉するステップと、
ビューシーンの前記２次元ライトフィールドデータを、前記２次元ライトフィールドデータの捕捉の場所、配向及び時刻で増強するステップと、
各前記モバイルデバイスを、無線又は有線ネットワークを通して、又はフラッシュメモリモジュールを使用するバルクデータ転送によって少なくとも１つのホストデバイスに相互接続するステップと、
前記２次元デジタルカメラからの前記２次元ライトフィールドデータを、ビューイングシーンの異なる視野を捕捉したモバイルデバイスと前記ホストデバイスの間で交換して、集合的ライトフィールドデータを形成するステップと、
前記集合的ライトフィールドデータを用いて、前記ビューシーンの集合的ライトフィールドを作成するステップと、
を含むことを特徴とする方法。
【請求項４７】
前記集合的ライトフィールドを表すデータを前記モバイルデバイスに戻すステップをさらに含むことを特徴とする、請求項４６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドカメラ、放射輝度カメラ、指向性光捕捉、３Ｄカメラ、及び２Ｄ／３Ｄ切り替え可能なカメラの分野に関する。
（関連出願の相互参照）
本出願は、２０１２年６月１日に出願された米国特許仮出願第６１／６５４，６８８号の優先権を主張するものである。
【背景技術】
【０００２】
ナノスケール半導体の出現により、携帯電話又はタブレット型ＰＣなどの典型的なモバイルデバイス内に十分なコンピューティング・リソースを持たせて、例えば、かかるデバイスが通常接続できる高データレート・モバイルネットワークを通じて受信した及び／又は伝送された高解像度の視覚情報を処理できるようになっている。典型的なモバイルデバイスは、今や１Ｍピクセル・ディスプレイ及び８Ｍピクセル・カメラを有し、モバイルユーザが高解像度の視覚情報を閲覧し及び捕捉することを可能にする。かかる視覚的通信機能により、モバイルデバイスは、まもなく３Ｄ視覚情報を処理できるようになる。現在は、モバイルデバイスの厳しい容積的制約を満たす超小型カメラによる２Ｄ視覚情報の捕捉及び記録が主流であるが、これは３Ｄ視覚情報の捕捉及び記録には当てはまらない。２Ｄ視覚情報の捕捉及び記録の場合においても、モバイルデバイスの厳しい容積的制約により、高度な自動焦点機能を有するカメラをかかるデバイス内に組み込むことは依然として困難である。主な理由は、かさばること、不十分な性能、及びモバイルデバイスをターゲットとするカメラに高度な自動焦点機能を組み込むための過剰な付加コストである。これら制約の幾つかを克服し得る有望な候補は、カメラに入る光線の方向分布に関する情報を捕捉できるライトフィールドカメラとして知られる種類のカメラである。モバイルユーザに、３Ｄ画像を捕捉することを可能にする他に、光の方向情報を捕捉する能力は、コンピュータによる（デジタル）焦点合わせを可能にし、それによりモバイルユーザは、焦点合わせを気にせずにライトフィールド全体を捕捉し、次いで、モバイルデバイスの十分な処理機能を利用して、捕捉されたライトフィールドの任意の所望の光景にコンピュータにより焦点合わせできる。その点において、ライトフィールド・モバイルカメラは、実際に、今やモバイルデバイスにおいて一般的になりつつある多くの処理リソースを利用し、高価でかさばる自動焦点合わせ機能を排除できる。しかし、かかる見通しを実現する際の問題は、現在の最新式ライトフィールドカメラは、それ自体本質的にかさばり、モバイルデバイス内に組み込むのに全く適さないことである。本発明の詳細な説明に進む前に、現在の最新式ライトフィールドカメラの手法及びその顕著な特徴を、以下の記述により大局的に把握する。
【０００３】
従来のカメラは、カメラが捕捉する光の方向情報を記録しない。従来のカメラは、目視シーンのある点から生じて光検知器（ＰＤ）上の対応する空間位置（ピクセル）に至る光の一対一対応を表す２次元（２Ｄ）画像のみを捕捉するので、空間情報は捕捉されるが、全ての方向情報は失われる。従来の２Ｄカメラとは対照的に、ライトフィールドカメラは、光の空間情報と方向情報の両方を捕捉する。ライトフィールドカメラは、空間情報及び方向（角度）情報の両方を記述し、かつ、単位立体角あたりの単位面積あたりの入射光の照射束（Ｗ・ｍ-2・Ｓｒ-1で測定される）として定められる光の放射輝度を記録できるので、空間情報及び方向情報の両方を捕捉できる。従って、ライトフィールドカメラは、４次元（４Ｄ）放射輝度をサンプルすることができ、その際に、カメラが捕捉する光の２次元の空間分布及び２次元の方向分布の両方を捕捉する。従って、放射輝度を記録することができるので、ライトフィールドカメラは、捕捉後の焦点合わせ、ノイズの削減、又は視点の変更、すなわち３次元（３Ｄ）画像捕捉に必要な全てのライトフィールド情報を捕捉する。
【０００４】
図１Ａは、カメラの各々が異なる視点からのライトフィールドの画像を記録する従来のカメラのアレイを用いて実施される従来技術のライトフィールドカメラを示す。捕捉された画像は、次に結合され、捕捉されたライトフィールドが形成される。この手法の欠点はむしろ明白で、アレイの各カメラを用いて妥当な角度範囲を捕捉するために、対物レンズのアレイは、カメラの光検知器よりもきわめて広い領域に広がり、かつ各々がかなり大きい光路長を有するので、図１Ａに示すカメラアレイ全体は、カメラが捕捉できるライトフィールドの視野の数が制限され、非常にかさばるため、モバイルデバイスへの内蔵には全く適さない。
【０００５】
図１Ｂは、インテグラルイメージングの原理を用いて実施される別の従来技術のライトフィールドカメラを示す。プレノプティックカメラとしても知られるこのライトフィールドカメラの手法において、１つの対物レンズのみを使用し、小型レンズつまりマイクロレンズアレイをカメラの光検知器の近くに配置して、カメラの開口をサンプルする。プレノプティックカメラによって捕捉される画像は、マイクロレンズ素子の各々の下のピクセル群によって各々記録されるライトフィールドのサブ開口画像のアレイから形成される。プレノプティックカメラによって捕捉されるサブ開口画像の各々は、ライトフィールドの視差サンプルを表す。図１Ｂに示すプレノプティックカメラは、潜在的にライトフィールドの多数の視野を提供し、図１Ａに示すのカメラアレイより容積も小さいが、視野数の増加は、空間解像度の低下という代償を伴う。また、カメラアレイと同様に、プレノプティックカメラが妥当な角度範囲をカバーするためには、可能な限り大口径の対物レンズを使用する必要があり、それには大きい光路長が必要となるので、プレノプティックカメラもかさばり、モバイルデバイスへの内蔵には全く適さない。
【０００６】
図１Ｃは、ライトフィールドの周波数領域解析の原理を用いて実施されるさらに別の従来技術のライトフィールドカメラを示す。このタイプの従来技術のライトフィールドカメラは、前記図１Ｂに示すプレノプティックカメラと概念的に等しいが、差別化のために放射輝度カメラと呼ばれ、ピンホールの非屈折２次元アレイ、基本的には、マスクを対物レンズの前又は他の従来のカメラの主レンズ組立体と光検知器との間に配置することによって実施される。従って、かかるカメラにより捕捉された画像は、入射するライトフィールドと、マスクの既知の非屈折ライトフィールド変調重み関数とのフーリエ領域畳み込みである。このカメラは、実際に、直接フーリエ領域において４Ｄライトフィールドを捕捉し、従って、カメラの２Ｄ光検知器の各ピクセルによって記録された値は、複数の方向からカメラに入る全ての光線のフーリエ領域におけるコード化一次結合を表す。非屈折性マスクライトフィールドによって重畳された既知の一次結合は、ソフトウェアにより復号して４Ｄライトフィールドを得ることができる。一般に、この放射輝度カメラの性能は、放射輝度解析カメラが視野ごとの増大した空間解像度を提供できる点を除いて、ピクセル数については所与の光検知器サイズを用いて達成することができる空間及び方向解像度と類似するが、分解できる視野の数は、捕捉後の処理に割り当てようとするコンピュータによる処理能力に大きく依存する。換言すれば、放射輝度カメラによりもたらされる視野ごとの空間解像度の向上は、コンピュータリソースの増加という代償を伴う。さらに、放射輝度カメラに使用されるマスクは光損失を生じ、捕捉画像の信号対ノイズ比（ＳＮＲ）を低下させる傾向がある。また、カメラアレイ及びプレノプティックカメラと同様に、放射輝度カメラが妥当な角度範囲をカバーするためには、可能な限り大口径の対物レンズを使用する必要があり、それには大きい光路長が必要となるので、放射輝度解析カメラもかさばり、モバイルデバイスへの内蔵には適さない。
【０００７】
一般に、図１Ａ、図１Ｂ及び図１Ｃに示す従来技術のライトフィールドカメラは、以下の理由で機能性及び用途が制限される。
１．ライトフィールドの深度が、対物レンズの焦点深度によって制限される、
２．ライトフィールドの視野が、対物レンズの角度範囲によって制限される、
３．対物レンズ及びＭＬＡ（マイクロレンズアレイ）は、合致したＦ＃を有する必要があり、これによりレンズ系設計が複雑かつ高額となる、
４．妥当なサイズの視野を達成するために必要な対物レンズの大口径により、通常、光路長がかなり長くなり、このためライトフィールドカメラの容積サイズを大きくし、カメラの有用性を低下させ、モバイルアプリケーションにおける使用を妨げる、
５．対物レンズ系は、周知の光学的歪み及び収差、例えば、たる形歪み、ＴＶ歪みなどを生じさせ、これにより捕捉されたライトフィールドの光学的品質が低下し、かかるカメラによって捕捉された深度及び方向情報を歪める、及び
６．かかるカメラによって捕捉されたライトフィールドは、通常は達成可能な空間解像度と角度解像度との間で配分する必要があるセンサの制限された解像度が、ライトフィールドカメラが捕捉できる方向の総数を制限するため、通常、アンダーサンプリング及び結果として生じるサンプリングアーティファクトの影響を受ける。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願第１３／３２９，１０７号明細書
【特許文献２】米国特許出願第１３／５４６，８５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従って、本発明の目的は、従来技術の制約及び弱点を克服する時空間ライトフィールドカメラを世に送り出し、従ってモバイルデバイスに内蔵できるライトフィールドカメラの作成を可能にし、かかるデバイスのユーザに、２Ｄ画像のコンピュータによる焦点合わせ及び広い角度範囲にわたる３Ｄ画像の捕捉の機能を提供することである。
【課題を解決するための手段】
【００１０】
本発明の付加的な目的及び利点は、添付図面を参照して進められる以下の本発明の好ましい実施形態の詳細な説明から明らかになるであろう。
本発明は、同じ参照数字が類似の要素を指す添付図面の図において、限定としてではなく、例証として示される。
【図面の簡単な説明】
【００１１】
【図１Ａ】従来技術のライトフィールドカメラアレイを示す。
【図１Ｂ】従来技術のプレノプティックカメラを示す。
【図１Ｃ】従来技術の放射輝度捕捉カメラを示す。
【図２】本発明の時空間ライトフィールドカメラの原理的態様の等角図を示す。
【図３】本発明の時空間ライトフィールドカメラの指向性ライトフィールド捕捉態様を示す。
【図４Ａ】本発明の時空間ライトフィールドカメラの時間的連接態様によって可能になる角度範囲の拡張を示す。
【図４Ｂ】本発明の時空間ライトフィールドカメラの例示的な角度時間的連接を示す。
【図５】本発明の時空間ライトフィールドカメラの拡張された角度被写域の断面を示す。
【図６】本発明の時空間ライトフィールドカメラの一実施形態の等角図、上面図及び側面図を示す。
【図７】本発明の時空間ライトフィールドカメラの別の実施形態の分解等角図、側面図及び斜視図を示す。
【図８Ａ】本発明の時空間ライトフィールドカメラのマイクロレンズアレイのレンズ素子の例示的設計を示す。
【図８Ｂ】本発明の時空間ライトフィールドカメラの完全組立体断面の例示的な実施形態を示す。
【図８Ｃ】本発明の時空間ライトフィールドカメラの例示的な実施形態の上面図を示す。
【図８Ｄ】オンセンター・マイクロレンズアレイのレンズを有する本発明の時空間ライトフィールドカメラの例示的な実施形態を示す。
【図８Ｅ】オフセットセンター・マイクロレンズアレイのレンズを有する本発明の時空間ライトフィールドカメラの例示的な実施形態を示す。
【図９Ａ】本発明の時空間ライトフィールドカメラの空間ピクセル群の１つの内部の方向性アドレス指定能力の例示的な実施形態を示す。
【図９Ｂ】本発明の時空間ライトフィールドカメラの空間ピクセル群の１つの内部の方向性アドレス指定能力の例示的な実施形態を示す。
【図９Ｃ】本発明の時空間ライトフィールドカメラによって捕捉できる湾曲時間視差を示す。
【図１０】本発明の時空間ライトフィールドカメラを複数、タイル状に並べることによって実施される３Ｄ／２Ｄ切替え可能なライトフィールドカメラの例示的な実施形態の等角図を示す。
【図１１】本発明の時空間ライトフィールドのデータ処理を説明するブロック図を示す。
【図１２】本発明の時空間ライトフィールドカメラによって捕捉されるライトフィールドを、４次元空間及び方向ライトフィールド空間を横切る２次元スライスで示す。
【図１３】本発明の時空間ライトフィールドカメラによって可能になるネットワークライトフィールド写真の原理を示す。
【発明を実施するための形態】
【００１２】
従って、本発明の目的は、十分に小型であり、モバイルデバイスに容易に内蔵できる新規のライトフィールドカメラを世に送り出すことである。また、本発明の目的は、本発明の超小型ライトフィールドカメラをネットワーク化されたモバイルデバイスに内蔵することにより可能なライトフィールド写真の新しい概念を世に送り出すことである。
【００１３】
本発明の以下の詳細な説明において、「一実施形態」又は「１つの実施形態」への言及は、その実施形態に関して説明される具体的特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。本詳細な説明の様々な箇所において現れる語句「一実施形態において」は、必ずしも全てが同じ実施形態に言及するものではなく、多くの態様が全ての実施形態に応用可能である。
【００１４】
時空間ライトフィールドカメラと呼ばれる新しい種類のライトフィールドカメラを、本明細書で説明する。例えば、手短に前述したプレノプティックカメラ又は放射輝度カメラ等の従来技術のライトフィールドカメラと同じように、本発明の時空間ライトフィールドカメラも、高ピクセル密度光検知器アレイ（ＰＤＡ）デバイスの使用に基づいて、カメラが捕捉する画像を記録する。従って、本発明の文脈において、「ＰＤＡデバイス」という用語は、これ以降マイクロスケールの光検知ピクセルのアレイを備える光検知器デバイスを意味する。かかる高ピクセル密度光検知器アレイ（ＰＤＡ）デバイスは、これ以降単にＰＤＡデバイスと呼び、電荷結合素子（ＣＣＤ）型の光センサ、又はＩＩＩ−Ｖ族材料を用いて製造されるＣＭＯＳセンサ若しくは光センサ等の固体光（ＳＳＬ）光センサとすることができる。かかるＰＤＡデバイスのピクセルのアレイの電気出力値は、ピクセルの開口内に結合される光のカラー及び強度と同一であり、マイクロスケールのピクセル検知器アレイが接合されるＣＭＯＳチップ（又は基板）内に収容される駆動回路によってアドレス指定可能であり、収集される。ＰＤＡデバイスの検知器アレイを備えるピクセルのサイズは、典型的には、線寸法が約２〜１０ミクロンの範囲にあり、デバイスの典型的な検知表面積は約０．３〜５平方センチメートルの範囲にある。ＰＤＡデバイスのマイクロスケールピクセルアレイのピクセルからの電気出力値は、ＣＭＯＳ基板の駆動回路又はＰＤＡデバイスの動作をサポートする外部回路を通して、空間的、色彩的及び時間的に個別にアドレス指定可能である。
【００１５】
本発明は、受動ウェハレベル光学系（ＷＬＯ）を有するＰＤＡデバイスのマイクロピクセルアレイの機能と、組立体全体の連接運動とを組み合わせて、任意の前述の従来技術のライトフィールドカメラの機能を実行できるライトフィールドカメラを生成する。本明細書で用いられる場合、ウェハレベル又はウェハは、少なくとも２インチ、より好ましくは４インチ又はそれ以上の直径を有するデバイス又はデバイスのマトリクスを意味する。ＷＬＯは、紫外線（ＵＶ）インプリントリソグラフィを用いてポリマからウェハ上にモノリシックに製造される。ＷＬＯの主要な利点には、小型構造マイクロレンズアレイ（ＭＬＡ）を製造する能力、及び複数のＷＬＯ光学素子（層）を一緒に及びＰＤＡデバイス等のオプトエレクトロニクスデバイスと正確に位置合わせする能力などがある。典型的なＷＬＯ製造技術によって達成できる位置合わせ精度は、１ミクロン未満になり得る。ＰＤＡのマイクロピクセルアレイの個別ピクセルのアドレス指定能力と、ＰＤＡのマイクロピクセルアレイに対して正確に位置合わせできるＷＬＯマイクロレンズアレイ（ＭＬＡ）の組み合わせにより、従来技術において経験したシステムにかさばる対物レンズを有する必要性を排除し、それにより、システムの容積、複雑さ及びコストを同時に低減する。本発明において、検知された光の方向的側面は、ＷＬＯによって達成される角度範囲及び組立体全体の連接運動との組み合わせによって実現される。
【００１６】
図２は、本発明の時空間ライトフィールドカメラを概念的に示す。図２に示すように、本発明の時空間ライトフィールドカメラは、検知表面開口上に直接取り付けられたＷＬＯマイクロレンズアレイ（ＭＬＡ）２２０を有するＰＤＡデバイス２１０で構成され、組立体全体は、ｘ軸及びｙ軸の両方の周りに、好ましくは、それぞれ±αx及び±αyの範囲内の角度だけ、時間的に連接される。図２に示すＰＤＡ／ＭＬＡ組立体２３０の連接は、組立体全体を２軸ジンバル上に配置し、ジンバルのｘ軸を±αxの範囲内の角度だけ時間的に作動させ、ジンバルのｙ軸を±αyの範囲内の角度だけ時間的に作動させることによって達成される。２軸ジンバルによってもたらされるｘ軸及びｙ軸の時間的連接により、ＰＤＡ／ＭＬＡ組立体２３０の上面に入射し、ＰＤＡデバイス２１０によって検知される光の方向角度を、ＭＬＡ２２０のレンズ素子によって与えられる角度範囲を超えて、ｘ軸の周りに２αxだけかつｙ軸の周りに２αyだけ時間的に拡張させる。
【００１７】
図３を参照すると、２次元アレイＭＬＡ２２０を備えるマイクロレンズ素子の各々と、個別アドレス指定可能なＰＤＡピクセル（ｐ1、ｐ2、．．．、ｐn）の群が関連付けられ、それにより、ピクセル群のピクセルの各々によって検知された光は、関連付けられたマイクロレンズ素子の開口数（角度範囲）内の一意の方向（ｄ1、ｄ2、．．．、ｄn）の１つから屈折される。ＰＤＡデバイス２１０のマイクロピクセルアレイ全体は、本明細書においてピクセル検知群（又は同義的にピクセル群）とも呼ばれる複数のピクセル群（Ｇ1、Ｇ2、．．．、Ｇn）を備え、各ピクセル群Ｇiは、２次元アレイＭＬＡ２２０のレンズ素子の１つと関連付けられ、次いで、ピクセル群は、集合的に、本発明の時空間ライトフィールドカメラの空間検知アレイを表す。図２に示す時間的連接、及び各ピクセル群内の個別ピクセル（ｐ1、ｐ2、．．．、ｐn）と検知された光の方向（ｄ1、ｄ2、．．．、ｄn）との１対１の関連付けにより、図２に概念的に示す本発明の時空間ライトフィールドカメラは、ピクセル群Ｇiの各々に、ピクセル群（Ｇ1、Ｇ2、．．．、ＧN）の各々の個別ピクセル（ｐ1、ｐ2、．．．、ｐn）の時間的アドレス指定によって個別にアドレス指定可能な複数の時間多重化方向（ｄ1i、ｄ2i、．．．、ｄni）（ｉ＝１、２、．．．、）を関連付けて有することができる。次に、図２の２次元アレイＭＬＡ２２０と関連付けられた複数のＰＤＡデバイスピクセル群（Ｇ1、Ｇ2、．．．、ＧN）は、本発明の時空間ライトフィールドカメラの空間アレイを表し、時間多重化方向（ｄ1i、ｄ2i、．．．、ｄni）（ｉ＝１、２、．．．）は、各ピクセル変調群を備えるＰＤＡデバイス２１０のピクセル（ｐ1、ｐ2、．．．、ｐn）の時間的アドレス指定能力によって、個別にアドレス指定可能な複数の光検知方向を表す。換言すれば、本発明の時空間ライトフィールドカメラは、ＰＤＡピクセル群（Ｇ1、Ｇ2、．．．、ＧN）のアドレス指定能力によって光を空間的に検知でき、各ピクセル群を構成するピクセル（ｐ1、ｐ2、．．．、ｐn）の時間的アドレス指定能力によって、方向（ｄ1i、ｄ2i、．．．、ｄni）（ｉ＝１、２、．．．、）における各ピクセル群からの光を方向的に検知できる。従って、図２に示す本発明の時空間ライトフィールドカメラは、空間的にも方向的にも光を検知でき、各ＰＤＡピクセル群（Ｇ1、Ｇ2、．．．、Ｇn）の検知領域に等しい空間位置の各々によって検知された光は、ピクセル群のアドレス指定能力によって個別にアドレス指定可能であり、並びに、各ピクセル群内の個別のピクセルの時間的アドレス指定能力によって方向的にアドレス指定可能である。
【００１８】
図２に示すＰＤＡ／ＭＬＡ組立体２３０のｘ軸及びｙ軸の連接は、方向（ｄ1、ｄ2、．．．、ｄn）からの光検知機能を、ＭＬＡ２２０のレンズ素子によってもたらされる角度範囲をｘ方向に２αｘかつｙ方向に２αｙ超えて拡張する複数の光方向（ｄ1i、ｄ2i、．．．、ｄni）（ｉ＝１、２、．．．、）に時間的に多重化させる。このことは、説明のため、１つの連接軸に沿ったＰＤＡ／ＭＬＡ組立体２３０の角度範囲の時間的拡張を示す図４に示されている。図４Ａを参照すると、角度Θは、ＭＬＡ２２０の１つのレンズ素子の角度範囲を表し、角度αは、ｘ軸及びｙ軸の周りの、それぞれ角度αx（ｔ）及び角度αy（ｔ）によるジンバル連接の結果として、レンズ素子の複合瞬間連接角度を表す。図２に示され、図４Ａにより説明されるＰＤＡ／ＭＬＡ組立体２３０の連接により、ＰＤＡ駆動回路によって個別にアドレス指定可能なＰＤＡデバイス２１０の検知アレイ内のマイクロスケールピクセルは、光を空間的、色彩的、かつ方向的に検知することができ、それにより方向的に検知された光の角度範囲は、ＭＬＡ２２０のレンズ素子の角度範囲Θを超えて、ｘ方向に角度２αxかつｙ方向に角度２αyだけ時間的に拡張される。さらに、本発明の時空間ライトフィールドカメラ２００のＰＤＡ／ＭＬＡ組立体２３０の時間的連接により、検知可能な光方向（ｄ1、ｄ2、．．．、ｄn）の数は、（Θ＋αx）（Θ＋αy）／Θ2として表される各連接方向における角度範囲拡張の比だけ、時間的に増加する。
【００１９】
本発明の時空間ライトフィールドカメラ２００のＰＤＡ／ＭＬＡ組立体２３０の２軸連接は、時間的に連続又は離散（段階的）とすることができる。図４Ｂは、説明のために、連接が時間的に連続である場合４１０及び作動が時間的に離散である場合４２０の１軸におけるＰＤＡ／ＭＬＡ組立体２３０の複合時間的連接角度α（ｔ）を示す。本発明の時空間ライトフィールドカメラ２００の時間的連接が離散つまり段階的である場合（４２０）、典型的な角度段階サイズは、ＭＬＡ２２０の角度範囲ΘのＰＤＡ／ＭＬＡ組立体２３０の空間分解能に対する比に比例することが好ましい。図５に示すように、本発明の時空間ライトフィールドカメラ２００のＰＤＡ／ＭＬＡ組立体２３０の時間的連接は、典型的には反復的（つまり周期的）であり、２軸の各々の周りで独立である。本発明の時空間ライトフィールドカメラ２００の連接の反復周期は、典型的には、所定の出力データフレーム持続時間に比例しかつこれと同期される（参考のために、典型的なビデオカメラの画像データは毎秒６０フレームで出力され、６０Ｈｚフレームレート出力と呼ばれることが多い）。図４Ｂに示す時間的連接の最大値±αmaxが、時空間ライトフィールドカメラによって与えられ得る全角度範囲を決定し、これは値±（Θ＋αmax）によって決定され、ここで角度ΘはＭＬＡ２２０のレンズ素子の角度範囲を表す。ｘ軸及びｙ軸連接の周期性は、集合的に、典型的には、本発明の時空間ライトフィールドカメラ２００が所要の画像フレーム捕捉持続時間内で所望の全角度範囲を時間的にカバーできるように選択される。静止画像捕捉（写真）では、シャッタ速度が、前述の説明で言及された画像フレーム捕捉持続時間に等しいパラメータである。これは、本発明の時空間ライトフィールドカメラ２００を静止画像写真に使用する場合、画像フレーム捕捉持続時間は、従来のカメラにおけるシャッタ速度に等しいことを意味する。
【００２０】
図５は、時間的複数のＭＬＡレンズ素子の角度カバー範囲断面５２０からなる本発明の時空間ライトフィールドカメラ２００のＰＤＡ／ＭＬＡ組立体２３０の角度カバー範囲断面５１０を示す。それぞれｘ軸及びｙ軸の周りに適切に選択された、ＰＤＡ／ＭＬＡ組立体２３０の時間的連接αx（ｔ）及びαy（ｔ）は、ＭＬＡ２１０レンズ素子の複数の時間的に多重化された角度カバー範囲５２０からなる角度カバー範囲５１０を生成する。ｘ軸及びｙ軸の周りのＰＤＡ／ＭＬＡ組立体２３０の角度連接αx及びαyの大きさに応じて、角度カバー範囲断面５１０の形状は、アスペクト比で適応させることができる。ｘ方向及びｙ方向の周りの連接速度は、角度カバー範囲５１０内の時間的光検知方向が、必要な画像捕捉フレーム持続時間内で十分なデューティサイクルを有することを保証するのに十分である。例えば、必要な画像捕捉フレーム持続時間が、毎秒６０画像フレームであると、一般的に６０Ｈｚ画像フレームレートと呼ばれ、図５に示す時間的角度カバー範囲５２０の各々内の光方向の各々をフレーム毎に一度検知して、図５に示す角度カバー範囲を発生させるのに必要な連接速度を、ｘ軸又はｙ軸の周りで少なくとも１８０Ｈｚにする必要がある。換言すれば、図５に示す、時間的角度カバー範囲５１０のサイズが、各軸における角度カバー範囲５２０のサイズの３倍である角度カバー範囲の例について、図５の図のｘ方向又はｙ方向のいずれかの周りの連接速度は、画像捕捉フレームレートの少なくとも３倍である必要がある。ＭＬＡレンズ素子の角度カバー範囲５２０は、重複又は非重複のいずれかでよい。一般に、ｘ軸又はｙ軸の周りのＰＤＡ／ＭＬＡ組立体２３０の連接速度は、各軸に沿った角度カバー範囲５１０のサイズ（度単位の）の、同じ軸に沿った角度カバー範囲５２０のサイズ（度単位の）に対する比に等しい因子を乗じた画像捕捉フレームレートに少なくとも等しいことが必要である。
【００２１】
図５を参照すると、角度カバー範囲５２０を有し、ＰＤＡデバイス２１０を構成する複数の空間的ピクセル群に対応する複数の光検知方向を備えた本発明の時空間ライトフィールドカメラ２００のＰＤＡ／ＭＬＡ組立体２３０の時間的連接により、光検知方向のいくつかがパイプライン様式で時間的に減少するので、本発明の時空間ライトフィールドカメラ２００の全角度範囲５１０が完全にカバーされるまで、光検知方向の新しい組が連続して追加される。任意の所与の瞬間において、ＰＬＤ／ＭＬＡ組立体２３０の全開口を用いて、任意の所与の方向からの光を、その方向が連接された開口５１０のカバー範囲内に時間的に留まる限り蓄積する。光方向の複数の検知の時空間パイプライン化の結果、本発明の時空間ライトフィールドカメラ２００の応答時間は、最小潜伏時間で画像捕捉フレームレートと同一とすることができる。所与の光捕捉方向が角度カバー範囲５２０に留まる持続時間は、その方向から時空間ライトフィールドカメラ２００に入射する光強度を捕捉するのに使用できる積分時間を決定する。その結果、補償されない限り、全角度カバー範囲５１０の周縁領域内の光方向は、角度カバー範囲５２０の内部領域よりも積分時間が短く、従って強度が低い場合がある。この強度縁部テーパ効果は、本発明の時空間ライトフィールドカメラ２００の場合を除いて、光学系の縁部で典型的に生じるフレネル損失に多少類似し、かかる効果は、本発明の時空間ライトフィールドカメラ２００のＰＬＤ／ＭＬＡ組立体２３０の空間的連接速度の適切な選択によって補償できる。
【００２２】
代替的に、時間的角度連接は、時間的角度連接が角度ステップである一種のステップアンドリピートプロセスによるとすることができる。これは、全視角からの光に対する各ピクセルの露出時間を均等化する。さらに代替的に、時間的角度連接は、最大連接位置におけるピクセル群の露出時間を増加させるために、最大連接位置において一時停止を伴う正弦波変化によるとすることができる。
【００２３】
本発明の、ここでは６００と呼ぶ一実施形態を、本実施形態の等角図、上面図及側面図を含む図６に示す。図６に示すように、本発明の時空間ライトフィールドカメラは、ＰＤＡ／ＭＬＡ組立体２３０（図２に示す）を、複数のシリコン基板層、すなわち、ヒンジ層６２１、スペーサ層６２８及びベース層６３０を用いて作成される２軸ジンバル組立体６２０の上面に接合することによって実現される。図６に示すように、２軸ジンバル６２０のヒンジ層６２１は、外側フレーム６２２、内側リング６２３及び内側セグメント６２５で構成され、内側セグメント６２５の上にＰＤＡ／ＭＬＡ組立体２３０が接合される（以後、６２５はまた同義的に接合バッド６２５とも呼ぶ）。外側フレーム６２２、内側リング６２３及び内側セグメント６２５の間の空隙は、標準的半導体リソグラフィ技術を用いてエッチングされる。内側セグメント６２５は、幅が典型的にはおよそ０．３−０．５ｍｍの範囲の２つのシリコンブリッジ６２２によって内側リング６２３にｘ軸に沿って物理的に接続されて、ｘ軸ヒンジとして作用し、かつジンバルのｘ軸の中立位置を定め、ｘ軸連接に対する機械的抵抗ばねとして作用する。内側リング６２３は、幅が典型的には凡そ０．３−０．５ｍｍの範囲の２つのシリコンブリッジ６２６によって外側フレーム６２２にｙ軸に沿って接続され、ｙ軸ヒンジとして作用し、かつジンバルのｙ軸の中立位置を定め、ｙ軸連接に対する機械的抵抗ばねとして作用する。２対のシリコンヒンジ６２４及び６２６は２軸ジンバルのピボットポイントを構成し、その周りでｘ及びｙ連接が行われる。ジンバル組立体６２０のヒンジ層６２１の内側セグメント６２５は、複数の接点パッドを含み、これにＰＤＡ／ＭＬＡ組立体２３０が、フリップチップはんだボール等の標準的はんだ技術を用いて接合されて、内側セグメント６２５が接合パッドとなり、その上にＰＤＡ／ＭＬＡ組立体２３０が接合される。ジンバル組立体６２０のヒンジ層６２１の内側セグメント６２５の内部に、複数の金属レールが埋め込まれ、これが内側セグメント６２５上面の一組の接点パッドを、ｘ軸及びｙ軸ヒンジブリッジ領域６２４及び６２６を介して外側フレーム６２２の外周に沿って配置された一組のデバイス接点パッドに接続する。内側セグメント６２５上面の接点パッドの組は、ＰＤＡ／ＭＬＡ組立体２３０の裏面への電気的及び物理的接触を与える接点パッドである。
【００２４】
図６の側面図を参照すると、ＰＤＡ／ＭＬＡ組立体２３０が内側セグメント６２５上面に接合されて示されている。前述のように、これは、内側セグメント６２５上面の接点パッドとＰＤＡ／ＭＬＡ組立体６１０の裏面にある接点パッドとの間のはんだ又は共融合金ボールグリッドアレイ式接合を用いた電気的及び物理的接点接合である。図６の側面図には、ＢｅｎｚｏＣｙｃｌｏＢｕｔｅｎｅ（ＢＣＢ）ポリマ接着剤ボンディングなどを用いて、ウェハレベルでベース層６３０上面及びヒンジ層の裏面に接合されるスペーサ層６２８も示す。スペーサ層６２６の高さ（つまり厚さ）は、最大作動角度において、ヒンジ連結内側セグメント６２５の角部の垂直変位を、接合されたＰＤＡ／ＭＬＡ組立体６１０と一緒に収容するように選択される。例えば、接合パッド６２５の対角線が５ｍｍで、角部における最大連接角度が１５°である場合、スペーサ層６２６の厚さは、最大連接角度における接合パッド６２５の角部の垂直変位を収容するために、凡そ０．６５ｍｍである必要がある。
【００２５】
図６の側面図を参照すると、接合されたＰＤＡ／ＭＬＡ組立体２３０と一緒の接合パッド６２５の連接は、ヒンジ連結接合パッド６２５の裏面の４つの角部に配置された一組の電磁石６３５と、ヒンジ連結接合パッド６２５の裏面の４つの角部と位置合わせされてベース層６３０上面に配置された一組の永久磁石６３６とを用いて行われる。電磁石６３５は、ヒンジ連結接合パッド裏面に多層インプリントリソグラフィを用いてウェハレベルで形成された金属コアを有するコイルである。永久磁石６３６は、典型的にはネオジム磁石（Ｎｄ2Ｆｅ14Ｂ）などの薄い磁気ストリップである。接合されたＰＤＡ／ＭＬＡ組立体２３０と一緒のヒンジ連結接合パッド６２５の連接は、前述のように、電磁石６３５の組を、適切な時間振幅変化を有して電磁石６３５の組と永久磁石６３６の間の磁気引力に適切な時間的変化を与える電気信号で駆動することによって行われ、これにより、接合されたＰＤＡ／ＭＬＡ組立体２３０と一緒のヒンジ連結接合パッド６２５は、前述のように時間的に連接される。電磁石６３５の組に対する駆動電気信号は、ＰＤＡデバイス２１０又は外部支援デバイスによって生成され、前述のヒンジ連結内側セグメント６２５に内蔵された金属レール及び接点を介して電磁石６３５の組に供給され、ＰＤＡデバイス２１０のピクセルアレイ上での所望の光の方向検知が可能な程度まで、ＰＤＡデバイス２１０によって行われる画像フレーム捕捉持続時間（レート）に同期される。電磁石６３５の組に対する駆動電気信号の時間的変化は、図６に示すように、接合されたＰＤＡ／ＭＬＡ組立体２３０と一緒のヒンジ連結接合パッド６２５の、ｘ軸及びｙ軸の両方の周りの時間的角度連接を可能にするように選択される。ヒンジ層６２１のシリコン基板の厚さ及びシリコンヒンジ６２４及び６２６の選択された幅に応じて、本発明の実施形態６００によって達成できる、図４Ｂに示す時間的角度連接α（ｔ）の最大値±αmaxは、典型的には±１５°から±１７°までの範囲になる。
【００２６】
電磁石６３５の組に対する駆動電気信号は、ＰＤＡデバイス２１０又は外部支援デバイスによって生成され、前述のヒンジ連結内側セグメント６２５に内蔵された金属レール及び接点を介して電磁石６３５の組に供給され、基本成分と補正成分から構成される。電磁石６３５の組に対する駆動電気信号の基本成分は、公称値を表し、補正成分は、ヒンジ６２４及び６２６に位置合わせされたヒンジ連結内側セグメント６２５の裏面に配置された一組の４つのセンサによって生成される角度連接誤差値から導出される。これらのセンサは、ヒンジ連結内側セグメント６２５の裏面に、ベース層６３０上面に配置された４つのＩＲ発光体に位置合わせされて配置された、赤外（ＩＲ）検知器のアレイである。４つのＩＲ検知器アレイの出力値も、前述のヒンジ連結内側セグメント６２５に内蔵された金属レール及び接点を介して、ＰＤＡデバイス又は外部支援デバイスに送られ、導出された連接角度と実際の連接角度との間の誤差の推定値を計算するために使用され、この推定値は、ＰＤＡデバイス又は外部支援デバイスのいずれかによって電磁石６３５の組に与えられる駆動信号に対する補正値として組み込まれる。ヒンジ連結内側セグメント６２５の裏面に配置されたセンサも、ジンバルの２軸の各々に沿った作動角度を検知するように適切に位置合わせされたマイクロスケールジャイロとすることができる。
【００２７】
本発明の、ここでは７００と呼ぶ別の実施形態を図７に示す。図７は、この実施形態の等角図及び側面図を含む。図７に示すように、本発明の実施形態７００は、ＰＤＡ／ＭＬＡ組立体２３０が上部に接合された２軸ジンバル７２０からなる。図７は、本実施形態の２軸ジンバル７２０の構成層を示す実施形態７００の組立分解等角図も示す。図７に示すように、本実施形態の時空間ライトフィールドカメラは、ＰＤＡ／ＭＬＡ組立体２３０（図２に示す）を、複数のシリコン基板層、すなわちパッド層７２１、ばね層７２５及びベース層７３０を用いて作成される２軸ジンバル組立体７２０の上面に接合することによって実現される。パッド層７２１の上面に複数の接点パッドが組み込まれ、これにＰＤＡ／ＭＬＡ組立体２３０が、フリップチップはんだボール等の標準的はんだ技術を用いて接合されて、パッド層７２１の上面が接合パッド７２３となり、その上にＰＤＡ／ＭＬＡ組立体２３０が接合される。パッド層７２１の裏面には、ＵＶインプリントリソグラフィなどを用いて、ポリカーボネートポリマをヒンジ連結パッド層７２１の裏面上にウェハレベルでエンボス加工することによって形成される、球面ピボット７３５が組み込まれる。パッド層７１２及びその裏面にエンボス加工された球形ピボット７３５は共に、ヒンジ連結パッド７２１／７３５と呼ぶ。ベース層の上面には、ウェハにおいてベース層７３０の上面上のポリカーボネートポリマをエンボス加工することによって形成された、球形ソケット７３６が組み込まれる。ベース層７３０及びその上面にエンボス加工された球形ソケット７３６は、ペデスタル７３０／７３６と呼ぶ。パッド層７２１の裏面に組み込まれた球形ピボット７３５と、ベース層上面に組み込まれた球形ソケット７３６の表面曲率は、一致しており、ヒンジ連結パッド７２１／７３５がペデスタル７３０／７３６の上に配置されると、２軸連接パッドとなる。球形ピボット７３５及び球形ソケット７３６のエンボス加工された表面は、数ｎｍＲＭＳ程度の表面粗さの点では光学的品質であるが、連接移動によって生じる２つの表面間の摩擦は、球形ピボット７３５及び球形ソケット７３６の表面をグラファイトの薄層（５０−１００ｎｍ）で被覆することによって低減される。
【００２８】
ヒンジ連結パッド７２１／７３５は、４つの隅の各々に、ばね層７２５内にエッチングされた単一らせん形状ばね７２６を含むばね層７２５によってペデスタル７３０／７３６の表面曲率の所定位置に保持される。図７の等角分解図に示すように、４つのらせん形状ばねの各々の内側端部に、パッド層７２１の裏面に配置された同一の接合パッド７２２に対応する内側接合パッド７２７が組み込まれる。らせん形状ばね７２６の内部には、複数の金属レールが埋め込まれ、電気インタフェース信号を、内側接合パッド７２７からばね層７２５の裏面の周縁部に配置された一組の接点パッド７２８に送るのに用いられる。ばね層７２５の外側端部の裏面の縁部接点７２８は、ベース層７３０周縁部に配置された接合パッド７２９の合致する組に対応する。ベース層７３０上面の縁部接点は、ベース層に埋め込まれた金属レールを介して、ベース層７３０裏面に配置された一組のデバイス接点パッド７３１に接続される。図７の側面図に示される本発明の実施形態７００の最終組立体において、ばね層７２５の接合パッド７２６の裏面がベース層７３０の接合パッド７２９の上面に接合され、かつ、らせん形状プリング７２６の内側接合パッド７２７がパッド層７２１裏面の対応する接合パッド７２２に接合されると、４つのらせん形状ばね７２６は拡張される。上述のように、ばね層７２５がパッド層７２１裏面及びベース層７３０上面のらせん形状ばね７２６に接合されると、４つのらせん形状ばねは完全に拡張し、完全に拡張した構成において、（１）球形ピボット７３５が球形ソケット７３６の内部に保持された状態を保つのに必要なばね負荷抵抗を生成すること、（２）ヒンジ連結パッド７２１／７３５の中立位置を維持するのに必要な機械的平衡を生成すること、及び（３）電気インタフェース信号をデバイス接点パッド７３１からＰＤＡ／ＭＬＡ組立体２３０の接点パッド７２３に送ること、の複数の目的を果たす。図７の側面図を参照すると、ＰＤＡ／ＭＬＡ組立体２３０がパッド層７２１の上面接点パッド７２３に接合して示されている。これは、接点パッド７２３とＰＤＡ／ＭＬＡ組立体２３０裏面の接点パッドとの間の、はんだ又は共融ボールグリッドアレイ型接合を用いた電気的及び物理的接点接合である。動作構成において、全デバイス組立体７００は、ベース層裏面の接点パッド７３１を用いて、基板又はプリント回路基板に、はんだ又は共融ボールグリッドアレイ型接合によって接合される。
【００２９】
図７の側面図には、球形ソケット７３６の拡張された高さも示され、これは、最大作動角度において、ヒンジ連結パッド７２１／７３５の角部の垂直変位を接合されたＰＤＡ／ＭＬＡ組立体２３０と共に収容するように選択される。例えば、ヒンジ連結パッド７２１／７３５及び接合されたＰＤＡ／ＭＬＡ組立体２３０の対角線が５ｍｍ、角部における最大作動角度が±３０°である場合、球形ソケット７３６の拡張された高さは、最大作動角度において、ヒンジ連結パッド７２１／７３５の角部の垂直変位を接合されたＰＤＡ／ＭＬＡ組立体７１０と共に収容するため、およそ１．２５ｍｍである必要がある。
【００３０】
ヒンジ連結パッド７２１及び接合されたＰＤＡ／ＭＬＡ組立体２３０の作動は、球形ピボット７３５に内蔵された一組の電磁石及び球形ソケット７３６に内蔵された一組の永久磁石を用いて行われる。作動電気駆動信号は、前述のパラグラフで説明した作動運動するように、球形ピボット７３５に内蔵された電磁石に送られる。球形ピボット７３５に内蔵された電磁石への作動電気駆動信号の基本成分は、公称値及びヒンジ連結パッド７２１裏面に配置された一組の４つのセンサによって生成される角度連接誤差値から導出される補正成分を表す。これらのセンサは、ヒンジ連結パッド７２１裏面に配置され、ベース層７３０上面に配置された４つのＩＲ発光体に位置合わせされた赤外（ＩＲ）検知器のアレイである。４つのＩＲ検知器アレイの出力値も、前述のヒンジ連結パッド７２１に組み込まれた金属レール及び接点を介して、ＰＤＡデバイス又は外部支援デバイスに送られ、導出された連接角度と実際の連接角度との間の誤差の推定値を計算するために使用され、この推定値は、ＰＤＡデバイスによって、球形ピボット７３５の中に埋め込まれた電磁石６３５の組に対して与えられる駆動信号に対する補正値として組み込まれる。ヒンジ連結パッド７２１裏面に配置されたセンサも、ジンバルの２軸の各々に沿った作動角度を検知するように適切に位置合わせされたマイクロ電気機械システム（ＭＥＭＳ）又は圧電マイクロジャイロスコープを用いて実装されたマイクロジャイロとすることができる。
【００３１】
球形ソケット７３６に内蔵された永久磁石は、細い磁性ロッド又はワイヤ、典型的にはネオジム磁石（Ｎｄ2Ｆｅ14Ｂ）などであって、球形ソケット７３６の湾曲キャビティにわたり一様な磁場を与える形状に形成される。ヒンジ連結パッド７２１及び接合されたＰＤＡ／ＭＬＡ組立体２３０の作動は、前述のように、球形ピボット７３５に内蔵された電磁石の組を、球形ピボット７３５に内蔵された電磁石の組と球形ソケットに内蔵された永久磁石との間の磁気引力に適切な時間的変化をさせるための適切な時間的振幅変化を有する電気信号で駆動し、ヒンジ連結パッド７２１及び結合したＰＤＡ／ＭＬＡ組立体２３０を前述のように時間的に連接させることにより行われる。球形ピボット７３５に内蔵された電磁石の組に対する駆動電気信号は、前述のようにＰＤＡデバイス又は外部支援デバイスによって生成され、ヒンジ連結パッド７２１に組み込まれた金属レール及び接点を介して送られ、ＰＤＡデバイス２１０のピクセルアレイ上で所望の光の方向検知ができる程度まで、ＰＤＡデバイス２１０によって行われる画像フレーム捕捉持続時間（レート）と同期される。球形ピボットに内蔵された電磁石の組に対する駆動電気信号は、図６に示すように、ヒンジ連結パッド７２１及び接合されたＰＤＡ／ＭＬＡ組立体２３０の、ｘ軸及びｙ軸の両方に沿った時間的角度連接ができるように選択される。ヒンジ連結パッド７２１及び接合されたＰＤＡ／ＭＬＡ組立体２３０の角部の最大垂直変位を支配する球形ソケット７３６の拡張された高さに応じて、本発明の実施形態７００によって達成できる、図６に示す時間的角度連接α（ｔ）の最大値±αmaxは、典型的には±３０°から±３５°までの範囲にある。
【００３２】
当業者であれば、前節で説明した本発明の実施形態６００及び７００のジンバルアクチュエータを実装して、電磁石と永久磁石の位置を交換することによって概ね同じ目的を達成できることを理解するであろう。さらに、当業者であれば、前節で説明した本発明の実施形態６００及び７００のジンバルアクチュエータを実装して、前節で説明した電磁石に基づく方法以外の作動駆動方法を用いて概ね同じ目的を達成できることを理解するであろう。
【００３３】
本発明の時空間ライトフィールドカメラの２つの実施形態６００と７００は、主として、各々が達成できる時間的角度連接α（ｔ）の最大値αmax及び各実施形態がＰＤＡ／ＭＬＡ組立体２３０の境界を越えて拡張する外側領域が異なる。第１に、図７に示すように、２軸ジンバルは、本発明の実施形態７００において、ＰＤＡ／ＭＬＡ組立体２３０のフットプリントに完全に収容される（以後ゼロエッジフィーチャと呼ぶ）一方、図６に示すように、２軸ジンバルは、本発明の実施形態６００において、ＰＤＡ／ＭＬＡ組立体２３０の外側境界の外周に収容される。第２に、実施形態７００の時間的角度連接α（ｔ）の最大値αmaxは、実施形態６００に対して与えることができる最大値の２倍に達しうる。当然、実施形態７００によって達成できる時間的角度連接α（ｔ）の、より大きい最大値αmaxは、実施形態６００よりも大きい垂直高さを必要とする代償を伴う。実施形態７００のゼロエッジフィーチャは、タイル状に並べて大口径のライトフィールドカメラを作成するのにより好適である（後節で説明するように）一方、実施形態６００の低プロファイル（低い高さ）フィーチャは、携帯アプリケーション用の超小型ライトフィールドカメラの作成により好適である。
【００３４】
図８Ａは、本発明の説明で使用されるＭＬＡ２２０の１つの実施例とＰＤＡデバイス２１０のピクセル群Ｇiの例示的な実施形態を示す。図８Ａを参照すると、前述のように、ピクセル群Ｇｉの各個別のピクセルによって検知される光は、３つの光学要素８１０、８２０及び８３０を備えたマイクロレンズ素子の開口を通してＰＤＡデバイス２１０の表面に到達する。特定の方向に進み、本明細書では本発明のライトフィールドカメラの角度解像度と呼ぶ角度範囲δθでＭＬＡ２２０の開口に入射する各光束は、ＭＬＡ２２０マイクロレンズ系８１０、８２０及び８３０によってコリメートされ、ＰＤＡデバイス２１０のピクセル群Ｇiの個別のピクセルのうちの１つに達する。本質的に、光学要素８１０、８２０及び８３０を備えた図８Ａに示すマイクロレンズ系は、ＭＬＡ２２０マイクロレンズ系８１０、８２０及び８３０の例示的な角度範囲Θ＝±１５°によって定められるライトフィールド内の複数の方向からの入射光を、ピクセル群Ｇiの２次元ピクセルを構成する個別のピクセルにマップする（図３参照）。ライトフィールドの全深度を捕捉するために、ＭＬＡ２２０マイクロレンズ系８１０、８２０及び８３０は、無限の焦点深度を有する（すなわち、無限距離に焦点を合わせる）ように設計されることに留意されたい。
【００３５】
図８Ａに示す、マイクロレンズ系８１０、８２０及び８３０を備えたＭＬＡ２２０の１つの要素の例示的な実施形態は、ＭＬＡ２２０の開口に、図８Ａの例示的な実施形態の場合には例えば±１５°の角度範囲Θで入射するライトフィールドの方向アスペクトを、ＭＬＡ２２０のマイクロレンズ素子に関連付けられたＰＤＡデバイス２１０のピクセル群Ｇｉを構成するピクセルの２次元空間アレイにマップするので、当業者にはフーリエ光学系として知られる。本質的に、本発明のライトフィールドカメラのＭＬＡ２２０は、マイクロスケールのフーリエレンズのアレイ、つまりフーリエマイクロレンズアレイである。前述のように、ＭＬＡ２２０は、各々が例示的レンズ系８１０，８２０及び８３０を備えた複数の要素を備えることにより、ＭＬＡ２２０の各々は、ＰＤＡデバイス２１０を構成するピクセル群Ｇiのピクセルの一つに関連付けられる。例示的レンズ系８１０，８２０及び８３０を備えることができるＭＬＡ２２０マイクロレンズ素子の各々が、角度範囲Θでその開口に入射するライトフィールドを、それに関連付けられるピクセル群Ｇiの２次元アレイにマップするので、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ組立体２３０は、角度範囲Θで開口に入射するライトフィールドを、ピクセルアレイ群Ｇiの各々を構成するピクセル（ｐ、ｐ2、．．．，ｐn）の総数に等しい方向解像度、及びＰＤＡデバイス２１０を構成するピクセル群（Ｇ1、Ｇ2、．．．、ＧN）の総数に等しい空間解像度によって、捕捉することができる。換言すれば、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ組立体２３０は、立体角Θで開口に入射するライトフィールドの、各々のピクセル群Ｇiを構成するピクセルの数ｎに等しい複数の画像を捕捉する各画像の、ＰＤＡデバイス２１０を構成するピクセル群の数Ｎに等しい空間解像度で捕捉できる。前述のように、ＰＤＡ／ＭＬＡ組立体２３０が、例えば、αmax＝±１５°の最大時間的連接を有する実施形態６００又は７００の文脈において使用されると、本発明のライトフィールドカメラの本例示的実施形態の角度範囲は、±（Θ＋αmax）＝±３０°であり、捕捉できる画像の数は、
【数１】
2015524202.tif 000003
であり、各々は空間解像度Ｎで捕捉される。
【００３６】
図８Ａのマイクロレンズ系８１０、８２０及び８３０を備えるＭＬＡ２２０の例示的実施形態の角度範囲Θは、マイクロレンズ系８１０、８２０及び８３０の屈折表面の適切な設計による選択により、又はその光学要素の数を増すか若しくは減らすことによって、±１５°より大きく又は小さくすることができる。しかし、本明細書ではピクセル変調群Ｇiのピクセルの数によって定まる指向性画像の数として定義される所与の方向解像度について、ＭＬＡ２２０マイクロレンズ系の角度範囲Θを変えると、本明細書では角度解像度として定義される本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ組立体２３０によって検知される指向性画像間の角度分離に変化を生じさせる。例えば、前の例示的実施形態の角度範囲Θ＝±１５°において、ピクセル群Ｇiが（１６×１６）のピクセルを含む場合、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ組立体２３０によって検知される方向性光ビーム間の角度分離（つまり角度解像度）は、およそδΘ＝１．８７５°である。同じδΘ＝１．７８５°の角度解像度は、ＭＬＡ２２０マイクロレンズ系の角度範囲をΘ＝±７．５°に低減し、ピクセル群Ｇiを構成するピクセル数を（８×８）ピクセルに削減することによって達成できる。一般に、ＭＬＡマイクロレンズ系に、より高い光学的開口Ｆ／＃（すなわち、より小さい角度範囲Θの値）を用いると、より小さいピクセル群Ｇiサイズを用いて所与の角度解像度値を達成することができ、従ってＰＤＡデバイス２１０の所与のピクセル解像度において、より多くのピクセルを利用して、より多くのピクセル群Ｇiを生成し、その結果、より高い空間解像度を達成できる。
【００３７】
この設計トレードオフにより、ＭＬＡ２２０マイクロレンズ系設計パラメータの光学的開口Ｆ／＃と、ＰＤＡ／ＭＬＡ組立体２３０によって達成できる空間解像度との間の適切なバランスの選択ができる。一方、前述したように、ＭＬＡ２２０マイクロレンズ系の光学的開口Ｆ／＃を増大して空間解像度を増大させると、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ２２０によって達成できる角度範囲が小さくなる。この点で、本発明の時間的角度連接α（ｔ）の最大値αmaxは、設計トレードオフの一部となり、空間解像度の増加によって犠牲にされた角度範囲を回復させる。連接角度の最大値αmaxが、αmax＝±７．５°に選択される前述の例において、本発明の時空間ライトフィールドカメラは、（８×８）ピクセルのピクセル群Ｇiを用いて（αmax＋Θ）＝±１５°の全角度範囲を達成できる。本質的に、所与の角度解像度値δΘに対して、連接角度の最大値αmaxは、本発明の時空間ライトフィールドカメラによって達成できる角度範囲又は空間解像度、又は角度範囲と空間解像度の組み合わせのいずれかを増加させるのに用いることができるパラメータとしてトレードオフされる。当然、角度連接用の適切なアクチュエータは、必ずしも電磁アクチュエータに限定されず、所望であれば他の型式のアクチュエータを使用することができる。例えば、特にＰＤＡ／ＭＬＡ組立体２３０の角度範囲が適切で、かつ角度連接を用いて角度解像度を増大させる場合、必要な角度連接の量は非常に小さく、つまり連接無しの角度解像度よりも小さい。結果的に、圧電アクチュエータ等の、屈折が小さい電気機械アクチュエータを使用できる。かかるアクチュエータは、非常に高信頼性、高効率、低コストで、迅速かつ容易に制御することができる。かかるアクチュエータは、ボイスコイル型電磁アクチュエータによって与えられる参照点なしに電流に比例する力と比較すると、印加電圧に対して固定位置を与え、物理的ジンバルの必要を排除して、機械的組み立てをさらに容易にする。
【００３８】
図８Ｂは、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ組立体２３０の完全組立体の例示的実施形態を示す。複数のマイクロレンズ素子８１０、８２０及び８３０を作成して、マイクロレンズアレイ層８４０、８５０及び８６０を形成し、互いに対してかつ、典型的に０．２５ミクロン以下の精度でウェハ間の位置合わせを達成できる半導体アライナを用いて、ウェハレベルで、ＰＤＡデバイス２１０のピクセル群（Ｇ1、Ｇ2、．．．、ＧN）の関連付けられたアレイに対して正確に位置合わせされる。図８Ｂに示す例示的な実施形態は、ＰＤＡデバイス２１０及びカバー層８７０も含み、カバー層８７０は、典型的にＰＤＡデバイス２１０の保護カプセルとして組み込まれるガラス層である。マイクロレンズ素子８１０、８２０及び８３０の設計は、ＰＤＡデバイス２１０の表面に画像を作成するために、ＰＤＡカバーガラス８７０の厚さ及び光学的特性を考慮に入れる。図８Ｂの例示的実施形態は、本発明の時空間ライトフィールドカメラの実施形態６００又は７００の文脈において使用できるＰＤＡ／ＭＬＡ２３０の完全組立体を示す。図８Ｂの例示的実施形態を用いると、本発明の時空間ライトフィールドカメラの実施形態６００及び７００の典型的な合計厚さは５ｍｍ未満である。本発明のライトフィールドカメラのかかるコンパクト化は、従来技術のどのライトフィールドカメラによっても達成できない。図８Ｃは、マイクロレンズアレイ層８４０、８５０及び８６０を備えるＭＬＡ２２０の四半分の１つの上面図を示し、ＭＬＡ２２０レンズ素子の各々の中心は、方向カバレッジ空隙無しにＭＬＡ２２０の空間範囲にわたるライトフィールドの完全角度カバレッジを与えるために、それぞれのピクセル群Ｇiの中心に位置合わせされる。
【００３９】
本発明の時空間ライトフィールドカメラの別の実施形態を、ＭＬＡ２２０の四半分の１つの上面を示す図８Ｄに示す。ＭＬＡ２２０のレンズアレイ要素がｘ軸及びｙ軸の両方に沿って切り取られて、その断面をそれぞれのピクセル群Ｇiの寸法態様と一致させ、かつその光学的中心をそれぞれのピクセル群Ｇiの中心と一致させた、図８Ｃに示すＭＬＡマイクロレンズ素子と比較すると、図８Ｄに示す実施形態のＭＬＡ２２０レンズ素子の光学的中心は、それぞれのピクセル群Ｇiの中心から次第にオフセットする。図８Ｄに示すように、ＭＬＡ２２０の中心のレンズ素子は、それぞれのピクセル群の中心に位置合わせされるが、ＭＬＡ２２０の中心から離れたレンズ素子は、中心がそれぞれのピクセル群の中心からオフセットされ、かかるオフセットは、ＭＬＡ２２０の中心からさらに離れたレンズ素子に対して次第に増加する。この実施形態の長所は、本発明の時空間ライトフィールドカメラの達成可能な角度解像度、方向解像度及び空間解像度の間の設計トレードオフのさらに別の態様が可能なことである。前述のように、達成可能な角度解像度δΘは、ＭＬＡ２２０のレンズ素子の角度範囲Θと、ピクセル群Ｇiのサイズによって定められる方向解像度とによって決定される。角度範囲Θの所与の値に対して、ピクセル群Ｇiのサイズの増大にともなって、角度解像度δΘは低減し、方向解像度は増大する。従って、所与のサイズのＰＤＡデバイス２１０に対して、利用可能なピクセルの数の点で、方向解像度の増大は、達成可能な空間解像度の減少を代償として達成可能である。空間解像度を低減させずに方向解像度を増大するためには、ＭＬＡ２２０の角度範囲を低減する必要があり、これによりライトフィールドカメラの全角度範囲が低減する。図８Ｄに示す本発明の時空間ライトフィールドカメラの実施形態は、ＭＬＡ２２０の要素の視野の傾斜を漸進的に増大させてカメラに対してより大きい全体視野を達成することによって、結果としてのＭＬＡ２２０の要素の角度範囲Θの低減を補償する別の方法を提供し、方向解像度を増加させる。ＭＬＡ２２０の要素の視野の傾斜の増加は、図８Ｄに示すように、ＭＬＡ２２０レンズ素子の中心を、それぞれのピクセル群Ｇiの中心から漸進的にオフセットさせることによって達成される。しかし、ＭＬＡ２２０の要素の視野の傾斜の漸増は、図８Ｄに示すようにＭＬＡ２２０の中心の漸進的オフセットの結果であり、ＰＤＡデバイス２１０の中心から縁部に向かって漸進的に切取られた方向カバレッジ空隙をもたらす。他方、結果として生じる方向カバレッジ切取り空隙は、本発明の時空間ライトフィールドカメラの時間的角度連接によって埋められる。従って、図８Ｄに示す実施形態によって提供される設計トレードオフにより、特に本発明の時空間ライトフィールドカメラの時間的角度連接によって実現できる角度範囲及び方向解像度拡張が与えられると、本発明の時空間ライトフィールドカメラの空間解像度又は全体角度範囲を犠牲にせずに、より高い方向解像度を達成することできる。
【００４０】
図８Ａに示すＭＬＡ２２０レンズ素子の例示的実施形態において、ＰＤＡデバイス２１０の検知表面は、ＭＬＡ２２０レンズ素子の焦点面に配置して示されるが、図８Ｅに示す本発明の別の実施形態においては、ＰＤＡデバイス２１０の検知表面は、代替的にＭＬＡ２２０レンズ素子の焦点面から離れたところに配置されることに留意されたい。さらに、ＰＤＡデバイス２１０の検知表面とＭＬＡ２２０レンズ素子との間の距離は、ＰＤＡデバイス２１０の検知表面とＭＬＡ２２０レンズ素子の間の距離を設定範囲内で変化させるために使用されるｚ軸電気機械アクチュエータ上にＭＬＡ２２０を配置することによって、数ミクロンの単位で調節可能にできる。かかるｚ軸電気機械アクチュエータは、従来の携帯カメラの焦点合わせ機構として使用されるものと類似する。図８Ｅに示すように、ＰＤＡデバイス２１０の検知表面とＭＬＡ２２０レンズ素子の間の距離が、ＭＬＡ２２０レンズ素子の焦点面からさらに離されると、ＭＬＡ２２０レンズ素子の各々によってＰＤＡデバイス２１０の検知表面上に形成されるサブ画像は、ぼかされ（つまり焦点が外れる）、従って、ＭＬＡ２２０レンズ素子によって１つの方向から中継される光を、対応するピクセル群Ｇi内の複数のピクセルにわたって広がらせ、及びＭＬＡ２２０レンズ素子の各々によってＰＤＡデバイス２１０の検知表面上に形成されるサブ画像を、それぞれのピクセル群Ｇiの境界を越えて拡張されたピクセルにわたって広がらせる。従って、その結果、ＭＬＡ２２０の所与のレンズ素子によってＰＤＡデバイス２１０に中継される光の方向情報は、そのレンズ素子の対応するピクセル群Ｇiのピクセル数よりも多数のピクセルにわたって広がり、従ってこれは、ＭＬＡ２２０のレンズ素子によって中継される光の方向情報が、ＰＤＡデバイス２１０によって、より高い方向解像度で、或いは代替的に、より小さい角度範囲δΘ（すなわち、より高い角度解像度）値で、記録されることを意味する。実際に、本発明の時空間ライトフィールドカメラの本実施形態により、２次元アレイＭＬＡ２２０に関連付けられたＰＤＡデバイス２２０のピクセル群（Ｇ１、Ｇ２、．．．、Ｇn）の各々を構成する複数のピクセルは、高い角度及び方向解像度でライトフィールドを記録する際に、集合的に共用される。より高い角度解像度は、ＭＬＡ２２０レンズ素子によって１つの方向から中継される光が、１つのピクセルのみに焦点を合わされる（図８Ａに示すように）のではなく、複数のピクセルにわたって広がる（図８Ｅに示すように）ことにより達成され、従って、特定の方向から中継される、ＭＬＡ２２０要素の各々の角度範囲Θ内の光は、ＰＤＡデバイス２１０のより多数のピクセルによってサンプルされ、従って、角度範囲δΘのより小さい値が達成される。より高い方向解像度は、ＭＬＡ２２０のレンズ素子の各々によってＰＤＡデバイス２１０の検知表面上に形成されるサブ画像が、それぞれのピクセル群Ｇiの境界を越えて拡張されるピクセルにわたって広がり（ぼける又は焦点が外れる）、従ってＭＬＡ２２０要素の各々の角度範囲Θの光がＰＤＡデバイス２１０のより多数のピクセルによってサンプルされ、より多数の光方向（つまり画像）が検知されることにより���達成される。従って、ピクセル群Ｇiの各々を構成するピクセルの各々によって記録される情報は、ＰＤＡデバイス２１０とＭＬＡ２２０の間の選択された距離によって、ＭＬＡ２２０の複数のレンズ素子によって中継される計算で分解可能なライトフィールド方向情報の既知の加重和（ＭＬＡ２２０レンズ素子の光学的伝達関数によって定められる）である。ＰＤＡデバイス２１０とＭＬＡ２２０との間の距離の増大により発生するサブ画像拡張によって暗示されるトレードオフは、本発明の時空間ライトフィールドカメラによって記録されるライトフィールド情報を分解するのに必要なコンピュータリソースの増大である。本実施形態において、本発明の時空間ライトフィールドカメラの角度及び方向解像度は、ＰＤＡデバイス２１０とＭＬＡ２２０との間の設定距離の事前設計選択によって、又は前述のｚ軸アクチュエータを用いてＰＤＡデバイス２１０とＭＬＡ２２０との間の距離の動作モード調節によって、所与の値に選択でき、従って捕捉されたライトフィールドを分解するのに必要なコンピュータリソースを所与の値に選択することができる。本発明の時空間ライトフィールドカメラの角度及び／又は方向解像度を増大させる代りに、図８Ｅの実施形態を用いて、必要な方向又は角度解像度を達成するために必要なピクセル群Ｇiのサイズを低減し、従って、所与のサイズのＰＤＡデバイス２１０のピクセルを、より多く利用可能にさせて、より高い空間解像度を達成することができることに留意されたい。従って、本質的に、図８Ｅの実施形態は、本発明の時空間ライトフィールドカメラの時間的角度連接と合わせて実施すると、時間的角度連接によって加えられた角度及び方向解像度により、より高い空間解像度を実現できる。
【００４１】
本発明の時空間ライトフィールドカメラは、多くの非常に重要な態様で、前述の従来技術のライトフィールドカメラと異なり、最も重要な態様が本明細書で論じられることに留意されたい。第１の態様は、全ての他の従来技術と異なり、本発明の時空間ライトフィールドカメラは、対物レンズを使用せず、対物レンズの開口をサンプリングする原理に依拠せず、その代りに、本発明の時空間ライトフィールドカメラは、マイクロサイズのフーリエレンズ系（ＭＬＡ２２０）の個々の要素が無限距離に焦点合わせされるので、例示的実施形態８００のアレイ等のマイクロサイズのフーリエレンズ系のアレイ２２０を用いてライトフィールドカメラの角度範囲内の全ライトフィールドを、フィールドの最大被写界深度でサンプルする。例示的実施形態８００のＭＬＡ２２０等のマイクロサイズのフーリエレンズ系のＭＬＡ２２０を使用してライトフィールドを直接サンプルするこの手法は、典型的に１０−１５センチメートル以上の光路長を有する前述の従来技術のライトフィールドカメラと異なり、通常はレンズ口径と同一である、必要な光路長を、かなり小さく、典型的には数ミリメートル程度にする。従って、この手法により、本発明の時空間ライトフィールドカメラは、全ての他の従来技術のライトフィールドカメラに優る前例のない容積的優位性を実現する。前述のように、従来技術のライトフィールドカメラは、光路長、従ってその容積的態様が、光収差を増加させる要因でもある対物レンズ直径が大きいという事実に起因して、かなり大きいという問題を有する。本発明の時空間ライトフィールドカメラは、これらの両方の問題を、時間的に連接される小口径マイクロレンズのアレイを使用することによって、回避する。
【００４２】
本発明の時空間ライトフィールドカメラの第２の特徴的な態様は、角度範囲がもっぱら対物レンズによって決定される前述の従来技術のライトフィールドカメラとは異なり、本発明の時空間ライトフィールドカメラの角度範囲が、ＭＬＡ２２０の角度範囲とＰＤＡ／ＭＬＡ組立体２３０の時間的角度連接との組み合わせによって決定されることである。この特徴により、本発明の時空間ライトフィールドカメラは、前述の従来技術のライトフィールドカメラと共有されない幾つかの優位性を有する。前述した第１の優位性は、角度連接角を用いて、本発明の時空間ライトフィールドカメラによって達成できる角度範囲、方向解像度、角度解像度又は空間解像度のいずれかを増大できることである。これは、所与のＰＤＡデバイスで従来技術のカメラより遥かに高い空間解像度を実現できるので、重要な優位性である。第２の優位性は、前述の従来技術のライトフィールドカメラの角度範囲が対物レンズのみによって決定され、角度範囲のサイズを増大するには、通常、開口絞りのサイズを低減させる必要があり、そのため、カメラに入射する光が減少し、この結果、捕捉されたライトフィールドの信号対雑音比が増大するという事実から生じる。これと比較すると、本発明の時空間ライトフィールドカメラの角度範囲は、ＭＬＡ２２０の角度範囲とＰＤＡ／ＭＬＡ組立体２３０の角度の時間的連接との組み合わせによって決定されるので、本発明の時空間ライトフィールドカメラの角度範囲は、捕捉されるライトフィールドの信号対雑音比を低減することなく増大させることができる。第３の優位性は、前述の複数の光検知方向の時空間パイプライン化により、本発明の時空間ライトフィールドカメラの光検知感度及び／又は応答時間を、最小潜伏時間で、かつ従来技術のライトフィールドカメラのように捕捉されたライトフィールドの信号対雑音比を犠牲にせずに、画像捕捉フレームレートの増大と同一にできることである。第４の優位性は、ＭＬＡ２２０の角度範囲及びＰＤＡ／ＭＬＡ組立体２３０の角度の時間的連接の適切な選択により、本発明の時空間ライトフィールドカメラは、±４５°に達することができる広い視野でライトフィールドを捕捉することができる。この水準の広視野写真は、従来技術のライトフィールドカメラにおいては、ライトフィールドカメラの容積を著しく大きくするばかりでなく、光学的性能に悪影響を及ぼし、コストを著しく高くしてしまう大口径かつ複雑な魚眼広角レンズを用いずに達成できない。広角ライトフィールド捕捉性能の結果、本発明の時空間ライトフィールドカメラを使用して広角ライトフィールドの広角２Ｄ画像（パノラマ）又は３Ｄ画像を捕捉できることに留意されたい。
【００４３】
図９Ａ及び図９Ｂは、本発明の時空間ライトフィールドカメラの動作原理を示す。図９Ａは、ＰＤＡデバイス２１０のｎ個のピクセルの２次元アレイからなるピクセル群Ｇiの１つの実施形態を示し、便宜上、各軸に沿ったピクセル群Ｇiのサイズは√ｎ＝２mとする。図９Ａを参照すると、ピクセル群Ｇiによって達成できる方向検知アドレス指定能力は、ｍビットワードを用いて、２つの軸ｘ及びｙの各々に沿った変調群Ｇiを構成するｎ個のピクセルのアドレス指定能力によって実現される。図９Ｂは、ＰＤＡピクセルの変調群Ｇiを構成するｎ個のピクセルのｘ軸座標及びｙ軸座標を、図８Ａに示す例示的実施形態の角度範囲のように、関連付けられたＭＬＡ２２０マイクロレンズ素子の角度範囲Θによって定められる３次元ライトフィールドの個別の方向へのマッピングを示す。説明的例として、ＰＤＡデバイス２１０の個々のピクセルのサイズが（２×２）ミクロンで、かつＰＤＡピクセル群Ｇiがｎ＝（２3×２3）＝（８×８）ピクセルアレイからなり、かつ関連付けられたＭＬＡ２２０マイクロレンズ素子の角度範囲がΘ＝±１５°であるとき、ＰＤＡデバイス２１０の開口面においてサイズが（１６×１６）ミクロンのＰＤＡ２次元ピクセル群Ｇiの各々は、Θ＝±１５°の角度範囲にわたる（８）2＝６４の個別にアドレス指定可能な光方向（画像）を検知することができる。ＰＤＡ／ＭＬＡ組立体２３０が、実施形態６００及び７００の２軸ジンバルを用いて前述のように（図２及び図４Ａ参照）連接されると、ＰＤＡ／ＭＬＡ組立体２３０のレンズ素子によって与えられる方向角度範囲は、ジンバルによって与えられる最大連接角度±αmaxによって時間的に拡張される。従って、本発明の時空間ライトフィールドカメラによって与えられる角度範囲は、合計±（Θ＋αmax）の角度カバー範囲にわたって時間的に拡張される。例えば、ＭＬＡ２２０レンズ素子の角度範囲がΘ＝±１５°で、かつ最大連接角度がαmax＝±３０°であると、本発明の時空間ライトフィールドカメラによって与えられる全角度範囲は（Θ＋αmax）＝±４５°であり、カメラが時間的に捕捉できる光検知方向（画像）は、ｎ［（Θ＋αmax）／Θ］2＝９×（ＰＤＡ／ＭＬＡ組立体２３０（図３参照）によって検知することができる光方向（画像）の数、すなわち、９（８）2＝５７６の光方向（画像）である。これは、本発明の時空間方向ライトフィールドカメラによって捕捉できる画像数が（３×３）ｎであることを意味し、ここでｎは、ＰＤＡデバイスのピクセルの数の、ＭＬＡレンズ素子の１つに関連付けられるピクセル群Ｇiの意味でのサイズである。従って、この例について、本発明の時空間方向ライトモジュレータは、９×（ＰＤＡ／ＭＬＡ組立体２３０によって与えられる方向検知解像度）の拡張された方向検知解像度を提供する。一般に、本発明の時空間ライトフィールドカメラによって与えられる方向解像度は、±（Θ＋αmax）の角度にわたって拡張する角度範囲のとき、ｎ［（Θ＋αmax）／Θ］2である。
【００４４】
本発明の時空間ライトフィールドカメラの方向検知能力に加えて、前述の設計例で説明したような、ＰＤＡデバイスのピクセル群Ｇiの（Ｎ×Ｍ）のアレイを用いる空間検知もできる。例えば、前述の例の９（８）2＝５７６の方向検知画像をもたらすＮ＝２５６、Ｍ＝２５６の空間解像度を有する本発明のライトフィールドカメラを作成する必要がある場合、本発明のライトフィールドカメラは、各々が（８×８）＝６４ピクセルからなる（２５６×２５６）の方向検知群Ｇiのアレイを備え、ピクセルサイズが（２×２）ミクロンのＰＤＡデバイス２１０を使用すると、ＰＤＡデバイス２１０は（２０４８×２０４８）＝４．１９４メガピクセルからなり、従って、本発明の時空間ライトフィールドカメラの開口サイズは、およそ４．１×４．１ミリメートルとなる。前述の例の角度範囲の値を用いると、本発明の時空間ライトフィールドカメラは、±４５°の角度範囲内のライトフィールドの５７６画像を、（２５６×２５６）＝６５，５３６ピクセルの空間解像度で捕捉できる。前述のように、本発明の時空間ライトフィールドカメラの方向解像度を空間解像度の増大に対してトレードオフすることもできる。例えば、前述の例において、ピクセル群のサイズを（４×４）ピクセルに低減すると、前述の例の時空間ライトフィールドカメラは、（２０２８×２０４８）＝１．０４８メガピクセルから成る同じＰＤＡデバイスを用いると、（５１２）2＝２６２，１４４の空間解像度及び（３×４）2＝１４４の方向解像度を与える。
【００４５】
前述の例で説明したように、本発明の時空間ライトフィールドカメラの空間及び方向検知解像度は、所与の角度範囲内の個別の検知可能方向数の点でみると、ＰＤＡデバイス２１０の解像度及びピクセルピッチ、ＭＬＡ２２０レンズ素子のピッチ、ＭＬＡ２２０レンズ素子の角度範囲、及びカメラジンバルの最大連接角度を選択することによって決定される。当業者には、前述の説明で与えられた教示に従って任意の所望の空間及び方向検知機能を達成できる時空間ライトフィールドカメラを作成するために、ＭＬＡレンズ系が角度範囲をより広く又はより狭くできるように設計し、ジンバルの設計は、連接角度をより広く又はより狭くできるように選択し、各ピクセル群内のピクセル数はより少なく又はより多く選択できることが明白である。
【００４６】
本発明の時空間ライトフィールドカメラの動作原理を図９Ａ及び図９Ｂに示す。図９Ａは、方向変調に対してｍビット解像度を用いる変調群Ｇiの各々の２次元アドレス指定能力を示す。前述のように、ピクセル群Ｇiを構成する（２m×２m）の個別のピクセルによって検知される光は、関連づけられたＭＬＡ２２０要素によって、関連づけられたＭＬＡマイクロレンズ素子の角度範囲±Θ内の２2mの光方向にマップされる。変調群Ｇiの各々の個別のピクセルの（ｘ，ｙ）次元座標を用いると、検知された光ビームの方向座標（θ、ψ）は、
【数２】
2015524202.tif 000004
によって与えられる。ここで、αx（ｔ）及びαy（ｔ）は、それぞれｘ軸及びｙ軸周りの時刻ｔにおける連接角度の値、角度θ（t）及びψ（t）は、θ＝０における極軸が変調群Ｇｉの検知表面のｚ軸に平行であるときの検知された光ビームの時刻ｔにおける方向球座標、ｍ＝ｌｏｇ2√ｎは、変調群Ｇiのｘ及びｙピクセル解像度を表すために使用されたビット数である。本発明の時空間ライトフィールドカメラの空間解像度は、時空間ライトフィールドカメラの開口全体を構成する変調群の２次元アレイの個別のピクセル群Ｇiの各々の座標（Ｘ、Ｙ）によって定められる。本質的に、本発明の時空間ライトフィールドカメラは、検知ピクセル群アレイ及び方向座標（θ、ψ）によって定められる空間座標（Ｘ、Ｙ）によって表されるライトフィールドを時間的に捕捉でき、方向座標（θ、ψ）は、上記のＥｑ．１及び２によって定義される、時空間ライトフィールドカメラの検知群Ｇiの中のピクセルの座標（ｘ、ｙ）の値及び連接角度の時間値によって定められる。
【００４７】
本発明の時空間ライトフィールドカメラの別の特有の態様は、ライトフィールドの平面静止視差の組を捕捉する前述の従来技術のライトフィールドカメラと異なり、本発明の時空間ライトフィールドカメラはライトフィールドの湾曲した時間視差を捕捉する。図９Ｃは、本発明の時空間ライトフィールドカメラによって捕捉できる湾曲した時間視差を示す。図９Ｃに示すように、時間的角度連接により、本発明の時空間ライトフィールドカメラによって捕捉されるライトフィールドの視差は、時間的かつ捕捉するライトフィールドの２次元空間方向（Ｘ、θ）又は（Ｙ、ψ）視差（スライス）の各々において、実際に湾曲する。この特有の特徴により、本発明の時空間ライトフィールドカメラは湾曲した波面を捕捉でき、これは、ヒトの視覚システム（ＨＶＳ）等の殆どの光学デバイスは自然が湾曲した結像面を有するので、従来技術のライトフィールドカメラよりもライトフィールド情報を記録するための、より自然な方法である。さらに、捕捉された情報は、ライトフィールドの時間サンプルを含み、これは本発明の時空間ライトフィールドカメラが、ライトフィールドの空間及び方向の側面に関する情報だけでなく、捕捉するライトフィールドの波面の位相に関する情報を記録できることを意味する。従って、本質的に、本発明の時空間ライトフィールドカメラは、ライトフィールドの４次元空間方向空間と、その波面の位相とを記録することができる。換言すれば、本発明の時空間ライトフィールドカメラは、５次元のライトフィールド全て、つまり２つの空間的次元、２つの方向的次元、及び位相を記録することができる。本発明の時空間ライトフィールドカメラの、５次元ライトフィールドの特徴によって、多くのライトフィールド写真及び表示機能が可能であり、その幾つかを次の段落で説明する。
【００４８】
本発明の時空間ライトフィールドカメラを使用して、任意の所望の空間及び方向検知機能を実現することができる。前述の例は、（２５６）2の空間解像度及び（３×８）2の方向解像度を有する本発明の時空間ライトフィールドカメラを、どのように単一の４．１×４．１ミリメートルのＰＤＡデバイス２１０を用いて実装できるかを説明した。より高い空間解像度を有する本発明の時空間ライトフィールドカメラを実現するための１つの手法は、より高いピクセル解像度のＰＤＡデバイス２１０を使用して達成できる。例えば、（４０９６×４０９６）＝１６．８メガピクセルを備えたＰＤＡデバイスを意味する（５１２×５１２）のｎ＝６４のピクセル群を備えたＰＤＡデバイス２１０を使用する場合、本発明の前述の例の時空間ライトフィールドカメラは、±４５°の角度範囲内のライトフィールドの５７６画像を２６２，１４４ピクセルの空間解像度で捕捉できる。この場合、本発明の時空間ライトフィールドカメラの全開口はおよそ８．２×８．２ミリメートルに過ぎない。さらに高い空間解像度の本発明の時空間ライトフィールドカメラを実現するために考えられる別の手法は、本発明の複数のより小さい空間解像度のＰＤＡ／ＭＬＡ組立体２３０をタイル状に並べることによって達成できる。例えば、前述の例のＰＤＡ／ＭＬＡ組立体２３０の（３×３）のアレイを図１０に示すようにタイル状に並べると、結果として得られる時空間ライトフィールドカメラは、（３×５１２）2の空間解像度（２．３５メガピクセルを上回る）及び（３×８）2＝５７６の方向解像度を与える。この場合の本発明の時空間ライトフィールドカメラの全開口サイズは、およそ２．４６×２．４６センチメートルであるが、厚さは依然としておよそ５ミリメートルである。より高い空間解像度バージョンを実現するために、複数の本発明の時空間ライトフィールドカメラをタイル状に並べることは、コンパクトな容積寸法により可能である。例えば、単一のＰＤＡデバイス２１０を使用する前述の例の、幅、高さ及び厚さがそれぞれ８．２×８．２×５ｍｍの時空間ライトフィールドカメラを用いて、幅、高さ及び厚さがそれぞれ２．４６×２．４６×０．５ｃｍである図１０に示す高解像度バージョンを作成することができる。図１０に示す本発明の時空間ライトフィールドカメラのより高い空間解像度バージョンは、前述の例の複数のＰＤＡ／ＭＬＡ組立体２３０を、裏面上に配置されたマイクロボールグリッドアレイ（ＭＢＧＡ）の電気接点を用いてバックプレーンに接合することにより実装することができ、本発明の実施形態７００のゼロ縁特徴によって、かかるライトフィールド捕捉デバイスの継ぎ目のないタイル状配置を実現して、本発明の時空間ライトフィールドカメラの任意の所望のサイズを実装することができる。当然、図１０に示すＰＤＡ／ＭＬＡ組立体２３０のアレイのサイズは、任意の所望の空間解像度を実現するのに必要な程度まで増大させることができる。図１０に示す拡張された空間的開口を実現するために、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ組立体２３０のタイル状配置は、本発明の実施形態７００の前述のゼロ縁フィーチャによって可能になることに留意されたい。
【００４９】
図１１は、本発明の時空間ライトフィールドカメラのデータ処理ブロック図の一例示的実施形態を示す。図１１に示すように、本発明の時空間ライトフィールドカメラからの出力データは、各々の出力ワードが３つのデータフィールドを含む複数ビットのワードにフォーマットされる。第１のデータフィールドは、本発明の時空間ライトフィールドカメラの開口を含む検知ピクセル群アレイの空間群Ｇiのアドレス（Ｘ、Ｙ）である。第１のデータフィールドは、実際は、本発明の時空間ライトフィールドカメラの出力の空間アドレスを表す。残り２つのデータフィールドは、空間座標（Ｘ、Ｙ）の各々の方向座標（θ、ψ）の各々において本発明の時空間ライトフィールドカメラによって検知された光のデータ表示を与える。２つのデータフィールドは、実際は、本発明の時空間ライトフィールドカメラの空間座標（Ｘ、Ｙ）の各々の方向出力を表す。図１１を参照すると、データ処理ブロック１２０で、ＰＤＡデバイス２１０の出力を処理し、ピクセル出力アドレスデータを復号して空間アドレス（Ｘ、Ｙ）及び方向アドレス（ｘ、ｙ）を導出する。次に、図１１のデータ処理ブロック１３０において、方向アドレス（ｘ、ｙ）が連接角度αx（ｔ）及びαy（ｔ）の瞬間値を表す２つの追加データフィールドで増強される。図１１のデータ処理ブロック１４０において、Ｅｑ．（１）及び（２）を用いて、方向値（ｘ、ｙ）が連接角度αx（ｔ）及びαy（ｔ）の瞬間値と組み合わされ、方向座標値（θ、ψ）が生成される。データ処理ブロック１５０は、ＰＤＡデバイス２１０のピクセルのデータ出力値の検知された光強度とカラーデータフィールドを、マップされた空間アドレス（Ｘ、Ｙ）及び方向座標（θ、ψ）と連結し、Ｆ１＝空間アドレス（Ｘ，Ｙ）、Ｆ２＝方向座標（θ（t）、ψ（t））、及びＦ３＝検知された光強度及びカラーデータという３つのデータフィールドを生成する。
【００５０】
１６ビットワードを用いて検知されたライトフィールドの方向座標（θ、ψ）を表し、典型的な２４ビットを用いて各方向における変調された光強度及びカラーを表す場合、各空間アドレス（Ｘ、Ｙ）に対する検知されたライトフィールドを表すビットの総数は、４０ビットワードである。一般性を失わずに、かかる４０ビットワードは、本発明の時空間ライトフィールドカメラから順次、出力されると仮定すると、すなわち、順次アドレス指定を用いて４０ビットワードを出力すると仮定すると、図１１のブロック１２０は、指定されたＰＤＡデバイスから順次出力されたデータワードのルーティングの役割を果たす。図１１のブロック１５０は、検知されたライトフィールドデータのＦ２及びＦ３データフィールドの４０ビットワードを、空間座標（Ｘ、Ｙ）の各々に対して、順次フォーマットし、出力する役割を果たす。図１１に示すデータ処理フロー全体は、捕捉フレーム期間毎に１回行われることに留意されたい。本発明の時空間ライトフィールドカメラの空間解像度が（２５６×２５６）である前述の例を使用し、かつ、フレーム捕捉期間が１６．６７ミリ秒（６０Ｈｚのフレームレートに等しい）であると仮定すると、本発明の時空間ライトフィールドカメラは、１６．６７ミリ秒のフレーム周期毎に２５６×２５６×４０〜２．６２メガビットを出力し、これはおよそ１５７Ｍｂｐｓの出力データ速度に等しい。４０ビットワード順次データ出力の例示的データ処理フローを用いて、本発明の時空間ライトフィールドカメラは、開口に入射したライトフィールドを強度、カラー及び方向において検知し、検知されたライトフィールドの情報を、出力データに符号化して出力する。
【００５１】
可能性のある用途
３Ｄカメラ  −  本発明の時空間ライトフィールドカメラを用いて、例えば図１０に示すような複数のＰＤＡ／ＭＬＡ組立体２３０のタイル状アレイとして実現される恣意の空間及び方向解像度を有する３Ｄカメラを実装することができる。かかるタイル状アレイの機能性は、遥かに大きいＰＤＡ／ＭＬＡ組立体と同じである。本発明の時空間ライトフィールドカメラによって実現できる拡張された全角度範囲は、容積がコンパクトで大きい視野を捕捉しながらも、従来技術のライトフィールドカメラのようにかさばり、高価な光学組立体を使用しない３Ｄカメラを実現することができる。本発明の時空間ライトフィールドカメラによって達成できる容積のコンパクトさの水準は、携帯電話又はタブレットＰＣなどのモバイルデバイスに内蔵させることができる超小型３Ｄライトフィールドカメラを実現することができる。また、前述の議論において説明された出力フォーマットにより表される本発明の時空間ライトフィールドカメラによって捕捉された３Ｄライトフィールドは、両方とも本出願の譲受け人に譲渡された「Ｓｐａｔｉｏ-Ｏｐｔｉｃａｌ  Ｄｉｒｅｃｔｉｏｎａｌ  Ｌｉｇｈｔ  Ｍｏｄｕｌａｔｏｒ」と題する特許文献１及び「Ｓｐａｔｉｏ-Ｔｅｍｐｏｒａｌ  Ｄｉｒｅｃｔｉｏｎａｌ  Ｌｉｇｈｔ  Ｍｏｄｕｌａｔｏｒ」と題する特許文献２に記載される階級のライトフィールドモジュレータと直接的に適合し、従って、本発明の時空間ライトフィールドカメラを用いて３Ｄライトフィールドを捕捉し、これを、上記で参照した出願に記載されたライトフィールドモジュレータを用いて直接表示することができる。
【００５２】
コンピュータにより焦点合わせされる２Ｄカメラ  −  本発明の時空間ライトフィールドカメラを用いて、コンピュータによって（つまりデジタル的に）焦点合わせできる、静止画又は動画の２次元ライトフィールド画像を捕捉することができる。この場合、図１１で説明した本発明の時空間ライトフィールドカメラの出力は、画像プロセッサによって処理され、捕捉されたライトフィールド内の任意の平面又は表面に焦点合わせされた画像を作成する。図１２は、空間次元（Ｘ、Ｙ）及びその方向次元（θ、ψ）を横切る２次元スライス（Ｘ、θ）において本発明の時空間ライトフィールドカメラによって典型的に捕捉されるライトフィールドの図である。台形１８１、１８２及び１８３は、本発明の時空間ライトフィールドカメラから異なる距離にある３つの物体からの視差スライス（Ｘ、θ）において捕捉されたライトフィールドを表す。台形１８１は、ライトフィールドカメラに最も近い物体からのライトフィールドを表し、台形１８３は、ライトフィールドカメラから最も遠い物体からのライトフィールドを表し、台形１８２は中間の距離にある物体からのライトフィールドを表す。図１２からわかるように、本発明の時空間ライトフィールドカメラからの物体の距離、従って被写界深度は、捕捉されたライトフィールドの各視差スライスにおいて、カメラによって捕捉されたライトフィールドの傾斜としてカメラによって符号化される。従って、本発明の時空間ライトフィールドカメラによって捕捉される深度情報を利用して、捕捉されたライトフィールド内の任意の所望の物体、平面、湾曲面、或いは３Ｄ物体に焦点を合わせた２Ｄ画像をコンピュータによって作成することができる。かかるコンピュータによる（デジタル）焦点合わせは、確立されたコンピュータによる写真原理を用いて行うことができ、ＭＬＡ２２０の個別のレンズ素子によって捕捉されたライトフィールドのサブ画像は、初めにカメラの開口からの所望の焦点面の距離に比例する因子によってコンピュータにより縮尺調整され、次いで、縮尺調整されたサブ画像は、その（ｘ、ｙ）座標内で、ＭＬＡ２２０のレンズ素子間のピッチ距離に比例する因子によってシフトされ、次いで、合算されて所望の平面又は湾曲面に焦点を合わせた画像が作成される。また、本発明の時空間ライトフィールドカメラによって捕捉されたライトフィールドから、任意の所望の焦点深度を有する画像をコンピュータによって作成することできる。この場合、所望の焦点深度における複数の平面又は湾曲面に焦点を合わせた複数の画像を、前述のようにコンピュータによって作成し、次いで合算してコンピュータで作成された焦点深度（すなわち、焦点深度及び湾曲面の複数の平面によって定められる深度容積）内の撮影された物体の全てに焦点が合った統合画像を作成する。また、本発明の時空間ライトフィールドカメラによって捕捉されたライトフィールドから、湾曲面に焦点を合わせた画像をコンピュータによって作成できることに留意されたい。この機能は、前述のように（図９Ｃ参照）、本発明の時空間ライトフィールドカメラは、本来的に、湾曲した広い視野角を生成する開口の時間的角度連接によって、ライトフィールドの湾曲視差を捕捉することにより可能である。湾曲ライトフィールド捕捉機能により、本発明の時空間ライトフィールドカメラによって捕捉されたライトフィールドから、カメラから異なる距離にある複数の物体に焦点を合わせた画像を、むしろ狭い深度で、コンピュータによって作成することができ、従って、カメラ開口から異なる距離にある複数の物体の、より高い解像度の画像をコンピュータによって作成することができる。
【００５３】
２Ｄ／３Ｄ切替可能カメラ  −  本発明の時空間ライトフィールドカメラは、前述の出力データのフォーマット（図１１参照）を所望の動作モードと同一であるように適合させることによって２Ｄ表示モードから３Ｄ表示モードに切替えることもできる。いずれの動作モードにおいても、捕捉されるライトフィールドの角度範囲は、ＭＬＡ２２０マイクロレンズ素子に付随する角度範囲に、ジンバルの連接角度を加えたもの±（Θ＋αmax）であり、前述のように、変調群Ｇiが空間解像度を定めるとき、個別の変調群Ｇiのピクセル解像度と最大連接角度αmaxは、カメラの方向解像度を定める。
【００５４】
ネットワーク化ライトフィールド写真  −  前述のように、本発明の時空間ライトフィールドカメラの容積的優位性により、かかるカメラを携帯電話及びタブレット型ＰＣ等のモバイルデバイスに内蔵させることができる。かかるホストモバイルデバイスのほとんどは、通常、無線又は有線ネットワークを通して、又はフラッシュメモリモジュールを用いるバルクデータ転送によって相互接続されるので、かかる接続を利用して、本発明のライトフィールドカメラによって捕捉されたライトフィールドをさらに拡張することができる。本実施形態において、図１３に示すように、ビューイングシーンのライトフィールド画像を捕捉したビューイングシーンの周囲に配置された、内蔵された複数の本発明の時空間ライトフィールドカメラの出力は、カメラが捕捉したライトフィールドを表すデータを有する（図１１で説明されている）。本データは、ホストモバイルデバイスのオペレーティングシステムに組み込まれたアプリケーションソフトウェアによって、３つの付加的データフィールドで増強することができる。第１のデータフィールドは、通常、グローバルポジショニングシステム（ＧＰＳ）レシーバ又は三角無線リンクなどの、同様にホストモバイルデバイスに内蔵された位置検知デバイスの出力である、カメラ位置を指定し、第２のデータフィールドは、通常、表示スクリーンの向き適合させるため及び集合させるためにモバイルデバイスに内蔵されるマイクロジャイロ等の、モバイルデバイスに内蔵される配向検知デバイスの出力である、モバイルデバイスの配向、従って内蔵カメラの配向を指定し、第３のデータフィールドは、通常、ネットワーク時間に同期されるモバイルデバイス内部クロックの出力である、ビューイングシーンのライトフィールドがカメラによって捕捉された時間を指定する。増強されたライトフィールドデータを、異なる視野から見たシーンのライトフィールドを捕捉した、本発明の内蔵された時空間ライトフィールドカメラを同様に有する他のモバイルデバイスと交換すると、複数のかかるカメラによって捕捉され、交換されたライトフィールドデータを統合し、コンピュータによりまとめて融合して、ビューイングシーンの部分的視野を捕捉する全内蔵カメラによって捕捉された集合的ライトフィールドを表す、単一のスーパーライトフィールドデータセットにすることができる。この「ネットワーク化ライトフィールド写真」のコンピュータ的態様は、交換された又はネットワーク化された各ライトフィールドデータを増強する捕捉データフィールドの位置、配向及び時間を使用して、かかる交換されたライトフィールドデータを、それを捕捉した内蔵カメラのそれぞれの組の座標から、ネットワーク化ライトフィールドの共通座標として使用される一組のビューイングシーン座標に転写することを含む。ひとたびライトフィールドデータ変換（つまり融合）が行われると、変換された集合的ライトフィールドデータは、全ての参加したモバイルデバイスに対して戻され、全ライトフィールドを、全ての参加したホストモバイルデバイスによって集合的に捕捉されたかのように共有できる。説明したネットワーク化ライトフィールド写真の実施形態の動作概念を図１３に示す。
【００５５】
前節においては、本発明の時空間ライトフィールドカメラのホストであって図１３に示すネットワーク化ライトフィールド写真の実施形態を可能にする携帯電話及びタブレット型ＰＣ等のネットワークモバイルデバイスについて言及したが、当業者であれば、本発明のネットワーク化ライトフィールド写真の実施形態は、ネットワークモバイルデバイスによりホストされた又は内蔵されたライトフィールドカメラを有するのではなく、それ自体の統合ネットワーク機能を有するネットワーク化ライトフィールドカメラデバイスを作成することによって実施でき、いずれの手法も機能的には等価であることが明白であると理解するであろう。
【００５６】
前節で説明したネットワーク化ライトフィールド写真のライトフィールドデータ交換及びコンピュータ的態様は、（１）交換された増強ライトフィールドデータのスーパーセットを各個別の参加したモバイルデバイスによって処理して、全ての参加したネットワークモバイルデバイスによって捕捉されたビューイングシーンのライトフィールドを統合した集合的ライトフィールドを生成すること、（２）交換された増強ライトフィールドデータのスーパーセットを、各個別の参加したモバイルデバイスにより、処理負荷分担方式で、おそらくデータネットワークを介した複数の中間データ交換の後、交換データの変換が収束するまで部分的に処理し、全ての参加したネットワークモバイルデバイスによって集合的に捕捉されたビューイングシーンの統合した集合的ライトフィールドにすること、あるいは（３）交換され増強ライトフィールドデータのスーパーセットを、ビューイングシーンを捕捉した内蔵カメラを有する全ての参加モバイルデバイスから、ネットワークを通して送信される増強ライトフィールドデータを受信するネットワークサーバによって処理し、次にサーバは受信したデータを変換して、全ての参加したネットワークモバイルデバイスによって捕捉されたビューイングシーンのライトフィールドを統合した集合的ライトフィールドを生成し、次にサーバは、変換された集合的ライトフィールドデータを、参加したモバイルデバイスに戻してダウンロードすることもできる。データ圧縮、具体的には捕捉されたライトフィールドデータに本来的に存在する空間、方向及び時間的相関の優位性を利用する圧縮スキームは、ネットワーク化ライトフィールド写真の交換プロセスを通して使用されることに留意されたい。
【００５７】
前節で説明したネットワーク化ライトフィールド写真の実施形態は、モバイルデバイスに内蔵された従来のデジタルカメラの出力を捕捉の位置、配向及び時間で増強し、これを用いて前述のようにネットワーク接続された複数の参加モバイルデバイスによって捕捉され処理されたシーンの集合的ライトフィールドを作成する場合であっても、ライトフィールド捕捉の解像度は多少低くなるものの、有効であることに留意されたい。本発明の時空間ライトフィールドカメラの使用により、前節で説明したネットワーク化ライトフィールド写真の結果の集合的ライトフィールド捕捉解像度がさらに向上する。また、ネットワークモバイルデバイスに内蔵された従来のデジタルカメラによって捕捉された画像の増強データと、ネットワークモバイルデバイスに内蔵された本発明の時空間ライトフィールドカメラによって捕捉された増強ライトフィールドデータとの組み合わせを、前述のネットワーク化ライトフィールド写真の文脈において使用することもできる。この場合、両方の型式のカメラは、異なる視野から撮影されたビューシーンの画像に寄与し、他方、本発明の時空間ライトフィールドカメラによって与えられる増強データは、加えて、視野のライトフィールド全体を表す。一般に、前節で説明したネットワーク化ライトフィールド写真の実施形態は、モバイルデバイスに内蔵された本発明の時空間ライトフィールドカメラ又は従来のデジタルカメラ又は両方の型式のカメラの組み合わせを使用して、社会的行事（例えば、スポーツ、ゲーム、コンサートなど）の３Ｄ撮影において効果的であり、また、３Ｄ監視及び３Ｄ映画撮影においても同様である。
【００５８】
前述したように、捕捉され増強されたライトフィールドデータのコンピュータ処理をネットワークサーバによって行うと、ネットワーク化ライトフィールド写真は、インターネットアプリケーションの文脈において適用され、契約者は、本発明の時空間ライトフィールドカメラを内蔵した彼らのモバイルデバイスを使用して捕捉したライトフィールドデータをサーバにアップロードすることによって参加でき、次いで、同じ社会的行事に出席した全ての契約者によって捕捉されたライトフィールドデータからサーバがコンピュータによって融合した集合的ライトフィールドをダウンロードすることができる。本質的に、ネットワーク化ライトフィールド写真によって、異なる視点（ビューイングシーンに対して彼らが立つ場所）から内蔵された本発明の時空間ライトフィールドカメラを用いてシーンを捕捉した参加者は、自らのサーバ接続を通して協働してビューイングシーンのライトフィールドを集合的に作成し、全参加者は融合された集合的ライトフィールドをサーバからダウンロードして共有することができる。
【００５９】
増強ライトフィールドデータのコンピュータ処理が各個別の参加者のモバイルデバイス又は他の例えばＰＣ等の個人的なコンピュータ資産によって実行される前述の代替的手法においては、ビューイングシーンの融合された集合的ライトフィールドデータは、捕捉したライトフィールドデータが初めに共有されたのと同じ媒体を用いるか又はブログ若しくはソーシャルネットワークサイト等のインターネットアクセス可能サイトを通して、参加者間で共有することができる。本質的に、説明されたネットワーク化ライトフィールド写真の実施形態の代替的手法により、異なる視点（彼らがビューイングシーンに対して立つ場所）から内蔵された本発明の時空間ライトフィールドカメラを用いてビューイングシーンを捕捉した参加者は、捕捉した増強ライトフィールドデータを、携帯無線電話ネットワーク、例えばＷｉＦｉ等の無線ローカルネットワーク、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等のパーソナルエリアネットワーク（ＷＰＡＮ）、又はフラッシュメモリモジュールを用いたバルクデータ転送によって、交換し、次いで個人的コンピュータ資産を用いて、共有されたライトフィールドデータを融合して集合的ライトフィールドデータを作成し、次に個別に捕捉され増強されたライトフィールドデータを交換するために使用した媒体のうちの１つを通して他の参加者と共有することができる。ネットワーク化ライトフィールド写真の後者の手法は、本発明の時空間ライトフィールドカメラを内蔵したネットワークモバイルデバイスを応用して、複数の参加者により協働して捕捉されたビューイングシーンの２Ｄ広角画像（つまりパノラマ）を作成できる。
【００６０】
上記のカメラの実施形態は、ネットワーク化されてもされなくても、その１つのカメラからのライトフィールドデータを用いて又は既述のネットワーク化によるビューイングシーンの融合された集合的ライトフィールドデータを用いて表示すると、カメラによって見たシーンの３次元画像を生成する、４次元ライトフィールド（Ｘ及びＹ位置並びに光源に対する角度）を記録する。かかる３次元画像は任意の角度から見てもなお、３次元画像を与える。例えば、水平画像をテーブル上又はコーヒーテーブルレベルで表示することができる。かかる画像は、ディスプレイの周りの任意の場所立つ人によって見ると、その画像を撮影したカメラの視野内の３次元画像である。
【００６１】
代替的に、幾つかの３次元画像は、画像の周りの任意の角度からではなく、所定の様式で見ることができる。例えば、３次元画像を垂直平面に表示し、人が座ったまま又は立ったまま、頭をあまり傾けずに画像を真っすぐ見ることができる。カメラによって記録された画像の本応用において、垂直方向における画像の３次元外観は見る人に認識されないので、記録される画像は、カメラの視野にわたる光源に対して水平角度で記録することだけが必要である。ビューイングシーン内のあらゆる点からの全ての光を垂直方向において記録することは、見る人の目が水平に保たれると垂直方向の光源に対する角度が認識されないので、３次元効果に対して必須なことの全てである。かかる実施形態はカメラを単純化できる。
【００６２】
一例として、光検知器アレイが、垂直方向における所望の解像度を与えるのに十分な数のピクセルを有する場合、光検知器アレイは、２つの軸の周りに連接する必要はなく、代わりに１つの軸のみ、この例においては垂直軸のみの周りに連接して、水平視野及び／又は空間解像度を拡張することのみが必要である。ＰＤＡ／ＭＬＡ組立体２３０の３×３のタイル状アレイを使用する代わりに、３×１のアレイを使用して、１つの軸に関する連接機能、連接アクチュエータ、連接センサ及び相互接続を省略することができる。
【００６３】
当然、かかるアプリケーションにおいて、さらに別の方法として、完全な３次元画像を記録し、次いで再生の前又は再生中に、画像データを処理して垂直方向における３次元効果を排除することにより、画像内の任意の点における光を、光がカメラの視野内から発せられる垂直平面の角度を考慮せずに表示することができる。
【００６４】
要約すれば、前述の説明は、従来技術のライトフィールドカメラの限界及び弱点を克服し、静止画像又は動画画像を記録するのに使用でき、モバイルデバイスに内蔵することができるライトフィールドカメラの作成を可能にし、かかるデバイスのユーザに、広い角度範囲にわたる２Ｄ画像のコンピュータによる焦点合わせ及び３Ｄ画像の捕捉の機能を提供して、ネットワーク化ライトフィールド写真の機能を提供する、新規のライトフィールドカメラの複数の実施形態を提示する。当然、任意の実施形態の特徴及び実装は、任意の他の実施形態に組み込むことができ、いかなる単一の実施形態の使用に限定されない。
【００６５】
従って、本発明は、所望するように、単独で又は種々の組み合わせ若しくはサブの組み合わせで実施できる多くの態様を有する。本明細書においては、本発明の特定の好ましい実施形態が、限定のためにではなく説明のために開示され説明されたが、当業者であれば、添付の特許請求の範囲の全般によって定められる本発明の趣旨及び範囲から逸脱することなく、形式及び細部に種々の変更を加えることができることを理解するであろう。
【符号の説明】
【００６６】
１２０、１３０、１４０、１５０：データ処理ブロック
１８１、１８２、１８３：台形
２００：時空間ライトフィールドカメラ
２１０：ＰＤＡデバイス
２２０：マイクロレンズアレイ（ＭＬＡ）
２３０：ＰＤＡ／ＭＬＡ組立体
４１０：時間的に連続な連接
４２０：離散又は階段状連接
５１０：ＰＤＡ／ＭＬＡ組立体２３０の角度カバー範囲断面
５２０：ＭＬＡレンズ素子の角度カバー範囲断面
６００：本発明の一実施形態
６２０：２軸ジンバル組立体
６２１：ヒンジ層
６２２：外側フレーム
６２３：内側リング
６２４、６２６：シリコンブリッジ（ヒンジ）
６２５：内側セグメント（接合パッド）
６２８：スペーサ層
６３０：ベース層
６３５：電磁石
６３６：永久磁石
７００：本発明の実施形態
７２０：２軸ジンバル組立体
７２１：パッド層
７２２、７２７、７２９：接合パッド
７２３：接点パッド（接合パッド）
７２５：ばね層
７２６：らせん状ばね
７２８、７３１：接点パッド
７３０：ベース層
７３５：球形ピボット
７３６：球形ソケット
８００：実施形態
８１０、８２０、８３０：光学要素（マイクロレンズ素子）
８４０、８５０、８６０：マイクロレンズアレイ層
８７０：カバー層
【図１Ａ】
2015524202.tif 000005
【図１Ｂ】
2015524202.tif 000006
【図１Ｃ】
2015524202.tif 000007
【図４Ａ】
2015524202.tif 000008
【図４Ｂ】
2015524202.tif 000009
【図５】
2015524202.tif 000010
【図６】
2015524202.tif 000011
【図８Ａ】
2015524202.tif 000012
【図８Ｂ】
2015524202.tif 000013
【図８Ｄ】
2015524202.tif 000014
【図８Ｅ】
2015524202.tif 000015
【図９Ａ】
2015524202.tif 000016
【図９Ｂ】
2015524202.tif 000017
【図１０】
2015524202.tif 000018
【図１１】
2015524202.tif 000019
【図１２】
2015524202.tif 000020
【図２】
2015524202.tif 000021
【図３】
2015524202.tif 000022
【図７】
2015524202.tif 000023
【図８Ｃ】
2015524202.tif 000024
【図９Ｃ】
2015524202.tif 000025
【図１３】
2015524202.tif 000026
【手続補正書】
【提出日】平成27年2月19日(2015.2.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
図５は、時間的複数のＭＬＡレンズ素子の角度カバー範囲断面５２０からなる本発明の時空間ライトフィールドカメラ２００のＰＤＡ／ＭＬＡ組立体２３０の角度カバー範囲断面５１０を示す。それぞれｘ軸及びｙ軸の周りに適切に選択された、ＰＤＡ／ＭＬＡ組立体２３０の時間的連接αx（ｔ）及びαy（ｔ）は、ＭＬＡ２２０レンズ素子の複数の時間的に多重化された角度カバー範囲５２０からなる角度カバー範囲５１０を生成する。ｘ軸及びｙ軸の周りのＰＤＡ／ＭＬＡ組立体２３０の角度連接αx及びαyの大きさに応じて、角度カバー範囲断面５１０の形状は、アスペクト比で適応させることができる。ｘ方向及びｙ方向の周りの連接速度は、角度カバー範囲５１０内の時間的光検知方向が、必要な画像捕捉フレーム持続時間内で十分なデューティサイクルを有することを保証するのに十分である。例えば、必要な画像捕捉フレーム持続時間が、毎秒６０画像フレームであると、一般的に６０Ｈｚ画像フレームレートと呼ばれ、図５に示す時間的角度カバー範囲５２０の各々内の光方向の各々をフレーム毎に一度検知して、図５に示す角度カバー範囲を発生させるのに必要な連接速度を、ｘ軸又はｙ軸の周りで少なくとも１８０Ｈｚにする必要がある。換言すれば、図５に示す、時間的角度カバー範囲５１０のサイズが、各軸における角度カバー範囲５２０のサイズの３倍である角度カバー範囲の例について、図５の図のｘ方向又はｙ方向のいずれかの周りの連接速度は、画像捕捉フレームレートの少なくとも３倍である必要がある。ＭＬＡレンズ素子の角度カバー範囲５２０は、重複又は非重複のいずれかでよい。一般に、ｘ軸又はｙ軸の周りのＰＤＡ／ＭＬＡ組立体２３０の連接速度は、各軸に沿った角度カバー範囲５１０のサイズ（度単位の）の、同じ軸に沿った角度カバー範囲５２０のサイズ（度単位の）に対する比に等しい因子を乗じた画像捕捉フレームレートに少なくとも等しいことが必要である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本発明の、ここでは６００と呼ぶ一実施形態を、本実施形態の等角図、上面図及側面図を含む図６に示す。図６に示すように、本発明の時空間ライトフィールドカメラは、ＰＤＡ／ＭＬＡ組立体２３０（図２に示す）を、複数のシリコン基板層、すなわち、ヒンジ層６２１、スペーサ層６２８及びベース層６３０を用いて作成される２軸ジンバル組立体６２０の上面に接合することによって実現される。図６に示すように、２軸ジンバル６２０のヒンジ層６２１は、外側フレーム６２２、内側リング６２３及び内側セグメント６２５で構成され、内側セグメント６２５の上にＰＤＡ／ＭＬＡ組立体２３０が接合される（以後、６２５はまた同義的に接合バッド６２５とも呼ぶ）。外側フレーム６２２、内側リング６２３及び内側セグメント６２５の間の空隙は、標準的半導体リソグラフィ技術を用いてエッチングされる。内側セグメント６２５は、幅が典型的にはおよそ０．３−０．５ｍｍの範囲の２つのシリコンブリッジ６２４によって内側リング６２３にｘ軸に沿って物理的に接続されて、ｘ軸ヒンジとして作用し、かつジンバルのｘ軸の中立位置を定め、ｘ軸連接に対する機械的抵抗ばねとして作用する。内側リング６２３は、幅が典型的には凡そ０．３−０．５ｍｍの範囲の２つのシリコンブリッジ６２６によって外側フレーム６２２にｙ軸に沿って接続され、ｙ軸ヒンジとして作用し、かつジンバルのｙ軸の中立位置を定め、ｙ軸連接に対する機械的抵抗ばねとして作用する。２対のシリコンヒンジ６２４及び６２６は２軸ジンバルのピボットポイントを構成し、その周りでｘ及びｙ連接が行われる。ジンバル組立体６２０のヒンジ層６２１の内側セグメント６２５は、複数の接点パッドを含み、これにＰＤＡ／ＭＬＡ組立体２３０が、フリップチップはんだボール等の標準的はんだ技術を用いて接合されて、内側セグメント６２５が接合パッドとなり、その上にＰＤＡ／ＭＬＡ組立体２３０が接合される。ジンバル組立体６２０のヒンジ層６２１の内側セグメント６２５の内部に、複数の金属レールが埋め込まれ、これが内側セグメント６２５上面の一組の接点パッドを、ｘ軸及びｙ軸ヒンジブリッジ領域６２４及び６２６を介して外側フレーム６２２の外周に沿って配置された一組のデバイス接点パッドに接続する。内側セグメント６２５上面の接点パッドの組は、ＰＤＡ／ＭＬＡ組立体２３０の裏面への電気的及び物理的接触を与える接点パッドである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
図６の側面図を参照すると、ＰＤＡ／ＭＬＡ組立体２３０が内側セグメント６２５上面に接合されて示されている。前述のように、これは、内側セグメント６２５上面の接点パッドとＰＤＡ／ＭＬＡ組立体６１０の裏面にある接点パッドとの間のはんだ又は共融合金ボールグリッドアレイ式接合を用いた電気的及び物理的接点接合である。図６の側面図には、ＢｅｎｚｏＣｙｃｌｏＢｕｔｅｎｅ（ＢＣＢ）ポリマ接着剤ボンディングなどを用いて、ウェハレベルでベース層６３０上面及びヒンジ層の裏面に接合されるスペーサ層６２８も示す。スペーサ層６２８の高さ（つまり厚さ）は、最大作動角度において、ヒンジ連結内側セグメント６２５の角部の垂直変位を、接合されたＰＤＡ／ＭＬＡ組立体６１０と一緒に収容するように選択される。例えば、接合パッド６２５の対角線が５ｍｍで、角部における最大連接角度が１５°である場合、スペーサ層６２８の厚さは、最大連接角度における接合パッド６２５の角部の垂直変位を収容するために、凡そ０．６５ｍｍである必要がある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
図７の側面図には、球形ソケット７３６の拡張された高さも示され、これは、最大作動角度において、ヒンジ連結パッド７２１／７３５の角部の垂直変位を接合されたＰＤＡ／ＭＬＡ組立体２３０と共に収容するように選択される。例えば、ヒンジ連結パッド７２１／７３５及び接合されたＰＤＡ／ＭＬＡ組立体２３０の対角線が５ｍｍ、角部における最大作動角度が±３０°である場合、球形ソケット７３６の拡張された高さは、最大作動角度において、ヒンジ連結パッド７２１／７３５の角部の垂直変位を接合されたＰＤＡ／ＭＬＡ組立体２３０と共に収容するため、およそ１．２５ｍｍである必要がある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
球形ソケット７３６に内蔵された永久磁石は、細い磁性ロッド又はワイヤ、典型的にはネオジム磁石（Ｎｄ2Ｆｅ14Ｂ）などであって、球形ソケット７３６の湾曲キャビティにわたり一様な磁場を与える形状に形成される。ヒンジ連結パッド７２１及び接合されたＰＤＡ／ＭＬＡ組立体２３０の作動は、前述のように、球形ピボット７３５に内蔵された電磁石の組を、球形ピボット７３５に内蔵された電磁石の組と球形ソケットに内蔵された永久磁石との間の磁気引力に適切な時間的変化をさせるための適切な時間的振幅変化を有する電気信号で駆動し、ヒンジ連結パッド７２１及び結合したＰＤＡ／ＭＬＡ組立体２３０を前述のように時間的に連接させることにより行われる。球形ピボット７３５に内蔵された電磁石の組に対する駆動電気信号は、前述のようにＰＤＡデバイス又は外部支援デバイスによって生成され、ヒンジ連結パッド７２１に組み込まれた金属レール及び接点を介して送られ、ＰＤＡデバイス２１０のピクセルアレイ上で所望の光の方向検知ができる程度まで、ＰＤＡデバイス２１０によって行われる画像フレーム捕捉持続時間（レート）と同期される。球形ピボットに内蔵された電磁石の組に対する駆動電気信号は、図２に示すように、ヒンジ連結パッド７２１及び接合されたＰＤＡ／ＭＬＡ組立体２３０の、ｘ軸及びｙ軸の両方に沿った時間的角度連接ができるように選択される。ヒンジ連結パッド７２１及び接合されたＰＤＡ／ＭＬＡ組立体２３０の角部の最大垂直変位を支配する球形ソケット７３６の拡張された高さに応じて、本発明の実施形態７００によって達成できる、図４Ｂに示す時間的角度連接α（ｔ）の最大値±αmaxは、典型的には±３０°から±３５°までの範囲にある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
この設計トレードオフにより、ＭＬＡ２２０マイクロレンズ系設計パラメータの光学的開口Ｆ／＃と、ＰＤＡ／ＭＬＡ組立体２３０によって達成できる空間解像度との間の適切なバランスの選択ができる。一方、前述したように、ＭＬＡ２２０マイクロレンズ系の光学的開口Ｆ／＃を増大して空間解像度を増大させると、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ２３０によって達成できる角度範囲が小さくなる。この点で、本発明の時間的角度連接α（ｔ）の最大値αmaxは、設計トレードオフの一部となり、空間解像度の増加によって犠牲にされた角度範囲を回復させる。連接角度の最大値αmaxが、αmax＝±７．５°に選択される前述の例において、本発明の時空間ライトフィールドカメラは、（８×８）ピクセルのピクセル群Ｇiを用いて（αmax＋Θ）＝±１５°の全角度範囲を達成できる。本質的に、所与の角度解像度値δΘに対して、連接角度の最大値αmaxは、本発明の時空間ライトフィールドカメラによって達成できる角度範囲又は空間解像度、又は角度範囲と空間解像度の組み合わせのいずれかを増加させるのに用いることができるパラメータとしてトレードオフされる。当然、角度連接用の適切なアクチュエータは、必ずしも電磁アクチュエータに限定されず、所望であれば他の型式のアクチュエータを使用することができる。例えば、特にＰＤＡ／ＭＬＡ組立体２３０の角度範囲が適切で、かつ角度連接を用いて角度解像度を増大させる場合、必要な角度連接の量は非常に小さく、つまり連接無しの角度解像度よりも小さい。結果的に、圧電アクチュエータ等の、屈折が小さい電気機械アクチュエータを使用できる。かかるアクチュエータは、非常に高信頼性、高効率、低コストで、迅速かつ容易に制御することができる。かかるアクチュエータは、ボイスコイル型電磁アクチュエータによって与えられる参照点なしに電流に比例する力と比較すると、印加電圧に対して固定位置を与え、物理的ジンバルの必要を排除して、機械的組み立てをさらに容易にする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図８Ｂは、本発明の時空間ライトフィールドカメラのＰＤＡ／ＭＬＡ組立体２３０の完全組立体の例示的実施形態を示す。複数のマイクロレンズ素子８１０、８２０及び８３０を作成して、図８Ｃのマイクロレンズアレイ層８４０、８５０及び８６０を形成し、互いに対してかつ、典型的に０．２５ミクロン以下の精度でウェハ間の位置合わせを達成できる半導体アライナを用いて、ウェハレベルで、ＰＤＡデバイス２１０のピクセル群（Ｇ1、Ｇ2、．．．、ＧN）の関連付けられたアレイに対して正確に位置合わせされる。図８Ｂに示す例示的な実施形態は、ＰＤＡデバイス２１０及びカバー層８７０も含み、カバー層８７０は、典型的にＰＤＡデバイス２１０の保護カプセルとして組み込まれるガラス層である。マイクロレンズ素子８１０、８２０及び８３０の設計は、ＰＤＡデバイス２１０の表面に画像を作成するために、ＰＤＡカバーガラス８７０の厚さ及び光学的特性を考慮に入れる。図８Ｂの例示的実施形態は、本発明の時空間ライトフィールドカメラの実施形態６００又は７００の文脈において使用できるＰＤＡ／ＭＬＡ２３０の完全組立体を示す。図８Ｂの例示的実施形態を用いると、本発明の時空間ライトフィールドカメラの実施形態６００及び７００の典型的な合計厚さは５ｍｍ未満である。本発明のライトフィールドカメラのかかるコンパクト化は、従来技術のどのライトフィールドカメラによっても達成できない。図８Ｃは、マイクロレンズアレイ層８４０、８５０及び８６０を備えるＭＬＡ２２０の四半分の１つの上面図を示し、ＭＬＡ２２０レンズ素子の各々の中心は、方向カバレッジ空隙無しにＭＬＡ２２０の空間範囲にわたるライトフィールドの完全角度カバレッジを与えるために、それぞれのピクセル群Ｇiの中心に位置合わせされる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
本発明の時空間ライトフィールドカメラの別の実施形態を、ＭＬＡ２２０の四半分の１つの上面を示す図８Ｅに示す。ＭＬＡ２２０のレンズアレイ要素がｘ軸及びｙ軸の両方に沿って切り取られて、その断面をそれぞれのピクセル群Ｇiの寸法態様と一致させ、かつその光学的中心をそれぞれのピクセル群Ｇiの中心と一致させた、図８Ｄに示すＭＬＡマイクロレンズ素子と比較すると、図８Ｅに示す実施形態のＭＬＡ２２０レンズ素子の光学的中心は、それぞれのピクセル群Ｇiの中心から次第にオフセットする。図８Ｅに示すように、ＭＬＡ２２０の中心のレンズ素子は、それぞれのピクセル群の中心に位置合わせされるが、ＭＬＡ２２０の中心から離れたレンズ素子は、中心がそれぞれのピクセル群の中心からオフセットされ、かかるオフセットは、ＭＬＡ２２０の中心からさらに離れたレンズ素子に対して次第に増加する。この実施形態の長所は、本発明の時空間ライトフィールドカメラの達成可能な角度解像度、方向解像度及び空間解像度の間の設計トレードオフのさらに別の態様が可能なことである。前述のように、達成可能な角度解像度δΘは、ＭＬＡ２２０のレンズ素子の角度範囲Θと、ピクセル群Ｇiのサイズによって定められる方向解像度とによって決定される。角度範囲Θの所与の値に対して、ピクセル群Ｇiのサイズの増大にともなって、角度解像度δΘは低減し、方向解像度は増大する。従って、所与のサイズのＰＤＡデバイス２１０に対して、利用可能なピクセルの数の点で、方向解像度の増大は、達成可能な空間解像度の減少を代償として達成可能である。空間解像度を低減させずに方向解像度を増大するためには、ＭＬＡ２２０の角度範囲を低減する必要があり、これによりライトフィールドカメラの全角度範囲が低減する。図８Ｅに示す本発明の時空間ライトフィールドカメラの実施形態は、ＭＬＡ２２０の要素の視野の傾斜を漸進的に増大させてカメラに対してより大きい全体視野を達成することによって、結果としてのＭＬＡ２２０の要素の角度範囲Θの低減を補償する別の方法を提供し、方向解像度を増加させる。ＭＬＡ２２０の要素の視野の傾斜の増加は、図８Ｅに示すように、ＭＬＡ２２０レンズ素子の中心を、それぞれのピクセル群Ｇiの中心から漸進的にオフセットさせることによって達成される。しかし、ＭＬＡ２２０の要素の視野の傾斜の漸増は、図８Ｄに示すようにＭＬＡ２２０の中心の漸進的オフセットの結果であり、ＰＤＡデバイス２１０の中心から縁部に向かって漸進的に切取られた方向カバレッジ空隙をもたらす。他方、結果として生じる方向カバレッジ切取り空隙は、本発明の時空間ライトフィールドカメラの時間的角度連接によって埋められる。従って、図８Ｄに示す実施形態によって提供される設計トレードオフにより、特に本発明の時空間ライトフィールドカメラの時間的角度連接によって実現できる角度範囲及び方向解像度拡張が与えられると、本発明の時空間ライトフィールドカメラの空間解像度又は全体角度範囲を犠牲にせずに、より高い方向解像度を達成することできる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
図８Ａに示すＭＬＡ２２０レンズ素子の例示的実施形態において、ＰＤＡデバイス２１０の検知表面は、ＭＬＡ２２０レンズ素子の焦点面に配置して示されるが、図８Ｅに示す本発明の別の実施形態においては、ＰＤＡデバイス２１０の検知表面は、代替的にＭＬＡ２２０レンズ素子の焦点面から離れたところに配置されることに留意されたい。さらに、ＰＤＡデバイス２１０の検知表面とＭＬＡ２２０レンズ素子との間の距離は、ＰＤＡデバイス２１０の検知表面とＭＬＡ２２０レンズ素子の間の距離を設定範囲内で変化させるために使用されるｚ軸電気機械アクチュエータ上にＭＬＡ２２０を配置することによって、数ミクロンの単位で調節可能にできる。かかるｚ軸電気機械アクチュエータは、従来の携帯カメラの焦点合わせ機構として使用されるものと類似する。図８Ｂに示すように、ＰＤＡデバイス２１０の検知表面とＭＬＡ２２０レンズ素子の間の距離が、ＭＬＡ２２０レンズ素子の焦点面からさらに離されると、ＭＬＡ２２０レンズ素子の各々によってＰＤＡデバイス２１０の検知表面上に形成されるサブ画像は、ぼかされ（つまり焦点が外れる）、従って、ＭＬＡ２２０レンズ素子によって１つの方向から中継される光を、対応するピクセル群Ｇi内の複数のピクセルにわたって広がらせ、及びＭＬＡ２２０レンズ素子の各々によってＰＤＡデバイス２１０の検知表面上に形成されるサブ画像を、それぞれのピクセル群Ｇiの境界を越えて拡張されたピクセルにわたって広がらせる。従って、その結果、ＭＬＡ２２０の所与のレンズ素子によってＰＤＡデバイス２１０に中継される光の方向情報は、そのレンズ素子の対応するピクセル群Ｇiのピクセル数よりも多数のピクセルにわたって広がり、従ってこれは、ＭＬＡ２２０のレンズ素子によって中継される光の方向情報が、ＰＤＡデバイス２１０によって、より高い方向解像度で、或いは代替的に、より小さい角度範囲δΘ（すなわち、より高い角度解像度）値で、記録されることを意味する。実際に、本発明の時空間ライトフィールドカメラの本実施形態により、２次元アレイＭＬＡ２２０に関連付けられたＰＤＡデバイス２１０のピクセル群（Ｇ１、Ｇ２、．．．、Ｇn）の各々を構成する複数のピクセルは、高い角度及び方向解像度でライトフィールドを記録する際に、集合的に共用される。より高い角度解像度は、ＭＬＡ２２０レンズ素子によって１つの方向から中継される光が、１つのピクセルのみに焦点を合わされる（図８Ａに示すように）のではなく、複数のピクセルにわたって広がる（図８Ｂに示すように）ことにより達成され、従って、特定の方向から中継される、ＭＬＡ２２０要素の各々の角度範囲Θ内の光は、ＰＤＡデバイス２１０のより多数のピクセルによってサンプルされ、従って、角度範囲δΘのより小さい値が達成される。より高い方向解像度は、ＭＬＡ２２０のレンズ素子の各々によってＰＤＡデバイス２１０の検知表面上に形成されるサブ画像が、それぞれのピクセル群Ｇiの境界を越えて拡張されるピクセルにわたって広がり（ぼける又は焦点が外れる）、従ってＭＬＡ２２０要素の各々の角度範囲Θの光がＰＤＡデバイス２１０のより多数のピクセルによってサンプルされ、より多数の光方向（つまり画像）が検知されることにより���達成される。従って、ピクセル群Ｇiの各々を構成するピクセルの各々によって記録される情報は、ＰＤＡデバイス２１０とＭＬＡ２２０の間の選択された距離によって、ＭＬＡ２２０の複数のレンズ素子によって中継される計算で分解可能なライトフィールド方向情報の既知の加重和（ＭＬＡ２２０レンズ素子の光学的伝達関数によって定められる）である。ＰＤＡデバイス２１０とＭＬＡ２２０との間の距離の増大により発生するサブ画像拡張によって暗示されるトレードオフは、本発明の時空間ライトフィールドカメラによって記録されるライトフィールド情報を分解するのに必要なコンピュータリソースの増大である。本実施形態において、本発明の時空間ライトフィールドカメラの角度及び方向解像度は、ＰＤＡデバイス２１０とＭＬＡ２２０との間の設定距離の事前設計選択によって、又は前述のｚ軸アクチュエータを用いてＰＤＡデバイス２１０とＭＬＡ２２０との間の距離の動作モード調節によって、所与の値に選択でき、従って捕捉されたライトフィールドを分解するのに必要なコンピュータリソースを所与の値に選択することができる。本発明の時空間ライトフィールドカメラの角度及び／又は方向解像度を増大させる代りに、図８Ｅの実施形態を用いて、必要な方向又は角度解像度を達成するために必要なピクセル群Ｇiのサイズを低減し、従って、所与のサイズのＰＤＡデバイス２１０のピクセルを、より多く利用可能にさせて、より高い空間解像度を達成することができることに留意されたい。従って、本質的に、図８Ｅの実施形態は、本発明の時空間ライトフィールドカメラの時間的角度連接と合わせて実施すると、時間的角度連接によって加えられた角度及び方向解像度により、より高い空間解像度を実現できる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
本発明の時空間ライトフィールドカメラの第２の特徴的な態様は、角度範囲がもっぱら対物レンズによって決定される前述の従来技術のライトフィールドカメラとは異なり、本発明の時空間ライトフィールドカメラの角度範囲が、ＭＬＡ２２０の角度範囲とＰＤＡ／ＭＬＡ組立体２３０の時間的角度連接との組み合わせによって決定されることである。この特徴により、本発明の時空間ライトフィールドカメラは、前述の従来技術のライトフィールドカメラと共有されない幾つかの優位性を有する。前述した第１の優位性は、角度連接角を用いて、本発明の時空間ライトフィールドカメラによって達成できる角度範囲、方向解像度、角度解像度又は空間解像度のいずれかを増大できることである。これは、所与のＰＤＡデバイスで従来技術のカメラより遥かに高い空間解像度を実現できるので、重要な優位性である。第２の優位性は、前述の従来技術のライトフィールドカメラの角度範囲が対物レンズのみによって決定され、角度範囲のサイズを増大するには、通常、開口絞りのサイズを低減させる必要があり、そのため、カメラに入射する光が減少し、この結果、捕捉されたライトフィールドの信号対雑音比が減少するという事実から生じる。これと比較すると、本発明の時空間ライトフィールドカメラの角度範囲は、ＭＬＡ２２０の角度範囲とＰＤＡ／ＭＬＡ組立体２３０の角度の時間的連接との組み合わせによって決定されるので、本発明の時空間ライトフィールドカメラの角度範囲は、捕捉されるライトフィールドの信号対雑音比を低減することなく増大させることができる。第３の優位性は、前述の複数の光検知方向の時空間パイプライン化により、本発明の時空間ライトフィールドカメラの光検知感度及び／又は応答時間を、最小潜伏時間で、かつ従来技術のライトフィールドカメラのように捕捉されたライトフィールドの信号対雑音比を犠牲にせずに、画像捕捉フレームレートの増大と同一にできることである。第４の優位性は、ＭＬＡ２２０の角度範囲及びＰＤＡ／ＭＬＡ組立体２３０の角度の時間的連接の適切な選択により、本発明の時空間ライトフィールドカメラは、±４５°に達することができる広い視野でライトフィールドを捕捉することができる。この水準の広視野写真は、従来技術のライトフィールドカメラにおいては、ライトフィールドカメラの容積を著しく大きくするばかりでなく、光学的性能に悪影響を及ぼし、コストを著しく高くしてしまう大口径かつ複雑な魚眼広角レンズを用いずに達成できない。広角ライトフィールド捕捉性能の結果、本発明の時空間ライトフィールドカメラを使用して広角ライトフィールドの広角２Ｄ画像（パノラマ）又は３Ｄ画像を捕捉できることに留意されたい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
本発明の時空間ライトフィールドカメラの方向検知能力に加えて、前述の設計例で説明したような、ＰＤＡデバイスのピクセル群Ｇiの（Ｎ×Ｍ）のアレイを用いる空間検知もできる。例えば、前述の例の９（８）2＝５７６の方向検知画像をもたらすＮ＝２５６、Ｍ＝２５６の空間解像度を有する本発明のライトフィールドカメラを作成する必要がある場合、本発明のライトフィールドカメラは、各々が（８×８）＝６４ピクセルからなる（２５６×２５６）の方向検知群Ｇiのアレイを備え、ピクセルサイズが（２×２）ミクロンのＰＤＡデバイス２１０を使用すると、ＰＤＡデバイス２１０は（２０４８×２０４８）＝４．１９４メガピクセルからなり、従って、本発明の時空間ライトフィールドカメラの開口サイズは、およそ４．１×４．１ミリメートルとなる。前述の例の角度範囲の値を用いると、本発明の時空間ライトフィールドカメラは、±４５°の角度範囲内のライトフィールドの５７６画像を、（２５６×２５６）＝６５，５３６ピクセルの空間解像度で捕捉できる。前述のように、本発明の時空間ライトフィールドカメラの方向解像度を空間解像度の増大に対してトレードオフすることもできる。例えば、前述の例において、ピクセル群のサイズを（４×４）ピクセルに低減すると、前述の例の時空間ライトフィールドカメラは、（２０２８×２０４８）＝４．１９４メガピクセルから成る同じＰＤＡデバイスを用いると、（５１２）2＝２６２，１４４の空間解像度及び（３×４）2＝１４４の方向解像度を与える。
【手続補正１２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライトフィールドカメラであって、
各ピクセルが、個別にアドレス指定可能であり、前記各ピクセルの開口に結合された光の強度に応答する電気信号を出力する光検知器であるピクセルのアレイを定める光検知表面を有するマイクロ光検知器アレイデバイスと、
マイクロレンズ素子のマイクロレンズアレイと、
を備え、
前記マイクロ光検知器アレイデバイス及び前記マイクロレンズアレイは一緒に組み立てられて、単一の組立体として、前記マイクロ光検知器アレイデバイスの前記光検知表面の平面に平行な少なくとも１つの軸の周りに、及び少なくとも最大連接角度を通して、時間的かつ角度的に連接され、
前記時間的角度連接の周期性は、画像フレーム捕捉持続時間において前記最大連接角度の時間的カバレッジを可能にするように選択され、
平面に平行な少なくとも１つの軸の周りに、及び少なくとも最大連接角度を通して、時間的かつ角度的に連接され、
前記マイクロレンズアレイの各マイクロレンズ素子は、前記マイクロ光検知器アレイデバイスのそれぞれの２次元ピクセル群アレイ内の複数のピクセルに対して関連付けられかつ位置合わせされ、各レンズは、それぞれのレンズの角度範囲によって定められるライトフィールド内の方向の別個の組から前記それぞれのレンズの開口に衝突する光を、前記マイクロ光検知器アレイデバイスの前記ピクセル群の２次元アレイ内の対応する複数のピクセルに光学的にマップし、前記方向の別個の組は、隣接する各方向の間の角度解像度、及び前記光方向の組の角度範囲を定め、
前記少なくとも１つの軸の周りの前記時間的角度連接は、前記角度連接の前記軸の周りの方向における前記角度範囲及び／又は前記角度解像度を拡張する、
ことを特徴とするライトフィールドカメラ。
【請求項２】
各ピクセルは、前記それぞれのピクセルの開口に結合された光の色にも同様に応答する前記電気信号を出力するために個別にアドレス指定可能であることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３】
前記時間的角度連接は、２つの直交する軸の周りであることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項４】
前記マイクロレンズ素子は、先端が切り取られて、各々が前記それぞれのピクセル群を構成する前記ピクセルの前記２次元アレイの寸法アスペクトと一致するそれぞれの寸法アスペクトを有し、各々の光学中心が前記ピクセルの前記それぞれの２次元アレイの中心に位置合わせされることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項５】
タイル状アレイ内に一緒に組み立てられた複数の前記マイクロ光検知器アレイデバイスとマイクロレンズアレイとをさらに備えることを特徴とする、請求項４に記載のライトフィールドカメラ。
【請求項６】
前記ライトフィールドカメラは、モバイルデバイスに内蔵され、同じように内蔵されたライトフィールドカメラを有する他のモバイルデバイスにネットワーク接続され、前記モバイルデバイスは、無線若しくは有線ネットワークのいずれか、又はフラッシュメモリモジュールを用いるバルクデータ転送により相互接続されることにより、ライトフィールドカメラの出力データを、ビューイングシーンの異なる視野を捕捉した複数のかかるモバイルデバイスと交換でき、かかるネットワーク化されたライトフィールドカメラの出力データを用いて前記ビューシーンの集合的ライトフィールドを作成できることを特徴とする、請求項５に記載のライトフィールドカメラ。
【請求項７】
前記ネットワーク化されたモバイルデバイスは、携帯電話若しくはコンピュータのいずれかであり、又は代替的に、前記ライトフィールドカメラは、それ自体のネットワーク接続インタフェース機能と統合されることを特徴とする、請求項６に記載のライトフィールドカメラ。
【請求項８】
前記角度連接は、画像捕捉フレームレートに比例しかつ同期される反復速度を有し、前記２つの軸の各々の周りの前記最大角度連接は、前記ライトフィールドカメラの全角度範囲、前記ライトフィールドカメラが定める角度カバー範囲形状、及びそのアスペクト比を定めることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項９】
前記ライトフィールドカメラは、２次元ライトフィールド画像を捕捉し、次に前記２次元ライトフィールド画像は、コンピュータによって所望の平面又は湾曲面に焦点を合わせられるか、又はコンピュータによって平担若しくは湾曲表面を有する所望の深度容積に焦点を合わせられることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１０】
前記マイクロレンズアレイは、互いに対してかつ前記マイクロ光検知器のピクセルアレイに対して位置合わせされたレンズ素子のアレイで構成されることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１１】
前記マイクロ光検知器アレイデバイスの前記光検知表面は、前記マイクロレンズ素子の焦点平面に又は焦点平面から離れて配置され、前記配置は、固定又はｚ軸アクチュエータを用いて可変であることを特徴とする、請求項１０に記載のライトフィールドカメラ。
【請求項１２】
前記マイクロレンズアレイの各レンズ素子は、前記マイクロ光検知器アレイデバイスのそれぞれの２次元ピクセル群アレイの複数のピクセルに対して関連付けられかつ位置合わせされ、各レンズは、前記それぞれのレンズの角度範囲によって定められるライトフィールド内の方向の別個の組から前記それぞれのレンズの開口に衝突する光を、前記マイクロ光検知器アレイデバイスの前記２次元アレイピクセル群の前記対応する複数のピクセルに光学的にマップし、及び
前記マイクロ光検知器アレイデバイスの前記光検知表面は、前記マイクロレンズ素子の前記焦点面から離れて配置されて、前記マイクロ光検知器アレイデバイスの前記ピクセル群の各々を構成する前記複数のピクセルを、前記ライトフィールドを記録する際に集合的に共有させ、それにより前記ライトフィールドカメラに、前記マイクロ光検知器アレイデバイスが前記マイクロレンズ素子の前記焦点平面に配置される場合よりも高い、角度及び方向解像度を達成させることができる、
ことを特徴とする、請求項１１に記載のライトフィールドカメラ。
【請求項１３】
前記マイクロレンズアレイの各レンズ素子は、前記マイクロ光検知器アレイデバイスのそれぞれの２次元ピクセル群アレイの複数のピクセルに対して関連付けられかつ位置合わせされ、各レンズは、前記それぞれのレンズの角度範囲によって定められるライトフィールド内の方向の別個の組から前記それぞれのレンズの開口に衝突する光を、前記マイクロ光検知器アレイデバイスの前記２次元アレイピクセル群の前記対応する複数のピクセルに光学的にマップし、及び
前記ピクセル群の各々の各ピクセルは、複数の方向からの前記ライトフィールド情報の既知の加重和を記録し、前記ライトフィールド情報をコンピュータによって分解することにより前記ライトフィールドカメラの前記角度及び方向解像度を高くすることができる、
ことを特徴とする、請求項１２に記載のライトフィールドカメラ。
【請求項１４】
前記マイクロレンズ素子は、先端が切り取られて、各々が前記それぞれのピクセル群を構成する前記ピクセルの前記２次元アレイの寸法アスペクトと一致するそれぞれの寸法アスペクトを有し、各々の光学中心が前記ピクセルの前記それぞれの２次元アレイの中心に位置合わせされることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項１５】
前記マイクロレンズ素子は、先端が切り取られて、それぞれのサイズが、前記それぞれのピクセル群の前記ピクセルの２次元アレイの寸法に一致し、
前記マイクロレンズアレイの中心の前記レンズ素子の光学的中心は、それぞれのピクセル群の中心に位置合わせされ、前記マイクロレンズアレイの前記中心から離れた前記レンズ素子は、前記それぞれのピクセル群の中心からオフセットし、前記オフセットは、前記マイクロレンズアレイの中心から離れるにつれてレンズ素子に対して次第に増大する、
ことを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１６】
前記角度連接は、時間的に連続又は離散し、画像捕捉フレームレートに比例し、かつ同期された反復速度を有し、前記２つの軸の各々の周りの前記最大角度連接は、前記ライトフィールドカメラの全角度範囲、前記ライトフィールドカメラが定める角度カバー範囲形状、及びそのアスペクト比を定めることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１７】
前記マイクロレンズ素子の光学系は、無限距離に焦点合わせされたフーリエ光学系であり、前記角度範囲内で開口に衝突する前記ライトフィールドの方向アスペクトを、前記ピクセル群を構成する前記ピクセルの前記２次元アレイ上にマップすることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１８】
前記ライトフィールドカメラは、モバイルデバイスに内蔵されることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項１９】
時間的角度連接を有し、前記ライトフィールドカメラは、それが捕捉するライトフィールドの湾曲波面を記録して、前記ライトフィールドカメラに前記ライトフィールドの湾曲視差を捕捉させることができることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２０】
前記ライトフィールドカメラは、２次元ライトフィールド画像を捕捉し、次いで前記２次元ライトフィールド画像は、コンピュータにより所望の平面又は湾曲平面に焦点合わせされ、又はコンピュータにより平担又は湾曲表面を有する所望の深度容積に焦点合わせされることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２１】
所望の動作モードに適合させることによって、３次元ライトフィールドカメラとしての動作と、２次元ライトフィールドカメラとしての動作とを切り替えるための動作モードを有することを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２２】
前記ライトフィールドカメラは、モバイルデバイスに内蔵され、同じように内蔵されたライトフィールドカメラを有する他のモバイルデバイスにネットワーク接続され、前記モバイルデバイスは、無線若しくは有線ネットワークのいずれか、又はフラッシュメモリモジュールを用いるバルクデータ転送により相互接続されることにより、ライトフィールドカメラの出力データを、ビューイングシーンの異なる視野を捕捉した複数のかかるモバイルデバイスと交換でき、かかるネットワーク化されたライトフィールドカメラの出力データを用いて前記ビューシーンの集合的ライトフィールドを作成できることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２３】
前記ネットワーク化されたモバイルデバイスは、携帯電話若しくはコンピュータであり、又は代替的に、前記ライトフィールドカメラは、それ自体のネットワーク接続インタフェース機能と統合されることを特徴とする、請求項２２に記載のライトフィールドカメラ。
【請求項２４】
前記マイクロ光検知器アレイデバイスの光検知表面は、前記マイクロレンズアレイの前記マイクロレンズ素子の焦点面に又はそれから離れて配置され、前記配置は、設計選択によって固定又はｚ軸アクチュエータを用いて特定の範囲にわたり調節可能であることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２５】
前記マイクロ光検知器アレイデバイスの前記光検知表面を前記マイクロレンズ素子の前記焦点面から離れて配置することにより、前記マイクロ光検知器アレイデバイスの前記ピクセル群の各々を構成する前記複数のピクセルを、前記ライトフィールドを記録する際に集合的に共有させ、それにより前記ライトフィールドカメラに、前記マイクロ光検知器アレイデバイスが前記マイクロレンズ素子の前記焦点平面に配置される場合よりも高い、角度及び方向解像度を達成させることができる、ことを特徴とする、請求項２４に記載のライトフィールドカメラ。
【請求項２６】
前記マイクロレンズアレイの前記レンズ素子の各々は、前記マイクロ光検知器アレイデバイスの２次元ピクセル群アレイにおける複数のピクセルと関連付けられかつ正確に位置合わせされ、各レンズは、前記レンズの角度範囲によって定められるライトフィールド内の方向の別個の組からその開口に衝突する光を、前記マイクロ光検知器アレイデバイスの該２次元ピクセル群アレイの対応する前記複数のピクセルに光学的にマップし、
前記マイクロ光検知器アレイデバイスの前記ピクセルの前記ライトフィールド記録の集合的共有により、前記ピクセル群の各々の各ピクセルに、複数の方向からの前記ライトフィールド情報の既知の加重和を記録させ、及び
前記ライトフィールド情報は、コンピュータによって分解されて前記ライトフィールドカメラの前記角度及び／又は方向解像度を増大させる、
ことを特徴とする、請求項２５に記載のライトフィールドカメラ。
【請求項２７】
前記マイクロレンズ素子の光学系は、無限距離に焦点合わせされたフーリエ光学系であり、前記角度範囲内で開口に衝突する前記ライトフィールドの方向アスペクトを、前記ピクセルの前記２次元ピクセルアレイ上にマップすることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２８】
前記角度連接は、時間的に連続又は離散し、画像捕捉フレームレートに比例し、かつ同期された反復速度を有し、前記２つの軸の各々の周りの前記最大角度連接は、前記ライトフィールドカメラの全角度範囲、前記ライトフィールドカメラが定める角度カバー範囲形状、及びそのアスペクト比を定めることを特徴とする、請求項３に記載のライトフィールドカメラ。
【請求項２９】
各々のマイクロレンズ素子は、フーリエレンズ系であることを特徴とする請求項１に記載のライトフィールドカメラ。
【請求項３０】
前記マイクロ光検知器アレイデバイスの前記光検知表面は、前記マイクロレンズ素子の前記焦点平面から離れて配置され、前記マイクロ光検知器アレイデバイスの前記ピクセル群の各々を構成する前記複数のピクセルを、前記ライトフィールドを記録する際に集合的に共有させて、前記ライトフィールドカメラに、前記マイクロ光検知器アレイデバイスが前記マイクロレンズ素子の前記焦点平面に配置される場合よりも高い、角度及び方向解像度を達成させることができ、前記ピクセル群の各々の中の各ピクセルは、複数の方向からの前記ライトフィールド情報の既知の加重和を記録し、前記ライトフィールド情報は、コンピュータによって分解されて前記ライトフィールドカメラの前記角度及び方向解像度を増大させる、ことを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３１】
前記角度連接は、時間的に連続又は離散することを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３２】
前記マイクロレンズアレイの中心の前記レンズ素子の光学的中心は、それぞれのピクセル群の中心に位置合わせされ、前記マイクロレンズアレイの前記中心から離れた前記レンズ素子は、それぞれのピクセル群の中心からオフセットし、該オフセットは、前記マイクロレンズアレイの中心からさらに離れるにつれて、レンズ素子に対して次第に増大することを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３３】
任意の空間及び方向解像度を有する３次元ライトフィールドカメラとして構成されることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３４】
前記ライトフィールドカメラは、モバイルデバイスに内蔵され、同じように内蔵されたライトフィールドカメラを有する他のモバイルデバイスにネットワーク接続され、前記モバイルデバイスは、無線若しくは有線ネットワークを通して、又はフラッシュメモリモジュールを用いるバルクデータ転送により相互接続されることにより、ライトフィールドカメラの出力データを、ビューイングシーンの異なる視野を捕捉した複数のかかるモバイルデバイスと交換でき、かかるネットワーク化されたライトフィールドカメラの出力データを用いて前記ビューシーンの集合的ライトフィールドを作成できることを特徴とする、
請求項１に記載のライトフィールドカメラ。
【請求項３５】
静止画又は動画のいずれかを記録するように構成されることを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３６】
複数の前記マイクロ光検知器アレイデバイス及び前記マイクロレンズアレイは、複数が一緒にかつタイル状アレイに組み立てられ、かつ単一の組立体として時間的に角度連接される、ことを特徴とする、請求項１に記載のライトフィールドカメラ。
【請求項３７】
ライトフィールドカメラであって、
複数のピクセルを備えたマイクロ光検知器アレイデバイスと、
前記マイクロ光検知器アレイデバイスの表面に位置合わせされ、かつ物理的に接合されたマイクロレンズアレイと、
ジンバル台座上に支持され、かつ前記マイクロ光検知器アレイデバイスの表面に位置合わせされ、かつ物理的に接合された前記マイクロレンズアレイを有する前記マイクロ光検知器アレイデバイスが物理的かつ電気的に接合される接合パッドを有する２軸ジンバルと、
前記ジンバルの前記２つの軸と位置合わせされて前記ジンバルの前記２つの軸の周りの前記接合パッドの時間的角度連接を行わせる、２組の電気機械アクチュエータと、
を備え、
前記時間的角度連接の周期性は、画像フレーム捕捉持続時間内で前記最大連接角の時間的カバレッジを可能にするように選択される、
ことを特徴とする、ライトフィールドカメラ。
【請求項３８】
前記２軸ジンバルは、前記ジンバルの２軸ピボット用の複数のシリコン基板層と、前記ジンバル台座に対する前記ジンバルの中立位置を定める機械的抵抗ばねとを用いて実装されることを特徴とする、請求項３７に記載のライトフィールドカメラ。
【請求項３９】
前記機械的抵抗ばねは、２組のシリコンブリッジを含むことを特徴とする、請求項３８に記載のライトフィールドカメラ。
【請求項４０】
前記２軸ジンバルは、前記接合パッドの裏面に球形ピボットを、及び前記ジンバル台座上面に一致した球形ソケットを備えていることを特徴とする、請求項３７に記載のライトフィールドカメラ。
【請求項４１】
前記電気機械アクチュエータは、前記接合パッドの裏面及び前記ジンバル台座上面に接合されていることを特徴とする、請求項４０に記載のライトフィールドカメラ。
【請求項４２】
各々が
光検知表面を有するマイクロ光検知器アレイデバイスと、
マイクロレンズ素子のマイクロレンズアレイと、
を有する複数のライトフィールドカメラを準備するステップを含む方法であって、
前記マイクロ光検知器アレイデバイスと前記マイクロレンズアレイは、一緒に組み立てられて、単一の組立体として前記マイクロ光検知器アレイデバイスの前記光検知表面の平面に平行な２つの直交する軸の周りで時間的角度的に連接され、
前記時間的角度連接は、各軸に対してプラスからマイナスまでの最大角度連接の範囲にあり、
前記時間的角度連接の周期性は、画像フレーム捕捉持続時間内で前記最大連接角度の時間的カバレッジができるように選択され、
前記方法は、
各々の前記ライトフィールドカメラをそれぞれのモバイルデバイスに内蔵させるステップと、
各前記モバイルデバイスを、無線又は有線ネットワークを通して、又はフラッシュメモリモジュールを使用するバルクデータ転送によって、少なくとも１つのホストデバイスに相互接続するステップと、
ライトフィールドカメラ出力データを、ビューイングシーンの異なる視野を捕捉したモバイルデバイスと前記ホストデバイスの間で交換して、集合的ライトフィールドカメラ出力データを形成するステップと、
前記集合的ライトフィールドカメラ出力データを使用して、前記ビューシーンの集合的ライトフィールドを作成するステップと、
を含むことを特徴とする方法。
【請求項４３】
各ライトフィールドカメラは、前記マイクロ光検知器アレイデバイス及びマイクロレンズアレイのタイル状アレイが備えることを特徴とする、請求項４２に記載の方法。
【請求項４４】
前記集合的ライトフィールドカメラ出力データを形成するステップは、
（１）各モバイルデバイスがホストデバイスとして動作し、前記集合的ライトフィールドカメラ出力データを、各モバイルデバイスによって処理して、前記集合的ライトフィールドを生成する方法、
（２）前記ホストデバイスがネットワークサーバであり、前記集合的ライトフィールドカメラ出力データを前記ネットワークサーバによって処理し、次いで前記ビューシーンの前記集合的ライトフィールドを前記モバイルデバイスにダウンロードする方法、
のいずれかによって行われることを特徴とする、請求項４２に記載の方法。
【請求項４５】
それぞれが内蔵されたライトフィールカメラを有する相互接続されたモバイルデバイスを用いて、複数の参加者により協働して捕捉されたビューイングシーンの２次元広角画像であるパノラマを生成するために応用されることを特徴とする、請求項４４に記載の方法。
【請求項４６】
複数の２次元デジタルカメラを、それぞれのモバイルデバイス内に準備して、ビューイングシーンの２次元ライトフィールドデータを捕捉するステップと、
ビューシーンの前記２次元ライトフィールドデータを、前記２次元ライトフィールドデータの捕捉の場所、配向及び時刻で増強するステップと、
各前記モバイルデバイスを、無線又は有線ネットワークを通して、又はフラッシュメモリモジュールを使用するバルクデータ転送によって少なくとも１つのホストデバイスに相互接続するステップと、
前記２次元デジタルカメラからの前記２次元ライトフィールドデータを、ビューイングシーンの異なる視野を捕捉したモバイルデバイスと前記ホストデバイスの間で交換して、集合的ライトフィールドデータを形成するステップと、
前記集合的ライトフィールドデータを用いて、前記ビューシーンの集合的ライトフィールドを作成するステップと、
を含むことを特徴とする方法。
【請求項４７】
前記集合的ライトフィールドを表すデータを前記モバイルデバイスに戻すステップをさらに含むことを特徴とする、請求項４６に記載の方法。
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2015524202.tif 000027
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図８Ｃ
【補正方法】変更
【補正の内容】
【図８Ｃ】
2015524202.tif 000028
【国際調査報告】
2015524202.tif 000029
2015524202.tif 000030
2015524202.tif 000031
2015524202.tif 000032
2015524202.tif 000033