(57)【要約】      （修正有）【課題】３次元（３Ｄ）画像、３Ｄライトフィールド（ＬＦ）カメラ及び３Ｄフォトグラフを生成するための方法及びシステムが提供される。【解決手段】シーンを表す光は、画像センサに結合されたレンズモジュールを通るように指向される。レンズモジュールは、スリット形状の開口を有する表面及び画像センサの光軸に沿って配置されたシリンドリカルレンズアレイを含む。スリット形状の開口の長手方向は、シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される。レンズモジュールを通るように指向された光は、３Ｄ・ＬＦ画像を形成するために画像センサにより取得される。３Ｄフォトグラフは、３Ｄ・ＬＦ印刷画像とシリンドリカルレンズアレイの組合せが３Ｄステレオスコピック画像を形成するように、シーンの３Ｄ・ＬＦ印刷画像とこの印刷画像１２２の上に配置されるシリンドリカルレンズアレイ１２４を含む。【選択図】図１
2020126245.tif 000002
【特許請求の範囲】
【請求項１】
シーンの画像を生成する方法であって、前記方法は、
前記シーンを表す光を画像センサに結合されたレンズモジュールを通過させるように指向させることであって、前記レンズモジュールは、スリット形状の開口を有する表面と、前記画像センサの光軸に沿って位置するシリンドリカルレンズアレイと、を有し、前記スリット形状の開口の長手方向が、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置され、及び、
３次元（３Ｄ）ライトフィールド（ＬＦ）画像を形成するため、前記レンズモジュールを通過するように指向された前記光を、前記画像センサにより取得すること、を具備する、方法。
【請求項２】
請求項１に記載の方法であって、前記光を指向させることは、開口形状の光を形成するため、前記光を、前記スリット形状の開口を通って前記レンズモジュールのレンズに向けて指向させること、及び、前記レンズからの前記開口形状の光を、前記シリンドリカルレンズアレイを介して前記画像センサに向かうように通過させること、を含む、方法。
【請求項３】
請求項１に記載の方法であって、前記方法は、描写画像を形成するために前記３Ｄ・ＬＦ画像を、プロセッサにより処理することをさらに含み、
前記処理することには、所定の焦点距離まで３Ｄ・ＬＦ画像を再フォーカスすること、所定の視点に基づき前記３Ｄ・ＬＦ画像の視点を調整すること、又は、前記３Ｄ・ＬＦ画像から３Ｄステレオスコピックビュー画像を生成すること、のうち少なくとも１つを含む、方法。
【請求項４】
請求項３に記載の方法であって、前記方法は、前記３Ｄ・ＬＦ画像を再フォーカスする前に、基準画像に基づき、前記シリンドリカルレンズアレイ内の各レンズの中心に画像を配置すること、をさらに含む、方法。
【請求項５】
請求項３に記載の方法であって、前記方法は、前記３Ｄ・ＬＦ画像又は前記描写画像のうち、少なくとも１つを表示すること、をさらに含む、方法。
【請求項６】
請求項３に記載の方法であって、前記方法は、印刷画像を形成するため、前記３Ｄ・ＬＦ画像又は前記描写画像のうち、少なくとも１つを印刷すること、をさらに含む、方法。
【請求項７】
請求項６に記載の方法であって、前記方法は、３Ｄフォトグラフを形成するため、更なるシリンドリカルレンズアレイの上に前記印刷画像を配置すること、をさらに含む、方法。
【請求項８】
請求項１に記載の方法であって、前記方法は、前記シーンの複数の３Ｄ・ＬＦ画像を取得するために、前記光を指向すること、及び、前記指向された光を取得すること、を繰り返すことをさらに含む、方法。
【請求項９】
３次元（３Ｄ）ライトフィールド（ＬＦ）カメラであって、
レンズ上に設けられたスリット形状の開口を有する表面、
画像センサ、及び、
前記画像センサの光軸に沿って、前記画像センサ及び前記レンズの間に配置されたシリンドリカルレンズアレイであって、前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、シリンドリカルレンズアレイ、を備え、
前記画像センサは、あるシーンの少なくとも１つの３Ｄ・ＬＦ画像を取得するように構成されている、カメラ。
【請求項１０】
請求項９に記載の３Ｄ・ＬＦカメラであって、
前記表面、前記レンズ及び前記シリンドリカルレンズアレイは、レンズモジュール内に配置され、且つ、
前記レンズモジュールは、前記画像センサを含むカメラに結合される、カメラ。
【請求項１１】
請求項１０に記載の３Ｄ・ＬＦカメラであって、前記レンズモジュールは、前記カメラに取り外し可能に取り付けられるように構成される、カメラ。
【請求項１２】
請求項１０に記載の３Ｄ・ＬＦカメラであって、前記カメラは、デジタル一眼レフ（ＤＳＬＲ）カメラを含む、カメラ。
【請求項１３】
請求項９に記載の３Ｄ・ＬＦカメラであって、前記シリンドリカルレンズアレイは、垂直方向に延びるように配置された複数のシリンドリカルレンズを含む、カメラ。
【請求項１４】
請求項９に記載の３Ｄ・ＬＦカメラであって、前記少なくとも１つの３Ｄ・ＬＦ画像は、前記シーンの複数の３Ｄ・ＬＦ画像を含む、カメラ。
【請求項１５】
請求項９に記載の３Ｄ・ＬＦカメラであって、前記シリンドリカルレンズアレイは、前記シリンドリカル軸に対応する第１方向において高分解能と、前記第１方向と対向する第２方向において高い角度情報と、を提供するように構成される、カメラ。
【請求項１６】
請求項９に記載の３Ｄ・ＬＦカメラであって、前記スリット形状の開口は、ピンボケを軽減するように構成される、カメラ。
【請求項１７】
３次元（３Ｄ）フォトグラフであって、
あるシーンの３Ｄライトフィールド印刷画像と、
前記３Ｄライトフィールド印刷画像上に配置されたシリンドリカルレンズアレイであって、前記３Ｄライトフィールド印刷画像と前記シリンドリカルレンズアレイの組合せが３Ｄステレオスコピック画像を形成する、シリンドリカルレンズアレイと、を有する、３Ｄフォトグラフ。
【請求項１８】
請求項１７に記載の３Ｄフォトグラフであって、前記３Ｄフォトグラフは、オートステレオスコピック３Ｄディスプレイである、３Ｄフォトグラフ。
【請求項１９】
請求項１７に記載の３Ｄフォトグラフであって、前記３Ｄライトフィールド印刷画像は、スリット形状の開口を有する表面を含むカメラと前記カメラの画像センサに結合されたさらなるシリンドリカルレンズアレイを介して取得され、
前記スリット形状の開口の長手方向は、前記３Ｄライトフィールド印刷画像が、前記さらなるシリンドリカルレンズアレイに対応するサブ開口画像のセットを含むように、前記さらなるシリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、３Ｄフォトグラフ。
【請求項２０】
請求項１９に記載の３Ｄフォトグラフであって、前記３Ｄライトフィールド印刷画像は、前記サブ開口画像のセットが、前記シリンドリカルレンズアレイのシリンドリカル軸と平行に配列されるように、前記シリンドリカルレンズアレイ上に配置される、３Ｄフォトグラフ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元（３Ｄ）画像化、特に、３Ｄ画像を取得し且つ表示するための３Ｄライトフィールドカメラ、方法及びシステムに関する。
【背景技術】
【０００２】
関連出願の相互参照
本出願は、３Ｄライトフィールドカメラ及び撮影方法と題して２０１３年１２月２３日に出願された米国仮出願番号第６１／９２００７４号並びに３Ｄライトフィールドカメラ及び撮影方法と題して２０１４年１月２４日に出願された米国仮出願番号第６１／９３１０５１号の利益に関し、利益を主張するものである。これらの内容は、本明細書に参照により組み込まれる。
【０００３】
連邦政府支援研究に関する声明
本発明は、国立科学財団からの認可番号０８４５２６８によって一部支援された。米国政府は、本発明に一定の権利を有し得る。
【０００４】
プレノプティックカメラとも称される、ライトフィールド（ＬＦ）カメラを開発することに関心が高まっている。ＬＦカメラは、マイクロレンズアレイを使用して、シーンに関する４次元（４Ｄ）ライトフィールド（光照射野）情報を取得する。このようなライトフィールド情報は、コンピュータグラフィクスの解像度及びコンピュータビジョンアプリケーションを向上するために使用される可能性がある。
【発明の概要】
【０００５】
本発明の態様は、シーンの画像を生成する方法に関する。シーンを表示する光は、画像センサに結合されたレンズモジュールを介して指向される。レンズモジュールは、スリット形状の開口を有する表面と、画像センサの光軸に沿って位置するシリンドリカルレンズアレイと、を有する。長手方向の前記スリット形状の開口が、シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される。３Ｄ・ＬＦ画像を形成するため、レンズモジュールを介して指向された光は、画像センサにより取得される。
【０００６】
また、本発明の態様は、３Ｄ・ＬＦカメラに関する。３Ｄ・ＬＦカメラは、レンズに設けられたスリット形状の開口を有する表面、画像センサ並びに画像センサ及びレンズの間に配置されたシリンドリカルレンズアレイを備える。シリンドリカルレンズアレイは、前記画像センサの光軸に沿って配置される。長手方向のスリット形状の開口は、シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される。画像センサは、あるシーンの少なくとも１つの３Ｄ・ＬＦ画像を取得するように構成される。
【０００７】
また、本発明の態様は、３Ｄフォトグラフに関する。３Ｄフォトグラフは、あるシーンの３Ｄライトフィールド印刷画像と、３Ｄライトフィールド印刷画像の上に配置されるシリンドリカルレンズアレイと、を有する。３Ｄライトフィールド印刷画像及びシリンドリカルレンズアレイの組合せは、３Ｄステレオスコピック画像を形成する。
【０００８】
本発明は、添付図面と関連して読む場合、以下の詳細な説明から理解されてもよい。一般的な方法によれば、図面のあらゆる特徴／要素は、一定の縮尺で描かれなくてもよいこととすべきである。反対に、あらゆる特徴／要素の寸法は、明確にするために任意に拡大又は縮小させてもよい。さらに、図中、共通の参照番号は、同様の特徴／要素を表すために使用される。本特許又は出願書類は、カラーで作成される図面を少なくとも１つ含む。カラー図面を有する本特許又は特許出願公開のコピーは、国内官庁により及び必要な手数料の支払いにより提供される。図面には、以下の図表が含まれる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態による３Ｄ画像を取得及び表示するためのシステムの一例の機能ブロックダイアグラムである。
【図２Ａ】本発明の一実施形態による図１に示すシステムの３Ｄ・ＬＦカメラの一例の斜視図である。
【図２Ｂ】本発明の一実施形態による図２Ａに示すシステムの３Ｄ・ＬＦカメラの一例の分解斜視図であり、３Ｄ・ＬＦレンズモジュール及びカメラのコンポーネントを図示する。
【図２Ｃ】本発明の一実施形態による図２Ｂに示す３Ｄ・ＬＦカメラの一例の分解斜視図であり、３Ｄ・ＬＦカメラのための光線ジオメトリを図示する。
【図３】本発明の一実施形態による図１に示すシステムの３Ｄ写真の一例の分解斜視図である。
【図４Ａ】本発明の一実施形態によるシリンドリカルレンズにより射線錐に集束するダイアグラムの例である。
【図４Ｂ】本発明の一実施形態による図１に示す３Ｄ・ＬＦカメラの一例により画像センサ上で光線のシートを光学的にソートすることを図示するダイアグラムである。
【図５】（Ａ）及び（Ｂ）は、本発明の一実施形態による図１に示す３Ｄ・ＬＦカメラの一例により取得された未加工の３Ｄライトフィールド画像の例である。
【図６Ａ】本発明の一実施形態による再フォーカス画像を描写するための方法の一例を図示するフローチャートダイアグラムである。
【図６Ｂ】本発明の別の実施形態による画像を描写するための方法の一例を図示するフローチャートダイアグラムである。
【図６Ｃ】本発明の一実施形態による３Ｄ画像を形成するための方法の一例を図示するフローチャートダイアグラムである。
【図７】本発明の一実施形態による再フォーカスされた３Ｄ画像を描写するための光線の再パラメータ化を図示するダイアグラムの一例である。
【図８】（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、本発明の一実施形態による様々な焦点深度で描写された３Ｄ画像の一例である。
【図９】（Ａ）及び（Ｂ）は、本発明の一実施形態による異なる見方で図８（Ｂ）及び（Ｄ）のそれぞれに示す画像の立体画像を図示する描写された３Ｄ画像の一例である。
【発明を実施するための形態】
【００１０】
現行のライトフィールドカメラは、低い分解能の問題を抱えている。例えば、１０メガピクセルセンサを有するライトフィールドカメラは、非常に低い分解能（例えば、約１メガピクセル）で画像を生成するのみである。低い分解能の結果として得られる画像は、全ての現行のライトフィールドカメラの設計によるものである。これらのライトフィールドカメラは、角度分解能のために空間分解能を犠牲にする。空間分解能は、空間におけるサンプリングレートとして定義される。従来の（非ライトフィールド）カメラにおいて、空間分解能はセンサの分解能を意味する。ライトフィールドカメラにおいて、空間におけるサンプリングポイントの総数は、レンズの数に等しい。レンズのサイズが画素ピッチよりも通常の数倍も大きい場合は、空間分解能が低減される可能性がある。しかしながら、各レンズの下の画素は、異なる方向に共通のサンプリングポイントを介して通過する光を記録する。方向特異性は、カメラの角度分解能を定義する。センサが制限された分解能を有すると仮定すると、空間分解能及び角度分解能の相互でトレードオフがある可能性があり、そのトレードオフは、画像解像度及びビューの数の間でバランスを等しくする。
【００１１】
ライトフィールドを取得する現行のカメラは、全方向において角度及び空間情報の両方を記録する４Ｄライトフィールドカメラを含む。例えば、現行の４Ｄライトフィールドカメラは、画像センサに取り付けられる３２８×３２８マイクロレンズアレイを含み、各マイクロレンズが約１００ピクセルをカバーする。この例では、約３２８×３２８の空間分解能及び約１０×１０の角度分解能が得られてもよい。ライトフィールドカメラによりなされる固有のトレードオフに伴い、空間分解能を低下する代わりに多くの角度分解能を提供する。この例におけるカメラは、１１メガピクセルのセンサを備えるにも関わらず、約７００×７００の実行分解能を有する画像のみを供給する。他の４Ｄライトフィールドカメラは、同様の設計及び同様の制約を共有する。
【００１２】
３Ｄディスプレイに関して、既存の３Ｄテレビの多くは、シャッターグラス技術を使用してステレオスコピック画像を表示する。本技術の不利益は、ちらつき（非常に高いリフレッシュレートを除き気付く）である。加えて、現行の３Ｄビューイング技術（シャッターグラスなど）は、不便であり、３Ｄ写真を鑑賞するには費用がかかる。
【００１３】
本発明の実施形態は、カメラ、カメラの画像センサに取り付けられたシリンドリカルレンズアレイ及び狭いスリット開口を有する修正レンズを組み合わせる３Ｄライトフィールドカメラを含む。いくつかの例では、カメラは、デジタル一眼レフ（ＤＳＬＲ）カメラを含んでもよい。いくつかの例では、３Ｄライトフィールドカメラは、垂直なシリンドリカルレンズアレイを使用する。水平方向の分解能及び角度分解能の相互をトレードのみする間、垂直方向の分解能を維持するために、垂直なシリンドリカルレンズアレイが使用されてもよい。ピンボケ（デフォーカスブラー）を軽減するために、シリンドリカルレンズアレイは、スリット形状の開口と結合されていてもよい。
【００１４】
３Ｄディスプレイ技術の急成長に伴い、人々は、２次元（２Ｄ）画像の代わりに、より３Ｄコンテンツを鑑賞する傾向にある。例えば、本発明の３Ｄライトフィールドカメラは、単に３Ｄコンテンツを鑑賞する能力を超える。３Ｄ画像を取得及び表示するための３Ｄライトフィールドカメラの例及びシステムの例とともに、３Ｄコンテンツは、シーンから直接取得されてもよく、且つ、次いで、表示されてもよい。シリンドリカルアレイをセンサに、及び、狭いスリットマスクを開口に取り付けることにより、民生用ＤＳＬＲカメラが３Ｄライトフィールドカメラに変換されてもよい。ユーザは、従来のカメラと似た例示の３Ｄライトフィールドカメラを用いて写真を撮ることができる。
【００１５】
また、本発明の実施形態は、未加工のライトフィールド画像からステレオスコピック画像を描写するための例示の方法及びシステムに関する。取得された未加工のライトフィールド画像を用いて、ステレオスコピック画像は、オクルージョン及び反射のようなビュー依存の特徴を含む異なる視点から描写されてもよい。３Ｄライトフィールドカメラは、１回の取得で異なる視点からのシーンを同時に取得することができるので、得られたビューは、視差を提示する。すなわち、より近くのオブジェクトは、複数のビューにわたってより大きな視差を示す。視差を保存する能力は、裸眼にシーン／オブジェクトの３Ｄ視覚化を可能にさせる。同じ能力は、反射のようなビュー依存の特徴の保存を可能とし、この反射では各ビュー（すなわち、サブ画像）が若干異なる画像のシーンを取得する。いくつかの例では、システムは、未加工のライトフィールド画像から所定の焦点深度で再フォーカスされた画像を描写してもよい。例示の方法は、画像ベースのレンダリング（ＩＢＲ）技術を使用する。特に、単一のジオメトリ（３Ｄ平面など）は、シーンジオメトリの代わりとして使用されてもよい。全ての取得されたビューは、ジオメトリ上で歪められ及び所望のビューに再描写（例えば、光線追跡又はテキスチャマッピング）されることができる。このプロセスは、ＳＬＲカメラの商品における焦点深度を特定することに似ている。全てのビューがワーピングの後に統合された場合、結果は、従来の広い開口の写真撮影におけるピンボケをエミュレートする。
【００１６】
また、本発明の実施形態は、３Ｄビューイングのための方法及び装置に関する。いくつかの例によると、装置は、オートステレオスコピック３Ｄディスプレイに分類される。すなわち、眼鏡なしの３Ｄビューイングである。
【００１７】
図１を参照すると、システム１００は、３Ｄ画像を取得及び表示するためのシステム１００が示される。システム１００は、３Ｄ・ＬＦカメラ１０２、コントローラ１０４、レンダリングモジュール１０６、ストレージ１０８、ディスプレイ１１０、ユーザインタフェース１１２、プリンタ１１４及び３Ｄフォトグラフ１１６を含む。図示されないが、システム１００は、例えば、グローバルネットワーク（すなわち、インターネット）を介して遠隔地と接続されてもよい。
【００１８】
３Ｄ・ＬＦカメラ１０２は、３Ｄ・ＬＦレンズモジュール１１８及びカメラ１２０を含む。図２Ａ〜２Ｃに関してさらに以下に記載されるように、レンズモジュール１１８は、シリンドリカルレンズアレイ２１０及びスリット形状の開口２０６を含む。カメラ１２０は、メインレンズ（例えば、図２Ｂに示すレンズ２０８）及び画像センサ（例えば、画像センサ２１４）を有する多目的に適した任意のカメラを含んでもよい。いくつかの例では、カメラ１２０は、ＤＳＬＲカメラを含む。１つの例では、カメラ１１８は、キャノン株式会社（東京、日本）により製造されたＤＳＬＲカメラモデル番号ＸＳｉを含む。カメラ１２０を３Ｄ・ＬＦカメラ１０２に変換するために、レンズモジュール１１８にスリット開口２０６を有するマスク２０４（図２Ｂ）は、メインレンズ２０８の開口を修正するために使用されてもよく、且つ、レンズモジュール１１８のシリンドリカルレンズアレイ２１０は、画像センサ２１４に取り付けてもよい。いくつかの例では、レンズモジュール１１８は、カメラ１２０から取り外し可能に結合されてもよい。
【００１９】
３Ｄ・ＬＦカメラ１０２は、あるシーンの３Ｄ・ＬＦ画像１２８（未加工）を取得するように構成されてもよい。いくつかの例では、３Ｄ・ＬＦカメラ１０２は、所定の時間にわたり、シーンの２以上の３Ｄ・ＬＦ画像１２８を取得してもよい。故に、いくつかの例では、３Ｄ・ＬＦカメラ１０２は、ビデオカメラを含んでもよい。一般に、３Ｄ・ＬＦカメラ１０２は、シーンの３Ｄ・ＬＦ画像１２８を少なくとも１つ取得してもよい。
【００２０】
コントローラ１０４は、３Ｄ・ＬＦカメラ１０２、レンダリングモジュール１０６、ストレージ１０８、ディスプレイ１１０、ユーザインタフェース１１２及びプリンタ１１４のうち１つ又は複数と結合されてもよく、３Ｄ・ＬＦ画像１２８（複数可）の取得、記憶、表示、印刷及び／又は処理を制御する。コントローラ１０４は、例えば、論理回路、デジタル信号処理又はマイクロプロセッサを含んでもよい。レンダリングモジュール１０６の１つ又は複数の機能は、コントローラ１０４により実行されてもよいことを理解する。
【００２１】
レンダリングモジュール１０６は、描写画像１３０（複数可）を形成するために３Ｄ・ＬＦ画像１２８（複数可）を処理するように構成されてもよい。レンダリングモジュール１０６は、シリンドリカルレンズアレイ２１２の各レンズ２１２（図２Ｂ）のレンズ中心を見出すように、３Ｄ・ＬＦカメラ１０２をキャリブレートするように構成されてもよい。また、レンダリングモジュール１０６は、あらゆる再フォーカス平面のために再フォーカスされた画像（キャリブレーションの後）を描写するように構成されてもよい。再フォーカスは、図６（Ａ）についてさらに以下に説明される。いくつかの例では、レンダリングモジュール１０６は、３Ｄ・ＬＦ画像１２８（複数可）に所定の透視投影を適用するように構成されてもよい。また、いくつかの例では、レンダリングモジュール１０６は、３Ｄ・ＬＦ画像１２８（複数可）のステレオスコピックビューを生成するように構成されてもよい。透視投影及びステレオスコピック処理は、図６Ｂについてさらに以下に説明される。一般に、描写画像１３０（複数可）は、所定の焦点深度への再フォーカス、透視投影レンダリング又はステレオスコピックビューイング（立体視）のうち少なくとも１つを含むように処理されてもよい。再フォーカス、透視投影レンダリング及びステレオスコピックビューレンダリングは、レンダリングモジュール１０６による処理の例を表し、レンダリングモジュール１０６は、フィルタリング、ノイズ軽減等のように（これらに限定されることなく）、追加的に３Ｄ・ＬＦ画像（複数可）の処理を実行してもよいことを理解する。レンダリングモジュール１０６は、例えば、論理回路、デジタル信号プロセッサ又はマイクロプロセッサを含めてもよい。
【００２２】
ストレージ１０８は、（３Ｄ・ＬＦカメラ１０２から又はコントローラ１０４を介して）未加工の３Ｄ・ＬＦ画像１２８（複数可）又は（レンダリングモジュール１０６から）描写画像１３０（複数可）のうち少なくとも１つを記憶するように構成されてもよい。また、ストレージ１０８は、コントローラ１０４及び／又はレンダリングモジュール１０６と関連付けられたパラメータを記憶してもよい。ストレージ１０８は、３Ｄ・ＬＦカメラ１０２とは別に表されるが、いくつかの例では、ストレージ１０８は、３Ｄ・ＬＦカメラ１０２の一部であってもよい。ストレージ１０８は、例えば、磁気ディスク、光学ディスク又はハードドライブのように、任意の好適な有形の非一過性のコンピュータ可読媒体を含めてもよい。
【００２３】
（３Ｄ・ＬＦカメラ１０２からの）未加工の３Ｄ・ＬＦ画像１２８（複数可）及び／又は（レンダリングモジュール１０６からの）描写画像１３０（複数可）は、ディスプレイ１１０に表示されてもよい。ディスプレイ１１０は、未加工の３Ｄ・ＬＦ画像１２８（複数可）／描写画像１３０（複数可）を表示するように構成された任意の好適なディスプレイ装置を含めてもよい。
【００２４】
ユーザインタフェース１１２は、例えば、レンダリングモジュール１０６により実行されるレンダリングの選択、レンダリングモジュール１０６と関連するパラメータ、取得画像１２８／描写画像１３０用のストレージ１０８におけるストレージの選択、画像１２８、１３０用のディスプレイ選択及び／又は画像１２８、１３０の印刷選択、と関連するユーザ入力を受信可能な任意の好適なインタフェースを含めてもよい。ユーザインタフェース１１２は、例えば、ポインティングデバイス、キーボード及び／又はディスプレイ装置を含めてもよい。ユーザインタフェース１１２及びディスプレイ１１０は、個別の装置として図示されるが、ユーザインタフェース１１２及びディスプレイ１１０は、１つの装置に統合されてもよいことを理解する。
【００２５】
未加工の３Ｄ・ＬＦ画像１２８及び描写画像１３０は、印刷画像１２２を形成するためにプリンタ１１４により印刷されてもよい。プリンタ１１４は、未加工の３Ｄ・ＬＦ画像１２８／描写画像１３０を印刷するように構成された任意の好適なプリンタ装置を含めてもよい。いくつかの例では、プリンタ１１４は、カラー及び／又は白黒印刷画像１２２を印刷するように構成されたレーザプリンタを含めてもよい。いくつかの例では、印刷画像１２２は、光沢紙を含む。
【００２６】
図１及び３を参照して、３Ｄフォトグラフ１１６が説明される。図３は、３Ｄフォトグラム１１６の例の分解斜視図である。３Ｄフォトグラフ１１６は、（プリンタ１１４により印刷された）印刷画像１２２上に配置されたシリンドリカルレンズアレイ１２４を含めてもよい。このように、ディスプレイ１１０上に画像を表示することに加えて、未加工の３Ｄ・ＬＦ画像１２８（又は描写画像１３０）は、印刷画像１２２を形成するために、例えば、（印刷画像１２０を形成するため）写真用光沢紙に（プリンタ１１４を介して）印刷されてもよい。印刷画像１２２は、次いで、３Ｄフォトグラフ１１６を生成するため、シリンドリカルレンズアレイ１２４に取り付けられてもよい。これは実際の３Ｄフォトグラフィー技術であり、異なる視点からの立体３Ｄステレオスコピックビューをユーザに３Ｄ眼鏡なしで直接認識させることができる。３Ｄフォトグラフ１１６の例は、特殊なフォトグラフ（印刷画像１２２）及び特殊なカバーレンズ（シリンドリカルレンズアレイ１２４）を除き、フォトフレームと類似してもよい。シリンドリカルレンズアレイ１２４の選択は、３Ｄ・ＬＦ画像１２８とは独立する。例えば、３Ｄ・ＬＦ画像１２８は、所望の３Ｄ効果を生成するため、シリンドリカルレンズアレイ１２４の物理的特性（例えば、小型レンズの幅、密度、焦点距離等）に合わせて再サンプルされてもよい。
【００２７】
３Ｄフォトグラフ１１６は、彫刻、食べ物等のような他のオブジェクトを取得するために使用されてもよい。例えば、レストランは、３Ｄメニューを生成又はそれらの食べ物を表示するため、３Ｄフォトグラフ１１６を使用してもよい。３Ｄフォトグラフ１１６は、低廉で且つ携帯可能であってもよく、商品に適した広告を可能にさせる。
【００２８】
図１に戻り参照すると、いくつかの例では、システム１００は、３Ｄ・ＬＦカメラ１０２を介して、３Ｄポートレイトを生成するために使用されてもよい。いくつかの例では、システム１００のレンダリングモジュール１０６は、描写画像１３０（複数可）を生成してもよく、ディスプレイ１１０上の異なる視点から３Ｄポートレイトを人々に見せることを可能にさせる。いくつかの例では、システム１００は、プリンタ１１４を介して未加工の３Ｄ・ＬＦ画像１２８及び／又は描写画像１３０（印刷画像１２２として）を印刷してもよい。いくつかの例では、システム１００は、（シリンドリカルレンズアレイ１２４と協働して印刷画像１２２から）３Ｄフォトグラフ１１６を生成してもよい。
【００２９】
好適な３Ｄ・ＬＦカメラ１０２、コントローラ１０４、レンダリングモジュール１０６、ストレージ１０８、ディスプレイ１１０、ユーザインタフェース１１２、プリンタ１１４及び３Ｄフォトグラフ１１６は、本明細書の記載から当業者により理解されるであろう。
【００３０】
次に、図２Ａ〜２Ｃを参照すると、３Ｄ・ＬＦカメラ１０２の例が示される。特に、図２Ａは、３Ｄ・ＬＦカメラ１０２の斜視図ダイアグラムであり、図２Ｂ及び２Ｃは、３Ｄ・ＬＦカメラ１０２の分解斜視図である。図２Ａは、カメラ１２０本体に結合された３Ｄ・ＬＦレンズモジュール１１８を表す。また、図２Ａは、レンズモジュール１１８のスリットマスク２０４を表す。レンズモジュール１１８は、スリットマスク２０４及びシリンドリカルレンズアレイ２１０（図２Ｂ）を有する筐体２０２を含めてもよい。図２Ｂは、光軸２１６と関係する３Ｄ・ＬＦレンズモジュール１１８及びカメラ１２０の画像センサ２１４の配置を表す。図２Ｃは、３Ｄ・ＬＦカメラ１０２の光線ジオメトリの例を表す。
【００３１】
図２Ｂに示すように、３Ｄ・ＬＦレンズモジュール１１８は、スリット形状の開口２０６を有するスリットマスク２０４、メインレンズ２０８及び光軸２１６に沿って配置されるシリンドリカルレンズアレイ２１０を含めてもよい。シリンドリカルレンズアレイ２１０は、複数のシリンドリカルレンズ２１２を含む。各シリンドリカルレンズ２１２の幅は、メインレンズ２０８と比較すると極小（例えば、数百マイクロン）であってもよい。スリットマスク２０４は、メインレンズ２０８に配置され、且つ、長手方向のスリット開口２０６（すなわち、スリット長）が、シリンドリカルレンズアレイ２１０のシリンドリカルレンズ２１２のシリンドリカル軸４１０（図４Ａ）に対して直交に位置するように配置される。開口２０６は、メインレンズ２０８の開口の形状を円形状からスリット形状に変更するように構成されてもよい。いくつかの例では、メインレンズ２０８は、カメラ１２０の民生用レンズを含む。いくつかの例では、スリットマスク２０４は、スリット形状の開口２０６を有するプラスチックシートを含み、スリット形状の開口２０６はプラスチックシートを貫通して形成される。シリンドリカルレンズアレイ２１０は、画像センサ２１４に配置されている。
【００３２】
例として、開口２０６は、約１．３ｍｍの幅を有する。シリンドリカルレンズアレイ２１０は、４０個のレンズ２１２を有する。レンズアレイ２１０は、１０ｍｍ×１０ｍｍのサイズであり、各レンズ２１２が約０．２５ｍｍのピッチ及び約１．６ｍｍの焦点距離を有する。一般に、開口２０６の幅、レンズ２１２の数、各レンズ２１２のピッチ、各レンズの焦点距離及びレンズアレイ２１０のサイズは、３Ｄ・ＬＦレンズモジュール１１８の所望の分解能を生成するために選択されてもよい。上記の例では、レンズモジュール１１８の選択パラメータは、約２０００×２０００の実効分解能を生成する。また、３Ｄ・ＬＦカメラにより取得された光線の数は、画像センサ２１４の分解能に依存してもよい。１つの例では、画像センサ２１４の分解能は、約５１８４×３４５６である。図５Ａ及び５Ｂは、２つの異なるシーンのために３Ｄ・ＬＦカメラ１０２により取得された未加工のライトフィールド画像を示す。
【００３３】
図２Ｃに示すように、スリット開口２０６及びシリンドリカルレンズ２１２は、それぞれ直交しているので、オブジェクト４０２（図４Ｂ）のポイントから照射された射線錐２２０の多くは、スリットマスク２０４により遮られ、メインレンズ２０８を通して扇形光線２２２のみを通過させる。通過する光線２２２は、シリンドリカルレンズアレイ２１０の下の画像センサ２１４のピクセル上に（図４Ｂ中の光線４１２が示す）方向別に光学的にソートされてもよい。
【００３４】
ユーザは、３Ｄ・ＬＦレンズモジュール１１８をカメラ１２０に取り付けて、従来のカメラ（ＤＳＬＲカメラなど）を用いると同様に、３Ｄ・ＬＦカメラ１０２を用いて画像を取得してもよい。このように、カメラ１２０のシャッターボタンを単に押すことにより、２Ｄ画像が一般に取得される方法と同じ方法で、少なくとも１つの３Ｄ・ＬＦ画像が取得されてもよい。したがって、３Ｄ・ＬＦカメラ１０２を使用するために、最低限の学習曲線があってもよい。３Ｄ・ＬＦカメラ１０２により取得された３Ｄ・ＬＦ画像１２８（図１）は、レンダリングモジュール１０６により調整され、視覚化のために（ディスプレイ１１０を介して）表示され又は（プリンタ１１４を介して）印刷されてもよい。
【００３５】
図２Ｃ、４Ａ及び４Ｂを参照すると、３Ｄ・ＬＦカメラ１０２を介して光線２０２の光線ジオメトリが、さらに説明される。特に、図４Ａは、シリンドリカルレンズ２１２により射線錐４０４に集束することを示すダイアグラムの例である。そして、図４Ｂは、画像センサ２１４上にシート（すなわち、扇形）光線２２２を光学的にソートすることを示すダイアグラムである。
【００３６】
従来のカメラでは、各ピクセルの値は、開口にわたる多くの光線の積分であり、高空間分解能をもたらすが、非常に低い角度分解能である。３Ｄ・ＬＦカメラ１０２は、複数の光線をある方向に分岐することができ、一方で、他の方向における高空間分解能を維持することができる。具体的には、オブジェクト４０２から放射される射線錐２２０は、メインレンズ２０８上のスリットマスク２０４により収束され且つ一部ブロックされ、光線２２２のシートとなる。光線２２２は、ソートされた光線４１２を形成するために、シリンドリカルレンズアレイ２１２を介して方向別に光学的にソートされてもよい。シリンドリカルレンズアレイ２１０からソートされた光線４１２は、次いで、画像センサ２１４のピクセル（図示しない）に指向される。
【００３７】
図４Ａに示すように、シリンドリカルレンズ２１２は、光線４０６が一方向において収束し、他方向では変化しないままとなるように、構成される。したがって、オブジェクト４０２からの入射光４０４は、シリンドリカルレンズ２１２によりライン４０８に集束される。
【００３８】
図２Ｃ及び４Ｂに示すように、射線錐２２０は、スリットマスク２０４及びメインレンズ２０８を介して通過した後、シート光線２２２になるので、球状のレンズアレイの場合のように、２つの方向において光線を収束させる必要はない。シリンドリカルレンズアレイ２１０は、一方向における角度情報を提供し、当該方向に光線を集束することにより、他方向に沿って（すなわち、シリンドリカル軸４１０の方向に沿って）高空間分解能を維持する。シリンドリカルレンズアレイ２１０がマイクロレンズアレイを用いて置き換えられる場合は、しかしながら、スリット開口２０６は、レンズ画像の重複又は分解能の浪費のいずれかをもたらす。
【００３９】
図６Ａを参照すると、３Ｄ・ＬＦ画像１２８（図１）から再フォーカスされた画像を描写する方法の例が示される。図６Ａ中に図示されるいくつかのステップは、レンダリングモジュール１０６（図１）により、３Ｄ・ＬＦカメラ１０２により取得された３Ｄ・ＬＦ画像１２８から実行されてもよい。図６Ａ中に図示されるステップは、本発明の一実施例を表す。特定のステップは、示されている順序とは異なる順序で実行されてもよい。図６Ａは、再フォーカスされた１つの画像を描写することを示すが、図６Ａ中に示す方法は、撮影された３Ｄ・ＬＦ画像シーンの複数についても適用されてもよい。
【００４０】
ステップ６００では、例えば、３Ｄ・ＬＦカメラ１０２（図１）を介して３Ｄ・ＬＦ画像の基準シーンが取得される。ステップ６０２では、基準シーン（ステップ６００）の撮影画像に基づいて、シリンドリカルレンズアレイ２１０の各シリンドリカルレンズ２１２のレンズ中心が特定される。特定されたレンズ中心は、ストレージ１０８（図１）に記憶されてもよい。
【００４１】
３Ｄ・ＬＦカメラ１０２は、視差を有する画像１２８を生成してもよい。一般には、シリンドリカルレンズアレイ２１０の正確な位置は、知られていないが、シリンドリカルレンズ間の基線は、画素ピッチの非整数倍であってもよい。したがって、レンズ２１２の中心に画像を配置するために、ステップ６００では白い背景画像が撮影される。口径食によって、ステップ６０２において、シリンドリカルレンズの中心を見積もるために、各小型レンズ画像に沿った最も明るい線が取られる。小型レンズ画像は、シリンドリカル小型レンズ２１２（図２Ｂ）の真下に横たわるピクセルにより形成された画像に言及する。ステップ６００〜６０２は、例えば、システム１００において最初の使用前に、３Ｄ・ＬＦカメラ１０２をキャリブレートするために実行されてもよい。このように、いくつかの例では、ステップ６００〜６０２は、一度に実行され、且つ、結果がストレージ１０８（図１）に記憶される。ステップ６０４〜６１２は、３Ｄ・ＬＦカメラ１０２のキャリブレーションの後でステップ６００〜６０２を実行することなく、ストレージ１０８に記憶されたレンズ中心を使用して実行されてもよい。
【００４２】
ステップ６０４では、３Ｄ・ＬＦ画像１２８は、例えば、３Ｄ・ＬＦカメラ１０２（図１）を介して、所望のシーンが取得されたものである。取得された３Ｄ・ＬＦ画像１２８は、ストレージ１０８（図１）に記憶されてもよい。ステップ６０６では、サブ開口画像のセット（例えば、図５Ａ及び５Ｂ中に示す画像の垂直セグメント）が、例えば、レンダリングモジュール１０６（図１）により、取得された（未加工の）３Ｄ・ＬＦ画像（ステップ６０４）から形成される。取得された３Ｄ・ＬＦ画像（ステップ６０４）は、サブ開口画像のセットに組立て直されてもよい。第１に、ＬＦ画像は、小型レンズ画像に分割される（すなわち、分離される）。次いで、小型レンズ画像内の画素は、サブ開口画像に組み立て直される。特に、同一の列（例えば、５列目）の画素は、全ての小型レンズ画像において選択されてもよく、且つ、次いで、サブ開口画像を形成するためにつなぎ合わせてもよい。異なる列の選択は、異なるサブ開口画像に対応する。全ての小型レンズ画像が同一幅のシリンドリカルレンズ２１２（図２Ｂ）により取得される場合、これらは同じ列数を有すべきである。したがって、各小型レンズ画像が８列あるとすれば、８つの異なるサブ開口画像が合成され得る。
【００４３】
ステップ６０８では、例えば、ユーザインタフェース１１２（図１）を介して、焦点深度が選択される。ステップ６１０では、各サブ開口画像は、レンダリングモジュール１０６を介して、光線追跡アルゴリズムに従って特定された画像中心（ステップ６０２）に基づき、選択された焦点深度（ステップ６０８）にシフトされる。
【００４４】
典型的な放射測定に基づき、フィルム（又はフィルムが位置される画像平面）上の一点の放射照度は、開口を通過してこの点に到達する全ての光線を積分したものである。
【数１】
2020126245.tif 000003
Ｆは、レンズ２０８（図２Ｂ）及びフィルム（すなわち、画像センサ２１４）の間の間隔、ＥＦ（ｘ，ｙ）は、フィルム上の位置（ｘ，ｙ）の放射照度であり、ＬＦは、レンズ平面ｕｖ及びフィルム平面ｘｙによりパラメータ化されたライトフィールドであり、θは、光線（ｘ，ｙ，ｕ，ｖ）と画像平面法線との間の角度である。単純に、ＬＦは、ＬＦ（ｘ，ｙ，ｕ，ｖ）：＝ＬＦ（ｘ，ｙ，ｕ，ｖ）（ｃｏｓθ）４と定義されてもよい。
【００４５】
異なる平面に焦点を合わせるために、レンズ平面及びフィルム平面の間の間隔が変更される。例えば、新しい深度Ｆ´に焦点を合わせるため、図７に示すように、画像は、以下に記載の通り描写されることができる。図７において、軸ｖ，ｙ´，ｙは、図（軸ｕ，ｘ´，ｘのそれぞれに直交する）から広がる。
【００４６】
相似三角形を使用して、光線（ｕ，ｘ´）は、オリジナルのｘ平面で（ｕ，（ｘ’−ｕ）Ｆ／Ｆ’）として再パラメータ化されることができる。ｘ´は、フィルム平面上の座標である。結果として、α＝Ｆ’／Ｆがフィルム平面の相対深度として定義される場合、次いで、
【数２】
2020126245.tif 000004
となる。したがって、レンズ平面からの深度Ｆ´＝α・Ｆでのフィルム内のピクセル値（ｘ´，ｙ´）の最終方程式は、
【数３】
2020126245.tif 000005
である。
【００４７】
各オブジェクトは、メインレンズ２０８上のスリットマスク２０４によりフィルターされた後、シート光線２２２（図２Ｃ）を放射するので、以下の近似、ｙ＝ｙ´＝ｖが使用される。故に、数式３は、以下のように書き換えられてもよい。
【数４】
2020126245.tif 000006
このように、光線は、（ステップ６０２で特定される）各レンズの中心を通って追跡されてもよく、且つ、再フォーカスされた画像を描写するために使用されてもよい。ここで、用語ＬＦは、サブ開口画像に対応し、その積分は、変換されたサブ開口画像を追加するものとして解釈されることができる。
【００４８】
ステップ６１２では、シフトされたサブ開口画像（ステップ６１０）は、レンダリングモジュール１０６を介して、再フォーカス（描写）された画像１３０（図１）を形成するために結合される。ステップ６１０及び６１２は、Ｓｈｉｆｔ−ａｎｄ−Ａｄｄアルゴリズムを介して実行されてもよい。例えば、具体的なシフトの量（数式４中のαに対応する）が選択されてもよい。次に、各サブ開口画像は、その位置に従って水平方向にシフトされてもよい。次に、得られた全てのシフト画像は、規格化係数（数式４に示す通り）を用いて融合されてもよい。この結果は、疑似の２Ｄ再フォーカス画像に対応する。
【００４９】
非一過性のコンピュータ可読媒体は、ステップ６０２及び６０６〜６１２の機械実行のためのコンピュータ可読命令を記憶してもよい。
【００５０】
図６Ｂを参照すると、未加工の３Ｄ・ＬＦ画像１２８（図１）から画像を描写する方法の一例が示される。図６Ｂ中に図示されるいくつかのステップは、３Ｄ・ＬＦカメラ１０２により取得された３Ｄ・ＬＦ画像１２８からレンダリングモジュール１０６により実行されてもよい。図６Ｂ中に図示されるステップは、本発明の一実施例を表す。特定のステップは、示されている順序とは異なる順序で実行されてもよい。図６Ｂは、１つの画像を描写することを示すが、図６Ｂ中に示す方法は、取得された３Ｄ・ＬＦ画像シーンの複数についても適用されてもよい。
【００５１】
ステップ６２０では、サブ開口画像のセットを形成するためにステップ６０４〜６０６が繰り返される。ステップ６２２では、例えば、ユーザインタフェース１１２（図１）を介して、画像のための視点が選択される。
【００５２】
ステップ６２４では、均一の重みを使用する代わりに、異なる重みが異なるサブ開口画像に対して指定されてもよい。例えば、レンダリングモジュール１０６を介して、例えば、選択（合成）された視点に近付くほど、より高い重み（複数可）がサブ開口画像（複数可）に対して指定されてもよい。ステップ６２６では、例えば、レンダリングモジュール１０６を介して、選択された視点から離れるほど、より低い重み（複数可）がサブ開口画像のセット内の他のサブ開口画像に対して指定されてもよい。ステップ６２８では、レンダリングモジュール１０６は、透視（描写）画像１３０（図１）を形成するために、重み付けサブ開口画像（ステップ６２４〜６２６）に対してｓｈｉｆｔ−ａｎｄ−ａｄｄアルゴリズムを適用してもよい。ステップ６２８において全てのビューを追加する（すなわち、結合する）ときに異なる重みスキームが使用されることを除いては、ステップ６２８において、合成的にピンボケ画像を生成するために、ステップ６１０及び６１２（図６Ａ）において、上述と同じｓｈｉｆｔ−ａｎｄ−ａｄｄアルゴリズムが適用されてもよい。
【００５３】
任意のステップ６３０では、レンダリングモジュール１０６は、例えば、赤シアンアナグリフを介して、透視画像（ステップ６２８）（又は未加工の３Ｄ・ＬＦ画像１２８又は図６Ａ中のステップ６１２における再フォーカス画像）からステレオスコピックビュー画像を生成してもよい。ステレオスコピック（描写）画像は、対応するカラーフィルタを通して画像が見られたとき、ステレオ効果を生む複数の異なる色（例えば、赤及びシアン、又は、他の彩色的な反対色）で重ね合わせた２つの画像を含む。一般には、アナグリフ画像は、片目毎に１つずつ、フィルターされたカラー画像を２つ含む。色分けアナグリフ眼鏡を通して見られたとき、２つの画像のそれぞれが対応の目に到達し、合成されたステレオスコピック画像を表示する。脳の視覚野は、この画像を３次元シーン又は構成の知覚領域に融合する。
【００５４】
非一過性のコンピュータ可読媒体は、ステップ６２４〜６３０の機械実行のためのコンピュータ可読命令を記憶してもよいことが考えられる。
【００５５】
図６Ｃを参照すると、３Ｄフォトグラフ１１６（図１及び３）を形成するための方法の一例が示される。ステップ６４０では、例えば、３Ｄ・ＬＦカメラ１０２を介して、未加工の３Ｄ・ＬＦ画像のシーンが取得される。ステップ６４２では、取得された（未加工の）３Ｄ・ＬＦ画像は、例えば、印刷画像１１２を形成するプリンタ１１４により印刷される。ステップ６４４では、印刷画像１２２は、３Ｄフォトグラフ１１６を生成するため、シリンドリカルレンズアレイ１２４上に配置される。いくつかの例では、印刷画像１２２は、例えば接着剤によって、シリンドリカルレンズアレイ１２４上に恒久的に配置されてもよい。いくつかの例では、印刷画像１２２は、シリンドリカルレンズアレイ１２４上に取り外し可能に配置されてもよい。例えば、印刷画像１２２及びレンズアレイ１２４は、レンズアレイ１２４に印刷画像１２２を取り外し可能に固定するように構成された筐体（フレームなど）内に配置されてもよい。超解像度画像及び雑音除去のような追加的なプロセスを、３Ｄフォトグラフを形成するのに先立ち、最終結果の品質を改善するために、（図１に示すレンダリングモジュール１０６を介するなどして）未加工の３Ｄ・ＬＦ画像に対して適用することができる。
【００５６】
３Ｄ・ＬＦカメラ１０２（図１）の例は、シーンの３Ｄライトフィールド１２８を記録するように構成されてもよい。具体的には、３Ｄ・ＬＦカメラ１０２は、シリンドリカルレンズの方向に沿って高空間分解能を維持し、一方で、他の方向における角度情報を取得する。取得されたライトフィールドを用いて、システム１００は、３Ｄ眼鏡を用いて又は用いることなしに視覚化することができるシーンの３Ｄ表現を、回復し且つ描写することができる。３Ｄ・ＬＦカメラ１０２は、汎用目的カメラ１２０を使用するため、あらゆるアプリケーションに適用されることができる。従来の２Ｄ画像は、固定された視点を有し、深度認識を欠く。反対に、システム１００は、オブジェクトの確かなステレオスコピックビューが複数の異なる視点で認識されることを可能にする。
【００５７】
次に、図５Ａ、５Ｂ、８Ａ〜８Ｄ、９Ａ及び９Ｂを参照すると、３Ｄ・ＬＦカメラ１０２（図１）の例を使用し実際のシーン上で取得され、且つ、システム１００を使用して描写された、データ例が記載される。特に、図５Ａ及び５Ｂは、２つの異なるシーンに対して取得された未加工の３Ｄライトフィールド画像の例である。図８Ａ〜８Ｄは、図５Ａ及び５Ｂのそれぞれに示す未加工画像の、異なる焦点深度で描写され再フォーカスされた３Ｄ画像例である。そして、図９Ａ及び９Ｂは、図８Ｂ及び８Ｄのそれぞれに示す画像のステレオスコピックビューを、異なる視点を用いて説明する、描写された３Ｄ画像の例である。
【００５８】
例えば、キャノン株式会社（東京、日本）により製造されたセンサ分解能５１８４×３４５６を有するＸＳｉ・ＤＳＬＲカメラ（例えば、カメラ１２０）は、データを取得するために使用される。開口マスク２０４（開口）のスリット幅（図２Ｂ）は、１．３ｍｍである。シリンドリカルレンズアレイ２１０は、４０のシリンドリカルレンズ２１２を含む。アレイ２１０における各レンズ２１２のピッチは、０．２５ｍｍであり、且つ、焦点距離は、１．６ｍｍである。シリンドリカルレンズアレイ２１０のサイズは、１０ｍｍ×１０ｍｍであり、これは、実効分解能２０００×２０００に相当する。
【００５９】
図８Ａ〜８Ｄに示す、再フォーカスされた画像を生成するために、サブ開口画像が、各シリンドリカルレンズの下のピクセルの同じストライプを得ることにより、先ず生成される。そして、再フォーカス平面が選択され、そしてｓｈｉｆｔ−ａｎｄ−ａｄｄ再フォーカスアルゴリズムが、再フォーカス画像を描写するためにライトフィールド画像において使用される（図６Ａを参照）。
【００６０】
図９Ａ及び９Ｂは、異なる視点からオブジェクトを描写することができるシステム１００を示す。また、図９Ａ及び９Ｂは、（例えば、赤シアンアナグリフを使用することにより）ステレオスコピックビューにおいて描写された画像を明示する。異なる視点を描写するために、より高い重みが、所望の視点のサブ開口画像に対して指定されてもよく、かつ、より低い重みが、他のサブ開口画像に対して指定されてもよい。ｓｈｉｆｔ−ａｎｄ−ａｄｄアルゴリズムは、次いで、画像を描写するために適用されてもよい。（図６Ｂを参照。）
【００６１】
本発明は、３Ｄ画像を撮影、処理及び表示するための方法及びシステムに関して説明されてきたが、１つ又は複数のステップ及びコンポーネントは、マイクロプロセッサ／汎用コンピュータ（図示しない）を用いて使用するソフトウェアにおいて実装されてもよいことが期待される。本実施形態では、上述されたあらゆるコンポーネント及び／又はステップの１つ又は複数の機能は、コンピュータを制御するソフトウェアで実装されてもよい。ソフトウェアは、コンピュータによる実行のための（例えば、磁気ディスク、光学ディスク、ハードドライブ等のような）非一過性の有形コンピュータ可読媒体に組み込まれてもよい。本明細書に記載の通り、図１中に示すデバイス１０４、１０６、１１０、１１２及び１１４は、専用回路を使用して及び／又はコントローラ１０４に接続されたコンピュータ可読媒体１０８に含まれるソフトウェアを使用して、特定の操作を実行してもよい。ソフトウェア命令は、コントローラ１０４及び／又はレンダリングモジュール１０６に、本明細書に記載の１つ又は複数のプロセスを実行させる。選択的に、ハードワイアード回路は、本明細書に記載のプロセスを実行するためのソフトウェア命令の代わりに又はそれとともに使用されてもよい。このように、本明細書に記載の実施形態は、任意のハードウェア回路及びソフトウェアの特定の組合せに限定されない。
【００６２】
本発明は、特定の実施形態を参照するとともに本明細書に説明され、且つ、記載されるが、本発明は、示された詳細に限定されることを意図されるわけではない。むしろ、あらゆる変更は、特許請求の範囲の均等物の領域及び範囲内、及び、本発明から逸脱することなく、細部においてなされてもよい。
【図１】
2020126245.tif 000007
【図２Ａ】
2020126245.tif 000008
【図２Ｂ】
2020126245.tif 000009
【図２Ｃ】
2020126245.tif 000010
【図３】
2020126245.tif 000011
【図４Ａ】
2020126245.tif 000012
【図４Ｂ】
2020126245.tif 000013
【図５】
2020126245.tif 000014
【図６Ａ】
2020126245.tif 000015
【図６Ｂ】
2020126245.tif 000016
【図６Ｃ】
2020126245.tif 000017
【図７】
2020126245.tif 000018
【図８】
2020126245.tif 000019
【図９】
2020126245.tif 000020
【誤訳訂正書】
【提出日】令和2年5月26日(2020.5.26)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】００４１
【訂正方法】変更
【訂正の内容】
【００４１】
３Ｄ・ＬＦカメラ１０２は、視差を有する画像１２８を生成してもよい。一般には、シリンドリカルレンズアレイ２１０の正確な位置は、知られていないが、シリンドリカルレンズ間の基線は、画素ピッチの非整数倍であってもよい。したがって、レンズ２１２の画像中心を配置するために、ステップ６００では白い背景画像が撮影される。口径食によって、ステップ６０２において、シリンドリカルレンズの中心を見積もるために、各小型レンズ画像に沿った最も明るい線が取られる。小型レンズ画像は、シリンドリカル小型レンズ２１２（図２Ｂ）の真下に横たわるピクセルにより形成された画像に言及する。ステップ６００〜６０２は、例えば、システム１００において最初の使用前に、３Ｄ・ＬＦカメラ１０２をキャリブレートするために実行されてもよい。このように、いくつかの例では、ステップ６００〜６０２は、一度に実行され、且つ、結果がストレージ１０８（図１）に記憶される。ステップ６０４〜６１２は、３Ｄ・ＬＦカメラ１０２のキャリブレーションの後でステップ６００〜６０２を実行することなく、ストレージ１０８に記憶されたレンズ中心を使用して実行されてもよい。
【誤訳訂正２】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
シーンを表す光を画像センサに結合されたレンズモジュールを通過させるように指向させるステップであって、
前記レンズモジュールは、スリット形状の開口を有する表面、および、前記画像センサの光軸に沿って位置するシリンドリカルレンズアレイを含み、
前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、ステップと、
３次元（３Ｄ）ライトフィールド（ＬＦ）画像を形成するために、前記レンズモジュールを通過するように指向された前記光を、前記画像センサによりキャプチャするステップと、
前記シリンドリカルレンズアレイ内の各レンズのピッチサイズ、焦点距離及び画像中心に基づいて、描写画像を形成するために前記３Ｄ・ＬＦ画像を、プロセッサにより処理するステップと、を含む、シーンの画像を生成する方法であって、
前記処理するステップは、
（ａ）前記３Ｄ・ＬＦ画像を再フォーカスする前に、基準画像に基づき、前記シリンドリカルレンズアレイ内の各レンズの前記画像中心を配置することを含む所定の焦点距離まで３Ｄ・ＬＦ画像を再フォーカスするステップと、
（ｂ）所定の視点に基づき前記３Ｄ・ＬＦ画像の視点を調整するステップと、
（ｃ）前記３Ｄ・ＬＦ画像から３Ｄステレオスコピックビュー画像を生成するステップと、
のうち少なくとも１つを含む、方法。
【請求項２】
前記光を指向させるステップは、開口形状の光を形成するために、前記光を、前記スリット形状の開口を通って前記レンズモジュールのレンズに向けて指向させるステップと、
前記レンズからの前記開口形状の光を、前記シリンドリカルレンズアレイを介して前記画像センサに向かうように通過させるステップと、を含む、請求項１に記載の方法。
【請求項３】
前記基準画像は、基準シーンのキャプチャされた３Ｄ・ＬＦ画像である、請求項１に記載の方法。
【請求項４】
請求項１に記載の方法であって、前記方法は、前記３Ｄ・ＬＦ画像又は前記描写画像のうち、少なくとも１つを表示するステップをさらに含む、方法。
【請求項５】
シーンを表す光を画像センサに結合されたレンズモジュールを通過させるように指向させるステップであって、
前記レンズモジュールは、スリット形状の開口を有する表面および前記画像センサの光軸に沿って位置するシリンドリカルレンズアレイを含み、
前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、ステップと、
３次元（３Ｄ）ライトフィールド（ＬＦ）画像を形成するために、前記レンズモジュールを通過するように指向された前記光を、前記画像センサによりキャプチャするステップと、
描写画像を形成するために前記３Ｄ・ＬＦ画像を、プロセッサにより処理するステップと、を含む、シーンの画像を生成する方法であって、
前記処理するステップは、所定の焦点距離まで３Ｄ・ＬＦ画像を再フォーカスするステップ、所定の視点に基づき前記３Ｄ・ＬＦ画像の視点を調整するステップ、前記３Ｄ・ＬＦ画像から３Ｄステレオスコピックビュー画像を生成するステップ、および、印刷画像を形成するため、前記３Ｄ・ＬＦ画像又は前記描写画像のうち、少なくとも１つを印刷するステップのうち少なくとも１つを含む、方法。
【請求項６】
前記方法は、３Ｄフォトグラフを形成するために、更なるシリンドリカルレンズアレイの上に前記印刷画像を配置するステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記シーンの複数の３Ｄ・ＬＦ画像をキャプチャするために、前記光を指向すること、及び、前記指向された光を取得すること、を繰り返すステップを更に含む、請求項１に記載の方法。
【請求項８】
３次元（３Ｄ）ライトフィールド（ＬＦ）カメラであって、
レンズの上に設けられたスリット形状の開口を有する表面、あるシーンの少なくとも１つの３Ｄ・ＬＦ画像をキャプチャするように構成された画像センサ、前記画像センサの光軸に沿って、前記画像センサ及び前記レンズの間に配置されたシリンドリカルレンズアレイであって、前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、シリンドリカルレンズアレイ、
を備える、３Ｄ・ＬＦカメラと、
前記シリンドリカルレンズアレイ内の各レンズのピッチサイズ、焦点距離及び画像中心に基づいて、描写画像を形成するために前記３Ｄ・ＬＦ画像を処理するために構成されたプロセッサであって、
前記処理することには、
（ａ）前記３Ｄ・ＬＦ画像を再フォーカスする前に、基準画像に基づき、前記シリンドリカルレンズアレイ内の各レンズの前記画像中心に配置すること、を含む、所定の焦点距離まで３Ｄ・ＬＦ画像を再フォーカスすること、
（ｂ）所定の視点に基づき前記３Ｄ・ＬＦ画像の視点を調整すること、
（ｃ）前記３Ｄ・ＬＦ画像から３Ｄステレオスコピックビュー画像を生成すること、のうち少なくとも１つを含む、プロセッサと、を備える、シーンの画像を生成するシステム。
【請求項９】
請求項８に記載のシステムであって、前記表面、前記レンズ及び前記シリンドリカルレンズアレイは、レンズモジュール内に配置され、前記レンズモジュールは、前記画像センサを含むカメラに結合される、システム。
【請求項１０】
前記レンズモジュールは、前記カメラに取り外し可能に取り付けられるように構成される、請求項９に記載のシステム。
【請求項１１】
前記カメラは、デジタル一眼レフ（ＤＳＬＲ）カメラを含む、請求項９に記載のシステム。
【請求項１２】
前記シリンドリカルレンズアレイは、垂直方向に延びるように配置された複数のシリンドリカルレンズを含む、請求項８に記載のシステム。
【請求項１３】
前記少なくとも１つの３Ｄ・ＬＦ画像は、前記シーンの複数の３Ｄ・ＬＦ画像を含む、請求項８に記載のシステム。
【請求項１４】
前記シリンドリカルレンズアレイは、前記シリンドリカル軸に対応する第１方向において高分解能と、前記第１方向と対向する第２方向において高い角度情報と、を提供するように構成される、請求項８に記載のシステム。
【請求項１５】
前記スリット形状の開口は、ピンボケを軽減するように構成される、請求項８に記載のシステム。
【手続補正書】
【提出日】令和2年4月22日(2020.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーンを表す光を画像センサに結合されたレンズモジュールを通過させるように指向させるステップであって、
前記レンズモジュールは、スリット形状の開口を有する表面、および、前記画像センサの光軸に沿って位置するシリンドリカルレンズアレイを含み、
前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、ステップと、
３次元（３Ｄ）ライトフィールド（ＬＦ）画像を形成するために、前記レンズモジュールを通過するように指向された前記光を、前記画像センサによりキャプチャするステップと、
前記シリンドリカルレンズアレイ内の各レンズのピッチサイズ、焦点距離及び画像中心に基づいて、描写画像を形成するために前記３Ｄ・ＬＦ画像を、プロセッサにより処理するステップと、を含む、シーンの画像を生成する方法であって、
前記処理するステップは、
（ａ）前記３Ｄ・ＬＦ画像を再フォーカスする前に、基準画像に基づき、前記シリンドリカルレンズアレイ内の各レンズの前記画像中心に配置することを含む所定の焦点距離まで３Ｄ・ＬＦ画像を再フォーカスするステップと、
（ｂ）所定の視点に基づき前記３Ｄ・ＬＦ画像の視点を調整するステップと、
（ｃ）前記３Ｄ・ＬＦ画像から３Ｄステレオスコピックビュー画像を生成するステップと、
のうち少なくとも１つを含む、方法。
【請求項２】
前記光を指向させるステップは、開口形状の光を形成するために、前記光を、前記スリット形状の開口を通って前記レンズモジュールのレンズに向けて指向させるステップと、
前記レンズからの前記開口形状の光を、前記シリンドリカルレンズアレイを介して前記画像センサに向かうように通過させるステップと、を含む、請求項１に記載の方法。
【請求項３】
前記基準画像は、基準シーンのキャプチャされた３Ｄ・ＬＦ画像である、請求項１に記載の方法。
【請求項４】
請求項１に記載の方法であって、前記方法は、前記３Ｄ・ＬＦ画像又は前記描写画像のうち、少なくとも１つを表示するステップをさらに含む、方法。
【請求項５】
シーンを表す光を画像センサに結合されたレンズモジュールを通過させるように指向させるステップであって、
前記レンズモジュールは、スリット形状の開口を有する表面および前記画像センサの光軸に沿って位置するシリンドリカルレンズアレイを含み、
前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、ステップと、
３次元（３Ｄ）ライトフィールド（ＬＦ）画像を形成するために、前記レンズモジュールを通過するように指向された前記光を、前記画像センサによりキャプチャするステップと、
描写画像を形成するために前記３Ｄ・ＬＦ画像を、プロセッサにより処理するステップと、を含む、シーンの画像を生成する方法であって、
前記処理するステップは、所定の焦点距離まで３Ｄ・ＬＦ画像を再フォーカスするステップ、所定の視点に基づき前記３Ｄ・ＬＦ画像の視点を調整するステップ、前記３Ｄ・ＬＦ画像から３Ｄステレオスコピックビュー画像を生成するステップ、および、印刷画像を形成するため、前記３Ｄ・ＬＦ画像又は前記描写画像のうち、少なくとも１つを印刷するステップのうち少なくとも１つを含む、方法。
【請求項６】
前記方法は、３Ｄフォトグラフを形成するために、更なるシリンドリカルレンズアレイの上に前記印刷画像を配置するステップをさらに含む、請求項５に記載の方法。
【請求項７】
前記シーンの複数の３Ｄ・ＬＦ画像をキャプチャするために、前記光を指向すること、及び、前記指向された光を取得すること、を繰り返すステップを更に含む、請求項１に記載の方法。
【請求項８】
３次元（３Ｄ）ライトフィールド（ＬＦ）カメラであって、
レンズの上に設けられたスリット形状の開口を有する表面、あるシーンの少なくとも１つの３Ｄ・ＬＦ画像をキャプチャするように構成された画像センサ、前記画像センサの光軸に沿って、前記画像センサ及び前記レンズの間に配置されたシリンドリカルレンズアレイであって、前記スリット形状の開口の長手方向は、前記シリンドリカルレンズアレイのシリンドリカル軸と直交するように配置される、シリンドリカルレンズアレイ、
を備える、３Ｄ・ＬＦカメラと、
前記シリンドリカルレンズアレイ内の各レンズのピッチサイズ、焦点距離及び画像中心に基づいて、描写画像を形成するために前記３Ｄ・ＬＦ画像を処理するために構成されたプロセッサであって、
前記処理することには、
（ａ）前記３Ｄ・ＬＦ画像を再フォーカスする前に、基準画像に基づき、前記シリンドリカルレンズアレイ内の各レンズの前記画像中心に配置すること、を含む、所定の焦点距離まで３Ｄ・ＬＦ画像を再フォーカスすること、
（ｂ）所定の視点に基づき前記３Ｄ・ＬＦ画像の視点を調整すること、
（ｃ）前記３Ｄ・ＬＦ画像から３Ｄステレオスコピックビュー画像を生成すること、のうち少なくとも１つを含む、プロセッサと、を備える、シーンの画像を生成するシステム。
【請求項９】
請求項８に記載のシステムであって、前記表面、前記レンズ及び前記シリンドリカルレンズアレイは、レンズモジュール内に配置され、前記レンズモジュールは、前記画像センサを含むカメラに結合される、システム。
【請求項１０】
前記レンズモジュールは、前記カメラに取り外し可能に取り付けられるように構成される、請求項９に記載のシステム。
【請求項１１】
前記カメラは、デジタル一眼レフ（ＤＳＬＲ）カメラを含む、請求項９に記載のシステム。
【請求項１２】
前記シリンドリカルレンズアレイは、垂直方向に延びるように配置された複数のシリンドリカルレンズを含む、請求項８に記載のシステム。
【請求項１３】
前記少なくとも１つの３Ｄ・ＬＦ画像は、前記シーンの複数の３Ｄ・ＬＦ画像を含む、請求項８に記載のシステム。
【請求項１４】
前記シリンドリカルレンズアレイは、前記シリンドリカル軸に対応する第１方向において高分解能と、前記第１方向と対向する第２方向において高い角度情報と、を提供するように構成される、請求項８に記載のシステム。
【請求項１５】
前記スリット形状の開口は、ピンボケを軽減するように構成される、請求項８に記載のシステム。
【外国語明細書】
2020126245000001.pdf