(57)【要約】いくつかの装置および方法があるシーンに対応する画像データを捕捉し、生成しおよび／または出力することに向けられている。一態様において、その方法は、（ｉ）シーンからのライト・フィールドを表わすライト・フィールド・データを捕捉すること、（ｉｉ）光線がどのようにデータ捕捉装置を経て光学的に伝播するかを表わす構成データを捕捉すること、（ｉｉｉ）ライト・フィールド・データの焦点または焦点深度とは異なる焦点または焦点深度を含む第１の画像データを、ライト・フィールド・データと構成データとを用いて生成すること、（ｉｖ）（ａ）第１の画像データと、（ｂ）ライト・フィールド・データと、（ｃ）構成データとを含む第１の電子データ・ファイルを生成すること、および（ｖ）第１の電子データ・ファイルを出力することを含む。【選択図】図１９
2012524467.tif 000002
【特許請求の範囲】
【請求項１】
あるシーンに対応する画像データを生成し、出力する方法であって、
前記シーンからライト・フィールドを表わすライト・フィールド・データを捕捉することであって、前記ライト・フィールド・データがデータ捕捉装置を用いて捕捉される、ライト・フィールド・データを捕捉すること、
光線がどのように前記データ捕捉装置を経て光学的に伝播するかを表わす構成データを捕捉すること、
前記ライト・フィールド・データと前記構成データとを用いて第１の画像データを生成することであって、前記第１の画像データが前記ライト・フィールド・データの焦点または焦点深度とは異なる焦点または焦点深度を含む、第１の画像データを生成すること、
（ｉ）前記第１の画像データと、（ｉｉ）前記ライト・フィールド・データと、（ｉｉｉ）前記構成データとを含む第１の電子データ・ファイルを生成すること、および
前記第１の電子データ・ファイルを出力することを含む、方法。
【請求項２】
前記第１の電子データ・ファイルを生成することは、さらに、前記第１の電子データ・ファイルの前記第１の画像データを標準画像フォーマットに配列することを含む、請求項１に記載の方法。
【請求項３】
前記第１の電子データ・ファイルを生成することは、さらに、前記第１の電子データ・ファイルの前記第１の画像データをＪＰＥＧフォーマットに配列することを含む、請求項１に記載の方法。
【請求項４】
第１の電子データ・ファイルを生成することは、さらに、前記第１の画像データと前記ライト・フィールド・データとを交互配置し、スレッド化し、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化することを含む、請求項２に記載の方法。
【請求項５】
第１の電子データ・ファイルを生成することは、さらに、前記第１のデータ・ファイルのヘッダを生成することを含み、前記ヘッダは前記構成データを含む、請求項２に記載の方法。
【請求項６】
さらに、前記第１の電子データ・ファイルを読み込むこと、
前記第１の画像データを表示すること
ユーザ入力を受け取ること
前記ユーザ入力に応答して、（ｉ）前記電子データ・ファイルの前記ライト・フィールド・データと、（ｉｉ）前記構成データとを用いて第２の画像データを生成することであって、該第２の画像データが前記第１の画像データとは異なる、第２の画像データを生成すること、
（ｉ）前記第２の画像データと、（ｉｉ）前記ライト・フィールド・データと、（ｉｉｉ）前記構成データとを含む第２の電子データ・ファイルを生成すること、および
前記第２の電子データ・ファイルを出力することを含む、請求項２に記載の方法。
【請求項７】
前記第２の画像データは、記第１の画像データの焦点または焦点深度とは異なる焦点または焦点深度を含む、請求項６に記載の方法。
【請求項８】
前記第２の電子データ・ファイルを生成することは、さらに、前記第２の電子データ・ファイルの前記第２の画像データを標準画像フォーマットに配列することを含む、請求項７に記載の方法。
【請求項９】
第２の電子データ・ファイルを生成することは、さらに、前記第２の画像データと前記ライト・フィールド・データとを交互配置し、スレッド化し、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化することを含む、請求項６に記載の方法。
【請求項１０】
さらに、圧縮されたライト・フィールド・データを生成するために前記ライト・フィールド・データを圧縮することを含み、前記第１の電子データ・ファイルの前記ライト・フィールド・データは前記圧縮されたライト・フィールド・データからなる、請求項２に記載の方法。
【請求項１１】
構成データを捕捉することは、Ｎビットの鍵を捕捉することを含み、
前記方法は、さらに、前記Ｎビットの鍵を予め定められた光学モデル・データと関連付けることにより光学モデル・データを定めることを含み、
第１の画像データを生成することは、前記ライト・フィールド・データと前記光学モデル・データとを用いて第１の画像データを生成することを含む、請求項２に記載の方法。
【請求項１２】
さらに、前記第１の電子データ・ファイルを読み込むこと、
前記第１の画像データを表示すること
ユーザ入力を受け取ること
前記ユーザ入力に応答して、（ｉ）前記電子データ・ファイルの前記ライト・フィールド・データと、（ｉｉ）前記構成データとを用いて第２の画像データを生成することであって、該第２の画像データが前記第１の画像データとは異なる、第２の画像データを生成すること、
（ｉ）前記第２の画像データを含む第２の電子データ・ファイルを生成すること、および
前記第２の電子データ・ファイルを出力することを含む、請求項２に記載の方法。
【請求項１３】
前記第２の画像データは、記第１の画像データの焦点または焦点深度とは異なる焦点または焦点深度を含む、請求項１２に記載の方法。
【請求項１４】
前記第２の電子データ・ファイルを生成することは、さらに、前記第２の電子ファイルの前記第２の画像データを標準画像フォーマットに配列することを含む、請求項１３に記載の方法。
【請求項１５】
前記構成データは、前記ライト・フィールド・データの捕捉と関連する開口関数または射出瞳を表わすデータを含む、請求項１に記載の方法。
【請求項１６】
前記構成データは、前記データ捕捉装置の捕捉された二次元光線のピクセル値上の二次元位置から、前記シーンからの前記ライト・フィールドの四次元パラメータ化に対応付けることを表わすデータを含む、請求項１に記載の方法。
【請求項１７】
メモリに保存されている第１の電子データ・ファイルを読み込むための読み込み電気回路であって、前記第１の電子データ・ファイルが（ｉ）第１の画像データ、（ｉｉ）あるシーンからのライト・フィールドを表わすライト・フィールド・データおよび（ｉｉｉ）光線がどのようにライト・フィールド・データ捕捉装置を経て光学的に伝播するかを表わす構成データを含む、読み込み電気回路と、
前記第１の画像データを用いて前記シーンの画像を視覚的に出力するためのディスプレイと、
ユーザ入力を受け取るためのユーザ・インタフェースと、
前記ライト・フィールド・データ捕捉装置の光学モデルを表わす光学モデル・データを前記構成データを用いて定め、前記ユーザ入力に応答して、前記ライト・フィールド・データおよび前記光学モデル・データを用いて、前記第１の画像データの焦点または焦点深度とは異なる焦点または焦点深度を含む第２の画像データを生成し、前記第２の画像データを含む第２の電子データ・ファイルを生成するために、前記読み込み電気回路、ディスプレイ及びユーザ・インタフェースに結合する処理電気回路と、
前記処理電気回路に結合され、前記第２の電子データ・ファイルを前記メモリに書き込む書き込み電気回路とを含む、システム。
【請求項１８】
前記第２の電子データ・ファイルは、さらに、（ｉ）前記シーンからのライト・フィールドを表わす前記ライト・フィールド・データと、（ｉｉ）前記構成データおよび／または前記光学モデル・データとを含む、請求項１７に記載のシステム。
【請求項１９】
前記構成データは、前記ライト・フィールド・データを捕捉した前記ライト・フィールド・データ捕捉装置と関連する開口関数または射出瞳を表わすデータを含む、請求項１８に記載のシステム。
【請求項２０】
前記処理電気回路は、前記第２の画像データと前記ライト・フィールド・データとを交互配置し、スレッド化し、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化することにより前記第２の電子データ・ファイルを生成する、請求項１８に記載のシステム。
【請求項２１】
前記第２の電子データ・ファイルはヘッダを含み、前記ヘッダは前記構成データおよび／または前記光学モデル・データを含む、請求項１８に記載のシステム。
【請求項２２】
前記処理回路は、圧縮されたライト・フィールド・データを生成するために前記ライト・フィールド・データを圧縮することにより前記第１の電子データ・ファイルを生成する、請求項１８に記載のシステム。
【請求項２３】
前記処理電気回路は、前記第２の電子データ・ファイルの前記第２の画像データを標準画像フォーマットに配列する、請求項１７に記載のシステム。
【請求項２４】
前記処理電気回路は、前記第２の電子データ・ファイルの前記第２の画像データをＪＰＥＧフォーマットに配列する、請求項１７に記載のシステム。
【請求項２５】
前記第１の電子データ・ファイルの前記構成データはＮビットの鍵を含み、前記処理電気回路は、前記Ｎビットの鍵を複数の異なる予め定められた光学モデル・データと関連付けることにより前記光学モデル・データを定める、請求項１７に記載のシステム。
【請求項２６】
あるシーンのライト・フィールド画像データを捕捉するためのライト・フィールド捕捉装置であって、
光学であって、光路と、
ライト・フィールド画像データを捕捉するために前記光学の光路に配置されたライト・フィールド・センサと、
ユーザ入力を受け取るためのユーザ・インタフェースであって、前記ユーザ入力に応答して、前記ライト・フィールド・センサが前記シーンの前記ライト・フィールド画像データを捕捉する、ユーザ・インタフェースとを含む、光学と、
電子データ・ファイルを生成しまた出力するために前記ライト・フィールド・センサと前記ユーザ・インタフェースとに結合された処理電気回路であって、該処理電気回路が光線がどのように前記光学と前記ライト・フィールド・センサとを光学的に伝播するかを表わす構成データを定め、また前記電子データ・ファイルを生成し、出力し、前記電子データ・ファイルが（ｉ）画像データ、（ｉｉ）前記シーンからのライト・フィールドを表わすライト・フィールド・データ、および（ｉｉｉ）構成データを含む、処理電気回路と、
前記電子データ・ファイルを保存するために前記処理電気回路に結合されたメモリとを含む、ライト・フィールド捕捉装置。
【請求項２７】
前記構成データは、前記ライト・フィールド捕捉装置の開口関数または射出瞳を表わすデータを含む、請求項２６に記載の装置。
【請求項２８】
前記構成データは、捕捉された二次元光線のピクセル値上の二次元位置から、前記シーンからの前記ライト・フィールドの四次元パラメータ化に対応付けることを表わすデータを含む、請求項２６に記載の装置。
【請求項２９】
前記処理電気回路は、前記画像データと前記ライト・フィールド・データとを交互配置し、スレッド化し、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化することにより前記電子データ・ファイルを生成する、請求項２６に記載の装置。
【請求項３０】
前記処理電気回路は前記構成データを含むヘッダを生成し、前記電子データ・ファイルは前記ヘッダを含む、請求項２６に記載の装置。
【請求項３１】
前記処理電気回路は、圧縮されたライト・フィールド・データを生成するために前記ライト・フィールド・データを圧縮することにより前記電子データ・ファイルを生成し、前記電子データ・ファイルの前記ライト・フィールド・データは圧縮されたライト・フィールド・データからなる、請求項２６に記載の装置。
【請求項３２】
前記処理電気回路は、前記電子データ・ファイルの前記画像データを標準画像フォーマットに配列する、請求項２６に記載の装置。
【請求項３３】
前記処理電気回路は、前記電子データ・ファイルの前記画像データをＪＰＥＧフォーマットに配列する、請求項２６に記載の装置。
【請求項３４】
前記電子データ・ファイルの前記構成データは、予め定められた光学モデル・データを表わすＮビットの鍵を含む、請求項２６に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
この出願は、２００９年４月１８日に出願された、発明の名称を「ライト・フィールド・カメラ画像、ファイルおよび構成データ、および、これらを使用、保存および伝達する方法」（Light Field Camera Image, File and Configuration Data,
and Method of Using, Storing and Communicating Same）とする米国仮出願番号第６１／１７０、６２０号に基づく優先権を主張する。米国仮出願番号第６１／１７０、６２０号の内容は、全体として、本明細書に参照により組み込まれている。
【０００２】
序論
一態様において、本発明群は、特に、ライト・フィールド・データ（詳細な説明において規定されているような）または情報を捕捉するライト・フィールド・データ捕捉装置（同様に詳細な説明に規定されているような、例えば、ライト・フィールド・カメラ）、このような装置に関する後処理システム、およびこのようなカメラ及びシステムを使用する方法に向けられている。他の態様において、本発明群は、前記装置によって獲得されまたは捕捉された画像データの後処理に使用されたライト・フィールド・データ捕捉装置の１以上の特徴、パラメータおよび／または構成を取得し、導出し、計算し、推定し、決定し、保存しおよび／または記録することに向けられている。さらに他の態様において、本発明群は、（ｉ）このような特徴、パラメータおよび／または構成、および／または、（ｉｉ）画像データ捕捉装置の光学的および／または幾何学的モデル（例えば、ある捕捉ライト・フィールド・データに関連する画像データ捕捉装置の光学的および／または幾何学的モデル）を表しおよび／またはこれを生成し、導出し、計算し、推定しおよび／または決定することに使用される情報を提供しまたは伝達することに向けられている。特に、前記ライト・フィールド・カメラのこのような特徴、パラメータおよび／または構成は、このようなカメラおよび／またはシステムが、例えばあるシーンのライト・フィールド・データを生成し、取り扱いおよび／または編集する（例えば、ライト・フィールド・データおよび／または情報の最初の捕捉または記録後、焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する）ことを容易にする。（米国特許出願公開第２００７／０２５２０７４号およびそれが優先権を主張する複数の仮出願（すなわち、出願番号第６０／６１５，１７９号および第６０／６４７，４９２号）、および、Ren Ngの博士論文「デジタル・ライト・フィールド・フォトグラフィ」、スタンフォード大学  ２００６年を参照。これらの全てが本明細書に、全体的に、参照により組み込まれている。また、図１Ａおよび１Ｂのライト・フィールド・カメラのブロック図を参照）。
【発明の概要】
【０００３】
一実施形態において、前記ライト・フィールド・データ捕捉装置の特徴、パラメータおよび／または構成は、前記画像データ捕捉装置の光学的および／または幾何学的モデルを表わす情報を提供する（例えば、カメラの光学（例えば、任意のタイプの１以上のレンズ）、前記ライト・フィールド・データまたは情報を取得および／または捕捉するための画像センサ、および、前記画像データ捕捉装置の要素間の相対距離を含む）。このように、後処理電気回路（例えば、画像データ捕捉装置（図１Ｂ参照）内に配置されまたはこれに組み込まれた電気回路、または、前記画像データ捕捉装置（図１Ｃ参照）の外部にある後処理電気回路）は、前記ライト・フィールド・データ捕捉装置のこのような特徴、パラメータおよび／または構成を取得し、受け取り、捕捉しおよび／または決定し、また、例えばあるシーンの画像データおよび／または情報を生成し、取り扱いおよび／または編集するために前記画像センサに関連する複数の画像センサ・ピクセル値の１つ、そのいくつかまたはその全てに対応する光線幾何学を決定し、分析しおよび／または解釈する（例えば、前記画像データまたは情報の最初の捕捉および／または記録後、焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する）。
【０００４】
前記ライト・フィールド・データ捕捉装置の特徴、パラメータおよび／または構成を表わすデータ（以下、集合的に「構成データ」）は、前記捕捉装置（例えば、ライト・フィールド・カメラ）の画像センサによるライト・フィールド・データの収集または捕捉の前、その間および／またはその後に取得され、決定されおよび／または記録される。このような構成データは、同一のデータ・ファイルおよび／またはファイル・フォーマット内に関連のライト・フィールド・データとして、あるいは、異なるデータ・ファイルおよび／または異なるファイル・フォーマット内に関連のライト・フィールド・データとして保存される。いくつかの実施形態において、前記構成データ・ファイルは、それぞれがライト・フィールド・データを含む複数のファイルに関連する。
【０００５】
後処理が「カメラに映らないところで」またはライト・フィールド・データ捕捉装置とは別個の装置またはシステムで実行される場合には、このような構成データは前記画像データと共にまたはこれとは別個に外部の後処理システムに送られ、提供されおよび／または伝達される。実際には、前記データは連続的に、または、前記ライト・フィールド・データを含む電子データ・ファイルと同時に送られる。
【０００６】
特に、ライト・フィールド・データ捕捉装置の特徴が、前記ライト・フィールド・センサ（マイクロレンズ・アレイおよび光センサ・アレイを含む）がデータ捕捉の間に位置決められた物理面に関して様々な虚像面に対応する、様々な深度にわたって焦点を合わされた複数の画像をコンピュータで計算する能力をユーザに与える。図２Ａを参照すると、この焦点合わせの範囲は、物理的ライト・フィールド・センサ面に関して距離εごとの（虚）像面深度の範囲に対応する。
【０００７】
図２Ａにおいて、
・レンズ面はレンズ群の主平面として特徴付けられ、これらの発明は任意のレンズ構成および／またはシステムに適用可能であるが、説明図においてレンズの薄レンズ単純化を用いると都合が良い。
・遠焦点面は、ライト・フィールドの後画像データ捕捉焦点合わせ技術を使って予め定められた焦点、例えば鋭く焦点を合わされることが可能である世界の最も遠い対象と光学的に共役な虚面として特徴付けられる。
・焦点面は、光学的無限遠から発する光線群が光学によって最も鋭く焦点を合わされる面として特徴付けられる。
・ライト・フィールド・センサ面は、ライト・フィールド・センサ（例えば、マイクロレンズ・アレイおよび画像センサ組立体）のマイクロレンズ・アレイが物理的に置かれているデータ捕捉装置における面として特徴付けられる。
・近焦点面は、ライト・フィールドの焦点を合わせるソフトウエアを介して鋭く焦点を合わされることが可能である世界の最も近い対象と光学的に共役な虚面として特徴付けられる。
・ｖは、前記レンズ面と前記ライト・フィールド・センサ面との間の距離に等しい。
・Ｓ１およびε２は、露出後すなわち画像データの捕捉後に鋭く焦点を合わされることが可能である前記ライト・フィールド・センサ面からの最大距離に等しい。
【０００８】
引き続き図２Ａを参照すると、前記「世界」すなわち前記ライト・フィールド・データ捕捉装置の外部の全てのものは前記レンズ面の左側にあり、前記装置内は前記レンズ面の右側に示されている。特に、図２Ａは正確な縮尺で描かれておらず、実際に、ε１およびε２はｖよりより小さいことが多い（例えば、ε１＜０．０１＊ｖおよびε２＜０．０１＊ｖ）
【０００９】
ここに宣言するように、本発明群は、焦点を再び合わせることができるデータまたは情報を捕捉または獲得する、ライト・フィールド・データ捕捉装置、および／または、焦点を再び合わせることができる画像データのようなものを捕捉し、生成し、取り扱いおよび／または編集するプロセス又は方法の関連においてしばしば説明されるが、本発明群は、再び焦点を合わせることができる画像データを捕捉し、生成させ、取り扱いおよび／または編集する他のシステム、装置、プロセスおよび／または方法に適用可能である。この点において、再び焦点を合わせることができる画像データは、たとえ捕捉されまたは取得されても、前記データまたは情報の捕捉または記録後に焦点を合わされおよび／または再び焦点を合わされる画像データまたは情報である。例えば、一実施形態において、再び焦点を合わせることができる画像データまたは情報は、例えばライト・フィールド・データ捕捉装置を介して捕捉されまたは取得されたライト・フィールド・データまたは情報である。
【００１０】
特に、以下に説明するように、ライト・フィールド・データまたは情報を生成し、取り扱いおよび／または編集する技術は、前記ライト・フィールド・データ捕捉装置上／内の電気回路および技術および／または外部後処理システムにより実施される。重要なことは、本発明群が、１つの態様または実施形態、これらの態様および／または実施形態の組み合わせおよび／または置換のいずれにも限定されないことである。さらに、本発明群の各態様、および／または、その実施形態は、単独でまたは本発明群の他の態様および／または実施形態の組み合わせにおいて用いられる。簡潔にするため、本明細書においてはこれらの置換および組み合わせの多くは、別個には説明および／または示されない。
【００１１】
本発明群のいくつかの態様の概要
本明細書には多くの発明が記載されまた示されている。本発明群は、１つの態様又は実施形態、これらの態様および／または実施形態の組み合わせおよび／または置換のいずれにも限定されない。さらに、本発明群の各態様、および／または、その実施形態は、単独でまたは本発明群の１以上の他の態様および／または実施形態において用いられる。簡潔にするため、本明細書においてはこれらの置換および組み合わせの多くは、別個には説明されない。
【００１２】
第１の主要な態様において、本発明群のいくつかがあるシーンに対応する画像データを生成しまた出力する方法に向けられ、（ａ）前記シーンからのライト・フィールドを表わすライト・フィールド・データを捕捉することであって、前記ライト・フィールド・データがデータ取得装置を用いて取得される、ライト・フィールド・データを捕捉すること、（ｂ）光線群がどのように前記データ捕捉装置を経て光学的に伝播するかを表わす構成データを捕捉すること、（ｃ）前記ライト・フィールド・データと前記構成データとを用いて第１の画像データを生成することであって、前記第１の画像データが前記ライト・フィールド・データの焦点又は焦点深度とは異なる焦点又は焦点深度を含む、第１の画像データを生成すること、（ｅ）（１）第１の画像データ、（２）前記ライト・フィールド・データおよび（３）前記構成データを含む第１の電子データ・ファイルを生成すること、および（ｆ）前記第１の電子データ・ファイルを出力すること（例えば、メモリ、処理電気回路、標準表示機構（プリンタまたはディスプレイのような）に）を含む。
【００１３】
一実施形態において、前記第１の電子データ・ファイルを生成することは、さらに、前記第１の電子データ・ファイルの第１の画像データを標準画像フォーマット（例えば、ＪＰＥＧ、ＥＸＩＦ、ＢＭＰ、ＰＮＧ、ＰＤＦ、ＴＩＦＦおよび／またはＨＤの写真データフォーマット）に配列することを含む。他の実施形態では、前記第１の電子データ・ファイルを生成することは、さらに、前記第１の画像データおよび前記ライト・フィールド・データについて交互配置し、スレッド化し（threading）、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化する(meshing)ことを含む。実際には、前記第１の電子データファイを生成することは、さらに、前記第１の電子データ・ファイルのヘッダを生成することを含む。
【００１４】
本発明群のこの態様の方法は、さらに、（ｇ）前記第１の電子データ・ファイルを読み込むこと、（ｈ）前記第１の画像データを表示すること、（ｉ）ユーザ入力を受け取ること、（ｊ）（１）前記電子データ・ファイルのライト・フィールド・データと（２）前記構成データとを用いて、前記ユーザ入力に応答して、第２の画像データを生成することであって、前記第２の画像データが前記第１の画像データとは異なる、第２の画像データを生成すること、（ｋ）（１）第２の画像データと（２）前記ライト・フィールド・データと（３）前記構成データとを含む第２の電子データ・ファイルを生成すること、および、（ｌ）前記第２の電子データ・ファイルを出力すること（例えば、メモリ、処理電気回路、標準表示機構（例えば、プリンタまたはディスプレイのような）に）を含む。
【００１５】
前記第２の画像データは、前記第１の画像データの焦点又は焦点深度とは異なる焦点又は焦点深度を含む。さらに、前記第２の画像データは、標準画像フォーマットに配列される。特に、第２の電子データ・ファイルを生成することは、さらに、前記第２の画像データおよび前記ライト・フィールド・データについて交互配置し、スレッド化し、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化することを含む。
【００１６】
本発明群のこの態様の方法は、さらに、圧縮されたライト・フィールド・データを生成するために前記ライト・フィールド・データを圧縮することを含み、前記第１の電子データ・ファイルのライト・フィールド・データは前記圧縮されたライト・フィールド・データからなる。
【００１７】
他の実施形態において、前記方法は、さらに、（ｇ）前記第１の電子データ・ファイルを読み込むこと、（ｈ）前記第１の画像データを表示すること、（ｉ）ユーザ入力を受け取ること、（ｊ）（１）前記電子データ・ファイルのライト・フィールド・データと（２）前記構成データとを用いて、前記ユーザ入力に応答して、第２の画像データを生成することであって、前記第２の画像データが前記第１の画像データとは異なる、第２の画像データを生成すること、（ｋ）前記第２の画像データを含む第２の電子データ・ファイルを生成すること、および、（ｌ）前記第２の電子データ・ファイルを出力することを含む。
【００１８】
一実施形態において、構成データを捕捉することはＮビットの鍵を捕捉することを含み、前記方法はさらに前記Ｎビットの鍵を予め定められた光学モデル・データに関連付けることにより光学モデル・データを決定することを含み、ここにおいて前記第１の画像データを生成することは前記ライト・フィールド・データと前記光学モデル・データとを用いて第１の画像データを生成することを含む。
【００１９】
前記構成データは、前記ライト・フィールド・データに関連する開口関数または射出瞳を表わすデータを含む。これに加えて、またはこれに代えて、前記構成データは、前記データ捕捉装置の捕捉二次元アレイの複数のピクセル値上の２次元位置から前記シーンからのライト・フィールドの４次元パラメータ化への対応付けを表わすデータを含む。
【００２０】
他の主要な態様において、本発明群のいくつかは、あるシーンの画像を生成するためのシステムに向けられ、メモリに保存されている第１の電子データ・ファイルを読み込むための読み込み電気回路を含み、ここにおいて前記第１の電子データ・ファイルは（ｉ）第１の画像データと、（ｉｉ）前記シーンからのライト・フィールドを表わすライト・フィールド・データと、（ｉｉｉ）光線群がどのようにライト・フィールド・データ捕捉装置を経て光学的に伝播するかを表わす構成データとを含む。前記システムは、さらに、ディスプレイであって、前記第１の画像データと、ユーザ入力を受け取るためのユーザ・インタフェースと、前記読み込み電気回路、前記ディスプレイ及び前記ユーザ・インタフェースに結合された処理電気回路とを用いて画像を視覚的に出力するためのディスプレイを含み、（ｉ）前記ライト・フィールド・データ捕捉装置の光学モデルを表わす光学モデル・データを、前記構成データを用いて決定し、（ｉｉ）前記ユーザ入力に応答して、前記ライト・フィールド・データと前記光学モデル・データとを用いて、前記第１の画像データの焦点または焦点深度とは異なる焦点または焦点深度を含む第２の画像データを生成し、（ｉｉｉ）前記第２の画像データを含む第２の電子データ・ファイルを生成する。この特定のシステムは、さらに、前記メモリに前記第２の電子データ・ファイルを書き込むために前記処理電気回路に結合された書き込み電気回路を含む。
【００２１】
一実施形態では、前記第２の電子データ・ファイルが、さらに、（ｉ）前記シーンからのライト・フィールドを表わすライト・フィールド・データと、（ｉｉ）前記構成データおよび／または前記光学モデル・データとを含む。前記構成データは、前記ライト・フィールド・データを捕捉した前記ライト・フィールド・データ捕捉装置に関連する開口関数または射出瞳を表わすデータを含む。
【００２２】
前記処理電気回路は、前記第２の画像データと前記ライト・フィールド・データとについて交互配置し、スレッド化し、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化することにより、前記第２の電子データ・ファイルを生成する。これに加えて、またはこれに代えて、前記第２の電子データ・ファイルはヘッダを含み、あるいは、前記処理電気回路が前記第２の電子データ・ファイルのヘッダを生成し、ここにおいて前記ヘッダは前記構成データおよび／または前記光学モデル・データを含む。実際には、前記処理電気回路は、圧縮されたライト・フィールド・データを生成するために前記ライト・フィールド・データを圧縮することにより前記第１の電子データ・ファイルを生成し、また、ここにおいて前記第２の電子データ・ファイルのライト・フィールド・データは前記圧縮されたライト・フィールド・データからなる。
【００２３】
一実施形態において、前記処理電気回路は、前記第１の画像データおよび／または前記第２の電子データ・ファイルの第２の画像データを標準画像フォーマット（例えば、ＪＰＥＧ、ＥＸＩＦ、ＢＭＰ、ＰＮＧ、ＰＤＦ、ＴＩＦＦおよび／またはＨＤの写真データフォーマット）に配列する。
【００２４】
一実施形態において、前記第１の電子データ・ファイルの構成データはＮビットの鍵を含み、ここにおいて前記処理電気回路は、前記Ｎビットの鍵を複数の異なる、予め定められた光学モデル・データと関連付けることにより、前記光学モデル・データを定める。
【００２５】
他の主要な態様において、本発明群のいくつかは、あるシーンのライト・フィールド・データを捕捉するためのライト・フィールド・データ捕捉装置に向けられ、複数の光学と、ライト・フィールド画像データを捕捉するために前記光学の光路中に配置されたライト・フィールド・センサと、ユーザ入力を受け取るためのユーザ・インタフェースであって、前記ユーザ入力に応答して、前記ライト・フィールド・センサが前記シーンのライト・フィールド画像データを捕捉する、ユーザ・インタフェースと、電子データ・ファイルを生成しまた出力するために前記ライト・フィールド・センサと前記ユーザ・インタフェースとに結合された処理電気回路とを含み、該処理電気回路が、（ａ）光線群がどのように前記光学と前記ライト・フィールド・センサとを経て光学的に伝播するかを表わす構成データを定め、また、（ｂ）前記電子データ・ファイルを生成しまた出力し、ここにおいて、前記電子データ・ファイルが、（ｉ）画像データ（標準画像フォーマットに配列される）と、（ｉｉ）前記シーンからのライト・フィールドを表わすライト・フィールド・データと、（ｉｉｉ）構成データ（例えば、（１）前記ライト・フィールド捕捉装置の開口関数または射出瞳を表わすデータおよび／または捕捉された二次元アレイのピクセル値上の２次元位置から前記シーンからのライト・フィールドの４次元パラメータ化への対応付けを表わすデータ）とを含む。本発明群のこの態様のライト・フィールド捕捉装置は、さらに、前記電子データ・ファイルを保存するために前記処理電気回路に結合されたメモリを含む。
【００２６】
一実施形態において、前記処理電気回路は前記画像データと前記ライト・フィールド・データとについて交互配置し、スレッド化し、透かしを入れ、符号化し、多重化しおよび／またはメッシュ化することにより、前記電子データ・ファイルを生成する。他の実施形態では、前記処理回路はヘッダを形成することにより前記電子データ・ファイルを生成させ、ここにおいて前記ヘッダは前記構成データを含む。実際には、他の実施形態では、前記処理電気回路は、圧縮されたライト・フィールド・データを生成するために前記ライト・フィールド・データを圧縮することにより前記電子データ・ファイルを生成し、また、ここにおいて前記電子データ・ファイルのライト・フィールド・データは前記圧縮されたライト・フィールド・データからなる。
【００２７】
前記電子データ・ファイルの構成データは、予め定められた光学モデル・データを表わすＮビットの鍵を含む。
【００２８】
他の実施形態において、前記処理電気回路は前記電子データ・ファイルのヘッダを生成し、ここにおいて、前記ヘッダは前記構成データおよび／または前記光学モデル・データを含む。
【００２９】
再び、多くの発明があり、また、これらの発明群の態様が本明細書に記載されかつ示されている。この概要は、本発明群の範囲を網羅するものではない。実際、この概要は、本明細書におけるまたはこれに関する継続／分割出願の特許請求の範囲によって保護される発明群を反映するものではなく、あるいはこれらの発明と相互に関連するものではない。
【００３０】
さらに、この概要は本発明群または特許請求の範囲の限定であることを意図するものでなく（現在示されている特許請求の範囲であれ、分割／継続出願の特許請求の範囲であれ）、また、そのように解釈されるべきでない。この概要にいくつかの実施形態が説明されおよび／または概説されたが、本発明群はこのような実施例群、説明および／または概説に限定されず、また、そのように限定された特許請求の範囲でもないと理解されるべきである（また、この概要によって限定されているように解釈されるべきでない）。
【００３１】
実際には、多くの他の態様、発明および実施形態は、これらがこの概要に表わされた態様群、発明群および実施形態群と異なりおよび／または似ているが、続く説明、図および特許請求の範囲から明らかとなろう。加えて、様々な特徴、特性および利点がこの概要に記載されおよび／またはこれに照らして明らかであるが、このような特徴、特性および利点は、本発明群の実施形態の１つ、そのいくつかまたはその全部においてであるかを問わず必ずしも必要とされず、また、実際に、本発明群の実施形態群のいずれにもおいても必ずしも存在する必要はない。
【００３２】
続く詳細な説明を通じて、添付図面について述べる。これらの図面は本発明群の異なる態様を示し、異なる図において似た構造、構成材、材料および／または要素を示す適当な参照番号が同様に付されている。特に示された構造、構成材、材料および／または要素の様々な組み合わせ以外の組み合わせが予期され、また本発明群の範囲内にあることが認識される。
【００３３】
さらに、多くの発明がここに記載されまた図示されている。本発明群は、これらのうちの任意の一つの態様または実施形態にも、また、このような態様および／または実施形態のいかなる組み合わせおよび／または置換にも限定されない。さらに、本発明群の各態様、および／またはその実施形態は単独で、あるいは本発明群の１以上の他の態様および／またはその実施形態との組み合わせにおいて用いられる。簡潔にするため、これらの置換および組み合わせの多くはここでは別個に説明されずおよび／または図示されない。
【図面の簡単な説明】
【００３４】
【図１Ａ】典型的なライト・フィールド・データ捕捉装置を表わすブロック図である。
【図１Ｂ】特に、内部に組み込まれた後処理電気回路を含む典型的なライト・フィールド・データ捕捉装置を表わすブロック図である。
【図１Ｃ】ライト・フィールド・データ捕捉装置と後処理電気回路とを含む典型的なライト・フィールド・データ捕捉システムを表わすブロック図である。
【図１Ｄ】ライト・フィールド・データを保存するためのメモリ（内部に組み込まれている）を含む典型的なライト・フィールド・データ捕捉装置を表わすブロック図である。
【図１Ｅ】特に、内部に組み込まれた後処理電気回路とメモリとを含む典型的なライト・フィールド・データ捕捉装置を表わすブロック図である。
【図１Ｆ】ライト・フィールド・データ捕捉装置と後処理電気回路とを含む典型的なライト・フィールド・データ捕捉システムを表わすブロック図である。
【図１Ｇ】ライト・フィールド・データを記録し、捕捉し、サンプリングを行いおよび／または獲得するための光学、符号化開口およびセンサを含み、内部に組み込まれたメモリを含む典型的なライト・フィールド・データ捕捉装置のブロック図である。
【図１Ｈ】ライト・フィールド・データを記録し、捕捉し、サンプリングを行いおよび／または獲得するための複数の光学およびセンサを含み、内部に組み込まれたメモリを含む典型的なライト・フィールド・データ捕捉装置を示すブロック図である。
【図２Ａ】遠焦点面、物理的ライト・フィールド・センサ面および近焦点面のようないくつかの面を含む典型的なライト・フィールド・データ捕捉装置のいくつかの光学的特徴を表わす説明図である。
【図２Ｂ】特に、マイクロレンズ・アレイの焦点距離の間隔をおいて離され（または実質的に離され）、および／または本発明群のいくつかの実施形態のいくつかの態様を実施する、マイクロレンズ・アレイおよび画像センサを含む典型的なライト・フィールド・センサを表わす説明図である。
【図２Ｃ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従って、マイクロレンズ・アレイの主要面に配置されおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、ライト・フィールド・センサ面を表わす説明図である。
【図２Ｇ】特に、主レンズ（光学を表わす）と、マイクロレンズ・アレイと、画像センサとを含む典型的なライト・フィールド・センサ構造を表わす説明図であり、本発明群のいくつかの実施形態の少なくともいくつかの態様によりマイクロレンズ・アレイの投影された小型レンズの中心の異なる位置を提供しまたはもたらし、および／または本発明群のいくつかの実施形態のいくつかの態様を実施する２つの射出瞳を示し、特に、射出瞳２に対応する位置に射出瞳を位置決めることが、射出瞳１に対応する位置に関して画像センサの面に投影される大きいディスク画像をもたらす。
【図３Ａ】特に、主レンズ（光学を表わす）と、マイクロレンズ・アレイと、画像センサとを含む典型的なライト・フィールド・センサ構造を表わす説明図であり、ここにおいて、マイクロレンズ・アレイからの射出瞳の中心の距離である単一の数として射出瞳が記録および／または保存される（または他の一実施形態では画像センサ面）。
【図３Ｂ】特に、主レンズ（光学を表わす）と、マイクロレンズ・アレイと、画像センサとを含む典型的なライト・フィールド・センサ構造を表わす説明図であり、ここにおいて、射出瞳が三次元空間のある位置（例えば、射出瞳の中心）にある。
【図３Ｃ】特に、主レンズ（光学を表わす）と、マイクロレンズ・アレイと、画像センサとを含む典型的なライト・フィールド・センサ構造を表わす説明図であり、ここにおいて、射出瞳が三次元空間のある位置および形態をとる（図示の実施形態では、射出瞳の中心の位置および特定半径のディスク）。
【図４】レンズを経てライト・フィールド捕捉装置に入射し、ライト・フィールド・センサの面に当たる、前記世界からの典型的な光線の伝播を表わす説明図であり、ここにおいて、捕捉装置に入射する所与の光線（三次元位置および三次元方向ベクトルにより表わされている）に関して、後処理電気回路／システムが、光学の各レンズ要素のガラスの種類、曲率および厚さが与えられたときに前記光線が物理法則に基づいて光学の各要素を経て屈折し、伝播するであろう経路に従って光学のレンズ要素を経る光線の「跡を追う」ことにより光学の最後のレンズ要素とライト・フィールド・センサ・アレイのマイクロレンズ・アレイとの間の捕捉装置内で光線群がどのようにして伝播するかを計算しまたは決定する。
【図５】画像センサ（またはその一部）の面に投影されたマイクロレンズ・アレイの一組の小型レンズ・ディスクの拡大図を示し、特に、投影されたディスク群の位置、サイズおよび形状が捕捉された画像上に重なり合い、マイクロレンズのディスク群の中心およびサイズの決定が後に詳述される鍵光学パラメータに基づいて行われる。
【図６】マイクロレンズ・アレイの投影されたディスク小型レンズ・ディスク群の半径を強調し／その輪郭を描く典型的な画像センサ（またはその一部）の面の拡大図を示し、この典型的な図におけるマイクロレンズ・アレイの小型レンズ・ディスク群の隣接する中心間の間隔（ピッチ）、ＸおよびＹ移動オフセットおよび回転、ＸおよびＹオフセット値が、センサの中心ピクセルと中央の投影されたマイクロレンズ・ディスクの中心との間の特定距離からなり、また、隣接するディスク中心間の間隔が投影されたマイクロレンズ・アレイのピッチからなる。特に、投影されたディスク群の直径はピッチとほぼ同じ図示のサイズに現れ、数は異なりまた異なる目的に用いられる。
【図７Ａ】六角形のグリッド（図７Ａ）および正方形のグリッド（図７Ｂ）を含む、マイクロレンズ・アレイの典型的なグリッド構造を表わすブロック図であり、ここにおいて、これと共に、このような構造のアレイの小型レンズ群のピッチが強調され／輪郭を描かれている。
【図７Ｂ】六角形のグリッド（図７Ａ）および正方形のグリッド（図７Ｂ）を含む、マイクロレンズ・アレイの典型的なグリッド構造を表わすブロック図であり、ここにおいて、これと共に、このような構造のアレイの小型レンズ群のピッチが強調され／輪郭を描かれている。
【図８Ａ】六角形のグリッド（図８Ａ）、正方形のグリッド（図８Ｂ）、並びに、正方形及び八角形のグリッド（図８Ｃ）を含む、マイクロレンズ・アレイの典型的なグリッド構造を表わすブロック図であり、特に、マイクロレンズ・アレイのパターンは、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である。
【図８Ｂ】六角形のグリッド（図８Ａ）、正方形のグリッド（図８Ｂ）、並びに、正方形及び八角形のグリッド（図８Ｃ）を含む、マイクロレンズ・アレイの典型的なグリッド構造を表わすブロック図であり、特に、マイクロレンズ・アレイのパターンは、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である。
【図８Ｃ】六角形のグリッド（図８Ａ）、正方形のグリッド（図８Ｂ）、並びに、正方形及び八角形のグリッド（図８Ｃ）を含む、マイクロレンズ・アレイの典型的なグリッド構造を表わすブロック図であり、特に、マイクロレンズ・アレイのパターンは、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である。
【図９】センサ・アレイ（例えば、ライト・フィールド・センサの）のセンサ・ピクセル群を表わすブロック図であり、ここにおいて、これと共に、このような構造のセンサ・アレイのピクセル群のピッチが強調され／輪郭を描かれており、センサのピクセル群／センサ群のピッチは隣接するセンサ・ピクセルの中心間の距離として特徴付けられ、また、このようなピッチはライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である。
【図１０】平行光源、マイクロレンズ・アレイ、および光の点群または光の小さいディスク群の点の画像を作るための画像センサを表わす概略図であり、この図示の実施形態において、センサは、マイクロレンズ・アレイがセンサに固定された後の製造プロセスの任意の時点において、平行光源の光線群をサンプリングし、ここにおいて、全ての光線がライト・フィールド・センサの面に対して垂直である。
【図１１】光点群のグリッドまたはディスク群の小さい画像を、マイクロレンズ・アレイに関してマイクロレンズ内の小型レンズの１つごとに、画像センサ登録に提供する、結果として生じる画像の典型図であり、前記登録は点光群または小さいディスク群の画像を使用し（例えば、図１０および／または図１２の構造を介して作られるように）、ＸおよびＹオフセットは、記録された画像の中心からすぐ近くの（例えば最も近い）光／小さいディスク画像の点までのこれらの距離であり、また、回転は、光点群の列により定められた線とセンサ・ピクセル群の列により定められた線との間の角度の差である。
【図１２】画像センサへのマイクロレンズ・アレイの登録のための開口、マイクロレンズ・アレイおよび画像センサを示す概略図であり、ここにおいて、前記小さい開口はほぼ均一な光源を提供し、捕捉装置が最小の利用可能な開口まで「レンズを絞られる」（すなわち、大きさが減らされたその光学レンズの開口を有する）とき、１つの画像は、均一またはほぼ均一な光のフィールド（例えば、白壁）の完全にまたはほぼ完全に組み立てられたライト・フィールド・データ捕捉装置から捕捉され、特に、結果として生じる画像は、光点群またはディスク群の小さい画像群のグリッドからなり、マイクロレンズ・アレイ内の小型レンズの１つごとに、ＸおよびＹオフセットは記録された画像の中心からすぐ近くの（例えば、最も近い）光／小さいディスク画像の点までのこの距離であり、また、回転は、光点群の列により決定された線とセンサ・ピクセル群の列により決定された線との間の角度の差である（図１１参照）。
【図１３Ａ】特に、（ｉ）捕捉装置のレンズ・システムの構成を検知し、検出しおよび／または決定し、および／または（ｉｉ）マイクロレンズ・アレイに関してライト・フィールド・データ捕捉装置のレンズ・システムの射出瞳又は開口関数を決定するためのセンサ（例えば、直線または回転式ポテンショメータ、エンコーダおよび／または圧電もしくはＭＥＭＳ変換器、および／または、ＣＣＤもしくはＣＭＯＳのような画像センサ、現在知られているか後に開発されるかを問わず、いずれのセンサも本発明群の範囲に含まれるように意図されている）を含む典型的なライト・フィールド・データ捕捉装置を表わすブロック図であり、特に、センサは、図１Ａないし図１Ｈの捕捉装置を含む、ここに記載されおよび／または説明された任意の捕捉装置において使用され、簡潔にするため、このようなセンサはそれと共に説明されない。
【図１３Ｂ】特に、（ｉ）捕捉装置のレンズ・システムの構成を検知し、検出しおよび／または決定し、および／または（ｉｉ）マイクロレンズ・アレイに関してライト・フィールド・データ捕捉装置のレンズ・システムの射出瞳又は開口関数を決定するためのセンサ（例えば、直線または回転式ポテンショメータ、エンコーダおよび／または圧電もしくはＭＥＭＳ変換器、および／または、ＣＣＤもしくはＣＭＯＳのような画像センサ、現在知られているか後に開発されるかを問わず、いずれのセンサも本発明群の範囲に含まれるように意図されている）を含む典型的なライト・フィールド・データ捕捉装置を表わすブロック図であり、特に、センサは、図１Ａないし図１Ｈの捕捉装置を含む、ここに記載されおよび／または説明された任意の捕捉装置において使用され、簡潔にするため、このようなセンサはそれと共に説明されない。
【図１４Ａ】マイクロレンズ・アレイ上に小型レンズにより投影された光のディスク群を強調するマイクロレンズ・アレイおよび画像センサを表わす概略図であり、特に、隣接するディスクの中心間の間隔が投影されたマイクロレンズ・アレイのピッチであり、投影された各小型レンズディスクの半径がマイクロレンズ・アレイの小型レンズにより投影された光のディスクの範囲であると考えられ、ここにおいて、（ｉ）投影されたディスクのサイズがディスク間の間隔より小さく（図１４Ａ）、（ｉｉ）投影されたディスク群のサイズがディスク間の間隔とほぼ同じであり（図１４Ｂ）、また、（ｉｉｉ）投影されたディスク群のサイズがディスク間の間隔より大きい（図１４Ｃ）。
【図１４Ｂ】マイクロレンズ・アレイ上に小型レンズにより投影された光のディスク群を強調するマイクロレンズ・アレイおよび画像センサを表わす概略図であり、特に、隣接するディスクの中心間の間隔が投影されたマイクロレンズ・アレイのピッチであり、投影された各小型レンズディスクの半径がマイクロレンズ・アレイの小型レンズにより投影された光のディスクの範囲であると考えられ、ここにおいて、（ｉ）投影されたディスクのサイズがディスク間の間隔より小さく（図１４Ａ）、（ｉｉ）投影されたディスク群のサイズがディスク間の間隔とほぼ同じであり（図１４Ｂ）、また、（ｉｉｉ）投影されたディスク群のサイズがディスク間の間隔より大きい（図１４Ｃ）。
【図１４Ｃ】マイクロレンズ・アレイ上に小型レンズにより投影された光のディスク群を強調するマイクロレンズ・アレイおよび画像センサを表わす概略図であり、特に、隣接するディスクの中心間の間隔が投影されたマイクロレンズ・アレイのピッチであり、投影された各小型レンズディスクの半径がマイクロレンズ・アレイの小型レンズにより投影された光のディスクの範囲であると考えられ、ここにおいて、（ｉ）投影されたディスクのサイズがディスク間の間隔より小さく（図１４Ａ）、（ｉｉ）投影されたディスク群のサイズがディスク間の間隔とほぼ同じであり（図１４Ｂ）、また、（ｉｉｉ）投影されたディスク群のサイズがディスク間の間隔より大きい（図１４Ｃ）。
【図１５Ａ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従っておよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、１組以上のライト・フィールド・データを有する典型的な電子ライト・フィールド・データ・ファイルを表わすブロック図であり、ここにおいて、ライト・フィールド・データ・ファイルのファイル・フォーマットまたは構造が、一組のライト・フィールド・データの始まりおよび／または終わりをそれぞれ指示するスタート・コードおよび／またはエンド・コードを含み、特に、電子データファイル・フォーマットまたは構造が、ライト・フィールド構成データを含みおよび／またはライト・フィールド構成データからなるメタデータを含むヘッダ・セクションを有する（図１５Ｂ参照）。
【図１５Ｂ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従っておよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、１組以上のライト・フィールド・データを有する典型的な電子ライト・フィールド・データ・ファイルを表わすブロック図であり、ここにおいて、ライト・フィールド・データ・ファイルのファイル・フォーマットまたは構造が、一組のライト・フィールド・データの始まりおよび／または終わりをそれぞれ指示するスタート・コードおよび／またはエンド・コードを含み、特に、電子データファイル・フォーマットまたは構造が、ライト・フィールド構成データを含みおよび／またはライト・フィールド構成データからなるメタデータを含むヘッダ・セクションを有する（図１５Ｂ参照）。
【図１５Ｃ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、１組以上のライト・フィールド・データを有する１以上の電子ライト・フィールド・データ・ファイルと関連するライト・フィールド構成データを備える典型的な電子ファイルのブロック図である。
【図１６Ａ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、後処理電気回路と通信をするメモリ（特に、１組以上のライト・フィールド・データを有する電子データ・ファイルを保存する）を表わすブロック図であり、ここにおいて、前記メモリは前記後処理電気回路とは別個であるかまたはこれに組み込まれている（それぞれ、図１６Ａおよび図１６Ｂ）。
【図１６Ｂ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、後処理電気回路と通信をするメモリ（特に、１組以上のライト・フィールド・データを有する電子データ・ファイルを保存する）を表わすブロック図であり、ここにおいて、前記メモリは前記後処理電気回路とは別個であるかまたはこれに組み込まれている（それぞれ、図１６Ａおよび図１６Ｂ）。
【図１６Ｃ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、典型的なライト・フィールド・データ捕捉装置を表わすブロック図であり、ここにおいて、前記典型的なライト・フィールド・データ捕捉装置は、ライト・フィールド・データ・ファイル内の１組以上のライト・フィールド・データを用いてユーザが生成された画像またはビデオを見ることを可能にするディスプレイ（標準表示機構）を含む。
【図１６Ｄ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、典型的なライト・フィールド・データ捕捉装置を表わすブロック図であり、ここにおいて、前記典型的なライト・フィールド・データ捕捉装置は、ライト・フィールド・データ・ファイル内の１組以上のライト・フィールド・データを用いてユーザが生成された画像またはビデオを見ることを可能にするディスプレイ（標準表示機構）を含む。
【図１６Ｅ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、典型的なライト・フィールド・データ捕捉装置を表わすブロック図であり、ここにおいて、前記ライト・フィールド・データ捕捉装置は、ライト・フィールド・データ・ファイル中の１組以上のライト・フィールド・データを用いてユーザが生成された画像または映像を見ることを可能にする外部ディスプレイを含む外部システム／装置（例えば、外部記憶装置、ビデオディスプレイ、記録装置および／またはプロセッサ回路）に結合し、このような外部装置または回路は、例えば、ライト・フィールド画像データを含む電子データ・ファイル、ライト・フィールド構成データを含む電子ファイルおよび／またはこれらの組み合わせを含む電子ファイルの保存を容易にする。
【図１６Ｆ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、典型的なライト・フィールド・データ捕捉装置を表わすブロック図であり、ここにおいて、前記ライト・フィールド・データ捕捉装置は、ライト・フィールド・データ・ファイル中の１組以上のライト・フィールド・データを用いてユーザが生成された画像または映像を見ることを可能にする外部ディスプレイを含む外部システム／装置（例えば、外部記憶装置、ビデオディスプレイ、記録装置および／またはプロセッサ回路）に結合し、このような外部装置または回路は、例えば、ライト・フィールド画像データを含む電子データ・ファイル、ライト・フィールド構成データを含む電子ファイルおよび／またはこれらの組み合わせを含む電子ファイルの保存を容易にする。
【図１６Ｇ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、後処理電気回路と通信をするメモリ（１組以上のライト・フィールド・データおよび／またはライト・フィールド構成データを有する電子データ・ファイルを保存する）を表わすブロック図であり、ここにおいて、前記後処理電気回路は、前記メモリと通信をする書き込み電気回路と読み込み電気回路と、例えば、その捕捉または記録後、前記ライト・フィールド・データに対応する前記画像データを生成し、取り扱いおよび／または編集する（例えば、焦点および／または焦点深度を調節し、選択し、規定しおよび／または再規定する）ことを含むライト・フィールド処理を実行する処理電気回路とを含む。
【図１７Ａ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、詳細な説明において規定するように、標準画像フォーマットに配列され、組織化されおよび／または保存された画像データ（画像を表わす）と、１組以上のライト・フィールド・データとを有する典型的な電子データ・ファイルを表わすブロック図である。
【図１７Ｂ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、標準画像フォーマットに配列され、組織化されおよび／または保存された画像データ（画像を表わす）と、１組以上のライト・フィールド・データとを有する典型的な電子データ・ファイルを表わすブロック図であり、ここにおいて、このような電子データ・ファイルは、例えば、１組以上のライト・フィールド構成データを含むメタデータを有する１以上のヘッダを含む。
【図１７Ｃ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、標準画像フォーマットに配列され、組織化されおよび／または保存された画像データ（画像を表わす）と、１組以上のライト・フィールド・データとを有する典型的な電子データ・ファイルを表わすブロック図であり、ここにおいて、このような電子データ・ファイルは、例えば、１組以上のライト・フィールド構成データを含むメタデータを有する１以上のヘッダを含む。
【図１７Ｄ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、標準画像フォーマットに配列され、組織化されおよび／または保存された画像データ（画像を表わす）と、１組以上のライト・フィールド・データとを有する典型的な電子データ・ファイルを表わすブロック図であり、ここにおいて、このような電子データ・ファイルは、例えば、１組以上のライト・フィールド構成データを含むメタデータを有する１以上のヘッダを含む。
【図１７Ｅ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、標準画像フォーマットに配列され、組織化されおよび／または保存された画像データ（画像を表わす）と、１組以上の「列」画像データとを有する典型的な電子データ・ファイルを表わすブロック図であり、ここにおいて、このような電子データ・ファイルはメタデータを有する１以上のヘッダを含む。
【図１７Ｆ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、標準画像フォーマットに配列され、組織化されおよび／または保存された画像データ（画像を表わす）と、１組以上の「列」画像データとを有する典型的な電子データ・ファイルを表わすブロック図であり、ここにおいて、このような電子データ・ファイルはメタデータを有する１以上のヘッダを含む。
【図１８Ａ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、データ（例えば、１組以上のライト・フィールド・データ）を有する典型的な電子データ・フィルを後処理するための典型的な処理流れであり、ここにおいて、前記典型的な後処理流れが、図１７Ａないし図１７Ｆの電子データ・ファイルと共に用いられる。
【図１８Ｂ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、データ（例えば、１組以上のライト・フィールド・データ）を有する典型的な電子データ・フィルを後処理するための典型的な処理流れであり、ここにおいて、前記典型的な後処理流れが、図１７Ａないし図１７Ｆの電子データ・ファイルと共に用いられる。
【図１８Ｃ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、データ（例えば、１組以上のライト・フィールド・データ）を有する典型的な電子データ・フィルを後処理するための典型的な処理流れであり、ここにおいて、前記典型的な後処理流れが、図１７Ａないし図１７Ｆの電子データ・ファイルと共に用いられる。
【図１８Ｄ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、データ（例えば、１組以上のライト・フィールド・データ）を有する典型的な電子データ・フィルを後処理するための典型的な処理流れであり、ここにおいて、前記典型的な後処理流れが、図１７Ａないし図１７Ｆの電子データ・ファイルと共に用いられる。
【図１８Ｅ】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態のいくつかの態様を実施する、データ（例えば、１組以上のライト・フィールド・データ）を有する典型的な電子データ・フィルを後処理するための典型的な処理流れであり、ここにおいて、前記典型的な後処理流れが、図１７Ａないし図１７Ｆの電子データ・ファイルと共に用いられる。
【図１９】本発明群のいくつかの実施形態の少なくともいくつかの態様に従うおよび／または本発明群のいくつかの実施形態を実施する、その中に含まれる後処理データのための典型的な処理流れと共に典型的な電子データ・ファイルを表わすブロック図であり、ここにおいて、このような電子データ・ファイルは、標準画像フォーマットに配列され、組織化されおよび／または保存された画像データ（画像を表わす）と、１組以上のライト・フィールド・データとを含み、前記処理は前記電子データ・ファイルの標準画像部分を見るために任意の標準表示機構を利用し、このような電子ファイルは、前記処理流れにおいて、さらに、メタデータ（例えば、１組以上のライト・フィールド構成データ）を有する１以上のヘッダ（図示せず）を含む。
【図２０】本発明のいくつかの態様に従う、例えば、ライト・フィールド・データ捕捉装置および／または後処理システムの典型的なユーザ・インタフェースを表わすブロック図であり、特に、一実施形態において、ユーザ・インタフェースが、ユーザ／オペレータがライト・フィールド・データ捕捉装置および／または後処理電気回路／システムを監視し、制御しおよび／または調整することを可能にする出力装置／機構（例えば、ディスプレイおよび／またはスピーカ）および／またはユーザ入力装置／機構（例えば、ボタン、スイッチ、タッチスクリーン、ポインティングデバイス（例えば、マウスまたはトラックボール）および／またはマイクロホン）を含む。
【発明を実施するための形態】
【００３５】
再び、本明細書には多くの発明が記載されまた説明されている。本発明群はこれらの一態様、一実施形態、さらにこれらの態様および／または実施形態の組み合わせおよび／または置換のいずれにも限定されない。本発明群の各態様、および／またはこれらの実施形態は、単独で、あるいは、本発明群の１以上の他の態様および／またはこれらの実施形態と組み合わせて用いられる。簡潔にするため、本明細書では、これらの組み合わせおよび置換は別個に説明されない。
【００３６】
詳細な説明
本明細書には多くの発明が、これらの発明の多くの態様および実施形態と共に、記載され、また説明されている。１つの態様において、本発明群は、特に、ライト・フィールド・データ捕捉装置（例えば、ライト・フィールド・カメラ）、これに関する後処理システム、およびこれらの装置およびシステムを使用する方法に向けられている。他の態様において、本発明群は、ライト・フィールド・データ捕捉装置により獲得されまたは捕捉された画像データの後処理を実行するために使用される前記ライト・フィールド・データ捕捉装置の１以上の特徴、パラメータおよび／または構成を獲得し、導出し、計算し、推定し、決定し、保存しおよび／または記録することに向けられている（または、例えば、前記画像データの最初の捕捉および／または記録後、焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する）。さらに他の態様において、本発明群は、このような特徴、パラメータおよび／または構成を後処理電気回路に、この後処理電気回路が前記ライト・フィールド・データ捕捉装置内／上に配置されているか（図１Ｂおよび１Ｅ参照）、その外部に配置されているか（図１Ｃおよび図１Ｆ参照）を問わず、送り、提供しまたは伝達することに向けられている。前記ライト・フィールド・データ捕捉装置の前記特徴、パラメータおよび／または構成を表わすデータ（集合的に「構成データ」）は、前記捕捉装置（例えば、ライト・フィールド・カメラ）の画像センサによるライト・フィールド・データの収集または捕捉の前、その間および／またはその後に獲得され、決定されおよび／または記録される。
【００３７】
特に、このような構成データは、前記ライト・フィールド・データ捕捉装置の光学および／または幾何学モデル（例えば、特定の捕捉されたライト・フィールド・データに関連する特定装置の光学および／または幾何学モデル）を生成し、導出し、計算し、推定しおよび／または決定するために後処理電気回路により使用される。前記後処理電気回路は、このようなライト・フィールド・データを捕捉しまたは収集するために用いられた前記ライト・フィールド・データ捕捉装置の光学および／または幾何学モデルに関連しまたは対応するライト・フィールド画像データを生成し、取り扱いおよび／または編集する（例えば、前記ライト・フィールド画像データの焦点を規定しおよび／または再規定する）ために前記ライト・フィールド・データ捕捉装置の前記光学および／または幾何学モデルを使用する。
【００３８】
定義  
この詳細な説明に記載された本発明群は、いくつかのケースで以下の用語に関して説明されている典型的な実施形態群に関して導入される。
【００３９】
ライト・フィールド・データは、特に、一組の値を意味し、各値は、一組の対応する光線内の各幾何学的光線（幾何学的光線に近似する光線の束）に沿って進む光を表わす。典型的な実施形態において、ライト・フィールド・データはライト・フィールド捕捉装置（例えば、主レンズ、マイクロレンズ・アレイおよびフォト・センサを含むライト・フィールド・カメラ、このようなライト・フィールド・カメラは、米国特許出願公開第２００７／０２５２０７４号明細書、および／またはＲｅｎ  Ｎｇの博士論文、「デジタル・ライト・フィールド・フォトグラフィ」、スタンフォード大学  ２００６に示されており、これらの全てが参照により全体的に本明細書に組み込まれ、および／または図１Ａおよび図１Ｂにライト・フィールド・カメラのブロック図が説明されている）内の画像センサのピクセル・アレイによりサンプリングされまたは前記ピクセル・アレイから読み込まれた二次元画像データを表わす。前記ライト・フィールド・データは、関数Ｌ（ｘ，ｙ，ｕ，ｖ）として表わされ、ここで、Ｌは、二次元位置（ｕ，ｖ）における前記カメラ・レンズの光学開口と、二次元位置（ｘ，ｙ）における前記センサとを通過する光線（ｘ，ｙ，ｕ，ｖ）に沿って進む光の総量（例えば、放射輝度）であり、例えば、前記した米国特許出願公開第２００７／０２５２０７４号明細書およびＲｅｎ  Ｎｇの博士論文を参照されたい。加えて、ライト・フィールド・データは、符号化された開口システム（図１Ｇ参照）で収集された画像データおよび／または前記ライト・フィールドの周波数スペクトルにおいて符号化されおよび／または記録されたデータを意味する。実際には、ライト・フィールド・データは、異なる深度において焦点を合わされた一群の画像および／または異なる地点からの一群の画像からなる。特に、ライト・フィールド・データは、前記したライト・フィールド関数Ｌ（ｘ，ｙ，ｕ，ｖ）の全体的又は部分的な表現あるいは近似値を意味する。
【００４０】
ライト・フィールド構成データは、ライト・フィールド・データを（全体的にまたは部分的に）解釈するために使用されるデータを意味する。例えば、ライト・フィールド構成データは、前記ライト・フィールド・データの値が前記ライト・フィールドに関する前記シーンにおける特定の光線群または複数組の光線上を流れる光の特徴にどのように関連しまたはこれを対応付けるかを解釈するために用いられる。このような特徴は、例えば、前記シーンにおける光の強度、色、波長、偏光等を含みまたはこれらに依存する。前記ライト・フィールド構成データは、前記画像データ捕捉装置の光学および／または幾何学モデル（例えば、ある捕捉されたライト・フィールド・データに関連する前記画像データ捕捉装置の光学および／または幾何学モデル）を生成し、計算し、推定しおよび／または決定することを表わしおよび／またはこれらにおいて使用される。ライト・フィールド構成データは、以下の１つ、そのいくつかまたはその全て、および／または以下の１つ、そのいくつかまたはその全てを生成し、導出し、計算しおよび／または決定することを表わしおよび／またはこれらに使用されるデータを含む。
・ライト・フィールド・データ捕捉装置の１以上の特徴、パラメータおよび／または構成
・例えば、光線群がどのようにして前記捕捉装置を経て光学的に伝播（例えば、屈折、反射、減衰、散乱および／または消失）するかを十分にコンピュータ計算し、推定し、決定し、表わすことができる、前記ライト・フィールド・データ捕捉装置の幾何学および／または光学モデル。前記幾何学および／または光学モデルは、前記ライト・フィールド・データ捕捉装置における画像センサ面上の二次元（ｘ，ｙ）位置から前記したようなライト・フィールドにおける光線の四次元（ｘ，ｙ，ｕ，ｖ）パラメータ化への、並びに、それに応じて、前記画像センサから読み込まれたピクセル値の捕捉二次元アレイ上の二次元位置（ｘ’，ｙ’）から前記シーンからの前記ライト・フィールドの四次元（ｘ，ｙ，ｕ，ｖ）パラメータ化への対応付けを表わすデータからなりおよび／またはこれを含む。
・後述するような、開口関数
・後述するような、射出瞳
・ライト・フィールドを記録するために用いられるライト・フィールド・カメラにおけるマイクロレンズ群およびピクセル群の相対的ピッチ
・前記レンズ・システムのズームおよび／または焦点位置
・前記マイクロレンズ・アレイの特徴、特性、幾何学および／またはパラメータ（例えば、前記マイクロレンズ・アレイのグリッド・パターン、レンズのサイズ、集束範囲および／またはレンズの公式）
・前記画像センサに関する前記マイクロレンズ・アレイの位置（例えば、前記センサに関する前記マイクロレンズ・アレイの垂直方向分離、ＸおよびＹオフセット、および／または回転）
・前記世界から前記マイクロレンズ・アレイを経て前記画像センサ面上へと通過する光により前記画像センサ上に現れる画像の特徴、特性、幾何学的および／またはパラメータ（例えば、いくつかの実施形態では、前記画像センサ面上に現れる画像ディスク群のアレイのパターン、分離、ＸおよびＹオフセット、および／または回転）
・主レンズ・システム（例えば、レンズ公式、Ｆ値、および／または射出瞳を表わすデータ）
・前記捕捉装置内の光線群を世界の光線群に対応付ける光線補正機能（例えば、先に参照したＲｅｎ  Ｎｇの博士論文参照）
【００４１】
特に、ライト・フィールド構成データは、その１つの態様または実施形態、このような態様および／または実施形態の組み合わせ、および／または置換のいずれにも限定されない。実際には、いくつかの典型的な実施形態において、ライト・フィールド構成データは、前記ライト・フィールド・データ捕捉装置の光学および／または幾何学モデルを生成し、導出し、計算し、推定しおよび／または決定することを表わしおよび／またはこれらに使用される現に知られまたは後に開発される任意の情報を含む。
【００４２】
開口関数は、光学系を経る光の移動に関するおよび／またはこれを表わすデータに関する用語である。典型的な実施形態において、開口関数は、センサに当たる幾何学的光線群に関して、どれ程の量の光が前記捕捉装置の外部から前記レンズ（または複数のレンズ）を経て、光線軌跡に沿って前記センサに当たるかを特定する関数である。前記開口関数は、四次元関数Ａ（ｘ，ｙ，ｕ，ｖ）により表わされ、ここで、Ａは、複数の入射方向の半球上の方向（ｕ，ｖ）からの二次元位置（ｘ，ｙ）の前記センサに当たる光線（ｘ，ｙ，ｕ，ｖ）に沿って前記レンズ（または複数のレンズ）を経て移動される光の一部を表わす。特に、前記センサに当たる光線群の別のパラメータ化を用いる他の実施形態群は、本発明群に含まれる。特に、このような関数に対応する前記開口関数は、後述するように、射出瞳により表わされまたは近似される。
【００４３】
射出瞳は、光学的射出瞳のモデルおよび／または機能を記述し、生成し、表わし、構築しおよび／または再構築するように用いられるレンズ・システムの光学的射出瞳に関連しまたはこれを表わすデータについての用語である。また、射出瞳は、そのサイズ、形状および／または三次元位置のうちの１つ、そのいくつかまたはその全てを含む光学的射出瞳の実際のまたは近似の表現を意味する。例えば、前記射出瞳は、センサ面および／またはマイクロレンズ・アレイに関する特定の垂直距離における、特定の半径のディスクとして表わされる。他の典型的な実施形態群において、射出瞳は、形状および／または距離および／または三次元位置が前記射出瞳が見られる前記センサに依存して変化する場合の表現である。前記射出瞳を表わすデータはコンパクトなパラメータまたは一組のパラメータである。
【００４４】
典型的な一実施形態において、前記射出瞳を表わすデータは、前記マイクロレンズ・アレイまたは画像センサ面からの前記射出瞳の中心の距離である単一の数として記録されおよび／または保存される（図３Ａ参照）。他の実施形態において、前記射出瞳を表わすデータは、三次元空間における位置（例えば、前記射出瞳の中心）である（図３Ｂ参照）。他の典型的な実施形態において、前記射出瞳を表わすデータは、三次元空間における位置及び形状（例えば、前記射出瞳の中心の位置および特定半径のディスク）である（図３Ｃ参照）。特に、前記射出瞳を表わすデータは多くの異なる形態で記録されおよび／または保存され、また、前記射出瞳を表わすデータは、その単一の態様または実施形態、このような態様および／または実施形態の組み合わせおよび／または置換のいずれにも限定されない。実際には、前記射出瞳を表わすデータは、現に知られまたは後に開発される任意の形をとる。
【００４５】
用語の開口関数および射出瞳は本明細書では同意語として使用される。
【００４６】
ライト・フィールド処理とは、例えば、出力結果、例えば、画像をコンピュータで計算するようにライト・フィールド・データを処理することを意味する。
本発明群のいくつかの態様において、ライト・フィールド処理は、ライト・フィールド・データの捕捉または記録後に前記ライト・フィールド・データに対応する前記画像データを生成し、取り扱いおよび／または編集すること（例えば、前記ライト・フィールド・データの捕捉、サンプリングおよび／または獲得の間に前記捕捉装置の光学により提供された焦点および／または被写界深度に関する焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定すること）を含む。
ライト・フィールド処理は、特定の出力結果を生じさせるべく特定の処理を実行するためにライト・フィールド・データを解釈するライト・フィールド構成データを使用する。
異なるタイプのライト・フィールド処理が本発明群の異なる実施形態において使用される。
典型的な一実施形態において、ライト・フィールド処理は、再焦点合わせ、すなわち、画像の少なくとも一部が前記シーン内における所望のまたは仮想の焦点面において再び焦点を合わされる（前記捕捉システムの光学的焦点に関する）画像をコンピュータで計算するように前記ライト・フィールド・データを処理することを含む。
他の典型的な実施例において、ライト・フィールド処理は、前記ライト・フィールドにおける光線群が前記ライト・フィールド・データを記録するように使用される前記光学系において光学収差の効果を低減するために処理される、収差補正を含む。
複数の典型的な実施形態において、このような収差補正は、参照によりこの明細書に全体に組み込まれた「光学収差の補正」と題して２００８年８月７日に出願された米国特許出願第１２／２７８，７０８号、および／またはＲｅｎ  Ｎｇの博士論文「デジタルライト・フィールド・フォトグラフィ」、スタンフォード大学  ２００６に示されているように、ライト・フィールド・データ捕捉装置の幾何学および／または光学モデルでＬ（ｘ，ｙ，ｕ，ｖ）ライト・フィールド関数を処理する方法により実行される。
他の典型的な実施形態において、ライト・フィールド処理は、前記光線が、被写界深度が例えば焦点または予め定められた焦点に前記世界における異なる深度範囲を与えるように変更される（増大または低減される）画像をコンピュータで計算するために処理される、被写界深度を変更する（増大または低減する）ことを含む。
これらの例は、以下の実施形態の説明におけるライト・フィールド処理に関する処理の範囲またはタイプを限定するように意図するものではない。
【００４７】
前記したように、ライト・フィールド処理は、例えばあるシーンのライト・フィールド・データおよび／または情報の最初の捕捉または記録後、記録されたライト・フィールド・データにおける固有のレンズ収差を補正するための処理を含む。他の典型的な実施形態において、ライト・フィールド処理は、ライト・フィールド処理は、例えばあるシーンのライト・フィールド・データおよび／または情報の最初の捕捉または記録後、新規のレンズ・システムをシミュレートすることを含む。他の典型的な実施形態において、例えばあるシーンのライト・フィールド・データおよび／または情報の最初の捕捉または記録後、全体観察を変更することを含む。他の典型的な実施形態において、例えばあるシーンのライト・フィールド・データおよび／または情報の最初の捕捉または記録後、ライト・フィールド・データから複数のホログラフィ像を作り出すことを含む。特に、ライト・フィールド処理は、その１つの態様または実施形態、このような態様および／または実施形態の組み合わせおよび／または置換のいずれにも限定されない。実際には、ライト・フィールド処理は、現に知られまたは後に開発されるライト・フィールド・データを生成し、取り扱い、編集しおよび／または処理する行為のうちの任意の行為を含む。
【００４８】
標準画像フォーマットは、保存、表示または移動のための標準符号化において配列され、組織化されおよび／または保存される（以下、この関連において、「保存される」）画像または画像データを意味するように使用される用語である。典型的な実施形態群は、ＪＰＥＧ、ＥＸＩＦ、ＢＭＰ、ＰＮＧ、ＰＤＦ、ＴＩＦＦおよび／またはＨＤのフォトデータ・フォーマットを含む。
【００４９】
ライト・フィールド・データ捕捉装置は、ライト・フィールド・データを捕捉し、記録し、測定し、推定し、決定しおよび／またはコンピュータで計算するための任意の装置またはシステムを意味する。簡単には、図１Ａないし図１Ｆ、図２Ｂおよび図２Ｃを参照すると、前記ライト・フィールド・データ捕捉装置（典型的な実施形態群において、ライト・フィールド・データ捕捉装置１０として示されている）は、光学１２（例えば、主レンズを含む）と、マイクロレンズ・アレイ１５を含むライト・フィールド・センサ１４と、センサ１６（例えば、フォトセンサ）とを含む。マイクロレンズ・アレイ１５は、センサ１６を介してライト・フィールド・データを記録しおよび／または取得する抽出サンプルの捕捉、獲得を容易にするために光路に組み込まれている。このようなライト・フィールド・データはメモリ１８に保存される。特に、ライト・フィールド・データを捕捉することに関して、米国特許出願公開第２００７／０２５２０７４号、それが優先権を主張する仮出願（すなわち、米国仮出願番号第６０／６１５，１７９号および第６０／６４７，４９２号、およびＲｅｎ  Ｎｇの博士論文、「デジタル・ライト・フィールド・フォトグラフィ」）に説明された論考が参考により本明細書に組み込まれている。
【００５０】
また、ライト・フィールド・データ捕捉装置１０は、ライト・フィールド・データの捕捉、サンプリング、獲得、記録および／または取得を管理又は制御する（自動的にまたはユーザ入力に応答して）。ライト・フィールド・データ捕捉装置１０は、外部データ記憶装置および／またはオンシステムデータ記憶装置に前記ライト・フィールド・データ（例えば、センサ１６による出力）を保存する。前記ライト・フィールド・データおよび／またはその表現のデータ保存フォーマットの全ての置換および組み合わせは、本発明群の範囲内に含まれることが意図されている。
【００５１】
特に、本発明群のライト・フィールド・データ捕捉装置１０は単体の捕捉システム／装置（図１Ａ、図１Ｃ、図１Ｄおよび図１Ｆ参照）または後処理電気回路２０が組み込まれたもの（図１Ｂおよび図１Ｅ参照）からなる。すなわち、ライト・フィールド・データ捕捉装置１０には、ライト・フィールド処理を行う（例えば、あるシーンのライト・フィールド画像データおよび／または情報を生成し、取り扱いおよび／または編集する（例えば、前記ライト・フィールド・データの最初の捕捉または記録後、焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する））後処理電気回路２０が組み込まれ（または実質的に組み込まれ）、また、他の典型的な実施形態群では、ライト・フィールド・データ捕捉装置１０は後処理電気回路２０から分離されている。後処理電気回路２０は、ライト・フィールド処理を実行しまたは行うための処理電気回路（例えば、１以上のプロセッサ、１以上の状態機械、ソフトウエアを実行する１以上のプロセッサ、１以上のゲート・アレイ、プログラマブル・ゲート・アレイおよび／またはフィールド・プログラマブル・ゲート・アレイ）を含む。
【００５２】
特に、ライト・フィールド・データ捕捉装置は、獲得および／または捕捉の間、ライト・フィールド・センサに関する「光学的被写界深度」が対象の位置を含まないように配置された前記ライト・フィールド・センサを有する（図２Ａ参照）。前記「光学的被写界深度」は、前記装置が、従来の画像センサを含む従来の画像装置として使用される場合に有するであろう被写界深度として特徴付けられる。この点について、図２Ｃを参照すると、ライト・フィールド・センサ面２２の位置は、マイクロレンズ・アレイ１５における複数の要素の主平面と同じにみなされる。本明細書において、ライト・フィールド・センサ面２２の位置は、ライト・フィールド・センサ１４の位置および／または配置として言及される（例えば、ライト・フィールド・データ捕捉装置１０における他の要素および／またはモジュール（例えば、光学１２）に関して前記位置および／または配置を説明するとき）。
【００５３】
前記ライト・フィールド・データ捕捉装置の典型的な実施形態群が、基本原理を説明するために記載されている。実際には、ライト・フィールド・データを捕捉し、記録し、測定し、推定し、決定し、および／またコンピュータで計算するための現に知られまたは後に開発される任意の装置が、用語ライト・フィールド・データ捕捉装置の範囲に含まれ、かつ本発明群の範囲に含まれるように意図されている。
【００５４】
データの記録および伝達
一態様において、本発明群は、ライト・フィールド構成データ（ライト・フィールド・データ捕捉装置、例えば、図１Ａないし図２Ｃに示されたライト・フィールド・データ捕捉装置の例えば１以上の特徴、パラメータおよび／または構成）を取得し、導出し、計算し、推定し、決定し、保存しおよび／または記録することに向けられている。前記ライト・フィールド構成データは、前記画像データ捕捉装置（例えば、カメラ光学（例えば、任意の種類またはタイプの１以上のレンズ）、前記ライト・フィールド・データまたは情報を取得しおよび／または捕捉するための画像センサ、および、前記画像データ捕捉装置の複数の要素間の相対距離を含む）の光学および／または幾何学モデルを表わす情報を提供する。実際には、前記ライト・フィールド構成データは、光線がどのように前記ライト・フィールド・データ捕捉装置を経て光学的に伝播し（例えば、屈折し、反射し、減衰し、散乱しおよび／または消失する）、前記センサ（例えば、図２Ａないし図２Ｃのセンサ１６）による捕獲、獲得、サンプリングおよび／または記録に至るかのコンピュータによる計算、推定、決定、表現を可能にしまたは容易にするデータを含む。
【００５５】
その後、後処理電気回路（前記画像データ捕捉システムに組み込まれている（例えば、図１Ａ、図１Ｂおよび図１Ｃ参照）またはこれから分離している（例えば、図１Ｃおよび図１Ｆ参照）が、（ｉ）ライト・フィールド・データおよび／または（ｉｉ）ライト・フィールド構成データ（メモリ１８に保存されている）を取得し、受け取りおよび／または捕捉する。前記後処理電気回路は、前記画像データおよび関連するライト・フィールド構成データを用いて、前記画像データ捕捉システムの画像センサに関連する複数の画像センサピクセル値の１つ、そのいくつかまたはその全部に対応する光線幾何学を決定し、分析しおよび／または解釈し、これによりライト・フィールド処理を行う（例えば、その捕捉または記録後、前記画像データを生成し、取り扱いおよび／または編集する（例えば、焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する））。
【００５６】
前記したように、ライト・フィールド構成データは、前記捕捉装置（例えば、図１Ａないし図２Ｃのライト・フィールド捕捉装置１０）の画像センサによる画像データの収集、捕捉および／またはサンプリングの前、間および／または後に取得され、決定されおよび／または記録される。このようなライト・フィールド構成データは、関連する画像データと同じデータ・ファイルおよび／またはファイル・フォーマット、または異なるデータ・ファイルおよび／または異なるファイル・フォーマットに保存される。前記後処理が「カメラに映らないところで」または前記捕捉装置（例えば、ライト・フィールド・カメラ）から分離された装置内で行われる場合、このようなライト・フィールド構成データが、関連する画像データと共に（例えば、一斉に、連続的にまたは同時に）またはこれから分離して、分離後処理システムに提供されおよび／または伝達される（例えば、画像データの収集、捕捉および／またはサンプリングの前、その間および／またはその後に）（例えば、図１Ｃおよび１Ｆ参照）。
【００５７】
したがって、一実施形態では、前記ライト・フィールド・データ捕捉装置および／または後処理電気回路／システムが、前記ライト・フィールド・データ捕捉装置の光学および／または幾何学モデルを構築するために前記データまたは情報を保存し、記録しおよび／または決定する。前記ライト・フィールド・データ捕捉装置および／または後処理電気回路／システムは、前記ライト・フィールド・データと共に、前記ライト・フィールド・データ捕捉装置の予め定められたおよび／または選択された特徴、パラメータおよび／または構成を保存し、記録しおよび／または決定する。一実施形態において、前記ライト・フィールド・データ捕捉装置は、ライト・フィールド・データの収集、捕捉および／またはサンプリングと同時におよび／またはその直後に予め定められたおよび／または選択されたライト・フィールド構成データを保存しまたは記録する。前記ライト・フィールド・データ捕捉装置は、例えば、関連する画像データを含む電子データ・ファイルのヘッダにライト・フィールド構成データを保存する。これに加えて、またはこれに代えて、前記ライト・フィールド・データ捕捉装置は、前記関連ライト・フィールド・データおよび／または画像データを含む前記電子データ・ファイルとは異なる別個の電子データ・ファイルに、前記ライト・フィールド構成データを保存する。前記ライト・フィールド構成データは、前記関連ライト・フィールド・データおよび／または画像データ（すなわち、前記関連ライト・フィールド構成データのデータに従って構成された前記装置により捕捉されたデータ）を含む１以上の電子データ・ファイルに関連する。
【００５８】
典型的な一実施形態において、前記ライト・フィールド・データ捕捉装置は、いくつかのライト・フィールド捕捉パラメータが連続するかまたは多数の捕捉間で変わりまたは変化する直前に、これと同時におよび／またはその直後に、ライト・フィールド構成データを決定し、記録しおよび／または保存する（例えば、前記光学のズーム及び焦点位置が、捕捉前、捕捉時、捕捉後、例えば前記ライト・フィールド構成データが変わりまたは変化する前に、決定され、捕捉され、記録されおよび／または保存される）。前記ライト・フィールド・データ捕捉装置は、例えば、前記関連ライト・フィールドおよび／または画像データを含む電子データ・ファイルのヘッダに、前記ライト・フィールド構成データを保存する。これに加えて、またはこれに代えて、前記ライト・フィールド・データ捕捉装置は、例えば、前記関連ライト・フィールドおよび／または画像データを含む前記データ・ファイルと異なる別個の電子データ・ファイルに、前記ライト・フィールド構成データを保存する。一実施形態において、前記後処理システムは、（ｉ）前記ライト・フィールド・データおよび／または画像データと、（ｉｉ）関連するライト・フィールド構成データとを用いて、前記画像データについて、その捕捉または記録後に、予め定められ、選択されおよび／または望まれる画像を生成しまたは表示するために、ライト・フィールド処理を実行する（例えば、生成し、取り扱いおよび／または編集する（例えば、焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する））。一実施形態において、前記後処理システムは、前記画像データを捕捉しまたは獲得するために用いられる前記ライト・フィールド・データ捕捉装置の光学および／または幾何学モデルを構築しまたは再構築するために、前記ライト・フィールド構成データを使用する。前記したように、前記後処理システムは、前記ライト・フィールド・データおよび／または画像データと共にまたはこれとは別個に、前記ライト・フィールド構成データを取得する。
【００５９】
特に、ライト・フィールド構成データは、画像センサ・ピクセルから入射光線の表現へとデータを変換しまたは相互に関連付けるための情報を含むかまたは提供するライト・フィールド・データ獲得システムのための光学および／または幾何学モデルの表現を含む。一実施形態において、前記光学および／または幾何学モデルは入力として前記画像センサ上に位置（例えば、ピクセルの前記ＸおよびＹオフセット）を取り、また、前記ピクセル位置で獲得された光線の組、（例えば、前記したような（ｘ，ｙ，ｕ，ｖ）光線空間における一組の光線の四次元表現を提供する。例えば、米国特許出願公開第２００７／０２５２０７４号、およびそれが優先権を主張する仮出願（すなわち、出願番号６０／６１５，１７９号および６０／６４７，４９２号、並びにＲｅｎ  Ｎｇの博士論文「デジタル・ライト・フィールド・フォトグラフィ」）を参照されたい。
【００６０】
前記光学および／または幾何学モデルは、（ｉ）前記装置内の複数の光学要素（複数のレンズ要素、複数のミラー要素、複数のマイクロレンズ要素、および複数の画像センサ要素を含み、しかし必ずしもこれらに限定されない）の数、形状（例えば曲率および厚さ）、絶対的および／または相対的位置、（ｉｉ）前記要素の１つ、いくつかまたは全部の特徴、パラメータ、構成および／または特性（例えば、ガラスのタイプ、屈折率、アッベ数）、（ｉｉｉ）製造上の公差、（ｉｖ）測定された製造上の偏差、（ｖ）レンズの積み重ねにおける複数の光学要素の傾きおよび／または偏心、（ｖｉ）コーティング情報等を含む。典型的な一実施形態において、前記幾何学および／または光学モデルは、前記装置に入射する（例えば、前記装置の第１のレンズに入射する）少なくとも１つの光線の軌跡のコンピュータによる計算、推定、決定、表現および／または導出を可能とするのに十分であり、前記装置内（例えば、レンズとマイクロレンズ・アレイとの間の前記カメラの本体内）の前記光線の位置及び方向、および／または前記装置の画像センサ上の前記光線の終端位置、および／または前記システムの光学を経て伝播する光の量、色および／または分散を提供する。
【００６１】
典型的な一実施形態において、前記幾何学および光学モデルは、以下の１つ以上（または全て）の表現を含む。（ｉ）各レンズ要素の曲率および厚さ、（ｉｉ）複数のレンズ要素間の間隔および方向、（ｉｉｉ）各要素に関するガラスのタイプ、（ｉｖ）最後のレンズ要素と前記マイクロレンズ・アレイとの間の間隔および方向、（ｖ）複数の小型レンズの所与のピッチおよび曲率を有する六角形のパターンを含む、前記マイクロレンズ・アレイの幾何学的形状、（ｖｉ）前記マイクロレンズ・アレイおよび画像センサ・アレイ間の相対的間隔および方向、および（ｖｉｉ）前記画像センサ・アレイのピッチ、パターンおよび相対的方向。この幾何学および光学モデルは、前記装置に入射する光線群についての前記捕捉装置の光学的効果のコンピュータによるシミュレーションにより前記捕捉装置の光線伝達関数を決定するために使用される。特に、前記捕捉装置に入射する所与の光線（三次元位置および三次元方向ベクトルで表わされる）に関して、前記後処理電気回路／システムは、前記光学の最後のレンズ要素と前記ライト・フィールド・センサのマイクロレンズ・アレイとの間で前記捕捉装置の本体内を伝播する光線を、該光線が各レンズ要素のガラスのタイプ、曲率および厚さが与えられたときに物理法則に基づいて各要素を経て物理的に屈折して伝播するであろう経路に従って前記光学の複数のレンズ要素を経る前記光線を追跡することにより、計算する（例えば、図４参照）。
【００６２】
装置の特徴、パラメータおよび／または構成を記録する
典型的な一実施形態において、前記ライト・フィールド・データ捕捉装置の以下の特徴、パラメータおよび／または構成の１つ、いくつかまたは全てが捕捉され、保存されまたは記録される。
・前記マイクロレンズ・アレイに関する前記ライト・フィールド・データ捕捉装置（または、これを表わすデータ／情報）の開口関数または射出瞳を表わすデータまたは情報（例えば、前記光学またはレンズ・システムの光学的射出瞳のサイズおよび／または形状および／または三次元位置）  一実施形態において、前記射出瞳は、前記ライト・フィールド・データ捕捉装置のレンズ又は光学系の各構成に従って変化する。実際には、前記射出瞳のサイズおよび／または形状はショットごとを基準に変化し（図２Ｄ、図５および図６参照）。および／または、
・ライト・フィールド・データを記録する前記センサ光学および／または幾何学モデルとして全体的に規定される、前記ライト・フィールド・センサ幾何学モデル。典型的な一実施形態において、前記ライト・フィールド・センサは画像センサの前方に配置されまたは位置するマイクロレンズ・アレイを含み（例えば、図２Ａないし図２Ｃ参照）、また、前記ライト・フィールド・センサ幾何学モデルは以下の特徴、パラメータおよび／または構成の１つ、いくつかまたは全てを含む。
・前記マイクロレンズ・アレイの幾何学
本発明群に照らして、「マイクロレンズ・アレイ」は、一般的に、微小光学パターンを有する任意の窓を意味する用語である。したがって、前記マイクロレンズ・アレイの幾何学は、前記微小光学パターンの表面幾何学を含む。および／または、
・マイクロレンズ・アレイにおける複数の小型レンズのピッチ
前記マイクロレンズ・アレイにおける小型レンズ群のピッチは、隣接するマイクロレンズの中心間の距離として特徴付けられ、また、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である。いくつかの実施形態において、前記ピッチは前記マイクロレンズ・アレイの全ての小型レンズに関して一定かつ有効な単一数である（図７Ａおよび図７Ｂ参照）。他の典型的な実施形態群において、前記ピッチは前記マイクロレンズ・アレイの空間的位置に基づいて変化する。他の典型的な実施形態群において、用語「ピッチ」は、一般的に、規則的、不規則的、反復的または非反復的である、前記マイクロレンズのパターンに関して使用される。および／または、
・前記マイクロレンズ・アレイと前記画像センサの面との間の距離。いくつかの実施形態において、この距離が前記マイクロレンズ・アレイの焦点距離と同一であることが好ましい（図２Ｄ参照）。および／または、
・前記画像センサに関する前記マイクロレンズ・アレイのオフセットおよび回転  前記マイクロレンズ・アレイの相対的オフセットおよび回転は、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定であり、また、ライト・フィールド・データ捕捉装置間で変化する（これらのモデル、バージョンまたは部品間でも）（図６参照）。および／または、
・前記マイクロレンズ・アレイのパターン（例えば、六角形または四角形の）。前記マイクロレンズ・アレイのパターンは、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である（図８Ａ、８Ｂおよび８Ｃ参照）。および／または、
・前記画像センサのピクセル群／センサ群のピッチ。前記センサ（例えば、フォトセンサ・アレイ）のピクセル群／センサ群のピッチは、隣接するセンサ・ピクセルの中心間の距離として特徴付けられ、また、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である（図９参照）。
【００６３】
前記したように、前記ライト・フィールド構成データの１つ、いくつかまたは全てが決定され、保存されおよび／または記録され、また、このような露出した特徴、パラメータおよび／または構成を用いて捕捉されまたは収集されたライト・フィールド・データと関連付けられる。いくつかの実施形態においては、前記ライト・フィールド・データ捕捉装置の前記露出した特徴、パラメータおよび／または構成の全てが、捕捉または記録後の前記画像データのライト・フィールド処理を行う（例えば、前記焦点および／または被写界深度を調整し、選択し、規定しおよび／または再調整する）ために用いられるが、全てに満たないものは関連しまたは対応するライト・フィールド・データと共に決定され、保存されおよび／または記録される。したがって、いくつかの実施形態においては、１つ以上（および、全部より少ないようなもの）が前記関連しまたは対応するライト・フィールド・データのために決定され、保存されおよび／または記録される。このようなライト・フィールド構成データ（例えば、前記ライト・フィールド・データ捕捉装置の露出した特徴、パラメータおよび／または構成を含む）の全ての置換および組み合わせが関連しまたは対応するライト・フィールド・データと共に決定され、保存されおよび／または記録される。簡単にするため、これらの置換および組み合わせは本明細書では別個に説明されない。このように、本発明は、前記関連しまたは対応するライト・フィールド・データと共にこのようなライト・フィールド構成データを決定し、保存しおよび／または記録する本発明の単一の態様または実施形態、このような態様および／または実施形態の組み合わせおよび／または置換のいずれにも限定されない。
【００６４】
特に、前記画像センサの視点から、前記開口関数または射出瞳は、いくつかの実施形態において、前記主レンズの開口の三次元画像として特徴付けられる。前記画像センサ位置における前記射出瞳の相対的位置は、少なくとも部分的に、前記ライト・フィールド・データ捕捉装置の光学により決定される。このため、前記画像センサ位置における前記射出瞳の相対的位置は、例えば、前記レンズ、前記ズーム、および前記焦点に依存する（例えば、図２Ｄ参照、ここでは、サイズおよび位置を修正し、調整しおよび／または変えることによる（例えば、ズームにより）。「射出瞳１」が第１の組の光線を前記マイクロレンズ・アレイの複数の小型レンズ上に投影し、また、「射出瞳２」が第２の組の光線を前記マイクロレンズ・アレイの複数の小型レンズ上に投影し、それは各小型レンズから前記画像センサの面上へと光のディスク群の投影に当たる。
【００６５】
さらに、投影されたマイクロレンズのピッチのサイズ（例えば、前記画像センサの表面における投影された小型レンズの中心間の距離、あるいは、他の典型的な実施形態群では、小型レンズ群に投影されたときに相対する隣接小型レンズの中心間の線に沿って小型レンズを横切る距離）は、以下の関係を用いて特徴付けられまたは決定される。
投影ピッチ＝（ＭＬＡ＿Ｐｉｔｃｈ＊（Ｄ＋ＦＬｍ））／Ｄ
ここにおいて、Ｄは前記検知アレイと前記射出瞳との間の距離、ＦＬｍは前記マイクロレンズ・アレイの焦点深度、ＭＬＡ＿Ｐｉｔｃｈは前記マイクロレンズ・アレイにおける隣接するマイクロレンズの中心間の横方向距離である。
【００６６】
さらに、前記センサに関する前記マイクロレンズ・アレイのＸ‐オフセット、Ｙ‐オフセット、パターン、センサ・ピクセル・ピッチおよび回転が、前記ディスク群が前記センサ・ピクセル群とどのように整列しているかを決定する。前記センサ・ピッチは、前記モデルが幾何学的座標（一般的にミリメートルまたはミクロンで測定される）をピクセル位置群に対応付けることを可能にする。前記センサ・ピッチおよびマイクロレンズ・アレイのグリッドパターンは、製造仕様書に基づく既知の値である。典型的な一実施形態において、前記画像センサに関する前記マイクロレンズ・アレイのｘ‐オフセット、ｙ‐オフセット、および回転は登録の手順を通して決定することができる。一実施形態において、画像は、前記マイクロレンズ・アレイが前記画像センサに固定された後の製造工程の何時にても、前記マイクロレンズ・アレイと、全ての光線が前記ライト・フィールド・センサの面に垂直である平行光源の前記画像センサとの組み合わせを用いて捕捉される。この典型的な実施形態では、結果として生じる画像は、前記マイクロレンズ・アレイにおける小型レンズごとに、光点群またはディスク群の小さい画像群のグリッドである。前記ＸおよびＹオフセットは、前記登録された画像の中心からすぐ近くの（例えば、最も近い）光／小さいディスク画像の点までのこの距離であり、また、前記回転は光点群の列により定められる線と、センサ・ピクセル群の列により定められる線との間の角度の差である（図１０および図１１参照）。
【００６７】
他の典型的な実施形態では、画像は、前記捕捉装置が最小の使用可能開口まで「レンズを絞られる」（すなわち、そのサイズが縮小された光学レンズ開口を有する）とき、均一またはほぼ均一な光のフィールド（例えば、白壁）の完全またはほぼ完全に組み立てられたライト・フィールド・捕捉装置から捕捉される。この実施形態では、結果として生じる画像は、前記マイクロレンズ・アレイにおける小型レンズごとに、小さいディスク群または光点群のグリッドからなる。前記ＸおよびＹオフセットは、前記記録された画像の中心からすぐ近くの（例えば、最も近い）光点／小さいディスク画像の中心までのこの距離であり、また、前記回転は光点群の列により定められる線と、センサ・ピクセル群の列により定められる線との間の角度の差である（図１１および図１２参照）。
【００６８】
典型的な実施形態群の前述の説明が、ライト・フィールド構成データにおける取り込みに関して前記ライト・フィールド・データ捕捉装置の特徴、パラメータ、構成および／または特性を測定し、決定し、登録しおよび／または調整する一般原則を説明するように意図されているだけであること、および、現に知られまたは将来発明される測定、決定、登録および／または調整のための任意の手順が本発明群の範囲のこの態様に含まれるように意図されていることを明確に理解することは重要である。
【００６９】
いくつかの実施形態において、測定値または既知の値の１つは特定されないままにされ、また、他の測定値または既知の値は前記特定されないパラメータに関して複数のユニットに保存される。例えば、一実施例において、前記センサ・ピクセルのピッチは特定されず、いくつかのまたは全ての距離パラメータ（例えば、前記センサからの前記マイクロレンズ・アレイの間隔、前記画像センサに関する前記マイクロレンズ・アレイのｘ‐オフセットおよびｙ‐オフセット、および／または前記マイクロレンズ・アレイのピッチ）は、次に、前記センサ・ピクセル群のピッチに関連する複数のユニットを持つ。
【００７０】
いくつかの実施形態において、全ての特徴、パラメータおよび／または構成が、前記センサ面上への前記マイクロレンズ・ディスク画像群の投影をモデル化するために用いられる。それにもかかわらず、前記ライト・フィールド・データ捕捉装置のこのいくつかの特徴、パラメータおよび／または構成は、所与のまたは予め定められたライト・フィールド・データ捕捉装置のモデル、バージョンまたはシリーズに関して、固定またはほぼ固定され、一定またはほぼ一定であり、予め定められおよび／または潜在する。例えば、１つのレンズが、前記射出瞳が像から像に変わらないように設計される。結果として、前記射出瞳は潜在する。さらに、特定装置のモデル、バージョンまたはシリーズのための前記マイクロレンズ・アレイの配置は不変であると考えられ（特にこれらの状況では、前記製造はいくつかの許容誤差内にある）、また、このように、これらの特徴、パラメータおよび／または構成は予め定められ、あるいは潜在する。同様に、前記マイクロレンズのピッチ、焦点距離、センサのピッチおよびマイクロレンズのパターンも、特定装置モデル、バージョンまたは特定モデルのシリーズに関して前記焦点面にわたって一定であり、このように、これらの特徴、パラメータおよび／または構成は予め定められまたは潜在する。
【００７１】
特に、前記ライト・フィールド構成データは、いくつかの典型的な実施形態に関して、３つのカテゴリに分類される。これらのカテゴリの第１は、「モデルの静的ライト・フィールド構成データ」と称され、また、特定モデル、特定モデルのシリーズまたはバージョンのライト・フィールド・データ捕捉装置の全てに関して同一であるかまたはほぼ同一であるライト・フィールド構成データである（例えば、前記センサ・ピクセルのピッチはモデル静的である）。これらのカテゴリの第２は、「装置の静的ライト・フィールド構成データ」と称され、また、モデルの静的ライト・フィールド構成データを除いて、前記装置により捕捉されたライト・フィールドの全てに関して固定されまたはほぼ固定されているライト・フィールド構成データである（例えば、前記センサ面に関する前記マイクロレンズ・アレイのｘ‐オフセット、ｙ‐オフセットおよび回転はいくつかの例において装置静的である）。第３のカテゴリは、「動的ライト・フィールド構成データ」と称され、また、所与のまたは特定のライト・フィールド・データ捕捉装置からの連続したまたは複数の捕捉間で変化するライト・フィールド構成データである（例えば、所与のまたは特定の装置を介した捕捉が行われるときのズームおよび／または光学的焦点位置）。
【００７２】
いくつかの実施形態において、固定され、一定であり、予め定められおよび／または潜在する前記ライト・フィールド構成データ（前記モデルおよび／または装置の静的ライト・フィールド構成データ）のこれらの特徴、パラメータおよび／または構成は、（ｉ）製造の間および／または後の個々の基準に基づいて、（ｉｉ）１以上のライト・フィールド・データ捕捉装置の実験データを用いて、（ｉｉｉ）例えば、１以上のライト・フィールド・データ捕捉装置の１以上の実験データに基づく統計的近似値を用いて、および／またはコンピュータに基づくモデル化を用いて、決定される。実際には、前記ライト・フィールド・データ捕捉装置のこのような固定され、一定であり、予め定められおよび／または潜在する特徴、パラメータおよび／または構成は、現に知られまたは後に開発される任意の技術または装置を用いて決定される。
【００７３】
加えて、前記ライト・フィールド・データ捕捉装置のこのような固定され、一定であり、予め定められおよび／または潜在する特徴、パラメータおよび／または構成を表わすデータ（前記モデルおよび／または装置の静的ライト・フィールド構成データ）は、前記ライト・フィールド・データ捕捉装置のメモリに保存される。これに加えて、またはこれに代えて、前記ライト・フィールド・データ捕捉装置の特定モデルのモデル、バージョンまたはシリーズはメモリに保存され、また、前記ライト・フィールド・データ捕捉装置のこのような固定され、一定であり、予め定められおよび／または潜在する特徴、パラメータおよび／または構成（前記モデルおよび／または装置の静的ライト・フィールド構成データ）はこれらから決定される。このように、一実施形態において、前記ライト・フィールド・データ捕捉装置の固定され、一定であり、予め定められおよび／または潜在する特徴、パラメータおよび／または構成の１つ、いくつかまたは全てが、前記ライト・フィールド・データ捕捉装置のメモリに保存されまたは記録される（同じおよび／または異なるデータ・ファイルに）（例えば、図１Ｄおよび図１Ｅ参照）。したがって、前記ライト・フィールド・データ捕捉装置の固定され、一定であり、予め定められおよび／または潜在する特徴、パラメータおよび／または構成の１つ、いくつかまたは全て（前記モデルおよび／または装置の静的ライト・フィールド構成データ）が、常駐するメモリ、関連しまたは対応するライト・フィールド・データを有するデータ・ファイル、および／または前記関連しまたは対応するライト・フィールド・データとは異なるデータ・ファイルに保存される。
【００７４】
このようなモデルおよび／または静的ライト・フィールド構成データは、露出（すなわち、前記ライト・フィールド・データの捕捉またはサンプリング）の前、間、これと同時にまたは後に、前記ライト・フィールド・データ捕捉装置のメモリに保存されまたは記録される。一実施形態では、前記モデルおよび／または装置の静的ライト・フィールド構成データは、前記関連しまたは対応するライト・フィールド・データを後処理電気回路／システムに伝達する前に（例えば直前に）、前記関連しまたは対応するライト・フィールド・データに加えられる。このようにして、前記後処理システムは、前記ライト・フィールド・データ捕捉装置のこのような一定の、予め定められおよび／または潜在的な特徴、パラメータおよび／または構成を表わすデータ（前記モデルおよび／または装置の静的ライト・フィールド構成データ）と、前記関連しまたは対応するライト・フィールド・データ（同じまたは異なるデータ・ファイル内の）とを捕捉し、また、このようなライト・フィールド・データの捕捉または記録後に前記ライト・フィールド・データを用いて１以上の画像を生成し、取り扱いおよび／または編集する（例えば、焦点深度を調整する）。
【００７５】
他の実施形態において、前記モデルおよび／または装置の静的ライト・フィールド構成データの１つ、いくつかまたは全てが前記後処理システムのメモリに保存される（例えば、図１Ｆ参照）。この実施形態では、前記後処理システムが、前記ライト・フィールド・データ捕捉装置の１以上の一定の、予め定められおよび／または潜在的な特徴、パラメータおよび／または構成を、例えば、前記ライト・フィールド捕捉装置の特定モデルのモデル、バージョンまたはシリーズを表わすデータに基づいて、決定する。前記ライト・フィールド捕捉装置の特定モデルのモデル、バージョンまたはシリーズを表わすこのようなデータ（前記モデルの静的ライト・フィールド構成データ）は、ユーザを介して（例えば、ユーザ・インタフェースを介して）および／または前記ライト・フィールド・データ捕捉装置を介して、前記後処理システムに伝達されるデータ・ファイル内（例えば、（ｉ）ライト・フィールド・データおよび（ｉｉ）前記モデルの静的ライト・フィールド構成データを含むデータ・ファイル内、または前記ライト・フィールド・データとは異なるデータ・ファイル内）に、保存される。
【００７６】
前記後処理システムのメモリは、前記ライト・フィールド・データ捕捉装置のこのような固定され、一定の、予め定められおよび／または潜在する特徴、パラメータおよび／または構成を提供する参照テーブルまたはこれと同様のものを含む。例えば、ユーザは、前記ユーザ・インタフェースを介して、前記ライト・フィールド・データと関連する前記ライト・フィールド・データ捕捉装置の固定され、一定の、予め定められおよび／または潜在する特徴、パラメータおよび／または構成を指示するためにデータを入力する。前記後処理システムは、これに加えてまたはこれに代えて、前記ライト・フィールド・データ捕捉装置の固定され、一定の、予め定められおよび／または潜在する特徴、パラメータおよび／または構成を有する前記ライト・フィールド・データを前記後処理システムと関連付ける（例えば、前記ライト・フィールド・データ捕捉装置が後処理システムに接続されているような場合には）。前記したように、前記ライト・フィールド・データ捕捉装置の固定され、一定の、予め定められおよび／または潜在する特徴、パラメータおよび／または構成を表わす前記データは、前記ライト・フィールド捕捉装置の特定のモデルのモデル、バージョンまたはシリーズのデータである。
【００７７】
他の実施形態において、前記モデルおよび／または静的なライト・フィールド構成データの１つ、いくつかまたは全てが、予め定められた回復システムを介して前記後処理システムに利用可能にされる。例えば、一実施形態において、前記後処理システムは、ローカルの、ネットワーク化されたおよび／またはインターネットの１または複数のソースから、前記モデルおよび／または静的ライト・フィールド構成データの１つ、いくつかまたは全部を修復するために、データベースへの問い合わせを行う。他の実施形態において、前記後処理システムは、ローカルの、ネットワーク化されたおよび／または外部（例えば、インターネット）の１または複数のソースからソフトウエアの更新をチェックしおよび／またはインストールする。前記ライト・フィールド捕捉装置の特定モデルのモデル、バージョンまたはシリーズを表わすこのようなデータ（前記モデルの静的ライト・フィールド構成データ）は、ユーザを介して（例えば、ユーザ・インタフェースを介して）および／または前記ライト・フィールド・データ捕捉装置を介して、前記後処理システムに伝達されるデータ・ファイル内（例えば、（ｉ）ライト・フィールド・データおよび（ｉｉ）前記モデルの静的ライト・フィールド構成データ、または前記ライト・フィールド・データとは異なるデータ・ファイル内）に、保存される。
【００７８】
前記ライト・フィールド・データ捕捉装置の特徴、パラメータおよび／または構成が固定されず、一定でなく、予め定められずおよび／または潜在しないような場合には、このような特徴、パラメータおよび／または構成は、現に知られまたは後に開発されるかどうかを問わず、任意の技術または装置を用いて決定される。例えば、一実施形態において、１以上のセンサが、前記マイクロレンズ・アレイに関する前記ライト・フィールド・データ捕捉装置の射出瞳または開口関数を決定するために用いられる。いくつかの典型的な実施形態では、１以上のセンサ（例えば、線形または回転式ポテンショメータ、エンコーダおよび／または圧電または微小電気機械システム（ＭＥＭＳ）トランスデューサ、および／または、ＣＣＤまたはＣＭＯＳのような画像センサ、特に、現に知られているかまたは後に開発されるにかかわらず、任意のセンサが本発明群の範囲に含まれる）が、前記ライト・フィールド・データ捕捉装置のレンズ・システムの構成を感知し、検出しおよび／または決定することにより（前記マイクロレンズ・アレイに関する）、前記射出瞳の１以上のサイズおよび／または形状および／または他の特徴を感知し、検出しおよび／または決定する。
【００７９】
典型的な一実施形態において、画像センサ・アレイと前記光学システムとの間に既知のマイクロレンズ・アレイを有する前記画像センサ・アレイが、前記光学システムの射出瞳を感知するために使用される。前記画像センサ・アレイに現れる画像信号に基づいて、前記射出瞳の形状および／または位置が、各マイクロレンズ下に現れるマイクロレンズ・ディスク画像間の間隔から推定される。前記射出瞳の形状は、個々のマイクロレンズ画像（重なり合っている）の形状により決定され、例えば、円形の画像は円形の射出瞳を示し、六角形の画像は六角形の射出瞳を示し、また、四角形の画像は四角形の射出瞳を示す。いくつかの実施形態において、前記形状は、前記センサ上のその明らかな視点からの前記射出瞳の形状の変化を示す、前記画像センサにわたって変化する。前記マイクロレンズ・アレイおよびセンサからの前記射出瞳の距離は、前記マイクロレンズ画像群のピッチ（相対的中心間の距離）により決定される。図２Ｄに示されているように、より小さいピッチは、前記図に示された直線的幾何学関係により、より詳細な距離を示す。
【００８０】
典型的な一例において、前記光学的射出瞳と前記マイクロレンズ・アレイとの間の距離Ｌは、以下の式で特徴付けられる。
Ｌ＝Ｆ＊Ｘ／（Ｘ−Ｙ）
ここにおいて、Ｆは前記マイクロレンズ・アレイと前記センサとの間の間隔であり、Ｘは２つの所与の（例えば、隣接する）マイクロレンズの中心（ＡおよびＢ）間の間隔であり、また、ＹはＡおよびＢ下の前記センサ上に現れるマイクロレンズ画像の中心間の間隔である。
【００８１】
他の典型的な実施形態において、センサまたは他の機構が、ズームレンズの構成のトラックを検出し、決定し、測定し、または維持するために使用される。例えば、センサが、前記ズームを駆動するために用いられるステッピングモータの位置を検出し、決定しおよび／または測定し、また、この位置が前記ズームレンズの構成のインジケータとして用いられる。これらの典型的な実施形態群において、前記ズームレンズの構成が、前記構成を予め定められた射出瞳の構成に対応付けるデータベースまたはテーブルと組み合わされる。いくつかの実施形態において、ステッピングモータの位置の数は不連続でありまた有限であり、Ｎビットの鍵は、各Ｎビットの鍵が、対応するステッピングモータの位置に関する予め定められた射出瞳の形状に対応する前記データベースまたはテーブルに対応するように、各位置を一意的に示すように用いられる。
【００８２】
特に、前記ライト・フィールド・データ捕捉装置が後処理システムに接続するようなこれらの実施形態では、このような接続は、現に知られまたは後に開発される信号伝達技術を用いる有線および／または無線構造からなる。加えて、前記構成データは、現に知られまたは後に開発される任意のフォーマットを用いて、前記関連のライト・フィールド・データと共にまたはこれとは別個に後処理システムに提供されおよび／または伝達される。実際には、前記モデルおよび／または装置の静的ライト・フィールド構成データは、動的ライト・フィールド構成データ（すなわち、前記ライト・フィールド・データ捕捉装置の特徴、パラメータおよび／または構成は固定されず、一定でなく、予め決定されずおよび／または潜在的でない）と共にまたはこれとは別個に後処理システムに提供されおよび／または伝達される。例えば、一実施形態において、モデルおよび／または装置の静的ライト・フィールド構成データは、最初の接続があると後処理システムに提供されおよび／または伝達され、その後、動的ライト・フィールド構成データが後処理システムに関連のライト・フィールド・データと共にまたはこれとは別個に伝達される。これに関する全ての伝達方策、フォーマット、技術および／または構造は、本発明群の範囲に含むように意図されている。
【００８３】
一実施形態において、前記ライト・フィールド・データ捕捉装置は、前記射出瞳およびセンサ・ピッチを表わすデータを捕捉し、決定し、保存しおよび／または記録する。この点において、一実施形態では、前記ライト・フィールド捕捉装置が、前記ライト・フィールド・データが捕捉され、収集され、サンプリングされおよび／または取得されるとき（「露出」のときまたは前記「ショット」がなされるとき）、前記レンズ構成に関するデータまたは情報（例えば、ズーム位置および範囲）を捕捉し、決定し、保存しおよび／または記録する。前記ライト・フィールド捕捉装置の電気回路が、例えば前記レンズ構成を用いて前記射出瞳の位置を計算し、決定しおよび／または推定する。
【００８４】
特に、高いレベルで、ライト・フィールド獲得システムのための光学および／または幾何学モデルは、画像センサ・ピクセルから入射光線の表現にデータを変換しまたは相互に関連付ける。複数のピクセル値を、前記ライト・フィールド捕捉装置からの入射光線群に変換するためのモデルを有する、前記後処理電気回路はライト・フィールド処理を実行する（例えば、異なる焦点面を有する複数の画像を含む複数の画像をコンピュータで計算し、また、人工物を補正し、獲得し、またはそのアドレスを指定する複数の画像をコンピュータで計算する。）。本発明群は、いくつかの態様において、主レンズ・システムと、前記ライト・フィールド・データ捕捉装置のいくつかの態様の光学および／または幾何学モデルの決定を容易にするライト・フィールド獲得センサとの複数の光学パラメータを記録し、保存しおよび／または決定する。
【００８５】
前記レンズ・システムと前記ライト・フィールド・センサとの特徴、パラメータおよび／または構成が記録され、保存されおよび／または決定されると、後処理電気回路が、センサ・ピクセル群を幾何学光線群または複数組の幾何学光線に「対応付け」または相互に関連付ける光学および／または幾何学モデルを生成する。
【００８６】
特定の状況下で、前記射出瞳または開口関数は、前記レンズ・システム（任意の種類またはタイプの１以上のレンズを含む）を記述しまたは特徴付ける前記ライト・フィールド・データ捕捉装置のコンパクトなパラメータであると判断される。このようにして、後処理電気回路は、例えば、データ捕捉後または前記ライト・フィールド・データ捕捉装置によるライト・フィールド・データの捕捉後、異なる深度での１以上の画像の焦点合わせまたは再焦点合わせを含むライト・フィールド処理を容易にしおよび／または可能にするため、前記射出瞳または開口関数を表わすデータ（例えば、いくつかの実施形態では前記射出瞳のサイズおよび／または形状）を用いる。
【００８７】
前記システムがレンズ・システムの収差の補正を行うような場合、前記レンズ・システムの特徴または表現および／または光線補正関数が用いられる。典型的な一実施形態において、前記レンズ・システムは、レンズ要素間の形状、屈折および／または間隔を記述する一組の式により特徴付けられまたは表わされる。このような式または関係は、光線群が、前記画像センサによる捕捉の前にどのようにして前記光学システムを横切りまたは通過すると決定されるかを記述する。実際には、前記光線群がどのようにして前記光学システムを横切りまたは通過するかの特徴または表現は、光学収差の補正に用いられる光線収差関数の光線追跡コンピュータ計算を容易にする（例えば、Ｒｅｎ  Ｎｇの博士論文、「デジタル・ライト・フィールド・フォトグラフィ」、スタンフォード大学  ２００６  第１３５頁参照）。他の典型的な実施形態において、前記レンズ・システムは、光線補正関数（または光線収差関数）の式および離散近似により記述される。
【００８８】
前記レンズの口径食が前記センサ面上で捕捉された光に影響を与えるような場合には、口径食を補正し、低減し、最小化しおよび／または取り除くための技術および電気回路を用いることが有利である。このような口径食の一例は、斜位像からの前記射出瞳の食および／または領域の低減および／または閉鎖のために（例えば、多くのレンズ内のレンズ要素の境界による、または開口による、または他の不透明な要素による内部妨害物のために）、コーナに向けて写真を暗くすることである。いくつかのレンズ・システムにより捕捉されたライト・フィールドは、前記レンズ・システムの口径食が特徴付けられまたはモデル化されていない場合、前記画像の縁の周りで人工物に出会う。１つの典型的な実施形態において、前記レンズ・システムは、射出瞳パラメータと、前記ピクセル位置に基づいて前記射出瞳の食を特徴付ける式とにより特徴付けられ、記述されおよび／または表わされる。このようにして、口径食は、各ピクセル位置における食された射出瞳の領域による正規化により、補正され、低減され、最小化され、および／または取り除かれる。
【００８９】
１つの典型的な実施形態において、参照テーブルまたはこれと同様のものが、光線が口径食の影響下にあるかどうかをテストするために用いられる。１つの特定の実施形態において、幾何学光線または一組の光線の「離散化された」Ｘ，Ｙ，Ｕ，Ｖ成分を用いてアクセスされる、２値の参照テーブルが、システムがライト・フィールド処理を実行しているときにチェックされる。前記２値の参照テーブルが前記幾何学光線パラメータに関する偽値または零の値を保存する場合、その幾何学光線と関連のある情報（例えば、ピクセル値）が廃棄される。他の特定の典型的な実施形態において、０．０から１．０の範囲にある値を有する数値に関する参照テーブルが、システムが幾何学光線または一組の光線のＸ，Ｙ，Ｕ，Ｖ成分を用いてアクセスされる、ライト・フィールド処理を実行するとき、チェックされる。前記幾何学光線パラメータに関連する前記情報（例えば、ピクセル値）は、システムがライト・フィールド処理を実行するとき、修正および／または調整される（例えば、前記閉鎖からなる前記ピクセル値を調整することによりまたは前記ピクセル値を正規化するための検索値を用いることにより）。
【００９０】
前記参照テーブルは、例えば、予め定められたライト・フィールド（例えば、一定かつ均一な（またはほぼ一定かつほぼ均一な）照明、あるいは予め定められかつ知られたシーンまたはライト・フィールド）のライト・フィールド・データを捕捉するための装置を使用し、また、前記ライト・フィールド・データの各値に関して前記予め定められたシーンまたはライト・フィールドにより実験的に記録された値を分割することにより正規化された複数値の参照テーブルを保存することにより、前記ライト・フィールド・データ捕捉装置の製造の間の較正ステップの間に実験的に取得される。この典型的な実施形態のライト・フィールド処理の態様において、前記参照テーブルは、該参照テーブルの対応値の逆数によってそれのスケーリングを行うことにより前記ライト・フィールド・データの各値を正規化することによりライト・フィールド処理の間に使用される。例えば、画像センサを有するライト・フィールド・データ捕捉装置に関して、前記参照テーブルは、ライト・フィールド処理に供給される前記ライト・フィールド構成データの正規化されたセンサ画像として保存される。前記画像センサ値を含む所与の入力ライト・フィールド・データの組に対するライト・フィールド処理の間、各値は、前記正規化されたセンサ画像における対応する画像センサ値の逆数に比例して重みを付けられる（参照テーブル）。
【００９１】
さらに他の典型的な実施形態において、前記参照テーブルは、前記正規化されたセンサ画像の近似値を求める解析関数により表わされる。例えば、使用される前記解析関数および／または近似値は、前記画像の他の一部のセンサ画像ピクセルを保存されたサブセットの対応する位置と対応付けまたは関連付けるためのプロセスまたは手順と組み合わされた前記センサ画像の保存されたサブセット（例えば、１つのマイクロレンズ下の複数の値）からなる。典型的な一実施形態において、対応付けまたは関連付けのプロセスまたは手順は、予め定められた位置、例えば最も近いマイクロレンズの中心からの二次元オフセットを決定し、また、前記保存されたサブセット中の前記マイクロレンズの中心からの同じまたはほぼ同じ二次元オフセットにおける前記保存されたサブセット中の前記値を用いることからなる。実際には、前記二次元オフセットを決定するための方法は前記マイクロレンズ・アレイのパターンに依存し、また、中心の位置に関する前記ライト・フィールド構成データ中のデータおよび前記センサ画像におけるマイクロレンズ画像の半径を利用する典型的な実施形態に関して、計算が以下に説明される。
【００９２】
特に、典型的な実施形態群の前述の説明は、口径食またはライト・フィールド・データ捕捉装置の好ましくない特徴の態様の補正、およびライト・フィールド構成データへの取り込みのための機能のような、参照テーブルを測定し、決定し、登録しおよび／または調整する一般原則を示すように意図されているに過ぎない。このような参照テーブルをライト・フィールド構成データの一部として測定し、決定し、登録し、調整し、表わしおよび／または保存するための任意の適当な手順は、現に知られているか後に開発されるかに拘わらず、本発明群の範囲のこの態様を含むように意図されている。
【００９３】
ライト・フィールド・データ捕捉装置の特徴、パラメータおよび／または構成の光学的表現の伝達
前記したように、記録されたピクセル・データを幾何学的光線情報に変換するための前記光学モデルは、前記ライト・フィールド・データ捕捉装置のライト・フィールド・センサおよび主レンズ・システムまたは光学システムを記述する前記ライト・フィールド・データ捕捉装置の１以上の特徴、パラメータおよび／または構成に基づいてまたはこれを用いて構築される。前記モデルおよび／または装置の静的ライト・フィールド構成データは、例えば、ライト・フィールド・データ捕捉装置のメモリ、例えば、不揮発性のメモリ（ＲＯＭ様のメモリ、例えば、電気的書き込み可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）および／またはフラッシュメモリ（例えば、ＮＯＲまたはＮＡＮＤ））に保存される。このような静的な特徴、パラメータおよび／または構成を表わすデータは、何時でも、例えば前記製造プロセスの間にメモリに書き込まれる。いくつかの実施形態において、このようなモデルおよび／または装置の静的ライト・フィールド構成データは、マイクロレンズ・ピッチ、マイクロレンズ・パターン、および／またはセンサ・ピクセル・ピッチを含む。また、前記モデルおよび／または装置の静的ライト・フィールド構成データは、前記マイクロレンズ・アレイと前記センサ面との間の間隔を含む。
【００９４】
特に、これらの実施形態では、前記ライト・フィールド・データ捕捉装置が「固定された」レンズ・システム（例えば、ライト・フィールド捕捉装置は付属のレンズ・システムで製造される）を含む場合、前記射出瞳のサイズおよび形状は、例えば、ライト・フィールド・データ捕捉装置の光学装置のズームおよび／または焦点位置に基づいて決定される。前記射出瞳または開口関数は、１以上のズームおよび焦点位置に関連しているように、予め定められおよび／または前記ライト・フィールド・データ捕捉装置のメモリおよび／または外部の後処理システムのメモリに（参照テーブル、式、またはこれと同様の形態で）保存される。
【００９５】
いくつかの装置の静的ライト・フィールド構成データ（例えば、前記センサ面に関する前記マイクロレンズ・アレイのオフセットおよび回転）は、個々のライト・フィールド・データ捕捉装置に関して変化する。このように、ライト・フィールド・データ捕捉装置のいくつかの特徴、パラメータおよび／または構成は装置ごとに変化し、このような特徴、パラメータおよび／または構成は、例えば、前記ライト・フィールド・データ捕捉装置の構築後、登録手順の間に保存および／または更新される。このデータまたは情報は、前記ライト・フィールド・データ捕捉装置の不揮発性メモリ（例えば、ＳＲＡＭ、ＮＯＲまたはＮＡＮＤフラッシュまたはＥＥＰＲＯＭ）に保存され、また、実際には、前記捕捉装置の構築後に装置調整プロセスの一部として設定される。
【００９６】
取り換え可能のレンズ・システムにおける特徴、パラメータおよび／または構成の伝達および保存
いくつかの実施形態において、前記ライト・フィールド・データ捕捉装置は１以上の取り換え可能のレンズを含む。これらの実施形態において、前記ライト・フィールド・データ捕捉装置は、その光学システムに対する詳細および／または変化が設けられ（例えば、前記ユーザ・インタフェースを介してユーザにより）および／またはこれらを検出する（例えば、前記取り換え可能のレンズから捕捉されたデータを介して）。一実施形態において、前記ライト・フィールド・データ捕捉装置は、前記取り換え可能のレンズから情報を読み出し、前記光学システムの特徴、パラメータおよび／または構成および／またはこれに対する変化を決定する。他の実施形態において、ユーザは、前記ユーザ・インタフェースを介して、前記光学システムの特徴、パラメータおよび／または構成および／またはこれに対する変化を入力する。このような情報は、現に知られているか後に開発されるかに拘わらず、任意の通信技術、電気回路、（電気的または機械的）インタフェースおよび／または構造を用いて通される。
【００９７】
いくつかの典型的な実施形態において、前記取り換え可能のレンズ（すなわち、前記ライト・フィールド・データ捕捉装置の光学システムに組み込まれているレンズ）および／または前記ライト・フィールド・データ捕捉装置は、（ｉ）前記光学システムのズームおよび焦点を（ｉｉ）射出瞳（または開口関数）の表現と関連付けまたは「対応付ける」メモリ中の参照テーブルを含む。この射出瞳は、後処理電気回路（前記ライト・フィールド・データ捕捉装置および／または独立した後処理システムに配置されている）に提供され、ライト・フィールド処理を容易にしおよび／または可能にする。他の実施形態において、前記射出瞳は、前記光学システムのズームおよび焦点に基づく数学的関係により決定される。特に、固定された焦点及びズーム位置を有する実施形態群において、前記射出瞳のサイズおよび形状の決定は、異なるパラメータに依存する（例えば、固定されたズーム位置を有する実施形態では、前記射出瞳は、焦点位置の変化と共にのみ変化する。）
【００９８】
他の典型的な実施形態において、取り換え可能のレンズが光学システムに組み込まれる場合、ファームウエアの更新が前記ライト・フィールド・データ捕捉装置に適用される。
この更新は、「パッチ」として実行され、また、ユーザによりインストールされ、あるいは前記レンズが初めて前記ライト・フィールド・データ捕捉装置に結合されるときは自動的にインストールされる。前記ファームウエアの更新は、前記レンズが露出時またはライト・フィールド・データ収集、捕捉および／または獲得のときに提供する情報に基づいて、前記光学またはレンズ・システムのいくつかの光学パラメータを決定するための機構を提供する。例えば、前記ファームウエアの更新は、前記ライト・フィールド・データ捕捉装置が、前記レンズの射出瞳または開口関数を表わすデータを前記レンズの構成に基づいて検索することを可能にする。
【００９９】
さらに他の実施形態において、前記ライト・フィールド・データ捕捉装置のメモリは、前記ライト・フィールド・データ捕捉装置の光学システムに組み入れられまたは組み込まれる１以上の取り換え可能レンズのデータを含む。この実施形態では、前記メモリ（例えば、不揮発性のメモリ）は、前記ライト・フィールド・データ捕捉装置の光学システムに組み入れられまたは組み込まれる複数の取り換え可能レンズの特徴、パラメータおよび／または構造を表わすデータを含む。このため、前記ライト・フィールド・データ捕捉装置内に常駐するメモリは、（ｉ）前記ズームおよび焦点を（ｉｉ）前記射出瞳を表わすデータと「対応付ける」参照テーブルを含む。一実施形態において、前記常駐メモリは複数の数学的関係を含み、ここにおいて、予め定められた数学的関係の選択された１つが、前記ライト・フィールド・データ捕捉装置の光学システムに組み入れられまたは組み込まれる特定の取り換え可能レンズに基づいて、例えば前記光学システムの特定のズームおよび焦点に基づいて前記射出瞳のサイズおよび／または形状を決定するために使用される。
【０１００】
典型的な一実施形態において、前記ライト・フィールド・データ捕捉装置の前記メモリは、前記本体に適合する全ての利用可能な取り換え可能レンズのデータベースを含む。各入力は、前記レンズ・システムにより前記カメラに対して利用可能とされた情報により指示される。前記指示（鍵）は、レンズモデル番号の形態において一意的であり、あるいは最小ズーム、最大ズームおよびＦ値のような利用可能のパラメータの組み合わせにより一意的である。実際には、この指示は、前記射出瞳のサイズおよび／または形状を、例えば前記レンズの現在のズームおよび焦点位置から前記射出瞳位置に変換することにより決定するための特定のまたは予め定められた数学的関係を検索するために用いられる。
【０１０１】
他の典型的な実施形態において、取り換え可能レンズが前記ライト・フィールド・データ捕捉装置に取り付けられると、その装置は、有線（例えば、ローカルコンピュータへのＵＳＢケーブル接続）または無線（例えば、Ｗｉ‐Ｆｉ対応機器）の接続を用いて、更新について、外部の１以上のソースに問い合わせを行う（例えば、インターネットに接続可能のカメラがネットワーク・データベースに問い合わせを行う）。この実施形態では、前記ライト・フィールド・データ捕捉装置は、該ライト・フィールド・データ捕捉装置の光学システムに組み入れられまたは組み込まれる複数の取り換え可能レンズの特徴、パラメータおよび／または構成を表わすデータをチェックしおよび／または更新するために取り換え可能レンズが前記装置に取り付けられる初めてのとき、取り付けごとに、あるいは何時でも、最初に外部の１つ以上のソースに問い合わせを行う。
【０１０２】
先の考察において、「ズームおよび焦点」がしばしばレンズの光学的構成の典型的な特徴として使用された。「ズームおよび焦点」が本明細書でこの関連において使用されていても、光学システムの構成の特徴のいかなるサブセットも、また実際には前記捕捉装置の光学および／または幾何学モデルで表わされるいかなるものも、ズームおよび焦点特徴の代わりに置き換えられ、またはこれに加えて、また、このような置き換え及び一般化が本発明群の範囲に含まれるように意図されていることは理解されるべきである。
【０１０３】
マイクロレンズ・アレイの光学的表現
いくつかの実施形態において、前記マイクロレンズ・アレイを表わすデータは、画像が後処理回路を介して処理されることが可能であるように記録されまたは保存される。
このようなデータは、別個の構成データ・ファイルに、または前記ライト・フィールド・データ・ファイルと共に保存される。前記構成データ・ファイルは、それぞれがライト・フィールド・データを含む１以上のファイルと関連する。例えば、前記構成データ・ファイルは、前記ライト・フィールド・データを保存する電子ファイルのヘッダに保存される。代わりに、前記構成データ・ファイルは、関連するライト・フィールド・データを含む前記電子ファイルに関連する別個の電子ファイルに保存される。さらに、前記構成データを含む前記電子ファイルは、それぞれが異なるライト・フィールド・データを含む複数の電子ファイルと関連しまたこれらから分離している。
【０１０４】
典型的な一実施形態において、関係のある／関連のあるライト・フィールド構成データは、前記ライト・フィールド・データ・ファイルのヘッダに標準画像フォーマットで保存される。この実施形態では、前記ヘッダは、特に、ライト・フィールド構成データ（例えば、前記光学システムの特徴、パラメータおよび／または構成を表わすデータを含む）を含む。例えば、独立した後処理システム内の後処理電気回路は、関連しまたは対応するライト・フィールド・データを処理するために用いるモデルの構築を容易にするために前記データ・ファイルのヘッダを読み込みまたは解釈する。このようにして、前記後処理電気回路は、例えば前記ライト・フィールド・データを用いて１以上の画像を生成し、取り扱いおよび／または編集するライト・フィールド処理を実行するために前記画像センサからのデータを変換しまたは解釈する（例えば、前記ライト・フィールド・データ捕捉装置によるデータ捕捉後、または前記ライト・フィールド・データの捕捉後、１以上の画像の異なる深度での焦点合わせまたは再焦点合わせ）。例えば、前記後処理電気回路は、ライト・フィールド・データを、画像センサ・ピクセル位置からの入射光の表現に変換しまたは解釈する。
【０１０５】
投影された複数のディスクの中心位置および形状
一実施形態において、前記システムが、前記画像センサの面上の投影された複数のマイクロレンズ・ディスクの中心位置およびサイズを表わすデータを捕捉しまたは決定する。図５を参照すると、前記投影ディスク群のサイズおよび形状は、獲得された画像上に重なり合わされる。前記小型レンズ群の投影画像のサイズおよび形状は、ライト・フィールド処理のために後処理電気回路により用いられる。実際には、前記マイクロレンズ・ディスク群の中心およびサイズの決定は、例えば以下の典型的な実施形態において説明される計算手順を用いて、先に列挙された入力光学パラメータに基づいて決定される。
【０１０６】
投影マイクロレンズ・ディスク位置及び形状
一実施形態において、前記システムが、（ｉ）前記画像センサの中心に対する中心小型レンズ投影のＸおよびＹオフセット（または、前記画像センサに関するマイクロレンズ・アレイの移動を表わす他の任意のオフセット）、（ｉｉ）画像センサに関するマイクロレンズ・アレイの回転、（ｉｉｉ）マイクロレンズ・グリッド・パターン（例えば、六角形または四角形の）、（ｉｖ）投影小型レンズ群の半径、および／または（ｖ）投影小型レンズの中心間の間隔を表わすデータを保存しまたは記録する。このようなデータは、ライト・フィールド処理に用いられる光学および／または幾何学モデルを決定するために前記後処理電気回路により用いられる（例えば、ライト・フィールド・データ捕捉装置によるデータ捕捉後または前記ライト・フィールド・データの捕捉後、異なる深度での１以上の画像の焦点合わせまたは再焦点合わせ）（例えば、図６参照）。特に、ＸおよびＹオフセット値は、前記センサ上の中心ピクセルと、中心投影マイクロレンズ・ディスクとの間の空間距離である（前記マイクロレンズがディスク形状を含む場合）。加えて、隣接するディスクの中心間間隔は、投影マイクロレンズ・アレイのピッチである。各投影小型レンズ・ディスクの半径は、前記マイクロレンズ・アレイの小型レンズにより投影された光のディスクの範囲であると考えられる（図１４Ａないし図１４Ｃ参照）。投影ディスク群の直径は図において前記ピッチとほぼ同じサイズに見えるが、数は異なりまた異なる目的のために使用されることに留意されたい。
【０１０７】
この実施形態では、電気回路は、複数のセンサ位置（例えば、ピクセル座標のＸおよびＹ位置）を、以下の方法で一組の入射光を表わす情報に変換する幾何学または光学モデルを構築する。
【０１０８】
前記ＸおよびＹオフセットは、MLXOnSensorおよびMLYOnSensorとしてそれぞれ言及される、前記センサの面上の中心マイクロレンズにより形成される画像の位置を特定する。前記マイクロレンズにより形成された画像のサイズは、MLROnSensorとして言及される、前記投影小型レンズの半径により特定される。
【０１０９】
PXOnSensorおよびPYOnSensorに中心がある、各ピクセルに関して、Sqrt((PXOnSensor-MLXOnSensor)2+(PYOnSensor-MLYOnSensor)2)
< MLROnSensorであるとき、前記ピクセルは特定のマイクロレンズの前記投影画像内と考えられる。
【０１１０】
前記センサ面上への全ての投影マイクロレンズ画像の中心の位置は、回転を説明する、隣接する小型レンズ間の間隔を加えることにより決定される。四角形のマイクロレンズ・グリッド・パターンと、前記センサ面に関するθの回転と、前記センサ面上のマイクロレンズ画像間のMLSpacingの間隔とを有する典型的な実施形態において、４つの隣接するマイクロレンズは以下の位置に中心を有する。
・MLXOnSensor＋MLSpacing*COS(θ), MLYOnSensor＋MLSpacing*SIN(θ)
・MLXOnSensor−MLSpacing*COS(θ), MLYOnSensor＋MLSpacing*SIN(θ)
・MLXOnSensor−MLSpacing*SIN(θ), MLYOnSensor＋MLSpacing*COS(θ)
・MLXOnSensor＋MLSpacing*SIN(θ), MLYOnSensorMLSpacing*COS(θ)
【０１１１】
前記センサ面上の前記マイクロレンズ・ディスクの投影の位置及び間隔は、四次元の組の幾何学光線のＸおよびＹ成分／座標における位置及び範囲を決定する。前記画像センサ上の位置をＸ、Ｙ、ＵおよびＶの値の組に変換する一実施形態では、投影マイクロレンズ画像に含まれる全てのピクセルのＸおよびＹ成分は、前記マイクロレンズ投影の中心に中心があると考えられ、前記マイクロレンズの全域と同じサイズを有する。前記ＵおよびＶ成分は、角度情報と考えられ、また、いくつかの実施形態では、MLXOnSensor, MLYOnSensorに中心があるマイクロレンズ下においてPXOnSensor, PYOnSensorに中心があるピクセルに関して、以下の方法で決定される。
・U =
(PXOnSensor−MLXOnSensor) / MLSpacing
・v =
(PYOnSensor−MLYOnSensor) / MLSpacing
【０１１２】
これらの実施形態では、ＵおよびＶは−０．５および０．５間の範囲にある正規化された座標空間にある。
【０１１３】
特に、この実施形態では、照明されない任意のセンサ・ピクセル（前記ピクセルの位置からの１つの投影ディスク半径より小さいかまたはこれに等しい中心を有する投影マイクロレンズ画像はない）はライト・フィールド処理に使用されない。
【０１１４】
いくつかの実施形態において、捕捉された画像への複数の放射小型レンズ・ディスクの位置およびサイズが外見上規則的であるかまたはほぼ規則的であることは有利である。
【０１１５】
捕捉システムのコンパクトな光学的仕様
一実施形態において、前記システムは、（ｉ）３‐空間における前記画像センサに関するマイクロレンズ・アレイの位置および方向、（ｉｉ）マイクロレンズ・グリッド・パターン（例えば、六角形または四角形の）、（ｉｉｉ）マイクロレンズ・アレイのレンズ式または近似値、（ｉｖ）主レンズ・システムに関するレンズ式および間隔、または近似値、および／または（ｖ）前記主レンズ・システムに関する前記ライト・フィールド・センサの位置および方向を表わすデータを保存しまたは記録する（例えば、図５および図６参照）。このようなデータは、前記ライト・フィールド・データ捕捉装置の光路のモデルを決定するために前記後処理電気回路により使用される。
【０１１６】
前記モデルは、ライト・フィールド処理を行うために後処理電気回路により使用される（例えば、前記ライト・フィールド画像データを用いて１以上の画像を生成し、取り扱いおよび／または編集する（例えば、前記ライト・フィールド・データ捕捉装置によるデータ捕捉後またはライト・フィールド画像データの捕捉後、１以上の画像の異なる深度での焦点合わせまたは再焦点合わせ））。
【０１１７】
典型的な一実施形態において、前記後処理システムは、（ｉ）前記画像センサの中心に関する前記マイクロレンズ・アレイにおける中心小型レンズのｘ‐オフセット、（ｉｉ）前記画像センサの中心に関する前記マイクロレンズ・アレイにおける中心小型レンズのｙ‐オフセット、（ｉｉｉ）前記マイクロレンズ・アレイの回転、（ｉｖ）前記画像センサからの前記マイクロレンズ・アレイの間隔、（ｖ）前記マイクロレンズ・アレイのピッチ、（ｖｉ）前記マイクロレンズ・アレイのパターン、および（ｖｉｉ）前記マイクロレンズ・アレイに関する前記射出瞳の中心の位置を捕捉しおよび／または決定する。
【０１１８】
特徴、パラメータおよび／または構成光学システムおよび検索
一実施形態において、前記システムは、検索システムを介して、システム、電子、シーン依存および／または光学的な特徴、パラメータ、特性、モデル、および／または構成を提供する。検索システムにおいて、一実施形態によれば、前記ライト・フィールド・データ捕捉装置は、前記光学システムまたは前記捕捉装置の光学システムの要素を特定する１以上の鍵を有する前記ライト・フィールド・データを保存しまたは記録する。例えば、一実施形態において、ライト・フィールド・データ捕捉装置は複数の鍵（例えば、２つの鍵）を保存し、ここにおいて、一方の鍵は前記ライト・フィールド・データ捕捉装置を一意的に特定し、また、他方の鍵は、前記ライト・フィールド・データが取られ、捕捉されおよび／または獲得されたときに前記捕捉装置の特徴、パラメータおよび／または構成を一意的に特定する。実際には、特定の一実施形態において、本発明群のこの態様に係るライト・フィールド・データ捕捉装置は固定された数のズーム構成と、各ズーム構成のための固有の識別子とを有し、ここにおいて、それぞれが予め定められた鍵に対応する。
【０１１９】
特に、一実施形態において、前記ライト・フィールド・データ捕捉装置は（これに加えてまたはこれに代えて）、捕捉されまたは獲得されたライト・フィールド・データに関するまたはこれに対応する前記捕捉装置の特徴、パラメータおよび／または構成を特定するためのＮビットの鍵を保存しまたは記録する。典型的な一実施形態において、前記ライト・フィールド・データ捕捉装置は、該ライト・フィールド・データ捕捉装置の（動的および／または静的）露出特徴、パラメータおよび／または構成の１つ、いくつかまたは全てを一意的に特定する鍵を含み、以下を含む。
・前記マイクロレンズ・アレイに関する前記ライト・フィールド・データ捕捉装置（またはこれを表わすデータ／情報）の開口関数または射出瞳を表わすデータまたは情報（例えば、前記レンズ・システムの光学的射出瞳のサイズおよび／または形状および／または三次元位置）。一実施形態において、前記射出瞳は前記ライト・フィールド・データ捕捉装置のレンズ・システムの各構成によって変化する。実際には、前記射出瞳のサイズおよび／または形状はショットごとを基準として変化する（図２Ｄ、図５および図６参照）。
・ライト・フィールド・データを記録する前記センサの光学および／または幾何学モデルとして一般的に規定される、ライト・フィールド・センサ幾何学モデル。特定の典型的な一実施形態において、このセンサは画像センサ・アレイの前方のマイクロレンズ・アレイであり、前記ライト・フィールド・センサ幾何学モデルは、以下の特徴、パラメータおよび／または構成の１つ、いくつかまたは全てを含む。
・マイクロレンズ・アレイの幾何学
本発明群に照らして、「マイクロレンズ・アレイ」は、一般的に微小光学パターンを有する任意の窓を意味する用語である。したがって、前記マイクロレンズ・アレイの幾何学は、前記微小光学パターンの表面幾何学、および／または
・マイクロレンズ・アレイにおける複数の小型レンズのピッチを含む。前記マイクロレンズ・アレイの複数の小型レンズのピッチは、隣接するマイクロレンズの中心間の距離として特徴付けられ、また、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である。いくつかの実施形態において、前記ピッチは、前記マイクロレンズ・アレイ上の全ての小型レンズに関して一定でありまた有効である単一数である（図７Ａおよび図７Ｂ参照）。他の典型的な実施形態群において、前記ピッチは前記マイクロレンズ・アレイにおける空間位置に基づいて変化する。他の典型的な実施形態群において、前記用語「ピッチ」は、一般的に、前記マイクロレンズ・アレイのパターンに言及するために用いられ、それは、規則的、不規則的、反復または非反復でありおよび／または、
・前記マイクロレンズ・アレイと前記画像センサの面との間の距離である。いくつかの実施形態において、この距離が前記マイクロレンズ・アレイの焦点距離と同じ（または実質的に同じ）であることが好ましい（図２Ｂないし図２Ｄ参照）。および／または
・前記画像センサに関する前記マイクロレンズ・アレイのオフセットおよび回転。前記マイクロレンズ・アレイの相対的オフセットおよび回転は、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定であり、あるいは複数のライト・フィールド・データ捕捉装置間で（そのモデル、バージョンまたは部品間でも）変化する（図６参照）。および／または
・前記マイクロレンズ・アレイのパターン（例えば、六角形または四角形の）。前記マイクロレンズ・アレイのパターンは、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である（図８Ａ、図８Ｂおよび図８Ｃ参照）。および／または
・前記画像センサの複数のピクセル／センサのピッチは、隣接するセンサ・ピクセルの中心間の距離として特徴付けられ、また、ライト・フィールド・データ捕捉装置の予め定められたモデル、シリーズまたはバージョンに関して固定されまたは一定である（図９参照）。
【０１２０】
前記Ｎビットの鍵は、参照テーブルまたはこれと同様のものを用いて前記ライト・フィールド・データ捕捉装置の光学的特性を構築しまたは再構築する後処理電気回路に提供される。一実施形態において、前記後処理電気回路は、前記Ｎビットの鍵に関連する前記光学的情報に関して常駐メモリ、ローカル・データベースにアクセスし、あるいは外部ソース（例えば、インターネット・ソース）に問い合わせを行う。
【０１２１】
１つまたは多数の鍵を使用する他の典型的な実施形態群において、前記鍵の１つ、いくつかまたは全てが、前記ライト・フィールド構成データ内の特定の特徴、パラメータ、モデルおよびまたは構成に関する符号化または表現である。特定の例として、いくつかの実施形態では、前記ズーム構成の焦点距離がＮビットの鍵として表わされまたは保存され、ここにおいて、前記Ｎビットの値は、ミリメートルで表わした前記ズーム位置の焦点距離に関してＮビットの浮動小数点ビット・パターンを符号化する。特に、前記したように、各実施形態は、単独でまたは１以上の他の実施形態と組み合わせて用いられる。例えば、一実施例において、前記ライト・フィールド・データ捕捉装置の光学モデルまたはデータが、前記捕捉装置のいくつかの要素または部品を一意的に特定するいくつかの構成パラメータおよびいくつかの情報を保存する組み合わせを用いて表わされる（例えば、前述したＮビットの鍵の実施形態）。このように、後処理電気回路は、前記ライト・フィールド・データ（すなわち、前記ライト・フィールド・データと関連する前記捕捉装置の光学モデル）を捕捉しおよび／または獲得するために用いられるライト・フィールド・データ捕捉装置の光学モデルを創出しまたは再創出するため、前記画像データ、前記構成データおよび前記Ｎビットの鍵の１以上のデータ・ファイルを読み込みまたは解釈する。
【０１２２】
典型的な一実施形態において、前記画像センサに関する前記マイクロレンズ・アレイの移動および回転構成パラメータが、前記カメラモデル番号およびズーム位置と共に、保存され、記録されまたは確保される。このデータが、例えば後処理システムの後処理電気回路によって読み込まれると、適当な幾何学および／または光学モデルが、（前記Ｎビットの鍵に基づいて）特定のズーム位置における前記カメラモデルの光学システムを決定しまたは検索し、次いで前記ライト・フィールド・データに関連する前記捕捉システムの幾何学および／または光学モデルをより完全に表わすために前記マイクロレンズ・アレイの移動および回転パラメータを適用することにより、構築される。
【０１２３】
特に、これに関して典型的な実施形態群において、前記データの処理、分析、コンピュータによる計算、生成および／または取り扱いが、前記カメラにまたは外部の後処理システムに（部分的にまたは全体的に）配置された電気回路においてまたは該電気回路により実行される。このような電気回路は、１以上のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、および／またはプログラマブル・ゲート・アレイ（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ））を含む。実際には、前記電気回路は、現に知られまたは後に開発されるかどうかに拘わらず、任意のタイプまたは形態の電気回路からなる。例えば、前記後処理電気回路は、アクティブおよび／またはパッシブの、所望の動作／機能／適用を提供しおよび／または実行し、全てが本発明の範囲に含まれるように意図される、単一の要素または多数の要素（マイクロプロセッサ、ＦＰＧＡ、ＡＳＩＣおよびＤＳＰ）を含む。
【０１２４】
用語「回路」は、特に、単一の部品（例えば、電気的／電子的な）または多数の部品（集積回路の形態であるか、個々の形態であるか、あるいはそれ以外であるかに拘わらず）を意味し、これらはアクティブおよび／またはパッシブであり、また、所望の機能を提供しまたは実行するために互いに結合されている。用語「電気回路」は、特に、１つの回路（集積されているか、個別であるか、あるいはそれ以外であるかに拘わらず）、このような回路のグループ、１つ以上のプロセッサ、１つ以上の状態機械、ソフトウエアを実行する１つ以上のプロセッサ、または１つ以上の回路の組み合わせ（集積されているか、個別であるか、あるいはそれ以外であるかに拘わらず）、１つ以上の状態機械、１つ以上のプロセッサ、および／またはソフトウエアを実行する１つ以上のプロセッサを意味する。さらに、用語「光学」は、複数のレンズ要素、窓、開口およびミラーを含むがこれらに限定されない、光の伝播に影響を及ぼすために使用される複数の部品を含むシステムを意味する。
【０１２５】
さらに、前述したように、動作中、前記後処理電気回路は、本明細書に記載されかつ説明された特定の方法、技術、タスクまたは工程を実行する１つ以上のアプリケーション、ルーティン、プログラムおよび／またはデータ構造を遂行しまたは実行する。前記アプリケーション、ルーティンまたはプログラムの機能性は併合されまたは分散される。さらに、前記アプリケーション、ルーティンまたはプログラムは、全てが本発明の範囲に含まれるように意図されている、コードがコンパイル済みであるかそうでないかに拘わらない、例えばアセンブリ、フォートラン、Ｃ、Ｃ＋＋、およびベーシックを含む、現に知られているか後に開発されるかに拘わらない任意のプログラミング言語を使用して前記後処理電気回路により実行する。
【０１２６】
ライト・フィールド・データの典型的なファイルおよびファイル構造
ライト・フィールド・データ・ファイルは、一組以上のライト・フィールド・データを含む電子データ・ファイルである（例えば、図１５Ａおよび図１５Ｂ参照）。前記ライト・フィールド・データ・ファイルは、全体的にまたは部分的に、圧縮されまたは圧縮されていないおよび／または処理されまたは処理されていない一組以上のライト・フィールド・データを含む。一組のライト・フィールド・データは、シーン、画像またはライト・フィールド・データ捕捉装置で捕捉され、獲得されおよび／またはサンプリングされた「露出」のデータからなる。
【０１２７】
前記ライト・フィールド・データ・ファイルは、そこに含まれるデータが全体的にまたは部分的に、圧縮されまたはされていないフォームであるか否かに拘わらず、および／または全体的にまたは部分的に、処理されまたはされていないかに拘わらず、任意のフォーマットまたは構造を含む。典型的な一実施形態において、前記ライト・フィールド・データ・ファイルのファイル・フォーマットまたは構造は、一組のライト・フィールド・データの始まりおよび／または終わりをそれぞれ示すスタート・コードおよび／またはエンド・コードを含む。これに加えて、またはこれに代えて、前記組のライト・フィールド・データは、予め定められまたは予め規定されたデータ量を含む（例えば、図１５Ａ参照）。このため、所与の一組のライト・フィールド・データの始まりまたは終わりは、間接的に、（スタート・コードおよび／またはエンド・コードを有するかまたは有しない）データの量に基づく。特に、前記ライト・フィールド・データ・ファイルの任意のファイル・フォーマットまたはファイル構造は、現に知られているか後に開発されるかに拘わらず、本発明の範囲に含まれるように意図されている。
【０１２８】
典型的な一実施形態において、前記ライト・フィールド・データのファイル・フォーマットまたは構造はメタデータ（例えば、ヘッダ・セクションのような）を含む（例えば、図１５Ｂ参照。ここにおいて、この典型的な一実施形態では、このようなヘッダは、それが必要としないにもかかわらず、前記ファイルの始まりにおかれる。）一実施形態において、前記メタデータは、それが捕捉され、獲得されおよび／またはサンプリングされた前記ライト・フィールド・データおよび／または環境またはパラメータに関する情報を提供する定義タイプのデータである。例えば、前記メタデータは、ライト・フィールド構成データを含みおよび／または該ライト・フィールド構成データからなる。
【０１２９】
前記したように、前記ライト・フィールド・データ・ファイルは、画像またはライト・フィールド・データ捕捉装置を介して捕捉され、獲得されおよび／またはサンプリングされた「露出」の一組以上のライト・フィールド・データを含む。前記ファイルが複数組のライト・フィールド・データを含む場合、このような複数組は、同一または実質的に同一の捕捉設定を用いて捕捉された一連の画像または露出（時間的に連続する）または複数の画像からなる。このような状況下において、前記ヘッダ・セクションは、複数組のライト・フィールド・データに適用可能であるライト・フィールド構成データを含みおよび／または該ライト・フィールド構成データからなる。
【０１３０】
前記ライト・フィールド・データはメモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、従来型ハード・ドライブ、テープ、ＣＤおよび／またはＤＶＤ）に保存および／または保持される（例えば、図１６Ａないし図１６Ｃ参照）。このようなメモリは、ライト・フィールド処理（例えば、ライト・フィールド・データの捕捉または記録後、前記ライト・フィールド・データに対応する画像データを生成し、取り扱いおよび／または編集する（例えば、前記ライト・フィールド・データの捕捉後に焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定することを含む））を実行するために後処理電気回路によってアクセスされる。前記メモリは、前記ライト・フィールド・データ捕捉装置の内部または外部にある。さらに、前記メモリは、前記ライト・フィールド・データ捕捉装置内の電気回路に関して別個であるかまたは組み込まれている。これに加えて、またはこれに代えて、前記メモリは前記後処理電気回路／システムに関して別個であるかまたは組み込まれている。
【０１３１】
一実施形態において、前記後処理電気回路は前記ライト・フィールド・データ・ファイル（一組以上のライト・フィールド・データを有する）にアクセスし、また、ユーザの入力または指示に基づいてまたはこれに応答して、ライト・フィールド処理を実行する（例えば、画像の、このような画像に関するライト・フィールド・データの捕捉後に、焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する）。その後、前記後処理電気回路は、前記画像を、前記ライト・フィールド・データ・ファイル内に保存し（例えば、このような画像をこれに加え）、および／または前記ライト・フィールド・データ・ファイル内に含まれている関連ライト・フィールド・データに上書きする。これに加えて、またはこれに代えて、前記後処理電気回路は、前記関連ライト・フィールド・データを用いて生成された前記画像を含む別個のファイルを創出する（ユーザ入力／指示に応答して）。このプロセスはさらなるライト・フィールド処理を実行し、また、前記ライト・フィールド・データを用いて追加の画像を生成するために繰り返される（例えば、第１の画像と同じようなライト・フィールド・データに関連する第２の画像の、このような画像に関連するライト・フィールド・データの捕捉後再び、第２の焦点および／または第２の被写界深度を再調整し、再選択しおよび／または再規定する）。
【０１３２】
特に、前記ライト・フィールド・データ捕捉装置は、ユーザが、一組以上のライト・フィールド・データを用いて生成された画像またはビデオを見ることができるディスプレイを含む（図１６Ｃおよび図１６Ｄ参照）。前記ディスプレイは、ユーザが、ライト・フィールド・データ・ファイル内の一組以上のライト・フィールド・データの所望のまたは予め定められたライト・フィールド処理を実行することを容易にする。
【０１３３】
また、前記ライト・フィールド・データ捕捉装置は、外部のディスプレイおよび例えば記録装置、メモリ、プリンタおよびまたはプロセッサ電気回路（例えば、図１６Ｅおよび図１６Ｆ参照）に連結する。このようにして、前記ライト・フィールド・データ捕捉装置または後処理電気回路は、ディスプレイ、プロセッサ電気回路（例えば、特殊用途のまたは汎用のプロセッサ）、およびまたはビデオ記録装置に画像データを出力する（例えば、図１６Ｅおよび図１６Ｆ参照）。さらに、このような外部装置または電気回路は、例えばライト・フィールド・データ・ファイルの保存およびライト・フィールド・データ・ファイルのライト・フィールド処理を容易にする。
【０１３４】
前記ライト・フィールド・データ捕捉装置（および／または前記後処理システム）は、書き込み電気回路および読み込み電気回路を介して、メモリ（一組以上のライト・フィールド・データおよび／またはライト・フィールド構成データを有する前記電子データ・ファイルを保存する）と通信を行う。前記書き込みおよび読み込み電気回路は、前記ライト・フィールド・データの捕捉または記録後に、前記ライト・フィールド・データに対応する前記画像データを生成し、取り扱いおよび／または編集する（例えば、前記焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する）例えばライト・フィールド処理を実行するために処理電気回路に結合している。前記処理電気回路（例えば、１つ以上のプロセッサ、１つ以上の状態機械、ソフトウエアを実行する１つ以上のプロセッサ、１つ以上のゲート・アレイ、複数のプログラマブル・ゲート・アレイおよび／または複数のフィールド・プログラマブル・ゲート・アレイ）は、ライト・フィールド・データ（例えば、圧縮または非圧縮形態の）を含む電子データ・ファイルを生成する。以下に詳述するように、このようなファイルは、標準画像フォーマットのデータに交互配置され、スレッド化され、透しが入れられ、符号化され、多重化されおよび／またはメッシュ化されている前記ライト・フィールド・データを含む。
【０１３５】
特に、本明細書において説明したように、ライト・フィールド構成データは、１つのヘッダまたは前記関連ライト・フィールド・データを含む１つまたは複数の電子ファイルとは別個の１つの電子ファイルに保存される（例えば、図１５Ｂまたは図１５Ｃ参照）。前記ライト・フィールド構成データが別個の電子ファイルに保存されている場合、このようなファイルはメモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、従来型ハード・ドライブ、テープ、ＣＤおよび／またはＤＶＤ）に保存および／または保持される（図１６Ａないし図１６Ｃ参照）。前記したように、このようなメモリは、ライト・フィールド処理（例えば、ライト・フィールド・データの捕捉または記録後、前記ライト・フィールド・データに対応する画像データを生成し、取り扱いおよび／または編集する（例えば、前記ライト・フィールド構成データを用いて前記ライト・フィールド・データの捕捉後に焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定することを含む））を実行するために後処理電気回路によってアクセスされる。再び、前記メモリは前記ライト・フィールド・データに対して内部または外部にある。
【０１３６】
捕捉装置および／または前記後処理システム
さらに、前記メモリは、前記ライト・フィールド・データ捕捉装置内の前記電気回路に関して別個であるかまたは組み込まれている。これに加えて、またはこれに代えて、前記メモリは、前記後処理電気回路／システムに関して別個であるかまたは組み込まれている。
【０１３７】
ライト・フィールド・データおよび／または生の画像データを含む追加の典型的なファイルおよびファイル構造
他の組の実施形態において、一組以上のライト・フィールド・データが、標準画像フォーマット内のまたはこれを有する画像データに加えられまたは組み込まれる（例えば、図１７Ａないし図１７Ｃ参照）。これらの実施形態において、前記一組以上のライト・フィールド・データは、このような一組以上のライト・フィールド・データが標準画像フォーマットに表わされている前記画像を生成するために使用される前記標準画像フォーマット内の前記画像データと関連する。前記ライト・フィールド・データは、全体的にまたは部分的に、圧縮されまたは圧縮されていない、および／または処理されまたは処理されていない一組以上のライト・フィールド・データを含む。特に、前記標準画像フォーマットは、開放フォーマットまたは独自仕様フォーマットからなる。
【０１３８】
前記標準画像フォーマットにおける前記ライト・フィールド・データ‐ライト・フィールド構成データは、前記ライト・フィールド・データ・ファイルと共に前記した任意の特性およびまたは特徴を含む。例えば、典型的な一実施形態において、前記電子データ・ファイルはメタデータを含む（例えば、図１７Ｂ参照）。典型的な一実施形態において、前記ライト・フィールド・データはメタデータ（例えば、ヘッダ・セクションにおけるライト・フィールド構成データ）を含む（例えば、図１７Ｃ参照。ここにおいて、この典型的な一実施形態では、このようなヘッダは、それが必要でないにもかかわらず、前記ファイルの初めにおかれる）。実際には、前記ライト・フィールド・データのメタデータは、前記標準画像フォーマットに関連するメタデータに組み込まれる。前記したライト・フィールド・データ・ファイルの特性および／または特徴は前記標準画像フォーマット内のライト・フィールド・データに適用可能であり、ライト・フィールド・データ・ファイルは、簡単にするため、その説明はここでは繰り返さない。
【０１３９】
一実施形態において、前記ライト・フィールド・データは、前記標準画像フォーマットに交互配置され、スレッド化され、透しが入れられ、符号化され、多重化されおよび／またはメッシュ化される（例えば、図１７Ｄ参照）。この実施形態において、処理または読み込み電気回路は、前記一組または複数組のライト・フィールド・データに関する前記標準画像フォーマット内の画像のデータを引き出しおよび／または符号化する。
【０１４０】
特に、他の組の実施形態において、前記標準画像フォーマット内の画像データを生成するために用いられた非ライト・フィールド生画像データが、標準画像フォーマット内の画像データに加えられまたは組み込まれる（例えば、図１７Ｅおよび図１７Ｆ参照）。これらの実施形態において、標準画像フォーマット内の前記画像データに関連する前記生画像データ（ライト・フィールド・データでありまたはライト・フィールド・データではない）が、標準画像フォーマット内の画像データと同じファイルに保存される。このような生画像データは、圧縮されまたは圧縮されずおよび／または処理され（全体的にまたは部分的に）または処理されない。典型的な一実施形態において、このような生データは、カラー・モザイク・フィルタ・アレイ（例えば、バイエル・カラーフィルタ・アレイ（Bayer color filter array））を有するセンサで読み取られた元の単一チャンネル生ピクセル値の表現である。他の特定の典型的な実施形態において、このような生ピクセル値はライト・フィールド・データ捕捉装置からのものであり、また、したがって前記生データはこのような装置によって記録されたライト・フィールド・データの表現である。
【０１４１】
これらの実施形態において、ライト・フィールド構成データは、前記ヘッダまたは関連ライト・フィールド・データとは別個の電子ファイル内に保存される（例えば、図１５Ｃ、図１７Ｂおよび図１７Ｃ参照）。前記ライト・フィールド構成データが別個の電子ファイルに保存される場合、このようなファイルは、メモリに保存されおよび／または保持され、また、前記標準画像フォーマットおよび／または前記ライト・フィールド・データに対応しまたはこれの中にある前記画像の処理の間にアクセスされる。
【０１４２】
ライト・フィールド・データおよび／または生画像データを含むファイルおよびファイル構造の典型的な処理
図１８Ａを参照すると、一実施形態において、電気回路が、図１７Ａないし図１７Ｆに示されたデータ・ファイル（例えば、標準画像フォーマット‐ライト・フィールド・データ・ファイル）にアクセスし、また、前記標準画像フォーマットに対応する画像を読み込みまたは表示する。その後、および１以上の入力または指示（例えば、ユーザ入力または指示）に基づいてまたはこれに応答して、前記標準画像フォーマットに対応する画像が、例えば前記画像に関連する前記ライト・フィールド・データの一組以上のデータを用いて修正される。一実施形態において、１以上の入力または指示に基づいてまたはこれに応答して、電気回路が、前記画像を修正し、また、これにより新たな画像（例えば、新たな焦点および／または被写界深度を有する）を提供するために、ライト・フィールド処理（例えば、このような画像（ここにおいて、元の焦点および被写界深度が含まれた捕捉中の画像）に関連するライト・フィールド・データの捕捉後に前記焦点および／または被写界深度を調整し、選択し、規定しおよび／または再規定する）を実行する。その後、前記電気回路は、前記データ・ファイル内の画像を保存しまたは再保存する（例えば、（ｉ）新しい画像を表わす前記標準画像フォーマット内にデータを保存することにより以前の画像を置き換えまたはこれに上書きし、または（ｉｉ）このような新画像を表わす前記標準画像フォーマット内にデータを加える）。これに加えて、またはこれに代えて、前記電気回路は、前記新画像に対応するデータを含む別個のファイルを創出する（例えば、ユーザ入力／指示に応答して）。実際には、前記画像を表わす前記データ（前記標準画像フォーマット内の）に加えて、このような新しいまたは別個のファイルはこれに関連するライト・フィールド・データを含みまたは含まない。
【０１４３】
特に、前記電気回路が前記修正された画像を生成するためにライト・フィールド処理を実行しているとき、前記電気回路は、フレーム・バッファとして前記標準画像フォーマット‐ライト・フィールド・データ・ファイル（またはその一部）を用いる。このような技術は、メモリ資源の有効利用を提供する。
【０１４４】
他の典型的な実施形態において、本発明群は、「ファイル・フレーム・バッファ」として、前記標準画像フォーマット‐ライト・フィールド・データ・ファイルの標準画像部分を利用する。特に、表示される複数のピクセルを表わすこのファイル・フレーム・バッファは、任意の標準表示機構（すなわち、現に知られているか将来開発されるかを問わず、前記データ・ファイルの前記標準画像部分を読み込み、解釈しおよび／または表示する方法またはシステム）を介して任意のディスプレイ上に表示される。原理を説明するため、前記標準表示機構は、例えば、ウエブ・ブラウザ、オペレーティング・システムに組み込み可能である画像ビューア、画像組織、観賞編集および／またはスライドショーの第三者ソフトウエア一本、インターネットを使った写真共有ウエブサイトまたはサービス、百貨店のキオスクのような印刷サービス、および標準画像フォーマットのアップロードが可能であるインターネットを使った印刷サービスの１つからなる。特に、このような標準表示機構は、前記標準画像のライト・フィールド・データ部分‐ライト・フィールド・データ・ファイルを解釈し、処理しおよび／または表示することはできない。この典型的な一実施形態において、修正‐保存／再保存部品は、標準表示機構に関して複数の新しいピクセルを提供するために前記「ファイル・フレーム・バッファ」を置き換える、ライト・フィールド処理を通して修正された画像を創出するために前記ファイルのライト・フィールド・データ部分を使用する。特に、前記「ファイル・フレーム・バッファ」は、本発明のためのピクセルの永続的貯蔵所として、任意の標準表示機構上の潜在的表示に関して「修正」部品の効果を保存／再保存する働きをする。読み込み／表示‐修正‐保存／再保存のプロセスは、多くの置換および／または組み合わせを含む。例えば、前記新画像を生成するための画像の修正（前記画像に関連するライト・フィールド・データを用いて）の後、このような新画像は再び読み込まれまたは再び表示される（例えば、図１８Ｂ参照）。実際には、前記新画像を表わすデータの保存／再保存（前記標準画像フォーマットに）に先立ち、ユーザが前記電気回路に再修正の実行（すなわち、元の画像を再度修正し、または新画像を修正する）を指示する（例えば、図１８Ｃ参照）。読み込み／表示‐修正‐保存／再保存の全ての置換および／または組み合わせは、本発明群の範囲に含まれる（例えば、図１８Ｄおよび図１８Ｅ参照）。しかし、簡単にするため、読み込み／表示‐修正‐保存／再保存のこのような置換および／または組み合わせは本明細書においては別個に説明されない。
【０１４５】
特に、前記データ・ファイル内の前記画像を保存しまたは再保存する（例えば、（ｉ）新画像を表わす前記標準画像フォーマットにデータを保存することにより以前の画像を置き換えまたはこれに上書きする、または（ｉｉ）このような新画像を表わす前記標準画像フォーマットにデータを加える）とき、前記電気回路は、ユーザの入力または指示に応答して、新たな標準画像フォーマット‐ライト・フィールド・データ・ファイルを生成し（ここにおいて、前記ライト・フィールド・データが実質的に変化しない）、または標準画像ファイルのみを生成する（すなわち、前記ライト・フィールド画像データを廃棄する）。また、ユーザは、前記電気回路に、前記修正された画像を表わすデータ（選択された標準画像フォーマット内の）を保存しまたは再保存するに先立ち、前記標準画像ファイルの前記標準フォーマットを変えるように指示する。
【０１４６】
前述のとおり、前記読み込み／表示‐修正‐保存／再保存プロセスは、また、図１７Ｄおよび図１７Ｅに示された前記標準画像フォーマット‐生画像データ・ファイルに適用可能である。前記プロセスは、前記標準画像フォーマット‐生画像データ・ファイルと関連して、前記標準画像フォーマット‐ライト・フィールド画像データ・ファイル（直前に説明した）のプロセスと実質的に同様であり、このため、簡単にするために説明を繰り返さない。
【０１４７】
前記標準画像‐生画像データ・ファイルに関する前記読み込み／表示‐修正‐保存／再保存プロセスの典型的な一実施形態において、前記プロセスの修正部分は、前記生画像データからアクセス可能でありおよび／または可能である任意のタイプの処理を含む。特に、このようなタイプの処理は、前記標準画像データ単独からアクセス可能でなくおよび／または可能でない。例えば、このような処理は、色の現れに影響を及ぼすホワイトバランスを変化させること、前記画像を明るくしまたは暗くするために前記露出レベルを変化させること、例えば、暗い領域の輝度を上げかつ明るい領域の輝度を下げることによりダイナミック・レンジを低減するためにダイナミック・レンジ変更を適用することを含み、しかしこれらに限定されない。特に、生画像データに適用可能である任意のタイプの画像処理は、現に知られているか将来開発されるかを問わず、本発明群の範囲に含まれることが意図されている。
【０１４８】
典型的な混合モード表示、処理および伝達
図１９を参照すると、一実施形態において、ユーザは、前記標準画像フォーマットに対応する画像を読み込みおよび／または表示する、データ・ファイルの標準画像部分を見るために任意の標準表示機構を利用し、また、ユーザは、前記データ・ファイル内の標準画像および／またはライト・フィールド・データを場合により変化させる、前記した読み込み／表示‐修正‐保存／再保存プロセスを利用する。ユーザは、その後、例えばインターネットを介して前記画像を鑑賞しまたは共有し、または印刷サービスを介してそれを印刷するために、結果として生じたデータ・ファイル上で標準表示機構を利用する。ユーザは、その後、任意の回数だけこのプロセスを繰り返す。
【０１４９】
以下は本発明群の一実施形態を利用する典型的なシナリオであり、このため、読み込み／表示‐修正‐保存／再保存の実施形態群に限定するように意図されていない。その点を考慮に入れて、典型的な一実施形態においては、ユーザは、例えばライト・フィールド・データ捕捉装置からの記録を介して標準画像フォーマット‐ライト・フィールド・データ・フォーマット内のデータ・ファイルを取得する。前記ライト・フィールド・データ捕捉装置は、入力／指示（例えば、ユーザ入力／指示）に応答して、前記データ・ファイルを、ディスプレイ上の画像として前記データ・ファイルの鑑賞を提供しかつ可能にする画像鑑賞コンピュータ・プログラム（例えば、標準表示機構）を含むコンピュータ・システムに伝達する。また、前記ライト・フィールド・データ捕捉装置および／またはコンピュータ・システムは、入力／指示（例えば、ユーザ入力／指示）に応答して、前記データ・ファイルを、例えば、前記データ・ファイルの共有を容易にするためにインターネット画像共有サイトに伝達する。
【０１５０】
他のユーザは、次に、前記共有サイトから前記データ・ファイルをダウンロードし、それをコンピュータ上（例えば、第２のユーザに対してローカルである標準表示機構）で鑑賞する。コンピュータ・システムを使用する、前記第２のユーザは、前記読み込み／表示‐修正‐保存／再保存プロセスを実行するソフトウエア・プログラムで前記データ・ファイルを開く。前記第２のユーザは、前記画像を鑑賞し、ライト・フィールド処理（例えば、近焦点面に前記画像光学焦点を変化させる）を適用しまたは実行し、結果として生じた画像を、前記標準画像フォーマット内の前記データ・ファイルの標準画像部分を含む前記ファイル・フレーム・バッファに保存する。次に、前記第２のユーザは、プリンタ（他の標準表示機構）を用いて前記データ・ファイルを印刷する。次に、前記第２のユーザは、同じまたは異なる共有サイトである、インターネット画像共有サイト（標準表示機構）に前記データ・ファイルをアップロードする。他のユーザ（すなわち、第１のユーザまたは第３のユーザ）は前記データ・ファイルをダウンロードし、また、それを印刷する。先のシナリオは、本発明のいくつかの態様および典型的な実施形態を示す。
【０１５１】
特に、前記ライト・フィールド・データ捕捉装置および／または後処理システムは、ユーザ／オペレータが捕捉装置および／または後処理システムを監視し、制御しおよび／または調整することを可能にするユーザ・インタフェースを含む（例えば、図１Ｂ、図１Ｃ、図１Ｅ、図１Ｆ、図１６Ｃ、図１６Ｆおよび図２０参照）図２０を参照すると、一実施形態において、ユーザ・インタフェースは、ユーザ／オペレータが前記ライト・フィールド・データ捕捉装置および／または後処理電気回路／システムの操作パラメータおよび／または特徴（例えば、（１）ライト・フィールド・データの捕捉、サンプリング、獲得、保存および／または記録の率、（ｉｉ）捕捉装置の焦点面、視野または被写界深度、および／または（ｉｉｉ）前記後処理電気回路／システムにより実行される前記後処理工程）を監視し、制御しおよび／または調整することを可能にする出力装置／機構（例えば、プリンタおよび／またはディスプレイ（標準表示機構））および／またはユーザ入力装置／機構（例えば、ボタン、スイッチ、タッチスクリーン、ポインティングデバイス（例えば、マウスまたはトラックボール）および／またはマイクロホン）を含む。
【０１５２】
本明細書には多くの発明が記載されまた示されている。本発明群のいくつかの実施形態、特徴、特性および利点が記載されまた示されているが、本発明群の異なるおよび／または同様の実施形態、特徴、特性および利点と共に他のものも前記記載及び説明から明らかであることが理解されるべきである。このように、本発明群の前記実施形態は単に例示であるにすぎない。これらは、完全であることを意図されているものでも、本発明群を開示された正確な形態、技術、材料および／または構成に限定するものでもない。本発明群のこのような他の、同様な、また異なる実施形態、特徴、材料、構成、特性、構造および利点は本発明の範囲内にあることが理解されるべきである。さらに、他の実施形態が利用され、また、運用上の変更が本発明群の範囲から逸脱することなしになされることが理解されるべきである。本発明群の範囲は、前記実施形態の説明が例としての説明および記述を目的として表わされているため、前記説明に専ら限定されない。
【０１５３】
例えば、これらの実施形態において、前記ライト・フィールド・データ捕捉装置が後処理システムに接続する場合、このような接続は、現に知られまたは後に開発される任意の信号伝達技術を用いて有線および／または無線構造を介してなされる。加えて、前記構成データは、現に知られまたは後に開発される任意のフォーマットを用いて、前記関連するライト・フィールド・データと共にまたはこれとは別個に後処理システムに提供されおよび／または伝達される。実際には、前記静的タイプの構成データは、動的タイプ構成データと共にまたはこれとは別個に後処理システムに提供されまたは伝達される。これに関する全ての伝達の方策、設計、フォーマット、技術および／または構造は、本発明群の範囲に含まれるように意図されている。
【０１５４】
さらに、本明細書に開示されている様々な回路および電気回路は、コンピュータ支援設計ツールを用いて説明され、また、それらの動作のレジスタ転送、論理回路部品、トランジスタ、レイアウト幾何学、および／または特徴の観点から、様々なコンピュータ読み取り可能の媒体に具体化されたデータおよび／または指示として、述べられ（表現され）ている。このような回路表現が実行されるファイルのフォーマットおよび他のオブジェクトは、Ｃ、ベリログ、およびＨＬＤＬのようなフォーマット支援動作言語、ＲＴＬのようなフォーマット支援レジスタレベル記述言語、およびＧＤＳＩＩ、ＧＤＳＩＩＩ、ＧＤＳＩＶ、ＣＩＦ、ＭＥＢＥＳおよび他の適当なフォーマットおよび言語のようなフォーマット支援幾何学記述言語を含み、しかしこれらに限定されない。このようなフォーマット済みデータおよび／または指示が具体化されるコンピュータ読み取り可能の媒体は、様々な形態の不揮発性記憶媒体（例えば、光学的、磁気的または半導体記憶媒体）およびこのようなフォーマット済みデータおよび／または指示を無線の、光学的、または有線の信号伝達媒体またはこれらの任意の組み合わせを通して転送するために用いられる搬送波を含み、しかしこれらに限定されない。搬送波によるこのようなフォーマット済みデータおよび／または指示の転送の例は、インターネットおよび／または１以上のデータ転送プロトコル（例えば、ＨＴＴＰ、ＦＴＰ、ＳＭＴＰ等）を介した他のコンピュータ・ネットワーク上での転送（アップロード、ダウンロード、電子メール等）を含み、しかしこれらに限定されない。
【０１５５】
実際には、１以上のコンピュータ読み取り可能の媒体を介してコンピュータ内で受け取ると、前記した回路の表現に基づくそのようなデータおよび／または指示が、このような回路の物理的発現の表現または画像を生成するために、ネットリスト生成プログラム、プレイスおよびルート・プログラムおよびこれらと同様のものをこれらに限定することなく含む１以上の他のコンピュータ・プログラムの実行と併せて前記コンピュータ・システム内の処理要素（例えば、１以上のプロセッサ）により処理される。このような表現または画像は、その後、例えばデバイス製造工程で前記回路の様々な部品を形成するために使用される１以上のマスクの発生を可能とすることにより、デバイス製造において使用される。
【０１５６】
前述したように、本明細書には多くの発明が記載されまた説明されている。重要なことに、本発明の各態様、および／またはその実施形態群は、単独でまたはこのような態様および／または実施形態の組み合わせで用いられる。簡単にするため、これらの置換および組み合わせは本明細書では別個に説明されない。このように、本発明はその単一の態様または実施形態のいずれにも、このような態様および／または実施形態の組み合わせおよび／または置換のいずれにも限定されない。
【０１５７】
特許請求の範囲において、用語（ｉ）「ライト・フィールド・データ」はライト・フィールド・データを意味し、（ｉｉ）「ライト・フィールド構成データ」はライト・フィールド構成データを意味し、（ｉｉｉ）「開口関数」は開口関数を意味し、（ｉｖ）「射出瞳」は射出瞳を意味し、（ｖ）「ライト・フィールド処理」はライト・フィールド処理を意味し、（ｖｉ）「ライト・フィールド・データ・ファイル」はライト・フィールド・データ・ファイルを意味し、（ｖｉ）「光学モデル」は光学および／または幾何学モデルを意味し、（ｖｉｉ）「標準画像フォーマット」は標準画像フォーマットを意味する。
【０１５８】
さらに、特許請求の範囲において、用語「回路」は、特に、単一の部品（例えば、電気的／電子的な）または多数の部品（集積回路の形態であるか、個々の形態であるか、あるいはそれ以外であるかに拘わらず）を意味し、これらはアクティブおよび／またはパッシブであり、また、所望の動作を提供しまたは行うために互いに結合されている。用語「電気回路」は、特許請求の範囲において、特に、１つの回路（集積されているか、個別であるか、あるいはそれ以外であるかに拘わらず）、このような回路のグループ、１つ以上のプロセッサ、１つ以上の状態機械、ソフトウエアを実行する１つ以上のプロセッサ、１つ以上のゲート・アレイ、複数のプログラマブル・ゲート・アレイおよび／または複数のフィールド・プログラマブル・ゲート・アレイ、または１つ以上の回路の組み合わせ（集積されているか、個別であるか、あるいはそれ以外であるかに拘わらず）、１つ以上の状態機械、１つ以上のプロセッサ、ソフトウエアを実行する１つ以上のプロセッサ、１つ以上のゲート・アレイ、複数のプログラマブル・ゲート・アレイおよび／または複数のフィールド・プログラマブル・ゲート・アレイを意味する。用語「データ」は、特に、シングルビット（または同様のもの）またはマルチプルビット（同様のもの）からなる、アナログまたはデジタルの形態であるかどうかを問わず、電流または電圧信号（複数または単一）を意味する。さらに、用語「光学」は、複数のレンズ要素、窓、マイクロレンズ・アレイ、開口およびミラーを含むがこれらに限定されない、光の伝播に影響を及ぼすように使用される複数の部品を含む１つ以上の部品および／またはシステムを意味する。
【図１Ａ】
2012524467.tif 000003
【図１Ｂ】
2012524467.tif 000004
【図１Ｃ】
2012524467.tif 000005
【図１Ｄ】
2012524467.tif 000006
【図１Ｅ】
2012524467.tif 000007
【図１Ｆ】
2012524467.tif 000008
【図１Ｇ】
2012524467.tif 000009
【図１Ｈ】
2012524467.tif 000010
【図２Ａ】
2012524467.tif 000011
【図２Ｂ】
2012524467.tif 000012
【図２Ｃ】
2012524467.tif 000013
【図２Ｄ】
2012524467.tif 000014
【図３Ａ】
2012524467.tif 000015
【図３Ｂ】
2012524467.tif 000016
【図３Ｃ】
2012524467.tif 000017
【図４】
2012524467.tif 000018
【図５】
2012524467.tif 000019
【図６】
2012524467.tif 000020
【図７Ａ】
2012524467.tif 000021
【図７Ｂ】
2012524467.tif 000022
【図８Ａ】
2012524467.tif 000023
【図８Ｂ】
2012524467.tif 000024
【図８Ｃ】
2012524467.tif 000025
【図９】
2012524467.tif 000026
【図１０】
2012524467.tif 000027
【図１１】
2012524467.tif 000028
【図１２】
2012524467.tif 000029
【図１３Ａ】
2012524467.tif 000030
【図１３Ｂ】
2012524467.tif 000031
【図１４Ａ】
2012524467.tif 000032
【図１４Ｂ】
2012524467.tif 000033
【図１４Ｃ】
2012524467.tif 000034
【図１５Ａ】
2012524467.tif 000035
【図１５Ｂ】
2012524467.tif 000036
【図１５Ｃ】
2012524467.tif 000037
【図１６Ａ】
2012524467.tif 000038
【図１６Ｂ】
2012524467.tif 000039
【図１６Ｃ】
2012524467.tif 000040
【図１６Ｄ】
2012524467.tif 000041
【図１６Ｅ】
2012524467.tif 000042
【図１６Ｆ】
2012524467.tif 000043
【図１６Ｇ】
2012524467.tif 000044
【図１７Ａ】
2012524467.tif 000045
【図１７Ｂ】
2012524467.tif 000046
【図１７Ｃ】
2012524467.tif 000047
【図１７Ｄ】
2012524467.tif 000048
【図１７Ｅ】
2012524467.tif 000049
【図１７Ｆ】
2012524467.tif 000050
【図１８Ａ】
2012524467.tif 000051
【図１８Ｂ】
2012524467.tif 000052
【図１８Ｃ】
2012524467.tif 000053
【図１８Ｄ】
2012524467.tif 000054
【図１８Ｅ】
2012524467.tif 000055
【図１９】
2012524467.tif 000056
【図２０】
2012524467.tif 000057
【国際調査報告】
2012524467.tif 000058