(57)【要約】      （修正有）【課題】ライト・フィールド取得装置において、多次元情報の取得及び伝達のサポートを提供する。【解決手段】画素ビームを表すライト・フィールド光線と、物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、光取得システムによって捕捉されたライト・フィールド・データから得ることＳ８０２と、４Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを得ることＳ８０３と、画素ビームを表すデータを提供するために、画素ビームを規定するパラメータに光線図パラメータを関連付けることとを含む。【選択図】図８Ａ
2017063414.tif 000002
【特許請求の範囲】
【請求項１】
光取得システムのセンサの少なくとも１つの画素が前記光取得システムの瞳を介して検出できる１組の光線によって占められる、前記光取得システムの物体空間におけるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、前記ボリュームは画素ビームと称され、前記方法は、
前記画素ビームを表すライト・フィールド光線と、前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、前記光取得システムによって捕捉されたライト・フィールド・データから得ること（Ｓ８０３）と、
４Ｄ光線図において前記交点データの図式的な表現を規定する光線図パラメータを得ること（Ｓ８０５，Ｓ８０６）と、
前記画素ビームを表すデータを提供するために、前記光線図パラメータを、前記画素ビームを規定するパラメータに関連付けることと、
を含む、前記方法。
【請求項２】
前記画素ビームを表すライト・フィールド光線が、前記画素の中心と前記瞳の中心とを通過する直線であり、前記画素ビームを規定するパラメータが、前記物体空間における前記画素の共役の位置およびサイズである、請求項１に記載の方法。
【請求項３】
前記ライト・フィールド光線に対応する前記交点データが、前記光線図においてデータ・ラインとして図式的に表され、前記光線図パラメータには、
データ・ラインの傾きと、
データ・ラインと前記光線図の軸との交点と、
のうちの少なくとも一方を表すデータが含まれる、請求項２に記載の方法。
【請求項４】
前記データ・ラインは、ラドン変換を適用することによって、２Ｄ光線図において検出される、請求項３に記載の方法。
【請求項５】
前記図式的な表現は、デジタル・データ・ラインを提供するセルのマトリクスとして提供され、各々のデジタル・データ・ラインのフォーマットが、前記ラインと軸との交点を表す少なくとも１つの第１のセルと、該ラインの傾きを特定し得る少なくとも１つの第２のセルとの複数のセルによって規定される、請求項３又は４に記載の方法。
【請求項６】
各々の前記デジタル・データ・ラインが、ブレゼンハムのアルゴリズムの適用によって生成される、請求項５に記載の方法。
【請求項７】
前記画素ビームを表すデータが、対応する前記ライト・フィールド光線の色を表す色データを更に備えている、請求項１から７のいずれか１項に記載の方法。
【請求項８】
前記画素ビームを表すデータが、メタデータとして提供され、前記メタデータのヘッダが、２Ｄ光線図において前記交点データの図式的な表現を規定する光線図パラメータを備えており、前記メタデータのボディが、光線の色を表すデータと、前記物体空間における前記画素の共役の位置およびサイズを規定するパラメータと、を備えている、請求項７に記載の方法。
【請求項９】
光取得システムのセンサの少なくとも１つの画素が前記光取得システムの瞳を介して検出できる１組の光線によって占められる、前記光取得システムの物体空間におけるボリュームについてのメタデータを提供する装置であって、前記ボリュームは画素ビームと称され、前記装置は、ライト・フィールド・カメラによって捕捉されたライト・フィールド・データを取得するライト・フィールド・データ取得モジュールと、ライト・フィールド・データ生成モジュールとを備え、該ライト・フィールド・データ生成モジュールは、
前記画素ビームを表すライト・フィールド光線と、互いに平行でありかつ前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、前記取得されたライト・フィールド・データから得て、
前記取得されたライト・フィールド・データを表すデータを提供するために２Ｄ光線図において前記交点データの図式的な表現を規定する光線図パラメータを得て、
前記画素ビームを表すデータを提供するために、前記光線図パラメータを、前記画素ビームを規定するパラメータに関連付ける、
ように構成されている、前記装置。
【請求項１０】
規則的な格子構造の状態で配置されたマイクロレンズ・アレイと、
前記マイクロレンズ・アレイから光センサに投影された光を捕捉するように構成された光センサであって、該光センサは複数の画素組を備えており、各々の画素組は、前記マイクロレンズ・アレイのそれぞれのマイクロレンズと光学的に関連付けられている、前記光センサと、
請求項９に記載のメタデータを提供する装置と、
を備えた、ライト・フィールド・イメージング装置。
【請求項１１】
請求項１から８のいずれか１項に記載の方法によって得られたライト・フィールド・データから画像を描画する装置。
【請求項１２】
光取得システムのセンサの少なくとも１つの画素が前記光取得システムの瞳を介して検出できる１組の光線によって占められる、前記光取得システムの物体空間におけるボリュームを表すデータについてのデータ・パッケージであって、前記ボリュームは画素ビームと称され、前記データ・パッケージは、
前記画素ビームを表す光線の交点データの、２Ｄ光線図における図式的な表現を規定する光線図パラメータであって、前記交点データは、前記画素ビームを表すライト・フィールド光線と、互いに平行でありかつ前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定している、前記光線図パラメータと、
前記画素ビームを表すライト・フィールド光線の色を規定する色データと、
前記物体空間における前記画素の共役の位置およびサイズを規定するパラメータと、
を有している、前記データ・パッケージ。
【請求項１３】
プログラム可能な装置用のコンピュータ・プログラム製品であって、該プログラム可能な装置にロードされて実行される際に請求項１から８のいずれか１項に記載の請求項に記載された方法を実施する一連の命令を備えた前記コンピュータ・プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライト・フィールド（light  field）を表すデータの生成に関する。
【背景技術】
【０００２】
ＥＣＣＶ２００８の会議の会報において公開されたAnat Levin氏その他による論文である「Understanding  camera  trade-offs  through  a  Bayesian  analysis  of  light  field  projections（ライト・フィールド・プロジェクションのベイズ解析によるカメラ・トレードオフの理解）」において、４Ｄ（４次元）ライト・フィールドのサンプリングとして、すなわち、光線の記録として見ることのできる４Ｄライト・フィールド・データの取得技術が説明されており、活発な研究課題となっている。
【０００３】
カメラから得られる古典的な２Ｄ（２次元）画像と比較して、４Ｄライト・フィールド・データは、ユーザが、画像の描画と、ユーザとのインタラクティビティとを高度化する、より多くの後処理機能を利用することを可能にしている。例えば、４Ｄライト・フィールド・データによって、焦点面の位置を事後的に規定、選択できることを意味する、自由に選択された焦点距離による画像の再合焦（refocusing）と、画像のシーン内での視点の若干の変更とを行うことが可能になる。４Ｄライト・フィールド・データを取得するためには、幾つかの技術を用いることができる。例えば、プレノプティック・カメラが、４Ｄライト・フィールド・データを取得できる。図１Ａには、プレノプティック・カメラの構造の詳細が示されている。図１Ａは、プレノプティック・カメラ１００を概略的に表す図である。プレノプティック・カメラ１００は、メイン・レンズ１０１と、２次元アレイに配置された複数のマイクロレンズ１０３から成るマイクロレンズ・アレイ１０２と、イメージ・センサ１０４と、を備えている。
【０００４】
４Ｄライト・フィールド・データを取得するもう１つの方法は、図１Ｂに示されているようなカメラ・アレイを用いることである。図１Ｂは、マルチアレイ・カメラ１１０を表している。マルチアレイ・カメラ１１０は、レンズ・アレイ１１２とイメージ・センサ１１４を備えている。
【０００５】
図１Ａに示されたプレノプティック・カメラ１００の例では、メイン・レンズ１０１が、メイン・レンズ１０１のオブジェクト・フィールド（object  field）内のオブジェクト（対象物）（図示せず）から光を受けて、その光を、メイン・レンズ１０１のイメージ・フィールド（image  field）を通過させる。
【０００６】
最後に、４Ｄライト・フィールドを取得する更にもう１つの方法は、同一シーンの一連の２Ｄ画像を種々の焦点面で撮るように構成された従来型カメラを用いることである。例えば、２０１４年１０月に公開された、ＯＰＴＩＣＳ  ＥＸＰＲＥＳＳ、Ｖｏｌ.２２、Ｎｏ.２１におけるJ.-H.  Park氏その他による文献である「Light  ray  field  capture  using  focal  plane  sweeping  and  its  optical  reconstruction  using  3D  displays（焦点面掃引による光線フィールド撮像、及び、３Ｄディスプレイによるその光学的復元）」に記載された技術を用いて、従来型カメラによる４Ｄライト・フィールド・データの取得を実現できる。
【０００７】
４Ｄライト・フィールド・データを表す方法は、幾つかある。実際、２００６年７月に公開されたRen  Ng氏による「Digital  Light  Field  Photography（デジタル・ライト・フィールド写真技術）」という題目の博士号論文の第３.３章においては、４Ｄライト・フィールド・データを表す３つの相異なる方法が説明されている。第一に、４Ｄライト・フィールド・データは、プレノプティック・カメラによって記録する場合、マイクロレンズ画像のコレクション（収集物）によって表せる。その際に表される４Ｄライト・フィールド・データは、生画像（raw image）、或いは、生４Ｄライト・フィールド・データ（raw  4D  light-field  data）と呼ばれる。第二に、４Ｄライト・フィールド・データは、プレノプティック・カメラ又はカメラ・アレイによって記録する場合、１組のサブ・アパチャ（sub-aperture）画像によって表せる。サブ・アパチャ画像は、ある視点から撮られた、あるシーンの画像に相当し、この視点は、２つのサブ・アパチャ画像間で少し異なる。これらのサブ・アパチャ画像は、撮像されたシーンの視差と奥行きとについての情報を提供する。第三に、４Ｄライト・フィールド・データは、１組のエピポーラ画像（epipolar image）によって表せるが、これについては、例えば、ＩＳＶＣ２０１１の会議の会報内で公開されたS.  Wanner氏その他による「Generating  EPI  Representation  of  a  4D  Light  Fields  with  a  Single  Lens  Focused  Plenoptic  Camera（単一レンズ合焦プレノプティック・カメラによる４Ｄライト・フィールドのＥＰＩ表象の生成）」という表題の論文を参照されたい。
【０００８】
ライト・フィールド・データは大量の記憶領域を占めることがあり、これは、記憶（格納）を厄介にし、かつ処理効率を低下させ得る。また、ライト・フィールド取得装置は、極めて異種混交的である。種々のライト・フィールド・カメラは、例えば、プレノプティック、或いは、カメラ・アレイといった互いに異なるタイプである。更に、各々のタイプ内で、例えば、相異なる光学的構成、或いは、相異なる焦点距離のマイクロレンズのような多くの相違点がある。各々のカメラは、自己の固有のファイル・フォーマットを有している。現在のところ、ライト・フィールドが依存する種々のパラメータの包括的な概要について、多次元情報の取得と伝送とをサポートする規格がない。従って、相異なるカメラについて取得されたライト・フィールド・データは、様々なフォーマットを有している。本発明は、これらのことを念頭において、考案された。
【発明の概要】
【０００９】
本発明の第１の態様によれば、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、ボリュームは画素ビームと称され、
画素ビームを表すライト・フィールド光線と、物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、光取得システムによって捕捉されたライト・フィールド・データから得ること（Ｓ８０３）と、
４Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを得ること（Ｓ８０５，Ｓ８０６）と、
画素ビームを表すデータを提供するために、画素ビームを規定するパラメータに光線図パラメータを関連付けることと、
を含む、上記方法が提供される。
【００１０】
本発明の一態様によれば、画素ビームを表すライト・フィールド光線は、画素の中心と上記瞳の中心とを通過する直線であり、画素ビームを規定するパラメータは、物体空間における画素の共役の位置およびサイズである。
【００１１】
本発明の一態様によれば、ライト・フィールド光線に対応する交点データは、光線図においてデータ・ラインとして図式的に表され、上記光線図パラメータには、
データ・ラインの傾きと、
データ・ラインと光線図の軸との交点と、
のうちの少なくとも一方を表すデータが含まれる。
【００１２】
本発明の一態様によれば、データ・ラインは、ラドン変換を適用することによって、２Ｄ光線図において検出される。
【００１３】
本発明の一態様によれば、図式的な表現は、デジタル・データ・ラインを提供するセルのマトリクスとして提供され、各々のデジタル・データ・ラインのフォーマットが、ラインと軸との交点を表す少なくとも１つの第１のセルと、ラインの傾きを特定し得る少なくとも１つの第２のセルとの複数のセルによって規定される。
【００１４】
本発明の一態様によれば、各々のデジタル・データ・ラインは、ブレゼンハムのアルゴリズムの適用によって生成される。
【００１５】
本発明の一態様によれば、画素ビームを表すデータは、対応するライト・フィールド光線の色を表す色データを更に備えている。
【００１６】
本発明の一態様によれば、画素ビームを表すデータは、メタデータとして提供され、メタデータのヘッダが、２Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを備えており、メタデータのボディが、光線の色を表すデータと、物体空間における画素の共役の位置およびサイズを規定するパラメータと、を備えている。
【００１７】
本発明のもう１つの対象は、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームについてのメタデータを提供する装置であって、ボリュームは画素ビームと称され、ライト・フィールド・カメラによって捕捉されたライト・フィールド・データを取得するライト・フィールド・データ取得モジュールと、ライト・フィールド・データ生成モジュールとを備え、ライト・フィールド・データ生成モジュールが、
画素ビームを表すライト・フィールド光線と、互いに平行でありかつ物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、取得されたライト・フィールド・データから得て、
取得されたライト・フィールド・データを表すデータを提供するために２Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを得て、
画素ビームを表すデータを提供するために、画素ビームを規定するパラメータに光線図パラメータを関連付ける、
ように構成されている、上記装置である。
【００１８】
本発明のもう１つの対象は、
規則的な格子構造の状態で配置されたマイクロレンズ・アレイと、
マイクロレンズ・アレイから光センサに投影された光を捕捉するように構成された光センサであって、光センサは複数の画素組を備えており、各々の画素組は、マイクロレンズ・アレイのそれぞれのマイクロレンズと光学的に関連付けられている、上記光センサと、
請求項９に記載のメタデータを提供する装置と、
を備えた、ライト・フィールド・イメージング装置である。
【００１９】
本発明のもう１つの対象は、請求項１から８のいずれか１項に記載の方法によって得られたライト・フィールド・データから画像を描画する装置に関する。
【００２０】
本発明のもう１つの態様によれば、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームを表すデータについてのデータ・パッケージであって、ボリュームは画素ビームと称され、データ・パッケージは、画素ビームを表す光線の交点データの、２Ｄ光線図における図式的な表現を規定する光線図パラメータであって、交点データは、画素ビームを表すライト・フィールド光線と、互いに平行でありかつ物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定している、光線図パラメータと、画素ビームを表すライト・フィールド光線の色を規定する色データと、物体空間における画素の共役の位置およびサイズを規定するパラメータと、を有している、上記データ・パッケージが提供される。
【００２１】
本発明の要素によって実施される一部の処理は、コンピュータによって実施されることがある。従って、このような要素は、一般的に、ここで「回路」、「モジュール」又は「システム」と称されることがある完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐型ソフトウェア、マイクロコードなどを含む）、或いは、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形を取ることがある。更に、このような要素は、表現式を備えた任意の有形媒体において具現されるコンピュータ・プログラム製品の形を取ることがあり、その表現式は、その媒体において具現されるコンピュータ使用可能プログラム・コードを有する。
【００２２】
本発明の要素がソフトウェアの状態で実施できるので、本発明は、任意の適当な搬送媒体を介してプログラム可能装置に提供されるコンピュータ可読コードとして、具現できる。有形搬送媒体は、例えばフロッピーディスク、ＣＤＲＯＭ、ハードディスク装置、磁気テープ装置、或いは、ソリッド・ステート・メモリ装置などのような記憶媒体で構成されることがある。一時的な搬送媒体には、電気的信号、電子的信号、光学的信号、音響的信号、磁気的信号、或いは、電磁的信号、例えばマイクロ波又はＲＦ信号、のような信号が含まれることがある。
【図面の簡単な説明】
【００２３】
以下、下記の図面を参照して、本発明の実施形態を、単に例として、説明する。
【図１Ａ】プレノプティック・カメラを概略的に表す図である。
【図１Ｂ】マルチアレイ・カメラを表す図である。
【図２Ａ】本発明の一実施形態によるライト・フィールド・カメラの機能的な図である。
【図２Ｂ】本発明の一実施形態によるライト・フィールド・データ・フォーマッタ（formator）とライト・フィールド・データ・プロセッサの機能的な図である。
【図３】光センサ・アレイ上に形成された２Ｄライト・フィールド画像の一例を示す図である。
【図４】カメラ又は光取得システムの光学系の物体空間において１組の光線によって占められるボリュームを表す図である。
【図５】一葉双曲面を表す図である。
【図６Ａ】本発明の１つ又は複数の実施形態によるライト・フィールド・データのパラメータ化のための基準平面の使用を図式的に例示する図である。
【図６Ｂ】本発明の１つ又は複数の実施形態によるライト・フィールド・データのパラメータ化のための基準平面の使用を図式的に例示する図である。
【図７】本発明の実施形態による基準平面についてのライト・フィールド光線の表現を概略的に例示する図である。
【図８Ａ】本発明の１つ又は複数の実施形態による方法のステップを例示するフローチャートを示す図である。
【図８Ｂ】本発明の１つ又は複数の実施形態による、光データ・フォーマットを提供する装置のモジュールを例示する機能的なブロック図である。
【図９】本発明の実施形態によるライト・フィールド光線の表現のためのパラメータを概略的に例示する図である。
【図１０】本発明の実施形態による、交点データを図式的に例示する２Ｄ光線図である。
【図１１】本発明の実施形態によって生成された１つのデジタル・ラインを図式的に例示する図である。
【図１２】本発明の実施形態によって生成された複数のデジタル・ラインを図式的に例示する図である。
【図１３Ａ】本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。
【図１３Ｂ】本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。
【図１３Ｃ】本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。
【図１４】本発明の実施形態による、複数のカメラについての交点データを図式的に例示する２Ｄ光線図である。
【発明を実施するための形態】
【００２４】
当業者であれば理解できるように、本原理の態様は、システム、方法、或いは、コンピュータ可読媒体として実施できる。従って、本原理の態様は、一般的に、ここで「回路」、「モジュール」又は「システム」と称することができる完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐型ソフトウェア、マイクロコードなどを含む）、或いは、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形を取ることができる。更に、本原理の態様は、コンピュータ可読記憶媒体の形態を取ることができる。１つ又は複数のコンピュータ可読記憶媒体の任意の組み合わせを利用してもよい。
【００２５】
本発明の実施形態は、例えばフォーマット変換、再合焦、視点変更、及び、３Ｄ画像生成のような更なる処理用途のためのライト・フィールド・データのフォーマット化を提供する。
【００２６】
図２Ａは、本発明の一実施形態によるライト・フィールド・カメラ装置のブロック図である。このライト・フィールド・カメラは、図１Ａのライト・フィールド・カメラに合わせて、アパチャ／シャッタ２０２、メイン・レンズ（対物レンズ）２０１、マイクロレンズ・アレイ２１０及び光センサ・アレイ２２０を備えている。一部の実施形態において、ライト・フィールド・カメラには、被写体またはシーンのライト・フィールド画像を撮るために起動されるシャッタ・レリーズが含まれている。これらの機能的特徴が図１Ｂのライト・フィールド・カメラにも適用されることは理解されるであろう。
【００２７】
光センサ・アレイ２２０はライト・フィールド画像データを提供し、ＬＦデータ取得モジュール２４０がこのライト・フィールド画像データを取得し、これにより、ライト・フィールド（ＬＦ）データ・フォーマット化モジュール２５０がライト・フィールド・データ・フォーマットを生成し、及び／又は、ライト・フィールド（ＬＦ）データ・プロセッサ２５５がこのライト・フィールド画像データを処理する。ライト・フィールド・データは、取得の後、及び、処理の後にサブ・アパチャ画像として又はサブ・フォーカル・スタック（sub  focal  stack）として生データ・フォーマットで、或いは、本発明の実施形態による１つのライト・フィールド・データ・フォーマットでメモリ２９０に記憶されてもよい。
【００２８】
図示の例では、ライト・フィールド・データ・フォーマット化モジュール２５０とライト・フィールド・データ・プロセッサ２５５は、ライト・フィールド・カメラ２００内に配置又は組み込まれている。本発明のその他の実施形態において、ライト・フィールド・データ・フォーマット化モジュール２５０及び／又はライト・フィールド・データ・プロセッサ２５５は、このライト・フィールド・キャプチャ・カメラの外部の別個の構成部分内に設けてもよい。この別個の構成部分は、このライト・フィールド・イメージ・キャプチャ装置に対してローカルであっても、或いは、リモートであってもよい。尚、任意の適切な有線又は無線プロトコルを用いてライト・フィールド画像データをフォーマット化モジュール２５０又はライト・フィールド・データ・プロセッサ２５５に送信してもよく、例えば、ライト・フィールド・データ・プロセッサは、取り込まれたライト・フィールド画像データ及び／又はその他のデータを、インターネット、セルラー・データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、及び／又は、その他の任意の適切な手段を介して、伝送してもよいことが理解されるであろう。
【００２９】
ライト・フィールド・データ・フォーマット化モジュール２５０は、本発明の実施形態に従って取得されたライト・フィールドを表すデータを生成するように構成されている。ライト・フィールド・データ・フォーマット化モジュール２５０は、ソフトウェア、ハードウェア、或いは、それらの組み合わせで実施されてもよい。
【００３０】
ライト・フィールド・データ・プロセッサ２５５は、ＬＦデータ取得モジュール２４０から直接受信された生ライト・フィールド画像データを処理して、例えば、本発明の実施形態に従って、フォーカル・スタックを生成する、或いは、ビューのマトリクスを生成するように構成されている。例えば、撮像されたシーンの静止画像、２Ｄビデオ・ストリームなどのような出力データが生成されてもよい。このライト・フィールド・データ・プロセッサは、ソフトウェア、ハードウェア、或いは、それらの組み合わせで実施されてもよい。
【００３１】
少なくとも１つの実施形態において、ライト・フィールド・カメラ２００は、ユーザ・インタフェース２６０も備えていることがあり、このユーザ・インタフェース２６０は、ユーザがコントローラ２７０によりカメラ２００の動作を制御するためのユーザ入力を与えることを可能にする。カメラの制御には、例えばシャッタ速度のようなカメラの光学的パラメータの制御が１つ又は複数含まれることがあり、或いは、調節可能ライト・フィールド・カメラの場合、マイクロレンズ・アレイと光センサとの間の相対的な距離、又は、対物レンズとマイクロレンズ・アレイとの間の相対的な距離の制御が含まれることがある。一部の実施形態では、ライト・フィールド・カメラの光学的素子相互間の相対的な距離は、手動で調節されることがある。また、カメラの制御には、カメラのその他のライト・フィールド・データ取得パラメータ、ライト・フィールド・データ・フォーマット化パラメータ、或いは、ライト・フィールド処理パラメータも含まれることがある。ユーザ・インタフェース２６０は、例えばタッチスクリーン、ボタン、キーボード、及び／又は、ポインティング装置などのような任意の適切なユーザ入力装置で構成されてもよい。このようにして、ユーザ・インタフェースによって受信された入力を用いて、ＬＦデータ・フォーマット化モジュール２５０を制御及び／又は環境設定してデータ・フォーマット化を制御でき、また、ＬＦデータ・プロセッサ２５５を制御及び／又は環境設定して取得済みライト・フィールド・データの処理を制御でき、また、コントローラ２７０を制御及び／又は環境設定してライト・フィールド・カメラ２００を制御できる。
【００３２】
ライト・フィールド・カメラは、例えば１つ又は複数の交換可能な、或いは、再充電可能なバッテリのような電力供給源２８０を含んでいる。ライト・フィールド・カメラは、取り込まれたライト・フィールド・データ及び／又は描画された最終画像を記憶する、或いは、例えば、本発明の実施形態の方法を実施するためのソフトウェアのようなその他のデータを記憶するためのメモリ２９０を備えている。このメモリには、外部メモリ及び／又は内部メモリが含まれ得る。少なくとも１つの実施形態において、このメモリは、カメラ２００とは別の装置、及び／又は、別の場所に設けることができる。また、一実施形態において、このメモリには、例えばメモリスティックのような取り外し可能／交換可能な記憶装置が含まれる。
【００３３】
また、ライト・フィールド・カメラには、カメラの前に在るシーンを撮像前に見るための、及び／又は、以前に撮像された画像及び／又は描画された画像を見るための表示部２６５（例えば、ＬＣＤスクリーン）も含まれることがある。このスクリーン２６５は、ユーザに対して１つ又は複数のメニュー、或いは、その他の情報を表示するために用いられることもある。更に、ライト・フィールド・カメラには、例えば、ＦｉｒｅＷｉｒｅ又はユニバーサル・シリアル・バス（ＵＳＢ）のインタフェースのような、或いは、インターネット、セルラー・データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、及び／又は、その他の任意の適切な手段を介するデータ通信用の有線又は無線通信のインタフェースのような１つ又は複数のＩ／Ｏインタフェース２９５が含まれることがある。Ｉ／Ｏインタフェース２９５は、例えばコンピュータ・システム又は表示装置のような外部装置との間で、描画用途のために、例えばＬＦデータ・フォーマット化モジュールが本発明の実施形態に従って生成したライト・フィールドを表すデータのようなデータと、例えば生ライト・フィールド・データ又はＬＦデータ・プロセッサ２５５が処理したデータのようなライト・フィールド・データと、を送受信するために用いられることがある。
【００３４】
図２Ｂは、ライト・フィールド・データ・フォーマット化モジュール２５０とライト・フィールド・データ・プロセッサ２５５の実施可能な特定の実施形態を例示するブロック図である。
【００３５】
回路２０００には、メモリ２０９０と、メモリ・コントローラ２０４５と、１つ又は複数の処理装置（ＣＰＵ）から成る処理回路網２０４０と、が含まれている。１つ又は複数の処理装置２０４０は、メモリ２０９０に記憶された種々のソフトウェア・プログラム及び／又は複数組の命令を実行して、ライト・フィールド・データ・フォーマット化とライト・フィールド・データ処理とを含む種々の機能を実施するように構成されている。上記メモリに記憶されたソフトウェア・コンポーネント（ソフトウェア構成要素）には、本発明の実施形態に従って取得済み光データを表すデータを生成するためのデータ・フォーマット化モジュール（１組の命令）２０５０と、本発明の実施形態に従ってライト・フィールド・データを処理するためのライト・フィールド・データ処理モジュール（１組の命令）２０５５と、が含まれている。上記メモリには、ライト・フィールド・カメラ装置のアプリケーションのためにその他のモジュールが含まれていることがあり、例えば、一般的なシステム・タスク（例えば電源管理、メモリ管理）を制御する、及び、装置２０００の種々のハードウェアとソフトウェアの構成要素相互間の通信を容易にするためのオペレーティング・システム・モジュール２０５１と、Ｉ／Ｏインタフェース・ポートを介するその他の装置との通信を制御及び管理するためのインタフェース・モジュール２０５２と、が含まれていることがある。
【００３６】
図３には、図１Ａの光センサ・アレイ１０４又は図１Ｂの光センサ・アレイ１１４上に形成された２Ｄ画像の一例が示されている。この２Ｄ画像は、生４Ｄライト・フィールド画像と呼ばれることが多いが、マイクロ画像ＭＩのアレイで構成されており、各々のマイクロ画像は、マイクロレンズ・アレイ１０２，１１２のそれぞれのマイクロレンズ（ｉ，ｊ）によって生成されている。マイクロ画像は、軸ｉと軸ｊによって規定される矩形格子構造のアレイに配置されている。マイクロレンズ画像は、それぞれのマイクロレンズの座標（ｉ，ｊ）によって参照されることがある。また、光センサ１０４，１１４の画素ＰＩは、その空間座標（ｘ，ｙ）によって参照されることがある。所与の画素に関連付けられた４Ｄライト・フィールド・データは、（ｘ，ｙ，ｉ，ｊ）として参照されることがある。
【００３７】
４Ｄライト・フィールド画像を表す（又は規定する）方法は、幾つかある。例えば、４Ｄライト・フィールド画像は、図３を参照して説明したようにマイクロレンズ画像の集合によって表せる。また、４Ｄライト・フィールド画像は、プレノプティック・カメラによって記録される場合、１組のサブ・アパチャ画像によっても表せる。各々のサブ・アパチャ画像は、各々のマイクロレンズ画像から選択された同じ位置の画素から構成される。更に、４Ｄライト・フィールド画像は、１組のエピポーラ画像（epipolar  image）によっても表せるが、これは画素ビームの場合ではない。
【００３８】
本発明の一部の実施形態によれば、ライト・フィールド・データは、画素ビームの概念に基づいて表される。この点で、フォーマット及びライト・フィールド装置における多様性を考慮することがある。実際、光線に基づくフォーマットの１つの欠点は、画素のフォーマット及びサイズを表すために、パラメータ化平面（parametrization  plane）をサンプリングする必要がある。それ故、物理的な重要な情報を復元するために、このサンプリングをその他のデータに従って規定する必要がある。
【００３９】
図４に示されている画素ビーム４０は、カメラの光学系４１の物体空間（object  space）において１組の光線よって占められるボリューム（volume）を表している。この１組の光線は、上記光学系４１の瞳４４を介して、カメラのセンサ４３の画素４２によって感知される。光線とは反対に、画素ビーム４０は、自由にサンプリングしてもよく、その理由は、画素ビームが、それ自体、物理的な光線の断面中のエネルギの保存に相当する「エテンデュ（etendue）」を伝えるためである。
【００４０】
光学系の瞳は、アパチャ・ストップ（開口絞り）の前に在る光学系、すなわちカメラのレンズ、を介して見られる該アパチャ・ストップの像として定義される。アパチャ・ストップは、カメラの光学系を通過する光の量を制限する開口である。例えば、カメラ・レンズの前面付近に配置された調節可能ダイアフラム（レンズ絞り）は、そのレンズについてのアパチャ・ストップである。このダイアフラムを通過する光の量は、カメラのユーザが通過させたい光の量に従って適合化され得るダイアフラムの開口の直径によって、制御される。例えば、この開口を小さくすることによって、ダイアフラムを通過する光の量は低減されるが、焦点の深度は増大される。ストップ（絞り）の有効サイズは、レンズの屈折作用のために、そのストップの物理的サイズよりも大きい又は小さいことがある。正式には、瞳は、カメラの光学系の一部を介するアパチャ・ストップの像である。
【００４１】
画素ビーム４０は、入射瞳４４を介して光学系４１を伝播して通り抜ける場合に所与の画素４２に到達する光線束として定義される。光は自由空間において直線上を進むので、このような画素ビーム４０の形状は、２つの断面、すなわち、一方が画素４２の共役４５であり、他方が入射瞳４４である、２つの断面によって規定できる。画素４２は、非ヌル（non-null）表面とその感度マップとによって規定される。
【００４２】
従って、画素ビームは、図５に示されているように、２つの要素、すなわち、カメラの物体空間における瞳５４と画素４２の共役５５とによってサポートされる一葉双曲面５０によって表されることがある。
【００４３】
一葉双曲面は、光線束の概念をサポートでき、且つ、物理的な光ビームの「エテンデュ」の概念と適合する線織面である。
【００４４】
本発明の一実施形態において、画素ビーム４０，５０は、４つの独立したパラメータ、すなわち、瞳４４，５４の前方における画素共役４５，５５の位置とサイズとを規定するｚＰ，θｘ，θｙ，ａによって、規定される。
【００４５】
画素ビームを表す一葉双曲面は、次式によって規定されることがある。
【数１】
2017063414.tif 000003
ここでは、ｔｘ＝ｔａｎθｘ，ｔｙ＝ｔａｎθｙである。
【００４６】
画素ビーム４０、５０のパラメータが規定される座標系（ｘ,ｙ,ｚ）の原点Ｏは、図４に示されているように、瞳４４の中心に対応しており、ここで、ｚ軸は、瞳４４，５４の表面に対して垂直な方向を規定している。
【００４７】
パラメータθｘ，θｙは、瞳４４の中心の入口に対する主光線の方向を規定している。これらは、センサ４３上の画素４２の位置と光学系４１の光学的要素とに依存する。更に正確に述べると、パラメータθｘ，θｙは、瞳４４の中心から画素４２の共役４５の方向を規定するずれ角（shear  angle）を表している。
【００４８】
パラメータｚＰは、ｚ軸に沿う、画素ビーム４０，５０のウエスト（waist）５５、或いは、画素４２の共役４５、の距離を表している。
【００４９】
パラメータａは、画素ビーム４０，５０のウエスト５５の半径を表し、ｃは、次式によって与えられる。
【数２】
2017063414.tif 000004
ここで、ｒは、瞳４４、５４の半径である。
【００５０】
パラメータｚＰ，ａ及びｃの値の算定は、所与のカメラの各々の画素ビームについて、そのカメラのキャリブレーション（calibration）（較正）段階中に、実現される。このキャリブレーション段階は、例えば、カメラの光学系を通り抜ける光線の伝播をモデル化できるプログラムを実行することに本質がある。このようなプログラムは、例えば、Ｚｅｍａｘ（コピーライト）、ＡＳＡＰ（コピーライト）、又は、Ｃｏｄｅ  Ｖ（コピーライト）のような光学的設計プログラムである。光学的設計プログラムは、光学系を設計して分析するために用いられる。光学的設計プログラムは、光学系を通り抜ける光線の伝播をモデル化し、例えば、単体レンズ、非球面レンズ、屈折率分布型レンズ（gradient  index  lens）、ミラー、回折性光学的要素などのような光学的要素の効果をモデル化できる。
【００５１】
従って、画素ビーム４０，５０は、その主光線とパラメータｚＰ，ａ及びｃとによって規定されることがある。
【００５２】
しかしながら、画素ビーム４０，５０をこのように表したものは、大量の記憶領域を占有することになり、その理由は、光線を記憶するための古典的ファイル・フォーマットの本質が３Ｄ空間における位置と方向とを記憶することにあるためである。
【００５３】
必要とする記憶領域がより少ない光線記憶用ファイル・フォーマットを提案するために、ライト・フィールド放射輝度の４つの次元をパラメータ化する（parametrizing）方法が、図６Ａに例示された立方体を基準にすることがある。この立方体の全ての６つの表面を用いてライト・フィールドをパラメータ化することがある。方向をパラメータ化するために、この立方体の表面に対して平行な第２の一組の平面が追加されることがある。このようにして、ライト・フィールドは、軸方向に沿う垂線を
2017063414.tif 000005
とする６対の平面について規定されることがある。
【００５４】
図６Ｂには、パラメータ化用に使用され、互いに平行に配置され、それぞれ、既知の深度ｚ１及びｚ２に位置する２つの基準平面Ｐ１及びＰ２を通過するライト・フィールド光線が例示されている。このライト・フィールド光線は、深度ｚ１に位置する第１の基準平面Ｐ１と交点（ｘ１，ｙ１）で交差し、深度ｚ２に位置する第２の基準平面Ｐ２と交点（ｘ２，ｙ２）で交差している。このようにして、ライト・フィールド光線が、４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって識別されることがある。従って、ライト・フィールドは、１対の、ここでパラメータ化平面とも称される、パラメータ化用基準平面Ｐ１、Ｐ２によってパラメータ化でき、各々のライト・フィールド光線は、４Ｄ光線空間において点
2017063414.tif 000006
として表される。
【００５５】
例えば、基準座標系の原点が、座標軸系の基底ベクトル
2017063414.tif 000007
によって生成される平面Ｐ１の中心に置かれることがある。
2017063414.tif 000008
軸は、生成された平面Ｐ１に対して垂直であり、第２の平面Ｐ２は、簡単明解にするために、平面Ｐ１から
2017063414.tif 000009
軸に沿った距離ｚ＝Δに置ける。伝播の６つの相異なる方向を考慮に入れるために、全体のライト・フィールドを６対のそのような平面によって特徴づけることがある。ライト・スラブ（light  slab）と呼ばれることの多い１対の平面が、伝播の方向に沿ってライト・フィールド・カメラのセンサ又はセンサ・アレイと相互作用するライト・フィールドを特徴づける。
【００５６】
パラメータ化用基準平面の位置は、
【数３】
2017063414.tif 000010
として与えることができ、ここで、
2017063414.tif 000011
は垂線であり、ｄは垂線の方向に沿っての３Ｄ座標系の原点からのオフセットである。
【００５７】
パラメータ化用基準平面のデカルト方程式（Cartesian  equation）は、
【数４】
2017063414.tif 000012
として与えることができる。
【００５８】
ライト・フィールド光線が、既知の位置、すなわち、
2017063414.tif 000013
と、正規化された伝播ベクトル、すなわち、
2017063414.tif 000014
とを有する場合、３Ｄにおける光線の一般的な媒介変数方程式は、
【数５】
2017063414.tif 000015
として与えられることがある。
【００５９】
ライト・フィールド光線と基準平面との交点
2017063414.tif 000016
の座標は、
【数６】
2017063414.tif 000017
として与えられる。
【００６０】
次の条件が満たされない場合、ライト・フィールド光線と基準パラメータ化との交点は無い。
【数７】
2017063414.tif 000018
【００６１】
ライト・フィールドをパラメータ化するために用いられる基準平面のペア（対）が系の軸の１つに対して垂直であるので、光線交点の成分の１つは、各々の平面について常に一定である。従って、ライト・フィールド光線の第１の基準平面との交点
2017063414.tif 000019
と、該ライト・フィールドの第２の基準平面との交点
2017063414.tif 000020
と、がある場合、４つの座標が変化し、等式Ａを用いてライト・フィールド光線の４つのパラメータを算出できる。これらの４つのパラメータを用いて、ライト・フィールドの４Ｄ光線図を作ることができる。
【００６２】
２つのパラメータ化基準平面を基準とするライト・フィールドのパラメータ化の場合、ライト・フィールドを表すデータは、次のように得られることがある。基準系が、図７に描かれているように設定されると、第１のパラメータ化平面Ｐ１は、ｚ＝ｚ１においてｚ軸に対して垂直であり、第２のパラメータ化平面Ｐ２は、ｚ＝ｚ２においてｚ軸に対して垂直に配置されており、ライト・フィールド・パラメータがＬ（ｘ１；ｙ１；ｘ２；ｙ２）である光線が、ライト・フィールド・カメラの光センサ・アレイが置かれている位置ｚ＝ｚ３において描画される。等式Ａから
【数８】
2017063414.tif 000021
が得られる。
【００６３】
上記の式を展開すると、
【数９】
2017063414.tif 000022
が与えられる。
【００６４】
両方の組の等式によって、新たな位置における描画されるライト・フィールド光線と同じ点
2017063414.tif 000023
が与えられるはずである。
2017063414.tif 000024
と
2017063414.tif 000025
の関数として、ｕｘ，ｕｙ，ｕｚをそれらの対応する式に置き換えて、上に記したブロックの２番目の組の等式を用いて、ｘ３とｙ３とを加算すると、
【数１０】
2017063414.tif 000026
が得られる。
【００６５】
これから下記の式が導かれる。
【数１１】
2017063414.tif 000027
【００６６】
下付き数字３を有する座標は、ライト・フィールドが描画される既知の点（ｘ３，ｙ３，ｚ３）に関係する。全ての深度座標ｚｉは、既知である。パラメータ化平面は、伝播の、或いは、描画の方向にある。ライト・フィールド・データ・パラメータＬは、（ｘ１，ｙ１，ｘ２，ｙ２）である。
【００６７】
点（ｘ３，ｙ３，ｚ３）において画像を形成するライト・フィールド光線は、
2017063414.tif 000028
において超平面を規定する式Ｂによって、リンクされる（関連付けられる）。
【００６８】
これは、画像が２平面パラメータ化済みライト・フィールドから描画される場合、超平面付近の光線のみを描画すればよく、それらをトレースする要求はない。図８Ａは、本発明の１つ又は複数の実施形態に従ってライト・フィールドを表すデータを生成する方法のステップを例示するフローチャートである。図８Ｂは、本発明の１つ又は複数の実施形態に従ってライト・フィールドを表すデータを生成するシステムの主要モジュールを概略的に例示するブロック図である。
【００６９】
この方法の準備ステップＳ８０１において、カメラのセンサの画素に関連付けられた相異なる画素ビームを規定するパラメータが、カメラを較正することによって取得されるか、或いは、遠隔サーバに記憶されたデータ・ファイルから、或いは、例えばカメラのメモリ２９０又はカメラに接続されたフラッシュ・ディスクのようなローカル記憶装置に記憶されたデータ・ファイルから、上記パラメータを取り出すことによって取得される。
【００７０】
上記パラメータは、相異なる画素ビームの主光線の座標であり、瞳の前方における画素共役の位置とサイズとを規定するパラメータＺｐ及びａは、カメラのキャリブレーション（較正）期間中に、各々の画素ビームについて、得られる。画素ビームの主光線は、その画素ビームをサポートする画素の中心と瞳の中心とを通過する直線である。もう１つの準備ステップＳ８０２において、生ライト・フィールド・データが、ライト・フィールド・カメラ８０１によって取得される。この生ライト・フィールド・データは、例えば、図３を参照して説明したようなマイクロ画像の形態であってもよい。また、このライト・フィールド・カメラは、図１Ａ又は１Ｂと２Ａ及び２Ｂに示されたようなライト・フィールド・カメラ装置であってもよい。
【００７１】
ステップＳ８０３において、取得されたライト・フィールド・データが、光線パラメータ・モジュール８０２によって処理され、これによって、画素ビーム４０，５０の主光線に相当する捕捉されたライト・フィールド光線と、それぞれ深度ｚ１，ｚ２における１対のパラメータ化用基準平面Ｐ１，Ｐ２と、の交点を規定する交点データ（ｘ１，ｙ１，ｘ２，ｙ２）とが提供される。
【００７２】
カメラのキャリブレーションから、次記のパラメータ、すなわち、投影の中心（ｘ３，ｙ３，ｚ３）と、カメラの光軸の向きと、カメラのピンホールから光センサの平面までの距離ｆと、が特定できる。これらのライト・フィールド・カメラのパラメータが、図９に例示されている。光センサの平面は、深度ｚｐに配置されている。光センサの画素出力は、ライト・フィールド光線の幾何学的表現に変換される。２つの基準平面Ｐ１とＰ２を備えるライト・スラブが、それぞれ深度ｚ１とｚ２において、ｚ３を越えて、光センサに対するカメラの投影の中心の向こう側において、配置されている。光線に三角形の原理を適用することによって、マイクロレンズのアレイから投影された光を記録する画素座標（ｘｐ，ｙｐ，ｚｐ）は、次の式の適用により、光線パラメータ、すなわち、基準平面交点（ｘ１，ｙ１，ｘ２，ｙ２）にマッピングできる。
【数１２】
2017063414.tif 000029
【００７３】
上記の計算は、相異なるペア（対）のトリプレット（ｘｐ,ｙｐ,ｚｐ）（ｘ３,ｙ３,ｚ３）を有する複数のカメラに拡張してもよい。
【００７４】
プレノプティック・カメラの場合、アパチャを有するカメラ・モデルが用いられ、ライト・フィールド光線が、位相空間において、原点（ｘｐ，ｙｐ，ｚｐ）と方向（ｘ'３，ｙ’３，１）とを有するものとして記述される。深度ｚ３における平面（ｘ３，ｙ３）へのその伝播は、行列変換として記述できる。レンズが、ＡＢＣＤ行列として作用して光線を屈折させ、もう１つのＡＢＣＤ伝播行列が、光線をライト・スラブ基準平面Ｐ１とＰ２に導く。
【００７５】
このステップから、ライト・フィールド光線と基準平面Ｐ１，Ｐ２との交点を幾何学的に規定する交点データ（ｘ１，ｙ１，ｘ２，ｙ２）が得られる。
【００７６】
ステップＳ８０４において、交点データ（ｘ１，ｙ１，ｘ２，ｙ２）をグラフィック的に（図式的に）表す２Ｄ光線図が、光線図生成モジュール８０３によって、得られる。
【００７７】
図１０は、カメラによって位置ｘ３＝２、深度ｚ３＝２、アパチャ|Ａ|＜０.５で捕捉されたライト・フィールド光線の交点データ（ｘ１，ｘ２）を図式的に表す２Ｄ光線図である。パラメータ化に用いられる光線図のデータ・ラインが、２５６×２５６個の画素の画像を提供する２５６個のセルによって、サンプリングされる。
【００７８】
図１０に例示された光線図をマトリクス（行列）として解釈すると、その密度が疎らであると分かる。光線を４Ｄ位相空間行列の代わりにファイルに個々に保管しようとするならば、各々の光線について、各々の位置ｘｉ又はｘ３についての少なくとも２バイト（ｉｎｔ１６）と色についての３バイトとの合計、すなわち、２Ｄスライス・ライト・フィールドについて光線毎に７バイト、そして、そのフル（full）の４Ｄ表現について光線毎に１１バイトを保管する必要がある。たとえそうであっても、光線は、表現を巧みに操作する必要があるアプリケーションにとって不適当であるかもしれないファイルにランダムに記憶されることになる。本発明の発明者は、どのようにして、光線図マトリクスから代表的なデータのみを抽出して、そのデータを構造化された方法でファイルに記憶すべきかを突き止めた。
【００７９】
２Ｄスライス・ライト・フィールド光線が２Ｄ光線図のデータ・ラインに沿ってマッピングされるので、ライン値自身ではなく、データ・ラインを規定するパラメータを記憶する方がより効率的である。例えば傾きを規定するパラメータｓと軸交点（切片）ｄのようなデータ・ラインを規定するパラメータが、そのデータ・ラインに属する１組のライト・フィールド光線と共に、記憶されることがある。
【００８０】
これによって、例えば、傾きパラメータｓについて僅か２バイト、傾きパラメータｄについて２バイト、従って、光線毎に３バイトのみを必要とすることができる。更に、光線は、ファイル内でラインに沿って配列されることがある。マトリクス・セルを通じてラインを設定するために、最小の誤差で光線ラインに近似する、所謂、デジタル・ラインが生成される。
【００８１】
ステップＳ８０５でデータ・ラインの位置を特定し、且つ、傾きパラメータｓと切片パラメータｄとを得るために、ステップＳ８０４で生成された光線図についてラドン変換（Radon transform）がライン検出モジュール８０４によって行われる。
【００８２】
ステップＳ８０６において、代表的なデジタル・ラインが、得られた傾きパラメータｓと切片パラメータｄから、デジタル・ライン生成モジュール８０５によって、生成される。このステップにおいて、デジタル・ラインは、例えばブレゼンハムのアルゴリズム（Bresenham's algorithm）を適用して、分析ラインをその最も近くの格子点に近づけることによって、生成される。実際に、ブレゼンハムのアルゴリズムは、最小限の演算で、デジタル・ラインを提供する方法を提供する。ブレゼンハムのアプリケーション（適用）の一例は、次の参考資料、すなわち、http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.htmlから適合化されたものである。
【００８３】
デジタル・フォーマットは、格子（０，ｄ）と（Ｎ−１，ｓ）の２点によってデータ・ラインを規定し、ここで、ｄは、ｘ１＝０である時のｘ２の値に対応する交点（切片）であり、ｓは、ｘ１＝Ｎ−１である時のｘ２の値に対応する傾きパラメータである。この生成されたデジタル・フォーマットから、各々の個別のラインの傾きａは、ｄとｓとの関数として、
【数１３】
2017063414.tif 000030
と表されることがあり、ここで、
ｓ∈｛０，１，．．．Ｎ−１｝、ｄ∈｛０，１，．．．Ｎ−１｝
である。
【００８４】
図１１には、ブレゼンハムのアルゴリズムの適用によって生成されたデジタル・ラインの一例が例示されている。
【００８５】
図１２には、同一の傾きａ（又は、ｓ−ｄ）及び相異なる切片ｄを有し、互いに隣接する一群のデジタル・ライン（データ・ライン）が例示されている。この一群のデータ・ラインは、ここでは「ラインのバンドル（束）（bundle of lines）」と呼ぶが、理想的に精密ではないカメラから得られるビームに相当する。各々のラインは、相異なる画素を取り扱う。換言すれば、１つの画素は、同一の傾き及び相異なる切片を有する１つのバンドルのうちの１つの固有のラインのみに属する。軸交点（切片）ｄの上側及び下側の境界は、それぞれ、ｄｍａｘ及びｄｍｉｎとして与えられる。
【００８６】
サンプリングされた（２Ｄにおける）１対のラインによってパラメータ化され、且つ、１つのカメラに属する光線データは、そのデータを表すための位相空間において、デジタル・ラインの１つのファミリー（ビーム）に属する。ビームのヘッダは、単に、傾きａと、軸交点（切片）の上側及び下側の境界ｄｍａｘ及びｄｍｉｎによって規定されるビームの厚さと、で構成できる。光線の値は、ヘッダがｄ及びｓであり得るデジタル・ラインに沿ったＲＧＢ色として、記憶される。サンプリングされた空間における光線図の空のセルは、記憶される必要はない。光線の座標ｘ１、ｘ２は、パラメータｄ及びｓと、デジタル・ラインに沿ったセルの位置と、から推定できる。
【００８７】
ライト・フィールドから、或いは、カメラのジオメトリ（幾何学的な位置関係）から推定されるパラメータは、傾きａ、デジタル・ライン交点（切片）の下側及び上側の境界（ｄｍｉｎ，ｄｍａｘ）、及び、デジタル・ライン・パラメータ（ｄｉ，ｓｉ）である。離散ラドン変換（discrete Radon transform）は、光線図においてライト・フィールドのサポート位置を測定する手段として、既に述べている。
【００８８】
図１３Ｂには、図１３Ａのデータ・ラインのデジタル・ライン・パラメータ空間（ｄ，ｓ）における離散ラドン変換（Discrete Radon Transform）が示されている。図１３Ｃは、図１３Ｂに含まれている対象領域のズーム（zoom）である。デジタル・ラインのビームの位置は、最大値パラメータの検索によって特定される。画像内容に因り、ＤＲＴの幾何学的な対称の中心と最大値の実際の位置との間にある程度のオフセットがあり得るので、後で、最大値の代わりに、１つのアルゴリズムを用いて対称の中心を正確に特定する。次に、図１３Ｃに示されているようなビーム変換のウエストは容易に見つかり、値（ｄｍｉｎ，ｄｍａｘ）が得られる。点（ｄｍｉｎ＝７４，ｓ＝２０１）が、図１３Ａから得られるデジタル・ラインのビームの下側エンベロープ（envelope）であり、点（ｄｍａｘ＝８１，ｓ＝２０８）が、そのデジタル・ラインのビームの上側エンベロープである。
【００８９】
等式Ｂから２つの直交する２Ｄスライス空間の等式は、
【数１４】
2017063414.tif 000031
として与えられる。
【００９０】
ｘｉ座標についての２Ｄスライスを求める場合、（ｘ３，ｙ３，ｚ３）におけるサイズＡのアパチャを介する光線データが位置するラインのビームの等式は、
【数１５】
2017063414.tif 000032
として与えられる。
【００９１】
同様に、２Ｄスライスをｙｉ座標について求める場合は、
【数１６】
2017063414.tif 000033
となる。
【００９２】
前述のように、ｍ及び
2017063414.tif 000034
，
2017063414.tif 000035
，
2017063414.tif 000036
，
2017063414.tif 000037
の値を離散領域において求めて、前述のフォーマットによって規定されるようなライト・フィールドの特徴をローカライズすることがあり、４Ｄ離散ラドン変換を行なう要求はない。２つの直交する２Ｄ  ＤＲＴを得る場合、超平面の傾きｍと、全てのデータが４Ｄ光線図において集中するデジタル超平面のビーム幅と、についての測定を行うことができる。
【００９３】
このより簡単な位置特定方法は、
2017063414.tif 000038
，
2017063414.tif 000039
，
2017063414.tif 000040
，
2017063414.tif 000041
が全ての超平面交点を包含するように、且つ、このフォーマットで書かれた一部の値には値が含まれないように、円形入射瞳Ａを前提としている。
【００９４】
２Ｄのケースについて提案したものに類似する４Ｄのケースについてのフォーマットを得ることは興味深いであろう。そうする場合、
2017063414.tif 000042
平面上に在る２Ｄラインを、
2017063414.tif 000043
平面上に在るラインに、すなわち、対応する超平面と
2017063414.tif 000044
及び
2017063414.tif 000045
の２つの直交するスライスとの交差の結果であるラインに、関連付けることは興味深いであろう。式ＤとＥから、対応するラインが同じ傾きｍを有することが分かる。これは、カメラについて、ある深度において、
2017063414.tif 000046
内の各々のラインを
2017063414.tif 000047
内のラインに関連付ける第１のパラメータである。複数のカメラが同じ深度にある場合（すなわち、図１３Ａのケース）、
2017063414.tif 000048
内に３つのラインと
2017063414.tif 000049
内に３つのラインが、同じ推定された傾きｍで、存在する。そのとき、これらの２つの平面内のライン相互間のライン・オフセットの対応関係が特定される。これを行うために、式ＤとＥにおけるラインの式を利用する。詳しくは、
【数１７】
2017063414.tif 000050
として、オフセットは、
【数１８】
2017063414.tif 000051
及び
【数１９】
2017063414.tif 000052
となる。
【００９５】
これらの組の方程式は、ｋ，ｘ３及びｙ３について解ける。尚、（ｘ３，ｙ３，ｚ３）は、カメラの座標、換言すれば、対応する光のバンドル（光束）が半径Ａの円にフォーカス（focus）されるボクセル（voxel）の座標に相当する。ｚ３に位置する平面上のアパチャが円形であると仮定しているので、
【数２０】
2017063414.tif 000053
となり、上記の組の方程式を解くことによって、
【数２１】
2017063414.tif 000054
【数２２】
2017063414.tif 000055
【数２３】
2017063414.tif 000056
【数２４】
2017063414.tif 000057
が得られる。
【００９６】
デジタル・ラインは、ブレゼンハムのデジタル・ラインを用いて、
2017063414.tif 000058
上で、従来通りにスキャンしてもよい。各々の個別の（ｘ１，ｘ２）の値について、ライト・フィールドで捕捉された対応する（ｙ１，ｙ２）の値が記憶される。これらのような値を求めるために、式Ｃが利用される。ｘ３，ｙ３，ｚ３，ｚ１及びｚ２の全ては、既知であるか、或いは、式ＦとＧから推定される。
【００９７】
2017063414.tif 000059
内の各々のラインに関して、各々の
2017063414.tif 000060
について、（ｙ１，ｙ２）における下記の関係が得られる。
【数２５】
2017063414.tif 000061
又は、
【数２６】
2017063414.tif 000062
【００９８】
2017063414.tif 000063
内の各々の点について、
2017063414.tif 000064
内のラインのコレクションが保管される。ｄｏｆｆは、
2017063414.tif 000065
についてスキャンされ保管されるラインのオフセットに相当する。尚、
【数２７】
2017063414.tif 000066
である。
【００９９】
図１２を参照すると、各々の正方形は、
2017063414.tif 000067
の点であり、これらの点の各々について、下記の式
【数２８】
2017063414.tif 000068
によって規定され、且つ、４Ｄ空間において図示のデータ・ラインに対して垂直なデジタル・バンドルに沿って図面の平面から出るようにして進む１組のブレゼンハムのデジタル・ラインが存在する。
【０１００】
表１には、カメラ毎のデータ・ラインのバンドルについての代表的なデータ・フォーマットが例示されている。
【表１】
2017063414.tif 000069
【０１０１】
先ず、４つの軸ｘ１，ｘ２，ｙ１，ｙ２の境界とそれらの対応するサンプリングとを含む、４Ｄ空間の一般的なメタデータが規定される。カメラ（バンドル）の数も規定される。各々のカメラｊについて、下記のパラメータが保管される。
・アパチャのサイズＡｊ（これは画素ビームの瞳の直径に相当する）
・カメラｃａｍｊのフォーカス点（合焦点）、すなわち、focusPoint = (u3,u3,w3)
・(x1x,2)における最も低い交点（切片）ｄ＝ｄｊ
・（ｘ１，ｘ２）におけるデジタル・ライン数  ＝  
2017063414.tif 000070
・（ｙ１，ｙ２）におけるデジタル・ライン数  ＝  
2017063414.tif 000071
【０１０２】
各々のカメラにおいて、各々の
2017063414.tif 000072
について、スキャンが、式Ｋに関してブレゼンハムのデジタル・ラインを用いて（ｙ１，ｙ２）上で開始されて、各々のライト・フィールド光線のＲＧＢ値が保管される。詳しくは、
2017063414.tif 000073
から
2017063414.tif 000074
、及び、対応するｄｏｆｆが、式Ｋに従って計算される。
【０１０３】
ライト・フィールド光線が画素ビームの主光線に相当するので、所与の画素ビームのパラメータｚＰ、ａの値は、表１に示されているように、対応するライト・フィールド光線のＲＧＢ値と並んで記憶される。
【０１０４】
復号ステップにおいて、同じ計算が、記憶済みメタデータを用いて行われる。特に、ｋが、等式Ｇを用いて求められる。従って、フォーマットは、コンパクトなままである。系（system）において、各々の光線について、４つのインデックス（指標）を記憶する必要はない。尚、前述の超平面のサンプリングは、４Ｄ光線空間のサンプリングであり、従って、１つのｘ１、ｙ１、ｘ２、ｙ２の位置は、逃されない。これは、全てのデータを非常にコンパクトな形態で保管するための４Ｄ光線空間のシステマティックなスキャンの一例に過ぎない。当然、その他のプロセス（処理工程）を適用してもよい。パラメータ形態は、インタリーブされた空間の探究を可能にするので、超平面を探究するのに適合していると考えられる。
【０１０５】
幾つかの超平面のバンドル（複数のカメラのためにラドン変換における幾つかの最大値）を含むデータに取り組む複数のカメラの場合、更に複雑なアルゴリズムが用いられることがある。前処理ステップとして、パラメータ（ｍ，ｋ）が、
2017063414.tif 000075
のラドン変換において、全てのピークについて、求められて、１つの組に入れられる。同じことが（ｙ１，ｙ２）におけるピークについて行われて、パラメータが別の１つの組に入れられる。貪欲なアルゴリズムの各々の繰返しにおいて、最大ピーク強度が、（ｘ１，ｘ２）の２Ｄラドン変換において求められて、（ｙ１，ｙ２）における対応するピークが、前に求められたパラメータ（ｍ，ｋ）と一致させることによって、求められる。データが前述の如く保管された後に、これらのピークがラドン変換から取り除かれて、ライト・フィールドに重要なものが残らなくなるまで、次の繰返しが開始される。
【０１０６】
以上、具体的な実施形態を参照して本発明を説明したが、本発明は、これらの具体的な実施形態には限定されず、本発明の有効範囲内に在る修正は、当業者に明らかであろう。
【０１０７】
上述の実施例を参照すれば、多数の更なる修正と変形が当業者の心にひとりでに浮かぶであろうし、また、これらの実施例は、単に例として記載されており、本発明の有効範囲を制限する意図はなく、本発明の有効範囲は、後述の特許請求の範囲のみによって決定される。特に、相異なる実施形態から得られる相異なる特徴は、適切な場合、入れ替えてもよい。
【図１Ａ】
2017063414.tif 000076
【図１Ｂ】
2017063414.tif 000077
【図２Ａ】
2017063414.tif 000078
【図２Ｂ】
2017063414.tif 000079
【図３】
2017063414.tif 000080
【図４】
2017063414.tif 000081
【図５】
2017063414.tif 000082
【図６Ａ】
2017063414.tif 000083
【図６Ｂ】
2017063414.tif 000084
【図７】
2017063414.tif 000085
【図８Ａ】
2017063414.tif 000086
【図８Ｂ】
2017063414.tif 000087
【図９】
2017063414.tif 000088
【図１０】
2017063414.tif 000089
【図１１】
2017063414.tif 000090
【図１２】
2017063414.tif 000091
【図１３Ａ】
2017063414.tif 000092
【図１３Ｂ】
2017063414.tif 000093
【図１３Ｃ】
2017063414.tif 000094
【図１４】
2017063414.tif 000095
【外国語明細書】
2017063414000001.pdf