(57)【要約】  市販されているいくつかのタイプのプレノプティックデバイスとカメラアレイがあり、これらのライトフィールド取得デバイスはすべて独自のファイルフォーマットを持っている。しかし、多次元情報の取得と送信をサポートする標準はない。前記光学的取得システムのセンサのピクセルと前記光学的取得システムのオブジェクト空間との間の対応に関する情報を得ることは興味深い。実際、光学取得システムのオブジェクト空間のどの部分に、前記光学取得システムのセンサにピクセルが属するかを知ることは、信号処理動作の改善を可能にする。このような情報を格納するコンパクトなフォーマットと共に、カメラの光学系のオブジェクト空間内の光線セットによって占められるボリュームを表すピクセルビームの概念が導入される。
2019502277.tif 000002
【特許請求の範囲】
【請求項１】
光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記方法は、
光線の集まりを取得するステップであって、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定する、ステップと、
前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得するステップであって、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、ステップと、
２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得するステップと、
前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも１つのパラメータと関連付け、前記ピクセルビームを表すデータを提供するステップとを含む、
方法。
【請求項２】
前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化するステップであって、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する、ステップをさらに含む、
請求項１に記載の方法。
【請求項３】
前記ピクセルビームを表す光線に対応する交点データは、光線図においてデータラインとして図式的に表現され、前記光線図パラメータは
−データラインの傾斜、及び
−データラインの、前記光線図の軸との切片
のうち少なくとも１つを表すデータを含む、
請求項２に記載の方法。
【請求項４】
前記データラインは、ラドン変換を適用することにより、前記２次元光線図において検出される、
請求項３に記載の方法。
【請求項５】
前記図式的表現はデジタルデータラインを提供するセルのマトリックスとして提供され、各デジタルデータラインフォーマットは、前記データラインの軸との交点を表す少なくとも１つの第１のセルと、前記データラインの傾斜を決定する少なくとも１つの第２のセルとである複数のセルにより確定される、
請求項３または４に記載の方法。
【請求項６】
各デジタルデータラインはＢｒｅｓｅｎｈａｍアルゴリズムの適用により生成される、
請求項５に記載の方法。
【請求項７】
前記ピクセルビームを表すデータは、さらに、前記ピクセルビームを表す対応する光線の色を表す色データを含む、
請求項１ないし６いずれか一項に記載の方法。
【請求項８】
前記ピクセルビームを表すデータはメタデータとして提供され、前記メタデータのヘッダは、２次元光線図における交点データの図式的表現を確定する光線図パラメータを含み、前記メタデータのボディは、光線の色を表すデータと、前記オブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む、
請求項７に記載の方法。
【請求項９】
光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成するデバイスであって、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記デバイスはプロセッサを有し、該プロセッサは、
光線の集まりを取得し、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定し、
前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応し、
２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得し、
前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも１つのパラメータと関連付け、前記ピクセルビームを表すデータを提供する、
デバイス。
【請求項１０】
前記プロセッサは、さらに、
前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化し、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する、
請求項９に記載のデバイス。
【請求項１１】
規則的な格子構造で構成されたマイクロレンズアレイと、
前記マイクロレンズアレイから投影された光をキャプチャするように構成されたフォトセンサであって、複数のピクセルのセットを有し、各ピクセルセットは前記マイクロレンズアレイのそれぞれのマイクロレンズに光学的に関連付けられている、フォトセンサと、
請求項９に記載のメタデータを提供するデバイスとを有する、
ライトフィールドイメージングデバイス。
【請求項１２】
請求項１ないし８いずれか一項に記載の方法により取得されたライトフィールドデータから画像をレンダリングするデバイス。
【請求項１３】
光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを含むデジタルファイルであって、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記データは、
ピクセルビームを表す光線の交点データの２次元光線図における図式的表現を確定する光線図パラメータであって、前記交点データは前記ピクセルビームを表すライトフィールド光線の、複数の基準面との交点を確定し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、光線図パラメータと、
前記ピクセルビームを表すライトフィールド光線の色を確定する色データと、
前記光学的撮像システムのオブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む、
デジタルファイル。
【請求項１４】
請求項１ないし８いずれか一項に記載の方法により得られた、請求項１３に記載のデジタルファイル。
【請求項１５】
プログラマブル装置のコンピュータプログラムであって、前記プログラマブル装置にロードされ実行されたとき、請求項１ないし８いずれか一項に記載の方法を実施する命令シーケンスを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドを表すデータの生成に関する。
【背景技術】
【０００２】
４次元または４Ｄのライトフィールドデータの取得については、これは４Ｄのライトフィールドのサンプリングと見なせ、すなわち光線の記録と見なすことができるが、これはＡｎａｔ  Ｌｅｖｉｎ  ａｎｄ  ａｌ．著「Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｃａｍｅｒａ  ｔｒａｄｅ−ｏｆｆｓ  ｔｈｒｏｕｇｈ  ａ  Ｂａｙｅｓｉａｎ  ａｎａｌｙｓｉｓ  ｏｆ  ｌｉｇｈｔ  ｆｉｅｌｄ  ｐｒｏｊｅｃｔｉｏｎｓ」（ｐｕｂｌｉｓｈｅｄ  ｉｎ  ｔｈｅ  ｃｏｎｆｅｒｅｎｃｅ  ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＥＣＣＶ  ２００８）に説明されており、活気のある研究課題である。
【０００３】
カメラから得られる古典的な２次元すなわち２Ｄ画像と比較して、４Ｄライトフィールドデータにより、ユーザは、より多くの後処理機能にアクセスできるようになり、画像のレンダリングおよびユーザとのインタラクティブ性が向上する。例えば、４Ｄライトフィールドデータがあれば、自由に選択された焦点距離で画像の再焦点合わせを行うことができ、これは、焦点面の位置を事後的に指定／選択すること、及び画像のシーンにおいて視点を少し変えることができることを意味する。４Ｄライトフィールドデータを取得するために、いくつかの技術を使用することができる。例えば、プレノプティックカメラは４Ｄライトフィールドデータを撮影することができる。Ｐｌｅｎｏｐｔｉｃカメラのアーキテクチャの詳細を図１Ａに示す。図１Ａは、プレノプティックカメラ１００を概略的に示す図である。プレノプティックカメラ１００は、主レンズ１０１と、２次元配列に配列された複数のマイクロレンズ１０３を含むマイクロレンズアレイ１０２と、イメージセンサ１０４とを備える。
【０００４】
４Ｄライトフィールドデータを取得する別の方法は、図１Ｂに示すようなカメラアレイを使用することである。図１Ｂは、マルチアレイカメラ１１０を示している。マルチアレイカメラ１１０は、レンズアレイ１１２と、イメージセンサ１１４とを含む。
【０００５】
図１（ａ）に示すプレノプティックカメラ１００の例では、主レンズ１０１は、主レンズ１０１の物体視野内の被写体（図示せず）からの光を受けて、その光を主レンズ１０１の像視野を通す。
【０００６】
最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面で同じシーンの２Ｄ画像のシーケンスを取得するように構成された従来のカメラを使用することである。例えば、文献Ｊ．Ｈ．Ｐａｒｋ  ｅｔ  ａｌ．著「Ｌｉｇｈｔ  ｒａｙ  ｆｉｅｌｄ  ｃａｐｔｕｒｅ  ｕｓｉｎｇ  ｆｏｃａｌ  ｐｌａｎｅ  ｓｗｅｅｐｉｎｇ  ａｎｄ  ｉｔｓ  ｏｐｔｉｃａｌ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｕｓｉｎｇ  ３Ｄ  ｄｉｓｐｌａｙｓ」（ＯＰＴＩＣＳ  ＥＸＰＲＥＳＳ，  Ｖｏｌ．  ２２，  Ｎｏ．  ２１，  ｉｎ  Ｏｃｔｏｂｅｒ  ２０１４）に記載された手法を用いて、従来のカメラにより４Ｄライトフィールドデータの取得を実現できる。
【０００７】
４Ｄライトフィールドデータを表現するにはいくつかの方法がある。実際、２００６年７月に公表されたＲｅｎ  Ｎｇ著「Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」というタイトルの博士論文の第３．３章には、４Ｄライトフィールドデータを表現する３つの異なる方法が説明されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによって記録されたときに、マイクロレンズ画像の集まりによって表現することができる。この表現における４Ｄライトフィールドデータは、生画像または生４Ｄライトフィールドデータと呼ばれる。第２に、４Ｄのライトフィールドデータは、プレノプティックカメラまたはカメラアレイによって記録されたときは、サブアパーチャ画像（ｓｕｂ−ａｐｅｒｔｕｒｅ  ｉｍａｇｅｓ）のセットによって表すことができる。サブアパーチャ画像は、２つのサブアパーチャ画像の間で視点がわずかに異なる視点からのシーンの撮影画像に対応する。これらのサブアパーチャ画像は、撮影されたシーンの視差および深度に関する情報を与える。第３に、４Ｄライトフィールドデータは、エピポーラ画像（ｅｐｉｐｏｌａｒ  ｉｍａｇｅｓ）のセットによって表すことができる。例えば、ＩＳＶＣ  ２０１１の会議議事録で発表されたＷａｎｎｅｒ  ｅｔ  ａｌ．著「Ｇｅｎｅｒａｔｉｎｇ  ＥＰＩ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ａ  ４Ｄ  Ｌｉｇｈｔ  Ｆｉｅｌｄｓ  ｗｉｔｈ  ａ  Ｓｉｎｇｌｅ  Ｌｅｎｓ  Ｆｏｃｕｓｅｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」を参照されたい。
【０００８】
ライトフィールドデータは、大きなストレージスペースを占有する可能性があり、ストレージを煩雑にし、処理効率が低下する可能性がある。さらに、ライトフィールド取得装置は極めて異質である。ライトフィールドカメラは、例えば、プレノプティック（ｐｌｅｎｏｐｔｉｃ）またはカメラアレイのような異なるタイプのものである。各タイプには、異なる光学構成、焦点距離が異なるマイクロレンズなど、多くの違いがある。各カメラには独自のファイル形式がある。現時点では、ライトフィールドが依存する様々なパラメータを完全に概観するための多次元情報の取得および伝送をサポートする標準は存在しない。このように、異なるカメラで取得されたライトフィールドデータには、多様なフォーマットがある。本発明は、上記の点を考慮して案出されたものである。
【発明の概要】
【０００９】
本発明の第１の態様によると、光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成する、コンピュータにより実施される方法が提供される。前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記方法は、
光線の集まりを取得するステップであって、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定する、ステップと、
前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得するステップであって、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、ステップと、
２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得するステップと、
前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも１つのパラメータと関連付け、前記ピクセルビームを表すデータを提供するステップとを含む。
【００１０】
本発明の一実施形態では、前記方法はさらに、前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化するステップであって、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する、ステップを含む。
【００１１】
本発明の一実施形態では、前記ピクセルビームを表す光線に対応する交点データは、前記光線図においてデータラインとして図式的に表現され、前記光線図パラメータは、
−データラインの傾斜、及び
−データラインの、前記光線図の軸との切片
のうち少なくとも１つを表すデータを含む。
【００１２】
本発明の一実施形態では、前記データラインは、ラドン変換を適用することにより、前記２次元光線図において検出される。
【００１３】
本発明の一実施形態では、前記図式的表現はデジタルデータラインを提供するセルのマトリックスとして提供され、各デジタルデータラインフォーマットは、前記データラインの軸との交点を表す少なくとも１つの第１のセルと、前記データラインの傾斜を決定する少なくとも１つの第２のセルとである複数のセルにより確定される。
【００１４】
本発明の一実施形態では、各デジタルデータラインはＢｒｅｓｅｎｈａｍアルゴリズムの適用により生成される。
【００１５】
本発明の一実施形態では、前記ピクセルビームを表すデータは、さらに、前記ピクセルビームを表す対応する光線の色を表す色データを含む。
【００１６】
本発明の一実施形態では、前記ピクセルビームを表すデータはメタデータとして提供され、前記メタデータのヘッダは、２次元光線図における交点データの図式的表現を確定する光線図パラメータを含み、前記メタデータのボディは、光線の色を表すデータと、前記オブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む。
【００１７】
本発明の他の目的は、光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを生成するデバイスに関し、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記デバイスは、
光線の集まりを取得し、前記集まりの各光線はピクセルビームを表し、少なくとも第１のパラメータが前記ピクセルの共役を確定し、
前記ピクセルビームを表す光線の、複数の基準面との交点を確定する交点データを取得し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応し、
２次元光線図において前記交点データの図式的表現を規定する光線図パラメータを取得し、
前記光線図パラメータを、ピクセルの共役を確定する前記少なくとも１つのパラメータと関連付け、前記ピクセルビームを表すデータを提供する。
【００１８】
本発明の一実施形態では、前記プロセッサは、さらに、前記ピクセルの共役を確定する第１のパラメータの第１の値と第２の値との差分を符号化し、前記差分は前記光線図パラメータに関連付けられ、前記ピクセルビームを表すデータを提供する。
【００１９】
ライトフィールドイメージングデバイスであって、
規則的な格子構造で構成されたマイクロレンズアレイと、
前記マイクロレンズアレイから投影された光をキャプチャするように構成されたフォトセンサであって、複数のピクセルのセットを有し、各ピクセルセットは前記マイクロレンズアレイのそれぞれのマイクロレンズに光学的に関連付けられている、フォトセンサと、
請求項１１に記載のメタデータを提供するデバイスとを有する。
【００２０】
本発明の他の目的は、光学的撮像システムのオブジェクト空間において、光学的撮像システムの瞳と、前記光学的撮像システムのセンサの少なくとも１つのピクセルの共役とを通る光線のセットにより占められるボリュームを表すデータを含むデジタルファイルに関し、前記光線のセットにより占められるボリュームはピクセルビームと呼ばれ、前記データは、
ピクセルビームを表す光線の交点データの２次元光線図における図式的表現を確定する光線図パラメータであって、前記交点データは前記ピクセルビームを表すライトフィールド光線の、複数の基準面との交点を確定し、前記基準面は互いに平行であり、前記オブジェクト空間における異なる深度に対応する、光線図パラメータと、
前記ピクセルビームを表すライトフィールド光線の色を確定する色データと、
前記光学的撮像システムのオブジェクト空間におけるピクセルの共役の位置とサイズを確定するパラメータとを含む、本発明の要素によって実現されるいくつかのプロセスは、コンピュータによって実施されてもよい。したがって、かかる要素は、完全にハードウェアによる実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアによる実施形態、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形式を取り得る。これらはすべてここでは概して「回路」、「モジュール」または「システム」と呼ぶ。さらに、そのような要素は、媒体に組み込まれたコンピュータ使用可能プログラムコードを有する表現の任意の有形媒体に具体化されたコンピュータプログラム製品の形式を取ることができる。
【００２１】
本発明の要素はソフトウェアで実施することができるので、本発明は、任意の適切なキャリア媒体上のプログラム可能な装置に提供するためのコンピュータ可読コードとして実施することができる。有形のキャリア媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置または固体メモリ装置などのような記憶媒体を含むことができる。過渡キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、例えばマイクロ波またはＲＦ信号などの信号を含むことができる。
【図面の簡単な説明】
【００２２】
ここで、以下の図面を参照して、例として、本発明の実施形態を説明する。
【図１Ａ】プレノプティックカメラを示す概略図である。
【図１Ｂ】マルチアレイカメラを示す図である。
【図２Ａ】本発明の一実施形態によるライトフィールドカメラを示す機能図である。
【図２Ｂ】本発明の一実施形態によるライトフィールドフォーマッタとライトフィールドプロセッサとを示す機能図である。
【図３】フォトセンサアレイ上に形成された２Ｄライトフィールドイメージの一例を示す図である。
【図４】カメラまたは光学撮影システムの光学系のオプジェクト空間において、光線のセットにより占められたボリュームを示す図である。
【図５】一葉の双曲面を示す図である。
【図６Ａ】本発明の一以上の実施形態によるライトフィールドデータのパラメータ化のための基準面の使用を図式的に示す図である。
【図６Ｂ】本発明の一以上の実施形態によるライトフィールドデータのパラメータ化のための基準面の使用を図式的に示す図である。
【図７】本発明の複数の実施形態による基準面に対するライトフィールド光線を示す概略図である。
【図８Ａ】本発明の一以上の実施形態による方法のステップを示すフローチャートである。
【図８Ｂ】本発明の一以上の実施形態によるライトデータフォーマットを提供するデバイスのモジュールを示す機能ブロック図である。
【図９】本発明の複数の実施形態によるライトフィールド光線を示すパラメータを示す概略図である。
【図１０】本発明の複数の実施形態による交点データをグラフィカルに示す２Ｄ光線図である。
【図１１】本発明の複数の実施形態に従って生成されたデジタルライン（ａ  ｄｉｇｉｔａｌ  ｌｉｎｅ）を図式的に示す図である。
【図１２】本発明の複数の実施形態に従って生成されたデジタルライン（ｄｉｇｉｔａｌｓ  ｌｉｎｅ）を図式的に示す図である。
【図１３Ａ】本発明の複数の実施形態によるデジタルラインを適用したＲａｄｏｎ変換を図式的に示す図である。
【図１３Ｂ】本発明の複数の実施形態によるデジタルラインを適用したＲａｄｏｎ変換を図式的に示す図である。
【図１３Ｃ】本発明の複数の実施形態によるデジタルラインを適用したＲａｄｏｎ変換を図式的に示す図である。
【図１４】本発明の複数の実施形態による複数のカメラの交点データをグラフィカルに示す２Ｄ光線図である。
【図１５Ａ】本発明の一以上の実施形態による方法のステップを示すフローチャートである。
【図１５Ｂ】本発明の一以上の実施形態による方法のステップを示すフローチャートである。
【図１６】ガウシアンビームの幾何学的形状を示す図である。
【発明を実施するための形態】
【００２３】
本技術分野の当業者には言うまでもないが、本原理の諸態様はシステム、方法、またはコンピュータ読み取り可能媒体として実施され得る。したがって、本原理の諸態様は、完全にハードウェアによる実施形態、完全にソフトウェアによる実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなど）、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形式を取り得る。これらはここでは概して「回路」、「モジュール」または「システム」と呼ぶ。さらにまた、本原理の諸態様はコンピュータ読み取り可能記憶媒体の形式を取り得る。一以上のコンピュータ読み取り可能記憶媒体の任意の組み合わせを利用できる。
【００２４】
本発明の実施形態は、フォーマット変換、リフォーカス、視点変更および３Ｄ画像生成などのさらなる処理アプリケーションのためのライトフィールドデータのフォーマットを提供する。
【００２５】
図２Ａ本発明の一実施形態によるライトフィールドカメラデバイスを示すブロック図である。        ライトフィールドカメラは、図１Ａのライトフィールドカメラにしたがって、アパーチャ／シャッタ２０２、メイン（対物）レンズ２０１、マイクロレンズアレイ２１０、およびフォトセンサアレイ２２０を備える。いくつかの実施形態では、ライトフィールドカメラは、被写体またはシーンのライトフィールド画像を取得するように作動するシャッターレリーズ（ｓｈｕｔｔｅｒ  ｒｅｌｅａｓｅ）を含む。言うまでもなく、機能的特徴はまた、図１Ｂのライトフィールドカメラにも適用され得る。
【００２６】
フォトセンサアレイ２２０は、ライトフィールドデータフォーマットモジュール２５０によるライトフィールドデータフォーマットの生成、および／またはライトフィールドデータプロセッサ２５５による処理のために、ＬＦデータ取得モジュール２４０によって取得されるライトフィールド画像データを提供する。ライトフィールドデータは、取得後および処理後に、生データフォーマットで、サブアパーチャ画像または焦点スタックとして、または本発明の実施形態によるライトフィールドデータフォーマットで、メモリ２９０に格納することができる。
【００２７】
図示した例では、ライトフィールドデータフォーマッティングモジュール１５０およびライトフィールドデータプロセッサ２５５は、ライトフィールドカメラ２００内に配置されるか、または一体化される。本発明の他の実施形態では、ライトフィールドデータフォーマットモジュール２５０および／またはライトフィールドデータプロセッサ２５５は、ライトフィールドキャプチャカメラの外部の別個のコンポーネントに設けられてもよい。別個のコンポーネントは、ライトフィールド画像キャプチャデバイスに対してローカルであってもリモートであってもよい。言うまでもなく、任意の好適な有線または無線のプロトコルを用いて、ライトフィールド画像データをフォーマッティングモジュール２５０やライトフィールドデータプロセッサ２５５に送信してもよい。例えばライトフィールドデータプロセッサは、キャプチャされたライトフィールド画像データおよび／またはその他のデータを、インターネット、セルラデータネットワーク、ＷｉＦｉネットワーク、ＢｌｕｅＴｏｏｔｈ（登録商標）通信プロトコル、および／またはその他の任意の適切な手段を介して転送してもよい。
【００２８】
ライトフィールドデータフォーマッティングモジュール２５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成される。ライトフィールドデータフォーマッティングモジュール２５０は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施することができる。
【００２９】
ライトフィールドデータプロセッサ２５５は、ＬＦデータ取得モジュール２４０から直接受け取った生のライトフィールド画像データに対して作用して、例えば、本発明の実施形態による焦点スタックまたはビューマトリックスを生成するように構成される。キャプチャされたシーンの静止画像、２Ｄビデオストリームなどの出力データを生成することができる。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施することができる。
【００３０】
少なくとも１つの実施形態では、ライトフィールドカメラ２００は、ユーザがコントローラ２７０によるカメラ１００の動作を制御するためのユーザ入力を提供することを可能にするユーザインターフェース２６０を含むこともできる。カメラの制御は、シャッタ速度のようなカメラの光学的パラメータの制御、または調整可能なライトフィールドカメラの場合には、マイクロレンズアレイとフォトセンサとの間の相対的距離や対物レンズとマイクロレンズアレイとの間の相対的距離の制御のうち一以上を含み得る。いくつかの実施形態では、ライトフィールドカメラの光学素子間の相対的距離を手動で調整することができる。カメラの制御は、カメラのその他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマッティングパラメータ、またはライトフィールド処理パラメータの制御を含んでいてもよい。ユーザインターフェース２６０は、タッチスクリーン、ボタン、キーボード、ポインティングデバイスなどの任意の適切なユーザ入力デバイスを含むことができる。このようにして、ユーザインターフェースによって受信された入力を用いて、データフォーマットを制御するＬＦデータフォーマッティングモジュール２５０、取得されたライトフィールドデータの処理を制御するＬＦデータプロセッサ２５５、およびライトフィールドカメラ２００を制御するコントローラ２７０を制御および／または設定できる。
【００３１】
ライトフィールドカメラは、一以上の交換可能または再充電可能なバッテリなどの電源２８０を含む。ライトフィールドカメラは、キャプチャされたライトフィールドデータおよび／またはレンダリングされた最終画像、または本発明の複数の実施形態の方法を実施するソフトウェアのようなその他のデータを記憶するためのメモリ２９０を備える。メモリは、外部メモリおよび／または内部メモリを含むことができる。少なくとも１つの実施形態では、メモリは、カメラ２００とは別のデバイスおよび／またはカメラ２００から離れた位置に設けることができる。一実施形態では、メモリは、メモリスティックのような取外し可能／交換可能な記憶デバイスを含む。
【００３２】
また、ライトフィールドカメラは、キャプチャする前にカメラの前のシーンを視るための、および／または事前にキャプチャされたおよび／またはレンダリングされた画像を見るためのディスプレイユニット２６５（例えば、ＬＣＤスクリーン）を含むことができる。また、スクリーン２６５を用いて、一以上のメニューまたはその他の情報をユーザに表示してもよい。ライトフィールドカメラは、さらに、ＦｉｒｅＷｉｒｅやユニバーサルシリアルバス（ＵＳＢ）インターフェースなどの一以上のＩ／Ｏインターフェース２９５、またはインターネット、セルラデータネットワーク、ＷｉＦｉネットワーク、ＢｌｕｅＴｏｏｔｈ通信プロトコル、および／または任意の他の適切な手段を解してデータ通信するための有線または無線通信インターフェースを含むことができる。Ｉ／Ｏインターフェース２９５を使用して、本発明の実施形態によるＬＦデータフォーマッティングモジュールによって生成されたライトフィールド代表データ、及び生のライトフィールドデータまたはＬＦデータプロセッサ２５５により処理されたデータなどのライトフィールドデータを、コンピュータシステムまたはディスプレイユニットなどの外部デバイスとの間で、アプリケーションをレンダリングするために、転送できる。
【００３３】
図２Ｂは、ライトフィールドデータフォーマッティングモジュール２５０およびライトフィールドデータプロセッサ２５３の潜在的な実装の実施形態を示すブロック図である。
【００３４】
回路２０００は、メモリ２０９０、メモリコントローラ２０４５、および一以上の処理ユニット（ＣＰＵ）を含む処理回路２０４０を含む。一以上の処理ユニット２０４０は、メモリ２０９０に格納された様々なソフトウェアプログラムおよび／または命令のセットを実行して、ライトフィールドデータフォーマッティングおよびライトフィールドデータ処理を含む様々な機能を実行するように構成される。メモリに格納されたソフトウェアコンポーネントは、本発明の複数の実施形態による取得されたライトデータを表すデータを生成するデータフォーマッティングモジュール（または命令セット）２０５０と、本発明の複数の実施形態によるライトフィールドデータを処理するライトフィールドデータ処理モジュール（または命令セット）２０５５とを含む。ライトフィールドカメラデバイスのアプリケーション用のその他のモジュールがメモリに含まれてもよい。例えば、一般的なシステムタスク（例えば、電力管理、メモリ管理）を制御し、及び、デバイス２０００の様々なハードウェアおよびソフトウェアのコンポーネント間の通信を容易にするオペレーティングシステムモジュール２０５１、及びＩ／Ｏインターフェースポートを介して他のデバイスとの通信を制御および管理するインターフェースモジュール２０５２が含まれてもよい。
【００３５】
図３は、図１Ａのフォトセンサアレイ１０４または図１Ｂのフォトセンサアレイ１１４上に形成された２Ｄ画像の例を示す。２Ｄ画像は、生４Ｄライトフィールド画像と呼ばれることも多いが、マイクロ画像アレイＭＩから構成され、各マイクロ画像は、マイクロレンズアレイ１０２，１１２のそれぞれのマイクロレンズ（ｉ，ｊ）によって生成される。マイクロ画像は、軸ｉおよびｊによって確定される矩形格子構造中の配列内に配置される。マイクロレンズ画像は、それぞれのマイクロレンズ座標（ｉ，ｊ）によって参照されてもよい。フォトセンサ１０４，１１４のピクセルＰＩは、その空間座標（ｘ，ｙ）によって参照されてもよい。所与のピクセルに関連する４Ｄライトフィールドデータは、（ｘ，ｙ，ｉ，ｊ）として参照されてもよい。
【００３６】
４Ｄライトフィールド画像を表現する（または定義する）いくつかの方法がある。例えば、４Ｄライトフィールド画像は、図３を参照して先に説明したようなマイクロレンズ画像の集まりによって表すことができる。４Ｄライトフィールド画像は、プレノプティックカメラによって記録されたときに、サブアパーチャ画像のセットによって表現することもできる。各サブアパーチャ画像は、各マイクロレンズ画像から選択された同じ位置のピクセルから構成される。さらに、４Ｄのライトフィールド画像は、ピクセルビームの場合ではないエピポーラ画像（ｅｐｉｐｏｌａｒ  ｉｍａｇｅｓ）のセットによって表されてもよい。
【００３７】
本発明の実施形態は、ピクセルビームの概念に基づいてライトフィールドデータの表現を提供する。このようにして、フォーマットやライトフィールドデバイスの多様性を考慮に入れることができる。実際、光線ベースのフォーマットの１つの欠点は、ピクセルフォーマットおよびサイズを反映するためにパラメータ化平面をサンプリングする必要があることである。したがって、物理的に意味のある情報を回復するためには、他のデータに沿ってサンプリングを定義する必要がある。
【００３８】
ピクセルビーム４０は、図４に示すように、カメラの光学系４１のオブジェクト空間内の光線のセットによって占められるボリュームを表す。
【００３９】
光線のセットは、光学系４１の瞳４４を通ってカメラのセンサ４３のピクセル４２によって感知される。光線とは対照的に、ピクセルビーム４０は、それ自体が「ｅｔｅｎｄｕｅ」を伝達するので、物理的な光線のセクション間のエネルギーの保存に対応する。
【００４０】
光学系の瞳は、前記光学系、すなわち前記アパーチャ絞りに先行するカメラのレンズを通して見たアパーチャ絞りの像として定義される。アパーチャ絞りは、カメラの光学系を通る光の量を制限するアパーチャである。例えば、カメラレンズの前面近くに配置された調節可能な絞りは、レンズのアパーチャ絞りである。絞りを通って入る光の量は、カメラのユーザが受けることを望む光の量に応じて適合させ得る絞りアパーチャの直径によって制御される。例えば、絞りを小さくすると、絞りを通して入る光の量は減少するが、焦点深度は増加する。ストップの有効サイズは、レンズの屈折作用のために、物理的サイズより大きい、または小さくてもよい。正式には、瞳は、カメラの光学系を通るアパーチャ絞りの像である。
【００４１】
ピクセルビーム４０は、入射瞳４４を介して光学系４１を伝播するときに、所与のピクセル４２に到達する光線の光線バンドルとして定義される。光が自由空間の直線上を移動するとき、そのようなピクセルビーム４０の形状は、２つの部分によって画定することができる。１つはピクセル４２の共役４５であり、もう１つは入射瞳４４である。ピクセル４２は、その非ヌル面とその感度マップによって定められる。
【００４２】
したがって、ピクセルビームは、図５に示すように、瞳５４およびカメラのオブジェクト空間内のピクセル４２の共役５５の２つの要素によって支持される、一葉の双曲面５０によって表される。
【００４３】
一様の双曲面は、光線バンドルの概念を支持し、物理的光線の「ｅｔｅｎｄｕｅ」という概念と互換性のある線織面である。
【００４４】
一様の双曲面は、ガウシアンビームの幾何学的形状に対応する。実際、光学的には、ガウシアンビームは、その横方向の磁場および電場の振幅プロファイルがガウス関数によって与えられる単色電磁放射のビームであり、これはまた、ガウス強度プロファイルを示唆する。この基本的な横方向のガウスモードは、このような光ビームは最も集中したスポットに集バンドルさせることができるので、ほとんどのレーザの意図された出力を表す。
【００４５】
以下の式は、ｚのすべての値において円形の断面を有するビームを仮定する。これは、単一の横方向寸法ｒが現れることに気付くことによって見ることができる。
（焦点から測られた）ビームに沿った位置ｚにおいて、スポットサイズパラメータｗは、
【００４６】
【数１】
2019502277.tif 000003
により与えられる。ここで、ｗ０はｗａｉｓｔサイズである。
【００４７】
図１６に示されるように、ｗａｉｓｔからの距離はｚＲに等しく、ビームの幅ｗは√２ｗ０に等しい。
【００４８】
ガウス関数のテールは実際にはゼロにはならないが。これは、ｗａｉｓｔから遠いと、ビーム「エッジ」がコーン形状であることを意味する。そのコーンに沿った線（ｒ＝ｗ（ｚ））とビームの中心軸（ｒ＝０）との間の角度は、ビームの発散と呼ばれる。
【００４９】
ｗａｉｓｔから遠いビームの全角度広がりは、Θ＝２θで与えられる。本発明の一実施形態では、ピクセルビーム４０，５０は、４つの独立したパラメータ、すなわち、瞳４４，５４の前のピクセル共役４５，５５の位置およびサイズを定めるｚｐ、θｘ、θｙ、ａによって定義される。
ピクセルビームを表す一葉の双曲面は、以下の式
【００５０】
【数２】
2019502277.tif 000004
によって定義することができる。ここで、ｔｘ＝ｔａｎθｘ、ｔｙ＝ｔａｎθｙである。
【００５１】
ピクセルビーム４０，５０のパラメータが定義される座標系（ｘ，ｙ，ｚ）の原点Ｏは、図４に示すピクセルの共役の中心に対応する。ａ，ｂ，ｃはそれぞれＯｘ，Ｏｙ，Ｏｚに沿った半軸（ｓｅｍｉ−ａｘｅｓ）の長さと同相である。ここで、ａは、Ｏｘに沿ったｗａｉｓｔの半径を表し、ｂは、Ｏｙに沿ったｗａｉｓｔの半径を表し、ｃは、ピクセルビームの各アパーチャを定める。本発明のいくつかの実施形態では、ａとｂは、同一の値を有するが、これらの場合、ｗａｉｓｔは円形の形状を有する。
【００５２】
パラメータθｘ、θｙは、瞳４４の中心の入口に対する主光線方向を規定する。それらは、センサ４３上のピクセル４２と、光学系４１の光学素子とに依存する。より正確には、パラメータθｘ、θｙは、瞳４４の中心からのピクセル４２の共役４５の方向を定める剪断角度を表す。
【００５３】
パラメータｚｐは、ｚ軸に沿った、ピクセルビーム４０，５０のｗａｉｓｔ５５の距離、またはピクセル４２の共役４５の距離を表す。
【００５４】
パラメータａは、ピクセルビーム４０，５０のｗａｉｓｔ５５の半径を表し、ｃは、以下の式
【００５５】
【数３】
2019502277.tif 000005
によって与えられる。ここで、ｒは瞳４４，５４の半径である。
【００５６】
パラメータｚｐ、ａ、ｃの値の計算は、カメラの較正フェーズ中にそのカメラの各ピクセルビームについて実現される。この較正段階は、例えば、カメラの光学系を通る光線の伝搬をモデル化することができるプログラムを実行することからなる。そのようなプログラムは、例えば、Ｚｅｍａｘ、ＡＳＡＰまたはＣｏｄｅ  Ｖのような光学設計プログラムである。光学設計プログラムは、光学系を設計および分析するために使用される。光学設計プログラムは、光学系を通る光線の伝播をモデル化し、単純なレンズ、非球面レンズ、屈折率分布型レンズ、ミラー、回折光学素子等の光学素子の効果をモデル化することができる。
【００５７】
したがって、ピクセルビーム４０，５０は、その主光線およびパラメータｚｐ、ａ及びｃにより定められる。
【００５８】
しかしながら、ピクセルビーム４０，５０のそのような表現は、光線を保存するための古典的なファイルフォーマットが３Ｄ空間内の位置および方向を記憶することにあるので、大量の記憶空間を占める。
【００５９】
より少ない記憶空間だけで済む光線を保存するためのファイルフォーマットを提案するために、ライトフィールド輝度の４つの次元をパラメータ化する方法は、図６Ａに示す立方体を参照する。立方体の６つの面はすべて、ライトフィールドをパラメータ化するために使用される。方向をパラメータ化するために、立方体面に平行な平面の第２のセットを追加することができる。このようにして、ライトフィールドは、軸方向ｉ→、−ｉ→、ｊ→、−ｊ→、ｋ→、−ｋ→（訳注：上付き「→」は、本来はその前の記号の上に付き、その記号がベクトルであることを示す）に沿った法線を有する６つの平面ペアに関して定義され得る。
【００６０】
図６Ｂは、互いに平行に配置され、既知の深度ｚ１およびｚ２にそれぞれ位置する、パラメータ化に使用される２つの基準面Ｐ１およびＰ２を通過するライトフィールド光線を示す。ライトフィールド光線は交点（ｘ１、ｙ１）で深さｚ１で第１の基準平面Ｐ１と交差し、交点（ｘ２、ｙ２）で深さｚ２で第２の基準平面Ｐ２と交差する。このようにして、ライトフィールド光線は４つの座標（ｘ１、ｙ１、ｘ２、ｙ２）によって識別することができる。このようにして、ライトフィールドは、パラメータ化平面とも呼ばれるパラメータ化のための基準面Ｐ１、Ｐ２のペアによってパラメータ化することができ、各ライトフィールド光線４Ｄ光線空間内の点（ｘ１、ｙ１，ｘ２，ｘ２）∈Ｒ４として表される。
【００６１】
例えば、基準座標系の原点は、座標軸系ｉ１→、ｊ１→の基底ベクトルによって生成された平面Ｐ１の中心に置くことができる。ｋ→軸は、生成された平面Ｐ１に対して垂直であり、第２の平面Ｐ２は、単純化のため、平面Ｐ１からｋ→軸に沿って距離ｚ＝Δに配置することができる。６つの異なる伝搬方向を考慮に入れるために、ライトフィールド全体は、そのような平面の６つのペアによって特徴付けられてもよい。ライトスラブ（ｌｉｇｈｔ  ｓｌａｂ）と呼ばれることが多い一対の面は、伝搬方向に沿ってライトフィールドカメラのセンサまたはセンサアレイと相互作用するライトフィールドを特徴付ける。
【００６２】
パラメータ化のための基準面の位置は、ｘ０→＝ｄｎ→ように与えられる。ここで、ｎ→は法線であり、ｄはその法線の方向に沿った３Ｄ座標系の原点からのオフセットである。
【００６３】
パラメータ化のための基準面のカーテシアン方程式は、ｎ→｛ｘ→−ｘ０→｝＝０のように与えられる。
【００６４】
ライトフィールドは既知の位置ｘｉ→（ｘｉ，ｙｉ，ｚｉ）と、規格化された伝搬ベクトルｕ→（ｕ１，ｕ２，ｕ３）とを有する場合、３次元における光線の一般的な伝搬方程式は、ｘ→＝ｔｕ→＋ｘｉ→で与えられる。
【００６５】
ライトフィールド光線と基準面との間の交点ｘ１→の座標は、
【００６６】
【数４】
2019502277.tif 000006
で与えられる。
【００６７】
以下の条件（ｘ１→−ｘ０→）ｕ→＞０が満たされない場合、ライトフィールド光線と基準パラメータ化との間に交点は存在しない。
【００６８】
ライトフィールドをパラメータ化するために使用される一対の基準平面の、系の軸の１つとの直交性により、光線交差の成分の１つは各平面に対して常に一定である。したがって、ライトフィールド光線の第１の基準面との交点ｘ１→と、第２の基準面との前記ファイトフィールドとの交点ｘ２→とがある場合、４つの座標が変化し、方程式Ａを使用して、ライトフィールドの４つのパラメータを計算することができる。これらの４つのパラメータを使用して、ライトフィールドの４Ｄ図を構成することができる。
【００６９】
２つのパラメータ化基準平面を参照して、ライトフィールドのパラメータ化を仮定すると、ライトフィールドを表すデータは、以下のように得られる。図７に示すように基準系が設定されている場合、第１のパラメータ化平面Ｐ１はｚ＝ｚ１でｚ軸に垂直であり、第２のパラメータ化平面Ｐ２はｚ＝ｚ２でｚ軸に垂直に配置され、ライトフィールドパラメータがＬ（ｘ１；ｙ１；ｘ２；ｙ２）である光線は、ライトフィールドカメラのフォトセンサアレイが配置されている位置ｚ＝ｚ３にレンダリングされる。式（Ａ）から：
【００７０】
【数５】
2019502277.tif 000007
上の式を展開すると、
【００７１】
【数６】
2019502277.tif 000008
両方の式のセットは、新しい場所にレンダリングされたライトフィールド光線と同じ点ｘ３→となる必要がある。ｕｘ；ｕｙ；ｕｚをｘ１→とｘ２→の関数として対応する式で置き換えることによって、前のブロックからの第２の式のセットが使用され、ｘ３とｙ３が一緒に加算される場合、
【００７２】
【数７】
2019502277.tif 000009
次の式
【００７３】
【数８】
2019502277.tif 000010
が得られる。
【００７４】
添え字３の座標は、ライトフィールドがレンダリングされる既知の点（ｘ３、ｙ３、ｚ３）に関する。すべての深さ座標ｚｉは既知である。パラメータ化平面は、伝播またはレンダリングの方向にある。ライトフィールドデータパラメータＬは、（ｘ１、ｙ１、ｘ２、ｙ２）である。
【００７５】
点（ｘ３、ｙ３、ｚ３）で像を形成するライトフィールド光線は、Ｒ４の超平面を規定する式（Ｂ）によってリンクされる。
これは、２面のパラメータ化されたライトフィールドから画像をレンダリングする場合、超平面近傍の光線のみをレンダリングすればよいので、トレースする必要がないことを意味する。図８Ａは、本発明の１つ以上の実施形態による、ライトフィールドを表すデータを生成する方法のステップを示すフローチャートである。図８Ｂは、本発明の１つ以上の実施形態によるライトフィールドを表すデータを生成するシステムの主要モジュールを概略的に示すブロック図である。
【００７６】
方法の予備ステップＳ８０１では、カメラのセンサのピクセルに関連付けられた異なるピクセルビームを規定するパラメータが、カメラを較正することによって、またはリモートサーバまたはカメラのメモリ２９０やカメラに接続されたフラッシュディスクのようなローカルストレージに格納されたデータファイルから、このようなパラメータを読み出すことによって、取得される。
【００７７】
そのようなパラメータは、異なるピクセルビームの主光線の座標であり、カメラの較正中に各ピクセルビームについて得られる瞳の前にあるピクセル共役の位置およびサイズを規定するパラメータｚｐとａである。ピクセルビームの主光線は、ｗａｉｓｔの中心とピクセルビームを支持する瞳の中心を通る直線である。別の予備的なステップＳ８０２において、ライトフィールドカメラ８０１によって生ライトフィールドデータが取得される。生ライトフィールドデータは、例えば、図３を参照して説明したようなミクロ画像の形式であってもよい。ライトフィールドカメラは、図１Ａ又は図１Ｂ及び図２Ａ及び図２Ｂに示すようなライトフィールドカメラ装置であってもよい。
【００７８】
ステップＳ８０３において、取得されたライトフィールドデータは、光線パラメータモジュール８０２によって処理され、ピクセルビーム４０，５０の主光線に対応する、それぞれの深度ｚ１、ｚ２におけるパラメータ化Ｐ１、Ｐ２のための一対の基準面との、取得された光線の交点を確定する交点データ（ｘ１、ｙ１、ｘ２、ｙ２）を提供する。
【００７９】
カメラの較正から、次のパラメータ：投影中心（ｘ３、ｙ３、ｚ３）、カメラの光軸の向き、およびカメラのピンホールからフォトセンサの平面までの距離ｆを決定することができる。ライトフィールドカメラパラメータを図９に示す。フォトセンサ平面は深さｚｐに位置する。フォトセンサのピクセル出力は、ライトフィールド光線の幾何学的表現に変換される。２つの基準平面Ｐ１およびＰ２を含むライトスラブは、カメラのフォトセンサへの投影中心の他方の側で、それぞれｚ３を越えて深さｚ１およびｚ２に配置される。光線に三角原理を適用することによって、マイクロレンズのアレイから投影された光を記録するピクセル座標（ｘｐ、ｙｐ、ｚｐ）を、次の式
【００８０】
【数９】
2019502277.tif 000011
【００８１】
【数１０】
2019502277.tif 000012
を適用することにより光線パラメータに、すなわち基準面交点（ｘ１、ｙ１、ｘ２、ｙ２）にマッピングできる。
【００８２】
上記の計算は、異なる組のトリプレット（ｘｐ、ｙｐ、ｚｐ）（ｘ３、ｙ３、ｚ３）を有する複数のカメラに拡張することができる。
【００８３】
プレノプティックカメラの場合、アパーチャを有するカメラモデルを用いて、ライトフィールド光線を、位相空間において原点（ｘｐ、ｙｐ、ｚｐ）および方向（ｘ'３、ｙ'３、１）を有するものとして記述する。深度ｚ３の平面（ｘ３、ｙ３）への伝播は、行列変換として記述することができる。レンズは、光線を屈折させるＡＢＣＤマトリックスとして作用し、別のＡＢＣＤ伝播マトリックスは、光線をライトスラブ基準面Ｐ１およびＰ２上にもたらす。
【００８４】
このステップから、基準面Ｐ１、Ｐ２とのライトフィールド光線の交点を幾何学的に規定する交点データ（ｘ１、ｙ１、ｘ２、ｙ２）が得られる。
【００８５】
ステップＳ８０４において、２Ｄ線は、光線図生成モジュール８０３によって交点データ（ｘ１、ｙ１、ｘ２、ｙ２）をグラフィック表示する光線図を得る。
【００８６】
図１０は、位置ｘ３＝２および深さｚ３＝２にあるアパーチャ｜Ａ｜＜０．５のカメラによって取得されたライトフィールド光線の交点データ（ｘ１、ｘ２）をグラフ的に表す２Ｄ光線図である。パラメータ化に使用される光線図のデータ線は、２５６×２５６ピクセルの画像を提供する２５６個のセルによってサンプリングされる。
【００８７】
図１０に示す光線図を行列として解釈する場合、それはスパース（ｓｐａｒｓｅｌｙ  ｐｏｐｕｌａｔｅｄ）であることがわかる。光線を、４Ｄ位相空間行列ではなく、ファイルに個別に保存する場合は、これは、角光線について、各位置ｘｉまたはｘ３について少なくとも２バイト（ｉｎｔ１６）、色に対ついてさらに３バイトを保存する必要があり、つまり２Ｄスライスライトフィールドの場合は光線あたり７バイト、フル４Ｄ表示の場合は光線あたり１１バイトを保存する必要がある。それでも、光線はファイル内にランダムに格納され、これは表現を操作する必要があるアプリケーションには適していない可能性がある。本発明の発明者らは、光線図マトリックスから代表データのみを抽出し、そのデータを構造化された方法でファイルに格納する方法を見いだした。
【００８８】
ライトフィールド光線は２Ｄ光線図のデータ線に沿ってマッピングされるので、線の値そのものではなくデータ線を確定するパラメータを格納する方が効率的である。例えば、傾斜を定めるパラメータｓおよび軸切片ｄのようなデータラインを確定するパラメータを、そのデータラインに属する一組のライトフィールド光線とともに記憶してもよい。
【００８９】
これには、例えば、傾斜パラメータｓのために２バイト、切片パラメータｄのために２バイト、次にレイのために３バイトしか必要としない可能性がある。行列セルを介してラインを設定するために、いわゆる線が最小誤差で近似するデジタルラインが生成される。
【００９０】
データ線の位置を突き止め、パラメータｓおよび交点パラメータｄを得るために、ステップＳ８０５において、ステップＳ８０４において生成された光線図上の光線検出モジュール８０４によってラドン変換が実行される。
【００９１】
得られた傾斜パラメータｓおよび切片パラメータｄから、ステップＳ８０６において、デジタルライン生成モジュール８０５によって代表デジタルラインが生成される。このステップでは、例えば、Ｂｒｅｓｅｎｈａｍアルゴリズムを適用することによって、解析線をその最も近い格子点に近似することによって、デジタル線が生成される。事実、Ｂｒｅｓｅｎｈａｍアルゴリズムは、最小限の演算でデジタルラインを提供する方法を提供する。他の方法は、高速離散ラドン変換計算を適用することができる。Ｂｒｅｓｅｎｈａｍアプリケーションの一例は、次のリファレンスから受け入れたものである：ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｈｅｌｓｉｎｋｉ．ｆｉ／ｇｒｏｕｐ／ｇｏａ／ｍａｌｌｉｎｎｕｓ／ｌｉｎｅｓ／ｂｒｅｓｅｎｈ．ｈｔｍｌ。
【００９２】
デジタルフォーマットは、グリッド（０、ｄ）と（Ｎ−１、ｓ）の２点でデータラインを確定する。ｄは、ｘ１＝０のときのｘ２の値に対応する切片であり、ｓは、ｘ１＝Ｎ−１のときのｘ２の値に対応する傾斜パラメータである。生成されたデジタルフォーマットから、個々のラインの傾斜ａが、
【００９３】
【数１１】
2019502277.tif 000013
の関数として表される。ここで、ｓ∈｛０，１，．．．，Ｎ−１｝及びｄ∈｛０，１，．．．，Ｎ−１｝である。
【００９４】
図１１は、Ｂｒｅｓｅｎｈａｍアルゴリズムの適用によって生成されるデジタルラインの例を示す。
【００９５】
図１２は、同じ傾斜ａ（またはｓ−ｄ）を有するが、異なる切片ｄを有するデジタルラインのグループを示し、データラインのグループは連続している。データラインのグループは、本明細書ではラインのバンドルと呼ばれ、カメラが理想的なピンポイントではないことに起因するビームに対応する。各ラインは異なるピクセルをアドレス指定する。言い換えれば、１つのピクセルは、同じ傾きを持ち、異なる切片を持つバンドルのユニークな線にのみ属する。軸の切片ｄの上下の境界はそれぞれｄｍａｘとｄｍｉｎとして与えられる。
【００９６】
サンプリングされた（２Ｄの）線のペアによりパラメータ化された、１つのカメラに属する光線データは、データを表すために使用される位相空間内のデジタル線（ビーム）のファミリーに属する。ビームのヘッダは、傾きａと、軸の切片の上下の境界ｄｍａｘ−ｄｍｉｎにより確定されるビームの厚さを単純に含めることができる。光線値は、ヘッダがｄおよびｓのデジタル線に沿ってＲＧＢ色として格納される。サンプリングされた空間内の光線図の空洞は保存する必要はない。光線の座標ｘ１；ｘ２は、パラメータｄ、ｓおよびデジタルラインに沿ったセルの位置から導き出すことができる。
ライトフィールドまたはカメラのジオメトリから推定されるパラメータは、傾斜ａと、デジタルライン（ｄｉ，ｓｉ）である。離散ラドン変換は、既に光線図（ｒａｙ  ｄｉａｇｒａｍ）内のライトフィールドのサポート位置を測定するツールとして説明した。
【００９７】
図１３Ｂは、図１３Ａのデータラインのデジタルラインパラメータ空間（ｄ，ｓ）における離散ラドン変換（ｄｉｓｃｒｅｔｅ  Ｒａｄｏｎ  ｔｒａｎｓｆｏｒｍ）を示す。図１３Ｃは、図１２Ｂに含まれる関心領域のズームである。デジタルラインのビームは、最大値パラメータの探索によって位置付けられる。ＤＲＴの幾何学的対称中心と画像コンテンツによる最大の実際の位置との間に、ある程度のオフセットが存在することがあり、後で、最大値ではなく対称中心をピンポイントするアルゴリズムが使用される。次に、図１３Ｃに示すビーム変換のｗａｉｓｔは、値（ｄｍｉｎ，ｄｍａｘ）を与えることを見ることは容易である。点（ｄｍｉｎ＝７４，ｓ＝２０１）は、図１２Ａからのデジタルラインのビームの下側エンベロープであり、点（ｄｍａｘ＝８１，ｓ＝２０８）は、デジタルラインのビームの上側エンベロープである。
【００９８】
方程式Ｂからの２つの直交する２Ｄスライス空間の方程式は、
【００９９】
【数１２】
2019502277.tif 000014
で与えられる。
【０１００】
ｘｉ座標の２Ｄスライスをとると、（ｘ３，ｙ３，ｚ３）においてサイズＡのアパーチャを通る光線データがマップされる線のビームの方程式は、
【０１０１】
【数１３】
2019502277.tif 000015
で与えられる。
【０１０２】
同様に、ｙｉ座標に対して２Ｄスライスが撮られると、
【０１０３】
【数１４】
2019502277.tif 000016
前に説明したように、ｍおよびｄｍａｘｘ、ｄｍｉｎｘ、ｄｍａｘｙ、ｄｍｉｎｙの値は、離散領域で評価されて、前述のフォーマットによって定義されたライトフィールドの特性を定位することができ、４Ｄ離散ラドン変換を実行する必要はない。２つの直交する２Ｄ  ＤＲＴが得られれば、ハイパープレーンの傾きｍと、４Ｄ光線図にすべてのデータが集中するデジタルハイパープレーンのビーム幅との測定を行うことができます。
【０１０４】
このより単純な位置手順は、円形入射瞳Ａを仮定して、ｄｍａｘｘ、ｄｍｉｎｘ、ｄｍａｘｙ、ｄｍｉｎｙがすべてのハイパープレーン切片を包含するように、フォーマットに書かれたいくつかの値は値を含まない。
【０１０５】
２Ｄの場合に提案されたものと同様の４Ｄの場合のフォーマットを得ることは興味深い。そうするため、Π（ｘ１，ｘ２）平面上にある２Ｄ線を、Π（ｙ１，ｙ２）で見つかった線、すなわち、対応するハイパープレーンとΠ（ｘ１，ｘ２）とΠ（ｙ１、ｙ２）の２つの直交するスライスとの交差の結果である線とを関連付けることは興味深い。式ＤおよびＥから、対応するラインは同じ傾きｍを有することが知られている。これは、カメラのある深度にあるΠ（ｘ１，ｘ２）中の線を、Π（ｙ１，ｙ２）中の線と関連付ける第１のパラメータである。同じ深度に複数のカメラがある場合（すなわち、図１３Ａの場合）、Π（ｘ１，ｘ２）には３つのラインがあり、Π（ｙ１，ｙ２）には３つのラインがあり、推定された傾きｍは同じである。次に、これらの２つのプレーン内のライン間のラインオフセットにおける対応関係が決定される。これを行うために、式ＤおよびＥにおける線の定式化が利用される。特に、
【０１０６】
【数１５】
2019502277.tif 000017
とすると、オフセットは
【０１０７】
【数１６】
2019502277.tif 000018
及び
【０１０８】
【数１７】
2019502277.tif 000019
の通りである。
【０１０９】
この連立方程式はｋ、ｘ３及びｙ３について解くことができる。（ｘ３，ｙ３，ｚ３）はカメラの座標、すなわち、言いかえると、対応する光バンドルが半径Ａの円に集バンドルされるボクセルに対応することに留意されたい。ｚ３に位置する平面上のアパーチャは円形であり、そのためｄｍａｘｘ−ｄｍｉｎｘ＝ｄｍａｘｙ−ｄｍｉｎｙ＝２ｋＡであり、上記の連立方程式を解くと
【０１１０】
【数１８】
2019502277.tif 000020
となる。
【０１１１】
デジタルラインは前述の通り、Ｂｒｅｓｅｎｈａｍデジタルラインを用いて、Π（ｘ１，ｘ２）上でスキャンできる。各（ｘ１，ｘ２）の値について、ライトフィールドにおいて取得される対応する（ｙ１、ｙ２）の値が格納される。かかる値を見いだすため、式Ｃを利用する。以下はすべて式Ｆ及びＧ、ｘ３；ｙ３；ｚ３；ｚ１；ｚ２から知られているか、推定される。
【０１１２】
Π（ｘ１，ｘ２）の各ラインから動かして、各（ｘ１ｑ、ｘ２ｑ）について、（ｙ１，ｙ２）の次の関係
【０１１３】
【数１９】
2019502277.tif 000021
が得られる。
【０１１４】
Π（ｘ１，ｘ２）の各点に対して、Π（ｙ１，ｙ２）のラインの集まりが保存される。ｄｏｆｆは（ｘ１ｑ、ｘ２ｑ）についてスキャン及び保存されたラインのオフセットに対応する。留意点として、
【０１１５】
【数２０】
2019502277.tif 000022
である
図１２を参照して、各四角形は（ｘ１ｑ、ｘ２ｑ）ポイントであり、これらのポイントのそれぞれについて、式
【０１１６】
【数２１】
2019502277.tif 000023
により規定されるデジタルバンドルに沿って、図示したデータラインに垂直な、しかし４Ｄ空間における、図の平面から出る一組のＢｒｅｓｅｎｈａｍデジタルラインがある。
【０１１７】
カメラごとのデータラインのバンドルの例示的データフォーマットを表１に示す。
【０１１８】
【表１】
2019502277.tif 000024
第１に、４Ｄ空間の一般的メタデータが提供される。これは４軸ｘ１、ｘ２，ｙ１，ｙ２の境界と対応するそれらのサンプリングとを含む。カメラ（バンドル）の数も提供される。各カメラｊについて、次のパラメータが保存される：
アパーチャサイズ：Ａｊ、これはピクセルビームの瞳の直径に対応する、
カメラの焦点：ｃａｍｊ；  ｆｏｃｕｓＰｏｉｎｔ＝（ｕ３，ｕ３，ｗ３）
（ｘ１ｘ，２）＝ｄｊにおける最低ｄ切片
傾き＝ｍｊ
（ｘ１，ｘ２）＝ｌｊｘにおけるデジタルライン数
（ｘ１，ｘ２）＝ｌｊｘｙにおけるデジタルライン数
各カメラで、各（ｘｑ１；ｘｑ２）に対して、Ｂｒｅｓｅｎｈａｍデジタルラインを使用して式（Ｋ）に対して（ｙ１、ｙ２）で走査が開始され、各ライトフィールド光線のＲＧＢ値が保存される。特にｙ３＊−Ａないしｙ３＊＋Ａおよび対応するｄｏｆｆは、式（Ｋ）に従って計算される。
【０１１９】
ライトフィールド光線はピクセルビームの主光線に対応するので、与えられたピクセルビームのパラメータｚｐ、ａの値は、対応するライトフィールド光線のＲＧＢ値と並んで、表１に示すように格納される。これらの２つのパラメータは浮動小数点数として格納されるため、カメラごとのデータラインのバンドルのデータフォーマットがはるかに大きくなる。実際、表１において、各光線は３バイトを占め、パラメータｚｐ、ａはそれぞれ４バイトを占める。よって、パラメータｚｐ、ａは、グローバルファイルサイズに大きく影響する。
【０１２０】
記憶スペースの量を減らすために、これらの２つのパラメータｚｐ、ａは、例えば、ライトフィールドデータフォーマッティングモジュール２５０によって実行され、図１５Ａおよび１５Ｂに表される以下の方法に従って符号化される。
【０１２１】
浮動小数点数は仮数とも呼ばれる有効桁と、指数を使用するスケールとで表され、浮動項は、仮数中で浮動できる基数またはカンマ記号からできている。
【０１２２】
従って、表１に示すように、カメラ毎のデータラインのバンドルのデータフォーマットに格納された浮動小数の数を減少させるために、開始値を基準にして数値のインクリメントを符号化することが提案される。正または負のいずれかの数の変動は、−２５４から＋２５５まで、例えば５１２レベルで符号化される。本発明の他の実施形態では、数の変化を２５６または１２８レベルで符号化することができる。インクリメントの値は、パラメータの値および変動に応じて調整される。
【０１２３】
したがって、ステップＳ１５０において、初めの浮動小数点数が基準として使用され、これは、例えば、カメラのピクセルビームの集まりのうち第１のピクセルビームのパラメータｚｐの第１の値である。
【０１２４】
本発明の一実施形態では、ステップＳ１５１の間に、ピクセルビームの集まりにおける別のピクセルビームのｚｐパラメータの第２の値を表す第２の浮動小数点数と、パラメータｚｐの第１の値との差分が計算される。パラメータｚｐの第２の値と第１の値とは、ライトフィールドを表すデータストリームにおける連続的な浮動小数である。この差は、テーブル１に、パラメータｚｐの第２の値の代わりに記憶される。ピクセルビームを規定するパラメータが順次的な空間的角度的な方法で（ａｎ  ｏｒｄｅｒｅｄ  ｓｐａｔｉｏ−ａｎｇｕｌａｒ  ｍａｎｎｅｒ）記憶されるので、同じパラメータの２つの連続する値は非常に少量だけ変化する。
【０１２５】
ステップＳ１５２の間に、ピクセルビームの集まりにおける別のピクセルビームのｚｐパラメータの第３の値を表す第３の浮動小数点数と、パラメータｚｐの第２の値との差分が計算される。本発明の一実施形態では、パラメータｚｐの第３の値および第２の値は、ライトフィールドを表すデータストリーム内の連続する浮動小数である。すなわち、例えば同じパラメータの異なる値が、例えば、ＲＧＢ、ＲＧＢ、．．．、ｚ、ｚ、．．．、ａ、ａ、．．．．．などのデータストリームにグループ分けされる。本発明のこの実施形態では、「収縮（ｄｅｆｌａｔｅ）」と呼ばれる方法を使用してデータを圧縮する方が簡単であり、その例はｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＤＥＦＬＡＴＥに記載されている。この差は、テーブル１に、パラメータｚｐの第３の値の代わりに記憶される。
【０１２６】
これらのステップＳ１５１、Ｓ１５２は、カメラのピクセルビームの集まりを表すパラメータｚｐの値に対して実行される。パラメータａの値の同じステップが実行される。
【０１２７】
データストリームを同期させ、異なるパラメータの符号化された値がピクセルビームを表すことを確実にするために、ステップＳ１５３において、ｚｐパラメータの第４の値が、２つの連続する値の間の差としてではなく、浮動小数として格納される。ステップＳ１５３は、例えば１００個の浮動小数点数数ごとに実行される。
【０１２８】
本発明の他の実施形態では、ステップＳ２５０において、初めの浮動小数点数が基準として使用され、これは、例えば、カメラのピクセルビームの集まりのうち第１のピクセルビームのパラメータｚｐの第１の値である。
【０１２９】
ステップＳ２５１の間に、ピクセルビームの集まりにおける別のピクセルビームのｚｐパラメータの第２の値を表す第２の浮動小数と、パラメータｚｐの第１の値との差分が計算される。本発明の一実施形態では、パラメータｚｐの第２の値および第１の値は、ライトフィールドを表すデータストリーム内の連続する浮動小数である。すなわち、例えば同じパラメータの異なる値が、例えば、ＲＧＢ、ＲＧＢ、．．．、ｚ、ｚ、．．．、ａ、ａ、．．．．．などのデータストリームにグループ分けされる。本発明のこの実施形態では、「収縮（ｄｅｆｌａｔｅ）」と呼ばれる方法を使用してデータを圧縮する方が簡単であり、その例はｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＤＥＦＬＡＴＥに記載されている。この差は、テーブル１に、パラメータｚｐの第２の値の代わりに記憶される。
【０１３０】
ステップＳ２５２の間に、ピクセルビームの集まりにおける別のピクセルビームのｚｐパラメータの第３の値を表す第３の浮動小数点数と、パラメータｚｐの第１の値との差分が計算される。この差は、テーブル１に、パラメータｚｐの第３の値の代わりに記憶される。
【０１３１】
これらのステップＳ２５１、Ｓ２５２は、カメラのピクセルビームの集まりを表すパラメータｚｐの値に対して実行される。したがって、パラメータｚｐの各値に対して、基準値であるパラメータｚｐの第１の値との差が計算され、表１に格納される。パラメータａの値の同じステップが実行される。
【０１３２】
データストリームを同期させ、ピクセルビームを表す異なるパラメータの符号化された値が信頼できることを確実にするために、ステップＳ２５３において、ｚｐパラメータの第４の値が、パラメータｚｐの２つの連続する値の間の差分としてではなく、浮動小数として格納され、パラメータｚｐの対応する値の代わりに表１に格納される差分を計算するための新しい基準とみなされる。ステップＳ２５３は、例えば１００個の浮動小数点数ごとに実行される。
【０１３３】
この方法は、連続する２つの浮動小数点数の変化が小さいという主張、Ｆｔ＋１＝Ｆｔ＋εという主張に依存する。この小さな差εは８ビットで符号化される。本発明の他の実施形態では、差分は、４ビット、１２ビットまたは１６ビットで符号化することができる。これにより、デバイスおよびネットワーク帯域幅に使用されるメモリを最適化できる。
【０１３４】
同じ計算が、格納されたメタデータを使用する復号化ステップにおいて実行される。特に、式（Ｈ）を用いてｋを求める。従って、フォーマットはコンパクトなままである。システム内の各光線のために４つのインデックスを格納したり、ピクセルビームを確定するパラメータのために２つの浮動小数点数を格納したりする必要はなし。上のハイパープレーンのサンプリングは、４Ｄ光線空間のサンプリングであり、従って、ｘ１；ｙ１；ｘ２；ｙ２の位置はどれもミスできないことに留意されたい。これは、すべてのデータを非常にコンパクトな形で保存するための４Ｄ光線空間の系統的スキャンの一例に過ぎない。もちろん、他のプロセスを適用してもよい。パラメトリック形式は、交互的空間探査を可能にするため、ハイパープレーンを探索するように適応されているようである。
【０１３５】
複数のカメラが、いくつかのハイパープレーンバンドル（複数のカメラなのでラドン変換にはいくつかの最大値がある）を含むデータを処理する場合、より複雑なアルゴリズムを使用することができる。前処理ステップとして、Π（ｘ１，ｘ２）のラドン変換のすべてのピークについてパラメータ（ｍ、ｋ）を求め、１つのセットに入れる。同じことが（ｙ１、ｙ２）のピークに対して行われ、パラメータは別のセットに入れられる。グリーディアルゴリズムの各反復では、（ｘ１、ｘ２）の２Ｄラドン変換において最大ピーク強度が見出され、以前に見つかったパラメータ（ｍ、ｋ）をマッチングすることによって、（ｙ１、ｙ２）における対応するピークが見いだされる。最後のセクションで述べたようにデータを保存した後、これらのピークはラドン変換から消去され、次の反復が開始され、ライトフィールドには意味があるものが残っていなくなるまで続けられる。
本発明を特定の実施形態を参照して上で説明してきたが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある当業者には明らかである。
【０１３６】
当業者は、前記の例示的な実施形態を参照すれば、さらに別の多数の修正や変更に想到するだろう。実施形態は、本発明の範囲を限定することを意図したものではなく、単に例示的なものである。本発明の範囲は、添付の請求項のみにより決まる。特に、適切であれば、異なる実施形態の異なる特徴を交換し得る。
【図１Ａ】
2019502277.tif 000025
【図１Ｂ】
2019502277.tif 000026
【図２Ａ】
2019502277.tif 000027
【図２Ｂ】
2019502277.tif 000028
【図３】
2019502277.tif 000029
【図４】
2019502277.tif 000030
【図５】
2019502277.tif 000031
【図６Ａ】
2019502277.tif 000032
【図６Ｂ】
2019502277.tif 000033
【図７】
2019502277.tif 000034
【図８Ａ】
2019502277.tif 000035
【図８Ｂ】
2019502277.tif 000036
【図９】
2019502277.tif 000037
【図１０】
2019502277.tif 000038
【図１１】
2019502277.tif 000039
【図１２】
2019502277.tif 000040
【図１３Ａ】
2019502277.tif 000041
【図１３Ｂ】
2019502277.tif 000042
【図１３Ｃ】
2019502277.tif 000043
【図１４】
2019502277.tif 000044
【図１５Ａ】
2019502277.tif 000045
【図１５Ｂ】
2019502277.tif 000046
【図１６】
2019502277.tif 000047
【国際調査報告】
2019502277.tif 000048
2019502277.tif 000049