(57)【要約】  市場には、いくつかのタイプのプレノプティック装置及びカメラアレイが利用可能な状態において存在しており、これらのライトフィールド取得装置は、いずれも、そのプロプライエタリなファイルフォーマットを有する。但し、多次元情報の取得及び送信をサポートする規格は、存在していない。前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間の間の対応性に関係する情報の取得は、興味深い。実際に、前記光学取得システムのセンサに属するピクセルが光学取得システムの物体空間のいずれの部分を検知しているのかを知ることにより、信号処理動作の改善が可能となる。従って、そのような情報を保存するコンパクトな１５個のフォーマットを有する、カメラの光学系の物体空間内の、光線の組によって占有される容積を表すピクセルビームの概念が導入されている。
2018538709.tif 000002
【特許請求の範囲】
【請求項１】
生成光線と呼称される、光線の集合体をソートするコンピュータ実装された方法であって、前記集合体のそれぞれの生成光線は、光学取得システムの物体空間内において、前記光学取得システムの瞳孔を通過する光線の組によって占有された容積の表面と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を前記容積の回転軸を中心として回転することによって生成し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記方法は、
−  少なくとも１つのピクセルビームについて、基準直線と交差する前記ピクセルビームの前記表面を生成する生成光線を選択することと、
−  前記選択された生成光線を含むソートされた生成光線の集合体を生成することと、
を有する方法。
【請求項２】
生成光線によって生成された前記ピクセルビームの前記表面は、一葉双曲面である請求項１に記載の方法。
【請求項３】
前記基準直線は、前記光学取得システムのメインレンズの光軸に対して平行である請求項１に記載の方法。
【請求項４】
前記基準直線は、前記光学取得システムのレンズアレイの中心軸に対して平行である請求項１に記載の方法。
【請求項５】
前記生成光線の選択は、
−  前記生成光線の集合体に属する前記ピクセルビームの別の生成光線を定義するベクトルに回転行列を乗算することにより、前記選択された生成光線を定義するベクトルの座標を演算することと、
−  前記選択された生成光線と前記基準直線が互いに交差していることから、前記選択された生成光線と前記基準直線の間の距離がゼロに等しい状態において、前記選択された生成光線及び前記基準直線を定義するポイント及びベクトルに基づいて前記回転行列の回転角度の値を演算することと、
を有する請求項１から４のいずれか１項に記載の方法。
【請求項６】
光学取得システムの瞳孔を通過した光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成する方法であって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記方法は、
−  生成光線と呼称される、光線の第１の集合体及び光線の第２の集合体を取得することであって、前記生成光線の集合体のそれぞれの生成光線は、前記ピクセルビームの回転軸を中心として回転することにより、ピクセルビームの表面を生成し、前記ピクセルビームの前記回転軸は、前記光線の第１の集合体に属する光線である、ことと、
−  複数の所与の基準プレーンとの間における、生成光線及び所与のピクセルビームの前記回転軸の交差点を定義する交差点データを演算することであって、前記基準プレーンは、互いに平行であり、且つ、前記物体空間内の異なる深さに対応している、ことと、
−前記ピクセルビームを表すデータを提供するべく、２Ｄ光線内の前記交差点データのグラフィカルな表現を定義する光線図パラメータを取得することと、
を含む、方法。
【請求項７】
前記生成光線及び前記回転軸に対応する前記交差点データは、データラインとして前記光線図においてグラフィカルに表され、且つ、前記光線図パラメータは、
−  データラインの勾配と、
−  前記光線図の軸との間におけるデータラインの交差点と、
のうちの少なくとも１つを表すデータを含む請求項６に記載の方法。
【請求項８】
前記ピクセルビームを表す前記データは、前記対応する第２生成光線及び回転軸の色を表す色データを更に含む請求項７に記載の方法。
【請求項９】
前記取得された生成光線の集合体は、請求項１乃至５のいずれか１項に記載の方法に従って取得されている請求項６に記載の方法。
【請求項１０】
生成光線と呼称される、光線の集合体をソートする装置であって、前記集合体のそれぞれの生成光線は、光学取得システムの物体空間内において、前記光学取得システムの瞳孔を通過した光線の組によって占有された容積の表面と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を前記容積の回転軸を中心として回転することによって生成し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記装置は、
−  少なくとも１つのピクセルビームについて、基準直線と交差する前記ピクセルビームの前記表面を生成する生成光線を選択し、
−  前記選択された生成光線を含むソートされた生成光線の集合体を生成する、
ように構成されたプロセッサを含む、装置。
【請求項１１】
前記プロセッサは、
−  前記生成光線の集合体に属する前記ピクセルビームの別の生成光線を定義するベクトルに回転行列を乗算することにより、前記選択された生成光線を定義するベクトルの座標を演算することと、
−  前記選択された生成光線と前記基準直線が互いに交差していることから、前記選択された生成光線と前記基準直線の間の距離がゼロに等しい状態において、前記選択された生成光線及び前記基準直線を定義するポイント及びベクトルに基づいて前記回転行列の回転角度の値を演算することと、
により、前記生成光線を選択するように構成されている請求項１０に記載の装置。
【請求項１２】
光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成する装置であって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記装置は、
−生成光線と呼称される、光線の第１の集合体及び光線の第２の集合体を取得し、前記生成光線の集合体のそれぞれの生成光線は、前記ピクセルビームの回転軸を中心として回転することにより、ピクセルビームの表面を生成し、前記ピクセルビームの前記回転軸は、前記光線の第１の集合体に属する光線であり、
−複数の所与の基準プレーンとの間における、生成光線及び所与のピクセルビームの前記回転軸の交差点を定義する交差点データを演算し、前記基準プレーンは、互いに平行であり、且つ、前記物体空間内の異なる深さに対応しており、
−前記ピクセルビームを表すデータを提供するべく、２Ｄ光線図内の前記交差点データのグラフィカルな表現を定義する光線図パラメータを取得する、
ように構成されたプロセッサを含む、装置。
【請求項１３】
前記取得された生成光線の集合体は、請求項１乃至５のいずれか１項に記載の方法に従って取得されている請求項１２に記載の装置。
【請求項１４】
ライトフィールド撮像装置であって、
−  規則的な格子構造において配置されたマイクロレンズのアレイと、
−  前記マイクロレンズのアレイから前記フォトセンサ上において投影された光をキャプチャするように構成されたフォトセンサであって、前記フォトセンサは、ピクセルの組を含み、ピクセルのそれぞれの組は、前記マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
−請求項８に従ってメタデータを提供する装置と、
を含む装置。
【請求項１５】
請求項６から９のいずれか１項に記載の前記方法に従って得られる、ライトフィールドデータから画像をレンダリングする装置。
【請求項１６】
光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルであって、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記データは、
−生成光線と呼称される第１光線と、第２光線と、の交差点データの２Ｄ光線図内におけるグラフィカルな表現を定義する光線図パラメータであって、前記生成光線は、その他の光線を中心として回転することによってピクセルビームの表面を生成し、前記その他の光線は、前記ピクセルビームの回転軸であり、前記交差点データは、複数の所与の基準プレーンとの間における、前記生成光線及び前記ピクセルビームの前記回転軸の交差点を定義しており、前記基準プレーンは、互いに平行であり、且つ、前記物体空間内の異なる深さに対応している、光線図パラメータと、
−前記生成光線及び前記ピクセルビームの前記回転軸の色を定義する色データと、
を含む、デジタルファイル。
【請求項１７】
請求項６乃至９のいずれか１項に記載の前記方法によって得られた請求項１６に記載のデジタルファイル。
【請求項１８】
プログラム可能な装置用のコンピュータプログラムプロダクトであって、前記プログラム可能な装置内に読み込まれ、且つ、前記プログラム可能な装置によって実行された際に、請求項１から５のいずれか１項に記載の方法を実装する命令のシーケンスを有するコンピュータプログラムプロダクト。
【請求項１９】
プログラム可能な装置用のコンピュータプログラムプロダクトであって、前記プログラム可能な装置に読み込まれ、且つ、これによって実行された際に、請求項６から９のいずれか１項に記載の方法を実装するための命令のシーケンスを含むコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドを表すデータの生成に関する。
【背景技術】
【０００２】
４Ｄライトフィールドのサンプリング、即ち、光線の記録、と見なされうる、４次元又は４Ｄライトフィールドデータの取得は、”Understanding camera trade-offs through a Bayesian analysis of light field projections” by Anat Levin and al., published in the conference proceedings of ECCV 2008という論文において説明されており、これは、活発に研究されている主題である。
【０００３】
カメラから取得される従来の２次元又は２Ｄ画像との比較において、４Ｄライトフィールドデータの場合には、ユーザーは、画像のレンダリング及びユーザーとの間の対話性を改善する相対的に多くの事後処理特徴に対してアクセスすることができる。例えば、４Ｄライトフィールドデータによれば、焦点面の位置を後から規定／選択しうることを意味する、自由に選択された合焦の距離による画像の再合焦のみならず、画像のシーンにおける視点のわずかな変更をも実行することができる。４Ｄライトフィールドデータを取得するべく、いくつかの技法を使用することができる。例えば、プレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。図１Ａには、プレノプティックカメラのアーキテクチャの詳細が提供されている。図１Ａは、プレノプティックカメラを概略的に表す図である。プレノプティックカメラ１００は、メインレンズ１０１と、２次元アレイとして配置された複数のマイクロレンズ１０３を含むマイクロレンズアレイ１０２と、画像センサ１０４と、を含む。
【０００４】
４Ｄライトフィールドデータを取得するための別の方法は、図１Ｂに描かれているように、カメラアレイを使用するというものである。図１Ｂは、マルチアレイカメラ１１０を表している。マルチアレイカメラ１１０は、レンズアレイ１１２と、画像センサ１１４と、を含む。
【０００５】
図１Ａに示されているプレノプティックカメラ１００の例においては、メインレンズ１０１は、メインレンズ１０１の物体野内の物体（図には示されていない）から光を受け取り、且つ、この光がメインレンズ１０１の像野を通過するようにしている。
【０００６】
最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面において同一のシーンの２Ｄ画像のシーケンスをキャプチャするように構成された従来のカメラを使用するというものである。例えば、“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays” by J.-H. Park et al., published in OPTICS EXPRESS, Vol. 22, No. 21, in October 2014という文献において記述されている技法は、従来のカメラによって４Ｄライトフィールドデータの取得を実現するべく使用することができる。
【０００７】
４Ｄライトフィールドデータを表すためのいくつかの方法が存在している。実際に、“Digital Light Field Photography” by Ren Ng, published in July 2006という名称の博士号論文の第３．３章には、４Ｄライトフィールドデータを表すための３つの異なる方法について記述されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによって記録される際には、マイクロレンズ画像の集合体によって表すことができる。この表現における４Ｄライトフィールドデータは、未加工の画像又は未加工の４Ｄライトフィールドデータと呼称される。第２に、４Ｄライトフィールドデータは、プレノプティックカメラによって又はカメラアレイによって記録される際には、サブアパーチャ画像の組によって表すことができる。サブアパーチャ画像は、視点からのシーンのキャプチャされた画像に対応しており、視点は、２つのサブアパーチャ画像の間においてわずかに異なっている。これらのサブアパーチャ画像は、撮像されたシーンの視差及び深さに関するデータを付与している。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表すことが可能であり、例えば、“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”, by S. Wanner and al., published in the conference proceedings of ISVC 2011という名称の論文を参照されたい。ライトフィールドデータは、大量のストレージ空間を占有する可能性があり、この結果、保存が面倒なものになりうると共に、処理の効率が相対的に低下しうる。これに加えて、ライトフィールド取得装置は、極めて雑多である。ライトフィールドカメラには、例えば、プレノプティック又はカメラアレイなどのように、様々なタイプが存在している。それぞれのタイプには、異なる光学構成や異なる焦点距離のマイクロレンズなどのように、多数の相違点が存在している。それぞれのカメラは、その独自のプロプライエタリなファイルフォーマットを有する。現時点において、ライトフィールドが依存している様々なパラメータのすべてを網羅した通覧用の多次元情報の取得及び送信をサポートする規格は存在していない。従って、様々なカメラにおける取得されたライトフィールドデータは、多様なフォーマットを有する。本発明は、上述の内容に留意して考案されたものである。
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、生成光線と呼称される、光線の集合体をソートするコンピュータ実装された方法が提供され、前記集合体のそれぞれの生成光線は、光学取得システムの物体空間内において、前記光学取得システムの瞳孔を通過する光線の組によって占有された容積の表面と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を前記容積の回転軸を中心として回転することによって生成し、前記光線の組によって占有された容積は、ピクセルビームと呼称され、方法は、
−  少なくとも１つのピクセルビームについて、基準直線と交差する前記ピクセルビームの表面を生成する生成光線を選択することと、
−  前記選択された生成光線を含むソートされた生成光線の集合体を生成することと、
を含む。
【０００９】
本発明の一実施形態によれば、光線の集合体をソートする方法において、生成光線によって生成されたピクセルビームの表面は、一葉双曲面である。
【００１０】
本発明の一実施形態によれば、光線の集合体をソートする方法において、基準直線は、光学取得システムのメインレンズの光軸に対して平行である。
【００１１】
本発明の一実施形態によれば、光線の集合体をソートする方法において、基準直線は、光学取得システムのレンズアレイの中心軸に対して平行である。
【００１２】
本発明の一実施形態によれば、光線の集合体をソートする方法において、生成光線の選択は、
−  生成光線の集合体に属する、前記ピクセルの別の生成光線を定義するベクトルに回転行列を乗算することにより、選択された生成光線を定義するベクトルの座標を演算することと、
−  前記選択された生成光線と前記基準直線が互いに交差していることから、選択された生成光線と基準直線の間の距離がゼロに等しい状態において、前記選択された生成光線及び前記基準直線を定義するポイント及びベクトルに基づいて回転行列の回転角度の値を演算することと、
を有する。
【００１３】
本発明の別の目的は、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成する方法に関し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記方法は、
−  生成光線と呼称される光線の第１集合体及び光線の第２集合体を取得することであって、前記生成光線の集合体のそれぞれの生成光線は、前記ピクセルビームの回転軸を中心として回転することにより、ピクセルビームの表面を生成し、前記ピクセルビームの回転軸は、光線の第１集合体に属する光線である、ことと、
−  複数の所与の基準プレーンとの間における、生成光線及び所与のピクセルビームの回転軸の交差点を定義する交差点データを演算することであって、前記基準プレーンは、互いに平行であり、且つ、物体空間内の異なる深さに対応している、ことと、
−  前記ピクセルビームを表すデータを提供するべく、２Ｄ光線図内における交差点データのグラフィカルな表現を定義する光線図パラメータを取得することと、
を含む。
【００１４】
本発明の一実施形態によれば、ピクセルビームを表すデータを生成する方法において、生成光線及び回転軸に対応する交差点データは、データラインとして光線図内においてグラフィカルに表され、且つ、光線図パラメータは、
−  データラインの勾配と、
−  光線図の軸との間におけるデータラインの交差点と、
のうちの少なくとも１つを表すデータを含む。
【００１５】
本発明の一実施形態によれば、ピクセルビームを表すデータを生成する方法において、ピクセルビームを表すデータは、対応する第２生成光線及び回転軸の色を表す色データを更に含む。
【００１６】
本発明の一実施形態によれば、ピクセルビームを表すデータを生成する方法において、取得された生成光線の集合体は、ピクセルビームを表すデータを生成する方法に従って取得されている。
【００１７】
本発明の別の目的は、生成光線と呼称される、光線の集合体をソートする装置に関し、前記集合体のそれぞれの生成光線は、光学取得システムの物体空間内において、前記光学取得システムの瞳孔を通過した光線の組によって占有された容積の表面と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を前記容積の回転軸を中心として回転することによって生成し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記装置は、
−  少なくとも１つのピクセルビームについて、基準直線と交差する前記ピクセルビームの表面を生成する生成光線を選択し、
−  選択された生成光線を含むソートされた生成光線の集合体を生成する、
ように構成されたプロセッサを含む。
【００１８】
本発明の一実施形態によれば、光線の集合体をソートする装置のプロセッサは、
−  生成光線の集合体に属する、前記ピクセルビームの別の生成光線を定義するベクトルに回転行列を乗算することにより、選択された生成光線を定義するベクトルの座標を演算することと、
−  前記選択された生成光線と前記基準直線が互いに交差していることから、選択された生成光線と基準直線の間の距離がゼロに等しい状態において、前記選択された生成光線及び前記基準直線を定義するポイント及びベクトルに基づいて回転行列の回転角度の値を演算することと、
により、生成光線を選択するように構成されている。
【００１９】
本発明の別の目的は、前記光学取得システムの瞳孔を通過する光線の組によって占有された、光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを生成する装置に関し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、装置は、
−  生成光線と呼称される光線の第１集合体及び光線の第２集合体を取得し、前記生成光線の集合体のそれぞれの生成光線は、前記ピクセルビームの回転軸を中心として回転することにより、ピクセルビームの表面を生成し、前記ピクセルビームの回転軸は、光線の第１集合体に属する光線であり、
−  複数の所与の基準プレーンとの間における、生成光線及び所与のピクセルビームの回転軸の交差点を定義する交差点データを演算し、前記基準プレーンは、互いに平行であり、且つ、物体空間内の異なる深さに対応しており、
−  前記ピクセルビームを表すデータを提供するべく、２Ｄ光線図内における交差点データのグラフィカル表現を定義する光線図パラメータを取得する、
ように構成されたプロセッサを含む。
【００２０】
本発明の一実施形態によれば、ピクセルビームを表すデータを生成する装置のプロセッサにおいて、取得された生成光線の集合体は、請求項１乃至５のいずれか１項に記載の方法に従って取得されている。
【００２１】
本発明の別の目的は、
−  規則的な格子構造において配置されたマイクロレンズのアレイと、
−  マイクロレンズのアレイからフォトセンサ上において投影された光をキャプチャするように構成されたフォトセンサであって、フォトセンサは、ピクセルの組を含み、ピクセルのそれぞれの組は、マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
−  請求項８に従ってメタデータを提供する装置と、
を含むライトフィールド撮像装置である。
【００２２】
本発明の別の目的は、光学取得システムの瞳孔を通過する光線の組によって占有された、前記光学取得システムの物体空間内の、容積と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、を表すデータを含むデジタルファイルに関し、前記光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記データは、
−  生成光線と呼称される第１光線と、第２光線と、の交差点データの、２Ｄ光線図内におけるグラフィカル表現を定義する光線図パラメータであって、前記生成光線は、その他の光線を中心とした回転により、ピクセルビームの表面を生成し、前記その他の光線は、前記ピクセルビームの回転軸であり、交差点データは、複数の所与の基準プレーンとの間における生成光線及びピクセルビームの回転軸の交差点を定義し、前記基準プレーンは、互いに平行であり、且つ、物体空間内の異なる深さに対応している、光線図パラメータと、
−  生成光線及びピクセルビームの回転軸の色を定義する色データと、を含む。本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装することができる。従って、このような要素は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、このような要素は、媒体内において実施されたコンピュータ使用可能プログラムコードを有する表現の任意の有体媒体内において実施されたコンピュータプログラムプロダクトの形態を有することができる。
【００２３】
本発明の要素は、ソフトウェアにおいて実装されうることから、本発明は、任意の適切な担持体媒体上におけるプログラム可能な装置に対する提供のためのコンピュータ可読コードとして実施することができる。有体の担持体媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は半導体メモリ装置、並びに、これらに類似したものなどの、ストレージ媒体を含むことができる。一時的な担持体媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、或いは、例えば、マイクロ波又はＲＦ信号などの電磁信号などの信号を含むことができる。
【００２４】
以下、一例としてのみ、且つ、以下の図面を参照し、本発明の実施形態について説明することとする。
【図面の簡単な説明】
【００２５】
【図１Ａ】プレノプティックカメラを概略的に表す図である。
【図１Ｂ】マルチアレイカメラを表す。
【図２Ａ】本発明の一実施形態によるライトフィールドカメラの機能図である。
【図２Ｂ】本発明の一実施形態によるライトフィールドデータフォーマッタ及びライトフィールドデータプロセッサの機能図である。
【図３】フォトセンサアレイ上において形成された未加工のライトフィールド画像の一例である。
【図４】カメラ又は光学取得システムの光学系の物体空間内の、光線の組によって占有された容積を表す。
【図５】一葉双曲面を表す。
【図６Ａ】本発明の１つ又は複数の実施形態によるピクセルビームの生成光線をソートする装置のモジュールを示す機能ブロックダイアグラムである。
【図６Ｂ】本発明の１つ又は複数の実施形態によるピクセルビームの生成光線をソートする方法のステップを示すフローチャートである。
【図７Ａ】本発明の１つ又は複数の実施形態によるライトフィールドデータのパラメータ化用の基準プレーンの使用法をグラフィカルに示す。
【図７Ｂ】本発明の１つ又は複数の実施形態によるライトフィールドデータのパラメータ化用の基準プレーンの使用法をグラフィカルに示す。
【図８】本発明の実施形態による基準プレーンとの関係におけるライトフィールド光線の表現を概略的に示す。
【図９Ａ】本発明の１つ又は複数の実施形態による方法のステップを示すフローチャートである。
【図９Ｂ】本発明の１つ又は複数の実施形態によるライトデータフォーマットを提供する装置のモジュールを示す機能ブロックダイアグラムである。
【図１０】本発明の実施形態によるライトフィールド光線の表現用のパラメータを概略的に示す。
【図１１】本発明の実施形態による交差点データをグラフィカルに示す２Ｄ光線図である。
【図１２】本発明の実施形態に従って生成されたデジタルラインをグラフィカルに示す。
【図１３】本発明の実施形態に従って生成されたデジタルラインをグラフィカルに示す。
【図１４Ａ】本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。
【図１４Ｂ】本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。
【図１４Ｃ】本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。
【図１５】本発明の実施形態による複数のカメラにおける交差点データをグラフィカルに示す２Ｄ光線図である。
【図１６】ガウスビームの幾何学形状を表す。
【発明を実施するための形態】
【００２６】
当業者に理解されるように、本原理の態様は、システム、方法、又はコンピュータ可読媒体として実施することができる。従って、本原理の態様は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、本原理の態様は、コンピュータ可読ストレージ媒体の形態を有することもできる。１つ又は複数のコンピュータ可読ストレージ媒体の任意の組合せを利用することができる。
【００２７】
本発明の実施形態は、フォーマット変換、再合焦、視点変更、及び３Ｄ画像生成などの更なる処理用途用のライトフィールドデータのフォーマッティングを提供している。
【００２８】
図２Ａは、本発明の一実施形態によるライトフィールドカメラ装置のブロックダイアグラムである。ライトフィールドカメラは、図１Ａのライトフィールドカメラに従って、アパーチャ／シャッタ２０２と、メイン（対物）レンズ２０１と、マイクロレンズアレイ２１０と、フォトセンサアレイ２２０と、を含む。いくつかの実施形態においては、ライトフィールドカメラは、主題又はシーンのライトフィールド画像をキャプチャするべく起動されるシャッタリリースを含む。これらの機能的な特徴は、図１Ｂのライトフィールドカメラにも適用されうることを理解されたい。
【００２９】
フォトセンサアレイ２２０は、ライトフィールドデータフォーマッティングモジュール２５０によるライトフィールドデータフォーマットの生成のために、且つ／又は、ライトフィールドデータプロセッサ２５５による処理のために、ＬＦデータ取得モジュール２４０によって取得されたライトフィールド画像データを提供している。ライトフィールドデータは、取得の後に、且つ、処理の後に、メモリ２９０内において、本発明の実施形態に従って、未加工データフォーマットにおいて、サブアパーチャ画像又は焦点スタックとして、或いは、ライトフィールドデータフォーマットにおいて、保存することができる。
【００３０】
図示の例においては、ライトフィールドデータフォーマッティングモジュール１５０及びライトフィールドプロセッサ２５５は、ライトフィールドカメラ２００内において配設されているか又はこの内部に統合されている。本発明のその他の実施形態においては、ライトフィールドデータフォーマッティングモジュール２５０及び／又はライトフィールドデータプロセッサ２５５は、ライトフィールドキャプチャカメラの外部の別個のコンポーネント内において提供することができる。別個のコンポーネントは、ライトフィールド画像キャプチャ装置との関係において、ローカル状態又はリモート状態にあってもよい。ライトフィールド画像データをフォーマッティングモジュール２５０又はライトフィールドデータプロセッサ２５５に送信するべく、任意の適切な有線又は無線プロトコルが使用されてもよく、例えば、ライトフィールドデータプロセッサは、インターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、ＢｌｕｅＴｏｏｔｈ（登録商標）通信プロトコル、及び／又は任意のその他の適切な手段を介して、キャプチャされたライトフィールド画像データ及び／又はその他のデータを転送することができることを理解されたい。
【００３１】
ライトフィールドフォーマッティングモジュール２５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成されている。ライトフィールドデータフォーマッティングモジュール２５０は、ソフトウェア、ハードウェア、又はこれらの組合せにおいて実装することができる。
【００３２】
ライトフィールドデータプロセッサ２５５は、本発明の実施形態に従って、例えば、焦点スタック又は視野の行列を生成するべく、ＬＦデータ取得モジュール２４０から直接的に受け取った未加工のライトフィールド画像データに対して動作するように構成されている。例えば、キャプチャされたシーンのスチール画像、２Ｄビデオストリーム、及びこれらに類似したものなどの出力データを生成することができる。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェア、又はこれらの組合せにおいて実装することができる。
【００３３】
また、少なくとも１つの実施形態においては、ライトフィールドカメラ２００は、コントローラ２７０によってカメラ１００の動作を制御するべくユーザーがユーザー入力を提供できるようにするためのユーザーインターフェイス２６０を含むこともできる。カメラの制御は、シャッタ速度などのカメラの光学パラメータの制御、或いは、調節可能なライトフィールドカメラのケースにおいては、マイクロレンズアレイとフォトセンサの間の相対距離又は対物レンズとマイクロレンズアレイの間の相対距離の制御のうちの１つ又は複数を含むことができる。いくつかの実施形態においては、ライトフィールドカメラの光学要素の間における相対距離は、相互に調節することができる。また、カメラの制御は、カメラのその他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマッティングパラメータ、又はライトフィールド処理パラメータの制御を含むこともできる。ユーザーインターフェイス２６０は、タッチスクリーン、ボタン、キーボード、ポインティング装置、及び／又はこれらに類似したものなどの、１つ又は複数の任意の適切なユーザー入力装置を含むことができる。この結果、ユーザーインターフェイスによって受け取られた入力は、データフォーマッティングを制御するためにＬＦデータフォーマッティングモジュール２５０を制御及び／又は構成するべく、取得されたライトフィールドデータの処理を制御するためにＬＦデータプロセッサ２５５を制御及び／又は構成するべく、且つ、ライトフィールドカメラ２００を制御するためにコントローラ２７０を制御及び／又は構成するべく、使用することができる。
【００３４】
ライトフィールドカメラは、１つ又は複数の置換可能な又は充電可能な電池などの電源２８０を含む。ライトフィールドカメラは、キャプチャされたライトフィールドデータ及び／又はレンダリングされた最終画像、或いは、本発明の実施形態の方法を実装するためのソフトウェアなどのその他のデータを保存するべく、メモリ２９０を含む。メモリは、外部及び／又は内部メモリを含むことができる。少なくとも１つの実施形態においては、メモリは、カメラ２００とは別個の装置及び／又は場所において提供することができる。一実施形態においては、メモリは、メモリスティックなどの着脱自在／スワップ可能なストレージ装置を含む。
【００３５】
また、ライトフィールドカメラは、キャプチャする前に、カメラの正面のシーンを観察するための、且つ／又は、予めキャプチャ及び／又はレンダリングされた画像を観察するための、表示ユニット２６５（例えば、ＬＣＤ画面）を含むこともできる。また、画面２６５は、１つ又は複数のメニュー又はその他の情報をユーザーに対して表示するべく、使用することもできる。ライトフィールドカメラは、ＦｉｒｅＷｉｒｅ又はユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）インターフェイスなどの１つ又は複数のＩ／Ｏインターフェイス２９５、或いは、インターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、ＢｌｕｅＴｏｏｔｈ（登録商標）通信プロトコル、及び／又は任意のその他の適切な手段を介したデータ通信用の有線又は無線通信インターフェイスを更に含むこともできる。Ｉ／Ｏインターフェイス２９５は、レンダリング用途において、コンピュータシステム又は表示ユニットなどの外部装置との間における、本発明の実施形態に従ってＬＦデータフォーマッティングモジュールによって生成されたライトフィールドを表すデータ及び未加工のライトフィールドデータなどのライトフィールドデータ、或いは、ＬＦデータプロセッサ２５５によって処理されたデータなどのデータの転送のために使用することができる。
【００３６】
図２Ｂは、ライトフィールドデータフォーマッティングモジュール２５０及びライトフィールドデータプロセッサ２５３の潜在的な実装形態の特定の一実施形態を示すブロックダイアグラムである。
【００３７】
回路２０００は、メモリ２０９０と、メモリコントローラ２０４５と、１つ又は複数の処理ユニット（１つ又は複数のＣＰＵ）を含む処理回路２０４０と、を含む。１つ又は複数の処理ユニット２０４０は、ライトフィールドデータのフォーマッティング及びライトフィールドデータの処理を含む様々な機能を実行するべく、メモリ２０９０内において保存されている様々なソフトウェアプログラム及び／又は命令の組を実行するように構成されている。メモリ内において保存されているソフトウェアコンポーネントは、本発明の実施形態に従って取得されたライトデータを表すデータを生成するデータフォーマッティングモジュール（又は、命令の組）２０５０と、本発明の実施形態に従ってライトフィールドデータを処理するライトフィールドデータ処理モジュール（又は、命令の組）２０５５と、を含む。一般的なシステムタスク（例えば、電源管理やメモリ管理）を制御するための、且つ、装置２０００の様々なハードウェア及びソフトウェアコンポーネントの間の通信を促進するための、オペレーティングシステムモジュール２０５１、並びに、Ｉ／Ｏインターフェイスポートを介したその他の装置との間の通信を制御及び管理するためのインターフェイスモジュール２０５２、などの、ライトフィールドカメラ装置の用途のために、その他のモジュールがメモリ内において含まれていてもよい。
【００３８】
図３は、図１Ａのフォトセンサアレイ１０４又は図１Ｂのフォトセンサアレイ１１４上において形成された２Ｄ画像の一例を示している。しばしば、４Ｄライトフィールドを表す未加工画像と呼称される、２Ｄ画像は、マイクロ画像ＭＩのアレイから構成されており、それぞれのマイクロ画像は、マイクロレンズアレイ１０２、１１２の個々のマイクロレンズ（ｉ，ｊ）によって生成されている。マイクロ画像は、軸ｉ及びｊによって定義された矩形の格子構造において、アレイとして配列されている。マイクロレンズ画像は、個々のマイクロレンズ座標（ｉ，ｊ）によって参照することができる。フォトセンサ１０４、１１４のピクセルＰＩは、その空間座標（ｘ，ｙ）によって参照することができる。所与のピクセルと関連付けられた４Ｄライトフィールドデータは、（ｘ，ｙ，ｉ，ｊ）として参照することができる。
【００３９】
４Ｄライトフィールド画像を表す（又は、定義する）方法には、いくつかのものが存在している。例えば、４Ｄライトフィールド画像は、図３を参照して上述したように、マイクロレンズ画像の集合体によって表現することができる。また、４Ｄライトフィールド画像は、プレノプティックカメラによって記録される際には、サブアパーチャ画像の組によって表すこともできる。それぞれのサブアパーチャ画像は、それぞれのマイクロレンズ画像から選択された同一場所のピクセルから構成されている。更には、４Ｄライトフィールド画像は、エピポーラ画像の組によって表すこともできるが、これは、ピクセルビームのケースには該当しない。
【００４０】
本発明の実施形態は、ピクセルビームの概念に基づいてライトフィールドデータの表現を提供している。その結果、フォーマット及びライトフィールド装置における多様性を考慮することができる。実際に、光線に基づいたフォーマットの１つの欠点は、ピクセルフォーマット及びサイズを反映するように、パラメータ化プレーンをサンプリングしなければならないという点にある。従って、物理的に有意な情報を回復するべく、サンプリングをその他データに沿って定義する必要がある。
【００４１】
図４に示されているように、ピクセルビーム４０は、カメラの光学系４１の物体空間内の光線の組によって占有された容積を表している。光線の組は、前記光学系４１の瞳孔４４を通じて、カメラのセンサ４３のピクセル４２によって検知されている。光線とは逆に、ピクセルビーム４０は、自由にサンプリングされてもよく、その理由は、これらが、それ自体において、物理的な光線のセクションに跨るエネルギーの保存に対応する「etendue」を伝達しているからである。
【００４２】
光学系の瞳孔は、前記光学系の一部、即ち、開口絞りに先行するカメラのレンズ、を通じて観察される前記開口絞りの像として定義される。開口絞りは、カメラの光学系を通過する光の量を制限する開口である。例えば、カメラレンズ内に配置された調節可能なダイアフラムが、レンズ用の開口絞りである。ダイアフラムを通過することが認められる光の量は、カメラのユーザーが認めることを所望する光の量、またはフィールドの深さに応じて適合されうるダイアフラム開口の直径によって制御されている。例えば、開口を小さくすれば、ダイアフラムを通過することが認められる光の量が低減され、しかし、フィールドの深さが増大する。絞りの見かけのサイズは、レンズの屈折動作に起因して、その物理的なサイズを上回ってもよく、或いは、下回ってもよい。形式的には、瞳孔は、カメラの光学システムを通じた開口絞りの像である。
【００４３】
ピクセルビーム４０は、入射瞳孔４４を介して光学系４１を通じて伝播する際に所与のピクセル４２に到達する光線の光束として定義される。光が自由空間内において直線上を進行するのに伴って、このようなピクセルビーム４０の形状は、ピクセル４２の共役４５である１つのものと、入射瞳孔４４であるもう１つのものという、２つのセクションによって定義することができる。ピクセル４２は、その非ヌル表面及びその感度マップによって定義される。
【００４４】
従って、ピクセルビームは、カメラの物体空間内の瞳孔５４及びピクセル４２の共役５５という、２つの要素によってサポートされた、図５に示されている、一葉双曲面５０によって表すことができる。
【００４５】
一葉双曲面は、光線の光束の概念をサポートしうる線織面であり、且つ、物理的な光ビームの「etendue」の概念との適合性を有する。
【００４６】
一葉双曲面は、ガウスビームの形状に対応している。実際に、光学においては、ガウスビームは、その横磁界及び電界振幅プロファイルがガウス関数によって付与されるモノクローム電磁放射ビームであり、これは、また、ガウス強度プロファイルをも意味している。この基本横ガウスモードは、大部分のレーザーの意図された出力を表しており、その理由は、このような光のビームは、最も集中したスポット内に合焦することができるからである。
【００４７】
以下の式は、ｚのすべての値において円形断面を有するビームを仮定しており、これは、単一の横断方向寸法ｒが出現することに留意することにより、理解することができる。
【００４８】
（焦点から計測された）ビームに沿った位置ｚにおいて、スポットサイズパラメータは、次式によって付与され、
【００４９】
【数１】
2018538709.tif 000003
【００５０】
ここで、ｗ０は、ウエストサイズである。
【００５１】
図１６において表されているように、ｚＲに等しいウエストからの距離において、ビームの幅ｗは、
【００５２】
【数２】
2018538709.tif 000004
【００５３】
に等しい。
【００５４】
ガウス関数の尾部は、実際には、決してゼロに到達しないが。これは、ウエストから遠く離れたところにおいては、ビーム「エッジ」がコーン形状であることを意味している。（そのｒ＝ｗ（ｚ）である）そのコーンに沿ったラインとビーム（ｒ＝０）の中心軸の間の角度は、ビームの発散と呼称される。
【００５５】
その結果、ウエストから遠く離れたビームの合計角発散は、Θ＝２θによって付与される。
【００５６】
一葉双曲面は、線織面であることから、双曲面の、主光線と呼称される、回転軸を中心として回転する、生成光線と呼称される、直線の１つのファミリーが、このような表面を表現している。その表面を表現している双曲面の主光線及び生成光線は、互いに平行ではなく、且つ、これらは、決して互いに切片することがない。双曲面の生成ラインのファミリーに属する主光線及び任意の生成光線を定義するパラメータの知識は、ピクセルビーム４０、５０を定義するのに十分なものである。
【００５７】
ピクセルビーム４０、５０を表す一葉双曲面の一般的な式は、次式のとおりであり、
【００５８】
【数３】
2018538709.tif 000005
【００５９】
ここで、（ｘ０，ｙ０，ｚ０）は、瞳孔の中心上においてセンタリングされた（ｘ，ｙ，ｚ）座標系内のピクセルビームのウエストの中心の座標であり、ａ、ｂ、ｃは、それぞれ、Ｏｘ、Ｏｙ、Ｏｚに沿った半軸の長さに一致しており、ここで、ａは、Ｏｘに沿ったウエストの半径を表し、ｂは、Ｏｙに沿ったウエストの半径を表し、且つ、ｃは、ピクセルビームの開口角を定義し、且つ、θｘ、θｙは、瞳孔４４の中心の入口との関係における主光線方向を定義している。これらは、センサ４３上のピクセル４２位置と、光学系４１の光学要素とに、に依存している。更に正確には、パラメータθｘ、θｙは、瞳孔４４の中心からのピクセル４２の共役４５の方向を定義するせん断角度を表している。本発明のいくつかの実施形態においては、ａ及びｂは、同一の値であり、これらのケースにおいては、ウエストは、円形の形状を有する。
【００６０】
パラメータｃは、ピクセルビーム４０、５０の開口角αを定義しており、且つ、式
【００６１】
【数４】
2018538709.tif 000006
【００６２】
によって付与されるか、或いは、次式によって付与される式によって付与され、
【００６３】
【数５】
2018538709.tif 000007
【００６４】
ここで、ｒは、瞳孔半径を表し、且つ、ｚＰは、瞳孔の正面のピクセルビームのウエストの位置を表している。
【００６５】
但し、このようなピクセルビーム４０、５０の表現は、大量のストレージ空間を占有することになり、その理由は、光線を保存するための従来のファイルフォーマットが、３Ｄ空間内の位置及び方向を保存することを有しているからである。ピクセルビームの表現を保存するべく必要とされるストレージ空間の量を低減するための解決策については、図９Ｂを参照して後述する。
【００６６】
本質的に、主光線は、滑らかにカメラのマイクロレンズアレイのマイクロレンズの中心を通過するように振る舞うことになる一方において、生成光線は、マイクロレンズの境界上において相対的に強力な逸脱を経験する。従って、生成光線は、相対的に大きな開口角においてカメラのメインレンズに入射する傾向を有する。従って、歪などの収差が生成光線を妨げることになる一方において、主光線は、このような収差の影響を受けることが相対的に少ない。この生成光線の妨害により、図９Ｂを参照して説明されている方法を実行することが困難になり、その理由は、前記方法が、光線の順序付けられた集合体と共に稼働しているからである。これを目的として、本発明の発明者らは、このような生成光線のソートされた集合体を図６Ｂによる方法に対して供給するべく、カメラのピクセルビームの集合体の生成光線をソートする方法を提案している。
【００６７】
図６Ａは、本発明の１つ又は複数の実施形態によるカメラのピクセルビームの集合体の生成光線をソートする装置の主要なモジュールを概略的に示すブロックダイアグラムである。本発明の一実施形態においては、このような装置は、ライトフィールドデータフォーマッティングモジュール２５０内において組み込むことができる。
【００６８】
装置６００は、バス６０６によって接続されたプロセッサ６０１、ストレージユニット６０２、入力装置６０３、表示装置６０４、及びインターフェイスユニット６０５を含む。当然のことながら、コンピュータ装置６００の構成要素は、バス接続以外の接続によって接続することもできる。
【００６９】
プロセッサ６０１は、装置６００の動作を制御している。ストレージユニット６０２は、プロセッサ６０１によって実行される、カメラのピクセルビームの集合体の生成光線をソートできる少なくとも１つのプログラムと、光学取得システムの光学系２１に関係するパラメータ、プロセッサ６０１によって実行される演算によって使用されるパラメータ、プロセッサ６０１によって実行される演算の中間データなどを含む、様々なデータと、を保存している。プロセッサ６０１は、任意の既知の、且つ、適切な、ハードウェア、又はソフトウェア、或いは、ハードウェア及びソフトウェアの組合せによって形成することができる。例えば、プロセッサ６０１は、処理回路などの専用のハードウェアにより、或いは、そのメモリ内において保存されたプログラムを実行するＣＰＵ（Central Processing Unit）などのプログラム可能な処理ユニットにより、形成することができる。
【００７０】
ストレージユニット６０２は、任意の適切なストレージにより、或いは、プログラム、データ、又はこれらに類似したものをコンピュータ可読方式によって保存する能力を有する手段により、形成することができる。ストレージユニット６０２の例は、半導体メモリ装置などの一時的ではないコンピュータ可読ストレージ媒体と、読み取り及び書き込みユニット内に装填される磁気的、光学的、又は磁気光学的記録媒体と、を含む。プログラムは、プロセッサ６０１が、光学系の物体空間内の、光線の組によって占有された容積を表すパラメータを演算すると共に、図９Ｂを参照して後述する本開示の一実施形態に従って光学取得システムによってキャプチャされた画像によってこれらのパラメータをエンコードするためのプロセスを実行するようにしている。
【００７１】
入力装置６０３は、光学系の物体空間内の、光線の組によって占有された容積のパラメトリック表現を生成するために使用されるパラメータのユーザーの選択を実施するためのコマンドを入力するべく、ユーザーによって使用される、キーボード、マウスなどのポインティング装置、或いは、これらに類似したものによって形成することができる。出力装置６０４は、例えば、本開示の一実施形態に従って生成される画像である、グラフィカルユーザーインターフェイス（ＧＵＩ：Graphical User Interface）を表示するべく、表示装置によって形成することができる。入力装置６０３及び出力装置６０４は、例えば、タッチスクリーンパネルにより、一体的に形成されてもよい。
【００７２】
インターフェイスユニット６０５は、装置６００と外部装置の間のインターフェイスを提供している。インターフェイスユニット６０５は、ケーブル又は無線通信を介して外部装置と通信自在であってもよい。一実施形態においては、外部装置は、カメラ、またはそのようなカメラを内蔵したモバイル電話のようなポータブル機器、またはタブレットであってもよい。
【００７３】
図６Ｂは、本発明の１つ又は複数の実施形態によるカメラのピクセルビームの集合体の生成光線をソートする方法のステップを示すフローチャートである。
【００７４】
予備ステップＳ６０１において、カメラを較正することにより、或いは、リモートサーバー内において、又はカメラのメモリ２９０又はカメラに接続されたフラッシュディスクなどのローカルストレージ上において、保存されたデータファイルから、このようなパラメータを取得することにより、カメラのセンサのピクセルに関連付けられた異なるピクセルビームを定義するパラメータ（ｘ０，ｙ０，ｚ０）、ａ，ｂ，ｃ、及びθｘ，θｙが取得されている。この取得又は較正は、装置６００のプロセッサ６０１によって実行することができる。
【００７５】
パラメータ（ｘ０，ｙ０，ｚ０）、ａ，ｂ，ｃ、及びθｘ，θｙの値の演算は、例えば、カメラの光学系を通じた光線の伝播をモデル化する能力を有するプログラムを実行することにより、実現される。このようなプログラムは、例えば、Ｚｅｍａｘ（著作権）、ＡＳＡＰ（著作権）、又はＣｏｄｅＶ（著作権）などの光学設計プログラムである。光学設計プログラムは、光学系を設計及び分析するべく使用される。光学設計プログラムは、光学系を通じた光線の伝播をモデル化し、且つ、単純なレンズ、非球面レンズ、屈折率分布型レンズ、ミラー、及び回折光学要素などのような光学要素の効果をモデル化することができる。光学設計プログラムは、装置６００のプロセッサ６０１によって実行することができる。
【００７６】
プロセッサ６０１によって実行されるステップＳ６０２において、ピクセルビームの主光線のせん断が除去されている。主光線のせん断の除去は、次式の記述を有し、
【００７７】
【数６】
2018538709.tif 000008
【００７８】
これは、以下のように、その主光線がＯｚ軸に平行である一葉双曲面を付与し、
【００７９】
【数７】
2018538709.tif 000009
【００８０】
ここで
【００８１】
【数８】
2018538709.tif 000010
【００８２】
は、双曲面の表面に属するポイントの座標であり、且つ、（ｘ０，ｙ０，ｚ０）は、検討対象のピクセルビームのウエストの中心の座標である。
【００８３】
ステップＳ６０３において、プロセッサ６０１は、座標（ｘ０，ｙ０，ｚ０）のポイント上の双曲面のセンタリングを演算し、且つ、次いで、双曲面の正規化を演算しており、その結果、次式が得られる。
【００８４】
【数９】
2018538709.tif 000011
【００８５】
この結果、式（１）は、次式として読み替えられる。
Ｘ２＋Ｙ２−Ｚ２＝１      （４）
【００８６】
ピクセルビームのせん断除去と、その後のセンタリング及び正規化は、（ｘ，ｙ，ｚ）座標を（Ｘ，Ｙ，Ｚ）座標に変換する関数
【００８７】
【数１０】
2018538709.tif 000012
【００８８】
の使用に戻る。
【００８９】
双曲面の中心軸は、Ｏｚ軸であることから、この軸に属する２つのポイントは、（ＸＹＺ）座標系において、座標（０，０，０）及び（０，０，１）という組を有する。オリジナルの座標系（ｘ，ｙ，ｚ）において変換して戻された、双曲面のこの中心軸は、ピクセルビームの主光線ρＣである。
【００９０】
式（４）によって定義された双曲面は、
・生成光線の第１のファミリーは、例えば、ζ＝１などの、任意の
【００９１】
【数１１】
2018538709.tif 000013
【００９２】
について、座標の第１ポイント（１，０，０）及び座標の第２ポイント（１，ζ，ζ）を結合する直線のＯＺ軸を中心とした回転によって付与され、且つ、
・生成光線の第２ファミリーは、任意の
【００９３】
【数１２】
2018538709.tif 000014
【００９４】
について、座標のポイント（１，０，０）及び座標の第３ポイント（１，−ζ，ζ）を結合する直線のＯＺ軸を中心とした回転によって付与される、
という生成光線の２つのファミリーを有する。
【００９５】
オリジナルの座標系において変換して戻された、これらの生成光線のうちの任意のものをピクセルビームの生成光線であるρＧ０として選択することができる。
【００９６】
本発明の一実施形態による方法の以下の説明においては、（ＸＹＺ）座標系において、その座標が（１，０，０）であるＧ０と、その座標が（１，１，１）であるＩ０と、という２つのポイントが、（ＸＹＺ）座標系における初期生成光線ρＧ０を定義している。
【００９７】
ステップＳ６０４において、プロセッサ６０１は、先程定義された関数Ｔをカメラの物体空間内の基準直線Δに対して適用している。本発明の一実施形態においては、基準直線Δは、カメラのメインレンズの光軸である。本発明の別の実施形態においては、基準直線Δは、カメラのレンズアレイの中心軸であり、第３実施形態においては、基準直線Δは、カメラのメインレンズの光軸との間において
【００９８】
【数１３】
2018538709.tif 000015
【００９９】
以下の角度を形成する方向を有するラインである。
【０１００】
基準直線Δは、（ｘ，ｙ，ｚ）座標系における座標の２つのポイントＰΔ０（ｘΔ０，ｙΔ０，ｚΔ０）及びＰΔ１（ｘΔ１，ｙΔ１，ｚΔ１）によって定義されている。
【０１０１】
関数ＴをＰΔ０及びＰΔ１の座標に適用することにより、（ＸＹＺ）座標系において、次式が得られる。
【０１０２】
【数１４】
2018538709.tif 000016
【０１０３】
ピクセルビームの主光線ρＣは、（ＸＹＺ）座標系におけるＯｚ軸であることから、主光線ρＣを中心とした角度φの回転は、次式の回転行列によって付与される。
【０１０４】
【数１５】
2018538709.tif 000017
【０１０５】
ρＧφ（Ｇφ，Ｉφ）を、主光線ρＣを中心とした角度φの回転による生成光線ρＧ０（Ｇ０，Ｉ０）の画像と命名することにより、ポイントの座標Ｇφ及びＩφは、次式によって付与される。
【０１０６】
【数１６】
2018538709.tif 000018
【０１０７】
ステップＳ６０５において、プロセッサ６０１は、回転角度φの値を演算している。
【０１０８】
回転角度φの値は、生成光線ρＧφが基準直線Δと交差した際に、即ち、基準直線Δと生成光線ρＧφの間の距離が０に等しい際に、得られる。
【０１０９】
次式を有する２つの傾斜ラインの間の距離は、（Gellert et al. 1989, p. 538）により、付与される。
【０１１０】
【数１７】
2018538709.tif 000019
【０１１１】
【数１８】
2018538709.tif 000020
【０１１２】
これは、
【０１１３】
【数１９】
2018538709.tif 000021
【０１１４】
を定義することにより、以下のように、簡潔な形態において記述することができる。
【０１１５】
【数２０】
2018538709.tif 000022
【０１１６】
現時点のケースにおいては、
【０１１７】
【数２１】
2018538709.tif 000023
【０１１８】
の場合に、ｘ１＝ＰΔ０であり、且つ、ｘ２＝ＰΔ１であり、且つ、ｘ３＝Ｇφであり、且つ、ｘ４＝Ｉφである。
【０１１９】
２つの直線の間の距離がゼロに等しい場合には、次式の演算に戻る。
【０１２０】
【数２２】
2018538709.tif 000024
【０１２１】
基準直線Δ及び生成光線ρＧφのケースにおいては、次式のとおりである。
【０１２２】
【数２３】
2018538709.tif 000025
【０１２３】
Ａ、Ｂ、及びＣが、次式のとおりである場合に、Ｄ＝Ａ．ｃｏｓφ＋Ｂ．ｓｉｎφ−Ｃと記述される。
【０１２４】
【数２４】
2018538709.tif 000026
【０１２５】
次式により、Ｄ＝０を付与するφにおける２つの解を見出すことができる。
【０１２６】
【数２５】
2018538709.tif 000027
【０１２７】
弁別式：Λ＝４．Ａ２．Ｂ２−４．（Ｂ２−Ｃ２）．（Ａ２−Ｃ２）＝４．（Ａ２＋Ｂ２−Ｃ２）．Ｃ２
【０１２８】
これは、次式のような２つの解をもたらす。
【０１２９】
【数２６】
2018538709.tif 000028
【０１３０】
従って、２つの角度φ＋及びφ−が、基準直線Δと交差するものとして、生成光線ρＧφについて識別される。
【０１３１】
同一の双曲面について生成光線の２つのファミリーが存在していることから、ピクセルビームを生成する４つの異なる光線が、生成光線の２つのファミリーのそれぞれごとに２つずつ、基準直線Δと交差している。１つの生成光線が、基準直線と交差している４つの生成光線のうちから選択される。次いで、選択された生成光線は、ステップＳ６０６において、オリジナルの座標系において変換して戻される。
【０１３２】
この方法は、カメラの異なるピクセルビームに対して実行される。従って、光線の２つの集合体が取得され、光線の第１の集合体は、カメラのピクセルビームの主光線を含み、且つ、光線の第２の集合体は、基準直線と交差する生成光線をカメラの異なるピクセルビームについて含む。これらの光線の２つの集合体は、ピクセルビームを表すコンパクトなフォーマットを提供するべく、後述する方法において使用されている。
【０１３３】
相対的に小さなストレージ空間を必要としている、光線を保存するファイルフォーマットを提案するべく、図７Ａに示されているキューブを参照し、ライトフィールド放射輝度の４つの次元をパラメータ化する方法について説明することができる。ライトフィールドをパラメータ化するべく、キューブのすべての６つの面を使用することができる。方向をパラメータ化するべく、キューブの面に対して平行であるプレーンの第２の組を追加することができる。その結果、次式のように、軸方向に沿って法線を有するプレーンの６つのペアとの関係において、ライトフィールドを定義することができる。
【０１３４】
【数２７】
2018538709.tif 000029
【０１３５】
図７Ｂは、それぞれ、互いに平行に位置決めされると共に既知の深さｚ１及びｚ２において配置された、パラメータ化に使用される２つの基準プレーンＰ１及びＰ２を通過する、ピクセルビームを定義する主光線又は生成光線などの、ライトフィールド光線を示している。ライトフィールド光線は、深さｚ１において、交差点（ｘ１，ｙ１）において第１基準プレーンＰ１と交差し、且つ、深さｚ２において、交差点（ｘ２，ｙ２）において第２基準プレーンＰ２と交差している。その結果、ライトフィールド光線は、４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって識別することができる。従って、ライトフィールドは、それぞれのライトフィールド光線が、４Ｄ光線空間において、ポイント（ｘ１，ｙ１，ｘ２，ｘ２，）∈Ｒ４として表される状態において、本明細書においてパラメータ化プレーンとも呼称されている、パラメータ化Ｐ１、Ｐ２用の基準プレーンのペアにより、パラメータ化することができる。従って、これは、それぞれの主光線ごとに、且つ、カメラのピクセルビームの集合体のそれぞれの生成光線ごとに、実行される。
【０１３６】
例えば、基準座標系の原点は、座標軸系の基本ベクトル
【０１３７】
【数２８】
2018538709.tif 000030
【０１３８】
によって生成されるプレーンＰ１の中心において配置することができる。
【０１３９】
【数２９】
2018538709.tif 000031
【０１４０】
軸は、生成されたプレーンＰ１に対して垂直であり、且つ、わかりやすさを目的として、第２プレーンＰ２は、
【０１４１】
【数３０】
2018538709.tif 000032
【０１４２】
軸に沿ったプレーンＰ１からの距離ｚ＝Δにおいて配置することができる。６つの異なる伝播の方向を考慮するべく、このようなプレーンの６つのペアにより、ライトフィールド全体を特徴付けることができる。しばしばライトスラブと呼称される、プレーンのペアが、伝播の方向に沿ってライトフィールドカメラのセンサ又はセンサアレイとやり取りしているライトフィールドを特徴付けている。
【０１４３】
パラメータ化用の基準プレーンの位置は、次式として付与することが可能であり、
【０１４４】
【数３１】
2018538709.tif 000033
【０１４５】
ここで、
【０１４６】
【数３２】
2018538709.tif 000034
【０１４７】
は、法線であり、且つ、ｄは、法線の方向に沿った３Ｄ座標系の原点からのオフセットである。
【０１４８】
パラメータ化用の基準プレーンのデカルト式は、次式として付与することができる。
【０１４９】
【数３３】
2018538709.tif 000035
【０１５０】
ライトフィールド光線が、
【０１５１】
【数３４】
2018538709.tif 000036
【０１５２】
という既知の位置と、
【０１５３】
【数３５】
2018538709.tif 000037
【０１５４】
という正規化された伝播ベクトルと、を有する場合には、３Ｄにおける光線の一般的なパラメトリック方程式は、次式として付与することができる。
【０１５５】
【数３６】
2018538709.tif 000038
【０１５６】
ライトフィールド光線と基準プレーンの間の交差点である
【０１５７】
【数３７】
2018538709.tif 000039
【０１５８】
の座標は、次式として付与される。
【０１５９】
【数３８】
2018538709.tif 000040
【０１６０】
以下の条件が充足されない場合には、ライトフィールド光線と基準パラメータ化の間に交差点は存在していない。
【０１６１】
【数３９】
2018538709.tif 000041
【０１６２】
ライトフィールドをパラメータ化するべく使用される基準プレーンのペアのシステムの軸のうちの１つに伴う垂直性に起因して、光線交差点の成分の１つは、それぞれのプレーンごとに、常に一定である。従って、第１基準プレーンとの間におけるライトフィールド光線の交差点
【０１６３】
【数４０】
2018538709.tif 000042
【０１６４】
と、第２基準プレーンとの間における前記ライトフィールドの交差点
【０１６５】
【数４１】
2018538709.tif 000043
【０１６６】
と、が存在している場合には、４つの座標は、変化し、且つ、ライトフィールド光線の４つのパラメータを算出するべく、式Ａを使用することができる。これら４つのパラメータは、ライトフィールドの４Ｄ光線図を構築するべく、使用することができる。
【０１６７】
２つのパラメータ化基準プレーンを参照したライトフィールドのパラメータを仮定することにより、ライトフィールドを表すデータを以下のように取得することができる。基準システムが、図８に描かれているように設定されている場合には、第１パラメータ化プレーンＰ１は、ｚ＝ｚ１においてｚ軸に対して垂直であり、第２パラメータ化プレーンＰ２は、ｚ＝ｚ２においてｚ軸に対して垂直に配置されており、且つ、そのライトフィールドパラメータがＬ（ｘ１；ｙ１；ｘ２；ｙ２）である光線は、ライトフィールドカメラのフォトセンサアレイが位置決めされる場所ｚ＝ｚ３においてレンダリングする必要がある。式（Ａ）から、次式のとおりである。
【０１６８】
【数４２】
2018538709.tif 000044
【０１６９】
上述の式を展開することにより、次式が得られる。
【０１７０】
【数４３】
2018538709.tif 000045
【０１７１】
式の両方の組は、新しい場所におけるレンダリングされたライトフィールド光線として、同一のポイント
【０１７２】
【数４４】
2018538709.tif 000046
【０１７３】
を供給することになろう。ｕｘ，ｕｙ，ｕｚを
【０１７４】
【数４５】
2018538709.tif 000047
【０１７５】
の関数としてのそれぞれの対応する式によって置換することにより、以前のブロックからの式の第２の組が使用され、且つ、ｘ３及びｙ３が１つに加算される場合には、次式のとおりである。
【０１７６】
【数４６】
2018538709.tif 000048
【０１７７】
これは、以下の式をもたらす。
【０１７８】
【数４７】
2018538709.tif 000049
【０１７９】
添え字３を有する座標は、ライトフィールドがレンダリングされる既知のポイント（ｘ３，ｙ３，ｚ３）に関係している。すべての深さ座標ｚｉは、既知である。パラメータ化プレーンは、伝播又はレンダリングの方向において位置している。ライトフィールドデータパラメータＬは、（ｘ１，ｙ１，ｘ２，ｙ２）である。
【０１８０】
ポイント（ｘ３，ｙ３，ｚ３）において画像を形成するライトフィールド光線は、
【０１８１】
【数４８】
2018538709.tif 000050
【０１８２】
においてハイパープレーンを定義する式（Ｂ）によってリンクされている。
【０１８３】
これは、画像が２プレーンパラメータ化ライトフィールドからレンダリングされる場合には、ハイパープレーンの近傍内の光線のみをレンダリングする必要があり、それらを追跡する必要はないことを意味している。図９Ａは、本発明の１つ又は複数の実施形態によるライトフィールドを表すデータを生成する方法のステップを示すフローチャートである。図９Ｂは、本発明の１つ又は複数の実施形態によるライトフィールドを表すデータを生成するシステムの主要なモジュールを概略的に示すブロックダイアグラムである。
【０１８４】
方法の予備的ステップＳ８０１において、カメラのセンサのピクセルに関連付けられた異なるピクセルビームの主光線及び生成光線を定義するパラメータが取得されている。これらのパラメータは、上述の生成光線をソートする方法の結果として取得されている。
【０１８５】
このようなパラメータは、異なるピクセルの基準直線と交差する主光線及び生成光線の座標である。
【０１８６】
別の予備的ステップＳ８０２において、未加工のライトフィールドデータが、ライトフィールドカメラ８０１により、取得されている。未加工のライトフィールドデータは、例えば、図３を参照して説明したマイクロ画像の形態を有することができる。ライトフィールドカメラは、図１Ａ又は図１Ｂ並びに図２Ａ及び図２Ｂに示されているものなどの、ライトフィールドカメラ装置であってもよい。
【０１８７】
ステップＳ８０３において、取得されたライトフィールドデータは、個々の深さｚ１、ｚ２におけるパラメータ化用の基準プレーンのペアＰ１、Ｐ２との間における、ピクセルビーム４０、５０の基準直線と交差する主光線及び生成光線に対応する、キャプチャされたライトフィールド光線の交差点を定義する交差点データ（ｘ１，ｙ１，ｘ２，ｙ２）を提供するべく、光線パラメータモジュール８０２によって処理されている。
【０１８８】
カメラの較正から、投影の中心（ｘ３，ｙ３，ｚ３）、カメラの光軸の向き、及びカメラのピンホールからフォトセンサのプレーンまでの距離ｆという、パラメータを判定することができる。図１０には、ライトフィールドカメラパラメータが示されている。フォトセンサプレーンは、深さｚｐにおいて配置されている。フォトセンサのピクセル出力は、ライトフィールド光線の幾何学的表現に変換されている。２つの基準プレーンＰ１及びＰ２を含むライトスラブは、フォトセンサに対するカメラの投影の中心の他側において、ｚ３を超えて、それぞれ、深さｚ１及びｚ２において配置されている。三角形の原則を光線に適用することにより、マイクロレンズのアレイから投影された光を記録するピクセル座標（ｘｐ，ｙｐ，ｚｐ）は、以下の式を適用することにより、光線パラメータに、即ち、基準プレーン交差点（ｘ１，ｙ１，ｘ２，ｙ２）に、マッピングすることできる。
【０１８９】
【数４９】
2018538709.tif 000051
【０１９０】
上述の計算は、異なるトリプレットのペア（ｘｐ，ｙｐ，ｚｐ）（ｘ３，ｙ３，ｚ３）を有する複数のカメラに拡張することができる。
【０１９１】
プレノプティックカメラのケースにおいては、アパーチャを有するカメラモデルが使用され、且つ、ライトフィールド光線は、原点（ｘｐ，ｙｐ，ｚｐ）及び方向（ｘ’３，ｙ’３，１）を有するものとして、位相空間内において記述される。深さｚ３におけるプレーン（ｘ３、ｙ３）上へのその伝播は、行列変換として記述することができる。レンズは、光線を屈折させるべく、ＡＢＣＤ行列として機能することになり、且つ、別のＡＢＣＤ伝播行列が光線をライトスラブ基準プレーンＰ１及びＰ２上に配置することになる。
【０１９２】
このステップから、基準プレーンＰ１、Ｐ２との間における、基準直線と交差する主光線及び生成光線の交差点を幾何学的に定義する交差点データ（ｘ１，ｙ１，ｘ２，ｙ２）が取得される。
【０１９３】
ステップＳ８０４において、交差点データ（ｘ１，ｙ１，ｘ２，ｙ２）をグラフィカルに表す２Ｄ光線図が、光線図生成器モジュール８０３によって取得されている。
【０１９４】
図１１は、アパーチャ｜Ａ｜＜０．５を有する、場所ｘ３＝２及び深さｚ３＝２におけるカメラによってキャプチャされたライトフィールド光線の交差点データ（ｘ１，ｘ２）をグラフィカルに表す２Ｄ光線図である。パラメータ化するべく使用される光線図のデータラインが、２５６×２５６個のピクセルの画像を提供する２５６個のセルによってサンプリングされている。
【０１９５】
図１１に示されている光線図を行列として解釈すれば、これは、まばらに入力されていることがわかる。光線が、４Ｄ位相空間行列の代わりに、ファイル内において、個別に保存される必要がある場合には、これは、それぞれの光線ごとに、それぞれの位置ｘｉ又はｘ３ごとに少なくとも２バイト（ｉｎｔ１６）と、これに加えて、色用の３バイト、即ち、２Ｄスライスライトフィールドの場合には、７バイト／光線、そして、そのフル４Ｄ表現の場合には、１１バイト／光線、を保存することを必要とすることになろう。その場合にも、光線は、ファイル内においてランダムに保存されることになり、これは、表現の操作を必要としている用途の場合には、適していないであろう。本発明の本発明者らは、光線図行列から代表データのみを抽出すると共にデータを構造化された方式によってファイル内において保存する方法を判定した。
【０１９６】
ライトフィールド光線は、２Ｄ光線図のデータラインに沿ってマッピングされることから、ライン値自体ではなく、データラインを定義するパラメータを保存するほうが効率的である。そのデータラインに属するライトフィールド光線の組と共に、例えば、勾配定義パラメータｓ及び軸切片ｄなどの、データラインを定義するパラメータを保存することができる。
【０１９７】
これは、例えば、勾配パラメータｓ用に２バイト、切片パラメータｄ用に２バイト、そして、その結果、光線当たりには、３バイトというほどに、少ない容量しか必要としえないであろう。更には、光線をファイル内においてラインに沿って順序付けすることもできる。行列セルを通じてラインを設定するべく、最小誤差を有する光線ラインを近似する、所謂、デジタルラインが生成される。
【０１９８】
データラインを見出すべく、且つ、勾配パラメータｓ及び切片パラメータｄを取得するべく、ステップＳ８０５において、ライン検出モジュール８０４により、ステップＳ８０４において生成された光線図に対してラドン変換が実行されている。
【０１９９】
ステップＳ８０６において、デジタルライン生成モジュール８０５により、取得された勾配パラメータｓ及び切片パラメータｄから、代表的なデジタルラインが生成されている。このステップにおいては、デジタルラインは、例えば、ブレゼンハムのアルゴリズムを適用することにより、分析ラインをその最も近いグリッドポイントに対して近似することにより、生成されている。実際に、ブレゼンハムのアルゴリズムは、最小の演算を有するデジタルラインを提供する方法を提供している。その他の方法は、高速離散ラドン変換計算を適用することができる。ブレゼンハムアプリケーションの一例は、以下の参考文献から適合されたものである。
http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html
【０２００】
デジタルフォーマットは、グリッドの２つのポイント（０，ｄ）及び（Ｎ−１，ｓ）によってデータラインを定義しており、ここで、ｄは、ｘ１＝０である際のｘ２の値に対応する交差点であり、且つ、ｓは、ｘ１＝Ｎ−１である際のｘ２の値に対応する勾配パラメータである。生成されたデジタルフォーマットから、それぞれの個々のラインの勾配ａは、ｄ、Ｎ、及びｓの関数として、次式として表現することができる。
【０２０１】
【数５０】
2018538709.tif 000052
【０２０２】
ここで、ｓ∈｛０，１，…．Ｎ−１｝であり、且つ、ｄ∈｛０，１，…．Ｎ−１｝である。
【０２０３】
図１２は、ブレゼンハムのアルゴリズムの適用によって生成されたデジタルラインの一例を示している。
【０２０４】
図１３は、同一の勾配ａ（或いは、ｓ−ｄ）を有するが、異なる切片ｄを有する、デジタルラインのグループを示しており、この場合に、このデータラインのグループは、連続的である。このデータラインのグループは、本明細書においては、ラインの束と呼称され、且つ、カメラが理想的なピンホールカメラではない結果として得られるビームに対応している。それぞれのラインは、異なるピクセルをアドレス指定している。換言すれば、１つのピクセルは、同一の勾配を有するが、異なる切片を有する、束の一意のラインにのみ属している。軸交差点ｄの上部及び下部境界は、それぞれ、ｄｍａｘ及びｄｍｉｎとして付与されている。
【０２０５】
（２Ｄにおける）サンプリングされたラインのペアによってパラメータ化されると共に１つのカメラに属している、光線データは、データを表すべく使用される位相空間内においてデジタルライン（ビーム）のファミリーに属している。ビームのヘッダは、ビームの勾配ａと、軸交差点ｄｍａｘ−ｄｍｉｎの上部及び下部境界によって定義された太さと、のみを含むことできる。光線値は、そのヘッダがｄ及びｓでありうるデジタルラインに沿ったＲＧＢ色として保存されることになる。サンプリングされた空間内の光線図の空のセルは、保存する必要がない。光線の座標ｘ１，ｘ２は、パラメータｄ、ｓから、且つ、デジタルラインに沿ったセルの位置から、推定することができる。
【０２０６】
ライトフィールドから、或いは、カメラの形状から、推定されるパラメータは、勾配ａ、デジタルライン切片の下部及び上部境界（ｄｍｉｎ，ｄｍａｘ）、デジタルラインパラメータ（ｄｉ，ｓｉ）である。離散ラドン変換については、光線図内におけるライトフィールドのサポート場所を計測するためのツールとして既に説明済みである。
【０２０７】
図１４Ｂは、図１４Ａのデータラインのデジタルラインパラメータ空間（ｄ，ｓ）における離散ラドン変換を示している。図１４Ｃは、図１４Ｂに含まれている対象の領域のズームである。最大値パラメータについてのサーチにより、デジタルラインのビームが見出される。ＤＲＴの対称性の幾何学的中心と最大値の実際の位置の間には、画像コンテンツに起因して、なんらかのオフセットが存在する可能性があり、その結果、後から、最大値の代わりに、対称性の中心の位置を示すべく、アルゴリズムが使用される。その結果、値（ｄｍｉｎ，ｄｍａｘ）を付与するべく、図１３Ｃに示されているビーム変換のウエストを見出すのは、容易である。ポイント（ｄｍｉｎ＝７４，ｓ＝２０１）は、図１２Ａからのデジタルラインのビームの下部エンベロープであり、且つ、ポイント（ｄｍａｘ＝８１，ｓ＝２０８）は、デジタルラインのビームの上部エンベロープである。
【０２０８】
式Ｂからの２つの直交２Ｄスライス化空間の式は、次式として付与される。
（ｚ２−ｚ３）（ｘ１＋ｙ１）＋（ｚ３−ｚ１）（ｘ２＋ｙ２）＝（ｚ２−ｚ１）（ｘ３＋ｙ３）      （Ｃ）
【０２０９】
ｘｉ座標用の２Ｄスライスが取得された場合には、（ｘ３，ｙ３，ｚ３）におけるサイズＡのアパーチャを通じた光線データがマッピングすることになるラインのビームの式は、次式として付与される。
【０２１０】
【数５１】
2018538709.tif 000053
【０２１１】
同様に、２Ｄスライスがｙｉ座標について取得された場合には、次式のとおりである。
【０２１２】
【数５２】
2018538709.tif 000054
【０２１３】
上述のように、ｍ及び
【０２１４】
【数５３】
2018538709.tif 000055
【０２１５】
の値は、離散ドメインにおいて評価することができる。上述のフォーマットによって定義されたライトフィールドの特性を局所化するには、４Ｄ離散ラドン変換（ＤＲＴ）を実行する必要はない。２つの直交２Ｄ−ＤＲＴが取得された場合に、ハイパープレーンの勾配ｍと、すべてのデータが４Ｄ光線図内において集中するデジタルハイパープレーンのビーム幅と、の計測を実行することができる。
【０２１６】
この相対的に単純な位置特定の手順は、
【０２１７】
【数５４】
2018538709.tif 000056
【０２１８】
がすべてのハイパープレーン切片を含むことになり、フォーマットにおいて記述されているいくつかの値が値を含むことにならないように、円形の入射瞳孔Ａを仮定している。
【０２１９】
２Ｄのケースについて提案されたものに類似した４Ｄケース用のフォーマットを取得することが興味深いであろう。これを実行するためには、Π（ｘ１，ｘ２）プレーン上において見出された２ＤラインをΠ（ｙ１，ｙ２）場所上において見出されるライン、即ち、Π（ｘ１，ｘ２）及びΠ（ｙ１，ｙ２）の２つの直交スライスとの間における対応するハイパープレーンの交差の結果として得られるライン、と関連付けることが興味深いであろう。式Ｄ及び式Ｅから、対応するラインが同一の勾配ｍを有することが判明している。これは、特定の深さにおけるカメラにおいて、Π（ｘ１，ｘ２）内のそれぞれのラインをΠ（ｙ１，ｙ２）内のラインに対して関連付ける第１のパラメータである。同一の深さにおいて複数のカメラが存在している場合（即ち、図１４Ａのケース）には、ｍという同一の推定された勾配を有する、Π（ｘ１，ｘ２）内の３つのラインと、Π（ｙ１，ｙ２）内の３つのラインと、が存在している。次いで、これら２つのプレーン内のラインの間のラインオフセットにおける対応性が判定される。これを実行するべく、式Ｄ及び式Ｅにおけるラインの公式が活用される。具体的には、
【０２２０】
【数５５】
2018538709.tif 000057
【０２２１】
と表記することにより、オフセットは、次式のとおりである。
【０２２２】
【数５６】
2018538709.tif 000058
【０２２３】
これらの式の組は、ｋ、ｘ３、及びｙ３について解くことができる。（ｘ３，ｙ３，ｚ３）は、カメラの座標に、或いは、換言すれば、対応する光束が半径Ａの円内に合焦されるボクセルに、対応していることに留意されたい。我々は、
【０２２４】
【数５７】
2018538709.tif 000059
【０２２５】
となるように、ｚ３において位置決めされたプレーン上のアパーチャが円形であるものと想定しており、且つ、以前の式の組を解くことにより、次式が得られた。
【０２２６】
【数５８】
2018538709.tif 000060
【０２２７】
デジタルラインは、以前と同様に、ブレゼンハムデジタルラインを使用することにより、Π（ｘ１，ｘ２）上においてスキャニングされてもよく、それぞれの個々の（ｘ１，ｘ２）値ごとに、ライトフィールド内においてキャプチャされた対応する（ｙ１，ｙ２）値が保存される。このような値を見出すべく、式Ｃが活用される。ｘ３、ｙ３、ｚ３、ｚ１、ｚ２のすべては、既知であるか、或いは、式Ｆ及び式Ｇから推定されている。
【０２２８】
Π（ｘ１，ｘ２）内のそれぞれのライン上において移動することにより、それぞれの
【０２２９】
【数５９】
2018538709.tif 000061
【０２３０】
ごとに、（ｙ１，ｙ２）における以下の関係が得られる。
【０２３１】
【数６０】
2018538709.tif 000062
【０２３２】
或いは、
【０２３３】
【数６１】
2018538709.tif 000063
【０２３４】
Π（ｘ１，ｘ２）内のそれぞれのポイントごとに、Π（ｙ１，ｙ２）内のラインの集合体が保存される。ｄｏｆｆは、
【０２３５】
【数６２】
2018538709.tif 000064
【０２３６】
についてスキャニング及び保存されたラインのオフセットに対応している。次式に留意されたい。
【０２３７】
【数６３】
2018538709.tif 000065
【０２３８】
図１２を参照すれば、それぞれの正方形は、
【０２３９】
【数６４】
2018538709.tif 000066
【０２４０】
ポイントであり、且つ、これらのポイントのうちのそれぞれごとに、描かれたデータラインに対して垂直に、但し、４Ｄ空間内において、次式によって定義されたデジタル束に沿って図のプレーンから射出するブレゼンハムデジタルラインの組が存在している。
【０２４１】
【数６５】
2018538709.tif 000067
【０２４２】
表１には、カメラ当たりのデータラインの束用の例示用のデータフォーマットが示されている。
【０２４３】
【表１】
2018538709.tif 000068
【０２４４】
第１に、４つの軸の境界ｘ１、ｘ２、ｙ１、ｙ２と、その対応するサンプリングと、を含む、４Ｄ空間の一般的なメタデータが提供されている。また、カメラ（束）の数も提供されている。それぞれのカメラｊごとに、以下のパラメータが保存されている。
ピクセルビームの瞳孔の直径に対応したアパーチャのサイズＡｊ
カメラｃａｍｊの焦点：ｆｏｃｕｓＰｏｉｎｔ＝（ｕ３，ｕ３，ｗ３）
（ｘ１ｘ，２）＝ｄｊにおける最小ｄ切片
急峻性＝ｍｊ
（ｘ１，ｘ２）におけるデジタルラインの数＝
【０２４５】
【数６６】
2018538709.tif 000069
【０２４６】
（ｙ１、ｙ２）におけるデジタルラインの数＝
【０２４７】
【数６７】
2018538709.tif 000070
【０２４８】
それぞれのカメラ上において、それぞれの（ｘｑ１，ｘｑ２）ごとに、ブレゼンハムデジタルラインを使用することにより、式（Ｋ）との関係において、スキャニングが（ｙ１，ｙ２）上において開始され、且つ、それぞれのライトフィールド光線のＲＧＢ値が保存される。具体的には、
【０２４９】
【数６８】
2018538709.tif 000071
【０２５０】
と、対応するｄｏｆｆと、は、式（Ｋ）に従って算出される。
【０２５１】
保存されているメタデータを使用することにより、同一の計算がデコーディングステップにおいて実行される。具体的には、式（Ｈ）を使用することにより、ｋが見出される。従って、フォーマットは、コンパクトな状態において留まっている。システム内においてそれぞれの光線ごとに４つのインデックスを保存する必要性は存在していない。上述のハイパープレーンのサンプリングは、４Ｄ光線空間のサンプリングであり、且つ、従って、単一のｘ１；ｙ１；ｘ２；ｙ２場所も見逃されないことに留意されたい。これは、非常にコンパクトな形態においてすべてのデータを保存するための４Ｄ光線空間のシステマチックなスキャニングの一例であるに過ぎない。当然のことながら、その他のプロセスを適用することもできる。このパラメトリックな形態は、ハイパープレーンを調査するべく適合されているものと考えられ、その理由は、これが、インターリーブされた空間の調査を許容しているからである。
【０２５２】
ハイパープレーンのいくつかの束（複数のカメラに起因したラドン変換におけるいくつかの極大値）を含むデータを検討するための複数のカメラのケースにおいては、相対的に複雑なアルゴリズムを使用することができる。事前処理ステップとして、パラメータ（ｍ，ｋ）が、Π（ｘ１，ｘ２）のラドン変換において、すべてのピークについて見出され、且つ、１つの組として配置される。同一の内容が、（ｙ１，ｙ２）におけるピークについても実行され、且つ、パラメータが別の組として配置される。この結果、貪欲なアルゴリズムのそれぞれの反復において、最大ピーク強度が（ｘ１，ｘ２）の２Ｄラドン変換において見出され、且つ、予め見出されたパラメータ（ｍ，ｋ）をマッチングさせることにより、（ｙ１，ｙ２）における対応するピークが見出される。最後の節において言及したように、データを保存した後に、これらのピークは、ラドン変換からクリーニングされ、且つ、有意なものがライトフィールド内において存在しなくなる時点まで、次の反復が開始される。
【０２５３】
以上、特定の実施形態を参照し、本発明について説明したが、本発明は、特定の実施形態に限定されるものではなく、且つ、当業者には、本発明の範囲に含まれる変更が明らかとなろう。
【０２５４】
多くの更なる変更及び変形は、例としてのみ付与されていると共に、添付の請求項によってのみ判定される本発明の範囲の限定を意図したものではない、上述の例示用の実施形態を参照した際、それ自体が当業者に対して示唆されることになろう。具体的には、異なる実施形態からの異なる特徴が、適宜、相互交換可能でありうる。
【図１Ａ】
2018538709.tif 000072
【図１Ｂ】
2018538709.tif 000073
【図２Ａ】
2018538709.tif 000074
【図２Ｂ】
2018538709.tif 000075
【図３】
2018538709.tif 000076
【図４】
2018538709.tif 000077
【図５】
2018538709.tif 000078
【図６Ａ】
2018538709.tif 000079
【図６Ｂ】
2018538709.tif 000080
【図７Ａ】
2018538709.tif 000081
【図７Ｂ】
2018538709.tif 000082
【図８】
2018538709.tif 000083
【図９Ａ】
2018538709.tif 000084
【図９Ｂ】
2018538709.tif 000085
【図１０】
2018538709.tif 000086
【図１１】
2018538709.tif 000087
【図１２】
2018538709.tif 000088
【図１３】
2018538709.tif 000089
【図１４Ａ】
2018538709.tif 000090
【図１４Ｂ】
2018538709.tif 000091
【図１４Ｃ】
2018538709.tif 000092
【図１５】
2018538709.tif 000093
【図１６】
2018538709.tif 000094
【国際調査報告】
2018538709.tif 000095
2018538709.tif 000096
2018538709.tif 000097
2018538709.tif 000098
2018538709.tif 000099