(57)【要約】  市場には、いくつかのタイプのプレノプティック装置及びカメラアレイが利用可能な状態において存在しており、これらのライトフィールド取得装置は、いずれも、そのプロプライエタリなファイルフォーマットを有する。但し、多次元情報の取得及び送信をサポートする規格は、存在していない。前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間の間の対応性に関係する情報の取得は、興味深い。実際に、前記光学取得システムのセンサに属するピクセルが光学取得システムの物体空間のいずれの部分を検知しているのかを知ることにより、信号処理動作の改善が可能となる。従って、そのような情報を保存するコンパクトな１５個のフォーマットを有する、カメラの光学系の物体空間内の、光線の組によって占有される容積を表すピクセルビームの概念が導入されている。
2019511851.tif 000002
【特許請求の範囲】
【請求項１】
光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された前記光学取得システムの物体空間内の、容積を表すデータの組を生成するコンピュータ実装された方法であって、前記容積は、ピクセルビームと呼称される前記光の光線の組によって占有されている、方法において、
一葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、前記ピクセルビームを表す前記双曲面の表面を記述する第１直線の第１回転角度を演算することであって、前記回転は、前記第１生成光線を基準直線と交差する第２生成光線に変換する、ことと、
前記双曲面の前記回転軸を中心として、第３生成光線と呼称される、前記双曲面の前記表面を記述する第３直線の第２回転角度を演算することであって、前記回転は、前記第３生成光線を前記基準直線と交差する第４生成光線に変換し、これにより、前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の距離を演算することと、
により、前記ピクセルビームを表すデータの組を生成することを含み、
前記データの組は、前記第２生成光線を表すパラメータ、前記第４生成曲線を表すパラメータ、並びに、前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の前記距離を含む、方法。
【請求項２】
前記基準直線は、前記光学取得システムのメインレンズの光軸に対して平行である請求項１に記載の方法。
【請求項３】
前記基準直線は、前記光学取得システムのレンズアレイの中心軸に対して平行である請求項１に記載の方法。
【請求項４】
それぞれ、前記第１及び前記第２回転角度を演算することは、
−それぞれ、前記第１及び前記第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、前記第２及び第４生成光線を定義するベクトルの座標を演算することと、
−それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、前記第２及び第４生成光線と前記基準直線の間の前記距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義する地点及びベクトルに基づいて、それぞれ、前記第１及び第２回転角度の値を演算することと、
を有する請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記第２及び第４生成光線は、前記第１及び第２回転角度が増大する順序において配列されるように、前記ピクセルビームを表す前記データの組の前記生成の前に、ソートされる請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の前記演算された距離は、前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の最短距離である請求項１から５のいずれか１項に記載の方法。
【請求項７】
光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された、前記光学取得システムの物体空間内の、容積を表すデータの組を生成する装置であって、前記光の光線の組によって占有された前記容積は、ピクセルビームと呼称され、前記装置は、
葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、前記ピクセルビームを表す前記双曲面の表面を記述する第１直線の第１回転角度を演算することであって、前記回転は、前記第１生成光線を基準直線と交差する第２生成光線に変換する、ことと、
前記双曲面の前記回転軸を中心として、第３生成光線と呼称される、前記双曲面の前記表面を記述する第３直線の第２回転角度を演算することであって、前記回転は、前記第３生成光線を前記基準直線と交差する第４生成光線に変換し、これにより、前記第２又は第４生成曲線のうちの１つと前記双曲面の前記回転軸の間の距離を演算することと、
により、前記ピクセルビームを表すデータの組を生成するように構成されたプロセッサを含み、
前記データの組は、前記第２生成光線を表すパラメータ、前記第４生成光線を表すパラメータ、及び前記第２又は第４生成光線のうちの１つと前記双曲面の前記回転軸の間の前記距離を含む、装置。
【請求項８】
前記プロセッサは、
それぞれ、前記第１及び第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、前記第２及び第４生成光線を定義するベクトルの座標を演算することと、
それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、前記第２及び第４生成光線と前記基準直線の間の前記距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義するベクトルに基づいて、それぞれ、前記第１及び第２回転角度の値を演算することと、
により、それぞれ、前記第１及び第２回転角度を演算するように構成されている請求項７に記載の装置。
【請求項９】
ライトフィールドコンテンツをレンダリングする方法であって、
一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、前記双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算することであって、前記容積は、ピクセルビームと呼称される、ことと、
前記双曲面の前記回転軸の座標及び前記第１生成光線を表すパラメータ、並びに、前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第３直線のパラメータを使用することにより、前記ピクセルビームを演算することと、
前記ライトフィールドコンテンツをレンダリングすることと、
を含む方法。
【請求項１０】
ライトフィールドコンテンツをレンダリングする装置であって、
一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、前記双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算し、前記容積は、ピクセルビームと呼称され、
前記双曲面の前記回転軸の座標及び前記第１光線を表すパラメータ、並びに、前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第３直線のパラメータを使用することにより、前記ピクセルビームを演算する、
ように構成されたプロセッサを含み、且つ、
前記装置は、前記ライトフィールドコンテンツをレンダリングするためのディスプレイを更に含む、装置。
【請求項１１】
ライトフィールド撮像装置であって、
規則的な格子構造において配列されたマイクロレンズのアレイと、
フォトセンサであって、マイクロレンズのアレイから前記フォトセンサ上において投射された光をキャプチャするように構成されたフォトセンサであり、前記フォトセンサは、ピクセルの組を有し、それぞれのピクセルの組は、前記マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
請求項７に記載のメタデータを提供する装置と、
を含む装置。
【請求項１２】
光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された、前記光学取得システムの物体空間内の、容積を表すデータの組を含むライトフィールドコンテンツを表す信号であって、前記容積は、ピクセルビームと呼称される前記光の光線の組によって占有されており、前記ピクセルビームを表す前記データの組は、
基準直線と交差する、第１生成光線と呼称される、前記ピクセルビームを表す一葉双曲面の表面を記述する第１直線を表すパラメータと、
前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第２直線を表すパラメータと、
前記双曲面の回転軸と前記第１又は前記第２生成光線のうちの１つの間の距離と、
を含む、信号。
【請求項１３】
光学取得システムの瞳孔を通過する光の光線の組と、前記光学取得システムのセンサの少なくとも１つのピクセルの共役と、によって占有された、前記光学取得システムの物体空間内の、容積を表すデータのデータパッケージであって、前記容積は、ピクセルビームと呼称される前記光の光線の組によって占有されている、データパッケージにおいて、
基準直線と交差する、第１生成光線と呼称される、前記ピクセルビームを表す一葉双曲面の表面を記述する第１直線を表すパラメータと、
前記基準直線と交差する、第２生成光線と呼称される、前記双曲面の表面を記述する第２直線を表すパラメータと、
前記双曲面の回転軸と前記第１又は第２生成光線のうちの１つの間の距離と、
を含む、データパッケージ。
【請求項１４】
通信ネットワークからダウンロード可能である、且つ／又は、コンピュータによって読取り可能である、且つ／又は、プロセッサによって実行可能である、媒体上において記録されたコンピュータプログラムプロダクトであって、請求項１から６のいずれか１項に記載の方法を実装するプログラムコード命令を含むコンピュータプログラムプロダクト。
【請求項１５】
通信ネットワークからダウンロード可能である、且つ／又は、コンピュータによって読取り可能である、且つ／又は、プロセッサによって実行可能である、媒体上において記録されたコンピュータプログラムプロダクトであって、請求項９に記載の方法を実装するプログラムコード命令を含むコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演算の分野に関する。更に詳しくは、本発明は、ライトフィールドデータの送信、レンダリング、処理のために使用できる表現フォーマットに関する。
【背景技術】
【０００２】
ライトフィールドは、それぞれの可能な方向に沿って三次元（３Ｄ）空間のそれぞれの地点を通過する光の量を表している。これは、時間、波長、位置、及び方向の関数として輝度を表す７つの変数の関数によってモデル化される。コンピュータグラフィクスにおいては、ライトフィールドのサポートは、４次元（４Ｄ）指向のライン空間に低減されている。
【０００３】
４Ｄライトフィールドのサンプリング、即ち、光線の記録、と見なされうる、４Ｄライトフィールドデータの取得は、”Understanding camera trade-offs through a Bayesian analysis of light field projections” by Anat Levin and al., published in the conference proceedings of ECCV 2008という論文において説明されており、これは、活発に研究されている主題である。
【０００４】
従来のカメラから取得される従来の２次元又は２Ｄ画像との比較において、４Ｄライトフィールドデータの場合には、ユーザーは、画像のレンダリング及びユーザーとの間の対話性を改善する相対的に多くの事後処理特徴に対してアクセスすることができる。例えば、４Ｄライトフィールドデータによれば、焦点面の位置を後から規定／選択しうることを意味する、自由に選択された合焦の距離による画像の再合焦のみならず、画像のシーンにおける視点のわずかな変更をも実行することができる。４Ｄライトフィールドデータを取得するべく、いくつかの技法を使用することができる。例えば、プレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。図１Ａには、プレノプティックカメラのアーキテクチャの詳細が提供されている。図１Ａは、プレノプティックカメラを概略的に表す図である。プレノプティックカメラ１００は、メインレンズ１０１と、２次元アレイとして配置された複数のマイクロレンズ１０３を含むマイクロレンズアレイ１０２と、画像センサ１０４と、を含む。
【０００５】
４Ｄライトフィールドデータを取得するための別の方法は、図１Ｂに描かれているように、カメラアレイを使用するというものである。図１Ｂは、マルチアレイカメラ１１０を表している。マルチアレイカメラ１１０は、レンズアレイ１１２と、画像センサ１１４と、を含む。
【０００６】
図１Ａに示されているプレノプティックカメラ１００の例においては、メインレンズ１０１は、メインレンズ１０１の物体野内の物体（図には示されていない）から光を受け取り、且つ、この光がメインレンズ１０１の像野を通過するようにしている。
【０００７】
最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面において同一のシーンの２Ｄ画像のシーケンスをキャプチャするように構成された従来のカメラを使用するというものである。例えば、“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays” by J.-H. Park et al., published in OPTICS EXPRESS, Vol. 22, No. 21, in October 2014という文献において記述されている技法は、従来のカメラによって４Ｄライトフィールドデータの取得を実現するべく使用することができる。
【０００８】
４Ｄライトフィールドデータを表すためのいくつかの方法が存在している。実際に、“Digital Light Field Photography” by Ren Ng, published in July 2006という名称の博士号論文の第３．３章には、４Ｄライトフィールドデータを表すための３つの異なる方法について記述されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによって記録される際には、マイクロレンズ画像の集合体によって表すことができる。この表現における４Ｄライトフィールドデータは、未加工の画像又は未加工の４Ｄライトフィールドデータと呼称される。第２に、４Ｄライトフィールドデータは、プレノプティックカメラによって又はカメラアレイによって記録される際には、サブアパーチャ画像の組によって表すことができる。サブアパーチャ画像は、視点からのシーンのキャプチャされた画像に対応しており、視点は、２つのサブアパーチャ画像の間においてわずかに異なっている。これらのサブアパーチャ画像は、撮像されたシーンの視差及び深さに関するデータを付与している。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表すことが可能であり、例えば、“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”, by S. Wanner and al., published in the conference proceedings of ISVC 2011という名称の論文を参照されたい。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ライトフィールドデータは、最大で、数テラバイト（ＴＢ）にも及ぶ、大量のストレージ空間を占有する可能性があり、この結果、保存が厄介になりうると共に処理の効率が低下しうる。これに加えて、ライトフィールド取得装置は、極めて多様である。ライトフィールドカメラは、例えば、プレノプティック又はカメラアレイなどのように、様々なタイプを有する。それぞれのタイプごとに、異なる光学構成又は異なる焦点距離のマイクロレンズなどの、多くの相違点が存在しており、且つ、特に、それぞれのカメラは、その独自のプロプライエタリなファイルフォーマットを有している。現在、ライトフィールドが依存している異なるパラメータのすべてを網羅した通覧のための多次元情報の取得及び送信をサポートする規格は、存在していない。従って、取得されたライトフィールドデータは、異なるカメラごとに多様なフォーマットを有する。本発明は、上述の内容に留意して案出されたものである。
【課題を解決するための手段】
【００１０】
本発明の第１の態様によれば、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表すデータの組を生成するコンピュータ実装された方法が提供され、前記容積は、ピクセルビームと呼称され、方法は、
一葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、ピクセルビームを表す双曲面の表面を記述する第１直線の第１回転角度を演算することであって、前記回転は、第１生成光線を基準直線と交差する第２生成光線に変換する、ことと、
−双曲面の回転軸を中心として、第３生成光線と呼称される、双曲面の表面を記述する第３直線の第２回転角度を演算することであって、前記回転は、第３生成光線を基準直線と交差する第４生成光線に変換する、ことと、
−第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を演算することと、
−第２生成光線を表すパラメータ、第４生成光線を表すパラメータ、並びに、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を含むピクセルビームを表すデータの組を生成することと、
を含む。
【００１１】
ピクセルビームは、光学取得システムの光学系を通じて伝播する際に光学取得システムのセンサの所与のピクセルに到達する光の光線のペンシルとして定義される。ピクセルビームは、一葉双曲面によって表される。一葉双曲面は、光の光線のペンシルの概念をサポートする線織面であり、且つ、物理的な光ビームの「etendue」の概念と合致している。
【００１２】
「etendue」は、光が面積及び角度においてどれだけ「広がっているか」を特徴付ける光学系における光のプロパティである。
【００１３】
供給源の観点においては、「etendue」は、供給源の面積と、供給源から観察された際に光学系の入射瞳孔が範囲を画定する立体角と、の積である。等価な方式により、光学系の観点においては、「etendue」は、入射瞳孔の面積と、瞳孔から観察された際に供給源が範囲を画定する立体角と、を乗算したものに等しい。
【００１４】
「etendue」の顕著な特徴の１つは、なんらの光学系においても、決して減少しないという点にある。「etendue」は、ラグランジュの不変量及び光学的不変量と関係付けられており、これらの不変量は、理想的な光学系において一定であるというプロパティを共有している。光学系の輝度は、「etendue」との関係において放射束の導関数に等しい。
【００１５】
ピクセルビームを使用して４Ｄライトフィールドデータを表すことが有利であり、その理由は、ピクセルビームは、それ自体で、「etendue」に関係する情報を伝達しているからである。
【００１６】
４Ｄライトフィールドデータは、大量のストレージ空間を占有しうるピクセルビームの集合体によって表される場合があり、その理由は、ピクセルビームは、６〜１０個のパラメータによって表されうるからである。本発明の発明者らによって開発された４Ｄライトフィールドデータ用のコンパクトな表現フォーマットは、光線に基づいたプレノプティック機能の表現に依存している。このコンパクトな表現フォーマットは、光線が非ランダムな方式によってソートされることを必要としている。実際に、光線は、ラインに沿ってマッピングされることから、コンパクト性の観点においては、所与のラインに属する光線の集合体と共に、前記所与のラインのパラメータを、即ち、関係するスロープ及びインターセプトを、ラインごとに、順番に保存することが効率的である。
【００１７】
ピクセルビームは、ピクセルビームを表す双曲面の表面について記述している、生成光線と呼称される、２つの光線によって表すことができる。生成光線は、光学取得システムのマイクロレンズを通過している間に強力な逸脱を経験する場合があり、且つ、従って、相対的に大きなアパーチャ角度において光学取得システムのメインレンズに衝突しうる。従って、歪のような収差が生成光線の集合体を妨げることになり、その結果、コンパクトな表現フォーマットの使用の効率が低下しうる。
【００１８】
本発明の一実施形態による方法は、コンパクトな表現フォーマットの使用の効率を改善するべく、位置及び向きのランダム性を低減するために、ピクセルビームの集合体のピクセルビームを定義する生成光線のペアをソートすることを有する。
【００１９】
更には、本発明の一実施形態による方法は、ピクセルビームを表すパラメータのうちの１つが黙示的なものとなり、これにより、前記ピクセルビームを表すデータセットの次元を１次元だけ低減することを可能にすることにより、コンパクトな表現フォーマットのコンパクト性に寄与するような方式により、ピクセルビームの集合体のピクセルビームを定義する生成光線のペアを制約している。
【００２０】
本発明の別の態様によれば、基準直線は、光学取得システムのメインレンズの光軸に対して平行である。
【００２１】
メインレンズの光軸に対して平行な基準直線を選択することは、興味深いことであり、その理由は、メインレンズの光軸が光学取得システムの対称軸であるからである。
【００２２】
本発明の別の態様によれば、基準直線は、光学取得システムのレンズアレイの中心軸に対して平行である。
【００２３】
レンズアレイの光軸に対して平行な基準直線を選択することは、興味深いことであり、その理由は、レンズアレイの光軸が光学取得システムの対称軸であるからである。
【００２４】
本発明の別の態様によれば、それぞれ、第１及び第２回転角度を演算することは、
−それぞれ、第１及び第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、第２及び第４生成光線を定義するベクトルの座標を演算することと、
−それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、第２及び第４生成光線と基準直線の間の距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義する地点及びベクトルに基づいて、それぞれ、第１及び第２回転角度の値を演算することと、
を有する。
【００２５】
本発明の別の態様によれば、第２及び第４生成光線は、第１及び第２回転角度が増大する順序において配列されるように、ピクセルビームを表すデータの組の生成の前に、ソートされている。
【００２６】
第２及び第４生成光線は、再構築対象であるピクセルビームを表すデータの組の演算に関与する外積ベクトルの方向を制約することにより、増大する順序における回転角度によって、テレビ受像機、スマートフォン、タブレット、パーソナルコンピュータ、ラップトップなどのような、レンダリング装置によるピクセルビームの再構築が相対的に容易なものとなるように、配列されている。
【００２７】
本発明の別の態様によれば、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の演算距離は、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の最短距離である。
【００２８】
第２又は第４生成光線のうちの１つと双曲面の回転軸の間の最短距離は、ピクセルビームのウエストに、即ち、ピクセルビームを表す双曲面の最小セクションに、対応している。
【００２９】
本発明の第２の態様によれば、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表すデータの組を生成する装置が提供され、前記容積は、ピクセルビームと呼称され、前記装置は、
−一葉双曲面の回転軸である第２直線を中心として、第１生成光線と呼称される、ピクセルビームを表す双曲面の表面を記述する第１直線の第１回転角度を演算し、前記回転は、第１生成光線を基準直線と交差する第２生成光線に変換し、
−双曲面の回転軸を中心として、第３生成光線と呼称される、双曲面の表面を記述する第３直線の第２回転角度を演算し、前記回転は、第３生成光線を基準直線と交差する第４生成光線に変換し、
−第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を演算し、
−第２生成光線を表すパラメータ、第４生成光線を表すパラメータは、並びに、第２又は第４生成光線のうちの１つと双曲面の回転軸の間の距離を含むピクセルビームを表すデータの組を生成する、
ように構成されたプロセッサを含む。
【００３０】
このような装置は、プレノプティックカメラ、或いは、スマートフォン、ラップトップ、パーソナルコンピュータ、タブレットなどのような、任意のその他の装置などの光学取得システム内において埋め込まれてもよい。
【００３１】
本発明の別の態様によれば、プロセッサは、
−それぞれ、第１及び第３生成光線を定義するベクトルに回転行列を乗算することにより、それぞれ、第２及び第４生成光線を定義するベクトルの座標を演算し、
−それぞれ、前記第２及び第４生成光線と前記基準直線が互いに交差していることから、それぞれ、第２及び第４生成光線と基準直線の間の距離がゼロに等しいことに鑑み、それぞれ、前記第２及び第４生成光線及び前記基準直線を定義するベクトルに基づいて、それぞれ、第１及び第２回転角度を演算する、
ことにより、それぞれ、第１及び第２回転角度を演算するように構成されている。
【００３２】
本発明の第３の態様によれば、ライトフィールドコンテンツをレンダリングする方法が提供され、方法は、
−一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算することであって、前記容積は、ピクセルビームと呼称される、ことと、
−双曲面の回転軸の座標及び第１生成光線を表すパラメータ、並びに、基準直線と交差する、第２生成光線と呼称される、双曲面の表面を記述する第３直線のパラメータを使用することにより、ピクセルビームを演算することと、
−前記ライトフィールドコンテンツをレンダリングすることと、
を含む。
【００３３】
本発明の第４の態様によれば、ライトフィールドコンテンツをレンダリングする装置が提供され、装置は、
−一葉双曲面の回転軸と基準直線と交差する、第１生成光線と呼称される、双曲面の表面を記述する第２直線の間の距離を使用することにより、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表す前記双曲面の回転軸である第１直線の座標を演算し、前記容積は、ピクセルビームと呼称され、
−双曲面の回転軸の座標及び第１生成光線を表すパラメータ、並びに、基準直線と交差する、第２生成光線と呼称される、双曲面の表面を記述する第３直線のパラメータを使用することにより、ピクセルビームを演算する、
ように構成されたプロセッサを含み、且つ、
前記装置は、前記ライトフィールドコンテンツをレンダリングするディスプレイを更に含む。
【００３４】
このようなライトフィールドコンテンツをレンダリングする能力を有する装置は、テレビ受像機、スマートフォン、ラップトップ、パーソナルコンピュータ、タブレットなどであってもよい。
【００３５】
本発明の第５実施形態によれば、ライトフィールド撮像装置が提供され、装置は、
−規則的な格子構造において配列されたマイクロレンズのアレイと、
−マイクロレンズのアレイからフォトセンサ上において投射された光をキャプチャするように構成されたフォトセンサであって、フォトセンサは、ピクセルの組を含み、それぞれのピクセルの組は、マイクロレンズのアレイの個々のマイクロレンズと光学的に関連付けられている、フォトセンサと、
−本発明の第２の態様による装置に従ってメタデータを提供する装置と、
を含む。
【００３６】
このようなライトフィールド撮像装置は、例えば、プレノプティックカメラである。
【００３７】
本発明の第６の態様によれば、光学取得システムのセンサの少なくとも１つのピクセルが前記光学取得システムの瞳孔を通じて検知しうる光の光線の組によって占有された前記光学取得システムの物体空間内の容積を表すデータの組を含むライトフィールドコンテンツを表す信号が提供され、前記容積は、ピクセルビームと呼称され、ピクセルビームを表すデータの組は、
−基準直線と交差する、第１生成光線と呼称される、ピクセルビームを表す一葉双曲面の表面を記述する第１直線を表すパラメータと、
−基準直線と交差する、第２生成光線と呼称される、双曲面の表面を記述する第２直線を表すパラメータと、
−双曲面の回転軸と第１又は第２生成光線のうちの１つの間の距離と、
を含む。
【００３８】
本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装することができる。従って、このような要素は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、このような要素は、媒体内において実施されたコンピュータ使用可能プログラムコードを有する表現の任意の有体媒体内において実施されたコンピュータプログラムプロダクトの形態を有することができる。
【００３９】
本発明の要素は、ソフトウェアにおいて実装されうることから、本発明は、任意の適切な担持体媒体上におけるプログラム可能な装置に対する提供のためのコンピュータ可読コードとして実施することができる。有体の担持体媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は半導体メモリ装置、並びに、これらに類似したものなどの、ストレージ媒体を含むことができる。一時的な担持体媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、或いは、例えば、マイクロ波又はＲＦ信号などの電磁信号などの信号を含むことができる。
【００４０】
以下、一例としてのみ、且つ、以下の図面を参照し、本発明の実施形態について説明することとする。
【図面の簡単な説明】
【００４１】
【図１Ａ】プレノプティックカメラを概略的に表す図である。
【図１Ｂ】マルチアレイカメラを表す。
【図２Ａ】本発明の一実施形態によるライトフィールドカメラの機能図である。
【図２Ｂ】本発明の一実施形態によるライトフィールドデータフォーマッタ及びライトフィールドデータプロセッサの機能図である。
【図３】フォトセンサアレイ上において形成された未加工のライトフィールド画像の一例である。
【図４】カメラ又は光学取得システムの光学系の物体空間内の、光線の組によって占有された容積を表す。
【図５】一葉双曲面を表す。
【図６Ａ】本発明の１つ又は複数の実施形態によるピクセルビームの生成光線をソートする装置のモジュールを示す機能ブロックダイアグラムである。
【図６Ｂ】本発明の１つ又は複数の実施形態によるピクセルビームの生成光線をソートする方法のステップを示すフローチャートである。
【図７Ａ】本発明の１つ又は複数の実施形態によるライトフィールドデータのパラメータ化用の基準プレーンの使用法をグラフィカルに示す。
【図７Ｂ】本発明の１つ又は複数の実施形態によるライトフィールドデータのパラメータ化用の基準プレーンの使用法をグラフィカルに示す。
【図８】本発明の実施形態による基準プレーンとの関係におけるライトフィールド光線の表現を概略的に示す。
【図９Ａ】本発明の１つ又は複数の実施形態による方法のステップを示すフローチャートである。
【図９Ｂ】本発明の１つ又は複数の実施形態によるライトデータフォーマットを提供する装置のモジュールを示す機能ブロックダイアグラムである。
【図１０】本発明の実施形態によるライトフィールド光線の表現用のパラメータを概略的に示す。
【図１１】本発明の実施形態による交差点データをグラフィカルに示す２Ｄ光線図である。
【図１２】本発明の実施形態に従って生成されたデジタルラインをグラフィカルに示す。
【図１３】本発明の実施形態に従って生成されたデジタルラインをグラフィカルに示す。
【図１４Ａ】本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。
【図１４Ｂ】本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。
【図１４Ｃ】本発明の実施形態によるデジタルラインに適用されたラドン変換をグラフィカルに示す。
【図１５】本発明の実施形態による複数のカメラにおける交差点データをグラフィカルに示す２Ｄ光線図である。
【発明を実施するための形態】
【００４２】
当業者には理解されるように、本原理の態様は、システム、方法、又はコンピュータ可読媒体として実施することができる。従って、本原理の態様は、全体的にハードウェア実施形態の、全体的にソフトウェア実施形態（ファームウェア、レジデントソフトウェア、マイクロコードなどを含む）の、或いは、そのすべてが、「回路」、「モジュール」、又は「システム」と本明細書において一般的に呼称されうる、ソフトウェア及びハードウェア態様を組み合わせた実施形態の、形態を有することができる。更には、本原理の態様は、コンピュータ可読ストレージ媒体の形態を有することもできる。１つ又は複数のコンピュータ可読ストレージ媒体の任意の組合せを利用することができる。
【００４３】
本発明の実施形態は、フォーマット変換、再合焦、視点変更、及び３Ｄ画像生成などの更なる処理用途用のライトフィールドデータのフォーマッティングを提供している。
【００４４】
図２Ａは、本発明の一実施形態によるライトフィールドカメラ装置のブロックダイアグラムである。
【００４５】
ライトフィールドカメラは、図１Ａのライトフィールドカメラに従って、アパーチャ／シャッタ２０２と、メイン（対物）レンズ２０１と、マイクロレンズアレイ２１０と、フォトセンサアレイ２２０と、を含む。いくつかの実施形態においては、ライトフィールドカメラは、主題又はシーンのライトフィールド画像をキャプチャするべく起動されるシャッタリリースを含む。これらの機能的な特徴は、図１Ｂのライトフィールドカメラにも適用されうることを理解されたい。
【００４６】
フォトセンサアレイ２２０は、ライトフィールドデータフォーマッティングモジュール２５０によるライトフィールドデータフォーマットの生成のために、且つ／又は、ライトフィールドデータプロセッサ２５５による処理のために、ＬＦデータ取得モジュール２４０によって取得されたライトフィールド画像データを提供している。ライトフィールドデータは、取得の後に、且つ、処理の後に、メモリ２９０内において、本発明の実施形態に従って、未加工データフォーマットにおいて、サブアパーチャ画像又は焦点スタックとして、或いは、ライトフィールドデータフォーマットにおいて、保存することができる。
【００４７】
図示の例においては、ライトフィールドデータフォーマッティングモジュール１５０及びライトフィールドプロセッサ２５５は、ライトフィールドカメラ２００内において配設されているか又はこの内部に統合されている。本発明のその他の実施形態においては、ライトフィールドデータフォーマッティングモジュール２５０及び／又はライトフィールドデータプロセッサ２５５は、ライトフィールドキャプチャカメラの外部の別個のコンポーネント内において提供することができる。別個のコンポーネントは、ライトフィールド画像キャプチャ装置との関係において、ローカル状態又はリモート状態にあってもよい。ライトフィールド画像データをフォーマッティングモジュール２５０又はライトフィールドデータプロセッサ２５５に送信するべく、任意の適切な有線又は無線プロトコルが使用されてもよく、例えば、ライトフィールドデータプロセッサは、インターネット、セルラーデータネットワーク、WiFiネットワーク、BlueTooth（登録商標）通信プロトコル、及び／又は任意のその他の適切な手段を介して、キャプチャされたライトフィールド画像データ及び／又はその他のデータを転送することができることを理解されたい。
【００４８】
ライトフィールドフォーマッティングモジュール２５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成されている。ライトフィールドデータフォーマッティングモジュール２５０は、ソフトウェア、ハードウェア、又はこれらの組合せにおいて実装することができる。
【００４９】
ライトフィールドデータプロセッサ２５５は、本発明の実施形態に従って、例えば、焦点スタック又は視野の行列を生成するべく、ＬＦデータ取得モジュール２４０から直接的に受け取った未加工のライトフィールド画像データに対して動作するように構成されている。例えば、キャプチャされたシーンのスチール画像、２Ｄビデオストリーム、及びこれらに類似したものなどの出力データを生成することができる。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェア、又はこれらの組合せにおいて実装することができる。
【００５０】
また、少なくとも１つの実施形態においては、ライトフィールドカメラ２００は、コントローラ２７０によってカメラ１００の動作を制御するべくユーザーがユーザー入力を提供できるようにするためのユーザーインターフェイス２６０を含むこともできる。カメラの制御は、シャッタ速度などのカメラの光学パラメータの制御、或いは、調節可能なライトフィールドカメラのケースにおいては、マイクロレンズアレイとフォトセンサの間の相対距離又は対物レンズとマイクロレンズアレイの間の相対距離の制御のうちの１つ又は複数を含むことができる。いくつかの実施形態においては、ライトフィールドカメラの光学要素の間における相対距離は、相互に調節することができる。また、カメラの制御は、カメラのその他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマッティングパラメータ、又はライトフィールド処理パラメータの制御を含むこともできる。ユーザーインターフェイス２６０は、タッチスクリーン、ボタン、キーボード、ポインティング装置、及び／又はこれらに類似したものなどの、１つ又は複数の任意の適切なユーザー入力装置を含むことができる。この結果、ユーザーインターフェイスによって受け取られた入力は、データフォーマッティングを制御するためにＬＦデータフォーマッティングモジュール２５０を制御及び／又は構成するべく、取得されたライトフィールドデータの処理を制御するためにＬＦデータプロセッサ２５５を制御及び／又は構成するべく、且つ、ライトフィールドカメラ２００を制御するためにコントローラ２７０を制御及び／又は構成するべく、使用することができる。
【００５１】
ライトフィールドカメラは、１つ又は複数の置換可能な又は充電可能な電池などの電源２８０を含む。ライトフィールドカメラは、キャプチャされたライトフィールドデータ及び／又はレンダリングされた最終画像、或いは、本発明の実施形態の方法を実装するためのソフトウェアなどのその他のデータを保存するべく、メモリ２９０を含む。メモリは、外部及び／又は内部メモリを含むことができる。少なくとも１つの実施形態においては、メモリは、カメラ２００とは別個の装置及び／又は場所において提供することができる。一実施形態においては、メモリは、メモリスティックなどの着脱自在／スワップ可能なストレージ装置を含む。
【００５２】
また、ライトフィールドカメラは、キャプチャする前に、カメラの正面のシーンを観察するための、且つ／又は、予めキャプチャ及び／又はレンダリングされた画像を観察するための、表示ユニット２６５（例えば、ＬＣＤ画面）を含むこともできる。また、画面２６５は、１つ又は複数のメニュー又はその他の情報をユーザーに対して表示するべく、使用することもできる。ライトフィールドカメラは、ＦｉｒｅＷｉｒｅ又はユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）インターフェイスなどの１つ又は複数のＩ／Ｏインターフェイス２９５、或いは、インターネット、セルラーデータネットワーク、WiFiネットワーク、BlueTooth通信プロトコル、及び／又は任意のその他の適切な手段を介したデータ通信用の有線又は無線通信インターフェイスを更に含むこともできる。Ｉ／Ｏインターフェイス２９５は、レンダリング用途において、コンピュータシステム又は表示ユニットなどの外部装置との間における、本発明の実施形態に従ってＬＦデータフォーマッティングモジュールによって生成されたライトフィールドを表すデータ及び未加工のライトフィールドデータなどのライトフィールドデータ、或いは、ＬＦデータプロセッサ２５５によって処理されたデータなどのデータの転送のために使用することができる。
【００５３】
図２Ｂは、ライトフィールドデータフォーマッティングモジュール２５０及びライトフィールドデータプロセッサ２５３の潜在的な実装形態の特定の一実施形態を示すブロックダイアグラムである。
【００５４】
回路２０００は、メモリ２０９０と、メモリコントローラ２０４５と、１つ又は複数の処理ユニット（１つ又は複数のＣＰＵ）を含む処理回路２０４０と、を含む。１つ又は複数の処理ユニット２０４０は、ライトフィールドデータのフォーマッティング及びライトフィールドデータの処理を含む様々な機能を実行するべく、メモリ２０９０内において保存されている様々なソフトウェアプログラム及び／又は命令の組を実行するように構成されている。メモリ内において保存されているソフトウェアコンポーネントは、本発明の実施形態に従って取得されたライトデータを表すデータを生成するデータフォーマッティングモジュール（又は、命令の組）２０５０と、本発明の実施形態に従ってライトフィールドデータを処理するライトフィールドデータ処理モジュール（又は、命令の組）２０５５と、を含む。一般的なシステムタスク（例えば、電源管理やメモリ管理）を制御するための、且つ、装置２０００の様々なハードウェア及びソフトウェアコンポーネントの間の通信を促進するための、オペレーティングシステムモジュール２０５１、並びに、Ｉ／Ｏインターフェイスポートを介したその他の装置との間の通信を制御及び管理するためのインターフェイスモジュール２０５２、などの、ライトフィールドカメラ装置の用途のために、その他のモジュールがメモリ内において含まれていてもよい。
【００５５】
図３は、図２Ａのフォトセンサアレイ２２０上において形成された２Ｄ画像の一例を示している。しばしば、４Ｄライトフィールドを表す未加工画像と呼称される、２Ｄ画像は、マイクロ画像ＭＩのアレイから構成されており、それぞれのマイクロ画像は、マイクロレンズアレイ２１０の個々のマイクロレンズ（ｉ，ｊ）によって生成されている。マイクロ画像は、軸ｉ及びｊによって定義された矩形の格子構造において、アレイとして配列されている。マイクロレンズ画像は、個々のマイクロレンズ座標（ｉ，ｊ）によって参照することができる。フォトセンサ２２０のピクセルＰＩは、その空間座標（ｘ，ｙ）によって参照することができる。所与のピクセルと関連付けられた４Ｄライトフィールドデータは、（ｘ，ｙ，ｉ，ｊ）として参照することができる。
【００５６】
４Ｄライトフィールド画像を表す（又は、定義する）方法には、いくつかのものが存在している。例えば、４Ｄライトフィールド画像は、図３を参照して上述したように、マイクロレンズ画像の集合体によって表現することができる。また、４Ｄライトフィールド画像は、プレノプティックカメラによって記録される際には、サブアパーチャ画像の組によって表すこともできる。それぞれのサブアパーチャ画像は、それぞれのマイクロレンズ画像から選択された同一場所のピクセルから構成されている。更には、４Ｄライトフィールド画像は、エピポーラ画像の組によって表すこともできるが、これは、ピクセルビームのケースには該当しない。
【００５７】
本発明の実施形態は、ピクセルビームの概念に基づいたライトフィールドデータの表現を提供している。この結果、フォーマット及びライトフィールド装置の多様性を考慮することができる。実際に、光線に基づいたフォーマットの欠点の１つは、ピクセルフォーマット及びサイズを反映するように、光線を表すパラメータを演算するべく使用されるパラメータ化プレーンをサンプリングしなければならないという点にある。即ち、有意な物理的情報を回復するように、サンプリングをその他のデータに沿って定義する必要がある。
【００５８】
図４に示されているように、ピクセルビーム４０は、カメラの光学系４１の物体空間内の光線の組によって占有された容積を表している。光線の組は、前記光学系４１の瞳孔４４を通じて、カメラのセンサ４３のピクセル４２によって検知されている。光線とは逆に、ピクセルビーム４０は、自由にサンプリングされてもよく、その理由は、これらが、それ自体において、物理的な光線のセクションに跨るエネルギーの保存に対応する「etendue」を伝達しているからである。
【００５９】
光学系の瞳孔は、前記光学系の一部、即ち、開口絞りに先行するカメラのレンズ、を通じて観察される前記開口絞りの像として定義される。開口絞りは、カメラの光学系を通過する光の量を制限する開口である。例えば、カメラレンズ内に配置された調節可能なダイアフラムが、レンズ用の開口絞りである。ダイアフラムを通過することが認められる光の量は、カメラのユーザーが認めることを所望する光の量、またはフィールドの深さに応じて適合されうるダイアフラム開口の直径によって制御されている。例えば、開口を小さくすれば、ダイアフラムを通過することが認められる光の量が低減され、しかし、フィールドの深さが増大する。絞りの見かけのサイズは、レンズの屈折動作に起因して、その物理的なサイズを上回ってもよく、或いは、下回ってもよい。形式的には、瞳孔は、カメラの光学システムを通じた開口絞りの像である。
【００６０】
ピクセルビーム４０は、入射瞳孔４４を介して光学系４１を通じて伝播する際に所与のピクセル４２に到達する光線の光束として定義される。光が自由空間内において直線上を進行するのに伴って、このようなピクセルビーム４０の形状は、ピクセル４２の共役４５である１つのものと、入射瞳孔４４であるもう１つのものという、２つのセクションによって定義することができる。ピクセル４２は、その非ヌル表面及びその感度マップによって定義される。
【００６１】
従って、ピクセルビームは、カメラの物体空間内の瞳孔５４及びピクセル４２の共役５５という、２つの要素によってサポートされた、図５に示されている、一葉双曲面５０によって表すことができる。
【００６２】
一葉双曲面は、光線の光束の概念をサポートしうる線織面であり、且つ、物理的な光ビームの「etendue」の概念との適合性を有する。
【００６３】
一葉双曲面は、線織面であることから、双曲面の、主光線と呼称される、回転軸を中心として回転する、生成光線と呼称される、直線の少なくとも１つのファミリーが、このような表面を表現している。双曲面の生成ラインのファミリーに属する主光線及び任意の生成光線を定義するパラメータの知識は、ピクセルビーム４０、５０を定義するのに十分なものである。
【００６４】
ピクセルビーム４０、５０を表す一般的な式は、次式のとおりであり、
【数１】
2019511851.tif 000003
ここで、（ｘ０，ｙ０，ｚ０）は、（ｘ，ｙ，ｚ）座標系内のピクセルビームのウエストの中心の座標であり、ａ、ｂ、ｃは、それぞれ、Ｏｘ、Ｏｙ、Ｏｚに沿った半軸の長さに一致しており、且つ、θｘ、θｙは、瞳孔４４の中心の入口との関係における主光線方向を定義している。これらは、センサ４３上のピクセル４２位置と、光学系４１の光学要素とに、に依存している。更に正確には、パラメータθｘ、θｙは、瞳孔４４の中心からのピクセル４２の共役４５の方向を定義するせん断角度を表している。但し、このようなピクセルビーム４０、５０の表現は、大量のストレージ空間を占有することになり、その理由は、光線を保存するための従来のファイルフォーマットが、３Ｄ空間内の位置及び方向を保存することを有しているからである。ピクセルビームの表現を保存するべく必要とされるストレージ空間の量を低減するための解決策については、図９Ｂを参照して後述する。
【００６５】
本質的に、主光線は、滑らかにカメラのマイクロレンズアレイのマイクロレンズの中心を通過するように振る舞うことになる一方において、生成光線は、マイクロレンズの境界上において相対的に強力な逸脱を経験する。この生成光線の妨害により、図９Ｂを参照して説明されている方法を実行することが困難になり、その理由は、前記方法が、光線の順序付けられた集合体と共に稼働しているからである。これを目的として、本発明の発明者らは、このような生成光線のソートされた集合体を図９Ｂによる方法に対して供給するべく、カメラのピクセルビームの集合体の生成光線をソートする方法を提案している。
【００６６】
図６Ａは、本発明の１つ又は複数の実施形態によるカメラのピクセルビームの集合体の生成光線をソートする装置の主要なモジュールを概略的に示すブロックダイアグラムである。
【００６７】
装置６００は、バス６０６によって接続されたプロセッサ６０１、ストレージユニット６０２、入力装置６０３、表示装置６０４、及びインターフェイスユニット６０５を含む。当然のことながら、コンピュータ装置６００の構成要素は、バス接続以外の接続によって接続することもできる。
【００６８】
プロセッサ６０１は、装置６００の動作を制御している。ストレージユニット６０２は、プロセッサ６０１によって実行される、カメラのピクセルビームの集合体の生成光線をソートできる少なくとも１つのプログラムと、光学取得システムの光学系２１０に関係するパラメータ、プロセッサ６０１によって実行される演算によって使用されるパラメータ、プロセッサ６０１によって実行される演算の中間データなどを含む、様々なデータと、を保存している。プロセッサ６０１は、任意の既知の、且つ、適切な、ハードウェア、又はソフトウェア、或いは、ハードウェア及びソフトウェアの組合せによって形成することができる。例えば、プロセッサ６０１は、処理回路などの専用のハードウェアにより、或いは、そのメモリ内において保存されたプログラムを実行するＣＰＵ（Central Processing Unit）などのプログラム可能な処理ユニットにより、形成することができる。
【００６９】
ストレージユニット６０２は、任意の適切なストレージにより、或いは、プログラム、データ、又はこれらに類似したものをコンピュータ可読方式によって保存する能力を有する手段により、形成することができる。ストレージユニット６０２の例は、半導体メモリ装置などの一時的ではないコンピュータ可読ストレージ媒体と、読み取り及び書き込みユニット内に装填される磁気的、光学的、又は磁気光学的記録媒体と、を含む。プログラムは、プロセッサ６０１が、光学系の物体空間内の、光線の組によって占有された容積を表すパラメータを演算すると共に、図９Ｂを参照して後述する本開示の一実施形態に従って光学取得システムによってキャプチャされた画像によってこれらのパラメータをエンコードするためのプロセスを実行するようにしている。
【００７０】
入力装置６０３は、光学系の物体空間内の、光線の組によって占有された容積のパラメトリック表現を生成するために使用されるパラメータのユーザーの選択を実施するためのコマンドを入力するべく、ユーザーによって使用される、キーボード、マウスなどのポインティング装置、或いは、これらに類似したものによって形成することができる。出力装置６０４は、例えば、本開示の一実施形態に従って生成される画像である、グラフィカルユーザーインターフェイス（ＧＵＩ：Graphical User Interface）を表示するべく、表示装置によって形成することができる。入力装置６０３及び出力装置６０４は、例えば、タッチスクリーンパネルにより、一体的に形成されてもよい。
【００７１】
インターフェイスユニット６０５は、装置６００と外部装置の間のインターフェイスを提供している。インターフェイスユニット６０５は、ケーブル又は無線通信を介して外部装置と通信自在であってもよい。一実施形態においては、外部装置は、カメラ、またはそのようなカメラを内蔵したモバイル電話のようなポータブル機器、またはタブレットであってもよい。
【００７２】
図６Ｂは、本発明の１つ又は複数の実施形態によるカメラのピクセルビームの集合体の生成光線をソートする方法のステップを示すフローチャートである。
【００７３】
ピクセルビームの集合体を表すすべての生成光線が基準直線Δと交差している際には、この知識を使用することにより、ピクセルビームの集合体のピクセルビームを表すデータの次元を１つだけ低減することができる。本発明の一実施形態によるピクセルビームの集合体の生成光線をソートする方法は、このプロパティに依存している。
【００７４】
プレノプティック機能の２平行プレーンパラメータ化の例において、ピクセルビームを表す双曲面の基準直線Δ及び生成光線ρが、それぞれのプレーン内の２つの座標によって表されるものと定義しよう。
【数２】
2019511851.tif 000004
【００７５】
ρ及びΔは、互いに交差していることから、第１プレーンｘ１Ｏ１ｙ１及び第２プレーンｘ２Ｏ２ｙ２内の基準直線Δ及び第１プレーンｘ１Ｏ１ｙ１及び第２プレーンｘ２Ｏ２ｙ２内の生成光線ρをそれぞれ定義する４つの地点ＭΔ１、ＭΔ２、Ｍ１、Ｍ２は、パラメータｋが、
【数３】
2019511851.tif 000005
として定義されうるように、２つの平行なプレーンｘ１Ｏ１ｙ１及びｘ２Ｏ２ｙ２と交差する同一のプレーン内に配置されている。その結果、基準直線Δの座標（ｘΔ１，ｙΔ１，ｘΔ２，ｙΔ２）を知ることにより、トリプレット（ｘ１，ｙ１，ｋ）により、Δと交差する任意の生成光線ρを定義することができる。従って、次元が４から３に低減される。
【００７６】
同一の次元の低減に伴い、その他のパラメータ化を想定することもできる。
【００７７】
例えば、基準直線Δを知ることにより、トリプレット（ｘ１，ｙ１，ｚＩΔ１）により、生成光線（Ｍ１，ＩΔ）を定義することが可能であり、この場合に、ＩΔは、基準直線Δと生成光線ρの間の交差点であり、且つ、ｚＩΔ１は、Ｏｚに沿ったＩΔの座標である。
【００７８】
予備ステップＳ６０１において、カメラを較正することにより、或いは、リモートサーバー内において、又はカメラのメモリ２９０又はカメラに接続されたフラッシュディスクなどのローカルストレージ上において、保存されたデータファイルから、このようなパラメータを取得することにより、カメラのセンサのピクセルに関連付けられた異なるピクセルビームを定義するパラメータ（ｘ０，ｙ０，ｚ０）、ａ，ｂ，ｃ、及びθｘ，θｙが取得されている。この取得又は較正は、装置６００のプロセッサ６０１によって実行することができる。
【００７９】
パラメータ（ｘ０，ｙ０，ｚ０）、ａ，ｂ，ｃ、及びθｘ，θｙの値の演算は、例えば、カメラの光学系を通じた光線の伝播をモデル化する能力を有するプログラムを実行することにより、実現される。このようなプログラムは、例えば、Ｚｅｍａｘ（著作権）、ＡＳＡＰ（著作権）、又はＣｏｄｅＶ（著作権）などの光学設計プログラムである。光学設計プログラムは、光学系を設計及び分析するべく使用される。光学設計プログラムは、光学系を通じた光線の伝播をモデル化し、且つ、単純なレンズ、非球面レンズ、屈折率分布型レンズ、ミラー、及び回折光学要素などのような光学要素の効果をモデル化することができる。光学設計プログラムは、装置６００のプロセッサ６０１によって実行することができる。
【００８０】
プロセッサ６０１によって実行されるステップＳ６０２において、ピクセルビームの主光線のせん断が除去されている。主光線のせん断の除去は、次式の記述を有し、
【数４】
2019511851.tif 000006
これは、以下のように、その主光線がＯｚ軸に平行である一葉双曲面を付与し、
【数５】
2019511851.tif 000007
ここで
【数６】
2019511851.tif 000008
は、双曲面の表面に属するポイントの座標であり、且つ、（ｘ０，ｙ０，ｚ０）は、検討対象のピクセルビームのウエストの中心の座標である。
【００８１】
ステップＳ６０３において、プロセッサ６０１は、座標（ｘ０，ｙ０，ｚ０）のポイント上の双曲面のセンタリングを演算し、且つ、次いで、双曲面の正規化を演算しており、その結果、次式が得られる。
【数７】
2019511851.tif 000009
【００８２】
この結果、式（１）は、次式として読み替えられる。
Ｘ２＋Ｙ２−Ｚ２＝１      （４）
【００８３】
ピクセルビームのせん断除去と、その後のセンタリング及び正規化は、（ｘ，ｙ，ｚ）座標を（Ｘ，Ｙ，Ｚ）座標に変換する関数
【数８】
2019511851.tif 000010
の使用に戻る。
【００８４】
双曲面の中心軸は、Ｏｚ軸であることから、この軸に属する２つのポイントは、（ＸＹＺ）座標系において、座標（０，０，０）及び（０，０，１）という組を有する。オリジナルの座標系（ｘ，ｙ，ｚ）において変換して戻された、双曲面のこの中心軸は、ピクセルビームの主光線ρＣである。
【００８５】
式（４）によって定義された双曲面は、
・生成光線の第１のファミリーは、例えば、ζ＝１などの、任意の
【数９】
2019511851.tif 000011
について、座標の第１ポイント（１，０，０）及び座標の第２ポイント（１，ζ，ζ）を結合する直線のＯＺ軸を中心とした回転によって付与され、且つ、
・生成光線の第２ファミリーは、任意の
【数１０】
2019511851.tif 000012
について、座標のポイント（１，０，０）及び座標の第３ポイント（１，−ζ，ζ）を結合する直線のＯＺ軸を中心とした回転によって付与される、
という生成光線の２つのファミリーを有する。
【００８６】
オリジナルの座標系において変換して戻された、これらの生成光線のうちの任意のものをピクセルビームの生成光線であるρＧ０として選択することができる。
【００８７】
本発明の一実施形態による方法の以下の説明においては、（ＸＹＺ）座標系において、その座標が（１，０，０）であるＧ０と、その座標が（１，１，１）であるＩ０と、という２つのポイントが、（ＸＹＺ）座標系における初期生成光線ρＧ０を定義している。
【００８８】
ステップＳ６０４において、プロセッサ６０１は、先程定義された関数Ｔをカメラの物体空間内の基準直線Δに対して適用している。本発明の一実施形態においては、基準直線Δは、カメラのメインレンズの光軸である。本発明の別の実施形態においては、基準直線Δは、カメラのレンズアレイの中心軸であり、第３実施形態においては、基準直線Δは、カメラのメインレンズの光軸との間において
【数１１】
2019511851.tif 000013
以下の角度を形成する方向を有するラインである。
【００８９】
基準直線Δは、（ｘ，ｙ，ｚ）座標系における座標の２つのポイントＰΔ０（ｘΔ０，ｙΔ０，ｚΔ０）及びＰΔ１（ｘΔ１，ｙΔ１，ｚΔ１）によって定義されている。
【００９０】
関数ＴをＰΔ０及びＰΔ１の座標に適用することにより、（ＸＹＺ）座標系において、次式が得られる。
【数１２】
2019511851.tif 000014
【００９１】
ピクセルビームの主光線ρＣは、（ＸＹＺ）座標系におけるＯｚ軸であることから、主光線ρＣを中心とした角度φの回転は、次式の回転行列によって付与される。
【数１３】
2019511851.tif 000015
【００９２】
ρＧφ（Ｇφ，Ｉφ）を、主光線ρＣを中心とした角度φの回転による生成光線ρＧ０（Ｇ０，Ｉ０）の画像と命名することにより、ポイントの座標Ｇφ及びＩφは、次式によって付与される。
【数１４】
2019511851.tif 000016
【００９３】
ステップＳ６０５において、プロセッサ６０１は、変換済みの生成光線と呼称される、生成光線ρＧ０の２つの画像光線ρＧφａ及びρＧφｂの演算を可能にする２つの別個の回転角度φａ及びφｂの値を演算している。生成光線ρＧ０の２つの画像光線、即ち、光線ρＧφａ及びρＧφｂは、それぞれ、主光線ρＣを中心とした角度φａ及びφｂの回転によって得られる。
【００９４】
回転角度φの値は、所与の生成光線ρＧφが基準直線Δと交差した際に、即ち、基準直線Δと生成光線ρＧφの間の距離が０に等しい際に、得られる。
【００９５】
次式
【数１５】
2019511851.tif 000017
を有する２つの傾斜ラインの間の距離は、（Gellert et al. 1989, p. 538）により、付与される。
【数１６】
2019511851.tif 000018
【００９６】
これは、
【数１７】
2019511851.tif 000019
を定義することにより、以下のように、簡潔な形態において記述することができる。
【数１８】
2019511851.tif 000020
【００９７】
現時点のケースにおいては、
【数１９】
2019511851.tif 000021
の場合に、ｘ１＝ＰΔ０であり、且つ、ｘ２＝ＰΔ１であり、且つ、ｘ３＝Ｇφであり、且つ、ｘ４＝Ｉφである。
【００９８】
２つの直線の間の距離がゼロに等しい場合には、次式の演算に戻る。
【数２０】
2019511851.tif 000022
【００９９】
基準直線Δ及び生成光線ρＧφのケースにおいては、次式のとおりである。
【数２１】
2019511851.tif 000023
【０１００】
Ａ、Ｂ、及びＣが、次式のとおりである場合に、Ｄ＝Ａ．ｃｏｓφ＋Ｂ．ｓｉｎφ−Ｃと記述される。
【数２２】
2019511851.tif 000024
【０１０１】
次式により、Ｄ＝０を付与するφにおける２つの解を見出すことができる。
【数２３】
2019511851.tif 000025
【０１０２】
弁別式：∧＝４．Ａ２．Ｂ２−４．（Ｂ２−Ｃ２）．（Ａ２−Ｃ２）＝４．（Ａ２＋Ｂ２−Ｃ２）．Ｃ２
【０１０３】
これは、次式のような２つの解をもたらす。
【数２４】
2019511851.tif 000026
【０１０４】
従って、２つの角度φ＋及びφ−が、基準直線Δと交差するものとして、所与の生成光線ρＧφについて識別される。
【０１０５】
同一の双曲面について生成光線の２つのファミリーが存在していることから、ピクセルビームを生成する４つの異なる光線が、生成光線の２つのファミリーのそれぞれごとに２つずつ、基準直線Δと交差している。１つの生成光線が、基準直線と交差している４つの生成光線のうちから選択される。次いで、選択された生成光線は、ステップＳ６０６において、オリジナルの座標系において変換して戻される。
【０１０６】
従って、本発明の一実施形態においては、２つ光線ρＧφａ及びρＧφｂは、ピクセルビームを生成する４つの異なる光線のうちから選択されている。
【０１０７】
この方法は、カメラの異なるピクセルビームに対して実行される。即ち、光線の２つの集合体が取得され、第１の光線の集合体は、カメラのピクセルビームの第１の変換済みの生成光線ρＧφａを含み、且つ、第２の光線の集合体は、第２の変換済みの生成光線ρＧφｂを含む。
【０１０８】
ステップＳ６０７において、変換済みの生成光線ρＧφａ及びρＧφｂは、０≦φｂ−φａ＜πとなるように、必要に応じて、生成光線の集合体内において再順序付けされている。
【０１０９】
ステップＳ６０８において、画像光線ρＧφａ又はρＧφｂのうちの１つと主光線ρＣの間の最短距離ｄが演算されている。この最短距離ｄは、ピクセルビームを表す双曲面のウエストに対応しており、且つ、本発明の一実施形態による方法のステップＳ６０５を参照して上述したように、(Gellert et al. 1989, p. 538)によって付与されている方法に従って演算される。
【０１１０】
次いで、ピクセルビームを表すためのコンパクトなフォーマットを提供するべく、本発明による方法のステップＳ６０１〜Ｓ６０８に従って演算された、ピクセルビームを表す、３つのパラメータ（ρＧφａ，ρＧφｂ，ｄ）が、図９Ｂを参照して後述する方法において使用される。
【０１１１】
トリプレット（ρＧφａ，ρＧφｂ，ｄ）を知ることにより、ピクセルビームを再構築することができる。画像光線ρＧφａ及びρＧφｂは、生成光線の同一のファミリーに属していることから、これら２つのラインは、決して交差することがなく、且つ、相対的に短い距離に位置する２つ地点は、ピクセルビームの相対的に小さな半径の円上に、即ち、そのウエスト上に、位置している。
【０１１２】
２つの地点であるＭＧａ及びＭＧｂが、その他のラインから相対的に短い距離に位置しており、且つ、空間内のベクトルである
【数２５】
2019511851.tif 000027
が、これら２つの地点を結合しているものと定義しよう。文献から、
【数２６】
2019511851.tif 000028
であることが知られており、この場合に、ｋａｂは、定数であり、
【数２７】
2019511851.tif 000029
は、ρＧａ及びρＧｂの単位ベクトルであり、且つ、×は、外積である。
【０１１３】
同様に、ＭＧａとＭＧｂの間の中間地点であるＭａｂを定義しよう。対称性を理由として、主光線ρＣは、光線ファミリーを生成するピクセルビームの回転軸であることから、
１）ρＣは、
【数２８】
2019511851.tif 000030
に対して垂直であるＭａｂを通じたプレーンΠ上において位置し、
２）ρＣは、
【数２９】
2019511851.tif 000031
に対して平行であるその単位ベクトルを有し、これにより、ピクセルビームのウエストの中心であるＭＣがノルムと命名され、且つ、ベクトルである
【数３０】
2019511851.tif 000032
の向きが演算される。
【０１１４】
【数３１】
2019511851.tif 000033
は、プレーンΠ内に位置しており、且つ、対称性の理由から、
【数３２】
2019511851.tif 000034
に対して垂直であることを知ることにより、
【数３３】
2019511851.tif 000035
と表現することが可能であり、この場合に、ｋＣ⊥は、ウエスト半径ｄに応じて判定される定数である。ｋＣ⊥は、正又は負であってもよく、これにより、
【数３４】
2019511851.tif 000036
ベクトルの一側部又は他側部においてウエスト円を定義している。
【０１１５】
但し、画像光線ρＧφａ及びρＧφｂが＋ｚに向かって方向付けられており（この場合には、単位ベクトルのｚ座標は、正である）、且つ、これらは、０≦φｂ−φａ＜πとなるように順序付けられている、という条件が、ｋＣ⊥が正として定義されるように、外積ベクトルの向きを制約している。
【０１１６】
３）ｋＣ⊥値は、
【数３５】
2019511851.tif 000037
（且つ、同時に、対称性の理由から、
【数３６】
2019511851.tif 000038
）となるように調節されている。
【０１１７】
条件１、２、及び３は、ピクセルビームの再構築を可能にするトリプレット（ρＧφａ，ρＧφｂ，ｄ）から主光線ρＣを定義している。
【０１１８】
相対的に小さなストレージ空間を必要としている、光線を保存するファイルフォーマットを提案するべく、図７Ａに示されているキューブを参照し、ライトフィールド放射輝度の４つの次元をパラメータ化する方法について説明することができる。ライトフィールドをパラメータ化するべく、キューブのすべての６つの面を使用することができる。方向をパラメータ化するべく、キューブの面に対して平行であるプレーンの第２の組を追加することができる。その結果、次式：
【数３７】
2019511851.tif 000039
のように、軸方向に沿って法線を有するプレーンの６つのペアとの関係において、ライトフィールドを定義することができる。
【０１１９】
図７Ｂは、それぞれ、互いに平行に位置決めされると共に既知の深さｚ１及びｚ２において配置された、パラメータ化に使用される２つの基準プレーンＰ１及びＰ２を通過する、ピクセルビームを定義する生成光線などの、ライトフィールド光線を示している。ライトフィールド光線は、深さｚ１において、交差点（ｘ１，ｙ１）において第１基準プレーンＰ１と交差し、且つ、深さｚ２において、交差点（ｘ２，ｙ２）において第２基準プレーンＰ２と交差している。その結果、ライトフィールド光線は、４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって識別することができる。従って、ライトフィールドは、それぞれのライトフィールド光線が、４Ｄ光線空間において、ポイント（ｘ１，ｙ１，ｘ２，ｘ２，）∈Ｒ４として表される状態において、本明細書においてパラメータ化プレーンとも呼称されている、パラメータ化Ｐ１、Ｐ２用の基準プレーンのペアにより、パラメータ化することができる。従って、これは、カメラのピクセルビームの集合体のそれぞれの生成光線ごとに、実行される。
【０１２０】
例えば、基準座標系の原点は、座標軸系の基本ベクトル
【数３８】
2019511851.tif 000040
によって生成されるプレーンＰ１の中心において配置することができる。
【数３９】
2019511851.tif 000041
軸は、生成されたプレーンＰ１に対して垂直であり、且つ、わかりやすさを目的として、第２プレーンＰ２は、
【数４０】
2019511851.tif 000042
軸に沿ったプレーンＰ１からの距離ｚ＝Δにおいて配置することができる。６つの異なる伝播の方向を考慮するべく、このようなプレーンの６つのペアにより、ライトフィールド全体を特徴付けることができる。しばしばライトスラブと呼称される、プレーンのペアが、伝播の方向に沿ってライトフィールドカメラのセンサ又はセンサアレイとやり取りしているライトフィールドを特徴付けている。
【０１２１】
パラメータ化用の基準プレーンの位置は、次式：
【数４１】
2019511851.tif 000043
として付与することが可能であり、ここで、
【数４２】
2019511851.tif 000044
は、法線であり、且つ、ｄは、法線の方向に沿った３Ｄ座標系の原点からのオフセットである。
【０１２２】
パラメータ化用の基準プレーンのデカルト式は、次式として付与することができる。
【数４３】
2019511851.tif 000045
【０１２３】
ライトフィールド光線が、
【数４４】
2019511851.tif 000046
という既知の位置と、
【数４５】
2019511851.tif 000047
という正規化された伝播ベクトルと、を有する場合には、３Ｄにおける光線の一般的なパラメトリック方程式は、次式：
【数４６】
2019511851.tif 000048
として付与することができる。
【０１２４】
ライトフィールド光線と基準プレーンの間の交差点である
【数４７】
2019511851.tif 000049
の座標は、次式：
【数４８】
2019511851.tif 000050
として付与される。
【０１２５】
以下の条件が充足されない場合には、ライトフィールド光線と基準パラメータ化の間に交差点は存在していない。
【数４９】
2019511851.tif 000051
【０１２６】
ライトフィールドをパラメータ化するべく使用される基準プレーンのペアのシステムの軸のうちの１つに伴う垂直性に起因して、光線交差点の成分の１つは、それぞれのプレーンごとに、常に一定である。従って、第１基準プレーンとの間におけるライトフィールド光線の交差点
【数５０】
2019511851.tif 000052
と、第２基準プレーンとの間における前記ライトフィールドの交差点
【数５１】
2019511851.tif 000053
と、が存在している場合には、４つの座標は、変化し、且つ、ライトフィールド光線の４つのパラメータを算出するべく、式Ａを使用することができる。これら４つのパラメータは、ライトフィールドの４Ｄ光線図を構築するべく、使用することができる。
【０１２７】
２つのパラメータ化基準プレーンを参照したライトフィールドのパラメータを仮定することにより、ライトフィールドを表すデータを以下のように取得することができる。基準システムが、図８に描かれているように設定されている場合には、第１パラメータ化プレーンＰ１は、ｚ＝ｚ１においてｚ軸に対して垂直であり、第２パラメータ化プレーンＰ２は、ｚ＝ｚ２においてｚ軸に対して垂直に配置されており、且つ、そのライトフィールドパラメータがＬ（ｘ１；ｙ１；ｘ２；ｙ２）である光線は、ライトフィールドカメラのフォトセンサアレイが位置決めされる場所ｚ＝ｚ３においてレンダリングする必要がある。式（Ａ）から、次式のとおりである。
【数５２】
2019511851.tif 000054
【０１２８】
上述の式を展開することにより、次式が得られる。
【数５３】
2019511851.tif 000055
【０１２９】
式の両方の組は、新しい場所におけるレンダリングされたライトフィールド光線として、同一のポイント
【数５４】
2019511851.tif 000056
を供給することになろう。ｕｘ，ｕｙ，ｕｚを
【数５５】
2019511851.tif 000057
の関数としてのそれぞれの対応する式によって置換することにより、以前のブロックからの式の第２の組が使用され、且つ、ｘ３及びｙ３が１つに加算される場合には、次式のとおりである。
【数５６】
2019511851.tif 000058
【０１３０】
これは、以下の式をもたらす。
【数５７】
2019511851.tif 000059
【０１３１】
添え字３を有する座標は、ライトフィールドがレンダリングされる既知のポイント（ｘ３，ｙ３，ｚ３）に関係している。すべての深さ座標ｚｉは、既知である。パラメータ化プレーンは、伝播又はレンダリングの方向において位置している。ライトフィールドデータパラメータＬは、（ｘ１，ｙ１，ｘ２，ｙ２）である。
【０１３２】
ポイント（ｘ３，ｙ３，ｚ３）において画像を形成するライトフィールド光線は、
【数５８】
2019511851.tif 000060
においてハイパープレーンを定義する式（Ｂ）によってリンクされている。
【０１３３】
これは、画像が２プレーンパラメータ化ライトフィールドからレンダリングされる場合には、ハイパープレーンの近傍内の光線のみをレンダリングする必要があり、それらを追跡する必要はないことを意味している。図９Ａは、本発明の１つ又は複数の実施形態によるライトフィールドを表すデータを生成する方法のステップを示すフローチャートである。図９Ｂは、本発明の１つ又は複数の実施形態によるライトフィールドを表すデータを生成するシステムの主要なモジュールを概略的に示すブロックダイアグラムである。
【０１３４】
方法の予備的ステップＳ８０１において、生成光線を定義するパラメータと、カメラのセンサのピクセルに関連付けられた異なるピクセルビームの生成光線の１つと主光線ρＣの間の最短距離と、が取得されている。これらのパラメータは、上述の生成光線をソートする方法の結果として得られる。
【０１３５】
このようなパラメータは、異なるピクセルの基準直線と交差する２つの生成光線の座標である。
【０１３６】
別の予備的ステップＳ８０２において、未加工のライトフィールドデータが、ライトフィールドカメラ８０１により、取得されている。未加工のライトフィールドデータは、例えば、図３を参照して説明したマイクロ画像の形態を有することができる。ライトフィールドカメラは、図１Ａ又は図１Ｂ並びに図２Ａ及び図２Ｂに示されているものなどの、ライトフィールドカメラ装置であってもよい。
【０１３７】
ステップＳ８０３において、取得されたライトフィールドデータは、個々の深さｚ１、ｚ２におけるパラメータ化用の基準プレーンのペアＰ１、Ｐ２との間における、ピクセルビーム４０、５０の基準直線と交差する生成光線に対応する、キャプチャされたライトフィールド光線の交差点を定義する交差点データ（ｘ１，ｙ１，ｘ２，ｙ２）を提供するべく、光線パラメータモジュール８０２によって処理されている。
【０１３８】
カメラの較正から、投影の中心（ｘ３，ｙ３，ｚ３）、カメラの光軸の向き、及びカメラのピンホールからフォトセンサのプレーンまでの距離ｆという、パラメータを判定することができる。図１０には、ライトフィールドカメラパラメータが示されている。フォトセンサプレーンは、深さｚｐにおいて配置されている。フォトセンサのピクセル出力は、ライトフィールド光線の幾何学的表現に変換されている。２つの基準プレーンＰ１及びＰ２を含むライトスラブは、フォトセンサに対するカメラの投影の中心の他側において、ｚ３を超えて、それぞれ、深さｚ１及びｚ２において配置されている。三角形の原則を光線に適用することにより、マイクロレンズのアレイから投影された光を記録するピクセル座標（ｘｐ，ｙｐ，ｚｐ）は、以下の式を適用することにより、光線パラメータに、即ち、基準プレーン交差点（ｘ１，ｙ１，ｘ２，ｙ２）に、マッピングすることできる。
【数５９】
2019511851.tif 000061
【０１３９】
上述の計算は、異なるトリプレットのペア（ｘｐ，ｙｐ，ｚｐ）（ｘ３，ｙ３，ｚ３）を有する複数のカメラに拡張することができる。
【０１４０】
プレノプティックカメラのケースにおいては、アパーチャを有するカメラモデルが使用され、且つ、ライトフィールド光線は、原点（ｘｐ，ｙｐ，ｚｐ）及び方向（ｘ’３，ｙ’３，１）を有するものとして、位相空間内において記述される。深さｚ３におけるプレーン（ｘ３、ｙ３）上へのその伝播は、行列変換として記述することができる。レンズは、光線を屈折させるべく、ＡＢＣＤ行列として機能することになり、且つ、別のＡＢＣＤ伝播行列が光線をライトスラブ基準プレーンＰ１及びＰ２上に配置することになる。
【０１４１】
このステップから、基準プレーンＰ１、Ｐ２との間における、基準直線と交差する生成光線の交差点を幾何学的に定義する交差点データ（ｘ１，ｙ１，ｘ２，ｙ２）が取得される。
【０１４２】
ステップＳ８０４において、交差点データ（ｘ１，ｙ１，ｘ２，ｙ２）をグラフィカルに表す２Ｄ光線図が、光線図生成器モジュール８０３によって取得されている。
【０１４３】
図１１は、アパーチャ｜Ａ｜＜０．５を有する、場所ｘ３＝２及び深さｚ３＝２におけるカメラによってキャプチャされたライトフィールド光線の交差点データ（ｘ１，ｘ２）をグラフィカルに表す２Ｄ光線図である。パラメータ化するべく使用される光線図のデータラインが、２５６×２５６個のピクセルの画像を提供する２５６個のセルによってサンプリングされている。
【０１４４】
図１１に示されている光線図を行列として解釈すれば、これは、まばらに入力されていることがわかる。光線が、４Ｄ位相空間行列の代わりに、ファイル内において、個別に保存される必要がある場合には、これは、それぞれの光線ごとに、それぞれの位置ｘｉ又はｘ３ごとに少なくとも２バイト（ｉｎｔ１６）と、これに加えて、色用の３バイト、即ち、２Ｄスライスライトフィールドの場合には、７バイト／光線、そして、そのフル４Ｄ表現の場合には、１１バイト／光線、を保存することを必要とすることになろう。その場合にも、光線は、ファイル内においてランダムに保存されることになり、これは、表現の操作を必要としている用途の場合には、適していないであろう。本発明の本発明者らは、光線図行列から代表データのみを抽出すると共にデータを構造化された方式によってファイル内において保存する方法を判定した。
【０１４５】
ライトフィールド光線は、２Ｄ光線図のデータラインに沿ってマッピングされることから、ライン値自体ではなく、データラインを定義するパラメータを保存するほうが効率的である。そのデータラインに属するライトフィールド光線の組と共に、例えば、勾配定義パラメータｓ及び軸切片ｄなどの、データラインを定義するパラメータを保存することができる。
【０１４６】
これは、例えば、勾配パラメータｓ用に２バイト、切片パラメータｄ用に２バイト、そして、その結果、光線当たりには、３バイトというほどに、少ない容量しか必要としえないであろう。更には、光線をファイル内においてラインに沿って順序付けすることもできる。行列セルを通じてラインを設定するべく、最小誤差を有する光線ラインを近似する、所謂、デジタルラインが生成される。
【０１４７】
データラインを見出すべく、且つ、勾配パラメータｓ及び切片パラメータｄを取得するべく、ステップＳ８０５において、ライン検出モジュール８０４により、ステップＳ８０４において生成された光線図に対してラドン変換が実行されている。
【０１４８】
ステップＳ８０６において、デジタルライン生成モジュール８０５により、取得された勾配パラメータｓ及び切片パラメータｄから、代表的なデジタルラインが生成されている。このステップにおいては、デジタルラインは、例えば、ブレゼンハムのアルゴリズムを適用することにより、分析ラインをその最も近いグリッドポイントに対して近似することにより、生成されている。実際に、ブレゼンハムのアルゴリズムは、最小の演算を有するデジタルラインを提供する方法を提供している。その他の方法は、高速離散ラドン変換計算を適用することができる。ブレゼンハムアプリケーションの一例は、以下の参考文献：http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.htmlから適合されたものである。
【０１４９】
デジタルフォーマットは、グリッドの２つのポイント（０，ｄ）及び（Ｎ−１，ｓ）によってデータラインを定義しており、ここで、ｄは、ｘ１＝０である際のｘ２の値に対応する交差点であり、且つ、ｓは、ｘ１＝Ｎ−１である際のｘ２の値に対応する勾配パラメータである。生成されたデジタルフォーマットから、それぞれの個々のラインの勾配ａは、ｄ、Ｎ、及びｓの関数として、次式：
【数６０】
2019511851.tif 000062
（ここで、ｓ∈｛０，１，…．Ｎ−１｝であり、且つ、ｄ∈｛０，１，…．Ｎ−１｝である）として表現することができる。
【０１５０】
図１２は、ブレゼンハムのアルゴリズムの適用によって生成されたデジタルラインの一例を示している。
【０１５１】
図１３は、同一の勾配ａ（或いは、ｓ−ｄ）を有するが、異なる切片ｄを有する、デジタルラインのグループを示しており、この場合に、このデータラインのグループは、連続的である。このデータラインのグループは、本明細書においては、ラインの束と呼称され、且つ、カメラが理想的なピンホールカメラではない結果として得られるビームに対応している。それぞれのラインは、異なるピクセルをアドレス指定している。換言すれば、１つのピクセルは、同一の勾配を有するが、異なる切片を有する、束の一意のラインにのみ属している。軸交差点ｄの上部及び下部境界は、それぞれ、ｄｍａｘ及びｄｍｉｎとして付与されている。
【０１５２】
（２Ｄにおける）サンプリングされたラインのペアによってパラメータ化されると共に１つのカメラに属している、光線データは、データを表すべく使用される位相空間内においてデジタルライン（ビーム）のファミリーに属している。ビームのヘッダは、ビームの勾配ａと、軸交差点ｄｍａｘ−ｄｍｉｎの上部及び下部境界によって定義された太さと、のみを含むことできる。光線値は、そのヘッダがｄ及びｓでありうるデジタルラインに沿ったＲＧＢ色として保存されることになる。サンプリングされた空間内の光線図の空のセルは、保存する必要がない。光線の座標ｘ１，ｘ２は、パラメータｄ、ｓから、且つ、デジタルラインに沿ったセルの位置から、推定することができる。
【０１５３】
ライトフィールドから、或いは、カメラの形状から、推定されるパラメータは、勾配ａ、デジタルライン切片の下部及び上部境界（ｄｍｉｎ，ｄｍａｘ）、デジタルラインパラメータ（ｄｉ，ｓｉ）である。離散ラドン変換については、光線図内におけるライトフィールドのサポート場所を計測するためのツールとして既に説明済みである。
【０１５４】
図１４Ｂは、図１４Ａのデータラインのデジタルラインパラメータ空間（ｄ，ｓ）における離散ラドン変換を示している。図１４Ｃは、図１４Ｂに含まれている対象の領域のズームである。最大値パラメータについてのサーチにより、デジタルラインのビームが見出される。ＤＲＴの対称性の幾何学的中心と最大値の実際の位置の間には、画像コンテンツに起因して、なんらかのオフセットが存在する可能性があり、その結果、後から、最大値の代わりに、対称性の中心の位置を示すべく、アルゴリズムが使用される。その結果、値（ｄｍｉｎ，ｄｍａｘ）を付与するべく、図１３Ｃに示されているビーム変換のウエストを見出すのは、容易である。ポイント（ｄｍｉｎ＝７４，ｓ＝２０１）は、図１２Ａからのデジタルラインのビームの下部エンベロープであり、且つ、ポイント（ｄｍａｘ＝８１，ｓ＝２０８）は、デジタルラインのビームの上部エンベロープである。
【０１５５】
式Ｂからの２つの直交２Ｄスライス化空間の式は、次式として付与される。
（ｚ２−ｚ３）（ｘ１＋ｙ１）＋（ｚ３−ｚ１）（ｘ２＋ｙ２）＝（ｚ２−ｚ１）（ｘ３＋ｙ３）      （Ｃ）
【０１５６】
ｘｉ座標用の２Ｄスライスが取得された場合には、（ｘ３，ｙ３，ｚ３）におけるサイズＡのアパーチャを通じた光線データがマッピングすることになるラインのビームの式は、次式：
【数６１】
2019511851.tif 000063
として付与される。
【０１５７】
同様に、２Ｄスライスがｙｉ座標について取得された場合には、
【数６２】
2019511851.tif 000064
のとおりである。
【０１５８】
上述のように、ｍ及び
【数６３】
2019511851.tif 000065
の値は、離散ドメインにおいて評価することができる。上述のフォーマットによって定義されたライトフィールドの特性を局所化するには、４Ｄ離散ラドン変換（ＤＲＴ）を実行する必要はない。２つの直交２Ｄ−ＤＲＴが取得された場合に、ハイパープレーンの勾配ｍと、すべてのデータが４Ｄ光線図内において集中するデジタルハイパープレーンのビーム幅と、の計測を実行することができる。
【０１５９】
この相対的に単純な位置特定の手順は、
【数６４】
2019511851.tif 000066
がすべてのハイパープレーン切片を含むことになり、フォーマットにおいて記述されているいくつかの値が値を含むことにならないように、円形の入射瞳孔Ａを仮定している。
【０１６０】
２Ｄのケースについて提案されたものに類似した４Ｄケース用のフォーマットを取得することが興味深いであろう。これを実行するためには、Π（ｘ１，ｘ２）プレーン上において見出された２ＤラインをΠ（ｙ１，ｙ２）場所上において見出されるライン、即ち、Π（ｘ１，ｘ２）及びΠ（ｙ１，ｙ２）の２つの直交スライスとの間における対応するハイパープレーンの交差の結果として得られるライン、と関連付けることが興味深いであろう。式Ｄ及び式Ｅから、対応するラインが同一の勾配ｍを有することが判明している。これは、特定の深さにおけるカメラにおいて、Π（ｘ１，ｘ２）内のそれぞれのラインをΠ（ｙ１，ｙ２）内のラインに対して関連付ける第１のパラメータである。同一の深さにおいて複数のカメラが存在している場合（即ち、図１４Ａのケース）には、ｍという同一の推定された勾配を有する、Π（ｘ１，ｘ２）内の３つのラインと、Π（ｙ１，ｙ２）内の３つのラインと、が存在している。次いで、これら２つのプレーン内のラインの間のラインオフセットにおける対応性が判定される。これを実行するべく、式Ｄ及び式Ｅにおけるラインの公式が活用される。具体的には、
【数６５】
2019511851.tif 000067
と表記することにより、オフセットは、次式のとおりである。
【数６６】
2019511851.tif 000068
【０１６１】
これらの式の組は、ｋ、ｘ３、及びｙ３について解くことができる。（ｘ３，ｙ３，ｚ３）は、カメラの座標に、或いは、換言すれば、対応する光束が半径Ａの円内に合焦されるボクセルに、対応していることに留意されたい。我々は、
【数６７】
2019511851.tif 000069
となるように、ｚ３において位置決めされたプレーン上のアパーチャが円形であるものと想定しており、且つ、以前の式の組を解くことにより、次式が得られた。
【数６８】
2019511851.tif 000070
【０１６２】
デジタルラインは、以前と同様に、ブレゼンハムデジタルラインを使用することにより、Π（ｘ１，ｘ２）上においてスキャニングされてもよく、それぞれの個々の（ｘ１，ｘ２）値ごとに、ライトフィールド内においてキャプチャされた対応する（ｙ１，ｙ２）値が保存される。このような値を見出すべく、式Ｃが活用される。ｘ３、ｙ３、ｚ３、ｚ１、ｚ２のすべては、既知であるか、或いは、式Ｆ及び式Ｇから推定されている。
【０１６３】
Π（ｘ１，ｘ２）内のそれぞれのライン上において移動することにより、それぞれの
【数６９】
2019511851.tif 000071
ごとに、（ｙ１，ｙ２）における以下の関係：
【数７０】
2019511851.tif 000072
或いは、
【数７１】
2019511851.tif 000073
が得られる。
【０１６４】
Π（ｘ１，ｘ２）内のそれぞれのポイントごとに、Π（ｙ１，ｙ２）内のラインの集合体が保存される。ｄｏｆｆは、
【数７２】
2019511851.tif 000074
についてスキャニング及び保存されたラインのオフセットに対応している。次式：
【数７３】
2019511851.tif 000075
に留意されたい。
【０１６５】
図１２を参照すれば、それぞれの正方形は、
【数７４】
2019511851.tif 000076
ポイントであり、且つ、これらのポイントのうちのそれぞれごとに、描かれたデータラインに対して垂直に、但し、４Ｄ空間内において、次式：
【数７５】
2019511851.tif 000077
によって定義されたデジタル束に沿って図のプレーンから射出するブレゼンハムデジタルラインの組が存在している。
【０１６６】
表１には、カメラ当たりのデータラインの束用の例示用のデータフォーマットが示されている。
【０１６７】
【表１】
2019511851.tif 000078
【０１６８】
第１に、４つの軸の境界ｘ１、ｘ２、ｙ１、ｙ２と、その対応するサンプリングと、を含む、４Ｄ空間の一般的なメタデータが提供されている。また、カメラ（束）の数も提供されている。それぞれのカメラｊごとに、以下のパラメータが保存されている。
アパーチャのサイズ：ピクセルビームの瞳孔の直径に対応したＡｊ
カメラｃａｍｊの焦点：ｆｏｃｕｓＰｏｉｎｔ＝（ｕ３，ｕ３，ｗ３）
（ｘ１ｘ，２）＝ｄｊにおける最小ｄ切片
急峻性＝ｍｊ
（ｘ１，ｘ２）におけるデジタルラインの数＝
【数７６】
2019511851.tif 000079
（ｙ１、ｙ２）におけるデジタルラインの数＝
【数７７】
2019511851.tif 000080
【０１６９】
それぞれのカメラ上において、それぞれの（ｘｑ１，ｘｑ２）ごとに、ブレゼンハムデジタルラインを使用することにより、式（Ｋ）との関係において、スキャニングが（ｙ１，ｙ２）上において開始され、且つ、それぞれのライトフィールド光線のＲＧＢ値が保存される。具体的には、
【数７８】
2019511851.tif 000081
と、対応するｄｏｆｆと、は、式（Ｋ）に従って算出される。
【０１７０】
保存されているメタデータを使用することにより、同一の計算がデコーディングステップにおいて実行される。具体的には、式（Ｈ）を使用することにより、ｋが見出される。従って、フォーマットは、コンパクトな状態において留まっている。システム内においてそれぞれの光線ごとに４つのインデックスを保存する必要性は存在していない。上述のハイパープレーンのサンプリングは、４Ｄ光線空間のサンプリングであり、且つ、従って、単一のｘ１；ｙ１；ｘ２；ｙ２場所も見逃されないことに留意されたい。これは、非常にコンパクトな形態においてすべてのデータを保存するための４Ｄ光線空間のシステマチックなスキャニングの一例であるに過ぎない。当然のことながら、その他のプロセスを適用することもできる。このパラメトリックな形態は、ハイパープレーンを調査するべく適合されているものと考えられ、その理由は、これが、インターリーブされた空間の調査を許容しているからである。
【０１７１】
ハイパープレーンのいくつかの束（複数のカメラに起因したラドン変換におけるいくつかの極大値）を含むデータを検討するための複数のカメラのケースにおいては、相対的に複雑なアルゴリズムを使用することができる。事前処理ステップとして、パラメータ（ｍ，ｋ）が、Π（ｘ１，ｘ２）のラドン変換において、すべてのピークについて見出され、且つ、１つの組として配置される。同一の内容が、（ｙ１，ｙ２）におけるピークについても実行され、且つ、パラメータが別の組として配置される。この結果、貪欲なアルゴリズムのそれぞれの反復において、最大ピーク強度が（ｘ１，ｘ２）の２Ｄラドン変換において見出され、且つ、予め見出されたパラメータ（ｍ，ｋ）をマッチングさせることにより、（ｙ１，ｙ２）における対応するピークが見出される。最後の節において言及したように、データを保存した後に、これらのピークは、ラドン変換からクリーニングされ、且つ、有意なものがライトフィールド内において存在しなくなる時点まで、次の反復が開始される。
【０１７２】
以上、特定の実施形態を参照し、本発明について説明したが、本発明は、特定の実施形態に限定されるものではなく、且つ、当業者には、本発明の範囲に含まれる変更が明らかとなろう。
【０１７３】
多くの更なる変更及び変形は、例としてのみ付与されていると共に、添付の請求項によってのみ判定される本発明の範囲の限定を意図したものではない、上述の例示用の実施形態を参照した際、それ自体が当業者に対して示唆されることになろう。具体的には、異なる実施形態からの異なる特徴が、適宜、相互交換可能でありうる。
【図１Ａ】
2019511851.tif 000082
【図１Ｂ】
2019511851.tif 000083
【図２Ａ】
2019511851.tif 000084
【図２Ｂ】
2019511851.tif 000085
【図３】
2019511851.tif 000086
【図４】
2019511851.tif 000087
【図５】
2019511851.tif 000088
【図６Ａ】
2019511851.tif 000089
【図６Ｂ】
2019511851.tif 000090
【図７Ａ】
2019511851.tif 000091
【図７Ｂ】
2019511851.tif 000092
【図８】
2019511851.tif 000093
【図９Ａ】
2019511851.tif 000094
【図９Ｂ】
2019511851.tif 000095
【図１０】
2019511851.tif 000096
【図１１】
2019511851.tif 000097
【図１２】
2019511851.tif 000098
【図１３】
2019511851.tif 000099
【図１４Ａ】
2019511851.tif 000100
【図１４Ｂ】
2019511851.tif 000101
【図１４Ｃ】
2019511851.tif 000102
【図１５】
2019511851.tif 000103
【国際調査報告】
2019511851.tif 000104
2019511851.tif 000105