(57)【要約】  独自のファイルフォーマットを有するいくつかのタイプのプレノプティックデバイスが存在する。現在のところ、ライトフィールドが依存する異なるパラメータの包括的な概要に対する多次元情報の取得および伝送の標準的なサポートは存在しない。従って、異なるカメラに対して取得されたライトフィールドデータは、多様なフォーマットを有する。従って、カメラの光学系の物体空間における１組の光線により占められるボリュームを表すピクセルビームの概念を紹介する。本発明による方法は、依存しない第１の光学系を説明するピクセルビームの集合体を表すデータの提供を可能にするが、その理由は、これらのデータは、第２の光学系を介してピクセルビームの集合体を結像することによって得られるためである。ピクセルビームの集合体を表すそのようなデータは、後処理がそこから行われるパラメータ化された出力画像の生成を可能にする。
2019522909.tif 000002
【特許請求の範囲】
【請求項１】
光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するコンピュータ実装方法であって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記方法が、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、前記第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を含む、方法。
【請求項２】
前記第１の光学系の前記物体空間における前記ピクセルビームと平面との交差面を演算することと、
前記ピクセルビームを表すデータを提供するために、前記第２の光学系を介して前記交差面の画像共役を演算することと
をさらに含む、請求項１に記載の方法。
【請求項３】
前記第１の光学系が実際のカメラであり、前記第２の光学系がバーチャルカメラである、請求項１または２に記載の方法。
【請求項４】
前記第１の光学系がバーチャルカメラであり、前記第２の光学系が実際のカメラである、請求項１または２に記載の方法。
【請求項５】
請求項１〜４のいずれか一項に記載の方法に従って得られたものを使用してライトフィールドデータから画像をレンダリングするデバイス。
【請求項６】
光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するデバイスであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記デバイスが、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、前記第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を行うように構成されたライトフィールドデータ生成モジュールを備える、デバイス。
【請求項７】
規則的な格子構造で配列されたマイクロレンズのアレイと、
光センサであって、前記マイクロレンズのアレイから前記光センサに投影された光を捕捉するように構成され、ピクセルのセットを含み、ピクセルの各セットが、前記マイクロレンズのアレイのそれぞれのマイクロレンズと光学的に関連付けられている、光センサと、
請求項８によるメタデータを生成するデバイスと
を備えるライトフィールド結像デバイス。
【請求項８】
前記第１の光学系の瞳孔と、前記第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの共役とを通過する１組の光線により占められる第１の光学系の物体空間におけるボリュームを表すデータのデータパッケージであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められており、ピクセルビームを表す前記データが、第２の光学系を介して前記ピクセルビームの画像共役である、データパッケージ。
【請求項９】
プログラム可能装置用のコンピュータプログラム製品であって、前記プログラム可能装置によってロードされ、実行された際に、請求項１〜４のいずれか一項に記載の方法を実装する一連の命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドを表すデータの生成に関する。
【背景技術】
【０００２】
４Ｄライトフィールドのサンプリング（すなわち、光線の記録）と見なすことができる四次元また４Ｄライトフィールドデータの取得は、多忙な研究の主題である、ＥＣＣＶ２００８の学会論文誌で公開されたAnat Levinらによる“Understanding camera trade-offs through a Bayesian analysis of light field projections”という論文で説明されている。
【０００３】
カメラから得られる古典的な二次元または２Ｄ画像と比べると、４Ｄライトフィールドデータは、画像のレンダリングおよびユーザとの対話性を強化するさらなる後処理特徴へのアクセスをユーザが有することができるようにする。例えば、４Ｄライトフィールドデータを用いると、焦点面の位置を事後指定／選択することができる焦点絞り手段の自由選択距離での画像の再焦点合わせおよび画像のシーンの視点のわずかな変更の実行が可能である。４Ｄライトフィールドデータを取得するため、いくつかの技法を使用することができる。例えば、プレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。プレノプティックカメラは、メインレンズと、二次元アレイ状に配列された複数のマイクロレンズを備えるマイクロレンズアレイと、画像センサとを備える。４Ｄライトフィールドデータを取得する別の方法は、レンズアレイおよび画像センサを備えるカメラアレイを使用することである。
【０００４】
プレノプティックカメラの例では、メインレンズは、メインレンズの物体フィールドの物体から光を受信し、メインレンズの画像フィールドに光を通過させる。
【０００５】
最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面で同じシーンの一連の２Ｄ画像を捕捉するように構成された従来のカメラを使用することである。例えば、２０１４年１０月にOPTICS EXPRESS, Vol. 22, No. 21において公開されたJ.-H. Parkらによる“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”という文書で説明される技法を使用して、従来のカメラによる４Ｄライトフィールドデータの取得を達成することができる。
【０００６】
４Ｄライトフィールドデータを表すいくつかの方法がある。実際に、２００６年７月に公開されたRen Ngによる“Digital Light Field Photography”と称する修士論文の第３．３章では、４Ｄライトフィールドデータを表す３つの異なる方法が説明されている。第１に、４Ｄライトフィールドデータは、プレノプティックカメラによってマイクロレンズ画像の集合体で記録されたときに、表すことができる。この表現における４Ｄライトフィールドデータは、原画像または４Ｄライトフィールド原データと名付けられている。第２に、４Ｄライトフィールドデータは、プレノプティックカメラまたはカメラアレイによって１組のサブアパチャ画像で記録された際に表すことができる。サブアパチャ画像は、視点からのシーンの捕捉画像に相当し、視点は、２つのサブアパチャ画像間でわずかに異なる。これらのサブアパチャ画像は、結像されるシーンの視差および深度についての情報を与える。第３に、４Ｄライトフィールドデータは、１組のエピポーラ画像によって表すことができる。それに関しては、例えば、ＩＳＶＣ２０１１の学会論文誌で公開されたS. Wannerらによる“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”を参照されたい。
【発明の概要】
【０００７】
ライトフィールド取得デバイスは極めて異種のものである。ライトフィールドカメラは、例えば、プレノプティックまたはカメラアレイなど、異なるタイプのものである。各タイプ内には、異なる光学配列または異なる焦点距離のマイクロレンズなど、多くの違いがある。各カメラは、それ自体の独自のファイルフォーマットを有する。現在のところ、ライトフィールドが依存する異なるパラメータの包括的な概要に対する多次元情報の取得および伝送の標準的なサポートは存在しない。従って、異なるカメラに対して取得されたライトフィールドデータは、多様なフォーマットを有する。
【０００８】
本発明は、前述を念頭に置いて考案された。
【０００９】
本発明の第１の態様によれば、光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するコンピュータ実装方法であって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記方法が、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役(conjugate)とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を含む、方法が提供される。そのような方法は、依存しない（すなわち、光学系を埋め込むカメラから独立した）第１の光学系を説明するピクセルビームの集合体を表すデータの提供を可能にするが、その理由は、これらのデータは、第２の光学系を介してピクセルビームの集合体を結像することによって得られるためである。ピクセルビームの集合体を表すそのようなデータは、パラメータ化された出力画像の生成を可能にし、パラメータ化された出力画像から、フォーカルスタックの作成、再焦点合わせ、視点の変更、異なる取得システムから取得されたライトフィールドコンテンツの混合などの後処理を実行することができる。
【００１０】
第２の光学系を介して第１の光学系を説明するピクセルビームの集合体の画像を演算する目標のうちの１つは、光学系のフォーカルボリュームに相当する双対およびコンパクト空間において、様々なカメラに埋め込まれたいくつかの光学系の物体空間の表現を提供することである。そのようなフォーカルボリュームは、例えば再焦点合わせ動作の間に、画像面に容易に投影することができる。
【００１１】
第２の光学系を介して第１の光学系を説明するピクセルビームの集合体を結像する利点は、結像されたピクセルビームが単一のフォーカルボリュームに位置すること、および同じ光学系を使用して様々なタイプの光学取得デバイスを表すピクセルビームの集合体を同じフォーカルボリュームに位置付けられることであり、それにより、ピクセルビームの異なる集合体を表すデータの処理が容易になる。
【００１２】
本発明の別の実施形態によれば、方法は、
第１の光学系の物体空間における前記ピクセルビームと瞳孔の中心から距離ｚの所に位置する平面との交差面を演算することと、
ピクセルビームを表すデータを提供するために、前記第２の光学系を介して前記交差面の画像共役を演算することと
をさらに含む。
【００１３】
そのような方法は、合成アパチャ再焦点合わせの実行を可能にする。合成アパチャ結像は、再焦点合わせの目的で別のカメラをシミュレーションするために、カメラに埋め込まれた光学系によって取得された画像を再構成するものである。従って、第１のカメラによって取得されたライトフィールドデータを表すピクセルビームは、所定の平面に属する物体に焦点を合わせるように再構成される。平面は、基準座標系におけるそのアフィン方程式によって定義される。
【００１４】
本発明の別の実施形態によれば、第１の光学系は実際のカメラであり、第２の光学系はバーチャルカメラである。
【００１５】
本発明のそのような実施形態では、第２の光学系の画像空間におけるピクセルビームの共役を演算するために、第１の光学系の入射瞳孔のプロパティおよび第２の光学系の射出瞳孔のプロパティの知識が必要である。
【００１６】
第２の光学系を介してピクセルビームの画像はバーチャルセンサに位置するため、第２の光学系（すなわち、バーチャルカメラ）がその焦点面に正確に結像する限り、その射出瞳孔のプロパティの正確な知識は必要ない。
【００１７】
本発明の別の実施形態によれば、方法第１の光学系はバーチャルカメラであり、第２の光学系は実際のカメラである。
【００１８】
本発明のそのような実施形態では、第２の光学系の画像空間におけるピクセルビームの共役を演算するために、第１の光学系の入射瞳孔のプロパティおよび第２の光学系（すなわち、実際のカメラ）の射出瞳孔のプロパティの知識が必要である。
【００１９】
ピクセルビームは第１の取得システムと関連付けられたバーチャルセニョールのピクセルの物体共役であるため、第１の光学系（すなわち、バーチャルカメラ）がその焦点面に正確に結像する限り、その射出瞳孔のプロパティの正確な知識は必要ない。
【００２０】
本発明の別の目的は、本発明の異なる実施形態による方法に従って得られたものを使用してライトフィールドデータから画像をレンダリングするデバイスに関与する。
【００２１】
本発明の別の目的は、光学系の瞳孔を通過する１組の光線により占められるボリュームを表すデータを生成するデバイスであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められ、前記デバイスが、
第１の光学系の物体空間において前記ピクセルビームを表すデータを取得することであって、前記ピクセルビームが、前記第１の光学系の瞳孔と、第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの画像共役とを通過する１組の光線により占められている、取得することと、
第２の光学系を介して前記ピクセルビームの画像共役を演算することによって前記ピクセルビームを表すデータを生成することと
を行うように構成されたライトフィールドデータ生成モジュールを備える、デバイスに関与する。
【００２２】
本発明の別の目的は、
規則的な格子構造で配列されたマイクロレンズのアレイと、
光センサであって、マイクロレンズのアレイから光センサに投影された光を捕捉するように構成され、ピクセルのセットを含み、ピクセルの各セットが、マイクロレンズのアレイのそれぞれのマイクロレンズと光学的に関連付けられている、光センサと、
請求項８によるメタデータを生成するデバイスと
を備えるライトフィールド結像デバイスに関与する。
【００２３】
本発明の別の目的は、前記第１の光学系の瞳孔と、第１の光学系の前記物体空間における前記第１の光学系と関連付けられたセンサの少なくとも１つのピクセルの共役とを通過する１組の光線により占められる第１の光学系の物体空間におけるボリュームを表すデータのデータパッケージであって、前記ボリュームが、ピクセルビームと呼ばれる前記１組の光線により占められており、ピクセルビームを表す前記データが、第２の光学系を介して前記ピクセルビームの画像共役である、データパッケージに関与する。
【００２４】
本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装することができる。それに従って、そのような要素は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本明細書ではすべてを「回路」、「モジュール」または「システム」と一般的に呼ぶことができるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができる。その上、そのような要素は、コンピュータ使用可能プログラムコードがその媒体で具体化される任意の有形表現媒体で具体化されるコンピュータプログラム製品の形態を取ることができる。
【００２５】
本発明の要素はソフトウェアにおいて実装できるため、本発明は、任意の適切なキャリア媒体上のプログラム可能装置に提供するためのコンピュータ可読コードとして具体化することができる。有形キャリア媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイスまたはソリッドステートメモリデバイスおよび同様のものなどの記憶媒体を含み得る。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号（例えば、マイクロ波またはＲＦ信号）などの信号を含み得る。
【００２６】
ここでは、単なる例示として、以下の図面を参照して、本発明の実施形態を説明する。
【図面の簡単な説明】
【００２７】
【図１】カメラの光学系１１の瞳孔を通過する１組の光線により占められるボリュームを示す。
【図２】本発明の実施形態による、ピクセルビームを表す一葉双曲面(a hyperboloid of one sheet)を示す。
【図３】一葉双曲面およびその漸近錐を示す。
【図４】本発明の実施形態による、部分的にオーバーラップする２つの同軸の錐体によって表されるピクセルビームを示す。
【図５】本発明の実施形態による、ピクセルビームを表すデータを生成する装置の例を示す概略ブロック図である。
【図６】本開示の実施形態による、光学取得システムによって捕捉された画像を符号化するプロセスを説明するフローチャートである。
【図７】本発明の実施形態による、第２の光学系を介して結像されるピクセルビームを表す。
【発明を実施するための形態】
【００２８】
当業者によって理解されるように、本原理の態様は、システム、方法またはコンピュータ可読媒体として具体化することができる。それに従って、本原理の態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本明細書ではすべてを「回路」、「モジュール」または「システム」と一般的に呼ぶことができるソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができる。その上、本原理の態様は、コンピュータ可読記憶媒体の形態を取ることができる。１つまたは複数のコンピュータ可読記憶媒体のいかなる組合せも利用することができる。
【００２９】
いかなる光学取得システムの場合も、プレノプティックであるか否かにかかわらず、光学取得システムによって捕捉された４Ｄライトフィールドデータを表す原画像またはエピポーラ画像に加えて、前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間のピクセルとの間の対応に関連する情報を得ることが興味深い。光学取得システムの物体空間のどの部分を前記光学取得システムのセンサに属するピクセルが検知しているかを知ることにより、逆多重化、デモザイキング、再焦点合わせなどの信号処理動作、および異なる特性を有する異なる光学系によって捕捉された画像の混合を改善することができる。その上、光学取得システムのセンサのピクセルと前記光学取得システムの物体空間のピクセルとの間の対応に関連する情報は、光学取得システムから独立している。
【００３０】
本開示は、カメラ（図１に図示せず）の光学系１１の瞳孔と、瞳孔の表面の法線方向における光学系の物体空間におけるカメラのセンサのピクセルの共役とを通過する１組の光線により占められるボリュームを表すピクセルビーム１０（図１に図示する）の概念を紹介する。
【００３１】
１組の光線は、前記光学系１１の瞳孔１４を通じてカメラのセンサ１３のピクセル１２によって検知される。光学系１１は、写真またはビデオカメラに適合するレンズの組合せであり得る。光学系の瞳孔は、前記アパチャ絞りの前に来る前記光学系（すなわち、光学取得システムのレンズ）を通じて見られるようなアパチャ絞りの画像として定義される。アパチャ絞りは、光学取得システムの光学系を通過する光の量を制限する開口部である。例えば、カメラレンズ内に位置する調整可能なブレードダイヤフラムは、レンズ用のアパチャ絞りである。ダイヤフラムを通過することが認められる光の量は、ダイヤフラム開口部の直径によって制御され、ダイヤフラム開口部の直径は、カメラのユーザが認めたいと願う光の量に応じて適応させることができる。例えば、アパチャを小さくすることにより、ダイヤフラムを通過することが認められる光の量が低減すると同時に、焦点深度が増加する。レンズの部分の屈折性作用により、絞りの見掛けサイズは、その物理的なサイズより大きくも小さくもあり得る。正式には、瞳孔は、物理的な絞りと観察空間との間に位置する光学取得システムのすべてのレンズを通じたアパチャ絞りの画像である。
【００３２】
ピクセルビーム１０は、入射瞳孔１４を介して光学系１１を通じて伝播する際に所定のピクセル１２に到達する光線束として定義される。光は自由空間では直線上を移動するため、そのようなピクセルビーム１０の形状は、２つのセクションによって定義することができ、一方は、ピクセル１２の共役１５であり、他方は、入射瞳孔１４である。ピクセル１２は、非ヌル表面およびその感度マップによって定義される。
【００３３】
本発明の第１の実施形態では、図２に示されるように、ピクセルビーム３０は、一葉双曲面によって表すことができ、２つの要素、すなわち、瞳孔２４および物体空間におけるピクセル１２の共役２５によってサポートされる。
【００３４】
一葉双曲面は、光線束の観念をサポートし、かつ物理的な光ビームの「エテンデュ」の概念、物理的な光ビームの断面を横切るエネルギーの保存に結び付けられる概念と両立する線識面(a ruled surface)である。
【００３５】
図３に表されるように、一葉双曲面３０は、ウエスト３５（物体空間における共役１５に相当する）と呼ばれるその最も小さなセクションの基本領域を除いて、その漸近錐３１、３２と大体同一である。ライトフィールドカメラなどのプレノプティックシステムの場合、これは、複数のパス光線による空間サンプリングが実行される領域である。固有の錐体がこの領域の１点に退縮した状態で空間をサンプリングすることは適切ではない。その理由は、数十平方ミクロンのその表面においてピクセル１２の感度は著しいものであり、錐体の先端であろう無限に小さな表面を用いて数学的観点によって表すことができないためである。
【００３６】
本発明の実施形態では、各ピクセルビーム１０、２０、３０は、瞳孔１４、２４の前方にあるピクセル共役１５、３５の位置およびサイズを定義する４つの独立パラメータｚＰ、θｘ、θｙ、ａによって、ならびに、瞳孔１４、２４の位置、向きおよび半径を定義する６つの瞳孔パラメータｘＯ、ｙＯ、ｚＯ、θｘ０、θｙ０、ｒによって定義される。これらの６つの瞳孔パラメータは、同じ瞳孔１４、２４を共有する一葉双曲面によって表される際は、ピクセルビームの集合体に共通である。実際に、ピクセルビームは、瞳孔１４を通じてピクセル１２によって検知された光学系１１の物体空間における１組の光線により占められるボリュームを表す（すなわち、ピクセル１２／瞳孔１４、２４の所与の組み合わせは、固有のピクセルビーム１０、２０、３０に相当する）が、複数の個々のピクセルビームは、同じ瞳孔１４、２４によってサポートされ得る。
【００３７】
図１に示されるように、ピクセルビーム１０、２０、３０を表す一葉双曲面のパラメータが定義される座標系（ｘ，ｙ，ｚ）の原点Ｏは、瞳孔１４の中心に相当し、ｚ軸は、瞳孔１４、２４の表面の法線方向を定義する。
【００３８】
パラメータθｘ、θｙは、入射瞳孔１４の中心に対する主光線方向を定義する。パラメータθｘ、θｙは、センサ１３上のピクセル１２の位置および光学系１１の光学要素に依存する。より正確に言えば、パラメータθｘ、θｙは、瞳孔１４の中心からのピクセル１２の共役１５の方向を定義するせん断角を表す。
【００３９】
パラメータｚＰは、ｚ軸に沿った、ピクセルビーム１０、２０、３０のウエスト３５またはピクセル１２の共役１５の距離を表す。
【００４０】
パラメータａは、ピクセルビーム１０、２０、３０のウエスト３５の半径を表す。
【００４１】
光学的歪みおよびフィールド湾曲をモデル化することができる光学系１１の場合、パラメータｚＰおよびａは、パラメトリック関数を介してパラメータθｘおよびθｙに依存し得る。
【００４２】
４つの独立パラメータは、ピクセル１２およびその共役１５に関連する。
【００４３】
ピクセルビーム１０、２０、３０を定義する６つの相補的な瞳孔パラメータは、以下の通りである。
−  瞳孔１４、２４の半径を表すｒ
−  座標系（ｘ，ｙ，ｚ）における瞳孔１４、２４の中心の座標を表すｘＯ、ｙＯ、ｚＯ
−  基準座標系（ｘ，ｙ，ｚ）における瞳孔１４、２４の向きを表すθｘ０、θｙ０
【００４４】
これらの６つの瞳孔パラメータは、瞳孔１４、２４に関連する。別のパラメータｃが定義される。そのようなパラメータｃは、ピクセル１２およびその共役１５に関連するパラメータｚＰおよびａ、ならびに、瞳孔１４、２４に関連するパラメータｒに依存する。パラメータｃは、ピクセルビーム１０、２０、３０のアパチャ角αを定義し、以下の公式によって与えられる。
【数１】
2019522909.tif 000003
【００４５】
従って、パラメータｃの表現は、以下の方程式によって与えられる。
【数２】
2019522909.tif 000004
【００４６】
ピクセルビーム１０、２０、３０を区切る表面に属するポイントの物体空間における座標（ｘ，ｙ，ｚ）は、瞳孔１４およびピクセルの共役１５に関連する上記で定義されるパラメータの集合の関数である。従って、ピクセルビーム１０、２０、３０を表す一葉双曲面の生成を可能にする方程式（２）は以下の通りである。
【数３】
2019522909.tif 000005
【００４７】
ピクセルビーム１０、２０、３０を表す同じ双曲面のパラメトリック方程式（３）は以下の通りである。
【数４】
2019522909.tif 000006
式中、ｖは、双曲線の生成からピクセルビーム１０、２０、３０の生成を可能にする（ｘ，ｙ）平面における角度であり、ｖは、［０，２π］間隔で変化し、ｚ∈［０，∞］は、瞳孔１４、２４の表面の法線方向を定義するｚ軸に沿った座標である。方程式（２）および（３）は、ピクセル１２およびその共役１５のセクションは円形であり、瞳孔１４、２４のセクションも円形であるという想定の下で記載される。
【００４８】
前記光学取得システムのセンサのピクセルと前記光学取得システムの物体空間のピクセルとの間の対応に関連する情報は、瞳孔１４、２４の前方にあるピクセル共役１５、３５の位置およびサイズを定義する４つの独立パラメータｚＰ、θｘ、θｙ、ａを含むパラメータの集合、または、ピクセルビームがそのパラメトリック方程式で表現される場合は、瞳孔１４、２４の位置、向きおよび半径を定義する６つの瞳孔パラメータｘＯ、ｙＯ、ｚＯ、θｘ０、θｙ０、ｒを含むパラメータの集合の形態を取ることができる。
【００４９】
従って、このパラメータの集合は、４Ｄライトフィールドデータを処理する間に使用するために、光学取得システムによって捕捉された４Ｄライトフィールドデータを表す原画像またはエピポーラ画像に加えて提供される。
【００５０】
図４に示されるように、本発明の第２の実施形態では、ピクセルビーム４０は、部分的にオーバーラップする２つの同軸の錐体（前方の錐体４１Ｆおよび後方の錐体４１Ｒ）によって表すことができ、２つの要素、すなわち、瞳孔４４および物体空間におけるピクセル４２の共役４５（すなわち、ピクセルで結像される物体空間における表面）によってサポートされる。
【００５１】
前方の錐体４１Ｆは、ピクセル４２および瞳孔４４によって定義された凸状錐台の画像である。凸状錐台の頂点は、光学取得システムのセンサの向こう側に存在する。その構築により、前方の錐体４１Ｆは、光学取得システムの物体空間において収束し、前方の錐体４１Ｆの頂点は、ピクセル４５の共役（またはピクセルビーム４０のウエスト）と瞳孔４４との間に存在する。前方の錐体４１Ｆは、ピクセル４２で瞳孔４４が成す立体角から導き出される。
【００５２】
後方の錐体４１Ｒは、ピクセル４２および瞳孔４４によって定義された錐体の画像であり、その頂点は、瞳孔４４と光学取得システムのセンサとの間に存在する。その構築により、後方の錐体４１Ｒの頂点は、瞳孔４０のウエスト４５の向こう側に位置する。後方の錐体４１Ｒは、必ずしも光学取得システムの物体空間において収束するわけではなく、いくつかの事例では、後方の錐体４１Ｒは、円筒または発散錐体に退縮することができる。後者の事例では、発散錐体の頂点は、光学取得システムの画像空間（すなわち、入射瞳孔４４の前）に存在する。
【００５３】
前方の錐体４１Ｆおよび後方の錐体４１Ｒは、同じ回転軸を共有し、回転軸は、瞳孔４４の中心とウエスト４５の中心とを結ぶ線である。
【００５４】
錐体は、光線束の観念をサポートし、２つの錐体を組み合わせると、物理的な光ビームの「エテンデュ」の概念、物理的な光ビームの断面を横切るエネルギーの保存に結び付けられる概念と両立する線識面(a ruled surface)ある。錐体と平面との交差面は、双曲面のような円錐曲線であり、円錐曲線は複数の係数によって特徴付けることができる。その頂点を考慮すると、錐体は、３つの角度パラメータ、すなわち、錐体の回転軸から測定される極角、頂角に至るまでの角度および２つの角度によって与えられる回転軸の方向によって表すことができる。
【００５５】
ｘｙｚを光学取得システムの座標系とする。ｚは、光学取得システムの物体空間における光学取得システムの光軸（ｚ＞０）を示し、瞳孔４４の中心は、前記座標系の原点である。
【００５６】
光学取得システムの光学素子は、光学取得システムの物体空間（ｚ∈［２ｆ；＋∞］の距離から）を光学取得システムの画像空間（ｚ∈［−２ｆ；−ｆ］）に結像し、ｆは、光学取得システムの光学素子の焦点距離である。瞳孔４４およびピクセルビーム４０のウエスト４５の場所は、光学取得システムの較正から、光学取得システムの座標系ｘｙｚで知られている。瞳孔４４およびウエスト４５は、平行であると想定され、両方ともｚ軸の法線方向にある。
【００５７】
ｚ’をピクセルビーム４０の主光線と呼ぶことにする。主光線は、瞳孔４４の中心とピクセルビーム４０のウエスト４５の中心とを結ぶ線である。また、主光線は、ピクセルビーム４０の回転軸および対称軸でもある。従って、座標系ｘｙｚ’では、ピクセルビーム４０は回転体である。
【００５８】
前方の錐体４１Ｆおよび後方の錐体４１Ｒの両方の頂点は、ピクセルビーム４０の主光線ｚ’上に位置する。薄レンズ近似の下では、これらの２つの頂点の座標は、光学取得システムのセンサは後焦点面には位置しないという想定の下、光学取得システムの座標系ｘｙｚにおいて以下の通り演算される。
【数５】
2019522909.tif 000007
式中、Ｐ、ｚＰ、Ｗおよびｚｗはそれぞれ、瞳孔４４の直径（Ｐ＞０）、瞳孔４４のｚ座標、ピクセルの共役４５の直径（０＜Ｗ＜＋∞）およびピクセルの共役４５のｚ座標（０＜ｚｗ＜＋∞）を示す。
【００５９】
後方の錐体４１Ｒの頂点のｚ座標ｚ前方は、後方の錐体４１Ｒが収束錐体である際は正であり、後方の錐体４１Ｒが発散錐体である際は負であり得る。また、瞳孔４４およびピクセルビームのピクセルの共役４５が同じサイズのものである場合は無限でもあり得る。
【００６０】
光学取得システムのセンサが後焦点面に位置する場合は、Ｗ＝＋∞およびｚｗ＝＋∞である。それらの比率は一定であるため、
【数６】
2019522909.tif 000008
となり、式中、ｐおよびｆはそれぞれ、ピクセル４２の直径（ｐ＞０）および光学取得システムの光学素子の焦点距離（光学取得システムの光学素子は収束レンズであると想定すると、ｆ＞０）を表す。
【００６１】
頂角は、
【数７】
2019522909.tif 000009
によって与えられる。
【００６２】
各錐体の頂点を考慮すると、（それらの融合はピクセルビーム４０を表し、光線は、２つの角度パラメータ、すなわち、ピクセルビームの回転軸から頂角までの極角と、［０，２π］における方位角を用いて定義することができる。
【００６３】
ピクセルビームに関連するそれらの情報は、所定の光学取得システムと関連付けられたメタデータである。それらの情報は、例えば、光学取得システムと共に供給されるＣＤ−ＲＯＭまたはフラッシュドライブに格納されたデータファイルとして提供することができる。また、ピクセルビームに関連する追加の情報を内包するデータファイルは、光学取得システムの製造業者に属するサーバからダウンロードすることができる。また、本発明の実施形態では、ピクセルビームに関連するこれらの追加の情報は、光学取得システムによって捕捉された画像のヘッダに埋め込むことができる。
【００６４】
ピクセルビームに関連するこれらの情報を知ることにより、独自のファイルフォーマットおよび処理予定の画像を捕捉するために使用される光学取得システムの特徴とは無関係に、任意の光学取得システムによって捕捉された画像の処理が可能になる。
【００６５】
ピクセルビームに関連する情報を知ることにより、独自のファイルフォーマットおよび処理予定の画像を捕捉するために使用される光学取得システムの特徴とは無関係に、任意の光学取得システムによって捕捉された画像の処理が可能になる。
【００６６】
図５は、本開示の実施形態による、第２の光学系を介して前記ピクセルビームを結像することによって第１の光学系の物体空間を表すピクセルビームを表すデータを生成する装置の例を示す概略ブロック図である。
【００６７】
装置５００は、バス５０６によって接続される、プロセッサ５０１、格納ユニット５０２、入力デバイス５０３、表示デバイス５０４およびインタフェースユニット５０５を備える。当然ながら、コンピュータ装置５００の構成要素は、バス接続以外の接続によって接続することができる。
【００６８】
プロセッサ５０１は、装置５００の動作を制御する。格納ユニット５０２は、第２の光学系を介して第１の光学系の物体空間を表すピクセルビームが結像される際に、これらのピクセルビームを表すデータの生成が可能な、プロセッサ５０１によって実行される少なくとも１つのプログラムと、センサ１３上のピクセル１２の位置に関連するパラメータまたは光学取得システムの第１の光学系１１および第２の光学系に関連するパラメータ、プロセッサ５０１によって実行される演算によって使用されるパラメータ、プロセッサ５０１によって実行される演算の中間データなどを含む様々なデータとを格納する。プロセッサ５０１は、いかなる公知の適切なハードウェアもしくはソフトウェア、または、ハードウェアとソフトウェアの組合せによっても形成することができる。例えば、プロセッサ５０１は、処理回路などの専用ハードウェアによってまたはそのメモリに格納されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラム可能処理ユニットによって形成することができる。
【００６９】
格納ユニット５０２は、いかなる適切な記憶装置またはコンピュータ可読方式でプログラム、データもしくは同様のものの格納が可能な手段によっても形成することができる。格納ユニット５０２の例は、半導体メモリデバイス、ならびに、読取および書込ユニットにロードされた磁気、光または光磁気記録媒体などの非一時的なコンピュータ可読記憶媒体を含む。プログラムは、図６を参照して以下で説明されるように、本開示の実施形態による、第２の光学系ビームを通じる前記ピクセルビームの画像共役から第１の光学系の物体空間を表すピクセルビームの集合体のピクセルビームを表すデータを演算するプロセスをプロセッサ５０１に実行させる。
【００７０】
入力デバイス５０３は、コマンドを入力して光学系の物体空間における１組の光線により占められるボリュームのパラメトリック表示の生成に使用されるパラメータに対するユーザの選択を行うためにユーザが使用するキーボード、マウスなどのポインティングデバイスまたは同様のものによって形成することができる。出力デバイス６０４は、例えば、グラフィカルユーザインタフェース（ＧＵＩ）など、本開示の実施形態に従って生成される画像を表示する表示デバイスによって形成することができる。入力デバイス５０３および出力デバイス５０４は、例えば、タッチスクリーンパネルによって一体化して形成することができる。
【００７１】
インタフェースユニット５０５は、装置５００と外部の装置との間のインタフェースを提供する。インタフェースユニット５０５は、ケーブルまたは無線通信を介して外部の装置と通信可能であり得る。一実施形態では、外部の装置は、実際のカメラなどの光学取得システムであり得る。
【００７２】
図６は、本発明の実施形態による、光学取得システムによって捕捉された画像を符号化するプロセスを説明するフローチャートである。
【００７３】
装置５００のプロセッサ５０１は、図７で表されているように、前記ピクセルビーム７０の画像共役７２から第２の光学系７１を通じる第１の光学系（図示せず）の物体空間を表すピクセルビームの集合体の少なくとも１つのピクセルビーム７０を表すデータの演算が可能なプログラムを実行する。以下の例では、ピクセルビーム７０、７２は、一葉双曲面２０によって表されている。
【００７４】
従って、プロセッサ５０１は、光学系７１のフォーカルボリュームのピクセルビーム７０を表すデータを提供するために、例えば薄レンズである光学系７１を通じるピクセルビーム７０の画像共役７２を演算する。
【００７５】
光学系７１を通じるピクセルビーム７０の画像共役７２は、以下で説明されるように演算することができる。
【００７６】
図１〜３を参照して説明されるように、光学系の瞳孔と結び付けられたピクセルビームは、６つの付帯的なパラメータによって定義される。
−  ｒ：第１の光学系の入射瞳孔半径
−  ｘＯ、ｙＯ、ｚＯ：基準座標系における第１の光学系の入射瞳孔中心の座標
−  θｘ０、θｙ０：基準座標系における第１の光学系の入射瞳孔の向き
【００７７】
基準座標系では、簡単にするためにθｘ０＝θｙ０＝０を保つと、ピクセルビームを表す双曲面のパラメトリック方程式は、
【数８】
2019522909.tif 000010
または同等に
【数９】
2019522909.tif 000011
によって与えられる。
【００７８】
本発明の実施形態では、第１の光学取得システムのセンサのピクセルによって取得される色を表す値（ＲＧＢ値など）は、対応するピクセルビーム７０と関連付けられる。
【００７９】
第２の光学系７１を表す平面表面を定義するパラメータは、第２の光学系７１がバーチャル光学系である際には定義され、または第２の光学系が実際の光学系である際には検索される。
−  第２の光学系７１の光学中心の座標は、ｘＣ、ｙＣ、ｚＣである
−  光学系７１の表面の法線方向の単位ベクトルの座標：θｘＣ、θｙＣ
−  光学系７１の焦点ｆ
−  説明を簡単にするため、第２の光学系７１の光学中心は第１の光学系の瞳孔の中心と同じ平面で取られ（ｚＣ＝ｚＯ）、光学系７１は瞳孔に平行である（すなわち、θｘＣ＝θｙＣ＝０）と考えられている。
【００８０】
光学系７１の中心Ｃに関連するポイントＭの座標は（ｘ，ｙ，ｚ）と示される。光学系７１を通じるポイントＭの画像Ｍ’の座標は（ｘ’，ｙ’，ｚ’）と示される。これらの座標の各々は代数値である。
【００８１】
ポイントＭ’の座標は、以下のような「レンズメーカーの公式」のニュートン形式を使用して演算される。
（｜ｚ｜−ｆ）（｜ｚ’｜−ｆ）＝ｆ２  （１０）
【００８２】
ポイントＭは光学系７１の前に位置し（すなわち、ｚ＜０）、ポイントＭ’は光学系７１の後に位置するため（すなわち、ｚ’＞０）、
（−ｚ−ｆ）（ｚ’−ｆ）＝ｆ２  （１１）
であり、それにより、
【数１０】
2019522909.tif 000012
が与えられる。
光学系７１が薄レンズである際は、その光学中心を通過する光線はずれないため、倍率は
【数１１】
2019522909.tif 000013
によって与えられ、それにより、
【数１２】
2019522909.tif 000014
が与えられ、その逆、すなわち、
【数１３】
2019522909.tif 000015
も言える。
【００８３】
Ｍがピクセルビーム７０の表面に属するポイントである際は、結像されたピクセルビームの表面にあるポイントＭ’の座標は以下の通りである。
【数１４】
2019522909.tif 000016
【００８４】
近軸レンズは物体空間の光線（直線）を画像空間の光線に変換するので、および、ピクセルビーム７０は線織面によって表されるので、物体空間の一葉双曲面の画像は画像空間の一葉双曲面であり、結像されたピクセルビーム７２もまた線織面によって表される。
【００８５】
ピクセルビーム７０を表す双曲面のパラメータからおよび光学系７１のパラメータから結像されたピクセルビーム７２を表す双曲面のパラメータを決定することにする。
【００８６】
ピクセルビーム７０を表す以下の方程式を考慮する。
【数１５】
2019522909.tif 000017
式中、軸上のピクセルビームおよび（ｘ，ｚ）平面に対する解析を低減するため、θｘ＝θｙ＝０、ｘ０＝ｙ０＝ｚ０＝０およびｖ＝０である。
【００８７】
次いで、決定すべきパラメータは、ｚ’Ｗ、ａ’であり、ｚ’Ｗ、ａ’は、ｚＰ、ａ、ｆ、ｒの関数であり、ｚ’Ｗは、結像されたピクセルビーム７２のウエストのｚ座標であり（Ｗ’は、ビームアパチャ（ａ≠０）により、結像プロセスを通じるＰの共役ポイントではない）、ａ’は、結像されたピクセルビーム７２のウエストの半径である。
【００８８】
θｘ＝θｙ＝０、ｘ０＝ｙ０＝ｚ０＝０およびｖ＝０という想定を用いると、ポイントＭに適用される方程式１６は、以下のように簡易化される。
【数１６】
2019522909.tif 000018
【００８９】
Ｍに対して方程式１４の近軸レンズ変換を使用すると、
【数１７】
2019522909.tif 000019
が得られ、それは、光学系７１のフォーカルボリュームの結像されたピクセルビーム７２を表す方程式である。
【００９０】
方程式（２０）を導き出すことにより、導関数のゼロ交差を見出すことによって、ピクセルビームを表す双曲線の極小値および／または極大値の計算が可能になる。
【００９１】
方程式（２０）を展開すると、
【数１８】
2019522909.tif 000020
が与えられる。
【００９２】
方程式（２１）の微分は、
【数１９】
2019522909.tif 000021
によって与えられる。
【００９３】
ゼロ交差の演算により、以下のような導関数（２３）のゼロ交差が与えられる。
【数２０】
2019522909.tif 000022
【００９４】
以下、すなわち、
【数２１】
2019522909.tif 000023
を知っていることで、
【数２２】
2019522909.tif 000024
の各項を
【数２３】
2019522909.tif 000025
で除することができる。従って、ｚＰ≫ｆおよび（ｆ＋ｚＰ）≒ｚＰの場合、以下のように近似を導き出すことができる。
【数２４】
2019522909.tif 000026
ａ’は結像されたピクセルビーム７２のウエストの半径であるため、結像されたピクセルビーム７２に対する正の双曲線の最小値でもある（すなわち、方程式２０（ｚ’＝ｚ’Ｗ）によって定義されるようなｘ’の値に相当する）。
ａ’＝ｘ’（ｚ’Ｗ）  （２７）
【００９５】
これにより、
【数２５】
2019522909.tif 000027
が与えられる。
【００９６】
ポイント（ｘ，ｙ）および光学系７１を通じるその共役（ｘ’，ｙ’）を考慮することにする。ポイント（ｘ，ｙ）および光学系７１の中心を通過する光線の場合、光の法則により、
【数２６】
2019522909.tif 000028
が与えられる。
【００９７】
光線が入射光線θｘである場合は、高さｘ０で光学系７１に当たると、
【数２７】
2019522909.tif 000029
であり、同様に、
【数２８】
2019522909.tif 000030
である。
【００９８】
従って、
【数２９】
2019522909.tif 000031
である。
【００９９】
レンズメーカーの公式
【数３０】
2019522909.tif 000032
から分かっているように、
【数３１】
2019522909.tif 000033
が得られ、同様に、
【数３２】
2019522909.tif 000034
が得られる。
【０１００】
その結果、結像されたピクセルビーム７２を表す方程式は、
【数３３】
2019522909.tif 000035
であり、以下の式、すなわち、
【数３４】
2019522909.tif 000036
によるピクセルビーム７０のパラメータｚＰ、θｘ、θｙ、ａから得られたパラメータｚ’Ｗ、θ’ｘ、θ’ｙ、ａ’が用いられ、式中、
【数３５】
2019522909.tif 000037
である。
【０１０１】
ステップ６０１０では、装置５００のプロセッサ５０１は、第１の光学系の物体空間におけるピクセルビームの集合体のピクセルビーム７０と基準座標系のそのアフィン方程式によって定義された所定の平面との交差面を演算する。
【０１０２】
次いで、ステップ６０２０では、プロセッサ５０１は、光学系７１を通じるこの交差面の画像共役を演算する。
【０１０３】
ステップ６０３０では、プロセッサ５０１は、ステップ６０２０の間に演算された交差面の画像共役から、結像されたピクセルビーム７２を演算する。
【０１０４】
次いで、ステップ６０４０では、装置５００のプロセッサ５０１は、結像されたピクセルビーム７２と光学系７１のセンサとの交差面を演算する。
【０１０５】
次いで、ステップ６０５０では、プロセッサ５０１は、前記交差面上における光放射照度（irradiance）の積分を演算する。
【０１０６】
ピクセルビームを表すデータを生成するそのような方法は、所定のフォーカルボリュームのピクセルビームの集合体の正確な知識およびパラメータ化を提供する。フォーカルボリュームのパラメトリックサンプリングは均一であるため、前記ピクセルビームに対応するピクセルと関連付けられたＲＧＢ値と関連付けられた結像されたピクセルビームを表すパラメータは、画像処理動作に有益な第２の光学系７２のフォーカルボリュームのパラメトリックサンプリングを形成する。
【０１０７】
本発明の実施形態では、その物体空間がピクセルビーム７０の集合体によってサンプリングされている第１の光学系は、実際のカメラの光学系であるのに対して、第２の光学系７１は、バーチャルカメラの光学系である。
【０１０８】
本発明の別の実施形態では、その物体空間がピクセルビーム７０の集合体によってサンプリングされている第１の光学系は、バーチャルカメラの光学系であるのに対して、第２の光学系７１は、実際のカメラの光学系である。
【０１０９】
本発明は、上記では、特定の実施形態に関して説明されているが、本発明は、特定の実施形態に限定されず、変更形態は、当業者には明らかであり、本発明の範囲内にある。
【０１１０】
多くのさらなる変更形態および変形形態は、前述の例示的な実施形態を参照する際にそれら自体を当業者に示唆し、前述の例示的な実施形態は、単なる例示として提供され、本発明の範囲を制限することを意図せず、本発明の範囲は、添付の請求項によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適切な場合に、交換可能であり得る。
【図１】
2019522909.tif 000038
【図２】
2019522909.tif 000039
【図３】
2019522909.tif 000040
【図４】
2019522909.tif 000041
【図５】
2019522909.tif 000042
【図６】
2019522909.tif 000043
【図７】
2019522909.tif 000044
【国際調査報告】
2019522909.tif 000045
2019522909.tif 000046
2019522909.tif 000047