(57)【要約】  一実施形態では、ライトフィールドコンテンツをエンコードする方法が提案される。方法は、−  前記ライトフィールドコンテンツと関連付けられた光線の組（４０１）について、前記ライトフィールドコンテンツの２プレーン（４０２、４０３）パラメータ化から光線毎に４つの座標を取得すること（２０００）と、−  前記組からのそれぞれの光線について、第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｘ１，ｘ２））内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン（４０４、４０５、Ｐ）上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得すること（２００１）と、−  前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｘ１，ｘ２））に対して離散ラドン変換を適用すること（２００２）と、−  前記対象のラインを、エンコードされた対象のラインにエンコードすること（２００３）と、−  前記エンコードされた対象のラインを保存すること（２００４）とを含むことを特徴とする。
2018537877.tif 000002
【特許請求の範囲】
【請求項１】
ライトフィールドコンテンツをエンコードする方法において、
−  前記ライトフィールドコンテンツと関連付けられた光線の組（４０１）について、前記ライトフィールドコンテンツの２プレーン（４０２、４０３）パラメータ化から光線毎に４つの座標を取得すること（２０００）と、
−  前記組からのそれぞれの光線について、第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｙ１，ｙ２））内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン（４０４、４０５、Ｐ）上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得すること（２００１）と、
−  前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｙ１，ｙ２））に対して離散ラドン変換を適用すること（２００２）と、
−  前記対象のラインを、エンコードされた対象のラインにエンコードすること（２００３）と、
−  前記エンコードされた対象のラインを保存すること（２００４）と
を含むことを特徴とする方法。
【請求項２】
前記対象のラインの前記エンコード（２００３）は、ブレゼンハムアルゴリズムを適用することを更に含む、請求項１に記載のライトフィールドコンテンツをエンコードする方法。
【請求項３】
第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンは、矩形要素（Δｘ１、Δｙ１；Δｘ２、Δｙ２）を含む離散化されたプレーン（２７５、２７６）であり、前記第１のプレーン内の矩形要素の長辺の最大値は、
【数１】
2018537877.tif 000091
に等しく、ここで、ｚｆは、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆは、前記カメラ装置の焦点距離であり、及びｚ１は、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値は、
【数２】
2018537877.tif 000092
に等しく、ここで、ｚ２は、前記第２の第１のプレーンと関連付けられた第２の深度値である、請求項１又は２に記載のライトフィールドコンテンツをエンコードする方法。
【請求項４】
前記保存（２００４）は、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも１つの第１のポイント
【数３】
2018537877.tif 000093
について、
−  第２の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｙ１，ｙ２））内の第２のエンコードされた対象のラインに属する少なくとも第２のポイント（（ｙ１，ｙ２）；（ｘ１，ｘ２））と関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインは、前記第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
−  光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイント（（ｙ１，ｙ２）；（ｘ１，ｘ２））と関連付けられていないことを示す第２の追加情報を保存すること
を含む、請求項１〜３のいずれか一項に記載のライトフィールドコンテンツをエンコードする方法。
【請求項５】
前記第１及び／又は第２の追加情報はビットであり、前記光線の放射輝度は３バイト値によってエンコードされる、請求項４に記載のライトフィールドコンテンツをエンコードする方法。
【請求項６】
投影の少なくとも１つの中心の座標及び前記投影の少なくとも１つの中心と関連付けられた半径を推定することを更に含み、前記推定は、
−  前記第１の２Ｄ光線図内の対象のラインの少なくとも１つのスロープパラメータｍ及び太さパラメータ
【数４】
2018537877.tif 000094
を取得することであって、前記対象のラインは、投影の中心ｘ３，ｙ３，ｚ３及び半径Ａと関連付けられる、取得することと、
−  前記少なくとも１つのスロープパラメータｍ及び前記太さパラメータ
【数５】
2018537877.tif 000095
から前記投影の中心の座標ｘ３，ｙ３，ｚ３及び前記半径Ａを推定することと
を含む、請求項１〜５のいずれか一項に記載のライトフィールドコンテンツをエンコードする方法。
【請求項７】
第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンは、それぞれ第１の深度値ｚ１及び第２の深度値ｚ２と関連付けられ、前記推定は、
【数６】
2018537877.tif 000096
を取得することを含む、請求項６に記載のライトフィールドコンテンツをエンコードする方法。
【請求項８】
前記エンコードされた対象のラインの前記保存（２００４）は、エンコードされた対象のラインと関連付けられたスロープを保存することと、前記第１の２Ｄ光線図内のエンコードされた対象のラインに属するそれぞれのポイントについて、第２の２Ｄ光線図に属するポイントの組を保存することと、前記第１の２Ｄ光線図内の処理済みのエンコードされた対象のラインと関連付けられたスロープが、前記第１の２Ｄ光線図内の他のエンコードされた対象のラインと関連付けられた別のスロープよりも大きい場合、前記第１の２Ｄ光線図内のポイントが、前記処理済みのエンコードされた対象のラインと前記他のエンコードされた対象のラインとの間の交差に属する際に、前記第２の２Ｄ光線図に属する前記ポイントの組の前記保存を回避することとを更に含む、請求項１〜７のいずれか一項に記載のライトフィールドコンテンツをエンコードする方法。
【請求項９】
前記回避は、閉塞を示す情報を保存することを更に含む、請求項８に記載のライトフィールドコンテンツをエンコードする方法。
【請求項１０】
前記情報はヌル値である、請求項９に記載のライトフィールドコンテンツをエンコードする方法。
【請求項１１】
コンピュータによって実行されると、ライトフィールドコンテンツをエンコードする方法を実装するためのコンピュータ実行可能命令の組を含むコンピュータプログラムを保存するコンピュータ可読且つ非一時的記憶媒体であって、前記命令は、実行されると、請求項１〜１０のいずれか一項に記載の方法を実行するように前記コンピュータを構成する命令を含む、コンピュータ可読且つ非一時的記憶媒体。
【請求項１２】
ライトフィールドコンテンツをエンコードする電子装置において、メモリと、前記メモリに結合された少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、
−  前記ライトフィールドコンテンツと関連付けられた光線（４０１）の組について、前記ライトフィールドコンテンツの２プレーン（４０２、４０３）パラメータ化から光線毎に４つの座標を取得すること（２０００）と、
−  前記組からのそれぞれの光線について、第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｙ１，ｙ２））内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン（４０４、４０５、Ｐ）上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得すること（２００１）と、
−  前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｙ１，ｙ２））に対して離散ラドン変換を適用すること（２００２）と、
−  前記対象のラインをエンコードすること（２００３）と、
−  前記エンコードされた対象のラインを保存すること（２００４）と
を行うように構成されることを特徴とする電子装置。
【請求項１３】
前記少なくとも１つのプロセッサは、ブレゼンハムアルゴリズムによって前記対象のラインをエンコードするように更に構成される、請求項１２に記載のライトフィールドコンテンツをエンコードする電子装置。
【請求項１４】
第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンは、矩形要素（Δｘ１、Δｙ１；Δｘ２、Δｙ２）を含む離散化されたプレーン（２７５、２７６）であり、前記第１のプレーン内の矩形要素の長辺の最大値は、
【数７】
2018537877.tif 000097
に等しく、ここで、ｚｆは、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆは、前記カメラ装置の焦点距離であり、及びｚ１は、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値は、
【数８】
2018537877.tif 000098
に等しく、ここで、ｚ２は、第２の第１のプレーンと関連付けられた第２の深度値である、請求項１２又は１３に記載のライトフィールドコンテンツをエンコードする電子装置。
【請求項１５】
前記少なくとも１つのプロセッサは、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも１つの第１のポイント
【数９】
2018537877.tif 000099
について、
−  第２の２Ｄ光線図（Π（ｘ１，ｘ２），Π（ｙ１，ｙ２））内の第２のエンコードされた対象のラインに属する少なくとも第２のポイント（（ｙ１，ｙ２）；（ｘ１，ｘ２））と関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインは、前記第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
−  光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイント（（ｙ１，ｙ２）；（ｘ１，ｘ２））と関連付けられていないことを示す第２の追加情報を保存すること
を行うように更に構成される、請求項１２〜１４のいずれか一項に記載のライトフィールドコンテンツをエンコードする電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本開示は、演算撮像、ライトフィールド取得装置、及びプレノプティックカメラの分野に関する。更に詳しくは、本発明は、ライトフィールドデータの送信、レンダリング、処理、混合のために使用され得るライトフィールドのための表現フォーマットを対象とする。
【背景技術】
【０００２】
背景
本節は、以下に記述及び／又は特許請求される本発明の様々な態様に関係し得る技術分野の様々な態様を読者に紹介することを意図したものである。この説明は、本発明の様々な態様のより良い理解を促進するために、読者に対する背景情報の提供において有用と考えられる。従って、これらの記述は、従来技術の是認としてではなく、この観点で読解されるべきものであると理解されたい。
【０００３】
４Ｄライトフィールドのサンプリングとして見なし得る４Ｄライトフィールドデータの取得（即ち、ＥＣＣＶ  ２００８の会議議事録で公開されたAnat Levinらによる「Understanding camera trade-offs through a Bayesian analysis of light field projections」という論文の図１に説明される光線の記録）は、活発に研究されている主題である。
【０００４】
実際に、カメラから取得される従来の２Ｄ画像と比較して、４Ｄライトフィールドデータの場合、ユーザーは、画像のレンダリング及び／又はユーザーとの対話性を改善する相対的に多くの事後処理特徴に対してアクセスすることができる。例えば、４Ｄライトフィールドデータによれば、後の画像の再合焦（即ち、自由に選択された合焦距離による再合焦であり、これは、焦点面の位置を後に規定／選択し得ることを意味する）のみならず、画像のシーンにおける視点のわずかな変更も容易に実行することができる。４Ｄライトフィールドデータを取得するためにいくつかの技法を使用することができる。例えば、文献国際公開第２０１３／１８０１９２号又は文献英国特許第２４８８９０５号に示されるプレノプティックカメラは、４Ｄライトフィールドデータを取得することができる。プレノプティックカメラのアーキテクチャの詳細は本明細書の図１及び図２に提供される。４Ｄライトフィールドデータを取得する別の方法は、本明細書の図３に示されるように、カメラアレイを使用することである。カメラアレイのアーキテクチャの詳細は図３に提供される。最後に、４Ｄライトフィールドを取得する別の方法は、異なる焦点面で同じシーンの２Ｄ画像のシーケンスをキャプチャするように構成された従来のカメラを使用することである。例えば、２０１４年１０月にOPTICS EXPRESS, Vol. 22, No. 21で公開されたJ.-H. Parkらによる「Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays」という文献に記述される技法は、４Ｄライトフィールドデータの取得を実現するために使用することができる。
【０００５】
以下では、プレノプティックカメラ及びカメラアレイのみについて記述されるが、本開示は、文献米国特許出願公開第２０１０／０２６５３８６号若しくはＳＩＧＧＲＡＰＨ  ２００７の議事録で公開されたA. Levinらによる「Image and depth from a conventional camera with a coded aperture」という名称の論文に示されるコード化されたアパーチャ要素を含むか、又は１９９５年４月１０日にApplied Opticsで公開されたEdward R. Dowski, Jr.及びW. Thomas Catheによる「Extended depth of field through wave-front coding」という名称の論文で言及される波面コード化技法を使用する装置など、４Ｄライトフィールドデータを取得する他の装置にも適用され得ることに留意されたい。
【０００６】
従来技術では、４Ｄライトフィールドデータを表す（又は定義する）ためのいくつかの方法が存在する。実際に、２００６年７月に公開されたRen Ngによる「Digital Light Field Photography」という名称の博士号論文の第３．３章では、４Ｄライトフィールドデータを表すための３つの異なる方法が記述されている。第１に、４Ｄライトフィールドデータは、例えば、図１に示されるものとしてのプレノプティックカメラによって記録された際にマイクロレンズ画像の集合体によって表すことができる（本明細書の図２の説明を参照されたい）。この表現における４Ｄライトフィールドデータは、未加工の画像（又は未加工の４Ｄライトフィールドデータ）と呼称される。第２に、４Ｄライトフィールドデータは、プレノプティックカメラによって又はカメラアレイによって記録された際にサブアパーチャ画像の組によって表すことができる。サブアパーチャ画像は、視点からのシーンのキャプチャ画像に対応し、視点は、２つのサブアパーチャ画像間でわずかに異なる。これらのサブアパーチャ画像は、撮像されたシーンの視差及び深さに関する情報を付与する。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表すことができる（例えば、ＩＳＶＣ  ２０１１の会議議事録で公開されたS. Wannerらによる「Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera」という名称の論文を参照されたい）。
【０００７】
但し、プレノプティック装置は、極めて雑多であり（例えば、（マイクロレンズの特定の光学構成（例えば、異なる焦点距離を有するマイクロレンズなど）を定義する）タイプ１及び２のプレノプティック装置を弁別することができる）、及びカメラアレイはその趣きにおいて異なるという事実に起因して、これらのすべてのライトフィールド取得装置は、それぞれのプロプライエタリなファイルフォーマットを有し、その結果、多次元情報の取得及び送信をサポートする規格が存在しないため、ライトフィールド技術は、通常の２Ｄ又は３Ｄ撮像以外に存在し得ないようである。例えば、４Ｄライトフィールドデータが未加工の４Ｄライトフィールドデータとして表される場合、未加工の４Ｄライトフィールドデータの処理のために、マイクロレンズのサイズなどのいくつかの追加情報が必要とされるが、現在、必要とされる追加情報のすべてを列挙した規格は存在しない。
【０００８】
但し、上述の４Ｄライトフィールドデータは、２０１１年２月にIEEE Transactions on Image Processing, Vol. 20, No 2に公開されたChi-Kai Liangらによる「Light Field Analysis for Modeling Image Formation」という名称の論文のLight Field Representationという名称の段落ＩＩＩの節Ａ、又はMar Levoy及びPat Hanrahanによる「Light Field Rendering」という名称の論文、又は文献米国特許第８，２３７，７０８号、同第６，０９７，３９４号、若しくは同第６，０２３，５２３号に詳述されるように、パラメータ化プロセスから導出される値によっても表し得ることに留意されたい。従って、４Ｄライトフィールドデータは、座標系における（光線と関連付けられた）ポイントの組として表すことができる（文献国際公開第２０１３／１８０１９２号の［００２８］〜［００３０］の段落を参照されたい）。更に正確には、４Ｄライトフィールドデータを表すための、平行であるか又はそうではない２つのプレーンの使用を介した４Ｄライトフィールドのパラメータ化の使用（即ち、それぞれの光線が、これらの光線の２つのプレーンとの交差に対応する座標値の組によって表される）は、プロプライエタリなフォーマットの使用を回避するための、且つ４Ｄライトフィールド装置（即ち、例えば、プレノプティック装置及び／又はカメラアレイであるが、２０１３年７月に会議ＳＩＧＧＲＡＰＨ  ２０１３で提示されたD. Lanman及びD. Luebkeによる「Near-Eye Light Field Displays」という名称の論文に記述されるものなどの４Ｄライトフィールド表示装置も対象である）間の相互運用性を拡大させるための１つの方法であり得るであろう。
【０００９】
実際に、複雑なインターリービング構造を有する未加工情報を共有する代わりに、すべてのその慣習性と共に、キャプチャされた光線の表現を共有することが相対的に良好であると考えられる。その結果、データは、それが取得された方法とは独立して処理、共有、送信、及びレンダリングすることができる。また、パラメータ化されたライトフィールドは、「Light Field Rendering」という名称を有する上述の論文では、ライトスラブ表現とも呼称されることに留意されたい。
【００１０】
但し、この４Ｄライトフィールドの表現の１つの欠点は、本明細書の２３頁で言及されるように、保存を要するコンテンツが巨大である点にある。
【００１１】
実際に、このような表現の使用は、それぞれのパラメータ化された光線について、２つのプレーン内の座標を保存することを意味する（即ち、このような光線の４アップレット（uplet）及び放射輝度の値を保存する必要がある）。（サンプリングされたライトフィールドを定義する）２Ｄ画像の組を光線の表現（それぞれの光線は、４アップレット及び放射輝度の値と関連付けられる）に変換するプロセスは、例えば、文献米国特許第６，０２３，５２３号に示されている。
【発明の概要】
【００１２】
従って、上述の保存の課題が克服されるという意味において、コンパクトなライトフィールド表現を提供するための技法を提供する必要性が存在する。
【００１３】
開示の概要
「一実施形態」、「実施形態」、「例示用の実施形態」に対する本明細書における参照は、記述される実施形態が、特定の特徴、構造、又は特性を含み得るが、必ずしもすべての実施形態がそれらの特定の特徴、構造、又は特性を含まない場合があることを示す。更に、このような語句は、必ずしも同じ実施形態を参照しない。更に、特定の特徴、構造、又は特性が１つの実施形態との関連で記述される場合、明示的に記述されるかどうかとは無関係に、他の実施形態との関連でそれらの特徴、構造、又は特性を実施することは、当業者の知識に含まれるものと見なされる。
【００１４】
本開示は、ライトフィールドコンテンツをエンコードする方法を対象とする。方法は、
−  前記ライトフィールドコンテンツと関連付けられた光線の組について、前記ライトフィールドコンテンツの２プレーンパラメータ化から光線毎に４つの座標を取得することと、
−  前記組からのそれぞれの光線について、第１の２Ｄ光線図内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得することと、
−  前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図に対して離散ラドン変換を適用することと、
−  前記対象のラインを、エンコードされた対象のラインにエンコードすることと、
−  前記エンコードされた対象のラインを保存することと
を含むことを特徴とする。
【００１５】
好適な一実施形態では、方法は、前記エンコードがブレゼンハムアルゴリズムを適用することを更に含むことを特徴とする。
【００１６】
好適な一実施形態では、方法は、第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンが、矩形要素を含む離散化されたプレーンであり、前記第１のプレーン内の矩形要素の長辺の最大値が、
【数１】
2018537877.tif 000003
に等しく、ここで、ｚｆが、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆが、前記カメラ装置の焦点距離であり、及びｚ１が、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値が、
【数２】
2018537877.tif 000004
に等しく、ここで、ｚ２が、第２の第１のプレーンと関連付けられた第２の深度値であることを特徴とする。
【００１７】
好適な一実施形態では、方法は、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも１つの第１のポイントについて、
−  第２の２Ｄ光線図内の第２のエンコードされた対象のラインに属する少なくとも第２のポイントと関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインが、第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
−  光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイントと関連付けられていないことを示す第２の追加情報を保存すること
を含むことを特徴とする。
【００１８】
好適な一実施形態では、方法は、前記第１及び／又は第２の追加情報がビットであり、前記光線の放射輝度が３バイト値によってエンコードされることを特徴とする。
【００１９】
好適な一実施形態では、方法は、投影の少なくとも１つの中心の座標及び前記投影の少なくとも１つの中心と関連付けられた半径を推定することを更に含み、前記推定が、
−  前記第１の２Ｄ光線図内の対象のラインの少なくとも１つのスロープパラメータｍ及び太さパラメータ
【数３】
2018537877.tif 000005
を取得することであって、前記対象のラインが、投影の中心ｘ３，ｙ３，ｚ３及び半径Ａと関連付けられる、取得することと、
−  前記少なくとも１つのスロープパラメータｍ及び前記太さパラメータ
【数４】
2018537877.tif 000006
から前記投影の中心の座標ｘ３，ｙ３，ｚ３及び前記半径Ａを推定することと
を含むことを特徴とする。
【００２０】
好適な実施形態では、方法は、第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンが、それぞれ第１の深度値ｚ１及び第２の深度値ｚ２と関連付けられ、前記推定が、
【数５】
2018537877.tif 000007
を取得することを含むことを特徴とする。
【００２１】
好適な一実施形態では、方法は、前記エンコードされた対象のラインの前記保存が、エンコードされた対象のラインと関連付けられたスロープを保存することと、前記第１の２Ｄ光線図内のエンコードされた対象のラインに属するそれぞれのポイントについて、第２の２Ｄ光線図に属するポイントの組を保存することと、前記第１の２Ｄ光線図内の処理済みのエンコードされた対象のラインと関連付けられたスロープが、前記第１の２Ｄ光線図内の他のエンコードされた対象のラインと関連付けられた別のスロープよりも大きい場合、前記第１の２Ｄ光線図内のポイントが、前記処理済みのエンコードされた対象のラインと前記他のエンコードされた対象のラインとの間の交差に属する際に、前記第２の２Ｄ光線図に属する前記ポイントの組の保存を回避することとを更に含むことを特徴とする。
【００２２】
好適な一実施形態では、方法は、前記回避が、閉塞を示す情報を保存することを更に含むことを特徴とする。
【００２３】
好適な一実施形態では、方法は、前記情報がヌル値であるとことを特徴とする。
【００２４】
一変形形態では、ライトフィールドコンテンツを表すテーブルから画像の組を供給する方法が提案され、それぞれの画像は、ｍ×ｎ個のピクセルを含み、ｍ及びｎは、１超の整数である。方法は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表現に基づくことと、方法が、
−  前記ライトフィールドコンテンツを表す前記テーブル内のデータに対するポインタを含む２次元ルックアップテーブルを取得することと、前記組内のそれぞれの画像について、
−  インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、前記ライトフィールドコンテンツを表す前記テーブルから光線の放射輝度値を取得することと
を含むこととを特徴とする。
【００２５】
好適な一実施形態では、前記光線の放射輝度は３バイト値によってエンコードされる。
【００２６】
好適な一実施形態では、方法は、前記放射輝度値の取得が、前記画像に含まれるピクセルのすべてについて実行されることを特徴とする。
【００２７】
好適な一実施形態では、方法は、ライトフィールドコンテンツの前記２Ｄ光線図表現に基づいた前記テーブルが、ラインの組を定義するパラメータを含むことを特徴とする。
【００２８】
好適な一実施形態では、方法は、前記２次元ルックアップテーブル内のそれぞれのポインタが２つの要素のインデックスであることを特徴とする。
【００２９】
本開示の別の実施形態では、２次元ルックアップテーブルを生成する方法が提案される。方法は、
−  ライトフィールドコンテンツを表すテーブルを取得することであって、前記テーブルは、ライトフィールドコンテンツの２Ｄ光線図表現に基づく、取得することと、
−  前記２次元ルックアップテーブル内で要素をアドレス指定するインデックス値（ｉ，ｊ）について、前記ライトフィールドコンテンツを表す前記テーブル内の放射輝度値に対するポインタ値を判定することと
を含むことを特徴とする。
【００３０】
好適な一実施形態では、２次元ルックアップテーブルを生成する方法は、前記判定が、前記インデックス（ｉ，ｊ）によってアドレス指定されたピクセルのピクセルバック追跡プロセスを適用することと、２プレーンパラメータ化を介して前記インデックス（ｉ，ｊ）によってアドレス指定された前記ピクセルと関連付けられた光線の交差座標を判定することと、前記ライトフィールドコンテンツを表す前記テーブル内において、前記交差座標と関連付けられた放射輝度値に対応する位置を判定することとを含むことを特徴とする。
【００３１】
好適な一実施形態では、生成する方法は、前記２次元ルックアップテーブル内のそれぞれのポインタが２つの要素のインデックスであることを特徴とする。
【００３２】
別の実施形態では、放射輝度値を、ライトフィールドコンテンツを表すテーブル内に保存する方法が提案される。方法は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表面に基づくことと、方法が、
−  ライトフィールドコンテンツを表すテーブル内のデータ位置に対するポインタを含む２次元ルックアップテーブルを取得することと、
−  インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、ｍ×ｎ個のピクセルを含む画像から光線の放射輝度値を取得することであって、ｍ及びｎは、１超の整数である、取得することと、
−  同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、取得された放射輝度値を前記テーブル内に保存することと
を含むこととを特徴とする。
【００３３】
好適な一実施形態では、保存する方法は、前記保存が、前記画像に含まれる放射輝度値のすべてについて実行されることを特徴とする。
【００３４】
好適な一実施形態では、保存する方法は、画像内のすべてのピクセルの取得された放射輝度値の前記保存が並行して実行されることを特徴とする。
【００３５】
これらの方法の共通的な発明的特徴は、２次元ルックアップテーブルである。
【００３６】
本開示の別の実施形態では、４Ｄライトフィールドデータをレンダリングする方法が提案される。この方法は、電子装置によって実行され、且つ
−  少なくとも２つのデカルト座標を取得することであって、それぞれのデカルト座標は、三次元空間内でカメラ位置と関連付けられる、取得することと、
−  前記少なくとも２つのデカルト座標から、選択されたデカルト座標と関連付けられた少なくとも１つの４Ｄライトフィールドデータを取得することと、
−  取得された４Ｄライトフィールドデータをレンダリングすることと
を含むことを特徴とする。
【００３７】
好適な一実施形態では、方法は、前記少なくとも１つの４Ｄライトフィールドデータの取得が、前記少なくとも１つの４Ｄライトフィールドデータのデジタルライン表現を受け取ることを含むことを特徴とする。
【００３８】
好適な一実施形態では、方法は、前記少なくとも１つの４Ｄライトフィールドデータの取得が、前記選択されたデカルト座標に基づいてテーブルからデータを選択することを含むことを特徴とする。
【００３９】
好適な一実施形態では、前記テーブルは、離れたサーバー上に保存される。
【００４０】
例示用の一実施形態によれば、上述の方法の異なるステップは、１つ又は複数のコンピュータソフトウェアプログラムによって実装され、このソフトウェアプログラムは、本開示に従ってリレーモジュールのプロセッサによって実行されるように設計されると共に、この方法の異なるステップの実行を制御するように設計されたソフトウェア命令を含む。
【００４１】
この結果、本開示の一態様は、コンピュータ又はデータプロセッサによって実行されるプログラムにも関し、このプログラムは、上述した方法のステップの実行を命令するための命令を含む。
【００４２】
このプログラムは、任意のプログラミング言語を使用することが可能であり、且つソースコード、オブジェクトコード、又は部分的にコンパイルされた形態若しくは任意の他の望ましい形態など、ソースコードとオブジェクトコードとの間の中間であるコードの形態を有し得る。
【００４３】
また、本開示は、上述のように、データプロセッサによって判読可能であると共にプログラムの命令を含む情報媒体にも関する。
【００４４】
情報媒体は、プログラムを保存する能力を有する任意のエンティティ又は装置であってもよい。例えば、媒体は、例えば、ＣＤ−ＲＯＭ（「コンパクトディスク−読み出し専用メモリ」の略号である）若しくは微細電子回路ＲＯＭなどのＲＯＭ（「読み出し専用メモリ」の略号である）などの記憶手段、又はこの場合にも、例えば、フロッピーディスク若しくはハードディスクドライブなどの磁気記録手段を含むことができる。
【００４５】
更に、情報媒体は、電気又は光ケーブルを通じて、無線で、又は他の手段により、搬送され得る電気又は光信号などの送信可能な担体であってもよい。プログラムは、特に、インターネットタイプのネットワーク内にダウンロードすることができる。
【００４６】
代わりに、情報媒体は、プログラムが内蔵される集積回路であってもよく、回路は、対象の方法の実行時の稼働又は使用に対して適合される。
【００４７】
一実施形態によれば、本開示の一実施形態は、ソフトウェア及び／又はハードウェアコンポーネントを有するモジュールによって実装される。この観点では、「モジュール」という用語は、本明細書においてソフトウェアコンポーネント及びハードウェアコンポーネントの両方に、又はハードウェア及びソフトウェアコンポーネントの組に対応し得る。
【００４８】
ソフトウェアコンポーネントは、１つ若しくは複数のコンピュータプログラム、プログラムの１つ若しくは複数のサブプログラム、又は更に一般的には、関係するモジュールについて後述される内容に従って１つの機能若しくは機能の組を実装する能力を有するプログラム若しくはソフトウェアプログラムの任意の要素に対応する。このような１つのソフトウェアコンポーネントは、物理的エンティティ（端末やサーバーなど）のデータプロセッサによって実行され、且つこの物理的エンティティのハードウェアリソース（メモリ、記録媒体、通信バス、入力／出力電子基板、ユーザーインターフェイスなど）にアクセスする能力を有する。
【００４９】
同様に、ハードウェアコンポーネントも、関係するモジュールについて後述される内容に従って１つの機能又は機能の組を実装する能力を有するハードウェアユニットの任意の要素に対応する。これは、例えば、ファームウェアを実行するための集積回路、スマートカード、メモリカード、電子基板など、プログラム可能なハードウェアコンポーネント又はソフトウェアの実行用の集積回路を有するコンポーネントであってもよい。一変形形態では、ハードウェアコンポーネントは、中央処理ユニット、及び／又はマイクロプロセッサ、及び／又は用途固有の集積回路（ＡＳＩＣ）、及び／又は用途固有の命令セットプロセッサ（ＡＳＩＰ）、及び／又はグラフィクス処理ユニット（ＧＰＵ）、及び／又は物理演算処理ユニット（ＰＰＵ）、及び／又はデジタル信号プロセッサ（ＤＳＰ）、及び／又は画像プロセッサ、及び／又はコプロセッサ、及び／又は浮動小数点ユニット、及び／又はネットワークプロセッサ、及び／又はオーディオプロセッサ、及び／又はマルチコアプロセッサなどの集積回路であるプロセッサを有する。更に、ハードウェアコンポーネントは、ベースバンドプロセッサ（例えば、メモリユニット及びファームウェアを含む）及び／又は無線信号を受信又は送信する無線電子回路（アンテナを含み得る）を含むこともできる。一実施形態では、ハードウェアコンポーネントは、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、ＧｌｏｂａｌＰｌａｔｆｏｒｍ（即ち、保護要素）などの１つ又は複数の規格に準拠する。一変形形態では、ハードウェアコンポーネントは、高周波識別（ＲＦＩＤ）タグである。一実施形態では、ハードウェアコンポーネントは、Bluetooth通信、及び／又はＷｉ−Ｆｉ通信及び／又はZigbee通信、及び／又ＵＳＢ通信、及び／又はFirewire通信、及び／又はＮＦＣ（近距離）通信を可能にする回路を含む。
【００５０】
また、本明細書における要素／値を取得するステップは、電子装置のメモリユニット内でこのような要素／値を読み取るステップ、又は通信手段を介して別の電子装置からこのような要素／値を受け取るステップと見なし得ることに留意されたい。
【００５１】
本開示の別の実施形態では、ライトフィールドコンテンツをエンコードする電子装置が提案される。電子装置は、メモリと、メモリに結合された少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、
−  前記ライトフィールドコンテンツと関連付けられた光線の組について、前記ライトフィールドコンテンツの２プレーンパラメータ化から光線毎に４つの座標を取得することと、
−  前記組からのそれぞれの光線について、第１の２Ｄ光線図内のポイントを定義する、前記２プレーンパラメータ化で使用される２つのプレーンに対して垂直であるプレーン上への前記組からの前記光線の投影に対応する、前記４つの座標からの２つの座標を取得することと、
−  前記第１の２Ｄ光線図内の対象のラインを供給する前記第１の２Ｄ光線図に対して離散ラドン変換を適用することと、
−  前記対象のラインを、エンコードされた対象のラインにエンコードすることと、
−  前記エンコードされた対象のラインを保存することと
を行うように構成されることを特徴とする。
【００５２】
好適な一実施形態では、電子装置は、前記少なくとも１つのプロセッサが、ブレゼンハムアルゴリズムによって前記対象のラインをエンコードするように更に構成されることを特徴とする。
【００５３】
好適な一実施形態では、電子装置は、第１のプレーン及び第２のプレーンと呼称される、前記２プレーンパラメータ化で使用される前記２つのプレーンが、矩形要素を含む離散化されたプレーンであり、前記第１のプレーン内の矩形要素の長辺の最大値が、
【数６】
2018537877.tif 000008
に等しく、ここで、ｚｆが、ピクセルピッチｐを有するカメラ装置に含まれるセンサアレイの深度値であり、ｆが、前記カメラ装置の焦点距離であり、及びｚ１が、前記第１のプレーンと関連付けられた第１の深度値であり、前記第２のプレーン内の矩形要素の長辺の最大値が、
【数７】
2018537877.tif 000009
に等しく、ここで、ｚ２は、第２の第１のプレーンと関連付けられた第２の深度値であることを特徴とする。
【００５４】
好適な一実施形態では、電子装置は、前記少なくとも１つのプロセッサが、前記第１の２Ｄ光線図内の第１のエンコードされた対象のラインに属する少なくとも第１のポイントについて、
−  第２の２Ｄ光線図内の第２のエンコードされた対象のラインに属する少なくとも第２のポイントと関連付けられた光線の放射輝度を保存することであって、前記第２のエンコードされた対象のラインが、第１のエンコードされた対象のラインと同じスロープを有する、保存すること、及び光線の存在を示す第１の追加情報を保存すること、並びに／又は
−  光線が、前記第２のエンコードされた対象のラインに属する少なくとも第３のポイントと関連付けられていないことを示す第２の追加情報を保存すること
を行うように更に構成されることを特徴とする。
【００５５】
本開示の別の実施形態では、ライトフィールドコンテンツを表すテーブルから画像の組を供給する電子装置が提案され、それぞれの画像は、ｍ×ｎ個のピクセルを含み、ｍ及びｎは、１超の整数である。電子装置は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表現に基づくことと、電子装置が、
−  前記ライトフィールドコンテンツを表す前記テーブル内のデータに対するポインタを含む２次元ルックアップテーブルを取得するように構成されたモジュールと、
−  インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、前記ライトフィールドコンテンツを表す前記テーブルから光線の放射輝度値を取得するように構成されたモジュールと
を含むこととを特徴とする。
【００５６】
好適な一実施形態では、電子装置は、前記放射輝度値を取得するように構成された前記モジュールが、前記画像に含まれるピクセルのすべてを処理するために使用されることを特徴とする。
【００５７】
好適な一実施形態では、電子装置は、ライトフィールドコンテンツの前記２Ｄ光線図表現に基づいた前記テーブルが、ラインの組を定義するパラメータを含むことを特徴とする。
【００５８】
好適な一実施形態では、電子装置は、前記２次元ルックアップテーブル内のそれぞれのポイントが２つの要素のインデックスであることを特徴とする。
【００５９】
本開示の別の実施形態では、２次元ルックアップテーブルを生成する電子装置が提案される。この電子装置は、
−  ライトフィールドコンテンツを表すテーブルを取得するように構成されたモジュールであって、前記テーブルは、ライトフィールドコンテンツの２Ｄ光線図表現に基づく、モジュールと、
−  前記２次元ルックアップテーブル内の要素をアドレス指定するインデックス値（ｉ，ｊ）について、前記ライトフィールドコンテンツを表す前記テーブル内の放射輝度値に対するポインタ値を判定するように構成されたモジュールと
を含むことを特徴とする。
【００６０】
本開示の好適な実施形態では、電子装置は、判定するように構成された前記モジュールが、前記インデックス（ｉ，ｊ）によってアドレス指定されたピクセルのピクセルバック追跡プロセスを適用し、２プレーンパラメータ化を介して前記インデックス（ｉ，ｊ）によってアドレス指定された前記ピクセルと関連付けられた光線の交差座標を判定し、且つ前記ライトフィールドコンテンツを表す前記テーブル内において、前記交差座標と関連付けられた放射輝度値に対応する位置を判定するように更に構成されることを特徴とする。
【００６１】
好適な一実施形態では、電子装置は、前記２次元ルックアップテーブル内のそれぞれのポイントが２つの要素のインデックスであることを特徴とする。
【００６２】
本開示の別の実施形態では、ライトフィールドコンテンツを表すテーブル内に放射輝度値を保存する電子装置が提案される。電子装置は、前記テーブルがライトフィールドコンテンツの２Ｄ光線図表現に基づくことと、電子装置が、
−  ライトフィールドコンテンツを表すテーブル内のデータ位置に対するポインタを含む２次元ルックアップテーブルを取得するように構成されたモジュールと、
−  インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、ｍ×ｎ個のピクセルを含む画像から光線の放射輝度値を取得するように構成されたモジュールであって、ｍ及びｎは、１超の整数である、モジュールと、
−  同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、取得された放射輝度値を前記テーブル内に保存するように構成されたモジュールと
を含むこととを特徴とする。
【００６３】
本開示の別の実施形態では、４Ｄライトフィールドデータをレンダリングする電子装置が提案される。この電子装置は、
−  少なくとも２つのデカルト座標を取得するように構成された第１のモジュールであって、それぞれのデカルト座標は、３次元空間内でカメラ位置と関連付けられる、第１のモジュールと、
−  前記少なくとも２つのデカルト座標から選択されたデカルト座標と関連付けられた少なくとも１つの４Ｄライトフィールドデータを取得するように構成された第２のモジュールと、
−  取得された４Ｄライトフィールドデータをレンダリングするように構成された第３のモジュールと
を含むことを特徴とする。
【００６４】
好適な一実施形態では、前記第２のモジュールは、前記少なくとも１つの４Ｄライトフィールドデータのデジタルライン表現を受け取るように更に構成される。
【００６５】
好適な一実施形態では、前記第２のモジュールは、前記選択されたデカルト座標に基づいてテーブルからデータを選択するように更に構成される。
【００６６】
図面の簡単な説明
本発明の上述の及び他の態様は、以下の添付図面を参照するその例示用の実施形態に関する以下の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００６７】
【図１】本開示の一実施形態によるライトフィールドカメラであるプレノプティックカメラの概略図である。
【図２】図１に開示されるセンサアレイの別の図を提示する。
【図３】本開示の一実施形態によるライトフィールドカメラであるマルチカメラアレイの概略図である。
【図４】本開示の一実施形態による少なくとも２つのプレーンの使用による光線のパラメータ化を提示する。
【図５（ａ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図５（ｂ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図５（ｃ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図５（ｄ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図５（ｅ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図５（ｆ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図５（ｇ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図５（ｈ）】本開示の一実施形態による２Ｄスライスの２つの異なる表現を示す。
【図６】本開示の一実施形態によるランダムな光線ファンの２Ｄ光線図を提示する。
【図７（ａ）】本開示の一実施形態による図６の２Ｄ光線図からのライトフィールドフィルタリングの結果を提示する。
【図７（ｂ）】本開示の一実施形態による図６の２Ｄ光線図からのライトフィールドフィルタリングの結果を提示する。
【図８】本開示の一実施形態による一般的な視点のレンダリングのために使用される座標系を提示する。
【図９】本開示の一実施形態による光線の選択を描く。
【図１０】本開示の一実施形態による図９の選択された光線のレンダリング光線トレースを提示する。
【図１１】本開示の一実施形態による選択された光線を有する２Ｄ光線図を提示する。
【図１２】本開示の一実施形態による図１１の選択された光線のレンダリング光線トレースを示す。
【図１３】本開示の一実施形態による選択された光線を有する２Ｄ光線図を提示する。
【図１４】本開示の一実施形態による図１３の選択された光線のレンダリング光線トレースを示す。
【図１５】本開示の一実施形態による３つのカメラの２つのグループの２Ｄ光線図である。第１のグループは、プレーンｚ３＝２にピンホールの組を有し、且つプレーンｚ３＝１４に第２の組を有する。
【図１６】図１５のライトフィールド表現のラドン変換のソノグラムである。
【図１７】本開示の一実施形態による３Ｄ空間内における一般的な視点のレンダリングのために使用される座標系を提示する。
【図１８】本開示の一実施形態による、｜Ａ｜＜０．５のアパーチャを有する、座標ｘ３＝２、ｚ３＝２における、１つのカメラによってキャプチャされた光線の２Ｄ光線図である。パラメータ化するために使用されるラインは、２５６個のセルによってサンプリングされる。
【図１９】本開示の一実施形態による２Ｄ光線図内のラインの一例を提示する。
【図２０】本開示の一実施形態による６つのライン又はデジタルラインを含む２Ｄ光線図である。
【図２１】本開示の一実施形態によるライトフィールド光線の表現の一例である。
【図２２（ａ）】本開示の一実施形態によるライトフィールド光線の表現の別の例である。
【図２２（ｂ）】本開示の一実施形態によるライトフィールド光線の表現の別の例である。
【図２２（ｃ）】本開示の一実施形態による二重キューブ内に封入される物体を示す。
【図２２（ｄ）】本開示の一実施形態による二重キューブ内に封入される物体を示す。
【図２３】図１８からのデータに対する離散ラドン変換の適用の結果を提示する。
【図２４】図２３内のエリアに対するズームである。
【図２５】左手側では、ｘにおける２Ｄ光線図と、この２Ｄ光線図内のデータに対する離散ラドン変換の適用の結果とを提示し、且つ右手側では、ｙにおける２Ｄ光線図と、この２Ｄ光線図内のデータに対する離散ラドン変換の適用の結果とを提示する。
【図２６（ａ）】本開示の一実施形態によるコンパクトなライトフィールド表現を提供する方法のいくつかのステップを提示する。
【図２６（ｂ）】本開示の一実施形態による、４Ｄライトフィールドデータ又は従来の２Ｄ画像から、２つのプレーンの使用を介した光線のパラメータ化に基づいた表現への変換を描く合成方式を提示する。
【図２６（ｃ）】本開示の一実施形態による、光線がピクセル（又は仮想的なピクセル）センサから「抽出」される方式を提示する。
【図２６（ｄ）】本開示の一実施形態による、光線がピクセル（又は仮想的なピクセル）センサから「抽出」される方式を提示する。
【図２７（ａ）】本発明の一実施形態による方法のサンプリングステップを導出するために使用されるパラメータを提示する。
【図２７（ｂ）】本開示の一実施形態による投影プロセスに関与するプレーンの斜視図を提示する。
【図２７（ｃ）】本開示の一実施形態によるライトフィールドのパラメータ化を実行するために使用されるプレーンの離散化を提示する。
【図２８】本開示の一実施形態による、画像がカメラの使用によって取得される（２つの物体を含む）シーンを提示する。更に正確には、画像は、２つのカメラの３つのグループから取得される。
【図２９】本開示の一実施形態による２つのカメラの３つのグループの２Ｄ光線図を提示する。
【図３０】本開示の一実施形態によるライトフィールドコンテンツ内の閉塞を処理する方法を描く。
【図３１】本開示の一実施形態による、電子装置によって供給される対象の画像について、例えば、図２２（ａ）のテーブルなどのライトフィールドコンテンツのコンパクトな表現からその画像のピクセルの値を取得する方式を提示する。
【図３２】画像及び２次元ルックアップテーブルから、例えば、図２２（ａ）のテーブルとしてのライトフィールドコンテンツのコンパクトな表現を生成する方式を提示する。
【図３３】本開示の一実施形態による、ユーザーが、４Ｄライトフィールドデータと関連付けられたカメラの位置を選択することができる３Ｄ表現を含むメニューを提示する。
【図３４】本明細書に開示される方法の１つ又は複数のステップを実行するために使用され得る電子装置の一例を提示する。
【発明を実施するための形態】
【００６８】
詳細な説明
図１は、プレノプティックカメラに含まれる主要なコンポーネントを概略的に提示する。更に正確には、プレノプティックカメラは、１０１という参照符号が付与されたメインレンズと、１０４という参照符号が付与されたセンサアレイ（即ち、ピクセルのアレイ）とを含む。メインレンズ１０１とセンサアレイ１０４との間には、１０３という参照符号が付与されたマイクロレンズの組を含む、１０２という参照符号が付与されたマイクロレンズアレイが位置決めされる。任意選択により、１つのレンズからの光がセンサ側の他のレンズの光とオーバーラップすることを防止するために、いくつかのスペーサが、それぞれのレンズの周りのマイクロレンズアレイとセンサとの間に配置され得ることに留意されたい。従って、プレノプティックカメラは、図１に示されるように、従来のカメラに、センサのちょうど前面に配置されたマイクロレンズアレイを加えたものと見なすことができる。マイクロレンズを通過した光線は、これらの光線の放射輝度を記録するセンサアレイの部分をカバーする。センサのこの部分による記録により、マイクロレンズ画像が定義される。
【００６９】
図２は、センサアレイ１０４の別の図を提示する。実際に、このような図では、センサアレイ１０４は、２０１という参照符号が付与されたピクセルの組を含むものと考えられる。マイクロレンズを通過した光線は、いくつかのピクセル２０１をカバーし、且つこれらのピクセルは、入射した／受光された光線のエネルギー値を記録する。
【００７０】
従って、プレノプティックカメラのセンサアレイ１０４は、（未加工の４Ｄライトフィールド画像とも呼称される）２Ｄ画像内に配置された小さい２Ｄ画像の集合体（即ち、２０２という参照符号が付与されたマイクロレンズ画像）を含む画像を記録する。実際に、それぞれの小さい画像（即ち、マイクロレンズ画像）は、レンズによって生成される（レンズは、レンズのアレイの座標（ｉ，ｊ）によって識別することができる）。即ち、ライトフィールドのピクセルは、４つの座標（ｘ，ｙ，ｉ，ｊ）と関連付けられる。センサによって記録される４ＤライトフィールドであるＬ（ｘ，ｙ，ｉ，ｊ）は、センサによって記録される画像を示す。それぞれのマイクロレンズは、円によって表されるマイクロ画像を生成する（小さい画像の形状は、マイクロレンズの形状に依存し、この形状は、通常、円形である）。（センサアレイ内における）ピクセル座標には、（ｘ，ｙ）というラベルが付与される。ｐは、２つの連続的なマイクロ画像間の距離であり、ｐは、必ずしも整数値ではない。マイクロレンズは、ｐがピクセルサイズδを上回るように選択される。マイクロレンズ画像は、その座標（ｉ，ｊ）によって参照される。それぞれのマイクロレンズ画像は、（ｕ，ｖ）座標系を有するメインレンズの瞳孔をサンプリングする。いくつかのピクセルは、特にマイクロレンズの形状が円形である場合、いずれのマイクロレンズからも何らの光子も受け取らない場合があるであろう。この場合、光子がマイクロレンズから外に通過し、その結果、マイクロ画像内にいくつかのダークエリアが生じることを防止するために、マイクロレンズ間の空間は遮蔽される（マイクロレンズが正方形の形状を有する場合、遮蔽は不要である）。マイクロレンズ画像（ｉ，ｊ）の中心は、センサ上で（ｘｉ，ｊ，ｙｉ，ｊ）の座標に位置する。θは、ピクセルの正方形格子とマイクロレンズの正方形格子との間の角度であり、図２ではθ＝０である。マイクロレンズが規則的な正方形格子に従って配列されると仮定することにより、マイクロレンズ画像のピクセル座標（ｘ０，０，ｙ０，０）を（０，０）であると見なすことにより、以下の式で（ｘｉ，ｊ，ｙｉ，ｊ）を演算することができる。
【数８】
2018537877.tif 000010
また、図２は、シーンからの物体がいくつかの連続的なマイクロレンズ画像（ダークドット）上で可視状態にあることも示す。物体の２つの連続的な視野間の距離は、ｗであり、この距離は、反復距離と呼称される。従って、物体は、
【数９】
2018537877.tif 000011
によりｒ個の連続的なマイクロレンズ画像上で可視状態にあり、ここで、ｒは、１つの次元における連続的なマイクロレンズ画像の数である。物体は、ｒ２個のマイクロレンズ画像内で可視状態にある。マイクロレンズ画像の形状に応じて、物体のｒ２個の視野のいくつかは、非可視状態となり得るであろう。
【００７１】
本明細書で上述されるように、４Ｄライトフィールドデータは、（４Ｄライトフィールドデータが、例えば、タイプ１．０のプレノプティックカメラによって取得される際に）サブアパーチャ画像によって表すことができる。それぞれのサブアパーチャ画像は、それぞれのマイクロレンズ画像から選択された同じ位置のピクセルから構成される。
【００７２】
ピクセルの場所に応じて、マルチビューのサブアパーチャ画像を取得することが可能であり、これらの画像は、それぞれ入射光線の異なる情報を有することができる。従来の写真は、すべての入射光を合計したすべてのサブアパーチャ画像の統合体に等しい。
【００７３】
従って、サブアパーチャ画像によって表される４Ｄライトフィールド画像は、ｍ×ｎ個のサブアパーチャ画像の組（又は集合体）として定義され、この場合、それぞれのサブアパーチャ画像は、同じシーンのわずかに異なる観点に対応し、パラメータｍ及びｎは、１以上の整数である。また、このような４Ｄライトフィールド画像は、従来技術では視野のマトリックスとも呼称される。このような表現を取得するには、それぞれの画像内のピクセルがすべてのマイクロレンズ下で同じ位置から到来する状態で画像のアレイを生成するために、未加工のセンサ画像からのピクセルが再配置される。それぞれのサブアパーチャ画像は、カメラレンズの小さいサブアパーチャ領域のみを通過した光の従来の画像をキャプチャしたものであると考えることができる。これらの画像は、極めて類似しているが、これらは、それぞれ同じ現実世界の物体がそれぞれのサブアパーチャ画像の異なる場所に出現するように、カメラのアパーチャプレーン内で一意の光学中心を有する。即ち、サブアパーチャ画像は、キャプチャされたシーン上で視差を提供し、この場合、前景の物体は、背景の物体よりも隣接するサブアパーチャ画像間で相対的に大きい変位を有する。
【００７４】
通常、ライトフィールド画像がタイプ１．０のプレノプティックカメラによって取得される場合、マイクロレンズの下方に位置決めされたピクセルの数がサブアパーチャ画像の数を決定し、且つマイクロレンズの数がそれぞれのサブアパーチャ画像内のピクセルの数を決定する。
【００７５】
プレノプティックカメラに関係する更なる詳細について、２０１２年５月にIEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, No 5に公開されたTom E. Bishop及びPaolo Favaroによる「The Light Field Camera: Extended Depth of Field, Aliasing, and Superresolution」という論文の「Image formation of a Light field camera」という名称の第４節に見出すことができる。
【００７６】
また、本技法は、このような従来のカメラのピクセルの少なくとも一部分が、文献米国特許出願公開第２０１３／２５８０９８号に記述されるものと同じ方式（又は類似の方式）によって設計される場合、（更なるマイクロレンズアレイがメインレンズとピクセルのアレイとの間に位置決めされないという意味で）「従来のカメラ」にも適用され得ることに留意されたい。実際に、文献米国特許出願公開第２０１３／２５８０９８号は、いくつかの受光セクション（例えば、文献米国特許出願公開第２０１３／２５８０９８号で１１６及び１１７という参照符号が付与されるもの）の使用に起因して、ライトフィールドデータを記録することができるピクセルについて開示する。従って、当業者は、このような従来のカメラを、それぞれのマイクロレンズが、センサ１０４に含まれる２つのピクセル上で光線を集中させる、図１に描かれているある種のプレノプティックカメラとして、文献米国特許出願公開第２０１３／２５８０９８号の技法を統合するピクセルのアレイと比較し得るであろう。文献国際公開第２０１３／２５８０９８号の技法は、更なる受光セクションがピクセルのアーキテクチャ内で統合された場合、ピクセルが（２つの低い且つ高い受光セクションによって取得される）３つ以上のデータ情報を記録し得るという意味で一般化され得ることに留意されたい。本開示は、上述のようにライトフィールドデータを記録し得るピクセルを統合したこのような「従来のカメラ」のメインレンズの収差を低減することができる。
【００７７】
また、本開示は、文献米国特許出願公開第２０１０／０２６５３８６号若しくはＳＩＧＧＲＡＰＨ  ２００７の議事録に公開されたA. Levinらによる「Image and depth from a conventional camera with a coded aperture」という名称の論文に描かれるコード化されたアパーチャ要素を含むか、又は１９９５年４月１０日にApplied Opticsに公開されたEdward R. Dowski, Jr.及びW. Thomas Catheによる「Extended depth of field through wave-front coding」という名称の論文で言及される波面コード化技法を使用する装置など、４Ｄライトフィールドデータを取得する他の装置にも適用され得ることに留意されたい。
【００７８】
図３は、３００という参照符号が付与されたマルチカメラアレイを概略的な方式で提示する。マルチカメラアレイ３００は、３０２という参照符号が付与されたいくつかのレンズを含む、３０１という参照符号が付与されたレンズのアレイと、３０４という参照符号が付与された１つ又は複数のセンサアレイとを有する。マルチカメラアレイ３００は、メインレンズを有していない。レンズのアレイは、多くの場合に小さい装置であり、これは、通常、マイクロレンズアレイと呼称される。単一のセンサを有するマルチカメラアレイは、メインレンズが無限焦点を有するプレノプティックカメラの特別な場合と見なし得ることは注目に値する。実際に、無限焦点距離を有するレンズは、光線に対して何らの影響も及ぼさない。
【００７９】
例えば、マルチカメラアレイは、文献国際公開第２０１４／１４９４０３Ａ１号に描かれるものとしてのペリカンアレイカメラであってもよく、又はACM Transactions on Graphics, Vol 24, No 3, July 2005, pp. 765-776 (Proceedings of ACM SIGGRAPH 2005)に公開されたB. Wilburnらによる「High Performance Imaging Using Large Camera Arrays」という名称の論文でStandford Universityによって開発されたものとしてのマルチカメラアレイであってもよい。
【００８０】
図４は、３Ｄ空間内での４０２及び４０３という参照符号が付与された２つのプレーンの使用により、４０１という参照符号が付与された光線をパラメータ化するための方式を提示する。それぞれのプレーン４０２、４０３は、２つの法線ベクトルによって定義される（プレーン４０２の場合、
【数１０】
2018537877.tif 000012
というベクトルがこれを定義し、且つ２Ｄ座標系（即ち、直交軸（ｘ１）及び（ｙ１）によって定義された座標系を使用することが可能であり、且つプレーン４０３の場合、
【数１１】
2018537877.tif 000013
というベクトルがこれを定義し、且つ２Ｄ座標系（即ち、直交軸（ｘ２）及び（ｙ２）によって定義された座標系）を使用することができる）。光線がプレーンと交差した場合、（３つの成分を含む）交差点の座標を３Ｄ空間内で判定することができる。但し、光線の方向を取得するには、３Ｄ空間内の光線の方向を識別するために別のプレーンを使用する必要がある。パラメータ化に使用される２つのプレーンが平行であり、且つ（３Ｄデカルト座標空間内で）既知のｚ値を有することを考慮することにより、４つの座標（直交軸（ｘ１）及び（ｙ１）によって定義された２Ｄ座標系内の２つの値、並びに直交軸（ｘ２）及び（ｙ２）によって定義された２Ｄ座標系内の２つの値）と、このような光線の強度／放射輝度に対応する値Ｌとによってのみ、光線を識別することができる（「Light Field Rendering」という名称の上述の論文におけるこのようなパラメータ化に関する詳細を参照されたい）。従って、シーン内の光線の集合体として見なすことができるライトフィールドは、プレーンのペアによりパラメータ化することが可能であり、且つライトフィールドのそれぞれの光線は、４つの座標を有するポイントとして表される（例えば、
【数１２】
2018537877.tif 000014
と、放射輝度値
【数１３】
2018537877.tif 000015
とを有する光線４０１。表記法の乱用により、光線の座標は、
【数１４】
2018537877.tif 000016
と表記される（これは、軸とも呼称されるｘ１、ｙ１、ｘ２、ｙ２という項として誤解を招く可能性があるであろう）。
【００８１】
また、光線は、４０４という参照符号が付与されたプレーン又は４０５という参照符号が付与されたプレーン上に（正投影又は直交投影を介して）投影することも可能であることに留意されたい。プレーン４０４は、２つのプレーン４０２及び４０３に対して垂直であるプレーンであり、この場合、３Ｄデカルト座標空間内のｙが一定の値を有する。プレーン４０５は、２つのプレーン４０２及び４０３に対して垂直であるプレーンであり、この場合、３Ｄデカルト座標空間内のｘが一定の値を有する。図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）には、いくつかの光線のプレーン４０４上への投影の結果が描かれる。従って、図５（ｂ）、図５（ｄ）、図５（ｆ）、及び図５（ｈ）には、図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）にそれぞれ描かれる光線の２Ｄ光線図内の表現が付与される。実際に、（図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）に表される）それぞれの投影された光線は、２Ｄ光線図内のポイントにより表される（これは、文献国際公開第２０１３／１８０１９２号の図４Ｂでも説明される）。従って、２Ｄ光線図内のポイントは、投影された光線に対応する。プレーン４０５上における投影を検討することにより、類似の図を取得し得ることに留意されたい。
【００８２】
実際に、ライトフィールドは、４つの変数の関数であるため、一般的に示すことが非常に困難である。但し、２Ｄスライスを取得することが可能であり、且つ特定の光線がマップを２Ｄグラフ内に設定する方式を２つの異なる方式で理解することができる。図５（ａ）〜図５（ｈ）は、ｘ１及びｘ２軸に限定されたこのような２Ｄスライスの２つの異なる表現を示す。図５（ａ）は、コリメートされた光線の組を示し、図５（ｃ）は、発散する光線ファンを提示し、図５（ｅ）は、収束する光線ファンを提示し、且つ図５（ｇ）は、プレーン４０３上に合焦された収束する光線ファンを提示する。図５（ｂ）、図５（ｄ）、図５（ｆ）、及び図５（ｈ）は、ライトフィールドデータ（即ち、その方向を有する光線）を２Ｄ光線座標系内にプロットする別の方法を提示し、これは、恐らく取扱い又は生成が相対的に容易であろうが、視覚化が相対的に困難であろう。
【００８３】
図５（ｂ）から始まり、ここで、２Ｄ光線図に様々な入射の角度を有するコリメートされた光線の組をプロットする。光線の組がｚ軸に対して平行である場合、それぞれの光線は、（ｘ２＝ｘ１＋定数という事実に起因して）４５°のラインに沿ってプロットされる。光線の組が上方を指し示す場合、ラインも２Ｄ図で上方にシフトし、且つ光線の組が下方を指し示す場合、ラインも下方にシフトする（負のｘ２）。結論は、平行光線が４５°のライン上にマッピングされ、且つ平行光線の組がｚ軸と角度をなす場合、相応してｘ２ライン切片がシフトするというものである。
【００８４】
図５（ｄ）は、発散するビームを提示する。実際に、発散の様々な程度がプロットされる。赤色ライン上のマーカーは、無限大から発散する光線の組を表す。基本的に、これは、組がコリメートされることを意味する。図５（ａ）は、ラインが４５°を有することと、ｘ１とｘ２との間の関係が線形であることとを既に示す。発散のポイントが無限大から軸ｘ１に向かって移動するのに伴って、２Ｄ光線図は、依然として線形であるが、ラインの急峻性が発散の量に伴って増大する。
【００８５】
限界点では、光線の組が発散するポイントがｘ１軸上に位置する場合、光線は、２Ｄ光線図上で垂直方向軸ｘ２に沿ってプロットされるであろう。
【００８６】
図５（ｅ）は、収束する光線の組を提示する。この場合にも、赤色マーカーラインは４５°を有し、且つ無限大から収束するビームを表し、これは、この場合にも平行な光線の組である。収束のポイントがｘ２軸に向かって移動した場合、光線は、減少するスロープのライン上にマッピングされるであろうことに留意されたい。
【００８７】
図５（ｇ）は、収束ポイントがｘ２上に位置する際の限界点である合焦された光線の組であり、この場合、図上のすべての光線が水平軸上に位置する。
【００８８】
光線を表すために、２つの２Ｄ光線図（Π（ｘ１，ｘ２）と表記される、プレーン４０４上への投影から導出されるもの（図５（ａ）、図５（ｃ）、図５（ｅ）、及び図５（ｇ）を参照されたい）、並びにΠ（ｙ１，ｙ２）と表記される、プレーン４０５上への投影から得られるもの）が使用される場合、１つの２Ｄ光線図内のポイント（即ち、Π（ｘ１，ｘ２）内のポイント）と、他の２Ｄ光線図内に（即ち、Π（ｙ１，ｙ２）内に）含まれるポイントとの間のリンクを可能にする別の情報を保存する必要があり、且つ逆も真であることに留意されたい。図２６には、サンプリングされたライトフィールド内のすべての光線について、このような明示的な追加情報の保存のバイパスを可能にする技法が記述される。但し、このような技法について理解するには、図６〜図２４に鑑み、いくつかの意見及びコメントを付与する必要があるであろう。
【００８９】
図６は、ランダム光線ファンの２Ｄ光線図を提示する。
【００９０】
ランダムなライトフィールドを生成するために均一なランダム数生成器を使用することができる。次いで、ライトフィールドの基本的な表現としての２Ｄ光線図が、従って、単純な方式により、ライトフィールドの選択された部分をフォーマットから再生成する。
【００９１】
ｘ値は、［−１０；１０］にわたって延在し、伝播の方向は、ｚであり、パラメータ化用の第２のプレーンは、ｚ＝１に配置され、且つ光線にランダムな方向が割り当てられる。均一に分散したランダムな光線方向を生成するには、例えば、［−１５；１５］内において、均一数生成器によりｘ２成分をランダムに生成するのが相対的に良好である。図６は、対応する２Ｄ光線図を示す。予想されたように、||ｘ１||＜１０及び||ｘ２||＜１５内ではすべての場所に光線が存在し、ここで、||．||はユークリッドノルムである。
【００９２】
ここで、図５（ａ）〜図５（ｇ）で予め識別される観察の証拠を取得することが望まれる。それは、特定のレンダリング用のいくつかの式を得る。とりわけ回答を要する疑問は、視点をレンダリングする方法、いずれかの別の場所で再合焦する方法、２Ｄ光線図内のいずれの光線がどのようなことを目的として使用されるかである。図６のもののような２Ｄ光線図内には、数百万個のポイントが存在し得るであろう。何らかの特定の画像をレンダリングするために、それらのすべてを試験又は追跡する必要があるであろうか。
【００９３】
コンピュータグラフィクスでは、レンダリングは、画像を生成するためにピンホールカメラを使用する。画像は、そのプレーンの前面の何らかの焦点距離において、ライトフィールドを小さい孔によってフィルタリングすることにより、プレーン上に形成される（例えば、「Understanding camera trade-offs through a Bayesian analysis of light field projections」という名称の上述の論文を参照されたい）。従って、画像のレンダリングは、「孔」の問題である。光線の観点から、これは、光線の組の収束又は発散についてサーチすることと均等である。
【００９４】
図１７は、ライトフィールドと光線図との間の関係を分析するために使用される表記法を提示する。この図から、ｚ１≠ｚ２であり、且つｚ３≠ｚ１である場合、
【数１５】
2018537877.tif 000017
である。
【００９５】
式１と呼称されるこの式は、ピンホール又は視点（ｘ３，ｚ３）を２Ｄ光線図内の位置である記録されたライトフィールドパラメータ（ｘ１，ｚ１，ｘ２，ｚ２）にリンクし、なぜならｚ１及びｚ２が判明するからである。式１は、以前の節から予想されるように、ａｘ＋ｂｙ＝ｃの形態のラインである。また、予想されるように、そのスロープ（ｘ１の係数は、プレーンの１つに対するｚ３におけるレンダリングピンホールの深さの関数であり、且つｙ切片は、ピンホールのオフ軸位置ｘ３の関数である。ここで、その式のいくつかの限定的な場合を検討する。
【００９６】
ａ）軸上のコリメートされた光線ファン（ｚ３→±∞、ｘ３＝０）
ｚ３→±∞であり、且つｘ３＝０である場合、ｚ軸に対して平行であるコリメートされた光線ファンの存在下であり、且つ式１から、
【数１６】
2018537877.tif 000018
であり、これは、実際にｘ２＝ｘ１の線形関係である。従って、図６の２Ｄ光線図から、ｘ２＝ｘ１の関係を順守する光線のみを選択及びレンダリングする場合、ｚ軸に対して平行に伝播するライトフィールドからの光線のみを追跡する。
【００９７】
ｂ）軸外しのコリメートされた光線ファン（ｚ３→±∞、ｘ３≠０）
軸外しのコリメートされた光線ファンの場合、ｚ３とｘ３との間にｘ３＝ａｚ３＋ｂの疑似変換関係が存在し、その結果、これを式１に代入した場合、
【数１７】
2018537877.tif 000019
であり、図５（ａ）にこれが示されており、この場合、軸外しビームは、コリメートされたビームがｚ軸となすスロープに伴って変化するｙ切片を有する４５°のラインである。この場合にも、２Ｄ光線図から、ｘ２＝ｘ１＋ｃの関係を順守する光線のみを選択及びレンダリングする場合、ｚ軸との関係で何らかの角度を有する平行光線の組として伝播するライトフィールド全体からの光線を追跡する。図７（ａ）及び図７（ｂ）は、この場合を正確に示し、図６の２Ｄ図から光線を選択することにより、軸外しの平行光線が追跡されることがわかる。実際に、図７（ａ）及び図７（ｂ）は、図６の２Ｄ光線図からの光線のライトフィールドのフィルタリング及び再構築を提示する。更に正確には、図７（ａ）は、||Ｌ２Ｄ（ｘ１，ｘ２）−（ｘ１＋５）||＜０．１の選択基準に応じた図６の２Ｄ光線図内の光線の選択を描いており、この選択基準は、図７（ｂ）に示される伝播の方向を有する平行な光線の組の選択を可能にする。実際に、図７（ｂ）は、図６の２Ｄ光線図内の選択された光線からの再構築されたライトフィールドを描く。
【００９８】
ｃ）合焦された光線ファン
「合焦された」により、ｚ＝ｚ２における第２のサンプリングライン後に所定のポイントに収束するファンを意味する。この場合、ｚ３＞ｚ２及びｚ２＞ｚ１を有し、その結果、式１は、
【数１８】
2018537877.tif 000020
として記述することができ、また、ｚ３＞ｚ２及びｚ２＞ｚ１という条件は、
【数１９】
2018537877.tif 000021
を意味する。
【００９９】
図５（ｅ）及び図５（ｆ）におけるように、軸上の光線ファンがｘ３＝０に収束する場合、関係は、４５°未満のスロープ角度を有するラインを表す（α＜１）。
【０１００】
これが実際に使用される方法を実証する。ライトフィールドを２プレーンサンプリングし、このライトフィールドから光線図を構築すると仮定する。依然として、４Ｄライトフィールドの２Ｄスライス内に位置する。この光線図は、図６からのものである。また、３つの視野のレンダリングを所望すると仮定する。これを目的として、光線が収束するｚ＝ｚ２後、３つのピンホール、即ち３つのポイントを定義する。ここで、２Ｄ光線図上でラインｘ２＝αｘ２＋βｘ３に沿ってそれらの光線を選択することが可能であり、ここで、｜α｜＜１であることがわかる。
【０１０１】
それぞれ位置Ｃ０（ｚ３＝＋２，ｘ３＝０）、Ｃ−１（ｚ３＝＋２，ｘ３＝−２）、及びＣ＋１（ｚ３＝＋２，ｘ３＝＋３）に配置された３つのカメラを定義する。ｚ１＝０及びｚ２＝１と設定する。それらの値が式１で設定されたら、２Ｄ光線図上で以下の３つの関係を順守する光線を選択しなければならない。
【数２０】
2018537877.tif 000022
【０１０２】
図９は、選択基準が
【数２１】
2018537877.tif 000023
である状態における図６の光線の選択を提示する。図１０は、（図９で選択された）選択済みの光線のレンダリングを描く。
【０１０３】
ｄ）発散する光線ファン
「発散」は、ｚ＝ｚ１における第１のライン前に設定されたポイント（ｚ３＜ｚ１，ｘ３）から発散するように見える光線ファンを意味する。ｚ３＜ｚ１＜ｚ２では、ｚ２−ｚ３＞ｚ１−ｚ３＞０を取得し、且つその結果、スロープαは、
【数２２】
2018537877.tif 000024
である。
【０１０４】
発散するビームは、４５°超のスロープを有するラインとして２Ｄ光線図内にマッピングされる。
【０１０５】
ｅ）第１のパラメータ化ライン上の発散光線ファン
発散のポイントは、ｚ３＝ｚ１に配置することができる。この場合、式１を書き直すことが可能であり、且つｘ１＝ｘ３を得る。第１のプレーンから発散するように見える光線を光線追跡するには、２Ｄ光線上で垂直方向のラインを選択しなければならない。
【０１０６】
ｆ）第２のパラメータ化ライン上の収束する光線ファン
式１から、ｚ３＝ｚ２と設定した場合、ｘ２＝ｘ３を得る。第２のプレーンに対して収束する光線ファンは、２Ｄ光線図上で水平方向のラインとしてマッピングされる。図１１及び図１２は、（ｚ３，ｘ３）＝（１，５）によって取得されたものである。
【０１０７】
ｇ）リアルレンズの場合
ピンホールは、抽象的な物体であり、リアルレンズモデルを使用することによるライトフィールドのレンダリングを所望する場合、レンズの入口瞳孔の位置及びサイズを知る必要があり、且つ次いで、入口瞳孔を通じて進行する光線を光線図内で選択する必要がある。入口瞳孔が（ｚｌ，ｘｌ）に位置し、且つそれが、ｚに対して平行であるレンズ軸と共にアパーチャ直径Ａを有する場合、その座標が式１を充足するが、ｘ３が
【数２３】
2018537877.tif 000025
内で変化する光線図のすべての光線ポイントを光線図内で選択する必要がある。
【０１０８】
図１３及び図１４では、入口瞳孔は、（ｚｌ，ｘｌ）＝（４，７）に位置し、そのサイズＡ＝６であり、且つこのサイズに起因して、２Ｄ光線図内には、選択される必要があると共にラインセット全体に属する光線をトレースする必要がある平行なラインの完全な組が存在する。
【０１０９】
ここで、２Ｄ光線図に対するラドン変換の適用の観察に焦点を当てる。上述のように、光線がそれに向かって集中するピンホールが存在する場合、それらの光線の２プレーンパラメータ化は２Ｄ光線図内のラインとして表される。例示を目的として、３つのカメラの２つのグループによってキャプチャされるライトフィールドをセットアップする。カメラの第１のグループは、（ｘ３，ｚ３）＝｛（１０，２）；（２，２）；（−５，２）｝の第１の深さに位置し、且つ第２のグループは、（ｘ３，ｚ３）＝｛（６，１４）；（−３，１４）；（−９，１４）｝の別の深さに位置する。すべてのカメラは０．１単位の入口瞳孔を有する（単位は、メートルやセンチメートルなどのいずれかであってもよい）。パラメータ化プレーンは、ｚ１＝０、ｚ２＝１に設定され、且つプレーンのサイズは、｜ｘ１｜≦１０、｜ｘ２｜≦１０単位である。両方のプレーンは、２Ｄ光線図が１０００×１０００ピクセル画像によって表されるように、１０００個のセルによってサンプリングされる（図１５を参照されたい）。
【０１１０】
次いで、以前に教示されているように、（３つのカメラの２つのグループの２Ｄ光線図であり、第１のグループが、プレーンｚ３＝２におけるピンホールの組と、プレーンｚ３＝１４における第２の組とを有する）図１５を観察するのみで、３つのラインの２つの組が存在し、それぞれのグループは異なる深さに設定されることがわかり、なぜなら、２Ｄ光線図上では異なる深さが異なるスロープを結果的にもたらすからである。従って、この観察から、この表現を効率的に圧縮するための余地が存在するように、この図では、送信のために又はライトフィールドのレンダリングのために特定のラインのみが重要であることがわかる。
【０１１１】
２Ｄ光線図からのいずれの値が重要であるかを定義する自然な方法は、図からすべてのラインを検出することである。これは、ラドン変換の使用を介して実現することができる。オーストリアの数学者であるJohann Radonにちなんで命名された２次元のラドン変換は、直線上における関数の積分から構成された積分変換として定義される。
【０１１２】
この変換は、２Ｄ光線図をライトフィールドの特徴を効率的に判定するパラメータ空間内にマッピングする。図１６はシノグラムであり、これは、図１５の２Ｄ光線図に対して適用されたラドン変換の視覚化である。これが、３つのうちの２つのグループにおける６つの局所的な最大値を示すことがわかる。ラインθ≒４２に沿った第１のもの及びθ≒２７°に沿った第２のものである。
【０１１３】
図１７は、３Ｄ空間内における一般的な視点のレンダリングのために使用される座標系を提示する。
【０１１４】
また、図４に描かれるパラメータ化に起因して、パラメータ化されたライトフィールドのレンダリングを所望するポイント（このようなポイントは、ｚ＝ｚ３に配置されたプレーン内に位置決めされ、図１７を参照されたい）と、パラメータ化プロセスで使用される２つのプレーンとの交差ポイント（それぞれ図１７のｚ＝ｚ１及びｚ＝ｚ２でｚ軸に対して垂直である２つのプレーンを参照されたい）との間に
（ｚ２−ｚ３）（ｘ１＋ｙ１）＋（ｚ３−ｚ１）（ｘ２＋ｙ２）＝（ｚ２−ｚ１）（ｘ３＋ｙ３）
が成立することを実証することもできる。
【０１１５】
すべてのｚｉがわかっているため、式２と呼称されるこの式の唯一のパラメータは、４つのパラメータ（ｘ１，ｙ１，ｘ２，ｙ２）である。式２は、ポイント（ｘ３，ｙ３，ｚ３）を通じて影響を及ぼす（若しくは収束するか、又は均等な式が「画像を形成」する）すべての光線が、リンクされたその４つの座標を有することを基本的に意味する。
【０１１６】
また、式２は、
【数２４】
2018537877.tif 000026
内のハイパープレーンを定義することにも留意されたい（Rendering Techniques’97, Proceedings of the Eurographics Workshop in St. Etienne, France, June 16-18, 1997に公開されたX. Guらによる「Polyhedral geometry and the two-plane parameterization」という名称の論文を参照されたい）。
【０１１７】
この場合にも、これは、２プレーンパラメータ化されたライトフィールドからの画像のレンダリングを所望する場合、ハイパープレーンの近傍における光線のみをレンダリングすることを意味する。それらのすべてを追跡する必要はない。当然のことながら、すべてが良好に機能し、なぜなら、常に伝播の方向又はレンダリングの方向にパラメータ化プレーンを選択するからである。
【０１１８】
２Ｄにおける表現フォーマットに関するいくつかのコメント
ライトフィールドが２つのプレーンによってパラメータ化される場合、位相空間内におけるその表現（即ち、４Ｄ光線図）は４Ｄ空間の一部分を占有する。プレーンは有限寸法を有するため、その位相空間内のプレノプティック機能の４Ｄサポートはコンパクトである。この結果、パラメータ化されたライトフィールドを保存するために必要とされる空間を推定することができる。２Ｄスライスの場合と完全な４Ｄの場合との両方を検討する。また、プレーンは、１０００×１０００個のセルによってサンプリングされると仮定する。これは、２Ｄ位相空間が１０００×１０００個のセルのマトリックスによって表され、且つ４Ｄ位相空間が１０００４個のセルのマトリックスによって表されることを意味する。セルと関連付けられた光線のスペクトルが、通常、８ビットによって量子化された赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｇ）である３つの帯域によってサンプリングされる場合、色は、２４ビット、即ち３バイトの値として保存される。この特定の場合のそれぞれの４Ｄ表現が２．８Ｔバイトのストレージを必要とすることがわかる。
【０１１９】
また、図１５から、マトリックスが非常にまばらに入力され、何らの値も有していない多数のセルが存在し、且つこの場合がこのライトフィールドについて一般的であることがわかり、なぜなら、これが離散取得手段によってキャプチャされるからである。４Ｄ表現のマトリックスは、比例してその入力が更に少なくなり、その結果、巨大なマトリックスを操作することが意味をなさなくなる。まばらなマトリックス表現で実行されるものと同様に、恐らくこれを回避するための方法を見出すことができる。
【０１２０】
また、２Ｄスライス化表現の場合、光線がラインの近傍に沿ってマッピングされることも観察した。４Ｄの場合、これらはハイパープレーンの近傍にマッピングされる。
【０１２１】
以下の説明を２Ｄの場合に制限する。離散ラドン変換によってラインのパラメータを見出すための手段を有するため、代表値が存在するマトリックスの領域を見出すことができる。
【０１２２】
説明を例証するために、以下で開示される主要な概念を理解するための一例を挙げる。図１８は、見出しに記述されるシステムの２Ｄ光線図を示す。更に正確には、図１８は、ｘ３＝２、ｚ３＝２の位置で１つのカメラによってキャプチャされた光線の２Ｄ光線図を描いており、この場合、アパーチャは、｜Ａ｜＜０．５であり、且つこの場合、パラメータ化するために使用されるラインは、２５６個のセルによってサンプリングされる。図１８に示される画像をマトリックスとして解釈した場合、これが非常にまばらに入力されることがわかる。生じる疑問は、このマトリックスからどのようにして代表データのみを抽出することができるか、これを（当然のことながら構造化された方式で）ファイル内に保存するための最良の方法はどのようなものであるかである。光線が４Ｄ位相空間マトリックスの代わりにファイル内に個々に保存される場合にも、これは、それぞれの光線について、それぞれの位置ｘｉ又はｙｉについての少なくとも２バイトと、加えて色用の３バイトとを保存することを必要とする。これは、２Ｄスライス化ライトフィールドの場合には光線毎に７バイトであり、且つそのフル４Ｄ表現の場合には光線毎に１１バイトである。また、その場合にも、光線は、ファイル内にランダムに保存され、これは、表現を操作する必要がある多数の用途で非常に不適切であり得るであろう。
【０１２３】
デジタルラインのビーム
光線がラインに沿ってマッピングされることがわかるため、ラインのパラメータ（関係するスロープｓ及び切片ｄ）と、次いでそのラインに属する光線の集合体と、次いで次のラインパラメータ及び個々の光線などとを順番に保存することが相対的に効率である。
【０１２４】
これは、ｓ用の２バイトと、ｄ用の２バイトと、次いで光線毎に３バイトのみとを必要とし、これは、色データとの比較でラインパラメータのオーバーヘッドを無視した場合、それぞれ２Ｄ及び４Ｄ光線表現で１：２及び１：４の圧縮比を提供する。更に、光線は、ファイル内でラインに沿って順序付けられるであろう。マトリックスセルを通じてラインを設定するには、最小限の誤差によってそれらを近似する、いわゆるデジタルラインを定義する必要がある。離散ラドン変換を専門とする文献に定義される一般的な定義及びデジタルラインに準拠する（例えば、Pattern Recogn., 28(12):1985-1992, Dec. 1995に公開されたW. A. Goetz及びH. J. Druckmuellerによる「A fast digital radon transform-an efficient means for evaluating the hough transform」という名称の論文、及びProc. Natl. Acad. Sci. USA, 103(51):19249-19254, 2006)におけるW. H. Pressによる「Discrete Radon transform has an exact, fast inverse and generalizes to operations other than sums along lines」という名称の論文を参照されたい）。
【０１２５】
この段階では、デジタルラインは、ブレゼンハムアルゴリズムによって生成される。更なる進歩した再帰的なタイプのデジタルライン生成については後に示す。以前の参照文献から、デジタルラインは、（０，ｄ）及び（Ｎ−１，ｓ）のグリッドの２つのポイントによって定義され、この場合、パラメータｓは、次式：
【数２５】
2018537877.tif 000027
により、ラインのスロープと結合される。ここで、ｓ∈｛０，１，…，Ｎ−１｝であり、ｄは、切片であり、且つｄ∈｛０，１，…，Ｎ−１｝である。
【０１２６】
例えば、ｄ、ｓ及びデジタルラインのｘ軸の付番の図である、図１９を参照されたい。以前に理解したように、デジタルラインを１つのオクタントに制限することが可能であり、これは、
【数２６】
2018537877.tif 000028
内の第１のもの、又は
【数２７】
2018537877.tif 000029
内の第２のオクタントである。
【０１２７】
これまで、ラインの２つのポイントのみを有している。これは、分析ラインの場合には十分であるが、ここで、分析ラインを近似するグリッドポイントも提供しなければならない。デジタルラインを取得するための最も簡便な方法は、分析ラインをその最も近いグリッドポイントに丸めることである。ブレゼンハムのアルゴリズムは、最小限の演算数によってこれを実行するための方法を提供し、上述の文献で開発された方式は、高速離散ラドン変換計算に対して相対的に良好に適合された代替定義を付与する。ブレゼンハムの実装は、http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.htmlという参照文献から適合されている。上述したように、この分析は、１オクタントに制限される。この特定の場合、ｄ≦ｓとなるように０≦ａ≦１を有する。
【０１２８】
ここで、同じスロープａを有するが、異なる切片ｄを有し、且つラインのファミリーが連続的であるデジタルラインのファミリーを検討する。このデジタルラインのファミリーを「ビーム」と呼称する。図２０は、同じｓ−ｄ値を有するが、異なるｄ切片を有する、この定義による６つのデジタルラインのビームを示す。ラインのビームが入射する領域内の特定のピクセルは、１つの一意のラインにのみ属する。
【０１２９】
従って、まとめると、サンプリングされたラインのペア（２Ｄにおける）によってパラメータ化されると共に１つのカメラに属する光線データは、データを表すために使用される位相空間内でデジタルラインのファミリー（ビーム）に属する。ビームのヘッダは、単にビームのスロープａ及び太さｄｍａｘ−ｄｍｉｎを含むことができる。光線値は、そのヘッダがｄ及びｓであり得るデジタルラインに沿ったＲＧＢ色として保存される。ファイルは、サンプリングされた空間の光線図のボイドセルを保存しない。ファイルは、光線の座標ｘ１、ｘ２も保存せず、これは、ｄ、ｓ、及びデジタルラインに沿ったセルの位置から推定される。図２１は、これらの意見を考慮したフォーマットの説明であり、これについては後述する。
【０１３０】
デジタルラインのビームの特徴を判定するための離散ラドン変換
以前のフォーマットが交換及びレンダリングの基礎として実装可能及び使用可能となるには、フォーマットの内部における記述を要する基本的なパラメータを計測又は推定し得ることが少なくとも望ましい。ライトフィールド又はカメラの形状からの推定を要するパラメータは、スロープａと、デジタル切片の下部及び上部境界（ｄｍｉｎ、ｄｍａｘ）と、次いでデジタルラインパラメータ（ｄｉ，ｓｉ）とである。離散ラドン変換は、光線図内のライトフィールドのサポート場所を計測するためのツールとして説明される。
【０１３１】
図２３は、デジタルラインパラメータ空間（ｄ，ｓ）内の離散ラドン変換を示し、これは、シノグラムの（ρ，θ）空間と混同されてはならない。
【０１３２】
更に正確には、図２３は、図１８からの分布の離散ラドン変換を示し、且つ図２４は、図２３に含まれる対象の領域内へのズームである。デジタルラインのビームは、最大値パラメータについてのサーチによってスポットされる。ＤＲＴの対称性の幾何学的な中心と最大値の実際の位置との間には、画像コンテンツに起因して何らかのオフセットが存在する可能性があり、その結果、最大値の代わりに、対称の中心を正確に特定するためのアルゴリズムを後に見出さなければならない。統合ラインに沿ってＲＧＢ値を合算する代わりに、統合ラインに沿って光線の数／セルを合算することにより、コンテンツのバイアスを伴わない最大値の特定を実行することが可能であり、これはむしろハフ変換である（ラドンのバイナリバージョン）。その結果、図２４に示されるビーム変換のウエストを見出すことが容易であり、且つこれは、フォーマット内に使用される値（ｄｍｉｎ，ｄｍａｘ）を直接的に付与する。実際に、ポイント（ｄｍｉｎ＝７４，ｓ＝２０１）は、図１８からのデジタルラインのビームの下部エンベロープであり、且つ（ｄｍａｘ＝８１，ｓ＝２０８）は、デジタルラインのビームの上部エンベロープである。
【０１３３】
これらの値を取得したら、図２１によって規定されるフォーマット内へのデータの入力を開始することができる。
【０１３４】
直交２Ｄラドン変換によるハイパープレーン場所の評価
ａ）原理
恐らく、このライトフィールドを表す方式で最も懸念されるのは、光線データのハイパープレーンを見出すための４Ｄ空間内における作業の必要性であろう。以下の分析では、２つの直交２Ｄ−ＤＲＴのみにより、ハイパープレーン全体の場所及び容積を評価し得ることを示す。
【０１３５】
式２から２つの直交２Ｄスライス化空間の式を記述する。
（ｚ２−ｚ３）（ｘ１＋ｙ１）＋（ｚ３−ｚ１）（ｘ２＋ｙ２）＝（ｚ２−ｚ１）（ｘ３＋ｙ３）
【０１３６】
また、ｘｉ座標の２Ｄスライスを取得する場合、光線データが（ｘ３，ｙ３，ｚ３）におけるサイズＡのアパーチャを通じてマッピングされるラインのビームの式は、
【数２８】
2018537877.tif 000030
である。
【０１３７】
同様に、ｙｉ座標の２Ｄスライスを取得する場合、
【数２９】
2018537877.tif 000031
である。
【０１３８】
以前の節に従って、ｍ及び
【数３０】
2018537877.tif 000032
の値を離散ドメイン内で評価することができる。
【０１３９】
上述のフォーマットによって定義されたライトフィールドの特性を局所化するには、４Ｄ離散ラドン変換を実行する必要はない。２つの直交２Ｄ−ＤＲＴを実行する場合、ハイパープレーンのスロープｍと、すべてのデータが４Ｄ光線図内に集中するデジタルハイパープレーンのビーム幅とを計測することができる。
【０１４０】
この場所の相対的に単純な手順は、
【数３１】
2018537877.tif 000033
がすべてのハイパープレーン切片を包含し、フォーマットで記述されたいくつかの値が値を含まなくなるように円形の入口瞳孔Ａを仮定する。
【０１４１】
ｂ）例
節３からの例を４Ｄの場合に拡張する。（ｘ３，ｙ３，ｚ３）＝（２，５，２）に配置されたカメラを有すると仮定する（即ち、カメラ位置は（ｘ３、ｙ３、ｚ３）である）。ｘにおけるサンプリングされた光線図内の２Ｄスライスは、図１８に表されるものと同じであり、且つ２Ｄ−ＤＲＴは図２３からのものである。図２５も、同様にｙの２Ｄ−スライスにおける直交２Ｄ−ＤＲＴを示す。更に正確には、図２５は、２つの２Ｄ光線図Π（ｘ１，ｘ２）及びΠ（ｙ１，ｙ２）のみならず、これらの２Ｄ光線図に適用された離散ラドン変換の結果も描く。
【０１４２】
２Ｄ−ｘＳｌｉｃｅ  ＤＲＴから、ハイパープレーンｍ＝０．５０５９のスロープの評価を取得し、且つ２Ｄ−ｙＳｌｉｃｅ  ＤＲＴからｍ＝０．４９８０の別の独立的な評価を取得する。節ａ）における式から、真の値はｍ＝０．５である。わずかな差は、デジタルラインのビームを変換するという事実に由来する。従って、２Ｄラドン変換の最大値は幅広であり、且つ最大値の評価における不確実性が存在する。両方の２Ｄ−ＤＲＴにおけるウエストの計測から、ｘにおけるビームエンベロープの場合、
【数３２】
2018537877.tif 000034
であり、且つｙにおけるビームエンベロープの場合、
【数３３】
2018537877.tif 000035
であることを見出す。これらの値は、正確に予想されたものである。
【０１４３】
ここで、残されているのは、図２１で導入されたフォーマットを４Ｄのコンテキストに拡張するための方法を見出すことである。
【０１４４】
ｃ）マルチカメラの場合
マルチカメラに属するライトフィールドを有する場合、ＤＲＴの線形性を利用してそれぞれのカメラが占有するパラメトリック容積を再帰的に推定することにより進めることができる。
【０１４５】
２つの直交ＤＲＴを実行すると共にその最大値に属するデジタルハイパープレーンの最大値及びエンベロープを求めることを開始することができる。すべてのパラメータを得たら、４Ｄ光線図又はそれらが保存されるファイルからすべての光線を消去することが可能であり、且つ４Ｄ光線図を空にする時点まで、再度、直交ＤＲＴのペアにより、第２の最大値の特定などを開始することができる。
【０１４６】
２Ｄの場合について提案されるもの、即ち図２１のテーブルに類似した４Ｄの場合のフォーマットの取得に関心が持たれるであろう。これを実行するために、Π（ｘ１，ｘ２）プレーン上に見出される２ＤラインをΠ（ｙ１，ｙ２）プレーン上に見出されるライン、即ちΠ（ｘ１，ｘ２）及びΠ（ｙ１，ｙ２）の２つの直交スライスとの対応するハイパープレーンの交差の結果であるラインに対して関連付けることに関心が持たれるであろう。節ａ）に記述される式から、対応するラインが同じスロープｍを有することがわかる。これは、特定の深さにおけるカメラにおいて、Π（ｘ１，ｘ２）上のそれぞれのラインをΠ（ｙ１，ｙ２）内のラインに対して関連付ける第１のパラメータである。ここで、同じ深さに複数のカメラを有する場合（即ち、図１５の場合）、ｍという同じ推定されたスロープを有するΠ（ｘ１，ｘ２）内の３つのライン及びΠ（ｙ１，ｙ２）内の３つのラインを有する。次いで、これらの２つのプレーン内のライン間のラインオフセットにおける対応性を判定する必要がある。これを実行するために、節ａ）で言及される式中のラインの式を活用する。具体的には、
【数３４】
2018537877.tif 000036
と表記することにより、以下のように、オフセットを得る。
【数３５】
2018537877.tif 000037
【０１４７】
ｋ、ｘ３、及びｙ３について、これらの式の組を解くことができる。（ｘ３，ｙ３，ｚ３）は、カメラの座標であり、又は換言すれば、カメラの半径Ａの出口瞳孔の中心でもある投影の中心であることに留意されたい。
【数３６】
2018537877.tif 000038
となるように、ｚ３に位置決めされたプレーン上のアパーチャが円形であると想定し、且つ以前の式の組を解くことにより、
【数３７】
2018537877.tif 000039
が得られる。
【０１４８】
ここで、ブレゼンハムのデジタルラインを使用することにより、Π（ｘ１，ｘ２）上で以前と同様にデジタルラインをスキャンする。Π（ｘ１，ｘ２）上のそれぞれの個々の（ｘ１，ｘ２）値について、ライトフィールド内でキャプチャされた、Π（ｙ１，ｙ２）内の対応する（ｙ１，ｙ２）値を保存する必要がある。このような値を見出すために式２を活用する。以下のすべては、既知であるか又は上述の式から推定される。
【０１４９】
ここで、それぞれの
【数３８】
2018537877.tif 000040
について、Π（ｘ１，ｘ２）内のそれぞれのライン上で移動することにより、以下のような（ｙ１，ｙ２）における関係を得る。
【数３９】
2018537877.tif 000041
従って、
【数４０】
2018537877.tif 000042
である。
【０１５０】
（Π（ｘ１，ｘ２）内で識別されたラインのラインパラメータの代わりに）Π（ｙ１，ｙ２）内のラインパラメータをフォーマットに保存することを所望する場合、Π（ｙ１，ｙ２）のポイントからΠ（ｘ１，ｘ２）内の対応する値を回収するために同じ式を適用し得ることに留意されたい。
【０１５１】
ここで、カメラのアパーチャは、半径Ａを有する円である。従って、変数ｙ３＊はｙ３±Ａで変化する。この結果、Π（ｘ１，ｘ２）内のそれぞれのポイントについて、Π（ｙ１，ｙ２）内のラインの集合体を保存する必要がある。従って、
【数４１】
2018537877.tif 000043
は、スキャンされると共に
【数４２】
2018537877.tif 000044
について保存される必要があるラインのオフセットに対応する。これが機能する方式を描き出すために、図２０を参照することができる。着色された正方形のそれぞれのものは、
【数４３】
2018537877.tif 000045
ポイントであり、且つこれらのポイントのそれぞれについて、描かれるものに対して垂直であるが、４Ｄ空間内に位置する、式
【数４４】
2018537877.tif 000046
によって定義されたデジタル束に沿って図のプレーンから外に延在するブレゼンハムデジタルラインの組が存在する。
【０１５２】
ここで、コンパクトなライトフィールド表現フォーマットは、以下のように定義される（図２２（ａ）を参照されたい）。まず、４つの軸の境界及びその対応するサンプリングという４Ｄ空間の一般的なメタデータを提供する。次いで、カメラ（束）の数を提供する。それぞれのカメラについて、テーブル内にブロックを生成し、且つカメラｊについて以下のパラメータを保存する。
−  アパーチャＡｊのサイズに対応するｃａｍｊ
−  ｆｏｃｕｓＰｏｉｎｔ＝（ｘ３，ｙ３，ｚ３）
−  ｄｊと表記された（ｘ１、ｘ２）内の最小ｃａｍｊ切片
−  ｃａｍｊの急峻性に対応するｍｊ
−  ｃａｍｊの（ｘ１，ｘ２）におけるデジタルラインの数に対応する
【数４５】
2018537877.tif 000047
−  ｃａｍｊの（ｙ１，ｙ２）におけるデジタルラインの数に対応する
【数４６】
2018537877.tif 000048
【０１５３】
次いで、このカメラ上でそれぞれの
【数４７】
2018537877.tif 000049
について、ブレゼンハムデジタルラインを使用することにより、式
【数４８】
2018537877.tif 000050
との関係で（ｙ１，ｙ２）のスキャニングを開始し、且つＲＧＢ値を保存する。具体的には、ｙ３＊がｙ３＊−Ａからｙ３＊＋Ａまで変更され、且つ対応するｄｏｆｆが、
【数４９】
2018537877.tif 000051
に従って算出される。保存されたメタデータを使用することにより、同じ計算がデコーディングステップで実行される。具体的には、
【数５０】
2018537877.tif 000052
を判定することにより、ｋが見出される。従って、フォーマットはコンパクトな状態に留まる。システム内でそれぞれの光線について４つのインデックスを保存する必要はない。加えて、アパーチャサイズが判明し、且つすべてのカメラについて同じと仮定することに留意されたい。但し、フォーマットを一般的な状態に維持するために、これをそれぞれのカメラについて保存することを提案する。
【０１５４】
上述のハイパープレーンのサンプリングは、４Ｄ光線空間のサンプリングであり、且つ単一のｘ１，ｙ１，ｘ２，ｙ２場所を見逃さないことを確実にしている点に注意されたい。
【０１５５】
これは、すべてのデータを非常にコンパクトな形態に保存するための４Ｄ光線空間のシステマチックなスキャニングの一例に過ぎない。当然のことながら、他の方式が存在し得るであろう。パラメトリック形態は、ハイパープレーンを調査するために適合されるように思われ、なぜなら、それは、インターリーブされた空間調査を許容するからである。
【０１５６】
マルチカメラの場合
ハイパープレーンのいくつかの束（複数のカメラに起因したラドン変換におけるいくつかの極大値）を含むデータについて作業するために、貪欲なアルゴリズムを使用することができる。事前処理ステップとして、パラメータ（ｍ，ｋ）がΠ（ｘ１，ｘ２）に対するラドン変換におけるすべてのピークについて見出され、且つ１つの組として配置される。同じ内容が（ｙ１，ｙ２）におけるピークについても実行され、且つパラメータが別の組として配置される。ここで、貪欲なアルゴリズムのそれぞれの反復において最大ピーク強度が（ｘ１，ｘ２）の２Ｄラドン変換に見出され、且つ予め見出されるパラメータ（ｍ，ｋ）をマッチングさせることにより、（ｙ１，ｙ２）内の対応するピークが見出される。直前の節で言及されるようにデータを保存した後、これらのピークは、ラドン変換からクリーニングされ、且つ有意なものがライトフィールド内に存在しなくなる時点まで次の反復が開始される。
【０１５７】
図２２（ａ）内のコンテキストは、１つのライトスラブに限定されることに留意されたい。但し、これは、６つのライトスラブが使用される際のコンテキストに一般化することができる。図２２（ｃ）及び図２２（ｄ）は、二重ボックス内に封入され得る物体（ペンギン）を描いており、この物体の側部は、二重ボックス／キューブの外側に配置されたいくつかのランダムに分散されたカメラによってキャプチャされる放出ライトフィールドをパラメータ化するためのライトスラブを構築するために使用される。従って、図２２（ａ）のファイルフォーマットは、６つのライトスラブのタグを保持するように拡張することができる。＋ｚは、既に予め仮定されるが、ライトフィールド全体の完全なパラメータ化を得るために−ｚ、＋ｘ、−ｘ、−ｙ、＋ｙを追加することができる。
【０１５８】
次いで、６つの向きのそれぞれに対して、パラメータ化プレーンを参照するための座標系が割り当てられる。方向ｗ∈｛−ｚ，＋ｚ，＋ｘ，−ｘ，−ｙ，＋ｙ｝のパラメータ化を所望すると仮定する。この方向に対して、成分（ｕ，ｘ，ｗ）を有する座標系
【数５１】
2018537877.tif 000053
が割り当てられる。プレーンがｗ１及びｗ２に設定され、且つそれらの寸法はｕｍｉｎ、ｕｍａｘ、及びｖｍｉｎ、ｖｍａｘである。４Ｄ光線空間は、ｕ１、ｕ３、ｖ１、ｖ２における成分を有する。
【０１５９】
図２２（ｂ）は、図２２（ａ）のフォーマットの一般化を提示する。図２２（ｂ）は、２つのライトスラブのみを提示するが、一般に、用途と、更にシーンとに応じて１〜６の任意の数のセクションが存在し得る。値１は、１つの方向のみにおけるライトフィールド伝播用のフォーマットとなり、且つ６の値は、すべての方向におけるライトフィールド伝播用のものとなるであろう。ライトフィールドをパラメータ化するために使用されるプレーンは、必ずしもチューブ／ボックスの面ではなく、且つプレーンのそれぞれのものは、凸状キューブを構築するようにそのサイズの制限を有する必要がないことに留意されたい。
【０１６０】
図２６（ａ）は、コンパクトなライトフィールド表現を提供する方法のいくつかのステップを提示する。
【０１６１】
本開示の一実施形態では、ライトフィールドコンテンツは、電子装置に対して提供される。このようなライトフィールドコンテンツは、例えば、先に詳述した４Ｄライトフィールドデータ又は光線の２プレーンパラメータ化であってもよい。
【０１６２】
２０００という参照符号が付与されたステップでは、ライトフィールドコンテンツが２つのプレーンの使用を介した光線のパラメータ化によって表されない場合、ライトフィールドコンテンツの光線のパラメータ化が２つのプレーンの使用を介して実行される。図２６（ｂ）は、４Ｄライトフィールドデータ又は従来の２Ｄ画像からの２つのプレーンの使用を介した光線のパラメータ化に基づいた表現への変換を描く合成方式を提示し、これは前記ステップ２０００に対応する。
【０１６３】
次いで、２００１という参照符号が付与されたステップでは、１つのプレーン上における光線の投影が（プレーン４０５又はプレーン４０４上で実行され、且つ１つの２Ｄ光線図（即ち、プレーン４０４上の投影が使用される場合の２Ｄ光線図Π（ｘ１，ｘ２）、又はプレーン４０５上における投影が使用される場合の２Ｄ光線図Π（ｙ１，ｙ２）の生成が実行される。前記１つの２Ｄ光線図の生成は、２つのパラメータ化プレーンのサンプリングから直接的に取得し得ることは明らかである。
【０１６４】
２００２という参照符号が付与されたステップでは、２Ｄ光線図内の対象のいくつかのラインを識別するために、離散ラドン変換が、ステップ２００１で出力された２Ｄ光線図に対して適用される（即ち、離散ラドン変換は、ステップ２００１の出力に応じて、Π（ｘ１，ｘ２）又はΠ（ｙ１，ｙ２）に対して適用される）。
【０１６５】
２００３という参照符号が付与されたステップでは、ステップ２００２における識別されたラインをエンコードするためにブレゼンハムアルゴリズムが使用される。これは、例えば、識別されたラインパラメータｄ及びｓを供給する。一変形形態では、これは、パラメータｄと、識別されたラインのスロープとのみを供給する。（上述のように）いくつかの識別されたラインがビームに属する場合、ビームのスロープ及び太さを保存することができる。
【０１６６】
２００４という参照符号が付与されたステップでは、ライトフィールドコンテンツがコンパクトな方式で保存される。実際に、ステップ２００２における識別されたラインを別の２Ｄ光線図内のラインと関連付けることが可能であるため、前記別の２Ｄ光線図内の座標を保存する必要はない。実際に、ステップ２００１における出力された２Ｄ光線図が２Ｄ光線図Π（ｘ２，ｘ２）に対応する場合、Π（ｘ１，ｘ２）内の識別されたラインは、２Ｄ光線図Π（ｙ１，ｙ２）内の同じスロープを有するラインと関連付けられなければならないことがわかり、且つ更に正確には、以下の式：
【数５２】
2018537877.tif 000054
が成立するため、識別されたライン上のそれぞれのポイント（即ち、識別されたラインに属するため、明示的に保存される必要がない座標
【数５３】
2018537877.tif 000055
を有するポイント）について、ポイントの集合体
【数５４】
2018537877.tif 000056
のポイントを「通過」する対応する光線の値（即ち、ＲＧＢ値）が保存される。但し、いくつかの場合、対応する光線が存在せず、且つヌル値が保存される。例えば、識別されたラインを提示する図１９の値を取得することにより、電子装置がライトフィールドコンテンツを保存しなければならない場合、ｙ２の値がプレーンの境界の外になる時点まで、座標ｘ１＝０，ｘ２＝５，ｙ１＝０，及びｙ２＝ｍ．０＋ｄｏｆｆ（０，５、ｘ３，ｙ３＊）を「通過」する光線（又は更に正確には、そのような光線の投影）の値（即ち、ＲＧＢ値）のみならず、ｘ１＝９，ｘ２＝５，ｙ１＝１，及びｙ２＝ｍ．１＋ｄｏｆｆ（０，５，ｘ３，ｙ３＊）を「通過」する光線の値（即ち、ＲＧＢ値）なども保存される（例えば、ｘ１＝０，ｘ２＝５，ｙ１＝１５，及びｙ２＝ｍ．１５＋ｄｏｆｆ（０，５，ｘ３，ｙ３＊）を「通過」する光線の値（即ち、ＲＧＢ値）は、それがプレーンの境界の外であるために保存されない。次いで、ｙ２の値がプレーンの境界の外になる時点まで、座標ｘ１＝１，ｘ２＝６，ｙ１＝０，及びｙ２＝ｍ．０＋ｄｏｆｆ（１，６，ｘ３，ｙ３＊）を「通過」する光線の値（即ち、ＲＧＢ値）のみならず、ｘ１＝１，ｘ２＝６，ｙ１＝１、及びｙ２＝ｍ．１＋ｄｏｆｆ（１，６，ｘ３，ｙ３＊）を「通過」する光線の値（即ち、ＲＧＢ値）なども保存される。同じプロセスは、識別されたライン上のそれぞれのポイントについて（即ち、ポイントｘ１＝１５，ｘ２＝１３の処理の時点まで）反復される。ライトフィールドは、ステップ２００２で識別されたラインに属するすべてのポイントが処理された際、このコンパクトなフォーマットでエンコードされる。
【０１６７】
図２６（ｂ）は、４Ｄライトフィールドデータ又は従来の２Ｄ画像から２つのプレーンの使用を介した光線のパラメータ化に基づいた表現への変換を描く合成方式を提示する。
【０１６８】
一実施形態では、ピクセルバック追跡動作を介して、従来のカメラから（即ち、ピクセルの組を有する従来の２Ｄ画像から）、ラフ／平均ライトフィールド表現に対応する光線の組を取得し得ることに留意されたい。
【０１６９】
本開示の一実施形態では、（例えば、プレノプティックカメラ又はカメラアレイを介して取得された）入力される４Ｄライトフィールドデータは、光線の集合体を抽出し得るピクセルの組を有する。このような光線の集合体を抽出するために、変換する方法は、ピクセルを光線に変換し得るピクセルバック追跡方法／動作を含む。実際に、４Ｄライトフィールドデータの表現の１つをサブアパーチャ画像の組（即ち、同時に又は近接した時点で取得された異なる視点からの画像の組であり、それぞれの画像は、ピクセルセンサと仮想的に関連付けることができる）に変換することができるため、従って、サブアパーチャ画像の組に含まれるそれぞれの画像に対してピクセルバック追跡を適用することにより、４Ｄライトフィールドデータの光線表現を取得することができる。
【０１７０】
光線の組がピクセル（又は仮想的なピクセル）から抽出されたら、パラメータ化動作が電子装置によって実行される。このようなパラメータ化動作は、４つの座標（即ち、２つのプレーンとの光線の交差の座標）として光線を表すために２つのプレーンの使用を有する（これらのプレーンが有限プレーンであるのは明らかである）。
【０１７１】
以下では、「従来」の２Ｄ画像からのピクセルバック追跡動作に関係した詳細が付与される（次いで、このピクセルバック追跡動作は、上述のように４Ｄライトフィールドデータ用の光線表現を取得するために、サブアパーチャ画像の組に含まれるいくつかの（又はすべての）画像に対して適用される）。わかりやすさを目的として、カメラの投影の中心が（０，０，０）に位置し、画像プレーンが（０，０，ｆ）でセンタリングされると想定する。カメラは回転されず、その主軸はＺ方向を指し示す。また、ｍｕ＝ｍｖ＝ｍ個のピクセルとなるようにピクセルが正方形であるとも想定する。最後に、底部左側のピクセルが（ｕ＝０，ｖ＝０）に位置するように、画像プレーンが（ｔｕ，ｔｖ）だけ平行移動される。ピクセルは、その列インデックのペア（ｉ，ｊ）によってアドレス指定される。Ｉがピクセル（ｉ，ｊ，１）における画像位置ベクトルである場合、ピクセルと、中央投影を通じてそのピクセルに対してマッピングされるポイントＰ（Ｘ，Ｙ，Ｚ）との間の関係は、
【数５５】
2018537877.tif 000057
である。
【０１７２】
また、ここで、ｍ、ｆ、ｔｕ、ｔｖが較正ステップから判明することにより、ピクセルのバック追跡は、単純に、
Ｋ−１Ｉ＝Ｐ
をもたらす。
【０１７３】
Ｐは、ピクセル（ｉ，ｊ）から放出された光線が通過する３Ｄ空間内のポイントである。従って、１つの位置Ｐを有し、方向の取得は証拠の問題であり、なぜなら、その光線が（０，０，０）も通過するからであり、方向はベクトルＰ（Ｘ，Ｙ，Ｚ）である。
【０１７４】
この例は、ピクセルをバック追跡する方法を示し、又は換言すれば、ピクセルからライトフィールドまで進む方法を示す。
【０１７５】
４Ｄライトフィールドデータを処理する場合、マルチカメラモデルを使用することができる（即ち、サブアパーチャ画像のそれぞれに対してカメラが関連付けられる）。
【０１７６】
パラメータ化は、いくつかのタグによって一意にそれぞれの光線を識別するプロセスである。光線は、所定の位置を通過し且つ方向を有するため、最も簡便なパラメータ化は、空間及び方向座標を混合した６つの実数（ｘ，ｙ，ｚ，ｕ，ｖ，ｗ）の組となるであろう。わかりやすさを目的として、ここで、既に上述した２プレーンパラメータ化を採用する。非常に頻繁に問われる疑問は、それらのプレーンを取得システムとの関係でいずれの箇所に配置するかである。多くの場合、特に、プレノプティックカメラの文献では、何らかの計算上の利便のために、１つがセンサに配置され、且つ別のものが小型レンズのアレイ又はメインレンズ上に配置される。これらの位置は回避されるべきであり、なぜなら、マイクロレンズが厚さを有するからであり、では、プレーンの１つを正確にいずれの箇所に配置するべきであるか。メインレンズは、未知である非常に複雑なレンズ処方を有する。従って、一実施形態では、解決策は、プレーンを取得システムの外側に配置することである。
【０１７７】
１つのプレーンをｚ＝ｚ１に有し、且つ別のものをｚ＝ｚ２に有し、ここで、ｚ２＞ｚ１と仮定する。ピクセル（ｉ，ｊ）からバック追跡された光線用のパラメータを、
【数５６】
2018537877.tif 000058
として見出すことができる。
【０１７８】
連立方程式が記述されたら、２つの第１のラインをｚ１によって除算しなければならず、なぜなら、これが均一な座標のための規則であるからである。
【０１７９】
また、第２のプレーンとの交差に由来するパラメータの第２の組も、
【数５７】
2018537877.tif 000059
のように記述される。
【０１８０】
（ｚ１，ｚ２）という対が判明するため、以前の導出から、光線は、４アップレット
【数５８】
2018537877.tif 000060
により一意に記述し得ることがわかる。加えて、光線にはＲＧＢ値が割り当てられる。従って、このパラメータ化で光線を表すには、合計で１９バイトである、４小数点数と３バイトとを必要とする（但し、これまで光線空間をサンプリングしていない）。画像に基づいたフォーマットでは、基礎的データは、２小数点数と、３バイトとのみによって表される。従って、このパラメータ化が多数のデータをコンテンツに追加し、且つ一般に、ライトフィールドは、４次元データの組であるため、それが、そのままでは管理可能でないストレージの量を必要とすることがわかる。
【０１８１】
図２６（ｃ）及び図２６（ｄ）は、光線がピクセル（又は仮想的ピクセル）センサから「抽出」される方式を提示する。実際に、２６１又は２６４という参照符号が付与されたピクセル（又は仮想ピクセル）から（２６２又は２６３という参照符号が付与された）主光線を取得することができる（これは、ピクセル場所におけるコーン（コーンには、２６５という参照符号が付与される）のピークを通じてコーンのベースの中心まで通過する光線である（ベースは、カメラのメインレンズのサイズの関数として定義される）。
【０１８２】
パラメータ化のために使用される２つのプレーンのサンプリングが過剰に幅広である場合、図２６（ａ）に記述される方法を使用する際に消失データ又はピクセルクロストークが依然として発生し得ることに留意されたい。本開示の一実施形態では、パラメータ化プレーンをサンプリングするための技法に関係した詳細について後述される。このような技法は、サンプリングが消失データ又はピクセルクロストークを回避するような方式により、図２１及び図２２に記述されるライトフィールドフォーマットにおけるデータの入力を可能にする。
【０１８３】
図２７（ａ）は、本開示の一実施形態による方法のサンプリングステップを導出するために使用されるパラメータを提示する。図２７（ａ）の図は、プレーンＰ上の投影に対応する。このようなプレーンは、Π（ｘ１，ｘ３）又はΠ（ｘ２，ｘ３）などと同じあることに留意されたい。
【０１８４】
図２７（ｂ）は、いくつかの更なる要素を伴って図１７の３Ｄ表現に対応する。
【０１８５】
更に正確には、最初に、１つのカメラを有すると想定すると共に、一般性の何らの損失も伴うことなく分析を２Ｄスライスに制限するものとする。焦点距離ｆのカメラの投影の中心は、座標（ｘ３，ｙ３，ｚ３）に位置し、且つｚｆ−ｚ３＝ｆとなるような深さｚｆでピクセルアレイを有する。ピクセルピッチはｐである。実際に、２７２という参照符号が付与されたセルアレイ（ピクセルセンサとも呼称される）がピクセル要素を含み、それぞれの要素は、ｐ２に等しい表面を有する。
【０１８６】
２７７という参照符号が付与されたキャンドルを有するバースデイケーキは、光線が放出される物体空間（即ち、リアルシーン）内の物体を表し、且つこれらの光線は、３Ｄ空間内の座標（ｘ３，ｙ３，ｚ３）に位置決めされた、わかりやすさを目的としてカメラとも呼称されるカメラの投影の中心を通過する。このようなカメラは、Ａと表記されたアパーチャを有する（アパーチャは、半径ｒの円である）。
【０１８７】
均等な三角形及び図２７（ａ）から次式：
【数５９】
2018537877.tif 000061
を確立することが可能であり、これは、図２７（ａ）で２７０という参照符号が付与された光線について、以下のようにΠ２上の位置に結び付く。
【数６０】
2018537877.tif 000062
隣接するピクセル、図２７（ａ）からの２７１という参照符号が付与された光線について、以下のように同じのものを記述することができる。
【数６１】
2018537877.tif 000063
【０１８８】
ｚｆ−ｚ３＝ｆと設定し、且つピクセルセンサ２７２からのそれぞれのピクセルが１つの光線を受け取り、且つこの光線が両方のプレーンによって一意にパラメータ化されることを所望する場合、ｘ２（及び／又はｘ１）上における最大のサンプリングインターバルは、
【数６２】
2018537877.tif 000064
（個別に、
【数６３】
2018537877.tif 000065
）であり、以下のように境界が定められるべきである。
【数６４】
2018537877.tif 000066
【０１８９】
同じ内容は、分析を２Ｄスライスに制限しない場合、ｙサンプリングステップについても当てはまる。
【０１９０】
従って、以下の式：
【数６５】
2018537877.tif 000067
も成立する。
【０１９１】
このような実施形態では、２つのプレーン（ｘ１，ｙ１）及び（ｘ２，ｙ２）は、バースデイケーキ２７７を有するシーンを取得するすべてのカメラの外部において、且つこれらに対して共通するようにグローバルに選択される。プレーン（ｘ３，ｙ３）は、それぞれのカメラのアパーチャ上に位置決めされる。
【０１９２】
図２７（ｃ）は、ライトフィールドのパラメータ化を実行するために使用されるプレーンの離散化を提示する。図２７（ａ）及び図２７（ｂ）に詳述される構成でピクセルセンサ上に１つの光線のみを有するには、２７５及び２７６という参照符号が付与された離散化されたプレーンが上述の制限を充足する必要がある。
【０１９３】
例えば、ピクセルピッチは４μｍに等しくしてもよく（フルフレームカメラ）、パラメータｆ＝５０ｍｍであり、ｚ３−ｚ２の値＝５ｍであり、且つｚ３−ｚ１の値＝６ｍである。センサが６０００×４０００個のピクセルを含む場合、離散化されたプレーンは、（プレーンｘ１，ｘ２内における）６０００個のセルと、（プレーンｙ１，ｙ２内における）４０００個のセルとを含む。
【０１９４】
ここで、
【数６６】
2018537877.tif 000068
におけるその投影の中心と、焦点距離ｆｉと、ピクセルピッチｐｉとを有する複数のカメラを有すると仮定すれば、その結果、それぞれの光線がライトフィールド光線ファイルフォーマットに一意にマッピングされることを保証する両方のプレーン上の最大サンプリングステップは、
【数６７】
2018537877.tif 000069
である。
【０１９５】
また、同じ式の組は、分析を２Ｄスライスに制限しない場合、ｙ次元についても当てはまる。パラメータ化プレーン上におけるサンプリングインターバルは、これよりも小さくてよい。唯一の影響は、ストレージ効率の欠如となるが、これは、それらの値を上回ることは決してない。
【０１９６】
また、本技法は、半径Ａと関連付けられた座標ｘ３，ｙ３，ｚ３における投影の中心の強度を推定するために使用され得ることにも留意されたい。
【０１９７】
このような強度の推定は、ｘ１，ｘ２プレーン及びｙ１，ｙ２のプレーンの１つのプレーンのラドン変換時に対応する領域の合算を実行する電子装置によって実行することができる。具体的には、プレーンΠ（ｘ１，ｘ２）上における強度の１つの近似を提供するために、
【数６８】
2018537877.tif 000070
間でキャプチャされた強度が合算される。Π（ｙ１，ｙ２）における結果を取得するために同じ内容が実行され、且つ最後に、投影の中心における強度の最終的な近似を取得するために２つの値が合計される。この技法は、投影の中心におる光強度の近似を付与するに過ぎず、且つ投影の中心間の相対的な強度が対象である際にのみ、使用されることに留意されたい。
【０１９８】
本開示の一実施形態では、２つのプレーン（ｘ１，ｙ１）及び（ｘ２，ｙ２）は、すべてのカメラの外部において、且つこれらに対して共通するようにグローバルに選択され、且つプレーン（ｘ３，ｙ３）は、それぞれのカメラのアパーチャ上に位置決めされ、且つｚ１、ｚ２、及びｚ３は、正となるように定義される。この場合、（前述の式
【数６９】
2018537877.tif 000071
における）ｍの相対的に大きい値は、ｚ３の相対的に大きい値を意味する（
【数７０】
2018537877.tif 000072
であることに留意されたい）。２つの異なる値ｍ１及びｍ２を有する２つの束を有することにより、ｍ１＞ｍ２である場合、第１の束が第２のラインによって特定の座標に閉塞されるものと推定することができる。従って、第１の束上の対応する座標の光線強度は不明である。
【０１９９】
図２６（ａ）に記述される方法は、効率的な方法によってコード化されたライトフィールドコンテンツの取得を可能にする（即ち、このようなライトフィールドコンテンツのストレージサイズは、コンパクトである）。但し、リアルシーンでは、図２８に描かれるようにいくつかの閉塞が発生し得ることに留意されたい。図２１及び図２２に記述される提案されたフォーマットは、シーン内に閉塞を有するという問題に対処せず、これは、シーンの閉塞部分の情報も保存されることを意味する。
【０２００】
特定の又は更なる特徴の使用が、この課題を克服し得ると共に、更に効率的なエンコードされたライトフィールドコンテンツの取得を可能にする。図２８は、画像がカメラの使用によって取得される（２つの物体を含む）シーンを提示する。更に正確には、画像は、２つのカメラの３つのグループから取得される。
【０２０１】
カメラのグループは、同じ深さプレーン内に位置するカメラの組として定義されることに留意されたい。
【０２０２】
第１のグループは、それぞれデカルト座標値
【数７１】
2018537877.tif 000073
を有する第１のカメラ及び第２のカメラを含み、ここで、
【数７２】
2018537877.tif 000074
である。また、第１のカメラは、アパーチャ値Ａ１と関連付けられており、且つ第２のカメラは、アパーチャ値Ａ２と関連付けられる。
【０２０３】
第２のグループは、それぞれデカルト座標値
【数７３】
2018537877.tif 000075
を有する第３のカメラ及び第４のカメラを含み、ここで、
【数７４】
2018537877.tif 000076
である。また、第３のカメラは、アパーチャ値Ａ３と関連付けられており、且つ第４のカメラは、アパーチャ値Ａ４と関連付けられる。
【０２０４】
第３のグループは、それぞれデカルト座標値
【数７５】
2018537877.tif 000077
を有する第５のカメラ及び第６のカメラを含み、ここで、
【数７６】
2018537877.tif 000078
である。また、第５のカメラは、アパーチャ値Ａ５と関連付けられており、且つ第６のカメラは、アパーチャ値Ａ６と関連付けられる。
【０２０５】
図２８は、いくつかの閉塞がカメラ間に発生する構成を提示する。例えば、第４のカメラは、いくつかの光線が第１のカメラ又は第２のカメラによって阻止されるという事実に起因して、シーン用のその視野内の物体からのすべての光線をキャプチャすることはできない。
【０２０６】
図２９は、２つのカメラの３つのグループの２Ｄ光線図を表す。
【０２０７】
第１のカメラと関連付けられた２Ｄ光線図内のラインの太さは他のものよりも太いため、第１のカメラのアパーチャの値（即ち、Ａ１の値）は、他のカメラからの他のアパーチャの値を上回る。
【０２０８】
図２８に上述した閉塞は、２Ｄ光線図内の交差によって表すことができる。例えば、図２９におけるＡという参照符号が付与された組は、第２のカメラ及び第３のカメラと関連付けられたラインに属するポイントの組に対応する。本技法は、２つの（又はこれを上回る数の）ラインの交差ポイントに対応する２Ｄ光線図内のポイント（ポイントは、光線と関連付けられる）を保存するための解決策について詳述する。
【０２０９】
図３０は、ライトフィールドコンテンツ内の閉塞を処理する方法を描く。更に正確には、この方法は、先に定義されたように、２つの２Ｄ光線図Π（ｘ１，ｘ２）及びΠ（ｙ１，ｙ２）内に表されるライトフィールドの光線を入力として取得する。
【０２１０】
事前処理ステップとして見なされる、３８０という参照符号が付与されたステップでは、入力された２Ｄ光線図Π（ｘ２，ｘ２）に対する離散ラドン変換の適用により、識別されたそれぞれのラインのパラメータ（ｍ，ｋ）が第１の組Ω１上に保存される。次いで、入力された２Ｄ光線図Π（ｙ１，ｙ２）に対する離散ラドン変換の適用により、識別されたそれぞれのラインのパラメータ（ｍ，ｋ）が第２の組Ω２上に保存される。
【０２１１】
３８１という参照符号が付与されたステップでは、第１の組Ω１がパラメータｍに従ってソートされる。
【０２１２】
３８２という参照符号が付与されたステップでは、最小のｍ値を有する束が完全にキャプチャされ、且つ従って、図２２（ａ）に描かれる方法によって完全に保存される。
【０２１３】
次いで、３８３という参照符号が付与されたステップでは、以下のステップが第１の組Ω１に対して反復される。
−  次の最小のスロープｍｎを検討し、且つｍｎよりも小さいスロープを有する束のすべての光線とのこの束内の光線の交差を見出し、このような束の組は、ωｉｎｆ⊂Ω１として表記され、
−  この束のそれぞれのラインｉについて、スロープｍｉ＝ｍｎを有し、且つΠ（ｘ１，ｘ２）内のライン式は、以下：
ｘ２＝ｍｉｘ１＋ｄｉ
のように記述され、ここで、ｄｉは、対応する束の
【数７７】
2018537877.tif 000079
によって境界が定められる。ここで、ωｉｎｆの束に属するスロープｍｊ＜ｍｉを有するすべてのラインｊを検討する。以下：
【数７８】
2018537877.tif 000080
を通じて、ｉとｊとの間のすべての交差ポイント
【数７９】
2018537877.tif 000081
を見出す。ラインｉ上のこれらの交差ポイントは、ラインｊによって閉塞される。従って、ラインｉの値を図２２（ａ）に保存する場合、これらの
【数８０】
2018537877.tif 000082
について、ヌル又は未知を保存するべきであり、
−  最後に、クリーニングステップでは、Π（ｘ１，ｘ２）及びΠ（ｙ１，ｙ２）の２Ｄラドン変換から対応する強度ピークをクリーニングし、且つ有意なものがライトフィールド内に存在しなくなる時点まで次の反復が開始される。
【０２１４】
従って、このような方法を図２８に描かれる例に対して適用することにより、スロープｍ０を有するラインに属するすべてのポイントが保存されるものと考えられる。
【０２１５】
次いで、スロープｍ１を有するラインが処理される。組Ａ、Ｂ、Ｃ、及びＤに属するポイントは保存されない。
【０２１６】
次いで、スロープｍ２を有するラインが処理される。組Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、及びＪに属するポイントは保存されない。
【０２１７】
更に正確には、図１９の例を追跡することにより、相対的に小さいスロープを有する別のラインが図１９のラインと交差した場合に（例えば、座標（ｘ１，ｘ２）＝（５，８），（ｘ１，ｘ２）＝（６，８），（ｘ１，ｘ２）＝（７，９），（ｘ１，ｘ２）＝（８，９）におけるポイントがこれら２つのライン間の交差に属する場合、上述のように図１９におけるラインのポイントを処理する場合、ポイント（ｘ１，ｘ２）＝（５，８），（ｘ１，ｘ２）＝（６，８），（ｘ１，ｘ２）＝（７，９），（ｘ１，ｘ２）＝（８，９）用のポイント
【数８１】
2018537877.tif 000083
の集合体の値を保存する代わりに、値が利用可能ではないことを示す情報がこれらのポイントについて保存される（例えば、ヌル値又は何らかのシンボルが保存される）。
【０２１８】
別の実施形態では、以前と同様に、処理済みの２Ｄ光線図がΠ（ｙ１，ｙ２）であり、且つΠ（ｘ１，ｘ２）ではない場合、Π（ｙ１，ｙ２）内のラインを処理する際に同じ方法を適用することが可能であり、即ち交差エリアに属するポイント（ｙ１，ｙ２）用のポイント
【数８２】
2018537877.tif 000084
の集合体の値は保存されない（又は閉塞を示す情報が保存される）。
【０２１９】
本開示の一実施形態では、Π（ｘ１，ｘ２）内の識別されたライン上に含まれる座標
【数８３】
2018537877.tif 000085
を有するポイントの場合、
【数８４】
2018537877.tif 000086
の形態を有する特定のポイントを「通過」する光線が存在しない場合、ゼロに等しい（即ち、３バイトがゼロにセットアップされる）ＲＧＢ値を保存する代わり、提案された技法は、ゼロに等しい３つのバイトの保存を回避するために追加情報（例えば、１ビット）を使用する。実際に、このような追加情報は、ライトフィールドコンテンツを表すためのＲＧＢ値のすべてに対して関係付けられる。実際に、Π（ｘ１、ｘ２）内の識別されたライン上に含まれる座標
【数８５】
2018537877.tif 000087
を有するポイントの場合、
【数８６】
2018537877.tif 000088
の形態を有する特定のポイントを通過する光線が存在しない場合、追加情報は１にセットアップされ、且つこの追加情報後にＲＧＶ値が保存される。Π（ｘ１，ｘ２）内の識別されたライン上に含まれる座標
【数８７】
2018537877.tif 000089
を有するポイントの場合、
【数８８】
2018537877.tif 000090
の形態を有する特定のポイントを「通過」する光線が存在しない場合、追加情報はゼロにセットアップされ、且つこの追加情報後にＲＧＶ値は保存されない。
【０２２０】
以下は、４Ｄサンプリングされた光線図からのコード化されたデータラインの一例である。
１  ２０１  １８０  １２８  １  ００２  ０９０  ２５５  ０  １  ２０６  ０２５  ００９  １  ２０１  ２０１  ２０１  ０  ０  ０  １  ２５５  ２５５  ２５５
これは、以下のように解釈される。第１のデータセルは、ＲＧＢ値２０１  １８０  １２８を含み、第２のデータセルは、ＲＧＢ値００２  ０９０  ２５５を含み、第３のデータセルは、何らの光線も含んでおらず、第４のデータセルは、ＲＧＢ値２０６  ０２５  ００９を含み、第５のデータセルは、ＲＧＢ値２０１  ２０１  ２０１を含み、第６、第７、及び第８のデータセルは、何らの光線も含んでおらず、第９のデータセルは、ＲＧＢ値２５５  ２５５  ２５５を含む。
【０２２１】
更に、このような追加情報の使用は、黒色ピクセルと、光線情報が存在しないこととの間を弁別することを許容し、これは非常に困難である。更に、多数のボイドセルが存在し得るため、このような技法は、相対的にコンパクトなエンコード済みのライトフィールドコンテンツの取得を可能にする。
【０２２２】
図３１は、本開示の一実施形態による、画像を電子装置によって供給するために、例えば、図２２（ａ）のテーブルなどのライトフィールドコンテンツのコンパクトな表現からこのような画像のピクセルの値を取得する方式を提示する。
【０２２３】
（図２２（ａ）又は図２２（ｂ）に記述されるテーブルなどの２８２という参照符号が付与されたライトフィールドコンテンツの少なくとも２つの２Ｄ光線図表現に基づいたテーブルから、供給対象である、ｍ及びｎが１超である、ｍ×ｎ個のピクセルを含む、２８０という参照符号が付与された画像のピクセルの値を入力するために、本開示の一実施形態によれば、
−  （例えば、図２２（ａ）又は図２２（ｂ）のテーブルなどのテーブル２８２内のデータに対するポインタを含む、２８１という参照符号が付与された２次元ルックアップテーブルを取得し、且つ
−  インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して図２２（ａ）又は図２２（ｂ）のテーブルから光線の放射輝度値を取得することが提案される。
【０２２４】
次いで、位置（ｌ，ｋ）に配置されたこのような放射輝度値は、インデックス（ｉ，ｊ）におけるピクセル内で供給されるように画像２８０内に挿入される。
【０２２５】
ピクセル値を画像内に入力するためのこのようなプロセスは、すべてのピクセルについて反復される。これは、図２２（ａ）又は図２２（ｂ）のテーブルから取得／抽出するべき値を判定するための演算の回避を可能にする。
【０２２６】
図３１で使用される２次元ルックアップテーブルを生成／作成するために、電子装置は、取得装置／カメラのセンサプレーンからのそれぞれのピクセルについて、対応する光線の座標を判定するために、図２６（ｂ）に記述されるピクセルバック追跡を実行し得ることに留意されたい。このような座標を有するこのような光線は、図２２（ａ）に描かれるように、テーブル内に保存されるその放射輝度値を有する。但し、使用されるコンパクトな保存表現に起因して、４座標は保存されない。従って、供給対象である画像の１つと同じインデックスを有する２次元ルックアップテーブルは、光線について図２２（ａ）に描かれるものとして、テーブル内の放射輝度値を容易に見出すためのポインタ（インデックスなどであり、それぞれのインデックスは、例えば、２つの要素を有する）を含む。このような２次元ルックアップテーブルのポインタの生成は、プロセスを加速させるために並行して実行することができる。
【０２２７】
このような２次元ルックアップテーブルの使用は、図２２（ａ）又は図２２（ｂ）におけるように表されたデータからの画像の生成のプロセスを加速し得ることに留意されたい。
【０２２８】
図３２は、本開示の別の実施形態による、画像及び２次元ルックアップテーブルから、例えば、図２２（ａ）のテーブルとしてのライトフィールドコンテンツのコンパクトな表現を生成する方式を提示する。
【０２２９】
更に正確には、（図２２（ａ）又は図２２（ｂ）に記述されるテーブルなどの）ライトフィールドコンテンツ２８２の少なくとも２つの２Ｄ光線図に基づいたテーブル内に放射輝度値を入力するために、本開示の一実施形態によれば、
−  （例えば、図２２（ａ）又は図２２（ｂ）のテーブルなどの）テーブル２８２内のデータ位置に対するポインタを含む、２８１という参照符号が付与された２次元ルックアップテーブルを取得し、
−  インデックス（ｉ，ｊ）によってアドレス指定されたピクセルについて、ｍ及びｎが１超の整数である、ｍ×ｎ個のピクセルを含む画像２８０から光線の放射輝度値を取得し、
−  同じインデックス（ｉ，ｊ）に位置決めされた前記２次元ルックアップテーブル内のポインタの取得を介して、取得された放射輝度値をテーブル２８２（即ち、図２２（ａ）又は図２２（ｂ）のテーブル）内に保存することが提案される。従って、取得された放射輝度値は、テーブル２８２内の位置（ｌ，ｋ）に保存される。
【０２３０】
放射輝度値をテーブル２８２内に入力するこのようなプロセスは、画像２８０のすべてのピクセルについて反復される。
【０２３１】
本開示の一実施形態では、放射輝度値は、並行プロセスでテーブル２８２内に保存される。
【０２３２】
本開示の別の実施形態では、ライトフィールド光線フォーマットを通じたユーザーのナビゲートを支援するための方法が提案される。これは、以前の節で定義されるフォーマットの説明に対して非常に緊密にリンクされる。恐らく、マルチビューキャプチャでナビゲートするためのいくつかの方法が存在するであろうが（これはライトフィールドではない）、ここで提示するものは、特定のフォーマットを利用するための方法である。
【０２３３】
図２２（ａ）は、特定のコンパクトな光線フォーマットについて記述する。このフォーマットでは、異なるカメラが組織化された方式で保存される。それらの位置は、ｘ３ｉ、ｙ３ｉ、ｚ３ｉのトリプレットによってタグ付けされ、且つそれらの軸の向きとの関係において、まず、最も近接したものから最も離れたものまでの深さｚ３ｉにより、且つ次いで、底部から最上部までのｘ３ｉにより、且つ最後に、底部から最上部までのｙ３ｉによりｃａｍｉを順序付けするために決定することができる。
【０２３４】
ライトフィールドが、ネットワーク上で送信されるか又はアンテナまで無線送信される際、それは、帯域幅を節約するために部分的にのみ送信され、その結果、１つの視点のみが送信される。また、この視点と共にすべてのｃａｍｉ焦点を送信することもできる。
【０２３５】
次いで、観察者は、メニューボタンから、オリジナルフォーマットで利用可能である他のライトフィールド視点を視覚化する３Ｄ画面オーバーレイを自らのディスプレイ上に表示することができる。これは、他の視点が実際の観察者の位置との関係でいずれの箇所に配置されるかを３Ｄで示す３Ｄ軸システムの形態を有することができる。
【０２３６】
方向パッドにより、ユーザーは、望ましい位置にナビゲートし、位置を検証し、且つフィードバックがネットワーク上でサーバーに送信される。次いで、サーバーは、エンドユーザーに対してストリーミング又はブロードキャストされなければならない選択されたデータラインを位置決めする。
【０２３７】
また、スクリーンオーバーレイは、視点を通じてアスペクト及びナビゲーションにおいて変化することもできる。
【０２３８】
ユーザーが立体コンテンツの視聴を所望する場合、ファイルフォーマットは、スクリーンオーバーレイが立体コンテンツの指示も表示するように、補正されたカメラペアに対してタグ付けするために変更することが可能であり、この場合、デジタルラインデータの２つのスロットを送信しなければならない。
【０２３９】
表現フォーマットとの関係でこのような技法を可能にするものは、特定のライトフィールド分析である。相対的に近接したハイパープレーンは、遠く離れたものよりも小さいｍを有することがわかるため、距離に応じた異なるデータラインのソートを開始することができる。ｍは、上述のように、離散ラドン変換によって算出される。また、上述のように、ｘ３ｉ、ｙ３ｉ、及びｚ３ｉを演算すると共に焦点成分の符号及びモジュラスに従ってフォーマットにおいて異なるデータラインをソートすることもできる。
【０２４０】
データラインが容積内のその３Ｄ焦点位置に従ってソートされるという事実は、ブロードキャストのために必要とされるものに対する迅速なアクセスを可能にする。ブロードキャストされるものは視点であり、又は立体の場合には視点のペアであり、且つ数学的には、それはハイパープレーンの１つの特定の束（又はそのペア）であり、これは、４Ｄブレゼンハムスキャンライン又はパラメトリックデータスキャンニングに従って保存された光線の集合体である。
【０２４１】
図３３は、ユーザーが、４Ｄライトフィールドデータと関連付けられたカメラの位置を選択することができる３Ｄ表現を含むメニューを提示する。
【０２４２】
更に正確には、３７０という参照符号が付与された表示装置は、いくつかのカメラの３Ｄ空間内の位置をユーザーに対して提示する（３７１〜３７５という参照符号が付与された位置は、いくつかのカメラの位置に対応する）。
【０２４３】
次いで、ユーザーは、３７６という参照符号が付与された遠隔制御ユニットを介してこれらの位置の１つを選択することができる。選択が実行されたら、選択されたカメラと関連付けられた４Ｄライトフィールドデータが前記表示装置によって取得される。次いで、表示装置がこのような４Ｄライトフィールドデータを表示する。
【０２４４】
本開示の別の実施形態では、ユーザーは、遠隔制御ユニット３７６を使用する代わりに、表示装置に接触することにより、これらの位置の１つを選択することができる（即ち、これは、ある種のタッチスクリーンである）。
【０２４５】
更に、本開示の一実施形態では、ユーザーが、４Ｄライトフィールドデータと関連付けられたカメラの位置を選択し得る表示された３Ｄ表現は、境界が定められた空間ゾーンに対応する。但し、本開示のいくつかの実施形態では、カメラの位置を含む空間ゾーンは、表示されたものを上回ることができる。従って、カメラの位置が利用可能である方向を示すための（矢印などの）更なる視覚的インジケータを表示可能であってもよい。別の実施形態では、軸ラインｘ、ｙ、ｚのみならず、原点も表示される。一実施形態では、原点の位置は、ユーザーの入力に従ってセンタリングされる。
【０２４６】
本開示の一実施形態では、３つの軸ラインの回転を実行することができる。本開示の一実施形態では、ユーザーは、ユーザーによって選ばれた選択済みのゾーンにズームイン又はズームアウトすることができる。
【０２４７】
図３４は、本明細書に開示される方法の１つ又は複数のステップを実行するために使用され得る電子装置の一例を提示する。
【０２４８】
３４０という参照符号が付与されたこのような電子装置は、３４１という参照符号が付与された演算ユニット（例えば、「中央処理ユニット」の略号であるＣＰＵ）と、３４２という参照符号が付与された１つ又は複数のメモリユニット（例えば、コンピュータプログラムの命令の実行時に中間結果が一時的に保存され得るＲＡＭ（「ランダムアクセスメモリ」の略号である）ブロック、又はとりわけコンピュータプログラムが保存されるＲＯＭブロック、又はＥＥＰＲＯＭ（「電気的消去可能プログラマブル読み出し専用メモリ」）ブロック、又はフラッシュブロック）とを含む。コンピュータプログラムは、演算ユニットによって実行され得る命令から構成される。また、このような電子装置３４０は、装置３４０が他の電子装置と通信することを許容するために入力−出力インターフェイスを構成する、３４３という参照符号が付与された専用のユニットを含むこともできる。具体的には、この専用のユニット３４３は、（接触を伴うことなしに通信を実行するための）アンテナ又は（通信「接点」を担持するための）シリアルポートと接続することができる。図３４内の矢印は、リンクされたユニットが、例えば、協働して、バスを通じてデータを交換し得ることを意味することに留意されたい。
【０２４９】
一代替実施形態では、上述の方法のステップのいくつか又はすべては、ハードウェアでは、プログラム可能なＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）コンポーネント又はＡＳＩＣ（「特定用途向け集積回路」）コンポーネントとして実装することができる。
【０２５０】
一代替実施形態では、上述の方法のステップのいくつか又はすべては、図３４に開示されるものとしてのメモリユニット及び処理ユニットを含む電子装置上で実行することができる。
【０２５１】
本開示の一実施形態では、図３４に描かれる電子装置は、画像（従来の２Ｄ画像又はライトフィールドのサンプリング）をキャプチャするように構成されたカメラ装置に含むことができる。これらの画像は、１つ又は複数のメモリユニット上に保存される。従って、これらの画像は、ビットストリームデータ（即ち、ビットのシーケンス）と見なすことができる。また、ビットストリームは、バイトストリーム上で変換されることが可能であり、且つこの逆も真であることは明らかである。
【図１】
2018537877.tif 000100
【図２】
2018537877.tif 000101
【図３】
2018537877.tif 000102
【図４】
2018537877.tif 000103
【図５（ａ）】
2018537877.tif 000104
【図５（ｂ）】
2018537877.tif 000105
【図５（ｃ）】
2018537877.tif 000106
【図５（ｄ）】
2018537877.tif 000107
【図５（ｅ）】
2018537877.tif 000108
【図５（ｆ）】
2018537877.tif 000109
【図５（ｇ）】
2018537877.tif 000110
【図５（ｈ）】
2018537877.tif 000111
【図６】
2018537877.tif 000112
【図７（ａ）】
2018537877.tif 000113
【図７（ｂ）】
2018537877.tif 000114
【図８】
2018537877.tif 000115
【図９】
2018537877.tif 000116
【図１０】
2018537877.tif 000117
【図１１】
2018537877.tif 000118
【図１２】
2018537877.tif 000119
【図１３】
2018537877.tif 000120
【図１４】
2018537877.tif 000121
【図１５】
2018537877.tif 000122
【図１６】
2018537877.tif 000123
【図１７】
2018537877.tif 000124
【図１８】
2018537877.tif 000125
【図１９】
2018537877.tif 000126
【図２０】
2018537877.tif 000127
【図２１】
2018537877.tif 000128
【図２２（ａ）】
2018537877.tif 000129
【図２２（ｂ）−１】
2018537877.tif 000130
【図２２（ｂ）−２】
2018537877.tif 000131
【図２２（ｃ）】
2018537877.tif 000132
【図２２（ｄ）】
2018537877.tif 000133
【図２３】
2018537877.tif 000134
【図２４】
2018537877.tif 000135
【図２５】
2018537877.tif 000136
【図２６（ａ）】
2018537877.tif 000137
【図２６（ｂ）】
2018537877.tif 000138
【図２６（ｃ）】
2018537877.tif 000139
【図２６（ｄ）】
2018537877.tif 000140
【図２７（ａ）】
2018537877.tif 000141
【図２７（ｂ）】
2018537877.tif 000142
【図２７（ｃ）】
2018537877.tif 000143
【図２８】
2018537877.tif 000144
【図２９】
2018537877.tif 000145
【図３０】
2018537877.tif 000146
【図３１】
2018537877.tif 000147
【図３２】
2018537877.tif 000148
【図３３】
2018537877.tif 000149
【図３４】
2018537877.tif 000150
【国際調査報告】
2018537877.tif 000151
2018537877.tif 000152
2018537877.tif 000153