(57)【要約】  ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置。本発明は、場面を表す点群の再構築に関する。点群データは、膨大な量の記憶空間を占め、格納を厄介にして処理の効率を悪くする。この目的のため、センサー上にマッピングされる、センサーの異なる画素によって検知された光線を表すパラメータを含む場面を表す信号を符号化するための方法が提案される。第２のセットの符号化されたパラメータは、センサーの異なる画素によって検知された光線を表すパラメータからライトフィールドコンテンツを再構築するために使用され、深さを表す第３のセットのパラメータ、前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点、および色データを表す第４のセットのパラメータが、受信側上で点群を再構築するために使用される。【選択図】図９
2019534606.tif 000002
【特許請求の範囲】
【請求項１】
光学デバイスから取得された場面を表す信号を符号化するためのコンピュータ実装方法であって、前記方法は、前記光学デバイスのセンサーの少なくとも１つの画素に対して、
‐前記画素によって検知された光線を表す第１のセットのパラメータと、
‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
を符号化することを含み、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に、前記場面を表す点群を再構築するためのものである、
コンピュータ実装方法。
【請求項２】
前記第１のセットのパラメータの少なくとも１つのパラメータは、前記光線の座標と、前記光学系の複数の画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を表し、前記第２のセットのパラメータの少なくとも１つのパラメータは、前記適合平面の座標を表す、請求項１に記載の方法。
【請求項３】
前記第１のセットのパラメータの少なくとも１つのパラメータが、
‐前記画素によって検知された前記光線を表す値と、前記センサーの行において前記画素に先行する別の画素によって検知された光線を表す値との間の差、または
‐前記画素が前記センサーの行の第１の画素である場合、前記画素によって検知された前記光線を表す値と、前記画素が属する前記行に先行する行の第１の画素によって検知された光線を表す値との間の差
を表す、請求項１に記載の方法。
【請求項４】
前記第１のセットのパラメータの前記パラメータを符号化するために独立したコーデックが使用される、請求項１から３のいずれかに記載の方法。
【請求項５】
前記第２のセットのパラメータが、前記第１のセットのパラメータの最後の送信以後に、前記第１のセットのパラメータが変化していないことを示すパラメータを含む場合、前記第２のセットのパラメータだけが送信される、請求項１から４のいずれかに記載の方法。
【請求項６】
光学デバイスから取得された場面を表す信号を符号化するための装置であって、前記装置は、前記光学デバイスのセンサーの少なくとも１つ画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータと、
‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
を符号化するように構成されたプロセッサを含み、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
装置。
【請求項７】
光学デバイスから取得された場面を表す点群を再構築するためのコンピュータ実装方法であって、前記方法は：
‐次を含む信号：
・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
・前記復号された第１のセットのパラメータから前記ライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を復号することと、
‐前記復号された第１のセットのパラメータ、前記復号された第２のセットのパラメータ、前記復号された第３のセットのパラメータおよび前記復号された第４のセットのパラメータに基づいて前記点群を再構築することと
を含む、コンピュータ実装方法。
【請求項８】
前記点群を再構築することは、
‐前記センサーの少なくとも１つの画素に対して：
・前記光線の、前記場面の少なくとも１つの物体との前記交点に対応する点の３次元空間内の位置と、
・前記点がそれに沿って前記光学デバイスによって見られる視野角と
を計算することと、
‐前記計算された点に、前記センサーの前記画素によって検知された前記色データを表す前記パラメータを関連付けることと
を含む、請求項７に記載の方法。
【請求項９】
光学デバイスから取得された場面を表す点群を再構築するための装置であって、前記装置は：
‐次を含む信号：
・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
・前記復号された第１のセットのパラメータから前記ライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を復号することと、
‐前記復号された第１のセットのパラメータ、前記復号された第２のセットのパラメータ、前記復号された第３のセットのパラメータおよび前記復号された第４のセットのパラメータに基づいて前記点群を再構築することと
を行うように構成されたプロセッサを含む、
装置。
【請求項１０】
光学デバイスから取得された場面を表す信号を符号化するために装置によって送信される信号であって、前記信号は、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータと、
‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
を含む、メッセージを伝達し、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
信号。
【請求項１１】
光学デバイスから取得された場面を表すデータを含むデジタルファイルであって、前記データは、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータと、
‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータと、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第３のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータと
を含み、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
デジタルファイル。
【請求項１２】
コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合に請求項１から５のいずれかに記載の前記方法の前記実装のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム。
【請求項１３】
コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合に請求項７から８のいずれかに記載の前記方法の前記実装のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データおよびメタデータのセットの送信に関し、より詳細には、場面を表す点群の再構築を可能にするデータの送信に関する。
【背景技術】
【０００２】
点群は、コンピュータグラフィックにおいて３Ｄ（３次元）場面を表すための良く知られている方法である。場面を点群として表すことは、この場面の異なる観点を見るのに役立つ。点群において、３Ｄ空間内の座標（ｘ，ｙ，ｚ）の各点はＲＧＢ値に対応する。しかし、場面は、強い連続性のない、空間内の点の集合としてのみ表される。
【０００３】
点群を表しているデータを圧縮することは、容易なタスクではない。実際に、点群に属している全ての点は、標準的なビデオにおけるように単純な矩形に配置されていないので、これらのデータを符号化する方法は簡単ではない。
【０００４】
さらに、点群表現は、膨大な量の記憶空間を占め、格納を厄介にして処理効率を悪くする。
【０００５】
本発明は前述を念頭に置いて考案されている。
【発明の概要】
【０００６】
本発明の第１の態様によれば、光学デバイスから取得された場面を表す信号を符号化するためのコンピュータ実装方法が提供され、前記方法は、前記光学デバイスのセンサーの少なくとも１つの画素に対して、
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を符号化することを含み：
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
【０００７】
本発明の一態様に従った符号化方法に従って送信されるパラメータは、受信装置によって送信および処理されることと意図して場面を取得するために使用される光学系とは無関係である。
【０００８】
本発明の一態様に従った方法では、光学系のセンサーの異なる画素によって検知される光線を表すパラメータ、すなわち、第１のセットのパラメータのパラメータは、センサー上にマッピングされる。従って、これらのパラメータは、ピクチャと見なすことができる。例えば、光学系の画素によって検知される光線が４つのパラメータによって表現される場合、光学系のセンサーの画素によって検知される光線を表すパラメータは４つのピクチャにグループ化される。
【０００９】
かかるピクチャは、ＭＰＥＧ−４  ｐａｒｔ  １０  ＡＶＣ（ｈ２６４とも呼ばれる）、ｈ２６５／ＨＥＶＣまたはそれらの後継になりそうなｈ２６６などの、ビデオ標準に従って符号化および送信でき、また結合されたビデオビットストリームで送信できる。第２の符号化セットは、付加拡張情報（ＳＥＩ）メッセージを使用して符号化され得る。本発明の一実施形態に従った方法で定義されるフォーマットは、データの強力な圧縮が、強い誤差（無損失符号化）または限られた量の誤差（ロッシー符号化）を取り込むことなく、送信されるのを可能にする。
【００１０】
本発明の一態様に従った方法は、光学デバイスによって直接取得されたデータに制限されない。これらのデータは、所与の場面記述のためにコンピュータによって完全に、または部分的にシミュレートされるコンピュータグラフィックス画像（ＣＧＩ）であり得る。別のデータ源は、変更されている後生成データ（ｐｏｓｔ−ｐｒｏｄｕｃｅｄ  ｄａｔａ）、例えば、光学デバイスまたはＣＧＩから取得されたカラーグレードされたライトフィールドデータであり得る。現在では、光学取得装置を使用して取得されたデータ、およびＣＧＩデータの両方の混合であるデータを有することも、映画産業では一般的である。センサーの画素がコンピュータ生成場面システムによってシミュレートでき、延長線上で考えると、センサー全体が前記システムによってシミュレートできることが理解される。これ以降、「センサーの画素」または「センサー」への言及は、光学取得装置に取り付けられた物理的物体またはコンピュータ生成場面システムによって取得されたシミュレートされたエンティティのいずれかであり得ることを理解されたい。
【００１１】
かかる符号化方法は、前記場面を表す点群を再構築するためにコンパクトフォーマットでデータを符号化するのを可能にする。
【００１２】
符号化方法の一態様によれば、第１のセットのパラメータの少なくとも１つのパラメータは、前記光線の座標と、光学系の複数の画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を表し、第２のセットのパラメータの少なくとも１つのパラメータは、適合平面の座標を表す。
【００１３】
計算された距離の異なる値間の較差は、通常、座標の異なる値間の較差よりも低いので、光線の座標と、センサーの異なる画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を符号化すると、送信されるデータを圧縮するのを可能にする。
【００１４】
符号化方法の一態様によれば、第１のセットのパラメータの少なくとも１つのパラメータは、
‐前記画素によって検知された光線を表す値と、センサーの行において前記画素に先行する別の画素によって検知された光線を表す値との間の差、または
‐前記画素がセンサーの行の第１の画素である場合、前記画素によって検知された光線を表す値と、前記画素が属する行に先行する行の第１の画素によって検知された光線を表す値との間の差
を表す。
【００１５】
光線を表す値は、その光線を表す座標または、その座標と、センサーの異なる画素によって検知された複数の光線の座標のセットに適合する平面との間の距離のいずれかであり得る。
【００１６】
これは、送信されるパラメータの異なる値間の較差を削減することによりデータの圧縮を可能にする。
【００１７】
符号化方法の一態様によれば、第１のセットのパラメータのパラメータを符号化するために独立したコーデックが使用される。
【００１８】
符号化方法の一態様によれば、第２のセットのパラメータが、第１のセットのパラメータの最後の送信以後に、第１のセットのパラメータが変化していないことを示すパラメータを含む場合、前記第２のセットのパラメータだけが送信される。
【００１９】
これは、復号装置に送信されるデータの量を削減するのを可能にする。
【００２０】
本発明の別の目的は、光学デバイスから取得された場面を表す信号を符号化するための装置に関し、前記装置は、前記光学デバイスのセンサーの少なくとも１つ画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐前記第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を符号化するように構成されたプロセッサを含み、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである。
【００２１】
本発明の別の態様は、光学デバイスから取得された場面を表す点群を再構築するための方法に関し、前記方法は：
‐次を含む信号：
・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
・復号された第１のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を復号すること、
‐復号された第１のセットのパラメータ、復号された第２のセットのパラメータ、復号された第３のセットのパラメータおよび復号された第４のセットのパラメータに基づいて前記点群を再構築すること
を含む。
【００２２】
本発明の一態様によれば、前記点群を再構築することは、
‐センサーの少なくとも１つの画素に対して：
・前記光線の、前記場面の少なくとも１つの物体との交点に対応する点の３次元空間内の位置、
・前記点がそれに沿って光学デバイスによって見られる視野角、
を計算すること、
‐前記計算された点に、センサーの前記画素によって検知された色データを表すパラメータを関連付けること
を含む。
【００２３】
本発明の別の態様は、光学デバイスから取得された場面を表す点群を再構築するための装置に関し、前記装置は：
‐次を含む信号：
・前記光学デバイスのセンサーの少なくとも１つの画素によって検知された光線を表す第１のセットのパラメータ、
・復号された第１のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第２のセットのパラメータ、
・前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を復号すること、
‐復号された第１のセットのパラメータ、復号された第２のセットのパラメータ、復号された第３のセットのパラメータおよび復号された第４のセットのパラメータに基づいて前記点群を再構築すること
を行うように構成されたプロセッサを含む。
【００２４】
本発明の別の態様は、光学デバイスから取得された場面を表す信号を符号化するために装置によって送信される信号に関し、前記信号は、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を含む、メッセージを伝達し、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
【００２５】
本発明の別の目的は、光学デバイスから取得された場面を表すデータを含むデジタルファイルであり、前記データは、前記光学デバイスのセンサーの少なくとも１つの画素に対して：
‐前記画素によって検知された光線を表す第１のセットのパラメータ、
‐第１のセットのパラメータから前記光線を再構築するために使用されることを意図した第２のセットのパラメータ、
‐前記第１のセットのパラメータによって表される前記光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置を表す第３のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第４のセットのパラメータ
を含み、
前記第３のセットのパラメータは、前記第４のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
【００２６】
本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装され得る。その結果、かかる要素は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または全て一般に、本明細書で「回路」、「モジュール」もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、かかる要素は、媒体内に具現化されたコンピュータ利用可能プログラムコードを有する任意の有形的表現媒体で具現化されたコンピュータプログラム製品の形を取り得る。
【００２７】
本発明の要素はソフトウェアで実装できるので、本発明は、プログラマブル装置への提供のためにコンピュータ可読コードとして任意の適切なキャリア媒体上で具現化できる。有形的キャリア媒体は、フロッピィディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置またはソリッドステートメモリ装置および同様のもの、などの記憶媒体を含み得る。一時的キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、例えば、マイクロ波もしくはＲＦ信号、などの信号を含み得る。
【００２８】
ここで、本発明の態様を、ほんの一例として、以下の図を参照して、説明する：
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に従った、ライトフィールドカメラ装置のブロック図である。
【図２】ライトフィールドデータフォーマット化モジュールの潜在的な実施態様の特定の実施形態を例示するブロック図である。
【図３】パラメータ化のために使用される２つの基準面Ｐ１およびＰ２を通過する光線を例示する。
【図４】既知の深さｚ３に位置する基準面Ｐ３を通過する光線を例示する。
【図５】本発明の一実施形態に従い、ライトフィールドデータをフォーマット化するための方法のステップを例示するフローチャートである。
【図６】本発明の一実施形態に従い、光学デバイスから取得された場面を表す信号を符号化するための方法のステップを例示するフローチャートである。
【図７】本発明の一実施形態に従い、ライトフィールドデータをフォーマット化するための方法のステップを例示するフローチャートである。
【図８】４つの独立したモノクロコーデックを使用して受信側に送信される場合の
【数１】
2019534606.tif 000003
マップ、
【数２】
2019534606.tif 000004
マップまたは
【数３】
2019534606.tif 000005
マップを表す。
【図９】単一の画像にグループ化された場合の
【数４】
2019534606.tif 000006
マップ、
【数５】
2019534606.tif 000007
マップまたは
【数６】
2019534606.tif 000008
マップを表す。
【図１０】本発明の一実施形態に従い、３Ｄ空間内の点を再構築するために使用される２つの基準面Ｐ１およびＰ２を通過する光線を表す。
【図１１】本開示の一実施形態に従い、点群を再構築するための装置の例を例示する概略ブロック図である。
【図１２】本発明の一実施形態に従い、光学デバイスから取得された場面を表す点群を再構築するための方法のステップを例示するフローチャートである。
【発明を実施するための形態】
【００３０】
当業者によって理解されるように、本原理の態様は、システム、方法またはコンピュータ可読媒体として具現化できる。それに応じて、本原理の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または全て一般に、本明細書で「回路」、「モジュール」もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、本原理の態様は、コンピュータ可読記憶媒体の形を取り得る。１つ以上のコンピュータ可読記憶媒体（複数可）の任意の組合せが利用され得る。
【００３１】
本発明の実施形態は、場面を表す点群を再構築するためのライトフィールドデータのフォーマット化に依存する。かかる点群は、再フォーカシング、視点の変更などの、さらなる処理適用のために使用される。提供されるフォーマット化は、ライトフィールドデータおよび点群を、受信側上で処理するために、それの適切で容易な再構築を可能にする。提供されるフォーマットの利点は、それが、ライトフィールドデータを取得するために使用される装置に依存しないこと、およびそれが場面をコンパクトなフォーマットで表す点群の再構築のために必要な全てのデータの送信を可能にすることである。
【００３２】
図１は、本発明の一実施形態に従った、ライトフィールドカメラ装置のブロック図である。ライトフィールドカメラは、開口部／シャッター１０２、主（対物）レンズ１０１、マイクロレンズアレイ１１０および光センサーアレイを含む。いくつかの実施形態では、ライトフィールドカメラは、物体または場面のライトフィールド画像を捕捉するために作動されるシャッターレリーズを含む。
【００３３】
光センサーアレイ１２０は、ライトフィールドデータフォーマット化モジュール１５０によるライトフィールドデータフォーマットの生成のため、および／またはライトフィールドデータプロセッサ１５５による処理のために、ＬＦデータ取得モジュール１４０によって取得されるライトフィールド画像データを提供する。ライトフィールドデータは、取得後および処理後に、メモリ１９０内に生データフォーマットで、多視点画像（ｓｕｂ  ａｐｅｒｔｕｒｅ  ｉｍａｇｅ）もしくはフォーカルスタックとして、または本発明の実施形態に従ったライトフィールドデータフォーマットで、格納され得る。
【００３４】
図解例では、ライトフィールドデータフォーマット化モジュール１５０およびライトフィールドデータプロセッサ１５５は、ライトフィールドカメラ１００内に配置されるか、またはそれに組み込まれる。本発明の他の実施形態では、ライトフィールドデータフォーマット化モジュール１５０および／またはライトフィールドデータプロセッサ１５５は、ライトフィールド捕捉カメラ外部の別個の構成要素内に提供され得る。別個の構成要素は、ライトフィールド画像捕捉装置に関してローカルまたはリモートであり得る。ライトフィールド画像データをフォーマット化モジュール１５０またはライトフィールドデータプロセッサ１５５に送信するために任意の適切な有線または無線プロトコルが使用され得；例えば、ライトフィールドデータプロセッサは、捕捉されたライトフィールド画像データおよび／または他のデータを、インターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または任意の他の適切な手段を介して転送し得ることが理解されるであろう。
【００３５】
ライトフィールドデータフォーマット化モジュール１５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成される。ライトフィールドデータフォーマット化モジュール１５０は、ソフトウェア、ハードウェアまたはそれらの組合せで実装され得る。
【００３６】
ライトフィールドデータプロセッサ１５５は、例えば、本発明の実施形態に従って、フォーマット化されたデータおよびメタデータを生成するために、ＬＦデータ取得モジュール１４０から直接受信した生のライトフィールド画像データに関して操作するように構成される。例えば、捕捉された場面の静止画像、２Ｄビデオストリーム、および同様のものなどの出力データが生成され得る。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェアまたはそれらの組合せで実装され得る。
【００３７】
少なくとも１つの実施形態では、ライトフィールドカメラ１００は、コントローラ１７０によってカメラ１００の動作を制御するためにユーザーがユーザー入力を提供するのを可能にするためのユーザーインタフェース１６０も含み得る。カメラの制御は、シャッター速度などのカメラの光学パラメータの制御、または調整可能ライトフィールドカメラの場合には、マイクロレンズアレイと光センサーとの間の相対距離、もしくは対物レンズとマイクロレンズアレイとの間の相対距離の制御の１つ以上を含み得る。いくつかの実施形態では、ライトフィールドカメラの光学素子間の相対距離は、手動で調整可能であり得る。カメラの制御は、カメラの他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマット化パラメータまたはライトフィールド処理パラメータの制御も含み得る。ユーザーインタフェース１６０は、タッチスクリーン、ボタン、キーボード、ポインティングデバイス、および／または同様のものなどの、任意の適切なユーザー入力装置（複数可）を含み得る。このように、ユーザーインタフェースによって受信された入力は、データフォーマット化を制御するためにＬＦデータフォーマット化モジュール１５０を、取得されたライトフィールドデータの処理を制御するためにＬＦデータプロセッサ１５５を、およびライトフィールドカメラ１００を制御するためにコントローラ１７０を、制御ならびに／または構成するために使用できる。
【００３８】
ライトフィールドカメラは、１つ以上の交換式または充電式電池などの、電源１８０を含む。ライトフィールドカメラは、捕捉されたライトフィールドデータおよび／もしくは処理されたライトフィールドデータまたは本発明の実施形態の方法を実装するためのソフトウェアなどの他のデータを格納するためのメモリ１９０を含む。メモリは、外部および／または内部メモリを含むことができる。少なくとも１つの実施形態では、メモリはカメラ１００から離れた装置および／または位置で提供できる。一実施形態では、メモリは、メモリスティックなどの、取外し可能／交換可能な記憶装置を含む。
【００３９】
ライトフィールドカメラは、捕捉前にカメラの前の場面を表示するため、ならびに／または以前に捕捉および／もしくはレンダリングした画像を表示するために、ディスプレイユニット１６５（例えば、ＬＣＤ画面）も含み得る。画面１６５は、１つ以上のメニューまたは他の情報をユーザーに表示するためにも使用され得る。ライトフィールドカメラは、ファイアーワイヤもしくはユニバーサルシリアルバス（ＵＳＢ）インタフェース、またはインターネット、セルラーデータネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／もしくは任意の他の適切な手段を介したデータ通信のための有線もしくは無線通信インタフェースなどの、１つ以上のＩ／Ｏインタフェース１９５をさらに含み得る。Ｉ／Ｏインタフェース１９５は、本発明の実施形態に従いＬＦデータフォーマット化モジュールによって生成されたライトフィールド表現データ、および生のライトフィールドデータまたはＬＦデータプロセッサ１５５によって処理されたデータなどのライトフィールドデータ、などのデータを、レンダリング適用のために、コンピュータシステムまたはディスプレイユニットなどの外部装置に、および外部装置から、転送するために使用され得る。
【００４０】
図２は、ライトフィールドデータフォーマット化モジュール２５０およびライトフィールドデータプロセッサ２５３の潜在的な実施態様の特定の実施形態を例示するブロック図である。
【００４１】
回路２００は、メモリ２９０、メモリコントローラ２４５および１つ以上の処理装置（ＣＰＵ（複数可））を含む処理回路２４０を含む。１つ以上の処理装置２４０は、メモリ２９０内に格納された様々なソフトウェアプログラムおよび／または命令セットを実行して、ライトフィールドデータフォーマット化およびライトフィールドデータ処理を含む様々な機能を実行するように構成される。メモリ内に格納されたソフトウェア構成要素は、本発明の実施形態に従って取得された光データを表すデータを生成するためのデータフォーマット化モジュール（または命令セット）２５０、および本発明の実施形態に従ってライトフィールドデータを処理するためのライトフィールドデータ処理モジュール（または命令セット）２５５を含む。他のモジュールは、全般的なシステムタスク（例えば、電源管理、メモリ管理）を制御するため、および装置２００の様々なハードウェアとソフトウェア構成要素との間の通信を容易にするためのオペレーティングシステムモジュール２５１、ならびにＩ／Ｏインタフェースポートを介して他の装置との通信を制御および管理するためのインタフェースモジュール２５２などの、ライトフィールドカメラ装置の利用のためにメモリ内に含まれ得る。
【００４２】
本発明の実施形態は、カメラのセンサーの画素によって検知されたか、もしくはコンピュータ生成場面システムによってシミュレートされた光線およびそれらの空間内での配向に基づくか、またはより一般的には、光学デバイスのセンサーの、ライトフィールドデータの表現に依存している。実際に、別のライトフィールドデータ源は、変更されている後生成データ、例えば、光学デバイスまたはＣＧＩから取得されたカラーグレードされたライトフィールドデータであり得る。現在では、光学取得装置を使用して取得されたデータ、およびＣＧＩデータの両方の混合であるデータを有することも、映画産業では一般的である。センサーの画素がコンピュータ生成場面システムによってシミュレートでき、延長線上で考えると、センサー全体が前記システムによってシミュレートできることが理解される。これ以降、「センサーの画素」または「センサー」への言及は、光学取得装置に取り付けられた物理的物体またはコンピュータ生成場面システムによって取得されたシミュレートされたエンティティのいずれかであり得ることを理解されたい。
【００４３】
取得システムのタイプが何であれ、前記取得システムのセンサーの画素に対して、取得システム外部の空間内の、少なくとも線形光軌道、または光線が対応することが分かっていれば、３次元（または３Ｄ）空間内の光線を表すデータが計算される。
【００４４】
第１の実施形態で、図３は、相互に平行に配置されて、それぞれ既知の深さｚ１およびｚ２に位置付けられた、パラメータ化のために使用される２つの基準面Ｐ１およびＰ２を通過する光線を例示する。ｚ方向、または深さ方向は、ライトフィールドデータを取得するために使用された光学デバイスの光軸の方向に対応する。
【００４５】
光線は、交点（ｘ１，ｙ１）において深さｚ１で第１の基準面Ｐ１と交差し、交点（ｘ２，ｙ２）において深さｚ２で第２の基準面Ｐ２と交差する。このように、ｚ１およびｚ２を所与として、光線は４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって識別できる。ライトフィールドは従って、本明細書でパラメータ化平面とも呼ばれる、パラメータ化のための一対の基準面Ｐ１、Ｐ２によってパラメータ化でき、各光線は４Ｄ光線空間内の点（ｘ１，ｙ１，ｘ２，ｙ２）∈Ｒ４として表現される。
【００４６】
図４で示された第２の実施形態では、光線は、既知の深さｚ３に位置する基準面Ｐ３と光線の交点によってパラメータ化される。光線は、交点（ｘ３，ｙ３）において深さｚ３で基準面Ｐ３と交差する。空間内で光線の方向を提供する、正規化ベクトルＶは、次の座標：
【数７】
2019534606.tif 000009
を有しており、
【数８】
2019534606.tif 000010
が正であると仮定されて、ｖｘおよびｖｙが分かっていれば再計算できるので、ベクトルはその２つの最初の座標（ｖｘ，ｖｙ）によってのみ記述できる。
【００４７】
この第２の実施形態によれば、光線は、４つの座標（ｘ３，ｙ３，ｖｘ，ｖｙ）によって識別され得る。ライトフィールドは従って、本明細書でパラメータ化平面とも呼ばれる、パラメータ化のための基準面Ｐ３によってパラメータ化でき、各光線は４Ｄ光線空間内の点（ｘ３，ｙ３，ｖｘ，ｖｙ）∈Ｒ４として表現される。
【００４８】
４Ｄ光線空間内で光線を表すパラメータは、ライトフィールドデータフォーマット化モジュール１５０によって計算される。図５は、本発明の一実施形態に従い、カメラ１００によって取得されたライトフィールドデータをフォーマット化するための方法のステップを例示するフローチャートである。この方法は、ライトフィールドデータフォーマット化モジュール１５０によって実行される。
【００４９】
ライトフィールド取得システムがピンホールモデルを使用して較正される場合、基本的な投影モデルは、歪みなしで、次の式によって与えられ：
【数９】
2019534606.tif 000011
式中、
・ｆは、カメラ１００の主レンズの焦点距離であり、
・ｃｕおよびｃｖは、カメラ１００の光軸とセンサーの交点の座標であり、
・（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔは、カメラによって検知された空間内の点のカメラ座標系内の位置であり、
・（ｕ，ｖ，１）Ｔは、その座標がカメラ座標系内の（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔである点のカメラのセンサー上への投影の、センサー座標系における、座標である。
【００５０】
ステップ５０１で、ライトフィールドデータフォーマット化モジュール１５０は、その座標が、センサー座標系内の（ｕ，ｖ，１）Ｔであるセンサーの画素によって検知される空間内の光線の方向を表すベクトルＶの座標を計算する。センサー座標系で、ベクトルＶの座標は：
【数１０】
2019534606.tif 000012
である。
【００５１】
ピンホールモデルでは、その座標が（ｕ，ｖ，１）Ｔである画素によって検知された光線の、ピンホールから座標Ｚ１に位置して、センサー面と平行な平面との交点の座標は：
【数１１】
2019534606.tif 000013
であり、ステップ５０２の間に計算される。
【００５２】
いくつかの取得、すなわち、異なるタイプのカメラによるライトフィールドデータの取得が混合される場合、単一の座標系が使用される。この状況では、点およびベクトルの座標の修正は、それに応じて変更されるべきである。
【００５３】
本発明の一実施形態によれば、カメラのセンサーの画素によって検知されて、ステップ５０１および５０２の間に計算された光線を定義する座標のセットがマップに再グループ化される。別の実施形態では、光線は、光線の伝搬をシミュレートするコンピュータ生成場面システムによって直接計算される。
【００５４】
本発明の一実施形態では、これらのマップは受信側に送信される場面のカラーマップおよび深さマップと関連付けられる。従ってこの実施形態では、カメラのセンサーの各画素（ｕ，ｖ）に対して、所与の画素によって検知された光線に関連する深さデータを表すパラメータおよび同じ所与の画素によって検知された同じ光線に関連する色データを表すパラメータならびに光線がパラメータ化のための一対の基準面Ｐ１、Ｐ２によってパラメータ化される場合は（ｘ１，ｙ１，ｘ２，ｙ２）、または光線が正規化ベクトルによってパラメータ化される場合は（ｘ３，ｙ３，ｖｘ，ｖｙ）のいずれかに対応する浮動小数点値の４つ組（Ｘ１  Ｘ２  Ｘ３  Ｘ４）が対応する。以下の説明では、浮動小数点値の４つ組（Ｘ１  Ｘ２  Ｘ３  Ｘ４）は：
【数１２】
2019534606.tif 000014
によって与えられる。
【００５５】
別の実施形態では、取得システムはピンホールモデルを使用して較正されず、その結果として、２つの平面によるパラメータ化はモデルから再計算されない。代わりに、２つの平面によるパラメータ化は、カメラの較正動作中に測定される必要がある。これは、例えば、カメラの主レンズとセンサーとの間にマイクロレンズアレイが含まれるピンホールカメラの場合であり得る。
【００５６】
さらに別の実施形態では、これらのマップは、コンピュータ生成場面システムによって直接シミュレートされるか、または取得されたデータから後生成される。
【００５７】
カメラのセンサーの画素によって検知された光線は浮動小数点の４つ組（Ｘ１  Ｘ２  Ｘ３  Ｘ４）によって表されるので、これら４つのパラメータをパラメータの４つのマップ、例えば、カメラのセンサーの画素によって検知された各光線のパラメータＸ１を含む第１のマップ、カメラのセンサーの画素によって検知された各光線のパラメータＸ２を含む第２のマップ、カメラのセンサーの画素によって検知された各光線のパラメータＸ３を含む第３のマップおよびカメラのセンサーの画素によって検知された各光線のパラメータＸ４を含む第４のマップ、に入れることが可能である。Ｘｉマップと呼ばれる、前述の４つのマップの各々は、取得されたライトフィールド画像自体と同じサイズをもつが、浮動小数点コンテンツを有する。
【００５８】
隣接した画素によって検知された光線を表して光線の集合を配列するパラメータ間の強い相関、およびその結果として、それらを表すパラメータを考慮に入れるいくつかの適応後、これらの４つのマップはビデオデータ用と同様のツールを使用して圧縮できる。
【００５９】
浮動小数点（Ｘ１  Ｘ２  Ｘ３  Ｘ４）の値を圧縮し、結果として送信されるＸｉマップのサイズを削減するために、ライトフィールドデータフォーマット化モジュール１５０は、ステップ５０３で、各Ｘｉマップに対して、Ｘｉマップ内に含まれる前記パラメータＸｉの値に適合する平面の式を計算する。パラメータＸｉに対する適合平面の式は：
【数１３】
2019534606.tif 000015
によって与えられ、式中、ｕおよびｖは、カメラのセンサーの所与の画素の座標である。
【００６０】
ステップ５０４で、各Ｘｉマップに対して、パラメータαｉ、βｉ、γｉは、誤差を最小限にするために計算される：
【数１４】
2019534606.tif 000016
【００６１】
ステップ５０４の計算の結果は、パラメータ：
【数１５】
2019534606.tif 000017
で、パラメータＸｉの値の、前記パラメータＸｉの値の適合平面との差に対応し、Ｘｉマップ内に含まれる値の較差がはるかに低い範囲となる。
【００６２】
ステップ５０５で、
【数１６】
2019534606.tif 000018
を計算することにより、値
【数１７】
2019534606.tif 000019
を圧縮することが可能である。
【００６３】
次いで、ステップ５０６で、以前のパラメータＸｉの値
【数１８】
2019534606.tif 000020
は、パラメータ
【数１９】
2019534606.tif 000021
の値が０〜２Ｎ−１（両端値を含む）の範囲になるように計算され得、Ｎは、送信されるライトフィールドデータを符号化するために使用されることを意図した符号器の容量に対応する選択されたビット数である。パラメータ
【数２０】
2019534606.tif 000022
の値は：
【数２１】
2019534606.tif 000023
によって与えられる。
【００６４】
ステップ５０７で、ライトフィールドデータフォーマット化モジュール１５０は、カメラのセンサーの画素によって検知された光線を表すパラメータ（Ｘ１  Ｘ２  Ｘ３  Ｘ４）の各々に対応する、４つのマップ、
【数２２】
2019534606.tif 000024
マップ、
【数２３】
2019534606.tif 000025
マップ、
【数２４】
2019534606.tif 000026
マップおよび
【数２５】
2019534606.tif 000027
マップを生成する。
【００６５】
ステップ５０８で、ライトフィールドデータフォーマット化モジュール１５０は、ＳＥＩ（付加拡張情報）メッセージのコンテンツを生成する。ＳＥＩメッセージの前記コンテンツは、元の
【数２６】
2019534606.tif 000028
マップを取得するために、受信側上での逆計算（ｒｅｃｉｐｒｏｃａｌ  ｃｏｍｐｕｔａｔｉｏｎ）中に使用されることを意図した次の固定パラメータ
【数２７】
2019534606.tif 000029
を含む。これら４つのパラメータは、ＳＥＩメッセージで伝達されるメタデータと考えられ、その内容は次の表によって与えられる：
【表１】
2019534606.tif 000030
【００６６】
受信側で、元の
【数２８】
2019534606.tif 000031
マップを取得するのを可能にする逆計算は、
【数２９】
2019534606.tif 000032
によって与えられる。
【００６７】
図６は、本発明の一実施形態に従い、光学デバイスから取得された場面を表す信号を符号化するための方法のステップを例示するフローチャートである。この方法は、例えば、ライトフィールドデータプロセッサモジュール１５５によって実行される。
【００６８】
ステップ６０１で、ライトフィールドデータプロセッサモジュール１５５は、ステップ５０７中に、ライトフィールドデータフォーマット化モジュール１５０によって生成された４つの
【数３０】
2019534606.tif 000033
マップを取得する。４つの
【数３１】
2019534606.tif 000034
マップは、メッセージ内に埋め込まれるか、またはメモリなどから取得され得る。
【００６９】
ステップ６０２で、ライトフィールドデータプロセッサモジュール１５５は、元の
【数３２】
2019534606.tif 000035
マップを取得するために受信側で逆計算中に使用されることを意図した次の固定パラメータ
【数３３】
2019534606.tif 000036
を含むＳＥＩメッセージを生成する。
【００７０】
ステップ６０３で、ライトフィールドデータプロセッサモジュール１５５は、ライトフィールドコンテンツに関連した場面の物体の深さ情報を含む深さマップを取得する。深さマップは、カメラのセンサーの各画素に対する深さ情報を含む。深さマップは、別の装置から受信されるか、またはメモリなどから取得され得る。
【００７１】
センサーの画素に関連した深さ情報は、例えば、前記画素によって検知された光線の、前記場面の少なくとも１つの物体との交点の光学デバイスの光軸に沿った位置である。
【００７２】
かかる深さマップは、例えば、カメラ間視差推定によって計算され、次いで、複数のカメラを含む実施形態における較正データのおかげで、深さに変換され得る。深さマップが特定の較正で各カメラと位置合わせされる、深さセンサーがシステム内にあり得る。
【００７３】
関連付けられた深さデータが、モノクロフォーマットで格納されて、ビデオコーダ（ＭＰＥＧ−４  ＡＶＣ、ＨＥＶＣ、ｈ２６６、．．．）または画像コーダ（ＪＰＥＧ、ＪＰＥＧ２０００、ＭＪＥＧ）で符号化され得る。いくつかのセンサーが存在する場合、色データおよび深さデータは、３ＤＨＥＶＣ（マルチビュー符号化＋深さ）コーデックを使用して一緒に符号化できる。
【００７４】
深さ情報は、ｚ方向に２つの異なる基準を有し得、前記ｚ方向は、場面を取得するために使用される光学デバイスの光軸の方向に対応する。深さ情報は、平面ｚ１の位置に、または世界座標系に関連して定義されているかどうかであり得る。前記情報は、メタデータメッセージ内に定義される：
【表２】
2019534606.tif 000037
【００７５】
ステップ６０４で、ライトフィールドデータプロセッサモジュール１５５は、例えば、ライトフィールドコンテンツに関連した場面の物体のＲＧＢ情報を含む、カラーマップを取得する。カラーマップは、カメラのセンサーの各画素に対する色情報を含む。カラーマップは、別の装置から受信されるか、またはメモリなどから取得され得る。
【００７６】
ステップ６０５で、
【数３４】
2019534606.tif 000038
マップ、カラーマップ、深さマップおよびＳＥＩメッセージは、３Ｄ（３次元）空間内の点の形式のライトフィールドコンテンツを、前記点の配向に関連した情報、すなわち、その点がセンサーの画素によって検知される視点、と一緒にレンダリングするために、これらのデータが処理される受信側に少なくとも送信される。
【００７７】
ライトフィールドデータを表すマップのサイズを、それらの受信側への送信前に、さらに削減することが可能である。次の実施形態は、誤差の最小化から成るものの補完である：
【数３５】
2019534606.tif 000039
【００７８】
図７に表す第１の実施形態では、
【数３６】
2019534606.tif 000040
マップは低空間周波数の値を含むので、空間内の一方向における信号の導関数（ｄｅｒｉｖａｔｉｖｅ）だけを送信することが可能である。
【００７９】
例えば、
【数３７】
2019534606.tif 000041
座標（０，０）の画素に関連したパラメータＸｉの値を所与として、ライトフィールドデータフォーマット化モジュール１５０は、ステップ６０１で、座標（１，０）の画素に関連したパラメータＸｉの値
【数３８】
2019534606.tif 000042
と、座標（０，０）の画素に関連したパラメータＸｉの値
【数３９】
2019534606.tif 000043
との間の差
【数４０】
2019534606.tif 000044
を計算する：
【数４１】
2019534606.tif 000045
【００８０】
より一般的に、ステップ７０１中に、ライトフィールドデータフォーマット化モジュール１５０は、センサーの所与の画素に関連したパラメータＸｉの値と、光学系のセンサーの行内の所与の画素に先行する別の画素に関連したパラメータＸｉの、またはコンピュータ生成場面システムの、値との間の差を計算する：
【数４２】
2019534606.tif 000046
【００８１】
所与の画素がセンサーの行の第１の画素である場合、ライトフィールドデータフォーマット化モジュール１５０は、所与の画素に関連したパラメータＸｉの値と、所与の画素が属する行に先行する行の第１の画素に関連したパラメータＸｉの値との間の差を計算する：
【数４３】
2019534606.tif 000047
【００８２】
ステップ７０２で、ステップ６０２中に生成された、
【数４４】
2019534606.tif 000048
マップ、カラーマップ、深さマップおよびＳＥＩメッセージは、ライトフィールドコンテンツをレンダリングするためにこれらのデータが処理される受信側に少なくとも送信される。
【００８３】
第２の実施形態では、
【数４５】
2019534606.tif 000049
マップ、
【数４６】
2019534606.tif 000050
マップまたは
【数４７】
2019534606.tif 000051
マップは、超低空間周波数を有する値を含むので、
【数４８】
2019534606.tif 000052
マップの両方の次元において空間ダウンサンプリングを実行し、次いで、前記
【数４９】
2019534606.tif 000053
マップの送信されたサンプル間で線形補間を行うことにより受信側上で完全な
【数５０】
2019534606.tif 000054
マップを回復することが可能である。
【００８４】
例えば、マップのサイズを、Ｎ＿行＊Ｍ＿列からＮ＿行／２＊Ｍ＿列／２に削減できる場合。受信時にマップは元のサイズに拡張でき；生じた穴は補間方法（または所謂アップサンプリングプロセス）によって充填できる。単純な双線形補間が一般に十分である。
【数５１】
2019534606.tif 000055
【００８５】
図８に示されている第３の実施形態では、各
【数５２】
2019534606.tif 000056
マップ、
【数５３】
2019534606.tif 000057
マップまたは
【数５４】
2019534606.tif 000058
マップは、例えば、ｈ２６５／ＨＥＶＣなどの、４つの独立したモノクロコーデックを使用して受信側に送信され得る。
【００８６】
第４の実施形態では、
【数５５】
2019534606.tif 000059
マップ、
【数５６】
2019534606.tif 000060
マップまたは
【数５７】
2019534606.tif 000061
マップは、図９に示されるような単一画像にグループ化され得る。この目標に到達するために、一方法は、第２の実施形態におけるように、サブサンプリング方法を使用して、マップのサイズを１／２に減らすこと、次いで、
【数５８】
2019534606.tif 000062
マップ、
【数５９】
2019534606.tif 000063
マップまたは
【数６０】
2019534606.tif 000064
マップを、カラーマップと同じサイズをもつ画像の各象限に結合することから成る。この方法は、いくつかのフレームを単一フレームにパックするので、通常、「フレームパッキング」と命名される。復号器がフレームを適切に解凍できるように、フレームパッキングが実行されている方法を信号通知するために、例えば、ＳＥＩメッセージ内で、十分なメタデータが送信されるべきである。単一フレームにパックされたマップは次いで、例えば、ｈ２６５／ＨＥＶＣなどであるが、それらに制限されず、単一のモノクロコーデックを使用して送信できる。
【００８７】
この場合、表１に示すようなＳＥＩメッセージは、４つのマップを単一フレームにパックするために使用されているフレームパッキング方法を示すフラグも含む必要がある（表１ｂを参照）。
【表３】
2019534606.tif 000065
【００８８】
いくつかのカメラがリグ（ｒｉｇ）を形成するためにグループ化される場合、単一の世界座標系およびすべてのカメラに共通な２つのパラメータ化平面を定義する方が良くて、より一貫性がある。次いで、記述メッセージ（例えば、ＳＥＩ）は、表２に示すように、各カメラに対して、共通の情報（表現タイプ、ｚ１およびｚ２）＋４つのマップ（
【数６１】
2019534606.tif 000066
マップ、
【数６２】
2019534606.tif 000067
マップまたは
【数６３】
2019534606.tif 000068
の記述パラメータを含むことができる。
【００８９】
その場合、
【数６４】
2019534606.tif 000069
マップ、
【数６５】
2019534606.tif 000070
マップまたは
【数６６】
2019534606.tif 000071
マップは、例えば、ＭＰＥＧマルチビュービデオ符号化（ＭＶＣ）またはＭＰＥＧマルチビュー高性能ビデオ符号化（ＭＶ−ＨＥＶＣ）などの、構成のマルチビュー態様を考慮に入れるモノクロコーデックを使用して、受信側に送信され得る。
【００９０】
【表４】
2019534606.tif 000072
【００９１】
第５の実施形態では、
【数６７】
2019534606.tif 000073
マップ、
【数６８】
2019534606.tif 000074
マップまたは
【数６９】
2019534606.tif 000075
マップの修正は、ある期間、無効であり、これらの
【数７０】
2019534606.tif 000076
マップ、
【数７１】
2019534606.tif 000077
マップまたは
【数７２】
2019534606.tif 000078
はスキップされるとマークを付けられて、受信側に送信されない。この場合、ＳＥＩメッセージは、
【数７３】
2019534606.tif 000079
マップ、
【数７４】
2019534606.tif 000080
マップまたは
【数７５】
2019534606.tif 000081
に関して、それらの最後の送信以降、変更が行われていないことを受信側に示すフラグを含む。かかるＳＥＩメッセージの内容が表３に示されている。
【表５】
2019534606.tif 000082
【００９２】
第６の実施形態では、
【数７６】
2019534606.tif 000083
マップ、
【数７７】
2019534606.tif 000084
マップまたは
【数７８】
2019534606.tif 000085
で表される、取得システムパラメータの修正は、時間内にゆっくりと変更されるので、それらを、カラーマップのフレームレートよりも遅いフレームレートで受信側に送信することは価値がある。
【数７９】
2019534606.tif 000086
マップ、
【数８０】
2019534606.tif 000087
マップまたは
【数８１】
2019534606.tif 000088
の送信頻度は、少なくともＩＤＲフレームのものでなければならない。
【００９３】
第７の実施形態では、カラーマップはＹＵＶまたはＲＧＢフォーマットを使用し、例えば、ＭＰＥＧ−４  ＡＶＣ、ｈ２６５／ＨＥＶＣ、もしくはｈ２６６などのビデオコーダ、またはＪＰＥＧ、ＪＰＥＧ２０００、ＭＪＥＧなどの画像コーダで符号化される。ライトフィールドコンテンツを取得するためにいくつかのカメラが使用される場合、カラーマップは、ＭＶ−ＨＥＶＣコーデックを使用して相対的に符号化され得る。
【００９４】
図１０は、光学デバイスのセンサーの画素によって検知された光線Ｒを表し、前記光線Ｒは、本発明の一実施形態に従い、光学デバイスから取得された場面の点群を再構築するために使用される２つの基準面Ｐ１およびＰ２を通過する。光線Ｒは、前記場面の物体Ｏと交差する。ｚｃａｍによって示す方向は、光学デバイスの光軸の方向に対応する。
【００９５】
図１１は、本開示の一実施形態に従い、場面を表す点群を再構築するための装置の例を示す概略ブロック図である。
【００９６】
装置１１００は、プロセッサ１１０１、記憶装置１１０２、入力装置１１０３、ディスプレイ装置１１０４、およびバス１１０６によって接続されるインタフェースユニット１１０５を含む。言うまでもなく、コンピュータ装置１１００の構成要素は、バス接続以外の接続によって接続され得る。
【００９７】
プロセッサ１１０１は、装置１１００の動作を制御する。記憶装置１１０２は、プロセッサ１１０１によって実行される少なくとも１つのプログラム、ならびにライトフィールドカメラによって捕捉および提供された４Ｄライトフィールド画像のデータ、プロセッサ１１０１によって実行される計算によって使用されるパラメータ、プロセッサ１１０１によって実行された計算の中間データなどを含む、様々なデータを格納する。プロセッサ１１０１は、任意の既知で適切なハードウェア、またはソフトウェア、またはハードウェアおよびソフトウェアの組合せによって形成され得る。例えば、プロセッサ１１０１は、処理回路などの、専用ハードウェアによって、またはそのメモリ内に格納されたプログラムを実行するＣＰＵ（中央処理装置）などのプログラマブル処理装置によって形成され得る。
【００９８】
記憶装置１１０２は、任意の適切なストレージ、またはプログラム、データ、もしくは同様のものをコンピュータ可読方法で格納可能な手段によって形成され得る。記憶装置１１０２の例は、半導体メモリ装置、ならびに読取りおよび書込みユニットにロードされる磁気、光学、または光磁気記録媒体などの、持続性コンピュータ可読記憶媒体を含む。プログラムは、図１２を参照して説明するように、本開示の一実施形態に従い、プロセッサ１１０１に場面を表す点群を再構築させる。
【００９９】
入力装置１１０３は、キーボード、ユーザーによりコマンドを入力するために使用される、マウスなどのポインティングデバイスによって形成され得る。出力装置１１０４は、例えば、グラフィカルユーザーインタフェース（ＧＵＩ）、本開示の一実施形態に従って生成された点群を表示するためのディスプレイ装置によって形成され得る。入力装置１１０３および出力装置１１０４は、例えば、タッチスクリーンパネルによって一体的に形成され得る。
【０１００】
インタフェースユニット１１０５は、装置１１００と外部装置との間のインタフェースを提供する。インタフェースユニット１１０５は、ケーブルまたは無線通信を介して外部装置と通信可能であり得る。一実施形態では、外部装置はライトフィールドカメラであり得る。この場合、ライトフィールドカメラによって捕捉された４Ｄライトフィールド画像のデータは、ライトフィールドカメラから、インタフェースユニット１１０５を通して装置１１００に入力でき、次いで、記憶装置１１０２に格納できる。
【０１０１】
この実施形態では、装置１１００は、ライトフィールドカメラから分離されていて、それらは、ケーブルまたは無線通信を経由して相互に通信可能であるとして模範的に説明されているが、装置１１００は、かかるライトフィールドカメラと統合できることに留意すべきである。この後者の場合、装置１１００は、例えば、ライトフィールドカメラを埋め込んだタブレットまたはスマートフォンなどの、携帯機器であり得る。
【０１０２】
図１２は、本発明の一実施形態に従い、光学デバイスから取得された場面を表す点群を再構築するための方法のステップを例示するフローチャートである。この方法は、例えば、装置１１００のプロセッサ１１０１によって実行される。
【０１０３】
ステップ１２０１で、装置１１００は、光学デバイスによって取得された場面に関連した
【数８２】
2019534606.tif 000089
マップ、カラーマップ、深さマップおよびＳＥＩメッセージを受信する。
【０１０４】
ステップ１２０２で、プロセッサ１１０１は、場面の物体を表す３Ｄ（３次元）空間内の点をセンサーの各画素に対して再構築するために、
【数８３】
2019534606.tif 000090
マップ、カラーマップ、深さマップ、およびＳＥＩメッセージ内に含まれる固定パラメータ
【数８４】
2019534606.tif 000091
を処理し、前記点はセンサーの前記画素によって検知される。
【０１０５】
実際に、その深さｚｐが分かれば、３Ｄ空間内で点Ｐの座標ｘｐおよびｙｐを見つけることが可能である。この場合、４つのパラメータＸ１、Ｘ２、Ｘ３、Ｘ４は、検討される画素によって検知された光線の、２つのパラメータ化平面Ｐ１およびＰ２との交点の２つの点を定義できるようにする。
【０１０６】
点Ｐは、図９に示すような２つのパラメータ化平面Ｐ１およびＰ２との交点のこれら２つの点によって定義される光線に属し、装置１１００によって受信された深さマップ内の画素に関連した深さ値である深さｚ＝ｚｐに位置する。
【数８５】
2019534606.tif 000092
を取得するための式は従って、
【数８６】
2019534606.tif 000093
すなわち
【数８７】
2019534606.tif 000094
【０１０７】
点Ｐは、所与の視野角下で光学デバイスによって見られる。
【数８８】
2019534606.tif 000095
マップおよび固定パラメータ
【数８９】
2019534606.tif 000096
はライトフィールドデータであるため、点Ｐがカメラによって見られる視野角を定義するベクトル
【数９０】
2019534606.tif 000097
を計算することが可能である。
【０１０８】
従って、ステップ１２０３で、プロセッサ１１０１はベクトル
【数９１】
2019534606.tif 000098
の座標を次のように計算する：
【数９２】
2019534606.tif 000099
【０１０９】
ステップ１２０１〜１２０３は、光学デバイスから取得された場面を表す点群を生成するために、光学デバイスのセンサーの全ての画素に対して実行される。
【０１１０】
所与の場面の全ての画素に対して計算された点Ｐの集合は点群と呼ばれる。点ごとに視野角と関連付けられた点群は「有向（ｏｒｉｅｎｔｅｄ）」点群と呼ばれる。点群を構成する点の前記配向は、カメラのセンサーの画素によって検知された光線を表すパラメータ（Ｘ１  Ｘ２  Ｘ３  Ｘ４）の各々に対応する、４つのマップ、
【数９３】
2019534606.tif 000100
マップ、
【数９４】
2019534606.tif 000101
マップ、
【数９５】
2019534606.tif 000102
マップおよび
【数９６】
2019534606.tif 000103
マップ、のおかげで取得される。
【０１１１】
その相対位置が較正されているいくつかのカメラによって場面が見られる場合、同じ点Ｐに対して、異なるカメラと関連付けられた異なる視野角および色を入手することが可能である。それは、場面に関してより多くの情報をもたらして、例えば、光源位置および／または材料の反射特性の抽出を支援できる。言うまでもなく、２つの異なるカメラによって取得されたデータの再投影は、同じ点Ｐにぴったりとは一致しないであろう。所与の位置の周辺への近接は、この範囲内の２つの再投影は、空間内の同じ点に関連すると考えると定義される。
【０１１２】
本発明は上で特定の実施形態を参照して説明されているが、本発明は特定の実施形態に制限されず、本発明の範囲内に含まれる修正は当業者には明らかであろう。
【０１１３】
さらに多くの修正および変形が、ほんの一例として提供されて、添付のクレームによってのみ決定される本発明の範囲を制限することを意図していない、前述の例示的な実施形態を参照すれば、当業者には思い付くであろう。具体的には、異なる実施形態からの異なる特徴が、適切な場合には、置き換えられ得る。
【図１】
2019534606.tif 000104
【図２】
2019534606.tif 000105
【図３】
2019534606.tif 000106
【図４】
2019534606.tif 000107
【図５】
2019534606.tif 000108
【図６】
2019534606.tif 000109
【図７】
2019534606.tif 000110
【図８】
2019534606.tif 000111
【図９】
2019534606.tif 000112
【図１０】
2019534606.tif 000113
【図１１】
2019534606.tif 000114
【図１２】
2019534606.tif 000115
【国際調査報告】
2019534606.tif 000116
2019534606.tif 000117