(57)【要約】      （修正有）【課題】オブジェクトの画像からストリームを生成する方法及び装置を提供する。【解決手段】オブジェクト４３の少なくとも部分を表現するポイント・クラウドのポイントに関連付けられたデータを取得し、オブジェクトの少なくとも部分及び少なくとも１つの画像を取得するために使用される取得装置の姿勢情報に関連付けられた少なくとも幾何学的な特性に従ってパラメトリック表面４４を取得し、パラメトリック表面に関連付けられた高さマップ及び１つ以上のテクスチャ・マップを取得し、少なくともパラメータに関連する第１のシンタックス要素、高さマップに関連する第２のシンタックス要素、少なくとも１つのテクスチャ・マップに関連する第３のシンタックス要素及び取得装置４０〜４２の姿勢に関連する第４のシンタックス要素を組み合わせることによってストリームを生成する。さらに、取得したストリームから、オブジェクトの画像をレンダリングする。【選択図】図４
2018010622.tif 000002
【特許請求の範囲】
【請求項１】
シーンのオブジェクトの少なくとも１つの画像からストリームを生成する方法であって、
前記オブジェクトの少なくとも部分を表すポイント・クラウドのポイントに関連付けられたデータを取得すること（１２０１）と、
前記オブジェクトの前記少なくとも部分と前記少なくとも１つの画像を取得するために使用される取得装置の姿勢情報とに関連付けられた少なくとも幾何学的な特性に従ってパラメトリック表面を表すパラメータを取得すること（１２０２）であって、前記少なくとも幾何学的な特性は、前記オブジェクトの少なくとも部分に関連付けられた前記ポイント・クラウドのポイントに関連付けられた前記データから取得される、前記取得すること（１２０２）と、
前記パラメトリック表面に関連付けられた高さマップを前記データから取得すること（１２０３）であって、前記高さマップは、前記オブジェクトの前記少なくとも部分と前記パラメトリック表面との間の距離を表す情報を含む、前記取得すること（１２０３）と、
前記パラメトリック表面に関連付けられた少なくとも１つの色マップを、前記オブジェクトの前記少なくとも部分に関連付けられた前記ポイント・クラウドのポイントに関連付けられた色情報から取得すること（１２０４）と、
前記パラメータに関連する第１のシンタックス要素、前記高さマップに関連する第２のシンタックス要素、前記少なくとも１つの色マップに関連する第３のシンタックス要素、および前記取得装置の姿勢に関連する第４のシンタックス要素を組み合わせることによって、前記ストリームを生成すること（１２０５）と、
を含む、前記方法。
【請求項２】
前記ポイント・クラウドは、視点の範囲から見られる前記オブジェクトを表す、請求項１に記載の方法。
【請求項３】
前記パラメータは、前記オブジェクトの前記少なくとも部分の変形に従って時間の経過に伴い変化する、請求項１または２に記載の方法。
【請求項４】
シーンのオブジェクトの少なくとも１つの画像からストリームを生成するように構成された装置であって、前記装置は、少なくとも１つのプロセッサに関連付けられたメモリを含み、前記少なくとも１つのプロセッサは、
前記オブジェクトの少なくとも部分を表すポイント・クラウドのポイントに関連付けられたデータを取得することと、
前記オブジェクトの前記少なくとも部分と前記少なくとも１つの画像を取得するために使用される取得装置の姿勢情報とに関連付けられた少なくとも幾何学的な特性に従ってパラメトリック表面を表すパラメータを取得することであって、前記少なくとも幾何学的な特性は、前記オブジェクトの少なくとも部分に関連付けられた前記ポイント・クラウドのポイントに関連付けられた前記データから取得される、前記取得することと、
前記パラメトリック表面に関連付けられた高さマップを前記データから取得することであって、前記高さマップは、前記オブジェクトの前記少なくとも部分と前記パラメトリック表面との間の距離を表す情報を含む、前記取得することと、
前記パラメトリック表面に関連付けられた少なくとも１つの色マップを、前記オブジェクトの前記少なくとも部分に関連付けられた前記ポイント・クラウドのポイントに関連付けられた色情報から取得することと、
前記パラメータに関連する第１のシンタックス要素、前記高さマップに関連する第２のシンタックス要素、前記少なくとも１つの色マップに関連する第３のシンタックス要素、および前記取得装置の姿勢に関連する第４のシンタックス要素を組み合わせることによって、前記ストリームを生成することと、
を行うように構成されている、前記装置。
【請求項５】
前記ポイント・クラウドは、視点の範囲から見られる前記オブジェクトを表す、請求項４に記載の装置。
【請求項６】
前記少なくともパラメータは、前記オブジェクトの前記少なくとも部分の変形に従って時間の経過に伴い変化する、請求項４または５に記載の装置。
【請求項７】
シーンのオブジェクトを表す第１のデータを搬送するストリームであって、前記データは、
前記オブジェクトの前記少なくとも部分と前記少なくとも１つの画像を取得するために使用される取得装置の姿勢情報とに関連付けられた少なくとも幾何学的な特性に従って取得されるパラメトリック表面を表すパラメータに関連する第１のシンタックス要素（１１０２）であって、前記少なくとも幾何学的な特性は、前記オブジェクトの少なくとも部分に関連付けられた前記ポイント・クラウドのポイントに関連付けられた前記データから取得される、前記第１のシンタックス要素と、
前記オブジェクトの前記少なくとも部分を表すポイント・クラウドのポイントに関連付けられた第２のデータから取得された高さマップに関連する第２のシンタックス要素（１１０３）であって、前記高さマップは、前記オブジェクトの前記少なくとも部分と前記パラメトリック表面との間の距離を表す情報を含む、前記第２のシンタックス要素と、
前記オブジェクトの前記少なくとも部分に関連付けられた前記ポイント・クラウドのポイントに関連付けられた色情報から取得された少なくとも１つの色マップに関連する第３のシンタックス要素（１１０４）と、
前記取得装置の姿勢に関連する第４のシンタックス要素（１１０５）と、
を含む、前記ストリーム。
【請求項８】
前記ポイント・クラウドは、視点の範囲から見られる前記オブジェクトを表す、請求項７に記載のストリーム。
【請求項９】
前記第１のシンタックス要素（１１０２）は、前記オブジェクトの前記少なくとも部分の変形に従って変化する前記少なくとも１つのパラメータの変化に従って時間の経過に伴い変化する、請求項７または８に記載のストリーム。
【請求項１０】
オブジェクトを表すデータを搬送するストリームから前記オブジェクトの少なくとも部分の画像をレンダリングする方法であって、
前記ストリームの第１のシンタックス要素からパラメトリック表面を表すパラメータを取得すること（１３０１）と、
前記ストリームの第２のシンタックス要素から高さマップを取得すること（１３０２）であって、前記高さマップは、前記オブジェクトの前記少なくとも部分と前記パラメトリック表面との間の距離を表す情報を含む、前記取得することと、
前記ストリームの第３のシンタックス要素から少なくとも１つの色マップを取得すること（１３０３）と、
前記パラメトリック表面、前記高さマップ、および前記少なくとも１つの色マップから、前記オブジェクトの前記少なくとも部分を表すポイント・クラウドのポイントに関連付けられたデータを取得すること（１３０４）と、
前記データと前記ストリームの第４のシンタックス要素からの取得装置の姿勢を表す情報とに基づいて前記画像をレンダリングすること（１３０５）と、
を含む、前記方法。
【請求項１１】
前記ポイント・クラウドは、視点の範囲から見られる前記オブジェクトを表す、請求項１０に記載の方法。
【請求項１２】
前記レンダリングすることは、前記データのスプラット・レンダリングを行うことを含む、請求項１０または１１に記載の方法。
【請求項１３】
オブジェクトを表すデータを搬送するストリームから前記オブジェクトの少なくとも部分の画像をレンダリングするように構成された装置であって、前記装置は、少なくとも１つのプロセッサに関連付けられたメモリを含み、前記少なくとも１つのプロセッサは、
前記ストリームの第１のシンタックス要素からパラメトリック表面を表すパラメータを取得することと、
前記ストリームの第２のシンタックス要素から高さマップを取得することであって、前記高さマップは、前記オブジェクトの前記少なくとも部分と前記パラメトリック表面との間の距離を表す情報を含む、前記取得することと、
前記ストリームの第３のシンタックス要素から少なくとも１つの色マップを取得することと、
前記パラメトリック表面、前記高さマップ、および前記少なくとも１つの色マップから、前記オブジェクトの前記少なくとも部分を表現するポイント・クラウドのポイントに関連付けられたデータを取得することと、
前記データと前記ストリームの第４のシンタックス要素からの取得装置の姿勢を表す情報とに基づいて前記画像をレンダリングすることと、
を行うように構成されている、前記装置。
【請求項１４】
前記ポイント・クラウドは、視点の範囲から見られる前記オブジェクトを現す、請求項１３に記載の装置。
【請求項１５】
前記少なくとも１つのプロセッサは、前記画像をレンダリングするために前記データのスプラット・レンダリングを行うようにさらに構成されている、請求項１３または１４に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、没入型ビデオ・コンテンツの領域に関する。本開示は、さらに、例えば、モバイル装置またはヘッドマウント・ディスプレイなどのエンドユーザ装置上でレンダリングするための、没入型コンテンツのデータ表現のフォーマット化のコンテキストにおいても理解される。
【背景技術】
【０００２】
この節では、読者に対し、様々な技術的な態様を紹介することを意図している。これらの技術的な態様は、以下に説明する、さらに／または、以下の請求項に記載する本開示の様々な態様に関連する。この説明が本発明の様々な態様をより良好に理解しやすくするための背景情報を読者に対して提供するのに役立つと確信する。したがって、それぞれの記載は、この点に鑑みて読まれるべきものであり、先行技術を自認するものではないことを理解すべきである。
【０００３】
ヘッドマウント・ディスプレイ（ＨＭＤ）やＣＡＶＥなどの表示システムは、ユーザが没入型ビデオ・コンテンツ内をブラウズできるようにする。没入型ビデオ・コンテンツは、コンピュータ生成画像技術を用いて取得することができる。このような没入型ビデオ・コンテンツを用いた場合、ユーザが視聴している視点に従ってコンテンツの演算を行うことができるが、グラフィック品質は非現実的なものとなる。没入型ビデオ・コンテンツは、（例えば、幾つかのカメラによって取得された）ビデオを球体または立方体などの表面に対してマッピングすることによって取得することができる。このような没入型ビデオ・コンテンツは、良好な画像品質を提供するが、特に、前面の、すなわち、カメラから近いシーンのオブジェクトに対し、視差に関連する問題が発生する。
【０００４】
没入型ビデオ・コンテンツの場合では、自由視点ビデオ（ＦＦＶ：ｆｒｅｅ―ｖｉｅｗｐｏｉｎｔ  ｖｉｄｅｏ）は、マルチビュー・ビデオを表現、符号化し、後続して、任意の視点から再レンダリングを行う技術である。没入型コンテンツにおけるユーザ体験を向上させる一方で、レンダラに対して搬送されるデータの量は、極めて重要であり、問題となることがある。
【発明の概要】
【０００５】
明細書において、「一実施形態」、「実施形態」、「例示的な実施形態」、「特定の実施形態」と言及した場合、実施形態が特定の特徴事項、構造、または特性を含むように記載されていることがあるが、全ての実施形態が必ずしも特定の実施形態、特徴事項、構造、または特性を含むものではない。さらにこのような表現は、必ずしも同一の実施形態を指すものではない。さらに、実施形態との関連で特定の特徴事項、構造、または特性について記載されている場合、明示的な記載が存在するか否かに関わらず、他の実施形態との関連でこのような特徴事項、構造、または特性を変更することは、当業者の知識の範囲内に含まれるものと理解すべきである。
【０００６】
本開示は、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する方法に関する。この方法は、
オブジェクトの少なくとも部分を表すポイント・クラウドのポイントに関連付けられたデータを取得することと、
オブジェクトの少なくとも部分と少なくとも１つの画像を取得するために使用される取得装置の姿勢情報とに関連付けられた少なくとも幾何学的な特性に従ってパラメトリック表面を表す少なくともパラメータを取得することであって、少なくとも幾何学的な特性は、オブジェクトの少なくとも部分に関連付けられたポイント・クラウドのポイントに関連付けられた表面から取得される、上記取得することと、
データからパラメトリック表面に関連付けられた高さマップを取得することであって、高さマップは、オブジェクトの少なくとも部分とパラメトリック表面との間の距離を表す情報を含む、上記取得することと、
パラメトリック表面に関連付けられた少なくとも１つのテクスチャ・マップをデータから取得することと、
少なくともパラメータに関連する第１のシンタックス要素、高さマップに関連する第２のシンタックス要素、少なくとも１つのテクスチャ・マップに関連する第３のシンタックス要素、および取得装置の姿勢に関連する第４のシンタックス要素を組み合わせることによって、ストリームを生成することと、を含む。
【０００７】
特定の特徴によれば、少なくともパラメータは、オブジェクトの少なくとも部分の変形に従って時間の経過に伴い変化する。
【０００８】
特定の特徴によれば、データは、テクスチャ情報および深度を表現する情報を含む。
【０００９】
本開示は、さらに、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する上述した方法を実行するように構成された装置に関する。
【００１０】
本開示は、さらに、シーンのオブジェクトを表すデータを搬送するストリームに関する。このデータは、
オブジェクトの少なくとも部分と少なくとも１つの画像を取得するために使用される取得装置の姿勢情報とに関連付けられた少なくとも幾何学的な特性に従って取得されるパラメトリック表面を表現する少なくともパラメータに関連する第１のシンタックス要素であって、少なくとも幾何学的な特性は、オブジェクトの少なくとも部分に関連付けられたポイント・クラウドのポイントに関連付けられた表面から取得される、第１のシンタックス要素と、
オブジェクトの少なくとも部分を表現するポイント・クラウドのポイントに関連付けられた第２のデータから取得された高さマップに関連する第２のシンタックス要素であって、高さマップは、オブジェクトの少なくとも部分とパラメトリック表面との間の距離を表す情報を含む、第２のシンタックス要素と、
第２のデータから取得された少なくとも１つのテクスチャ・マップに関連する第３のシンタックス要素と、
取得装置の姿勢に関連する第４のシンタックス要素と、を含む。
【００１１】
特定の特徴によれば、第１のシンタックス要素は、オブジェクトの少なくとも部分の変形に従って変化する少なくともパラメータの変化に従って時間の経過に伴い変化する。
【００１２】
特定の特徴によれば、第２のデータは、テクスチャ情報および深度を表現する情報を含む。
【００１３】
本開示は、さらに、オブジェクトを表すデータを搬送するストリームからオブジェクトの少なくとも部分の画像をレンダリングする方法に関する。この方法は、
ストリームの第１のシンタックス要素からパラメトリック表面を表す少なくともパラメータを取得することと、
ストリームの第２のシンタックス要素から高さマップを取得することであって、高さマップは、オブジェクトの少なくとも部分とパラメトリック表面との間の距離を表す情報を含む、上記取得することと、
ストリームの第３のシンタックス要素から少なくとも１つのテクスチャ・マップを取得することと、
パラメトリック表面、高さマップ、および少なくとも１つのテクスチャ・マップから、オブジェクトの少なくとも部分を表すポイント・クラウドのポイントに関連付けられたデータを取得することと、
データとストリームの第４のシンタックス要素からの取得装置の姿勢を表す情報とに基づいて画像をレンダリングすることと、を含む。
【００１４】
特定の特徴によれば、データは、テクスチャ情報および深度を表現する情報を含む。
【００１５】
特定の特徴によれば、レンダリングすることは、データのスプラット・レンダリングを行うことを含む。
【００１６】
本開示は、さらに、オブジェクトを表すデータを搬送するストリームからオブジェクトの少なくとも部分の画像をレンダリングする上述した方法を実行するように構成された装置に関する。
【００１７】
本開示は、さらに、プログラムがコンピュータで実行されたときに、オブジェクトを表すデータを搬送するストリームからオブジェクトの少なくとも部分の画像をレンダリングする方法のステップを実行するプログラムのコード命令を含むコンピュータ・プログラム製品に関する。
【００１８】
本開示は、さらに、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する方法のステップを実行するプログラムのコード命令を含むコンピュータ・プログラム製品に関する。
【００１９】
本開示は、さらに、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する上述した方法を少なくともプロセッサに実行させる命令が記憶された（非一時的）プロセッサ可読媒体に関する。
【００２０】
本開示は、さらに、プログラムがコンピュータで実行されたときに、オブジェクトを表すデータを搬送するストリームからオブジェクトの少なくとも部分の画像をレンダリングする方法を少なくともプロセッサに実行させる命令が記憶された（非一時的）プロセッサ可読媒体に関する。
【００２１】
添付図面を参照して以下の説明を読むことにより、本願の開示内容がより良好に理解され、他の特定の特徴事項および利点も明らかになるであろう。
【図面の簡単な説明】
【００２２】
【図１】本願の原理の特定の実施形態による没入型コンテンツを示す図である。
【図２Ａ】本願の原理の特定の実施形態による、図１の没入型コンテンツの少なくとも部分を取得するためのシーンの画像を取得するように構成されたライトフィールド取得装置を示す図である。
【図２Ｂ】本願の原理の特定の実施形態による、図１の没入型コンテンツの少なくとも部分を取得するためのシーンの画像を取得するように構成されたライトフィールド取得装置を示す図である。
【図３】本願の原理の特定の実施形態による、図２Ａおよび図２Ｂの取得装置を用いて取得されたシーンのオブジェクトの一部を表す図である。
【図４】本願の原理の特定の実施形態による、図３のオブジェクトを表現する処理において使用されるパラメトリック表面を示す図である。
【図５Ａ】図４のパラメトリック表面のサンプリングの例示的な実施形態を示す図である。
【図５Ｂ】図４のパラメトリック表面のサンプリングの例示的な実施形態を示す図である。
【図５Ｃ】図４のパラメトリック表面のサンプリングの例示的な実施形態を示す図である。
【図６】本願の原理の特定の実施形態による、図３のオブジェクトの変形に関して図４のパラメトリック表面のマッチングを示す図である。
【図７】本願の原理の第１の特定の実施形態による、図４のパラメトリック表面とのテクスチャ情報の関連付けを示す図である。
【図８】本願の原理の第２の特定の実施形態による、図４のパラメトリック表面とのテクスチャ情報の関連付けを示す図である。
【図９】本願の原理の例による、図１２および／または図１３の方法を実施するように構成された装置のアーキテクチャの例を示す図である。
【図１０】本願の原理の例による、通信ネットワークを介して通信する図９の２つの遠隔装置を示す図である。
【図１１】本願の原理の例による、図３のオブジェクトの記述を搬送する信号のシンタックスを示す図である。
【図１２】本願の原理の例による、図３のオブジェクトを記述するデータのストリームを生成する方法を示す図である。
【図１３】本願の原理の例による、図３のオブジェクトの画像をレンダリングする方法を示す図である。
【発明を実施するための形態】
【００２３】
次に、図面を参照して主題について説明する。各図面を通じて同様の要素を参照するために、同様の参照符号が使用されている。以下の説明において、説明の目的で、主題の完全な理解を提供するために、多数の具体的な詳細について記載する。しかしながら、主題の実施形態をこれらの具体的な詳細に限定されることなく実施することができることが理解できよう。
【００２４】
本説明は、本開示の原理を例示するものである。したがって、本明細書中で明示的に記載または図示していなくとも、本開示の原理を実施する様々な構成を企図可能であることが当業者にとって理解できるであろう。
【００２５】
本願の原理は、シーンのオブジェクトを表現するデータのストリームを生成する方法および／または生成されたデータストリームからこのオブジェクトの１つ以上の画像をレンダリングする方法の特定の実施形態を参照して説明される。オブジェクト（またはオブジェクトの部分）を表現するポイント・クラウド（点群）が、１つ以上の取得装置を用いて取得されたオブジェクト（またはオブジェクトの部分）の１つ以上の画像から決定される。パラメトリック表面がオブジェクト（またはオブジェクトの部分）の表現に対する基礎として算出される。パラメトリック表面は、オブジェクトの幾何学的な特性（例えば、ポイント・クラウドの極点および／またはポイント・クラウドから取得されたオブジェクトの外面の要素に関連付けられた通常の情報および取得装置の（例えば、パラメトリック表面を指向させる）姿勢情報）を使用して算出される。高さマップおよび１つ以上のテクスチャ・マップが決定され、パラメトリック表面に関連付けられる。高さマップの高さ情報、テクスチャ・マップのテクスチャ情報を取得装置の姿勢情報と共に用いてパラメトリック表面（すなわち、パラメータ）を表現する情報を組み合わせる、かつ／または符号化することによってデータストリームが生成される。復号器／符号化器側では、オブジェクト（またはオブジェクトの部分）の画像は、パラメトリック表面を表現する情報、および関連付する高さおよびテクスチャのマップを復号／抽出することによって取得することができる。
【００２６】
パラメトリック表面のサンプルに関連付けられたテクスチャおよび高さ情報を用いてオブジェクトを表現するリファレンスとしてパラメトリック表面を使用することにより、ポイント・クラウドを用いた表現と比較して、オブジェクトを表現するのに必要なデータ量を低減することができる。
【００２７】
図１は、本願の原理の特定の非限定的な実施形態による、４πステラジアン・ビデオ・コンテンツの非限定的な例示的な形態で没入型コンテンツ１０の例を示す図である。図１は、没入型コンテンツ１０の平面表現に対応する。没入型コンテンツ１０は、例えば、１つ以上のカメラを用いて取得される現実のシーンに対応するか、現実のオブジェクトおよび仮想のオブジェクトを含む混合した現実シーンに対応し、仮想のオブジェクトは、例えば、３Ｄエンジンを使用することによって合成される。没入型コンテンツ１０の部分１１は、例えば、没入型コンテンツを視覚化するように構成されたディスプレイ装置に表示された没入型コンテンツの部分に対応し、部分１１のサイズは、例えば、ディスプレイ装置によって提供される視野と等しい。
【００２８】
没入型コンテンツ１０を視覚化するために使用される表示装置は、例えば、ユーザの頭部に装着されるか、ヘルメットの部分としての、ＨＭＤ（ヘッドマウント・ディスプレイ）である。ＨＭＤは、１つ以上のディスプレイ画面（例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）または反射型液晶パネル（ＬＣＯＳ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｏｎ  Ｓｉｌｉｃｏｎ））と、現実世界の１軸、２軸、または３軸（ピッチ、ヨー、および／またはロール軸）に従って、ＨＭＤの姿勢の変更を測定するように構成されたセンサ、例えば、ジャイロスコープまたは慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）とを有利に含む。ＨＭＤの測定された姿勢に対応する没入型コンテンツ１０の部分１１は、現実世界におけるＨＭＤに関連付けられた視点と没入型コンテンツ１０に関連付けられた仮想カメラの視点との間の関係を構築する特定の関数を用いて有利に決定される。ＨＭＤの測定された姿勢に従ってＨＭＤのディスプレイ画面に表示されるべきビデオ・コンテンツの部分１１を制御することによって、ＨＭＤを装着しているユーザが、ＨＭＤのディスプレイ画面に関連付けられた視野よりも大きな没入型コンテンツ内をブラウズすることが可能となる。例えば、ＨＭＤによって提供される視野が（例えば、ヨー軸を中心とする）１１０°であり、没入型コンテンツが１８０°のコンテンツを提供する場合には、ＨＭＤを装着しているユーザは、自己の頭部を右側または左側に回転させ、ＨＭＤによって提供される視野の外側のビデオ・コンテンツの部分を見る。別の例によれば、没入型システムは、ＣＡＶＥ（Ｃａｖｅ  Ａｕｔｏｍａｔｉｃ  Ｖｉｒｔｕａｌ  Ｅｎｖｉｒｏｎｍｅｎｔ）システムであり、没入型コンテンツは、部屋の壁面に投影される。ＣＡＶＥの壁面は、例えば、背面投影画面またはフラット・パネル・ディスプレイによって構成される。ユーザは、したがって、自己の視線を部屋の異なる壁面上に置いてブラウズすることができる。ＣＡＶＥシステムは、ユーザの画像を取得するカメラを有利に備え、これらの画像をビデオ処理することによってユーザの視線方向を決定する。変形例によれば、ユーザの視線または姿勢は、トラッキング・システム、例えば、赤外線トラッキング・システム、ユーザが装着している赤外線センサによって測定される。別の変形例によれば、没入型システムは、触覚ディスプレイ画面を備えたタブレットである。ユーザは、触覚ディスプレイ上で１つ以上の指をスライドさせてコンテンツをスクロールすることによってコンテンツ内をブラウズする。
【００２９】
没入型コンテンツ１０および部分１１は、前景オブジェクトおよび背景オブジェクトを含んでいてもよい。
【００３０】
没入型コンテンツ１０が４πステラジアン・ビデオ・コンテンツに限定されずに、視野１１よりも大きなサイズを有するどのようなビデオ・コンテンツ（またはオーディオ・ビジュアル・コンテンツ）にも拡張されることは勿論である。例えば、没入型コンテンツを、２π、２．５π、３πステラジアン・コンテンツなどとすることができる。
【００３１】
図２Ａおよび図２Ｂは、ライトフィールド取得装置の例を示している。より具体的には、図２Ａおよび２Ｂの各々は、本発明の２つの特定の実施形態によるカメラ・アレイ２Ａ，２Ｂ（マルチカメラ・アレイとも呼ばれる）を示している。
【００３２】
カメラ・アレイ２Ａは、レンズまたは幾つかのマイクロ・レンズ２０１，２０２〜２０ｐ（ｐは、マイクロ・レンズの数に対応する整数値である）からなるマイクロ・レンズのアレイ２０と、１つまたは幾つかのセンサ・アレイ２１と、を含む。カメラ２Ａはメインレンズを含んでいない。レンズ２０のアレイは、一般的には、マイクロ・レンズ・アレイと名付けられた小型の装置とすることができる。単一のセンサを有するカメラ・アレイを、メインレンズが無限遠の焦点距離を有するプレノプティック・カメラの特別な場合とみなすことができる。特定の実施形態によれば、フォトセンサの数は、マイクロ・レンズの数と等しい、すなわち、１つのフォトセンサが１つのマイクロ・レンズと光学的に関連付けられ、カメラ・アレイ２０は、例えば、（図２Ａに例示されているような）正方形の配列または五点形の配列など、密接配置された複数の別個のカメラ（例えば、マイクロ・カメラ）の配列のようにみることができる。
【００３３】
カメラ・アレイ２Ｂは、各々がレンズおよびフォトセンサ・アレイを含む個々のカメラのリグに対応する。カメラは、例えば、２、３センチメートル以下、または、５、７、または１０センチメートルの距離だけ離間している。
【００３４】
このようなカメラ・アレイ２Ａまたは２Ｂを用いて取得された（いわゆるライトフィールド画像を形成する）ライトフィールド・データは、複数のシーンのビュー、すなわち、プレノプティック・カメラを用いて取得された原画像を逆多重化およびデモザイク処理することによって取得することができる最終的な画像に対応する。プレノプティック・カメラは、小型レンズのアレイとフォトセンサ・アレイとの間の距離がマイクロ・レンズの焦点距離と等しいプレノプティック・カメラに対応する、タイプ１．０のプレノプティック・カメラか、そうでない場合は、（フォーカスド・プレノプティック・カメラとも呼ばれる）タイプ２．０のプレノプティック・カメラなどである。カメラ・アレイ２Ｂのカメラは、任意の既知の方法によって較正される。すなわち、カメラの固有パラメータおよび外部パラメータは既知である。
【００３５】
ライトフィールド取得装置を用いて取得される複数の異なるビューにより、没入型コンテンツまたは没入型コンテンツの少なくとも部分を取得可能となる。没入型コンテンツをライトフィールド取得装置とは異なる取得装置を用いて、例えば、深度センサ（例えば、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔなどの赤外線発光器／受光器、またはレーザ発光器）に関連付けられたカメラを用いて取得可能であることは勿論である。
【００３６】
図３は、没入型コンテンツを用いて表現されるシーンのオブジェクト、またはオブジェクトの部分の２つの異なる表現を示している。図３の例によれば、オブジェクトは、例えば、シーン内で移動している人物であり、オブジェクトの部分は、図３に例示されている頭部に対応する。
【００３７】
オブジェクトの部分の第１の表現３０は、ポイント・クラウドである。ポイント・クラウドは、オブジェクトを表現する多数のポイント、例えば、オブジェクトの外部表面または外形に対応する。ポイント・クラウドは、ベクトル・ベースの構造として見ることができ、ここで、各ポイントは、自己の座標（例えば、３次元座標ＸＹＺまたは所与の視点からの深度／距離）と、成分とも呼ばれる１つ以上の属性を有する。成分の例は、異なる色空間、例えば、ＲＧＢ（赤、緑、青）、またはＹＵＶ（Ｙは輝度成分、ＵＶは２つの色度成分）で表現される、色成分である。ポイント・クラウドは、所与の視点、または、視点の範囲からみたオブジェクトの表現である。ポイント・クラウドは、様々な方法、例えば、以下のように取得され得る。
・図２のカメラ・アレイのような、カメラのリグによって撮像される現実のオブジェクトをキャプチャしたものから取得され、必要に応じて深度アクティブ感知装置によって補完される。
・モデリング・ツールにおける仮想カメラのリグによって撮像される仮想／合成オブジェクトをキャプチャしたものから取得される。
・現実のオブジェクトおよび仮想オブジェクトを混合したものから取得される。
【００３８】
１番目の場合（現実のオブジェクトのキャプチャからの場合）、１組のカメラが複数の異なるビュー（複数の異なる視点）に対応する１組の画像または画像のシーケンス（ビデオ）を生成する。各カメラ中心からオブジェクト表面までの距離を意味する深度情報が、例えば、赤外域において構造化光分析また飛行時間に基づくアクティブ深度感知装置によって、または、視差アルゴリズムに基づいて取得される。両方の場合において、全てのカメラに対して固有の較正および外部的な較正を行う必要がある。視差アルゴリズムは、通常は、１次元ラインに沿って行うべき、一対の補正されたカメラ画像に対して類似の仮想的な特徴のサーチを行うことにある。画素列の差が大きくなるほど、この特徴の表面が近くなる。カメラ・アレイの場合には、複数のカメラ対が存在することを利用して、グローバル深度情報を複数のピア視差情報を組み合わせることによって取得することができ、したがって、信号対雑音比（ＳＮ比）が改善する。
【００３９】
２番目の場合（合成オブジェクトの場合）には、モデル化ツールが深度情報を直接提供する。
【００４０】
オブジェクトの部分の第２の表現３１は、ポイント・クラウド表現３０から取得することができ、第２の表現は、表面表現に対応する。ポイント・クラウドは、その表面を算出するために、処理されることがある。その目的のために、ポイント・クラウドの所与のポイントに関し、この所与のポイントの局所表面に対する法線を算出するために、この所与のポイントに隣接するポイントが使用される。この所与のポイントに関連付けられた表面要素は、法線から導出される。この処理は、表面を取得するために全てのポイントに対して繰り返される。ポイント・クラウドから表面を再構築する方法は、例えば、Ｍａｔｔｈｅｗ  Ｂｅｒｇｅｒ  ｅｔ  ａｌ．によって「ポイント・クラウドからの表面再構築の技術水準（Ｓｔａｔｅ  ｏｆ  ｔｈｅ  Ａｒｔ  ｉｎ  Ｓｕｒｆａｃｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｆｒｏｍ  Ｐｏｉｎｔ  Ｃｌｏｕｄｓ）」、技術水準報告書、２０１４年によって記載されている。変形例によれば、所与のポイントに関連付けられた表面要素は、この所与のポイントに対してスプラット・レンダリングを適用することによって取得される。オブジェクトの表面（オブジェクトの陰関数曲面または外部表面とも呼ばれる）は、ポイント・クラウドのポイントに関連付けられた全てのスプラット（例えば、楕円体）を混合することによって取得される。
【００４１】
特定の実施形態においては、ポイント・クラウドは、オブジェクト全体を表現するものではなく、オブジェクトの部分的なビューのみを表現し、これは、例えば、映画のシーンにおいて、レンダリング側でどのようにオブジェクトが見られると想定されるかに対応する。例えば、フラットカメラ・アレイに向いているキャラクタの撮像により、リグのみの側のポイント・クラウドが生成される。キャラクタの背後は存在すらしておらず、オブジェクト自体は、閉じてはおらず、このオブジェクトの幾何学特徴は、したがって、リグの方向を向いている一組の全ての表面（各局所表面の法線と取得装置に戻る光線との間の角度は、例えば、１８０°未満である）である。
【００４２】
図４は、本願の原理の非限定的な実施形態による、オブジェクト４３を表現するために使用される表面４４を示している。表面４４は、パラメトリック表面、すなわち、パラメータによって定義され、パラメトリック方程式によって定義される表面である。
【００４３】
図４において例示されているような、シリンダによって与えられる想定可能なパラメトリック表面の例はシリンダによって与えられる（明瞭性のため、１つの次元のみが例示されているが、表面が２次元または３次元によって定義されることがある）。パラメトリック表面は、表面がパラメトリック方程式を用いて定義される限り、すなわち、限られた数のパラメータを用いて定義される限り、どのような形態でもよく、例えば、正方形、長方形、または、より複雑な形状でもよい。オブジェクト４３（図３のオブジェクトに対応することがある）は、３つの取得装置４０，４１および４２、例えば、３個のＲＧＢカメラを使用して取得される。ビューの異なるポイントが各取得装置４０，４１および４２に関連付けられる。フラット円筒状表面４５上のオブジェクト４３の表面の投影は、パラメトリック表面４４のマッピング／投影を矩形上に行うことに対応する。オブジェクト４３のポイントに関連付けられ、取得装置４０，４１，４２を用いて取得された画像から取得および／または算出された色情報および深度情報は、フラット円筒状表面４５の対応するポイントに関連付けられる。すなわち、色＋高さ情報が行インデックスおよび列インデックスによって定義された各ポイント／画素に関連付けられる。表面４５の部分４５０に関連付けられた色および高さ情報は、取得装置４０のビューから取得され、表面４５の部分４５１に関連付けられた色および高さ情報は、取得装置４１に関連付けられたビューから取得され、表面４５の部分４５２に関連付けられた色および高さ情報は、取得装置４２に関連付けられたビューから取得される。
【００４４】
楕円体４６は、表面４５の部分を例示しており、円形のポイントは、オブジェクト４３のポイント・クラウド表現のポイントをパラメトリック表面４４またはそのフラット表現４５に投影したものに対応する。パラメトリック表面４４のサンプリングは、ポイント・クラウドの結果として得られるサンプリングとは異なることがある。パラメトリック表面のサンプリングは、楕円体４６における十字「＋」を用いて表現される。パラメトリック表面のサンプリングは、限られた数のパラメータを用いて記述される。パラメトリック表面４４のサンプリングは、図５Ａ、図５Ｂ、および図５Ｃの例示的な実施形態に例示されているように、均一であることもあれば、不均一であることもある。
【００４５】
図５Ａの例において、パラメトリック表面のサンプリング５０は、均一である、すなわち、サンプル・ポイントの列は、互いに等距離、すなわち、距離「ａ」で配置されている。このことは、行にも当てはまる。
【００４６】
図５Ｂの例において、パラメトリック表面のサンプリング５１は、不均一である、すなわち、サンプル・ポイントの列は互いに異なる距離で配列される。すなわち、（左側から始まる）最初の２つの列では、距離「ａ」で離間し、次に２つの列の距離は「ａ＋ｂ」となり、次に、「ａ＋２ｂ」となり、次に、「ａ＋３ｂ」などのようになる。図５Ｂの例では、行は、互いに等距離で離間している。
【００４７】
図５Ａおよび図５Ｂの例においては、各サンプルに関連付けられた高さ情報に関連付けられた方向は、パラメトリック表面と直交している。図５Ｃの例においては、サンプリング５３のサンプルに関連付けられた高さ情報に関連付けられた方向は、可変角度θ０＋ｑ＊Δθで、あるサンプルから別のサンプルに変化する。ここで、θ０は、初期角度であり、ｑは、０から最大値Ｎに変化する整数値であり、Δθは、２つの連続したサンプル間の角度変化に対応する。
【００４８】
パラメトリック表面に対するサンプリングの密度は例えば、以下に応じて調節される。
・オブジェクト、すなわち、ポイント・クラウドのサンプリング、および／または、
・期待されるレンダリング品質。
例えば、オブジェクトが遠いほど、カメラのサンプリングの密度が低下し、パラメトリック表面でのサンプリングの密度が低下することがある。
【００４９】
パラメトリック表面のサンプルに関連付けられる値は、以下の通りである。
・幾何学的な情報、すなわち、パラメトリック表面とオブジェクト陰関数曲面との間の距離、
・色情報。最も簡単な形態においては、間色値は、パラメトリック表面の各サンプルに対応するオブジェクト表面エリアに対する複数の異なるビューから算出することができ、例えば、平均的な散乱光（すなわち、パラメトリック表面のサンプルと関連付けられるポイント・クラウドのポイントの色情報の平均）が得られる。
【００５０】
パラメトリック表面のサンプルに関連付けられた高さ情報は、パラメトリック表面と同じ数のサンプルを有する高さマップに記憶することができる。パラメトリック表面のサンプルに関連付けられた色情報は、パラメトリック表面と同じ数のサンプルを有するテクスチャ・マップに記憶することができる。
【００５１】
所与のサンプルに関連付けられる高さ情報は、（図５Ａ、図５Ｂ、および図５Ｃに関して説明されているようなサンプリングに依存して、パラメトリック表面に直交するように、または、パラメトリック表面に直交しないように）所与のサンプルからの光線を照射することによって、取得することができる。高さは、光線とポイント・クラウドから取得されたオブジェクトの表面との間の交差部分に関連付けられたポイント・クラウドの領域に属するポイント・クラウドのポイントからサンプルを分離する距離から求められる。この領域に幾つかのポイントが属する場合には、距離は、領域の複数のポイントからサンプルを分離する距離の平均とすることができる。パラメトリック表面およびポイント・クラウドは、取得装置に関したワールド空間で規定され、パラメトリック表面のサンプルとオブジェクトの外部表面のポイントとの間の距離は、ユークリッド距離として取得される。
【００５２】
同様にして、所与のサンプルに関連付けられるテクスチャ情報は、所与のサンプルからの光線を照射することによって取得することができる。テクスチャ情報は、光線とオブジェクトの表面との間の交差部分に対応する領域に属するポイント・クラウドのポイントのテクスチャ／色情報（例えば、平均）から取得される。別の実施形態においては、パラメトリック表面の分析表現（すなわち、パラメトリック表面のジオメトリ（幾何学的な情報）および法線）が知られている場合には、ポイント・クラウドは、例えば、反復的なニュートン法を利用して、（法線およびサイズの関連情報を使用して）パラメトリック表面に直接スプラットされる。その場合には、テクスチャ情報は、スプラットを混合したものから取得される。
【００５３】
変形例においては、複数のパラメトリック表面が同一のオブジェクトに関連付けられる。オブジェクトは、複数の部分にセグメント化することができ、異なるパラメトリック表面が各部分に関連付けられる。所与の部分に関連付けられたパラメトリック表面は、この部分の特定のジオメトリに従って、さらに、この部分を取得するために使用される取得装置の姿勢情報に従って決定される。本変形例によれば、高さマップおよび１つ以上のテクスチャ・マップが各パラメトリック表面に関連付けられる。例えば、オブジェクトが人物である場合には、第１のパラメトリック表面は、一方の脚に関連付けられ、第２のパラメトリック表面は、他方の足に関連付けられ、第３のパラメトリック表面は、腕に関連付けられ、第４のパラメトリック表面は、他方の腕に関連付けられ、第５のパラメトリック表面は、胴体に関連付けられ、第６のパラメトリック表面は、頭部に関連付けられる。
【００５４】
オプションとして、レンダリングに必要であるが時間のかかる、ＭＬＳ（Ｍｏｖｉｎｇ  Ｌｅａｓｔ  Ｓｑｕａｒｅｓ：移動最小二乗法）からの演算上の副産物を記録するために、追加のテクスチャを追加することができる。この例は、例えば、ＣＧＩ法線マップ、または、大小の軸方向およびサイズなどのスプラット・ジオメトリに相当するモードにおける法線ベクトルのテクスチャである。これらの追加のテクスチャによる制限は、圧縮エンジンに良好に適合するために、良好な空間的および時間的なコヒーレンス特性を示すべきであるという点である。全ての必要な情報が送信されると、ＭＬＳカーネル・パラメータの送信は、もはや有用なものではなくなる。
【００５５】
図７に例示されている特定の実施形態においては、複数のテクスチャ・マップが１つ以上のパラメトリック表面に関連付けられ得る。図７は、オブジェクトの部分７０に対する２つのパラメトリック表面７１，７２の生成を例示しており、部分７０は、例えば、複数の異なる角度に従って、複数の異なる色を発光する。この場合、（例えば、視点方向に従って、２つの色の間で補間を行うことによって、）クライアント側で適切なレンダリングを行うために、色の角発散の情報を記録し、別のテクスチャ情報と共に搬送することができる。変形例によれば、２つのパラメトリック表面７０，７１の代わりに単一のパラメトリック表面が生成され、複数の異なるテクスチャが単一のパラメトリック表面に関連付けられる。
【００５６】
図８に例示された特定の実施形態においては、オブジェクトの同一の部分に対して複数のパラメトリック表面が生成される。例えば、第１のパラメトリック表面が人物の顔８１に対して算出される（そして、関連付けられる）。第２のパラメトリック表面が顔８１の部分、すなわち、眼を含む部分８２に対して算出される（そして、関連付けられる）。第１の高さマップおよび第１のテクスチャマ・マップがこの第１のテクスチャ・マップに関連付けられ、例えば、第１のレベルの詳細８３を有する顔を表現することが可能となる。第２の高さマップおよび第２のテクスチャマ・マップがこの第２のテクスチャ・マップに関連付けられ、例えば、第２のレベルの詳細８４を有する顔の部分８２を表現することが可能となる。この目的を達成するために、第１の定義が第１のパラメトリック表面に関連付けられ、（第１の定義よりも上位の）第２の定義が第２のパラメトリック表面に関連付けられる。顔をレンダリングする際に第２のテクスチャを視認可能とするために、算出された高さ値からオフセット値が差し引かれて第２の高さマップが生成される。高さ値は、第２の高さマップに記憶され、これは、顔の外部表面から第２のパラメトリック表面を分離する現実の算出された高さ値よりも小さい。顔をレンダリングする際、レンダリング用の視点に関しては、第２のテクスチャ情報が第１のテクスチャ情報の前方に置かれる。
【００５７】
図６は、本願の原理の特定の非限定的な実施形態による、オブジェクトの変形に関してパラメトリック表面をマッチングさせる処理を示す図である。図６の左側は、時間ｔで（またはビデオの第１のフレームＡについて）取得されたオブジェクト６００に関連付けられたパラメトリック表面６０４を示しており、図６の右側は、時間ｔ＋１で（または第１のフレームＡに対して時間的に後続する第２のフレームＢについて）取得されたオブジェクト６０１（オブジェクト６００に対応するが、外形が異なる、すなわち、オブジェクト６００の変形されたバージョンに対応するオブジェクト６０１）に関連付けられたパラメトリック表面６０５を示している。例えば、オブジェクト６００，６０１は、図４の取得装置４０，４１，４２に対応する一式のカメラ６０，６１，および６２を用いて取得される。図６の上側の部分は、ユーザおよびカメラの上面図に対応し、図６の下側の部分は、例えば、ユーザおよびカメラの正面図に対応しており、カメラは、下側の部分上では黒色の円板で示されている。
【００５８】
オブジェクトが最良に追従するように、（通常は固定されている）カメラ６０，６１，６２のリグの側で、パラメトリック表面に対応する部分シリンダ６０４，６０５が、オブジェクト６００，６０１に近接して、オブジェクト６００，６０１の各々を部分的に囲繞する。パラメトリック表面６００，６０１の座標は、オブジェクト６００，６０１の各々を囲繞する境界ボックス６０２，６０３を算出することによって取得することができる。境界ボックス６０２，６０３は、ポイント・クラウドの各極（ｘ，ｙ，ｚ）座標によって規定される）。パラメトリック表面６０４，６０５を表現するパラメータ（例えば、円筒形状のパラメータ表面に対する高さ、半径、中心位置）は、境界ボックスを包含することが可能なものとして決定され、パラメトリック表面６０４，６０５は、カメラのビューの方向に開いている。この例は、パラメトリック表面が（移動している）オブジェクトとカメラのリグの位置との双方に依存することを示している。
【００５９】
カメラ６０，６１および６２によって取り込まれたオブジェクト６００，６０１が時間ｔから時間ｔ＋１に移る場合、オブジェクトを表現するために使用されるポイント・クラウドもまた変化する。トポロジー（またはオブジェクトの幾何学的な特性）は、例えば、オブジェクトの動きに従って（またはオブジェクトに適用される変形に従って）、例えば、オブジェクトの幅／または高さの変化に従って変化する。したがって、各ビデオ・フレームに対し、ポイント・クラウドに関連する全ての幾何学的なおよび／またはテクスチャの情報を記録および／または搬送する、関連付けられた高さマップおよびテクスチャ・マップを用いてオブジェクトを表現するために使用されるパラメトリック表面のトポロジーを調節することに関連がある。以下の制約が課されることがある。
・ポイント・クラウドのパラメトリック表面への投影は、例えば、Ｈ２６４／ＭＰＥＧ４またはＨ２６５／ＨＥＶＣまたはその他の規格など、規格に基づいた通常の圧縮エンジンによって効率的に圧縮可能となるように、良好な空間的および時間的な整合性を有してビデオ画像を形成することがあり、これは、表面がサッカードの発生なしに滑らかに変化する（ｅｖｏｌｖｅ）ことが可能となることを意味する。さらに／または、
・パラメトリック表面は、ポイント・クラウドに対し、パラメトリック表面の部分が最大限にポイント・クラウドの投影によってカバーされるように、さらに、ポイント・クラウドへの距離が最小になるように、配置されることがある。このため、例えば、ＰＳＮＲ尺度によって測定される最終的な画像の品質が保持される。より具体的には、パラメトリック表面は、以下のように選択される。
１．（横×高さ）の画像解像度を最大限に利用する。さらに／または、
２．深度の符号化のための有用なビットの数を最適化する。
・各フレームでのパラメトリック表面の漸進的変化（ｅｖｏｌｕｔｉｏｎ）／変化（ｃｈａｎｇｅ）が容易に記録され、メタデータとして搬送され、復号器／符号化器側で復元できるようにする。これは、パラメトリック表面が、限られた数のパラメータで表現される場合があることを意味する。
【００６０】
図１２は、本願の原理の非限定的な実施形態による、例えば、（図９を参照して説明した）装置９において実施されたシーンのオブジェクトを表現するデータを含むストリームを生成する方法を例示している。
【００６１】
ステップ１２００において、装置９の異なるパラメータがアップデートされる。特に、何らかの方法で、オブジェクトの表現に関連付けられたデータが初期化される。
【００６２】
ステップ１２０１において、オブジェクトの部分、またはオブジェクト全体を表現するポイント・クラウドのポイントに関連付けられたデータが取得される。例えば、データは、装置９のローカル・メモリまたは（例えば、インターネットまたはローカル・エリア・ネットワークなどのネットワークを介した）サーバなどのリモート・ストレージ・デバイスなどのメモリ装置から受信される。別の例では、データは、オブジェクトを含むシーンの１つ以上のビューを取得するために使用される１つ以上の取得装置から受信される。データは、例えば、テクスチャ情報（例えば、色情報）および距離情報（例えば、考慮しているポイントと、考慮しているポイントに関連付けられている視点、すなわち、考慮しているポイントを取得するために使用される取得装置の視点との間の距離に対応する高さ又は深度）を含む。
【００６３】
ステップ１２０２において、パラメトリック表面を表現する１つ以上のパラメータが取得される。パラメトリック表面がポイント・クラウドを用いて表現されたオブジェクトの部分（またはオブジェクト全体）に関連付けられる。例示的なパラメトリック表面の一般式は以下の通りである。
ｘ＝ｆ１（ｔ１，ｔ２）
ｙ＝ｆ２（ｔ１，ｔ２）
ｚ＝ｆ３（ｔ１，ｔ２）
ここで、ｘ，ｙ，ｚ座標は、３次元座標であり、ｆ１，ｆ２，ｆ３は、連続関数であり、ｔ１，ｔ２は、パラメータである。パラメトリック表面のパラメータは、ポイント・クラウドに関連付けられた外部表面の幾何学的な特性に従って、さらに、ポイント・クラウドのポイントを取得するために使用される１つ以上の取得装置の姿勢情報から取得される。オブジェクトの考慮されている部分に関連付けられるべきパラメトリック表面を決定するために、ポイント・クラウドの極点が、例えば、ポイントに関連付けられている座標から決定される。極点は、座標が表現される空間の次元の少なくとも１つに対する極小値または極大値を有するポイントに対応する。ポイント・クラウドを包含する境界ボックスが極点から取得される。パラメトリック表面は、中心として境界ボックスの背面の中心を有するシリンダとして取得することができ、境界ボックスの前面エッジを貫通し、取得装置が基準とされる。パラメトリック表面の向きは、したがって、取得装置の姿勢情報を使用することによって特定される。
【００６４】
変形例によれば、オブジェクトの部分の外部表面に関連付けられた法線ベクトルは、ポイント・クラウドから算出される。パラメトリック表面が外部表面の変化に近密に追従するように、パラメータ表面を決定するために法線ベクトルの向きの変化を使用することができる。
【００６５】
ステップ１２０３において、ステップ１２０２で取得されたパラメトリック表面に関連付けられた高さマップが取得、すなわち、決定または算出される。パラメトリック表面の各サンプルに対し、（例えば、考慮されているサンプルのパラメトリック表面に対して直交する）光線を発射することによって高さ値が算出される。考慮されているサンプルに関連付けられるべき高さ値は、考慮されているサンプルと、（光線と外部表面との間の交差部に対応する）オブジェクト・ポイントの部分の外部表面の要素との間の距離に対応する。外部表面の要素に関連付けられた座標は、例えば、外部表面のこの表面要素を生成するために使用されるポイント・クラウドのポイントから取得される。高さマップを取得するために、パラメトリック表面の各サンプルに対し、高さ値を算出することができ、高さマップは、例えば、マップの各サンプルに対する高さ値を記憶する、例えば、２次元マップ（または画像）に対応する。マップのサンプルの数は、パラメトリック表面のサンプリングのサンプルの数に対応する。
【００６６】
ステップ１２０４において、ステップ１２０２で取得されたパラメトリック表面に関連付けられたテクスチャ・マップが取得、すなわち、決定または算出される。テクスチャ・マップは、例えば、マップの各サンプルに対するテクスチャ情報（例えば、色情報）を記憶する２次元マップ（または画像）に対応する。テクスチャ・マップのサンプルの数は、パラメトリック表面のサンプリングのサンプルの数に対応する。パラメトリック表面の考慮されているサンプルに関連付けられたテクスチャ情報は、例えば、考慮されているサンプルのパラメトリック表面に対して直交する光線を発射することによって決定される。テクスチャ・マップに記憶するテクスチャ情報は、光線が横断したオブジェクトの部分の外部表面の表面要素に関連付けられたテクスチャ情報に対応する。表面要素に関連付けられたテクスチャ情報は、この表面要素を取得するために使用されるポイント・クラウドのポイントのテクスチャ情報から取得される。変形例においては、パラメトリック表面に対し、幾つかのテクスチャ・マップを取得することができる。
【００６７】
ステップ１２０５において、オブジェクトの部分を表現するデータを含むデータストリーム１１００が、ステップ１２０２で取得されたパラメータ、ステップ１２０３で取得された高さ情報、およびステップ１２０４で取得されたテクスチャ情報を組み合わせることによって取得される。このようなストリーム１１００の構造の例について図１１を参照して説明する。高さマップおよび１つ以上のテクスチャ・マップに関連付けられたパラメトリック表面の形態でオブジェクトの部分を表現することには、ポイント・クラウドを用いた表現と比較して、オブジェクトの部分を表現するために必要なデータの量が低減するという利点がある。ポイント・クラウドを取得するために使用される取得装置の姿勢を表現するさらなる情報をストリームに追加することができる。このさらなる情報には、ストリームに含まれるオブジェクトの部分の表現の基礎となるポイント・クラウドを取得するために使用される視点の範囲に対応しない視野に従ってデータストリームからのオブジェクトの部分をレンダリングしようとするときに、オブジェクトの部分を取得するための視点の範囲の制限の中にレンダリング装置上のオブジェクトの部分のレンダリングを制約し、これにより、レンダリング・アーティファクトの発生が回避されるという利点がある。
【００６８】
オプションのステップにおいて、オブジェクトの部分をレンダリングまたは表示する目的で、データストリームが符号化器に送信され、復号器またはレンダラによって受信される。
【００６９】
変形例においては、例えば、オブジェクトの部分の形状または外部表面が時間の経過に伴い変化するとき、ストリームのデータが、時間の経過に伴い、例えば、フレームからフレームへと変化する。外部表面が変化するときには、パラメータが高さマップおよびテクスチャ・マップを用いてパラメトリック表面を更新してオブジェクトの部分の形状の変化を表現する。
【００７０】
別の変形例においては、例えば、種々のサンプリング解像度に従って、幾つかのパラメトリック表面を使用してオブジェクトの同一の部分を表現することができる。
【００７１】
単一のパラメトリック表面をオブジェクト全体を表現するために使用してもよいし、複数の異なるパラメトリック表面をオブジェクト全体を表現するために使用してもよい。例えば、１つの別個のパラメトリック表面がオブジェクトの各別個の部分を表現するために決定される。このような変形例においては、データストリームは、複数の異なるパラメトリック表面および関連する高さマップおよびテクスチャ・マップを組み合わせることによって取得される。
【００７２】
別の変形例によれば、オブジェクトの背景を表現するフラット・ビデオ（すなわち、２Ｄビデオ）が、例えば、ｍｐ４またはｍｋｖなどのメディア・コンテナ（ｍｅｄｉａ  ｃｏｎｔａｉｎｅｒ）においてストリームに追加される。
【００７３】
図１３は、図１２の方法を用いて取得されたストリームからのオブジェクトの少なくとも部分を表現する画像をレンダリングする方法を例示している。レンダリング方法は、本願の原理の非限定的な実施形態により、例えば、（図９を参照して説明した）装置９において実施される。
【００７４】
ステップ１３００において、装置９の複数の異なるパラメータが更新される。特に、オブジェクトの少なくとも部分の表現に関連付けられたデータが何らかの方法で初期化される。
【００７５】
ステップ１３０１において、パラメトリック表面を表現する１つ以上のパラメータがデータストリーム１１００から取得される。このようなストリームの構造の例は、図１１に記載されている。１つ以上のパラメータは、例えば、ステップ１２０２で取得されたパラメータに対応する。
【００７６】
ステップ１３０２において、ステップ１３０１で取得されたパラメトリック表面に関連付けられた高さマップがストリーム１１００から取得される。高さマップは、例えば、ステップ１２０３で取得された高さマップに対応する。
【００７７】
ステップ１３０３において、ステップ１３０１で取得されたパラメトリック表面に関連付けられた１つ以上のテクスチャ・マップがストリーム１１００から取得される。テクスチャ・マップは、例えば、ステップ１２０４で取得されたテクスチャ・マップに対応する。
【００７８】
ステップ１３０４において、ポイント・クラウドのポイントに関連付けられたデータが、ステップ１３０１で取得されたパラメトリック表面、ステップ１３０２で取得された高さマップ、およびステップ１３０３で取得されたテクスチャ・マップから取得される。ポイントは、パラメトリック表面のサンプルを逆投影することによって取得され、ポイントの座標は、サンプルの座標およびサンプルに関連付けられた高さ情報から導出され、ポイントのテクスチャ情報は、サンプルに関連付けられたテクスチャ情報から取得される。
【００７９】
ステップ１３０５において、パラメトリック表面、高さマップ、およびテクスチャ・マップを用いて表現されるオブジェクトの部分の画像が、ストリーム１１００に含まれる姿勢情報によって制約される視点からレンダリングされる。例えば、取得されたポイント・クラウドのポイントに対してスプラット・レンダリング技術を適用することによって、オブジェクトの部分の外部表面を取得することができる。変形例においては、フレーム（すなわち、画像）のシーケンスに対し、ストリームがオブジェクトまたはオブジェクトの部分を表現する情報を含む場合には、画像のシーケンスがレンダリングされる。
【００８０】
図９は、図１２および／または図１３に関連して説明される方法を実施するように構成された装置９の例示的なアーキテクチャを示している。
【００８１】
装置９は、データおよびアドレス・バス９１によって互いにリンクされた要素として、
・例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）である、プロセッサ９２（またはＣＰＵ）と、
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９３と、
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９４と、
・ストレージ・インタフェース９５と、
・送信するデータをアプリケーションから受信するＩ／Ｏインタフェース９６と、
・電源、例えば、バッテリと、
を含む。
【００８２】
一例によれば、電源は、装置の外部に存在する。上述したメモリの各々において、明細書中で「レジスタ」という用語が使用されている場合には、これは、小さな容量の領域（幾らかのビット）に対応することもあれば、非常に大きな容量の領域（例えば、プログラム全体または大容量の受信または復号されたデータ）に対応することもある。ＲＯＭ９３は、少なくともプログラムおよびパラメータを含む。ＲＯＭ９３は、本願の原理に従った技術を実行するアルゴリズムおよび命令を記憶することができる。電源が投入されると、ＣＰＵ９２は、ＲＡＭ内のプログラムをアップロードし、対応する命令を実行する。
【００８３】
ＲＡＭ９４は、レジスタ内で、ＣＰＵ９２によって実行され、装置９の電源が投入された後にアップロードされたプログラム、レジスタ内の入力データ、レジスタ内の本方法の様々な状態での中間データ、さらに、レジスタ内の本方法の実行のために使用される様々な変数を含む。
【００８４】
本明細書中に記載されている実施態様は、例えば、方法またはプロセス、装置、コンピュータ・プログラム・プロダクト、データストリーム、または信号の形態で実施することができる。実施態様が単一の形態の文脈でのみ説明されている場合であっても（例えば、１つの方法または１つの装置としてのみ説明されている場合であっても）、説明した特徴事項を他の形態（例えば、プログラム）で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施することができる。本方法は、例えば、一般的には、例えば、コンピュータ、マイクロプロセッサ、集積回路、または、プログラマブル・ロジック・デバイスを含む、処理装置と呼ばれる、例えば、プロセッサなどの、装置で実施することができる。プロセッサは、さらに、例えば、コンピュータ、携帯電話、ポータブル／パーソナル・ディジタル・アシスタント（「ＰＤＡ」）、および、エンドユーザ間の情報の通信を容易にする他の装置などの、通信装置を含む。
【００８５】
符号化または符号化器の特定の実施形態に従って、第１、第２、第３、および／または第４のシンタックス要素がソースから取得される。例えば、ソースは、
・例えば、ビデオ・メモリまたはＲＡＭ（またはＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュ・メモリ、ＲＯＭ（またはＲｅａｄ Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ハードディスクである、ローカル・メモリ（９３または９４）と、
・例えば、大容量記憶装置、ＲＡＭ、フラッシュ・メモリ、ＲＯＭ、光学ディスクまたは磁気サポートとのインタフェースである、ストレージ・インタフェース（９５）と、
例えば、有線インタフェース（例えば、バス・インタフェース、広域ネットワーク・インタフェース、ローカルエリア・ネットワーク・インタフェース）または無線インタフェース（例えば、ＩＥＥＥ８０２．１１インタフェースまたはＢｌｕｒｔｏｏｔｈ（商標）インタフェース）である、通信インタフェース（９６）と、
ユーザがデータを入力することを可能にするグラフィカル・ユーザ・インタフェース（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などのユーザ・インタフェースと、
を含む組に属する。
【００８６】
復号または復号器の例に従って、第１、第２、および／または第３の情報が送信先に送信される。具体的には、送信先は、
・例えば、ビデオ・メモリまたはＲＡＭ（またはＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュ・メモリ、ハードディスクである、ローカル・メモリ（９３または９４）と、
・例えば、大容量記憶装置、ＲＡＭ、フラッシュ・メモリ、ＲＯＭ、光学ディスクまたは磁気サポートとのインタフェースである、ストレージ・インタフェース（９５）と、
・例えば、有線インタフェース（例えば、バス・インタフェース（例えば、ＵＳＢ（またはＵｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ））、広域ネットワーク・インタフェース、ローカルエリア・ネットワーク・インタフェース、ＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）インタフェースまたは無線インタフェース（例えば、ＩＥＥＥ８０２．１１インタフェース、ＷｉＦｉ（商標）またはＢｌｕｒｔｏｏｔｈ（商標）インタフェース）である、通信インタフェース（９６）と、
を含む組に属する。
【００８７】
符号化または符号化器の例に従って、オブジェクトを表現するデータを含むビットストリームが送信先に送信される。一例として、ビットストリームは、ローカル・メモリまたはリモート・メモリ、例えば、ビデオ・メモリ（９４）またはＲＡＭ（９４）、ハードディスク（９３）に記憶される。変形例においては、ビットストリームは、ストレージ・インタフェース（９５）、例えば、大容量記憶装置、フラッシュ・メモリ、ＲＯＭ、光学ディスクまたは磁気サポートとのインタフェースに送信され、かつ／または、通信インタフェース（９６）、例えば、ポイント・トゥ・ポイント・リンク、通信バス、ポイント・トゥ・マルチポイント・リンク、またはブロードキャスト・ネットワークを介して送信される。
【００８８】
復号または復号器またはレンダラの例に従って、ビットストリームがソースから取得される。例示的には、ビットストリームは、ビデオ・メモリ（９４）、ＲＡＭ（９４）、ＲＯＭ（９３）、フラッシュ・メモリ（９３）、またはハードディスク（９３）から読み出される。変形例においては、ビットストリームは、ストレージ・インタフェース（９５）、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュ・メモリ、光学ディスクまたは磁気サポートとのインタフェースから受信され、かつ／または、通信インタフェース（９５）、例えば、ポイント・トゥ・ポイント・リンク、通信バス、ポイント・トゥ・マルチポイント・リンク、またはブロードキャスト・ネットワークから受信される。
【００８９】
複数の例によれば、装置９は、図１２との関連で説明された方法を実施するように構成され、
・モバイル・デバイスと、
・通信デバイスと、
・ゲーム・デバイスと、
・タブレット（すなわちブレット・コンピュータ）と、
・ラップトップと、
・静止画像カメラと、
・ビデオ・カメラと、
・符号化チップと、
・サーバ（例えば、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ、または、ウェブ・サーバ）と、
を含む組に属する。
【００９０】
複数の例によれば、装置９は、図１３との関連で説明されたレンダリング方法を実施するように構成され、
・モバイル・デバイスと、
・通信デバイスと、
・ゲーム・デバイスと、
・セットトップ・ボックスと、
・ＴＶセットと、
・タブレット（すなわちタブレット・コンピュータ）と、
・ラップトップと、
・（例えば、ＨＭＤなどの）ディスプレイと、
を含む組に属する。
【００９１】
図１０に例示された例によれば、通信ネットワークＮＥＴ１０００を介して（装置９のタイプの）２つのリモート装置１００１および１００２の間で通信が行われる状況で、装置１００１は、図１２との関連で説明されたストリームを生成する方法を実施するように構成された手段を含み、装置１００２は、図１３との関連で説明された画像をレンダリングする方法を実施するように構成された手段を含む。
【００９２】
一例によれば、ネットワーク１０００は、ＬＡＮまたはＷＡＮネットワークであり、静止画像または動画像を関連付けられたオーディオ情報とともに装置１００１から装置１００２を含む復号／レンダリング装置にブロードキャストするように構成されている。
【００９３】
図１１は、データがパケットベースの送信プロトコルを介して送信される際の、信号などのシンタックスの実施形態の例を示している。図１１は、没入型ビデオ・ストリームの例示的な構造１１００を示している。この構造は、独立したシンタックス要素においてストリームを整理するコンテナで構成される。構造には、ストリームの各シンタックス要素に対して共通な一組のデータである、ヘッダ部分１１０１を含めることができる。例えば、ヘッダ部分は、シンタックス要素についてのメタデータを含み、このメタデータは、シンタックス要素の各々の性質および役割を記述する。構造は、シンタックス要素１１０２，１１０３，１１０４および１１０５を含むペイロードを含むことができ、第１のシンタックス要素１１０２は、パラメトリック表面を規定するパラメータに関連し、第２のシンタックス要素は、パラメトリック表面に関連付けられた高さマップに関連し、第３のシンタックス要素は、パラメトリック表面に関連付けられた１つ以上のテクスチャ・マップに関連し、第４のシンタックス要素は、取得装置の姿勢情報に関連している。
【００９４】
本開示は、上述した実施形態に限定されるものではないことは勿論である。
【００９５】
特に、本開示は、ストリームを生成する方法および装置に限定されるものではなく、シーンのオブジェクトを表現するデータを含むパケットを符号化／復号する方法、さらに、この方法を実施するどのような装置、特に、少なくとも１つのＣＰＵおよび／または少なくとも１つのＧＰＵを含むどのような装置にも拡張される。
【００９６】
本開示は、さらに、シーンのオブジェクトを表現する情報を含むデータストリームからレンダリングされた画像を表示する方法（および、これらの処理を行うように構成された装置）に関し、さらに、フラット・ビデオを用いてオブジェクトをレンダリングおよび表示する方法（および、これらの処理を行うように構成された装置）にも関する。
【００９７】
本開示は、さらに、ストリームを送信および／または受信する方法（および、これらの処理を行うように構成された装置）にも関する。
【００９８】
本明細書において記載された実施態様は、例えば、方法またはプロセス、装置、コンピュータ・プログラム製品、データストリーム、または信号の形態で実施することができる。単一の実施態様の形態で説明されている（例えば、方法または装置として説明されている）場合であっても、記載されている特徴事項の実施態様を他の形態（例えば、プログラム）で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施することができる。本方法は、例えば、装置で実施することができ、この装置は、例えば、一般的には、処理装置と呼ばれる、プロセッサである。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、または、プログラマブル・ロジック・デバイスを含む、プロセッサは、さらに、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナル・ディジタル・アシスタント（「ＰＤＡ」）、および、エンドユーザ間の情報の通信を容易にする他の装置などの、通信装置を含む。
【００９９】
本明細書中で記載された様々な処理の実施態様は、様々な異なる機器やアプリケーション、特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、さらに、画像および関連するテクスチャ情報および／または深度情報を他の処理に関連付けられた機器やアプリケーションで実施することができる。このような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、ＰＤＡ、および他の通信装置を含む。機器は、携帯機器でもよく、移動車両に据え付けられるものでさえよいことは明らかであろう。
【０１００】
さらに、方法は、プロセッサによって実行される命令によって実施されていてもよく、このような命令（および／または実施態様によって生成されるデータ値）は、例えば、集積回路などのプロセッサにより読み取り可能媒体、ソフトウェア・キャリア、または、例えば、ハードディスク、コンピュータ・ディスク（「ＣＤ」）、光学ディスク（例えば、ディジタル多用途ディスクまたはディジタル・ビデオ・ディスクと呼ばれることが多いＤＶＤ）、ランダム・アクセス・メモリ（「ＲＡＭ」）、または読み出し専用メモリ（「ＲＯＭ」）など、他のストレージ装置に記憶することができる。命令は、プロセッサ読み取り可能媒体上に現実的に実装されるアプリケーション・プログラムの形態をとることができる。例えば、命令は、ハードウェア、ファームウェア、ソフトウェア、またはこれらを組み合わせたものとすることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはこの２つを組み合わせたものに存在させることができる。よって、プロセッサを、例えば、処理を実行するように構成された装置と、処理を実行する命令を有する（記憶装置などの）プロセッサ可読媒体を含む装置の両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に追加して、または、命令の代わりに、実施態様により生成されるデータ値を記憶することができる。
【０１０１】
実施態様により、例えば、記憶、送信可能な情報を保持するようにフォーマットされた様々な信号を生成できることは当業者にとって自明であろう。情報は、例えば、方法を実行する命令、または、上記の実施態様のうちの１つによって生成されたデータを含むことができる。例えば、信号は、記載した実施形態のシンタックスの読み書きのためのルールをデータとして保持するように、または、記載した実施形態によって記述された実際のシンタックス値をデータとして保持するようにフォーマットすることができる。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用した）電磁波として、または、ベースバンド信号としてフォーマットすることができる。フォーマット化には、例えば、データストリームを符号化することおよび符号化されたデータストリームを用いてキャリアを変調することを含めることができる。信号が保持する情報は、例えば、アナログ情報またはディジタル情報である。信号は、公知である様々な有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
【０１０２】
幾つかの実施態様について説明を行った。しかしながら、様々な改変を施すことができることが理解できよう。例えば、複数の異なる実施態様を組み合わせたり、補ったり、変更したり、除去したりすることで他の実施態様を生み出すことができる。さらに、当業者であれば、開示した内容を他の構造や処理で置き換えることができ、結果として得られる実施態様が、少なくとも実質的に同一の方法で、少なくとも実質的に同一の機能を実行し、少なくとも開示した実施態様と実質的に同一の効果を生み出すことが理解できよう。したがって、本出願によってこれらの実施態様およびその他の実施態様が企図される。
【図１】
2018010622.tif 000003
【図２Ａ】
2018010622.tif 000004
【図２Ｂ】
2018010622.tif 000005
【図３】
2018010622.tif 000006
【図４】
2018010622.tif 000007
【図５Ａ】
2018010622.tif 000008
【図５Ｂ】
2018010622.tif 000009
【図５Ｃ】
2018010622.tif 000010
【図６】
2018010622.tif 000011
【図７】
2018010622.tif 000012
【図８】
2018010622.tif 000013
【図９】
2018010622.tif 000014
【図１０】
2018010622.tif 000015
【図１１】
2018010622.tif 000016
【図１２】
2018010622.tif 000017
【図１３】
2018010622.tif 000018
【外国語明細書】
2018010622000001.pdf