(57)【要約】  奥行き画像から３Ｄシーンの点を生成するための方法およびデバイス。その目的を達成するために、現在のピクセルに関連付けられた奥行き情報が、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較される。現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、奥行き画像の現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの少なくとも１つの追加点が生成され、追加点の数は奥行き差に依存する。【選択図】図６Ａ
2020536325.tif 000002
【特許請求の範囲】
【請求項１】
奥行き画像から３Ｄシーンの点を生成する方法であって、
−前記奥行き画像の現在のピクセルについて、前記現在のピクセルに関連付けられた奥行き情報を、前記奥行き画像内の前記現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
−前記現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、前記奥行き画像の前記現在のピクセルに関連付けられた現在の点に加えて、前記３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は前記差に依存する、生成することと、を含む方法。
【請求項２】
前記現在のピクセルとの奥行き差が前記第１の値と前記第２の値との間に含まれる前記隣接ピクセルのなかから、前記現在のピクセルとの最大奥行き差を有する前記隣接ピクセルを選択することをさらに含み、生成される追加点の数は前記最大奥行き差に依存する、請求項１に記載の方法。
【請求項３】
体積単位が前記３Ｄシーンの点に関連付けられ、前記奥行き差は体積単位の数に対応し、生成される点の数は、前記奥行き差から１を差し引いたものに対応する、請求項１〜２の１項に記載の方法。
【請求項４】
少なくとも１つの追加点に関連付けられる属性を決定することをさらに含み、前記属性は、前記現在の点および前記隣接ピクセルに関連付けられた属性から決定される、請求項１〜３の１項に記載の方法。
【請求項５】
前記少なくとも１つの追加点に関連付けられる前記属性は、奥行き情報および／またはテクスチャ情報を含む、請求項４に記載の方法。
【請求項６】
受信されたビットストリームから前記奥行き画像を復号することをさらに含む、請求項１〜５の１項に記載の方法。
【請求項７】
３Ｄシーンの前記点は、ポイントクラウドの一部である、請求項１〜６の１項に記載の方法。
【請求項８】
奥行き画像から３Ｄシーンの点を生成するように構成されたデバイスであって、
−前記奥行き画像の現在のピクセルについて、前記現在のピクセルに関連付けられた奥行き情報を、前記奥行き画像内の前記現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
−前記現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、前記奥行き画像の前記現在のピクセルに関連付けられた現在の点に加えて、前記３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は前記差に依存する、生成することと、を行うように構成された少なくとも１つのプロセッサに関連付けられたメモリを備える、デバイス。
【請求項９】
前記少なくとも１つのプロセッサはさらに、前記現在のピクセルとの奥行き差が前記第１の値と前記第２の値との間に含まれる前記隣接ピクセルのなかから、前記現在のピクセルとの前記最大奥行き差を有する前記隣接ピクセルを選択するように構成され、生成される追加点の数は前記最大奥行き差に依存する、請求項８に記載のデバイス。
【請求項１０】
体積単位が前記３Ｄシーンの点に関連付けられ、前記奥行き差は体積単位の数に対応し、生成される点の数は、前記奥行き差から１を差し引いたものに対応する、請求項８〜９の１項に記載のデバイス。
【請求項１１】
前記少なくとも１つのプロセッサはさらに、前記少なくとも１つの追加点に関連付けられる属性を決定するように構成され、前記属性は、前記現在の点および前記隣接ピクセルに関連付けられた属性から決定される、請求項８〜１０の１項に記載のデバイス。
【請求項１２】
前記少なくとも１つの追加点に関連付けられる前記属性は、奥行き情報および／またはテクスチャ情報を含む、請求項１１に記載のデバイス。
【請求項１３】
前記少なくとも１つのプロセッサはさらに、受信されたビットストリームから前記奥行き画像を復号するように構成されている、請求項８〜１２の１項に記載のデバイス。
【請求項１４】
前記３Ｄシーンの前記点は、ポイントクラウドの一部である、請求項８〜１３の１項に記載のデバイス。
【請求項１５】
請求項１〜７の１項に記載の方法をプロセッサに実行させるための命令を記憶した非一時的プロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
１．技術分野
本文書は、３Ｄシーンを処理するドメインに関する。具体的には、但し限定されないが、本原理の技術分野は、３Ｄシーンまたはその一部のジオメトリおよび／またはテクスチャ、例えば３Ｄオブジェクトのジオメトリおよび／またはテクスチャを表すポイントクラウドの点の処理に関する。本原理の技術分野は、テクスチャおよび奥行き投影スキームを使用する３Ｄ画像データの符号化／復号にも関連し得る。
【背景技術】
【０００２】
２．背景技術
本節は、以下で説明および／または特許請求される本文書のさまざまな態様に関連し得るさまざまな技術態様を読者に紹介することを意図している。本考察は、本発明のさまざまな態様のよりよい理解を容易にするための背景情報を読者に提供するのに役立つと考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではない。
【０００３】
３Ｄオブジェクトをポイントクラウドまたはメッシュで表すことはよく知られている。
【０００４】
メッシュは、頂点と、頂点どうしを接続するエッジとで各々が表されるメッシュ要素（例えば、三角形）で構成される。メッシュは、通常、３Ｄオブジェクトの外側表面を表すことを意図されている。
【０００５】
ポイントクラウドは、通常、３Ｄオブジェクトの外側表面であるが、メッシュのような他のデータ形式では効率的に表し得ない毛髪や毛皮のような、より複雑なジオメトリを表すことを意図された点の集合である。ポイントクラウドの各点は、３Ｄ空間位置（３Ｄ空間内のＸ、Ｙ、Ｚ座標）によって定義されることが多く、例えばＲＧＢまたはＹＵＶ色空間で表される色、透明度、反射率、２成分法線ベクトルなどの他の関連付けられた属性によって定義される場合もある。カラーポイントクラウド、すなわち６成分点の集合（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）または同等の（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）も考えられ、ここで、（Ｘ、Ｙ、Ｚ）は３Ｄ空間内の点の空間位置を定義し、（Ｒ、Ｇ、Ｂ）または（Ｙ、Ｕ、Ｖ）はこの点の色またはテクスチャを定義する。
【０００６】
ポイントクラウドは、テクスチャおよび奥行きの投影で表され得、画像ベースのポイントクラウド表現に対応する。
【０００７】
奥行き圧縮後、３Ｄシーンのいくつかの点が誤って再構築され、または単純に欠落すると、視点によっては視認可能となり得る３Ｄシーン内の穴をもたらす可能性がある。
【発明の概要】
【０００８】
３．発明の概要
本明細書において「１つの実施形態」、「一実施形態」、「一例示的実施形態」、「特定の実施形態」という場合、記載された実施形態が特定の特徴、構造、または特性を含み得ることを示すが、すべての実施形態がその特定の特徴、構造、または特性を必ずしも含まなくてもよい。さらに、そのような語句は、必ずしも同じ実施形態を指すわけではない。さらに、特定の特徴、構造、または特性が一実施形態に関連して説明される場合、明示的に説明されていてもいなくても、他の実施形態に関連してそのような特徴、構造、または特性をとるかは、当業者の知識の範囲内であると考えられる。
【０００９】
本文書は、奥行き画像から３Ｄシーンの点を生成する方法に関し、方法は、
−奥行き画像の現在のピクセルについて、現在のピクセルに関連付けられた奥行き情報を、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
−現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、奥行き画像の現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は差に依存する、生成することと、を含む。
【００１０】
本文書は、奥行き画像から３Ｄシーンの点を生成するように適合されたデバイス／装置にも関し、デバイス／装置は、
−奥行き画像の現在のピクセルについて、現在のピクセルに関連付けられた奥行き情報を、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較することと、
−現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、奥行き画像の現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの少なくとも１つの追加点を生成することであって、追加点の数は差に依存する、生成することと、を行うように構成された少なくとも１つのプロセッサに関連付けられたメモリを備える。
【００１１】
本文書は、奥行き画像から３Ｄシーンの点を生成するように適合されたデバイス／装置にも関し、デバイス／装置は、
−奥行き画像の現在のピクセルについて、現在のピクセルに関連付けられた奥行き情報を、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較するための手段と、
−現在のピクセルと隣接ピクセルとの奥行き差が第１の値よりも大きくかつ第２の値よりも小さい場合、奥行き画像の現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの少なくとも１つの追加点を生成するための手段であって、追加点の数は差に依存する、手段と、を含む。
【００１２】
一特性によれば、現在のピクセルとの奥行き差が第１の値と第２の値との間に含まれる隣接ピクセルのなかから、現在のピクセルとの最大奥行き差を有する隣接ピクセルが選択され、生成される追加点の数は最大奥行き差に依存する。
【００１３】
特定の特性によれば、体積単位が３Ｄシーンの点に関連付けられており、奥行き差は体積単位の数に対応し、生成される点の数は奥行き差から１を引いたものに対応する。
【００１４】
別の特性によれば、少なくとも１つの追加点に関連付けられる属性が決定され、属性は、現在の点および隣接ピクセルに関連付けられた属性から決定される。
【００１５】
さらなる特性によれば、少なくとも１つの追加点に関連付けられる属性は、奥行き情報および／またはテクスチャ情報を含む。
【００１６】
さらなる特性によれば、奥行き画像は、受信されたビットストリームから復号される。
【００１７】
別の特性によれば、３Ｄシーンの点は、ポイントクラウドの一部である。
【００１８】
本文書は、少なくとも１つのプロセッサによって、プログラムがコンピュータ上で実行されると、奥行き画像から３Ｄシーンの点を生成する上述の方法を実行するためのプログラムコードの命令を含む、コンピュータプログラム製品にも関する。
【００１９】
本文書は、少なくとも、奥行き画像から３Ｄシーンの点を生成する上述の方法をプロセッサに実行させるための命令を記憶した（非一時的）プロセッサ可読媒体にも関する。
【図面の簡単な説明】
【００２０】
４．図一覧
添付の図面を参照してなされる以下の説明を読めば、本文書はよりよく理解され、他の特定の特徴および利点が明らかになるであろう。
【００２１】
【図１】本原理の実施例に従う、３Ｄシーンの３Ｄオブジェクトの例を示す。
【図２Ａ】本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトに関連付けられた属性画像の例を示す。
【図２Ｂ】本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトに関連付けられた属性画像の例を示す。
【図３】本原理の非限定的な実施形態に従う、図２Ａおよび図２Ｂの属性画像を取得するための第１の実施例を示す。
【図４】本原理の非限定的な実施形態に従う、図２Ａおよび図２Ｂの属性画像を取得するための第２の実施例を示す。
【図５Ａ】本原理の非限定的な実施形態に従う、決定された視点に従う図１の３Ｄオブジェクトの点を示す。
【図５Ｂ】本原理の非限定的な実施形態に従う、決定された視点に従う図１の３Ｄオブジェクトの点を示す。
【図６Ａ】本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトのいくつかの点の３Ｄ表現および関連付けられた奥行き画像を示す。
【図６Ｂ】本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトのいくつかの点の３Ｄ表現および関連付けられた奥行き画像を示す。
【図７Ａ】本原理の非限定的な実施形態に従う、図６Ａの３Ｄ表現に含まれる穴の２Ｄ表現を示す。
【図７Ｂ】本原理の非限定的な実施形態に従う、図６Ａの３Ｄ表現に含まれる穴の２Ｄ表現を示す。
【図８】本原理の非限定的な実施形態に従う、図１の３Ｄシーンの１つ以上の点を生成するための方法を示す。
【図９】本原理の非限定的な実施形態に従う、図８、図１２および／または図１３の方法を実施するための装置のアーキテクチャの例を示す。
【図１０】本原理の実施例に従う、図１の３Ｄオブジェクトを表すポイントクラウドの符号化／復号スキームの例を示す。
【図１１】本原理の非限定的な実施形態に従う、図１０のスキームによって取得されるビットストリームを転送する信号の構文の例を示す。
【図１２】本原理の非限定的な実施形態に従う、図１の３Ｄオブジェクトを表すポイントクラウドの符号化において実施されるプロセスの例を示す。
【図１３】本原理の非限定的な実施形態に従う、ビットストリームを復号して、図１の３Ｄオブジェクトを表す復号されたポイントクラウドを取得するためのプロセスの例を示す。
【発明を実施するための形態】
【００２２】
５．実施形態の詳細な説明
ここで、図面を参照して主題を説明するが、図面全体を通して、同様の参照番号が、同様の要素を指すために使用される。以下の記述では、説明の目的で、主題が完全に理解されるように、多くの特定の詳細を示す。しかしながら、主題の実施形態は、これらの特定の詳細なしで実施することができることは明らかであり得る。
【００２３】
非限定的な実施形態によれば、３次元（３Ｄ）シーンの点を生成するための方法およびデバイスが開示される。
【００２４】
以下では、画像は、画像（またはビデオ）のピクセル値に関するすべての情報と、例えば画像（またはビデオ）を視覚化および／または復号するためのディスプレイおよび／または任意の他のデバイスによって使用され得るすべての情報とを特定する特定の画像／ビデオ形式の、１つまたはいくつかのサンプル（ピクセル値）配列を含む。画像は、第１のサンプル配列の形状の少なくとも１つの成分、通常はルーマ（または輝度）成分と、場合によっては、少なくとも１つの他のサンプル配列の形状の少なくとも１つの他の成分、通常は色成分とを含む。あるいは、同等に、同じ情報は、従来の３色ＲＧＢ表現などの１組の色サンプル配列によっても表され得る。
【００２５】
以下では、ピクチャは、画像、すなわちサンプル配列として、または画像の集まりとして見ることができる。
【００２６】
ピクセル値は、ｎｖ個の値のベクトルで表され、ここで、ｎｖは成分の数である。ベクトルの各値は、ピクセル値の最大ダイナミックレンジを規定するビット数で表される。
【００２７】
本原理を、既存の点に加えて、３Ｄシーンの１つ以上の点、例えば３Ｄシーンの３Ｄオブジェクトの１つ以上の点を生成するための方法（およびそのように構成された装置）の特定の実施形態を参照して説明する。属性が、３Ｄシーンの既存の点に関連付けられ得、属性は、テクスチャ情報（テクスチャ属性）および／または奥行き情報（奥行き属性）に対応する。奥行き（または距離）属性は奥行き画像に記憶される、すなわち奥行き画像のピクセルに関連付けられ、テクスチャ（または色）属性はテクスチャ画像に記憶される、すなわちテクスチャ画像のピクセルに関連付けられる。奥行き画像の現在のピクセルに関連付けられた奥行き情報は、現在のピクセルに隣接する奥行き画像のピクセルに関連付けられた奥行き情報と比較される。現在のピクセルとその隣接ピクセルとは、現在のピクセルを取り囲む８つの隣接ピクセルと一緒に、９つのピクセルのブロックを形成する。この９つのピクセルのブロックは、３Ｄシーンの９つの点の集合に関連付けられ、８つの隣接ピクセルに関連付けられた８つの点は、現在のピクセルに関連付けられた現在の点の近傍を形成する。現在のピクセルに対する奥行き差が第１の値よりも小さくかつ第２の値よりも大きい隣接ピクセルのうちの少なくとも１つについて、奥行きマップの現在のピクセルに関連付けられた現在の点に加えて、３Ｄシーンの１つ以上の追加点が生成される。生成される追加点の数は、奥行き差に依存し、奥行き差が大きいほど、生成される追加点の数も多くなる。
【００２８】
奥行き画像（それぞれテクスチャ画像）内の３Ｄシーンのある点の近傍は、奥行き画像（それぞれテクスチャ画像）のピクセルの近傍に位置する奥行き画像（それぞれテクスチャ画像）のピクセルに対応し、後者のピクセルは、３Ｄオブジェクトの点に対応する。あるピクセルの近傍は、例えば、ピクセルに隣接するすべてのピクセルを包含し得るが、そのような例に限定されない。例えば、近傍は、ピクセルに隣接するピクセルおよびピクセルに隣接する各ピクセルに隣接するすべてのピクセル、またはさらにそれより多くを包含してもよい。
【００２９】
３Ｄシーンの追加点を生成することで、視点を変更したときに視認可能となり得る３Ｄシーンの穴を埋めることができる。また、３Ｄシーンのいくつかの領域で点の密度を高めることもできる。（３Ｄオブジェクトの３Ｄ空間の代わりに）奥行き画像を使用すると、埋めるべき穴を迅速に特定することができる。
【００３０】
３Ｄシーンの単一の奥行き画像を参照して説明されたとしても、本原理は、複数の奥行き画像に同じように適用される。
【００３１】
図１は、非限定的な実施形態に従う、３Ｄオブジェクトまたはその一部の２つの異なる表現を示す。３Ｄオブジェクトは、例えば、１つ以上の３Ｄオブジェクトを含む３Ｄシーンに属し得る。図１の例によれば、オブジェクトは、例えばシーン内を動く人であり、頭部に対応するオブジェクトの一部が図１に示されている。図１はまた、オブジェクト１０の３次元（３Ｄ）モデルと、３Ｄモデル１０に対応するポイントクラウド１１の点とを示し得る。モデル１０は３Ｄメッシュ表現であり得、ポイントクラウド１１の点はメッシュの頂点であり得る。点１１はまた、メッシュの面の表面上に分散する点でもあり得る。モデル１０は、ポイントクラウド１１のスプラッティングバージョンとしても表され得、モデル１０の表面は、ポイントクラウド１１の点をスプラッティングすることによって作成される。モデル１０は、ボクセルやスプラインなど、多数のさまざまな表現で表すことができる。図１は、３Ｄオブジェクトの表面表現からポイントクラウドを定義することが常に可能であり、逆に、ポイントクラウドから３Ｄオブジェクトの表面表現を作成することが常に可能であることを示す。本明細書で使用される場合、（３Ｄシーンの拡張点により）３Ｄオブジェクトの点を画像に投影することは、この３Ｄオブジェクトの任意の表現をオブジェクトに投影することと同等である。
【００３２】
オブジェクトの一部の第１の表現１０は、ポイントクラウドである。ポイントクラウドは、オブジェクト、例えばオブジェクトの外側表面または外側形状を表す点の大きな集まりに対応する。ポイントクラウドは、ベクトルベースの構造と見なし得、各点は、その座標（例えば、３次元座標ＸＹＺ、または所与の視点からの奥行き／距離）と、成分とも呼ばれる１つ以上の属性とを有する。成分の例は、異なる色空間、例えばＲＧＢ（赤、緑、青）またはＹＵＶ（Ｙはルーマ成分であり、ＵＶは２つのクロミナンス成分である）で表現され得る色成分である。ポイントクラウドは、所与の視点または視点の範囲から見たオブジェクトの表現である。ポイントクラウドは、例えば、
・任意選択で深度能動感知デバイスで補完されたカメラ装置で撮影される、実際のオブジェクトの撮影から、
・モデル化ツールで仮想カメラ装置によって撮影される、仮想／合成オブジェクトの撮影から、
・実際のオブジェクトと仮想オブジェクトとの両方から、のさまざまな方法で取得され得る。
【００３３】
第１のケースでは（実際のオブジェクトの撮影から）、カメラセットが、さまざまなビュー（異なる視点）に対応する一組の画像または一連の画像（ビデオ）を生成する。各カメラの中心からオブジェクトの表面までの距離を意味する奥行き情報は、能動深度検知デバイスによって、例えば、赤外線範囲で構造化された光分析もしくは飛行時間に基づいて、または視差アルゴリズムに基づいて取得される。どちらの場合も、すべてのカメラを、本質的および非本質的に、較正する必要がある。視差アルゴリズムは、典型的には１次元の線に沿うように補正された１対のカメラ画像において類似の視覚的特徴を検索することからなり、ピクセル列の差が大きいほど、この特徴の表面はより近い。カメラアレイの場合、複数のカメラ対の利点を利用して、グローバルな奥行き情報が複数のピア視差情報の組み合わせから取得され得、したがって、信号対ノイズ比が改善される。
【００３４】
第２のケース（合成オブジェクト）では、モデル化ツールが奥行き情報を直接提供する。
【００３５】
ポイントクラウド１０は、時間とともに進化する動的ポイントクラウドであり得、すなわち、点の数が時間とともに変わり得、かつ／または１つ以上の点の位置（例えば、座標Ｘ、ＹおよびＺのうちの少なくとも１つ）が時間とともに変わり得る。ポイントクラウドの進化は、ポイントクラウドによって表されるオブジェクトの動き、および／またはオブジェクトもしくはオブジェクトの一部の形状の変化に対応し得る。
【００３６】
ポイントクラウド１０は、１つのピクチャにおいてまたは１つ以上の時間的連続ピクチャ群において表され得、各ピクチャは、決定時間「ｔ」におけるポイントクラウドの表現を含む。１つ以上の時間的連続ピクチャ群は、ポイントクラウド１０の少なくとも一部を表すビデオを形成し得る。
【００３７】
オブジェクトの一部の第２の表現１１が、ポイントクラウド表現１０から取得され得、第２の表現は表面表現に対応する。ポイントクラウドは、その表面を計算するために処理され得る。そのために、ポイントクラウドの所与の点について、この所与の点の局所表面に対する法線を計算するために、この所与の点の近傍点が使用され、この所与の点に関連付けられた表面要素が、法線から導出される。表面を取得するためのすべての点について、プロセスが繰り返される。ポイントクラウドから表面を再構成する方法は、例えば、Ｍａｔｔｈｅｗ  Ｂｅｒｇｅｒらによって“Ｓｔａｔｅ  ｏｆ  ｔｈｅ  Ａｒｔ  ｉｎ  Ｓｕｒｆａｃｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｆｒｏｍ  Ｐｏｉｎｔ  Ｃｌｏｕｄｓ”，Ｓｔａｔｅ  ｏｆ  ｔｈｅ  Ａｒｔ  Ｒｅｐｏｒｔ，２０１４に記載されている。変形例によれば、ポイントクラウドの所与の点に関連付けられた表面要素は、この所与の点にスプラットレンダリングを適用することによって取得される。オブジェクトの表面（オブジェクトの黙示的表面または外側表面とも呼ばれる）は、ポイントクラウドの点に関連付けられたすべてのスプラット（例えば、楕円体）をブレンドすることによって得られる。
【００３８】
特定の実施形態では、ポイントクラウドは、オブジェクト全体ではなく、オブジェクトの部分的なビューのみを表し、これは、例えば映画のシーンにおいて、オブジェクトがレンダリング側でどのように見られることになっているかに対応する。例えば、平坦なカメラアレイに面している登場人物を撮影すると、装置側のポイントクラウドのみが生成される。登場人物の背中は存在もせず、オブジェクト自体は閉じておらず、したがって、このオブジェクトの幾何学的特性は、装置の方向に向いたすべての表面の集合である（各局所表面の法線と、獲得デバイスに戻る光線との角度は例えば９０°未満である）。
【００３９】
図２Ａおよび図２Ｂは、各々、本原理の特定の非限定的な実施形態に従う、ポイントクラウド１０のピクチャを示す。
【００４０】
図２Ａは、ポイントクラウドのピクチャ２０、例えばポイントクラウドのＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ、ピクチャ群）の１つピクチャの第１の例を示す。ピクチャ２０は、ｎ個の画像２０１、２０２、２０３、２０ｎの集合で構成され、ｎは２以上の整数である。画像２０１〜２０ｎの各々は、ピクセル配列に対応し、そのサイズおよび／または定義は、画像ごとに変わり得る。例えば、画像２０１および２０ｎの定義は同じであるが、画像２０２、２０３の定義は、互いに、および画像２０１および２０ｎの定義とは異なる。図２Ａの例では、画像２０１〜２０ｎは、画像間で重なり合うことなく、ピクチャ２０全体をカバーするように空間的に配置されている。変形例によれば、画像２０１〜２０ｎは、ピクチャ全体をカバーせず、画像２０１〜２０２の間に、または少なくともそれらのいくつかの間に空間が存在する、すなわち２つの隣接する画像の縁が接触していない場合がある。データ、例えばテクスチャ情報および／または奥行き情報が、画像２０１〜２０ｎの各ピクセルに関連付けられ得る。テクスチャ情報は、例えば、色空間（例えば、ＲＧＢ色空間またはＹＵＶ色空間）の各チャンネルに関連付けられたグレーレベルの形態で記憶され得、各チャンネルのグレーレベルは、例えば、最初に決定されたビット数、例えば８、１０、１２ビットで表される。奥行き情報は、例えば、値の形態で、例えば第２の決定されたビット数、例えば、８、１０、または１２ビットを有するαチャンネルに記憶され得る。したがって、４つの成分ＲＧＢαまたはＹＵＶα（例えば、４つの１０ビットチャンネル）が、例えば、決定時間「ｔ」におけるポイントクラウドを表すためのピクチャ２０内の各ピクセルに関連付けられ得る。変形例によれば、第１のピクチャ２０はテクスチャ情報（例えば、３成分ＲＧＢまたはＹＵＶ）を記憶するために使用され、同じ配置の画像を有する第２のピクチャは奥行き情報を記憶するために使用され、両方のピクチャが、時間「ｔ」におけるポイントクラウドを表す。ピクチャ２０を形成する画像の集合は、例えば、図３に示すように、投影法、例えば第１の画像ごとに異なる投影法に従って、ポイントクラウドの点を投影することによって取得され得る。
【００４１】
図３は、本原理の非限定的な実施例に従う、ポイントクラウド１０の少なくとも一部の境界を定めるキューブ３１を示す。
【００４２】
キューブ３１は、例えば、第１の細分レベルにおいて８つのサブキューブに細分される（明確化のために、８つのサブキューブのうちの１つのサブキューブ３２のみが示されている）。サブキューブ３２はまた、第２の細分レベルにおいて８つのサブキューブに細分される（明確化のために、８つのサブキューブのうちの１つのサブキューブ３３のみが示されている）。各細分レベルで、ポイントクラウドの点の一部が、キューブの１つ以上の面（例えば、灰色の塗りつぶしのある面）に（例えば、正射影に従って）投影され得る。例えば、ポイントクラウドの点は、キューブ３１の面３０１上、キューブ３２の面３０２上、およびキューブ３３の面３０３上に投影される。面は、例えば、離散化されて、キューブの細分レベルに依存する定義／サイズを有するピクセル配列を形成する。例えば、あるキューブの１面の１ピクセルについて、ピクセルに投影されているポイントクラウドの点は、ピクセルから発する、ピクセルを含む面に垂直な光線を追跡したときにピクセルに最も近いポイントクラウドの点に対応する。ピクセルに関連付けられた属性は、ピクセルに投影された点の属性（テクスチャおよび／または奥行き）に対応する。
【００４３】
面３０１は、例えば、画像２０１を形成するために使用され、面３０２は、画像３０２を形成するために使用され、面３０３は、画像３０３を形成するために使用される。
【００４４】
図２Ｂは、ポイントクラウドのピクチャ２１、例えばポイントクラウドのＧＯＰの１つのピクチャの第２の例を示す。ピクチャ２１は、ｍ個の画像２１１、２１２、２１３、２１４、２１ｍの集合から構成され、ｍは２以上の整数である。画像２１１〜２１ｍの配置は、ピクチャ２０の配置とは異なり得、例えば、画像２１１〜２１ｍの間に空き空間がある。画像２１１〜２１ｍは、さまざまなサイズおよび／または定義を有し得る。各ピクチャは、ポイントクラウドの点から属性を受け取り得、属性は、各画像２１１〜２１ｍのピクセルの少なくともいくつかに関連付けられている。例えば、ポイントクラウドから属性を受け取る各画像の部分は灰色領域として示され、ポイントクラウドから属性を受け取らない画像の部分は白色領域として示されており、白色領域は、画像間の空き空間のように、デフォルト値が充填されている。図２Ａのピクチャ２０についてと同様に、画像２１１〜２１ｎのピクセルに関連付けられたデータは、テクスチャ情報および／または奥行き情報に対応し得る。変形例では、第１のピクチャ２１はテクスチャ情報（例えば、３成分ＲＧＢまたはＹＵＶ）を記憶するために使用され、同じ配置の画像２１１から２１ｍを有する第２のピクチャ２１は奥行き情報を記憶するために使用され、両方のピクチャは、時間「ｔ」におけるポイントクラウドを表す。
【００４５】
ピクチャ２１を形成する画像の集合は、例えば、１つ以上の第１の画像と、潜在的に１つ以上の第２の画像とを含み得る。第１の画像（少なくとも各第１の画像の灰色領域）は、例えば、図４に示すように、ポイントクラウドの点を第１の投影法、例えば第１の画像ごとに異なる第１の投影法に従って投影することにより取得され得る。
【００４６】
図４は、本原理の非限定的な実施例に従う、ピクチャ２１を形成する画像の集合の第１の画像の取得を示す。３Ｄオブジェクト４を表すポイントクラウドは、複数の３Ｄ部分、例えば５０個、１００個、１０００個またはそれ以上の３Ｄ部分に分割され、そのうちの３つ、すなわち３Ｄ部分４２、４３、４４が図４に示されており、３Ｄ部分４４は（例えば、図１のポイントクラウド１０に対応する）人の頭部の一部を表すポイントクラウドの点を含み、３Ｄ部分４２は人の脇の下を表すポイントクラウドの点を含み、３Ｄ部分４３は人の手を表すポイントクラウドの点を含む。各３Ｄ部分または３Ｄ部分の一部の１つ以上の画像が生成されて、各３Ｄ部分が、２次元で、すなわち２Ｄパラメータ化に従って表される。例えば、２Ｄパラメータ化４０１が３Ｄ部分４４に対して得られ、２Ｄパラメータ化４０２が３Ｄ部分４２に対して得られ、２つの異なる２Ｄパラメータ化４０３および４０４が３Ｄ部分４３に対して取得される。２Ｄパラメータ化は、３Ｄ部分ごとに変わり得る。例えば、３Ｄ部分４１に関連付けられた２Ｄパラメータ化４０１は線形透視投影であり、３Ｄ部分４２に関連付けられた２Ｄパラメータ化４０２はＬＬＥであり、３Ｄ部分４３に関連付けられた２Ｄパラメータ化４０３および４０４は両方とも、異なる視点に従う正投影である。変形例によれば、すべての３Ｄ部分に関連付けられたすべての２Ｄパラメータ化は、同じタイプのもの、例えば、線形透視投影または正投影である。変形例によれば、同じ３Ｄ部分に対して異なる２Ｄパラメータ化が使用され得る。
【００４７】
ポイントクラウドの１つの所与の３Ｄ部分に関連付けられた２Ｄパラメータ化は、ポイントクラウドの所与の３Ｄ部分を２次元でブラウジングすることに対応し、所与の３Ｄ部分、すなわち（第１の画像のピクセルに対応し得る）複数のサンプルを含むこの所与の３Ｄ部分のコンテンツ（すなわち、点）の２Ｄ表現をサンプリングすることを可能にし、サンプルの数は適用されるサンプリングステップに依存する。２Ｄパラメータ化は、さまざまな方法、例えば以下の方法のいずれか１つを実施することによって、取得し得る：
−視点に関連付けられた平面へのポイントクラウドの３Ｄ部分の点の線形透視投影、線形透視投影を表すパラメータは、仮想カメラの位置、空間サンプリングステップ、および２次元の視野を含む；
−ポイントクラウドの３Ｄ部分の点の一表面への正投影、正投影を表すパラメータは、投影表面のジオメトリ（形状、サイズ、および配向）および空間サンプリングステップを含む；
−ここでは３Ｄから２Ｄへの変換／転換に適用される、数学的次元縮小演算に対応するＬＬＥ（Ｌｏｃａｌｌｙ−Ｌｉｎｅａｒ  Ｅｍｂｅｄｄｉｎｇ）、ＬＬＥを表すパラメータは、変換係数を含む。
【００４８】
各画像は、有利には、ピクチャ２１に対する圧縮プロセスを容易にするために長方形を有する。
【００４９】
図５Ａおよび図５Ｂは、本原理の非限定的な実施例に従う、図１の３Ｄシーンの一部の２Ｄ表現を示す。
【００５０】
図５Ａは、３Ｄオブジェクト１０の一部、例えば３Ｄオブジェクト１０の一断面の２Ｄ表現５Ａの例を提供する。断面５Ａの点は、３Ｄ表現１０におけるキューブまたはボクセルに対応する正方形で表されている。例えば、正方形（またはキューブ）５１０は、点５１で表されている。キューブまたはボクセルは、３Ｄシーン（または３Ｄシーンがポイントクラウドで表されているときにはポイントクラウド）の点に関連付けられ、３Ｄシーンの空間を埋める。図５Ａに表されている正方形のいくつかは空であり得る、すなわちそれらに関連付けられている３Ｄシーンの点は存在しない、すなわちそれらに関連付けられているテクスチャも奥行きも存在しない。３Ｄオブジェクト１０の表面は直線５０で表され、点５０１〜５０６は視点５２から見た点に対応する。点５０１〜５０６に関連付けられた正方形は灰色の陰影で示されている。これらの点５０１〜５０６を、関連付けられた奥行き画像に視点５２に従って投影すると、点５０１〜５０６に関連付けられた１つのピクセル列が得られ、１つの単一ピクセルは１つの単一点に関連付けられている。
【００５１】
当然ながら、正方形とは異なる体積要素、例えば球を、３Ｄシーンの点に関連付けてもよい。説明の残りの部分では、「体積単位」という表現を、点に関連付けられた体積要素を表すために使用し、体積単位は、例えばボクセルサイズ１×１×１、例えば１ｍｍ×１ｍｍ×１ｍｍ（体積１ｍｍ３）、または１ｃｍ×１ｃｍ×１ｃｍ（体積１ｃｍ３）、または任意の他の寸法に対応する。
【００５２】
図５Ｂは、図５Ａに示されているものと同じ３Ｄオブジェクト１０の部分の２Ｄ表現５Ｂを示しており、２Ｄ表現５Ｂは、２Ｄ表現５Ａから取得された奥行き画像からの点５０１〜５０６を視点５２に従って投影することによって取得される。点（および関連付けられた体積単位）５０１〜５０６は灰色の陰影で示されている。点（および関連付けられた体積単位）５１１〜５１８は、斜めストライプパターンで示され、視点５３から見たときの３Ｄオブジェクト１０の穴に対応する。これらの穴は、視点５３とは異なる視点５２に従って点を投影したときに得られた奥行き画像を使用して３Ｄオブジェクトを再構築した結果であり得、そのような穴は、再構築体３Ｄを視点５３から見たときに視認可能なアーチファクトとなる。テクスチャ情報および奥行き情報は、穴に対応する点５１１〜５１８には関連付けられていない。
【００５３】
図６Ａは、本原理の非限定的な実施例に従う、図１の３Ｄオブジェクトの点の部分集合６Ａを３次元で示し、図６Ｂは、部分集合６Ａに関連付けられた奥行き画像の部分６Ｂを示す。
【００５４】
図６Ａは、３Ｄオブジェクトの点の部分集合６Ａを示し、図６Ａではキューブまたはボクセルで示されている、関連付けられた体積単位６０１、６０２、６０３、６０４、６０５、６０６、６０７、６０８、および６０９を示す。キューブ６０１〜６０９は、Ｘ、ＹおよびＺの３次元に延在し、軸Ｚは奥行きを表し、Ｘは横軸を表し、Ｙは縦軸を表す。矢印６１、６２および６３は、部分集合６Ａが見られ得る異なる視点を表す。視点６１は、部分集合６ＡをＺ軸に従って見ることを可能にし、視点６２は、部分集合６ＡをＹ軸に従って見ることを可能し、視点６３は、部分集合６ＡをＸ軸に従って見ることを可能にする。キューブ６０２〜６０９（または同等に点６０２〜６０９）は、キューブ６０１（または同等に点６０１）の近傍を形成していると見てもよい。
【００５５】
図６Ｂは、部分集合６Ａに関連付けられた奥行き画像の部分６Ｂを示す。奥行き画像の部分６Ｂは、キューブ（点）６０１〜６０９を視点６１および関連付けられた軸Ｚに従って投影することによって取得され得る。図６Ｂで分かるように、部分６Ｂは、（部分集合６Ａの関連付けられたキューブ／点６０１に対応する／それを指す）ピクセル６１１を取り囲む（部分集合６Ａの関連付けられたキューブ／点６０２〜６０９にそれぞれ対応する／それらを指す）８つの隣接ピクセル６１２〜６１９からなる、９つのピクセルのブロックを形成する。キューブ／点６０２〜６０９は、関連付けられた奥行き画像の対応するピクセル６１２〜６１９がキューブ／点６０１に対応するピクセル６１１を取り囲む奥行き画像の隣接ピクセルに対応するので、キューブ／点６０１の近傍に対応する。
【００５６】
視点６１から見た場合、部分集合６Ａに穴は現れない（視点６１に従うビューは奥行き画像の部分６Ｂに対応する）。ただし、他の視点から見ると、穴が現れる場合がある。例えば、視点６２から見た場合、キューブ／点６０１と６０２との間に穴が現れ、そのような穴が占める空間は、ストライプで示されたキューブ６００１の空間に対応する。そのような穴６００１を図７Ａに示す。図７Ａは、視点６２からの部分集合６Ａのビューの一部、具体的には、キューブ６０１および６０２ならびにそれらの間の空き空間、すなわち部分集合６Ａのキューブ／点によって占有されていない空間を含む部分を示す。視点６３から見ると、キューブ／点６０１と６０４との間に穴が現れ、そのような穴が占める空間は、ストライプで示された２つのキューブ、すなわちキューブ６００１および６００２の空間に対応する。そのような穴６００１、６００２を図７Ｂに示し、図７Ｂは、視点６３からの部分集合６Ａのビューの一部、具体的には、キューブ６０１および６０４ならびにそれらの間の空き空間、すなわち部分集合６Ａのキューブ／点によって占有されていない空間を含む部分を示す。
【００５７】
３Ｄシーンに関連付けられた奥行き画像を使用して、３Ｄシーン内の領域内のどこに穴が位置し得るかを決定し得る。例えば、３Ｄオブジェクト１０の点の部分６Ａに関連付けられた（およびそれから取得された）奥行き画像の部分６Ｂを、以下に説明するように処理および分析して、穴の位置を取得する。より具体的には、ピクセル６１１〜６１９に関連付けられた奥行き情報を使用して、穴６００１、６００２の位置を取得する。図６Ｂのブロック６Ｃは、ピクセル６１１〜６１９に関連付けられた奥行き情報を示す。そのようなプロセスは、例えば、現在のピクセル、すなわち図６Ａおよび図６Ｂの例における（現在の点６０１に関連付けられた）現在のピクセル６１１に適用される。図６Ｂの例では、基準奥行きが現在のピクセル６１１に関連付けられており、例えば、基準奥行きは０に等しい。現在のピクセル６１１に隣接するピクセル６１２〜６１９に関連付けられた奥行きは、体積単位（図６Ａ、図６Ｂの例ではキューブ／ボクセルに対応する体積単位）で表される。現在のピクセルに対して、隣接ピクセル６１２に関連付けられた奥行きは＋２体積単位に等しく、隣接ピクセル６１３に関連付けられた奥行きは＋１体積単位に等しく、隣接ピクセル６１４に関連付けられた奥行きは＋３体積単位に等しく、隣接ピクセル６１５に関連付けられた奥行きは０体積単位に等しく、隣接ピクセル６１６に関連付けられた奥行きは、−１体積単位に等しく、隣接ピクセル６１７に関連付けられた奥行きは０体積単位に等しく、隣接ピクセル６１８に関連付けられた奥行きは０体積単位に等しく、隣接ピクセル６１９に関連付けられた奥行きは＋１体積単位に等しい。当然ながら、ピクセルに関連付けられた奥行きは、他のメトリックで表し得、例えば、奥行き画像に関連付けられた視点から点（すなわち関連付けられたキューブ）を隔てる体積単位の数、すなわち視点と３Ｄシーンの点との距離で表すことができる（例えば、現在のピクセル６１１に関連付けられた奥行きは１２５４の体積単位に等しく、隣接ピクセル６１２〜６１９に関連付けられた奥行きはそれぞれ１２５６、１２５５、１２５７、１２５４、１２５３、１２５４、１２５４および１２５５となる）。別の実施例によれば、奥行きは、センチメートルまたはメートルまたは任意の他のメトリックで表され得、センチメートルまたはメートルで表された、奥行き画像に関連付けられた視点からの距離に対応する。
【００５８】
各隣接ピクセル６１２〜６１９に関連付けられた奥行き情報は、現在のピクセル６１１に関連付けられた奥行き情報と比較される。例えば、奥行き差は、各隣接ピクセル６１２〜６１９と現在のピクセル６１１との間で計算される。差が第１の決定値（例えば、奥行きが体積単位の数で表される場合は２体積単位）以上である場合、それは考慮されている隣接ピクセルおよび現在のピクセルに関連付けられているキューブが、３Ｄシーンの空間内で隣接していないことを意味し、それらが３Ｄシーン内で互いに接触していないことを意味し、それらの間に穴が存在することを意味する。例えば、ピクセル６１２と６１１との奥行き差は＋２に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０１と６０２との間に穴が存在することを意味する（キューブ６００１で示されている空所に対応する穴）。ピクセル６１４と６１１との奥行き差は＋３に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０１と６０４との間に穴が存在することを意味する（キューブ６００１および６００２で示されている空所に対応する穴）。別の例によれば、ピクセル６１７と６１１との奥行き差は＋０に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０７と６０１との間に穴は存在しないことを意味する（キューブ６０７および６０１は、どちらもＸ軸とＹ軸とで定義される平面に属しており、面を共有しているので、互いに接触している）。別の例によれば、ピクセル６１９と６１１との奥行き差は＋１に等しく、これは、図６Ａに明確に現れているように、３Ｄシーン内の対応するキューブ６０９と６０１との間に穴は存在しないことを意味する（キューブ６０９と６０１とは、隅を共有しているので、互いに接触している）。
【００５９】
同じ処理を３Ｄシーンの各点（または少なくとも３Ｄシーンの点の一部の各点、例えば２点ごとの各点、または８点ごとの各点）に対して実行し得、すなわち、各点は現在の点として処理され、その奥行きがその近傍の奥行きと（すなわち関連付けられた奥行き画像の空間において）比較される。
【００６０】
変形例によれば、正の奥行き差のみが考慮され、第１の決定値と比較される。負の奥行き差は、負の奥行き差を有する隣接ピクセルを新しいピクセルまたは他の現在のピクセルと見なすことによって考慮される。正の奥行き差のみを考慮することにより、穴を検出するための３Ｄシーンの処理が高速化される。
【００６１】
別の変形例によれば、２つの隣接ピクセル間の奥行き差はまた第２の決定値とも比較され、この第２の決定値以下の奥行き差のみを考慮して、隣接ピクセルに関連付けられたキューブ間に穴が存在するかどうかを決定し得る。第２の決定値との比較により、２つのキューブが３Ｄシーンの同じオブジェクトまたは３Ｄオブジェクトの同じ部分に属していることを保証することができる。実際、２つの隣接ピクセル間（すなわち２つの対応するキューブ間）の奥行き差が大きすぎる場合、これらの２つのキューブは同じ表面に属していないことを意味する。第２の決定値は、例えば、１０、５０、または１００体積単位に等しくし得る。２つのキューブ間の穴は、次の条件が満たされたときに決定される。
Ｔｈ１≦ｄ≦Ｔｈ２      式１
【００６２】
ここで、ｄは２つの考慮されているピクセル（および関連付けられたキューブ）間の奥行き差に対応し、Ｔｈ１は第１の決定値に対応し、Ｔｈ２は第２の決定値に対応する。
【００６３】
決定された穴を埋めるために、追加キューブ／点が、式１を満たす（奥行き画像における）奥行き差ｄを有する２つのキューブ／点間に生成され得る。追加キューブ／点は、それらに関連付けられる奥行きおよびテクスチャを、穴を決定するために使用されたキューブに関連付けられた奥行きおよびテクスチャから計算することによって（例えば、穴の存在を決定するために使用された点／キューブを補間することによって）生成され得る。奥行き差が体積単位の数で表される場合、生成される追加点の数は、奥行き差の関数であり得、例えば、ｄから１を引いたもの（ｄ−１）に等しくなる。例えば、点／キューブ６０１と６０２との間に生成される点／キューブの数は１に等しく、奥行き画像の対応するピクセル６１１と６１２との奥行き差は２に等しい。別の例によれば、点／キューブ６０１と６０４との間に生成される点／キューブの数は２に等しく、奥行き画像の対応するピクセル６１１と６１４との奥行き差は３に等しい。
【００６４】
既存の点／キューブ６０１と６０２との間に生成された追加点／キューブ６００１は、テクスチャ情報として、点／キューブ６０１および６０２に関連付けられたテクスチャ値の平均値を受け取り、奥行き情報として、点／キューブ６０１に関連付けられた奥行き値の平均値＋１（ｄ６０１＋１）を受け取り得る。
【００６５】
既存の点／キューブ６０１と６０４との間に生成された追加点／キューブ６００１および６００２は、テクスチャ情報として、点／キューブ６０１および６０４に関連付けられたテクスチャ値の平均値を受け取り、奥行き情報として、キューブ６００１については点６０１の奥行き値＋１（ｄ６０１＋１）を受け取り、キューブ６００２については点６０１の奥行き値＋２（ｄ６０１＋２）を受け取り得る。
【００６６】
変形例によれば、追加点／キューブのテクスチャを決定するために、既存の点／キューブのテクスチャに重みが関連付けられる。例えば、追加点６００１は点６０４よりも点６０１により近いため、追加点６００１のテクスチャを計算するとき、点６０４の重みよりも大きな重みが、点６０１のテクスチャに関連付けられ得る。対照的に、追加点６００２は点６０１よりも点６０４により近いため、追加点６００２のテクスチャを計算するとき、点６０１の重みよりも大きな重みが点６０４のテクスチャに関連付けられ得る。例えば、生成された追加点に関連付けられるテクスチャ値を補間するときにテクスチャ値に関連付けられる重みは、生成された追加点を、それを生成するために使用された点から隔てる距離（奥行き）に反比例し得る。例えば、追加点６００１のテクスチャを計算するとき、２に等しい重みが点６０１のテクスチャに関連付けられ、１に等しい重みが点６０４のテクスチャに関連付けられ、追加点６００１と点６０１との距離（奥行き差）は１体積単位に等しいが、追加点６００１と点６０４との距離（奥行き差）は２体積単位に等しい。
【００６７】
別の変形例によれば、生成された追加点に関連付けられるテクスチャ情報は、それを生成するために使用された点の１つのテクスチャ情報に対応する。例えば、点６０１のテクスチャ情報が、生成された追加点６００１に適用され得、点６０４のテクスチャ情報が、生成された追加点６００２に適用され得る。
【００６８】
さらなる任意選択の変形例によれば、（現在のピクセルとこの現在のピクセルに隣接ピクセルとの）奥行き差ｄが第１の決定値Ｔｈ１以上でありかつ第２の決定値Ｔｈ２以下であると判定されるたびに追加点を生成する代わりに、現在のピクセルと、間隔［Ｔｈ１；Ｔｈ２］内で最大奥行き差ｄｍａｘを有するピクセル隣接ピクセルとの間にのみ、追加点が生成される。例えば、点／キューブ６００１を２回（１回は点／キューブ６０１および６０２を使用して、１回は点／キューブ６０１および６０４を使用して）生成する代わりに、点キューブ６００１は、６０１と６０４との奥行き差（すなわち、＋３）は点６０１と６０２との奥行き差（すなわち、＋２）よりも大きいので、点／キューブ６０１および６０４を使用して１回だけ生成される。その目的を達成するために、ピクセルブロック６Ｂのすべての奥行き差ｄ６１２〜ｄ６１９のなかから（Ｔｈ２以下の）最大奥行き差ｄｍａｘを選択し、すべての隣接ピクセル６１２〜６１９のなかで最大奥行き差ｄｍａｘに対応する隣接ピクセル６１４のみを、現在のピクセル６１１について考慮し、（対応する点／キューブ６０１および６０４から）追加点／キューブを生成する。
【００６９】
図８は、本原理の非限定的な実施形態に従う、（例えば、図９に関して説明される）デバイス９において実施される３Ｄシーンの１つ以上の点を生成する方法を示す。
【００７０】
第１の動作８１では、現在のピクセルに関連付けられた奥行き情報が、奥行き画像内の現在のピクセルに空間的に隣接するピクセルに関連付けられた奥行き情報と比較される。奥行き画像は、３Ｄシーンまたは３Ｄシーンの一部の既存の点（例えば、３Ｄオブジェクトの既存の点）に関連付けられる。奥行き画像の各ピクセルは、３Ｄシーンの対応する点に関連付けられており、奥行き画像は、３Ｄシーンの点を対応するピクセルに投影することで取得され、点の奥行き属性は、奥行き画像に、対応するピクセルに関連付けられて記憶される。
【００７１】
第２の動作８２では、現在のピクセルに関連付けられている現在の点に加えて、３Ｄシーンの１つ以上の追加点が生成される。現在の点は、例えば、３Ｄシーンの既存の点から奥行き画像を取得するために使用された投影のパラメータを使用して、現在のピクセルを逆投影することによって生成される。１つ以上の点は、例えば、現在のピクセルと隣接ピクセルとの奥行き差が第１の値Ｔｈ１よりも大きくかつ第２の値Ｔｈ２よりも小さい場合、現在の点と、現在のピクセルに隣接する奥行き画像のピクセルを逆投影することによって取得された３Ｄシーンの点とを使用することによって生成される。追加点は、例えば、第１の値と第２の値との間に含まれる奥行き差を有する各点対（各対は、現在の点と、現在のピクセルに隣接する奥行き画像のピクセルに対応する現在の点の近傍の点とを含む）に対して生成される。生成される追加点の数は、奥行き差に依存し、奥行き差が大きいほど、生成される追加点の数は多くなる。
【００７２】
変形例によれば、現在のピクセルとの奥行き差が第１の値と第２の値との間に含まれる隣接ピクセルのなかから、現在のピクセルとの奥行き差が最も大きい隣接ピクセルが選択され、追加点は、現在の点と、最大奥行き差を有する隣接ピクセルに対応する近隣点のみを使用して生成される。
【００７３】
追加点に関連付けられる属性、特にテクスチャ属性は、追加点を生成するために使用される（現在のピクセルおよび隣接ピクセルにそれぞれ対応する）現在の点および近隣点の属性を使用して決定される。テクスチャ属性は、例えば、現在の点および近隣点のテクスチャ属性を補間することによって取得される。
【００７４】
第１および第２の動作は、複数の現在のピクセル（または同等に３Ｄシーンの対応する現在の点）に対して、例えば奥行き画像の各ピクセルに対して、または奥行き画像のピクセルの一部の各ピクセルに対して、繰り返され得る。
【００７５】
図９は、本原理の非限定的な実施形態に従う、図６および図８に関して説明された方法のうちの少なくとも１つを実施するように適合された装置９のアーキテクチャの例を示す。
【００７６】
装置９は、データおよびアドレスバス９１によって一緒にリンクされる以下の要素を備える：
−マイクロプロセッサ９２（またはＣＰＵ）、例えば、ＤＳＰ（すなわちデジタルシグナルプロセッサ）；
−ＲＯＭ（すなわち読み取り専用メモリ）９３；
−ＲＡＭ（すなわちランダムアクセスメモリ）９４；
−記憶装置インターフェース９５；
−アプリケーションから、送信するデータを受信するためのＩ／Ｏインターフェース９６；および
−電源、例えばバッテリ。
【００７７】
一実施例によれば、電源はデバイスの外部にある。上記の各メモリでは、本明細書で使用される「レジスタ」という語は、小容量（いくつかのビット）の領域または非常に大きな領域（例えば、プログラム全体、または大量の受信または復号されたデータ）に対応する。ＲＯＭ９３は、少なくともプログラムおよびパラメータを含む。ＲＯＭ９３は、本原理に従って技法を実行するためのアルゴリズムおよび命令を記憶し得る。電源が投入されると、ＣＰＵ９２は、プログラムをＲＡＭにアップロードし、対応する命令を実行する。
【００７８】
ＲＡＭ９４は、１つのレジスタ内に、ＣＰＵ９２によって実行され装置９の電源投入後にアップロードされるプログラムを、１つのレジスタ内に入力データを、１つのレジスタ内に方法の異なる状態の中間データを、および１つのレジスタ内に方法の実行に使用される他の変数を含む。
【００７９】
本明細書で説明される実施は、例えば、方法もしくはプロセス、装置、コンピュータプログラム製品、データストリーム、または信号において実施され得る。単一の実施形態に関して考察（例えば、方法またはデバイスとしてのみ考察）されたとしても、考察された機能の実施は他の形式（例えば、プログラム）でも実施し得る。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施され得る。方法は、例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能な論理デバイスを含む、一般に処理デバイスと称される例えばプロセッサなどの装置で実施し得る。プロセッサはまた、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
【００８０】
３Ｄシーンの点（例えば、ポイントクラウドの点）および関連付けられたデータ／属性（例えば、点の奥行きおよびテクスチャ）は、ソースから取得される。例えば、ソースは、以下を含むセットに属する：
−ローカルメモリ（９３または９４）、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわち読み取り専用メモリ）、ハードディスク；
−記憶装置インターフェース（９５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース；
−通信インターフェース（９６）、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（ＩＥＥＥ８０２．１１インターフェースもしくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）；および
−ユーザがデータを入力することを可能とするグラフィカルユーザインターフェースなどのユーザインターフェース。
【００８１】
デコーディング／レンダリングまたはデコーダ／レンダラーの例によれば、復号された点または再構築された３Ｄシーンが宛先に送られ、具体的には、宛先は以下を含むセットに属する：
−ローカルメモリ（９３または９４）、例えばビデオメモリまたはＲＡＭ、フラッシュメモリ、ハードディスク；
−記憶装置ンターフェイス（９５）、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気サポートとのインターフェース；および
−通信インターフェース（９６）、例えば、有線インターフェース（例えば、バスインターフェース（例えば、ＵＳＢ（すなわちユニバーサルシリアルバス））、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース、ＨＤＭＩ（高解像度マルチメディアインターフェース）インターフェース）または無線インターフェース（ＩＥＥＥ８０２．１１インターフェース、ＷｉＦｉ（登録商標）もしくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）。
【００８２】
実施例によれば、装置９は、図６〜図８のうちの少なくとも１つに関して説明された方法を実施するように構成され、以下を含むセットに属する：
−モバイルデバイス；
−通信デバイス；
−ゲームデバイス；
−タブレット（またはタブレット型コンピュータ）；
−ノート型パソコン；
−静止画カメラ；
−ビデオカメラ；
−エンコーデングチップ；
−サーバー（例えば、ブロードキャストサーバー、ビデオオンデマンドサーバー、ウェブサーバー）；
−セットトップボックス；
−テレビセット；および
−ディスプレイ（例えばＨＭＤなど）。
【００８３】
図１０は、本原理の特定の非限定的な実施形態に従う、３Ｄシーン、例えばポイントクラウド１０３の符号化／復号スキームの概略図を示す。
【００８４】
ポイントクラウド１０３は、モジュールＭ１０１において実施される符号化プロセス１０１を介して、ビットストリーム１０４の形態の符号化データに符号化される。ビットストリームは、復号プロセス１０２を実施するモジュールＭ１０２に送られ、符号化されたデータが復号され、復号ポイントクラウド１０５が取得される。モジュールＭ１０１およびＭ１０２は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせであり得る。
【００８５】
ポイントクラウド１０３は、オブジェクト、例えばオブジェクトの外側表面または外側形状を表す大きな点の集まりに対応する。ポイントクラウドは、ベクトルベースの構造と見なすことができ、各点は、その座標（例えば、３次元座標ＸＹＺ、または所与の視点からの奥行き／距離）と１つ以上の成分とを有する。成分の一例は、異なる色空間、例えばＲＧＢ（赤、緑、青）またはＹＵＶ（Ｙはルーマ成分であり、ＵＶは２つのクロミナンス成分である）で表現され得る色成分である。ポイントクラウドは、１つ以上の視点から見たオブジェクトの表現であり得る。ポイントクラウドは、さまざまな方法、例えば以下から取得し得る：
・任意選択で奥行き能動感知デバイスで補完された、１台以上のカメラで撮影される、実際のオブジェクトの撮影から；
・モデル化ツールにおいて１つ以上の仮想カメラによって撮影される、仮想／合成オブジェクトの撮影から；
・実際のオブジェクトおよび仮想オブジェクトの両方の混合から。
【００８６】
ポイントクラウド１０３は、時間とともに進化する動的ポイントクラウドであり得、すなわち、点の数が時間とともに変わり得、かつ／または１つ以上の点の位置（例えば、座標Ｘ、ＹおよびＺのうちの少なくとも１つ）が時間とともに変わり得る。ポイントクラウドの進化は、ポイントクラウドによって表されるオブジェクトの動きに、および／またはオブジェクトまたはオブジェクトの一部の形状の変化に対応し得る。
【００８７】
ポイントクラウド１０３は、ピクチャまたは１つ以上の時間的連続ピクチャ群において表され得、各ピクチャは、決定時間「ｔ」におけるポイントクラウドの表現を含む。１つ以上の時間的連続ピクチャ群は、ポイントクラウド１０３の少なくとも一部を表すビデオを形成し得る。
【００８８】
符号化プロセス１０１は、例えば、ピクチャ内コーディングおよび／またはピクチャ間コーディングを実施し得る。ピクチャ内コーディングは、効果的なデルタコーディングのためにすでにコードされたピクセルから外挿して予測値を計算することにより、空間的冗長性、すなわち１つのピクチャ内のピクセル間の相関を活用するピクチャ内予測に基づいている。ピクチャ間コーディングは、時間的冗長性を活用するピクチャ間予測に基づいている。時間的に独立してコードされた、いわゆるイントラピクチャ「Ｉ」は、イントラコーディングのみを使用する。時間的にコードされた予測ピクチャ「Ｐ」（または「Ｂ」）は、ピクチャ内予測およびピクチャ間予測を使用し得る。
【００８９】
復号プロセス１０２は、例えば、符号化プロセスで符号化されたデータを復号するための、符号化プロセス１０１の逆演算に対応し得る。
【００９０】
図１１は、データがパケットベースの送信プロトコルを介して送信される場合に、例えば２つの遠隔デバイス間で送信される信号の構文の例を示す。送信される各パケットＰは、ヘッダーＨとペイロードデータＰＡＹＬＯＡＤとを含む。
【００９１】
実施形態によれば、ペイロードＰＡＹＬＯＡＤは、以下の要素のうちの少なくとも１つを含み得る：
−所定の時間ｔにおけるポイントクラウドを表す少なくとも１つのピクチャを表すビット、例えば、ビットは、少なくとも１つのピクチャのピクセルに関連付けられたテクスチャ情報および／または奥行き情報を表し得る；
−少なくとも１つのピクチャの投影と画像との間の投影情報データおよびマッピングを表すビット。
【００９２】
図１２は、本原理の特定の非限定的な実施形態に従う、３Ｄシーン、例えばポイントクラウド１０３を符号化するための動作を示す。動作は、符号化プロセス１０１の一部であり得、図９の装置９によって実施され得る。
【００９３】
動作１２０では、ポイントクラウドのピクチャ２０のデータがエンコーダＥＮＣ１によって符号化される。ピクチャ２０は、例えば、ピクチャ群（ＧＯＰ）の一部であり、決定時間「ｔ」におけるポイントクラウドを表すデータを含む。ピクチャ２０は、画像の集合を含み得、集合の画像のうちの少なくとも１つは、ピクチャ２０のデータの少なくとも一部に対応する属性を含む。属性は、決定された投影に従って、各画像内のポイントクラウドの一部を投影することによって得られ、属性は、各画像上に投影されたポイントクラウドの部分の点の属性に対応する。属性は、テクスチャ（もしくは色）情報および／または奥行き（もしくは視点までの距離）情報に対応し得る。エンコーダＥＮＣ１は、例えば、次のようなレガシーエンコーダに準拠する：
・ＪＰＥＧ、仕様ＩＳＯ／ＣＥＩ１０９１８−１ＵＩＴ−Ｔ勧告Ｔ．８１、ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ−ＲＥＣ−Ｔ．８１／ｅｎ、
・ＡＶＣ、別名ＭＰＥＧ−４  ＡＶＣまたはｈ２６４。ＵＩＴ−Ｔ  Ｈ．２６４およびＩＳＯ／ＣＥＩ  ＭＰＥＧ−４  Ｐａｒｔ１０（ＩＳＯ／ＣＥＩ１４４９６−１０）の両方に仕様、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ−ＲＥＣ−Ｈ．２６４／ｅｎ、
・ＨＥＶＣ（その仕様はＩＴＵウェブサイトにある、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ−ＲＥＣ−Ｈ．２６５−２０１６１２−Ｉ／ｅｎ）、または
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張で、仕様はＩＴＵウェブサイトにある、Ｔ勧告、Ｈシリーズ、ｈ２６５、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ−ＲＥＣ−Ｈ．２６５−２０１６１２−Ｉ／ｅｎ附属書ＧおよびＩ）。
【００９４】
ピクチャ２０の符号化されたデータは、ビットストリーム１０４において記憶および／または送信され得る。
【００９５】
動作１２１では、ピクチャ２０の符号化データが、デコーダＤＥＣ１によって復号される。デコーダＤＥＣ１はエンコーダＥＮＣ１に準拠し、例えば、次のようなレガシーデコーダに準拠する：
・ＪＰＥＧ、
・ＡＶＣ、別名ＭＰＥＧ−４ＡＶＣもしくはｈ２６４、
・ＨＥＶＣ、または
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張）。
【００９６】
動作１２０で符号化された属性は、ピクチャ２０に関連付けられた参照ピクチャ１２５の生成に使用するために、動作１２１で復号および回収され、例えばバッファメモリに記憶される。
【００９７】
モジュールＭ１２２によって実施される動作１２２では、各画像は、ポイントクラウドの点を生成するため、および例えば符号化／復号プロセス１２０、１２１から生じ得る穴を埋めるために、図６および／または図８に関して説明したように処理される。
【００９８】
参照ピクチャ１２５が、モジュールＭ１２２から取得された補正画像から取得され得る。
【００９９】
参照ピクチャ１２５は、モジュールＭ１２４によって実施される動作１２４で使用され得る。動作１２４は、例えば、ピクチャ２０とは異なるポイントクラウドの１つ以上のピクチャ（例えば、ピクチャ２０の時間「ｔ」とは異なる決定時間におけるポイントクラウドのピクチャ）をコーディングするためのインター予測のための予測子を生成することを含む。次いで、ポイントクラウド１０３、またはポイントクラウドを表すピクチャは、参照ピクチャ１２５を参照することによって符号化され得る。変形例によれば、モジュールＭ１２４は、エンコーダＥＮＣ１の一部である。
【０１００】
当然ながら、複数の参照ピクチャを、参照ピクチャ１２５と同じ方法で取得し得、複数の参照ピクチャの各々は、ポイントクラウドを表す特定の画像から取得され、ポイントクラウド１０３の符号化では、１つまたはいくつかの参照ピクチャが参照される。
【０１０１】
図１３は、本原理の特定の非限定的な実施形態に従う、ビットストリーム１０４からポイントクラウド１０３の符号化バージョンを復号するための動作を示す。動作は、復号プロセス１０２の一部であり得、図９の装置９によって実施され得る。
【０１０２】
動作１３１では、ポイントクラウドの１つ以上のピクチャ（例えば、１つ以上のＧＯＰまたはイントラ期間のピクチャ）の符号化データが、受信されたビットストリーム１０４からデコーダＤＥＣ２によって復号される。ビットストリーム１０４は、１つ以上のピクチャの符号化データを含む。各ピクチャは、画像の集合を含み、集合の画像のうちの少なくとも１つは、符号化されたピクチャのデータの少なくとも一部に対応する属性を含む。属性は、第１の投影に従って、各第１の画像内のポイントクラウドの一部を投影することによって得られ、属性は、各第１の画像上に投影されたポイントクラウドの部分の点の属性に対応する。属性は、テクスチャ（もしくは色）情報および／または奥行き（もしくは視点までの距離）情報に対応し得る。デコーダＤＥＣ２は、図１２のデコーダＤＥＣ１に対応し得、例えば、次のようなレガシーデコーダに準拠する：
・ＪＰＥＧ、
・ＡＶＣ、別名ＭＰＥＧ−４ＡＶＣもしくはＨ２６４、
・ＨＥＶＣ、または
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張）。
【０１０３】
動作１３１で復号された属性は、１つ以上の参照ピクチャ１３５の生成に使用するために、回収され、例えばバッファメモリに記憶され、各参照ピクチャは、１つのピクチャに関連付けられる。以下では、明確さおよび簡潔さのために、１つのピクチャに関連付けられた１つの参照ピクチャのみを考慮する。
【０１０４】
（図１２のモジュールＭ１２２と同一であり得る）モジュールＭ１３２によって実施される動作１３２では、ポイントクラウドの点を生成するため、および例えば符号化／復号プロセス１２０、１３１から生じ得る穴を埋めるために、復号された属性が、図６および／または図８に関して説明したように処理される。
【０１０５】
（図１２の参照ピクチャ１２５と同一であり得る）参照ピクチャ１３５が、動作１２１から取得される復号された第１の属性を、動作１２３から取得される第２の属性と融合することによってピクチャから取得され得る。参照ピクチャは、ピクチャと同じ構造、すなわち同じ空間配置の画像の集合を含み得るが、異なるデータ、すなわち、復号された第１の属性および取得された第２の属性を含み得る。参照ピクチャを取得するためのプロセスの例の詳細な説明は、図９の説明とともに上記で提供されている。
【０１０６】
参照ピクチャ１３５は、モジュールＭ１３４によって実施される動作１３４で使用され得る。動作１３４は、例えば、ビットストリームに含まれる符号化されたデータの復号から、インター予測のための予測子を生成することを含む。予測子の生成に関連付けられたこれらのデータは、以下を含み得る：
−予測タイプ、例えば、予測モードがイントラかインターかを示すフラグ、
−運動ベクトル、および／または
−参照ピクチャのリストから参照ピクチャを示すインデックス。
【０１０７】
当然ながら、複数の参照ピクチャが、参照ピクチャ１３５と同じ方法で取得されてもよく、複数の参照ピクチャの各々は、ポイントクラウドを表す特定のピクチャの復号データから取得され、ビットストリーム１０４のデータの復号は、復号されたポイントクラウド１０５を取得するための１つまたはいくつかの参照ピクチャに基づき得る。
【０１０８】
当然ながら、本文書は、前述の実施形態に限定されない。
【０１０９】
本文書は、３Ｄシーンの点を生成する方法に限定されず、３Ｄシーン／ポイントクラウドを符号化および／もしくは復号するための方法、ならびに／または３Ｄシーン／ポイントクラウドの符号化により取得されるビットストリームを送信するための方法およびデバイス、ならびに／または３Ｄシーン／ポイントクラウドの符号化により取得されるビットストリームを受信するための方法およびデバイスに拡張される。本文書はまた、復号された３Ｄシーン／ポイントクラウド、すなわち復号されたポイントクラウドによって表される３Ｄオブジェクトの画像を、視点を各画像に関連付けて、レンダリングおよび／または表示するための方法およびデバイスにも拡張される。
【０１１０】
本明細書で説明された実施は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実施され得る。（例えば、方法またはデバイスとしてのみ考察された）単一の実施形態に関する考察のみの場合でも、考察された機能の実施は他の形態（例えば、プログラム）でも実施し得る。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施され得る。方法は、例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能な論理デバイスを含む、一般に処理デバイスを指す、例えばプロセッサなどの装置で実施し得る。プロセッサはまた、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
【０１１１】
本明細書で説明されたさまざまなプロセスおよび機能の実施は、さまざまな異なる機器またはアプリケーション、特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、ならびに画像および関連テクスチャ情報および／または奥行き情報の他の処理に関連付けられた機器またはアプリケーションで具現化することができる。そのような機器の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバー、セットトップボックス、ノート型パソコン、パソコン、携帯電話、ＰＤＡ、ＨＭＤ（ヘッドマウントディスプレイ）、スマートグラス、その他の通信デバイスが含まれる。明らかなように、機器は移動型であり、移動車両に設置されている場合さえある。
【０１１２】
さらに、方法は、プロセッサによって実行されている命令によって実施され得、そのような命令（および／または実施によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリアまたは他の記憶デバイスなど、例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、しばしばデジタル多用途ディスクと称されるＤＶＤ、またはデジタルビデオディスク）、ランダムアクセスメモリ（「ＲＡＭ」）、または読み取り専用メモリ（「ＲＯＭ」）などの、プロセッサ可読媒体に記憶し得る。命令は、プロセッサ可読媒体上で有形的に具現化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、またはこの２つの組み合わせに見ることができる。したがって、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（記憶デバイスなど）を含むデバイスとの両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実施によって生成されたデータ値を記憶し得る。
【０１１３】
当業者には明らかであるように、実施は、例えば、記憶または送信され得る情報を搬送するようにフォーマット化されたさまざまな信号を生成し得る。情報は、例えば、方法を実行するための命令、または説明された実施のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態の構文を書き込むまたは読み取るための規則をデータとして搬送するように、または説明された実施形態によって書き込まれた実際の構文値をデータとして搬送するようにフォーマット化され得る。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、またはベースバンド信号としてフォーマット化され得る。フォーマット化は、例えば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報であり得る。信号は、既知のように、さまざまな異なる有線または無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に記憶され得る。
【０１１４】
多数の実施が説明されてきた。それでもなお、さまざまな変更が行われ得ることが理解されよう。例えば、異なる実施の要素は、他の実施を行うために、結合、補足、変更、または削除されてもよい。さらに、当業者は、他の構造およびプロセスが開示されたものの代わりになり得、結果として生じる実施が、少なくとも実質的に同じ機能を少なくとも実質的に同じ方法で実行して、開示された実施と少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実施は、本出願によって企図されている。
【図１】
2020536325.tif 000003
【図２Ａ】
2020536325.tif 000004
【図２Ｂ】
2020536325.tif 000005
【図３】
2020536325.tif 000006
【図４】
2020536325.tif 000007
【図５Ａ】
2020536325.tif 000008
【図５Ｂ】
2020536325.tif 000009
【図６Ａ】
2020536325.tif 000010
【図６Ｂ】
2020536325.tif 000011
【図７Ａ】
2020536325.tif 000012
【図７Ｂ】
2020536325.tif 000013
【図８】
2020536325.tif 000014
【図９】
2020536325.tif 000015
【図１０】
2020536325.tif 000016
【図１１】
2020536325.tif 000017
【図１２】
2020536325.tif 000018
【図１３】
2020536325.tif 000019
【国際調査報告】
2020536325.tif 000020
2020536325.tif 000021
2020536325.tif 000022