(57)【要約】  ３Ｄシーンの１つ又は複数の点の属性を修正するための方法及び装置。属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含む。その目標を達成するために、深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別する。次いで、深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定する。訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正する。
2020536300.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄシーンの１つ又は複数の点の属性を修正する方法であって、前記属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
前記深度画像内の前記少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する前記３Ｄシーンの少なくとも第１の点を識別すること、
前記深度画像及び前記テクスチャ画像内の前記少なくとも第１の点の近傍を分析することにより、前記少なくとも第１の点の前記属性が訂正可能かどうかを判定すること、及び
訂正可能な属性を有する第１の点ごとに、前記深度画像及び／又はテクスチャ画像内に記憶される前記属性を前記深度画像及び／又は前記テクスチャ画像内の前記近傍に応じて修正すること
を含む、方法。
【請求項２】
前記識別することは、前記少なくとも第１の点の前記近傍の第２の点と呼ばれるどの点が、前記少なくとも第１の点に対して第１の決定値を上回る深度差を有するのかを前記深度画像内で明らかにすることを含み、前記少なくとも第１の点は第２の点の数が第２の決定値を上回る場合に識別される、請求項１に記載の方法。
【請求項３】
属性が訂正可能かどうかを前記判定することが、
前記少なくとも第１の点の前記近傍の第３の点と呼ばれるどの点が、前記少なくとも第１の点に対して第３の決定値を下回る深度差を有するのかを前記深度画像内で明らかにすること、及び
前記少なくとも第１の点の前記近傍の第４の点と呼ばれるどの点が、前記少なくとも第１の点の前記属性を修正するために使用可能かを前記テクスチャ画像内で明らかにすること
を含み、
前記属性は、第３の点の数が第５の決定値を上回る場合、及び第４の点の数が１以上である場合に訂正可能だと判定される、
請求項１及び２の何れか一項に記載の方法。
【請求項４】
前記第４の点を前記明らかにすることが、前記テクスチャ画像内の前記少なくとも第１の点の第４の点候補と呼ばれる前記近傍の前記点の中で、前記深度画像内の前記第４の点候補の前記近傍の第５の点と呼ばれるどの点が前記第４の点候補に対して第４の決定値を下回る深度差を有するのかを明らかにすることを含み、第４の点候補は第５の点の数が第６の決定値を上回る場合に第４の点になる、請求項３に記載の方法。
【請求項５】
前記属性が前記少なくとも１つの第４の点の前記属性に基づいて修正される、請求項３及び４の何れか一項に記載の方法。
【請求項６】
前記深度画像内の自らの近傍に関連する深度情報に対して矛盾した深度情報を有するものとして識別された前記３Ｄシーンの更なる点の属性を修正するために使用可能な属性を有する点のリストに、修正済みの属性を有する前記少なくとも第１の点を追加することを更に含む、請求項１乃至５の何れか一項に記載の方法。
【請求項７】
前記深度画像及び前記テクスチャ画像が受信ビットストリームから復号される、請求項１乃至６の何れか一項に記載の方法。
【請求項８】
前記３Ｄシーンの前記１つ又は複数の点が点群の一部である、請求項１乃至７の何れか一項に記載の方法。
【請求項９】
３Ｄシーンの１つ又は複数の点の属性を修正するように構成される装置あって、前記属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
前記深度画像内の前記少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する前記３Ｄシーンの少なくとも第１の点を識別すること、
前記深度画像及び前記テクスチャ画像内の前記少なくとも第１の点の近傍を分析することにより、前記少なくとも第１の点の前記属性が訂正可能かどうかを判定すること、及び
訂正可能な属性を有する第１の点ごとに、前記深度画像及び／又はテクスチャ画像内に記憶される前記属性を前記深度画像及び／又は前記テクスチャ画像内の前記近傍に応じて修正すること
を行うように構成される少なくとも１つのプロセッサに関連するメモリ
を含む、装置。
【請求項１０】
前記少なくとも１つのプロセッサは、前記少なくとも第１の点の前記近傍の第２の点と呼ばれるどの点が、前記少なくとも第１の点に対して第１の決定値を上回る深度差を有するのかを前記深度画像内で明らかにするように更に構成され、前記少なくとも第１の点は第２の点の数が第２の決定値を上回る場合に識別される、請求項９に記載の装置。
【請求項１１】
属性が訂正可能かどうかを判定するために、前記少なくとも１つのプロセッサが
前記少なくとも第１の点の前記近傍の第３の点と呼ばれるどの点が、前記少なくとも第１の点に対して第３の決定値を下回る深度差を有するのかを前記深度画像内で明らかにすること、及び
前記少なくとも第１の点の前記近傍の第４の点と呼ばれるどの点が、前記少なくとも第１の点の前記属性を修正するために使用可能かを前記テクスチャ画像内で明らかにすること
を行うように更に構成され、
前記属性は、第３の点の数が第５の決定値を上回る場合、及び第４の点の数が１以上である場合に訂正可能だと判定される、
請求項９及び１０の何れか一項に記載の装置。
【請求項１２】
前記少なくとも１つのプロセッサは、前記テクスチャ画像内の前記少なくとも第１の点の第４の点候補と呼ばれる前記近傍の前記点の中で、前記深度画像内の前記第４の点候補の前記近傍の第５の点と呼ばれるどの点が前記第４の点候補に対して第４の決定値を下回る深度差を有するのかを明らかにするように更に構成され、第４の点候補は第５の点の数が第６の決定値を上回る場合に第４の点になる、請求項１１に記載の装置。
【請求項１３】
前記属性が前記少なくとも１つの第４の点の前記属性に基づいて修正される、請求項１１及び１２の何れか一項に記載の装置。
【請求項１４】
前記少なくとも１つのプロセッサが、前記深度画像内の自らの近傍に関連する深度情報に対して矛盾した深度情報を有するものとして識別された前記３Ｄシーンの更なる点の属性を修正するために使用可能な属性を有する点のリストに、修正済みの属性を有する前記少なくとも第１の点を追加するように更に構成される、請求項９乃至１３の何れか一項に記載の装置。
【請求項１５】
前記少なくとも１つのプロセッサが、受信ビットストリームから前記深度画像及び前記テクスチャ画像を復号するように更に構成される、請求項９乃至１４の何れか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
１．技術分野
本明細書は、３Ｄシーンを処理する分野に関する。排他的ではないが、とりわけ本原理の技術分野は、３Ｄオブジェクトのジオメトリ及びテクスチャを表す点群の点を処理することに関する。本原理の技術分野は、テクスチャ及び深度投影スキームを使用する３Ｄ画像データの符号化／復号にも関し得る。
【背景技術】
【０００２】
２．背景
この節は、以下に記載の及び／又は特許請求の範囲に記載の本明細書の様々な態様に関係し得る技術の様々な側面を読者に紹介することを目的とする。この解説は、本発明の様々な態様をより良く理解するのを助けるための背景情報を読者に与えるのに有用だと考えられる。従って、これらの記述は従来技術の承認としてではなくかかる観点から読まれるべきである。
【０００３】
点群又はメッシュを用いて３Ｄオブジェクトを表すことはよく知られている。
【０００４】
メッシュは、頂点及び頂点を接続するエッジでそれぞれ表されるメッシュ要素（例えば三角形）を含む。メッシュは３Ｄオブジェクトの外面を表すように通常意図される。
【０００５】
点群は３Ｄオブジェクトの外面、更にはメッシュのような他のデータ形式によって効率的に表現できない可能性がある毛髪、毛皮等のより複雑なジオメトリも表すことを通常意図する１組の点である。点群の各点は、しばしば３Ｄ空間位置（３Ｄ空間内のＸ、Ｙ、及びＺ座標）によって定められ、場合によっては例えばＲＧＢ又はＹＵＶ色空間内で表される色、透明度、反射率、２成分法線ベクトル等の他の関連属性によって定められる。有色の点群、即ち１組の６成分の点（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）又は等価に（Ｘ，Ｙ，Ｚ，Ｙ，Ｕ，Ｖ）を検討することができ、（Ｘ，Ｙ，Ｚ）は３Ｄ空間内の点の空間位置を定め、（Ｒ，Ｇ，Ｂ）又は（Ｙ，Ｕ，Ｖ）はその点の色又はテクスチャを定める。
【０００６】
点群は、画像ベースの点群表現に対応するテクスチャ及び深度投影で表すことができる。
【０００７】
エンドユーザに伝送する前にテクスチャ及び深度の両方を圧縮することができる。更に、より優れた圧縮性能及び標準的なビデオ配信ワークフローとの後方互換性を得るために、テクスチャのクロマを圧縮前に４：４：４形式から４：２：０形式にダウンサンプリングすることができる。クロマエッジを平滑化する傾向があるクロマ圧縮と共に、これは異なる色を有する２つのオブジェクトの境界線において強いクロマアーティファクトをもたらす。従って、点群を再構築するときオブジェクトのエッジ付近の一部の点が不適当な色を示し、それはそれらの点の真の色がオブジェクトの（エッジの反対側に位置する）別の部分の色で平均されるからであり、このことは３Ｄオブジェクトの表示品質を変える。
【０００８】
深度圧縮の後、３Ｄオブジェクトの「エッジにおける」一部の点が、３Ｄオブジェクトの一部と３Ｄオブジェクトの別の部分との間に空間的に位置することがあり、それはそれらの２つの部分間で深度値が平均される可能性があり、真の３Ｄオブジェクトから離れて浮く点がもたらされるからである。かかる点が発生することは、深度画像を圧縮するとき低ビットレートで不可避である深度のぼけ／拡散が原因である。かかるぼけ／拡散は３Ｄオブジェクトをレンダリングするとき視覚的なアーティファクトを発生させる。
【発明の概要】
【０００９】
３．概要
本明細書での「一実施形態」、「或る実施形態」、「一実施形態例」、「特定の実施形態」への言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態がそれらの特定の特徴、構造、又は特性を必ずしも含まなくてもよいことを意味する。更に、かかる語句は必ずしも同じ実施形態を指すものではない。更に、或る実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明確に記載されていようがいまいが、かかる特徴、構造、又は特性を他の実施形態に関連して影響させることが当業者の知識の範囲に含まれると考えられる。
【００１０】
本明細書は、３Ｄシーンの１つ又は複数の点の属性を修正する方法であって、属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別すること、
深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定すること、及び
訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正すること
を含む、方法に関する。
【００１１】
本明細書は、３Ｄシーンの１つ又は複数の点の属性を修正するように適合される装置／機器であって、属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別すること、
深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定すること、及び
訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正すること
を行うように構成される少なくとも１つのプロセッサに関連するメモリ
を含む、装置／機器にも関する。
【００１２】
本明細書は、３Ｄシーンの１つ又は複数の点の属性を修正するように適合される装置／機器であって、属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別するための手段と、
深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定するための手段と、
訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正するための手段と
を含む、装置／機器にも関する。
【００１３】
或る特性によれば、識別することは、少なくとも第１の点の近傍の第２の点と呼ばれるどの点が、少なくとも第１の点に対して第１の決定値を上回る深度差を有するのかを深度画像内で明らかにすることを含み、少なくとも第１の点は第２の点の数が第２の決定値を上回る場合に識別される。
【００１４】
特定の特性によれば、属性が訂正可能かどうかを判定することが、
少なくとも第１の点の近傍の第３の点と呼ばれるどの点が、少なくとも第１の点に対して第３の決定値を下回る深度差を有するのかを深度画像内で明らかにすること、及び
少なくとも第１の点の近傍の第４の点と呼ばれるどの点が、少なくとも第１の点の属性を修正するために使用可能かをテクスチャ画像内で明らかにすること
を含み、
属性は、第３の点の数が第５の決定値を上回る場合、及び第４の点の数が１以上である場合に訂正可能だと判定される。
【００１５】
別の特性によれば、第４の点を明らかにすることが、テクスチャ画像内の少なくとも第１の点の第４の点候補と呼ばれる近傍の点の中で、深度画像内の第４の点候補の近傍の第５の点と呼ばれるどの点が第４の点候補に対して第４の決定値を下回る深度差を有するのかを明らかにすることを含み、第４の点候補は第５の点の数が第６の決定値を上回る場合に第４の点になる。
【００１６】
更なる特性によれば、属性は少なくとも１つの第４の点の属性に基づいて修正される。
【００１７】
更なる特性によれば、この方法は（この装置は）、深度画像内の自らの近傍に関連する深度情報に対して矛盾した深度情報を有するものとして識別された３Ｄシーンの更なる点の属性を修正するために使用可能な属性を有する点のリストに、修正済みの属性を有する少なくとも第１の点を追加することを含む（そのように更に構成される）。
【００１８】
別の特性によれば、深度画像及びテクスチャ画像が受信ビットストリームから復号される。
【００１９】
更なる特性によれば、３Ｄシーンの１つ又は複数の点が点群の一部である。
【００２０】
本明細書は、プログラムがコンピュータ上で実行されるとき、属性を修正する上記の方法を少なくとも１つのプロセッサによって実行するためのプログラムコードの命令を含むコンピュータプログラム製品にも関する。
【００２１】
本明細書は、属性を修正する少なくとも上記の方法をプロセッサに実行させるための命令を内部に記憶している（非一時的）プロセッサ可読媒体にも関する。
【００２２】
４．図面一覧
以下の説明を読めば本明細書がよりよく理解され、他の特定の特徴及び利点が現れ、説明は付属図面を参照する。
【図面の簡単な説明】
【００２３】
【図１】本原理の一例による、３Ｄオブジェクトの一例を示す。
【図２Ａ】本原理の非限定的な実施形態による、図１の３Ｄオブジェクトに関連する属性画像の一例を示す。
【図２Ｂ】本原理の非限定的な実施形態による、図１の３Ｄオブジェクトに関連する属性画像の一例を示す。
【図３】本原理の非限定的な実施形態による、図２Ａ及び図２Ｂの属性画像を得るための第１の例を示す。
【図４】本原理の非限定的な実施形態による、図２Ａ及び図２Ｂの属性画像を得るための第２の例を示す。
【図５】本原理の非限定的な実施形態による、図１の３Ｄオブジェクトの点に関連する深度画像の（又はテクスチャ画像の）ピクセルを示す。
【図６】本原理の非限定的な実施形態による、図１の３Ｄオブジェクトの点の属性を修正するための方法を示す。
【図７】本原理の非限定的な実施形態による、属性を修正するための候補である図１の３Ｄオブジェクトの点を識別するための方法を示す。
【図８】本原理の非限定的な実施形態による、属性を修正するための候補である図１の３Ｄオブジェクトの点の属性が修正可能かどうかを判定するための方法を示す。
【図９】本原理の非限定的な実施形態による、図６、図７、及び／又は図８の方法を実施するための機器のアーキテクチャの一例を示す。
【図１０】本原理の非限定的な実施形態による、図１の３Ｄオブジェクトを表す点群の符号化／復号スキームの一例を示す。
【図１１】本原理の非限定的な実施形態による、図１０のスキームによって得られるビットストリームを搬送する信号の構文の一例を示す。
【図１２】本原理の非限定的な実施形態による、図１の３Ｄオブジェクトを表す点群を符号化する際に実施されるプロセスの一例を示す。
【図１３】本原理の非限定的な実施形態による、図１のオブジェクト図１の３Ｄオブジェクトを表す復号済みの点群を得るためにビットストリームを復号するためのプロセスの一例を示す。
【発明を実施するための形態】
【００２４】
５．実施形態の詳細な説明
次に本内容を図面に関して説明し、図面では全体を通して同様の要素を指すために同様の参照番号を使用する。以下の説明では、本内容の完全な理解を与えるために多数の具体的詳細を説明目的で記載する。但し本内容の実施形態はそれらの具体的詳細なしに実践できることが明白であり得る。
【００２５】
本明細書の非限定的な実施形態によれば、３Ｄオブジェクトの１つ又は複数の点の属性を修正するための方法及び装置が開示される。
【００２６】
以下、画像は画像（又はビデオ）のピクセル値に関する全ての情報、並びに例えば画像（又はビデオ）を視覚化し及び／又は復号するためにディスプレイ及び／又は他の任意の装置によって使用され得る全ての情報を規定する特定の画像／ビデオ形式にあるサンプル（ピクセル値）の１つ又は幾つかのアレイを含む。画像は、サンプルの第１のアレイの形を取る、通常は輝度（又はルミナンス）成分である少なくとも１つの成分と、場合によるとサンプルの少なくとも１つの他のアレイの形を取る、通常は色成分である少なくとも１つの他の成分とを含む。又は同等に、同じ情報が従来の三色ＲＧＢ表現等の色サンプルの１組のアレイによって表現される場合もある。
【００２７】
以下、ピクチャは画像、即ちサンプルのアレイとして、又は画像の集合として考えることができる。
【００２８】
ピクセル値はｎｖ値のベクトルによって表され、ｎｖは成分の数である。ベクトルのそれぞれの値は、ピクセル値の最大ダイナミックレンジを定めるビット数で表される。
【００２９】
本原理は、三次元（３Ｄ）オブジェクトの１つ又は複数の点の属性を修正するための方法（及びそのように構成される機器）の特定の実施形態に関して説明する。属性は点群の点に関連し、テクスチャ情報（テクスチャ属性）及び／又は深度情報（深度属性）に対応する。深度（又は距離）属性は深度画像内に記憶され（即ち深度画像のピクセルに関連し）、テクスチャ（又は色）属性はテクスチャ画像内に記憶される（即ちテクスチャ画像のピクセルに関連する）。属性を修正する（深度及び／又はテクスチャ）ための候補である３Ｄオブジェクトの１つ又は複数の点（第１の点と呼ぶ）を識別する。属性を修正するための候補である点は、深度画像内のこの候補点の近傍に関連する深度情報と比較して矛盾した関連深度属性を有する点である。深度属性間の比較は深度画像内で行うことができ、深度画像の各ピクセルは３Ｄオブジェクトの１つの対応する点に関連する。識別済みの第１の点の近傍を深度画像及びテクスチャ画像の両方において分析して、この識別済みの第１の点の属性が訂正可能かどうか、即ち識別済みの第１の点の属性を修正するために使用可能な信頼できる情報が深度及び／又はテクスチャ画像内にあるかどうかを判定する。識別済みの第１の点の属性が訂正可能だと判定される場合、深度画像及び／又はテクスチャ画像内のこの第１の点の近傍を使用して属性（深度及び／又はテクスチャ属性）を修正する。
【００３０】
深度画像（個々にテクスチャ画像）内の３Ｄオブジェクトの点の近傍は、前述の３Ｄオブジェクトの点に対応する深度画像（個々にテクスチャ画像）のピクセルの近傍に位置する深度画像（個々にテクスチャ画像）のピクセルに対応する。ピクセルの近傍は、例えばこの例に限定されないが、前述のピクセルに隣接する全てのピクセルを包含し得る。例えば近傍は、前述のピクセルに隣接するピクセル、及び前述のピクセルに隣接する各ピクセルに隣接する全てのピクセル、又は更に多くのピクセルを包含し得る。
【００３１】
属性が訂正可能かどうかを判定することは、属性を確実に訂正できない点を迅速に破棄することを可能にし、したがって処理時間及び資源を節約する。（３Ｄオブジェクトの３Ｄ空間の代わりに）深度画像を使用することは、どの点が誤っている可能性があるのか（例えば自らが属するオブジェクトに対応しないテクスチャをどの点が有し得るのか）を迅速に識別することを可能にし、深度画像及びテクスチャ画像の両方を使用することは、識別済みの第１の点（誤った又は疑わしい点）の属性を訂正するためにどの点を使用することができるのかを確実に判定することを可能にする。
【００３２】
３Ｄオブジェクトの深度画像及び関連するテクスチャ画像の単一の対に関して説明したとしても、本原理は深度及び関連するテクスチャ画像の複数の対に同様に適用される。
【００３３】
図１は、非限定的な実施形態による、３Ｄオブジェクト又はその一部の２つの異なる表現を示す。３Ｄオブジェクトは、例えば複数の３Ｄオブジェクトを含む３Ｄシーンに属することができる。図１の例によれば、オブジェクトは例えばシーン内で移動する人物であり、頭部に対応するオブジェクトの一部が図１に示されている。図１は、オブジェクト１０の三次元（３Ｄ）モデル及び３Ｄモデル１０に対応する点群１１の点も示し得る。モデル１０は３Ｄメッシュ表現とすることができ、点群１１の点はメッシュの頂点であり得る。点１１は、メッシュの面の表面に広がる点とすることもできる。モデル１０は群の点１１のスプラットされたバージョンとして表すこともでき、モデル１０の表面は群の点１１の点をスプラットすることによって作成される。モデル１０は、ボクセル又はスプライン等の多くの異なる表現によって表すことができる。図１は、３Ｄオブジェクトの表面表現から点群を定めることが常に可能であること、及び逆に群の点から３Ｄオブジェクトの表面表現を作成することが常に可能であることを示す。本明細書で使用するとき、３Ｄオブジェクトの点を（３Ｄシーンの拡張点によって）画像に投影することは、この３Ｄオブジェクトの任意の表現をオブジェクトに投影することと等価である。
【００３４】
オブジェクトの一部の第１の表現１０は点群である。点群はオブジェクト、例えばオブジェクトの外面又は外部形状を表す点の大きな集合に相当する。点群はベクトルベースの構造として見ることができ、各点はその座標（例えば三次元座標ＸＹＺ又は所与の視点からの深度／距離）と、成分とも呼ばれる１つ又は複数の属性とを有する。成分の一例は様々な色空間、例えばＲＧＢ（赤色、緑色、及び青色）又はＹＵＶ（Ｙは輝度成分でありＵＶは２つのクロミナンス成分である）内で表すことができる色成分である。点群は、所与の視点又は一連の視点から見たオブジェクトの表現である。点群は様々なやり方、例えば
・深度アクティブ検知装置によって任意選択的に補完されるカメラのリグによって撮像された現実オブジェクトの捕捉から、
・モデリングツール内の仮想カメラのリグによって撮像された仮想／合成オブジェクトの捕捉から、
・現実オブジェクト及び仮想オブジェクトの両方の混合から
得ることができる。
【００３５】
（現実オブジェクトの捕捉に由来する）第１の事例では、１組のカメラが異なるビュー（異なる視点）に対応する１組の画像又は一連の画像（ビデオ）を生成する。各カメラ中心からオブジェクト表面までの距離を意味する深度情報が、例えば赤外領域内で及び構造化光分析又は飛行時間に基づくアクティブ深度検知装置によって、又は視差アルゴリズムに基づいて取得される。何れの場合にも、全てのカメラを内的に及び外的に較正する必要がある。視差アルゴリズムは、典型的には１次元ライン沿いに作成される１対の補正されたカメラ画像上の同様の視覚的特徴を探索することで構成され、ピクセル列の差が大きくなるほどこの特徴の表面が近くなる。カメラアレイの場合、複数のカメラの対の利点を利用し、複数のピア視差情報を組み合わせることによってグローバル深度情報を得ることができ、それにより信号対雑音比を改善する。
【００３６】
第２の事例（合成オブジェクト）では、モデリングツールが深度情報を直接提供する。
【００３７】
点群１０は時間と共に進化する動的な点群とすることができ、即ち点の数は時間と共に変化する可能性があり、及び／又は１つ又は複数の点の位置（例えば座標Ｘ、Ｙ、及びＺの少なくとも１つ）が経時変化し得る。点群の進化は、点群によって表されるオブジェクトの動き及び／又はオブジェクト若しくはオブジェクトの一部の任意の形状変化に対応し得る。
【００３８】
点群１０は、ピクチャ内で又は時間的に連続したピクチャの１つ又は複数のグループ内で表すことができ、各ピクチャは決定された時点「ｔ」における点群の表現を含む。時間的に連続したピクチャの１つ又は複数のグループは、点群１０の少なくとも一部を表すビデオを形成することができる。
【００３９】
オブジェクトの一部の第２の表現１１は点群表現１０から取得することができ、この第２の表現は表面表現に相当する。その表面を計算するために点群を処理することができる。そのために、点群の所与の点について、この所与の点における局所表面に対する法線を計算するためにこの所与の点の近傍の点を使用し、この所与の点に関連する表面要素は法線から導出される。このプロセスは表面を得るために全ての点に対して繰り返される。点群から表面を再構築するための方法は、例えば“State of the Art In Surface Reconstruction from Point Clouds”, State of the Art Report, 2014の中でMatthew Bergerらによって記載されている。改変形態によれば、点群の所与の点に関連する表面要素は、この所与の点にスプラットレンダリングを適用することによって得られる。オブジェクトの表面（オブジェクトの陰面又は外面とも呼ばれる）は、点群の点に関連する全てのスプラット（例えば楕円面）を混合することによって得られる。
【００４０】
特定の実施形態では、点群がオブジェクト全体ではなくオブジェクトの部分的なビューしか表さず、かかる部分的なビューは、オブジェクトがレンダリング側、例えば映画のシーン内でどのように見られるべきかに対応する。例えば平面カメラアレイの方を向いているキャラクタを撮像することはリグ側の点群だけを生成する。キャラクタの背後は存在すらしておらず、オブジェクト自体が閉じておらず、従ってオブジェクトの幾何学的特性はリグの方を向いている１組の全ての表面である（各局所表面の法線と取得装置に戻る光線との間の角度は例えば９０°未満である）。
【００４１】
図２Ａ及び図２Ｂは、本原理の特定の非限定的な実施形態による、点群１０のピクチャをそれぞれ示す。
【００４２】
図２Ａは、点群のピクチャ２０、例えば点群のＧＯＰ（ピクチャ群：Group of Pictures）のピクチャの第１の例を示す。ピクチャ２０は１組のｎ個の画像２０１、２０２、２０３、２０ｎで構成され、ｎは２以上の整数である。画像２０１から２０ｎのそれぞれはピクセルのアレイに対応し、そのサイズ及び／又は定義は画像ごとに異なり得る。例えば画像２０１及び２０ｎの定義は同じであるのに対し、画像２０２、２０３の定義は互いに及び画像２０１及び２０ｎの定義と異なる。図２Ａの例では、画像２０１から２０ｎは、画像間の重複なしにピクチャ２０の全体を覆うように空間的に配置されている。改変形態によれば、画像２０１から２０ｎがピクチャ全体を覆うことはなく、画像２０１から２０２の間に又はそれらの少なくとも一部の間に空間が存在し、即ち隣接する２つの画像のエッジが接触しない場合がある。画像２０１から２０ｎの各ピクセルにデータ、例えばテクスチャ情報及び／又は深度情報が関連し得る。テクスチャ情報は、例えば色空間（例えばＲＧＢ色空間又はＹＵＶ色空間）の各チャネルに関連するグレーレベルの形で記憶することができ、各チャネルのグレーレベルは例えば第１の決定されたビット数、例えば８ビット、１０ビット、又は１２ビットで表される。深度情報は、第２の決定されたビット数、例えば８ビット、１０ビット、又は１２ビットを用いて例えばαチャネル内の値の形で記憶することができる。従って、決定された時点「ｔ」における点群を表すために、４つの成分ＲＧＢα又はＹＵＶα（例えば４つの１０ビットチャネル）が例えばピクチャ２０内の各ピクセルに関連し得る。改変形態によれば、第１のピクチャ２０はテクスチャ情報（例えば３つの成分ＲＧＢ又はＹＵＶ）を記憶するために使用され、画像の同じ配置を有する第２のピクチャが深度情報を記憶するために使用され、どちらのピクチャも時点「ｔ」における点群を表す。ピクチャ２０を形成する１組の画像は、例えば投影、例えば図３に示すように第１の画像につき異なる投影に従って点群の点を投影することによって得ることができる。
【００４３】
図３は、本原理の非限定的な例による、点群１０の少なくとも一部に境界をつける立方体３１を示す。
【００４４】
立方体３１は、例えば第１の細分レベルにおいて８個の下位の立方体へと細分される（明瞭にするために８個の下位の立方体のうちの１個の下位の立方体３２だけを示す）。下位の立方体３２は、第２の細分レベルにおいて更に８個の下位の立方体へと細分される（明瞭にするために８個の下位の立方体のうちの１個の下位の立方体３３だけを示す）。各細分レベルにおいて、点群の点の一部を立方体の１つ又は複数の面（例えば灰色で埋めた面）上に（例えば正投影に従って）投影することができる。例えば点群の点は、立方体３１の面３０１上に、立方体３２の面３０２上に、及び立方体３３の面３０３上に投影される。立方体の細分レベルに依存する定義／サイズを有するピクセルのアレイを形成するために、これらの面を例えば離散化する。例えば立方体の面のピクセルに関して、前述のピクセル上に投影される点群の点は、前述のピクセルからの及び前述のピクセルを含む面に対して直角な光線を追跡するとき前述のピクセルから最も近い点群の点に対応する。前述のピクセルに関連する属性は、前述のピクセル上に投影される点の属性（テクスチャ及び／又は深度）に対応する。
【００４５】
面３０１は、例えば画像２０１を形成するために使用され、面３０２は画像３０２を形成するために使用され、面３０３は画像３０３を形成するために使用される。
【００４６】
図２Ｂは、点群のピクチャ２１、例えば点群のＧＯＰのピクチャの第２の例を示す。ピクチャ２１は、１組のｍ個の画像２１１、２１２、２１３、２１４、２１ｍで構成され、ｍは２以上の整数である。画像２１１から２１ｍの配置はピクチャ２０の配置と異なることができ、例えば画像２１１から２１ｍの間には空き空間がある。画像２１１から２１ｍは様々なサイズ及び／又は定義を有し得る。各ピクチャは点群の点から属性を受け取ることができ、前述の属性は各画像２１１から２１ｍのピクセルの少なくとも一部に関連する。例えば点群から属性を受け取る各画像の一部を灰色の領域として示す一方、点群から属性を受け取らない画像の一部を白い領域として示し、前述の白い領域は画像間の空き空間のように既定値で埋めることができる。図２Ａのピクチャ２０と同様に、画像２１１から２１ｎのピクセルに関連するデータはテクスチャ情報及び／又は深度情報に対応し得る。改変形態では、第１のピクチャ２１はテクスチャ情報（例えば３つの成分ＲＧＢ又はＹＵＶ）を記憶するために使用され、画像２１１から２１ｍの同じ配置を有する第２のピクチャ２１が深度情報を記憶するために使用され、どちらのピクチャも時点「ｔ」における点群を表す。
【００４７】
ピクチャ２１を形成する１組の画像は、例えば１つ又は複数の第１の画像、及びことによると１つ又は複数の第２の画像を含むことができる。第１の画像（それぞれの第１の画像の少なくとも灰色の領域）は、例えば第１の投影、例えば図４に示すように第１の画像につき異なる第１の投影に従って点群の点を投影することによって得ることができる。
【００４８】
図４は、本原理の非限定的な例による、ピクチャ２１を形成する１組の画像の第１の画像を取得することを示す。３Ｄオブジェクト４を表す点群は複数の３Ｄ部分、例えば５０個、１００個、１０００個以上の３Ｄ部分に分割され、これらのうちの３個、即ち３Ｄ部分４２、４３、及び４４を図４に示し、３Ｄ部分４４は（例えば図１の点群１０に対応する）人物の頭部の一部を表す点群の点を含み、３Ｄ部分４２は人物の脇を表す点群の点を含み、３Ｄ部分４３は人物の手を表す点群の点を含む。各３Ｄ部分を二次元で、即ち２Ｄパラメータ化に従って表すために、各３Ｄ部分の又は３Ｄ部分の一部の１つ又は複数の画像を生成する。例えば２Ｄパラメータ化４０１が３Ｄ部分４４について得られ、２Ｄパラメータ化４０２が３Ｄ部分４２について得られ、２つの異なる２Ｄパラメータ化４０３及び４０４が３Ｄ部分４３について得られる。２Ｄパラメータ化は３Ｄ部分ごとに異なり得る。例えば３Ｄ部分４１に関連する２Ｄパラメータ化４０１は線遠近法投影であるのに対し、３Ｄ部分４２に関連する２Ｄパラメータ化４０２はＬＬＥであり、３Ｄ部分４３に関連する２Ｄパラメータ化４０３及び４０４はどちらも異なる視点による正投影である。改変形態によれば、全ての３Ｄ部分に関連する全ての２Ｄパラメータ化が同じ種類、例えば線遠近法投影又は正投影のものである。改変形態によれば、同じ３Ｄ部分に異なる２Ｄパラメータ化を使用することができる。
【００４９】
点群の或る所与の３Ｄ部分に関連する２Ｄパラメータ化は、所与の３Ｄ部分のサンプリングを可能にする点群の所与の３Ｄ部分の２次元での閲覧に対応し、即ちこの所与の３Ｄ部分のコンテンツ（即ち点）の２Ｄ表現は（第１の画像のピクセルに対応し得る）複数のサンプルを含み、その数は適用されるサンプリングステップに依存する。２Ｄパラメータ化は様々なやり方で、例えば以下の方法の何れか１つを実施することによって得ることができる：
−視点に関連する平面上に点群の３Ｄ部分の点を線遠近法投影すること。線遠近法投影を代表するパラメータは仮想カメラの位置、空間的なサンプリングのステップ、及び２次元での視野を含む。
−点群の３Ｄ部分の点を表面上に正投影すること。正投影を代表するパラメータは投影表面のジオメトリ（形状、サイズ、及び方向）及び空間的なサンプリングのステップを含む。
−本明細書では３Ｄから２Ｄに変換／変形するために適用される次元縮小の数学演算に相当するＬＬＥ（局所線形埋め込み：Locally-Linear Embedding）。ＬＬＥを代表するパラメータは変換係数を含む。
【００５０】
ピクチャ２１に対するパッキングプロセスを容易にするために、各画像は有利には矩形の形状を有する。
【００５１】
図５は、本原理の非限定的な例による、３Ｄオブジェクトの点と３Ｄオブジェクトに関連する深度マップのピクセルとの間の関連付けを示す。図５は深度マップの一例を示すが、３Ｄオブジェクトに関連するテクスチャ画像にも同じことが当てはまる。３Ｄオブジェクトに関連する深度画像と３Ｄオブジェクトに関連するテクスチャ画像との唯一の違いは、深度画像及びテクスチャ画像が含むデータにある。深度画像は深度（距離）情報を（深度画像のピクセルごとに）含むのに対し、テクスチャ画像はテクスチャ（色）情報を（テクスチャ画像のピクセルごとに）含む。図５は、点５１を含む１組の点５を示す。１組の点５は、例えば図１の点群１０の点の部分集合又は３Ｄオブジェクト１０、１１の少なくとも一部を含む３Ｄシーンの１組の点である。深度画像５００は３Ｄオブジェクトに関連し、図５には深度画像５００の一部しか図示しておらず、深度画像はピクセルのアレイを含む矩形画像に概して対応する。２つの異なる灰色の陰影を使い、深度画像５００の２つの異なる領域５００１及び５００２を図５に示す。第１の領域５００１は灰色の濃い陰影を使って図示するのに対し、第２の領域５００２は灰色の薄い陰影を使って図示している。破線で示すエッジ５００３により、第１の領域５００１と第２の領域５００２とが互いに隔てられている。第１の領域５００１は例えば３Ｄオブジェクトの第１の部分に関連し、第２の領域は３Ｄオブジェクトの第２の部分に関連し、第１の部分は例えば第２の部分に対して前景に位置する。別の例によれば、第１の領域５００１が３Ｄシーンの第１のオブジェクトに関連し、第２の領域５００２が、第１のオブジェクトに対して前景に位置する３Ｄシーンの第２のオブジェクトに関連する。どちらの例でも、第１の領域５００１に関連する深度情報が第２の領域５００２に関連する深度情報と異なる。テクスチャ画像に適用される場合、前のどちらの例も第１の領域５００１に関連するテクスチャ情報が第２の領域５００２に関連するテクスチャ情報と異なることを含意する。
【００５２】
図５の例によれば、１組の点５の点５１は深度画像５００のピクセル５０１に関連する。深度画像５００（個々にテクスチャ画像）内の点５１の近傍は、点５１に対応するピクセル５０１の近傍に位置する深度画像（個々にテクスチャ画像）のピクセルに対応する。ピクセル５０１の近傍は、例えばピクセル５０１に隣接する（及びその周りに位置する）１組のピクセル５０２から５０９に対応し得る。この例によれば、近傍はピクセル５０１を中心とした９ピクセルのブロックのピクセル５０１を除くピクセルに対応し、即ち近傍はピクセル５０１を取り囲むブロックの８ピクセルを含む。別の例によれば、ピクセル５０１の近傍は、前述のピクセル５０２から５０９に隣接するピクセル５１０から５２５と共に、前述のピクセル５０１に隣接するピクセル５０２から５０９を含む。この例によれば、近傍はピクセル５０１を中心とした２５ピクセルのブロックのピクセル５０１を除くピクセルに対応し、即ち近傍はピクセル５０１を取り囲むブロックの２４ピクセルを含む。別の例によれば、ピクセル５０１の近傍は、前述のピクセル５０１を含むが前述のピクセル５０１を中心としないピクセルのブロック、例えばピクセル５０１から５１８を含むピクセルのブロック又はピクセル５０１を含む任意の形状のスーパーピクセルに対応し得る。
【００５３】
図６は、本原理の非限定的な実施形態による、例えば（図９に関して説明した）装置９内で実施される３Ｄシーンの点の属性を修正する方法を示す。
【００５４】
最初の操作６１で、３Ｄシーンに関連する深度画像、又は図２Ａ、図２Ｂ、及び／又は図４に関して説明したように幾つかの深度画像が３Ｄシーンに関連する場合は３Ｄシーンに関連する深度画像の１つを分析することにより、３Ｄシーンの１つ又は複数の点（例えば点群１０の１つ又は複数の点）を識別する。識別した３Ｄシーンの点を第１の点と呼ぶ。深度画像の各ピクセルは３Ｄシーンの１つの点に対応し、３Ｄシーンの点に関連する深度情報を含む。３Ｄシーンの第１の点を識別するために、深度画像内のこの第１の点の近傍を分析する。図５に関して説明したように、深度画像内の３Ｄシーンの点の近傍は３Ｄシーンの前述の点に関連する深度画像のピクセルの近傍に対応する。第１の点を識別することは、３Ｄシーンのどの点が深度画像内のそれらの点の近傍に対して矛盾しているのかを明らかにすることを目指し、第１の点は、それらの点のそれぞれに関連する深度に関して疑いがあるので疑わしい点とも呼ばれる。２つの領域５００１及び５００２がエッジ５００３によって隔てられている図５の例にあるような、異なる深度にある異なるオブジェクト間のエッジ又はオブジェクトの異なる部分間のエッジ上に又はかかるエッジ付近に位置する点に対して例えば間違った深度が割り当てられる場合がある。第１の点（又は疑わしい点）は、（深度画像内の第１の点の対応するピクセルに関連する）第１の点の深度情報が、第１の点の近傍に関連する深度と深度情報の正確さが疑われるほど異なる場合に識別することができる。第１の点は、例えば第１の点の深度情報を第１の点の近傍に関連する深度情報と比較することによって識別することができ、第１の点の深度情報と第１の点の近傍の深度情報（例えば平均深度）との差が第１の決定値を上回る場合、第１の点であるものとして点を識別する。
【００５５】
第２の操作６２で、操作６１の間に識別した第１の点の属性（即ち深度情報及び／又はテクスチャ情報）が訂正可能かどうかを判定する。この判定は、深度画像内の識別済みのそれぞれの第１の点の近傍を分析すること、及びテクスチャ画像内の前述の識別済みのそれぞれの第１の点の近傍を分析することに基づく。深度画像及びテクスチャ画像の所与の第１の点に対応するピクセルに対して同じ位置にある同数のピクセル（例えば深度画像及びテクスチャ画像内の前述の所与の第１の点に対応するピクセルを中心とした９ピクセルのブロック（即ちかかるピクセルを取り囲む８ピクセル））をどちらの近傍も含む場合、深度画像内の３Ｄシーンの前述の所与の第１の点の近傍は３Ｄシーンの１組の点を指し、テクスチャ画像内の３Ｄシーンの前述の所与の第１の点の近傍は３Ｄシーンの同じ１組の点を指す。
【００５６】
第３の操作６３で、深度画像及び／又はテクスチャ画像内の前述の第１の点の近傍の属性を使用し、操作６２の間に訂正可能だと判定した第１の点の属性を修正する。前述の第１の点に関して、深度情報は例えば深度画像内の近傍の深度情報を使用することによって修正することができ、テクスチャ情報はテクスチャ画像内の前述の第１の点の少なくとも１つの点のテクスチャ情報を使用することによって修正することができる。操作６３は、操作６２で訂正可能だと判定した属性を有する第１の点ごとに繰り返すことができる。
【００５７】
図７は、本原理の非限定的な実施形態による、３Ｄシーンの点の中の１つ又は複数の第１の点を識別する方法を示す。操作６１は、例えば疑わしい点と呼ぶ第１の点を識別するための図７の方法に基づくことができる。３Ｄシーンの現在の点に関して（即ち深度画像の空間内の３Ｄ点に対応する深度画像の現在のピクセルを用いて）図７の方法を説明する。当然ながら、前述の現在の点に適用される操作は、疑わしい点を識別するために３Ｄシーンの各点に又は３Ｄシーンの少なくとも一部に適用することができる。例えば図７の方法の操作は、３Ｄシーンに関連する深度画像の全てのピクセル又はピクセルの一部に適用することができる。例えば９ピクセル又は２５ピクセルのスライディングブロックを深度画像の複数のピクセルの各ピクセルの周りで決定し、分析を行って３Ｄシーンの第１の点（疑わしい点）にそれらのピクセルが対応するかどうかを判定することができる。図７の方法の操作についての説明は、図５の点５１及び深度画像５００の点５１の対応するピクセル５０１の例を使用して記載する。
【００５８】
最初の操作７１で、深度画像内の点５１の近傍の第２の点を決定する。近傍は、例えば点５１に対応するピクセル５０１を中心とした深度画像５００のピクセル、例えばピクセル５０２から５０９又はピクセル５０２から５２５のブロックとして定義する。第２の点は、（深度画像内に記憶され深度画像内のその対応するピクセルに関連する）第２の点の深度情報を（同じく深度画像内に記憶されピクセル５０１に関連する）点５１の深度情報と比較することによって点５１の近傍で決定される。深度差をth_dubiousと呼ぶ第１の決定値と比較し、深度差が第１の決定値を上回る場合、近傍の点を所謂第２の点であるものとして決定する。実際的に、各ピクセル５０２から５０９（個々に５０２から５２５）の深度情報をピクセル５０１の深度情報と比較し、深度差が第１の決定値を上回る場合、３Ｄシーンの対応する点を第２の点として識別し又はラベル付けする。第１の決定値は、例えば５、１０、２０、又は５０に等しくあり得る。
【００５９】
第２の操作７２で、操作７１の間に決定した第２の点を数え上げ、第２の点の数N2nd pointsをN_dubiousと呼ぶ第２の決定値と比較する。第２の点の数N2nd pointsが第２の決定値N_dubious以上である場合は点５１を第１の点、即ち疑わしい点であるものとして識別する。第２の点の数N2nd pointsが第２の決定値N_dubiousを下回る場合は点５１を第１の点ではないものとして、即ち関連する深度がその近傍と矛盾しておらず、従って正しい３Ｄシーンの点であるものとして識別する。第２の決定値は、例えば第１の点を識別するために検討される近傍の点の数に依存し得る。例えば検討する近傍が８個の点を含む場合、第２の決定値N_dubiousは例えば２、３、又は４に等しくあり得る。検討する近傍が２４個の点を含む場合、第２の決定値N_dubiousは例えば５、８、又は１０に等しくあり得る。
【００６０】
第１の点であるものとして点５１を識別したら、３Ｄシーンの識別済みの第１の点を含むリストに第１の点５１を追加することができ、このリストは例えば以下の操作（例えば操作６２）に使用される。
【００６１】
第１の点は、シーンの２つのオブジェクト間のエッジ又はシーンの同じ３Ｄオブジェクトの２つの異なる部分間のエッジに又はかかるエッジ付近に位置する点に対応する。第１の点は、例えばピクセル５２３、５０９、５０８、５０１、５０６、５０５、５１７、及び５１６に対応する３Ｄシーンの点に対応し得る。これらの点５２３、５０９、５０８、５０１、５０６、５０５、５１７、及び５１６について、その深度及び／又はテクスチャについて疑いがある場合がある。例えばかかる第１の点に関連する深度は、第１の領域５００１の深度と第２の領域５００２の深度との間の値に相当し得る。同じように、かかる第１の点に関連するテクスチャは第１の領域５００１に関連するテクスチャと第２の領域５００２に関連するテクスチャとの混合に相当し得る。深度及び／又はテクスチャの誤りは、例えば３Ｄオブジェクトのデータを符号化するとき及び／又は３Ｄオブジェクトのデータを復号するとき発生する誤りによって現れ得る。
【００６２】
図８は、本原理の非限定的な実施形態による、第１の点の属性を訂正できるかどうかを判定するための方法を示す。操作６２及び６３は、例えば図８の方法の操作に基づく又はかかる操作を含むことができる。
【００６３】
最初の操作８１で、（例えば図７に関して説明したように生成されている）リスト８０１の第１の点を選択する。選択される第１の点は、まだ処理されていないリストの第１の点に対応する。一例として、選択される第１の点は第１の点５１に対応する。
【００６４】
第２の操作８２で、選択した第１の点５１の近傍のどの点が、選択した第１の点５１に対してth_repair_geoと呼ぶ第３の決定値を下回る深度差を有するのかを深度画像内で明らかにする。後者の不等性を満たす選択した第１の点５１の近傍の点を第３の点と呼ぶ。その目標を達成するために、選択した第１の点５１に対応するピクセル５０１の近傍を分析する。この近傍は、第１の点を識別するために使用する近傍と同じであり得る（例えば操作７１参照）。改変形態によれば、この近傍は第１の点を識別するために使用する近傍と異なる。ピクセル５０１の近傍の各ピクセル（例えばピクセル５０２から５０９又はピクセル５０２から５２５）の深度情報をピクセル５０１の深度情報と比較し、深度差が第３の決定値を下回る場合、３Ｄシーンの対応する点を第３の点として識別し又はラベル付けする。第３の決定値th_repair_geoは、例えば３、５、又は１０に等しくあり得る。第３の点を決定することは、選択した第１の点５１の近傍のどの点が３Ｄシーンの同じオブジェクトに（又は３Ｄオブジェクトの同じ部分に）属する可能性が高いのかを識別することを可能にする。図５の例によれば、ピクセル５０１はエッジ５００３上だが第１の領域５００１の側に位置するので、第３の点はピクセル５０９、５０２、５０３、５０４、及び５０５に対応する点に相当することができ、ピクセル５０９、５０２、５０３、５０４、及び５０５も第１の領域５００１に属する。
【００６５】
第３の操作８３で、操作８２の間に決定した第３の点５０９、５０２、５０３、５０４、及び５０５を数え上げ、第３の点の数Nthird pointsをN_repair_geoと呼ぶ第５の決定値と比較する。第３の点の数Nthird pointsが第５の決定値N_repair_geoを上回る場合、訂正可能又は修復可能なジオメトリ（深度情報）を有するものとして点５１を識別し又はラベル付けし、即ち選択した第１の点５１の近傍には第１の点５１の深度に十分近い深度を有する十分な点があり、即ち点５１の深度及び／又はテクスチャを必要に応じて訂正し又は修復するために使用することができる近傍の十分な点がある。この場合、選択した第１の点５１を以下の操作８４によって更に処理する。
【００６６】
第３の点の数Nthird pointsが第５の決定値N_repair_geoを下回る場合、訂正又は修復することができない属性を有するものとして点５１を識別し又はラベル付けし、別の第１の点をリスト８０１内で選択し、その新たに選択した第１の点に対して操作８２及び８３を繰り返す。
【００６７】
第３の決定値は、例えば第３の点を決定するために検討される近傍の点の数に依存し得る。例えば検討する近傍が８個の点を含む場合、第３の決定値N_repair_geoは例えば２又は３に等しくあり得る。検討する近傍が２４個の点を含む場合、第３の決定値N_repair_geoは例えば５、６、７、又は８に等しくあり得る。
【００６８】
第４の操作８４で、選択した第１の点５１に関連するテクスチャを訂正／修復するために使用可能な第４の点と呼ばれる少なくとも１つの点が選択した第１の点５１の近傍にあるかどうかを判定する（選択した第１の点５１が訂正可能だと操作８３で識別している場合）。その目標を達成するために、操作８２の間に決定した第３の点の１つが、選択した第１の点５１のテクスチャ情報を訂正するために使用可能な点のリスト８０２に属するかどうかを判定する。疑わしい点のテクスチャ情報を訂正するために使用可能な点、即ち第４の点は、例えば同じオブジェクトに（又はオブジェクトの同じ部分に）属する点（即ち第３の点である点、即ち疑わしい点の深度に近い深度を有する点）であり、且つそれ自体が疑わしい点ではない点（即ちエッジ上にない点）である。操作８２で決定した第３の点、即ち第３の点５０９、５０２、５０３、５０４、及び５０５のうち、点５０２、５０３、及び５０４は第１の領域５００１の中に完全に位置し且つエッジ５００３上に位置しないので、点５０２、５０３、及び５０４は点５０１のテクスチャを訂正するために使用可能な適格点であり得る。
【００６９】
選択した第１の点５１の属性を訂正するために使用可能な少なくとも１つの点が選択した第１の点５１の近傍にある場合、選択した第１の点５１を操作８５によって更に処理する。選択した第１の点５１の属性を訂正するために使用可能な点が選択した第１の点５１の近傍にない場合はこのプロセスは終了し、操作８２から８４によって処理されるようにリスト８１から更なる第１の点を選択する。
【００７０】
第５の操作８５で、選択した第１の点５１の属性を修正する。例えば深度属性は、例えば第３の点５０９、５０２、５０３、５０４、及び５０５に関連する深度値を平均することにより、第３の点５０９、５０２、５０３、５０４、及び５０５に関連する深度情報を使用することによって修正され、深度情報は深度画像内に記憶される。別の例によれば、深度属性はリスト８０２に属する第３の点５０２、５０３、及び／又は５０４の深度属性を使用することによって修正される。例えばリスト８０２内に含まれる第３の点５０２、５０３、及び／又は５０４に関連するテクスチャ情報を使用することにより、選択した第１の点５１のテクスチャ属性も修正することができ、これらの第３の点５０２、５０３、及び／又は５０４のテクスチャ情報はテクスチャ画像内に記憶される。
【００７１】
選択した第１の点５１の属性を修正、即ち修復し又は訂正したら、選択した第１の点５１を疑わしい点のリスト８０１から除去し、更なる疑わしい点のテクスチャ情報を訂正するために使用可能な点のリスト８０２に追加する。
【００７２】
次いで、更なる第１の点（疑わしい点）をリスト８０１から選択し、その更なる第１の点に対して操作８１から８５を繰り返すことができる。
【００７３】
任意選択的な操作８６では、テクスチャ画像内の選択した第１の点５１の近傍の点を検査して、選択した第１の点５１の属性、例えばテクスチャ属性を訂正するためにそれらの点が使用可能かどうかを確認する。テクスチャ画像内の選択した第１の点の近傍の各点を検査することができ、又は操作８２で識別した第３の点だけを検査する。テクスチャ画像内の選択した第１の点５１の近傍の点に対して行う検査は、テクスチャを訂正するためにその点が使用可能かどうかを判定することを目的とする。テクスチャ画像内の選択した第１の点５１の近傍の候補点について、深度画像内のこの候補点の近傍のどの点が候補点に対してth_repair_colorと呼ぶ第４の決定値を下回る深度差を有するのかを明らかにする。th_repair_colorの値は、第１の決定値th_dubiousと同じでも異なってもよい。候補点に対して第４の決定値を下回る深度差を有する深度画像内のこの候補点の近傍の点を第５の点と呼ぶ。
【００７４】
第５の点を数え上げ、第５の点の数Nfifth pointsをN_eligible_colorと呼ぶ第６の決定値と比較する。N_eligible_colorの値は、第２の決定値N_dubiousと同じでも異なってもよい。第５の点の数Nfifth pointsが第６の決定値N_eligible_colorを上回る場合、選択した第１の点５１のテクスチャ属性を訂正するために使用可能なものとして候補点を識別し、この候補点をリスト８０２に追加する。第５の点の数Nfifth pointsが第６の決定値N_eligible_colorを下回る場合、テクスチャ属性を訂正するために使用できないものとして候補点を識別し、この候補点をリスト８０２に追加しない。
【００７５】
改変形態によれば、操作８６は、操作８１から８４の前に又はそれらの操作と並行してリスト８０２を生成するためにテクスチャ画像全体に適用される。
図９は、本原理の非限定的な実施形態による、図６、図７、及び図８に関して記載した方法の少なくとも１つを実装するように適合された機器９のアーキテクチャの一例を示す。
機器９は、データ及びアドレスバス９１によってつながれる以下の要素、つまり
−例えばＤＳＰ（即ちデジタル信号プロセッサ）であるマイクロプロセッサ９２（又はＣＰＵ）、
−ＲＯＭ（即ち読取専用メモリ）９３、
−ＲＡＭ（即ちランダムアクセスメモリ）９４、
−記憶域インタフェース９５、
−アプリケーションから伝送するためのデータを受信するためのＩ／Ｏインタフェース９６、及び
−電源、例えば電池
を含む。
【００７６】
一例によれば、電源が装置の外部にある。言及したメモリのそれぞれにおいて、本明細書で使用する「レジスタ」という用語は小容量（数ビット）の領域又は非常に大きい領域（例えば全プログラム又は大量の受信データ若しくは復号データ）に対応し得る。ＲＯＭ９３は、少なくともプログラム及びパラメータを含む。ＲＯＭ９３は、本原理による技法を実行するためのアルゴリズム及び命令を記憶し得る。オンにされるとき、ＣＰＵ９２がプログラムをＲＡＭ内にアップロードし、対応する命令を実行する。
【００７７】
ＲＡＭ９４は、ＣＰＵ９２によって実行され、機器９がオンにされた後でアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の本方法の様々な状態の中間データ、及びレジスタ内の本方法の実行に使用される他の変数をレジスタ内に含む。
【００７８】
本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号によって実装され得る。単一形式の実装形態の脈絡でしか論じられていなくても（例えば方法又は装置としてしか論じられていなくても）、論じられた特徴の実装形態は他の形式（例えばプログラム）でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばコンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。
【００７９】
３Ｄシーンの点（例えば点群の点）及び関連するデータ／属性（例えば点の深度及びテクスチャ）が情報源から得られる。例えば情報源は、
−ローカルメモリ（９３又は９４）、例えばビデオメモリ又はＲＡＭ（即ちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（即ち読取専用メモリ）、ハードディスク、
−記憶域インタフェース（９５）、例えば大容量記憶域、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気支持とのインタフェース、
−通信インタフェース（９６）、例えば有線インタフェース（例えばバスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（IEEE 802.11インタフェース又はBluetooth（登録商標）インタフェース等）、及び
−ユーザがデータを入力することを可能にするグラフィカルユーザインタフェース等のユーザインタフェース
を含む組に属する。
【００８０】
復号／レンダリング又は復号器／レンダラの例によれば、復号済みの点又は再構築済みの３Ｄシーンが宛先に送信され、とりわけその宛先は、
−ローカルメモリ（９３又は９４）、例えばビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク、
−記憶域インタフェース（９５）、例えば大容量記憶域、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気支持とのインタフェース、及び
−通信インタフェース（９６）、例えば有線インタフェース（例えばバスインタフェース（例えばＵＳＢ（即ちユニバーサルシリアルバス））、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース、ＨＤＭＩ（高精細度マルチメディアインタフェース）インタフェース）又は無線インタフェース（IEEE 802.11インタフェース、WiFi（登録商標）インタフェース、又はBluetooth（登録商標）インタフェース等）
を含む組に属する。
【００８１】
例によれば、機器９は図６から図８の少なくとも１つに関して説明した方法を実装するように構成され、
−モバイル装置、
−通信装置、
−ゲーム機、
−タブレット（又はタブレットコンピュータ）、
−ラップトップ、
−静止画像カメラ、
−ビデオカメラ、
−符号化チップ、
−サーバ（例えばブロードキャストサーバ、ビデオオンデマンドサーバ、又はウェブサーバ）、
−セットトップボックス、
−ＴＶセット、及び
−ディスプレイ（例えばＨＭＤ等）
を含む組に属する。
【００８２】
図１０は、本原理の特定の及び非限定的な実施形態による、３Ｄシーン、例えば点群１０３の符号化／復号スキームの図を概略的に示す。
【００８３】
点群１０３は、モジュールＭ１０１内で実施される符号化プロセス１０１により、ビットストリーム１０４の形で符号化データへと符号化される。このビットストリームは、復号済みの点群１０５を得るために符号化データを復号するための復号プロセス１０２を実施するモジュールＭ１０２に伝送される。モジュールＭ１０１及びＭ１０２はハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせであり得る。
【００８４】
点群１０３はオブジェクト、例えばオブジェクトの外面又は外部形状を表す点の大きな集合に相当する。点群はベクトルベースの構造として見ることができ、各点はその座標（例えば三次元座標ＸＹＺ又は所与の視点からの深度／距離）と、１つ又は複数の成分とを有する。成分の一例は様々な色空間、例えばＲＧＢ（赤色、緑色、及び青色）又はＹＵＶ（Ｙは輝度成分でありＵＶは２つのクロミナンス成分である）内で表すことができる色成分である。点群は、１つ又は複数の視点から見たオブジェクトの表現であり得る。点群は様々なやり方、例えば
・深度アクティブ検知装置によって任意選択的に補完される１つ又は複数のカメラによって撮像された現実オブジェクトの捕捉から、
・モデリングツール内の１つ又は複数の仮想カメラによって撮像された仮想／合成オブジェクトの捕捉から、
・現実オブジェクト及び仮想オブジェクトの両方の混合から
得ることができる。
【００８５】
点群１０３は時間と共に進化する動的な点群とすることができ、即ち点の数は時間と共に変化する可能性があり、及び／又は１つ又は複数の点の位置（例えば座標Ｘ、Ｙ、及びＺの少なくとも１つ）が経時変化し得る。点群の進化は、点群によって表されるオブジェクトの動き及び／又はオブジェクト若しくはオブジェクトの一部の任意の形状変化に対応し得る。
【００８６】
点群１０３は、ピクチャ内で又は時間的に連続したピクチャの１つ又は複数のグループ内で表すことができ、各ピクチャは決定された時点「ｔ」における点群の表現を含む。時間的に連続したピクチャの１つ又は複数のグループは、点群１０３の少なくとも一部を表すビデオを形成することができる。
【００８７】
符号化プロセス１０１は、例えばイントラピクチャコード化及び／又はインタピクチャコード化を実施することができる。イントラピクチャコード化は、効果的なデルタコーディングのために既にコード化されたピクセルから外挿によって予測値を計算することにより、空間的冗長性、即ち１つのピクチャ内のピクセル間の相関を活用するイントラピクチャ予測に基づく。インタピクチャコード化は、時間的冗長性を活用するインタピクチャ予測に基づく。時間的に独立にコード化される所謂イントラピクチャ「Ｉ」は、イントラコード化だけを使用する。時間的にコード化される予測ピクチャ「Ｐ」（又は「Ｂ」）はイントラピクチャ予測及びインタピクチャ予測を使用することができる。
【００８８】
符号化プロセスによって符号化されたデータを復号するために、復号プロセス１０２は、例えば符号化プロセス１０１の逆の操作に相当し得る。
【００８９】
図１１は、データがパケットベースの伝送プロトコル上で伝送されるとき、例えば２つの遠隔装置間で伝送される信号の構文の一例を示す。各伝送パケットＰは、ヘッダＨ及びペイロードデータＰＡＹＬＯＡＤを含む。
【００９０】
実施形態によれば、ペイロードＰＡＹＬＯＡＤは以下の要素の少なくとも１つを含み得る：
−決定された時点ｔにおける点群を表す少なくとも１つのピクチャを表すビット。例えばこのビットは少なくとも１つのピクチャのピクセルに関連するテクスチャ情報及び／又は深度情報を表し得る。
−投影情報データ及び投影と少なくとも１つのピクチャの画像との間のマッピングを表すビット。
【００９１】
図１２は、本原理の特定の及び非限定的な実施形態による、３Ｄシーン、例えば点群１０３を符号化するための操作を示す。この操作は符号化プロセス１０１の一部とすることができ、図９の機器９によって実施され得る。
【００９２】
操作１２０で、点群のピクチャ２０のデータを符号器ＥＮＣ１によって符号化する。ピクチャ２０は例えばピクチャ群（ＧＯＰ）の一部であり、決定された時点「ｔ」における点群を表すデータを含む。ピクチャ２０は１組の画像を含むことができ、その組の画像の少なくとも１つはピクチャ２０のデータの少なくとも一部に対応する属性を含む。属性は、各画像内の点群の一部を決定済みの投影に従って投影することによって得ることができ、属性は前述の各画像上に投影される点群の一部の点の属性に対応する。属性は、テクスチャ（又は色）情報及び／又は深度（又は視点までの距離）情報に対応し得る。符号器ＥＮＣ１は、例えば以下のような旧来型の符号器に準拠する：
・ＪＰＥＧ仕様  ＩＳＯ／ＣＥＩ  １０９１８−１  ＵＩＴ−Ｔ勧告Ｔ．８１、https://www.itu.int/rec/T-REC-T.81/en
・ＭＰＥＧ−４  ＡＶＣ又はｈ２６４とも名付けられているＡＶＣ。ＵＩＴ−Ｔ  Ｈ．２６４及びＩＳＯ／ＣＥＩ  ＭＰＥＧ−４  Ｐａｒｔ１０（ＩＳＯ／ＣＥＩ  １４４９６−１０）の両方の中で規定されている。http://www.itu.int/rec/T-REC-H.264/en
・ＨＥＶＣ（その仕様はＩＴＵのウェブサイト、Ｔ勧告Ｈシリーズｈ２６５で見つかる。http://www.itu.int/rec/T-REC-H.265-201612-l/en）又は
・３Ｄ−ＨＥＶＣ（その仕様がＩＴＵのウェブサイト、Ｔ勧告Ｈシリーズｈ２６５で見つかるＨＥＶＣの拡張。http://www.itu.int/rec/T-REC-H.265-201612-l/en付録Ｇ及びＩ）
【００９３】
ピクチャ２０の符号化データは記憶し及び／又はビットストリーム１０４内で伝送することができる。
【００９４】
操作１２１で、ピクチャ２０の符号化データを復号器ＤＥＣ１によって復号する。復号器ＤＥＣ１は符号器ＥＮＣ１に準拠し、例えば
・ＪＰＥＧ、
・ＭＰＥＧ−４  ＡＶＣ又はｈ２６４とも名付けられているＡＶＣ
・ＨＥＶＣ、又は
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張）
等の旧来型の復号器に準拠する。
【００９５】
ピクチャ２０に関連する参照ピクチャ１２５を生成する際に使用するために、操作１２０で符号化した属性を操作１２１で復号及び取得し、例えばバッファメモリ内に記憶する。
【００９６】
モジュールＭ１２２が実施する操作１２２で、例えば符号化プロセス１２０／復号プロセス１２１から生じ得る疑わしい点の属性を修正／訂正するために、各画像を図６、図７、及び／又は図８に関して記載したように処理する。
【００９７】
参照ピクチャ１２５は、モジュールＭ１２２から得られる訂正済みの画像から得ることができる。
【００９８】
参照ピクチャ１２５は、モジュールＭ１２４が実施する操作１２４内で使用することができる。操作１２４は、例えばピクチャ２０と異なる点群の１つ又は複数のピクチャ（例えばピクチャ２０の時点「ｔ」と異なる決定された時点における点群のピクチャ）をコード化するためのインタ予測用の予測子を生成することを含む。次いで参照ピクチャ１２５を参照することにより、点群１０３又は点群を表すピクチャを符号化することができる。改変形態によれば、モジュールＭ１２４が符号器ＥＮＣ１の一部である。
【００９９】
当然ながら、参照ピクチャ１２５と同じやり方で複数の参照ピクチャを得ることができ、それらの複数のうちの各参照ピクチャは点群を表す特定のピクチャから得られ、点群１０３の符号化は１つ又は幾つかの参照ピクチャを参照する。
【０１００】
図１３は、本原理の特定の及び非限定的な実施形態による、ビットストリーム１０４から点群１０３の符号化バージョンを復号するための操作を示す。この操作は復号プロセス１０２の一部とすることができ、図９の機器９によって実施され得る。
【０１０１】
操作１３１で、点群の１つ又は複数のピクチャ（例えば１つ又は複数のＧＯＰの又はintra periodのピクチャ）の符号化データを受信ビットストリーム１０４から復号器ＤＥＣ２によって復号する。ビットストリーム１０４は１つ又は複数のピクチャの符号化データを含む。各ピクチャは１組の画像を含み、その組の画像の少なくとも１つは符号化されているピクチャのデータの少なくとも一部に対応する属性を含む。属性は、それぞれの第１の画像内の点群の一部を第１の投影に従って投影することによって得ることができ、属性は前述のそれぞれの第１の画像上に投影される点群の一部の点の属性に対応する。属性は、テクスチャ（又は色）情報及び／又は深度（又は視点までの距離）情報に対応し得る。復号器ＤＥＣ２は図１２の復号器ＤＥＣ１に対応することができ、例えば
・ＪＰＥＧ、
・ＭＰＥＧ−４  ＡＶＣ又はＨ２６４とも名付けられているＡＶＣ
・ＨＥＶＣ、又は
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張）
等の旧来型の復号器に準拠する。
【０１０２】
１つ又は複数の参照ピクチャ１３５を生成する際に使用するために、操作１３１で復号した属性を取得し、例えばバッファメモリ内に記憶し、各参照ピクチャは１つのピクチャに関連する。以下、明瞭にするために及び簡潔にする目的で１つのピクチャに関連する１つの参照ピクチャだけを検討する。
【０１０３】
（図１２のモジュールＭ１２２と同一であり得る）モジュールＭ１３２が実施する操作１３２で、例えば符号化プロセス１２０／復号プロセス１３１から生じ得る疑わしい点の属性を修正／訂正するために、復号済みの属性を図６、図７、及び／又は図８に関して記載したように処理する。
【０１０４】
（図１２の参照ピクチャ１２５と同一であり得る）参照ピクチャ１３５は、操作１２１で得た復号済みの第１の属性を操作１２３で得た第２の属性と融合することによってピクチャから得ることができる。参照ピクチャはピクチャと同じ構造、即ち１組の画像の同じ空間的配置を含むことができるが、異なるデータ、即ち復号済みの第１の属性及び取得済みの第２の属性を伴う。参照ピクチャを得るためのプロセスの一例の詳細な説明は図９の説明によって上記で行った。
【０１０５】
参照ピクチャ１３５は、モジュールＭ１３４が実施する操作１３４内で使用することができる。操作１３４は、例えばビットストリーム内に含まれる符号化データを復号することにより、インタ予測用の予測子を生成することを含む。予測子を生成することに関連するこれらのデータは、
−予測の種類、例えば予測モードがイントラかインタかを示すフラグ、
−動きベクトル、及び／又は
−参照ピクチャのリストからの或る参照ピクチャを示すためのインデックス
を含み得る。
【０１０６】
当然ながら、参照ピクチャ１３５と同じやり方で複数の参照ピクチャを得ることができ、それらの複数のうちの各参照ピクチャは点群を表す特定のピクチャの復号済みのデータから得られ、ビットストリーム１０４のデータの復号は復号済みの点群１０５を得るための１つ又は幾つかの参照ピクチャに基づくことができる。
【０１０７】
当然ながら本明細書は先に記載した実施形態に限定されない。
【０１０８】
本明細書は点群を符号化及び／又は復号する方法に限定されず、点群を符号化することによって得られるビットストリームを伝送するための方法及び装置、及び／又は点群を符号化することによって得られるビットストリームを受信するための方法及び装置にも及ぶ。本明細書は、復号済みの点群、即ち復号済みの点群によって表される３Ｄオブジェクトの画像をレンダリング及び／又は表示するための方法及び装置にも及び、各画像には視点が関連する。
【０１０９】
本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、ソフトウェアプログラム、データストリーム、又は信号によって実装され得る。単一形式の実装形態の脈絡でしか論じられていなくても（例えば方法又は装置としてしか論じられていなくても）、論じられた特徴の実装形態は他の形式（例えばプログラム）でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。
【０１１０】
本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又は応用、とりわけ例えばデータの符号化、データの復号、ビュー生成、テクスチャ処理、並びに画像及び関係するテクスチャ情報及び／又は深度情報の他の処理に関連する機器又は応用によって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器に入力を与える前処理系、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、ＨＭＤ（ヘッドマウントディスプレイ）、スマートグラス、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
【０１１１】
加えて、これらの方法はプロセッサによって実行される命令によって実装されてもよく、かかる命令（及び／又は実装形態によって作り出されるデータ値）は例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えばデジタル多用途ディスク又はデジタルビデオディスクとしばしば呼ばれるＤＶＤ等）、ランダムアクセスメモリ（「ＲＡＭ」）、又は読取専用メモリ（「ＲＯＭ」）等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又は組み合わせの中にあり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はその２つの組み合わせの中で見つけることができる。従ってプロセッサは、例えばプロセスを実行するように構成される装置及びプロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置等）を含む装置の両方として特徴付けることができる。更にプロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
【０１１２】
当業者に明らかなように、実装形態は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば方法を実行するための命令、又は記載した実装形態の１つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態の構文を読み書きするための規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として（例えばスペクトルの無線周波数部分を用いて）、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
【０１１３】
幾つかの実装形態を記載してきた。それでもなお、様々な修正が加えられ得ることが理解されよう。例えば、他の実装形態を作り出すために別の実装形態の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスが置換してもよく、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じやり方で実行することを当業者なら理解されよう。従って、これらの及び他の実装形態も本願によって予期される。
【図１】
2020536300.tif 000003
【図２Ａ】
2020536300.tif 000004
【図２Ｂ】
2020536300.tif 000005
【図３】
2020536300.tif 000006
【図４】
2020536300.tif 000007
【図５】
2020536300.tif 000008
【図６】
2020536300.tif 000009
【図７】
2020536300.tif 000010
【図８】
2020536300.tif 000011
【図９】
2020536300.tif 000012
【図１０】
2020536300.tif 000013
【図１１】
2020536300.tif 000014
【図１２】
2020536300.tif 000015
【図１３】
2020536300.tif 000016
【国際調査報告】
2020536300.tif 000017
2020536300.tif 000018