(57)【要約】  この方法は、−投影線に沿ってポイントクラウドの少なくとも１つの点を正射影することと、−同じ投影線の少なくとも２つの点に対して、投影線のより近い点とより遠い点との間の投影線の位置を占有するか否かをビットストリームに信号伝送することとを含む。【選択図】図８
2021518681.tif 000002
【特許請求の範囲】
【請求項１】
−投影線に沿ってポイントクラウドの少なくとも１つの点を正射影することと、
−同じ投影線の少なくとも２つの点に対して、前記投影線のより近い点とより遠い点との間の前記投影線の位置を占有するか否かをビットストリームに信号伝送することと
を含む方法。
【請求項２】
前記信号伝送することは、前記投影線のより近い点とより遠い点との間の前記投影線の位置を占有するか否かを示す１つの占有ビットを使用することを含む、請求項１に記載の方法。
【請求項３】
同じ投影線に沿って前記占有ビットを連結する少なくとも１つのコード語を形成することを更に含む、請求項２に記載の方法。
【請求項４】
前記占有ビットを連結して前記少なくとも１つのコード語を形成するかどうかを示す情報を信号伝送することを更に含む、請求項３に記載の方法。
【請求項５】
前記形成コード語を画像データとして符号化する、請求項３に記載の方法。
【請求項６】
どのようにして前記コード語を画像データとして符号化するかを示す情報を信号伝送することを更に含む、請求項５に記載の方法。
【請求項７】
２つの異なる画像の画像データとして同じ投影線の上のより近い点の位置及びより遠い点の位置を符号化することを更に含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
同じ投影線の上のより近い点とより遠い点との間に位置決めされる点の少なくとも１つの属性を画像データとして符号化するか否かをビットストリームに信号伝送することを更に含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
どのようにして点の少なくとも１つの属性を画像データとして符号化するかを示す情報を信号伝送することを更に含む、請求項８に記載の方法。
【請求項１０】
−同じ投影線のより近い点及びより遠い点を正逆射影することによって、ポイントクラウドの２つの点を再構成することと、
−前記点の前記位置を占有することを情報が示す場合、前記投影線の点を正逆射影することによって、前記ポイントクラウドの点を再構成することと
を含む方法。
【請求項１１】
−前記投影線のより近い点とより遠い点との間の投影線の位置を占有するか否かを示す前記情報をビットストリームから受信すること
を更に含む、請求項１０に記載の方法。
【請求項１２】
前記情報は、１つの占有ビットである、請求項１１に記載の方法。
【請求項１３】
少なくとも１つのコード語から少なくとも１つの占有ビットを取得することを更に含む、請求項１２に記載の方法。
【請求項１４】
前記占有ビットを前記少なくとも１つのコード語から取得するかどうかを示す情報を取得することを更に含む、請求項１３に記載の方法。
【請求項１５】
前記コード語を画像データから取得する、請求項１３又は１４に記載の方法。
【請求項１６】
どのようにして前記コード語を画像データから取得するかを示す情報を信号伝送することを更に含む、請求項１５に記載の方法。
【請求項１７】
２つの異なる画像の画像データから同じ投影線の上のより近い点の位置及びより遠い点の位置を取得することを更に含む、請求項１１〜１６のいずれか一項に記載の方法。
【請求項１８】
同じ投影線の上のより近い点とより遠い点との間に位置決めされる点の少なくとも１つの属性を画像データから取得するか前記ポイントクラウドの他の点の少なくとも１つの属性から取得するかを示す情報をビットストリームから取得することを更に含む、請求項１１〜１７のいずれか一項に記載の方法。
【請求項１９】
どのようにして点の少なくとも１つの属性を画像データから取得するかを示す情報を取得することを更に含む、請求項１８に記載の方法。
【請求項２０】
−投影線に沿ってポイントクラウドの少なくとも１つの点を正射影し、
−同じ投影線の少なくとも２つの点に対して、前記投影線のより近い点とより遠い点との間の前記投影線の位置を占有するか否かをビットストリームに信号伝送する
ように構成されている少なくとも１つのプロセッサを含むデバイス。
【請求項２１】
−同じ投影線のより近い点及びより遠い点を正逆射影することによって、ポイントクラウドの２つの点を再構成し、
−前記点の前記位置を占有することを情報が示す場合、前記投影線の点を正逆射影することによって、前記ポイントクラウドの点を再構成する
ように構成されている少なくとも１つのプロセッサを含むデバイス。
【請求項２２】
ポイントクラウドの点を符号化する情報を含む信号であって、情報は、投影線のより近い点とより遠い点との間の投影線の位置を占有するか否かを示す、信号。
【請求項２３】
前記情報は、１つの占有ビットである、請求項２２に記載の信号。
【請求項２４】
前記少なくとも１つの占有ビットの連結の少なくとも１つのコード語を更に含む、請求項２３に記載の信号。
【請求項２５】
前記占有ビットを連結して前記少なくとも１つのコード語を形成するかどうかを示す情報を更に含む、請求項２４に記載の信号。
【請求項２６】
前記少なくとも１つのコード語を表す画像データを更に含む、請求項２４又は２５に記載の信号。
【請求項２７】
同じ投影線の上のより近い点の位置及びより遠い点の位置を表す画像データを更に含む、請求項２４に記載の信号。
【請求項２８】
同じ投影線の上のより近い点とより遠い点との間に位置決めされる点の少なくとも１つの属性を表す画像データを更に含む、請求項２２〜２７のいずれか一項に記載の信号。
【請求項２９】
どのようにして点の少なくとも１つの属性を画像データとして符号化するかを示す情報を更に含む、請求項２８に記載の信号。
【請求項３０】
プログラムを１つ又は複数のプロセッサによって実行する場合、
−投影線に沿ってポイントクラウドの少なくとも１つの点を正射影することと、
−同じ投影線の少なくとも２つの点に対して、前記投影線のより近い点とより遠い点との間の前記投影線の位置を占有するか否かをビットストリームに信号伝送することと
を含む方法を前記１つ又は複数のプロセッサに実行させる命令を含むコンピュータプログラム製品。
【請求項３１】
プログラムを１つ又は複数のプロセッサによって実行する場合、
−同じ投影線のより近い点及びより遠い点を正逆射影することによって、ポイントクラウドの２つの点を再構成することと、
−前記点の前記位置を占有することを情報が示す場合、前記投影線の点を正逆射影することによって、前記ポイントクラウドの点を再構成することと
を含む方法を前記１つ又は複数のプロセッサに実行させる命令を含むコンピュータプログラム製品。
【請求項３２】
−投影線に沿ってポイントクラウドの少なくとも１つの点を正射影することと、
−同じ投影線の少なくとも２つの点に対して、前記投影線のより近い点とより遠い点との間の前記投影線の位置を占有するか否かをビットストリームに信号伝送することと
を１つ又は複数のプロセッサに実行させる命令を含む持続性コンピュータ可読媒体。
【請求項３３】
−同じ投影線のより近い点及びより遠い点を正逆射影することによって、ポイントクラウドの２つの点を再構成することと、
−前記点の前記位置を占有することを情報が示す場合、前記投影線の点を正逆射影することによって、前記ポイントクラウドの点を再構成することと
を１つ又は複数のプロセッサに実行させる命令を含む持続性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
２．分野。
本原理は一般的に、三次元物体を表すポイントクラウドのコーディング及び復号に関する。特に、本原理の技術分野は、ポイントクラウドの投影ベースの符号化／復号に関する。
【背景技術】
【０００２】
３．背景。
本節は、様々な技術態様に読者を紹介することを目的としており、以下に説明及び／又は請求されている本原理の様々な態様に関する。この説明は、本原理の様々な態様のより良い理解を容易にするために、背景情報を読者に提供するのに役立つと考えられる。従って、これらの説明は、この観点から読まれるべきであり、先行技術の承認としてではないものとする。
【０００３】
ポイントクラウドは、三次元物体（但し、メッシュのような他のデータフォーマットによって効率的に表されることができない髪又は毛皮のようなより複雑な形状）の外面を表すように通常意図されている点の集合である。ポイントクラウドの各点を、三次元空間位置（三次元空間におけるＸ、Ｙ、及びＺ座標）、及び場合によっては、ＲＧＢ又はＹＵＶ色空間（例えば、透明度、反射率、法線ベクトルなど）で表される色などの他の関連属性によって規定することが多い。
【０００４】
着色ポイントクラウドは、６成分点（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）又は同等に（Ｘ、Ｙ、Ｚ、Ｙ、Ｕ、Ｖ）（但し、（Ｘ、Ｙ、Ｚ）は、三次元空間における点の空間位置を規定し、（Ｒ、Ｇ、Ｂ）又は（Ｙ、Ｕ、Ｖ）は、この点の色を規定する）の集合であってもよい。
【０００５】
下記で、用語「ポイントクラウド」は、着色ポイントクラウドを含む任意のポイントクラウドを意味する。
【０００６】
着色ポイントクラウドは、ポイントクラウドが時間に対して進化するか否かによって静的又は動的であってもよい。動的ポイントクラウドの場合、点の数は、必ずしも一定である必要はないが、一般的に時間と共に進化することに留意すべきである。従って、動的ポイントクラウドは、点の集合の時間順序付きリストである。
【０００７】
実際に、物体を送信又は視察することなく物体の空間構成を共用するために、着色ポイントクラウドを、状態又は建造物のような物体を三次元で走査する文化遺産／建造物などの様々な目的のために使用してもよい。更に、物体が破壊され得る場合の物体（例えば、地震による寺）の知識の保存を保証する方法である。このような着色ポイントクラウドは典型的に、静的で非常に大きい。
【０００８】
別の使用の場合は、三次元表現を使用することによって、地図が、平面に限定されず、起伏を含んでもよい地形及び地図製作にある。
【０００９】
更に、自動車産業及び自律走行車は、ポイントクラウドを使用することができる分野である。自律走行車は、自律走行車のすぐ近くの現実に基づいて安全運転決定を行う環境を「証明する」ことができるはずである。典型的なセンサーは、決定エンジンによって使用される動的ポイントクラウドを生成する。これらのポイントクラウドは、人によって見られるように意図されていない。典型的に、ポイントクラウドは、小さく、必ずしも着色されているわけではなく、高い収集頻度で動的である。ポイントクラウドは、検出物体の物理面の材料と相関がある貴重な情報であり、決定に役立つことができる反射率のような他の属性を有してもよい。
【００１０】
仮想現実（ＶＲ）及び没入型世界は、最近ホットな話題になっており、二次元平面ビデオの未来として多くの人によって予測されている。基本的な考えは、視聴者の前で仮想世界を視聴者が単に見ることができる標準的なテレビに対向して視聴者の周囲全体の環境に視聴者を没入させることである。環境内の視聴者の自由によって没入性に幾つかの階調がある。着色ポイントクラウドは、仮想現実世界を配信する優れたフォーマット候補である。着色ポイントクラウドは、静的又は動的であってもよく、典型的に、着色ポイントクラウドの平均サイズは、例えば、一度に数百万点以下である。
【００１１】
エンドユーザに対して実際の記憶／伝送を可能にするのにビットストリームのサイズが十分小さい場合に限り、ポイントクラウド圧縮は、没入型世界に対する三次元物体の記憶／伝送に成功する。
【００１２】
更に、経験の許容できる（又は好ましくは、非常に優れた）品質を維持しながら、帯域幅の妥当な消費で、エンドユーザに動的ポイントクラウドを配信することは重要である。ビデオ圧縮と同様に、時間的相関関係の良い使用法は、動的ポイントクラウドの効率的な圧縮をもたらす重要な要素であると考えられる。
【００１３】
周知の手法は、ポイントクラウドの色情報を表すテクスチャ、及びポイントクラウドの形状情報を表す深度情報を含むビデオを取得し、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー符号器を用いてテクスチャ及び深度ビデオをコーディングするために、三次元物体を含む立方体の面に、三次元物体の形状及び色を表す着色ポイントクラウドを投影する。
【００１４】
圧縮の性能は、各投影点に対してビデオ圧縮に近い。しかし、幾つかの内容は、動的ポイントクラウドを考える場合、閉塞、冗長性及び時間的安定性のために、より複雑であることがある。その結果、ポイントクラウド圧縮は、ビット速度に関してビデオ圧縮よりも要求が厳しい。
【００１５】
閉塞に関して、多くの投影を使用することなく複雑なトポロジーの完全な形状を得ることは殆ど不可能である。従って、これらの全投影を符号化／復号するのに必要な資源（計算能力、記憶メモリ）は通常、非常に大きい。
【００１６】
テクスチャ及び深度投影方式を用いたポイントクラウド符号器／復号器（コーデック）が、１２０回目のＭＰＥＧ会議中に、最近提案されている。この方式は、ISO/IEC JTC1/SC29 WG11 Doc. N17248,Macau,CN、２０１７年１０月の文献に記載されており、提案方式は、「ポイントクラウド圧縮試験モデルカテゴリ２バージョン０．０（Point cloud compression Test Model Category 2 version 0.0） （ＴＭＣ２ｖ０）」と呼ばれる。
【００１７】
この符号器／復号器は、動的ポイントクラウドデータを異なるビデオ列の集合に基本的に変換することによって、動的ポイントクラウドの形状及びテクスチャ情報を圧縮する既存のビデオ符号器／復号器を活用する。
【００１８】
特に、既存のビデオ符号器／復号器、例えば、ＨＥＶＣ主プロファイル符号器を用いて、２つのビデオ列（ポイントクラウドデータの形状情報を収集する１つのビデオ列、及びテクスチャ情報、即ち点の色を収集するもう１つのビデオ列）を、生成して圧縮する。
【００１９】
更に、２つのビデオ列を解釈するのに必要な追加メタデータ、即ち、占有マップ及び補助パッチ／ブロック情報を、別々に生成して圧縮する。次に、最終ポイントクラウドビットストリームを生成するように、生成ビデオビットストリーム及びメタデータを一緒に多重化する。更に、メタデータを、算術符号器／復号器などのエントロピー符号器／復号器によって符号化する。
【００２０】
このポイントクラウド符号器／復号器の例示的な符号器２の構造を、図１に表す。
【００２１】
符号器２は、３つの主なブロック、形状圧縮ブロック４、メタデータ圧縮ブロック６及びテクスチャ圧縮ブロック８を含む。
【００２２】
形状圧縮ブロック４は、入力ポイントクラウドを深度パッチに分解する深度パッチ生成ブロック１０を含む。
【００２３】
深度パッチ生成処理１０は、再構成誤差も最小限にしながら、滑らかな境界を有する最小数の深度パッチにポイントクラウドを分解することを目的とする。深度パッチは、深度値に対応付けられる画素のグループによってポイントクラウドの一部を表す。
【００２４】
一例として、図２に詳述する下記の手法を実施する。
【００２５】
まず、Hugues Hoppe,Tony DeRose,Tom Duchamp,John McDonald,Werner Stuetzle,“Surface reconstruction from unorganized points”，ACM SIGGRAPH 1992 Proceedings,71-78に記載のように、あらゆる点における法線を、１０２で推定する。
【００２６】
次に、それらの法線によって規定される下記の６つの有向面のうち１つに各点を対応付けることによって、ポイントクラウドの初期クラスタリングを、１０４で取得する。
−（１．０、０．０、０．０）
−（０．０、１．０、０．０）
−（０．０、０．０、１．０）
−（−１．０、０．０、０．０）
−（０．０、−１．０、０．０）、及び
−（０．０、０．０、−１．０）
【００２７】
より正確には、各点を、最も近い法線を有する平面に対応付ける（即ち、点法線及び平面法線のドット積を最大化する）。
【００２８】
一実施形態によれば、上述の６つの有向面を、下記のように索引付けする。
−（１．０、０．０、０．０）を、クラスター索引０によって索引付けする。
−（０．０、１．０、０．０）を、クラスター索引１によって索引付けする。
−（０．０、０．０、１．０）を、クラスター索引２によって索引付けする。
−（−１．０、０．０、０．０）を、クラスター索引０によって索引付けする。
−（０．０、−１．０、０．０）を、クラスター索引１によって索引付けする。
−（０．０、０．０、−１．０）を、クラスター索引２によって索引付けする。
【００２９】
次に、各点を、対応するクラスターの索引に対応付ける。
【００３０】
次に、点の法線及び最も近い隣接のクラスター索引に基づいて各点に対応付けられたクラスター索引を繰り返し更新することによって、初期クラスタリングを改善する。一実施形態によれば、考えられる点に対して、全隣接点（例えば、三次元空間における現在点までの距離が２未満である全点）を、クラスターＡとして知られている１つのクラスターに割り当て、考えられる点を別のクラスターに割り当てる、考えられる点のクラスター索引を、クラスターＡに更新する。
【００３１】
次に、接続成分抽出手順を適用する、即ち、同じクラスター索引を有する隣接点を抽出して接続成分を形成することによって、深度パッチを、１０６で抽出する。一実施形態によれば、下記の２つの条件を同時に満たす全点をグループ化することによって、１つの接続成分を構成する。
−同じクラスター索引を有する全点
−関連接続成分における各点に対して、現在点までの距離が事前定義閾値（例えば、１に等しい）未満である同じ接続成分における少なくとも１つの点が存在する。
【００３２】
各接続成分を、接続成分のクラスター索引、即ち、接続成分に属する点のクラスター索引、に従って投影面に対応付ける。一実施形態は、下記の通りである。
−クラスター索引０を有する接続成分に対するＹＯＺ平面
−クラスター索引１を有する接続成分に対するＸＯＺ平面
−クラスター索引２を有する接続成分に対するＸＯＹ平面
【００３３】
同じ投影線に沿った多くの点の場合、投影線は、３つの座標（Ｘ、Ｙ、Ｚ）のうち２つの同じ座標を有する点を含む。例えば、投影線は、同じ（Ｘ、Ｙ）座標を有する全点から構成されることがあり、より良く処理するために、２つの深度パッチを、各接続成分に対して生成し、対応する画素の最小及び最大深度値に対応し、Ｄ１−Ｄ０＜＝表面厚さ（但し、表面厚さは、最大表面厚さであり、例えば、４に等しい）を満たす深度値Ｄ０及びＤ１を記録する。
【００３４】
より正確には、｛Ｈ（ｕ、ｖ）｝を、同じ画素（ｕ、ｖ）に投影された現在接続成分の点の集合とする。近い層とも呼ばれる第１の深度パッチは、最低深度Ｄ０を有する｛Ｈ（ｕ、ｖ）｝内の点の深度を記憶する。遠い層と呼ばれる第２の深度パッチは、区間［Ｄ０、Ｄ０＋表面厚さ］内で最高深度を有する｛Ｈ（ｕ、ｖ）｝内の点を収集する。
【００３５】
深度パッチ生成ブロック１０の後に、パッキングブロック１２が続く。このパッキングブロック１２は、全投影接続成分を二次元グリッドにマップしながら、未使用空間を最小化しようとし、このグリッドのあらゆるＴ×Ｔ（例えば、１６×１６）ブロック（但し、Ｔは、ビットストリームに符号化され復号器に送信されるユーザ定義パラメータである）を固有投影接続成分に対応付けることを保証する。二次元グリッド上の各点は、画像上の画素に対応する。
【００３６】
パッキングは、Ｗ×Ｈグリッド（但し、Ｗ及びＨは、符号化される形状／テクスチャ画像の解像度に対応するユーザ定義パラメータ（例えば、１０２８×１０２８）である）にパッチを繰り返し挿入しようとする単純なパッキング戦略を使用する。ラスター走査順序で実行される徹底探索によって、パッチ位置を判定する。パッチの重複無し挿入を保証することができる第１の位置を選択し、パッチによって覆われるグリッドセルを、使用されるようにマーク付けする。現在画像解像度における空空間がパッチに適合することができない場合、グリッドの高さＨを、一時的に２倍にし、探索を再度適用する。処理の終わりに、使用グリッドセルに適用するように、Ｈを切り抜く。二次元グリッドにおけるパッキング位置（各パッチの投影領域のバウンディングボックスの左上隅の位置）、及び各パッチの投影領域のサイズを、圧縮ビットストリームに信号伝送する。
【００３７】
占有マップを、パッキングブロック１２からメタデータ圧縮ブロック６に出力する。占有マップは、グリッドの各セルに対して、グリッドの各セルが、空空間に属するか、グリッドの各セルが、ポイントクラウドに属するかどうかを示す２進マップから構成される（但し、二次元グリッドの１つのセルは、画像生成処理中に深度を伝える画素又は色情報を生成する）。
【００３８】
更に、形状圧縮ブロック４は、画像生成ブロック１４を含み、この画像生成ブロック１４は、パッキング処理１２中に計算される三次元から二次元のマッピング、より詳細には、各接続成分の投影領域のパッキング位置及びサイズを利用して、ポイントクラウドの形状を画像として記憶する。
【００３９】
各接続成分に対して２つの深度パッチを生成するという事実に対応して、２つの画像を生成して、ＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１と呼ばれるポイントクラウドの形状を記憶する。
【００４０】
符号器２の画像生成ブロック１４について、図３を参照して更に詳述する。
【００４１】
画像生成は、各パッチの投影領域のパッキング位置に従って、各パッチのＤ０値を第２のグリッドの対応する部分に複写するパッキング処理（深度Ｄ０パッキング）を含む。
【００４２】
更に、画像生成は、ｄｅｐｔｈＩｍａｇｅ０の各占有画素に対して、デルタ＿深度＝Ｄ１−Ｄ０（Ｄ１及びＤ０は、同じ投影線上にある）であり、対応するＤ０値を記憶する同じ位置にデルタ＿深度を記憶するデルタ深度判定を含む。
【００４３】
更に、画像生成は、下記のような時間インターリービング（ｄｅｐｔｈＩｍａｇｅ０＿０、ｄｅｐｔｈＩｍａｇｅ１＿０、…、ｄｅｐｔｈＩｍａｇｅ０＿ｉ、ｄｅｐｔｈＩｍａｇｅ１＿ｉ、…、ｄｅｐｔｈＩｍａｇｅ０＿ｎ、ｄｅｐｔｈＩｍａｇｅ１＿ｎ）（但し、ｄｅｐｔｈＩｍａｇｅ０＿ｉ及びｄｅｐｔｈＩｍａｇｅ１＿ｉをポイントクラウドフレームｉから生成する）を含む。
【００４４】
更に、画像生成は、ビデオ圧縮に適している区分的に滑らかな画像を生成するためにパッチ間の空空間に充填することを目的とするパディング処理２０を含む。このパディング処理は、下記のように進む単純なパディング戦略を使用する。
・Ｔ×Ｔ（例えば、１６×１６）画素の各ブロックを独立して処理する。
・ブロックが空である（即ち、全画素が空空間に属する）場合、ラスター順序で前のＴ×Ｔブロックの最後の行又は列を複写することによって、ブロックの画素に充填する。
・ブロックが一杯である（即ち、空画素がない）場合、何もしない。
・ブロックが空画素及び充填画素の両方を有する場合、非空隣接の平均値を空画素に繰り返し充填する。
【００４５】
画像生成ブロック１４の後に、深度ビデオ符号化ブロック２２が続く。この深度ビデオ符号化ブロック２１では、ＨＭ１６などの任意のレガシービデオ符号器／復号器を用いて、生成深度画像を、ビデオフレームとして記憶して圧縮する。ＨＭ構成に従う１６個のビデオ符号器／復号器を、パラメータとして与える。
【００４６】
符号器２のメタデータ圧縮ブロック６において、パッチ毎／接続成分メタデータと呼ばれる下記のメタデータを、下記のように、あらゆる接続成分に対して、収集して符号化する。
・投影面の索引
○平面（１．０、０．０、０．０）及び（−１．０、０．０、０．０）に対する索引０
○平面（０．０、１．０、０．０）及び（０．０、−１．０、０．０）に対する索引１
○平面（０．０、０．０、１．０）及び（０．０、０．０、−１．０）に対する索引２
・パック形状／テクスチャ画像上の二次元バウンディングボックス（ｕ０、ｖ０、ｕ１、ｖ１）
・深度シフトδ０、接線シフトｓ０及び２接線シフトｒ０の観点から表される接続成分の三次元位置（ｘ０、ｙ０、ｚ０）
【００４７】
選択投影面に従って、（δ０、ｓ０、ｒ０）を、下記のように計算する。
○索引０、δ０＝ｘ０、ｓ０＝ｚ０、及びｒ０＝ｙ０
○索引１、δ０＝ｙ０、ｓ０＝ｚ０、及びｒ０＝ｘ０
○索引２、δ０＝ｚ０、ｓ０＝ｘ０、及びｒ０＝ｙ０
【００４８】
更に、各Ｔ×ＴブロックにＴ×Ｔブロックの関連パッチ／接続成分索引を提供するマッピング情報（ブロック対パッチマップと呼ばれる）を、下記のように、生成して符号化する。
・各Ｔ×Ｔブロックに対して、Ｌを、二次元バウンディングボックスがそのブロックを含むようにパッチの索引の順序付きリストとする。リストにおける順序は、二次元バウンディングボックスを符号化するために使用される順序と同じである。Ｌは、候補パッチのリストと呼ばれる。
・形状／テクスチャ画像上のパッチ間の空空間を、パッチと考え、全ブロックの候補パッチリストに追加される特殊索引０を、この空空間に割り当てる。
・Ｉを、現在Ｔ×Ｔブロックを占有するパッチの索引とし、Ｊを、ＬにおけるＩの位置とする。索引Ｉを明示的に符号化する代わりに、Ｉの位置Ｊを算術的に符号化し、その結果、より良い圧縮効率をもたらす。
【００４９】
更に、メタデータ圧縮ブロック６は、占有マップの符号化を実施する。
【００５０】
占有マップ圧縮は、空のＴ×Ｔブロック（即ち、パッチ索引０を有するブロック）を検出するために、上述のブロック対パッチマッピング情報を活用する。残りのブロックを、下記のように符号化する。
【００５１】
占有マップを、Ｂ０×Ｂ０ブロック（但し、Ｂ０は、ユーザ定義パラメータである）の精度で、符号化することができる。無損失符号化を達成するために、Ｂ０を、１に設定すべきである。実際に、Ｂ０＝２又はＢ０＝４は、視覚的に許容できる結果になるが、占有マップを符号化するのに必要なビットの数が大幅に減少する。
【００５２】
占有マップの圧縮処理は、下記のように進む。
・２進値を、同じＴ×Ｔブロックに属するＢ０×Ｂ０サブブロックに対応付ける。サブブロックが少なくとも非パッド画素を含む場合、値１をサブブロックに対応付け、それ以外ならば、０である。サブブロックが１の値を有する場合、サブブロックは、一杯であると考えられ、それ以外ならば、サブブロックは、空のサブブロックである。
・Ｔ×Ｔブロックの全サブブロックが一杯である（即ち、値１を有する）場合、ブロックは、一杯であると考えられる。それ以外ならば、ブロックは、一杯でないと考えられる。
・各Ｔ×Ｔブロックが一杯であるか否かを示す各Ｔ×Ｔブロックに対して、２進情報を符号化する。
・ブロックが一杯でない場合、一杯／空のサブブロックの位置を示す追加情報を、下記のように符号化する。
○異なる横行順序を、サブブロックに対して規定する。図４は、４つの考えられる横行順序を示す。
○符号器は、これらの横行順序のうち１つを選択し、この横行順序の索引をビットストリームに明示的に信号伝送する。
○ランレングス符号化戦略を使用することによって、サブブロックに対応付けられた２進値を符号化する。
■最初のサブブロックの２進値を符号化する。
■符号器によって選択された横行順序に従いながら、０及び１の連続実行を検出する。
■検出実行の数を符号化する。
■最後の実行を除いて、各実行の長さをも更に符号化する。
【００５３】
ブロック対パッチ索引及び占有マップは、ブロック毎メタデータと呼ばれる。
【００５４】
テクスチャ圧縮ブロック８は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器による深度ビデオ復号を含み、この後に、形状再構成処理２４が続く。この形状再構成処理２４は、再構成形状画像における占有画素を検出するために、占有マップ情報を利用する。それらの占有画素に対応付けられた点の三次元位置を、メタデータ及び形状画像を活用することによって計算する。より正確には、Ｐを、占有画素（ｕ、ｖ）から再構成される点とし、（δ０、ｓ０、ｒ０）を、属する接続成分の三次元位置とし、（ｕ０、ｖ０、ｕ１、ｖ１）を、対応する深度パッチの二次元バウンディングボックスとする。Ｐを、下記のように、深度δ（ｕ、ｖ）、接線シフトｓ（ｕ、ｖ）及び２接線シフトｒ（ｕ、ｖ）の観点から表すことができる。
δ（ｕ、ｖ）＝δ０＋ｇ（ｕ、ｖ）
ｓ（ｕ、ｖ）＝ｓ０−ｕ０＋ｕ
ｒ（ｕ、ｖ）＝ｒ０−ｖ０＋ｖ
但し、ｇ（ｕ、ｖ）は、再構成形状画像の輝度成分である。
【００５５】
更に、ポイントクラウド形状再構成処理２４は、現在点を再構成する深度値を記憶する画素の位置、即ち（ｉ、ｕ、ｖ）（但し、ｉは、深度画像、即ちＤｅｐｔｈＩｍｇ０又はＤｅｐｔｈＩｍｇ１を示し、（ｕ、ｖ）は、ｉ番目の深度画像における画素の座標である）を、各再構成点に対して出力する。
【００５６】
更に、テクスチャ圧縮ブロック８は、三次元色転送ブロック２６を含む。この三次元色転送ブロック２６では、各再構成点に対してコーディングされるべき色及び／又は他の属性値を、色情報コーディング誤差を最小限にする方法で判定する。一実施形態によれば、各再構成点に対して、入力／原ポイントクラウドにおける最も近い点の色を、コーディングされるべき色として割り当てる。
【００５７】
三次元色転送ブロック２６の後に、テクスチャ画像生成ブロック２８が続く。このテクスチャ画像生成ブロック２８は、形状画像と同じ位置、即ち（ｉ、ｕ、ｖ）における各再構成点のコーディングされるべき色情報を記憶することによって、コーディングされるべきテクスチャ画像を生成する。
【００５８】
テクスチャ画像生成ブロック２８の後に、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー符号器を用いたテクスチャビデオ符号化が続く。
【００５９】
形状圧縮ブロック４から生成される深度ビデオストリーム、メタデータ圧縮ブロック６から生成されるブロック毎及びパッチ毎メタデータストリーム、及びテクスチャ圧縮ブロック８から生成される色ビデオストリームを、符号器２から出力される圧縮ストリームに多重化する。
【００６０】
図５は、ポイントクラウドの再構成用の符号器２に対応する復号器３０を表す。
【００６１】
復号器３０で、符号器２から出力された圧縮ストリームを、深度ビデオストリーム、ブロック毎メタデータストリーム、パッチ毎メタデータストリーム及び色ビデオストリームに逆多重化する。
【００６２】
復号器３０は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器による深度ビデオ復号を含む形状再構成ブロック３１を含む。
【００６３】
更に、画像再構成ブロック３１は、図６で詳述される画像再構成ブロック３２を含む。このブロックは、
−再構成深度ビデオストリームから再構成ｄｅｐｔｈＩｍａｇｅ０及び再構成ｄｅｐｔｈＩｍａｇｅ１を時間デインターリーブすることと、
−再構成ｄｅｐｔｈＩｍａｇｅ０に記憶された再構成Ｄ０値を検索することと、
−再構成＿Ｄ０＋再構成＿デルタ＿深度（但し、再構成＿デルタ＿深度値をｄｅｐｔｈＩｍａｇｅ１に記憶する）を用いてＤ１値を再構成することと
を含む。
【００６４】
更に、画像再構成ブロック３１は、符号器２のポイントクラウド形状再構成ブロック２４と同じ方法で動作するポイントクラウド形状再構成ブロック３３を含む。
【００６５】
更に、復号器３０は、パッチ毎及びブロック毎メタデータを復号するメタデータ再構成ブロックを含む。
【００６６】
更に、復号器３０は、三次元ＨＥＶＣ（ＩＴＵウェブサイト、Ｔ推奨、Ｈシリーズ、ｈ２６５、https://www.itu.int/rec/T-REC-H.265-201802-I付録Ｉで仕様が見付けられるＨＥＶＣの拡張）などのレガシー復号器によるテクスチャビデオ復号段階を含むテクスチャ再構成処理を含む。
【００６７】
更に、テクスチャ再構成処理は、再構成パッチ毎及びブロック毎メタデータを用いてテクスチャパッチを再構成するテクスチャパッチ再構成段階を含む。
【００６８】
更に、テクスチャ再構成処理は、各点を再構成する画素の位置を用いて各再構成点の色を再構成テクスチャ画像から取り出すポイントクラウドテクスチャ再構成段階３５を含む。
【００６９】
図７に示すように、通常、同じ投影線に沿って複数の点がある。その理由は、下記を含む。
−整数座標を有する点による連続三次元表面の表現、及び／又は
−局所表面詳細、及び／又は
−自己閉塞。
【００７０】
再構成誤差を最小限にするために、上述の符号器／復号器は、１つの投影画像の各画素に対して２つの深度値を保持する。前述の２つの深度値は、対応する投影線に沿った最小及び最大深度値に対応し、Ｄ１−Ｄ０＜＝表面厚さ（但し、表面厚さは、最大表面厚さである）を満たす深度Ｄ０及び深度Ｄ１と呼ばれる。
【００７１】
それに対応して、符号器２は、各ポイントクラウドフレームに対して２つの深度画像を生成し（即ち、動的ポイントクラウド、一連のポイントクラウドにおけるポイントクラウドの場合）、第１の深度画像ＤｅｐｔｈＩｍｇ０は、深度Ｄ０値を記憶し、第２の深度画像ＤｅｐｔｈＩｍｇ１は、デルタ＿深度＝深度Ｄ１−深度Ｄ０の値を記憶する。投影線に沿って１つの点だけがある場合、深度Ｄ１を深度Ｄ０と等しくなるように設定することに留意すべきである。
【００７２】
しかし、図１の符号器を使用することによって、２つの記録点の間にある図７上の非投影点と呼ばれるポイントクラウドの点は、符号化されず、その結果、客観的及び主観的品質が大幅に低下する。
【発明の概要】
【００７３】
４．概要。
下記は、本原理の幾つかの態様の基本的な理解を与えるために、本原理の簡略化した概要を提示する。この概要は、本原理の幅広い概説でない。概要は、本原理の主要な又は重要な要素を確認するように意図されていない。下記の概要は、後述のより詳細な説明への前置きとして簡略化した形で本原理の幾つかの態様を単に提示する。
【００７４】
一般的に言えば、本開示は、状況を改善するための解決策を提案する。
【００７５】
従って、本開示は、投影線に沿ってポイントクラウドの少なくとも１つの点を正射影することと、同じ投影線の少なくとも２つの点に対して、投影線のより近い点とより遠い点との間の投影線の位置を占有するか否かをビットストリームに信号伝送することとを含む方法を提供する。
【００７６】
有利なことに、本開示は、投影線のより近い点とより遠い点との間の投影線の位置を占有するか否かをビットストリームに信号伝送することによって、深度及びテクスチャ投影ベースのポイントクラウド符号器／復号器の圧縮性能を向上させる。
【００７７】
更に、本開示は、同じ投影線のより近い点及びより遠い点を正逆射影することによって、ポイントクラウドの２つの点を再構成することと、点の位置を占有することを情報が示す場合、投影線の点を正逆射影することによって、ポイントクラウドの点を再構成することとを含む方法を提供する。
【００７８】
有利なことに、符号器／復号器を、１つ又は複数のプロセッサによって実施する。
【００７９】
開示による方法を、プログラマブル装置上のソフトウェアで実施してもよい。方法を、ハードウェア又はソフトウェアで、又はこれらの組み合わせで単に実施してもよい。
【００８０】
本発明をソフトウェアで実施することができるので、任意の適切な搬送媒体上のプログラマブル装置に提供されるコンピュータ可読コードとして、本発明を具体化することができる。搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又は固体メモリデバイスなどの記憶媒体を含んでもよい。
【００８１】
従って、開示は、コンピュータが本発明の符号化／復号方法を実行することができるコンピュータ実行可能命令を含むコンピュータ可読プログラムを提供する。
【００８２】
５．図面の簡単な説明。
図面において、本原理の例を示す。
【図面の簡単な説明】
【００８３】
【図１】有利なことに本原理を実施することができる既述の符号器を示す。
【図２】既述の先行技術の深度パッチ生成処理を例示する。
【図３】既述の先行技術の画像生成処理を例示する。
【図４】既述の図１の符号器で使用されるサブブロックの横行の例を示す。
【図５】有利なことに本原理を実施することができる既述の復号器を示す。
【図６】既述の先行技術の画像再構成処理を例示する。
【図７】既述の先行技術による投影画像の画素の深度Ｄ０値及び深度Ｄ１値を示す三次元ポイントクラウドの二次元例示である。
【図８】本開示の実施形態による拡張デルタ深度（ＥＤＤ）コードを例示する。
【図９】本開示の実施形態による拡張デルタ深度（ＥＤＤ）コードを形成する例を示す。
【図１０】本開示の実施形態による符号器を示す。
【図１１】本開示の第１の実施形態による深度画像再構成のブロックを示す。
【図１２】本開示の第２の実施形態による深度画像再構成のブロックを示す。
【図１３】本開示の実施形態による図５の復号器の修正を示す。
【図１４】有利なことに本原理を実施することができる無損失符号器を示す。
【図１５】本原理の例によるデバイスのアーキテクチャの例を示す。
【図１６】本原理の例による通信ネットワーク上で通信する２つの遠隔デバイスを示す。
【図１７】本原理の例による信号の構文を示す。
【発明を実施するための形態】
【００８４】
同様な又は同じ要素を、同じ参照符号で参照する。
【００８５】
６．本原理の例の説明。
以下、本原理について、本原理の例を示す添付図面を参照してより完全に説明する。しかし、本原理は、多くの代替の形態で具体化されてもよく、ここに記載の例に限定されると受け取られるべきではない。従って、本原理は、様々な修正及び代替の形態の余地があるが、本原理の特定の例を、一例として図面に示し、本明細書にて詳細に説明する。しかし、本原理を開示の特定の形態に限定する意図がないものと理解されたい。その一方で、開示は、特許請求の範囲によって規定されるような本原理の精神及び範囲内にある全ての修正、均等物、及び代替物を含むものとする。
【００８６】
本明細書にて使用される用語は、特定の例だけを説明するためであり、本原理を限定するように意図されていない。ここで使用されるように、単数形「１つ（a）」、「１つ（an）」及び「その（the）」は、特に明示的に指示がない限り、複数形も含むように意図されている。更に、本明細書で使用される場合、用語「含む（comprises）」、「含む（comprising）」、「含む（includes）」及び／又は「含む（including）」は、記載の特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定し、１つ又は複数の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はこれらのグループの存在又は追加を排除しないということが更に理解されるであろう。その上、要素が別の要素に「応答する」又は「接続される」と言及される場合、要素は、他の要素に直接応答する又は接続されることができ、又は介在要素が存在してもよい。一方、要素が他の要素に「直接応答する」又は「直接接続される」と見なされる場合、介在要素が存在しない。ここで使用されるように、用語「及び／又は（and/or）」は、関連列挙項目のうち１つ又は複数の項目のありとあらゆる組み合わせを含み、「／」と短縮されてもよい。
【００８７】
第１（first）、第２（second）などという用語は、様々な要素を説明するために本明細書にて使用され得るが、これらの要素をこれらの用語によって限定すべきではないということが理解されるであろう。これらの用語は、１つの要素を別の要素と区別するために使用されるだけである。例えば、第１の要素を第２の要素と呼ぶことができ、同様に、本原理の教示から逸脱することなく、第２の要素を第１の要素と呼ぶことができる。
【００８８】
線図の幾つかは、通信の主な方向を示すために通信路上に矢印を含むが、図示の矢印と逆方向に通信が行われてもよいものとする。
【００８９】
幾つかの例を、ブロック図及び動作フローチャートに関して説明し、各ブロックは、回路要素、モジュール、又は指定の論理機能を実施する１つ又は複数の実行可能命令を含むコードの一部を表す。更に、他の実装において、ブロックに記載の機能は、記載の順序が狂って行われてもよいことに留意すべきである。例えば、実際に、連続して示される２つのブロックを実質的に同時に実行してもよく、又は場合によっては、ブロックを、関連機能によって逆の順序で実行してもよい。
【００９０】
ここで、「例によって（in accordance with an example）」又は「例において（in an example）」の参照は、例に関連して説明される特定の特徴、構造、又は特性を、本原理の少なくとも１つの実装に含むことができることを意味する出願の様々な箇所における語句「例によって（in accordance with an example）」又は「例において（in an example）」の状況は、必ずしも同じ例を全て参照するとは限らず、他の例を必ず互いに除く別の又は代替の例でもない。
【００９１】
特許請求の範囲で見られる参照符号は、例示に過ぎず、特許請求の範囲に対する効果を限定しないものとする。
【００９２】
明示的に説明されていないが、本例及び変型例を、任意の組み合わせ又は部分組み合わせで使用してもよい。
【００９３】
本原理は、着色ポイントクラウドを符号化／復号するために説明されるが、一連の着色ポイントクラウドの符号化／復号にまで及ぶ。なぜなら、一連の各着色ポイントクラウドを、後述のように連続的に符号化／復号するからである。
【００９４】
実施形態によれば、既述の符号器２及び復号器３０を、本原理の実装のために使用する。
【００９５】
図７を参照して上述されるように、通常、同じ投影線に沿って複数の点がある。再構成誤差を最小限にするために、１つの投影画像の各画素に対して２つの深度値を記憶する。これらの２つの深度値は、最小及び最大深度値に対応する深度Ｄ０及び深度Ｄ１と呼ばれる。
【００９６】
それに対応して、符号器２は、ＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１と呼ばれる、各ポイントクラウドフレームに対して２つの深度画像を生成する。符号器２において、深度Ｄ０及び深度Ｄ１に対応する記録点の間の非投影点と呼ばれる点は、符号化されない。
【００９７】
有利なことに、本原理によれば、下記によって、図８に表示されるように、これらの非投影点を符号化する。
−深度Ｄ０と深度Ｄ１との間の各位置に対して、少なくとも１つの点を有する全投影線に沿って、この位置を占有するか否かを示す１ビットを使用すること。
−１つの投影線に沿ったこれらの全ビットを連結して、以下拡張デルタ深度（ＥＤＤ）コードと呼ばれるコード語を形成すること。
−ＨＥＶＣなどの成熟ビデオ符号器／復号器によって更にコーディングされる１つ又は複数の画像にポイントクラウドフレームのＥＤＤコードをパックすること。
【００９８】
ＥＤＤコードを符号器２に統合するために、デルタＤ＝（Ｄ１−Ｄ０）をＤｅｐｔｈＩｍｇ１にコーディングする代わりに、少なくとも１つの点を有する全投影線のＥＤＤコードを、ＤｅｐｔｈＩｍｇ１に記録して符号化する。
【００９９】
図９に表すように、本開示は、１つの投影線に沿った深度Ｄ０と深度Ｄ１との間の全位置を表す全ビットを連結してＥＤＤコードを形成する２つの実施形態を提案する。
【０１００】
一実施形態は、図９の右側に示すように、深度Ｄ０に近い位置を表すビットを、合成コード語の高位ビットと見なし、深度Ｄ１に近い位置を表すビットを、合成コード語の低位ビットと見なす。
【０１０１】
別の実施形態は、図９の左側に示すように、深度Ｄ１に近い位置を表すビットを、合成コード語の高位ビットと見なし、深度Ｄ０に近い位置を表すビットを、合成コード語の低位ビットと見なす。図９の左側に示すこの実施形態を用いて、図８の上部の例を構成する。
【０１０２】
図１０は、本開示の教示によって修正された符号器２を示す。より詳細には、符号器２の深度経路生成１０、深度画像生成１４、ポイントクラウド形状再構成２４及び三次元色転送２６のブロックを、本開示の実施形態によって修正する。
【０１０３】
図２に表す深度パッチ生成ブロック１０において、深度パッチ生成ブロック１０６を修正する。各投影線に沿ってＤ０及びＤ１を丁度記録する代わりに、Ｄ０と（Ｄ０＋表面厚さ）との間の点を、ＥＤＤコードによって記録する。各接続成分の２つの深度パッチは、Ｄ０及びＥＤＤコードを記録する。
【０１０４】
Ｄ１の代わりに、ＥＤＤコードをＤｅｐｔｈＩｍｇ１に記録することによって、図３に表す深度画像生成ブロック１４を更に修正する。ＥＤＤコードをＤｅｐｔｈＩｍｇ１に記録する２つの実施形態を、図１１及び図１２に表す。
【０１０５】
図１１に表す第１の実施形態によれば、ブロック毎メタデータを用いて、全ＥＤＤコードを、１４２でＤｅｐｔｈＩｍｇ１にパックする。
【０１０６】
図１２に表す第２の実施形態によれば、ブロック毎メタデータを用いて、（Ｄ０＋ＥＤＤ＿コード）を、１４４でＤｅｐｔｈＩｍｇ１にパックする。次に、ＤｅｐｔｈＩｍｇ１をパッドして、その圧縮性能を向上させる。
【０１０７】
有利なことに、ポイントクラウド形状再構成ブロック２４を更に修正する。
【０１０８】
復号Ｄ０値及び復号ＥＤＤコードから再構成される点は、再構成ポイントクラウド（形状だけ）を構成する。１つの投影線に沿って２つを超える再構成点がある場合、最小及び最大再構成深度値を有する２つの点の間の再構成点は、中間再構成点と呼ばれる。
【０１０９】
ポイントクラウド形状再構成ブロック２４は、再構成点の色値をパックする方法を判定するので、このブロック２４の修正により、再構成中間点の色を処理することもできる。
【０１１０】
再構成ポイントクラウド形状に加えて、このブロック２４の出力は、コーディングされるべき現在点の色値を記憶するために２つのテクスチャ画像における位置を各点に対して示す点毎パック画像座標を含む。中間再構成点を除いて、他の再構成点、即ち、Ｄ０及びＤ１に対応する点の点毎パック画像座標を、符号器２に対して記載の方法と同じ方法で判定する。
【０１１１】
これらの中間再構成点の色を処理する２つの実施形態を提案する。
【０１１２】
第１の実施形態によれば、これらの中間再構成点の色を、圧縮ビットストリームに信号伝送しない。復号器は、ビットストリームから再構成される色を有する中間再構成点の隣接点に基づいて、例えば補間によって、これらの中間再構成点の再構成色を判定する。この実施形態を用いて、これらの再構成点の点毎パック画像座標を、（ＮＵＬＬ、ＮＵＬＬ、ＮＵＬＬ）として設定する。ＮＵＬＬ（空白）は、ある無効画像位置の値（例えば、−１）である。
【０１１３】
第２の実施形態によれば、これらの中間再構成点の色を、圧縮ビットストリームに信号伝送する。信号伝送されるべきこれらの中間再構成点の色を、他の再構成点と同じ方法で三次元色転送ブロック２６で判定する。コーディングされるべき色情報を記憶するＤｅｐｔｈＩｍｇ０及びＤｅｐｔｈＩｍｇ１に対応する２つの画像であるＴｅｘＩｍｇ０及び／又はＴｅｘＩｍｇ１に、ブロック毎メタデータから解釈可能な任意のパッチによって占有されていないテクスチャ画像ブロックに、中間再構成点の色を記憶する。中間再構成点のパック画像位置を、中間再構成点の再構成位置に基づいて判定する。一例は、下記の通りである。
【０１１４】
第１のステップで、ＤｅｐｔｈＩｍａｇｅ０及びＤｅｐｔｈＩｍａｇｅ１における全非占有ブロックを、リストにソートする。２つの可能性がある。ＤｅｐｔｈＩｍａｇｅ０における非占有ブロックを、ソート非占有ブロックリストにおけるＤｅｐｔｈＩｍａｇｅ１に前後にソートする。同じ画像における非占有ブロックを、（ＹＵＶ色空間で）非占有ブロックの（ｕＭｉｎ、ｖＭｉｎ）によってソートする。
【０１１５】
第２のステップで、形状再構成ステップ中に、新しい中間点を再構成する時はいつでも、その中間点の点毎パック画像位置は、ソート非占有ブロックリストにおける第１の非占有ブロックの第１の非占有画素である。元の非占有ブロックが中間点によって完全に占有されている場合、元の非占有ブロックをソート非占有ブロックリストから削除する。
【０１１６】
有利なことに、三次元色転送ブロック２６を更に修正する。このブロックにおいて、パック画像位置（ＮＵＬＬ、ＮＵＬＬ、ＮＵＬＬ）を有する点の色判定を省略する。
【０１１７】
図１の先行技術符号器と比較して、有利なことに、下記のメタデータを、図１０の符号器によって出力されるビットストリームに追加する。
・本開示に記載の新しいコード体系を使用するか否かを示す１ビット。例えば、１は、このコード体系を使用することを意味し、０は、このコード体系を使用しないことを意味する。
・第１のビットが１に等しい場合、下記の項目は、次の通りである。
○表面厚さの値を示す特定の数のビット、例えば、３ビット。
○ＤｅｐｔｈＩｍｇ１がＥＤＤコード又は（Ｄ０＋ＥＤＤ＿コード）を記録することを示す１ビット。例えば、０は、ＥＤＤコードを記録することを意味し、１は、（Ｄ０＋ＥＤＤ＿コード）を記録することを意味する。
○どんな方法でＥＤＤコードを構成するかを示す１ビット。即ち、図９に示す実施形態を使用して、圧縮ビットストリームに信号伝送されるＥＤＤコードを構成する。例えば、０は、図９の左側に示す実施形態を使用することを意味し、１は、図９の右側に示す実施形態を使用することを意味する。
○中間点の色を圧縮ビットストリームに信号伝送か否かを示す１ビット。例えば、１は、肯定を意味し、０は、否定を意味する。このビットは、CodeInBetweenColor（コード中間色）ビットと呼ばれる。
○CodeInBetweenColorビットが１である場合、中間再構成点の色のパッキングをＴｅｘＩｍｇ０から開始するかＴｅｘＩｍｇ１から開始するかを示す１ビット。例えば、１は、最初にＴｅｘＩｍｇ１を使用することを意味し、０は、最初にＴｅｘＩｍｇ０を使用することを意味する。
【０１１８】
提案された新しいコード体系によってもたらされた上述の新しいメタデータを、全ビットストリームに対して１回、又は一緒に圧縮される各フレーム又はフレームの各グループに対して複数回、信号伝送することができ、その結果、各フレーム又はフレームの各グループに対して異なるコード体系を選択することができる。上述のメタデータの値を記録するデータフィールドを、圧縮ビットストリームに直接出力することができ、又はこのデータフィールドを圧縮ビットストリームに出力する前に更にエントロピーコーディングすることができる。
【０１１９】
図１３は、本開示の教示によって修正された図５の復号器３０を示す。より詳細には、復号器３０の深度画像再構成３２、ポイントクラウド形状再構成３３及びポイントクラウドテクスチャ再構成３５のブロックを、本開示の実施形態によって修正する。
【０１２０】
深度画像再構成ブロック３２に関して、このブロックの出力は、再構成Ｄ０値及び再構成ＥＤＤコードを含む。再構成Ｄ０値を、再構成ＤｅｐｔｈＩｍｇ０から読み取ることができる。ＤｅｐｔｈＩｍｇ１がＥＤＤコードを直接記憶する場合、再構成ＥＤＤコードを、再構成ＤｅｐｔｈＩｍｇ１から直接読み取ることができる。ＤｅｐｔｈＩｍｇ１が（Ｄ０＋ＥＤＤ＿コード）を記憶する場合、再構成ＤｅｐｔｈＩｍｇ１から再構成Ｄ０を引くことによって、ＥＤＤコードを再構成することができる。
【０１２１】
ポイントクラウド形状再構成ブロック３３に関して、符号器側ブロック２４の変更と同じ変更を行う。
【０１２２】
ポイントクラウドテクスチャ再構成ブロック３５に関して、中間再構成点の色を、補間、又は再構成テクスチャ画像からの読み取りによって再構成する。
【０１２３】
開示の更なる実施形態によれば、有利なことに、ＥＤＤコードを、図１４に表すような無損失符号器５０で使用する。
【０１２４】
この無損失符号器は、図１の符号器２の無損失バージョンに対応し、更なる詳細を、ISO/IEC JTC1/SC29/WG11 MPEG2018/m42170,２０１８年１月、Gwangju,Koreaの文献に見付けることができる。
【０１２５】
この無損失符号器５０の基本的な考えは、符号器２によって構成される接続成分によって紛失された（即ち、いずれにも含まれていない）全点から構成される特殊接続成分を構成することである。次に、２つの追加深度パッチ、及び紛失点パッチに対応する２つの追加テクスチャパッチを、深度及びテクスチャ画像にパックする。
【０１２６】
より詳細には、無損失形状コーディングのための符号器２の拡張に向けた第１のステップは、紛失点を収集し、紛失点パッチと呼ばれる個別の接続成分を生成することである。
【０１２７】
次に、紛失点パッチにおける点のｘ、ｙ及びｚ座標を、ブロックに配置し、形状フレームの３つの色チャンネルＹ、Ｕ及びＶに埋め込む。
【０１２８】
次に、符号器２の機構を用いて、紛失点パッチの位置及びサイズを出力し、紛失点パッチの寸法及び位置を反映するダミーパッチを、パッチの既存のリストに追加する。占有マップの圧縮中に、この情報を、他の正規パッチに関する情報と一緒に符号化し、復号器に送信する。
【０１２９】
最後に、圧縮形状フレームからのポイントクラウドの再構成の前に、紛失点パッチの位置及び寸法を、ダミーパッチから抽出する。占有マップと一緒に、この情報を使用して、３つの色平面から三次元点の空間座標を復元する。同時に、パッチのリストからの点の大部分を、復号器で復元し、既存の体系を用いて、三次元空間に逆投影する。
【０１３０】
有利なことに、符号器２のために図１０を参照して説明される方法と同じ方法で、深度パッチ生成５２、深度画像生成５４、ポイントクラウド形状再構成５８及び三次元色転送６０の強調表示ブロックを修正することによって、本開示の教示を無損失符号器５０に適用することができる。
【０１３１】
図１〜図１４に関して、モジュールは、区別できる物理ユニットと関連していても関連していなくてもよい機能ユニットである。例えば、これらのモジュール又はモジュールの一部は、固有の構成要素又は回路と一緒にされてもよく、又はソフトウェアの機能に寄与してもよい。一方、幾つかのモジュールは、個別の物理的実体から構成される可能性があってもよい。純粋なハードウェア、例えば、ＡＳＩＣ＜＜特定用途向け集積回路＞＞又はＦＰＧＡ＜＜フィールドプログラマブルゲートアレイ＞＞又はＶＬＳＩ＜＜超大規模集積回路＞＞のような専用ハードウェアを用いて、又はデバイスに組み込まれた幾つかの集積電子構成要素から、又はハードウェア及びソフトウェア構成要素の混合から、本原理に適合する装置を実施する。
【０１３２】
図１５は、図１〜図１４に関して記載の方法を実施するように構成可能なデバイス１１００の例示的なアーキテクチャを表す。
【０１３３】
デバイス１１００は、データ及びアドレスバス１１０１によって一緒にリンクされる下記の要素を含む。
−例えば、ＤＳＰ（又はデジタル信号プロセッサ）であるマイクロプロセッサ１１０２（又はＣＰＵ）
−ＲＯＭ（又は読み出し専用メモリ）１１０３
−ＲＡＭ（又はランダムアクセスメモリ）１１０４
−送信すべきデータをアプリケーションから受信する入出力インターフェース１１０５
−バッテリー１１０６
【０１３４】
例によれば、バッテリー１１０６は、デバイスの外部にある。記載のメモリの各々において、明細書で使用される用語＜＜レジスタ＞＞は、小容量（数ビット）の領域、又は非常に大きい領域（例えば、全プログラム、又は大量の受信又は復号データ）に対応することができる。ＲＯＭ１１０３は、少なくともプログラム及びパラメータを含む。ＲＯＭ１１０３は、本原理による技法を実行するアルゴリズム及び命令を記憶してもよい。電源を入れると、ＣＰＵ１１０２は、ＲＡＭにプログラムをアップロードし、対応する命令を実行する。
【０１３５】
ＲＡＭ１１０４は、ＣＰＵ１１０２によって実行され、デバイス１１００の電源を入れた後にアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の方法の異なる状態における中間データ、及びレジスタで方法を実行するために使用される他の変数を、レジスタに含む。
【０１３６】
ここに記載の実装を、例えば、方法又は処理、装置、ソフトウェアプログラム、データストリーム、又は信号で実施してもよい。実装の単一の形（例えば、方法又はデバイスとしてだけ記載）の文脈でだけ記載されている場合でも、記載の特徴の実装を、他の形（例えば、プログラム）で実施してもよい。装置を、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施してもよい。方法を、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスなどを含む処理デバイスを一般的に意味するプロセッサなどの装置で実施してもよい。更に、プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、及びエンドユーザ間の情報通信を容易にする他のデバイスなどの通信デバイスを含む。
【０１３７】
符号化又は符号器の例によれば、入力ポイントクラウドを、ソースから取得する。例えば、このソースは、下記を含むセットに属する。
−ローカルメモリ（１１０３又は１１０４）、例えば、ビデオメモリ又はＲＡＭ（又はランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（又は読み出し専用メモリ）、ハードディスク
−記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェース
−通信インターフェース（１１０５）、例えば、有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）、又は無線インターフェース（例えば、ＩＥＥＥ  ８０２．１１インターフェース又はブルートゥース（登録商標）インターフェース）
−画像収集回路（例えば、ＣＣＤ（又は電荷結合素子）又はＣＭＯＳ（又は相補型金属酸化膜半導体）などのセンサー）
【０１３８】
復号又は復号器の例によれば、復号ポイントクラウドを、宛先に送信し、具体的には、この宛先は、下記を含むセットに属する。
−ローカルメモリ（１１０３又は１１０４）、例えば、ビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク
−記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェース
−通信インターフェース（１１０５）、例えば、有線インターフェース（例えば、バスインターフェース（例えば、ＵＳＢ（又はユニバーサルシリアルバス））、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース、HDMI(登録商標）（高解像度マルチメディアインターフェース）インターフェース）、又は無線インターフェース（例えば、ＩＥＥＥ  ８０２．１１インターフェース、ワイファイ（WiFi）（登録商標）又はブルートゥース（登録商標）インターフェース）
−レンダリングデバイス
−ディスプレイ
【０１３９】
符号化又は符号器の例によれば、ビットストリーム（圧縮ストリーム）を宛先に送信する。一例として、ビットストリームを、ローカル又はリモートメモリ、例えば、ビデオメモリ（１１０４）又はＲＡＭ（１１０４）、ハードディスク（１１０３）に記憶する。変型例において、ビットストリームを、記憶インターフェース（１１０５）、例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気支持体を有するインターフェースに送信する、及び／又は、通信インターフェース（１１０５）、例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク又は同報通信ネットワークへのインターフェース上で伝送する。
【０１４０】
復号又は復号器の例によれば、ビットストリーム（圧縮ストリーム）をソースから取得する。典型的に、ビットストリームを、ローカルメモリ、例えば、ビデオメモリ（１１０４）、ＲＡＭ（１１０４）、ＲＯＭ（１１０３）、フラッシュメモリ（１１０３）又はハードディスク（１１０３）から読み取る。変型例において、ビットストリームを、記憶インターフェース（１１０５）、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気支持体を有するインターフェースから受信する、及び／又は、通信インターフェース（１１０５）、例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク又は同報通信ネットワークへのインターフェースから受信する。
【０１４１】
例によれば、図１０又は図１４に関して記載の符号化方法を実施するように構成されているデバイス１１００は、下記を含むセットに属する。
−携帯機器
−スマートフォン、又は三次元収集機能を有するテレビ受像機
−通信デバイス
−ゲーム機
−タブレット（又はタブレットコンピュータ）
−ラップトップ
−静止画像カメラ
−ビデオカメラ
−符号化チップ
−静止画像サーバー
−ビデオサーバー（例えば、同報通信サーバー、ビデオオンデマンドサーバー、又はウェブサーバー）
【０１４２】
例によれば、図１３に関して記載の復号方法を実施するように構成されているデバイス１１００は、下記を含むセットに属する。
−携帯機器
−頭部装着型ディスプレイ（ＨＭＤ）
−（複合現実感）スマートメガネ
−ホログラフィックデバイス
−通信デバイス
−ゲーム機
−セットトップボックス
−テレビ受像機
−タブレット（又はタブレットコンピュータ）
−ラップトップ
−ディスプレイ
−立体ディスプレイ
−復号チップ
【０１４３】
通信ネットワークＮＥＴ上の２つの遠隔デバイスＡ及びＢの間の伝送状況で図１６に例示の本原理の例によれば、デバイスＡは、図１０に関して記載のように着色ポイントクラウドを符号化する方法を実施するように構成されているメモリＲＡＭ及びＲＯＭに関するプロセッサを含み、デバイスＢは、図１３に関して記載のように復号する方法を実施するように構成されているメモリＲＡＭ及びＲＯＭに関するプロセッサを含む。
【０１４４】
例によれば、ネットワークは、デバイスＡからデバイスＢを含む復号デバイスに符号化着色ポイントクラウドを同報通信するのに適している同報通信ネットワークである。
【０１４５】
デバイスＡによって伝送されるように意図されている信号は、ビットストリームを伝える。
【０１４６】
図１７は、データをパケットベースの伝送プロトコル上で伝送する場合、このような信号の構文の例を示す。各伝送パケットＰは、ヘッダーＨ及びペイロードＰＡＹＬＯＡＤを含む。
【０１４７】
ここに記載の様々な処理及び特徴の実装を、様々な異なる機器又はアプリケーションで具体化してもよい。このような機器の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器に入力を与えるプリプロセッサ、ビデオ符号器、ビデオ復号器、ビデオ符号器／復号器、ウェブサーバー、セットトップボックス、ラップトップ、パソコン、携帯電話、パーソナルデジタルアシスタント、頭部装着型ディスプレイ、スマートメガネ、及び画像又はビデオ又は他の通信デバイスを処理する任意の他のデバイスを含む。明らかであるように、機器は移動できてもよく、更に、機器を移動車両に設置してもよい。
【０１４８】
更に、方法を、プロセッサによって実行される命令によって実施してもよく、このような命令（及び／又は実装によって生成されるデータ値）を、コンピュータ可読記憶媒体に記憶してもよい。コンピュータ可読記憶媒体は、１つ又は複数のコンピュータ可読媒体で具体化され、コンピュータ可読プログラムコードで具体化されてコンピュータによって実行可能なコンピュータ可読プログラムコードを有するコンピュータ可読プログラム製品の形をとることができる。ここで使用されるようなコンピュータ可読記憶媒体は、コンピュータ可読記憶媒体に情報を記憶する固有能力及びコンピュータ可読記憶媒体から情報を検索する固有能力を考慮すると、持続性記憶媒体と考えられる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、又はデバイス、又はこれらの任意の適切な組み合わせ（但し、これらに限定されない）であることができる。本原理を適用することができるコンピュータ可読記憶媒体のより具体的な例を与えるが、下記（ポータブルコンピュータディスケット、ハードディスク、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又はこれらの任意の適切な組み合わせ）は、例示に過ぎず、当業者が容易に分かるように完全な列挙でないことを理解されたい。
【０１４９】
命令は、プロセッサ可読媒体で明白に具体化されるアプリケーションプログラムを形成してもよい。
【０１５０】
命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせの中にあってもよい。命令を、例えば、オペレーティングシステム、個別アプリケーション、又はこれらの２つの組み合わせの中で見付けてもよい。従って、プロセッサを、例えば、処理を実行するように構成されているデバイス、及び処理を実行する命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方と見なしてもよい。更に、プロセッサ可読媒体は、命令に加えて又は命令の代わりに、実装によって生成されるデータ値を記憶してもよい。
【０１５１】
当業者に明白になり得るように、実装は、例えば、記憶又は伝送可能な情報を伝えるようにフォーマットされた様々な信号を生成してもよい。この情報は、例えば、方法を実行する命令、又は記載の実装のうち１つによって生成されるデータを含んでもよい。例えば、本原理の記載の例の構文を読み書きする規則をデータとして伝える、又は本原理の記載の例によって書き込まれた実際の構文値をデータとして伝えるように、信号をフォーマットしてもよい。このような信号を、例えば、電磁波（例えば、スペクトルの無線周波数部分を用いて）又はベースバンド信号として、フォーマットしてもよい。フォーマッティングは、例えば、データストリームを符号化して、この符号化データストリームで搬送波を変調することを含んでもよい。信号が伝える情報は、例えば、アナログ又はデジタル情報であってもよい。知られているように、信号を、様々な異なる有線又は無線リンク上で伝送してもよい。信号を、プロセッサ可読媒体に記憶してもよい。
【０１５２】
多くの実装について説明されている。それにもかかわらず、様々な修正を行うことができるものとする。例えば、異なる実装の要素を、結合、補足、修正、又は除去して、他の実装を生成してもよい。更に、他の構造及び処理を開示の構造及び処理と置換することができることを当業者は理解することができ、得られた実装は、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を果たし、開示の実装と少なくとも実質的に同じ結果を得る。従って、このアプリケーションによって、これらの実装及び他の実装が考えられる。
【図１】
2021518681.tif 000003
【図２】
2021518681.tif 000004
【図３】
2021518681.tif 000005
【図４】
2021518681.tif 000006
【図５】
2021518681.tif 000007
【図６】
2021518681.tif 000008
【図７】
2021518681.tif 000009
【図８】
2021518681.tif 000010
【図９】
2021518681.tif 000011
【図１０】
2021518681.tif 000012
【図１１】
2021518681.tif 000013
【図１２】
2021518681.tif 000014
【図１３】
2021518681.tif 000015
【図１４】
2021518681.tif 000016
【図１５】
2021518681.tif 000017
【図１６】
2021518681.tif 000018
【図１７】
2021518681.tif 000019
【国際調査報告】
2021518681.tif 000020
2021518681.tif 000021