(57)【要約】  本開示は、ポイントクラウドのビデオベースドアプローチの符号化データの復号処理の負荷の増大を抑制することができるようにする画像処理装置および方法に関する。ポイントクラウドの複数の点群モデルに関するパラメータを変換し、そのパラメータが変換された複数の点群モデルが投影された２次元平面画像を符号化し、その２次元画像の符号化データと、そのパラメータの変換に関する情報である変換情報とを含むビットストリームを生成する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。
2020012968.tif 000002
【特許請求の範囲】
【請求項１】
ポイントクラウドの複数の点群モデルに関するパラメータを変換する変換部と、
前記変換部により前記パラメータが変換された前記複数の点群モデルが投影された２次元平面画像を符号化し、前記２次元平面画像の符号化データと、前記変換部による前記パラメータの変換に関する情報である変換情報とを含むビットストリームを生成する符号化部と
を備える画像処理装置。
【請求項２】
前記変換部は、前記パラメータとして、前記点群モデルの座標を変換する
請求項１に記載の画像処理装置。
【請求項３】
前記変換部は、前記座標の変換として、前記座標のシフト若しくは回転、またはその両方を行う
請求項２に記載の画像処理装置。
【請求項４】
前記変換部は、前記パラメータとして、前記点群モデルの時刻を変換する
請求項１に記載の画像処理装置。
【請求項５】
前記変換部は、前記パラメータとして、前記点群モデルのスケールを変換する
請求項１に記載の画像処理装置。
【請求項６】
前記変換部は、前記パラメータとして、前記点群モデルのフレームレートを変換する
請求項１に記載の画像処理装置。
【請求項７】
前記変換情報は、前記変換部により変換された前記パラメータの変化量を示す情報を含む
請求項１に記載の画像処理装置。
【請求項８】
前記点群モデルのパッチを、前記点群モデル毎に領域を変えて配置し、ビデオフレームとしてパッキングするパッキング部をさらに備え、
前記符号化部は、前記パッキング部により前記パッチがパッキングされた前記ビデオフレームを符号化し、前記点群モデルに関する情報であるモデル情報をさらに含む前記ビットストリームを生成する
請求項１に記載の画像処理装置。
【請求項９】
前記領域は、独立に復号可能な符号化単位である
請求項８に記載の画像処理装置。
【請求項１０】
前記モデル情報は、前記ビットストリームに含まれる点群モデルの数と、各点群モデルのパッチが配置された領域を示す情報とを含む
請求項８に記載の画像処理装置。
【請求項１１】
ポイントクラウドの複数の点群モデルに関するパラメータを変換し、
前記パラメータが変換された前記複数の点群モデルが投影された２次元平面画像を符号化し、前記２次元平面画像の符号化データと、前記パラメータの変換に関する情報である変換情報とを含むビットストリームを生成する
画像処理方法。
【請求項１２】
ビットストリームを復号し、複数の点群モデルが投影された２次元平面画像と、前記複数の点群モデルのそれぞれのパラメータの変換に関する情報である変換情報とを生成する復号部と、
前記復号部により生成された前記２次元平面画像から前記複数の点群モデルのそれぞれを再構築し、前記変換情報に基づいて、前記複数の点群モデルのそれぞれのパラメータを逆変換する再構築部と
を備える画像処理装置。
【請求項１３】
ビットストリームを復号し、複数の点群モデルが投影された２次元平面画像と、前記複数の点群モデルのそれぞれのパラメータの変換に関する情報である変換情報とを生成し、
生成された前記２次元平面画像から前記複数の点群モデルのそれぞれを再構築し、前記変換情報に基づいて、前記複数の点群モデルのそれぞれのパラメータを逆変換する
画像処理方法。
【請求項１４】
点群モデルを構成する複数の部分点群モデルを、それぞれ、互いに独立に設定された投影面に投影する投影部と、
前記投影部により各投影面に投影された前記部分点群モデルのパッチが配置された２次元平面画像と、前記投影面に関する情報である投影面情報を含むオキュパンシーマップとを符号化し、ビットストリームを生成する符号化部と
備える画像処理装置。
【請求項１５】
前記投影面情報は、前記投影面の回転量を示す情報を含む
請求項１４に記載の画像処理装置。
【請求項１６】
前記点群モデルを前記複数の部分点群モデルに分割する分割部と、
前記複数の部分点群モデルのそれぞれについて投影面を設定する設定部と
をさらに備える請求項１４に記載の画像処理装置。
【請求項１７】
前記分割部は、
前記点群モデルのヒストグラムにより密な点群を特定し、
法線ベクトルに基づいて前記密な点群のそれぞれの投影方向を推定し、
前記投影方向が互いに異なる密な点群を、部分点群モデルとして設定する
請求項１６に記載の画像処理装置。
【請求項１８】
点群モデルを構成する複数の部分点群モデルを、それぞれ、互いに独立に設定された投影面に投影し、
各投影面に投影された前記部分点群モデルのパッチが配置された２次元平面画像と、前記投影面に関する情報である投影面情報を含むオキュパンシーマップとを符号化し、ビットストリームを生成する
画像処理方法。
【請求項１９】
ビットストリームを復号し、点群モデルが投影された２次元平面画像と、前記点群モデルに含まれる複数の部分点群モデルのそれぞれの投影面に関する情報である投影面情報を含むオキュパンシーマップとを生成する復号部と、
前記復号部により生成された前記２次元平面画像と、前記オキュパンシーマップに含まれる前記投影面情報とに基づいて、前記点群モデルを再構築する再構築部と
を備える画像処理装置。
【請求項２０】
ビットストリームを復号し、点群モデルが投影された２次元平面画像と、前記点群モデルに含まれる複数の部分点群モデルのそれぞれの投影面に関する情報である投影面情報を含むオキュパンシーマップとを生成し、
生成された前記２次元平面画像と、前記オキュパンシーマップに含まれる前記投影面情報とに基づいて、前記点群モデルを再構築する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、ポイントクラウドのビデオベースドアプローチの符号化データの復号処理の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctree等のような、ボクセル（Voxel）を用いた符号化があった（例えば非特許文献１参照）。【０００３】
近年、その他の符号化方法として、例えば、ポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するアプローチ（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案されている（例えば、非特許文献２乃至非特許文献４参照）。【０００４】
このような符号化において、ポイントクラウドに複数の点群モデルが存在する場合、従来の方法では、点群モデル毎に独立して符号化され、互いに異なるビットストリームにされていた。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
【非特許文献２】Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression ," IEEE, 2015
【非特許文献３】K. Mammou, “Video-based and Hierarchical Approaches Point Cloud Compression” , MPEG m41649, Oct. 2017
【非特許文献４】K. Mammou,“PCC Test Model Category 2 v0,” N17248 MPEG output document, October 2017
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この方法の場合、点群モデルの数が増大すると、デコーダの必要なインスタンス数が増大するおそれがあった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、ポイントクラウドのビデオベースドアプローチの符号化データの復号に必要なインスタンス数の増大を抑制し、復号処理の負荷の増大を抑制することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、ポイントクラウドの複数の点群モデルに関するパラメータを変換する変換部と、前記変換部により前記パラメータが変換された前記複数の点群モデルが投影された２次元平面画像を符号化し、前記２次元平面画像の符号化データと、前記変換部による前記パラメータの変換に関する情報である変換情報とを含むビットストリームを生成する符号化部とを備える画像処理装置である。【０００９】
本技術の一側面の画像処理方法は、ポイントクラウドの複数の点群モデルに関するパラメータを変換し、前記パラメータが変換された前記複数の点群モデルが投影された２次元平面画像を符号化し、前記２次元平面画像の符号化データと、前記パラメータの変換に関する情報である変換情報とを含むビットストリームを生成する画像処理方法である。【００１０】
本技術の他の側面の画像処理装置は、ビットストリームを復号し、複数の点群モデルが投影された２次元平面画像と、前記複数の点群モデルのそれぞれのパラメータの変換に関する情報である変換情報とを生成する復号部と、前記復号部により生成された前記２次元平面画像から前記複数の点群モデルのそれぞれを再構築し、前記変換情報に基づいて、前記複数の点群モデルのそれぞれのパラメータを逆変換する再構築部とを備える画像処理装置である。【００１１】
本技術の他の側面の画像処理方法は、ビットストリームを復号し、複数の点群モデルが投影された２次元平面画像と、前記複数の点群モデルのそれぞれのパラメータの変換に関する情報である変換情報とを生成し、生成された前記２次元平面画像から前記複数の点群モデルのそれぞれを再構築し、前記変換情報に基づいて、前記複数の点群モデルのそれぞれのパラメータを逆変換する画像処理方法である。【００１２】
本技術のさらに他の側面の画像処理装置は、点群モデルを構成する複数の部分点群モデルを、それぞれ、互いに独立に設定された投影面に投影する投影部と、前記投影部により各投影面に投影された前記部分点群モデルのパッチが配置された２次元平面画像と、前記投影面に関する情報である投影面情報を含むオキュパンシーマップとを符号化し、ビットストリームを生成する符号化部とを備える画像処理装置である。【００１３】
本技術のさらに他の側面の画像処理方法は、点群モデルを構成する複数の部分点群モデルを、それぞれ、互いに独立に設定された投影面に投影し、各投影面に投影された前記部分点群モデルのパッチが配置された２次元平面画像と、前記投影面に関する情報である投影面情報を含むオキュパンシーマップとを符号化し、ビットストリームを生成する画像処理方法である。【００１４】
本技術のさらに他の側面の画像処理装置は、ビットストリームを復号し、点群モデルが投影された２次元平面画像と、前記点群モデルに含まれる複数の部分点群モデルのそれぞれの投影面に関する情報である投影面情報を含むオキュパンシーマップとを生成する復号部と、前記復号部により生成された前記２次元平面画像と、前記オキュパンシーマップに含まれる前記投影面情報とに基づいて、前記点群モデルを再構築する再構築部とを備える画像処理装置である。【００１５】
本技術のさらに他の側面の画像処理方法は、ビットストリームを復号し、点群モデルが投影された２次元平面画像と、前記点群モデルに含まれる複数の部分点群モデルのそれぞれの投影面に関する情報である投影面情報を含むオキュパンシーマップとを生成し、生成された前記２次元平面画像と、前記オキュパンシーマップに含まれる前記投影面情報とに基づいて、前記点群モデルを再構築する画像処理方法である。【００１６】
本技術の一側面の画像処理装置および方法においては、ポイントクラウドの複数の点群モデルに関するパラメータが変換され、そのパラメータが変換された複数の点群モデルが投影された２次元平面画像が符号化され、その２次元平面画像の符号化データと、そのパラメータの変換に関する情報である変換情報とを含むビットストリームが生成される。【００１７】
本技術の他の側面の画像処理装置および方法においては、ビットストリームが復号され、複数の点群モデルが投影された２次元平面画像と、その複数の点群モデルのそれぞれのパラメータの変換に関する情報である変換情報とが生成され、その生成された２次元平面画像から複数の点群モデルのそれぞれが再構築され、その変換情報に基づいて、その複数の点群モデルのそれぞれのパラメータが逆変換される。【００１８】
本技術のさらに他の側面の画像処理装置および方法においては、点群モデルを構成する複数の部分点群モデルが、それぞれ、互いに独立に設定された投影面に投影され、各投影面に投影された部分点群モデルのパッチが配置された２次元平面画像と、その投影面に関する情報である投影面情報を含むオキュパンシーマップとが符号化され、ビットストリームが生成される。【００１９】
本技術のさらに他の側面の画像処理装置および方法においては、ビットストリームが復号され、点群モデルが投影された２次元平面画像と、その点群モデルに含まれる複数の部分点群モデルのそれぞれの投影面に関する情報である投影面情報を含むオキュパンシーマップとが生成され、その生成された２次元平面画像と、そのオキュパンシーマップに含まれる投影面情報とに基づいて、点群モデルが再構築される。
【発明の効果】
【００２０】
本開示によれば、画像を処理することができる。特に、ポイントクラウドのビデオベースドアプローチの符号化データの復号処理の負荷の増大を抑制することができる。
【図面の簡単な説明】
【００２１】
【図１】本技術に関する主な特徴をまとめた図である。
【図２】本技術を適用したポイントクラウドの符号化・復号の概要を説明する図である。
【図３】本技術を適用したポイントクラウドの符号化・復号の概要を説明する図である。
【図４】符号化装置の主な構成例を示すブロック図である。
【図５】符号化処理の流れの例を説明するフローチャートである。
【図６】変換処理の流れの例を説明するフローチャートである。
【図７】バウンディングボックス設定処理の流れの例を説明するフローチャートである。
【図８】パッキング処理の流れの例を説明するフローチャートである。
【図９】BB情報生成処理の流れの例を説明するフローチャートである。
【図１０】復号装置の主な構成例を示すブロック図である。
【図１１】復号処理の流れの例を説明するフローチャートである。
【図１２】本技術に関する主な特徴をまとめた図である。
【図１３】本技術を適用したポイントクラウドの符号化・復号の概要を説明する図である。
【図１４】符号化装置の主な構成例を示すブロック図である。
【図１５】パッチ分解部の主な構成例を示すブロック図である。
【図１６】符号化処理の流れの例を説明するフローチャートである。
【図１７】パッチ分解処理の流れの例を説明するフローチャートである。
【図１８】分割処理の流れの例を説明するフローチャートである。
【図１９】パッキング処理の流れの例を説明するフローチャートである。
【図２０】復号装置の主な構成例を示すブロック図である。
【図２１】復号処理の流れの例を説明するフローチャートである。
【図２２】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．点群モデルの変換
２．部分デコード対応
３．第１の実施の形態（符号化装置）
４．第２の実施の形態（復号装置）
５．局所的な投影面制御
６．第３の実施の形態（符号化装置）
７．第４の実施の形態（復号装置）
８．付記
【００２３】
＜１．点群モデルの変換＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
【００２４】
非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：（上述）
非特許文献５：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献６：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献７：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
【００２５】
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献６に記載されているQuad-Tree Block Structure、非特許文献７に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
【００２６】
＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。
【００２７】
例えばポイントクラウドの場合、立体構造物を多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
【００２８】
＜ビデオベースドアプローチの概要＞
このようなポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案されている。
【００２９】
このビデオベースドアプローチでは、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域とも称する）に分割され、領域毎に２次元平面に投影される。なお、ポイントクラウドの位置毎のデータ（すなわち、各ポイントのデータ）は、上述のように位置情報（Geometry（Depthとも称する））と属性情報（Texture）とにより構成され、それぞれ、領域毎に２次元平面に投影される。
【００３０】
そして、この２次元平面に投影された各セグメンテーション（パッチとも称する）は、２次元画像に配置され、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。
【００３１】
＜点群モデルの符号化＞
このようなポイントクラウドにおいて、密なポイント群からなる点群モデルが複数存在する場合がある。例えば、広場に複数の人物が点在する場合にその広場全体を含む３次元空間をポイントクラウド化すると、各人物の部分に密なポイント群（点群モデル）が形成される。つまり、複数の点群モデルが形成される。
【００３２】
このような場合に、ポイントクラウド全体を大きな１つの点群モデルとみなして符号化すると、ポイントが疎な部分が多数存在するため、符号化効率が低減してしまうおそれがあった。そこで、ポイントクラウドに含まれる複数の点群モデルのそれぞれを（例えば人物毎に）互いに独立して符号化する方法が考えられた。しかしながら、この場合、点群モデル毎にビットストリームが生成されてしまうため、点群モデルの数が増大すると、ビットストリームの数が増大し、デコーダの必要なインスタンス数が増大するおそれがあった。例えば、ポイントクラウドに数百の点群モデルが存在する場合、１本のビットストリームの復号に必要なインスタンス数の数百倍のインスタンスが必要になるおそれがあった。このように復号処理の負荷が増大することにより、デコーダのコストが増大したり、処理時間が増大したりするおそれがあった。
【００３３】
＜ビットストリーム数の低減＞
そこで、複数の点群モデルを１本のビットストリームに格納するようにする。例えば、図１の表の一番上の行に示されるように、複数の点群モデルを変換して１つのグループにまとめ、符号化することにより、複数の点群モデルを１本のビットストリームに格納するようにする。
【００３４】
このようにすることにより、ポイントクラウドに複数の点群モデルが存在する場合も、符号化効率の低減を抑制しながらビットストリーム数の増大を抑制することができる。したがって、復号に必要なインスタンス数の増大を抑制することができる。すなわち、復号処理の負荷の増大を抑制することができる。これにより、デコーダのコストの増大を抑制することができる。また、復号処理の処理時間の増大を抑制することができる。
【００３５】
＜点群モデルの変換＞
より具体的には、図１の表の＃１の行に示されるように、各点群モデルに関するパラメータを変換して、ポイントが疎な部分を低減させた１つのグループにまとめる（各点群モデルの変換）。つまり、そのグループをまとめて符号化し、１本のビットストリームとする。
【００３６】
例えば、図２の一番左に示されるように、ポイントクラウドに点群モデル１１−１乃至点群モデル１１−４が存在し、それぞれに対してバウンディングボックス１２−１乃至バウンディングボックス１２−４が設定されているとする。点群モデル１１−１乃至点群モデル１１−４を互いに区別して説明しない場合、点群モデル１１と称する。また、バウンディングボックス１２−１乃至バウンディングボックス１２−４を互いに区別して説明しない場合、バウンディングボックス１２と称する。つまり、これらの点群モデル１１は互いに離れており、それぞれにバウンディングボックス１２が設定される。
【００３７】
符号化の際は、図２の左から２番目に示されるように、これらの点群モデル１１のパラメータを変換して集め、ポイントが疎な部分が少ないグループを形成させる。図２の例では、バウンディングボックス１２−１乃至バウンディングボックス１２−４からなるグループが形成され、そのグループ全体に対して符号化用のバウンディングボックス１３が設定されている。
【００３８】
この変換の内容（変換するパラメータ）は任意である。例えば、図１の表に示されるように、点群モデル１１の座標を変換してもよい。例えば、その座標変換として、点群モデル１１の座標をシフト（Shift）してもよい（点群モデル１１の位置を移動してもよい）。つまり、図２の一番左に示されるポイントクラウドにおける点群モデル１１−１乃至点群モデル１１−４のそれぞれの位置は、他と空間的に離れていてもよい。このような変換により、例えば、各点群モデルの位置を近づけることができ、グループの疎な部分を低減させることができる。
【００３９】
また、点群モデル１１の座標を回転（Rotate）してもよい（点群モデル１１の姿勢を回転してもよい）。つまり、図２の一番左に示されるポイントクラウドにおける点群モデル１１−１乃至点群モデル１１−４のそれぞれの姿勢（向き）は、他と異なっていてもよい。このような変換により、例えば、各点群モデルの姿勢を揃えることができ、グループの疎な部分を低減させることができる。
【００４０】
また、例えば、図１の表に示されるように、点群モデル１１の時刻（タイムスタンプ（TimeStump））を変換してもよい。つまり、図２の一番左に示されるポイントクラウドにおける点群モデル１１−１乃至点群モデル１１−４のそれぞれの位置は、他と時間的に離れていてもよい（他と異なる時刻に存在する点群モデルを含むようにしてもよい）。このような変換により、例えば、各点群モデルの時刻を揃えることができ、互いに異なる時刻に存在する点群モデル同士を１つのグループにまとめることができる。
【００４１】
また、例えば、図１の表に示されるように、点群モデル１１の大きさ（スケール（Scale））を変換してもよい。つまり、図２の一番左に示されるポイントクラウドにおける点群モデル１１−１乃至点群モデル１１−４のそれぞれのスケールは、他と異なっていてもよい。このような変換により、例えば、各点群モデルの大きさ（スケール）を揃えたり、空間方向の解像度を揃えたりすることができる。
【００４２】
また、例えば、図１の表に示されるように、点群モデル１１のフレームレート（Frame Rate）を変換するようにしてもよい。つまり、図２の一番左に示されるポイントクラウドにおける点群モデル１１−１乃至点群モデル１１−４のそれぞれのフレームレートは、他と異なっていてもよい。このような変換により、例えば、各点群モデルのフレームレート（つまり時間方向の解像度）を揃えることができる。
【００４３】
図２において、符号化の際は、左から２番目に示される符号化用のバウンディングボックス１３内の点群モデルのグループを２次元平面に投影し、ビデオフレームにパッキングし、左から３番目に示されるように、属性情報（Texture）を含むカラービデオフレーム１４、位置情報（Depth）を含むジオメトリビデオフレーム１５、およびオキュパンシーマップ１６を生成する。
【００４４】
そして、２次元画像用の符号化方式を用いて符号化し、図２の一番右に示されるように、１本の２Ｄビットストリーム１７（オキュパンシーマップ１８およびヘッダ（Header）１９を含む）を生成する。つまり、点群モデル１１−１乃至点群モデル１１−４の符号化データが、この１本の２Ｄビットストリーム１７に格納される。
【００４５】
このようにすることにより、ビットストリーム数の増大を抑制し、復号処理の負荷の増大を抑制することができる。
【００４６】
＜変換情報のシグナル＞
復号の場合は、以上の逆処理が行われる。つまり、各点群モデルを、図２の左から２番目のグループの状態から、左から１番目の元の状態に戻す逆変換処理が行われる。そこで、復号の際にこの逆変換を行うことができるように、図１の表の＃１の行に示されるように、符号化の際に行われる点群モデルに関するパラメータの変換（図２の左から１番目状態から２番目の状態への変換）の内容を示す変換情報を生成し、（例えばビットストリームに含めて）復号側に伝送する（つまり、変換情報のシグナリングを行う）。
【００４７】
この変換情報は、変換の内容（変換したパラメータの変化量）を示すものであればどのような情報であってもよい。例えば、図１の表に示されるように、変換したパラメータ（例えば、Shift、Rotate、Time Stump、Scale、Frame Rate等）の、変換前後の比率を示す情報であってもよい。また、例えば、図１の表に示されるように、変換したパラメータ（例えば、Shift、Rotate、Time Stump、Scale、Frame Rate等）の、変換前後の差分を示す情報であってもよい。
【００４８】
また、この変換情報の伝送の方法は任意である。例えば、点群モデルの符号化データを含むビットストリームに関連付けて伝送するようにしてもよい。例えば、そのビットストリームに含めるようにしてもよい。例えば、図２に示されるように、このような変換情報をBB情報２１として２Ｄビットストリーム１７のヘッダ（Header）１９に含めるようにしてもよい。
【００４９】
例えば、BB情報２１には、変換情報として、シフト量を示す情報（Shift x/y/z）、回転量を示す情報（Rotate x/y/z）、タイムスタンプの変化量を示す情報（Time Stump）、スケールの変化量を示す情報（Scale x/y/z）、フレームレートの変化量を示す情報（Frame Rate）等が含まれる。符号化の際には、このBB情報２１が生成されてヘッダ１９に格納され、復号の際には、そのBB情報２１がヘッダ１９から読みだされて逆変換に利用される。
【００５０】
＜点群モデルの投影面設定＞
なお、図１の表の＃２の行に示されるように、図２の左から２番目に示される点群モデルのグループを２次元平面に投影する場合に、その投影面を、点群モデル毎に設定することができるようにしてもよい。このようにすることにより、各点群モデルをより適切な投影面に投影することができるので、点群モデルの投影が非効率であることによる符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。
【００５１】
例えば、図１の表に示されるように、各点群モデルの直交６方向の投影面を回転（Rotate）させることができるようにしてもよい。このようにすることにより、比較的容易に投影面を点群モデルに対してより適切な面（効率の良い投影を行うことができる面）とすることができる。
【００５２】
また、図１の表に示されるように、任意の投影面を設定（追加）することができるようにしてもよい。このようにすることにより、各点群モデルの投影面の自由度を向上させることができ、より効率の良い投影を行うことが期待できる（符号化効率のさらなる向上を期待することができる）。
【００５３】
＜投影面情報のシグナル＞
なお、このように点群モデル毎に投影面を設定する場合（グループ共通の投影面としない場合）、復号の際（ポイントクラウドを再構築する際）に、その投影面の情報も必要になる。そこで、図１の表の＃２の行に示されるように、以上のように設定する投影面に関する情報である投影面情報を復号側に伝送する（投影面情報のシグナリング）。
【００５４】
この投影面情報は、図１の表に示されるように、投影面の特定に必要な情報であれば、どのような情報を含むようにしてもよい。例えば、図２に示されるように、この投影面情報２２を、オキュパンシーマップ１６（すなわちオキュパンシーマップ１８）に格納するようにしてもよい。
【００５５】
例えば、投影面情報２２には、直交６方向の投影面のシフト量を示す情報（Shift x/y/z）、スケールの変化量を示す情報（Scale x/y/z）、回転量を示す情報（Rotate x/y/z）等が含まれる。また、例えば、投影面情報２２には、追加した任意の投影面を示す情報が含まれるようにしてもよい。
【００５６】
符号化の際には、この投影面情報２２が生成されてオキュパンシーマップ１６に格納され、復号の際には、その投影面情報２２がオキュパンシーマップ１６から読みだされてポイントクラウドの再構築に利用される。
【００５７】
＜２．部分デコード対応＞
＜点群モデル毎のパッチ配置制御＞
また、図１の表の＃３の行に示されるように、各点群モデルのパッチを２次元画像に配置し、ビデオフレームとしてパッキングする場合に、パッチを配置する領域を点群モデル毎に制御することができるようにしてもよい。例えば、互いに同一の点群モデルに属するパッチを、互いに同一の領域に配置するようにしてもよい。この領域は任意である。例えば、独立に復号可能な符号化単位であってもよい。すなわち、互いに同一の点群モデルに属するパッチを、互いに同一の、独立に復号可能な符号化単位に配置するようにしてもよい。
【００５８】
この独立に復号可能な符号化単位は任意である。例えば、図１の表に示されるように、フレームであってもよいし、スライスであってもよいし、タイルであってもよい。
【００５９】
例えば、図３のＡに示されるように、ポイントクラウドに点群モデル３１−１と点群モデル３１−２が存在するとする。点群モデル３１−１にはバウンディングボックス３２−１が設定され、点群モデル３１−２にはバウンディングボックス３２−２が設定される。つまり、これらは互いに独立した点群モデルである。点群モデル３１−１および点群モデル３１−２のパッチを２次元画像３３に配置してパッキングする場合、従来の方法では、図３のＢに示されるように両者のパッチは領域を分けずに配置されていた。図３のＢにおいて、パッチ３４−１乃至パッチ３４−４は、点群モデル３１−１のパッチであり、パッチ３５−１乃至パッチ３５−５は、点群モデル３１−２のパッチである。これを図３のＣに示されるように、点群モデル３１−１のパッチ３４−１乃至パッチ３４−４は、例えば、２次元画像３３のスライス３６−２に配置し、点群モデル３１−２のパッチ３５−１乃至パッチ３５−５は、２次元画像３３のスライス３６−１に配置するようにする。
【００６０】
このようにパッチを配置する独立に復号可能な符号化単位を、点群モデル毎に制御する（互いに同一の点群モデルに属するパッチを、互いに同一の、独立に復号可能な符号化単位に配置する）ことにより、一部の点群モデルのみを復号して再構築する、所謂「部分デコード」を実現することができる。例えば図３のＣの場合、スライス３６−１およびスライス３６−２は互いに独立に復号可能な符号化単位であるので、スライス３６−１のパッチ３５−１乃至パッチ３５−５のみを復号したり、スライス３６−２のパッチ３４−１乃至パッチ３４−４のみを復号したりすることができる。つまり、点群モデル３１−１のみを復号して再構築したり、点群モデル３１−２のみを復号して再構築したりすることができる。
【００６１】
＜モデル情報のシグナル＞
なお、このような部分デコードを行うためには、復号側においてどの領域（どの独立に復号可能な符号化単位）にどの点群モデルのパッチが配置されているかを把握する必要がある。そこで、図１の表の＃３の行に示されるように、点群モデルに関する情報であるモデル情報を生成し、符号化側から復号側に伝送する（シグナルする）。
【００６２】
このモデル情報の内容は任意である。例えば、図１の表に示されるように、ビデオフレームにパッキングされる点群モデルの数を示す情報がモデル情報に含まれていてもよい。また、例えば、図１の表に示されるように、各点群モデルのパッチが配置された領域（独立に復号可能な符号化単位）を示す情報がモデル情報に含まれていてもよい。
【００６３】
なお、このモデル情報の伝送の方法は任意である。例えば、点群モデルの符号化データを含むビットストリームに関連付けて伝送するようにしてもよい。例えば、そのビットストリームに含めるようにしてもよい。例えば、図２に示されるように、このようなモデル情報をBB情報２１として２Ｄビットストリーム１７のヘッダ（Header）１９に含めるようにしてもよい。
【００６４】
例えば、BB情報２１には、モデル情報として、モデル数と、各点群モデルのパッチの配置領域に関する情報とが含まれる。符号化の際には、このBB情報２１が生成されてヘッダ１９に格納され、復号の際には、そのBB情報２１がヘッダ１９から読みだされて部分デコードに利用される。
【００６５】
＜３．第１の実施の形態＞
＜符号化装置＞
次に、以上のような各手法を実現する構成について説明する。図４は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図４に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。
【００６６】
なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、符号化装置１００において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置１００内の処理部等を説明する他の図においても同様である。
【００６７】
図４に示されるように符号化装置１００は、モデル変換部１１１、パッチ分解部１１２、パッキング部１１３、補助パッチ情報圧縮部１１４、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、マルチプレクサ１１８、およびBB情報生成部１１９を有する。
【００６８】
モデル変換部１１１は、点群モデルに関するパラメータの変換に関する処理を行う。例えば、モデル変換部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド（Point Cloud））を取得する。また、モデル変換部１１１は、その取得したポイントクラウドに含まれる点群モデルに関するパラメータを変換する。その際、モデル変換部１１１は、＜ビットストリーム数の低減＞や＜点群モデルの変換＞において上述した方法により、各点群モデルに関するパラメータを変換し、複数の点群モデルを１つのグループにまとめる。モデル変換部１１１は、パラメータを変換した点群モデル、すなわち、１つのグループにまとめた点群モデルを含むポイントクラウドをパッチ分解部１１２に供給する。
【００６９】
また、モデル変換部１１１は、＜変換情報のシグナル＞において上述した方法により、その変換についての変換情報を生成する。モデル変換部１１１は、生成した変換情報をBB情報生成部１１９に供給する。
【００７０】
パッチ分解部１１２は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１２は、モデル変換部１１１から供給されるポイントクラウド（グループにまとめられた複数の点群モデルを含むポイントクラウド）を取得する。また、パッチ分解部１１２は、取得したそのポイントクラウドを複数のセグメンテーションに分解し、そのセグメンテーション毎にポイントクラウドを２次元平面に投影し、位置情報のパッチや属性情報のパッチを生成する。パッチ分解部１１２は、生成した各パッチに関する情報をパッキング部１１３に供給する。また、パッチ分解部１１２は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１４に供給する。
【００７１】
パッキング部１１３は、データのパッキングに関する処理を行う。例えば、パッキング部１１３は、パッチ分解部１１２からポイントの位置を示す位置情報（Geometry）のパッチに関する情報や、その位置情報に付加される色情報等の属性情報（Texture）のパッチに関する情報を取得する。
【００７２】
また、パッキング部１１３は、取得した各パッチを２次元画像に配置してビデオフレームとしてパッキングする。例えば、パッキング部１１３は、位置情報のパッチを２次元画像に配置して、位置情報のビデオフレーム（ジオメトリビデオフレームとも称する）としてパッキングする。また、例えば、パッキング部１１３は、属性情報のパッチを２次元画像に配置して、属性情報のビデオフレーム（カラービデオフレームとも称する）としてパッキングする。
【００７３】
これらのパッキングの際、パッキング部１１３は、＜点群モデル毎のパッチ配置制御＞において上述した方法により、パッチを配置する領域（独立に復号可能な符号化単位）を点群モデル毎に制御する。そして、パッキング部１１３は、＜モデル情報のシグナル＞において上述した方法により、モデル情報を生成する。パッキング部１１３は、生成したモデル情報をBB情報生成部１１９に供給する。
【００７４】
また、パッキング部１１３は、これらのビデオフレームに対応するオキュパンシーマップを生成する。さらに、パッキング部１１３は、カラービデオフレームに対してDilation処理を行う。
【００７５】
パッキング部１１３は、このように生成したジオメトリビデオフレームをビデオ符号化部１１５に供給する。また、パッキング部１１３は、このように生成したカラービデオフレオームをビデオ符号化部１１６に供給する。さらに、パッキング部１１３は、このように生成したオキュパンシーマップをOMap符号化部１１７に供給する。また、パッキング部１１３は、このようなパッキングに関する制御情報をマルチプレクサ１１８に供給する。
【００７６】
補助パッチ情報圧縮部１１４は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１４は、パッチ分解部１１２から供給されるデータを取得する。補助パッチ情報圧縮部１１４は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１４は、得られた補助パッチ情報の符号化データをマルチプレクサ１１８に供給する。
【００７７】
ビデオ符号化部１１５は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、パッキング部１１３から供給されるジオメトリビデオフレームを取得する。また、ビデオ符号化部１１５は、その取得したジオメトリビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られた符号化データ（ジオメトリビデオフレームの符号化データ）をマルチプレクサ１１８に供給する。
【００７８】
ビデオ符号化部１１６は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１６は、パッキング部１１３から供給されるカラービデオフレームを取得する。また、ビデオ符号化部１１６は、その取得したカラービデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１６は、その符号化により得られた符号化データ（カラービデオフレームの符号化データ）をマルチプレクサ１１８に供給する。
【００７９】
OMap符号化部１１７は、オキュパンシーマップの符号化に関する処理を行う。例えば、OMap符号化部１１７は、パッキング部１１３から供給されるオキュパンシーマップを取得する。また、OMap符号化部１１７は、その取得したオキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化する。OMap符号化部１１７は、その符号化により得られた符号化データ（オキュパンシーマップの符号化データ）をマルチプレクサ１１８に供給する。
【００８０】
マルチプレクサ１１８は、多重化に関する処理を行う。例えば、マルチプレクサ１１８は、補助パッチ情報圧縮部１１４から供給される補助パッチ情報の符号化データを取得する。また、マルチプレクサ１１８は、パッキング部１１３から供給されるパッキングに関する制御情報を取得する。さらに、マルチプレクサ１１８は、ビデオ符号化部１１５から供給されるジオメトリビデオフレームの符号化データを取得する。また、マルチプレクサ１１８は、ビデオ符号化部１１６から供給されるカラービデオフレームの符号化データを取得する。さらに、マルチプレクサ１１８は、OMap符号化部１１７から供給されるオキュパンシーマップの符号化データを取得する。また、マルチプレクサ１１８は、BB情報生成部１１９から供給されるBB情報を取得する。
【００８１】
マルチプレクサ１１８は、取得したそれらの情報を多重化して、ビットストリーム（Bitstream）を生成する。マルチプレクサ１１８は、その生成したビットストリームを符号化装置１００の外部に出力する。
【００８２】
BB情報生成部１１９は、BB情報の生成に関する処理を行う。例えば、BB情報生成部１１９は、モデル変換部１１１から供給される変換情報を取得する。また、BB情報生成部１１９は、パッキング部１１３から供給されるモデル情報を取得する。BB情報生成部１１９は、取得した変換情報およびモデル情報を含むBB情報を生成する。BB情報生成部１１９は、生成したBB情報をマルチプレクサ１１８に供給する。つまり、BB情報を復号側に伝送させる。
【００８３】
このような構成とすることにより、符号化装置１００は、ポイントクラウドの複数の点群モデルを変換してまとめ、符号化して１つのビットストリームに格納することができる。つまり、ポイントクラウドに複数の点群モデルが存在する場合も、符号化効率の低減を抑制しながらビットストリーム数の増大を抑制することができる。したがって、符号化装置１００は、復号に必要なインスタンス数の増大を抑制することができる。すなわち、復号処理の負荷の増大を抑制することができる。これにより、デコーダのコストの増大を抑制することができる。また、復号処理の処理時間の増大を抑制することができる。
【００８４】
＜符号化処理の流れ＞
次に、符号化装置１００により実行される符号化処理の流れの例を、図５のフローチャートを参照して説明する。
【００８５】
符号化処理が開始されると、符号化装置１００のモデル変換部１１１は、ステップＳ１０１において、変換処理を実行し、ポイントクラウドに含まれる複数の点群モデルを変換して１つのグループにまとめる。また、モデル変換部１１１は、その変換についての変換情報を生成する。
【００８６】
ステップＳ１０２において、パッチ分解部１１２は、ステップＳ１０１においてまとめられた複数の点群モデル（のグループ）を２次元平面に投影し、パッチに分解する。その際、パッチ分解部１１２が、例えば＜点群モデルの投影面設定＞等において上述したような方法により、各点群モデルの投影面を設定するようにしてもよい。このようにすることにより、パッチ分解部１１２は、各点群モデルをより適切な投影面に投影することができるので、点群モデルの投影が非効率であることによる符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。
【００８７】
また、パッチ分解部１１２が、例えば＜投影面情報のシグナル＞等において上述したような方法により、その投影面の設定に関する投影面情報を生成し、復号側に伝送するようにしてもよい。このようにすることにより、復号側において、正しく復号する（正しくポイントクラウドを再構築する）ことができる。
【００８８】
また、パッチ分解部１１２は、その分解についての補助パッチ情報を生成する。
【００８９】
ステップＳ１０３において、補助パッチ情報圧縮部１１４は、ステップＳ１０２において生成された補助パッチ情報を圧縮（符号化）する。
【００９０】
ステップＳ１０４において、パッキング部１１３は、パッキング処理を実行し、ステップＳ１０２において生成された位置情報や属性情報の各パッチを２次元画像に配置してビデオフレームとしてパッキングする。また、パッキング部１１３は、モデル情報やオキュパンシーマップを生成する。さらに、パッキング部１１３は、カラービデオフレームに対してDilation処理を行う。また、パッキング部１１３は、このようなパッキングに関する制御情報を生成する。
【００９１】
ステップＳ１０５において、BB情報生成部１１９は、BB情報生成処理を実行し、ステップＳ１０１において生成される変換情報や、ステップＳ１０４において生成されるモデル情報等を含むBB情報を生成する。
【００９２】
ステップＳ１０６において、ビデオ符号化部１１５は、ステップＳ１０４において生成されたジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。その際、ビデオ符号化部１１５は、ステップＳ１０４において各点群モデルのパッチを配置する独立に復号可能な符号化単位の設定（符号化単位領域設定）に従って、ジオメトリビデオフレームを符号化する。つまり、例えば、スライスやタイルが設定されている場合、ジオメトリビデオフレームを、そのスライスやタイル毎に独立して符号化する。
【００９３】
ステップＳ１０７において、ビデオ符号化部１１６は、ステップＳ１０４において生成されたカラービデオフレームを、２次元画像用の符号化方法により符号化する。その際、ビデオ符号化部１１６は、ステップＳ１０４において各点群モデルのパッチを配置する独立に復号可能な符号化単位の設定（符号化単位領域設定）に従って、カラービデオフレームを符号化する。つまり、例えば、スライスやタイルが設定されている場合、カラービデオフレームを、そのスライスやタイル毎に独立して符号化する。
【００９４】
ステップＳ１０８において、OMap符号化部１１７は、ステップＳ１０４において生成されたオキュパンシーマップを、所定の符号化方法により符号化する。
【００９５】
ステップＳ１０９において、マルチプレクサ１１８は、以上のように生成された各種情報（例えば、ステップＳ１０３において生成された補助パッチ情報の符号化データ、ステップＳ１０４において生成されたパッキングに関する制御情報、ステップＳ１０５において生成されたBB情報、ステップＳ１０６において生成されたジオメトリビデオフレームの符号化データ、ステップＳ１０７において生成されたカラービデオフレームの符号化データ、ステップＳ１０８において生成されたオキュパンシーマップの符号化データ等）を多重化し、これらの情報を含むビットストリームを生成する。
【００９６】
ステップＳ１１０において、マルチプレクサ１１８は、ステップＳ１０９において生成したビットストリームを符号化装置１００の外部に出力する。
【００９７】
ステップＳ１１０の処理が終了すると、符号化処理が終了する。
【００９８】
＜変換処理の流れ＞
次に、図５のステップＳ１０１において実行される変換処理の流れの例を、図６のフローチャートを参照して説明する。
【００９９】
変換処理が開始されると、モデル変換部１１１は、ステップＳ１３１において、バウンディングボックス設定処理を実行し、各点群モデルのバウンディングボックスを設定する。
【０１００】
ステップＳ１３２において、モデル変換部１１１は、ステップＳ１３１において設定した各バウンディングボックス（各点群モデル）のパラメータを変換する。例えば、モデル変換部１１１は、＜点群モデルの変換＞等において上述したように、シフト、回転、タイムスタンプ、スケール、またはフレームレート等のパラメータを変換する。このようにすることにより、モデル変換部１１１は、ポイントクラウドに複数の点群モデルが存在する場合も、符号化効率の低減を抑制しながらビットストリーム数の増大を抑制することができる。したがって、モデル変換部１１１は、復号に必要なインスタンス数の増大を抑制することができる。すなわち、復号処理の負荷の増大を抑制することができる。これにより、デコーダのコストの増大を抑制することができる。また、復号処理の処理時間の増大を抑制することができる。
【０１０１】
ステップＳ１３３において、モデル変換部１１１は、＜変換情報のシグナル＞等において上述したように、各バウンディングボックスのパラメータの変換情報を生成する。例えば、モデル変換部１１１は、変換前後の比率や差分等を示す変換情報を生成する。このようにすることにより、モデル変換部１１１は、復号側において、正しく逆変換を行うことができるようにすることができる。
【０１０２】
ステップＳ１３３の処理が終了すると、変換処理が終了する。
【０１０３】
＜バウンディングボックス設定処理の流れ＞
次に、図６のステップＳ１３１において実行されるバウンディングボックス設定処理の流れの例を、図７のフローチャートを参照して説明する。
【０１０４】
バウンディングボックス設定処理が開始されると、モデル変換部１１１は、ステップＳ１４１において、ポイントクラウドに含まれる各点群モデルの部分の法線ベクトルを導出する。
【０１０５】
ステップＳ１４２において、モデル変換部１１１は、ステップＳ１４１において導出された法線方向の分布が多いものが直交投影ベクトルと合うように、バウンディングボックスを設定する。ステップＳ１４２の処理が終了すると、バウンディングボックス設定処理が終了し、処理は図６に戻る。
【０１０６】
＜パッキング処理の流れ＞
次に、図５のステップＳ１０４において実行されるパッキング処理の流れの例を、図８のフローチャートを参照して説明する。
【０１０７】
パッキング処理が開始されると、パッキング部１１３は、ステップＳ１５１において、点群モデルに応じて符号化単位領域を設定し、各点群モデルに互いに異なる符号化単位領域を割り当てる。
【０１０８】
ステップＳ１５２において、パッキング部１１３は、各点群モデルの各パッチについて、ステップＳ１５１においてその点群モデルに割り当てた符号化単位領域内で最適な位置を探索し、配置する。
【０１０９】
つまり、パッキング部１１３は、＜点群モデル毎のパッチ配置制御＞等において上述したような方法により、互いに同一の点群モデルに属するパッチを、互いに同一の、独立に復号可能な符号化単位に配置して、ジオメトリビデオフレームやカラービデオフレームを生成する。このようにすることにより、復号側において、一部の点群モデルのみを復号して再構築する、所謂「部分デコード」を実現することができる。
【０１１０】
ステップＳ１５３において、パッキング部１１３は、＜モデル情報のシグナル＞において上述したような方法により、ステップＳ１５２における点群モデルの配置についてのモデル情報を生成する。このようにすることにより、復号側において、一部の点群モデルのみを復号して再構築する、所謂「部分デコード」を実現することができる。
【０１１１】
ステップＳ１５４において、パッキング部１１３は、オキュパンシーマップを生成する。
【０１１２】
ステップＳ１５５において、パッキング部１１３は、カラービデオフレームに対して、Dilation処理を行う。
【０１１３】
ステップＳ１５５の処理が終了すると、パッキング処理が終了し、処理は図５に戻る。
【０１１４】
＜BB情報生成処理の流れ＞
次に、図５のステップＳ１０５において実行されるBB情報生成処理の流れの例を、図９のフローチャートを参照して説明する。
【０１１５】
BB情報生成処理が開始されると、BB情報生成部１１９は、ステップＳ１６１において、図６のステップＳ１３３において生成された変換情報を取得する。
【０１１６】
ステップＳ１６２において、BB情報生成部１１９は、図８のステップＳ１５３において生成されたモデル情報を取得する。
【０１１７】
ステップＳ１６３において、BB情報生成部１１９は、それらの変換情報およびモデル情報を含むBB情報を生成する。このBB情報は、ステップＳ１０９（図５）において、マルチプレクサ１１８により符号化データ等とともに多重化される。
【０１１８】
ステップＳ１６３の処理が終了すると、BB情報生成処理が終了し、処理は図５に戻る。
【０１１９】
以上のように各処理を実行することにより、ビットストリーム数の増大を抑制し、復号処理の負荷の増大を抑制することができる。
【０１２０】
＜４．第２の実施の形態＞
＜復号装置＞
図１０は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１０に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置（ビデオベースドアプローチを適用した復号装置）である。例えば、復号装置２００は、符号化装置１００（図４）がポイントクラウドを符号化して生成したビットストリームを復号し、ポイントクラウドを再構築する。
【０１２１】
なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、復号装置２００において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置２００内の処理部等を説明する他の図においても同様である。
【０１２２】
図１０に示されるように復号装置２００は、デマルチプレクサ２１１、補助パッチ情報復号部２１２、点群モデル選択部２１３、ビデオ復号部２１４、ビデオ復号部２１５、OMap復号部２１６、アンパッキング部２１７、および３Ｄ再構築部２１８を有する。
【０１２３】
デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１２に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、ジオメトリビデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、カラービデオフレームの符号化データを抽出し、それをビデオ復号部２１５に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップの符号化データを抽出し、それをOMap復号部２１６に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、パッキングに関する制御情報を抽出し、それをアンパッキング部２１７に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、BB情報を抽出し、それを点群モデル選択部２１３や３Ｄ再構築部２１８に供給する。
【０１２４】
補助パッチ情報復号部２１２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１２は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１２は、その取得したデータに含まれる補助パッチ情報の符号化データを復号（伸長）する。補助パッチ情報復号部２１２は、復号して得られた補助パッチ情報を３Ｄ再構築部２１８に供給する。
【０１２５】
点群モデル選択部２１３は、部分デコードする点群モデルの選択に関する処理を行う。例えば、点群モデル選択部２１３は、デマルチプレクサ２１１からBB情報を取得する。また、点群モデル選択部２１３は、そのBB情報に含まれるモデル情報に基づいて、ユーザ等により入力される点群モデルの指定を受け付ける。例えば、点群モデル選択部２１３は、モデル情報に含まれる点群モデルを選択肢としてユーザ等に提示し、その中から復号する点群モデルを選択させる。点群モデル選択部２１３は、選択された点群モデルに対応する（その点群モデルのパッチが配置された）領域（独立に復号可能な符号化単位）を指定する情報を、ビデオ復号部２１４、ビデオ復号部２１５、およびOMap復号部２１６に供給する。
【０１２６】
ビデオ復号部２１４は、ジオメトリビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給されるジオメトリビデオフレームの符号化データを取得する。ビデオ復号部２１４は、そのジオメトリビデオフレームの符号化データを、例えばAVCやHEVC等の任意の２次元画像用の復号方法により復号する。
【０１２７】
なお、ビデオ復号部２１４は、点群モデル選択部２１３により指定される領域（独立に復号可能な符号化単位）を部分デコードすることができる。例えば、ビデオ復号部２１４は、点群モデル選択部２１３により復号する領域が指定される場合、ジオメトリビデオフレームの符号化データの、その指定された領域を、例えばAVCやHEVC等の任意の２次元画像用の復号方法により復号する。例えば、ビデオ復号部２１４は、ジオメトリビデオフレームの符号化データの、点群モデル選択部２１３により指定されるフレーム／スライス／タイル等を復号する。
【０１２８】
以上のように、ビデオ復号部２１４は、ジオメトリビデオフレームの部分デコードを行うことができる。ビデオ復号部２１４は、その復号して得られたジオメトリビデオフレーム（または、その内の一部の領域）を、アンパッキング部２１７に供給する。
【０１２９】
ビデオ復号部２１５は、カラービデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１５は、デマルチプレクサ２１１から供給されるカラービデオフレームの符号化データを取得する。ビデオ復号部２１５は、そのカラービデオフレームの符号化データを、例えばAVCやHEVC等の任意の２次元画像用の復号方法により復号する。
【０１３０】
なお、ビデオ復号部２１５は、点群モデル選択部２１３により指定される領域（独立に復号可能な符号化単位）を部分デコードすることができる。例えば、ビデオ復号部２１５は、点群モデル選択部２１３により復号する領域が指定される場合、カラービデオフレームの符号化データの、その指定された領域を、例えばAVCやHEVC等の任意の２次元画像用の復号方法により復号する。例えば、ビデオ復号部２１５は、カラービデオフレームの符号化データの、点群モデル選択部２１３により指定されるフレーム／スライス／タイル等を復号する。
【０１３１】
以上のように、ビデオ復号部２１５は、カラービデオフレームの部分デコードを行うことができる。ビデオ復号部２１５は、その復号して得られたカラービデオフレーム（または、その内の一部の領域）を、アンパッキング部２１７に供給する。
【０１３２】
OMap復号部２１６は、オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部２１６は、デマルチプレクサ２１１から供給されるオキュパンシーマップの符号化データを取得する。OMap復号部２１６は、そのオキュパンシーマップの符号化データを、その符号化方式に対応する任意の復号方法により復号する。
【０１３３】
なお、OMap復号部２１６は、点群モデル選択部２１３により指定される領域（独立に復号可能な符号化単位）を部分デコードすることができる。例えば、OMap復号部２１６は、点群モデル選択部２１３により復号する領域が指定される場合、オキュパンシーマップの符号化データの、その指定された領域を、その符号化方式に対応する任意の復号方法により復号する。例えば、OMap復号部２１６は、オキュパンシーマップの符号化データの、点群モデル選択部２１３により指定されるフレーム／スライス／タイル等を復号する。
【０１３４】
以上のように、OMap復号部２１６は、オキュパンシーマップの部分デコードを行うことができる。OMap復号部２１６は、その復号して得られたオキュパンシーマップ（または、その内の一部の領域）を、アンパッキング部２１７に供給する。
【０１３５】
アンパッキング部２１７は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１７は、ビデオ復号部２１４からジオメトリビデオフレームを取得し、ビデオ復号部２１５からカラービデオフレームを取得し、OMap復号部２１６からオキュパンシーマップを取得する。また、アンパッキング部２１７は、パッキングに関する制御情報に基づいて、ジオメトリビデオフレームやカラービデオフレームをアンパッキングする。アンパッキング部２１７は、アンパッキングして得られた位置情報（Geometry）のデータ（ジオメトリパッチ等）や属性情報（Texture）のデータ（テクスチャパッチ等）、並びにオキュパンシーマップ等を、３Ｄ再構築部２１８に供給する。
【０１３６】
３Ｄ再構築部２１８は、ポイントクラウドの再構築に関する処理を行う。例えば、３Ｄ再構築部２１８は、デマルチプレクサ２１１から供給されるBB情報、補助パッチ情報復号部２１２から供給される補助パッチ情報、並びに、アンパッキング部２１７から供給される位置情報（Geometry）のデータ（ジオメトリパッチ等）、属性情報（Texture）のデータ（テクスチャパッチ等）、およびオキュパンシーマップ等に基づいて、ポイントクラウドを再構築する。
【０１３７】
例えば、３Ｄ再構築部２１８は、投影面情報に基づいて、グループ内の各点群モデルに対応する投影面を特定し、その投影面を用いてパッチ等からポイントクラウドを再構築する。したがって、復号装置２００は、各点群モデルをより適切な投影面に投影することができるので、点群モデルの投影が非効率であることによる符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。
【０１３８】
また、例えば、３Ｄ再構築部２１８は、BB情報に含まれる変換情報を用いて、再構築した点群モデルを逆変換することができる。したがって、３Ｄ再構築部２１８は、符号化側において行われた変換処理に正しく対応するように、逆変換を行うことができる。
【０１３９】
３Ｄ再構築部２１８は、再構築したポイントクラウドを復号装置２００の外部に出力する。このポイントクラウドは、例えば、表示部に供給されて画像化され、その画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。
【０１４０】
このような構成とすることにより、復号装置２００は、１本のビットストリームにまとめられた複数の点群モデルを正しく復号することができる。したがって、復号装置２００は、ポイントクラウドに複数の点群モデルが存在する場合も、符号化効率の低減を抑制しながらビットストリーム数の増大を抑制することができる。したがって、復号装置２００は、自身に必要なインスタンス数の増大を抑制することができる。すなわち、復号処理の負荷の増大を抑制することができる。これにより、デコーダのコストの増大を抑制することができる。また、復号処理の処理時間の増大を抑制することができる。
【０１４１】
＜復号処理の流れ＞
次に、この復号装置２００により実行される復号処理の流れの例を、図１１のフローチャートを参照して説明する。
【０１４２】
復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。
【０１４３】
ステップＳ２０２において、補助パッチ情報復号部２１２は、ステップＳ２０１においてビットストリームから抽出された補助パッチ情報を復号する。
【０１４４】
ステップＳ２０３において、点群モデル選択部２１３は、復号する点群モデルの指定を受け付ける。
【０１４５】
ステップＳ２０４において、点群モデル選択部２１３は、BB情報に基づいて、受け付けた点群モデルの指定に対応する独立に復号可能な符号化単位（つまり、指定された点群モデルのパッチが配置された独立に復号可能な符号化単位）を選択する。
【０１４６】
なお、部分デコードを行わない場合、すなわち、ビデオフレーム全体を復号する場合、ステップＳ２０３およびステップＳ２０４の処理は省略するようにしてもよい。
【０１４７】
ステップＳ２０５において、ビデオ復号部２１４は、ステップＳ２０１においてビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。
【０１４８】
なお、部分デコードを行う場合、すなわち、ステップＳ２０３において復号する点群モデルの指定を受け付け、ステップＳ２０４において復号する符号化単位が選択された場合、ビデオ復号部２１４は、ジオメトリビデオフレームの、ステップＳ２０４において選択された符号化単位（例えばフレーム／スライス／タイル等）を復号する。
【０１４９】
ステップＳ２０６において、ビデオ復号部２１５は、ステップＳ２０１においてビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。
【０１５０】
なお、部分デコードを行う場合、ビデオ復号部２１５は、カラービデオフレームの、ステップＳ２０４において選択された符号化単位（例えばフレーム／スライス／タイル等）を復号する。
【０１５１】
ステップＳ２０７において、OMap復号部２１６は、ステップＳ２０１においてビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。
【０１５２】
なお、部分デコードを行う場合、OMap復号部２１６は、オキュパンシーマップの、ステップＳ２０４において選択された符号化単位（例えばフレーム／スライス／タイル等）を復号する。
【０１５３】
ステップＳ２０８において、アンパッキング部２１７は、アンパッキングする。例えば、アンパッキング部２１７は、ステップＳ２０５において符号化データが復号されて得られたジオメトリビデオフレームをアンパッキングし、ジオメトリパッチを生成する。また、アンパッキング部２１７は、ステップＳ２０６において符号化データが復号されて得られたカラービデオフレームをアンパッキングし、テクスチャパッチを生成する。さらに、アンパッキング部２１７は、ステップＳ２０７において符号化データが復号されて得られたオキュパンシーマップをアンパッキングし、ジオメトリパッチやテクスチャパッチに対応するオキュパンシーマップを抽出する。
【０１５４】
ステップＳ２０９において、３Ｄ再構築部２１８は、ステップＳ２０２において得られた補助パッチ情報、並びに、ステップＳ２０８において得られたジオメトリパッチ、テクスチャパッチ、およびオキュパンシーマップ等に基づいて、ポイントクラウド（各点群モデル）を再構築する。
【０１５５】
ステップＳ２１０において、３Ｄ再構築部２１８は、BB情報に含まれる変換情報に基づいて、再構築した各点群モデルに対して、符号化側において行われた変換処理の逆処理である逆変換処理を行う。
【０１５６】
ステップＳ２１０の処理が終了すると復号処理が終了する。
【０１５７】
以上のように各処理を実行することにより、復号装置２００は、ビットストリーム数の増大を抑制し、復号処理の負荷の増大を抑制することができる。
【０１５８】
＜５．局所的な投影面制御＞
点群モデルにポイントが疎な部分がある場合、その点群モデル全体に対して設定される投影面が、点群モデルに含まれるポイントが密な部分（部分点群モデルとも称する）にとって、その最適な投影方向であるとは限らない。つまり、部分点群モデルを非効率な方向に投影し、符号化効率が低減するおそれがあった。
【０１５９】
＜投影面の局所的な制御＞
そこで、図１２の表の上から１段目に示されるように、点群モデルの投影面を局所的に制御するようにしてもよい。例えば、図１２の表の上から２段目に示されるように、ポイントが疎な部分を含む点群モデルを複数の部分点群モデルに分割し、部分点群モデル毎に投影面を設定するようにしてもよい。
【０１６０】
この投影モデルの分割の仕方は任意である。例えば図１２の表に示されるように、点群モデルに含まれる密な点群毎に分割し、部分点群モデル化するようにしてもよい。
【０１６１】
例えば、図１３の一番左に示されるように、バウンディングボックス３１２に対応する点群モデルが、ポイントが疎な部分を含み、ポイントが密な部分点群モデル３１１−１および部分点群モデル３１１−２を有するとする。このような場合に、部分点群モデル３１１−１および部分点群モデル３１１−２を分割し、それぞれ独立に投影面を設定する。例えば、図１３の左から２番目に示されるように、部分点群モデル３１１−１に対して直交６方向の投影面３１３−１を設定し、部分点群モデル３１１−２に対して直交６方向の投影面３１３−２を設定する。そして、それぞれその投影面に投影してパッチを生成し、２次元画像に配置して、図１３の左から３番目にしめされるようにカラービデオフレーム（Texture）３１４、ジオメトリビデオフレーム（Depth）３１５、およびオキュパンシーマップ（Occupancy Map）３１５を生成する。そして、それらを符号化して、２Ｄビットストリーム３１７およびオキュパンシーマップ３１８を生成する。復号の際は、これらの逆処理を行う。
【０１６２】
このようにすることにより、部分点群モデル毎に投影面を設定することができるので、各部分点群モデルをより適切な投影面に投影することができる。したがって、点群モデルの投影が非効率であることによる符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。
【０１６３】
例えば図１２の表に示されるように、各部分点群モデルの直交６方向の投影面を回転（Rotate）させることができるようにしてもよい。このようにすることにより、比較的容易に投影面を部分点群モデルに対してより適切な面（効率の良い投影を行うことができる面）とすることができる。
【０１６４】
また、例えば図１２の表に示されるように、任意の投影面を設定（追加）することができるようにしてもよい。このようにすることにより、各部分点群モデルの投影面の自由度を向上させることができ、より効率の良い投影を行うことが期待できる（符号化効率のさらなる向上を期待することができる）。
【０１６５】
＜投影面情報のシグナル＞
なお、このように部分点群モデル毎に投影面を設定する場合（点群モデル全体の投影面としない場合）、復号の際（ポイントクラウドを再構築する際）に、その投影面の情報も必要になる。そこで、図１２の表の上から２行目に示されるように、以上のように設定する投影面に関する情報である投影面情報を生成し、復号側に伝送する（投影面情報のシグナリング）。
【０１６６】
例えば、図１３の左から２番目のように、部分点群モデル毎に投影面（投影面３１３−１および投影面３１３−２）を設定すると、それらの投影面について投影面情報３２１が生成される。
【０１６７】
この投影面情報は、例えば図１２の表に示されるように、投影面の特定に必要な情報であれば、どのような情報を含むようにしてもよい。例えば、図１３の場合、この投影面情報３２１には、投影面の回転量を示す情報（Rotate x/y/z）等が含まれる。勿論これ以外にも、例えば、直交６方向の投影面のシフト量を示す情報（Shift x/y/z）、スケールの変化量を示す情報（Scale x/y/z）等が含まれるようにしてもよい。また、例えば、投影面情報３２１には、追加した任意の投影面を示す情報が含まれるようにしてもよい。
【０１６８】
また、例えば図１２の表に示されるように、この投影面情報は、オキュパンシーマップに格納されるようにしてもよい。例えば図１３の場合、投影面情報３２１は、オキュパンシーマップ３１６（すなわちオキュパンシーマップ３１８）に格納される。符号化の際には、この投影面情報３２１が生成されてオキュパンシーマップ１６に格納され、復号の際には、その投影面情報３２１がオキュパンシーマップ３１６から読みだされてポイントクラウドの再構築に利用される。
【０１６９】
＜６．第３の実施の形態＞
＜符号化装置＞
次に、以上のような手法を実現する構成について説明する。図１４は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１４に示される符号化装置４００は、符号化装置１００（図４）と同様の装置であり、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。
【０１７０】
なお、図１４においては、処理部やデータの流れ等の主なものを示しており、図１４に示されるものが全てとは限らない。つまり、符号化装置４００において、図１４においてブロックとして示されていない処理部が存在したり、図１４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置４００内の処理部等を説明する他の図においても同様である。
【０１７１】
図１４に示されるように符号化装置４００は、パッチ分解部４１１、パッキング部４１２、補助パッチ情報圧縮部４１３、ビデオ符号化部４１４、ビデオ符号化部４１５、OMap符号化部４１６、およびマルチプレクサ４１７を有する。
【０１７２】
パッチ分解部４１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部４１１は、符号化装置４００に入力されるポイントクラウドを取得する。また、パッチ分解部４１１は、取得したそのポイントクラウドを複数のセグメンテーションに分解し、そのセグメンテーション毎にポイントクラウドを２次元平面に投影し、位置情報のパッチや属性情報のパッチを生成する。パッチ分解部４１１は、生成した各パッチに関する情報をパッキング部４１２に供給する。また、パッチ分解部４１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部４１３に供給する。
【０１７３】
パッキング部４１２は、データのパッキングに関する処理を行う。例えば、パッキング部４１２は、パッチ分解部４１１からポイントの位置を示す位置情報（Geometry）のパッチに関する情報や、その位置情報に付加される色情報等の属性情報（Texture）のパッチに関する情報を取得する。
【０１７４】
また、パッキング部４１２は、取得した各パッチを２次元画像に配置してビデオフレームとしてパッキングする。例えば、パッキング部４１２は、位置情報のパッチを２次元画像に配置して、ジオメトリビデオフレームとしてパッキングする。また、例えば、パッキング部４１２は、属性情報のパッチを２次元画像に配置して、カラービデオフレームとしてパッキングする。また、パッキング部４１２は、これらのビデオフレームに対応するオキュパンシーマップを生成する。さらに、パッキング部４１２は、カラービデオフレームに対してDilation処理を行う。
【０１７５】
パッキング部４１２は、このように生成したジオメトリビデオフレームをビデオ符号化部４１４に供給する。また、パッキング部４１２は、このように生成したカラービデオフレオームをビデオ符号化部４１５に供給する。さらに、パッキング部４１２は、このように生成したオキュパンシーマップをOMap符号化部４１６に供給する。また、パッキング部４１２は、このようなパッキングに関する制御情報をマルチプレクサ４１７に供給する。
【０１７６】
補助パッチ情報圧縮部４１３は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部４１３は、パッチ分解部４１１から供給されるデータを取得する。補助パッチ情報圧縮部４１３は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部４１３は、得られた補助パッチ情報の符号化データをマルチプレクサ４１７に供給する。
【０１７７】
ビデオ符号化部４１４は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部４１４は、パッキング部４１２から供給されるジオメトリビデオフレームを取得する。また、ビデオ符号化部４１４は、その取得したジオメトリビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部４１４は、その符号化により得られた符号化データ（ジオメトリビデオフレームの符号化データ）をマルチプレクサ４１７に供給する。
【０１７８】
ビデオ符号化部４１５は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部４１５は、パッキング部４１２から供給されるカラービデオフレームを取得する。また、ビデオ符号化部４１５は、その取得したカラービデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部４１５は、その符号化により得られた符号化データ（カラービデオフレームの符号化データ）をマルチプレクサ４１７に供給する。
【０１７９】
OMap符号化部４１６は、オキュパンシーマップの符号化に関する処理を行う。例えば、OMap符号化部４１６は、パッキング部４１２から供給されるオキュパンシーマップを取得する。また、OMap符号化部４１６は、その取得したオキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化する。OMap符号化部４１６は、その符号化により得られた符号化データ（オキュパンシーマップの符号化データ）をマルチプレクサ４１７に供給する。
【０１８０】
マルチプレクサ４１７は、多重化に関する処理を行う。例えば、マルチプレクサ４１７は、補助パッチ情報圧縮部４１３から供給される補助パッチ情報の符号化データを取得する。また、マルチプレクサ４１７は、パッキング部４１２から供給されるパッキングに関する制御情報を取得する。さらに、マルチプレクサ４１７は、ビデオ符号化部４１４から供給されるジオメトリビデオフレームの符号化データを取得する。また、マルチプレクサ４１７は、ビデオ符号化部４１５から供給されるカラービデオフレームの符号化データを取得する。さらに、マルチプレクサ４１７は、OMap符号化部４１６から供給されるオキュパンシーマップの符号化データを取得する。
【０１８１】
マルチプレクサ４１７は、取得したそれらの情報を多重化して、ビットストリーム（Bitstream）を生成する。マルチプレクサ４１７は、その生成したビットストリームを符号化装置４００の外部に出力する。
【０１８２】
＜パッチ分解部＞
図１５は、図１４のパッチ分解部４１１の主な構成例を示すブロック図である。図１５に示されるように、パッチ分解部４１１は、モデル分割部４３１、部分点群モデル投影面設定部４３２、投影面情報生成部４３３、部分点群モデル投影部４３４、および投影面情報付加部４３５を有する。
【０１８３】
モデル分割部４３１は、点群モデルの分割に関する処理を行う。例えば、モデル分割部４３１は、符号化装置４００に入力されるポイントクラウド（の点群モデル）を取得する。また、モデル分割部４３１は、例えば＜５．局所的な投影面制御＞の＜投影面の局所的な制御＞等において上述したような方法により、その点群モデルに含まれるポイントが密な部分を部分点群モデルとし、その部分点群モデル毎に点群モデルを分割する。モデル分割部４３１は、設定した各部分点群モデルの情報を部分点群モデル投影面設定部４３２に供給する。
【０１８４】
部分点群モデル投影面設定部４３２は、各部分点群モデルに対する投影面の設定に関する処理を行う。例えば、部分点群モデル投影面設定部４３２は、モデル分割部４３１から供給される部分点群モデルに関する情報を取得する。また、部分点群モデル投影面設定部４３２は、例えば＜５．局所的な投影面制御＞の＜投影面の局所的な制御＞等において上述したような方法により、その部分点群モデルのそれぞれについて、投影面を設定する。部分点群モデル投影面設定部４３２は、このように設定した部分点群モデル毎の投影面に関する情報を、投影面情報生成部４３３および部分点群モデル投影部４３４に供給する。
【０１８５】
投影面情報生成部４３３は、投影面情報の生成に関する処理を行う。例えば、投影面情報生成部４３３は、部分点群モデル投影面設定部４３２から供給される、部分点群モデル毎に設定された投影面に関する情報を取得する。また、投影面情報生成部４３３は、例えば＜５．局所的な投影面制御＞の＜投影面情報のシグナル＞等において上述したような方法により、各投影面についての投影面情報を生成する。投影面情報生成部４３３は、生成した投影面情報を投影面情報付加部４３５に供給する。
【０１８６】
部分点群モデル投影部４３４は、部分点群モデル毎の投影に関する処理を行う。例えば、部分点群モデル投影部４３４は、部分点群モデル投影面設定部４３２から供給される、部分点群モデル毎に設定された投影面に関する情報を取得する。また、部分点群モデル投影部４３４は、取得したその投影面に関する情報を用いて、例えば＜５．局所的な投影面制御＞の＜投影面の局所的な制御＞等において上述したような方法により、各部分点群モデルを小領域毎にその投影面に投影し、パッチを生成する。部分点群モデル投影部４３４は、生成したパッチを投影面情報付加部４３５に供給する。
【０１８７】
投影面情報付加部４３５は、投影面情報の付加に関する処理を行う。例えば、投影面情報付加部４３５は、投影面情報生成部４３３から供給される投影面情報を取得する。また、投影面情報付加部４３５は、部分点群モデル投影部４３４から供給されるパッチ等を取得する。投影面情報付加部４３５は、例えば＜５．局所的な投影面制御＞の＜投影面情報のシグナル＞等において上述したような方法により、部分点群モデル投影部４３４から取得したパッチに、そのパッチの生成に用いられた投影面に関する投影面情報を付加する。また、投影面情報付加部４３５は、その投影面情報を付加したパッチをパッキング部４１２に供給する。なお、パッキング部４１２は、そのパッチに付加された投影面情報をオキュパンシーマップに格納する。
【０１８８】
このような構成とすることにより、符号化装置４００は、ポイントクラウドの複数の部分点群モデル毎に投影面を他と独立に設定し、投影させることができる。このようにすることにより、各部分点群モデルをより適切な投影面に投影することができる。したがって、点群モデルの投影が非効率であることによる符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。
【０１８９】
＜符号化処理の流れ＞
次に、符号化装置４００により実行される符号化処理の流れの例を、図１６のフローチャートを参照して説明する。
【０１９０】
符号化処理が開始されると、符号化装置４００のパッチ分解部４１１は、ステップＳ４０１において、パッチ分解処理を実行し、点群モデルをパッチに分解する。また、パッチ分解部１１２は、その分解についての補助パッチ情報を生成する。
【０１９１】
ステップＳ４０２において、補助パッチ情報圧縮部４１３は、ステップＳ４０１において生成された補助パッチ情報を圧縮（符号化）する。
【０１９２】
ステップＳ４０３において、パッキング部４１２は、パッキング処理を実行し、ステップＳ４０１において生成された位置情報や属性情報の各パッチを２次元画像に配置してビデオフレームとしてパッキングする。また、パッキング部４１２は、モデル情報やオキュパンシーマップを生成する。さらに、パッキング部４１２は、カラービデオフレームに対してDilation処理を行う。また、パッキング部４１２は、このようなパッキングに関する制御情報を生成する。
【０１９３】
ステップＳ４０４において、ビデオ符号化部４１４は、ステップＳ４０３において生成されたジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。
【０１９４】
ステップＳ４０５において、ビデオ符号化部４１５は、ステップＳ４０３において生成されたカラービデオフレームを、２次元画像用の符号化方法により符号化する。
【０１９５】
ステップＳ４０６において、OMap符号化部４１６は、ステップＳ４０３において生成されたオキュパンシーマップを、所定の符号化方法により符号化する。
【０１９６】
ステップＳ４０７において、マルチプレクサ４１７は、以上のように生成された各種情報（例えば、ステップＳ４０２において生成された補助パッチ情報の符号化データ、ステップＳ４０３において生成されたパッキングに関する制御情報、ステップＳ４０４において生成されたジオメトリビデオフレームの符号化データ、ステップＳ４０５において生成されたカラービデオフレームの符号化データ、ステップＳ４０６において生成されたオキュパンシーマップの符号化データ等）を多重化し、これらの情報を含むビットストリームを生成する。
【０１９７】
ステップＳ４０８において、マルチプレクサ４１７は、ステップＳ４０７において生成したビットストリームを符号化装置４００の外部に出力する。
【０１９８】
ステップＳ４０８の処理が終了すると、符号化処理が終了する。
【０１９９】
＜パッチ分解処理の流れ＞
次に、図１７のフローチャートを参照して、図１６のステップＳ４０１において実行されるパッチ分解処理の流れの例を説明する。
【０２００】
パッチ分解処理が開始されると、モデル分割部４３１は、ステップＳ４２１において、例えば＜５．局所的な投影面制御＞の＜投影面の局所的な制御＞等において上述したような方法により、ポイントが疎な部分を含む処理対象の点群モデルを、複数の部分点群モデルに分割する。
【０２０１】
ステップＳ４２２において、部分点群モデル投影面設定部４３２は、例えば＜５．局所的な投影面制御＞の＜投影面の局所的な制御＞等において上述したような方法により、ステップＳ４２１において設定された各部分点群モデルの投影面を設定する。
【０２０２】
ステップＳ４２３において、投影面情報生成部４３３は、例えば＜５．局所的な投影面制御＞の＜投影面情報のシグナル＞等において上述したような方法により、ステップＳ４２２において設定された各部分点群モデルの投影面についての投影面情報を生成する。
【０２０３】
ステップＳ４２４において、部分点群モデル投影部４３４は、例えば＜５．局所的な投影面制御＞の＜投影面の局所的な制御＞等において上述したような方法により、各部分点群モデルをステップＳ４２２において設定された投影面に投影し、パッチを生成する。
【０２０４】
ステップＳ４２５において、投影面情報付加部４３５は、例えば＜５．局所的な投影面制御＞の＜投影面情報のシグナル＞等において上述したような方法により、ステップＳ４２３において生成された投影面情報を、ステップＳ４２４において生成されたパッチに付与（付加）する。このパッチに付与された投影面情報は、パッキング部４１２により、オキュパンシーマップに格納される。
【０２０５】
ステップＳ４２５の処理が終了すると、パッチ分解処理が終了し、処理は図１６に戻る。
【０２０６】
＜分割処理の流れ＞
次に、図１７のステップＳ４２１において実行される分割処理の流れの例を、図１８のフローチャートを参照して説明する。
【０２０７】
分割処理が開始されると、モデル分割部４３１は、ステップＳ４４１において、処理対象の点群モデルのヒストグラムにより密な点群を特定する。
【０２０８】
ステップＳ４４２において、モデル分割部４３１は、ポイントの法線ベクトルに基づいて、ステップＳ４４１において特定した密な点群のそれぞれの投影方向を推定する。
【０２０９】
ステップＳ４４３において、モデル分割部４３１は、ステップＳ４４２において推定された投影方向が互いに異なる密な点群を部分点群モデルとする。
【０２１０】
ステップＳ４４３の処理が終了すると分割処理が終了し、処理は図１７に戻る。
【０２１１】
＜パッキング処理の流れ＞
次に、図１６のステップＳ４０３において実行されるパッキング処理の流れの例を、図１９のフローチャートを参照して説明する。
【０２１２】
パッキング処理が開始されると、パッキング部４１２は、ステップＳ４６１において、各部分点群モデルの各パッチを２次元画像上に配置する。
【０２１３】
ステップＳ４６２において、パッキング部４１２は、図１７のステップＳ４２３において生成された投影面情報を含むオキュパンシーマップを生成する。
【０２１４】
ステップＳ４６３において、パッキング部４１２は、カラービデオフレームに対してDilation処理を行う。
【０２１５】
ステップＳ４６３の処理が終了するとパッキング処理が終了し、処理は図１６に戻る。
【０２１６】
以上のように各処理を実行することにより、ポイントクラウドの複数の部分点群モデル毎に投影面を他と独立に設定することができ、各部分点群モデルをより適切な投影面に投影することができる。したがって、点群モデルの投影が非効率であることによる符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。
【０２１７】
＜７．第４の実施の形態＞
＜復号装置＞
図２０は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図２０に示される復号装置５００は、復号装置２００（図１０）と同様の装置であり、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置（ビデオベースドアプローチを適用した復号装置）である。例えば、復号装置５００は、符号化装置４００（図１４）がポイントクラウドを符号化して生成したビットストリームを復号し、ポイントクラウドを再構築する。
【０２１８】
なお、図２０においては、処理部やデータの流れ等の主なものを示しており、図２０に示されるものが全てとは限らない。つまり、復号装置５００において、図２０においてブロックとして示されていない処理部が存在したり、図２０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置５００内の処理部等を説明する他の図においても同様である。
【０２１９】
図２０に示されるように復号装置５００は、デマルチプレクサ５１１、補助パッチ情報復号部５１２、ビデオ復号部５１３、ビデオ復号部５１４、OMap復号部５１５、アンパッキング部５１６、および３Ｄ再構築部５１７を有する。
【０２２０】
デマルチプレクサ５１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ５１１は、復号装置５００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置４００より供給される。デマルチプレクサ５１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部５１２に供給する。また、デマルチプレクサ５１１は、逆多重化により、ビットストリームから、ジオメトリビデオフレームの符号化データを抽出し、それをビデオ復号部５１３に供給する。さらに、デマルチプレクサ５１１は、逆多重化により、ビットストリームから、カラービデオフレームの符号化データを抽出し、それをビデオ復号部５１４に供給する。また、デマルチプレクサ５１１は、逆多重化により、ビットストリームから、オキュパンシーマップの符号化データを抽出し、それをOMap復号部５１５に供給する。さらに、デマルチプレクサ５１１は、逆多重化により、ビットストリームから、パッキングに関する制御情報を抽出し、それをアンパッキング部５１６に供給する。
【０２２１】
補助パッチ情報復号部５１２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部５１２は、デマルチプレクサ５１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部５１２は、その取得したデータに含まれる補助パッチ情報の符号化データを復号（伸長）する。補助パッチ情報復号部５１２は、復号して得られた補助パッチ情報を３Ｄ再構築部５１７に供給する。
【０２２２】
ビデオ復号部５１３は、ジオメトリビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部５１３は、デマルチプレクサ５１１から供給されるジオメトリビデオフレームの符号化データを取得する。ビデオ復号部５１３は、そのジオメトリビデオフレームの符号化データを、例えばAVCやHEVC等の任意の２次元画像用の復号方法により復号する。ビデオ復号部５１３は、その復号して得られたジオメトリビデオフレーム（または、その内の一部の領域）を、アンパッキング部５１６に供給する。
【０２２３】
ビデオ復号部５１４は、カラービデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部５１４は、デマルチプレクサ５１１から供給されるカラービデオフレームの符号化データを取得する。ビデオ復号部５１４は、そのカラービデオフレームの符号化データを、例えばAVCやHEVC等の任意の２次元画像用の復号方法により復号する。ビデオ復号部５１４は、その復号して得られたカラービデオフレーム（または、その内の一部の領域）を、アンパッキング部５１６に供給する。
【０２２４】
OMap復号部５１５は、オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部５１５は、デマルチプレクサ５１１から供給されるオキュパンシーマップの符号化データを取得する。OMap復号部５１５は、そのオキュパンシーマップの符号化データを、その符号化方式に対応する任意の復号方法により復号する。
【０２２５】
OMap復号部５１５は、その復号して得られたオキュパンシーマップ（または、その内の一部の領域）を、アンパッキング部５１６に供給する。
【０２２６】
アンパッキング部５１６は、アンパッキングに関する処理を行う。例えば、アンパッキング部５１６は、ビデオ復号部５１３からジオメトリビデオフレームを取得し、ビデオ復号部５１４からカラービデオフレームを取得し、OMap復号部５１５からオキュパンシーマップを取得する。また、アンパッキング部５１６は、パッキングに関する制御情報に基づいて、ジオメトリビデオフレームやカラービデオフレームをアンパッキングする。アンパッキング部５１６は、アンパッキングして得られた位置情報（Geometry）のデータ（ジオメトリパッチ等）や属性情報（Texture）のデータ（テクスチャパッチ等）、並びにオキュパンシーマップ等を、３Ｄ再構築部５１７に供給する。
【０２２７】
３Ｄ再構築部５１７は、ポイントクラウドの再構築に関する処理を行う。例えば、３Ｄ再構築部５１７は、補助パッチ情報復号部５１２から供給される補助パッチ情報、並びに、アンパッキング部５１６から供給される位置情報（Geometry）のデータ（ジオメトリパッチ等）、属性情報（Texture）のデータ（テクスチャパッチ等）、およびオキュパンシーマップ等に基づいて、ポイントクラウドを再構築する。
【０２２８】
例えば、３Ｄ再構築部５１７は、投影面情報に基づいて、各部分点群モデルに対応する投影面を特定し、その投影面を用いてパッチ等からポイントクラウドを再構築する。したがって、復号装置５００は、より適切な投影面に投影されたパッチから各部分点群モデルを再構築することができるので、部分点群モデルの投影が非効率であることによる符号化効率の低減を抑制することができる（符号化効率を向上させることができる）。
【０２２９】
３Ｄ再構築部５１７は、再構築したポイントクラウドを復号装置５００の外部に出力する。このポイントクラウドは、例えば、表示部に供給されて画像化され、その画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。
【０２３０】
このような構成とすることにより、復号装置５００は、ポイントクラウドに複数の部分点群モデルが存在する場合も、符号化効率の低減を抑制することができる。
【０２３１】
＜復号処理の流れ＞
次に、この復号装置５００により実行される復号処理の流れの例を、図２１のフローチャートを参照して説明する。
【０２３２】
復号処理が開始されると、復号装置５００のデマルチプレクサ５１１は、ステップＳ５０１において、ビットストリームを逆多重化する。
【０２３３】
ステップＳ５０２において、補助パッチ情報復号部５１２は、ステップＳ５０１においてビットストリームから抽出された補助パッチ情報を復号する。
【０２３４】
ステップＳ５０３において、ビデオ復号部５１３は、ステップＳ５０１においてビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。
【０２３５】
ステップＳ５０４において、ビデオ復号部５１４は、ステップＳ５０１においてビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。
【０２３６】
ステップＳ５０５において、OMap復号部５１５は、ステップＳ５０１においてビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。このオキュパンシーマップには、上述した投影面情報が含まれる。
【０２３７】
ステップＳ５０６において、アンパッキング部５１６は、アンパッキングする。例えば、アンパッキング部５１６は、ステップＳ５０３において符号化データが復号されて得られたジオメトリビデオフレームをアンパッキングし、ジオメトリパッチを生成する。また、アンパッキング部５１６は、ステップＳ５０４において符号化データが復号されて得られたカラービデオフレームをアンパッキングし、テクスチャパッチを生成する。さらに、アンパッキング部５１６は、ステップＳ５０５において符号化データが復号されて得られたオキュパンシーマップをアンパッキングし、ジオメトリパッチやテクスチャパッチに対応するオキュパンシーマップを抽出する。
【０２３８】
ステップＳ５０７において、３Ｄ再構築部５１７は、ステップＳ５０２において得られた補助パッチ情報、並びに、ステップＳ５０６において得られたジオメトリパッチ、テクスチャパッチ、およびオキュパンシーマップ、そのオキュパンシーマップに含まれる投影面情報等に基づいて、ポイントクラウド（各点群モデル）を再構築する。
【０２３９】
ステップＳ５０７の処理が終了すると復号処理が終了する。
【０２４０】
以上のように各処理を実行することにより、復号装置５００は、符号化効率の低減を抑制することができる。
【０２４１】
＜８．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
【０２４２】
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２４３】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２４４】
図２２に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【０２４５】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【０２４６】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【０２４７】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２４８】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
【０２４９】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
【０２５０】
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【０２５１】
＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
【０２５２】
本技術は、任意の構成に適用することができる。例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
【０２５３】
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
【０２５４】
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
【０２５５】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２５６】
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【０２５７】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、１bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【０２５８】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０２５９】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０２６０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６１】
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２６２】
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０２６３】
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０２６４】
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２６５】
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【符号の説明】
【０２６６】
１００  符号化装置，  １１１  モデル変換部，  １１２  パッチ分解部，  １１３  パッキング部，  １１４  補助パッチ情報圧縮部，  １１５  ビデオ符号化部，  １１６  ビデオ符号化部，  １１７  OMap符号化部，  １１８  マルチプレクサ，  １１９  BB情報生成部，  ２００  復号装置，  ２１１  デマルチプレクサ，  ２１２  補助パッチ情報復号部，  ２１３  点群モデル選択部，  ２１４  ビデオ復号部，  ２１５  ビデオ復号部，  ２１６  OMap復号部，  ２１７  アンパッキング部，  ２１８  ３Ｄ再構築部，  ４００  符号化装置，  ４１１  パッチ分解部，  ４１２  パッキング部，  ４１３  補助パッチ情報圧縮部，  ４１４  ビデオ符号化部，  ４１５  ビデオ符号化部，  ４１６  OMap符号化部，  ４１７  マルチプレクサ，  ４３１  モデル分割部，  ４３２  部分点群モデル投影面設定部，  ４３３  投影面情報生成部，  ４３４  部分点群モデル投影部，  ４３５  投影面情報付加部，  ５００  復号装置，  ５１１  デマルチプレクサ，  ５１２  補助パッチ情報復号部，  ５１３  ビデオ復号部，  ５１４  ビデオ復号部，  ５１５  OMap復号部，  ５１６  アンパッキング部，  ５１７  ３Ｄ再構築部
【図１】
2020012968.tif 000003
【図２】
2020012968.tif 000004
【図３】
2020012968.tif 000005
【図４】
2020012968.tif 000006
【図５】
2020012968.tif 000007
【図６】
2020012968.tif 000008
【図７】
2020012968.tif 000009
【図８】
2020012968.tif 000010
【図９】
2020012968.tif 000011
【図１０】
2020012968.tif 000012
【図１１】
2020012968.tif 000013
【図１２】
2020012968.tif 000014
【図１３】
2020012968.tif 000015
【図１４】
2020012968.tif 000016
【図１５】
2020012968.tif 000017
【図１６】
2020012968.tif 000018
【図１７】
2020012968.tif 000019
【図１８】
2020012968.tif 000020
【図１９】
2020012968.tif 000021
【図２０】
2020012968.tif 000022
【図２１】
2020012968.tif 000023
【図２２】
2020012968.tif 000024
【国際調査報告】
2020012968.tif 000025
2020012968.tif 000026
2020012968.tif 000027
2020012968.tif 000028
2020012968.tif 000029
2020012968.tif 000030
2020012968.tif 000031
2020012968.tif 000032