(57)【要約】  本開示は、３Ｄデータの符号化データをより容易に復号することができるようにする画像処理装置および方法に関する。３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。
2019198521.tif 000002
【特許請求の範囲】
【請求項１】
３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部
を備える画像処理装置。
【請求項２】
前記投影方向情報は、識別子と、前記位置情報を前記２次元平面に投影する際の方向および位置との対応関係に関する情報を含む
請求項１に記載の画像処理装置。
【請求項３】
前記投影方向情報は、復号に関する属性情報をさらに含む
請求項２に記載の画像処理装置。
【請求項４】
前記属性情報は、復号順に関する情報を含む
請求項３に記載の画像処理装置。
【請求項５】
前記属性情報は、前記３次元構造における特性を示す意味情報を含む
請求項３に記載の画像処理装置。
【請求項６】
前記投影方向情報を生成する投影方向情報生成部をさらに備え、
前記ビットストリーム生成部は、前記投影方向情報生成部により生成された前記投影方向情報と、前記符号化データとを含むビットストリームを生成する
請求項１に記載の画像処理装置。
【請求項７】
前記投影方向情報に応じて、前記ジオメトリ画像を画像に配置してパッキングするパッキング部と、
前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、前記符号化データを生成する符号化部と
をさらに備え、
前記ビットストリーム生成部は、前記投影方向情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成する
請求項１に記載の画像処理装置。
【請求項８】
３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する
画像処理方法。
【請求項９】
３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部
を備える画像処理装置。
【請求項１０】
３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する
画像処理方法。
【請求項１１】
３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部
を備える画像処理装置。
【請求項１２】
前記パッキング部は、前記投影方向の識別子と、前記ジオメトリ画像を配置する符号化単位を示す情報との対応関係を示す符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
請求項１１に記載の画像処理装置。
【請求項１３】
前記符号化単位情報は、復号に関する属性情報をさらに含む
請求項１２に記載の画像処理装置。
【請求項１４】
前記属性情報は、前記３次元構造における特性を示す意味情報を含む
請求項１３に記載の画像処理装置。
【請求項１５】
前記符号化単位情報を生成する符号化単位情報生成部をさらに備え、
前記パッキング部は、前記符号化単位情報生成部により生成された前記符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
請求項１２に記載の画像処理装置。
【請求項１６】
前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、符号化データを生成する符号化部と、
前記符号化単位情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
請求項１２に記載の画像処理装置。
【請求項１７】
前記符号化単位は、スライス、タイル、またはピクチャである
請求項１１に記載の画像処理装置。
【請求項１８】
３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングする
画像処理方法。
【請求項１９】
ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する復号部
を備える画像処理装置。
【請求項２０】
ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、３Ｄデータの符号化データをより容易に復号することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctree等のような、ボクセル（Voxel）を用いた符号化があった（例えば非特許文献１参照）。【０００３】
近年、その他の符号化方法として、例えば、ポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するアプローチ（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では、復号順や復号範囲等の制約が多く、例えば所望の部分を復号するために全体を復号しなければならない等の、煩雑な作業が必要になるおそれがあった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの符号化データをより容易に復号することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部を備える画像処理装置である。【０００８】
本技術の一側面の画像処理方法は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する画像処理方法である。【０００９】
本技術の他の側面の画像処理装置は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部を備える画像処理装置である。【００１０】
本技術の他の側面の画像処理方法は、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する画像処理方法である。【００１１】
本技術のさらに他の側面の画像処理装置は、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部を備える画像処理装置である。【００１２】
本技術のさらに他の側面の画像処理方法は、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングする画像処理方法である。【００１３】
本技術のさらに他の側面の画像処理装置は、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する復号部を備える画像処理装置である。【００１４】
本技術のさらに他の側面の画像処理方法は、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する画像処理方法である。【００１５】
本技術の一側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームが生成される。【００１６】
本技術の他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームが復号される。【００１７】
本技術のさらに他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像が、画像の、その位置情報のその２次元平面への投影方向に応じた符号化単位に配置されてパッキングされる。【００１８】
本技術のさらに他の側面の画像処理装置および方法においては、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、その投影方向でその２次元平面に投影したジオメトリ画像が復号される。
【発明の効果】
【００１９】
本開示によれば、画像を処理することができる。特に、３Ｄデータの符号化データをより容易に復号することができる。
【図面の簡単な説明】
【００２０】
【図１】ポイントクラウドの例を説明する図である。
【図２】ビデオベースドアプローチの概要の例を説明する図である。
【図３】本技術に関する主な特徴をまとめた図である。
【図４】投影方向情報について説明する図である。
【図５】パッキングの様子の例について説明する図である。
【図６】符号化単位情報について説明する図である。
【図７】パッキングの様子の例について説明する図である。
【図８】View方向と復号順について説明する図である。
【図９】符号化装置の主な構成例を示すブロック図である。
【図１０】パッチ分解部の主な構成例を説明する図である。
【図１１】メタデータ生成部の主な構成例を説明する図である。
【図１２】復号装置の主な構成例を示すブロック図である。
【図１３】メタデータ処理部の主な構成例を示すブロック図である。
【図１４】符号化処理の流れの例を説明するフローチャートである。
【図１５】パッチ分解処理の流れの例を説明するフローチャートである。
【図１６】メタデータ生成処理の流れの例を説明するフローチャートである。
【図１７】復号処理の流れの例を説明するフローチャートである。
【図１８】メタデータ処理の流れの例を説明するフローチャートである。
【図１９】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ビデオベースドアプローチ
２．第１の実施の形態（投影方向毎の制御）
３．付記
【００２２】
＜１．ビデオベースドアプローチ＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
【００２３】
非特許文献１：（上述）
非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献４：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
【００２４】
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献３に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
【００２５】
＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。
【００２６】
例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
【００２７】
＜ビデオベースドアプローチの概要＞
このようなポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案されている。
【００２８】
このビデオベースドアプローチでは、例えば図２に示されるように、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域とも称する）に分割され、領域毎に２次元平面に投影される。なお、ポイントクラウドの位置毎のデータ（すなわち、各ポイントのデータ）は、上述のように位置情報（Geometry（Depthとも称する））と属性情報（Texture）とにより構成され、それぞれ、領域毎に２次元平面に投影される。
【００２９】
そして、この２次元平面に投影された各セグメンテーション（パッチとも称する）は、２次元画像に配置され、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。
【００３０】
しかしながら、従来の方法では、復号順や復号範囲等の制約が多く、例えば所望の部分を復号するために全体を復号しなければならない等の、煩雑な作業が必要になるおそれがあった。
【００３１】
例えば、従来の場合、全パッチが復号順等を考慮せずにフレーム画像に配置されており、パッチ間で符号化単位が独立していないため、一部のパッチを復号するために、全パッチを復号する必要があった（部分デコードが困難であった）。
【００３２】
また、従来の場合、２Ｄ平面に投影する基準方向として、直交する方向（0度、90度、180度、270度）への投影が使われていたが、その場合、最大45度をプロジェクションすることになるため、オクルージョンの発生が増大し、再現性が低減するおそれがあった。
【００３３】
さらに、例えば、デプス（Depth）のレンジが広い（Video Codec圧縮効率低下）画像のビット深度におさめるためパッチ分割が増大し、スムージングの処理量が増大するおそれがあった。
【００３４】
＜投影方向情報の伝送＞
そこで、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するようにする。
【００３５】
例えば画像処理装置において、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部を備えるようにする。
【００３６】
このようにすることにより、投影方向を任意に設定することができるので、例えばView方向等に応じた、より適切な投影方向のパッチを生成し、符号化することができる。これにより、復号側において３Ｄデータの符号化データをより容易に復号することができるようになる。例えば、オクルージョンの発生を抑制したり、パッチ数の増大を抑制したりすることができ、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
【００３７】
また、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号するようにする。
【００３８】
例えば画像処理装置において、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、その位置情報をその２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部を備えるようにする。
【００３９】
このようにすることにより、パッチの任意に設定された投影方向をより容易に把握することができるので、例えばView方向等に応じて、より適切な投影方向のパッチを選択して復号する等、多様な復号方法においても、３Ｄデータの符号化データをより容易に復号することができる。そのため、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
【００４０】
＜パッチの配置制御＞
また、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、その位置情報のその２次元平面への投影方向に応じた符号化単位に配置してパッキングするようにする。
【００４１】
例えば画像処理装置において、３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、その位置情報のその２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部を備えるようにする。
【００４２】
このようにすることにより、復号の際に、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、復号側において３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
【００４３】
また、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、その投影方向でその２次元平面に投影したジオメトリ画像を復号するようにする。
【００４４】
例えば画像処理装置において、ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、その投影方向でその２次元平面に投影したジオメトリ画像を復号する復号部を備えるようにする。
【００４５】
このようにすることにより、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。
【００４６】
＜ビデオベースドアプローチに関する本技術＞
以上に説明したようなビデオベースドアプローチに関する本技術について説明する。図３の表に示されるように、本技術においては、パッチに対して投影方向に関する設定を行うようにする。
【００４７】
＜投影方向＞
投影方向とは、ビデオベースドアプローチにおける３Ｄデータ（例えばポイントクラウド等）の２次元平面への投影のアングル、つまり、３Ｄデータからみた２次元平面の方向および位置（距離）を示す。例えば、図４のＡに示されるように、球座標（r，θ，φ）を用いて投影方向（方向および位置）を表すようにしてもよい。
【００４８】
この投影方向には、従来と同一の、互いに直交する方向（0度、90度、180度、270度）が含まれていてもよいし、それら直交座標方向以外の新たな方向および位置が含まれていてもよい。従来の場合、投影方向は、図４のＢの表に示されるような直交座標方向のみであり、予め定められていた（設定不可能であった）。上述のようにパッチに対して投影方向に関する設定を行うことにより、例えば図４のＣの表に示されるように、直交座標方向以外の投影方向も設定することができる。
【００４９】
＜投影方向情報＞
投影方向に関する設定として、例えば、この投影方向に関する情報である投影方向情報を生成し、伝送する。投影方向情報は、識別子と投影方向との対応関係を示す情報である。つまり、投影方向情報は、設定する投影方向に対して識別子を割り当てる情報である。図４のＣにその投影方向情報の例を示す。図４のＣに示される投影方向情報では、各投影方向の識別子（投影方向インデックス）に対して、投影方向（方向球座標φ、方向球座標θ、距離ｒ）が対応付けられている。なお、複数の識別子に互いに同一の投影方向を対応付けてもよい。
【００５０】
このような投影方向情報を生成し、伝送することにより、各パッチと投影方向との対応付けをこの識別子を用いて行うことができる。したがって、符号量の増大を抑制することができる。また、復号側においても、この投影方向情報に基づいて、容易に各パッチの投影方向を把握することができる。したがって、復号処理の負荷の増大を抑制することができ、３Ｄデータの符号化データをより容易に復号することができる。
【００５１】
また、このような投影方向情報を生成し、伝送することにより、任意の投影方向の設定が可能になるので、例えばView方向になり易い方向や位置を投影方向として設定したり、逆にView方向になり難い方向や位置を投影方向から除外したりする等、オクルージョンの発生を抑制するように投影方向を設定することができ、再現性の低減を抑制することができる。また、パッチ分割の増大を抑制するように投影方向を設定することも可能になるので、スムージング処理量の増大を抑制することもできる。
【００５２】
＜付加情報＞
なお、この投影方向情報には、付加情報として、復号に関する属性情報を付加するようにしてもよい。属性情報の内容は任意である。また、付加する属性情報の数は任意である。
【００５３】
例えば、属性情報として、投影方向毎に復号順（復号の優先順）を設定するようにしてもよい。図４のＣに示される投影方向情報の場合、「属性」として、復号順（復号の優先順）を示す数字が、各投影方向の識別子（投影方向インデックス）に割り当てられている。なお、複数の識別子に対して、互いに同一の復号順を割り当てるようにしてもよい。
【００５４】
このような情報を用いて各パッチの復号順を制御することにより、より多様な復号方法を実現することができる。例えば、より重要な投影方向ほどより先に復号することができる。また、例えば、この復号順を参考にして、要求されたView方向に近い投影方向のパッチから優先的に復号するといった復号方法が可能になる。これにより、要求されたView方向の画像をより早く復元（表示）することができる。また、例えば、負荷状況等に応じて重要でない投影方向のパッチの復号を省略するといった復号方法も可能になる。
【００５５】
また、属性情報として、３次元構造体における特性（意味）を示す意味情報を含むようにしてもよい。例えば、３次元構造体における所定の意味を持つ箇所を投影するための投影方向を設定し、その意味を示す意味情報を属性情報として、その投影方向に対応付けて付加するようにしてもよい。例えば、人物の「顔」を投影するための専用の投影方向を設定し、その投影方向に対して「Face」等といった意味情報を付加するようにしてもよい。
【００５６】
このようにすることにより、復号において、その意味情報による投影方向の選択も可能になる。例えば、「顔」を復号したい場合に、投影方向を指定する代わりにこの意味情報「Face」を指定するだけで、容易に必要なパッチを復号し、「顔」の画像を復元（表示）することができる。
【００５７】
図４のＣの例の場合、投影方向インデックスが「１０」および「１１」の投影方向に対して、意味情報「Face1」が付加されている。この場合、これらの投影方向のパッチを復号することにより、「Face1」に関するパッチを復号することができる。なお、１つの投影方向インデックスに対して複数の属性情報を付加するようにしてもよい。また、１つの投影方向インデックスに対して複数の意味情報を付加するようにしてもよい。
【００５８】
＜符号化単位情報＞
投影方向に関する設定として、例えば、この投影方向毎にパッチを配置する符号化単位に関する情報である符号化単位情報を生成し、伝送する。符号化単位情報は、上述した投影方向の識別子と、その投影方向で投影されたパッチを配置する符号化単位との対応関係を示す情報である。つまり、符号化単位情報は、各投影方向と使用する符号化単位との対応関係を示す情報である。
【００５９】
符号化単位とは、独立に符号化・復号が可能なデータ単位である。この符号化単位の具体的なデータ単位は特に限定されないが、例えば、スライス、タイル、ピクチャ等であってもよい。
【００６０】
従来の場合のパッチの配置例を図５のＡに示す。図５のＡにおいて、ピクチャ３１には、複数のパッチ３２が配置されている。図５のＡにおいては、１つのパッチに対してのみ符号を付しているが、ピクチャ３１内の図形は、それぞれ、パッチ３２である。各パッチ３２内に示される数字は、投影方向（つまり投影方向インデックス）を示す。従来の場合、この図５のＡに示されるように、各パッチ３２は、復号順等を考慮せずに、ピクチャ３１に配置されていた。したがって、図５のＢに示される表のように、各投影方向インデックスには、いずれにも、互いに同一のフレーム（フレームインデックス「０」）が割り当てられることになる（つまり設定不可能であった）。
【００６１】
上述のような符号化単位情報により、例えば図６の表に示されるように、パッチを配置する符号化単位（フレーム、スライス、タイル等）を、投影方向毎に設定することができる。図６の例の場合、各投影方向インデックスに対して、フレームを識別するフレームインデックス、スライスを識別するスライスインデックス、およびタイルを識別するタイルインデックスが対応付けられている。
【００６２】
例えば、図６の表の場合、投影方向インデックス「０」のパッチは、フレームインデックス「０」のスライスインデックス「１」に配置される。また、投影方向インデックス「６」のパッチは、フレームインデックス「０」のスライスインデックス「０」に配置される。
【００６３】
なお、図６の表の投影インデックス「５」のように、１つの投影方向に対して複数の符号化単位を割り当てるようにしてもよいし、投影インデックス「１」と「２」のように、複数の投影方向を互いに同一の符号化単位に割り当てるようにしてもよい。
【００６４】
この符号化単位情報に従って各パッチを配置することにより、各パッチを、投影方向に応じた符号化単位に配置することができる。例えば、図７に示されるように、図５のＡの各パッチ３２を、その投影インデックス毎に、スライス５１乃至スライス５７に分けて配置することができる。
【００６５】
これにより、例えば、不要な投影方向のパッチの復号を省略する（つまり、一部のパッチのみを復号する）ことができる（部分デコードを実現することができる）。また、重要なパッチを優先的に復号する（パッチの復号順を制御する）こともできる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷（例えば、処理量、処理時間、処理するデータ量等）の増大を抑制することができる。また、多様な復号方法を実現する場合においても、必要な一部のデータを復号させることができるので、復号処理の負荷の増大を抑制することができる。
【００６６】
なお、図６の例においてはスライスを用いてパッチの配置制御を行っているが、スライスの代わりにタイルを用いて配置制御するようにしてもよい。また、スライスとタイルの両方を用いて配置制御するようにしてもよい。もちろんこのようなパッチの配置制御における符号化単位は、階層化してもよい。つまり、例えば、フレームとスライスのように、複数階層の配置制御を行うようにしてもよい。例えば、図６の例において、フレームインデックス「０」以外のフレームにもパッチを配置するようにしてもよい。
【００６７】
なお、この符号化単位情報には、付加情報として、復号に関する属性情報を付加するようにしてもよい。属性情報の内容は任意である。例えば、属性情報として、３次元構造体における特性（意味）を示す意味情報（たとえば「Face」等）を含むようにしてもよい。このようにすることにより、その意味情報によって、復号する符号化単位を選択することも可能になる。
【００６８】
＜符号化処理＞
３Ｄデータの符号化処理においては、上述した投影方向の識別子を用いて、各パッチとその投影方向とを紐づけする。つまり、各パッチに投影方向の識別子を割り当てる。これにより、投影方向、属性情報、符号化単位等の各種情報を各パッチに対応付けることができる。
【００６９】
なお、この符号化の際、２Ｄ画像化（復号）に不要な投影方向のパッチの符号化を省略するようにしてもよい。例えば、人物の場合、足裏を投影するような投影方向のパッチは、明らかに復号されない可能性が高い。そこでそのような投影方向のパッチの符号化を省略することにより、符号量の増大を抑制し、符号化効率の低減を抑制することができる。
【００７０】
どのような投影方向を不要とするかは、３次元構造体や状況等に依存する。したがって、この不要な投影方向の設定方法は任意である。例えば、任意の情報等に基づいて設定されるようにしてもよい。
【００７１】
また、３Ｄデータの符号化処理においては、パッチが画像上に配置されてパッキングされるが、このパッキングにおいて、各パッチを、そのパッチの投影方向に対応する符号化単位に配置するようにする。例えば、上述の符号化単位情報が設定されている場合、その符号化単位情報に従って、各パッチの配置を行うようにする。このようにすることにより、投影方向毎に配置する符号化単位を制御することができるので、３Ｄデータの符号化データをより容易に復号することができる。
【００７２】
また、３Ｄデータの符号化処理において、例えば、上述したように各パッチの復号順に優先順をつける場合、ユーザが表示させたいView方向を指定しない場合に設定されるView方向の初期値であるデフォルトView方向用のデータ（パッチ）の復号順を優先化するようにしてもよい。このようにすることにより、デフォルトView方向の画像をより早期に復元（表示）することができる。
【００７３】
また、３Ｄデータの符号化処理において、パッキングされたパッチを符号化する際に、その品質設定をそのパッチの表示頻度に応じて制御するようにしてもよい。上述のように、各パッチは投影方向毎に制御された符号化単位に配置されている。各符号化単位は独立に符号化・復号が可能であるので、その符号化単位毎に品質を制御することもできる。つまり、パッチの投影方向に応じて、そのパッチの品質を制御することができる。例えば、表示されるView方向に偏りがある場合、よく表示されるView方向の画像生成に使用されるパッチの表示頻度が高くなる等、パッチの表示頻度にも偏りが生じることになる。当然、表示頻度の低いパッチよりも表示頻度の高いパッチの画質を向上させる方が、符号量に対する主観的画質が向上する。つまり、このような偏りに応じて符号化の品質設定を行うことにより、符号化効率の低減を抑制することができる。
【００７４】
＜復号処理＞
３Ｄデータの復号処理においては、上述した投影方向情報や符号化単位情報等に基づいて、復号方法を制御することができる。例えば、指定されたView方向に近い投影方向順で復号するようにしてもよい。投影方向情報を参照することにより、各パッチの投影方向をより容易に把握することができるので、このような復号制御をより容易に実現することができる。
【００７５】
また、例えば、View方向に応じて部分復号（部分デコード）を行うようにしてもよい。各パッチを配置する符号化単位が投影方向毎に制御されているので、投影方向に基づいて一部のパッチを復号する（部分復号を実現する）ことができる。また、符号化単位情報を参照することにより、所望の投影方向のパッチが配置される符号化単位をより容易に把握することができる。さらに、投影方向情報を参照することにより、各パッチの投影方向をより容易に把握することができる。したがって、このような復号制御をより容易に実現することができる。
【００７６】
例えばView方向と逆の投影方向のパッチは復号を省略するようにしてもよい。一般的に、View方向と逆方向のパッチは、View方向の画像の生成に寄与しない。したがって、上述した、View方向に応じた部分復号（部分デコード）によって、View方向と逆の投影方向のパッチの復号を省略することにより、不要な情報の復号を省略することができる。つまり、復号の負荷の増大を抑制することができる。
【００７７】
例えば、図８に示されるように、id0乃至id3の４つの投影方向に対して太線矢印のようにView方向が設定されるとする。各投影方向のパッチの復号順は、例えば、各投影方向とView方向との内積の値の小さい順としてもよい。この場合、パッチは、id0、id3、id1、id2の順に復号される。また、例えば、各投影方向のパッチの復号順は、以下の順としてもよい。
【００７８】
１．内積が負で絶対値が小さいものから復号する。
２．内積が０のものを復号する。
３．内積が正で絶対値が小さいものから復号する。
【００７９】
この場合、パッチは、id3、id0、id1、id2の順に復号される。
【００８０】
また、内積が負である場合は値が小さいものから復号し、内積が負でない場合は復号しないようにしてもよい。その場合、パッチは、id0、id3の順に復号される。
【００８１】
また、顔を含むもの、つまり、属性情報「Face」に対応するパッチのみを復号するようにしてもよい。
【００８２】
なお、以上に説明したパッチを生成する３Ｄデータは、各ポイントの位置を示す位置情報（Geometry）であってもよいし、その位置情報に付加される色情報等の属性情報（Texture）であってもよい。
【００８３】
＜２．第１の実施の形態＞
＜符号化装置＞
次に、以上のような各手法を実現する構成について説明する。図９は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図９に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。
【００８４】
なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、符号化装置１００において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置１００内の処理部等を説明する他の図においても同様である。
【００８５】
図９に示されるように符号化装置１００は、パッチ分解部１１１、メタデータ生成部１１２、パッキング部１１３、補助パッチ情報圧縮部１１４、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８を有する。
【００８６】
パッチ分解部１１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド（Point Cloud））やView方向に関する情報（View Info）を取得する。また、パッチ分解部１１１は、取得したその３Ｄデータを複数のセグメンテーションに分解し、そのセグメンテーション毎に３Ｄデータを２次元平面に投影し、パッチを生成する。その際、パッチ分解部１１１は、投影方向情報をメタデータ生成部１１２から取得し、その情報に基づいて、各パッチに識別子（投影方向インデックス）を割り当てる。
【００８７】
パッチ分解部１１１は、生成した各パッチに関する情報をパッキング部１１３に供給する。また、パッチ分解部１１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１４に供給する。さらに、パッチ分解部１１１は、パッチを生成する際の投影方向等に関する情報をメタデータ生成部１１２に供給する。
【００８８】
メタデータ生成部１１２は、メタデータの生成に関する処理を行う。例えば、メタデータ生成部１１２は、パッチ分解部１１１から供給される投影方向等に関する情報を取得する。メタデータ生成部１１２は、その情報に基づいて投影方向情報や符号化単位情報を生成する。メタデータ生成部１１２は、生成した投影方向情報を、例えば、パッチ分解部１１１、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８に供給する。また、メタデータ生成部１１２は、生成した符号化単位情報を、例えば、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８に供給する。
【００８９】
パッキング部１１３は、データのパッキングに関する処理を行う。例えば、パッキング部１１３は、パッチ分解部１１１から供給される領域毎に３Ｄデータが投影された２次元平面のデータ（パッチ）を取得する。また、パッキング部１１３は、取得した各パッチをビデオフレームとしてパッキングする。例えば、パッキング部１１３は、ポイントの位置を示す位置情報（Geometry）のパッチを２次元画像に配置し、その位置情報に付加される色情報等の属性情報（Texture）のパッチを２次元画像に配置し、それらの２次元画像を、それぞれ、ビデオフレームとしてパッキングする。
【００９０】
その際、パッキング部１１３は、メタデータ生成部１１２から供給された投影方向情報や符号化単位情報に基づいて、パッキングを行う。つまり、パッキング部１１３は、上述したように、各パッチを配置する符号化単位（フレーム、スライス、タイル等）を、その投影方向に応じて制御する。つまり、パッキング部１１３は、各パッチを、その投影方向に対応する符号化単位に配置する。
【００９１】
なお、パッキング部１１２は、位置毎のデータの有無を示すオキュパンシーマップ（Occupancy Map）の生成やDilation処理も行う。パッキング部１１３は、処理後の各種データを後段の処理部に供給する。例えば、パッキング部１１３は、位置情報（Geometry）のビデオフレームをビデオ符号化部１１５に供給する。また、例えば、パッキング部１１３は、属性情報（Texture）のビデオフレームをビデオ符号化部１１６に供給する。さらに、例えば、パッキング部１１３は、オキュパンシーマップをOMap符号化部１１７に供給する。また、パッキング部１１３は、そのパッキングに関する制御情報をマルチプレクサ１１８に供給する。
【００９２】
補助パッチ情報圧縮部１１４は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１４は、パッチ分解部１１１から供給されるデータを取得する。補助パッチ情報圧縮部１１４は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１４は、得られた補助パッチ情報の符号化データをマルチプレクサ１１８に供給する。
【００９３】
ビデオ符号化部１１５は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、パッキング部１１３から供給される位置情報（Geometry）のビデオフレームを取得する。また、ビデオ符号化部１１５は、その取得した位置情報（Geometry）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られた符号化データ（位置情報（Geometry）のビデオフレームの符号化データ）をマルチプレクサ１１８に供給する。
【００９４】
なお、この符号化の際、ビデオ符号化部１１５は、メタデータ生成部１１２から供給される投影方向情報や符号間単位制御情報に基づいて、符号化の品質制御を行うようにしてもよい。例えば、ビデオ符号化部１１５は、ビデオフレームを、そのビデオフレームに含まれるパッチの表示頻度等に応じて品質（例えば量子化パラメータ）を制御するようにしてもよい。
【００９５】
ビデオ符号化部１１６は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１６は、パッキング部１１３から供給される属性情報（Texture）のビデオフレームを取得する。また、ビデオ符号化部１１６は、その取得した属性情報（Texture）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１６は、その符号化により得られた符号化データ（属性情報（Texture）のビデオフレームの符号化データ）をマルチプレクサ１１８に供給する。
【００９６】
なお、このビデオ符号化部１１６も、ビデオ符号化部１１５の場合と同様に、メタデータ生成部１１２から供給される投影方向情報や符号間単位制御情報に基づいて、符号化の品質制御を行うようにしてもよい。
【００９７】
OMap符号化部１１７は、位置毎のデータの有無を示すオキュパンシーマップの符号化に関する処理を行う。例えば、OMap符号化部１１７は、パッキング部１１３から供給されるオキュパンシーマップのビデオフレームを取得する。また、OMap符号化部１１７は、その取得したオキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化する。OMap符号化部１１７は、その符号化により得られたオキュパンシーマップの符号化データをマルチプレクサ１１８に供給する。
【００９８】
なお、このOMap符号化部１１７も、ビデオ符号化部１１５の場合と同様に、メタデータ生成部１１２から供給される投影方向情報や符号間単位制御情報に基づいて、符号化の品質制御を行うようにしてもよい。
【００９９】
マルチプレクサ１１８は、多重化に関する処理を行う。例えば、マルチプレクサ１１８は、補助パッチ情報圧縮部１１４から供給される補助パッチ情報の符号化データを取得する。また、マルチプレクサ１１８は、パッキング部１１３から供給されるパッキングに関する制御情報を取得する。また、マルチプレクサ１１８は、ビデオ符号化部１１５から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１８は、ビデオ符号化部１１６から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１８は、OMap符号化部１１７から供給されるオキュパンシーマップの符号化データを取得する。
【０１００】
さらに、マルチプレクサ１１８は、メタデータ生成部１１２から供給される投影方向情報や符号化単位情報を取得する。
【０１０１】
マルチプレクサ１１８は、取得したそれらの情報を多重化して、ビットストリーム（Bitstream）を生成する。マルチプレクサ１１８は、その生成したビットストリームを符号化装置１００の外部に出力する。
【０１０２】
＜パッチ分解部＞
図１０は、図９のパッチ分解部１１１の主な構成例を示すブロック図である。図１０に示されるように、この場合のパッチ分解部１１１は、法線推定部１５１、セグメンテーション初期設定部１５２、セグメンテーション更新部１５３、投影方向設定部１５４、２次元投影部１５５、およびインデックス付与部１５６を有する。
【０１０３】
法線推定部１５１は、３Ｄデータの表面の法線の推定に関する処理を行う。例えば、法線推定部１５１は、入力される３Ｄデータ（Point Cloud）を取得する。また、法線推定部１５１は、その取得した３Ｄデータが表すオブジェクトの表面の法線を推定する。例えば、法線推定部１５１は、kd-treeを構築し、近傍を探索し、最適近似接平面を算出する等して法線を推定する。法線推定部１５１は、その法線の推定結果をその他のデータとともに、セグメンテーション初期設定部１５２に供給する。
【０１０４】
セグメンテーション初期設定部１５２は、セグメンテーションの初期設定に関する処理を行う。例えば、セグメンテーション初期設定部１５２は、法線推定部１５１から供給されるデータを取得する。また、セグメンテーション初期設定部１５２は、法線推定部１５１により推定された法線の、６軸の各方向の成分に基づいて、３Ｄデータの、その法線に対応する面を分類する。セグメンテーション初期設定部１５２は、その分類結果を、他のデータとともにセグメンテーション更新部１５３に供給する。
【０１０５】
セグメンテーション更新部１５３は、セグメンテーションの更新に関する処理を行う。例えば、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２から供給されるデータを取得する。また、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２により設定された初期設定のセグメンテーションにおける小さすぎる領域をまとめ、十分に大きな領域となるようにする。セグメンテーション更新部１５３は、更新したセグメンテーションに関する情報を、その他の情報とともに、投影方向設定部１５４に供給する。
【０１０６】
投影方向設定部１５４は、投影方向の設定に関する処理を行う。例えば、投影方向設定部１５４は、セグメンテーション更新部１５３から供給されるデータ（更新したセグメンテーションに関する情報を含む）を取得する。また、投影方向設定部１５４は、View方向に関する情報であるView Infoを取得する。投影方向設定部１５４は、それらの情報に基づいて、各セグメンテーションの投影方向を設定する。例えば、投影方向設定部１５４は、各セグメンテーションの法線や想定されるView方向等に基づいて、オクルージョンの発生を抑制するように投影方向を設定する。また、例えば、投影方向設定部１５４は、各セグメンテーションの法線や想定されるView方向等に基づいて、生成するパッチ数の増大を抑制するように投影方向を設定する。
【０１０７】
投影方向設定部１５４は、その設定した投影方向等に関する情報をメタデータ生成部１１２に供給する。また、投影方向設定部１５４は、その投影方向等に関する情報を、更新したセグメンテーションに関する情報等のその他の情報とともに、２次元投影部１５５に供給する。
【０１０８】
２次元投影部１５５は、３Ｄデータの２次元投影に関する処理を行う。例えば、２次元投影部１５５は、投影方向設定部１５４から供給されるデータを取得する。また、２次元投影部１５５は、各セグメンテーションをその投影方向の２次元平面に投影し、パッチを生成する。例えば、２次元投影部１５５は、位置情報（Geometry）や属性情報（Texture）のパッチを生成する。２次元投影部１５５は、生成した位置情報（Geometry）のパッチや属性情報（Texture）のパッチを、その他のデータとともに、インデックス付与部１５６に供給する。
【０１０９】
インデックス付与部１５６は、投影方向インデックスの付与に関する処理を行う。例えば、インデックス付与部１５６は、２次元投影部１５５から供給されるデータを取得する。また、インデックス付与部１５６は、メタデータ生成部１１２から供給される投影方向情報を取得する。また、インデックス付与部１５６は、取得した投影方向情報に基づいて、各パッチに、その投影方向に対応する投影方向インデックスを付与する。インデックス付与部１５６は、処理後のデータ（投影方向インデックスを付与した位置情報（Geometry）のパッチや属性情報（Texture）のパッチ等）をパッキング部１１３に供給する。
【０１１０】
＜メタデータ生成部＞
図１１は、図９のメタデータ生成部１１２の主な構成例を示すブロック図である。図１１に示されるように、メタデータ生成部１１２は、投影方向情報生成部１７１および符号化単位情報生成部１７２を有する。
【０１１１】
投影方向情報生成部１７１は、投影方向情報の生成に関する処理を行う。例えば、投影方向情報生成部１７１は、パッチ分解部１１１から供給される投影方向等に関する情報を取得する。また、投影方向情報生成部１７１は、その情報に基づいて投影方向を設定し、投影方向インデックスを付して、投影方向情報を生成する。また、投影方向情報生成部１７１は、必要に応じて属性情報を、各投影方向インデックスに付加する。
【０１１２】
投影方向情報生成部１７１は、生成した投影方向情報を符号化単位情報生成部１７２に供給する。また、投影方向情報生成部１７１は、その投影方向情報を、パッチ分解部１１１、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８にも供給する。
【０１１３】
符号化単位情報生成部１７２は、符号化単位情報の生成に関する処理を行う。例えば、符号化単位情報生成部１７２は、投影方向情報生成部１７１から供給される投影方向情報を取得する。また、符号化単位情報生成部１７２は、各投影方向のパッチを配置する符号化単位を設定し、その符号化単位を示す情報を投影方向インデックスに対応付けて、符号化単位情報を生成する。
【０１１４】
符号化単位情報生成部１７２は、生成した符号化単位情報を、パッキング部１１３、ビデオ符号化部１１５、ビデオ符号化部１１６、OMap符号化部１１７、およびマルチプレクサ１１８に供給する。
【０１１５】
＜復号装置＞
図１２は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１２に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置（ビデオベースドアプローチを適用した復号装置）である。
【０１１６】
なお、図１２においては、処理部やデータの流れ等の主なものを示しており、図１２に示されるものが全てとは限らない。つまり、復号装置２００において、図１２においてブロックとして示されていない処理部が存在したり、図１２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置２００内の処理部等を説明する他の図においても同様である。
【０１１７】
図１２に示されるように復号装置２００は、デマルチプレクサ２１１、メタデータ処理部２１２、補助パッチ情報復号部２１３、ビデオ復号部２１４、ビデオ復号部２１５、OMap復号部２１６、アンパッキング部２１７、および３Ｄ再構築部２１８を有する。
【０１１８】
デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１３に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、位置情報（Geometry）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、属性情報（Texture）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１５に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップの符号化データを抽出し、それをOMap復号部２１６に供給する。
【０１１９】
さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、投影方向情報や符号化単位情報等のメタデータを抽出し、それをメタデータ処理部２１２に供給する。
【０１２０】
メタデータ処理部２１２は、メタデータに基づく復号制御に関する処理を行う。例えば、メタデータ処理部２１２は、デマルチプレクサ２１１から供給されるメタデータ（投影方向情報や符号化単位情報等）を取得する。また、メタデータ処理部２１２は、ユーザ等によるView方向の指定（View）を取得する。メタデータ処理部２１２は、そのメタデータやView方向等に基づいて、ビデオ復号部２１４、ビデオ復号部２１５、およびOMap復号部２１６による復号を制御する。例えば、パッチの復号順や復号するパッチの範囲（部分復号）を制御する。
【０１２１】
補助パッチ情報復号部２１３は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１３は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１３は、その取得したデータに含まれる補助パッチ情報の符号化データを復号する。補助パッチ情報復号部２１３は、その復号により得られた補助パッチ情報を３Ｄ再構築部２１８に供給する。
【０１２２】
ビデオ復号部２１４は、位置情報（Geometry）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１４は、メタデータ処理部２１２の制御を受け付ける。
【０１２３】
また、ビデオ復号部２１４は、メタデータ処理部２１２の制御に従って、デマルチプレクサ２１１から取得した符号化データを復号し、位置情報（Geometry）のビデオフレームを得る。例えば、ビデオ復号部２１４は、メタデータ処理部２１２により指定される、位置情報（Geometry）の２次元平面への投影方向に応じた符号化単位の符号化データを復号する。例えば、ビデオ復号部２１４は、メタデータ処理部２１２により指定される復号範囲の符号化単位の符号化データを復号する。また、例えば、ビデオ復号部２１４は、メタデータ処理部２１２により指定される復号順で各符号化単位の符号化データを復号する。ビデオ復号部２１４は、復号した符号化単位の位置情報（Geometry）のデータを、アンパッキング部２１７に供給する。
【０１２４】
ビデオ復号部２１５は、属性情報（Texture）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１５は、デマルチプレクサ２１１から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１５は、メタデータ処理部２１２の制御を受け付ける。
【０１２５】
また、ビデオ復号部２１５は、メタデータ処理部２１２の制御に従って、デマルチプレクサ２１１から取得した符号化データを復号し、属性情報（Texture）のビデオフレームを得る。例えば、ビデオ復号部２１５は、メタデータ処理部２１２により指定される復号範囲の符号化単位の符号化データを復号する。また、例えば、ビデオ復号部２１５は、メタデータ処理部２１２により指定される復号順で各符号化単位の符号化データを復号する。ビデオ復号部２１５は、復号した符号化単位の属性情報（Texture）のデータを、アンパッキング部２１７に供給する。
【０１２６】
OMap復号部２１６は、オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部２１６は、デマルチプレクサ２１１から供給されるオキュパンシーマップの符号化データを取得する。また、OMap復号部２１６は、メタデータ処理部２１２の制御を受け付ける。
【０１２７】
また、OMap復号部２１６は、メタデータ処理部２１２の制御に従って、デマルチプレクサ２１１から取得した符号化データを復号し、オキュパンシーマップを得る。例えば、OMap復号部２１６は、メタデータ処理部２１２により指定される復号範囲の符号化単位の符号化データを復号する。また、例えば、OMap復号部２１６は、メタデータ処理部２１２により指定される復号順で各符号化単位の符号化データを復号する。OMap復号部２１６は、復号した符号化単位のオキュパンシーマップのデータを、アンパッキング部２１７に供給する。
【０１２８】
アンパッキング部２１７は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１７は、ビデオ復号部２１４から位置情報（Geometry）のビデオフレーム（符号化単位のデータ）を取得し、ビデオ復号部２１５から属性情報（Texture）のビデオフレーム（符号化単位のデータ）を取得し、OMap復号部２１６からオキュパンシーマップ（符号化単位のデータ）を取得する。また、アンパッキング部２１７は、位置情報のビデオフレームや属性情報のビデオフレームをアンパッキングする。アンパッキング部２１７は、アンパッキングして得られた位置情報（Geometry）のデータ（パッチ等）や属性情報（Texture）のデータ（パッチ等）、並びにオキュパンシーマップのデータ等の各種データを、３Ｄ再構築部２１８に供給する。
【０１２９】
３Ｄ再構築部２１８は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２１８は、補助パッチ情報復号部２１３から供給される補助パッチ情報や、アンパッキング部２１７から供給される位置情報（Geometry）のデータ、属性情報（Texture）のデータ、およびオキュパンシーマップのデータ等に基づいて、３Ｄデータ（Point Cloud）を再構築する。３Ｄ再構築部２１８は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。
【０１３０】
この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。
【０１３１】
＜メタデータ処理部＞
図１３は、図１２のメタデータ処理部２１２の主な構成例を示すブロック図である。図１３に示されるように、メタデータ処理部２１２は、内積算出部２５１、復号範囲設定部２５２、復号順設定部２５３、および復号制御部２５４を有する。
【０１３２】
内積算出部２５１は、内積の算出に関する処理を行う。例えば、内積算出部２５１は、デマルチプレクサ２１１から供給される投影方向情報を取得する。また、内積算出部２５１は、ユーザ等により入力されたView方向の指定を取得する。また、内積算出部２５１は、投影方向を示すベクトルとView方向を示すベクトルとの内積を算出する。内積算出部２５１は、内積の算出結果を復号範囲設定部２５２に供給する。
【０１３３】
復号範囲設定部２５２は、復号範囲の設定に関する処理を行う。例えば、復号範囲設定部２５２は、内積算出部２５１から供給される内積の結果を取得する。また、復号範囲設定部２５２は、デマルチプレクサ２１１から供給される符号化単位情報を取得する。また、復号範囲設定部２５２は、内積の結果と符号化単位情報とに基づいて、復号範囲（復号する符号化単位）を設定する。つまり、復号範囲設定部２５２は、部分復号を行うか否かを制御し、部分復号を行う場合は、さらに復号する範囲を制御する。復号範囲設定部２５２は、内積の結果、符号化単位情報、および設定した復号範囲に関する情報を復号順設定部２５３に供給する。
【０１３４】
復号順設定部２５３は、復号順の設定に関する処理を行う。例えば、復号順設定部２５３は、復号範囲設定部２５２から供給される情報を取得する。また、復号順設定部２５３は、デマルチプレクサ２１１から供給される投影方向情報を取得する。また、復号順設定部２５３は、内積の結果、投影方向情報、符号化単位情報、復号範囲に関する情報等に基づいて、復号順の設定、復号範囲の設定、およびView方向に対応するように、復号する符号化単位の復号順を設定する。復号順設定部２５３は、内積の結果、符号化単位情報、復号範囲に関する情報、および設定した復号順に関する情報を、復号制御部２５４に供給する。
【０１３５】
復号制御部２５４は、復号の制御に関する処理を行う。例えば、復号制御部２５４は、復号順設定部２５３から供給される情報を取得する。また、復号制御部２５４は、その情報に基づいて、ビデオ復号部２１４、ビデオ復号部２１５、およびOMap復号部２１６による復号を制御する。例えば、復号制御部２５４は、それらの処理部で行われる復号の対象となる符号化単位を指定する。また、例えば、復号制御部２５４は、それらの処理部で行われる復号の復号範囲の指定や復号順等を制御する。
【０１３６】
このような構成を備えることにより、投影方向を任意に設定することができるので、オクルージョンの発生を抑制したり、パッチ数の増大を抑制したりすることができる。また、例えばView方向等に応じて、より適切な投影方向のパッチを選択して復号する等、多様な復号方法においても、３Ｄデータの符号化データをより容易に復号することができる。そのため、復号処理の負荷の増大を抑制することができる。
【０１３７】
また、このような構成を備えることにより、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷の増大を抑制することができる。
【０１３８】
＜符号化処理の流れ＞
次に、符号化装置１００により実行される符号化処理の流れの例を、図１４のフローチャートを参照して説明する。
【０１３９】
符号化処理が開始されると、符号化装置１００のパッチ分解部１１１は、ステップＳ１０１において、３Ｄデータを２次元平面に投影し、パッチに分解する。
【０１４０】
ステップＳ１０２において、メタデータ生成部１１２は、投影方向情報および符号化単位情報をメタデータとして生成する。
【０１４１】
ステップＳ１０３において、パッチ分解部１１１（インデックス付与部１５６）は、ステップＳ１０２において生成された投影方向情報に従って、投影方向インデックスを各パッチに付与する（対応付ける）。
【０１４２】
ステップＳ１０４において、補助パッチ情報圧縮部１１４は、ステップＳ１０１の処理により得られた補助パッチ情報を圧縮する。
【０１４３】
ステップＳ１０５において、パッキング部１１３は、ステップＳ１０２において生成された投影方向情報および符号化単位情報等に従って、パッキングを行う。つまり、パッキング部１１３は、各パッチを、フレーム画像の、その投影方向に対応する符号化単位（スライス等）に配置して、ビデオフレームとしてパッキングする。また、パッキング部１１３は、そのビデオフレームに対応するオキュパンシーマップを生成する。
【０１４４】
ステップＳ１０６において、ビデオ符号化部１１５は、ステップＳ１０５の処理により得られた位置情報のビデオフレームであるジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。
【０１４５】
ステップＳ１０７において、ビデオ符号化部１１６は、ステップＳ１０５の処理により得られた属性情報のビデオフレームであるカラービデオフレームを、２次元画像用の符号化方法により符号化する。
【０１４６】
ステップＳ１０８において、OMap符号化部１１７は、ステップＳ１０５の処理により得られたオキュパンシーマップを、所定の符号化方法により符号化する。
【０１４７】
なお、ビデオ符号化部１１５乃至OMap符号化部１１７は、それぞれが行う符号化（ステップＳ１０６乃至ステップＳ１０８の符号化）において、投影方向情報や符号化単位情報等に基づいて品質を制御するようにしてもよい。
【０１４８】
ステップＳ１０９において、マルチプレクサ１１８は、以上のように生成された各種情報（例えば、ステップＳ１０６乃至ステップＳ１０８において生成された符号化データや、ステップＳ１０２において生成されたメタデータ（投影方向情報や符号化単位情報））を多重化し、これらの情報を含むビットストリームを生成する。
【０１４９】
ステップＳ１１０において、マルチプレクサ１１８は、ステップＳ１０９の処理により生成したビットストリームを符号化装置１００の外部に出力する。
【０１５０】
ステップＳ１１０の処理が終了すると、符号化処理が終了する。
【０１５１】
＜パッチ分解処理の流れ＞
次に、図１５のフローチャートを参照して、図１４のステップＳ１０１において実行されるパッチ分解処理の流れの例を説明する。
【０１５２】
パッチ分解処理が開始されると、法線推定部１５１は、ステップＳ１３１において、３Ｄデータの各面の法線を推定する。
【０１５３】
ステップＳ１３２において、セグメンテーション初期設定部１５２は、セグメンテーションの初期設定を行う。
【０１５４】
ステップＳ１３３において、セグメンテーション更新部１５３は、ステップＳ１３２において設定された初期状態のセグメンテーションを、必要に応じて更新する。
【０１５５】
ステップＳ１３４において、投影方向設定部１５４は、例えばView Info等に基づいて、各セグメンテーションの投影方向を設定する。
【０１５６】
ステップＳ１３５において、投影方向設定部１５４は、ステップＳ１３４において設定した投影方向に関する情報をメタデータ生成部１１２に供給する。
【０１５７】
ステップＳ１３６において、２次元投影部１５５は、３Ｄデータの各セグメンテーションを、ステップＳ１３４において設定した投影方向の２次元平面に投影する。
【０１５８】
ステップＳ１３６の処理が終了すると、パッチ分解処理が終了し、処理は図１４に戻る。
【０１５９】
＜メタデータ生成処理の流れ＞
次に、図１４のステップＳ１０２において実行されるメタデータ生成処理の流れの例を、図１６のフローチャートを参照して説明する。
【０１６０】
メタデータ生成処理が開始されると、投影方向情報生成部１７１は、ステップＳ１５１において、パッチ分解部１１１（投影方向設定部１５４）から供給された投影方向に関する情報に基づいて、投影方向情報を生成する。
【０１６１】
ステップＳ１５２において、符号化単位情報生成部１７２は、ステップＳ１５１において生成された投影方向情報に基づいて、各パッチを投影する符号化単位を設定し、符号化単位情報を生成する。
【０１６２】
以上の処理により、投影方向情報や符号化単位情報等のメタデータが生成されると、メタデータ生成処理が終了し、処理は図１４に戻る。
【０１６３】
以上のように各処理を実行することにより、投影方向を任意に設定することができるので、例えばView方向等に応じた、より適切な投影方向のパッチを生成し、符号化することができる。これにより、復号側において３Ｄデータの符号化データをより容易に復号することができるようになる。例えば、オクルージョンの発生を抑制したり、パッチ数の増大を抑制したりすることができ、復号処理の負荷の増大を抑制することができる。
【０１６４】
また、以上のように各処理を実行することにより、復号の際に、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、復号側において３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷の増大を抑制することができる。
【０１６５】
＜復号処理の流れ＞
次に、復号装置２００により実行される復号処理の流れの例を、図１７のフローチャートを参照して説明する。
【０１６６】
復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。
【０１６７】
ステップＳ２０２において、補助パッチ情報復号部２１３は、ステップＳ２０１においてビットストリームから抽出された補助パッチ情報を復号する。
【０１６８】
ステップＳ２０３において、メタデータ処理部２１２は、ステップＳ２０１においてビットストリームから抽出されたメタデータ（投影方向情報や符号化単位情報）に応じて復号を制御する。
【０１６９】
ステップＳ２０４において、ビデオ復号部２１４は、ステップＳ２０３の復号制御に従って、ステップＳ２０１においてビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。
【０１７０】
ステップＳ２０５において、ビデオ復号部２１５は、ステップＳ２０３の復号制御に従って、ステップＳ２０１においてビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。
【０１７１】
ステップＳ２０６において、OMap復号部２１６は、ステップＳ２０３の復号制御に従って、ステップＳ２０１においてビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。
【０１７２】
ステップＳ２０７において、アンパッキング部２１７は、ジオメトリビデオフレームやカラービデオフレームをアンパッキングし、パッチを抽出する。
【０１７３】
ステップＳ２０８において、３Ｄ再構築部２１８は、ステップＳ２０２において得られた補助パッチ情報と、ステップＳ２０７において得られたパッチ等とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。
【０１７４】
ステップＳ２０８の処理が終了すると復号処理が終了する。
【０１７５】
＜メタデータ処理の流れ＞
次に、図１７のステップＳ２０３において実行されるメタデータ処理の流れの例を、図１８のフローチャートを参照して説明する。
【０１７６】
メタデータ処理が開始されると、メタデータ処理部２１２の内積算出部２５１は、ステップＳ２２１において、投影方向情報に基づいて、指定されたView方向を示すViewベクトルと、投影方向を示す投影ベクトルとの内積を算出する。
【０１７７】
ステップＳ２２２において、復号範囲設定部２５２は、ステップＳ２２１において算出された内積の結果と符号化単位情報とに基づいて、条件を満たす投影方向（その投影方向に対応する符号化単位）、つまり、復号する投影方向（復号する符号化単位）を特定する。
【０１７８】
ステップＳ２２３において、復号順設定部２５３は、投影方向情報に基づいて、ステップＳ２２２において特定された条件を満たす符号化単位の復号順を特定する。
【０１７９】
ステップＳ２２４において、復号制御部２５４は、ビデオ復号部２１４、ビデオ復号部２１５、およびOMap復号部２１６を制御し、ステップＳ２２２において特定された「条件を満たす符号化単位」を、ステップＳ２２３において特定した「復号順」に復号させる。この復号制御に従って、ステップＳ２０４乃至ステップＳ２０６（図１７）の各処理が実行される。
【０１８０】
ステップＳ２２４において、上述したように復号制御が行われるように設定されると、メタデータ処理が終了し、処理は図１７に戻る。
【０１８１】
以上のように各処理を実行することにより、パッチの任意に設定された投影方向をより容易に把握することができるので、例えばView方向等に応じて、より適切な投影方向のパッチを選択して復号する等、多様な復号方法においても、３Ｄデータの符号化データをより容易に復号することができる。そのため、復号処理の負荷の増大を抑制することができる。
【０１８２】
また、以上のように各処理を実行することにより、容易に、パッチの復号順を制御したり、一部のパッチのみを復号する部分デコードを実現したりすることができる。つまり、３Ｄデータの符号化データをより容易に復号することができるようになり、復号処理の負荷の増大を抑制することができる。
【０１８３】
＜３．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
【０１８４】
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０１８５】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８６】
図１９に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【０１８７】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【０１８８】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【０１８９】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９０】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
【０１９１】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
【０１９２】
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【０１９３】
＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
【０１９４】
また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。
【０１９５】
例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
【０１９６】
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
【０１９７】
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
【０１９８】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１９９】
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【０２００】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【０２０１】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０２０２】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０２０３】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０４】
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２０５】
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０２０６】
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０２０７】
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２０８】
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０２０９】
なお、本技術は以下のような構成も取ることができる。
（１）  ３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成するビットストリーム生成部
を備える画像処理装置。
（２）  前記投影方向情報は、識別子と、前記位置情報を前記２次元平面に投影する際の方向および位置との対応関係に関する情報を含む
（１）に記載の画像処理装置。
（３）  前記投影方向情報は、復号に関する属性情報をさらに含む
（２）に記載の画像処理装置。
（４）  前記属性情報は、復号順に関する情報を含む
（３）に記載の画像処理装置。
（５）  前記属性情報は、前記３次元構造における特性を示す意味情報を含む
（３）に記載の画像処理装置。
（６）  前記投影方向情報を生成する投影方向情報生成部をさらに備え、
前記ビットストリーム生成部は、前記投影方向情報生成部により生成された前記投影方向情報と、前記符号化データとを含むビットストリームを生成する
（１）に記載の画像処理装置。
（７）  前記投影方向情報に応じて、前記ジオメトリ画像を画像に配置してパッキングするパッキング部と、
前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、前記符号化データを生成する符号化部と
をさらに備え、
前記ビットストリーム生成部は、前記投影方向情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成する
（１）に記載の画像処理装置。
（８）  ３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報と、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データとを含むビットストリームを生成する
画像処理方法。
（９）  ３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する復号部
を備える画像処理装置。
（１０）  ３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に関する情報である投影方向情報に基づいて、前記位置情報を前記２次元平面に投影したジオメトリ画像の符号化データを含むビットストリームを復号する
画像処理方法。
【０２１０】
（１１）  ３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングするパッキング部
を備える画像処理装置。
（１２）  前記パッキング部は、前記投影方向の識別子と、前記ジオメトリ画像を配置する符号化単位を示す情報との対応関係を示す符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
（１１）に記載の画像処理装置。
（１３）  前記符号化単位情報は、復号に関する属性情報をさらに含む
（１２）に記載の画像処理装置。
（１４）  前記属性情報は、前記３次元構造における特性を示す意味情報を含む
（１３）に記載の画像処理装置。
（１５）  前記符号化単位情報を生成する符号化単位情報生成部をさらに備え、
前記パッキング部は、前記符号化単位情報生成部により生成された前記符号化単位情報に基づいて、前記ジオメトリ画像をパッキングする
（１２）に記載の画像処理装置。
（１６）  前記パッキング部により前記ジオメトリ画像がパッキングされた前記画像を符号化し、符号化データを生成する符号化部と、
前記符号化単位情報と、前記符号化部により生成された前記符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（１２）に記載の画像処理装置。
（１７）  前記符号化単位は、スライス、タイル、またはピクチャである
（１１）に記載の画像処理装置。
（１８）  ３次元構造を表す３Ｄデータの位置情報を２次元平面に投影したジオメトリ画像を、画像の、前記位置情報の前記２次元平面への投影方向に応じた符号化単位に配置してパッキングする
画像処理方法。
（１９）  ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する復号部
を備える画像処理装置。
（２０）  ビットストリームの、３次元構造を表す３Ｄデータの位置情報の２次元平面への投影方向に応じた符号化単位から、前記投影方向で前記２次元平面に投影したジオメトリ画像を復号する
画像処理方法。
【符号の説明】
【０２１１】
１００  符号化装置，  １１１  パッチ分解部，  １１２  メタデータ生成部，  １１３  パッキング部，  １１４  補助パッチ情報圧縮部，  １１５  ビデオ符号化部，  １１６  ビデオ符号化部，  １１７  OMap符号化部，  １１８  マルチプレクサ，  １５１  法線推定部，  １５２  セグメンテーション初期設定部，  １５３  セグメンテーション更新部，  １５４  投影方向設定部，  １５５  ２次元投影部，  １５６  インデックス付与部，  １７１  投影方向情報生成部，  １７２  符号化単位情報生成部，  ２００  復号装置，  ２１１  デマルチプレクサ，  ２１２  メタデータ処理部，  ２１３  補助パッチ情報復号部，  ２１４  ビデオ復号部，  ２１５  ビデオ復号部，  ２１６  OMap復号部，  ２１７  アンパッキング部，  ２１８  ３Ｄ再構築部，  ２５１  内積算出部，  ２５２  復号範囲設定部，  ２５３  復号順設定部，  ２５４  復号制御部
【図１】
2019198521.tif 000003
【図２】
2019198521.tif 000004
【図３】
2019198521.tif 000005
【図４】
2019198521.tif 000006
【図５】
2019198521.tif 000007
【図６】
2019198521.tif 000008
【図７】
2019198521.tif 000009
【図８】
2019198521.tif 000010
【図９】
2019198521.tif 000011
【図１０】
2019198521.tif 000012
【図１１】
2019198521.tif 000013
【図１２】
2019198521.tif 000014
【図１３】
2019198521.tif 000015
【図１４】
2019198521.tif 000016
【図１５】
2019198521.tif 000017
【図１６】
2019198521.tif 000018
【図１７】
2019198521.tif 000019
【図１８】
2019198521.tif 000020
【図１９】
2019198521.tif 000021
【手続補正書】
【提出日】令和1年7月31日(2019.7.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元構造を表す３Ｄデータの位置情報がセグメンテーションに分解されて２次元平面に投影されたパッチを前記パッチの投影方向に対応する符号化単位に配置し、前記パッチが配置された２次元画像をビデオフレームとしてパッキングするパッキング部と、
前記パッキング部によりパッキングされた前記ビデオフレームを前記符号化単位毎に符号化し、符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データを含むビットストリームを生成するビットストリーム生成部と
を備える画像処理装置。
【請求項２】
前記パッキング部は、各符号化単位に対応する投影方向を示す符号化単位情報に基づいて、前記パッチを前記パッチの投影方向に対応する符号化単位に配置し、
前記ビットストリーム生成部は、前記符号化単位情報を前記ビットストリームに含める
請求項１に記載の画像処理装置。
【請求項３】
前記符号化単位は、フレーム、スライス、およびタイルの内の少なくともいずれか１つである
請求項２に記載の画像処理装置。
【請求項４】
前記符号化単位情報は、付加情報として、前記符号化単位に対応する前記３次元構造における特性を示す意味情報を含む
請求項２に記載の画像処理装置。
【請求項５】
前記パッチの投影方向に関する情報である投影方向情報に基づいて、前記符号化単位情報を生成する符号化単位情報生成部をさらに備え、
前記ビットストリーム生成部は、前記投影方向情報と、前記符号化単位情報生成部により生成された前記符号化単位情報とを前記ビットストリームに含める
請求項２に記載の画像処理装置。
【請求項６】
前記投影方向情報は、付加情報として、各投影方向の復号の優先順を示す情報を含む
請求項５に記載の画像処理装置。
【請求項７】
前記優先順は、Ｖｉｅｗ方向の初期値であるデフォルトＶｉｅｗ方向のパッチの復号を優先させる順である
請求項６に記載の画像処理装置。
【請求項８】
前記符号化部は、前記符号化単位の品質を、前記符号化単位に対応する投影方向に応じて制御する
請求項１に記載の画像処理装置。
【請求項９】
前記符号化部は、前記符号化単位の品質を、前記符号化単位に対応する投影方向の表示頻度に応じて設定する
請求項１に記載の画像処理装置。
【請求項１０】
３次元構造を表す３Ｄデータの位置情報がセグメンテーションに分解されて２次元平面に投影されたパッチを前記パッチの投影方向に対応する符号化単位に配置し、前記パッチが配置された２次元画像をビデオフレームとしてパッキングし、
パッキングされた前記ビデオフレームを前記符号化単位毎に符号化し、符号化データを生成し、
生成された前記符号化データを含むビットストリームを生成する
画像処理方法。
【請求項１１】
３次元構造を表す３Ｄデータの位置情報がセグメンテーションに分解されて２次元平面に投影されたパッチが前記パッチの投影方向に対応する符号化単位に配置され、前記パッチが配置された２次元画像がビデオフレームとしてパッキングされ、パッキングされた前記ビデオフレームが前記符号化単位毎に符号化されて生成された符号化データの内、所望の投影方向に対応する前記符号化単位の符号化データを復号する復号部
を備える画像処理装置。
【請求項１２】
前記復号部は、ビットストリームから抽出された各符号化単位に対応する投影方向を示す符号化単位情報に基づいて、前記ビットストリームから抽出された前記符号化データの内、前記所望の投影方向に対応する前記符号化単位の符号化データを復号する
請求項１１に記載の画像処理装置。
【請求項１３】
前記符号化単位は、フレーム、スライス、およびタイルの内の少なくともいずれか１つである
請求項１２に記載の画像処理装置。
【請求項１４】
前記復号部は、前記符号化単位情報に基づいて、前記ビットストリームから抽出された前記符号化データの内、一部の前記符号化単位の符号化データを復号する
請求項１２に記載の画像処理装置。
【請求項１５】
前記復号部は、前記ビットストリームから抽出された前記符号化データの内、指定されたＶｉｅｗ方向との内積の絶対値が所定の閾値よりも小さい投影方向に対応する前記符号化単位の符号化データを復号する
請求項１４に記載の画像処理装置。
【請求項１６】
前記符号化単位情報は、付加情報として、前記符号化単位に対応する前記３次元構造における特性を示す意味情報を含み、
前記復号部は、前記ビットストリームから抽出された前記符号化データの内、所望の前記意味情報に対応する前記符号化単位の符号化データを復号する
請求項１４に記載の画像処理装置。
【請求項１７】
前記復号部は、ビットストリームから抽出された前記パッチの投影方向に関する情報である投影方向情報に基づいて、前記ビットストリームから抽出された前記符号化データの内、前記所望の投影方向に対応する前記符号化単位の符号化データを復号する
請求項１１に記載の画像処理装置。
【請求項１８】
前記投影方向情報は、付加情報として、各投影方向の復号の優先順を示す情報を含み、
前記復号部は、復号対象の各符号化単位の符号化データを、前記投影方向情報に含まれる前記優先順に従って復号する
請求項１７に記載の画像処理装置。
【請求項１９】
前記復号部は、復号対象の各符号化単位の符号化データを、指定されたＶｉｅｗ方向に近い投影方向順で復号する
請求項１７に記載の画像処理装置。
【請求項２０】
３次元構造を表す３Ｄデータの位置情報がセグメンテーションに分解されて２次元平面に投影されたパッチが前記パッチの投影方向に対応する符号化単位に配置され、前記パッチが配置された２次元画像がビデオフレームとしてパッキングされ、パッキングされた前記ビデオフレームが前記符号化単位毎に符号化されて生成された符号化データの内、所望の投影方向に対応する前記符号化単位の符号化データを復号する
画像処理方法。
【国際調査報告】
2019198521.tif 000022
2019198521.tif 000023
2019198521.tif 000024