(57)【要約】  本開示は、符号化効率の低減を抑制することができるようにする画像処理装置および方法に関する。３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、その３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングし、そのパッチが配置されてパッキングされたフレーム画像を、予測を用いて符号化する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。
2019198522.tif 000002
【特許請求の範囲】
【請求項１】
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、前記３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングするパッキング部と、
前記パッキング部により前記パッチが配置されてパッキングされた前記フレーム画像を、前記予測を用いて符号化する符号化部と
を備える画像処理装置。
【請求項２】
前記パッキング部は、イントラ予測の結果の評価に基づいて、前記パッチを前記フレーム画像に配置する
請求項１に記載の画像処理装置。
【請求項３】
前記パッキング部は、前記フレーム画像の、前記イントラ予測の結果の評価が最適となる位置に、前記パッチを配置する
請求項２に記載の画像処理装置。
【請求項４】
前記パッキング部は、前記イントラ予測の結果の評価が最適となる位置を探索し、探索した位置に前記パッチを配置する
請求項３に記載の画像処理装置。
【請求項５】
前記パッキング部は、カレントパッチと周辺パッチとの対抗面の画素値の差分を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
請求項４に記載の画像処理装置。
【請求項６】
前記パッキング部は、前記イントラ予測の全モードの結果を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
請求項４に記載の画像処理装置。
【請求項７】
前記パッキング部は、前記イントラ予測の、Dilation処理の方向と同方向のモードの結果を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
請求項４に記載の画像処理装置。
【請求項８】
前記パッキング部は、前記イントラ予測の、Dilation処理の方向と同方向のモードの内の所定のモードの結果を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
請求項４に記載の画像処理装置。
【請求項９】
前記パッキング部は、前記パッチを回転させた状態で、前記イントラ予測の結果の評価が最適となる位置を探索する
請求項４に記載の画像処理装置。
【請求項１０】
前記パッキング部は、前記パッチを反転させた状態で、前記イントラ予測の結果の評価が最適となる位置を探索する
請求項４に記載の画像処理装置。
【請求項１１】
前記パッキング部により配置された前記パッチの位置を示すパッチ配置情報と、前記符号化部により生成される前記フレーム画像の符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
請求項２に記載の画像処理装置。
【請求項１２】
前記パッキング部は、インター予測結果の評価に基づいて、前記パッチを前記フレーム画像に配置する
請求項１に記載の画像処理装置。
【請求項１３】
前記パッキング部は、前記インター予測結果の評価が最適となるフレーム画像に、前記パッチを配置する
請求項１２に記載の画像処理装置。
【請求項１４】
前記パッキング部は、前記インター予測結果の評価が最適となるフレーム画像を探索し、探索した前記フレーム画像に前記パッチを配置する
請求項１３に記載の画像処理装置。
【請求項１５】
前記パッキング部は、前記パッチを回転させた状態で、前記インター予測結果の評価が最適となるフレーム画像を探索する
請求項１４に記載の画像処理装置。
【請求項１６】
前記パッキング部は、前記パッチを反転させた状態で、前記インター予測結果の評価が最適となるフレーム画像を探索する
請求項１４に記載の画像処理装置。
【請求項１７】
前記パッキング部により前記パッチが配置されたフレーム画像の構成を示すフレーム構成情報と、前記符号化部により生成される前記フレーム画像の符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
請求項１２に記載の画像処理装置。
【請求項１８】
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、前記３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングし、
前記パッチが配置されてパッキングされた前記フレーム画像を、前記予測を用いて符号化する
画像処理方法。
【請求項１９】
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが前記３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号する復号部と、
前記復号部により生成された前記フレーム画像を、前記パッチの位置を示すパッチ配置情報に基づいてアンパッキングするアンパッキング部と
を備える画像処理装置。
【請求項２０】
３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが前記３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号し、
生成された前記フレーム画像を、前記パッチの位置を示すパッチ配置情報に基づいてアンパッキングする
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、例えばOctree等のような、ボクセル（Voxel）を用いた符号化があった（例えば非特許文献１参照）。【０００３】
近年、その他の符号化方法として、例えば、ポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するアプローチ（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案されている。このアプローチの場合、投影されたパッチは、２Ｄ動画コーデックで圧縮するために２Ｄ平面上にパッキングされる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では、そのパッキングの際に、大きなパッチから順番に平面上の配置可能な個所に配置される。つまり、２Ｄ動画コーデックのことを考慮せずにパッチが配置されるため、２Ｄ動画コーデックにおいて符号化効率が低減するおそれがあった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、前記３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングするパッキング部と、前記パッキング部により前記パッチが配置されてパッキングされた前記フレーム画像を、前記予測を用いて符号化する符号化部とを備える画像処理装置である。【０００８】
本技術の一側面の画像処理方法は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、前記３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングし、前記パッチが配置されてパッキングされた前記フレーム画像を、前記予測を用いて符号化する画像処理方法である。【０００９】
本技術の他の側面の画像処理装置は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが前記３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号する復号部と、前記復号部により生成された前記フレーム画像を、前記パッチの位置を示すパッチ配置情報に基づいてアンパッキングするアンパッキング部とを備える画像処理装置である。【００１０】
本技術の他の側面の画像処理方法は、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが前記３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号し、生成された前記フレーム画像を、前記パッチの位置を示すパッチ配置情報に基づいてアンパッキングする画像処理方法である。【００１１】
本技術の一側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが、その３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置されてパッキングされ、そのパッチが配置されてパッキングされたフレーム画像が、予測を用いて符号化される。【００１２】
本技術の他の側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチがその３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データが復号され、生成されたフレーム画像が、パッチの位置を示すパッチ配置情報に基づいてアンパッキングされる。
【発明の効果】
【００１３】
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
【図面の簡単な説明】
【００１４】
【図１】ポイントクラウドの例を説明する図である。
【図２】ビデオベースドアプローチの概要の例を説明する図である。
【図３】本技術に関する主な特徴をまとめた図である。
【図４】Dilation処理の概要について説明する図である。
【図５】イントラ予測精度を向上させるようにパッチを配置する場合について説明する図である。
【図６】インター予測精度を向上させるようにパッチを配置する場合について説明する図である。
【図７】符号化装置の主な構成例を示すブロック図である。
【図８】パッキング部の主な構成例を説明する図である。
【図９】復号装置の主な構成例を示すブロック図である。
【図１０】符号化処理の流れの例を説明するフローチャートである。
【図１１】パッキング処理の流れの例を説明するフローチャートである。
【図１２】最適位置探索処理の流れの例を説明するフローチャートである。
【図１３】探索アルゴリズムの例について説明する図である。
【図１４】復号処理の流れの例を説明するフローチャートである。
【図１５】符号化装置の主な構成例を示すブロック図である。
【図１６】復号装置の主な構成例を示すブロック図である。
【図１７】パッキング処理の流れの例を説明するフローチャートである。
【図１８】最適フレーム探索処理の流れの例を説明するフローチャートである。
【図１９】復号処理の流れの例を説明するフローチャートである。
【図２０】パッキング処理の流れの例を説明するフローチャートである。
【図２１】最適フレーム位置探索処理の流れの例を説明するフローチャートである。
【図２２】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ビデオベースドアプローチ
２．第１の実施の形態（イントラ予測精度向上）
３．第２の実施の形態（インター予測精度向上）
４．第３の実施の形態（イントラ・インター予測精度向上）
５．付記
【００１６】
＜１．ビデオベースドアプローチ＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
【００１７】
非特許文献１：（上述）
非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
非特許文献４：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
【００１８】
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献３に記載されているQuad-Tree Block Structure、非特許文献４に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
【００１９】
＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。
【００２０】
例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
【００２１】
＜ビデオベースドアプローチの概要＞
このようなポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案されている。
【００２２】
このビデオベースドアプローチでは、例えば図２に示されるように、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域とも称する）に分割され、領域毎に２次元平面に投影される。なお、ポイントクラウドの位置毎のデータ（すなわち、各ポイントのデータ）は、上述のように位置情報（Geometry（Depthとも称する））と属性情報（Texture）とにより構成され、それぞれ、領域毎に２次元平面に投影される。
【００２３】
そして、この２次元平面に投影された各セグメンテーション（パッチとも称する）は、２次元画像に配置されてパッキングされ、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。
【００２４】
しかしながら、従来の方法では、そのパッキングの際に、大きなパッチから順番に平面上の配置可能な個所に配置される。つまり、２Ｄ動画コーデックのことを考慮せずにパッチが配置されるため、２Ｄ動画コーデックにおいて符号化効率が低減するおそれがあった。
【００２５】
例えば、隣り合うパッチの対抗する輪郭（エッジ部）の画素値が互いに異なると、イントラ予測精度が低減し、符号化効率が低減するおそれがあった。また、例えば、処理対象であるカレントフレームに配置されるパッチと類似度の高い他のパッチが参照フレームに配置されていないと、インター予測精度が低減するおそれがあった。
【００２６】
＜予測結果の評価に基づくパッチ配置＞
そこで、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、その３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングし、そのパッチが配置されてパッキングされたフレーム画像を、予測を用いて符号化するようにする。
【００２７】
例えば、画像処理装置において、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、その３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングするパッキング部と、そのパッキング部によりパッチが配置されてパッキングされたフレーム画像を、予測を用いて符号化する符号化部とを備えるようにする。
【００２８】
このようにすることにより、符号化装置１００は、予測の結果の評価に基づいてフレーム画像に配置してパッキングすることができる。したがって、予測精度を向上させるようにパッチを配置することができる。したがって、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【００２９】
また、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチがその３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号し、その生成されたフレーム画像を、そのパッチの位置を示すパッチ配置情報に基づいてアンパッキングするようにする。
【００３０】
例えば、画像処理装置において、３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号する復号部と、その復号部により生成されたフレーム画像を、パッチの位置を示すパッチ配置情報に基づいてアンパッキングするアンパッキング部とを備えるようにする。
【００３１】
このようにすることにより、復号装置２００は、パッチ配置情報に基づいて、予測の結果の評価に基づいてパッチが配置されてパッキングされたフレーム画像の符号化データを正しく復号することができる。したがって、予測精度の向上を実現させることができる。したがって、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【００３２】
＜ビデオベースドアプローチに関する本技術＞
以上に説明したようなビデオベースドアプローチに関する本技術について説明する。図３の表１１に示されるように、本技術においては、予測精度を向上させるように、予測の結果の評価に基づいてパッチを配置するようにする。
【００３３】
＜イントラ予測精度向上＞
この予測精度は、例えばイントラ予測精度であるようにしてもよい。
【００３４】
一般的に、パッキングにおいては、パッチを配置した後、Dilation処理が行われる。Dilation処理とは、配置されたパッチ間を、そのパッチの輪郭の画素値で埋める処理である。例えば、図４のＡに示されるように、フレーム画像３０にパッチ３１とパッチ３２が配置された場合、Dilation処理を行うことにより、例えば、図４のＢに示されるように、各パッチの右側の輪郭の画素値が水平方向右側に延長され、パッチが配置されていない部分が埋められる。このようにすることにより各パッチとその右側周辺領域との間で画素値の連続性が生まれるので、Dilation処理を行う前（図４のＡ）よりも、Dilation処理を行った後（図４のＢ）の方がイントラ予測の予測精度が向上する。
【００３５】
しかしながら、従来の方法の場合、パッチの配置がイントラ予測を考慮していないため、Dilation処理を行った後（図４のＢ）においても、各パッチとその左側周辺領域との間で画素値が連続せず、予測精度が低減するおそれがあった。
【００３６】
そこで、イントラ予測精度を向上させるように、イントラ予測の結果の評価に基づいてパッチを配置するようにする。例えば、イントラ予測結果の評価が最適となる位置にパッチを配置するようにしてもよい。このイントラ予測結果の評価が最適となる位置が予め既知であるようにしてもよいが、イントラ予測結果の評価に基づいてイントラ予測結果の評価が最適となる位置を探索し、探索した位置にパッチを配置するようにしてもよい。
【００３７】
＜評価方法＞
このイントラ予測の結果の評価方法は任意である。例えば、全てのモードでイントラ予測を行い、その予測結果を評価するようにしてもよい。また、Dilation処理の方向と同方向のモードでイントラ予測を行い、その予測結果を評価するようにしてもよい。さらに、Dilation処理の方向と同方向のモードの内の所定のモードでイントラ予測を行い、その予測結果を評価するようにしてもよい。例えば、図４の例のように水平方向にDilation処理を行う場合、INTRA_ANGULAR10のモードの予測結果のみを評価するようにしてもよい。
【００３８】
また、パッチを配置した状態の画素値に基づいて、上述のイントラ予測を行う方法よりも簡易な方法で評価を行うようにしてもよい。
【００３９】
例えば、図４の例の場合、パッチ３１とパッチ３２との対抗面、すなわち、パッチ３１の右側の輪郭の画素値とパッチ３２の左側の輪郭の画素値とが一致または近似する（連続性を有する）場合、Dilation処理後（図４のＢ）の状態において、パッチ３２とその左側周辺との間で画素値の連続性が生まれ、イントラ予測精度を向上させることができる。
【００４０】
そこで、その簡易な方法として、例えば、配置する位置を探索する対象であるカレントパッチと、配置済みの周辺パッチとの対抗面の画素値の差分を評価して、イントラ予測結果の評価が最適となる位置を探索するようにしてもよい。例えば、カレントパッチを配置可能な各位置について、カレントパッチを仮配置し、その仮配置されたカレントパッチの周辺に位置する周辺パッチとの互いに対抗する面について画素値の差分を、イントラ予測結果の代わりに評価し、その評価結果に基づいてイントラ予測結果の評価が最適となる位置を推定するようにしてもよい。
【００４１】
例えば、図５に示されるように、フレーム画像３０において、パッチ３１およびパッチ３２が既に配置されており、両矢印４１に示されるように水平方向にDilation処理が行われるとする。このようなフレーム画像３０において、図５のような位置にカレントパッチ４０を仮配置する場合、両矢印４２に示されるように、カレントパッチ４０の左側の輪郭の画素値と、カレントパッチ４０のDilation処理と同方向（水平方向）の周辺に位置するパッチ３１の右側の輪郭の画素値との差分を評価する。また、両矢印４３に示されるように、カレントパッチ４０の右側の輪郭の画素値と、カレントパッチ４０のDilation処理と同方向（水平方向）の周辺に位置するパッチ３２の左側の輪郭の画素値との差分を評価する。これらの差分の評価結果を、カレントパッチ４０を仮配置した位置におけるイントラ予測結果の評価とする。
【００４２】
カレントパッチ４０を配置可能な各位置についてこのようにカレントパッチと周辺パッチとの対抗面の画素値の差分を評価し、その評価結果に基づいて、イントラ予測結果の評価が最適となる位置を推定する。このようにすることにより、イントラ予測を行わずに簡易な方法でイントラ予測結果の評価が最適となる位置を探索することができる。つまり、この探索による負荷の増大を抑制することができる。
【００４３】
＜探索方法＞
なお、カレントパッチを配置する位置の探索方法は任意である。例えば、カレントパッチを配置可能な領域の全ての位置にカレントパッチを仮配置し、各位置についてイントラ予測の結果を評価するようにしてもよい。また、カレントパッチを配置可能な領域の一部（代表的な）位置にのみカレントパッチを仮配置し、各位置についてイントラ予測の結果を評価するようにしてもよい。さらに、その各位置のイントラ予測の結果の評価に基づいて探索範囲を絞り込み、再探索を行うようにしてもよい。
【００４４】
また、パッチを回転させた状態についても、イントラ予測結果の評価が最適となる位置を探索するようにしてもよい。この場合の回転角は任意である。また、この回転角は単数であってもよいし、複数であってもよい。つまり、それぞれの角度でパッチを回転させた状態について、イントラ予測結果の評価が最適となる位置を探索するようにしてもよい。
【００４５】
また、パッチを反転（例えば上下反転や左右反転等）させた状態についても、イントラ予測結果の評価が最適となる位置を探索するようにしてもよい。この場合の反転方向は任意である。また、この反転方向は単数（例えば上下反転のみ、左右反転のみ等）であってもよいし、複数（例えば上下反転と左右反転等）であってもよい。つまり、それぞれの反転方向にパッチを反転させた状態について、イントラ予測結果の評価が最適となる位置を探索するようにしてもよい。
【００４６】
＜インター予測精度向上＞
この予測精度は、例えばインター予測精度であるようにしてもよい。
【００４７】
一般的に、イントラ予測よりもインター予測の方が、予測精度が高い。そこで、インター予測を利用することができるように、パッチを複数のフレーム画像に配置するようにしてもよい。
【００４８】
例えば、図６の上側に示されるフレーム画像５０は、時刻ｔ＝ｎのフレーム画像である。このフレーム画像５０には、従来のパッキング方法により、所定の時刻における所定の３Ｄデータのパッチ５１乃至パッチ５６が配置されている。同様に、フレーム画像６０は、時刻ｔ＝ｎ＋１のフレーム画像である。このフレーム画像６０には、従来のパッキング方法により、フレーム画像５０とは異なる時刻における３Ｄデータ、または、フレーム画像５０とは異なる３Ｄデータのパッチ６１乃至パッチ６６が配置されている。
【００４９】
このように従来の方法においては１フレーム画像に配置されていたパッチを、図６の下側に示されるように、複数のフレーム画像に配置するようにする。なお、図６における各フレーム画像の大きさの違いは図示の都合によるものであり、互いに同一であってもよい。
【００５０】
図６の例の場合、フレーム画像５０の各パッチは、フレーム画像７１乃至フレーム画像７３に配置されている。より具体的には、フレーム画像７１にはパッチ５１およびパッチ５４が配置され、フレーム画像７２にはパッチ５２およびパッチ５５が配置され、フレーム画像７３にはパッチ５３およびパッチ５６が配置されている。また、フレーム画像６０の各パッチは、フレーム画像７４乃至フレーム画像７６に配置されている。より具体的には、フレーム画像７４にはパッチ６１およびパッチ６４が配置され、フレーム画像７５にはパッチ６２およびパッチ６５が配置され、フレーム画像７６にはパッチ６３およびパッチ６６が配置されている。
【００５１】
このように、従来１フレーム画像に配置していたパッチを、点線８１のように区切られた所定の範囲（時間）の複数のフレーム画像に配置する。フレーム画像７１乃至フレーム画像７６は互いに同一のシーケンスのフレーム画像であるので、時間方向の予測（インター予測）の適用が可能になる。つまり、形状等が類似するパッチを互いに異なるフレーム画像に配置することにより、それらのパッチを用いてインター予測を行うことができるようになり、イントラ予測の場合よりも予測精度を向上させることができる。
【００５２】
なお、図６の例においては、点線８１のようにシーケンスを区切り、パッチを所定の範囲のフレーム画像に配置するように説明したが、このようにシーケンスを区切らず、パッチを任意のフレーム画像に配置することができるようにしてもよい。ただし、シーケンスを区切る場合の方が、フレーム構成を簡易化することができ、そのフレーム構成を復号側に通知するための情報量の増大を抑制することができる。
【００５３】
また、図６の例においては、１つのシーケンスのフレーム画像にパッチを配置するように説明したが、例えば、従来１フレーム画像に配置していたパッチを、複数のレイヤやビューのフレーム画像に配置するようにしてもよい。
【００５４】
また、従来の１フレーム毎に、パッチを配置するレイヤやビューを変えるようにしてもよい。例えば、図６の場合、パッチ５１乃至パッチ５６と、パッチ６１乃至パッチ６６とを、互いに異なるレイヤ（またはビュー）の複数のフレーム画像に配置するようにしてもよい。
【００５５】
以上のように複数フレーム画像にパッチを配置する際に、インター予測の結果の評価に基づいてパッチを配置するようにする。例えば、インター予測結果の評価が最適となるフレーム画像にパッチを配置するようにしてもよい。このインター予測結果の評価が最適となるフレーム画像が予め既知であるようにしてもよいが、インター予測結果の評価に基づいてインター予測結果の評価が最適となるフレーム画像を探索し、探索したフレーム画像にパッチを配置するようにしてもよい。
【００５６】
＜評価方法＞
このインター予測の結果の評価方法は任意である。例えば、全てのモードでインター予測を行い、その予測結果を評価するようにしてもよい。また、一部のモードでインター予測を行い、その予測結果を評価するようにしてもよい。
【００５７】
＜探索方法＞
なお、カレントパッチを配置するフレーム画像の探索方法は任意である。例えば、カレントパッチを配置可能な全てのフレーム画像にカレントパッチを仮配置し、各フレーム画像についてインター予測の結果を評価するようにしてもよい。また、カレントパッチを配置可能なフレーム画像の内の一部（代表的なフレーム画像）にのみカレントパッチを仮配置し、各フレーム画像についてインター予測の結果を評価するようにしてもよい。さらに、その各フレーム画像のインター予測の結果の評価に基づいて探索範囲を絞り込み、再探索を行うようにしてもよい。
【００５８】
また、パッチを回転させた状態についても、インター予測結果の評価が最適となるフレーム画像を探索するようにしてもよい。この場合の回転角は任意である。また、この回転角は単数であってもよいし、複数であってもよい。つまり、それぞれの角度でパッチを回転させた状態について、インター予測結果の評価が最適となるフレーム画像を探索するようにしてもよい。
【００５９】
また、パッチを反転（例えば上下反転や左右反転等）させた状態についても、インター予測結果の評価が最適となるフレーム画像を探索するようにしてもよい。この場合の反転方向は任意である。また、この反転方向は単数（例えば上下反転のみ、左右反転のみ等）であってもよいし、複数（例えば上下反転と左右反転等）であってもよい。つまり、それぞれの反転方向にパッチを反転させた状態について、インター予測結果の評価が最適となるフレーム画像を探索するようにしてもよい。
【００６０】
＜イントラ予測＆インター予測＞
なお、上述の予測精度は、例えばイントラ予測精度とインター予測精度の両方であるようにしてもよい。つまり、上述したイントラ予測精度に基づくパッチの配置位置制御と、インター予測精度に基づくパッチの配置フレーム画像制御との両方を適用するようにしてもよい。
【００６１】
その場合、イントラ予測とインター予測のそれぞれについて、上述したように予測結果の評価が最適となるフレーム画像または位置を探索し、探索したフレーム画像または位置にパッチを配置するようにすればよい。
【００６２】
＜その他＞
なお、以上に説明したパッチは、位置情報（Geometry）のパッチであってもよいし、その位置情報に付加される色情報等の属性情報（Texture）のパッチであってもよい。
【００６３】
以上のような各種方法でパッチの配置を制御することにより、予測精度を向上させることができ、符号化効率の低減を抑制することができる。
【００６４】
＜２．第１の実施の形態＞
＜符号化装置＞
次に、以上のような各手法を実現する構成について説明する。図７は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図７に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置（ビデオベースドアプローチを適用した符号化装置）である。この場合の符号化装置１００は、イントラ予測結果の評価が最適となる位置を探索し、探索した位置にパッチを配置する。
【００６５】
なお、図７においては、処理部やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、符号化装置１００において、図７においてブロックとして示されていない処理部が存在したり、図７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置１００内の処理部等を説明する他の図においても同様である。
【００６６】
図７に示されるように符号化装置１００は、パッチ分解部１１１、パッキング部１１２、補助パッチ情報圧縮部１１３、ビデオ符号化部１１４、ビデオ符号化部１１５、OMap符号化部１１６、およびマルチプレクサ１１７を有する。
【００６７】
パッチ分解部１１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド（Point Cloud））やView方向に関する情報（View Info）を取得する。また、パッチ分解部１１１は、取得したその３Ｄデータを複数のセグメンテーションに分解し、そのセグメンテーション毎に３Ｄデータを２次元平面に投影し、パッチを生成する。パッチ分解部１１１は、生成した各パッチに関する情報をパッキング部１１２に供給する。また、パッチ分解部１１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１３に供給する。
【００６８】
パッキング部１１２は、データのパッキングに関する処理を行う。例えば、パッキング部１１２は、パッチ分解部１１１から供給される領域毎に３Ｄデータが投影された２次元平面のデータ（パッチ）を取得する。また、パッキング部１１２は、取得した各パッチを２次元画像に配置してビデオフレームとしてパッキングする。例えば、パッキング部１１２は、ポイントの位置を示す位置情報（Geometry）のパッチを２次元画像に配置し、その位置情報に付加される色情報等の属性情報（Texture）のパッチを２次元画像に配置し、それらの２次元画像を、それぞれ、ビデオフレームとしてパッキングする。
【００６９】
その際、パッキング部１１２は、イントラ予測結果の評価に基づいてイントラ予測結果の評価が最適となる位置を探索し、探索した位置にパッチを配置する。また、パッキング部１１２は、パッチを回転させた状態や反転させた状態についても、イントラ予測結果の評価が最適となる位置を探索する。
【００７０】
なお、パッキング部１１２は、位置毎のデータの有無を示すオキュパンシーマップ（Occupancy Map）の生成やDilation処理も行う。パッキング部１１２は、処理後の各種データを後段の処理部に供給する。例えば、パッキング部１１２は、位置情報（Geometry）のビデオフレームをビデオ符号化部１１４に供給する。また、例えば、パッキング部１１２は、属性情報（Texture）のビデオフレームをビデオ符号化部１１５に供給する。さらに、例えば、パッキング部１１２は、オキュパンシーマップをOMap符号化部１１６に供給する。
【００７１】
また、パッキング部１１２は、そのパッキングに関する制御情報をマルチプレクサ１１７に供給する。例えば、パッキング部１１２は、その制御情報として、パッチを配置した位置を示すパッチ配置情報を生成し、それをマルチプレクサ１１７に供給する。また、例えば、パッキング部１１２は、その制御情報として、配置されたパッチの回転状態（パッチを回転させたか否か、回転させた場合はその回転角度等）および反転状態（パッチを反転させたか否か、反転させた場合はその反転方向等）を示す反転・回転パラメータを生成し、それをマルチプレクサ１１７に供給する。
【００７２】
補助パッチ情報圧縮部１１３は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１３は、パッチ分解部１１１から供給されるデータを取得する。補助パッチ情報圧縮部１１３は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１３は、得られた補助パッチ情報の符号化データをマルチプレクサ１１７に供給する。
【００７３】
ビデオ符号化部１１４は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１４は、パッキング部１１２から供給される位置情報（Geometry）のビデオフレームを取得する。また、ビデオ符号化部１１４は、その取得した位置情報（Geometry）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１４は、その符号化により得られた符号化データ（位置情報（Geometry）のビデオフレームの符号化データ）をマルチプレクサ１１７に供給する。
【００７４】
ビデオ符号化部１１５は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、パッキング部１１２から供給される属性情報（Texture）のビデオフレームを取得する。また、ビデオ符号化部１１５は、その取得した属性情報（Texture）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られた符号化データ（属性情報（Texture）のビデオフレームの符号化データ）をマルチプレクサ１１７に供給する。
【００７５】
OMap符号化部１１６は、位置毎のデータの有無を示すオキュパンシーマップの符号化に関する処理を行う。例えば、OMap符号化部１１６は、パッキング部１１２から供給されるオキュパンシーマップを取得する。また、OMap符号化部１１６は、その取得したオキュパンシーマップを、例えば算術符号化等の任意の符号化方法により符号化する。OMap符号化部１１６は、その符号化により得られたオキュパンシーマップの符号化データをマルチプレクサ１１７に供給する。
【００７６】
マルチプレクサ１１７は、多重化に関する処理を行う。例えば、マルチプレクサ１１７は、補助パッチ情報圧縮部１１３から供給される補助パッチ情報の符号化データを取得する。また、マルチプレクサ１１７は、パッキング部１１２から供給されるパッキングに関する制御情報（パッチ配置情報や反転・回転パラメータを含む）を取得する。また、マルチプレクサ１１７は、ビデオ符号化部１１４から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１７は、ビデオ符号化部１１５から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、マルチプレクサ１１７は、OMap符号化部１１６から供給されるオキュパンシーマップの符号化データを取得する。
【００７７】
マルチプレクサ１１７は、取得したそれらの情報を多重化して、ビットストリーム（Bitstream）を生成する。マルチプレクサ１１７は、その生成したビットストリームを符号化装置１００の外部に出力する。
【００７８】
＜パッキング部＞
図８は、パッキング部１１２の主な構成例を示すブロック図である。図８に示されるように、パッキング部１１２は、パッチ配置部１５１、最適化処理部１５２、OMap生成部１５３、およびDilation処理部１５４を有する。
【００７９】
パッチ配置部１５１は、パッチの配置に関する処理を行う。例えば、パッチ配置部１５１は、パッチ分解部１１１から供給されたデータを取得する。パッチ配置部１５１は、パッチ分解部１１１によって生成された各パッチを２次元画像上に配置する。その際、パッチ配置部１５１は、最適化処理部１５２を利用してイントラ予測結果の評価が最適となる位置を探索し、探索した位置にパッチを配置する。パッチ配置部１５１は、パッチを配置した２次元画像をOMap生成部１５３に供給する。また、パッチ配置部１５１は、そのパッチの配置に関するパッチ配置情報や反転・回転パラメータ等の制御情報もOMap生成部１５３に供給する。
【００８０】
最適化処理部１５２は、パッチの位置の最適化に関する処理を行う。例えば、最適化処理部１５２は、パッチ配置部１５１から必要な情報を取得して、パッチ配置部１５１によるパッチの配置について、イントラ予測結果の評価が最適となる位置を探索する。最適化処理部１５２は、その探索結果をパッチ配置部１５１に返す。
【００８１】
OMap生成部１５３は、オキュパンシーマップの生成に関する処理を行う。例えば、OMap生成部１５３は、パッチ配置部１５１から供給されるデータを取得する。また、OMap生成部１５３は、その情報に基づいて、オキュパンシーマップを生成する。OMap生成部１５３は、パッチ配置部１５１から供給されたデータや生成したオキュパンシーマップを、Dilation処理部１５４に供給する。
【００８２】
Dilation処理部１５４は、Dilation処理に関する処理を行う。例えば、Dilation処理部１５４は、OMap生成部１５３から供給されるデータを取得する。また、Dilation処理部１５４は、位置情報のパッチが配置された２次元画像や属性情報のパッチが配置された２次元画像についてDilation処理を行い、例えば図４のＢのフレーム画像３０のように、２次元画像に配置された各パッチの輪郭の画素値を所定の方向に延長し、２次元画像のパッチが配置されていない部分を埋める。Dilation処理部１５４は、OMap生成部１５３から供給されるデータ（例えばオキュパンシーマップ等）やDilation処理後の２次元画像（位置情報のビデオフレームや属性情報のビデオフレーム）等を出力する。
【００８３】
例えば、Dilation処理部１５４は、Dilation処理された、位置情報（Geometry）のパッチが配置された２次元画像を、位置情報（Geometry）のビデオフレームとしてビデオ符号化部１１４に供給する。また、Dilation処理部１５４は、Dilation処理された、属性情報（Texture）のパッチが配置された２次元画像を、属性情報（Texture）のビデオフレームとしてビデオ符号化部１１５に供給する。また、Dilation処理部１５４は、オキュパンシーマップをOMap符号化部１１６に供給する。
【００８４】
さらに、Dilation処理部１５４は、パッキングに関する制御情報として、パッチ配置情報や反転・回転パラメータをマルチプレクサ１１７に供給する。
【００８５】
＜復号装置＞
図９は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図９に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置（ビデオベースドアプローチを適用した復号装置）である。
【００８６】
なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、復号装置２００において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置２００内の処理部等を説明する他の図においても同様である。
【００８７】
図９に示されるように復号装置２００は、デマルチプレクサ２１１、補助パッチ情報復号部２１２、ビデオ復号部２１３、ビデオ復号部２１４、OMap復号部２１５、アンパッキング部２１６、および３Ｄ再構築部２１７を有する。
【００８８】
デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１２に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、位置情報（Geometry）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１３に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、属性情報（Texture）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップの符号化データを抽出し、それをOMap復号部２１５に供給する。
【００８９】
さらに、デマルチプレクサ２１１は、パッチ配置情報や反転・回転パラメータを含むパッキングに関する制御情報をアンパッキング部２１６に供給する。
【００９０】
補助パッチ情報復号部２１２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１２は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１２は、その取得したデータに含まれる補助パッチ情報の符号化データを復号する。補助パッチ情報復号部２１２は、その復号により得られた補助パッチ情報を３Ｄ再構築部２１７に供給する。
【００９１】
ビデオ復号部２１３は、位置情報（Geometry）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１３は、デマルチプレクサ２１１から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１３は、デマルチプレクサ２１１から取得した符号化データを復号し、位置情報（Geometry）のビデオフレームを得る。ビデオ復号部２１３は、その位置情報（Geometry）のビデオフレームを、アンパッキング部２１６に供給する。
【００９２】
ビデオ復号部２１４は、属性情報（Texture）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、ビデオ復号部２１４は、デマルチプレクサ２１１から取得した符号化データを復号し、属性情報（Texture）のビデオフレームを得る。ビデオ復号部２１４は、その属性情報（Texture）のビデオフレームを、アンパッキング部２１６に供給する。
【００９３】
OMap復号部２１５は、オキュパンシーマップの符号化データの復号に関する処理を行う。例えば、OMap復号部２１５は、デマルチプレクサ２１１から供給されるオキュパンシーマップの符号化データを取得する。また、OMap復号部２１５は、デマルチプレクサ２１１から取得した符号化データを復号し、オキュパンシーマップを得る。OMap復号部２１５は、そのオキュパンシーマップを、アンパッキング部２１６に供給する。
【００９４】
アンパッキング部２１６は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１６は、ビデオ復号部２１３から位置情報（Geometry）のビデオフレームを取得し、ビデオ復号部２１４から属性情報（Texture）のビデオフレームを取得し、OMap復号部２１５からオキュパンシーマップを取得する。また、アンパッキング部２１６は、デマルチプレクサ２１１から供給されるパッチ配置情報や反転・回転パラメータを含むパッキングに関する制御情報を取得する。
【００９５】
アンパッキング部２１６は、位置情報のビデオフレームや属性情報のビデオフレームを、パッキングに関する制御情報（パッチ配置情報や反転・回転パラメータ）に基づいて、アンパッキングする。アンパッキング部２１６は、アンパッキングして得られた位置情報（Geometry）のパッチや属性情報（Texture）のパッチ、並びにオキュパンシーマップ等の各種データを、３Ｄ再構築部２１７に供給する。
【００９６】
３Ｄ再構築部２１７は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２１７は、補助パッチ情報復号部２１２から供給される補助パッチ情報や、アンパッキング部２１６から供給される位置情報（Geometry）のパッチ、属性情報（Texture）のパッチ、およびオキュパンシーマップ等に基づいて、３Ｄデータ（Point Cloud）を再構築する。３Ｄ再構築部２１７は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。
【００９７】
この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。
【００９８】
このような構成を備えることにより、予測の結果の評価に基づいてフレーム画像に配置してパッキングすることができる。また、パッチ配置情報に基づいて、予測の結果の評価に基づいてパッチが配置されてパッキングされたフレーム画像の符号化データを正しく復号することができる。したがって、予測精度を向上させることができ、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【００９９】
＜符号化処理の流れ＞
次に、符号化装置１００により実行される符号化処理の流れの例を、図１０のフローチャートを参照して説明する。
【０１００】
符号化処理が開始されると、符号化装置１００のパッチ分解部１１１は、ステップＳ１０１において、３Ｄデータを２次元平面に投影し、パッチに分解する。
【０１０１】
ステップＳ１０２において、補助パッチ情報圧縮部１１３は、ステップＳ１０１の処理により得られた補助パッチ情報を圧縮する。
【０１０２】
ステップＳ１０３において、パッキング部１１２は、ステップＳ１０１において生成されたパッチを２次元画像上に配置して、ビデオフレームとしてパッキングする。
【０１０３】
ステップＳ１０４において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られた位置情報のビデオフレームであるジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。
【０１０４】
ステップＳ１０５において、ビデオ符号化部１１５は、ステップＳ１０３の処理により得られた属性情報のビデオフレームであるカラービデオフレームを、２次元画像用の符号化方法により符号化する。
【０１０５】
ステップＳ１０６において、OMap符号化部１１６は、ステップＳ１０３の処理により得られたオキュパンシーマップを、所定の符号化方法により符号化する。
【０１０６】
ステップＳ１０７において、マルチプレクサ１１７は、以上のように生成された各種情報を多重化し、これらの情報を含むビットストリームを生成する。つまり、このビットストリームには、位置情報、属性情報、オキュパンシーマップ等の符号化データを含み、さらに、パッキングに関する制御情報（パッチ配置情報や反転・回転パラメータを含む）も含む。
【０１０７】
ステップＳ１０８において、マルチプレクサ１１７は、ステップＳ１０７の処理により生成したビットストリームを符号化装置１００の外部に出力する。
【０１０８】
ステップＳ１０８の処理が終了すると、符号化処理が終了する。
【０１０９】
＜パッキング処理の流れ＞
次に、図１１のフローチャートを参照して、図１０のステップＳ１０３において実行されるパッキング処理の流れの例を説明する。
【０１１０】
パッキング処理が開始されると、パッチ配置部１５１は、ステップＳ１２１において、未処理のパッチを処理対象（カレントパッチ）として選択する。
【０１１１】
ステップＳ１２２において、パッチ配置部１２４は、２次元画像上において、そのカレントパッチを配置可能な領域を特定する。
【０１１２】
ステップＳ１２３において、最適化処理部１５２は、そのカレントパッチを配置するのに最適な位置を探索する。探索が終了すると処理はステップＳ１２４に進む。
【０１１３】
ステップＳ１２４において、パッチ配置部１５１は、全ての反転方向についてカレントパッチを反転させた状態で探索したか否かを判定する。未処理の反転方向が存在すると判定された場合、処理はステップＳ１２５に進む。
【０１１４】
ステップＳ１２５において、パッチ配置部１５１は、未処理の反転方向にパッチを反転させる。ステップＳ１２５の処理が終了すると処理はステップＳ１２２に戻り、それ以降の処理を繰り返す。つまり、各反転方向について、ステップＳ１２２乃至ステップＳ１２５の処理が実行される。そして、ステップＳ１２４において、全ての反転状態で探索を行ったと判定された場合、処理はステップＳ１２６に進む。
【０１１５】
ステップＳ１２６において、パッチ配置部１５１は、全ての回転角度でカレントパッチを回転させた状態で探索を行ったか否かを判定する。未処理の回転角度が存在すると判定された場合、処理はステップＳ１２７に進む。
【０１１６】
ステップＳ１２７において、パッチ配置部１５１は、未処理の回転角度でパッチを回転させる。ステップＳ１２７の処理が終了すると処理はステップＳ１２２に戻り、それ以降の処理を繰り返す。つまり、各回転角度について、ステップＳ１２２乃至ステップＳ１２７の処理が実行される。そして、ステップＳ１２６において、全ての回転状態で探索を行ったと判定された場合、処理はステップＳ１２８に進む。
【０１１７】
ステップＳ１２８において、パッチ配置部１５１は、ステップＳ１２３において探索された最適な位置にカレントパッチを配置する。
【０１１８】
ステップＳ１２９において、パッチ配置部１５１は、全てのパッチを２次元画像上に配置したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ１２１に戻り、それ以降の処理が実行される。つまり、各パッチについて、ステップＳ１２１乃至ステップＳ１２９の処理が実行される。そして、ステップＳ１２９において、全てのパッチを配置したと判定された場合、処理はステップＳ１３０に進む。
【０１１９】
ステップＳ１３０において、パッチ配置部１５１は、配置したパッチについて、パッチ配置情報を生成する。
【０１２０】
ステップＳ１３１において、パッチ配置部１５１は、配置したパッチについて、反転・回転パラメータを設定する。
【０１２１】
ステップＳ１３２において、OMap生成部１５３は、オキュパンシーマップを生成する。
【０１２２】
ステップＳ１３３において、Dilation処理部１５４は、位置情報のパッチが配置された２次元画像や属性情報のパッチが配置された２次元画像に対してDilation処理を行う。
【０１２３】
ステップＳ１３３の処理が終了するとパッキング処理が終了し、処理は図１０に戻る。
【０１２４】
＜最適位置探索処理の流れ＞
次に、図１１のステップＳ１２３において実行される最適位置探索処理の流れの例を、図１２のフローチャートを参照して説明する。
【０１２５】
最適位置探索処理が開始されると、最適化処理部１５２は、ステップＳ１５１において、２次元画像の配置可能な領域内の新たな位置にカレントパッチを仮配置する。
【０１２６】
ステップＳ１５２において、最適化処理部１５２は、２次元画像の、カレントパッチを仮配置した位置（仮位置）の左側の領域（左領域）にパッチが配置されているか否かを判定する。仮位置の左領域にパッチが存在すると判定された場合、処理はステップＳ１５３に進む。
【０１２７】
ステップＳ１５３において、最適化処理部１５２は、左領域のパッチの右端の画素と、カレントパッチの左端の画素との差分を評価する。ステップＳ１５３の処理が終了すると、処理はステップＳ１５４に進む。また、ステップＳ１５２において、仮位置の左領域にパッチが存在しないと判定された場合、処理はステップＳ１５４に進む。
【０１２８】
ステップＳ１５４において、最適化処理部１５２は、２次元画像の、カレントパッチを仮配置した位置（仮位置）の右側の領域（右領域）にパッチが配置されているか否かを判定する。仮位置の右領域にパッチが存在すると判定された場合、処理はステップＳ１５５に進む。
【０１２９】
ステップＳ１５５において、最適化処理部１５２は、右領域のパッチの左端の画素と、カレントパッチの右端の画素との差分を評価する。ステップＳ１５５の処理が終了すると、処理はステップＳ１５６に進む。また、ステップＳ１５４において、仮位置の右領域にパッチが存在しないと判定された場合、処理はステップＳ１５６に進む。
【０１３０】
ステップＳ１５６において、最適化処理部１５２は、配置可能な全ての位置について評価を行ったか否かを判定する。未処理の位置が存在すると判定された場合、処理はステップＳ１５１に戻り、それ以降の処理を繰り返す。つまり、配置可能な各位置について、ステップＳ１５１乃至ステップＳ１５６の各処理が実行される。そして、ステップＳ１５６において、全ての位置について評価を行ったと判定された場合、処理はステップＳ１５７に進む。
【０１３１】
ステップＳ１５７において、最適化処理部１５２は、以上のように求めた評価結果に基づいて、最適な位置を設定する。例えば、最適化処理部１５２は、予測精度が最も高い位置、すなわち、上述の差分が最も小さくなる位置を、最適な位置として設定する。
【０１３２】
ステップＳ１５７の処理が終了すると最適位置探索処理が終了し、処理は図１１に戻る。
【０１３３】
以上のように各処理を実行することにより、符号化装置１００は、予測の結果の評価に基づいてフレーム画像に配置してパッキングすることができる。したがって、予測精度を向上させるようにパッチを配置することができる。したがって、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０１３４】
なお、図１２においては、カレントパッチと周辺パッチとの対抗面の画素値の差分を評価する簡易な方法（簡易サーチ）で評価を行う場合について説明したが、この評価の方法は、上述したように任意であり、この例に限定されない。例えば、図１３に示されるように、全てのモードでイントラ予測を行い、その予測結果を評価する方法（フルサーチ）であってもよいし、Dilation処理の方向と同方向のモードでイントラ予測を行い、その予測結果を評価する方法（限定サーチ１）であってもよいし、Dilation処理の方向と同方向のモードの内の所定のモード（例えばINTRA_ANGULAR10）でイントラ予測を行い、その予測結果を評価する方法（限定サーチ２）であってもよい。
【０１３５】
これらの方法を比較すると、一般的に、予測精度は、フルサーチが最も高く、限定サーチ１がその次に高く、限定サーチ２がその次に高く、簡易サーチが最も低い。処理速度は、簡易サーチが最も高速であり、限定サーチ２がその次に高速であり、限定サーチ１がその次に高速であり、フルサーチが最も低速である。
【０１３６】
＜復号処理の流れ＞
次に、復号装置２００により実行される復号処理の流れの例を、図１４のフローチャートを参照して説明する。
【０１３７】
復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。
【０１３８】
ステップＳ２０２において、補助パッチ情報復号部２１２は、ステップＳ２０１においてビットストリームから抽出された補助パッチ情報を復号する。
【０１３９】
ステップＳ２０３において、ビデオ復号部２１３は、ステップＳ２０１においてビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。
【０１４０】
ステップＳ２０４において、ビデオ復号部２１４は、ステップＳ２０１においてビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。
【０１４１】
ステップＳ２０５において、OMap復号部２１５は、ステップＳ２０１においてビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。
【０１４２】
ステップＳ２０６において、アンパッキング部２１６は、ステップＳ２０１においてビットストリームから抽出されたパッキングに関する制御情報（パッチ配置情報や反転・回転パラメータを含む）に基づいて、ジオメトリビデオフレームやカラービデオフレームをアンパッキングし、パッチを抽出する。
【０１４３】
ステップＳ２０７において、３Ｄ再構築部２１７は、ステップＳ２０２において得られた補助パッチ情報と、ステップＳ２０６において得られたパッチ等とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。
【０１４４】
ステップＳ２０７の処理が終了すると復号処理が終了する。
【０１４５】
以上のように復号処理を行うことにより、復号装置２００は、パッチ配置情報に基づいて、予測の結果の評価に基づいてパッチが配置されてパッキングされたフレーム画像の符号化データを正しく復号することができる。したがって、予測精度の向上を実現させることができる。したがって、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０１４６】
＜３．第２の実施の形態＞
＜符号化装置＞
次に、インター予測結果の評価が最適となるフレーム画像を探索し、探索したフレーム画像にパッチを配置する場合について説明する。図１５は、その場合の符号化装置１００の主な構成例を示すブロック図である。図１５に示されるように、この場合も符号化装置１００は、図７の場合と基本的に同様の構成を有する。
【０１４７】
ただし、パッキング部１１２は、パッキングの際に、インター予測結果の評価に基づいてインター予測結果の評価が最適となるフレーム画像を探索し、探索したフレーム画像にパッチを配置する。
【０１４８】
そのため、パッキング部１１２は、パッキングに関する制御情報として、パッチ配置情報や反転・回転パラメータに加え、パッチが配置されたフレーム画像の構成を示すフレーム構成情報を生成し、マルチプレクサ１１７に供給する。
【０１４９】
マルチプレクサ１１７は、そのパッキングに関する制御情報（パッチ配置情報、反転・回転パラメータ、フレーム構成情報を含む）を、ビデオフレームやオキュパンシーマップの符号化データ等と多重化し、ビットストリーム（Bitstream）を生成する。マルチプレクサ１１７は、その生成したビットストリームを符号化装置１００の外部に出力する。
【０１５０】
なお、この場合もパッキング部１１２は、図８の場合と同様の構成を有する。ただし、この場合、最適化処理部１５２は、パッチ配置部１５１から必要な情報を取得して、パッチ配置部１５１によるパッチの配置について、インター予測結果の評価が最適となるフレーム画像を探索する。最適化処理部１５２は、その探索結果をパッチ配置部１５１に返す。
【０１５１】
パッチ配置部１５１は、最適化処理部１５２により探索された、イントラ予測結果の評価が最適となるフレーム画像にパッチを配置する。また、パッチ配置部１５１は、パッキングに関する制御情報として、パッチ配置情報や反転・回転パラメータに加え、フレーム構成情報を生成する。
【０１５２】
＜復号装置＞
図１６は、この場合の復号装置２００の主な構成例を示すブロック図である。図１６に示されるように、この場合も復号装置２００は、図９の場合と基本的に同様の構成を有する。
【０１５３】
ただし、デマルチプレクサ２１１は、逆多重化によりビットストリームから抽出した、パッチ配置情報、反転・回転パラメータ、およびフレーム構成情報を含むパッキングに関する制御情報を、アンパッキング部２１６に供給する。
【０１５４】
アンパッキング部２１６は、位置情報（Geometry）のビデオフレームや属性情報（Texture）のビデオフレームを、パッキングに関する制御情報（パッチ配置情報、反転・回転パラメータ、およびフレーム構成情報を含む）に基づいて、アンパッキングする。アンパッキング部２１６は、アンパッキングして得られた位置情報（Geometry）のパッチや属性情報（Texture）のパッチ、並びに、オキュパンシーマップ等の各種データを、３Ｄ再構築部２１７に供給する。
【０１５５】
このような構成を備えることにより、予測の結果の評価に基づいてフレーム画像に配置してパッキングすることができる。また、パッチ配置情報に基づいて、予測の結果の評価に基づいてパッチが配置されてパッキングされたフレーム画像の符号化データを正しく復号することができる。したがって、予測精度を向上させることができ、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０１５６】
＜パッキング処理の流れ＞
インター予測の場合も、符号化処理は、第１の実施の形態の場合（図１０）と同様に実行される。
【０１５７】
この場合のパッキング処理の流れの例を、図１７のフローチャートを参照して説明する。パッキング処理が開始されると、パッチ配置部１５１は、ステップＳ３０１において、未処理のパッチを処理対象（カレントパッチ）として選択する。
【０１５８】
ステップＳ３０２において、パッチ配置部１２４は、２次元画像上において、そのカレントパッチを配置可能なフレームを特定する。
【０１５９】
ステップＳ３０３において、最適化処理部１５２は、そのカレントパッチを配置するのに最適なフレームを探索する。探索が終了すると処理はステップＳ３０４に進む。
【０１６０】
ステップＳ３０４において、パッチ配置部１５１は、全ての反転方向についてカレントパッチを反転させた状態で探索したか否かを判定する。未処理の反転方向が存在すると判定された場合、処理はステップＳ３０５に進む。
【０１６１】
ステップＳ３０５において、パッチ配置部１５１は、未処理の反転方向にパッチを反転させる。ステップＳ３０５の処理が終了すると処理はステップＳ３０２に戻り、それ以降の処理を繰り返す。つまり、各反転方向について、ステップＳ３０２乃至ステップＳ３０５の処理が実行される。そして、ステップＳ３０４において、全ての反転状態で探索を行ったと判定された場合、処理はステップＳ３０６に進む。
【０１６２】
ステップＳ３０６において、パッチ配置部１５１は、全ての回転角度でカレントパッチを回転させた状態で探索を行ったか否かを判定する。未処理の回転角度が存在すると判定された場合、処理はステップＳ３０７に進む。
【０１６３】
ステップＳ３０７において、パッチ配置部１５１は、未処理の回転角度でパッチを回転させる。ステップＳ３０７の処理が終了すると処理はステップＳ３０２に戻り、それ以降の処理を繰り返す。つまり、各回転角度について、ステップＳ３０２乃至ステップＳ３０７の処理が実行される。そして、ステップＳ３０６において、全ての回転状態で探索を行ったと判定された場合、処理はステップＳ３０８に進む。
【０１６４】
ステップＳ３０８において、パッチ配置部１５１は、ステップＳ３０３において探索された最適なフレーム画像にカレントパッチを配置する。
【０１６５】
ステップＳ３０９において、パッチ配置部１５１は、全てのパッチを２次元画像上に配置したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ３０１に戻り、それ以降の処理が実行される。つまり、各パッチについて、ステップＳ３０１乃至ステップＳ３０９の処理が実行される。そして、ステップＳ３０９において、全てのパッチを配置したと判定された場合、処理はステップＳ３１０に進む。
【０１６６】
ステップＳ３１０において、パッチ配置部１５１は、配置したパッチについて、パッチ配置情報を生成する。
【０１６７】
ステップＳ３１１において、パッチ配置部１５１は、配置したパッチについて、反転・回転パラメータを設定する。
【０１６８】
ステップＳ３１２において、パッチ配置部１５１は、パッチを配置したフレーム画像についてのフレーム構成情報を設定する。
【０１６９】
ステップＳ３１３において、OMap生成部１５３は、オキュパンシーマップを生成する。
【０１７０】
ステップＳ３１４において、Dilation処理部１５４は、位置情報のパッチが配置された２次元画像や属性情報のパッチが配置された２次元画像に対してDilation処理を行う。
【０１７１】
ステップＳ３１４の処理が終了するとパッキング処理が終了し、処理は図１０に戻る。
【０１７２】
＜最適フレーム探索処理の流れ＞
次に、図１８のフローチャートを参照して、図１７のステップＳ３０３において実行される最適フレーム探索処理の流れの例を説明する。
【０１７３】
最適フレーム探索処理が開始されると、最適化処理部１５２は、ステップＳ３３１において、配置可能なフレーム画像の中の新たなフレーム画像にカレントパッチを仮配置する。
【０１７４】
ステップＳ３３２において、最適化処理部１５２は、カレントパッチを配置したフレーム画像と異なる、パッチが既に配置されている各フレーム画像を参照フレームとして、それぞれについて動き予測を行い、その予測結果を評価する。つまり、各参照フレームについてインター予測の結果を評価する。
【０１７５】
ステップＳ３３３において、最適化処理部１５２は、各参照フレームのインター予測結果の評価の内、その中で最適な評価結果を保持する。
【０１７６】
ステップＳ３３４において、最適化処理部１５２は、配置可能な全てのフレームについて評価を行ったか否かを判定する。仮配置していない未処理のフレームが存在すると判定された場合、処理はステップＳ３３１に戻り、それ以降の処理を繰り返す。つまり、配置可能な各フレーム画像について、ステップＳ３３１乃至ステップＳ３３４の各処理が実行される。そして、ステップＳ３３４において、配置可能な全てのフレーム画像について評価を行った（仮配置したフレーム画像毎の最適な評価結果を取得した）と判定された場合、処理はステップＳ３３５に進む。
【０１７７】
ステップＳ３３５において、最適化処理部１５２は、以上のように求めた評価結果に基づいて、最適な位置を設定する。例えば、最適化処理部１５２は、保持している評価結果の中で、予測精度が最も高いフレーム画像を、最適なフレーム画像として設定する。
【０１７８】
ステップＳ３３５の処理が終了すると最適フレーム探索処理が終了し、処理は図１７に戻る。
【０１７９】
以上のように各処理を実行することにより、符号化装置１００は、予測の結果の評価に基づいてフレーム画像に配置してパッキングすることができる。したがって、予測精度を向上させるようにパッチを配置することができる。したがって、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０１８０】
＜復号処理の流れ＞
次に、この場合の復号処理の流れの例を、図１９のフローチャートを参照して説明する。
【０１８１】
復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ４０１において、ビットストリームを逆多重化する。
【０１８２】
ステップＳ４０２において、補助パッチ情報復号部２１２は、ステップＳ４０１においてビットストリームから抽出された補助パッチ情報を復号する。
【０１８３】
ステップＳ４０３において、ビデオ復号部２１３は、ステップＳ４０１においてビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。
【０１８４】
ステップＳ４０４において、ビデオ復号部２１４は、ステップＳ４０１においてビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。
【０１８５】
ステップＳ４０５において、OMap復号部２１５は、ステップＳ４０１においてビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。
【０１８６】
ステップＳ４０６において、アンパッキング部２１６は、ステップＳ４０１においてビットストリームから抽出されたパッキングに関する制御情報（パッチ配置情報、反転・回転パラメータ、およびフレーム構成情報を含む）に基づいて、ジオメトリビデオフレームやカラービデオフレームをアンパッキングし、パッチを抽出する。
【０１８７】
ステップＳ４０７において、３Ｄ再構築部２１７は、ステップＳ４０２において得られた補助パッチ情報と、ステップＳ４０６において得られたパッチ等とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。
【０１８８】
ステップＳ４０７の処理が終了すると復号処理が終了する。
【０１８９】
以上のように復号処理を行うことにより、復号装置２００は、パッチ配置情報に基づいて、予測の結果の評価に基づいてパッチが配置されてパッキングされたフレーム画像の符号化データを正しく復号することができる。したがって、予測精度の向上を実現させることができる。したがって、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０１９０】
＜４．第３の実施の形態＞
＜イントラ予測とインター予測＞
次に、イントラ予測結果の評価が最適となる位置とインター予測結果の評価が最適となるフレーム画像との両方を探索し、それらの内の最適な方を選択し、選択したフレーム画像または位置にパッチを配置する場合について説明する。
【０１９１】
その場合も、符号化装置１００および復号装置２００の構成は、第２の実施の形態の場合と同様である。
【０１９２】
また、この場合の符号化処理の流れは、第１の実施の形態の場合（図１０）と同様である。また、この場合の復号処理の流れは、第２の実施の形態の場合（図１９）と同様である。
【０１９３】
＜パッキング処理の流れ＞
図２０のフローチャートを参照して、この場合のパッキング処理の流れの例を説明する。
【０１９４】
パッキング処理が開始されると、パッチ配置部１５１は、ステップＳ５０１において、未処理のパッチを処理対象（カレントパッチ）として選択する。
【０１９５】
ステップＳ５０２において、パッチ配置部１２４は、２次元画像上において、そのカレントパッチを配置可能なフレームと位置を特定する。
【０１９６】
ステップＳ５０３において、最適化処理部１５２は、そのカレントパッチを配置するのに最適なフレームと位置を探索する。探索が終了すると処理はステップＳ５０４に進む。
【０１９７】
ステップＳ５０４において、パッチ配置部１５１は、全ての反転方向についてカレントパッチを反転させた状態で探索したか否かを判定する。未処理の反転方向が存在すると判定された場合、処理はステップＳ５０５に進む。
【０１９８】
ステップＳ５０５において、パッチ配置部１５１は、未処理の反転方向にパッチを反転させる。ステップＳ５０５の処理が終了すると処理はステップＳ５０２に戻り、それ以降の処理を繰り返す。つまり、各反転方向について、ステップＳ５０２乃至ステップＳ５０５の処理が実行される。そして、ステップＳ５０４において、全ての反転状態で探索を行ったと判定された場合、処理はステップＳ５０６に進む。
【０１９９】
ステップＳ５０６において、パッチ配置部１５１は、全ての回転角度でカレントパッチを回転させた状態で探索を行ったか否かを判定する。未処理の回転角度が存在すると判定された場合、処理はステップＳ５０７に進む。
【０２００】
ステップＳ５０７において、パッチ配置部１５１は、未処理の回転角度でパッチを回転させる。ステップＳ５０７の処理が終了すると処理はステップＳ５０２に戻り、それ以降の処理を繰り返す。つまり、各回転角度について、ステップＳ５０２乃至ステップＳ５０７の処理が実行される。そして、ステップＳ５０６において、全ての回転状態で探索を行ったと判定された場合、処理はステップＳ５０８に進む。
【０２０１】
ステップＳ５０８において、パッチ配置部１５１は、ステップＳ３０３において探索された最適なフレーム画像または最適な位置にカレントパッチを配置する。
【０２０２】
ステップＳ５０９において、パッチ配置部１５１は、全てのパッチを２次元画像上に配置したか否かを判定する。未処理のパッチが存在すると判定された場合、処理はステップＳ５０１に戻り、それ以降の処理が実行される。つまり、各パッチについて、ステップＳ５０１乃至ステップＳ５０９の処理が実行される。そして、ステップＳ５０９において、全てのパッチを配置したと判定された場合、処理はステップＳ５１０に進む。
【０２０３】
ステップＳ５１０において、パッチ配置部１５１は、配置したパッチについて、パッチ配置情報を生成する。
【０２０４】
ステップＳ５１１において、パッチ配置部１５１は、配置したパッチについて、反転・回転パラメータを設定する。
【０２０５】
ステップＳ５１２において、パッチ配置部１５１は、パッチを配置したフレーム画像についてのフレーム構成情報を設定する。
【０２０６】
ステップＳ５１３において、OMap生成部１５３は、オキュパンシーマップを生成する。
【０２０７】
ステップＳ５１４において、Dilation処理部１５４は、位置情報のパッチが配置された２次元画像や属性情報のパッチが配置された２次元画像に対してDilation処理を行う。
【０２０８】
ステップＳ５１４の処理が終了するとパッキング処理が終了し、処理は図１０に戻る。
【０２０９】
＜最適フレーム位置探索処理の流れ＞
次に、図２１のフローチャートを参照して、図２０のステップＳ５０３において実行される最適フレーム位置探索処理の流れの例を説明する。
【０２１０】
最適フレーム位置探索処理が開始されると、最適化処理部１５２は、ステップＳ５３１において、最適位置探索処理（図１２）を実行し、最適な位置を探索する。
【０２１１】
ステップＳ５３２において、最適化処理部１５２は、最適フレーム探索処理（図１８）を実行し、最適なフレーム画像を探索する。
【０２１２】
ステップＳ５３３において、最適化処理部１５２は、ステップＳ５３１の探索結果とステップＳ５３２の探索結果とを比較し、最適な位置または最適なフレームを設定する。
【０２１３】
ステップＳ５３３の処理が終了すると、最適フレーム位置探索処理が終了し、処理は図２０に戻る。
【０２１４】
以上のように各処理を実行することにより、符号化装置１００は、予測の結果の評価に基づいてフレーム画像に配置してパッキングすることができる。したがって、予測精度を向上させるようにパッチを配置することができる。したがって、２Ｄ動画コーデックの符号化効率を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０２１５】
＜５．付記＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
【０２１６】
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０２１７】
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２１８】
図２２に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【０２１９】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【０２２０】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【０２２１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２２２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
【０２２３】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
【０２２４】
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【０２２５】
＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
【０２２６】
また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。
【０２２７】
例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
【０２２８】
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
【０２２９】
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
【０２３０】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２３１】
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【０２３２】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【０２３３】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０２３４】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０２３５】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３６】
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２３７】
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０２３８】
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０２３９】
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２４０】
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０２４１】
なお、本技術は以下のような構成も取ることができる。
（１）  ３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、前記３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングするパッキング部と、
前記パッキング部により前記パッチが配置されてパッキングされた前記フレーム画像を、前記予測を用いて符号化する符号化部と
を備える画像処理装置。
（２）  前記パッキング部は、イントラ予測の結果の評価に基づいて、前記パッチを前記フレーム画像に配置する
（１）に記載の画像処理装置。
（３）  前記パッキング部は、前記フレーム画像の、前記イントラ予測の結果の評価が最適となる位置に、前記パッチを配置する
（２）に記載の画像処理装置。
（４）  前記パッキング部は、前記イントラ予測の結果の評価が最適となる位置を探索し、探索した位置に前記パッチを配置する
（３）に記載の画像処理装置。
（５）  前記パッキング部は、カレントパッチと周辺パッチとの対抗面の画素値の差分を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
（４）に記載の画像処理装置。
（６）  前記パッキング部は、前記イントラ予測の全モードの結果を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
（４）に記載の画像処理装置。
（７）  前記パッキング部は、前記イントラ予測の、Dilation処理の方向と同方向のモードの結果を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
（４）に記載の画像処理装置。
（８）  前記パッキング部は、前記イントラ予測の、Dilation処理の方向と同方向のモードの内の所定のモードの結果を評価して、前記イントラ予測の結果の評価が最適となる位置を探索する
（４）に記載の画像処理装置。
（９）  前記パッキング部は、前記パッチを回転させた状態で、前記イントラ予測の結果の評価が最適となる位置を探索する
（４）に記載の画像処理装置。
（１０）  前記パッキング部は、前記パッチを反転させた状態で、前記イントラ予測の結果の評価が最適となる位置を探索する
（４）に記載の画像処理装置。
（１１）  前記パッキング部により配置された前記パッチの位置を示すパッチ配置情報と、前記符号化部により生成される前記フレーム画像の符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（２）に記載の画像処理装置。
（１２）  前記パッキング部は、インター予測結果の評価に基づいて、前記パッチを前記フレーム画像に配置する
（１）に記載の画像処理装置。
（１３）  前記パッキング部は、前記インター予測結果の評価が最適となるフレーム画像に、前記パッチを配置する
（１２）に記載の画像処理装置。
（１４）  前記パッキング部は、前記インター予測結果の評価が最適となるフレーム画像を探索し、探索した前記フレーム画像に前記パッチを配置する
（１３）に記載の画像処理装置。
（１５）  前記パッキング部は、前記パッチを回転させた状態で、前記インター予測結果の評価が最適となるフレーム画像を探索する
（１４）に記載の画像処理装置。
（１６）  前記パッキング部は、前記パッチを反転させた状態で、前記インター予測結果の評価が最適となるフレーム画像を探索する
（１４）に記載の画像処理装置。
（１７）  前記パッキング部により前記パッチが配置されたフレーム画像の構成を示すフレーム構成情報と、前記符号化部により生成される前記フレーム画像の符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
（１２）に記載の画像処理装置。
（１８）  ３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチを、前記３Ｄデータの符号化において行う予測の結果の評価に基づいてフレーム画像に配置してパッキングし、
前記パッチが配置されてパッキングされた前記フレーム画像を、前記予測を用いて符号化する
画像処理方法。
【０２４２】
（１９）  ３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが前記３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号する復号部と、
前記復号部により生成された前記フレーム画像を、前記パッチの位置を示すパッチ配置情報に基づいてアンパッキングするアンパッキング部と
を備える画像処理装置。
（２０）  ３次元構造を表す３Ｄデータを２次元平面に投影した画像であるパッチが前記３Ｄデータの符号化において行われる予測の結果の評価に基づいて配置されてパッキングされたフレーム画像の符号化データを復号し、
生成された前記フレーム画像を、前記パッチの位置を示すパッチ配置情報に基づいてアンパッキングする
画像処理方法。
【符号の説明】
【０２４３】
１００  符号化装置，  １１１  パッチ分解部，  １１２  パッキング部，  １１３  補助パッチ情報圧縮部，  １１４  ビデオ符号化部，  １１５  ビデオ符号化部，  １１６  OMap符号化部，  １１７  マルチプレクサ，  １５１  パッチ配置部，  １５２  最適化処理部，  １５３  OMap生成部，  １５４  Dilation処理部，  ２００  復号装置，  ２１１  デマルチプレクサ，  ２１２  補助パッチ情報復号部，  ２１３  ビデオ復号部，  ２１４  ビデオ復号部，  ２１５  OMap復号部，  ２１６  アンパッキング部，  ２１７  ３Ｄ再構築部
【図１】
2019198522.tif 000003
【図２】
2019198522.tif 000004
【図３】
2019198522.tif 000005
【図４】
2019198522.tif 000006
【図５】
2019198522.tif 000007
【図６】
2019198522.tif 000008
【図７】
2019198522.tif 000009
【図８】
2019198522.tif 000010
【図９】
2019198522.tif 000011
【図１０】
2019198522.tif 000012
【図１１】
2019198522.tif 000013
【図１２】
2019198522.tif 000014
【図１３】
2019198522.tif 000015
【図１４】
2019198522.tif 000016
【図１５】
2019198522.tif 000017
【図１６】
2019198522.tif 000018
【図１７】
2019198522.tif 000019
【図１８】
2019198522.tif 000020
【図１９】
2019198522.tif 000021
【図２０】
2019198522.tif 000022
【図２１】
2019198522.tif 000023
【図２２】
2019198522.tif 000024
【国際調査報告】
2019198522.tif 000025
2019198522.tif 000026