(57)【要約】  本開示は、３Ｄデータの符号化・復号の負荷の増大を抑制することができるようにする情報処理装置および方法に関する。３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する。また、３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析し、その解析されたセパレータに含まれる情報に基づいて、そのビットストリームを分割ビットストリーム毎に分割して復号する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。
2019078000.tif 000002
【特許請求の範囲】
【請求項１】
３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する符号化部
を備える情報処理装置。
【請求項２】
前記セパレータは、ユニークなビットパタンを有し、自身の位置により前記分割ビットストリームの繋ぎ目の位置を示し、
前記符号化部は、前記複数の分割ビットストリームのそれぞれを、前記セパレータを挟むように直列に接続することにより、前記セパレータを各分割ビットストリームの繋ぎ目に配置するように構成される
請求項１に記載の情報処理装置。
【請求項３】
前記セパレータは、自身に対応する分割ビットストリームに関する情報をさらに含む
請求項２に記載の情報処理装置。
【請求項４】
前記分割ビットストリームに関する情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の位置を示す位置情報を含む
請求項３に記載の情報処理装置。
【請求項５】
前記セパレータを生成する生成部をさらに備え、
前記符号化部は、前記生成部により生成された前記セパレータを、各分割ビットストリームの繋ぎ目に配置するように構成される
請求項２に記載の情報処理装置。
【請求項６】
前記符号化部は、前記３Ｄデータを２次元構造を表す２Ｄデータに変換し、前記２Ｄデータを前記２次元構造に基づいて分割して符号化することにより、前記複数の分割ビットストリームを生成する
請求項１に記載の情報処理装置。
【請求項７】
前記符号化部は、前記３Ｄデータを前記３次元構造に基づいて分割し、得られた複数の分割３Ｄデータのそれぞれを２次元構造を表す分割２Ｄデータに変換し、得られた複数の前記分割２Ｄデータのそれぞれを符号化することにより、前記複数の分割ビットストリームを生成する
請求項１に記載の情報処理装置。
【請求項８】
前記符号化部は、前記３Ｄデータを、ポイントクラウドの各ポイントの位置を示すジオメトリデータと、前記ポイントクラウドの各ポイントの属性情報を示すアトリビュートデータとに分割して符号化し、前記複数の分割ビットストリームを生成する
請求項１に記載の情報処理装置。
【請求項９】
前記符号化部は、前記３Ｄデータを解像度に応じて分割して符号化し、前記複数の分割ビットストリームを生成する
請求項１に記載の情報処理装置。
【請求項１０】
３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する
情報処理方法。
【請求項１１】
３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析する解析部と、
前記解析部により解析された前記セパレータに含まれる情報に基づいて、前記ビットストリームを分割ビットストリーム毎に分割して復号する復号部と
を備える情報処理装置。
【請求項１２】
前記セパレータは、ユニークなビットパタンを有し、自身の位置により前記位置を示し、
前記解析部は、前記ビットパタンを検出することにより前記セパレータを検出し、
前記復号部は、前記解析部により検出された前記セパレータの位置において前記ビットストリームを分割するように構成される
請求項１１に記載の情報処理装置。
【請求項１３】
前記セパレータは、自身に対応する分割ビットストリームに関する情報をさらに含み、
前記解析部は、前記セパレータを解析して前記分割ビットストリームに関する情報を得るように構成される
請求項１２に記載の情報処理装置。
【請求項１４】
前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記分割ビットストリームに関する情報に基づいて合成する合成部をさらに備える
請求項１３に記載の情報処理装置。
【請求項１５】
前記分割ビットストリームに関する情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の位置を示す位置情報を含み、
前記合成部は、前記複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記位置情報に基づいて合成する
請求項１４に記載の情報処理装置。
【請求項１６】
前記位置情報は、前記３Ｄデータの３次元構造における前記分割ビットストリームに対応する部分の位置を、２次元構造において示す情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる、２次元構造を表す複数の分割２Ｄデータを、前記解析部により前記セパレータが解析されて得られた前記位置情報に基づいて合成する
請求項１５に記載の情報処理装置。
【請求項１７】
前記位置情報は、前記３Ｄデータの３次元構造における前記分割ビットストリームに対応する部分の位置を、前記３次元構造において示す情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割３Ｄデータを、前記解析部により前記セパレータが解析されて得られた前記位置情報に基づいて合成する
請求項１５に記載の情報処理装置。
【請求項１８】
前記分割ビットストリームに関する情報は、前記分割ビットストリームの属性に関する情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる、ポイントクラウドの各ポイントの位置を示すジオメトリデータと、前記ポイントクラウドの各ポイントの属性情報を示すアトリビュートデータとを、前記解析部により前記セパレータが解析されて得られた前記属性に関する情報に基づいて合成する
請求項１４に記載の情報処理装置。
【請求項１９】
前記分割ビットストリームに関する情報は、前記分割ビットストリームに対応する解像度に関する情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記解像度に関する情報に基づいて合成する
請求項１４に記載の情報処理装置。
【請求項２０】
３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析し、
解析された前記セパレータに含まれる情報に基づいて、前記ビットストリームを分割ビットストリーム毎に分割して復号する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および方法に関し、特に、３Ｄデータの符号化・復号の負荷の増大を抑制することができるようにした情報処理装置および方法に関する。
【背景技術】
【０００２】
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドデータを、既存の２次元画像用のコーデック（Codec）を利用して符号化・復号する方法が検討されていた（例えば非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Samsung Research America, "OMAF: Point cloud video track", INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11 MPEG2017/m41206, July 2017, Torino, Italy
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的に、ポイントクラウドデータのような３Ｄデータは、例えば画像データのような２次元構造を表す２Ｄデータに比べてデータ量が大きい。そのため、ポイントクラウドデータの符号化・復号は、２Ｄデータの場合に比べて負荷が増大する可能性が高い。そのため、JPEG（Joint Photographic Experts Group）やHEVC（High Efficiency Video Coding）等のような既存の規格の２次元画像用のコーデックを用いて、ポイントクラウドデータの符号化・復号を実現することは困難であった。【０００５】
本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの符号化・復号の負荷の増大を抑制することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の情報処理装置は、３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する符号化部を備える情報処理装置である。【０００７】
本技術の一側面の情報処理方法は、３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する情報処理方法である。【０００８】
本技術の他の側面の情報処理装置は、３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析する解析部と、前記解析部により解析された前記セパレータに含まれる情報に基づいて、前記ビットストリームを分割ビットストリーム毎に分割して復号する復号部とを備える情報処理装置である。【０００９】
本技術の他の側面の情報処理方法は、３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析し、解析された前記セパレータに含まれる情報に基づいて、前記ビットストリームを分割ビットストリーム毎に分割して復号する情報処理方法である。【００１０】
本技術の一側面の情報処理装置および方法においては、３次元構造を表す３Ｄデータが複数に分割されて符号化され、得られた複数の分割ビットストリームが多重化され、その分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームが生成される。【００１１】
本技術の他の側面の情報処理装置および方法においては、３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、その分割ビットストリームの繋ぎ目の位置を示すセパレータが解析され、その解析されたセパレータに含まれる情報に基づいて、そのビットストリームが分割ビットストリーム毎に分割されて復号される。
【発明の効果】
【００１２】
本開示によれば、情報を処理することができる。特に、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】ポイントクラウドの例を説明する図である。
【図２】従来の符号化・復号の例について説明する図である。
【図３】ビットストリームの主な構成例を示す図である。
【図４】セパレータに記述する内容の例を示す図である。
【図５】分割の仕方の例を示す図である。
【図６】符号化装置の主な構成例を示すブロック図である。
【図７】符号化の概要の例を説明する図である。
【図８】符号化部の主な構成例を示すブロック図である。
【図９】符号化処理の流れの例を説明するフローチャートである。
【図１０】信号列符号化処理の流れの例を説明するフローチャートである。
【図１１】復号装置の主な構成例を示すブロック図である。
【図１２】復号部の主な構成例を示すブロック図である。
【図１３】復号処理の流れの例を説明するフローチャートである。
【図１４】ビットストリーム復号処理の流れの例を説明するフローチャートである。
【図１５】符号化部の主な構成例を示すブロック図である。
【図１６】信号列符号化処理の流れの例を説明するフローチャートである。
【図１７】復号部の主な構成例を示すブロック図である。
【図１８】ビットストリーム復号処理の流れの例を説明するフローチャートである。
【図１９】符号化部の主な構成例を示すブロック図である。
【図２０】信号列符号化処理の流れの例を説明するフローチャートである。
【図２１】復号部の主な構成例を示すブロック図である。
【図２２】ビットストリーム復号処理の流れの例を説明するフローチャートである。
【図２３】符号化部の主な構成例を示すブロック図である。
【図２４】信号列符号化処理の流れの例を説明するフローチャートである。
【図２５】復号部の主な構成例を示すブロック図である。
【図２６】ビットストリーム復号処理の流れの例を説明するフローチャートである。
【図２７】符号化部の主な構成例を示すブロック図である。
【図２８】信号列符号化処理の流れの例を説明するフローチャートである。
【図２９】信号列符号化処理の流れの例を説明する、図２８に続くフローチャートである。
【図３０】復号部の主な構成例を示すブロック図である。
【図３１】ビットストリーム復号処理の流れの例を説明するフローチャートである。
【図３２】ビットストリーム復号処理の流れの例を説明する、図３１に続くフローチャートである。
【図３３】符号化部の主な構成例を示すブロック図である。
【図３４】信号列符号化処理の流れの例を説明するフローチャートである。
【図３５】復号部の主な構成例を示すブロック図である。
【図３６】ビットストリーム復号処理の流れの例を説明するフローチャートである。
【図３７】符号化部の主な構成例を示すブロック図である。
【図３８】テクスチャデータの分割の例を説明するための図である。
【図３９】信号列符号化処理の流れの例を説明するフローチャートである。
【図４０】復号部の主な構成例を示すブロック図である。
【図４１】ビットストリーム復号処理の流れの例を説明するフローチャートである。
【図４２】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．３Ｄデータの符号化・復号
２．第１の実施の形態（空間領域の分割）
３．第２の実施の形態（属性情報の分割）
４．第３の実施の形態（解像度の分割）
５．第４の実施の形態（時間方向の分割）
６．第５の実施の形態（Meshデータの分割）
７．その他
【００１５】
＜１．３Ｄデータの符号化・復号＞
＜ポイントクラウド＞
従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。
【００１６】
例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点（ポイントデータ）の集合（点群）として表現する。つまり、ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
【００１７】
＜ポイントクラウドの符号化・復号＞
しかしながら、このようなポイントクラウドやメッシュ等のデータはそのデータ量が比較的大きいので、符号化等によるデータ量の圧縮が求められている。例えば、非特許文献１においては、ポイントクラウドデータを、既存の２次元画像用のコーデック（Codec）を利用して符号化・復号する方法が検討された。
【００１８】
例えば、図２のＡに示される符号化装置１０の場合、３次元構造を表す３Ｄデータであるポイントクラウドデータの信号列が入力される。ポイントクラウドデータは、例えば座標（x,y,z）と色情報（r,g,b）で示されるポイントの集合である。２Ｄマッピング部１１は、このポイントクラウドデータの各ポイントを、２次元空間上にマッピングし、２次元構造を表す２Ｄデータである２Ｄ画像データを生成する。２Ｄ画像データでは、各画素について色情報（r,g,b）が示される。
【００１９】
色フォーマット変換部１２は、２Ｄ画像データの色フォーマットをRGBフォーマットからカラーサンプリングのタイプが4:2:0のYUVフォーマットに変換する。つまり、フォーマット変換後の２Ｄ画像データでは、各画素について色情報（y,u,v）が示される。
【００２０】
２Ｄ画像符号化部１３は、その２Ｄ画像データを、JPEG（Joint Photographic Experts Group）やHEVC（High Efficiency Video Coding）等のような既存の規格の符号化方式で符号化し、ビットストリームを生成する。
【００２１】
例えば、図２のＢに示される復号装置２０の場合、そのビットストリームが入力される。２Ｄ画像復号部２１は、そのビットストリームを、２Ｄ画像符号化部１３の符号化方式に対応する復号方式により、すなわち、JPEGやHEVC等のような既存の規格の復号方式により復号し、２Ｄ画像データを生成する。この２Ｄ画像データでは、各画素について色情報（y,u,v）が示される。
【００２２】
色フォーマット逆変換部２２は、その２Ｄ画像データの色フォーマットをYUVフォーマットからRGBフォーマットに変換する。つまり、フォーマット変換後の２Ｄ画像データでは、各画素について色情報（r,g,b）が示される。
【００２３】
３Ｄマッピング部２３は、この２Ｄ画像データの各画素を３次元空間上にマッピングし、ポイントクラウドデータの信号列を生成する。つまりこのポイントクラウドデータは、各ポイントについて座標（x,y,z）と色情報（r,g,b）が示される。
【００２４】
以上のように、ポイントクラウドの各ポイントを２次元にマッピングすることで既存の２次元画像用のコーデックを用いた符号化・復号が理論上可能になる。既存の２次元画像用のコーデックを利用することにより、開発が容易になり、コストの増大を抑制することができる。
【００２５】
しかしながら、一般的に、３Ｄデータは、次元が増大する為、２Ｄデータに比べてデータ量が大きい。そのため、３Ｄデータの符号化や復号は、２Ｄデータの場合に比べて負荷が増大する可能性が高く、実際には既存の２次元画像用のコーデックを用いた符号化や復号の実現は困難であった。
【００２６】
例えば、１００Ｍ（メガ）個のポイントからなるポイントクラウドデータを２次元空間にマッピングした場合、その画素数は、４Ｋ画像（約８Ｍ（メガ）ピクセル）の１０倍以上となる。
【００２７】
このように処理対象のデータ量が増大すると、コーデック規格上の制約に反するおそれがある。例えば、画枠（画像サイズ）が規格の画枠設定の上限を超えてしまうおそれがある。このように規格の制約に反すると、符号化・復号を行うことができず、ビットストリームを生成することができなかった。
【００２８】
また、仮に規格の制約を無視して符号化や復号を行うことができるようにしたとしても、処理対象のデータ量の増大に伴い負荷が増大するため、現実的な処理量で符号化や復号を行うことは困難であった。
【００２９】
また、仮に、既存の２次元画像用のコーデックを用いずに、３Ｄデータ用のコーデックを開発し、それを用いて符号化や復号を行うとしても、処理対象のデータ量の増大に伴い負荷が増大することは変わらない。
【００３０】
つまり、３Ｄデータの符号化・復号を実現する為に、その負荷の増大を抑制することが求められていた。
【００３１】
＜セパレータを含むビットストリーム＞
そこで、符号化においては、３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、その分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成するようにする。
【００３２】
例えば、情報処理装置において、３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する符号化部を備えるようにする。
【００３３】
このように３Ｄデータを複数に分割して符号化することにより、符号化の負荷の増大を抑制し、処理量を現実的なレベルに抑制することができる。したがって、既存の２次元画像用のコーデックを用いた符号化を実現することができる。これにより、３Ｄデータの符号化を行う装置やシステムの開発をより容易にすることができる。
【００３４】
また、セパレータを用いることにより、復号の際に、分割ビットストリーム同士の繋ぎ目の位置をより容易に把握することができる。つまり、ビットストリームの分割ビットストリーム毎の分割をより容易に実現することができる。したがって、既存の２次元画像用のコーデックを用いた復号をより容易に実現することができる。
【００３５】
また、復号においては、３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析し、その解析されたセパレータに含まれる情報に基づいて、そのビットストリームを分割ビットストリーム毎に分割して復号するようにする。
【００３６】
例えば、情報処理装置において、３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析する解析部と、その解析部により解析されたセパレータに含まれる情報に基づいて、そのビットストリームを分割ビットストリーム毎に分割して復号する復号部とを備えるようにする。
【００３７】
このように３Ｄデータのビットストリームを複数に分割して復号することにより、復号の負荷の増大を抑制し、処理量を現実的なレベルに抑制することができる。したがって、既存の２次元画像用のコーデックを用いた復号を実現することができる。これにより、３Ｄデータのビットストリームの復号を行う装置やシステムの開発をより容易にすることができる。
【００３８】
また、復号の際に、セパレータを解析することにより、分割ビットストリーム同士の繋ぎ目の位置を、そのセパレータの情報から、より容易に把握することができる。つまり、ビットストリームの分割ビットストリーム毎の分割をより容易に実現することができる。したがって、既存の２次元画像用のコーデックを用いた復号をより容易に実現することができる。
【００３９】
また以上のように、ビットストリームを複数の分割ビットストリームに分割可能な構成とすることにより、分割ビットストリームのデータサイズを制御することにより、ビットストリームを任意のデータサイズに分割することができるようになる。したがって、例えばビットストリームを、MTU（Maximum Transmission Unit）サイズに応じたデータサイズで分割するようなことも可能になる。このようにすることにより、ネットワーク伝送やレート制御をより容易に行うことができる。
【００４０】
また、上述のように、３Ｄデータを分割して符号化し、得られたビットストリームを分割して復号するため、ビットストリームの一部を復号する部分デコードを容易に実現することができる。また、分割ビットストリーム毎にパラメータを制御することができるため、所望のパラメータについてスケーラブルな復号を実現することができる。例えば、分割ビットストリーム毎に解像度を変える（解像度毎にビットストリームを分割する）ことにより、どの分割ビットストリームを復号するかによって復号結果の解像度を制御することができる。つまり、解像度についてのスケーラブルな復号を実現することができる。
【００４１】
なお、セパレータには、そのセパレータ自身に対応する分割ビットストリームの情報を含めるようにしてもよい。このようにすることにより、復号の際に、分割ビットストリームに含まれる情報や、各分割ビットストリームの処理方法等を、より容易に把握することができる。したがって、このセパレータに含まれる情報によって、どの分割ビットストリームを復号すればよいかを把握することができるので、上述の部分デコードやスケーラブルな復号において、容易に適切な分割ビットストリームを選択し、復号することができる。つまり、上述の部分デコードやスケーラブルな復号をより容易に実現することができる。
【００４２】
また、このセパレータに含まれる情報によって、より容易に、各分割ビットストリームを復号したデータを正しく合成することができる。したがって、各分割ビットストリームの伝送順や復号順の制約が抑制され、より自由な順序で、伝送や復号を行うことができる。例えばこれらの処理の並列化をより容易に実現することができる。
【００４３】
＜セパレータ＞
このセパレータは、どのような情報を含むようにしてもよいが、例えば、ユニークなビットパタンを有するようにしてもよい。ユニークなビットパタンを設けることにより、復号の際に、ビットストリーム中に含まれるセパレータの検出がより容易になる。
【００４４】
また、セパレータ自身の位置により分割ビットストリームの繋ぎ目の位置を示すようにしてもよい。つまり、符号化の際に、複数の分割ビットストリームのそれぞれを、セパレータを挟むように直列に接続することにより、セパレータを各分割ビットストリームの繋ぎ目に配置するようにしてもよい。このようにすることにより、復号の際に、ビットストリームを分割する位置をより容易に把握することができる。
【００４５】
換言するに、復号の際に、セパレータが示す位置においてビットストリームを分割するようにしてもよい。より具体的には、例えば、セパレータが自身の位置によりビットストリームを分割する位置を示し、復号の際には、ビットストリームに含まれるセパレータを検出し、その検出されたセパレータの位置においてビットストリームを分割するようにしてもよい。このようにすることにより、セパレータを検出するだけで、分割ビットストリームの繋ぎ目の位置、すなわち、ビットストリームを分割する位置をより容易に把握することができる。つまり、より容易に、ビットストリームを分割ビットストリーム毎に分割して復号することができる。
【００４６】
なお、上述したように、このセパレータが、ユニークなビットパタンを有するようにしてもよい。このようにすることにより、復号の際のセパレータの検出をより容易化することができる。
【００４７】
＜セパレータの配置＞
図３は、上述のセパレータを有するビットストリームの主な構成例を示す図である。例えば、図３の一番上の段に示されるように、ビットストリーム１００は、ヘッダ１０１とそのヘッダ１０１に対応するデータ１０２とにより構成される。
【００４８】
このデータ１０２は、例えば、解像度毎に分割されて符号化されている。つまり、図３の上から２段目に示されるように、データ１０２は、互いに直列に接続された、ヘッダ１１１、セパレータ１１２、データ（解像度１）１１３、セパレータ１１４、データ（解像度２）１１５、セパレータ１１６、およびデータ（解像度３）１１７により構成される。
【００４９】
セパレータ１１２は、データ（解像度１）１１３に対応し、データ（解像度１）１１３の前方（図中左側）に接続される。つまり、ヘッダ１１１とデータ（解像度１）１１３とがセパレータ１１２を挟むように直列に接続される。セパレータ１１４は、データ（解像度２）１１５に対応し、データ（解像度１）１１３とデータ（解像度２）１１５との間（繋ぎ目）に配置される。つまり、データ（解像度１）１１３とデータ（解像度２）１１５とがセパレータ１１４を挟むように直列に接続される。セパレータ１１６は、データ（解像度３）１１７に対応し、データ（解像度２）１１５とデータ（解像度３）１１７との間（繋ぎ目）に配置される。つまり、データ（解像度２）１１５とデータ（解像度３）１１７とがセパレータ１１６を挟むように直列に接続される。
【００５０】
つまり、データ１０２（ビットストリーム）は、解像度毎に、データ（解像度１）１１３、データ（解像度２）１１５、およびデータ（解像度３）１１７（つまり３つの分割ビットストリーム）に分割され、それぞれの間にセパレータが配置されている（埋め込まれている）。
【００５１】
したがって、復号の際に、データ１０２においてこのセパレータを検出し、その位置においてデータ１０２を分割することにより、より容易に、ビットストリームを分割ストリーム毎に分割することができる。
【００５２】
なお、図３においては、データ１０２が解像度に基づいて分割される例が示されているが、データ１０２は任意のパラメータに基づいて分割されるようにしてもよい。また、その分割数は任意であり、図３に示される３分割以外であってもよい。
【００５３】
また、このような分割の構造は、階層化することができる。例えば、データ（解像度１）１１３が、図３の上から３段目に示されるように、互いに直列に接続された、ヘッダ１２１、セパレータ１２２、データ（部分領域１）１２３、セパレータ１２４、データ（部分領域２）１２５、セパレータ１２６、およびデータ（部分領域３）１２７により構成される。
【００５４】
セパレータ１２２は、データ（部分領域１）１２３に対応し、データ（部分領域１）１２３の前方（図中左側）に接続される。つまり、ヘッダ１２１とデータ（部分領域１）１２３とがセパレータ１２２を挟むように直列に接続される。セパレータ１２４は、データ（部分領域２）１２５に対応し、データ（部分領域１）１２３とデータ（部分領域２）１２５との間（繋ぎ目）に配置される。つまり、データ（部分領域１）１２３とデータ（部分領域２）１２５とがセパレータ１２４を挟むように直列に接続される。セパレータ１２６は、データ（部分領域３）１２７に対応し、データ（部分領域２）１２５とデータ（部分領域３）１２７との間（繋ぎ目）に配置される。つまり、データ（部分領域２）１２５とデータ（部分領域３）１２７とがセパレータ１２６を挟むように直列に接続される。
【００５５】
つまり、データ（解像度１）１１３（ビットストリーム）は、部分領域毎に、データ（部分領域１）１２３、データ（部分領域２）１２５、およびデータ（部分領域３）１２７（つまり３つの分割ビットストリーム）に分割され、それぞれの間にセパレータが配置されている（埋め込まれている）。
【００５６】
したがって、復号の際に、データ（解像度１）１１３においても、このセパレータを検出し、その位置において分割することにより、より容易に、ビットストリームを分割ストリーム毎に分割することができる。つまり、複数の階層においてビットストリームを分割することができる。つまり、より多様なパラメータに基づいてビットストリームを分割することができる。また、ビットストリームを、より容易に任意のデータサイズに分割することができる。
【００５７】
なお、図３においては、データ（解像度１）１１３が部分領域に基づいて分割される例が示されているが、データ（解像度１）１１３は任意のパラメータに基づいて分割されるようにしてもよい。また、その分割数は任意であり、例えば４分割以上や２分割以下のように、図３に示される３分割以外であってもよい。さらに、以上においては２段の階層構造の各階層にセパレータを配置する例を説明したが、ビットストリームに埋め込まれるセパレータの階層数は任意であり、図３の例に限定されない。つまり、２段目の各データ（データ（部分領域１）１２３、データ（部分領域２）１２５、データ（部分領域３）１２７）がさらに分割されるようにしてもよい。
【００５８】
なお、図３の上から４段目に示されるように、分割されないデータ（部分領域１）１２３は、ヘッダ１３１およびデータ１３２により構成される。つまり、セパレータが存在しない。データ（部分領域２）１２５およびデータ（部分領域３）１２７も、分割されない場合、このデータ（部分領域１）１２３と同様の構成を有する。
【００５９】
＜セパレータに記述される情報＞
このセパレータには任意の情報が格納されるようにしてもよい。例えば、図４に示される表の上から２段目に示されるように、ビットストリーム中においてユニークとなるビットパタン（例えばスタートコード）がセパレータに含まれるようにしてもよい。なお、もちろん、このユニークなビットパタンのビット数は任意である。
【００６０】
また、例えば、セパレータ自身に対応する分割ビットストリームに関する情報がそのセパレータに含まれるようにしてもよい。この分割ビットストリームに関する情報は任意である。例えば、この分割ビットストリームに関する情報として、図４に示される表に記載された各種情報が、セパレータに記述されるようにしてもよい。
【００６１】
例えば、この分割ビットストリームに関する情報が、３Ｄデータの３次元構造における、分割ビットストリームに対応する部分の位置を示す位置情報を含むようにしてもよい。例えば、その位置情報が、３Ｄデータの３次元構造における、分割ビットストリームに対応する部分の開始位置を示す情報を含むようにしてもよい。また、例えば、その位置情報が、３Ｄデータの３次元構造における、分割ビットストリームに対応する部分の範囲を示す情報をさらに含むようにしてもよい。つまり、例えば、分割ビットストリームに関する情報として、元のポイントクラウドと分割ビットストリームとの対応関係を示す位置情報がセパレータに含まれるようにしてもよい。
【００６２】
また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームの内容に関する情報を含むようにしてもよい。つまり、例えば、図４の上から５段目に示されるように、セパレータ自身が対応する分割ビットストリームの属性情報がそのセパレータに含まれるようにしてもよい。また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームに含まれる情報の種類に関する情報を含むようにしてもよい。
【００６３】
また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームに対応するフレームの時刻に関する情報（例えばPOC（Picture Order Count））を含むようにしてもよい。つまり、例えば、図４の上から６段目に示されるように、セパレータ自身が対応する分割ビットストリームに対応するフレームの時刻に関する情報がそのセパレータに含まれるようにしてもよい。
【００６４】
また、例えば、図４の上から７段目に示されるように、この分割ビットストリームに関する情報が、その分割ビットストリームのデータサイズ（ビットストリームサイズ）に関する情報を含むようにしてもよい。
【００６５】
また、例えば、図４の上から８段目に示されるように、この分割ビットストリームに関する情報が、その分割ビットストリームを生成する符号化に使用された符号化方法に関する情報を含むようにしてもよい。また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームの復号方法に関する情報を含むようにしてもよい。
【００６６】
また、例えば、図４の上から９段目に示されるように、この分割ビットストリームに関する情報が、その分割ビットストリームを生成する符号化において適用された予測方法に関する情報を含むようにしてもよい。また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームの復号において適用される予測方法に関する情報を含むようにしてもよい。
【００６７】
また、例えば、図４の上から１０段目に示されるように、この分割ビットストリームに関する情報が、その分割ビットストリームを生成する符号化における予測の参照先を示す情報を含むようにしてもよい。また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームの復号において行われる予測の参照先を示す情報を含むようにしてもよい。
【００６８】
また、例えば、図４の上から１１段目に示されるように、この分割ビットストリームに関する情報が、シーケンスレベルの情報を含むようにしてもよい。
【００６９】
例えば、図４の上から１２段目に示されるように、この分割ビットストリームに関する情報が、その分割ビットストリームに対応する解像度に関する情報を含むようにしてもよい。また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームの復号において行われる予測の参照先を示す情報を含むようにしてもよい。
【００７０】
また、例えば、図４の上から１３段目に示されるように、この分割ビットストリームに関する情報が、その分割ビットストリームを復号して得られるデータのカラーサンプリングのタイプ（例えば、4:4:4,4:2:2,4:2:0等）を示す情報を含むようにしてもよい。また、例えば、この分割ビットストリームに関する情報が、その分割ビットストリームを復号して得られるデータのカラーサンプリングのタイプを示す情報を含むようにしてもよい。
【００７１】
また、例えば、図４の一番下の段に示されるように、この分割ビットストリームに関する情報が、その分割ビットストリームを復号して得られるデータのビット幅を示す情報を含むようにしてもよい。
【００７２】
＜分割の仕方＞
ビットストリームをどのように分割するかは任意である。例えば、図５に示される表の一番上の行（項目名の行を除く）（左端の列が「１」の行）において、「分割の観点」の列に示されるように、空間領域を分割するように、３Ｄデータを分割して符号化するようにしてもよい。
【００７３】
その場合、「セパレータを入れる位置」の列に示されるように、２次元空間上で領域分割するようにしてもよいし、３次元空間上で領域分割するようにしてもよい。分割ビットストリームは、分割された領域毎のデータを符号化して生成される。つまり、セパレータは、分割された各領域に対応する分割ビットストリーム（サブビットストリームとも称する）の間に配置される。
【００７４】
例えば、「分割例」の列に示されるように、３つの領域（a,b,c）に分割する場合、ポイントの位置情報であるジオメトリデータ（G）について、セパレータ（|）は、領域aのジオメトリデータを符号化した分割ビットストリーム（G_a）、領域bのジオメトリデータを符号化した分割ビットストリーム（G_b）、および領域cのジオメトリデータを符号化した分割ビットストリーム（G_c）のそれぞれの間に配置される（G_a|G_b|G_c）。同様に、ポイントの属性情報であるアトリビュートデータ（A）について、セパレータ（|）は、領域aのアトリビュートデータを符号化した分割ビットストリーム（A_a）、領域bのアトリビュートデータを符号化した分割ビットストリーム（A_b）、および領域cのアトリビュートデータを符号化した分割ビットストリーム（A_c）のそれぞれの間に配置される（A_a|A_b|A_c）。
【００７５】
ビットストリームをこのような構成にすることにより、一部の領域の分割ビットストリームのみを復号することができる。つまり、部分デコードを実現することができる。
【００７６】
また、例えば、図５に示される表の上から２番目の行（項目名の行を除く）（左端の列が「２」の行）において、「分割の観点」の列に示されるように、位置情報と属性情報（つまり、ジオメトリデータとアトリビュートデータ）とを分割するように、３Ｄデータを分割して符号化するようにしてもよい。また、アトリビュートデータをさらに、色情報、法線情報、および透過度等のような属性毎に分割して符号化するようにしてもよい。
【００７７】
その場合、「セパレータを入れる位置」の列に示されるように、ジオメトリデータとアトリビュートデータとを分割する。さらに、アトリビュートデータを、例えば色、法線、透過度等の属性毎に分割するようにしてもよい。分割ビットストリームは、分割された属性毎のデータを符号化して生成される。つまり、セパレータは、分割された各属性（情報の種類毎）に対応する分割ビットストリームの間に配置される。
【００７８】
例えば、「分割例」の列に示されるように、ジオメトリデータとアトリビュートデータとを分割する場合、セパレータ（|）は、ジオメトリデータを符号化した分割ビットストリーム（G）と、アトリビュートデータを符号化した分割ビットストリーム（A）との間に配置される（G|A）。また、アトリビュートデータをさらに、色情報、法線情報、および透過度等のような属性毎に分割する場合、セパレータ（|）は、ジオメトリデータを符号化した分割ビットストリーム（G）、アトリビュートデータの色情報を符号化した分割ビットストリーム（C）、法線情報を符号化した分割ビットストリーム（N）、および透過度を符号化した分割ビットストリーム（α）のそれぞれの間に配置される（G|C|N|α）。
【００７９】
ビットストリームをこのような構成にすることにより、属性情報を並列に復号することができる。
【００８０】
例えば、図５に示される表の上から３番目の行（項目名の行を除く）（左端の列が「３」の行）において、「分割の観点」の列に示されるように、空間解像度（階層）を分割するように、３Ｄデータを分割して符号化するようにしてもよい。
【００８１】
その場合、「セパレータを入れる位置」の列に示されるように、階層毎に分割し符号化する。例えば、Octreeの場合、LOD０、LOD１、・・・のように、Octreeのレベル（LOD）毎に分割するようにしてもよいし、一般的な表現の場合、Layer0、Layer1、・・・のように、レイヤ毎に分割するようにしてもよい。なお、３Ｄデータは予め階層化されていてもよいし、単層の３Ｄデータを階層化してからレイヤ毎に分割して符号化するようにしてもよい。
【００８２】
分割ビットストリームは、分割された階層毎のデータを符号化して生成される。つまり、セパレータは、分割された各階層に対応する分割ビットストリーム（サブビットストリームとも称する）の間に配置される。
【００８３】
例えば、「分割例」の列に示されるように、２つの階層（L0,L1）に分割する場合、セパレータ（|）は、階層L0のジオメトリデータの符号化した分割ビットストリーム（G_L0）と、階層L1のジオメトリデータの符号化した分割ビットストリーム（G_L1）との間、階層L0のアトリビュートデータの符号化した分割ビットストリーム（A_L0）と、階層L1のアトリビュートデータの符号化した分割ビットストリーム（A_L1）との間、並びに、ジオメトリデータとアトリビュートデータとの間に、それぞれ配置される（（G_L0|G_L1）|（A_L0|A_L1）｜）。
【００８４】
ビットストリームをこのような構成にすることにより、一部の領域の分割ビットストリームのみを復号することができる。つまり、スケーラブルなデコードを実現することができる。
【００８５】
なお、上述の各分割例は、適宜組み合わせることができる。例えば、図５に示される表の上から４番目の行（項目名の行を除く）（左端の列が「４」の行）において、「分割の観点」の列に示されるように、空間領域の分割と空間解像度の分割とを組み合わせて用いるようにしてもよい。
【００８６】
その場合、「セパレータを入れる位置」の列に示されるように、セパレータは、領域毎と階層毎の両方に配置される。
【００８７】
例えば、「分割例」の列に示されるように、ジオメトリデータとアトリビュートデータとをそれぞれ、２つの領域（a,b）と、３つの階層（0,1,2）とに分割するとする。その場合、セパレータ（|）は、階層L0かつ領域aのジオメトリデータの符号化した分割ビットストリーム（G0_a）と、階層L0かつ領域aのアトリビュートデータの符号化した分割ビットストリーム（A0_a）との間に配置される（G0_a|A0_a）。同様に、階層L0かつ領域bのジオメトリデータの符号化した分割ビットストリーム（G0_b）と、階層L0かつ領域ｂのアトリビュートデータの符号化した分割ビットストリーム（A0_b）との間にもセパレートが配置される（G0_b|A0_b）。また、同様に、階層L1かつ領域aのジオメトリデータの符号化した分割ビットストリーム（G1_a）と、階層L1かつ領域aのアトリビュートデータの符号化した分割ビットストリーム（A1_a）との間にもセパレートが配置される（G1_a|A1_a）。さらに、同様に、階層L2かつ領域aのジオメトリデータの符号化した分割ビットストリーム（G2_a）と、階層L2かつ領域aのアトリビュートデータの符号化した分割ビットストリーム（A2_a）との間にもセパレートが配置される（G2_a|A2_a）。
【００８８】
さらに、領域aの分割ビットストリームと領域bの分割ビットストリームとの間にもセパレートが配置される（（G0_a|A0_a）|（G0_b|A0_b））。同様に、階層L0の分割ビットストリームと、階層L1の分割ビットストリームと、階層L2の分割ビットストリームとの間にもセパレートが配置される（（G0_a|A0_a）|（G0_b|A0_b）|（G1_a|A1_a）||（G2_a|A2_a））。
【００８９】
このような構成とすることにより、部分デコードとスケーラブルな復号とを実現することができる。したがって、より自由に復号を行うことができる。例えば、注目領域だけ早く高解像度データを復号することもできる。
【００９０】
また、例えば、図５に示される表の上から５番目の行（項目名の行を除く）（左端の列が「５」の行）において、「分割の観点」の列に示されるように、時間方向に分割するように、３Ｄデータを分割して符号化するようにしてもよい。例えば、１フレーム毎に３Ｄデータを分割し、符号化するようにしてもよい。
【００９１】
その場合、「セパレータを入れる位置」の列に示されるように、分割ビットストリームは、フレーム毎に生成される。そして、セパレータは、各フレームに対応する分割ビットストリームの間に配置される。
【００９２】
例えば、「分割例」の列に示されるように、セパレータ（|）は、各フレームに対応する分割ビットストリーム同士の間に配置される（Frame0|Frame1|・・・）。
【００９３】
ビットストリームをこのような構成にすることにより、例えば動画像のポイントクラウドデータも復号することができる。
【００９４】
なお、このような符号化・復号は、ポイントクラウドデータ以外の３Ｄデータにも適用することができる。例えば、図５に示される表の一番下の行（左端の列が「６」の行）において、「分割の観点」の列に示されるように、Meshデータを分割して符号化するようにしてもよい。
【００９５】
その場合、「セパレータを入れる位置」の列に示されるように、分割ビットストリームは、情報の種類毎に生成される。例えば、Meshデータは、頂点データ（Vertex）と、接続データ（Face）と、テクスチャデータ（Texture）とに分割されて符号化される。そして、セパレータは、それらの分割ビットストリームの間に配置される。
【００９６】
例えば、「分割例」の列に示されるように、セパレータ（|）は、頂点データに対応する分割ビットストリーム（V）、接続データに対応する分割ビットストリーム（F）、テクスチャデータに対応する分割ビットストリーム（T）のそれぞれの間に配置される（V|F|T）。また、テクスチャデータ（T）をさらに２次元空間に配置したパーツ（部品）毎に分割し、符号化するようにしてもよい。その場合、セパレータ（|）は、さらに、テクスチャデータ（T）の部品毎の間にも配置される（T_a|T_b|T_c）。
【００９７】
ビットストリームをこのような構成にすることにより、meshデータも復号することができる。
【００９８】
＜２．第１の実施の形態＞
＜２−１．２Ｄ空間領域の分割＞
次に、図５の表を参照して説明した各バリエーションについてより詳細に説明する。最初に、図５に示される表の一番上の行（項目名の行を除く）（左端の列が「１」の行）に示される「空間領域の分割」を行う場合の内、「２Ｄ空間上で領域分割」する場合について説明する。
【００９９】
＜符号化装置＞
図６は、本技術を適用した情報処理装置の一実施の形態である符号化装置の主な構成例を示すブロック図である。図６に示される符号化装置２００は、符号化対象として入力されたポイントクラウドのデータを、ボクセルを用いて符号化し、得られた符号化データ等を出力する。その際、符号化装置２００は、以下に説明するように本技術を適用した方法でこの符号化を行う。
【０１００】
図６に示されるように、符号化装置２００は、制御部２０１、前処理部２１１、バウンディングボックス設定部２１２、ボクセル設定部２１３、信号列生成部２１４、および符号化部２１５を有する。
【０１０１】
制御部２０１は、符号化装置２００内の各処理部の制御に関する処理を行う。例えば、制御部２０１は、各処理部による処理の実行またはスキップ（省略）を制御する。例えば、制御部２０１は、所定の制御情報に基づいてそのような制御を行う。このようにすることにより、制御部２０１は、不要な処理の実行を抑制することができ、負荷の増大を抑制することができる。
【０１０２】
制御部２０１は、どのような構成を有するようにしてもよいが、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、処理を行うようにしてもよい。
【０１０３】
前処理部２１１は、制御部２０１により制御され、符号化装置２００に入力されるポイントクラウドデータ（符号化対象）に対して、前処理として所定の処理を施し、処理後のデータをバウンディングボックス設定部２１２に供給する。なお、符号化対象となるポイントクラウドは、動画像であってもよいし、静止画像であってもよい。
【０１０４】
例えば、制御部２０１は、前処理の実行を許可または禁止する制御情報に従って、前処理の実行が許可されている（禁止されていない）場合に、前処理部２１１に前処理を実行させる。また、例えば、制御部２０１は、前処理の実行の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、前処理の実行が許可されている（禁止されていない）符号化対象に対して、前処理部２１１に前処理を実行させる。さらに例えば、制御部２０１は、実行を許可または禁止する処理内容を指定する制御情報に従って、実行が許可されている（禁止されていない）処理を前処理部２１１に実行させる。このようにすることにより、不要な前処理の実行を抑制することができ、負荷の増大を抑制することができる。
【０１０５】
なお、前処理の内容は任意である。例えば、前処理部２１１が、前処理として、ノイズを低減させる処理を施すようにしても良いし、解像度（点の数）を変更する処理を行うようにしても良い。また例えば、点群の密度を均等にしたり、所望の偏りを持たせたりするように、各点の配置を更新するようにしてもよい。さらに例えば、奥行き情報を有する画像情報等のようなポイントクラウドでないデータが符号化装置２００に入力されるようにし、前処理部２１１が、前処理として、その入力されたデータをポイントクラウドのデータに変換するようにしてもよい。
【０１０６】
前処理部２１１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、前処理を行うようにしてもよい。
【０１０７】
バウンディングボックス設定部２１２は、制御部２０１により制御されて、符号化対象の位置情報を正規化するためのバウンディングボックスの設定に関する処理を行う。
【０１０８】
例えば、制御部２０１は、バウンディングボックスの設定の許可または禁止する制御情報に従って、そのバウンディングボックスの設定が許可されている（禁止されていない）場合に、バウンディングボックス設定部２１２にそのバウンディングボックスを設定させる。また、例えば、制御部２０１は、バウンディングボックスの設定の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、そのバウンディングボックスの設定が許可されている（禁止されていない）符号化対象に対して、バウンディングボックス設定部２１２にそのバウンディングボックスを設定させる。さらに例えば、制御部２０１は、バウンディングボックスの設定に用いられるパラメータの許可または禁止に関する制御情報に従って、バウンディングボックス設定部２１２に、使用が許可されている（禁止されていない）パラメータを用いてバウンディングボックスを設定させる。このようにすることにより、不要なバウンディングボックスの設定や不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
【０１０９】
例えば、バウンディングボックス設定部２１２は、符号化対象の各オブジェクトに対するバウンディングボックスを設定する。例えば、図７のＡに示されるように、ポイントクラウドのデータによりオブジェクト２３１やオブジェクト２３２が表現されている場合、バウンディングボックス設定部２１２は、図７のＢに示されるように、そのオブジェクト２３１やオブジェクト２３２をそれぞれ包含するようにバウンディングボックス２４１やバウンディングボックス２４２を設定する。図６に戻り、バウンディングボックスが設定されると、バウンディングボックス設定部２１２は、そのバウンディングボックスに関する情報をボクセル設定部２１３に供給する。
【０１１０】
なお、バウンディングボックス設定部２１２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、バウンディングボックスの設定に関する処理を行うようにしてもよい。
【０１１１】
ボクセル設定部２１３は、制御部２０１により制御されて、符号化対象の位置情報を量子化するためのボクセルの設定に関する処理を行う。
【０１１２】
例えば、制御部２０１は、ボクセルの設定の許可または禁止する制御情報に従って、そのボクセルの設定が許可されている（禁止されていない）場合に、ボクセル設定部２１３にそのボクセルを設定させる。また、例えば、制御部２０１は、ボクセルの設定の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、そのボクセルの設定が許可されている（禁止されていない）符号化対象に対して、ボクセル設定部２１３にそのボクセルを設定させる。さらに例えば、制御部２０１は、ボクセルの設定に用いられるパラメータの許可または禁止に関する制御情報に従って、ボクセル設定部２１３に、使用が許可されている（禁止されていない）パラメータを用いてボクセルを設定させる。このようにすることにより、不要なボクセルの設定や不要なパラメータの使用を抑制することができ、負荷の増大を抑制することができる。
【０１１３】
例えば、ボクセル設定部２１３は、バウンディングボックス設定部２１２により設定されたバウンディングボックス内に、ボクセルを設定する。例えば、ボクセル設定部２１３は、図７のＣに示されるように、バウンディングボックス２４１を分割してボクセル２５１を設定する。つまり、ボクセル設定部２１３は、バウンディングボックス内のポイントクラウドデータをボクセルにより量子化（すなわちボクセル化）する。なお、バウンディングボックスが複数存在する場合、ボクセル設定部２１３は、各バウンディングボックスについてポイントクラウドデータをボクセル化する。つまり、図７のＢの例の場合、ボクセル設定部２１３は、バウンディングボックス２４２に対しても同様の処理を行う。図６に戻り、以上のようにしてボクセルが設定されると、ボクセル設定部２１３は、そのボクセル化されたポイントクラウドデータ（ボクセルデータとも称する）（位置情報の量子化のためのデータ構造に関する情報）や属性情報等を、信号列生成部２１４に供給する。
【０１１４】
なお、ボクセル設定部２１３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセルの設定に関する処理を行うようにしてもよい。
【０１１５】
信号列生成部２１４は、制御部２０１により制御され、信号列の生成に関する処理を行う。
【０１１６】
例えば、制御部２０１は、信号列の生成を許可または禁止する制御情報に従って、信号列の生成が許可されている（禁止されていない）場合に、信号列生成部２１４に信号列を生成させる。また、例えば、制御部２０１は、信号列の生成の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、信号列の生成が許可されている（禁止されていない）符号化対象に対して、信号列生成部２１４に信号列を生成させる。このようにすることにより、不要な信号列の生成を抑制することができ、負荷の増大を抑制することができる。
【０１１７】
信号列生成部２１４は、例えば、ポイントクラウドデータを量子化したボクセルデータ（例えば図７のＣに示されるようなボクセル設定部２１３により生成されたボクセルデータ）を、OctreeやKDtree等の任意の方法により符号化し、信号列を生成する。例えば、信号列生成部２１４は、ボクセルデータが表す空間の部分領域であるブロック毎に、そのボクセルデータを符号化して相関情報を生成する。信号列生成部２１４は、生成した相関情報やその他の情報を信号列化し、その信号列を符号化部２１５に供給する。
【０１１８】
なお、信号列生成部２１４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、信号列の生成に関する処理を行うようにしてもよい。
【０１１９】
符号化部２１５は、制御部２０１により制御され、供給された信号列の符号化に関する処理を行う。
【０１２０】
例えば、制御部２０１は、信号列の符号化を許可または禁止する制御情報に従って、信号列の符号化が許可されている（禁止されていない）場合に、符号化部２１５に信号列を符号化させる。また、例えば、制御部２０１は、信号列の符号化の許可または禁止の対象となる符号化対象の範囲を示す制御情報に従って、信号列の符号化が許可されている（禁止されていない）符号化対象に対して、符号化部２１５に信号列を符号化させる。このようにすることにより、不要な信号列の符号化を抑制することができ、負荷の増大を抑制することができる。
【０１２１】
符号化部２１５は、例えば、供給された信号列を符号化し、符号化データ（ビットストリーム）を生成する。その際、符号化部２１５は、３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する。
【０１２２】
符号化部２１５は、このような符号化により得られた符号化データ（ビットストリーム）を符号化装置２００の外部に出力する。この符号化装置２００より出力されたデータ（符号化データや制御情報）は、例えば、図示せぬ後段の処理部により復号され、ポイントクラウドのデータが復元されるようにしてもよいし、図示せぬ通信部により送信され、所定の伝送路を介して復号装置等の他の装置に伝送されるようにしてもよいし、図示せぬ記録媒体に記録されるようにしてもよい。
【０１２３】
なお、符号化部２１５は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、符号化に関する処理を行うようにしてもよい。
【０１２４】
＜符号化部＞
図８は、符号化部２１５（図６）の主な構成例を示すブロック図である。この場合、符号化部２１５は、３Ｄデータを２次元構造を表す２Ｄデータに変換し、その２Ｄデータを２次元構造に基づいて分割して符号化することにより、複数の分割ビットストリームを生成する。図８に示されるように、符号化部２１５は、２Ｄマッピング部２７１、色フォーマット変換部２７２、空間領域分割部２７３、２Ｄ画像符号化部２７４−１、２Ｄ画像符号化部２７４−２、セパレータ生成部２７５、およびマルチプレクサ２７６を有する。
【０１２５】
２Ｄマッピング部２７１は、３Ｄデータの２次元空間へのマッピングに関する処理を行う。２Ｄマッピング部２７１には、信号列生成部２１４から信号列（例えばOctreeデータ）が供給される。この信号列は、ポイントクラウドデータを変換したものであり、ポイントクラウドデータと実質的に同等の、３次元構造を表す３Ｄデータである。したがってこの信号列においても、ポイントクラウドの各ポイントが座標（x,y,z）と色情報（r,g,b）とで示される。
【０１２６】
２Ｄマッピング部２７１は、供給された３Ｄデータの信号列を２次元空間上にマッピングし、２次元構造を表す２Ｄデータである２Ｄ画像データを生成する。２Ｄ画像データでは、各画素について色情報（r,g,b）が示される。２Ｄマッピング部２７１は、生成した２Ｄ画像データを色フォーマット変換部２７２に供給する。
【０１２７】
なお、２Ｄマッピング部２７１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、マッピングに関する処理を行うようにしてもよい。
【０１２８】
色フォーマット変換部２７２は、２Ｄマッピング部２７１から供給された２Ｄ画像データの色フォーマットをRGBフォーマットからカラーサンプリングのタイプが4:2:0のYUVフォーマットに変換する。つまり、フォーマット変換後の２Ｄ画像データでは、各画素について色情報（y,u,v）が示される。なお、フォーマット変換後の２Ｄ画像データのカラーサンプリングのタイプは任意であり、4:2:0以外であってもよい。色フォーマット変換部２７２は、色フォーマットを変換した２Ｄ画像データを空間領域分割部２７３に供給する。
【０１２９】
なお、色フォーマット変換部２７２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、色フォーマットの変換に関する処理を行うようにしてもよい。
【０１３０】
空間領域分割部２７３は、データの分割に関する処理を行う。例えば、空間領域分割部２７３は、色フォーマット変換部２７２から供給される色フォーマット変換後の２Ｄ画像データを、その２次元構造を複数の部分領域に分割するように、分割する。例えば、図８の場合、空間領域分割部２７３は、供給された２Ｄ画像データを２分割し、２つの部分２Ｄ画像データを生成する。
【０１３１】
空間領域分割部２７３は、生成した各部分２Ｄ画像データを、２Ｄ画像符号化部２７４−１および２Ｄ画像符号化部２７４−２に供給する。なお、以下において、２Ｄ画像符号化部２７４−１および２Ｄ画像符号化部２７４−２を互いに区別して説明する必要がない場合、２Ｄ画像符号化部２７４と称する。
【０１３２】
また、空間領域分割部２７３は、例えば２Ｄ画像データをどのように分割したか、各部分２Ｄ画像データにどのような情報が含まれるか等の、２Ｄ画像データの分割に関する情報を分割情報としてセパレータ生成部２７５に供給する。
【０１３３】
なお、空間領域分割部２７３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、データの分割に関する処理を行うようにしてもよい。
【０１３４】
２Ｄ画像符号化部２７４は、２Ｄ画像データの符号化に関する処理を行う。例えば、２Ｄ画像符号化部２７４は、空間領域分割部２７３から供給された部分２Ｄ画像データを符号化し、分割ビットストリームであるサブビットストリームを生成する。２Ｄ画像符号化部２７４は、生成したサブビットストリームをマルチプレクサ２７６に供給する。
【０１３５】
なお、２Ｄ画像符号化部２７４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、２Ｄ画像データの符号化に関する処理を行うようにしてもよい。
【０１３６】
セパレータ生成部２７５は、セパレータの生成に関する処理を行う。例えば、セパレータ生成部２７５は、ユニークなビットパタンを有するセパレータを生成する。また、例えば、セパレータ生成部２７５は、空間領域分割部２７３から供給される分割情報に含まれる情報を、セパレータに含める。セパレータ生成部２７５は、生成したセパレータをマルチプレクサ２７６に供給する。
【０１３７】
なお、セパレータ生成部２７５は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、セパレータの生成に関する処理を行うようにしてもよい。
【０１３８】
マルチプレクサ２７６は、データの多重化に関する処理を行う。例えば、マルチプレクサ２７６は、各２Ｄ画像符号化部２７４から供給される各サブビットストリームと、セパレータ生成部２７５から供給されるセパレータを多重化し、１つのビットストリームを生成する。その際、マルチプレクサ２７６は、図３を参照して説明したように、各サブビットストリームを直列に接続し、サブビットストリーム同士の繋ぎ目の位置に、セパレータを配置する。換言するに、マルチプレクサ２７６は、各サブビットストリームを、セパレータを挟むように直列に接続する。
【０１３９】
マルチプレクサ２７６は、生成したビットストリームを符号化部２１５の外部（すなわち、符号化装置２００の外部）に出力する。
【０１４０】
なお、マルチプレクサ２７６は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、多重化に関する処理を行うようにしてもよい。
【０１４１】
以上のように、この場合、空間領域分割部２７３は、３Ｄデータが２次元空間にマッピングされた２Ｄ画像データを複数に分割する。したがって、２Ｄ画像符号化部２７４は、分割された部分２Ｄ画像データを符号化すればよい。部分２Ｄ画像データのデータ量は分割前の２Ｄ画像データに比べて低減されるので、３Ｄデータの符号化の負荷の増大を抑制し、処理量を現実的なレベルに抑制することができる。
【０１４２】
なお、この分割数（分割後の部分２Ｄ画像データの数）は任意である。この分割数は可変であってもよい。つまり、空間領域分割部２７３は、２Ｄ画像データを任意の数の部分２Ｄ画像データに分割することができる。換言するに、空間領域分割部２７３は、２Ｄ画像データを分割することにより、部分２Ｄ画像データ１個当たりのデータ量を制御することができる。つまり、例えば、部分２Ｄ画像データの画サイズ（解像度）を、既存の２Ｄ画像符号化の規格において規定される最大サイズ以下に制限することができる。このように規格の制約を満たすようにすることができるので、２Ｄ画像符号化部２７４は、例えばJPEGやHEVC等の既存の２Ｄ画像符号化の規格に準拠した符号化方式で符号化を行うことができる。したがって、符号化部２１５は、３Ｄデータ用の新たな符号化部を一から開発する場合に比較して、容易に開発をすることができる。
【０１４３】
なお、２Ｄ画像符号化部２７４の数は任意である。単数であってもよいし、３つ以上であってもよい。また、この数は可変であってもよいし、固定であってもよい。空間領域分割部２７３から供給される部分２Ｄ画像データの数より多くても少なくてもよい。２Ｄ画像符号化部２７４の数が部分２Ｄ画像データの数より少ない場合は、例えば時分割方式などにより、１台の２Ｄ画像符号化部２７４によって複数の部分２Ｄ画像データを符号化することができるようにしてもよい。
【０１４４】
なお、図３等を参照して上述したように、セパレータ生成部２７５がセパレータを生成し、マルチプレクサ２７６がそのセパレータを、直列に接続するサブビットストリーム同士の繋ぎ目の位置に、セパレータを配置する。したがって、復号の際に、セパレータを検出することにより、サブビットストリーム（分割ビットストリーム）の繋ぎ目の位置を容易に特定することができる。したがって、サブビットストリーム（分割ビットストリーム）毎の分割を容易に行うことができる。なお、上述のようにセパレータには、ユニークなビットパタンが含まれているので、その検出は容易に行うことができる。
【０１４５】
また、セパレータ生成部２７５は、セパレータに分割情報に含まれる、例えば２Ｄ画像データをどのように分割したか、部分２Ｄ画像データにどのような情報が含まれるか等の、２Ｄ画像データの分割に関する情報をセパレータに含める。このようにすることにより、復号の際に、分割ビットストリームに含まれる情報や、各分割ビットストリームの処理方法等を、より容易に把握することができる。
【０１４６】
例えば、セパレータ生成部２７５は、前記３Ｄデータの３次元構造における、サブビットストリーム（分割ビットストリーム）に対応する部分の位置を示す位置情報を、そのサブビットストリームに対応するセパレータに記述する。例えば、セパレータ生成部２７５は、この位置情報として、３Ｄデータの３次元構造における、サブビットストリームに対応する部分の開始位置を示す情報を、そのサブビットストリームに対応するセパレータに記述する。また、例えば、セパレータ生成部２７５は、この位置情報として、さらに、３Ｄデータの３次元構造における、サブビットストリームに対応する部分の範囲を示す情報を、そのサブビットストリームに対応するセパレータに記述することもできる。したがって、復号の際には、これらの情報に基づいて、３Ｄデータの３次元構造における各サブビットストリームの位置を容易に特定することができるので、容易に各サブビットストリームを正しい構成で合成することができる（つまり分割前の構成となるように合成することができる）。
【０１４７】
＜符号化処理の流れ＞
以上のような構成の符号化装置２００により実行される符号化処理の流れの例を図９のフローチャートを参照して説明する。
【０１４８】
符号化処理が開始されると、前処理部２１１は、ステップＳ１０１において、入力されたデータに対して前処理を行う。
【０１４９】
ステップＳ１０２において、バウンディングボックス設定部２１２は、前処理されたデータに対してバウンディングボックスを設定する。
【０１５０】
ステップＳ１０３において、ボクセル設定部２１３は、ステップＳ１０２において設定されたバウンディングボックスにボクセルを設定する。
【０１５１】
ステップＳ１０４において、信号列生成部２１４は、データ構造に基づいて信号列を生成する。
【０１５２】
ステップＳ１０５において、符号化部２１５は、ステップＳ１０４の処理により生成された信号列を符号化する。
【０１５３】
ステップＳ１０６において、符号化部２１５は、その符号化により得られたビットストリームを符号化装置２００の外部に出力する。このビットストリームは例えば復号側（復号装置等）に伝送されたり、記録媒体に記録されたりする。
【０１５４】
ステップＳ１０６の処理が終了すると、符号化処理が終了する。例えば、符号化対象が動画像である場合、この一連の処理をフレーム毎に行う。
【０１５５】
＜信号列符号化処理の流れ＞
次に、図９のステップＳ１０５において実行される信号列符号化処理の流れの例を、図１０のフローチャートを参照して説明する。
【０１５６】
信号列符号化処理が開始されると、２Ｄマッピング部２７１は、ステップＳ１２１において、信号列を２次元空間にマッピングし、２Ｄ画像データを生成する。
【０１５７】
ステップＳ１２２において、色フォーマット変換部２７２は、２Ｄ画像データの色フォーマットをRGBフォーマットから4:2:0のYUVフォーマットに変換する。
【０１５８】
ステップＳ１２３において、空間領域分割部２７３は、２次元空間上で領域を分けるように、２Ｄ画像データを分割し、複数の部分２Ｄ画像データを生成する。
【０１５９】
ステップＳ１２４において、２Ｄ画像符号化部２７４は、部分領域毎に２Ｄ画像データを符号化する。つまり、２Ｄ画像符号化部２７４は、ステップＳ１２３において分割された各部分２Ｄ画像データを符号化し、サブビットストリームを生成する。
【０１６０】
ステップＳ１２５において、セパレータ生成部２７５は、分割情報に基づいて各サブビットストリームに対応するセパレータを生成する。
【０１６１】
ステップＳ１２６において、マルチプレクサ２７６は、ステップＳ１２４において生成された各サブビットストリーム、並びに、ステップＳ１２５において生成されたセパレータを多重化し、１つのビットストリームを生成する。
【０１６２】
ステップＳ１２６の処理が終了すると、信号列符号化処理が終了し、処理は図９に戻る。
【０１６３】
以上のように各処理を実行することにより、３Ｄデータを複数に分割して符号化することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０１６４】
＜復号装置＞
図１１は、本技術を適用した情報処理装置の一実施の形態である復号装置の主な構成例を示すブロック図である。図１１に示される復号装置３００は、図６の符号化装置２００に対応する復号装置であり、例えばこの符号化装置２００により生成されたポイントクラウドの符号化データを復号し、ポイントクラウドのデータを復元する。
【０１６５】
図１１に示されるように、復号装置３００は、復号部３０１、ボクセルデータ生成部３０２、およびポイントクラウド化処理部３０３を有する。
【０１６６】
復号部３０１は、ビットストリームの復号に関する処理を行う。例えば、復号部３０１は、ビットストリームを符号化部２１５の符号化方法に対応する復号方法で復号し、信号列（例えばOctreeデータ）を得る。復号部３０１は、その信号列をボクセルデータ生成部３０２に供給する。
【０１６７】
なお、復号部３０１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、復号に関する処理を行うようにしてもよい。
【０１６８】
ボクセルデータ生成部３０２は、ボクセルデータの生成に関する処理を行う。例えば、ボクセルデータ生成部３０２は、復号部３０１から供給される信号列に対応するボクセルデータを生成する。例えば、ボクセルデータ生成部３０２は、復号部３０１からOctreeデータの信号列が供給される場合、その信号列をOctree復号してボクセルデータを生成する。ボクセルデータ生成部３０２は、生成したボクセルデータをポイントクラウド化処理部３０３に供給する。
【０１６９】
なお、ボクセルデータ生成部３０２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ボクセルデータの生成に関する処理を行うようにしてもよい。
【０１７０】
ポイントクラウド化処理部３０３は、ポイントクラウドデータの復元に関する処理を行う。例えば、ポイントクラウド化処理部３０３は、供給されたボクセルデータをポイントクラウドデータに変換する（復号ポイントクラウドデータを生成する）。なお、ポイントクラウド化処理部３０３が、その復号ポイントクラウドデータをさらにMeshデータに変換するようにしてもよい。
【０１７１】
ポイントクラウド化処理部３０３は、生成した復号ポイントクラウドデータ（またはMeshデータ）を復号装置３００の外部に出力する。この出力された復号ポイントクラウドデータ（またはMeshデータ）は、例えば、図示せぬ後段の処理部により画像処理され、画像情報としてモニタ等に表示されるようにしてもよいし、図示せぬ通信部により送信され、所定の伝送路を介して他の装置に伝送されるようにしてもよいし、図示せぬ記録媒体に記録されるようにしてもよい。
【０１７２】
なお、ポイントクラウド化処理部３０３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、ポイントクラウドデータの復元に関する処理を行うようにしてもよい。
【０１７３】
＜復号部＞
図１２は、復号部３０１（図１１）の主な構成例を示すブロック図である。この場合、復号部３０１は、複数のサブビットストリームがそれぞれ復号されて得られる、２次元構造を表す複数の分割２Ｄデータを、３Ｄデータの３次元構造におけるサブビットストリームに対応する部分の位置を、２次元構造において示す情報を含む位置情報に基づいて合成する。図１２に示されるように、復号部３０１は、デマルチプレクサ３１１、セパレータ解析部３１２、２Ｄ画像復号部３１３−１、２Ｄ画像復号部３１３−２、空間領域合成部３１４、色フォーマット逆変換部３１５、および３Ｄマッピング部３１６を有する。
【０１７４】
デマルチプレクサ３１１は、逆多重化に関する処理を行う。例えば、デマルチプレクサ３１１は、復号装置３００に入力されるビットストリームを取得すると、それを逆多重化し、複数のサブビットストリームを得る。デマルチプレクサ３１１は、その複数のサブビットストリームを２Ｄ画像復号部３１３−１および２Ｄ画像復号部３１３−２に供給する。なお、以下において、２Ｄ画像復号部３１３−１および２Ｄ画像復号部３１３−２を互いに区別して説明する必要がない場合、２Ｄ画像復号部３１３と称する。
【０１７５】
なお、デマルチプレクサ３１１は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、逆多重化に関する処理を行うようにしてもよい。
【０１７６】
セパレータ解析部３１２は、セパレータの検出と解析に関する処理を行う。例えば、セパレータ解析部３１２は、デマルチプレクサ３１１に供給されるビットストリームにおいて、セパレータを検出し、その検出結果をデマルチプレクサ３１１に通知する。また、セパレータ解析部３１２は、検出したセパレータに含まれる情報を解析し、その解析した情報を分割情報として空間領域合成部３１４に供給する。
【０１７７】
なお、セパレータ解析部３１２は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、セパレータの検出と解析に関する処理を行うようにしてもよい。
【０１７８】
２Ｄ画像復号部３１３は、ビットストリームの復号に関する処理を行う。例えば２Ｄ画像復号部３１３は、デマルチプレクサ３１１から供給されるサブビットストリームを復号し、得られた部分２Ｄ画像データを空間領域合成部３１４に供給する。
【０１７９】
なお、２Ｄ画像復号部３１３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、復号に関する処理を行うようにしてもよい。
【０１８０】
空間領域合成部３１４は、部分２Ｄ画像データの合成に関する処理を行う。例えば、空間領域合成部３１４は、各２Ｄ画像復号部３１３から供給される複数の部分２Ｄ画像データを合成し、１つの２Ｄ画像データを生成する。その際、空間領域合成部３１４は、セパレータ解析部３１２から供給される分割情報（つまり、サブビットストリームに関する情報）に基づいてその合成を行う。空間領域合成部３１４は、得られた２Ｄ画像データを色フォーマット逆変換部３１５に供給する。
【０１８１】
なお、空間領域合成部３１４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、合成に関する処理を行うようにしてもよい。
【０１８２】
色フォーマット逆変換部３１５は、色フォーマットの逆変換に関する処理を行う。逆変換とは、色フォーマット変換部２７２（図８）により行われる色フォーマット変換の逆処理である。例えば、色フォーマット逆変換部３１５は、供給された２Ｄ画像データの色フォーマットを、カラーサンプリングのタイプが4:2:0のYUVフォーマットからRGBフォーマットに変換する。色フォーマット逆変換部３１５は、逆変換処理後の２Ｄ画像データ（r,g,b）を３Ｄマッピング部３１６に供給する。
【０１８３】
なお、色フォーマット逆変換部３１５は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、色フォーマットの逆変換に関する処理を行うようにしてもよい。
【０１８４】
３Ｄマッピング部３１６は、２Ｄデータの３次元空間へのマッピングに関する処理を行う。例えば、３Ｄマッピング部３１６は、色フォーマット逆変換部３１５から供給された２Ｄ画像データを３次元空間にマッピングし、信号列（例えばOctreeデータ）を生成する。３Ｄマッピング部３１６は、得られた信号列（Octreeデータ）をボクセルデータ生成部３０２（図１１）に供給する。
【０１８５】
なお、３Ｄマッピング部３１６は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、マッピングに関する処理を行うようにしてもよい。
【０１８６】
このような構成の復号部３０１において、デマルチプレクサ３１１は、ビットストリームに含まれるセパレータが示す位置において、ビットストリームを分割する。セパレータはビットストリームの分割すべき位置を示すので、デマルチプレクサ３１１は、その情報に基づいて、容易に正しい位置でそのビットストリームを分割することができる。
【０１８７】
また、ビットストリームにおいて、セパレータは、サブビットストリーム（分割ビットストリーム）同士の繋ぎ目に配置される。つまり、セパレータは、ビットストリームの分割すべき位置に配置される。換言するに、セパレータは、ビットストリームの分割すべき位置（サブビットストリーム同士の繋ぎ目）に配置され、その位置がビットストリームの分割すべき位置であることを示している。セパレータ解析部３１２は、そのように配置されたセパレータを検出し、デマルチプレクサ３１１は、その検出された位置においてビットストリームを分割する。このようにすることにより、デマルチプレクサ３１１は、容易に、ビットストリームをサブビットストリーム毎分割することができる。
【０１８８】
なお、このセパレータには、ユニークなビットパタンが含まれており、セパレータ解析部３１２は、ビットストリームにおいて、そのユニークなビットパタンを検出することにより、より容易にセパレータを検出することができる。
【０１８９】
以上のように、デマルチプレクサ３１１は、ビットストリームをサブビットストリーム（分割ビットストリーム）毎に分割する。したがって、２Ｄ画像復号部３１３は、分割されたサブビットストリームを復号すればよい。サブビットストリームのデータ量は分割前のビットストリームに比べて低減されるので、３Ｄデータの復号の負荷の増大を抑制し、処理量を現実的なレベルに抑制することができる。
【０１９０】
符号化装置２００について説明したように、サブビットストリーム（に対応する部分２Ｄ画像データ）１個当たりのデータ量は、符号化側において制御することができる。つまり、サブビットストリームが、既存の２Ｄ画像符号化の規格の制約を満たすようにすることができるので、２Ｄ画像復号部３１３は、例えばJPEGやHEVC等の既存の２Ｄ画像符号化の規格に準拠した復号方式で復号を行うことができる。したがって、復号部３０１は、３Ｄデータ用の新たな復号部を一から開発する場合に比較して、容易に開発をすることができる。
【０１９１】
また、セパレータは、そのセパレータ自身に対応するサブビットストリーム（分割ビットストリーム）に関する情報をさらに含む。セパレータ解析部３１２は、セパレータを解析して、この情報を得る。２Ｄ画像復号部３１３は、その情報に基づいてサブビットストリームの復号を行う。したがって、２Ｄ画像復号部３１３は、適切な方法でサブビットストリームを復号することができる。
【０１９２】
この情報はどのような情報であってもよい。例えば、サブビットストリームのデータサイズに関する情報が含まれていてもよい。また、例えば、サブビットストリームの復号方法に関する情報が含まれていてもよい。また、例えば、サブビットストリームの復号において適用される予測方法に関する情報が含まれるようにしてもよい。また、例えば、サブビットストリームの復号において行われる予測の参照先を示す情報を含むようにしてもよい。また、例えば、サブビットストリームを復号して得られるデータのカラーサンプリングのタイプを示す情報を含むようにしてもよい。また、例えば、サブビットストリームを復号して得られるデータのビット幅を示す情報を含むようにしてもよい。これらの内、いずれか１つがセパレータに含まれるようにしてもよいし、複数がセパレータに含まれるようにしてもよい。２Ｄ画像復号部３１３は、これらの情報を用いることにより、より適切な方法でサブビットストリームを復号することができる。
【０１９３】
また、上述したように、空間領域合成部３１４は、セパレータ解析部３１２によりセパレータが解析されて得られたサブビットストリームに関する情報に基づいて、複数の部分２Ｄ画像データを合成する。このサブビットストリームに関する情報は、任意であるが、例えば、３Ｄデータの３次元構造における、そのサブビットストリームに対応する部分の位置を示す位置情報を含むようにしてもよい。また、例えば、その位置情報は、３Ｄデータの３次元構造における、サブビットストリームに対応する部分の開始位置を示す情報を含むようにしてもよい。さらに、例えば、３Ｄデータの３次元構造における、分割ビットストリームに対応する部分の範囲を示す情報をさらに含むようにしてもよい。
【０１９４】
例えば、このような位置情報が、３Ｄデータの３次元構造におけるサブビットストリームに対応する部分の位置を、２次元構造において示す情報を含み、空間領域合成部３１４が、２Ｄ画像復号部３１３により複数のサブビットストリームがそれぞれ復号されて得られる、２次元構造を表す複数の分割２Ｄデータを、セパレータ解析部３１２によりセパレータが解析されて得られた位置情報に基づいて合成するようにしてもよい。
【０１９５】
このようにすることにより、空間領域合成部３１４は、３Ｄデータの３次元構造における各サブビットストリームの位置を容易に特定することができるので、容易に各サブビットストリームを正しい構成で合成することができる（つまり分割前の構成となるように合成することができる）。
【０１９６】
＜復号処理の流れ＞
以上のような構成の復号装置３００により実行される復号処理の流れの例を図１３のフローチャートを参照して説明する。
【０１９７】
復号処理が開始されると、復号部３０１は、ステップＳ１４１において、供給されたビットストリームを復号して、信号列を生成する。
【０１９８】
ステップＳ１４２において、ボクセルデータ生成部３０２は、ステップＳ１４１において得られた信号列からボクセルデータを生成する。
【０１９９】
ステップＳ１４３において、ポイントクラウド化処理部３０３は、ステップＳ１４２において得られたボクセルデータからポイントクラウドデータを復元する。
【０２００】
ステップＳ１４４において、ポイントクラウド化処理部３０３は、ステップＳ１４３において復元したポイントクラウドデータ（復号ポイントクラウドデータ）を復号装置３００の外部に出力する。
【０２０１】
ステップＳ１４４の処理が終了すると、復号処理が終了する。
【０２０２】
＜ビットストリーム復号処理の流れ＞
次に、図１３のステップＳ１４１において実行されるビットストリーム復号処理の流れの例を、図１４のフローチャートを参照して説明する。
【０２０３】
ビットストリーム復号処理が開始されると、セパレータ解析部３１２は、ステップＳ１６１において、ビットストリームにおいてセパレータを検出する。
【０２０４】
ステップＳ１６２において、セパレータ解析部３１２は、ステップＳ１６１において検出したセパレータを解析して分割情報を生成する。
【０２０５】
ステップＳ１６３において、デマルチプレクサ３１１は、セパレータに基づいてビットストリームをサブビットストリーム毎に分割する。
【０２０６】
ステップＳ１６４において、２Ｄ画像復号部３１３は、各サブビットストリームを復号する。
【０２０７】
ステップＳ１６５において、空間領域合成部３１４は、分割情報に基づいて、２Ｄ空間上において符号化側で分割された各部分領域を合成するように、ステップＳ１６４において得られた部分２Ｄ画像データを合成する。この処理により１つの２Ｄ画像データが生成される。
【０２０８】
ステップＳ１６６において、色フォーマット逆変換部３１５は、ステップＳ１６５の処理により得られた２Ｄ画像データの色フォーマットを逆変換する。
【０２０９】
ステップＳ１６７において、３Ｄマッピング部３１６は、その２Ｄ画像データを３Ｄ空間にマッピングして信号列（３Ｄデータ）を生成する。
【０２１０】
ステップＳ１６７の処理が終了すると、ビットストリーム復号処理が終了し、処理は図１３に戻る。
【０２１１】
以上のように各処理を実行することにより、３Ｄデータが複数に分割されて符号化されたビットストリームを、複数に分割して復号することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０２１２】
＜２−２．３Ｄ空間領域の分割＞
次に、図５に示される表の一番上の行（項目名の行を除く）（左端の列が「１」の行）に示される「空間領域の分割」を行う場合の内、「３Ｄ空間上で領域分割」する場合について説明する。
【０２１３】
＜符号化装置＞
符号化装置の構成は、この場合も、＜２−１．空間領域の分割＞の場合（図６）と同様であるのでその説明は省略する。
【０２１４】
＜符号化部＞
図１５は、この場合の符号化部２１５（図６）の主な構成例を示すブロック図である。この場合、符号化部２１５は、３Ｄデータを３次元構造に基づいて分割し、得られた複数の分割３Ｄデータのそれぞれを２次元構造を表す分割２Ｄデータに変換し、得られた複数の分割２Ｄデータのそれぞれを符号化することにより、複数の分割ビットストリームを生成する。図１５に示されるように、この場合の符号化部２１５は、空間領域分割部３３１、部分領域符号化部３３２−１、部分領域符号化部３３２−２、セパレータ生成部３３３、およびマルチプレクサ３３４を有する。
【０２１５】
空間領域分割部３３１は、空間領域分割部２７３（図８）と同様、空間領域を部分領域に分割するように、データの分割を行う。ただし、空間領域分割部３３１は、空間領域分割部２７３の場合と異なり、３Ｄデータである信号列（例えばOctreeデータ）を、その３次元構造を複数の部分領域に分割するように、分割する。例えば、図１５の場合、空間領域分割部３３１は、供給された信号列を２分割し、２つの部分信号列を生成する。この２つの部分信号列は、対応する３Ｄ空間領域が互いに異なる３Ｄデータである。
【０２１６】
空間領域分割部３３１は、生成した各部分信号列を、部分領域符号化部３３２−１および部分領域符号化部３３２−２に供給する。なお、以下において、部分領域符号化部３３２−１および部分領域符号化部３３２−２を互いに区別して説明する必要がない場合、部分領域符号化部３３２と称する。
【０２１７】
また、空間領域分割部３３１は、例えば信号列をどのように分割したか、各部分信号列にどのような情報が含まれるか等の、信号列（３Ｄデータ）の分割に関する情報を分割情報としてセパレータ生成部３３３に供給する。
【０２１８】
部分領域符号化部３３２は、供給された部分信号列を符号化する。この符号化の方法は、基本的に図８の場合と同様である。つまり、部分領域符号化部３３２−１は、２Ｄマッピング部３４１−１、色フォーマット変換部３４２−１、および２Ｄ画像符号化部３４３−１を有する。同様に、部分領域符号化部３３２−２は、２Ｄマッピング部３４１−２、色フォーマット変換部３４２−２、および２Ｄ画像符号化部３４３−２を有する。以下において、２Ｄマッピング部３４１−１および２Ｄマッピング部３４１−２を互いに区別して説明する必要がない場合、２Ｄマッピング部３４１と称する。また、色フォーマット変換部３４２−１および色フォーマット変換部３４２−２を互いに区別して説明する必要がない場合、色フォーマット変換部３４２と称する。また、２Ｄ画像符号化部３４３−１および２Ｄ画像符号化部３４３−２を互いに区別して説明する必要がない場合、２Ｄ画像符号化部３４３と称する。
【０２１９】
２Ｄマッピング部３４１は、２Ｄマッピング部２７１（図８）と同様、３Ｄデータを２次元空間上にマッピングし、２次元構造を表す２Ｄデータである２Ｄ画像データを生成する。ただし、２Ｄマッピング部３４１の場合、分割された部分信号列を２次元空間上にマッピングする。そのため、部分２Ｄ画像データが得られる。２Ｄマッピング部３４１は、得られた部分２Ｄ画像データを色フォーマット変換部３４２に供給する。
【０２２０】
色フォーマット変換部３４２は、色フォーマット変換部２７２（図８）と同様、２Ｄ画像データの色フォーマットをRGBフォーマットからカラーサンプリングのタイプが4:2:0のYUVフォーマットに変換する。ただし、色フォーマット変換部３４２の場合、分割された部分２Ｄ画像データの色フォーマットを変換する。色フォーマット変換部３４２は、色フォーマットが変換された部分２Ｄ画像データを２Ｄ画像符号化部３４３に供給する。
【０２２１】
２Ｄ画像符号化部３４３は、２Ｄ画像符号化部２７４（図８）と同様、部分２Ｄ画像データを符号化し、分割ビットストリームであるサブビットストリームを生成する。２Ｄ画像符号化部３４３は、生成したサブビットストリームをマルチプレクサ３３４に供給する。
【０２２２】
セパレータ生成部３３３は、セパレータ生成部２７５（図８）と基本的に同様の処理部であり、同様の構成を有し同様の処理を行う。例えば、セパレータ生成部３３３は、ユニークなビットパタンを有するセパレータを生成する。また、例えば、セパレータ生成部３３３は、空間領域分割部３３１から供給される分割情報に含まれる情報を、セパレータに含める。セパレータ生成部３３３は、生成したセパレータをマルチプレクサ３３４に供給する。
【０２２３】
マルチプレクサ３３４は、マルチプレクサ２７６（図８）と基本的に同様の処理部であり、同様の構成を有し同様の処理を行う。例えば、マルチプレクサ３３４は、各２Ｄ画像符号化部３４３から供給される各サブビットストリームと、セパレータ生成部３３３から供給されるセパレータとを多重化し、１つのビットストリームを生成する。その際、マルチプレクサ３３４は、図３を参照して説明したように、各サブビットストリームを直列に接続し、サブビットストリーム同士の繋ぎ目の位置に、セパレータを配置する。換言するに、マルチプレクサ３３４は、各サブビットストリームを、セパレータを挟むように直列に接続する。
【０２２４】
なお、上述したように、この場合の各サブビットストリームは、３次元空間上で分割されて符号化されたデータである。したがって、このサブビットストリームは、２次元空間上で分割された図８の場合のサブビットストリームと異なるデータである。
【０２２５】
マルチプレクサ３３４は、生成したビットストリームを符号化部２１５の外部（すなわち、符号化装置２００の外部）に出力する。
【０２２６】
このような空間領域分割部３３１乃至マルチプレクサ３３４（並びに、２Ｄマッピング部３４１乃至２Ｄ画像符号化部３４３）は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０２２７】
この場合も、空間領域分割部３３１が、３Ｄデータを複数に分割するので部分領域符号化部３３２（２Ｄ画像符号化部３４３）は、分割された部分データを符号化すればよい。したがって、図８の場合と同様に、３Ｄデータの符号化の負荷の増大を抑制し、処理量を現実的なレベルに抑制することができる。
【０２２８】
なお、この場合も、空間領域分割部３３１による３Ｄデータ（信号列）の分割数（分割後の部分３Ｄデータ（部分信号列）の数）は任意である。この分割数は可変であってもよい。つまり、例えば、部分２Ｄ画像データの画サイズ（解像度）を、既存の２Ｄ画像符号化の規格において規定される最大サイズ以下に制限することができる。このように規格の制約を満たすようにすることができるので、２Ｄ画像符号化部３４３は、例えばJPEGやHEVC等の既存の２Ｄ画像符号化の規格に準拠した符号化方式で符号化を行うことができる。したがって、この場合も、符号化部２１５は、３Ｄデータ用の新たな符号化部を一から開発する場合に比較して、容易に開発をすることができる。
【０２２９】
なお、部分領域符号化部３３２（２Ｄマッピング部３４１乃至２Ｄ画像符号化部３４３）の数は任意である。単数であってもよいし、３つ以上であってもよい。また、この数は可変であってもよいし、固定であってもよい。空間領域分割部３３１から供給される部分信号列の数より多くても少なくてもよい。少ない場合は、図８の場合と同様に時分割等により対応することができる。
【０２３０】
なお、この場合もマルチプレクサ３３４がそのセパレータを、直列に接続するサブビットストリーム同士の繋ぎ目の位置に配置するので、復号の際に、そのセパレータを検出することにより、サブビットストリーム（分割ビットストリーム）の繋ぎ目の位置を容易に特定することができる。したがって、サブビットストリーム（分割ビットストリーム）毎の分割を容易に行うことができる。なお、上述のようにセパレータには、ユニークなビットパタンが含まれているので、その検出は容易に行うことができる。
【０２３１】
また、この場合も、セパレータ生成部３３３が、分割に関する情報をセパレータに含める。このようにすることにより、復号の際に、分割ビットストリームに含まれる情報や、各分割ビットストリームの処理方法等を、より容易に把握することができる。
【０２３２】
例えば、セパレータ生成部３３３は、セパレータ生成部２７５の場合と同様に、前記３Ｄデータの３次元構造における、サブビットストリーム（分割ビットストリーム）に対応する部分の位置（例えば、開始位置や範囲等）を示す位置情報を、そのサブビットストリームに対応するセパレータに記述する。したがって、復号の際には、これらの情報に基づいて、３Ｄデータの３次元構造における各サブビットストリームの位置を容易に特定することができるので、容易に各サブビットストリームを正しい構成で合成することができる（つまり分割前の構成となるように合成することができる）。
【０２３３】
＜符号化処理の流れ＞
この場合も符号化処理は、図９のフローチャートを参照して説明した場合と基本的に同様の流れで行われる。したがってその説明を省略する。
【０２３４】
＜信号列符号化処理の流れ＞
次に、図９のステップＳ１０５において実行される信号列符号化処理の流れの例を、図１６のフローチャートを参照して説明する。
【０２３５】
信号列符号化処理が開始されると、空間領域分割部３３１は、ステップＳ１８１において、３次元空間上で領域分割する。
【０２３６】
ステップＳ１８２において、２Ｄマッピング部３４１は、ステップＳ１８１において設定された部分領域毎に３Ｄデータを２次元空間上にマッピングし、２Ｄデータを生成する。
【０２３７】
ステップＳ１８３において、色フォーマット変換部３４２は、ステップＳ１８２において生成された２Ｄデータの色フォーマットを部分領域毎に変換する。
【０２３８】
ステップＳ１８４において、２Ｄ画像符号化部３４３は、ステップＳ１８３において色フォーマットが変換された２Ｄデータを部分領域毎に符号化する。
【０２３９】
ステップＳ１８５において、セパレータ生成部３３３は、各サブビットストリームに対応するセパレータを生成する。
【０２４０】
ステップＳ１８６において、マルチプレクサ３３４は、各サブビットストリームおよびセパレータを多重化する。
【０２４１】
ステップＳ１８７の処理が終了すると信号列符号化処理が終了し、処理は図９に戻る。
【０２４２】
以上のように各処理を実行することにより、３Ｄデータを複数に分割して符号化することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０２４３】
＜復号装置＞
この場合の復号装置は、図１１の場合と同様であるので、その説明は省略する。
【０２４４】
＜復号部＞
図１７は、この場合の復号部３０１の主な構成例を示すブロック図である。この場合の復号部３０１は、複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割３Ｄデータを、セパレータが解析されて得られた、３Ｄデータの３次元構造における分割ビットストリームに対応する部分の位置を、その３次元構造において示す情報を含む位置情報に基づいて合成する。図１７に示されるように、この場合の復号部３０１は、デマルチプレクサ３６１、セパレータ解析部３６２、部分領域復号部３６３−１、部分領域復号部３６３−２、および空間領域合成部３６４を有する。
【０２４５】
デマルチプレクサ３６１は、デマルチプレクサ３１１（図１２）と同様の処理を行う。例えば、デマルチプレクサ３６１は、復号装置３００に入力されるビットストリームを取得すると、それを逆多重化し、複数のサブビットストリームを得る。デマルチプレクサ３６１は、その複数のサブビットストリームを部分領域復号部３６３−１および部分領域復号部３６３−２に供給する。以下において、部分領域復号部３６３−１および部分領域復号部３６３−２を互いに区別して説明する必要がない場合、部分領域復号部３６３と称する。
【０２４６】
セパレータ解析部３６２は、セパレータ解析部３１２と同様の処理を行う。例えば、セパレータ解析部３６２は、デマルチプレクサ３６１に供給されるビットストリームにおいて、セパレータを検出し、その検出結果をデマルチプレクサ３６１に通知する。また、セパレータ解析部３６２は、検出したセパレータに含まれる情報を解析し、その解析した情報を分割情報として空間領域合成部３６４に供給する。
【０２４７】
部分領域復号部３６３は、供給されたサブビットストリームを復号する。この復号の方法は、基本的に図１２の場合と同様である。つまり、部分領域復号部３６３−１は、２Ｄ画像復号部３７１−１、色フォーマット逆変換部３７２−１、３Ｄマッピング部３７３−１を有する。同様に、部分領域復号部３６３−２は、２Ｄ画像復号部３７１−２、色フォーマット逆変換部３７２−２、３Ｄマッピング部３７３−２を有する。以下において、２Ｄ画像復号部３７１−１と２Ｄ画像復号部３７１−２とを互いに区別して説明する必要がない場合、２Ｄ画像復号部３７１と称する。また、色フォーマット逆変換部３７２−１と色フォーマット逆変換部３７２−２とを互いに区別して説明する必要がない場合、色フォーマット逆変換部３７２と称する。また、３Ｄマッピング部３７３−１と３Ｄマッピング部３７３−２とを互いに区別して説明する必要がない場合、３Ｄマッピング部３７３と称する。
【０２４８】
２Ｄ画像復号部３７１は、デマルチプレクサ３６１から供給されるサブビットストリームを復号し、得られた部分２Ｄ画像データを色フォーマット逆変換部３７２に供給する。
【０２４９】
色フォーマット逆変換部３７２は、供給された部分２Ｄ画像データの色フォーマットを、カラーサンプリングのタイプが4:2:0のYUVフォーマットからRGBフォーマットに変換する。色フォーマット逆変換部３７２は、逆変換処理後の部分２Ｄ画像データ（r,g,b）を３Ｄマッピング部３７３に供給する。
【０２５０】
３Ｄマッピング部３７３は、色フォーマット逆変換部３７２から供給された部分２Ｄ画像データを３次元空間にマッピングし、部分信号列（例えばOctreeデータ）を生成する。３Ｄマッピング部３７３は、得られた部分信号列（Octreeデータ）を、空間領域合成部３６４に供給する。
【０２５１】
空間領域合成部３６４は、各３Ｄマッピング部３７３から供給される複数の部分信号列（部分３Ｄデータ）を合成し、１つの信号列（３Ｄデータ）を生成する。その際、空間領域合成部３６４は、セパレータ解析部３６２から供給される分割情報に基づいてその合成を行う。空間領域合成部３６４は、得られた信号列（例えばOctreeデータ）を復号部３０１の外部（例えばボクセルデータ生成部３０２等）に供給する。
【０２５２】
なお、デマルチプレクサ３６１乃至空間領域合成部３６４、並びに、２Ｄ画像復号部３７１乃至３Ｄマッピング部３７３は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０２５３】
この場合の復号部３０１も、デマルチプレクサ３６１は、ビットストリームに含まれるセパレータが示す位置において、ビットストリームを分割する。セパレータはビットストリームの分割すべき位置を示すので、デマルチプレクサ３６１は、その情報に基づいて、容易に正しい位置でそのビットストリームを分割することができる。
【０２５４】
また、ビットストリームにおいて、セパレータは、サブビットストリーム（分割ビットストリーム）同士の繋ぎ目に配置される。つまり、セパレータは、ビットストリームの分割すべき位置に配置される。換言するに、セパレータは、ビットストリームの分割すべき位置（サブビットストリーム同士の繋ぎ目）に配置され、その位置がビットストリームの分割すべき位置であることを示している。セパレータ解析部３６２は、そのように配置されたセパレータを検出し、デマルチプレクサ３６１は、その検出された位置においてビットストリームを分割する。このようにすることにより、デマルチプレクサ３６１は、容易に、ビットストリームをサブビットストリーム毎に分割することができる。
【０２５５】
なお、このセパレータには、ユニークなビットパタンが含まれており、セパレータ解析部３６２は、ビットストリームにおいて、そのユニークなビットパタンを検出することにより、より容易にセパレータを検出することができる。
【０２５６】
以上のように、デマルチプレクサ３６１は、ビットストリームをサブビットストリーム（分割ビットストリーム）毎に分割する。したがって、２Ｄ画像復号部３７１は、分割されたサブビットストリームを復号すればよい。サブビットストリームのデータ量は分割前のビットストリームに比べて低減されるので、３Ｄデータの復号の負荷の増大を抑制し、処理量を現実的なレベルに抑制することができる。
【０２５７】
符号化装置２００について説明したように、サブビットストリーム（に対応する部分２Ｄ画像データ）１個当たりのデータ量は、符号化側において制御することができる。つまり、サブビットストリームが、既存の２Ｄ画像符号化の規格の制約を満たすようにすることができるので、２Ｄ画像復号部３７１は、例えばJPEGやHEVC等の既存の２Ｄ画像符号化の規格に準拠した復号方式で復号を行うことができる。したがって、復号部３０１は、３Ｄデータ用の新たな復号部を一から開発する場合に比較して、容易に開発をすることができる。
【０２５８】
また、セパレータは、そのセパレータ自身に対応するサブビットストリーム（分割ビットストリーム）に関する情報をさらに含む。セパレータ解析部３１２は、セパレータを解析して、この情報を得る。２Ｄ画像復号部３１３は、その情報に基づいてサブビットストリームの復号を行う。したがって、２Ｄ画像復号部３１３は、適切な方法でサブビットストリームを復号することができる。
【０２５９】
また、この場合も、空間領域合成部３６４は、セパレータ解析部３６２によりセパレータが解析されて得られたサブビットストリームに関する情報に基づいて、複数の部分２Ｄ画像データを合成する。このサブビットストリームに関する情報は、任意であるが、例えば、３Ｄデータの３次元構造における、そのサブビットストリームに対応する部分の位置を示す位置情報を含むようにしてもよい。また、例えば、その位置情報は、３Ｄデータの３次元構造における、サブビットストリームに対応する部分の開始位置を示す情報を含むようにしてもよい。さらに、例えば、３Ｄデータの３次元構造における、分割ビットストリームに対応する部分の範囲を示す情報をさらに含むようにしてもよい。
【０２６０】
例えば、このような位置情報が、３Ｄデータの３次元構造におけるサブビットストリームに対応する部分の位置を、３次元構造において示す情報を含み、空間領域合成部３６４は、復号部により複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割３Ｄデータを、セパレータ解析部３１２により前記セパレータが解析されて得られた前記位置情報に基づいて合成するようにしてもよい。
【０２６１】
このようにすることにより、空間領域合成部３６４は、３Ｄデータの３次元構造における各サブビットストリームの位置を容易に特定することができるので、容易に各サブビットストリームを正しい構成で合成することができる（つまり分割前の構成となるように合成することができる）。
【０２６２】
＜復号処理の流れ＞
この場合も復号処理は、図１３のフローチャートを参照して説明した場合と同様であるのでその説明は省略する。
【０２６３】
＜ビットストリーム復号処理の流れ＞
次に、図１３のステップＳ１４１において実行されるビットストリーム復号処理の流れの例を、図１８のフローチャートを参照して説明する。
【０２６４】
ビットストリーム復号処理が開始されると、セパレータ解析部３６２は、ステップＳ２０１において、ビットストリームにおいてセパレータを検出する。
【０２６５】
ステップＳ２０２において、セパレータ解析部３６２は、ステップＳ１６１において検出したセパレータを解析して分割情報を生成する。
【０２６６】
ステップＳ２０３において、デマルチプレクサ３６１は、セパレータに基づいてビットストリームをサブビットストリーム毎に分割する。
【０２６７】
ステップＳ２０４において、２Ｄ画像復号部３７１は、各サブビットストリームを復号する。
【０２６８】
ステップＳ２０５において、色フォーマット逆変換部３７２は、部分領域毎に、ステップＳ２０４の処理により得られた部分２Ｄ画像データの色フォーマットを逆変換する。
【０２６９】
ステップＳ２０６において、３Ｄマッピング部３７３は、その部分２Ｄ画像データを３Ｄ空間にマッピングして部分信号列（３Ｄデータ）を生成する。
【０２７０】
ステップＳ２０７において、空間領域合成部３６４は、分割情報に基づいて、３Ｄ空間上において符号化側で分割された各部分領域を合成するように、ステップＳ２０６において得られた部分信号列を合成する。この処理により１つの３Ｄデータが生成される。
【０２７１】
ステップＳ１６６において、ステップＳ１６７の処理が終了すると、ビットストリーム復号処理が終了し、処理は図１３に戻る。
【０２７２】
以上のように各処理を実行することにより、３Ｄデータが複数に分割されて符号化されたビットストリームを、複数に分割して復号することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０２７３】
＜３．第２の実施の形態＞
＜属性情報の分割＞
次に、図５に示される表の上から２番目の行（項目名の行を除く）（左端の列が「２」の行）に示される「属性情報の分割」を行う場合について説明する。
【０２７４】
＜符号化装置＞
符号化装置の構成は、この場合も、＜２．第１の実施の形態＞の場合（図６）と同様であるのでその説明は省略する。
【０２７５】
＜符号化部＞
図１９は、この場合の符号化部２１５の主な構成例を示すブロック図である。この場合、符号化部２１５は、３Ｄデータを、ポイントクラウドの各ポイントの位置を示すジオメトリデータと、そのポイントクラウドの各ポイントの属性情報を示すアトリビュートデータとに分割して符号化し、その複数の分割ビットストリームを生成する。図１９に示されるように、この場合の符号化部２１５は、情報分割部３９１、ジオメトリ符号化部３９２、アトリビュート符号化部３９３、セパレータ生成部３９４、およびマルチプレクサ３９５を有する。
【０２７６】
情報分割部３９１は、３Ｄデータである信号列（例えばOctreeデータ）を、ポイントクラウドの各ポイントの位置を示すジオメトリデータと、そのポイントクラウドの各ポイントの属性情報を示すアトリビュートデータとに分割する。
【０２７７】
情報分割部３９１は、そのジオメトリデータをジオメトリ符号化部３９２に供給する。また、情報分割部３９１は、そのアトリビュートデータをアトリビュート符号化部３９３に供給する。
【０２７８】
また、情報分割部３９１は、例えば信号列をどのように分割したか、各部分信号列にどのような情報が含まれるか等の、信号列（３Ｄデータ）の分割に関する情報を分割情報としてセパレータ生成部３９４に供給する。
【０２７９】
ジオメトリ符号化部３９２は、ジオメトリデータを符号化してジオメトリビットストリームを生成し、それをマルチプレクサ３９５に供給する。同様に、アトリビュート符号化部３９３は、アトリビュートデータを符号化してアトリビュートビットストリームを生成し、それをマルチプレクサ３９５に供給する。
【０２８０】
なお、ジオメトリ符号化部３９２およびアトリビュート符号化部３９３は、それぞれ、第１の実施の形態の部分領域符号化部３３２と同様に、３Ｄデータを２次元空間にマッピングし、色フォーマットを変換して、２Ｄデータ用の符号化方式で符号化する。
【０２８１】
セパレータ生成部３９４は、第１の実施の形態のセパレータ生成部２７５（図８）と基本的に同様の処理部であり、同様の構成を有し同様の処理を行う。例えば、セパレータ生成部３９４は、ユニークなビットパタンを有するセパレータを生成する。また、例えば、セパレータ生成部３９４は、情報分割部３９１から供給される分割情報に含まれる情報を、セパレータに含める。セパレータ生成部３９４は、生成したセパレータをマルチプレクサ３９５に供給する。
【０２８２】
マルチプレクサ３９５は、ジオメトリ符号化部３９２から供給されるジオメトリビットストリームと、アトリビュート符号化部３９３から供給されるアトリビュートビットストリームと、セパレータ生成部３９４から供給されるセパレータとを多重化し、１つのビットストリームを生成する。その際、マルチプレクサ３９５は、図３を参照して説明したように、各サブビットストリームを直列に接続し、サブビットストリーム同士の繋ぎ目の位置に、セパレータを配置する。換言するに、マルチプレクサ３９５は、各サブビットストリームを、セパレータを挟むように直列に接続する。
【０２８３】
このような情報分割部３９１乃至マルチプレクサ３９５は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０２８４】
以上のように、この場合も、３Ｄデータである信号列は、複数に分割されて符号化される。したがって、第１の実施の形態の場合と同様に、３Ｄデータの符号化の負荷の増大を抑制し、処理量を現実的なレベルに抑制することができる。つまり、規格の制約を満たすようにすることができるので、ジオメトリ符号化部３９２やアトリビュート符号化部３９３は、例えばJPEGやHEVC等の既存の２Ｄ画像符号化の規格に準拠した符号化方式で符号化を行うことができる。したがって、この場合も、符号化部２１５は、３Ｄデータ用の新たな符号化部を一から開発する場合に比較して、容易に開発をすることができる。
【０２８５】
また、上述のように、この場合も、第１の実施の形態の場合と同様にセパレータを生成し、ビットストリームに埋め込むので、第１の実施の形態と同様の効果を得ることができる。
【０２８６】
なお、アトリビュートデータをさらに属性毎に分割して符号化するようにしてもよい。例えば、アトリビュートデータを、色情報、法線情報、およびαチャンネル（透過度）等の属性毎に分割し、その属性毎に符号化するようにしてもよい。このようにすることにより、符号化の並列度を向上させることができるので、３Ｄデータの符号化の負荷の増大をより抑制することができる。
【０２８７】
＜符号化処理の流れ＞
この場合も符号化処理は、図９のフローチャートを参照して説明した場合と基本的に同様の流れで行われる。したがってその説明を省略する。
【０２８８】
＜信号列符号化処理の流れ＞
次に、図９のステップＳ１０５において実行される信号列符号化処理の流れの例を、図２０のフローチャートを参照して説明する。
【０２８９】
信号列符号化処理が開始されると、情報分割部３９１は、ステップＳ２２１において、ジオメトリデータとアトリビュートデータとを分割する。
【０２９０】
ステップＳ２２２において、ジオメトリ符号化部３９２は、そのジオメトリデータを符号化する。
【０２９１】
ステップＳ２２３において、アトリビュート符号化部３９３は、そのアトリビュートデータを符号化する。
【０２９２】
ステップＳ２２４にいて、セパレータ生成部３９４は、ステップＳ２２２において生成されたジオメトリビットストリームに対応するセパレータと、ステップＳ２２３において生成されたアトリビュートビットストリームに対応するセパレータとを生成する。
【０２９３】
ステップＳ２２５において、マルチプレクサ３９５は、ステップＳ２２２において生成されたジオメトリビットストリームと、ステップＳ２２３において生成されたアトリビュートビットストリームと、ステップＳ２２４において生成されたセパレータとを多重化し、１つのビットストリームを生成する。
【０２９４】
ステップＳ２２５の処理が終了すると信号列符号化処理が終了し、処理は図９に戻る。
【０２９５】
以上のように各処理を実行することにより、３Ｄデータを複数に分割して符号化することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０２９６】
＜復号装置＞
この場合の復号装置は、図１１の場合と同様であるので、その説明は省略する。
【０２９７】
＜復号部＞
図２１は、この場合の復号部３０１の主な構成例を示すブロック図である。この場合の復号部３０１は、複数の分割ビットストリームがそれぞれ復号されて得られる、ポイントクラウドの各ポイントの位置を示すジオメトリデータと、そのポイントクラウドの各ポイントの属性情報を示すアトリビュートデータとを、セパレータが解析されて得られた、分割ビットストリームの属性に関する情報に基づいて合成する。図２１に示されるように、この場合の復号部３０１は、デマルチプレクサ４１１、セパレータ解析部４１２、ジオメトリ復号部４１３、アトリビュート復号部４１４、および情報合成部４１５を有する。
【０２９８】
デマルチプレクサ４１１は、復号装置３００に入力されるビットストリームを取得すると、それを逆多重化し、ジオメトリビットストリームとアトリビュートビットストリームを得る。デマルチプレクサ４１１は、そのジオメトリビットストリームをジオメトリ復号部４１３に供給する。また、デマルチプレクサ４１１は、そのアトリビュートビットストリームをアトリビュート復号部４１４に供給する。
【０２９９】
セパレータ解析部４１２は、セパレータ解析部３１２と同様の処理を行う。例えば、セパレータ解析部４１２は、デマルチプレクサ４１１に供給されるビットストリームにおいて、セパレータを検出し、その検出結果をデマルチプレクサ４１１に通知する。また、セパレータ解析部４１２は、検出したセパレータに含まれる情報を解析し、その解析した情報を分割情報として情報合成部４１５に供給する。
【０３００】
ジオメトリ復号部４１３は、供給されたジオメトリビットストリーム（分割ビットストリーム）を復号してジオメトリデータを生成し、それを情報合成部４１５に供給する。またアトリビュート復号部４１４は、供給されたアトリビュートビットストリーム（分割ビットストリーム）を復号してアトリビュートデータを生成し、それを情報合成部４１５に供給する。
【０３０１】
なお、ジオメトリ復号部４１３およびアトリビュート復号部４１４は、それぞれ、第１の実施の形態の部分領域復号部３６３と同様に、分割ビットストリームを２Ｄデータ用の復号方式で復号し、色フォーマットを変換して、２Ｄデータを３次元空間にマッピングする。
【０３０２】
情報合成部４１５は、ジオメトリ復号部４１３から供給されるジオメトリデータと、アトリビュート復号部４１４から供給されるアトリビュートデータとを合成し、１つの信号列（３Ｄデータ、例えばOctreeデータ等）を生成する。その際、情報合成部４１５は、セパレータ解析部４１２から供給される分割情報（つまり、分割ビットストリームに関する情報）に基づいてその合成を行う。情報合成部４１５は、生成した信号列を復号部３０１の外部（例えばボクセルデータ生成部３０２等）に供給する。
【０３０３】
なお、デマルチプレクサ４１１乃至情報合成部４１５は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０３０４】
以上のように、この場合も、ビットストリームは、複数に分割されて復号される。したがって、第１の実施の形態の場合と同様の効果を得ることができる。
【０３０５】
また、この場合もビットストリームには、第１の実施の形態の場合と同様のセパレータが埋め込まれており、復号部３０１は、そのセパレータを用いて復号処理を行う。したがって、第１の実施の形態と同様の効果を得ることができる。
【０３０６】
なお、符号化側において、アトリビュートデータが、さらに属性毎に分割して符号化されているようにしてもよい。例えば、アトリビュートデータが、色情報、法線情報、およびαチャンネル（透過度）等の属性毎に分割され、その属性毎に符号化されているようにしてもよい。
【０３０７】
その場合、デマルチプレクサ４１１は、ビットストリームを分割して、ジオメトリビットストリームをジオメトリ復号部４１３に供給し、属性毎のアトリビュートビットストリームをアトリビュート復号部４１４に供給する。ジオメトリ復号部４１３は、ジオメトリビットストリームを復号してジオメトリデータを生成し、それを情報合成部４１５に供給する。アトリビュート復号部４１４は、属性毎のアトリビュートビットストリームをそれぞれ復号して、属性毎のアトリビュートデータを生成し、それを情報合成部４１５に供給する。
【０３０８】
情報合成部４１５は、そのジオメトリデータと属性毎のアトリビュートデータとを、セパレータ解析部４１２によりセパレータが解析されて得られた前記属性に関する情報に基づいて合成する。このようにすることにより、復号の並列度を向上させることができるので、３Ｄデータの復号の負荷の増大をより抑制することができる。
【０３０９】
＜復号処理の流れ＞
この場合も復号処理は、図１３のフローチャートを参照して説明した場合と同様であるのでその説明は省略する。
【０３１０】
＜ビットストリーム復号処理の流れ＞
次に、図１３のステップＳ１４１において実行されるビットストリーム復号処理の流れの例を、図２２のフローチャートを参照して説明する。
【０３１１】
ビットストリーム復号処理が開始されると、セパレータ解析部３６２は、ステップＳ２４１において、ビットストリームにおいてセパレータを検出する。
【０３１２】
ステップＳ２４２において、セパレータ解析部４１２は、ステップＳ２４１において検出したセパレータを解析して分割情報を生成する。
【０３１３】
ステップＳ２４３において、デマルチプレクサ４１１は、セパレータに基づいてビットストリームをサブビットストリーム毎に分割する。すなわち、ジオメトリビットストリームとアトリビュートビットストリームとに分割される。
【０３１４】
ステップＳ２４４において、ジオメトリ復号部４１３は、ジオメトリビットストリームを復号する。
【０３１５】
ステップＳ２４５において、アトリビュート復号部４１４は、アトリビュートビットストリームを復号する。
【０３１６】
ステップＳ２４６において、情報合成部４１５は、分割情報に基づいて、ジオメトリデータとアトリビュートデータとを合成して信号列を生成する。
【０３１７】
ステップＳ２４６の処理が終了すると、ビットストリーム復号処理が終了し、処理は図１３に戻る。
【０３１８】
以上のように各処理を実行することにより、３Ｄデータが複数に分割されて符号化されたビットストリームを、複数に分割して復号することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０３１９】
＜４．第３の実施の形態＞
＜属性情報の分割＞
次に、図５に示される表の上から３番目の行（項目名の行を除く）（左端の列が「３」の行）に示される「空間解像度間の分割」を行う場合について説明する。
【０３２０】
＜符号化装置＞
符号化装置の構成は、この場合も、＜２．第１の実施の形態＞の場合（図６）と同様であるのでその説明は省略する。
【０３２１】
＜符号化部＞
図２３は、この場合の符号化部２１５の主な構成例を示すブロック図である。この場合、符号化部２１５は、３Ｄデータを解像度に応じて分割して符号化し、複数の分割ビットストリームを生成する。また、３Ｄデータは、解像度に応じて階層化されており、符号化部２１５は、３Ｄデータをその階層毎に分割して符号化し、その複数の分割ビットストリームを生成するようにしてもよい。また、その３Ｄデータは、例えば、８分木構造を有するOctreeデータであるようにしてもよい。
【０３２２】
図２３に示されるように、この場合の符号化部２１５は、階層分割部４３１、LOD2符号化部４３２、LOD1符号化部４３３、LOD0符号化部４３４、セパレータ生成部４３５、およびマルチプレクサ４３６を有する。
【０３２３】
階層分割部４３１は、階層化された３Ｄデータである信号列（例えばOctreeデータ）を、その階層毎に分割し、階層毎の信号列（信号列（LOD2）、信号列（LOD1）、信号列（LOD0））を生成する。階層分割部４３１は、その信号列（LOD2）をLOD2符号化部４３２に供給し、信号列（LOD1）をLOD1符号化部４３３に供給し、信号列（LOD0）をLOD0符号化部４３４に供給する。
【０３２４】
また、階層分割部４３１は、例えば信号列をどのように分割したか、各部分信号列にどのような情報が含まれるか等の、信号列（３Ｄデータ）の分割に関する情報を分割情報としてセパレータ生成部４３５に供給する。
【０３２５】
LOD2符号化部４３２は、LOD2の信号列（LOD2）を符号化して分割ビットストリームであるLOD2ビットストリームを生成し、それをマルチプレクサ４３６に供給する。同様に、アトリビュート符号化部３９３は、アトリビュートデータを符号化してアトリビュートビットストリームを生成し、それをマルチプレクサ３９５に供給する。なお、LOD2符号化部４３２は、第１の実施の形態の部分領域符号化部３３２と同様に、３Ｄデータ（信号列（LOD2））を２次元空間にマッピングし、色フォーマットを変換して、２Ｄデータ用の符号化方式で符号化する。
【０３２６】
LOD1符号化部４３３およびLOD0符号化部４３４も、それぞれの階層の信号列に対して、LOD2符号化部４３２と同様の処理を行う。
【０３２７】
セパレータ生成部４３５は、第１の実施の形態のセパレータ生成部２７５（図８）等と同様に、ユニークなビットパタンを有するセパレータを生成し、階層分割部４３１から供給される分割情報に含まれる情報を、そのセパレータに含め、それをマルチプレクサ４３６に供給する。
【０３２８】
マルチプレクサ４３６は、LOD2符号化部４３２から供給されるLOD2ビットストリーム、LOD1符号化部４３３から供給されるLOD1ビットストリーム、LOD0符号化部４３４から供給されるLOD0ビットストリーム、および、セパレータ生成部４３５から供給されるセパレータを多重化し、１つのビットストリームを生成し、出力する。その際、マルチプレクサ４３６は、図３を参照して説明したように、各サブビットストリームを直列に接続し、サブビットストリーム同士の繋ぎ目の位置に、セパレータを配置する。換言するに、マルチプレクサ４３６は、各サブビットストリームを、セパレータを挟むように直列に接続する。
【０３２９】
このような階層分割部４３１乃至マルチプレクサ４３６は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０３３０】
以上のように、この場合も、３Ｄデータである信号列は、複数に分割されて符号化される。したがって、この場合の符号化部２１５も、第１の実施の形態の場合と同様の効果を得ることができる。
【０３３１】
また、上述のように、この場合も、第１の実施の形態の場合と同様にセパレータを生成し、ビットストリームに埋め込むので、第１の実施の形態と同様の効果を得ることができる。
【０３３２】
なお、以上においては、Octreeデータの階層数を３（LOD0乃至LOD2）として説明したが、この階層数は任意であり、２以下であってもよいし、４以上であってもよい。また、階層分割部４３１は、信号列を任意の数に分割することができる。この分割数は、信号列の階層数と同一であってもよいし、階層数より少なくてもよい。また、LOD2符号化部４３２乃至LOD0符号化部４３４のような符号化部は任意の数設けることができる。例えば、符号化部は、信号列の分割数と同数であってもよいし、分割数より多くてもよいし、少なくてもよい。符号化部が分割数より少ない場合、１の符号化部において時分割する等して複数の信号列を処理するようにすればよい。
【０３３３】
また、以上においては、供給される信号列（３Ｄデータ）が階層構造を有するように説明したが、これに限らず、信号列の解像度を変換して階層化する解像度変換部をさらに備えるようにしてもよい。つまり、階層構造を有していない信号列が供給され、解像度変換部がその信号列の解像度を変換して（例えばダウンサンプル等を行って）階層化し、符号化部２１５が、その解像度変換されて階層化された信号列を、階層毎に分割して符号化し、複数の分割ビットストリームを生成するようにしてもよい。
【０３３４】
このようにすることにより、非階層化の信号列に対しても上述のように処理を行うことができる。したがって、第１の実施の形態と同様の効果を得ることができる。
【０３３５】
＜符号化処理の流れ＞
この場合も符号化処理は、図９のフローチャートを参照して説明した場合と基本的に同様の流れで行われる。したがってその説明を省略する。
【０３３６】
＜信号列符号化処理の流れ＞
次に、図９のステップＳ１０５において実行されるこの場合の信号列符号化処理の流れの例を、図２４のフローチャートを参照して説明する。
【０３３７】
信号列符号化処理が開始されると、階層分割部４３１は、ステップＳ２６１において、信号列を階層毎（解像度毎）に分割する。
【０３３８】
ステップＳ２６２において、LOD2符号化部４３２乃至LOD0符号化部４３４は、各階層（各解像度）の信号列を符号化する。
【０３３９】
ステップＳ２６３において、セパレータ生成部４３５は、各階層（各解像度）のビットストリームに対応するセパレータを生成する。
【０３４０】
ステップＳ２６４において、マルチプレクサ４３６は、各階層（各解像度）のビットストリームとセパレータとを多重化する。
【０３４１】
ステップＳ２６４の処理が終了すると信号列符号化処理が終了し、処理は図９に戻る。
【０３４２】
以上のように各処理を実行することにより、３Ｄデータを複数に分割して符号化することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０３４３】
＜復号装置＞
この場合の復号装置は、図１１の場合と同様であるので、その説明は省略する。
【０３４４】
＜復号部＞
図２５は、この場合の復号部３０１の主な構成例を示すブロック図である。この場合の復号部３０１は、複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割データを、セパレータが解析されて得られた分割ビットストリームに対応する解像度に関する情報に基づいて合成する。図２５に示されるように、この場合の復号部３０１は、デマルチプレクサ４５１、セパレータ解析部４５２、LOD2復号部４５３、LOD1復号部４５４、LOD0復号部４５５、および階層合成部４５６を有する。
【０３４５】
デマルチプレクサ４５１は、復号装置３００に入力されるビットストリームを取得すると、それを逆多重化し、階層毎のビットストリーム（LOD2ビットストリーム、LOD1ビットストリーム、LOD0ビットストリーム）を得る。デマルチプレクサ４５１は、その各階層のビットストリームを、各階層に対応する復号部（LOD2復号部４５３乃至LOD0復号部４５５）に供給する。
【０３４６】
セパレータ解析部４５２は、セパレータ解析部３１２と同様の処理を行う。例えば、セパレータ解析部４５２は、デマルチプレクサ４５１に供給されるビットストリームにおいて、セパレータを検出し、その検出結果をデマルチプレクサ４５１に通知する。また、セパレータ解析部４５２は、検出したセパレータに含まれる情報を解析し、その解析した情報を分割情報として階層合成部４５６に供給する。
【０３４７】
LOD2復号部４５３は、供給されたLOD2ビットストリーム（分割ビットストリーム）を復号して信号列（LOD2）を生成し、それを階層合成部４５６に供給する。なお、LOD2復号部４５３は、第１の実施の形態の部分領域復号部３６３と同様に、分割ビットストリームを２Ｄデータ用の復号方式で復号し、色フォーマットを変換して、２Ｄデータを３次元空間にマッピングする。
【０３４８】
LOD1復号部４５４およびLOD0復号部４５５も、それぞれの階層のビットストリームに対して、LOD2復号部４５３と同様の処理を行う。
【０３４９】
階層合成部４５６は、LOD2復号部４５３から供給される信号列（LOD2）、LOD1復号部４５４から供給される信号列（LOD1）、およびLOD0復号部４５５から供給される信号列（LOD0）を合成し、１つの信号列（３Ｄデータ、例えばOctreeデータ等）を生成する。その際、階層合成部４５６は、セパレータ解析部４５２から供給される分割情報（つまり、分割ビットストリームに関する情報）に基づいてその合成を行う。階層合成部４５６は、生成した信号列を復号部３０１の外部（例えばボクセルデータ生成部３０２等）に供給する。
【０３５０】
なお、デマルチプレクサ４５１乃至階層合成部４５６は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０３５１】
以上のように、この場合も、ビットストリームは、複数に分割されて復号される。したがって、第１の実施の形態の場合と同様の効果を得ることができる。
【０３５２】
また、この場合もビットストリームには、第１の実施の形態の場合と同様のセパレータが埋め込まれており、復号部３０１は、そのセパレータを用いて復号処理を行う。したがって、第１の実施の形態と同様の効果を得ることができる。
【０３５３】
なお、符号化側において説明したように、Octreeデータの階層数は任意である。また、デマルチプレクサ４５１による分割数（ビットストリームの多重化数）も任意である。また、LOD2復号部４５３乃至LOD0復号部４５５のような復号部は任意の数設けることができる。復号部が分割数より少ない場合、１の復号部において時分割する等して複数のビットストリームを処理するようにすればよい。
【０３５４】
＜復号処理の流れ＞
この場合も復号処理は、図１３のフローチャートを参照して説明した場合と同様であるのでその説明は省略する。
【０３５５】
＜ビットストリーム復号処理の流れ＞
次に、図１３のステップＳ１４１において実行されるビットストリーム復号処理の流れの例を、図２６のフローチャートを参照して説明する。
【０３５６】
ビットストリーム復号処理が開始されると、セパレータ解析部４５２は、ステップＳ２８１において、ビットストリームにおいてセパレータを検出する。
【０３５７】
ステップＳ２８２において、セパレータ解析部４５２は、ステップＳ２８１において検出したセパレータを解析して分割情報を生成する。
【０３５８】
ステップＳ２８３において、デマルチプレクサ４５１は、セパレータに基づいてビットストリームをサブビットストリーム毎に分割する。すなわち、階層毎（各解像度）のビットストリームに分割される。
【０３５９】
ステップＳ２８４において、LOD2復号部４５３乃至LOD0復号部４５５は、各階層（各解像度）のビットストリームを復号して各階層（各解像度）の信号列を生成する。
【０３６０】
ステップＳ２８５において、階層合成部４５６は、分割情報に基づいて、ステップＳ２８４において生成された各階層（各解像度）の信号列を合成して１つの信号列を生成する。
【０３６１】
ステップＳ２８５の処理が終了すると、ビットストリーム復号処理が終了し、処理は図１３に戻る。
【０３６２】
以上のように各処理を実行することにより、３Ｄデータが複数に分割されて符号化されたビットストリームを、複数に分割して復号することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０３６３】
＜実施の形態の組み合わせ＞
以上の各実施の形態において説明した各手法は、適宜、互いに組み合わせて用いることができる。その組み合わせ方は任意である。
【０３６４】
＜符号化部＞
図２７は、上述した「空間領域の分割」、「属性情報の分割」、「空間解像度間の分割」を組み合わせた場合の符号化部２１５の主な構成例を示すブロック図である。この場合符号化部２１５は、図２７に示されるようなブロックを有する。
【０３６５】
入力された信号列は、階層分割部４７９により階層毎に分割される。各階層の信号列は、空間領域分割部４７６−１および空間領域分割部４７６−２によりそれぞれ２つの領域の信号列に分割される。さらに、各階層かつ各領域の信号列は、情報分割部４７１−１乃至情報分割部４７１−４により、それぞれ、ジオメトリデータとアトリビュートデータとに分割される。
【０３６６】
なお、以下において、空間領域分割部４７６−１と空間領域分割部４７６−２とを互いに区別して説明する必要がない場合、空間領域分割部４７６と称する。また、情報分割部４７１−１乃至情報分割部４７１−４を互いに区別して説明する必要がない場合、情報分割部４７１と称する。
【０３６７】
ジオメトリ符号化部４７２−１乃至ジオメトリ符号化部４７２−４は、それぞれの階層および部分領域について、ジオメトリデータを符号化し、ジオメトリビットストリームを生成する。アトリビュート符号化部４７３−１乃至アトリビュート符号化部４７３−４は、それぞれの階層および部分領域について、アトリビュートデータを符号化し、アトリビュートビットストリームを生成する。
【０３６８】
なお、以下において、ジオメトリ符号化部４７２−１乃至ジオメトリ符号化部４７２−４を互いに区別して説明する必要がない場合、ジオメトリ符号化部４７２と称する。また、アトリビュート符号化部４７３−１乃至アトリビュート符号化部４７３−４を互いに区別して説明する必要がない場合、アトリビュート符号化部４７３と称する。
【０３６９】
また、セパレータ生成部４８０は、階層分割部４７９から分割情報を取得し、各階層のビットストリームに対応するセパレータを生成する。また、セパレータ生成部４７７−１およびセパレータ生成部４７７−２は、それぞれの階層において、各部分領域のビットストリームに対応するセパレータを生成する。さらに、セパレータ生成部４７４−１乃至セパレータ生成部４７４−４は、それぞれの階層かつ部分領域において、ジオメトリビットストリームに対応するセパレータとアトリビュートビットストリームに対応するセパレータとを生成する。
【０３７０】
なお、以下において、セパレータ生成部４７４−１乃至セパレータ生成部４７４−４を互いに区別して説明する必要がない場合、セパレータ生成部４７４と称する。また、セパレータ生成部４７７−１およびセパレータ生成部４７７−２を互いに区別して説明する必要がない場合、セパレータ生成部４７７と称する。
【０３７１】
マルチプレクサ４７５−１乃至マルチプレクサ４７５−４は、それぞれの階層かつ部分領域において、ジオメトリビットストリーム、アトリビュートビットストリーム、およびセパレータを多重化し、１つのビットストリームを生成する。マルチプレクサ４７８−１およびマルチプレクサ４７８−２は、それぞれの階層において、各部分領域のビットストリームと、セパレータとを多重化し、１つのビットストリームを生成する。マルチプレクサ４８１は、各階層のビットストリームと、セパレータとを多重化し、１つのビットストリームを生成する。
【０３７２】
なお、以下において、マルチプレクサ４７５−１乃至マルチプレクサ４７５−４を互いに区別して説明する必要がない場合、マルチプレクサ４７５と称する。また、マルチプレクサ４７８−１およびマルチプレクサ４７８−２を互いに区別して説明する必要がない場合、マルチプレクサ４７８と称する。
【０３７３】
以上のように、階層毎の分割、部分領域毎の分割、および情報毎の分割を、階層的に組み合わせることにより、容易に分割数を増大させることができ、符号化の負荷の増大をより抑制することができる。
【０３７４】
なお、組み合わせの順は任意であり、上述の例に限定されない。また、組み合わせる数や各手法における分割数なども任意である。
【０３７５】
＜符号化処理の流れ＞
この場合も符号化処理は、図９のフローチャートを参照して説明した場合と基本的に同様の流れで行われる。したがってその説明を省略する。
【０３７６】
＜信号列符号化処理の流れ＞
次に、図９のステップＳ１０５において実行される信号列符号化処理の流れの例を、図２８および図２９のフローチャートを参照して説明する。
【０３７７】
信号列符号化処理が開始されると、階層分割部４７９は、ステップＳ３０１において、解像度毎に信号列を分割する。
【０３７８】
ステップＳ３０２において、空間領域分割部４７６は、処理対象の階層を選択する。
【０３７９】
ステップＳ３０３において、空間領域分割部４７６は、処理対象の階層において、３Ｄ空間上で領域分割する。
【０３８０】
ステップＳ３０４において、情報分割部４７１は、処理対象の部分領域を選択する。
【０３８１】
ステップＳ３０５において、情報分割部４７１は、処理対象の階層および部分領域において、信号列をジオメトリデータとアトリビュートデータとに分割する。
【０３８２】
ステップＳ３０６において、ジオメトリ符号化部４７２は、ジオメトリデータを符号化し、ジオメトリビットストリームを生成する。
【０３８３】
ステップＳ３０７において、アトリビュート符号化部４７３は、アトリビュートデータを符号化し、アトリビュートビットストリームを生成する。
【０３８４】
ステップＳ３０８において、セパレータ生成部４７４は、ステップＳ３０６において生成されたジオメトリビットストリームに対応する情報用セパレータと、ステップＳ３０７において生成されたアトリビュートビットストリームに対応する情報用セパレータとを生成する。
【０３８５】
ステップＳ３０９において、マルチプレクサ４７５は、ステップＳ３０６において生成されたジオメトリビットストリームと、ステップＳ３０７において生成されたアトリビュートビットストリームと、ステップＳ３０８において生成された各情報用セパレータとを多重化し、１つのビットストリームを生成する。
【０３８６】
ステップＳ３０９の処理が終了すると、処理は図２９のステップＳ３１１に進む。
【０３８７】
図２９のステップＳ３１１において、情報分割部４７１は、全ての部分領域を処理したか否かを判定する。未処理の部分領域が存在すると判定された場合、処理は図２８のステップＳ３０４に戻る。ステップＳ３０４において新たな部分領域が処理対象として選択され、それ以降の処理が実行される。つまり、ステップＳ３０４乃至ステップＳ３１１の各処理が各部分領域について実行される。
【０３８８】
そして、図２９のステップＳ３１１において、全ての部分領域を処理したと判定された場合、処理はステップＳ３１２に進む。
【０３８９】
ステップＳ３１２において、セパレータ生成部４７７は、処理対象の階層において、図２８のステップＳ３０９において生成された各サブビットストリームに対応する領域用セパレータを生成する。
【０３９０】
ステップＳ３１３において、マルチプレクサ４７８は、処理対象の階層において、図２８のステップＳ３０９において生成された各サブビットストリームと、ステップＳ３１２において生成された各領域用セパレータとを多重化し、１つのビットストリームを生成する。
【０３９１】
ステップＳ３１４におちえ、空間領域分割部４７６は、全ての階層を処理したか否かを判定する。未処理の階層が存在すると判定された場合、処理は図２８のステップＳ３０２に戻る。ステップＳ３０２において新たな階層が処理対象として選択され、それ以降の処理が実行される。つまり、ステップＳ３０２乃至ステップＳ３１４の処理が各階層について実行される。
【０３９２】
そして、図２９のステップＳ３１４において、全ての階層を処理したと判定された場合、処理はステップＳ３１５に進む。
【０３９３】
ステップＳ３１５において、セパレータ生成部４８０は、ステップＳ３１３において生成された各階層（各解像度）のビットストリームに対応する階層用セパレータを生成する。
【０３９４】
ステップＳ３１６において、マルチプレクサ４８１は、ステップＳ３１３において生成された各階層（各解像度）のビットストリームと、ステップＳ３１５において生成された各階層用セパレータとを多重化し、１つのビットストリームを生成する。
【０３９５】
ステップＳ３１６の処理が終了すると信号列符号化処理が終了し、処理は図９に戻る。
【０３９６】
以上のように各処理を実行することにより、３Ｄデータを複数に分割して符号化することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０３９７】
＜復号装置＞
この場合の復号装置は、図１１の場合と同様であるので、その説明は省略する。
【０３９８】
＜復号部＞
図３０は、上述した「空間領域の分割」、「属性情報の分割」、「空間解像度間の分割」を組み合わせた場合の復号部３０１の主な構成例を示すブロック図である。この場合復号部３０１は、図３０に示されるようなブロックを有する。
【０３９９】
入力されたビットストリームは、デマルチプレクサ５１９により逆多重化され、階層毎のビットストリームに分割される。各階層のビットストリームは、デマルチプレクサ５１６−１およびデマルチプレクサ５１６−２によりそれぞれ逆多重化され、２つの領域のビットストリームに分割される。さらに、各階層かつ各領域のビットストリームは、デマルチプレクサ５１１−１乃至デマルチプレクサ５１１−４により、それぞれ、ジオメトリビットストリームとアトリビュートビットストリームとに分割される。
【０４００】
なお、以下において、デマルチプレクサ５１６−１およびデマルチプレクサ５１６−２を互いに区別して説明する必要がない場合、デマルチプレクサ５１６と称する。また、デマルチプレクサ５１１−１乃至デマルチプレクサ５１１−４を互いに区別して説明する必要がない場合、デマルチプレクサ５１１と称する。
【０４０１】
ジオメトリ復号部５１３−１乃至ジオメトリ復号部５１３−４は、それぞれの階層および部分領域について、ジオメトリビットストリームを復号し、ジオメトリデータを生成する。アトリビュート復号部５１４−１乃至アトリビュート復号部５１４−４は、それぞれの階層および部分領域について、アトリビュートビットストリームを復号し、アトリビュートデータを生成する。
【０４０２】
なお、以下において、ジオメトリ復号部５１３−１乃至ジオメトリ復号部５１３−４を互いに区別して説明する必要がない場合、ジオメトリ復号部５１３と称する。また、アトリビュート復号部５１４−１乃至アトリビュート復号部５１４−４を互いに区別して説明する必要がない場合、アトリビュート復号部５１４と称する。
【０４０３】
また、セパレータ解析部５２０は、ビットストリームから階層用セパレータを検出して解析し、階層用分割情報を得る。また、セパレータ解析部５１７−１およびセパレータ解析部５１７−２は、それぞれの階層において、各部分領域のビットストリームから領域用セパレータを検出して解析し、領域用分割情報を得る。さらに、セパレータ解析部５１２−１乃至セパレータ解析部５１２−４は、それぞれの階層かつ部分領域において、ビットストリームから情報用セパレータを検出して解析し、情報用分割情報を得る。
【０４０４】
なお、以下において、セパレータ解析部５１２−１乃至セパレータ解析部５１２−４を互いに区別して説明する必要がない場合、セパレータ解析部５１２と称する。また、セパレータ解析部５１７−１およびセパレータ解析部５１７−２を互いに区別して説明する必要がない場合、セパレータ解析部５１７と称する。
【０４０５】
情報合成部５１５−１乃至情報合成部５１５−４は、それぞれの階層かつ部分領域において、情報用分割情報に基づいて、ジオメトリデータおよびアトリビュートデータを合成し、１つの信号列を生成する。空間領域合成部５１８−１および空間領域合成部５１８−２は、それぞれの階層において、領域用分割情報に基づいて、各部分領域の信号列を合成し、１つの信号列を生成する。階層合成部５２１は、階層用分割情報に基づいて、各階層の信号列を合成し、１つの信号列を生成する。
【０４０６】
なお、以下において、情報合成部５１５−１乃至情報合成部５１５−４を互いに区別して説明する必要がない場合、情報合成部５１５と称する。また、空間領域合成部５１８−１および空間領域合成部５１８−２を互いに区別して説明する必要がない場合、空間領域合成部５１８と称する。
【０４０７】
以上のように、階層毎の分割、部分領域毎の分割、および情報毎の分割を、階層的に組み合わせることにより、容易に分割数を増大させることができ、復号の負荷の増大をより抑制することができる。
【０４０８】
なお、組み合わせの順は任意であり、上述の例に限定されない。また、組み合わせる数や各手法における分割数なども任意である。
【０４０９】
＜復号処理の流れ＞
この場合も復号処理は、図１３のフローチャートを参照して説明した場合と基本的に同様の流れで行われる。したがってその説明を省略する。
【０４１０】
＜ビットストリーム復号処理の流れ＞
次に、図１３のステップＳ１４１において実行されるビットストリーム復号処理の流れの例を、図３１および図３２のフローチャートを参照して説明する。
【０４１１】
ビットストリーム復号処理が開始されると、セパレータ解析部５２０は、ステップＳ３３１において、入力されたビットストリームにおいて階層用セパレータを検出する。
【０４１２】
ステップＳ３３２において、セパレータ解析部５２０は、ステップＳ３３１において検出した階層用セパレータを解析して階層用分割情報を生成する。
【０４１３】
ステップＳ３３３において、デマルチプレクサ５１９は、階層用セパレータに基づいて解像度毎にビットストリームを分割する。
【０４１４】
ステップＳ３３４において、デマルチプレクサ５１６は、処理対象の階層を選択する。
【０４１５】
ステップＳ３３５において、セパレータ解析部５１７は、処理対象の階層のビットストリームにおいて領域用セパレータを検出する。
【０４１６】
ステップＳ３３６において、セパレータ解析部５１７は、検出した領域用セパレータを解析した領域用分割情報を生成する。
【０４１７】
ステップＳ３３７において、デマルチプレクサ５１６は、領域用セパレータに基づいて、部分領域毎にビットストリームを分割する。
【０４１８】
ステップＳ３３８において、デマルチプレクサ５１１は、処理対象の部分領域を選択する。
【０４１９】
ステップＳ３３９において、セパレータ解析部５１２は、情報用セパレータを検出する。
【０４２０】
ステップＳ３３９の処理が終了すると処理は図３２のステップＳ３４１に進む。
【０４２１】
図３２のステップＳ３４１において、セパレータ解析部５１２は、情報用セパレータを解析して、情報用分割情報を生成する。
【０４２２】
ステップＳ３４２において、デマルチプレクサ５１１は、情報用セパレータに基づいて、情報毎にビットストリームを分割する。
【０４２３】
ステップＳ３４３において、ジオメトリ復号部５１３は、各階層かつ各部分領域において、ジオメトリビットストリームを復号し、ジオメトリデータを生成する。
【０４２４】
ステップＳ３４４において、アトリビュート復号部５１４は、処理対象の階層かつ部分領域において、アトリビュートビットストリームを復号し、アトリビュートデータを生成する。
【０４２５】
ステップＳ３４５において、情報合成部５１５は、処理対象の階層かつ部分領域において、情報用分割情報に基づいて、ジオメトリデータとアトリビュートデータとを合成して、処理対象部分領域の信号列を生成する。
【０４２６】
ステップＳ３４６において、デマルチプレクサ５１１は、全ての部分領域を処理したか否かを判定する。
【０４２７】
未処理の部分領域が存在すると判定された場合、処理は、図３１のステップＳ３３８に戻る。ステップＳ３３８において新たな部分領域が処理対象として選択され、それ以降の処理が実行される。つまり、ステップＳ３３８乃至ステップＳ３４６の各処理が各部分領域について実行される。
【０４２８】
そして、ステップＳ３４６において全ての部分領域を処理したと判定された場合、処理はステップＳ３４７に進む。
【０４２９】
ステップＳ３４７において、空間領域合成部５１８は、領域用分割情報に基づいて、各部分領域の信号列を合成して処理対象階層の信号列を生成する。
【０４３０】
ステップＳ３４８において、デマルチプレクサ５１９は、全ての階層を処理したか否かが判定される。未処理の階層が存在すると判定された場合、処理は図３１のステップＳ３３４に戻る。ステップＳ３３４において、新たな階層が処理対象に選択され、それ以降の処理が実行される。つまり、ステップＳ３３４乃至ステップＳ３４８の各処理が各部分領域について実行される。
【０４３１】
ステップＳ３４９において、階層合成部５２１は、階層用分割情報に基づいて、各階層の信号列を合成して信号列を生成する。
【０４３２】
ステップＳ３４９の処理が終了すると、ビットストリーム復号処理が終了し、処理は図１３に戻る。
【０４３３】
以上のように各処理を実行することにより、３Ｄデータが複数に分割されて符号化されたビットストリームを、複数に分割して復号することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０４３４】
＜５．第４の実施の形態＞
＜時間方向の分割＞
次に、図５に示される表の上から４番目の行（項目名の行を除く）（左端の列が「４」の行）に示される「時間方向の分割」を行う場合について説明する。
【０４３５】
＜符号化装置＞
符号化装置の構成は、この場合も、＜２．第１の実施の形態＞の場合（図６）と同様であるのでその説明は省略する。
【０４３６】
＜符号化部＞
図３３は、この場合の符号化部２１５の主な構成例を示すブロック図である。この場合、符号化部２１５は、複数のフレームからなる３Ｄデータをフレーム毎に分割して符号化し、複数の分割ビットストリームを生成するように構成される。
【０４３７】
図３３に示されるように、この場合の符号化部２１５は、フレーム分割部５４１、フレーム符号化部５４２−１、フレーム符号化部５４２−２、セパレータ生成部５４３、およびマルチプレクサ５４４を有する。
【０４３８】
フレーム分割部５４１は、複数フレームからなる（すなわち動画像の）信号列（例えばOctreeデータ）を、そのフレーム毎に分割し、フレーム単位信号列を生成する。フレーム分割部５４１は、各フレーム単位信号列を、フレーム符号化部５４２−１およびフレーム符号化部５４２−２に供給する。フレーム符号化部５４２−１およびフレーム符号化部５４２−２を互いに区別して説明する必要がない場合、フレーム符号化部５４２と称する。
【０４３９】
また、フレーム分割部５４１は、例えば信号列をどのように分割したか、各部分信号列にどのような情報が含まれるか等の、信号列（３Ｄデータ）の分割に関する情報を分割情報としてセパレータ生成部５４３に供給する。
【０４４０】
フレーム符号化部５４２は、フレーム単位信号列を符号化してサブビットストリーム（分割ビットストリーム）を生成し、それをマルチプレクサ５４４に供給する。フレーム符号化部５４２は、第１の実施の形態の部分領域符号化部３３２と同様に、３Ｄデータ（フレーム単位信号列）を２次元空間にマッピングし、色フォーマットを変換して、２Ｄデータ用の符号化方式で符号化する。なお、図３３においては、フレーム符号化部５４２を２つ示しているが、フレーム符号化部５４２の数は任意である。
【０４４１】
セパレータ生成部５４３は、第１の実施の形態のセパレータ生成部２７５（図８）等と同様に、ユニークなビットパタンを有するセパレータを生成し、フレーム分割部５４１から供給される分割情報に含まれる情報を、そのセパレータに含め、それをマルチプレクサ５４４に供給する。
【０４４２】
マルチプレクサ５４４は、フレーム符号化部５４２から供給されるフレーム毎のサブビットストリーム、および、セパレータ生成部５４３から供給される各フレーム用のセパレータを多重化し、１つのビットストリームを生成し、出力する。その際、マルチプレクサ５４４は、図３を参照して説明したように、各サブビットストリームを直列に接続し、サブビットストリーム同士の繋ぎ目の位置に、セパレータを配置する。換言するに、マルチプレクサ５４４は、各サブビットストリームを、セパレータを挟むように直列に接続する。
【０４４３】
このようなフレーム分割部５４１乃至マルチプレクサ５４４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０４４４】
以上のように、この場合も、３Ｄデータである信号列は、フレーム毎に分割されて符号化される。したがって、この場合の符号化部２１５も、第１の実施の形態の場合と同様の効果を得ることができる。
【０４４５】
また、上述のように、この場合も、第１の実施の形態の場合と同様にセパレータを生成し、ビットストリームに埋め込むので、第１の実施の形態と同様の効果を得ることができる。
【０４４６】
＜符号化処理の流れ＞
この場合も符号化処理は、図９のフローチャートを参照して説明した場合と基本的に同様の流れで行われる。したがってその説明を省略する。
【０４４７】
＜信号列符号化処理の流れ＞
次に、図９のステップＳ１０５において実行されるこの場合の信号列符号化処理の流れの例を、図３４のフローチャートを参照して説明する。
【０４４８】
信号列符号化処理が開始されると、フレーム分割部５４１は、ステップＳ３６１において、信号列をフレーム毎に分割する。
【０４４９】
ステップＳ３６２において、フレーム符号化部５４２は、信号列をフレーム毎に符号化する。
【０４５０】
ステップＳ３６３において、セパレータ生成部５４３は、各サブビットストリームに対応するセパレータを生成する。
【０４５１】
ステップＳ３６４において、マルチプレクサ５４４は、各サブビットストリームとセパレータとを多重化する。
【０４５２】
ステップＳ３６４の処理が終了すると信号列符号化処理が終了し、処理は図９に戻る。
【０４５３】
以上のように各処理を実行することにより、３Ｄデータを複数に分割して符号化することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０４５４】
＜復号装置＞
この場合の復号装置は、図１１の場合と同様であるので、その説明は省略する。
【０４５５】
＜復号部＞
図３５は、この場合の復号部３０１の主な構成例を示すブロック図である。この場合の復号部３０１は、複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割データを、セパレータが解析されて得られた、分割ビットストリームに対応するフレームの時刻に関する情報に基づいて合成する。図３５に示されるように、この場合の復号部３０１は、デマルチプレクサ５５１、セパレータ解析部５５２、フレーム復号部５５３−１、フレーム復号部５５３−２、およびフレーム合成部５５４を有する。
【０４５６】
デマルチプレクサ５５１は、復号装置３００に入力されるビットストリームを取得すると、それを逆多重化し、フレーム毎のビットストリーム（サブビットストリーム）を得る。デマルチプレクサ５５１は、その各サブビットストリームを、フレーム復号部５５３−１およびフレーム復号部５５３−２に供給する。フレーム復号部５５３−１およびフレーム復号部５５３−２を互いに区別して説明する必要がない場合、フレーム復号部５５３と称する。
【０４５７】
セパレータ解析部５５２は、セパレータ解析部３１２と同様の処理を行う。例えば、セパレータ解析部５５２は、デマルチプレクサ５５１に供給されるビットストリームにおいて、セパレータを検出し、その検出結果をデマルチプレクサ５５１に通知する。また、セパレータ解析部５５２は、検出したセパレータに含まれる情報を解析し、その解析した情報を分割情報としてフレーム合成部５５４に供給する。
【０４５８】
フレーム復号部５５３は、供給されたサブビットストリーム（分割ビットストリーム）を復号してフレーム単位信号列（例えばOctreeデータ）を生成し、それをフレーム合成部５５４に供給する。なお、フレーム復号部５５３は、第１の実施の形態の部分領域復号部３６３と同様に、分割ビットストリームを２Ｄデータ用の復号方式で復号し、色フォーマットを変換して、２Ｄデータを３次元空間にマッピングする。
【０４５９】
図３５においては、２つのフレーム復号部５５３が示されているが、フレーム復号部５５３の数は任意である。単数でもよいし、３つ以上であってもよい。
【０４６０】
フレーム合成部５５４は、各フレーム復号部５５３から供給されるフレーム単位信号列を合成し、１つの信号列（３Ｄデータ、例えばOctreeデータ等）を生成する。その際、フレーム合成部５５４は、セパレータ解析部５５２から供給される分割情報（つまり、分割ビットストリームに関する情報）に基づいてその合成を行う。フレーム合成部５５４は、生成した信号列を復号部３０１の外部（例えばボクセルデータ生成部３０２等）に供給する。
【０４６１】
なお、デマルチプレクサ５５１乃至フレーム合成部５５４は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０４６２】
以上のように、この場合も、ビットストリームは、複数に分割されて復号される。したがって、第１の実施の形態の場合と同様の効果を得ることができる。
【０４６３】
また、この場合もビットストリームには、第１の実施の形態の場合と同様のセパレータが埋め込まれており、復号部３０１は、そのセパレータを用いて復号処理を行う。したがって、第１の実施の形態と同様の効果を得ることができる。
【０４６４】
＜復号処理の流れ＞
この場合も復号処理は、図１３のフローチャートを参照して説明した場合と同様であるのでその説明は省略する。
【０４６５】
＜ビットストリーム復号処理の流れ＞
次に、図１３のステップＳ１４１において実行されるビットストリーム復号処理の流れの例を、図３５のフローチャートを参照して説明する。
【０４６６】
ビットストリーム復号処理が開始されると、セパレータ解析部５５２は、ステップＳ３８１において、ビットストリームにおいてセパレータを検出する。
【０４６７】
ステップＳ３８２において、セパレータ解析部５５２は、ステップＳ３８１において検出したセパレータを解析して分割情報を生成する。
【０４６８】
ステップＳ３８３において、デマルチプレクサ５５１は、セパレータに基づいてビットストリームをサブビットストリーム毎に分割する。すなわち、フレーム毎のビットストリームに分割される。
【０４６９】
ステップＳ３８４において、フレーム復号部５５３は、各フレームのビットストリームを復号してフレーム単位信号列を生成する。
【０４７０】
ステップＳ３８５において、フレーム合成部５５４は、分割情報に基づいて、ステップＳ３８４において生成されたフレーム単位信号列を再生順に合成して１つの信号列を生成する。
【０４７１】
ステップＳ３８５の処理が終了すると、ビットストリーム復号処理が終了し、処理は図１３に戻る。
【０４７２】
以上のように各処理を実行することにより、３Ｄデータが複数に分割されて符号化されたビットストリームを、複数に分割して復号することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０４７３】
＜６．第５の実施の形態＞
＜Mesh-Texture＞
以上においては、本技術をポイントクラウドデータの処理に適用する場合について説明したが、本技術は、任意の３Ｄデータに適用することができる。例えば、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するMeshデータの処理にも適用することができる。
【０４７４】
次に、図５に示される表の上から６番目の行（項目名の行を除く）（左端の列が「６」の行）に示される「Mesh-Textureデータ」を行う場合について説明する。
【０４７５】
＜符号化装置＞
図３７は、本技術を適用した情報処理装置の一実施の形態である符号化装置の主な構成例を示すブロック図である。図３７に示される符号化装置６００は、符号化対象として入力されたMeshデータを符号化し、そのビットストリームを生成する。その際、符号化装置６００は、以下に説明するように本技術を適用した方法でこの符号化を行う。
【０４７６】
符号化装置６００は、３Ｄデータを、３次元構造の頂点に関する情報を含む頂点データと、その頂点の接続に関する情報を含む接続データと、３次元構造のテクスチャに関する情報を含むテクスチャデータとに分割して符号化し、複数の分割ビットストリームを生成する。図６に示されるように、符号化装置６００は、情報分割部６１１、頂点データ符号化部６１２、接続データ符号化部６１３、テクスチャデータ符号化部６１４、セパレータ生成部６１５、およびマルチプレクサ６１６を有する。
【０４７７】
情報分割部６１１は、供給されるMeshデータをその情報の種類毎に分割し、頂点データ（Vertex data）と、接続データ（Face data）と、テクスチャデータ（Texture data）とに分割する。情報分割部６１１は、頂点データを頂点データ符号化部６１２に供給する。また、情報分割部６１１は、接続データを接続データ符号化部６１３に供給する。また、情報分割部６１１は、テクスチャデータをテクスチャデータ符号化部６１４に供給する。
【０４７８】
また、情報分割部６１１は、例えば信号列をどのように分割したか、各部分信号列にどのような情報が含まれるか等の、信号列（３Ｄデータ）の分割に関する情報を分割情報としてセパレータ生成部６１５に供給する。
【０４７９】
頂点データ符号化部６１２は、頂点データを符号化して頂点データビットストリーム（分割ビットストリーム）を生成し、それをマルチプレクサ６１６に供給する。頂点データ符号化部６１２は、第１の実施の形態の部分領域符号化部３３２と同様に、３Ｄデータ（フレーム単位信号列）を２次元空間にマッピングし、色フォーマットを変換して、２Ｄデータ用の符号化方式で符号化する。
【０４８０】
接続データ符号化部６１３およびテクスチャデータ符号化部６１４は、それぞれのデータ（接続データまたはテクスチャデータ）に対して、頂点データ符号化部６１２と同様に処理を行う。つまり、接続データ符号化部６１３は、接続データを符号化し、接続データビットストリームをマルチプレクサ６１６に供給する。また、テクスチャデータ符号化部６１４は、テクスチャデータを符号化し、テクスチャデータビットストリームをマルチプレクサ６１６に供給する。
【０４８１】
セパレータ生成部６１５は、第１の実施の形態のセパレータ生成部２７５（図８）等と同様に、ユニークなビットパタンを有するセパレータを生成し、情報分割部６１１から供給される分割情報に含まれる情報を、そのセパレータに含め、それをマルチプレクサ６１６に供給する。
【０４８２】
マルチプレクサ６１６は、頂点データ符号化部６１２から供給される頂点データビットストリーム、接続データ符号化部６１３から供給される接続データビットストリーム、テクスチャデータ符号化部６１４から供給されるテクスチャデータビットストリーム、並びに、セパレータ生成部６１５から供給されるセパレータを多重化し、１つのビットストリームを生成し、出力する。その際、マルチプレクサ６１６は、図３を参照して説明したように、各サブビットストリームを直列に接続し、サブビットストリーム同士の繋ぎ目の位置に、セパレータを配置する。換言するに、マルチプレクサ６１６は、各サブビットストリームを、セパレータを挟むように直列に接続する。
【０４８３】
なお、テクスチャデータをさらに部品毎に分割して符号化するようにしてもよい。例えば、図３８のＡに示されるようなテクスチャを含む３Ｄデータを２次元空間にマッピングする場合、テクスチャデータは、図３８のＢに示されるように、その部品毎に展開される。したがって、テクスチャデータを、その部品単位にさらに分割し、符号化するようにしてもよい。このようにすることにより、符号化・復号の処理の並列度が高くなるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０４８４】
＜符号化処理の流れ＞
この符号化装置６００による符号化処理の流れの例を、図３９のフローチャートを参照して説明する。
【０４８５】
符号化処理が開始されると、デマルチプレクサ６６１は、ステップＳ４０１において、Meshデータの頂点データと接続データとテクスチャデータを分割する。
【０４８６】
ステップＳ４０２において、頂点データ符号化部６１２は、頂点データを符号化する。
【０４８７】
ステップＳ４０３において、接続データ符号化部６１３は、接続データを符号化する。
【０４８８】
ステップＳ４０４において、テクスチャデータ符号化部６１４は、テクスチャデータを符号化する。
【０４８９】
ステップＳ４０５において、セパレータ生成部６１５は、頂点データビットストリームに対応するセパレータと、接続データビットストリームに対応するセパレータと、テクスチャデータビットストリームに対応するセパレータとを生成する。
【０４９０】
ステップＳ４０６において、マルチプレクサ６１６は、頂点データビットストリーム接続データビットストリームとテクスチャデータビットストリームとセパレータとを多重化する。
【０４９１】
ステップＳ４０６の処理が終了すると符号化処理が終了する。
【０４９２】
以上のように各処理を実行することにより、３Ｄデータを複数に分割して符号化することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０４９３】
＜復号装置＞
図４０は、本技術を適用した情報処理装置の一実施の形態である復号装置の主な構成例を示すブロック図である。図４０に示される復号装置６５０は、図３７の符号化装置６００に対応する復号装置であり、例えばこの符号化装置６００により生成されたMeshの符号化データを復号し、Meshデータを復元する。
【０４９４】
復号装置６５０は、複数の分割ビットストリームがそれぞれ復号されて得られる、その３次元構造の頂点に関する情報を含む頂点データと、その頂点の接続に関する情報を含む接続データと、その３次元構造のテクスチャに関する情報を含むテクスチャデータとを、セパレータが解析されて得られた情報の種類に関する情報に基づいて合成する。図４０に示されるように、この場合の復号装置６５０は、デマルチプレクサ６６１、セパレータ解析部６６２、頂点データ復号部６６３、接続データ復号部６６４、テクスチャデータ復号部６６５、および情報合成部６６６を有する。
【０４９５】
デマルチプレクサ６６１は、復号装置６５０に入力されるビットストリームを取得すると、それを逆多重化し、頂点データビットストリーム、接続データビットストリーム、テクスチャデータビットストリームに分割し、それぞれ、頂点データ復号部６６３、接続データ復号部６６４、およびテクスチャデータ復号部６６５に供給する。
【０４９６】
セパレータ解析部６６２は、デマルチプレクサ６６１に供給されるビットストリームにおいて、セパレータを検出し、その検出結果をデマルチプレクサ６６１に通知する。また、セパレータ解析部６６２は、検出したセパレータに含まれる情報を解析し、その解析した情報を分割情報として情報合成部６６６に供給する。
【０４９７】
頂点データ復号部６６３は、供給された頂点データビットストリーム（分割ビットストリーム）を復号して頂点データを生成し、それを情報合成部６６６に供給する。なお、頂点データ復号部６６３は、第１の実施の形態の部分領域復号部３６３と同様に、分割ビットストリームを２Ｄデータ用の復号方式で復号し、色フォーマットを変換して、２Ｄデータを３次元空間にマッピングする。
【０４９８】
接続データ復号部６６４は、供給された接続データビットストリーム（分割ビットストリーム）を復号して接続データを生成し、それを情報合成部６６６に供給する。なお、接続データ復号部６６４は、第１の実施の形態の部分領域復号部３６３と同様に、分割ビットストリームを２Ｄデータ用の復号方式で復号し、色フォーマットを変換して、２Ｄデータを３次元空間にマッピングする。
【０４９９】
テクスチャデータ復号部６６５は、供給されたテクスチャデータビットストリーム（分割ビットストリーム）を復号してテクスチャデータを生成し、それを情報合成部６６６に供給する。なお、テクスチャデータ復号部６６５は、第１の実施の形態の部分領域復号部３６３と同様に、分割ビットストリームを２Ｄデータ用の復号方式で復号し、色フォーマットを変換して、２Ｄデータを３次元空間にマッピングする。
【０５００】
情報合成部６６６は、頂点データ復号部６６３から供給される頂点データと、接続データ復号部６６４から供給される接続データと、テクスチャデータ復号部６６５から供給されるテクスチャデータとを合成し、１つの信号列（３Ｄデータ、例えばMeshデータ等）を生成する。その際、情報合成部６６６は、セパレータ解析部６６２から供給される分割情報（つまり、分割ビットストリームに関する情報）に基づいてその合成を行う。情報合成部６６６は、生成した信号列を復号装置６５０の外部に供給する。
【０５０１】
なお、デマルチプレクサ６６１乃至情報合成部６６６は、どのような構成を有するようにしてもよいが、例えば、CPU、ROM、RAM等を有し、CPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、各処理を行うようにしてもよい。
【０５０２】
以上のように、この場合も、ビットストリームは、複数に分割されて復号される。したがって、第１の実施の形態の場合と同様の効果を得ることができる。
【０５０３】
また、この場合もビットストリームには、第１の実施の形態の場合と同様のセパレータが埋め込まれており、復号装置６５０は、そのセパレータを用いて復号処理を行う。したがって、第１の実施の形態と同様の効果を得ることができる。
【０５０４】
なお、復号装置６５０が、複数の分割ビットストリームがそれぞれ復号されて得られる、頂点データと、接続データと、部品毎のテクスチャデータとを、解析部によりセパレータが解析されて得られた情報の種類に関する情報に基づいて合成するようにしてもよい。このようにすることにより、符号化・復号の処理の並列度が高くなるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０５０５】
＜復号処理の流れ＞
この場合の復号処理の流れの例を、図４１のフローチャートを参照して説明する。
【０５０６】
復号処理が開始されると、セパレータ解析部６６２は、ステップＳ４２１において、ビットストリームにおいてセパレータを検出する。
【０５０７】
ステップＳ４２２において、セパレータ解析部６６２は、ステップＳ４２１において検出したセパレータを解析して分割情報を生成する。
【０５０８】
ステップＳ４２３において、デマルチプレクサ６６１は、セパレータに基づいてビットストリームをサブビットストリーム毎に分割する。すなわち、頂点データビットストリームと接続データビットストリームと、テクスチャデータビットストリームとに分割される。
【０５０９】
ステップＳ４２４において、頂点データ復号部６６３は、頂点データビットストリームを復号する。
【０５１０】
ステップＳ４２５において、接続データ復号部６６４は、接続データビットストリームを復号する。
【０５１１】
ステップＳ４２６において、テクスチャデータ復号部６６５は、テクスチャデータビットストリームを復号する。
【０５１２】
ステップＳ４２７において、情報合成部６６６は、分割情報に基づいて頂点データと接続データとテクスチャデータとを合成してMeshデータを生成する。
【０５１３】
ステップＳ４２７の処理が終了すると、復号処理が終了する。
【０５１４】
以上のように各処理を実行することにより、３Ｄデータが複数に分割されて符号化されたビットストリームを、複数に分割して復号することができるので、３Ｄデータの符号化・復号の負荷の増大を抑制することができる。
【０５１５】
＜７．その他＞
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
【０５１６】
＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０５１７】
図４２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０５１８】
図４２に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【０５１９】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【０５２０】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【０５２１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０５２２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【０５２３】
＜補足＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０５２４】
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０５２５】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０５２６】
また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
【０５２７】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０５２８】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０５２９】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０５３０】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０５３１】
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０５３２】
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０５３３】
なお、本技術は以下のような構成も取ることができる。
（１）  ３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する符号化部
を備える情報処理装置。
（２）  前記セパレータは、ユニークなビットパタンを有し、自身の位置により前記分割ビットストリームの繋ぎ目の位置を示し、
前記符号化部は、前記複数の分割ビットストリームのそれぞれを、前記セパレータを挟むように直列に接続することにより、前記セパレータを各分割ビットストリームの繋ぎ目に配置するように構成される
（１）に記載の情報処理装置。
（３）  前記セパレータは、自身に対応する分割ビットストリームに関する情報をさらに含む
（２）に記載の情報処理装置。
（４）  前記分割ビットストリームに関する情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の位置を示す位置情報を含む
（３）に記載の情報処理装置。
（５）  前記位置情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の開始位置を示す情報を含む
（４）に記載の情報処理装置。
（６）  前記位置情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の範囲を示す情報をさらに含む
（５）に記載の情報処理装置。
（７）  前記分割ビットストリームに関する情報は、前記分割ビットストリームの内容に関する情報を含む
（３）乃至（５）のいずれかに記載の情報処理装置。
（８）  前記分割ビットストリームに関する情報は、前記分割ビットストリームに対応するフレームの時刻に関する情報を含む
（３）乃至（７）のいずれかに記載の情報処理装置。
（９）  前記分割ビットストリームに関する情報は、前記分割ビットストリームのデータサイズに関する情報を含む
（３）乃至（８）のいずれかに記載の情報処理装置。
（１０）  前記分割ビットストリームに関する情報は、前記分割ビットストリームを生成する符号化に使用された符号化方法に関する情報を含む
（３）乃至（９）のいずれかに記載の情報処理装置。
（１１）  前記分割ビットストリームに関する情報は、前記分割ビットストリームを生成する符号化において適用された予測方法に関する情報を含む
（３）乃至（１０）のいずれかに記載の情報処理装置。
（１２）  前記分割ビットストリームに関する情報は、前記分割ビットストリームを生成する符号化における予測の参照先を示す情報を含む
（１１）に記載の情報処理装置。
（１３）  前記分割ビットストリームに関する情報は、前記分割ビットストリームに対応する解像度に関する情報を含む
（３）乃至（１２）のいずれかに記載の情報処理装置。
（１４）  前記分割ビットストリームに関する情報は、前記分割ビットストリームを復号して得られるデータのカラーサンプリングのタイプを示す情報を含む
（３）乃至（１３）のいずれかに記載の情報処理装置。
（１５）  前記分割ビットストリームに関する情報は、前記分割ビットストリームを復号して得られるデータのビット幅を示す情報を含む
（３）乃至（１４）のいずれかに記載の情報処理装置。
（１６）  前記セパレータを生成する生成部をさらに備え、
前記符号化部は、前記生成部により生成された前記セパレータを、各分割ビットストリームの繋ぎ目に配置するように構成される
（２）乃至（１５）のいずれかに記載の情報処理装置。
（１７）  前記符号化部は、前記３Ｄデータを２次元構造を表す２Ｄデータに変換し、前記２Ｄデータを前記２次元構造に基づいて分割して符号化することにより、前記複数の分割ビットストリームを生成する
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）  前記符号化部は、前記３Ｄデータを前記３次元構造に基づいて分割し、得られた複数の分割３Ｄデータのそれぞれを２次元構造を表す分割２Ｄデータに変換し、得られた複数の前記分割２Ｄデータのそれぞれを符号化することにより、前記複数の分割ビットストリームを生成する
（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）  前記符号化部は、前記３Ｄデータを、ポイントクラウドの各ポイントの位置を示すジオメトリデータと、前記ポイントクラウドの各ポイントの属性情報を示すアトリビュートデータとに分割して符号化し、前記複数の分割ビットストリームを生成する
（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）  前記符号化部は、前記アトリビュートデータをさらに属性毎に分割して符号化する
（１９）に記載の情報処理装置。
（２１）  前記符号化部は、前記３Ｄデータを解像度に応じて分割して符号化し、前記複数の分割ビットストリームを生成する
（１）乃至（２０）のいずれかに記載の情報処理装置。
（２２）  前記３Ｄデータは、解像度に応じて階層化されており、
前記符号化部は、前記３Ｄデータを階層毎に分割して符号化し、前記複数の分割ビットストリームを生成するように構成される
（２１）に記載の情報処理装置。
（２３）  前記３Ｄデータは、８分木構造を有するOctreeデータである
（２２）に記載の情報処理装置。
（２４）  前記３Ｄデータの解像度を変換して階層化する解像度変換部をさらに備え、
前記符号化部は、前記解像度変換部により解像度変換されて階層化された前記３Ｄデータを、階層毎に分割して符号化し、前記複数の分割ビットストリームを生成するように構成される
（２２）および（２３）に記載の情報処理装置。
（２５）  前記符号化部は、複数のフレームからなる前記３Ｄデータをフレーム毎に分割して符号化し、前記複数の分割ビットストリームを生成するように構成される
（１）乃至（２４）のいずれかに記載の情報処理装置。
（２６）  前記符号化部は、前記３Ｄデータを、前記３次元構造の頂点に関する情報を含む頂点データと、前記頂点の接続に関する情報を含む接続データと、前記３次元構造のテクスチャに関する情報を含むテクスチャデータとに分割して符号化し、前記複数の分割ビットストリームを生成する
（１）乃至（２５）のいずれかに記載の情報処理装置。
（２７）  前記符号化部は、前記テクスチャデータをさらに部品毎に分割して符号化する
（２６）に記載の情報処理装置。
（２８）  ３次元構造を表す３Ｄデータを複数に分割して符号化し、得られた複数の分割ビットストリームを多重化し、分割ビットストリームの繋ぎ目の位置を示すセパレータを含む１つのビットストリームを生成する
情報処理方法。
【０５３４】
（３１）  ３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析する解析部と、
前記解析部により解析された前記セパレータに含まれる情報に基づいて、前記ビットストリームを分割ビットストリーム毎に分割して復号する復号部と
を備える情報処理装置。
（３２）  前記復号部は、前記セパレータが示す前記位置において前記ビットストリームを分割する
（３１）に記載の情報処理装置。
（３３）  前記セパレータは、ユニークなビットパタンを有し、自身の位置により前記位置を示し、
前記解析部は、前記ビットパタンを検出することにより前記セパレータを検出し、
前記復号部は、前記解析部により検出された前記セパレータの位置において前記ビットストリームを分割するように構成される
（３２）に記載の情報処理装置。
（３４）  前記セパレータは、自身に対応する分割ビットストリームに関する情報をさらに含み、
前記解析部は、前記セパレータを解析して前記分割ビットストリームに関する情報を得るように構成される
（３３）に記載の情報処理装置。
（３５）  前記分割ビットストリームに関する情報は、前記分割ビットストリームのデータサイズに関する情報を含み、
前記復号部は、前記解析部により前記セパレータが解析されて得られた前記データサイズに関する情報に基づいて、前記分割ビットストリームを復号する
（３４）に記載の情報処理装置。
（３６）  前記分割ビットストリームに関する情報は、前記分割ビットストリームの復号方法に関する情報を含み、
前記復号部は、前記解析部により前記セパレータが解析されて得られた前記復号方法に関する情報により示される復号方法を用いて、前記分割ビットストリームを復号する
（３４）または（３５）に記載の情報処理装置。
（３７）  前記分割ビットストリームに関する情報は、前記分割ビットストリームの復号において適用される予測方法に関する情報を含み、
前記復号部は、前記解析部により前記セパレータが解析されて得られた前記予測方法に関する情報により示される予測方法を用いて、前記分割ビットストリームを復号する
（３４）乃至（３６）のいずれかに記載の情報処理装置。
（３８）  前記分割ビットストリームに関する情報は、前記分割ビットストリームの復号において行われる予測の参照先を示す情報を含み、
前記復号部は、前記解析部により前記セパレータが解析されて得られた前記参照先を示す情報により示される参照先を参照して予測を行い、前記分割ビットストリームを復号する
（３４）乃至（３７）のいずれかに記載の情報処理装置。
（３９）  前記分割ビットストリームに関する情報は、前記分割ビットストリームを復号して得られるデータのカラーサンプリングのタイプを示す情報を含み、
前記復号部は、前記解析部により前記セパレータが解析されて得られた前記カラーサンプリングのタイプを示す情報により示されるカラーサンプリングのタイプのデータを得るように、前記分割ビットストリームを復号する
（３４）乃至（３８）のいずれかに記載の情報処理装置。
（４０）  前記分割ビットストリームに関する情報は、前記分割ビットストリームを復号して得られるデータのビット幅を示す情報を含み、
前記復号部は、前記解析部により前記セパレータが解析されて得られた前記ビット幅を示す情報により示されるビット幅のデータを得るように、前記分割ビットストリームを復号する
（３４）乃至（３９）のいずれかに記載の情報処理装置。
（４１）  前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記分割ビットストリームに関する情報に基づいて合成する合成部をさらに備える
（３４）乃至（４０）のいずれかに記載の情報処理装置。
（４２）  前記分割ビットストリームに関する情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の位置を示す位置情報を含み、
前記合成部は、前記複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記位置情報に基づいて合成する
（４１）に記載の情報処理装置。
（４３）  前記位置情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の開始位置を示す情報を含み、
前記合成部は、前記複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記開始位置を示す情報に基づいて合成する
（４２）に記載の情報処理装置。
（４４）  前記位置情報は、前記３Ｄデータの３次元構造における、前記分割ビットストリームに対応する部分の範囲を示す情報をさらに含み、
前記合成部は、前記複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記開始位置を示す情報と前記範囲を示す情報とに基づいて合成する
（４３）に記載の情報処理装置。
（４５）  前記位置情報は、前記３Ｄデータの３次元構造における前記分割ビットストリームに対応する部分の位置を、２次元構造において示す情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる、２次元構造を表す複数の分割２Ｄデータを、前記解析部により前記セパレータが解析されて得られた前記位置情報に基づいて合成する
（４２）乃至（４４）のいずれかに記載の情報処理装置。
（４６）  前記位置情報は、前記３Ｄデータの３次元構造における前記分割ビットストリームに対応する部分の位置を、前記３次元構造において示す情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割３Ｄデータを、前記解析部により前記セパレータが解析されて得られた前記位置情報に基づいて合成する
（４２）乃至（４５）のいずれかに記載の情報処理装置。
（４７）  前記分割ビットストリームに関する情報は、前記分割ビットストリームの属性に関する情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる、ポイントクラウドの各ポイントの位置を示すジオメトリデータと、前記ポイントクラウドの各ポイントの属性情報を示すアトリビュートデータとを、前記解析部により前記セパレータが解析されて得られた前記属性に関する情報に基づいて合成する
（４１）乃至（４６）のいずれかに記載の情報処理装置。
（４８）  前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる、前記ジオメトリデータと、属性毎のアトリビュートデータとを、前記解析部により前記セパレータが解析されて得られた前記属性に関する情報に基づいて合成する
（４７）に記載の情報処理装置。
（４９）  前記分割ビットストリームに関する情報は、前記分割ビットストリームに対応する解像度に関する情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記解像度に関する情報に基づいて合成する
（４１）乃至（４８）のいずれかに記載の情報処理装置。
（５０）  前記分割ビットストリームに関する情報は、前記分割ビットストリームに対応するフレームの時刻に関する情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる複数の分割データを、前記解析部により前記セパレータが解析されて得られた前記フレームの時刻に関する情報に基づいて合成する
（４１）乃至（４９）のいずれかに記載の情報処理装置。
（５１）  前記分割ビットストリームに関する情報は、前記分割ビットストリームに含まれる情報の種類に関する情報を含み、
前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる、前記３次元構造の頂点に関する情報を含む頂点データと、前記頂点の接続に関する情報を含む接続データと、前記３次元構造のテクスチャに関する情報を含むテクスチャデータとを、前記解析部により前記セパレータが解析されて得られた前記情報の種類に関する情報に基づいて合成する
（４１）乃至（５０）のいずれかに記載の情報処理装置。
（５２）  前記合成部は、前記復号部により前記複数の分割ビットストリームがそれぞれ復号されて得られる、前記頂点データと、前記接続データと、部品毎のテクスチャデータとを、前記解析部により前記セパレータが解析されて得られた前記情報の種類に関する情報に基づいて合成する
（５１）に記載の情報処理装置。
（５３）  ３次元構造を表す３Ｄデータを複数に分割し符号化して得られる複数の分割ビットストリームが多重化されたビットストリームに含まれる、分割ビットストリームの繋ぎ目の位置を示すセパレータを解析し、
解析された前記セパレータに含まれる情報に基づいて、前記ビットストリームを分割ビットストリーム毎に分割して復号する
情報処理方法。
【符号の説明】
【０５３５】
１００  ビットストリーム，  １０１  ヘッダ，  １０２  データ，  １１１  ヘッダ，  １１２  セパレータ，  １１３  データ（解像度１），  １１４  セパレータ，  １１５  データ（解像度２），  １１６  セパレータ，  １１７  データ（解像度３），  １２１  ヘッダ，  １２２  セパレータ，  １２３  データ（部分領域１），  １２４  セパレータ，  １２５  データ（部分領域２），  １２６  セパレータ，  １２７  データ（部分領域３），  １３１  ヘッダ，  １３２  データ，  ２００  符号化装置，  ２０１  制御部，  ２１１  前処理部，  ２１２  バウンディングボックス設定部，  ２１３  ボクセル設定部，  ２１４  信号列生成部，  ２１５  符号化部，  ２７１  2Dマッピング部，  ２７２  色フォーマット変換部，  ２７３  空間領域分割部，  ２７４  2D画像符号化部，  ２７５  セパレータ生成部，  ２７６  マルチプレクサ，  ３００  復号装置，  ３０１  復号部，  ３０２  ボクセルデータ生成部，  ３０３  ポイントクラウド化処理部，  ３１１  デマルチプレクサ，  ３１２  セパレータ解析部，  ３１３  2D画像復号部，  ３１４  空間領域合成部，  ３１５  色フォーマット逆変換部，  ３１６  3Dマッピング部，  ３３１  空間領域分割部，  ３３２  部分領域符号化部，  ３３３  セパレータ生成部，  ３３４  マルチプレクサ，  ３４１  2Dマッピング部，  ３４２  色フォーマット変換部，  ３４３  2D画像符号化部，  ３６１  デマルチプレクサ，  ３６２  セパレータ解析部，  ３６３  部分領域復号部，  ３６４  空間領域合成部，  ３７１  2D画像復号部，  ３７２  色フォーマット逆変換部，  ３７３  3Dマッピング部，  ３９１  情報分割部，  ３９２  ジオメトリ符号化部，  ３９３  アトリビュート符号化部，  ３９４  セパレータ生成部，  ３９５  マルチプレクサ，  ４１１  デマルチプレクサ，  ４１２  セパレータ解析部，  ４１３  ジオメトリ復号部，  ４１４  アトリビュート復号部，  ４１５  情報合成部，  ４３１  階層分割部，  ４３２  LOD2符号化部，  ４３３  LOD1符号化部，  ４３４  LOD0符号化部，  ４３５  セパレータ生成部，  ４３６  マルチプレクサ，  ４５１  デマルチプレクサ，  ４５２  セパレータ解析部，  ４５３  LOD2復号部，  ４５４  LOD1復号部，  ４５５  LOD0復号部，  ４５６  階層合成部，  ４７１  情報分割部，  ４７２  ジオメトリ符号化部，  ４７３  アトリビュート符号化部，  ４７４  セパレータ生成部，  ４７５  マルチプレクサ，  ４７６  空間領域分割部，  ４７７  セパレータ生成部，  ４７８  マルチプレクサ，  ４７９  階層分割部，  ４８０  セパレータ生成部，  ４８１  マルチプレクサ，  ５１１  デマルチプレクサ，  ５１２  セパレータ解析部，  ５１３  ジオメトリ復号部，  ５１４  アトリビュート復号部，  ５１５  情報合成部，  ５１６  デマルチプレクサ，  ５１７  セパレータ解析部，  ５１８  空間領域合成部，  ５１９  デマルチプレクサ，  ５２０  セパレータ解析部，  ５２１  階層合成部，  ５４１  フレーム分割部，  ５４２  フレーム符号化部，  ５４３  セパレータ生成部，  ５４４  マルチプレクサ，  ５５１  デマルチプレクサ，  ５５２  セパレータ解析部，  ５５３  フレーム復号部，  ５５４  フレーム合成部，  ６００  符号化装置，  ６１１  情報分割部，  ６１２  頂点データ符号���部，  ６１３  接続データ符号化部，  ６１４  テクスチャデータ符号化部，  ６１５  セパレータ生成部，  ６１６  マルチプレクサ，  ６５０  復号装置，  ６６１  デマルチプレクサ，  ６６２  セパレータ解析部，  ６６３  頂点データ復号部，  ６６４  接続データ復号部，  ６６５  テクスチャデータ復号部，  ６６６  情報合成部，  ９００  コンピュータ
【図１】
2019078000.tif 000003
【図２】
2019078000.tif 000004
【図３】
2019078000.tif 000005
【図４】
2019078000.tif 000006
【図５】
2019078000.tif 000007
【図６】
2019078000.tif 000008
【図７】
2019078000.tif 000009
【図８】
2019078000.tif 000010
【図９】
2019078000.tif 000011
【図１０】
2019078000.tif 000012
【図１１】
2019078000.tif 000013
【図１２】
2019078000.tif 000014
【図１３】
2019078000.tif 000015
【図１４】
2019078000.tif 000016
【図１５】
2019078000.tif 000017
【図１６】
2019078000.tif 000018
【図１７】
2019078000.tif 000019
【図１８】
2019078000.tif 000020
【図１９】
2019078000.tif 000021
【図２０】
2019078000.tif 000022
【図２１】
2019078000.tif 000023
【図２２】
2019078000.tif 000024
【図２３】
2019078000.tif 000025
【図２４】
2019078000.tif 000026
【図２５】
2019078000.tif 000027
【図２６】
2019078000.tif 000028
【図２７】
2019078000.tif 000029
【図２８】
2019078000.tif 000030
【図２９】
2019078000.tif 000031
【図３０】
2019078000.tif 000032
【図３１】
2019078000.tif 000033
【図３２】
2019078000.tif 000034
【図３３】
2019078000.tif 000035
【図３４】
2019078000.tif 000036
【図３５】
2019078000.tif 000037
【図３６】
2019078000.tif 000038
【図３７】
2019078000.tif 000039
【図３８】
2019078000.tif 000040
【図３９】
2019078000.tif 000041
【図４０】
2019078000.tif 000042
【図４１】
2019078000.tif 000043
【図４２】
2019078000.tif 000044
【国際調査報告】
2019078000.tif 000045
2019078000.tif 000046
2019078000.tif 000047
2019078000.tif 000048