(57)【要約】  三次元データ符号化方法は、時系列の三次元データを符号化する三次元データ符号化方法であって、三次元データは、時刻毎の位置情報と属性情報とを含み、三次元データ符号化方法は、位置情報を符号化し（Ｓ４８４１）、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化し（Ｓ４８４２）、同一時刻の位置情報と属性情報とはアクセスユニットを構成する。例えば、三次元データ符号化方法は、さらに、符号化された位置情報と、符号化された属性情報と、処理対象の属性情報の参照先の位置情報を示す情報とを含むビットストリームを生成してもよい。
2020032136.tif 000002
【特許請求の範囲】
【請求項１】
時系列の三次元データを符号化する三次元データ符号化方法であって、
前記三次元データは、時刻毎の位置情報と属性情報とを含み、
前記三次元データ符号化方法は、
前記位置情報を符号化し、
処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化し、
同一時刻の位置情報と属性情報とはアクセスユニットを構成する
三次元データ符号化方法。
【請求項２】
前記三次元データ符号化方法は、さらに、
符号化された前記位置情報と、符号化された前記属性情報と、前記処理対象の属性情報の参照先の前記位置情報を示す情報とを含むビットストリームを生成する
請求項１記載の三次元データ符号化方法。
【請求項３】
前記ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセットと、各時刻の属性情報の制御情報を含む属性パラメータセットとを含む
請求項１又は２記載の三次元データ符号化方法。
【請求項４】
前記ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセットと、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセットとを含む
請求項１〜３のいずれか１項に記載の三次元データ符号化方法。
【請求項５】
前記ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセットを含む
請求項１〜４のいずれか１項に記載の三次元データ符号化方法。
【請求項６】
前記ビットストリームは、前記アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダを含む
請求項１〜５のいずれか１項に記載の三次元データ符号化方法。
【請求項７】
１以上の前記アクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号可能なように符号化する
請求項１〜６のいずれか１項に記載の三次元データ符号化方法。
【請求項８】
前記ビットストリームは、前記ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含む
請求項７記載の三次元データ符号化方法。
【請求項９】
時系列の三次元データを復号する三次元データ復号方法であって、
前記三次元データは、時刻毎の位置情報と属性情報とを含み、
同一時刻の位置情報と属性情報とはアクセスユニットを構成し、
前記三次元データ復号方法は、
ビットストリームから前記位置情報を復号し、
前記ビットストリームから、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して復号する
三次元データ復号方法。
【請求項１０】
前記三次元データ復号方法は、さらに、
前記ビットストリームから、前記処理対象の属性情報の参照先の前記位置情報を示す情報を取得し、取得した情報で示される前記参照先の前記位置情報を参照して前記処理対象の属性情報を復号する
請求項９記載の三次元データ復号方法。
【請求項１１】
前記ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセットと、各時刻の属性情報の制御情報を含む属性パラメータセットとを含む
請求項９又は１０記載の三次元データ復号方法。
【請求項１２】
前記ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセットと、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセットとを含む
請求項９〜１１のいずれか１項に記載の三次元データ復号方法。
【請求項１３】
前記ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセットを含む
請求項９〜１２のいずれか１項に記載の三次元データ復号方法。
【請求項１４】
前記ビットストリームは、前記アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダを含む
請求項９〜１３のいずれか１項に記載の三次元データ復号方法。
【請求項１５】
１以上の前記アクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号する
請求項９〜１４のいずれか１項に記載の三次元データ復号方法。
【請求項１６】
前記ビットストリームは、前記ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含む
請求項１５記載の三次元データ復号方法。
【請求項１７】
時系列の三次元データを符号化する三次元データ符号化装置であって、
プロセッサと、
メモリとを備え、
前記三次元データは、時刻毎の位置情報と属性情報とを含み、
前記プロセッサは、前記メモリを用いて、
前記位置情報を符号化し、
処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化し、
同一時刻の位置情報と属性情報とはアクセスユニットを構成する
三次元データ符号化装置。
【請求項１８】
時系列の三次元データを復号する三次元データ復号装置であって、
プロセッサと、
メモリとを備え、
前記三次元データは、時刻毎の位置情報と属性情報とを含み、
同一時刻の位置情報と属性情報とはアクセスユニットを構成し、
前記プロセッサは、前記メモリを用いて、
ビットストリームから前記位置情報を復号し、
前記ビットストリームから、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して復号する
三次元データ復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置に関する。
【背景技術】
【０００２】
自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。【０００３】
三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ−４  ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。【０００４】
また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ  Ｃｌｏｕｄ  Ｌｉｂｒａｒｙ）などによって一部サポートされている。【０００５】
また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１４／０２０６６３号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
三次元データの符号化処理及び復号処理では、処理量を低減することが望まれている。【０００８】
本開示は、処理量を低減できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、又は三次元データ復号装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る三次元データ符号化方法は、時系列の三次元データを符号化する三次元データ符号化方法であって、前記三次元データは、時刻毎の位置情報と属性情報とを含み、前記三次元データ符号化方法は、前記位置情報を符号化し、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化し、同一時刻の位置情報と属性情報とはアクセスユニットを構成する。【００１０】
本開示の一態様に係る三次元データ復号方法は、時系列の三次元データを復号する三次元データ復号方法であって、前記三次元データは、時刻毎の位置情報と属性情報とを含み、同一時刻の位置情報と属性情報とはアクセスユニットを構成し、前記三次元データ復号方法は、ビットストリームから前記位置情報を復号し、前記ビットストリームから、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して復号する。
【発明の効果】
【００１１】
本開示は、処理量を低減できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、又は三次元データ復号装置を提供できる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１に係る三次元データ符号化復号システムの構成を示す図である。
【図２】図２は、実施の形態１に係る点群データの構成例を示す図である。
【図３】図３は、実施の形態１に係る点群データ情報が記述されたデータファイルの構成例を示す図である。
【図４】図４は、実施の形態１に係る点群データの種類を示す図である。
【図５】図５は、実施の形態１に係る第１の符号化部の構成を示す図である。
【図６】図６は、実施の形態１に係る第１の符号化部のブロック図である。
【図７】図７は、実施の形態１に係る第１の復号部の構成を示す図である。
【図８】図８は、実施の形態１に係る第１の復号部のブロック図である。
【図９】図９は、実施の形態１に係る第２の符号化部の構成を示す図である。
【図１０】図１０は、実施の形態１に係る第２の符号化部のブロック図である。
【図１１】図１１は、実施の形態１に係る第２の復号部の構成を示す図である。
【図１２】図１２は、実施の形態１に係る第２の復号部のブロック図である。
【図１３】図１３は、実施の形態１に係るＰＣＣ符号化データに関わるプロトコルスタックを示す図である。
【図１４】図１４は、実施の形態１に係るプロトコルスタックを示す図である。
【図１５】図１５は、実施の形態１に係るＮＡＬユニットのシンタックス例を示す図である。
【図１６】図１６は、実施の形態１に係るＮＡＬユニットヘッダのシンタックス例を示す図である。
【図１７】図１７は、実施の形態１に係るｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅのセマンティクス例を示す図である。
【図１８】図１８は、実施の形態１に係るｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【図１９】図１９は、実施の形態１に係る符号化処理のフローチャートである。
【図２０】図２０は、実施の形態１に係る第２の復号部による復号処理のフローチャートである。
【図２１】図２１は、実施の形態１に係る第１の復号部による復号処理のフローチャートである。
【図２２】図２２は、実施の形態２に係るプロトコルスタックを示す図である。
【図２３】図２３は、実施の形態２に係るコーデック２用のＮＡＬユニットのシンタックス例を示す図である。
【図２４】図２４は、実施の形態２に係るコーデック２用のＮＡＬユニットヘッダのシンタックス例を示す図である。
【図２５】図２５は、実施の形態２に係るｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【図２６】図２６は、実施の形態２に係るコーデック１用のＮＡＬユニットのシンタックス例を示す図である。
【図２７】図２７は、実施の形態２に係るコーデック１用のＮＡＬユニットヘッダのシンタックス例を示す図である。
【図２８】図２８は、実施の形態２に係るｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【図２９】図２９は、実施の形態２に係る符号化処理のフローチャートである。
【図３０】図３０は、実施の形態２に係る復号処理のフローチャートである。
【図３１】図３１は、実施の形態３に係るプロトコルスタックを示す図である。
【図３２】図３２は、実施の形態３に係るＮＡＬユニットのシンタックス例を示す図である。
【図３３】図３３は、実施の形態３に係るＮＡＬユニットヘッダのシンタックス例を示す図である。
【図３４】図３４は、実施の形態３に係るｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【図３５】図３５は、実施の形態３に係る符号化処理のフローチャートである。
【図３６】図３６は、実施の形態３に係る復号処理のフローチャートである。
【図３７】図３７は、実施の形態の変形例に係る符号化処理のフローチャートである。
【図３８】図３８は、実施の形態の変形例に係る復号処理のフローチャートである。
【図３９】図３９は、実施の形態４に係る符号化部のブロック図である。
【図４０】図４０は、実施の形態４に係る復号部のブロック図である。
【図４１】図４１は、実施の形態４に係る符号化処理のフローチャートである。
【図４２】図４２は、実施の形態４に係る復号処理のフローチャートである。
【図４３】図４３は、実施の形態５に係るＩＳＯＢＭＦＦの基本構造を示す図である。
【図４４】図４４は、実施の形態５に係るプロトコルスタックを示す図である。
【図４５】図４５は、実施の形態５に係るＮＡＬユニットをコーデック１用のファイルに格納する例を示す図である。
【図４６】図４６は、実施の形態５に係るＮＡＬユニットをコーデック２用のファイルに格納する例を示す図である。
【図４７】図４７は、実施の形態５に係る第１の多重化部の構成を示す図である。
【図４８】図４８は、実施の形態５に係る第１の逆多重化部の構成を示す図である。
【図４９】図４９は、実施の形態５に係る第２の多重化部の構成を示す図である。
【図５０】図５０は、実施の形態５に係る第２の逆多重化部の構成を示す図である。
【図５１】図５１は、実施の形態５に係る第１の多重化部による処理のフローチャートである。
【図５２】図５２は、実施の形態５に係る第２の多重化部による処理のフローチャートである。
【図５３】図５３は、実施の形態５に係る第１の逆多重化部及び第１の復号部による処理のフローチャートである。
【図５４】図５４は、実施の形態５に係る第２の逆多重化部及び第２の復号部による処理のフローチャートである。
【図５５】図５５は、実施の形態６に係る符号化部及び第３の多重化部の構成を示す図である。
【図５６】図５６は、実施の形態６に係る第３の逆多重化部及び復号部の構成を示す図である。
【図５７】図５７は、実施の形態６に係る第３の多重化部による処理のフローチャートである。
【図５８】図５８は、実施の形態６に係る第３の逆多重化部及び復号部による処理のフローチャートである。
【図５９】図５９は、実施の形態６に係る三次元データ格納装置による処理のフローチャートである。
【図６０】図６０は、実施の形態６に係る三次元データ取得装置による処理のフローチャートである。
【図６１】図６１は、実施の形態７に係る符号化部及び多重化部の構成を示す図である。
【図６２】図６２は、実施の形態７に係る符号化データの構成例を示す図である。
【図６３】図６３は、実施の形態７に係る符号化データ及びＮＡＬユニットの構成例を示す図である。
【図６４】図６４は、実施の形態７に係るｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【図６５】図６５は、実施の形態７に係るＮＡＬユニットの送出順序の例を示す図である。
【図６６】図６６は、実施の形態７に係る三次元データ符号化装置による処理のフローチャートである。
【図６７】図６７は、実施の形態７に係る三次元データ復号装置による処理のフローチャートである。
【図６８】図６８は、実施の形態７に係る多重化処理のフローチャートである。
【図６９】図６９は、実施の形態７に係る逆多重化処理のフローチャートである。
【図７０】図７０は、実施の形態７に係る三次元データ符号化装置による処理のフローチャートである。
【図７１】図７１は、実施の形態７に係る三次元データ復号装置による処理のフローチャートである。
【発明を実施するための形態】
【００１３】
本開示の一態様に係る三次元データ符号化方法は、時系列の三次元データを符号化する三次元データ符号化方法であって、前記三次元データは、時刻毎の位置情報と属性情報とを含み、前記三次元データ符号化方法は、前記位置情報を符号化し、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化し、同一時刻の位置情報と属性情報とはアクセスユニットを構成する。
【００１４】
これによれば、当該三次元データ符号化方法は、アクセスユニットを用いて符号化における参照の制御を容易化できる。よって、当該三次元データ符号化方法は符号化処理の処理量を低減できる。
【００１５】
例えば、前記三次元データ符号化方法は、さらに、符号化された前記位置情報と、符号化された前記属性情報と、前記処理対象の属性情報の参照先の前記位置情報を示す情報とを含むビットストリームを生成してもよい。
【００１６】
例えば、前記ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセットと、各時刻の属性情報の制御情報を含む属性パラメータセットとを含んでもよい。
【００１７】
例えば、前記ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセットと、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセットとを含んでもよい。
【００１８】
例えば、前記ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセットを含んでもよい。
【００１９】
例えば、前記ビットストリームは、前記アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダを含んでもよい。
【００２０】
例えば、１以上の前記アクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号可能なように符号化してもよい。
【００２１】
例えば、前記ビットストリームは、前記ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含んでもよい。
【００２２】
本開示の一態様に係る三次元データ復号方法は、時系列の三次元データを復号する三次元データ復号方法であって、前記三次元データは、時刻毎の位置情報と属性情報とを含み、同一時刻の位置情報と属性情報とはアクセスユニットを構成し、前記三次元データ復号方法は、ビットストリームから前記位置情報を復号し、前記ビットストリームから、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して復号する。
【００２３】
これによれば、当該三次元データ復号方法は、アクセスユニットを用いて復号における参照の制御を容易化できる。よって、当該三次元データ復号方法は復号処理の処理量を低減できる。
【００２４】
例えば、前記三次元データ復号方法は、さらに、前記ビットストリームから、前記処理対象の属性情報の参照先の前記位置情報を示す情報を取得し、取得した情報で示される前記参照先の前記位置情報を参照して前記処理対象の属性情報を復号してもよい。
【００２５】
例えば、前記ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセットと、各時刻の属性情報の制御情報を含む属性パラメータセットとを含んでもよい。
【００２６】
例えば、前記ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセットと、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセットとを含んでもよい。
【００２７】
例えば、前記ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセットを含んでもよい。
【００２８】
例えば、前記ビットストリームは、前記アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダを含んでもよい。
【００２９】
例えば、１以上の前記アクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号してもよい。
【００３０】
例えば、前記ビットストリームは、前記ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含んでもよい。
【００３１】
また、本開示の一態様に係る三次元データ符号化装置は、時系列の三次元データを符号化する三次元データ符号化装置であって、プロセッサと、メモリとを備え、前記三次元データは、時刻毎の位置情報と属性情報とを含み、前記プロセッサは、前記メモリを用いて、前記位置情報を符号化し、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化し、同一時刻の位置情報と属性情報とはアクセスユニットを構成する。
【００３２】
これによれば、当該三次元データ符号化装置は、アクセスユニットを用いて符号化における参照の制御を容易化できる。よって、当該三次元データ符号化装置は符号化処理の処理量を低減できる。
【００３３】
また、本開示の一態様に係る三次元データ復号装置は、時系列の三次元データを復号する三次元データ復号装置であって、プロセッサと、メモリとを備え、前記三次元データは、時刻毎の位置情報と属性情報とを含み、同一時刻の位置情報と属性情報とはアクセスユニットを構成し、前記プロセッサは、前記メモリを用いて、ビットストリームから前記位置情報を復号し、前記ビットストリームから、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して復号する。
【００３４】
これによれば、当該三次元データ復号装置は、アクセスユニットを用いて復号における参照の制御を容易化できる。よって、当該三次元データ復号装置は復号処理の処理量を低減できる。
【００３５】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００３６】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３７】
（実施の形態１）
ポイントクラウドの符号化データを実際の装置又はサービスにおいて使用する際には、ネットワーク帯域を抑制するために用途に応じて必要な情報を送受信することが望ましい。しかしながら、これまで、三次元データの符号化構造にはそのような機能が存在せず、そのための符号化方法も存在しなかった。
【００３８】
本実施の形態では、三次元のポイントクラウドの符号化データにおいて用途に応じて必要な情報を送受信する機能を提供するための三次元データ符号化方法及び三次元データ符号化装置、並びに、当該符号化データを復号する三次元データ復号方法及び三次元データ復号装置、並びに、当該符号化データを多重化する三次元データ多重化方法、並びに、当該符号化データを伝送する三次元データ伝送方法について説明する。
【００３９】
特に、現在、点群データの符号化方法（符号化方式）として第１の符号化方法、及び第２の符号化方法が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるＭＵＸ処理（多重化）、又は、伝送或いは蓄積ができないという課題がある。
【００４０】
また、ＰＣＣ（Ｐｏｉｎｔ  Ｃｌｏｕｄ  Ｃｏｍｐｒｅｓｓｉｏｎ）のように、第１の符号化方法と第２の符号化方法の２つのコーデックが混在するフォーマットをサポートする方法はこれまで存在しない。
【００４１】
本実施の形態では、第１の符号化方法と第２の符号化方法の２つのコーデックが混在するＰＣＣ符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法について説明する。
【００４２】
まず、本実施の形態に係る三次元データ（点群データ）符号化復号システムの構成を説明する。図１は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図１に示すように、三次元データ符号化復号システムは、三次元データ符号化システム４６０１と、三次元データ復号システム４６０２と、センサ端末４６０３と、外部接続部４６０４とを含む。
【００４３】
三次元データ符号化システム４６０１は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム４６０１は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム４６０１に含まれる複数の処理部のうち一部を含んでもよい。
【００４４】
三次元データ符号化システム４６０１は、点群データ生成システム４６１１と、提示部４６１２と、符号化部４６１３と、多重化部４６１４と、入出力部４６１５と、制御部４６１６とを含む。点群データ生成システム４６１１は、センサ情報取得部４６１７と、点群データ生成部４６１８とを含む。
【００４５】
センサ情報取得部４６１７は、センサ端末４６０３からセンサ情報を取得し、センサ情報を点群データ生成部４６１８に出力する。点群データ生成部４６１８は、センサ情報から点群データを生成し、点群データを符号化部４６１３へ出力する。
【００４６】
提示部４６１２は、センサ情報又は点群データをユーザに提示する。例えば、提示部４６１２は、センサ情報又は点群データに基づく情報又は画像を表示する。
【００４７】
符号化部４６１３は、点群データを符号化（圧縮）し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部４６１４へ出力する。付加情報は、例えば、センサ情報を含む。
【００４８】
多重化部４６１４は、符号化部４６１３から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
【００４９】
入出力部４６１５（例えば、通信部又はインタフェース）は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部４６１６（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６１６は、符号化及び多重化等の制御を行う。
【００５０】
なお、センサ情報が符号化部４６１３又は多重化部４６１４へ入力されてもよい。また、入出力部４６１５は、点群データ又は符号化データをそのまま外部へ出力してもよい。
【００５１】
三次元データ符号化システム４６０１から出力された伝送信号（多重化データ）は、外部接続部４６０４を介して、三次元データ復号システム４６０２に入力される。
【００５２】
三次元データ復号システム４６０２は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム４６０２は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム４６０２に含まれる複数の処理部のうち一部を含んでもよい。
【００５３】
三次元データ復号システム４６０２は、センサ情報取得部４６２１と、入出力部４６２２と、逆多重化部４６２３と、復号部４６２４と、提示部４６２５と、ユーザインタフェース４６２６と、制御部４６２７とを含む。
【００５４】
センサ情報取得部４６２１は、センサ端末４６０３からセンサ情報を取得する。
【００５５】
入出力部４６２２は、伝送信号を取得し、伝送信号から多重化データ（ファイルフォーマット又はパケット）を復号し、多重化データを逆多重化部４６２３へ出力する。
【００５６】
逆多重化部４６２３は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部４６２４へ出力する。
【００５７】
復号部４６２４は、符号化データを復号することで点群データを再構成する。
【００５８】
提示部４６２５は、点群データをユーザに提示する。例えば、提示部４６２５は、点群データに基づく情報又は画像を表示する。ユーザインタフェース４６２６は、ユーザの操作に基づく指示を取得する。制御部４６２７（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６２７は、逆多重化、復号及び提示等の制御を行う。
【００５９】
なお、入出力部４６２２は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部４６２５は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部４６２５は、ユーザインタフェース４６２６で取得されたユーザの指示に基づき、提示を行ってもよい。
【００６０】
センサ端末４６０３は、センサで得られた情報であるセンサ情報を生成する。センサ端末４６０３は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
【００６１】
センサ端末４６０３で取得可能なセンサ情報は、例えば、（１）ＬＩＤＡＲ、ミリ波レーダ、又は赤外線センサから得られる、センサ端末４６０３と対象物との距離、又は対象物の反射率、（２）複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ（角速度）、位置（ＧＰＳ情報又は高度）、速度、又は加速度等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
【００６２】
外部接続部４６０４は、集積回路（ＬＳＩ又はＩＣ）、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
【００６３】
次に、点群データについて説明する。図２は、点群データの構成を示す図である。図３は、点群データの情報が記述されたデータファイルの構成例を示す図である。
【００６４】
点群データは、複数の点のデータを含む。各点のデータは、位置情報（三次元座標）、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物（オブジェクト）の三次元形状を示す。
【００６５】
三次元座標等の位置情報（Ｐｏｓｉｔｉｏｎ）をジオメトリ（ｇｅｏｍｅｔｒｙ）と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報（ａｔｔｒｉｂｕｔｅ）を含んでもよい。属性種別は、例えば色又は反射率などである。
【００６６】
１つの位置情報に対して１つの属性情報が対応付けられてもよいし、１つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、１つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
【００６７】
図３に示すデータファイルの構成例は、位置情報と属性情報とが１対１に対応する場合の例であり、点群データを構成するＮ個の点の位置情報と属性情報とを示している。
【００６８】
位置情報は、例えば、ｘ、ｙ、ｚの３軸の情報である。属性情報は、例えば、ＲＧＢの色情報である。代表的なデータファイルとしてｐｌｙファイルなどがある。
【００６９】
次に、点群データの種類について説明する。図４は、点群データの種類を示す図である。図４に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。
【００７０】
静的オブジェクトは、任意の時間（ある時刻）の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをＰＣＣフレーム、又はフレームと呼ぶ。
【００７１】
オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
【００７２】
また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
【００７３】
以下、各処理部の詳細について説明する。センサ情報は、ＬＩＤＡＲ或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部４６１８は、センサ情報取得部４６１７で得られたセンサ情報に基づき点群データを生成する。点群データ生成部４６１８は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
【００７４】
点群データ生成部４６１８は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部４６１８は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部４６１８は、位置情報を変換（位置シフト、回転又は正規化など）してもよいし、属性情報をレンダリングしてもよい。
【００７５】
なお、図１では、点群データ生成システム４６１１は、三次元データ符号化システム４６０１に含まれるが、三次元データ符号化システム４６０１の外部に独立して設けられてもよい。
【００７６】
符号化部４６１３は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の２種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第１の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第２の符号化方法と記載する。
【００７７】
復号部４６２４は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。
【００７８】
多重化部４６１４は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部４６１４は、ＰＣＣ符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部４６１４は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
【００７９】
多重化方式又はファイルフォーマットとしては、ＩＳＯＢＭＦＦ、ＩＳＯＢＭＦＦベースの伝送方式であるＭＰＥＧ−ＤＡＳＨ、ＭＭＴ、ＭＰＥＧ−２  ＴＳ  Ｓｙｓｔｅｍｓ、ＲＭＰなどがある。
【００８０】
逆多重化部４６２３は、多重化データからＰＣＣ符号化データ、その他のメディア、及び時刻情報などを抽出する。
【００８１】
入出力部４６１５は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部４６１５は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
【００８２】
通信プロトコルとしては、ｈｔｔｐ、ｆｔｐ、ＴＣＰ又はＵＤＰなどが用いられる。ＰＵＬＬ型の通信方式が用いられてもよいし、ＰＵＳＨ型の通信方式が用いられてもよい。
【００８３】
有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＲＳ−２３２Ｃ、ＨＤＭＩ（登録商標）、又は同軸ケーブルなどが用いられる。無線伝送としては、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はミリ波などが用いられる。
【００８４】
また、放送方式としては、例えばＤＶＢ−Ｔ２、ＤＶＢ−Ｓ２、ＤＶＢ−Ｃ２、ＡＴＳＣ３．０、又はＩＳＤＢ−Ｓ３などが用いられる。
【００８５】
図５は、第１の符号化方法の符号化を行う符号化部４６１３の例である第１の符号化部４６３０の構成を示す図である。図６は、第１の符号化部４６３０のブロック図である。第１の符号化部４６３０は、点群データを第１の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部４６３０は、位置情報符号化部４６３１と、属性情報符号化部４６３２と、付加情報符号化部４６３３と、多重化部４６３４とを含む。
【００８６】
第１の符号化部４６３０は、三次元構造を意識して符号化を行うという特徴を有する。また、第１の符号化部４６３０は、属性情報符号化部４６３２が、位置情報符号化部４６３１から得られる情報を用いて符号を行うという特徴を有する。第１の符号化方法は、ＧＰＣＣ（Ｇｅｏｍｅｔｒｙ  ｂａｓｅｄ  ＰＣＣ）とも呼ばれる。
【００８７】
点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報（ＭｅｔａＤａｔａ）を含む。位置情報は位置情報符号化部４６３１に入力され、属性情報は属性情報符号化部４６３２に入力され、付加情報は付加情報符号化部４６３３に入力される。
【００８８】
位置情報符号化部４６３１は、位置情報を符号化することで符号化データである符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ  Ｇｅｏｍｅｔｒｙ）を生成する。例えば、位置情報符号化部４６３１は、８分木等のＮ分木構造を用いて位置情報を符号化する。具体的には、８分木では、対象空間が８個のノード（サブ空間）に分割され、各ノードに点群が含まれるか否かを示す８ビットの情報（オキュパンシー符号）が生成される。また、点群が含まれるノードは、さらに、８個のノードに分割され、当該８個のノードの各々に点群が含まれるか否かを示す８ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
【００８９】
属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された構成情報を用いて符号化することで符号化データである符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ  Ａｔｔｒｉｂｕｔｅ）を生成する。例えば、属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された８分木構造に基づき、処理対象の対象点（対象ノード）の符号化において参照する参照点（参照ノード）を決定する。例えば、属性情報符号化部４６３２は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
【００９０】
また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
【００９１】
付加情報符号化部４６３３は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ  ＭｅｔａＤａｔａ）を生成する。
【００９２】
多重化部４６３４は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ  Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
【００９３】
次に、第１の符号化方法の復号を行う復号部４６２４の例である第１の復号部４６４０について説明する。図７は、第１の復号部４６４０の構成を示す図である。図８は、第１の復号部４６４０のブロック図である。第１の復号部４６４０は、第１の符号化方法で符号化された符号化データ（符号化ストリーム）を、第１の符号化方法で復号することで点群データを生成する。この第１の復号部４６４０は、逆多重化部４６４１と、位置情報復号部４６４２と、属性情報復号部４６４３と、付加情報復号部４６４４とを含む。
【００９４】
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ  Ｓｔｒｅａｍ）が第１の復号部４６４０に入力される。
【００９５】
逆多重化部４６４１は、符号化データから、符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ  Ｇｅｏｍｅｔｒｙ）、符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ  Ａｔｔｒｉｂｕｔｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ  ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
【００９６】
位置情報復号部４６４２は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部４６４２は、８分木等のＮ分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
【００９７】
属性情報復号部４６４３は、位置情報復号部４６４２で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部４６４３は、位置情報復号部４６４２で得られた８分木構造に基づき、処理対象の対象点（対象ノード）の復号において参照する参照点（参照ノード）を決定する。例えば、属性情報復号部４６４３は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
【００９８】
また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
【００９９】
付加情報復号部４６４４は、符号化付加情報を復号することで付加情報を生成する。また、第１の復号部４６４０は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
【０１００】
次に、第２の符号化方法の符号化を行う符号化部４６１３の例である第２の符号化部４６５０について説明する。図９は、第２の符号化部４６５０の構成を示す図である。図１０は、第２の符号化部４６５０のブロック図である。
【０１０１】
第２の符号化部４６５０は、点群データを第２の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第２の符号化部４６５０は、付加情報生成部４６５１と、位置画像生成部４６５２と、属性画像生成部４６５３と、映像符号化部４６５４と、付加情報符号化部４６５５と、多重化部４６５６とを含む。
【０１０２】
第２の符号化部４６５０は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第２の符号化方法は、ＶＰＣＣ（Ｖｉｄｅｏ  ｂａｓｅｄ  ＰＣＣ）とも呼ばれる。
【０１０３】
点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報ＭｅｔａＤａｔａ）を含む。
【０１０４】
付加情報生成部４６５１は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
【０１０５】
位置画像生成部４６５２は、位置情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、位置画像（Ｇｅｏｍｅｔｒｙ  Ｉｍａｇｅ）を生成する。この位置画像は、例えば、画素値として距離（Ｄｅｐｔｈ）が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
【０１０６】
属性画像生成部４６５３は、属性情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報（例えば色（ＲＧＢ））が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
【０１０７】
映像符号化部４６５４は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ  Ｇｅｏｍｅｔｒｙ  Ｉｍａｇｅ）及び符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ  Ａｔｔｒｉｂｕｔｅ  Ｉｍａｇｅ）を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
【０１０８】
付加情報符号化部４６５５は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ  ＭｅｔａＤａｔａ）を生成する。
【０１０９】
多重化部４６５６は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ  Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
【０１１０】
次に、第２の符号化方法の復号を行う復号部４６２４の例である第２の復号部４６６０について説明する。図１１は、第２の復号部４６６０の構成を示す図である。図１２は、第２の復号部４６６０のブロック図である。第２の復号部４６６０は、第２の符号化方法で符号化された符号化データ（符号化ストリーム）を、第２の符号化方法で復号することで点群データを生成する。この第２の復号部４６６０は、逆多重化部４６６１と、映像復号部４６６２と、付加情報復号部４６６３と、位置情報生成部４６６４と、属性情報生成部４６６５とを含む。
【０１１１】
図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ  Ｓｔｒｅａｍ）が第２の復号部４６６０に入力される。
【０１１２】
逆多重化部４６６１は、符号化データから、符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ  Ｇｅｏｍｅｔｒｙ  Ｉｍａｇｅ）、符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ  Ａｔｔｒｉｂｕｔｅ  Ｉｍａｇｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ  ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
【０１１３】
映像復号部４６６２は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
【０１１４】
付加情報復号部４６６３は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。
【０１１５】
位置情報生成部４６６４は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部４６６５は、属性画像とマップ情報とを用いて属性情報を生成する。
【０１１６】
第２の復号部４６６０は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
【０１１７】
以下、ＰＣＣ符号化方式における課題を説明する。図１３は、ＰＣＣ符号化データに関わるプロトコルスタックを示す図である。図１３には、ＰＣＣ符号化データに、映像（例えばＨＥＶＣ）又は音声などの他のメディアのデータを多重し、伝送又は蓄積する例を示す。
【０１１８】
多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するためには、符号化データを多重化方式のフォーマットに変換しなければならない。例えば、ＨＥＶＣでは、ＮＡＬユニットと呼ばれるデータ構造に符号化データを格納し、ＮＡＬユニットをＩＳＯＢＭＦＦに格納する技術が規定されている。
【０１１９】
一方、現在、点群データの符号化方法として第１の符号化方法（Ｃｏｄｅｃ１）、及び第２の符号化方法（Ｃｏｄｅｃ２）が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるＭＵＸ処理（多重化）、伝送及び蓄積ができないという課題がある。
【０１２０】
なお、以降において、特定の符号化方法の記載がなければ、第１の符号化方法、及び第２の符号化方法のいずれかを示すものとする。
【０１２１】
以下、本実施の形態に係るＮＡＬユニットの定義方法について説明する。例えば、ＨＥＶＣなどの、これまでのコーデックでは、１つのコーデックに対して、１つのフォーマットのＮＡＬユニットが定義されている。しかし、ＰＣＣのように、第１の符号化方法と第２の符号化方法との２つのコーデック（以降、ＰＣＣコーデックと称する）が混在するフォーマットをサポートする方法はこれまで存在しない。
【０１２２】
本実施の形態では、ＮＡＬユニットとしてＰＣＣコーデック共通のフォーマットを定義し、さらに、ＰＣＣコーデックに依存するＮＡＬユニットの識別子を定義する。図１４は、この場合のプロトコルスタックを示す図である。図１５〜図１７は、コーデック共通のＮＡＬユニットフォーマットの例を示す図である。図１５は、共通ＰＣＣ  ＮＡＬユニット（Ｃｏｍｍｏｎ  ＰＣＣ  ＮＡＬ  Ｕｎｉｔ）のシンタックス例を示す図である。図１６は、共通ＰＣＣ  ＮＡＬユニットヘッダ（Ｃｏｍｍｏｎ  ＰＣＣ  ＮＡＬ  Ｕｎｉｔ  Ｈｅａｄｅｒ）のシンタックス例を示す図である。図１７は、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅのセマンティクス例を示す図である。図１８は、コーデック依存のＮＡＬユニットタイプ定義の例を示す図であり、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【０１２３】
ＮＡＬユニットフォーマットとして、ＰＣＣコーデック共通のＮＡＬユニットフォーマットが定義される。ＮＡＬユニット（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ）は、ヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）、ペイロード（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）、及びトレイリングビット（ｔｒａｉｌｉｎｇ＿ｂｉｔｓ）を含む。第１の符号化方法及び第２の符号化方法のいずれのコーデックのデータが格納される場合にも、同じフォーマットが使用される。
【０１２４】
ＮＡＬユニットヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）には、コーデックタイプ（ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｅ）、及びＮＡＬユニットタイプ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が格納される。コーデックタイプは、ＮＡＬユニットに格納される符号化データのＰＣＣコーデックが、第１の符号化方法であるか、第２の符号化方法であるかを示す。
【０１２５】
ＮＡＬユニットタイプは、コーデックに依存するＮＡＬユニットのタイプを示し、コーデック毎にタイプが定義される。コーデックタイプが第１の符号化方法である場合には、ＮＡＬユニットタイプは、第１の符号化方法用に定義されたＮＡＬユニットタイプを示す。コーデックタイプが第２の符号化方法である場合には、ＮＡＬユニットタイプは、第２の符号化方法用に定義されたＮＡＬユニットタイプを示す。つまり、第１の符号化方法用に定義されたＮＡＬユニットタイプと、第２の符号化方法用に定義されたＮＡＬユニットタイプとには、同一の値に対して異なる意味が対応づけられる。
【０１２６】
なお、ヘッダにおいて、コーデックタイプの機能をＮＡＬユニットタイプにマージしてもよい。例えば、ＮＡＬユニットタイプの一部の情報を用いてコーデックタイプを示してもよい。
【０１２７】
次に、本実施の形態に係る符号化処理について説明する。図１９は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記の定義を用いた場合の第１の符号化部４６３０又は第２の符号化部４６５０の処理を示す。なお、以下では第１の符号化部４６３０又は第２の符号化部４６５０を区別せずに符号化部４６１３とも記す。また、同図の処理は、主に、図６に示す多重化部４６３４又は図１０に示す多重化部４６５６により行われる。
【０１２８】
なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化するかは既知であるものとする。例えば、いずれのＰＣＣコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
【０１２９】
まず、符号化部４６１３は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれかのコーデックを用いて符号化する（Ｓ４６０１）。
【０１３０】
使用したコーデックが第２の符号化方法である場合（Ｓ４６０２で第２の符号化方法）、符号化部４６１３は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６０３）。また、符号化部４６１３は、ＮＡＬユニットヘッダのｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第２の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６０４）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６０５）。
【０１３１】
一方、使用したコーデックが第１の符号化方法である場合（Ｓ４６０２で第１の符号化方法）、符号化部４６１３は、ＮＡＬユニットヘッダのｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６０６）。また、符号化部４６１３は、ＮＡＬユニットヘッダのｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第１の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６０７）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６０５）。
【０１３２】
なお、符号化部４６１３は、ステップＳ４６０３及びＳ４６０６において、ｐｃｃ＿ｃｏｄｅ＿ｔｙｐｅの機能がｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに含まれる場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに、ＮＡＬユニットが第１の符号化方法であるか第２の符号化方法であるかを示してもよい。
【０１３３】
次に、本実施の形態に係る第１の復号部４６４０及び第２の復号部４６６０による復号処理について説明する。図２０は、第２の復号部４６６０による復号処理を示すフローチャートである。また、同図の処理は、主に、図１２に示す逆多重化部４６６１により行われる。
【０１３４】
なお、同図の処理は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれか一方で符号化する例を示している。また、この方式では、第２の復号部４６６０に含まれる逆多重化部４６６１は、ＮＡＬユニットヘッダに含まれる情報を参照して、ＮＡＬユニットのコーデックタイプを識別できる。よって、逆多重化部４６６１は、コーデックタイプに応じて必要な情報を映像復号部４６６２に出力できる。
【０１３５】
まず、第２の復号部４６６０は、ＮＡＬユニットを受信する（Ｓ４６１１）。例えば、このＮＡＬユニットは、上述した符号化部４６１３における処理で生成されたものである。つまり、このＮＡＬユニットのヘッダは、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ及びｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含む。
【０１３６】
次に、第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示すか、第２の符号化方法を示すかを判定する（Ｓ４６１２）。
【０１３７】
ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４６１２で第２の符号化方法）、第２の復号部４６６０は、ＮＡＬユニットのペイロードに含まれるデータが、第２の符号化方法を用いて符号化されたデータであると判断する（Ｓ４６１３）。そして、第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６１４）。そして、第２の復号部４６６０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６１５）。
【０１３８】
一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４６１２で第１の符号化方法）、第２の復号部４６６０は、ＮＡＬユニットのペイロードに含まれるデータが、第１の符号化方法で符号化されたデータであると判断する（Ｓ４６１６）。この場合、第２の復号部４６６０は、当該ＮＡＬユニットを処理しない（Ｓ４６１７）。
【０１３９】
なお、ステップＳ４６１２において、ｐｃｃ＿ｃｏｄｅ＿ｔｙｐｅの機能がｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに含まれる場合、第２の復号部４６６０は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを参照して、ＮＡＬユニットに含まれるデータに使用されているコーデックが第１の符号化方法であるか第２の符号化方法であるかを判定してもよい。
【０１４０】
図２１は、第１の復号部４６４０による復号処理を示すフローチャートである。また、同図の処理は、主に、図８に示す逆多重化部４６４１により行われる。
【０１４１】
なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示している。また、この方式では、第１の復号部４６４０に含まれる逆多重化部４６４１は、ＮＡＬユニットヘッダに含まれる情報を参照して、ＮＡＬユニットのコーデックタイプを識別できる。よって、逆多重化部４６４１は、コーデックタイプに応じて必要な情報を位置情報復号部４６４２及び属性情報復号部４６４３に出力できる。
【０１４２】
まず、第１の復号部４６４０は、ＮＡＬユニットを受信する（Ｓ４６２１）。例えば、このＮＡＬユニットは、上述した符号化部４６１３における処理で生成されたものである。つまり、このＮＡＬユニットのヘッダは、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ及びｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含む。
【０１４３】
次に、第１の復号部４６４０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示すか、第２の符号化方法を示すかを判定する（Ｓ４６２２）。
【０１４４】
ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４６２２で第２の符号化方法）、第１の復号部４６４０は、ＮＡＬユニットのペイロードに含まれるデータが、第２の符号化方法を用いて符号化されたデータであると判断する（Ｓ４６２３）。この場合、第１の復号部４６４０は、当該ＮＡＬユニットは処理しない（Ｓ４６２４）。
【０１４５】
一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４６２２で第１の符号化方法）、第１の復号部４６４０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４６２５）。そして、第１の復号部４６４０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６２６）。そして、第１の復号部４６４０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６２７）。
【０１４６】
（実施の形態２）
本実施の形態では、ＮＡＬユニットの定義の別の手法について説明する。本実施の形態では、ＮＡＬユニットとしてＰＣＣコーデック毎に異なるフォーマットを定義する。さらに、ＰＣＣコーデック毎に独立にＮＡＬユニットの識別子を定義する。
【０１４７】
図２２は、この場合のプロトコルスタックを示す図である。図２３は、コーデック２用のＮＡＬユニット（ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ）のシンタックス例を示す図である。図２４は、コーデック２用のＮＡＬユニットヘッダ（ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）のシンタックス例を示す図である。図２５は、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【０１４８】
図２６は、コーデック１用のＮＡＬユニット（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ）のシンタックス例を示す図である。図２７は、コーデック１用のＮＡＬユニットヘッダ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）のシンタックス例を示す図である。図２８は、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
【０１４９】
ＮＡＬユニットフォーマットとして、ＰＣＣコーデック毎に独立にＮＡＬユニットフォーマットが定義される。ＮＡＬユニット（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ）は、ヘッダ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）、ペイロード（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）、及びトレイリングビット（ｔｒａｉｌｉｎｇ＿ｂｉｔｓ）を含む。第１の符号化方法用のＮＡＬユニット（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ）と第２の符号化方法用のＮＡＬユニット（ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ）は、同じ構成でもよいし、異なる構成でもよい。第１の符号化方法用のＮＡＬユニットと第２の符号化方法用のＮＡＬユニットとのサイズが異なってもよい。
【０１５０】
第１の符号化方法で符号化されたデータは第１の符号化方法用のＮＡＬユニットに格納される。第２の符号化方法で符号化されたデータは第２の符号化方法用のＮＡＬユニットに格納される。
【０１５１】
ＮＡＬユニットヘッダ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）には、ＮＡＬユニットタイプ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が格納される。ＮＡＬユニットタイプは、コーデック毎に独立であり、コーデック毎にタイプが定義される。つまり、第１の符号化方法用のＮＡＬユニットには、第１の符号化方法用に定義されたＮＡＬユニットタイプが記載される。第２の符号化方法用のＮＡＬユニットには、第２の符号化方法用に定義されたＮＡＬユニットタイプが記載される。
【０１５２】
本方式を用いることで、第１の符号化方法と第２の符号化方法とを、異なるコーデックとして扱うことができる。
【０１５３】
次に、本実施の形態に係る符号化処理について説明する。図２９は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記定義を用いた場合の第１の符号化部４６３０又は第２の符号化部４６５０の処理を示す。また、同図の処理は、主に、図６に示す多重化部４６３４又は図１０に示す多重化部４６５６により行われる。
【０１５４】
なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化するかは既知であるものとする。例えば、いずれのＰＣＣコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
【０１５５】
まず、符号化部４６１３は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれかのコーデックを用いて符号化する（Ｓ４６３１）。
【０１５６】
使用したコーデックが第２の符号化方法である場合（Ｓ４６３２で第２の符号化方法）、符号化部４６１３は、第２の符号化方法用のＮＡＬユニットフォーマットでＮＡＬユニットを生成する（Ｓ４６３３）。次に、符号化部４６１３は、ＮＡＬユニットヘッダに含まれるｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第２の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６３４）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６３５）。
【０１５７】
一方、使用したコーデックが第１の符号化方法である場合（Ｓ４６３２で第１の符号化方法）、符号化部４６１３は、第１の符号化方法用のＮＡＬユニットフォーマットでＮＡＬユニットを生成する（Ｓ４６３６）。次に、符号化部４６１３は、ＮＡＬユニットヘッダのｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第１の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６３７）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６３５）。
【０１５８】
次に、本実施の形態に係る復号処理について説明する。図３０は、本実施の形態に係る復号処理のフローチャートである。同図の処理は、上記定義を用いた場合の第１の復号部４６４０又は第２の復号部４６６０の処理を示す。なお、以下では第１の復号部４６４０又は第２の復号部４６６０を区別せずに復号部４６２４とも記す。また、同図の処理は、主に、図８に示す逆多重化部４６４１又は図１２に示す逆多重化部４６６１により行われる。
【０１５９】
なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化されているかは既知であるものとする。例えば、使用されているコーデックを示す情報が伝送信号、多重化データ、又は符号化データに含まれており、復号部４６２４は、当該情報を参照して使用されているコーデックを判定する。なお、復号部４６２４は、これらの信号とは別に取得した信号に基づき、使用されているコーデックを判定してもよい。
【０１６０】
使用されているコーデックが第２の符号化方法である場合（Ｓ４６４１で第２の符号化方法）、復号部４６２４は、第２の符号化方法用フォーマットのＮＡＬユニットを受信する（Ｓ４６４２）。次に、復号部４６２４は、ＮＡＬユニットが第２の符号化方法用であるとして、第２の符号化方法用のＮＡＬユニットフォーマット及び第２の符号化方法用のｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６４３）。次に、復号部４６２４は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６４４）。
【０１６１】
一方、使用されているコーデックが第１の符号化方法である場合（Ｓ４６４１で第１の符号化方法）、復号部４６２４は、第１の符号化方法用フォーマットのＮＡＬユニットを受信する（Ｓ４６４５）。次に、復号部４６２４は、ＮＡＬユニットが第１の符号化方法用であるとして、第１の符号化方法用のＮＡＬユニットフォーマット及び第１の符号化方法用のｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６４６）。次に、復号部４６２４は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７４７）。
【０１６２】
（実施の形態３）
本実施の形態では、ＮＡＬユニットの定義の別の手法について説明する。本実施の形態では、ＮＡＬユニットとしてＰＣＣコーデック共通のフォーマットを定義する。また、ＰＣＣコーデック共通のＮＡＬユニットの識別子を定義する。
【０１６３】
図３１は、この場合のプロトコルスタックを示す図である。図３２〜図３４は、コーデック共通のＮＡＬユニットフォーマットの例を示す図である。図３２は、共通ＰＣＣ  ＮＡＬユニット（Ｃｏｍｍｏｎ  ＰＣＣ  ＮＡＬ  Ｕｎｉｔ）のシンタックス例を示す図である。図３３は、共通ＰＣＣ  ＮＡＬユニットヘッダ（Ｃｏｍｍｏｎ  ＰＣＣ  ＮＡＬ  Ｕｎｉｔ  Ｈｅａｄｅｒ）のシンタックス例を示す図である。図３４は、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅのセマンティクス例を示す図である。
【０１６４】
ＮＡＬユニットフォーマットとして、ＰＣＣコーデック共通のＮＡＬユニットフォーマットが定義される。ＮＡＬユニット（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ）は、ヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）、ペイロード（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）、及びトレイリングビット（ｔｒａｉｌｉｎｇ＿ｂｉｔｓ）を含む。第１の符号化方法と第２の符号化方法のいずれのコーデックのデータが格納される場合にも、同じフォーマットが使用される。
【０１６５】
ＮＡＬユニットヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）には、ＮＡＬユニットタイプ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が格納される。ＮＡＬユニットタイプは、コーデック共通であり、コーデック共通のタイプが定義される。つまり、第１の符号化方法用のＮＡＬユニット、第２の符号化方法用のＮＡＬユニットともに、共通に定義されたＮＡＬユニットタイプが記載される。図３４に示す例において、例えば、ＰＣＣ  ＤａｔａＡは、コーデック１の符号化データであり、ＰＣＣ  ＤａｔａＢは、コーデック２の符号化データであり、ＰＣＣ  ＭｅｔａＤａｔａＡは、コーデック１の付加情報であり、ＰＣＣ  ＭｅｔａＤａｔａＢは、コーデック２の付加情報である。
【０１６６】
本方式を用いることで、第１の符号化方法と第２の符号化方法とを、同じコーデックとして扱うことができる。
【０１６７】
次に、本実施の形態に係る符号化処理について説明する。図３５は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記の定義を用いた場合の第１の符号化部４６３０又は第２の符号化部４６５０の処理を示す。また、同図の処理は、主に、図６に示す多重化部４６３４又は図１０に示す多重化部４６５６により行われる。
【０１６８】
なお、同図の処理は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化するかは既知であるものとする。例えば、いずれのＰＣＣコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
【０１６９】
まず、符号化部４６１３は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれかのコーデックを用いて符号化する（Ｓ４６５１）。次に、符号化部４６１３は、ＰＣＣ共通のＮＡＬユニットフォーマットでＮＡＬユニットを生成する（Ｓ４６５２）。
【０１７０】
次に、符号化部４６１３は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅにＰＣＣ共通のＮＡＬユニットの識別子を設定する（Ｓ４６５３）。次に、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを送信する（Ｓ４６５４）。
【０１７１】
次に、本実施の形態に係る復号処理について説明する。図３６は、本実施の形態に係る復号処理のフローチャートである。同図の処理は、上記定義を用いた場合の第１の復号部４６４０又は第２の復号部４６６０の処理を示す。また、同図の処理は、主に、図８に示す逆多重化部４６４１又は図１２に示す逆多重化部４６６１により行われる。
【０１７２】
なお、同図の処理は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれか一方で符号化する例を示している。
【０１７３】
まず、復号部４６２４は、ＮＡＬユニットに含まれるデータの符号化に使用されているコーデックを判定する（Ｓ４６６１）。例えば、復号部４６２４は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを参照することで、使用されているコーデックを判定する。
【０１７４】
使用されているコーデックが第２の符号化方法である場合（Ｓ４６６１で第２の符号化方法）、復号部４６２４は、ＰＣＣ共通のフォーマットのＮＡＬユニットを受信する（Ｓ４６６２）。次に、復号部４６２４は、ＮＡＬユニットは共通であるとして、共通のＮＡＬユニットフォーマット及び共通のｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６６３）。次に、復号部４６２４は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６６４）。
【０１７５】
一方、使用されているコーデックが第１の符号化方法である場合（Ｓ４６６１で第１の符号化方法）、復号部４６２４は、ＰＣＣ共通のフォーマットのＮＡＬユニットを受信する（Ｓ４６６５）。次に、復号部４６２４は、ＮＡＬユニットは共通であるとして、共通のＮＡＬユニットフォーマット及び共通のｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６６６）。次に、復号部４６２４は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６６７）。
【０１７６】
以下、上記の実施の形態１〜実施の形態３の変形例について説明する。ＰＣＣコーデックタイプを示すその他の方法として以下の方法を用いてもよい。
【０１７７】
実施の形態１、実施の形態２、及び実施の形態３では、第１の符号化方法と第２の符号化方法との２つのコーデックが混在する場合を説明したが、ＰＣＣコーデックが３つ以上である場合も上記の手法を適用可能である。
【０１７８】
また、実施の形態１及び実施の形態３では、ＮＡＬユニットヘッダ内でＰＣＣコーデックの識別情報（実施の形態１におけるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ、及び、実施の形態３ｂにおけるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を記載したが、コーデックの識別情報を他の場所に格納してもよい。
【０１７９】
また、第１の符号化方法及び第２の符号化方法は、上記の例に限定されず、任意のコーデックであってもよい。例えば、第１の符号化方法及び第２の符号化方法は、ＧＰＣＣを細分化した複数のコーデックであってもよいし、ＶＰＣＣを細分化した複数のコーデックであってもよい。例えば、第１の符号化方法及び第２の符号化方法は、共にＶＰＣＣであり、用いられる映像符号化方式が異なってもよい。映像符号化方式は、例えば、ＡＶＣ又はＨＥＶＣであってもよい。また、第１の符号化方法及び第２の符号化方法のいずれか一方またはその両方は、映像、音声、テキストアプリケーションなど、その他の符号化方式を含む符号化方法であってもよい。
【０１８０】
例えば、コーデックの識別情報は、ＰＣＣ符号化ストリームに含まれる制御情報に含まれてもよい。ここで制御情報とは、例えば、パラメータセット、又はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）などのメタデータ等である。
【０１８１】
図３７は、この場合における符号化部４６１３による符号化処理のフローチャートである。まず、符号化部４６１３は、ＰＣＣデータを符号化し（Ｓ４６７１）、符号化データ内の所定の位置（例えばパラメータセット）にＰＣＣコーデックの識別情報を記載する（Ｓ４６７２）。次に、符号化部４６１３は、符号化データを含むＮＡＬユニットを生成し、生成したＮＡＬユニットを送信する（Ｓ４６７３）。
【０１８２】
また、ＰＣＣコーデックの識別情報がｐｒｏｆｉｌｅと定義しされ、ＰＣＣコーデックの識別情報がメタデータに示されてもよい。また、シーケンス全体に同一のコーデックが用いられている場合、シーケンスパラメータセットに、ＰＣＣコーデックの識別情報が含まれてもよい。また、ＰＣＣフレーム毎に異なるコーデックで符号化されている場合、フレーム毎の情報を記載するパラメータセットに、ＰＣＣコーデックの識別情報が含まれてもよい。例えば、位置情報と属性情報とでコーデックが違う場合のようにＰＣＣのデータ毎に異なるコーデックが用いられる場合、データ毎の情報を記載するパラメータセットに、ＰＣＣコーデックの識別情報が含まれてもよい。つまり、位置情報のコーデックを示す情報が位置情報の制御情報（パラメータセット等）に含まれ、属性情報のコーデックを示す情報が属性情報の制御情報（パラメータセット等）に含まれてもよい。
【０１８３】
なお、コーデックの識別情報は、上記のいずれかに格納されてもよいし、複数の位置に格納されてもよい。例えば、コーデックの識別情報は、符号化ストリーム内と、ＮＡＬユニットヘッダとの両方に格納されてもよい。また、複数の位置にコーデックの識別情報が格納される場合、複数の位置に、同一の情報が格納されてもよいし、異なる情報が格納されてもよい。異なる情報とは、例えば、ＧＰＣＣ又はＶＰＣＣを示す情報と、ＧＰＣＣ又はＶＰＣＣを細分化した複数のコーデックのいずれかを示す情報とである。
【０１８４】
復号部４６２４に含まれる逆多重化部４６４１又は４６６１は、ＮＡＬユニットにパラメータセットが含まれる場合には、パラメータセットの中の記載を解析することにより、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであるか第２の符号化方法で符号化されたデータであるかを判断できる。これにより、復号部４６２４は、復号に必要のないＮＡＬユニットを早くフィルタリングできる。
【０１８５】
図３８は、この場合の復号部４６２４による復号処理のフローチャートである。まず、復号部４６２４は、ＮＡＬユニットを受信し（Ｓ４６７５）、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてＰＣＣコーデックの識別情報が記載される所定のデータ（例えば上記パラメータセット）を識別する（Ｓ４６７６）。次に、復号部４６２４は、所定のデータ（例えばパラメータセット）を解析することで所定のデータ内に示されるＰＣＣコーデックを識別する（Ｓ４６７７）。次に、復号部４６２４は、識別したＰＣＣコーデックを用いて符号化データを復号する（Ｓ４６７８）。
【０１８６】
また、上記では、符号化ストリームがＮＡＬユニットに格納される例を示したが、ＮＡＬユニットの代わりに予め定められた方式の単位（ユニット）が用いられてもよい。
【０１８７】
（実施の形態４）
本実施の形態では、上述した第１の符号化部４６３０及び第２の符号化部４６５０の両方の機能を持つ符号化部４６７０、並びに、第１の復号部４６４０及び第２の復号部４６６０の両方の機能を持つ復号部４６８０について説明する。
【０１８８】
図３９は、本実施の形態に係る符号化部４６７０のブロック図である。この符号化部４６７０は、上述した第１の符号化部４６３０及び第２の符号化部４６５０と、多重化部４６７１とを含む。多重化部４６７１は、第１の符号化部４６３０で生成された符号化データと第２の符号化部４６５０で生成された符号化データとを多重化し、得られた符号化データを出力する。
【０１８９】
図４０は、本実施の形態に係る復号部４６８０のブロック図である。この復号部４６８０は、上述した第１の復号部４６４０及び第２の復号部４６６０と、逆多重化部４６８１とを含む。逆多重化部４６８１は、入力された符号化データから、第１の符号化方法が用いられている符号化データと、第２の符号化方法が用いられている符号化データとを抽出する。逆多重化部４６８１は、第１の符号化方法が用いられている符号化データを第１の復号部４６４０に出力し、第２の符号化方法が用いられている符号化データを第２の復号部４６６０に出力する。
【０１９０】
上記の構成により、符号化部４６７０は、第１の符号化方法及び第２の符号化方法を選択的に用いて点群データを符号化することができる。また、復号部４６８０は、第１の符号化方法を用いて符号化された符号化データ、第２の符号化方法を用いて符号化された符号化データ、及び、第１の符号化方法と第２の符号化方法との両方を用いて符号化された符号化データを復号できる。
【０１９１】
例えば、符号化部４６７０は、点群データ単位、又はフレーム単位で符号化方法（第１の符号化方法及び第２の符号化方法）を切り替えてもよい。また、符号化部４６７０は、符号化可能な単位で符号化方法を切り替えてもよい。
【０１９２】
符号化部４６７０は、例えば、上記実施の形態１又は実施の形態３で説明した、ＰＣＣコーデックの識別情報を含む符号化データ（符号化ストリーム）を生成する。
【０１９３】
復号部４６８０に含まれる逆多重化部４６８１は、例えば、実施の形態１又は実施の形態３で説明した、ＰＣＣコーデックの識別情報を用いて、データを識別する。逆多重化部４６８１は、当該データが第１の符号化方法で符号化されたデータである場合には、第１の復号部４６４０に当該データを出力し、当該データが第２の符号化方法で符号化されたデータである場合には、当該データを第２の復号部４６６０に出力する。
【０１９４】
なお、符号化部４６７０は、ＰＣＣコーデックの識別情報以外にも、両方の符号化方法を用いたか、いずれか一方の符号化方法を用いたかを示す情報を制御情報として送出してもよい。
【０１９５】
次に、本実施の形態に係る符号化処理について説明する。図４１は、本実施の形態に係る符号化処理のフローチャートである。実施の形態１、実施の形態２、実施の形態３、及び変形例で説明した、ＰＣＣコーデックの識別情報を用いることにより、複数コーデックに対応した符号化処理が可能となる。なお、図４１は、実施の形態１の手法を用いた場合の例を示すが、他の手法に対しても同様の処理が適用できる。
【０１９６】
まず、符号化部４６７０は、ＰＣＣデータを第１の符号化方法、第２の符号化方法のいずれか一方又は両方のコーデックで符号化する（Ｓ４６８１）。
【０１９７】
使用したコーデックが第２の符号化方法である場合（Ｓ４６８２で第２の符号化方法）、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６８３）。次に、符号化部４６７０は、ＮＡＬユニットヘッダのｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第２の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６８４）。そして、符号化部４６７０は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６７０は、生成したＮＡＬユニットを送信する（Ｓ４６８５）。
【０１９８】
一方、使用したコーデックが第１の符号化方法である場合（Ｓ４６８２で第１の符号化方法）、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６８６）。次に、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第１の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６８７）。次に、符号化部４６７０は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６７０は、生成したＮＡＬユニットを送信する（Ｓ４６８５）。
【０１９９】
次に、本実施の形態に係る復号処理について説明する。図４２は、本実施の形態に係る復号処理のフローチャートである。実施の形態１、実施の形態２、実施の形態３、及び変形例で説明した、ＰＣＣコーデックの識別情報を用いることにより、複数コーデックに対応した復号処理が可能となる。なお、図４２は、実施の形態１の手法を用いた場合の例を示すが、他の手法に対しても同様の処理が適用できる。
【０２００】
まず、復号部４６８０は、ＮＡＬユニットを受信する（Ｓ４６９１）。例えば、このＮＡＬユニットは、上述した符号化部４６７０における処理で生成されたものである。
【０２０１】
次に、復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示すか、第２の符号化方法を示すかを判定する（Ｓ４６９２）。
【０２０２】
ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４６９２で第２の符号化方法）、復号部４６８０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４６９３）。そして、第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６９４）。そして、復号部４６８０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６９５）。
【０２０３】
一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４６９２で第１の符号化方法）、復号部４６８０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４６９６）。そして、復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６９７）。そして、復号部４６８０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６９８）。
【０２０４】
以上のように、本開示の一態様に係る三次元データ符号化装置は、三次元データ（例えば点群データ）を符号化することで符号化ストリームを生成し（例えば、図３７のＳ４６７１）、前記符号化ストリームの制御情報（例えば、パラメータセット）に、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示す情報（例えば、コーデックの識別情報）を格納する（例えば、図３７のＳ４６７２）。
【０２０５】
これによれば、三次元データ復号装置は、当該三次元データ符号化装置で生成された符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方法を判定できる。よって、三次元データ復号装置は、複数の符号化方法が用いられる場合においても正しく符号化ストリームを復号できる。
【０２０６】
例えば、前記三次元データは、位置情報を含む。三次元データ符号化装置は、前記符号化では、前記位置情報を符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いた符号化方法を示す情報を格納する。
【０２０７】
例えば、前記三次元データは、位置情報と属性情報とを含む。三次元データ符号化装置は、前記符号化では、前記位置情報と前記属性情報とを符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いた符号化方法を示す情報を格納し、前記属性情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記属性情報の符号化に用いた符号化方法を示す情報を格納する。
【０２０８】
これによれば、位置情報と属性情報とに異なる符号化方法を用いることができるので、符号化効率を向上できる。
【０２０９】
例えば、前記三次元データ符号化方法は、さらに、前記符号化ストリームを１以上のユニット（例えば、ＮＡＬユニット）に格納する（例えば、図３７のＳ４６７３）。
【０２１０】
例えば、実施の形態１の図１５〜図１８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
【０２１１】
例えば、実施の形態２の図２３〜図２８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ又はｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
【０２１２】
例えば、実施の形態３の図３２〜図３４で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで共通した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
【０２１３】
例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【０２１４】
また、本実施の形態に係る三次元データ復号装置は、三次元データを符号化することで生成された符号化ストリームの制御情報（例えば、パラメータセット）に含まれる、第１符号化方法と第２符号化方法のうち、前記三次元データの符号化に用いられた符号化方法を示す情報（例えば、コーデックの識別情報）に基づき、符号化ストリームの符号化に用いられた符号化方法を判定し（例えば、図３８のＳ４６７７）、判定した前記符号化方法を用いて前記符号化ストリームを復号する（例えば、図３８のＳ４６７８）。
【０２１５】
これによれば、三次元データ復号装置は、符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方法を判定できる。よって、三次元データ復号装置は、複数の符号化方法が用いられる場合においても正しく符号化ストリームを復号できる。
【０２１６】
例えば、前記三次元データは、位置情報を含み、前記符号化ストリームは、前記位置情報の符号化データを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いられた符号化方法を示す情報に基づき、前記位置情報の符号化に用いられた符号化方法を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方法を用いて前記位置情報の符号化データを復号する。
【０２１７】
例えば、前記三次元データは、位置情報と属性情報とを含み、前記符号化ストリームは、前記位置情報の符号化データと前記属性情報の符号化データとを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いられた符号化方法を示す情報に基づき、前記位置情報の符号化に用いられた符号化方法を判定し、前記符号化ストリームに含まれる前記属性情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記属性情報の符号化に用いられた符号化方法を示す情報に基づき、前記属性情報の符号化に用いられた符号化方法を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方法を用いて前記位置情報の符号化データを復号し、判定した前記属性情報の符号化に用いられた符号化方法を用いて前記属性情報の符号化データを復号する。
【０２１８】
これによれば、位置情報と属性情報とに異なる符号化方法を用いることができるので、符号化効率を向上できる。
【０２１９】
例えば、前記符号化ストリームは１以上のユニット（例えば、ＮＡＬユニット）に格納されており、三次元データ復号装置は、さらに、前記１以上のユニットから前記符号化ストリームを取得する。
【０２２０】
例えば、実施の形態１の図１５〜図１８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
【０２２１】
例えば、実施の形態２の図２３〜図２８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ又はｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
【０２２２】
例えば、実施の形態３の図３２〜図３４で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで共通した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
【０２２３】
例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【０２２４】
（実施の形態５）
本実施の形態では、実施の形態１で説明したＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納する方法について説明する。
【０２２５】
ＩＳＯＢＭＦＦ（ＩＳＯ  ｂａｓｅｄ  ｍｅｄｉａ  ｆｉｌｅ  ｆｏｒｍａｔ）は、ＩＳＯ／ＩＥＣ１４４９６−１２に規定されるファイルフォーマット規格である。ＩＳＯＢＭＦＦは、ビデオ、オーディオ、及びテキストなど様々なメディアを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。
【０２２６】
ＩＳＯＢＭＦＦの基本構造（ファイル）について説明する。ＩＳＯＢＭＦＦにおける基本単位はボックスである。ボックスはｔｙｐｅ、ｌｅｎｇｔｈ、ｄａｔａで構成され、様々なｔｙｐｅのボックスを組み合わせた集合がファイルである。
【０２２７】
図４３は、ＩＳＯＢＭＦＦの基本構造（ファイル）を示す図である。ＩＳＯＢＭＦＦのファイルは、主に、ファイルのブランドを４ＣＣ（４文字コード）で示すｆｔｙｐ、制御情報などのメタデータを格納するｍｏｏｖ、及び、データを格納するｍｄａｔなどのボックスを含む。
【０２２８】
ＩＳＯＢＭＦＦのファイルへのメディア毎の格納方法は別途規定されており、例えば、ＡＶＣビデオ及びＨＥＶＣビデオの格納方法は、ＩＳＯ／ＩＥＣ１４４９６−１５に規定される。ここで、ＰＣＣ符号化データを蓄積又は伝送するために、ＩＳＯＢＭＦＦの機能を拡張して使用することが考えられるが、ＰＣＣ符号化データをＩＳＯＢＭＦＦのファイルに格納する規定はまだない。そこで、本実施の形態では、ＰＣＣ符号化データをＩＳＯＢＭＦＦのファイルに格納する方法について説明する。
【０２２９】
図４４は、ＰＣＣコーデック共通のＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納する場合のプロトコルスタックを示す図である。ここでは、実施の形態１で説明したＰＣＣコーデック共通のＮＡＬユニットがＩＳＯＢＭＦＦのファイルに格納される。ＮＡＬユニットはＰＣＣコーデック共通であるが、ＮＡＬユニットには複数のＰＣＣコーデックが格納されるため、それぞれのコーデックに応じた格納方法（Ｃａｒｒｉａｇｅ  ｏｆ  Ｃｏｄｅｃ１、Ｃａｒｒｉａｇｅ  ｏｆ  Ｃｏｄｅｃ２）を規定することが望ましい。
【０２３０】
次に、複数のＰＣＣコーデックをサポートする共通のＰＣＣ  ＮＡＬユニットをＩＳＯＢＭＦＦのファイルへ格納する方法について説明する。図４５は、共通のＰＣＣ  ＮＡＬユニットをコーデック１の格納方法（Ｃａｒｒｉａｇｅ  ｏｆ  Ｃｏｄｅｃ１）のＩＳＯＢＭＦＦのファイルに格納する例を示す図である。図４６は、共通のＰＣＣ  ＮＡＬユニットをコーデック２の格納方法（Ｃａｒｒｉａｇｅ  ｏｆ  Ｃｏｄｅｃ２）のＩＳＯＢＭＦＦのファイルに格納する例を示す図である。
【０２３１】
ここで、ｆｔｙｐは、ファイルフォーマットを識別するための重要な情報であり、ｆｔｙｐ用に、コーデック毎に異なる識別子が定義される。第１の符号化方法（符号化方式）で符号化されたＰＣＣ符号化データがファイルに格納される場合は、ｆｔｙｐ＝ｐｃｃ１に設定される。第２の符号化方法で符号化されたＰＣＣ符号化データがファイルに格納される場合は、ｆｔｙｐ＝ｐｃｃ２に設定される。
【０２３２】
ここで、ｐｃｃ１は、ＰＣＣのコーデック１（第１の符号化方法）が用いられることを示す。ｐｃｃ２は、ＰＣＣのコーデック２（第２の符号化方法）が用いられることを示す。つまり、ｐｃｃ１及びｐｃｃ２は、データがＰＣＣ（三次元データ（点群データ）の符号データ）であることを示し、かつ、ＰＣＣコーデック（第１の符号化方法及び第２の符号化方法）を示す。
【０２３３】
以下、ＮＡＬユニットをＩＳＯＢＭＦＦのファイルへ格納する方法について説明する。多重化部は、ＮＡＬユニットヘッダを解析し、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ＝Ｃｏｄｅｃ１である場合にはＩＳＯＢＭＦＦのｆｔｙｐにｐｃｃ１を記載する。
【０２３４】
また、多重化部は、ＮＡＬユニットヘッダを解析し、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ＝Ｃｏｄｅｃ２である場合にはＩＳＯＢＭＦＦのｆｔｙｐにｐｃｃ２を記載する。
【０２３５】
また、多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがメタデータである場合は、ＮＡＬユニットを所定の方法で、例えばｍｏｏｖ又はｍｄａｔに格納する。多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがデータである場合は、ＮＡＬユニットを所定の方法で、例えばｍｏｏｖ又はｍｄａｔに格納する。
【０２３６】
例えば、多重化部は、ＨＥＶＣと同様にＮＡＬユニットにＮＡＬユニットサイズを格納してもよい。
【０２３７】
本格納方法により、逆多重化部（システムレイヤ）においてファイルに含まれるｆｔｙｐを解析することで、ＰＣＣ符号化データが第１の符号化方法で符号化されたか、第２の符号化方法で符号化されたかを判定することが可能となる。さらに、上記の通り、ＰＣＣ符号化データが第１の符号化方法で符号化されたか、第２の符号化方法で符号化されたかを判定することで、両方の符号化方法で符号化された符号化データが混在するデータからいずれか一方の符号化方法で符号化された符号化データを抽出することができる。これにより、符号化データを伝送する際に、伝送されるデータ量を抑制することができる。また、本格納方法により、第１の符号化方法と第２の符号化方法とで、異なるデータ（ファイル）フォーマットを設定することなく、共通のデータフォーマットを用いることができる。
【０２３８】
なお、ＩＳＯＢＭＦＦにおけるｆｔｙｐなど、システムレイヤのメタデータにコーデックの識別情報が示される場合は、多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除したＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納してもよい。
【０２３９】
次に、本実施の形態に係る三次元データ符号化システム（三次元データ符号化装置）が備える多重化部、及び、本実施の形態に係る三次元データ復号システム（三次元データ復号装置）が備える逆多重化部の構成及び動作について説明する。
【０２４０】
図４７は、第１の多重化部４７１０の構成を示す図である。第１の多重化部４７１０は、第１の符号化部４６３０で生成された符号化データ及び制御情報（ＮＡＬユニット）をＩＳＯＢＭＦＦのファイルに格納することで多重化データ（ファイル）を生成するファイル変換部４７１１を備える。この第１の多重化部４７１０は、例えば、図１に示す多重化部４６１４に含まれる。
【０２４１】
図４８は、第１の逆多重化部４７２０の構成を示す図である。第１の逆多重化部４７２０は、多重化データ（ファイル）から符号化データ及び制御情報（ＮＡＬユニット）を取得し、取得した符号化データ及び制御情報を第１の復号部４６４０に出力するファイル逆変換部４７２１を備える。この第１の逆多重化部４７２０は、例えば、図１に示す逆多重化部４６２３に含まれる。
【０２４２】
図４９は、第２の多重化部４７３０の構成を示す図である。第２の多重化部４７３０は、第２の符号化部４６５０で生成された符号化データ及び制御情報（ＮＡＬユニット）をＩＳＯＢＭＦＦのファイルに格納することで多重化データ（ファイル）を生成するファイル変換部４７３１を備える。この第２の多重化部４７３０は、例えば、図１に示す多重化部４６１４に含まれる。
【０２４３】
図５０は、第２の逆多重化部４７４０の構成を示す図である。第２の逆多重化部４７４０は、多重化データ（ファイル）から符号化データ及び制御情報（ＮＡＬユニット）を取得し、取得した符号化データ及び制御情報を第２の復号部４６６０に出力するファイル逆変換部４７４１を備える。この第２の逆多重化部４７４０は、例えば、図１に示す逆多重化部４６２３に含まれる。
【０２４４】
図５１は、第１の多重化部４７１０による多重化処理のフローチャートである。まず、第１の多重化部４７１０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるかを判定する（Ｓ４７０１）。
【０２４５】
ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７０２で第２の符号化方法）、第１の多重化部４７１０は、当該ＮＡＬユニットを処理しない（Ｓ４７０３）。
【０２４６】
一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７０２で第１の符号化方法）、第１の多重化部４７１０は、ｆｔｙｐにｐｃｃ１を記載する（Ｓ４７０４）。つまり、第１の多重化部４７１０は、第１の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
【０２４７】
次に、第１の多重化部４７１０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７０５）。そして、第１の多重化部４７１０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７０６）。
【０２４８】
図５２は、第２の多重化部４７３０による多重化処理のフローチャートである。まず、第２の多重化部４７３０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるかを判定する（Ｓ４７１１）。
【０２４９】
ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７１２で第２の符号化方法）、第２の多重化部４７３０は、ｆｔｙｐにｐｃｃ２を記載する（Ｓ４７１３）。つまり、第２の多重化部４７３０は、第２の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
【０２５０】
次に、第２の多重化部４７３０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７１４）。そして、第２の多重化部４７３０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７１５）。
【０２５１】
一方、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４７１２で第１の符号化方法）、第２の多重化部４７３０は、当該ＮＡＬユニットを処理しない（Ｓ４７１６）。
【０２５２】
なお、上記処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示している。第１の多重化部４７１０及び第２の多重化部４７３０は、ＮＡＬユニットのコーデックタイプを識別することにより、所望のＮＡＬユニットをファイルに格納する。なお、ＮＡＬユニットヘッダ以外に、ＰＣＣコーデックの識別情報が含まれる場合には、第１の多重化部４７１０及び第２の多重化部４７３０は、ステップＳ４７０１及びＳ４７１１において、ＮＡＬユニットヘッダ以外に含まれるＰＣＣコーデックの識別情報を用いて、コーデックタイプ（第１の符号化方法又は第２の符号化方法）を識別してもよい。
【０２５３】
また、第１の多重化部４７１０及び第２の多重化部４７３０は、ステップＳ４７０６及びＳ４７１４において、データをファイルに格納する際に、ＮＡＬユニットヘッダからｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除したうえでファイルに格納してもよい。
【０２５４】
図５３は、第１の逆多重化部４７２０及び第１の復号部４６４０による処理を示すフローチャートである。まず、第１の逆多重化部４７２０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７２１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７２２で第２の符号化方法）、第１の逆多重化部４７２０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７２３）。また、第１の逆多重化部４７２０は、判断の結果を第１の復号部４６４０に伝達する。第１の復号部４６４０は、当該ＮＡＬユニットを処理しない（Ｓ４７２４）。
【０２５５】
一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７２２で第１の符号化方法）、第１の逆多重化部４７２０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７２５）。また、第１の逆多重化部４７２０は、判断の結果を第１の復号部４６４０に伝達する。
【０２５６】
第１の復号部４６４０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７２６）。そして、第１の復号部４６４０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７２７）。
【０２５７】
図５４は、第２の逆多重化部４７４０及び第２の復号部４６６０による処理を示すフローチャートである。まず、第２の逆多重化部４７４０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７３１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７３２で第２の符号化方法）、第２の逆多重化部４７４０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７３３）。また、第２の逆多重化部４７４０は、判断の結果を第２の復号部４６６０に伝達する。
【０２５８】
第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７３４）。そして、第２の復号部４６６０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７３５）。
【０２５９】
一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７３２で第１の符号化方法）、第２の逆多重化部４７４０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７３６）。また、第２の逆多重化部４７４０は、判断の結果を第２の復号部４６６０に伝達する。第２の復号部４６６０は、当該ＮＡＬユニットを処理しない（Ｓ４７３７）。
【０２６０】
このように、例えば、第１の逆多重化部４７２０又は第２の逆多重化部４７４０において、ＮＡＬユニットのコーデックタイプを識別することにより、早い段階でコーデックタイプを識別できる。さらに、所望のＮＡＬユニットを第１の復号部４６４０又は第２の復号部４６６０に入力し、不要なＮＡＬユニットを取り除くことができる。この場合、第１の復号部４６４０又は第２の復号部４６６０において、コーデックの識別情報を解析する処理は不要になる可能性がある。なお、第１の復号部４６４０又は第２の復号部４６６０で再度ＮＡＬユニットタイプを参照してコーデックの識別情報を解析する処理を実施してもよい。
【０２６１】
また、第１の多重化部４７１０又は第２の多重化部４７３０においてＮＡＬユニットヘッダからｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除されている場合には、第１の逆多重化部４７２０又は第２の逆多重化部４７４０は、ＮＡＬユニットにｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを付与したうえで第１の復号部４６４０又は第２の復号部４６６０へ出力してもよい。
【０２６２】
（実施の形態６）
本実施の形態では、実施の形態４で説明した、複数のコーデックに対応した符号化部４６７０及び復号部４６８０に対応する、多重化部および逆多重化部について説明する。図５５は、本実施の形態に係る符号化部４６７０及び第３の多重化部４７５０の構成を示す図である。
【０２６３】
符号化部４６７０は、点群データを、第１の符号化方法、及び第２の符号化方法のいずれか一方又は両方の方式を用いて符号化する。符号化部４６７０は、点群データ単位、又はフレーム単位で符号化方法（第１の符号化方法及び第２の符号化方法）を切り替えてもよい。また、符号化部４６７０は、符号化可能な単位で符号化方法を切り替えてもよい。
【０２６４】
符号化部４６７０は、実施の形態１〜４で説明した、ＰＣＣコーデックの識別情報を含む符号化データ（符号化ストリーム）を生成する。
【０２６５】
第３の多重化部４７５０は、ファイル変換部４７５１を備える。ファイル変換部４７５１は、符号化部４６７０から出力されたＮＡＬユニットをＰＣＣデータのファイルに変換する。ファイル変換部４７５１は、ＮＡＬユニットヘッダに含まれるコーデック識別情報を解析し、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。ファイル変換部４７５１は、ｆｔｙｐにコーデックを識別可能なブランド名を記載する。例えば、両方の方式で符号化されたことを示す場合、ｆｔｙｐにｐｃｃ３が記載される。
【０２６６】
なお、符号化部４６７０が、ＮＡＬユニット以外にＰＣＣコーデックの識別情報を記載している場合、ファイル変換部４７５１は、当該識別情報を用いて、ＰＣＣコーデック（符号化方法）を判定してもよい。
【０２６７】
図５６は、本実施の形態に係る第３の逆多重化部４７６０及び復号部４６８０の構成を示す図である。
【０２６８】
第３の逆多重化部４７６０は、ファイル逆変換部４７６１を備える。ファイル逆変換部４７６１は、ファイルに含まれるｆｔｙｐを解析し、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。
【０２６９】
ＰＣＣ符号化データがいずれか一方の符号化方法で符号化されている場合、第１の復号部４６４０及び第２の復号部４６６０のうち、対応する復号部にデータが入力され、もう一方の復号部にはデータが入力されない。ＰＣＣ符号化データが両方の符号化方法で符号化されている場合、両方式に対応する復号部４６８０にデータが入力される。
【０２７０】
復号部４６８０は、ＰＣＣ符号化データを、第１の符号化方法及び第２の符号化方法のいずれか一方又は両方の方式を用いて復号する。
【０２７１】
図５７は、本実施の形態に係る第３の多重化部４７５０による処理を示すフローチャートである。
【０２７２】
まず、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるか、第１の符号化方法及び第２の符号化方法の両方であるかを判定する（Ｓ４７４１）。
【０２７３】
第２の符号化方法が使用されている場合（Ｓ４７４２でＹｅｓ、かつ、Ｓ４７４３で第２の符号化方法）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ２を記載する（Ｓ４７４４）。つまり、第３の多重化部４７５０は、第２の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
【０２７４】
次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７４５）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。
【０２７５】
一方、第１の符号化方法が使用されている場合（Ｓ４７４２でＹｅｓ、かつ、Ｓ４７４３で第１の符号化方法）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ１を記載する（Ｓ４７４７）。つまり、第３の多重化部４７５０は、第１の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
【０２７６】
次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７４８）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。
【０２７７】
一方、第１の符号化方法と第２の符号化方法との両方の符号化方法が使用されている場合（Ｓ４７４２でＮｏ）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ３を記載する（Ｓ４７４９）。つまり、第３の多重化部４７５０は、両方の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
【０２７８】
次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７５０）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。
【０２７９】
図５８は、第３の逆多重化部４７６０及び復号部４６８０による処理を示すフローチャートである。まず、第３の逆多重化部４７６０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７６１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７６２でＹｅｓ、かつＳ４７６３で第２の符号化方法）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７６４）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。
【０２８０】
復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７６５）。そして、復号部４６８０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７６６）。
【０２８１】
一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７６２でＹｅｓ、かつＳ４７６３で第１の符号化方法）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７６７）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。
【０２８２】
復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７６８）。そして、復号部４６８０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７６９）。
【０２８３】
一方、ｆｔｙｐで両方の符号化方法が用いられていること（ｐｃｃ３）が示される場合（Ｓ４７６２でＮｏ）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが、第１の符号化方法と第２符号化方法との両方の符号化方法で符号化されたデータであると判断する（Ｓ４７７０）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。
【０２８４】
復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅに記載されるコーデック用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７７１）。そして、復号部４６８０は、両方の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７７２）。つまり、復号部４６８０は、第１の符号化方法で符号化されたデータを、第１の符号化方法の復号処理を用いて復号し、第２の符号化方法で符号化されたデータを、第２の符号化方法の復号処理を用いて復号する。
【０２８５】
以下、本実施の形態の変形例を説明する。ｆｔｙｐに示されるブランドの種類として、以下の種類が識別情報で示されてもよい。また、以下に示す複数の種類の組み合わせが識別情報で示されてもよい。
【０２８６】
識別情報は、ＰＣＣ符号化前の元データのオブジェクトが、領域が制限されている点群であるか、地図情報のように領域が制限されていない大規模点群であるかを示してもよい。
【０２８７】
識別情報は、ＰＣＣ符号化前の元データが、静的オブジェクトであるか、動的オブジェクトであるかを示してもよい。
【０２８８】
上述のように、識別情報は、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるかを示してもよい。
【０２８９】
識別情報は、ＰＣＣ符号化において用いたアルゴリズムを示してもよい。ここで、アルゴリズムとは、例えば、第１の符号化方法又は第２の符号化方法において使用可能な符号化方法である。
【０２９０】
識別情報は、ＰＣＣ符号化データのＩＳＯＢＭＦＦのファイルへの格納方法の違いを示してもよい。例えば、識別情報は、使用された格納方法が、蓄積用の格納方法であるか、ダイナミックストリーミングのようなリアルタイム送出用の格納方法であるかを示してもよい。
【０２９１】
なお、実施の形態５では、実施の形態１で説明したＮＡＬユニットの格納方法について説明し、実施の形態６では、実施の形態４で説明したＮＡＬユニット格納方法について説明したが、実施の形態２及び実施の形態３で説明したＮＡＬユニットに対しても同様の格納方法を適用することで、ＰＣＣコーデックの識別情報をＩＳＯＢＭＦＦのファイルに格納してもよい。
【０２９２】
また、実施の形態５及び実施の形態６では、ファイルフォーマットとしてＩＳＯＢＭＦＦが用いられる例に説明したが、その他の方式が用いられてもよい。例えば、ＭＰＥＧ−２  ＴＳ  Ｓｙｓｔｅｍｓ、ＭＰＥＧ−ＤＡＳＨ、ＭＭＴ、又はＲＭＰにＰＣＣ符号化データを格納する際にも本実施の形態と同様の方法を用いてもよい。
【０２９３】
また、上記では、ｆｔｙｐに識別情報等のメタデータを格納する例を示したが、ｆｔｙｐ以外にこれらのメタデータが格納されてもよい。例えば、これらのメタデータがｍｏｏｖに格納されてもよい。
【０２９４】
以上のように、三次元データ格納装置（又は三次元データ多重化装置、又は三次元データ符号化装置）は、図５９に示す処理を行う。
【０２９５】
まず、三次元データ格納装置（例えば、第１の多重化部４７１０、第２の多重化部４７３０又は第３の多重化部４７５０を含む）は、点群データが符号化された符号化ストリームが格納された１以上のユニット（例えばＮＡＬユニット）を取得する（Ｓ４７８１）。次に、三次元データ格納装置は、１以上のユニットをファイル（例えばＩＳＯＢＭＦＦのファイル）に格納する（Ｓ４７８２）。また、三次元データ格納装置は、前記格納（Ｓ４７８２）では、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報（例えばｐｃｃ１、ｐｃｃ２又はｐｃｃ３）を、前記ファイルの制御情報（例えばｆｔｙｐ）に格納する。
【０２９６】
これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
【０２９７】
例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記点群データの符号化に用いられた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第１符号化方法と第２符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。
【０２９８】
これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
【０２９９】
例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式（ＧＰＣＣ）であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式（ＶＰＣＣ）である。
【０３００】
例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ  ｂａｓｅｄ  ｍｅｄｉａ  ｆｉｌｅ  ｆｏｒｍａｔ）に準拠する。
【０３０１】
例えば、三次元データ格納装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【０３０２】
また、以上のように、三次元データ取得装置（又は三次元データ逆多重化装置、又は三次元データ復号装置）は、図６０に示す処理を行う。
【０３０３】
三次元データ取得装置（例えば、第１の逆多重化部４７２０、第２の逆多重化部４７４０又は第３の逆多重化部４７６０を含む）は、点群データが符号化された符号化ストリームが格納された１以上のユニット（例えばＮＡＬユニット）が格納されたファイル（例えばＩＳＯＢＭＦＦのファイル）を取得する（Ｓ４７９１）。次に、三次元データ取得装置は、ファイルから、１以上のユニットを取得する（Ｓ４７９２）。また、ファイルの制御情報（例えばｆｔｙｐ）は、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報（例えばｐｃｃ１、ｐｃｃ２又はｐｃｃ３）を含む。
【０３０４】
例えば、三次元データ取得装置は、前記情報を参照して、ファイルに格納されているデータが、点群データが符号化されたデータであるか否かを判定する。また、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、１以上のユニットに含まれる点群データが符号化されたデータを復号することで点群データを生成する。または、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、１以上のユニットに含まれるデータが、点群データが符号化されたデータであることを示す情報を、後段の処理部（例えば、第１の復号部４６４０、第２の復号部４６６０又は復号部４６８０）に出力（通知）する。
【０３０５】
これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。
【０３０６】
例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第１符号化方法と第２符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。
【０３０７】
これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。
【０３０８】
例えば、三次元データ取得装置は、前記情報に基づき、第１符号化方法で符号化されたデータと第２符号化方法で符号化されたデータとを含む符号化された点群データから、いずれか一方の符号化方法で符号化されたデータを取得する。
【０３０９】
例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式（ＧＰＣＣ）であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式（ＶＰＣＣ）である。
【０３１０】
例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ  ｂａｓｅｄ  ｍｅｄｉａ  ｆｉｌｅ  ｆｏｒｍａｔ）に準拠する。
【０３１１】
例えば、三次元データ取得装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【０３１２】
（実施の形態７）
本実施の形態では、上述した第１の符号化部４６３０、又は第２の符号化部４６５０で生成される符号化データ（位置情報（Ｇｅｏｍｅｔｒｙ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、付加情報（Ｍｅｔａｄａｔａ））の種別、及び付加情報（メタデータ）の生成方法、及び多重化部における多重処理について説明する。なお、付加情報（メタデータ）は、パラメータセット、又は制御情報と表記することもある。
【０３１３】
本実施の形態では、図４で説明した動的オブジェクト（時間的に変化する三次元点群データ）を例に説明するが、静的オブジェクト（任意の時刻の三次元点群データ）の場合でも同様の方法を用いてもよい。
【０３１４】
図６１は、本実施の形態に係る三次元データ符号化装置に含まれる符号化部４８０１及び多重化部４８０２の構成を示す図である。符号化部４８０１は、例えば、上述した第１の符号化部４６３０又は第２の符号化部４６５０に対応する。多重化部４８０２は、上述した多重化部４６３４又は４６４５６に対応する。
【０３１５】
符号化部４８０１は、複数のＰＣＣ（Ｐｏｉｎｔ  Ｃｌｏｕｄ  Ｃｏｍｐｒｅｓｓｉｏｎ）フレームの点群データを符号化し、複数の位置情報、属性情報及び付加情報の符号化データ（Ｍｕｌｔｉｐｌｅ  Ｃｏｍｐｒｅｓｓｅｄ  Ｄａｔａ）を生成する。
【０３１６】
多重化部４８０２は、複数のデータ種別（位置情報、属性情報及び付加情報）のデータをＮＡＬユニット化することで、データを復号装置におけるデータアクセスを考慮したデータ構成に変換する。
【０３１７】
図６２は、符号化部４８０１で生成される符号化データの構成例を示す図である。図中の矢印は符号化データの復号に係る依存関係を示しており、矢印の元は矢印の先のデータに依存している。つまり、復号装置は、矢印の先のデータを復号し、その復号したデータを用いて矢印の元のデータを復号する。言い換えると、依存するとは、依存元のデータの処理（符号化又は復号等）において依存先のデータが参照（使用）されることを意味する。
【０３１８】
まず、位置情報の符号化データの生成処理について説明する。符号化部４８０１は、各フレームの位置情報を符号化することで、フレーム毎の符号化位置データ（Ｃｏｍｐｒｅｓｓｅｄ  Ｇｅｏｍｅｔｒｙ  Ｄａｔａ）を生成する。また、符号化位置データをＧ（ｉ）で表す。ｉはフレーム番号、又はフレームの時刻等を示す。
【０３１９】
また、符号化部４８０１は、各フレームに対応する位置パラメータセット（ＧＰＳ（ｉ））を生成する。位置パラメータセットは、符号化位置データの復号に使用することが可能なパラメータを含む。また、フレーム毎の符号化位置データは、対応する位置パラメータセットに依存する。
【０３２０】
また、複数フレームから成る符号化位置データを位置シーケンス（Ｇｅｏｍｅｔｒｙ  Ｓｅｑｕｅｎｃｅ）と定義する。符号化部４８０１は、位置シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する位置シーケンスパラメータセット（Ｇｅｏｍｅｔｒｙ  Ｓｅｑｕｅｎｃｅ  ＰＳ：位置ＳＰＳとも記す）を生成する。位置シーケンスは、位置ＳＰＳに依存する。
【０３２１】
次に、属性情報の符号化データの生成処理について説明する。符号化部４８０１は、各フレームの属性情報を符号化することで、フレーム毎の符号化属性データ（Ｃｏｍｐｒｅｓｓｅｄ  Ａｔｔｒｉｂｕｔｅ  Ｄａｔａ）を生成する。また、符号化属性データをＡ（ｉ）で表す。また、図６２では、属性Ｘと属性Ｙとが存在する例を示しており、属性Ｘの符号化属性データをＡＸ（ｉ）で表し、属性Ｙの符号化属性データをＡＹ（ｉ）で表す。
【０３２２】
また、符号化部４８０１は、各フレームに対応する属性パラメータセット（ＡＰＳ（ｉ））を生成する。また、属性Ｘの属性パラメータセットをＡＸＰＳ（ｉ）で表し、属性Ｙの属性パラメータセットをＡＹＰＳ（ｉ）で表す。属性パラメータセットは、符号化属性情報の復号に使用することが可能なパラメータを含む。符号化属性データは、対応する属性パラメータセットに依存する。
【０３２３】
また、複数フレームから成る符号化属性データを属性シーケンス（Ａｔｔｒｉｂｕｔｅ  Ｓｅｑｕｅｎｃｅ）と定義する。符号化部４８０１は、属性シーケンス内の複数のフレームに対する復号処理に共通に使用するパラメータを格納する属性シーケンスパラメータセット（Ａｔｔｒｉｂｕｔｅ  Ｓｅｑｕｅｎｃｅ  ＰＳ：属性ＳＰＳとも記す）を生成する。属性シーケンスは、属性ＳＰＳに依存する。
【０３２４】
また、第１の符号化方法では、符号化属性データは符号化位置データに依存する。
【０３２５】
また、図６２では２種類の属性情報（属性Ｘと属性Ｙ）が存在する場合の例を示している。２種類の属性情報がある場合は、例えば、２つの符号化部により、それぞれのデータ及びメタデータが生成される。また、例えば、属性情報の種類毎に属性シーケンスが定義され、属性情報の種類毎に属性ＳＰＳが生成される。
【０３２６】
なお、図６２では、位置情報が１種類、属性情報が２種類である例を示しているが、これに限らず、属性情報は１種類であってもよいし、３種類以上であってもよい。この場合も、同様の方法で符号化データを生成できる。また、属性情報を持たない点群データの場合は、属性情報はなくてもよい。その場合は、符号化部４８０１は、属性情報に関連するパラメータセットを生成しなくてもよい。
【０３２７】
次に、付加情報（メタデータ）の生成処理について説明する。符号化部４８０１は、ＰＣＣストリーム全体のパラメータセットであるＰＣＣストリームＰＳ（ＰＣＣ  Ｓｔｒｅａｍ  ＰＳ：ストリームＰＳとも記す）を生成する。符号化部４８０１は、ストリームＰＳに、１又は複数の位置シーケンス及び１又は複数の属性シーケンスに対する復号処理に共通に使用することができるパラメータを格納する。例えば、ストリームＰＳには、点群データのコーデックを示す識別情報、及び符号化に使用されたアルゴリズムを示す情報等が含まれる。位置シーケンス及び属性シーケンスはストリームＰＳに依存する。
【０３２８】
次に、アクセスユニット及びＧＯＦについて説明する。本実施の形態では、新たにアクセスユニット（Ａｃｃｅｓｓ  Ｕｎｉｔ：ＡＵ）、及びＧＯＦ（Ｇｒｏｕｐ  ｏｆ  Ｆｒａｍｅ）の考え方を導入する。
【０３２９】
アクセスユニットは、復号時にデータにアクセスするため基本単位であり、１つ以上のデータ及び１つ以上のメタデータで構成される。例えば、アクセスユニットは、同一時刻の位置情報と１又は複数の属性情報とで構成される。ＧＯＦは、ランダムアクセス単位であり、１つ以上のアクセスユニットで構成される。
【０３３０】
符号化部４８０１は、アクセスユニットの先頭を示す識別情報として、アクセスユニットヘッダ（ＡＵ  Ｈｅａｄｅｒ）を生成する。符号化部４８０１は、アクセスユニットヘッダに、アクセスユニットに係るパラメータを格納する。例えば、アクセスユニットヘッダは、アクセスユニットに含まれる符号化データの構成又は情報を含む。また、アクセスユニットヘッダは、アクセスユニットに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。
【０３３１】
なお、符号化部４８０１は、アクセスユニットヘッダの代わりに、アクセスユニットに係るパラメータを含まないアクセスユニットデリミタを生成してもよい。このアクセスユニットデリミタは、アクセスユニットの先頭を示す識別情報として用いられる。復号装置は、アクセスユニットヘッダ又はアクセスユニットデリミタを検出することにより、アクセスユニットの先頭を識別する。
【０３３２】
次に、ＧＯＦ先頭の識別情報の生成について説明する。符号化部４８０１は、ＧＯＦの先頭を示す識別情報として、ＧＯＦヘッダ（ＧＯＦ  Ｈｅａｄｅｒ）を生成する。符号化部４８０１は、ＧＯＦヘッダに、ＧＯＦに係るパラメータを格納する。例えば、ＧＯＦヘッダは、ＧＯＦに含まれる符号化データの構成又は情報を含む。また、ＧＯＦヘッダは、ＧＯＦに含まれるデータに共通に用いられるパラメータ、例えば、符号化データの復号に係るパラメータなどを含む。
【０３３３】
なお、符号化部４８０１は、ＧＯＦヘッダの代わりに、ＧＯＦに係るパラメータを含まないＧＯＦデリミタを生成してもよい。このＧＯＦデリミタは、ＧＯＦの先頭を示す識別情報として用いられる。復号装置は、ＧＯＦヘッダ又はＧＯＦデリミタを検出することにより、ＧＯＦの先頭を識別する。
【０３３４】
ＰＣＣ符号化データにおいて、例えば、アクセスユニットはＰＣＣフレーム単位であると定義される。復号装置は、アクセスユニット先頭の識別情報に基づき、ＰＣＣフレームにアクセスする。
【０３３５】
また、例えば、ＧＯＦは１つのランダムアクセス単位であると定義される。復号装置は、ＧＯＦ先頭の識別情報に基づき、ランダムアクセス単位にアクセスする。例えば、ＰＣＣフレームが互いに依存関係がなく、単独で復号可能であれば、ＰＣＣフレームをランダムアクセス単位と定義してもよい。
【０３３６】
なお、１つのアクセスユニットに２つ以上のＰＣＣフレームが割り当てられてもよいし、１つのＧＯＦに複数のランダムアクセス単位が割り当てられてもよい。
【０３３７】
また、符号化部４８０１は、上記以外のパラメータセット又はメタデータを定義し、生成してもよい。例えば、符号化部４８０１は、復号時に必ずしも用いない可能性のあるパラメータ（オプションのパラメータ）を格納するＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）を生成してもよい。
【０３３８】
次に、符号化データの構成、及び符号化データのＮＡＬユニットへの格納方法を説明する。
【０３３９】
例えば、符号化データの種類毎にデータフォーマットが規定される。図６３は、符号化データ及びＮＡＬユニットの例を示す図である。
【０３４０】
例えば、図６３に示すように符号化データは、ヘッダとペイロードとを含む。なお、符号化データは、符号化データ、ヘッダ又はペイロードの長さ（データ量）を示す長さ情報を含んでもよい。また、符号化データは、ヘッダを含まなくてもよい。
【０３４１】
ヘッダは、例えば、データを特定するための識別情報を含む。この識別情報は、例えば、データ種別又はフレーム番号を示す。
【０３４２】
ヘッダは、例えば、参照関係を示す識別情報を含む。この識別情報は、例えば、データ間に依存関係がある場合にヘッダに格納され、参照元から参照先を参照するための情報である。例えば、参照先のヘッダには、当該データを特定するための識別情報が含まれる。参照元のヘッダには、参照先を示す識別情報が含まれる。
【０３４３】
なお、他の情報から参照先又は参照元を識別可能又は導出可能である場合は、データを特定するための識別情報、又は参照関係を示す識別情報を省略してもよい。
【０３４４】
多重化部４８０２は、符号化データを、ＮＡＬユニットのペイロードに格納する。ＮＡＬユニットヘッダには、符号化データの識別情報であるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが含まれる。図６４は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクスの例を示す図である。
【０３４５】
図６４に示すように、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅがコーデック１（Ｃｏｄｅｃ１：第１の符号化方法）である場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値０〜１０は、コーデック１における、符号化位置データ（Ｇｅｏｍｅｔｒｙ）、符号化属性Ｘデータ（ＡｔｔｒｉｂｕｔｅＸ）、符号化属性Ｙデータ（ＡｔｔｒｉｂｕｔｅＹ）、位置ＰＳ（Ｇｅｏｍ．ＰＳ）、属性ＸＰＳ（ＡｔｔｒＸ．ＰＳ）、属性ＹＰＳ（ＡｔｔｒＸ．ＰＳ）、位置ＳＰＳ（Ｇｅｏｍｅｔｒｙ  Ｓｅｑｕｅｎｃｅ  ＰＳ）、属性ＸＳＰＳ（ＡｔｔｒｉｂｕｔｅＸ  Ｓｅｑｕｅｎｃｅ  ＰＳ）、属性ＹＳＰＳ（ＡｔｔｒｉｂｕｔｅＹ  Ｓｅｑｕｅｎｃｅ  ＰＳ）、ＡＵヘッダ（ＡＵ  Ｈｅａｄｅｒ）、ＧＯＦヘッダ（ＧＯＦ  Ｈｅａｄｅｒ）に割り当てられる。また、値１１以降は、コーデック１の予備に割り当てられる。
【０３４６】
ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅがコーデック２（Ｃｏｄｅｃ２：第２の符号化方法）である場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値０〜２は、コーデックのデータＡ（ＤａｔａＡ）、メタデータＡ（ＭｅｔａＤａｔａＡ）、メタデータＢ（ＭｅｔａＤａｔａＢ）に割り当てられる。また、値３以降は、コーデック２の予備に割り当てられる。
【０３４７】
次に、データの送出順序について説明する。以下、ＮＡＬユニットの送出順序の制約について説明する。
【０３４８】
多重化部４８０２は、ＮＡＬユニットをＧＯＦ又はＡＵ単位でまとめて送出する。多重化部４８０２は、ＧＯＦの先頭にＧＯＦヘッダを配置し、ＡＵの先頭にＡＵヘッダを配置する。
【０３４９】
パケットロスなどでデータが失われた場合でも、復号装置が次のＡＵから復号できるように、多重化部４８０２は、シーケンスパラメータセット（ＳＰＳ）を、ＡＵ毎に配置してもよい。
【０３５０】
符号化データに復号に係る依存関係がある場合には、復号装置は、参照先のデータを復号した後に、参照元のデータを復号する。復号装置において、データを並び替ることなく、受信した順番に復号できるようにするために、多重化部４８０２は、参照先のデータを先に送出する。
【０３５１】
図６５は、ＮＡＬユニットの送出順の例を示す図である。図６５は、位置情報優先と、パラメータ優先と、データ統合との３つの例を示す。
【０３５２】
位置情報優先の送出順序は、位置情報に関する情報と、属性情報に関する情報との各々をまとめて送出する例である。この送出順序の場合、位置情報に関する情報の送出が属性情報に関する情報の送出よりも早く完了する。
【０３５３】
例えば、この送出順序を用いることで、属性情報を復号しない復号装置は、属性情報の復号を無視することで、処理しない時間を設けることができる可能性がある。また、例えば、位置情報を早く復号したい復号装置の場合、位置情報の符号化データを早く得ることにより、より早く位置情報を復号することができる可能性がある。
【０３５４】
なお、図６５では、属性ＸＳＰＳと属性ＹＳＰＳを統合し、属性ＳＰＳと記載しているが、属性ＸＳＰＳと属性ＹＳＰＳとを個別に配置してもよい。
【０３５５】
パラメータセット優先の送出順序では、パラメータセットが先に送出され、データが後で送出される。
【０３５６】
以上のようにＮＡＬユニット送出順序の制約に従えば、多重化部４８０２は、ＮＡＬユニットをどのような順序で送出してもよい。例えば、順序識別情報が定義され、多重化部４８０２は、複数パターンの順序でＮＡＬユニットを送出する機能を有してもよい。例えばストリームＰＳにＮＡＬユニットの順序識別情報が格納される。
【０３５７】
三次元データ復号装置は、順序識別情報に基づき復号を行ってもよい。三次元データ復号装置から三次元データ符号化装置に所望の送出順序が指示され、三次元データ符号化装置（多重化部４８０２）は、指示された送出順序に従って送出順序を制御してもよい。
【０３５８】
なお、多重化部４８０２は、データ統合の送出順序のように、送出順序の制約に従う範囲であれば、複数の機能をマージした符号化データを生成してもよい。例えば、図６５に示すように、ＧＯＦヘッダとＡＵヘッダとを統合してもよいし、ＡＸＰＳとＡＹＰＳとを統合してもよい。この場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅには、複数の機能を有するデータであることを示す識別子が定義される。
【０３５９】
以下、本実施の形態の変形例について説明する。フレームレベルのＰＳ、シーケンスレベルのＰＳ、ＰＣＣシーケンスレベルのＰＳのように、ＰＳにはレベルがあり、ＰＣＣシーケンスレベルを上位のレベルとし、フレームレベルを下位のレベルとすると、パラメータの格納方法には下記の方法を用いてもよい。
【０３６０】
デフォルトのＰＳの値をより上位のＰＳで示す。また、下位のＰＳの値が上位のＰＳの値と異なる場合には、下位のＰＳでＰＳの値が示される。または、上位ではＰＳの値を記載せず、下位のＰＳにＰＳの値を記載する。または、ＰＳの値を、下位のＰＳで示すか、上位のＰＳで示すか、両方で示すかの情報を、下位のＰＳと上位のＰＳのいずれか一方又は両方に示す。または、下位のＰＳを上位のＰＳにマージしてもよい。または、下位のＰＳと上位のＰＳとが重複する場合には、多重化部４８０２は、いずれか一方の送出を省略してもよい。
【０３６１】
なお、符号化部４８０１又は多重化部４８０２は、データをスライス又はタイルなどに分割し、分割したデータを送出してもよい。分割したデータには、分割したデータを識別するための情報が含まれ、分割データの復号に使用するパラメータがパラメータセットに含まれる。この場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅには、タイル又はスライスに係るデータ又はパラメータを格納するデータであることを示す識別子が定義される。
【０３６２】
以下、順序識別情報に係る処理について説明する。図６６は、ＮＡＬユニットの送出順序に係る三次元データ符号化装置（符号化部４８０１及び多重化部４８０２）による処理のフローチャートである。
【０３６３】
まず、三次元データ符号化装置は、ＮＡＬユニットの送出順序（位置情報優先又はパラメータセット優先）を決定する（Ｓ４８０１）。例えば、三次元データ符号化装置は、ユーザ又は外部装置（例えば三次元データ復号装置）からの指定に基づき送出順序を決定する。
【０３６４】
決定された送出順序が位置情報優先である場合（Ｓ４８０２で位置情報優先）、三次元データ符号化装置は、ストリームＰＳに含まれる順序識別情報を、位置情報優先に設定する（Ｓ４８０３）。つまり、この場合、順序識別情報は、位置情報優先の順序でＮＡＬユニットが送出されることを示す。そして、三次元データ符号化装置は、位置情報優先の順序でＮＡＬユニットを送出する（Ｓ４８０４）。
【０３６５】
一方、決定された送出順序がパラメータセット優先である場合（Ｓ４８０２でパラメータセット優先）、三次元データ符号化装置は、ストリームＰＳに含まれる順序識別情報をパラメータセット優先に設定する（Ｓ４８０５）。つまり、この場合、順序識別情報は、パラメータセット優先の順序でＮＡＬユニットが送出されることを示す。そして、三次元データ符号化装置は、パラメータセットパラメータセット優先の順序でＮＡＬユニットを送出する（Ｓ４８０６）。
【０３６６】
図６７は、ＮＡＬユニットの送出順序に係る三次元データ復号装置による処理のフローチャートである。まず、三次元データ復号装置は、ストリームＰＳに含まれる順序識別情報を解析する（Ｓ４８１１）。
【０３６７】
順序識別情報で示される送出順序が位置情報優先である場合（Ｓ４８１２で位置情報優先）、三次元データ復号装置は、ＮＡＬユニットの送出順序が位置情報優先であるものとして、ＮＡＬユニットを復号する（Ｓ４８１３）。
【０３６８】
一方、順序識別情報で示される送出順序がパラメータセット優先である場合（Ｓ４８１２でパラメータセット優先）、三次元データ復号装置は、ＮＡＬユニットの送出順序がパラメータセット優先であるものとして、ＮＡＬユニットを復号する（Ｓ４８１４）。
【０３６９】
例えば、三次元データ復号装置は、属性情報を復号しない場合、ステップＳ４８１３において、全てのＮＡＬユニットを取得せずに、位置情報に関するＮＡＬユニットを取得し、取得したＮＡＬユニットから位置情報を復号してもよい。
【０３７０】
次に、ＡＵ及びＧＯＦの生成に係る処理について説明する。図６８は、ＮＡＬユニットの多重化におけるＡＵ及びＧＯＦ生成に係る三次元データ符号化装置（多重化部４８０２）による処理のフローチャートである。
【０３７１】
まず、三次元データ符号化装置は、符号化データの種類を判定する（Ｓ４８２１）。具体的には、三次元データ符号化装置は、処理対象の符号化データがＡＵ先頭のデータであるか、ＧＯＦ先頭のデータであるか、それ以外のデータであるかを判定する。
【０３７２】
符号化データがＧＯＦ先頭のデータである場合（Ｓ４８２２でＧＯＦ先頭）、三次元データ符号化装置は、ＧＯＦヘッダ及びＡＵヘッダをＧＯＦに属する符号化データの先頭に配置してＮＡＬユニットを生成する（Ｓ４８２３）。
【０３７３】
符号化データがＡＵ先頭のデータである場合（Ｓ４８２２でＡＵ先頭）、三次元データ符号化装置は、ＡＵヘッダをＡＵに属する符号化データの先頭に配置してＮＡＬユニットを生成する（Ｓ４８２４）。
【０３７４】
符号化データがＧＯＦ先頭及びＡＵ先頭のいずれでもない場合（Ｓ４８２２でＧＯＦ先頭、ＡＵ先頭以外）、三次元データ符号化装置は、符号化データが属するＡＵのＡＵヘッダの後に符号化データを配置してＮＡＬユニットを生成する（Ｓ４８２５）。
【０３７５】
次に、ＡＵ及びＧＯＦへのアクセスに係る処理について説明する。図６９は、ＮＡＬユニットの逆多重化におけるＡＵ及びＧＯＦのアクセスに係る三次元データ復号装置の処理のフローチャートである。
【０３７６】
まず、三次元データ復号装置は、ＮＡＬユニットに含まれるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析することでＮＡＬユニットに含まれる符号化データの種類を判定する（Ｓ４８３１）。具体的には、三次元データ復号装置は、ＮＡＬユニットに含まれる符号化データが、ＡＵ先頭のデータであるか、ＧＯＦ先頭のデータであるか、それ以外のデータであるかを判定する。
【０３７７】
ＮＡＬユニットに含まれる符号化データがＧＯＦ先頭のデータである場合（Ｓ４８３２のＧＯＦ先頭）、三次元データ復号装置は、ＮＡＬユニットがランダムアクセスの開始位置であると判断して、当該ＮＡＬユニットにアクセスし、復号処理を開始する（Ｓ４８３３）。
【０３７８】
一方、ＮＡＬユニットに含まれる符号化データがＡＵ先頭のデータである場合（Ｓ４８３２でＡＵ先頭）、三次元データ復号装置は、ＮＡＬユニットがＡＵ先頭であると判断して、ＮＡＬユニットに含まれるデータにアクセスし、当該ＡＵを復号する（Ｓ４８３４）。
【０３７９】
一方、ＮＡＬユニットに含まれる符号化データが、ＧＯＦ先頭及びＡＵ先頭のいずれでもない場合（Ｓ４８３２でＧＯＦ先頭、ＡＵ先頭以外）、三次元データ復号装置は、当該ＮＡＬユニットを処理しない。
【０３８０】
以上のように、三次元データ符号化装置は、図７０に示す処理を行う。三次元データ符号化装置は、時系列の三次元データ（例えば動的オブジェクトの点群データ）を符号化する。三次元データは、時刻毎の位置情報と属性情報とを含む。
【０３８１】
まず、三次元データ符号化装置は、位置情報を符号化する（Ｓ４８４１）。次に、三次元データ符号化装置は、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して符号化する（Ｓ４８４２）。ここで、図６２に示すように、同一時刻の位置情報と属性情報とはアクセスユニット（ＡＵ）を構成する。つまり、三次元データ符号化装置は、処理対象の属性情報を、当該処理対象の属性情報と同じアクセスユニットに含まれる位置情報を参照して符号化する。
【０３８２】
これによれば、三次元データ符号化装置は、アクセスユニットを用いて符号化における参照の制御を容易化できる。よって、三次元データ符号化装置は符号化処理の処理量を低減できる。
【０３８３】
例えば、三次元データ符号化装置は、符号化された位置情報（符号化位置データ）と、符号化された属性情報（符号化属性データ）と、処理対象の属性情報の参照先の位置情報を示す情報とを含むビットストリームを生成する。
【０３８４】
例えば、ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセット（位置ＰＳ）と、各時刻の属性情報の制御情報を含む属性パラメータセット（属性ＰＳ）とを含む。
【０３８５】
例えば、ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセット（位置ＳＰＳ）と、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセット（属性ＳＰＳ）とを含む。
【０３８６】
例えば、ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセット（ストリームＰＳ）を含む。
【０３８７】
例えば、ビットストリームは、アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダ（ＡＵヘッダ）を含む。
【０３８８】
例えば、三次元データ符号化装置は、１以上のアクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号可能なように符号化する。つまり、ＧＯＦはランダムアクセス単位である。
【０３８９】
例えば、ビットストリームは、ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含む。
【０３９０】
例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【０３９１】
また、以上のように、三次元データ復号装置は、図７１に示す処理を行う。三次元データ復号装置は、時系列の三次元データ（例えば動的オブジェクトの点群データ）を復号する。三次元データは、時刻毎の位置情報と属性情報とを含む。同一時刻の位置情報と属性情報とはアクセスユニット（ＡＵ）を構成する。
【０３９２】
まず、三次元データ復号装置は、ビットストリームから位置情報を復号する（Ｓ４８５１）。つまり、三次元データ復号装置は、ビットストリームに含まれる符号化された位置情報（符号化位置データ）を復号することで位置情報を生成する。
【０３９３】
次に、三次元データ復号装置は、ビットストリームから、処理対象の属性情報を、当該処理対象の属性情報と同一時刻の位置情報を参照して復号する（Ｓ４８５２）。つまり、三次元データ復号装置は、ビットストリームに含まれる符号化された属性情報（符号化属性データ）を復号することで属性情報を生成する。このとき、三次元データ復号装置は、属性情報と同じアクセスユニットに含まれる復号済みの位置情報を参照する。
【０３９４】
これによれば、三次元データ復号装置は、アクセスユニットを用いて復号における参照の制御を容易化できる。よって、当該三次元データ復号方法は復号処理の処理量を低減できる。
【０３９５】
例えば、三次元データ復号装置は、ビットストリームから、処理対象の属性情報の参照先の位置情報を示す情報を取得し、取得した情報で示される参照先の位置情報を参照して処理対象の属性情報を復号する。
【０３９６】
例えば、ビットストリームは、各時刻の位置情報の制御情報を含む位置パラメータセット（位置ＰＳ）と、各時刻の属性情報の制御情報を含む属性パラメータセット（属性ＰＳ）とを含む。つまり、三次元データ復号装置は、処理対象時刻の位置パラメータセットに含まれる制御情報を用いて、処理対象時刻の位置情報を復号し、処理対象時刻の属性パラメータセットに含まれる制御情報を用いて、処理対象時刻の属性情報を復号する。
【０３９７】
例えば、ビットストリームは、複数の時刻の位置情報に共通の制御情報を含む位置シーケンスパラメータセット（位置ＳＰＳ）と、複数の時刻の属性情報に共通の制御情報を含む属性シーケンスパラメータセット（属性ＳＰＳ）とを含む。つまり、三次元データ復号装置は、位置シーケンスパラメータセットに含まれる制御情報を用いて、複数の時刻の位置情報を復号し、属性シーケンスパラメータセットに含まれる制御情報を用いて、複数の時刻の属性情報を復号する。
【０３９８】
例えば、ビットストリームは、複数の時刻の位置情報及び複数の時刻の属性情報に共通の制御情報を含むストリームパラメータセット（ストリームＰＳ）を含む。つまり、三次元データ復号装置は、ストリームパラメータセットに含まれる制御情報を用いて、複数の時刻の位置情報及び複数時刻の属性情報を復号する。
【０３９９】
例えば、ビットストリームは、アクセスユニット内で共通の制御情報を含むアクセスユニットヘッダ（ＡＵヘッダ）を含む。つまり、三次元データ復号装置は、アクセスユニットヘッダに含まれる制御情報を用いて、アクセスユニットに含まれる位置情報及び属性情報を復号する。
【０４００】
例えば、三次元データ復号装置は、１以上のアクセスユニットで構成されるＧＯＦ（グループオブフレーム）を独立して復号する。つまり、ＧＯＦはランダムアクセス単位である。
【０４０１】
例えば、ビットストリームは、ＧＯＦ内で共通の制御情報を含むＧＯＦヘッダを含む。つまり、三次元データ復号装置は、ＧＯＦヘッダに含まれる制御情報を用いて、ＧＯＦに含まれる位置情報及び属性情報を復号する。
【０４０２】
例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
【０４０３】
以上、本開示の実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
【０４０４】
また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０４０５】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０４０６】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０４０７】
また、本開示は、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
【０４０８】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０４０９】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０４１０】
以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０４１１】
本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。
【符号の説明】
【０４１２】
４６０１  三次元データ符号化システム
４６０２  三次元データ復号システム
４６０３  センサ端末
４６０４  外部接続部
４６１１  点群データ生成システム
４６１２  提示部
４６１３  符号化部
４６１４  多重化部
４６１５  入出力部
４６１６  制御部
４６１７  センサ情報取得部
４６１８  点群データ生成部
４６２１  センサ情報取得部
４６２２  入出力部
４６２３  逆多重化部
４６２４  復号部
４６２５  提示部
４６２６  ユーザインタフェース
４６２７  制御部
４６３０  第１の符号化部
４６３１  位置情報符号化部
４６３２  属性情報符号化部
４６３３  付加情報符号化部
４６３４  多重化部
４６４０  第１の復号部
４６４１  逆多重化部
４６４２  位置情報復号部
４６４３  属性情報復号部
４６４４  付加情報復号部
４６５０  第２の符号化部
４６５１  付加情報生成部
４６５２  位置画像生成部
４６５３  属性画像生成部
４６５４  映像符号化部
４６５５  付加情報符号化部
４６５６  多重化部
４６６０  第２の復号部
４６６１  逆多重化部
４６６２  映像復号部
４６６３  付加情報復号部
４６６４  位置情報生成部
４６６５  属性情報生成部
４６７０  符号化部
４６７１  多重化部
４６８０  復号部
４６８１  逆多重化部
４７１０  第１の多重化部
４７１１  ファイル変換部
４７２０  第１の逆多重化部
４７２１  ファイル逆変換部
４７３０  第２の多重化部
４７３１  ファイル変換部
４７４０  第２の逆多重化部
４７４１  ファイル逆変換部
４７５０  第３の多重化部
４７５１  ファイル変換部
４７６０  第３の逆多重化部
４７６１  ファイル逆変換部
４８０１  符号化部
４８０２  多重化部
【図１】
2020032136.tif 000003
【図２】
2020032136.tif 000004
【図３】
2020032136.tif 000005
【図４】
2020032136.tif 000006
【図５】
2020032136.tif 000007
【図６】
2020032136.tif 000008
【図７】
2020032136.tif 000009
【図８】
2020032136.tif 000010
【図９】
2020032136.tif 000011
【図１０】
2020032136.tif 000012
【図１１】
2020032136.tif 000013
【図１２】
2020032136.tif 000014
【図１３】
2020032136.tif 000015
【図１４】
2020032136.tif 000016
【図１５】
2020032136.tif 000017
【図１６】
2020032136.tif 000018
【図１７】
2020032136.tif 000019
【図１８】
2020032136.tif 000020
【図１９】
2020032136.tif 000021
【図２０】
2020032136.tif 000022
【図２１】
2020032136.tif 000023
【図２２】
2020032136.tif 000024
【図２３】
2020032136.tif 000025
【図２４】
2020032136.tif 000026
【図２５】
2020032136.tif 000027
【図２６】
2020032136.tif 000028
【図２７】
2020032136.tif 000029
【図２８】
2020032136.tif 000030
【図２９】
2020032136.tif 000031
【図３０】
2020032136.tif 000032
【図３１】
2020032136.tif 000033
【図３２】
2020032136.tif 000034
【図３３】
2020032136.tif 000035
【図３４】
2020032136.tif 000036
【図３５】
2020032136.tif 000037
【図３６】
2020032136.tif 000038
【図３７】
2020032136.tif 000039
【図３８】
2020032136.tif 000040
【図３９】
2020032136.tif 000041
【図４０】
2020032136.tif 000042
【図４１】
2020032136.tif 000043
【図４２】
2020032136.tif 000044
【図４３】
2020032136.tif 000045
【図４４】
2020032136.tif 000046
【図４５】
2020032136.tif 000047
【図４６】
2020032136.tif 000048
【図４７】
2020032136.tif 000049
【図４８】
2020032136.tif 000050
【図４９】
2020032136.tif 000051
【図５０】
2020032136.tif 000052
【図５１】
2020032136.tif 000053
【図５２】
2020032136.tif 000054
【図５３】
2020032136.tif 000055
【図５４】
2020032136.tif 000056
【図５５】
2020032136.tif 000057
【図５６】
2020032136.tif 000058
【図５７】
2020032136.tif 000059
【図５８】
2020032136.tif 000060
【図５９】
2020032136.tif 000061
【図６０】
2020032136.tif 000062
【図６１】
2020032136.tif 000063
【図６２】
2020032136.tif 000064
【図６３】
2020032136.tif 000065
【図６４】
2020032136.tif 000066
【図６５】
2020032136.tif 000067
【図６６】
2020032136.tif 000068
【図６７】
2020032136.tif 000069
【図６８】
2020032136.tif 000070
【図６９】
2020032136.tif 000071
【図７０】
2020032136.tif 000072
【図７１】
2020032136.tif 000073
【国際調査報告】
2020032136.tif 000074
2020032136.tif 000075