(57)【要約】  本開示は、クライアントにおける処理を効率良く行うことができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれのストリームごとに生成され、その生成された複数の識別情報を含むファイルが生成されるまた、そのファイルは、形状情報および属性情報の境界を明示したサンプル構造で生成される。本技術は、例えば、Point Cloudを配信するためのデータを生成するデータ生成装置、および、Point Cloudを再生するデータ再生装置に適用できる。
2020071111.tif 000002
【特許請求の範囲】
【請求項１】
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、
生成された複数の前記識別情報を含むファイルを生成するファイル生成部
を備える情報処理装置。
【請求項２】
前記識別情報には、各前記ストリームのサイズを示すサイズ情報、および、各前記ストリームのタイプを示すタイプ情報が含まれる
請求項１に記載の情報処理装置。
【請求項３】
前記ファイル生成部は、前記ファイルを、前記形状情報および前記属性情報の境界を明示したサンプル構造で生成する
請求項１に記載の情報処理装置。
【請求項４】
前記ファイル生成部は、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
請求項１に記載の情報処理装置。
【請求項５】
前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを、ISOBMFF（ISO Base Media File Format）の１つのトラックに格納し、前記ファイルを構成するサブサンプルに関する情報を利用して前記形状情報および前記属性情報の境界をシグナルする
請求項１に記載の情報処理装置。
【請求項６】
前記ファイル生成部は、ISOBMFFのmdatに格納される前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
請求項５に記載の情報処理装置。
【請求項７】
前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、各トラックの関係性を示す情報を利用して前記形状情報および前記属性情報をシグナルする
請求項１に記載の情報処理装置。
【請求項８】
前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、DASH（Dynamic Adaptive Streaming over HTTP）のMPD（Media Presentation Description）を利用して前記形状情報および前記属性情報をシグナルする
請求項１に記載の情報処理装置。
【請求項９】
前記ファイル生成部は、ISOBMFFのmdatに格納される、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
請求項８に記載の情報処理装置。
【請求項１０】
情報処理装置が、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
生成された複数の前記識別情報を含むファイルを生成することと
を含む情報処理方法。
【請求項１１】
情報処理装置のコンピュータに、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
生成された複数の前記識別情報を含むファイルを生成することと
を含む情報処理を実行させるためのプログラム。
【請求項１２】
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、
前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部と
を備える情報処理装置。
【請求項１３】
情報処理装置が、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
を含む情報処理方法。
【請求項１４】
情報処理装置のコンピュータに、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
を含む情報処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、クライアントにおける処理を効率良く行うことができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、非特許文献１で開示されているように、３次元空間上に形状情報および属性情報（特に色情報）を同時に持った点の集合であるPoint Cloudの圧縮方法が規定されている。【０００３】
また、Point Cloudの圧縮方法の一つとして、Point Cloudデータを、３次元形状を示すgeometryと、属性情報として色や反射情報などを示すattributeとに分離して、それらを符号化する方法がある。この方法は、G-PCC（Geometry based Point Cloud Coding）と称されている。【０００４】
そして、この符号化によって生成されたG-PCCのストリームを、ダウンロード再生したり、over IP（Internet Protocol） networkで配信したりするユースケースが期待されている。そこで、非特許文献２で開示されているように、既存の配信プラットフォームへのインパクトを抑制し、早期のサービス実現を目指すべく、MPEG（Moving Picture Experts Group）において、既存の枠組みであるISOBMFF/DASH（ISO Base Media File Format / Dynamic Adaptive Streaming over HTTP）による配信技術についての検討が開始された。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】MPEG-I Part5 Point Cloud Compression (ISO/IEC 23090-5)
【非特許文献２】w17675, First idea on Systems technologies for Point Cloud Coding, April 2018, San Diego, US
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来、生成されたG-PCCのストリームは、連続する１つのストリームであり、クライアントが、geometryおよびattributeそれぞれに独立してアクセスすることができない構造となっていた。そのため、例えば、geometryだけを用いるユースケースや、複数のattributeのうちの１つだけを用いるユースケースなどであっても、クライアントが、それらに個別にアクセスして取得することができない。従って、G-PCCのストリームを構成するgeometryおよびattributeの全てを取得した上で処理を行う必要があり、クライアントにおいて処理のオーバヘッドが発生し、処理を効率良く行うことは困難であった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、クライアントにおける処理を効率良く行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の第１の側面の情報処理装置は、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、生成された複数の前記識別情報を含むファイルを生成するファイル生成部を備える。【０００９】
本開示の第１の側面の情報処理方法またはプログラムは、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、生成された複数の前記識別情報を含むファイルを生成することとを含む。【００１０】
本開示の第１の側面においては、３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成され、その生成された複数の識別情報を含むファイルが生成される。【００１１】
本開示の第２の側面の情報処理装置は、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部とを備える。【００１２】
本開示の第２の側面の情報処理方法またはプログラムは、３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することとを含む。【００１３】
本開示の第１の側面においては、３次元構造を表す３Ｄデータから、３次元構造の形状を表す形状情報のストリーム、および、３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれのストリームごとに生成されて含まれるファイルから、ユースケースに応じて、識別情報をもとに、形状情報および属性情報が識別して抽出され、その抽出された形状情報または属性情報を用いて、３次元構造が構築される。
【図面の簡単な説明】
【００１４】
【図１】従来のstream構造を示す図である。
【図２】新たに定義するPC sampleについて説明する図である。
【図３】PC sampleの一例を示す図である。
【図４】headerに格納される情報の一例を示す図である。
【図５】attributeの種類をシグナルするフィールドを追加した例について説明する図である。
【図６】Attribute parameter setの一例を示す図である。
【図７】G-PCC streamをISOBMFFの1 trackに格納する際の一例を示す図である。
【図８】codec_specific_parametersの定義を示す図である。
【図９】新たに定義するPCSampleEntryの構造を示す図である
【図１０】PCParamSetBoxの一例を示す図である。
【図１１】ファイル生成処理を実行する情報処理装置の構成例を示すブロック図である。
【図１２】Point Cloud再生処理を実行する情報処理装置の構成例を示すブロック図である。
【図１３】ファイル生成処理を説明するフローチャートである。
【図１４】Point Cloud再生処理を説明するフローチャートである。
【図１５】第２の識別可能方法において1 trackに格納するISOBMFF構造の一例を示す図である。
【図１６】1 trackに格納するISOBMFF構造の変形例を示す図である。
【図１７】geometry bitstreamおよびattribute bitstreamを、ISOBMFFの2 tracksに格納する一例を示す図である。
【図１８】PCMultiStreamBoxのシンタックスの一例を示す図である。
【図１９】第２の識別可能方法において2 trackに格納するISOBMFF構造の第１の例を示す図である。
【図２０】PCMultiStreamBoxの変形例を示す図である。
【図２１】PCAttributeTrackGroupBoxのシンタックスの一例を示す図である。
【図２２】PCMultiStreamBoxの変形例を示す図である。
【図２３】track groupで紐づくgeometry trackおよびattribute trackをシグナルする例を示す図である。
【図２４】新たに定義されるPCStreamGroupBoxの一例を示す図である。
【図２５】第２の識別可能方法において2 trackに格納するISOBMFF構造の第２の例を示す図である。
【図２６】DASHのシグナリングについて説明する図である。
【図２７】DASHのシグナリングについて説明する図である。
【図２８】SubSampleInformationBoxの概要を示す図である。
【図２９】Sample Groupの概要を示す図である。
【図３０】データ生成装置の構成例を示すブロック図である。
【図３１】データ再生装置の構成例を示すブロック図である。
【図３２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１６】
＜従来のstream構造＞
本技術を適用したstream構造について説明する前に、図１を参照して、従来のstream構造について説明する。
【００１７】
図１には、G-PCCで符号化されたstream構造が示されており、このようなstreamは、G-PCC stream（または、単にPC stream）と称される。
【００１８】
例えば、G-PCC streamは、1 streamで構成されており、デコード順に並んだpoint cloud frameの連続である。ここで、point cloud frame（以下、PC frameとも記載する）とは、同時刻に表示されるPoint Cloudのことである。PC frameは、3次元情報を示すgeometry bitstream（図１に示すGeom）と、色や反射といった属性情報を示すattribute bitstream（図１に示すAttr）から構成される連続する１つのbitstreamである。
【００１９】
なお、１つのPC frameは、１つのgeometry bitstreamと複数のattribute bitstream（図１の例では、２つのattribute bitstream）とを有する。また、SPS（Sequence Parameter Set）には、geometry bitstreamおよびattribute bitstreamのデコードに必要な共通情報として、G-PCC streamのシーケンスごとのメタ情報が格納されている。そして、GPS（Geometry Parameter Set）には、geometry bitstreamのデコードに必要な情報が格納されており、APS（Attribute Parameter Set）には、attribute bitstreamのデコードに必要な情報が格納されている。
【００２０】
そして、クライアントは、G-PCC stream内のgeometry bitstreamおよびattribute bitstreamを、それぞれ個別のデコーダでデコードする。まず、クライアントは、geometry bitstreamをデコードし、色のないPoint Cloudコンテンツを生成する。その後、クライアントは、デコードされたgeometry bitstreamの情報を参照した上でattribute bitstreamをデコードし、その情報に基づいて色や反射といった属性を付加する。
【００２１】
ところで、G-PCC streamのユースケースとして、色付きのPoint Cloudデータを再生するという一般的なユースケースの他に、色や反射といった属性情報が不要で、Point Cloudデータの３次元形状情報だけを利用するユースケースがある。例えば、LiDAR（Light Detection and Ranging）およびカメラで取得した色付きの地図情報をPoint Cloudデータとして保持し、その中の地形情報（即ち、３次元形状情報）のみを抽出して自動車の運転制御などに利用するユースケースが考えられる。
【００２２】
また、色や反射といった属性情報が複数ついている場合には、例えば、プレビュー用にはgeometryとともに、反射の属性を利用せずに、色の属性だけ利用したいユースケースがある。また、複数の色属性がある場合には、それらのうちの１つの色属性だけ利用するなど、１つのattributeのみ抽出して利用したいユースケースもある。
【００２３】
しかしながら、例えば、G-PCC stream構造においては、attribute付きのPC frameをデコードするためには、geometryと複数のattributeを含めて１つのbitstreamとして扱う必要があり、明示的な境界情報も存在しない。このため、これらのユースケースにおいても、クライアントは、PC frameを構成するgeometryおよびattributeを全て取得した上で、ストリームの先頭から順に全てをデコードしなくてはならならず、利用しないattribute bitstreamをデコードすることになるため、処理効率が悪くなってしまう。
【００２４】
そこで、本開示では、このように効率が悪くなることを解決するため、生成されるgeometry bitstreamおよびattribute bitstreamに関する情報を、新たに識別情報として生成し、その生成された識別情報を含むファイルを生成する手法を提案する。以下で説明する具体的な実施の形態は、このようなユースケースであっても、geometryおよびattributeをそれぞれに独立してアクセス可能とすることで、クライアントにおける処理を効率良く行うことができるようにするものである。
【００２５】
＜PC sampleの定義＞
図２を参照して、ISOBMFFで定義されるSampleに相当するものとして、新たに定義するPoint Cloud sample（以下、PC sampleと称する）について説明する。
【００２６】
例えば、同時刻に表示されるPoint Cloudデータを構成する単位であるPC frameについて、1 PC frameは1 PC sampleから構成されると定義する。つまり、G-PCC streamは、複数のPC sampleから構成され、1 PC sampleは、図２に示す1 PC frameと同様な構造を有する。そして、クライアントは、1 PC frameと同様に、1 PC sampleをデコードすることで、同時刻に表示されるPoint Cloudとして構築することが可能となる。
【００２７】
このように、PC sampleは、同時刻に表示されるPoint Cloudデータを構成するgeometry bitstreamおよびattribute bitstreamから構成される。
【００２８】
＜第１の識別可能方法＞
図３乃至図６を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第１の識別可能方法として、geometryおよびattributeの境界を明示したsample構造について説明する。
【００２９】
図３には、1 PC sampleが、１つのgeometry subsampleと２つのattribute subsampleによって構成される構成例が示されている。
【００３０】
図３に示すように、1 PC sampleは、geometry subsample、１つ目のattribute subsample、および、２つ目のattribute subsampleが連続的に配置された構成となっている。そして、各subsampleは、各bitstreamを分割するため各bitstreamに関する情報を格納したheader情報と対応するbitstreamから構成される構造となっている。
【００３１】
図４には、図３のheaderに格納される情報の一例が示されている。
【００３２】
図４に示すように、headerには、geometry bitstreamまたはattribute bitstreamのサイズを示すサイズ情報（size_of_bitstream）と、PC sampleを構成する各bitstreamのタイプを示すタイプ情報（type）とが識別情報として格納される。例えば、bitstreamのタイプを示す情報が０である場合、geometry bitstreamであることを示し、bitstreamのタイプを示す情報が１である場合、attribute bitstreamであることを示す。この識別情報は、各bitstreamを識別するための情報であり、bitstreamごとに生成される。
【００３３】
なお、PC sampleに格納されないSPS, GPS, APSは、例えば、ISOBMFFであればsample entryに格納（後述する図９および図１０参照）される。
【００３４】
そして、これらのシグナリングによれば、クライアントは、headerから各bitstreamの境界を識別可能である。従って、クライアントは、PC sampleからgeometry bitstreamのみを抽出し、独立してデコードすることができる。同様に、クライアントは、PC sampleから必要なattribute bitstreamのみを抽出してデコードすることができる。そして、クライアントは、異なるデコーダでデコードされるgeometry bitstreamおよびattribute bitstreamを、それぞれ対応するデコーダに容易に入力することができる。
【００３５】
さらに、headerを拡張し、図５において太字で示すように、type=1（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類をシグナルするフィールド（attribute_type）を追加してもよい。例えば、attributeの種類をシグナルするフィールドが０である場合、attributeの種類が色であることを示し、attributeの種類をシグナルするフィールドが１である場合、attributeの種類が反射であることを示す。また、attributeの種類をシグナルするフィールドを用いて、その他の種類を示すこともできる。
【００３６】
また、G-PCC streamのHigh level syntaxを拡張し、属性の種類をシグナルしてもよい。
【００３７】
例えば、Attribute parameter setを拡張し、図６において太字で示すように、attr_typeをシグナルすることができる。また、参照されるAttribute parameter setは、attribute bitstream内で識別子としてシグナルされる。なお、セマンティクスは、上述したattribute_typeと同様である。
【００３８】
以上のような第１の識別可能方法により、クライアントは、headerを参照して、geometryおよびattributeを識別して個別にアクセスすることができ、所望のattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。
【００３９】
＜第２の識別可能方法＞
図７乃至図２４を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第２の識別可能方法として、sub sample information、geometry、およびattributeを格納するISOBMFFのtrackの拡張について説明する。
【００４０】
まず、図７乃至図１５を参照し、第２の識別可能方法において、G-PCC streamのgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 tracksに格納するケースについて説明する。
【００４１】
図７には、G-PCC streamをISOBMFFの1 trackに格納する際の一例が示されている。
【００４２】
例えば、ISOBMFFのmoovには、新たに定義するPCSampleEntry（図９参照）が格納され、PCSampleEntryは、図１０に示すPCParamSetBoxからなる。
【００４３】
また、ISOBMFFのmoofには、subs（SubSampleInformationBox）が格納され、図７に示すように、SubSampleInformationBoxを利用して、PC sample内のgeometry subsample、および、attribute subsample #0乃至#Nそれぞれの境界をシグナルすることができる。なお、SubSampleInformationについては、後述の図２８に示すSubSampleInformationBoxの概要を参照して説明する。
【００４４】
そして、ISOBMFFのmdatに格納されるsampleとして、図３に示したようなPC sampleが格納され、そのヘッダに、サイズ情報およびタイプ情報が格納されている。
【００４５】
ここで、図８に示すように、SubSampleInformationBoxにおいて、コーデックごとに決まるsubsampleの情報であるcodec_specific_parametersが定義される。即ち、codec_specific_parametersの値が０であるとき、subsampleはgeometry subsampleであることを示し、codec_specific_parametersの値が１であるとき、subsampleはattribute subsampleであることを示す。
【００４６】
なお、subsample informationは、連続するattribute subsample群の単位で提供されてもよい。また、codec_specific_parametersをさらに拡張し、subsampleが何のattribute bitstreamなのか（色のattributeや、反射のattributeなど）をシグナルできるようにしてもよい。
【００４７】
図９には、本開示で新たに定義するPCSampleEntryの構造が示されている。
【００４８】
図９に示す構成において、G-PCC streamを格納するISOBMFFのtrackのsample entryは、例えば、’pcbs’となる。
【００４９】
PCParamSetBoxには、図１０に示すような各parameter set（Sequence Parameter Set、Geometry Parameter Set、およびAttribute Parameter Set）が格納される。例えば、これらのparameter setは、PC sampleをデコードする際に参照される。また、parameter setは、通常、PC sample単位で変更される情報ではないため、PCSampleEntryに格納することで、PC sampleごとに同じ情報を繰り返しシグナルする必要が不要となり、ファイルサイズを削減することができる。なお、これらのparameter setの格納先としては、PCParamSetBoxにおけるseq_parameter_set_rbsp()，geometry_parameter_set()、およびattribute_parameter_set()が挙げられる。
【００５０】
これらのシグナリングによれば、クライアントは、subsampleの中身をパースすることなく、geometryのsubsampleとattibuteのsubsampleとの境界（または、attibuteのsubsampleどうしの境界）を識別可能となる。つまり、クライアントは、システムレイヤのシグナリングのみを参照するという簡略化された処理で、PC sampleからgeometry bitstreamのみを抽出し、独立してデコードすることができる。同様に、クライアントは、PC sampleから必要なattribute bitstreamのみを抽出してデコードすることができる。また、クライアントは、geometry bitstreamおよびattribute bitstreamを、それぞれ対応する異なるデコーダに容易に入力することができる。
【００５１】
＜情報処理装置の構成例＞
図１１は、コンテンツを提供するサーバ側で、Point CloudデータからPC streamを生成し、そのPC streamをISOBMFFで定義されるファイルに格納したファイルを生成するファイル生成処理を実行する情報処理装置の構成例を示すブロック図である。
【００５２】
図１１に示すように、情報処理装置１１は、分離部２１、符号化部２２、PC stream生成部２３、およびファイル生成部２４を備えて構成される。
【００５３】
分離部２１は、入力されるPoint Cloudデータからgeometryおよびattributeを分離して、符号化部２２に供給する。
【００５４】
符号化部２２は、分離部２１から供給されるgeometryおよびattributeをそれぞれ符号化して、geometry bitstreamおよびattribute bitstreamを生成する。このとき、符号化部２２は、geometry bitstreamおよびattribute bitstreamを復号する際に参照される各parameter set（Sequence Parameter Set、Geometry Parameter Set、およびAttribute Parameter Set）を生成する。例えば、符号化部２２は、geometryはOctreeで、attributeはLifting codingやRegion Adaptive Haar Transformで符号化を行う。このとき、符号化部２２は、２台のエンコーダ２５−１および２５−２によって、geometryの符号化とattributeの符号化とを並列的に行うことができる。
【００５５】
PC stream生成部２３は、符号化部２２により符号化されたgeometry bitstreamおよびattribute bitstreamを、PC frameを構成する単位でインターリーブし、図３に示したようなPC sampleを生成する。そして、PC stream生成部２３は、複数のPC sampleからなるPC streamを生成して、ファイル生成部２４に供給する。
【００５６】
ファイル生成部２４は、geometry bitstreamおよびattribute bitstreamを、ISOBMFFで定義されるファイルの1 trackに格納し、ファイルを生成する。このとき、ファイル生成部２４は、geometry bitstreamまたはattribute bitstreamのサイズを示すサイズ情報、および、PC sampleを構成する各bitstreamのタイプを示すタイプ情報を生成し、上述した識別情報として、生成するファイルのheaderに格納する。
【００５７】
このように構成される情報処理装置１１は、Point CloudデータからPC streamを生成し、そのPC streamを1 trackに格納したファイルを出力することができる。
【００５８】
また、情報処理装置１１において、G-PCC streamを、メタデータを含むBoxをシグナルしたISOBMFFで定義されるファイルに格納する際、ISOBMFFで定義されるファイルsampleは、PC sample（図３および図７参照）となる。
【００５９】
図１２は、コンテンツを再生するクライアント側で、ファイルから表示画像を生成してPoint Cloudデータを再生するPoint Cloud再生処理を実行する情報処理装置の構成例を示すブロック図である。
【００６０】
図１２に示すように、情報処理装置１２は、抽出部３１、復号部３２、構築部３３、および表示処理部３４を備えて構成される。
【００６１】
抽出部３１は、ISOBMFFのBoxでシグナルされる情報（例えば、上述した識別情報）をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出して復号部３２に供給する。このとき、抽出部３１は、geometryおよびattributeを識別して、上述したような様々なユースケースに応じて、必要なgeometryまたはattributeのみを抽出することができる。なお、抽出部３１は、subsampleのheaderに格納される識別情報をもとに、ファイルから再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出して、復号部３２に供給してもよい。
【００６２】
復号部３２は、各parameter setを参照し、抽出部３１から供給されるgeometry bitstreamおよびattribute bitstreamを復号して、geometryおよびattributeを構築部３３に供給する。このとき、復号部３２は、２台のデコーダ３５−１および３５−２によって、geometry bitstreamの復号とattribute bitstreamの復号とを並列的に、かつ、個別に行うことができる。
【００６３】
構築部３３は、復号部３２から供給されるgeometryおよびattributeを用いて、Point Cloudデータを構築する。
【００６４】
表示処理部３４は、構築部３３により構築されたPoint Cloudデータを、クライアントの表示デバイスに合わせてレンダリングし、表示画像を生成して、図示しない表示デバイスに表示させる。
【００６５】
このように構成される情報処理装置１２は、ファイルからPoint Cloudデータを再生して、Point Cloudデータをレンダリングした表示画像を表示させることができる。
【００６６】
＜ファイル生成処理およびPoint Cloud再生処理の処理例＞
図１３は、図１１の情報処理装置１１が、Point Cloudデータからファイルを生成するファイル生成処理を説明するフローチャートである。
【００６７】
例えば、情報処理装置１１にPoint Cloudデータの入力が行われると処理が開始され、ステップＳ１１において、分離部２１は、入力されるPoint Cloudから、geometryおよびattributeを分離する。
【００６８】
ステップＳ１２において、符号化部２２は、ステップＳ１１で分離部２１により分離されたgeometryおよびattributeを符号化して、geometry bitstreamおよびattribute bitstreamを生成する。このとき、符号化部２２は、各parameter setを生成する。
【００６９】
ステップＳ１３において、PC stream生成部２３は、ステップＳ１２で生成されたgeometry bitstreamおよびattribute bitstreamを、PC frameを構成する単位（PC sample）でインターリーブし、PC streamを生成する。
【００７０】
ステップＳ１４において、ファイル生成部２４は、ステップＳ１３で生成されたPC streamを、メタデータを含むBoxをシグナルしたISOBMFFに格納し、ファイルを生成する。また、ファイル生成部２４は、サイズ情報およびタイプ情報を生成して、このファイルのheaderに格納する。このとき、ISOBMFFのsampleはPC sampleとなる。
【００７１】
図１４は、図１２の情報処理装置１２が、情報処理装置１１において生成されたファイルから表示画像を生成して再生するPoint Cloud再生処理を説明するフローチャートである。
【００７２】
例えば、情報処理装置１２へファイルの先端から供給が始まると処理が開始され、ステップＳ２１において、抽出部３１は、ISOBMFFのBoxでシグナルされる情報（例えば、上述した識別情報）をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出する。なお、抽出部３１は、subsampleのheaderに格納される識別情報をもとに、ファイルから、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを抽出してもよい。
【００７３】
ステップＳ２２において、復号部３２は、各parameter setを参照し、ステップＳ２１で抽出されたgeometry bitstreamおよびattribute bitstreamを、それぞれ個別に復号する。このとき、geometry bitstreamおよびattribute bitstreamは、２デコーダインスタンスによる個別のデコードとなる。
【００７４】
ステップＳ２３において、構築部３３は、ステップＳ２２の復号で得られたgeometryおよびattributeを用いて、Point Cloudデータを構築する。
【００７５】
ステップＳ２４において、表示処理部３４は、クライアントの表示デバイスに合わせ、ステップＳ２３で構築されたPoint Cloudデータをレンダリングして表示画像を表示させる。
【００７６】
ステップＳ２５において、抽出部３１は、PC streamの終端か否かを判定し、PC streamの終端でない場合には処理はステップＳ２１に戻り、PC streamの終端である場合には、処理は終了される。
【００７７】
以上のようなファイル生成処理およびPoint Cloud再生処理によって、クライアント側における処理を効率良く行うことができる。
【００７８】
ここで、図１５には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackに格納したときのISOBMFF構造の第１の例が示されている。
【００７９】
なお、変形例として、図１６に示すように、PC sampleを用いず、1 PC frameを構成するgeometry bitstreamおよびattribute bitstreamを、それぞれ1 sampleとしてISOBMFFに格納してもよい。このとき、geometry subsampleおよびattribute subsampleが、それぞれgemetry sampleおよびattribute sampleとなる。
【００８０】
また、1 PC frameを構成するgeometry sampleおよびattribute sample(s)は、sample groupを用いてシグナルしてもよい。同様に、geometry sampleおよびattribute sampleの境界についても、sample groupを用いてシグナルしてもよい。なお、sample groupについては、後述の図２９に示すsample group概要を参照して説明する。
【００８１】
ここで、動画ではなく、時間情報を持たないG-PCCのPC sample（即ち、複数のPC sampleが連続するストリームではなく、単一のPC sample）をISOBMFFに格納する場合には、同様の情報をMedaDataBoxにシグナルすればよい。
【００８２】
次に、図１７乃至図２５を参照し、第２の識別可能方法において、G-PCC streamのgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackごとに、それぞれ個別に格納する方法について説明する。
【００８３】
図１７には、G-PCCストリームを、１つのgeometry bitstreamと１つのattribute bitstreamとに分離し、１つのgeometry bitstreamをISOBMFFの1 trackに格納し、１つのattribute bitstreamをISOBMFFの1 trackに格納した2 tracksの一例が示されている。
【００８４】
このように、2 tracksにgeometry bitstreamおよびattribute bitstreamを個別に格納することで、クライアントは、geometry bitstreamのみを格納するtrackを処理し、geometry bitstreamのみを容易にデコードできる。同様に、クライアントは、１つのattribute bitstreamのみを格納するtrackを処理し、必要なattribute bitstreamのみを容易にデコードすることができる。また、クライアントは、異なるデコーダでデコードされるgeometry bitstreamおよびattribute bitstreamを、それぞれ対応するデコーダに容易に入力できる。
【００８５】
図１７に示すように、geometry bitstreamを格納するtrackをgeometry trackまたは主trackと称し、attribute bitstreamを格納するtrackをattribute trackまたは副trackと称する。そして、それぞれのtrackの関係性を、track reference、および、新たに定義したPCMultiStreamBoxでシグナルする。
【００８６】
また、図１７に示す例では、主トラックのみにPCParamSetBoxが存在し、PCParamSetBoxは、Sequence Parameter Set，Geometry Parameter Set、およびAttribute parameter setを含む。なお、主trackおよび副track両方にPCParamSetBoxが存在してもよく、その際は、主トラックのPCParamSetBoxは、Sequence Parameter SetおよびGeometry Parameter Setを含み、副トラックのPCParamSetBoxは、Attribute Parameter Setを含むとしてもよい。
【００８７】
さらに、PC frameの境界を示すsample groupをシグナルしてもよい。また、１つのgeometry trackに対して、例えば、bitrateの異なる複数のattribute trackを紐づけてもよい。
【００８８】
図１８には、PCMultiStreamBoxのシンタックスの一例が示されている。
【００８９】
例えば、isGeometryStream＝１である場合にはgeometry trackであることを示し、それ以外の場合にはattribute trackであることを示す。また、geometry trackであれば、紐づくattribute trackのtrack_idをシグナルする。
【００９０】
このようなシグナリングによれば、クライアントは、track referenceが示されていることで、任意の1 trackのTrackReferenceBoxをパースするだけで、どのtrackがgeometry trackであるかを識別することができる。その後、クライアントは、geometry trackのPCMultiStreamBoxをパースし、全ての関連attribute trackを識別することができる。つまり、クライアントは、最大でも2 trackをパースするだけで全体の構成を識別可能であり、特に複数のattribute trackが紐づくケースにおいて処理を簡易化することが可能となる。
【００９１】
なお、PCMultiStreamBoxを拡張し、isGeometryBitstream=0（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類（色や反射など）をシグナルするフィールド （attribute_type）を追加してもよい。また、attribute trackが、複数種類の属性に相当する複数attribute bitstreamを含むようにしてもよい。
【００９２】
ここで、図１９には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackごとに、それぞれ個別に格納したときのISOBMFF構造の一例が示されている。
【００９３】
さらに、PCMultiStreamBoxのシンタックスの変形例として、複数のattribute trackをまとめてtrack groupでシグナルし、図２０に示すように、attribute_track_group_idでattribute track groupに紐づけてもよい。
【００９４】
この場合、track groupは、図２１に示すように、PCAttributeTrackGroupBoxを新たに定義し、track_group_typeは’pctg’である。
【００９５】
また、図２２において太字で示すように、PCMultiStreamBoxに、attributeがgeometryと同じtrackに格納されているか否かを示すisInGeometryStreamを追加してもよい。これにより、上述したように1 trackに格納するケースでも、シグナル可能なBoxとすることができる。
【００９６】
さらに、PCMultiStreamBoxの代わりに、図２３に示すように、track groupで紐づくgeometry trackおよびattribute trackをシグナルしてもよい。
【００９７】
そして、図２４に示すように、track groupは、PCStreamGroupBoxを新たに定義し、track_group_typeは’pcgp’である。このとき、track_group_idが等しいpcgpを有するtrackは、１つのPC streamを構成する。例えば、isGeometry=0であれば、そのtrackはattribute trackであることを示し、isGeometry=1であれば、そのtrackはgeometry trackであることを示す。
【００９８】
なお、PCStreamGroupBoxを拡張し、isGeometry=0（即ち、bitstreamがattribute bitstream）である場合において、その属性の種類（色や反射など）をシグナルするフィールド（attribute_type）を追加してもよい。
【００９９】
ここで、図２５には、第２の識別可能方法でgeometry bitstreamおよびattribute bitstreamを、ISOBMFFの1 trackに格納したときのISOBMFF構造の第２の例が示されている。
【０１００】
以上のような第２の識別可能方法により、クライアントは、サブサンプルに関する情報（SubSampleInformationBox）、または、各トラックの関係性を示す情報（PCMultiStreamBox）を参照して、geometryおよびattributeを識別して個別にアクセスすることができる。従って、クライアントは、所望のgeometryのみ、または、必要なattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。
【０１０１】
＜第３の識別可能方法＞
図２６および図２７を参照して、クライアントにおいてgeometryおよびattributeを分割するための識別を可能にする第３の識別可能方法として、geometryおよびattributeを個別のtrackに格納した場合の、DASH MPD（Media Presentation Description）における紐づけ方法について説明する。
【０１０２】
例えば、図２６に示すように、DASH MPDにおいて、SupplementalProperty or EssentialProperty@schemeIdUri=="urn:mpeg:mpegI:pointcloud"をPC Component Descriptorと定義する。そして、Representationは、attributeおよびgeometryのうちの、いずれか一方を示す。
【０１０３】
また、attribute representationからgeometry representationへの紐づけをRepresentation@dependencyIdで行う。これは、presentation時に、geometryがないとattributeをマッピングできないという依存関係があるためである。
【０１０４】
なお、Representationがattributeである場合において、その属性の種類（色や反射など）をシグナルするattribute type descriptor（SupplementalProperty or EssentialProperty@schemeIdUri=="urn:mpeg:mpegI:pc_attribute_type"）を追加してもよい。
【０１０５】
これらのシグナリングによれば、クライアントがDASH配信コンテンツを取得する際、PC Component Descriptorを参照し、PC streamを構成するgeometry bitstreamを独立して取得することができる。同様に、クライアントは、attribute bitstreamを独立してデコードすることができる。また、クライアントは、例えば、ネットワーク帯域幅に応じて、geometry bitstreamに紐づくattribute bitstreamの画質の切り替えを行うことも可能となる。
【０１０６】
さらに、図２７に示すように、geometry representationからattribute representationへの紐づけをRepresentation@associationIdで行ってもよい。ここで、associationTypeは”patt”となる。また、geometryは単独で色のないpoint cloudのpresentationを可能とするため、associationIdを用いた紐づけが適切である。
【０１０７】
以上のような第３の識別可能方法により、クライアントは、DASH MPDにおける紐づけに基づいて、geometryおよびattributeを識別して個別にアクセスすることができる。従って、クライアントは、所望のattributeのみを利用するようなユースケースにおいても、効率良く処理を行うことができる。また、第３の識別可能方法においても、第２の識別可能方法と同様に、ISOBMFFのmdatに格納されるsampleとして、図３に示したようなPC sampleが格納され、そのヘッダに、サイズ情報およびタイプ情報が格納されている。
【０１０８】
ここで、図２８には、SubSampleInformationBoxの概要が示されている。
【０１０９】
図２８に示すように、sample中の、連続した特定byte領域をsub-sampleと定義している。また、sub-sampleの定義は符号化コーデックごとに決まっており、例えばHEVCなら、NAL unitがsub-sampleとなる。また、SubSampleInformationBoxでは、sub-sampleごとに情報を付加することができる。
【０１１０】
また、図２９には、Sample Groupの概要が示されている。
【０１１１】
図２９に示すように、Sample To Group Boxのgrouping_typeは、紐づけられるSample Group Description Boxのgrouping_typeを示す。1 entryにつき、sample_countとgroup_description_indexがシグナルされる。そして、group_description_indexは、紐づくGroup Entryのindexを示し、sample_countは、そのGroup Entryに属するsample数を示す。
【０１１２】
＜システム構成＞
図３０および図３１を参照して、本技術を適用したデータ生成装置およびデータ再生装置のシステム構成について説明する。
【０１１３】
図３０には、データ生成装置の構成例を示すブロック図が示されている。
【０１１４】
図３０に示すように、データ生成装置５１は、制御部６１およびファイル生成部６２を備えており、ファイル生成部６２は、データ入力部７１、データ符号化・生成部７２、MPDファイル生成部７３、記録部７４、およびアップロード部７５を備えて構成される。そして、データ符号化・生成部７２は、前処理部７６、符号化部７７、およびセグメントファイル生成部７８を有している。
【０１１５】
例えば、前処理部７６は、上述した図１１の分離部２１に対応し、入力されるPoint Cloudから、geometryおよびattributeを分離する処理を実行する。
【０１１６】
また、符号化部７７は、上述した図１１の符号化部２２に対応し、geometry bitstreamおよびattribute bitstreamを符号化し、各parameter setを生成する処理を実行する。
【０１１７】
また、セグメントファイル生成部７８は、上述した図１１のPC stream生成部２３およびファイル生成部２４に対応し、PC streamを生成し、そのPC streamをISOBMFFに格納したファイルを生成する処理を実行する。
【０１１８】
図３１には、データ再生装置の構成例を示すブロック図が示されている。
【０１１９】
図３１に示すように、データ再生装置５２は、制御部８１および再生処理部８２を備えており、再生処理部８２は、MPDファイル取得部９１、MPDファイル処理部９２、セグメントファイル取得部９３、表示制御部９４、データ解析・復号部９５、および表示部９６を備えて構成さる。そして、データ解析・復号部９５は、セグメントファイル処理部９７、復号部９８、および表示情報生成部９９を有している。
【０１２０】
例えば、セグメントファイル処理部９７は、上述した図１２の抽出部３１に対応し、再生時刻に対応するgeometry bitstreamおよびattribute bitstreamを、ユースケースに応じて抽出する処理を実行する。
【０１２１】
また、復号部９８は、上述した図１２の復号部３２に対応し、geometry bitstreamおよびattribute bitstreamを、それぞれ個別に復号する処理を実行する。
【０１２２】
また、表示情報生成部９９は、上述した図１２の構築部３３および表示処理部３４に対応し、Point Cloudを構築しPoint Cloudをレンダリングして表示画像を表示させる。
【０１２３】
以上のように、本技術によれば、geometryおよびattributeの境界を明示したsample構造を定義することで、クライアントは、容易に、geometryおよびattributeそれぞれに独立してアクセスすることができる。さらに、Point Cloud streamをgeometry bitstreamおよびattribute bitstreamに分け、ISOBMFFの2 tracksに、それぞれ格納することによって、クライアントは、各trackに個別に処理することができる。また、上述したように、geometryとattributeとを個別のtrackに格納した場合の、DASH MPDにおける紐づけ方法を定義することで、クライアントは、容易に、geometryおよびattributeそれぞれに独立してアクセスすることができる。
【０１２４】
これにより、クライアントは、geometryを単独でデコードすることや、複数のattributeのうちの、所望のattributeのみをデコードすることが可能となる。
【０１２５】
従って、色や反射といった属性情報が不要で、Point Cloudの3次元形状情報だけを利用するユースケースや、色や反射といった属性情報が複数ついている場合、例えば、プレビュー用にはgeometryとともに色の属性だけ利用する、といったユースケースにおけるクライアント処理を効率良く行うことができる。
【０１２６】
＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１２７】
図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０１２８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０１２９】
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１３０】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１３１】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０１３２】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０１３３】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１３４】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１３５】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１３６】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１３７】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１３８】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０１３９】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１４０】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０１４１】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０１４２】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０１４３】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０１４４】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成し、
生成された複数の前記識別情報を含むファイルを生成するファイル生成部
を備える情報処理装置。
（２）
前記識別情報には、各前記ストリームのサイズを示すサイズ情報、および、各前記ストリームのタイプを示すタイプ情報が含まれる
上記（１）に記載の情報処理装置。
（３）
前記ファイル生成部は、前記ファイルを、前記形状情報および前記属性情報の境界を明示したサンプル構造で生成する
上記（１）または（２）に記載の情報処理装置。
（４）
前記ファイル生成部は、前記ファイルを構成するサブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを、ISOBMFF（ISO Base Media File Format）の１つのトラックに格納し、前記ファイルを構成するサブサンプルに関する情報を利用して前記形状情報および前記属性情報の境界をシグナルする
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（６）
前記ファイル生成部は、ISOBMFFのmdatに格納される前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
上記（５）に記載の情報処理装置。
（７）
前記ファイル生成部は、前記位置形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、各トラックの関係性を示す情報を利用して前記位置形状情報および前記属性情報をシグナルする
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（８）
前記ファイル生成部は、前記形状情報のストリームおよび前記属性情報のストリームを分離して、ISOBMFFの１つのトラックごとに、それぞれ個別に格納し、DASH（Dynamic Adaptive St reaming over HTTP）のMPD（Media Presentation Description）を利用して前記形状情報および前記属性情報をシグナルする
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（９）
前記ファイル生成部は、ISOBMFFのmdatに格納される、前記ファイルを構成する前記サブサンプルの前記形状情報および前記属性情報それぞれのヘッダに、前記識別情報として、前記サブサンプルのサイズを示すサイズ情報、および、前記サブサンプルのタイプを示すタイプ情報を格納する
上記（８）に記載の情報処理装置。
（１０）
情報処理装置が、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
生成された複数の前記識別情報を含むファイルを生成することと
を含む情報処理方法。
（１１）
情報処理装置のコンピュータに、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報を、それぞれの前記ストリームごとに生成することと、
生成された複数の前記識別情報を含むファイルを生成することと
を含む情報処理を実行させるためのプログラム。
（１２）
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出する抽出部と、
前記抽出部により抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築する構築部と
を備える情報処理装置。
（１３）
情報処理装置が、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
を含む情報処理方法。
（１４）
情報処理装置のコンピュータに、
３次元構造を表す３Ｄデータから、前記３次元構造の形状を表す形状情報のストリーム、および、前記３次元構造の属性を表す属性情報のストリームに関する識別情報が、それぞれの前記ストリームごとに生成されて含まれるファイルから、ユースケースに応じて、前記識別情報をもとに、前記形状情報および前記属性情報を識別して抽出することと、
その抽出された前記形状情報または前記属性情報を用いて、前記３次元構造を構築することと
を含む情報処理を実行させるためのプログラム。
【０１４５】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０１４６】
１１および１２  情報処理装置，  ２１  分離部，  ２２  符号化部，  ２３  PC stream生成部，  ２４  ファイル生成部，  ３１  抽出部，  ３２  復号部，  ３３  構築部，  ３４  表示処理部，  ５１  データ生成装置，  ５２  データ再生装置，  ６１  制御部，  ６２  ファイル生成部，  ７１  データ入力部，  ７２  データ符号化・生成部，  ７３  MPDファイル生成部，  ７４  記録部，  ７５  アップロード部，  ７６  前処理部，  ７７  符号化部，  ７８  セグメントファイル生成部，  ８１  制御部，  ８２  再生処理部，  ９１  MPDファイル取得部，  ９２  MPDファイル処理部，  ９３  セグメントファイル取得部，  ９４  表示制御部，  ９５  データ解析・復号部，  ９６  表示部，  ９７  セグメントファイル処理部，  ９８  復号部，  ９９  表示情報生成部
【図１】
2020071111.tif 000003
【図２】
2020071111.tif 000004
【図３】
2020071111.tif 000005
【図４】
2020071111.tif 000006
【図５】
2020071111.tif 000007
【図６】
2020071111.tif 000008
【図７】
2020071111.tif 000009
【図８】
2020071111.tif 000010
【図９】
2020071111.tif 000011
【図１０】
2020071111.tif 000012
【図１１】
2020071111.tif 000013
【図１２】
2020071111.tif 000014
【図１３】
2020071111.tif 000015
【図１４】
2020071111.tif 000016
【図１５】
2020071111.tif 000017
【図１６】
2020071111.tif 000018
【図１７】
2020071111.tif 000019
【図１８】
2020071111.tif 000020
【図１９】
2020071111.tif 000021
【図２０】
2020071111.tif 000022
【図２１】
2020071111.tif 000023
【図２２】
2020071111.tif 000024
【図２３】
2020071111.tif 000025
【図２４】
2020071111.tif 000026
【図２５】
2020071111.tif 000027
【図２６】
2020071111.tif 000028
【図２７】
2020071111.tif 000029
【図２８】
2020071111.tif 000030
【図２９】
2020071111.tif 000031
【図３０】
2020071111.tif 000032
【図３１】
2020071111.tif 000033
【図３２】
2020071111.tif 000034
【国際調査報告】
2020071111.tif 000035
2020071111.tif 000036