(57)【要約】  本開示は、ＭＰ４ファイルにおいてデプスリプレゼンテーション情報を効率的に記述することができるようにする情報処理装置および情報処理方法に関する。ファイル生成部は、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化したエレメンタリストリームをサンプル化して配置するとともに、デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループのデプスリプレゼンテーション情報を記述したＭＰ４ファイルを生成する。本開示は、例えば、ファイル生成装置等に適用することができる。
2017122543.tif 000002
【特許請求の範囲】
【請求項１】
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルを生成するファイル生成部
を備える情報処理装置。
【請求項２】
前記ファイル生成部は、各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとを前記ファイルに配置する
ように構成された
請求項１に記載の情報処理装置。
【請求項３】
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を、前記グループ情報ボックスのschem_uriとして記述する
ように構成された
請求項２に記載の情報処理装置。
【請求項４】
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を、前記グループ情報ボックスのフィールドとして記述する
ように構成された
請求項２に記載の情報処理装置。
【請求項５】
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を前記グループボックスに記述する
ように構成された
請求項２に記載の情報処理装置。
【請求項６】
前記ファイル生成部は、各グループのサンプルを特定する情報と前記デプスリプレゼンテーション情報を記述するボックスを前記ファイルに配置する
ように構成された
請求項１に記載の情報処理装置。
【請求項７】
前記ファイル生成部は、各グループの前記デプスリプレゼンテーション情報をサンプル化し、前記符号化ストリームのサンプルとは異なるトラックのサンプルとして前記ファイルに配置する
ように構成された
請求項１に記載の情報処理装置。
【請求項８】
前記ファイル生成部は、前記符号化ストリームに対応するトラックを、前記デプスリプレゼンテーション情報に対応するトラックが参照するトラックとして特定する情報を前記ファイルに記述する
ように構成された
請求項７に記載の情報処理装置。
【請求項９】
前記デプスリプレゼンテーション情報は、前記デプス画像の種類を示す情報を含む
ように構成された
請求項１に記載の情報処理装置。
【請求項１０】
前記デプスリプレゼンテーション情報は、前記デプス情報の最小値と最大値を含む
ように構成された
請求項１に記載の情報処理装置。
【請求項１１】
前記ファイル生成部は、前記デプス画像の種類を示す情報を前記ファイルに記述する
ように構成された
請求項１０に記載の情報処理装置。
【請求項１２】
前記デプスリプレゼンテーションの構造は、前記符号化ストリームの前記デプスリプレゼンテーション情報を含むSEI（Supplemental Enhancement Information）または前記SEIのNAL(Network Abstraction Layer)ユニットの構造である
ように構成された
請求項１に記載の情報処理装置。
【請求項１３】
情報処理装置が、
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルを生成するファイル生成ステップ
を含む情報処理方法。
【請求項１４】
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成部
を備える情報処理装置。
【請求項１５】
情報処理装置が、
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成ステップ
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関し、特に、ISO Base media file formatのファイルにおいてデプスリプレゼンテーション情報を効率的に記述することができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
近年、インターネット上のストリーミングサービスの主流がOTT−V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG−DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。【０００３】
MPEG−DASHでは、配信サーバが１本の動画コンテンツ用に画面サイズと符号化速度が異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適な画面サイズと符号化速度の動画データ群を要求することにより、適応型のストリーミング配信が実現される。【０００４】
一方、立体視を実現するための手法として、テクスチャ画像と、そのテクスチャ画像の所定の単位領域における被写体の奥行き方向の位置を表すデプス情報とを用いる手法がある。デプス情報は、所定のビット数の値（例えば0から255までの値）に量子化されて画素値とされることにより、デプス画像として符号化することができる。【０００５】
テクスチャ画像とデプス画像をともに符号化する方式としては、例えば、MVD（Multiview Video plus Depth）方式(ISO/IEC14496-10)やMV-HEVC方式(HEVC（High Efficiency Video Coding） Multiview Extension)(ISO/IEC 23008-2)がある。【０００６】
これらの符号化方式では、デプス画像の種類、デプス情報の量子化前の最大値と最小値などのデプス画像に関するデプスリプレゼンテーション情報を、SEI（Supplemental Enhancement Information）としてエレメンタリストリームに含むことが可能になっている。【０００７】
従って、テクスチャ画像とデプス画像のエレメンタリストリームの再生時、エレメンタリストリームからデプスリプレゼンテーション情報が抽出され、エレメンタリストリームに含まれるテクスチャ画像とデプス画像の符号化データが復号される。そして、デプスリプレゼンテーション情報に基づいて、復号の結果得られるデプス画像からデプス情報が生成され、復号の結果得られるテクスチャ画像とデプス情報とを用いて立体視が実現される。【０００８】
現在、MVD方式またはMV-HEVC方式で符号化されたエレメンタリストリームをISO Base media file formatのファイル（以下、ＭＰ４ファイルという）に格納する方法が、ISO/IEC 14496-15で検討されている。【０００９】
ここで、デプス画像からデプス情報を生成する処理、および、立体視を実現する処理は、復号処理とは独立して行うことができるため、これらの処理は、デコーダ以外の処理部において行われることが想定される。従って、ＭＰ４ファイルにおいて、エレメンタリストリームとは別にデプスリプレゼンテーション情報を格納することが望まれている。【００１０】
しかしながら、MVD方式で符号化されたエレメンタリストリームを格納するＭＰ４ファイルでは、そのエレメンタリストリームのトラックにデプス画像のエレメンタリストリームが含まれているかどうかを示す情報（以下、デプス有無情報という）が、エレメンタリストリーム外のSample Entryに記述されるが、デプスリプレゼンテーション情報は記述されない。【００１１】
また、AVC（Advanced Video Coding）方式またはHEVC（High Efficiency Video Coding）方式で符号化されたデプス画像のエレメンタリストリームを格納するＭＰ４ファイルでは、エレメンタリストリーム外のTrack Referenceにデプス有無情報が記述されるが、デプスリプレゼンテーション情報は記述されない。【００１２】
従って、デプス画像からデプス情報を生成する処理、および、立体視を実現する処理がデコーダ以外の処理部で行われる場合であっても、その処理部は、ＭＰ４ファイルからエレメンタリストリームを抽出し、そのエレメンタリストリームからデプスリプレゼンテーション情報を抽出する必要があり、処理が複雑になる。【００１３】
これに対して、MV-HEVC方式で符号化されたエレメンタリストリームを格納するＭＰ４ファイルでは、エレメンタリストリーム外のSample Entryに、デプス有無情報が記述されるだけでなく、MV-HEVC方式用のConfig情報としてデプスリプレゼンテーション情報が記述される。【００１４】
従って、デプス画像からデプス情報を生成する処理、および、立体視を実現する処理がデコーダ以外の処理部で行われる場合、その処理部は、ＭＰ４ファイルから直接デプスリプレゼンテーション情報を抽出すればよく、エレメンタリストリームを抽出する必要はない。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】MPEG−DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg−dash/media−presentation−description−and−segment−formats/text−isoiec−23009−12012−dam−1）
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、デプスリプレゼンテーション情報は、連続するサンプル群であるチャンク単位の復号に必要な情報が記述されるSample Entryにチャンク単位で記述される。従って、チャンク間でデプスリプレゼンテーション情報と復号に必要な情報の少なくとも一方が異なるごとに、新たなSample Entryが生成される。その結果、変更されていないデプスリプレゼンテーション情報または復号に必要な情報が冗長して記述されることになり、デプスリプレゼンテーション情報の記述効率が悪い。【００１７】
本開示は、このような状況に鑑みてなされたものであり、ＭＰ４ファイルにおいてデプスリプレゼンテーション情報を効率的に記述することができるようにするものである。
【課題を解決するための手段】
【００１８】
本開示の第１の側面の情報処理装置は、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルを生成するファイル生成部を備える情報処理装置である。【００１９】
本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。【００２０】
本開示の第１の側面においては、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルが生成される。【００２１】
本開示の第２の側面の情報処理装置は、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成部を備える情報処理装置である。【００２２】
本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。【００２３】
本開示の第２の側面においては、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報が生成される。【００２４】
なお、第１の側面の情報処理装置および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００２５】
また、第１の側面の情報処理装置および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。【００２６】
本開示の第１の側面の情報処理装置および第２の側面の情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２７】
本開示の第１の側面によれば、ファイルを生成することができる。また、本開示の第１の側面によれば、ＭＰ４ファイルにおいてデプスリプレゼンテーション情報を効率的に記述することができる。【００２８】
本開示の第２の側面によれば、ファイルを再生することができる。また、本開示の第１の側面によれば、デプスリプレゼンテーション情報を効率的に記述したＭＰ４ファイルを再生することができる。【００２９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３０】
【図１】本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１のファイル生成装置の構成例を示すブロック図である。
【図３】ＭＰ４ファイルの構造を示す図である。
【図４】moovボックスの構造を示す図である。
【図５】moofボックスの構造を示す図である。
【図６】サンプルグループを説明する図である。
【図７】sgpdボックスの詳細構造例を示す図である。
【図８】VisualSampleGroupEntryの第１の構造例を示す図である。
【図９】図８の記述の内容を示す図である。
【図１０】図９のscheme_uriの値の例を示す図である。
【図１１】デプスリプレゼンテーション情報の第１の構造例を示す図である。
【図１２】デプスリプレゼンテーション情報の第２の構造例を示す図である。
【図１３】図１１のdepth_representation_typeの値の例を示す図である。
【図１４】sbgpボックスの詳細構造例を示す図である。
【図１５】VisualSampleGroupEntryの第２の構造例を示す図である。
【図１６】図１５の記述の内容を示す図である。
【図１７】depth_scheme_typeの値の例を示す図である。
【図１８】VisualSampleGroupEntryの第３の構造例を示す図である。
【図１９】sbgpボックスのgroup_type_parameterの値の例を示す図である。
【図２０】ファイル生成装置のファイル生成処理を説明するフローチャートである。
【図２１】図１の再生装置の構成例を示すブロック図である。
【図２２】再生装置の復号処理を説明するフローチャートである。
【図２３】再生装置のデプス情報生成処理を説明するフローチャートである。
【図２４】デプスリプレゼンテーション情報の他の配置方法を説明する図である。
【図２５】第１の他の配置方法におけるavcCボックスの構造例を示す図である。
【図２６】図２５のDEPIボックスの第１の構造例を示す図である。
【図２７】図２５のDEPIボックスの第２の構造例を示す図である。
【図２８】第２の他の配置方法におけるVisualSampleEntryの構造例を示す図である。
【図２９】第４の他の配置方法におけるDEPIボックスの構造例を示す図である。
【図３０】第２実施の形態におけるVisualSampleGroupEntryの第１の構造例を示す図である。
【図３１】第２実施の形態におけるsbgpボックスの第１の構造例を示す図である。
【図３２】図３１のsbgpボックスに記述される情報を説明する図である。
【図３３】第２実施の形態におけるデプス情報生成処理を説明するフローチャートである。
【図３４】第２実施の形態におけるVisualSampleGroupEntryの第２の構造例を示す図である。
【図３５】第２実施の形態におけるsbgpボックスの第２の構造例を示す図である。
【図３６】第３実施の形態におけるmoovボックスとmdatボックスの構造例を示す図である。
【図３７】trefボックスの構造例を示す図である。
【図３８】DepthRepresentasionSampleEntryの構造例を示す図である。
【図３９】図３８のDepthRepresentationConfigurationBoxの第１の構造例を示す図である。
【図４０】図３８のDepthRepresentationConfigurationBoxの第２の構造例を示す図である。
【図４１】第３実施の形態におけるデプス情報生成処理を説明するフローチャートである。
【図４２】第４実施の形態におけるmoovボックスとmdatボックスの構造例を示す図である。
【図４３】stsdボックスへのdepth_representation_typeの記述方法の例を示す図である。
【図４４】第４実施の形態におけるデプス情報生成処理を説明するフローチャートである。
【図４５】第５実施の形態におけるmoovボックスとmdatボックスの構造例を示す図である。
【図４６】本開示を適用した第６実施の形態における情報処理システムの概要を説明する図である。
【図４７】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：情報処理システム（図１乃至図２９）
２．第２実施の形態：情報処理システム（図３０乃至図３５）
３．第３実施の形態：情報処理システム（図３６乃至図４１）
４．第４実施の形態：情報処理システム(図４２乃至図４４)
５．第５実施の形態：情報処理システム（図４５）
６．第６実施の形態：情報処理システム（図４６）
７．第７実施の形態：コンピュータ（図４７）
【００３２】
＜第１実施の形態＞
（情報処理システムの第１実施の形態の構成例）
図１は、本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。
【００３３】
図１の情報処理システム１０は、ファイル生成装置１１、記録メディア１２、再生装置１３、および表示装置１４により構成される。情報処理システム１０は、MVD方式またはMV-HEVC方式で符号化されたエレメンタリストリームとデプスリプレゼンテーション情報を格納するＭＰ４ファイルを生成して、記録メディア１２に記録し、再生する。
【００３４】
具体的には、情報処理システム１０のファイル生成装置１１は、動画コンテンツのテクスチャ画像の所定の単位領域を画素として各画素のデプス情報を0から255までの値に量子化し、その結果得られる画素値からなるデプス画像を生成する。ファイル生成装置１１は、テクスチャ画像とデプス画像をMVD方式またはMV-HEVC方式で符号化し、エレメンタリストリームを生成する。ファイル生成装置１１は、エレメンタリストリームをサンプル化して配置するとともに、デプスリプレゼンテーション情報が同一であるサンプルをグループ化して、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報を記述したＭＰ４ファイルを生成する。ファイル生成装置１１は、生成されたＭＰ４ファイルを記録メディア１２に供給して、記録させる。
【００３５】
記録メディア１２は、ファイル生成装置１１から供給されるＭＰ４ファイルを記録する。
【００３６】
再生装置１３は、記録メディア１２に記録されているＭＰ４ファイルを読み出す。再生装置１３は、ＭＰ４ファイルから各サンプルのエレメンタリストリームを抽出し、MVD方式またはMV-HEVC方式で復号する。また、再生装置１３は、ＭＰ４ファイルから各グループのデプスリプレゼンテーション情報を抽出する。再生装置１３は、復号の結果得られるデプス画像に対応すするグループのデプスリプレゼンテーション情報に基づいて、そのデプス画像からデプス情報を生成する。再生装置１３は、復号の結果得られるテクスチャ画像とデプス情報に基づいて、立体視を実現する３次元画像を生成し、表示装置１４に供給する。
【００３７】
表示装置１４は、再生装置１３から供給される３次元画像を表示する。
【００３８】
（ファイル生成装置の構成例）
図２は、図１のファイル生成装置１１の構成例を示すブロック図である。
【００３９】
図２のファイル生成装置１１は、取得部３１、前処理部３２、符号化部３３、ファイル生成部３４、および記録制御部３５により構成される。
【００４０】
ファイル生成装置１１の取得部３１は、外部から動画コンテンツのテクスチャ画像と、テクスチャ画像の所定の単位領域を画素としたときの各画素のデプス情報とを取得し、前処理部３２に供給する。また、取得部３１は、外部からデプスリプレゼンテーション情報を取得し、前処理部３２とファイル生成部３４に供給する。
【００４１】
前処理部３２は、取得部３１から供給されるデプスリプレゼンテーション情報に基づいて、各画素のデプス情報を0から255までの値に量子化し、その結果得られる画素値からなるデプス画像を生成する。前処理部３２は、デプス画像、テクスチャ画像、およびデプスリプレゼンテーション情報を符号化部３３に供給する。
【００４２】
符号化部３３は、テクスチャ画像符号化部４１とデプス画像符号化部４２により構成される。テクスチャ画像符号化部４１は、前処理部３２から供給されるテクスチャ画像をMVD方式またはMV-HEVC方式で符号化する。テクスチャ画像符号化部４１は、符号化の際に復号されたテクスチャ画像をデプス画像符号化部４２に供給する。
【００４３】
デプス画像符号化部４２は、テクスチャ画像符号化部４１から供給されるテクスチャ画像を参照画像の候補として、前処理部３２から供給されるデプス画像をMVD方式またはMV-HEVC方式で符号化する。
【００４４】
符号化部３３は、テクスチャ画像符号化部４１により符号化されたテクスチャ画像とデプス画像符号化部４２により符号化されたデプス画像を含み、デプスリプレゼンテーション情報をSEIとして含むエレメンタリストリーム（符号化ストリーム）を、ファイル生成部３４に供給する。
【００４５】
ファイル生成部３４は、符号化部３３から供給されるエレメンタリストリームをサンプル化して配置するとともに、デプスリプレゼンテーション情報が同一である連続するサンプルをグループ化して、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報を記述したＭＰ４ファイルを生成する。ファイル生成部３４は、ＭＰ４ファイルを記録制御部３５に供給する。
【００４６】
記録制御部３５は、ファイル生成部３４から供給されるＭＰ４ファイルを図１の記録メディア１２に供給して記録させる。
【００４７】
（ＭＰ４ファイルの構造）
図３は、ＭＰ４ファイルの構造を示す図である。
【００４８】
図３に示すように、ＭＰ４ファイルの構造は、ボックス構造である。図３の例では、ＭＰ４ファイルは、Fragment Movie構造を有している。従って、図３のＭＰ４ファイルには、ftypボックス(FileTypeBox)、moovボックス（MovieBox）およびmdatボックス(MediaDataBox)、並びに、１以上のmoofボックス（MovieFragmentBox）およびmdatボックスが順に配置される。
【００４９】
ftypボックスは、ＭＰ４ファイルの先頭を示すボックスであり、ファイルフォーマットを識別する情報などが記述される。moovボックスには、全時間のサンプルのサンプルに関する情報（以下、サンプル情報という）などが記述される。mdatボックスには、サンプルが配置される。moofボックスには、任意の時間ごとのサンプル情報などが記述される。
【００５０】
なお、ＭＰ４ファイルには、必要に応じて、ランダムアクセスに関する情報が記述されるmfraボックス（MovieFragmentRandomAccessBox）が配置されてもよい。
【００５１】
（moovボックスの構造）
図４は、moovボックスの構造を示す図である。
【００５２】
図４に示すように、moovボックスは、MovieHeaderBoxと１以上のtrakボックス（TrackBox）により構成される。MovieHeaderBoxには、動画コンテンツの時間軸を指定する情報などが記述される。
【００５３】
trakボックスは、トラック単位で配置され、対応するトラックに関する情報が記述される。例えば、trakボックスには、対応するトラックが割り当てられた全時間のサンプルのサンプル情報が記述されるstblボックス（SampleTableBox）が配置される。
【００５４】
stblボックスでは、サンプルグループという手法が用いられている。サンプルグループという手法は、サンプル情報が共通である連続するサンプルをグループ化し、各グループのサンプル情報のうちの互いに異なるサンプル情報のみを記述する手法である。この手法では、同一のサンプル情報が冗長して記述されることを防止することができる。従って、複数のサンプルのサンプル情報が同一である場合に、サンプル情報を効率的に記述することができる。
【００５５】
（moofボックスの構造）
図５は、moofボックスの構造を示す図である。
【００５６】
図５に示すように、moofボックスは、MovieFragmentHeaderBoxと１以上のtrafボックス（TrackFragmentBox）により構成される。MovieFragmentHeaderBoxは、moofボックスに順に付与されたシーケンス番号などが記述される。
【００５７】
trafボックスは、トラック単位で配置され、trafボックスには、対応するトラックが割り当てられた任意の時間のサンプルのサンプル情報が記述される。trafボックスでは、stblボックスと同様に、サンプルグループという手法が用いられている。
【００５８】
（サンプルグループの説明）
図６は、サンプルグループを説明する図である。
【００５９】
図６に示すように、サンプルグループという手法が用いられるボックスは、sgpdボックス（SampleGroupDescriptionBox）と、sbgpボックス（SampleToGroupBox）とを含む。
【００６０】
sgpdボックスは、サンプル情報が共通であるサンプルをグループ化し、各グループのサンプル情報を記述するボックスである。sbgpボックスは、各グループのサンプルを特定する情報(以下、サンプル特定情報という)を記述するボックスである。
【００６１】
sgpdボックス（グループ情報ボックス）には、grouping_type, entry_count, GroupEntryなどが記述される。sgpdボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、各グループのサンプル情報のうちの互いに異なるサンプル情報の数を示す。また、GroupEntryは、各グループのサンプル情報のうちの互いに異なるサンプル情報であり、entry_countだけ記述される。GroupEntryの構造は、grouping_typeによって異なる。
【００６２】
sbgpボックス（グループボックス）には、grouping_type，entry_count，sample_count, group_description_indexなどが記述される。sbgpボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、グループの数を示す。
【００６３】
sample_countは、各グループのサンプル特定情報であり、各グループのサンプルの連続数を示す。sample_countは、entry_countだけ記述され、全てのsample_countの合計は、sgpdボックスが含まれるボックス（例えば、trakボックス、trafボックス）に対応するサンプルの数（例えば、トラックの全サンプル数）になる。group_description_indexは、各グループのサンプル情報であるGroupEntryを特定する情報である。
【００６４】
図６の例では、grouping_typeが同一であるsbgpボックスとsgpdボックスのentry_countが、それぞれ、６，４である。従って、グループの数は６個であり、６個の各グループのサンプル情報のうちの互いに異なるサンプル情報の数は４個である。そして、sgpdボックスには、４つのGroupEntryが記述される。
【００６５】
また、sbgpボックスの先頭から１乃至６番目のsample_count[1]乃至sample_count［6］は、順に、１，２，１，１，１，２である。従って、先頭から１乃至６番目のグループのサンプル数が、順に、１，２，１，１，１，２である。
【００６６】
即ち、先頭から１番目のサンプル（sample[1]）が、先頭から１番目のグループに分類され、先頭から２番目および３番目のサンプル（sample[2],sample[3]）が、先頭から２番目のグループに分類される。また、先頭から４番目のサンプル（sample[4]）が、先頭から３番目のグループに分類され、先頭から５番目のサンプル（sample[5]）が、先頭から４番目のグループに分類される。先頭から６番目のサンプル（sample[6]）が、先頭から５番目のグループに分類され、先頭から７番目および８番目のサンプル（sample[7],sample[8]）が、先頭から６番目のグループに分類される。
【００６７】
また、先頭から１番目乃至６番目のgroup_description_index[1]乃至group_description_index[6]は、順に、１，３，２，０，４，１である。従って、先頭から１番目のグループに分類される先頭から１番目のサンプルのサンプル情報は、先頭から１番目のGroupEntryである。また、先頭から２番目のグループに分類される先頭から２番目および３番目のサンプルに共通するサンプル情報は、先頭から３番目のGroupEntryである。
【００６８】
さらに、先頭から３番目のグループに分類される先頭から４番目のサンプルのサンプル情報は、先頭から２番目のGroupEntryである。また、先頭から５番目のグループに分類される先頭から４番目のサンプル情報はない。
【００６９】
また、先頭から５番目のグループに分類される先頭から６番目のサンプルのサンプル情報は、先頭から４番目のGroupEntryである。また、先頭から６番目のグループに分類される先頭から７番目および８番目のサンプルに共通するサンプル情報は、先頭から１番目のGroupEntryである。
【００７０】
（sgpdボックスの詳細構造例）
図７は、sgpdボックスの詳細構造例を示す図である。
【００７１】
図７に示すように、sgpdボックスには、grouping_typeとentry_countが記述される。また、動画のトラックに対応するsgpdボックスには、動画のトラックのサンプル情報であるVisualSampleGroupEntryがGroupEntryとして記述される。VisualSampleGroupEntryの構造は、grouping_typeによって異なる。
【００７２】
（VisualSampleGroupEntryの第１の構造例）
図８は、grouping_typeが、グループ化の基になったサンプル情報がデプスリプレゼンテーション情報であることを示すDEPIである場合のVisualSampleGroupEntryの第１の構造例を示す図である。
【００７３】
図８のVisualSampleGroupEntryは、scheme_uri,length、およびdepth_representation_informationを含む。
【００７４】
図９に示すように、図８のscheme_uriは、デプスリプレゼンテーション情報の構造を示す情報である。lengthは、デプスリプレゼンテーションの長さを示す情報である。depth_representation_informationは、サンプル情報としてのデプスリプレゼンテーション情報である。
【００７５】
（scheme_uriの値の例）
図１０は、図９のscheme_uriの値の例を示す図である。
【００７６】
図１０に示すように、scheme_uriの値としては、例えば、urn:mpeg:14496:10:depth_representation_information:2015とurn:mpeg:23008:2:depth_representation_information:2015がある。
【００７７】
urn:mpeg:14496:10:depth_representation_information:2015は、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一であることを示す値である。
【００７８】
また、urn:mpeg:23008:2:depth_representation_information:2015は、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一であることを示す値である。
【００７９】
以上のように、デプスリプレゼンテーション情報の構造を示す情報がscheme_uriとして記述される場合、scheme_uriの値を設定するだけで、現在規定されている構造以外の構造を示すことができる。従って、デプスリプレゼンテーション情報の構造の拡張を容易に行うことができる。
【００８０】
（デプスリプレゼンテーション情報の構造例）
図１１は、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一である場合のデプスリプレゼンテーション情報の構造例を示す図である。
【００８１】
図１１のデプスリプレゼンテーション情報は、デプス画像の種類を示すdepth_representation_typeとデプス情報の最小値と最大値を表す情報とを含む。図１１のデプス情報の最小値と最大値を表す情報は、デプス情報の最小値を表すZNearSign,ZNearExp,ZNearMantissa、およびZNearManLen(DMinSign,DMinExp, DMinMantissa、および DMinManLen）と最大値を表すZFarSign,ZFarExp,ZFarMantissa、およびZFarManLen(DMaxSign,DMaxExp, DMaxMantissa、およびDMaxManLen）、または、デプス情報の最小値と最大値が同一である前のデプス画像を特定する情報であるcommon_z_axis_reference_view,z_axis_reference_view(disparity_reference_view）である。
【００８２】
図１２は、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一である場合のデプスリプレゼンテーション情報の構造例を示す図である。
【００８３】
図１２のデプスリプレゼンテーション情報は、デプス画像の種類を示すdepth_representation_typeとデプス情報の最小値と最大値を表す情報とを含む。図１２のデプス情報の最小値と最大値を表す情報とは、デプス情報の最小値を表すZNearSign,ZNearExp,ZNearMantissa、およびZNearManLen(DMinSign,DMinExp, DMinMantissa、および DMinManLen）と最大値を表すZFarSign,ZFarExp,ZFarMantissa、およびZFarManLen(DMaxSign,DMaxExp, DMaxMantissa、およびDMaxManLen）、または、デプス情報が視差（disparity）を表す情報である場合にデプス情報の最小値と最大値が同一である前のデプス画像を特定する情報であるdisparity_ref_view_idである。
【００８４】
図１１および図１２に示すように、デプスリプレゼンテーション情報の構造が、ISO/IEC 14496-10のDepth representation information SEI messageの構造と同一である場合と、ISO/IEC 23008-2のDepth representation information SEI messageの構造と同一である場合とでは、デプスリプレゼンテーション情報の構造は異なっている。
【００８５】
（depth_representation_typeの値の例）
図１３は、図１１のdepth_representation_typeの値の例を示す図である。
【００８６】
図１３に示すように、図１１のdepth_representation_typeの値が０である場合、depth_representation_typeは、デプス画像が、被写体の奥行き方向の位置を表すデプスｚの逆数であるデプス情報を0から255までの値に均一に量子化した値を画素値とする画像であること示している。
【００８７】
また、depth_representation_typeの値が１である場合、depth_representation_typeは、デプス画像が、視差であるデプス情報を0から255までの値に均一に量子化した値を画素値とする画像であること示している。なお、視差は、被写体の奥行き方向の位置を表すデプスｚに一意に変換できるものである。従って、視差は、被写体の奥行き方向を表すデプス情報であるといえる。
【００８８】
depth_representation_typeの値が２である場合、depth_representation_typeは、デプス画像が、デプスｚであるデプス情報を0から255までの値に均一に量子化した値を画素値とする画像であること示している。
【００８９】
depth_representation_typeの値が３である場合、depth_representation_typeは、デプス画像が、視差であるデプス情報をノンリニアの関数を用いて0から255までの値に量子化した値を画素値とする画像であること示している。
【００９０】
（sbgpボックスの詳細構造例）
図１４は、sbgpボックスの詳細構造例を示す図である。
【００９１】
図１４に示すように、sbgpボックスは、grouping_type,grouping_typeが示すサンプル情報のパラメータであるgrouping_type_parameter，entry_count，sample_count、およびgroup_description_indexを含む。
【００９２】
（VisualSampleGroupEntryの第２の構造例）
図１５は、grouping_typeがDEPIである場合のVisualSampleGroupEntryの第２の構造例を示す図である。
【００９３】
図１５のVisualSampleGroupEntryの構造は、デプスリプレゼンテーション情報の構造を示す情報が、scheme_uriではなく、フィールドとして記述される点が、図８の構造と異なっている。
【００９４】
具体的には、図１５のVisualSampleGroupEntryには、scheme_uriの代わりに、depth_scheme_typeがフィールドして記述される。図１６に示すように、depth_scheme_typeは、デプスリプレゼンテーション情報の構造を示す情報であり、１６ビットの固定長の情報である。
【００９５】
（depth_scheme_typeの値の例）
図１７は、depth_scheme_typeの値の例を示す図である。
【００９６】
図１７に示すように、depth_scheme_typeの値が0x0000である場合、depth_scheme_typeは、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一であることを示す。
【００９７】
また、depth_scheme_typeの値が0x0001である場合、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一であることを示す。
【００９８】
さらに、depth_scheme_typeでは、現在規定されている構造以外の構造を示す値として、0x0100乃至0xFFFFが割り当てられている。従って、depth_scheme_typeに0x0100乃至0xFFFFのいずれかの値を設定するだけで、現在規定されている構造以外の構造であることを示すことができる。よって、デプスリプレゼンテーション情報の構造の拡張を容易に行うことができる。
【００９９】
（VisualSampleGroupEntryの第３の構造例）
図１８は、grouping_typeがDEPIである場合のVisualSampleGroupEntryの第３の構造例を示す図である。
【０１００】
図１８のVisualSampleGroupEntryの構造は、デプスリプレゼンテーション情報の構造を示す情報が記述されない点が、図８の構造と異なっている。具体的には、図１８のVisualSampleGroupEntryは、scheme_uriとlengthを含む。
【０１０１】
（group_type_parameterの値の例）
図１９は、VisualSampleGroupEntryの構造が図１８の構造である場合のsbgpボックスのgroup_type_parameterの値の例を示す図である。
【０１０２】
VisualSampleGroupEntryの構造が図１８の構造である場合、図１９に示すように、sbgpボックスのgroup_type_parameterを用いてデプスリプレゼンテーション情報の構造が記述される。即ち、sbgpボックスには、デプスリプレゼンテーション情報の構造を示す情報としてgroup_type_parameterが記述される。
【０１０３】
具体的には、group_type_parameterの値が0x0000である場合、group_type_parameterは、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一であることを示す。
【０１０４】
また、group_type_parameterの値が0x0001である場合、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一であることを示す。
【０１０５】
さらに、group_type_parameterでは、現在規定されている構造以外の構造を示す値として、0x0100乃至0xFFFFが割り当てられている。従って、group_type_parameterに0x0100乃至0xFFFFのいずれかの値を設定するだけで、現在規定されている構造以外の構造であることを示すことができる。よって、デプスリプレゼンテーション情報の構造の拡張を容易に行うことができる。
【０１０６】
（ファイル生成装置の処理の説明）
図２０は、図２のファイル生成装置１１のファイル生成処理を説明するフローチャートである。
【０１０７】
図２０のステップＳ１１において、ファイル生成装置１１の取得部３１は、外部から動画コンテンツのテクスチャ画像、各画素のデプス情報、およびデプスリプレゼンテーション情報を取得する。取得部３１は、テクスチャ画像と各画素のデプス情報を前処理部３２に供給し、デプスリプレゼンテーション情報を前処理部３２とファイル生成部３４に供給する。
【０１０８】
ステップＳ１２において、前処理部３２は、デプスリプレゼンテーション情報に基づいて、各画素のデプス情報を0から255までの値に量子化し、デプス画像の画素値とすることにより、デプス情報からデプス画像を生成する。前処理部３２は、デプス画像、テクスチャ画像、およびデプスリプレゼンテーション情報を符号化部３３に供給する。
【０１０９】
ステップＳ１３において、符号化部３３のテクスチャ画像符号化部４１は、前処理部３２から供給されるテクスチャ画像をMVD方式またはMV-HEVC方式で符号化する。テクスチャ画像符号化部４１は、符号化の際に復号されたテクスチャ画像をデプス画像符号化部４２に供給する。
【０１１０】
ステップＳ１４において、デプス画像符号化部４２は、テクスチャ画像符号化部４１から供給されるテクスチャ画像を参照画像の候補として、前処理部３２から供給されるデプス画像をMVD方式またはMV-HEVC方式で符号化する。符号化部３３は、テクスチャ画像符号化部４１により符号化されたテクスチャ画像、デプス画像符号化部４２により符号化されたデプス画像、およびデプスリプレゼンテーション情報を含むエレメンタリストリームをファイル生成部３４に供給する。
【０１１１】
ステップＳ１５において、ファイル生成部３４は、エレメンタリストリームをサンプル化して配置するとともに、stblボックスおよびtrafボックスにgrouping_typeがDEPIであるsbgpボックスおよびsgpdボックスを配置したＭＰ４ファイルを生成する。ファイル生成部３４は、ＭＰ４ファイルを記録制御部３５に供給する。
【０１１２】
ステップＳ１６において、記録制御部３５は、ファイル生成部３４から供給されるＭＰ４ファイルを図１の記録メディア１２に供給して記録させる。そして、処理は終了する。
【０１１３】
以上のように、ファイル生成装置１１は、デプスリプレゼンテーション情報をエレメンタリストリーム外に記述したＭＰ４ファイルを生成する。従って、再生装置１３は、ＭＰ４ファイルから直接デプスリプレゼンテーション情報を抽出することができ、ＭＰ４ファイルからエレメンタリストリームを抽出し、そのエレメンタリストリームからさらにデプスプレゼンテーション情報を抽出する必要がない。その結果、再生装置１３の処理が容易になる。
【０１１４】
また、ファイル生成装置１１は、デプスリプレゼンテーション情報が同一であるサンプルをグループ化し、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報のみをＭＰ４ファイルに記述する。従って、ＭＰ４ファイルに同一のデプスリプレゼンテーション情報が冗長して記述されることを防止し、デプスリプレゼンテーション情報を効率的に記述することができる。その結果、ＭＰ４ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
【０１１５】
（再生装置の構成例）
図２１は、図１の再生装置１３の構成例を示すブロック図である。
【０１１６】
図２１の再生装置１３は、再生制御部６１、解析部６２、復号部６３、および表示生成部６４により構成される。
【０１１７】
再生装置１３の再生制御部６１は、記録メディア１２に記録されているＭＰ４ファイルから再生対象のサンプルを抽出し、解析部６２に供給する。また、再生制御部６１は、ＭＰ４ファイルから、再生対象のサンプルを含むトラックの、grouping_typeがDEPIであるsbgpボックスおよびsgpdボックスを抽出し、解析部６２に供給する。
【０１１８】
解析部６２は、再生制御部６１から供給されるサンプルを復号部６３に供給する。また、解析部６２は、sbgpボックスおよびsgpdボックスに基づいて、再生対象のサンプルがデプス画像のエレメンタリストリームである場合、再生対象のサンプルのデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報とを認識する。
【０１１９】
具体的には、解析部６２は、sbgpボックスのsample_countに基づいて、再生対象のサンプルのグループを認識する。そして、解析部６２は、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryの構造が図８の構造である場合、VisualGroupEntryのscheme_uriをデプスリプレゼンテーション情報の構造を示す情報として認識する。
【０１２０】
一方、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryの構造が図１５の構造である場合、解析部６２は、VisualGroupEntryのdepth_scheme_typeをデプスリプレゼンテーション情報の構造を示す情報として認識する。
【０１２１】
また、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryの構造が図１８の構造である場合、解析部６２は、sbgpボックスのgrouping_type_parameterをデプスリプレゼンテーション情報の構造を示す情報として認識する。
【０１２２】
解析部６２はまた、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryからデプスリプレゼンテーション情報(depth_representation_information)を認識する。解析部６２は、認識されたデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報を表示生成部６４に供給する。
【０１２３】
復号部６３は、テクスチャ画像復号部７１とデプス画像復号部７２により構成される。復号部６３のテクスチャ画像復号部７１は、解析部６２から供給される再生対象のサンプルがテクスチャ画像のエレメンタリストリームである場合、そのエレメンタリストリームをMVD方式またはMV-HEVC方式で復号する。テクスチャ画像復号部７１は、復号されたテクスチャ画像を表示生成部６４とデプス画像復号部７２に供給する。
【０１２４】
デプス画像復号部７２は、解析部６２から供給される再生対象のサンプルがテクスチャ画像のエレメンタリストリームである場合、必要に応じてテクスチャ画像復号部７１から供給されるテクスチャ画像を参照画像とし、そのエレメンタリストリームをMVD方式またはMV-HEVC方式で復号する。デプス画像復号部７２は、復号の結果得られるデプス画像を表示生成部６４に供給する。
【０１２５】
表示生成部６４は、デプス情報生成部８１と合成部８２により構成される。表示生成部６４のデプス情報生成部８１は、解析部６２からのデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報とに基づいて、デプス画像復号部７２からのデプス画像を逆量子化し、デプス情報を生成する。
【０１２６】
具体的には、デプス情報生成部８１は、デプスリプレゼンテーション情報の構造を示す情報が、自分が認識可能な構造を示す情報である場合、デプスリプレゼンテーション情報の構造を解析し、デプス画像の種類とデプス情報の最小値および最大値とを認識する。デプス情報生成部８１は、デプス画像の種類とデプス情報の最小値および最大値に基づいて、デプス画像を逆量子化し、デプス情報を生成する。そして、デプス情報生成部８１は、デプス情報とデプス画像の種類とを合成部８２に供給する。
【０１２７】
合成部８２は、デプス情報生成部８１からデプス情報が供給される場合、デプス画像の種類に基づいて、テクスチャ画像とデプス情報から３Ｄ画像を生成し、図１の表示装置１４に供給する。一方、合成部８２は、デプス情報生成部８１からデプス情報が供給されない場合、テクスチャ画像をそのまま表示装置１４に供給する。
【０１２８】
（再生装置の処理の説明）
図２２は、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの図２１の再生装置１３の復号処理を説明するフローチャートである。
【０１２９】
図２２のステップＳ３１において、再生制御部６１は、記録メディア１２に記録されているＭＰ４ファイルから再生対象のサンプルを抽出し、解析部６２を介して復号部６３に供給する。
【０１３０】
ステップＳ３２において、復号部６３のデプス画像復号部７２は、必要に応じてテクスチャ画像復号部７１から供給されるテクスチャ画像を参照画像として、再生対象のサンプルをMVD方式またはMV-HEVC方式で復号する。デプス画像復号部７２は、復号の結果得られるデプス画像をデプス情報生成部８１に供給し、処理を終了する。
【０１３１】
図２３は、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの再生装置１３のデプス情報生成処理を説明するフローチャートである。
【０１３２】
図２３のステップＳ５１において、再生装置１３の再生制御部６１は、ＭＰ４ファイルから、再生対象のサンプルを含むトラックの、grouping_typeがDEPIであるsbgpボックスおよびsgpdボックスを抽出し、解析部６２に供給する。
【０１３３】
ステップＳ５２において、解析部６２は、sbgpボックスおよびsgpdボックスに基づいて、再生対象のサンプルのデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報とを認識する。解析部６２は、認識されたデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報をデプス情報生成部８１に供給する。
【０１３４】
ステップＳ５３において、デプス情報生成部８１は、解析部６２からのデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であるかどうかを判定する。ステップＳ５３でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であると判定された場合、処理はステップＳ５４に進む。
【０１３５】
ステップＳ５４において、デプス情報生成部８１は、デプスリプレゼンテーション情報から、デプス画像の種類とデプス情報の最小値および最大値とを認識する。
【０１３６】
ステップＳ５５において、デプス情報生成部８１は、図２２のステップＳ３２の処理によりデプス画像復号部７２からデプス画像が供給されたかどうかを判定する。ステップＳ５５でデプス画像が供給されていないと判定された場合、デプス情報生成部８１は、デプス画像が供給されるまで待機する。
【０１３７】
一方、ステップＳ５５でデプス画像が供給されたと判定された場合、ステップＳ５６において、デプス情報生成部８１は、デプス画像の種類とデプス情報の最小値および最大値に基づいて、デプス画像を逆量子化し、デプス画像からデプス情報を生成する。そして、デプス情報生成部８１は、デプス情報とデプス画像の種類とを合成部８２に供給する。
【０１３８】
また、ステップＳ５３でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造ではないと判定された場合、処理は終了する。
【０１３９】
なお、図２３のステップＳ５４の処理後、デプス情報生成部８１は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定するようにしてもよい。この場合、デプス画像の種類が、自分が処理可能な種類であると判定された場合、処理はステップＳ５５に進み、デプス画像の種類が、自分が処理可能な種類ではないと判定された場合、処理は終了する。
【０１４０】
以上のように、再生装置１３は、ファイル生成装置１１により生成されたＭＰ４ファイルを再生することができる。また、再生装置１３は、ＭＰ４ファイルのうちのデプスプレゼンテーション情報に基づいて、デプス画像からデプス情報を生成することができる。
【０１４１】
なお、上述した説明では、デプスリプレゼンテーション情報がstblボックスとtrafボックスに配置されたが、デプスリプレゼンテーション情報が配置されるボックスは、stblボックスとtrafボックスに限定されない。
【０１４２】
また、テクスチャ画像とデプス画像の符号化方式は、MVC方式やMV-HEVC方式のほか、AVC方式やHEVC方式であってもよい。
【０１４３】
（デプスリプレゼンテーション情報の他の配置方法の説明）
図２４は、デプスリプレゼンテーション情報の他の配置方法を説明する図である。
【０１４４】
より詳細には、図２４は、テクスチャ画像とデプス画像がAVC方式で符号化された場合のＭＰ４ファイルのボックスの階層構造を示す図である。ボックスは、右にあるほど、階層が低い。例えば、trakボックスは、moovボックスの下の階層のボックスであり、moovボックスに配置されるボックスである。また、ftypボックスとmoovボックスは同一の階層のボックスである。
【０１４５】
また、図２４中星印は、他の配置方法によりデプスリプレゼンテーション情報がＭＰ４ファイルのエントリストリーム外に配置される場合のデプスリプレゼンテーション情報が配置される位置を示している。
【０１４６】
図２４に示すように、デプスリプレゼンテーション情報の第１の他の配置方法は、trakボックスの下層のavcCボックス（AVCConfigurationBox）に、サンプルグループという手法を用いずにデプスリプレゼンテーション情報を記述するDEPIボックス（DepthRepresentationInformationBox）を追加する方法である。avcCボックスは、AVC方式で符号化されたサンプルのConfig情報が記述されるボックスである。
【０１４７】
デプスリプレゼンテーション情報の第２の他の配置方法は、trakボックスの下層のavc1ボックスに含まれるAVC方式で符号化されたサンプルのSampleEntryの基になるVisualSampleEntryにDEPIボックスを追加する方法である。
【０１４８】
デプスリプレゼンテーション情報の第３の他の配置方法は、trakボックスの下層のポスト処理に用いられる情報を記述するrinfボックス（RestrictedSchemeInformationBox)の下層のポスト処理の内容を示すschiボックス（SchemeInformationBox）にDEPIボックスを追加する方法である。デプスリプレゼンテーション情報は、復号処理の後のポスト処理としてのデプス情報生成処理に用いられる情報であるため、schiボックスに記述することにより、利便性を向上させることができる。
【０１４９】
デプスリプレゼンテーション情報の第４の他の配置方法は、trakボックスの下層のudtaボックス（UserDataBox)にDEPIボックスを追加する方法である。
【０１５０】
第１乃至第４の他の配置方法では、エレメンタリストリーム外にデプスリプレゼンテーション情報が記述されるので、再生装置１３は、デプスリプレゼンテーション情報をエレメンタリストリームから抽出する必要がない。従って、再生装置１３の処理が容易になる。
【０１５１】
なお、図２４の例では、デプスリプレゼンテーション情報がmoovボックスに配置されるようにしたが、moofボックスに配置されるようにしてもよい。
【０１５２】
（第１の他の配置方法の説明）
図２５は、第１の他の配置方法によりデプスリプレゼンテーション情報が配置される場合のavcCボックスの構造例を示す図である。
【０１５３】
図２５のavcCボックスは、チャンク単位のconfig情報とDEPIボックス（DepthRepresentationInformationBox）を含む。avcCボックスは、チャンク（Chunk）間でavcCボックスに記述される情報が異なるごとに、新たに生成される。avcCボックスとチャンクは、stblボックス内のSampleToChunkBoxからSample Entryを参照するための情報であるSample_description_indexを利用して関連づけされる。
【０１５４】
図２６は、図２５のDEPIボックスの第１の構造例を示す図である。
【０１５５】
図２６のDEPIボックスは、scheme_uri,length、およびdepth_representation_informationを含む。即ち、DEPIボックスは、図８のVisualSampleGroupEntryがボックス構造になったものである。
【０１５６】
図２７は、図２５のDEPIボックスの第２の構造例を示す図である。
【０１５７】
図２７のDEPIボックスは、depth_scheme_type,length、およびdepth_representation_informationを含む。即ち、DEPIボックスは、図１５のVisualSampleGroupEntryがボックス構造になったものである。
【０１５８】
第１の他の配置方法では、符号化方式に依存するavcCボックスにDEPIボックスが配置されるため、各符号化方式のConfig情報が記述されるボックスに対して拡張を行い、DEPIボックスを配置可能にする必要がある。
【０１５９】
なお、HEVC方式およびMV-HEVC方式のConfig情報が記述されるボックスでは、既にデプスリプレゼンテーション情報を記述することが可能である。しかしながら、現在規定されている構造以外の構造のデプスリプレゼンテーション情報を記述することはできない。
【０１６０】
これに対して、第１の他の配置方法では、scheme_uriまたはdepth_scheme_typeを、現在規定されているデプスリプレゼンテーション情報の構造以外の構造を示す値にすることで、その構造のデプスリプレゼンテーション情報を記述することが可能である。
【０１６１】
（第２の他の配置方法の説明）
図２８は、第２の他の配置方法によりデプスリプレゼンテーション情報が配置される場合のVisualSampleEntryの構造例を示す図である。
【０１６２】
図２８のVisualSampleEntryには、DEPIボックスが配置される。このDEPIボックスの構造は、図２６または図２７の構造と同一である。VisualSampleEntryを基にした構造を有する各符号化方式のSampleEntryを含むボックス（符号化方式がAVC方式である場合avc1ボックス）は、avcCボックスと同様に、チャンク間で、このボックスに記述される情報が異なるごとに、新たに生成される。このボックス(例えばavc１ボックス)とチャンクは、stblボックス内のSample to Chunk boxからSample Entryを参照するための情報であるSample_description_indexを利用して関連づけされる。
【０１６３】
第２の他の配置方法では、符号化方式に依存しない、各符号化方式のSampleEntryの基になるVisualSampleEntryにDEPIボックスが配置されるため、符号化方式ごとに拡張を行う必要はない。
【０１６４】
また、第３の他の配置方法によりデプスリプレゼンテーション情報が配置される場合のschiボックスに配置されるDEPIボックスの構造は、図２６または図２７の構造と同一である。schiボックスは、DEPIボックスを含むことにより、ポスト処理がデプス情報生成処理であること、および、そのデプス情報生成処理に必要なデプスリプレゼンテーション情報を示す。
【０１６５】
schiボックスは、avcCボックスと同様に、チャンク間でschiボックスに記述される情報が異なるごとに、新たに生成される。schiボックスとチャンクは、stblボックス内のSampleToChunkBoxからSample Entryを参照するための情報であるSample_description_indexを利用して関連づけされる。
【０１６６】
第３の他の配置方法では、符号化方式に依存しない、schiボックスにDEPIボックスが配置されるため、符号化方式ごとに拡張を行う必要はない。
【０１６７】
以上のように、第１乃至第３の他の配置方法では、チャンク間で記述される情報が異なるごとに生成されるボックス（avcCボックス，avc１ボックス, schiボックスなど）にDEPIボックスが配置される。従って、ファイル生成部３４は、デプスリプレゼンテーション情報が同一であるサンプルをグループ化せず、DEPIボックスが配置されるボックスに記述される情報が異なるチャンクごとに、デプスリプレゼンテーション情報をＭＰ４ファイルに記述する。
【０１６８】
（第４の他の配置方法の説明）
図２９は、第４の他の配置方法によりデプスリプレゼンテーション情報が配置される場合にudtaボックスに配置されるDEPIボックスの構造例を示す図である。
【０１６９】
図２９のDEPIボックスには、entry_countとscheme_uriが記述され、entry_count分のsample_count,length、およびdepth_representation_informationが記述される。
【０１７０】
即ち、第４の他の配置方法では、ファイル生成部３４は、デプスリプレゼンテーション情報が同一である連続するサンプルをグループ化する。そして、ファイル生成部３４は、そのグループの数を示すentry_countをDEPIボックスに記述する。
【０１７１】
また、ファイル生成部３４は、各グループのサンプル特定情報であるsample_count、デプスリプレゼンテーション情報の長さを示すlength、およびデプスリプレゼンテーション情報であるdepth_representation_informationをDEPIボックスに記述する。さらに、ファイル生成部３４は、デプスリプレゼンテーション情報の構造を示すscheme_uriをDEPIボックスに記述する。以上のようにして情報が記述されたDEPIボックスは、ＭＰ４ファイルに配置される。
【０１７２】
以上のように、第４の他の配置方法では、デプスリプレゼンテーション情報が同一であるサンプルがグループ化され、各グループのデプスリプレゼンテーション情報がＭＰ４ファイルに記述される。従って、同一のデプスリプレゼンテーション情報が冗長して記述されることを抑制し、デプスリプレゼンテーション情報を効率的に記述することができる。その結果、ＭＰ４ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
【０１７３】
また、第４の他の配置方法では、符号化方式に依存しない、udtaボックスにDEPIボックスが配置されるため、符号化方式ごとに拡張を行う必要はない。
【０１７４】
なお、図２９の例では、デプスリプレゼンテーション情報の構造を示す情報がscheme_uriとして記述されたが、図１５の場合と同様に、フィールドとして記述されるようにしてもよい。
【０１７５】
＜第２実施の形態＞
（VisualSampleGroupEntryの第１の構造例）
本開示を適用した情報処理システムの第２実施の形態の構成は、ＭＰ４ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットの構造そのものである点を除いて、図１の構成と同一である。
【０１７６】
即ち、第２実施の形態では、VisualSampleGroupEntryに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームのデプスリプレゼンテーション情報を含むSEI（Depth representation information SEI message）のNALユニットの構造そのものである。従って、第２実施の形態では、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているNALユニットをそのまま格納するVisualSampleGroupEntryが定義される。
【０１７７】
図３０は、このようなVisualSampleGroupEntryの構造例を示す図である。
【０１７８】
図３０のVisualSampleGroupEntryのgrouping_typeは、グループ化の基になったサンプル情報がNALユニットであることを示すnalgである。また、図３０のVisualSampleGroupEntryは、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているNALユニット（NAL_unit）を含む。
【０１７９】
第２実施の形態では、デプス画像のエレメンタリストリームのデプスリプレゼンテーション情報のSEIのNALユニットを含む図３０のVisualSampleGroupEntryが、sgpdボックスに記述される。
【０１８０】
また、第２実施の形態では、図３０のVisualSampleGroupEntryが記述されるsgpdボックスに対応する、grouping_typeがnalgであるsbgpボックスが定義される。
【０１８１】
（sbgpボックスの第１の構造例）
図３１は、grouping_typeがnalgであるsbgpボックスの構造例を示す図である。
【０１８２】
図３１の構造は、grouping_typeとしてnalgが記述される点、および、grouping_type_parameterが、空き領域（reserved）、NAL_unit_type、およびNAL_unit_type_informationに代わる点を除いて、図１４の構造と同一である。
【０１８３】
図３２に示すように、NAL_unit_typeは、grouping_type「nalg」がサンプル情報として示すNALユニットのタイプを表す情報であり、例えば、ISO/IEC 14496-10やISO/IEC 23008-2で規定されるNAL_unit_typeと同様に規定される。
【０１８４】
また、NAL_unit_type_informationは、grouping_type「nalg」がサンプル情報として示すNALユニットを、NAL_unit_typeが表すタイプのNALユニット内で識別する情報である。例えば、NALユニットのタイプがSEIのNALユニットのタイプである場合、NALユニットに格納可能なSEIのタイプは、複数存在する。従って、このような場合に、grouping_type「nalg」がサンプル情報として示すNALユニットに格納されるSEIのタイプを、NALユニットに格納可能なSEIのタイプから識別するために、NAL_unit_type_informationが記述される。
【０１８５】
以上のように、sbgpボックスにNAL_unit_typeとNAL_unit_type_informationが記述されることにより、再生装置１３は、サンプルのグループ化に用いられたサンプル情報としてのNALユニットのタイプを認識することができる。従って、サンプル情報のうちの任意のタイプのNALユニットに基づいて、サンプルをグループ化することができる。
【０１８６】
第２実施の形態では、テクスチャ画像とデプス画像の符号化方式がMVD方式である場合、NAL_unit_typeとしてSEIのNALユニットのタイプを表す６が記述される。そして、NAL_unit_type_informationとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである５０が記述される。
【０１８７】
また、テクスチャ画像とデプス画像の符号化方式がMV-HEVC方式である場合、NAL_unit_typeとしてPREFIX SEIのNALユニットのタイプを表す３９が記述される。そして、NAL_unit_type_informationとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである１７７が記述される。
【０１８８】
（情報処理システムの処理の説明）
第２実施の形態におけるファイル生成装置１１のファイル生成処理は、ＭＰ４ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットの構造そのものである点を除いて、図２０のファイル生成処理と同一である。また、第２実施の形態における再生装置１３の復号処理は、図２２の復号処理と同一である。従って、以下では、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第２実施の形態における再生装置１３のデプス情報生成処理について説明する。
【０１８９】
図３３は、このデプス情報生成処理を説明するフローチャートである。
【０１９０】
図３３のステップＳ７１において、再生装置１３の再生制御部６１は、ＭＰ４ファイルから、再生対象のサンプルを含むトラックの、grouping_typeがnalgであるsbgpボックスおよびsgpdボックスを抽出し、解析部６２に供給する。
【０１９１】
ステップＳ７２において、解析部６２は、sbgpボックスおよびsgpdボックスに基づいて、再生対象のサンプルのデプスリプレゼンテーション情報を含むSEIのNALユニットを認識する。具体的には、解析部６２は、図３１のsbgpボックスのNAL_unit_typeおよびNAL_unit_type_informationに基づいて、デプスリプレゼンテーション情報を含むSEIのNALユニットのsbgpボックスを選択する。解析部６２は、選択されたsbgpボックスのsample_countに基づいて、再生対象のサンプルのグループを認識する。そして、解析部６２は、そのグループのgroup_description_indexにより特定されるsgpdボックスに含まれる図３０のVisualGroupEntryからNALユニットを認識する。解析部６２は、認識されたデプスリプレゼンテーション情報のSEIのNALユニットをデプス情報生成部８１に供給する。
【０１９２】
ステップＳ７３において、デプス情報生成部８１は、解析部６２から供給されるデプスリプレゼンテーション情報を含むSEI（図１１または図１２）のNALユニットから、デプス画像の種類とデプス情報の最小値および最大値とを認識する。
【０１９３】
ステップＳ７４およびＳ７５の処理は、図２３のステップＳ５５およびＳ５６の処理と同様であるので、説明は省略する。
【０１９４】
なお、図３３のステップＳ７３の処理後、デプス情報生成部８１は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定するようにしてもよい。この場合、デプス画像の種類が、自分が処理可能な種類であると判定された場合、処理はステップＳ７４に進み、デプス画像の種類が、自分が処理可能な種類ではないと判定された場合、処理は終了する。
【０１９５】
また、第２実施の形態において、ＭＰ４ファイルに記述されるデプスリプレゼンテーション情報の構造は、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIの構造そのものであってもよい。この場合、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているSEIをそのまま格納するVisualSampleGroupEntryが定義され、そのVisualSampleGroupEntryが記述されるsgpdボックスに対応するsbgpボックスが定義される。
【０１９６】
（VisualSampleGroupEntryの第２の構造例）
図３４は、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているSEIをそのまま格納するVisualSampleGroupEntryの構造例を示す図である。
【０１９７】
図３４のVisualSampleGroupEntryのgrouping_typeは、グループ化の基になったサンプル情報がSEIであることを示すseimである。また、図３４のVisualSampleGroupEntryは、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているSEI（sei_message）を含む。
【０１９８】
第２実施の形態では、デプス画像のエレメンタリストリームのデプスリプレゼンテーション情報のSEIを含む図３４のVisualSampleGroupEntryが、sgpdボックスに記述される。
【０１９９】
（sbgpボックスの第２の構造例）
図３５は、図３４のVisualSampleGroupEntryが記述されるsgpdボックスに対応する、grouping_typeがseimであるsbgpボックスの詳細構造例を示す図である。
【０２００】
図３５の構造は、grouping_typeとしてseimが記述される点、および、grouping_type_parameterが、空き領域（reserved）およびpayloadTypeに代わる点を除いて、図１４の構造と同一である。
【０２０１】
payloadTypeは、grouping_type「seim」がサンプル情報として示すSEIのタイプを識別する情報であり、例えば、ISO/IEC 14496-10やISO/IEC 23008-2で規定されるpayloadTypeと同様に規定される。
【０２０２】
以上のように、sbgpボックスにpayloadTypeが記述されることにより、再生装置１３は、サンプルのグループ化に用いられたサンプル情報としてのSEIのタイプを認識することができる。従って、サンプル情報のうちの任意のタイプのSEIに基づいて、サンプルをグループ化することができる。
【０２０３】
第２実施の形態では、テクスチャ画像とデプス画像の符号化方式がMVD方式である場合、payloadTypeとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである５０が記述される。また、テクスチャ画像とデプス画像の符号化方式がMV-HEVC方式である場合、payloadTypeとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである１７７が記述される。
【０２０４】
ＭＰ４ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIの構造そのものである場合のファイル生成処理は、ＭＰ４ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIの構造そのものである点を除いて、図２０のファイル生成処理と同様である。また、復号処理は、図２２の復号処理と同一である。
【０２０５】
さらに、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときのデプス情報生成処理は、抽出されるsbgpボックスおよびsgpdボックスのgrouping_typeがseimである点、および、デプスリプレゼンテーション情報のSEIのNALユニットがデプスリプレゼンテーション情報のSEIに代わる点を除いて、図３３のデプス情報生成処理と同様である。
【０２０６】
以上のように、第２実施の形態においては、第１実施の形態と同様に、ＭＰ４ファイルにおいて、デプスリプレゼンテーション情報がエレメンタリストリーム外に記述されるので、再生装置１３の処理が容易になる。
【０２０７】
また、第２実施の形態においては、第１実施の形態と同様に、デプスリプレゼンテーション情報が同一であるサンプルがグループ化され、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報のみがＭＰ４ファイルに記述される。従って、ＭＰ４ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
【０２０８】
＜第３実施の形態＞
（moovボックスとmdatボックスの構造例）
本開示を適用した情報処理システムの第３実施の形態の構成は、ＭＰ４ファイルにおいて、デプス画像のエレメンタリストリームの各サンプルのデプスリプレゼンテーション情報が、デプス画像のエレメンタリストリームのトラックとは別のトラックのサンプルに格納される点を除いて、図１の情報処理システム１０の構成と同一である。
【０２０９】
即ち、第１実施の形態では、デプス画像のエレメンタリストリームとデプスリプレゼンテーション情報のトラックは同一であった。具体的には、デプス画像のエレメンタリストリームのトラックのサンプル情報としてデプスリプレゼンテーション情報が記述され、サンプルとして、デプス画像のエレメンタリストリームが配置された。これに対して、第３実施の形態では、デプス画像のエレメンタリストリームとデプスリプレゼンテーション情報のトラックは異なる。
【０２１０】
図３６は、第３実施の形態におけるＭＰ４ファイルのmoovボックスとmdatボックスの構造例を示す図である。
【０２１１】
なお、図３６では、デプス画像のエレメンタリストリームとデプスリプレゼンテーション情報のトラックに関する構造についてのみ図示してある。このことは、後述する図４５においても同様である。
【０２１２】
図３６に示すように、moovボックスには、デプス画像のエレメンタリストリームのトラック（Depth Track）のtrakボックスと、デプスリプレゼンテーション情報のトラック（Depth Metadata Track）のtrakボックスが配置される。
【０２１３】
デプスリプレゼンテーション情報のトラックのtrakボックスのtrefボックス（Track Reference Box）には、このトラックが参照するトラックを特定するトラックＩＤとして、デプス画像のエレメンタリストリームのトラックに付与されたトラックＩＤが記述される。また、stsd（Sample Description Box）ボックスには、デプスリプレゼンテーション情報のトラックの全てのサンプルのDepthRepresentasionSampleEntryのテーブルが記述される。
【０２１４】
mdatボックスには、デプス画像のエレメンタリストリームのトラックのエレメンタリストリームとして、デプス画像のエレメンタリストリーム（Depth Stream）がサンプル単位で配置される。また、mdatボックスには、デプスリプレゼンテーション情報がサンプル化されて、デプスリプレゼンテーション情報のトラックのTimed Metadataとしてサンプル単位で配置される。なお、デプスリプレゼンテーション情報のトラックのサンプルに対応する時間は、デプス画像のエレメントリストリームのトラックの１以上のサンプルに対応する時間である。即ち、デプス画像のエレメントリストリームのトラックのデプスリプレゼンテーション情報が同一である連続する１以上のサンプルがグループ化される。そして、各グループを構成する１以上のサンプルに対応する時間の、デプスリプレゼンテーション情報のトラックのサンプルとして、各グループに対応するデプスリプレゼンテーション情報が配置される。
【０２１５】
（trefボックスの構造例）
図３７は、trefボックスの構造例を示す図である。
【０２１６】
図３７に示すように、trefボックスには、trackReferenceTypeBoxが配置される。trackReferenceTypeBoxでは、参照するトラックとの関係のタイプを示すreference_typeが指定され、参照するトラックに付与されたトラックＩＤ(track_IDs)が記述される。
【０２１７】
デプスリプレゼンテーション情報は、デプス画像のエレメンタリストリームのメタデータである。従って、デプスリプレゼンテーション情報のトラックのtrefボックスでは、reference_typeとして、参照するトラックとの関係が、参照するトラックのメタデータであることを示す「cdsc」が指定される。また、デプスリプレゼンテーション情報のトラックのtrefボックスには、デプス画像のエレメンタリストリームのトラックに付与されたトラックＩＤが記述される。
【０２１８】
（DepthRepresentasionSampleEntryの構造例）
図３８は、図３６のstsdボックスに記述されるDepthRepresentasionSampleEntryの構造例を示す図である。
【０２１９】
図３８に示すように、DepthRepresentasionSampleEntryには、DepthRepresentationConfigurationBoxが配置される。
【０２２０】
（DepthRepresentationConfigurationBoxの第１の構造例）
図３９は、図３８のDepthRepresentationConfigurationBoxの第１の構造例を示す図である。
【０２２１】
図３９のDepthRepresentationConfigurationBoxには、図１３のdepth_representation_typeとsample_structure_type_uriが記述される。sample_structure_type_uriは、サンプルに格納されるデプスリプレゼンテーション情報の構造を示す値であり、例えば、図１０のscheme_uriの値と同様に設定される。
【０２２２】
（DepthRepresentationConfigurationBoxの第２の構造例）
図４０は、図３８のDepthRepresentationConfigurationBoxの第２の構造例を示す図である。
【０２２３】
図４０のDepthRepresentationConfigurationBoxの構造は、sample_structure_type_uriの代わりにsample_structure_typeが記述される点が、図３９の構造と異なる。
【０２２４】
sample_structure_typeは、デプスリプレゼンテーション情報の構造を示す１６ビットの固定長の情報であり、例えば、図１７のdepth_scheme_typeと同様に設定される。
【０２２５】
（情報処理システムの処理の説明）
第３実施の形態におけるファイル生成装置１１のファイル生成処理は、ＭＰ４ファイルにおいて、デプス画像のエレメンタリストリームの各サンプルのデプスリプレゼンテーション情報が、デプス画像のエレメンタリストリームのトラックとは別のトラックのサンプルに格納される点を除いて、図２０のファイル生成処理と同一である。また、第３実施の形態における再生装置１３の復号処理は、図２２の復号処理と同一である。従って、以下では、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第３実施の形態における再生装置１３のデプス情報生成処理について説明する。
【０２２６】
図４１は、このデプス情報生成処理を説明するフローチャートである。
【０２２７】
図４１のステップＳ９１において、再生装置１３の再生制御部６１は、ＭＰ４ファイルから、再生対象のサンプルに対応するDepthRepresentasionSampleEntryを抽出する。具体的には、再生制御部６１は、ＭＰ４ファイル内のデプス画像のエレメンタリストリームのトラックのトラックＩＤを記述し、reference_typeとして「cdsc」を指定するtrefボックスを含むtrakボックスのstsdボックスから、再生対象のサンプルに対応するデプスリプレゼンテーション情報のサンプルのDepthRepresentasionSampleEntryを抽出する。再生制御部６１は、抽出されたDepthRepresentasionSampleEntryを解析部６２に供給する。
【０２２８】
ステップＳ９２において、解析部６２は、再生対象のサンプルに対応するDepthRepresentasionSampleEntryから、デプスリプレゼンテーション情報の構造を示す情報を認識する。
【０２２９】
具体的には、DepthRepresentasionSampleEntryに含まれるDepthRepresentationConfigurationBoxの構造が図３９の構造である場合、解析部６２は、sample_structure_type_uriをデプスリプレゼンテーション情報の構造を示す情報として認識する。また、DepthRepresentasionSampleEntryに含まれるDepthRepresentationConfigurationBoxの構造が図４０の構造である場合、解析部６２は、sample_structure_typeをデプスリプレゼンテーション情報の構造を示す情報として認識する。解析部６２は、認識されたデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報をデプス情報生成部８１に供給する。
【０２３０】
ステップＳ９３において、デプス情報生成部８１は、解析部６２から供給される情報が示すデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であるかどうかを判定する。ステップＳ９３でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であると判定された場合、処理はステップＳ９４に進む。
【０２３１】
ステップＳ９４において、再生制御部６１は、ＭＰ４ファイルから、再生対象のサンプルに対応するデプスリプレゼンテーション情報のサンプルを抽出し、そのデプスリプレゼンテーション情報を、解析部６２を介してデプス情報生成部８１に供給する。
【０２３２】
ステップＳ９５乃至Ｓ９７の処理は、図２３のステップＳ５４乃至Ｓ５６の処理と同様であるので、説明は省略する。
【０２３３】
一方、ステップＳ９３でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造ではないと判定された場合、処理は終了する。
【０２３４】
なお、図４１のステップＳ９５の処理後、デプス情報生成部８１は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定するようにしてもよい。この場合、デプス画像の種類が、自分が処理可能な種類であると判定された場合、処理はステップＳ９６に進み、デプス画像の種類が、自分が処理可能な種類ではないと判定された場合、処理は終了する。
【０２３５】
また、第３実施の形態において、第２実施の形態と同様に、デプスリプレゼンテーション情報の構造は、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットまたはSEIの構造そのものであってもよい。
【０２３６】
以上のように、第３実施の形態においては、第１実施の形態と同様に、ＭＰ４ファイルにおいて、デプスリプレゼンテーション情報がエレメンタリストリーム外に記述されるので、再生装置１３の処理が容易になる。また、第３実施の形態においては、デプス画像のエレメンタリストリームのトラックのデプスリプレゼンテーション情報が同一である連続するサンプルがグループ化され、各グループのデプスリプレゼンテーション情報がＭＰ４ファイルに記述される。従って、ＭＰ４ファイルに同一のデプスリプレゼンテーション情報が冗長して記述されることを抑制し、デプスリプレゼンテーション情報を効率的に記述することができる。その結果、ＭＰ４ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
【０２３７】
＜第４実施の形態＞
（moovボックスとmdatボックスの構造例）
本開示を適用した情報処理システムの第４実施の形態の構成は、depth_representation_typeが、stsdボックスにも配置される点を除いて、図１の情報処理システム１０の構成と同一である。
【０２３８】
図４２は、第４実施の形態におけるＭＰ４ファイルのmoovボックスとmdatボックスの構造例を示す図である。
【０２３９】
なお、図４２では、デプス画像のエレメンタリストリームのトラックに関する構造についてのみ図示してある。
【０２４０】
図４２に示すように、moovボックスには、デプス画像のエレメンタリストリームのトラック(Depth Track)のtrakボックスが配置される。このtrakボックスは、stsdボックスにdepth_representation_typeが記述される点を除いて第１実施の形態と同様であり、このtrakボックスには、stsdボックス、sbgpボックス、sgpdボックス等が配置される。
【０２４１】
mdatボックスには、デプス画像のエレメンタリストリームのトラックのエレメンタリストリームとして、デプス画像のエレメンタリストリーム（Depth Stream）がサンプル単位で配置される。
【０２４２】
（stsdボックスへのdepth_representation_typeの記述方法）
図４３は、stsdボックスへのdepth_representation_typeの記述方法の例を示す図である。
【０２４３】
図４３の例では、デプス画像がAVC方式で符号化され、ＭＰ４ファイルのボックスの階層構造が図２４の階層構造になる。
【０２４４】
この場合、第１の記述方法では、stsdボックスの下層のavcCボックスの構造が、図２５の構造と同一になる。また、avcCボックスに配置されるDepthRepresentationInformationBoxには、図４３に示すように、図１３のdepth_representation_typeが記述される。
【０２４５】
なお、図示は省略するが、デプス画像の符号化方式がHEVC方式、MVD方式、MV-HEVC方式等である場合、図４３の場合と同様に、各符号化方式のConfig情報が記述されるボックスに図１３のdepth_representation_typeが記述される。
【０２４６】
以上のように、depth_representation_typeがConfig情報と同一のボックスに記述されることにより、再生装置１３は、Config情報を処理するタイミングでdepth_representation_typeを用いてデプス情報の生成の可否を判定することができる。
【０２４７】
また、depth_representation_typeは、stsdボックスの下層のVisualSampleEntryに記述されるようにしてもよい。この場合、VisualSampleEntryの構造は、図２８の構造と同一であり、VisualSampleEntry に配置されるDepthRepresentationInformationBoxの構造は、図４３の構造と同一である。depth_representation_typeをVisualSampleEntryに記述する場合、depth_representation_typeを記述可能にするためにVisualSampleEntryのみを拡張すれば済み、Config情報と同一のボックスに記述する場合のように符号化方式ごとに拡張を行う必要がない。
【０２４８】
さらに、depth_representation_typeは、stsdボックスの下層のポスト処理の内容を示すschiボックスに記述されるようにしてもよい。depth_representation_typeは、復号処理の後のポスト処理としてのデプス情報生成処理に用いられる情報であるため、schiボックスに記述することにより、利便性を向上させることができる。また、depth_representation_typeをVisualSampleEntryに記述する場合と同様に、depth_representation_typeを記述可能にするためにschiボックスのみを拡張すれば済む。
【０２４９】
（情報処理システムの処理の説明）
第４実施の形態におけるファイル生成装置１１のファイル生成処理は、ＭＰ４ファイルにおいて、depth_representation_typeがstsdボックスにも配置される点を除いて、図２０のファイル生成処理と同様である。また、第４実施の形態における再生装置１３の復号処理は、図２２の復号処理と同一である。従って、以下では、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第４実施の形態における再生装置１３のデプス情報生成処理について説明する。
【０２５０】
図４４は、このデプス情報生成処理を説明するフローチャートである。
【０２５１】
図４４のステップＳ１１１において、再生装置１３の再生制御部６１は、ＭＰ４ファイルから、再生対象のサンプルを含むトラックのstsdボックスを抽出し、解析部６２に供給する。
【０２５２】
ステップＳ１１２において、解析部６２は、stsdボックスのdepth_representation_typeからデプス画像の種類を認識し、デプス情報生成部８１に供給する。ステップＳ１１３において、デプス情報生成部８１は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定する。
【０２５３】
ステップＳ１１３で、デプス画像の種類が、自分が処理可能な種類であると判定された場合、デプス情報生成部８１は、デプス情報の生成が可能であると判断し、処理はステップＳ１１４に進む。ステップＳ１１４乃至Ｓ１１９の処理は、図２３のステップＳ５１乃至Ｓ５６の処理と同様であるので、説明は省略する。
【０２５４】
一方、ステップＳ１１３でデプス画像の種類が、自分が処理可能な種類ではないと判定された場合、デプス情報生成部８１は、デプス情報の生成が不可能であると判断し、処理は終了する。
【０２５５】
以上のように、第４実施の形態では、デプスリプレゼンテーション情報のうちの、サンプルごとに変化する可能性が少なく、デプス情報の生成の可否の判別に用いられるdepth_representation_typeがstsdボックスに配置される。従って、再生装置１３は、stsdボックスのみを用いて、デプス情報の生成の可否を判別することができる。
【０２５６】
即ち、再生装置１３は、デプス情報の生成の可否を判別するために、sbgpボックスから再生対象のサンプルのグループを認識し、sgpdボックスから、そのグループのdepth_representation_typeを認識するという複雑な処理を行う必要がない。その結果、再生装置１３は、デプス情報生成処理を効率的に行うことができる。
【０２５７】
また、デプスリプレゼンテーション情報のうちの、サンプルごとに変化する可能性の高いデプス情報の最小値と最大値を表す情報については、その情報が同一であるサンプルがグループ化され、各グループのサンプルにおいて共通の情報のうちの互いに異なる情報のみがＭＰ４ファイルに記述される。従って、ＭＰ４ファイルに同一のデプス情報の最小値と最大値を表す情報が冗長して記述されることを防止し、デプス情報の最小値と最大値を表す情報を効率的に記述することができる。その結果、ＭＰ４ファイル内のデプス情報の最小値と最大値を表す情報全体のサイズを削減することができる。
【０２５８】
さらに、第４実施の形態においては、第１実施の形態と同様に、ＭＰ４ファイルにおいて、デプスリプレゼンテーション情報がエレメンタリストリーム外に記述されるので、再生装置１３の処理が容易になる。
【０２５９】
なお、第４実施の形態において、第２実施の形態と同様に、デプスリプレゼンテーション情報の構造は、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットまたはSEIの構造そのものであってもよい。
【０２６０】
また、デプスリプレゼンテーション情報の構造を示す情報も、depth_representation_typeとともに、stsdボックスに記述されるようにしてもよい。さらに、sgpdボックスには、stsdボックスに記述されるdepth_representation_typeやデプスリプレゼンテーション情報の構造を示す情報が配置されないようにしてもよい。
【０２６１】
＜第５実施の形態＞
（moovボックスとmdatボックスの構造例）
本開示を適用した情報処理システムの第５実施の形態の構成は、第４実施の形態と同様に、depth_representation_typeが、デプス画像のエレメンタリストリームのトラックのstsdボックスにも配置される点を除いて、第３実施の形態の構成と同一である。
【０２６２】
図４５は、第５実施の形態におけるＭＰ４ファイルのmoovボックスとmdatボックスの構造例を示す図である。
【０２６３】
図４５のmoovボックスとmdatボックスの構造は、moovボックス内のデプス画像のエレメンタリストリームのトラック（Depth Track）のtrakボックスに配置されるstsdボックスに、depth_representation_typeが記述される点が、図３６の構造と異なる。stsdボックスへのdepth_representation_typeの記述方法は、第４実施の形態と同様である。
【０２６４】
第５実施の形態におけるファイル生成装置１１のファイル生成処理は、depth_representation_typeが、デプス画像のエレメンタリストリームのトラックのstsdボックスにも配置される点を除いて、第３実施の形態におけるファイル生成処理と同一である。また、第５実施の形態における再生装置１３の復号処理は、図２２の復号処理と同一である。
【０２６５】
さらに、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第５実施の形態における再生装置１３のデプス情報生成処理は、ステップＳ９１の処理の前に、図４４のステップＳ１１１乃至Ｓ１１３の処理が行われる点を除いて、図４１のデプス情報生成処理と同一である。
【０２６６】
以上のように、第５実施の形態は、第３実施の形態と第４実施の形態の組み合わせであるため、第３実施の形態と第４実施の形態の両方の効果を有する。
【０２６７】
＜第６実施の形態＞
（情報処理システムの第６実施の形態の構成例）
図４６は、本開示を適用した第６実施の形態における情報処理システムの概要を説明する図である。
【０２６８】
図４６の情報処理システム１００は、ファイル生成装置１０１に接続するWebサーバ１０２と動画再生端末１０４とが、インターネット１０３を介して接続されることにより構成される。
【０２６９】
情報処理システム１００では、MPEG−DASHで、Webサーバ１０２が、ファイル生成装置１０１により生成された動画コンテンツのファイルを、動画再生端末１０４に配信する。
【０２７０】
具体的には、ファイル生成装置１０１(情報処理装置)の構成は、複数の符号化速度で符号化が行われる点、符号化速度ごとにセグメント単位でＭＰ４ファイルが生成される点、ＭＰ４ファイル等を管理するＭＰＤ（Media Presentation Description）ファイルが生成される点、およびＭＰ４ファイルとＭＰＤファイルが記録メディア１２ではなくWebサーバ１０２に記録される点を除いて、第１乃至第５実施の形態におけるファイル生成装置１１の構成と同様である。セグメントとは、数秒から10秒程度の時間単位である。
【０２７１】
なお、図４６の例では、複数の符号化速度で符号化が行われるようにするが、複数の符号化速度以外の条件（例えば、画像のサイズ等）で符号化が行われるようにしてもよい。また、異なる条件の数は、２以上であってもよい。ファイル生成装置１０１は、ＭＰ４ファイルとＭＰＤファイルをWebサーバ１０２にアップロードする。
【０２７２】
Webサーバ１０２は、ファイル生成装置１０１からアップロードされたＭＰ４ファイルとＭＰＤファイルを格納する。図４６の例では、符号化速度の種類が３種類あり、３つの符号化速度それぞれについて、各セグメントのＭＰ４ファイルが格納されている。Webサーバ１０２は、動画再生端末１０４からの要求に応じて、格納しているＭＰ４ファイルやＭＰＤファイルを動画再生端末１０４に送信する。
【０２７３】
動画再生端末１０４（情報処理装置）は、ストリーミングデータの制御用ソフトウェア（以下、制御用ソフトウェアという）１２１、動画再生ソフトウェア１２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウェアという)１２３などを実行する。
【０２７４】
制御用ソフトウェア１２１は、Webサーバ１０２からストリーミングするデータを制御するソフトウェアである。具体的には、制御用ソフトウェア１２１は、動画再生端末１０４にWebサーバ１０２からＭＰＤファイルを取得させる。
【０２７５】
また、制御用ソフトウェア１２１は、ＭＰＤファイルと、動画再生ソフトウェア１２２により指定される再生対象の時刻等を表す再生対象情報とに基づいて、再生対象のＭＰ４ファイルのサンプルやボックスの送信要求を、アクセス用ソフトウェア１２３に指令する。
【０２７６】
動画再生ソフトウェア１２２は、Webサーバ１０２から取得されたサンプルを再生するソフトウェアである。動画再生ソフトウェアは、記録メディア１２ではなく、Webサーバ１０２に記録されているサンプルやボックスを抽出する点を除いて、第１乃至第５実施の形態における再生装置１３と同様の処理を行う。
【０２７７】
具体的には、動画再生ソフトウェア１２２は、再生対象情報を制御用ソフトウェア１２１に指定することにより動画再生端末１０４を制御し、再生制御部６１と同様に、ＭＰ４ファイルから、再生対象のサンプル、sbgpボックス、およびsgpdボックスを抽出する。また、動画再生ソフトウェア１２２は、解析部６２、復号部６３、および表示生成部６４と同様に、再生対象のサンプルを復号し、復号の結果得られるデプス画像をデプス情報に変換して、３Ｄ画像を生成する。
【０２７８】
アクセス用ソフトウェア１２３は、HTTPを用いたインターネット１０３を介したWebサーバ１０２との通信を制御するソフトウェアである。具体的には、アクセス用ソフトウェア１２３は、制御用ソフトウェア１２１の指令に応じて、再生対象のＭＰ４ファイルのサンプルやボックスの送信要求を、動画再生端末１０４に送信させる。また、アクセス用ソフトウェア１２３は、その送信要求に応じて、Webサーバ１０２から送信されてくるサンプルやボックスの受信を動画再生端末１０４に開始させる。
【０２７９】
＜第７実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２８０】
図４７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２８１】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２８２】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２８３】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２８４】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２８５】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２８６】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０２８７】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２８８】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２８９】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２９０】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９１】
なお、本開示は、以下のような構成もとることができる。
【０２９２】
（１）
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルを生成するファイル生成部
を備える情報処理装置。
（２）
前記ファイル生成部は、各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとを前記ファイルに配置する
ように構成された
前記（１）に記載の情報処理装置。
（３）
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を、前記グループ情報ボックスのschem_uriとして記述する
ように構成された
前記（２）に記載の情報処理装置。
（４）
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を、前記グループ情報ボックスのフィールドとして記述する
ように構成された
前記（２）に記載の情報処理装置。
（５）
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を前記グループボックスに記述する
ように構成された
前記（２）に記載の情報処理装置。
（６）
前記ファイル生成部は、各グループのサンプルを特定する情報と前記デプスリプレゼンテーション情報を記述するボックスを前記ファイルに配置する
ように構成された
前記（１）に記載の情報処理装置。
（７）
前記ファイル生成部は、各グループの前記デプスリプレゼンテーション情報をサンプル化し、前記符号化ストリームのサンプルとは異なるトラックのサンプルとして前記ファイルに配置する
ように構成された
前記（１）に記載の情報処理装置。
（８）
前記ファイル生成部は、前記符号化ストリームに対応するトラックを、前記デプスリプレゼンテーション情報に対応するトラックが参照するトラックとして特定する情報を前記ファイルに記述する
ように構成された
前記（７）に記載の情報処理装置。
（９）
前記デプスリプレゼンテーション情報は、前記デプス画像の種類を示す情報を含む
ように構成された
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記デプスリプレゼンテーション情報は、前記デプス情報の最小値と最大値を含む
ように構成された
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１１）
前記ファイル生成部は、前記デプス画像の種類を示す情報を前記ファイルに記述する
ように構成された
前記（１０）に記載の情報処理装置。
（１２）
前記デプスリプレゼンテーションの構造は、前記符号化ストリームの前記デプスリプレゼンテーション情報を含むSEI（Supplemental Enhancement Information）または前記SEIのNAL(Network Abstraction Layer)ユニットの構造である
ように構成された
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
情報処理装置が、
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルを生成するファイル生成ステップ
を含む情報処理方法。
（１４）
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成部
を備える情報処理装置。
（１５）
前記ファイルには、各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとが配置される
ように構成された
前記（１４）に記載の情報処理装置。
（１６）
前記ファイルには、前記デプスリプレゼンテーション情報の構造を示す情報が、前記グループ情報ボックスのschem_uriとして記述される
ように構成された
前記（１５）に記載の情報処理装置。
（１７）
前記ファイルには、前記デプスリプレゼンテーション情報の構造を示す情報が、前記グループ情報ボックスのフィールドとして記述される
ように構成された
前記（１５）に記載の情報処理装置。
（１８）
前記ファイルには、前記デプスリプレゼンテーション情報の構造を示す情報が前記グループボックスに記述される
ように構成された
前記（１５）に記載の情報処理装置。
（１９）
前記ファイルには、各グループのサンプルを特定する情報と前記デプスリプレゼンテーション情報を記述するボックスが前記ファイルに配置される
ように構成された
前記（１４）に記載の情報処理装置。
（２０）
前記ファイルには、各グループの前記デプスリプレゼンテーション情報がサンプル化されて、前記符号化ストリームのサンプルとは異なるトラックのサンプルとして配置される
ように構成された
前記（１４）に記載の情報処理装置。
（２１）
前記ファイルには、前記符号化ストリームに対応するトラックを、前記デプスリプレゼンテーション情報に対応するトラックが参照するトラックとして特定する情報が記述される
ように構成された
前記（２０）に記載の情報処理装置。
（２２）
前記デプスリプレゼンテーション情報は、前記デプス画像の種類を示す情報を含む
ように構成された
前記（１４）乃至（２１）のいずれかに記載の情報処理装置。
（２３）
前記デプスリプレゼンテーション情報は、前記デプス情報の最小値と最大値を含む
ように構成された
前記（１４）乃至（２１）のいずれかに記載の情報処理装置。
（２４）
前記ファイルは、前記デプス画像の種類を示す情報を含む
ように構成された
前記（２３）に記載の情報処理装置。
（２５）
前記デプスリプレゼンテーションの構造は、前記符号化ストリームの前記デプスリプレゼンテーション情報を含むSEI（Supplemental Enhancement Information）または前記SEIのNAL(Network Abstraction Layer)ユニットの構造である
ように構成された
前記（１４）乃至（２４）のいずれかに記載の情報処理装置。
（２６）
情報処理装置が、
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成ステップ
を含む情報処理方法。
【符号の説明】
【０２９３】
１１  ファイル生成装置,  １３  再生装置,  ３４  ファイル生成部,  ８１  デプス情報生成部,  １０１  ファイル生成装置,  １０４  動画再生端末,  １２２  動画再生ソフトウェア
【図１】
2017122543.tif 000003
【図２】
2017122543.tif 000004
【図３】
2017122543.tif 000005
【図４】
2017122543.tif 000006
【図５】
2017122543.tif 000007
【図６】
2017122543.tif 000008
【図７】
2017122543.tif 000009
【図８】
2017122543.tif 000010
【図９】
2017122543.tif 000011
【図１０】
2017122543.tif 000012
【図１１】
2017122543.tif 000013
【図１２】
2017122543.tif 000014
【図１３】
2017122543.tif 000015
【図１４】
2017122543.tif 000016
【図１５】
2017122543.tif 000017
【図１６】
2017122543.tif 000018
【図１７】
2017122543.tif 000019
【図１８】
2017122543.tif 000020
【図１９】
2017122543.tif 000021
【図２０】
2017122543.tif 000022
【図２１】
2017122543.tif 000023
【図２２】
2017122543.tif 000024
【図２３】
2017122543.tif 000025
【図２４】
2017122543.tif 000026
【図２５】
2017122543.tif 000027
【図２６】
2017122543.tif 000028
【図２７】
2017122543.tif 000029
【図２８】
2017122543.tif 000030
【図２９】
2017122543.tif 000031
【図３０】
2017122543.tif 000032
【図３１】
2017122543.tif 000033
【図３２】
2017122543.tif 000034
【図３３】
2017122543.tif 000035
【図３４】
2017122543.tif 000036
【図３５】
2017122543.tif 000037
【図３６】
2017122543.tif 000038
【図３７】
2017122543.tif 000039
【図３８】
2017122543.tif 000040
【図３９】
2017122543.tif 000041
【図４０】
2017122543.tif 000042
【図４１】
2017122543.tif 000043
【図４２】
2017122543.tif 000044
【図４３】
2017122543.tif 000045
【図４４】
2017122543.tif 000046
【図４５】
2017122543.tif 000047
【図４６】
2017122543.tif 000048
【図４７】
2017122543.tif 000049
【国際調査報告】
2017122543.tif 000050
2017122543.tif 000051
2017122543.tif 000052
2017122543.tif 000053