(57)【要約】  本開示は、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理することができるようにするファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関する。MPDファイル生成部は、少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックに分割して配置するクオリティファイルを管理する管理ファイルであって、各トラックとデプス関連画像を特定するassociationIdとの対応関係を記述したMPDファイルを生成する。本開示は、例えば、MPEG-DASHに準ずる方式で動画コンテンツのセグメントファイルとMPDファイルを配信する情報処理システムのファイル生成装置等に適用することができる。
2017145757.tif 000002
【特許請求の範囲】
【請求項１】
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルを生成するファイル生成部
を備えるファイル生成装置。
【請求項２】
前記ファイル生成部は、前記複数のデプス関連画像に対応するテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせを前記管理ファイルに記述する
ように構成された
請求項１に記載のファイル生成装置。
【請求項３】
前記デプス関連画像は、前記デプス画像に対応するオクルージョン領域のテクスチャ画像であるオクルージョン画像を含む
ように構成された
請求項１に記載のファイル生成装置。
【請求項４】
前記デプス関連画像の前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報であり、
前記管理ファイルには、各トラックと、前記デプス関連画像特定情報および前記テクスチャ画像を特定するテクスチャ画像特定情報との対応関係が記述される
ように構成された
請求項１に記載のファイル生成装置。
【請求項５】
前記ファイルには、前記デプス関連画像に対応するテクスチャ画像の品質情報が、前記デプス関連画像の前記品質情報のトラックとは異なるトラックに配置され、
前記管理ファイルには、前記テクスチャ画像の品質情報のトラックと、前記テクスチャ画像を特定するテクスチャ画像特定情報との対応関係が記述される
ように構成された
請求項４に記載のファイル生成装置。
【請求項６】
前記ファイルには、前記サブサンプルとレベルを対応付ける情報が記述され、
前記管理ファイルには、前記レベルと前記デプス関連画像特定情報との対応関係が記述される
ように構成された
請求項１に記載のファイル生成装置。
【請求項７】
ファイル生成装置が、
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルを生成するファイル生成ステップ
を含むファイル生成方法。
【請求項８】
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得部
を備える再生装置。
【請求項９】
前記複数のデプス関連画像のビットレートは異なり、
前記管理ファイルには、前記複数のデプス関連画像のビットレートが記述され、
前記取得部は、前記複数のデプス関連画像のビットレートと前記対応関係に基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
請求項８に記載の再生装置。
【請求項１０】
前記ファイルには、前記複数のデプス関連画像に対応するテクスチャ画像が配置され、
前記管理ファイルには、前記テクスチャ画像のビットレートが記述され、
前記取得部は、前記テクスチャ画像のビットレートにも基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
請求項９に記載の再生装置。
【請求項１１】
前記ファイルには、ビットレートが異なる複数の前記テクスチャ画像が配置され、
前記管理ファイルには、前記複数のテクスチャ画像のビットレートが記述される
ように構成された
請求項１０に記載の再生装置。
【請求項１２】
前記取得部は、ビットレートが異なる複数の前記テクスチャ画像のビットレートに基づいて、前記複数のテクスチャ画像から再生対象のテクスチャ画像を選択する
ように構成された
請求項８に記載の再生装置。
【請求項１３】
前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報である
ように構成された
請求項８に記載の再生装置。
【請求項１４】
前記管理ファイルには、前記複数のデプス関連画像に対応するテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせが記述され、
前記取得部は、前記組み合わせと前記対応関係に基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
請求項８に記載の再生装置。
【請求項１５】
前記取得部により取得された前記品質情報に基づいて、前記複数のデプス関連画像のうちの所定のデプス関連画像を再生する再生部
をさらに備える
請求項８に記載の再生装置。
【請求項１６】
再生装置が、
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得ステップ
を含む再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関し、特に、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理することができるようにしたファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関する。
【背景技術】
【０００２】
立体視を実現する手法としてテクスチャ画像とデプス画像を用いる手法がある。デプス画像とは、各画素の被写体の奥行き方向の位置を表す値を画素値とする画像である。【０００３】
このような手法では、自然な立体視を実現するために、追加情報としてオクルージョン画像を用いる場合がある。オクルージョン画像とは、テクスチャ画像には存在しない被写体、即ちテクスチャ画像の視点からは見えない被写体（例えば、前方の被写体によって隠れている被写体）の領域であるオクルージョン領域のテクスチャ画像である。テクスチャ画像とデプス画像だけでなく、オクルージョン画像も用いることにより、異なる視点から覗き込み等を行った場合の立体視を実現する３Ｄ画像を生成することができる。【０００４】
テクスチャ画像とデプス画像は、例えば、既存のMPEG-DASH(Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP standard)方式で伝送することができる(例えば、非特許文献１参照)。【０００５】
この場合、DASHクライアントは、伝送路や自身のバッファ量を考慮して、DASHサーバに記憶されている複数のビットレートのデプス画像から、許容可能な最大のビットレートのデプス画像を選択して取得する。【０００６】
しかしながら、デプス画像のビットレートによる３Ｄ画像の画質への影響が小さい場合や、デプス画像の画素値の変化量が小さい場合などでは、デプス画像のビットレートによって３Ｄ画像の画質があまり変化しない。従って、この場合、DASHクライアントが、許容可能な最大のビットレートのデプス画像を選択して取得すると、伝送路やバッファが無駄になる。【０００７】
一方、ISO/IEC 23001-10において、テクスチャ画像の１以上の種類の品質を表す品質情報をISOベースメディアファイルフォーマットのＭＰ４ファイルに格納することが提案されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ISO/IEC 23009-1 Dynamic adaptive streaming over HTTP(DASH) Part1:Media presentation description and segment formats,Apr.2012
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上により、少なくともデプス画像を含むデプス関連画像についても、テクスチャ画像と同様に品質情報をファイルに格納させ、DASHクライアントが、その品質情報を用いて適切なビットレートのデプス関連画像を取得することが望まれている。しかしながら、デプス関連画像の品質情報を効率的に格納したファイルを管理することは考えられていない。【００１０】
本開示は、このような状況に鑑みてなされたものであり、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理することができるようにするものである。
【課題を解決するための手段】
【００１１】
本開示の第１の側面のファイル生成装置は、少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルを生成するファイル生成部を備えるファイル生成装置である。【００１２】
本開示の第１の側面のファイル生成方法は、本開示の第１の側面のファイル生成装置に対応する。【００１３】
本開示の第１の側面においては、少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルが生成される。【００１４】
本開示の第２の側面の再生装置は、少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得部を備える再生装置である。【００１５】
本開示の第２の側面の再生方法は、本開示の第２の側面の再生装置に対応する。【００１６】
本開示の第２の側面においては、少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報が取得される。【００１７】
なお、本開示の第１の側面のファイル生成装置および第２の側面の再生装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１８】
また、本開示の第１の側面のファイル生成装置および第２の側面の再生装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本開示の第１の側面によれば、管理ファイルを生成することができる。また、本開示の第１の側面によれば、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理することができる。【００２０】
本開示の第２の側面によれば、再生を行うことができる。また、本開示の第２の側面によれば、少なくともデプス画像を含むデプス関連画像の品質情報を効率的に格納したファイルを管理する管理ファイルに基づいて再生を行うことができる。【００２１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２２】
【図１】本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。
【図２】オクルージョン画像を説明する図である。
【図３】MPDファイルの階層構造を説明する図である。
【図４】図１のファイル生成装置の構成例を示すブロック図である。
【図５】第１実施の形態におけるセグメントファイルの例を示す図である。
【図６】第１実施の形態におけるQualityMetricsSampleEntryの記述例を示す図である。
【図７】図６のQualityMetricsSampleEntryの記述内容を説明する図である。
【図８】metric_codeの例を示す図である。
【図９】第１実施の形態におけるMPDファイルのリプレゼンテーション要素の例を示す図である。
【図１０】第１実施の形態におけるMPDファイルの記述例を示す図である。
【図１１】第１実施の形態におけるlevaボックスを説明する図である。
【図１２】ファイル生成処理を説明するフローチャートである。
【図１３】ストリーミング再生部の構成例を示すブロック図である。
【図１４】第１実施の形態における再生処理の第１の例を説明するフローチャートである。
【図１５】第１実施の形態における再生処理の第２の例を説明するフローチャートである。
【図１６】本開示を適用した情報処理システムの第２実施の形態におけるセグメントファイルの例を示す図である。
【図１７】本開示を適用した情報処理システムの第３実施の形態におけるセグメントファイルの例を示す図である。
【図１８】第３実施の形態におけるMPDファイルの記述例を示す図である。
【図１９】第３実施の形態における再生処理の第１の例を説明するフローチャートである。
【図２０】第３実施の形態における再生処理の第２の例を説明するフローチャートである。
【図２１】本開示を適用した情報処理システムの第４実施の形態におけるセグメントファイルの例を示す図である。
【図２２】本開示を適用した情報処理システムの第５実施の形態におけるセグメントファイルの例を示す図である。
【図２３】本開示を適用した情報処理システムの第６実施の形態におけるセグメントファイルの例を示す図である。
【図２４】第６実施の形態におけるMPDファイルの記述例を示す図である。
【図２５】本開示を適用した情報処理システムの第７実施の形態におけるセグメントファイルの例を示す図である。
【図２６】図２５のトラックのサンプルの構成例を示す図である。
【図２７】デプスファイルのmoovボックスの構成例を示す図である。
【図２８】QualityMetricsConfigurationBoxの記述例を示す図である。
【図２９】第７実施の形態におけるQualityMetricsSampleEntryに記述される場合のQualityMetricsSampleEntryの記述例を示す図である。
【図３０】SubsampleInformationBoxの記述例を示す図である。
【図３１】SubsampleReferenceBoxの記述例を示す図である。
【図３２】第７実施の形態におけるMPDファイルの記述例を示す図である。
【図３３】本開示を適用した情報処理システムの第８実施の形態におけるセグメントファイルの例を示す図である。
【図３４】levaボックスの第１の記述例を示す図である。
【図３５】図３４のlevaボックスにより対応付けられるレベルとサブサンプルの第１の例を説明する図である。
【図３６】levaボックスの第２の記述例を示す図である。
【図３７】図３６のlevaボックスにより対応付けられるレベルとサブサンプルの第２の例を説明する図である。
【図３８】サブサンプルグループエントリの記述例を示す図である。
【図３９】levaボックスにより対応付けられるレベルとサブサンプルの第３の例を説明する図である。
【図４０】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：情報処理システム（図１乃至図１５）
２．第２実施の形態：情報処理システム（図１６）
３．第３実施の形態：情報処理システム（図１７乃至図２０）
４．第４実施の形態：情報処理システム（図２１）
５．第５実施の形態：情報処理システム（図２２）
６．第６実施の形態：情報処理システム（図２３および図２４）
７．第７実施の形態：情報処理システム（図２５乃至図３２）
８．第８実施の形態：情報処理システム（図３３および図３９）
９．第９実施の形態：コンピュータ（図４０）
【００２４】
＜第１実施の形態＞
（情報処理システムの概要）
図１は、本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。
【００２５】
図１の情報処理システム１０は、ファイル生成装置１１に接続するDASHサーバとしてのWebサーバ１２と、DASHクライアントとしての動画再生端末１４とが、インターネット１３を介して接続されることにより構成される。
【００２６】
情報処理システム１０では、MPEG−DASHに準ずる方式で、Webサーバ１２が、ファイル生成装置１１により生成された動画コンテンツのファイルを、動画再生端末１４に配信する。
【００２７】
具体的には、ファイル生成装置１１は、動画コンテンツのテクスチャ画像、デプス画像、オクルージョン画像の画像データ、音声データ、デプス画像とオクルージョン画像の品質情報を含むメタデータ等を、それぞれ、１以上のビットレートで符号化する。
【００２８】
本明細書では、テクスチャ画像のビットレートが８Mbpsと４Mbpsの２種類であり、デプス画像のビットレートが、２Mbpsと１Mpbsの２種類であり、オクルージョン画像のビットレートが１Mpbsの１種類であるものとする。また、以下では、デプス画像とオクルージョン画像を特に区別する必要がない場合、それらをまとめてデプスオクルージョン画像という。
【００２９】
ファイル生成装置１１は、符号化の結果生成された各ビットレートの画像データおよび音声データの符号化ストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位で、ISOベースメディアファイルフォーマットでファイル化する。ファイル生成装置１１は、その結果生成された画像データおよび音声データのＭＰ４ファイルであるセグメントファイルを、Webサーバ１２にアップロードする。
【００３０】
また、ファイル生成装置１１は、セグメント単位のデプスオクルージョン画像の品質情報を含むメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに分割してISOベースメディアファイルフォーマットでファイル化する。ファイル生成装置１１は、その結果生成されたメタデータのセグメントファイルを、Webサーバ１２にアップロードする。
【００３１】
ファイル生成装置１１はまた、動画コンテンツのセグメントファイル群を管理するMPD（Media Presentation Description）ファイル（管理ファイル）を生成する。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
【００３２】
Webサーバ１２は、ファイル生成装置１１からアップロードされたセグメントファイルとMPDファイルを格納する。Webサーバ１２は、動画再生端末１４からの要求に応じて、格納しているセグメントファイルやMPDファイルを動画再生端末１４に送信する。
【００３３】
動画再生端末１４（再生装置）は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
【００３４】
制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
【００３５】
また、制御用ソフトウエア２１は、MPDファイルと、動画再生ソフトウエア２２により指定される再生対象の時刻、ビットレート等を表す再生対象情報とに基づいて、再生対象のセグメントファイルの符号化ストリームの送信要求を、アクセス用ソフトウエア２３に指令する。
【００３６】
動画再生ソフトウエア２２は、Webサーバ１２から取得された符号化ストリームを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、メタデータの符号化ストリームを再生対象とする再生対象情報を制御用ソフトウエア２１に指定する。そして、動画再生ソフトウエア２２は、アクセス用ソフトウエア２３からメタデータの符号化ストリームの受信開始の通知を受信したとき、動画再生端末１４により受信されたメタデータの符号化ストリームを復号する。
【００３７】
動画再生ソフトウエア２２は、復号の結果得られるメタデータに含まれる品質情報、インターネット１３のネットワーク帯域などに基づいて、所定のビットレートの画像データや音声データの符号化ストリームを再生対象とする再生対象情報を制御用ソフトウエア２１に指定する。そして、動画再生ソフトウエア２２は、アクセス用ソフトウエア２３から画像データや音声データの符号化ストリームの受信開始の通知を受信したとき、動画再生端末１４により受信された画像データや音声データの符号化ストリームを復号する。
【００３８】
動画再生ソフトウエア２２は、復号の結果得られるテクスチャ画像の画像データをそのまま出力する。または、動画再生ソフトウエア２２は、テクスチャ画像とデプス画像を用いて３Ｄ画像の画像データを生成し、出力する。または、動画再生ソフトウエア２２は、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の画像データを生成し、出力する。また、動画再生ソフトウエア２２は、復号の結果得られる音声データを出力する。
【００３９】
アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、再生対象のセグメントファイルの符号化ストリームの送信要求を、動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じてWebサーバ１２から送信されてくる符号化ストリームの受信を動画再生端末１４に開始させ、受信開始の通知を動画再生ソフトウエア２２に供給する。
【００４０】
なお、本開示は、動画コンテンツの画像データおよびメタデータに関する発明であるので、以下では、音声データのセグメントファイルの格納および再生についての説明は省略する。
【００４１】
（オクルージョン画像の説明）
図２は、オクルージョン画像を説明する図である。
【００４２】
図２の上段の円柱４１と立方体４２が、矢印５１が示す正面方向から撮影されると、図２の下段の左側のテクスチャ画像６１が得られる。
【００４３】
このテクスチャ画像６１とテクスチャ画像６１のデプス画像とを用いて、矢印５２が示す左から覗き込む方向から撮影されるテクスチャ画像６２を生成する場合、まず、テクスチャ画像６１のデプス画像に基づいて、テクスチャ画像６２の各画素に対応するテクスチャ画像６１の画素値が取得される。そして、テクスチャ画像６２の各画素の画素値を、その画素に対応するテクスチャ画像６１の画素値とすることにより、テクスチャ画像６２が生成される。
【００４４】
しかしながら、図２の下段の右側に示すように、テクスチャ画像６２には、対応するテクスチャ画像６１が存在しない、即ち、矢印５１が示す方向から撮影する際には撮影されないが、矢印５２が示す方向から撮影する際には撮影される被写体（図２の例では、立方体４２の側面）の領域であるオクルージョン領域４３が発生する。このオクルージョン領域４３のテクスチャ画像が、オクルージョン画像である。
【００４５】
従って、テクスチャ画像６１、テクスチャ画像６１のデプス画像、およびオクルージョン領域４３のテクスチャ画像を用いることにより、テクスチャ画像６１とは異なる視点のテクスチャ画像６２を生成することができる。また、このテクスチャ画像６２とテクスチャ画像６１のデプス画像から、テクスチャ画像６２のデプス画像を生成することができる。よって、テクスチャ画像６２とテクスチャ画像６２のデプス画像から、テクスチャ画像６１とは異なる視点の３Ｄ画像を生成することができる。
【００４６】
（MPDファイルの説明）
図３は、MPDファイルの階層構造を説明する図である。
【００４７】
MPDファイルには、動画コンテンツの符号化方式やビットレート、画像のサイズ、音声の言語などの情報が階層化されて、XML形式で記述される。
【００４８】
具体的には、図３に示すように、MPDファイルには、ピリオド（Period）、アダプテーションセット（AdaptationSet）、リプレゼンテーション（Representation）、セグメントインフォ（SegmentInfo）等の要素が階層的に含まれている。
【００４９】
MPDファイルでは、自分が管理する動画コンテンツが所定の時間範囲（例えば、番組、ＣＭ（Commercial）などの単位）で分割される。ピリオド要素は、分割された動画コンテンツごとに記述される。ピリオド要素は、動画コンテンツのプログラム(同期を取った１組の画像データや音声データなどのデータ)の再生開始時刻、動画コンテンツのセグメントファイルを格納するWebサーバ１２のURL（Uniform Resource Locator）などの情報を有する。
【００５０】
アダプテーションセット要素は、ピリオド要素に含まれ、そのピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群に対応するリプレゼンテーション要素をグルーピングする。リプレゼンテーション要素は、例えば、対応する符号化ストリームのデータの種類によってグルーピングされる。アダプテーションセット要素は、グループに共通のメディア種別、言語、字幕または吹き替えなどの用途を有する。
【００５１】
リプレゼンテーション要素は、それをグルーピングするアダプテーションセット要素に含まれ、上位層のピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群ごとに記述される。リプレゼンテーション要素は、セグメントファイル群に共通のビットレート、画像のサイズなどを有する。
【００５２】
セグメントインフォ要素は、リプレゼンテーション要素に含まれ、そのリプレゼンテーションに対応するセグメントファイル群の各セグメントファイルに関する情報を有する。
【００５３】
（ファイル生成装置の構成例）
図４は、図１のファイル生成装置の構成例を示すブロック図である。
【００５４】
図４のファイル生成装置１１は、取得部８１、符号化部８２、セグメントファイル生成部８３、MPDファイル生成部８４、およびアップロード部８５により構成される。
【００５５】
ファイル生成装置１１の取得部８１は、動画コンテンツのテクスチャ画像、デプス画像、およびオクルージョン画像の画像データを取得し、符号化部８２に供給する。また、取得部８１は、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像の符号化ストリームの品質情報を含むメタデータを取得し、符号化部８２に供給する。
【００５６】
符号化部８２は、取得部８１から供給されるテクスチャ画像の画像データを８Mbpsと４Mbpsで符号化し、デプス画像の画像データを２Mbpsと１Mbpsで符号化する。また、符号化部８２は、オクルージョン画像の画像データを１Mbpsで符号化する。さらに、符号化部８２は、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像のメタデータを、それぞれ、所定のビットレートで符号化する。符号化部８２は、符号化の結果生成された符号化ストリームをセグメントファイル生成部８３に供給する。
【００５７】
セグメントファイル生成部８３は、符号化部８２から供給されるテクスチャ画像、デプス画像、およびオクルージョン画像の符号化ストリームを、ビットレートごとにセグメント単位でファイル化し、画像データのセグメントファイルを生成する。
【００５８】
また、セグメントファイル生成部８３（ファイル生成部）は、符号化部８２から供給されるメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに２つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割されたメタデータの符号化ストリームを異なるセグメントファイルに配置することによりメタデータのセグメントファイルを生成する。
【００５９】
具体的には、セグメントファイル生成部８３は、符号化部８２から供給されるメタデータの符号化ストリームを、２Mbpsと１Mbpsのデプス画像のセグメント単位のメタデータの符号化ストリームと、１Mbpsのオクルージョン画像のセグメント単位のメタデータの符号化ストリームとに分割する。そして、セグメントファイル生成部８３は、２Mbpsと１Mbpsのデプス画像のセグメント単位のメタデータの符号化ストリームと、１Mbpsのオクルージョン画像のセグメント単位のメタデータの符号化ストリームとを別々にファイル化し、メタデータのセグメントファイルを生成する。セグメントファイル生成部８３は、生成されたセグメントファイルをアップロード部８５に供給する。
【００６０】
MPDファイル生成部８４（ファイル生成部）は、MPDファイルを生成し、アップロード部８５に供給する。
【００６１】
アップロード部８５は、セグメントファイル生成部８３から供給されるセグメントファイルと、MPDファイル生成部８４から供給されるMPDファイルとを、Webサーバ１２にアップロードする。
【００６２】
（セグメントファイルの例）
図５は、図４のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【００６３】
図５に示すように、セグメントファイル生成部８３は、８Mbpsのテクスチャ画像のセグメントファイルをテクスチャファイル（texture1 file）として生成し、４Mbpsのテクスチャ画像のセグメントファイルをテクスチャファイル（texture２ file）として生成する。また、セグメントファイル生成部８３は、２Mbpsのデプス画像のセグメントファイルをデプスファイル（depth1 file）として生成し、１Mpbsのデプス画像のセグメントファイルをデプスファイル（depth２ file）として生成する。さらに、セグメントファイル生成部８３は、１Mpbsのオクルージョン画像のセグメントファイルをオクルージョンファイル（occlusion1 file）として生成する。
【００６４】
また、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報を含むメタデータのセグメントファイルを、クオリティファイル（quality1 file）として生成する。クオリティファイル（quality1 file)では、２Mbpsのデプス画像の品質情報を含むメタデータと、１Mpbsのデプス画像の品質情報を含むメタデータが、異なるトラック（quality track(depth1),quality track(depth2)）に配置される。
【００６５】
さらに、セグメントファイル生成部８３は、１Mpbsのオクルージョン画像の品質情報を含むメタデータのセグメントファイルを、クオリティファイル（quality2 file）として生成する。
【００６６】
以上のように、セグメントファイル生成部８３は、品質情報を含むメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに別々にファイル化する。従って、動画再生端末１４が、テクスチャ画像とデプス画像を用いて３Ｄ画像を生成する場合、デプス画像のクオリティファイル（quality1 file）から所望のデプス画像の品質情報を容易に取得することができる。
【００６７】
これに対して、全てのデプスオクルージョン画像の品質情報の符号化ストリームが、まとめてファイル化される場合、不要なオクルージョン画像の品質情報も含むファイルから所望のデプス画像の品質情報を取得することになり、取得効率が悪い。
【００６８】
また、全てのデプスオクルージョン画像の品質情報の符号化ストリームが、符号化ストリームごとに別々にファイル化される場合、複数の所望のデプスオクルージョン画像を取得する際、複数のファイルから品質情報を取得する必要があり、取得効率が悪い。
【００６９】
なお、取得部８１は、８Mbpsと４Mbpsのテクスチャ画像の品質情報を含むメタデータを取得しないようにしたが、取得するようにしてもよい。この場合、セグメントファイル生成部８３は、８Mbpsと４Mbpsのテクスチャ画像の品質情報を含むメタデータの符号化ストリームがセグメント単位でまとめて格納されるセグメントファイルも生成する。また、８Mbpsのテクスチャ画像のメタデータと４Mbpsのテクスチャ画像のメタデータは、異なるトラックに配置される。
【００７０】
(QualityMetricsSampleEntryの記述例)
図６は、クオリティファイルに配置されるQualityMetricsSampleEntryの記述例を示す図である。
【００７１】
図６に示すように、QualityMetricsSampleEntryには、QulityMetricsConfigurationBoxが配置される。QualityMetricsConfigurationBoxには、field_size_bytesとmetric_countが記述され、metric_count分だけmetric_codeが記述される。
【００７２】
図７に示すように、field_size_bytesは、クオリティファイルのサンプルに含まれる品質情報の符号化ストリームの１種類の品質（Quality）あたりのデータサイズである。ある種類の品質情報の符号化ストリームの実サイズがfield_size_bytesより小さい場合には、その品質情報の符号化ストリームにパディングが付加される。
【００７３】
また、metric_countは、クオリティファイルのサンプルに含まれる品質情報の符号化ストリームに対応する品質の種類数である。metric_codeは、クオリティファイルのサンプルに含まれる品質情報の符号化ストリームに対応する各品質の種類を表す情報であり、サンプルに配置される品質情報の符号化ストリームの順に記述される。
【００７４】
（metric_codeの例）
図８は、metric_codeの例を示す図である。
【００７５】
図８に示すように、metric_codeとしては、ISO/IEC 23001-10において定義されているpsnr,ssim,msim,j144,j247,mops,fsigだけでなく、ocerやocprも設定可能になっている。
【００７６】
例えば、psnrは、品質情報が表す品質の種類が画面全体のPSNR(Peak signal-to-noise ratio)であることを表している。
【００７７】
また、ocerとocprは、オクルージョン画像の品質情報がサンプルに含まれるときに設定される。ocerは、品質情報が表す品質の種類が、テクスチャ画像の画面全体に対する、オクルージョン画像に対応するオクルージョン領域、即ちオクルージョン領域の有効範囲の割合であることを表している。ocprは、品質情報が表す品質の種類が、オクルージョン画像のみのPSNR、即ちオクルージョン領域の有効範囲のみのPSNRであることを表している。
【００７８】
以上のように、オクルージョン画像の品質情報がサンプルに含まれる場合、metric_codeとしてocerやocprを設定することができる。従って、オクルージョン領域の割合やPSNRを表す品質情報をサンプルに格納することができる。よって、動画再生端末１４は、この品質情報に基づいて、最適なオクルージョンファイルを選択し、再生することができる。
【００７９】
即ち、オクルージョン画像は、画面内のオクルージョン領域のみの画像であるため、画面全体のPSNRなどの既存の品質に与える影響が少ない可能性がある。従って、既存の品質情報では、オクルージョン画像の品質を十分に表すことはできない。よって、オクルージョン画像の品質に大きな影響を与えるオクルージョン領域の割合やPSNRを品質として表す品質情報をサンプルに格納可能にすることにより、動画再生端末１４が、品実情報に基づいて、より適したオクルージョンファイルを選択することを可能にする。
【００８０】
（リプレゼンテーション要素の例）
図９は、図４のMPDファイル生成部８４により生成されるMPDファイルのリプレゼンテーション要素の例を示す図である。
【００８１】
図５に示したように、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）、テクスチャファイル（texture2 file）、デプスファイル（depth1 file）、デプスファイル（depth2 file）、オクルージョンファイル（occlusion1 file）、クオリティファイル（quality1 file(depth)）、およびクオリティファイル（quality2 file(occlusion)）の７種類のセグメントファイルを生成する。従って、図９に示すように、MPDファイルでは、７つのリプレゼンテーション要素が含まれる。
【００８２】
（MPDファイルの記述例）
図１０は、図４のMPDファイル生成部８４により生成されるMPDファイルの記述例を示す図である。
【００８３】
なお、本明細書では、テクスチャファイル（texture2 file）の再生時に、デプスファイル（depth1 file）やオクルージョンファイル(occlusion file)を用いても、３Ｄ画像の画質が向上しないものとする。従って、テクスチャファイル（texture2 file）と、デプスファイル（depth1 file）やオクルージョンファイル(occlusion file)とを用いた３Ｄ画像の再生はすべきでない。よって、下記の再生パターン１乃至７のみが再生すべきパターンである。
【００８４】
再生パターン１．テクスチャファイル（texture1 file）のテクスチャ画像の再生
再生パターン２．テクスチャファイル（texture2 file）のテクスチャ画像の再生
再生パターン３．テクスチャファイル（texture1 file）とデプスファイル（depth1 file）を用いた３Ｄ画像の再生
再生パターン４．テクスチャファイル（texture1 file）とデプスファイル（depth2 file）を用いた３Ｄ画像の再生
再生パターン５．テクスチャファイル（texture1 file）、デプスファイル（depth1 file）、およびオクルージョンファイル(occlusion file)を用いた３Ｄ画像の再生
再生パターン６．テクスチャファイル（texture1 file）、デプスファイル（depth2 file）、およびオクルージョンファイル(occlusion file)を用いた３Ｄ画像の再生
再生パターン７．テクスチャファイル（texture2 file）とデプスファイル（depth2 file）を用いた３Ｄ画像の再生
【００８５】
図１０のMPDファイルでは、テクスチャファイル（texture1 file）群とテクスチャファイル（texture2 file）群が１つのアダプテーションセット（AdaptationSet）要素でグルーピングされる。
【００８６】
このテクスチャファイル用のアダプテーションセット要素には、テクスチャファイル（texture1 file）群に対応するリプレゼンテーション要素と、テクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素が記述される。
【００８７】
リプレゼンテーション要素は、Representation id, bandwidth, BaseURL, associationIDなどを有する。Representation idは、リプレゼンテーション要素に固有のＩＤであり、リプレゼンテーション要素に対応する符号化ストリームを特定する情報である。bandwidthは、テクスチャファイル群のビットレートを表す情報であり、BaseURLは、ファイル名のベースを表す情報である。また、associationIDは、復号や表示（再生）時に関係する他のリプレゼンテーション要素のRepresentation idである。このassociationIDは、ISO/IEC 23009-1 Amendment2で規定されている。
【００８８】
従って、テクスチャファイル（texture1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvt1が記述され、bandwidthとして８Mbpsを表す8192000が記述され、BaseURLとして「texture1.mp4」が記述される。
【００８９】
テクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvt2が記述され、bandwidthとして４Mbpsを表す4096000が記述され、BaseURLとして「texture2.mp4」が記述される。
【００９０】
なお、テクスチャファイル（texture1 file）群およびテクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素は他のリプレゼンテーション要素と関係していないため、テクスチャファイル（texture1 file）群およびテクスチャファイル（texture2 file）群に対応するリプレゼンテーション要素には、associationIDは記述されない。
【００９１】
また、デプスファイル（depth1 file）群とデプスファイル（depth2 file）群が１つのアダプテーションセット要素でグルーピングされる。このデプスファイル用のアダプテーションセット要素には、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素と、デプスファイル（depth2 file）群に対応するリプレゼンテーション要素が記述される。
【００９２】
デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvd1が記述され、bandwidthとして２Mbpsを表す2048000が記述され、BaseURLとして「depth1.mp4」が記述される。
【００９３】
また、再生パターン１乃至７においてデプスファイル（depth1 file）の表示時に関係するテクスチャファイル群は、テクスチャファイル（texture1 file）群である。従って、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）群のRepresentation idであるvt1が記述される。
【００９４】
デプスファイル（depth2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvd2が記述され、bandwidthとして１Mbpsを表す1024000が記述され、BaseURLとして「depth2.mp4」が記述される。
【００９５】
また、再生パターン１乃至７においてデプスファイル（depth2 file）の表示時に関係するテクスチャ画像のテクスチャファイル群は、テクスチャファイル（texture1 file）群またはテクスチャファイル（texture2 file）群である。従って、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）群のRepresentation idであるvt1およびテクスチャファイル（texture2 file）群のRepresentation idであるvt2が記述される。
【００９６】
さらに、オクルージョンファイル（occlusion1 file）群が１つのアダプテーションセット要素でグルーピングされる。このオクルージョンファイル用のアダプテーションセット要素には、オクルージョンファイル（occlusion file）群に対応するリプレゼンテーション要素が記述される。
【００９７】
オクルージョンファイル（occlusion file）群に対応するリプレゼンテーション要素には、Representation idとしてvo1が記述され、bandwidthとして１Mbpsを表す1024000が記述され、BaseURLとして「occlusion.mp4」が記述される。
【００９８】
また、再生パターン１乃至７においてオクルージョンファイル（occlusion file）の表示時に関係するデプス画像のデプスファイル群は、デプスファイル（depth1 file）群またはデプスファイル（depth2 file）群である。従って、オクルージョンファイル（occlusion file）群に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）群のRepresentation idであるvd1とデプスファイル（depth2 file）群のRepresentation idであるvd2が記述される。
【００９９】
また、クオリティファイル（quality1 file）群とクオリティファイル（quality2 file）群が１つのアダプテーションセット要素でグルーピングされる。
【０１００】
クオリティファイル用のアダプテーションセット要素には、SupplementalPropertyを用いて、テクスチャ画像、デプス画像、およびオクルージョン画像のうちの、再生すべき画像の組み合わせ、即ち再生時に使用候補となる画像の組み合わせを表すためのschemeIdUriである schemeIdUri=“urn:mpeg:dash:quality:playback:combination:2015”が記述可能になっている。schemeIdUri=“urn:mpeg:dash:quality:playback:combination:2015”のvalueとして、組み合わせを構成する画像のRepresentation idが記述される。
【０１０１】
具体的には、上述した再生パターン１の再生に用いられるテクスチャ画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1””>が記述される。
【０１０２】
同様に、再生パターン３の再生に用いられるテクスチャ画像とデプス画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1とデプスファイル（depth1 file）のRepresentation idであるvd1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd1””>が記述される。
【０１０３】
再生パターン４の再生に用いられるテクスチャ画像とデプス画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1とデプスファイル（depth2 file）のRepresentation idであるvd2をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd2””>が記述される。
【０１０４】
再生パターン５の再生に用いられるテクスチャ画像、デプス画像、およびオクルージョン画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1、デプスファイル（depth1 file）のRepresentation idであるvd1、およびオクルージョンファイル(occlusion file)のRepresentation idであるvo1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd1 vo1””>が記述される。
【０１０５】
再生パターン６の再生に用いられるテクスチャ画像、デプス画像、およびオクルージョン画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt1、デプスファイル（depth2 file）のRepresentation idであるvd2、およびオクルージョンファイル(occlusion file)のRepresentation idであるvo1をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015 value=”vt1 vd2 vo1””>が記述される。
【０１０６】
再生パターン２の再生に用いられるテクスチャ画像を表す情報として、テクスチャファイル（texture1 file）のRepresentation idであるvt2をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015”>が記述される。
【０１０７】
再生パターン７の再生に用いられるテクスチャ画像とデプス画像を表す情報として、テクスチャファイル（texture2 file）のRepresentation idであるvt2とデプスファイル（depth2 file）のRepresentation idであるvd2をvalueとする<SupplementalProperty schemeIdUri=”urn:mpeg:dash:quality:playback:combination:2015”>が記述される。
【０１０８】
以上のように、MPDファイルには、再生すべきパターンにおいて用いられる画像の組み合わせを構成する画像のRepresentation idが記述される。従って、動画再生端末１４は、MPDファイルを参照して再生を行うことにより、再生すべきパターン以外のパターンで再生を行わないようにすることができる。
【０１０９】
また、クオリティファイル用のアダプテーションセット要素には、クオリティファイル（quality1 file）群とクオリティファイル（quality2 file）群のそれぞれに対応するリプレゼンテーション要素が記述される。
【０１１０】
クオリティファイル（quality1 file(depth)）群に対応するリプレゼンテーション要素には、Representation idとしてvq1が記述され、BaseURLとして「quality1.mp4」が記述される。
【０１１１】
また、クオリティファイル（quality1 file）に格納される品質情報は、デプスファイル（depth1 file）とデプスファイル（depth2 file）に格納されるデプス画像の品質情報である。従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）群のRepresentation idであるvd1とデプスファイル（depth2 file）群のRepresentation idであるvd2が記述される。
【０１１２】
これにより、動画再生端末１４は、クオリティファイル（quality1 file）群に格納される品質情報が、デプスファイル（depth1 file）群とデプスファイル（depth2 file）群に対応するデプス画像の品質情報であることを認識することができる。
【０１１３】
しかしながら、クオリティファイル（quality1 file）の２つのトラックのうちのいずれのトラックに格納されている品質情報が、デプスファイル（depth1 file）群またはデプスファイル（depth2 file）群に格納されるデプス画像の品質情報であるかを認識することはできない。
【０１１４】
従って、図１０のMPDファイルでは、トラックと対応付けることが可能なレベルごとにリプレゼンテーション要素を分割したサブリプレゼンテーション（SubRepresentation）要素が拡張され、サブリプレゼンテーション要素が、Representation要素と同様にassociationIdを有することを可能にする。これにより、クオリティファイル（quality1 file）の各トラックと、デプス画像を特定するRepresentationID（デプス関連画像特定情報）との対応関係を記述することができる。
【０１１５】
具体的には、図１０の例では、クオリティファイル（quality1 file）に配置されるlevaボックス（LevelAssignmentBox）により、レベル１にデプスファイル（depth1 file）に格納されるデプス画像の品質情報を格納するトラックが対応付けられている。また、レベル２にデプスファイル（depth2 file）に格納されるデプス画像の品質情報を格納するトラックが対応付けられている。
【０１１６】
従って、レベル１と、associationIDとしてのデプスファイル（depth1 file）のRepresentation idであるvd1とを対応付ける<SubRepresentation level=”1” associationId=”vd1”>が記述される。また、レベル２と、associationIDとしてのデプスファイル（depth2 file）のRepresentation idであるvd2とを対応付ける<SubRepresentation level=”2” associationId=”vd2”>が記述される。
【０１１７】
また、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq2が記述され、BaseURLとして「quality2.mp4」が記述される。
【０１１８】
クオリティファイル（quality2 file）に格納されるメタデータに含まれる品質情報は、オクルージョンファイル（occlusion file）に格納されるオクルージョン画像の品質情報である。従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、associationIDとしてオクルージョンファイル（occlusion file）群のRepresentation idであるvo1が記述される。
【０１１９】
なお、図１０の例では、クオリティファイル用のアダプテーションセット要素には、bandwidthが記述されないが、記述されるようにしてもよい。
【０１２０】
（levaボックスの説明）
図１１は、MPDファイルが図１０のMPDファイルである場合にクオリティファイル（quality1 file）に配置されるlevaボックスを説明する図である。
【０１２１】
図１１に示すように、複数のトラックを有するクオリティファイル（quality1 file）には、levaボックス（Level assignment box)が配置される。このlevaボックスでは、レベル１から順に、そのレベルに対応するトラックを特定する情報が記述されることにより、レベルとトラックの対応関係が記述される。
【０１２２】
従って、動画再生端末１４は、levaボックスにより、MPDファイルのサブリプレゼンテーション要素が有するassociationIDに対応するトラックを特定することができる。具体的には、動画再生端末１４は、vd1であるassociationIDに対応するトラックを、レベル１に対応する先頭から１番目のトラック（quality track(depth1)）に特定することができる。また、動画再生端末１４は、vd2であるassociationIDに対応するトラックを、レベル２に対応する先頭から２番目のトラック（quality track(depth2)）に特定することができる。
【０１２３】
（ファイル生成装置の処理の説明）
図１２は、図１のファイル生成装置１１のファイル生成処理を説明するフローチャートである。
【０１２４】
図１２のステップＳ１１において、ファイル生成装置１１の取得部８１は、動画コンテンツのテクスチャ画像、デプス画像、およびオクルージョン画像の画像データ、並びに、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像の符号化ストリームの品質情報を含むメタデータを取得する。そして、取得部８１は、取得された画像データとメタデータを符号化部８２に供給する。
【０１２５】
ステップＳ１２において、符号化部８２は、取得部８１から供給されるテクスチャ画像の画像データを８Mbpsと４Mbpsで符号化し、デプス画像の画像データを２Mbpsと１Mbpsで符号化する。また、符号化部８２は、オクルージョン画像の画像データを１Mbpsで符号化する。さらに、符号化部８２は、２Mbpsと１Mbpsのデプス画像および１Mbpsのオクルージョン画像のメタデータを、それぞれ、所定のビットレートで符号化する。符号化部８２は、符号化の結果生成された符号化ストリームをセグメントファイル生成部８３に供給する。
【０１２６】
ステップＳ１３において、セグメントファイル生成部８３は、符号化部８２から供給されるテクスチャ画像、デプス画像、およびオクルージョン画像の符号化ストリームを、ビットレートごとにセグメント単位でファイル化する。セグメントファイル生成部８３は、その結果生成されたテクスチャファイル、デプスファイル、およびオクルージョンファイルをアップロード部８５に供給する。
【０１２７】
ステップＳ１４において、セグメントファイル生成部８３は、符号化部８２から供給されるメタデータの符号化ストリームを、デプスオクルージョン画像の種類ごとに２つに分割する。
【０１２８】
ステップＳ１５において、セグメントファイル生成部８３は、セグメント単位で、分割されたメタデータの符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成し、アップロード部８５に供給する。
【０１２９】
ステップＳ１６において、MPDファイル生成部８４は、MPDファイルを生成し、アップロード部８５に供給する。ステップＳ１７において、アップロード部８５は、テクスチャファイル、デプスファイル、オクルージョンファイル、クオリティファイル、およびMPDファイルを、Webサーバ１２にアップロードする。
【０１３０】
以上のように、ファイル生成装置１１は、デプスオクルージョン画像の品質情報を、デプスオクルージョン画像の種類ごとに分割して異なるクオリティファイルに配置する。従って、デプスオクルージョン画像ごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、デプスオクルージョン画像の品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
【０１３１】
また、動画再生端末１４は、テクスチャ画像とデプス画像を再生に用いる場合、デプス画像の品質情報のみを格納するクオリティファイル（quality1 file）から品質情報を取得することができる。従って、全てのデプスオクルージョン画像の品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、品質情報の取得効率を向上させることができる。
【０１３２】
さらに、ファイル生成装置１１は、サブリプレゼンテーション要素にassociationIdを記述するMPDファイルを生成する。これにより、MPDファイルは、複数のデプスオクルージョン画像の品質情報のそれぞれが異なるトラックに分割して配置されるクオリティファイルの各トラックとデプスオクルージョン画像の対応関係を管理することができる。その結果、動画再生端末１４は、複数のデプスオクルージョン画像の品質情報のそれぞれが異なるトラックに分割して配置されるクオリティファイルから、各デプスオクルージョン画像の品質情報を抽出することができる。
【０１３３】
また、ファイル生成装置１１は、再生すべきパターンの再生に用いられる画像の組み合わせを記述したMPDファイルを生成するので、動画再生端末１４に再生すべきパターンの再生のみを行わせることができる。その結果、例えば、動画コンテンツの製作者は、自分が意図した品質の画像をユーザに提供することができる。また、動画再生端末１４は、再生すべきパターンから再生パターンを選択すればよいため、再生可能な全ての再生パターンから再生パターンを選択する場合に比べて、処理負荷が軽減される。
【０１３４】
（動画再生端末の機能的構成例）
図１３は、図１の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
【０１３５】
ストリーミング再生部１００は、MPD取得部１０１、MPD処理部１０２、品質情報取得部１０３、復号部１０４、画像取得部１０５、復号部１０６、出力制御部１０７、および計測部１０８により構成される。
【０１３６】
ストリーミング再生部１００のMPD取得部１０１は、MPDファイルをWebサーバ１２に要求し、取得する。MPD取得部１０１は、取得されたMPDファイルをMPD処理部１０２に供給する。
【０１３７】
MPD処理部１０２は、MPD取得部１０１から供給されるMPDファイルを解析する。具体的には、MPD処理部１０２は、MPDファイルの各Representation要素が有するbandwidthを、そのRepresentation要素に対応する画像のビットレートとして取得する。
【０１３８】
また、MPD処理部１０２は、MPDファイルのschemeIdUri=“urn:mpeg:dash:quality:playback:combination:2015”のvalueと、各Representation要素が有するRepresentation idから、再生すべきパターンの再生に用いられる画像の組み合わせを取得する。さらに、MPD処理部１０２は、MPDファイルの各Representation要素が有するBaseURLやサブリプレゼンテーション要素のassociationId等から、そのRepresentation要素に対応するセグメントファイル群のファイル名、各デプスオクルージョン画像の品質情報に対応するレベル等の取得情報を取得する。
【０１３９】
MPD処理部１０２は、再生すべきパターンの中から再生パターンの候補を選択する。MPD処理部１０２は、再生パターンの候補、計測部１０８から供給されるインターネット１３のネットワーク帯域、および画像のビットレートに基づいて、デプスオクルージョン画像の取得候補のリストを作成する。MPD処理部１０２は、そのリストに登録されているデプスオクルージョン画像の品質情報の取得情報を、品質情報取得部１０３に供給する。
【０１４０】
例えば、デプスオクルージョン画像の取得候補のリストにデプス画像が登録されている場合、MPD処理部１０２は、クオリティファイル（quality1 file）内の、リストに登録されているデプス画像の品質情報の取得情報を、品質情報取得部１０３に供給する。デプスオクルージョン画像の取得候補のリストにオクルージョン画像が登録されている場合、MPD処理部１０２は、クオリティファイル（quality2 file）内の、リストに登録されているオクルージョン画像の品質情報の取得情報を、品質情報取得部１０３に供給する。
【０１４１】
また、MPD処理部１０２は、復号部１０４から供給される品質情報に基づいて、再生パターンの候補から再生パターンを選択する。MPD処理部１０２は、選択された再生パターンの再生において用いられるテクスチャファイルのテクスチャ画像の取得情報を画像取得部１０５に供給する。また、MPD処理部１０２は、選択された再生パターンの再生においてデプスオクルージョン画像のファイルが用いられる場合、そのデプスオクルージョン画像の取得情報を画像取得部１０５に供給する。
【０１４２】
品質情報取得部１０３は、MPD処理部１０２から供給される取得情報に基づいて、品質情報を含むメタデータの符号化ストリームをWebサーバ１２に要求し、取得する。品質情報取得部１０３は、取得された符号化ストリームを復号部１０４に供給する。
【０１４３】
復号部１０４は、品質情報取得部１０３から供給される符号化ストリームを復号し、品質情報を含むメタデータを生成する。復号部１０４は、品質情報をMPD処理部１０２に供給する。
【０１４４】
画像取得部１０５、復号部１０６、および出力制御部１０７は、再生部として機能し、MPD処理部１０２から供給される取得情報に基づいて、テクスチャ画像のみ、または、テクスチャ画像とデプスオクルージョン画像を再生する。
【０１４５】
具体的には、画像取得部１０５は、MPD処理部１０２から供給される取得情報に基づいて、テクスチャファイルやデプスオクルージョン画像のファイルの符号化ストリームをWebサーバ１２に要求し、取得する。画像取得部１０５は、取得された符号化ストリームを復号部１０４に供給する。
【０１４６】
復号部１０６は、画像取得部１０５から供給される符号化ストリームを復号し、画像データを生成する。復号部１０６は、生成された画像データを出力制御部１０７に供給する。
【０１４７】
出力制御部１０７は、復号部１０６から供給される画像データがテクスチャ画像の画像データのみである場合、そのテクスチャ画像の画像データに基づいて、動画再生端末１４が有する図示せぬディスプレイ等の表示部にテクスチャ画像を表示させる。
【０１４８】
一方、出力制御部１０７は、復号部１０６から供給される画像データがテクスチャ画像とデプスオクルージョン画像の画像データである場合、そのテクスチャ画像とデプスオクルージョン画像の画像データに基づいて、３Ｄ画像の画像データを生成する。そして、出力制御部１０７は、生成された３Ｄ画像の画像データに基づいて、図示せぬディスプレイ等の表示部に３Ｄ画像を表示させる。
【０１４９】
計測部１０８は、インターネット１３のネットワーク帯域を計測し、MPD処理部１０２に供給する。
【０１５０】
（ストリーミング再生部の処理の第１の例の説明）
図１４は、図１３のストリーミング再生部１００の再生処理の第１の例を説明するフローチャートである。なお、図１４の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
【０１５１】
図１４のステップＳ３１において、MPD取得部１０１は、MPDファイルをWebサーバ１２に要求し、取得する。MPD取得部１０１は、取得されたMPDファイルをMPD処理部１０２に供給する。
【０１５２】
ステップＳ３２において、MPD処理部１０２は、MPD取得部１０１から供給されるMPDファイルを解析する。これにより、MPD処理部１０２は、各テクスチャ画像およびデプス画像のビットレート、再生すべきパターンでの再生に用いられる画像の組み合わせ、並びに、テクスチャ画像、デプス画像、および品質情報の取得情報を取得する。
【０１５３】
ステップＳ３３において、MPD処理部１０２は、再生すべきパターンでの再生に用いられる画像の組み合わせに基づいて、再生すべきパターンの中からテクスチャ画像とデプス画像のみを用いて再生を行う再生パターン３，４、および７を、再生パターンの候補として選択する。以降のステップＳ３４乃至Ｓ４３の処理は、セグメント単位で行われる。
【０１５４】
ステップＳ３４において、計測部１０８は、インターネット１３のネットワーク帯域を計測し、MPD処理部１０２に供給する。
【０１５５】
ステップＳ３５において、MPD処理部１０２は、ネットワーク帯域と、各テクスチャ画像のビットレートとに基づいて、再生パターンの候補での再生に用いられるテクスチャ画像の中から、取得するテクスチャ画像を決定する。
【０１５６】
例えば、MPD処理部１０２は、ネットワーク帯域の８０パーセントがテクスチャ画像の最大許容ビットレートであるものとし、再生パターンの候補での再生に用いられるテクスチャ画像のうちの、最大許容ビットレートより小さいビットレートのテクスチャ画像を、取得するテクスチャ画像に決定する。
【０１５７】
ステップＳ３６において、MPD処理部１０２は、取得するテクスチャ画像を再生する再生パターンの候補とデプス画像のビットレートとに基づいて、デプス画像の取得候補のリストを作成する。
【０１５８】
例えば、MPD処理部１０２は、ネットワーク帯域の２０パーセントがデプス画像の最大許容ビットレートであるものとする。そして、取得するテクスチャ画像がテクスチャファイル（texture1 file）のテクスチャ画像であり、デプスファイル（depth1 file）とデプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン３および４に基づいて、デプスファイル（depth1 file）とデプスファイル（depth2 file）のデプス画像が登録されたリストを作成する。
【０１５９】
一方、取得するテクスチャ画像がテクスチャファイル（texture2 file）のテクスチャ画像であり、デプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン７に基づいて、デプスファイル（depth2 file）のデプス画像が登録されたリストを作成する。
【０１６０】
そして、MPD処理部１０２は、リストに登録されたデプス画像の品質情報の取得情報を、品質情報取得部１０３に供給する。なお、取得するテクスチャ画像とともに再生すべきデプス画像の全てのビットレートが最大許容ビットレート以上である場合、デプス画像の取得候補のリストには何も登録されず、テクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ４３に進む。
【０１６１】
ステップＳ３７において、品質情報取得部１０３は、MPD処理部１０２から供給される取得情報に基づいて、デプス画像の品質情報を含むメタデータの符号化ストリームをWebサーバ１２に要求し、取得する。品質情報取得部１０３は、取得された符号化ストリームを復号部１０４に供給する。
【０１６２】
ステップＳ３８において、復号部１０４は、品質情報取得部１０３から供給されるデプス画像の品質情報の符号化ストリームを復号し、デプス画像の品質情報を含むメタデータを生成する。復号部１０４は、デプス画像の品質情報をMPD処理部１０２に供給する。
【０１６３】
ステップＳ３９において、MPD処理部１０２は、復号部１０４から供給される品質情報に基づいて、デプス画像のリストに登録されているデプス画像から、取得するデプス画像を決定する。
【０１６４】
例えば、MPD処理部１０２は、品質情報が表す品質が最も良いデプス画像、品質情報が表す品質が直前のセグメント（またはサブセグメント）のデプス画像の品質に最も近いデプス画像、または品質情報が表す品質が許容可能な品質であり、かつ、最もビットレートが小さいデプス画像を、取得するデプス画像に決定する。
【０１６５】
品質情報が表す品質が直前のセグメント（またはサブセグメント）のデプス画像の品質に最も近いデプス画像が、取得するデプス画像に決定される場合、再生される３Ｄ画像の見た目の違和感を軽減することができる。MPD処理部１０２は、取得するデプス画像の取得情報を画像取得部１０５に供給する。
【０１６６】
ステップＳ４０において、画像取得部１０５は、MPD処理部１０２から供給される取得情報に基づいて、テクスチャ画像およびデプス画像の符号化ストリームをWebサーバ１２に要求し、取得する。画像取得部１０５は、取得された符号化ストリームを復号部１０４に供給する。
【０１６７】
ステップＳ４１において、画像取得部１０５から供給される符号化ストリームを復号し、テクスチャ画像とデプス画像の画像データを生成する。復号部１０６は、生成されたテクスチャ画像とデプス画像の画像データを出力制御部１０７に供給する。
【０１６８】
ステップＳ４２において、出力制御部１０７は、復号部１０６から供給されるテクスチャ画像とデプス画像の画像データに基づいて、３Ｄ画像の画像データを生成し、図示せぬ表示部に３Ｄ画像を表示させる。
【０１６９】
ステップＳ４３において、ストリーミング再生部１００は、動画コンテンツの最後のセグメントの画像を表示したかどうかを判定する。ステップＳ４３で動画コンテンツの最後のセグメントの画像をまだ表示していないと判定された場合、処理はステップＳ３４に戻る。
【０１７０】
一方、ステップＳ４３で動画コンテンツの最後のセグメントの画像を表示したと判定された場合、処理は終了する。
【０１７１】
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理の第１の例は、以下の点を除いて図１４の再生処理と同様である。
【０１７２】
即ち、図１４のステップＳ３３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ３９とステップＳ４０の間で、デプス画像の品質情報についてのステップＳ３６乃至Ｓ３９の処理と同様に、オクルージョン画像の品質情報についての処理が行われる。
【０１７３】
但し、この場合、テクスチャ画像、デプス画像、オクルージョン画像の最大許容ビットレートは、例えば、ネットワーク帯域の７０パーセント、１５パーセント、１５パーセントとされる。さらに、ステップＳ４０乃至Ｓ４２の処理におけるデプス画像は、デプス画像とオクルージョン画像の両方になる。
【０１７４】
（ストリーミング再生部の処理の第２の例の説明）
図１５は、図１３のストリーミング再生部１００の再生処理の第２の例を説明するフローチャートである。なお、図１５の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
【０１７５】
図１５の再生処理は、主に、テクスチャ画像とデプス画像の最大許容ビットレートのネットワーク帯域に対する割合が決められていない点が、図１４の再生処理と異なる。
【０１７６】
図１５のステップＳ６１乃至Ｓ６４は、図１４のステップＳ３１乃至Ｓ３４の処理と同様であるので、説明は省略する。ステップＳ６４乃至Ｓ７３の処理は、セグメント単位で行われる。
【０１７７】
ステップＳ６５において、MPD処理部１０２は、再生パターンの候補、計測部１０８から供給されるインターネット１３のネットワーク帯域、並びに、テクスチャ画像とデプス画像のビットレートに基づいて、テクスチャ画像およびデプス画像の組み合わせの取得候補のリストを作成する。
【０１７８】
具体的には、再生パターン３，４、および７での再生に用いられるテクスチャ画像とデプス画像の組み合わせのうちの、テクスチャ画像とデプス画像のビットレートの和がネットワーク帯域を超えないものが登録されたリストを作成する。
【０１７９】
なお、テクスチャ画像とデプス画像のビットレートの下限を予め決定しておき、リストに登録された組み合わせのうち、少なくとも一方のビットレートが下限を下回る組み合わせを除外するようにしてもよい。
【０１８０】
また、再生パターン３，４、および７での再生に用いられるテクスチャ画像とデプス画像のビットレートの和の全てがネットワーク帯域を超えている場合、テクスチャ画像およびデプス画像の組み合わせの取得候補のリストには何も登録されない。そして、ネットワーク帯域を超えない最大のビットレートのテクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ７３に進む。
【０１８１】
ステップＳ６６において、MPD処理部１０２は、ステップＳ６５で作成されたリストに登録されたデプス画像のリストを作成する。そして、MPD処理部１０２は、リストに登録されたデプス画像の品質情報の取得情報を、品質情報取得部１０３に供給する。
【０１８２】
ステップＳ６７およびＳ６８の処理は、図１４のステップＳ３７およびＳ３８の処理と同様であるので、説明は省略する。
【０１８３】
ステップＳ６９において、MPD処理部１０２は、品質情報に基づいて、テクスチャ画像およびデプス画像の組み合わせのリストに登録されている組み合わせの中から、取得するテクスチャ画像およびデプス画像の組み合わせを決定する。
【０１８４】
例えば、MPD処理部１０２は、図１４のステップＳ３９と同様に取得するデプス画像を決定する。そして、MPD処理部１０２は、取得するデプス画像との組み合わせが組み合わせリストに登録されているテクスチャ画像のうちの、最もビットレートの高いテクスチャ画像を、取得するテクスチャ画像に決定する。
【０１８５】
ステップＳ７０乃至Ｓ７３の処理は、図１４のステップＳ４０乃至Ｓ４３の処理と同様であるので、説明は省略する。
【０１８６】
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理の第２の例は、以下の点を除いて図１５の再生処理と同様である。
【０１８７】
即ち、図１５のステップＳ６３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ６５乃至Ｓ７２の処理におけるデプス画像は、デプス画像とオクルージョン画像の両方になる。
【０１８８】
以上のように、動画再生端末１４は、デプスオクルージョン画像の品質情報を取得するので、その品質情報に基づいて、適切なデプスオクルージョン画像を取得することができる。
【０１８９】
＜第２実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第２実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームがデプス関連画像の種類ではなく、テクスチャ画像ごとに分割され、異なるクオリティファイルに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
【０１９０】
図１６は、本開示を適用した情報処理システムの第２実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【０１９１】
図１６のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
【０１９２】
図１６に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリーム、および、１Mpbsのオクルージョン画像の品質情報の符号化ストリームを、その符号化ストリームとの再生に用いられるべきテクスチャ画像ごとに２つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割されたメタデータの符号化ストリームを異なるクオリティファイルに配置することにより、クオリティファイルを生成する。
【０１９３】
具体的には、再生すべきパターンでの再生においてテクスチャファイル（texture1 file）とともに再生に用いられるデプスオクルージョン画像は、２Mbpsおよび１Mpbsのデプス画像と１Mpbsのオクルージョン画像である。従って、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報を含むメタデータの符号化ストリーム、および、１Mpbsのオクルージョン画像の品質情報を含むメタデータの符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。
【０１９４】
クオリティファイル（quality1 file）では、各符号化ストリームが異なるトラック（quality track(depth1),quality track(depth2) ,quality track(occlusion1)）に配置される。
【０１９５】
また、再生すべきパターンでの再生においてテクスチャファイル（texture2 file）とともに再生に用いられるデプスオクルージョン画像は、１Mpbsのデプス画像である。従って、セグメントファイル生成部８３は、１Mpbsのデプス画像の品質情報を含むメタデータの符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。
【０１９６】
以上のように、セグメントファイル生成部８３は、品質情報を含むメタデータの符号化ストリームを、テクスチャ画像ごとに別々にファイル化する。従って、動画再生端末１４は、取得するテクスチャ画像のクオリティファイルから品質情報を取得することにより、そのテクスチャ画像とともに再生すべきパターンでの再生に用いられるデプスオクルージョン画像の品質情報を容易に取得することができる。
【０１９７】
即ち、クオリティファイルには、そのクオリティファイルに対応するテクスチャ画像とともに再生すべきパターンでの再生において用いられるデプスオクルージョン画像の品質情報のみが格納されている。従って、全てのデプスオクルージョン画像の品質情報の符号化ストリームが、まとめてファイル化される場合に比べて、取得するテクスチャ画像とともに再生に用いられるべきデプスオクルージョン画像の品質情報を容易に取得することができる。
【０１９８】
また、図示は省略するが、第２実施の形態におけるMPDファイルは、下記の点を除いて、図１０のMPDファイルと同様である。即ち、第２実施の形態におけるMPDファイルでは、クオリティファイル（quality1 file）のリプレゼンテーション要素が有するassociationIDは、vd1とvd2だけでなく、vo1も含む。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル３とassociationIDとしてのvo1を有するサブリプレゼンテーション要素をさらに含む。さらに、クオリティファイル（quality2 file）のリプレゼンテーション要素が有するassociationIDは、vo1ではなくvd2である。
【０１９９】
さらに、図示は省略するが、第２実施の形態におけるファイル生成処理は、ステップＳ１４において品質情報を含むメタデータの符号化ストリームがデプス関連画像の種類ではなく、テクスチャ画像ごとに分割される点を除いて、図１２のファイル生成処理と同一である。
【０２００】
また、図示は省略するが、第２実施の形態における再生処理は、ステップＳ３６において、MPD処理部１０２が、リストに登録されたデプス画像の品質情報の取得情報のうちの、取得するテクスチャ画像のクオリティファイルに格納される品質情報の取得情報を、品質情報取得部１０３に供給する点を除いて、図１４の再生処理と同一である。
【０２０１】
以上のように、第２実施の形態におけるファイル生成装置１１は、デプスオクルージョン画像の品質情報を、そのデプスオクルージョン画像とともに再生すべきテクスチャ画像ごとに分割して異なるクオリティファイルに配置する。従って、デプスオクルージョン画像ごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、デプスオクルージョン画像の品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
【０２０２】
また、動画再生端末１４は、再生対象のテクスチャ画像とともに再生すべきデプスオクルージョン画像の品質情報のみを格納するクオリティファイルから、品質情報を取得することができる。従って、全てのデプスオクルージョン画像の品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、品質情報の取得効率を向上させることができる。
【０２０３】
＜第３実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第３実施の形態の構成は、主に、デプスオクルージョン画像の品質情報が、再生すべきパターンにおいて再生されるテクスチャ画像または３Ｄ画像の品質情報に代わる点、および、品質情報の符号化ストリームが、その品質情報に対応する再生パターンの種類ごとに分割されて異なるクオリティファイルに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
【０２０４】
図１７は、本開示を適用した情報処理システムの第３実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【０２０５】
図１７のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
【０２０６】
図１７に示すように、セグメントファイル生成部８３は、符号化部８２から供給される再生パターン１乃至７の品質情報を含むメタデータの符号化ストリームを、再生パターンの種類ごとに３つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割された符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成する。
【０２０７】
具体的には、セグメントファイル生成部８３は、テクスチャ画像のみを用いて再生を行う再生パターン１および２の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。クオリティファイル（quality1 file）では、各符号化ストリームが異なるトラック（quality track(texture1),quality track(texture2)）に配置される。
【０２０８】
また、セグメントファイル生成部８３は、テクスチャ画像とデプス画像のみを用いて再生を行う再生パターン３，４、および７の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。クオリティファイル（quality2 file）では、各符号化ストリームが異なるトラック（quality track(texture1+depth1), quality track(texture1+depth2) ,quality track(texture2+depth2)）に配置される。
【０２０９】
さらに、セグメントファイル生成部８３は、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて再生を行う再生パターン５および６の品質情報を含むメタデータの符号化ストリームをセグメント単位で配置したクオリティファイル（quality3 file）を生成する。クオリティファイル（quality3 file）では、各符号化ストリームが異なるトラック（quality track(texture1+depth+occlusion1), quality track(texture1+depth2+occlusion1)）に配置される。
【０２１０】
以上のように、セグメントファイル生成部８３は、再生すべきパターンにおいて再生されるテクスチャ画像または３Ｄ画像の品質情報を含むメタデータの符号化ストリームをクオリティファイルに配置する。従って、動画再生端末１４は、品質情報に基づいて、最終的に再生されるテクスチャ画像または３Ｄ画像の品質が高い再生を行うことができる。
【０２１１】
また、セグメントファイル生成部８３は、再生すべきパターンの品質情報の符号化ストリームを、再生パターンの種類ごとに別々にファイル化する。従って、動画再生端末１４は、候補とする再生パターンの種類のクオリティファイルから、候補とする再生パターンの品質情報を容易に取得することができる。
【０２１２】
これに対して、全ての再生パターンの品質情報の符号化ストリームが、まとめてファイル化される場合、候補とする再生パターンの種類ではない不要な再生パターンの品質情報も含むファイルから、候補とする再生パターンの品質情報を取得する必要がある。
【０２１３】
（MPDファイルの記述例）
図１８は、第３実施の形態におけるMPDファイルの記述例を示す図である。
【０２１４】
図１８のMPDファイルの記述は、クオリティファイル用のアダプテーションセット要素を除いて、図１０の記述と同一である。
【０２１５】
図１８のMPDファイルでは、クオリティファイル（quality1 file）群、クオリティファイル（quality2 file）群、およびクオリティファイル（quality3 file）群が、１つのアダプテーションセット要素でグルーピングされる。
【０２１６】
クオリティファイル用のアダプテーションセット要素には、クオリティファイル（quality1 file）群、クオリティファイル（quality2 file）群、およびクオリティファイル（quality3 file）群のそれぞれに対応するリプレゼンテーション要素が記述される。
【０２１７】
クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq1が記述され、BaseURLとして「quality1.mp4」が記述される。
【０２１８】
また、クオリティファイル（quality1 file）に格納される品質情報は、テクスチャファイル（texture1 file）とテクスチャファイル（texture2 file）の品質情報である。従って、クオリティファイル（quality1 file）に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）群およびテクスチャファイル（texture2 file）群のRepresentation idであるvt1およびvt2が記述される。
【０２１９】
さらに、図１８の例では、レベル１およびレベル２に対応するトラックが、それぞれ、テクスチャファイル（texture1 file）の品質情報、テクスチャファイル（texture2 file）の品質情報を格納している。
【０２２０】
従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのテクスチャファイル（texture1 file）のRepresentation idであるvt1とを対応付ける<SubRepresentation level=”1” associationId=”vt1”>が記述される。また、レベル２と、associationIDとしてのテクスチャファイル（texture2 file）のRepresentation idであるvt2とを対応付ける<SubRepresentation level=”2” associationId=”vt2”>が記述される。即ち、クオリティファイル（quality1 file）の各トラックと、テクスチャ画像を特定するRepresentationID（テクスチャ画像特定情報）との対応関係が記述される。
【０２２１】
また、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq2が記述され、BaseURLとして「quality2.mp4」が記述される。
【０２２２】
また、クオリティファイル（quality2 file）に格納される品質情報は、テクスチャファイル(texture1 file)とデプスファイル（depth1 file)を用いて再生される３Ｄ画像、テクスチャファイル(texture1 file)とデプスファイル（depth2 file)を用いて再生される３Ｄ画像、テクスチャファイル（texture2 file）とデプスファイル（depth2 file)を用いて再生される３Ｄ画像の品質情報である。
【０２２３】
従って、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル(texture1 file)、テクスチャファイル（texture2 file）、デプスファイル（depth1 file)、およびデプスファイル（depth2 file)のRepresentation idであるvt1,vt2,vd1、およびvd2が記述される。
【０２２４】
さらに、図１８の例では、レベル１に対応するトラックがテクスチャファイル(texture1 file)とデプスファイル（depth1 file)を用いて再生される３Ｄ画像の品質情報を格納する。レベル２に対応するトラックがテクスチャファイル(texture1 file)とデプスファイル（depth2 file)を用いて再生される３Ｄ画像の品質情報を格納する。レベル３に対応するトラックがテクスチャファイル（texture2 file）とデプスファイル（depth2 file)を用いて再生される３Ｄ画像の品質情報を格納する。
【０２２５】
従って、クオリティファイル（quality2 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのテクスチャファイル(texture1 file)とデプスファイル（depth1 file)のRepresentation idであるvt1とvd1とを対応付ける<SubRepresentation level=”1” associationId=”vt1 vd1”>が記述される。また、レベル２と、associationIDとしてのテクスチャファイル(texture1 file)とデプスファイル（depth2 file)のRepresentation idであるvt1とvd2とを対応付ける<SubRepresentation level=”2” associationId=”vt1 vd2”>が記述される。
【０２２６】
さらに、レベル３と、associationIDとしてのテクスチャファイル(texture2 file)とデプスファイル（depth2 file)のRepresentation idであるvt2とvd2とを対応付ける<SubRepresentation level=”3” associationId=”vt2 vd2”>が記述される。
【０２２７】
また、クオリティファイル（quality3 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq3が記述され、BaseURLとして「quality3.mp4」が記述される。
【０２２８】
また、クオリティファイル（quality3 file）に格納される品質情報は、テクスチャファイル（texture1 file)、デプスファイル（depth1 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像と、テクスチャファイル（texture1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像の品質情報である。
【０２２９】
従って、クオリティファイル（quality3 file）群に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル(texture1 file)、デプスファイル（depth1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)のRepresentation idであるvt1,vd1,vd2、およびvo1が記述される。
【０２３０】
さらに、図１８の例では、レベル１に対応するトラックがテクスチャファイル（texture1 file)、デプスファイル（depth1 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像の品質情報を格納する。レベル２に対応するトラックがテクスチャファイル（texture1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)を用いて再生される３Ｄ画像の品質情報を格納する。
【０２３１】
従って、クオリティファイル（quality3 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのテクスチャファイル（texture1 file)、デプスファイル（depth1 file)、およびオクルージョンファイル（occlusion file)のRepresentation idであるvt1,vd1、およびvo1とを対応付ける<SubRepresentation level=”1” associationId=”vt1 vd1 vo1”>が記述される。また、レベル２と、associationIDとしてのテクスチャファイル（texture1 file)、デプスファイル（depth2 file)、およびオクルージョンファイル（occlusion file)のRepresentation idであるvt1,vd2、およびvo1とを対応付ける<SubRepresentation level=”2” associationId=”vt1 vd2 vo1”>が記述される。
【０２３２】
なお、図１８の例では、クオリティファイル用のアダプテーションセット要素には、bandwidthが記述されないが、記述されるようにしてもよい。
【０２３３】
また、図示は省略するが、第３実施の形態におけるファイル生成処理は、ステップＳ１１において取得される品質情報が、再生すべきパターンで再生されるテクスチャ画像または３Ｄ画像の品質情報である点、および、ステップＳ１４において品質情報を含むメタデータの符号化ストリームがデプス関連画像の種類ではなく、再生パターンの種類ごとに分割される点を除いて、図１２のファイル生成処理と同一である。
【０２３４】
（ストリーミング再生部の処理の第１の例の説明）
図１９は、第３実施の形態におけるストリーミング再生部１００の再生処理の第１の例を説明するフローチャートである。なお、図１９の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
【０２３５】
図１９のステップＳ９１乃至Ｓ９５の処理は、図１４のステップＳ３１乃至Ｓ３５の処理と同様であるので、説明は省略する。ステップＳ９４乃至Ｓ１０３の処理は、セグメント単位で行われる。
【０２３６】
ステップＳ９６において、MPD処理部１０２は、取得するテクスチャ画像を再生する再生パターンのリストを作成する。
【０２３７】
例えば、MPD処理部１０２は、ネットワーク帯域の２０パーセントがデプス画像の最大許容ビットレートであるものとする。そして、取得するテクスチャ画像がテクスチャファイル（texture1 file）のテクスチャ画像であり、デプスファイル（depth1 file）とデプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン３および４が登録されたリストを作成する。
【０２３８】
一方、取得するテクスチャ画像がテクスチャファイル（texture2 file）のテクスチャ画像であり、デプスファイル（depth2 file）のデプス画像のビットレートが最大許容ビットレートより小さい場合、MPD処理部１０２は、再生パターン７が登録されたリストを作成する。そして、MPD処理部１０２は、リストに登録された再生パターンの品質情報の取得情報を、品質情報取得部１０３に供給する。
【０２３９】
なお、取得するテクスチャ画像とともに再生すべきデプス画像の全てのビットレートが最大許容ビットレート以上である場合、デプス画像の取得候補のリストには何も登録されず、テクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ１０３に進む。
【０２４０】
ステップＳ９７において、品質情報取得部１０３は、MPD処理部１０２から供給される取得情報に基づいて、所定の再生パターンの品質情報を含むメタデータの符号化ストリームをWebサーバ１２に要求し、取得する。品質情報取得部１０３は、取得された符号化ストリームを復号部１０４に供給する。
【０２４１】
ステップＳ９８において、復号部１０４は、品質情報取得部１０３から供給される所定の再生パターンの品質情報の符号化ストリームを復号し、所定の再生パターンの品質情報を含むメタデータを生成する。復号部１０４は、所定の再生パターンの品質情報をMPD処理部１０２に供給する。
【０２４２】
ステップＳ９９において、MPD処理部１０２は、復号部１０４から供給される品質情報に基づいて、リストに登録されている再生パターンの再生に用いられるデプス画像の中から、取得するデプス画像を決定する。
【０２４３】
例えば、MPD処理部１０２は、品質情報が表す品質が最も良い再生パターン、品質情報が表す品質が直前のセグメント（またはサブセグメント）の再生パターンの品質に最も近い再生パターン、または品質情報が表す品質が許容可能な品質であり、かつ、最もビットレートが小さい再生パターンでの再生に用いられるデプス画像を、取得するデプス画像に決定する。
【０２４４】
品質情報が表す品質が直前のセグメント（またはサブセグメント）の再生パターンの品質に最も近い再生パターンでの再生に用いられるデプス画像が、取得するデプス画像に決定される場合、再生される３Ｄ画像の見た目の違和感を軽減することができる。MPD処理部１０２は、取得するデプス画像の取得情報を画像取得部１０５に供給する。
【０２４５】
ステップＳ１００乃至Ｓ１０３の処理は、図１４のステップＳ４０乃至Ｓ４３の処理と同様であるので、説明は省略する。
【０２４６】
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理は、以下の点を除いて図１９の再生処理と同様である。
【０２４７】
即ち、図１９のステップＳ９３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ９９乃至Ｓ１０２の処理におけるデプス画像がデプス画像とオクルージョン画像に代わる。なお、この場合、テクスチャ画像、デプス画像、オクルージョン画像の最大許容ビットレートは、例えば、ネットワーク帯域の７０パーセント、１５パーセント、１５パーセントとされる。
【０２４８】
（ストリーミング再生部の処理の第２の例の説明）
図２０は、第３実施の形態におけるストリーミング再生部１００の再生処理の第２の例を説明するフローチャートである。なお、図２０の再生処理では、ストリーミング再生部１００は、テクスチャ画像とデプス画像を用いた３Ｄ画像の再生を行う。
【０２４９】
図２０の再生処理は、主に、テクスチャ画像とデプス画像の最大許容ビットレートのネットワーク帯域に対する割合が決められていない点が、図１９の再生処理と異なる。
【０２５０】
図２０のステップＳ１２１乃至Ｓ１２４は、図１９のステップＳ９１乃至Ｓ９４の処理と同様であるので、説明は省略する。ステップＳ１２４乃至Ｓ１３２の処理は、セグメント単位で行われる。
【０２５１】
ステップＳ１２５において、MPD処理部１０２は、再生パターンの候補、計測部１０８から供給されるインターネット１３のネットワーク帯域、並びに、テクスチャ画像とデプス画像のビットレートに基づいて、再生パターンのリストを作成する。
【０２５２】
具体的には、再生パターン３，４、および７のうちの、再生に用いられるテクスチャ画像とデプス画像のビットレートの和がネットワーク帯域を超えないものが登録されたリストを作成する。
【０２５３】
なお、テクスチャ画像とデプス画像のビットレートの下限を予め決定しておき、リストに登録された再生パターンのうち、再生に用いられるテクスチャ画像とデプス画像の少なくとも一方のビットレートが下限を下回る再生パターンを除外するようにしてもよい。
【０２５４】
また、再生パターン３，４、および７での再生に用いられるテクスチャ画像とデプス画像のビットレートの和の全てがネットワーク帯域を超えている場合、再生パターンのリストには何も登録されない。そして、ネットワーク帯域を超えない最大のビットレートのテクスチャ画像の符号化ストリームのみが取得、復号、および表示され、処理はステップＳ１３２に進む。
【０２５５】
ステップＳ１２６およびＳ１２７の処理は、図１９のステップＳ９７およびＳ９８の処理と同様であるので、説明は省略する。
【０２５６】
ステップＳ１２８において、MPD処理部１０２は、品質情報に基づいて、リストに登録されている再生パターンでの再生に用いられるテクスチャ画像およびデプス画像の組み合わせの中から、図１５のＳ６９の処理と同様に、取得するテクスチャ画像およびデプス画像の組み合わせを決定する。
【０２５７】
ステップＳ１２９乃至Ｓ１３２の処理は、図１９のステップＳ１００乃至Ｓ１０３の処理と同様であるので、説明は省略する。
【０２５８】
なお、図示は省略するが、ストリーミング再生部１００が、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて３Ｄ画像の再生を行う再生処理の第２の例は、以下の点を除いて図２０の再生処理と同様である。
【０２５９】
即ち、図２０のステップＳ１２３で選択される再生パターンの候補が、再生パターン５および６である。また、ステップＳ１２８乃至Ｓ１３１の処理におけるデプス画像は、デプス画像とオクルージョン画像の両方になる。
【０２６０】
以上のように、第３実施の形態におけるファイル生成装置１１は、再生すべきパターンの品質情報を、再生パターンの種類ごとに分割して異なるクオリティファイルに配置する。従って、再生すべきパターンごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
【０２６１】
また、動画再生端末１４は、候補とする種類の再生パターンの品質情報のみを格納するクオリティファイルから品質情報を取得することができる。従って、全ての再生パターンの品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、候補とする再生パターンの品質情報の取得効率を向上させることができる。
【０２６２】
＜第４実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第４実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームが再生パターンの種類ではなく、再生に用いられるテクスチャ画像ごとに分割され、異なるクオリティファイルに配置される点を除いて、第３実施の形態の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
【０２６３】
図２１は、本開示を適用した情報処理システムの第４実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【０２６４】
図２１のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
【０２６５】
図２１に示すように、セグメントファイル生成部８３は、符号化部８２から供給される再生パターン１乃至７の品質情報を含むメタデータの符号化ストリームを、各再生パターンでの再生に用いられるテクスチャ画像ごとに２つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割された符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成する。
【０２６６】
具体的には、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）を用いて再生を行う再生パターン１乃至５の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。クオリティファイル（quality1 file）では、各符号化ストリームが異なるトラック（quality track(texture1),quality track(texture1+depth1),quality track(texture1+depth2),quality track(texture1+depth1+occlusion),quality track(texture1+depth2+occlusion)）に配置される。
【０２６７】
また、セグメントファイル生成部８３は、テクスチャファイル（texture2 file）を用いて再生を行う再生パターン６および７の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。クオリティファイル（quality2 file）では、各符号化ストリームが異なるトラック（quality track(texture2),quality track(texture2+depth2)）に配置される。
【０２６８】
以上のように、セグメントファイル生成部８３は、再生パターンの品質情報の符号化ストリームを、テクスチャ画像ごとに別々にファイル化する。従って、動画再生端末１４は、取得するテクスチャ画像のクオリティファイルから品質情報を取得することにより、そのテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報を容易に取得することができる。
【０２６９】
また、図示は省略するが、第４実施の形態におけるMPDファイルは、下記の点を除いて、図１８のMPDファイルと同様である。即ち、第４実施の形態におけるMPDファイルでは、クオリティファイル用のアダプテーションセット要素に含まれるリプレゼンテーション要素の数は２つである。
【０２７０】
１つ目のクオリティファイル（quality1 file）群のリプレゼンテーション要素が有するassociationIDは、vt1,vt2,vd1,vd2、およびvo1である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt1、レベル２とassociationIDとしてのvt1およびvd1、レベル３とassociationIDとしてのvt1およびvd2、レベル４とassociationID としてのvt1,vd1、およびvo1、レベル５と、associationIDとしてのvt1,vd2、およびvo1をそれぞれ有する５つのサブリプレゼンテーション要素を含む。
【０２７１】
２つ目のクオリティファイル（quality2 file）のリプレゼンテーション要素が有するassociationIDは、vt2とvd2である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt2、レベル２とassociationIDとしてのvt2およびvd2をそれぞれ有する２つのサブリプレゼンテーション要素を含む。
【０２７２】
さらに、図示は省略するが、第４実施の形態におけるファイル生成処理は、品質情報を含むメタデータの符号化ストリームが再生パターンの種類ではなく、テクスチャ画像ごとに分割される点を除いて、第３実施の形態におけるファイル生成処理と同一である。
【０２７３】
また、図示は省略するが、第４実施の形態における再生処理は、図１９や図２０の再生処理と同一である。
【０２７４】
以上のように、第４実施の形態におけるファイル生成装置１１は、再生すべきパターンの品質情報を、テクスチャ画像ごとに分割して異なるクオリティファイルに配置する。従って、再生すべきパターンごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、再生すべきパターンの品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
【０２７５】
また、動画再生端末１４は、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報のみを格納するクオリティファイルから、品質情報を取得することができる。従って、全ての再生パターンの品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報の取得効率を向上させることができる。
【０２７６】
＜第５実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第５実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームが再生パターンの種類だけでなく、テクスチャ画像ごとにも分割され、異なるクオリティファイルに配置される点を除いて、第３実施の形態の構成と同一である。即ち、第５実施の形態は、第３実施の形態と第４実施の形態を組み合わせたものである。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
【０２７７】
図２２は、本開示を適用した情報処理システムの第５実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【０２７８】
図２２のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
【０２７９】
図２２に示すように、セグメントファイル生成部８３は、符号化部８２から供給される再生パターン１乃至７の品質情報を含むメタデータの符号化ストリームを、再生パターンの種類、および、各再生パターンでの再生に用いられるテクスチャ画像ごとに、５つに分割する。そして、セグメントファイル生成部８３は、セグメント単位で、分割された符号化ストリームを異なるクオリティファイルに配置することによりクオリティファイルを生成する。
【０２８０】
具体的には、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）のみを用いて再生を行う再生パターン１の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality1 file）を生成する。
【０２８１】
また、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）とデプスファイルのみを用いて再生を行う再生パターン３および４の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality2 file）を生成する。クオリティファイル（quality2 file）では、各符号化ストリームが異なるトラック（quality track(texture1+depth1),quality track(texture1+depth2)）に配置される。
【０２８２】
さらに、セグメントファイル生成部８３は、テクスチャファイル（texture1 file）、デプスファイル、およびオクルージョンファイルを用いて再生を行う再生パターン５および６の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality3 file）を生成する。クオリティファイル（quality3 file）では、各符号化ストリームが、異なるトラック（quality track(texture1+depth1+occlusion),quality track(texture1+depth2+occlusion)）に配置される。
【０２８３】
また、セグメントファイル生成部８３は、テクスチャファイル（texture2 file）のみを用いて再生を行う再生パターン２の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality4 file）を生成する。
【０２８４】
さらに、セグメントファイル生成部８３は、テクスチャファイル（texture2 file）とデプスファイルのみを用いて再生を行う再生パターン７の品質情報の符号化ストリームをセグメント単位で配置したクオリティファイル（quality5 file）を生成する。
【０２８５】
以上のように、セグメントファイル生成部８３は、再生パターンの品質情報の符号化ストリームを、再生パターンの種類およびテクスチャ画像ごとに別々にファイル化する。従って、候補とする再生パターンの種類であり、かつ再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンのクオリティファイルから、そのテクスチャ画像を用いて再生を行う、候補とする種類の再生すべきパターンの品質情報を容易に取得することができる。
【０２８６】
また、図示は省略するが、第５実施の形態におけるMPDファイルは、下記の点を除いて、図１８のMPDファイルと同様である。即ち、第５実施の形態におけるMPDファイルでは、クオリティファイル用のアダプテーションセット要素に含まれるリプレゼンテーション要素の数は５つである。
【０２８７】
１つ目のクオリティファイル（quality1 file）のリプレゼンテーション要素が有するassociationIDはvt1であり、４つ目のクオリティファイル（quality4 file）のリプレゼンテーション要素が有するassociationIDはvt2である。５つ目のクオリティファイル（quality5 file）のリプレゼンテーション要素が有するassociationIDはvt2とvd2である。
【０２８８】
２つ目のクオリティファイル（quality2 file）のリプレゼンテーション要素が有するassociationIDは、vt1,vd1、およびvd2である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt1およびvd1、レベル２とassociationIDとしてのvt1およびvd2をそれぞれ有するサブリプレゼンテーション要素を含む。
【０２８９】
３つ目のクオリティファイル（quality2 file）のリプレゼンテーション要素が有するassociationIDは、vt1,vd1,vd2、およびvo1である。また、クオリティファイル（quality1 file）のリプレゼンテーション要素は、レベル１とassociationIDとしてのvt1,vd1、およびvo1、レベル２とassociationIDとしてのvt1,vd2、およびvo1をそれぞれ有するサブリプレゼンテーション要素を含む。
【０２９０】
さらに、図示は省略するが、第５実施の形態におけるファイル生成処理は、品質情報を含むメタデータの符号化ストリームが再生パターンの種類だけでなく、テクスチャ画像ごとにも分割される点を除いて、第３実施の形態におけるファイル生成処理と同一である。また、図示は省略するが、第５実施の形態における再生処理は、図１９や図２０の再生処理と同一である。
【０２９１】
以上のように、第５実施の形態におけるファイル生成装置１１は、再生すべきパターンの品質情報を、再生パターンの種類およびテクスチャ画像ごとに分割して異なるクオリティファイルに配置する。従って、再生すべきパターンごとに異なるクオリティファイルに品質情報が配置される場合に比べて、クオリティファイルの数を削減することができる。よって、再生すべきパターンの品質情報を効率的に格納することができるといえる。また、動画再生端末１４の品質情報の取得に関する処理量を削減することができる。
【０２９２】
また、動画再生端末１４は、候補とする再生パターンの種類の、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報のみを格納するクオリティファイルから、品質情報を取得することができる。従って、全ての再生パターンの品質情報を格納するクオリティファイルから品質情報を取得する場合に比べて、候補とする再生パターンの種類の、再生対象のテクスチャ画像を用いて再生を行う再生すべきパターンの品質情報の取得効率を向上させることができる。
【０２９３】
＜第６実施の形態＞
（セグメントファイルの例）
本開示を適用した情報処理システムの第６実施の形態の構成は、主に、品質情報を含むメタデータの符号化ストリームが１つのクオリティファイルにまとめて配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、クオリティファイルに関する説明以外の説明は適宜省略する。
【０２９４】
図２３は、本開示を適用した情報処理システムの第６実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【０２９５】
図２３のセグメントファイルは、クオリティファイルを除いて、図５のセグメントファイルと同一である。
【０２９６】
図２３に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報を含むメタデータの符号化ストリーム、および、１Mpbsのオクルージョン画像の品質情報を含むメタデータの符号化ストリームを、セグメント単位で、１つのクオリティファイル（quality1 file）に配置することにより、１つのクオリティファイル（quality1 file）を生成する。
【０２９７】
クオリティファイル（quality1 file）では、各符号化ストリームに異なるトラック（quality track(depth1),quality track(depth2),quality track(Occlusion1)）が割り当てられる。
【０２９８】
（MPDファイルの記述例）
図２４は、第６実施の形態におけるMPDファイルの記述例を示す図である。
【０２９９】
図２４のMPDファイルの構成は、クオリティファイル用のアダプテーションセット（AdaptationSet）要素を除いて、図１０の構成と同一である。
【０３００】
図２４のMPDファイルでは、クオリティファイル（quality1 file）群が、１つのアダプテーションセット要素でグルーピングされる。
【０３０１】
クオリティファイル用のアダプテーションセット要素には、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素が記述される。クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvq1が記述され、BaseURLとして「quality1.mp4」が記述される。
【０３０２】
また、クオリティファイル（quality1 file）に格納される品質情報は、デプスファイル（depth1 file）、デプスファイル（depth2 file）、およびオクルージョンファイル（occlusion1 file）の品質情報である。従って、クオリティファイル（quality1 file）に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）群、デプスファイル（depth2 file）群、およびオクルージョンファイル（occlusion1 file）群のRepresentation idであるvd1,vd2、およびvo1が記述される。
【０３０３】
さらに、図２４の例では、レベル１乃至レベル３に対応するトラックが、それぞれ、デプスファイル（depth1 file）、デプスファイル（depth2 file）、オクルージョンファイル（occlusion1 file）の品質情報を格納している。
【０３０４】
従って、クオリティファイル（quality1 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしてのデプスファイル（depth1 file）のRepresentation idであるvd1とを対応付ける<SubRepresentation level=”1” associationId=”vd1”>が記述される。レベル２と、associationIDとしてのデプスファイル（depth2 file）のRepresentation idであるvd2とを対応付ける<SubRepresentation level=”2” associationId=”vd2”>が記述される。レベル３と、associationIDとしてのオクルージョンファイル（occlusion1 file）のRepresentation idであるvo1とを対応付ける<SubRepresentation level=”3” associationId=”vo1”>が記述される。
【０３０５】
なお、図２４の例では、クオリティファイル用のアダプテーションセット要素には、bandwidthが記述されないが、記述されるようにしてもよい。
【０３０６】
また、図示は省略するが、第６実施の形態におけるファイル生成処理は、ステップＳ１４の処理が行われず、ステップＳ１５において品質情報を含むメタデータの符号化ストリームがセグメント単位で１つのクオリティファイルに配置される点を除いて、図１２のファイル生成処理と同一である。
【０３０７】
また、図示は省略するが、第６実施の形態における再生処理は、図１４や図１５の再生処理と同一である。
【０３０８】
なお、第１および第６実施の形態では、再生すべきパターンにおける画像の組み合わせがMPDファイルに記述されたが、記述されなくてもよい。この場合、組み合わせ可能な画像の全ての組み合わせを用いた再生パターンから、再生パターンの候補が選択される。
【０３０９】
また、品質情報の符号化ストリームは、符号化ストリームごとに異なるクオリティファイルに配置されるようにしてもよい。
【０３１０】
＜第７実施の形態＞
（セグメントファイルの構成例）
本開示を適用した情報処理システムの第７実施の形態の構成は、主に、デプスオクルージョン画像の符号化ストリームとデプスオクルージョン画像の品質情報の符号化ストリームが、デプスオクルージョン画像の種類ごとに分割されて異なるセグメントファイルに配置される点、および、同一のセグメントファイル内の品質情報の符号化ストリームは同一のトラックに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、デプスオクルージョン画像の種類ごとのセグメントファイルに関する説明以外の説明は適宜省略する。
【０３１１】
図２５は、本開示を適用した情報処理システムの第７実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【０３１２】
図２５のテクスチャファイルは、図５のテクスチャファイルと同一である。図２５に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像並びに１Mpbsのオクルージョン画像の品質情報の符号化ストリームと、２Mbpsおよび１Mpbsのデプス画像並びに１Mpbsのオクルージョン画像の符号化ストリームを、デプスオクルージョン画像の種類ごとに２つに分割する。
【０３１３】
そして、セグメントファイル生成部８３は、セグメント単位で、分割された２Mbpsおよび１Mpbsのデプス画像の符号化ストリーム並びに２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームを配置したセグメントファイルを生成する。
【０３１４】
具体的には、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の符号化ストリーム並びに２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームを配置したデプスファイル（depth1 file）を生成する。
【０３１５】
デプスファイル(depth1 file)では、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームが同一のトラック（quality1 track）に配置され、２Mbpsのデプス画像の符号化ストリームと１Mpbsのデプス画像の符号化ストリームがそれぞれ別のトラック(depth1 track,depth2 track)に配置される。
【０３１６】
従って、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームのトラック（quality1 track）では、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームの両方がまとめてサンプル化されている。
【０３１７】
また、セグメントファイル生成部８３は、１Mpbsのオクルージョン画像の符号化ストリームおよび１Mpbsのオクルージョン画像の品質情報の符号化ストリームを配置したオクルージョンファイル（occlusion1 file）を生成する。
【０３１８】
以上のように、第７実施の形態では、同一のデプスオクルージョン画像のセグメントファイルに配置される品質情報の符号化ストリームは、同一のトラックに配置される。従って、同一のデプスオクルージョン画像のセグメントファイルに配置される品質情報の符号化ストリームが、符号化ストリームごとに異なるトラックに配置される場合に比べて、デプスオクルージョン画像のセグメントファイル内のトラック数を削減することができる。その結果、デプスオクルージョン画像のセグメントファイルのサイズを小さくすることができる。また、動画再生端末１４の負荷を軽減することができる。
【０３１９】
（サンプルの構成例）
図２６は、図２５のトラック（quality1 track）のサンプルの構成例を示す図である。
【０３２０】
図２６に示すように、トラック（quality1 track）のサンプルは、２つのサブサンプルに分割され、各サブサンプルには、２Mbpsおよび１Mpbsのデプス画像の符号化ストリームのそれぞれが分割して配置される。
【０３２１】
図２６の例では、ｉ番目（ｉ=1,2,...,n）のサンプルの１つ目のサブサンプルに２Mbpsのデプス画像の符号化ストリーム（Depth1 Quality i）が配置され、２つ目のサブサンプルに１Mbpsのデプス画像の符号化ストリーム（Depth2 Quality i）が配置されている。サブサンプルの詳細については、ISO/IEC 23001-10に記載されている。
【０３２２】
（デプスファイルのmoovボックスの構成例）
図２７は、デプスファイル(depth1 file)のmoovボックス（movie box）の構成例を示す図である。
【０３２３】
図２７に示すように、デプスファイル(depth1 file)のmoovボックスには、トラックごとにtrakボックスが配置される。trakボックスには、トラックに固有のＩＤであるトラックＩＤ（track_ID）を記述するtkhdボックス（track header box）が配置される。
【０３２４】
図２７の例では、２Mbpsのデプス画像の符号化ストリームが配置されるトラック（depth1 track）のトラックＩＤが１であり、１Mpbsのデプス画像の符号化ストリームが配置されるトラック（depth2 track）のトラックＩＤが２である。また、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームが配置されるトラック（quality1 track）のトラックＩＤが３である。
【０３２５】
trakボックスにはまた、自分のトラックと関係する他のトラックのトラックＩＤを記述するtrefボックス（track reference）を配置することができる。具体的には、トラック（quality1 track）は、トラック（depth1 track）とトラック（depth2 track）に配置されるデプス画像の符号化ストリームの品質情報の符号化ストリームを格納するトラックである。従って、トラック（quality1 track）には、トラック（depth1 track）とトラック（depth2 track）のトラックＩＤである１と２を記述するtrefボックスが配置される。
【０３２６】
これにより、動画再生端末１４は、トラック（quality1 track）が、トラック（depth1 track）とトラック（depth2 track）に配置されるデプス画像の符号化ストリームの品質情報の符号化ストリームを格納していることを認識することができる。
【０３２７】
しかしながら、動画再生端末１４は、トラック（quality1 track）のどのサブサンプルが、トラック（depth1 track）またはトラック（depth2 track）に格納されるデプス画像の符号化ストリームの品質情報の符号化ストリームを格納しているかを認識することはできない。
【０３２８】
従って、第７実施の形態では、サブサンプルと、そのサブサンプルに配置される品質情報の符号化ストリームに対応するデプスオクルージョン画像のトラックを特定するトラックＩＤ(トラック特定情報)との対応関係（以下、サブサンプルトラック対応関係という）が記述される。これにより、動画再生端末１４は、各サブサンプルに格納されるデプスオクルージョン画像の符号化ストリームの品質情報を認識することができる。その結果、動画再生端末１４は、トラック（quality1 track）から各デプスオクルージョン画像の品質情報の符号化ストリームを取得することができる。
【０３２９】
第７実施の形態では、サブサンプルトラック対応関係が、デプスオクルージョン画像のセグメントファイル内のQualityMetricsConfigurationBox,QualityMetricsSampleEntry,SubsampleInformationBox、またはSubsampleReferenceBoxに記述されるようにするが、これら以外のボックスに記述されるようにしてもよい。
【０３３０】
（QualityMetricsConfigurationBoxの記述例）
図２８は、サブサンプルトラック対応関係が、トラック（quality1 track）のtrakボックスに配置されるQualityMetricsConfigurationBoxに記述される場合のQualityMetricsConfigurationBoxの記述例を示す図である。
【０３３１】
図２８のQualityMetricsConfigurationBoxでは、field_size_bytesとmetric_countが記述され、metric_count分だけmetric_codeが記述される。field_size_bytes,metric_count、およびmetric_countは、クオリティファイルはトラック（quality1 track）に代わる点を除いて、図６の場合と同様である。
【０３３２】
第７実施の形態では、クオリティファイルはトラック（quality1 track）のサンプルに、トラック（depth1 track）とトラック（depth2 track）の２種類の品質情報の符号化ストリームが格納される。従って、metric_countは２である。
【０３３３】
また、QualityMetricsConfigurationBoxでは、サブサンプルトラック対応関係が記述可能であることを示す１が、flagとして設定される。
【０３３４】
flagが１である場合、QualityMetricsConfigurationBoxには、metric_codeごとに、トラック（quality1 track）を含むデプスファイル（depth1 file）内に参照するトラックが存在するかどうかを示すreferenced_track_in_file_flagが記述される。
【０３３５】
各metric_codeのreferenced_track_in_file_flagが１である場合、QualityMetricsConfigurationBoxには、そのmetric_codeに対応するサブサンプルのreference_track_id_numと、reference_track_id_num個のtrack_idとが記述される。
【０３３６】
reference_track_id_numは、参照するデプスファイル（depth1 file）内のトラックの数である。track_idは、参照するデプスファイル（depth1 file）内のトラックのトラックＩＤである。
【０３３７】
第７実施の形態では、トラック（quality1 track）のサンプル内の１つ目のサブサンプルは、デプスファイル（depth1 file）内のトラック（depth1 track）に対応し、２つ目のサブサンプルは、トラック（depth2 track）に対応する。従って、各サブサンプルに対応するmetric_code のreferenced_track_in_file_flagは、トラック（quality1 track）を含むデプスファイル（depth1 file）内に参照するトラックが存在することを示す１に設定される。
【０３３８】
また、各サブサンプルに対応するmetric_codeのreference_track_id_numは１である。さらに、１つ目のサブサンプルに対応するmetric_codeのtrack_idは、そのサブサンプルに配置される品質情報の符号化ストリームに対応するデプス画像のトラック（depth1 track）を特定するトラックＩＤ(トラック特定情報)である１である。また、２つ目のサブサンプルに対応するmetric_codeのtrack_idは、そのサブサンプルに配置される品質情報の符号化ストリームに対応するデプス画像のトラック（depth2 track）のトラックＩＤである２である。
【０３３９】
以上のように、QualityMetricsConfigurationBoxでは、サンプルに配置される順に、サブサンプルに対応するデプス画像のトラックＩＤが記述されることにより、サブサンプルトラック対応関係が記述される。
【０３４０】
（QualityMetricsSampleEntryの記述例）
図２９は、サブサンプルトラック対応関係がトラック（quality1 track）のtrakボックスに配置されるQualityMetricsSampleEntryに記述される場合のQualityMetricsSampleEntryの記述例を示す図である。
【０３４１】
図２９のQualityMetricsSampleEntryには、QualityMetricsReferenceBoxが配置される。QualityMetricsReferenceBoxには、図２８のQualityMetricsConfigurationBoxと同様に、metric_countが記述される。また、QualityMetricsConfigurationBoxのmetric_codeの順で、referenced_track_in_file_flagが記述され、各metric_codeのreferenced_track_in_file_flagが１である場合、そのmetric_codeのreference_track_id_numとreference_track_id_num分のtrack_idが記述される。
【０３４２】
（SubsampleInformationBoxの記述例）
図３０は、サブサンプルトラック対応関係がトラック（quality1 track）のtrakボックスに配置されるSubsampleInformationBoxに記述される場合のSubsampleInformationBoxの記述例を示す図である。
【０３４３】
SubsampleInformationBoxは、サブサンプルに関する情報を記述するボックスである。trakボックスは、flagsの値の異なるSubSampleInformationBoxを複数有することができる。図３０のSubsampleInformationBoxでは、サブサンプルトラック対応関係が記述可能であることを示す２が、versionとして設定される。
【０３４４】
versionが１より大きい場合、SubsampleInformationBoxには、サブサンプルごとに、track_reference_is_exist_flagとreferenced_track_in_file_flagが記述される。track_reference_is_exist_flagは、サブサンプルトラック対応関係を記述可能にする拡張が必要であるかどうかを示すフラグである。これにより、versionとして３以上の値が設定される場合に、サブサンプルトラック対応関係を記述可能にする拡張が無駄に行われることを防止することができる。
【０３４５】
第７実施の形態では、サブサンプルトラック対応関係を記述可能にする拡張が必要であるため、track_reference_is_exist_flagは、サブサンプルトラック対応関係を記述可能にする拡張が必要であることを示す１に設定される。
【０３４６】
各サブサンプルのtrack_reference_is_exist_flagとreferenced_track_in_file_flagの両方が１である場合、SubsampleInformationBoxには、そのサブサンプルのreference_track_id_numとreference_track_id_num個のtrack_idとが記述される。
【０３４７】
（SubsampleReferenceBoxの記述例）
図３１は、サブサンプルトラック対応関係がトラック（quality1 track）のtrakボックスに配置されるSubsampleReferenceBoxに記述される場合のSubsampleReferenceBoxの記述例を示す図である。
【０３４８】
図３１のSubsampleReferenceBoxには、サブサンプルごとに、referenced_track_in_file_flagが記述され、各サブサンプルのreferenced_track_in_file_flagが１である場合、そのサブサンプルのreference_track_id_numとreference_track_id_num 分のtrack_idが記述される。
【０３４９】
（MPDファイルの記述例）
図３２は、第７実施の形態におけるMPDファイルの記述例を示す図である。
【０３５０】
図３２のMPDファイルの構成は、デプスファイル用のアダプテーションセット要素およびオクルージョンファイル用のアダプテーションセット要素の構成、並びに、クオリティファイル用のアダプテーションセット要素が設けられない点を除いて、図１０のMPDファイルの構成と同一である。
【０３５１】
図３２のデプスファイル用のアダプテーションセット要素には、デプスファイル（depth1 file）群に対応するリプレゼンテーション要素が記述される。
【０３５２】
デプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvd1が記述され、BaseURLとして「depth1.mp4」が記述される。なお、図３２の例では、bandwidthが記述されていないが、bandwidthが記述されてもよい。
【０３５３】
また、デプスファイル（depth1 file）とともに再生すべきテクスチャファイルは、テクスチャファイル（texture1 file）またはテクスチャファイル（texture2 file）である。従って、デプスファイル（depth1 file）に対応するリプレゼンテーション要素には、associationIDとしてテクスチャファイル（texture1 file）とテクスチャファイル（texture2 file）のRepresentation idであるvt1とvt2が記述される。
【０３５４】
さらに、図３２の例では、levaボックスにより、レベル１および２のそれぞれに、トラック(depth1 track)、トラック(depth2 track)が対応付けられている。
【０３５５】
従って、図３２のデプスファイル（depth1 file）群に対応するリプレゼンテーション要素には、レベル１と、associationIDとしての、トラック(depth1 track)とともに再生すべきテクスチャファイル（texture1 file）のRepresentation idであるvt1とを対応付ける<SubRepresentation level=”1” associationId=”vt1”>が記述される。
【０３５６】
同様に、レベル２と、associationIDとしての、トラック(depth2 track)とともに再生すべきテクスチャファイル（texture1 file）およびテクスチャファイル（texture2 file）のRepresentation idであるvt1およびvt2とを対応付ける<SubRepresentation level=”2” associationId=”vt1 vt2”>が記述される。
【０３５７】
オクルージョンファイル（occlusion1 file）群に対応するリプレゼンテーション要素には、Representation idとしてvo1が記述され、BaseURLとして「occlusion1.mp4」が記述される。なお、図３２の例では、bandwidthが記述されていないが、bandwidthが記述されてもよい。
【０３５８】
また、オクルージョンファイル（occlusion1 file）ともに再生すべきデプスファイルは、デプスファイル（depth1 file）である。従って、オクルージョンファイル（occlusion1 file）に対応するリプレゼンテーション要素には、associationIDとしてデプスファイル（depth1 file）のRepresentation idであるvd1が記述される。
【０３５９】
なお、図３２の例では、再生すべきパターンにおいて用いられる画像の組み合わせがMPDファイルに記述されていないが、記述されるようにしてもよい。
【０３６０】
また、図示は省略するが、第７実施の形態におけるファイル生成処理は、ステップＳ１３において生成されるデプスファイルおよびオクルージョンファイルに、対応する品質情報が配置され、ステップＳ１４およびＳ１５の処理が行われない点を除いて、図１２のファイル生成処理と同一である。
【０３６１】
さらに、図示は省略するが、第７実施の形態における再生処理は、サブサンプルトラック対応関係も参照して符号化ストリームが取得される点を除いて、図１４や図１５の再生処理と同一である。
【０３６２】
以上のように、第７実施の形態におけるファイル生成装置１１は、同一のデプスオクルージョン画像のセグメントファイルに配置される複数の品質情報の符号化ストリームを、まとめて１つのトラックに配置する。従って、各品質情報の符号化ストリームを異なるトラックに配置する場合に比べて、デプスオクルージョン画像のセグメントファイルを構成するトラックの数を削減することができる。即ち、デプスオクルージョン画像の品質情報を効率的に格納することができる。これにより、デプスオクルージョン画像のセグメントファイルのサイズが削減される。その結果、ファイル生成装置１１が、デプスオクルージョン画像のセグメントファイルをアップロードする際の伝送量が低減される。
【０３６３】
なお、第７実施の形態では、品質情報がデプスオクルージョン画像の品質情報であったが、テクスチャ画像またはテクスチャ画像とデプスオクルージョン画像を用いて再生される３Ｄ画像の品質情報であるようにしてもよい。
【０３６４】
この場合、例えば、テクスチャファイルに、テクスチャ画像のトラックとテクスチャ画像の品質情報のトラックが配置され、デプスファイルに、デプス画像のトラックと、テクスチャ画像およびデプス画像を用いて再生される３Ｄ画像の品質情報のトラックが配置される。また、オクルージョンファイルに、オクルージョン画像のトラックと、テクスチャ画像、デプス画像、およびオクルージョン画像を用いて再生される３Ｄ画像の品質情報のトラックが配置される。
【０３６５】
＜第８実施の形態＞
（セグメントファイルの構成例）
本開示を適用した情報処理システムの第８実施の形態の構成は、主に、同一のクオリティファイル内の品質情報の符号化ストリームは同一のトラックに配置される点を除いて、図１の情報処理システム１０の構成と同一である。従って、以下では、デプス画像のクオリティファイル（quality1 file）に関する説明以外の説明は適宜省略する。
【０３６６】
図３３は、本開示を適用した情報処理システムの第８実施の形態のセグメントファイル生成部８３により生成されるセグメントファイルの例を示す図である。
【０３６７】
図３３のセグメントファイルは、デプス画像のクオリティファイル（quality1 file）を除いて、図５のセグメントファイルと同一である。
【０３６８】
図３３に示すように、セグメントファイル生成部８３は、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームをまとめて１つのトラック（quality1 track）に配置したクオリティファイル（quality1 file）を生成する。トラック（quality1 track）では、第７実施の形態と同様に、２Mbpsおよび１Mpbsのデプス画像の品質情報の符号化ストリームの両方がまとめてサンプル化されている。
【０３６９】
第８実施の形態におけるMPDファイルは、図１０のMPDファイルと同一である。即ち、第８実施の形態におけるMPDファイルでは、クオリティファイル（quality1 file）に対応するリプレゼンテーション要素において、各レベルとデプスオクルージョン画像を特定するassociationIDとの対応関係が記述される。
【０３７０】
（levaボックスの第１の記述例）
図３４は、クオリティファイル（quality file)のlevaボックスの第１の記述例を示す図である。
【０３７１】
図３４に示すように、クオリティファイル（quality file)のlevaボックスには、MPDファイルに記述されたクオリティファイル（quality file)に対応するサブリプレゼンテーション要素が有するレベルの数を示すlevel_countが記述される。
【０３７２】
また、クオリティファイル（quality file)のlevaボックスには、レベル１から順にlevel_countだけ、各レベルのtrack_id,assignment_type等が記述される。assignment_typeは、レベルと対応付けられるもののタイプである。
【０３７３】
図３４のlevaボックスでは、assignment_typeとして５が設定可能になっている。図３４の例では、assignment_typeとしての５は、レベルと対応付けられるもののタイプが、QualityMetricsConfigurationBoxに記述されるmetric_codeであることを表している。即ち、assignment_typeが５である場合、レベルｉ（ｉ=1,2）と、QualityMetricsConfigurationBoxに記述される先頭からｉ番目のmetric_codeが対応付けられる。
【０３７４】
（levaボックスにより対応付けられるレベルとサブサンプルの第１の例の説明）
図３５は、図３４のlevaボックスにより対応付けられるクオリティファイル(quality1 file)におけるレベルとサブサンプルの第１の例を説明する図である。
【０３７５】
第８実施の形態のMPDファイルにおいて、クオリティファイル(quality1 file)に対応するサブリプレゼンテーション要素が有するレベルの数は、２つである。従って、図３５に示すように、クオリティファイル（quality file)のlevaボックスには、level_countとして２が記述される。
【０３７６】
また、２つのレベルに対応するトラックは、トラックＩＤが１であるトラック（quality1 track）である。従って、クオリティファイル（quality file)のlevaボックスには、２つのレベルのtrack_idとして１が記述される。また、２つのレベルのassignment_typeとして５が記述される。
【０３７７】
従って、図３５のlevaボックスにより、各サブリプレゼンテーション要素が有するレベルｉを、QualityMetricsConfigurationBoxに記述される先頭からｉ番目のmetric_codeと対応付けることができる。そして、QualityMetricsConfigurationBoxの記述により、QualityMetricsConfigurationBoxに記述される先頭からｉ番目のmetric_codeと、先頭からｉ番目のサブサンプルとを対応付けることができる。
【０３７８】
以上のように、levaボックスのassignment_typeとして５を記述することにより、MPDファイルに記述されるレベルｉとｉ番目のサブサンプルとを対応付けることができる。従って、assignment_typeとしての５は、レベルとサブサンプルとを対応付ける情報といえる。
【０３７９】
（levaボックスの第２の記述例）
図３６は、クオリティファイル（quality file)のlevaボックスの第２の記述例を示す図である。
【０３８０】
図３６のクオリティファイル（quality file)のlevaボックスは、assignment_typeとして５が設定される場合を除いて、図３４の構成と同一である。
【０３８１】
図３６の例では、assignment_typeとしての５は、レベルと対応付けられるもののタイプが、subsボックス（Sub-Sample Information Box）に情報が記述されるサブサンプルであることを表している。即ち、assignment_typeが５である場合、レベルｉと、subsボックスに情報が記述される先頭からｉ番目のサブサンプルとが対応付けられる。また、図３６のlevaボックスでは、assignment_typeが５である場合、レベルｉと対応付けられるsubsボックスのflagsが記述される。
【０３８２】
（levaボックスにより対応付けられるレベルとサブサンプルの第２の例の説明）
図３７は、図３６のlevaボックスにより対応付けられるクオリティファイル（quality1 file)におけるレベルとサブサンプルの第２の例を説明する図である。
【０３８３】
図３７のlevaボックスは、各レベルのsubsample_flagとして０が記述される点を除いて、図３５のlevaボックスと同一である。
【０３８４】
従って、図３７のlevaボックスにより、各サブリプレゼンテーション要素が有するレベルｉを、flagsが０であるsubsボックスに情報が記述される先頭からｉ番目のサブサンプルと対応付けることができる。そして、subsボックスの記述により、subsボックスに情報が記述される先頭からｉ番目のサブサンプルを特定することができる。
【０３８５】
以上のように、levaボックスのassignment_typeとして５を記述することにより、MPDファイルに記述されるレベルとサブサンプルとを対応付けることができる。従って、assignment_typeとしての５は、レベルとサブサンプルとを対応付ける情報といえる。
【０３８６】
なお、トラック（quality1 track）に配置される２つのサブサンプルは、１つのグループにグループ分けされていてもよい。この場合、図３８に示すサブサンプルグループエントリ（Sub-SampleGroupEntry）が、トラック（quality1 track）のtrakボックスに配置される。
【０３８７】
図３８のサブサンプルグループエントリは、画像を格納するサブサンプルだけでなく、画像以外を格納するサブサンプルのサブサンプルグループエントリの基になるSampleGroupDescriptionEntryが拡張されたものである。
【０３８８】
図３８のサブサンプルグループエントリには、サブサンプルのグループのタイプ（図３８の例ではsgss）が記述される。また、図３８のサブサンプルグループエントリには、グループに属するサブサンプルのサンプルエントリの名前であるcode_parameterと、subsボックスのflagsであるsub_sample_flagsが記述される。
【０３８９】
また、図３９に示すように、levaボックスのassignment_typeは、レベルと対応付けられるもののタイプが、sgpdボックス（sample group description box）に記述される所定のグループに属するサブサンプルに関する情報であることを表す０に設定される。
【０３９０】
さらに、levaボックスには、subsample_flagではなく、レベルｉ（ｉ=1,2）と対応付けられるsgpdボックスに記述されるgrouping_typeが記述される。grouping_typeは、sgpdボックスに対応するサブサブサンプルのグループのタイプである。図３６の例では、トラック（quality1 track）に配置される２つのサブサンプルが属するグループのタイプがsgssであり、levaボックスの各レベルに対応するgrouping_typeは、両方ともsgssである。
【０３９１】
図３９のlevaボックスにより、各サブリプレゼンテーション要素が有するレベルｉが、sgpdボックスに記述される、grouping_typeがsgssであるグループに属するサブサンプルに関する情報のうちの、先頭からｉ番目のサブサンプルに関する情報と対応付けられる。
【０３９２】
サブサンプルに関する情報としては、サブサンプルを構成するサンプルのサンプルエントリの名前とsubsボックスのflagsが記述される。図３６の例では、トラック（quality1 track）に配置される２つのサブサンプルを構成するサンプルのサンプルエントリの名前は両方ともvqmeであり、flagsは両方とも０である。従って、sgpdボックスには、各サブサンプルに関する情報として、vqmeと０が記述される。
【０３９３】
このsgpdボックスの記述により、各サブリプレゼンテーション要素が有するレベルｉを、flagが０であり、サンプルエントリの名前がvqmeであるサンプルのsubsボックスに情報が記述される先頭からｉ番目のサブサンプルと対応付けることができる。そして、subsボックスの記述により、subsボックスに情報が記述される先頭からｉ番目のサブサンプルを特定することができる。
【０３９４】
以上のように、図３９のlevaボックスにより、MPDファイルに記述されるレベルとサブサンプルとを対応付けることができる。
【０３９５】
なお、第８実施の形態において、第２乃至第６実施の形態のように、クオリティファイルが分割されていてもよい。
【０３９６】
また、第１乃至第８実施の形態では、associationIdを記述できるようにサブリプレゼンテーション要素が拡張されたが、associationId以外のattributeを記述できるようにサブリプレゼンテーション要素が拡張されてもよい。
【０３９７】
例えば、サブリプレゼンテーション要素に対応するRepresentationIDを記述するSubassociationIdなどのattributeが新しく定義され、そのattributeを記述できるようにサブリプレゼンテーション要素が拡張されてもよい。
【０３９８】
また、復号時に参照が必要なトラックのＩＤを示すattributeであるdependencyIdをサブリプレゼンテーション要素にも記述できるようにサブリプレゼンテーション要素が拡張され、サブリプレゼンテーション要素のdependencyIdとして、そのサブリプレゼンテーション要素に対応するRepresentationIDが記述されるようにしてもよい。
【０３９９】
なお、サブリプレゼンテーション要素とRepresentationIDの対応関係を示すサブリプレゼンテーション要素のattributeは、テクスチャ画像とデプスオクルージョン画像の関係や、デプスオクルージョン画像と品質情報の関係以外の関係を表す際にも用いることができる。
【０４００】
＜第９実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０４０１】
図４０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０４０２】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０４０３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０４０４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０４０５】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０４０６】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０４０７】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０４０８】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４０９】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０４１０】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０４１１】
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０４１２】
例えば、オクルージョン画像のセグメントファイルは生成されなくてもよい。即ち、本開示は、デプス画像のみ、または、デプス画像とオクルージョン画像の両方からなるデプス関連画像、即ち少なくともデプス画像を含むデプス関連画像のセグメントファイルが生成される情報処理システムに適用することができる。
【０４１３】
なお、本開示は、以下のような構成もとることができる。
【０４１４】
（１）
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルを生成するファイル生成部
を備えるファイル生成装置。
（２）
前記ファイル生成部は、前記複数のデプス関連画像に対応するテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせを前記管理ファイルに記述する
ように構成された
前記（１）に記載のファイル生成装置。
（３）
前記デプス関連画像は、前記デプス画像に対応するオクルージョン領域のテクスチャ画像であるオクルージョン画像を含む
ように構成された
前記（１）または（２）に記載のファイル生成装置。
（４）
前記デプス関連画像の前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報であり、
前記管理ファイルには、各トラックと、前記デプス関連画像特定情報および前記テクスチャ画像を特定するテクスチャ画像特定情報との対応関係が記述される
ように構成された
前記（１）乃至（３）のいずれかに記載のファイル生成装置。
（５）
前記ファイルには、前記デプス関連画像に対応するテクスチャ画像の品質情報が、前記デプス関連画像の前記品質情報のトラックとは異なるトラックに配置され、
前記管理ファイルには、前記テクスチャ画像の品質情報のトラックと、前記テクスチャ画像を特定するテクスチャ画像特定情報との対応関係が記述される
ように構成された
前記（４）に記載のファイル生成装置。
（６）
前記ファイルには、前記サブサンプルとレベルを対応付ける情報が記述され、
前記管理ファイルには、前記レベルと前記デプス関連画像特定情報との対応関係が記述される
ように構成された
前記（１）乃至（３）のいずれかに記載のファイル生成装置。
（７）
ファイル生成装置が、
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルを生成するファイル生成ステップ
を含むファイル生成方法。
（８）
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得部
を備える再生装置。
（９）
前記複数のデプス関連画像のビットレートは異なり、
前記管理ファイルには、前記複数のデプス関連画像のビットレートが記述され、
前記取得部は、前記複数のデプス関連画像のビットレートと前記対応関係に基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
前記（８）に記載の再生装置。
（１０）
前記ファイルには、前記複数のデプス関連画像に対応するテクスチャ画像が配置され、
前記管理ファイルには、前記テクスチャ画像のビットレートが記述され、
前記取得部は、前記テクスチャ画像のビットレートにも基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
前記（９）に記載の再生装置。
（１１）
前記ファイルには、ビットレートが異なる複数の前記テクスチャ画像が配置され、
前記管理ファイルには、前記複数のテクスチャ画像のビットレートが記述される
ように構成された
前記（１０）に記載の再生装置。
（１２）
前記取得部は、ビットレートが異なる複数の前記テクスチャ画像のビットレートに基づいて、前記複数のテクスチャ画像から再生対象のテクスチャ画像を選択する
ように構成された
前記（８）または（９）に記載の再生装置。
（１３）
前記品質情報は、前記デプス関連画像に対応するテクスチャ画像と前記デプス関連画像とを用いて生成される３Ｄ画像の品質を表す情報である
ように構成された
前記（８）乃至（１２）のいずれかに記載の再生装置。
（１４）
前記管理ファイルには、前記複数のデプス関連画像に対応するテクスチャ画像と複数の前記デプス関連画像のうちの、再生時に使用候補となる前記テクスチャ画像と前記デプス関連画像の組み合わせが記述され、
前記取得部は、前記組み合わせと前記対応関係に基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する
ように構成された
前記（８）乃至（１３）のいずれかに記載の再生装置。
（１５）
前記取得部により取得された前記品質情報に基づいて、前記複数のデプス関連画像のうちの所定のデプス関連画像を再生する再生部
をさらに備える
前記（８）乃至（１４）のいずれかに記載の再生装置。
（１６）
再生装置が、
少なくともデプス画像を含む複数のデプス関連画像の品質を表す品質情報を、複数のトラックまたはサブサンプルに分割して配置するファイルを管理する管理ファイルであって、各トラックまたは各サブサンプルと前記デプス関連画像を特定するデプス関連画像特定情報との対応関係を記述した管理ファイルに基づいて、前記複数のデプス関連画像のうちの少なくとも一部の前記品質情報を取得する取得ステップ
を含む再生方法。
【符号の説明】
【０４１５】
１１  ファイル生成装置,  １４  動画再生端末,  ８３  セグメントファイル生成部，  ８４  MPDファイル生成部,  １０３  品質情報取得部,  １０５  画像取得部,  １０６  復号部,  １０７  出力制御部
【図１】
2017145757.tif 000003
【図２】
2017145757.tif 000004
【図３】
2017145757.tif 000005
【図４】
2017145757.tif 000006
【図５】
2017145757.tif 000007
【図６】
2017145757.tif 000008
【図７】
2017145757.tif 000009
【図８】
2017145757.tif 000010
【図９】
2017145757.tif 000011
【図１０】
2017145757.tif 000012
【図１１】
2017145757.tif 000013
【図１２】
2017145757.tif 000014
【図１３】
2017145757.tif 000015
【図１４】
2017145757.tif 000016
【図１５】
2017145757.tif 000017
【図１６】
2017145757.tif 000018
【図１７】
2017145757.tif 000019
【図１８】
2017145757.tif 000020
【図１９】
2017145757.tif 000021
【図２０】
2017145757.tif 000022
【図２１】
2017145757.tif 000023
【図２２】
2017145757.tif 000024
【図２３】
2017145757.tif 000025
【図２４】
2017145757.tif 000026
【図２５】
2017145757.tif 000027
【図２６】
2017145757.tif 000028
【図２７】
2017145757.tif 000029
【図２８】
2017145757.tif 000030
【図２９】
2017145757.tif 000031
【図３０】
2017145757.tif 000032
【図３１】
2017145757.tif 000033
【図３２】
2017145757.tif 000034
【図３３】
2017145757.tif 000035
【図３４】
2017145757.tif 000036
【図３５】
2017145757.tif 000037
【図３６】
2017145757.tif 000038
【図３７】
2017145757.tif 000039
【図３８】
2017145757.tif 000040
【図３９】
2017145757.tif 000041
【図４０】
2017145757.tif 000042
【国際調査報告】
2017145757.tif 000043
2017145757.tif 000044
2017145757.tif 000045
2017145757.tif 000046