(57)【要約】      （修正有）【課題】複数階層からなる画像の、各階層の画像の部分画像を適応的に提供可能な装置及び方法を提供する。【解決手段】情報処理装置（ファイル再生装置２００）は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報並びにエンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納されたファイルから参照するサンプリを格納するトラックを示す情報に基づいて、再生するエンハンスメントレイヤの部分領域符号化データを取得し、復号する。【選択図】図２２
2020053996.tif 000002
【特許請求の範囲】
【請求項１】
画像データが階層符号化された符号化データを格納するファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックの、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得する取得部と、
前記取得部により取得された前記符号化データを復号する復号部と
を備える情報処理装置。
【請求項２】
前記エンハンスメントレイヤ全体の情報を格納するトラックは、さらに、前記サンプルの参照の種類を示す情報を格納する
請求項１に記載の情報処理装置。
【請求項３】
前記エンハンスメントレイヤ全体の情報を格納するトラックは、さらに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納する
請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記エンハンスメントレイヤ全体の情報を格納するトラックは、さらに、符号化データの復号に必要なコンフィギュレーション情報を格納する
請求項１乃至請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記エンハンスメントレイヤ全体の情報を格納するトラックは、さらに、前記符号化データのベースレイヤの全体の情報を格納するトラックを示す情報と参照の種類を示す情報を格納する
請求項１乃至請求項４のいずれかに記載の情報処理装置。
【請求項６】
前記取得部は、前記符号化データのベースレイヤの全体の情報を格納するトラックを示す情報に基づいて、前記符号化データのベースレイヤの全体の情報を格納するトラックを特定し、特定した前記トラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記ベースレイヤの前記部分領域の符号化データを取得する
請求項５に記載の情報処理装置。
【請求項７】
前記エンハンスメントレイヤの前記部分領域の情報を格納するトラックは、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納する
請求項１乃至請求項６のいずれかに記載の情報処理装置。
【請求項８】
前記エンハンスメントレイヤの前記部分領域の情報を格納するトラックは、さらに、符号化データの復号に必要なコンフィギュレーション情報を格納する
請求項７に記載の情報処理装置。
【請求項９】
前記エンハンスメントレイヤの前記部分領域の情報を格納するトラックは、さらに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報と参照の種類を示す情報を格納する
請求項７または請求項８に記載の情報処理装置。
【請求項１０】
画像データが階層符号化された符号化データを格納するファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックの、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、
取得された前記符号化データを復号する
情報処理方法。
【請求項１１】
画像データが階層符号化された符号化データを管理するためのメタデータをパースし、前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定するパース部と、
前記パース部により特定された前記構造単位の情報に基づいて、前記エンハンスメントレイヤの前記部分領域の符号化データを取得する取得部と、
前記取得部により取得された前記符号化データを復号する復号部と
を備える情報処理装置。
【請求項１２】
前記エンハンスメントレイヤ全体の情報を格納する構造単位は、さらに、前記サンプルの参照の種類を示す情報を格納する
請求項１１に記載の情報処理装置。
【請求項１３】
前記エンハンスメントレイヤ全体の情報を格納する構造単位は、さらに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納する
請求項１１または請求項１２に記載の情報処理装置。
【請求項１４】
前記エンハンスメントレイヤ全体の情報を格納する構造単位は、さらに、符号化データの復号に必要なコンフィギュレーション情報を格納する
請求項１１乃至請求項１３のいずれかに記載の情報処理装置。
【請求項１５】
前記エンハンスメントレイヤ全体の情報を格納する構造単位は、さらに、前記符号化データのベースレイヤの全体の情報を格納する構造単位を示す情報と参照の種類を示す情報を格納する
請求項１１乃至請求項１４のいずれかに記載の情報処理装置。
【請求項１６】
前記パース部は、前記符号化データのベースレイヤの全体の情報を格納する構造単位を示す情報に基づいて、前記符号化データのベースレイヤの全体の情報を格納する構造単位を特定し、特定した前記構造単位に格納される、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記ベースレイヤの前記部分領域の情報を格納する構造単位を特定する
請求項１５に記載の情報処理装置。
【請求項１７】
前記エンハンスメントレイヤの前記部分領域の情報を格納する構造単位は、前記エンハンスメントレイヤの前記部分領域の情報のみを格納する構造単位であることを示す符号化情報を格納する
請求項１１乃至請求項１６のいずれかに記載の情報処理装置。
【請求項１８】
前記エンハンスメントレイヤの前記部分領域の情報を格納する構造単位は、さらに、符号化データの復号に必要なコンフィギュレーション情報を格納する
請求項１７に記載の情報処理装置。
【請求項１９】
前記エンハンスメントレイヤの前記部分領域の情報を格納する構造単位は、さらに、前記エンハンスメントレイヤ全体の情報を格納する構造単位を参照することを示す情報と参照の種類を示す情報を格納する
請求項１７または請求項１８に記載の情報処理装置。
【請求項２０】
画像データが階層符号化された符号化データを管理するためのメタデータをパースし、前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定し、
特定された前記構造単位の情報に基づいて、前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、
取得された前記符号化データを復号する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法に関し、特に、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにした情報処理装置および方法に関する。
【背景技術】
【０００２】
近年、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術としてMPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が標準化された（例えば、非特許文献１参照）。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
【０００３】
ところで、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
【０００４】
また、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化等が考えられた。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のMPEG-DASH規格では、ビットレート（Bitrate）を切り替えるという概念しかなく、複数階層からなる画像の各階層の画像のタイル構造を利用し、任意の階層の任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行うことができなかった。
【０００７】
本技術は、このような状況に鑑みて提案されたものであり、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、画像データが階層符号化された符号化データを格納するファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックの、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得する取得部と、前記取得部により取得された前記符号化データを復号する復号部とを備える情報処理装置である。
【０００９】
本技術の一側面の情報処理方法は、画像データが階層符号化された符号化データを格納するファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックの、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、取得された前記符号化データを復号する情報処理方法である。
【００１０】
本技術の他の側面の情報処理装置は、画像データが階層符号化された符号化データを管理するためのメタデータをパースし、前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定するパース部と、前記パース部により特定された前記構造単位の情報に基づいて、前記エンハンスメントレイヤの前記部分領域の符号化データを取得する取得部と、前記取得部により取得された前記符号化データを復号する復号部とを備える情報処理装置である。
【００１１】
本技術の他の側面の情報処理方法は、画像データが階層符号化された符号化データを管理するためのメタデータをパースし、前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定し、特定された前記構造単位の情報に基づいて、前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、取得された前記符号化データを復号する情報処理方法である。
【００１２】
本技術の一側面の情報処理装置および方法においては、画像データが階層符号化された符号化データを格納するファイルの、その符号化データのエンハンスメントレイヤ全体の情報を格納するトラックの、参照するサンプルを格納するトラックを示す情報に基づいて、再生するエンハンスメントレイヤの画像の部分領域の情報を格納するトラックが特定され、その特定されたトラックからエンハンスメントレイヤの部分領域の符号化データが取得され、その取得された符号化データが復号される。
【００１３】
本技術の他の側面の情報処理装置および方法においては、画像データが階層符号化された符号化データを管理するためのメタデータがパースされ、そのメタデータの、符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生するエンハンスメントレイヤの画像の部分領域の情報を格納する構造単位が特定され、その特定された構造単位の情報に基づいて、エンハンスメントレイヤの部分領域の符号化データが取得され、その取得された符号化データが復号される。
【発明の効果】
【００１４】
本技術によれば、情報を処理することが出来る。また本技術によれば、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
【図面の簡単な説明】
【００１５】
【図１】MPEG-DASHの概要を説明する図である。
【図２】MPDの構成例を示す図である。
【図３】コンテンツの時間的区切りを説明する図である。
【図４】MPDにおけるPeriod以下の階層構造の例を示す図である。
【図５】MPDファイルの構成例を時間軸上で説明する図である。
【図６】タイル画像のビットストリームの例を示す図である。
【図７】タイル画像のMP4ファイルの例を説明する図である。
【図８】タイル画像のMP4ファイルの他の例を説明する図である。
【図９】MP4ファイルフォーマットの構成例を示す図である。
【図１０】分割サイズの例を説明する図である。
【図１１】拡張データの例を説明する図である。
【図１２】階層切り替えの例を説明する図である。
【図１３】階層切り替えの例を説明する図である。
【図１４】ファイル生成装置の主な構成例を示すブロック図である。
【図１５】MP4ファイルの主な構成例を示す図である。
【図１６】MP4ファイルの主な構成例を示す図である。
【図１７】MP4ファイル生成処理の流れの例を説明するフローチャートである。
【図１８】MPDの主な構成例を示す図である。
【図１９】MPDの主な構成例を示す図である。
【図２０】MPD生成処理の流れの例を説明するフローチャートである。
【図２１】MPD生成処理の流れの例を説明する、図２０に続くフローチャートである。
【図２２】ファイル再生装置の主な構成例を示すブロック図である。
【図２３】MP4ファイル再生処理の流れの例を説明するフローチャートである。
【図２４】MPD再生処理の流れの例を説明するフローチャートである。
【図２５】MP4ファイルの他の構成例を示す図である。
【図２６】MP4ファイルの他の構成例を示す図である。
【図２７】MP4ファイル生成処理の流れの、他の例を説明するフローチャートである。
【図２８】MPDの他の構成例を示す図である。
【図２９】MPDの他の構成例を示す図である。
【図３０】MPD生成処理の流れの他の例を説明するフローチャートである。
【図３１】MPD生成処理の流れの他の例を説明する、図３０に続くフローチャートである。
【図３２】MP4ファイルのさらに他の構成例を示す図である。
【図３３】MP4ファイルのさらに他の構成例を示す図である。
【図３４】MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。
【図３５】MPDのさらに他の構成例を示す図である。
【図３６】MPDのさらに他の構成例を示す図である。
【図３７】MPD生成処理の流れの、さらに他の例を説明するフローチャートである。
【図３８】MP4ファイル再生処理の流れの、他の例を説明するフローチャートである。
【図３９】MPD再生処理の流れの、他の例を説明するフローチャートである。
【図４０】MP4ファイルのさらに他の構成例を示す図である。
【図４１】MP4ファイルのさらに他の構成例を示す図である。
【図４２】MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。
【図４３】MPDのさらに他の構成例を示す図である。
【図４４】MPDのさらに他の構成例を示す図である。
【図４５】MPD生成処理の流れの、さらに他の例を説明するフローチャートである。
【図４６】MP4ファイル再生処理の流れの、さらに他の例を説明するフローチャートである。
【図４７】MPD再生処理の流れの、さらに他の例を説明するフローチャートである。
【図４８】配信システムの主な構成例を示すブロック図である。
【図４９】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（タイル毎にファイル化する場合）
２．第２の実施の形態（タイル毎にレイヤ間参照する場合）
３．第３の実施の形態（レイヤ毎にファイル化する場合）
４．第４の実施の形態（全レイヤをファイル化する場合）
５．第５の実施の形態（配信システム）
６．第６の実施の形態（コンピュータ）
【００１７】
＜１．第１の実施の形態＞
＜DASH＞
従来、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術として、例えば非特許文献１に記載のように、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
【００１８】
DASHによるコンテンツの伝送の手順を、図１を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD（Media Presentation Description）ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。
【００１９】
MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ（DASHセグメント）をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。
【００２０】
MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアントは、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
【００２１】
クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
【００２２】
なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
【００２３】
したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
【００２４】
＜タイル構造＞
このような従来のDASHでは、全体画像のデータの配信が適応的に制御されていたが、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
【００２５】
このような部分画像の適応的な配信を行うために、タイル（Tile）という概念が用いられた。タイル（Tile）は、予め定められたレイアウト（大きさ、形状、数等）で全体画像を分割した部分領域である。以下において、１タイルの画像をタイル画像と称する。このように全体画像を予めタイル化しておくことにより、配信するタイル画像を選択するだけで、容易に部分画像の適応的な配信が可能となる。この場合、部分画像は、単数若しくは複数のタイル画像により構成される。
【００２６】
DASHのようにHTTPを用いて配信する場合、画像データは、符号化され、そのビットストリームがファイル化されて配信される（ファイルとして公開される）。上述したようなタイル構造を有する全体画像の場合、画像データは、タイル画像毎に独立して符号化される。その際、図６のＡに示される例のように、各タイルの符号化データをそれぞれ１つのビットストリームとしてもよい。
【００２７】
図６のＡの例では、640x480サイズの全体画像、1980x1080サイズの全体画像、その全体画像が縦方向および横方向のそれぞれに２分割された960x540サイズのタイル画像（４枚の部分画像）のそれぞれが、配信用の画像として用意されている。640x480サイズの全体画像のデータは、符号化されて１本のビットストリーム（bitstream1）とされ、1980x1080サイズの全体画像のデータも、符号化されて１本のビットストリーム（bitstream2）とされている。そして、それらとは別に、960x540サイズの各タイル画像のデータは、互いに独立して符号化され、それぞれ、１本のビットストリーム（bitstream3乃至bitstream6）とされている。
【００２８】
各ビットストリームにおいては、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、SEI（Supplemental Enhancement Information）、ピクチャパラメータセット（PPS（Picture Parameter Set））等のヘッダ情報が付加され、画像データのビットストリームがスライス（Slice）毎に並べられている。
【００２９】
このような構造とすることにより、配信するビットストリームを、bitstream3乃至bitstream6の中から選択することによって、配信するタイル画像を選択することができる。また、図６のＡの例の場合、各タイル画像を、全体画像と同様に配信することができる。
【００３０】
ところで、例えばHEVC（High Efficiency Video Coding）等の符号化方式では、全体画像を分割するタイル（Tile）と称される構造をサポートしており、そのタイル毎に独立して符号化を行うことができる。例えば、その一部のタイルの画像のみを得るように復号することができる。つまり、全体画像の一部である部分画像のみを得るように復号することができる。
【００３１】
このような符号化方式の機能を利用して、図６のＢに示される例のように、複数のタイル画像の符号化データを、１本のビットストリーム（bitstream7）とすることもできる。つまり、この場合、上述した配信の為のタイル（Tile）を符号化方式がサポートするタイル（Tile）として取り扱い符号化するようにしている。この場合、ビットストリームにおいて、各タイルのデータはスライス（Slice）として並べられている。
【００３２】
＜MP4ファイル＞
上述したように、配信用のビットストリームは、例えばMP4ファイルフォーマット等によってファイル化される。その場合、図７に示される例のように、各タイルのビットストリームを別ファイルとすることができる。各タイルのビットストリームはトラック（Track）という単位で管理される。また、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられ、各タイルのビットストリームとは別のファイルとしてファイル化される。全てのタイルを復号する場合は、ベーストラックを再生し、各タイルを復号する場合、ヘッダ情報はベーストラックが参照される。
【００３３】
また、図８に示される例のように、各タイルのビットストリームをまとめて１つのファイルとすることもできる。その際、図８のＡのように、各タイルのデータをまとめて１つのトラックで管理することもできるし、図８のＢのように、各タイルを互いに異なるトラックとして管理することもできる。その場合、図７の場合と同様に、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられる。
【００３４】
＜MP4ファイルフォーマット＞
次に、MP4ファイルフォーマットの概要について説明する。図９に示されるように、MPEG-DASHに準拠したMP4ファイル（MP4 file）は、ftyp、moov、およびmdatを含む。
【００３５】
図９に示されるように、HEVCの各サンプル（ピクチャ）のデータは、AVデータとして、mdatに格納される。
【００３６】
また、moovには、サンプル（例えばピクチャ）毎に管理情報がサンプルテーブルボックス（Sample Table Box（stbl））に格納される。
【００３７】
図９に示されるように、サンプルテーブルボックス（Sample Table Box）には、サンプルディスクリプションボックス（Sample Description Box）、タイムトゥーサンプルボックス（Time To Sample Box）、サンプルサイズボックス（Sample Size Box）、サンプルトゥーチャンクボックス（Sample to Chunk Box）、チャンクオフセットボックス（Chunk Offset Box）、およびサブサンプルインフォメーションボックス（Subsample Information Box）が設置されている。
【００３８】
サンプルディスクリプションボックスには、コーデックや画サイズ等に関する情報が格納される。例えば、符号化パラメータ等の情報は、このサンプルディスクリプションボックス内のHEVCサンプルエントリ（HEVC sample entry）に格納される。
【００３９】
タイムトゥーサンプルボックスには、サンプルの時刻に関する情報が格納される。サンプルサイズボックスには、サンプルのサイズに関する情報が格納される。サンプルトゥーチャンクボックスには、サンプルのデータの位置に関する情報が格納される。チャンクオフセットボックスには、データのオフセットに関する情報が格納される。サブサンプルインフォメーションボックスには、サブサンプルに関する情報が格納される。
【００４０】
＜分割方法＞
タイル（Tile）は、図１０のＡの例のように全体画像を均等に分割するものであってもよいし、図１０のＢの例のように全体画像を不均等に分割するものであってもよい。つまり、全体画像を構成する各タイル画像の画像サイズは互いに同一であってもよいし、異なっていてもよい。
【００４１】
＜アプリケーション＞
このようなタイル（Tile）構造を利用するアプリケーションとして、例えば、表示させる部分画像のサイズを制御するアプリケーションが考えられる。
【００４２】
図１０のＡに示される全体画像１０はタイル化され、互いに同じ大きさの複数のタイル画像１１に分割することができるとする。例えば、この画像をディスプレイのサイズが小さいモバイルデバイス２１に表示させる場合、アプリケーションは、2x2の４枚のタイル画像からなる部分画像１２を表示させる。また、例えば、この画像をディスプレイのサイズが大きなテレビジョン信号受像機（TV）２２に表示させる場合、アプリケーションは、6x5の３０枚のタイル画像からなる部分画像１３を表示させる。このように、画像を表示する端末の性能等に応じて表示させる部分画像の画サイズを制御するアプリケーションが考えられる。
【００４３】
また、図１０のＢの例の場合、各タイル画像の画サイズは不均等である。アプリケーションは、タイル３（Tile3）の画像を表示させることにより、HD解像度の画像を表示させることができ、タイル２（Tile2）乃至タイル４（Tile4）の画像を表示させることにより、シネマ（Cinema）解像度の画像を表示させることができ、タイル１（Tile1）乃至タイル５（Tile5）の画像を表示させることにより、さらに大きな拡張サイズ（EXT）の画像を表示させることができる。このように、表示させる部分画像の画サイズを制御することにより、表示画像の解像度やアスペクト比を制御するアプリケーションが考えられる。
【００４４】
これらのようなアプリケーションに対して、表示させる部分画像の画サイズに応じて、上述したように配信する部分画像のサイズを適応的に制御する（配信するタイル画像の数を制御する）ことにより、表示されない不要な部分の画像を配信する必要がないので、サーバ、端末、伝送路等の負荷を適応的に制御することができ、不要な負荷の増大を抑制することができる。
【００４５】
＜タイル画像の適応的な提供＞
画像のタイル構造を利用し、任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行う場合、例えば、全体画像の一部である部分画像に関する情報である部分画像情報をMPDに含めるようにする。
【００４６】
なお、提供の対象となる部分画像は、全体画像の一部分であればどのようなものであってもよく、その形状や大きさ等は任意である。例えば、部分画像は、他の部分と独立して符号化することができる部分であればよい。以下においては、説明の便宜上、部分画像は、上述したタイル単位の画像であるものとする。つまり、部分画像は、１つまたは複数のタイル画像により構成されるものとする。
【００４７】
例えば、MPDのディスクリプタタイプエレメント（DescriptorType element）を活用して、タイル（Tile）用のディスクリプション（description）を、図１１のＡのように定義する。また、例えば、このエレメントが示す画像がどのような画像であるかを示すビュータイプ（viewtype）を、図１１のＢに示されるように定義する。
【００４８】
＜複数レイヤにおけるタイル画像の適応的な提供＞
ところで、画像の符号化・復号方式として、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化・階層復号方式がある。
【００４９】
画像配信等において、このような階層符号化・階層復号方式を適用する場合、複数レイヤの各レイヤにおいて、部分画像を適応的に提供することが求められるが、従来のMPEG-DASH規格では、このような複数レイヤにおける適応的な部分画像のデータの提供を行うことができなかった。
【００５０】
そこで、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するようにする。
【００５１】
また、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの符号化方式を示す符号化情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するようにしてもよい。
【００５２】
さらに、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納するようにしてもよい。
【００５３】
このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
【００５４】
また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するようにする。
【００５５】
なお、ベースレイヤ全体の情報を格納する情報が、ベースレイヤの符号化方式を示す符号化情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤの部分領域の情報のみが含まれることを示す符号化情報を含み、エンハンスメントレイヤ全体の情報が、エンハンスメントレイヤの符号化方式を示す符号化情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤの部分領域の情報のみが含まれることを示す符号化情報を含むようにしてもよい。
【００５６】
また、ベースレイヤ全体の情報が、ベースレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤ全体の情報が、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含むようにしてもよい。
【００５７】
このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。
【００５８】
＜ユースケース＞
以下においては、ベースレイヤとエンハンスメントレイヤとからなる２階層の画像データが、レイヤ間の予測を用いて階層符号化されて配信される場合を例に用いて本技術を説明する。もちろん、画像データの階層数は任意であり、３層以上であってもよい。また、ベースレイヤの画像は、エンハンスメントレイヤの画像と相関性が高く（解像度等の所定の画像パラメータ以外は基本的に同一の画像であり）、かつ、その解像度が、エンハンスメントレイヤの画像よりも低解像度であるものとする。
【００５９】
また、説明の便宜上、各レイヤの画像は、縦２個・横２個の合計４個のタイル（部分領域）に分割されるものとする。もちろん、各レイヤの画像のタイル分割数は任意である。
【００６０】
まず、このような階層符号化の用途の例について説明する。例えば、図１２の例のように、低解像度（低画質）のベースレイヤ（BL）の画像を拡大表示する場合、一部のタイルが抽出されて元の画像サイズまで拡大することになる。この拡大率によっては、高解像度（高画質）のエンハンスメントレイヤ（EL）の画像の一部のタイルを抽出して表示させる方が、拡大率が少なくて済む場合がある。図１２の例の場合、エンハンスメントレイヤの画像を用いることにより、拡大せずに済む。したがって、表示される画像の内容は略同一であるものの、エンハンスメントレイヤの画像を表示する方が、より高画質な画像を表示することができる。
【００６１】
つまり、このようなケースにおいて、配信する画像をベースレイヤからエンハンスメントレイヤに切り替えることができると、画質の低減を抑制することができる（より高画質な画像を提供することができる）。
【００６２】
従来のMPEG-DASHにおいても、低解像度のストリームと高解像度のストリームを用意し、状況に応じて配信するストリームを適宜切り替えるようにすることは可能である。
【００６３】
しかしならが、このようなデータ配信においては、画像再生を安定させるために、例えばストリーミング配信であっても、表示のタイミングよりも十分に早くデータを配信し、例えば数秒乃至数十秒分のデータを受信側がバッファに保持させるのが一般的である。
【００６４】
したがって、図１３のＡに示されるように、例えば時刻T1の画像において、上述したように配信するストリームの切り替え（ストリーム１からストリーム２への切り替え）が行われると、バッファに蓄積されたストリーム１の時刻T1乃至時刻T2のデータは、全て破棄される。そして、ストリーム２の時刻T2のデータから配信が開始される。
【００６５】
逆方向（ストリーム２からストリーム１へ）の切り替えの場合も同様である。例えば、時刻T3の画像において、配信するストリームがストリーム２からストリーム１に切り替えられると、バッファに蓄積されたストリーム２の時刻T3乃至時刻T4のデータは、全て破棄される。そして、ストリーム１の時刻T3のデータから配信が開始される。
【００６６】
つまり、配信するストリームを切り替える度に、バッファのデータが破棄されて無駄になってしまっていた。また、バッファのデータが０になるので、再生も不安定になるおそれがあった。
【００６７】
これに対して、階層符号化されたデータの場合、図１３のＢに示されるように、ベースレイヤのストリームは常に配信され、エンハンスメントレイヤの画像を表示する場合のみエンハンスメントレイヤのストリームが配信される。
【００６８】
したがって、表示する画像をベースレイヤからエンハンスメントレイヤに切り替える場合、バッファのデータを破棄する必要が無い。つまり、バッファに蓄積されたベースレイヤの符号化データは、その後も利用される。そして、エンハンスメントレイヤのストリームの配信が開始されるが、レイヤ間予測が行われているので、エンハンスメントレイヤのストリームは、図１３のＡの場合のストリーム２よりデータ量が少ない。つまり、バッファが０にならない。したがって、切り替えが行われた時刻T1後も、図１３のＡの場合よりも画像の表示を安定させることができる。
【００６９】
逆方向（エンハンスメントレイヤからベースレイヤへ）の切り替えの場合も同様である。例えば、時刻T3の画像において、表示する画像がエンハンスメントレイヤからベースレイヤに切り替えられると、バッファに蓄積されたエンハンスメントレイヤの時刻T3乃至時刻T4のデータは、全て破棄される。ただし、破棄されるデータ量は、図１３のＡのストリーム２を破棄する場合よりも少ない。また、ベースレイヤのデータは、時刻T3の前から配信されており、バッファは０にならない。したがって、切り替えが行われた時刻T3後も、図１３のＡの場合よりも画像の表示を安定させることができる。
【００７０】
複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することを実現することにより、例えば、このような効果を得ることができる。本技術では、配信用のフォーマット、例えば、MP4ファイルやMPD等においてこのような機能を実現する。
【００７１】
＜ファイル生成装置＞
次に、このようなMP4ファイルやMPDを生成する装置について説明する。図１４は、本技術を適用した情報処理装置の一実施の形態であるファイル生成装置の主な構成例を示すブロック図である。図１４において、ファイル生成装置１００は、ベースレイヤの画像（BL画像）とエンハンスメントレイヤの画像（EL画像）を階層符号化し、得られた各階層の符号化データを格納するMP4ファイルを生成したり、そのMP4ファイルの配信を制御するMPDを生成したりする装置である。
【００７２】
図３に示されるように、ファイル生成装置１００は、ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０２、MP4ファイル生成部１０３、およびMPD生成部１０４を有する。
【００７３】
ベースレイヤ符号化部１０１は、入力されたベースレイヤの画像（BL画像）を所定の符号化方式（例えばHEVC）で符号化し、ベースレイヤの符号化データを生成する。ベースレイヤ符号化部１０１は、生成したベースレイヤの符号化データ（HEVC）をMP4ファイル生成部１０３に供給する。また、ベースレイヤ符号化部１０１は、ベースレイヤの画像（例えば復号画像）を参照画像として、エンハンスメントレイヤ符号化部１０２に供給する。ベースレイヤ符号化部１０１は、また、符号化に関する情報である符号化情報をエンハンスメントレイヤ符号化部１０２に供給する。
【００７４】
エンハンスメントレイヤ符号化部１０２は、入力されたエンハンスメントレイヤの画像（EL画像）を所定の符号化方式（例えばSHVC）で符号化し、エンハンスメントレイヤの符号化データを生成する。その際、エンハンスメントレイヤ符号化部１０２は、ベースレイヤ符号化部１０１から供給される参照画像や符号化情報を用いてレイヤ間予測を行う。これにより符号化効率の低減を抑制することができる。エンハンスメントレイヤ符号化部１０２は、生成したエンハンスメントレイヤの符号化データ（SHVC）をMP4ファイル生成部１０３に供給する。
【００７５】
MP4ファイル生成部１０３は、ベースレイヤ符号化部１０１から供給されたベースレイヤの符号化データ（HEVC）と、エンハンスメントレイヤ符号化部１０２から供給されたエンハンスメントレイヤの符号化データ（SHVC）とを格納するファイル（MP4ファイル）を生成する。MP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）と、エンハンスメントレイヤの符号化データ（SHVC）とを、MP4ファイルの互いに異なるトラックに格納させる。MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。また、MP4ファイル生成部１０３は、生成したMP4ファイルをMPD生成部１０４に供給する。
【００７６】
MPD生成部１０４は、MP4ファイル生成部１０３から供給されたMP4ファイルの配信を制御するMPDを生成する。MPD生成部１０４は、生成したMPDを出力する。
【００７７】
＜MP4ファイル構成例＞
ファイル生成装置１００のMP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）とエンハンスメントレイヤの符号化データ（SHVC）とを格納するMP4ファイルとして、例えば、図１５および図１６に示されるような構成のMP4ファイルを生成する。
【００７８】
図１５および図１６に示されるように、MP4ファイル生成部１０３は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報のそれぞれを格納するトラックを生成する。また、この場合、MP4ファイル生成部１０３は、各トラックをそれぞれMP4ファイル化している。
【００７９】
つまり、MP4ファイル生成部１０３は、ベースレイヤについて、ベースレイヤ全体の情報を格納するトラック１（Track1）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル１（tile1）の情報を格納するトラック２（Track2）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル２（tile2）の情報を格納するトラック３（Track3）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル３（tile3）の情報を格納するトラック４（Track4）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル４（tile4）の情報を格納するトラック５（Track5）を格納するMP4ファイル（MP4ファイル）を生成する（図１５）。
【００８０】
同様に、MP4ファイル生成部１０３は、エンハンスメントレイヤについて、エンハンスメントレイヤ全体の情報を格納するトラック６（Track6）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル１（tile1）の情報を格納するトラック７（Track7）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル２（tile2）の情報を格納するトラック８（Track8）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル３（tile3）の情報を格納するトラック９（Track9）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル４（tile4）の情報を格納するトラック１０（Track10）を格納するMP4ファイル（MP4ファイル）を生成する（図１６）。
【００８１】
ベースレイヤ全体の情報を格納するトラック１（Track1）には、ベースレイヤの各タイルへの参照情報であるエクストラクタのサンプル（EXT sample）が格納される。また、このトラック１のサンプルエントリには、ベースレイヤの符号化方式がHEVCであることを示す符号化情報が設定される（Sample Entry = 'hvc2'）。また、このサンプルエントリには、HEVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。そして、このトラック１のトラック間の参照に関する情報であるトラックリファレンス（Track Reference）には、参照するサンプルを格納するトラックを示す情報と、その参照の種類を示す情報とを含むが設定されている（scal=2,3,4,5）。つまり、トラック１がトラック２乃至トラック５を参照し、その参照の種類が"scal"であることが示されている。
【００８２】
ベースレイヤの画像のタイルの情報を格納するトラック２（Track2）乃至トラック５（Track5）には、それぞれ、ベースレイヤの各タイルのサンプル（tile1 sample、tile2 sample、tile3 sample、またはtile4 sample）が格納される。また、トラック２乃至トラック５のサンプルエントリには、ベースレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される（Sample Entry = 'hvt1'）。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvtCボックス（hvtC box）が設定されている。そして、これらのトラックのトラックリファレンス（Track Reference）には、トラック１を参照し、その参照の種類が"tbas"であることが示されている（tbas=1）。また、これらのトラックには、タイルリージョングループエントリ（TileRegionGroupEntry）として、ベースレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置（オフセット）、当該タイルの垂直方向の位置（オフセット）、当該タイルの水平方向の大きさ（幅）、当該タイルの垂直方向の大きさ（高さ）等が設定されている。
【００８３】
エンハンスメントレイヤ全体の情報を格納するトラック６（Track6）には、エンハンスメントレイヤの各タイルへの参照情報であるエクストラクタのサンプル（EXT sample）が格納される。また、このトラック６のサンプルエントリには、エンハンスメントレイヤの符号化方式がSHVCであることを示す符号化情報が設定される（Sample Entry = 'lhv1'）。また、このサンプルエントリには、SHVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。
【００８４】
このトラック６のトラックリファレンス（Track Reference）には、トラック７乃至トラック１０を参照し、その参照の種類が"scal"であること（scal=7,8,9,10）が示されている。このトラック６のトラックリファレンス（Track Reference）には、さらに、ベースレイヤ全体の情報を格納するトラック１を参照し、その参照の種類が"sbas"であることも示されている（sbas=1）。これにより、エンハンスメントレイヤのトラックからベースレイヤのトラックを参照することができる。
【００８５】
エンハンスメントレイヤの画像のタイルの情報を格納するトラック７（Track7）乃至トラック１０（Track10）には、それぞれ、エンハンスメントレイヤの各タイルのサンプル（tile1 sample、tile2 sample、tile3 sample、またはtile4 sample）が格納される。
【００８６】
また、トラック７乃至トラック１０のサンプルエントリには、エンハンスメントレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される（Sample Entry = 'lht1'）。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション（configuration）情報を格納するlhtCボックス（lhtC box）が設定されている。このように、エンハンスメントレイヤのタイルを格納する各トラックの符号化情報をベースレイヤのタイルを格納する各トラックの符号化情報と異なるものとすることにより、これらのトラックがエンハンスメントレイヤのタイルを格納する情報であることを識別することができる。
【００８７】
そして、これらのトラックのトラックリファレンス（Track Reference）には、トラック６を参照し、その参照の種類が"tbas"であることが示されている（tbas=6）。つまり、エンハンスメントレイヤのタイルを格納するトラックは、ベースレイヤ全体の情報を格納するトラック１ではなく、エンハンスメントレイヤ全体の情報を格納するトラック６を参照することが示される。
【００８８】
また、これらのトラックには、タイルリージョングループエントリ（TileRegionGroupEntry）として、エンハンスメントレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置（オフセット）、当該タイルの垂直方向の位置（オフセット）、当該タイルの水平方向の大きさ（幅）、当該タイルの垂直方向の大きさ（高さ）等が設定されている。
【００８９】
MP4ファイル生成部１０３は、このような構成のMP4ファイルを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【００９０】
＜MP4ファイル生成処理の流れ＞
図１７のフローチャートを参照して、図１４のファイル生成装置１００により実行される、このようなMP4ファイルを生成する処理であるMP4ファイル生成処理の流れの例を説明する。
【００９１】
MP4ファイル生成処理が開始されると、ベースレイヤ符号化部１０１は、ステップＳ１０１において、ベースレイヤ画像を符号化する。
【００９２】
ステップＳ１０２において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。
【００９３】
ステップＳ１０３において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックにサンプルエントリを生成する。
【００９４】
ステップＳ１０４において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックを生成し、MP4ファイル化する。
【００９５】
ステップＳ１０５において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。
【００９６】
ステップＳ１０６において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、サンプルエントリを生成する。
【００９７】
ステップＳ１０７において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。
【００９８】
ステップＳ１０８において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
【００９９】
ステップＳ１０９において、エンハンスメントレイヤ符号化部１０２は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。
【０１００】
ステップＳ１１０において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。
【０１０１】
ステップＳ１１１において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックにサンプルエントリを生成する。
【０１０２】
ステップＳ１１２において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックを生成し、MP4ファイル化する。
【０１０３】
ステップＳ１１３において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。
【０１０４】
ステップＳ１１４において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、サンプルエントリを生成する。
【０１０５】
ステップＳ１１５において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。
【０１０６】
ステップＳ１１６において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
【０１０７】
ステップＳ１１７において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックに、ベースレイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。
【０１０８】
ステップＳ１１８において、MP4ファイル生成部１０３は、以上のように生成した各MP4ファイルを出力する。
【０１０９】
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図１５や図１６に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０１１０】
＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図１８および図１９に示されるような構成のMPDを生成する。
【０１１１】
図１８および図１９に示されるように、MPD生成部１０４は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報を含むメタデータを生成する。また、この場合、トラック毎にMP4ファイル化されているので、MPD生成部１０４は、MP4ファイル（トラック）毎に、アダプテーションセット（AdaptationSet）を設定し、それぞれのセグメント（Segment）にMP4ファイルを設定（登録）する。
【０１１２】
つまり、MPD生成部１０４は、ベースレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーション（Representation）を設定し、その下位にセグメント（Segment）を設定し、そのセグメントに、ベースレイヤ全体の情報を格納するMP4ファイル（Bl_bs.mp4）を登録する。
【０１１３】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvc2">）。また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される（<id="bl_bs">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
【０１１４】
<associationid="bl_tile1,bl_tile2,bl_tile3,bl_tile4"associationType="scal">
【０１１５】
同様に、MPD生成部１０４は、ベースレイヤの画像のタイル１（tile1）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル１の情報を格納するMP4ファイル（Bl_tile1.mp4）を登録する。
【０１１６】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１１７】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,960,540,1920,1080">
【０１１８】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル１の情報であることを示す識別情報が設定される（<id="bl_tile1">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
【０１１９】
<associationid="bl_bs "associationType="tbas">
【０１２０】
同様に、MPD生成部１０４は、ベースレイヤの画像のタイル２（tile2）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル２の情報を格納するMP4ファイル（Bl_tile2.mp4）を登録する。
【０１２１】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１２２】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,0,960,540,1920,1080">
【０１２３】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル２の情報であることを示す識別情報が設定される（<id="bl_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
【０１２４】
<associationid="bl_bs "associationType="tbas">
【０１２５】
同様に、MPD生成部１０４は、ベースレイヤの画像のタイル３（tile3）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル３の情報を格納するMP4ファイル（Bl_tile3.mp4）を登録する。
【０１２６】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１２７】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,540,960,540,1920,1080">
【０１２８】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル３の情報であることを示す識別情報が設定される（<id="bl_tile3">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
【０１２９】
<associationid="bl_bs "associationType="tbas">
【０１３０】
同様に、MPD生成部１０４は、ベースレイヤの画像のタイル４（tile4）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル４の情報を格納するMP4ファイル（Bl_tile4.mp4）を登録する。
【０１３１】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１３２】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,540,960,540,1920,1080">
【０１３３】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル４の情報であることを示す識別情報が設定される（<id="bl_tile4">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。
【０１３４】
<associationid="bl_bs "associationType="tbas">
【０１３５】
以上の構成を図１８に示す。
【０１３６】
また、MPD生成部１０４は、エンハンスメントレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤ全体の情報を格納するMP4ファイル（El_bs.mp4）を登録する。
【０１３７】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="lhv1">）。また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される（<id="el_bs">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
【０１３８】
<associationid="bl_bs "associationType="sbas">
<associationid="el_tile1,el_tile2,el_tile3,el_tile4"associationType="scal">
【０１３９】
これにより、エンハンスメントレイヤのアダプテーションセットからベースレイヤのアダプテーションセットを参照することができる。
【０１４０】
同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル１（tile1）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル１の情報を格納するMP4ファイル（el_tile1.mp4）を登録する。
【０１４１】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１４２】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,1920,1080,3840,2160">
【０１４３】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル１の情報であることを示す識別情報が設定される（<id="el_tile1">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
【０１４４】
<associationid="el_bs "associationType="tbas">
【０１４５】
同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル２（tile2）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル２の情報を格納するMP4ファイル（el_tile2.mp4）を登録する。
【０１４６】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１４７】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,1920,0,1920,1080,3840,2160">
【０１４８】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル２の情報であることを示す識別情報が設定される（<id="el_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
【０１４９】
<associationid="el_bs "associationType="tbas">
【０１５０】
同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル３（tile3）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル３の情報を格納するMP4ファイル（el_tile3.mp4）を登録する。
【０１５１】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１５２】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,1080,1920,1080,3840,2160">
【０１５３】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル３の情報であることを示す識別情報が設定される（<id="el_tile3">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
【０１５４】
<associationid="el_bs "associationType="tbas">
【０１５５】
同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル４（tile4）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル４の情報を格納するMP4ファイル（el_tile4.mp4）を登録する。
【０１５６】
MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。
【０１５７】
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,1920,1080,1920,1080,3840,2160">
【０１５８】
また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル４の情報であることを示す識別情報が設定される（<id="el_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。
【０１５９】
<associationid="el_bs "associationType="tbas">
【０１６０】
以上の構成を図１８に示す。
【０１６１】
このように、エンハンスメントレイヤの各タイルのアダプテーションセットの符号化情報をベースレイヤの各タイルのアダプテーションセットの符号化情報と異なるものとすることにより、これらがエンハンスメントレイヤのタイルのアダプテーションセットであることを識別することができる。
【０１６２】
また、これらのアダプテーションセットに属するリプレゼンテーションのアソシエーション情報には、"el_bs"を参照し、その参照の種類が"tbas"であることが示されている。つまり、エンハンスメントレイヤの各タイルのアダプテーションセットから、ベースレイヤ全体の情報のアダプテーションセット（bl_bs）ではなく、エンハンスメントレイヤ全体の情報のアダプテーションセット（el_bs）を参照することができる。
【０１６３】
MPD生成部１０４は、このような構成のMPDを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０１６４】
＜MPD生成処理の流れ＞
図２０および図２１のフローチャートを参照して、図１４のファイル生成装置１００により実行される、このようなMPDを生成する処理であるMPD生成処理の流れの例を説明する。
【０１６５】
MPD生成処理が開始されると、ベースレイヤ符号化部１０１は、図２０のステップＳ１２１において、ベースレイヤ画像を符号化する。
【０１６６】
ステップＳ１２２において、エンハンスメントレイヤ符号化部１０２は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。
【０１６７】
ステップＳ１２３において、MP4ファイル生成部１０３は、ベースレイヤの符号化データおよびエンハンスメントレイヤの符号化データを格納するMP4ファイルを生成する。この処理は、図１７のフローチャートを参照して説明したMP4ファイル生成処理と同様であるので、その説明を省略する。
【０１６８】
ステップＳ１２４において、MPD生成部１０４は、ベースレイヤのエクストラクタのアダプテーションセットを生成する。
【０１６９】
ステップＳ１２５において、MPD生成部１０４は、ベースレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。
【０１７０】
ステップＳ１２６において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションを生成する。
【０１７１】
ステップＳ１２７において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。
【０１７２】
ステップＳ１２８において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションにベースレイヤの各タイルとの関連情報（アソシエーション情報）を設定する。
【０１７３】
ステップＳ１２９において、MPD生成部１０４は、ベースレイヤのエクストラクタのセグメントを生成する。
【０１７４】
ステップＳ１３０において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットを生成する。
【０１７５】
ステップＳ１３１において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットに符号化情報を設定する。
【０１７６】
ステップＳ１３２において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。
【０１７７】
ステップＳ１３３において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションを生成する。
【０１７８】
ステップＳ１３４において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションに識別情報を設定する。
【０１７９】
ステップＳ１３５において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。
【０１８０】
ステップＳ１３６において、MPD生成部１０４は、ベースレイヤの各タイルのセグメントを生成する。
【０１８１】
図２１のステップＳ１４１において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットを生成する。
【０１８２】
ステップＳ１４２において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。
【０１８３】
ステップＳ１４３において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。
【０１８４】
ステップＳ１４４において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションを生成する。
【０１８５】
ステップＳ１４５において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。
【０１８６】
ステップＳ１４６において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションにエンハンスメントレイヤの各タイルとの関連情報（アソシエーション情報）と、ベースレイヤのエクストラクタとの関連情報（アソシエーション情報）とを設定する。
【０１８７】
ステップＳ１４７において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのセグメントを生成する。
【０１８８】
ステップＳ１４８において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットを生成する。
【０１８９】
ステップＳ１４９において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットに符号化情報を設定する。
【０１９０】
ステップＳ１５０において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。
【０１９１】
ステップＳ１５１において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションを生成する。
【０１９２】
ステップＳ１５２において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションに識別情報を設定する。
【０１９３】
ステップＳ１５３において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。
【０１９４】
ステップＳ１５４において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのセグメントを生成する。
【０１９５】
ステップＳ１５５において、MPD生成部１０４は、以上のように生成したMPDを出力する。
【０１９６】
以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図１８や図１９に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０１９７】
＜ファイル再生装置＞
次に、このように生成されたMP4ファイルやMPDを再生する装置について説明する。図２２は、本技術を適用した情報処理装置の一実施の形態であるファイル再生装置の主な構成例を示すブロック図である。図２２において、ファイル再生装置２００は、図１４のファイル生成装置１００により上述したように生成されたMP4ファイルやMPDを再生し、ベースレイヤおよびエンハンスメントレイヤのいずれか一方または両方の復号画像を生成し、出力する装置である。
【０１９８】
図２２に示されるように、ファイル再生装置２００は、MPD解析部２０１、MP4ファイル再生部２０２、ベースレイヤ復号部２０３、およびエンハンスメントレイヤ復号部２０４を有する。
【０１９９】
＜MP4ファイル再生処理の流れ＞
図２２のファイル再生装置２００は、MP4ファイル再生処理を実行することにより、入力されるMP4ファイルを再生し、任意のレイヤの復号画像を生成する。図２３のフローチャートを参照して、このMP4ファイル再生処理の流れの例を説明する。
【０２００】
MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ１７１において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ１７２に進む。
【０２０１】
ステップＳ１７２において、MP4ファイル再生部２０２は、ベースレイヤのエクストラクタのMP4ファイルを取得する。
【０２０２】
ステップＳ１７３において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。
【０２０３】
ステップＳ１７４において、MP4ファイル再生部２０２は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。
【０２０４】
ステップＳ１７５において、ベースレイヤ復号部２０３は、符号化データを復号し、ベースレイヤの復号画像（BL画像）を生成する。
【０２０５】
ステップＳ１７６において、ベースレイヤ復号部２０３は、ベースレイヤの復号画像（BL画像）を出力する。ステップＳ１７６の処理が終了すると、処理はステップＳ１８９に進む。
【０２０６】
また、ステップＳ１７１において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ１７８に進む。
【０２０７】
ステップＳ１７８において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ１７９に進む。
【０２０８】
ステップＳ１７９乃至ステップＳ１８３の各処理は、ステップＳ１７２乃至ステップＳ１７６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ１８４に進む。また、ステップＳ１７８においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ１８４に進む。
【０２０９】
ステップＳ１８４において、MP4ファイル再生部２０２は、エンハンスメントレイヤのエクストラクタのMP4ファイルを取得する。
【０２１０】
ステップＳ１８５において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。
【０２１１】
ステップＳ１８６において、MP4ファイル再生部２０２は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。
【０２１２】
ステップＳ１８７において、エンハンスメントレイヤ復号部２０４は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像（EL画像）を生成する。
【０２１３】
ステップＳ１８８において、エンハンスメントレイヤ復号部２０４は、エンハンスメントレイヤの復号画像（EL画像）を出力する。ステップＳ１８８の処理が終了すると、処理はステップＳ１８９に進む。
【０２１４】
ステップＳ１８９において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１７１に戻り、それ以降の処理が繰り返される。
【０２１５】
各サンプルについてステップＳ１７１乃至ステップＳ１８９の各処理が適宜実行され、ステップＳ１８９において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
【０２１６】
以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図１５や図１６に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０２１７】
＜MPD再生処理の流れ＞
図２２のファイル再生装置２００は、MPD再生処理を実行することにより、入力されるMPDを再生し、任意のレイヤの復号画像を生成する。図２４のフローチャートを参照して、このMPD再生処理の流れの例を説明する。
【０２１８】
MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ２０１において、MPDを取得する。
【０２１９】
ステップＳ２０２において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ２０３に進む。
【０２２０】
ステップＳ２０３において、MPD解析部２０１は、ベースレイヤの再生するタイルのアダプテーションセットを特定する。
【０２２１】
ステップＳ２０４において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
【０２２２】
ステップＳ２０５において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図２３のステップＳ１７２乃至ステップＳ１７６の各処理が実行される。ステップＳ２０５の処理が終了すると処理はステップＳ２１１に進む。
【０２２３】
また、ステップＳ２０２において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ２０６に進む。
【０２２４】
ステップＳ２０６およびステップＳ２０７の各処理は、ステップＳ２０３およびステップＳ２０４の各処理と同様に実行される。
【０２２５】
ステップＳ２０８において、MPD解析部２０１は、エンハンスメントレイヤの再生するタイルのアダプテーションセットを特定する。
【０２２６】
ステップＳ２０９において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
【０２２７】
ステップＳ２１０において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図２３のステップＳ１７８乃至ステップＳ１８８の各処理が実行される。ステップＳ２１０の処理が終了すると処理はステップＳ２１１に進む。
【０２２８】
ステップＳ２１１において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。
【０２２９】
各サンプルについてステップＳ２０２乃至ステップＳ２１１の各処理が適宜実行され、ステップＳ２１１において再生を終了すると判定された場合、MPD再生処理が終了する。
【０２３０】
以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図１８や図１９に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０２３１】
＜２．第２の実施の形態＞
＜ベースレイヤの参照＞
エンハンスメントレイヤの各タイルからベースレイヤの各タイルを参照することができるようにしてもよい。図２５および図２６にMP4ファイルの他の構成例を示す。
【０２３２】
この場合、図１５および図１６に示される構成に加え、エンハンスメントレイヤの各タイルのトラックにベースレイヤを参照するトラックリファレンスが追加されている。
【０２３３】
例えば、図２６のトラック７のトラックリファレンス（Track Reference）に、トラック２を参照し、その参照の種類が"sbas"であることが示され（sbas=2）、トラック８のトラックリファレンス（Track Reference）に、トラック３を参照し、その参照の種類が"sbas"であることが示され（sbas=3）、トラック９のトラックリファレンス（Track Reference）に、トラック４を参照し、その参照の種類が"sbas"であることが示され（sbas=4）、トラック１０のトラックリファレンス（Track Reference）に、トラック５を参照し、その参照の種類が"sbas"であることが示されている（sbas=5）。
【０２３４】
したがって、この場合、エンハンスメントレイヤのタイルを格納する各トラックから、ベースレイヤの対応するタイルのトラックを参照することができる。
【０２３５】
＜MP4ファイル生成処理の流れ＞
図２７のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
【０２３６】
図２７のステップＳ２２１乃至ステップＳ２３６の各処理は、図１７のステップＳ１０１乃至ステップＳ１１６の各処理と同様に実行される。
【０２３７】
ステップＳ２３７において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、ベースレイヤの対応するタイルのトラックを示すトラックリファレンスを生成する。
【０２３８】
図２７のステップＳ２３８およびステップＳ２３９の各処理は、図１７のステップＳ１１７およびステップＳ１１８の各処理と同様に実行される。
【０２３９】
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図２５や図２６に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０２４０】
＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図２８および図２９に示されるような構成のMPDを生成する。
【０２４１】
この場合、図１８および図１９に示される構成に加え、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤを参照するアソシエーション情報が追加されている。
【０２４２】
例えば、図２９のエンハンスメントレイヤのタイル１のリプレゼンテーションに、ベースレイヤのタイル１のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
【０２４３】
<associationid="bl_tile1" associationType="sbas">
【０２４４】
同様に、エンハンスメントレイヤのタイル２のリプレゼンテーションに、ベースレイヤのタイル２のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
【０２４５】
<associationid="bl_tile2" associationType="sbas">
【０２４６】
同様に、エンハンスメントレイヤのタイル３のリプレゼンテーションに、ベースレイヤのタイル３のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
【０２４７】
<associationid="bl_tile3" associationType="sbas">
【０２４８】
同様に、エンハンスメントレイヤのタイル４のリプレゼンテーションに、ベースレイヤのタイル４のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。
【０２４９】
<associationid="bl_tile4" associationType="sbas">
【０２５０】
したがって、この場合、エンハンスメントレイヤのタイルのアダプテーションセットから、ベースレイヤの対応するタイルのアダプテーションセットを参照することができる。
【０２５１】
＜MPD生成処理の流れ＞
図３０および図３１のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
【０２５２】
図３０のステップＳ２５１乃至ステップＳ２６６の各処理は、図２０のステップＳ１２１乃至ステップＳ１３６の各処理と同様に実行される。
【０２５３】
また、図３１のステップＳ２７１乃至ステップＳ２８２の各処理は、図２１のステップＳ１４１乃至ステップＳ１５２の各処理と同様に実行される。
【０２５４】
図３１のステップＳ２８３において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションに、ベースレイヤの対応するタイルとの関連情報（アソシエーション情報）を設定する。
【０２５５】
図３１のステップＳ２８４乃至ステップＳ２８６の各処理は、図２１のステップＳ１５３乃至ステップＳ１５５の各処理と同様に実行される。
【０２５６】
以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図２８や図２９に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０２５７】
なお、MP4ファイル再生処理やMPD再生処理は、第１の実施の形態の場合と同様に行うことができるので、その説明は省略する。
【０２５８】
＜３．第３の実施の形態＞
＜レイヤ毎のファイル化＞
図３２および図３３にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えばレイヤ毎にファイル化するようにしてもよい。図３２の例の場合、ベースレイヤの情報を格納する各トラック（トラック１乃至トラック５）が１つのMP4ファイルに格納されている。また、図３３の例の場合、エンハンスメントレイヤの情報を格納する各トラック（トラック６乃至トラック１０）が１つのMP4ファイルに格納されている。各トラックの内部の構成は、第２の実施の形態の場合（図２５、図２６）と同様である。もちろん、この各トラックの内部の構成を、第１の実施の形態の場合（図１５、図１６）と同様にしてもよい。
【０２５９】
＜MP4ファイル生成処理の流れ＞
図３４のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
【０２６０】
ステップＳ３０１の処理は、図２７のステップＳ２２１の処理と同様に実行される。
【０２６１】
ステップＳ３０２において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックを生成する。
【０２６２】
ステップＳ３０３の処理は、図２７のステップＳ２２３の処理と同様に実行される。
【０２６３】
ステップＳ３０４において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックを生成する。
【０２６４】
ステップＳ３０５乃至ステップＳ３０８の各処理は、図２７のステップＳ２２５乃至ステップＳ２２８の各処理と同様に実行される。
【０２６５】
ステップＳ３０９において、MP4ファイル生成部１０３は、ベースレイヤの各トラックをまとめてファイル化する。つまり、ベースレイヤの各トラックを１つのファイルに格納する。
【０２６６】
ステップＳ３１０の処理は、図２７のステップＳ２２９の処理と同様に実行される。
【０２６７】
ステップＳ３１１において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックを生成する。
【０２６８】
ステップＳ３１２の処理は、図２７のステップＳ２３１の処理と同様に実行される。
【０２６９】
ステップＳ３１３において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックを生成する。
【０２７０】
ステップＳ３１４乃至ステップＳ３１９の各処理は、図２７のステップＳ２３３乃至ステップＳ２３８の各処理と同様に実行される。
【０２７１】
ステップＳ３２０において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各トラックをまとめてファイル化する。つまり、エンハンスメントレイヤの各トラックを１つのファイルに格納する。
【０２７２】
ステップＳ３２１の処理は、図２７のステップＳ２３９の処理と同様に実行される。
【０２７３】
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図３２や図３３に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０２７４】
＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図３５および図３６に示されるような構成のMPDを生成する。
【０２７５】
この場合、MP4ファイルは、レイヤ毎にファイル化されているので、MPDにおいても、アダプテーションセットは、レイヤ毎に作成される。
【０２７６】
図３５に示されるように、ベースレイヤのアダプテーションセットには、その下位に、ベースレイヤ全体の情報を含むリプレゼンテーションが生成され、その下位のセグメントにベースレイヤのMP4ファイル（bl.mp4）が設定（登録）される。各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。
【０２７７】
図３６に示されるように、エンハンスメントレイヤの構成も、図３５と同様である。
【０２７８】
＜MPD生成処理の流れ＞
図３７のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
【０２７９】
ステップＳ３４１乃至ステップＳ３４３の各処理は、図３０のステップＳ２５１乃至ステップＳ２５３の各処理と同様に実行される。
【０２８０】
ステップＳ３４４において、MPD生成部１０４は、ベースレイヤのアダプテーションセットを生成する。
【０２８１】
ステップＳ３４５において、MPD生成部１０４は、ベースレイヤのリプレゼンテーションを生成する。
【０２８２】
ステップＳ３４６において、MPD生成部１０４は、ベースレイヤのセグメントを生成する。
【０２８３】
ステップＳ３４７において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションを生成する。
【０２８４】
ステップＳ３４８において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
【０２８５】
ステップＳ３４９において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
【０２８６】
ステップＳ３５０において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
【０２８７】
ステップＳ３５１において、MPD生成部１０４は、エンハンスメントレイヤのアダプテーションセットを生成する。
【０２８８】
ステップＳ３５２において、MPD生成部１０４は、エンハンスメントレイヤのリプレゼンテーションを生成する。
【０２８９】
ステップＳ３５３において、MPD生成部１０４は、エンハンスメントレイヤのセグメントを生成する。
【０２９０】
ステップＳ３５４において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションを生成する。
【０２９１】
ステップＳ３５５において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
【０２９２】
ステップＳ３５６において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
【０２９３】
ステップＳ３５７において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
【０２９４】
ステップＳ３５８において、MPD生成部１０４は、以上のように生成したMPDを出力する。
【０２９５】
以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図３５や図３６に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０２９６】
＜MP4ファイル再生処理の流れ＞
次に、図３８のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。
【０２９７】
MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ３７１において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ３７２に進む。
【０２９８】
ステップＳ３７２において、MP4ファイル再生部２０２は、ベースレイヤのMP4ファイルを取得する。
【０２９９】
ステップＳ３７３において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを特定する。
【０３００】
ステップＳ３７４において、MP4ファイル再生部２０２は、特定したトラックから処理対象のサンプルの符号化データを抽出する。
【０３０１】
ステップＳ３７５において、ベースレイヤ復号部２０３は、符号化データを復号し、ベースレイヤの復号画像（BL画像）を生成する。
【０３０２】
ステップＳ３７６において、ベースレイヤ復号部２０３は、ベースレイヤの復号画像（BL画像）を出力する。ステップＳ３７６の処理が終了すると、処理はステップＳ３８８に進む。
【０３０３】
また、ステップＳ３７１において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ３７７に進む。
【０３０４】
ステップＳ３７７において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ３７８に進む。
【０３０５】
ステップＳ３７８乃至ステップＳ３８２の各処理は、ステップＳ３７２乃至ステップＳ３７６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ３８３に進む。また、ステップＳ３７７においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ３８３に進む。
【０３０６】
ステップＳ３８３において、MP4ファイル再生部２０２は、エンハンスメントレイヤのMP4ファイルを取得する。
【０３０７】
ステップＳ３８４において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを取得する。
【０３０８】
ステップＳ３８５において、MP4ファイル再生部２０２は、特定したトラックから処理対象のサンプルの符号化データを抽出する。
【０３０９】
ステップＳ３８６において、エンハンスメントレイヤ復号部２０４は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像（EL画像）を生成する。
【０３１０】
ステップＳ３８７において、エンハンスメントレイヤ復号部２０４は、エンハンスメントレイヤの復号画像（EL画像）を出力する。ステップＳ３８７の処理が終了すると、処理はステップＳ３８８に進む。
【０３１１】
ステップＳ３８８において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ３７１に戻り、それ以降の処理が繰り返される。
【０３１２】
各サンプルについてステップＳ３７１乃至ステップＳ３８８の各処理が適宜実行され、ステップＳ３８８において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
【０３１３】
以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図３２や図３３に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０３１４】
＜MPD再生処理の流れ＞
図３９のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。
【０３１５】
MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ４０１において、MPDを取得する。
【０３１６】
ステップＳ４０２において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ４０３に進む。
【０３１７】
ステップＳ４０３において、MPD解析部２０１は、ベースレイヤのアダプテーションセットを特定する。
【０３１８】
ステップＳ４０４において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
【０３１９】
ステップＳ４０５において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
【０３２０】
ステップＳ４０６において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図３８のステップＳ３７２乃至ステップＳ３７６の各処理が実行される。ステップＳ４０６の処理が終了すると処理はステップＳ４１４に進む。
【０３２１】
また、ステップＳ４０２において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ４０７に進む。
【０３２２】
ステップＳ４０７乃至ステップＳ４０９の各処理は、ステップＳ４０３およびステップＳ４０５の各処理と同様に実行される。
【０３２３】
ステップＳ４１０において、MPD解析部２０１は、エンハンスメントレイヤのアダプテーションセットを特定する。
【０３２４】
ステップＳ４１１において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
【０３２５】
ステップＳ４１２において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
【０３２６】
ステップＳ４１３において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図３８のステップＳ３７７乃至ステップＳ３８７の各処理が実行される。ステップＳ４１３の処理が終了すると処理はステップＳ４１４に進む。
【０３２７】
ステップＳ４１４において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ４０２に戻り、それ以降の処理が繰り返される。
【０３２８】
各サンプルについてステップＳ４０２乃至ステップＳ４１４の各処理が適宜実行され、ステップＳ４１４において再生を終了すると判定された場合、MPD再生処理が終了する。
【０３２９】
以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図３５や図３６に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０３３０】
＜４．第４の実施の形態＞
＜全レイヤのファイル化＞
図４０および図４１にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えば全レイヤを１つのファイルにファイル化するようにしてもよい。各トラックの内部の構成は、第２の実施の形態の場合（図２５、図２６）と同様である。もちろん、この各トラックの内部の構成を、第１の実施の形態の場合（図１５、図１６）と同様にしてもよい。
【０３３１】
＜MP4ファイル生成処理の流れ＞
図４２のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。
【０３３２】
ステップＳ４３１乃至ステップＳ４４８の各処理は、図３４のステップＳ３０１乃至ステップＳ３０８並びにステップＳ３１０乃至３１９の各処理と同様に実行される。
【０３３３】
ステップＳ４４９において、MP4ファイル生成部１０３は、全レイヤの各タイル（各トラック）をまとめてファイル化する（全トラックを含む１つのMP4ファイルを生成する）。
【０３３４】
ステップＳ４５０において、MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。
【０３３５】
以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図４０や図４１に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０３３６】
＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図４３および図４４に示されるような構成のMPDを生成する。
【０３３７】
図４３および図４４に示されるように、この場合、アダプテーションセットは、１つのみ作成される（全レイヤ共通のアダプテーションセットが作成される）。
【０３３８】
その下位に、全レイヤの情報を含むリプレゼンテーションが生成され、その下位のセグメントに全レイヤのMP4ファイル（blel.mp4）が設定（登録）される。各レイヤの各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。
【０３３９】
＜MPD生成処理の流れ＞
図４５のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。
【０３４０】
ステップＳ４７１乃至ステップＳ４７３の各処理は、図３０のステップＳ２５１乃至ステップＳ２５３の各処理と同様に実行される。
【０３４１】
ステップＳ４７４において、MPD生成部１０４は、全レイヤ共通のアダプテーションセットを生成する。
【０３４２】
ステップＳ４７５において、MPD生成部１０４は、全レイヤ共通のリプレゼンテーションを生成する。
【０３４３】
ステップＳ４７６において、MPD生成部１０４は、全レイヤ共通のセグメントを生成する。
【０３４４】
ステップＳ４７７において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションを生成する。
【０３４５】
ステップＳ４７８において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。
【０３４６】
ステップＳ４７９において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。
【０３４７】
ステップＳ４８０において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。
【０３４８】
ステップＳ４８１において、MPD生成部１０４は、以上のように生成したMPDを出力する。
【０３４９】
以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図４３や図４４に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０３５０】
＜MP4ファイル再生処理の流れ＞
次に、図４６のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。
【０３５１】
MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ５０１において、MP4ファイルを取得する。
【０３５２】
ステップＳ５０２において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ５０３に進む。
【０３５３】
ステップＳ５０３において、MP4ファイル再生部２０２は、ベースレイヤ全体の情報のトラックのトラックリファレンスに基づいて、ベースレイヤの再生するタイルのトラックを特定する。
【０３５４】
ステップＳ５０４乃至ステップＳ５０６の各処理は、図３８のステップＳ３７４乃至ステップＳ３７６の各処理と同様に実行される。
【０３５５】
ステップＳ５０６の処理が終了すると、処理はステップＳ５１６に進む。
【０３５６】
また、ステップＳ５０２において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ５０７に進む。
【０３５７】
ステップＳ５０７において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ５０８に進む。
【０３５８】
ステップＳ５０８乃至ステップＳ５１１の各処理は、ステップＳ５０３乃至ステップＳ５０６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ５１２に進む。また、ステップＳ５０７においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ５１２に進む。
【０３５９】
ステップＳ５１２において、MP4ファイル再生部２０２は、エンハンスメントレイヤ全体の情報のトラックのトラックリファレンスに基づいて、エンハンスメントレイヤの再生するタイルのトラックを取得する。
【０３６０】
ステップＳ５１３乃至ステップＳ５１５の各処理は、図３８のステップＳ３８５乃至ステップＳ３８７の各処理と同様に実行される。ステップＳ５１５の処理が終了すると、処理はステップＳ５１６に進む。
【０３６１】
ステップＳ５１６において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５０１に戻り、それ以降の処理が繰り返される。
【０３６２】
各サンプルについてステップＳ５０１乃至ステップＳ５１６の各処理が適宜実行され、ステップＳ５１６において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。
【０３６３】
以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図４０や図４１に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０３６４】
＜MPD再生処理の流れ＞
図４７のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。
【０３６５】
MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ５３１において、MPDを取得する。
【０３６６】
ステップＳ５３２において、MPD解析部２０１は、取得したMPDの全レイヤ共通のアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。
【０３６７】
ステップＳ５３３において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ５３４に進む。
【０３６８】
ステップＳ５３４において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
【０３６９】
ステップＳ５３５において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図４６のステップＳ５０３乃至ステップＳ５０６の各処理が実行される。ステップＳ５３５の処理が終了すると処理はステップＳ５３８に進む。
【０３７０】
また、ステップＳ５３３において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ５３６に進む。
【０３７１】
ステップＳ５３６において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。
【０３７２】
ステップＳ５３７において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図４６のステップＳ５０７乃至ステップＳ５１５の各処理が実行される。ステップＳ５３７の処理が終了すると処理はステップＳ５３８に進む。
【０３７３】
ステップＳ５３８において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５３１に戻り、それ以降の処理が繰り返される。
【０３７４】
各サンプルについてステップＳ５３１乃至ステップＳ５３８の各処理が適宜実行され、ステップＳ５３８において再生を終了すると判定された場合、MPD再生処理が終了する。
【０３７５】
以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図４３や図４４に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。
【０３７６】
＜５．第５の実施の形態＞
＜配信システム＞
各実施の形態において上述した各装置は、例えば、静止画像や動画像を配信する配信システムに利用することができる。以下において、その場合について説明する。
【０３７７】
図４８は、本技術を適用した配信システムの主な構成例を示す図である。図４８に示される配信システム３００は、静止画像および動画像を配信するシステムである。図４８に示されるように、配信システム３００は、配信データ生成装置３０１、配信サーバ３０２、ネットワーク３０３、端末装置３０４、および端末装置３０５を有する。
【０３７８】
配信データ生成装置３０１は、配信する静止画像や動画像のデータから配信用のフォーマットの配信データを生成する。配信データ生成装置３０１は、生成した配信データを配信サーバ３０２に供給する。配信サーバ３０２は、配信データ生成装置３０１が生成した配信データを記憶部などに記憶して管理し、ネットワーク３０３を介して端末装置３０４や端末装置３０５に対して、その配信データの配信サービスを提供する。
【０３７９】
ネットワーク３０３は、通信媒体となる通信網である。ネットワーク３０３は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク３０３は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク３０３は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
【０３８０】
配信サーバ３０２、端末装置３０４、および端末装置３０５は、このネットワーク３０３に接続されており、互いに通信可能な状態になされている。これらのネットワーク３０３への接続方法は任意である。例えば、これらの装置が、ネットワーク３０３に、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよい。また、例えば、これらの装置が、アクセスポイント、中継装置、基地局等、任意の通信装置（通信設備）を介してネットワーク３０３に接続されるようにしてもよい。
【０３８１】
端末装置３０４および端末装置３０５は、それぞれ、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する任意の電子機器である。端末装置３０４や端末装置３０５は、例えばユーザ等の指示に基づいて、配信ファイルの配信を配信サーバ３０２に対して要求する。
【０３８２】
配信サーバ３０２は、要求された配信データを要求元に送信する。配信を要求した端末装置３０４若しくは端末装置３０５は、その配信データを受信し、再生する。
【０３８３】
このような配信システム３００において、配信データ生成装置３０１として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル生成装置１００を、配信データ生成装置３０１として用いるようにする。
【０３８４】
また、端末装置３０４や端末装置３０５として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル再生装置２００を、端末装置３０４や端末装置３０５として用いるようにする。
【０３８５】
このようにすることにより、配信データ生成装置３０１、端末装置３０４、および端末装置３０５は、上述した各実施の形態と同様の効果を得ることができる。つまり、配信システム３００は、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができ、例えば、第１の実施の形態において説明したユースケースのようなレイヤの切り替えを実現することができる。
【０３８６】
＜６．第６の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０３８７】
図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３８８】
図４９に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。
【０３８９】
バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。
【０３９０】
入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
【０３９１】
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３９２】
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。
【０３９３】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
【０３９４】
その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。
【０３９５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３９６】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３９７】
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
【０３９８】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３９９】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０４００】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０４０１】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４０２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４０３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４０４】
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０４０５】
なお、本技術は以下のような構成も取ることができる。
（１）  画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部
を備える情報処理装置。
（２）  前記ファイル生成部は、
前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納する
（１）に記載の情報処理装置。
（３）  前記ファイル生成部は、
前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納する
（１）または（２）に記載の情報処理装置。
（４）  前記ファイル生成部は、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納する
（３）に記載の情報処理装置。
（５）  前記ファイル生成部は、
各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、
各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６）  前記ファイル生成部は、
各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納する
（１）乃至（５）のいずれかに記載の情報処理装置。
（７）  前記ファイル生成部は、前記トラック毎に前記ファイルに生成する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）  前記ファイル生成部は、レイヤ毎に前記ファイルを生成する
（１）乃至（７）のいずれかに記載の情報処理装置。
（９）  前記ファイル生成部は、全てのトラックを格納するファイルを生成する
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）  画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する
情報処理方法。
（１１）  画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部
を備える情報処理装置。
（１２）  前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含む
（１１）に記載の情報処理装置。
（１３）  前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、  前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含む
（１１）または（１２）に記載の情報処理装置。
（１４）  前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含む
（１３）に記載の情報処理装置。
（１５）  前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含む
（１１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）  前記メタデータ生成部は、
前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、
前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、
前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、
前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定する
（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）  前記メタデータ生成部は、
前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、
前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
（１１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）  前記メタデータ生成部は、
全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
（１１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）  前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定する
（１１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）  画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する
情報処理方法。
【符号の説明】
【０４０６】
１００  ファイル生成装置，  １０１  ベースレイヤ符号化部，  １０２  エンハンスメントレイヤ符号化部，  １０３  MP4ファイル生成部，  １０４  MPD生成部，  ２００  ファイル再生装置，  ２０１  MPD解析部，  ２０２  MP4ファイル再生部，  ２０３  ベースレイヤ復号部，  ２０４  エンハンスメントレイヤ復号部，  ３００  配信システム，  ３０１  配信データ生成装置，  ３０２  配信サーバ，  ３０３  ネットワーク，  ３０４および３０５  端末装置，  ４００  コンピュータ
【図１】
2020053996.tif 000003
【図２】
2020053996.tif 000004
【図３】
2020053996.tif 000005
【図４】
2020053996.tif 000006
【図５】
2020053996.tif 000007
【図６】
2020053996.tif 000008
【図７】
2020053996.tif 000009
【図８】
2020053996.tif 000010
【図９】
2020053996.tif 000011
【図１０】
2020053996.tif 000012
【図１１】
2020053996.tif 000013
【図１２】
2020053996.tif 000014
【図１３】
2020053996.tif 000015
【図１４】
2020053996.tif 000016
【図１５】
2020053996.tif 000017
【図１６】
2020053996.tif 000018
【図１７】
2020053996.tif 000019
【図１８】
2020053996.tif 000020
【図１９】
2020053996.tif 000021
【図２０】
2020053996.tif 000022
【図２１】
2020053996.tif 000023
【図２２】
2020053996.tif 000024
【図２３】
2020053996.tif 000025
【図２４】
2020053996.tif 000026
【図２５】
2020053996.tif 000027
【図２６】
2020053996.tif 000028
【図２７】
2020053996.tif 000029
【図２８】
2020053996.tif 000030
【図２９】
2020053996.tif 000031
【図３０】
2020053996.tif 000032
【図３１】
2020053996.tif 000033
【図３２】
2020053996.tif 000034
【図３３】
2020053996.tif 000035
【図３４】
2020053996.tif 000036
【図３５】
2020053996.tif 000037
【図３６】
2020053996.tif 000038
【図３７】
2020053996.tif 000039
【図３８】
2020053996.tif 000040
【図３９】
2020053996.tif 000041
【図４０】
2020053996.tif 000042
【図４１】
2020053996.tif 000043
【図４２】
2020053996.tif 000044
【図４３】
2020053996.tif 000045
【図４４】
2020053996.tif 000046
【図４５】
2020053996.tif 000047
【図４６】
2020053996.tif 000048
【図４７】
2020053996.tif 000049
【図４８】
2020053996.tif 000050
【図４９】
2020053996.tif 000051