(57)【要約】  本開示は、複数の種類の音声データのうちの所定の種類の音声データの取得効率を向上させることができるようにする情報処理装置および情報処理方法に関する。複数の種類の音声データが種類に応じて複数のトラックに分割されて配置されるファイルのうちの所定のトラックの音声データが取得される。本開示は、例えば、ファイルを生成するファイル生成装置、ファイル生成装置により生成されたファイルを記録するWebサーバ、および、ファイルを再生する動画再生端末により構成される情報処理システム等に適用することができる。
2015182491.tif 000002
【特許請求の範囲】
【請求項１】
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルのうちの所定の前記トラックの音声データを取得する取得部
を備える情報処理装置。
【請求項２】
前記種類は、前記音声データのエレメント、前記エレメントのタイプ、または前記エレメントが分類されるグループである
ように構成された
請求項１に記載の情報処理装置。
【請求項３】
前記取得部により取得された前記所定のトラックの前記音声データを復号する復号部
をさらに備える
請求項１に記載の情報処理装置。
【請求項４】
前記復号部は、前記所定のトラックの数が複数である場合、前記取得部により取得された前記所定のトラックの前記音声データを合成し、合成後の前記音声データを復号する
請求項３に記載の情報処理装置。
【請求項５】
前記ファイルには、複数のオブジェクト単位の音声データが前記オブジェクトごとに異なる前記トラックに分割されて配置されるとともに、全ての前記オブジェクト単位の音声データのメタデータが前記トラックとは異なるトラックにまとめて配置され、
前記取得部は、再生対象のオブジェクトの前記トラックの前記音声データを、前記所定のトラックの前記音声データとして取得するとともに、前記メタデータを取得し、
前記復号部は、前記取得部により取得された前記メタデータから、前記再生対象のオブジェクトの前記メタデータを抽出し、そのメタデータと前記取得部により取得された前記音声データとを合成する
ように構成された
請求項４に記載の情報処理装置。
【請求項６】
前記ファイルには、複数のオブジェクト単位の音声データが前記オブジェクトごとに異なる前記トラックに分割されて配置されるとともに、全ての前記オブジェクト単位の音声データのメタデータが前記トラックとは異なるトラックにまとめて配置され、
前記取得部は、再生対象のオブジェクトの前記トラックの前記音声データを、前記所定のトラックの前記音声データとして取得するとともに、前記メタデータを取得し、
前記復号部は、再生対象ではない前記トラックの前記音声データとしての復号結果がゼロになるゼロデータと、前記取得部により取得された前記音声データおよび前記メタデータとを合成する
ように構成された
請求項４に記載の情報処理装置。
【請求項７】
前記ファイルには、複数のオブジェクト単位の音声データが前記オブジェクトごとに異なる前記トラックに分割されて配置されるとともに、前記オブジェクト単位の音声データのメタデータが前記オブジェクトごとに異なるトラックに配置され、
前記取得部は、再生対象のオブジェクトの前記トラックの前記音声データを、前記所定のトラックの前記音声データとして取得するとともに、再生対象の前記オブジェクトのメタデータを取得し、
前記復号部は、前記取得部により取得された前記音声データと前記メタデータを合成する
ように構成された
請求項４に記載の情報処理装置。
【請求項８】
前記複数のトラックの前記音声データは、１つの前記ファイルに配置される
ように構成された
請求項１に記載の情報処理装置。
【請求項９】
前記複数のトラックの前記音声データは、前記トラックごとに異なる前記ファイルに配置される
ように構成された
請求項１に記載の情報処理装置。
【請求項１０】
前記ファイルには、前記複数の種類の前記音声データに関する情報が、前記複数のトラックとは異なるトラックとして配置される
ように構成された
請求項１に記載の情報処理装置。
【請求項１１】
前記複数の種類の前記音声データに関する情報は、前記音声データに対応する画像データの画枠サイズを示す画枠サイズ情報を含む
ように構成された
請求項１０に記載の情報処理装置。
【請求項１２】
前記ファイルには、前記複数のトラックとは異なるトラックの前記音声データとして、その音声データに対応する他の前記トラックの前記音声データの位置を示す情報が配置される
ように構成された
請求項１に記載の情報処理装置。
【請求項１３】
前記ファイルには、前記複数のトラックとは異なるトラックの前記データとして、そのデータに対応する他の前記トラックの前記音声データの位置を示す情報と、他の前記トラックの前記音声データのメタデータが配置される
ように構成された
請求項１に記載の情報処理装置。
【請求項１４】
前記音声データのメタデータは、前記音声データの取得位置を示す情報を含む
ように構成された
請求項１３に記載の情報処理装置。
【請求項１５】
前記ファイルは、前記トラックの他の前記トラックとの参照関係を表す情報を含む
ように構成された
請求項１に記載の情報処理装置。
【請求項１６】
前記ファイルは、各トラックの前記音声データのコーデック情報を含む
ように構成された
請求項１に記載の情報処理装置。
【請求項１７】
所定の前記種類の音声データは、他の前記種類の音声データの取得位置を示す情報である
ように構成された
請求項１に記載の情報処理装置。
【請求項１８】
情報処理装置が、
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルのうちの所定の前記トラックの音声データを取得する取得ステップ
を含む情報処理方法。
【請求項１９】
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルを生成する生成部
を備える情報処理装置。
【請求項２０】
情報処理装置が、
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルを生成する生成ステップ
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関し、特に、複数の種類の音声データのうちの所定の種類の音声データの取得効率を向上させることができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
近年、インターネット上のストリーミングサービスの主流がOTT−V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG−DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。【０００３】
MPEG−DASHでは、配信サーバが１本の動画コンテンツ用に画面サイズと符号化速度が異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適な画面サイズと符号化速度の動画データ群を要求することにより、適応型のストリーミング配信が実現される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】MPEG−DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg−dash/media−presentation−description−and−segment−formats/text−isoiec−23009−12012−dam−1）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、動画コンテンツの複数の種類の音声データのうちの所定の種類の音声データの取得効率を向上させることは考えられていない。【０００６】
本開示は、このような状況に鑑みてなされたものであり、複数の種類の音声データのうちの所定の種類の音声データの取得効率を向上させることができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の第１の側面の情報処理装置は、複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルのうちの所定の前記トラックの音声データを取得する取得部を備える情報処理装置である。【０００８】
本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。【０００９】
本開示の第１の側面においては、複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルのうちの所定の前記トラックの音声データが取得される。【００１０】
本開示の第２の側面の情報処理装置は、複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルを生成する生成部を備える情報処理装置である。【００１１】
本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。【００１２】
本開示の第２の側面においては、複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルが生成される。【００１３】
なお、第１および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１４】
また、第１および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本開示の第１の側面によれば、音声データを取得することができる。また、本開示の第１の側面によれば、複数の種類の音声データのうちの所定の種類の音声データを効率良く取得することができる。【００１６】
本開示の第２の側面によれば、ファイルを生成することができる。また、本開示の第２の側面によれば、複数の種類の音声データのうちの所定の種類の音声データの取得効率を向上させるファイルを生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本開示を適用した情報処理システムの第１の例の概要を説明する図である。
【図２】タイルの例を示す図である。
【図３】オブジェクトを説明する図である。
【図４】オブジェクト位置情報を説明する図である。
【図５】画枠サイズ情報を説明する図である。
【図６】MPDファイルの構造を示す図である。
【図７】「Period」、「Representation」、および「Segment」の関係を示す図である。
【図８】MPDファイルの階層構造を示す図である。
【図９】MPDファイルの構造と時間軸との関係を示す図である。
【図１０】MPDファイルの記述例を説明する図である。
【図１１】ファイル生成装置の構成例を示すブロック図である。
【図１２】ファイル生成装置のファイル生成処理を説明するフローチャートである。
【図１３】ストリーミング再生部の構成例を示すブロック図である。
【図１４】ストリーミング再生部のストリーミング再生処理を説明するフローチャートである。
【図１５】MPDファイルの他の記述例を説明する図である。
【図１６】MPDファイルのさらに他の記述例を説明する図である。
【図１７】オーディオストリームの配置例を示す図である。
【図１８】gsixの記述例を示す図である。
【図１９】Sample group entryとオブジェクトＩＤの対応関係を示す情報の例を示す図である。
【図２０】AudioObjectSampleGroupEntryの記述例を示す図である。
【図２１】type assignment boxの記述例を示す図である。
【図２２】本開示を適用した情報処理システムの第２の例の概要を説明する図である。
【図２３】本開示を適用した情報処理システムのストリーミング再生部の構成例を示すブロック図である。
【図２４】オブジェクトの位置の決定方法を説明する図である。
【図２５】オブジェクトの位置の決定方法を説明する図である。
【図２６】オブジェクトの位置の決定方法を説明する図である。
【図２７】水平角度θAiと水平角度θAi´の関係を表す図である。
【図２８】図２３のストリーミング再生部のストリーミング再生処理を説明するフローチャートである。
【図２９】図２８の位置決定処理の詳細を説明するフローチャートである。
【図３０】図２９の水平角度θAi´推定処理の詳細を説明するフローチャートである。
【図３１】ＭＰ４の３Ｄオーディオファイルフォーマットのトラックの概要を説明する図である。
【図３２】moovボックスの構造を示す図である。
【図３３】本開示を適用した第１実施の形態におけるトラックの概要を説明する図である。
【図３４】図３３のベーストラックのサンプルエントリのシンタクスの例を示す図である。
【図３５】図３３のチャンネルオーディオトラックのサンプルエントリのシンタクスの例を示す図である。
【図３６】図３３のオブジェクトオーディオトラックのサンプルエントリのシンタクスの例を示す図である。
【図３７】図３３のHOAオーディオトラックのサンプルエントリのシンタクスの例を示す図である。
【図３８】図３３のオブジェクトメタデータトラックのサンプルエントリのシンタクスの例を示す図である。
【図３９】セグメント構造の第１の例を示す図である。
【図４０】セグメント構造の第２の例を示す図である。
【図４１】level assignmentボックスの記述例を示す図である。
【図４２】本開示を適用した第１実施の形態におけるMPDファイルの記述例を示す図である。
【図４３】essential Propertyの定義を示す図である。
【図４４】本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。
【図４５】図４４のファイル生成装置の構成例を示すブロック図である。
【図４６】図４５のファイル生成装置のファイル生成処理を説明するフローチャートである。
【図４７】図４４の動画再生端末により実現されるストリーミング再生部の構成例を示すブロック図である。
【図４８】図４７のストリーミング再生部のチャンネルオーディオ再生処理を説明するフローチャートである。
【図４９】図４７のストリーミング再生部のオブジェクト特定処理を説明するフローチャートである。
【図５０】図４７のストリーミング再生部の特定オブジェクトオーディオ再生処理を説明するフローチャートである。
【図５１】本開示を適用した第２実施の形態におけるトラックの概要を説明する図である。
【図５２】図５１のベーストラックのサンプルエントリのシンタクスの例を示す図である。
【図５３】ベースサンプルの構造を示す図である。
【図５４】ベースのサンプルのシンタクスの例を示す図である。
【図５５】extractorのデータの例を示す図である。
【図５６】本開示を適用した第３実施の形態におけるトラックの概要を説明する図である。
【図５７】本開示を適用した第４実施の形態におけるトラックの概要を説明する図である。
【図５８】本開示を適用した第４実施の形態におけるMPDファイルの記述例を示す図である。
【図５９】本開示を適用した第４実施の形態における情報処理システムの概要を説明する図である。
【図６０】図５９のファイル生成装置の構成例を示すブロック図である。
【図６１】図６０のファイル生成装置のファイル生成処理を説明するフローチャートである。
【図６２】図５９の動画再生端末により実現されるストリーミング再生部の構成例を示すブロック図である。
【図６３】図６２のストリーミング再生部のチャンネルオーディオ再生処理の例を説明するフローチャートである。
【図６４】図６２のストリーミング再生部のオブジェクトオーディオ再生処理の第１の例を説明するフローチャートである。
【図６５】図６２のストリーミング再生部のオブジェクトオーディオ再生処理の第２の例を説明するフローチャートである。
【図６６】図６２のストリーミング再生部のオブジェクトオーディオ再生処理の第３の例を説明するフローチャートである。
【図６７】プライオリティに基づいて選択されたオブジェクトの例を示す図である。
【図６８】本開示を適用した第５実施の形態におけるトラックの概要を説明する図である。
【図６９】本開示を適用した第６実施の形態におけるトラックの概要を説明する図である。
【図７０】３Ｄオーディオの階層構造を示す図である。
【図７１】Webサーバの処理の第１の例を説明する図である。
【図７２】Webサーバのトラック分割処理を説明するフローチャートである。
【図７３】音声復号処理部の処理の第１の例を説明する図である。
【図７４】音声復号処理部の復号処理の第１の例の詳細を説明するフローチャートである。
【図７５】音声復号処理部の処理の第２の例を説明する図である。
【図７６】音声復号処理部の復号処理の第２の例の詳細を説明するフローチャートである。
【図７７】Webサーバの処理の第２の例を説明する図である。
【図７８】音声復号処理部の処理の第３の例を説明する図である。
【図７９】音声復号処理部の復号処理の第３の例の詳細を説明するフローチャートである。
【図８０】ベースサンプルに配置されるConfig情報のシンタクスの第２の例を示す図である。
【図８１】図８０のExtエレメント用のConfig情報のシンタクスの例を示す図である。
【図８２】図８１のExtractor用のConfig情報のシンタクスの例を示す図である。
【図８３】ベースサンプルに配置されるフレーム単位のデータのシンタクスの第２の例を示す図である。
【図８４】図８３のExtractorのデータのシンタクスの例を示す図である。
【図８５】ベースサンプルに配置されるConfig情報のシンタクスの第３の例を示す図である。
【図８６】ベースサンプルに配置されるフレーム単位のデータのシンタクスの第３の例を示す図である。
【図８７】本開示を適用した情報処理システムの第７実施の形態におけるオーディオストリームの構成例を示す図である。
【図８８】第７実施の形態におけるトラックの概要を説明する図である。
【図８９】第７実施の形態におけるファイル生成処理を説明するフローチャートである。
【図９０】第７実施の形態におけるオーディオ再生処理を説明するフローチャートである。
【図９１】本開示を適用した情報処理システムの第８実施の形態におけるトラックの概要を説明する図である。
【図９２】音声ファイルの構成例を示す図である。
【図９３】音声ファイルの他の構成例を示す図である。
【図９４】音声ファイルのさらに他の構成例を示す図である。
【図９５】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１乃至図３０）
１．第１実施の形態（図３１乃至図５０）
２．第２実施の形態（図５１乃至図５５）
３．第３実施の形態（図５６）
４．第４実施の形態（図５７乃至図６７）
５．第５実施の形態（図６８）
６．第６実施の形態（図６９）
７．３Ｄオーディオの階層構造の説明（図７０）
８．Webサーバの処理の第１の例の説明（図７１および図７２）
９．音声復号処理部の処理の第１の例の説明（図７３および図７４）
１０．音声復号処理部の処理の第２の例の説明（図７５および図７６）
１１．Webサーバの処理の第２の例の説明（図７７）
１２．音声復号処理部の処理の第３の例の説明（図７８および図７９）
１３．ベースサンプルのシンタクスの第２の例（図８０乃至図８４）
１４．ベースサンプルのシンタクスの第３の例（図８５および図８６）
１５．第７実施の形態（図８７乃至図９０）
１６．第８実施の形態（図９１乃至図９４）
１７．第９実施の形態（図９５）
【００１９】
＜本開示の前提＞
（情報処理システムの第１の例の概要）
図１は、本開示を適用した情報処理システムの第１の例の概要を説明する図である。
【００２０】
図１の情報処理システム１０は、ファイル生成装置１１と接続されるWebサーバ１２と動画再生端末１４が、インターネット１３を介して接続されることにより構成される。
【００２１】
情報処理システム１０では、MPEG−DASHに準ずる方式で、Webサーバ１２が動画コンテンツの画像データをタイル単位で動画再生端末１４に配信（タイルドストリーミング）する。
【００２２】
具体的には、ファイル生成装置１１は、動画コンテンツの画像データを取得し、タイル単位で符号化してビデオストリームを生成する。ファイル生成装置１１は、各タイルのビデオストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位ごとにファイル化する。ファイル生成装置１１は、その結果得られる各タイルの画像ファイルをWebサーバ１２にアップロードする。
【００２３】
また、ファイル生成装置１１は、動画コンテンツの音声データをオブジェクト（詳細は後述する）ごとに取得し、オブジェクト単位で符号化してオーディオストリームを生成する。ファイル生成装置１１は、各オブジェクトのオーディオストリームをセグメント単位でファイル化し、その結果得られる各オブジェクトの音声ファイルをWebサーバ１２にアップロードする。
【００２４】
なお、オブジェクトとは、音源であり、各オブジェクトの音声データは、そのオブジェクトに取り付けられたマイクロフォンなどにより取得される。オブジェクトは、固定されたマイクスタンドなどの物体であってもよいし、人物などの動体であってもよい。
【００２５】
ファイル生成装置１１は、各オブジェクトの位置（音声データの取得位置）を表すオブジェクト位置情報（音声位置情報）、オブジェクトに固有のＩＤであるオブジェクトＩＤ等を含むオーディオメタデータを符号化する。ファイル生成装置１１は、オーディオメタデータの符号化データをセグメント単位でファイル化し、その結果得られる音声メタファイルをWebサーバ１２にアップロードする。
【００２６】
また、ファイル生成装置１１は、動画コンテンツの画像の画枠サイズを表す画枠サイズ情報、各タイルの画像上の位置を表すタイル位置情報等を含む、画像ファイルや音声ファイルを管理するMPD（Media Presentation Description）ファイル（制御情報）を生成する。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
【００２７】
Webサーバ１２は、ファイル生成装置１１からアップロードされた画像ファイル、音声ファイル、音声メタファイル、およびMPDファイルを格納する。
【００２８】
図１の例では、Webサーバ１２には、タイルＩＤ「１」のタイルの複数のセグメントの画像ファイルからなるセグメント群と、タイルＩＤ「２」のタイルの複数のセグメントの画像ファイルからなるセグメント群とが格納されている。また、Webサーバ１２には、オブジェクトＩＤ「１」のオブジェクトの複数のセグメントの音声ファイルからなるセグメント群と、オブジェクトＩＤ「２」のオブジェクトの複数のセグメントの音声ファイルからなるセグメント群とが格納されている。図示は省略するが、音声メタファイルのセグメント群も同様に格納されている。
【００２９】
なお、以下では、タイルＩＤがｉであるタイルをタイル＃ｉといい、オブジェクトＩＤがｉのオブジェクトをオブジェクト＃ｉという。
【００３０】
Webサーバ１２は、伝送部として機能し、動画再生端末１４からの要求に応じて、格納している画像ファイル、音声ファイル、音声メタファイル、MPDファイル等を動画再生端末１４に送信する。
【００３１】
動画再生端末１４は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
【００３２】
制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
【００３３】
また、制御用ソフトウエア２１は、動画再生ソフトウエア２２から指示される動画コンテンツの画像内の表示する領域である表示領域と、MPDファイルに含まれるタイル位置情報とに基づいて、表示領域内のタイルを特定する。そして、制御用ソフトウエア２１は、そのタイルの画像ファイルの送信要求をアクセス用ソフトウエア２３に指令する。
【００３４】
また、制御用ソフトウエア２１は、アクセス用ソフトウエア２３に音声メタファイルの送信要求を指令する。そして、制御用ソフトウエア２１は、表示領域、MPDファイルに含まれる画枠サイズ情報、および音声メタファイルに含まれるオブジェクト位置情報に基づいて、表示領域内の画像に対応するオブジェクトを特定する。そして、制御用ソフトウエア２１は、そのオブジェクトの音声ファイルの送信要求をアクセス用ソフトウエア２３に指令する。
【００３５】
動画再生ソフトウエア２２は、Webサーバ１２から取得された画像ファイルと音声ファイルを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、ユーザにより表示領域が指定されると、その表示領域を制御用ソフトウエア２１に指示する。また、動画再生ソフトウエア２２は、その指示に応じてWebサーバ１２から取得された画像ファイルと音声ファイルを復号し、合成して出力する。
【００３６】
アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、画像ファイル、音声ファイル、および音声メタファイルの送信要求を動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じて、Webサーバ１２から送信されてくる画像ファイル、音声ファイル、および音声メタファイルを動画再生端末１４に受信させる。
【００３７】
（タイルの例）
図２は、タイルの例を示す図である。
【００３８】
図２に示すように、動画コンテンツの画像は、複数のタイルに分割され、各タイルに１から順にタイルＩＤが付与される。図２の例では、動画コンテンツの画像は、４つのタイル＃１乃至タイル＃４に分割されている。
【００３９】
（オブジェクトの説明）
図３は、オブジェクトを説明する図である。
【００４０】
図３の例では、動画コンテンツの音声として、画像内の８つのオブジェクトの音声が取得されており、各オブジェクトには１から順にオブジェクトＩＤが付与されている。オブジェクト＃１乃至オブジェクト＃５は、それぞれ、動体であり、オブジェクト＃６乃至オブジェクト＃８は、固定された物体である。また、図３の例では、動画コンテンツの画像は、５（縦）×７（横）のタイルに分割されている。
【００４１】
この場合、図３に示すように、ユーザにより２（縦）×３（横）個のタイルからなる表示領域３１が指定されると、表示領域３１には、オブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６のみが含まれる。従って、動画再生端末１４は、例えば、オブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６の音声ファイルのみをWebサーバ１２から取得し、再生する。
【００４２】
表示領域３１内のオブジェクトは、以下に説明するように、画枠サイズ情報およびオブジェクト位置情報に基づいて特定することができる。
【００４３】
（オブジェクト位置情報の説明）
図４は、オブジェクト位置情報を説明する図である。
【００４４】
図４に示すように、オブジェクト位置情報は、オブジェクト４０の水平角度θA（−180°≦θA≦180°）,垂直角度γA（−90°≦γA≦90°）、および距離ｒA（0<ｒA）からなる。水平角度θAは、例えば、画像の中心の撮影位置を原点（基点）Ｏとし、画像の水平方向をＸ方向、垂直方向をＹ方向、XY平面に垂直な奥行き方向をＺ方向としたときの、オブジェクト４０と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。垂直角度γAは、オブジェクト４０と原点Ｏを結ぶ直線とXZ平面との垂直方向の角度であり、距離ｒAは、オブジェクト４０と原点Ｏの距離である。
【００４５】
なお、本明細書では、左回転および上回転の角度を正の角度とし、右回転および下回転の角度を負の角度とする。
【００４６】
（画枠サイズ情報の説明）
図５は、画枠サイズ情報を説明する図である。
【００４７】
図５に示すように、画枠サイズ情報は、画枠の左端の水平角度θv1、右端の水平角度θv2、画枠の上端の垂直角度γv1、下端の垂直角度γv2、および距離ｒvにより構成される。
【００４８】
水平角度θv1は、例えば、画像の中心の撮影位置を原点Ｏとし、画像の水平方向をＸ方向、垂直方向をＹ方向、XY平面に垂直な奥行き方向をＺ方向としたときの、画枠の左端と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。水平角度θv2は、画枠の右端と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。従って、水平角度θv1と水平角度θv2とを合わせた角度は、水平方向の画角である。
【００４９】
垂直角度γV1，γv2は、それぞれ、画枠の上端、下端と原点Ｏを結ぶ直線とXZ平面との角度であり、垂直角度γV1と垂直角度γv2とを合わせた角度は、垂直方向の画角である。距離ｒvは、原点Ｏと画像の平面との距離である。
【００５０】
以上のように、オブジェクト位置情報と画枠サイズ情報は、それぞれ、オブジェクト４０、画枠と、原点Ｏとの位置関係を表している。従って、オブジェクト位置情報と画枠サイズ情報に基づいて、各オブジェクトの画像上の位置を検出（認識）することができる。その結果、表示領域３１内のオブジェクトを特定することができる。
【００５１】
(MPDファイルの構造の説明）
図６は、MPDファイルの構造を示す図である。
【００５２】
MPDファイルの解析（パース）においては、動画再生端末１４は、MPDファイル（図６のMedia Presentation）の「Period」に含まれる「Representation」の属性から最適なものを選択する。
【００５３】
動画再生端末１４は、選択した「Representation」の先頭の「Initialization Segment」のURL（Uniform Resource Locator）等を参照してファイルを取得し、処理する。続いて、動画再生端末１４は、後続の「Media Segment」のURL等を参照してファイルを取得し、再生する。
【００５４】
なお、MPDファイルにおける、「Period」、「Representation」、および「Segment」の関係は、図７のようになる。つまり、１つの動画コンテンツは、「Period」により、セグメントより長い時間単位で管理することができ、各「Period」において、「Segment」によりセグメント単位で管理することができる。また、各「Period」において、「Representation」により、動画コンテンツをストリームの属性単位で管理することができる。
【００５５】
したがって、MPDファイルは、「Period」以下において、図８に示す階層構造を有する。また、このMPDファイルの構造を時間軸上に並べると図９の例のようになる。図９から明らかなように、同一のセグメントに対して複数の「Representation」が存在している。動画再生端末１４は、これらのうちのいずれかを適応的に選択することにより、ユーザにより選択された表示領域の画像ファイルと音声ファイルを取得し、再生することができる。
【００５６】
（MPDファイルの記述の説明）
図１０は、MPDファイルの記述を説明する図である。
【００５７】
上述したように、情報処理システム１０では、動画再生端末１４において表示領域内のオブジェクトを特定可能にするため、MPDファイルに画枠サイズ情報が含まれる。この画枠サイズ情報は、図１０に示すように、ViewpointのDescriptorType elementを活用して新たに画枠サイズ情報（Viewing Angle）を定義するためのScheme(urn:mpeg:DASH:viewingAngle:2013)を拡張することにより、音声用の「Adaptation Set」と画像用の「Adaptation Set」に配置される。画枠サイズ情報は、画像用の「Adaptation Set」にのみ配置されるようにしてもよい。
【００５８】
また、MPDファイルの音声用の「Adaptation Set」には、音声メタファイル用の「Representation」が記述され、その「Representation」の「Segment」には、音声メタファイル（audionmetadata.mp4）を特定する情報としてのURL等が記述される。このとき、Role elementを活用して、「Segment」で指定されるファイルが音声メタファイルであること（objectaudiometadata）が記述される。
【００５９】
MPDファイルの音声用の「Adaptation Set」にはまた、各オブジェクトの音声ファイル用の「Representation」が記述され、その「Representation」の「Segment」には、各オブジェクトの音声ファイル（audioObje1.mp4, audioObje5.mp4）を特定する情報としてのURL等が記述される。このとき、Viewpointを拡張することにより、音声ファイルに対応するオブジェクトのオブジェクトＩＤ（1,5）も記述される。
【００６０】
なお、図示は省略するが、タイル位置情報は、画像用の「Adaptation Set」に配置される。
【００６１】
（ファイル生成装置の構成例）
図１１は、図１のファイル生成装置１１の構成例を示すブロック図である。
【００６２】
図１１のファイル生成装置１１は、画面分割処理部５１、画像符号化処理部５２、画像ファイル生成部５３、画像情報生成部５４、音声符号化処理部５５、音声ファイル生成部５６、MPD生成部５７、およびサーバアップロード処理部５８により構成される。
【００６３】
ファイル生成装置１１の画面分割処理部５１は、外部から入力される動画コンテンツの画像データをタイル単位に分割する。画面分割処理部５１は、タイル位置情報を画像情報生成部５４に供給する。また、画面分割処理部５１は、タイル単位の画像データを画像符号化処理部５２に供給する。
【００６４】
画像符号化処理部５２は、画面分割処理部５１から供給されるタイル単位の画像データをタイルごとに符号化し、ビデオストリームを生成する。画像符号化処理部５２は、各タイルのビデオストリームを画像ファイル生成部５３に供給する。
【００６５】
画像ファイル生成部５３は、画像符号化処理部５２から供給される各タイルのビデオストリームをセグメント単位でファイル化し、その結果得られる各タイルの画像ファイルをMPD生成部５７に供給する。
【００６６】
画像情報生成部５４は、画面分割処理部５１から供給されるタイル位置情報と外部から入力される画枠サイズ情報とを画像情報としてMPD生成部５７に供給する。
【００６７】
音声符号化処理部５５は、外部から入力される動画コンテンツのオブジェクト単位の音声データをオブジェクトごとに符号化し、オーディオストリームを生成する。また、音声符号化処理部５５は、外部から入力される各オブジェクトのオブジェクト位置情報、オブジェクトＩＤ等を含むオーディオメタデータを符号化し、符号化データを生成する。音声符号化処理部５５は、各オブジェクトのオーディオストリームとオーディオメタデータの符号化データとを音声ファイル生成部５６に供給する。
【００６８】
音声ファイル生成部５６は、音声ファイル生成部として機能し、音声符号化処理部５５から供給される各オブジェクトのオーディオストリームをセグメント単位でファイル化し、その結果得られる各オブジェクトの音声ファイルをMPD生成部５７に供給する。
【００６９】
また、音声ファイル生成部５６は、メタファイル生成部として機能し、音声符号化処理部５５から供給されるオーディオメタデータの符号化データをセグメント単位でファイル化し、その結果得られる音声メタファイルをMPD生成部５７に供給する。
【００７０】
MPD生成部５７は、画像ファイル生成部５３から供給される各タイルの画像ファイルを格納するWebサーバ１２のURL等を決定する。また、MPD生成部５７は、音声ファイル生成部５６から供給される各オブジェクトの音声ファイルと音声メタファイルを格納するWebサーバ１２のURL等を決定する。
【００７１】
MPD生成部５７は、画像情報生成部５４から供給される画像情報をMPDファイルの画像用の「AdaptationSet」に配置する。また、MPD生成部５７は、画像情報のうちの画枠サイズ情報をMPDファイルの音声用の「AdaptationSet」に配置する。MPD生成部５７は、各タイルの画像ファイルのURL等を、そのタイルの画像ファイル用の「Representation」の「Segment」に配置する。
【００７２】
MPD生成部５７は、各オブジェクトの音声ファイルのURL等を、そのオブジェクトの音声ファイル用の「Representation」の「Segment」に配置する。また、MPD生成部５７は、情報生成部として機能し、音声メタファイルを特定する情報としてのURL等を音声メタファイル用の「Representation」の「Segment」に配置する。MPD生成部５７は、以上のようにして各種の情報が配置されたMPDファイル、並びに、画像ファイル、音声ファイル、および音声メタファイルをサーバアップロード処理部５８に供給する。
【００７３】
サーバアップロード処理部５８は、MPD生成部５７から供給される各タイルの画像ファイル、各オブジェクトの音声ファイル、音声メタファイル、およびMPDファイルを、Webサーバ１２にアップロードする。
【００７４】
（ファイル生成装置の処理の説明）
図１２は、図１１のファイル生成装置１１のファイル生成処理を説明するフローチャートである。
【００７５】
図１２のステップＳ１１において、ファイル生成装置１１の画面分割処理部５１は、外部から入力される動画コンテンツの画像データをタイル単位に分割する。画面分割処理部５１は、タイル位置情報を画像情報生成部５４に供給する。また、画面分割処理部５１は、タイル単位の画像データを画像符号化処理部５２に供給する。
【００７６】
ステップＳ１２において、画像符号化処理部５２は、画面分割処理部５１から供給されるタイル単位の画像データをタイルごとに符号化し、各タイルのビデオストリームを生成する。画像符号化処理部５２は、各タイルのビデオストリームを画像ファイル生成部５３に供給する。
【００７７】
ステップＳ１３において、画像ファイル生成部５３は、画像符号化処理部５２から供給される各タイルのビデオストリームをセグメント単位でファイル化し、各タイルの画像ファイルを生成する。画像ファイル生成部５３は、各タイルの画像ファイルをMPD生成部５７に供給する。
【００７８】
ステップＳ１４において、画像情報生成部５４は、外部から画枠サイズ情報を取得する。ステップＳ１５において、画像情報生成部５４は、画面分割処理部５１から供給されるタイル位置情報と画枠サイズ情報とを含む画像情報を生成し、MPD生成部５７に供給する。
【００７９】
ステップＳ１６において、音声符号化処理部５５は、外部から入力される動画コンテンツのオブジェクト単位の音声データをオブジェクトごとに符号化し、各オブジェクトのオーディオストリームを生成する。また、音声符号化処理部５５は、外部から入力される各オブジェクトのオブジェクト位置情報、オブジェクトＩＤ等を含むオーディオメタデータを符号化し、符号化データを生成する。音声符号化処理部５５は、各オブジェクトのオーディオストリームとオーディオメタデータの符号化データとを音声ファイル生成部５６に供給する。
【００８０】
ステップＳ１７において、音声ファイル生成部５６は、音声符号化処理部５５から供給される各オブジェクトのオーディオストリームをセグメント単位でファイル化し、各オブジェクトの音声ファイルを生成する。また、音声ファイル生成部５６は、音声符号化処理部５５から供給されるオーディオメタデータの符号化データをセグメント単位でファイル化し、音声メタファイルを生成する。音声ファイル生成部５６は、各オブジェクトの音声ファイルと音声メタファイルをMPD生成部５７に供給する。
【００８１】
ステップＳ１８において、MPD生成部５７は、画像情報生成部５４から供給される画像情報、各ファイルのURL等を含むMPDファイルを生成する。MPD生成部５７は、MPDファイル、各タイルの画像ファイル、各オブジェクトの音声ファイル、および音声メタファイルをサーバアップロード処理部５８に供給する。
【００８２】
ステップＳ１９において、サーバアップロード処理部５８は、MPD生成部５７から供給される各タイルの画像ファイル、各オブジェクトの音声ファイル、音声メタファイル、およびMPDファイルを、Webサーバ１２にアップロードする。そして、処理は終了する。
【００８３】
（動画再生端末の機能的構成例）
図１３は、図１の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
【００８４】
図１３のストリーミング再生部９０は、MPD取得部９１、MPD処理部９２、メタファイル取得部９３、音声選択部９４、音声ファイル取得部９５、音声復号処理部９６、音声合成処理部９７、画像選択部９８、画像ファイル取得部９９、画像復号処理部１００、および画像合成処理部１０１により構成される。
【００８５】
ストリーミング再生部９０のMPD取得部９１は、受け取り部として機能し、Webサーバ１２からMPDファイルを取得し、MPD処理部９２に供給する。
【００８６】
MPD処理部９２は、MPD取得部９１から供給されるMPDファイルから音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。また、MPD処理部９２は、MPDファイルから画像用の「AdaptationSet」に記述される画枠サイズ情報を抽出し、音声選択部９４に供給する。MPD処理部９２は、MPDファイルから、音声選択部９４から要求されるオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声選択部９４に供給する。
【００８７】
MPD処理部９２は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部９２は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
【００８８】
メタファイル取得部９３は、MPD処理部９２から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を音声選択部９４に供給する。
【００８９】
音声選択部９４は、位置決定部として機能し、MPD処理部９２から供給される画枠サイズ情報とメタファイル取得部９３から供給されるオブジェクト位置情報とに基づいて、各オブジェクトの画像上の位置を算出する。音声選択部９４は、各オブジェクトの画像上の位置に基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部９４は、選択されたオブジェクトの音声ファイルのURL等の情報をMPD処理部９２に要求する。音声選択部９４は、その要求に応じてMPD処理部９２から供給されるURL等の情報を音声ファイル取得部９５に供給する。
【００９０】
音声ファイル取得部９５は、受け取り部として機能し、音声選択部９４から供給されるURL等の情報に基づいて、そのURLで特定されるオブジェクト単位の音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
【００９１】
音声復号処理部９６は、音声ファイル取得部９５から供給されるオブジェクト単位の音声ファイルに含まれるオーディオストリームを復号し、オブジェクト単位の音声データを生成する。音声復号処理部９６は、そのオブジェクト単位の音声データを音声合成処理部９７に供給する。
【００９２】
音声合成処理部９７は、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。
【００９３】
画像選択部９８は、MPD処理部９２から供給されるタイル位置情報に基づいて、ユーザにより指定される表示領域内のタイルを選択する。画像選択部９８は、選択されたタイルの画像ファイルのURL等の情報をMPD処理部９２に要求する。画像選択部９８は、その要求に応じてMPD処理部９２から供給されるURL等の情報を画像ファイル取得部９９に供給する。
【００９４】
画像ファイル取得部９９は、画像選択部９８から供給されるURL等の情報に基づいて、そのURLで特定されるタイル単位の画像ファイルをWebサーバ１２に要求し、取得する。画像ファイル取得部９９は、取得されたタイル単位の画像ファイルを画像復号処理部１００に供給する。
【００９５】
画像復号処理部１００は、画像ファイル取得部９９から供給されるタイル単位の画像ファイルに含まれるビデオストリームを復号し、タイル単位の画像データを生成する。画像復号処理部１００は、そのタイル単位の画像データを画像合成処理部１０１に供給する。
【００９６】
画像合成処理部１０１は、画像復号処理部１００から供給されるタイル単位の画像データを合成し、出力する。
【００９７】
（動画再生端末の処理の説明）
図１４は、動画再生端末１４のストリーミング再生部９０（図１３）のストリーミング再生処理を説明するフローチャートである。
【００９８】
図１４のステップＳ３１において、ストリーミング再生部９０のMPD取得部９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部９２に供給する。
【００９９】
ステップＳ３２において、MPD処理部９２は、MPD取得部９１から供給されるMPDファイルから、画像用の「AdaptationSet」に記述される画枠サイズ情報とタイル位置情報を取得する。MPD処理部９２は、画枠サイズ情報を音声選択部９４に供給し、タイル位置情報を画像選択部９８に供給する。また、MPD処理部９２は、音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。
【０１００】
ステップＳ３３において、メタファイル取得部９３は、MPD処理部９２から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を音声選択部９４に供給する。
【０１０１】
ステップＳ３４において、音声選択部９４は、MPD処理部９２から供給される画枠サイズ情報とメタファイル取得部９３から供給されるオブジェクト位置情報とに基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部９４は、選択されたオブジェクトの音声ファイルのURL等の情報をMPD処理部９２に要求する。
【０１０２】
MPD処理部９２は、MPDファイルから、音声選択部９４から要求されるオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声選択部９４に供給する。音声選択部９４は、MPD処理部９２から供給されるURL等の情報を音声ファイル取得部９５に供給する。
【０１０３】
ステップＳ３５において、音声ファイル取得部９５は、音声選択部９４から供給されるURL等の情報に基づいて、そのURLで特定される、選択されたオブジェクトの音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
【０１０４】
ステップＳ３６において、画像選択部９８は、MPD処理部９２から供給されるタイル位置情報に基づいて、ユーザにより指定される表示領域内のタイルを選択する。画像選択部９８は、選択されたタイルの画像ファイルのURL等の情報をMPD処理部９２に要求する。
【０１０５】
MPD処理部９２は、MPDファイルから、画像選択部９８から要求されるオブジェクトの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。画像選択部９８は、MPD処理部９２から供給されるURL等の情報を画像ファイル取得部９９に供給する。
【０１０６】
ステップＳ３７において、画像ファイル取得部９９は、画像選択部９８から供給されるURL等の情報に基づいて、そのURLで特定される、選択されたタイルの画像ファイルをWebサーバ１２に要求し、取得する。画像ファイル取得部９９は、取得されたタイル単位の画像ファイルを画像復号処理部１００に供給する。
【０１０７】
ステップＳ３８において、音声復号処理部９６は、音声ファイル取得部９５から供給されるオブジェクト単位の音声ファイルに含まれるオーディオストリームを復号し、オブジェクト単位の音声データを生成する。音声復号処理部９６は、そのオブジェクト単位の音声データを音声合成処理部９７に供給する。
【０１０８】
ステップＳ３９において、画像復号処理部１００は、画像ファイル取得部９９から供給されるタイル単位の画像ファイルに含まれるビデオストリームを復号し、タイル単位の画像データを生成する。画像復号処理部１００は、そのタイル単位の画像データを画像合成処理部１０１に供給する。
【０１０９】
ステップＳ４０において、音声合成処理部９７は、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。ステップＳ４１において、画像合成処理部１０１は、画像復号処理部１００から供給されるタイル単位の画像データを合成し、出力する。そして、処理は終了する。
【０１１０】
以上のように、Webサーバ１２は画枠サイズ情報とオブジェクト位置情報を伝送する。従って、動画再生端末１４は、例えば、表示領域内のオブジェクトを特定し、そのオブジェクトの音声ファイルを、表示領域内の画像に対応する音声ファイルとして選択的に取得することができる。このように、動画再生端末１４は必要な音声ファイルのみを取得することができるので、伝送効率は向上する。
【０１１１】
なお、図１５に示すように、MPDファイルの画像用の「AdaptationSet」には、その画像と同時に再生したい音声に対応するオブジェクトを特定する情報としてのオブジェクトＩＤ（オブジェクト特定情報）が、記述されるようにしてもよい。この記述は、例えば、ViewpointのDescriptorType elementを活用して新たにオブジェクトＩＤ情報（audioObj）を定義するためのScheme(urn:mpeg:DASH:audioObj:2013)を拡張することにより、行われる。この場合、動画再生端末１４は、画像用の「AdaptationSet」に記述されたオブジェクトＩＤに対応するオブジェクトの音声ファイルを選択し、取得して再生する。
【０１１２】
また、オブジェクト単位で音声ファイルが生成されるのではなく、全てのオブジェクトの符号化データが１本のオーディオストリームに多重化され、１つの音声ファイルが生成されるようにしてもよい。
【０１１３】
この場合、図１６に示すように、MPDファイルの音声用の「AdaptationSet」には、音声ファイル用の「Representation」が１つ設けられ、「Segment」に、全てのオブジェクトの符号化データを含む音声ファイル（audioObje.mp4）のURL等が記述される。このとき、Viewpointを拡張することにより、音声ファイルに対応する全てのオブジェクトのオブジェクトＩＤ(1,2,3,4,5)も記述される。
【０１１４】
また、この場合、図１７に示すように、MPDファイルの「Media Segment」を参照して取得される音声ファイル（以下、適宜、音声メディアファイルともいう）のmdat boxには、サブサンプルとして、各オブジェクトの符号化データ（Audio object）が配置される。
【０１１５】
具体的には、音声メディアファイルには、セグメントより短い任意の時間であるサブセグメント単位でデータが配置される。このサブセグメント単位のデータの位置は、sidx boxにより指定される。また、サブセグメント単位のデータは、moof boxとmdat boxにより構成される。mdat boxは、複数のサンプルにより構成されるが、そのサンプルの各サブサンプルとして、各オブジェクトの符号化データが配置される。
【０１１６】
また、音声メディアファイルのsidx boxの後には、サンプルの情報を記述するgsix boxが配置される。このように、サンプルの情報を記述するgsix boxが、moof boxとは別に設けられるので、動画再生端末１４は、サンプルの情報を素早く取得することができる。
【０１１７】
gsix boxには、図１８に示すように、このgsix boxで管理する１以上のサンプルまたはサブサンプルからなるSample group entryの種別を表すgrouping_typeが記述される。例えば、Sample group entryが、オブジェクト単位の符号化データのサブサンプルである場合、図１７に示すように、Sample group entryの種別は「obja」である。音声メディアファイルには、複数のgrouping_typeのgsix boxが配置される。
【０１１８】
また、図１８に示すように、gsix boxには、各Sample group entryのインデックス（entry_index）と、音声メディアファイル内の位置を表すデータ位置情報としてのバイトレンジ（range_size）とが記述される。なお、インデックス（entry_index）が０である場合、対応するバイトレンジは、moof boxのバイトレンジ（図１７の例ではa1）を表している。
【０１１９】
MPDファイルの「Initialization Segment」を参照して取得される音声ファイル（以下、適宜、音声初期化ファイルともいう）には、各Sample group entryが、どのオブジェクトの符号化データのサブサンプルであるかを表す情報が記述される。
【０１２０】
具体的には、図１９に示すように、音声初期化ファイルのsbtl boxのsample group description box(sgpd)のAudioObjectSampleGroupEntryと対応付けられる、mvex boxのtype assignment box（typa）を用いて、その情報が表される。
【０１２１】
即ち、図２０のＡに示すように、AudioObjectSampleGroupEntryには、サンプルに含まれる符号化データに対応するオブジェクトＩＤ（audio_object_id）が１つずつ記述される。例えば、図２０のＢに示すように、４つのAudioObjectSampleGroupEntryのそれぞれに、オブジェクトＩＤとして、1,2,3,4が記述される。
【０１２２】
一方、図２１に示すように、type assignment boxには、AudioObjectSampleGroupEntryごとに、そのAudioObjectSampleGroupEntryに対応するSample group entryのパラメータ（grouping_type_parameter）として、インデックスが記述される。
【０１２３】
以上のように音声メディアファイルと音声初期化ファイルが構成される。従って、動画再生端末１４が、表示領域内のオブジェクトとして選択されたオブジェクトの符号化データを取得する際、音声初期化ファイルのstbl boxから、選択されたオブジェクトのオブジェクトＩＤが記述されたAudioObjectSampleGroupEntryが検索される。そして、mvex boxから、検索されたAudioObjectSampleGroupEntryに対応するSample group entryのインデックスが読み出される。そして、音声ファイルのsidxからサブセグメント単位のデータの位置が読み出され、gsixから、読み出されたインデックスのSample group entryのバイトレンジが読み出される。そして、サブセグメント単位のデータの位置とバイトレンジとに基づいて、mdat内に配置されている符号化データが取得される。これにより、選択されたオブジェクトの符号化データが取得される。
【０１２４】
なお、上述した説明では、Sample group entryのインデックスとAudioObjectSampleGroupEntryのオブジェクトＩＤが、mvex boxを介して対応付けられたが、直接対応付けられるようにしてもよい。この場合、Sample group entryのインデックスが、AudioObjectSampleGroupEntryに記述される。
【０１２５】
また、音声ファイルが複数のtrackから構成される場合、sgpdをmvexに格納すると、track間でsgpdを共用できる。
【０１２６】
（情報処理システムの第２の例の概要）
図２２は、本開示を適用した情報処理システムの第２の例の概要を説明する図である。
【０１２７】
なお、図２２において、図３と同一のものには、同一の符号を付してある。
【０１２８】
図２２の例では、図３の場合と同様に、動画コンテンツの画像は、５（縦）×７（横）のタイルに分割されており、動画コンテンツの音声として、オブジェクト＃１乃至＃８の音声が取得されている。
【０１２９】
この場合に、ユーザにより、２（縦）×３（横）個のタイルからなる表示領域３１が指定されると、第２の例では、図２２に示すように、その表示領域３１が、動画コンテンツの画像のサイズと同一のサイズに変換(拡大)され、表示画像１１１とされる。そして、表示画像１１１におけるオブジェクト＃１乃至＃８の位置に基づいて、オブジェクト＃１乃至＃８の音声が合成され、表示画像１１１とともに出力される。即ち、表示領域３１内のオブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６だけでなく、表示領域３１外のオブジェクト＃３乃至＃５、オブジェクト＃７、およびオブジェクト＃８の音声も出力される。
【０１３０】
（ストリーミング再生部の構成例）
本開示を適用した情報処理システムの第２の例の構成は、ストリーミング再生部の構成を除いて、図１の情報処理システム１０の構成と同一であるので、以下では、ストリーミング再生部についてのみ説明する。
【０１３１】
図２３は、本開示を適用した情報処理システムのストリーミング再生部の構成例を示すブロック図である。
【０１３２】
図２３に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３３】
図２３のストリーミング再生部１２０の構成は、MPD処理部９２、音声合成処理部９７、画像合成処理部１０１の代わりに、MPD処理部１２１、音声合成処理部１２３、画像合成処理部１２４が設けられる点、および、位置決定部１２２が新たに設けられる点が図１３のストリーミング再生部９０の構成と異なる。
【０１３４】
ストリーミング再生部１２０のMPD処理部１２１は、MPD取得部９１から供給されるMPDファイルから音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。また、MPD処理部１２１は、MPDファイルから画像用の「AdaptationSet」に記述される動画コンテンツの画像の画枠サイズ情報（以下、コンテンツ画枠サイズ情報という）を抽出し、位置決定部１２２に供給する。MPD処理部１２１は、MPDファイルから全てのオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声ファイル取得部９５に供給する。
【０１３５】
MPD処理部１２１は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部１２１は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
【０１３６】
位置決定部１２２は、メタファイル取得部９３により取得された音声メタファイルに含まれるオブジェクト位置情報と、MPD処理部１２１から供給されるコンテンツ画枠サイズ情報を取得する。また、位置決定部１２２は、ユーザにより指定される表示領域の画枠サイズ情報である表示領域画枠サイズ情報を取得する。位置決定部１２２は、オブジェクト位置情報、コンテンツ画枠サイズ情報、および表示領域画枠サイズ情報に基づいて、表示画像におけるオブジェクトの位置を決定（認識）する。位置決定部１２２は、決定されたオブジェクトの位置を音声合成処理部１２３に供給する。
【０１３７】
音声合成処理部１２３は、位置決定部１２２から供給されるオブジェクトの位置に基づいて、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成する。具体的には、音声合成処理部１２３は、オブジェクトの位置と音声を出力する各スピーカの位置とに基づいて、オブジェクトごとに、各スピーカに割り当てる音声データを決定する。そして、音声合成処理部１２３は、スピーカごとに、各オブジェクトの音声データを合成し、各スピーカの音声データとして出力する。オブジェクトの位置に基づいて各オブジェクトの音声データを合成する方法の詳細は、例えば、Ville Pulkki,“Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456−466, 1997に記載されている。
【０１３８】
画像合成処理部１２４は、画像復号処理部１００から供給されるタイル単位の画像データを合成する。画像合成処理部１２４は、変換部として機能し、合成後の画像データに対応する画像のサイズを動画コンテンツのサイズに変換して、表示画像を生成する。画像合成処理部１２４は、表示画像を出力する。
【０１３９】
（オブジェクトの位置の決定方法の説明）
図２４乃至図２６は、図２３の位置決定部１２２によるオブジェクトの位置の決定方法を説明する図である。
【０１４０】
表示画像１１１は、動画コンテンツ内の表示領域３１を抽出し、その表示領域３１のサイズを動画コンテンツのサイズに変換することにより生成される。従って、表示画像１１１は、図２４に示すように、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後、図２５に示すように、表示領域３１のサイズを動画コンテンツのサイズに変換したものと等価である。
【０１４１】
よって、まず、位置決定部１２２は、以下の式（１）により、表示領域３１の中心０を表示画像１１１の中心０´に移動させるときの水平方向の移動量θshiftを算出する。
【０１４２】
【数１】
2015182491.tif 000003
【０１４３】
式（１）において、θv1´は、表示領域３１の表示領域画枠サイズ情報のうちの左端の水平角度であり、θV2´は、右端の水平角度である。また、θv1は、コンテンツ画枠サイズ情報のうちの左端の水平角度であり、θv2は、右端の水平角度である。
【０１４４】
次に、位置決定部１２２は、移動量θshiftを用いて、以下の式（２）により、表示領域３１の中心０を表示画像１１１の中心０´に移動させた後の表示領域３１の左端の水平角度θv1_shift´と右端の水平角度θv2_shift´を求める。
【０１４５】
【数２】
2015182491.tif 000004
【０１４６】
式（２）によれば、水平角度θv1_shift´と水平角度θv2_shift´は、−180°から180°までの範囲を超えないように求められる。
【０１４７】
なお、上述したように、表示画像１１１は、表示領域３１の中心０を表示画像１１１の中心０´に移動させた後、表示領域３１のサイズを動画コンテンツのサイズに変換したものと等価である。従って、水平角度θV1およびθV2については、以下の式（３）が成立する。
【０１４８】
【数３】
2015182491.tif 000005
【０１４９】
位置決定部１２２は、以上のようにして移動量θshift、水平角度θv1_shift´、および水平角度θv2_shift´を求めた後、表示画像１１１におけるオブジェクトの水平角度を求める。具体的には、位置決定部１２２は、以下の式（４）により、移動量θshiftを用いて、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後のオブジェクト＃ｉの水平角度θAi_shiftを求める。
【０１５０】
【数４】
2015182491.tif 000006
【０１５１】
式（４）において、θAiは、オブジェクト＃ｉのオブジェクト位置情報のうちの水平角度である。また、式（４）によれば、水平角度θAi_shiftは、−180°から180°までの範囲を超えないように求められる。
【０１５２】
次に、オブジェクト＃ｉが表示領域３１内に存在する場合、即ちθv2_shif´＜θAi_shift＜θv1_shift´である場合、位置決定部１２２は、以下の式（５）により、表示画像１１１におけるオブジェクト＃ｉの水平角度θA1´を求める。
【０１５３】
【数５】
2015182491.tif 000007
【０１５４】
式（５）によれば、表示領域３１のサイズと表示画像１１１のサイズの比に応じて、表示画像１１１におけるオブジェクト＃ｉの位置と表示画像１１１の中心C´との距離を拡大することにより、水平角度θA1´が求められる。
【０１５５】
一方、オブジェクト＃ｉが表示領域３１内に存在しない場合、即ち、−180°≦θAi_shift≦θv2_shift´、または、θv1_shift´≦θAi_shift≦180°である場合、位置決定部１２２は、以下の式（６）により、表示画像１１１におけるオブジェクト＃ｉの水平角度θAi´を求める。
【０１５６】
【数６】
2015182491.tif 000008
【０１５７】
式（６）によれば、図２６に示すように、オブジェクト＃ｉが表示領域３１の右側の位置１５１に存在する（−180°≦θAi_shift≦θv2_shift´）場合、角度Ｒ１と角度Ｒ２の比に応じて水平角度θAi_shiftを拡大することにより、水平角度θAi´が求められる。なお、角度Ｒ１は、表示画像１１１の右端から視聴者１５３の真後ろの位置１５４までの角度であり、角度Ｒ２は、中心の移動後の表示領域３１の右端から位置１５４までの角度である。
【０１５８】
また、式（６）によれば、オブジェクト＃ｉが表示領域３１の左側の位置１５５に存在する（θv1_shift´≦θAi_shift≦180°）場合、角度Ｒ３と角度Ｒ４の比に応じて水平角度θAi_shiftを拡大することにより、水平角度θAi´が求められる。なお、角度Ｒ３は、表示画像１１１の左端から位置１５４までの角度であり、角度Ｒ４は、中心の移動後の表示領域３１の左端から位置１５４までの角度である。
【０１５９】
また、位置決定部１２２は、水平角度θAi´と同様に、垂直角度γAi´を求める。即ち、以下の式（７）により、表示領域３１の中心Cを表示画像１１１の中心C´に移動させるときの垂直方向の移動量γshiftを算出する。
【０１６０】
【数７】
2015182491.tif 000009
【０１６１】
式（７）において、γv1´は、表示領域３１の表示領域画枠サイズ情報のうちの上端の垂直角度であり、γV2´は、下端の垂直角度である。また、γv1は、コンテンツ画枠サイズ情報のうちの上端の垂直角度であり、γv2は、下端の垂直角度である。
【０１６２】
次に、位置決定部１２２は、移動量γshiftを用いて、以下の式（８）により、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後の表示領域３１の上端の垂直角度γv1_shift´と下端の垂直角度γv2_shift´を求める。
【０１６３】
【数８】
2015182491.tif 000010
【０１６４】
式（８）によれば、垂直角度γv1_shift´と垂直角度γv2_shift´は、−90°から90°までの範囲を超えないように求められる。
【０１６５】
位置決定部１２２は、以上のようにして移動量γshift、垂直角度γv1_shift´、および垂直角度γv2_shift´を求めた後、表示画像１１１におけるオブジェクトの位置を求める。具体的には、位置決定部１２２は、以下の式（９）により、移動量γshiftを用いて、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後のオブジェクト＃ｉの垂直角度γAi_shiftを求める。
【０１６６】
【数９】
2015182491.tif 000011
【０１６７】
式（９）において、γAiは、オブジェクト＃ｉのオブジェクト位置情報のうちの垂直角度である。また、式（９）によれば、垂直角度γAi_shiftは、−90°から90°までの範囲を超えないように求められる。
【０１６８】
次に、位置決定部１２２は、以下の式（１０）により、表示画像１１１におけるオブジェクト＃ｉの垂直角度γA1´を求める。
【０１６９】
【数１０】
2015182491.tif 000012
【０１７０】
また、位置決定部１２２は、表示画像１１１におけるオブジェクト＃ｉの距離ｒA1´を、オブジェクト＃ｉのオブジェクト位置情報のうちの距離ｒA1に決定する。位置決定部１２２は、以上のようにして求められるオブジェクト＃ｉの水平角度θAi´、垂直角度γA1´、および距離ｒA1を、オブジェクト＃iの位置として、音声合成処理部１２３に供給する。
【０１７１】
図２７は、水平角度θAiと水平角度θAi´の関係を表す図である。
【０１７２】
図２７のグラフにおいて、横軸は、水平角度θAiを表し、縦軸は、水平角度θAi´を表す。
【０１７３】
図２７に示すように、θV2´＜θAi＜θV1´である場合、水平角度θAiは、移動量θshiftだけ移動され、拡大されることにより、水平角度θAi´になる。また、−180°≦θAi≦θv2´、または、θv1´≦θAi≦180°である場合、水平角度θAiは、移動量θshiftだけ移動され、縮小されることにより、水平角度θAi´になる。
【０１７４】
（ストリーミング再生部の処理の説明）
図２８は、図２３のストリーミング再生部１２０のストリーミング再生処理を説明するフローチャートである。
【０１７５】
図２８のステップＳ１３１において、ストリーミング再生部１２０のMPD取得部９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部１２１に供給する。
【０１７６】
ステップＳ１３２において、MPD処理部１２１は、MPD取得部９１から供給されるMPDファイルから、画像用の「AdaptationSet」に記述されるコンテンツ画枠サイズ情報とタイル位置情報を取得する。MPD処理部１２１は、画枠サイズ情報を位置決定部１２２に供給し、タイル位置情報を画像選択部９８に供給する。また、MPD処理部１２１は、音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。
【０１７７】
ステップＳ１３３において、メタファイル取得部９３は、MPD処理部１２１から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を位置決定部１２２に供給する。
【０１７８】
ステップＳ１３４において、位置決定部１２２は、オブジェクト位置情報、コンテンツ画枠サイズ情報、および表示領域画枠サイズ情報に基づいて、表示画像におけるオブジェクトの位置を決定する位置決定処理を行う。この位置決定処理の詳細は、後述する図２９を参照して説明する。
【０１７９】
ステップＳ１３５において、MPD処理部１２１は、MPDファイルから全てのオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声ファイル取得部９５に供給する。
【０１８０】
ステップＳ１３６において、音声ファイル取得部９５は、MPD処理部１２１から供給されるURL等の情報に基づいて、そのURLで特定される全てのオブジェクトの音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
【０１８１】
ステップＳ１３７乃至Ｓ１４０の処理は、図１４のステップＳ３６乃至Ｓ３９の処理と同様であるので、説明は省略する。
【０１８２】
ステップＳ１４１において、音声合成処理部１２３は、位置決定部１２２から供給されるオブジェクトの位置に基づいて、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。
【０１８３】
ステップＳ１４２において、画像合成処理部１２４は、画像復号処理部１００から供給されるタイル単位の画像データを合成する。
【０１８４】
ステップＳ１４３において、画像合成処理部１２４は、合成後の画像データに対応する画像のサイズを動画コンテンツのサイズに変換し、表示画像を生成する。そして、画像合成処理部１２４は、表示画像を出力し、処理を終了する。
【０１８５】
図２９は、図２８のステップＳ１３４の位置決定処理の詳細を説明するフローチャートである。この位置決定処理は、例えば、オブジェクトごとに行われる。
【０１８６】
図２９のステップＳ１５１において、位置決定部１２２は、表示画像における水平角度θAi´を推定する水平角度θAi´推定処理を行う。この水平角度θAi´推定処理の詳細は、後述する図３０を参照して説明する。
【０１８７】
ステップＳ１５２において、位置決定部１２２は、表示画像における垂直角度γAi´を推定する垂直角度γAi´推定処理を行う。この垂直角度γAi´推定処理の詳細は、水平方向が垂直方向に代わる点を除いて、ステップＳ１５１の水平角度θAi´推定処理と同様であるので、詳細な説明は省略する。
【０１８８】
ステップＳ１５３において、位置決定部１２２は、表示画像における距離ｒAi´を、メタファイル取得部９３から供給されるオブジェクト位置情報のうちの距離ｒAiに決定する。
【０１８９】
ステップＳ１５４において、位置決定部１２２は、水平角度θAi´、垂直角度γAi´、および距離ｒAiを、オブジェクト＃ｉの位置として音声合成処理部１２３に出力する。そして、処理は、図２８のステップＳ１３４に戻り、ステップＳ１３５に進む。
【０１９０】
図３０は、図２９のステップＳ１５１の水平角度θAi´推定処理の詳細を説明するフローチャートである。
【０１９１】
図３０のステップＳ１７１において、位置決定部１２２は、メタファイル取得部９３から供給されるオブジェクト位置情報のうちの水平角度θAiを取得する。
【０１９２】
ステップＳ１７２において、位置決定部１２２は、MPD処理部１２１から供給されるコンテンツ画枠サイズ情報と、ユーザにより指定される表示領域画枠サイズ情報を取得する。
【０１９３】
ステップS１７３において、位置決定部１２２は、コンテンツ画枠サイズ情報と表示領域画枠サイズ情報に基づいて、上述した式（１）により、移動量θshiftを算出する。
【０１９４】
ステップS１７４において、位置決定部１２２は、移動量θshiftと表示領域画枠サイズを用いて、上述した式（２）により、水平角度θv1_shift´およびθv2_shift´を算出する。
【０１９５】
ステップＳ１７５において、位置決定部１２２は、水平角度θAiと移動量θshiftを用いて、上述した式（４）により、水平角度θAi_shiftを求める。
【０１９６】
ステップＳ１７６において、位置決定部１２２は、オブジェクト＃ｉが表示領域３１内に存在する（オブジェクト＃ｉの水平角度が表示領域３１の両端の水平角度の間である）かどうか、即ちθv2_shift´＜θAi_shift＜θv1_shift´であるかどうかを判定する。
【０１９７】
ステップＳ１７６でオブジェクト＃ｉが表示領域３１内に存在すると判定された場合、即ちθv2_shift´＜θAi_shift＜θv1_shift´である場合、処理はステップＳ１７７に進む。ステップＳ１７７において、位置決定部１２２は、コンテンツ画枠サイズ情報、水平角度θv1_shift´およびθv2_shift´、並びに水平角度θAi_shiftに基づいて、上述した式（５）により水平角度θA1´を算出する。
【０１９８】
一方、ステップＳ１７６でオブジェクト＃ｉが表示領域３１内に存在しないと判定された場合、即ち、−180°≦θAi_shift≦θv2_shift´、または、θv1_shift´≦θAi_shift≦180°である場合、処理はステップＳ１７８に進む。ステップＳ１７８において、位置決定部１２２は、コンテンツ画枠サイズ情報、水平角度θv1_shift´またはθv2_shift´、および水平角度θAi_shiftに基づいて、上述した式（６）により水平角度θAi´を算出する。
【０１９９】
ステップＳ１７７またはステップＳ１７８の処理後、処理は、図２９のステップＳ１５１に戻り、処理はステップＳ１５２に進む。
【０２００】
なお、第２の例では、表示画像のサイズが動画コンテンツのサイズと同一であるようにしたが、異なっていてもよい。
【０２０１】
また、第２の例において、全てのオブジェクトの音声データが合成されて出力されるのではなく、一部のオブジェクト(例えば、表示領域内のオブジェクト、表示領域から所定の範囲内のオブジェクト等)の音声データのみが合成されて出力されるようにしてもよい。出力する音声データのオブジェクトの選択方法は、予め決定されていてもよいし、ユーザにより指定されるようにしてもよい。
【０２０２】
さらに、上述した説明では、音声データは、オブジェクト単位の音声データのみであったが、音声データには、チャンネルオーディオの音声データ、HOA（Higher−Order Ambisonics）オーディオの音声データ、SAOC(Spatial Audio Object Coding)の音声データ、音声データのメタデータ(scene情報、動的・静的metadata)などが含まれるようにしてもよい。この場合、例えば、サブサンプルとして、各オブジェクトの符号化データだけでなく、これらのデータの符号化データも配置される。
【０２０３】
＜第１実施の形態＞
（３Ｄオーディオファイルフォーマットの概要）
本開示を適用した第１実施の形態を説明する前に、まず、図３１を参照して、ＭＰ４の３Ｄオーディオファイルフォーマットのトラックの概要を説明する。
【０２０４】
ＭＰ４ファイルでは、トラックごとに、動画コンテンツのコーデック情報やファイル内の位置を示す位置情報を管理することができる。ＭＰ４の３Ｄオーディオファイルフォーマットでは、３Ｄオーディオ（Channel audio/Object audio/HOA audio/metadata）のオーディオストリーム（ES（Elementary Stream））の全てが、サンプル（フレーム）単位で１つのトラックとして記録される。また、３Ｄオーディオのコーデック情報（Profile/level/audio configuration）が、サンプルエントリ（sample entry）として格納される。
【０２０５】
３Ｄオーディオを構成するChannel audioは、チャンネル単位の音声データであり、Object audioは、オブジェクト単位の音声データであり、HOA audioは、球状の音声データであり、metadataは、Channel audio/Object audio/HOA audioのメタデータである。ここでは、Object audioは、オブジェクト単位の音声データであるものとするが、SAOCの音声データであってもよい。
【０２０６】
（moovボックスの構造）
図３２は、ＭＰ４ファイルのmoovボックスの構造を示す図である。
【０２０７】
図３２に示すように、ＭＰ４ファイルでは、画像データと音声データが異なるトラックとして記録される。図３２では、音声データのトラックの詳細は記述していないが、画像データのトラックと同様である。sample entryは、moovボックス内のstsdボックスに配置されるsample descriptionに含まれる。
【０２０８】
ところで、放送やローカルストレージ再生では、Webサーバ側が、すべてのオーディオストリームを送出し、動画再生端末（クライアント）側は、すべてのオーディオストリーム（stream）をパースしながら、必要な３Ｄオーディオのオーディオストリームを復号（decode）し、出力（rendering）する。ビットレート（Bitrate）が高い場合や、ローカルストレージの読み込みのrateに制約がある場合、必要な３Ｄオーディオのオーディオストリームのみを取得することにより、decode処理の負荷を軽減することが望まれている。
【０２０９】
また、ストリーム再生では、動画再生端末（クライアント）側で、必要な３Ｄオーディオの符号化データだけを取得することにより、再生環境に最適な符号化速度のオーディオストリームを取得可能にすることが望まれている。
【０２１０】
従って、本開示では、３Ｄオーディオの符号化データを種類に応じてトラックに分割して音声ファイルに配置することにより、所定の種類の符号化データのみを効率良く取得可能にする。これにより、放送やローカルストレージ再生では、システムの負荷を軽減することができる。また、ストリーム再生では、帯域に応じて、必要な３Ｄオーディオの符号化データの最も品質の高いものを再生することができる。さらに、音声ファイル内の３Ｄオーディオのオーディオストリームの位置情報をサブセグメントのトラック単位で記録すれば済むので、オブジェクト単位の符号化データがサブサンプルに配置される場合に比べて、位置情報の情報量を削減することができる。
【０２１１】
（トラックの概要）
図３３は、本開示を適用した第１実施の形態におけるトラックの概要を説明する図である。
【０２１２】
図３３に示すように、第１実施の形態では、３Ｄオーディオを構成するChannel audio/Object audio/HOA audio/metadataが、それぞれ、異なるトラック(Channel audio track/Object audio track(s)/HOA audio track/Object metadata track)のオーディオストリームとされる。object metadata trackには、オーディオメタデータのオーディオストリームが配置される。
【０２１３】
また、３Ｄオーディオ全体に関する情報を配置するためのトラックとして、ベーストラック（Base Track）が設けられる。図３３のベーストラックには、３Ｄオーディオ全体に関する情報がサンプルエントリに配置されるが、サンプルとしては何も配置されない。また、Base track,Channel audio track,Object audio track(s),HOA audio track、およびObject metadata trackは、同一の音声ファイル（3dauio.mp4）として記録される。
【０２１４】
Track Referenceは、例えばtrackボックスに配置され、対応するトラックの他のトラックとの参照関係を表す。具体的には、Track Referenceは、参照関係にある他のトラックのトラックに固有のＩＤ（以下、トラックＩＤという）を表す。図３３の例では、Base track,Channel audio track,HOA audio track，Object metadata track、Object audio track(s)のトラックＩＤが、1,2,3,4,10...となっている。また、Base trackのTrack Referenceは2,3,4,10...であり、Channel audio track/HOA audio track/Object metadata track/Object audio track(s)のTrack Referenceは、Base trackのトラックＩＤである１である。
【０２１５】
従って、Base trackと、Channel audio track/HOA audio track/Object metadata track/Object audio track(s)とは、参照関係にある。即ち、Base trackは、Channel audio track/HOA audio track/Object metadata track/Object audio track(s)の再生時に参照される。
【０２１６】
（ベーストラックのサンプルエントリのシンタクスの例）
図３４は、図３３のベーストラックのサンプルエントリのシンタクスの例を示す図である。
【０２１７】
図３４のconfigurationVersion,MPEGHAudioProfile、およびMPEGHAudioLevelは、３Ｄオーディオ全体に関する情報として、それぞれ、３Ｄオーディオのオーディオストリーム全体（通常の３Ｄオーディオのオーディオストリーム）のconfig情報、profile情報、level情報を表す。また、図３４のwidthとheightは、３Ｄオーディオ全体に関する情報として、それぞれ、動画コンテンツの水平方向の画素数、垂直方向の画素数を表す。theta1,theta2,gamma1、およびgamma2は、３Ｄオーディオ全体に関する情報として、それぞれ、動画コンテンツの画枠サイズ情報のうちの画枠の左端の水平角度θv1、右端の水平角度θv2、画枠の上端の垂直角度γv1、下端の垂直角度γv2を表す。
【０２１８】
（チャンネルオーディオトラックのサンプルエントリのシンタクスの例）
図３５は、図３３のチャンネルオーディオトラック（Channel audio track）のサンプルエントリのシンタクスの例を示す図である。
【０２１９】
図３５のconfigurationVersion,MPEGHAudioProfile、およびMPEGHAudioLevelは、それぞれ、Channel Audioのconfig情報、profile情報、level情報を表す。
【０２２０】
（オブジェクトオーディオトラックのサンプルエントリのシンタクスの例）
図３６は、図３３のオブジェクトオーディオトラック（Object audio track）のサンプルエントリのシンタクスの例を示す図である。
【０２２１】
図３６のconfigurationVersion,MPEGHAudioProfile、およびMPEGHAudioLevelは、それぞれ、オブジェクトオーディオトラックに含まれる１以上のObject audioのconfig情報、profile情報、level情報を表す。object_is_fixedは、オブジェクトオーディオトラックに含まれる１以上のObject audioのオブジェクトが固定されているかどうかを表す。object_is_fixedが１である場合、オブジェクトが固定されていることを表し、０である場合、オブジェクトが移動することを表す。mpegh3daConfigは、オブジェクトオーディオトラックに含まれる１以上のObject audioのオブジェクトの識別情報のconfigを表す。
【０２２２】
また、objectTheta1/objectTheta2/objectGamma1/objectGamma2/objectRengthは、オブジェクトオーディオトラックに含まれる１以上のObject audioのオブジェクト情報を表す。このオブジェクト情報は、Object_is_fixed=1の時に有効な情報である。
【０２２３】
maxobjectTheta1,maxobjectTheta2,maxobjectGamma1,maxobjectGamma2/、およびmaxobjectRengthは、オブジェクトオーディオトラックに含まれる１以上のObject audioのオブジェクトが移動する場合のオブジェクト情報の最大値を表す。
【０２２４】
（HOAオーディオトラックのサンプルエントリのシンタクスの例）
図３７は、図３３のHOAオーディオトラック（HOA audio track）のサンプルエントリのシンタクスの例を示す図である。
【０２２５】
図３７のconfigurationVersion,MPEGHAudioProfile、およびMPEGHAudioLevelは、HOA audioのconfig情報、profile情報、level情報を表す。
【０２２６】
（オブジェクトメタデータトラックのサンプルエントリのシンタクスの例）
図３８は、図３３のオブジェクトメタデータトラック（Object metadata track）のサンプルエントリのシンタクスの例を示す図である。
【０２２７】
図３８のconfigurationVersionは、metadataのconfig情報を表す。
【０２２８】
（３Ｄオーディオの音声ファイルのセグメント構造の第１の例）
図３９は、本開示を適用した第１実施の形態における３Ｄオーディオの音声ファイルのセグメント構造の第１の例を示す図である。
【０２２９】
図３９のセグメント構造では、Initial segmentが、ftypボックスとmoovボックスにより構成される。moovボックスには、音声ファイルに含まれるトラックごとにtrak boxが配置される。また、moovボックスには、各トラックのトラックＩＤと、media segment内のssixボックスで用いられるlevelとの対応関係を表す情報などを含むmvexボックスが配置される。
【０２３０】
また、media segmentは、sidxボックス、ssixボックス、および、１以上のsubsegmentにより構成される。sidxボックスには、各subsegmentの音声ファイル内の位置を示す位置情報が配置される。ssixボックスには、mdatボックスに配置される各レベルのオーディオストリームの位置情報が含まれる。なお、レベルは、トラックに対応するものである。また、最初のトラックの位置情報は、moofボックスと最初のトラックのオーディオストリームからなるデータの位置情報である。
【０２３１】
subsegmentは、任意の時間長ごとに設けられ、subsegmentには、全てのトラックに共通の１組のmoofボックスとmdatボックスのペアが設けられる。mdatボックスには、全てのtrackのオーディオストリームが、任意の時間長分だけまとめて配置され、moofボックスには、そのオーディオストリームの管理情報が配置される。mdatボックスに配置される各trackのオーディオストリームは、track毎に連続している。
【０２３２】
図３９の例では、トラックＩＤが1であるTrack1はbase Trackであり、トラックＩＤが2乃至NであるTrack2乃至trackNは、それぞれ、Channel Audio Track,Object audio track(s), HOA audio track, object metadata trackである。このことは、後述する図４０においても同様である。
【０２３３】
（３Ｄオーディオの音声ファイルのセグメント構造の第２の例）
図４０は、本開示を適用した第１実施の形態における３Ｄオーディオの音声ファイルのセグメント構造の第２の例を示す図である。
【０２３４】
図４０のセグメント構造は、トラックごとにmoofボックスとmdatボックスが設けられる点が、図３９のセグメント構造と異なっている。
【０２３５】
即ち、図４０のInitial segmentは、図３９のInitial segmentと同様である。また、図４０のmedia segmentは、図３９のmedia segmentと同様に、sidxボックス、ssixボックス、および、１以上のsubsegmentにより構成される。sidxボックスには、図３９のsidxボックスと同様に、各subsegmentの位置情報が配置される。ssixボックスには、moofボックスとmdatボックスからなる各レベルのデータの位置情報が含まれる。
【０２３６】
subsegmentは、任意の時間長ごとに設けられ、subsegmentには、トラックごとにmoofボックスとmdatボックスのペアが設けられる。即ち、各トラックのmdatボックスには、そのトラックのオーディオストリームが、任意の時間長分だけまとめて配置（インターリーブ格納）され、moofボックスには、そのオーディオストリームの管理情報が配置される。
【０２３７】
図３９および図４０に示すように、各トラックのオーディオストリームは、任意の時間長分まとめて配置されるため、サンプル単位でまとめて配置される場合に比べて、HTTP等を介したオーディオストリームの取得効率が改善する。
【０２３８】
（mvexボックスの記述例）
図４１は、図３９および図４０のmvexボックスに配置されるlevel assignmentボックスの記述例を示す図である。
【０２３９】
level assignmentボックスは、各トラックのトラックＩＤとssixボックスで用いられるレベル（level）を対応付けるボックスである。図４１の例では、トラックＩＤが１であるベーストラックがレベル０に対応付けられ、トラックＩＤが２であるチャンネルオーディオトラックがレベル１に対応付けられている。また、トラックＩＤが３であるHOAオーディオトラックがレベル２に対応付けられ、トラックＩＤが４であるオブジェクトメタデータトラックがレベル３に対応付けられている。さらに、トラックＩＤが１０であるオブジェクトオーディオトラックがレベル４に対応付けられている。
【０２４０】
（MPDファイルの記述例）
図４２は、本開示を適用した第１実施の形態におけるMPDファイルの記述例を示す図である。
【０２４１】
図４２に示すように、MPDファイルには、３Ｄオーディオの音声ファイル(3daudio.mp4)のセグメントを管理する「Representation」、そのセグメントに含まれるトラックを管理する「SubRepresentation」等が記述される。
【０２４２】
「Representation」と「SubRepresentation」には、対応するセグメントまたはトラックのcodecの種類を、3D audio file formatで定義されるコードで表す「codecs」が含まれる。また、「Representation」には、「id」、「associationId」、および「assciationType」が含まれる。
【０２４３】
「id」は、それを含む「Representation」のＩＤである。「associationId」は、対応するトラックと他のトラックとの参照関係を表す情報であり、参照トラックの「id」である。「assciationType」は、参照トラックとの参照関係（依存関係）の意味を表すコードであり、例えばMP4のtrack referenceの値と同じものが用いられる。
【０２４４】
また、「SubRepresentation」には、対応するトラックと対応するレベルを表す値としてlevel assignmentボックスで設定されている値である「level」が含まれる。「SubRepresentation」には、参照関係を有する（依存する）他のトラック（以下、参照トラックという）に対応するレベルを表す値である「dependencyLevel」が含まれる。
【０２４５】
さらに、「SubRepresentation」には、３Ｄオーディオの選択に必要な情報として、<EssentialProperty schemeIdUri=“urn:mpeg:DASH:3daudio:2014” value=“ audioType, contentkind ,priority”>が含まれる。
【０２４６】
また、Object audio trackの「SubRepresentation」には、<EssentialProperty schemeIdUri=“urn:mpeg:DASH:viewingAngle:2014” value=“θ,γ,r”>が含まれる。このθ,γ,rは、「SubRepresentation」に対応するオブジェクトが固定されている場合、それぞれ、オブジェクト位置情報のうちの水平角度、垂直角度、距離である。一方、オブジェクトが移動する場合、このθ,γ,rは、それぞれ、オブジェクト位置情報の最大値のうちの水平角度の最大値、垂直角度の最大値、距離の最大値である。
【０２４７】
図４３は、図４２のEssential Propertyの定義を示す図である。
【０２４８】
図４３の左上側は、<EssentialProperty schemeIdUri=“urn:mpeg:DASH:3daudio:2014” value=“ audioType, contentkind ,priority”>のAudioTypeの定義を示している。AudioTypeは、対応するトラックの３Ｄオーディオの種類を表す。
【０２４９】
図４３の例では、AudioTypeが１である場合、対応するトラックの音声データが、３ＤオーディオのうちのChannel audioであることを表し、AudioTypeが２である場合、対応するトラックの音声データが、HOA audioであることを表す。また、AudioTypeが３である場合、対応するトラックの音声データが、Object audioであることを表し、AudioTypeが４である場合、対応するトラックの音声データが、metadataであることを表す。
【０２５０】
また、図４３の右側は、<EssentialProperty schemeIdUri=“urn:mpeg:DASH:3daudio:2014” value=“ audioType, contentkind ,priority”>のcontentkindの定義を示している。contentkindは、対応する音声の内容を表す。図４３の例では、例えば、contentkindが３である場合、対応する音声が音楽(music)である。
【０２５１】
図４３の左下に示すように、Priorityは23008−3で定義されているものであり、対応するObjectの処理優先度を表す。Priorityとしては、オーディオストリームの途中で変更されない場合にのみObjectの処理優先度を表す値が記述され、変更される場合には0が記述される。
【０２５２】
（情報処理システムの概要）
図４４は、本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。
【０２５３】
図４４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２５４】
図４４の情報処理システム１４０は、ファイル生成装置１４１と接続されるWebサーバ１４２と動画再生端末１４４が、インターネット１３を介して接続されることにより構成される。
【０２５５】
情報処理システム１４０では、MPEG−DASHに準ずる方式で、Webサーバ１４２が、動画コンテンツのビデオストリームをタイル単位で動画再生端末１４４に配信（タイルドストリーミング）する。また、情報処理システム１４０では、Webサーバ１４２が、再生対象のタイルに対応するObject audio,Channel audio、またはHOA audioのオーディオストリームを動画再生端末１４４に配信する。
【０２５６】
情報処理システム１４０のファイル生成装置１４１は、音声ファイル生成部５６が第１実施の形態における音声ファイルを生成し、ＭＰＤ生成部５７が第１実施の形態におけるＭＰＤファイルを生成する点等を除いて、図１１のファイル生成装置１１と同様である。
【０２５７】
具体的には、ファイル生成装置１４１は、動画コンテンツの画像データを取得し、タイル単位で符号化してビデオストリームを生成する。ファイル生成装置１４１は、各タイルのビデオストリームを、セグメントごとにファイル化する。ファイル生成装置１４１は、その結果得られる各タイルの画像ファイルをWebサーバ１４２にアップロードする。
【０２５８】
また、ファイル生成装置１４１は、動画コンテンツの３Ｄオーディオを取得し、３Ｄオーディオの種類（Channel audio/Object audio/HOA audio/metadata）ごとに符号化してオーディオストリームを生成する。ファイル生成装置１４１は、オーディオストリームに対して、３Ｄオーディオの種類ごとにトラックを割り当てる。ファイル生成装置１４１は、各トラックのオーディオストリームがサブセグメント単位で配置される図３９または図４０のセグメント構造の音声ファイルを生成し、Webサーバ１４２にアップロードする。
【０２５９】
ファイル生成装置１４１は、画枠サイズ情報、タイル位置情報、オブジェクト位置情報等を含むMPDファイルを生成する。ファイル生成装置１４１は、MPDファイルをWebサーバ１４２にアップロードする。
【０２６０】
Webサーバ１４２は、ファイル生成装置１４１からアップロードされた画像ファイル、音声ファイル、およびMPDファイルを格納する。
【０２６１】
図４４の例では、Webサーバ１４２には、タイル＃１の複数のセグメントの画像ファイルからなるセグメント群と、タイル＃２の複数のセグメントの画像ファイルからなるセグメント群とが格納されている。また、Webサーバ１４２には、３Ｄオーディオの音声ファイルからなるセグメント群が格納されている。
【０２６２】
Webサーバ１４２は、動画再生端末１４４からの要求に応じて、格納している画像ファイル、音声ファイル、MPDファイル等を動画再生端末１４４に送信する。
【０２６３】
動画再生端末１４４は、制御用ソフトウエア１６１、動画再生ソフトウエア１６２、アクセス用ソフトウエア１６３などを実行する。
【０２６４】
制御用ソフトウエア１６１は、Webサーバ１４２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア１６１は、動画再生端末１４４にWebサーバ１４２からMPDファイルを取得させる。
【０２６５】
また、制御用ソフトウエア１６１は、動画再生ソフトウエア１６２から指示される表示領域と、MPDファイルに含まれるタイル位置情報とに基づいて、表示領域内のタイルを特定する。そして、制御用ソフトウエア１６１は、そのタイルの画像ファイルの送信要求をアクセス用ソフトウエア１６３に指令する。
【０２６６】
制御用ソフトウエア１６１は、Object audioを再生対象とする場合、音声ファイル内の画枠サイズ情報の送信要求をアクセス用ソフトウエア１６３に指令する。また、制御用ソフトウエア１６１は、metadataのオーディオストリームの送信要求をアクセス用ソフトウエア１６３に指令する。制御用ソフトウエア１６１は、その指令に応じてWebサーバ１４２から送信されてくる画枠サイズ情報およびmetadataのオーディオストリームに含まれるオブジェクト位置情報、並びに、表示領域に基づいて、表示領域内の画像に対応するオブジェクトを特定する。そして、制御用ソフトウエア１６１は、そのオブジェクトのオーディオストリームの送信要求をアクセス用ソフトウエア１６３に指令する。
【０２６７】
また、制御用ソフトウエア１６１は、Channel audioまたはHOA audioを再生対象とする場合、Channel audioまたはHOA audioのオーディオストリームの送信要求をアクセス用ソフトウエア１６３に指令する。
【０２６８】
動画再生ソフトウエア１６２は、Webサーバ１４２から取得された画像ファイルと音声ファイルを再生するソフトウエアである。具体的には、動画再生ソフトウエア１６２は、ユーザにより表示領域が指定されると、その表示領域を制御用ソフトウエア１６１に指示する。また、動画再生ソフトウエア１６２は、その指示に応じてWebサーバ１４２から取得された画像ファイルと音声ファイルを復号する。動画再生ソフトウエア１６２は、復号の結果得られるタイル単位の画像データを合成して出力する。また、動画再生ソフトウエア１６２は、復号の結果得られるObject audio、Channel audio、またはHOA audioを必要に応じて合成し、出力する。
【０２６９】
アクセス用ソフトウエア１６３は、HTTPを用いたインターネット１３を介したWebサーバ１４２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア１６３は、制御用ソフトウエア１６１の指令に応じて、画像ファイル、音声ファイル内の画枠サイズ情報や所定のオーディオストリームの送信要求を、動画再生端末１４４に送信させる。また、アクセス用ソフトウエア１６３は、その送信要求に応じて、Webサーバ１４２から送信されてくる画像ファイル、音声ファイル内の画枠サイズ情報や所定のオーディオストリームを動画再生端末１４４に受信させる。
【０２７０】
（ファイル生成装置の構成例）
図４５は、図４４のファイル生成装置１４１の構成例を示すブロック図である。
【０２７１】
図４５に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２７２】
図４５のファイル生成装置１４１の構成は、音声符号化処理部５５、音声ファイル生成部５６、MPD生成部５７、サーバアップロード処理部５８の代わりに、音声符号化処理部１７１、音声ファイル生成部１７２、MPD生成部１７３、サーバアップロード処理部１７４が設けられる点が、図１１のファイル生成装置１１の構成と異なる。
【０２７３】
具体的には、ファイル生成装置１４１の音声符号化処理部１７１は、外部から入力される動画コンテンツの３Ｄオーディオを種類（Channel audio/Object audio/HOA audio/metadata）ごとに符号化し、オーディオストリームを生成する。音声符号化処理部１７１は、３Ｄオーディオの種類ごとのオーディオストリームを音声ファイル生成部１７２に供給する。
【０２７４】
音声ファイル生成部１７２は、音声符号化処理部１７１から供給されるオーディオストリームに対して、３Ｄオーディオの種類ごとにトラックを割り当てる。音声ファイル生成部１７２は、各トラックのオーディオストリームがサブセグメント単位で配置される図３９または図４０のセグメント構造の音声ファイルを生成する。このとき、音声ファイル生成部１７２は、外部から入力される画枠サイズ情報をサンプルエントリに格納する。音声ファイル生成部１７２は、生成された音声ファイルをMPD生成部１７３に供給する。
【０２７５】
MPD生成部１７３は、画像ファイル生成部５３から供給される各タイルの画像ファイルを格納するWebサーバ１４２のURL等を決定する。また、MPD生成部１７３は、音声ファイル生成部１７２から供給される音声ファイルを格納するWebサーバ１４２のURL等を決定する。
【０２７６】
MPD生成部１７３は、画像情報生成部５４から供給される画像情報をMPDファイルの画像用の「AdaptationSet」に配置する。また、MPD生成部１７３は、各タイルの画像ファイルのURL等を、そのタイルの画像ファイル用の「Representation」の「Segment」に配置する。
【０２７７】
MPD生成部１７３は、音声ファイルのURL等を、その音声ファイル用の「Representation」の「Segment」に配置する。また、MPD生成部１７３は、外部から入力される各オブジェクトのオブジェクト位置情報等を、そのオブジェクトのObject metadata track用の「Sub Representation」に配置する。MPD生成部１７３は、以上のようにして各種の情報が配置されたMPDファイル、並びに、画像ファイルおよび音声ファイルをサーバアップロード処理部１７４に供給する。
【０２７８】
サーバアップロード処理部１７４は、MPD生成部１７３から供給される各タイルの画像ファイル、音声ファイル、およびMPDファイルを、Webサーバ１４２にアップロードする。
【０２７９】
（ファイル生成装置の処理の説明）
図４６は、図４５のファイル生成装置１４１のファイル生成処理を説明するフローチャートである。
【０２８０】
図４６のステップＳ１９１乃至Ｓ１９５の処理は、図１２のステップＳ１１乃至Ｓ１５の処理と同様であるので、説明は省略する。
【０２８１】
ステップＳ１９６において、音声符号化処理部１７１は、外部から入力される動画コンテンツの３Ｄオーディオを種類（Channel audio/Object audio/HOA audio/metadata）ごとに符号化し、オーディオストリームを生成する。音声符号化処理部１７１は、３Ｄオーディオの種類ごとのオーディオストリームを音声ファイル生成部１７２に供給する。
【０２８２】
ステップＳ１９７において、音声ファイル生成部１７２は、音声符号化処理部１７１から供給されるオーディオストリームに対して、３Ｄオーディオの種類ごとにトラックを割り当てる。
【０２８３】
ステップＳ１９８において、音声ファイル生成部１７２は、各トラックのオーディオストリームがサブセグメント単位で配置される図３９または図４０のセグメント構造の音声ファイルを生成する。このとき、音声ファイル生成部１７２は、外部から入力される画枠サイズ情報をサンプルエントリに格納する。音声ファイル生成部１７２は、生成された音声ファイルをMPD生成部１７３に供給する。
【０２８４】
ステップＳ１９９において、MPD生成部１７３は、画像情報生成部５４から供給される画像情報、各ファイルのURL、オブジェクト位置情報等を含むMPDファイルを生成する。MPD生成部１７３は、画像ファイル、音声ファイル、およびMPDファイルをサーバアップロード処理部１７４に供給する。
【０２８５】
ステップＳ２００において、サーバアップロード処理部１７４は、MPD生成部１７３から供給される画像ファイル、音声ファイル、およびMPDファイルを、Webサーバ１４２にアップロードする。そして、処理は終了する。
【０２８６】
（動画再生端末の機能的構成例）
図４７は、図４４の動画再生端末１４４が制御用ソフトウエア１６１、動画再生ソフトウエア１６２、およびアクセス用ソフトウエア１６３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
【０２８７】
図４７に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２８８】
図４７のストリーミング再生部１９０の構成は、MPD処理部９２、音声選択部９４、音声ファイル取得部９５、音声復号処理部９６、音声合成処理部９７の代わりに、MPD処理部１９１、音声選択部１９３、音声ファイル取得部１９２、音声復号処理部１９４、音声合成処理部１９５が設けられる点、および、メタファイル取得部９３が設けられない点が、図１３のストリーミング再生部９０の構成と異なる。
【０２８９】
ストリーミング再生部１９０は、選択されたオブジェクトの再生対象の音声データを取得する方法等が異なる点等を除いて、図１３のストリーミング再生部９０と同様である。
【０２９０】
具体的には、ストリーミング再生部１９０のMPD処理部１９１は、MPD取得部９１から供給されるMPDファイルから音声ファイル用の「Segment」に記述される再生対象のセグメントの音声ファイルのURL等の情報を抽出し、音声ファイル取得部１９２に供給する。
【０２９１】
MPD処理部１９１は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部１９１は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
【０２９２】
音声ファイル取得部１９２は、Object audioを再生対象とする場合、MPD処理部１９１から供給されるURL等の情報に基づいて、そのURLで特定される音声ファイル内のBase trackのInitial SegmentをWebサーバ１４２に要求し、取得する。
【０２９３】
また、音声ファイル取得部１９２は、音声ファイルのURL等の情報に基づいて、そのURLで特定される音声ファイル内のobject metadata trackのオーディオストリームをWebサーバ１４２に要求し、取得する。音声ファイル取得部１９２は、object metadata trackのオーディオストリームに含まれるオブジェクト位置情報、Base trackのInitial Segmentに含まれる画枠サイズ情報、および音声ファイルのURL等の情報を音声選択部１９３に供給する。
【０２９４】
また、Channel audioを再生対象とする場合、音声ファイル取得部１９２は、音声ファイルのURL等の情報に基づいて、そのURLで特定される音声ファイル内のChannel audio trackのオーディオストリームをWebサーバ１４２に要求し、取得する。音声ファイル取得部１９２は、取得されたChannel audio trackのオーディオストリームを音声復号処理部１９４に供給する。
【０２９５】
HOA audioを再生対象とする場合、音声ファイル取得部１９２は、Channel audioを再生対象とする場合と同様の処理を行う。その結果、HOA audio trackのオーディオストリームが音声復号処理部１９４に供給される。
【０２９６】
なお、Object audio,Channel audio、およびHOA audioのいずれを再生対象とするかは、例えば、ユーザからの指令により決定される。
【０２９７】
音声選択部１９３は、音声ファイル取得部１９２から供給される画枠サイズ情報とオブジェクト位置情報とに基づいて、各オブジェクトの画像上の位置を算出する。音声選択部１９３は、各オブジェクトの画像上の位置に基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部１９３は、音声ファイル取得部１９２から供給される音声ファイルのURL等の情報に基づいて、そのURLで特定される音声ファイル内の、選択されたオブジェクトのObject audio trackのオーディオストリームをWebサーバ１４２に要求し、取得する。音声選択部１９３は、取得されたObject audio trackのオーディオストリームを音声復号処理部１９４に供給する。
【０２９８】
音声復号処理部１９４は、音声ファイル取得部１９２から供給されるChannel audio trackまたはHOA audio trackのオーディオストリーム、もしくは、音声選択部１９３からObject audio trackのオーディオストリームを復号する。音声復号処理部１９４は、復号の結果得られるChannel audio,HOA audio、またはObject audioを音声合成処理部１９５に供給する。
【０２９９】
音声合成処理部１９５は、音声復号処理部１９４から供給されるObject audio,Channel audio、またはHOA audioを必要に応じて合成し、出力する。
【０３００】
（動画再生端末の処理の説明）
図４８は、図４７のストリーミング再生部１９０のチャンネルオーディオ再生処理を説明するフローチャートである。このチャンネルオーディオ再生処理は、例えば、ユーザによりChannel audioが再生対象として選択される場合に行われる。
【０３０１】
図４８のステップＳ２２１において、MPD処理部１９１は、MPD取得部９１から供給されるMPDファイルを解析し、「SubRepresentation」に記述されるessential property とcodecに基づいて、再生対象のセグメントのChannel audioの「SubRepresentation」を特定する。また、MPD処理部１９１は、MPDファイルから、再生対象のセグメントの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声ファイル取得部１９２に供給する。
【０３０２】
ステップＳ２２２において、MPD処理部１９１は、ステップＳ２２１で特定された「SubRepresentation」のdependencyLevelに基づいて、参照トラックであるBase trackのレベルを特定し、音声ファイル取得部１９２に供給する。
【０３０３】
ステップＳ２２３において、音声ファイル取得部１９２は、MPD処理部１９１から供給されるURL等の情報に基づいて、再生対象のセグメントのInitial SegmentをWebサーバ１４２に要求し、取得する。
【０３０４】
ステップＳ２２４において、音声ファイル取得部１９２は、Initial Segment内のLevel assignmentボックスから、channel audio trackと参照トラックであるBase trackのレベルに対応するトラックＩＤを取得する。
【０３０５】
ステップＳ２２５において、音声ファイル取得部１９２は、channel audio trackと参照トラックであるBase trackのトラックＩＤに基づいて、Initial Segmentの、そのトラックＩＤに対応するtrakボックス内のサンプルエントリを取得する。音声ファイル取得部１９２は、取得されたサンプルエントリに含まれるコーデック情報を音声復号処理部１９４に供給する。
【０３０６】
ステップＳ２２６において、音声ファイル取得部１９２は、MPD処理部１９１から供給されるURL等の情報に基づいて、Webサーバ１４２に要求し、再生対象のセグメントの音声ファイルの先頭からsidxボックスとssixボックスを取得する。
【０３０７】
ステップＳ２２７において、音声ファイル取得部１９２は、ステップＳ２２３で取得されたsidxボックスとssixボックスから、再生対象のサブセグメントのchannel audio trackと参照トラックの位置情報を取得する。なお、ここでは、参照トラックであるBase trackにはオーディオストリームが含まれないため、参照トラックの位置情報はない。
【０３０８】
ステップＳ２２８において、音声ファイル取得部１９２は、channel audio trackの位置情報と再生対象のセグメントの音声ファイルのURL等の情報に基づいて、mdatボックスに配置されるchannel audio trackのオーディオストリームをWebサーバ１４２に要求し、取得する。音声ファイル取得部１９２は、取得されたchannel audio trackのオーディオストリームを音声復号処理部１９４に供給する。
【０３０９】
ステップＳ２２９において、音声復号処理部１９４は、音声ファイル取得部１９２から供給されるコーデック情報に基づいて、channel audio trackのオーディオストリームに対して復号を行う。音声ファイル取得部１９２は、その結果得られるchannel audioを音声合成処理部１９５に供給する。
【０３１０】
ステップＳ２３０において、音声合成処理部１９５は、channel audioを出力し、処理を終了する。
【０３１１】
なお、図示は省略するが、ストリーミング再生部１９０によるHOA audioを再生するHOAオーディオ再生処理は、図４８のチャンネルオーディオ再生処理と同様に行われる。
【０３１２】
図４９は、図４７のストリーミング再生部１９０のオブジェクト特定処理を説明するフローチャートである。このオブジェクト特定処理は、例えば、ユーザによりObject audioが再生対象として選択されており、再生領域が変化したときに行われる。
【０３１３】
図４９のステップＳ２５１において、音声選択部１９３は、ユーザ操作などにより、ユーザにより指定された表示領域を取得する。
【０３１４】
ステップＳ２５２において、MPD処理部１９１は、MPD取得部９１から供給されるMPDファイルを解析し、「SubRepresentation」に記述されるessential property とcodecに基づいて、再生対象のセグメントのmetadataの「SubRepresentation」を特定する。また、MPD処理部１９１は、MPDファイルから音声ファイル用の「Segment」に記述される再生対象のセグメントの音声ファイルのURL等の情報を抽出し、音声ファイル取得部１９２に供給する。
【０３１５】
ステップＳ２５３において、MPD処理部１９１は、ステップＳ２５２で特定された「SubRepresentation」のdependencyLevelに基づいて、参照トラックであるBase trackのレベルを特定し、音声ファイル取得部１９２に供給する。
【０３１６】
ステップＳ２５４において、音声ファイル取得部１９２は、MPD処理部１９１から供給されるURL等の情報に基づいて、再生対象のセグメントのInitial SegmentをWebサーバ１４２に要求し、取得する。
【０３１７】
ステップＳ２５５において、音声ファイル取得部１９２は、Initial Segment内のLevel assignmentボックスから、object metadata trackと参照トラックであるBase trackのレベルに対応するトラックＩＤを取得する。
【０３１８】
ステップＳ２５６において、音声ファイル取得部１９２は、object metadata trackと参照トラックであるBase trackのトラックＩＤに基づいて、Initial Segmentの、そのトラックＩＤに対応するtrakボックス内のサンプルエントリを取得する。音声ファイル取得部１９２は、参照トラックであるBase trackのサンプルエントリに含まれる画枠サイズ情報を音声選択部１９３に供給する。また、音声ファイル取得部１９２は、Initial Segmentを音声選択部１９３に供給する。
【０３１９】
ステップＳ２５７において、音声ファイル取得部１９２は、MPD処理部１９１から供給されるURL等の情報に基づいて、Webサーバ１４２に要求し、再生対象のセグメントの音声ファイルの先頭からsidxボックスとssixボックスを取得する。
【０３２０】
ステップＳ２５８において、音声ファイル取得部１９２は、ステップＳ２５７で取得されたsidxボックスとssixボックスから、再生対象のサブセグメントのobject metadata trackと参照トラックの位置情報を取得する。なお、ここでは、参照トラックであるBase trackにはオーディオストリームが含まれないため、参照トラックの位置情報はない。音声ファイル取得部１９２は、sidxボックスとssixボックスを音声選択部１９３に供給する。
【０３２１】
ステップＳ２５９において、音声ファイル取得部１９２は、object metadata trackの位置情報と再生対象のセグメントの音声ファイルのURL等の情報に基づいて、mdatボックスに配置されるobject metadata trackのオーディオストリームをWebサーバ１４２に要求し、取得する。
【０３２２】
ステップＳ２６０において、音声ファイル取得部１９２は、ステップＳ２５６で取得されたサンプルエントリに含まれるコーデック情報に基づいて、ステップＳ２５９で取得されたobject metadata trackのオーディオストリームを復号する。音声ファイル取得部１９２は、復号の結果得られるmetadataに含まれるオブジェクト位置情報を音声選択部１９３に供給する。また、音声ファイル取得部１９２は、MPD処理部１９１から供給される音声ファイルのURL等の情報を音声選択部１９３に供給する。
【０３２３】
ステップＳ２６１において、音声選択部１９３は、音声ファイル取得部１９２から供給される画枠サイズ情報およびオブジェクト位置情報、並びに、ユーザにより指定される表示領域に基づいて、表示領域内のオブジェクトを選択する。そして、処理は終了する。
【０３２４】
図５０は、図４９のオブジェクト特定処理後にストリーミング再生部１９０により行われる特定オブジェクトオーディオ再生処理を説明するフローチャートである。
【０３２５】
図５０のステップＳ２８１において、MPD処理部１９１は、MPD取得部９１から供給されるMPDファイルを解析し、「SubRepresentation」に記述されるessential property とcodecに基づいて、選択されたオブジェクトのobject audioの「SubRepresentation」を特定する。
【０３２６】
ステップＳ２８２において、MPD処理部１９１は、ステップＳ２８１で特定された「SubRepresentation」のdependencyLevelに基づいて、参照トラックであるBase trackのレベルを特定し、音声ファイル取得部１９２に供給する。
【０３２７】
ステップＳ２８３において、音声ファイル取得部１９２は、Initial Segment内のLevel assignmentボックスから、object audio trackと参照トラックであるBase trackのレベルに対応するトラックＩＤを取得し、音声選択部１９３に供給する。
【０３２８】
ステップＳ２８４において、音声選択部１９３は、object audio trackと参照トラックであるBase trackのトラックＩＤに基づいて、Initial Segmentの、そのトラックＩＤに対応するtrakボックス内のサンプルエントリを取得する。このInitial Segmentは、図４９のステップＳ２５６で音声ファイル取得部１９２から供給されたものである。音声選択部１９３は、取得されたサンプルエントリに含まれるコーデック情報を音声復号処理部１９４に供給する。
【０３２９】
ステップＳ２８５において、音声選択部１９３は、ステップＳ２５８で音声ファイル取得部１９２から供給されるsidxボックスとssixボックスから、再生対象のサブセグメントの選択されたオブジェクトのobject audio trackと参照トラックの位置情報を取得する。なお、ここでは、参照トラックであるBase trackにはオーディオストリームが含まれないため、参照トラックの位置情報はない。
【０３３０】
ステップＳ２８６において、音声選択部１９３は、object audio trackの位置情報と再生対象のセグメントの音声ファイルのURL等の情報に基づいて、mdatボックスに配置される、選択されたオブジェクトのobject audio trackのオーディオストリームをWebサーバ１４２に要求し、取得する。音声選択部１９３は、取得されたobject audio trackのオーディオストリームを音声復号処理部１９４に供給する。
【０３３１】
ステップＳ２８７において、音声復号処理部１９４は、音声選択部１９３から供給されるコーデック情報に基づいて、object audio trackのオーディオストリームを復号する。音声選択部１９３は、復号の結果得られるobject audioを音声合成処理部１９５に供給する。
【０３３２】
ステップＳ２８８において、音声合成処理部１９５は、音声復号処理部１９４から供給されるobject audioを合成して出力する。そして、処理は終了する。
【０３３３】
以上のように、情報処理システム１４０では、ファイル生成装置１４１が、３Ｄオーディオが３Ｄオーディオの種類に応じて複数のトラックに分割されて配置される音声ファイルを生成する。そして、動画再生端末１４４は、その音声ファイルのうちの所定の種類の３Ｄオーディオのトラックのオーディオストリームを取得する。従って、動画再生端末１４４は、所定の種類の３Ｄオーディオのオーディオストリームを効率良く取得することができる。よって、ファイル生成装置１４１は、所定の種類の３Ｄオーディオのオーディオストリームの取得効率を向上させる音声ファイルを生成しているといえる。
【０３３４】
＜第２実施の形態＞
（トラックの概要）
図５１は、本開示を適用した第２実施の形態におけるトラックの概要を説明する図である。
【０３３５】
図５１に示すように、第２実施の形態では、Base trackのサンプルとして、ベースサンプルが記録される点が、第１実施の形態と異なる。ベースサンプルは、Channel audio/Object audio/HOA audio/metadataのsampleヘの参照情報により構成される。ベースサンプルに含まれる参照情報により参照されるChannel audio/Object audio/HOA audio/metadataのサンプルを、参照情報の配置順に配置することにより、トラックに分割される前の３Ｄオーディオのオーディオストリームを生成することができる。
【０３３６】
（ベーストラックのサンプルエントリのシンタクスの例）
図５２は、図５１のベーストラックのサンプルエントリのシンタクスの例を示す図である。
【０３３７】
図５２のシンタクスは、サンプルエントリが、図３３のBase trackのサンプルエントリであることを表す「mha1」の代わりに、図５１のBase trackのサンプルエントリであることを表す「mha2」が記述される点を除いて、図３４のシンタクスと同一である。
【０３３８】
（ベースサンプルの構造例）
図５３は、ベースサンプルの構造例を示す図である。
【０３３９】
図５３に示すように、ベースサンプルは、サンプル単位のChannel audio/Object audio/HOA audio/metadataのextractorをサブサンプルとして構成される。 Channel audio/Object audio/HOA audio/metadataのextractorは、extractorの種別、並びに、対応するChannel audio track/Object audio track(s)/HOA audio track/Object metadata trackのサブサンプルのoffsetおよびsizeにより構成される。このoffsetは、ベースサンプルのサブサンプルのファイル内の位置と、Channel audio track/Object audio track(s)/HOA audio track/Object metadata trackのサンプルのファイル内の位置の差分である。即ち、offsetは、それを含むベースサンプルのサブサンプルに対応する他のトラックのサンプルのファイル内の位置を示す情報である。
【０３４０】
図５４は、ベースサンプルのシンタクスの例を示す図である。
【０３４１】
図５４に示すように、ベースサンプルでは、Object audio trackのサンプルにおいてobject audioが格納されるSCEエレメントが、extractorを格納するEXTエレメントに入れ換えられる。
【０３４２】
図５５は、extractorのデータの例を示す図である。
【０３４３】
図５５に示すように、extractorには、extractorの種別、並びに、対応するChannel audio track/Object audio track(s)/HOA audio track/Object metadata trackのサブサンプルのoffsetおよびsizeが記述される。
【０３４４】
なお、AVC(Advanced Video Coding)/HEVC(High Efficiency Video Coding)で定義している、NAL(Network Abstraction Layer)の構造を活用して、audio elementaryやconfig情報を格納できるように拡張してもよい。
【０３４５】
第２実施の形態における情報処理システムおよび情報処理システムによる処理は、第１実施の形態と同様であるので、説明は省略する。
【０３４６】
＜第３実施の形態＞
（トラックの概要）
図５６は、本開示を適用した第３実施の形態におけるトラックの概要を説明する図である。
【０３４７】
図５６に示すように、第３実施の形態では、Base trackのサンプルとして、ベースサンプルとmetadataのサンプルが記録され、Object metadata trackが設けられない点が、第１実施の形態と異なっている。
【０３４８】
第３実施の形態における情報処理システムおよび情報処理システムによる処理は、オブジェクト位置情報を取得するために、Object metadata trackの代わりにBase trackのオーディオストリームが取得される点を除いて、第１実施の形態と同様であるので、説明は省略する。
【０３４９】
＜第４実施の形態＞
（トラックの概要）
図５７は、本開示を適用した第４実施の形態におけるトラックの概要を説明する図である。
【０３５０】
図５７に示すように、第４実施の形態では、各トラックが異なるファイル（3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4）として記録される点が、第１実施の形態と異なっている。この場合、所望のトラックのファイルを、HTTPを介して取得することにより、所望のトラックの音声データのみを取得することができる。従って、HTTPを介した所望のトラックの音声データの取得を効率的に行うことができる。
【０３５１】
（MPDファイルの記述例）
図５８は、本開示を適用した第４実施の形態におけるMPDファイルの記述例を示す図である。
【０３５２】
図５８に示すように、MPDファイルには、３Ｄオーディオの各音声ファイル（3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4）のセグメントを管理する「Representation等が記述される。
【０３５３】
「Representation」には、「codecs」、「id」、「associationId」、および「assciationType」が含まれる。また、Channel audio track/Object audio track(s)/HOA audio track/Object metadata trackの「Representation」には、「<EssentialProperty schemeIdUri=“urn:mpeg:DASH:3daudio:2014” value=“ audioType, contentkind ,priority”>」も含まれる。さらに、Object audio track(s) の「Representation」には、<EssentialProperty schemeIdUri=“urn:mpeg:DASH:viewingAngle:2014” value=“θ,γ,r”>が含まれる。
【０３５４】
（情報処理システムの概要）
図５９は、本開示を適用した第４実施の形態における情報処理システムの概要を説明する図である。
【０３５５】
図５９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３５６】
図５９の情報処理システム２１０は、ファイル生成装置２１１と接続されるWebサーバ２１２と動画再生端末２１４が、インターネット１３を介して接続されることにより構成される。
【０３５７】
情報処理システム２１０では、MPEG−DASHに準ずる方式で、Webサーバ２１２が、動画コンテンツのビデオストリームをタイル単位で動画再生端末２１４に配信（タイルドストリーミング）する。また、情報処理システム２１０では、Webサーバ２１２が、再生対象のタイルに対応するObject audio,Channel audio、またはHOA audioの音声ファイルを動画再生端末２１４に配信する。
【０３５８】
具体的には、ファイル生成装置２１１は、動画コンテンツの画像データを取得し、タイル単位で符号化してビデオストリームを生成する。ファイル生成装置２１１は、各タイルのビデオストリームを、セグメントごとにファイル化する。ファイル生成装置２１１は、その結果得られる各タイルの画像ファイルをWebサーバ２１２にアップロードする。
【０３５９】
また、ファイル生成装置２１１は、動画コンテンツの３Ｄオーディオを取得し、３Ｄオーディオの種類（Channel audio/Object audio/HOA audio/metadata）ごとに符号化してオーディオストリームを生成する。ファイル生成装置２１１は、オーディオストリームに対して、３Ｄオーディオの種類ごとにトラックを割り当てる。ファイル生成装置２１１は、トラックごとに、オーディオストリームを配置した音声ファイルを生成し、Webサーバ２１２にアップロードする。
【０３６０】
ファイル生成装置２１１は、画枠サイズ情報、タイル位置情報、オブジェクト位置情報等を含むMPDファイルを生成する。ファイル生成装置２１１は、MPDファイルをWebサーバ２１２にアップロードする。
【０３６１】
Webサーバ２１２は、ファイル生成装置２１１からアップロードされた画像ファイル、３Ｄオーディオの種類ごとの音声ファイル、およびMPDファイルを格納する。
【０３６２】
図５９の例では、Webサーバ２１２には、タイル＃１の複数のセグメントの画像ファイルからなるセグメント群と、タイル＃２の複数のセグメントの画像ファイルからなるセグメント群とが格納されている。また、Webサーバ２１２には、Channel audioの音声ファイルからなるセグメント群と、オブジェクト＃１の音声ファイルからなるセグメント群とが格納されている。
【０３６３】
Webサーバ２１２は、動画再生端末２１４からの要求に応じて、格納している画像ファイル、３Ｄオーディオの所定の種類の音声ファイル、MPDファイル等を動画再生端末２１４に送信する。
【０３６４】
動画再生端末２１４は、制御用ソフトウエア２２１、動画再生ソフトウエア２２２、アクセス用ソフトウエア２２３などを実行する。
【０３６５】
制御用ソフトウエア２２１は、Webサーバ２１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２２１は、動画再生端末２１４にWebサーバ２１２からMPDファイルを取得させる。
【０３６６】
また、制御用ソフトウエア２２１は、動画再生ソフトウエア２２２から指示される表示領域と、MPDファイルに含まれるタイル位置情報とに基づいて、表示領域内のタイルを特定する。そして、制御用ソフトウエア２２１は、そのタイルの画像ファイルの送信要求をアクセス用ソフトウエア２２３に指令する。
【０３６７】
制御用ソフトウエア２２１は、Object audioを再生対象とする場合、Base trackの音声ファイルの送信要求をアクセス用ソフトウエア２２３に指令する。また、制御用ソフトウエア２２１は、Object metadata trackの音声ファイルの送信要求をアクセス用ソフトウエア２２３に指令する。制御用ソフトウエア２２１は、その指令に応じてWebサーバ１４２から送信されてくるBase trackの音声ファイル内の画枠サイズ情報とmetadataの音声ファイルに含まれるオブジェクト位置情報を取得する。制御用ソフトウエア２２１は、画枠サイズ情報、オブジェクト位置情報、および表示領域に基づいて、表示領域内の画像に対応するオブジェクトを特定する。そして、制御用ソフトウエア２２１は、そのオブジェクトの音声ファイルの送信要求をアクセス用ソフトウエア２２３に指令する。
【０３６８】
また、制御用ソフトウエア２２１は、Channel audioまたはHOA audioを再生対象とする場合、Channel audioまたはHOA audioの音声ファイルの送信要求をアクセス用ソフトウエア２２３に指令する。
【０３６９】
動画再生ソフトウエア２２２は、Webサーバ２１２から取得された画像ファイルと音声ファイルを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２２は、ユーザにより表示領域が指定されると、その表示領域を制御用ソフトウエア２２１に指示する。また、動画再生ソフトウエア２２２は、その指示に応じてWebサーバ２１２から取得された画像ファイルと音声ファイルを復号する。動画再生ソフトウエア２２２は、復号の結果得られるタイル単位の画像データを合成して出力する。また、動画再生ソフトウエア２２２は、復号の結果得られるObject audio、Channel audio、またはHOA audioを必要に応じて合成し、出力する。
【０３７０】
アクセス用ソフトウエア２２３は、HTTPを用いたインターネット１３を介したWebサーバ２１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２２３は、制御用ソフトウエア２２１の指令に応じて、画像ファイルや所定の音声ファイルの送信要求を、動画再生端末２１４に送信させる。また、アクセス用ソフトウエア２２３は、その送信要求に応じて、Webサーバ２１２から送信されてくる画像ファイルや所定の音声ファイルを動画再生端末２１４に受信させる。
【０３７１】
（ファイル生成装置の構成例）
図６０は、図５９のファイル生成装置２１１の構成例を示すブロック図である。
【０３７２】
図６０に示す構成のうち、図４５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３７３】
図６０のファイル生成装置２１１の構成は、音声ファイル生成部１７２、MPD生成部１７３、サーバアップロード処理部１７４の代わりに、音声ファイル生成部２４１、MPD生成部２４２、サーバアップロード処理部２４３が設けられる点が、図４５のファイル生成装置１４１の構成と異なる。
【０３７４】
具体的には、ファイル生成装置２１１の音声ファイル生成部２４１は、音声符号化処理部１７１から供給されるオーディオストリームに対して、３Ｄオーディオの種類ごとにトラックを割り当てる。音声ファイル生成部２４１は、トラックごとに、オーディオストリームを配置した音声ファイルを生成する。このとき、音声ファイル生成部２４１は、外部から入力される画枠サイズ情報を、Base trackの音声ファイルのサンプルエントリに格納する。音声ファイル生成部２４１は、３Ｄオーディオの種類ごとの音声ファイルをMPD生成部２４２に供給する。
【０３７５】
MPD生成部２４２は、画像ファイル生成部５３から供給される各タイルの画像ファイルを格納するWebサーバ２１２のURL等を決定する。また、MPD生成部２４２は、３Ｄオーディオの種類ごとに、音声ファイル生成部２４１から供給される音声ファイルを格納するWebサーバ２１２のURL等を決定する。
【０３７６】
MPD生成部２４２は、画像情報生成部５４から供給される画像情報をMPDファイルの画像用の「AdaptationSet」に配置する。また、MPD生成部２４２は、各タイルの画像ファイルのURL等を、そのタイルの画像ファイル用の「Representation」の「Segment」に配置する。
【０３７７】
MPD生成部２４２は、３Ｄオーディオの種類ごとに、音声ファイルのURL等を、その音声ファイル用の「Representation」の「Segment」に配置する。また、MPD生成部２４２は、外部から入力される各オブジェクトのオブジェクト位置情報等を、そのオブジェクトのObject metadata track用の「Representation」に配置する。MPD生成部２４２は、以上のようにして各種の情報が配置されたMPDファイル、並びに、画像ファイルおよび３Ｄオーディオの種類ごとの音声ファイルを、サーバアップロード処理部２４３に供給する。
【０３７８】
サーバアップロード処理部２４３は、MPD生成部２４２から供給される各タイルの画像ファイル、３Ｄオーディオの種類ごとの音声ファイル、およびMPDファイルを、Webサーバ２１２にアップロードする。
【０３７９】
（ファイル生成装置の処理の説明）
図６１は、図６０のファイル生成装置２１１のファイル生成処理を説明するフローチャートである。
【０３８０】
図６１のステップＳ３０１乃至Ｓ３０７の処理は、図４６のステップＳ１９１乃至Ｓ１９７の処理と同様であるので、説明は省略する。
【０３８１】
ステップＳ３０８において、音声ファイル生成部２４１は、トラックごとに、オーディオストリームが配置された音声ファイルを生成する。このとき、音声ファイル生成部２４１は、外部から入力される画枠サイズ情報をBase trackの音声ファイル内のサンプルエントリに格納する。音声ファイル生成部２４１は、生成された３Ｄオーディオの種類ごとの音声ファイルをMPD生成部２４２に供給する。
【０３８２】
ステップＳ３０９において、MPD生成部２４２は、画像情報生成部５４から供給される画像情報、各ファイルのURL、オブジェクト位置情報等を含むMPDファイルを生成する。MPD生成部２４２は、画像ファイル、３Ｄオーディオの種類ごとの音声ファイル、およびMPDファイルをサーバアップロード処理部２４３に供給する。
【０３８３】
ステップＳ３１０において、サーバアップロード処理部２４３は、MPD生成部２４２から供給される画像ファイル、３Ｄオーディオの種類ごとの音声ファイル、およびMPDファイルを、Webサーバ２１２にアップロードする。そして、処理は終了する。
【０３８４】
（動画再生端末の機能的構成例）
図６２は、図５９の動画再生端末２１４が制御用ソフトウエア２２１、動画再生ソフトウエア２２２、およびアクセス用ソフトウエア２２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
【０３８５】
図６２に示す構成のうち、図１３や図４７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３８６】
図６２のストリーミング再生部２６０の構成は、MPD処理部９２、メタファイル取得部９３、音声選択部９４、音声ファイル取得部９５、音声復号処理部９６、音声合成処理部９７の代わりに、MPD処理部２６１、メタファイル取得部２６２、音声選択部２６３、音声ファイル取得部２６４、音声復号処理部１９４、音声合成処理部１９５が設けられる点が、図１３のストリーミング再生部９０の構成と異なる。
【０３８７】
具体的には、ストリーミング再生部２６０のMPD処理部２６１は、Object audioを再生対象とする場合、MPD取得部９１から供給されるMPDファイルから、再生対象のセグメントのobject metadata trackの音声ファイルの「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部２６２に供給する。また、MPD処理部２６１は、MPDファイルから、音声選択部２６３から要求されるオブジェクトのobject audio trackの音声ファイルの「Segment」に記述されるURL等の情報を抽出し、音声選択部２６３に供給する。さらに、MPD処理部２６１は、MPDファイルから、再生対象のセグメントのBase trackの音声ファイルの「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部２６２に供給する。
【０３８８】
また、MPD処理部２６１は、Channel audioまたはHOA audioを再生対象とする場合、MPDファイルから、再生対象のセグメントのChannel audio trackまたはHOA audio trackの音声ファイルの「Segment」に記述されるURL等の情報を抽出する。MPD処理部２６１は、そのURL等の情報を、音声選択部２６３を介して音声ファイル取得部２６４に供給する。
【０３８９】
なお、Object audio,Channel audio、およびHOA audioのいずれを再生対象とするかは、例えば、ユーザからの指令により決定される。
【０３９０】
MPD処理部２６１は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部２６１は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
【０３９１】
メタファイル取得部２６２は、MPD処理部２６１から供給されるURL等の情報に基づいて、そのURLで特定されるobject metadata trackの音声ファイルをWebサーバ２１２に要求し、取得する。メタファイル取得部９３は、object metadata trackの音声ファイルに含まれるオブジェクト位置情報を音声選択部２６３に供給する。
【０３９２】
また、メタファイル取得部２６２は、音声ファイルのURL等の情報に基づいて、そのURLで特定されるBase trackの音声ファイルのInitial SegmentをWebサーバ１４２に要求し、取得する。メタファイル取得部２６２は、Initial Segmentのサンプルエントリに含まれる画枠サイズ情報を音声選択部２６３に供給する。
【０３９３】
音声選択部２６３は、メタファイル取得部２６２から供給される画枠サイズ情報とオブジェクト位置情報とに基づいて、各オブジェクトの画像上の位置を算出する。音声選択部２６３は、各オブジェクトの画像上の位置に基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部２６３は、選択されたオブジェクトのobject audio trackの音声ファイルのURL等の情報をMPD処理部２６１に要求する。音声選択部２６３は、その要求に応じてMPD処理部２６１から供給されるURL等の情報を音声ファイル取得部２６４に供給する。
【０３９４】
音声ファイル取得部２６４は、音声選択部２６３から供給される、object audio track,Channel audio track、またはHOA audio trackの音声ファイルのURL等の情報に基づいて、そのURLで特定される音声ファイルのオーディオストリームをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部１９４に供給する。
【０３９５】
（動画再生端末の処理の説明）
図６３は、図６２のストリーミング再生部２６０のチャンネルオーディオ再生処理を説明するフローチャートである。このチャンネルオーディオ再生処理は、例えば、ユーザによりChannel audioが再生対象として選択される場合に行われる。
【０３９６】
図６３のステップＳ３３１において、MPD処理部２６１は、MPD取得部９１から供給されるMPDファイルを解析し、「Representation」に記述されるessential property とcodecに基づいて、再生対象のセグメントのChannel audioの「Representation」を特定する。また、MPD処理部２６１は、その「Representation」に含まれる「Segment」に記述される再生対象のセグメントのChannel audio trackの音声ファイルのURL等の情報を抽出し、音声選択部２６３を介して音声ファイル取得部２６４に供給する。
【０３９７】
ステップＳ３３２において、MPD処理部２６１は、ステップＳ３３１で特定された「Representation」のassociationIdに基づいて、参照トラックであるBase trackの「Representation」を特定する。MPD処理部２６１は、その「Representation」に含まれる「Segment」に記述される参照トラックの音声ファイルのURL等の情報を抽出し、音声選択部２６３を介して音声ファイル取得部２６４に供給する。
【０３９８】
ステップＳ３３３において、音声ファイル取得部２６４は、音声選択部２６３から供給されるURL等の情報に基づいて、再生対象のセグメントのChannel audio trackおよび参照トラックの音声ファイルのInitial SegmentをWebサーバ２１２に要求し、取得する。
【０３９９】
ステップＳ３３４において、音声ファイル取得部２６４は、取得されたInitial Segmentのtrakボックス内のサンプルエントリを取得する。音声ファイル取得部２６４は、取得されたサンプルエントリに含まれるコーデック情報を音声復号処理部１９４に供給する。
【０４００】
ステップＳ３３５において、音声ファイル取得部２６４は、音声選択部２６３から供給されるURL等の情報に基づいて、Webサーバ１４２に要求し、再生対象のセグメントのChannel audio trackの音声ファイルの先頭からsidxボックスとssixボックスを取得する。
【０４０１】
ステップＳ３３６において、音声ファイル取得部２６４は、ステップＳ３３３で取得されたsidxボックスとssixボックスから、再生対象のサブセグメントの位置情報を取得する。
【０４０２】
ステップＳ３３７において、音声選択部２６３は、ステップＳ３３７で取得された位置情報と再生対象のセグメントのchannel audio trackの音声ファイルのURL等の情報に基づいて、その音声ファイル内のmdatボックスに配置されるchannel audio trackのオーディオストリームをWebサーバ１４２に要求し、取得する。音声選択部２６３は、取得されたchannel audio trackのオーディオストリームを音声復号処理部１９４に供給する。
【０４０３】
ステップＳ３３８において、音声復号処理部１９４は、音声ファイル取得部２６４から供給されるコーデック情報に基づいて、音声選択部２６３から供給されるchannel audio trackのオーディオストリームに対して復号を行う。音声選択部２６３は、その結果得られるchannel audioを音声合成処理部１９５に供給する。
【０４０４】
ステップＳ３３９において、音声合成処理部１９５は、channel audioを出力し、処理を終了する。
【０４０５】
なお、図示は省略するが、ストリーミング再生部２６０によるHOA audioを再生するHOAオーディオ再生処理は、図６３のチャンネルオーディオ再生処理と同様に行われる。
【０４０６】
図６４は、図６２のストリーミング再生部２６０のオブジェクトオーディオ再生処理のを説明するフローチャートである。このオブジェクトオーディオ再生処理は、例えば、ユーザによりObject audioが再生対象として選択されており、再生領域が変化したときに行われる。
【０４０７】
図６４のステップＳ３５１において、音声選択部２６３は、ユーザ操作などにより、ユーザにより指定された表示領域を取得する。
【０４０８】
ステップＳ３５２において、MPD処理部２６１は、MPD取得部９１から供給されるMPDファイルを解析し、「Representation」に記述されるessential property とcodecに基づいて、再生対象のセグメントのmetadataの「Representation」を特定する。また、MPD処理部２６１は、その「Representation」に含まれる「Segment」に記述される再生対象のセグメントのobject metadata trackの音声ファイルのURL等の情報を抽出し、メタファイル取得部２６２に供給する。
【０４０９】
ステップＳ３５３において、MPD処理部２６１は、ステップＳ３５２で特定された「Representation」のassociationIdに基づいて、参照トラックであるBase trackの「Representation」を特定する。MPD処理部２６１は、その「Representation」に含まれる「Segment」に記述される参照トラックの音声ファイルのURL等の情報を抽出し、メタファイル取得部２６２に供給する。
【０４１０】
ステップＳ３５４において、メタファイル取得部２６２は、MPD処理部２６１から供給されるURL等の情報に基づいて、再生対象のセグメントのobject metadata trackおよび参照トラックの音声ファイルのInitial SegmentをWebサーバ２１２に要求し、取得する。
【０４１１】
ステップＳ３５５において、メタファイル取得部２６２は、取得されたInitial Segmentのtrakボックス内のサンプルエントリを取得する。メタファイル取得部２６２は、参照トラックであるBase trackのサンプルエントリに含まれる画枠サイズ情報を音声ファイル取得部２６４に供給する。
【０４１２】
ステップＳ３５６において、メタファイル取得部２６２は、MPD処理部２６１から供給されるURL等の情報に基づいて、Webサーバ１４２に要求し、再生対象のセグメントのobject metadata trackの音声ファイルの先頭からsidxボックスとssixボックスを取得する。
【０４１３】
ステップＳ３５７において、メタファイル取得部２６２は、ステップＳ３５６で取得されたsidxボックスとssixボックスから、再生対象のサブセグメントの位置情報を取得する。
【０４１４】
ステップＳ３５８において、メタファイル取得部２６２は、ステップＳ３５７で取得された位置情報と再生対象のセグメントのobject metadata trackの音声ファイルのURL等の情報に基づいて、その音声ファイル内のmdatボックスに配置されるobject metadata trackのオーディオストリームをWebサーバ１４２に要求し、取得する。
【０４１５】
ステップＳ３５９において、メタファイル取得部２６２は、ステップＳ３５５で取得されたサンプルエントリに含まれるコーデック情報に基づいて、ステップＳ３５８で取得されたobject metadata trackのオーディオストリームを復号する。メタファイル取得部２６２は、復号の結果得られるmetadataに含まれるオブジェクト位置情報を音声選択部２６３に供給する。
【０４１６】
ステップＳ３６０において、音声選択部２６３は、メタファイル取得部２６２から供給される画枠サイズ情報およびオブジェクト位置情報、並びに、ユーザにより指定される表示領域に基づいて、表示領域内のオブジェクトを選択する。音声選択部２６３は、選択されたオブジェクトのobject audio trackの音声ファイルのURL等の情報をMPD処理部２６１に要求する。
【０４１７】
ステップＳ３６１において、MPD処理部２６１は、MPD取得部９１から供給されるMPDファイルを解析し、「Representation」に記述されるessential property とcodecに基づいて、選択されたオブジェクトのobject audioの「Representation」を特定する。また、MPD処理部２６１は、その「Representation」に含まれる「Segment」に記述される、再生対象のセグメントの選択されたオブジェクトのobject audio trackの音声ファイルのURL等の情報を抽出し、音声選択部２６３を介して音声ファイル取得部２６４に供給する。
【０４１８】
ステップＳ３６２において、MPD処理部２６１は、ステップＳ３６１で特定された「Representation」のassociationIdに基づいて、参照トラックであるBase trackの「Representation」を特定する。MPD処理部２６１は、その「Representation」に含まれる「Segment」に記述される参照トラックの音声ファイルのURL等の情報を抽出し、音声選択部２６３を介して音声ファイル取得部２６４に供給する。
【０４１９】
ステップＳ３６３において、音声ファイル取得部２６４は、音声選択部２６３から供給されるURL等の情報に基づいて、再生対象のセグメントのobject audio trackおよび参照トラックの音声ファイルのInitial SegmentをWebサーバ２１２に要求し、取得する。
【０４２０】
ステップＳ３６４において、音声ファイル取得部２６４は、取得されたInitial Segmentのtrakボックス内のサンプルエントリを取得する。音声ファイル取得部２６４は、そのサンプルエントリに含まれるコーデック情報を音声復号処理部１９４に供給する。
【０４２１】
ステップＳ３６５において、音声ファイル取得部２６４は、音声選択部２６３から供給されるURL等の情報に基づいて、Webサーバ１４２に要求し、再生対象のセグメントのobject audio trackの音声ファイルの先頭からsidxボックスとssixボックスを取得する。
【０４２２】
ステップＳ３６６において、音声ファイル取得部２６４は、ステップＳ３６５で取得されたsidxボックスとssixボックスから、再生対象のサブセグメントの位置情報を取得する。
【０４２３】
ステップＳ３６７において、音声ファイル取得部２６４は、ステップＳ３６６で取得された位置情報と再生対象のセグメントのobject audio trackの音声ファイルのURL等の情報に基づいて、その音声ファイル内のmdatボックスに配置されるobject audio trackのオーディオストリームをWebサーバ１４２に要求し、取得する。音声ファイル取得部２６４は、取得されたobject audio trackのオーディオストリームを音声復号処理部１９４に供給する。
【０４２４】
ステップＳ３６８およびＳ３６９の処理は、図５０のステップＳ２８７およびＳ２８８の処理と同様であるので、説明は省略する。
【０４２５】
なお、上述した説明では、音声選択部２６３は、表示領域内の全てのオブジェクトを選択したが、表示領域内のオブジェクトのうちの処理優先度が高いもののみを選択したり、所定の内容の音声のオブジェクトのみを選択するようにしてもよい。
【０４２６】
図６５は、音声選択部２６３が表示領域内のオブジェクトのうちの処理優先度が高いもののみを選択する場合のオブジェクトオーディオ再生処理を説明するフローチャートである。
【０４２７】
図６５のオブジェクトオーディオ再生処理は、図６４のステップＳ３６０の代わりに図６５のステップＳ３９０の処理が行われる点を除いて、図６４のオブジェクトオーディオ再生処理と同様である。即ち、図６５のステップＳ３８１乃至Ｓ３８９およびＳ３９１乃至Ｓ３９９の処理は、図６４のステップＳ３５１乃至Ｓ３５９およびＳ３６１乃至Ｓ３６９の処理と同様である。従って、以下では、ステップＳ３９０の処理についてのみ説明する。
【０４２８】
図６５のステップＳ３９０において、音声ファイル取得部２６４は、画枠サイズ情報、オブジェクト位置情報、表示領域、および、各オブジェクトのpriorityに基づいて、表示領域内の処理優先度が高いオブジェクトを選択する。具体的には、音声ファイル取得部２６４は、画枠サイズ情報、オブジェクト位置情報、および表示領域に基づいて、表示領域内のオブジェクトを特定する。そして、音声ファイル取得部２６４は、特性されたオブジェクトのうちの、priorityが所定値以上であるオブジェクトを選択する。なお、priorityは、例えば、MPD処理部２６１がMPDファイルを解析することにより、特定されたオブジェクトのobject audioの「Representation」から取得される。音声選択部２６３は、選択されたオブジェクトのobject audio trackの音声ファイルのURL等の情報をMPD処理部２６１に要求する。
【０４２９】
図６６は、音声選択部２６３が表示領域内のオブジェクトのうちの、処理優先度が高い所定の内容の音声のオブジェクトのみを選択する場合のオブジェクトオーディオ再生処理を説明するフローチャートである。
【０４３０】
図６６のオブジェクトオーディオ再生処理は、図６４のステップＳ３６０の代わりに図６６のステップＳ４２０の処理が行われる点を除いて、図６４のオブジェクトオーディオ再生処理と同様である。即ち、図６６のステップＳ３８１乃至Ｓ３８９およびＳ３９１乃至Ｓ３９９の処理は、図６４のステップＳ４１１乃至Ｓ４１９およびＳ４２１乃至Ｓ４２９の処理と同様である。従って、以下では、ステップＳ４２０の処理についてのみ説明する。
【０４３１】
図６６のステップＳ４２０において、音声ファイル取得部２６４は、画枠サイズ情報、オブジェクト位置情報、表示領域、並びに、各オブジェクトのpriorityおよびcontentkindに基づいて、表示領域内の処理優先度が高い所定の内容の音声のオブジェクトを選択する。具体的には、音声ファイル取得部２６４は、画枠サイズ情報、オブジェクト位置情報、および表示領域に基づいて、表示領域内のオブジェクトを特定する。そして、音声ファイル取得部２６４は、特性されたオブジェクトのうちの、priorityが所定値以上であり、かつ、contentkindが所定値であるオブジェクトを選択する。
【０４３２】
なお、priorityおよびcontentkindは、例えば、MPD処理部２６１がMPDファイルを解析することにより、特定されたオブジェクトのobject audioの「Representation」から取得される。音声選択部２６３は、選択されたオブジェクトのobject audio trackの音声ファイルのURL等の情報をMPD処理部２６１に要求する。
【０４３３】
図６７は、priority（プライオリティ）に基づいて選択されたオブジェクトの例を示す図である。
【０４３４】
図６７の例では、オブジェクト＃１(object1)乃至オブジェクト＃４(object4)が、表示領域内のオブジェクトであり、表示領域内のオブジェクトのうちのpriorityが２以下であるオブジェクトが選択される。なお、priorityは、数字が小さいほど、処理優先度が高いものとする。また、図６７において、丸付き数字は、対応するオブジェクトのpriorityの値を表している。
【０４３５】
図６７の例では、オブジェクト＃１乃至オブジェクト＃４のpriorityが、それぞれ、1,2,3,4である場合、オブジェクト＃１とオブジェクト＃２が選択される。また、オブジェクト＃１乃至オブジェクト＃４のpriorityが、それぞれ、3,2,1,4に変更されると、オブジェクト＃２とオブジェクト＃３が選択される。さらに、オブジェクト＃１乃至オブジェクト＃４のpriorityが、それぞれ、3,4,1,2に変更されると、オブジェクト＃３とオブジェクト＃４が選択される。
【０４３６】
以上のように、表示領域内のオブジェクトのうちの、処理優先度の高いオブジェクトのobject audioのオーディオストリームのみを選択的に取得することで、Webサーバ１４２（２１２）と動画再生端末１４４（２１４）間の帯域を効率的に利用できる。contentkindに基づいてオブジェクトを選択する場合も同様である。
【０４３７】
＜第５実施の形態＞
（トラックの概要）
図６８は、本開示を適用した第５実施の形態におけるトラックの概要を説明する図である。
【０４３８】
図６８に示すように、第５実施の形態では、各トラックが異なるファイル（3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta.mp4）として記録される点が、第２実施の形態と異なっている。
【０４３９】
第５実施の形態における情報処理システムおよび情報処理システムによる処理は、第４実施の形態と同様であるので、説明は省略する。
【０４４０】
＜第６実施の形態＞
（トラックの概要）
図６９は、本開示を適用した第６実施の形態におけるトラックの概要を説明する図である。
【０４４１】
図６９に示すように、第６実施の形態では、各トラックが異なるファイル（3da_basemeta.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4）として記録される点が、第３実施の形態と異なっている。
【０４４２】
第６実施の形態における情報処理システムおよび情報処理システムによる処理は、オブジェクト位置情報を取得するために、Object metadata trackの代わりにBase trackのオーディオストリームが取得される点を除いて、第４実施の形態と同様であるので、説明は省略する。
【０４４３】
なお、第１乃至第３実施の形態、第５実施の形態、および第６実施の形態においても、priorityやcontentkindに基づいて表示領域内のオブジェクトを選択することは可能である。
【０４４４】
また、第１乃至第６実施の形態において、ストリーミング再生部は、図２３のストリーミング再生部１２０のように、表示領域外のオブジェクトのオーディオストリームも取得し、そのオブジェクトのobject audioも合成して出力するようにしてもよい。
【０４４５】
さらに、第１乃至第６実施の形態では、metadataからオブジェクト位置情報を取得したが、MPDファイルからオブジェクト位置情報を取得するようにしてもよい。
【０４４６】
＜３Ｄオーディオの階層構造の説明＞
図７０は、３Ｄオーディオの階層構造を示す図である。
【０４４７】
図７０に示すように、３Ｄオーディオの音声データは、音声データごとに異なるオーディオエレメント（Element）とされる。オーディオエレメントのタイプとしては、SCE(Single Channel Element)とCPE(Channel Pair Element)がある。１チャンネル分の音声データのオーディオエレメントのタイプはSCEであり、２チャンネル分の音声データに対応するオーディオエレメントのタイプはCPEである。
【０４４８】
オーディオエレメントは、同一の音声の種類（Channel/Object/SAOC Objects/HOA）どうしでグループを形成する。グループタイプ（GroupType）としては、Channels,Objects,SAOC Objects,HOAなどがある。２以上のグループは、必要に応じて、switch Groupやgroup Presetを形成することができる。
【０４４９】
switch Groupは、排他的に再生されるグループを定義するものである。即ち、図７０に示すように、英語（ＥＮ）用のObject audioのグループと、フランス語（ＦＲ）用のObject audioのグループが存在する場合、いずれか一方のグループのみが再生されるべきである。従って、グループＩＤが２である英語用のObject audioのグループと、グループＩＤが３であるフランス語用のObject audioのグループとから、switch Groupが形成される。これにより、英語用のObject audioとフランス語用のObject audioが排他的に再生される。
【０４５０】
一方、group Presetは、コンテンツ製作者が意図するグループの組み合わせを定義するものである。
【０４５１】
また、３Ｄオーディオのメタデータは、メタデータごとに異なるExtエレメント（Ext Element）とされる。Extエレメントのタイプとしては、Object Metadata,SAOC 3D Metadata,HOA Metadata,DRC Metadata,SpatialFrame,SaocFrameなどがある。Object MetadataのExtエレメントは、全てのObject audioのメタデータであり、SAOC 3D MetadaのExtエレメントは、全てのSAOC audioのメタデータである。また、HOA MetadataのExtエレメントは、全てのHOA audioのメタデータであり、DRC(Dinamic Range Control) MetadataのExtエレメントは、Object audio, SAOC audio、およびHOA audioの全てのメタデータである。
【０４５２】
以上のように、３Ｄオーディオのうちの音声データの分割単位としては、オーディオエレメント、グループタイプ、グループ、switch Group、およびgroup Presetがある。従って、音声データは、第１乃至第６実施の形態のようにグループタイプ（但し、object audioについてはオブジェクトごと）ごとにトラックに分割されるのではなく、オーディオエレメント、グループ、switch Group、またはgroup Presetごとに分割されるようにしてもよい。
【０４５３】
また、３Ｄオーディオのうちのメタデータの分割単位としては、Extエレメントのタイプ（ExtElementType）、または、そのメタデータに対応するオーディオエレメントがある。従って、メタデータは、第１乃至第６実施の形態のようにExtエレメントのタイプごとに分割されるのではなく、そのメタデータに対応するオーディオエレメントごとに分割されるようにしてもよい。
【０４５４】
なお、以下の説明では、音声データがオーディオエレメントごとに分割されるとともに、メタデータがExtエレメントのタイプごとに分割され、それぞれが異なるトラックのデータとして配置されるものとするが、他の単位で分割される場合も同様である。
【０４５５】
＜Webサーバの処理の第１の例の説明＞
図７１は、Webサーバ１４２（２１２）の処理の第１の例を説明する図である。
【０４５６】
図７１の例では、ファイル生成装置１４１（２１１）からアップロードされる音声ファイルに対応する３Ｄオーディオが、５つのチャンネルのchannel audio、３つのオブジェクトのobject audio、および、そのobject audioのメタデータ（Object Metadata）からなる。
【０４５７】
そして、５つのチャンネルのchannel audioが、前方中央（FC）のチャンネルのchannel audio、前方左右（FL,FR）のチャンネルのchannel audio、および後方左右（RL,RR）のチャンネルのchannel audioに分割され、それぞれ異なるトラックのデータとして配置されている。また、各オブジェクトのobject audioが、それぞれ異なるトラックのデータとして配置されている。さらに、Object Metadataが、１つのトラックのデータとして配置されている。
【０４５８】
また、図７１に示すように、３Ｄオーディオの各オーディオストリームは、config情報とフレーム（サンプル）単位のデータからなる。そして、図７１の例では、音声ファイルのオーディオストリームは、５つのチャンネルのchannel audio、３つのオブジェクトのobject audio、およびObject Metadataのconfig情報がまとめて配置されるとともに、各フレームのデータがまとめて配置される。
【０４５９】
この場合、図７１に示すように、Webサーバ１４２（２１２）は、ファイル生成装置１４１（２１１）からアップロードされた音声ファイルのオーディオストリームを、トラックごとに分割し、７つのトラックのオーディオストリームを生成する。具体的には、Webサーバ１４２（２１２）は、ssix boxなどの情報にしたがって、音声ファイルのオーディオストリームから、各トラックのconfig情報と音声データを抽出し、各トラックのオーディオストリームを生成する。各トラックのオーディオストリームは、そのトラックのconfig情報と各フレームの音声データからなる。
【０４６０】
図７２は、Webサーバ１４２（２１２）のトラック分割処理を説明するフローチャートである。このトラック分割処理は、例えば、ファイル生成装置１４１（２１１）から音声ファイルがアップロードされたとき、開始される。
【０４６１】
図７２のステップＳ４４１において、Webサーバ１４２（２１２）は、ファイル生成装置１４１からアップロードされた音声ファイルを格納する。
【０４６２】
ステップＳ４４２において、Webサーバ１４２（２１２）は、音声ファイルのssix boxなどの情報にしたがって、音声ファイルを構成するオーディオストリームをトラックごとに分割する。
【０４６３】
ステップＳ４４３において、Webサーバ１４２（２１２）は、各トラックのオーディオストリームを保持し、処理を終了する。このオーディオストリームは、動画再生端末１４４（２１４）の音声ファイル取得部１９２（２６４）から要求されたとき、Webサーバ１４２（２１２）から動画再生端末１４４（２１４）に送信される。
【０４６４】
＜音声復号処理部の処理の第１の例の説明＞
図７３は、Webサーバ１４２（２１２）の処理が図７１および図７２で説明した処理である場合の音声復号処理部１９４の処理の第１の例を説明する図である。
【０４６５】
図７３の例では、Webサーバ１４２（２１２）は、図７１に示した各トラックのオーディオストリームを保持している。また、再生対象のトラックが、前方左右のチャンネルのchannel audio、後方左右のチャンネルのchannel audio、１つ目のオブジェクトのobject audio、およびObject Metadataのトラックである。これらのことは、後述する図７５においても同様である。
【０４６６】
この場合、音声ファイル取得部１９２（２６４）は、前方左右のチャンネルのchannel audio、後方左右のチャンネルのchannel audio、１つ目のオブジェクトのobject audio、およびObject Metadataのトラックのオーディオストリームを取得する。
【０４６７】
音声復号処理部１９４は、まず、音声ファイル取得部１９２（２６４）により取得されたObject Metadataのトラックのオーディオストリームから、１つ目のオブジェクトのobject audioのメタデータのオーディオストリームを抽出する。
【０４６８】
次に、図７３に示すように、音声復号処理部１９４は、再生対象の音声のトラックのオーディオストリームと抽出されたメタデータのオーディオストリームとを合成する。具体的には、音声復号処理部１９４は、全てのオーディオストリームに含まれているConfig情報がまとめて配置されるとともに、各フレームのデータがまとめて配置されたオーディオストリームを生成する。そして、音声復号処理部１９４は、生成されたオーディオストリームを復号する。
【０４６９】
以上のように、再生対象のオーディオストリームが、１つのchannel audioのトラックのオーディオストリームのみではない場合、２以上のトラックのオーディオストリームが再生対象となるため、復号前にオーディオストリームが合成される。
【０４７０】
一方、再生対象のオーディオストリームが、１つのchannel audioのトラックのオーディオストリームのみである場合、オーディオストリームを合成する必要はない。従って、音声復号処理部１９４は、音声ファイル取得部１９２（２６４）により取得されたオーディオストリームをそのまま復号する。
【０４７１】
図７４は、Webサーバ１４２（２１２）の処理が図７１および図７２で説明した処理である場合の音声復号処理部１９４の復号処理の第１の例の詳細を説明するフローチャートである。この復号処理は、再生対象のトラックが１つのchannel audioのトラックのみではない場合に行われる図４８のステップＳ２２９および図５０のＳ２８７の処理の少なくとも一方の処理である。
【０４７２】
図７４のステップＳ４６１において、音声復号処理部１９４は、生成するオーディオストリームに含まれるエレメントの数を表す全エレメント数に０を設定する。ステップＳ４６２において、音声復号処理部１９４は、生成するオーディオストリームに含まれるエレメントのタイプを表す全エレメント種別情報を初期化(クリア)する。
【０４７３】
ステップＳ４６３において、音声復号処理部１９４は、再生対象のトラックのうちのまだ処理対象のトラックとされていないトラックを、処理対象のトラックとする。ステップＳ４６４において、音声復号処理部１９４は、処理対象のトラックのオーディオストリーム等から、処理対象のトラックに含まれるエレメントの数とタイプを取得する。
【０４７４】
ステップＳ４６５において、音声復号処理部１９４は、取得されたエレメントの数を全エレメント数に加算する。ステップＳ４６６において、音声復号処理部１９４は、取得されたエレメントのタイプを、全エレメント種別情報に追加する。
【０４７５】
ステップＳ４６７において、音声復号処理部１９４は、再生対象の全てのトラックを処理対象のトラックとしたかどうかを判定する。ステップＳ４６７でまだ再生対象の全てのトラックを処理対象のトラックとしていないと判定された場合、処理はステップＳ４６３に戻り、再生対象の全てのトラックを処理対象のトラックとするまで、ステップＳ４６３乃至Ｓ４６７の処理が繰り返される。
【０４７６】
一方、ステップＳ４６７で再生対象の全てのトラックを処理対象のトラックとしたと判定された場合、処理はステップＳ４６８に進む。ステップＳ４６８において、音声復号処理部１９４は、全エレメント数と全エレメント種別情報を、生成するオーディオストリーム上の所定の位置に配置する。
【０４７７】
ステップＳ４６９において、音声復号処理部１９４は、再生対象のトラックのうちのまだ処理対象のトラックとされていないトラックを、処理対象のトラックとする。ステップＳ４７０において、音声復号処理部１９４は、処理対象のトラックに含まれるエレメントのうちのまだ処理対象のエレメントとされていないエレメントを、処理対象のエレメントとする。
【０４７８】
ステップＳ４７１において、音声復号処理部１９４は、処理対象のトラックのオーディオストリームから処理対象のエレメントのConfig情報を取得し、生成するオーディオストリーム上に配置する。このとき、再生対象の全てのトラックの全てのエレメントのConfig情報は連続するように配置される。
【０４７９】
ステップＳ４７２において、音声復号処理部１９４は、処理対象のトラックに含まれる全てのエレメントを処理対象のエレメントとしたかどうかを判定する。ステップＳ４７２でまだ全てのエレメントを処理対象のエレメントとしていないと判定された場合、処理はステップＳ４７０に戻り、全てのエレメントを処理対象のエレメントとするまで、ステップＳ４７０乃至Ｓ４７２の処理が繰り返される。
【０４８０】
一方、ステップＳ４７２で全てのエレメントを処理対象のエレメントとしたと判定された場合、処理はステップＳ４７３に進む。ステップＳ４７３において、音声復号処理部１９４は、再生対象の全てのトラックを処理対象のトラックとしたかどうかを判定する。ステップＳ４７３でまだ再生対象の全てのトラックを処理対象のトラックとしていないと判定された場合、処理はステップＳ４６９に戻り、再生対象の全てのトラックを処理対象のトラックとするまで、ステップＳ４６９乃至Ｓ４７３の処理が繰り返される。
【０４８１】
一方、ステップＳ４７３で再生対象の全てのトラックを処理対象のトラックとしたと判定された場合、処理はステップＳ４７４に進む。ステップＳ４７４において、音声復号処理部１９４は、処理対象のフレームを決定する。最初のステップＳ４７４の処理では、先頭のフレームが処理対象のフレームに決定され、２回目以降のステップＳ４７４の処理では、現在の処理対象のフレームの次のフレームが、新たな処理対象のフレームに決定される。
【０４８２】
ステップＳ４７５において、音声復号処理部１９４は、再生対象のトラックのうちのまだ処理対象のトラックとされていないトラックを、処理対象のトラックとする。ステップＳ４７６において、音声復号処理部１９４は、処理対象のトラックに含まれるエレメントのうちのまだ処理対象のエレメントとされていないエレメントを、処理対象のエレメントとする。
【０４８３】
ステップＳ４７７において、音声復号処理部１９４は、処理対象のエレメントがEXTエレメントであるかどうかを判定する。ステップＳ４７７で処理対象のエレメントがEXTエレメントではないと判定された場合、処理はステップＳ４７８に進む。
【０４８４】
ステップＳ４７８において、音声復号処理部１９４は、処理対象のトラックのオーディオストリームから、処理対象のエレメントの処理対象のフレームの音声データを取得し、生成するオーディオストリーム上に配置する。このとき、再生対象の全てのトラックの全てのエレメントの同一のフレームのデータは連続するように配置される。ステップＳ４７８の処理後、処理はステップＳ４８１に進む。
【０４８５】
一方、ステップＳ４７７で処理対象のエレメントがEXTエレメントであると判定された場合、処理はステップＳ４７９に進む。ステップＳ４７９において、音声復号処理部１９４は、処理対象のトラックのオーディオストリームから、処理対象のエレメントの処理対象のフレームの全てのオブジェクトのメタデータを取得する。
【０４８６】
ステップＳ４８０において、音声復号処理部１９４は、取得された全てのオブジェクトのメタデータのうちの再生対象のオブジェクトのメタデータを、生成するオーディオストリーム上に配置する。このとき、再生対象の全てのトラックの全てのエレメントの同一のフレームのデータは連続するように配置される。ステップＳ４８０の処理後、処理はステップＳ４８１に進む。
【０４８７】
ステップＳ４８１において、音声復号処理部１９４は、処理対象のトラックに含まれる全てのエレメントを処理対象のエレメントとしたかどうかを判定する。ステップＳ４８１でまだ全てのエレメントを処理対象のエレメントとしていないと判定された場合、処理はステップＳ４７６に戻り、全てのエレメントを処理対象のエレメントとするまで、ステップＳ４７６乃至Ｓ４８１の処理が繰り返される。
【０４８８】
一方、ステップＳ４８１で全てのエレメントを処理対象のエレメントとしたと判定された場合、処理はステップＳ４８２に進む。ステップＳ４８２において、音声復号処理部１９４は、再生対象の全てのトラックを処理対象のトラックとしたかどうかを判定する。ステップＳ４８２でまだ再生対象の全てのトラックを処理対象のトラックとしていないと判定された場合、処理はステップＳ４７５に戻り、再生対象の全てのトラックを処理対象のトラックとするまで、ステップＳ４７５乃至Ｓ４８２の処理が繰り返される。
【０４８９】
一方、ステップＳ４８２で再生対象の全てのトラックを処理対象のトラックとしたと判定された場合、処理はステップＳ４８３に進む。
【０４９０】
ステップＳ４８３において、音声復号処理部１９４は、全てのフレームを処理対象のフレームとしたかどうかを判定する。ステップＳ４８３でまだ全てのフレームを処理対象のフレームとしていないと判定された場合、処理はステップＳ４７４に戻り、全てのフレームを処理対象のフレームとするまで、ステップＳ４７４乃至Ｓ４８３の処理が繰り返される。
【０４９１】
一方、ステップＳ４８３で全てのフレームを処理対象のフレームとしたと判定された場合、処理はステップＳ４８４に進む。ステップＳ４８４において、音声復号処理部１９４は、生成されたオーディオストリームを復号する。即ち、音声復号処理部１９４は、全エレメント数、全エレメント種別情報、Config情報、および、音声データや再生対象のオブジェクトのメタデータが配置されたオーディオストリームを復号する。音声復号処理部１９４は、復号の結果得られる音声データ（Object audio,Channel audio,HOA audio）を音声合成処理部１９５に供給し、処理を終了する。
【０４９２】
＜音声復号処理部の処理の第２の例の説明＞
図７５は、Webサーバ１４２（２１２）の処理が図７１および図７２で説明した処理である場合の音声復号処理部１９４の処理の第２の例を説明する図である。
【０４９３】
図７５に示すように、音声復号処理部１９４の処理の第２の例は、生成するオーディオストリーム上に、全てのトラックのオーディオストリームを配置し、再生対象ではないトラックのオーディオストリームとしては復号結果がゼロになるストリームまたはフラグ（以下、ゼロストリームという）を配置する点が、第１の例と異なる。
【０４９４】
具体的には、音声ファイル取得部１９２（２６４）は、Webサーバ１４２（２１２）に保持されている全てのトラックのオーディオストリームに含まれるConfig情報と、再生対象のトラックのオーディオストリームに含まれる各フレームのデータを取得する。
【０４９５】
音声復号処理部１９４は、図７５に示すように、全てのトラックのConfig情報を、生成するオーディオストリーム上にまとめて配置する。また、音声復号処理部１９４は、再生対象のトラックの各フレームのデータと、再生対象ではないトラックの各フレームのデータとしてのゼロストリームとを、生成するオーディオストリーム上にまとめて配置する。
【０４９６】
以上のように、音声復号処理部１９４は、生成するオーディオストリームに、再生対象ではないトラックのオーディオストリームとしてゼロストリームを配置するので、再生対象ではないオブジェクトのオーディオストリームも存在する。従って、生成するオーディオストリーム内に再生対象ではないオブジェクトのメタデータを含ませることが可能になる。よって、音声復号処理部１９４は、Object Metadataのトラックのオーディオストリームから、再生対象のオブジェクトのメタデータのオーディオストリームを抽出する必要がなくなる。
【０４９７】
なお、再生対象ではないトラックのConfig情報としては、ゼロストリームが配置されるようにしてもよい。
【０４９８】
図７６は、Webサーバ１４２（２１２）の処理が図７１および図７２で説明した処理である場合の音声復号処理部１９４の復号処理の第２の例の詳細を説明するフローチャートである。この復号処理は、再生対象のトラックが１つのchannel audioのトラックのみではない場合に行われる図４８のステップＳ２２９および図５０のＳ２８７の処理の少なくとも一方の処理である。
【０４９９】
図７６のステップＳ５０１およびＳ５０２の処理は、図７４のステップＳ４６１およびＳ４６２の処理と同様であるので、説明は省略する。
【０５００】
ステップＳ５０３において、音声復号処理部１９４は、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応するトラックのうちの、まだ処理対象のトラックとされていないトラックを、処理対象のトラックとする。
【０５０１】
ステップＳ５０４乃至ステップＳ５０６の処理は、ステップＳ４６４乃至Ｓ４６６の処理と同様であるので、説明は省略する。
【０５０２】
ステップＳ５０７において、音声復号処理部１９４は、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応する全てのトラックを、処理対象のトラックとしたかどうかを判定する。ステップＳ５０７でまだ全てのトラックを処理対象のトラックとしていないと判定された場合、処理はステップＳ５０３に戻り、全てのトラックを処理対象のトラックとするまで、ステップＳ５０３乃至Ｓ５０７の処理が繰り返される。
【０５０３】
一方、ステップＳ５０７で全てのトラックを処理対象のトラックとしたと判定された場合、処理はステップＳ５０８に進む。ステップＳ５０８において、音声復号処理部１９４は、全エレメント数と全エレメント種別情報を、生成するオーディオストリーム上の所定の位置に配置する。
【０５０４】
ステップＳ５０９において、音声復号処理部１９４は、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応するトラックのうちの、まだ処理対象のトラックとされていないトラックを、処理対象のトラックとする。ステップＳ５１０において、音声復号処理部１９４は、処理対象のトラックに含まれるエレメントのうちのまだ処理対象のエレメントとされていないエレメントを、処理対象のエレメントとする。
【０５０５】
ステップＳ５１１において、音声復号処理部１９４は、処理対象のトラックのオーディオストリームから処理対象のエレメントのConfig情報を取得し、生成するオーディオストリーム上に配置する。このとき、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応する全てのトラックの全てのエレメントのConfig情報は連続するように配置される。
【０５０６】
ステップＳ５１２において、音声復号処理部１９４は、処理対象のトラックに含まれる全てのエレメントを処理対象のエレメントとしたかどうかを判定する。ステップＳ５１２でまだ全てのエレメントを処理対象のエレメントとしていないと判定された場合、処理はステップＳ５１０に戻り、全てのエレメントを処理対象のエレメントとするまで、ステップＳ５１０乃至Ｓ５１２の処理が繰り返される。
【０５０７】
一方、ステップＳ５１２で全てのエレメントを処理対象のエレメントとしたと判定された場合、処理はステップＳ５１３に進む。ステップＳ５１３において、音声復号処理部１９４は、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応する全てのトラックを処理対象のトラックとしたかどうかを判定する。ステップＳ５１３でまだ全てのトラックを処理対象のトラックとしていないと判定された場合、処理はステップＳ５０９に戻り、全てのトラックを処理対象のトラックとするまで、ステップＳ５０９乃至Ｓ５１３の処理が繰り返される。
【０５０８】
一方、ステップＳ５１３で全てのトラックを処理対象のトラックとしたと判定された場合、処理はステップＳ５１４に進む。ステップＳ５１４において、音声復号処理部１９４は、処理対象のフレームを決定する。最初のステップＳ５１４の処理では、先頭のフレームが処理対象のフレームに決定され、２回目以降のステップＳ５１４の処理では、現在の処理対象のフレームの次のフレームが、新たな処理対象のフレームに決定される。
【０５０９】
ステップＳ５１５において、音声復号処理部１９４は、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応するトラックのうちの、まだ処理対象のトラックとされていないトラックを、処理対象のトラックとする。
【０５１０】
ステップＳ５１６において、音声復号処理部１９４は、処理対象のトラックが再生対象のトラックであるかどうかを判定する。ステップＳ５１６で処理対象のトラックが再生対象のトラックであると判定された場合、ステップＳ５１７に進む。
【０５１１】
ステップＳ５１７において、音声復号処理部１９４は、処理対象のトラックに含まれるエレメントのうちのまだ処理対象のエレメントとされていないエレメントを、処理対象のエレメントとする。
【０５１２】
ステップＳ５１８において、音声復号処理部１９４は、処理対象のトラックのオーディオストリームから、処理対象のエレメントの処理対象のフレームの音声データを取得し、生成するオーディオストリーム上に配置する。このとき、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応する全てのトラックの全てのエレメントの同一のフレームのデータは連続するように配置される。
【０５１３】
ステップＳ５１９において、音声復号処理部１９４は、処理対象のトラックに含まれる全てのエレメントを処理対象のエレメントとしたかどうかを判定する。ステップＳ５１９でまだ全てのエレメントを処理対象のエレメントとしていないと判定された場合、処理はステップＳ５１７に戻り、全てのエレメントを処理対象のエレメントとするまで、ステップＳ５１７乃至Ｓ５１９の処理が繰り返される。
【０５１４】
一方、ステップＳ５１９で全てのエレメントを処理対象のエレメントとしたと判定された場合、処理はステップＳ５２３に進む。
【０５１５】
また、ステップＳ５１６で処理対象のトラックが再生対象のトラックではないと判定された場合、処理はステップＳ５２０に進む。ステップＳ５２０において、音声復号処理部１９４は、処理対象のトラックに含まれるエレメントのうちのまだ処理対象のエレメントとされていないエレメントを、処理対象のエレメントとする。
【０５１６】
ステップＳ５２１において、音声復号処理部１９４は、生成するオーディオストリーム上に、処理対象のエレメントの処理対象のフレームのデータとしてゼロストリームを、配置する。このとき、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応する全てのトラックの全てのエレメントの同一のフレームのデータは連続するように配置される。
【０５１７】
ステップＳ５２２において、音声復号処理部１９４は、処理対象のトラックに含まれる全てのエレメントを処理対象のエレメントとしたかどうかを判定する。ステップＳ５２２でまだ全てのエレメントを処理対象のエレメントとしていないと判定された場合、処理はステップＳ５２０に戻り、全てのエレメントを処理対象のエレメントとするまで、ステップＳ５２０乃至Ｓ５２２の処理が繰り返される。
【０５１８】
一方、ステップＳ５２２で全てのエレメントを処理対象のエレメントとしたと判定された場合、処理はステップＳ５２３に進む。
【０５１９】
ステップＳ５２３において、音声復号処理部１９４は、Webサーバ１４２（２１２）に保持されているオーディオストリームに対応する全てのトラックを処理対象のトラックとしたかどうかを判定する。ステップＳ５２２でまだ全てのトラックを処理対象のトラックとしていないと判定された場合、処理はステップＳ５１５に戻り、再生対象の全てのトラックを処理対象のトラックとするまで、ステップＳ５１５乃至Ｓ５２３の処理が繰り返される。
【０５２０】
一方、ステップＳ５２３で全てのトラックを処理対象のトラックとしたと判定された場合、処理はステップＳ５２４に進む。
【０５２１】
ステップＳ５２４において、音声復号処理部１９４は、全てのフレームを処理対象のフレームとしたかどうかを判定する。ステップＳ５２４でまだ全てのフレームを処理対象のフレームとしていないと判定された場合、処理はステップＳ５１４に戻り、全てのフレームを処理対象のフレームとするまで、ステップＳ５１４乃至Ｓ５２４の処理が繰り返される。
【０５２２】
一方、ステップＳ５２４で全てのフレームを処理対象のフレームとしたと判定された場合、処理はステップＳ５２５に進む。ステップＳ５２５において、音声復号処理部１９４は、生成されたオーディオストリームを復号する。即ち、音声復号処理部１９４は、全エレメント数、全エレメント種別情報、並びにWebサーバ１４２（２１２）に保持されているオーディオストリームに対応する全てのトラックのConfig情報およびデータが配置されたオーディオストリームを復号する。音声復号処理部１９４は、復号の結果得られる音声データ（Object audio,Channel audio,HOA audio）を音声合成処理部１９５に供給し、処理を終了する。
【０５２３】
＜Webサーバの処理の第２の例の説明＞
図７７は、Webサーバ１４２（２１２）の処理の第２の例を説明する図である。
【０５２４】
図７７のWebサーバ１４２（２１２）の処理の第２の例は、各オブジェクトのObject Metadataが、それぞれ異なるトラックのデータとして音声ファイルに配置される点を除いて、図７１の第１の例と同一である。
【０５２５】
従って、図７７に示すように、Webサーバ１４２（２１２）は、ファイル生成装置１４１（２１１）からアップロードされた音声ファイルのオーディオストリームを、トラックごとに分割し、９つのトラックのオーディオストリームを生成する。
【０５２６】
この場合のWebサーバ１４２（２１２）のトラック分割処理は、図７２のトラック分割処理と同様であるので、説明は省略する。
【０５２７】
＜音声復号処理部の処理の第３の例の説明＞
図７８は、Webサーバ１４２（２１２）の処理が図７７で説明した処理である場合の音声復号処理部１９４の処理を説明する図である。
【０５２８】
図７８の例では、Webサーバ１４２（２１２）は、図７７に示した各トラックのオーディオストリームを保持している。また、再生対象のトラックが、前方左右のチャンネルのchannel audio、後方左右のチャンネルのchannel audio、１つ目のオブジェクトのobject audio、および１つ目のオブジェクトのObject Metadataのトラックである。
【０５２９】
この場合、音声ファイル取得部１９２（２６４）は、前方左右のチャンネルのchannel audio、後方左右のチャンネルのchannel audio、１つ目のオブジェクトのobject audio、および１つ目のオブジェクトのObject Metadataのトラックのオーディオストリームを取得する。音声復号処理部１９４は、取得された再生対象のトラックのオーディオストリームを合成し、生成されたオーディオストリームを復号する。
【０５３０】
以上のように、Object Metadataが、オブジェクトごとに異なるトラックのデータとして配置される場合、音声復号処理部１９４は、再生対象のオブジェクトのObject Metadataのオーディオストリームを抽出する必要がない。従って、音声復号処理部１９４は、復号するオーディオストリームを容易に生成することができる。
【０５３１】
図７９は、Webサーバ１４２（２１２）の処理が図７７で説明した処理である場合の音声復号処理部１９４の復号処理の詳細を説明するフローチャートである。この復号処理は、再生対象のトラックが１つのchannel audioのトラックのみではない場合に行われる図４８のステップＳ２２９および図５０のＳ２８７の処理の少なくとも一方の処理である。
【０５３２】
図７９の復号処理は、ステップＳ４７７，Ｓ４７９およびＳ４８０の処理が行われない点、および、ステップＳ４７８の処理で音声データだけでなくメタデータも配置される点を除いて、図７４の復号処理と同様である。即ち、図７９のステップＳ５４１乃至Ｓ５５６の処理は、図７４のステップＳ４６１乃至Ｓ４７６と同様であり、図７９のステップＳ５５７の処理では、ステップＳ４７８の処理と同様に、処理対象のエレメントの処理対象のフレームのデータが配置される。また、ステップＳ５５８乃至Ｓ５６１の処理は、図７４のステップＳ４８１乃至Ｓ４８４の処理と同様である。
【０５３３】
なお、上述した説明では、動画再生端末１４４（２１４）が復号するオーディオストリームを生成したが、Webサーバ１４２（２１２）が、再生対象のトラックの組み合わせとして想定される組み合わせのオーディオストリームを生成するようにしてもよい。この場合、動画再生端末１４４（２１４）は、再生対象のトラックの組み合わせのオーディオストリームをWebサーバ１４２（２１２）から取得し、復号するだけで、再生対象のトラックの音声を再生することができる。
【０５３４】
また、音声復号処理部１９４は、Webサーバ１４２（２１２）から取得された再生対象のトラックのオーディオストリームを、トラックごとに復号するようにしてもよい。この場合、音声復号処理部１９４は、復号の結果得られる音声データとメタデータを合成する必要がある。
【０５３５】
＜ベースサンプルのシンタクスの第２の例＞
（ベースサンプルに配置されるConfig情報のシンタクスの第２の例）
図８０は、ベースサンプルに配置されるConfig情報のシンタクスの第２の例を示す図である。
【０５３６】
図８０の例では、Config情報として、ベースサンプルに配置されるエレメントの数（numElements）が記述される。また、ベースサンプルに配置される各エレメントのタイプ(usacElementType)として、Extエレメントを表す「ID_USAC_EXT」が記述されるとともに、各エレメントのExtエレメント用のConfig情報（mpegh3daExtElementCongfig）が記述される。
【０５３７】
図８１は、図８０のExtエレメント用のConfig情報（mpegh3daExtElementCongfig）のシンタクスの例を示す図である。
【０５３８】
図８１に示すように、図８０のExtエレメント用のConfig情報（mpegh3daExtElementCongfig）としては、ExtエレメントのタイプとしてExtractorを表す「ID_EXT_ELE_EXTRACTOR」が記述される。また、Extractor用のConfig情報（ExtractorConfig）が記述される。
【０５３９】
図８２は、図８１のExtractor用のConfig情報（ExtractorConfig）のシンタクスの例を示す図である。
【０５４０】
図８２に示すように、図８１のExtractor用のConfig情報（ExtractorConfig）としては、そのExtractorが参照するエレメントのタイプ（種別）（usac Element Type Extractor）が記述される。また、エレメントのタイプ（usac Element Type Extractor）がExtエレメントを表す「ID_USAC_EXT」である場合、そのExtエレメントのタイプ(usacExtElementTypeExtractor)が記述される。さらに、参照するエレメント（サブサンプル）のConfig情報のサイズ（size）（configLength）と位置（configOffset）が記述される。
【０５４１】
（ベースサンプルに配置されるフレーム単位のデータのシンタクスの第２の例）
図８３は、ベースサンプルに配置されるフレーム単位のデータのシンタクスの第２の例を示す図である。
【０５４２】
図８３に示すように、ベースサンプルに配置されるフレーム単位のデータとしては、そのデータのエレメントであるExtエレメントのタイプとしてExtractorを表す「ID_EXT_ELE_EXTRACTOR」が記述される。また、Extractorのデータ（Extractor Metadata）が記述される。
【０５４３】
図８４は、図８３のExtractorのデータ（Extractor Metadata）のシンタクスの例を示す図である。
【０５４４】
図８４に示すように、図８３のExtractorのデータ（Extractor Metadata）としては、そのExtractorが参照するエレメントのデータのサイズ（elementLength）と位置（elementOffset）が記述される。
【０５４５】
＜ベースサンプルのシンタクスの第３の例＞
（ベースサンプルに配置されるConfig情報のシンタクスの第３の例）
図８５は、ベースサンプルに配置されるConfig情報のシンタクスの第３の例を示す図である。
【０５４６】
図８５の例では、Config情報として、ベースサンプルに配置されるエレメントの数（numElements）が記述される。また、Config情報を配置するサンプルがExtractorであるかどうかを示すExtractorフラグ（flag Extractor）として、Extractorであることを示す１が記述される。また、elementLengthPresentとして１が記述される。
【０５４７】
また、ベースサンプルに配置される各エレメントのタイプ(usacElementType)として、そのエレメントが参照するエレメントのタイプが記述される。エレメントのタイプ(usacElementType)がExtエレメントを表す「ID_USAC_EXT」である場合、Extエレメントのタイプ(usacExtElementType)が記述される。さらに、参照するエレメントのConfig情報のサイズ（size）（configLength）と位置（configOffset）が記述される。
【０５４８】
（ベースサンプルに配置されるフレーム単位のデータのシンタクスの第３の例）
図８６は、ベースサンプルに配置されるフレーム単位のデータのシンタクスの第３の例を示す図である。
【０５４９】
図８６に示すように、ベースサンプルに配置されるフレーム単位のデータとしては、そのデータが参照するエレメントのデータのサイズ（elementLength）と位置（elementOffset）が記述される。
【０５５０】
＜第７実施の形態＞
（オーディオストリームの構成例）
図８７は、本開示を適用した情報処理システムの第７実施の形態において音声ファイルに格納されるオーディオストリームの構成例を示す図である。
【０５５１】
図８７に示すように、第７実施の形態では、音声ファイルには、各グループタイプ（但し、object audioについてはオブジェクトごと）の３Ｄオーディオのサンプル単位の符号化データが、サブサンプルとして配置されるオーディオストリーム（3D audio stream）が格納される。
【０５５２】
また、音声ファイルには、各グループタイプの３Ｄオーディオのサンプル単位の符号化データのサイズ、位置、およびグループタイプを含むextractorを、サブサンプルとするヒントストリーム(3D audio hint stream)が格納される。extractorの構成は、上述した構成と同様であり、グループタイプがextractorの種別として記述される。
【０５５３】
（トラックの概要）
図８８は、第７実施の形態におけるトラックの概要を説明する図である。
【０５５４】
図８８に示すように、第７実施の形態では、オーディオストリームとヒントストリームに異なるトラックが割り当てられる。オーディオストリームのトラックのTrack Referenceとしては、対応するヒントストリームのトラックのトラックＩＤ「２」が記述される。また、ヒントストリームのトラックのTrack Referenceとしては、対応するオーディオストリームのトラックのトラックＩＤ「１」が記述される。
【０５５５】
オーディオストリームのトラックのサンプルエントリのシンタクスは、図３４に示したシンタクスであり、ヒントストリームのトラックのサンプルエントリのシンタクスは、図３５乃至図３８に示したシンタクスを含む。
【０５５６】
（ファイル生成装置の処理の説明）
図８９は、第７実施の形態におけるファイル生成装置のファイル生成処理を説明するフローチャートである。
【０５５７】
なお、第７実施の形態におけるファイル生成装置は、音声符号化処理部１７１と音声ファイル生成部１７２の処理が異なる点を除いて、図４５のファイル生成装置１４１と同一である。従って、以下では、第７実施の形態におけるファイル生成装置、音声符号化処理部、音声ファイル生成部を、ファイル生成装置３０１、音声符号化処理部３４１、音声ファイル生成部３４２という。
【０５５８】
図８９のステップＳ６０１乃至Ｓ６０５の処理は、図４６のステップＳ１９１乃至Ｓ１９５の処理と同様であるので、説明は省略する。
【０５５９】
ステップＳ６０６において、音声符号化処理部３４１は、外部から入力される動画コンテンツの３Ｄオーディオをグループタイプごとに符号化し、図８７のオーディオストリームを生成する。音声符号化処理部３４１は、生成されたオーディオストリームを音声ファイル生成部３４２に供給する。
【０５６０】
ステップＳ６０７において、音声ファイル生成部３４２は、音声符号化処理部３４１から供給されるオーディオストリームから、サブサンプル情報を取得する。サブサンプル情報とは、各グループタイプの３Ｄオーディオのサンプル単位の符号化データのサイズ、位置、およびグループタイプである。
【０５６１】
ステップＳ６０８において、音声ファイル生成部３４２は、サブサンプル情報に基づいて、図８７のヒントストリームを生成する。ステップＳ６０９において、音声ファイル生成部３４２は、オーディオストリームとヒントストリームを異なるトラックとして多重化し、音声ファイルを生成する。このとき、音声ファイル生成部３４２は、外部から入力される画枠サイズ情報をサンプルエントリに格納する。音声ファイル生成部３４２は、生成された音声ファイルをMPD生成部１７３に供給する。
【０５６２】
ステップＳ６１０およびＳ６１１の処理は、図４６のステップＳ１９９およびＳ２００の処理と同様であるので、説明は省略する。
【０５６３】
（動画再生端末の処理の説明）
図９０は、第７実施の形態における動画再生端末のストリーミング再生部のオーディオ再生処理を説明するフローチャートである。
【０５６４】
なお、第７実施の形態におけるストリーミング再生部は、MPD処理部１９１、音声ファイル取得部１９２、および音声復号処理部１９４の処理が異なる点、並びに、音声選択部１９３が設けられない点を除いて、図４７のストリーミング再生部１９０と同一である。従って、以下では、第７実施の形態におけるストリーミング再生部、MPD処理部、音声ファイル取得部、および音声復号処理部を、ストリーミング再生部３６０、MPD処理部３８１、音声ファイル取得部３８２、および音声復号処理部３８３という。
【０５６５】
図９０のステップＳ６２１において、ストリーミング再生部３６０のMPD処理部３８１は、MPD取得部９１から供給されるMPDファイルを解析し、再生対象のセグメントの音声ファイルのURL等の情報を取得して、音声ファイル取得部３８２に供給する。
【０５６６】
ステップＳ６２２において、音声ファイル取得部３８２は、MPD処理部３８１から供給されるURL等の情報に基づいて、再生対象のセグメントのInitial SegmentをWebサーバに要求し、取得する。
【０５６７】
ステップＳ６２３において、音声ファイル取得部３８２は、Initial Segment内のmoovボックスのヒントストリームのトラック（以下では、ヒントトラックという）のサンプルエントリから、参照トラックであるオーディオストリームのトラックのトラックＩＤを取得する。
【０５６８】
ステップＳ６２４において、音声ファイル取得部３８２は、MPD処理部３８１から供給されるURL等の情報に基づいて、再生対象のセグメントのmedia segmentの先頭からsidxボックスとssixボックスをWebサーバに要求し、取得する。
【０５６９】
ステップＳ６２５において、音声ファイル取得部３８２は、ステップＳ６２４で取得されたsidxボックスとssixボックスから、ヒントトラックの位置情報を取得する。
【０５７０】
ステップＳ６２６において、音声ファイル取得部３８２は、ステップＳ６２５で取得されたヒントトラックの位置情報に基づいて、ヒントストリームをWebサーバに要求し、取得する。そして、音声ファイル取得部３８２は、ヒントストリームから、再生対象の３Ｄオーディオのグループタイプのextractorを取得する。なお、再生対象の３Ｄオーディオがobject audioである場合、再生対象とするオブジェクトは、画枠サイズ情報とオブジェクト位置情報とに基づいて選択される。
【０５７１】
ステップＳ６２７において、音声ファイル取得部３８２は、ステップＳ６２４で取得されたsidxボックスとssixボックスから、参照トラックの位置情報を取得する。ステップＳ６２８において、音声ファイル取得部３８２は、ステップＳ６２７で取得された参照トラックの位置情報と、取得されたextractorに含まれるサブサンプル情報とに基づいて、再生対象の３Ｄオーディオのグループタイプのオーディオストリームの位置情報を決定する。
【０５７２】
ステップＳ６２９において、音声ファイル取得部３８２は、ステップＳ６２７で決定された位置情報に基づいて、再生対象の３ＤオーディオのグループタイプのオーディオストリームをWebサーバに要求し、取得する。音声ファイル取得部３８２は、取得されたオーディオストリームを音声復号処理部３８３に供給する。
【０５７３】
ステップＳ６３０において、音声復号処理部３８３は、音声ファイル取得部３８２から供給されるオーディオストリームを復号し、その結果得られる音声データを音声合成処理部１９５に供給する。
【０５７４】
ステップＳ６３１において、音声合成処理部１９５は、音声データを出力し、処理を終了する。
【０５７５】
なお、第７実施の形態では、オーディオストリームのトラックとヒントトラックが同一の音声ファイルに格納されるようにしたが、異なるファイルに格納されるようにしてもよい。
【０５７６】
＜第８実施の形態＞
（トラックの概要）
図９１は、本開示を適用した情報処理システムの第８実施の形態におけるトラックの概要を説明する図である。
【０５７７】
第８実施の形態の音声ファイルは、格納されるヒントストリームがグループタイプごとのストリームである点が、第７実施の形態の音声ファイルと異なる。即ち、第８実施の形態のヒントストリームは、グループタイプごとに生成され、各ヒントストリームには、各グループタイプの３Ｄオーディオのサンプル単位の符号化データのサイズ、位置、およびグループタイプを含むextractorが、サンプルとして配置される。なお、３Ｄオーディオに複数のオブジェクトのobject audioが含まれる場合、extractorは、オブジェクトごとにサブサンプルとして配置される。
【０５７８】
また、図９１に示すように、第８実施の形態では、オーディオストリームと各ヒントストリームに異なるトラックが割り当てられる。オーディオストリームのトラックは、図８８のオーディオストリームのトラックと同一であるため、説明は省略する。
【０５７９】
グループタイプ「Channels」、「Objects」、「HOA」、「metadata」のヒントトラックのTrack Referenceとしては、対応するオーディオストリームのトラックのトラックＩＤ「１」が記述される。
【０５８０】
グループタイプ「Channels」、「Objects」、「HOA」、および「metadata」のヒントトラックのサンプルエントリのシンタクスは、それぞれ、サンプルエントリの種別を表す情報を除いて、図３５乃至図３８に示したシンタクスと同一である。グループタイプ「Channels」、「Objects」、「HOA」、および「metadata」のヒントトラックのサンプルエントリの種別を表す情報は、図３５乃至図３８の情報の数字の１が２に代わったものであり、この２は、ヒントトラックのサンプルエントリであることを表す。
【０５８１】
（音声ファイルの構成例）
図９２は、音声ファイルの構成例を示す図である。
【０５８２】
図９２に示すように、音声ファイルには、図９１に示した全てのトラックが格納される。即ち、音声ファイルには、オーディオストリームと各グループタイプのヒントストリームが格納される。
【０５８３】
第８実施の形態におけるファイル生成装置のファイル生成処理は、図８７のヒントストリームの代わりに、グループタイプごとのヒントストリームが生成される点を除いて、図８９のファイル生成処理と同様である。
【０５８４】
また、第８実施の形態における動画再生端末のストリーミング再生部のオーディオ再生処理は、ステップＳ６２３において、参照トラックのトラックＩＤだけでなく、再生対象のグループタイプのヒントトラックのトラックＩＤを取得する点、ステップＳ６２５において再生対象のグループタイプのヒントトラックの位置情報を取得する点、およびステップＳ６２６において再生対象のグループタイプのヒントストリームを取得する点を除いて、図９０のオーディオ再生処理と同様である。
【０５８５】
なお、第８実施の形態では、オーディオストリームのトラックとヒントトラックが同一の音声ファイルに格納されるようにしたが、異なるファイルに格納されるようにしてもよい。
【０５８６】
例えば、図９３に示すように、オーディオストリームのトラックが１つの音声ファイル（3D audio stream MP4 File）に格納され、ヒントトラックが１つの音声ファイル（3D audio hint stream MP4 File）に格納されるようにしてもよい。また、図９４に示すように、ヒントトラックは、複数の音声ファイルに分割して格納されるようにしてもよい。図９４の例では、各ヒントトラックが異なる音声ファイルに格納されている。
【０５８７】
また、第８実施の形態では、グループタイプがobjectsである場合であってもグループタイプごとにヒントストリームが生成されたが、グループタイプがobjectsである場合、オブジェクトごとにヒントストリームが生成されるようにしてもよい。この場合、各オブジェクトのヒントストリームに対して異なるトラックが割り当てられる。
【０５８８】
以上のように、第７および第８実施の形態の音声ファイルでは、全ての３Ｄオーディオのオーディオストリームが１つのトラックとして格納される。従って、動画再生端末は、そのトラックを取得することにより、全ての３Ｄオーディオのオーディオストリームを再生することができる。
【０５８９】
また、第７および第８実施の形態の音声ファイルでは、ヒントストリームが格納される。従って、動画再生端末は、サブサンプルと、サブサンプルのサイズや位置とを対応付けたテーブルが記述されるmoofボックスを参照せずに、全ての３Ｄオーディオのオーディオストリームのうちの、所望のグループタイプのオーディオストリームのみを取得し、再生することができる。
【０５９０】
さらに、第７および第８実施の形態の音声ファイルでは、全ての３Ｄオーディオのオーディオストリームとヒントストリームを格納するだけで、動画再生端末にグループタイプごとにオーディオストリームを取得させることができる。従って、グループタイプごとのオーディオストリームの取得を可能にするために、放送やローカルストレージの用途として生成された全ての３Ｄオーディオのオーディオストリームとは別に、グループタイプごとの３Ｄオーディオのオーディオストリームを用意する必要がない。
【０５９１】
なお、第７および第８実施の形態では、グループタイプごとにextractorが生成されたが、extractorの生成単位は、オーディオエレメント、グループ、switch Group、およびgroup Presetであってもよい。
【０５９２】
extractorの生成単位がグループである場合、第８実施の形態の各ヒントトラックのサンプルエントリには、対応するグループに関する情報が含まれる。グループに関する情報は、グループのＩＤ、グループに分類されるエレメントのデータの内容を表す情報等により構成される。グループがswitch Groupを形成する場合、そのグループのヒントトラックのサンプルエントリには、そのswitch Groupに関する情報も含まれる。switch Groupに関する情報は、switch GroupのＩＤ、switch Groupを形成するグループのＩＤ等により構成される。第７実施の形態のヒントトラックのサンプルエントリには、第８実施の形態の全てのヒントトラックのサンプルエントリに含まれる情報が含まれる。
【０５９３】
また、第７および第８実施の形態におけるセグメント構造は、図３９および図４０のセグメント構造と同一である。
【０５９４】
＜第９実施の形態＞
（本開示を適用したコンピュータの説明）
上述したWebサーバの一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０５９５】
図９５は、上述したWebサーバの一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０５９６】
コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０５９７】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。
【０５９８】
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。
【０５９９】
以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０６００】
コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０６０１】
コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０６０２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０６０３】
また、上述した動画再生端末のハードウエア構成は、図９５のコンピュータと同様の構成にすることができる。この場合、例えば、CPU６０１が、制御用ソフトウエア１６１（２２１）、動画再生ソフトウエア１６２（２２２）、およびアクセス用ソフトウエア１６３（２２３）を実行する。動画再生端末１４４（２１４）の処理は、ハードウエアにより実行することもできる。
【０６０４】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０６０５】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０６０６】
例えば、ファイル生成装置１４１（２１１）は、タイル単位で画像ファイルを生成するのではなく、全てのタイルの符号化データを多重化してビデオストリームを生成し、１つの画像ファイルを生成するようにしてもよい。
【０６０７】
本開示は、MPEG−H 3D audioだけでなく、Object毎にstreamを作成することのできるaudio codec全般に適応可能である。
【０６０８】
また、本開示は、ストリーミング再生ではなく、放送やローカルストレージ再生を行う情報処理システムにも適用することができる。
【０６０９】
さらに、本開示は、以下のような構成もとることができる。
【０６１０】
（１）
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルのうちの所定の前記トラックの音声データを取得する取得部
を備える情報処理装置。
（２）
前記種類は、前記音声データのエレメント、前記エレメントのタイプ、または前記エレメントが分類されるグループである
ように構成された
前記（１）に記載の情報処理装置。
（３）
前記取得部により取得された前記所定のトラックの前記音声データを復号する復号部
をさらに備える
前記（１）または（２）に記載の情報処理装置。
（４）
前記復号部は、前記所定のトラックの数が複数である場合、前記取得部により取得された前記所定のトラックの前記音声データを合成し、合成後の前記音声データを復号する
前記（３）に記載の情報処理装置。
（５）
前記ファイルには、複数のオブジェクト単位の音声データが前記オブジェクトごとに異なる前記トラックに分割されて配置されるとともに、全ての前記オブジェクト単位の音声データのメタデータが前記トラックとは異なるトラックにまとめて配置され、
前記取得部は、再生対象のオブジェクトの前記トラックの前記音声データを、前記所定のトラックの前記音声データとして取得するとともに、前記メタデータを取得し、
前記復号部は、前記取得部により取得された前記メタデータから、前記再生対象のオブジェクトの前記メタデータを抽出し、そのメタデータと前記取得部により取得された前記音声データとを合成する
ように構成された
前記（４）に記載の情報処理装置。
（６）
前記ファイルには、複数のオブジェクト単位の音声データが前記オブジェクトごとに異なる前記トラックに分割されて配置されるとともに、全ての前記オブジェクト単位の音声データのメタデータが前記トラックとは異なるトラックにまとめて配置され、
前記取得部は、再生対象のオブジェクトの前記トラックの前記音声データを、前記所定のトラックの前記音声データとして取得するとともに、前記メタデータを取得し、
前記復号部は、再生対象ではない前記トラックの前記音声データとしての復号結果がゼロになるゼロデータと、前記取得部により取得された前記音声データおよび前記メタデータとを合成する
ように構成された
前記（４）に記載の情報処理装置。
（７）
前記ファイルには、複数のオブジェクト単位の音声データが前記オブジェクトごとに異なる前記トラックに分割されて配置されるとともに、前記オブジェクト単位の音声データのメタデータが前記オブジェクトごとに異なるトラックに配置され、
前記取得部は、再生対象のオブジェクトの前記トラックの前記音声データを、前記所定のトラックの前記音声データとして取得するとともに、再生対象の前記オブジェクトのメタデータを取得し、
前記復号部は、前記取得部により取得された前記音声データと前記メタデータを合成する
ように構成された
前記（４）に記載の情報処理装置。
（８）
前記複数のトラックの前記音声データは、１つの前記ファイルに配置される
ように構成された
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記複数のトラックの前記音声データは、前記トラックごとに異なる前記ファイルに配置される
ように構成された
前記（１）乃至（７）に記載の情報処理装置。
（１０）
前記ファイルには、前記複数の種類の前記音声データに関する情報が、前記複数のトラックとは異なるトラックとして配置される
ように構成された
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記複数の種類の前記音声データに関する情報は、前記音声データに対応する画像データの画枠サイズを示す画枠サイズ情報を含む
ように構成された
前記（１０）に記載の情報処理装置。
（１２）
前記ファイルには、前記複数のトラックとは異なるトラックの前記音声データとして、その音声データに対応する他の前記トラックの前記音声データの位置を示す情報が配置される
ように構成された
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１３）
前記ファイルには、前記複数のトラックとは異なるトラックの前記データとして、そのデータに対応する他の前記トラックの前記音声データの位置を示す情報と、他の前記トラックの前記音声データのメタデータが配置される
ように構成された
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１４）
前記音声データのメタデータは、前記音声データの取得位置を示す情報を含む
ように構成された
前記（１３）に記載の情報処理装置。
（１５）
前記ファイルは、前記トラックの他の前記トラックとの参照関係を表す情報を含む
ように構成された
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記ファイルは、各トラックの前記音声データのコーデック情報を含む
ように構成された
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
所定の前記種類の音声データは、他の前記種類の音声データの取得位置を示す情報である
ように構成された
前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
情報処理装置が、
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルのうちの所定の前記トラックの音声データを取得する取得ステップ
を含む情報処理方法。
（１９）
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルを生成する生成部
を備える情報処理装置。
（２０）
情報処理装置が、
複数の種類の音声データが前記種類に応じて複数のトラックに分割されて配置されるファイルを生成する生成ステップ
を含む情報処理方法。
【符号の説明】
【０６１１】
１４１  ファイル生成装置，  １４４  動画再生端末，  １７２  音声ファイル生成部，  １９２  音声ファイル取得部，  １９３  音声選択部，  ２１１  ファイル生成装置，  ２１４  動画再生端末，  ２４１  音声ファイル生成部，  ２６４  音声ファイル取得部
【図１】
2015182491.tif 000013
【図２】
2015182491.tif 000014
【図３】
2015182491.tif 000015
【図４】
2015182491.tif 000016
【図５】
2015182491.tif 000017
【図６】
2015182491.tif 000018
【図７】
2015182491.tif 000019
【図８】
2015182491.tif 000020
【図９】
2015182491.tif 000021
【図１０】
2015182491.tif 000022
【図１１】
2015182491.tif 000023
【図１２】
2015182491.tif 000024
【図１３】
2015182491.tif 000025
【図１４】
2015182491.tif 000026
【図１５】
2015182491.tif 000027
【図１６】
2015182491.tif 000028
【図１７】
2015182491.tif 000029
【図１８】
2015182491.tif 000030
【図１９】
2015182491.tif 000031
【図２０】
2015182491.tif 000032
【図２１】
2015182491.tif 000033
【図２２】
2015182491.tif 000034
【図２３】
2015182491.tif 000035
【図２４】
2015182491.tif 000036
【図２５】
2015182491.tif 000037
【図２６】
2015182491.tif 000038
【図２７】
2015182491.tif 000039
【図２８】
2015182491.tif 000040
【図２９】
2015182491.tif 000041
【図３０】
2015182491.tif 000042
【図３１】
2015182491.tif 000043
【図３２】
2015182491.tif 000044
【図３３】
2015182491.tif 000045
【図３４】
2015182491.tif 000046
【図３５】
2015182491.tif 000047
【図３６】
2015182491.tif 000048
【図３７】
2015182491.tif 000049
【図３８】
2015182491.tif 000050
【図３９】
2015182491.tif 000051
【図４０】
2015182491.tif 000052
【図４１】
2015182491.tif 000053
【図４２】
2015182491.tif 000054
【図４３】
2015182491.tif 000055
【図４４】
2015182491.tif 000056
【図４５】
2015182491.tif 000057
【図４６】
2015182491.tif 000058
【図４７】
2015182491.tif 000059
【図４８】
2015182491.tif 000060
【図４９】
2015182491.tif 000061
【図５０】
2015182491.tif 000062
【図５１】
2015182491.tif 000063
【図５２】
2015182491.tif 000064
【図５３】
2015182491.tif 000065
【図５４】
2015182491.tif 000066
【図５５】
2015182491.tif 000067
【図５６】
2015182491.tif 000068
【図５７】
2015182491.tif 000069
【図５８】
2015182491.tif 000070
【図５９】
2015182491.tif 000071
【図６０】
2015182491.tif 000072
【図６１】
2015182491.tif 000073
【図６２】
2015182491.tif 000074
【図６３】
2015182491.tif 000075
【図６４】
2015182491.tif 000076
【図６５】
2015182491.tif 000077
【図６６】
2015182491.tif 000078
【図６７】
2015182491.tif 000079
【図６８】
2015182491.tif 000080
【図６９】
2015182491.tif 000081
【図７０】
2015182491.tif 000082
【図７１】
2015182491.tif 000083
【図７２】
2015182491.tif 000084
【図７３】
2015182491.tif 000085
【図７４】
2015182491.tif 000086
【図７５】
2015182491.tif 000087
【図７６】
2015182491.tif 000088
【図７７】
2015182491.tif 000089
【図７８】
2015182491.tif 000090
【図７９】
2015182491.tif 000091
【図８０】
2015182491.tif 000092
【図８１】
2015182491.tif 000093
【図８２】
2015182491.tif 000094
【図８３】
2015182491.tif 000095
【図８４】
2015182491.tif 000096
【図８５】
2015182491.tif 000097
【図８６】
2015182491.tif 000098
【図８７】
2015182491.tif 000099
【図８８】
2015182491.tif 000100
【図８９】
2015182491.tif 000101
【図９０】
2015182491.tif 000102
【図９１】
2015182491.tif 000103
【図９２】
2015182491.tif 000104
【図９３】
2015182491.tif 000105
【図９４】
2015182491.tif 000106
【図９５】
2015182491.tif 000107
【手続補正書】
【提出日】平成27年10月2日(2015.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の種類の音声に関するデータを含む１つのトラックからなるストリームに対して、前記種類ごとにトラックを割り当て、複数の前記トラックからなるファイルを生成するファイル生成部
を備える情報処理装置。
【請求項２】
前記種類は、Ｃｈａｎｎｅｌ  ａｕｄｉｏ，Ｏｂｊｅｃｔ  ａｕｄｉｏ，ＨＯＡ  ａｕｄｉｏ、またはｍｅｔａｄａｔａである
ように構成された
請求項１に記載の情報処理装置。
【請求項３】
前記複数の種類の音声に関するデータを前記種類ごとに符号化する符号化部
をさらに備える
請求項１に記載の情報処理装置。
【請求項４】
（削除）
【請求項５】
前記ファイル生成部は、前記複数の種類の音声に関するデータとして、複数のオブジェクトの音声データと全ての前記オブジェクトの音声データのメタデータとを含む、１つのトラックからなるストリームに対して、各オブジェクトの前記音声データに異なるトラックを割り当てるとともに、前記メタデータに前記音声データのトラックとは異なるトラックを割り当てる
ように構成された
請求項１に記載の情報処理装置。
【請求項６】
（削除）
【請求項７】
前記ファイル生成部は、前記複数の種類の音声に関するデータとして、複数のオブジェクトの音声データと各オブジェクトの音声データのメタデータとを含む、１つのトラックからなるストリームに対して、各オブジェクトの前記音声データに異なるトラックを割り当てるとともに、各オブジェクトの前記メタデータに前記音声データのトラックとは異なるトラックをそれぞれ割り当てる
ように構成された
請求項１に記載の情報処理装置。
【請求項８】
前記ファイル生成部は、前記複数のトラックからなる１つの前記ファイルを生成する
ように構成された
請求項１に記載の情報処理装置。
【請求項９】
前記ファイル生成部は、前記複数のトラックを前記トラックごとに配置した複数の前記ファイルを生成する
ように構成された
請求項１に記載の情報処理装置。
【請求項１０】
前記ファイルには、前記データに関する情報が、前記複数のトラックとは異なるトラックであるベーストラックとして配置される
ように構成された
請求項１に記載の情報処理装置。
【請求項１１】
前記データに関する情報は、前記データに対応する画像データの画枠サイズを示す画枠サイズ情報を含む
ように構成された
請求項１０に記載の情報処理装置。
【請求項１２】
前記データに関する情報は、前記データの前記ファイル内の位置を示す情報を含む
ように構成された
請求項１０に記載の情報処理装置。
【請求項１３】
前記ベーストラックには、前記データの前記ファイル内の位置を示す情報と、前記データのメタデータが配置される
ように構成された
請求項１０に記載の情報処理装置。
【請求項１４】
前記データのメタデータは、前記データの取得位置を示す情報を含む
ように構成された
請求項１３に記載の情報処理装置。
【請求項１５】
前記ファイルは、前記トラックの他の前記トラックとの参照関係を表す情報を含む
ように構成された
請求項１に記載の情報処理装置。
【請求項１６】
前記ファイルは、各トラックの前記データのコーデック情報を含む
ように構成された
請求項１に記載の情報処理装置。
【請求項１７】
所定の種類の音声に関するデータは、他の種類の音声に関するデータの取得位置を示す情報である
ように構成された
請求項１に記載の情報処理装置。
【請求項１８】
情報処理装置が、
複数の種類の音声に関するデータを含む１つのトラックからなるストリームに対して、前記種類ごとにトラックを割り当て、複数の前記トラックからなるファイルを生成するファイル生成ステップ
を含む情報処理方法。
【請求項１９】
（削除）
【請求項２０】
（削除）
【国際調査報告】
2015182491.tif 000108
2015182491.tif 000109
2015182491.tif 000110
2015182491.tif 000111