(57)【要約】  本開示は、画像上の音声データの取得位置を認識することができるようにする情報処理装置および情報処理方法に関する。Webサーバは、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する。本開示は、例えば、MPEG-DASH（Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP）に準ずる方式でタイルドストリーミングを行う、ファイル生成装置、Ｗｅｂサーバ、および動画再生端末を含む情報処理システム等に適用することができる。
2015008613.tif 000002
【特許請求の範囲】
【請求項１】
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送部
を備える情報処理装置。
【請求項２】
前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
ように構成された
請求項１に記載の情報処理装置。
【請求項３】
前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
ように構成された
請求項１に記載の情報処理装置。
【請求項４】
前記音声位置情報を含む前記音声データのメタデータファイルを生成するメタファイル生成部と、
前記画枠サイズ情報と前記メタデータファイルを特定する情報を制御情報として生成する情報生成部と、
をさらに備え、
前記伝送部は、前記情報生成部により生成された前記制御情報と前記メタファイル生成部により生成された前記メタデータファイルを伝送する
ように構成された
請求項１に記載の情報処理装置。
【請求項５】
前記伝送部は、前記画枠サイズ情報と前記音声位置情報に基づいて要求される、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記音声データを伝送する
ように構成された
請求項１に記載の情報処理装置。
【請求項６】
前記音声データは、オブジェクト単位の音声データであり、
前記伝送部は、前記表示領域に対応する前記オブジェクトの音声データを伝送する
ように構成された
請求項５に記載の情報処理装置。
【請求項７】
複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイルを生成する音声ファイル生成部
をさらに備え、
前記伝送部は、前記音声ファイル生成部により生成された前記音声ファイル内の前記表示領域に対応する前記オブジェクトの音声データを伝送する
ように構成された
請求項６に記載の情報処理装置。
【請求項８】
複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルを生成する音声ファイル生成部
をさらに備え、
前記伝送部は、各オブジェクトの前記音声ファイルを特定するファイル特定情報を伝送し、前記画枠サイズ情報、前記音声位置情報、および前記ファイル特定情報に基づいて要求される前記表示領域に対応する前記オブジェクトの音声データを含む前記音声ファイルを伝送する
ように構成された
請求項６に記載の情報処理装置。
【請求項９】
情報処理装置が、
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送ステップ
を含む情報処理方法。
【請求項１０】
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取り部と、
前記受け取り部により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定部と
を備える情報処理装置。
【請求項１１】
前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
ように構成された
請求項１０に記載の情報処理装置。
【請求項１２】
前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
ように構成された
請求項１０に記載の情報処理装置。
【請求項１３】
前記音声データは、オブジェクト単位の音声データであり、
前記位置決定部は、前記画枠サイズ情報と各オブジェクトの前記音声位置情報に基づいて、前記画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
ように構成された
請求項１０に記載の情報処理装置。
【請求項１４】
前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記オブジェクトの音声データを選択する音声選択部
をさらに備え、
前記受け取り部は、前記音声選択部により選択された前記音声データを受け取る
ように構成された
請求項１３に記載の情報処理装置。
【請求項１５】
前記受け取り部は、複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイル内の、前記音声選択部により選択された前記オブジェクトの音声データを受け取る
ように構成された
請求項１４に記載の情報処理装置。
【請求項１６】
前記受け取り部は、複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルのうちの、前記音声選択部により選択された前記オブジェクトの音声データを含む前記音声ファイルを受け取る
ように構成された
請求項１４に記載の情報処理装置。
【請求項１７】
前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、複数の前記オブジェクトの音声データを合成する音声合成処理部
をさらに備える
請求項１３に記載の情報処理装置。
【請求項１８】
前記画像データに対応する画像のうちの表示する領域である表示領域の画像データのサイズを、前記画像データのサイズに変換する変換部
をさらに備え、
前記位置決定部は、前記画像データの前記画枠サイズ情報、各オブジェクトの前記音声位置情報、および前記表示領域の画枠サイズ情報に基づいて、前記変換部によりサイズが変換された前記表示領域の画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
ように構成された
請求項１７に記載の情報処理装置。
【請求項１９】
前記表示領域の画枠サイズ情報は、前記表示領域の水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
ように構成された
請求項１８に記載の情報処理装置。
【請求項２０】
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定ステップと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関し、特に、画像上の音声データの取得位置を認識することができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
近年、インターネット上のストリーミングサービスの主流がOTT-V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG-DASH（Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。【０００３】
MPEG-DASHでは、配信サーバが１本の動画コンテンツ用に画面サイズと符号化速度が異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適な画面サイズと符号化速度の動画データ群を要求することにより、適応型のストリーミング配信が実現される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、再生端末が、動画コンテンツ上の音声データの取得位置を認識することは考えられていない。【０００６】
本開示は、このような状況に鑑みてなされたものであり、画像上の音声データの取得位置を認識することができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の第１の側面の情報処理装置は、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送部を備える情報処理装置である。【０００８】
本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。【０００９】
本開示の第１の側面においては、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とが伝送される。【００１０】
本開示の第２の側面の情報処理装置は、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取り部と、前記受け取り部により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定部とを備える情報処理装置である。【００１１】
本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。【００１２】
本開示の第２の側面においては、画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とが受け取られ、受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置が決定される。【００１３】
なお、第１および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１４】
また、第１および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本開示の第１の側面によれば、画像上の音声データの取得位置を認識させるための情報を伝送することができる。【００１６】
また、本開示の第２の側面によれば、画像上の音声データの取得位置を認識することができる。
【図面の簡単な説明】
【００１７】
【図１】本開示を適用した情報処理システムの第１実施の形態の概要を説明する図である。
【図２】タイルの例を示す図である。
【図３】オブジェクトを説明する図である。
【図４】オブジェクト位置情報を説明する図である。
【図５】画枠サイズ情報を説明する図である。
【図６】MPDファイルの構造を示す図である。
【図７】「Period」、「Representation」、および「Segment」の関係を示す図である。
【図８】MPDファイルの階層構造を示す図である。
【図９】MPDファイルの構造と時間軸との関係を示す図である。
【図１０】MPDファイルの記述例を説明する図である。
【図１１】ファイル生成装置の構成例を示すブロック図である。
【図１２】ファイル生成装置のファイル生成処理を説明するフローチャートである。
【図１３】ストリーミング再生部の構成例を示すブロック図である。
【図１４】ストリーミング再生部のストリーミング再生処理を説明するフローチャートである。
【図１５】MPDファイルの他の記述例を説明する図である。
【図１６】MPDファイルのさらに他の記述例を説明する図である。
【図１７】オーディオストリームの配置例を示す図である。
【図１８】gsixの記述例を示す図である。
【図１９】Sample group entryとオブジェクトＩＤの対応関係を示す情報の例を示す図である。
【図２０】AudioObjectSampleGroupEntryの記述例を示す図である。
【図２１】type assignment boxの記述例を示す図である。
【図２２】本開示を適用した情報処理システムの第２実施の形態の概要を説明する図である。
【図２３】本開示を適用した情報処理システムのストリーミング再生部の構成例を示すブロック図である。
【図２４】オブジェクトの位置の決定方法を説明する図である。
【図２５】オブジェクトの位置の決定方法を説明する図である。
【図２６】オブジェクトの位置の決定方法を説明する図である。
【図２７】水平角度θAiと水平角度θAi´の関係を表す図である。
【図２８】垂直角度γv1´と垂直角度γAi´の関係を表す図である。
【図２９】図２３のストリーミング再生部のストリーミング再生処理を説明するフローチャートである。
【図３０】図２９の位置決定処理の詳細を説明するフローチャートである。
【図３１】図３０の水平角度θAi´推定処理の詳細を説明するフローチャートである。
【図３２】本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。
【図３３】本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。
【図３４】本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。
【図３５】本開示を適用した情報処理システムの第３実施の形態におけるオブジェクトの位置の決定方法を説明する図である。
【図３６】本開示を適用した情報処理システムの第３実施の形態における位置決定処理の詳細を説明するフローチャートである。
【図３７】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜第１実施の形態＞
（情報処理システムの第１実施の形態の概要）
図１は、本開示を適用した情報処理システムの第１実施の形態の概要を説明する図である。
【００１９】
図１の情報処理システム１０は、ファイル生成装置１１と接続されるWebサーバ１２と動画再生端末１４が、インターネット１３を介して接続されることにより構成される。
【００２０】
情報処理システム１０では、MPEG-DASHに準ずる方式で、Webサーバ１２が動画コンテンツの画像データをタイル単位で動画再生端末１４に配信（タイルドストリーミング）する。
【００２１】
具体的には、ファイル生成装置１１は、動画コンテンツの画像データを取得し、タイル単位で符号化してビデオストリームを生成する。ファイル生成装置１１は、各タイルのビデオストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位ごとにファイル化する。ファイル生成装置１１は、その結果得られる各タイルの画像ファイルをWebサーバ１２にアップロードする。
【００２２】
また、ファイル生成装置１１は、動画コンテンツの音声データをオブジェクト（詳細は後述する）ごとに取得し、オブジェクト単位で符号化してオーディオストリームを生成する。ファイル生成装置１１は、各オブジェクトのオーディオストリームをセグメント単位でファイル化し、その結果得られる各オブジェクトの音声ファイルをWebサーバ１２にアップロードする。
【００２３】
なお、オブジェクトとは、音源であり、各オブジェクトの音声データは、そのオブジェクトに取り付けられたマイクロフォンなどにより取得される。オブジェクトは、固定されたマイクスタンドなどの物体であってもよいし、人物などの動体であってもよい。
【００２４】
ファイル生成装置１１は、各オブジェクトの位置（音声データの取得位置）を表すオブジェクト位置情報（音声位置情報）、オブジェクトに固有のＩＤであるオブジェクトＩＤ等を含むオーディオメタデータを符号化する。ファイル生成装置１１は、オーディオメタデータの符号化データをセグメント単位でファイル化し、その結果得られる音声メタファイルをWebサーバ１２にアップロードする。
【００２５】
また、ファイル生成装置１１は、動画コンテンツの画像の画枠サイズを表す画枠サイズ情報、各タイルの画像上の位置を表すタイル位置情報等を含む、画像ファイルや音声ファイルを管理するMPD（Media Presentation Description）ファイル（制御情報）を生成する。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
【００２６】
Webサーバ１２は、ファイル生成装置１１からアップロードされた画像ファイル、音声ファイル、音声メタファイル、およびMPDファイルを格納する。
【００２７】
図１の例では、Webサーバ１２には、タイルＩＤ「１」のタイルの複数のセグメントの画像ファイルからなるセグメント群と、タイルＩＤ「２」のタイルの複数のセグメントの画像ファイルからなるセグメント群とが格納されている。また、Webサーバ１２には、オブジェクトＩＤ「１」のオブジェクトの複数のセグメントの音声ファイルからなるセグメント群と、オブジェクトＩＤ「２」のオブジェクトの複数のセグメントの音声ファイルからなるセグメント群とが格納されている。図示は省略するが、音声メタファイルのセグメント群も同様に格納されている。
【００２８】
なお、以下では、タイルＩＤがｉであるタイルをタイル＃ｉといい、オブジェクトＩＤがｉのオブジェクトをオブジェクト＃ｉという。
【００２９】
Webサーバ１２は、伝送部として機能し、動画再生端末１４からの要求に応じて、格納している画像ファイル、音声ファイル、音声メタファイル、MPDファイル等を動画再生端末１４に送信する。
【００３０】
動画再生端末１４は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
【００３１】
制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
【００３２】
また、制御用ソフトウエア２１は、動画再生ソフトウエア２２から指示される動画コンテンツの画像内の表示する領域である表示領域と、MPDファイルに含まれるタイル位置情報とに基づいて、表示領域内のタイルを特定する。そして、制御用ソフトウエア２１は、そのタイルの画像ファイルの送信要求をアクセス用ソフトウエア２３に指令する。
【００３３】
また、制御用ソフトウエア２１は、アクセス用ソフトウエア２３に音声メタファイルの送信要求を指令する。そして、制御用ソフトウエア２１は、表示領域、MPDファイルに含まれる画枠サイズ情報、および音声メタファイルに含まれるオブジェクト位置情報に基づいて、表示領域内の画像に対応するオブジェクトを特定する。そして、制御用ソフトウエア２１は、そのオブジェクトの音声ファイルの送信要求をアクセス用ソフトウエア２３に指令する。
【００３４】
動画再生ソフトウエア２２は、Webサーバ１２から取得された画像ファイルと音声ファイルを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、ユーザにより表示領域が指定されると、その表示領域を制御用ソフトウエア２１に指示する。また、動画再生ソフトウエア２２は、その指示に応じてWebサーバ１２から取得された画像ファイルと音声ファイルを復号し、合成して出力する。
【００３５】
アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、画像ファイル、音声ファイル、および音声メタファイルの送信要求を動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じて、Webサーバ１２から送信されてくる画像ファイル、音声ファイル、および音声メタファイルを動画再生端末１４に受信させる。
【００３６】
（タイルの例）
図２は、タイルの例を示す図である。
【００３７】
図２に示すように、動画コンテンツの画像は、複数のタイルに分割され、各タイルに１から順にタイルＩＤが付与される。図２の例では、動画コンテンツの画像は、４つのタイル＃１乃至タイル＃４に分割されている。
【００３８】
（オブジェクトの説明）
図３は、オブジェクトを説明する図である。
【００３９】
図３の例では、動画コンテンツの音声として、画像内の８つのオブジェクトの音声が取得されており、各オブジェクトには１から順にオブジェクトＩＤが付与されている。オブジェクト＃１乃至オブジェクト＃５は、それぞれ、動体であり、オブジェクト＃６乃至オブジェクト＃８は、固定された物体である。また、図３の例では、動画コンテンツの画像は、５（縦）×７（横）のタイルに分割されている。
【００４０】
この場合、図３に示すように、ユーザにより２（縦）×３（横）個のタイルからなる表示領域３１が指定されると、表示領域３１には、オブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６のみが含まれる。従って、動画再生端末１４は、例えば、オブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６の音声ファイルのみをWebサーバ１２から取得し、再生する。
【００４１】
表示領域３１内のオブジェクトは、以下に説明するように、画枠サイズ情報およびオブジェクト位置情報に基づいて特定することができる。
【００４２】
（オブジェクト位置情報の説明）
図４は、オブジェクト位置情報を説明する図である。
【００４３】
図４に示すように、オブジェクト位置情報は、オブジェクト４０の水平角度θA（-180°≦θA≦180°）,垂直角度γA（-90°≦γA≦90°）、および距離ｒA（0<ｒA）からなる。水平角度θAは、例えば、画像の中心の撮影位置を原点（基点）Ｏとし、画像の水平方向をＸ方向、垂直方向をＹ方向、XY平面に垂直な奥行き方向をＺ方向としたときの、オブジェクト４０と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。垂直角度γAは、オブジェクト４０と原点Ｏを結ぶ直線とXZ平面との垂直方向の角度であり、距離ｒAは、オブジェクト４０と原点Ｏの距離である。
【００４４】
なお、本明細書では、左回転および上回転の角度を正の角度とし、右回転および下回転の角度を負の角度とする。
【００４５】
（画枠サイズ情報の説明）
図５は、画枠サイズ情報を説明する図である。
【００４６】
図５に示すように、画枠サイズ情報は、画枠の左端の水平角度θv1、右端の水平角度θv2、画枠の上端の垂直角度γv1、下端の垂直角度γv2、および距離ｒvにより構成される。
【００４７】
水平角度θv1は、例えば、画像の中心の撮影位置を原点Ｏとし、画像の水平方向をＸ方向、垂直方向をＹ方向、XY平面に垂直な奥行き方向をＺ方向としたときの、画枠の左端と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。水平角度θv2は、画枠の右端と原点Ｏを結ぶ直線とYZ平面との水平方向の角度である。従って、水平角度θv1と水平角度θv2とを合わせた角度は、水平方向の画角である。
【００４８】
垂直角度γV1，γv2は、それぞれ、画枠の上端、下端と原点Ｏを結ぶ直線とXZ平面との角度であり、垂直角度γV1と垂直角度γv2とを合わせた角度は、垂直方向の画角である。距離ｒvは、原点Ｏと画像の平面との距離である。
【００４９】
以上のように、オブジェクト位置情報と画枠サイズ情報は、それぞれ、オブジェクト４０、画枠と、原点Ｏとの位置関係を表している。従って、オブジェクト位置情報と画枠サイズ情報に基づいて、各オブジェクトの画像上の位置を検出（認識）することができる。その結果、表示領域３１内のオブジェクトを特定することができる。
【００５０】
(MPDファイルの構造の説明)
図６は、MPDファイルの構造を示す図である。
【００５１】
MPDファイルの解析（パース）においては、動画再生端末１４は、MPDファイル（図６のMedia Presentation）の「Period」に含まれる「Representation」の属性から最適なものを選択する。
【００５２】
動画再生端末１４は、選択した「Representation」の先頭の「Initialization Segment」のURL（Uniform Resource Locator）等を参照してファイルを取得し、処理する。続いて、動画再生端末１４は、後続の「Media Segment」のURL等を参照してファイルを取得し、再生する。
【００５３】
なお、MPDファイルにおける、「Period」、「Representation」、および「Segment」の関係は、図７のようになる。つまり、１つの動画コンテンツは、「Period」により、セグメントより長い時間単位で管理することができ、各「Period」において、「Segment」によりセグメント単位で管理することができる。また、各「Period」において、「Representation」により、動画コンテンツをストリームの属性単位で管理することができる。
【００５４】
したがって、MPDファイルは、「Period」以下において、図８に示す階層構造を有する。また、このMPDファイルの構造を時間軸上に並べると図９の例のようになる。図９から明らかなように、同一のセグメントに対して複数の「Representation」が存在している。動画再生端末１４は、これらのうちのいずれかを適応的に選択することにより、ユーザにより選択された表示領域の画像ファイルと音声ファイルを取得し、再生することができる。
【００５５】
（MPDファイルの記述の説明）
図１０は、MPDファイルの記述を説明する図である。
【００５６】
上述したように、情報処理システム１０では、動画再生端末１４において表示領域内のオブジェクトを特定可能にするため、MPDファイルに画枠サイズ情報が含まれる。この画枠サイズ情報は、図１０に示すように、ViewpointのDescriptorType elementを活用して新たに画枠サイズ情報（Viewing Angle）を定義するためのScheme(urn:mpeg:DASH:viewingAngle:2013)を拡張することにより、音声用の「Adaptation Set」と画像用の「Adaptation Set」に配置される。画枠サイズ情報は、画像用の「Adaptation Set」にのみ配置されるようにしてもよい。
【００５７】
また、MPDファイルの音声用の「Adaptation Set」には、音声メタファイル用の「Representation」が記述され、その「Representation」の「Segment」には、音声メタファイル（audionmetadata.mp4）を特定する情報としてのURL等が記述される。このとき、Role elementを活用して、「Segment」で指定されるファイルが音声メタファイルであること（objectaudiometadata）が記述される。
【００５８】
MPDファイルの音声用の「Adaptation Set」にはまた、各オブジェクトの音声ファイル用の「Representation」が記述され、その「Representation」の「Segment」には、各オブジェクトの音声ファイル（audioObje1.mp4, audioObje5.mp4）を特定する情報としてのURL等が記述される。このとき、Viewpointを拡張することにより、音声ファイルに対応するオブジェクトのオブジェクトＩＤ（1,5）も記述される。
【００５９】
なお、図示は省略するが、タイル位置情報は、画像用の「Adaptation Set」に配置される。
【００６０】
（ファイル生成装置の構成例）
図１１は、図１のファイル生成装置１１の構成例を示すブロック図である。
【００６１】
図１１のファイル生成装置１１は、画面分割処理部５１、画像符号化処理部５２、画像ファイル生成部５３、画像情報生成部５４、音声符号化処理部５５、音声ファイル生成部５６、MPD生成部５７、およびサーバアップロード処理部５８により構成される。
【００６２】
ファイル生成装置１１の画面分割処理部５１は、外部から入力される動画コンテンツの画像データをタイル単位に分割する。画面分割処理部５１は、タイル位置情報を画像情報生成部５４に供給する。また、画面分割処理部５１は、タイル単位の画像データを画像符号化処理部５２に供給する。
【００６３】
画像符号化処理部５２は、画面分割処理部５１から供給されるタイル単位の画像データをタイルごとに符号化し、ビデオストリームを生成する。画像符号化処理部５２は、各タイルのビデオストリームを画像ファイル生成部５３に供給する。
【００６４】
画像ファイル生成部５３は、画像符号化処理部５２から供給される各タイルのビデオストリームをセグメント単位でファイル化し、その結果得られる各タイルの画像ファイルをMPD生成部５７に供給する。
【００６５】
画像情報生成部５４は、画面分割処理部５１から供給されるタイル位置情報と外部から入力される画枠サイズ情報とを画像情報としてMPD生成部５７に供給する。
【００６６】
音声符号化処理部５５は、外部から入力される動画コンテンツのオブジェクト単位の音声データをオブジェクトごとに符号化し、オーディオストリームを生成する。また、音声符号化処理部５５は、外部から入力される各オブジェクトのオブジェクト位置情報、オブジェクトＩＤ等を含むオーディオメタデータを符号化し、符号化データを生成する。音声符号化処理部５５は、各オブジェクトのオーディオストリームとオーディオメタデータの符号化データとを音声ファイル生成部５６に供給する。
【００６７】
音声ファイル生成部５６は、音声ファイル生成部として機能し、音声符号化処理部５５から供給される各オブジェクトのオーディオストリームをセグメント単位でファイル化し、その結果得られる各オブジェクトの音声ファイルをMPD生成部５７に供給する。
【００６８】
また、音声ファイル生成部５６は、メタファイル生成部として機能し、音声符号化処理部５５から供給されるオーディオメタデータの符号化データをセグメント単位でファイル化し、その結果得られる音声メタファイルをMPD生成部５７に供給する。
【００６９】
MPD生成部５７は、画像ファイル生成部５３から供給される各タイルの画像ファイルを格納するWebサーバ１２のURL等を決定する。また、MPD生成部５７は、音声ファイル生成部５６から供給される各タイルの音声ファイルと音声メタファイルを格納するWebサーバ１２のURL等を決定する。
【００７０】
MPD生成部５７は、画像情報生成部５４から供給される画像情報をMPDファイルの画像用の「AdaptationSet」に配置する。また、MPD生成部５７は、画像情報のうちの画枠サイズ情報をMPDファイルの音声用の「AdaptationSet」に配置する。MPD生成部５７は、各タイルの画像ファイルのURL等を、そのタイルの画像ファイル用の「Representation」の「Segment」に配置する。
【００７１】
MPD生成部５７は、各オブジェクトの画像ファイルのURL等を、そのオブジェクトの音声ファイル用の「Representation」の「Segment」に配置する。また、MPD生成部５７は、情報生成部として機能し、音声メタファイルを特定する情報としてのURL等を音声メタファイル用の「Representation」の「Segment」に配置する。MPD生成部５７は、以上のようにして各種の情報が配置されたMPDファイル、並びに、画像ファイル、音声ファイル、および音声メタファイルをサーバアップロード処理部５８に供給する。
【００７２】
サーバアップロード処理部５８は、MPD生成部５７から供給される各タイルの画像ファイル、各オブジェクトの音声ファイル、音声メタファイル、およびMPDファイルを、Webサーバ１２にアップロードする。
【００７３】
（ファイル生成装置の処理の説明）
図１２は、図１１のファイル生成装置１１のファイル生成処理を説明するフローチャートである。
【００７４】
図１２のステップＳ１１において、ファイル生成装置１１の画面分割処理部５１は、外部から入力される動画コンテンツの画像データをタイル単位に分割する。画面分割処理部５１は、タイル位置情報を画像情報生成部５４に供給する。また、画面分割処理部５１は、タイル単位の画像データを画像符号化処理部５２に供給する。
【００７５】
ステップＳ１２において、画像符号化処理部５２は、画面分割処理部５１から供給されるタイル単位の画像データをタイルごとに符号化し、各タイルのビデオストリームを生成する。画像符号化処理部５２は、各タイルのビデオストリームを画像ファイル生成部５３に供給する。
【００７６】
ステップＳ１３において、画像ファイル生成部５３は、画像符号化処理部５２から供給される各タイルのビデオストリームをセグメント単位でファイル化し、各タイルの画像ファイルを生成する。画像ファイル生成部５３は、各タイルの画像ファイルをMPD生成部５７に供給する。
【００７７】
ステップＳ１４において、画像情報生成部５４は、外部から画枠サイズ情報を取得する。ステップＳ１５において、画像情報生成部５４は、画面分割処理部５１から供給されるタイル位置情報と画枠サイズ情報とを含む画像情報を生成し、MPD生成部５７に供給する。
【００７８】
ステップＳ１６において、音声符号化処理部５５は、外部から入力される動画コンテンツのオブジェクト単位の音声データをオブジェクトごとに符号化し、各オブジェクトのオーディオストリームを生成する。また、音声符号化処理部５５は、外部から入力される各オブジェクトのオブジェクト位置情報、オブジェクトＩＤ等を含むオーディオメタデータを符号化し、符号化データを生成する。音声符号化処理部５５は、各オブジェクトのオーディオストリームとオーディオメタデータの符号化データとを音声ファイル生成部５６に供給する。
【００７９】
ステップＳ１７において、音声ファイル生成部５６は、音声符号化処理部５５から供給される各オブジェクトのオーディオストリームをセグメント単位でファイル化し、各オブジェクトの音声ファイルを生成する。また、音声ファイル生成部５６は、音声符号化処理部５５から供給されるオーディオメタデータの符号化データをセグメント単位でファイル化し、音声メタファイルを生成する。音声ファイル生成部５６は、各オブジェクトの音声ファイルと音声メタファイルをMPD生成部５７に供給する。
【００８０】
ステップＳ１８において、MPD生成部５７は、画像情報生成部５４から供給される画像情報、各ファイルのURL等を含むMPDファイルを生成する。MPD生成部５７は、MPDファイル、各タイルの画像ファイル、各オブジェクトの音声ファイル、および音声メタファイルをサーバアップロード処理部５８に供給する。
【００８１】
ステップＳ１９において、サーバアップロード処理部５８は、MPD生成部５７から供給される各タイルの画像ファイル、各オブジェクトの音声ファイル、音声メタファイル、およびMPDファイルを、Webサーバ１２にアップロードする。そして、処理は終了する。
【００８２】
（動画再生端末の機能的構成例）
図１３は、図１の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
【００８３】
図１３のストリーミング再生部９０は、MPD取得部９１、MPD処理部９２、メタファイル取得部９３、音声選択部９４、音声ファイル取得部９５、音声復号処理部９６、音声合成処理部９７、画像選択部９８、画像ファイル取得部９９、画像復号処理部１００、および画像合成処理部１０１により構成される。
【００８４】
ストリーミング再生部９０のMPD取得部９１は、受け取り部として機能し、Webサーバ１２からMPDファイルを取得し、MPD処理部９２に供給する。
【００８５】
MPD処理部９２は、MPD取得部９１から供給されるMPDファイルから音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。また、MPD処理部９２は、MPDファイルから画像用の「AdaptationSet」に記述される画枠サイズ情報を抽出し、音声選択部９４に供給する。MPD処理部９２は、MPDファイルから、音声選択部９４から要求されるオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声選択部９４に供給する。
【００８６】
MPD処理部９２は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部９２は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
【００８７】
メタファイル取得部９３は、MPD処理部９２から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を音声選択部９４に供給する。
【００８８】
音声選択部９４は、位置決定部として機能し、MPD処理部９２から供給される画枠サイズ情報とメタファイル取得部９３から供給されるオブジェクト位置情報とに基づいて、各オブジェクトの画像上の位置を算出する。音声選択部９４は、各オブジェクトの画像上の位置に基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部９４は、選択されたオブジェクトの音声ファイルのURL等の情報をMPD処理部９２に要求する。音声選択部９４は、その要求に応じてMPD処理部９２から供給されるURL等の情報を音声ファイル取得部９５に供給する。
【００８９】
音声ファイル取得部９５は、受け取り部として機能し、音声選択部９４から供給されるURL等の情報に基づいて、そのURLで特定されるオブジェクト単位の音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
【００９０】
音声復号処理部９６は、音声ファイル取得部９５から供給されるオブジェクト単位の音声ファイルに含まれるオーディオストリームを復号し、オブジェクト単位の音声データを生成する。音声復号処理部９６は、そのオブジェクト単位の音声データを音声合成処理部９７に供給する。
【００９１】
音声合成処理部９７は、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。
【００９２】
画像選択部９８は、MPD処理部９２から供給されるタイル位置情報に基づいて、ユーザにより指定される表示領域内のタイルを選択する。画像選択部９８は、選択されたタイルの画像ファイルのURL等の情報をMPD処理部９２に要求する。画像選択部９８は、その要求に応じてMPD処理部９２から供給されるURL等の情報を画像ファイル取得部９９に供給する。
【００９３】
画像ファイル取得部９９は、画像選択部９８から供給されるURL等の情報に基づいて、そのURLで特定されるタイル単位の画像ファイルをWebサーバ１２に要求し、取得する。画像ファイル取得部９９は、取得されたタイル単位の画像ファイルを画像復号処理部１００に供給する。
【００９４】
画像復号処理部１００は、画像ファイル取得部９９から供給されるタイル単位の画像ファイルに含まれるビデオストリームを復号し、タイル単位の画像データを生成する。画像復号処理部１００は、そのタイル単位の画像データを画像合成処理部１０１に供給する。
【００９５】
画像合成処理部１０１は、画像復号処理部１００から供給されるタイル単位の画像データを合成し、出力する。
【００９６】
（動画再生端末の処理の説明）
図１４は、動画再生端末１４のストリーミング再生部９０（図１３）のストリーミング再生処理を説明するフローチャートである。
【００９７】
図１４のステップＳ３１において、ストリーミング再生部９０のMPD取得部９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部９２に供給する。
【００９８】
ステップＳ３２において、MPD処理部９２は、MPD取得部９１から供給されるMPDファイルから、画像用の「AdaptationSet」に記述される画枠サイズ情報とタイル位置情報を取得する。MPD処理部９２は、画枠サイズ情報を音声選択部９４に供給し、タイル位置情報を画像選択部９８に供給する。また、MPD処理部９２は、音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。
【００９９】
ステップＳ３３において、メタファイル取得部９３は、MPD処理部９２から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を音声選択部９４に供給する。
【０１００】
ステップＳ３４において、音声選択部９４は、MPD処理部９２から供給される画枠サイズ情報とメタファイル取得部９３から供給されるオブジェクト位置情報とに基づいて、ユーザにより指定される表示領域内のオブジェクトを選択する。音声選択部９４は、選択されたオブジェクトの音声ファイルのURL等の情報をMPD処理部９２に要求する。
【０１０１】
MPD処理部９２は、MPDファイルから、音声選択部９４から要求されるオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声選択部９４に供給する。音声選択部９４は、MPD処理部９２から供給されるURL等の情報を音声ファイル取得部９５に供給する。
【０１０２】
ステップＳ３５において、音声ファイル取得部９５は、音声選択部９４から供給されるURL等の情報に基づいて、そのURLで特定される、選択されたオブジェクトの音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
【０１０３】
ステップＳ３６において、画像選択部９８は、MPD処理部９２から供給されるタイル位置情報に基づいて、ユーザにより指定される表示領域内のタイルを選択する。画像選択部９８は、選択されたタイルの画像ファイルのURL等の情報をMPD処理部９２に要求する。
【０１０４】
MPD処理部９２は、MPDファイルから、画像選択部９８から要求されるオブジェクトの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。画像選択部９８は、MPD処理部９２から供給されるURL等の情報を画像ファイル取得部９９に供給する。
【０１０５】
ステップＳ３７において、画像ファイル取得部９９は、画像選択部９８から供給されるURL等の情報に基づいて、そのURLで特定される、選択されたタイルの画像ファイルをWebサーバ１２に要求し、取得する。画像ファイル取得部９９は、取得されたタイル単位の画像ファイルを画像復号処理部１００に供給する。
【０１０６】
ステップＳ３８において、音声復号処理部９６は、音声ファイル取得部９５から供給されるオブジェクト単位の音声ファイルに含まれるオーディオストリームを復号し、オブジェクト単位の音声データを生成する。音声復号処理部９６は、そのオブジェクト単位の音声データを音声合成処理部９７に供給する。
【０１０７】
ステップＳ３９において、画像復号処理部１００は、画像ファイル取得部９９から供給されるタイル単位の画像ファイルに含まれるビデオストリームを復号し、タイル単位の画像データを生成する。画像復号処理部１００は、そのタイル単位の画像データを画像合成処理部１０１に供給する。
【０１０８】
ステップＳ４０において、音声合成処理部９７は、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。ステップＳ４１において、画像合成処理部１０１は、画像復号処理部１００から供給されるタイル単位の画像データを合成し、出力する。そして、処理は終了する。
【０１０９】
以上のように、Webサーバ１２は画枠サイズ情報とオブジェクト位置情報を伝送する。従って、動画再生端末１４は、例えば、表示領域内のオブジェクトを特定し、そのオブジェクトの音声ファイルを、表示領域内の画像に対応する音声ファイルとして選択的に取得することができる。このように、動画再生端末１４は必要な音声ファイルのみを取得することができるので、伝送効率は向上する。
【０１１０】
なお、図１５に示すように、MPDファイルの画像用の「AdaptationSet」には、その画像と同時に再生したい音声に対応するオブジェクトを特定する情報としてのオブジェクトＩＤ（オブジェクト特定情報）が、記述されるようにしてもよい。この記述は、例えば、ViewpointのDescriptorType elementを活用して新たにオブジェクトＩＤ情報（audioObj）を定義するためのScheme(urn:mpeg:DASH:audioObj:2013)を拡張することにより、行われる。この場合、動画再生端末１４は、画像用の「AdaptationSet」に記述されたオブジェクトＩＤに対応するオブジェクトの音声ファイルを選択し、取得して再生する。
【０１１１】
また、オブジェクト単位で音声ファイルが生成されるのではなく、全てのオブジェクトの符号化データが１本のオーディオストリームに多重化され、１つの音声ファイルが生成されるようにしてもよい。
【０１１２】
この場合、図１６に示すように、MPDファイルの音声用の「AdaptationSet」には、音声ファイル用の「Representation」が１つ設けられ、「Segment」に、全てのオブジェクトの符号化データを含む音声ファイル（audioObje.mp4）のURL等が記述される。このとき、Viewpointを拡張することにより、音声ファイルに対応する全てのオブジェクトのオブジェクトＩＤ(1,2,3,4,5)も記述される。
【０１１３】
また、この場合、図１７に示すように、MPDファイルの「Media Segment」を参照して取得される音声ファイル（以下、適宜、音声メディアファイルともいう）のmdat boxには、サブサンプルとして、各オブジェクトの符号化データ（Audio object）が配置される。
【０１１４】
具体的には、音声メディアファイルには、セグメントより短い任意の時間であるサブセグメント単位でデータが配置される。このサブセグメント単位のデータの位置は、sidx boxにより指定される。また、サブセグメント単位のデータは、moof boxとmdat boxにより構成される。mdat boxは、複数のサンプルにより構成されるが、そのサンプルの各サブサンプルとして、各オブジェクトの符号化データが配置される。
【０１１５】
また、音声メディアファイルのsidx boxの後には、サンプルの情報を記述するgsix boxが配置される。このように、サンプルの情報を記述するgsix boxが、moof boxとは別に設けられるので、動画再生端末１４は、サンプルの情報を素早く取得することができる。
【０１１６】
gsix boxには、図１８に示すように、このgsix boxで管理する１以上のサンプルまたはサブサンプルからなるSample group entryの種別を表すgrouping_typeが記述される。例えば、Sample group entryが、オブジェクト単位の符号化データのサブサンプルである場合、図１７に示すように、Sample group entryの種別は「obja」である。音声メディアファイルには、複数のgrouping_typeのgsix boxが配置される。
【０１１７】
また、図１８に示すように、gsix boxには、各Sample group entryのインデックス（entry_index）と、音声メディアファイル内の位置を表すデータ位置情報としてのバイトレンジ（range_size）とが記述される。なお、インデックス（entry_index）が０である場合、対応するバイトレンジは、moof boxのバイトレンジ（図１７の例ではa1）を表している。
【０１１８】
MPDファイルの「Initialization Segment」を参照して取得される音声ファイル（以下、適宜、音声初期化ファイルともいう）には、各Sample group entryが、どのオブジェクトの符号化データのサブサンプルであるかを表す情報が記述される。
【０１１９】
具体的には、図１９に示すように、音声初期化ファイルのsbtl boxのsample group description box(sgpd)のAudioObjectSampleGroupEntryと対応付けられる、mvex boxのtype assignment box（typa）を用いて、その情報が表される。
【０１２０】
即ち、図２０のＡに示すように、AudioObjectSampleGroupEntryには、サンプルに含まれる符号化データに対応するオブジェクトＩＤ（audio_object_id）が１つずつ記述される。例えば、図２０のＢに示すように、４つのAudioObjectSampleGroupEntryのそれぞれに、オブジェクトＩＤとして、1,2,3,4が記述される。
【０１２１】
一方、図２１に示すように、type assignment boxには、AudioObjectSampleGroupEntryごとに、そのAudioObjectSampleGroupEntryに対応するSample group entryのパラメータ（grouping_type_parameter）として、インデックスが記述される。
【０１２２】
以上のように音声メディアファイルと音声初期化ファイルが構成される。従って、動画再生端末１４が、表示領域内のオブジェクトとして選択されたオブジェクトの符号化データを取得する際、音声初期化ファイルのstbl boxから、選択されたオブジェクトのオブジェクトＩＤが記述されたAudioObjectSampleGroupEntryが検索される。そして、mvex boxから、検索されたAudioObjectSampleGroupEntryに対応するSample group entryのインデックスが読み出される。そして、音声ファイルのsidxからサブセグメント単位のデータの位置が読み出され、gsixから、読み出されたインデックスのSample group entryのバイトレンジが読み出される。そして、サブセグメント単位のデータの位置とバイトレンジとに基づいて、mdat内に配置されている符号化データが取得される。これにより、選択されたオブジェクトの符号化データが取得される。
【０１２３】
なお、上述した説明では、Sample group entryのインデックスとAudioObjectSampleGroupEntryのオブジェクトＩＤが、mvex boxを介して対応付けられたが、直接対応付けられるようにしてもよい。この場合、Sample group entryのインデックスが、AudioObjectSampleGroupEntryに記述される。
【０１２４】
また、音声ファイルが複数のtrackから構成される場合、sgpdをmvexに格納すると、track間でsgpdを共用できる。
【０１２５】
＜第２実施の形態＞
（第２実施の形態の概要）
図２２は、本開示を適用した情報処理システムの第２実施の形態の概要を説明する図である。
【０１２６】
なお、図２２において、図３と同一のものには、同一の符号を付してある。
【０１２７】
図２２の例では、図３の場合と同様に、動画コンテンツの画像は、５（縦）×７（横）のタイルに分割されており、動画コンテンツの音声として、オブジェクト＃１乃至＃８の音声が取得されている。
【０１２８】
この場合に、ユーザにより、２（縦）×３（横）個のタイルからなる表示領域３１が指定されると、第２実施の形態では、図２２に示すように、その表示領域３１が、動画コンテンツの画像のサイズと同一のサイズに変換(拡大)され、表示画像１１１とされる。そして、表示画像１１１におけるオブジェクト＃１乃至＃８の位置に基づいて、オブジェクト＃１乃至＃８の音声が合成され、表示画像１１１とともに出力される。即ち、表示領域３１内のオブジェクト＃１、オブジェクト＃２、およびオブジェクト＃６だけでなく、表示領域３１外のオブジェクト＃３乃至＃５、オブジェクト＃７、およびオブジェクト＃８の音声も出力される。
【０１２９】
（ストリーミング再生部の構成例）
本開示を適用した情報処理システムの第２実施の形態の構成は、ストリーミング再生部の構成を除いて、図１の情報処理システム１０の構成と同一であるので、以下では、ストリーミング再生部についてのみ説明する。
【０１３０】
図２３は、本開示を適用した情報処理システムのストリーミング再生部の構成例を示すブロック図である。
【０１３１】
図２３に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３２】
図２３のストリーミング再生部１２０の構成は、MPD処理部９２、音声合成処理部９７、画像合成処理部１０１の代わりに、MPD処理部１２１、音声合成処理部１２３、画像合成処理部１２４が設けられる点、および、位置決定部１２２が新たに設けられる点が図１３のストリーミング再生部９０の構成と異なる。
【０１３３】
ストリーミング再生部１２０のMPD処理部１２１は、MPD取得部９１から供給されるMPDファイルから音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。また、MPD処理部１２１は、MPDファイルから画像用の「AdaptationSet」に記述される動画コンテンツの画像の画枠サイズ情報（以下、コンテンツ画枠サイズ情報という）を抽出し、位置決定部１２２に供給する。MPD処理部１２１は、MPDファイルから全てのオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声ファイル取得部９５に供給する。
【０１３４】
MPD処理部１２１は、MPDファイルから画像用の「AdaptationSet」に記述されるタイル位置情報を抽出し、画像選択部９８に供給する。MPD処理部１２１は、MPDファイルから、画像選択部９８から要求されるタイルの画像ファイル用の「Segment」に記述されるURL等の情報を抽出し、画像選択部９８に供給する。
【０１３５】
位置決定部１２２は、メタファイル取得部９３により取得された音声メタファイルに含まれるオブジェクト位置情報と、MPD処理部１２１から供給されるコンテンツ画枠サイズ情報を取得する。また、位置決定部１２２は、ユーザにより指定される表示領域の画枠サイズ情報である表示領域画枠サイズ情報を取得する。位置決定部１２２は、オブジェクト位置情報、コンテンツ画枠サイズ情報、および表示領域画枠サイズ情報に基づいて、表示画像におけるオブジェクトの位置を決定（認識）する。位置決定部１２２は、決定されたオブジェクトの位置を音声合成処理部１２３に供給する。
【０１３６】
音声合成処理部１２３は、位置決定部１２２から供給されるオブジェクトの位置に基づいて、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成する。具体的には、音声合成処理部１２３は、オブジェクトの位置と音声を出力する各スピーカの位置とに基づいて、オブジェクトごとに、各スピーカに割り当てる音声データを決定する。そして、音声合成処理部１２３は、スピーカごとに、各オブジェクトの音声データを合成し、各スピーカの音声データとして出力する。オブジェクトの位置に基づいて各オブジェクトの音声データを合成する方法の詳細は、例えば、Ville Pulkki,“Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997に記載されている。
【０１３７】
画像合成処理部１２４は、画像復号処理部１００から供給されるタイル単位の画像データを合成する。画像合成処理部１２４は、変換部として機能し、合成後の画像データに対応する画像のサイズを動画コンテンツのサイズに変換して、表示画像を生成する。画像合成処理部１２４は、表示画像を出力する。
【０１３８】
（オブジェクトの位置の決定方法の説明）
図２４乃至図２６は、図２３の位置決定部１２２によるオブジェクトの位置の決定方法を説明する図である。
【０１３９】
表示画像１１１は、動画コンテンツ内の表示領域３１を抽出し、その表示領域３１のサイズを動画コンテンツのサイズに変換することにより生成される。従って、表示画像１１１は、図２４に示すように、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後、図２５に示すように、表示領域３１のサイズを動画コンテンツのサイズに変換したものと等価である。
【０１４０】
よって、まず、位置決定部１２２は、以下の式（１）により、表示領域３１の中心０を表示画像１１１の中心０´に移動させるときの水平方向の移動量θshiftを算出する。
【０１４１】
【数１】
2015008613.tif 000003
【０１４２】
式（１）において、θv1´は、表示領域３１の表示領域画枠サイズ情報のうちの左端の水平角度であり、θV2´は、右端の水平角度である。また、θv1は、コンテンツ画枠サイズ情報のうちの左端の水平角度であり、θv2は、右端の水平角度である。
【０１４３】
次に、位置決定部１２２は、移動量θshiftを用いて、以下の式（２）により、表示領域３１の中心０を表示画像１１１の中心０´に移動させた後の表示領域３１の左端の水平角度θv1_shift´と右端の水平角度θv2_shift´を求める。
【０１４４】
【数２】
2015008613.tif 000004
【０１４５】
式（２）によれば、水平角度θv1_shift´と水平角度θv2_shift´は、-180°から180°までの範囲を超えないように求められる。
【０１４６】
なお、上述したように、表示画像１１１は、表示領域３１の中心０を表示画像１１１の中心０´に移動させた後、表示領域３１のサイズを動画コンテンツのサイズに変換したものと等価である。従って、水平角度θV1およびθV2については、以下の式（３）が成立する。
【０１４７】
【数３】
2015008613.tif 000005
【０１４８】
位置決定部１２２は、以上のようにして移動量θshift、水平角度θv1_shift´、および水平角度θv2_shift´を求めた後、表示画像１１１におけるオブジェクトの水平角度を求める。具体的には、位置決定部１２２は、以下の式（４）により、移動量θshiftを用いて、表示領域３１の中心Cを表示画像１１１の中心C´に移動させた後のオブジェクト＃ｉの水平角度θAi_shiftを求める。
【０１４９】
【数４】
2015008613.tif 000006
【０１５０】
式（４）において、θAiは、オブジェクト＃ｉのオブジェクト位置情報のうちの水平角度である。また、式（４）によれば、水平角度θAi_shiftは、-180°から180°までの範囲を超えないように求められる。
【０１５１】
次に、オブジェクト＃ｉが表示領域３１内に存在する場合、即ちθv2_shif´＜θAi_shift＜θv1_shift´である場合、位置決定部１２２は、以下の式（５）により、表示画像１１１におけるオブジェクト＃ｉの水平角度θAi´を求める。
【０１５２】
【数５】
2015008613.tif 000007
【０１５３】
式（５）によれば、表示領域３１のサイズと表示画像１１１のサイズの比に応じて、表示画像１１１におけるオブジェクト＃ｉの位置と表示画像１１１の中心C´との距離を拡大することにより、水平角度θAi´が求められる。
【０１５４】
一方、オブジェクト＃ｉが表示領域３１内に存在しない場合、即ち、-180°≦θAi_shift≦θv2_shift´、または、θv1_shift´≦θAi_shift≦180°である場合、位置決定部１２２は、以下の式（６）により、表示画像１１１におけるオブジェクト＃ｉの水平角度θAi´を求める。
【０１５５】
【数６】
2015008613.tif 000008
【０１５６】
式（６）によれば、図２６に示すように、オブジェクト＃ｉが表示領域３１の右側の位置１５１に存在する（-180°≦θAi_shift≦θv2_shift´）場合、角度Ｒ１と角度Ｒ２の比に応じて水平角度θAi_shiftを拡大することにより、水平角度θAi´が求められる。なお、角度Ｒ１は、表示画像１１１の右端から視聴者１５３の真後ろの位置１５４までの角度であり、角度Ｒ２は、中心の移動後の表示領域３１の右端から位置１５４までの角度である。
【０１５７】
また、式（６）によれば、オブジェクト＃ｉが表示領域３１の左側の位置１５５に存在する（θv1_shift´≦θAi_shift≦180°）場合、角度Ｒ３と角度Ｒ４の比に応じて水平角度θAi_shiftを拡大することにより、水平角度θAi´が求められる。なお、角度Ｒ３は、表示画像１１１の左端から位置１５４までの角度であり、角度Ｒ４は、中心の移動後の表示領域３１の左端から位置１５４までの角度である。
【０１５８】
また、位置決定部１２２は、水平角度θAiと水平角度θAi´に基づいて、表示画像１１１におけるオブジェクト＃ｉの垂直角度γAi´を求める。具体的には、オブジェクト＃ｉが視聴者の前方にある場合、位置決定部１２２は、垂直角度γAi´を水平角度θAi´と同様に求める。
【０１５９】
一方、オブジェクト＃ｉが視聴者の後方にある場合、表示領域３１が拡大されると、水平角度θAiが表すオブジェクト＃ｉの位置は視聴者の真後ろの方向に移動する。従って、垂直角度γAi´が水平角度θAi´と同様に求められると、オブジェクト＃ｉのオブジェクト位置情報のうちの垂直角度γAiが表す位置は、視聴者の真上か真下の方向に移動する。しかしながら、オブジェクト＃ｉが視聴者の後方にある場合、オブジェクト＃ｉが水平角度θAiの変更によって視聴者の前方に移動した場合を除いて、表示領域３１が拡大または縮小しても垂直角度γAi´は変化させない、または、水平角度θAiの変化方向と同一の方向に変化させることが望ましい。
【０１６０】
よって、水平角度θAiが表すオブジェクト＃ｉの位置と、水平角度θAi´が表すオブジェクト＃ｉの位置が、両方とも視聴者の前方である場合、即ちabs(θAi)＜90°かつabs(θAi´)＜90°である場合、位置決定部１２２は、以下の式（７）により垂直角度γAi´を求める。
【０１６１】
【数７】
2015008613.tif 000009
【０１６２】
式（７）において、γv1´は、表示領域３１の表示領域画枠サイズ情報のうちの上端の垂直角度であり、γV2´は、下端の垂直角度である。また、γv1は、コンテンツ画枠サイズ情報のうちの上端の垂直角度であり、γv2は、下端の垂直角度である。
【０１６３】
また、水平角度θAiが表すオブジェクト＃ｉの位置と、水平角度θAi´が表すオブジェクト＃ｉの位置が、両方とも視聴者の後方である場合、即ちabs(θAi)≧90°かつabs(θAi´≧90°である場合、位置決定部１２２は、以下の式（８）により垂直角度γAi´を求める。即ち、垂直角度γAiがそのまま垂直角度γAi´にされる。
【０１６４】
【数８】
2015008613.tif 000010
【０１６５】
さらに、水平角度θAiが表すオブジェクト＃ｉの位置と水平角度θAi´が表すオブジェクト＃ｉの位置のいずれか一方が視聴者の前方であり、他方が後方である場合、即ちabs(θAi)＜90°かつabs(θAi´)≧90°、または、abs(θAi)≧90°かつabs(θAi´)＜90°である場合、位置決定部１２２は、以下のようにして垂直角度γAi´を求める。
【０１６６】
即ち、この場合、オブジェクト＃ｉは視聴者の前方から後方へ、または後方から前方へ移動するため、単純にオブジェクト＃ｉが視聴者の前方または後方に位置すると決め付けることはできない。従って、この場合、オブジェクト＃ｉの水平角度が、視聴者の前方のオブジェクト＃ｉの位置を表す角度と、視聴者の左側を表す角度である90°または右側を表す角度である-90°との間を移動する段階と、90°または-90°と視聴者の後方のオブジェクト＃ｉの位置を表す角度との間を移動する段階に分けて考える必要がある。
【０１６７】
具体的には、位置決定部１２２は、オブジェクト＃ｉの水平角度が、90°または-90°と視聴者の後方のオブジェクト＃ｉの位置を表す角度との間を移動する段階の垂直角度γAiの移動量を０に決定する。そして、位置決定部１２２は、オブジェクト＃ｉの水平角度が、視聴者の前方のオブジェクト＃ｉの位置を表す角度と、視聴者の左側を表す角度である90°または右側を表す角度である-90°との間を移動する段階の垂直角度γAiの移動量を、式（７）と同様に求める。但し、式（９）に示すように、式（７）の垂直角度γV2´,γV2,γV1´,γV1は、式(10)で定義される垂直角度γV2f´,γV2f,γV1f´,γV1fに置換される。
【０１６８】
【数９】
2015008613.tif 000011
【０１６９】
【数１０】
2015008613.tif 000012
【０１７０】
式（１０）におけるFsideは、オブジェクト＃ｉの水平角度が90°または-90°である場合の表示領域３１の垂直角度と表示画像１１１の垂直角度との比を表すものであり、以下の式（１１）により求められる。
【０１７１】
【数１１】
2015008613.tif 000013
【０１７２】
式（１１）に示すように、Fsideは、オブジェクト＃ｉの水平角度が90°または-90°である場合の表示領域３１の水平角度と表示画像１１１の水平角度の比にTransForm_Factorを乗じることで求められる。
【０１７３】
式（１１）におけるTransForm_Factorは、垂直角度γv1、γv2と水平角度θv1、θv2の比を表すファクタであり、以下の式（１２）で表される。このファクタTransForm_Factorを用いて、水平角度の変化量に対応する垂直角度の変化量を推定することができる。
【０１７４】
【数１２】
2015008613.tif 000014
【０１７５】
以上のように、オブジェクト＃ｉが視聴者の前方から後方へ移動する場合、即ちabs(θAi)＜90°かつabs(θAi´)≧90°である場合、オブジェクト＃ｉの垂直角度の変化量は、オブジェクト＃ｉの水平角度が水平角度θAiから90°または-90°まで移動する場合の変化量となる。従って、式（７）のγV1´とγV2´は、abs(θAi´)＝90°である場合の画枠サイズ、即ち、Fsideと垂直角度γv1とγv2の積となる。
【０１７６】
また、オブジェクト＃ｉが視聴者の後方から前方へ移動する場合、即ちabs(θAi)≧90°かつabs(θAi´)＜90°である場合、オブジェクト＃ｉの垂直角度の変化量は、オブジェクト＃ｉの水平角度が90°または-90°から水平角度θAi´まで移動する場合の変化量となる。従って、式（７）のγv1とγv2は、Fsideと垂直角度γv1とγv2の積となる。
【０１７７】
ここでは、オブジェクト＃ｉが視聴者の後方にある場合の垂直角度は変化しないものするが、垂直角度は、水平角度と同じ方向に変化してもよい。即ち、水平角度が表す位置が視聴者の真後ろの方向に移動する場合には、垂直角度が表す位置も視聴者の真後ろの方向に移動し、水平角度が表す位置が視聴者の真正面の方向に移動する場合には、垂直角度が表す位置も視聴者の真正面の方向に移動するようにしてもよい。
【０１７８】
また、位置決定部１２２は、表示画像１１１におけるオブジェクト＃ｉの距離ｒAi´を、オブジェクト＃ｉのオブジェクト位置情報のうちの距離ｒAiに決定する。位置決定部１２２は、以上のようにして求められるオブジェクト＃ｉの水平角度θAi´、垂直角度γAi´、および距離ｒAiを、オブジェクト＃iの位置として、音声合成処理部１２３に供給する。
【０１７９】
図２７は、水平角度θAiと水平角度θAi´の関係を表す図である。
【０１８０】
図２７のグラフにおいて、横軸は、水平角度θAiを表し、縦軸は、水平角度θAi´を表す。
【０１８１】
図２７に示すように、θV2´＜θAi＜θV1´である場合、水平角度θAiは、移動量θshiftだけ移動され、拡大されることにより、水平角度θAi´になる。また、-180°≦θAi≦θv2´、または、θv1´≦θAi≦180°である場合、水平角度θAiは、移動量θshiftだけ移動され、縮小されることにより、水平角度θAi´になる。
【０１８２】
図２８は、垂直角度γv1´と垂直角度γAi´の関係を表す図である。
【０１８３】
図２８のグラフにおいて、横軸は、垂直角度γv1´を表し、縦軸は、垂直角度γAi´を表す。
【０１８４】
図２８の例では、水平角度θAiと垂直角度γAiが45°である。また、垂直角度γv1,γv2は、水平角度θv1,θv2と同一の比率で変化する。即ち、TransForm_Factor＝１である。また、θv1＝29°、θv2＝-29°、γv1＝17.5°、γv2＝-17.5である。
【０１８５】
この場合、図２８に示すように、0°＜γv1´＜（Fside*γv1）である場合、垂直角度γAi´は、表示画像１１１の垂直方向の画枠サイズが大きいほど、大きくなる。また、（Fside*γv1）≦γv1´≦90°である場合、垂直角度γAi´は、表示画像１１１の垂直方向の画枠サイズの大きさによらず、γv1´＝（Fside*γv1）のとき、即ちオブジェクト＃ｉの水平角度θAi´が90°のときの垂直角度γAi´のままになる。
【０１８６】
（ストリーミング再生部の処理の説明）
図２９は、図２３のストリーミング再生部１２０のストリーミング再生処理を説明するフローチャートである。
【０１８７】
図２９のステップＳ１３１において、ストリーミング再生部１２０のMPD取得部９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部１２１に供給する。
【０１８８】
ステップＳ１３２において、MPD処理部１２１は、MPD取得部９１から供給されるMPDファイルから、画像用の「AdaptationSet」に記述されるコンテンツ画枠サイズ情報とタイル位置情報を取得する。MPD処理部１２１は、画枠サイズ情報を位置決定部１２２に供給し、タイル位置情報を画像選択部９８に供給する。また、MPD処理部１２１は、音声メタファイル用の「Segment」に記述されるURL等の情報を抽出し、メタファイル取得部９３に供給する。
【０１８９】
ステップＳ１３３において、メタファイル取得部９３は、MPD処理部１２１から供給されるURL等の情報に基づいて、そのURLで特定される音声メタファイルをWebサーバ１２に要求し、取得する。メタファイル取得部９３は、音声メタファイルに含まれるオブジェクト位置情報を位置決定部１２２に供給する。
【０１９０】
ステップＳ１３４において、位置決定部１２２は、オブジェクト位置情報、コンテンツ画枠サイズ情報、および表示領域画枠サイズ情報に基づいて、表示画像におけるオブジェクトの位置を決定する位置決定処理を行う。この位置決定処理の詳細は、後述する図３０を参照して説明する。
【０１９１】
ステップＳ１３５において、MPD処理部１２１は、MPDファイルから全てのオブジェクトの音声ファイル用の「Segment」に記述されるURL等の情報を抽出し、音声ファイル取得部９５に供給する。
【０１９２】
ステップＳ１３６において、音声ファイル取得部９５は、MPD処理部１２１から供給されるURL等の情報に基づいて、そのURLで特定される全てのオブジェクトの音声ファイルをWebサーバ１２に要求し、取得する。音声ファイル取得部９５は、取得されたオブジェクト単位の音声ファイルを音声復号処理部９６に供給する。
【０１９３】
ステップＳ１３７乃至Ｓ１４０の処理は、図１４のステップＳ３６乃至Ｓ３９の処理と同様であるので、説明は省略する。
【０１９４】
ステップＳ１４１において、音声合成処理部１２３は、位置決定部１２２から供給されるオブジェクトの位置に基づいて、音声復号処理部９６から供給されるオブジェクト単位の音声データを合成し、出力する。
【０１９５】
ステップＳ１４２において、画像合成処理部１２４は、画像復号処理部１００から供給されるタイル単位の画像データを合成する。
【０１９６】
ステップＳ１４３において、画像合成処理部１２４は、合成後の画像データに対応する画像のサイズを動画コンテンツのサイズに変換し、表示画像を生成する。そして、画像合成処理部１２４は、表示画像を出力し、処理を終了する。
【０１９７】
図３０は、図２９のステップＳ１３４の位置決定処理の詳細を説明するフローチャートである。この位置決定処理は、例えば、オブジェクトごとに行われる。
【０１９８】
図３０のステップＳ１５１において、位置決定部１２２は、表示画像における水平角度θAi´を推定する水平角度θAi´推定処理を行う。この水平角度θAi´推定処理の詳細は、後述する図３１を参照して説明する。
【０１９９】
ステップＳ１５２において、位置決定部１２２は、表示画像における垂直角度γAi´を推定する垂直角度γAi´推定処理を行う。この垂直角度γAi´推定処理の詳細は、水平方向が垂直方向に代わる点を除いて、ステップＳ１５１の水平角度θAi´推定処理と同様であるので、詳細な説明は省略する。
【０２００】
ステップＳ１５３において、位置決定部１２２は、表示画像における距離ｒAi´を、メタファイル取得部９３から供給されるオブジェクト位置情報のうちの距離ｒAiに決定する。
【０２０１】
ステップＳ１５４において、位置決定部１２２は、水平角度θAi´、垂直角度γAi´、および距離ｒAiを、オブジェクト＃ｉの位置として音声合成処理部１２３に出力する。そして、処理は、図２９のステップＳ１３４に戻り、ステップＳ１３５に進む。
【０２０２】
図３１は、図３０のステップＳ１５１の水平角度θAi´推定処理の詳細を説明するフローチャートである。
【０２０３】
図３１のステップＳ１７１において、位置決定部１２２は、メタファイル取得部９３から供給されるオブジェクト位置情報のうちの水平角度θAiを取得する。
【０２０４】
ステップＳ１７２において、位置決定部１２２は、MPD処理部１２１から供給されるコンテンツ画枠サイズ情報と、ユーザにより指定される表示領域画枠サイズ情報を取得する。
【０２０５】
ステップS１７３において、位置決定部１２２は、コンテンツ画枠サイズ情報と表示領域画枠サイズ情報に基づいて、上述した式（１）により、移動量θshiftを算出する。
【０２０６】
ステップS１７４において、位置決定部１２２は、移動量θshiftと表示領域画枠サイズを用いて、上述した式（２）により、水平角度θv1_shift´およびθv2_shift´を算出する。
【０２０７】
ステップＳ１７５において、位置決定部１２２は、水平角度θAiと移動量θshiftを用いて、上述した式（４）により、水平角度θAi_shiftを求める。
【０２０８】
ステップＳ１７６において、位置決定部１２２は、オブジェクト＃ｉが表示領域３１内に存在する（オブジェクト＃ｉの水平角度が表示領域３１の両端の水平角度の間である）かどうか、即ちθv2_shift´＜θAi_shift＜θv1_shift´であるかどうかを判定する。
【０２０９】
ステップＳ１７６でオブジェクト＃ｉが表示領域３１内に存在すると判定された場合、即ちθv2_shift´＜θAi_shift＜θv1_shift´である場合、処理はステップＳ１７７に進む。ステップＳ１７７において、位置決定部１２２は、コンテンツ画枠サイズ情報、水平角度θv1_shift´およびθv2_shift´、並びに水平角度θAi_shiftに基づいて、上述した式（５）により水平角度θAi´を算出する。
【０２１０】
一方、ステップＳ１７６でオブジェクト＃ｉが表示領域３１内に存在しないと判定された場合、即ち、-180°≦θAi_shift≦θv2_shift´、または、θv1_shift´≦θAi_shift≦180°である場合、処理はステップＳ１７８に進む。ステップＳ１７８において、位置決定部１２２は、コンテンツ画枠サイズ情報、水平角度θv1_shift´またはθv2_shift´、および水平角度θAi_shiftに基づいて、上述した式（６）により水平角度θAi´を算出する。
【０２１１】
ステップＳ１７７またはステップＳ１７８の処理後、処理は、図３０のステップＳ１５１に戻り、処理はステップＳ１５２に進む。
【０２１２】
なお、第２実施の形態では、表示画像のサイズが動画コンテンツのサイズと同一であるようにしたが、異なっていてもよい。
【０２１３】
また、第２実施の形態において、全てのオブジェクトの音声データが合成されて出力されるのではなく、一部のオブジェクト(例えば、表示領域内のオブジェクト、表示領域から所定の範囲内のオブジェクト等)の音声データのみが合成されて出力されるようにしてもよい。出力する音声データのオブジェクトの選択方法は、予め決定されていてもよいし、ユーザにより指定されるようにしてもよい。
【０２１４】
＜第３実施の形態＞
（表示画像におけるオブジェクトの位置の決定方法の説明）
本開示を適用した情報処理システムの第３実施の形態は、図２３の位置決定部１２２による表示画像におけるオブジェクトの位置の決定方法を除いて、第２実施の形態と同一であるため、以下では、図２３の位置決定部１２２による表示画像におけるオブジェクトの位置の決定方法についてのみ説明する。
【０２１５】
視聴者が動画コンテンツを試聴する場合、視聴者から画枠への距離が変化すると、視聴者から見る画枠の角度もそれに応じて変化する。例えば、視聴者が画枠に近づくと、画枠は大きく見えるようになり、画枠から遠くなると、画枠は小さく見えるようになる。従って、表示領域や画枠サイズの変化は、視聴者の移動によって表現することができる。そこで、第３実施の形態では、視聴者の移動によって表示領域のサイズ変更が表現される。
【０２１６】
図３２乃至図３５は、本開示を適用した情報処理システムの第３実施の形態における表示画像におけるオブジェクトの位置の決定方法を説明する図である。
【０２１７】
図３２と図３３は、動画コンテンツ内の表示領域３１のサイズを変更する前の状態を説明する図である。図３２は、視聴者の頭頂部から見た上面図であり、図３２は視聴者の右側から見た側面図である。
【０２１８】
図３４と図３５は、視聴者が移動し、視聴者の移動によって視聴者から見る表示領域３１のサイズが動画コンテンツのサイズと同じサイズになった場合の状態を説明する図である。図３４は視聴者の頭頂部から見た上面図であり、図３５は視聴者の右側から見た側面図である。
【０２１９】
図３２乃至図３５に示すように、表示領域３１の内部にあるオブジェクト＃１、並びに、表示領域３１の外部にあるオブジェクト＃２およびオブジェクト＃３と、視聴者との相対的位置関係は、視聴者の移動によって変化する。よって、位置決定部１２２は、表示領域３１のサイズを動画コンテンツのサイズに変更した場合のオブジェクト位置情報、即ち表示画像におけるオブジェクト位置情報を、視聴者の移動によって変更されたオブジェクトのオブジェクト位置情報を求めることで推定する。
【０２２０】
具体的には、まず、位置決定部１２２は、式（１３）により、移動前の表示領域３１の横幅ScreenWidth、左端から中央までの幅ScreenLeftWidth、および上端から中央までの高さScreenTopHeightを求める。
【０２２１】
【数１３】
2015008613.tif 000015
【０２２２】
式（１３）において、ｒvは、視聴者から画枠までの距離であり、θv1´は、表示領域３１の表示領域画枠サイズ情報のうちの左端の水平角度であり、θV2´は、右端の水平角度であり、γv1´は、上端の垂直角度である。
【０２２３】
次に、位置決定部１２２は、式（１４）により、視聴者の移動によって視聴者から見る表示領域３１のサイズが動画コンテンツのサイズと同じサイズになった場合の、視聴者から画枠までの距離ｒv´を推定する。
【０２２４】
【数１４】
2015008613.tif 000016
【０２２５】
式（１４）において、θv1は、移動後の表示領域３１の表示領域画枠サイズ情報、即ち、コンテンツ画枠サイズ情報のうちの左端の水平角度であり、θv2は、右端の水平角度である。
【０２２６】
次に、位置決定部１２２は、式（１５）により、視聴者の移動によって視聴者から見る表示領域３１のサイズが動画コンテンツのサイズと同じサイズになった場合の、視聴者の前後方向の移動量Lengthshift、左右方向の移動量Widthshif、および上下方向の移動量Heightshiftを推定する。
【０２２７】
【数１５】
2015008613.tif 000017
【０２２８】
式（１５）において、γv1は、移動後の表示領域３１の表示領域画枠サイズ情報、即ち、コンテンツ画枠サイズ情報のうちの上端の垂直角度である。また、FAspect_ratioは、移動前と移動後の視聴者から見る表示領域３１の垂直方向の幅と水平方向の幅との比の変化量を表すファクタであり、以下の式（１６）で表される。このファクタFAspect_ratioを用いて、水平方向の幅の変化量に対応する垂直方向の幅の変化量を推定することができる。
【０２２９】
【数１６】
2015008613.tif 000018
【０２３０】
式（１６）において、γv2は、移動後の表示領域３１の表示領域画枠サイズ情報、即ち、コンテンツ画枠サイズ情報のうちの下端の垂直角度である。γv２´は、表示領域３１の表示領域画枠サイズ情報のうちの下端の垂直角度である。
【０２３１】
最後に、以上により求められた情報を用いて、位置決定部１２２は、表示画像におけるオブジェクトのオブジェクト位置情報を推定する。
【０２３２】
具体的には、オブジェクトが表示領域３１上に存在する場合、即ち、θv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´である場合（図３２乃至図３５の例では、オブジェクト＃１である場合）、位置決定部１２２は、以下の式（１７）により、表示画像におけるオブジェクト位置情報を推定する。
【０２３３】
【数１７】
2015008613.tif 000019
【０２３４】
式（１７）において、θAi´は、移動後のオブジェクト＃ｉの水平角度であり、θAiは、移動前のオブジェクト＃ｉの水平角度である。γA1´は、移動後のオブジェクト＃ｉの垂直角度であり、垂直角度γAiは、移動前のオブジェクト＃ｉの水平角度である。ｒAi´は、移動後のオブジェクト＃ｉの距離であり、ｒAiは、移動前のオブジェクト＃ｉの距離である。
【０２３５】
一方、オブジェクトが表示領域３１上に存在しない場合、即ち、θv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´ではない場合（図３２乃至図３５の例では、オブジェクト＃２とオブジェクト＃３である場合）、位置決定部１２２は、以下の式（１８）により、表示画像におけるオブジェクト位置情報を推定する。
【０２３６】
【数１８】
2015008613.tif 000020
【０２３７】
なお、式（１８）は、以下の式（１９）のように変形してもよい。
【０２３８】
【数１９】
2015008613.tif 000021
【０２３９】
式（１９）において、xAi´、yv1´、zAi´は、それぞれ、移動後のオブジェクト＃ｉのxyz座標系における前後方向（奥行き方向）の位置、左右方向の位置、上下方向の位置である。式（１９）は、式（１８）の変形で得られたものであり、式（１８）と式（１９）は、等価である。
【０２４０】
ここでは、視聴者から画枠までの距離ｒvと移動前のオブジェクト＃ｉの距離ｒAiを用いて、移動後のオブジェクト位置情報を推定したが、ｒvとｒAiのいずれかが与えられていない場合は、ｒv＝ｒAiと仮定しても良い。さらに、両方が与えられていない場合は、ｒv＝ｒAi＝１と仮定しても良い。
【０２４１】
なお、ｒvとｒAiの少なくとも一方が与えられていない場合には、視聴者の前後方向の移動量がｒvを超えないようにするために、式（１４）で求められたｒv´が2*ｒvを超えないという制限を設けても良い。即ち、式（１４）で求められたｒv´を用いて、ｒv´=min（2*ｒv,ｒv´）という式により、最終的なｒv´を求めるようにしてもよい。
【０２４２】
（ストリーミング再生部の処理の説明）
本開示を適用した情報処理システムの第３実施の形態のストリーミング再生部によるストリーミング再生処理は、ステップＳ１３４の位置決定処理を除いて図２９のストリーミング再生処理と同一であるため、以下では、位置決定処理についてのみ説明する。
【０２４３】
図３６は、本開示を適用した情報処理システムの第３実施の形態における位置決定処理の詳細を説明するフローチャートである。
【０２４４】
図３６のステップＳ１８１において、位置決定部１２２は、移動前の表示領域３１の表示領域画枠サイズ情報とコンテンツ画枠サイズ情報を取得する。具体的には、位置決定部１２２は、移動前の表示領域３１の画枠の左端の水平角度θv1´および右端の水平角度θv2´、並びに、上端の垂直角度γv1´および下端の垂直角度γv2´を取得する。また、位置決定部１２２は、動画コンテンツの画枠の左端の水平角度θv1および右端の水平角度θv2、上端の垂直角度γv1および下端の垂直角度γv2´、並びに距離ｒvを取得する。
【０２４５】
ステップＳ１８２において、位置決定部１２２は、水平角度θv1´およびθV2´、垂直角度γv1´、並びに距離ｒvを用いて、上述した式（１３）により、横幅ScreenWidth、幅ScreenLeftWidth、および高さScreenTopHeightを求める。
【０２４６】
ステップＳ１８３において、位置決定部１２２は、横幅ScreenWidth並びに水平角度θv1およびθv2を用いて、上述した式（１４）により、移動後の距離ｒv´を推定する。
【０２４７】
ステップＳ１８４において、位置決定部１２２は、幅ScreenLeftWidth、高さScreenTopHeigh、距離ｒvおよびｒv´、水平角度θv1,θv２,θv1´、およびθv２´、並びに垂直角度γv1,γv2,γv1´、およびγv2´を用いて、上述した式（１５）および（１６）により、視聴者の移動量Lengthshift,Widthshift、およびHeightshiftを推定する。
【０２４８】
ステップＳ１８５において、位置決定部１２２は、再生対象の最初のオブジェクト＃ｉを選択する。
【０２４９】
ステップＳ１８６において、位置決定部１２２は、選択されたオブジェクト＃ｉの移動前のオブジェクト位置情報である水平角度θAi、垂直角度γAi、および距離ｒAiを取得する。
【０２５０】
ステップＳ１８７において、位置決定部１２２は、オブジェクト＃ｉが表示領域３１上に存在するかどうか、即ちθv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´であるかどうかを判定する。
【０２５１】
ステップＳ１８７でオブジェクト＃ｉが表示領域３１上に存在すると判定された場合、即ちθv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´である場合、処理はステップＳ１８８に進む。
【０２５２】
ステップＳ１８８において、位置決定部１２２は、移動量WidthshifおよびHeightshift、距離ｒvおよびｒv´、水平角度θAiおよびθAi´、並びに垂直角度γAiおよびγAi´を用いて、上述した式（１７）により、表示画像におけるオブジェクト＃ｉのオブジェクト位置情報を推定する。そして、処理はステップＳ１９０に進む。
【０２５３】
一方、ステップＳ１８７でオブジェクト＃ｉが表示領域３１上に存在しないと判定された場合、即ち、θv2´≦θAi≦θv1´かつγv2´≦γAi≦γv1´ではない場合、処理はステップＳ１８９に進む。
【０２５４】
ステップＳ１８９において、位置決定部１２２は、移動量Lengthshift,Widthshift、およびHeightshift、距離ｒAi、水平角度θAiおよびθAi´、並びに垂直角度γAiおよびγAi´を用いて、上述した式（１８）により、表示画像におけるオブジェクト＃ｉのオブジェクト位置情報を推定する。そして、処理はステップＳ１９０に進む。
【０２５５】
ステップＳ１９０において、位置決定部１２２は、再生対象のすべてのオブジェクトのオブジェクト位置情報が推定されたかどうかを判定する。ステップS１９０ですべてのオブジェクトのオブジェクト位置情報が推定されていないと判定された場合、処理はステップＳ１９１に進む。
【０２５６】
ステップＳ１９１において、位置決定部１２２は、再生対象のオブジェクトのうちの、現在選択されているオブジェクトの次のオブジェクトを選択し、処理をステップS１８６に戻す。
【０２５７】
一方、ステップＳ１９０ですべてのオブジェクトのオブジェクト位置情報が推定されたと判定された場合、処理は、Ｓ１９２に進む。
【０２５８】
ステップＳ１９２において、位置決定部１２２は、表示画像における再生対象のすべてのオブジェクトのオブジェクト位置情報を音声合成処理部１２３に出力する。ステップＳ１９２の処理後、処理は、図２９のステップＳ１３４に戻り、ステップＳ１３５に進む。
【０２５９】
なお、第３実施の形態では、表示画像のサイズが動画コンテンツのサイズと同一であるようにしたが、異なっていてもよい。
【０２６０】
また、第３実施の形態において、再生対象の全てのオブジェクトの音声データが合成されて出力されるのではなく、一部のオブジェクト(例えば、表示領域内のオブジェクト、表示領域から所定の範囲内のオブジェクト等)の音声データのみが合成されて出力されるようにしてもよい。出力する音声データのオブジェクトの選択方法は、予め決定されていてもよいし、ユーザにより指定されるようにしてもよい。
【０２６１】
＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述したWebサーバ１２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２６２】
図３７は、上述したWebサーバ１２の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２６３】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２６４】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２６５】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２６６】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２６７】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２６８】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０２６９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７０】
また、動画再生端末１４のハードウエア構成は、図３７のコンピュータと同様の構成にすることができる。この場合、例えば、CPU２０１が、制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行する。動画再生端末１４の処理は、ハードウエアにより実行することもできる。
【０２７１】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２７２】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７３】
例えば、ファイル生成装置１１は、タイル単位で画像ファイルを生成するのではなく、全てのタイルの符号化データを多重化してビデオストリームを生成し、１つの画像ファイルを生成するようにしてもよい。
【０２７４】
また、表示領域３１に対応する音声は、表示領域３１内のオブジェクトの音声だけでなく、表示領域３１外の固定されたオブジェクトの音声も含むようにしてもよい。
【０２７５】
さらに、音声データには、オブジェクト単位の音声データのほか、チャネルオーディオの音声データ、HOA（Higher−Order Ambisonics）オーディオの音声データ、SAOC(Spatial Audio Object Coding)の音声データ、音声データのメタデータ(scene情報、動的・静的metadata)などが含まれるようにしてもよい。この場合、例えば、サブサンプルとして、各オブジェクトの符号化データだけでなく、これらのデータの符号化データも配置される。
【０２７６】
さらに、本開示は、以下のような構成もとることができる。
【０２７７】
（１）
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送部
を備える情報処理装置。
（２）
前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
ように構成された
前記（１）に記載の情報処理装置。
（３）
前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
ように構成された
前記（１）または（２）に記載の情報処理装置。
（４）
前記音声位置情報を含む前記音声データのメタデータファイルを生成するメタファイル生成部と、
前記画枠サイズ情報と前記メタデータファイルを特定する情報を制御情報として生成する情報生成部と、
をさらに備え、
前記伝送部は、前記情報生成部により生成された前記制御情報と前記メタファイル生成部により生成された前記メタデータファイルを伝送する
ように構成された
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記伝送部は、前記画枠サイズ情報と前記音声位置情報に基づいて要求される、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記音声データを伝送する
ように構成された
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記音声データは、オブジェクト単位の音声データであり、
前記伝送部は、前記表示領域に対応する前記オブジェクトの音声データを伝送する
ように構成された
前記（５）に記載の情報処理装置。
（７）
複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイルを生成する音声ファイル生成部
をさらに備え、
前記伝送部は、前記音声ファイル生成部により生成された前記音声ファイル内の前記表示領域に対応する前記オブジェクトの音声データを伝送する
ように構成された
前記（６）に記載の情報処理装置。
（８）
複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルを生成する音声ファイル生成部
をさらに備え、
前記伝送部は、各オブジェクトの前記音声ファイルを特定するファイル特定情報を伝送し、前記画枠サイズ情報、前記音声位置情報、および前記ファイル特定情報に基づいて要求される前記表示領域に対応する前記オブジェクトの音声データを含む前記音声ファイルを伝送する
ように構成された
前記（６）に記載の情報処理装置。
（９）
情報処理装置が、
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを伝送する伝送ステップ
を含む情報処理方法。
（１０）
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取り部と、
前記受け取り部により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定部と
を備える情報処理装置。
（１１）
前記画枠サイズ情報は、前記画像データの水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
ように構成された
前記（１０）に記載の情報処理装置。
（１２）
前記音声位置情報は、前記音声データを取得した位置と基点とを結ぶ線の水平方向および垂直方向の角度、並びに、前記音声データを取得した位置と前記基点との距離を示す情報である
ように構成された
前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記音声データは、オブジェクト単位の音声データであり、
前記位置決定部は、前記画枠サイズ情報と各オブジェクトの前記音声位置情報に基づいて、前記画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
ように構成された
前記（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、前記画像データに対応する画像のうちの表示する領域である表示領域に対応する前記オブジェクトの音声データを選択する音声選択部
をさらに備え、
前記受け取り部は、前記音声選択部により選択された前記音声データを受け取る
ように構成された
前記（１３）に記載の情報処理装置。
（１５）
前記受け取り部は、複数の前記オブジェクトの音声データと、各オブジェクトの前記音声データの音声ファイル内の位置を表すデータ位置情報とを含む前記音声ファイル内の、前記音声選択部により選択された前記オブジェクトの音声データを受け取る
ように構成された
前記（１４）に記載の情報処理装置。
（１６）
前記受け取り部は、複数の前記オブジェクトの音声データのそれぞれを含む音声ファイルのうちの、前記音声選択部により選択された前記オブジェクトの音声データを含む前記音声ファイルを受け取る
ように構成された
前記（１４）に記載の情報処理装置。
（１７）
前記位置決定部により決定された各オブジェクトの前記音声データの取得位置に基づいて、複数の前記オブジェクトの音声データを合成する音声合成処理部
をさらに備える
前記（１３）に記載の情報処理装置。
（１８）
前記画像データに対応する画像のうちの表示する領域である表示領域の画像データのサイズを、前記画像データのサイズに変換する変換部
をさらに備え、
前記位置決定部は、前記画像データの前記画枠サイズ情報、各オブジェクトの前記音声位置情報、および前記表示領域の画枠サイズ情報に基づいて、前記変換部によりサイズが変換された前記表示領域の画像データに対応する画像上の各オブジェクトの前記音声データの取得位置を決定する
ように構成された
前記（１７）に記載の情報処理装置。
（１９）
前記表示領域の画枠サイズ情報は、前記表示領域の水平方向および垂直方向の画角、並びに、前記画角の基点と画像平面との距離を示す情報である
ように構成された
前記（１８）に記載の情報処理装置。
（２０）
画像データの画枠サイズを示す画枠サイズ情報と、音声データの取得位置を示す音声位置情報とを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記画像データの前記画枠サイズ情報と前記音声位置情報に基づいて、前記画像データに対応する画像上の前記音声データの取得位置を決定する位置決定ステップと
を含む情報処理方法。
【符号の説明】
【０２７８】
１１  ファイル生成装置，  １２  Webサーバ，  １４  動画再生端末，  ５６  音声ファイル生成部，  ５７  MPD生成部，  ９１  MPD取得部，  ９４  音声選択部，  ９５  音声ファイル取得部，  １２２  位置決定部，  １２３  音声合成処理部，  １２４  画像合成処理部
【図１】
2015008613.tif 000022
【図２】
2015008613.tif 000023
【図３】
2015008613.tif 000024
【図４】
2015008613.tif 000025
【図５】
2015008613.tif 000026
【図６】
2015008613.tif 000027
【図７】
2015008613.tif 000028
【図８】
2015008613.tif 000029
【図９】
2015008613.tif 000030
【図１０】
2015008613.tif 000031
【図１１】
2015008613.tif 000032
【図１２】
2015008613.tif 000033
【図１３】
2015008613.tif 000034
【図１４】
2015008613.tif 000035
【図１５】
2015008613.tif 000036
【図１６】
2015008613.tif 000037
【図１７】
2015008613.tif 000038
【図１８】
2015008613.tif 000039
【図１９】
2015008613.tif 000040
【図２０】
2015008613.tif 000041
【図２１】
2015008613.tif 000042
【図２２】
2015008613.tif 000043
【図２３】
2015008613.tif 000044
【図２４】
2015008613.tif 000045
【図２５】
2015008613.tif 000046
【図２６】
2015008613.tif 000047
【図２７】
2015008613.tif 000048
【図２８】
2015008613.tif 000049
【図２９】
2015008613.tif 000050
【図３０】
2015008613.tif 000051
【図３１】
2015008613.tif 000052
【図３２】
2015008613.tif 000053
【図３３】
2015008613.tif 000054
【図３４】
2015008613.tif 000055
【図３５】
2015008613.tif 000056
【図３６】
2015008613.tif 000057
【図３７】
2015008613.tif 000058
【国際調査報告】
2015008613.tif 000059
2015008613.tif 000060
2015008613.tif 000061
2015008613.tif 000062