(57)【要約】  本開示は、全天球画像の生成に用いられた画像を識別することができるようにするファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関する。MPDファイル生成部は、撮影画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた撮影画像を識別する識別情報を設定する。本開示は、例えば、MPEG-DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）を用いて配信される全天球画像のセグメントファイルを生成するファイル生成装置等に適用することができる。
2017195881.tif 000002
【特許請求の範囲】
【請求項１】
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報を設定する設定部
を備えるファイル生成装置。
【請求項２】
前記設定部は、前記全天球画像を前記３Ｄモデルにマッピングする際に用いられるマッピング情報を設定する
ように構成された
請求項１に記載のファイル生成装置。
【請求項３】
前記マッピング情報は、前記画像内の基準画像が前記３Ｄモデルの基準位置に所定の傾きでマッピングされるように、前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる情報である
ように構成された
請求項２に記載のファイル生成装置。
【請求項４】
前記マッピング情報は、前記全天球画像内の前記基準画像の位置と、前記基準画像が前記基準位置にマッピングされるように前記全天球画像を前記３Ｄモデルにマッピングした際に前記３Ｄモデル上の前記基準画像の傾きを前記所定の傾きにする回転角とにより構成される
ように構成された
請求項３に記載のファイル生成装置。
【請求項５】
前記マッピング情報は、前記基準画像が前記基準位置に前記所定の傾きでマッピングされるように前記全天球画像を前記３Ｄモデルにマッピングする際の前記全天球画像の回転角である
請求項３に記載のファイル生成装置。
【請求項６】
前記設定部は、前記画像を３Ｄモデルにマッピングすることにより生成された複数の前記全天球画像に対して同一の前記識別情報を設定する
ように構成された
請求項１に記載のファイル生成装置。
【請求項７】
前記設定部は、前記複数の方法のうちの少なくとも１つの方法で生成された前記全天球画像と、残りの方法で生成された各領域の前記全天球画像に対して同一の識別情報を設定する
ように構成された
請求項６に記載のファイル生成装置。
【請求項８】
前記設定部は、前記全天球画像を描画面に投影することにより生成される画像に対して前記識別情報を設定する
請求項１に記載のファイル生成装置。
【請求項９】
前記設定部は、前記画像に対して、その描画面に関する情報を含む描画面情報を設定する
ように構成された
請求項８に記載のファイル生成装置。
【請求項１０】
前記描画面情報は、前記描画面の位置と画角を含む
ように構成された
請求項９に記載のファイル生成装置。
【請求項１１】
前記描画面情報は、前記画像の描画面が２次元平面または球面であることを示す面種類情報を含む
ように構成された
請求項９に記載のファイル生成装置。
【請求項１２】
前記描画面はグループ化され、
前記描画面情報は、その描画面情報が位置と画角を示す前記描画面が属するグループを示す情報と、そのグループに属する描画面全体の画角を含む
ように構成された
請求項９に記載のファイル生成装置。
【請求項１３】
前記設定部は、前記全天球画像を描画面に投影することにより生成される複数の画像のそれぞれに対して、その画像の生成に用いられた前記全天球画像がマッピングされた前記３Ｄモデルを識別する情報として同一の情報を設定する
ように構成された
請求項８に記載のファイル生成装置。
【請求項１４】
前記３Ｄモデルは球であり、
前記設定部は、前記３Ｄモデルの半径を示す情報を設定する
ように構成された
請求項１に記載のファイル生成装置。
【請求項１５】
前記設定部は、前記全天球画像のファイルを管理する管理ファイルに前記識別情報を設定する
ように構成された
請求項１に記載のファイル生成装置。
【請求項１６】
前記設定部は、前記全天球画像のファイルに前記識別情報を設定する
ように構成された
請求項１に記載のファイル生成装置。
【請求項１７】
ファイル生成装置が、
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報を設定する設定ステップ
を含むファイル生成方法。
【請求項１８】
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択部
を備える再生装置。
【請求項１９】
再生装置が、
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択ステップ
を含む再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関し、特に、全天球画像の生成に用いられた画像を識別することができるようにしたファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関する。
【背景技術】
【０００２】
マルチカメラにより撮影された撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。【０００３】
このような記録装置では、全天球画像の生成方法として、正距円筒図法を用いた方法やキューブマッピングなどが用いられる。全天球画像の生成方法が正距円筒図法を用いた方法である場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法がキューブマッピングである場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。【０００４】
一方、動画コンテンツのストリーミング方式として、MPEG−DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）がある。MPEG−DASHでは、動画コンテンツの符号化ストリームを管理する管理ファイルが、配信サーバから端末装置に送信され、端末装置は、管理ファイルに基づいて再生対象とする符号化ストリームを選択し、配信サーバに要求する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１４１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、配信サーバが、MPEG-DASHにより全天球画像の符号化ストリームを端末装置に配信する場合に、全天球画像の生成に用いられた撮影画像を識別する識別情報を設定することは考えられていなかった。従って、端末装置は、全天球画像の生成に用いられた撮影画像を識別し、その撮影画像に基づいて、再生対象とする全天球画像を選択することはできなかった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、全天球画像の生成に用いられた画像を識別することができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の第１の側面のファイル生成装置は、画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報を設定する設定部を備えるファイル生成装置である。【０００９】
本開示の第１の側面のファイル生成方法は、本開示の第１の側面のファイル生成装置に対応する。【００１０】
本開示の第１の側面においては、画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報が設定される。【００１１】
本開示の第２の側面の再生装置は、画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択部を備える再生装置である。【００１２】
本開示の第２の側面の再生方法は、本開示の第２の側面の再生装置に対応する。【００１３】
本開示の第２の側面においては、画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報に基づいて、再生対象とする前記全天球画像が選択される。【００１４】
なお、第１の側面のファイル生成装置および第２の側面の再生装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１５】
また、第１の側面のファイル生成装置および第２の側面の再生装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１６】
本開示の第１の側面によれば、ファイルを生成することができる。また、本開示の第１の側面によれば、全天球画像の生成に用いられた画像を識別することができるようにファイルを生成することができる。【００１７】
本開示の第２の側面によれば、ファイルを選択することができる。また、本開示の第２の側面によれば、全天球画像の生成に用いられた画像を識別することができる。【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１の生成装置の構成例を示すブロック図である。
【図３】３Ｄモデルとしての立方体を示す斜視図である。
【図４】キューブマッピングにより生成される全天球画像の例を示す図である。
【図５】３Ｄモデルとしての球を示す斜視図である。
【図６】正距円筒図法を用いた方法により生成される全天球画像の例を示す図である。
【図７】図２のMPDファイル生成部により生成されるMPDファイルの例を示す図である。
【図８】ID，X,Y,λを説明する図である。
【図９】マッピング情報を説明する図である。
【図１０】図２の生成装置のファイル生成処理を説明するフローチャートである。
【図１１】図１の再生装置の構成例を示すブロック図である。
【図１２】図１１の再生装置の再生処理を説明するフローチャートである。
【図１３】本開示を適用した配信システムの第２実施の形態における生成装置の構成例を示すブロック図である。
【図１４】図１３のMPDファイル生成部により生成されるMPDファイルの第１の例を示す図である。
【図１５】図１３の生成装置のファイル生成処理を説明するフローチャートである。
【図１６】本開示を適用した配信システムの第２実施の形態における再生装置の構成例を示すブロック図である。
【図１７】図１６の再生装置の再生処理を説明するフローチャートである。
【図１８】図１３のMPDファイル生成部により生成されるMPDファイルの第２の例を示す図である。
【図１９】図１３のMPDファイル生成部により生成されるMPDファイルの第３の例を示す図である。
【図２０】図１３のMPDファイル生成部により生成されるMPDファイルの第４の例を示す図である。
【図２１】種類情報の例を示す図である。
【図２２】図１３のMPDファイル生成部により生成されるMPDファイルの第５の例を示す図である。
【図２３】本開示を適用した配信システムの第３実施の形態における生成装置の構成例を示すブロック図である。
【図２４】２次元平面情報の構成例を示す図である。
【図２５】２次元平面情報を説明する図である。
【図２６】１８個の２次元平面の例を示す図である。
【図２７】図２６の１８個の２次元平面の２次元平面情報の例を示す図である。
【図２８】対角画角を説明する図である。
【図２９】高解像度画像のSRDの設定方法を説明する図である。
【図３０】図２３のMPDファイル生成部により生成されるMPDファイルの第１の例を示す図である。
【図３１】図２３の生成装置のファイル生成処理を説明するフローチャートである。
【図３２】本開示を適用した配信システムの第３実施の形態における再生装置の構成例を示すブロック図である。
【図３３】図３２のマッピング処理部によるマッピングを説明する図である。
【図３４】図３２の再生装置の再生処理を説明するフローチャートである。
【図３５】図２３のMPDファイル生成部により生成されるMPDファイルの第２の例を示す図である。
【図３６】６個の共通画像の２次元平面情報を示す図である。
【図３７】図２３のMPDファイル生成部により生成されるMPDファイルの第３の例を示す図である。
【図３８】図２３のMPDファイル生成部により生成されるMPDファイルの第４の例を示す図である。
【図３９】第４実施の形態における２次元平面情報の構成例を示す図である。
【図４０】FOV_flagが０である場合の描画面を説明する図である。
【図４１】図３９の２次元情報を記述するMPDファイルの第１の例を示す図である。
【図４２】図３９の２次元情報を記述するMPDファイルの第２の例を示す図である。
【図４３】図３９の２次元情報を記述するMPDファイルの第２の例の変形例を示す図である。
【図４４】キューブストリームの３Dモデルの例を示す斜視図である。
【図４５】３Dモデルの各面を展開したSRD情報の例を示す図である。
【図４６】描画面情報の例を示す図である。
【図４７】図３９の２次元情報を記述するMPDファイルの第３の例を示す図である。
【図４８】本開示を適用した生成装置の第５実施の形態の構成例を示すブロック図である。
【図４９】画像に関する各種の情報の設定方法を説明する図である。
【図５０】第１の方法におけるhvcCボックスの構成例を示す図である。
【図５１】第１の方法におけるscriボックスの構成例を示す図である。
【図５２】第１の方法におけるtrefボックスの構成例を示す図である。
【図５３】第２の方法におけるVisual Sample Entryの構成例を示す図である。
【図５４】第３の方法におけるschiボックスの構成例を示す図である。
【図５５】サンプルグループを説明する図である。
【図５６】第４の方法におけるSpherical Coordinate Region Info Entryの構成例を示す図である。
【図５７】第４の方法におけるSpherical Coordinate Region Info Entryの他の構成例を示す図である。
【図５８】第４の方法におけるscriボックスの構成例を示す図である。
【図５９】第５の方法におけるセグメントファイルの構成例を示す図である。
【図６０】第５の方法におけるSphericalCoordinateRegionInfoSampleの構成例を示す図である。
【図６１】第５の方法におけるSpherical Coordinate Region Info Sample Entryの構成例を示す図である。
【図６２】第５の方法におけるSpherical Coordinate Region Info Configuration Boxの構成例を示す図である。
【図６３】第５の方法におけるSphericalCoordinateRegionInfoSampleの他の構成例を示す図である。
【図６４】第５の方法におけるSphericalCoordinateRegionInfoSampleのさらに他の構成例を示す図である。
【図６５】第５の方法におけるSpherical Coordinate Region Info Configuration Boxの他の構成例を示す図である。
【図６６】第５の方法におけるSphericalCoordinateRegionInfoSampleのさらに他の構成例を示す図である。
【図６７】図４８の生成装置のファイル生成処理を説明するフローチャートである。
【図６８】本開示を適用した配信システムの第５実施の形態における再生装置の構成例を示すブロック図である。
【図６９】図６８の再生装置の再生処理を説明するフローチャートである。
【図７０】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：配信システム（図１乃至図１２）
２．第２実施の形態：配信システム（図１３乃至図２２）
３．第３実施の形態：配信システム（図２３乃至図３８）
４．第４実施の形態：配信システム（図３９乃至図４７）
５．第５実施の形態：配信システム（図４８乃至図６９）
６．第６実施の形態：コンピュータ（図７０）
【００２１】
＜第１実施の形態＞
（配信システムの第１実施の形態の構成例）
図１は、本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。
【００２２】
図１の配信システム１０は、撮影装置１１、生成装置１２、配信サーバ１３、再生装置１４、およびヘッドマウントディスプレイ１５により構成される。配信システム１０は、撮影装置１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。
【００２３】
具体的には、配信システム１０の撮影装置１１は、６個のカメラ１１Ａ−１乃至１１Ａ−６およびマイクロフォン１１Ｂにより構成される。なお、以下では、カメラ１１Ａ−１乃至１１Ａ−６を特に区別する必要がない場合、それらをまとめてカメラ１１Ａという。
【００２４】
各カメラ１１Ａは動画像を撮影し、マイクロフォン１１Ｂは周囲の音声を取得する。配信システム１０は、各カメラ１１Ａにより撮影された６方向の動画像である撮影画像とマイクロフォン１１Ｂにより取得された音声を、動画コンテンツとして生成装置１２に供給する。なお、撮影装置１１が備えるカメラの数は、複数であれば、６個以外であってもよい。
【００２５】
生成装置１２は、正距円筒図法を用いた方法により、撮影装置１１から供給される撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートの正距円筒ストリームを生成する。また、生成装置１２は、キューブマッピングにより、撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートのキューブストリームを生成する。また、生成装置１２は、撮影装置１１から供給される音声を符号化し、オーディオストリームを生成する。
【００２６】
生成装置１２は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位でファイル化する。生成装置１２は、その結果生成されたセグメントファイルを配信サーバ１３にアップロードする。
【００２７】
なお、ここでは、正距円筒ストリームとキューブストリームのビットレートが１以上であるようにするが、ビットレート以外の条件（例えば、画像のサイズ等）が１以上であるようにしてもよい。
【００２８】
また、生成装置１２は、動画コンテンツのセグメントファイルを管理するMPD（Media Presentation Description）ファイルを生成し、配信サーバ１３にアップロードする。
【００２９】
配信サーバ１３は、生成装置１２からアップロードされたセグメントファイルとMPDファイルを格納する。配信サーバ１３は、再生装置１４からの要求に応じて、格納しているセグメントファイルやMPDファイルを再生装置１４に送信する。
【００３０】
再生装置１４は、配信サーバ１３にMPDファイルを要求し、その要求に応じて送信されてくるMPDファイルを受け取る。また、再生装置１４は、MPDファイルに基づいて、再生装置１４で行うことが可能なマッピングに対応する全天球画像の生成方法で生成された全天球画像のセグメントファイルを要求し、その要求に応じて送信されてくるセグメントファイルを受け取る。再生装置１４は、受け取られたセグメントファイルに含まれる正距円筒ストリームまたはキューブストリームを復号する。再生装置１４は、復号の結果得られる全天球画像を３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成する。
【００３１】
また、再生装置１４は、カメラ１４Ａを内蔵し、ヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影する。そして、再生装置１４は、マーカ１５Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。さらに、再生装置１４は、ヘッドマウントディスプレイ１５のジャイロセンサ１５Ｂの検出結果を、ヘッドマウントディスプレイ１５から受け取る。再生装置１４は、ジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。再生装置１４は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。
【００３２】
再生装置１４は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置１４は、表示画像をヘッドマウントディスプレイ１５に供給する。
【００３３】
ヘッドマウントディスプレイ１５は、視聴者の頭部に装着され、再生装置１４から供給される表示画像を表示する。ヘッドマウントディスプレイ１５には、カメラ１４Ａにより撮影されるマーカ１５Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ１５を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１５には、ジャイロセンサ１５Ｂが内蔵され、そのジャイロセンサ１５Ｂによる角速度の検出結果は再生装置１４に伝送される。従って、視聴者は、ヘッドマウントディスプレイ１５を装着した頭部を回転させることにより、視線方向を指定することができる。
【００３４】
（生成装置の構成例）
図２は、図１の生成装置１２の構成例を示すブロック図である。
【００３５】
図２の生成装置１２は、スティッチング処理部２１、マッピング処理部２２、エンコーダ２３、マッピング処理部２４、エンコーダ２５、音声取得部２６、エンコーダ２７、セグメントファイル生成部２８、MPDファイル生成部２９、およびアップロード部３０により構成される。
【００３６】
スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部２１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部２２とマッピング処理部２４に供給する。
【００３７】
マッピング処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部２２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。マッピング処理部２２は、全天球画像をエンコーダ２３に供給する。なお、スティッチング処理部２１とマッピング処理部２２は、一体化されていてもよい。
【００３８】
エンコーダ２３は、マッピング処理部２２から供給される全天球画像を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ２３は、各ビットレートのキューブストリームをセグメントファイル生成部２８に供給する。
【００３９】
マッピング処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部２４は、スティッチング処理後の撮影画像をテクスチャとして球にマッピングし、その球の正距円筒図法による画像を全天球画像として生成する。マッピング処理部２４は、全天球画像をエンコーダ２５に供給する。なお、スティッチング処理部２１とマッピング処理部２４は、一体化されていてもよい。
【００４０】
エンコーダ２５は、マッピング処理部２４から供給される全天球画像を１以上のビットレートで符号化し、正距円筒ストリームを生成する。エンコーダ２５は、各ビットレートの正距円筒ストリームをセグメントファイル生成部２８に供給する。
【００４１】
音声取得部２６は、図１のマイクロフォン１１Ｂから供給される音声を取得し、エンコーダ２７に供給する。エンコーダ２７は、音声取得部２６から供給される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２８に供給する。
【００４２】
セグメントファイル生成部２８は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部２８は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
【００４３】
MPDファイル生成部２９は、MPDファイルを生成する。具体的には、MPDファイル生成部２９（設定部）は、MPDファイルに、正距円筒ストリームおよびキューブストリームのセグメントファイルごとに、セグメントファイルに対応する全天球画像の生成に用いられた撮影画像を識別する識別情報としてのＩＤなどを設定する。
【００４４】
また、MPDファイル生成部２９は、必要に応じて、MPDファイルに、正距円筒ストリームおよびキューブストリームのセグメントファイルごとに、セグメントファイルに対応するマッピング情報を設定する。
【００４５】
マッピング情報とは、スティッチング処理後の撮影画像内の所定の位置の基準画像が３Ｄモデルの基準位置に所定の傾き（以下、基準傾きという）でマッピングされるように、全天球画像を３Ｄモデルにマッピングする際に用いられる情報である。ここでは、マッピング情報は、全天球画像内の基準画像の位置と、基準画像が基準位置にマッピングされるように全天球画像を３Ｄモデルにマッピングした際に３Ｄモデル上の基準画像の傾きを基準傾きにするための基準位置における全天球画像の回転角とにより構成される。なお、基準位置とは、例えば、視聴位置が３Ｄモデルの中心である場合の所定の視線方向に対応する３Ｄモデル上の位置である。
【００４６】
即ち、マッピング処理部２２とマッピング処理部２４は、個々にマッピングを行うため、基準位置にマッピングされる撮影画像の撮影画像上の位置や傾きが異なる場合がある。従って、このような場合、MPDファイル生成部２９はマッピング情報を設定する。これにより、再生装置１４は、マッピング情報に基づいて、全天球画像の生成方法によらず、基準位置に基準画像を基準傾きでマッピングすることができる。MPDファイル生成部２９は、MPDファイルをアップロード部３０に供給する。
【００４７】
アップロード部３０は、セグメントファイル生成部２８から供給されるセグメントファイルとMPDファイル生成部２９から供給されるMPDファイルとを、図１の配信サーバ１３にアップロードする。
【００４８】
（キューブマッピングの説明）
図３は、図２のマッピング処理部２２のキューブマッピングにおいて撮影画像がマッピングされる３Ｄモデルとしての立方体を示す斜視図である。
【００４９】
図３に示すように、マッピング処理部２２のキューブマッピングでは、スティッチング処理部２１から供給される撮影画像が立方体４０の６つの面４１乃至４６にマッピングされる。
【００５０】
本明細書では、立方体４０の中心Ｏを通り、面４１および面４２と直交する軸をｘ軸、面４３および面４４と直交する軸をｙ軸、面４５および面４６と直交する軸をｚ軸とする。そして、中心Ｏと面４１乃至４６のそれぞれとの距離をｒとしたときのｘ＝ｒである面４１を、適宜、＋ｘ面４１ともいい、ｘ＝−ｒである面４２を、適宜、−ｘ面４２ともいう。同様に、ｙ＝ｒである面４３、ｙ＝−ｒである面４４、ｚ＝ｒである面４５、ｚ＝−ｒである面４６を、適宜、＋ｙ面４３、−ｙ面４４、＋ｚ面４５、−ｚ面４６ともいう。
【００５１】
＋ｘ面４１と−ｘ面４２、＋ｙ面４３と−ｙ面４４、＋ｚ面４５と−ｚ面４６は、それぞれ、対向する。
【００５２】
図４は、図２のマッピング処理部２２においてキューブマッピングにより生成される全天球画像の例を示す図である。
【００５３】
図４に示すように、キューブマッピングにより生成される全天球画像５０は、立方体４０の展開図の画像である。具体的には、全天球画像５０は、中央の左から順に−ｘ面４２の画像５２、＋ｚ面４５の画像５５、＋ｘ面４１の画像５１、−ｚ面４６の画像５６が配置され、画像５５の上に＋ｙ面４３の画像５３が配置され、画像５５の下に−ｙ面４４の画像５４が配置された画像である。
【００５４】
本明細書では、全天球画像５０の水平方向のサイズが4096画素であり、垂直方向のサイズが3072画素であり、画像５１乃至５６の水平方向および垂直方向のサイズは1024画素であるものとする。
【００５５】
（正距円筒図法を用いた方法の説明）
図５は、図２のマッピング処理部２４の正距円筒図法を用いた方法において撮影画像がマッピングされる３Ｄモデルとしての球を示す斜視図である。
【００５６】
図５に示すように、マッピング処理部２４の正距円筒図法を用いた方法では、スティッチング処理部２１から供給される撮影画像が、球７０の面にマッピングされる。球７０の面は、例えば、同一のサイズおよび形状の８つの面７１乃至７８に分割することができる。
【００５７】
本明細書では、球７０の中心Ｏを通り、面７１および面７２の中心を通る軸をＡ軸、面７３および面７４の中心を通る軸をＢ軸、面７５および面７６の中心を通る軸をＣ軸、面７７および面７８の中心を通る軸をＤ軸とする。そして、中心Ｏと面７１乃至７８のそれぞれとの距離をｒとしたときのＡ＝ｒである面７１を、適宜、＋Ａ面７１ともいい、Ａ＝−ｒである面７２を、適宜、−Ａ面７２ともいう。同様に、Ｂ＝ｒである面７３、Ｂ＝−ｒである面７４、Ｃ＝ｒである面７５、Ｃ＝−ｒである面７６、Ｄ＝ｒである面７７、Ｄ＝−ｒである面７８を、適宜、＋Ｂ面７３、−Ｂ面７４、＋Ｃ面７５、−Ｃ面７６、＋Ｄ面７７、−Ｄ面７８ともいう。
【００５８】
＋Ａ面７１と−Ａ面７２、＋Ｂ面７３と−Ｂ面７４、＋Ｃ面７５と−Ｃ面７６、＋Ｄ面７７と−Ｄ面７８は、それぞれ、対向する。
【００５９】
図６は、図２のマッピング処理部２４において正距円筒図法を用いた方法により生成される全天球画像の例を示す図である。
【００６０】
図６に示すように、正距円筒図法を用いた方法により生成される全天球画像９０は、球７０の正距円筒図法による画像である。従って、全天球画像９０の横座標（水平方向の座標）と縦座標（垂直方向の座標）は、球７０が地球儀である場合の経度と緯度に相当する。
【００６１】
具体的には、全天球画像９０は、上の左から順に＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、＋Ｃ面７５の画像９５、＋Ｄ面７７の画像９７が配置され、下の左から順に−Ｃ面７６の画像９６、−Ｄ面７８の画像９８、−Ａ面７２の画像９２、−Ｂ面７４の画像９４が配置された画像である。
【００６２】
本明細書では、全天球画像９０の水平方向のサイズが1920画素であり、垂直方向のサイズが960画素であるものとする。
【００６３】
（MPDファイルの例）
図７は、図２のMPDファイル生成部２９により生成されるMPDファイルの例を示す図である。
【００６４】
MPDファイルでは、各セグメントファイルにおける符号化方式、符号化ビットレート、画像の解像度などの情報が階層化されて、XML形式で記述される。
【００６５】
具体的には、MPDファイルには、ピリオド（Period）、アダプテーションセット（AdaptationSet）、リプレゼンテーション（Representation）、セグメントインフォ（SegmentInfo）等の要素が階層的に含まれている。
【００６６】
MPDファイルでは、自分が管理するセグメントファイルに対応する動画コンテンツが所定の時間範囲（例えば、番組、ＣＭ（Commercial）などの単位）で分割される。ピリオド要素は、分割された動画コンテンツごとに記述される。ピリオド要素は、動画コンテンツのプログラム(同期を取った１組の画像データや音声データなどのデータ)の再生開始時刻などの情報を有する。
【００６７】
アダプテーションセット要素は、ピリオド要素に含まれ、そのピリオド要素に対応する動画コンテンツのリプレゼンテーション要素をメディア種別や属性などによってグルーピングする。アダプテーションセット要素は、グループに含まれるリプレゼンテーション要素に対応する動画コンテンツに共通のメディア種別、属性などを有する。
【００６８】
リプレゼンテーション要素は、それをグルーピングするアダプテーションセット要素に含まれ、上位層のピリオド要素に対応する動画コンテンツのうちの、メディア種別および属性が同一である動画コンテンツのセグメントファイル群ごとに記述される。リプレゼンテーション要素は、このリプレゼンテーション要素に対応するセグメントファイル群に共通の属性、URL（Uniform Resource Locator）などを有する。
【００６９】
セグメントインフォ要素は、リプレゼンテーション要素に含まれ、そのリプレゼンテーション要素に対応するセグメントファイル群の各セグメントファイルに関する情報を有する。
【００７０】
図７の例では、ピリオド要素に対応する時間範囲の正距円筒ストリーム、キュービックストリーム、およびオーディオストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされている。従って、図７のMPDファイルでは、ピリオド要素が、３つのアダプテーションセット要素を含んでいる。
【００７１】
先頭から１つ目のアダプテーションセット要素は、正距円筒ストリームのセグメントファイルに対応する要素であり、２つ目のアダプテーションセット要素は、キュービックストリームのセグメントファイルに対応する要素である。両方のアダプテーションセット要素とも、全天球画像のセグメントファイルに対応する要素であるため、同様に構成される。
【００７２】
具体的には、１つ目および２つ目のアダプテーションセット要素は、対応する全天球画像の水平方向のサイズwidthと垂直方向のサイズheightを有する。上述したように、正距円筒ストリームに対応する全天球画像９０の水平方向のサイズは1920画素であり、垂直方向のサイズは960画素であるので、図７に示すように、１つ目のアダプテーションセット要素のサイズwidthは1920画素であり、サイズheightは960画素である。また、キュービックストリームに対応する全天球画像５０の水平方向のサイズは4096画素であり、垂直方向のサイズは3072画素であるので、図７に示すように、２つ目のアダプテーションセット要素のサイズwidthは4096画素であり、サイズheightは3072画素である。
【００７３】
また、１つ目および２つ目のアダプテーションセット要素は、このアダプテーションセット要素に対応する全天球画像の生成方法をvalueで示すSupplementalPropertyである「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」を有する。
【００７４】
１つ目のアダプテーションセット要素は、正距円筒ストリームのセグメントファイルに対応する要素であるので、１つ目のアダプテーションセット要素に対応する全天球画像の生成方法は正距円筒図法を用いた方法である。従って、図７に示すように、１つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueは、正距円筒図法を用いた方法を示す「equirectangular」である。
【００７５】
２つ目のアダプテーションセット要素は、キュービックストリームのセグメントファイルに対応する要素であるので、２つ目のアダプテーションセット要素に対応する全天球画像の生成方法はキューブマッピングである。従って、図７に示すように、２つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueは、キューブマッピングを示す「cube」である。
【００７６】
さらに、１つ目および２つ目のアダプテーションセット要素は、このアダプテーションセット要素に対応する全天球画像の生成に用いられた撮影画像の識別情報とマッピング情報をvalueで示すSupplementalPropertyである「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」を有する。
【００７７】
図７の例では、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueには、IDと「X,Y,λ」が設定される。図８に示すように、IDは、全天球画像の生成に用いられた撮影画像の識別情報である。また、Xは、全天球画像のマッピング情報のうちの全天球画像内の基準画像の位置のX座標であり、Yはそのマッピング情報のうちの全天球画像内の基準画像の位置のY座標である。さらに、λは、マッピング情報のうちの回転角である。
【００７８】
１つ目および２つ目のアダプテーションセット要素に対応する全天球画像５０および全天球画像９０の生成に用いられる撮影画像は同一であるため、識別情報は、同一の値（図７の例では１）である。また、図７の例では、正距円筒ストリームに対応する全天球画像９０内の基準画像の位置の座標は（960,480）であり、回転角は０度である。なお、図７に示される例の場合、valueにおいて、識別情報を格納するブロックの先頭には、「I」が付されており、マッピング情報を格納するブロックの先頭には、「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。従って、１つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B960,480,0」である。つまり、この場合、「I1」の「１」が識別情報であり、「B960,480,0」の「960」がX座標、「480」がY座標、「０」が回転角である。
【００７９】
また、図７の例では、キュービックストリームに対応する全天球画像５０内の基準画像の位置の座標は（1530,1524）であり、回転角は０度である。従って、２つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B1530,1524,0」である。つまり、この場合、「I1」の「１」が識別情報であり、「B1530,1524,0」の「1530」がX座標、「1524」がY座標、「０」が回転角である。
【００８０】
なお、図７の例では、全天球画像５０および全天球画像９０の生成時に３Ｄモデルの基準位置に基準画像が基準傾きでマッピングされないため、１つ目および２つ目のアダプテーションセット要素にマッピング情報が記述されているが、マッピングされる場合には、マッピング情報は記述されない。
【００８１】
先頭から３つ目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素である。
【００８２】
また、図７の例では、各アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から１乃至３つ目のアダプテーションセット要素のリプレゼンテーション要素には、例えば、そのリプレゼンテーション要素に対応するセグメントファイルの基本となるURL（BaseURL）として、それぞれ、「equirectangular.mp4」、「cube.mp4」、「audio.mp4」が記述されている。なお、図７では、セグメントインフォ要素の記述は省略している。
【００８３】
以上のように、MPDファイルには、全天球画像の生成方法をvalueで示すSupplementalPropertyと、識別情報およびマッピング情報をvalueで示すSupplementalPropertyが設定される。
【００８４】
従って、再生装置１４は、MPDファイルに基づいて、同一の識別情報が設定されたセグメントファイルから、自分が行うことが可能なマッピングに対応する生成方法で生成された全天球画像のセグメントファイルを、再生対象のセグメントファイルとして選択することができる。
【００８５】
また、再生装置１４は、マッピング情報を用いて再生対象のセグメントファイルに対応する全天球画像をマッピングすることにより、基準画像を、３Ｄモデルの基準位置に基準傾きでマッピングすることができる。
【００８６】
なお、識別情報とマッピング情報は、SupplementalPropertyではなく、EssentialPropertyに記述されるようにしてもよい。SupplementalPropertyに識別情報とマッピング情報が記述される場合、このSupplementalPropertyを理解できない再生装置は、このSupplementalProperty以外のMPDファイルの情報を使用することができる。一方、EssentialPropertyに識別情報とマッピング情報が記述される場合、このEssentialPropertyを理解できない再生装置は、このEssentialPropertyを含む要素の全ての情報を使用することができない。
【００８７】
また、識別情報とマッピング情報は、アダプテーションセット要素以外のリプレゼンテーション要素などの要素に含まれるようにしてもよい。
【００８８】
（マッピング情報の説明）
図９は、正距円筒ストリームのセグメントファイルのマッピング情報を説明する図である。
【００８９】
図９に示すように、正距円筒ストリームのセグメントファイルのマッピング情報は、正距円筒図法を用いた方法により生成された全天球画像９０内の基準画像の位置１１１の座標を含む。
【００９０】
また、正距円筒ストリームのセグメントファイルのマッピング情報は、位置１１１が基準位置にマッピングされるように全天球画像９０を球７０にマッピングする際に球７０上の基準画像の傾きを基準傾きにするために必要な、球７０上の位置１１１と球７０の中心Ｏを繋げた線を軸とした、矢印１１２が示す反時計周り方向の全天球画像９０の回転の角度である回転角λを含む。
【００９１】
なお、マッピング情報は、基準画像が基準位置に基準傾きでマッピングされるように全天球画像を３Ｄモデルにマッピングする際の全天球画像の回転角を示すオイラー角(α，β，γ)やクォータニオン(q0, q1, q2, q3)であってもよい。
【００９２】
マッピング情報がオイラー角(α，β，γ)である場合、再生装置１４は、全天球画像をそのまま３Ｄモデルにマッピングした後、オイラー角(α，β，γ)に基づいて、マッピングされた全天球画像を３Ｄモデル上で３回回転させる。
【００９３】
具体的には、再生装置１４は、オイラー角(α，β，γ)に基づいて、まず、３Ｄモデルにマッピングされた全天球画像をy軸周りにオイラー角αだけ回転させる。次に、再生装置１４は、y軸周りにオイラー角αだけ回転された全天球画像を、x軸周りにオイラー角βだけ回転させる。最後に、再生装置１４は、x軸周りにオイラー角βだけ回転された全天球画像を、ｚ軸周りにオイラー角γだけ回転させる。これにより、３回回転後に３Ｄモデルの基準位置にマッピングされている全天球画像が、基準傾きの基準画像になる。
【００９４】
ここでは、全天球画像がy軸、x軸、z軸の順に回転されるようにしたが、回転順はこれに限定されない。マッピング情報がオイラー角(α，β，γ)である場合には、マッピング情報に回転順を示すパラメータが含められるようにしてもよい。
【００９５】
また、マッピング情報がクォータニオン(q0, q1, q2, q3)（四元数）である場合、再生装置１４は、全天球画像をそのまま３Ｄモデルにマッピングした後、クォータニオン(q0, q1, q2, q3)に基づいて、マッピングされた全天球画像を３Ｄモデル上で１回回転させる。
【００９６】
（生成装置の処理の説明）
図１０は、図２の生成装置１２のファイル生成処理を説明するフローチャートである。
【００９７】
図１０のステップＳ１１において、スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像に対してスティッチング処理を行う。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像をマッピング処理部２２とマッピング処理部２４に供給する。
【００９８】
ステップＳ１２において、マッピング処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像５０を生成し、エンコーダ２３に供給する。
【００９９】
ステップＳ１３において、エンコーダ２３は、マッピング処理部２２から供給されるキューブマッピングにより生成された全天球画像５０を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ２３は、各ビットレートのキューブストリームをセグメントファイル生成部２８に供給する。
【０１００】
ステップＳ１４において、マッピング処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像９０を生成し、エンコーダ２５に供給する。
【０１０１】
ステップＳ１５において、エンコーダ２５は、マッピング処理部２４から供給される正距円筒図法を用いた方法により生成された全天球画像９０を１以上のビットレートで符号化し、正距円筒ストリームを生成する。エンコーダ２５は、各ビットレートの正距円筒ストリームをセグメントファイル生成部２８に供給する。
【０１０２】
ステップＳ１６において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２８に供給する。
【０１０３】
ステップＳ１７において、セグメントファイル生成部２８は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部２８は、セグメントファイルをアップロード部３０に供給する。
【０１０４】
ステップＳ１８において、MPDファイル生成部２９は、全ての正距円筒ストリームとキューブストリームのセグメントファイルの識別情報として同一のＩＤを設定する。
【０１０５】
ステップＳ１９において、MPDファイル生成部２９は、マッピング処理部２２およびマッピング処理部２４により３Ｄモデルの基準位置にマッピングされた撮影画像が基準傾きの基準画像であるかどうかを判定する。
【０１０６】
ステップＳ１９で、マッピング処理部２２およびマッピング処理部２４の少なくとも一方により基準位置にマッピングされた撮影画像が基準傾きの基準画像ではないと判定された場合、処理はステップＳ２０に進む。
【０１０７】
ステップＳ２０において、MPDファイル生成部２９は、識別情報とマッピング情報を含むMPDファイルを生成する。具体的には、MPDファイル生成部２９は、MPDファイルのうちの正距円筒ストリームとキューブストリームのそれぞれに対応するアダプテーションセット要素に、ステップＳ１８で設定された識別情報を設定する。また、MPDファイル生成部２９は、基準位置にマッピングされた撮影画像が基準傾きの基準画像ではない３Ｄモデルから、マッピング処理部２２およびマッピング処理部２４の少なくとも一方のマッピングにより生成された全天球画像に対応するアダプテーションセット要素に、さらにマッピング情報を設定する。MPDファイル生成部２９は、生成されたMPDファイルをアップロード部３０に供給し、処理をステップＳ２２に進める。
【０１０８】
一方、ステップＳ１９で、マッピング処理部２２およびマッピング処理部２４の両方により基準位置にマッピングされた撮影画像が基準傾きの基準画像であると判定された場合、処理はステップＳ２１に進む。
【０１０９】
ステップＳ２１において、MPDファイル生成部２９は、正距円筒ストリームとキューブストリームのそれぞれに対応するアダプテーションセット要素が、ステップＳ１８で設定された識別情報を含むMPDファイルを生成する。MPDファイル生成部２９は、生成されたMPDファイルをアップロード部３０に供給し、処理をステップＳ２２に進める。
【０１１０】
ステップＳ２２において、アップロード部３０は、セグメントファイル生成部２８から供給されるセグメントファイルとMPDファイル生成部２９から供給されるMPDファイルとを、図１の配信サーバ１３にアップロードし、処理を終了する。
【０１１１】
（再生装置の構成例）
図１１は、図１の再生装置１４の構成例を示すブロック図である。
【０１１２】
図１１の再生装置１４は、カメラ１４Ａ、MPD取得部２２０、MPD処理部２２１、セグメントファイル取得部２２２、デコーダ２２３、マッピング処理部２２６、描画部２２７、受け取り部２２８、および視線検出部２２９により構成される。
【０１１３】
再生装置１４のMPD取得部２２０は、MPDファイルを図１の配信サーバ１３に要求し、取得する。MPD取得部２２０は、取得されたMPDファイルをMPD処理部２２１に供給する。
【０１１４】
MPD処理部２２１は、MPD取得部２２０から供給されるMPDファイルを解析する。具体的には、MPD処理部２２１(選択部)は、アダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueのIが付与された値を、識別情報として認識する。そして、MPD処理部２２１は、各アダプテーションセット要素の識別情報に基づいて、所定の識別情報のアダプテーションセット要素を選択する。例えば、MPDファイルの構成が図７の構成である場合、MPD処理部２２１は、識別情報が１である、１つ目および２つ目のアダプテーションセット要素を選択する。
【０１１５】
また、MPD処理部２２１は、所定の識別情報を含むアダプテーションセット要素の中から、マッピング処理部２２６によるマッピングの方式に対応する全天球画像の生成方法を含むアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。
【０１１６】
図１１の例では、後述するように、マッピング処理部２２６によるマッピングの方式が、立方体を３Ｄモデルとしてマッピングを行う方式である。従って、MPD処理部２２１は、立方体を３Ｄモデルとしてマッピングを行うキューブマッピングを全天球画像の生成方法として含むアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。即ち、MPD処理部２２１は、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが「cube」であるアダプテーションセット要素を選択する。
【０１１７】
MPD処理部２２１は、選択されたアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURL等の情報を取得し、セグメントファイル取得部２２２に供給する。また、MPD処理部２２１は、選択されたアダプテーションセット要素にマッピング情報が含まれる場合、そのマッピング情報をマッピング処理部２２６に供給する。
【０１１８】
セグメントファイル取得部２２２は、MPD処理部２２１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２２２は、取得されたセグメントファイルに含まれるキュービックストリームをデコーダ２２３に供給する。
【０１１９】
デコーダ２２３は、セグメントファイル取得部２２２から供給されるキュービックストリームを復号し、全天球画像５０を生成する。デコーダ２２３は、生成された全天球画像５０をマッピング処理部２２６に供給する。
【０１２０】
マッピング処理部２２６は、MPD処理部２２１からマッピング情報が供給された場合、マッピング情報に基づいて、デコーダ２２３から供給される全天球画像５０内の基準画像を基準位置に配置し、回転角だけ回転させて、立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。
【０１２１】
一方、MPD処理部２２１からマッピング情報が供給されていない場合、マッピング処理部２２６は、全天球画像５０をそのまま立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。マッピング処理部２２６は、マッピングの結果得られる３Ｄモデル画像を描画部２２７に供給する。
【０１２２】
描画部２２７は、マッピング処理部２２６から供給される３Ｄモデル画像を、視線検出部２２９から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部２２７は、表示画像をヘッドマウントディスプレイ１５に供給する。
【０１２３】
受け取り部２２８は、図１のジャイロセンサ１５Ｂの検出結果を、ヘッドマウントディスプレイ１５から受け取り、視線検出部２２９に供給する。
【０１２４】
視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部２２９は、カメラ１４Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。視線検出部２２９は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部２２９は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
【０１２５】
なお、マッピング処理部２２６によるマッピングの方式は、球を３Ｄモデルとしてマッピングを行う方式であってもよい。
【０１２６】
この場合、MPD処理部２２１は、球を３Ｄモデルとしてマッピングを行う正距円筒図法を用いた方法を全天球画像の生成方法として含むアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。即ち、MPD処理部２２１は、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが「equirectangular」であるアダプテーションセット要素を、再生対象のアダプテーションセット要素として選択する。その結果、セグメントファイル取得部２２２は、正距円筒ストリームのセグメントファイルを取得する。
【０１２７】
（再生装置の処理）
図１２は、図１１の再生装置１４の再生処理を説明するフローチャートである。
【０１２８】
図１２のステップＳ３１において、再生装置１４のMPD取得部２２０は、MPDファイルを図１の配信サーバ１３に要求し、取得する。MPD取得部２２０は、取得されたMPDファイルをMPD処理部２２１に供給する。
【０１２９】
ステップＳ３２において、MPD処理部２２１は、MPDファイルの各アダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueのIが付与された値を、識別情報として認識する。
【０１３０】
ステップＳ３３において、MPD処理部２２１は、各アダプテーションセット要素の識別情報の中から所定の識別情報を再生対象の全天球画像の識別情報として選択する。
【０１３１】
ステップＳ３４において、MPD処理部２２１は、MPDファイルから、再生対象の全天球画像５０のキュービックストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部２２１は、MPDファイルに記述される、再生対象の全天球画像の識別情報と全天球画像の生成方法としてキューブマッピングとを含むアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部２２１は、取得されたURLを、セグメントファイル取得部２２２に供給する。
【０１３２】
ステップＳ３５において、セグメントファイル取得部２２２は、MPD処理部２２１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２２２は、取得されたセグメントファイルに含まれるキュービックストリームをデコーダ２２３に供給する。
【０１３３】
ステップＳ３６において、デコーダ２２３は、セグメントファイル取得部２２２から供給されるキュービックストリームを復号し、全天球画像５０を生成する。デコーダ２２３は、生成された全天球画像５０をマッピング処理部２２６に供給する。
【０１３４】
ステップＳ３７において、受け取り部２２８は、ヘッドマウントディスプレイ１５からジャイロセンサ１５Ｂの検出結果を受け取り、視線検出部２２９に供給する。
【０１３５】
ステップＳ３８において、視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。
【０１３６】
ステップＳ３９において、カメラ１４Ａは、マーカ１５Ａの画像を撮影し、視線検出部２２９に供給する。ステップＳ４０において、視線検出部２２９は、カメラ１４Ａから供給されるマーカ１５Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。
【０１３７】
ステップＳ４１において、視線検出部２２９は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、視聴者の視野範囲を決定する。視線検出部２２９は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
【０１３８】
ステップＳ４２において、MPD処理部２２１は、再生対象の全天球画像の識別情報と、全天球画像の生成方法としてキューブマッピングとを含むアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。
【０１３９】
ステップＳ４２でマッピング情報が含まれていると判定された場合、MPD処理部２２１は、そのマッピング情報をマッピング処理部２２６に供給し、処理をステップＳ４３に進める。
【０１４０】
ステップＳ４３において、マッピング処理部２２６は、マッピング情報に基づいて、デコーダ２２３から供給される全天球画像５０を、立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。これにより、立方体４０の基準位置にマッピングされた全天球画像５０は、基準傾きの基準画像になる。マッピング処理部２２６は、マッピングの結果得られる３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ４５に進める。
【０１４１】
一方、ステップＳ４２でマッピング情報が含まれていないと判定された場合、ステップＳ４４において、マッピング処理部２２６は、全天球画像５０を立方体４０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。
【０１４２】
アダプテーションセット要素にマッピング情報が含まれない場合、そのアダプテーションセット要素に対応する全天球画像５０は、立方体４０にマッピングするだけで、立方体４０の基準位置に基準傾きの基準画像がマッピングされる全天球画像５０である。従って、ステップＳ４４の処理により、立方体４０の基準位置には、基準傾きの基準画像がマッピングされる。マッピング処理部２２６は、マッピングの結果得られる３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ４５に進める。
【０１４３】
ステップＳ４５において、描画部２２７は、マッピング処理部２２６からの３Ｄモデル画像を、視線検出部２２９から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。
【０１４４】
ステップＳ４６において、描画部２２７は、表示画像を図１のヘッドマウントディスプレイ１５に伝送して表示させ、処理を終了する。
【０１４５】
以上のように、生成装置１２は、MPDファイルに識別情報を設定する。従って、再生装置１４は、識別情報に基づいて、全天球画像の生成に用いられた撮影画像を識別することができる。その結果、再生装置１４は、同一の撮影画像から生成された全天球画像の中から、適切な全天球画像を再生対象として選択することができる。
【０１４６】
また、生成装置１２は、複数の生成方法で全天球画像を生成するので、生成装置１２で生成された全天球画像を再生可能な再生装置を増加させることができる。
【０１４７】
なお、第１実施の形態では、全天球画像の生成時に３Ｄモデルの基準位置に基準画像が基準傾きでマッピングされるかどうかによらず、MPDファイルにマッピング情報が記述されないようにしてもよい。
【０１４８】
＜第２実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第２実施の形態の構成は、生成装置と再生装置の構成を除いて、図１の配信システム１０の構成と同一である。従って、以下では、生成装置と再生装置についてのみ説明する。
【０１４９】
図１３は、本開示を適用した配信システムの第２実施の形態における生成装置の構成例を示すブロック図である。
【０１５０】
図１３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１５１】
図１３の生成装置２５０の構成は、エンコーダ２３、エンコーダ２５、セグメントファイル生成部２８、MPDファイル生成部２９の代わりに、エンコーダ２５４−１乃至２５４−６、エンコーダ２５２、セグメントファイル生成部２５５、MPDファイル生成部２５６が設けられる点、および、新たに低解像度化部２５１と分割部２５３が設けられる点が、図２の生成装置１２の構成と異なる。
【０１５２】
生成装置２５０は、正距円筒図法を用いた方法により生成された全天球画像９０を低解像度化して符号化し、キュービックマッピングにより生成された全天球画像５０を分割して符号化する。
【０１５３】
具体的には、生成装置２５０の低解像度化部２５１は、マッピング処理部２４から供給される全天球画像９０の水平方向と垂直方向の解像度を半分にすることにより低解像度化し、低解像度画像を生成する。低解像度化部２５１は、低解像度画像をエンコーダ２５２に供給する。
【０１５４】
エンコーダ２５２は、低解像度化部２５１から供給される低解像度画像を１以上のビットレートで符号化し、低解像度ストリームを生成する。エンコーダ２５２は、低解像度ストリームをセグメントファイル生成部２５５に供給する。
【０１５５】
分割部２５３は、マッピング処理部２２から供給される全天球画像５０を、６つの面４１乃至４６の画像５１乃至５６に分割する。分割部２５３は、各画像５１乃至５６を高解像度画像として、エンコーダ２５４−１乃至２５４−６に供給する。
【０１５６】
エンコーダ２５４−１乃至２５４−６は、それぞれ、分割部２５３から供給される高解像度画像を１以上のビットレートで符号化する。エンコーダ２５４−１乃至２５４−６は、その結果生成される面４１乃至４６の高解像度ストリームをセグメントファイル生成部２５５に供給する。
【０１５７】
セグメントファイル生成部２５５は、各ビットレートの低解像度ストリーム、各ビットレートの面４１乃至４６の高解像度ストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部２５５は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
【０１５８】
MPDファイル生成部２５６は、MPDファイルを生成する。具体的には、MPDファイル生成部２５６は、MPDファイルに、低解像度ストリームおよび高解像度ストリームのセグメントファイルごとに、セグメントファイルに対応する撮影画像の識別情報としてのＩＤなどを設定する。
【０１５９】
また、MPDファイル生成部２５６は、必要に応じて、MPDファイルに、低解像度ストリームおよび高解像度ストリームのセグメントファイルごとに、セグメントファイルに対応するマッピング情報を設定する。MPDファイル生成部２５６は、MPDファイルをアップロード部３０に供給する。
【０１６０】
（MPDファイルの第１の例）
図１４は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第１の例を示す図である。
【０１６１】
図１４の例では、ピリオド要素に対応する時間範囲の低解像度ストリーム、面４１乃至４６の高解像度ストリーム、およびオーディオストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされている。従って、図１４のMPDファイルでは、ピリオド要素が、８つのアダプテーションセット要素を含んでいる。また、図１４の例では、全天球画像５０および全天球画像９０の識別情報とマッピング情報は、図７の例と同一である。
【０１６２】
先頭から１つ目のアダプテーションセット要素は、低解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、水平方向のサイズwidthおよび垂直方向のサイズheightと、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueを除いて、図７の１つ目のアダプテーションセット要素と同一である。
【０１６３】
即ち、１つ目のアダプテーションセット要素に対応する画像は、マッピング処理部２４により生成される全天球画像９０ではなく、低解像度画像である。また、低解像度画像の水平方向および垂直方向の解像度は、それぞれ、全天球画像９０の水平方向および垂直方向の解像度の半分である。従って、１つ目のアダプテーションセット要素が有する水平方向のサイズwidthは960（=1920/2）画素であり、垂直方向のサイズheightが480(=960/2)画素である。
【０１６４】
また、低解像度画像の生成に用いられた撮影画像は、全天球画像９０の生成に用いられた撮影画像であり、その撮影画像の識別情報としてのＩＤは「１」である。しかしながら、図１４の例では、低解像度画像のマッピング情報は、低解像度画像内の基準画像の位置の座標(480,240)と回転角０度である。従って、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B480,240,0」である。つまり、図１４の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
【０１６５】
先頭から２乃至７つ目のアダプテーションセット要素は、それぞれ、面４１乃至４６の高解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、水平方向のサイズwidthおよび垂直方向のサイズheightと、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」を新たに含む点とを除いて、図７の２つ目のアダプテーションセット要素と同一である。
【０１６６】
即ち、先頭から２乃至７つ目のアダプテーションセット要素に対応する画像は、マッピング処理部２２により生成される全天球画像５０ではなく、画像５１乃至５６である。従って、２乃至７つ目のアダプテーションセット要素が有する水平方向のサイズwidthおよび垂直方向のサイズheightは、画像５１乃至５６の水平方向および垂直方向の画素数である1024画素である。
【０１６７】
また、先頭から２乃至７つ目のアダプテーションセット要素は、このアダプテーションセット要素に対応する画像が動画コンテンツの画像を分割した画像であることを示すSRD（Spatial Relationship Description）である「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」を有する。
【０１６８】
「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」のvalueは、source_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_idである。
【０１６９】
「source_id」は、このアダプテーションセット要素に対応する画像の分割前の画像（ここでは全天球画像５０）を識別するＩＤである。また、「object_x」、「object_y」は、それぞれ、このアダプテーションセット要素に対応する画像の左上の位置の、分割前の画像（ここでは全天球画像５０）上の水平方向の座標、垂直方向の座標である。「object_width」、「object_height」は、それぞれ、このアダプテーションセット要素に対応する画像の水平方向のサイズ、垂直方向のサイズである。さらに、「total_width」、「total_height」は、それぞれ、このアダプテーションセット要素に対応する画像の分割前の画像（ここでは全天球画像５０）の水平方向のサイズ、垂直方向のサイズである。「spatial_set_id」は、このアダプテーションセット要素に対応する画像の分割の階層を識別するＩＤである。図１４の例では、全天球画像５０のＩＤは０である。
【０１７０】
従って、画像５１乃至５６に対応する先頭から２つ目乃至７つ目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」のvalueは、それぞれ、「0,2048,1024,1024,1024,4096,3072,0」、「0,0,1024,1024,1024,1024,4096,3072,0」、「0,1024,0,1024,1024,4096,3072,0」、「0,1024,2048,1024,1024,4096,3072,0」、「0,1024,1024,1024,1024,4096,3072,0」、「0,3072,1024,1024,1024,4096,3072,0」である。
【０１７１】
なお、図１４の例では、全天球画像５０および全天球画像９０の生成時に３Ｄモデルの基準位置に基準画像が基準傾きでマッピングされないため、マッピング情報が記述されているが、マッピングされる場合には、マッピング情報は記述されない。
【０１７２】
先頭から８つ目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素である。
【０１７３】
また、図１４の例では、各アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から１乃至８つ目のアダプテーションセット要素のリプレゼンテーション要素には、例えば、そのリプレゼンテーション要素に対応するセグメントファイルのBaseURLとして、それぞれ、「equirectangular.mp4」、「cube1.mp4」乃至「cube6.mp4」、「audio.mp4」が記述されている。なお、図１４では、セグメントインフォ要素の記述は省略している。
【０１７４】
（生成装置の処理の説明）
図１５は、図１３の生成装置２５０のファイル生成処理を説明するフローチャートである。
【０１７５】
図１５のステップＳ６１において、スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像に対してスティッチング処理を行う。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像をマッピング処理部２２とマッピング処理部２４に供給する。
【０１７６】
ステップＳ６２において、マッピング処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像９０を生成し、低解像度化部２５１に供給する。
【０１７７】
ステップＳ６３において、低解像度化部２５１は、マッピング処理部２４から供給される全天球画像９０を低解像度化し、低解像度画像を生成する。低解像度化部２５１は、低解像度画像をエンコーダ２５２に供給する。
【０１７８】
ステップＳ６４において、エンコーダ２５２は、低解像度化部２５１から供給される低解像度画像を符号化し、低解像度ストリームを生成する。エンコーダ２５２は、低解像度ストリームをセグメントファイル生成部２５５に供給する。
【０１７９】
ステップＳ６５において、マッピング処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像５０を生成し、分割部２５３に供給する。
【０１８０】
ステップＳ６６において、分割部２５３は、マッピング処理部２２から供給される全天球画像５０を、６つの面４１乃至４６の画像５１乃至５６に分割する。分割部２５３は、画像５１乃至５６を高解像度画像として、それぞれ、エンコーダ２５４−１乃至２５４−６に供給する。
【０１８１】
ステップＳ６７において、エンコーダ２５４−１乃至２５４−６は、それぞれ、面４１乃至４６の高解像度画像を符号化して高解像度ストリームを生成し、セグメントファイル生成部２５５に供給する。
【０１８２】
ステップＳ６８において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２５５に供給する。
【０１８３】
ステップＳ６９において、セグメントファイル生成部２５５は、各ビットレートの低解像度ストリーム、各ビットレートの面４１乃至４６の高解像度ストリーム、およびオーディオストリームをセグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部２５５は、セグメントファイルをアップロード部３０に供給する。
【０１８４】
ステップＳ７０乃至Ｓ７４の処理は、図１０のステップＳ１８乃至Ｓ２２の処理と同様であるので、説明は省略する。
【０１８５】
（再生装置の構成例）
図１６は、本開示を適用した配信システムの第２実施の形態における再生装置の構成例を示すブロック図である。
【０１８６】
図１６に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８７】
図１６の再生装置２７０の構成は、MPD処理部２２１、セグメントファイル取得部２２２、デコーダ２２３、マッピング処理部２２６、視線検出部２２９の代わりに、MPD処理部２７１、セグメントファイル取得部２７２、デコーダ２７３およびデコーダ２７４、マッピング処理部２７５、視線検出部２７６が設けられる点が、図１１の再生装置１４の構成と異なる。再生装置２７０は、視聴者の視聴位置から視線方向に延びる視線に対応する面の高解像度画像と低解像度画像から表示画像を生成する。
【０１８８】
再生装置２７０のMPD処理部２７１は、MPD取得部２２０から供給されるMPDファイルを解析する。具体的には、MPD処理部２７１は、図１１のMPD処理部２２１と同様に、各アダプテーションセット要素の識別情報を認識し、所定の識別情報のアダプテーションセット要素を選択する。例えば、MPDファイルの構成が図１４の構成である場合、MPD処理部２７１は、識別情報が１である、先頭から１乃至７つ目のアダプテーションセット要素を選択する。
【０１８９】
そして、MPD処理部２７１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、低解像度画像のアダプテーションセット要素(図１４の例では、SRDを含まないアダプテーションセット要素)を、再生対象の低解像度画像のアダプテーションセット要素として選択する。例えば、MPDファイルの構成が図１４の構成である場合、MPD処理部２７１は、１つ目のアダプテーションセット要素を選択する。
【０１９０】
また、MPD処理部２７１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、高解像度画像のアダプテーションセット要素(図１４の例では、SRDを含むアダプテーションセット要素)を選択する。例えば、MPDファイルの構成が図１４の構成である場合、MPD処理部２７１は、２乃至７つ目のアダプテーションセット要素を選択する。
【０１９１】
そして、MPD処理部２７１は、視線検出部２７６から供給される選択面情報（詳細は後述する）とSRDとに基づいて、高解像度画像のアダプテーションセット要素から、選択面情報が示す選択面のアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。
【０１９２】
具体的には、MPD処理部２７１は、画像５１乃至５６のうちの、選択面情報が示す選択面に対応する画像の全天球画像５０上の位置をvalueが示すアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。なお、選択面情報とは、面４１乃至４６のうちの視聴者の視線に対応する１つの面を選択面として示す情報である。
【０１９３】
MPD処理部２７１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURL等の情報を取得し、セグメントファイル取得部２７２に供給する。また、MPD処理部２７１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素にマッピング情報が含まれる場合、そのマッピング情報をマッピング処理部２７５に供給する。
【０１９４】
セグメントファイル取得部２７２は、MPD処理部２７１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２７２は、取得されたセグメントファイルに含まれる１本の低解像度ストリームをデコーダ２７３に供給し、１本の高解像度ストリームをデコーダ２７４に供給する。
【０１９５】
デコーダ２７３は、セグメントファイル取得部２７２から供給される１本の低解像度ストリームを復号して低解像度画像を生成し、マッピング処理部２７５に供給する。
【０１９６】
デコーダ２７４は、セグメントファイル取得部２７２から供給される１本の高解像度ストリームを復号して高解像度画像を生成し、マッピング処理部２７５に供給する。
【０１９７】
マッピング処理部２７５は、MPD処理部２７１から低解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて低解像度画像内の基準画像を基準位置に配置し、回転角λだけ回転させて、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。一方、MPD処理部２７１から低解像度画像のマッピング情報が供給されない場合、マッピング処理部２７５は、低解像度画像をそのまま、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
【０１９８】
なお、マッピング処理部２７５は、低解像度画像の全てをマッピングするのではなく、視線検出部２７６により決定される視聴者の視野範囲に透視投影される範囲を含む低解像度画像の一部のみをマッピングするようにしてもよい。
【０１９９】
また、マッピング処理部２７５は、視線検出部２７６から供給される選択面情報に基づいて、球７０の内部に選択面を３Ｄモデルとして設定する。マッピング処理部２７５は、MPD処理部２７１から高解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて高解像度画像の基準画像を基準位置に配置し、回転角だけ回転させて、球７０の内部に設定された選択面にテクスチャとしてマッピングする。一方、MPD処理部２７１から高解像度画像のマッピング情報が供給されない場合、マッピング処理部２７５は、高解像度画像をそのまま、球７０の内部に設定された選択面にテクスチャとしてマッピングする。
【０２００】
そして、マッピング処理部２７５は、球７０と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
【０２０１】
視線検出部２７６は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部２７６は、カメラ１４Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて視聴位置を検出する。
【０２０２】
視線検出部２７６は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、面４１乃至４６のうちの、中心を通る法線が視聴者の視線に最も近い１つの面を選択面に決定する。視線検出部２７６は、選択面情報をMPD処理部２７１とマッピング処理部２７５に供給する。
【０２０３】
また、視線検出部２７６は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部２７６は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
【０２０４】
（再生装置の処理）
図１７は、図１６の再生装置２７０の再生処理を説明するフローチャートである。
【０２０５】
図１７のステップＳ８１乃至Ｓ８３の処理は、図１２のステップＳ３１乃至Ｓ３３の処理と同様であるので、説明は省略する。
【０２０６】
ステップＳ８４において、MPD処理部２７１は、MPDファイルから再生対象の低解像度ストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部２７１は、MPDファイルに記述される、ステップＳ８３で選択された識別情報を含む低解像度画像のアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部２７１は、取得されたURLをセグメントファイル取得部２７２に供給する。
【０２０７】
ステップＳ８５乃至Ｓ８８の処理は、図１２のステップＳ３７乃至Ｓ４０の処理と同様であるので、説明は省略する。
【０２０８】
ステップＳ８９において、視線検出部２７６は、視聴位置と視線方向に基づいて、選択面と視聴者の視野範囲を決定する。視線検出部２７６は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。また、視線検出部２７６は、選択面情報をMPD処理部２７１とマッピング処理部２７５に供給する。マッピング処理部２７５は、選択面情報に基づいて、球７０の内部に選択面を３Ｄモデルとして設定する。
【０２０９】
ステップＳ９０において、MPD処理部２７１は、MPDファイルから再生対象の高解像度ストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部２７１は、MPDファイルに記述される、ステップＳ８３で選択された識別情報と選択面情報が示す選択面に対応する高解像度画像の全天球画像５０上の位置をvalueが示すSRDを含むアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部２７１は、取得されたURLをセグメントファイル取得部２７２に供給する。
【０２１０】
ステップＳ９１において、セグメントファイル取得部２７２は、MPD処理部２７１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部２２２は、取得されたセグメントファイルに含まれる低解像度ストリームをデコーダ２７３に供給し、高解像度ストリームをデコーダ２７４に供給する。
【０２１１】
ステップＳ９２において、デコーダ２７４は、セグメントファイル取得部２７２から供給される高解像度ストリームを復号して高解像度画像を生成し、マッピング処理部２７５に供給する。
【０２１２】
ステップＳ９３において、デコーダ２７３は、セグメントファイル取得部２７２から供給される低解像度ストリームを復号して低解像度画像を生成し、マッピング処理部２７５に供給する。
【０２１３】
ステップＳ９４において、MPD処理部２７１は、再生対象の低解像度ストリームのアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。ステップＳ９４でマッピング情報が含まれていると判定された場合、MPD処理部２７１は、そのマッピング情報をマッピング処理部２７５に供給し、処理をステップＳ９５に進める。
【０２１４】
ステップＳ９５において、マッピング処理部２７５は、MPD処理部２７１から供給される低解像度ストリームのマッピング情報に基づいて、デコーダ２７３から供給される低解像度画像を球７０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。そして、処理はステップＳ９７に進む。
【０２１５】
一方、ステップＳ９４でマッピング情報が含まれないと判定された場合、処理はステップＳ９６に進む。ステップＳ９６において、マッピング処理部２７５は、デコーダ２７３から供給される低解像度画像をそのまま、球７０の面４１乃至４６のそれぞれにテクスチャとしてマッピングする。そして、処理はステップＳ９７に進む。
【０２１６】
ステップＳ９７において、MPD処理部２７１は、再生対象の高解像度ストリームのアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。ステップＳ９７でマッピング情報が含まれていると判定された場合、MPD処理部２７１は、そのマッピング情報をマッピング処理部２７５に供給し、処理をステップＳ９８に進める。
【０２１７】
ステップＳ９８において、マッピング処理部２７５は、高解像度ストリームのマッピング情報に基づいて、高解像度画像を球７０の内部に設定された選択面にテクスチャとしてマッピングする。マッピング処理部２７５は、球７０と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１００に進める。
【０２１８】
一方、ステップＳ９７でマッピング情報が含まれていないと判定された場合、処理はステップＳ９９に進む。ステップＳ９９において、マッピング処理部２７５は、高解像度画像を球７０の内部に設定された選択面にそのままテクスチャとしてマッピングする。マッピング処理部２７５は、球７０と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１００に進める。
【０２１９】
ステップＳ１００およびＳ１０１の処理は、図１２のステップＳ４５およびＳ４６の処理と同様であるので、説明は省略する。
【０２２０】
以上のように、生成装置２５０は、MPDファイルに識別情報を設定する。従って、再生装置２７０は、識別情報に基づいて、同一の識別情報に対応する低解像度画像と高解像度画像を、同時に再生する画像として選択することができる。
【０２２１】
また、生成装置２５０は、MPDファイルにマッピング情報を設定する。従って、再生装置２７０は、マッピング情報に基づいて低解像度画像と高解像度画像のマッピングを行うことにより、基準位置にマッピングされる低解像度画像と高解像度画像を基準傾きの基準画像にすることができる。その結果、低解像度画像と高解像度画像を同一の球７０内に高精度で重ねてマッピングすることができる。
【０２２２】
さらに、再生装置２７０は、面４１乃至４６のうちの、視聴者の視線に対応する１つの選択面の高解像度ストリームのみを取得する。従って、全ての面４１乃至４６の高解像度ストリームを取得する場合に比べて、生成装置２５０と再生装置２７０間の伝送量を削減することができる。
【０２２３】
また、再生装置２７０は、視聴者の視線に対応する選択面の高解像度画像と、全ての面７１乃至７８の低解像度画像とを用いて３Ｄモデル画像を生成する。従って、視聴者の視野範囲の表示画像を高解像度画像から生成することができ、その結果、表示画像の画質が向上する。また、視聴者の視野範囲への透視投影に用いる３Ｄモデル画像の領域が高解像度画像以外の領域を含む場合や、視聴者の視野範囲が急激に変化した場合であっても、低解像度画像を用いて表示画像を生成することができる。
【０２２４】
（MPDファイルの第２の例）
図１８は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第２の例を示す図である。
【０２２５】
図１８のMPDファイルの記述は、識別情報とマッピング情報が、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」ではなく、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueとして設定される点が、図１４の記述と異なる。
【０２２６】
具体的には、全天球画像のアダプテーションセット要素に含まれる、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、全天球画像の生成方法、ID、および「X,Y,λ」である。
【０２２７】
即ち、先頭から１つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「equirectangular I1 B480,240,0」である。また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「cube I1 B1530,1524,0」である。この場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。なお、全天球画像の生成方法を格納するブロックの先頭には何も付されていない。
【０２２８】
また、先頭から１乃至７つ目のアダプテーションセット要素には、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」が記述されない。
【０２２９】
（MPDファイルの第３の例）
図１９は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第３の例を示す図である。
【０２３０】
図１９のMPDファイルの記述は、マッピング情報が、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」ではなく、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueとして設定される点が、図１４の記述と異なる。
【０２３１】
具体的には、全天球画像のアダプテーションセット要素に含まれる、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、全天球画像の生成方法とマッピング情報である。
【０２３２】
従って、先頭から１つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「equirectangular B480,240,0」である。また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueが、「cube B1530,1524,0」である。この場合も、図７の場合と同様に、valueの、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。なお、全天球画像の生成方法を格納するブロックの先頭には何も付されていない。
【０２３３】
また、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、IDである。即ち、１乃至７つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1」である。この場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付されている。
【０２３４】
図１９の例では、識別情報がマッピング情報とは異なるSupplementalPropertyのvalueで示されるので、マッピング以外の処理に識別情報を用いることが容易になる。
【０２３５】
（MPDファイルの第４の例）
図２０は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第４の例を示す図である。
【０２３６】
図２０のMPDファイルの記述は、マッピング情報の種類を示す種類情報が新たに記述される点が、図１４の記述と異なる。
【０２３７】
即ち、上述した説明では、マッピング情報は、座標(X,Y)と回転角λであるようにした。しかしながら、上述したように、マッピング情報は、オイラー角(α，β，γ)やクォータニオン(q0, q1, q2, q3)であってもよい。
【０２３８】
従って、図２０の例では、マッピング情報が、座標(X,Y)と回転角λ、オイラー角(α，β，γ)、およびクォータニオン(q0, q1, q2, q3)のいずれであるかを示す情報が、種類情報として記述される。
【０２３９】
具体的には、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」の「original_source_id」と「2016」の間に種類情報が設定される。
【０２４０】
図２１に示すように、種類情報（type）は、マッピング情報が座標(X,Y)と回転角λであることを示す場合「2dxy-3dr」であり、マッピング情報がオイラー角(α，β，γ)であることを示す場合「yxz-euler」である。また、種類情報は、マッピング情報がクォータニオン(q0, q1, q2, q3)であることを示す場合、「quaternion」である。
【０２４１】
図２０の例では、マッピング情報が座標(X,Y)と回転角λである。従って、先頭から１つ目のアダプテーションセット要素に含まれる、valueが「I1 B480,240,0」であるSupplementalPropertyは、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2dxy-3dr:2016”」である。
【０２４２】
また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる、valueが「I1 B1530,1524,0」であるSupplementalPropertyは、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2dxy-3dr:2016”」である。なお、この図２０の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
【０２４３】
（MPDファイルの第５の例）
図２２は、図１３のMPDファイル生成部２５６により生成されるMPDファイルの第５の例を示す図である。
【０２４４】
図２２のMPDファイルの記述は、種類情報が「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueに設定される点が、図２０の記述と異なる。
【０２４５】
具体的には、全天球画像のアダプテーションセット要素に含まれる、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueが、IDと「種類情報,X,Y,λ」になる。
【０２４６】
従って、先頭から１つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B2dxy-3dr,480,240,0」である。また、先頭から２乃至７つ目のアダプテーションセット要素に含まれる「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 B2dxy-3dr,1530,1524,0」である。なお、この図２０の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。つまり、この場合、マッピング情報が格納されるブロックの先頭に格納された種類情報に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
【０２４７】
以上のように、図２０および図２２の例では、MPDファイルに種類情報が設定される。従って、MPDファイル生成部２５６は、MPDファイルに設定するマッピング情報の種類を複数種類の中から選択することができる。また、再生装置２７０は、MPDファイル生成部２５６がマッピング情報の種類を選択する場合であっても、種類情報により、マッピング情報の種類を認識することができる。その結果、再生装置２７０は、マッピング情報に基づくマッピングを正確に行うことができる。
【０２４８】
なお、第１実施の形態のMPDファイルにおいても、図１８の場合のように、識別情報とマッピング情報が、「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueに設定されるようにしてもよい。また、図１９の場合のように、マッピング情報が「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueに設定されるようにしてもよい。さらに、図２０や図２２の場合のように、マッピング情報の種類が記述されるようにしてもよい。
【０２４９】
＜第３実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第３実施の形態の構成は、生成装置と再生装置の構成を除いて、図１の配信システム１０の構成と同一である。従って、以下では、生成装置と再生装置についてのみ説明する。
【０２５０】
図２３は、本開示を適用した配信システムの第３実施の形態における生成装置の構成例を示すブロック図である。
【０２５１】
図２３に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２５２】
図２３の生成装置３００の構成は、分割部２５３、エンコーダ２５４−１乃至２５４−６、セグメントファイル生成部２５５の代わりに、透視投影部３０２−１乃至３０２−１８、エンコーダ３０３−１乃至３０３−１８、セグメントファイル生成部３０４が設けられる点、設定部３０１が新たに設けられる点、およびマッピング処理部２２が設けられない点が、図１３の生成装置２５０の構成と異なる。
【０２５３】
生成装置３００は、正距円筒図法により生成された全天球画像を球７０にマッピングし、１８個の２次元平面に透視投影することにより１８個の高解像度画像を生成する。
【０２５４】
具体的には、生成装置３００の設定部３０１は、１８個の視線方向に対応する描画面としての２次元平面の位置、傾き、およびサイズを示す２次元平面情報を設定する。設定部３０１は、各２次元平面情報を透視投影部３０２−１乃至３０２−１８に供給する。
【０２５５】
透視投影部３０２−１乃至３０２−１８は、それぞれ、マッピング処理部２４により生成された全天球画像９０を球７０にマッピングする。透視投影部３０２−１乃至３０２−１８は、それぞれ、球７０の中心を焦点として、球７０にマッピングされた全天球画像を、設定部３０１から供給される２次元平面情報が示す２次元平面に透視投影することにより、画像（透視投影画像）を生成する。これにより、生成された画像は、球７０にマッピングされた全天球画像９０を球７０の中心Ｏから所定の視線方向に向かって見た画像となる。透視投影部３０２−１乃至３０２−１８は、それぞれ、生成された画像を高解像度画像としてエンコーダ３０３−１乃至３０３−１８に供給する。
【０２５６】
エンコーダ３０３−１乃至３０３−１８は、それぞれ、透視投影部３０２−１乃至３０２−１８から供給される高解像度画像を、１以上のビットレートで符号化する。エンコーダ３０３−１乃至３０３−１８は、その結果生成される各２次元平面の高解像度ストリームをセグメントファイル生成部３０４に供給する。
【０２５７】
なお、以下では、透視投影部３０２−１乃至３０２−１８を特に区別する必要がない場合、それらをまとめて透視投影部３０２という。同様に、エンコーダ３０３−１乃至３０３−１８をまとめてエンコーダ３０３という。
【０２５８】
セグメントファイル生成部３０４は、各ビットレートの低解像度ストリーム、各ビットレートの各２次元平面の高解像度ストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部３０４は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
【０２５９】
（２次元平面情報の構成例）
図２４は、２次元平面情報の構成例を示す図である。
【０２６０】
図２４に示すように、２次元平面情報は、方位角、仰角、回転角、横画角、および縦画角により構成される。方位角と仰角は、２次元平面の位置を示す情報であり、回転角は、２次元平面の傾きを示す情報である。また、横画角と縦画角は、２次元平面のサイズを示す情報である。
【０２６１】
具体的には、方位角と仰角は、それぞれ、図２５に示すように、３次元モデルとしての球７０の中心Ｏと２次元平面３１１の中心Ｃを結ぶ線と、中心Ｏと球７０上の基準点Ｂとのなす水平方向（図２５中矢印ａ方向）の角度、垂直方向（図２５中矢印ｂ方向）の角度である。また、回転角は、図２５に示すように、中心Ｃと中心Ｏを結ぶ線を軸としたときの２次元平面３１１の回転方向（図２５中矢印ｃ方向）の角度である。なお、ここでは、２次元平面の中心Ｃの位置は、基準点Ｂから方位角、仰角、回転角の順に移動させることにより設定されるものとする。また、回転角は、例えば反時計周りが正方向である。
【０２６２】
横画角は、図２５に示すように、２次元平面３１１の横方向の２つの端部の中点ｓおよび中点ｑそれぞれと中心Ｏとを結んだ線のなす角度qosである。また、縦画角は、図２５に示すように、２次元平面３１１の縦方向の２つの端部の中点ｐおよび中点ｒそれぞれと中心Ｏとを結んだ線のなす角度porである。
【０２６３】
なお、２次元平面３１１は、球７０の中心Ｏと２次元平面３１１の中心Ｃを通る線が法線となるように設定される。この法線は、中心Ｏを視聴位置としたときの、２次元平面３１１に対応する高解像度画像の視線方向である。
【０２６４】
（２次元平面の例）
図２６は、図２３の設定部３０１により設定される１８個の２次元平面の例を示す図であり、図２７は、その１８個の２次元平面の２次元平面情報の例を示す図である。
【０２６５】
図２６に示すように、設定部３０１は、球７０の内部に球７０の中心Ｏを中心として配置される立方体３２０の１２本の各辺の中点と中心Ｏを結ぶ線３２１−１，３２１−２，３２１−４，３２１−５，３２１−７，３２１−９，３２１−１１，３２１−１２，３２１−１４，３２１−１５，３２１−１６、および３２１−１８を、中心を通る法線とする１２個の２次元平面を設定する。
【０２６６】
また、設定部３０１は、立方体３２０の６個の各面の中心と中心Ｏを結ぶ線３２１−３，３２１−６，３２１−８，３２１−１０，３２１−１３、および３２１−１７を、中心を通る法線とする６個の２次元平面を設定する。
【０２６７】
この場合、図２７に示すように、線３２１−１乃至３２１−１８を中心を通る法線とする１８個の２次元平面の２次元平面情報のうちの方位角は、順に、-135,-90,-90,-90,-45,0,0,0,0,0,45,90,90,90,135,180,180,180である。また、仰角は、順に、0,45,0,-45,0,90,45,0,-45,-90,0,45,0,-45,0,45,0,-45である。
【０２６８】
また、図２７の例では、１８個の２次元平面全ての回転角は０度に設定され、横画角と縦画角は９０度に設定されている。
【０２６９】
以上のように設定された１８個の２次元平面では、隣り合う２次元平面どうしが重なり合う。従って、隣り合う２次元平面の高解像度画像には、球７０にマッピングされた同一の領域の全天球画像が存在する。
【０２７０】
なお、２次元平面のサイズを示す情報は、横画角と縦画角ではなく、対角画角であってもよい。対角画角とは、図２８に示すように、２次元平面３２５の対角の２つの頂点ｂ（ａ）および頂点ｄ（ｃ）のそれぞれと球７０の中心Ｏとを結ぶ線がなす角bod(aoc)である。
【０２７１】
２次元平面のサイズを示す情報が横画角と縦画角である場合、対角画角である場合に比べて、その情報を見た人間が、２次元平面のサイズを理解しやすい。一方、２次元平面のサイズを示す情報が対角画角である場合、横画角と縦画角である場合に比べて、パラメータの数が少ないため、情報量を削減することができる。
【０２７２】
（高解像度画像のSRDの設定方法の説明）
図２９は、図２３のMPDファイル生成部２５６による高解像度画像のSRDの設定方法を説明する図である。
【０２７３】
図２９の例では、透視投影部３０２−ｉ（ｉ=1,2,・・・,18）が、図２７の先頭からｉ番目の２次元平面情報が示す２次元平面に全天球画像を透視投影することにより高解像度画像３３１−ｉを生成する。
【０２７４】
この場合、MPDファイル生成部２５６は、高解像度画像３３１−１乃至３３１−１８を、図２９に示すように１つの仮想の全天球画像３３２上に配置し、高解像度画像３３１−１乃至３３１−１８を仮想の全天球画像３３２を分割した分割画像として、高解像度画像３３１−１乃至３３１−１８のSRDを設定する。以下では、高解像度画像３３１−１乃至３３１−１８を特に区別する必要がない場合、それらをまとめて高解像度画像３３１という。
【０２７５】
第３実施の形態では、図２９に示すように、仮想の全天球画像３３２のサイズは8192画素×5120画素であり、高解像度画像３３１のサイズは1024画素×1024画素である。
【０２７６】
（MPDファイルの第１の例）
図３０は、図２３のMPDファイル生成部２５６により生成されるMPDファイルの第１の例を示す図である。
【０２７７】
図３０の例では、ピリオド要素に対応する時間範囲の低解像度ストリーム、各高解像度画像３３１の高解像度ストリーム、およびオーディオストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされている。従って、図３０のMPDファイルでは、ピリオド要素が、２０個のアダプテーションセット要素を含んでいる。
【０２７８】
先頭から１個目の低解像度ストリームのセグメントファイルに対応するアダプテーションセット要素は、図１４の場合と同一であるので、説明は省略する。
【０２７９】
先頭から２乃至１９個目のアダプテーションセット要素は、各高解像度画像３３１の高解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、全天球画像の生成方法、SRDのvalueに設定される情報、リプレゼンテーション要素、およびマッピング情報を除いて、図１４の２つ目のアダプテーションセット要素と同一である。
【０２８０】
具体的には、２乃至１９個目のアダプテーションセット要素に対応する全天球画像は、仮想の全天球画像３３２である。従って、２乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueには、全天球画像の生成方法として、仮想の全天球画像３３２の生成方法を示す「cube-ex」が設定される。
【０２８１】
なお、第３実施の形態では、１８個の２次元平面が、立方体を構成する６個の面を有しており、仮想の全天球画像３３２が、キューブマッピングにより生成される全天球画像を含む。従って、ここでは、仮想の全天球画像３３２の生成方法を、キューブマッピング拡張方法と定義し、キューブマッピング拡張方法を示す情報を「cube-ex」とするが、仮想の全天球画像３３２の生成方法を示す情報は、これに限定されない。
【０２８２】
また、２乃至１９個目のアダプテーションセット要素が有するSRDのsource_idには、各高解像度画像３３１の分割前の画像である仮想の全天球画像３３２を識別するＩＤが設定される。図３０の例では、このＩＤは０である。
【０２８３】
また、２個目のアダプテーションセット要素に対応する高解像度画像３３１−１の左上の位置の仮想の全天球画像３３２上の座標は（0,2048）である。従って、２個目のアダプテーションセット要素が有するSRDのobject_xとobject_yには、それぞれ、0,2048が設定される。
【０２８４】
同様にして、３乃至１９個目のアダプテーションセット要素が有するSRDのobject_xには、それぞれ、1024,1024,1024,2048,3072,3072,3072,3072,3072,4096,5120,5120,5120,6144,7168,7168,7168が設定される。また、object_yには、それぞれ、1024,2048,3072,2048,0,1024,2048,3072,4096,2048,1024,2048,3072,2048,1024,2048,3072が設定される。
【０２８５】
また、２乃至１９個目のアダプテーションセット要素に対応する高解像度画像３３１の水平方向および垂直方向のサイズは全て1024画素である。従って、２乃至１９個目のアダプテーションセット要素が有するSRDのobject_widthとobject_heightには、全て1024が設定される。
【０２８６】
さらに、２乃至１９個目のアダプテーションセット要素に対応する高解像度画像３３１の分割前の仮想の全天球画像３３２の水平方向のサイズは8192画素であり、垂直方向のサイズは5120画素である。従って、２乃至１９個目のアダプテーションセット要素が有するSRDのtotal_widthには、全て8192が設定され、total_heightには、全て5120が設定される。
【０２８７】
また、２乃至１９個目のアダプテーションセット要素に対応する高解像度画像３３１は、仮想の全天球画像３３２を１度分割した画像である。従って、２乃至１９個目のアダプテーションセット要素が有するSRDのspatial_set_idには、０が設定される。図３０の例では、マッピング情報のうちの座標(X,Y)が(2554,3572)である。この図３０の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、マッピング情報を格納するブロックの先頭に「B」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
【０２８８】
さらに、図３０の例では、先頭から２乃至１９個目アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から２乃至１９個目のアダプテーションセット要素のリプレゼンテーション要素には、そのリプレゼンテーション要素に対応するセグメントファイルのBaseURLとして、それぞれ、「cube1.mp4」乃至「cube18.mp4」が記述されている。
【０２８９】
先頭から２０個目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素であり、図１４の先頭から８つ目のアダプテーションセット要素と同一であるので、説明は省略する。なお、図３０では、セグメントインフォ要素の記述は省略している。
【０２９０】
（生成装置の処理の説明）
図３１は、図２３の生成装置３００のファイル生成処理を説明するフローチャートである。
【０２９１】
図３１のステップＳ１２１乃至Ｓ１２４は、図１５のステップＳ６１乃至Ｓ６４の処理と同様であるので、説明は省略する。
【０２９２】
ステップＳ１２５において、設定部３０１は、１８個の視線方向３２１−１乃至３２１−１８に対応する２次元平面情報を設定する。設定部３０１は、各２次元平面情報を透視投影部３０２に供給する。
【０２９３】
ステップＳ１２６において、透視投影部３０２は、マッピング処理部２４により生成された全天球画像９０を球７０にマッピングし、球７０にマッピングされた全天球画像９０を、２次元平面情報が示す２次元平面に透視投影することにより、高解像度画像３３１を生成する。透視投影部３０２は、高解像度画像３３１をエンコーダ３０３に供給する。
【０２９４】
ステップＳ１２７において、エンコーダ３０３は、透視投影部３０２から供給される高解像度画像を、１以上のビットレートで符号化する。エンコーダ３０３は、その結果生成される各２次元平面の高解像度ストリームをセグメントファイル生成部３０４に供給する。
【０２９５】
ステップＳ１２８において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部３０４に供給する。
【０２９６】
ステップＳ１２９において、セグメントファイル生成部３０４は、各ビットレートの低解像度ストリーム、各ビットレートの各２次元平面の高解像度ストリーム、およびオーディオストリームをセグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部３０４は、セグメントファイルをアップロード部３０に供給する。
【０２９７】
ステップＳ１３０乃至Ｓ１３４の処理は、図１５のステップＳ７０乃至Ｓ７４の処理と同様であるので、説明は省略する。
【０２９８】
（再生装置の構成例）
図３２は、本開示を適用した配信システムの第３実施の形態における再生装置の構成例を示すブロック図である。
【０２９９】
図３２に示す構成のうち、図１６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０３００】
図３２の再生装置３４０の構成は、MPD処理部２７１、マッピング処理部２７５、視線検出部２７６の代わりに、MPD処理部３４１、マッピング処理部３４２、視線検出部３４３が設けられる点が、図１６の再生装置２７０の構成と異なる。再生装置３４０は、視聴者の視線に対応する２次元平面の高解像度画像と低解像度画像から表示画像を生成する。
【０３０１】
具体的には、再生装置３４０のMPD処理部３４１は、MPD取得部２２０から供給されるMPDファイルを解析する。具体的には、MPD処理部３４１は、図１６のMPD処理部２７１と同様に、各アダプテーションセット要素の識別情報を認識し、所定の識別情報のアダプテーションセット要素を選択する。例えば、MPDファイルの構成が図３０の構成である場合、MPD処理部は、識別情報が１である、先頭から１乃至１９個目のアダプテーションセット要素を選択する。
【０３０２】
そして、MPD処理部３４１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、低解像度画像のアダプテーションセット要素(図３０の例では、SRDを含まないアダプテーションセット要素)を、再生対象の低解像度画像のアダプテーションセット要素として選択する。例えば、MPDファイルの構成が図３０の構成である場合、MPD処理部３４１は、１個目のアダプテーションセット要素を選択する。
【０３０３】
また、MPD処理部３４１は、選択された所定の識別情報を含むアダプテーションセット要素の中から、高解像度画像のアダプテーションセット要素（例えば、図３０の例では、SRDを含むアダプテーションセット要素）を選択する。例えば、MPDファイルの構成が図３０の構成である場合、MPD処理部は、２乃至１９個目のアダプテーションセット要素を選択する。
【０３０４】
そして、MPD処理部３４１は、視線検出部３４３から供給される選択２次元平面情報（詳細は後述する）とSRDに基づいて、高解像度画像のアダプテーションセット要素から、選択２次元平面情報が示す選択２次元平面のアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。
【０３０５】
具体的には、MPD処理部３４１は、各２次元平面と、その２次元平面の高解像度画像の仮想の全天球画像３３２上の位置の対応関係を示す対応情報を予め保持している。MPD処理部３４１は、対応情報に基づいて、選択２次元平面情報が示す選択２次元平面に対応する仮想の全天球画像３３２上の位置を認識する。MPD処理部３４１は、その位置をobject_xとobject_yが示すアダプテーションセット要素を、再生対象の高解像度画像のアダプテーションセット要素として選択する。なお、選択２次元平面情報とは、１８個の２次元平面のうちの視聴者の視線に対応する１つの２次元平面を選択２次元平面として示す情報である。
【０３０６】
MPD処理部３４１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURL等の情報を取得し、セグメントファイル取得部２７２に供給する。また、MPD処理部３４１は、再生対象の低解像度画像および高解像度画像のアダプテーションセット要素にマッピング情報が含まれる場合、そのマッピング情報をマッピング処理部３４２に供給する。
【０３０７】
マッピング処理部３４２は、MPD処理部３４１から低解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて低解像度画像内の基準画像を基準位置に配置し、回転角λだけ回転させて、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。一方、MPD処理部３４１から低解像度画像のマッピング情報が供給されない場合、マッピング処理部３４２は、低解像度画像をそのまま、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
【０３０８】
なお、マッピング処理部３４２は、低解像度画像の全てをマッピングするのではなく、視線検出部３４３により決定される視聴者の視野範囲に透視投影される範囲を含む低解像度画像の一部のみをマッピングするようにしてもよい。
【０３０９】
また、マッピング処理部３４２は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。マッピング処理部３４２は、MPD処理部３４１から高解像度画像のマッピング情報が供給された場合、そのマッピング情報に基づいて高解像度画像の基準画像を基準位置に配置し、回転角だけ回転させて、球７０の内部に設定された選択２次元平面にテクスチャとしてマッピングする。一方、MPD処理部３４１から高解像度画像のマッピング情報が供給されない場合、マッピング処理部３４２は、高解像度画像をそのまま、球７０の内部に設定された選択２次元平面にテクスチャとしてマッピングする。
【０３１０】
そして、マッピング処理部３４２は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
【０３１１】
視線検出部３４３は、受け取り部２２８から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部３４３は、カメラ１４Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて視聴位置を検出する。
【０３１２】
視線検出部３４３は、図２３の設定部３０１と同様に、１８個の２次元平面の２次元平面情報を設定する。視線検出部３４３は、３Ｄモデルの座標系における視聴位置、視線方向、および２次元平面情報に基づいて、１８個の２次元平面のうちの、中心を通る法線が視聴者の視線に最も近い１つの２次元平面を選択２次元平面に決定する。視線検出部３４３は、選択２次元平面情報をMPD処理部３４１とマッピング処理部３４２に供給する。
【０３１３】
また、視線検出部３４３は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部３４３は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
【０３１４】
（マッピングの説明）
図３３は、図３２のマッピング処理部３４２によるマッピングを説明する図である。
【０３１５】
図３３の例では、視聴位置が球７０の中心Ｏである。この場合、中心Ｏから視線方向に延びる視線３６１と、基準位置と中心Ｏを結ぶ線とのなす、水平方向および垂直方向の角度、並びに、視線３６１の回転角に最も近い、方位角および仰角並びに回転角に対応する、中心Ｏから矢印３６２の方向に延びる線を、中心を通る法線とする２次元平面３６３が選択２次元平面として選択される。
【０３１６】
従って、マッピング処理部３４２は、球７０の内側に２次元平面３６３を３Ｄモデルとして設定する。そして、マッピング処理部３４２は、３Ｄモデルとしての球７０に低解像度画像３７１をテクスチャとしてマッピングし、３Ｄモデルとしての２次元平面３６３に高解像度画像３７２をテクスチャとしてマッピングする。
【０３１７】
以上のように、２次元平面３６３は、球７０の内部に配置される。従って、描画部２２７は、低解像度画像３７１と高解像度画像３７２の両方が存在する方向から、２次元平面３６３より内側の視野範囲に透視投影を行う際、低解像度画像３７１に比べて高解像度画像３７２を優先的に用いることができる。
【０３１８】
（再生装置の処理）
図３４は、図３２の再生装置３４０の再生処理を説明するフローチャートである。
【０３１９】
図３４のステップＳ１４１乃至Ｓ１４８の処理は、図１７のステップＳ８１乃至Ｓ８８の処理と同様であるので、説明は省略する。
【０３２０】
ステップＳ１４９において、視線検出部３４３は、３Ｄモデルの座標系における視聴位置、視線方向、および２次元平面情報に基づいて、１８個の２次元平面のうちの、中心を通る法線が視聴者の視線に最も近い１つの２次元平面を選択２次元平面に決定する。視線検出部３４３は、選択２次元平面情報をMPD処理部３４１とマッピング処理部３４２に供給する。
【０３２１】
ステップＳ１５０において、視線検出部３４３は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部３４３は、視聴者の視野範囲と視聴位置を描画部２２７に供給する。
【０３２２】
ステップＳ１５１において、MPD処理部３４１は、MPDファイルから再生対象の高解像度ストリームのセグメントファイルのURLを取得する。具体的には、MPD処理部３４１は、MPDファイルに記述される、ステップＳ１４３で選択された識別情報と選択２次元平面情報が示す選択２次元平面に対応する高解像度画像３３１の仮想の全天球画像３３２上の位置をvalueが示すSRDを含むアダプテーションセット要素のリプレゼンテーション要素から、再生時刻のセグメントファイルのURLを取得する。MPD処理部３４１は、取得されたURLをセグメントファイル取得部２７２に供給する。
【０３２３】
ステップＳ１５２乃至Ｓ１５７の処理は、図１７のステップＳ９１乃至Ｓ９６の処理と同様であるので、説明は省略する。
【０３２４】
ステップＳ１５８において、マッピング処理部３４２は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。
【０３２５】
ステップＳ１５９において、MPD処理部３４１は、再生対象の高解像度ストリームのアダプテーションセット要素にマッピング情報が含まれているかどうかを判定する。ステップＳ１５９でマッピング情報が含まれていると判定された場合、MPD処理部３４１は、そのマッピング情報をマッピング処理部３４２に供給し、処理をステップＳ１６０に進める。
【０３２６】
ステップＳ１６０において、マッピング処理部３４２は、高解像度ストリームのマッピング情報に基づいて、高解像度画像を、ステップＳ１５８で設定された選択２次元平面にテクスチャとしてマッピングする。マッピング処理部３４２は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１６２に進める。
【０３２７】
一方、ステップＳ１５９でマッピング情報が含まれていないと判定された場合、処理はステップＳ１６１に進む。ステップＳ１６１において、マッピング処理部３４２は、高解像度画像を、ステップＳ１５８で設定された選択２次元平面にそのままテクスチャとしてマッピングする。マッピング処理部３４２は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給し、処理をステップＳ１６２に進める。
【０３２８】
ステップＳ１６２およびＳ１６３の処理は、図１７のステップＳ１００およびＳ１０１の処理と同様であるので、説明は省略する。
【０３２９】
なお、上述した説明では、生成装置３００が、高解像度画像３３１を配置した仮想の全天球画像３３２を生成し、再生装置３４０が、対応情報を保持しておくことにより、SRDを用いて各高解像度画像３３１の２次元平面情報を生成装置３００から再生装置３４０に通知することを可能にした。しかしながら、生成装置３００は、SRDを用いずに、２次元平面情報そのものを再生装置３４０に通知するようにしてもよい。
【０３３０】
（MPDファイルの第２の例）
図３５は、この場合のMPDファイルの例を示す図である。
【０３３１】
図３５のMPDファイルは、先頭から２乃至１９個目のアダプテーションセット要素に、全天球画像の生成方法をvalueで示す「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」とSRDが含まれず、２次元平面情報をvalueで示す「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」が記述される点と、「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueを除いて、図３０のMPDファイルと同一である。
【０３３２】
具体的には、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueには、IDと、方位角、仰角、回転角、横画角、および縦画角とが設定される。IDは、高解像度画像の生成に用いられた全天球画像がマッピングされた３Ｄモデルを識別するＩＤである。方位角は、２次元平面情報のうちの方位角である。
【０３３３】
例えば、先頭から２個目のアダプテーションセット要素に対応する高解像度画像３３１−１に対応する２次元平面情報のうちの方位角、仰角、回転角、横画角、縦画角は、それぞれ、図２７に示したように、-135,0,0,90,90である。従って、先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、「I0 D-135,0,0,90,90」である。
【０３３４】
同様に、先頭から３乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、それぞれ、「I0 D-90,45,0,90,90」、「I0 D-90,0,0,90,90」、「I0 D-90,-45,0,90,90」、「I0 D-45,0,0,90,90」、「I0 D0,90,0,90,90」、「I0 D0,45,0,90,90」、「I0 D0,0,0,90,90」、「I0 D0,-45,0,90,90」、「I0 D0,-90,0,90,90」、「I0 D45,0,0,90,90」、「I0 D90,45,0,90,90」、「I0 D90,0,0,90,90」、「I0 D90,-45,0,90,90」、「I0 D135,0,0,90,90」、「I0 D180,45,0,90,90」、「I0 D180,0,0,90,90」、「I0 D180,-45,0,90,90」である。つまりこの図３５の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付され、２次元平面情報等のデータを格納するブロックの先頭に「D」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
【０３３５】
また、MPDファイルに２次元平面情報そのものが記述される場合、マッピング情報を、全天球画像内の基準画像の位置の座標（X,Y）と回転角λで表すことはできない。従って、図３５の例では、マッピング情報をオイラー角で表している。図３５の例では、低解像度画像のオイラー角（α,β,γ）は（0,0,0）であり、高解像度画像３３１のオイラー角(α,β,γ)は(1,0,0)である。また、図３５の例では、種類情報も記述される。
【０３３６】
よって、図３５のMPDファイルでは、先頭から１個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 Byxz-euler,0,0,0」である。また、先頭から２乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri=“urn:mpeg:dash:original_source_id:2016”」のvalueは、「I1 Byxz-euler,1,0,0」である。つまり、この場合、マッピング情報が格納されるブロックの先頭に種類情報が格納され、「B」が付されている。
【０３３７】
以上のように、MPDファイルに２次元平面情報そのものが記述される場合、生成装置３００が仮想の全天球画像３３２に高解像度画像３３１を配置したり、再生装置３４０が、予め対応情報を保持しておいたりする必要がない。従って、２次元平面の設定の自由度が高まる。
【０３３８】
その結果、例えば、注目されやすい前方向については、２次元平面の縦画角と横画角を90度に設定し、隣接する２次元平面どうしの間隔が45度になるように方位角、仰角、および回転角を設定するが、注目されにくい上方向や後方向については、２次元平面の縦画角と横画角を90度以上に設定し、最も注目されにくい下方向については、２次元平面を設定しないようにすることができる。また、注目されやすい方向を撮影画像の内容に応じて変更することもできる。
【０３３９】
なお、第３実施の形態では、高解像度画像が２次元平面への透視投影により生成されたが、立体射影(stereographic)、等距離射影(equidistant)などにより生成されるようにしてもよい。この場合、高解像度画像を生成する際の２次元平面への投影方式（Projection方式）を示す情報がMPDファイルに設定される。
【０３４０】
具体的には、例えば、図３５の「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の「Perspective」が、透視投影以外の投影方式を示す情報に変更される。または、図３５の「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の代わりに、描画面を示す情報と投影方式をvalueで示す「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016"」が、MPDファイルに記述される。前者では、投影方式を示す情報がschemeIdUriで示されるが、後者では、valueで示される。
【０３４１】
後者の場合、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016"」のvalueには、ID、投影方式を示す情報、並びに、方位角、仰角、回転角、横画角、および縦画角が設定される。
【０３４２】
投影方式として透視投影を示す情報は、例えば「Perspective」であり、立体射影を示す情報は、例えば「stereographic」であり、等距離射影を示す情報は、例えば「equidistant」である。
【０３４３】
また、第３実施の形態では、１８個の２次元平面が、立方体を構成する６個の面を含むため、１８個の高解像度画像には、６個の面４１乃至４６の画像５１乃至５６が含まれている。従って、１８個の高解像度画像のうちの６個の面４１乃至４６の画像５１乃至５６である高解像度画像（以下、共通画像という）を、第２実施の形態における再生装置２７０においても再生することができるように、MPDファイルが設定されるようにしてもよい。
【０３４４】
（共通画像の２次元平面情報の説明）
図３６は、図２７の２次元平面情報のうちの、６個の共通画像の２次元平面情報を示す図である。
【０３４５】
図３６に示すように、６個の共通画像の２次元平面情報は、図２７の２次元平面情報のうちの方位角と仰角が、それぞれ、-90と0、0と90、0と0、0と-90、90と0、180と0である２次元平面情報である。即ち、６個の共通画像は、高解像度画像３３１−３，３３１−６，３３１−８，３３１−１０，３３１−１３、および３３１−１７である。
【０３４６】
（MPDファイルの第３の例）
図３７は、図１６の再生装置２７０において共通画像をキューブマッピングにより生成された全天球画像を分割した高解像度画像として用いることができるように設定されたMPDファイルの一部の例を示す図である。
【０３４７】
図３７では、MPDファイルのうちの共通画像である高解像度画像３３１−３のアダプテーションセット要素についてのみ図示している。
【０３４８】
図３７のMPDファイルでは、高解像度画像３３１−３の高解像度ストリームのセグメントファイルが、２つのグループにグルーピングされる。従って、図３７のMPDファイルでは、高解像度画像３３１−３に対応して２つのアダプテーションセット要素が記述される。
【０３４９】
１つ目のアダプテーションセット要素では、高解像度画像３３１−３を面４２の画像５２として、各種の情報が記述される。具体的には、１つ目のアダプテーションセット要素は、リプレゼンテーション要素に記述されるBaseURLを除いて、図１４の先頭から３つ目のアダプテーションセット要素と同一である。
【０３５０】
即ち、１つ目のアダプテーションセット要素に対応する高解像度画像は、１８個の高解像度画像３３１−１乃至３３１−１８のうちの高解像度画像３３１−３である。従って、１つ目のアダプテーションセット要素内のリプレゼンテーション要素のBaseURLとしては、図３０の先頭から４つ目のアダプテーションセット要素内のリプレゼンテーション要素にBaseURLとして記述される「cube3.mp4」が記述される。
【０３５１】
また、２つ目のアダプテーションセット要素では、高解像度画像３３１−３を、線３２１−３を中心を通る法線とする２次元平面の高解像度画像として、各種の情報が記述される。具体的には、２つ目のアダプテーションセット要素は、SRDのsource_idに設定される値を除いて、図３０の先頭から４つ目のアダプテーションセット要素と同一である。
【０３５２】
即ち、高解像度画像３３１−３を面４２の画像５２とした際の分割前の画像は全天球画像５０であるが、高解像度画像３３１−３を線３２１−３を中心を通る法線とする２次元平面の高解像度画像とした際の分割前の画像は仮想の全天球画像３３２である。従って、２つ目のアダプテーションセット要素のsource_idには、１つ目のアダプテーションセット要素のsource_idである０とは異なる１が設定される。
【０３５３】
なお、図３８に示すように、２つ目のアダプテーションセット要素は、図３５の先頭から４つ目のアダプテーションセット要素と同一であってもよい。また、図示は省略するが、高解像度画像３３１−６，３３１−８，３３１−１０，３３１−１３、および３３１−１７のアダプテーションセット要素についても、高解像度画像３３１−３のアダプテーションセット要素と同様に記述される。
【０３５４】
図３７や図３８のMPDファイルが生成装置３００により生成される場合、第２実施の形態における再生装置２７０は、全天球画像の生成方法を示す情報として「cube」を有するアダプテーションセット要素のみを抽出する。そして、再生装置２７０は、抽出されたアダプテーションセット要素に対応する６個の面４１乃至４６から視線に対応する面を選択し、選択面の高解像度画像と低解像度画像を用いて表示画像を生成する。
【０３５５】
一方、第３実施の形態における再生装置３４０は、図３７のMPDファイルが生成装置３００により生成される場合、全天球画像の生成方法を示す情報として「cube-ex」を有するアダプテーションセット要素のみを抽出する。また、図３８のMPDファイルが生成装置３００により生成される場合、再生装置３４０は、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」を有するアダプテーションセット要素のみを抽出する。そして、再生装置３４０は、抽出されたアダプテーションセット要素に対応する１８個の２次元平面から視線に対応する面を選択し、選択面の高解像度画像と低解像度画像を用いて表示画像を生成する。
【０３５６】
なお、第３実施の形態では、２次元平面情報に対応する撮影方向、傾き、および画角で撮影画像を撮影することにより、撮影画像そのものを高解像度画像として用いることもできる。この場合、生成装置３００は、透視投影を行う必要がない。
【０３５７】
また、第３実施の形態では、同一の全天球画像から低解像度画像と高解像度画像が生成されたが、低解像度画像と高解像度画像の生成に用いられる全天球画像の生成方法は異なっていてもよい。また、同一の全天球画像から低解像度画像と高解像度画像が生成される場合、マッピング情報は記述されなくてもよい。
【０３５８】
＜第４実施の形態＞
（２次元平面情報の構成例）
本開示を適用した配信システムの第４実施の形態の構成は、２次元平面情報の構成を除いて、第３実施の形態の構成と同一である。従って、以下では、２次元平面情報についてのみ説明する。
【０３５９】
図３９は、第４実施の形態における２次元平面情報を示す描画面情報の構成例を示す図である。
【０３６０】
図３９の描画面情報の構成は、FOV_flag、全横画角、全縦画角、およびspatial_set_idが新たに含まれる点が、図２４の構成と異なっている。
【０３６１】
FOV_flag（面種類情報）は、このFOV_flagを含む情報に対応する描画面（視野）が球面であるか、または、２次元平面であるかを示すフラグである。描画面情報が２次元平面情報を示す場合、FOV_flagは、描画面が２次元平面であることを示す１である。
【０３６２】
FOV_flagにより、描画面が球面である場合、例えば、正距円筒図法を用いて生成された全天球画像の一部が高解像度画像として生成される場合等の描画面を示す情報の構成を、２次元平面情報と同様にすることができる。即ち、FOV_flagを変更することにより、このFOV_flagを含む情報を、２次元平面情報、または、描画面として球面を示す情報に容易に変更することができる。描画面として球面を示す情報に含まれるFOV_flagは、描画面が球面であることを示す０である。
【０３６３】
再生装置３４０は、FOV_flagにより、このFOV_flagに対応する高解像度画像が、２次元平面への透視投影により生成される画像であるか、球面への透視投影により生成される画像であるかを認識することができる。
【０３６４】
FOV_flagが１である場合、全横画角と全縦画角は、それぞれ、この全横画角と全縦画角を含む２次元平面情報が示す２次元平面のグループ（詳細は後述する）に属する２次元平面全体の横方向の画角、縦方向の画角である。FOV_flagが０である場合も同様である。以降、FOV_flagが１である場合について記述するが、特に説明しない限り、FOV_flagが０である場合も同様である。
【０３６５】
再生装置３４０は、全横画角と全縦画角により、グループに属する１つの２次元平面の２次元平面情報を解析するだけで、そのグループに対応する高解像度画像で表現可能な視野範囲を認識することができる。従って、高解像度画像で表現不可能な視野範囲の２次元平面情報を無駄に探索することを防止することができる。グループに属する２次元平面により球や立方体などの３次元物体が構成される場合、全横画角は３６０度であり、全縦画角は１８０度である。
【０３６６】
spatial_set_idは、このspatial_set_idを含む２次元平面情報が示す２次元平面が属するグループを示す、グループに固有のＩＤである。２次元平面は、例えば、横画角や縦画角、２次元平面の種類、解像度などによりグループ化される。
【０３６７】
２次元平面が横画角によりグループ化される場合、例えば、同一の横画角ごとに２次元平面がグループ化される。ヘッドマウントディスプレイ１５などの表示デバイスは、表示デバイスの種類によって表示画角が異なるため、表示に適切な２次元平面の横画角は表示デバイスの種類によって異なる。従って、再生装置３４０は、ヘッドマウントディスプレイ１５の表示に適切な横画角の２次元平面情報を容易に認識できることが望ましい。
【０３６８】
２次元平面が同一の横画角ごとにグループ化される場合、再生装置３４０は、ヘッドマウントディスプレイ１５の表示に適切な横画角に対応するグループの２次元平面情報を、ヘッドマウントディスプレイ１５の表示に適切な横画角の２次元平面情報として容易に認識することができる。縦画角についても、横画角と同様である。
【０３６９】
また、２次元平面が２次元平面の種類によりグループ化される場合、例えば、２次元平面は、キューブマッピングにより生成される全天球画像の描画面である、立方体を構成する６つの面のいずれかであるかどうかでグループ化される。この場合、図２６で説明した１８個の２次元平面のうちの、立方体を構成する６つの面が、１つのグループにグループ化され、その他の面が、他のグループにグループ化される。
【０３７０】
（FOV_flagの説明）
図４０は、FOV_flagが０である場合の描画面を説明する図である。
【０３７１】
FOV_flagが０である場合、高解像度画像は、図４０のＡに示すように、球７０の表面の一部の領域３９１にマッピングされた撮影画像、即ち、図４０のＢに示すように、正距円筒図法を用いて生成された全天球画像９０の部分画像３９２である。
【０３７２】
この場合、部分画像３９２の描画面、即ち領域３９１の横画角は、球７０の中心Ｏを含む水平面における領域３９１の角度poqであり、縦画角は、中心Ｏを含む水平面に垂直な垂直面における領域３９１の角度aobである。図４０の例では、角度poqと角度aobは３０度である。
【０３７３】
これに対して、FOV_flagが１である場合、高解像度画像の描画面は２次元平面である。従って、横画角は図２５で示した角度qosであり、縦画角は、図２５で示した角度porである。
【０３７４】
（MPDファイルの第１の例）
図４１は、図３９の２次元情報を記述するMPDファイルの第１の例を示す図である。
【０３７５】
図４１のMPDファイルは、投影方式が透視投影である場合の２次元平面情報をvalueで示すschemeIdUriである「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueに、新たにspatial_set_id、全横画角、および全縦画角が設定される点が、図３５のMPDファイルと異なっている。
【０３７６】
具体的には、図４１の「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueには、IDおよびspatial_set_idと、方位角、仰角、回転角、横画角、縦画角、全横画角、および全縦画角が設定される。
【０３７７】
また、図４１の例では、高解像度画像３３１−１乃至３３１−１８に対応する２次元平面が全て同一のグループにグループ化され、そのグループにＩＤ「１」が付与されている。また、高解像度画像３３１−１乃至３３１−１８に対応する１８個の２次元平面には、立方体４０を構成する６つの面４１乃至４６が含まれている。従って、１８個の２次元平面全体の全横画角と全縦画角は、それぞれ、３６０度、１８０度である。
【０３７８】
従って、先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、「I0,1 D-135,0,0,90,90,360,180」である。
【０３７９】
また、先頭から３乃至１９個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」のvalueは、それぞれ、「I0,1 D-90,45,0,90,90,360,180」、「I0,1 D-90,0,0,90,90,360,180」、「I0,1 D-90,-45,0,90,90,360,180」、「I0,1 D-45,0,0,90,90,360,180」、「I0,1 D0,90,0,90,90,360,180」、「I0,1 D0,45,0,90,90,360,180」、「I0,1 D0,0,0,90,90,360,180」、「I0,1 D0,-45,0,90,90,360,180」、「I0,1 D0,-90,0,90,90,360,180」、「I0,1 D45,0,0,90,90,360,180」、「I0,1 D90,45,0,90,90,360,180」、「I0,1 D90,0,0,90,90,360,180」、「I0,1 D90,-45,0,90,90,360,180」、「I0,1 D135,0,0,90,90,360,180」、「I0,1 D180,45,0,90,90,360,180」、「I0,1 D180,0,0,90,90,360,180」、「I0,1 D180,-45,0,90,90,360,180」である。つまりこの図３５の場合も、図７の場合と同様に、valueの、識別情報を格納するブロックの先頭に「I」が付されている。なお、データを格納するブロックの先頭には「D」が付されている。また、ブロック内の各情報はカンマ（,）で区切られ、ブロック間は、スペースで区切られている。
【０３８０】
なお、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」は、投影方式が透視投影である場合のschemeIdUriであるため、このschemeIdUriが記述される場合、描画面は必ず２次元平面である。従って、図４１の例では、FOV_flagがvalueとして設定されないようにしたが、設定されるようにしてもよい。
【０３８１】
また、第３実施の形態と同様に、投影方式としては透視投影以外の方式が採用されてもよい。この場合、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の「Perspective」が、投影方式を示す他の情報（例えば、「stereographic」、「equidistant」）に変更される。
【０３８２】
なお、投影方式は、valueで示されてもよい。この場合、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」の代わりに、描画面を示す情報と投影方式をvalueで示す「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016"」が、MPDファイルに記述される。そして、valueには、IDおよびspatial_set_id、投影方式を示す情報、FOV_flag、方位角、仰角、回転角、横画角、縦画角、全横画角、および全縦画角が設定される。
【０３８３】
従って、例えば、投影方式が透視投影である場合、図４１の先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」は、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016"」になり、valueは、「I0,1 Pperspective D1,-135,0,0,90,90,360,180」になる。なお、この場合、投影方式を格納するブロックの先頭には「P」が付されている。
【０３８４】
以上のように、投影方式をvalueで示す場合、valueを変更するだけで投影方式の拡張に対応することができる。従って、投影方式をschemeIdUriで示す場合に比べて投影方式の拡張への対応が容易である。また、投影方式をvalueで示す場合、描画面を示す情報をvalueで示すschemeIdUriは全投影方式で共通であるため、このschemeIdUriの記述によって、描画面が球面と２次元平面のいずれであるか判断することはできない。従って、この場合、valueには、FOV_flagが設定される。
【０３８５】
また、第４実施の形態においても、第３実施の形態と同様に、共通画像を再生装置２７０においても再生することができるように、MPDファイルが設定されるようにしてもよい。
【０３８６】
（MPDファイルの第２の例）
図４２は、この場合のMPDファイルの一部の例を示す図である。
【０３８７】
図４２のMPDファイルは、２つ目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016”」のvalueが、図４１の先頭から４個目のアダプテーションセット要素と同一になる点が、図３８のMPDファイルと異なっている。
【０３８８】
また、第４の実施例において、MPDファイルには、描画面情報が、全天球映像の生成方法とSRD情報とともに記述されるようにしてもよい。
【０３８９】
図４３は、この場合のMPDファイルの一部の例を示す図である。図４３において、各アダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/cordinates/2015”」のvalueには、全天球映像の生成方法が設定される。
【０３９０】
また、各アダプテーションセット要素の「SupplementalProperty schemeIdUri=“http://xmlns.sony.net/metadata/mpeg/dash/360VR/Portion/2016”」のvalueには、描画面情報として、ID, spatial_set_id, FOV_flag, 方位角、仰角、回転角、横画角、縦画角、全横画角、および全縦画角が設定される。投影方式は、前記全天球映像の生成方法から判別可能であるため設定されないようにしたが、設定されるようにしてもよい。
【０３９１】
さらに、２番目乃至４番目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=“urn:mpeg:dash:srd:2014”」のvalueにはSRD情報が設定される。
【０３９２】
なお、上述した描画面情報におけるID, spatial_set_id,全横画角、および全縦画角は、その描画面情報がSRD情報とともにアダプテーションセット要素に記述される場合、省略してもよい。また、各アダプテーションセット要素に記述される描画面情報が、マッピング情報を含んだ情報となっている場合、マッピング情報の記述は省略してもよい。
【０３９３】
図４４は、図４３に示されるMPDファイルにより設定されるキューブストリームの３Dモデルの例を示す斜視図である。この場合、撮影画像は、立方体の６つの面（分割１乃至分割６）にマッピングされる。この各面を展開したSRD情報は、例えば図４５のようになる。また、描画面情報は例えば図４６のようになる。
【０３９４】
また、第４実施の形態において、MPDファイルには、全天球画像の３Ｄモデルとしての球７０の半径をメートル単位で示す距離情報が記述されるようにしてもよい。
【０３９５】
（MPDファイル第３の例）
図４７は、この場合のMPDファイルの例を示す図である。
【０３９６】
図４７のMPDファイルは、各アダプテーションセット要素に、距離情報をvalueで示す「SupplementalProperty schemeIdUri=http://xmlns.sony.net/metadata/mpeg/dash/360VR/sphere_radius/2016」が新たに記述される点が、図４１のMPDファイルと異なる。
【０３９７】
図４１の例では、球７０の半径が１０メートルである。従って、図４１の先頭から２乃至１９個目のアダプテーションセット要素の「SupplementalProperty schemeIdUri=http://xmlns.sony.net/metadata/mpeg/dash/360VR/sphere_radius/2016」のvalueには、10が設定される。
【０３９８】
なお、距離情報には、球７０の半径そのものを示す情報だけでなく、球７０の半径が無限遠であることを示す「inf」や不明であることを示す「und」が含まれるようにしてもよい。距離情報が「und」である場合、球７０の半径は、再生装置３４０により推測される。また、距離情報の単位は、メートル単位以外の単位であってもよい。
【０３９９】
第１乃至第３実施の形態においても、第４実施の形態と同様に、MPDファイルに球７０の半径が記述されるようにしてもよい。
【０４００】
以上のように、MPDファイルに球７０の半径を記述することにより、再生装置１４（２７０，３４０）は、適切な奥行き感のある表示画像を視聴者に提供することができる。
【０４０１】
即ち、ヘッドマウントディスプレイ１５などの表示デバイスでは、両目用に別々の画像を表示することができる。従って、再生装置１４（２７０，３４０）は、例えば、表示画像を所定の距離だけ右方向と左方向にずらして、左目用の表示画像と右目用の表示画像を生成し、ヘッドマウントディスプレイ１５に表示させることにより、表示画像の奥行き感を発生させることができる。左目用の表示画像と右目用の表示画像のずれが大きい場合、視聴者は、表示画像における被写体が手前側にあると認識し、ずれが小さい場合、被写体が奥側にあると認識する。
【０４０２】
しかしながら、再生装置１４（２７０，３４０）は、左目用の表示画像と右目用の表示画像の適切なずれ量がわからない。従って、生成装置１２（２５０，３００）は、MPDファイルに球７０の半径を記述する。これにより、再生装置１４（２７０，３４０）は、球７０の半径に基づいて左目用の表示画像と右目用の表示画像の適切なずれ量を算出することができる。その結果、適切な奥行き感のある表示画像を視聴者に提供することができる。
【０４０３】
なお、第１乃至４実施の形態では、value値を区切る方法として、スーペースとアルファベットによって区切る方法と、コンマで区切る方法の両方が用いられるが、コンマで区切る方法のみが用いられるようにしてもよい。
【０４０４】
この場合、例えば、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016"」のvalueには、「ID,projection,FOV_flag,方位角,仰角,回転角,横画角,縦画角,全横画角,全縦画角,spatial_set_id」が設定される。
【０４０５】
従って、例えば、投影方式が透視投影である場合、図４１の先頭から２個目のアダプテーションセット要素が有する「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/Perspective-Portion/2016"」は、「SupplementalProperty schemeIdUri="http://xmlns.sony.net/metadata/mpeg/dash/360VR/portion/2016"」になり、valueは、「0,perspective,1,-135,0,0,90,90,360,180,1」になる。
【０４０６】
＜第５実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第５実施の形態は、第４実施の形態でMPDファイルに設定された画像（低解像度画像、高解像度画像）に関する各種の情報をセグメントファイルに設定する点が、第４実施の形態と異なる。従って、以下では、生成装置と再生装置以外の処理の説明は、適宜省略する。
【０４０７】
図４８は、本開示を適用した生成装置の第５実施の形態の構成例を示すブロック図である。
【０４０８】
図４８に示す構成のうち、図２３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０４０９】
図４８の生成装置４００の構成は、セグメントファイル生成部３０４、MPDファイル生成部２５６の代わりに、セグメントファイル生成部４０１、MPDファイル生成部４０２が設けられる点が、図２３の生成装置３００の構成と異なる。
【０４１０】
セグメントファイル生成部４０１は、ビットレートおよびセグメントごとに、低解像度ストリーム、各２次元平面の高解像度ストリーム、およびオーディオストリームをまとめて、MP4ファイルフォーマットにしたがってファイル化し、セグメントファイルを生成する。
【０４１１】
具体的には、セグメントファイル生成部４０１は、ビットレートおよびセグメントごとに、所定の時間単位の低解像度ストリーム、各２次元平面の高解像度ストリーム、およびオーディオストリームをそれぞれサンプルとして、セグメントファイルに配置する。また、セグメントファイル生成部４０１（設定部）は、セグメントファイルに、そのセグメントファイルに配置されるサンプルに対応する画像に関する各種の情報を設定する。セグメントファイル生成部４０１は、セグメントファイルをアップロード部３０に供給する。
【０４１２】
MPDファイル生成部４０２は、MPDファイルを生成する。このMPDファイルには、第４実施の形態のように画像に関する各種の情報は設定されない。MPDファイル生成部４０２は、MPDファイルをアップロード部３０に供給する。
【０４１３】
なお、第５実施の形態では、画像の符号化方式はHEVC（High Efficiency Video Coding）であるものする。
【０４１４】
（画像に関する各種の情報の設定方法の説明）
図４９は、図４８のセグメントファイル生成部４０１による画像に関する各種の情報の設定方法を説明する図である。
【０４１５】
セグメントファイルは、MP4ファイルフォーマットのファイルであり、図４９に示すボックス構造を有する。図４９において、４文字のアルファベットは、ボックスの名前を表し、その名前の横方向の位置は、その名前のボックスの層を表している。層は、右側ほど低い。
【０４１６】
図４９に示すように、図４８のセグメントファイル生成部４０１による画像に関する各種の情報の設定方法としては、例えば、第１乃至第５の方法がある。
【０４１７】
具体的には、画像に関する各種の情報がトラック内で変化しない場合、画像に関する各種の情報は、第１乃至第３の方法のいずれかでトラック単位で設定される。
【０４１８】
第１の方法では、画像に関する各種の情報は、moovボックスの下層の、トラックごとに設けられるtrakボックスの下層の、画像の符号化方式であるHEVCのConfiguration BoxであるhvcCボックス（HEVC Configuration Box）に設定される。
【０４１９】
第２の方法では、画像に関する各種の情報は、trakボックスの下層のstsdボックスに含まれるHEVCの画像のVisual Sample Entry（hev1ボックス）に設定される。
【０４２０】
第３の方法では、画像に関する各種の情報は、trakボックスの下層の復号後の処理に必要な情報を格納するrinf ボックス（Restricted Scheme Info box)の下層のschiボックスに設定される。
【０４２１】
また、画像に関する各種の情報の少なくとも一部がトラック内で変化する場合、画像に関する各種の情報は、第４または第５の方法で設定される。
【０４２２】
第４の方法では、画像に関する各種の情報のうちの、少なくともトラック内で変化する情報が、サンプル単位で、sbgpボックス（SampleToGroupBox）とsgpd（SampleGroupDescriptionBox）ボックスを用いてサンプルグループという手法で設定される。
【０４２３】
第５の方法では、画像に関する各種の情報のうちの、少なくともトラック内で変化する情報が、サンプル単位で、画像に関する各種の情報に割り当てられたトラックのサンプルにtimed metadataとして設定される。
【０４２４】
（第１の方法の説明）
図５０は、図４８のセグメントファイル生成部４０１により第１の方法で画像に関する各種の情報が設定される場合のhvcCボックスの構成例を示す図である。
【０４２５】
図５０に示すように、セグメントファイル生成部４０１により第１の方法で画像に関する各種の情報が設定される場合、hvcCボックスが、トラック単位の画像に関する各種の情報を含むscriボックス（Spherical Coordinate Region Info Box）を含むように拡張される。
【０４２６】
なお、第５実施の形態では、画像の符号化方式がHEVCであるのでhvcCボックスが拡張されたが、画像の符号化方式がHEVC以外である場合には、hvcCボックスではなく、その符号化方式のConfiguration Boxがscriボックスを含むように拡張される。
【０４２７】
図５１は、scriボックスの構成例を示す図である。
【０４２８】
図５１に示すように、scriボックスには、画像に関する各種の情報が設定される。具体的には、高解像度画像を生成する際の２次元平面への投影方式を示す情報がprojection_typeとして設定される。
【０４２９】
全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤがidとして設定される。FOV_flagが設定される。２次元平面情報を構成する方位角がobject_yawとして設定され、仰角がobject_pitchとして設定され、回転角がobject_rollとして設定され、横画角がobject_widthとして設定され、縦画角がobject_heightとして設定される。
【０４３０】
また、全横画角がtotal_widthとして設定され、全縦画角がtotal_heightとして設定される。なお、全横画角が360度である場合total_widthは省略可能であり、全縦画角が180度である場合total_heightは省略可能である。さらに、距離情報がsphere_radiusとして設定され、spatial_set_idが設定される。spatial_set_idが０である場合、spatial_set_idは設定されなくてもよい。
【０４３１】
なお、同一のidが設定されるscriボックスに対応するトラックが割り当てられた低解像度画像および高解像度画像は、同一の３Ｄモデルにマッピング可能である。
【０４３２】
また、同一のspatial_set_idが示すグループに属する複数の高解像度画像に対して異なるトラックが割り当てられる場合であっても、total_width,total_heightとしては、全横画角、全縦画角が設定される。即ち、この場合、total_width,total_heightとしては、複数のトラックに割り当てられた、同一のspatial_set_idが示すグループに属する複数の高解像度画像に対応する２次元平面全体の横方向の画角、縦方向の画角が設定される。
【０４３３】
全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一である複数の画像（低解像度画像、高解像度画像）に対して複数のトラックが割り当てられる場合、セグメントファイル生成部４０１は、そのＩＤをidとしてscriボックスに設定せずに、そのＩＤが同一であるトラックをグルーピングするようにしてもよい。
【０４３４】
この場合、図５２に示すように、trakボックスの下層のtrefボックス（Track Reference Box）を用いて、全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一であるトラックどうしのグルーピングが行われる。
【０４３５】
具体的には、trefボックスに含まれるトラックの参照関係を示すTrack Reference Type Boxの参照関係の種類を示すreference_typeとして、全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一であることを示す「spid」が設定される。そして、reference_typeが「spid」であるTrack Reference Type Boxには、このTrack Reference Type Boxに対応するトラックと、全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤが同一である他のトラックのＩＤが、参照するトラックのトラックＩＤであるtrack_IDsとして設定される。
【０４３６】
同様に、spatial_set_idが同一である複数の高解像度画像に対して複数のトラックが割り当てられる場合、セグメントファイル生成部４０１は、spatial_set_id をscriボックスに設定せずに、spatial_set_idが同一であるトラックをグルーピングするようにしてもよい。この場合、reference_typeは、spatial_set_idが同一であることを示す「spsi」である。
【０４３７】
（第２の方法の説明）
図５３は、図４８のセグメントファイル生成部４０１により第２の方法で画像に関する各種の情報が設定される場合のVisual Sample Entryの構成例を示す図である。
【０４３８】
図５３に示すように、セグメントファイル生成部４０１により第２の方法で画像に関する各種の情報が設定される場合、画像のSample EntryであるVisual Sample Entryが、図５１のscriボックスを含むように拡張される。従って、第２の方法では、画像の符号化方式によって、scriボックスを含むように拡張するボックスは変化しない。
【０４３９】
第５実施の形態では、画像の符号化方式はHEVCであるため、画像に関する各種の情報が設定されるVisual Sample Entry は、HEVCの画像のVisual Sample Entry（hev1ボックス）である。
【０４４０】
（第３の方法の説明）
図５４は、図４８のセグメントファイル生成部４０１により第３の方法で画像に関する各種の情報が設定される場合のschiボックスの構成例を示す図である。
【０４４１】
図５４に示すように、セグメントファイル生成部４０１により第３の方法で画像に関する各種の情報が設定される場合、schiボックスが、図５１のscriボックスを含むように拡張される。拡張されたschiボックスと同層のschmボックス（Scheme Type Box）の、そのschiボックスに格納される情報を用いる復号後の処理の種類を表すscheme_typeは、マッピング処理を示す「scri」に設定される。
【０４４２】
第３の方法では、画像の符号化方式によって、scriボックスを含むように拡張するボックスは変化しない。
【０４４３】
なお、第２の方法および第３の方法においても、第１の方法と同様に、セグメントファイル生成部４０１は、idやspatial_set_idを設定せず、trefボックスを用いて全天球画像の生成に用いられた撮影画像の識別情報としてのＩＤやspatial_set_idが同一であるトラックをグルーピングすることができる。
【０４４４】
以上のように、第１乃至第３の方法では、トラックごとに設けられるtrakボックスの下層に画像に関する各種の情報が設定される。従って、画像に関する各種の情報がトラック内で変化しない場合、その情報をトラック単位で効率的に設定することができる。
【０４４５】
（第４の方法の説明）
図５５は、サンプルグループを説明する図である。
【０４４６】
図５５に示すように、サンプルグループという手法では、sgpdボックスとsbgpボックスが用いられる。
【０４４７】
sgpdボックスは、サンプルに関する情報であるサンプル情報が共通である連続するサンプルをグループ化し、各グループのサンプル情報を記述するボックスである。sbgpボックスは、各グループのサンプルを特定する情報(以下、サンプル特定情報という)を記述するボックスである。
【０４４８】
sgpdボックスには、grouping_type, entry_count, GroupEntryなどが記述される。sgpdボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、各グループのサンプル情報のうちの互いに異なるサンプル情報の数を示す。また、GroupEntryは、各グループのサンプル情報のうちの互いに異なるサンプル情報であり、entry_countの数だけ記述される。GroupEntryの構造は、grouping_typeによって異なる。
【０４４９】
sbgpボックスには、grouping_type，entry_count，sample_count, group_description_indexなどが記述される。sbgpボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、グループの数を示す。
【０４５０】
sample_countは、各グループのサンプル特定情報であり、各グループのサンプルの連続数を示す。sample_countは、entry_countの数だけ記述され、全てのsample_countの合計は、sgpdボックスに対応するトラックの全サンプル数になる。group_description_indexは、各グループのサンプル情報であるGroupEntryを特定する情報である。
【０４５１】
図５５の例では、grouping_typeが同一であるsbgpボックスとsgpdボックスのentry_countが、それぞれ、６，４である。従って、グループの数は６個であり、６個の各グループのサンプル情報のうちの互いに異なるサンプル情報の数は４個である。そして、sgpdボックスには、４つのGroupEntryが記述される。
【０４５２】
また、sbgpボックスの先頭から１乃至６番目のsample_count[1]乃至sample_count［6］は、順に、１，２，１，１，１，２である。従って、先頭から１乃至６番目のグループのサンプル数が、順に、１，２，１，１，１，２である。
【０４５３】
即ち、先頭から１番目のサンプル（sample[1]）が、先頭から１番目のグループに分類され、先頭から２番目および３番目のサンプル（sample[2],sample[3]）が、先頭から２番目のグループに分類される。また、先頭から４番目のサンプル（sample[4]）が、先頭から３番目のグループに分類され、先頭から５番目のサンプル（sample[5]）が、先頭から４番目のグループに分類される。先頭から６番目のサンプル（sample[6]）が、先頭から５番目のグループに分類され、先頭から７番目および８番目のサンプル（sample[7],sample[8]）が、先頭から６番目のグループに分類される。
【０４５４】
また、先頭から１番目乃至６番目のgroup_description_index[1]乃至group_description_index[6]は、順に、１，３，２，０，４，１である。従って、先頭から１番目のグループに分類される先頭から１番目のサンプルのサンプル情報は、先頭から１番目のGroupEntryである。また、先頭から２番目のグループに分類される先頭から２番目および３番目のサンプルに共通するサンプル情報は、先頭から３番目のGroupEntryである。
【０４５５】
さらに、先頭から３番目のグループに分類される先頭から４番目のサンプルのサンプル情報は、先頭から２番目のGroupEntryである。また、先頭から５番目のグループに分類される先頭から４番目のサンプル情報はない。
【０４５６】
また、先頭から５番目のグループに分類される先頭から６番目のサンプルのサンプル情報は、先頭から４番目のGroupEntryである。また、先頭から６番目のグループに分類される先頭から７番目および８番目のサンプルに共通するサンプル情報は、先頭から１番目のGroupEntryである。
【０４５７】
セグメントファイル生成部４０１により第４の方法で画像に関する各種の情報が設定される場合、以上のようなサンプルグループを用いて、サンプル単位の画像に関する各種の情報がサンプル情報として設定される。
【０４５８】
具体的には、図５６のSpherical Coordinate Region Info EntryがGroupEntryとして配置されたgrouping_typeが「scri」であるsgpdボックスに対応して、grouping_typeが「scri」であるsbgpボックスが設定される。図５６のSpherical Coordinate Region Info Entryは、サンプル単位の画像に関する各種の情報を含むように、VisualSampleGroupEntryを拡張したものである。
【０４５９】
即ち、第４の方法では、サンプル単位の画像に関する各種の情報が共通である連続するサンプルがグループ化される。そして、各グループのサンプル単位の画像に関する各種の情報のうちの互いに異なるものが、grouping_typeが「scri」であるsgpdボックスにGroupEntryとして配置される図５６のSpherical Coordinate Region Info Entryに設定される。また、grouping_typeが「scri」であるsbgpボックスに、各グループのサンプル特定情報を示すsample_countが設定される。これにより、サンプル単位の画像に関する各種の情報をセグメントファイルに設定することができる。
【０４６０】
なお、上述した第４の方法では、画像に関する各種の情報の全てをサンプル単位で設定できるようにしたが、画像に関する各種の情報のうちのトラック内で変化する情報のみをサンプル単位で設定できるようにしてもよい。
【０４６１】
図５７は、この場合のSpherical Coordinate Region Info Entryの構成例を示す図である。
【０４６２】
なお、図５７の例では、画像に関する各種の情報のうちのobject_yaw,object_pitch,object_roll,object_width、およびobject_heightが、トラック内で変化する情報である。
【０４６３】
この場合、図５７に示すように、Spherical Coordinate Region Info Entryには、object_yaw,object_pitch,object_roll,object_width、およびobject_heightのみが設定される。
【０４６４】
また、この場合、画像に関する各種の情報のうちのトラック内で変化しない情報は、第１乃至第３の方法と同様の方法で、hvcCボックス、hev1ボックス、またはschiボックスに含まれるscriボックスに設定される。このときのscriボックスは、図５８に示すようになる。図５８のscriボックスの構成は、object_yaw,object_pitch,object_roll,object_width、およびobject_heightが設定されない点が、図５１の構成と異なる。
【０４６５】
なお、第１乃至第３の方法と同様に、トラック内で変化しない情報のうちのidやspatial_set_idはscriボックスに設定されず、idやspatial_set_idが同一であるトラックがグルーピングされるようにしてもよい。
【０４６６】
以上のように、画像に関する各種の情報のうちのトラック内で変化する情報のみをサンプルグループを用いて設定する場合、画像に関する各種の情報の全てをサンプルグループを用いて設定する場合に比べて、セグメントファイルのデータ量を削減することができる。
【０４６７】
なお、図５７および図５８の例では、画像に関する各種の情報のうちのトラック内で変化する情報は、object_yaw,object_pitch,object_roll,object_width、およびobject_heightであるものとしたが、任意の情報にすることができる。
【０４６８】
（第５の方法の説明）
図５９は、図４８のセグメントファイル生成部４０１により第５の方法で画像に関する各種の情報が設定される場合のセグメントファイルの構成例を示す図である。
【０４６９】
図５９に示すように、第５の方法では、画像に関する各種の情報に対して、その画像のトラックとは異なるメタデータのトラック(Spherical Coordinate Region Info Track)が割り当てられる。サンプル単位の画像に関する各種の情報（Spherical Coordinate Region Information）は、割り当てられたトラックにtimed metadataのサンプルとして設定される。
【０４７０】
また、Spherical Coordinate Region Info Trackのtrefボックスには、reference_typeが、画像とその画像に関する各種の情報の関係であることを示す「scri」であるTrack Reference Type Boxが設定される。このTrack Reference Type Boxには、このTrack Reference Type Boxに対応するトラックの画像に関する各種の情報のSpherical Coordinate Region Info TrackのＩＤが、track_IDsとして設定される。
【０４７１】
図６０は、サンプル単位の画像に関する各種の情報が配置されたtimed metadataのサンプルであるSphericalCoordinateRegionInfoSampleの構成例を示す図である。
【０４７２】
図６０に示すように、SphericalCoordinateRegionInfoSampleには、サンプル単位の画像に関する各種の情報が設定される。
【０４７３】
なお、全てのサンプルのサンプル単位の画像に関する各種の情報がSphericalCoordinateRegionInfoSampleとして設定されるのではなく、直前のサンプルのサンプル単位の画像に関する各種の情報と異なる場合にのみ、その情報がSphericalCoordinateRegionInfoSampleとして設定されるようにしてもよい。
【０４７４】
この場合、サンプル単位の画像に関する各種の情報をSphericalCoordinateRegionInfoSampleに設定する方法としては、例えば、全情報設定方法と部分情報設定方法の２つの方法がある。
【０４７５】
全情報設定方法は、サンプル単位の画像に関する各種の情報のうちの少なくとも１つが直前のサンプルのものと異なる場合、サンプル単位の画像に関する各種の情報の全てをSphericalCoordinateRegionInfoSampleに設定する方法である。
【０４７６】
具体的には、全情報設定方法では、図６１に示すように、Spherical Coordinate Region Info Trackのtrakボックスの下層のstsdボックスに含まれる画像に関する各種の情報のMetadata Sample EntryであるSpherical Coordinate Region Info Sample Entryが、Spherical Coordinate Region Info Configuration Boxを含む。そして、図６２に示すように、Spherical Coordinate Region Info Configuration Boxには、サンプル単位の画像に関する各種の情報のデフォルト値（default_projection_type, default_id, default_FOV_flag, default_object_yaw, default_object_pitch, default_object_roll, default_object_width, default_object_height, default_total_width, default_total_height, default_sphere_radius、およびdefault_spatial_set_id）が設定される。
【０４７７】
なお、ここでは、サンプル単位の画像に関する各種の情報のデフォルト値は、Spherical Coordinate Region Info Trackのstsdボックスに含まれるようにするが、画像のトラックのstsdボックスに含まれるようにしてもよい。この場合のhvcCボックスは、トラック単位の画像に関する各種の情報が、サンプル単位の画像に関する各種の情報のデフォルト値に代わる点を除いて、図５０および図５１で説明した第１の方法におけるhvcCボックスと同一である。
【０４７８】
また、全情報設定方法では、SphericalCoordinateRegionInfoSampleは、図６３に示すようになる。図６３のSphericalCoordinateRegionInfoSampleは、このサンプルと直前のサンプルのサンプル単位の画像に関する各種の情報のうちの少なくとも１つが異なるかどうかを示す１ビットのupdate_flagが設定される点と、update_flagに応じてサンプル単位の画像に関する各種の情報の全てが設定される点が、図６０のSphericalCoordinateRegionInfoSampleと異なる。
【０４７９】
update_flagは、このupdate_flagに対応するサンプルと直前のサンプルのサンプル単位の画像に関する各種の情報のうちの少なくとも１つが異なる場合１であり、全てが同一である場合０である。なお、update_flagに対応するサンプルが最初のサンプルである場合、直前のサンプルのサンプル単位の画像に関する各種の情報は、サンプル単位の画像に関する各種の情報のデフォルト値である。
【０４８０】
update_flagが１である場合、SphericalCoordinateRegionInfoSampleには、このサンプルのサンプル単位の画像に関する各種の情報が設定される。一方、update_flagが0である場合、SphericalCoordinateRegionInfoSampleには、サンプル単位の画像に関する各種の情報は設定されない。
【０４８１】
また、部分情報設定方法は、サンプル単位の画像に関する各種の情報のうちの少なくとも１つが直前のサンプルのものと異なる場合、異なる情報のみをSphericalCoordinateRegionInfoSampleに設定する方法である。
【０４８２】
具体的には、部分情報設定方法では、全情報設定方法と同様に、サンプル単位の画像に関する各種の情報のデフォルト値が設定される。また、SphericalCoordinateRegionInfoSampleは、図６４に示すようになる。図６４のSphericalCoordinateRegionInfoSampleは、このサンプルと直前のサンプルのサンプル単位の画像に関する各種の情報のそれぞれが異なるかどうかを示す１６ビットのupdate_flagが設定される点と、update_flagに応じてサンプル単位の画像に関する各種の情報が情報ごとに設定される点が、図６０のSphericalCoordinateRegionInfoSampleと異なる。
【０４８３】
即ち、update_flagの各ビットには、サンプル単位の画像に関する各種の情報の各情報が割り当てられており、各情報が、このupdate_flagに対応するサンプルの直前のサンプルと異なる場合、その情報に割り当てられたビットが１になり、同一である場合０になる。なお、update_flagに対応するサンプルが最初のサンプルである場合、直前のサンプルのサンプル単位の画像に関する各種の情報は、サンプル単位の画像に関する各種の情報のデフォルト値である。
【０４８４】
図６４の例では、update_flagの各ビットが、最下位ビットから順に、画像に関する各種の情報のうちの、projection_type, id, FOV_flag, object_yaw, object_pitch, object_roll, object_width, object_height, total_width, total_height, sphere_radius, spatial_set_idに割り当てられている。
【０４８５】
従って、例えば１６ビットのupdate_flagが0000 0000 0000 0001bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのprojection_typeのみが設定される。update_flagが0000 0000 0000 0010bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのidのみが設定される。
【０４８６】
また、update_flagが0000 0000 0000 0100b である場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのFOV_flagのみが設定される。update_flagが0000 0000 0000 1000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_yawのみが設定される。update_flagが0000 0000 0001 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_pitchのみが設定される。
【０４８７】
さらに、update_flagが0000 0000 0010 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_rollのみが設定される。update_flagが0000 0000 0100 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_widthのみが設定される。update_flagが0000 0000 1000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのobject_heightのみが設定される。
【０４８８】
また、update_flagが0000 0001 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのtotal_widthのみが設定される。update_flagが0000 0010 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのtotal_heightのみが設定される。update_flagが0000 0100 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのsphere_radiusのみが設定される。update_flagが0000 1000 0000 0000bである場合、SphericalCoordinateRegionInfoSampleには、このupdate_flagに対応するサンプルのspatial_set_idのみが設定される。
【０４８９】
さらに、例えば、画像に関する各種の情報のうちのprojection_typeとFOV_flagのみが直前のサンプルとは異なる場合、update_flagとしては0x0005(0000 0000 0000 0101b)が設定される。この場合、SphericalCoordinateRegionInfoSampleには、このサンプルのprojection_typeとFOV_flagのみが設定される。
【０４９０】
以上のように、サンプル単位の画像に関する各種の情報の少なくとも１つが直前のサンプルとは異なる場合にのみ、サンプル単位の画像に関する各種の情報がSphericalCoordinateRegionInfoSampleに設定される場合、サンプル単位の画像に関する各種の情報の変更頻度が低いときに、セグメントファイルのデータ量を削減することができる。
【０４９１】
また、部分情報設定方法では、サンプル単位の画像に関する各種の情報のうちの、直前のサンプルとは異なる情報のみがSphericalCoordinateRegionInfoSampleに設定されるので、全情報設定方法に比べて、セグメントファイルのデータ量をより削減することができる。
【０４９２】
上述した第５の方法では、画像に関する各種の情報の全てをサンプル単位で設定できるようにしたが、画像に関する各種の情報のうちのトラック内で変化する情報のみをサンプル単位で設定できるようにしてもよい。
【０４９３】
図６５は、この場合のSpherical Coordinate Region Info Configuration Boxの構成例を示す図であり、図６６は、この場合のSphericalCoordinateRegionInfoSampleの構成例を示す図である。
【０４９４】
図６５および図６６の例では、画像に関する各種の情報のうちのobject_yaw,object_pitch,object_roll,object_width、およびobject_heightが、トラック内で変化する情報である。
【０４９５】
この場合、図６５に示すように、Spherical Coordinate Region Info Trackのtrakボックスの下層のstsdボックスに含まれるSpherical Coordinate Region Info Configuration Boxには、画像に関する各種の情報のうちのトラック内で変化しないprojection_type, id, FOV_flag, total_width, total_height, sphere_radius、およびspatial_set_idがトラック単位で設定される。
【０４９６】
また、図６６に示すように、SphericalCoordinateRegionInfoSampleには、画像に関する各種の情報のうちのトラック内で変化するobject_yaw,object_pitch,object_roll,object_width、およびobject_heightがサンプル単位で設定される。
【０４９７】
なお、画像に関する各種の情報のうちのトラック内で変化しないprojection_type, id, FOV_flag, total_width, total_height, sphere_radius、およびspatial_set_idは、画像のトラックのstsdボックスに含まれるようにしてもよい。この場合のhvcCボックスは、object_yaw,object_pitch,object_roll,object_width、およびobject_heightが設定されない点が、図５０および図５１で説明した第１の方法におけるhvcCボックスと異なる。
【０４９８】
また、第１乃至第３の方法と同様に、トラック内で変化しない情報のうちのidやspatial_set_idはscriボックスに設定されず、idやspatial_set_idが同一であるトラックがグルーピングされるようにしてもよい。
【０４９９】
以上のように、画像に関する各種の情報のうちのトラック内で変化する情報のみをSphericalCoordinateRegionInfoSampleに設定する場合、画像に関する各種の情報の全てをSphericalCoordinateRegionInfoSampleに設定する場合に比べて、セグメントファイルのデータ量を削減することができる。
【０５００】
なお、図６５および図６６の例では、画像に関する各種の情報のうちのトラック内で変化する情報は、object_yaw,object_pitch,object_roll,object_width、およびobject_heightであるものとしたが、任意の情報にすることができる。
【０５０１】
以上のように、第４の方法または第５の方法では、画像に関する各種の情報のうちの少なくともトラック内で変化する情報がサンプル単位でセグメントファイルに設定される。従って、画像に関する各種の情報の少なくとも一部がトラック内で変化する場合であっても、その情報をセグメントファイルに設定することができる。
【０５０２】
（生成装置の処理の説明）
図６７は、図４８の生成装置４００のファイル生成処理を説明するフローチャートである。
【０５０３】
図６７のステップＳ２０１乃至Ｓ２０８の処理は、図３１のステップＳ１２１乃至Ｓ１２８の処理と同様であるので、説明は省略する。
【０５０４】
ステップＳ２０９において、セグメントファイル生成部４０１は、ビットレートおよびセグメントごとに、低解像度ストリーム、各２次元平面の高解像度ストリーム、およびオーディオストリームをまとめてファイル化し、第１乃至第５の方法のいずれかの方法で画像に関する各種の情報が設定されたセグメントファイルを生成する。
【０５０５】
ステップＳ２１０において、MPDファイル生成部４０２は、MPDファイルを生成する。
【０５０６】
ステップＳ２１１において、アップロード部３０は、セグメントファイル生成部４０１から供給されるセグメントファイルとMPDファイル生成部４０２から供給されるMPDファイルとを、図１の配信サーバ１３にアップロードし、処理を終了する。
【０５０７】
（再生装置の構成例）
図６８は、本開示を適用した配信システムの第５実施の形態における再生装置の構成例を示すブロック図である。
【０５０８】
図６８に示す構成のうち、図３２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０５０９】
図６８の再生装置４３０の構成は、MPD処理部３４１、セグメントファイル取得部２７２、マッピング処理部３４２の代わりに、MPD処理部４３１、セグメントファイル取得部４３２、マッピング処理部４３３が設けられる点が、図３２の再生装置３４０の構成と異なる。
【０５１０】
具体的には、再生装置４３０のMPD処理部４３１は、MPD取得部２２０から供給されるMPDファイルを解析し、所定のビットレートの再生時刻のセグメントファイルのURL等の情報を取得する。MPD処理部４３１は、取得されたURLをセグメントファイル取得部４３２に供給する。
【０５１１】
セグメントファイル取得部４３２は、MPD処理部４３１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。セグメントファイル取得部４３２は、取得されたセグメントファイルから画像（低解像度画像、高解像度画像）に関する各種の情報を取得する。セグメントファイル取得部４３２は、取得された画像に関する各種の情報のうちの所定のidに対応するサンプルを選択する。
【０５１２】
そして、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等が設定されないサンプルを、再生対象の低解像度画像のサンプルとする。セグメントファイル取得部４３２は、再生対象の低解像度画像のサンプルに配置される１本の低解像度ストリームをデコーダ２７３に供給する。
【０５１３】
また、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等も設定されるサンプルを、高解像度画像のサンプルとして認識する。
【０５１４】
そして、セグメントファイル取得部４３２は、視線検出部３４３により生成された選択２次元平面情報と、高解像度画像のサンプルに対応するsource_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id等に基づいて、高解像度画像のサンプルから、選択２次元平面に対応するサンプルを、再生対象の高解像度画像のサンプルとして選択する。セグメントファイル取得部４３２は、再生対象の高解像度画像のサンプルに配置される１本の高解像度ストリームをデコーダ２７４に供給する。
【０５１５】
マッピング処理部４３３は、デコーダ２７３から供給される低解像度画像を、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
【０５１６】
なお、マッピング処理部４３３は、低解像度画像の全てをマッピングするのではなく、視線検出部３４３により決定される視聴者の視野範囲に透視投影される範囲を含む低解像度画像の一部のみをマッピングするようにしてもよい。
【０５１７】
また、マッピング処理部４３３は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。マッピング処理部４３３は、高解像度画像を、球７０の内部に設定された選択２次元平面にテクスチャとしてマッピングする。そして、マッピング処理部４３３は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
【０５１８】
（再生装置の処理）
図６９は、図６８の再生装置４３０の再生処理を説明するフローチャートである。
【０５１９】
図６９のステップＳ２３１において、再生装置４３０のMPD取得部２２０は、MPDファイルを図１の配信サーバ１３に要求し、取得する。MPD取得部２２０は、取得されたMPDファイルをMPD処理部４３１に供給する。
【０５２０】
ステップＳ２３２において、MPD処理部４３１は、MPD取得部２２０から供給されるMPDファイルを解析し、所定のビットレートの再生時刻のセグメントファイルのURL等の情報を取得する。MPD処理部４３１は、取得されたURLをセグメントファイル取得部４３２に供給する。
【０５２１】
ステップＳ２３３において、セグメントファイル取得部４３２は、MPD処理部４３１から供給されるURLに基づいて、そのURLで特定されるセグメントファイルを配信サーバ１３に要求し、セグメントファイルを取得する。
【０５２２】
ステップＳ２３４において、セグメントファイル取得部４３２は、取得されたセグメントファイルから画像に関する各種の情報を取得する。
【０５２３】
ステップＳ２３５において、セグメントファイル取得部４３２は、ステップＳ２３４で取得された画像に関する各種の情報のうちのidの中から所定のidを再生対象の全天球画像のidとして選択する。そして、セグメントファイル取得部４３２は、選択されたidが設定されたサンプルを選択する。
【０５２４】
ステップＳ２３６において、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等が設定されないサンプルを再生対象の低解像度画像のサンプルとし、そのサンプルに配置される１本の低解像度ストリームをセグメントファイルから取得する。セグメントファイル取得部４３２は、取得された１本の低解像度ストリームをデコーダ２７３に供給する。
【０５２５】
ステップＳ２３７乃至Ｓ２４２の処理は、図３４のステップＳ１４５乃至Ｓ１５０の処理と同様であるので、説明は省略する。
【０５２６】
ステップＳ２４３において、セグメントファイル取得部４３２は、選択されたサンプルのうちの、画像に関する各種の情報として２次元平面情報等も設定されるサンプルを、高解像度画像のサンプルとして認識する。そして、セグメントファイル取得部４３２は、視線検出部３４３により生成された選択２次元平面情報と、高解像度画像のサンプルに対応するsource_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id等に基づいて、高解像度画像のサンプルから、選択２次元平面に対応するサンプルを、再生対象の高解像度画像のサンプルとして選択する。セグメントファイル取得部４３２は、再生対象の高解像度画像のサンプルに配置される１本の高解像度ストリームをデコーダ２７４に供給する。
【０５２７】
ステップＳ２４４において、セグメントファイル取得部４３２は、セグメントファイルから、ステップＳ２４３で選択された再生対象の高解像度画像のサンプルに配置される１本の高解像度ストリームを取得し、デコーダ２７４に供給する。
【０５２８】
ステップＳ２４５およびＳ２４６の処理は、図３４のステップＳ１５３およびＳ１５４の処理と同様であるので、説明は省略する。
【０５２９】
ステップＳ２４７において、マッピング処理部４３３は、デコーダ２７３から供給される低解像度画像を、球７０の面７１乃至７６のそれぞれにテクスチャとしてマッピングする。
【０５３０】
ステップＳ２４８において、マッピング処理部４３３は、視線検出部３４３から供給される選択２次元平面情報に基づいて、球７０の内部に選択２次元平面を３Ｄモデルとして設定する。
【０５３１】
ステップＳ２４９において、マッピング処理部４３３は、デコーダ２７４から供給される高解像度画像を、ステップＳ２４８で設定された選択２次元平面にテクスチャとしてマッピングする。マッピング処理部４３３は、球７０と選択２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部２２７に供給する。
【０５３２】
ステップＳ２５０およびＳ２５１の処理は、図３４のステップＳ１６２およびＳ１６３の処理と同様である。
【０５３３】
以上のように、生成装置４００は、セグメントファイルに画像に関する各種の情報を設定する。従って、第４実施の形態と同様の効果をMP4レイヤで実現することができる。
【０５３４】
また、生成装置４００は、セグメントファイルのサンプルを管理するmoovボックスの下層、または、画像のトラックと参照関係にあるトラックのサンプルに、画像に関する各種の情報を設定する。従って、サンプルとして配置される低解像度ストリームや高解像度ストリームの復号前に、各種の情報を認識することができる。
【０５３５】
さらに、生成装置４００は、画像に関する各種の情報をトラック単位またはサンプル単位で設定する。従って、再生装置４３０は、画像に関する各種の情報をトラック単位またはサンプル単位で認識することができる。よって、再生装置４３０は、トラック単位またはサンプル単位の画像に関する各種の情報と選択２次元平面情報に基づいて、再生対象のトラック単位のサンプルまたはサンプル単位のサンプルを容易に選択することができる。
【０５３６】
なお、第５実施の形態では、第４実施の形態でMPDファイルに設定された画像に関する各種の情報が、セグメントファイルに設定されたが、第１乃至第３実施の形態でMPDファイルに設定された画像に関する各種の情報が、セグメントファイルに設定されるようにしてもよい。さらに、上述した第１乃至第５実施の形態を全て組み合わせてもよく、例えば、画像に関する各種の情報が、セグメントファイルとMPDファイルとの両方に設定されるようにしてもよい。
【０５３７】
また、画像に関する各種の情報には、マッピング情報が含まれるようにしてもよい。マッピング情報が含まれる場合、マッピング処理部４３３は、マッピング処理部４３３と同様に、そのマッピング情報に基づいてマッピングを行う。
【０５３８】
＜第６実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０５３９】
図７０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０５４０】
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０５４１】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
【０５４２】
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
【０５４３】
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０５４４】
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０５４５】
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０５４６】
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０５４７】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０５４８】
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０５４９】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０５５０】
なお、本開示は、以下のような構成もとることができる。
【０５５１】
（１）
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報を設定する設定部
を備えるファイル生成装置。
（２）
前記設定部は、前記全天球画像を前記３Ｄモデルにマッピングする際に用いられるマッピング情報を設定する
ように構成された
前記（１）に記載のファイル生成装置。
（３）
前記マッピング情報は、前記画像内の基準画像が前記３Ｄモデルの基準位置に所定の傾きでマッピングされるように、前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる情報である
ように構成された
前記（２）に記載のファイル生成装置。
（４）
前記マッピング情報は、前記全天球画像内の前記基準画像の位置と、前記基準画像が前記基準位置にマッピングされるように前記全天球画像を前記３Ｄモデルにマッピングした際に前記３Ｄモデル上の前記基準画像の傾きを前記所定の傾きにする回転角とにより構成される
ように構成された
前記（３）に記載のファイル生成装置。
（５）
前記マッピング情報は、前記基準画像が前記基準位置に前記所定の傾きでマッピングされるように前記全天球画像を前記３Ｄモデルにマッピングする際の前記全天球画像の回転角である
前記（３）に記載のファイル生成装置。
（６）
前記設定部は、前記画像を３Ｄモデルにマッピングすることにより生成された複数の前記全天球画像に対して同一の前記識別情報を設定する
ように構成された
前記（１）に記載のファイル生成装置。
（７）
前記設定部は、前記複数の方法のうちの少なくとも１つの方法で生成された前記全天球画像と、残りの方法で生成された各領域の前記全天球画像に対して同一の識別情報を設定する
ように構成された
前記（６）に記載のファイル生成装置。
（８）
前記設定部は、前記全天球画像を描画面に投影することにより生成される画像に対して前記識別情報を設定する
前記（１）に記載のファイル生成装置。
（９）
前記設定部は、前記画像に対して、その描画面に関する情報を含む描画面情報を設定する
ように構成された
前記（８）に記載のファイル生成装置。
（１０）
前記描画面情報は、前記描画面の位置と画角を含む
ように構成された
前記（９）に記載のファイル生成装置。
（１１）
前記描画面情報は、前記画像の描画面が２次元平面または球面であることを示す面種類情報を含む
ように構成された
前記（９）または（１０）に記載のファイル生成装置。
（１２）
前記描画面はグループ化され、
前記描画面情報は、その描画面情報が位置と画角を示す前記描画面が属するグループを示す情報と、そのグループに属する描画面全体の画角を含む
ように構成された
前記（９）または（１１）に記載のファイル生成装置。
（１３）
前記設定部は、前記全天球画像を描画面に投影することにより生成される複数の画像のそれぞれに対して、その画像の生成に用いられた前記全天球画像がマッピングされた前記３Ｄモデルを識別する情報として同一の情報を設定する
ように構成された
前記（８）乃至（１２）のいずれかに記載のファイル生成装置。
（１４）
前記３Ｄモデルは球であり、
前記設定部は、前記３Ｄモデルの半径を示す情報を設定する
ように構成された
前記（１）乃至（１３）のいずれかに記載のファイル生成装置。
（１５）
前記設定部は、前記全天球画像のファイルを管理する管理ファイルに前記識別情報を設定する
ように構成された
前記（１）乃至（１４）のいずれかに記載のファイル生成装置。
（１６）
前記設定部は、前記全天球画像のファイルに前記識別情報を設定する
ように構成された
前記（１）乃至（１５）のいずれかに記載のファイル生成装置。
（１７）
ファイル生成装置が、
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報を設定する設定ステップ
を含むファイル生成方法。
（１８）
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択部
を備える再生装置。
（１９）
再生装置が、
画像を３Ｄモデルにマッピングすることにより生成された全天球画像の生成に用いられた前記画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択ステップ
を含む再生方法。
【符号の説明】
【０５５２】
１２  生成装置,  １４  再生装置,  ２９  MPDファイル生成部,  ４０  立方体,  ４１乃至４６  面,  ５０  全天球画像,  ７０  球,  ９０  全天球画像,  ２２１  MPD処理部,  ２５０  生成装置,  ２５６  MPDファイル生成部,  ２７０  再生装置,  ２７１  MPD処理部,  ３００  生成装置,  ３３１−１乃至３３１−１８  高解像度画像，  ３４０  再生装置,  ３４１  MPD処理部，  ４００  生成装置,  ４０１  セグメントファイル生成部,  ４３０  再生装置,  ４３１  MPD処理部
【図１】
2017195881.tif 000003
【図２】
2017195881.tif 000004
【図３】
2017195881.tif 000005
【図４】
2017195881.tif 000006
【図５】
2017195881.tif 000007
【図６】
2017195881.tif 000008
【図７】
2017195881.tif 000009
【図８】
2017195881.tif 000010
【図９】
2017195881.tif 000011
【図１０】
2017195881.tif 000012
【図１１】
2017195881.tif 000013
【図１２】
2017195881.tif 000014
【図１３】
2017195881.tif 000015
【図１４】
2017195881.tif 000016
【図１５】
2017195881.tif 000017
【図１６】
2017195881.tif 000018
【図１７】
2017195881.tif 000019
【図１８】
2017195881.tif 000020
【図１９】
2017195881.tif 000021
【図２０】
2017195881.tif 000022
【図２１】
2017195881.tif 000023
【図２２】
2017195881.tif 000024
【図２３】
2017195881.tif 000025
【図２４】
2017195881.tif 000026
【図２５】
2017195881.tif 000027
【図２６】
2017195881.tif 000028
【図２７】
2017195881.tif 000029
【図２８】
2017195881.tif 000030
【図２９】
2017195881.tif 000031
【図３０】
2017195881.tif 000032
【図３１】
2017195881.tif 000033
【図３２】
2017195881.tif 000034
【図３３】
2017195881.tif 000035
【図３４】
2017195881.tif 000036
【図３５】
2017195881.tif 000037
【図３６】
2017195881.tif 000038
【図３７】
2017195881.tif 000039
【図３８】
2017195881.tif 000040
【図３９】
2017195881.tif 000041
【図４０】
2017195881.tif 000042
【図４１】
2017195881.tif 000043
【図４２】
2017195881.tif 000044
【図４３】
2017195881.tif 000045
【図４４】
2017195881.tif 000046
【図４５】
2017195881.tif 000047
【図４６】
2017195881.tif 000048
【図４７】
2017195881.tif 000049
【図４８】
2017195881.tif 000050
【図４９】
2017195881.tif 000051
【図５０】
2017195881.tif 000052
【図５１】
2017195881.tif 000053
【図５２】
2017195881.tif 000054
【図５３】
2017195881.tif 000055
【図５４】
2017195881.tif 000056
【図５５】
2017195881.tif 000057
【図５６】
2017195881.tif 000058
【図５７】
2017195881.tif 000059
【図５８】
2017195881.tif 000060
【図５９】
2017195881.tif 000061
【図６０】
2017195881.tif 000062
【図６１】
2017195881.tif 000063
【図６２】
2017195881.tif 000064
【図６３】
2017195881.tif 000065
【図６４】
2017195881.tif 000066
【図６５】
2017195881.tif 000067
【図６６】
2017195881.tif 000068
【図６７】
2017195881.tif 000069
【図６８】
2017195881.tif 000070
【図６９】
2017195881.tif 000071
【図７０】
2017195881.tif 000072
【手続補正書】
【提出日】平成30年3月14日(2018.3.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報を設定する設定部
を備え、
前記設定部は、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報を設定するように構成された
ファイル生成装置。
【請求項２】
前記マッピング情報は、前記撮影画像内の基準画像が前記３Ｄモデルの基準位置に所定の傾きでマッピングされるように、前記全天球画像をマッピングする際に用いられる情報である
ように構成された
請求項１に記載のファイル生成装置。
【請求項３】
前記マッピング情報は、前記全天球画像内の前記基準画像の位置と、前記基準画像が前記基準位置にマッピングされるように前記全天球画像をマッピングする際に前記３Ｄモデル上の前記基準画像の傾きを前記所定の傾きにする回転角とにより構成される
ように構成された
請求項２に記載のファイル生成装置。
【請求項４】
前記マッピング情報は、前記基準画像が前記基準位置に前記所定の傾きでマッピングされるように前記全天球画像を前記３Ｄモデルにマッピングする際の前記全天球画像の回転角である
請求項２に記載のファイル生成装置。
【請求項５】
前記設定部は、
前記撮影画像を３Ｄモデルに投影することにより生成された複数の前記全天球画像に対して同一の前記識別情報を設定し、
前記３Ｄモデルに投影する少なくとも１つの方法で生成された前記全天球画像と、前記方法とは異なる方法で生成された各領域の前記全天球画像に対して同一の識別情報を設定する
ように構成された
請求項１に記載のファイル生成装置。
【請求項６】
前記設定部は、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報を設定し、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報を設定し、
前記描画面情報は、前記描画面の位置と画角を含む
ように構成された
請求項１に記載のファイル生成装置。
【請求項７】
前記描画面情報は、前記撮影画像の描画面が２次元平面または球面であることを示す面種類情報を含む
ように構成された
請求項６に記載のファイル生成装置。
【請求項８】
前記描画面はグループ化され、
前記描画面情報は、その描画面情報が位置と画角を示す前記描画面が属するグループを示す情報と、そのグループに属する描画面全体の画角を含む
ように構成された
請求項６に記載のファイル生成装置。
【請求項９】
前記設定部は、前記全天球画像を描画面に投影することにより生成される複数の撮影画像のそれぞれに対して、その撮影画像の生成に用いられた前記全天球画像がマッピングされた前記３Ｄモデルを識別する情報として同一の情報を設定する
ように構成された
請求項６に記載のファイル生成装置。
【請求項１０】
前記描画面情報は、前記全天球映像の生成方法およびＳＲＤ（Ｓｐａｔｉａｌ  Ｒｅｌａｔｉｏｎｓｈｉｐ  Ｄｅｓｃｒｉｐｔｉｏｎ）情報とともに、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルに記述される
請求項６に記載のファイル生成装置。
【請求項１１】
前記３Ｄモデルは球であり、
前記設定部は、前記３Ｄモデルの半径を示す情報を設定する
ように構成された
請求項１に記載のファイル生成装置。
【請求項１２】
前記設定部は、前記全天球画像のファイルを管理する管理ファイルに、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つを設定する
ように構成された
請求項６乃至請求項１０のいずれかに記載のファイル生成装置。
【請求項１３】
前記管理ファイルは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）であって、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つは、アダプテーションセットに設定される
請求項１２に記載のファイル生成装置。
【請求項１４】
前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つは、前記アダプテーションセットのＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙまたはＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙに設定される
請求項１３に記載のファイル生成装置。
【請求項１５】
前記設定部は、前記全天球画像のファイルに、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つを格納する
ように構成された
請求項１乃至９および１１のいずれかに記載のファイル生成装置。
【請求項１６】
ファイル生成装置が、
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報を設定する設定ステップ
を含み、
前記設定ステップにおいて、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報が設定される
ファイル生成方法。
【請求項１７】
前記設定ステップにおいて、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報を設定し、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報を設定し、
前記描画面情報は、前記描画面の位置と画角を含む
請求項１６に記載のファイル生成方法。
【請求項１８】
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択部
を備え、
前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を用いてマッピングを行い、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報が設定されており、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、
前記描画面情報は、前記描画面の位置と画角を含む
再生装置。
【請求項１９】
再生装置が、
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択ステップ
を含み、
前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を用いてマッピングが行われ、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報が設定されており、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、
前記描画面情報は、前記描画面の位置と画角を含む
再生方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
技術分野
［０００１］
本開示は、ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関し、特に、全天球画像の生成に用いられた画像を識別することができるようにしたファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法に関する。
背景技術
［０００２］
マルチカメラにより撮影された撮影画像から、３Ｄモデルに投影し、水平方向の周囲３６０度および垂直方向の周囲１８０度の画像を２Ｄ画像（平面画像）に変換した全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。
［０００３］
このような記録装置では、全天球画像の生成方法として、正距円筒図法を用いた方法やキューブマッピングなどが用いられる。全天球画像の生成方法が正距円筒図法を用いた方法である場合、全天球画像は、撮影画像を球の面に投影したときの球の正距円筒図法による画像である。また、全天球画像の生成方法がキューブマッピングである場合、全天球画像は、撮影画像を立方体（キューブ）の面に投影したときの立方体の展開図の画像である。
［０００４］
一方、動画コンテンツのストリーミング方式として、ＭＰＥＧ−ＤＡＳＨ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ  −  Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）がある。ＭＰＥＧ−ＤＡＳＨでは、動画コンテンツの符号化ストリームを管理する管理ファイルが、配信サーバから端末装置に送信され、端末装置は、管理ファイルに基づいて再生対象とする符号化ストリームを選択し、配信サーバに要求する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
先行技術文献
特許文献
［０００５］
特許文献１：特開２００６−１４１７４号公報
発明の概要
発明が解決しようとする課題
［０００６］
しかしながら、配信サーバが、ＭＰＥＧ−ＤＡＳＨにより全天球画像の符号化ストリームを端末装置に配信する場合に、全天球画像の生成に用いられた撮影画像を識別する識別情報を設定することは考えられていなかった。従って、端末装置は、全天球画像の生成に用いられた撮影画像を識別し、その撮影画像に基づいて、再生対象とする全天球画像を選択することはできなかった。
［０００７］
本開示は、このような状況に鑑みてなされたものであり、全天球画像の生成に用いられた画像を識別することができるようにするものである。
課題を解決するための手段
［０００８］
本開示の第１の側面のファイル生成装置は、撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報を設定する設定部を備え、前記設定部は、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報を設定するように構成されたファイル生成装置である。
［０００９］
本開示の第１の側面のファイル生成方法は、本開示の第１の側面のファイル生成装置に対応する。
［００１０］
本開示の第１の側面においては、撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報が設定され、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報が設定される。
［００１１］
本開示の第２の側面の再生装置は、撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択部を備え、前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を用いてマッピングを行い、前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報が設定されており、前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、前記描画面情報は、前記描画面の位置と画角を含む再生装置である。
［００１２］
本開示の第２の側面の再生方法は、本開示の第２の側面の再生装置に対応する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
［００１３］
本開示の第２の側面においては、撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像が選択され、前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を用いてマッピングが行われる。そして、前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報が設定されており、前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、前記描画面情報には、前記描画面の位置と画角が含まれる。
［００１４］
なお、第１の側面のファイル生成装置および第２の側面の再生装置は、コンピュータにプログラムを実行させることにより実現することができる。
［００１５］
また、第１の側面のファイル生成装置および第２の側面の再生装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
発明の効果
［００１６］
本開示の第１の側面によれば、ファイルを生成することができる。また、本開示の第１の側面によれば、全天球画像の生成に用いられた撮影画像を識別することができるようにファイルを生成することができる。
［００１７］
本開示の第２の側面によれば、ファイルを選択することができる。また、本開示の第２の側面によれば、全天球画像の生成に用いられた撮影画像を識別することができる。
［００１８］
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
図面の簡単な説明
［００１９］
［図１］本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。
［図２］図１の生成装置の構成例を示すブロック図である。
［図３］３Ｄモデルとしての立方体を示す斜視図である。
［図４］キューブマッピングにより生成される全天球画像の例を示す図である。
［図５］３Ｄモデルとしての球を示す斜視図である。
［図６］正距円筒図法を用いた方法により生成される全天球画像の例を示す図である。
［図７］図２のＭＰＤファイル生成部により生成されるＭＰＤファイルの例を示す図である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
、視聴者は、ヘッドマウントディスプレイ１５を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１５には、ジャイロセンサ１５８が内蔵され、そのジャイロセンサ１５Ｂによる角速度の検出結果は再生装置１４に伝送される。従って、視聴者は、ヘッドマウントディスプレイ１５を装着した頭部を回転させることにより、視線方向を指定することができる。
［００３４］
（生成装置の構成例）
図２は、図１の生成装置１２の構成例を示すブロック図である。
［００３５］
図２の生成装置１２は、スティッチング処理部２１、投影処理部２２、エンコーダ２３、投影処理部２４、エンコーダ２５、音声取得部２６、エンコーダ２７、セグメントファイル生成部２８、ＭＰＤファイル生成部２９、およびアップロード部３０により構成される。
［００３６］
スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部２１は、スティッチング処理後のフレーム単位の撮影画像を投影処理部２２と投影処理部２４に供給する。
［００３７］
投影処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、投影処理部２２は、スティッチング処理後の撮影画像をテクスチャとして立方体に投影し、その立方体の展開図の画像を全天球画像として生成する。投影処理部２２は、全天球画像をエンコーダ２３に供給する。なお、スティッチング処理部２１と投影処理部２２は、一体化されていてもよい。
［００３８］
エンコーダ２３は、投影処理部２２から供給される全天球画像を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ２３は、各ビットレートのキューブストリームをセグメントファイル生成部２８に供給する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
［００３９］
投影処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、投影処理部２４は、スティッチング処理後の撮影画像をテクスチャとして球に投影し、その球の正距円筒図法による画像を全天球画像として生成する。投影処理部２４は、全天球画像をエンコーダ２５に供給する。なお、スティッチング処理部２１と投影処理部２４は、一体化されていてもよい。
［００４０］
エンコーダ２５は、投影処理部２４から供給される全天球画像を１以上のビットレートで符号化し、正距円筒ストリームを生成する。エンコーダ２５は、各ビットレートの正距円筒ストリームをセグメントファイル生成部２８に供給する。
［００４１］
音声取得部２６は、図１のマイクロフォン１１Ｂから供給される音声を取得し、エンコーダ２７に供給する。エンコーダ２７は、音声取得部２６から供給される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２８に供給する。
［００４２］
セグメントファイル生成部２８は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部２８は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
［００４３］
ＭＰＤファイル生成部２９は、ＭＰＤファイルを生成する。具体的には、ＭＰＤファイル生成部２９（設定部）は、ＭＰＤファイルに、正距円筒ストリームおよびキューブストリームのセグメントファイルごとに、セグメントファイルに対応する全天球画像の生成に用いられた撮影画像を識別する識別情報としてのＩＤなどを設定する。
［００４４］
また、ＭＰＤファイル生成部２９は、必要に応じて、ＭＰＤファイルに、正距円筒ストリームおよびキューブストリームのセグメントファイルごとに、セグメントファイルに対応するマッピング情報を設定する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
［００４５］
マッピング情報とは、スティッチング処理後の撮影画像内の所定の位置の基準画像が３Ｄモデルの基準位置に所定の傾き（以下、基準傾きという）で投影されるように、全天球画像を３Ｄモデルにマッピングする際に用いられる情報である。ここでは、マッピング情報は、全天球画像内の基準画像の位置と、基準画像が基準位置にマッピングされるように全天球画像を３Ｄモデルにマッピングした際に３Ｄモデル上の基準画像の傾きを基準傾きにするための基準位置における全天球画像の回転角とにより構成される。なお、基準位置とは、例えば、視聴位置が３Ｄモデルの中心である場合の所定の視線方向に対応する３Ｄモデル上の位置である。
［００４６］
即ち、投影処理部２２と投影処理部２４は、個々に投影を行うため、基準位置に投影される撮影画像の撮影画像上の位置や傾きが異なる場合がある。従って、このような場合、ＭＰＤファイル生成部２９はマッピング情報を設定する。これにより、再生装置１４は、マッピング情報に基づいて、全天球画像の生成方法によらず、基準位置に基準画像を基準傾きでマッピングすることができる。ＭＰＤファイル生成部２９は、ＭＰＤファイルをアップロード部３０に供給する。
［００４７］
アップロード部３０は、セグメントファイル生成部２８から供給されるセグメントファイルとＭＰＤファイル生成部２９から供給されるＭＰＤファイルとを、図１の配信サーバ１３にアップロードする。
［００４８］
（キューブマッピングの説明）
図３は、図２の投影処理部２２のキューブマッピングにおいて撮影画像が投影される３Ｄモデルとしての立方体を示す斜視図である。
［００４９］
図３に示すように、投影処理部２２のキューブマッピングでは、スティッチング処理部２１から供給される撮影画像が立方体４０の６つの面４１乃至４６に投影される。
［００５０］
本明細書では、立方体４０の中心Ｏを通り、面４１および面４２と直交する軸をｘ軸、面４３および面４４と直交する軸をｙ軸、面４５および面４６と直交する軸をｚ軸とする。そして、中心Ｏと面４１乃至４６のそれぞれと
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
の距離をｒとしたときのｘ＝ｒである面４１を、適宜、＋ｘ面４１ともいい、ｘ＝−ｒである面４２を、適宜、−ｘ面４２ともいう。同様に、ｙ＝ｒである面４３、ｙ＝−ｒである面４４、ｚ＝ｒである面４５、ｚ＝−ｒである面４６を、適宜、＋ｙ面４３、−ｙ面４４、＋ｚ面４５、−ｚ面４６ともいう。
［００５１］
＋ｘ面４１と−ｘ面４２、＋ｙ面４３と−ｙ面４４、＋ｚ面４５と−ｚ面４６は、それぞれ、対向する。
［００５２］
図４は、図２の投影処理部２２においてキューブマッピングにより生成される全天球画像の例を示す図である。
［００５３］
図４に示すように、キューブマッピングにより生成される全天球画像５０は、立方体４０の展開図の画像である。具体的には、全天球画像５０は、中央の左から順に−ｘ面４２の画像５２、＋ｚ面４５の画像５５、＋ｘ面４１の画像５１、−ｚ面４６の画像５６が配置され、画像５５の上に＋ｙ面４３の画像５３が配置され、画像５５の下に−ｙ面４４の画像５４が配置された画像である。
［００５４］
本明細書では、全天球画像５０の水平方向のサイズが４０９６画素であり、垂直方向のサイズが３０７２画素であり、画像５１乃至５６の水平方向および垂直方向のサイズは１０２４画素であるものとする。
［００５５］
（正距円筒図法を用いた方法の説明）
図５は、図２の投影処理部２４の正距円筒図法を用いた方法において撮影画像が投影される３Ｄモデルとしての球を示す斜視図である。
［００５６］
図５に示すように、投影処理部２４の正距円筒図法を用いた方法では、スティッチング処理部２１から供給される撮影画像が、球７０の面に投影される。球７０の面は、例えば、同一のサイズおよび形状の８つの面７１乃至７８に分割することができる。
［００５７］
本明細書では、球７０の中心Ｏを通り、面７１および面７２の中心を通る軸をＡ軸、面７３および面７４の中心を通る軸をＢ軸、面７５および面７６の中心を通る軸をＣ軸、面７７および面７８の中心を通る軸をＤ軸とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
そして、中心Ｏと面７１乃至７８のそれぞれとの距離をｒとしたときのＡ＝ｒである面７１を、適宜、＋Ａ面７１ともいい、Ａ＝−ｒである面７２を、適宜、−Ａ面７２ともいう。同様に、Ｂ＝ｒである面７３、Ｂ＝−ｒである面７４、Ｃ＝ｒである面７５、Ｃ＝−ｒである面７６、Ｄ＝ｒである面７７、Ｄ＝−ｒである面７８を、適宜、＋Ｂ面７３、−Ｂ面７４、＋Ｃ面７５、−Ｃ面７６、＋Ｄ面７７、−Ｄ面７８ともいう。
［００５８］
＋Ａ面７１と−Ａ面７２、＋Ｂ面７３と−Ｂ面７４、＋Ｃ面７５と−Ｃ面７６、＋Ｄ面７７と−Ｄ面７８は、それぞれ、対向する。
［００５９］
図６は、図２の投影処理部２４において正距円筒図法を用いた方法により生成される全天球画像の例を示す図である。
［００６０］
図６に示すように、正距円筒図法を用いた方法により生成される全天球画像９０は、球７０の正距円筒図法による画像である。従って、全天球画像９０の横座標（水平方向の座標）と縦座標（垂直方向の座標）は、球７０が地球儀である場合の経度と緯度に相当する。
［００６１］
具体的には、全天球画像９０は、上の左から順に＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、＋Ｃ面７５の画像９５、＋Ｄ面７７の画像９７が配置され、下の左から順に−Ｃ面７６の画像９６、−Ｄ面７８の画像９８、−Ａ面７２の画像９２、−Ｂ面７４の画像９４が配置された画像である。
［００６２］
本明細書では、全天球画像９０の水平方向のサイズが１９２０画素であり、垂直方向のサイズが９６０画素であるものとする。
［００６３］
（ＭＰＤファイルの例）
図７は、図２のＭＰＤファイル生成部２９により生成されるＭＰＤファイルの例を示す図である。
［００６４］
ＭＰＤファイルでは、各セグメントファイルにおける符号化方式、符号化ビットレート、画像の解像度などの情報が階層化されて、ＸＭＬ形式で記述される。
［００６５］
具体的には、ＭＰＤファイルには、ピリオド（Ｐｅｒｉｏｄ）、アダプテーションセット（ＡｄａｐｔａｔｉｏｎＳｅｔ）、リプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）、セグメントインフォ（ＳｅｇｍｅｎｔＩｎｆｏ）等の要素が階層的に含まれている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
ｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｏｒｉｇｉｎａｌ＿ｓｏｕｒｃｅ＿ｉｄ：２０１６”」のｖａｌｕｅは、「Ｉ１  Ｂ１５３０，１５２４，０」である。つまり、この場合、「Ｉ１」の「１」が識別情報であり、「Ｂ１５３０，１５２４，０」の「１５３０」がＸ座標、「１５２４」がＹ座標、「０」が回転角である。
［００８０］
なお、図７の例では、全天球画像５０および全天球画像９０の生成時に３Ｄモデルの基準位置に基準画像が基準傾きで投影されないため、１つ目および２つ目のアダプテーションセット要素にマッピング情報が記述されているが、投影される場合には、マッピング情報は記述されない。
［００８１］
先頭から３つ目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素である。
［００８２］
また、図７の例では、各アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から１乃至３つ目のアダプテーションセット要素のリプレゼンテーション要素には、例えば、そのリプレゼンテーション要素に対応するセグメントファイルの基本となるＵＲＬ（ＢａｓｅＵＲＬ）として、それぞれ、「ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ．ｍｐ４」、「ｃｕｂｅ．ｍｐ４」、「ａｕｄｉｏ．ｍｐ４」が記述されている。なお、図７では、セグメントインフォ要素の記述は省略している。
［００８３］
以上のように、ＭＰＤファイルには、全天球画像の生成方法をｖａｌｕｅで示すＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙと、識別情報およびマッピング情報をｖａｌｕｅで示すＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙが設定される。
［００８４］
従って、再生装置１４は、ＭＰＤファイルに基づいて、同一の識別情報が設定されたセグメントファイルから、自分が行うことが可能なマッピングに対応する生成方法で生成された全天球画像のセグメントファイルを、再生対象のセグメントファイルとして選択することができる。
［００８５］
また、再生装置１４は、マッピング情報を用いて再生対象のセグメントファイルに対応する全天球画像をマッピングすることにより、基準画像を、３Ｄモデルの基準位置に基準傾きでマッピングすることができる。
［００８６］
なお、識別情報とマッピング情報は、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙではなく、Ｅｓｓ
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
［００９３］
具体的には、再生装置１４は、オイラー角（α，β，γ）に基づいて、まず、３Ｄモデルにマッピングされた全天球画像をｙ軸周りにオイラー角αだけ回転させる。次に、再生装置１４は、ｙ軸周りにオイラー角αだけ回転された全天球画像を、ｘ軸周りにオイラー角βだけ回転させる。最後に、再生装置１４は、ｘ軸周りにオイラー角βだけ回転された全天球画像を、ｚ軸周りにオイラー角γだけ回転させる。これにより、３回回転後に３Ｄモデルの基準位置にマッピングされている全天球画像が、基準傾きの基準画像になる。
［００９４］
ここでは、全天球画像がｙ軸、ｘ軸、ｚ軸の順に回転されるようにしたが、回転順はこれに限定されない。マッピング情報がオイラー角（α，β，γ）である場合には、マッピング情報に回転順を示すパラメータが含められるようにしてもよい。
［００９５］
また、マッピング情報がクォータニオン（ｑ０，ｑ１，ｑ２，ｑ３）（四元数）である場合、再生装置１４は、全天球画像をそのまま３Ｄモデルにマッピングした後、クォータニオン（ｑ０，ｑ１，ｑ２，ｑ３）に基づいて、マッピングされた全天球画像を３Ｄモデル上で１回回転させる。
［００９６］
（生成装置の処理の説明）
図１０は、図２の生成装置１２のファイル生成処理を説明するフローチャートである。
［００９７］
図１０のステップＳ１１において、スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像に対してスティッチング処理を行う。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像を投影処理部２２と投影処理部２４に供給する。
［００９８］
ステップＳ１２において、投影処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像５０を生成し、エンコーダ２３に供給する。
［００９９］
ステップＳ１３において、エンコーダ２３は、投影処理部２２から供給されるキューブマッピングにより生成された全天球画像５０を１以上の
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
ビットレートで符号化し、キューブストリームを生成する。エンコーダ２３は、各ビットレートのキューブストリームをセグメントファイル生成部２８に供給する。
［０１００］
ステップＳ１４において、投影処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像９０を生成し、エンコーダ２５に供給する。
［０１０１］
ステップＳ１５において、エンコーダ２５は、投影処理部２４から供給される正距円筒図法を用いた方法により生成された全天球画像９０を１以上のビットレートで符号化し、正距円筒ストリームを生成する。エンコーダ２５は、各ビットレートの正距円筒ストリームをセグメントファイル生成部２８に供給する。
［０１０２］
ステップＳ１６において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部２８に供給する。
［０１０３］
ステップＳ１７において、セグメントファイル生成部２８は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部２８は、セグメントファイルをアップロード部３０に供給する。
［０１０４］
ステップＳ１８において、ＭＰＤファイル生成部２９は、全ての正距円筒ストリームとキューブストリームのセグメントファイルゐ識別情報として同一のＩＤを設定する。
［０１０５］
ステップＳ１９において、ＭＰＤファイル生成部２９は、投影処理部２２および投影処理部２４により３Ｄモデルの基準位置に投影された撮影画像が基準傾きの基準画像であるかどうかを判定する。
［０１０６］
ステップＳ１９で、投影処理部２２および投影処理部２４の少なくとも一方により基準位置に投影された撮影画像が基準傾きの基
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
準画像ではないと判定された場合、処理はステップＳ２０に進む。
［０１０７］
ステップＳ２０において、ＭＰＤファイル生成部２９は、識別情報とマッピング情報を含むＭＰＤファイルを生成する。具体的には、ＭＰＤファイル生成部２９は、ＭＰＤファイルのうちの正距円筒ストリームとキューブストリームのそれぞれに対応するアダプテーションセット要素に、ステップＳ１８で設定された識別情報を設定する。また、ＭＰＤファイル生成部２９は、基準位置に投影された撮影画像が基準傾きの基準画像ではない３Ｄモデルから、投影処理部２２および投影処理部２４の少なくとも一方の投影により生成された全天球画像に対応するアダプテーションセット要素に、さらにマッピング情報を設定する。ＭＰＤファイル生成部２９は、生成されたＭＰＤファイルをアップロード部３０に供給し、処理をステップＳ２２に進める。
［０１０８］
一方、ステップＳ１９で、投影処理部２２および投影処理部２４の両方により基準位置に投影された撮影画像が基準傾きの基準画像であると判定された場合、処理はステップＳ２１に進む。
［０１０９］
ステップＳ２１において、ＭＰＤファイル生成部２９は、正距円筒ストリームとキューブストリームのそれぞれに対応するアダプテーションセット要素が、ステップＳ１８で設定された識別情報を含むＭＰＤファイルを生成する。ＭＰＤファイル生成部２９は、生成されたＭＰＤファイルをアップロード部３０に供給し、処理をステップＳ２２に進める。
［０１１０］
ステップＳ２２において、アップロード部３０は、セグメントファイル生成部２８から供給されるセグメントファイルとＭＰＤファイル生成部２９から供給されるＭＰＤファイルとを、図１の配信サーバ１３にアップロードし、処理を終了する。
［０１１１］
（再生装置の構成例）
図１１は、図１の再生装置１４の構成例を示すブロック図である。
［０１１２］
図１１の再生装置１４は、カメラ１４Ａ、ＭＰＤ取得部２２０、ＭＰＤ処理部２２１、セグメントファイル取得部２２２、デコーダ２２３、マッピング処理部２２６、描画部２２７、受け取り部２２８、および視線検出部２２９によ
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
て、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。
［０１４４］
ステップＳ４６において、描画部２２７は、表示画像を図１のヘッドマウントディスプレイ１５に伝送して表示させ、処理を終了する。
［０１４５］
以上のように、生成装置１２は、ＭＰＤファイルに識別情報を設定する。従って、再生装置１４は、識別情報に基づいて、全天球画像の生成に用いられた撮影画像を識別することができる。その結果、再生装置１４は、同一の撮影画像から生成された全天球画像の中から、適切な全天球画像を再生対象として選択することができる。
［０１４６］
また、生成装置１２は、複数の生成方法で全天球画像を生成するので、生成装置１２で生成された全天球画像を再生可能な再生装置を増加させることができる。
［０１４７］
なお、第１実施の形態では、全天球画像の生成時に３Ｄモデルの基準位置に基準画像が基準傾きで投影されるかどうかによらず、ＭＰＤファイルにマッピング情報が記述されないようにしてもよい。
［０１４８］
＜第２実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第２実施の形態の構成は、生成装置と再生装置の構成を除いて、図１の配信システム１０の構成と同一である。従って、以下では、生成装置と再生装置についてのみ説明する。
［０１４９］
図１３は、本開示を適用した配信システムの第２実施の形態における生成装置の構成例を示すブロック図である。
［０１５０］
図１３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
［０１５１］
図１３の生成装置２５０の構成は、エンコーダ２３、エンコーダ２５、セグメントファイル生成部２８、ＭＰＤファイル生成部２９の代わりに、エンコーダ２５４−１乃至２５４−６、エンコーダ２５２、セグメントファイル生成部２５５、ＭＰＤファイル生成部２５６が設けられる点、および、新たに低解像
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
度化部２５１と分割部２５３が設けられる点が、図２の生成装置１２の構成と異なる。
［０１５２］
生成装置２５０は、正距円筒図法を用いた方法により生成された全天球画像９０を低解像度化して符号化し、キュービックマッピングにより生成された全天球画像５０を分割して符号化する。
［０１５３］
具体的には、生成装置２５０の低解像度化部２５１は、投影処理部２４から供給される全天球画像９０の水平方向と垂直方向の解像度を半分にすることにより低解像度化し、低解像度画像を生成する。低解像度化部２５１は、低解像度画像をエンコーダ２５２に供給する。
［０１５４］
エンコーダ２５２は、低解像度化部２５１から供給される低解像度画像を１以上のビットレートで符号化し、低解像度ストリームを生成する。エンコーダ２５２は、低解像度ストリームをセグメントファイル生成部２５５に供給する。
［０１５５］
分割部２５３は、投影処理部２２から供給される全天球画像５０を、６つの面４１乃至４６の画像５１乃至５６に分割する。分割部２５３は、各画像５１乃至５６を高解像度画像として、エンコーダ２５４−１乃至２５４−６に供給する。
［０１５６］
エンコーダ２５４−１乃至２５４−６は、それぞれ、分割部２５３から供給される高解像度画像を１以上のビットレートで符号化する。エンコーダ２５４−１乃至２５４−６は、その結果生成される面４１乃至４６の高解像度ストリームをセグメントファイル生成部２５５に供給する。
［０１５７］
セグメントファイル生成部２５５は、各ビットレートの低解像度ストリーム、各ビットレートの面４１乃至４６の高解像度ストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部２５５は、その結果生成されたセグメントファイルをアップロード部３０に供給する。
［０１５８］
ＭＰＤファイル生成部２５６は、ＭＰＤファイルを生成する。具体的には、ＭＰＤファイル生成部２５６は、ＭＰＤファイルに、低解像度ストリームおよび高解像度
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
ストリームのセグメントファイルごとに、セグメントファイルに対応する撮影画像の識別情報としてのＩＤなどを設定する。
［０１５９］
また、ＭＰＤファイル生成部２５６は、必要に応じて、ＭＰＤファイルに、低解像度ストリームおよび高解像度ストリームのセグメントファイルごとに、セグメントファイルに対応するマッピング情報を設定する。ＭＰＤファイル生成部２５６は、ＭＰＤファイルをアップロード部３０に供給する。
［０１６０］
（ＭＰＤファイルの第１の例）
図１４は、図１３のＭＰＤファイル生成部２５６により生成されるＭＰＤファイルの第１の例を示す図である。
［０１６１］
図１４の例では、ピリオド要素に対応する時間範囲の低解像度ストリーム、面４１乃至４６の高解像度ストリーム、およびオーディオストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされている。従って、図１４のＭＰＤファイルでは、ピリオド要素が、８つのアダプテーションセット要素を含んでいる。また、図１４の例では、全天球画像５０および全天球画像９０の識別情報とマッピング情報は、図７の例と同一である。
［０１６２］
先頭から１つ目のアダプテーションセット要素は、低解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、水平方向のサイズｗｉｄｔｈおよび垂直方向のサイズｈｅｉｇｈｔと、「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｏｒｉｇｉｎａｌ＿ｓｏｕｒｃｅ＿ｉｄ：２０１６”」のｖａｌｕｅを除いて、図７の１つ目のアダプテーションセット要素と同一である。
［０１６３］
即ち、１つ目のアダプテーションセット要素に対応する画像は、投影処理部２４により生成される全天球画像９０ではなく、低解像度画像である。また、低解像度画像の水平方向および垂直方向の解像度は、それぞれ、全天球画像９０の水平方向および垂直方向の解像度の半分である。従って、１つ目のアダプテーションセット要素が有する水平方向のサイズｗｉｄｔｈは９６０（＝１９２０／２）画素であり、垂直方向のサイズｈｅｉｇｈｔが４８０（＝９６０／２）画素である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
［０１６４］
また、低解像度画像の生成に用いられた撮影画像は、全天球画像９０の生成に用いられた撮影画像であり、その撮影画像の識別情報としてのＩＤは「１」である。しかしながら、図１４の例では、低解像度画像のマッピング情報は、低解像度画像内の基準画像の位置の座標（４８０，２４０）と回転角０度である。従って、「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｏｒｉｇｉｎａｌ＿ｓｏｕｒｃｅ＿ｉｄ：２０１６”」のｖａｌｕｅは、「Ｉ１  Ｂ４８０，２４０，０」である。つまり、図１４の場合も、図７の場合と同様に、ｖａｌｕｅの、識別情報を格納するブロックの先頭に「Ｉ」が付され、マッピング情報を格納するブロックの先頭に「Ｂ」が付されている。また、ブロック内の各情報はカンマ（，）で区切られ、ブロック間は、スペースで区切られている。
［０１６５］
先頭から２乃至７つ目のアダプテーションセット要素は、それぞれ、面４１乃至４６の高解像度ストリームのセグメントファイルに対応する要素である。このアダプテーションセット要素は、水平方向のサイズｗｉｄｔｈおよび垂直方向のサイズｈｅｉｇｈｔと、「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４”」を新たに含む点とを除いて、図７の２つ目のアダプテーションセット要素と同一である。
［０１６６］
即ち、先頭から２乃至７つ目のアダプテーションセット要素に対応する画像は、投影処理部２２により生成される全天球画像５０ではなく、画像５１乃至５６である。従って、２乃至７つ目のアダプテーションセット要素が有する水平方向のサイズｗｉｄｔｈおよび垂直方向のサイズｈｅｉｇｈｔは、画像５１乃至５６の水平方向および垂直方向の画素数である１０２４画素である。
［０１６７］
また、先頭から２乃至７つ目のアダプテーションセット要素は、このアダプテーションセット要素に対応する画像が動画コンテンツの画像を分割した画像であることを示すＳＲＤ（Ｓｐａｔｉａｌ  Ｒｅｌａｔｉｏｎｓｈｉｐ  Ｄｅｓｃｒｉｐｔｉｏｎ）である「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４”」を有する。
［０１６８］
「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４”」のｖａｌｕｅは、ｓｏｕｒｃｅ＿ｉｄ，ｏｂｊｅｃｔ＿ｘ，ｏｂｊｅｃｔ＿ｙ，ｏｂｊｅｃｔ＿ｗｉｄｔｈ，ｏｂｊｅｃｔ＿ｈｅｉｇｈｔ，ｔｏｔａｌ＿ｗｉｄｔｈ，ｔｏｔａｌ＿ｈｅｉｇｈｔ，ｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄである。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
［０１６９］
「ｓｏｕｒｃｅ＿ｉｄ」は、このアダプテーションセット要素に対応する画像の分割前の画像（ここでは全天球画像５０）を識別するＩＤである。また、「ｏｂｊｅｃｔ＿ｘ」、「ｏｂｊｅｃｔ＿ｙ」は、それぞれ、このアダプテーションセット要素に対応する画像の左上の位置の、分割前の画像（ここでは全天球画像５０）上の水平方向の座標、垂直方向の座標である。「ｏｂｊｅｃｔ＿ｗｉｄｔｈ」、「ｏｂｊｅｃｔ＿ｈｅｉｇｈｔ」は、それぞれ、このアダプテーションセット要素に対応する画像の水平方向のサイズ、垂直方向のサイズである。さらに、「ｔｏｔａｌ＿ｗｉｄｔｈ」、「ｔｏｔａｌ＿ｈｅｉｇｈｔ」は、それぞれ、このアダプテーションセット要素に対応する画像の分割前の画像（ここでは全天球画像５０）の水平方向のサイズ、垂直方向のサイズである。「ｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄ」は、このアダプテーションセット要素に対応する画像の分割の階層を識別するＩＤである。図１４の例では、全天球画像５０のＩＤは０である。
［０１７０］
従って、画像５１乃至５６に対応する先頭から２つ目乃至７つ目のアダプテーションセット要素が有する「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４”」のｖａｌｕｅは、それぞれ、「０，２０４８，１０２４，１０２４，１０２４，４０９６，３０７２，０」、「０，０，１０２４，１０２４，１０２４，１０２４，４０９６，３０７２，０」、「０，１０２４，０，１０２４，１０２４，４０９６，３０７２，０」、「０，１０２４，２０４８，１０２４，１０２４，４０９６，３０７２，０」、「０，１０２４，１０２４，１０２４，１０２４，４０９６，３０７２，０」、「０，３０７２，１０２４，１０２４，１０２４，４０９６，３０７２，０」である。
［０１７１］
なお、図１４の例では、全天球画像５０および全天球画像９０の生成時に３Ｄモデルの基準位置に基準画像が基準傾きで投影されないため、マッピング情報が記述されているが、投影される場合には、マッピング情報は記述されない。
［０１７２］
先頭から８つ目のアダプテーションセット要素は、オーディオストリームのセグメントファイルに対応する要素である。
［０１７３］
また、図１４の例では、各アダプテーションセット要素は、１つのリプレゼンテーション要素を含んでいる。先頭から１乃至８つ目のアダプテーションセット要素のリプレゼンテーション要素には、例えば、そのリプレゼンテ
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
ーション要素に対応するセグメントファイルのＢａｓｅＵＲＬとして、それぞれ、「ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ．ｍｐ４」、「ｃｕｂｅ１．ｍｐ４」乃至「ｃｕｂｅ６．ｍｐ４」、「ａｕｄｉｏ．ｍｐ４」が記述されている。なお、図１４では、セグメントインフォ要素の記述は省略している。
［０１７４］
（生成装置の処理の説明）
図１５は、図１３の生成装置２５０のファイル生成処理を説明するフローチャートである。
［０１７５］
図１５のステップＳ６１において、スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像に対してスティッチング処理を行う。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像を投影処理部２２と投影処理部２４に供給する。
［０１７６］
ステップＳ６２において、投影処理部２４は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像９０を生成し、低解像度化部２５１に供給する。
［０１７７］
ステップＳ６３において、低解像度化部２５１は、投影処理部２４から供給される全天球画像９０を低解像度化し、低解像度画像を生成する。低解像度化部２５１は、低解像度画像をエンコーダ２５２に供給する。
［０１７８］
ステップＳ６４において、エンコーダ２５２は、低解像度化部２５１から供給される低解像度画像を符号化し、低解像度ストリームを生成する。エンコーダ２５２は、低解像度ストリームをセグメントファイル生成部２５５に供給する。
［０１７９］
ステップＳ６５において、投影処理部２２は、キューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像５０を生成し、分割部２５３に供給する。
［０１８０］
ステップＳ６６において、分割部２５３は、投影処理部２２から供給される全天球画像５０を、６つの面４１乃至４６の画像５１乃至５６に分割する。分割部２５３は、画像５１乃至５６を高解像度画像として、それぞ
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
装置２７０は、ＭＰＤファイル生成部２５６がマッピング情報の種類を選択する場合であっても、種類情報により、マッピング情報の種類を認識することができる。その結果、再生装置２７０は、マッピング情報に基づくマッピングを正確に行うことができる。
［０２４８］
なお、第１実施の形態のＭＰＤファイルにおいても、図１８の場合のように、識別情報とマッピング情報が、「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｈｔｔｐ：／／ｘｍｌｎｓ．ｓｏｎｙ．ｎｅｔ／ｍｅｔａｄａｔａ／ｍｐｅｇ／ｄａｓｈ／ｃｏｒｄｉｎａｔｅｓ／２０１５”」のｖａｌｕｅに設定されるようにしてもよい。また、図１９の場合のように、マッピング情報が「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｈｔｔｐ：／／ｘｍｌｎｓ．ｓｏｎｙ．ｎｅｔ／ｍｅｔａｄａｔａ／ｍｐｅｇ／ｄａｓｈ／ｃｏｒｄｉｎａｔｅｓ／２０１５”」のｖａｌｕｅに設定されるようにしてもよい。さらに、図２０や図２２の場合のように、マッピング情報の種類が記述されるようにしてもよい。
［０２４９］
＜第３実施の形態＞
（生成装置の構成例）
本開示を適用した配信システムの第３実施の形態の構成は、生成装置と再生装置の構成を除いて、図１の配信システム１０の構成と同一である。従って、以下では、生成装置と再生装置についてのみ説明する。
［０２５０］
図２３は、本開示を適用した配信システムの第３実施の形態における生成装置の構成例を示すブロック図である。
［０２５１］
図２３に示す構成のうち、図１３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
［０２５２］
図２３の生成装置３００の構成は、分割部２５３、エンコーダ２５４−１乃至２５４−６、セグメントファイル生成部２５５の代わりに、透視投影部３０２−１乃至３０２−１８、エンコーダ３０３−１乃至３０３−１８、セグメントファイル生成部３０４が設けられる点、設定部３０１が新たに設けられる点、および投影処理部２２が設けられない点が、図１３の生成装置２５０の構成と異なる。
［０２５３］
生成装置３００は、正距円筒図法により生成された全天球画像を球７０に
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
投影し、１８個の２次元平面に透視投影することにより１８個の高解像度画像を生成する。
［０２５４］
具体的には、生成装置３００の設定部３０１は、１８個の視線方向に対応する描画面としての２次元平面の位置、傾き、およびサイズを示す２次元平面情報を設定する。設定部３０１は、各２次元平面情報を透視投影部３０２−１乃至３０２−１８に供給する。
［０２５５］
透視投影部３０２−１乃至３０２−１８は、それぞれ、投影処理部２４により生成された全天球画像９０を球７０に透視投影する。透視投影部３０２−１乃至３０２−１８は、それぞれ、球７０の中心を焦点として、球７０に投影された全天球画像を、設定部３０１から供給される２次元平面情報が示す２次元平面に透視投影することにより、画像（透視投影画像）を生成する。これにより、生成された画像は、球７０に投影された全天球画像９０を球７０の中心Ｏから所定の視線方向に向かって見た画像となる。透視投影部３０２−１乃至３０２−１８は、それぞれ、生成された画像を高解像度画像としてエンコーダ３０３−１乃至３０３−１８に供給する。
［０２５６］
エンコーダ３０３−１乃至３０３−１８は、それぞれ、透視投影部３０２−１乃至３０２−１８から供給される高解像度画像を、１以上のビットレートで符号化する。エンコーダ３０３−１乃至３０３−１８は、その結果生成される各２次元平面の高解像度ストリームをセグメントファイル生成部３０４に供給する。
［０２５７］
なお、以下では、透視投影部３０２−１乃至３０２−１８を特に区別する必要がない場合、それらをまとめて透視投影部３０２という。同様に、エンコーダ３０３−１乃至３０３−１８をまとめてエンコーダ３０３という。
［０２５８］
セグメントファイル生成邵３０４は、各ビットレートの低解像度ストリーム、各ビットレートの各２次元平面の高解像度ストリーム、およびオーディオストリームを、セグメント単位でファイル化する。セグメントファイル生成部３０４は、その結果生成されたセグメントファイルをアップロード部３
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
［０２６５］
図２６に示すように、設定部３０１は、球７０の内部に球７０の中心Ｏを中心として配置される立方体３２０の１２本の各辺の中点と中心Ｏを結ぶ線３２１−１，３２１−２，３２１−４，３２１−５，３２１−７，３２１−９，３２１−１１，３２１−１２，３２１−１４，３２１−１５，３２１−１６、および３２１−１８を、中心を通る法線とする１２個の２次元平面を設定する。
［０２６６］
また、設定部３０１は、立方体３２０の６個の各面の中心と中心Ｏを結ぶ線３２１−３，３２１−６，３２１−８，３２１−１０，３２１−１３、および３２１−１７を、中心を通る法線とする６個の２次元平面を設定する。
［０２６７］
この場合、図２７に示すように、線３２１−１乃至３２１−１８を中心を通る法線とする１８個の２次元平面の２次元平面情報のうちの方位角は、順に、−１３５，−９０，−９０，−９０，−４５，０，０，０，０，０，４５，９０，９０，９０，１３５，１８０，１８０，１８０である。また、仰角は、順に、０，４５，０，−４５，０，９０，４５，０，−４５，−９０，０，４５，０，−４５，０，４５，０，−４５である。
［０２６８］
また、図２７の例では、１８個の２次元平面全ての回転角は０度に設定され、横画角と縦画角は９０度に設定されている。
［０２６９］
以上のように設定された１８個の２次元平面では、隣り合う２次元平面どうしが重なり合う。従って、隣り合う２次元平面の高解像度画像には、球７０に投影された同一の領域の全天球画像が存在する。
［０２７０］
なお、２次元平面のサイズを示す情報は、横画角と縦画角ではなく、対角画角であってもよい。対角画角とは、図２８に示すように、２次元平面３２５の対角の２つの頂点ｂ（ａ）および頂点ｄ（ｃ）のそれぞれと球７０の中心Ｏとを結ぶ線がなす角ｂｏｄ（ａｏｃ）である。
［０２７１］
２次元平面のサイズを示す情報が横画角と縦画角である場合、対角画角である場合に比べて、その情報を見た人間が、２次元平面のサイズを理解しやすい。一方、２次元平面のサイズを示す情報が対角画角である場合、横画角と縦画角である場合に比べて、パラメータの数が少ないため、情報量を削減することができる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
［０２９１］
図３１のステップＳ１２１乃至Ｓ１２４は、図１５のステップＳ６１乃至Ｓ６４の処理と同様であるので、説明は省略する。
［０２９２］
ステップＳ１２５において、設定部３０１は、１８個の視線方向３２１−１乃至３２１−１８に対応する２次元平面情報を設定する。設定部３０１は、各２次元平面情報を透視投影部３０２に供給する。
［０２９３］
ステップＳ１２６において、透視投影部３０２は、投影処理部２４により生成された全天球画像９０を球７０に投影し、球７０に投影された全天球画像９０を、２次元平面情報が示す２次元平面に透視投影することにより、高解像度画像３３１を生成する。透視投影部３０２は、高解像度画像３３１をエンコーダ３０３に供給する。
［０２９４］
ステップＳ１２７において、エンコーダ３０３は、透視投影部３０２から供給される高解像度画像を、１以上のビットレートで符号化する。エンコーダ３０３は、その結果生成される各２次元平面の高解像度ストリームをセグメントファイル生成部３０４に供給する。
［０２９５］
ステップＳ１２８において、エンコーダ２７は、図１のマイクロフォン１１Ｂから音声取得部２６を介して取得される音声を符号化し、オーディオストリームを生成する。エンコーダ２７は、オーディオストリームをセグメントファイル生成部３０４に供給する。
［０２９６］
ステップＳ１２９において、セグメントファイル生成部３０４は、各ビットレートの低解像度ストリーム、各ビットレートの各２次元平面の高解像度ストリーム、およびオーディオストリームをセグメント単位でファイル化し、セグメントファイルを生成する。セグメントファイル生成部３０４は、セグメントファイルをアップロード部３０に供給する。
［０２９７］
ステップＳ１３０乃至Ｓ１３４の処理は、図１５のステップＳ７０乃至Ｓ７４の処理と同様であるので、説明は省略する。
［０２９８］
（再生装置の構成例）
図３２は、本開示を適用した配信システムの第３実施の形態における再生装置の構成例を示すブロック図である。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
、他のグループにグループ化される。
［０３７０］
（ＦＯＶ＿ｆｌａｇの説明）
図４０は、ＦＯＶ＿ｆｌａｇが０である場合の描画面を説明する図である。
［０３７１］
ＦＯＶ＿ｆｌａｇが０である場合、高解像度画像は、図４０のＡに示すように、球７０の表面の一部の領域３９１に投影された撮影画像、即ち、図４０のＢに示すように、正距円筒図法を用いて生成された全天球画像９０の部分画像３９２である。
［０３７２］
この場合、部分画像３９２の描画面、即ち領域３９１の横画角は、球７０の中心Ｏを含む水平面における領域３９１の角度ｐｏｑであり、縦画角は、中心Ｏを含む水平面に垂直な垂直面における領域３９１の角度ａｏｂである。図４０の例では、角度ｐｏｑと角度ａｏｂは３０度である。
［０３７３］
これに対して、ＦＯＶ＿ｆｌａｇが１である場合、高解像度画像の描画面は２次元平面である。従って、横画角は図２５で示した角度ｑｏｓであり、縦画角は、図２５で示した角度ｐｏｒである。
［０３７４］
（ＭＰＤファイルの第１の例）
図４１は、図３９の２次元情報を記述するＭＰＤファイルの第１の例を示す図である。
［０３７５］
図４１のＭＰＤファイルは、投影方式が透視投影である場合の２次元平面情報をｖａｌｕｅで示すｓｃｈｅｍｅＩｄＵｒｉである「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｈｔｔｐ：／／ｘｍｌｎｓ．ｓｏｎｙ．ｎｅｔ／ｍｅｔａｄａｔａ／ｍｐｅｇ／ｄａｓｈ／３６０ＶＲ／Ｐｅｒｓｐｅｃｔｉｖｅ−Ｐｏｒｔｉｏｎ／２０１６”」のｖａｌｕｅに、新たにｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄ、全横画角、および全縦画角が設定される点が、図３５のＭＰＤファイルと異なっている。
［０３７６］
具体的には、図４１の「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝“ｈｔｔｐ：／／ｘｍｌｎｓ．ｓｏｎｙ．ｎｅｔ／ｍｅｔａｄａｔａ／ｍｐｅｇ／ｄａｓｈ／３６０ＶＲ／Ｐｅｒｓｐｅｃｔｉｖｅ−Ｐｏｒｔｉｏｎ／２０１６”」のｖａｌｕｅには、ＩＤおよびｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄと、方位角、仰角、回転角、横画角、縦画角、全横画角、および全縦画角が設定される。
［０３７７］
また、図４１の例では、高解像度画像３３１−１乃至３３１−１８に対応する２次元平面が全て同一のグループにグループ化され、そのグループにＩ
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
、マッピング情報の記述は省略してもよい。
［０３９３］
図４４は、図４３に示されるＭＰＤファイルにより設定されるキューブストリームの３Ｄモデルの例を示す斜視図である。この場合、撮影画像は、立方体の６つの面（分割１乃至分割６）に投影される。この各面を展開したＳＲＤ情報は、例えば図４５のようになる。また、描画面情報は例えば図４６のようになる。
［０３９４］
また、第４実施の形態において、ＭＰＤファイルには、全天球画像の３Ｄモデルとしての球７０の半径をメートル単位で示す距離情報が記述されるようにしてもよい。
［０３９５］
（ＭＰＤファイル第３の例）
図４７は、この場合のＭＰＤファイルの例を示す図である。
［０３９６］
図４７のＭＰＤファイルは、各アダプテーションセット要素に、距離情報をｖａｌｕｅで示す「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝ｈｔｔｐ：／／ｘｍｌｎｓ．ｓｏｎｙ．ｎｅｔ／ｍｅｔａｄａｔａ／ｍｐｅｇ／ｄａｓｈ／３６０ＶＲ／ｓｐｈｅｒｅ＿ｒａｄｉｕｓ／２０１６」が新たに記述される点が、図４１のＭＰＤファイルと異なる。
［０３９７］
図４１の例では、球７０の半径が１０メートルである。従って、図４１の先頭から２乃至１９個目のアダプテーションセット要素の「ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝ｈｔｔｐ：／／ｘｍｌｎｓ．ｓｏｎｙ．ｎｅｔ／ｍｅｔａｄａｔａ／ｍｐｅｇ／ｄａｓｈ／３６０ＶＲ／ｓｐｈｅｒｅ＿ｒａｄｉｕｓ／２０１６」のｖａｌｕｅには、１０が設定される。
［０３９８］
なお、距離情報には、球７０の半径そのものを示す情報だけでなく、球７０の半径が無限遠であることを示す「ｉｎｆ」や不明であることを示す「ｕｎｄ」が含まれるようにしてもよい。距離情報が「ｕｎｄ」である場合、球７０の半径は、再生装置３４０により推測される。また、距離情報の単位は、メートル単位以外の単位であってもよい。
［０３９９］
第１乃至第３実施の形態においても、第４実施の形態と同様に、ＭＰＤファイルに球７０の半径が記述されるようにしてもよい。
［０４００］
以上のように、ＭＰＤファイルに球７０の半径を記述することにより、再生装置１４（２７０，３４０）は、適切な奥行き感のある表示画像を視聴者に提
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
のではなく、他の効果があってもよい。
［０５４９］
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
［０５５０］
なお、本開示は、以下のような構成もとることができる。
［０５５１］
（１）
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報を設定する設定部
を備え、
前記設定部は、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報を設定するように構成された
ファイル生成装置。
（２）
前記マッピング情報は、前記撮影画像内の基準画像が前記３Ｄモデルの基準位置に所定の傾きでマッピングされるように、前記全天球画像をマッピングする際に用いられる情報である
ように構成された
前記（１）に記載のファイル生成装置。
（３）
前記マッピング情報は、前記全天球画像内の前記基準画像の位置と、前記基準画像が前記基準位置にマッピングされるように前記全天球画像をマッピングする際に前記３Ｄモデル上の前記基準画像の傾きを前記所定の傾きにする回転角とにより構成される
ように構成された
前記（２）に記載のファイル生成装置。
（４）
前記マッピング情報は、前記基準画像が前記基準位置に前記所定の傾きでマッピングされるように前記全天球画像を前記３Ｄモデルにマッピングする際の前記全天球画像の回転角である
前記（２）に記載のファイル生成装置。
（５）
前記設定部は、
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
前記撮影画像を３Ｄモデルに投影することにより生成された複数の前記全天球画像に対して同一の前記識別情報を設定し、
前記３Ｄモデルに投影する少なくとも１つの方法で生成された前記全天球画像と、前記方法とは異なる方法で生成された各領域の前記全天球画像に対して同一の識別情報を設定する
ように構成された
前記（１）に記載のファイル生成装置。
（６）
前記設定部は、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報を設定し、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報を設定し、
前記描画面情報は、前記描画面の位置と画角を含む
ように構成された
前記（１）に記載のファイル生成装置。
（７）
前記描画面情報は、前記撮影画像の描画面が２次元平面または球面であることを示す面種類情報を含む
ように構成された
前記（６）に記載のファイル生成装置。
（８）
前記描画面はグループ化され、
前記描画面情報は、その描画面情報が位置と画角を示す前記描画面が属するグループを示す情報と、そのグループに属する描画面全体の画角を含む
ように構成された
前記（６）または（７）に記載のファイル生成装置。
（９）
前記設定部は、前記全天球画像を描画面に投影することにより生成される複数の撮影画像のそれぞれに対して、その撮影画像の生成に用いられた前記全天球画像がマッピングされた前記３Ｄモデルを識別する情報として同一の情報を設定する
ように構成された
前記（６）乃至（８）のいずれかに記載のファイル生成装置。
（１０）
前記描画面情報は、前記全天球映像の生成方法およびＳＲＤ（Ｓｐａｔｉａｌ  Ｒｅｌａｔｉｏｎｓｈｉｐ  Ｄｅｓｃｒｉｐｔｉｏｎ）情報とともに、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）ファイルに記述される
前記（６）乃至（９）のいずれかに記載のファイル生成装置。
（１１）
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
前記３Ｄモデルは球であり、
前記設定部は、前記３Ｄモデルの半径を示す情報を設定する
ように構成された
前記（１）乃至（１０）のいずれかに記載のファイル生成装置。
（１２）
前記設定部は、前記全天球画像のファイルを管理する管理ファイルに、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つを設定する
ように構成された
前記（６）乃至（１０）のいずれかに記載のファイル生成装置。
（１３）
前記管理ファイルは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）であって、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つは、アダプテーションセットに設定される
前記（１２）に記載のファイル生成装置。
（１４）
前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つは、前記アダプテーションセットのＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙまたはＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙに設定される
前記（１３）に記載のファイル生成装置。
（１５）
前記設定部は、前記全天球画像のファイルに、前記識別情報、前記マッピング情報、および前記描画面情報のうち、少なくとも１つを格納する
ように構成された
前記（１）乃至（９）および（１１）のいずれかに記載のファイル生成装置。
（１６）
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
ファイル生成装置が、
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報を設定する設定ステップ
を含み、
前記設定ステップにおいて、再生装置において前記全天球画像を前記３Ｄモデルにマッピングする際に用いられる、マッピング情報が設定される
を含むファイル生成方法。
（１７）
前記設定ステップにおいて、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報を設定し、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報を設定し、
前記描画面情報は、前記描画面の位置と画角を含む
（１６）に記載のファイル生成方法。
（１８）
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択部
を備え、
前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を用いてマッピングを行い、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報が設定されており、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、
前記描画面情報は、前記描画面の位置と画角を含む
再生装置。
（１９）
再生装置が、
撮影画像を３Ｄモデルに投影することにより生成された全天球画像の生成に用いられた前記撮影画像を識別する識別情報に基づいて、再生対象とする前記全天球画像を選択する選択ステップ
を含み、
前記全天球画像を前記３Ｄモデルにマッピングするために設定されたマッピング情報を用いてマッピングが行われ、
前記全天球画像を描画面に投影することにより生成される撮影画像に対して前記識別情報が設定されており、
前記撮影画像に対して、その描画面に関する情報を含む描画面情報が設定されており、
前記描画面情報は、前記描画面の位置と画角を含む
再生方法。
符号の説明
［０５５２］
１２  生成装置，１４  再生装置，２９  ＭＰＤファイル生成部，４０  立方体，４１乃至４６  面，５０  全天球画像，７０  球，９０  全天球画像，２２１  ＭＰＤ処理部，２５０  生成装置，２５６  ＭＰＤファイル生成部，２７０  再生装置，２７１  ＭＰＤ処理部，３００  生成装置，３３１−１乃至３３１−１８  高解像度画像，３４０  再生装置，３４１  ＭＰＤ処理部，４００  生成装置，４０１  セグメントファイル生成部，４３０  再生装置，４３１  ＭＰＤ処理部
【手続補正３１】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2017195881.tif 000073
【手続補正３２】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2017195881.tif 000074
【手続補正３３】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2017195881.tif 000075
【手続補正３４】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2017195881.tif 000076
【手続補正３５】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2017195881.tif 000077
【手続補正３６】
【補正対象書類名】図面
【補正対象項目名】図３１
【補正方法】変更
【補正の内容】
【図３１】
2017195881.tif 000078
【手続補正３７】
【補正対象書類名】図面
【補正対象項目名】図４８
【補正方法】変更
【補正の内容】
【図４８】
2017195881.tif 000079
【手続補正３８】
【補正対象書類名】図面
【補正対象項目名】図６７
【補正方法】変更
【補正の内容】
【図６７】
2017195881.tif 000080
【国際調査報告】
2017195881.tif 000081
2017195881.tif 000082
2017195881.tif 000083
2017195881.tif 000084