(57)【要約】  用途別あるいはユーザ別に広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示可能とする。  広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する。例えば、ビューポイントの情報は、このビューポイントの位置を示すアジマス角度（方位情報）およびエレベーション角度（仰角情報）の情報を持つ。
2019139099.tif 000002
【特許請求の範囲】
【請求項１】
広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する送信部を備える
送信装置。
【請求項２】
上記広視野角画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像である
請求項１に記載の送信装置。
【請求項３】
上記ビューポイントの情報は、該ビューポイントの位置を示すアジマス角度およびエレベーション角度の情報を持つ
請求項１に記載の送信装置。
【請求項４】
上記送信部は、上記レンダリング用メタ情報を、上記符号化ストリームのレイヤおよび/または該符号化ストリームを含むコンテナのレイヤに挿入して送信する
請求項１に記載の送信装置。
【請求項５】
上記送信部は、上記符号化ストリームに関するメタ情報を持つメタファイルをさらに送信し、
上記メタファイルに、上記符号化ストリームおよび/または上記コンテナのレイヤに上記レンダリング用メタ情報の挿入があることを示す識別情報が含まれる
請求項４に記載の送信装置。
【請求項６】
上記コンテナは、ＩＳＯＢＭＦＦであり、
上記送信部は、上記レンダリング用メタ情報を、ｍｏｏｖボックスに挿入して送信する
請求項４に記載の送信装置。
【請求項７】
上記コンテナは、ＩＳＯＢＭＦＦであり、
上記送信部は、上記レンダリング用メタ情報を、上記広視野角画像の画像データを符号化して得られた符号化ストリームを含むトラックとは別のトラックで送信する
請求項４に記載の送信装置。
【請求項８】
上記コンテナは、ＭＰＥＧ２−ＴＳであり、
上記送信部は、上記レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入して送信する
請求項４に記載の送信装置。
【請求項９】
上記コンテナは、ＭＭＴストリームであり、
上記送信部は、上記レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入して送信する
請求項４に記載の送信装置。
【請求項１０】
上記広視野角画像の画像データを符号化して得られた符号化ストリームは、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームである
請求項１に記載の送信装置。
【請求項１１】
上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域を個別に符号化することで得られる
請求項１０に記載の送信装置。
【請求項１２】
上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域をタイルとするタイル機能を用いた符号化を行うことで得られる
請求項１０に記載の送信装置。
【請求項１３】
上記ビューポイントの情報は、該ビューポイントが位置する分割領域の情報を含む
請求項１０に記載の送信装置。
【請求項１４】
送信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を送信するステップを有する
送信方法。
【請求項１５】
広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を受信する受信部と、
上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記ビューポイントの情報に基づいて処理して表示用画像データを得る処理部を備える
受信装置。
【請求項１６】
上記処理部は、ユーザの属性あるいは契約内容によって決定されたグループのビューポイントの情報を用いる
請求項１５に記載の受信装置。
【請求項１７】
上記処理部は、ユーザ操作で選択されたビューポイントの情報で示される位置をセンター位置とする表示用画像データを得る
請求項１６に記載の受信装置。
【請求項１８】
上記受信部は、上記広視野角画像の画像データを符号化して得られた符号化ストリームとして、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームを受信し、
上記処理部は、各分割領域に対応した符号化ストリームのうち上記表示用画像データを得るために用いる所定数の分割領域の符号化ストリームを復号化する
請求項１５に記載の受信装置。
【請求項１９】
上記受信部は、上記所定数の分割領域の符号化ストリームの送信を配信サーバに要求し、該配信サーバから該所定数の分割領域の符号化ストリームを受信する
請求項１８に記載の受信装置。
【請求項２０】
受信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を受信する受信ステップと、
処理部が、上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記レンダリング用メタ情報に基づいて処理して表示用画像データを得る処理ステップを有する
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、広視野角画像を送信する送信装置等に関する。
【背景技術】
【０００２】
広視野角画像は、広視野角に対応するミラーやレンズなどを用いてキャプチャされたものである。例えば、特許文献１には、広視野角画像としての全方位画像などの記載がある。【０００３】
広視野角画像の動画像データを送信する場合、受信側においては、表示の際に変換の仕方によって表示対象部分が異なってくる。そのため、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させたい場合に、従来は、その方法が存在しないという問題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２００９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本技術の目的は、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示可能とすることにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する送信部を備える
送信装置にある。【０００７】
本技術において、送信部により、広視野角画像の画像データを符号化して得られた符号化ストリームが送信されると共に、レンダリング用メタ情報が送信される。このレンダリング用メタ情報には、グループ分けして登録された所定数のビューポイントの情報が含まれている。例えば、広視野角画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像である、ようにされてもよい。また、例えば、ビューポイントの情報は、このビューポイントの位置を示すアジマス角度（方位情報）およびエレベーション角度（仰角情報）の情報を持つ、ようにされてもよい。【０００８】
例えば、送信部は、レンダリング用メタ情報を、符号化ストリームのレイヤおよび/またはこの符号化ストリームを含むコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、例えば、送信部は、符号化ストリームに関するメタ情報を持つメタファイルをさらに送信し、このメタファイルに、符号化ストリームおよび/またはコンテナのレイヤにレンダリング用メタ情報の挿入があることを示す識別情報が含まれる、ようにされてもよい。【０００９】
また、この場合、例えば、コンテナは、ＩＳＯＢＭＦＦであり、送信部は、レンダリング用メタ情報を、ｍｏｏｖボックスに挿入して送信する、ようにされてもよい。また、この場合、コンテナは、ＩＳＯＢＭＦＦであり、送信部は、レンダリング用メタ情報を、広視野角画像の画像データを符号化して得られた符号化ストリームを含むトラックとは別のトラックで送信する、ようにされてもよい。【００１０】
また、この場合、例えば、コンテナは、ＭＰＥＧ２−ＴＳであり、送信部は、レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入して送信する、ようにされてもよい。また、この場合、例えば、コンテナは、ＭＭＴストリームであり、送信部は、レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入して送信する、ようにされてもよい。【００１１】
また、例えば、広視野角画像の画像データを符号化して得られた符号化ストリームは、この広視野角画像を分割して得られた分割領域に対応した符号化ストリームである、ようにされてもよい。この場合、例えば、各分割領域の符号化ストリームは、広視野角画像の各分割領域を個別に符号化することで得られる、ようにされてもよい。また、この場合、例えば、各分割領域の符号化ストリームは、広視野角画像の各分割領域をタイルとするタイル機能を用いた符号化を行うことで得られる、ようにされてもよい。また、この場合、例えば、ビューポイントの情報は、このビューポイントが位置する分割領域の情報を含む、ようにされてもよい。【００１２】
このように本技術においては、広視野角画像の画像データを符号化して得られた符号化ストリームと共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信するものである。そのため、受信側では、符号化ストリームを復号化して得られた広視野角画像の画像データをレンダリング用メタ情報に基づいて処理して表示用画像データを得ることができ、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能となる。【００１３】
また、本技術の他の概念は、
広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を受信する受信部と、
上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記レンダリング用メタ情報に基づいて処理して表示用画像データを得る処理部を備える
受信装置にある。【００１４】
本技術において、受信部により、広視野角画像の画像データを符号化して得られた符号化ストリームが受信されると共に、レンダリング用メタ情報が受信される。このレンダリング用メタ情報には、グループ分けして登録された所定数のビューポイントの情報が含まれている。【００１５】
処理部により、符号化ストリームを復号化した得られた広視野角画像の画像データがレンダリング用メタ情報に基づいて処理されて表示用画像データが得られる。例えば、処理部は、ユーザの属性あるいは契約内容によって決定されたグループのビューポイントの情報を用いる、ようにされてもよい。この場合、例えば、処理部は、ユーザ操作で選択されたビューポイントの情報で示される位置をセンター位置とする表示用画像データを得る、ようにされてもよい。【００１６】
また、例えば、受信部は、広視野角画像の画像データを符号化して得られた符号化ストリームとして、広視野角画像を分割して得られた各分割領域の符号化ストリームを受信し、処理部は、各分割領域に対応した符号化ストリームのうち表示用画像データを得るために用いる所定数の分割領域の符号化ストリームを復号化する、ようにされてもよい。この場合、例えば、受信部は、所定数の分割領域の符号化ストリームの送信を配信サーバに要求し、この配信サーバからこの所定数の分割領域の符号化ストリームを受信する、ようにされてもよい。【００１７】
このように本技術においては、符号化ストリームを復号化して得られた広視野角画像の画像データを、グループ分けして登録された所定数のビューポイントの情報が含まれているレンダリング用メタ情報に基づいて処理して表示用画像データを得るものである。そのため、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能となる。
【発明の効果】
【００１８】
本技術によれば、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの構成例を示すブロック図である。
【図２】ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示す図である。
【図３】実施の形態としての送受信システムの構成例を示すブロック図である。
【図４】送受信システムのシステム全体の構成例を概略的に示す図である。
【図５】球面キャプチャ画像からプロジェクション画像を得る平面パッキングを説明するための図である。
【図６】ＨＥＶＣの符号化におけるＳＰＳ  ＮＡＬユニットの構造例を示す図である。
【図７】切出し位置の中心Ｏ(p,q)をプロジェクション画像の基準点ＲＰ(x,y)と一致させることを説明するための図である。
【図８】プロジェクション画像の分割例を示す図である。
【図９】レンダリングメタデータの構造例を示す図である。
【図１０】図９に示す構造例における主要な情報の内容を示す図である。
【図１１】図９に示す構造例における各情報を説明するための図である。
【図１２】“viewpoint_grid()”の構造例を示す図である。
【図１３】図１２に示す構造例における主要な情報の内容を示す図である。
【図１４】登録されたビューポイントであるビューポイントグリッドを説明するための図である。
【図１５】ビューポイントグリッドのカテゴリによるグループ分けの一例を説明するための図である。
【図１６】図１５のグループ分けにおけるグループ１〜３のユーザの表示例を示す図である。
【図１７】ビューポイントグリッドのカテゴリによるグループ分けの他の一例を説明するための図である。
【図１８】図１７のグループ分けにおけるグループ１〜３のユーザの表示例を示す図である。
【図１９】ビューポイントグリッドのカテゴリによるグループ分けの他の一例を説明するための図である。
【図２０】図１９のグループ分けにおけるグループ１〜２のユーザの表示例を示す図である。
【図２１】配信ストリームとしてのＭＰ４ストリームの一例を示す図である。
【図２２】各パーティションをタイルとするタイル機能を用いた符号化を説明するための図である。
【図２３】パーティション・デスクリプタの構造例を示す図である。
【図２４】図２３の構造例における主要な情報の内容を示す図である。
【図２５】タイルベースのＭＰ４ストリーム（タイルベースコンテナ）対応したＭＰＤファイルの記述例を示す図である。
【図２６】各パーティションのＭＰ４ストリームに対応したＭＰＤファイルの記述例を示す図である。
【図２７】各パーティションをタイルとするタイル機能を用いた符号化を行った場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。
【図２８】各パーティションを個別に符号化した場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。
【図２９】８Ｋ/６０Ｈｚ級のプロジェクション画像を、１９２０×１０８０（Ｆｕｌｌ  ＨＤ）のパーティションサイズで分割する例を示す図である。
【図３０】表示装置としてＨＭＤが利用される場合の表示領域の移動制御の一例を示す図である。
【図３１】表示装置として表示パネルが利用されている場合の表示領域の移動制御の一例を示す図である。
【図３２】表示領域の移動に伴う配信ストリームセットの切り替えの一例を示す図である。
【図３３】表示領域の移動に伴う配信ストリームセットの切り替えの一例を示す図である。
【図３４】サービス送信システムの構成例を示すブロック図である。
【図３５】サービス受信機の構成例を示すブロック図である。
【図３６】ビデオ符号化がタイル対応の場合におけるトランスポートストリームの構成例を示す図である。
【図３７】ビデオ符号化がタイル対応の場合におけるＭＭＴストリームの構成例を示す図である。
【図３８】タイルストリームをシングルストリーム構成とする場合におけるＭＰＤファイルの記述例を示す図である。
【図３９】タイルストリームをシングルストリーム構成とする場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。
【図４０】タイルストリームをシングルストリーム構成とする場合におけるトランスポートストリームの構成例を示す図である。
【図４１】タイルストリームをシングルストリーム構成とする場合におけるＭＭＴストリームの構成例を示す図である。
【図４２】各パーティションをタイルとするタイル機能を用いた符号化を行った場合におけるＭＰ４ストリーム（トラック）の他の一例を概略的に示す図である。
【図４３】各パーティションを個別に符号化した場合におけるＭＰ４ストリーム（トラック）の他の一例を概略的に示す図である。
【図４４】タイルストリームをシングルストリーム構成とする場合におけるＭＰ４ストリーム（トラック）の一例を概略的に示す図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２１】
＜１．実施の形態＞
［ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要］
最初に、本技術を適用し得るＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要を説明する。
【００２２】
図１は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０の構成例を示している。この構成例では、メディアストリームとＭＰＤ（Media Presentation Description ）ファイルが、通信ネットワーク伝送路（通信伝送路）を通じて送信される。このストリーム配信システム３０は、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に、Ｎ個のサービス受信機３３-1，３３-2，・・・，３３-Nが、ＣＤＮ（Content Delivery Network）３４を介して、接続された構成となっている。
【００２３】
ＤＡＳＨストリームファイルサーバ３１は、所定のコンテンツのメディアデータ（ビデオデータ、オーディオデータ、字幕データなど）に基づいて、ＤＡＳＨ仕様のストリームセグメント（以下、適宜、「ＤＡＳＨセグメント」という）を生成し、サービス受信機からのＨＴＴＰ要求に応じてセグメントを送出する。このＤＡＳＨストリームファイルサーバ３１は、ストリーミング専用のサーバであってもよいし、また、ウェブ（Web）サーバで兼用されることもある。
【００２４】
また、ＤＡＳＨストリームファイルサーバ３１は、サービス受信機３３（３３-1，３３-2，・・・，３３-N）からＣＤＮ３４を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、ＣＤＮ３４を介して、要求元の受信機に送信する。この場合、サービス受信機３３は、ＭＰＤ（Media Presentation Description）ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
【００２５】
ＤＡＳＨ ＭＰＤサーバ３２は、ＤＡＳＨストリームファイルサーバ３１において生成されるＤＡＳＨセグメントを取得するためのＭＰＤファイルを生成するサーバである。コンテンツマネジメントサーバ（図示せず）からのコンテンツメタデータと、ＤＡＳＨストリームファイルサーバ３１において生成されたセグメントのアドレス（url）をもとに、ＭＰＤファイルを生成する。なお、ＤＡＳＨストリームファイルサーバ３１とＤＡＳＨ ＭＰＤサーバ３２は、物理的に同じものであってもよい。
【００２６】
ＭＰＤのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション（Representation）という要素を利用して、それぞれの属性が記述される。例えば、ＭＰＤファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。サービス受信機３３では、そのレートの値を参考にして、上述したように、サービス受信機３３が置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
【００２７】
図２は、ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示している。図２（ａ）に示すように、ＭＰＤファイル全体としてのメディア・プレゼンテーション（Media Presentation）には、時間間隔で区切られた複数のピリオド（Period）が存在する。例えば、最初のピリオドはスタートが０秒から、次のピリオドはスタートが１００秒から、などとなっている。
【００２８】
図２（ｂ）に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図２（ｃ）に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
【００２９】
図２（ｄ）に示すように、リプレゼンテーションには、セグメントインフォ（SegmentInfo）が含まれている。このセグメントインフォには、図２（e）に示すように、イニシャライゼーション・セグメント（Initialization Segment）と、ピリオドをさらに細かく区切ったセグメント（Segment）毎の情報が記述される複数のメディア・セグメント（Media Segment）が存在する。メディアセグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
【００３０】
なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
【００３１】
［送受信システムの構成例］
図３は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信システム１００とサービス受信機２００により構成されている。この送受信システム１０において、サービス送信システム１００は、上述の図１に示すストリーム配信システム３０のＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に対応する。また、この送受信システム１０において、サービス受信機２００は、上述の図１に示すストリーム配信システム３０のサービス受信機３３（３３-1，３３-2，・・・，３３-N）に対応する。
【００３２】
サービス送信システム１００は、ＤＡＳＨ/ＭＰ４、つまりメタファイルとしてのＭＰＤファイルと、ビデオやオーディオなどのメディアストリーム（メディアセグメント）が含まれるＭＰ４（ＩＳＯＢＭＦＦ）ストリームを、通信ネットワーク伝送路（図１参照）を通じて、送信する。
【００３３】
ＭＰ４ストリームには、広視野角画像の画像データを符号化して得られた符号化ストリーム、この実施の形態においては、広視野角画像を分割して得られた各分割領域（パーティション）に対応した符号化ストリーム（符号化画像データ）が含まれる。ここで、広視野角画像は球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像（Projection picture）とされるが、これに限定されるものではない。
【００３４】
符号化ストリームおよび/またはコンテナのレイヤに、レンダリング用メタ情報が挿入されている。レンダリング用メタ情報がビデオストリームのレイヤに挿入されることで、コンテナの種類によらず、レンダリング用メタ情報の動的な変更が可能となる。このレンダリング用メタ情報には、グループ分けして登録された所定数のビューポイントの情報、従ってグループ分けされた所定数のビューポイントグリッドの情報が含まれている。ビューポイントは表示画像のセンター位置を示し、登録されたビューポイントを「ビューポイントグリッド」と称する。ここで、ビューポイントグリッドの情報には、アジマス角度（方位情報）とエレベーション角度（仰角情報）の情報が含まれる。
【００３５】
なお、広視野角画像の各分割領域に対応した符号化ストリームの全てを送信することも考えられるが、この実施の形態においては、要求された分割領域に対応した符号化ストリームが送信される。これにより、伝送帯域を無駄に広くとることを防止でき、伝送帯域の効率的な使用が可能となる。
【００３６】
ＭＰＤファイルには、コンテナおよび/またはビデオストリームのレイヤにレンダリング用メタ情報の挿入があることを示す識別情報、後方互換性情報、さらにはプロジェクション画像のフォーマットタイプ情報が挿入されている。
【００３７】
サービス受信機２００は、サービス送信システム１００から通信ネットワーク伝送路（図１参照）を通じて送られてくる上述のＭＰ４（ＩＳＯＢＭＦＦ）ストリームを受信する。サービス受信機２００は、ＭＰＤファイルから、広視野角画像の各分割領域に対応した符号化ストリームに関するメタ情報を取得する。
【００３８】
サービス受信機２００は、例えば、表示領域に対応した所定数の符号化ストリームの送信をサービス送信システム（配信サーバ）１００に要求し、その所定数の符号化ストリームを受信して復号化し、表示領域の画像データを得て画像表示をする。サービス受信機２００は、所定数の符号化ストリームを受信する際に、レンダリング用メタ情報も受信する。このレンダリング用メタ情報には、上述したように、グループ分けされたビューポイントグリッドの情報が含まれている。
【００３９】
サービス受信機２００は、所定数の符号化ストリームを復号化して得られた広視野角画像の画像データをこのレンダリング用メタ情報に基づいて処理して、表示用画像データを得る。例えば、サービス受信機２００は、ユーザの属性あるいは契約内容によって決定されたグループの所定数のビューポイントグリッドのうち、ユーザ操作部で選択された所定のビューポイントグリッドをセンター位置とする表示用画像データを得る。
【００４０】
図４は、送受信システム１０のシステム全体の構成例を概略的に示している。サービス送信システム１００は、３６０°画キャプチャ部１０２と、平面パッキング部１０３と、ビデオエンコーダ１０４と、コンテナエンコーダ１０５と、ストレージ１０６を有している。
【００４１】
３６０°画キャプチャ部１０２は、所定数のカメラで被写体を撮像して、広視野角画像、この実施の形態においては球面キャプチャ画像（３６０°ＶＲ画像）の画像データを得る。例えば、３６０°画キャプチャ部１０２は、魚眼レンズによる撮影を含む、球面キャプチャ画像またはその一部である１８０°以上の視野角を持つ、超広視野角の前面画像および後面画像を得る。
【００４２】
平面パッキング部１０３は、３６０°画キャプチャ部１０２で得られた球面キャプチャ画像の一部または全部を切り取って平面パッキングしてプロジェクション画像（Projection picture）を得る。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー(Equirectangular)、クロスキュービック（Cross-cubic）などが選択される。なお、平面パッキング部１０３では、プロジェクション画像に必要に応じてスケーリングを施し、所定の解像度のプロジェクション画像を得ることが行われる。
【００４３】
図５（ａ）は、カメラ１０２で得られる球面キャプチャ画像としての、超広視野角の前面画像および後面画像の一例を示している。図５（ｂ）は、平面パッキング部１０３で得られるプロジェクション画像の一例を示している。この例は、プロジェクション画像のフォーマットタイプがエクイレクタングラーである場合の例である。また、この例は、図５（ａ）に示す各画像において破線で示す緯度で切出した場合の例である。図５（ｃ）は、スケーリング後のプロジェクション画像の一例を示している。
【００４４】
図４に戻って、ビデオエンコーダ１０４は、平面パッキング部１０３からのプロジェクション画像の画像データに対して、例えば、ＭＰＥＧ４−ＡＶＣあるいはＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含むビデオストリームを生成する。ビデオストリームのＳＰＳ  ＮＡＬユニットには、切り出し位置情報が挿入されている。例えば、ＨＥＶＣの符号化では「conformance_window」が対応し、ＭＰＥＧ４−ＡＶＣの符号化では「frame_crop_offset」が対応する。
【００４５】
図６は、ＨＥＶＣの符号化におけるＳＰＳ  ＮＡＬユニットの構造例（Syntax）を示している。「pic_width_in_luma_samples」のフィールドは、プロジェクション画像の水平方向の解像度（画素サイズ）を示している。「pic_height_in_luma_samples」のフィールドは、プロジェクション画像の垂直方向の解像度（画素サイズ）を示している。そして、「conformance_window_flag」が立っているとき、切り出し位置情報が存在する。この切り出し位置情報は、プロジェクション画像の左上を基点（０，０）としたオフセット情報とされる。
【００４６】
「conf_win_left_offset」のフィールドは、切り出し位置の左端位置を示している。「conf_win_right_offset」のフィールドは、切り出し位置の右端位置を示している。「conf_win_top_offset」のフィールドは、切り出し位置の上端位置を示している。「conf_win_bottom_offset」のフィールドは、切り出し位置の下端位置を示している。
【００４７】
この実施の形態において、この切り出し位置情報で示される切り出し位置の中心は、プロジェクション画像の基準点と一致するようにされる。ここで、切出し位置の中心をＯ(p,q)とすると、ｐ，ｑは、それぞれ、以下の数式で表される。
【００４８】
p = ( conf_win_right_offset -  conf_win_left_offset ) * 1/2
+ conf_win_left_offset
q = ( conf_win_bottom_offset -  conf_win_top_offset ) * 1/2
+ conf_win_top_offset
【００４９】
図７は、切出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するようにされることを示している。図示の例において、「projection_pic_size_horizontal」はプロジェクション画像の水平画素サイズを示し、「projection_pic_size_vertical」はプロジェクション画像の垂直画素サイズを示している。なお、ＶＲ対応端末ではプロジェクション画像をレンダリングして表示ビュー（表示画像）を得ることが可能とされるが、デフォルトビューは基準点ＲＰ(x,y)を中心としたものとされる。
【００５０】
この場合、例えば、プロジェクション画像が、基準点ＲＰ(x,y)を中心位置とするデフォルトリージョンを含む複数のリージョンからなるとき、切出し位置情報で示される位置はデフォルトリージョンの位置と一致するようにされる。この場合、切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)は、プロジェクション画像の基準点ＲＰ(x,y)と一致する。
【００５１】
図４に戻って、ビデオエンコーダ１０４は、プロジェクション画像を複数のパーティション（分割領域）に分割し、各パーティションに対応した符号化ストリームを得る。図８は、プロジェクション画像のフォーマットタイプがエクイレクタングラーである場合における分割例を示している。
【００５２】
ビデオエンコーダ１０４は、プロジェクション画像の各パーティションに対応した符号化ストリームを得るために、例えば、各パーティションを個別に符号化するか、あるいはプロジェクション画像の全体を一括して符号化するが、各パーティションをタイルとするタイル機能を用いた符号化をする。これにより、受信側では、各パーティションに対応した符号化ストリームを独立してデコードすることが可能となる。
【００５３】
ビデオエンコーダ１０４は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（SEI message）を挿入する。図９は、レンダリングメタデータ（Rendering_metadata）の構造例（Syntax）を示している。図１０は、その構造例における主要な情報の内容（Semantics）を示している。
【００５４】
「rendering_metadata_id」の１６ビットフィールドは、レンダリングメタデータ構造体を識別するＩＤである。「rendering_metadata_length」の１６ビットフィールドは、レンダリングメタデータ構造体のバイトサイズを示す。
【００５５】
「start_offset_sphere_latitude」、「start_offset_sphere_longitude」、「end_offset_sphere_latitude」、「end_offset_sphere_longitude」の各１６ビットフィールドは、球面キャプチャ画像を平面パッキングする場合の切り取り範囲の情報を示す（図１１（ａ）参照）。「start_offset_sphere_latitude」のフィールドは、球面からの切り取り開始オフセットの緯度（垂直方向）を示す。「start_offset_sphere_longitude」のフィールドは、球面からの切り取り開始オフセットの経度（水平方向）を示す。「end_offset_sphere_latitude」のフィールドは、球面からの切り取り終了オフセットの緯度（垂直方向）を示す。「end_offset_sphere_longitude」のフィールドは、球面からの切り取り終了オフセットの経度（水平方向）を示す。
【００５６】
「projection_pic_size_horizontal」、「projection_pic_size_vertical」の各１６ビットフィールドは、プロジェクション画像（projection picture）のサイズ情報を示す（図１１（ｂ）参照）。「projection_pic_size_horizontal」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの水平画素カウントを示す。「projection_pic_size_vertical」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの垂直画素カウントを示す。
【００５７】
「scaling_ratio_horizontal」、「scaling_ratio_vertical」の各１６ビットフィールドは、プロジェクション画像の元のサイズからのスケーリング比を示す（図５（ｂ）、（ｃ）参照）。「scaling_ratio_horizontal」のフィールドは、プロジェクション画像の元のサイズからの水平スケーリング比を示す。「scaling_ratio_vertical」のフィールドは、プロジェクション画像の元のサイズからの垂直スケーリング比を示す。
【００５８】
「reference_point_horizontal」、「reference_point_vertical」の各１６ビットフィールドは、プロジェクション画像の基準点ＲＰ(x,y)の位置情報を示す（図１１（ｂ）参照）。「reference_point_horizontal」のフィールドは、基準点ＲＰ(x,y)の水平画素位置“ｘ”を示す。「reference_point_vertical」のフィールドは、基準点ＲＰ(x,y)の垂直画素位置“ｙ”を示す。
【００５９】
「format_type」の５ビットフィールドは、プロジェクション画像のフォーマットタイプを示す。例えば、“０”はエクイレクタングラー(Equirectangular)を示し、“１”はクロスキュービック（Cross-cubic）を示し、“２”はパーティションド・クロスキュービック（partitioned cross cubic）を示す。
【００６０】
「backwardcompatible」の１ビットフィールドは、後方互換性の設定がなされているかどうか、つまりビデオストリームのレイヤに挿入された切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されているか否かを示す（図７参照）。例えば、“０”は後方互換性の設定がなされていないことを示し、“１”は後方互換性の設定がなされていることを示す。「viewpoint_grid()」は、グループ分けされたビューポイントグリッドの情報を格納するフィールドである。
【００６１】
図１２は、“viewpoint_grid()”の構造例（Syntax）を示している。図１３は、その構造例における主要な情報の内容（Semantics）を示している。「number_of_group」の８ビットフィールドは、グループの数を示す。この数だけ以下のフィールドが繰り返される。「group_id」の８ビットフィールドは、グループＩＤを示す。「category」の８ビットフィールドは、グループのカテゴリ（分類種類）を示す。
【００６２】
「number_of_viewpoint_grids」の８ビットフィールドは、ビューポイントグリッド（viewpoint_grid）の数を示す。この数だけ以下のフィールドが繰り返される。「viewpoint_grid_id」の８ビットフィールドは、ビューポイントグリッドのＩＤを示す。「region_id」の８ビットフィールドは、ビューポイントグリッドが存在するリージョンのＩＤを示す。「region_in_stream_flag」の１ビットフィールドは、対象のリージョンが符号化ストリームに含まれているか否かを示す。例えば、“１”は含まれていることを示し、“０”は含まれていないことを示す。
【００６３】
「region_in_stream_flag」が“１”であるとき、つまり対象のリージョンが符号化ストリームに含まれているとき、以下のビューポイントグリッドの位置情報を示すフィールドが存在する。「center_azimuth[j]」の１６ビットフィールドは、ビューポイントグリッドのアジマス角度（方位情報）を示す。「center_elevation[j]」の１６ビットフィールドは、ビューポイントグリッドのエレベーション角度（仰角情報）を示す。
【００６４】
ここで、ビューポイントグリッドについて説明する。図１４（ａ）は、平面変換後の画像を示している。この画像は、横長の長方形で括られたものであり、上述のプロジェクション画像（図８参照）に対し、歪曲した部分がきちんとした画になるように変換処理を施すことで得られたものである。
【００６５】
図示の例においては、この平面変換後の画像（広視野角画像）内にＶｐＡ〜ＶｐＨの８つのビューポイントがビューポイントグリッドとして登録されている。なお、上述では各ビューポイントグリッドの位置をアジマス角度（方位情報）およびエレベーション角度（仰角情報）で特定するように説明したが、各ビューポイントグリッドの位置（座標値）を基準点ＲＰ(x,y)（図９参照）からの画素オフセットで表すことも可能である。受信側では、図１４（ｂ）に示すように、Ａ〜ＨのビューポイントグリッドＩＤで識別される各ビューポイントグリッドから所望のビューポイントグリッドを選択することで、そのビューポイントグリッドをセンター位置とする画像表示が可能となる。
【００６６】
図１５（ａ）は、ビューポイントグリッドのカテゴリによるグループ分けの一例を示している。図示の例においては、グループ１には、ＶｐＣ，ＶｐＤ，ＶｐＧの３つのビューポイントグリッドが含まれている。また、グループ２には、ＶｐＢ，ＶｐＥの２つのビューポイントグリッドが含まれている。また、グループ３には、ＶｐＡ，ＶｐＦ，ＶｐＨの３つのビューポイントグリッドが含まれている。図１５（ｂ）は、図１５（ａ）の例における、グループＩＤで括られたカテゴリとビューポイントグリッドＩＤのリストを示している。
【００６７】
図１６（ａ）は、グループ１のユーザの表示の一例を示している。ここで、グループ１のユーザとは、後述するように、ユーザの属性あるいは契約内容によってグループ１に含まれるビューポイントグリッドの利用が可能とされたユーザをいう。その他のグループのユーザも同様である。これは、他の例においても同様である。
【００６８】
図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１５（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｃ”，“Ｇ”が矩形領域ｍ１内の対応する位置に表示されている。
【００６９】
図１６（ｂ）は、グループ２のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＢのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＢのビューポイントグリッドをセンター位置とする画像（表示範囲Ｂの画像、図１５（ａ）のＶｐＢに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｂ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｅ”が矩形領域ｍ１内の対応する位置に表示されている。
【００７０】
図１６（ｃ）は、グループ３のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＦのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＦのビューポイントグリッドをセンター位置とする画像（表示範囲Ｆの画像、図１５（ａ）のＶｐＦに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｆ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ａ”，“Ｈ”が矩形領域ｍ１内の対応する位置に表示されている。
【００７１】
図１７（ａ）は、ビューポイントグリッドの表示可能な画像の範囲をグループ分けする一例を示している。図示の例においては、グループ１には、ＶｐＣ，ＶｐＤ，ＶｐＥの３つのビューポイントグリッドが含まれている。また、グループ２には、ＶｐＢ，ＶｐＣ，ＶｐＤ，ＶｐＥ，ＶｐＦの５つのビューポイントグリッドが含まれている。また、グループ３には、ＶｐＡ，ＶｐＢ，ＶｐＣ，ＶｐＤ，ＶｐＥ，ＶｐＦ，ＶｐＧ，ＶｐＨの８つのビューポイントグリッドが含まれている。図１７（ｂ）は、図１７（ａ）の例における、グループＩＤで括られたカテゴリとビューポイントグリッドＩＤのリストを示している。
【００７２】
図１８（ａ）は、グループ１のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１７（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｃ”，“Ｅ”が矩形領域ｍ１内の対応する位置に表示されている。
【００７３】
図１８（ｂ）は、グループ２のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１７（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｂ”，“Ｃ”，“Ｅ”，“Ｆ”が矩形領域ｍ１内の対応する位置に表示されている。
【００７４】
図１８（ｃ）は、グループ３のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＤのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＤのビューポイントグリッドをセンター位置とする画像（表示範囲Ｄの画像、図１７（ａ）のＶｐＤに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｄ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ａ”，“Ｂ”，“Ｃ”，“Ｅ”，“Ｆ”，“Ｇ”，“Ｈ”が矩形領域ｍ１内の対応する位置に表示されている。
【００７５】
図１９（ａ）は、ビューポイントグリッドのカテゴリによる表示可能な画像を分割することによるグループ分けのさらに他の一例を示している。図示の例においては、グループ１のカテゴリは“Left Player”であり、このグループ１には、ＶｐＡ，ＶｐＢの２つのビューポイントグリッドが含まれている。また、グループ２のカテゴリは“Right Player”であり、このグループ２には、ＶｐＦ，ＶｐＧ，ＶｐＨの３つのビューポイントグリッドが含まれている。また、グループ３のカテゴリは“Shared”であり、このグループ３には、ＶｐＣ，ＶｐＤ，ＶｐＥの３つのビューポイントグリッドが含まれている。このグループ３に含まれるビューポイントグリッドに関しては、グループ１のユーザもグループ２のユーザも選択可能とされる。図１９（ｂ）は、図１９（ａ）の例における、グループＩＤで括られたカテゴリとビューポイントグリッドＩＤのリストを示している。
【００７６】
図２０（ａ）は、グループ１のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＡのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＡのビューポイントグリッドをセンター位置とする画像（表示範囲Ａの画像、図１９（ａ）のＶｐＡに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では中央下から右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内にグループ１の画像範囲を示す矩形領域ｍ３およびグループ３の画像範囲を示す矩形領域ｍ４が示され、矩形領域ｍ３内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ａ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｂ”，“Ｃ”，“Ｄ”，“Ｅ”が矩形領域ｍ３，ｍ４内の対応する位置に示表示されている。
【００７７】
図２０（ｂ）は、グループ２のユーザの表示の一例を示している。図示の例は、ユーザ操作によって、ＶｐＨのビューポイントグリッドが選択された状態を示しており、メイン画像として、ＶｐＨのビューポイントグリッドをセンター位置とする画像（表示範囲Ａの画像、図１９（ａ）のＶｐＨに対応した一点鎖線枠参照）が表示されている。そして、このメイン画像に重畳される形で、図示の例では中央下から右下の位置にＵＩ画像が表示されている。このＵＩ画像には、全体画像の範囲を示す矩形領域ｍ１が示され、この矩形領域ｍ１内にグループ２の画像範囲を示す矩形領域ｍ５およびグループ３の画像範囲を示す矩形領域ｍ４が示され、矩形領域ｍ５内に現在の表示範囲を示す矩形領域ｍ２が示されている。また、このＵＩ画像には、現在の表示範囲に対応したビューポイントグリッドのＩＤは“Ｈ”であることが示され、さらに選択可能なビューポイントグリッドのＩＤを示す“Ｃ”，“Ｄ”，“Ｅ”，“Ｆ”，“Ｇ”が矩形領域ｍ５，ｍ４内の対応する位置に示表示されている。
【００７８】
図４に戻って、コンテナエンコーダ１０５は、ビデオエンコーダ１０４で生成された符号化ストリームを含むコンテナ、ここではＭＰ４ストリームを、配信ストリームとして生成する。この場合、コンテナエンコーダ１０５は、コンテナのレイヤに、レンダリングメタデータ（図９参照）を挿入する。なお、この実施の形態においては、ビデオストリーム（符号化ストリーム）のレイヤとコンテナのレイヤの双方にレンダリングメタデータを挿入するものであるが、いずれか一方のみに挿入することも考えられる。このようにコンテナエンコーダ１０５で得られたＭＰ４の配信ストリームは、ストレージ１０６を介して、サービス受信機２００に送信される。
【００７９】
図２１は、配信ストリームとしてのＭＰ４ストリームの一例を示している。一般の放送など、送信の途中から画音が出るように、サービスストリーム全体がフラグメント化されて送信される。各ランダムアクセス期間は、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
【００８０】
イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。先頭に、ファイルタイプ（File type）を示す“ｆｔｙｐ”ボックスが配置され、それに続いて制御用の“ｍｏｏｖ”ボックスが配置されている。詳細説明は省略するが、この“ｍｏｏｖ”ボックス内に、“ｔｒａｋ”ボックス、“ｍｄｉａ”ボックス、“ｍｉｎｆ”ボックス、“ｓｔｂｌ”ボックス、“ｓｔｓｄ”ボックスおよび“ｓｃｈｉ”ボックスが階層的に配置され、この“ｓｃｈｉ”ボックスに、レンダリングメタデータ（Rendering_metadata）（図９参照）が挿入される。
【００８１】
“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
【００８２】
“ｍｏｏｆ”ボックスには制御情報が入る。“ｍｄａｔ”ボックスにはビデオ、オーディオなどの信号（伝送メディア）の実体そのものが入る。“ｍｏｏｆ”ボックスと“ｍｄａｔ”ボックスによりムービーフラグメント（Movie fragment）が構成されている。１つのムービーフラグメントの“ｍｄａｔ”ボックスには、伝送メディアがフラグメント化（断片化）されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。
【００８３】
各ムービーフラグメントの“ｍｄａｔ”ボックスには、プロジェクション画像の符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
【００８４】
ＳＰＳ  ＮＡＬユニットには、切り出し位置情報としての「conformance_window」の情報が挿入される（図６参照）。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入される。
【００８５】
この実施の形態において、コンテナエンコーダ１０５は、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームを生成する。各パーティションをタイルとするタイル機能を用いた符号化を行っている場合、全てのパーティションに対応した符号化ストリームをサブストリームとして含む一つのＭＰ４ストリームを生成することも可能である。しかし、この実施の形態においては、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームが生成されるものとする。
【００８６】
なお、コンテナエンコーダ１０５は、各パーティションをタイルとするタイル機能を用いた符号化を行っている場合、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームの他に、ＳＰＳなどのパラメータセットを含むベース（base）のＭＰ４ストリーム（ベースコンテナ）を生成する。
【００８７】
ここで、各パーティションをタイルとするタイル機能を用いた符号化について、図２２を参照して説明する。タイルは、ピクチャを水平そして垂直方向に分割して各々を独立して符号化・復号化できるものである。タイルではピクチャ内の画面内予測やループフィルタそしてエントロピー符号化をリフレッシュできるため、タイルとして分割された領域各々を独立して符号化・復号化が可能になる。
【００８８】
図２２（ａ）は、ピクチャを縦横２分割ずつの計４分割して、各パーティションをタイルとして符号化を行った場合の例を示している。この場合、図２２（ｂ）に示すように、タイル分割されたａ，ｂ，ｃ，ｄのパーティション（タイル）に関して、各タイルの先頭データのバイト位置のリストをスライスヘッダに記述することで、独立したデコードが可能になる。
【００８９】
タイルの開始ブロックのピクチャ内の位置関係は、ピクチャのトップ・レフト（top-left）からの相対位置で認識できるので、各パーティション（タイル）の符号化ストリームを別のパケットでコンテナ伝送する場合も、受信側で元のピクチャを再構築することができる。例えば、図２２（ｃ）に示すように、一点鎖線の矩形枠で囲むｂ，ｄのパーティションの符号化ストリームをデコードすると、このｂ，ｄのパーティション（タイル）の表示が可能となる。
【００９０】
なお、各パーティション（タイル）の符号化ストリームを別のパケットでコンテナ伝送する場合、パラメータセットなどのメタ情報は、タイルベースのＭＰ４ストリーム（タイルベースコンテナ）に格納される。そして、各パーティションのＭＰ４ストリーム（タイルコンテナ）には、それぞれ各パーティションに対応した符号化ストリームがスライス情報として格納される。
【００９１】
また、コンテナエンコーダ１０５は、コンテナのレイヤに、パーティションの画素数およびフレームレートの情報を挿入する。この実施の形態では、ＭＰ４ストリームのイニシャライゼーション・セグメント（ＩＳ：initialization segment）に、パーティション・デスクリプタ（partition_descriptor）が挿入される。この場合、複数のパーティション・デスクリプタが最大頻度としてピクチャ単位で挿入されてもよい。
【００９２】
図２３は、パーティション・デスクリプタの構造例（Syntax）を示している。また、図２４は、その構造例における主要な情報の内容（Semantics）を示している。「partition_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、パーティション・デスクリプタであることを示す。「partition_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
【００９３】
「frame_rate」の８ビットフィールドは、パーティション（分割ピクチャ）のフレームレート（フルフレームレート）を示す。「tile_partition_flag」の１ビットフィールドは、タイル方式でピクチャ分割されているか否かを示す。例えば、“１”はタイル方式でピクチャ分割されていることを示し、“０”はタイル方式でピクチャ分割されていないことを示す。「tile_base_flag」の１ビットフィールドは、タイル方式の場合で、ベースコンテナか否かを示す。例えば、“１”はベースコンテナであることを示し、“０”はベースコンテナ以外のコンテナであることを示す。
【００９４】
「partition_ID」の８ビットフィールドは、パーティションのＩＤを示す。「whole_picture_size_horizontal」の１６ビットフィールドは、ピクチャ全体の水平画素数を示す。「whole_picture_size_vertical」の１６ビットフィールドは、ピクチャ全体の垂直画素数を示す。
【００９５】
「partition_horizontal_start_position」の１６ビットフィールドは、パーティションの水平開始画素位置を示す。「partition_horizontal_end_position」の１６ビットフィールドは、パーティションの水平終了画素位置を示す。「partition_vertical_start_position」の１６ビットフィールドは、パーティションの垂直開始画素位置を示す。「partition_ vertical_end_position」の１６ビットフィールドは、パーティションの垂直終了画素位置を示す。これらの各フィールドは、ピクチャ全体に対するパーティションの位置情報を構成し、また、パーティションの画素数の情報を構成する。
【００９６】
図４に戻って、ストレージ１０６は、コンテナエンコーダ１０５で生成された各パーティションのＭＰ４ストリームを一時的に蓄積する。なお、タイル方式で分割されている場合には、ストレージ１０６は、タイルベースのＭＰ４ストリームも蓄積する。このように蓄積されたＭＰ４ストリームのうち、送信リクエストがあったパーティションのＭＰ４ストリームがサービス受信機２００に送信される。なお、なお、タイル方式で分割されている場合には、ベースのＭＰ４ストリームも同時に送信される。
【００９７】
図２５は、タイルベースのＭＰ４ストリーム（タイルベースコンテナ）に対応したＭＰＤファイルの記述例を示している。このＭＰＤファイルには、タイルベースコンテナとしての１つのＭＰ４ストリーム（トラック）に対応するアダプテーションセット（AdaptationSet）が存在する。
【００９８】
アダプテーションセットにおいて、「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>”」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、ＨＥＶＣ符号化されたビデオストリーム（符号化画像データ）の存在が示されている。
【００９９】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:format_type” value/>」の記述により、プロジェクション画像のフォーマットタイプが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:framerate” value/>」の記述により、ピクチャのフレームレートが示される。
【０１００】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilepartitionflag” value=“1”/>」の記述により、タイル方式でピクチャ分割されていることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilebaseflag” value=“1”/>」の記述により、タイルベースコンテナであることが示される。
【０１０１】
また、アダプテーションセットにおいて、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。
【０１０２】
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:projectiontype” value=“0”/>」の記述により、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
【０１０３】
また、このリプレゼンテーションにおいて、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、さらにタグ情報としてレベル“０”が付与されることが示される。また、「<BaseURL>videostreamVR.mp4</BaseURL>」の記述により、このＭＰ４ストリームのロケーション先が、「videostreamVR.mp4」として示される。
【０１０４】
図２６は、各パーティションのＭＰ４ストリームに対応したＭＰＤファイルの記述例を示している。このＭＰＤファイルには、複数のＭＰ４ストリーム（トラック）のそれぞれに対応するアダプテーションセット（AdaptationSet）が存在する。なお、図示の例においては、図面の簡単化のために、アダプテーションセット（AdaptationSet）を１つだけ示している。
【０１０５】
このアダプテーションセットについて説明し、その他のアダプテーションセットについては同様であるので、その説明は省略する。アダプテーションセットにおいて、「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、ＨＥＶＣ符号化されたビデオストリーム（符号化画像データ）の存在が示されている。
【０１０６】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:format_type” value/>」の記述により、プロジェクション画像のフォーマットタイプが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:framerate” value/>」の記述により、パーティションのフレームレート（フルフレームレート）が示される。
【０１０７】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilepartitionflag” value=“1”/>」の記述により、タイル方式でピクチャ分割されているか否かが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilebaseflag” value=“0”/>」の記述により、タイルベース以外のコンテナであることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionid” value=“1”/>」の記述により、パーティションＩＤが「１」であることが示される。
【０１０８】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizehorizontal” value/>」の記述により、ピクチャ全体の水平画素数が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizevertical” value/>」の記述により、ピクチャ全体の垂直画素数が示される。
【０１０９】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionstartpositionhorizontal” value/>」の記述により、パーティションの水平開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitiontartpositionvertical” value/>」の記述により、パーティションの水平終了画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionhorizontal” value/>」の記述により、パーティションの垂直開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionvertical” value/>」の記述により、パーティションの垂直終了画素位置が示される。
【０１１０】
また、アダプテーションセットにおいて、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。
【０１１１】
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:projectiontype” value=“0”/>」の記述により、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
【０１１２】
また、このリプレゼンテーションにおいて、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、さらにタグ情報としてレベル“０”が付与されることが示される。また、「<BaseURL>videostreamVR0.mp4</BaseURL>」の記述により、このＭＰ４ストリームのロケーション先が、「videostreamVR0.mp4」として示される。
【０１１３】
図２７は、各パーティションをタイルとするタイル機能を用いた符号化を行った場合におけるＭＰ４ストリーム（トラック）を概略的に示している。この場合、タイルベースの１つのＭＰ４ストリーム（タイルベースコンテナ）と、４つのパーティションのＭＰ４ストリーム（タイルコンテナ）が存在する。それぞれのＭＰ４ストリームは、同様に、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
【０１１４】
イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。このイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）が挿入されている。また、このイニシャライゼーション・セグメント（ＩＳ）に、レンダリングメタデータ（Rendering_metadata）（図９参照）が挿入されている。タイルベースのＭＰ４ストリーム（タイルベースコンテナ）において、パーティション・デスクリプタでは「tile base flag = 1」となっている。また、第１〜第４のパーティションのＭＰ４ストリーム（タイルコンテナ）において、「partition ID」は１〜４となっている。
【０１１５】
“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
【０１１６】
“ｍｏｏｆ”ボックスには制御情報が入る。タイルベースのＭＰ４ストリーム（タイルベースコンテナ）のｍｄａｔ”ボックスには、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入されている。一方、各パーティションのＭＰ４ストリーム（タイルコンテナ）のｍｄａｔ”ボックスには、それぞれのパーティションの符号化画像データを持つ「ＳＬＩＣＥ」のＮＡＬユニットが配置されている。
【０１１７】
図２８は、各パーティションを個別に符号化した場合におけるＭＰ４ストリーム（トラック）を概略的に示している。この場合、４つのパーティションのＭＰ４ストリームが存在する。それぞれのＭＰ４ストリームは、同様に、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
【０１１８】
イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。このイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）が挿入されている。また、このイニシャライゼーション・セグメント（ＩＳ）に、レンダリングメタデータ（Rendering_metadata）（図９参照）が挿入されている。第１〜第４のパーティションのＭＰ４ストリームにおいて、「partition ID」は１〜４となっている。
【０１１９】
“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
【０１２０】
“ｍｏｏｆ”ボックスには制御情報が入る。各パーティションのＭＰ４ストリームのｍｄａｔ”ボックスには、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入されている。
【０１２１】
図４に戻って、サービス受信機２００は、コンテナデコーダ２０３と、ビデオデコーダ２０４と、レンダラ２０５と、送信リクエスト部２０６を有している。送信リクエスト部２０６は、プロジェクション画像の各パーティションのうち表示領域に対応した所定数のパーティションのＭＰ４ストリームの送信を、サービス送信システム１００に要求する。
【０１２２】
この場合、送信リクエスト部２０６では、デコード能力と、プロジェクション画像の各パーティションの符号化ストリームにおける画素数およびフレームレートの情報に基づき、所定数の値が、デコード可能な最大限あるいはそれに近い値とされる。ここで、各パーティションの符号化ストリームにおける画素数およびフレームレートの情報は、サービス送信システム１００から予め受信されるＭＰＤファイル（図２５、図２６参照）より取得できる。
【０１２３】
「最大限の値の算出例」
図２９は、８Ｋ/６０Ｈｚ級のプロジェクション画像を、１９２０×１０８０（Ｆｕｌｌ  ＨＤ）のパーティションサイズで分割する例を示している。この場合、パーティションの面内画素数は１９２０＊１０８０＝２０７３６００となり、画素レートは１９２０＊１０８０＊６０＝１２４４１６０００となる。この場合、パーティションのデコードに要する複雑度のレベル値は“Ｌｅｖｅｌ４．１”である。
【０１２４】
例えば、サービス受信機２００が４Ｋ/６０Ｈｚのデコード向けである“Ｌｅｖｅｌ５．１”のデコーダを持つ場合、面内のＬｕｍａ最大画素数は８９１２８９６となり、画素レート（毎秒処理可能な最大画素数）は５３４７７３７６０となる。そのため、この場合には、５３４７７３７６０/１２４４１６０００＝４．２９・・・となり、最大限の値は４と算出される。この場合、サービス受信機２００では最大で４個のパーティションのデコードが可能である。矢印Ｐで示す４個のパーティションは、この場合に選択される表示領域に対応したパーティションの例を示している。
【０１２５】
また、例えば、サービス受信機２００が４Ｋ/１２０Ｈｚのデコード向けである“Ｌｅｖｅｌ５．２”のデコーダを持つ場合、面内のＬｕｍａ最大画素数は８９１２８９６となり、画素レート（毎秒処理可能な最大画素数）は１０６９５４７５２０となる。そのため、この場合には、１０６９５４７５２０/１２４４１６０００＝８．５９・・・となり、最大限の値は８と算出される。この場合、サービス受信機２００では最大で８個のパーティションのデコードが可能である。矢印Ｑで示す８個のパーティションは、この場合に選択される表示領域に対応したパーティションの例を示している。
【０１２６】
図４に戻って、コンテナデコーダ２０３は、サービス送信システム１００から送られてくる表示領域に対応した所定数のパーティションのＭＰ４ストリームから各パーティションの符号化ストリームを取り出し、ビデオデコーダ２０４に送る。なお、タイル方式で分割が行われている場合には、表示領域に対応した所定数のパーティションのＭＰ４ストリームだけでなく、タイルベースのＭＰ４ストリームもサービス送信システム１００から送られてくる。そのため、コンテナデコーダ２０３は、そのタイルベースのＭＰ４ストリームに含まれるパラメータセット情報などを含む符号化ストリームもビデオデコーダ２０４に送る。
【０１２７】
ビデオデコーダ２０４は、表示領域に対応した所定数のパーティションの符号化ストリームにデコード処理を施して、表示領域に対応した所定数のパーティションの画像データを得る。レンダラ２０５は、このように得られた所定数のパーティションの画像データに対してレンダリング処理を施し、表示領域に対応したレンダリング画像（画像データ）を得る。
【０１２８】
この場合、レンダラ２０５は、ユーザの属性あるいは契約内容によって決定されたグループからユーザが所定のビューポイントグリッドを選択したとき、そのビューポイントグリッドをセンター位置とする表示用画像データを得る。ユーザは、メイン画像に重畳されるＵＩ画像（図１６、図１８、図２０参照）に基づいて、全体画像の範囲ｍ１における現在の表示範囲を認識でき、また、自分がさらに選択可能なビューポイントグリッドも認識できる。ユーザは、この認識に基づいて、任意のビューポイントグリッドを選択して、表示画像の切り替えを行うことができる。
【０１２９】
なお、ユーザは、任意のビューポイントグリッドを選択して表示画像の切り替えを行った後、表示画像のセンター位置をそのビューポイントグリッドの位置からずらすことも可能とされる。ユーザは、ビューポイントグリッドの選択、さらには表示画像のセンター位置のずらしを、例えば、以下のようにして行うことができる。
【０１３０】
図３０は、表示装置としてＨＭＤが利用される場合の一例を示している。この場合、図３０（ｂ）に示すように、ＨＭＤを装着しているユーザが首をＰ１→Ｐ２→Ｐ３のように左から右に回していくと、ＨＭＤで観察される表示領域は、図３０（ａ）に示すように、Ｐ１´→Ｐ２´→Ｐ３´のように移動していく。この場合、例えば、首を急に回した場合、つまり加速度が大きい場合には、その回転方向の次に位置するビューポイントグリッドが選択されて、表示画像が間欠的に変化していく。一方、首をゆっくり回した場合、つまり加速度が小さい場合には、表示領域はスクロール的に連続して変化していく。この場合、ビューポイントグリッドの位置と合ったこと、つまりビューポイントグリッドに同期したことをＵＩ表示してユーザに知らせることも考えられる。図示の例では、Ｐ３´の方向でビューポイントグリッドの位置と合って、同期したことを示すマーク、例えばエクスクラメーションマーク「！」が表示されることを示している。
【０１３１】
また、図３１は、表示装置としてＴＶなどの表示パネルが利用される場合の一例を示している。この場合、図３１（ｂ）に示すように、音声指示をＰ１→Ｐ２→Ｐ３のように変化させていくと、表示パネルに表示される表示領域は、図３１（ａ）に示すように、Ｐ１´→Ｐ２´→Ｐ３´のように移動していく。この場合は、表示領域はスクロール的に連続して変化していくが、“左側ビューポイント”、“右側ビューポイント”などの音声指示をすることで、指示方向のビューポイントグリッドが選択されて、表示画像が間欠的に変化していく。この場合、ビューポイントグリッドの位置と合ったこと、つまりビューポイントグリッドに同期したことをＵＩ表示してユーザに知らせることも考えられる。図示の例では、Ｐ３´の方向でビューポイントグリッドの位置と合って、同期したことを示すマーク、例えばエクスクラメーションマーク「！」が表示されることを示している。
【０１３２】
送信リクエスト部２０６は、表示領域がデコード範囲外に出ると予測された場合、当該表示領域を含むデコード範囲とするために、表示領域に対応した所定数のパーティションのＭＰ４ストリームのセットの切り替えを決定し、サービス送信システム１００に、新たなセット（配信ストリームセット）の送信を要求する。
【０１３３】
図３２は、表示領域の移動に伴う配信ストリームセットの切り替えの一例を示している。この例は、表示領域に対応した４個のパーティションのＭＰ４ストリームが送信（配信）される例である。表示領域が、図３２（ａ）に示す位置にあるとき、表示領域に対応したパーティションは（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）の位置の４個のパーティションとなり、これらのパーティションのＭＰ４ストリームが、例えば（１）→（２）→（５）→（６）の順に送信される。
【０１３４】
この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）の位置のパーティションとなる。
【０１３５】
次に、表示領域が、図３２（ｂ）に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置の４個のパーティションとなる。そのため、配信ストリームセットの切り替えが行われ、これらのパーティションのＭＰ４ストリームが、例えば（２）→（３）→（６）→（７）の順に送信される。
【０１３６】
この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置のパーティションとなる。
【０１３７】
次に、表示領域が、図３２（ｃ）に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置の４個のパーティションとなる。そのため、配信ストリームセットの切り替えが行われ、これらのパーティションのＭＰ４ストリームが、例えば（３）→（４）→（７）→（８）の順に送信される。
【０１３８】
この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置のパーティションとなる。
【０１３９】
図３３は、表示領域の移動に伴う配信ストリームセットの切り替えの他の一例を示している。この例は、表示領域に対応した６個のパーティションのＭＰ４ストリームが送信（配信）される例である。表示領域が、図３３（ａ）の左側に示す位置にあるとき、表示領域に対応したパーティションは（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置の６個のパーティションとなり、これらのパーティションのＭＰ４ストリームが、例えば（１）→（２）→（３）→（５）→（６）→（７）の順に送信される。
【０１４０】
この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置のパーティションとなる。
【０１４１】
次に、表示領域が、図３３（ａ）の右側に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ０，Ｖ１）、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ０，Ｖ２）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置の６個のパーティションのままとなる。そのため、配信ストリームセットの切り替えはなく、これらのパーティションのＭＰ４ストリームが、例えば（１）→（２）→（３）→（５）→（６）→（７）の順に送信される。
【０１４２】
この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）の位置のパーティションとなる。
【０１４３】
次に、表示領域が、図３３（ｂ）に示す位置に移動するとき、表示領域に対応したパーティションは（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置の６個のパーティションとなる。そのため、配信ストリームセットの切り替えが行われ、これらのパーティションのＭＰ４ストリームが、例えば（２）→（３）→（４）→（６）→（７）→（８）の順に送信される。
【０１４４】
この場合、サービス受信機２００では、これらのパーティションのＭＰ４ストリームから符号化ストリームが取り出され、ビデオデコーダ２０４でデコードされる。すなわち、この場合のデコード範囲は、（Ｈ１，Ｖ１）、（Ｈ２，Ｖ１）、（Ｈ３，Ｖ１）、（Ｈ１，Ｖ２）、（Ｈ２，Ｖ２）、（Ｈ３，Ｖ２）の位置のパーティションとなる。
【０１４５】
上述の図３２および図３３の例から明らかなように、表示領域に対応したパーティションの数を多くする程、表示領域の変化に伴った配信ストリームセットの切り替えの頻度が少なくなることがわかる。配信ストリームセットの切り替えがあると、送信要求をして、新たなセットのＭＰ４ストリームの送信を受けることが必要となり、デコード処理が完了して表示が開始されるまでのタイムラグが発生し、ＶＲ再生における表示性能が劣化する。
【０１４６】
この実施の形態では、表示領域に対応したパーティションの数を、サービス受信機２００のデコード可能な最大限あるいはそれに近い値とされるので、表示領域の移動に伴う配信ストリームセットの切り替え頻度を低く抑えることができ、ＶＲ再生における表示性能を改善できる。
【０１４７】
「サービス送信システムの構成例」
図３４は、サービス送信システム１００の構成例を示している。このサービス送信システム１００は、制御部１０１と、ユーザ操作部１０１ａと、３６０°画キャプチャ部１０２と、平面パッキング部１０３と、ビデオエンコーダ１０４と、コンテナエンコーダ１０５と、ストレージ１０６を備える通信部１０７を有している。
【０１４８】
制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス送信システム１００の各部の動作を制御する。ユーザ操作部１０１ａは、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどである。
【０１４９】
３６０°画キャプチャ部１０２は、所定数のカメラで被写体を撮像して、球面キャプチャ画像（３６０°ＶＲ画像）の画像データを得る。例えば、３６０°画キャプチャ部１０２は、バック・ツー・バック（Back to Back）方式で撮像を行って、球面キャプチャ画像として、それぞれ魚眼レンズを用いて撮像された１８０°以上の視野角を持つ、超広視野角の前面画像および後面画像を得る（図５（ａ）参照）。
【０１５０】
平面パッキング部１０３は、３６０°画キャプチャ部１０２で得られた球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像（Projection picture）を得る（図５（ｂ）参照）。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー(Equirectangular)、クロスキュービック（Cross-cubic）などが選択される。なお、平面パッキング部では、プロジェクション画像に必要に応じてスケーリングを施し、所定の解像度のプロジェクション画像を得る（図５（ｃ）参照）。
【０１５１】
ビデオエンコーダ１０４は、平面パッキング部１０３からのプロジェクション画像の画像データに対して、例えば、ＭＰＥＧ４−ＡＶＣあるいはＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含む符号化ストリームを生成する。この場合、ビデオエンコーダ１０４は、プロジェクション画像を複数のパーティション（分割領域）に分割し、各パーティションに対応した符号化ストリームを得る。符号化ストリームのＳＰＳ  ＮＡＬユニットには、切り出し位置情報が挿入されている（図６の「conformance_window」の情報参照）。
【０１５２】
ここで、ビデオエンコーダ１０４は、プロジェクション画像の各パーティションに対応した符号化ストリームを得るために、例えば、各パーティションを個別に符号化するか、あるいはプロジェクション画像の全体を一括して符号化するが、各パーティションをタイルとするタイル機能を用いた符号化をする。これにより、受信側では、各パーティションに対応した符号化ストリームを独立してデコードすることが可能となる。
【０１５３】
また、ビデオエンコーダ１０４は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（SEI message）を挿入する。レンダリング用メタ情報には、球面キャプチャ画像を平面パッキングする場合の切り取り範囲の情報、プロジェクション画像の元のサイズからのスケーリング比の情報、プロジェクション画像のフォーマットタイプの情報、切り出し位置の中心Ｏ(p,q)をプロジェクション画像の基準点ＲＰ(x,y)と一致させるという後方互換性の設定がなされているかどうかを示す情報などが挿入されている（図９参照）。
【０１５４】
また、このレンダリング用メタ情報には、グループ分けされた所定数のビューポイントグリッドの情報が含まれている（図１２参照）。このビューポイントグリッドの情報には、アジマス角度（方位情報）とエレベーション角度（仰角情報）の情報が含まれている。
【０１５５】
コンテナエンコーダ１０５は、ビデオエンコーダ１０４で生成された符号化ストリームを含むコンテナ、ここではＭＰ４ストリームを、配信ストリームとして生成する。この場合、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームが生成される（図２７、図２８参照）。この場合、コンテナエンコーダ１０５は、コンテナのレイヤに、レンダリングメタデータ（図９参照）を挿入する。
【０１５６】
ここで、コンテナエンコーダ１０５は、各パーティションをタイルとするタイル機能を用いた符号化を行っている場合、各パーティションに対応した符号化ストリームをそれぞれ含む複数のＭＰ４ストリームの他に、サブレイヤ情報等を含むＳＰＳなどのパラメータセットを含むベース（base）のＭＰ４（ベースコンテナ）を生成する（図２７参照）。
【０１５７】
また、コンテナエンコーダ１０５は、コンテナのレイヤ、具体的には、ＭＰ４のイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）を挿入する。このパーティション・デスクリプタには、パーティションの画素数およびフレームレートの情報などが含まれている。
【０１５８】
通信部１０７が備えるストレージ１０６は、コンテナエンコーダ１０５で生成された各パーティションのＭＰ４ストリームを蓄積する。なお、タイル方式で分割されている場合には、ストレージ１０６は、タイルベースのＭＰ４ストリームも蓄積する。また、このストレージ１０６は、例えばコンテナデコーダ１０５で生成されるＭＰＤファイル（図２５、図２６参照）も蓄積する。
【０１５９】
通信部１０７は、サービス受信機２００からの配信要求リクエストを受信し、それに対応してサービス受信機２００にＭＰＤファイルを送信する。サービス受信機２００は、このＭＰＤファイルにより、配信ストリームの構成を認識する。
【０１６０】
また、通信部１０７は、サービス受信機２００からの表示領域に対応した所定数のパーティションに対応したＭＰ４ストリームの配信要求（送信要求）を受信し、そのＭＰ４ストリームをサービス受信機２００に送信する。例えば、サービス受信機２００からの配信要求においては、パーティションＩＤによって、必要とするパーティションが指定される。
【０１６１】
「サービス受信機の構成例」
図３５は、サービス受信機２００の構成例を示している。このサービス受信機２００は、制御部２０１と、ＵＩ部２０１ａと、センサ部２０１ｂと、通信部２０２と、コンテナデコーダ２０３と、ビデオデコーダ２０４と、レンダラ２０５と、表示部２０７を有している。
【０１６２】
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス受信機２００の各部の動作を制御する。ＵＩ部２０１ａは、ユーザインタフェースを行うためものであり、例えば、表示領域の移動をユーザが操作するためのポインティングデバイスや、ユーザが音声で表示領域の移動を指示するために音声入力するためのマイクロホン等もこれに含まれる。センサ部２０１ｂは、ユーザ状態や環境の情報を取得するための種々のセンサを備えるものであり、例えば、ＨＭＤ（Head Mounted Display）に搭載されている姿勢検出センサなどもこれに含まれる。
【０１６３】
通信部２０２は、制御部２０１の制御のもと、配信要求リクエストをサービス送信システム１００に送信し、それに対応してサービス送信システム１００からＭＰＤファイル（図２５、図２６参照）を受信する。通信部２０２は、このＭＰＤファイルを制御部２０１に送る。これにより、制御部２０１は、配信ストリームの構成を認識する。
【０１６４】
また、通信部２０２は、制御部２０１の制御のもと、表示領域に対応した所定数のパーティションに対応したＭＰ４ストリームの配信要求（送信要求）をサービス送信システム１００に送信し、それに対応してサービス送信システム１００から所定数のパーティションに対応したＭＰ４ストリームを受信する。
【０１６５】
ここで、制御部１０１は、ＨＭＤ搭載のジャイロセンサ等で得られる動きの方向と量の情報に基づいて、あるいはユーザ操作によるポインティング情報あるいはユーザの音声ＵＩ情報に基づいて、表示領域の移動の方向や速度、さらにはビューポイントグリッドの切り替えの情報を得て、表示領域に対応した所定数のパーティションを選択する。この場合、制御部１０１は、デコード能力と、ＭＰＤファイルから認識された各パーティションの符号化ストリームにおける画素数およびフレームレートの情報に基づき、所定数の値を、デコード可能な最大限あるいはそれに近い値に設定する。図４に示す送信リクエスト部２０６は、制御部１０１により構成されている。
【０１６６】
また、制御部２０１は、ユーザ識別の機能を備えている。制御部２０１は、ユーザの属性（年齢、性別、興味、習熟度、ログイン情報など）あるいは契約内容に基づいて、いかなるユーザかを識別し、当該ユーザが利用可能なビューポイントグリッドのグループを決定する。そして、制御部２０１は、レンダラ２０５をユーザが利用可能なグループのビューポイントグリッドを利用する状態とする。
【０１６７】
なお、図示の例においては、レンダラ２０５と表示部２０７を１系統だけ有するものであるが、例えば、ゲーム機等を想定すると、レンダラ２０５と表示部２０７を複数系統有し、複数のユーザがそれぞれ独立した表示画像を見ることができるものも考えられる。その場合には、複数のユーザに関してそれぞれ上述したと同様のユーザ識別を行って、それぞれの系統のレンダラ２０５をそれぞれのユーザが利用可能なグループのビューポイントグリッドを利用し得るように制御することも可能である。
【０１６８】
コンテナデコーダ２０３は、通信部２０２で受信された表示領域に対応した所定数のパーティションのＭＰ４ストリームから、“ｍｏｏｆ”ブロックの情報などに基づいて、各パーティションの符号化ストリームを取り出し、ビデオデコーダ２０４に送る。なお、タイル方式で分割が行われている場合には、表示領域に対応した所定数のパーティションのＭＰ４ストリームだけでなく、タイルベースのＭＰ４ストリームも通信部２０２で受信されるため、そのタイルベースのＭＰ４ストリームに含まれるパラメータセット情報などを含む符号化ストリームもビデオデコーダ２０４に送る。
【０１６９】
また、コンテナデコーダ２０３は、各ＭＰ４ストリームのイニシャライゼーション・セグメント（ＩＳ）に挿入されているパーティション・デスクリプタ（図２３参照）を取り出し、制御部２０１に送る。制御部２０１は、このデスクリプタから、各パーティションにおける画素数およびフレームレートの情報を取得する。また、コンテナデコーダ２０３は、各ＭＰ４ストリームから“ｍｏｏｖ”ブロックの情報などを取り出し、制御部２０１に送る。“ｍｏｏｖ”ブロックの情報の一つとしてレンダリングメタデータ（図９参照）が存在し、制御部２０１はグループ分けされたビューポイントグリッドの情報などを取得する。
【０１７０】
ビデオデコーダ２０４は、コンテナデコーダ２０３から供給される表示領域に対応した所定数のパーティションの符号化ストリームにデコード処理を施して画像データを得る。また、ビデオデコーダ２０４は、コンテナデコーダ２０３で取り出されたビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、ＳＰＳ  ＮＡＬパケットに挿入されている切り出し位置「conformance_window」の情報、さらにはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージも含まれる。
【０１７１】
レンダラ２０５は、ビデオデコーダ２０４で得られた所定数のパーティションの画像データに対してレンダリング処理を施し、表示領域に対応したレンダリング画像（画像データ）を得る。この場合、レンダラ２０５は、ユーザの属性あるいは契約内容によって決定されたグループからユーザが所定のビューポイントグリッドを選択したとき、そのビューポイントグリッドをセンター位置とする表示用画像データを得る。
【０１７２】
ユーザは、メイン画像に重畳されるＵＩ画像（図１６、図１８、図２０参照）に基づいて、全体画像の範囲ｍ１における現在の表示範囲を認識でき、また、自分がさらに選択可能なビューポイントグリッドも認識できる。ユーザは、この認識に基づいて、任意のビューポイントグリッドを選択して、表示画像の切り替えを行うことができる（図３０、図３１参照）。表示部２０７は、レンダラ２０５で得られたレンダリング画像（画像データ）を表示する。この表示部２０７は、例えば、ＨＭＤ（Head Mounted Display）や表示パネルなどで構成される。制御部２０１から表示部２０７には、上述したように、ビューポイントグリッドの位置に同期したことをマーク表示等でユーザに知らせるために（図３０、図３１参照）、グリッド位置同期通知情報も与えられる。なお、ユーザへの通知は、音で行うことも考えられる。
【０１７３】
上述したように、図３に示す送受信システム１０において、サービス送信システム１００は、広視野角画像の画像データを符号化して得られた符号化ストリームと共に、グループ分けされた所定数のビューポイントグリッドの情報を含むレンダリング用メタ情報を送信するものである。そのため、サービス受信機２００では、符号化ストリームを復号化して得られた広視野角画像の画像データをレンダリング用メタ情報に基づいて処理して表示用画像データを得ることができ、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能となる。
【０１７４】
＜２．変形例＞
「ＭＰＥＧ−２  ＴＳ、ＭＭＴへの適用」
なお、上述実施の形態においては、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）である例を示した。しかし、本技術は、コンテナがＭＰ４に限定されるものではなく、ＭＰＥＧ−２  ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。
【０１７５】
例えば、ＭＰＥＧ−２  ＴＳの場合には、図４に示すサービス送信システム１００のコンテナエンコーダ１０５では、プロジェクション画像の各パーティションの符号化ストリームを含むトランスポートストリーム（Transport Stream）が生成される。
【０１７６】
図３６は、ビデオ符号化がタイル対応の場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ０で識別されるタイルベースの符号化ストリームのＰＥＳパケット「video PES0」が存在する。このＰＥＳパケット「video PES0」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
【０１７７】
また、ＰＩＤ１〜ＰＩＤ４で識別される第１〜第４のパーティション（タイル）の符号化ストリームのＰＥＳパケット「video PES1」〜「video PES4」が存在する。これらのＰＥＳパケットのペイロードには、「ＡＵＤ」、「ＳＬＩＣＥ」のＮＡＬユニットが配置されている。
【０１７８】
また、ＰＭＴに、ＰＥＳパケット「video PES0」〜「video PES4」に対応したビデオエレメンタリストリームループ（video ES loop）が存在する。各ループには、符号化ストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、その符号化ストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。
【０１７９】
なお、ビデオ符号化がパーティション毎に独立ストリームに符号化される場合におけるトランスポートストリームの構成例については、図示は省略するが、同様の構成となる。この場合、タイルベースの符号化ストリームのＰＥＳパケット「video PES0」に対応する部分がなく、また、第１〜第４のパーティションの符号化ストリームのＰＥＳパケット「video PES1」〜「video PES4」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されたものとなる。
【０１８０】
また、例えば、ＭＭＴの場合には、図４に示すサービス送信システム１００のコンテナエンコーダ１０４では、ビデオストリームを含むＭＭＴストリーム（MMT Stream）が生成される。
【０１８１】
図３７は、ビデオ符号化がタイル対応の場合におけるＭＭＴストリームの構成例を示している。この構成例では、ＩＤ０で識別されるタイルベースの符号化ストリームのＭＰＵパケット「video MPU0」が存在する。このＭＰＵパケット「video MPU0」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
【０１８２】
また、ＩＤ１〜ＩＤ４で識別される第１〜第４のパーティション（タイル）の符号化ストリームのＭＰＵパケット「video MPU1」〜「video MPU4」が存在する。これらのＭＰＵパケットのペイロードには、「ＡＵＤ」、「ＳＬＩＣＥ」のＮＡＬユニットが配置されている。
【０１８３】
また、ＭＰＴに、ＭＰＵパケット「video MPU0」〜「video MPU4」に対応したビデオアセットループ（video asset loop）が存在する。各ループには、符号化ストリームに対応して、アセットタイプ、アセット識別子（ID）等の情報が配置されると共に、その符号化ストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。
【０１８４】
なお、ビデオ符号化がパーティション毎に独立ストリームに符号化される場合におけるＭＭＴストリームの構成例については、図示は省略するが、同様の構成となる。この場合、タイルベースの符号化ストリームのＭＰＵパケット「video MPU0」に対応する部分がなく、また、第１〜第４のパーティションの符号化ストリームのＭＰＵパケット「video MPU1」〜「video MPU4」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されたものとなる。
【０１８５】
また、上述実施の形態においては、ビデオ符号化がタイル対応の場合に、タイルストリームをマルチストリーム構成とする例を示したが、このタイルストリームをシングルストリーム構成とすることも考えられる。
【０１８６】
図３８は、タイルストリームをシングルストリーム構成とする場合におけるＭＰＤファイルの記述例を示している。このＭＰＤファイルには、タイルストリームに対応したＭＰ４ストリーム（トラック）に対応するアダプテーションセット（AdaptationSet）が存在する。
【０１８７】
アダプテーションセットにおいて、「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、ＨＥＶＣ符号化されたビデオストリーム（符号化画像データ）の存在が示されている。
【０１８８】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:format_type” value/>」の記述により、プロジェクション画像のフォーマットタイプが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:framerate” value/>」の記述により、ピクチャのフレームレート（フルフレームレート）が示される。
【０１８９】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilepartitionflag” value=“1”/>」の記述により、タイル方式でピクチャ分割されているか否かが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:tilebaseflag” value=“0”/>」の記述により、タイルベース以外のコンテナであることが示される。
【０１９０】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizehorizontal” value/>」の記述により、ピクチャ全体の水平画素数が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:wholepicturesizevertical” value/>」の記述により、ピクチャ全体の垂直画素数が示される。
【０１９１】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionid” value/>」の記述により、パーティションＩＤが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionstartpositionhorizontal” value/>」の記述により、パーティションの水平開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitiontartpositionvertical” value/>」の記述により、パーティションの水平終了画素位置が示される。
【０１９２】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionhorizontal” value/>」の記述により、パーティションの垂直開始画素位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionvertical” value/>」の記述により、パーティションの垂直終了画素位置が示される。また、上述のパーティションＩＤからサブレイヤのフレームレートまでの記述が、タイル符号化におけるパーティションの数だけ繰り返される。
【０１９３】
また、アダプテーションセットにおいて、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。
【０１９４】
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:projectiontype” value=“0”/>」の記述により、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
【０１９５】
また、このリプレゼンテーションにおいて、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、さらにタグ情報としてレベル“０”が付与されることが示される。また、「<BaseURL>videostreamVR.mp4</BaseURL>」の記述により、このＭＰ４ストリームのロケーション先が、「videostreamVR0.mp4」として示される。
【０１９６】
図３９は、タイルストリームをシングルストリーム構成とする場合におけるＭＰ４ストリーム（トラック）を概略的に示している。この場合、タイルストリームに対応した１つのＭＰ４ストリームが存在する。このＭＰ４ストリームは、同様に、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
【０１９７】
イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。このイニシャライゼーション・セグメント（ＩＳ）に、パーティション・デスクリプタ（図２３参照）およびレンダリング・メタデータ（図９参照）が挿入されている。なお、この場合のパーティション・デスクリプタは、タイル符号化における全てのパーティション（タイル）の情報を含むものとなる。ｍｄａｔ”ボックスには、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９参照）を持つＳＥＩメッセージが挿入されている。
【０１９８】
図４０は、タイルストリームをシングルストリーム構成とする場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ１で識別されるタイルストリームのＰＥＳパケット「video PES1」が存在する。このＰＥＳパケット「video PES1」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
【０１９９】
また、ＰＭＴに、ＰＥＳパケット「video PES1」に対応したビデオエレメンタリストリームループ（video ES1 loop）が存在する。このループには、タイルストリームに対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのタイルストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。なお、この場合のパーティション・デスクリプタは、タイル符号化における全てのパーティション（タイル）の情報を含むものとなる。
【０２００】
図４１は、タイルストリームをシングルストリーム構成とする場合におけるＭＭＴストリームの構成例を示している。この構成例では、ＩＤ１で識別されるタイルストリームのＭＰＵパケット「video MPU1」が存在する。このＭＰＵパケット「video MPU1」のペイロードには、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」のＮＡＬユニットが配置されている。「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９参照）を持つＳＥＩメッセージが挿入されている。
【０２０１】
また、ＭＰＴに、ＭＰＵパケット「video MPU1」に対応したビデオアセットループ（video asset1 loop）が存在する。このループには、タイルストリームに対応して、アセットタイプ、アセット識別子（ID）等の情報が配置されると共に、そのタイルストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、パーティション・デスクリプタ（図２３参照）と、レンダリングメタデータ（図９参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。なお、この場合のパーティション・デスクリプタは、タイル符号化における全てのパーティション（タイル）の情報を含むものとなる。
【０２０２】
また、上述実施の形態においては、コンテナがＭＰ４である場合に、符号化ビデオの「ＳＬＩＣＥ」をコンテナするトラックでパーティション・デスクリプタおよびレンダリングメタデータをコンテナする例を示した（図２７、図２８、図３９参照）。しかし、図４２、図４３、図４４に示すように、符号化ビデオの「ＳＬＩＣＥ」をコンテナするトラック「track1A, 2A, 3A, 4A」に対して、パーティション・デスクリプタおよびレンダリングメタデータを別のトラック「track 1B, 2B, 3B, 4B」の“ｍｄａｔ”でコンテナする構成も考えられる。
【０２０３】
図４２、図４３、図４４に示すような構成とすることで、サンプル（Sample）毎に関連するピクチャとの時間的な同期が確保される。この場合、各々のパーティション・デスクリプタおよびレンダリングメタデータを含むトラックは、自身のイニシャライゼーション・セグメント（ＩＳ）内の“ｔｒｅｆ”により、符号化ビデオが含まれるトラックの参照ターゲットを明示する。
【０２０４】
また、上述実施の形態においては、サービス送信システム１００とサービス受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、サービス受信機２００の部分が、例えばＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびディスプレイとされる場合も考えられる。なお、「ＨＤＭＩ」は登録商標である。
【０２０５】
また、本技術は、以下のような構成を取ることもできる。
（１）広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を送信する送信部を備える
送信装置。
（２）上記広視野角画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたプロジェクション画像である
前記（１）に記載の送信装置。
（３）上記ビューポイントの情報は、該ビューポイントの位置を示すアジマス角度およびエレベーション角度の情報を持つ
前記（１）または（２）に記載の送信装置。
（４）上記送信部は、上記レンダリング用メタ情報を、上記符号化ストリームのレイヤおよび/または該符号化ストリームを含むコンテナのレイヤに挿入して送信する
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記送信部は、上記符号化ストリームに関するメタ情報を持つメタファイルをさらに送信し、
上記メタファイルに、上記符号化ストリームおよび/または上記コンテナのレイヤに上記レンダリング用メタ情報の挿入があることを示す識別情報が含まれる
前記（４）に記載の送信装置。
（６）上記コンテナは、ＩＳＯＢＭＦＦであり、
上記送信部は、上記レンダリング用メタ情報を、ｍｏｏｖボックスに挿入して送信する
前記（４）に記載の送信装置。
（７）上記コンテナは、ＩＳＯＢＭＦＦであり、
上記送信部は、上記レンダリング用メタ情報を、上記広視野角画像の画像データを符号化して得られた符号化ストリームを含むトラックとは別のトラックで送信する
前記（４）に記載の送信装置。
（８）上記コンテナは、ＭＰＥＧ２−ＴＳであり、
上記送信部は、上記レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入して送信する
前記（４）に記載の送信装置。
（９）上記コンテナは、ＭＭＴストリームであり、
上記送信部は、上記レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入して送信する
前記（４）に記載の送信装置。
（１０）上記広視野角画像の画像データを符号化して得られた符号化ストリームは、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームである
前記（１）から（９）のいずれかに記載の送信装置。
（１１）上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域を個別に符号化することで得られる
前記（１０）に記載の送信装置。
（１２）上記各分割領域の符号化ストリームは、上記広視野角画像の各分割領域をタイルとするタイル機能を用いた符号化を行うことで得られる
前記（１０）に記載の送信装置。
（１３）上記ビューポイントの情報は、該ビューポイントが位置する分割領域の情報を含む
前記（１０）から（１２）のいずれかに記載の送信装置。
（１４）送信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを送信すると共に、グループ分けして登録された所定数のビューポイントの情報を送信するステップを有する
送信方法。
（１５）広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を受信する受信部と、
上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記ビューポイントの情報に基づいて処理して表示用画像データを得る処理部を備える
受信装置。
（１６）上記処理部は、ユーザの属性あるいは契約内容によって決定されたグループのビューポイントの情報を用いる
前記（１５）に記載の受信装置。
（１７）上記処理部は、ユーザ操作で選択されたビューポイントの情報で示される位置をセンター位置とする表示用画像データを得る
前記（１６）に記載の受信装置。
（１８）上記受信部は、上記広視野角画像の画像データを符号化して得られた符号化ストリームとして、上記広視野角画像を分割して得られた各分割領域に対応した符号化ストリームを受信し、
上記処理部は、各分割領域に対応した符号化ストリームのうち上記表示用画像データを得るために用いる所定数の分割領域の符号化ストリームを復号化する
前記（１５）から（１７）のいずれかに記載の受信装置。
（１９）上記受信部は、上記所定数の分割領域の符号化ストリームの送信を配信サーバに要求し、該配信サーバから該所定数の分割領域の符号化ストリームを受信する
前記（１８）に記載の受信装置。
（２０）受信部が、広視野角画像の画像データを符号化して得られた符号化ストリームを受信すると共に、グループ分けして登録された所定数のビューポイントの情報を含むレンダリング用メタ情報を受信する受信ステップと、
処理部が、上記符号化ストリームを復号化した得られた上記広視野角画像の画像データを上記レンダリング用メタ情報に基づいて処理して表示用画像データを得る処理ステップを有する
受信方法。
【０２０６】
本技術の主な特徴は、広視野角画像の画像データを符号化して得られた符号化ストリームと共に、グループ分けされた所定数のビューポイントグリッドの情報を含むレンダリング用メタ情報を送信することで、用途別あるいはユーザ別に、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示することが可能としたことである（図１２、図１５−図２０参照）。
【符号の説明】
【０２０７】
１０・・・送受信システム
１００・・・サービス送信システム
１０１・・・制御部
１０１ａ・・・ユーザ操作部
１０２・・・３６０°画キャプチャ部
１０３・・・平面パッキング部
１０４・・・ビデオエンコーダ
１０５・・・コンテナエンコーダ
１０６・・・ストレージ
１０７・・・通信部
２００・・・サービス受信機
２０１・・・制御部
２０１ａ・・・ＵＩ部
２０１ｂ・・・センサ部
２０２・・・通信部
２０３・・・コンテナデコーダ
２０４・・・ビデオデコーダ
２０５・・・レンダラ
２０６・・・送信リクエスト部
２０７・・・表示部
【図１】
2019139099.tif 000003
【図２】
2019139099.tif 000004
【図３】
2019139099.tif 000005
【図４】
2019139099.tif 000006
【図５】
2019139099.tif 000007
【図６】
2019139099.tif 000008
【図７】
2019139099.tif 000009
【図８】
2019139099.tif 000010
【図９】
2019139099.tif 000011
【図１０】
2019139099.tif 000012
【図１１】
2019139099.tif 000013
【図１２】
2019139099.tif 000014
【図１３】
2019139099.tif 000015
【図１４】
2019139099.tif 000016
【図１５】
2019139099.tif 000017
【図１６】
2019139099.tif 000018
【図１７】
2019139099.tif 000019
【図１８】
2019139099.tif 000020
【図１９】
2019139099.tif 000021
【図２０】
2019139099.tif 000022
【図２１】
2019139099.tif 000023
【図２２】
2019139099.tif 000024
【図２３】
2019139099.tif 000025
【図２４】
2019139099.tif 000026
【図２５】
2019139099.tif 000027
【図２６】
2019139099.tif 000028
【図２７】
2019139099.tif 000029
【図２８】
2019139099.tif 000030
【図２９】
2019139099.tif 000031
【図３０】
2019139099.tif 000032
【図３１】
2019139099.tif 000033
【図３２】
2019139099.tif 000034
【図３３】
2019139099.tif 000035
【図３４】
2019139099.tif 000036
【図３５】
2019139099.tif 000037
【図３６】
2019139099.tif 000038
【図３７】
2019139099.tif 000039
【図３８】
2019139099.tif 000040
【図３９】
2019139099.tif 000041
【図４０】
2019139099.tif 000042
【図４１】
2019139099.tif 000043
【図４２】
2019139099.tif 000044
【図４３】
2019139099.tif 000045
【図４４】
2019139099.tif 000046
【国際調査報告】
2019139099.tif 000047
2019139099.tif 000048