(57)【要約】  ＶＲコンテンツの配信時において、ＶＲ対応端末とＶＲ非対応端末との間で共通の画像を得ることを可能にする。  球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像を得る。このプロジェクション画像の画像データを符号化してビデオストリームを得る。このビデオストリームを含むコンテナを送信する。コンテナおよび/またはビデオストリームのレイヤに、プロジェクション画像のレンダリング用メタ情報を挿入する。ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心はレンダリング用メタ情報で示されるプロジェクション画像の基準点と一致する。
2019031469.tif 000002
【特許請求の範囲】
【請求項１】
球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像を得る処理部と、
上記プロジェクション画像の画像データを符号化してビデオストリームを得る符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報を挿入する挿入部を備え、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致する
送信装置。
【請求項２】
上記プロジェクション画像は、上記基準点を中心位置とするデフォルトリージョンを含む複数のリージョンからなり、
上記切り出し位置情報で示される位置は、上記デフォルトリージョンの位置と一致する
請求項１に記載の送信装置。
【請求項３】
上記レンダリング用メタ情報は、上記基準点の位置情報を持つ
請求項１に記載の送信装置。
【請求項４】
上記レンダリング用メタ情報は、上記ビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致することを示す後方互換性情報を持つ
請求項１に記載の送信装置。
【請求項５】
上記送信部は、上記ビデオストリームに関するメタ情報を持つメタファイルをさらに送信し、
上記メタファイルに、上記コンテナおよび/または上記ビデオストリームのレイヤに上記レンダリング用メタ情報の挿入があることを示す識別情報がさらに挿入される
請求項１に記載の送信装置。
【請求項６】
上記コンテナは、ＩＳＯＢＭＦＦであり、
上記挿入部は、上記レンダリング用メタ情報を、ｍｏｏｖボックスに挿入する
請求項１に記載の送信装置。
【請求項７】
上記コンテナは、ＭＰＥＧ２−ＴＳであり、
上記挿入部は、上記レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入する
請求項１に記載の送信装置。
【請求項８】
上記コンテナは、ＭＭＴストリームであり、
上記挿入部は、上記レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入する
請求項１に記載の送信装置。
【請求項９】
処理部が、球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像を得る処理ステップと、
符号化部が、上記プロジェクション画像の画像データを符号化してビデオストリームを得る符号化ステップと、
送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
挿入部が、上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報を挿入する挿入ステップを有し、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致する
送信方法。
【請求項１０】
長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像を上記レンダリング用メタ情報に基づいてレンダリングして第１の表示画像を得る処理と、上記プロジェクション画像から上記切り出し位置情報に基づいて切り出して第２の表示画像を得る処理と、上記第１の表示画像または上記第２の表示画像を選択的に取り出す処理を制御する制御部をさらに備える
受信装置。
【請求項１１】
受信部が、長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
処理部が、上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像を上記レンダリング用メタ情報に基づいてレンダリングして第１の表示画像を得る処理と、上記プロジェクション画像から上記切り出し位置情報に基づいて切り出して第２の表示画像を得る処理と、上記第１の表示画像または上記第２の表示画像を選択的に取り出す処理を制御する制御ステップをさらに有する
受信方法。
【請求項１２】
長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像から上記切り出し位置情報に基づいて切り出して表示画像を得る処理を制御する制御部をさらに備える
受信装置。
【請求項１３】
受信部が、長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
制御部が、上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像から上記切り出し位置情報に基づいて切り出して表示画像を得る処理を制御する制御ステップをさらに有する
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、球面キャプチャ画像からの切り出し画像を平面パッキングして得られたプロジェクション画像を送信する送信装置等に関する。
【背景技術】
【０００２】
近時、ＶＲ（Virtual Reality）コンテンツの配信が考えられている。例えば、特許文献１には、バック・ツー・バック（Back to Back）方式で撮像を行って１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得、これらの２つの画像から正距円筒画像を作成して通信端末に送信することが記載されている。ここで、１８０°以上の視野角を持つ超広視野角の前面画像および後面画像は球面キャプチャ画像（３６０°ＶＲ画像）を構成し、正距円筒法は平面パッキングの方法の一つである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６-１９４７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＶＲコンテンツの配信は、ＶＲ対応端末でその効果を発揮する。しかし、従来のＶＲ非対応端末がＶＲコンテンツを受信する場合の配慮を行わないと、このＶＲ非対応端末では歪んだ画像が表示されることになる。従来との表示に対する後方互換性を確保する必要がある。【０００５】
本技術の目的は、ＶＲコンテンツの配信時において、ＶＲ対応端末とＶＲ非対応端末との間で共通の画像を得ることを可能にすることにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像を得る処理部と、
上記プロジェクション画像の画像データを符号化してビデオストリームを得る符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報を挿入する挿入部を備え、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致する
送信装置にある。【０００７】
本技術において、処理部により、球面キャプチャ画像（３６０°ＶＲ画像）の一部または全部が切り取られ、さらに平面パッキングされて、長方形のプロジェクション画像が得られる。例えば、球面キャプチャ画像は、１８０°以上の視野角を持つ超広視野角の前面画像および後面画像から構成される。また、例えば、平面パッキングのフォーマットタイプとして、エクイレクタングラー（Equirectangular）やクロスキュービック（Cross-cubic）などがある。【０００８】
符号化部により、プロジェクション画像の画像データが符号化されてビデオストリームが得られる。送信部により、このビデオストリームを含むコンテナが送信される。例えば、コンテナは、ＩＳＯＢＭＦＦ、ＭＰＥＧ２−ＴＳ、ＭＭＴストリームなどである。挿入部により、コンテナおよび/またはビデオストリームのレイヤに、プロジェクション画像のレンダリング用メタ情報が挿入される。レンダリング用メタ情報がビデオストリームのレイヤに挿入されることで、コンテナの種類によらず、レンダリング用メタ情報の動的な変更が可能となる。【０００９】
ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は、レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致するようにされる。例えば、プロジェクション画像は、基準点を中心位置とするデフォルトリージョンを含む複数のリージョンからなり、切り出し位置情報で示される位置は、デフォルトリージョンの位置と一致する、ようにされてもよい。【００１０】
例えば、レンダリング用メタ情報は、基準点の位置情報を持つ、ようにされてもよい。また、例えば、レンダリング用メタ情報は、ビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心はレンダリング用メタ情報で示されるプロジェクション画像の基準点と一致することを示す後方互換性情報を持つ、ようにされてもよい。また、例えば、送信部は、ビデオストリームに関するメタ情報を持つメタファイルをさらに送信し、このメタファイルに、コンテナおよび/またはビデオストリームのレイヤにレンダリング用メタ情報の挿入があることを示す識別情報がさらに挿入される、ようにされてもよい。【００１１】
例えば、コンテナは、ＩＳＯＢＭＦＦであり、挿入部は、レンダリング用メタ情報を、ｍｏｏｖボックスに挿入する、ようにされてもよい。また、例えば、コンテナは、ＭＰＥＧ２−ＴＳであり、挿入部は、レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入する、ようにされてもよい。また、例えば、コンテナは、ＭＭＴストリームであり、挿入部は、レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入する、ようにされてもよい。【００１２】
このように本技術においては、ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は、レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致するものである。そのため、ＶＲコンテンツの配信時において、ＶＲ対応端末とＶＲ非対応端末との間で共通の画像を得ることを可能となる。【００１３】
また、本技術の他の概念は、
長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像を上記レンダリング用メタ情報に基づいてレンダリングして第１の表示画像を得る処理と、上記プロジェクション画像から上記切り出し位置情報に基づいて切り出して第２の表示画像を得る処理と、上記第１の表示画像または上記第２の表示画像を選択的に取り出す処理を制御する制御部をさらに備える
受信装置にある。【００１４】
本技術において、受信部により、長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナが受信される。このプロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものである。また、コンテナおよび/またはビデオストリームのレイヤに、プロジェクション画像のレンダリング用メタ情報が挿入されている。また、ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は、レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致している。【００１５】
制御部により、ビデオストリームを復号化してプロジェクション画像を得る処理と、このプロジェクション画像をレンダリング用メタ情報に基づいてレンダリングして第１の表示画像を得る処理と、プロジェクション画像から切り出し位置情報に基づいて切り出して第２の表示画像を得る処理と、第１の表示画像または第２の表示画像を選択的に取り出す処理が制御される。【００１６】
このように本技術においては、プロジェクション画像をレンダリング用メタ情報に基づいてレンダリングして得られた第１の表示画像と、プロジェクション画像から切り出し位置情報に基づいて切り出して得られた第２の表示画像を選択的に取り出すものである。そのため、これら２つの画像を選択的に表示することが可能となる。この場合、ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心はレンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、第１の表示画像および第２の表示画像は共通の画像となる。
【発明の効果】
【００１７】
本技術によれば、ＶＲコンテンツの配信時において、ＶＲ対応端末とＶＲ非対応端末との間で共通の画像を得ることが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１８】
【図１】ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの構成例を示すブロック図である。
【図２】ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示す図である。
【図３】実施の形態としての送受信システムの構成例を示すブロック図である。
【図４】送受信システムのシステム全体の構成例を概略的に示す図である。
【図５】球面キャプチャ画像からプロジェクション画像を得る平面パッキングを説明するための図である。
【図６】ＨＥＶＣの符号化におけるＳＰＳ  ＮＡＬユニットの構造例を示す図である。
【図７】切出し位置の中心Ｏ(p,q)をプロジェクション画像の基準点ＲＰ(x,y)と一致させることを説明するための図である。
【図８】切出し位置情報で示される位置をデフォルトリージョンの位置と一致させることを説明するための図である。
【図９】レンダリングメタデータの構造例を示す図である。
【図１０】図９に示す構造例における各情報を説明するための図である。
【図１１】レンダリングメタデータの他の構造例を示す図である。
【図１２】図１１に示す構造例における各情報を説明するための図である。
【図１３】図９、図１１に示す構造例における主要な情報の内容を示す図である。
【図１４】配信ストリームとしてのＭＰ４ストリームの一例を示す図である。
【図１５】ＭＰＤファイルの記述例を示す図である。
【図１６】“SupplementaryDescriptor”の「Value」セマンティスクスを示す図である。
【図１７】プロジェクション画像に対するＶＲ対応端末およびＶＲ非対応端末の処理を説明するための図である。
【図１８】サービス送信システムの構成例を示すブロック図である。
【図１９】サービス受信機（ＶＲ対応端末）の構成例を示すブロック図である。
【図２０】サービス受信機（ＶＲ対応端末）における表示切り替えシーケンスを示す図である。
【図２１】サービス受信機（ＶＲ非対応端末）の構成例を示すブロック図である。
【図２２】トランスポートストリームの構成例を示す図である。
【図２３】ＭＭＴストリームの構成例を示す図である。
【図２４】フォーマットタイプがクロスキュービックであるプロジェクション画像を示す図である。
【図２５】基準点ＲＰ(x,y)の指定および切出し位置「Conformance_window」の指定について説明するための図である。
【図２６】クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）を４つのパーティションに分割し、４つのＭＰ４ストリームで伝送する例を示す図である。
【図２７】パーティションド・クロスキュービックにおけるレンダリングメタデータの構造例を示す図である。
【図２８】フォーマットタイプがパーティションド・クロスキュービックにおけるレンダリングメタデータの他の構造例を示す図である。
【図２９】図２７、図２８の構造例における主要な情報の内容を示す図である。
【図３０】フォーマットタイプがパーティションド・クロスキュービックにおけるＭＰＤファイルの記述例を示す図である。
【図３１】４つのパーティションに対応したＭＰ４ストリーム（トラック）を概略的に示す図である。
【図３２】トランスポートストリームの構成例を示す図である。
【図３３】ＭＭＴストリームの構成例を示す図である。
【図３４】送受信システムの他の構成例を示す図である。
【図３５】レンダリングメタデータ用のＨＤＭＩインフォフレームの構造例を示す図である。
【図３６】レンダリングメタデータ用のＨＤＭＩインフォフレームの構造例を示す図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要］
最初に、本技術を適用し得るＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要を説明する。
【００２１】
図１（ａ）は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０Ａの構成例を示している。この構成例では、メディアストリームとＭＰＤ（Media Presentation Description ）ファイルが、通信ネットワーク伝送路（通信伝送路）を通じて送信される。このストリーム配信システム３０Ａは、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に、Ｎ個のサービス受信機３３-1，３３-2，・・・，３３-Nが、ＣＤＮ（Content Delivery Network）３４を介して、接続された構成となっている。
【００２２】
ＤＡＳＨストリームファイルサーバ３１は、所定のコンテンツのメディアデータ（ビデオデータ、オーディオデータ、字幕データなど）に基づいて、ＤＡＳＨ仕様のストリームセグメント（以下、適宜、「ＤＡＳＨセグメント」という）を生成し、サービス受信機からのＨＴＴＰ要求に応じてセグメントを送出する。このＤＡＳＨストリームファイルサーバ３１は、ストリーミング専用のサーバであってもよいし、また、ウェブ（Web）サーバで兼用されることもある。
【００２３】
また、ＤＡＳＨストリームファイルサーバ３１は、サービス受信機３３（３３-1，３３-2，・・・，３３-N）からＣＤＮ３４を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、ＣＤＮ３４を介して、要求元の受信機に送信する。この場合、サービス受信機３３は、ＭＰＤ（Media Presentation Description）ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
【００２４】
ＤＡＳＨ ＭＰＤサーバ３２は、ＤＡＳＨストリームファイルサーバ３１において生成されるＤＡＳＨセグメントを取得するためのＭＰＤファイルを生成するサーバである。コンテンツマネジメントサーバ（図示せず）からのコンテンツメタデータと、ＤＡＳＨストリームファイルサーバ３１において生成されたセグメントのアドレス（url）をもとに、ＭＰＤファイルを生成する。なお、ＤＡＳＨストリームファイルサーバ３１とＤＡＳＨ ＭＰＤサーバ３２は、物理的に同じものであってもよい。
【００２５】
ＭＰＤのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション（Representation）という要素を利用して、それぞれの属性が記述される。例えば、ＭＰＤファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。サービス受信機３３では、そのレートの値を参考にして、上述したように、サービス受信機３３の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
【００２６】
図１（ｂ）は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０Ｂの構成例を示している。この構成例では、メディアストリームとＭＰＤファイルが、ＲＦ伝送路（放送伝送路）を通じて送信される。このストリーム配信システム３０Ｂは、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２が接続された放送送出システム３６と、Ｍ個のサービス受信機３５-1，３５-2，・・・，３５-Mとで構成されている。
【００２７】
このストリーム配信システム３０Ｂの場合、放送送出システム３６は、ＤＡＳＨストリームファイルサーバ３１で生成されるＤＡＳＨ仕様のストリームセグメント（ＤＡＳＨセグメント）およびＤＡＳＨ ＭＰＤサーバ３２で生成されるＭＰＤファイルを、放送波に載せて送信する。
【００２８】
図２は、ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示している。図２（ａ）に示すように、ＭＰＤファイル全体としてのメディア・プレゼンテーション（Media Presentation）には、時間間隔で区切られた複数のピリオド（Period）が存在する。例えば、最初のピリオドはスタートが０秒から、次のピリオドはスタートが１００秒から、などとなっている。
【００２９】
図２（ｂ）に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図２（ｃ）に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
【００３０】
図２（ｄ）に示すように、リプレゼンテーションには、セグメントインフォ（SegmentInfo）が含まれている。このセグメントインフォには、図２（e）に示すように、イニシャライゼーション・セグメント（Initialization Segment）と、ピリオドをさらに細かく区切ったセグメント（Segment）毎の情報が記述される複数のメディア・セグメント（Media Segment）が存在する。メディアセグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
【００３１】
なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
【００３２】
［送受信システムの構成例］
図３は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信システム１００とサービス受信機２００により構成されている。この送受信システム１０において、サービス送信システム１００は、上述の図１（ａ）に示すストリーム配信システム３０ＡのＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に対応する。また、この送受信システム１０において、サービス送信システム１００は、上述の図１（ｂ）に示すストリーム配信システム３０ＢのＤＡＳＨストリームファイルサーバ３１、ＤＡＳＨ ＭＰＤサーバ３２および放送送出システム３６に対応する。
【００３３】
また、この送受信システム１０において、サービス受信機２００は、上述の図１（ａ）に示すストリーム配信システム３０Ａのサービス受信機３３（３３-1，３３-2，・・・，３３-N）に対応する。また、この送受信システム１０において、サービス受信機２００は、上述の図１（ｂ）に示すストリーム配信システム３０Ｂのサービス受信機３５（３５-1，３５-2，・・・，３５-M）に対応する。
【００３４】
サービス送信システム１００は、ＤＡＳＨ/ＭＰ４、つまりメタファイルとしてのＭＰＤファイルと、ビデオやオーディオなどのメディアストリーム（メディアセグメント）が含まれるＭＰ４（ＩＳＯＢＭＦＦ）を、通信ネットワーク伝送路（図１（ａ）参照）またはＲＦ伝送路（図１（ｂ）参照）を通じて、送信する。
【００３５】
この実施の形態においては、メディアストリームとして、長方形のプロジェクション画像（Projection picture）の画像データを符号化して得られたビデオストリームが含まれる。プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものである。
【００３６】
コンテナおよび/またはビデオストリームのレイヤに、プロジェクション画像のレンダリング用メタ情報が挿入されている。レンダリング用メタ情報がビデオストリームのレイヤに挿入されることで、コンテナの種類によらず、レンダリング用メタ情報の動的な変更が可能となる。
【００３７】
また、ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は、レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致するようにされる。例えば、プロジェクション画像は、基準点を中心位置とするデフォルトリージョンを含む複数のリージョンからなり、切り出し位置情報で示される位置はデフォルトリージョンの位置と一致するようにされる。
【００３８】
レンダリング用メタ情報は、基準点を算出する情報を持っている。また、レンダリング用メタ情報は、後方互換性情報を持っている。この後方互換性情報は、ビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心はレンダリング用メタ情報で示されるプロジェクション画像の基準点と一致することを示すものである。
【００３９】
ＭＰＤファイルには、コンテナおよび/またはビデオストリームのレイヤにレンダリング用メタ情報の挿入があることを示す識別情報、後方互換性情報、さらにはプロジェクション画像のフォーマットタイプ情報が挿入されている。
【００４０】
サービス受信機２００は、サービス送信システム１００から通信ネットワーク伝送路（図１（ａ）参照）またはＲＦ伝送路（図１（ｂ）参照）を通じて送られてくる上述のＭＰ４（ＩＳＯＢＭＦＦ）を受信する。サービス受信機２００は、ＭＰＤファイルから、ビデオストリームに関するメタ情報を取得する。また、サービス受信機２００は、ＶＲ対応端末であるときは、ＭＰＤファイルから、さらに、コンテナおよび/またはビデオストリームのレイヤにレンダリング用メタ情報の挿入があることを示す識別情報、後方互換性情報、さらにはプロジェクション画像のフォーマットタイプ情報を取得する。
【００４１】
サービス受信機２００は、ＶＲ対応端末であるとき、ビデオストリームを復号化してプロジェクション画像を得、このプロジェクション画像をレンダリング用メタ情報に基づいてレンダリングしてレンダリング画像（第１の表示画像）を得る。なお、この実施の形態において、サービス受信機２００は、ＶＲ対応端末であるときは、さらに、プロジェクション画像から切り出し位置情報に基づいて切り出して切出し画像（第２の表示画像）を得て、レンダリング画像あるいは切出し画像を選択的に表示する。
【００４２】
また、サービス受信機２００は、ＶＲ非対応端末であるとき、ビデオストリームを復号化してプロジェクション画像を得、このプロジェクション画像から切り出し位置情報に基づいて切り出して切出し画像（第２の表示画像）を得る。上述したように、ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は、レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致するようにされている。そのため、切出し画像はレンダリング画像と共通のものとなり、従ってＶＲ対応端末とＶＲ非対応端末との間で共通の画像が得られる。
【００４３】
図４は、送受信システム１０のシステム全体の構成例を概略的に示している。サービス送信システム１００は、カメラ１０２と、平面パッキング部１０３と、ビデオエンコーダ１０４と、コンテナエンコーダ１０５を有している。
【００４４】
カメラ１０２は、被写体を撮像して、球面キャプチャ画像（３６０°ＶＲ画像）の画像データを得る。例えば、カメラ１０２は、バック・ツー・バック（Back to Back）方式で撮像を行って、球面キャプチャ画像として、それぞれ魚眼レンズを用いて撮像された１８０°以上の視野角を持つ、超広視野角の前面画像および後面画像を得る。
【００４５】
平面パッキング部１０３は、カメラ１０２で得られた球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像（Projection picture）を得る。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー(Equirectangular)、クロスキュービック（Cross-cubic）などが選択される。なお、平面パッキング部では、プロジェクション画像に必要に応じてスケーリングを施し、所定の解像度のプロジェクション画像を得る。
【００４６】
図５（ａ）は、カメラ１０２で得られる球面キャプチャ画像としての、超広視野角の前面画像および後面画像の一例を示している。図５（ｂ）は、平面パッキング部１０３で得られるプロジェクション画像の一例を示している。この例は、プロジェクション画像のフォーマットタイプがエクイレクタングラーである場合の例である。また、この例は、図５（ａ）に示す各画像において破線で示す緯度で切出した場合の例である。図５（ｃ）は、スケーリング後のプロジェクション画像の一例を示している。
【００４７】
図４に戻って、ビデオエンコーダ１０４は、平面パッキング部１０３からのプロジェクション画像の画像データに対して、例えば、ＭＰＥＧ４−ＡＶＣあるいはＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含むビデオストリームを生成する。ビデオストリームのＳＰＳ  ＮＡＬユニットには、切り出し位置情報が挿入されている。例えば、ＨＥＶＣの符号化では「conformance_window」が対応し、ＭＰＥＧ４−ＡＶＣの符号化では「frame_crop_offset」が対応する。
【００４８】
図６は、ＨＥＶＣの符号化におけるＳＰＳ  ＮＡＬユニットの構造例（Syntax）を示している。「pic_width_in_luma_samples」のフィールドは、プロジェクション画像の水平方向の解像度（画素サイズ）を示している。「pic_height_in_luma_samples」のフィールドは、プロジェクション画像の垂直方向の解像度（画素サイズ）を示している。そして、「conformance_window_flag」が立っているとき、切り出し位置情報が存在する。この切り出し位置情報は、プロジェクション画像の左上を基点（０，０）としたオフセット情報とされる。
【００４９】
「conf_win_left_offset」のフィールドは、切り出し位置の左端位置を示している。「conf_win_right_offset」のフィールドは、切り出し位置の右端位置を示している。「conf_win_top_offset」のフィールドは、切り出し位置の上端位置を示している。「conf_win_bottom_offset」のフィールドは、切り出し位置の下端位置を示している。
【００５０】
この実施の形態において、この切り出し位置情報で示される切り出し位置の中心は、プロジェクション画像の基準点と一致するようにされる。ここで、切出し位置の中心をＯ(p,q)とすると、ｐ，ｑは、それぞれ、以下の数式で表される。
【００５１】
p = ( conf_win_right_offset -  conf_win_left_offset ) * 1/2
+ conf_win_left_offset
q = ( conf_win_bottom_offset -  conf_win_top_offset ) * 1/2
+ conf_win_top_offset
【００５２】
図７は、切出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するようにされることを示している。図示の例において、「projection_pic_size_horizontal」はプロジェクション画像の水平画素サイズを示し、「projection_pic_size_vertical」はプロジェクション画像の垂直画素サイズを示している。なお、ＶＲ対応端末ではプロジェクション画像をレンダリングして表示ビュー（表示画像）を得ることが可能とされるが、デフォルトビューは基準点ＲＰ(x,y)を中心としたものとされる。
【００５３】
この場合、例えば、プロジェクション画像が、基準点ＲＰ(x,y)を中心位置とするデフォルトリージョンを含む複数のリージョンからなるとき、切出し位置情報で示される位置はデフォルトリージョンの位置と一致するようにされる。この場合、切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)は、プロジェクション画像の基準点ＲＰ(x,y)と一致する。
【００５４】
図８（ａ）は、切出し位置情報で示される位置がデフォルトリージョンの位置と一致するようにされることを示している。図示の例においては、プロジェクション画像はリージョン０からリージョン８までの９つのリージョンからなっており、リージョン４がデフォルトリージョンであるとする。ＶＲ対応端末ではプロジェクション画像をレンダリングして表示ビュー（表示画像）を得ることが可能とされ、表示ビューをリージョンの指定で切り替えることが可能であるが、デフォルトビューはデフォルトリージョンに対応したものとされる。
【００５５】
図８（ｂ）は、切出し位置情報がデフォルトリージョン位置情報に基づいてどのように設定されるかを示している。切り出し位置の上端位置「conf_win_top_offset」は、デフォルトリージョンの上端位置「proj_reg_top」と等しくされる。また、切り出し位置の左端位置「conf_win_left_offset」は、デフォルトリージョンの左端位置「proj_reg_left」と等しくされる。また、切り出し位置の下端位置「conf_win_bottom_offset」は、デフォルトリージョンの上端位置「proj_reg_top」にデフォルトリージョンの垂直サイズ「proj_reg_height」が加算されたものと等しくされる。また、切り出し位置の右端位置「conf_win_right_offset」は、デフォルトリージョンの左端位置「proj_reg_left」にデフォルトリージョンの水平サイズ「proj_reg_width」が加算されたものと等しくされる。
【００５６】
図４に戻って、ビデオエンコーダ１０４は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（SEI message）を挿入する。図９は、レンダリングメタデータ（Rendering_metadata）の構造例（Syntax）を示している。この例は、基準点ＲＰ(x,y)の位置情報を伝送する例である。また、図１１は、レンダリングメタデータ（Rendering_metadata）の他の構造例（Syntax）を示している。この例は、基準点ＲＰ(x,y)の位置情報を伝送しない例である。図１３は、各構造例における主要な情報の内容（Semantics）を示している。
【００５７】
最初に、図９のレンダリングメタデータの構造例について説明する。「rendering_metadata_id」の１６ビットフィールドは、レンダリングメタデータ構造体を識別するＩＤである。「rendering_metadata_length」の１６ビットフィールドは、レンダリングメタデータ構造体バイトサイズを示す。
【００５８】
「start_offset_sphere_latitude」、「start_offset_sphere_longitude」、「end_offset_sphere_latitude」、「end_offset_sphere_longitude」の各１６ビットフィールドは、球面キャプチャ画像を平面パッキングする場合の切り取り範囲の情報を示す（図１０（ａ）参照）。「start_offset_sphere_latitude」のフィールドは、球面からの切り取り開始オフセットの緯度（垂直方向）を示す。「start_offset_sphere_longitude」のフィールドは、球面からの切り取り開始オフセットの経度（水平方向）を示す。「end_offset_sphere_latitude」のフィールドは、球面からの切り取り終了オフセットの緯度（垂直方向）を示す。「end_offset_sphere_longitude」のフィールドは、球面からの切り取り終了オフセットの経度（水平方向）を示す。
【００５９】
「projection_pic_size_horizontal」、「projection_pic_size_vertical」の各１６ビットフィールドは、プロジェクション画像（projection picture）のサイズ情報を示す（図１０（ｂ）参照）。「projection_pic_size_horizontal」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの水平画素カウントを示す。「projection_pic_size_vertical」のフィールドは、プロジェクション画像のサイズでトップ・レフト（top-left）からの垂直画素カウントを示す。
【００６０】
「scaling_ratio_horizontal」、「scaling_ratio_vertical」の各１６ビットフィールドは、プロジェクション画像の元のサイズからのスケーリング比を示す（図５（ｂ）、（ｃ）参照）。「scaling_ratio_horizontal」のフィールドは、プロジェクション画像の元のサイズからの水平スケーリング比を示す。「scaling_ratio_vertical」のフィールドは、プロジェクション画像の元のサイズからの垂直スケーリング比を示す。
【００６１】
「reference_point_horizontal」、「reference_point_vertical」の各１６ビットフィールドは、プロジェクション画像の基準点ＲＰ(x,y)の位置情報を示す（図１０（ｂ），（ｃ）参照）。「reference_point_horizontal」のフィールドは、基準点ＲＰ(x,y)の水平画素位置“ｘ”を示す。「reference_point_vertical」のフィールドは、基準点ＲＰ(x,y)の垂直画素位置“ｙ”を示す。
【００６２】
図１０（ｂ）に示すように、プロジェクション画像にリージョンが設定されていない場合、基準点ＲＰ(x,y)を指定して、デフォルトビューの中心とする。一方、図１０（ｃ）に示すように、プロジェクション画像にリージョンが設定される場合、基準点ＲＰ(x,y)がデフォルトリージョンの中心となるようにリージョン位置を定義する。
【００６３】
「format_type」の５ビットフィールドは、プロジェクション画像のフォーマットタイプを示す。例えば、“０”はエクイレクタングラー(Equirectangular)を示し、“１”はクロスキュービック（Cross-cubic）を示し、“２”はパーティションド・クロスキュービック（partitioned cross cubic）を示す。
【００６４】
「backwardcompatible」の１ビットフィールドは、後方互換性の設定がなされているかどうか、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されているか否かを示す。例えば、“０”は後方互換性の設定がなされていないことを示し、“１”は後方互換性の設定がなされていることを示す。
【００６５】
「number_of_regions」の８ビットフィールドは、プロジェクション画像の中のリージョン数を示す。リージョン数が２以上であるとき、「region_id[i]」、「start_offset_horizontal_region[i]」、「start_offset_vertical_region[i]」、「width_region[i]」、「height_region[i]」、「default_region_flag[i]」の各フィールドが、その数だけ繰り返し存在する。
【００６６】
「region_id[i]」の８ビットフィールドは、リージョンの識別番号を示す。「start_offset_horizontal_region[i]」の１６ビットフィールドは、ｉ番目のリージョンの水平開始画素オフセットを示す。「start_offset_vertical_region[i]」の１６ビットフィールドは、ｉ番目のリージョンの垂直開始画素オフセットを示す。
【００６７】
「width_region[i]」の１６ビットフィールドは、ｉ番目のリージョンの水平幅を画素数で示す。「height_region[i]」の１６ビットフィールドは、ｉ番目のリージョンの垂直幅を画素数で示す。「default_region_flag[i]」の１ビットフィールドは、デフォルトリージョンであるか否かを示す。例えば、“０”はデフォルトリージョンでないことを示し、“１”はデフォルトリージョンであることを示す。
【００６８】
次に、図１１のレンダリングメタデータの構造例について説明する。「rendering_metadata_id」の１６ビットフィールドは、レンダリングメタデータ構造体を識別するＩＤである。「rendering_metadata_length」の１６ビットフィールドは、レンダリングメタデータ構造体バイトサイズを示す。
【００６９】
「start_offset_sphere_latitude」、「start_offset_sphere_longitude」、「end_offset_sphere_latitude」、「end_offset_sphere_longitude」の各１６ビットフィールドは、図９の構造例と同様に、球面キャプチャ画像を平面パッキングする場合の切り取り範囲を示す（図１２（ａ）参照）。「projection_pic_size_horizontal」、「projection_pic_size_vertical」の各１６ビットフィールドは、図９の構造例と同様に、プロジェクション画像（projection picture）のサイズ情報を示す（図１２（ｂ）参照）。「scaling_ratio_horizontal」、「scaling_ratio_vertical」の各１６ビットフィールドは、図９の構造例と同様に、プロジェクション画像の元のサイズからのスケーリング比を示す（図５（ｂ）、（ｃ）参照）。
【００７０】
「format_type」の５ビットフィールドは、プロジェクション画像のフォーマットタイプを示す。「backwardcompatible」の１ビットフィールドは、後方互換性の設定がなされているかどうかを示す。「number_of_regions」の８ビットフィールドは、プロジェクショ画像の中のリージョン数を示す。リージョン数が２以上であるとき、図９の構造例と同様に、「region_id[i]」、「start_offset_horizontal_region[i]」、「start_offset_vertical_region[i]」、「width_region[i]」、「height_region[i]」、「default_region_flag[i]」の各フィールドが、その数だけ繰り返し存在する。
【００７１】
図１１に示す構造例においては、図９に示す構造例から、プロジェクション画像の基準点ＲＰ(x,y)の位置情報を示す「reference_point_horizontal」、「reference_point_vertical」の各１６ビットフィールが除かれたものである。
【００７２】
プロジェクション画像にリージョンが設定されていない場合、図１２（ｂ）に示すように、プロジェクション画像の中心を基準点ＲＰ(x,y)、従ってデフォルトビューの中心と見なす。一方、プロジェクション画像にリージョンが設定されていない場合、図１２（ｃ）に示すように、デフォルトリージョンの中心が基準点ＲＰ(x,y)となるようにリージョン位置を定義する。
【００７３】
図４に戻って、コンテナエンコーダ１０５は、ビデオエンコーダ１０４で生成されたビデオストリームを含むコンテナ、ここではＭＰ４ストリームを、配信ストリームＳＴＭとして生成する。この場合、コンテナエンコーダ１０５は、コンテナのレイヤに、レンダリングメタデータ（図９、図１１参照）を挿入する。なお、この実施の形態においては、ビデオストリームのレイヤとコンテナのレイヤの双方にレンダリングメタデータを挿入するものであるが、いずれか一方のみに挿入することも考えられる。このようにコンテナエンコーダ１０５で得られたＭＰ４の配信ストリームＳＴＭは、放送波あるいはネットのパケットに載せて、サービス受信機２００Ａ，２００Ｂに送信される。
【００７４】
図１４は、配信ストリームＳＴＭとしてのＭＰ４ストリームの一例を示している。一般の放送など、送信の途中から画音が出るように、サービスストリーム全体がフラグメント化されて送信される。各ランダムアクセス期間は、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
【００７５】
イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。先頭に、ファイルタイプ（File type）を示す“ｆｔｙｐ”ボックスが配置され、それに続いて制御用の“ｍｏｏｖ”ボックスが配置されている。詳細説明は省略するが、この“ｍｏｏｖ”ボックス内に、“ｔｒａｋ”ボックス、“ｍｄｉａ”ボックス、“ｍｉｎｆ”ボックス、“ｓｔｂｌ”ボックス、“ｓｔｓｄ”ボックスおよび“ｓｃｈｉ”ボックスが階層的に配置され、この“ｓｃｈｉ”ボックスに、レンダリングメタデータ（Rendering_metadata）（図９、図１１参照）が挿入される。
【００７６】
“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
【００７７】
“ｍｏｏｆ”ボックスには制御情報が入る。“ｍｄａｔ”ボックスにはビデオ、オーディオなどの信号（伝送メディア）の実体そのものが入る。“ｍｏｏｆ”ボックスと“ｍｄａｔ”ボックスによりムービーフラグメント（Movie fragment）が構成されている。１つのムービーフラグメントの“ｍｄａｔ”ボックスには、伝送メディアがフラグメント化（断片化）されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。
【００７８】
各ムービーフラグメントの“ｍｄａｔ”ボックスには、プロジェクション画像の符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
【００７９】
ＳＰＳ  ＮＡＬユニットには、切り出し位置情報としての「conformance_window」の情報が挿入される（図６参照）。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図９、図１１参照）を持つＳＥＩメッセージが挿入される。
【００８０】
図１５は、ＭＰＤファイルの記述例を示している。ここでは、説明の簡単化のためにビデオストリームに関する情報のみが記述されている例を示しているが、実際には他のメディアストリームに関する情報も記述されている。図１６は、“SupplementaryDescriptor”の「Value」セマンティスクスを示している。
【００８１】
「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx”」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、LxxxのレベルのＨＥＶＣのビデオストリーム（符号化画像データ）の存在が示されている。
【００８２】
このＭＰＤファイルには、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。
【００８３】
また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:projectiontype” value=“0”/>」の記述により、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
【００８４】
また、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、タグ情報としてレベル“０”が付与されることが示され、さらにビデオストリーム（符号化ストリーム）のレベルが“Lxxx”であることが示される。また、「<BaseURL>videostreamVR.mp4</BaseURL>」の記述により、このビデオストリームのロケーション先が、「videostreamVR.mp4」として示されている。
【００８５】
図４に戻って、ＶＲ対応端末であるサービス受信機２００Ａは、コンテナデコーダ２０３と、ビデオデコーダ２０４と、レンダラ２０５を有している。コンテナデコーダ２０３は、受信されたＭＰ４の配信ストリームＳＴＭからビデオストリームを取り出し、ビデオデコーダ２０４に送る。
【００８６】
ビデオデコーダ２０４は、コンテナデコーダ２０３で取り出されたビデオストリームに復号化処理を施して、プロジェクション画像（画像データ）を得る。レンダラ２０５は、コンテナおよび/またはビデオストリームのレイヤに挿入されているレンダリングメタデータ（レンダリング用メタ情報）に基づいて、プロジェクション画像（画像データ）にレンダリング処理を施して、レンダリング画像（画像データ）を得る。
【００８７】
この場合、レンダラ２０５は、プロジェクション画像の基準点ＲＰ(x,y)を中心とするデフォルトビューに対応したレンダリング画像を生成する他、ユーザ操作あるいはユーザの動作に応じて他のビューに対応したレンダリング画像も生成し得る。例えば、プロジェクション画像が複数のリージョンからなる場合、デフォルトリージョンに対応したデフォルトビューのレンダリング画像を生成する他、ユーザにより指定された他のリージョンに対応したビューのレンダリング画像も生成し得る。
【００８８】
なお、図示していないが、サービス受信機２００Ａは、プロジェクション画像（画像データ）から、ビデオストリームのレイヤに挿入される切り出し位置情報で切出し処理をして切出し画像（画像データ）を得ることも可能とされる。そして、サービス受信機２００Ａにおいては、ユーザの切り替え操作に応じて、表示画像としてレンダリング画像または切出し画像を選択的に表示できる。
【００８９】
また、ＶＲ非対応端末であるサービス受信機２００Ｂは、コンテナデコーダ２３３と、ビデオデコーダ２３４と、切出し部２３５を有している。コンテナデコーダ２３３は、受信されたＭＰ４の配信ストリームＳＴＭからビデオストリームを取り出し、ビデオデコーダ２３４に送る。
【００９０】
ビデオデコーダ２３４は、コンテナデコーダ２３３で取り出されたビデオストリームに復号化処理を施して、プロジェクション画像（画像データ）を得る。切出し部２３５は、プロジェクション画像（画像データ）から、ビデオストリームのレイヤに挿入される切り出し位置情報で切出し処理をして、切出し画像（画像データ）を得る。つまり、サービス受信機２００Ｂにおいては、この切出し画像を表示できる。
【００９１】
図１７（ａ）は、ビデオデコーダ２０４，２３４の出力であるプロジェクション画像の一例を示している。ここで、ビデオストリームのレイヤに挿入される切り出し位置情報で示される切出し位置「conformance_window」の中心Ｏ(p,q)は、プロジェクション画像の基準点ＲＰ(x,y)と一致するようにされている。
【００９２】
図１７（ｂ）は、ＶＲ対応端末であるサービス受信機２００Ａにおいて、プロジェクション画像を処理して得られたレンダリング画像あるいは切出し画像を選択的に表示できることを示している。ここで、レンダリング画像は、プロジェクション画像にレンダリング処理を施して得られたものである。そして、デフォルトのレンダリング画像は、プロジェクション画像の基準点ＲＰ(x,y)を中心とするデフォルトビューに対応したものとなる。また、切出し画像は、プロジェクション画像から切出し位置「conformance_window」の領域が切出されて得られたものである。
【００９３】
図１７（ｃ）は、ＶＲ非対応端末であるサービス受信機２００Ｂにおいて、切出し画像を表示できることを示している。この切出し画像は、プロジェクション画像から切出し位置「conformance_window」の領域が切出されて得られたものである。
【００９４】
上述したように切出し位置「conformance_window」の中心Ｏ(p,q)はプロジェクション画像の基準点ＲＰ(x,y)と一致するため、サービス受信機２００Ａで表示されるデフォルトビューに対応したレンダリング画像とサービス受信機２００Ｂで表示される切出し画像は共通の画像となる。つまり、ＶＲ対応端末であるサービス受信機２００ＡとＶＲ非対応端末であるサービス受信機２００Ｂとの間で共通の画像を得ることができる。
【００９５】
「サービス送信システムの構成例」
図１８は、サービス送信システム１００の構成例を示している。このサービス送信システム１００は、制御部１０１と、ユーザ操作部１０１ａと、カメラ１０２と、平面パッキング部１０３と、ビデオエンコーダ１０４と、コンテナエンコーダ１０５と、送信部１０６を有している。
【００９６】
制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス送信システム１００の各部の動作を制御する。ユーザ操作部１０１ａは、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどである。
【００９７】
カメラ１０２は、被写体を撮像して、球面キャプチャ画像（３６０°ＶＲ画像）の画像データを得る。例えば、カメラ１０２は、バック・ツー・バック（Back to Back）方式で撮像を行って、球面キャプチャ画像として、それぞれ魚眼レンズを用いて撮像された１８０°以上の視野角を持つ、超広視野角の前面画像および後面画像を得る（図５（ａ）参照）。
【００９８】
平面パッキング部１０３は、カメラ１０２で得られた球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像（Projection picture）を得る（図５（ｂ）参照）。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー(Equirectangular)、クロスキュービック（Cross-cubic）などが選択される。なお、平面パッキング部では、プロジェクション画像に必要に応じてスケーリングを施し、所定の解像度のプロジェクション画像を得る（図５（ｃ）参照）。
【００９９】
ビデオエンコーダ１０４は、平面パッキング部１０３からのプロジェクション画像の画像データに対して、例えばＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含むビデオストリームを生成する。ビデオストリームのＳＰＳ  ＮＡＬユニットには、切り出し位置情報が挿入されている（図６の「conformance_window」の情報参照）。
【０１００】
ここで、切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)は、プロジェクション画像の基準点ＲＰ(x,y)と一致するようにされる（図７参照）。この場合、例えば、プロジェクション画像が、基準点ＲＰ(x,y)を中心位置とするデフォルトリージョンを含む複数のリージョンからなるとき、切出し位置情報で示される位置はデフォルトリージョンの位置と一致するようにされる（図８参照）。この場合、切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)は、プロジェクション画像の基準点ＲＰ(x,y)と一致する。
【０１０１】
また、ビデオエンコーダ１０４は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、レンダリングメタデータ（レンダリング用メタ情報）を持つＳＥＩメッセージ（SEI message）を挿入する。レンダリング用メタデータには、球面キャプチャ画像を平面パッキングする場合の切り取り範囲の情報、プロジェクション画像の元のサイズからのスケーリング比の情報、プロジェクション画像のフォーマットタイプの情報、切り出し位置の中心Ｏ(p,q)をプロジェクション画像の基準点ＲＰ(x,y)と一致させるという後方互換性の設定がなされているかどうかを示す情報などが挿入されている（図９、図１１参照）
【０１０２】
また、レンダリングメタデータに、基準点ＲＰ(x,y)の位置情報が挿入される場合（図９参照）と、挿入されない場合（図１１参照）がある。挿入されない場合、プロジェクション画像の中心が基準点ＲＰ(x,y)とみなされ（図１２（ｂ）参照）、あるいはデフォルトリージョンの中心が基準点ＲＰ(x,y)とみなされる（図１２（ｃ）参照）。
【０１０３】
コンテナエンコーダ１０５は、ビデオエンコーダ１０４で生成されたビデオストリームを含むコンテナ、ここではＭＰ４ストリームを、配信ストリームＳＴＭとして生成する（図１４参照）。この場合、コンテナエンコーダ１０５は、コンテナのレイヤに、レンダリングメタデータ（図９、図１１参照）を挿入する。送信部１０６は、コンテナエンコーダ１０５で得られたＭＰ４の配信ストリームＳＴＭを、放送波あるいはネットのパケットに載せて、サービス受信機２００Ａ，２００Ｂに送信する。
【０１０４】
「サービス受信機（ＶＲ対応端末）の構成例」
図１９は、ＶＲ対応端末であるサービス受信機２００Ａの構成例を示している。このサービス受信機２００Ａは、制御部２０１と、ユーザ操作部２０１ａと、受信部２０２と、コンテナデコーダ２０３と、ビデオデコーダ２０４と、レンダラ２０５と、切出し部２０６と、切り替えスイッチ２０７と、スケーリング部２０８と、表示部２０９を有している。
【０１０５】
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス受信機２００Ａの各部の動作を制御する。ユーザ操作部２０１ａは、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどであり、ユーザ操作情報は制御部２３１に供給される。また、制御部２３１には図示しないユーザの動作を感知するセンサからのセンサ情報も供給される。受信部２０２は、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭを受信する。
【０１０６】
コンテナデコーダ（マルチプレクサ）２０３は、制御部２０１の制御のもと、受信部２０２で受信されたＭＰ４の配信ストリームＳＴＭから、“ｍｏｏｆ”ブロックの情報などに基づいて、ビデオストリームを取り出し、ビデオデコーダ２０４に送る。また、コンテナデコーダ２０３は、配信ストリームＳＴＭから“ｍｏｏｖ”ブロックの情報などを取り出し、制御部２０１に送る。“ｍｏｏｖ”ブロックの情報の一つとしてレンダリングメタデータ（図９、図１１参照）が存在する。
【０１０７】
ビデオデコーダ２０４は、コンテナデコーダ２０３で取り出されたビデオストリームに復号化処理を施して、プロジェクション画像（画像データ）を得る。また、ビデオデコーダ２０４は、コンテナデコーダ２０３で取り出されたビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、ＳＰＳ  ＮＡＬパケットに挿入されている切り出し位置「conformance_window」の情報、さらにはレンダリングメタデータ（図９、図１１参照）を持つＳＥＩメッセージも含まれる。
【０１０８】
レンダラ２０５は、制御部２０１の制御のもと、レンダリングメタデータに基づいて、プロジェクション画像（画像データ）にレンダリング処理を施して、レンダリング画像（画像データ）を得る。
【０１０９】
この場合、レンダラ２０５は、プロジェクション画像の基準点ＲＰ(x,y)を中心とするデフォルトビューに対応したレンダリング画像を生成する他、ユーザ操作あるいはユーザの動作に応じて他のビューに対応したレンダリング画像も生成し得る。例えば、プロジェクション画像が複数のリージョンからなる場合、デフォルトリージョンに対応したデフォルトビューのレンダリング画像を生成する他、ユーザにより指定された他のリージョンに対応したビューのレンダリング画像も生成し得る。
【０１１０】
切出し部２０６は、制御部２０１の制御のもと、ビデオストリームのレイヤに挿入される切り出し位置情報で、プロジェクション画像に切出し処理を施して、切出し画像（画像データ）を得る。切り替えスイッチ２０７は、制御部２０１の制御のもと、センサ情報あるいはユーザの切り替え操作に応じて、レンダラ２０５で得られたレンダリング画像（画像データ）または切出し部２０６で得られた切出し画像（画像データ）を選択的に取り出して出力する。
【０１１１】
スケーリング部２０８は、切り替えスイッチ２０７で取り出された画像（画像データ）に対して、表示部２０９のサイズに合うようにスケーリング処理を行う。表示部２０９は、スケーリング処理されたレンダリング画像または切出し画像を表示する。
【０１１２】
図２０は、サービス受信機２００Ａにおける表示切り替えシーケンスを示している。この表示切り替えシーケンスは一例であって、これに限定されるものではない。
【０１１３】
図示の表示切り替えシーケンスにおいては、表示状態として、大きく分けて、切出し画像を表示する基本表示状態と、デフォルトビュー（あるいはデフォルトリージョン）に対応したレンダリング画像を表示するＶＲ表示（デフォルトビュー）状態と、ＶＲ表示（他のビュー）状態の３つが存在する。
【０１１４】
起動時やチャネル切り換え時には、基本表示状態となる。この場合、切出し部２０６で切出し画像（画像データ）が得られ、この切出し画像（画像データ）が切り替えスイッチ２０７で取り出され、スケーリング部２０８を通じて表示部２０９に供給されて、切出し画像が表示される。
【０１１５】
この基本表示状態において、ユーザ操作によりＶＲモードが選択されると、ＶＲ表示（デフォルトビュー）状態となる。この場合、最初は、レンダラ２０５でデフォルトビュー（あるいはデフォルトリージョン）に対応したレンダリング画像（画像データ）が得られ、このレンダリング画像（デフォルトビュー）が切り替えスイッチ２０７で取り出され、スケーリング部２０８を通じて表示部２０９に供給されて、デフォルトビュー（あるいはデフォルトリージョン）に対応したレンダリング画像が表示される。
【０１１６】
また、この基本表示状態において、ユーザ操作あるいはユーザの動作により他のビュー（あるいは他のリージョン）が選択されると、ＶＲ表示（他のビュー）状態となる。この場合、レンダラ２０５で選択された他のビュー（あるいはリージョン）に対応したレンダリング画像（画像データ）が得られ、このレンダリング画像（他のビュー）が切り替えスイッチ２０７で取り出され、スケーリング部２０８を通じて表示部２０９に供給されて、他のビュー（あるいはリージョン）に対応したレンダリング画像が表示される。
【０１１７】
また、このＶＲ表示（他のビュー）状態において、デフォルト回帰選択がされると、ＶＲ表示（デフォルトビュー）状態となる。また、このＶＲ表示（デフォルトビュー）状態において、ユーザ操作により復帰選択がされると、基本表示状態となる。なお、ＶＲ表示（他のビュー）状態からユーザの復帰操作により、直接基本表示に移行することも可能である。
【０１１８】
「サービス受信機（ＶＲ非対応端末）の構成例」
図２１は、ＶＲ非対応端末であるサービス受信機２００Ｂの構成例を示している。このサービス受信機２００Ｂは、制御部２３１と、ユーザ操作部２３１ａと、受信部２３２と、コンテナデコーダ２３３と、ビデオデコーダ２３４と、切出し部２３５と、スケーリング部２３６と、表示部２３７を有している。
【０１１９】
制御部２３１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス受信機２００Ｂの各部の動作を制御する。ユーザ操作部２３１ａは、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどであり、ユーザ操作情報は制御部２３１に供給される。また、制御部２３１には図示しないユーザの動作を感知するセンサからのセンサ情報も供給される。受信部２３２は、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭを受信する。
【０１２０】
コンテナデコーダ（マルチプレクサ）２３３は、制御部２３１の制御のもと、受信部２３２で受信されたＭＰ４の配信ストリームＳＴＭから、“ｍｏｏｆ”ブロックの情報などに基づいて、ビデオストリームを取り出し、ビデオデコーダ２３４に送る。また、コンテナデコーダ２３３は、配信ストリームＳＴＭから“ｍｏｏｖ”ブロックの情報などを取り出し、制御部２３１に送る。
【０１２１】
ビデオデコーダ２３４は、コンテナデコーダ２３３で取り出されたビデオストリームに復号化処理を施して、プロジェクション画像（画像データ）を得る。また、ビデオデコーダ２３４は、コンテナデコーダ２３３で取り出されたビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２３１に送る。この抽出情報には、ＳＰＳ  ＮＡＬパケットに挿入されている切り出し位置「conformance_window」の情報も含まれる。
【０１２２】
切出し部２３５は、制御部２３１の制御のもと、ビデオストリームのレイヤに挿入される切り出し位置情報で、プロジェクション画像に切出し処理を施して、切出し画像（画像データ）を得る。スケーリング部２３６は、切出し部２３５で得られた切出し画像（画像データ）に対して、表示部２３７で指定されるサイズに合うようにスケーリング処理を行う。表示部２３７は、スケーリング処理された切出し画像を表示する。
【０１２３】
上述したように、図３に示す送受信システム１０においては、ビデオストリームのレイヤに挿入される切り出し位置情報で示される切出し位置「conformance_window」の中心Ｏ(p,q)はプロジェクション画像の基準点ＲＰ(x,y)と一致するようにされている。そのため、ＶＲ対応端末であるサービス受信機２００Ａで表示されるデフォルトビューに対応したレンダリング画像とＶＲ非対応端末であるサービス受信機２００Ｂで表示される切出し画像は共通の画像となり、従ってＶＲ対応端末とＶＲ非対応端末との間で共通の画像を得ることが可能となる。
【０１２４】
＜２．変形例＞
「ＭＰＥＧ−２  ＴＳ、ＭＭＴへの適用」
なお、上述実施の形態においては、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）である例を示した。しかし、本技術は、コンテナがＭＰ４に限定されるものではなく、ＭＰＥＧ−２  ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。
【０１２５】
例えば、ＭＰＥＧ−２  ＴＳの場合には、図４に示すサービス送信システム１００のコンテナエンコーダ１０５では、ビデオストリームを含むトランスポートストリーム（Transport Stream）が生成される。
【０１２６】
この際、コンテナエンコーダ１０５では、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の各符号化ストリームに対応したビデオエレメンタリストリームループに、レンダリングメタデータ（図９、図１１参照）を含むレンダリング・メタデータ・デスクリプタ（Rendering_metadata_descriptor）が挿入される。
【０１２７】
図２２は、トランスポートストリームの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」が存在する。このＰＥＳパケット「video PES1」のペイロードには、各ピクチャのアクセスユニット（符号化画像データ）が含まれる。
【０１２８】
ＰＥＳパケット「video PES1」でコンテナされるアクセスユニット（符号化画像データ）において、「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９、図１１参照）を持つＳＥＩメッセージが挿入されている。
【０１２９】
また、ＰＭＴに、ＰＥＳパケット「video PES1」に対応したビデオエレメンタリストリームループ（video ES1 loop）が存在する。ビデオエレメンタリストリームループ（video ES1 loop）には、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、レンダリングメタデータ（図９、図１１参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。
【０１３０】
また、例えば、ＭＭＴの場合には、図４に示すサービス送信システム１００のコンテナエンコーダ１０５では、ビデオストリームを含むＭＭＴストリーム（MMT Stream）が生成される。
【０１３１】
この際、コンテナエンコーダ１０５では、ＭＭＴ・パッケージ・テーブル（ＭＰＴ：MMT Package Table）の拡張ビデオストリームに対応したビデオアセットループに、レンダリングメタデータ（図９、図１１参照）を含むレンダリング・メタデータ・デスクリプタ（Rendering_metadata_descriptor）が挿入される。
【０１３２】
図２３は、ＭＭＴストリームの構成例を示している。この構成例では、ＩＤ１で識別されるビデオストリームのＭＰＵパケット「video MPU1」が存在する。このＭＰＵパケット「video MPU1」のペイロードには、各ピクチャのアクセスユニット（符号化画像データ）が含まれる。
【０１３３】
ＭＰＵパケット「video MPU1」でコンテナされるアクセスユニット（符号化画像データ）において、「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図９、図１１参照）を持つＳＥＩメッセージが挿入されている。
【０１３４】
また、ＭＰＴに、ＭＰＵパケット「video MPU1」に対応したビデオアセットループ（video asset1 loop）が存在する。ビデオアセットループ（video asset1 loop）には、ビデオストリーム（video MPU1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、ビデオストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、レンダリングメタデータを含むレンダリング・メタデータ・デスクリプタが挿入されている。
【０１３５】
また、上述実施の形態においては、プロジェクション画像のフォーマットタイプがエクイレクタングラー(Equirectangular)であることを想定した説明となっている（図５、図７、図８参照）。上述したように、プロジェクション画像のフォーマットタイプはエクイレクタングラーに限定されるものではなく、その他のフォーマットであってもよい。
【０１３６】
「フォーマットタイプがクロスキュービックである場合」
図２４は、フォーマットタイプがクロスキュービック（Cross-cubic）であるプロジェクション画像を示している。このプロジェクション画像には、「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビューが存在する。
【０１３７】
図２５（ａ）は、「front」ビュー（図２４に破線矩形枠で示す）がデフォルトビュー（Default view）であるケース１における基準点ＲＰ(x,y)の指定および切出し位置「Conformance_window」の指定について示している。
【０１３８】
この場合、基準点ＲＰ(x,y)のｘ，ｙは、以下の数式のように指定される。
x = projection_pic_size_horizontal * 1/8
y = projection_pic_size_vertical * 1/2
【０１３９】
また、この場合、切出し位置「Conformance_window」は、その中心が基準点ＲＰ(x,y)と一致するように、以下の数式のように指定される。
conf_win_left_offset   = 0
conf_win_right_offset  = projection_pic_size_horizontal * 1/4
conf_win_top_offset    = projection_pic_size_vertical * 1/3
conf_win_bottom_offset = projection_pic_size_vertical * 2/3
【０１４０】
図２５（ｂ）は、「left」ビュー（図２４に一点鎖線矩形枠で示す）がデフォルトビュー（Default view）であるケース２における基準点ＲＰ´(x,y)の指定および切出し位置「Conformance_window」の指定について示している。
【０１４１】
この場合、基準点ＲＰ´(x,y)のｘ，ｙは、以下の数式のように指定される。
x = projection_pic_size_horizontal * 7/8
y = projection_pic_size_vertical * 1/2
【０１４２】
また、この場合、切出し位置「Conformance_window」は、その中心が基準点ＲＰ´(x,y)と一致するように、以下の数式のように指定される。
conf_win_left_offset   = = projection_pic_size_horizontal * 3/4
conf_win_right_offset  = projection_pic_size_horizontal 
conf_win_top_offset    = projection_pic_size_vertical * 1/3
conf_win_bottom_offset = projection_pic_size_vertical * 2/3
【０１４３】
上述のフォーマットタイプがクロスキュービック（Cross-cubic）であるプロジェクション画像の場合、「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビューをそれぞれリージョンとして扱うことも可能である。その場合、基準点ＲＰ(x,y)の情報を伝送する代わりに、いずれかのビューをデフォルトリージョンとし、その中心が基準点ＲＰ(x,y)であるとみなして、上述の要領で切出し位置「conformance_window」を指定する。
【０１４４】
「フォーマットタイプがパーティションド・クロスキュービックである場合」
また、上述実施の形態においては、プロジェクション画像（Projection picture）の全体の画像データを１つのＭＰ４ストリーム（１つのトラック）で伝送する例を示している（図１４参照）。しかし、例えば、プロジェクション画像のフォーマットタイプがクロスキュービック（Cross-cubic）である場合には、プロジェクション画像には実質的に画像データのない領域が存在し（図２４参照）、伝送帯域を無駄に使用するものとなる。
【０１４５】
そこで、クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）を複数のパーティション（Partition）に分割し、複数のＭＰ４ストリーム（複数のトラック）で伝送して、伝送効率を高めることが考えられる。
【０１４６】
図２６は、クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）を４つのパーティションに分割し、４つのＭＰ４ストリームで伝送する例を示している。
【０１４７】
この場合、「front」、「right」のビュー（リージョン）は“partition_id = 0”で識別されるパーティション０（Partition 0）に含まれ、「back」、「left」のビュー（リージョン）は“partition_id = 1”で識別されるパーティション１（Partition 1）に含まれ、「top」のビュー（リージョン）は“partition_id = 2”で識別されるパーティション２（Partition 2）に含まれ、「bottom」のビュー（リージョン）は“partition_id = 3”で識別されるパーティション３（Partition 3）に含まれる。
【０１４８】
なお、この例では、図２４に示す例と同様に、基準点ＲＰ(x,y)は「front」のビュー（リージョン）の中心に、基準点ＲＰ´(x,y)は「front」のビュー（リージョン）の中心に定義されるものとしている。
【０１４９】
図２７は、各ＭＰ４ストリームに挿入されるレンダリングメタデータ（レンダリング用メタ情報）の構造例（Syntax）を示している。この例は、基準点ＲＰ(x,y)の位置情報を伝送する例である。図２８は、レンダリングメタデータ（Rendering_metadata）の他の構造例（Syntax）を示している。この例は、基準点ＲＰ(x,y)の位置情報を伝送しない例である。図２９は、各構造例における主要な情報の内容（Semantics）を示している。
【０１５０】
図２７、図２８のレンダリングメタデータの構造例は、それぞれ、上述した１つのＭＰ４ストリームで伝送する場合における図９、図１１のレンダリングメタデータの構造例に対応しており、パーティションに関する情報がさらに挿入されている点で異なっている。
【０１５１】
「partition_id」の８ビットフィールドは、パーティション（Partition）の識別情報を示す。「partition_start_offset_horizontal」の１６ビットフィールドは、パーティションの開始水平位置をプロジェクション画像の起点（０，０）からの画素数で示す。「partition_start_offset_vertical」の１６ビットフィールドは、パーティションの開始垂直位置をプロジェクション画像の起点（０，０）からの画素数で示す。「partition_end_offset_horizontal」の１６ビットフィールドは、パーティションの終了水平位置をプロジェクション画像の起点（０，０）からの画素数で示す。「partition_end_offset_vertical」の１６ビットフィールドは、パーティションの終了垂直位置をプロジェクション画像の起点（０，０）からの画素数で示す。
【０１５２】
なお、図２７、図２８のレンダリングメタデータの構造例において、「format_type」の５ビットフィールドは、パーティションド・クロスキュービック（partitioned cross cubic）を示す値“２”とされる。
【０１５３】
図３０は、ＭＰＤファイルの記述例を示している。ここでは、説明の簡単化のためにビデオストリームに関する情報のみが記述されている例を示しているが、実際には他のメディアストリームに関する情報も記述されている。このＭＰＤファイルには、４つのＭＰ４ストリーム（トラック）にそれぞれ対応するアダプテーションセット（AdaptationSet）が存在する。なお、図示の例においては、図面の簡単化のために、アダプテーションセット（AdaptationSet）を２つだけ示している。
【０１５４】
各アダプテーションセットにおいて、「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.Lxxx,xx”」の記述により、ビデオストリームに対するアダプテーションセット（AdaptationSet）が存在し、そのビデオストリームはＭＰ４ファイル構造で供給され、ＨＥＶＣ符号化されたビデオストリーム（符号化画像データ）の存在が示されている。
【０１５５】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:formattype” value=“2”/>」の記述により、プロジェクション画像のフォーマットタイプがパーティションド・クロスキュービック（partitioned cross cubic）であることが示される。「<SupplementaryDescriptor schemeIdUri “urn:brdcst:video:partitionid” value/>」の記述により、パーティションの識別情報が示される。
【０１５６】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionstartpositionhorizontal” value/>」の記述により、パーティションの開始水平位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionstartpositionvertical” value/>」の記述により、パーティションの開始垂直位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionhorizontal” value/>」の記述により、パーティションの終了水平位置が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:partitionendpositionvertical” value/>」の記述により、パーティションの終了垂直位置が示される。
【０１５７】
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:renderingmetadata” value=“1”/>」の記述により、レンダリングメタデータ（Rendering_metadata）の存在が示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:backwardcompatible” value=“1”/>」の記述により、後方互換性の設定がなされていること、つまりビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されていることが示される。
【０１５８】
また、各アダプテーションセットにおいて、ビデオストリームに対応したリプレゼンテーション（Representation）が存在する。このリプレゼンテーションにおいて、「width=“" height=“" frameRate=“"」、「codecs="hev1.xx.xx.Lxxx,xx"」、「level= “0”」の記述により、解像度、フレームレート、コーデックの種類が示され、さらにタグ情報としてレベル“０”が付与されることが示される。また、「<BaseURL>videostreamVR.mp4</BaseURL>」の記述により、このビデオストリームのロケーション先が、「videostreamVR.mp4」として示される。
【０１５９】
図３１は、４つのパーティションに対応したＭＰ４ストリーム（トラック）を概略的に示している。それぞれのＭＰ４ストリームは、同様に、各ランダムアクセス期間が、イニシャライゼーション・セグメント（ＩＳ：initialization segment）から始まり、それに、“ｓｔｙｐ”、“ｓｉｄｘ（Segment index box）”、“ｓｓｉｘ（Sub-segment index box）”、“ｍｏｏｆ（Movie fragment box）”、“ｍｄａｔ（Media data box）”のボックスが続いた構成となっている。
【０１６０】
イニシャライゼーション・セグメント（ＩＳ）は、ＩＳＯＢＭＦＦ（ISO Base Media File Format）に基づくボックス（Box）構造を持つ。先頭に、ファイルタイプ（File type）を示す“ｆｔｙｐ”ボックスが配置され、それに続いて制御用の“ｍｏｏｖ”ボックスが配置されている。詳細説明は省略するが、この“ｍｏｏｖ”ボックス内に、“ｔｒａｋ”ボックス、“ｍｄｉａ”ボックス、“ｍｉｎｆ”ボックス、“ｓｔｂｌ”ボックス、“ｓｔｓｄ”ボックスおよび“ｓｃｈｉ”ボックスが階層的に配置され、この“ｓｃｈｉ”ボックスに、レンダリングメタデータ（Rendering_metadata）（図２７、図２８参照）が挿入される。
【０１６１】
“ｓｔｙｐ”ボックスにはセグメントタイプ情報が入る。 “ｓｉｄｘ”ボックスには、各トラック（track）のレンジ情報が入り、“ｍｏｏｆ”/“ｍｄａｔ”の位置が示され、“ｍｄａｔ”内の各サンプル（ピクチャ）の位置も示される。“ｓｓｉｘ”ボックスには、トラック（track）の区分け情報が入り、Ｉ/Ｐ/Ｂタイプの区分けがされる。
【０１６２】
“ｍｏｏｆ”ボックスには制御情報が入る。“ｍｄａｔ”ボックスにはビデオ、オーディオなどの信号（伝送メディア）の実体そのものが入る。“ｍｏｏｆ”ボックスと“ｍｄａｔ”ボックスによりムービーフラグメント（Movie fragment）が構成されている。１つのムービーフラグメントの“ｍｄａｔ”ボックスには、伝送メディアがフラグメント化（断片化）されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。
【０１６３】
各ムービーフラグメントの“ｍｄａｔ”ボックスには、プロジェクション画像の符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
【０１６４】
ＳＰＳ  ＮＡＬユニットには、切り出し位置情報としての「conformance_window」の情報が挿入される（図６参照）。また、「ＳＳＥＩ」のＮＡＬユニットとして、レンダリングメタデータ（Rendering_metadata）（図２７、図２８参照）を持つＳＥＩメッセージが挿入される。
【０１６５】
なお、上述では、クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）を４つのパーティションに分割し、４つのＭＰ４ストリームで伝送する例を示した（図２６参照）。しかし、パーティション数やそのパーティション数への分割の仕方は、この例に限定されるものではない。例えば、クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）をそれぞれパーティションとして、６つのＭＰ４ストリームで伝送することも考えられる。
【０１６６】
また、クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）を複数のパーティション（Partition）に分割し、複数のＭＰ４ストリーム（複数のトラック）で伝送して、伝送効率を高めることは、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）に限定されるものではなく、ＭＰＥＧ−２  ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。
【０１６７】
図３２は、ＭＰＥＧ−２  ＴＳに適用した場合におけるトランスポートストリームの構成例を示している。この構成例は、クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）をパーティションＩＤ（partition_id）が０〜３の４つのパーティションに分割し（図２６参照）、パーティション毎の４つのビデオストリームで伝送する例を示している。
【０１６８】
この構成例では、４つのビデオストリームのＰＥＳパケット「video PES」が存在する。なお、図示の例においては、パーティション１（Partition_id = 1）に対応したＰＥＳパケット「video PES1」の部分のみ詳細に示している。それぞれのＰＥＳパケット「video PES」のペイロードには、各ピクチャのアクセスユニット（符号化画像データ）が含まれる。
【０１６９】
ＰＥＳパケット「video PES」でコンテナされるアクセスユニット（符号化画像データ）において、「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図２７、図２８参照）を持つＳＥＩメッセージが挿入されている。
【０１７０】
また、ＰＭＴに、４つのビデオストリームのＰＥＳパケット「video PES1」に対応したビデオエレメンタリストリームループ（video ES1 loop）が存在する。それぞれのビデオエレメンタリストリームループ（video ES loop）には、ビデオストリーム（video PES）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。また、デスクリプタの一つとして、レンダリングメタデータ（図２７、図２８参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。
【０１７１】
図３３は、ＭＭＴに適用した場合におけるＭＭＴストリームの構成例を示している。この構成例は、クロスキュービックの「top」、「front」、「bottom」、「right」、「back」、「left」の６つのビュー（リージョン）をパーティションＩＤ（partition_id）が０〜３の４つのパーティションに分割し（図２６参照）、パーティション毎の４つのビデオストリームで伝送する例を示している。
【０１７２】
この構成例では、４つのビデオストリームのＭＰＵパケット「video MPU」が存在する。なお、図示の例においては、パーティション１（Partition_id = 1）に対応したＭＰＵパケット「video MPU1」の部分のみ詳細に示している。それぞれのＭＰＵパケット「video MPU」のペイロードには、各ピクチャのアクセスユニット（符号化画像データ）が含まれる。
【０１７３】
ＭＰＵパケット「video MPU1」でコンテナされるアクセスユニット（符号化画像データ）において、「ＳＰＳ」には切出し位置「Conformance_window」の情報が挿入されている。また、「ＳＳＥＩ」にはレンダリングメタデータ（図２７、図２８参照）を持つＳＥＩメッセージが挿入されている。
【０１７４】
また、ＭＰＴに、４つのビデオストリームのＭＰＵパケット「video MPU」に対応したビデオアセットループ（video asset1 loop）が存在する。それぞれのビデオアセットループ（video asset1 loop）には、ビデオストリーム（video MPU）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。また、デスクリプタの一つとして、レンダリングメタデータ（図２７、図２８参照）を含むレンダリング・メタデータ・デスクリプタが挿入されている。
【０１７５】
「ＨＤＭＩ伝送の場合」
また、上述実施の形態においては、サービス送信システム１００とサービス受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。テレビ受信機２００の部分が、例えばＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびディスプレイとされる場合も考えられる。なお、「ＨＤＭＩ」は登録商標である。
【０１７６】
図３４は、送受信システム１０Ａの構成例を示している。この送受信システム１０Ａは、サービス送信システム１００と、セットトップボックス（ＳＴＢ）２００-1と、ディスプレイ２００-2を有する構成となっている。セットトップボックス（ＳＴＢ）２００-1とディスプレイ２００-2はＨＤＭＩで接続されている。
【０１７７】
サービス送信システム１００は、図３に示す送受信システム１０における送信装置１００と同じであるので、その説明は省略する。セットトップボックス２００-1は、サービス送信システム１００から通信ネットワーク伝送路またはＲＦ伝送路を通じて送られてくるＭＰ４（ＩＳＯＢＭＦＦ）を受信する。
【０１７８】
また、セットトップボックス２００-1は、ＭＰ４からビデオストリームを取り出して復号化してプロジェクション画像の画像データを得る。セットトップボックス２００-1は、ディスプレイ２００-2がＶＲ対応ディスプレイであるときは、このプロジェクション画像の画像データと、コンテナおよび/またはビデオストリームのレイヤから抽出されたレンダリングメタデータ（レンダリング用メタ情報）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
【０１７９】
一方、セットトップボックス２００-1は、ディスプレイ２００-2がＶＲ非対応ディスプレイであるときは、プロジェクション画像に対してビデオストリームのレイヤに挿入されている切出し位置情報に基づいて切出し処理を行って切出し画像の画像データを得る。そして、セットトップボックス２００-1は、この切出し画像の画像データを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。
【０１８０】
ディスプレイ２００-2は、ＶＲ対応ディスプレイであるとき、ＨＤＭＩ伝送路を介して、セットトップボックス２００-1から、プロジェクション画像の画像データとレンダリングメタデータを受け取る。そして、ディスプレイ２００-2は、プロジェクション画像をレンダリング用メタ情報に基づいてレンダリングしてレンダリング画像を得て表示する。この場合、ユーザ操作に応じて、デフォルトビュー（デフォルトリージョン）やその他のビュー（リージョン）に対応したレンダリング画像を得て表示する。
【０１８１】
ディスプレイ２００-2は、ＶＲ非対応ディスプレイであるとき、ＨＤＭＩ伝送路を介して、セットトップボックス２００-1から、切出し画像の画像データを受け取り、切出し画像を表示する。
【０１８２】
セットトップボックス２００-1は、ＶＲ対応ディスプレイであるディスプレイ２００-2に対して、レンダリングメタデータ（レンダリング用メタ情報）をプロジェクション画像の画像データのブランキング期間に挿入して送信する。ここでは、新規定義するレンダリングメタデータ用のＨＤＭＩインフォフレーム（HDMI Info Frame）を使用する。
【０１８３】
図３５、図３６は、レンダリングメタデータ用のＨＤＭＩインフォフレームの構造例（Syntax）を示している。このＨＤＭＩインフォフレームの最初の３バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
【０１８４】
データバイト１（Data Byte 1）の第７ビットから第３ビットに「Projection format type」の５ビット情報が配置されている。この５ビット情報は、プロジェクション画像のフォーマットタイプを示す。また、データバイト１（Data Byte 1）の第０ビットに「BW compatible」の１ビット情報が配置されている。この１ビット情報は、後方互換性の設定がなされているかどうか、つまり切り出し位置情報で示される切り出し位置の中心Ｏ(p,q)がプロジェクション画像の基準点ＲＰ(x,y)と一致するように設定されているか否かを示す。
【０１８５】
データバイト２（Data Byte 2）に、「Number of regions」の８ビット情報が配置されている。この８ビット情報は、プロジェクショ画像の中のリージョン数を示す。
【０１８６】
データバイト３（Data Byte 3）およびデータバイト４（Data Byte 4）に、「Start offset sphere latitude」の１６ビット情報が配置されている。この１６ビット情報は、球面からの切り取り開始オフセットの緯度（垂直方向）を示す。
【０１８７】
データバイト５（Data Byte 5）およびデータバイト６（Data Byte 6）に、「Start offset sphere longitude」の１６ビット情報が配置されている。この１６ビット情報は、球面からの切り取り開始オフセットの経度（水平方向）を示す。
【０１８８】
データバイト７（Data Byte 7）およびデータバイト８（Data Byte 8）に、「End offset sphere latitude」の１６ビット情報が配置されている。この１６ビット情報は、球面からの切り取り終了オフセットの緯度（垂直方向）を示す。
【０１８９】
データバイト９（Data Byte 9）およびデータバイト１０（Data Byte 10）に、「End offset sphere longitude」の１６ビット情報が配置されている。この１６ビット情報は、球面からの切り取り終了オフセットの経度（水平方向）を示す。
【０１９０】
データバイト１１（Data Byte 11）およびデータバイト１２（Data Byte 12）に、「Projection pic size horizontal」の１６ビット情報が配置されている。この１６ビット情報は、プロジェクション画像のサイズでトップ・レフト（top-left）からの水平画素カウントを示す。
【０１９１】
データバイト１３（Data Byte 13）およびデータバイト１４（Data Byte 14）に、「Projection pic size vertical」の１６ビット情報が配置されている。この１６ビット情報は、プロジェクション画像のサイズでトップ・レフト（top-left）からの垂直画素カウントを示す。
【０１９２】
データバイト１５（Data Byte 15）およびデータバイト１６（Data Byte 16）に、「Scaling ratio horizontal」の１６ビット情報が配置されている。この１６ビット情報は、プロジェクション画像の元のサイズからの水平スケーリング比を示す。
【０１９３】
データバイト１７（Data Byte 17）およびデータバイト１８（Data Byte 18）に、「Scaling ratio vertical」の１６ビット情報が配置されている。この１６ビット情報は、プロジェクション画像の元のサイズからの垂直スケーリング比を示す。
【０１９４】
データバイト１９（Data Byte 19）およびデータバイト２０（Data Byte 20）に、「Reference point horizontal」の１６ビット情報が配置されている。この１６ビット情報は、プロジェクション画像の基準点ＲＰ(x,y)の水平画素位置“ｘ”を示す。
【０１９５】
データバイト２１（Data Byte 21）およびデータバイト２２（Data Byte 22）に、「Reference point vertical」の１６ビット情報が配置されている。この１６ビット情報は、プロジェクション画像の基準点ＲＰ(x,y)の垂直画素位置“ｙ”を示す。
【０１９６】
データバイト２３（Data Byte 23）以降は、上述の「Number of regions」の８ビット情報で示されるプロジェクショ画像の中のリージョン数が２以上である場合に存在する。データバイト２３（Data Byte 23）に、「Region_id[0]」の８ビット情報が配置されている。この８ビット情報は、最初のリージョンの識別番号を示す。
【０１９７】
データバイト２４（Data Byte 24）およびデータバイト２５（Data Byte 25）に、「Start offset horizontal region[0]」の１６ビット情報が配置されている。この１６ビット情報は、最初のリージョンの水平開始画素オフセットを示す。
【０１９８】
データバイト２６（Data Byte 26）およびデータバイト２７（Data Byte 27）に、「Start offset vertical region[0]」の１６ビット情報が配置されている。この１６ビット情報は、最初のリージョンの垂直開始画素オフセットを示す。
【０１９９】
データバイト２８（Data Byte 28）およびデータバイト２９（Data Byte 29）に、「Width region [0]」の１６ビット情報が配置されている。この１６ビット情報は、最初のリージョンの水平幅を画素数で示す。
【０２００】
データバイト３０（Data Byte 30）およびデータバイト３１（Data Byte 31）に、「Height region [0]」の１６ビット情報が配置されている。この１６ビット情報は、最初のリージョンの垂直幅を画素数で示す。
【０２０１】
データバイト３２（Data Byte 32）の第７ビットに、「Default region flag[0]」の１ビット情報が含まれている。この１ビット情報は、最初のリージョンがデフォルトリージョンであるか否かを示す。
【０２０２】
データバイト３３（Data Byte 33）以後は、「Number of regions」の値、つまりリージョン数に依存して、上述したデータバイト２３（Data Byte 23）〜データバイト３２（Data Byte 32）と同様の空間が繰り返し挿入される。
【０２０３】
なお、図３５、図３６に示すレンダリングメタデータ用のＨＤＭＩインフォフレームの構造例は、図９に対応したレンダリングメタデータが挿入されるものであるが、プロジェクション画像の基準点ＲＰ(x,y)の情報を持たない図１１に対応したレンダリングメタデータが挿入されるものも同様に考えることができる。
【０２０４】
図３４に示す送受信システム１０Ａにおいても、ＶＲ対応のディスプレイ２００-2で表示されるデフォルトビューに対応したレンダリング画像とＶＲ非対応のディスプレイ２００-2で表示される切出し画像は共通の画像となり、従ってＶＲ対応ディスプレイとＶＲ非対応ディスプレイとの間で共通の画像を得ることが可能となる。
【０２０５】
また、本技術は、以下のような構成を取ることもできる。
（１）球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像を得る処理部と、
上記プロジェクション画像の画像データを符号化してビデオストリームを得る符号化部と、
上記ビデオストリームを含むコンテナを送信する送信部と、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報を挿入する挿入部を備え、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致する
送信装置。
（２）上記プロジェクション画像は、上記基準点を中心位置とするデフォルトリージョンを含む複数のリージョンからなり、
上記切り出し位置情報で示される位置は、上記デフォルトリージョンの位置と一致する
前記（１）に記載の送信装置。
（３）上記レンダリング用メタ情報は、上記基準点の位置情報を持つ
前記（１）または（２）に記載の送信装置。
（４）上記レンダリング用メタ情報は、上記ビデオストリームのレイヤに挿入される切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致することを示す後方互換性情報を持つ
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記送信部は、上記ビデオストリームに関するメタ情報を持つメタファイルをさらに送信し、
上記メタファイルに、上記コンテナおよび/または上記ビデオストリームのレイヤに上記レンダリング用メタ情報の挿入があることを示す識別情報がさらに挿入される
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記コンテナは、ＩＳＯＢＭＦＦであり、
上記挿入部は、上記レンダリング用メタ情報を、ｍｏｏｖボックスに挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（７）上記コンテナは、ＭＰＥＧ２−ＴＳであり、
上記挿入部は、上記レンダリング用メタ情報を、プログラム・マップ・テーブルに挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（８）上記コンテナは、ＭＭＴストリームであり、
上記挿入部は、上記レンダリング用メタ情報を、ＭＭＴ・パッケージ・テーブルに挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（９）処理部が、球面キャプチャ画像の一部または全部を切り取って平面パッキングして長方形のプロジェクション画像を得る処理ステップと、
符号化部が、上記プロジェクション画像の画像データを符号化してビデオストリームを得る符号化ステップと、
送信部が、上記ビデオストリームを含むコンテナを送信する送信ステップと、
挿入部が、上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報を挿入する挿入ステップを有し、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致する
送信方法。
（１０）長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像を上記レンダリング用メタ情報に基づいてレンダリングして第１の表示画像を得る処理と、上記プロジェクション画像から上記切り出し位置情報に基づいて切り出して第２の表示画像を得る処理と、上記第１の表示画像または上記第２の表示画像を選択的に取り出す処理を制御する制御部をさらに備える
受信装置。
（１１）受信部が、長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
処理部が、上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像を上記レンダリング用メタ情報に基づいてレンダリングして第１の表示画像を得る処理と、上記プロジェクション画像から上記切り出し位置情報に基づいて切り出して第２の表示画像を得る処理と、上記第１の表示画像または上記第２の表示画像を選択的に取り出す処理を制御する制御ステップをさらに有する
受信方法。
（１２）長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部を備え、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像から上記切り出し位置情報に基づいて切り出して表示画像を得る処理を制御する制御部をさらに備える
受信装置。
（１３）受信部が、長方形のプロジェクション画像の画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信ステップを有し、
上記プロジェクション画像は、球面キャプチャ画像の一部または全部を切り取って平面パッキングして得られたものであり、
上記コンテナおよび/または上記ビデオストリームのレイヤに、上記プロジェクション画像のレンダリング用メタ情報が挿入されており、
上記ビデオストリームのレイヤに挿入されている切り出し位置情報で示される切り出し位置の中心は上記レンダリング用メタ情報で示されるプロジェクション画像の基準点と一致しており、
制御部が、上記ビデオストリームを復号化して上記プロジェクション画像を得る処理と、該プロジェクション画像から上記切り出し位置情報に基づいて切り出して表示画像を得る処理を制御する制御ステップをさらに有する
受信方法。
【０２０６】
本技術の主な特徴は、ビデオストリームのレイヤに挿入される切り出し位置情報で示される切出し位置の中心をプロジェクション画像の基準点と一致するように設定することで、ＶＲ対応端末で表示されるデフォルトビューに対応したレンダリング画像とＶＲ非対応端末で表示される切出し画像を共通の画像としたことである（図７、図８、図１７参照）。
【符号の説明】
【０２０７】
１０，１０Ａ・・・送受信システム
１００・・・サービス送信システム
１０１・・・制御部
１０２・・・カメラ
１０３・・・平面パッキング部
１０４・・・ビデオエンコーダ
１０５・・・コンテナエンコーダ
１０６・・・送信部
２００，２００Ａ，２００Ｂ・・・サービス受信機
２０１，２３１・・・制御部
２０２，２３２・・・受信部
２０３，２３３・・・コンテナデコーダ
２０４，２３４・・・ビデオデコーダ
２０５・・・レンダラ
２０６，２３５・・・切出し部
２０７・・・切り替えスイッチ
２０８，２３６・・・スケーリング部
２０９，２３７・・・表示部
【図１】
2019031469.tif 000003
【図２】
2019031469.tif 000004
【図３】
2019031469.tif 000005
【図４】
2019031469.tif 000006
【図５】
2019031469.tif 000007
【図６】
2019031469.tif 000008
【図７】
2019031469.tif 000009
【図８】
2019031469.tif 000010
【図９】
2019031469.tif 000011
【図１０】
2019031469.tif 000012
【図１１】
2019031469.tif 000013
【図１２】
2019031469.tif 000014
【図１３】
2019031469.tif 000015
【図１４】
2019031469.tif 000016
【図１５】
2019031469.tif 000017
【図１６】
2019031469.tif 000018
【図１７】
2019031469.tif 000019
【図１８】
2019031469.tif 000020
【図１９】
2019031469.tif 000021
【図２０】
2019031469.tif 000022
【図２１】
2019031469.tif 000023
【図２２】
2019031469.tif 000024
【図２３】
2019031469.tif 000025
【図２４】
2019031469.tif 000026
【図２５】
2019031469.tif 000027
【図２６】
2019031469.tif 000028
【図２７】
2019031469.tif 000029
【図２８】
2019031469.tif 000030
【図２９】
2019031469.tif 000031
【図３０】
2019031469.tif 000032
【図３１】
2019031469.tif 000033
【図３２】
2019031469.tif 000034
【図３３】
2019031469.tif 000035
【図３４】
2019031469.tif 000036
【図３５】
2019031469.tif 000037
【図３６】
2019031469.tif 000038
【国際調査報告】
2019031469.tif 000039
2019031469.tif 000040
2019031469.tif 000041
2019031469.tif 000042
2019031469.tif 000043
2019031469.tif 000044