(57)【要約】  デバイスは、本明細書に記載された技術のうちの１つ以上に従って、仮想現実アプリケーション（例えば、全方位ビデオ）に関する情報（例えば、メディアプレゼテーション記述（ＭＰＤ））をシグナリングするように構成することができる。
2020516132.tif 000002
【特許請求の範囲】
【請求項１】
全方位ビデオに関連付けられた情報をシグナリングする方法であって、
メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングすることを含む、方法。
【請求項２】
メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングすることは、プロジェクションタイプ及び幾何学タイプのうちの１つ以上をシグナリングすることを含む、請求項１に記載の方法。
【請求項３】
メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングすることは、魚眼ビデオプレゼンテーションに関連付けられた情報をシグナリングすることを含む、請求項１又は２に記載の方法。
【請求項４】
メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングすることは、ステレオフレームパッキング情報をシグナリングすることを含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
メディアプレゼンテーション記述ドキュメントは、マークアップ言語フラグメントを含む、請求項１から４のいずれか一項に記載の方法。
【請求項６】
全方位ビデオに関連付けられた情報を判定する方法であって、
メディアプレゼンテーション記述ドキュメントから、全方位ビデオに関連付けられた情報をパースすることを含む、方法。
【請求項７】
請求項１から５に記載のステップの一切の組み合わせを実行するように構成された１つ以上のプロセッサを備える、デバイス。
【請求項８】
請求項６に記載のステップの一切の組み合わせを実行するように構成された１つ以上のプロセッサを備える、デバイス。
【請求項９】
請求項７に記載のデバイスと、
請求項８に記載のデバイスと、
を備える、システム。
【請求項１０】
請求項１から６に記載のステップの一切の組み合わせを実行するための手段を備える、装置。
【請求項１１】
記憶されている命令を備える非一時的コンピュータ可読記憶媒体であって、前記命令は実行されると、デバイスの１つ以上のプロセッサに、請求項１から６に記載のステップの一切の組み合わせを実行させる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、対話型ビデオ配信の分野に関し、より具体的には、仮想現実アプリケーションに関連付けられた情報をシグナリングする技術に関する。
【背景技術】
【０００２】
デジタルメディア再生機能は、いわゆる「スマート」テレビを含むデジタルテレビ、セットトップボックス、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレイヤ、ビデオゲーミングデバイス、いわゆる「スマート」フォンを含む携帯電話、専用ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタルメディアコンテンツ（例えば、ビデオ及びオーディオ番組）は、例えば、無線テレビプロバイダ、衛星テレビプロバイダ、ケーブルテレビプロバイダ、いわゆるストリーミングサービスプロバイダを含むオンラインメディアサービスプロバイダなどの複数のソースから発信することができる。デジタルメディアコンテンツは、インターネットプロトコル（Internet Protocol、ＩＰ）ネットワークなどの双方向ネットワーク及びデジタル放送ネットワークなどの単方向ネットワークを含むパケット交換ネットワークを介して供給することができる。
【０００３】
デジタルメディアコンテンツに含まれているデジタルビデオは、動画像符号化規格に従って符号化することができる。動画像符号化規格は、動画像圧縮技術を組み込むことができる。動画像符号化規格の例としては、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ及びＩＴＵ−Ｔ  Ｈ．２６４（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても公知である）並びにＨｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。動画像圧縮技術は、ビデオデータを記憶し送信するためのデータ要件を低減することを可能にする。動画像圧縮技術は、ビデオシーケンスにおける固有の冗長性を利用することにより、データ要件を低減することができる。動画像圧縮技術は、ビデオシーケンスを連続的により小さな部分（すなわち、ビデオシーケンス内のフレームの群、フレームの群内のフレーム、フレーム内のスライス、スライス内の符号化ツリーユニット（例えば、マクロブロック）、符号化ツリーユニット内の符号化ブロックなど）に再分割することができる。予測符号化技術を使用して、符号化されるビデオデータのユニットとビデオデータの参照ユニットとの間に差分値を生成することができる。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化することができる。シンタックス要素は、残差データ及び参照符号化ユニットに関し得る。残差データ及びシンタックス要素は、準拠ビットストリームに含めることができる。準拠ビットストリーム及び関連付けられたメタデータは、データ構造に従ってフォーマットすることができる。準拠ビットストリーム及び関連付けられたメタデータは、伝送規格に従ってソースデバイスから受信機デバイス（例えば、デジタルテレビ又はスマートフォン）に送信することができる。伝送規格の例としては、デジタルビデオブロードキャスティング（Digital Video Broadcasting、ＤＶＢ）規格、統合デジタル放送サービス規格（Integrated Services Digital Broadcasting、ＩＳＤＢ）規格、及び例えばＡＴＳＣ２．０規格を含む、高度テレビジョン・システムズ委員会（Advanced Television Systems Committee、ＡＴＳＣ）によって作成された規格が挙げられる。ＡＴＳＣは、いわゆるＡＴＳＣ３．０の規格のスイートを現在作成中である。
【発明の概要】
【０００４】
本発明の一実施形態は、全方位ビデオに関連付けられた情報をシグナリングする方法を開示し、この方法は、メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングすることを含む。
【０００５】
本発明の一実施形態は、全方位ビデオに関連付けられた情報を判定する方法を開示し、この方法は、メディアプレゼンテーション記述ドキュメントから、全方位ビデオに関連付けられた情報をパースすることを含む。
【図面の簡単な説明】
【０００６】
【図１】本開示の１つ以上の技術による、符号化されたビデオデータを送信するように構成することができるシステムの一例を示すブロック図である。
【図２Ａ】本開示の１つ以上の技術による、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。
【図２Ｂ】本開示の１つ以上の技術による、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。
【図３】本開示の１つ以上の技術による、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。
【図４】本開示の１つ以上の技術に係る、符号化されたビデオデータを送信するように構成することができるシステムの実装形態に含まれ得る構成要素の一例を示す概念図である。
【図５】本開示の１つ以上の技術を実装することができるデータカプセル化部の一例を示すブロック図である。
【図６】本開示の１つ以上の技術を実装することができる受信機デバイスの一例を示すブロック図である。
【図７】本開示の１つ以上の技術による、メタデータのシグナリングの一例を示すコンピュータプログラムリストである。
【図８】本開示の１つ以上の技術による、メタデータのシグナリングの一例を示すコンピュータプログラムリストである。
【図９】本開示の１つ以上の技術による、メタデータのシグナリングの一例を示すコンピュータプログラムリストである。
【図１０】本開示の１つ以上の技術による、メタデータのシグナリングの一例を示すコンピュータプログラムリストである。
【図１１】本開示の１つ以上の技術による、メタデータのシグナリングの一例を示すコンピュータプログラムリストである。  発明を実施するための形態
【０００７】
一般に、本開示は、仮想現実アプリケーションに関連付けられた情報をシグナリングするための種々の技術を説明する。具体的には、本開示は、全方位ビデオに関連付けられた情報をシグナリングするための技術を説明する。いくつかの実施例では、本開示の技術は、伝送規格に関して説明されているが、本明細書において説明される技術は、一般に適用可能であってよいことに留意されたい。例えば、本明細書で説明する技術は、一般に、ＤＶＢ規格、ＩＳＤＢ規格、ＡＴＳＣ規格、Ｄｉｇｉｔａｌ  Ｔｅｒｒｅｓｔｒｉａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔ（ＤＴＭＢ）規格、Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔ（ＤＭＢ）規格、Ｈｙｂｒｉｄ  Ｂｒｏａｄｃａｓｔ  ａｎｄ  Ｂｒｏａｄｂａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ（ＨｂｂＴＶ）規格、ワールド・ワイド・ウェブ・コンソーシアム（World Wide Web Consortium、Ｗ３Ｃ）規格、及びユニバーサルプラグアンドプレイ（Universal Plug and Play、ＵＰｎＰ）規格のうちのいずれかに適用可能である。更に、本開示の技術は、ＩＴＵ−Ｔ  Ｈ．２６４及びＩＴＵ−Ｔ  Ｈ．２６５に関して説明されているが、本開示の技術は、全方位動画像符号化を含む動画像符号化に一般に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ＩＴＵ−Ｔ  Ｈ．２６５に含まれるもの以外のブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び／又はエントロピ符号化技術を含む動画像符号化システム（将来の動画像符号化規格に基づく動画像符号化システムを含む）に組み込むことができる。したがって、ＩＴＵ−Ｔ  Ｈ．２６４及びＩＴＵ−Ｔ  Ｈ．２６５の参照は、説明を目的としたものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照とは、及び／又はその用語が本明細書で使用されるのとは異なる用語の定義を提供する場合では、その用語は、それぞれの対応する定義を幅広く含むように、及び／又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
【０００８】
一実施例では、全方位ビデオに関連付けられた情報をシグナリングする方法は、メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングすることを含む。
【０００９】
一実施例では、デバイスは、メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングするように構成された１つ以上のプロセッサを備える。
【００１０】
一実施例では、非一時的コンピュータ可読記憶媒体は、命令を記憶しており、この命令は実行されると、デバイスの１つ以上のプロセッサに、メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングさせる。
【００１１】
一実施例では、装置は、メディアプレゼンテーション記述ドキュメントを使用して、全方位ビデオに関連付けられた情報をシグナリングするための手段を備える。
【００１２】
一実施例では、全方位ビデオに関連付けられた情報を判定する方法は、メディアプレゼンテーション記述ドキュメントから、全方位ビデオに関連付けられた情報をパースすることを含む。
【００１３】
一実施例では、デバイスは、メディアプレゼンテーション記述ドキュメントから、全方位ビデオに関連付けられた情報をパースするように構成された１つ以上のプロセッサを備える。
【００１４】
一実施例では、非一時的コンピュータ可読記憶媒体は、命令を記憶しており、この命令は実行されると、デバイスの１つ以上のプロセッサに、メディアプレゼンテーション記述ドキュメントから、全方位ビデオに関連付けられた情報をパースさせる。
【００１５】
一実施例では、装置は、メディアプレゼンテーション記述ドキュメントから、全方位ビデオに関連付けられた情報をパースするための手段を備える。
【００１６】
１つ以上の実施例の詳細は、添付の図面及び以下の明細書に記述されている。他の特徴、目的、及び利点は、明細書及び図面から、並びに特許請求の範囲から明白であろう。
【００１７】
ビデオコンテンツは、典型的には、一連のフレームからなるビデオシーケンスを含む。一連のフレームはまた、ピクチャ群（group of pictures、ＧＯＰ）と呼ばれることもある。各ビデオフレーム又はピクチャは１つ以上のスライスを含むことができ、スライスは複数のビデオブロックを含む。ビデオブロックは、予測的に符号化することができる画素値（サンプルとも呼ばれる）の最大アレイとして定義することができる。ビデオブロックは、走査パターン（例えば、ラスター走査）に従って順序付けすることができる。動画像符号化装置は、ビデオブロック及びその再分割に対して予測符号化を実行する。ＩＴＵ−Ｔ  Ｈ．２６４は、１６×１６のルマ（luma）サンプルを含むマクロブロックを規定する。ＩＴＵ−Ｔ  Ｈ．２６５は、類似の符号化ツリーユニット（Coding Tree Unit、ＣＴＵ）構造を規定するが、ピクチャは、等しいサイズのＣＴＵに分割することができ、各ＣＴＵは、１６×１６、３２×３２、又は６４×６４のルマサンプルを有する符号化ツリーブロック（Coding Tree Block、ＣＴＢ）を含むことができる。本明細書で使用されるとき、ビデオブロックという用語は、一般に、ピクチャの領域を指すことがあり、又はより具体的には、予測的に符号化できる画素値の最大アレイ、その再分割、及び／又は対応する構造を指すことがある。更に、ＩＴＵ−Ｔ  Ｈ．２６５によれば、各ビデオフレーム又はピクチャは、１つ以上のタイルを含むように区画化されてよく、タイルは、ピクチャの矩形領域に対応する符号化ツリーユニットのシーケンスである。
【００１８】
ＩＴＵ−Ｔ  Ｈ．２６５では、ＣＴＵのＣＴＢは、対応する四分木ブロック構造に従って符号化ブロック（ＣＢ）に区画化することができる。ＩＴＵ−Ｔ  Ｈ．２６５によれば、１つのルマＣＢは、２つの対応するクロマＣＢ及び関連付けられたシンタックス要素と共に、符号化ユニット（ＣＵ）と呼ばれる。ＣＵは、ＣＵに対する１つ以上の予測ユニット（prediction unit、ＰＵ）を定義する予測ユニット（ＰＵ）構造に関連付けられ、ＰＵは、対応する参照サンプルに関連付けられる。すなわち、ＩＴＵ−Ｔ  Ｈ．２６５では、イントラ予測又はインター予測を使用してピクチャ領域を符号化する決定がＣＵレベルで行われ、ＣＵに関し、イントラ予測又はインター予測に対応する１つ以上の予測を使用して、ＣＵのＣＢに対する参照サンプルを生成することができる。ＩＴＵ−Ｔ  Ｈ．２６５では、ＰＵは、ルマ及びクロマ予測ブロック（prediction block、ＰＢ）を含むことができ、正方形ＰＢはイントラ予測に対してサポートされ、矩形ＰＢはインター予測に対してサポートされる。イントラ予測データ（例えば、イントラ予測モードシンタックス要素）又はインター予測データ（例えば、動きデータシンタックス要素）は、ＰＵを対応する参照サンプルに関連付けることができる。残差データは、ビデオデータの各成分（例えば、ルマ（Ｙ）及びクロマ（Ｃｂ及びＣｒ））に対応する差分値のそれぞれのアレイを含むことができる。残差データは、画素領域内とすることができる。離散コサイン変換（discrete cosine transform）（ＤＣＴ）、離散サイン変換（discrete sine transform）（ＤＳＴ）、整数変換、ウェーブレット変換、又は概念的に類似の変換などの変換を、画素差分値に適用して、変換係数を生成することができる。ＩＴＵ−Ｔ  Ｈ．２６５では、ＣＵは、更に変換ユニット（Transform Unit、ＴＵ）に再分割できることに留意されたい。すなわち、画素差分値のアレイは、変換係数を生成するために再分割することができ（例えば、４つの８×８変換を、１６×１６のルマＣＢに対応する残差値の１６×１６のアレイに適用することができる）、そのような再分割は、変換ブロック（Transform Blocks、ＴＢ）と呼ばれることがある。変換係数は、量子化パラメータ（quantization parameter、ＱＰ）に従って量子化することができる。量子化された変換係数（これはレベル値と呼ばれることがある）は、エントロピ符号化技術（例えば、コンテンツ適応可変長符号化（content adaptive variable length coding、ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（context adaptive binary arithmetic coding、ＣＡＢＡＣ）、確率区間分割エントロピ符号化（probability interval partitioning entropy coding、ＰＩＰＥ）など）に従ってエントロピ符号化することができる。更に、予測モードを示すシンタックス要素などのシンタックス要素も、エントロピ符号化することができる。エントロピ符号化され量子化された変換係数及び対応するエントロピ符号化されたシンタックス要素は、ビデオデータを再生成するために使用することができる準拠ビットストリームを形成することができる。バイナリ化プロセスを、エントロピ符号化プロセスの一部としてシンタックス要素に対して実行することができる。バイナリ化は、シンタックス値を一連の１つ以上のビットに変換するプロセス���指す。これらのビットは、「ビン」と呼ばれることがある。
仮想現実（ＶＲ）アプリケーションは、ヘッドマウントディスプレイでレンダリングすることができるビデオコンテンツを含むことができ、ユーザの頭部の向きに対応する全天球映像の領域のみがレンダリングされる。ＶＲアプリケーションは、３６０度ビデオの３６０度全天球映像とも呼ばれる、全方位ビデオによって使用可能にすることができる。全方位ビデオは、典型的には、最大３６０度のシーンをカバーする複数のカメラによってキャプチャされる。通常のビデオと比較した全方位ビデオの明確な特徴は、典型的には、キャプチャされたビデオ領域全体のサブセットのみが表示される、すなわち、現在のユーザの視野（ＦＯＶ）に対応する領域が表示されることである。ＦＯＶは、ビューポートと呼ばれることもある。他の場合には、ビューポートは、現在表示され、ユーザに見える全天球映像の一部であってもよい。ビューポートのサイズは、視野以下であってよいことに留意されたい。更に、全方位ビデオは、単眼カメラ又は立体カメラを使用してキャプチャできることに留意されたい。単眼カメラは、物体の単一ビューをキャプチャするカメラを含むことができる。立体カメラは、同じ物体の複数のビューをキャプチャするカメラを含むことができる（例えば、わずかに異なる角度にある２つのレンズを使用してビューがキャプチャされる）。更に、場合によっては、全方位ビデオアプリケーションで使用するための画像は、超広角レンズ（すなわち、いわゆる魚眼レンズ）を使用してキャプチャできることに留意されたい。いずれの場合も、３６０度の全天球映像を作成するためのプロセスは、一般に、複数の入力画像を１つにスティッチングし、１つにスティッチングされた入力画像を３次元構造（例えば、球体又は立方体）に投影することとして表すことができ、これによっていわゆる投影されたフレームをもたらすことができる。更に、場合によっては、投影されたフレームの領域は、変換、リサイズ、及び再配置されてもよく、これによっていわゆるパッキングされたフレームをもたらすことができる。
【００１９】
全方位ビデオピクチャにおける最も関心の高い領域は、そのピクチャの提示時にユーザにレンダリングされる可能性が統計的に最も高い（すなわち、ＦＯＶにある可能性が最も高い）、ビデオ領域全体のサブセットを指してよい。全方位ビデオの最も関心の高い領域は、ディレクタ若しくはプロデューサの意図によって判定されてよい、又はサービスプロバイダ若しくはコンテンツプロバイダによるユーザ統計から（例えば、全方位ビデオコンテンツがストリーミングサービスを通じて提供されたときに、大部分のユーザによってどの領域が要求されたか／見られたかの統計を通じて）導き出されてよいことに留意されたい。最も関心の高い領域は、エッジサーバ若しくはクライアントによる全方位ビデオアダプティブストリーミングでのデータのプリフェッチのために、及び／又は全方位ビデオが、例えば、異なるコーデック又はプロジェクションマッピングに変換されるときのトランスコーディング最適化のために使用することができる。したがって、全方位ビデオピクチャにおける最も関心の高い領域のシグナリングは、送信帯域幅の低減及び復号複雑性の低減によって、システム性能を改善することができる。最も関心の高い領域は、代わりに、最大関心領域又は関心領域と呼ぶこともできる。
【００２０】
伝送システムは、全方位ビデオを１つ以上の演算デバイスに送信するように構成することができる。演算デバイス及び／又は伝送システムは、１つ以上の抽象化層を含むモデルに基づいてもよく、各抽象化層のデータは、特定の構造、例えば、パケット構造、変調方式などに従って表される。定義された抽象化層を含むモデルの一例は、いわゆる開放型システム間相互接続（Open Systems Interconnection、ＯＳＩ）モデルである。ＯＳＩモデルは、アプリケーション層、プレゼンテーション層、セッション層、トランスポート層、ネットワーク層、データリンク層、及び物理層を含む、７層スタックモデルを定義する。スタックモデル内の層の記述に関して上位（upper）及び下位（lower）という用語を使用することは、最上層であるアプリケーション層及び最下層である物理層に基づいてもよいという点に留意すべきである。更に、場合によっては、用語「層１」又は「Ｌ１」を使用して、物理層を指すことができ、用語「層２」又は「Ｌ２」を使用して、リンク層を指すことができ、用語「層３」又は「Ｌ３」又は「ＩＰ層」を使用して、ネットワーク層を指すことができる。
【００２１】
物理層は、一般に、電気信号がデジタルデータを形成する層を指すことができる。例えば、物理層は、変調された無線周波数（radio frequency、ＲＦ）シンボルがデジタルデータのフレームをどのように形成するかを定義する層を指すことができる。リンク層と呼ばれることもあるデータリンク層は、送信側での物理層処理前及び受信側での物理層受信後に使用される抽象概念を参照することができる。本明細書で使用するとき、リンク層は、送信側でネットワーク層から物理層にデータを伝送するために使用され、受信側で物理層からネットワーク層へデータを伝送するために使用される抽象概念を参照することができる。送信側及び受信側は論理的な役割であり、単一のデバイスは、一方のインスタンスにおける送信側と他方のインスタンスにおける受信側の両方として動作できることに留意されたい。リンク層は、特定のパケットタイプ（例えば、ムービングピクチャエクスパーツグループ−トランスポートストリーム（Motion Picture Expert Group-Transport Stream、ＭＰＥＧ−ＴＳ）パケット、インターネットプロトコルバージョン４（ＩＰｖ４）パケットなど）にカプセル化された様々な種類のデータ（例えば、ビデオファイル、音声ファイル、又はアプリケーションファイル）を物理層による処理のための単一汎用フォーマットに抽象化することができる。ネットワーク層は、一般に、論理アドレッシングが発生する層を指すことができる。すなわち、ネットワーク層は、一般に、アドレッシング情報（例えば、インターネットプロトコル（ＩＰ）アドレス）を提供することができ、これにより、データパケットをネットワーク内の特定のノード（例えば、演算デバイス）に配信することができる。本発明で使用する場合、ネットワーク層という用語は、リンク層の上の層及び／又はリンク層処理のために受信することができるような構造のデータを有する層を指すことができる。トランスポート層、セッション層、プレゼンテーション層、及びアプリケーション層の各々は、ユーザアプリケーションによって使用するためにデータをどのように配信するかを定義することができる。
【００２２】
参照により本明細書に組み込まれ、また本明細書においてはＣｈｏｉと記す、Ｃｈｏｉらの、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  Ｎ１６６３６、「ＭＰＥＧ−Ａ  Ｐａｒｔ  ２０（ＷＤ  ｏｎ  ＩＳＯ／ＩＥＣ  ２３０００−２０）：Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  Ｍｅｄｉａ  Ａｐｐｌｉｃａｔｉｏｎ  Ｆｏｒｍａｔ」、Ｊａｎｕａｒｙ  ２０１７、Ｇｅｎｅｖａ、ＣＨでは、全方位メディアアプリケーションを可能にするメディアアプリケーションフォーマットが定義されている。Ｃｈｏｉは、全天球映像又は３６０度ビデオを２次元の矩形ビデオに変換するために使用することができる投影技術のリスト、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）を使用して、全方位メディア及び関連付けられたメタデータをどのように記憶するか、ダイナミックアダプティブストリーミング・オーバー・ハイパーテキストトランスファープロトコル（ＨＴＴＰ）（ＤＡＳＨ）を使用して、全方位メディアをどのようにカプセル化、シグナリング、及びストリーミングするか、どの動画像符号化規格及び音響符号化規格、並びにメディア符号化構成を全方位メディア信号の圧縮及び再生のために使用することができるか、を明記している。
【００２３】
Ｃｈｏｉは、ビデオがＩＴＵ−Ｔ  Ｈ．２６５に従ってどこで符号化されるかを明記している。ＩＴＵ−Ｔ  Ｈ．２６５は、高効率動画像符号化（High Efficiency Video Coding、ＨＥＶＣ），Ｒｅｃに記載されている。ＩＴＵ−Ｔ  Ｈ．２６５  Ａｐｒｉｌ  ２０１５は、参照により本明細書に組み込まれ、本明細書ではＩＴＵ−Ｔ  Ｈ．２６５と呼ばれる。上述のように、ＩＴＵ−Ｔ  Ｈ．２６５に従って、各ビデオフレーム又はピクチャを、１つ以上のスライスを含むように分割することができ、１つ以上のタイルを含むように更に分割することができる。図２Ａ〜図３は、スライスを含み、ピクチャを更にタイルに分割するピクチャ群の例を示す概念図である。図２Ａに示す例では、Ｐｉｃ４は、２つのスライス（すなわち、Ｓｌｉｃｅ１及びＳｌｉｃｅ２）を含むものとして示されており、各スライスは（例えばラスタ走査順に）ＣＴＵのシーケンスを含む。図２Ｂに示す例では、Ｐｉｃ４は、６つのタイル（すなわち、Ｔｉｌｅ１〜Ｔｉｌｅ６）を含むものとして示されており、各タイルは矩形であり、ＣＴＵのシーケンスを含む。ＩＴＵ−Ｔ  Ｈ．２６５では、タイルは、２つ以上のスライスを含む符号化ツリーユニットからなっていてもよく、スライスは、２つ以上のタイルを含む符号化ツリーユニットからなっていてもよいことに留意されたい。しかしながら、ＩＴＵ−Ｔ  Ｈ．２６５は、以下の条件のうちの１つ又は両方が満たされなければならないと規定している：（１）あるスライス中の全ての符号化ツリーユニットは同じタイルに属する、及び（２）あるタイル内の全ての符号化ツリーユニットは同じスライスに属する。したがって、図２Ｂに関して、各タイルが個別のスライスに属することができ（例えば、Ｔｉｌｅ１〜Ｔｉｌｅ６は、それぞれ、スライス、Ｓｌｉｃｅ１〜Ｓｌｉｃｅ６に属することができ）、又は複数のタイルが１つのスライスに属することができる（例えば、Ｔｉｌｅ１〜Ｔｉｌｅ３がＳｌｉｃｅ１に属することができ、Ｔｉｌｅ４〜Ｔｉｌｅ６がＳｌｉｃｅ２に属することができる）。
【００２４】
更に、図２Ｂに示すように、タイルはタイルセットを形成することができる（すなわち、Ｔｉｌｅ２及びＴｉｌｅ５はタイルセットを形成する）。タイルセットは、依存性を符号化するための境界（例えば、イントラ予測依存性、エントロピ符号化依存性など）を定義するために使用することができ、そのため、符号化及び関心領域符号化における並列処理を可能にすることができる。例えば、図２Ｂに示す例のビデオシーケンスが夜のニュース番組に対応する場合、Ｔｉｌｅ２及びＴｉｌｅ５によって形成されたタイルセットは、ニュースを読んでいるニュースアンカーを含む視覚的な関心領域に対応することができる。図３に示すように、Ｔｉｌｅ１〜Ｔｉｌｅ６は、全方位ビデオの最も関心の高い領域を形成することができる。ビューポート依存動画像符号化は、ビューポート依存部分動画像符号化とも呼ばれることもあり、ビデオ領域全体のうちの一部のみを符号化することを可能にするために使用することができる。すなわち、例えば、ビューポート依存動画像符号化を使用して、現在のＦＯＶをレンダリングするのに十分な情報を提供することができる。例えば、ビューポートをカバーする各潜在的領域を時間にわたり他の領域から独立して符号化することができるように、全方位ビデオを符号化することができる。この場合、例えば、特定の現在のビューポートに関して、ビューポートをカバーするタイルの最小セットを、クライアントに送信し、復号し、及び／又はレンダリングすることができる。このプロセスは、シンプルタイルベース部分復号（ＳＴＰＤ）と呼ばれることがある。
【００２５】
上述したように、Ｃｈｏｉは、全天球映像又は３６０度ビデオを２次元の矩形ビデオに変換するために使用することができる投影技術のリストを明記している。Ｃｈｏｉは、投影されたフレームが、３６０度ビデオプロジェクションインジケータによる表現フォーマットを有するフレームであること、及び、投影が、入力画像のセットが投影されたフレームに投影されるプロセスであること、を明記している。更にＣｈｏｉは、キャプチャされた画像／ビデオコンテンツが投影される１つ以上の表面を含む３次元構造を投影構造が含み、そこから各投影されたフレームを形成できることを明記している。最後に、Ｃｈｏｉは、領域毎のパッキングが、投影されたフレームの領域毎の変換、リサイズ、及び再配置を含むこと、及び、パッキングされたフレームが、投影されたフレームの領域毎のパッキングから生じるフレームであることを規定している。したがって、Ｃｈｏｉでは、３６０度の全天球映像を作成するためのプロセスは、画像スティッチング、投影、及び領域毎のパッキングを含むものとして説明することができる。Ｃｈｏｉは、座標系、及び正距円筒の投影、矩形の領域毎のパッキングフォーマット、及び全方位魚眼ビデオフォーマットを含む、全方位プロジェクションフォーマットを明記しているが、簡潔にするために、Ｃｈｏｉのそれらのセクションの完全な説明は本明細書において提供されないことに留意されたい。しかしながら、Ｃｈｏｉの関連するセクションを参照する。
【００２６】
Ｃｈｏｉでは、領域毎のパッキングが適用されない場合、パッキングされたフレームは、投影されたフレームと同一であることに留意されたい。そうでない場合、投影されたフレームの領域は、パッキングされたフレームにおける各領域の位置、形状、及びサイズを示すことによって、パッキングされたフレームにマッピングされる。更に、Ｃｈｏｉでは、立体の３６０度ビデオの場合、一度だけのインスタンスの入力画像がスティッチングされ、片目毎に１つずつで２つのビューを表す投影されたフレームが生成される。両方のビューは、同じパッキングされたフレームにマッピングすることができ、従来の二次元動画像符号化装置によって符号化することができる。あるいは、Ｃｈｏｉは、投影されたフレームの各ビューが、自身の固有のパッキングされたフレームにマッピングすることができ、その場合、画像スティッチング、投影、及び領域毎のパッキングは、上記の単眼のケースと類似することを規定している。更に、Ｃｈｏｉでは、左側のビュー又は右側のビューのどちらかの、パッケージングされたフレームのシーケンスは、独立して符号化することができる、又はマルチビュー動画像符号化装置が使用される場合には、別のビューから予測することができる。最後に、Ｃｈｏｉでは、画像スティッチング、投影、及び領域毎のパッキングプロセスは、同じソース画像に対して複数回実行されて、例えば投影構造の異なる向きなどに対して、同じコンテンツの異なるバージョンを作成することができ、領域毎のパッキングプロセスは、同じ投影されたフレームから複数回実行されて、符号化されるパッケージングされたフレームの２つ以上のシーケンスを作成することができることに留意されたい。
【００２７】
上述したように、Ｃｈｏｉは、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）を使用して、全方位メディア及び関連付けられたメタデータをどのように記憶するかを明記している。Ｃｈｏｉは、以下のタイプのメタデータを一般にサポートするファイルフォーマットを明記している。（１）投影されたフレームのプロジェクションフォーマットを規定するメタデータ；（２）投影されたフレームによってカバーされた球面表面の面積を規定するメタデータ；（３）グローバル座標系における、投影されたフレームに対応する投影構造の向きを規定するメタデータ；（４）領域毎のパッキング情報を規定するメタデータ；及び（５）任意の領域毎の品質格付けを規定するメタデータ。
【００２８】
更に、Ｃｈｏｉは、ファイルフォーマットが以下のタイプのボックスをサポートすることを明記している：スキームタイプボックス（ＳｃｈｅｍｅＴｙｐｅＢｏｘ）、スキーム情報ボックス（ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ）、投影された全方位ビデオボックス（ＰｒｏｊｅｃｔｅｄＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘ）、ステレオビデオボックス（ＳｔｅｒｅｏＶｉｄｅｏＢｏｘ）、魚眼全方位ビデオボックス（ＦｉｓｈｅｙｅＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘ）、及び領域毎のパッキングボックス（ＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＢｏｘ）。Ｃｈｏｉは、追加のタイプのボックスを明記しているが、簡潔にするために、Ｃｈｏｉで明記された全てのタイプのボックスの完全な説明は本明細書に記載されていないことに留意されたい。ＳｃｈｅｍｅＴｙｐｅＢｏｘ、ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ、ＰｒｏｊｅｃｔｅｄＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘ、ＳｔｅｒｅｏＶｉｄｅｏＢｏｘ、及びＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＢｏｘに関して、Ｃｈｏｉは以下を規定している：
−制限されたビデオサンプルエントリタイプ「ｒｅｓｖ」に対する全方位ビデオスキームの使用は、復号されたピクチャが、単眼又は立体のコンテンツのいずれかを含む魚眼ビデオピクチャ又はパッキングされたフレームのいずれかであることを示す。全方位ビデオスキームの使用は、ＳｃｈｅｍｅＴｙｐｅＢｏｘ内の「ｏｄｖｄ」（全方位ビデオ）に等しいｓｃｈｅｍｅ＿ｔｙｐｅによって示される。
−投影された単眼フレームのフォーマットは、ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内に含まれるＰｒｏｊｅｃｔｅｄＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘで示される。魚眼ビデオのフォーマットは、ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内に含まれるＦｉｓｈｅｙｅＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘで示される。スキームタイプが「ｏｄｖｄ」である場合、ＰｒｏｊｅｃｔｅｄＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘ及びＦｉｓｈｅｙｅＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘのうちの一方だけがＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘに存在するものとする。
−ＰｒｏｊｅｃｔｅｄＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘがＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘに存在する場合、ＳｔｅｒｅｏＶｉｄｅｏＢｏｘ及びＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＢｏｘは同じＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘに存在することができる。−ＦｉｓｈｅｙｅＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘがＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘに存在する場合、ＳｔｅｒｅｏＶｉｄｅｏＢｏｘ及びＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＢｏｘは同じＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘに存在してはならない。
−立体ビデオの場合、投影されたサイド・バイ・サイド方式のフレームのフレームパッキング配置は、ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内に含まれるＳｔｅｒｅｏＶｉｄｅｏＢｏｘで示される。ＳｔｅｒｅｏＶｉｄｅｏＢｏｘが存在しないことは、トラックの全方位に投影されたコンテンツが単眼であることを示す。ＳｔｅｒｅｏＶｉｄｅｏＢｏｘが全方位ビデオスキームについてＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内に存在する場合、それは、トップ・ボトム方式のフレームパッキング又はサイド・ツー・サイド方式のフレームパッキングのいずれかを示すものとする。
−任意の領域毎のパッキングは、ＳｃｈｅｍｅＩｎｆｏｒｍａｔｉｏｎＢｏｘ内に含まれるＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＢｏｘで示される。ＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＢｏｘが存在しないことは、領域毎のパッキングが適用されていないことを示す。
【００２９】
投影された全方位ビデオボックスに関して、Ｃｈｏｉは、以下の定義、シンタックス、及びセマンティックを規定している：
定義
ボックスタイプ：「ｐｏｖｄ」
コンテナ：スキーム情報ボックス（「ｓｃｈｉ」）
必須：いいえ
数：０又は１（ｓｃｈｅｍｅ＿ｔｙｐｅが「ｏｄｖｄ」である場合、「ｐｏｖｄ」又は「ｆｏｖｄ」は存在していなければならない）
ＰｒｏｊｅｃｔｅｄＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘは、トラック内に含まれるサンプルが投影されたフレーム又はパッキングされたフレームであることを示すために使用される。
投影されたフレームのプロパティは、以下を用いて示される：
・単眼の投影されたフレームのプロジェクションフォーマット（Ｃは、トラック内に含まれる単眼ビデオを表し、ＣＬ及びＣＲは、立体ビデオの左側のビュー及び右側のビューを表す）；
・グローバル座標系を基準とした投影構造の向き；及び
・投影された全方位ビデオの球面被覆率（すなわち、投影されたフレームによって表される球面表面の面積）。
【表１】
2020516132.tif 000003
セマンティック
ｇｅｏｍｅｔｒｙ＿ｔｙｐｅは、空間内の点が１つ以上の次元内の場所によって一意に同定することができる算術規則を示す。ｇｅｏｍｅｔｒｙ＿ｔｙｐｅが１である場合、プロジェクションインジケータは、球面座標で与えられ、指定された座標系に従って、φは、方位角（経度）又はヨー角であり、θは、高度（緯度）又はピッチ角である。ｇｅｏｍｅｔｒｙ＿ｔｙｐｅの他の値は確保されている。
ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅは、矩形の復号装置ピクチャ出力サンプルの、ｇｅｏｍｅｔｒｙ＿ｔｙｐｅによって指定された座標系への特定のマッピングを示す。ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅが１である場合、ｇｅｏｍｅｔｒｙ＿ｔｙｐｅは１とする。１であるｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅは、指定された正距円筒の投影を示す。ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅの他の値は確保されている。
【００３０】
魚眼全方位ビデオボックスに関して、Ｃｈｏｉは、以下の定義及びシンタックスを規定している：
定義
ボックスタイプ：「ｆｏｖｄ」
コンテナ：スキーム情報ボックス（「ｓｃｈｉ」）
必須：いいえ
数：０又は１（ｓｃｈｅｍｅ＿ｔｙｐｅが「ｏｄｖｄ」である場合、「ｐｏｖｄ」又は「ｆｏｖｄ」は存在していなければならない）
ＦｉｓｈｅｙｅＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘは、トラック内に含まれるサンプルが、魚眼カメラによってキャプチャされた複数の円形画像を含むことを示すために使用される。
【表２】
2020516132.tif 000004
【００３１】
領域毎のパッキングボックスに関して、Ｃｈｏｉは、以下の定義、シンタックス、及びセマンティックを規定している：
定義
ボックスタイプ：「ｒｗｐｋ」
コンテナ：スキーム情報ボックス（「ｓｃｈｉ」）
必須：いいえ
数：０又は１
ＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＢｏｘは、投影されたフレームが領域毎にパッキングされ、レンダリング前のアンパッキングを必要とすることを示す。
【表３】
2020516132.tif 000005
セマンティック
ｎｕｍ＿ｒｅｇｉｏｎｓは、パッキングされた領域の数を指定する。値０は確保されている。
ｐｒｏｊ＿ｆｒａｍｅ＿ｗｉｄｔｈ及びｐｒｏｊ＿ｆｒａｍｅ＿ｈｅｉｇｈｔは、投影されたフレームの幅及び高さをそれぞれ指定する。
ｐａｃｋｉｎｇ＿ｔｙｐｅは、領域毎のパッキングのタイプを指定する。ｐａｃｋｉｎｇ＿ｔｙｐｅが０であることは、矩形の領域毎のパッキングを示す。他の値が確保されている。
【００３２】
ＳｔｅｒｅｏＶｉｄｅｏＢｏｘに関して、参照により組み込まれるＩＳＯ／ＩＥＣ  １４４９６−１２：２０１５「Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ−Ｐａｒｔ  １２：ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔは、以下の定義、シンタックス、及びセマンティックを明記していることに留意されたい：
定義
ボックスタイプ：「ｓｔｖｉ」
コンテナ：スキーム情報ボックス（「ｓｃｈｉ」）
必須：はい（ＳｃｈｅｍｅＴｙｐｅが「ｓｔｖｉ」である場合）
数：１
ステレオビデオボックスは、復号されたフレームがステレオペアを形成する２つの空間的にパッキングされた構成要素フレームの表現を含むか、又はステレオペアの２つのビューのうちの１つを含むことを示すために使用される。ステレオビデオボックスは、ＳｃｈｅｍｅＴｙｐｅが「ｓｔｖｉ」である場合に存在するものとする。
【表４】
2020516132.tif 000006
セマンティック
ｓｉｎｇｌｅ＿ｖｉｅｗ＿ａｌｌｏｗｅｄは整数である。値０は、コンテンツが立体ディスプレイにおいてのみ表示できることを示す。（ｓｉｎｇｌｅ＿ｖｉｅｗ＿ａｌｌｏｗｅｄ＆  １）が１である場合、右側のビューは単眼の単一ビューディスプレイにおいて表示することができる。（ｓｉｎｇｌｅ＿ｖｉｅｗ＿ａｌｌｏｗｅｄ  ＆  ２）が２である場合、左側のビューは単眼の単一ビューディスプレイにおいて表示することができる。
ｓｔｅｒｅｏ＿ｓｃｈｅｍｅは、使用される立体配置スキーム及び使用されるスキームに従うステレオ指示タイプを示す整数である。ｓｔｅｒｅｏ＿ｓｃｈｅｍｅについての以下の値が指定される：
−１：フレームパッキング配置によって指定されたようなフレームパッキングスキーム［ＩＴＵ−Ｔ  Ｈ．２６５］の補足強化情報（Supplemental Enhancement Information、ＳＥＩ）メッセージ
長さ（length）は、ｓｔｅｒｅｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｔｙｐｅフィールドのバイト数を示す。
ｓｔｅｒｅｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｔｙｐｅは、使用されるステレオ指示スキームに従うステレオ配置タイプを示す。ｓｔｅｒｅｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｔｙｐｅのシンタックス及びセマンティックは、ｓｔｅｒｅｏ＿ｓｃｈｅｍｅの値に依存する。ｓｔｅｒｅｏ＿ｓｃｈｅｍｅの以下の値についてのｓｔｅｒｅｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｔｙｐｅのシンタックス及びセマンティックは、以下のように指定されている：
−ｓｔｅｒｅｏ＿ｓｃｈｅｍｅ＝１：長さの値は、４とし、ｓｔｅｒｅｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｔｙｐｅは、［ＩＴＵ−Ｔ  Ｈ．２６５］の表Ｄ−８（「ｆｒａｍｅ＿ｐａｃｋａｇｉｎｇ＿ａｒｒａｎｇｅｍｅｎｔ＿ｔｙｐｅ」の定義）に記載のｆｒａｍｅ＿ｐａｃｋｉｎｇ＿ａｒｒａｎｇｅｍｅｎｔ＿ｔｙｐｅ値を含むｕｎｓｉｇｎｅｄ  ｉｎｔ（３２）とする。
【表５】
2020516132.tif 000007
【００３３】
上述のように、Ｃｈｏｉは、ダイナミックアダプティブストリーミング・オーバー・ハイパーテキストトランスファープロトコル（ＨＴＴＰ）（ＤＡＳＨ）を使用して、全方位メディアをどのようにカプセル化、シグナリング、及びストリーミングするかを明記している。ＤＡＳＨは、ＩＳＯ／ＩＥＣ：ＩＳＯ／ＩＥＣ  ２３００９−１：２０１４、「Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ−Ｄｙｎａｍｉｃ  ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ（ＤＡＳＨ）−Ｐａｒｔ  １：Ｍｅｄｉａ  ｐｒｅｓｅｎｔａｔｉｏｎ  ｄｅｓｃｒｉｐｔｉｏｎ  ａｎｄ  ｓｅｇｍｅｎｔ  ｆｏｒｍａｔｓ」、国際標準化機構、第２版、２０１４年５月１５日（以下、「ＩＳＯ／ＩＥＣ  ２３００９−１：２０１４」）に記載されており、これは参照により本明細書に組み込まれる。ＤＡＳＨメディアプレゼンテーションは、データセグメント、ビデオセグメント、及び音声セグメントを含むことができる。いくつかの実施例では、ＤＡＳＨメディアプレゼンテーションは、サービスプロバイダによって定義された所与の期間の線形サービス又は線形サービスの一部（例えば、単一のＴＶ番組、又はある期間にわたる連続した線形ＴＶ番組のセット）に対応することができる。ＤＡＳＨによれば、メディアプレゼンテーション記述（ＭＰＤ）は、適切なＨＴＴＰ−ＵＲＬを構成し、セグメントにアクセスしてストリーミングサービスをユーザに提供するために、ＤＡＳＨクライアントによって要求されるメタデータを含むドキュメントである。ＭＰＤドキュメントフラグメントは、拡張可能マークアップ言語（eXtensible Markup Language、ＸＭＬ）符号化メタデータフラグメントのセットを含むことができる。ＭＰＤのコンテンツは、セグメントのためのリソース識別子及びメディアプレゼンテーション内の識別されたリソースのためのコンテキストを提供する。ＭＰＤフラグメントのデータ構造及びセマンティックは、ＩＳＯ／ＩＥＣ２３００９−１：２０１４に関して記載されている。更に、ＩＳＯ／ＩＥＣ２３００９−１のドラフト版が現在提案されているということに留意されたい。したがって、本明細書において使用されているように、ＭＰＤは、ＩＳＯ／ＩＥＣ２３００９−１：２０１４に記載のようなＭＰＤ、現在提案されているＭＰＤ、及び／又はこれらの組み合わせを含むことができる。ＩＳＯ／ＩＥＣ２３００９−１：２０１４において、ＭＰＤに記載されているようなメディアプレゼンテーションは、１つ以上のピリオド（Period）のシーケンスを含むことができ、各ピリオドは、１つ以上のアダプテーションセット（Adaptation Set）を含むことができる。アダプテーションセットが複数のメディアコンテンツコンポーネントを含む場合、各メディアコンテンツコンポーネントを個別に記述できることに留意されたい。各アダプテーションセットは、１つ以上のリプレゼンテーション（Representation）を含むことができる。ＩＳＯ／ＩＥＣ２３００９−１：２０１４において、各リプレゼンテーションは、次のように明記されている：（１）単一セグメントの場合、サブセグメントがリプレゼンテーションにわたりアダプテーションセットに整列される、及び（２）セグメントのシーケンスの場合、各セグメントは���テンプレートで生成されたユニバーサルリソースロケータ（Universal Resource Locator、ＵＲＬ）によってアドレス指定可能である。各メディアコンテンツコンポーネントのプロパティは、ＡｄａｐｔａｔｉｏｎＳｅｔ要素、及び／又は例えば、ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔ要素を含むＡｄａｐｔｉｏｎＳｅｔ内の要素によって記述することができる。ＤＡＳＨは、現在、ＭＰＤが、（１）投影されたフレームのプロジェクションフォーマットを規定するメタデータ；（２）投影されたフレームによってカバーされた球面表面の面積を規定するメタデータ；（３）グローバル座標系における、投影されたフレームに対応する投影構造の向きを規定するメタデータ；（４）領域毎のパッキング情報を規定するメタデータ；及び（５）任意の領域毎の品質格付けを規定するメタデータ、を含んでいる場合をサポートしていない。
【００３４】
図１は、本開示の１つ以上の技術による、ビデオデータを符号化する（符号化及び／又は復号する）ように構成することができる、システムの例を示すブロック図である。システム１００は、本開示の１つ以上の技術による、ビデオデータをカプセル化することができるシステムの例を表す。図１に示すように、システム１００は、ソースデバイス１０２、通信媒体１１０、及び宛先デバイス１２０を含む。図１に示す例では、ソースデバイス１０２は、ビデオデータを符号化し、符号化したビデオデータを通信媒体１１０に送信するように構成された、任意のデバイスを含むことができる。宛先デバイス１２０は、符号化したビデオデータを通信媒体１１０を介して受信し、符号化したビデオデータを復号するように構成された、任意のデバイスを含むことができる。ソースデバイス１０２及び／又は宛先デバイス１２０としては、有線通信及び／又は無線通信用に装備された演算デバイスを含むことができ、かつ、例えば、セットトップボックス、デジタルビデオレコーダ、テレビ、デスクトップ、ラップトップ、又はタブレットコンピュータ、ゲーム機、医療用撮像デバイス、及び、例えば、スマートフォン、セルラ−電話、パーソナルゲームデバイスを含むモバイルデバイス、を挙げることができる。
【００３５】
通信媒体１１０は、無線及び有線の通信媒体並びに／又は記憶デバイスの任意の組み合わせを含むことができる。通信媒体１１０としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス間及びサイト間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。通信媒体１１０は、１つ以上のネットワークを含むことができる。例えば、通信媒体１１０としては、ワールド・ワイド・ウェブ、例えば、インターネットへのアクセスを可能にするように構成されたネットワークを挙げることができる。ネットワークは、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び／又は標準化された電気通信プロトコルを含むことができる。標準化された電気通信プロトコルの例としては、Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｂｒｏａｄｃａｓｔｉｎｇ（ＤＶＢ）規格、Ａｄｖａｎｃｅｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ（ＡＴＳＣ）規格、Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｂｒｏａｄｃａｓｔｉｎｇ（ＩＳＤＢ）規格、Ｄａｔａ  Ｏｖｅｒ  Ｃａｂｌｅ  Ｓｅｒｖｉｃｅ  Ｉｎｔｅｒｆａｃｅ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＤＯＣＳＩＳ）規格、Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）規格、符号分割多重アクセス（code division multiple access）（ＣＤＭＡ）規格、第三世代パートナーシッププロジェクト（3rd Generation Partnership Project）（３ＧＰＰ）規格、欧州電気通信標準化機構（European Telecommunications Standards Institute）（ＥＴＳＩ）規格、インターネットプロトコル（Internet Protocol）（ＩＰ）規格、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol）（ＷＡＰ）規格、及びＩｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）規格が挙げられる。
【００３６】
記憶デバイスは、データを記憶することができる任意の種類のデバイス又は記憶媒体を含むことができる。記憶媒体は、有形の又は非一時的なコンピュータ可読媒体を含むことができる。コンピュータ可読媒体としては、光学ディスク、フラッシュメモリ、磁気メモリ、又は任意の他の好適なデジタル記憶媒体を挙げることができる。いくつかの実施例では、メモリデバイス又はその一部分は不揮発性メモリとして記載することができ、他の例では、メモリデバイスの一部分は揮発性メモリとして記載することができる。揮発性メモリの例としては、ランダムアクセスメモリ（random access memories、ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memories、ＤＲＡＭ）、及びスタティックランダムアクセスメモリ（static random access memories、ＳＲＡＭ）を挙げることができる。不揮発性メモリの例としては、磁気ハードディスク、光学ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラム可能メモリ（electrically programmable memories、ＥＰＲＯＭ）若しくは電気的消去可能及びプログラム可能メモリ（electrically erasable and programmable、ＥＥＰＲＯＭ）の形態を挙げることができる。記憶デバイス（単数又は複数）としては、メモリカード（例えば、セキュアデジタル（Secure Digital、ＳＤ）メモリカード）、内蔵／外付けハードディスクドライブ、及び／又は内蔵／外付けソリッドステートドライブを挙げることができる。データは、定義されたファイルフォーマットに従って記憶デバイスに記憶することができる。
【００３７】
図４は、システム１００の一実装形態に含まれ得る構成要素の一例を示す概念図である。図４に示す例示的な実装形態では、システム１００は、１つ以上の演算デバイス４０２Ａ〜４０２Ｎ、テレビサービスネットワーク４０４、テレビサービスプロバイダサイト４０６、ワイドエリアネットワーク４０８、ローカルエリアネットワーク４１０、及び１つ以上のコンテンツプロバイダサイト４１２Ａ〜４１２Ｎを含む。図４に示す実装形態は、例えば、映画、ライブスポーツイベントなどのデジタルメディアコンテンツ、並びにデータ及びアプリケーション及びそれらに関連付けられたメディアプレゼンテーションが、演算デバイス４０２Ａ〜４０２Ｎなどの複数の演算デバイスに配信され、かつ、それらによってアクセスされることが可能となるように構成することができるシステムの一例を表す。図４に示す例では、演算デバイス４０２Ａ〜４０２Ｎは、テレビサービスネットワーク４０４、ワイドエリアネットワーク４０８、及び／又はローカルエリアネットワーク４１０のうちの１つ以上からデータを受信するように構成されている任意のデバイスを含むことができる。例えば、演算デバイス４０２Ａ〜４０２Ｎは、有線及び／又は無線通信用に装備することができ、１つ以上のデータチャネルを通じてサービスを受信するように構成することができ、いわゆるスマートテレビ、セットトップボックス、及びデジタルビデオレコーダを含むテレビを含むことができる。更に、演算デバイス４０２Ａ〜４０２Ｎは、デスクトップ、ラップトップ、又はタブレットコンピュータ、ゲーム機、例えば「スマート」フォン、セルラ−電話、及びパーソナルゲーミングデバイスを含むモバイルデバイスを含むことができる。
【００３８】
テレビサービスネットワーク４０４は、テレビサービスを含むことができる、デジタルメディアコンテンツの配信を可能にするように構成されているネットワークの一例である。例えば、テレビサービスネットワーク４０４は、公共地上波テレビネットワーク、公共又は加入ベースの衛星テレビサービスプロバイダネットワーク、並びに公共又は加入ベースのケーブルテレビプロバイダネットワーク及び／又は頭越し型（over the top）サービスプロバイダ若しくはインターネットサービスプロバイダを含んでもよい。いくつかの実施例では、テレビサービスネットワーク４０４は、テレビサービスの提供を可能にするために主に使用することができるが、テレビサービスネットワーク４０４はまた、本明細書に記載された電気通信プロトコルの任意の組み合わせに基づく他の種類のデータ及びサービスの提供も可能とすることに留意されたい。更に、いくつかの実施例では、テレビサービスネットワーク４０４は、テレビサービスプロバイダサイト４０６と、演算デバイス４０２Ａ〜４０２Ｎのうちの１つ以上との間の双方向通信を可能にすることができることに留意されたい。テレビサービスネットワーク４０４は、無線通信メディア及び／又は有線通信メディアの任意の組み合わせを含むことができる。テレビジョンサービスネットワーク４０４としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス間及びサイト間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。テレビジョンサービスネットワーク４０４は、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び／又は標準化された電気通信プロトコルを含むことができる。標準化された電気通信プロトコルの例としては、ＤＶＢ規格、ＡＴＳＣ規格、ＩＳＤＢ規格、ＤＴＭＢ規格、ＤＭＢ規格、ケーブルによるデータサービスインターフェース標準（Data Over Cable Service Interface Specification、ＤＯＣＳＩＳ）規格、ＨｂｂＴＶ規格、Ｗ３Ｃ規格、及びＵＰｎＰ規格が挙げられる。
【００３９】
図４を再び参照すると、テレビサービスプロバイダサイト４０６は、テレビサービスネットワーク４０４を介してテレビサービスを配信するように構成することができる。例えば、テレビサービスプロバイダサイト４０６は、１つ以上の放送局、ケーブルテレビプロバイダ、又は衛星テレビプロバイダ、又はインターネットベースのテレビプロバイダを含むことができる。例えば、テレビサービスプロバイダサイト４０６は、衛星アップリンク／ダウンリンクを介したテレビ番組を含む送信を、受信するように構成することができる。更に、図４に示すように、テレビサービスプロバイダサイト４０６は、ワイドエリアネットワーク４０８と通信することができ、コンテンツプロバイダサイト４１２Ａ〜４１２Ｎからデータを受信するように構成することができる。いくつかの実施例では、テレビサービスプロバイダサイト４０６は、テレビスタジオを含むことができ、コンテンツはそこから発信できることに留意されたい。
【００４０】
ワイドエリアネットワーク４０８は、パケットベースのネットワークを含み、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び／又は標準化された電気通信プロトコルを含むことができる。標準化された電気通信プロトコルの例としては、Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）規格、符号分割多元接続（code division multiple access、ＣＤＭＡ）規格、第三世代パートナーシッププロジェクト（3rd Generation Partnership Project、３ＧＰＰ）規格、欧州電気通信標準化機構（European Telecommunications Standards Institute、ＥＴＳＩ）規格、欧州規格（ＥＮ）、ＩＰ規格、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol、ＷＡＰ）規格、及び例えば、ＩＥＥＥ８０２規格のうちの１つ以上（例えば、Ｗｉ−Ｆｉ）などのＩｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）規格が挙げられる。ワイドエリアネットワーク４０８は、無線通信メディア及び／又は有線通信メディアの任意の組み合わせを含むことができる。ワイドエリアネットワーク４８０としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、イーサネットケーブル、無線送信部及び受信部、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス及びサイト間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。一実施例では、ワイドエリアネットワーク４０８はインターネットを含むことができる。ローカルエリアネットワーク４１０は、パケットベースのネットワークを含み、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。ローカルエリアネットワーク４１０は、アクセス及び／又は物理インフラストラクチャのレベルに基づいてワイドエリアネットワーク４０８と区別することができる。例えば、ローカルエリアネットワーク４１０は、セキュアホームネットワークを含むことができる。
【００４１】
図４を再び参照すると、コンテンツプロバイダサイト４１２Ａ〜４１２Ｎは、マルチメディアコンテンツをテレビサービスプロバイダサイト４０６及び／又は演算デバイス４０２Ａ〜４０２Ｎに提供することができるサイトの例を表す。例えば、コンテンツプロバイダサイトは、マルチメディアファイル及び／又はストリームをテレビサービスプロバイダサイト４０６に提供するように構成されている、１つ以上のスタジオコンテンツサーバを有するスタジオを含むことができる。一実施例では、コンテンツプロバイダサイト４１２Ａ〜４１２Ｎは、ＩＰスイートを使用してマルチメディアコンテンツを提供するように構成されてもよい。例えば、コンテンツプロバイダサイトは、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰなどに従って、マルチメディアコンテンツを受信機デバイスに提供するように構成することができる。更に、コンテンツプロバイダサイト４１２Ａ〜４１２Ｎは、ハイパーテキストベースのコンテンツなどを含むデータを、ワイドエリアネットワーク４０８を通じて、受信機デバイスである演算デバイス４０２Ａ〜４０２Ｎ、及び／又はテレビサービスプロバイダサイト４０６のうちの１つ以上に提供するように構成することができる。コンテンツプロバイダサイト４１２Ａ〜４１２Ｎは、１つ以上のウェブサーバを含むことができる。データプロバイダサイト４１２Ａ〜４１２Ｎによって提供されるデータは、データフォーマットに従って定義することができる。
【００４２】
図１を再び参照すると、ソースデバイス１０２は、ビデオソース１０４、動画像符号化装置１０６、データカプセル化部１０７、及びインターフェース１０８を含む。ビデオソース１０４は、ビデオデータをキャプチャ及び／又は記憶するように構成された任意のデバイスを含むことができる。例えば、ビデオソース１０４は、ビデオカメラ及びそれに動作可能に結合された記憶デバイスを含むことができる。動画像符号化装置１０６は、ビデオデータを受信し、ビデオデータを表す準拠ビットストリームを生成するように構成された、任意のデバイスを含むことができる。準拠ビットストリームは、動画像復号装置が受信し、それからビデオデータを再生成することができるビットストリームを指すことがある。準拠ビットストリームの態様は、動画像符号化規格に従って定義することができる。準拠ビットストリームを生成するとき、動画像符号化装置１０６は、ビデオデータを圧縮することができる。圧縮は、非可逆的（視聴者に認識可能若しくは認識不可能）又は可逆的とすることができる。
【００４３】
再び図１を参照すると、データカプセル化部１０７は、符号化したビデオデータを受信し、定義されたデータ構造に従って、例えばＮＡＬユニットのシーケンスである準拠ビットストリームを生成することができる。準拠ビットストリームを受信するデバイスは、そこからビデオデータを再生成することができる。適合ビットストリームという用語は、準拠ビットストリームという用語の代わりに使用できることに留意されたい。データカプセル化部１０７は、動画像符号化装置１０６と同じ物理デバイス内に配置される必要はないことに留意されたい。例えば、動画像符号化装置１０６及びデータカプセル化部１０７によって実行されるものとして説明される機能は、図４に示すデバイス間で分散されてもよい。
【００４４】
一実施例では、データカプセル化部１０７は、１つ以上のメディアコンポーネントを受信し、ＤＡＳＨに基づいてメディアプレゼンテーションを生成するように構成されたデータカプセル化部を含むことができる。図５は、本開示の１つ以上の技術を実装することができるデータカプセル化部の一例を示すブロック図である。データカプセル化部５００は、本明細書に記載された技術に従ってメディアプレゼンテーションを生成するように構成することができる。図５に示す例では、コンポーネントカプセル化部５００の機能ブロックは、メディアプレゼンテーション（例えば、ＤＡＳＨメディアプレゼンテーション）を生成するための機能ブロックに対応する。図５に示すように、コンポーネントカプセル化部５００は、メディアプレゼンテーション記述生成部５０２、セグメント生成部５０４、及びシステムメモリ５０６を含む。メディアプレゼンテーション記述生成部５０２、セグメント生成部５０４、及びシステムメモリ５０６の各々は、コンポーネント間通信のために（物理的、通信的、及び／又は動作的に）相互接続することができ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせなどの様々な適切な回路のいずれかとして実装することができる。データカプセル化部５００は、別個の機能ブロックを有するものとして図示されるが、このような図示は、説明を目的としており、データカプセル化部５００を特定のハードウェアアーキテクチャに限定しないということに留意されたい。データカプセル化部５００の機能は、ハードウェア、ファームウェア及び／又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。
【００４５】
メディアプレゼンテーション記述生成部５０２は、メディアプレゼンテーション記述フラグメントを生成するように構成することができる。セグメント生成部５０４は、メディアコンポーネントを受信し、メディアプレゼンテーションに含めるための１つ以上のセグメントを生成するように構成することができる。システムメモリ５０６は、非一時的又は有形のコンピュータ可読記憶媒体として記載することができる。いくつかの実施例では、システムメモリ５０６は、一時的な及び／又は長期の記憶部を提供することができる。いくつかの実施例では、システムメモリ５０６又はその一部分は、不揮発性メモリとして記載することができ、別の実施例では、システムメモリ５０６の一部は、揮発性メモリとして記載することができる。システムメモリ５０６は、動作中にデータカプセル化部によって使用することができる情報を記憶するように構成することができる。
【００４６】
上述のように、ＤＡＳＨは、現在、ＭＰＤが、（１）投影されたフレームのプロジェクションフォーマットを規定するメタデータ；（２）投影されたフレームによってカバーされた球面表面の面積を規定するメタデータ；（３）グローバル座標系における、投影されたフレームに対応する投影構造の向きを規定するメタデータ；（４）領域毎のパッキング情報を規定するメタデータ；及び（５）任意の領域毎の品質格付けを規定するメタデータ、を含んでいる場合をサポートしていない。一実施例では、メディアプレゼンテーション記述生成部５０２は、（１）投影されたフレームのプロジェクションフォーマットを規定するメタデータ；（２）投影されたフレームによってカバーされた球面表面の面積を規定するメタデータ；（３）グローバル座標系における、投影されたフレームに対応する投影構造の向きを規定するメタデータ；（４）領域毎のパッキング情報を規定するメタデータ；及び／又は（５）任意の領域毎の品質格付けを規定するメタデータ、を含むＭＰＤを生成するように構成することができる。
【００４７】
一実施例では、メディアプレゼンテーション記述生成部５０２は、幾何学タイプ情報及び／又はプロジェクションタイプ情報を記述するメタデータを含む、プロジェクションフォーマット（ＰＦ）記述子を生成するように構成することができる。一実施例では、プロジェクションフォーマット記述子は、以下の例示的な定義に基づくことができる：
プロジェクションフォーマット（ＰＦ）記述子は、Ｐｅｒｉｏｄ及び／又はＡｄａｐｔａｔｉｏｎＳｅｔ及び／又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ、及び／又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎの要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子）子要素として存在することができる。
一実施例では、プロジェクションフォーマット（ＰＦ）記述子は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子として表すものとする。
ＰＦ記述子は、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（及び／又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）記述子である。ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子は、復号されたビデオコンテンツの２次元ディスプレイにおける表示が投影認識表示処理なしでは望ましくない場合に使用されるものとする。
特定の＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＰＦ記述子要素が、Ｐｅｒｉｏｄレベル（すなわち、Ｐｅｒｉｏｄ要素内）及び／又はＡｄａｐｔａｔｉｏｎＳｅｔレベル（すなわち、ＡｄａｐｔａｔｉｏｎＳｅｔ要素内）及び／又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ（すなわち、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）、及び／又はサブリプレゼンテーション（すなわち、ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）に含まれる場合、階層的により低次のレベルでＰＦ記述子においてシグナリングされた値（すなわち、＠ｖａｌｕｅ）は、より高次のレベルでシグナリングされた値（すなわち、＠ｖａｌｕｅ）よりも優先度は高いものとする。
【００４８】
一実施例では、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＰＦスキームを使用するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素の＠ｖａｌｕｅは、値のカンマ区切りリストであってよく、表２Ａに示した例に基づいて指定することができる。以下の表において、使用の列に関して、Ｍは必須及びＯは任意選択を表すことに留意されたい。
【表６】
2020516132.tif 000008
【００４９】
一実施例では、ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅのみが＠ｖａｌｕｅでシグナリングされる。
【００５０】
一実施例では、ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅの値のリストは、以下の表２Ｂに記載の例に示したようにシグナリングすることができる。
【００５１】
「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙプロジェクションフォーマット（ＰＦ）記述子要素は、ＭＰＤレベル及び／又はアダプテーションセットレベル（すなわち、ＡｄａｐｔａｔｉｏｎＳｅｔ要素内）及び／又はレプレゼンテーションレベル（すなわち、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）に存在することができる。「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＰＦ記述子の＠ｖａｌｕｅは、以下の表に指定されているような値のカンマ区切りリストである。
【表７】
2020516132.tif 000009
【００５２】
一実施例では、ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅのみが＠ｖａｌｕｅでシグナリングされ、加えて、記述子は、好ましくは、Ｐｅｒｉｏｄ要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子の子要素としてシグナリングすることができる。この実施例では、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＰＦスキームを使用するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素の＠ｖａｌｕｅは、値のカンマ区切りリストであってよく、表３に示した例に基づいて指定することができる。
【表８】
2020516132.tif 000010
【００５３】
表３に関して、一実施例では、以下の規則を適用することができる：
−ｉｄ＿ｌｉｓｔパラメータが存在せず、記述子がＰｅｒｉｏｄ要素の子要素である場合、ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅは、ＰＦ記述子を自身の子要素として含まないＰｅｒｉｏｄ要素のＡｄａｐｔａｔｉｏｎＳｅｔ子要素、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ子要素、ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ子要素の全てに適用される。
−「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙとしての２つ以上のＰＦ記述子要素を、Ｐｅｒｉｏｄ要素の子要素として含むことができる。この場合、それらのＰＤ記述子のそれぞれについての＠ｖａｌｕｅは異なるものとする。
【００５４】
一実施例では、ＰｒｏｊｅｃｔｉｏｎＦｏｒｍａｔＢｏｘの全てのコンテンツは、＠ｖａｌｕｅでシグナリングされる。加えて、この実施例では、記述子は、好ましくは、Ｐｅｒｉｏｄ要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子の子要素としてシグナリングすることができる。この実施例では、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＰＦスキームを使用するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素の＠ｖａｌｕｅは、値のカンマ区切りリストであってよく、表４Ａに示した例に基づいて指定することができる。
【表９】
2020516132.tif 000011
【００５５】
表４Ａを参照すると、一実施例では、以下の規則を適用することができる：
−ｉｄ＿ｌｉｓｔパラメータが存在せず、記述子がＰｅｒｉｏｄ要素の子要素である場合、ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅは、ＰＦ記述子を自身の要素として含まないＰｅｒｉｏｄ要素のＡｄａｐｔａｔｉｏｎＳｅｔ子要素、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ子要素、ｓｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ子要素の全てに適用される。
−「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙとしての２つ以上のＰＦ記述子要素を、Ｐｅｒｉｏｄ要素の子要素として含むことができる。この場合、それらのＰＦ記述子のそれぞれについての＠ｖａｌｕｅは異なるものとする。
【００５６】
一実施例では、プロジェクションフォーマット（ＰＦ）記述子は、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有する、Ｐｅｒｉｏｄ要素、若しくはＡｄａｐｔａｔｉｏｎＳｅｔ要素、あるいはＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素、又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子）子要素として存在することができる。一実施例では、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＰＦ記述子要素が、ピリオドレベル（すなわち、Ｐｅｒｉｏｄ要素内）及び／又はアダプテーションセットレベル（すなわち、ＡｄａｐｔａｔｉｏｎＳｅｔ要素内）及び／又はリプレゼンテーション（すなわち、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）、及び／又はサブリプレゼンテーション（すなわち、ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）に含まれる場合、階層的により低次のレベルでＰＦ記述子においてシグナリングされた＠ｖａｌｕｅは、より高次のレベルでシグナリングされた＠ｖａｌｕｅよりも優先度は高いものとする。一実施例では、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有する複数のＰＦ記述子要素が存在してもよく、その場合、それらのＰＦ記述子要素は、異なる＠ｖａｌｕｅを有し、ｉｄ＿ｌｉｓｔは＠ｖａｌｕｅに含まれるものとする。実施例では、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＰＦ記述子の＠ｖａｌｕｅは、値のスペース区切りリストであり、表４Ｂに示した例に基づいて指定することができる。
【表１０】
2020516132.tif 000012
【００５７】
一実施例では、メディアプレゼンテーション記述生成部５０２は、魚眼全方位ビデオコンテンツを記述するメタデータを含む魚眼全方位ビデオ情報記述子を生成するように構成することができる。一実施例では、魚眼全方位ビデオ情報記述子は、以下の例示的な定義に基づくことができる：
魚眼全方位ビデオ情報（ＦＶ）記述子は、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｆｖ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有する、Ｐｅｒｉｏｄ要素、又はＡｄａｐｔａｔｉｏｎＳｅｔ要素、又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素、又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子）子要素として存在することができる。
一実施例では、魚眼全方位ビデオ情報（ＦＶ）記述子は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子として表すものとする。
ＦＶ記述子は、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｆｖ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（及び／又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）記述子である。ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子は、復号されたビデオコンテンツの２次元ディスプレイにおける表示が投影認識表示処理なしでは望ましくない場合に使用されるものとする。
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｆｖ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＦＶ記述子要素が、ピリオドレベル（すなわち、Ｐｅｒｉｏｄ要素内）及び／又はアダプテーションセットレベル（すなわち、ＡｄａｐｔａｔｉｏｎＳｅｔ要素内）及び／又はリプレゼンテーション（すなわち、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）、及び／又はサブリプレゼンテーション（すなわち、ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）に含まれる場合、階層的により低次のレベルでＦＶ記述子においてシグナリングされた＠ｖａｌｕｅは、より高次のレベルでシグナリングされた＠ｖａｌｕｅよりも優先度は高いものとする。
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｆｖ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有する複数のＦＶ記述子要素が存在してもよく、その場合、それらのＦＶ記述子要素は、異なる＠ｖａｌｕｅを有し、ｉｄ＿ｌｉｓｔは＠ｖａｌｕｅに含まれるものとする。
加えて、この記述子は、好ましくは、Ｐｅｒｉｏｄ要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子の子要素としてシグナリングすることができる。
【００５８】
一実施例では、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｆｖ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＦＶ記述子の＠ｖａｌｕｅは、表５に指定されているような値のスペース区切りリストであってよい：
【表１１】
2020516132.tif 000013
【００５９】
表５を参照すると、一実施例では、以下の規則を適用することができる：
−ｉｄ＿ｌｉｓｔパラメータが存在せず、記述子がＰｅｒｉｏｄ要素の子要素である場合、ｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅは、ＰＦ記述子を自身の子要素として含まないＰｅｒｉｏｄ要素のＡｄａｐｔａｔｉｏｎＳｅｔ子要素、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ子要素、ｓｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ子要素の全てに適用される。
−「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＰＦ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙとしての２つ以上のＰＦ記述子要素を、Ｐｅｒｉｏｄ要素の子要素として含むことができる。この場合、ＦＶ記述子のそれぞれについての第１パラメータＦｉｓｈｅｙｅＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏＢｏｘの値は異なるものとする。
【００６０】
表２Ａ〜表２Ｂ、表３、表４Ａ、表４Ｂ及び表５を参照すると、一実施例では、以下の規則を適用することができる：
−各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ及び／又はｓｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎは、ＰＦ記述子とＦＶ記述子の両方ではなく、ＰＦ記述子又はＦＶ記述子のいずれかのＡｄａｐｔａｔｉｏｎＳｅｔ親要素のみを含むものとする（又は親ＡｄａｐｔａｔｉｏｎＳｅｔ要素から継承するものとする。
【００６１】
一実施例では、メディアプレゼンテーション記述生成部５０２は、投影されたフレームが立体コンテンツを表すことを指示するメタデータを含むステレオフレームパッキング情報記述子を生成するように構成することができる。ステレオフレームパッキング情報（ＳＦＰ）記述子は、投影されたフレームが立体コンテンツを表すことを指示する。ＤＡＳＨ  ＦｒａｍｅＰａｃｋｉｎｇ要素は、ステレオフレームパッキング情報（ＳＦＰ）記述子に使用することができる。
【００６２】
一実施例では、ステレオフレームパッキング情報（ＳＦＰ）記述子は、以下の例示的な定義に基づくことができる：
ＳＦＰ記述子は、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：２３０００：２０：ｓｔｅｒｅｏ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（及び／又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）記述子である。
一実施例では、ＩＳＯ／ＩＥＣ  ２３０００−２０  ＣＤ  ＯＭＡＦに準拠するビデオコンポーネントを含むＡｄａｐｔａｔｉｏｎＳｅｔ又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎについては、ＵＲＩ  ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：２３０００：２０：ｓｔｅｒｅｏ：２０１７が使用されるものとする。
別の実施例では、ＩＳＯ／ＩＥＣ  ２３０００−２０  ＣＤ  ＯＭＡＦに準拠するビデオコンポーネントを含むＡｄａｐｔａｔｉｏｎＳｅｔ又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎについては、ＵＲＩ  ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＶｉｄｅｏＦｒａｍｅＰａｃｋｉｎｇＴｙｐｅが使用されるものとする。
特定の＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＳＦＰ記述子要素が、ＡｄａｐｔａｔｉｏｎＳｅｔレベル（すなわち、ＡｄａｐｔａｔｉｏｎＳｅｔ要素内）及び／又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ（すなわち、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）、及び／又はサブ表現（すなわち、ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）に含まれる場合、階層的により低次のレベルでＳＦＰ記述子においてシグナリングされた＠ｖａｌｕｅは、より高次のレベルでシグナリングされた＠ｖａｌｕｅよりも優先度は高いものとする。
ＳＦＰ記述子が要素に含まれないか、又は親要素から継承されていない場合、その要素のコンテンツは、単眼ビデオである。
【００６３】
一実施例では、＠ｖａｌｕｅは、ＩＴＵ−Ｔ  Ｈ．２６５の表Ｄ−８に定義されているようなそれらの値の意味を有する３又は４に等しいものとする。参照により組み込まれる、ＩＳＯ／ＩＥＣ  ２３００１−８、Ｐａｒｔ  ８、「Ｃｏｄｉｎｇ−ｉｎｄｅｐｅｎｄｅｎｔ  ｃｏｄｅ  ｐｏｉｎｔｓ」、２０１３−０７−０１は、ＩＴＵ−Ｔ  Ｈ．２６５の表Ｄ−８における同様の値の類似の意味を有する値３又は４を有するＶｉｄｅｏＦｒａｍｅＰａｃｋｉｎｇＴｙｐｅを含むことに留意されたい。
【００６４】
一実施例では、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：２３０００：２０：ｓｔｅｒｅｏ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳＦＰ記述子の＠ｖａｌｕｅは、表６に基づいて指定されたような値のスペース区切りリストであってよい。
【表１２】
2020516132.tif 000014
【００６５】
一実施例では、ＤＡＳＨ  ＦｒａｍｅＰａｃｋｉｎｇ要素は、投影されたフレームが立体コンテンツを表すことを示すために、及びフレームパッキング情報を提供するために使用されるものとし、したがって一例では、ＤＡＳＨ  ＦｒａｍｅＰａｃｋｉｎｇ要素は、以下の定義に基づくことができる：
ＩＳＯ／ＩＥＣ  ２３０００−２０  ＣＤ  ＯＭＡＦに準拠するビデオコンポーネントを含むＡｄａｐｔａｔｉｏｎＳｅｔ又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎについては、ＵＲＩ  ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：２３０００：２０：ｓｔｅｒｅｏ：２０１７が使用されるものとする。＠ｖａｌｕｅは、ＩＳＯ／ＩＥＣ  ２３００１−８におけるＶｉｄｅｏＦｒａｍｅＰａｃｋｉｎｇＴｙｐｅについて定義されているようなそれらの値の意味を有する３又は４に等しい。
【００６６】
一実施例では、ＤＡＳＨ  ＦｒａｍｅＰａｃｋｉｎｇ要素は、以下の定義に基づくことができる：
ＩＳＯ／ＩＥＣ  ２３０００−２０  ＣＤ  ＯＭＡＦに準拠するビデオコンポーネントを含むＡｄａｐｔａｔｉｏｎＳｅｔ又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎについては、ＵＲＩ  ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：２３０００：２０：ｓｔｅｒｅｏ：２０１７が使用されるものとする。
【００６７】
一実施例では、ＳＦＰスキームを使用するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素の＠ｖａｌｕｅは、表７に示した例に基づいて指定されたＳＦＰパラメータについての値のカンマ区切りリストであってよい。
【表１３】
2020516132.tif 000015
【００６８】
一実施例では、ＵＲＩ  ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：２３０００：２０：ｓｔｅｒｅｏ：２０１７の代わりに、ＵＲＩ  ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＶｉｄｅｏＦｒａｍｅＰａｃｋｉｎｇＴｙｐｅを使用することができる。
【００６９】
図７〜図１１は、本開示の１つ以上の技術による、メタデータのシグナリングの一例を示すコンピュータプログラムリストである。図７〜図１１のそれぞれは、ＰＦ記述子、ＦＶ記述子、及びＳＦＰ記述子を含むＭＰＤの例示的なスニペットを示す。図７に示した実施例では、全ての表現は、同じｐｒｏｊｅｃｔｉｏｎ＿ｔｙｐｅ及びｇｅｏｍｅｔｒｙ＿ｔｙｐｅを使用する。図８に示した例では、２つの表現は、Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ投影（ＥＲＰ）及び球面座標を使用し、２つの他の表現は、キューブマップ（Ｃｕｂｅｍａｐ）（仮説例）及び球面座標を使用し、１つの表現は、キューブマップ（仮説例）及びデカルト座標（仮説例）を使用する。キューブマップは、立方体の６つの面をマップ形状として使用することに留意されたい。図９に示した例では、１つの表現は魚眼ビデオであり、他の表現は、ＥＲＰ及び球面座標を使用している。図１０に示した例では、２つの表現は、魚眼ビデオであり、２つの他の表現は、ＥＲＰ及び球面座標を使用し、１つの表現はキューブマップ（仮説例）及びデカルト座標（仮説例）を使用する。図１１に示した例では、２つの表現は、ＥＲＰ及び球面座標を使用し、２つの他の表現は、キューブマップ（仮説例）及び球面座標を使用し、１つの表現は、キューブマップ（仮説例）及びデカルト座標（仮説例）を使用する。また、表現のうちの３つは、サイド・バイ・サイド方式のフレームパッキングを有する立体ビデオである。他の２つの表現は、単眼ビデオである。
【００７０】
一実施例では、メディアプレゼンテーション記述生成部５０２は、投影されたフレームがどのように領域毎にパッキングされるかに関する情報、及びレンダリング前に、それらの投影されたフレームがどのようにアンパッキングされるべきかに関する情報を含む、領域毎のパッキング（ＲＷＰ）記述子を生成するように構成することができる。一実施例では、領域毎のパッキング（ＲＷＰ）記述子は、以下の例示的な定義に基づくことができる：
領域毎のパッキング（ＲＷＰ）記述子は、Ｐｅｒｉｏｄ及び／又はＡｄａｐｔａｔｉｏｎＳｅｔ、及び／又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ、及び／又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎの要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子の子要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子の子要素として存在することができる。
一実施例では、領域毎のパッキング（ＲＷＰ）記述子は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子として表すものとする。
ＲＷＰ記述子は、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＲＷＰ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（及び／又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）記述子である。ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子は、復号されたビデオコンテンツの２次元ディスプレイにおける表示が、レンダリング及び表示処理前のアンパッキングなしでは望ましくない場合に使用されるものとする。
【００７１】
一実施例では、「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＢ：ｃｉｃｐ：ＲＷＰ」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＲＷＰスキームを使用するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素の＠ｖａｌｕｅは、表８Ａに示した例に基づいて指定された値のカンマ区切りリストであってよい：
【表１４】
2020516132.tif 000016
【００７２】
更に、一実施例では、メディアプレゼンテーション記述生成部５０２は、以下の例示的定義に基づいて、領域毎のパッキング（ＲＷＰ）記述子を生成するように構成することができる：
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｗｐｋ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ領域毎のパッキングフォーマット（ＲＷＰＫ）記述子要素は、ＭＰＤレベル及び／又はアダプテーションセットレベル（すなわち、ＡｄａｐｔａｔｉｏｎＳｅｔ要素内）及び／又はレプレゼンテーションレベル（すなわち、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ要素内）に存在することができる。「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｗｐｋ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＲＷＰＫ記述子の＠ｖａｌｕｅは、表８Ｂに指定された通りである：
【表１５】
2020516132.tif 000017
一実施例では、ＲＷＰＫ記述子が存在しない場合、フレームがパッキングされていないことを示す。
【００７３】
一実施例では、メディアプレゼンテーション記述生成部５０２は、Ｐｅｒｉｏｄ、ＡｄａｐｔａｔｉｏｎＳｅｔ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ、又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎについての他の記述子（例えば、プロジェクションフォーマット及び／又は被覆された球面上の領域及び／又は領域毎のパッキング、並びに／あるいは初期／ランダムアクセスビューポイント、並びに／あるいは推奨ビューポート）においてシグナリングされた仮想現実情報の再利用を可能にする仮想現実情報グループ化（ＶＲＩＧ）記述子を生成するように構成することができる。これは、よりコンパクトなメディアプレゼンテーション記述（Media Presentation Description、ＭＰＤ）をもたらすことができる。一実施例では、仮想現実情報グループ化記述子は、以下の例示的定義に基づくことができる：
仮想現実情報グループ化（ＶＲＩＧ）記述子は、ＡｄａｐｔａｔｉｏｎＳｅｔ、及び／又はＲｅｐｒｅｓｅｎｔａｔｉｏｎ、及び／又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎの要素におけるＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ子要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子の子要素として存在することができる。
ＶＲＩＧ記述子は、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｖｒｉｇ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ（及び／又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）記述子である。
【００７４】
一実施例では、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｖｒｉｇ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＶＲＩＧスキームを使用するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素の＠ｖａｌｕｅは、表９に示した例に基づいて指定された値のカンマ区切りリストであってよい：
【表１６】
2020516132.tif 000018
【００７５】
一実施例では、以下の記述子のそれぞれは、その記述子におけるその情報についての識別子を含む（例えば、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ／ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子の対応する＠ｖａｌｕｅにおけるカンマ区切りリストにおける）フィールドを含む。このＩＤフィールドは、それらの記述子のそれぞれにおける最後の任意のフィールドである。一実施例では、このＩＤフィールドは、それらの記述子のそれぞれにおける第１の必須フィールドである。この＠ｖａｌｕｅは、表１０に示した例に基づくことができる：
【表１７】
2020516132.tif 000019
【００７６】
一実施例では、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｖｒｉｄｓ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有する異なる記述子の仮想現実識別子（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｉｄｅｎｔｉｆｉｅｒｓ、ＶＲＩＤＳ）を使用することができる。この場合、仮想現実識別子（ＶＲＩＤＳ）スキームを使用するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素の＠ｖａｌｕｅは、表１１に示した例に基づいて指定された仮想現実識別子（ＶＲＩ）パラメータについての値のカンマ区切りリストであってよい。
【表１８】
2020516132.tif 000020
【００７７】
一実施例では、以下の制約を要求することができる：ｒｅｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄ、ｒｅｆ＿ｆｖ＿ｉｄのうちの少なくとも１つは０に等しい。これは、ビデオコンテンツ（例えば、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ／ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ）が、投影されたフレームコンテンツ又は魚眼ビデオコンテンツのいずれかであるが、両方ではないためであり得る。
【００７８】
一実施例では、ｒｅｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄパラメータ、ｒｅｆ＿ｆｖ＿ｉｄパラメータ、ｒｅｆ＿ｒｐａｃｋｉｎｇ＿ｉｄパラメータ、ｒｅｆ＿ｓｆｐ＿ｉｄパラメータのそれぞれについて、０の値は、推奨ビューポート記述子が、コンテナ要素（例えば、このＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素）において明示的にシグナリングされるか、又はシグナリングされず（したがって、指定されず）、推定されないことを示す。
【００７９】
一実施例では、ｒｅｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄパラメータ、ｒｅｆ＿ｆｖ＿ｉｄパラメータ、ｒｅｆ＿ｒｐａｃｋｉｎｇ＿ｉｄパラメータ、ｒｅｆ＿ｓｆｐ＿ｉｄパラメータのそれぞれについて、０の値は、推奨ビューポート記述子が、コンテナ要素（例えば、このＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素）において明示的にシグナリングされて、推定されず、ｒｅｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄパラメータ、ｒｅｆ＿ｆｖ＿ｉｄパラメータ、ｒｅｆ＿ｒｐａｃｋｉｎｇ＿ｉｄパラメータ、ｒｅｆ＿ｓｆｐ＿ｉｄパラメータのそれぞれについて、１の値は、推奨ビューポート記述子が、シグナリングされず、推定されず、したがって、このコンテナ要素について（例えば、このＲｅｐｒｅｓｅｎｔａｔｉｏｎ要素において）指定されないことを示す。この場合、ｒｅｆ＿ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ＿ｉｄパラメータ、ｒｅｆ＿ｆｖ＿ｉｄパラメータ、ｒｅｆ＿ｒｐａｃｋｉｎｇ＿ｉｄパラメータ、ｒｅｆ＿ｓｆｐ＿ｉｄパラメータのそれぞれについて、０及び１の値は確保されており、使用されないものとする。
【００８０】
一実施例では、上記で定義された記述子のいくつか又は全ては、コンテンツコンポーネント（ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔ要素）内で使用することができる。
【００８１】
更に、一実施例では、メディアプレゼンテーション記述生成部５０２は、以下の例示的定義に基づいて、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙカバレッジマップ（ＣＭ）記述子要素を生成するように構成することができる：
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｗｑｒ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙカバレッジマップ（ＣＭ）記述子要素は、アダプテーションセットレベル（すなわち、ＡｄａｐｔａｔｉｏｎＳｅｔ要素内）に存在することができる。「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｗｑｒ：２０１７」に等しい＠ｓｃｈｅｍｅＩｄＵｒｉを有するＣＭ記述子の＠ｖａｌｕｅは、表１２に指定されているような値のカンマ区切りリストである。
【表１９】
2020516132.tif 000021
【００８２】
上述のｃｅｎｔｅｒ＿ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｈｏｒ＿ｒａｎｇｅ、ｖｅｒ＿ｒａｎｇｅについての一実施例では、ＲｅｇｉｏｎＯｎＳｐｈｅｒｅＳｔｒｕｃｔは、別のボックス（例えば、領域毎の品質ボックス）内に含めることができる。このようにして、メディアプレゼンテーション記述生成部５０２は、本明細書に記載された技術のうちの１つ以上に従って、仮想現実アプリケーションに関連付けられた情報をシグナリングするように構成されたデバイスの一例を表す。
【００８３】
図１を再び参照すると、インターフェース１０８は、データカプセル化部１０７によって生成されたデータを受信し、そのデータを通信媒体に送信及び／又は記憶するように構成された任意のデバイスを含むことができる。インターフェース１０８は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を送信及び／若しくは受信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース１０８は、ファイルを記憶デバイス上に記憶することを可能にすることができるコンピュータシステムインターフェースを含むことができる。例えば、インターフェース１０８は、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）及びＰｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス（Universal Serial Bus）（ＵＳＢ）プロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。
【００８４】
図１を再び参照すると、宛先デバイス１２０は、インターフェース１２２、データデカプセル化部１２３、動画像復号装置１２４、及びディスプレイ１２６を含む。インターフェース１２２は、通信媒体からデータを受信するように構成されている任意のデバイスを含むことができる。インターフェース１２２は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を受信及び／若しくは送信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース１２２は、準拠ビデオビットストリームを記憶デバイスから取得することを可能にするコンピュータシステム用インターフェースを含むことができる。例えば、インターフェース１２２は、ＰＣＩ及びＰＣＩｅバスプロトコル、独自のバスプロトコル、ＵＳＢプロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。データデカプセル化部１２３は、データカプセル化部１０７によって生成されたビットストリームを受信し、本明細書に記載された技術のうちの１つ以上に従ってサブビットストリーム抽出を実行するように構成することができる。
【００８５】
動画像復号装置１２４は、適合したビットストリーム及び／又はその許容可能な変形を受信し、それからビデオデータを再生成するように構成された、任意のデバイスを含むことができる。ディスプレイ１２６は、ビデオデータを表示するように構成された任意のデバイスを含むことができる。ディスプレイ１２６は、液晶ディスプレイ（liquid crystal display)（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（organic light emitting diode）（ＯＬＥＤ）ディスプレイ、又は別の種類のディスプレイなどの、様々な表示デバイスのうちの１つを含むことができる。ディスプレイ１２６は、高解像度ディスプレイ又は超高解像度ディスプレイを含むことができる。ディスプレイ１２６は、立体ディスプレイを含むことができる。図１に示す例では、動画像復号装置１２４は、データをディスプレイ１２６に出力するように説明されているが、動画像復号装置１２４は、ビデオデータを様々な種類のデバイス及び／又はそのサブコンポーネントに出力するように構成することができることに留意されたい。例えば、動画像復号装置１２４は、本明細書で説明するような任意の通信媒体にビデオデータを出力するように構成することができる。宛先デバイス１２０は、受信デバイスを含むことができる。
【００８６】
図６は、本開示の１つ以上の技術を実装することができる受信機デバイスの一例を示すブロック図である。すなわち、受信機デバイス６００は、上記の表のうちの１つ以上に関して上述したセマンティックに基づいて信号をパースするように構成することができる。受信機デバイス６００は、通信ネットワークからデータを受信し、ユーザが仮想現実アプリケーションを含むマルチメディアコンテンツにアクセスすることを可能にするように構成することができる演算デバイスの一例である。図６に示す実施例では、受信機デバイス６００は、例えば上述のテレビサービスネットワーク４０４などのテレビネットワークを介してデータを受信するように構成されている。更に、図６に示す実施例では、受信機デバイス６００は、ワイドエリアネットワークを介してデータを送信および受信するように構成されている。他の実施例では、受信機デバイス６００は、テレビサービスネットワーク４０４を介してデータを受信だけするように構成することができることに留意されたい。本明細書に記載された技術は、通信ネットワークの一切の組み合わせを使用して通信するように構成されたデバイスによって利用することができる。
【００８７】
図６に示したように、受信機デバイス６００は、中央処理装置（単数又は複数）６０２、システムメモリ６０４、システムインターフェース６１０、データ抽出部６１２、音声復号装置６１４、音声出力システム６１６、動画像復号装置６１８、表示システム６２０、Ｉ／Ｏデバイス（単数又は複数）６２２、及びネットワークインターフェース６２４を含む。図６に示したように、システムメモリ６０４は、オペレーティングシステム６０６及びアプリケーション６０８を含む。中央処理装置（単数又は複数）６０２、システムメモリ６０４、システムインターフェース６１０、データ抽出部６１２、音声復号装置６１４、音声出力システム６１６、動画像復号装置６１８、表示システム６２０、Ｉ／Ｏデバイス（単数又は複数）６２２、及びネットワークインターフェース６２４の各々は、コンポーネント間通信のために（物理的、通信的、及び／又は動作的に）相互接続することができ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又は任意のそれらの組み合わせなどの様々な好適な回路のいずれかとして実装することができる。受信機デバイス６００は、別個の機能ブロックを有するものとして図示されるが、このような図示は、説明を目的としており、受信機デバイス６００を特定のハードウェアアーキテクチャに限定しないということに留意されたい。受信機デバイス６００の機能は、ハードウェア実装、ファームウェア実装、及び／又はソフトウェア実装の任意の組み合わせを使用して実現することができる。
【００８８】
ＣＰＵ（単数又は複数）６０２は、受信機デバイス６００において実行するための機能及び／又はプロセス命令を実装するように構成することができる。ＣＰＵ（単数又は複数）６０２は、シングルコア及び／又はマルチコアの中央処理装置を含むことができる。ＣＰＵ（単数又は複数）６０２は、本明細書に記載された技術のうちの１つ以上を実装するための命令、コード、及び／又はデータ構造を検索及び処理する能力があるものでよい。命令は、システムメモリ６０４などのコンピュータ可読媒体に記憶することができる。
【００８９】
システムメモリ６０４は、非一時的又は有形のコンピュータ可読記憶媒体として記載することができる。いくつかの実施例では、システムメモリ６０４は、一時的及び／又は長期の記憶部を提供することができる。いくつかの実施例では、システムメモリ６０４又はその一部分は、不揮発性メモリとして記載することができ、別の実施例では、システムメモリ６０４の一部は、揮発性メモリとして記載することができる。システムメモリ６０４は、動作中に受信機デバイス６００によって使用することができる情報を記憶するように構成することができる。システムメモリ６０４は、ＣＰＵ（単数又は複数）６０２によって実行するためのプログラム命令を記憶するために使用することができ、受信機デバイス６００において実行されるプログラムによって、プログラム実行中に情報を一時的に記憶するために使用することができる。更に、受信機デバイス６００がデジタルビデオレコーダの一部として含まれる実施例では、システムメモリ６０４は、多数のビデオファイルを記憶するように構成することができる。
【００９０】
アプリケーション６０８は、受信機デバイス６００内で実装されるか又はそれによって実行されるアプリケーションを含むことができ、受信機デバイス６００のコンポーネント内に実装されるか若しくは含まれ、それによって動作可能であり、それによって実行され、及び／又はそれに動作的／通信的に結合することができる。アプリケーション６０８は、受信機デバイス６００のＣＰＵ（単数又は複数）６０２に特定の機能を実行させることができる命令を含むことができる。アプリケーション６０８は、ｆｏｒループ、ｗｈｉｌｅループ、ｉｆステートメント、ｄｏループなどのコンピュータプログラミングステートメントで表現されたアルゴリズムを含むことができる。アプリケーション６０８は、指定されたプログラミング言語を使用して開発することができる。プログラミング言語の例としては、Ｊａｖａ（登録商標）、Ｊｉｎｉ（登録商標）、Ｃ、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ  Ｃ、Ｓｗｉｆｔ、Ｐｅｒｌ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、ＰｈＰ、ＵＮＩＸ（登録商標）Ｓｈｅｌｌ、Ｖｉｓｕａｌ  Ｂａｓｉｃ、及びＶｉｓｕａｌ  Ｂａｓｉｃ  Ｓｃｒｉｐｔが挙げられる。受信機デバイス６００がスマートテレビを含む実施例では、アプリケーションはテレビ製造業者又は放送局によって開発され得る。図６に示したように、アプリケーション６０８は、オペレーティングシステム６０６と関連して実行することができる。すなわち、オペレーティングシステム６０６は、受信機デバイス６００のＣＰＵ（単数又は複数）６０２及び他のハードウェアコンポーネントとのアプリケーション６０８の対話を容易にするように構成することができる。オペレーティングシステム６０６は、セットトップボックス、デジタルビデオレコーダ、テレビなどにインストールされるように設計されたオペレーティングシステムであってよい。本明細書に記載された技術は、ソフトウェアアーキテクチャの一切の組み合わせを使用して動作するように構成されたデバイスによって利用することができるということに留意されたい。
【００９１】
システムインターフェース６１０は、受信機デバイス６００のコンポーネント間の通信を可能にするように構成することができる。一実施例では、システムインターフェース６１０は、一方のピアデバイスから他方のピアデバイス又は記憶媒体にデータを転送することを可能にする構造を含む。例えば、システムインターフェース６１０は、アクセラレーテッドグラフィックスポート（Accelerated Graphics Port、ＡＧＰ）ベースプロトコル、例えば、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｓｐｅｃｉａｌ  Ｉｎｔｅｒｅｓｔ  Ｇｒｏｕｐによって管理されたＰＣＩ  Ｅｘｐｒｅｓｓ（登録商標）（ＰＣＩｅ）バス仕様などのペリフェラルコンポーネントインターコネクト（Peripheral Component Interconnect、ＰＣＩ）バスベースプロトコル、又はピアデバイスを相互接続するために使用することができる任意の他の形態の構造（例えば、独自のバスプロトコル）に対応するチップセットを含むことができる。
【００９２】
上述のように、受信機デバイス６００は、テレビサービスネットワークを介してデータを受信し、任意選択的にデータを送信するように構成される。上述のように、テレビサービスネットワークは、電気通信規格に従って動作することができる。電気通信規格は、例えば、物理的なシグナリング、アドレッシング、チャネルアクセス制御、パケットプロパティ、及びデータ処理などの通信プロパティ（例えば、プロトコル層）を定義することができる。図６に示す実施例では、データ抽出部６１２は、信号からビデオ、音声、及びデータを抽出するように構成することができる。信号は、例えば、ＤＶＢ規格、ＡＴＳＣ規格、ＩＳＤＢ規格、ＤＴＭＢ規格、ＤＭＢ規格、及びＤＯＣＳＩＳ規格といった態様に従って定義することができる。
【００９３】
データ抽出部６１２は、信号からビデオ、音声、及びデータを抽出するように構成することができる。すなわち、データ抽出部６１２は、サービス配信エンジンと相互関係にあるように動作することができる。更に、データ抽出部６１２は、上述の構造のうちの１つ以上の任意の組み合わせに基づいて、リンク層パケットをパースするように構成することができる。
【００９４】
データパケットは、ＣＰＵ（単数又は複数）６０２、音声復号装置６１４、及び動画像復号装置６１８によって処理することができる。音声復号装置６１４は、音声パケットを受信及び処理するように構成することができる。例えば、音声復号装置６１４は、音声コーデックの態様を実装するように構成されたハードウェア及びソフトウェアの組み合わせを含むことができる。すなわち、音声復号装置６１４は、音声パケットを受信して、レンダリングのために音声出力システム６１６に音声データを提供するように構成することができる。音声データは、Ｄｏｌｂｙ  ａｎｄ  Ｄｉｇｉｔａｌ  Ｔｈｅａｔｅｒ  Ｓｙｓｔｅｍｓによって開発されたものなどのマルチチャネルフォーマットを使用して、符号化することができる。音声データは、音声圧縮フォーマットを使用して符号化することができる。音声圧縮フォーマットの例としては、ムービングピクチャエクスパーツグループ（ＭＰＥＧ）フォーマット、先進的音響符号化（Advanced Audio Coding、ＡＡＣ）フォーマット、ＤＴＳ−ＨＤフォーマット、及びドルビーデジタル（Dolby Digital、ＡＣ−３）フォーマットが挙げられる。音声出力システム６１６は、音声データをレンダリングするように構成することができる。例えば、音声出力システム６１６は、音声プロセッサ、デジタル／アナログ変換装置、増幅器、及びスピーカシステムを含むことができる。スピーカシステムは、ヘッドホン、統合ステレオスピーカシステム、マルチスピーカシステム、又はサラウンドサウンドシステムなどの様々なスピーカシステムのいずれかを含むことができる。
【００９５】
動画像復号装置６１８は、ビデオパケットを受信及び処理するように構成することができる。例えば、動画像復号装置６１８は、ビデオコーデックの態様を実装するように使用されるハードウェア及びソフトウェアの組み合わせを含むことができる。一実施例では、動画像復号装置６１８は、ＩＴＵ−Ｔ  Ｈ．２６２又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６４（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）としても知られている）、及びＨｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）などの任意の数の動画像圧縮規格に従って符号化されたビデオデータを復号するように構成することができる。表示システム６２０は、表示のためにビデオデータを検索及び処理するように構成することができる。例えば、表示システム６２０は、動画像復号装置６１８から画素データを受信し、ビジュアルプレゼンテーションのためにデータを出力することができる。更に、表示システム６２０は、ビデオデータと関連するグラフィックスを出力するように構成することができ、例えば、グラフィカルユーザインターフェースであってよい。表示システム６２０は、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（organic light emitting diode、ＯＬＥＤ）ディスプレイ、又はビデオデータをユーザに提示することができる別のタイプのディスプレイデバイスなどの様々な表示デバイスのうちの１つを含むことができる。表示デバイスは、標準精細度コンテンツ、高精細度コンテンツ、又は超高精度コンテンツを表示するように構成することができる。
【００９６】
Ｉ／Ｏデバイス（単数又は複数）６２２は、受信機デバイス６００の動作中に入力を受信し、出力を提供するように構成することができる。すなわち、Ｉ／Ｏデバイス（単数又は複数）６２２は、ユーザによる、レンダリングされるマルチメディアコンテンツの選択を可能にすることができる。入力は、例えば、押しボタン式リモートコントロール、タッチ感知スクリーンを含むデバイス、モーションベースの入力デバイス、音声ベースの入力デバイス、又はユーザ入力を受信するように構成された任意の他のタイプのデバイスなどの入力デバイスから生成することができる。Ｉ／Ｏデバイス（単数又は複数）６２２は、例えば、ユニバーサルシリアルバスプロトコル（Universal Serial Bus、ＵＳＢ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）などの規格化された通信プロトコル、又は例えば、独自の赤外線通信プロトコルなどの独自の通信プロトコルを使用して、受信機デバイス６００に動作的に結合することができる。
【００９７】
ネットワークインターフェース６２４は、受信機デバイス６００によるローカルエリアネットワーク及び／又はワイドエリアネットワークを介したデータの送信及び受信を可能にするように構成することができる。ネットワークインターフェース６２４は、Ｅｔｈｅｒｎｅｔ（登録商標）カードなどのネットワークインターフェースカード、光送受信機、無線周波数送受信機、又は情報を送信及び受信するように構成された任意の他のタイプのデバイスを含むことができる。ネットワークインターフェース６２４は、ネットワークで利用される物理層及びメディアアクセス制御（Media Access Control、ＭＡＣ）層に従って、物理的なシグナリング、アドレッシング、及びチャネルアクセス制御を実行するように構成することができる。受信機デバイス６００は、図５に関して上述した技術のいずれかに従って生成された信号をパースするように構成することができる。このようにして、受信機デバイス６００は、仮想現実アプリケーションに関連付けられた情報を含む１つ以上のシンタックス要素をパースするように構成されたデバイスの一例を表す。
【００９８】
１つ以上の実施例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装することができる。ソフトウェアで実装される場合、この機能は、コンピュータ可読媒体に１つ以上の命令又はコードとして記憶又は伝送することができ、ハードウェアベースの処理装置によって実行することができる。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体又は通信媒体などの有形の媒体に対応する、コンピュータ可読記憶媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形のコンピュータ可読記憶媒体、又は（２）信号又は搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示中に記載された技術の実装のための命令、コード、及び／又はデータ構造を取り出すために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスすることができる任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
【００９９】
一例として、非限定的に、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、又は他の光学ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶デバイス、フラッシュメモリ、又は任意の他の媒体、すなわち命令又はデータ構造の形式で所望のプログラムコードを記憶するために使用可能であり、かつコンピュータによりアクセス可能な任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（digital subscriber line、ＤＳＬ）、あるいは赤外線、無線及びマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一過性媒体を含まないが、代わりに非一時的有形記憶媒体を対象としていると理解されたい。本発明で使用する場合、ディスク（disk）及びディスク（disc）は、コンパクトディスク（Compact Disc、ＣＤ）、レーザーディスク（laser disc）、光学ディスク（optical disc）、デジタル多用途ディスク（Digital Versatile Disc、ＤＶＤ）、フロッピーディスク（floppy disk）及びブルーレイ（登録商標）ディスク（Ｂｌｕ−ｒａｙ（登録商標）disc）を含み、ディスク（disk）は通常データを磁気的に再生成し、ディスク（disc）はレーザを用いてデータを光学的に再生成する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれなければならない。
【０１００】
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積又はディスクリートロジック回路などの１つ以上のプロセッサによって実行することができる。したがって、本明細書で使用されるとき、用語「プロセッサ」は、前記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことができる。加えて、いくつかの態様において、本明細書に記載の機能は、符号化及び復号するように構成された、又は複合コーデックに組み込まれた専用のハードウェアモジュール及び／又はソフトウェアモジュールに設けることができる。また、この技術は、１つ以上の回路又は論理素子に完全に実装することができる。
【０１０１】
本開示の技術は、無線ハンドセット、集積回路（integrated circuit、ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む多種多様なデバイス又は装置に実装することができる。様々なコンポーネント、モジュール、又はユニットは、開示された技術を実行するように構成されたデバイスの機能的な態様を強調するために本開示中に記載されているが、異なるハードウェアユニットによる実現は必ずしも必要ではない。むしろ、前述したように、様々なユニットは、コーデックハードウェアユニットと組み合わせることができ、又は好適なソフトウェア及び／又はファームウェアと共に、前述の１つ以上のプロセッサを含む、相互動作ハードウェアユニットの集合によって提供することができる。
【０１０２】
更に、上述の各実装形態で用いた基地局デバイスや端末デバイスの各機能ブロックや各種の機能は、一般的には集積回路又は複数の集積回路である電気回路によって実現又は実行することができる。本明細書に記載の機能を実行するように設計された回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け又は汎用アプリケーション集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジック、若しくは個々のハードウェアコンポーネント、又はそれらの組み合わせを含むことができる。汎用プロセッサは、マイクロプロセッサでよく、あるいはプロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでよい。上述した汎用プロセッサ又は各回路は、デジタル回路で構成されても、又はアナログ回路で構成されてもよい。更に、半導体技術の進歩により現時点での集積回路に置き換わる集積回路化技術が現れれば、この技術による集積回路もまた使用可能となる。
【０１０３】
様々な実施例について説明してきた。これら及び他の実施例は、以下の特許請求の範囲内である。
【０１０４】
＜相互参照＞
この非仮出願は、米国特許法第１１９条の下で、２０１７年３月２６日の仮出願第６２／４７６，８４９号及び２０１７年４月５日の出願第６２／４８２，１２１号の優先権を主張するものであり、その内容の全体は、参照により本明細書に組み込まれる。
【図１】
2020516132.tif 000022
【図２Ａ】
2020516132.tif 000023
【図２Ｂ】
2020516132.tif 000024
【図３】
2020516132.tif 000025
【図４】
2020516132.tif 000026
【図５】
2020516132.tif 000027
【図６】
2020516132.tif 000028
【図７】
2020516132.tif 000029
【図８】
2020516132.tif 000030
【図９】
2020516132.tif 000031
【図１０】
2020516132.tif 000032
【図１１】
2020516132.tif 000033
【国際調査報告】
2020516132.tif 000034
2020516132.tif 000035