(57)【要約】  全方位ビデオに関連する情報をシグナリングする方法であって、特定のリプレゼンテーションに関連付けられる時限メタデータトラックをカプセル化することと、時限メタデータトラックの特定のリプレゼンテーションの関連記述子をシグナリングすることとを含み、関連記述子が、（ｉ）サブピクチャコンポジション識別子の値に関するタイプの関連要素内の文字列（例えば、段落中の［”ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ＝”ａａ”］）と、（ｉｉ）関連要素の定数（例えば、段落中の関連要素のＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性の値としての’ｃｄｔｇ’）とを含む方法が開示される。
2021536163.tif 000002
【特許請求の範囲】
【請求項１】
全方位ビデオに関連する情報をシグナリングする方法であって、
特定のリプレゼンテーションに関連付けられる時限メタデータトラックをカプセル化することと、
前記時限メタデータトラックの前記特定のリプレゼンテーションの関連記述子をシグナリングすることとを含み、
前記関連記述子が、（ｉ）サブピクチャコンポジション識別子の値に関するタイプの関連要素内の文字列と、（ｉｉ）前記関連要素の定数とを含む、方法。
【請求項２】
前記関連記述子が、前記特定のリプレゼンテーションの子要素として存在する、請求項１に記載の方法。
【請求項３】
前記関連記述子に含まれる前記定数が、前記関連要素の関連属性の値を示す、請求項１に記載の方法。
【請求項４】
全方位ビデオに関連する情報を決定する方法であって、
特定のリプレゼンテーションに関連付けられる時限メタデータトラックをデカプセル化することと、
前記時限メタデータトラックの前記特定のリプレゼンテーションの関連記述子を受信することとを含み、
前記関連記述子が、（ｉ）サブピクチャコンポジション識別子の値に関するタイプの関連要素内の文字列と、（ｉｉ）前記関連要素の定数とを含む、方法。
【請求項５】
請求項１〜４に記載の工程のいずれか及び全ての組み合わせを実行するように構成された１つ以上のプロセッサを備える、デバイス。
【請求項６】
請求項１〜４に記載の工程のいずれか及び全ての組み合わせを実行する手段を備える、装置。
【請求項７】
非一時的コンピュータ可読記憶媒体であって、前記媒体上に記憶された命令を含み、前記命令は実行されると、デバイスの１つ以上のプロセッサに、請求項１〜４に記載の前記工程のいずれか及び全ての組み合わせを実行させる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、対話型ビデオ配信の分野に関し、より具体的には、仮想現実アプリケーションにおいてサブピクチャ時限メタデータ情報をシグナリングする技術に関する。
【背景技術】
【０００２】
デジタルメディア再生機能は、いわゆる「スマート」テレビを含むデジタルテレビ、セットトップボックス、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレイヤ、ビデオゲーミングデバイス、いわゆる「スマート」フォンを含む携帯電話、専用ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタルメディアコンテンツ（例えば、ビデオ及び音声プログラム）は、例えば、無線テレビプロバイダ、衛星テレビプロバイダ、ケーブルテレビプロバイダ、いわゆるストリーミングサービスプロバイダを含むオンラインメディアサービスプロバイダなどの複数のソースから送信することができる。デジタルメディアコンテンツは、インターネットプロトコル（Internet Protocol、ＩＰ）ネットワークなどの双方向ネットワーク及びデジタル放送ネットワークなどの単方向ネットワークを含むパケット交換ネットワークで配信され得る。
【０００３】
デジタルメディアコンテンツに含まれるデジタルビデオは、ビデオ符号化規格に従って符号化することができる。ビデオ符号化規格は、ビデオ圧縮技術を組み込むことができる。ビデオ符号化規格の例としては、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ及びＩＴＵ−Ｔ  Ｈ．２６４（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても公知である）並びにＨｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）が挙げられる。ビデオ圧縮技術は、ビデオデータを記憶し送信するデータ要件を低減することを可能にする。ビデオ圧縮技術は、ビデオシーケンスにおける固有の冗長性を利用することにより、データ要件を低減することができる。ビデオ圧縮技術は、ビデオシーケンスを連続的により小さな部分（すなわち、ビデオシーケンス内のフレームの群、フレームの群内のフレーム、フレーム内のスライス、スライス内の符号化ツリー単位（例えば、マクロブロック）、符号化ツリー単位内の符号化ブロックなど）に更なる分割することができる。予測符号化技術を使用して、符号化されるビデオデータの単位とビデオデータの参照単位との間の差分値を生成することができる。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化され得る。シンタックス要素は、残差データと参照符号化単位とを関連付けることができる。残差データ及びシンタックス要素は、規格準拠ビットストリームに含めることができる。規格準拠ビットストリーム及び関連メタデータは、データ構造に従ってフォーマットされ得る。規格準拠ビットストリーム及び関連メタデータは、送信規格に従って、ソースから受信デバイス（例えば、デジタルテレビ又はスマートフォン）に送信してもよい。伝送規格の例としては、デジタルビデオブロードキャスティング（Digital Video Broadcasting、ＤＶＢ）規格、統合デジタル放送サービス規格（Integrated Services Digital Broadcasting、ＩＳＤＢ）規格、及び例えば、ＡＴＳＣ２．０規格を含む、高度テレビジョンシステムズ委員会（Advanced Television Systems Committee、ＡＴＳＣ）によって作成された規格が挙げられる。ＡＴＳＣは、現在、いわゆるＡＴＳＣ３．０の一連の規格を開発している。
【発明の概要】
【０００４】
一実施例は、全方位ビデオに関連する情報をシグナリングする方法であって、特定のリプレゼンテーションに関連付けられる時限メタデータトラックをカプセル化することと、時限メタデータトラックの特定のリプレゼンテーションの関連記述子をシグナリングすることとを含み、関連記述子が、（ｉ）サブピクチャコンポジション識別子の値に関するタイプの関連要素内の文字列と、（ｉｉ）関連要素の定数とを含む、方法である。
【０００５】
一実施例は、全方位ビデオに関連する情報を決定する方法であって、特定のリプレゼンテーションに関連付けられる時限メタデータトラックをデカプセル化することと、時限メタデータトラックの特定のリプレゼンテーションの関連記述子を受信することとを含み、関連記述子が、（ｉ）サブピクチャコンポジション識別子の値に関するタイプの関連要素内の文字列と、（ｉｉ）関連要素の定数とを含む、方法である。
【図面の簡単な説明】
【０００６】
【図１】図１は、本開示の１つ以上の技術に係る、符号化されたビデオデータを送信するように構成され得るシステムの一例を示すブロック図である。
【図２Ａ】図２Ａは、本開示の１つ以上の技術に係る、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。
【図２Ｂ】図２Ｂは、本開示の１つ以上の技術に係る、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。
【図３】図３は、本開示の１つ以上の技術に係る、符号化されたビデオデータ及び対応するデータ構造を示す概念図である。
【図４】図４は、本開示の１つ以上の技術に係る、座標系の例を示す概念図である。
【図５Ａ】図５Ａは、本開示の１つ以上の技術に係る、球体上の領域の例を示す概念図である。
【図５Ｂ】図５Ｂは、本開示の１つ以上の技術に係る、球体上の領域の例を示す概念図である。
【図６】図６は、本開示の１つ以上の技術に係る、投影ピクチャ領域及びパックされたピクチャ領域の例を示す概念図である。
【図７】図７は、本開示の１つ以上の技術に係る、符号化されたビデオデータを送信するように構成され得るシステムの実装形態に含まれ得る構成要素の一例を示す概念的描画である。
【図８】図８は、本開示の１つ以上の技術を実装することができるデータカプセル化部の一例を示すブロック図である。
【図９】図９は、本開示の１つ以上の技術を実施できる受信デバイスの一例を示すブロック図である。
【発明を実施するための形態】
【０００７】
一般に、本開示は、仮想現実アプリケーションに関連付けられた情報をシグナリングする種々の技術を説明する。具体的には、本開示は、サブピクチャ時限メタデータ情報をシグナリングする技術について説明する。いくつかの実施例では、本開示の技術は、伝送規格に関して説明されているが、本明細書において説明される技術は、一般に適用可能であってよいことに留意されたい。例えば、本明細書で説明する技術は、一般に、ＤＶＢ規格、ＩＳＤＢ規格、ＡＴＳＣ規格、Ｄｉｇｉｔａｌ  Ｔｅｒｒｅｓｔｒｉａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔ（ＤＴＭＢ）規格、Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔ（ＤＭＢ）規格、Ｈｙｂｒｉｄ  Ｂｒｏａｄｃａｓｔ  ａｎｄ  Ｂｒｏａｄｂａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ（ＨｂｂＴＶ）規格、ワールドワイドウェブコンソーシアム（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  Ｃｏｎｓｏｒｔｉｕｍ、Ｗ３Ｃ）規格、及びユニバーサルプラグアンドプレイ（Ｕｎｉｖｅｒｓａｌ  Ｐｌｕｇ  ａｎｄ  Ｐｌａｙ、ＵＰｎＰ）規格のうちのいずれかに適用可能である。更に、本開示の技術は、ＩＴＵ−Ｔ  Ｈ．２６４及びＩＴＵ−Ｔ  Ｈ．２６５に関して説明されているが、本開示の技術は、全方位ビデオ符号化を含むビデオ符号化に一般に適用可能であることに留意されたい。例えば、本明細書で説明する符号化技術は、ＩＴＵ−Ｔ  Ｈ．２６５に含まれるもの以外のブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び／又はエントロピ符号化技術を含むビデオ符号化システム（将来のビデオ符号化規格に基づくビデオ符号化システムを含む）に組み込むことができる。従って、ＩＴＵ−Ｔ  Ｈ．２６４及びＩＴＵ−Ｔ  Ｈ．２６５への参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、本明細書での文書の参照による組み込みは、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照のものとは異なる用語の定義を与える場合、かつ／又はその用語が本明細書で使用されるような場合には、その用語は、それぞれの対応する定義を幅広く含むように、及び／又は代わりに特定の定義のそれぞれを含むように解釈されるべきである。
【０００８】
一実施例では、全方位ビデオに関連する情報をシグナリングする方法が、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内に時限メタデータトラックをカプセル化することと、時限メタデータトラックの関連識別子をシグナリングすることとを含み、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を含む。
【０００９】
一実施例では、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内に時限メタデータトラックをカプセル化し、時限メタデータトラックの関連識別子をシグナリングするように構成された１つ以上のプロセッサを備え、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を、デバイスが含む。
【００１０】
一実施例では、非一時的コンピュータ可読記憶媒体が、媒体に記憶された命令を含み、命令はこれが実行された場合に、デバイスの１つ以上のプロセッサに、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内に時限メタデータトラックをカプセル化させ、時限メタデータトラックの関連識別子をシグナリングさせるものであり、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を含む。
【００１１】
一実施例では、装置が、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内に時限メタデータトラックをカプセル化する手段と、時限メタデータトラックの関連識別子をシグナリングする手段とを備え、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を含む。
【００１２】
一実施例では、全方位ビデオに関連する情報を決定する方法が、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内の時限メタデータトラックをデカプセル化することと、時限メタデータトラックの関連識別子をパースすることとを含み、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を含む。
【００１３】
一実施例では、デバイスが、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内の時限メタデータトラックをデカプセル化し、時限メタデータトラックの関連識別子をパースするように構成された１つ以上のプロセッサを備え、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を含む。
【００１４】
一実施例では、非一時的コンピュータ可読記憶媒体が、媒体に記憶された命令を含み、命令は、これが実行された場合には、デバイスの１つ以上のプロセッサに、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内の時限メタデータトラックをデカプセル化させ、かつ時限メタデータトラックの関連識別子をパースさせるものであり、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を含む。
【００１５】
一実施例では、装置が、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内の時限メタデータトラックをデカプセル化し、時限メタデータトラックの関連識別子をパースする手段を備え、関連識別子が、メディアトラックによって実行される全方位メディアに対応する値を含む。
【００１６】
１つ以上の実施例の詳細は、添付の図面及び以下の明細書に記述されている。他の特徴、目的、及び利点は、明細書及び図面から、並びに特許請求の範囲から明らかとなる。
【００１７】
ビデオコンテンツは、典型的には、一連のフレームからなるビデオシーケンスを含む。一連のフレームはまた、ピクチャ群（group of pictures、ＧＯＰ）と呼ばれることがある。各ビデオフレーム又はピクチャは１つ以上のスライスを含むことができ、スライスは複数のビデオブロックを含む。ビデオブロックは、予測的に符号化され得るピクセル値（サンプルとも呼ばれる）の最大アレイとして定義することができる。ビデオブロックは、走査パターン（例えば、ラスター走査）に従って順序付けすることができる。ビデオエンコーダは、ビデオブロック及びその更なる分割に対して予測符号化を実行する。ＩＴＵ−Ｔ  Ｈ．２６４は、１６×１６のルマ（ｌｕｍａ）サンプルを含むマクロブロックを規定する。ＩＴＵ−Ｔ  Ｈ．２６５は、類似の符号化ツリー単位（Coding Tree Unit、ＣＴＵ）構造を規定し、ここで、ピクチャは、等しいサイズのＣＴＵに分割することができ、各ＣＴＵは、１６×１６、３２×３２、又は６４×６４のルマサンプルを有する符号化ツリーブロック（Coding Tree Block、ＣＴＢ）を含むことができる。本明細書で使用されるとき、ビデオブロックという用語は、一般に、ピクチャの領域を指すことがあり、又はより具体的には、予測的に符号化できるピクセル値の最大アレイ、その更なる分割、及び／若しくは対応する構造を指すことがある。更に、ＩＴＵ−Ｔ  Ｈ．２６５によれば、各ビデオフレーム又はピクチャは、１つ以上のタイルを含むように区画化してもよく、ここで、タイルは、ピクチャの矩形領域に対応する符号化ツリー単位のシーケンスである。
【００１８】
ＩＴＵ−Ｔ  Ｈ．２６５では、ＣＴＵのＣＴＢは、対応する四分木ブロック構造に従って符号化ブロック（ＣＢ）に区画化することができる。ＩＴＵ−Ｔ  Ｈ．２６５によれば、１つのルマＣＢは、２つの対応するクロマＣＢ及び関連するシンタックス要素と共に、符号化単位（ＣＵ）と呼ばれる。ＣＵは、ＣＵに対する１つ以上の予測単位（prediction unit、ＰＵ）を定義する予測単位（ＰＵ）構造に関連し、ＰＵは、対応する参照サンプルに関連する。すなわち、ＩＴＵ−Ｔ  Ｈ．２６５では、イントラ予測又はインター予測を使用してピクチャ領域を符号化する決定がＣＵレベルで行われ、ＣＵに関し、イントラ予測又はインター予測に対応する１つ以上の予測を使用して、ＣＵのＣＢに対する参照サンプルを生成することができる。ＩＴＵ−Ｔ  Ｈ．２６５では、ＰＵは、ルマ及びクロマ予測ブロック（prediction block、ＰＢ）を含むことができ、正方形ＰＢはイントラ予測に対してサポートされ、矩形ＰＢはインター予測に対してサポートされる。イントラ予測データ（例えば、イントラ予測モードシンタックス要素）又はインター予測データ（例えば、モーションデータシンタックス要素）は、ＰＵを対応する参照サンプルに関連させることができる。残差データは、ビデオデータの各成分（例えば、ルマ（Ｙ）及びクロマ（Ｃｂ及びＣｒ））に対応する差分値のそれぞれのアレイを含むことができる。残差データは、画素領域内にあってよい。離散コサイン変換（discrete cosine transform、ＤＣＴ）、離散サイン変換（discrete sine transform、ＤＳＴ）、整数変換、ウェーブレット変換、又は概念的に類似の変換などの変換を、画素差分値に適用して、変換係数を生成することができる。ＩＴＵ−Ｔ  Ｈ．２６５では、ＣＵは、更に変換単位（ＴTransform Unit、ＴＵ）に更なる分割できることに留意されたい。すなわち、画素差分値のアレイは、変換係数を生成するために更なる分割することができ（例えば、４つの８×８変換を、１６×１６のルマＣＢに対応する残差値の１６×１６のアレイに適用することができる）、そのような更なる分割は、変換ブロック（Transform Block、ＴＢ）と呼ばれることがある。変換係数は、量子化パラメータ（quantization parameter、ＱＰ）に従って量子化され得る。量子化された変換係数（これはレベル値と呼ばれることがある）は、エントロピ符号化技術（例えば、コンテンツ適応可変長符号化（content adaptive variable length coding、ＣＡＶＬＣ）、コンテキスト適応２値算術符号化（context adaptive binary arithmetic coding、ＣＡＢＡＣ）、確率区間分割エントロピ符号化（probability interval partitioning entropy coding、ＰＩＰＥ）など）に従ってエントロピ符号化することができる。更に、シンタックス要素、例えば、予測モードを示すシンタックス要素なども、エントロピ符号化することができる。エントロピ符号化され量子化された変換係数及び対応するエントロピ符号化されたシンタックス要素は、ビデオデータを再生成するために使用することができる規格準拠ビットストリームを形成することができる。二値化プロセスを、エントロピ符号化プロセスの一部としてシンタックス要素に対して実行することができる。二値化は、シンタックス値を一連の１つ以上のビットに変換するプロセスを指す。これらのビットは、「ビン��と呼ばれることがある。
【００１９】
仮想現実（ＶＲ）アプリケーションは、ヘッドマウントディスプレイでレンダリングすることができるビデオコンテンツを含むことができ、ここでは、ユーザの頭部の向きに対応する全天球映像の領域のみがレンダリングされる。ＶＲアプリケーションは、３６０度ビデオの３６０度全天球映像とも呼ばれる、全方位ビデオによって使用可能にしてよい。全方位ビデオは、典型的には、最大３６０度のシーンをカバーする複数のカメラによってキャプチャされる。通常のビデオと比較した全方位ビデオの明確な特徴は、典型的には、キャプチャされたビデオ領域全体のサブセットのみが表示されること、すなわち、現在のユーザの視野（ＦＯＶ）に対応する領域が表示されることである。ＦＯＶはまた、時に、ビューポートとも呼ばれる。他の場合では、ビューポートは、現在表示され、ユーザによって見られている球面ビデオの一部として説明することができる。ビューポートのサイズは、視野以下でもよいことに留意されたい。更に、全方位ビデオは、モノスコープカメラ又はステレオスコープカメラを使用してキャプチャされ得ることに留意されたい。モノスコープカメラは、オブジェクトの単一視野をキャプチャするカメラを含んでもよい。ステレオスコープカメラは、同じオブジェクトの複数のビューをキャプチャする（例えば、わずかに異なる角度で２つのレンズを使用してビューをキャプチャする）カメラを含んでもよい。場合によっては、ビューポートの中心点は、視点と呼ばれることもあるという点に留意されたい。しかしながら、本明細書で使用するとき、カメラに関連付けられた場合の視点（例えば、カメラ視点）という用語は、オブジェクトのビュー（単数又は複数）をキャプチャするために使用されるカメラに関連付けられた情報（例えば、カメラパラメータ）を指し得る。更に、場合によっては、全方位ビデオアプリケーションで使用する画像は、超広角レンズ（すなわち、いわゆる魚眼レンズ）を使用してキャプチャされ得ることに留意されたい。いずれの場合も、３６０度の球面ビデオを作成するプロセスは、一般に、入力画像をつなぎ合わせること、つなぎ合わされた入力画像を３次元構造（例えば、球体又は立方体）上に投影して、いわゆる投影フレームをもたらし得ることとして説明することができる。更に、場合によっては、投影フレームの領域を、変換し、リサイズし、及び再配置してもよく、これによっていわゆるパックされたフレームをもたらすことができる。
【００２０】
伝送システムは、全方位ビデオを１つ以上の演算デバイスに送信するように構成することができる。演算デバイス及び／又は伝送システムは、１つ以上の抽象化層を含むモデルに基づいてもよく、各抽象化層のデータは、特定の構造、例えば、パケット構造、変調方式などに従って表される。定義された抽象化層を含むモデルの一例は、いわゆる開放型システム間相互接続（ＯＳＩ）モデルである。ＯＳＩモデルは、アプリケーション層、プレゼンテーション層、セッション層、トランスポート層、ネットワーク層、データリンク層、及び物理層を含む、７層スタックモデルを定義する。スタックモデル内の層の記述に関して上位（upper）及び下位（lower）という用語を使用することは、最上層であるアプリケーション層及び最下層である物理層に基づいてもよいという点に留意すべきである。更に、場合によっては、用語「層１」又は「Ｌ１」を使用して、物理層を指すことができ、用語「層２」又は「Ｌ２」を使用して、リンク層を指すことができ、用語「層３」又は「Ｌ３」又は「ＩＰ層」を使用して、ネットワーク層を指すことができる。
【００２１】
物理層は、一般に、電気信号がデジタルデータを形成する層を指すことができる。例えば、物理層は、変調された無線周波数（radio frequency、ＲＦ）シンボルがデジタルデータのフレームをどのように形成するかを定義する層を指すことができる。リンク層と呼ばれることもあるデータリンク層は、送信側での物理層処理前及び受信側での物理層受信後に使用される抽象化を指すことができる。本明細書で使用するとき、リンク層は、送信側でネットワーク層から物理層にデータを伝送するために使用され、受信側で物理層からネットワーク層へデータを伝送するために使用される抽象化を指すことができる。送信側及び受信側は論理的な役割であり、単一のデバイスは、一方のインスタンスにおける送信側と他方のインスタンスにおける受信側の両方として動作できることに留意されたい。リンク層は、特定のパケットタイプ（例えば、モーションピクチャエクスパーツグループ−トランスポートストリーム（Motion Picture Expert Group−Transport Stream、ＭＰＥＧ−ＴＳ）パケット、インターネットプロトコルバージョン４（ＩＰｖ４）パケットなど）にカプセル化された様々な種類のデータ（例えば、ビデオファイル、音声ファイル、又はアプリケーションファイル）を物理層による処理のための単一汎用フォーマットに抽象化することができる。ネットワーク層は、一般に、論理アドレッシングが発生する層を指すことができる。すなわち、ネットワーク層は、一般に、アドレッシング情報（例えば、インターネットプロトコル（ＩＰ）アドレス）を提供することができ、これにより、データパケットをネットワーク内の特定のノード（例えば、演算デバイス）に送達することができる。本発明で使用する場合、ネットワーク層という用語は、リンク層の上の層及び／又はリンク層処理用に受信され得る構造のデータを有する層を指すことができる。トランスポート層、セッション層、プレゼンテーション層、及びアプリケーション層の各々では、ユーザアプリケーションによって使用するデータをどのように送信するかを定義することができる。
【００２２】
参照により本明細書に組み込まれ、また本明細書においてＷａｎｇと記す、ＷａｎｇらによるＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  Ｗ１７８２７  「ＷＤ  ２  ｏｆ  ＩＳＯ／ＩＥＣ  ２３０９０−２  ＯＭＡＦ  ２ｎｄ  ｅｄｉｔｉｏｎ」、Ａｕｇｕｓｔ  ２０１８、Ｌｊｕｂｌｊａｎａ、Ｓｌｏｖｅｎｉａでは、全方位メディアアプリケーションを可能にするメディアアプリケーションフォーマットが定義されている。Ｗａｎｇは、全方位ビデオシーケンスのための座標系；球面ビデオシーケンス又は画像を、それぞれ、２次元矩形ビデオシーケンス又は画像に変換するために使用され得る、投影及び矩形領域ごと（rectangular region−wise）のパッキングの方法；ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔ（ＩＳＯＢＭＦＦ）を使用した全方位メディア及び関連メタデータの記憶；メディアストリーミングシステムにおける全方位メディアのカプセル化、シグナリング、及びストリーミング；並びにメディアプロファイル及びプレゼンテーションプロファイル、を指定する。簡潔にするために、本明細書では、Ｗａｎｇの完全な説明は提供されないことに留意されたい。しかしながら、Ｗａｎｇの関連するセクションは参照される。
【００２３】
Ｗａｎｇは、ビデオがＩＴＵ−Ｔ  Ｈ．２６５に従って符号化されるメディアプロファイルを提供する。ＩＴＵ−Ｔ  Ｈ．２６５は、高効率ビデオ符号化（High Efficiency Video Coding、ＨＥＶＣ），Ｒｅｃに記載されている。ＩＴＵ−Ｔ  Ｈ．２６５（２０１６年１２月）は、参照により本明細書に組み込まれ、本明細書ではＩＴＵ−Ｔ  Ｈ．２６５と呼ばれる。上述のように、ＩＴＵ−Ｔ  Ｈ．２６５によれば、各ビデオフレーム又はピクチャは、１つ以上のスライスを含むように区画化してもよく、１つ以上のタイルを含むように更に区画化してもよい。図２Ａ〜図２Ｂは、スライスを含み、ピクチャを更にタイルに区画化するピクチャ群の一例を示す概念図である。図２Ａに示す例では、Ｐｉｃ４は、２つのスライス（すなわち、Ｓｌｉｃｅ１及びＳｌｉｃｅ２）を含むものとして示されており、各スライスは（例えばラスタ走査順に）ＣＴＵのシーケンスを含む。図２Ｂに示す例では、Ｐｉｃ４は、６つのタイル（すなわち、Ｔｉｌｅ１〜Ｔｉｌｅ６）を含むものとして示されており、各タイルは矩形であり、ＣＴＵのシーケンスを含む。ＩＴＵ−Ｔ  Ｈ．２６５では、タイルは、２つ以上のスライスに包含される符号化ツリー単位からなっていてもよく、スライスは、２つ以上のタイルに包含される符号化ツリー単位からなっていてもよいことに留意されたい。しかしながら、ＩＴＵ−Ｔ  Ｈ．２６５は、以下の条件のうちの１つ又は両方が満たされなければならないと規定している。（１）あるスライス中の全ての符号化ツリー単位は同じタイルに属する、及び（２）あるタイル内の全ての符号化ツリー単位は同じスライスに属する。
【００２４】
３６０度の球面ビデオは、領域を含んでもよい。図３に示す例を参照すると、３６０度の球面ビデオは、領域Ａ、Ｂ、及びＣを含み、図３に示すように、タイル（すなわち、Ｔｉｌｅ１〜Ｔｉｌｅ６）は、全方位ビデオの領域を形成することができる。
図３に示す例では、各領域はＣＴＵを含むものとして示されている。上述のように、ＣＴＵは、符号化ビデオデータのスライス、及び／又はビデオデータのタイルを形成することができる。更に、上述のように、ビデオ符号化技術は、ビデオブロック、その更なる分割、及び／又は対応する構造に従って、ピクチャの領域を符号化してもよく、ビデオ符号化技術は、ビデオ符号化パラメータを、ビデオ符号化構造の様々なレベルで調整すること、例えば、スライス、タイル、ビデオブロック、及び／又は更なる分割に対して調整することを可能にすることに留意されたい。一実施例では、図３に表す３６０度のビデオは、スポーツイベントを表してもよく、領域Ａ及び領域Ｃがスタジアムのスタンドのビューを含み、領域Ｂが競技場のビューを含む（例えば、ビデオは、５０ヤードラインに配置された３６０度カメラによってキャプチャされる）。
【００２５】
上述のように、ビューポートは、現在表示され、ユーザによって見られている球面ビデオの一部であってもよい。したがって、全方位ビデオの領域は、ユーザのビューポートに応じて選択的に配信してもよく、すなわち、ビューポート依存配信が、全方位ビデオストリーミングにおいて可能になり得る。典型的には、ビューポート依存配信を可能にするために、ソースコンテンツは、符号化の前にサブピクチャシーケンスに分割され、各サブピクチャシーケンスは、全方位ビデオコンテンツの空間領域のサブセットをカバーし、そのとき、サブピクチャシーケンスは、互いに独立して単層ビットストリームとして符号化される。例えば、図３を参照すると、領域Ａ、領域Ｂ、及び領域Ｃのそれぞれ、又はこれらの部分のそれぞれが、独立して符号化されたサブピクチャビットストリームに対応し得る。各サブピクチャビットストリームは、それが有するトラックとしてファイル中にカプセル化してもよく、ビューポート情報に基づいて、トラックを受信デバイスに選択的に配信してもよい。場合によっては、サブピクチャが重なり合う可能性があることに留意されたい。例えば、図３を参照すると、Ｔｉｌｅ１、Ｔｉｌｅ２、Ｔｉｌｅ４、及びＴｉｌｅ５がサブピクチャを形成してもよく、Ｔｉｌｅ２、Ｔｉｌｅ３、Ｔｉｌｅ５、及びＴｉｌｅ６がサブピクチャを形成してもよい。したがって、特定のサンプルが複数のサブピクチャ内に含まれてもよい。Ｗａｎｇは、整列して合成されたサンプルが、別のトラックに関連付けられたトラック内のサンプルのうちの１つを含む場合、そのサンプルは、その別のトラック内の特定のサンプルと同じ合成時間（composition time）を有する、又は、同じ合成時間を有するサンプルがその別のトラック内にない場合は、その別のトラック内の特定のサンプルの合成時間と比較して、最も近い先行する合成時間を有する、と規定している。更に、Ｗａｎｇは、構成成分ピクチャが、１つのビューに対応する空間的にフレームパックされた立体的ピクチャの一部を含むか、又はフレームパッキングが使用されていない場合、若しくは時間的インターリーブフレームパッキング構成が使用されている場合にピクチャ自体を含む、と規定している。
【００２６】
上述のように、Ｗａｎｇは、全方位ビデオの座標系を指定する。Ｗａｎｇでは、座標系は、単位球体と、３つの座標軸、すなわちＸ（前後）軸、Ｙ（横方向、左右）軸、及びＺ（垂直、上方）軸、とからなり、３つの軸は球体の中心で交差している。球体上の点の場所は、球体座標方位（φ）及び高度（θ）の対によって識別される。図４は、Ｗａｎｇで指定されるような、球面座標方位（φ）及び高度（θ）のＸ、Ｙ、及びＺ座標軸に対する関係を示す。Ｗａｎｇでは、方位角の値の範囲は、−１８０．０度以上〜１８０．０度未満であり、高度の値の範囲は、−９０．０度以上〜９０．０度以下であることに留意されたい。Ｗａｎｇは、球体上の領域が４つの大円によって指定される場合があり、大円（Ｒｉｅｍａｎｎｉａｎ  ｃｉｒｃｌｅとも呼ばれる）は、球体と、球体の中心点を通過する平面との交点であり、球体の中心と大円の中心とが同一位置にあると指定する。Ｗａｎｇは、球体上の領域が２つの方位円及び２つの高度円によって指定され得ることについて更に記載しており、方位円は、同じ方位値を有する全ての点を接続する球体上の円であり、高度円は、同じ高度値を有する全ての点を接続する球体上の円である。Ｗａｎｇ内の球体領域構造は、様々なタイプのメタデータをシグナリングする基礎をなす。
【００２７】
本明細書で使用される式に関して、以下の算術演算子が使用され得ることに留意されたい。
＋  加算
−  減算（２つの引数演算子として）又はネゲーション（単項プレフィックス演算子として）
＊  行列乗算を含む乗算
ｘｙ  べき乗。ｘのｙ乗を指定する。他のコンテキストでは、そのような表記は、べき乗としての解釈を意図していないスーパースクリプトに使用される。
／  ゼロへの結果切り捨てを伴う整数除算。例えば、７／４及び−７／−４は、１に切り捨てられ、−７／４及び７／−４は、−１に切り捨てられる。
÷  切り捨て又は四捨五入が意図されていない式において除算を表すために使用される。
ｘ／ｙ  切り捨て又は四捨五入が意図されていない式において除算を表すために使用される。
ｘ％ｙ  剰余。ｘをｙで割った余り、ｘ＞＝０かつｙ＞０の整数ｘ及びｙに対してのみ定義される。
本明細書で使用される式に関して、以下の論理演算子が使用され得ることに留意されたい：
ｘ  ＆＆  ｙ  ｘとｙとのブール論理「積」
ｘ｜｜ｙ  ｘとｙとのブール論理「和」
！   ブール論理「否」
ｘ？ｙ：ｚ  ｘが真であるか又は０に等しくない場合はｙ！の値を評価し、そうでない場合はｚの値を評価する。
本明細書で使用される式に関して、以下の関係演算子が使用され得ることに留意されたい。
＞  大なり
＞＝  大なり又は等しい
＜  小なり
＜＝  小なり又は等しい
＝＝  等しい
！＝  等しくない
本明細書で使用されるシンタックスにおいて、ｕｎｓｉｇｎｅｄ  ｉｎｔ（ｎ）は、ｎビットを有する符号なし整数を指すことに留意されたい。更に、ｂｉｔ（ｎ）は、ｎビットを有するビット値を指す。
【００２８】
上述したように、Ｗａｎｇは、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）を使用して、全方向メディア及び関連メタデータを記憶する方法を指定する。Ｗａｎｇは、投影フレームによってカバーされる球体表面の面積を指定するメタデータをサポートするファイルフォーマットを指定する。具体的には、Ｗａｎｇは、以下の定義、シンタックス、及びセマンティックを有する球体領域を指定する球体領域構造を含む。
定義
球体領域構造（ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ）は、球体領域を指定する。
ｃｅｎｔｒｅ＿ｔｉｌｔが０に等しい場合、この構造によって指定される球体領域は、以下のように導出される。
−  ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅの両方が０に等しい場合、この構造によって指定される球面領域は球面上の点である。
−  そうでない場合、球体領域は、以下のように導出される変数である、ｃｅｎｔｒｅＡｚｉｍｕｔｈ、ｃｅｎｔｒｅＥｌｅｖａｔｉｏｎ、ｃＡｚｉｍｕｔｈ１、ｃＡｚｉｍｕｔｈ、ｃＥｌｅｖａｔｉｏｎ１、及びｃＥｌｅｖａｔｉｏｎ２を用いて定義される。
ｃｅｎｔｒｅＡｚｉｍｕｔｈ＝ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ÷６５５３６
ｃｅｎｔｒｅＥｌｅｖａｔｉｏｎ＝ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ÷６５５３６
ｃＡｚｉｍｕｔｈ１＝（ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ−ａｚｉｍｕｔｈ＿ｒａｎｇｅ÷２）÷６５５３６
ｃＡｚｉｍｕｔｈ２＝（ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ＋ａｚｉｍｕｔｈ＿ｒａｎｇｅ÷２）÷６５５３６
ｃＥｌｅｖａｔｉｏｎ１＝（ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ−ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅ÷２）÷６５５３６  ｃＥｌｅｖａｔｉｏｎ２＝（ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ＋ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅ÷２）÷６５５３６
球体領域は、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのこのインスタンスを含む構造のセマンティクスで指定された形状タイプ値を参照して以下のように定義される。
−  形状タイプ値が０に等しい場合、球体領域は、図５Ａに示すように、４つの点ｃＡｚｉｍｕｔｈ１、ｃＡｚｉｍｕｔｈ２、ｃＥｌｅｖａｔｉｏｎ１、ｃＥｌｅｖａｔｉｏｎ２によって定義される４つの大円と、ｃｅｎｔｒｅＡｚｉｍｕｔｈ及びｃｅｎｔｒｅＥｌｅｖａｔｉｏｎによって定義される中心点とによって指定される。
−  形状タイプ値が１に等しい場合、球体領域は、図５Ｂに示すように、４つの点ｃＡｚｉｍｕｔｈ１、ｃＡｚｉｍｕｔｈ２、ｃＥｌｅｖａｔｉｏｎ１、ｃＥｌｅｖａｔｉｏｎ２によって定義される２つの方位円及び２つの高度円と、ｃｅｎｔｒｅＡｚｉｍｕｔｈ及びｃｅｎｔｒｅＥｌｅｖａｔｉｏｎによって定義される中心点とによって指定される。
ｃｅｎｔｒｅ＿ｔｉｌｔが０に等しくない場合、球体領域は、最初に上記のように導出され、次いで、球体原点を起源として球体領域の中心点を通過する軸に沿って傾斜回転が適用され、そのとき、原点から軸の正方向の端に向かって見たときに角度値は時計回りに増加する。最終的な球体領域は、傾斜回転を適用した後のものである。
０に等しい形状タイプ値は、球体領域が図５Ａに表すように４つの大円によって指定されることを示している。
１に等しい形状タイプ値は、図５Ｂに示すように、球体領域が２つの方位円及び２つの高度円によって指定されることを示している。
１より大きい形状タイプ値が予備としてある。
シンタックス
【表１】
2021536163.tif 000003
セマンティクス
ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ、及びｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎは、球体領域の中心を指定する。ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈは、両端値を含む、−１８０＊２１６〜１８０＊２１６−１の範囲にあるものとする。ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎは、両端値を含む、−９０＊２１６〜９０＊２１６の範囲にあるものとする。
ｃｅｎｔｒｅ＿ｔｉｌｔは、球体領域の傾斜角を指定する。ｃｅｎｔｒｅ＿ｔｉｌｔは、両端値を含む、−１８０＊２１６〜１８０＊２１６−１の範囲にあるものとする。
ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、存在する場合、それぞれ、この構造によって指定される球体領域の方位範囲及び高度範囲を２−１６度の単位で指定する。ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、図５Ａ又は図５Ｂに示すように、球体領域の中心点を通る範囲を指定する。ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのこのインスタンスにａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅが存在しない場合、それらは、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのこのインスタンスを含む構造のセマンティクスにおいて指定されると推測される。ａｚｉｍｕｔｈ＿ｒａｎｇｅは、両端値を含む、０〜３６０＊２１６の範囲にあるものとする。ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、両端値を含む、０〜１８０＊２１６の範囲にあるものとする。
ｉｎｔｅｒｐｏｌａｔｅのセマンティクスは、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのこのインスタンスを含む構造のセマンティクスによって指定される。
ＷａｎｇらによるＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  Ｗ１８２２７  「ＷＤ  ４  ｏｆ  ＩＳＯ／ＩＥＣ  ２３０９０−２  ＯＭＡＦ  ２ｎｄ  ｅｄｉｔｉｏｎ」、Ｊａｎａｒｙ  ２０１９、Ｍａｒｒａｋｅｃｈ、Ｍｏｒｒｏｃｏは、Ｗａｎｇのアップデート版であり、参照により本明細書に組み込まれ、本明細書においてＷａｎｇ２と記すことに留意されたい。Ｗａｎｇ２は、球体領域を指定する球体領域構造についてＷａｎｇと同じ定義、シンタックス、及びセマンティクスを含む。
【００２９】
上述のように、Ｗａｎｇ内の球体領域構造は、様々なタイプのメタデータをシグナリングする基礎をなす。球体領域に対して汎用時限メタデータトラックシンタックスを指定することに関して、Ｗａｎｇは、サンプルエントリ及びサンプルフォーマットを指定する。サンプルエントリ構造は、以下の定義、シンタックス、及びセマンティクスを有するものとして指定される。
定義
ちょうど１つのＳｐｈｅｒｅＲｅｇｉｏｎＣｏｎｆｉｇＢｏｘが、サンプルエントリに存在するものとする。ＳｐｈｅｒｅＲｅｇｉｏｎＣｏｎｆｉｇＢｏｘは、サンプルによって指定された球体領域の形状を指定する。サンプル内の球体領域の方位範囲及び高度範囲が変化しない場合、それらはサンプルエントリ内に示され得る。
シンタックス
【表２】
2021536163.tif 000004
セマンティクス
０に等しいｓｈａｐｅ＿ｔｙｐｅは、４つの大円によって指定される球体領域を指定する。１に等しいｓｈａｐｅ＿ｔｙｐｅは、２つの方位円及び２つの高度円によって指定される球体領域を指定する。１より大きいｓｈａｐｅ＿ｔｙｐｅの値が予備としてある。ｓｈａｐｅ＿ｔｙｐｅの値は、（上述の）球体領域を記述する節を、球体領域メタデータトラックのサンプルのセマンティクスに適用する場合に、形状タイプ値として使用される。
ｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇが０に等しいことは、このサンプルエントリを参照する全てのサンプルにおいて、球体領域の方位範囲及び高度範囲がそのまま変化していないことを指定する。ｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇが１に等しいは、球体領域の方位範囲及び高度範囲がサンプルフォーマットで示されることを指定する。
ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、それぞれ、このサンプルエントリを参照する各サンプルに対して、球体領域の方位範囲及び高度範囲を２−１６度の単位で指定する。ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、図５Ａ又は図５Ｂに示すように、球体領域の中心点を通る範囲を指定する。ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅは、両端値を含む、０〜３６０＊２１６の範囲にあるものとする。ｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、両端値を含む、０〜１８０＊２１６の範囲にあるものとする。ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅが存在し、両方とも０に等しい場合、このサンプルエントリを参照する各サンプルの球体領域は、球面上の点である。（上述の）球体領域を記述する節を、球体領域メタデータトラックのサンプルのセマンティクスに適用する場合であって、ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅが存在する場合は、ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅの値は、それぞれ、ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅに等しいと推測される。
ｎｕｍ＿ｒｅｇｉｏｎｓは、このサンプルエントリを参照するサンプル内の球体領域数を指定する。ｎｕｍ＿ｒｅｇｉｏｎｓは、１に等しいものとする。ｎｕｍ＿ｒｅｇｉｏｎｓの他の値は予備とされる。
サンプルフォーマット構造は、以下の定義、シンタックス、及びセマンティクスを有するものとして指定される。
定義
各サンプルは球体領域を指定する。ＳｐｈｅｒｅＲｅｇｉｏｎＳａｍｐｌｅ構造は、導出されたトラック形式で拡張してもよい。
シンタックス
【表３】
2021536163.tif 000005
セマンティクス
上述の球体領域構造節は、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ構造を含むサンプルに適用される。
ターゲットメディアサンプルが、参照メディアトラック内のメディアサンプルであって、その合成時間が、このサンプルの合成時間以上であり、次のサンプルの合成時間未満であるとする。
０に等しいｉｎｔｅｒｐｏｌａｔｅは、このサンプルにおけるｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ、ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ、ｃｅｎｔｒｅ＿ｔｉｌｔ、ａｚｉｍｕｔｈ＿ｒａｎｇｅ（存在する場合）、及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅ（存在する場合）の値が、ターゲットメディアサンプルに適用されることを指定し、１に等しいｉｎｔｅｒｐｏｌａｔｅは、ターゲットメディアサンプルに適用されるｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ、ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ、ｃｅｎｔｒｅ＿ｔｉｌｔ、ａｚｉｍｕｔｈ＿ｒａｎｇｅ（存在する場合）、及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅ（存在する場合）の値が、このサンプル及び前のサンプルにおける対応するフィールドの値から直線的に補間されることを指定する。
同期サンプル、トラックの第１のサンプル、及びトラック断片の第１のサンプルに対するｉｎｔｅｒｐｏｌａｔｅの値は０に等しいものとする。
Ｗａｎｇでは、時限メタデータは、サンプルエントリ及びサンプルフォーマットに基づいてシグナリングしてもよい。例えば、Ｗａｎｇは、以下の定義、シンタックス、及びセマンティクスを有する初期ビューイング方向メタデータを含む。
定義
このメタデータは、関連付けられたメディアトラック、又は画像アイテムとして記憶された単一の全方位画像を再生する場合に使用されるべき初期ビューイング方向を示す。このタイプのメタデータの非存在下では、ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ、ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ、及びｃｅｎｔｒｅ＿ｔｉｌｔは、全て０に等しいと推測されたい。
ＯＭＡＦ（全方位メディアフォーマット）プレイヤは、指示された又は推定されたｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ、ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ、及びｃｅｎｔｒｅ＿ｔｉｌｔを以下のように使用するべきである。
−  ＯＭＡＦプレイヤの方向／ビューポートメタデータが、ビューイングデバイスに含まれるか又はそれに取り付けられた方向センサを基礎にして取得される場合、ＯＭＡＦプレイヤは、
・ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ値のみに従うべきであり、かつ、
・ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ及びｃｅｎｔｒｅ＿ｔｉｌｔの値を無視し、代わりに方向センサからのそれぞれの値を使用するべきである。
−  そうでない場合は、ＯＭＡＦプレイヤは、ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ、ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ、及びｃｅｎｔｒｅ＿ｔｉｌｔの３つ全てに従うべきである。
トラックサンプルエントリタイプ「初期ビュー方向時限メタデータ」を使用するものとする。
サンプルエントリのＳｐｈｅｒｅＲｅｇｉｏｎＣｏｎｆｉｇＢｏｘにおいて、ｓｈａｐｅ＿ｔｙｐｅは０に等しいものとし、ｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇは０に等しいものとし、ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ０に等しいものとし、ｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは０に等しいものとする。
注記：このメタデータは、どの方位範囲及び高度範囲がビューポートによってカバーされているかにかかわらず、任意のビューポートに適用される。したがって、ｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇ、ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ、及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、このメタデータが関連し、したがって０に等しい必要があるビューポートの寸法に影響を与えない。ＯＭＡＦプレイヤが上記で結論付けたようにｃｅｎｔｒｅ＿ｔｉｌｔの値に従う場合、ｃｅｎｔｒｅ＿ｔｉｌｔの値は、ビューポートを表示する際に実際に使用されているものに等しいビューポートの球体領域の方位範囲及び高度範囲を設定することによって解釈することができる。
シンタックス
【表４】
2021536163.tif 000006
セマンティクス
注記１：  サンプル構造がＳｐｈｅｒｅＲｅｇｉｏｎＳａｍｐｌｅから拡張する場合、ＳｐｈｅｒｅＲｅｇｉｏｎＳａｍｐｌｅのシンタックス要素はサンプルに含まれる。ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ、ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ、及びｃｅｎｔｒｅ＿ｔｉｌｔは、グローバル座標軸に対するビューイング方向を２−１６度の単位で指定する。ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ及びｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎは、ビューポートの中心を示し、ｃｅｎｔｒｅ＿ｔｉｌｔは、ビューポートの傾斜角を示す。
ｉｎｔｅｒｐｏｌａｔｅは、０に等しいものとする。
関連するメディアトラックにおける時間並列サンプルからの再生開始時に、示されたビューイング方向が使用されるべきであることを、０に等しいｒｅｆｒｅｓｈ＿ｆｌａｇは指定する。各関連メディアトラックの時間並列サンプルをレンダリングする時、すなわち、連続再生時と、時間並列サンプルからの再生開始時との両方で、示されたビューイング方向が常に使用されるべきであることを、１に等しいｒｅｆｒｅｓｈ＿ｆｌａｇは指定する。
注記２：１に等しいｒｅｆｒｅｓｈ＿ｆｌａｇは、コンテンツ作成者が、ビデオを連続して再生する場合でも、特定のビューイング方向が推奨されることを示すことを可能にする。例えば、１に等しいｒｅｆｒｅｓｈ＿ｆｌａｇは、シーンカット位置を示すことができる。
更に、Ｗａｎｇは、以下のように推奨ビューポート時限メタデータトラックを指定する。
推奨ビューポート時限メタデータトラックは、ユーザが視聴方位の制御を有さないとき、又は視聴方位の制御を解除したときに表示されるべきビューポートを示す。
注記：推奨ビューポート時限メタデータトラックは、ディレクタのカットに基づいて、又は視聴統計の測定値に基づいて、推奨ビューポートを示すために使用されてもよい。
トラックサンプルエントリタイプ’ｒｃｖｐ’を使用するものとする。
このサンプルエントリタイプのサンプルエントリは、以下のように指定される。
【表５】
2021536163.tif 000007
ｖｉｅｗｐｏｒｔ＿ｔｙｐｅは、表１に列挙されるように、推奨ビューポートのタイプを指定する。
【表６】
2021536163.tif 000008
ｖｉｅｗｐｏｒｔ＿ｄｅｓｃｒｉｐｔｉｏｎは、推奨ビューポートのテキスト記述を提供する、ヌル終端ＵＴＦ−８文字列である。
ＳｐｈｅｒｅＲｅｇｉｏｎＳａｍｐｌｅのサンプルシンタックスを使用するものとする。
サンプルエントリのＳｐｈｅｒｅＲｅｇｉｏｎＣｏｎｆｉｇＢｏｘにおいて、ｓｈａｐｅ＿ｔｙｐｅは０に等しいものとする。
ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、それが存在する場合、又はａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、それが存在する場合、それらは推奨ビューポートの方位範囲及び高度範囲をそれぞれ示す。
ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ及びｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎは、グローバル座標軸線に対する推奨ビューポートの中心点を示す。ｃｅｎｔｒｅ＿ｔｉｌｔは、推奨ビューポートの傾斜角を示す。
Ｗａｎｇは、オーバーレイ（例えば、ロゴ）をオン及びオフにすることを可能にするオーバーレイ構造を更に含む。オーバーレイは、３６０度のビデオコンテンツ上での視覚媒体のレンダリングとして定義することができる。視覚媒体は、ビデオ、画像、及びテキストのうちの１つ以上を含んでもよい。具体的には、Ｗａｎｇは、オーバーレイ構造のための、以下の定義、シンタックス、及びセマンティクスを提供する。
定義
ＯｖｅｒｌａｙＳｔｒｕｃｔは各オーバーレイ毎にオーバーレイ関連メタデータを指定する。
シンタックス
【表７】
2021536163.tif 000009
セマンティクス
ｎｕｍ＿ｏｖｅｒｌａｙｓは、この構造によって説明されるオーバーレイの数を指定する。０に等しいｎｕｍ＿ｏｖｅｒｌａｙｓが予備としてある。
ｎｕｍ＿ｆｌａｇ＿ｂｙｔｅｓは、ｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ［ｉ］シンタックス要素によって集合的に割り当てられたバイト数を指定する。０に等しいｎｕｍ＿ｆｌａｇ＿ｂｙｔｅｓが予備としてある。
ｏｖｅｒｌａｙ＿ｉｄは、オーバーレイの一意の識別子を提供する。２つのオーバーレイが同じｏｖｅｒｌａｙ＿ｉｄ値を有さないものとする。
ｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ［ｉ］が１に設定された場合、このことは、ｉ番目のｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｓｔｒｕｃｔ［ｉ］で定義される構造が存在することを定義している。ＯＭＡＦプレイヤは、全てのｉの値と、それらについてのｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｆｌａｇ［ｉ］の値との両値を考慮する。
０に等しいｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｅｓｓｅｎｔｉａｌ＿ｆｌａｇ［ｉ］は、ＯＭＡＦプレイヤがｉ番目のｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｓｔｒｕｃｔ［ｉ］で定義される構造を処理する必要がないことを指定する。１に等しいｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｅｓｓｅｎｔｉａｌ＿ｆｌａｇ［ｉ］は、ＯＭＡＦプレイヤがｉ番目のｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｓｔｒｕｃｔ［ｉ］で定義される構造を処理するものとすることを指定する。ｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｅｓｓｅｎｔｉａｌ＿ｆｌａｇ［ｉ］が１に等しく、かつＯＭＡＦプレイヤがｉ番目のｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｓｔｒｕｃｔ［ｉ］で定義される構造をパース又は処理することができない場合、ＯＭＡＦプレイヤは、この構造によって指定されたオーバーレイもバックグラウンドの視覚媒体も表示しないものとする。
ｂｙｔｅ＿ｃｏｕｎｔ［ｉ］は、ｉ番目のｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｓｔｒｕｃｔ［ｉ］で表される構造のバイト数を与える。
ｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｓｔｒｕｃｔ［ｉ］［ｂｙｔｅ＿ｃｏｕｎｔ［ｉ］］は、ｂｙｔｅ＿ｃｏｕｎｔ［ｉ］で定義されるバイト数を有するｉ番目の構造を定義する。
Ｗａｎｇは、動的オーバーレイ時限メタデータトラックを更に含み、これは、特定の時間にどのオーバーレイがアクティブであるか、かつこのアクティブなオーバーレイがアプリケーションに応じて時間と共に変化し得ることを示し、また時間とともに動的に変化し得るオーバーレイパラメータを示している。Ｗａｎｇでは、オーバーレイ時限メタデータトラックは、’ｃｄｓｃ’トラック参照を利用することにより、それぞれの視覚媒体トラックにリンクされる。Ｗａｎｇでは、動的オーバーレイ時限メタデータトラックが、以下のサンプルエントリ構造、並びにサンプルのシンタックス及びセマンティクスを含む。
サンプルエントリ
【表８】
2021536163.tif 000010
オーバーレイ時限メタデータトラックのサンプルエントリは、ＯｖｅｒｌａｙＣｏｎｆｉｇＢｏｘを含み、このＯｖｅｒｌａｙＣｏｎｆｉｇＢｏｘは、以下の条件の両方が真であるときに選択的に適用される、ＯｖｅｒｌａｙＳｔｒｕｃｔのデフォルトのシンタックス要素値を含む。
同じｏｖｅｒｌａｙ＿ｉｄがサンプル中に存在する。
ｂｙｔｅ＿ｃｏｕｎｔ［ｉ］が、存在し、かつオーバーレイ時限メタデータサンプルのＯｖｅｒｌａｙＳｔｒｕｃｔ内の特定のｏｖｅｒｌａｙ＿ｉｄについて０に等しい場合に、サンプルエントリの、同じｏｖｅｒｌａｙ＿ｉｄ値についてｏｖｅｒｌａｙ＿ｃｏｎｔｒｏｌ＿ｓｔｒｕｃｔ［ｊ］［ｂｙｔｅ＿ｃｏｕｎｔ［ｊ］］が適用される。
サンプル
【表９】
2021536163.tif 000011
ｎｕｍ＿ａｃｔｉｖｅ＿ｏｖｅｒｌａｙｓ＿ｂｙ＿ｉｄは、アクティブなサンプルエントリＯｖｅｒｌａｙＳａｍｐｌｅＥｎｔｒｙでシグナリングされるＯｖｅｒｌａｙＳｔｒｕｃｔ（）構造からのオーバーレイの数を指定する。０の値は、サンプルエントリからのオーバーレイのうちアクティブなものが無いことを示す。
ａｄｄｌ＿ａｃｔｉｖｅ＿ｏｖｅｒｌａｙｓ＿ｆｌａｇが１に等しいことは、追加のアクティブオーバーレイがオーバーレイ構造（ＯｖｅｒｌａｙＳｔｒｕｃｔ（））のサンプルに直接的にシグナリングされることを指定する。ａｄｄｌ＿ａｃｔｉｖｅ＿ｏｖｅｒｌａｙｓ＿ｆｌａｇが０に等しいことは、追加のアクティブオーバーレイがオーバーレイ構造（ＯｖｅｒｌａｙＳｔｒｕｃｔ（））のサンプルに直接的にシグナリングされないことを指定する。
ａｃｔｉｖｅ＿ｏｖｅｒｌａｙ＿ｉｄは、現在アクティブなサンプルエントリからシグナリングされたオーバーレイのオーバーレイ識別子を提供する。各ａｃｔｉｖｅ＿ｏｖｅｒｌａｙ＿ｉｄについて、サンプルエントリＯｖｅｒｌａｙＳａｍｐｌｅＥｎｔｒｙのＯｖｅｒｌａｙＳｔｒｕｃｔ（）構造は、合致するｏｖｅｒｌａｙ＿ｉｄ値を有するオーバーレイを含むものとする。
ＯＭＡＦプレーヤが、任意の特定の時間でアクティブなオーバーレイのみを表示するものとし、非アクティブなオーバーレイを表示しないものとする。サンプルのｎｕｍ＿ｏｖｅｒｌａｙｓが、サンプルエントリ内のｎｕｍ＿ｏｖｅｒｌａｙｓと等しい必要はなく、サンプルのｏｖｅｒｌａｙ＿ｉｄ値のセットは、サンプルエントリ内のｏｖｅｒｌａｙ＿ｉｄ値のセットと同じである必要はない。
サンプルによる特定のオーバーレイのアクティブ化は、以前のサンプル（単数又は複数）からの、任意の以前にシグナリングされたオーバーレイの非アクティブ化をもたらす。
Ｗａｎｇは、メディアトラック又はトラックグループに対する時限メタデータトラックの関連性が、（１）’ｃｄｓｃ’トラック参照によるメディアトラックとの関連性、及び（２）’ｃｄｔｇ’トラック参照によるメディアトラックとの関連性をどこに含むかを更に提示する。時限メタデータトラックが’ｃｄｓｃ’トラック参照によって１つ以上のメディアトラックにリンクされる場合、これは、各メディアトラックを個別的に記述する。
【００３０】
’ｃｄｔｇ’トラック参照を含む時限メタデータトラックは、参照されるメディアトラック及びトラックグループを集合的に記述する。’ｃｄｔｇ’トラック参照は、時限メタデータトラック内にのみ存在するものとする。ｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ値に対する’ｃｄｓｃ’トラック参照を含む時限メタデータトラックは、トラックグループ内の各トラックを個別に記述する。時限メタデータトラックが’２ｄｃｃ’タイプのトラックグループに対する’ｃｄｔｇ’トラック参照を含む場合、時限メタデータトラックは、コンポジションピクチャを記述する。
上述のように、Ｗａｎｇは、球面ビデオシーケンスを２次元矩形ビデオシーケンスに変換するために使用され得る、投影及び矩形領域ごとのパッキング方法を指定する。このようにして、Ｗａｎｇは、以下の定義、シンタックス、及びセマンティクスを有する領域ごとのパッキング構造を指定する。
定義
ＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＳｔｒｕｃｔは、パックされた領域と、対応する投影領域との間のマッピングを指定し、存在する場合は、ガードバンドの場所及びサイズを指定する。
注記：情報のなかでも、ＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＳｔｒｕｃｔは、２Ｄデカルトピクチャ領域におけるコンテンツカバレージ情報も提供する。
この節のセマンティクスにおける復号されたピクチャは、このシンタックス構造用のコンテナに応じて以下のうちのいずれか１つである。
ビデオについては、復号されたピクチャは、ビデオトラックのサンプルから得られる復号出力である。
画像節の場合、復号化されたピクチャは、その画像節の再構成画像である。
ＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＳｔｒｕｃｔの内容は、情報提供のために以下に要約され、一方で、基準としてのセマンティクスが、本節において後に続く。
投影ピクチャの幅及び高さは、それぞれ、ｐｒｏｊ＿ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ及びｐｒｏｊ＿ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔで明示的にシグナリングされる。
パックされたピクチャの幅及び高さは、それぞれ、ｐａｃｋｅｄ＿ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ及びｐａｃｋｅｄ＿ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔで明示的にシグナリングされる。
投影ピクチャが立体的であり、上部−底部又は横並びのフレームパックされた構成を有する場合、１に等しいｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇは、以下を指定する。
・このシンタックス構造における投影領域情報、パックされた領域情報、及びガードバンド領域情報は、各構成成分ピクチャに個別に適用され、
・パックされたピクチャ及び投影ピクチャは、同じ立体的フレームパックフォーマットを有し、
・投影領域及びパックされた領域の数は、シンタックス構造におけるｎｕｍ＿ｒｅｇｉｏｎｓの値によって示される数の２倍である。
ＲｅｇｉｏｎＷｉｓｅＰａｃｋｉｎｇＳｔｒｕｃｔは、ループを含み、ループエントリは、両方の構成成分ピクチャにおいて、対応する投影領域及びパックされた領域に対応する（ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇが１に等しい場合）、又は投影領域及びそれぞれのパックされた領域（ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇが０に等しい場合）に対応し、ループエントリは以下を含む。
・パックされた領域に対するガードバンドの存在を示すフラグ、
・パッキングタイプ（なお、Ｗａｎｇでは、矩形領域ごとのパッキングのみが指定される）、
・投影領域と、矩形領域パッキング構造ＲｅｃｔＲｅｇｉｏｎＰａｃｋｉｎｇ（ｉ）内のそれぞれのパックされた領域との間のマッピング、
・ガードバンドが存在する場合、パックされた領域のためのガードバンド構造ＧｕａｒｄＢａｎｄ（ｉ）。
矩形領域パッキング構造ＲｅｃｔＲｅｇｉｏｎＰａｃｋｉｎｇ（ｉ）の内容は、以下に有益に要約され、一方で、基準としてのセマンティクスが、本節において後に続く。
ｐｒｏｊ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］、ｐｒｏｊ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］、ｐｒｏｊ＿ｒｅｇ＿ｔｏｐ［ｉ］、及びｐｒｏｊ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、ｉ番目の投影領域の幅、高さ、上部オフセット、及び左オフセットをそれぞれ指定する。
ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ［ｉ］は、回転及びミラーリングを指定し、それらが存在する場合に、それらがｉ番目のパックされた領域に適用され、それをｉ番目の投影領域に再マッピングする。
ｐａｃｋｅｄ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｔｏｐ［ｉ］、及びｐａｃｋｅｄ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、ｉ番目のパックされた領域の幅、高さ、上部オフセット、左オフセットをそれぞれ指定する。
ガードバンド構造ＧｕａｒｄＢａｎｄ（ｉ）の内容は、情報提供のために以下に要約され、一方で、基準としてのセマンティクスが、本節において後に続く。
ｌｅｆｔ＿ｇｂ＿ｗｉｄｔｈ［ｉ］，ｒｉｇｈｔ＿ｇｂ＿ｗｉｄｔｈ［ｉ］，ｔｏｐ＿ｇｂ＿ｈｅｉｇｈｔ［ｉ］，又はｂｏｔｔｏｍ＿ｇｂ＿ｈｅｉｇｈｔ［ｉ］は、それぞれ、ｉ番目のパックされた領域の左側の、右側の、上方の、又は下方のガードバンドのサイズを指定する。
ｇｂ＿ｎｏｔ＿ｕｓｅｄ＿ｆｏｒ＿ｐｒｅｄ＿ｆｌａｇ［ｉ］は、インター予測プロセスにおける参照としてガードバンドが使用されないような制約が、符号化に課されているかどうかを示す。
ｇｂ＿ｔｙｐｅ［ｉ］［ｊ］は、ｉ番目のパックされた領域のガードバンドのタイプを指定する。
図６は、投影ピクチャ内にある投影領域の位置及びサイズ（左側）、並びにガードバンドを有するパックされたピクチャ内にあるパックされた領域の位置及びサイズ（右側）の例を示す。この例は、ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇの値が０に等しいときに適用される。
シンタックス
【表１０】
2021536163.tif 000012
セマンティクス
ｐｒｏｊ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］、ｐｒｏｊ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］、ｐｒｏｊ＿ｒｅｇ＿ｔｏｐ［ｉ］、及びｐｒｏｊ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、それぞれ、投影ピクチャ内（ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇが０に等しい場合）、又は投影ピクチャの構成成分ピクチャ内（ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇが１に等しい場合）のいずれかにおける、ｉ番目の投影領域の幅、高さ、上部オフセット、及び左オフセットを指定する。ｐｒｏｊ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］、ｐｒｏｊ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］、ｐｒｏｊ＿ｒｅｇ＿ｔｏｐ［ｉ］、及びｐｒｏｊ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、投影ピクチャサンプルを単位とした相対値で示される。
注記１：２つの投影領域は、部分的に又は完全に互いに重なり合っていてもよい。
例えば、領域ごとの品質ランク指標によって、品質差の指標が存在する場合、任意の２つの重複する投影領域の重複領域に対して、より高い品質を有することが示される投影領域に対応するパックされた領域がレンダリングに使用されるべきである。
ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ［ｉ］は、ｉ番目のパックされた領域に適用されて、それをｉ番目の投影領域に再マッピングする回転及びミラーリングを指定する。ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ［ｉ］が回転及びミラーリングの両方を指定する場合、回転は、パックされた領域のサンプル場所を投影領域のサンプル場所に変換するために、ミラーリングの前に適用される。以下の値が指定される。
０：変換なし
１：水平ミラーリング
２：１８０度（反時計回り）回転
３：水平方向にミラーリングする前に１８０度（反時計回り）回転
４：水平方向にミラーリングする前に９０度（反時計回り）回転
５：９０度（反時計回り）回転
６：水平方向にミラーリングする前に２７０度（反時計回り）回転
７：２７０度（反時計回り）回転
注記２：Ｗａｎｇは、パックされたピクチャ内のパックされた領域のサンプル位置をプロジェクピクチャ内の投影領域のサンプル位置に変換するためにｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ［ｉ］のセマンティクスを指定する。
ｐａｃｋｅｄ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｔｏｐ［ｉ］、及びｐａｃｋｅｄ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、それぞれ、パックされたピクチャ内（ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇが０に等しい場合）、又はパックされたピクチャの各構成成分ピクチャ内（ｃｏｎｓｔｉｔｕｅｎｔ＿ｐｉｃｔｕｒｅ＿ｍａｔｃｈｉｎｇ＿ｆｌａｇが１に等しい場合）のいずれかにおける、ｉ番目のパックされた領域の幅、高さ、オフセット、及び左オフセットを指定する。ｐａｃｋｅｄ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｔｏｐ［ｉ］、及びｐａｃｋｅｄ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、パックされたピクチャサンプルを単位とした相対値で示される。ｐａｃｋｅｄ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］、ｐａｃｋｅｄ＿ｒｅｇ＿ｔｏｐ［ｉ］、及びｐａｃｋｅｄ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、復号ピクチャ内における、ルマサンプルを単位とする水平及び垂直座標の整数値を表すものとする。
注記：２つのパックされた領域は、部分的に又は完全に互いに重なり合っていてもよい。
Ｗａｎｇは、パックされた領域内のルマサンプル位置を、対応する投影領域のルマサンプル位置へと再マッピングする、矩形領域ごとのパッキングプロセスの逆プロセスを更に指定する：
このプロセスへの入力は以下の通りである。
パックされた領域内のサンプル位置（ｘ，ｙ）であって、ｘ及びｙが、パックされたピクチャサンプルを単位とした相対値である一方、サンプル位置が、パックされたピクチャ内の整数サンプル位置である、
投影領域の幅及び高さ（ｐｒｏｊＲｅｇＷｉｄｔｈ、ｐｒｏｊＲｅｇＨｅｉｇｈｔ）であって、投影ピクチャサンプルを単位とした相対値である、
パックされた領域の幅及び高さ（ｐａｃｋｅｄＲｅｇＷｉｄｔｈ、ｐａｃｋｅｄＲｅｇＨｅｉｇｈｔ）であって、パックされたピクチャサンプルを単位とした相対値である、
変換タイプ（ｔｒａｎｓｆｏｒｍＴｙｐｅ）、及び
０以上１未満の範囲におけるサンプリング位置のオフセット値（ｏｆｆｓｅｔＸ，ｏｆｆｓｅｔＹ）であって、それぞれパックされたピクチャサンプルを単位とした水平及び垂直の相対値である。
注記：ｏｆｆｓｅｔＸ及びｏｆｆｓｅｔＹが両方とも０．５に等しいことは、パックされたピクチャサンプルを単位としたサンプルの中心点にあるサンプリング位置を意味する。
このプロセスの出力は以下の通りである：
投影領域内のサンプル位置（ｈＰｏｓ，ｖＰｏｓ）の中心点、
ここで、ｈＰｏｓ及びｖＰｏｓは、投影ピクチャサンプルを単位とした相対値であり、非整数の実数値を有し得る。
出力は、以下のように導出される。
【表１１】
2021536163.tif 000013
簡潔のため、矩形領域パックされた構造、ガードバンド構造、及び領域ごとのパックされた構造の完全なシンタックス及びセマンティクスは、本明細書では提供されないことに留意されたい。更に、本明細書では、領域別パッキング変数の完全な導出、及び領域ごとのパッキング構造のシンタックス要素に対する制約を提供しない。しかしながら、Ｗａｎｇの関連するセクションを参照する。
【００３１】
上述のように、Ｗａｎｇは、メディアストリーミングシステムにおいて、全方位メディアのカプセル化、シグナリング、及びストリーミングを指定している。特に、Ｗａｎｇは、動的適応ストリーミング・オーバー・ハイパーテキストトランスファープロトコル（ＨＴＴＰ）（ＤＡＳＨ）を使用して、全方位メディアをどのようにカプセル化、シグナリング、及びストリーミングするかを指定している。ＤＡＳＨは、ＩＳＯ／ＩＥＣ：ＩＳＯ／ＩＥＣ  ２３００９−１：２０１４，”Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ−Ｄｙｎａｍｉｃ  ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ（ＤＡＳＨ）−Ｐａｒｔ  １：Ｍｅｄｉａ  ｐｒｅｓｅｎｔａｔｉｏｎ  ｄｅｓｃｒｉｐｔｉｏｎ  ａｎｄ  ｓｅｇｍｅｎｔ  ｆｏｒｍａｔｓ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，２ｎｄ  Ｅｄｉｔｉｏｎ，５／１５／２０１４（以下、”ＩＳＯ／ＩＥＣ  ２３００９−１：２０１４”）に記載されており、本明細書に参照によって組み込まれる。ＤＡＳＨメディアプレゼンテーションは、データセグメント、ビデオセグメント、及び音声セグメントを含むことができる。いくつかの実施例では、ＤＡＳＨメディアプレゼンテーションは、サービスプロバイダによって定義された所与の期間の線形サービス又は線形サービスの一部（例えば、単一のＴＶ番組、又はある期間にわたる連続した線形ＴＶ番組のセット）に対応することができる。ＤＡＳＨによれば、メディアプレゼンテーション記述（ＭＰＤ）は、適切なＨＴＴＰ−ＵＲＬを構築し、セグメントにアクセスしてストリーミングサービスをユーザに提供するのに、ＤＡＳＨクライアントから要求されるメタデータを含むドキュメントである。ＭＰＤドキュメントフラグメントは、拡張可能マークアップ言語（ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ、ＸＭＬ）符号化メタデータフラグメントのセットを含むことができる。
【００３２】
ＭＰＤのコンテンツは、セグメントのためのリソース識別子及びメディアプレゼンテーション内の識別されたリソースのためのコンテキストを提供する。ＭＰＤフラグメントのデータ構造及びセマンティックは、ＩＳＯ／ＩＥＣ２３００９−１：２０１４に関して記載されている。更に、ＩＳＯ／ＩＥＣ２３００９−１のドラフト版が現在提案されているということに留意されたい。したがって、本明細書において使用されているように、ＭＰＤは、ＩＳＯ／ＩＥＣ２３００９−１：２０１４に記載されているようなＭＰＤ、現在提案されているＭＰＤ、及び／又はこれらの組み合わせを含むことができる。ＩＳＯ／ＩＥＣ２３００９−１：２０１４において、ＭＰＤに記載されているようなメディアプレゼンテーションは、１つ以上のピリオド（Ｐｅｒｉｏｄ）のシーケンスを含むことができ、各ピリオドは、１つ以上のアダプテーションセット（Ａｄａｐｔａｔｉｏｎ  Ｓｅｔ）を含むことができる。アダプテーションセットが複数のメディアコンテンツコンポーネントを含む場合、各メディアコンテンツコンポーネントを個別に記述できることに留意されたい。各アダプテーションセットは、１つ以上のリプレゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を含むことができる。ＩＳＯ／ＩＥＣ２３００９−１：２０１４において、各リプレゼンテーションは、次のように明記されている：（１）単一セグメントの場合、サブセグメントがリプレゼンテーションをとおしてアダプテーションセットに整列される、及び（２）セグメントのシーケンスの場合、各セグメントは、テンプレートで生成されたユニバーサルリソースロケータ（Ｕｎｉｖｅｒｓａｌ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ、ＵＲＬ）によってアドレス指定可能である。各メディアコンテンツコンポーネントのプロパティは、ＡｄａｐｔａｔｉｏｎＳｅｔ要素、及び／又は例えば、ＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔ要素を含むＡｄａｐｔｉｏｎＳｅｔ内の要素によって記述することができる。球体領域構造は、様々な記述子に対してシグナリングするＤＡＳＨ記述子の基礎をなすことに留意されたい。
【００３３】
Ｗａｎｇは、例えば、上で指定したトラックサンプルエントリタイプ’ｉｎｖｏ’、’ｒｃｖｐ’、’ｄｙｏｌ’の時限メタデータトラックが、ＤＡＳＨリプレゼンテーション内のどこにカプセル化され得るかを提示しており、このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＩｄ属性は、メディアトラックによって実行される全方位メディアを含むリプレゼンテーションの＠ｉｄ属性の１つ以上の値を含むものとし、それらの値は、上で指定した’ｃｄｓｃ’トラック参照によって時限メタデータトラックに関連付けられており、このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＴｙｐｅ属性は、’ｃｄｓｃ’と等しいものとする。Ｗａｎｇは、関連性のシグナリングに関して以下を更に提示する。
「ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ：２０１８：ａｓｓｏｃ」と等しい＠ｓｃｈｅｍｅＩｄＵｒｉ属性を有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素は、関連記述子と呼ばれる。
１つ以上の関連記述子が、アダプテーションセットレベル、リプレゼンテーションレベル、事前選択レベルで存在してもよい。
アダプテーションセット／リプレゼンテーション／事前選択要素内に含まれる関連記述子は、この要素の記述子の親要素（すなわち、アダプテーションセット／リプレゼンテーション／事前選択要素）が、ｏｍａｆ２：Ａｓｓｏｃｉａｔｉｏｎ要素におけるＸＰａｔｈクエリによって示されるＭＰＤの１つ以上の要素、及びｏｍａｆ２：＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔによってシグナリングされる関連タイプ、に関連付けられることを示す。
関連記述子の＠ｖａｌｕｅ属性は存在しないものとする。関連記述子は、表２に指定する属性を有する１つ以上の関連要素を含むものとする。
【表１２】
2021536163.tif 000014
様々な要素及び属性のデータタイプは、ＸＭＬスキーマ内に定義されたとおりであるものとする。このためのＸＭＬスキーマは、以下に示すとおりとする。スキーマは、名前空間ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ：２０１８を有するＸＭＬスキーマで表されるものとし、以下のように指定される。
【表１３】
2021536163.tif 000015
Ｗａｎｇは、サブピクチャリプレゼンテーションのシグナリングに関して以下を更に提示する：
同じ２Ｄ空間関係トラックグループに属するサブピクチャトラックを実行するサブピクチャリプレゼンテーションが、表３に指定するように、ＡｄａｐｔａｔｉｏｎＳｅｔ要素の子要素としてシグナリングされるサブピクチャコンポジション識別子要素ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄによって示されてもよい。
ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ要素は、アダプテーションセットレベルで存在してもよく、任意の他のレベルで存在しないものとする。
【表１４】
2021536163.tif 000016
その要素のデータ型は、ＸＭＬスキーマ内に定義されたとおりであるものとする。この要素のＸＭＬスキーマは、以下に示すとおりとする。規定のスキーマは、名前空間ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ：２０１８を有するＸＭＬスキーマで表されるものとし、以下のように指定される。
【表１５】
2021536163.tif 000017
上述のように、Ｗａｎｇは、ＤＡＳＨアダプテーションセット／リプレゼンテーションと、ＡｄａｐｔａｔｉｏｎＳｅｔ要素の子要素としてシグナリングされ得るサブピクチャコンポジション識別子要素（ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ）との間の関連性を指定することを可能にする関連記述子を提示する。しかしながら、Ｗａｎｇは、サブピクチャコンポジションに対応するアダプテーションセットと時限メタデータリプレゼンテーションとの間の関連性をシグナリングするメカニズムを提示しない。以下で更に詳細に記載するように、本明細書に記載される技術は、サブピクチャコンポジションに対応するアダプテーションセットと時限メタデータリプレゼンテーションとの間の関連性をシグナリングするために使用されてもよい。
【００３４】
図１は、本開示の１つ以上の技術による、ビデオデータを符号化する（符号化及び／又は復号する）ように構成することができる、システムの例を示すブロック図である。システム１００は、本開示の１つ以上の技術に従って、ビデオデータをカプセル化することができるシステムの例を表す。図１に示すように、システム１００は、ソースデバイス１０２と、通信媒体１１０と、目的デバイス１２０と、を含む。図１に示す例では、ソースデバイス１０２は、動画像データを符号化し、符号化した動画像データを通信媒体１１０に送信するように構成された、任意のデバイスを含むことができる。目的デバイス１２０は、通信媒体１１０を介して符号化したビデオデータを受信し、符号化したビデオデータを復号するように構成された、任意のデバイスを含むことができる。ソースデバイス１０２及び／又は目的デバイス１２０は、有線及び／又は無線通信用に装備された演算デバイスを含むことができ、かつ、例えば、セットトップボックス、デジタルビデオレコーダ、テレビ、デスクトップ、ラップトップ、又はタブレットコンピュータ、ゲーム機、医療用撮像デバイス、及び、例えば、スマートフォン、セルラー電話、パーソナルゲームデバイスを含むモバイルデバイス、を含むことができる。
【００３５】
通信媒体１１０は、無線及び有線の通信媒体並びに／又は記憶デバイスの任意の組み合わせを含むことができる。通信媒体１１０としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。通信媒体１１０は、１つ以上のネットワークを含むことができる。例えば、通信媒体１１０は、ワールドワイドウェブ、例えば、インターネットへのアクセスを可能にするように構成されたネットワークを含むことができる。ネットワークは、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び／又は規格化された電気通信プロトコルを含むことができる。標準化された電気通信プロトコルの例としては、Digital Video Broadcasting（ＤＶＢ）規格、Advanced Television Systems Committee（ＡＴＳＣ）規格、Integrated Services Digital Broadcasting（ＩＳＤＢ）規格、Data Over Cable Service Interface Specification（ＤＯＣＳＩＳ）規格、Global System Mobile Communications（ＧＳＭ）規格、符号分割多重アクセス（code division multiple access、ＣＤＭＡ）規格、第三世代パートナーシッププロジェクト（3rd Generation Partnership Project、３ＧＰＰ）規格、欧州電気通信標準化機構（European Telecommunications Standards Institute、ＥＴＳＩ）規格、インターネットプロトコル（Internet Protocol、ＩＰ）規格、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol、ＷＡＰ）規格、及びInstitute of Electrical and Electronics Engineers（ＩＥＥＥ）規格が挙げられる。
【００３６】
記憶デバイスは、データを記憶することができる任意の種類のデバイス又は記憶媒体を含むことができる。記憶媒体は、有形又は非一時的コンピュータ可読媒体を含むことができる。コンピュータ可読媒体としては、光学ディスク、フラッシュメモリ、磁気メモリ、又は任意の他の好適なデジタル記憶媒体を挙げることができる。いくつかの例では、メモリデバイス又はその一部分は不揮発性メモリとして説明されることがあり、他の例では、メモリデバイスの一部分は揮発性メモリとして説明されることがある。揮発性メモリの例としては、ランダムアクセスメモリ（random access memory、ＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random access memory、ＤＲＡＭ）、及びスタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）を挙げることができる。不揮発性メモリの例としては、磁気ハードディスク、光学ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラム可能メモリ（electrically programmable memory、ＥＰＲＯＭ）若しくは電気的消去可能及びプログラム可能メモリ（electrically erasable and programmable、ＥＥＰＲＯＭ）の形態を挙げることができる。記憶デバイス（単数又は複数）としては、メモリカード（例えば、セキュアデジタル（Secure Digital、ＳＤ）メモリカード）、内蔵／外付けハードディスクドライブ、及び／又は内蔵／外付けソリッドステートドライブを挙げることができる。データは、定義されたファイルフォーマットに従って記憶デバイス上に記憶することができる。
【００３７】
図７は、システム１００の一実装形態に含まれ得る構成要素の一例を示す概念的描画である。図７に示す例示的な実装形態では、システム１００は、１つ以上の演算デバイス４０２Ａ〜４０２Ｎ、テレビサービスネットワーク４０４、テレビサービスプロバイダサイト４０６、ワイドエリアネットワーク４０８、ローカルエリアネットワーク４１０、及び１つ以上のコンテンツプロバイダサイト４１２Ａ〜４１２Ｎを含む。図７に示す実装形態は、例えば、映画、ライブスポーツイベントなどのデジタルメディアコンテンツ、並びにデータ及びアプリケーション及びそれらに関連付けられたメディアプレゼンテーションが、演算デバイス４０２Ａ〜４０２Ｎなどの複数の演算デバイスに配布され、かつ、それらによってアクセスされることが可能となるように構成され得るシステムの一例を表す。図７に示す例では、演算デバイス４０２Ａ〜４０２Ｎは、テレビサービスネットワーク４０４、ワイドエリアネットワーク４０８、及び／又はローカルエリアネットワーク４１０のうちの１つ以上からデータを受信するように構成されている任意のデバイスを含むことができる。例えば、演算デバイス４０２Ａ〜４０２Ｎは、有線及び／又は無線通信用に装備してもよく、１つ以上のデータチャネルを通じてサービスを受信するように構成してもよく、かついわゆるスマートテレビ、セットトップボックス、及びデジタルビデオレコーダを含むテレビを含んでもよい。更に、演算デバイス４０２Ａ〜４０２Ｎは、デスクトップ、ラップトップ又はタブレットコンピュータ、ゲーム機、例えば「スマート」フォン、セルラー電話、及びパーソナルゲーミングデバイスを含むモバイルデバイスを含んでもよい。
【００３８】
テレビサービスネットワーク４０４は、テレビサービスを含み得る、デジタルメディアコンテンツの配信を可能にするように構成されているネットワークの一例である。例えば、テレビサービスネットワーク４０４は、公共地上波テレビネットワーク、公共又は加入ベースの衛星テレビサービスプロバイダネットワーク、並びに公共又は加入ベースのケーブルテレビプロバイダネットワーク及び／又は頭越し型（over the top）サービスプロバイダ若しくはインターネットサービスプロバイダを含んでもよい。いくつかの実施例では、テレビサービスネットワーク４０４は、テレビサービスの提供を可能にするために主に使用され得るが、テレビサービスネットワーク４０４はまた、本明細書に記載された電気通信プロトコルの任意の組み合わせに基づく他の種類のデータ及びサービスの提供も可能とすることに留意されたい。更に、いくつかの実施例では、テレビサービスネットワーク４０４は、テレビサービスプロバイダサイト４０６と、演算デバイス４０２Ａ〜４０２Ｎのうちの１つ以上との間の双方向通信を可能にすることができることに留意されたい。テレビサービスネットワーク４０４は、無線通信メディア及び／又は有線通信メディアの任意の組み合わせを含むことができる。テレビサービスネットワーク４０４は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。テレビサービスネットワーク４０４は、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び／又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、ＤＶＢ規格、ＡＴＳＣ規格、ＩＳＤＢ規格、ＤＴＭＢ規格、ＤＭＢ規格、ケーブルによるデータサービスインターフェース標準（Data Over Cable Service Interface Specification、ＤＯＣＳＩＳ）規格、ＨｂｂＴＶ規格、Ｗ３Ｃ規格、及びＵＰｎＰ規格が挙げられる。
【００３９】
図７を再び参照すると、テレビサービスプロバイダサイト４０６は、テレビサービスネットワーク４０４を介してテレビサービスを配信するように構成することができる。例えば、テレビサービスプロバイダサイト４０６は、１つ以上の放送局、ケーブルテレビプロバイダ、又は衛星テレビプロバイダ、又はインターネットベースのテレビプロバイダを含み得る。例えば、テレビサービスプロバイダサイト４０６は、衛星アップリンク／ダウンリンクを介したテレビプログラムを含む送信を、受信するように構成することができる。更に、図７に示すように、テレビサービスプロバイダサイト４０６は、ワイドエリアネットワーク４０８と通信することができ、コンテンツプロバイダサイト４１２Ａ〜４１２Ｎからデータを受信するように構成することができる。いくつかの実施例では、テレビサービスプロバイダサイト４０６は、テレビスタジオを含むことができ、コンテンツはそこから発信できることに留意されたい。
【００４０】
ワイドエリアネットワーク４０８は、パケットベースのネットワークを含み、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、及び／又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、汎欧州デジタル移動電話方式（Global System Mobile Communications、ＧＳＭ）規格、符号分割多元接続（code division multiple access、ＣＤＭＡ）規格、3rd Generation Partnership Project（３ＧＰＰ）規格、欧州電気通信標準化機構（European Telecommunications Standards Institute、ＥＴＳＩ）規格、欧州規格（ＥＮ）、ＩＰ規格、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol、ＷＡＰ）規格、及び例えば、ＩＥＥＥ８０２規格のうちの１つ以上（例えば、Ｗｉ−Ｆｉ）などの電気電子技術者協会（Institute of Electrical and Electronics Engineers、ＩＥＥＥ）規格が挙げられる。ワイドエリアネットワーク４０８は、無線通信メディア及び／又は有線通信メディアの任意の組み合わせを含むことができる。ワイドエリアネットワーク４８０は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、イーサネットケーブル、無線送信部及び受信部、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス及びサイト間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。一実施例では、ワイドエリアネットワーク４０８はインターネットを含んでもよい。ローカルエリアネットワーク４１０は、パケットベースのネットワークを含み、１つ以上の電気通信プロトコルの組み合わせに従って動作することができる。ローカルエリアネットワーク４１０は、アクセス及び／又は物理インフラストラクチャのレベルに基づいてワイドエリアネットワーク４０８と区別することができる。例えば、ローカルエリアネットワーク４１０は、セキュアホームネットワークを含んでもよい。
【００４１】
図７を再び参照すると、コンテンツプロバイダサイト４１２Ａ〜４１２Ｎは、マルチメディアコンテンツをテレビサービスプロバイダサイト４０６及び／又は演算デバイス４０２Ａ〜４０２Ｎに提供することができるサイトの例を表す。例えば、コンテンツプロバイダサイトは、マルチメディアファイル及び／又はストリームをテレビサービスプロバイダサイト４０６に提供するように構成されている、１つ以上のスタジオコンテンツサーバを有するスタジオを含むことができる。一実施例では、コンテンツプロバイダのサイト４１２Ａ〜４１２Ｎは、ＩＰスイートを使用してマルチメディアコンテンツを提供するように構成してもよい。例えば、コンテンツプロバイダサイトは、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰなどに従って、マルチメディアコンテンツを受信デバイスに提供するように構成されてもよい。更に、コンテンツプロバイダサイト４１２Ａ〜４１２Ｎは、ハイパーテキストベースのコンテンツなどを含むデータを、ワイドエリアネットワーク４０８を通じて、受信デバイス、演算デバイス４０２Ａ〜４０２Ｎ、及び／又はテレビサービスプロバイダサイト４０６のうちの１つ以上に提供するように構成してもよい。コンテンツプロバイダサイト４１２Ａ〜４１２Ｎは、１つ以上のウェブサーバを含んでもよい。データプロバイダサイト４１２Ａ〜４１２Ｎによって提供されるデータは、データフォーマットに従って定義することができる。
【００４２】
図１を再び参照すると、ソースデバイス１０２は、ビデオソース１０４と、ビデオエンコーダ１０６と、データカプセル化装置１０７と、インターフェース１０８とを含む。ビデオソース１０４は、ビデオデータをキャプチャ及び／又は記憶するように構成された任意のデバイスを含むことができる。例えば、ビデオソース１０４は、ビデオカメラ及びそれに動作可能に結合された記憶デバイスを含むことができる。ビデオエンコーダ１０６は、ビデオデータを受信し、ビデオデータを表す規格準拠ビットストリームを生成するように構成された、任意のデバイスを含むことができる。規格準拠ビットストリームは、ビデオデコーダが受信し、それからビデオデータを再生成することができるビットストリームを指すことがある。規格準拠ビットストリームの態様は、ビデオ符号化標準に従って定義することができる。規格準拠ビットストリームを生成するとき、ビデオエンコーダ１０６は、ビデオデータを圧縮することができる。
【００４３】
圧縮は、非可逆的（視聴者に認識可能若しくは認識不可能）又は可逆的とすることができる。
図１を再び参照すると、データカプセル化部１０７は、符号化ビデオデータを受信し、定義されたデータ構造に従って規格準拠ビットストリーム、例えば、一連のＮＡＬ単位などの規格準拠ビットストリームを生成することができる。規格準拠ビットストリームを受信するデバイスは、そこからビデオデータを再生成することができる。適合ビットストリームという用語は、規格準拠ビットストリームという用語の代わりに使用され得ることに留意されたい。データカプセル化装置１０７は、ビデオエンコーダ１０６と同じ物理デバイス内に配置される必要はないことに留意されたい。例えば、ビデオエンコーダ１０６及びデータカプセル化部１０７によって実行されるものとして説明される機能は、図７に示すデバイス間で配布してもよい。
【００４４】
一実施例では、データカプセル化装置１０７は、１つ以上のメディアコンポーネントを受信し、ＤＡＳＨに基づいてメディアプレゼンテーションを生成するように構成されたデータカプセル化部を含むことができる。図８は、本開示の１つ以上の技術を実装することができるデータカプセル化部の一例を示すブロック図である。データカプセル化部５００は、本明細書に記載された技術に従ってメディアプレゼンテーションを生成するように構成することができる。図８に示す例では、コンポーネントカプセル化部５００の機能ブロックは、メディアプレゼンテーション（例えば、ＤＡＳＨメディアプレゼンテーション）を生成する機能ブロックに対応する。図８に示すように、コンポーネントカプセル化部５００は、メディアプレゼンテーション記述生成部５０２、セグメント生成部５０４、及びシステムメモリ５０６を含む。メディアプレゼンテーション記述生成部５０２、セグメント生成部５０４、及びシステムメモリ５０６の各々は、コンポーネント間通信のために（物理的、通信的、及び／又は動作的に）相互接続することができ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせなどの様々な適切な回路のいずれかとして実装することができる。データカプセル化部５００は、別個の機能ブロックを有するものとして図示されるが、このような図示は、説明を目的としており、データカプセル化部５００を特定のハードウェアアーキテクチャに限定しないということに留意されたい。データカプセル化部５００の機能は、ハードウェア、ファームウェア及び／又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。
【００４５】
メディアプレゼンテーション記述生成部５０２は、メディアプレゼンテーション記述フラグメントを生成するように構成することができる。セグメント生成部５０４は、メディアコンポーネントを受信し、メディアプレゼンテーションに含めるための１つ以上のセグメントを生成するように構成することができる。システムメモリ５０６は、非一時的又は有形のコンピュータ可読記憶媒体として説明することができる。いくつかの実施例では、システムメモリ５０６は、一時的及び／又は長期記憶部を提供することができる。いくつかの実施例では、システムメモリ５０６又はその一部は、不揮発性メモリとして記述してもよく、別の実施例では、システムメモリ５０６の一部は、揮発性メモリとして記述してもよい。システムメモリ５０６は、動作中にデータカプセル化部によって使用することができる情報を記憶するように構成することができる。
【００４６】
上述のように、Ｗａｎｇは、サブピクチャコンポジションに対応するアダプテーションセットと時限メタデータリプレゼンテーションとの間の関連性をシグナリングするメカニズムを提示しない。一実施例では、本明細書に記載される技術によれば、データカプセル化装置１０７は、サブピクチャコンポジションに対応するアダプテーションセットと時限メタデータリプレゼンテーションとの間の関連性をシグナリングするように構成され得る。一実施例では、データカプセル化装置１０７は、以下の規則に従って、サブピクチャコンポジションに対応するアダプテーションセットと時限メタデータリプレゼンテーションとの間の関連性をシグナリングするように構成され得る。
集合的な関連性のために、時限メタデータトラック、例えば、’ｉｎｖｏ’、’ｒｃｖｐ’、又は’ｄｙｏｌ’をＤＡＳＨリプレゼンテーション内にカプセル化することができる。
ＤＡＳＨリプレゼンテーション内にカプセル化されるトラックサンプルエントリタイプ’ｉｎｖｏ’、’ｒｃｖｐ’、又は’ｄｙｏｌ’の時限メタデータトラックが、サブピクチャコンポジションに関連付けられる場合、関連記述子が、ＤＡＳＨリプレゼンテーション要素の子要素として存在するものとする。
この場合、関連記述子は、
・  タイプ／／ＡｄａｐｔａｔｉｏｎＳｅｔ［ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ＝”ａａ”］の関連要素内の１つの文字列を含むものとし、ここで、”ａａ”は、サブピクチャコンポジション識別子の値を示す。
上記の例が、特定の値（例えば、値”ａａ”）を有するＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ要素を有する全てのアダプテーションセットを特定するＸＰａｔｈクエリ／／ＡｄａｐｔａｔｉｏｎＳｅｔ［ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ＝”ａａ”］を含むが、他の同等のＸＰａｔｈクエリが、全て（又は同じＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ値を有する１つ以上のアダプテーションセット）を指定するために代わりに使用され得、この要件によってカバーされることが意図されることに留意されたい。
・  関連要素のＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性の値として’ｃｄｔｇ’を含む。
この場合、上述の関連記述子を含む、カプセル化されるＤＡＳＨリプレゼンテーション内の時限メタデータトラックは、関連要素文字列によってシグナリングされる被参照サブピクチャコンポジションに集合的に関連付けられる。
更に、一実施例では、集合的な関連性、時限メタデータトラックがＤＡＳＨリプレゼンテーション内にカプセル化され得、ここで、このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＩｄ属性は、上で指定した’ｃｄｔｇ’トラック参照によって時限メタデータトラックに関連付けられる、メディアトラックによって実行される全方位メディアを含むリプレゼンテーションの＠ｉｄ属性の１つ以上の値を含んでもよい。このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＴｙｐｅ属性は、’ｃｄｔｇ’と等しいものとする。これは、＠ｉｄ属性によって集合的に示される各ＤＡＳＨリプレゼンテーションとの時限メタデータトラックの関連性を記述する。
更に、この場合、個々の関連性は、以下のように定義され得る。
個々の関連性のために、時限メタデータトラック、例えば、トラックサンプルエントリタイプ’ｉｎｖｏ’、’ｒｃｖｐ’、又は’ｄｙｏｌ’の、時限メタデータトラックを、ＤＡＳＨリプレゼンテーション内にカプセル化することができる。このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＩｄ属性は、’ｃｄｓｃ’トラック参照によって時限メタデータトラックに関連付けられる、メディアトラックによって実行される全方位メディアを含むリプレゼンテーションの＠ｉｄ属性の１つ以上の値を含むものとする。このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＴｙｐｅ属性は、’ｃｄｓｃ’に等しい。これは、＠ｉｄ属性によって個別に示される各ＤＡＳＨリプレゼンテーションとの時限メタデータトラックの関連性を記述する。
別の実施例では、集合的な関連性のための上記のテキストは、上記の規則と組み合わせて他の条件の下でのみ適用されてもよい。この場合、関連性の規則は、以下のとおりであってもよい。
集合的な関連性のために、時限メタデータトラック、例えば、’ｉｎｖｏ’、’ｒｃｖｐ’、又は’ｄｙｏｌ’を、ＤＡＳＨリプレゼンテーション内にカプセル化することができる。
ＤＡＳＨリプレゼンテーション内にカプセル化されるトラックサンプルエントリタイプ’ｉｎｖｏ’、’ｒｃｖｐ’、又は’ｄｙｏｌ’の時限メタデータトラックがサブピクチャコンポジションに関連付けられる場合、関連記述子が、ＤＡＳＨリプレゼンテーション要素の子要素として存在するものとする。
この場合、関連記述子は、
・  タイプ／／ＡｄａｐｔａｔｉｏｎＳｅｔ［ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ＝”ａａ”］の関連要素内の１つの文字列を含むものとし、ここで、”ａａ”は、サブピクチャコンポジション識別子の値を示す。
上記の例が、特定の値（例えば、値”ａａ”）を有するＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ要素を有する全てのアダプテーションセットを特定するＸＰａｔｈクエリ／／ＡｄａｐｔａｔｉｏｎＳｅｔ［ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ＝”ａａ”］を含むが、他の同等のＸＰａｔｈクエリが、全て（又は同じＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ値を有する１つ以上のアダプテーションセット）を指定するために代わりに使用され得、この要件によってカバーされることが意図されることに留意されたい。
更に、一実施例では、タイプ／／ＡｄａｐｔａｔｉｏｎＳｅｔ［ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ＝”ａａ”］は、以下のように変更され得ることに留意されたい。／／ＡｄａｐｔａｔｉｏｎＳｅｔ［ｏｍａｆ２：ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄ＝”ａａ”］
この場合、ＳｕｂＰｉｃＣｏｍｐｏｓｉｔｉｏｎＩｄが定義されるｏｍａｆ２：ｎａｍｅｓｐａｃｅが文字列の一部として含まれる。Ｏｍａｆ２  ｎａｍｅｓｐａｃｅは、ＸＭＬ  ｎａｍｅｓｐａｃｅ”ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ：２０１８”に対応することができ、したがって宣言によって定義することができる。
ｘｍｌｎｓ：ｏｍａｆ２＝”ｕｒｎ：ｍｐｅｇ：ｍｐｅｇｌ：ｏｍａｆ：２０１８”
・  関連要素のＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性の値として’ｃｄｔｇ’を含む。
この場合、上述の関連記述子を含むカプセル化されるＤＡＳＨリプレゼンテーション内の時限メタデータトラックは、関連要素文字列によってシグナリングされる被参照サブピクチャコンポジションに集合的に関連付けられる。
そうでない場合（すなわち、サブピクチャコンポジションの関連性以外の集合的な関連性に関して）、このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＩｄ属性は、上で指定した’ｃｄｔｇ’トラック参照によって時限メタデータトラックに関連付けられる、メディアトラックによって実行される全方位メディアを含むリプレゼンテーションの＠ｉｄ属性の１つ以上の値を含んでもよい。このメタデータリプレゼンテーションの＠ａｓｓｏｃｉａｔｉｏｎＴｙｐｅ属性は、’ｃｄｔｇ’に等しい。これは、＠ｉｄ属性によって集合的に示される各ＤＡＳＨリプレゼンテーションとの時限メタデータトラックの関連性を記述する。
一実施例では、本明細書に記載される技術によれば、時限メタデータリプレゼンテーションが、以下のように視点の全てのメディアリプレゼンテーションに集合的に関連付けられてもよい。関連記述子が、時限メタデータリプレゼンテーションのＤＡＳＨリプレゼンテーション要素の子要素として存在し、関連記述子は、：
・  以下のように、関連要素内の１つの文字列を含むものとし、
／／ＡｄａｐｔａｔｉｏｎＳｅｔ／Ｖｉｅｗｐｏｉｎｔ［＠ｓｃｈｅｍｅＩｄＵｒｉ＝”ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ：２０１８：ｖｗｐｔ”  ａｎｄ  ＠ｖａｌｕｅ＝”ｂｂ”］／．．
ここで、”ｂｂ”は、視点の視点ＩＤ値を文字列として示したものである。
・  関連要素のAｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性の値として’ｃｄｔｇ’を含む。
関連要素内の上記の文字列は、ＯＭＡＦ  Ｖ２  ＤＡＳＨ視点記述子を有するとともに、その記述子内に特定の視点ＩＤ値（上記の例では”ｂｂ”）を有する、全てのアダプテーションセットを選択する。上記の文字列中の”ａｎｄ”演算子は、特定の視点ＩＤ値も有するＯＭＡＦ  Ｖ２  ＤＡＳＨ視点記述子のみが選択されることを必要とする。文字列の「／..」部は、親要素を選択する。
文字列の部分”ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ：２０１８：ｖｗｐｔ」は、ＯＭＡＦ  Ｖ２  ＤＡＳＨ視点記述子と一致する＠ｓｃｈｅｍｅＩｄＵｒｉに一致するように変更されてもよいことに留意されたい。例えば、これは、”ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ：２０１９：ｖｗｐｔ”又は他の類似の名称に変更されてもよい。
表２に関して上述したように、Ｗａｎｇは、アダプテーションセット／リプレゼンテーション／事前選択要素内に含まれる関連記述子が、この要素の記述子の親要素が、ｏｍａｆ２：ａｓｓｏｃｉａｔｉｏｎ要素内のＸＰａｔｈクエリによって示されるＭＰＤの１つ以上の要素、及びｏｍａｆ２：＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔによってシグナリングされる関連タイプに関連付けられることを、どこに示すかを提示する。本明細書の技術によれば、一実施例では、リスト＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔは、リスト中の各値が、ＭＰ４登録機関に登録されたトラック参照タイプのための４つの文字コードであるように制約され得、ここで、ＭＰ４登録機関とは、そのような４つの文字コードの全ての割り当て及び／又は登録を、各コードが一意であり明確に登録及び使用されるように、調整する集中化又は分散化エンティティを指す。そのようなＭＰ４登録機関の一例は、ＭＰ４ＲＡである。ＭＰ４はＭＰＥＧ４を意味し得る。そのような実施例では、表２における関連記述子の要素及び属性のセマンティクスは、表４に提示されるように変更されてもよい。
【表１６】
2021536163.tif 000018
更に、上述のように、オーバーレイが、３６０度のビデオコンテンツ上のビデオ、画像、及びテキストのうちの１つ以上のレンダリングとして定義されてもよい。背景メディアが、オーバーレイが重畳される視覚媒体として定義されてもよい。背景メディアは、背景視覚媒体と呼ばれる場合がある。更に、オーバーレイが、全方位ビデオ若しくは画像アイテム又はビューポートの上にレンダリングされる視覚媒体の１つとして定義されてもよい。視覚媒体が、ビデオ、画像アイテム、又は時限テキストとして定義されてもよい。ビューポートが、表示及びユーザによる閲覧に好適な全方位画像又はビデオの領域として定義されてもよい。
【００４７】
場合によっては、１つ以上のオーバーレイが、背景メディアに関連付けられてもよい。例えば、ロゴを背景画像にオーバーレイすることができる。例としては、
・ロゴ（注記：ロゴは矩形でなくてもよく、透明性を使用してもよい）をオーバーレイすること、
・３６０度ビデオの上に手話通訳者をオーバーレイすること、
・現在のビューポートの上に、ガイドメカニズムとして使用されるプレビューウィンドウとして、３６０度ビデオ全体の小さな正距円筒図をオーバーレイすること、
・現在のビューポートの上に、推奨されるビューポートのサムネイルをオーバーレイすること、が挙げられる。
これら全ての場合において、オーバーレイは、それがオーバーレイされる対応する背景メディアに関連付けられる。関連付けは、対応するオーバーレイ及び背景メディアが一緒に提示されることを意図していることを示すことができる。
一実施例では、オーバーレイを含むアダプテーションセットが、背景メディアを含むアダプテーションセットに関連付けられ得るように、以下の制約が課されてもよい。
オーバーレイを含むアダプテーションセットが、背景メディアを含む１つ以上のアダプテーションセットに関連付けられる場合、関連記述子が、オーバーレイを含むアダプテーションセットの要素の子要素として存在するものとする。
この場合、関連記述子は、
・背景メディアを含む１つ以上のアダプテーションセットの要素として評価される、関連要素内のＸＰａｔｈ文字列を含むものとする。
いずれかが、
・オーバーレイが背景メディアに個別に適用される場合、関連要素のＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性の値としての’ｃｄｓｃ’。
・オーバーレイが背景メディアに集合的に適用される場合（例えば、背景メディアが、各アダプテーションセットがサブピクチャに対応する複数のアダプテーションセットによってシグナリングされる場合）、関連要素のＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性の値としての’ｃｄｔｇ’を含む。
オーバーレイを含むアダプテーションセット内には、複数のそのような関連要素が存在することができる。
オーバーレイを含むアダプテーションセットが、上述のように背景メディアを含む１つ以上のアダプテーションセットに関連付けられる場合、それらは、一緒に提示されることが意図される。
別の例では、以下の制約が課されてもよい：
オーバーレイを含むアダプテーションセットが、背景メディアを含む１つ以上のアダプテーションセットに関連付けられる場合、関連記述子が、オーバーレイを含むアダプテーションセットの要素の子要素として存在するものとする。
この場合、関連記述子は、
・背景メディアを含む１つ以上のアダプテーションセットの要素として評価される、関連要素内のＸＰａｔｈ文字列を含むものとする。
・以下のいずれか
・オーバーレイが背景メディアに個別に適用される場合、１つ以上。この場合、このリスト中の’ｏｖｂｇ’値の数が、上記の関連要素内のＸＰａｔｈ文字列が評価される要素の数と等しいものとする。
・オーバーレイが背景メディアに集合的に適用される場合（例えば、背景メディアが、各アダプテーションセットがサブピクチャに対応する複数のアダプテーションセットによってシグナリングされる場合）、関連要素のＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性の値としての単一の’ｏｖｂｇ’エントリ。
別の例では、以下の制約が課されてもよい：
オーバーレイを含むアダプテーションセットが、背景メディアを含む１つ以上のアダプテーションセットに関連付けられる場合、関連記述子が、オーバーレイを含むアダプテーションセットの要素の子要素として存在するものとする。
この場合、関連記述子は、
・背景メディアを含む１つ以上のアダプテーションセットの要素として評価される、関連要素内のＸＰａｔｈ文字列を含むものとする。
・関連要素のＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ属性について１つ以上の’ｏｖｂｇ’値を含むものとする：
・Ａｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔが１つの’ｏｖｂｇ’値を含み、上記の関連要素内のＸＰａｔｈ文字列が評価される要素の数が１よりも多い場合、オーバーレイは、背景メディアに集合的に適用される（例えば、背景メディアが、各アダプテーションセットがサブピクチャに対応する複数のアダプテーションセットによってシグナリングされる場合）。
・Ａｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔが１つよりも多い’ｏｖｂｇ’値を含み、上記の関連要素内のＸＰａｔｈ文字列が評価される要素の数が１よりも多い場合、リストＡｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔ中のエントリの数は、上記の関連要素内のＸＰａｔｈ文字列が評価される要素の数に等しいものとする。この場合、オーバーレイは、上記の関連要素内のＸＰａｔｈ文字列が評価される各背景メディア要素に個別に適用される。
・Ａｓｓｏｃｉａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＫｉｎｄＬｉｓｔが１つだけの’ｏｖｂｇ’値を含み、上記の関連要素内のＸＰａｔｈ文字列が評価される要素の数が１に等しい場合、オーバーレイは、背景メディアに個別に適用される。
Ｗａｎｇ２における球体領域を指定する球体領域構造に関しては、ａｚｉｍｕｔｈ＿ｒａｎｇｅとｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅが両方とも０に等しい場合、この構造によって指定される球体領域は、球面上の点であることに留意されたい。更に、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅのシンタックス要素は任意選択的に、入力引数ｒａｎｇｅ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇによってシグナリング制御されることに留意されたい。しかしながら、ｉｎｔｅｒｐｏｌａｔｅ表示のためのビット及び７つの予備ビットを含むＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔの最終バイトは、常にシグナリングされ、ここで、ｉｎｔｅｒｐｏｌａｔｅシンタックス要素のセマンティクスは、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのインスタンスを含む構造のセマンティクスによって定義される。ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔが情報のシグナリングに使用される、いくつかの典型的な場合では、ｉｎｔｅｒｐｏｌａｔｅシンタックス要素が有効でない場合があると断言される。したがって、この場合、最終バイトを除外できないＷａｎｇにおけるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのバージョンは、バイトを無駄にするため、非効率であり得る。一実施例では、本明細書の技術によれば、最終バイトを含めるか又は除外することができる、新たな球体領域構造ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２が定義される。一実施例では、本明細書の技術によれば、球体領域を指定する新たな球体領域構造のために、以下の定義、シンタックス、及びセマンティクスを使用することができる。
定義
球体領域構造（ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２）は、球体領域を指定する。
ｃｅｎｔｒｅ＿ｔｉｌｔが０に等しい場合、この構造によって指定される球体領域は、以下のように導出される。
−  ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅの両方が０に等しい場合、この構造によって指定される球体領域は球面上の点である。
−  そうでない場合、球体領域は、以下のように導出される変数である、ｃｅｎｔｒｅＡｚｉｍｕｔｈ、ｃｅｎｔｒｅＥｌｅｖａｔｉｏｎ、ｃＡｚｉｍｕｔｈ１、ｃＡｚｉｍｕｔｈ、ｃＥｌｅｖａｔｉｏｎ１、及びｃＥｌｅｖａｔｉｏｎ２を用いて定義される。
ｃｅｎｔｒｅＡｚｉｍｕｔｈ＝ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ÷６５５３６
ｃｅｎｔｒｅＥｌｅｖａｔｉｏｎ＝ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ÷６５５３６
ｃＡｚｉｍｕｔｈ１＝（ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ−ａｚｉｍｕｔｈ＿ｒａｎｇｅ÷２）÷６５５３６
ｃＡｚｉｍｕｔｈ２＝（ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ＋ａｚｉｍｕｔｈ＿ｒａｎｇｅ÷２）÷６５５３６
ｃＥｌｅｖａｔｉｏｎ１＝（ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ−ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅ÷２）÷６５５３６
ｃＥｌｅｖａｔｉｏｎ２＝（ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎ＋ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅ÷２）÷６５５３６
球体領域は、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２のこのインスタンスを含む構造のセマンティクスで指定された形状タイプ値を参照して以下のように定義される：
−  形状タイプ値が０に等しい場合、球体領域は、図５Ａに示すように、４つの点ｃＡｚｉｍｕｔｈ１、ｃＡｚｉｍｕｔｈ２、ｃＥｌｅｖａｔｉｏｎ１、ｃＥｌｅｖａｔｉｏｎ２によって定義される４つの大円と、ｃｅｎｔｒｅＡｚｉｍｕｔｈ及びｃｅｎｔｒｅＥｌｅｖａｔｉｏｎによって定義される中心点とによって指定される。
−  形状タイプ値が１に等しい場合、球体領域は、図５Ｂに示すように、４つの点ｃＡｚｉｍｕｔｈ１、ｃＡｚｉｍｕｔｈ２、ｃＥｌｅｖａｔｉｏｎ１、ｃＥｌｅｖａｔｉｏｎ２によって定義される２つの方位円及び２つの高度円と、ｃｅｎｔｒｅＡｚｉｍｕｔｈ及びｃｅｎｔｒｅＥｌｅｖａｔｉｏｎによって定義される中心点とによって指定される。
ｃｅｎｔｒｅ＿ｔｉｌｔが０に等しくない場合、球体領域は、最初に上記のように導出され、次いで、球体原点を起源として球体領域の中心点を通過する軸に沿って傾斜回転が適用され、そのとき、原点から軸の正方向の端に向かって見たときに角度値は時計回りに増加する。最終的な球体領域は、傾斜回転を適用した後のものである。
０に等しい形状タイプ値は、球体領域が図５Ａに表すように４つの大円によって指定されることを示している。
１に等しい形状タイプ値は、図５Ｂに示すように、球体領域が２つの方位円及び２つの高度円によって指定されることを示している。
１より大きい形状タイプ値が予備としてある。
シンタックス
【表１７】
2021536163.tif 000019
セマンティクス
ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈ及びｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎは、球体領域の中心を指定する。ｃｅｎｔｒｅ＿ａｚｉｍｕｔｈは、両端値を含む、−１８０＊２１６〜１８０＊２１６−１の範囲にあるものとする。ｃｅｎｔｒｅ＿ｅｌｅｖａｔｉｏｎは、両端値を含む、−９０＊２１６〜９０＊２１６の範囲にあるものとする。
ｃｅｎｔｒｅ＿ｔｉｌｔは、球体領域の傾斜角を指定する。ｃｅｎｔｒｅ＿ｔｉｌｔは、両端値を含む、−１８０＊２１６〜１８０＊２１６−１の範囲にあるものとする。
ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、存在する場合、それぞれ、この構造によって指定される球体領域の方位範囲及び高度範囲を２１６の単位で指定する。ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、図５Ａ又は図５Ｂに示すように、球体領域の中心点を通る範囲を指定する。ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２のこのインスタンスにａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅが存在しない場合、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２のこのインスタンスを含む構造のセマンティクスにおいて指定されると推測される。ａｚｉｍｕｔｈ＿ｒａｎｇｅは、両端値を含む、０〜３６０＊２１６の範囲にあるものとする。ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、両端値を含む、０〜１８０＊２１６の範囲にあるものとする。
ｉｎｔｅｒｐｏｌａｔｅのセマンティクスは、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔのこのインスタンスを含む構造のセマンティクスによって指定される。ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２のこのインスタンスにおいてｉｎｔｅｒｐｏｌａｔｅが存在しない場合、ａｚｉｍｕｔｈ＿ｒａｎｇｅ及びｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅは、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２のこのインスタンスを含むシンタックス構造のセマンティクスで指定されたように推測される。
一実施例では、ｉｎｔｅｒｐｏｌａｔｅ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇは、ｌａｓｔ＿ｂｙｔｅ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ又は何らかの他の名称で呼ばれる場合がある。一実施例では、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ２は代わりにＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔと呼ばれる場合があり、Ｗａｎｇ及びＷａｎｇ２並びに他のＯＭＡＦ標準／ワーキングドラフトにおけるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔの全ての出現は、以下のように変更されてもよい。
・ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（０）の全ての出現は、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（０，１）に変更されてもよく、又は変更されるものとする。
・ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１）の全ての出現は、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１，１）に変更されてもよく、又は変更されるものとする。
それゆえ、ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔは、以下のように定義され得る。
【表１８】
2021536163.tif 000020
Ｗａｎｇ及びＷａｎｇ２においてＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔが別の構造に含まれるいくつかの場合に、ｉｎｔｅｒｐｏｌａｔｅのためのセマンティクス及び値が指定されないことに留意されたい。本明細書の技術によれば、ｉｎｔｅｒｐｏｌａｔｅは、指定されていない場合に以下のように推測され得る。
・ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（）がＯｍａｆＴｉｍｅｄＴｅｘｔＣｏｎｆｉｇＢｏｘに含まれる場合、以下が適用される。ＯｍａｆＴｉｍｅｄＴｅｘｔＣｏｎｆｉｇＢｏｘに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（０）について、ｉｎｔｅｒｐｏｌａｔｅは１に等しいと推測され、
又は別の実施例では、ＯｍａｆＴｉｍｅｄＴｅｘｔＣｏｎｆｉｇＢｏｘに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（０）について、ｉｎｔｅｒｐｏｌａｔｅは０に等しいものとする。
別の実施例では、
ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（）がＯｍａｆＴｉｍｅｄＴｅｘｔＣｏｎｆｉｇＢｏｘに含まれる場合、以下が適用される。ＯｍａｆＴｉｍｅｄＴｅｘｔＣｏｎｆｉｇＢｏｘに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（０）について、ｉｎｔｅｒｐｏｌａｔｅは０に等しいと推測され、又は別の実施例では、ＯｍａｆＴｉｍｅｄＴｅｘｔＣｏｎｆｉｇＢｏｘに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（０）について、ｉｎｔｅｒｐｏｌａｔｅは１に等しいものとする。
ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔがＳｐｈｅｒｅＲｅｌａｔｉｖｅＯｍｎｉＯｖｅｒｌａｙ（）内に存在する（すなわち、ｒｅｇｉｏｎ＿ｉｎｄｉｃａｔｉｏｎ＿ｔｙｐｅが１に等しい）場合、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいと推測され、又は別の実施例では、ｉｎｔｅｒｐｏｌａｔｅは１に等しいと推測される。
別の実施例では、
ＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔがＳｐｈｅｒｅＲｅｌａｔｉｖｅＯｍｎｉＯｖｅｒｌａｙ（）内に存在する（すなわち、ｒｅｇｉｏｎ＿ｉｎｄｉｃａｔｉｏｎ＿ｔｙｐｅが１に等しい）場合、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいものとし、又は別の実施例では、ｉｎｔｅｒｐｏｌａｔｅは１に等しいものとする。
・ＳｐｈｅｒｅＲｅｌａｔｉｖｅ２ＤＯｖｅｒｌａｙに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１）について、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいと推測される。
又は別の実施例では、ｉｎｔｅｒｐｏｌａｔｅは１に等しいと推測される。
別の実施例では、
・ＳｐｈｅｒｅＲｅｌａｔｉｖｅ２ＤＯｖｅｒｌａｙに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１）について、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいものとする。
又は別の実施例では、
ｉｎｔｅｒｐｏｌａｔｅは、１に等しいものとする。
・ＡｓｓｏｃｉａｔｅｄＳｐｈｅｒｅＲｅｇｉｏｎに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１）について、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいと推測される。
又は別の実施例では、ｉｎｔｅｒｐｏｌａｔｅは１に等しいと推測される。
別の実施例では、
・ＡｓｓｏｃｉａｔｅｄＳｐｈｅｒｅＲｅｇｉｏｎに含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１）について、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいものとする。
又は別の実施例では、ｉｎｔｅｒｐｏｌａｔｅは１に等しいものとする。
・ｇｕｉｄｅ＿ｒｅｇｉｏｎ（）に含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１）について、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいと推測される。
又は別の実施例では、ｉｎｔｅｒｐｏｌａｔｅは１に等しいと推測される。
別の実施例では、
・ｇｕｉｄｅ＿ｒｅｇｉｏｎ（）に含まれるＳｐｈｅｒｅＲｅｇｉｏｎＳｔｒｕｃｔ（１）について、以下が適用され、ｉｎｔｅｒｐｏｌａｔｅは０に等しいものとする。
又は別の実施例では、ｉｎｔｅｒｐｏｌａｔｅは１に等しいものとする。
別の実施例では、上記の１つ以上の場合において、存在しないときのｉｎｔｅｒｐｏｌａｔｅの値は、１に等しいと推測されてもよい。
【００４８】
別の実施例では、上記の１つ以上の場合において、存在しないときのｉｎｔｅｒｐｏｌａｔｅの値は、０に等しいと推測されてもよい。
【００４９】
別の実施例では、上記の１つ以上の場合において、存在しないときのｉｎｔｅｒｐｏｌａｔｅの値は、１に等しいものとする。
【００５０】
別の実施例では、上記の１つ以上の場合において、存在しないときのｉｎｔｅｒｐｏｌａｔｅの値は、０に等しいものとする。
【００５１】
更に、本明細書の技術によれば、ＳｐｈｅｒｅＲｅｇｉｏｎＳａｍｐｌｅＥｎｔｒｙ（）が別の構造に含まれる場合、ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅの値及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅの値を推測してもよい。例えば、一実施例では、ＳｐｈｅｒｅＲｅｇｉｏｎＳａｍｐｌｅＥｎｔｒｙ（）がＴＴＳｐｈｅｒｅＬｏｃａｔｉｏｎＳａｍｐｌｅＥｎｔｒｙ（）に含まれる場合、ｓｔａｔｉｃ＿ａｚｉｍｕｔｈ＿ｒａｎｇｅの値及びｓｔａｔｉｃ＿ｅｌｅｖａｔｉｏｎ＿ｒａｎｇｅの値は、０に等しいと推測される。
【００５２】
このように、データカプセル化装置１０７は、サブピクチャコンポジションに対応するアダプテーションセットと時限メタデータリプレゼンテーションとの間の関連性をシグナリングするように構成されたデバイスの一例を表す。
【００５３】
図１を再び参照すると、インターフェース１０８は、データカプセル化部１０７によって生成されたデータを受信し、そのデータを通信媒体に送信及び／又は記憶するように構成された任意のデバイスを含んでもよい。インターフェース１０８は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を送信及び／若しくは受信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース１０８は、ファイルを記憶デバイス上に記憶することを可能にすることができるコンピュータシステムインターフェースを含むことができる。例えば、インターフェース１０８は、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）及びＰｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）プロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用することができる任意の他の論理構造及び物理構造をサポートする、チップセットを含むことができる。
【００５４】
図１を再び参照すると、目的デバイス１２０は、インターフェース１２２と、データデカプセル化部１２３と、ビデオデコーダ１２４と、ディスプレイ１２６とを含む。インターフェース１２２は、通信媒体からデータ受信するように構成されている任意のデバイスを含むことができる。インターフェース１２２は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を受信及び／若しくは送信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース１２２は、準拠ビデオビットストリームを記憶デバイスから取得することを可能にするコンピュータシステム用インターフェースを含むことができる。例えば、インターフェース１２２は、ＰＣＩ及びＰＣＩｅバスプロトコル、独自のバスプロトコル、ＵＳＢプロトコル、Ｉ２Ｃ、又はピアデバイスを相互接続するために使用することができる任意の他の論理構造及び物理構造をサポートする、チップセットを含むことができる。データデカプセル化部１２３は、データカプセル化部１０７によって生成されたビットストリームを受信し、本明細書に記載された技術のうちの１つ以上に従ってサブビットストリーム抽出を実行するように構成することができる。
【００５５】
ビデオデコーダ１２４は、ビットストリーム及び／又はそれが許容可能に変形したものを受信し、それからビデオデータを再生するように構成されている任意のデバイスを含むことができる。ディスプレイ１２６は、ビデオデータを表示するように構成された任意のデバイスを含むことができる。ディスプレイ１２６は、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（organic light emitting diode、ＯＬＥＤ）ディスプレイ、又は別の種類のディスプレイなどの、様々なディスプレイデバイスのうちの１つを含むことができる。ディスプレイ１２６は、高解像度ディスプレイ又は超高解像度ディスプレイを含むことができる。ディスプレイ１２６は、ステレオスコープディスプレイを含んでもよい。図１に示す例では、ビデオデコーダ１２４は、データをディスプレイ１２６に出力するように説明されているが、ビデオデコーダ１２４は、ビデオデータを様々な種類のデバイス及び／又はそのサブコンポーネントに出力するように構成することができることに留意されたい。例えば、ビデオデコーダ１２４は、本明細書で説明するような任意の通信媒体にビデオデータを出力するように構成することができる。宛先デバイス１２０は、受信デバイスを含むことができる。
【００５６】
図９は、本開示の１つ以上の技術を実施できる受信デバイスの例を示すブロック図である。すなわち、受信デバイス６００は、上述のセマンティクスに基づいて信号をパースするように構成してもよい。更に、受信デバイス６００は、本明細書に記載される予想されるプレイ挙動に従って動作するように構成してもよい。更に、受信デバイス６００は、本明細書に記載される変換技術（translation technique）を実行するように構成してもよい。受信デバイス６００は、通信ネットワークからデータを受信し、仮想現実アプリケーションを含むマルチメディアコンテンツにユーザがアクセスすることを可能にするように構成され得る演算デバイスの一例である。図９に示す実施例では、受信デバイス６００は、例えば上述のテレビサービスネットワーク４０４などの、テレビネットワークを介してデータを受信するように構成されている。更に、図９に示す例では、受信デバイス６００は、ワイドエリアネットワークを介してデータを送受信するように構成されている。他の実施例では、受信デバイス６００は、テレビサービスネットワーク４０４を介して単にデータを受信するように構成してもよいことに留意されたい。本明細書に記載された技術は、通信ネットワークのうちのいずれか及び全ての組み合わせを使用して通信するように構成されているデバイスによって利用され得る。
【００５７】
図９に示すように、受信デバイス６００は、中央処理装置（単数又は複数）６０２、システムメモリ６０４、システムインターフェース６１０、データ抽出装置６１２、音声デコーダ６１４、音声出力システム６１６、ビデオデコーダ６１８、表示システム６２０、Ｉ／Ｏデバイス（単数又は複数）６２２、及びネットワークインターフェース６２４を含む。図９に示すように、システムメモリ６０４は、オペレーティングシステム６０６及びアプリケーション６０８を含む。中央処理装置（単数又は複数）６０２、システムメモリ６０４、システムインターフェース６１０、データ抽出装置６１２、音声デコーダ６１４、音声出力システム６１６、ビデオデコーダ６１８、表示システム６２０、Ｉ／Ｏデバイス（単数又は複数）６２２、及びネットワークインターフェース６２４の各々は、コンポーネント間通信のために（物理的、通信的、及び／又は動作的に）相互接続してもよく、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせなどの様々な好適な回路のいずれかとして実装することができる。受信デバイス６００は、別個の機能ブロックを有するものとして図示されているが、このような図示は、説明を目的としており、受信デバイス６００を特定のハードウェアアーキテクチャに限定しないという点に留意されたい。受信デバイス６００の機能は、ハードウェア実装、ファームウェア実装、及び／又はソフトウェア実装の任意の組み合わせを使用して実現することができる。
【００５８】
ＣＰＵ（単数又は複数）６０２は、受信デバイス６００において実行する機能及び／又はプロセス命令を実施するように構成してもよい。ＣＰＵ（単数又は複数）６０２は、シングルコア及び／又はマルチコアの中央処理装置を含むことができる。ＣＰＵ（単数又は複数）６０２は、本明細書に記載された技術のうちの１つ以上を実施する命令、コード、及び／又はデータ構造を検索及び処理することが可能であり得る。命令は、システムメモリ６０４などのコンピュータ可読媒体に記憶することができる。
【００５９】
システムメモリ６０４は、非一時的又は有形のコンピュータ可読記憶媒体として記載することができる。いくつかの実施例では、システムメモリ６０４は、一時的及び／又は長期記憶部を提供することができる。いくつかの実施例では、システムメモリ６０４又はその一部は、不揮発性メモリとして記述してもよく、別の実施例では、システムメモリ６０４の一部は、揮発性メモリとして記述してもよい。システムメモリ６０４は、動作中に受信デバイス６００によって使用され得る情報を記憶するように構成してもよい。システムメモリ６０４は、ＣＰＵ（単数又は複数）６０２によって実行するプログラム命令を記憶するために使用することができ、受信デバイス６００上で実行しているプログラムについて、プログラム実行中に情報を一時的に記憶するために使用してもよい。更に、受信デバイス６００がデジタルビデオレコーダの一部として含まれる実施例では、システムメモリ６０４は、多数のビデオファイルを記憶するように構成してもよい。
【００６０】
アプリケーション６０８は、受信デバイス６００内で実施されるか又はそれによって実行されるアプリケーションを含むことができ、受信デバイス６００の構成要素について、その内に実装されるか若しくは含まれ、それによって動作可能であり、それによって実行され、及び／又は動作的／通信的に結合され得る。アプリケーション６０８は、受信デバイス６００のＣＰＵ（単数又は複数）６０２に特定の機能を実行させることができる命令を含むことができる。アプリケーション６０８は、ｆｏｒループ、ｗｈｉｌｅループ、ｉｆステートメント、ｄｏループなどのコンピュータプログラミングステートメントで表現されたアルゴリズムを含むことができる。アプリケーション６０８は、特定のプログラミング言語を使用して開発することができる。プログラミング言語の例としては、Ｊａｖａ（登録商標）、Ｊｉｎｉ（登録商標）、Ｃ、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ  Ｃ、Ｓｗｉｆｔ、Ｐｅｒｌ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、ＰｈＰ、ＵＮＩＸ（登録商標）  Ｓｈｅｌｌ、Ｖｉｓｕａｌ  Ｂａｓｉｃ、及びＶｉｓｕａｌ  Ｂａｓｉｃ  Ｓｃｒｉｐｔが挙げられる。受信デバイス６００がスマートテレビを含む実施例では、テレビ製造業者又は放送局によってアプリケーションが開発してもよい。図９に示すように、アプリケーション６０８は、オペレーティングシステム６０６と連携して実行することができる。すなわち、オペレーティングシステム６０６は、受信デバイス６００のＣＰＵ（単数又は複数）６０２及び他のハードウェアコンポーネントとのアプリケーション６０８のインタラクションを容易にするように構成してもよい。オペレーティングシステム６０６は、セットトップボックス、デジタルビデオレコーダ、テレビなどにインストールされるように設計されたオペレーティングシステムであってよい。本明細書に記載された技術は、ソフトウェアアーキテクチャのいずれか及び全ての組み合わせを使用して動作するように構成されたデバイスによって利用され得ることに留意されたい。
【００６１】
システムインターフェース６１０は、受信デバイス６００の構成要素間で通信できるように構成してもよい。一実施例では、システムインターフェース６１０は、あるピアデバイスから別のピアデバイス又は記憶媒体にデータを転送することを可能にする構造を含む。例えば、システムインターフェース６１０は、アクセラレーテッドグラフィックスポート（Ａｃｃｅｌｅｒａｔｅｄ  Ｇｒａｐｈｉｃｓ  Ｐｏｒｔ、ＡＧＰ）ベースプロトコル、例えば、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｓｐｅｃｉａｌ  Ｉｎｔｅｒｅｓｔ  Ｇｒｏｕｐによって管理されたＰＣＩ  Ｅｘｐｒｅｓｓ（登録商標）（ＰＣＩｅ）バス仕様などのペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスベースプロトコル、又はピアデバイスを相互接続するために使用することができる任意の他の形態の構造（例えば、独自のバスプロトコル）をサポートするチップセットを含むことができる。
【００６２】
上述のように、受信デバイス６００は、テレビサービスネットワークを介してデータを受信し、任意選択的に送信するように構成されている。上述のように、テレビサービスネットワークは、電気通信規格に従って動作することができる。電気通信規格は、例えば、物理シグナリング、アドレス指定、チャネルアクセス制御、パケット特性、及びデータ処理などの通信特性（例えば、プロトコル層）を定義することができる。図９に示す例では、データ抽出装置６１２は、信号からビデオ、音声、及びデータを抽出するように構成してもよい。信号は、例えば、態様ＤＶＢ規格、ＡＴＳＣ規格、ＩＳＤＢ規格、ＤＴＭＢ規格、ＤＭＢ規格、及びＤＯＣＳＩＳ規格に従って定義され得る。
【００６３】
データ抽出装置６１２は、信号からビデオ、音声、及びデータを抽出するように構成してもよい。すなわち、データ抽出装置６１２は、サービス配信エンジンに対して互恵的な方法で動作することができる。更に、データ抽出装置６１２は、上述の構造のうちの１つ以上の任意の組み合わせに基づいて、リンク層パケットをパースするように構成されてもよい。
【００６４】
データパケットは、ＣＰＵ（単数又は複数）６０２、音声デコーダ６１４、及びビデオデコーダ６１８によって処理してもよい。音声デコーダ６１４は、音声パケットを受信及び処理するように構成してもよい。例えば、音声デコーダ６１４は、音声コーデックの態様を実施するように構成されているハードウェア及びソフトウェアの組み合わせを含むことができる。すなわち、音声デコーダ６１４は、音声パケットを受信して、レンダリングのために音声出力システム６１６に音声データを提供するように構成してもよい。音声データは、Ｄｏｌｂｙ及びＤｉｇｉｔａｌ  Ｔｈｅａｔｅｒ  Ｓｙｓｔｅｍｓによって開発されたものなどのマルチチャネルフォーマットを使用して、符号化してもよい。音声データは、音声圧縮フォーマットを使用して符号化してもよい。音声圧縮フォーマットの例としては、Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）フォーマット、先進的音響符号化（Advanced Audio Coding、ＡＡＣ）フォーマット、ＤＴＳ−ＨＤフォーマット、及びドルビーデジタル（ＡＣ−３）フォーマットが挙げられる。音声出力システム６１６は、音声データをレンダリングするように構成してもよい。例えば、音声出力システム６１６は、音声プロセッサ、デジタル／アナログ変換装置、増幅器、及びスピーカシステムを含むことができる。スピーカシステムは、ヘッドホン、統合ステレオスピーカシステム、マルチスピーカシステム、又はサラウンドサウンドシステムなどの様々なスピーカシステムのいずれかを含むことができる。
【００６５】
ビデオデコーダ６１８は、ビデオパケットを受信及び処理するように構成してもよい。例えば、ビデオデコーダ６１８は、ビデオコーデックの態様を実施するように使用されるハードウェア及びソフトウェアの組み合わせを含むことができる。一例では、ビデオデコーダ６１８は、ＩＴＵ−Ｔ  Ｈ．２６２又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６４（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）としても知られている）、及びＨｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）などの任意の数のビデオ圧縮規格に従って符号化されたビデオデータを復号化するように構成してもよい。表示システム６２０は、表示のためにビデオデータを検索及び処理するように構成してもよい。例えば、表示システム６２０は、ビデオデコーダ６１８から画素データを受信し、ビジュアルプレゼンテーションのためにデータを出力することができる。更に、表示システム６２０は、ビデオデータと関連するグラフィックス（例えば、グラフィカルユーザインターフェース）を出力するように構成してもよい。表示システム６２０は、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（organic light emitting diode、ＯＬＥＤ）ディスプレイ、又はビデオデータをユーザに提示することができる別のタイプのディスプレイデバイスなどの様々な表示デバイスのうちの１つを含むことができる。表示デバイスは、標準精細度コンテンツ、高精細度コンテンツ、又は超高精度コンテンツを表示するように構成してもよい。
【００６６】
Ｉ／Ｏデバイス（単数又は複数）６２２は、受信デバイス６００の動作中に入力を受信し、出力を提供するように構成してもよい。すなわち、Ｉ／Ｏデバイス（単数又は複数）６２２は、レンダリングされるマルチメディアコンテンツをユーザが選択できるようにしてよい。入力は、例えば、押しボタン式リモートコントロール、タッチ感知スクリーンを含むデバイス、モーションベースの入力デバイス、音声ベースの入力デバイス、又はユーザ入力を受信するように構成された任意の他のタイプのデバイスなどの入力デバイスから生成され得る。Ｉ／Ｏデバイス（単数又は複数）６２２は、例えば、ユニバーサルシリアルバスプロトコル（Universal Serial Bus、ＵＳＢ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）などの規格化された通信プロトコル、又は例えば、独自の赤外線通信プロトコルなどの独自の通信プロトコルを使用して、受信デバイス６００に動作可能に結合され得る。
【００６７】
ネットワークインターフェース６２４は、受信デバイス６００がローカルエリアネットワーク及び／又はワイドエリアネットワークを介してデータを送信及び受信できるように構成してもよい。ネットワークインターフェース６２４は、Ｅｔｈｅｒｎｅｔ（登録商標）カードなどのネットワークインターフェースカード、光トランシーバ、無線周波数トランシーバ、又は情報を送信及び受信するように構成された任意の他の種類のデバイスを含むことができる。ネットワークインターフェース６２４は、ネットワークで利用される物理層及びメディアアクセス制御（Media Access Control、ＭＡＣ）層に従って、物理的シグナリング、アドレッシング、及びチャネルアクセス制御を実行するように構成してもよい。受信機デバイス６００は、図８に関して上述した技術のいずれかに従って生成された信号をパースするように構成することができる。このように、受信装置６００は、サブピクチャコンポジションに関連付けられる特定のリプレゼンテーション内の時限メタデータトラックをデカプセル化し、時限メタデータトラックの関連識別子をパースするように構成されたデバイスの一例を表し、ここで、関連識別子は、メディアトラックによって実行される全方位メディアに対応する値を含む。
【００６８】
１つ以上の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装することができる。ソフトウェアで実装される場合に、この機能は、コンピュータ可読媒体上の１つ以上の命令又はコードとして記憶するか又は伝送され、ハードウェアベースの処理部によって実行することができる。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体又は通信媒体などの有形の媒体に対応する、コンピュータ可読記憶媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的な有形のコンピュータ可読記憶媒体、又は（２）信号又は実行波などの通信媒体に対応することができる。データ記憶媒体は、本開示中に記載された技術の実現のための命令、コード、及び／又はデータ構造を取り出すために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
【００６９】
一例として、非限定的に、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、又は他の光学ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶装置、フラッシュメモリ、又は任意の他の媒体、すなわち命令若しくはデータ構造の形式で所望のプログラムコードを記憶するために使用可能であり、かつコンピュータによりアクセス可能な任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（digital subscriber line、ＤＳＬ）、あるいは赤外線、無線及びマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読媒体及びデータ記憶媒体は、接続、実行波、信号、又は他の一過性媒体を含まないが、代わりに非一時的な有形記憶媒体を対象としていることを理解されたい。本発明で使用する場合、ディスク（disk）及びディスク（disc）は、コンパクトディスク（Compact Disc、ＣＤ）、レーザーディスク（laser disc）、光学ディスク（optical disc）、デジタル多用途ディスク（Digital Versatile Disc、ＤＶＤ）、フロッピーディスク（floppy disk）及びブルーレイ（登録商標）ディスク（Blu−ray（登録商標）disc）を含み、ディスク（disk）は通常データを磁気的に再生し、ディスク（disc）はレーザを用いてデータを光学的に再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれなければならない。
【００７０】
命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート配列（ＦＰＧＡ）、又は他の同等の集積又はディスクリートロジック回路などの１つ以上のプロセッサによって実行することができる。したがって、本明細書で使用されるとき、用語「プロセッサ」は、前記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことができる。加えて、いくつかの態様において、本明細書に記載の機能は、符号化及び復号化するように構成された、又は複合コーデックに組み込まれた専用のハードウェアモジュール及び／又はソフトウェアモジュール内に設けられ得る。また、この技術は、１つ以上の回路又は論理素子中に完全に実装することができる。
【００７１】
本開示の技術は、無線ハンドセット、集積回路（integrated circuit、ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む多種多様なデバイス又は装置に実装することができる。様々なコンポーネント、モジュール、又は単位を本開示中に示し、開示された技術を実行するように構成されたデバイスの機能的な態様を強調しているが、異なるハードウェア単位によって実現することは必ずしも必要ではない。むしろ、前述したように、様々な単位は、コーデックハードウェア単位に組み合わせてもよく、又は好適なソフトウェア及び／又はファームウェアと共に、前述の１つ以上のプロセッサを含む、相互動作ハードウェア単位の集合によって提供することができる。
【００７２】
更に、上述の各実装形態で用いた基地局装置や端末装置の各機能ブロックや各種の機能は、一般的には集積回路又は複数の集積回路である電気回路によって実現又は実行することができる。本明細書に記載の機能を実行するように設計された回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け又は汎用アプリケーション集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート配列（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジック、若しくは個々のハードウェアコンポーネント、又はそれらの組み合わせを備えていてもよい。汎用プロセッサは、マイクロプロセッサでもよく、あるいは、プロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもよい。上述した汎用プロセッサ又は各回路は、デジタル回路で構成されても、又はアナログ回路で構成されてもよい。更に、半導体技術の進歩により現時点での集積回路に置き換わる集積回路化技術が現れれば、この技術による集積回路もまた使用可能となる。
【００７３】
様々な実施例について説明した。これら及び他の実施例は、以下の特許請求の範囲内である。
【００７４】
＜相互参照＞
この通常出願は、米国特許法第１１９条の下、仮出願第６２／７２５，２３６号（２０１８年８月３０日出願）、同第６２／７４２，９０４号（２０１８年１０月８日出願）、同第６２／７８５，４３６号（２０１８年１２月２７日出願）、同第６２／８１５，２２９号（２０１９年３月７日出願）に基づく優先権を主張するものであり、それらの内容の全体が参照により本明細書に組み込まれる。
【図１】
2021536163.tif 000021
【図２Ａ】
2021536163.tif 000022
【図２Ｂ】
2021536163.tif 000023
【図３】
2021536163.tif 000024
【図４】
2021536163.tif 000025
【図５Ａ】
2021536163.tif 000026
【図５Ｂ】
2021536163.tif 000027
【図６】
2021536163.tif 000028
【図７】
2021536163.tif 000029
【図８】
2021536163.tif 000030
【図９】
2021536163.tif 000031
【国際調査報告】
2021536163.tif 000032
2021536163.tif 000033
2021536163.tif 000034