(57)【要約】【課題】ビデオ符号化および復号化用の方法、装置、およびコンピュータプログラムプロダクト。【解決手段】第１符号化ビデオ表現の第１部分が復号化され、第２符号化ビデオ表現の復号化に関する情報が、受信され、解析される。符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、および／または空間分解能において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している。情報が、第２符号化ビデオ表現が、予測基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、第１部分の１つまたは複数の復号化ピクチャは、リサンプリングおよび／またはサンプル値スケーリングにより、１つまたは複数の処理済み復号化ピクチャとして処理され、第２ビデオ表現の第２部分は、基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、復号化される。【選択図】図１１
2018507591.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
第１符号化ビデオ表現の第１部分を復号化するステップと、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析するステップと、
を有し、
前記符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
前記情報が、前記第２符号化ビデオ表現が、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記方法は、
前記第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理するステップであって、前記処理ステップは、リサンプリングおよびサンプリング値スケーリングのうちの１つまたは両方を有する、ステップと、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化するステップと、
を更に有する、方法。
【請求項２】
前記情報を有するメディア提示記述を受信するステップ、
を更に有する請求項１に記載の方法。
【請求項３】
前記メディア提示記述に基づいて、前記第１符号化表現の前記第１部分を識別する第１識別子と、前記第２符号化表現の前記第２部分を識別する第２識別子と、を決定するステップと、
前記第１識別子を使用して前記第１部分を要求するステップと、
前記第１部分を受信するステップと、
前記第２識別子を使用して前記第２部分を要求するステップと、
前記第２部分を受信するステップと、
を更に有する請求項２に記載の方法。
【請求項４】
前記第１識別子および前記第２識別子は、ユニフォームリソース識別子である請求項１、２、または３に記載の方法。
【請求項５】
前記第１符号化表現の前記空間分解能は、基準領域について決定され、前記第２符号化表現の前記空間分解能は、予測された領域について決定され、前記方法は、
前記基準領域に関する情報を受信するステップと、あるいは、前記基準領域に関する前記情報が存在していない状態において、
前記第１符号化ビデオ表現のピクチャのエリア全体をカバーするように、前記基準領域を決定するステップと、
前記予測された領域に関する情報を受信するステップと、あるいは、前記予測された領域に関する前記情報が存在していない状態において、
前記第２符号化ビデオ表現のピクチャのエリア全体をカバーするように、前記予測された領域を決定するステップと、
を更に有する請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記１つまたは複数の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一のクロマフォーマットおよびビット深度を有する請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記１つまたは複数の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一の空間分解能を有する請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
前記第２符号化ビデオ表現が、非ベース層に属すると共に独立的に復号化可能であるという情報を受信し、解析するステップ、
を更に有する請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
アクセスユニットが、２つを上回らない数のピクチャを有し、アクセスユニットが２つのピクチャを有しているときに、より高位の層に属する前記ピクチャは、イントラランダムアクセスポイントピクチャであり、前記イントラランダムアクセスポイントピクチャは、予測のための基準として前記同一層内の以前のピクチャを使用しないが、予測のための基準として前記同一のアクセスユニット内のより低位の層内のピクチャを使用しうるという制限を有する、スケーラブルビデオ符号化プロファイルに適合したビットストリームからの前記第１符号化表現の前記第１部分および前記第２符号化表現の前記第２部分の情報を受信し、解析するステップ、
を更に有する請求項１乃至８のいずれか１項に記載の方法。
【請求項１０】
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有する装置であって、前記少なくとも１つのメモリは、コードが保存されており、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
べく、動作するようにし、
前記符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
前記情報が、前記第２符号化ビデオ表現が、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、前記装置が、少なくとも、
前記第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理し、前記処理ステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有し、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する、
べく、動作するように更にする、装置。
【請求項１１】
前記装置は、
前記情報を有するメディア提示記述を受信する、
べく、動作するように更にされる請求項１０に記載の装置。
【請求項１２】
前記装置は、
前記メディア提示記述に基づいて、前記第１符号化表現の前記第１部分を識別する第１識別子と、前記第２符号化表現の前記第２部分を識別する第２識別子と、を決定し、
前記第１識別子を使用して前記第１部分を要求し、
前記第１部分を受信し、
前記第２識別子を使用して前記第２部分を要求し、
前記第２部分を受信する、
べく、動作するように更にされる請求項１１に記載の装置。
【請求項１３】
前記第１識別子および前記第２識別子は、ユニフォームリソース識別子である請求項１０、１１、または１２に記載の装置。
【請求項１４】
前記第１符号化表現の前記空間分解能は、基準領域について決定され、前記第２符号化表現の前記空間分解能は、予測された領域について決定され、前記装置は、
前記基準領域に関する情報を受信し、あるいは、前記基準領域に関する前記情報が存在していない状態において、
前記第１符号化ビデオ表現のピクチャのエリア全体をカバーするように、前記基準領域を決定し、
前記予測された領域に関する情報を受信し、あるいは、前記予測された領域に関する前記情報が存在していない状態において、
前記第２符号化ビデオ表現のピクチャのエリア全体をカバーするように、前記予測された領域を決定する、
べく、動作するように更にされる請求項１０乃至１３のいずれか１項に記載の装置。
【請求項１５】
前記１つまたは複数の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一のクロマフォーマットおよびビット深度を有する請求項１０乃至１４のいずれか１項に記載の装置。
【請求項１６】
前記１つまたは複数の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一の空間分解能を有する請求項１０乃至１５のいずれか１項に記載の装置。
【請求項１７】
前記装置は、
前記第２符号化ビデオ表現が非ベース層に属すると共に独立的に復号化可能であるという情報を受信し、解析する、
べく、更に動作するように更にされる請求項１０乃至１６のいずれか１項に記載の装置。
【請求項１８】
前記装置は、
アクセスユニットが、２つを超えない数のピクチャを有し、アクセスユニットが２つのピクチャを有しているときに、より高位の層に属する前記ピクチャは、イントラランダムアクセスポイントピクチャであり、前記イントラランダムアクセスポイントピクチャは、予測のための基準として前記同一層内の以前のピクチャを使用しないが、予測のための基準として前記同一のアクセスユニット内のより低位の層内のピクチャを使用しうるという制限を有する、スケーラブルなビデオ符号化プロファイルに適合したビットストリームからの前記第１符号化表現の前記第１部分および前記第２符号化表現の前記第２部分の情報を受信し、解析する、
べく、動作するように更にされる請求項１０乃至１７のいずれか１項に記載の装置。
【請求項１９】
装置によって使用されるべくコードが保存されたコンピュータ可読ストレージメディアであって、前記コードは、プロセッサによって実行されたときに、前記装置が、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
べく、動作するようにし、
前記符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
前記情報が、前記第２符号化ビデオ表現が、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、前記装置が、少なくとも、
前記第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理し、前記処理ステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有し、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する
べく、動作するように更にする、メディア、
【請求項２０】
画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダを有する装置であって、前記ビデオデコーダは、
第１符号化ビデオ表現の第１部分を復号化する手段と、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する手段と、
を有し、
前記符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、前記装置は、
前記情報が、前記第２符号化ビデオ表現が、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理する手段であって、前記処理ステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有する、手段と、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する手段と、
を更に有する、装置。
【請求項２１】
画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダであって、前記ビデオデコーダは、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
ように、更に構成され、
前記符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
前記情報が、前記第２符号化ビデオ表現が、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記方法は、
前記第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理するステップであって、前記処理ステップは、リサンプリングまたはサンプル値スケーリングのうちの１つまたは両方を有する、ステップと、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化するステップと、
を更に有する、デコーダ。
【請求項２２】
方法であって、
メディア提示記述から、少なくとも２つの表現のメタデータを解析するステップと、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析するステップと、
を有する方法。
【請求項２３】
前記１つまたは複数の特性は、
−前記シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−前記シーケンスが準拠している準拠ポイントと、
−前記シーケンスを復号化するときに前記ターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−前記シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンス内に含まれる層識別子値と、
−前記シーケンス内に含まれる必要な層の層識別子値と、
−前記シーケンス内に含まれる出力層の層識別子値と、
−前記シーケンスによって表されている代替出力層に関する情報と、
−前記シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−前記シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−前記シーケンス内に含まれる前記層のスケーラビリティ識別子値と、
−前記シーケンスを復号化するために必要とされるまたは示唆される暗黙の基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する請求項２２に記載の方法。
【請求項２４】
前記方法は、補完構造から前記１つまたは複数の特性を解析するステップを更に有する請求項２２または２３に記載の方法。
【請求項２５】
前記方法は、
前記１つまたは複数の特性との関連において、
−前記１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、あるいは、これらの両方に適用されるのかどうかを示す情報と、
−表現の組のなかの前記少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を解析するステップ、
を更に有する請求項２２、２３、または２４に記載の方法。
【請求項２６】
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を復号化するステップと、
前記少なくとも２つの表現のうちの第２ビデオ表現を復号化するステップと、
を更に有し、
前記復号化された第２表現は、クロマフォーマット、サンプルビット深さ、色域、空間分解能のうちの１つまたは複数において、前記第１復号化ビデオ表現と異なっており、前記１つまたは複数の特性は、前記第２符号化ビデオ表現が、予測のための１つまたは複数の基準ピクチャとして前記第１符号化ビデオ表現の１つまたは複数の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している請求項２２乃至２５のいずれか１項に記載の方法。
【請求項２７】
前記第１ビデオ表現から、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを復号化するステップ、
を更に有する請求項２２乃至２６のいずれか１項に記載の方法。
【請求項２８】
コンテナフォーマットの第１トラック識別子を前記エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャと関連付けるステップと、
前記コンテナフォーマットの前記第１トラック識別子を前記第２ビデオ表現と関連付けるステップと、
を更に有する請求項２２乃至２７のいずれか１項に記載の方法。
【請求項２９】
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有する装置であって、前記少なくとも１つのメモリは、コードが保存されており、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
べく、動作するようにする、装置。
【請求項３０】
前記１つまたは複数の特性は、
−前記シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−前記シーケンスが準拠している準拠ポイントと、
−前記シーケンスを復号化するときに前記ターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−前記シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンス内に含まれる層識別子値と、
−前記シーケンス内に含まれる必要な層の層識別子値と、
−前記シーケンス内に含まれる出力層の層識別子値と、
−前記シーケンスによって表されている代替出力層に関する情報と、
−前記シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−前記シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−前記シーケンス内に含まれる前記層のスケーラビリティ識別子値と、
−前記シーケンスを復号化するために必要とされるまたは示唆される暗黙の基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する請求項２９に記載の装置。
【請求項３１】
前記装置は、
前記１つまたは複数の特性を補完構造から解析する、
べく、動作するように更にされる請求項２９または３０に記載の装置。
【請求項３２】
前記装置は、前記１つまたは複数の特性との関連において、
−前記１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、またはこれらの両方に適用されるかどうかをを示す情報と、
−表現の組のうちの前記少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を解析する、
べく、動作するように更にされる請求項２９、３０、または３１に記載の装置。
【請求項３３】
前記装置は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を復号化し、
前記少なくとも２つの表現のうちの第２ビデオ表現を復号化する、
べく、動作するように更にされ、
前記復号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１復号化ビデオ表現と異なっており、前記１つまたは複数の特性は、前記第２符号化ビデオ表現が、予測のための１つまたは複数の基準ピクチャとして前記第１符号化ビデオ表現の１つまたは複数の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している請求項２９乃至３２のいずれか１項に記載の装置。
【請求項３４】
前記装置は、
前記第ビデオ表現から、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを復号化する、
べく、動作するように更にされる請求項２９乃至３３のいずれか１項に記載の装置。
【請求項３５】
前記装置は、
コンテナフォーマットの第１トラック識別子を前記エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャと関連付け、
前記コンテナフォーマットの前記第１トラック識別子を前記第２ビデオ表現と関連付ける、
べく、動作するように更にされる請求項２９乃至３４のいずれか１項に記載の装置。
【請求項３６】
装置によって使用されるべくコードが保存されたコンピュータ可読ストレージメディアであって、前記コードは、プロセッサによって実行されたときに、前記装置が、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
べく、動作するようにする、メディア。
【請求項３７】
画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダを有する装置であって、前記ビデオデコーダは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析する手段と、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する手段と、
を有する、装置。
【請求項３８】
画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダであって、前記ビデオデコーダは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
ように、更に構成されている、ビデオデコーダ。
【請求項３９】
方法であって、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供するステップと、
前記メディア提示記述内において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供するステップと、
を有する方法。
【請求項４０】
前記１つまたは複数の特性は、
−前記シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−前記シーケンスが準拠している準拠ポイントと、
−前記シーケンスを復号化するときに前記ターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−前記シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンス内に含まれる層識別子値と、
−前記シーケンス内に含まれる必要な層の層識別子値と、
−前記シーケンス内に含まれる出力層の層識別子値と、
−前記シーケンスによって表されている代替出力層に関する情報と、
−前記シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−前記シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−前記シーケンス内に含まれる前記層のスケーラビリティ識別子値と、
−前記シーケンスを復号化するために必要とされるまたは示唆される暗黙の基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する請求項３９に記載の方法。
【請求項４１】
前記方法は、
前記メディア提示記述を解析するときに解析が必要とされない補完的構造内において前記１つまたは複数の特性を提供するステップ、
を更に有する請求項３９または４０に記載の方法。
【請求項４２】
前記方法は、
前記１つまたは複数の特性との関連において、
−前記１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、またはこれらの両方に適用されるかどうかを標示する情報と
−表現の組のうちの前記少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を提供するステップ、
を更に有する請求項３９、４０、または４１に記載の方法。
【請求項４３】
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化するステップと、
前記少なくとも２つの表現のうちの第２ビデオ表現を符号化するステップと、
を更に有し、
前記符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している、
請求項３９乃至４２のいずれか１項に記載の方法。
【請求項４４】
前記第１ビデオ表現内に、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを符号化するステップ、
を更に有する請求項３９乃至４３のいずれか１項に記載の方法。
【請求項４５】
コンテナフォーマットの第１トラック識別子を前記エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャと関連付けるステップと、
前記コンテナフォーマットの前記第１トラック識別子を前記第２ビデオ表現と関連付けるステップと、
を更に有する請求項３９乃至４４のいずれか１項に記載の方法。
【請求項４６】
エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャは、スキップピクチャである請求項３９乃至４５のいずれか１項に記載の方法。
【請求項４７】
装置であって、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
前記メディア提示記述内において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
べく、動作するようにする、装置。
【請求項４８】
前記１つまたは複数の特性は、
−前記シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−前記シーケンスが準拠している準拠ポイントと、
−前記シーケンスを復号化するときに前記ターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−前記シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンス内に含まれる層識別子値と、
−前記シーケンス内に含まれる必要な層の層識別子値と、
−前記シーケンス内に含まれる出力層の層識別子値と、
−前記シーケンスによって表されている代替出力層に関する情報と、
−前記シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−前記シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−前記シーケンス内に含まれる前記層のスケーラビリティ識別子値と、
−前記シーケンスを復号化するために必要とされるまたは示唆される暗黙の基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する請求項４７に記載の装置。
【請求項４９】
前記装置は、
前記メディア提示記述を解析するときに解析が必要とされない補完構造内において前記１つまたは複数の特性を提供する、
べく、動作するように更にされる請求項４７または４８に記載の装置。
【請求項５０】
前記装置は、前記１つまたは複数の特性との関連において、
−前記１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、またはこれらの両方に適用されるかどうかを標示する情報と、
−表現の組のうちの前記少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を提供する、
べく、動作するように更にされる請求項４７、４８、または４９に記載の装置。
【請求項５１】
前記装置は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化し、
前記少なくとも２つの表現のうちの第２ビデオ表現を符号化する、
べく、動作するように更にされ、
前記符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している請求項４７乃至５０のいずれか１項に記載の装置。
【請求項５２】
前記装置は、
前記第１ビデオ表現内に、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを符号化する
べく、動作するように更にされる請求項４７乃至５１のいずれか１項に記載の装置。
【請求項５３】
前記装置は、
コンテナフォーマットの第１トラック識別子を前記エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャと関連付け、
前記コンテナフォーマットの前記第１トラック識別子を前記第２ビデオ表現と関連付ける、
べく、動作するように更にされる請求項４７乃至５２のいずれか１項に記載の装置。
【請求項５４】
エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャは、スキップピクチャである請求項４７乃至５３のいずれか１項に記載の装置。
【請求項５５】
装置によって使用されるべくコードが保存されたコンピュータ可読ストレージメディアであって、前記コードは、プロセッサによって実行されたときに、前記装置が、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
前記メディア提示記述内において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
べく、動作するようにする、メディア。
【請求項５６】
前記１つまたは複数の特性は、
−前記シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−前記シーケンスが準拠している準拠ポイントと、
−前記シーケンスを復号化するときに前記ターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−前記シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−前記シーケンス内に含まれる層識別子値と、
−前記シーケンス内に含まれる必要な層の層識別子値と、
−前記シーケンス内に含まれる出力層の層識別子値と、
−前記シーケンスによって表されている代替出力層に関する情報と、
−前記シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−前記シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−前記シーケンス内に含まれる前記層のスケーラビリティ識別子値と、
−前記シーケンスを復号化するために必要とされるまたは示唆される暗黙の基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する請求項５５に記載のコンピュータ可読ストレージメディア。
【請求項５７】
前記装置は、
前記メディア提示記述を解析するときに解析が必要とされない補完構造内において前記１つまたは複数の特性を提供する、
べく、動作するように更にされる請求項５５または５６に記載のコンピュータ可読ストレージメディア。
【請求項５８】
前記装置は、前記１つまたは複数の特性との関連において、
−前記１つまたは複数の特性がオーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、またはこれらの両方に適用されるかどうかを標示する情報と、
−表現の組のうちの前記少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を提供する、
べく、動作するように更にされる請求項５５、５６、または５７に記載のコンピュータ可読ストレージメディア。
【請求項５９】
前記装置は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化し、
前記少なくとも２つの表現のうちの第２ビデオ表現を符号化する、
べく、動作するように更にされ、
前記符号化された第２表現は、クロマフォーマット、サンブルビット深度、色域、空間分解能のうちの１つまたは複数において、前記第１符号化ビデオ表現と異なっており、前記情報は、前記第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している請求項５５乃至５８のいずれか１項に記載のコンピュータ可読ストレージメディア。
【請求項６０】
前記装置は、
前記第１ビデオ表現内に、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを符号化する、
べく、動作するように更にされる請求項５５乃至５９のいずれか１項に記載のコンピュータ可読ストレージメディア。
【請求項６１】
前記装置は、
コンテナフォーマットの第１トラック識別子を前記エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャと関連付け、
前記コンテナフォーマットの前記第１トラック識別子を前記第２ビデオ表現と関連付ける、
べく、動作するように更にされる請求項５５乃至６０のいずれか１項に記載のコンピュータ可読ストレージメディア。
【請求項６２】
エンハンス層内の前記少なくとも１つのイントラランダムアクセスポイントピクチャは、スキップピクチャである請求項５５乃至６１のいずれか１項に記載のコンピュータ可読ストレージメディア。
【請求項６３】
画像シーケンスを有するビットストリームを符号化するように構成されたビデオエンコーダを有する装置であって、前記ビデオエンコーダは、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供する手段と、
前記メディア提示記述内において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する手段と、
を有する、装置。
【請求項６４】
画像シーケンスを有するビットストリームを復号化するように構成されたビデオエンコーダであって、前記ビデオエンコーダは、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
前記メディア提示記述内において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
ように更に構成されている、ビデオエンコーダ。
【請求項６５】
方法であって、
第１表現として、ピクチャデータユニットを有するビットストリームを受信するステップと、
第１スイッチングポイントにおいて前記第１表現の送信を中断するように決定するステップと、
前記第１スイッチングポイントまで前記第１表現に関するピクチャデータユニットを送信するステップであって、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータユニットを含む、ステップと、
を有する方法。
【請求項６６】
装置であって、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１表現として、ピクチャデータユニットを有するビットストリームを受信し、
第１スイッチングポイントにおいて前記第１表現の送信を中断するように決定し、
前記第１スイッチングポイントまで前記第１表現に関するピクチャデータユニットを送信し、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測用の基準として使用されるのに適した少なくとも１つのデータユニットを含む、
べく、動作するようにする、装置。
【請求項６７】
装置によって使用されるべくコードが保存されたコンピュータ可読ストレージメディアであって、前記コードは、プロセッサによって実行されたときに、前記装置が、
第１表現として、ピクチャデータユニットを有するビットストリームを受信し、
第１スイッチングポイントにおいて前記第１表現の送信を中断するように決定し、
前記第１スイッチングポイントまで前記第１表現に関するピクチャデータユニットを送信し、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用されるのに適した少なくとも１つのデータユニットを含む、
べく、動作するようにする、メディア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの符号化および復号化のための装置、方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
本節は、請求項において記述されている本発明の背景または環境の提供を意図したものである。本明細書における説明は、実行可能ではあったものの、必ずしも、以前に着想または実行されたものではない概念を含んでいる場合がある。従って、本明細書において、そうではない旨が示されていない限り、本節において記述されている内容は、本出願における説明および請求項にとっての従来技術ではなく、本節に含めたことにより、従来技術であることを認めるものではない。
【０００３】
スケーラブルなビデオ符号化とは、１つのビットストリームが、異なるビットレート、分解能、またはフレームレートを有するコンテンツの複数の表現を含みうる符号化構造を意味している。これらの場合には、レシーバは、その特性に応じて、望ましい表現を抽出することができる。あるいは、この代わりに、サーバーまたはネットワーク要素が、例えば、ネットワーク特性またはレシーバの処理能力に応じて、レシーバに送信されるビットストリームの一部分を抽出することもできる。スケーラブルなビットストリームは、通常、利用可能な最低品質のビデオを提供するベース層と、受信され、下位の層と共に復号化されたときに、ビデオの品質を改善する１つまたは複数のエンハンス層と、から構成されている。エンハンス層の符号化効率の改善のために、通常、その層の符号化表現は、下位の層に依存している。
【０００４】
ストリーミングセッションにおける異なる品質と分解能の間のクライアントスイッチングをサポートするべく、セグメント境界における符号化ランダムアクセスポイントピクチャを利用することができる。従来、所謂クローズドピクチャ群（ＧＯＰ：Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）予測構造を開始する、瞬時復号リフレッシュ（ＩＤＲ：Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャのような、瞬間的なランダムアクセスポイント（ＲＡＰ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ）ピクチャのみが、ＨＴＴＰ上における動的適応ストリーミング（ＤＡＳＨ：Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）表現のセグメント境界において使用されている。例えば、Ｈ．２６５／ＨＥＶＣにおけるクリーンランダムアクセス（ＣＲＡ：Ｃｌｅａｎ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ）ピクチャなどの、オープンＧＯＰを開始するイントラピクチャの使用は、ＣＲＡピクチャから始まる復号化プロセスが標準的に規定されていることから、更に古い規格との比較において、Ｈ．２６５／ＨＥＶＣにおいては、改善されている。復号化がＣＲＡピクチャから始まるときには、復号化順序においてＣＲＡピクチャに後続するが、出力順序においては、ＣＲＡピクチャに先行している、ランダムアクセススキップトリーディング（ＲＡＳＬ：Ｒａｎｄｏｍ  Ａｃｅｅｓｓ  Ｓｋｉｐｐｅｄ  Ｌｅａｄｉｎｇ）ピクチャと呼ばれるいくつかのピクチャが、復号化不能である場合がある。その結果、オープンＧＯＰがＤＡＳＨ内のセグメント境界において使用されている場合に、表現スイッチングにより、ＲＡＳＬピクチャの復号化不能状態と、従って、再生におけるピクチャレート障害と、が結果的に発生しえる。例えば、８つのピクチャの予測階層構造が使用され、ピクチャレートが２５Ｈｚである場合には、ビデオは、３分の１秒にわたってフリーズすることになる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下、上述の問題を少なくとも軽減するべく、本明細書においては、スキップピクチャを符号化および復号化する方法について紹介する。
【課題を解決するための手段】
【０００６】
第１実施形態による方法は、
第１符号化ビデオ表現の第１部分を復号化するステップと、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析するステップと、
を有し、
この場合に、符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、方法は、
第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理するステップであって、この処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有する、ステップと、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化するステップと、
を更に有する。
【０００７】
第２実施形態による装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
べく、動作するようにし、
この場合に、符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理し、この処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有し、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する、
べく、動作するように更にする。
【０００８】
第３実施形態によれば、装置によって使用されるように、コードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
べく、動作するようにし、
この場合に、符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理し、この処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有し、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する、
べく、動作するように更にする。
【０００９】
第４実施形態によれば、画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダを有する装置が提供され、ビデオデコーダは、
第１符号化ビデオ表現の第１部分を復号化する手段と、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する手段と、
を有し、
この場合に、符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測にのために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、この場合に、装置は、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合には、第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理する手段であって、この処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有する、手段と、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する手段と、
を更に有する。
【００１０】
第５実施形態によれば、画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダが提供され、前記ビデオデコードは、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
ように、更に構成され、
この場合に、符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、方法は、
第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理するステップであって、この処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を含む、ステップと、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化するステップと、
を更に含む。
【００１１】
第６実施形態による方法は、
メディア提示記述から、少なくとも２つの表現のメタデータを解析するステップと、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析するステップと、
を含む。
【００１２】
第７実施形態による装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、コードは、少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
べく、動作するようにする。
【００１３】
第８実施形態によれば、装置によって使用されるように、コードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
べく、動作するようにする。
【００１４】
第９実施形態によれば、画像シーケンスを含むビットストリームを復号化するように構成されたビデオエンコーダを備える装置が提供され、ビデオエンコードは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析する手段と、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的なセグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する手段と、
を有する。
【００１５】
第１０実施形態によれば、画像シーケンスを含むビットストリームを復号化するように構成されたビデオエンコーダが提供され、前記ビデオエンコーダは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
ように、更に構成されている。
第１１実施形態による方法は、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供するステップと、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供するステップと、
を含む。
【００１６】
第１２実施形態による装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
べく、動作するようにする。
【００１７】
第１３実施形態によれば、装置によって使用されるように、コードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
べく、動作するようにする。
【００１８】
第１４実施形態によれば、画像シーケンスを含むビットストリームを符号化するように構成されたビデオエンコーダを有する装置が提供され、ビデオエンコーダは、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供する手段と、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的なセグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する手段と、
を有する。
【００１９】
第１５実施形態によれば、画像シーケンスを含むビットストリームを復号化するように構成されたビデオエンコーダが提供され、前記ビデオエンコーダは、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
ように、更に構成されている。
【００２０】
第１６実施形態による方法は、
ピクチャデータユニットを含むビットストリームを第１表現として受信するステップと、
第１スイッチングポイントにおいて第１表現の送信を中断するように決定するステップと、
第１スイッチングポイントまで第１表現に関するピクチャデータユニットを送信するステップであって、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータユニットを含む、ステップと、
を含む。
【００２１】
第１７実施形態によれば、装置が提供され、装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
ピクチャデータユニットを含むビットストリームを第１表現として受信し、
第１スイッチングポイントにおいて第１表現の送信を中断するように決定し、
第１スイッチングポイントまで第１表現に関するピクチャデータユニットを送信し、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータユニットを含む、
べく、動作するようにする。
【００２２】
第１８実施形態によれば、装置によって使用されるように、コードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
ピクチャデータユニットを含むビットストリームを第１表現として受信し、
第１スイッチングポイントにおいて第１表現の送信を中断するように決定し、
第１スイッチングポイントまで第１表現に関するピクチャデータユニットを送信し、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータユニットを含む、
べく、動作するようにする。
【００２３】
本発明について更に十分に理解できるように、以下、一例として、添付図面を参照することとする。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態を利用する電子装置を概略的に示す。
【図２】本発明の実施形態を利用するのに適したユーザー機器を概略的に示す。
【図３】無線および有線ネットワーク接続を使用して接続された本発明の実施形態を利用する電子装置を概略的に更に示す。
【図４】本発明の実施形態の実装に適したエンコーダを概略的に示す。
【図５】２つのタイルから構成されたピクチャの一例を示す。
【図６】いくつかのＨＴＴＰ上における動的適応ストリーミング表現のいくつかの詳細事項を示す。
【図７】ＳＰピクチャが、２つの異なるビットストリームの間においてスイッチングするべく使用されうる方式の一例を示す。
【図８ａ】リーディングピクチャを含む２つのビットストリームの一例を示す。
【図８ｂ】１つのビットストリームから別のビットストリームへのスイッチングのときに、リーディングピクチャの復号化が省略される状況の一例を示す。
【図８ｃ】１つのビットストリームから別のビットストリームにスイッチングするべく、２つのビットストリームからのＩピクチャが、受信され、復号化される状況の一例を示す。
【図８ｄ】１つのビットストリームから別のビットストリームへのスイッチングのときに、他方のビットストリームのリーディングピクチャの復号化が省略される状況の一例を示す。
【図８ｅ】一実施形態による１つのビットストリームから別のビットストリームへのスイッチングの際の復号化動作の一例を示す。
【図９ａ】一実施形態による冗長適応型分解能変更のためのセグメントの符号化および準備の一例を示す。
【図９ｂ】一実施形態によるアップスイッチングの際の冗長適合型分解能変更方法の動作を示す。
【図９ｃ】一実施形態による黙示的基準ピクチャリサンプリング方法のためのセグメントの符号化および準備の一例を示す。
【図９ｄ】一実施形態によるアップスイッチングの際の黙示的基準ピクチャリサンプリング方法の動作を示す。
【図１０】本発明の一実施形態による符号化方法のフローチャートを示す。
【図１１】本発明の一実施形態による復号化方法のフローチャートを示す。
【図１２】本発明の実施形態の実装に適したデコーダの概略図を示す。
【図１３】様々な実施形態が実装されうる例示用のマルチメディア通信システムの概略図を示す。
【発明を実施するための形態】
【００２５】
以下、例えば、ＨＴＴＰ上における適合ストリーミングにおける、種類の異なるビデオ表現の間におけるスイッチングのための好適な装置および可能なメカニズムについて更に詳細に説明する。この観点において、まず、図１および図２が参照され、図１は、例示用の装置または電子装置５０の概略ブロックダイアグラムとして、例示用の一実施形態によるビデオ符号化システムのブロックダイアグラムを示しており、装置５０は、本発明の一実施形態によるコーデックを内蔵しうる。図２は、例示用の一実施形態による装置のレイアウトを示している。以下、図１および図２の要素について説明することとする。
【００２６】
電子装置５０は、例えば、無線通信システムのモバイル端末またはユーザー機器であってもよい。但し、本発明の実施形態は、ビデオ画像の符号化および復号化あるいは符号化または復号化を必要としうる任意の電子装置または機器内において実装されうることを理解されたい。
【００２７】
装置５０は、装置を内蔵および保護するためのハウジング３０を有していてもよい。装置５０は、液晶ディスプレイの形態におけるディスプレイ３２を更に有していてもよい。本発明のその他の実施形態においては、ディスプレイは、画像またはビデオを表示するのに適した任意の適切なディスプレイ技術であってもよい。装置５０は、キーパッド３４を更に有していてもよい。本発明のその他の実施形態においては、任意の適切なデータまたはユーザーインターフェイスメカニズムが利用されてもよい。例えば、ユーザーインターフェイスは、タッチ感知型ディスプレイの一部分において、仮想キーボードまたはデータエントリシステムとして実装されてもよい。
【００２８】
装置は、マイクロフォン３６または任意の適切なオーディオ入力を有していてもよく、オーディオ入力は、デジタルまたはアナログ信号入力であってもよい。装置５０は、オーディオ出力装置を更に有していてもよく、本発明の実施形態においては、オーディオ出力装置は、イヤピース３８、スピーカ、またはアナログオーディオまたはデジタルオーディオ出力接続のうちのいずれか１つであってもよい。又、装置５０は、電池４０を有していてもよい（あるいは、本発明のその他の実施形態においては、装置は、太陽電池、燃料電池、またはクロックワーク発電機（ｃｌｏｃｋｗｏｒｋ  ｇｅｎｅｒａｔｏｒ）などの任意の適切なモバイルエネルギー装置によって電力供給されてもよい）。装置は、画像および／またはビデオを記録またはキャプチャする能力を有するカメラ４２を更に有していてもよい。装置５０は、その他の装置に対する近距離見通し内通信のための赤外線ポートを更に有していてもよい。その他の実施形態においては、装置５０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線接続またはＵＳＢ／ｆｉｒｅｗｉｒｅ有線接続などの、任意の適切な近距離通信解決策を更に有していてもよい。
【００２９】
装置５０は、装置５０を制御するコントローラ５６またはプロセッサを有していてもよい。コントローラ５６は、メモリ５８に接続されていてもよく、本発明の実施形態においては、メモリ５８は、画像の形態のデータおよびオーディオデータの両方を保存してもよく、／または、更に、コントローラ５６上における実装のための命令を保存してもよい。コントローラ５６は、オーディオおよび／またはビデオデータの符号化および復号化を実行する、あるいは、コントローラによって実行される符号化および復号化を支援する、のに適したコーデック回路５４に更に接続されていてもよい。
【００３０】
装置５０は、ユーザー情報を提供するための、ネットワークにおけるユーザーの認証および認可用の認証情報を提供するのに適した、例えば、ＵＩＣＣおよびＵＩＣＣリーダーなどの、カードリーダー４８およびスマートカード４６を更に有していてもよい。
【００３１】
装置５０は、コントローラに接続された、例えば、セルラー通信ネットワーク、無線通信システム、または無線ローカルエリアネットワークとの間における通信のための無線通信信号を生成するのに適した、無線インターフェイス回路５２を有していてもよい。装置５０は、無線インターフェイス回路５２において生成された高周波信号を１つまたは複数のその他の装置に送信するべく、１つまたは複数のその他の装置から高周波信号を受信するべく、無線インターフェイス回路５２に接続されたアンテナ４４を更に有していてもよい。
【００３２】
装置５０は、個々のフレームを記録または検出する能力を有するカメラを有していてもよく、これらのフレームは、次いで、処理のために、コーデック５４またはコントローラに伝達される。装置は、送信および／または保存に先立って、別の装置から、処理のためのビデオ画像データを受信してもよい。又、装置５０は、符号化／復号化用の画像を、無線で、あるいは、有線接続により、受信してもよい。
【００３３】
図３との関連において、本発明の実施形態を利用しうるシステムの一例が示されている。システム１０は、１つまたは複数のネットワークを通じて通信しうる複数の通信装置を有する。システム１０は、限定を伴うことなしに、（ＧＳＭ（登録商標）、ＵＭＴＳ、ＣＤＭＡネットワークなどのような）無線セルラー電話ネットワーク、ＩＥＥＥ８０２．ｘ規格のいずれかによって定義されているものなどの無線ローカルエリアネットワーク（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈパーソナルエリアネットワーク、Ｅｔｈｅｒｎｅｔローカルエリアネットワーク、トークンリングローカルエリアネットワーク、ワイドエリアネットワーク、およびインターネットを含む、有線または無線ネットワークの任意の組合せを有していてもよい。
【００３４】
システム１０は、本発明の実施形態を実装するのに適した有線および無線通信装置および／または装置５０の両方を含んでいてもよい。
【００３５】
例えば、図３に示されているシステムは、モバイル電話ネットワーク１１と、インターネットの表現２８と、を示している。インターネット２８に対する接続は、限定を伴うことなしに、長距離無線接続、近距離無線接続、並びに、限定を伴うことなしに、電話線、ケーブルライン、電力線、および類似の通信経路を含む、様々な有線接続を含んでいてもよい。
【００３６】
システム１０内において示されている例示用の通信装置は、限定を伴うことなしに、電子装置または機器５０と、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）および携帯電話機の組合せ１４と、ＰＤＡ１６と、統合型メッセージング装置（ＩＭＤ：Ｉｎｔｅｇｒａｔｅｄ  Ｍｅｓｓａｇｉｎｇ  Ｄｅｖｉｃｅ）１８と、デスクトップコンピュータ２０と、ノートブックコンピュータ２２と、を含んでいてもよい。装置５０は、固定型であってもよく、あるいは、移動する人物によって携行されるときには、可動型であってもよい。又、装置５０は、限定を伴うことなしに、自動車、トラック、タクシー、バス、列車、ボート、飛行機、自転車、オートバイ、または任意の類似した適切な搬送モードを含む、所定の搬送モードにおいて配置されてもよい。
【００３７】
又、実施形態は、ディスプレイまたは無線能力を有してもよく／そうでなくてもよいセットトップボックス、即ち、デジタルＴＶ受信機の内部において、ハードウェアまたはソフトウェアあるいはエンコーダ／デコーダ実装形態の組合せを有するタブレットまたは（ラップトップ）パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）の内部において、様々なオペレーティングシステムの内部において、ハードウェア／ソフトウェアに基づいた符号化を提供するチップセット、プロセッサ、ＤＳＰ、および／または組込み型システムの内部において、実装されてもよい。
【００３８】
いくつかのまたは更なる装置は、通話およびメッセージを送信および受信してもよく、基地局２４に対する無線接続２５を通じて、サービスプロバイダと通信してもよい。基地局２４は、携帯電話ネットワーク１１とインターネット２８との間の通信を許容するネットワークサーバー２６に対して接続されていてもよい。システムは、更なる通信装置または様々なタイプの通信装置を含んでいてもよい。
【００３９】
通信装置は、限定を伴うことなしに、符号分割多重アクセス（ＣＤＭＡ：Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ  Ｍｉｂｉｌｅ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｙｓｔｅｍ），時間分割多重アクセス（ＴＤＭＡ：Ｔｉｍｅ  Ｄｉｖｉｓｉｏｎａｌ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、周波数分割多重アクセス（ＦＤＭＡ：Ｆｒｅｑｕｅｎｃｙ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＴＣＰ−ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ−Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）、ショートメッセージングサービス（ＳＭＳ：Ｓｈｏｒｔ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ）、マルチメディアメッセージングサービス（ＭＭＳ：Ｍｕｌｔｉｍｅｄｉａ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ）、電子メール、インスタントメッセージサービス（ＩＭＳ：Ｉｎｓｔａｎｔ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ）、Ｂｌｕｅｔｏｏｔｈ、ＩＥＥＥ８０２．１１、および任意の類似した無線通信技術を含む、様々な送信技術を使用して通信してもよい。本発明の様々な実施形態の実装に関与する通信装置は、限定を伴うことなしに、無線、赤外線、レーザー、ケーブル接続、および任意の適切な接続を含む、様々なメディアを使用して通信してもよい。
【００４０】
ビデオコーデックは、入力ビデオを保存／送信に適した圧縮された表現に変換するエンコーダと、圧縮されたビデオ表現を視聴可能な形態に戻すように圧縮解除しうるデコーダと、から構成されている。又、ビデオエンコーダおよび／またはビデオデコーダは、互いに分離されていてもよく、即ち、コーデックを形成することは、必須はない。通常、エンコーダは、ビデオを相対的にコンパクトな形態において（即ち、相対的に低いビットレートにおいて）表すために、オリジナルのビデオシーケンス内のなんらかの情報を破棄している。
【００４１】
例えば、ＩＴＵ−ＴのＨ．２６３およびＨ．２６４の多くのエンコーダ実装形態などの、通常のハイブリッド型ビデオエンコーダは、２つのフェーズにおいて、ビデオ情報を符号化している。第１に、特定のピクチャエリア（あるいは、「ブロック」）内のピクセル値が、例えば、（符号化されるブロックに緊密に対応した予め符号化されたビデオフレームのうちの１つのフレーム内においてエリアを見出すと共に標示する）モーション補償手段により、あるいは、（規定された方式によって符号化対象のブロックの周りのピクセル値を使用する）空間的手段により、予測されている。第２に、予測誤差、即ち、予測されたピクセルのブロックとオリジナルのピクセルのブロックの間の差が、符号化されている。これは、通常、規定された変換（例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）またはこの変形）を使用してピクセル値の差を変換し、係数を量子化し、量子化された係数をエントロピー符号化することにより、実行される。量子化プロセスの忠実度を変化させることにより、エンコーダは、ピクセル表現の精度（ピクチャ品質）と結果的に得られる符号化ビデオ表現のサイズ（ファイルサイズまたは送信ビットレート）の間のバランスを制御することができる。
【００４２】
時間的予測、モーション補償、またはモーション補償された予測と呼ばれる場合もある、インター予測は、時間的冗長性を低減する。インター予測においては、予測の供給源は、予め復号化されたピクチャである。イントラ予測は、同一のピクチャ内の隣接したピクセルは、相関している可能性が高い、という事実を利用している。イントラ予測は、空間または変換ドメイン内において実行することが可能であり、即ち、サンプル値または変換係数を予測することができる。イントラ予測は、通常、インター予測が適用されないイントラ符号化において活用されている。
【００４３】
符号化手順の１つの結果が、モーションベクトルおよび量子化された変換係数などの、符号化パラメータの組である。多くのパラメータは、最初に空間的または時間的に隣接したパラメータから予測されている場合に、相対的に効率的にエントロピー符号化することができる。例えば、モーションベクトルは、空間的に隣接したモーションベクトルから予測されてもよく、モーションベクトル予測値との関係における差のみが符号化されてもよい。符号化パラメータの予測およびイントラ予測は、集合的に、ピクチャ内予測（ｉｎ−ｐｉｃｔｕｒｅ  ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる場合がある。
【００４４】
図４は、本発明の実施形態の利用に適したビデオエンコーダのブロックダイアグラムを示している。図４は、２つの層用のエンコーダを示しているが、示されているエンコーダは、２つを上回る数の層を符号化するべく、同様に拡張することも可能であることを理解されたい。図４は、ベース層用の第１エンコーダセクション５００と、エンハンス層用の第２エンコーダセクション５０２と、を有するビデオエンコーダの一実施形態を示している。第１エンコーダセクション５００および第２エンコーダセクション５０２のそれぞれは、到来するピクチャを符号化するための類似の要素を有していてもよい。エンコーダセクション５００、５０２は、ピクセル予測器３０２、４０２と、予測誤差エンコーダ３０３、４０３と、予測誤差デコーダ３０４、４０４と、を有していてもよい。又、図４は、インター予測器３０６、４０６、イントラ予測器３０８、４０８、モード・セレクタ３１０、４１０、フィルタ３１６、４１６、および基準フレームメモリ３１８、４１８を有するものとして、ピクセル予測器３０２、４０２の一実施形態をも示している。第１エンコーダセクション５００のピクセル予測器３０２は、（画像とモーション補償済みの基準フレーム３１８の間の差を決定する）インター予測器３０６と（現時点のフレームまたはピクチャの既に処理済みの部分のみに基づいて画像ブロックの予測を決定する）イントラ予測器３０８の両方において符号化されるビデオストリームのベース層画像３００を受信している。インター予測器およびイントラ予測器の両方の出力は、モード・セレクタ３１０に伝達されている。イントラ予測器３０８は、複数のイントラ予測モードを有していてもよい。従って、それぞれのモードが、イントラ予測を実行してもよく、予測された信号をモード・セレクタ３１０に提供してもよい。又、モード・セレクタ３１０は、ベース層ピクチャ３００の複写をも受信している。相応して、第２エンコーダセクション５０２のピクセル予測器４０２は、（画像とモーション補償済みの基準フレーム４１８の間の差を決定する）インター予測器４０６と（現時点のフレームまたはピクチャの既に処理済みの部分のみに基づいて画像ブロックの予測を決定する）イントラ予測器４０８の両方において符号化されるビデオストリームのエンハンス層画像４００を受信している。インター予測器およびイントラ予測器の両方の出力は、モード・セレクタ４１０に伝達されている。イントラ予測器４０８は、複数のイントラ予測モードを有していてもよい。従って、それぞれのモードが、イントラ予測を実行してもよく、予測された信号をモード・セレクタ４１０に提供してもよい。又、モード・セレクタ４１０は、エンハンス層ピクチャ４００の複写をも受信している。
【００４５】
現時点のブロックを符号化するべく選択される符号化モードに応じて、インター予測器３０６、４０６の出力または任意選択のイントラ予測器モードのうちの１つのモードの出力またはモード・セレクタ内の表面エンコーダの出力が、モード・セレクタ３１０、４１０の出力に伝達されている。モード・セレクタの出力は、第１加算装置３２１、４２１に伝達されている。第１加算装置は、予測誤差エンコーダ３０３、４０３に入力される第１予測誤差信号３２０、４２０を生成するべく、ピクセル予測器３０２、４０２の出力をベース層ピクチャ３００／エンハンス層ピクチャ４００から減算してもよい。
【００４６】
ピクセル予測器３０２、４０２は、予備再構築器３３９、４３９から、画像ブロック３１２、４１２の予測表現と予測誤差デコーダ３０４、４０４の出力３３８、４３８の組合せを更に受信している。予備再構築画像３１４、４１４は、イントラ予測器３０８、４０８と、フィルタ３１６、４１６と、に伝達されてもよい。予備表現を受信したフィルタ３１６、４１６は、予備表現をフィルタリングしてもよく、最終的再構築画像３４０、４４０を出力してもよく、この最終的再構築画像３４０、４４０は、基準フレームメモリ３１８、４１８内において保存されてもよい。基準フレームメモリ３１８は、将来のベース層ピクチャ３００がインター予測動作において比較される基準画像として使用されるように、インター予測器３０６に接続されていてもよい。又、ベース層が、いくつかの実施形態に従って、選択されており、エンハンス層の層間サンプル予測および／または層間モーション情報予測の供給源であると標示されている場合には、基準フレームメモリ３１８は、将来のエンハンス層ピクチャ４００がインター予測動作において比較される基準画像として使用されるように、インター予測器４０６に接続されていてもよい。更には、基準フレームメモリ４１８は、将来のエンハンス層ピクチャ４００がインター予測動作において比較される基準画像として使用されるように、インター予測器４０６に接続されていてもよい。
【００４７】
第１エンコーダセクション５００のフィルタ３１６のフィルタリングパラメータは、ベース層が、いくつかの実施形態に従って、選択されており、エンハンス層のフィルタリングパラメータを予測するための供給源であると標示されている場合には、第２エンコーダセクション５０２に提供されてもよい。
【００４８】
予測誤差エンコーダ３０３、４０３は、変換ユニット３４２、４４２と、量子化器３４４、４４４と、を有する。変換ユニット３４２、４４２は、第１予測誤差信号３２０、４２０を変換ドメインに変換している。この変換は、例えば、ＤＣＴ変換である。量子化器３４４、４４４は、量子化された係数を形成するべく、ＤＣＴ係数などの変換ドメイン信号を量子化している。
【００４９】
予測誤差デコーダ３０４、４０４は、予測誤差エンコーダ３０３、４０３から出力を受信し、復号化された予測誤差信号３３８、４３８を生成するべく、予測誤差エンコーダ３０３、４０３とは反対のプロセスを実行しており、復号化された予測誤差信号３３８、４３８は、第２加算装置３３９、４３９において画像ブロック３１２、４１２の予測表現と組み合わせられたときに、予備再構築画像３１４、４１４を生成する。予測誤差デコーダは、変換信号を再構築するべく、例えば、ＤＣＴ係数などの、量子化された係数値を逆量子化する逆量子化器３６１、４６１と、再構築された変換信号に対して逆変換を実行する逆変換ユニット３６１、４６１と、を有するものと見なされてもよく、この場合に、逆変換ユニット３６３、４６３の出力は、１つまたは複数の再構築されたブロックを含んでいる。又、予測誤差デコーダは、更なる復号化された情報およびフィルタパラメータに従って１つまたは複数の再構築されたブロックをフィルタしうるブロックフィルタを有していてもよい。
【００５０】
エントロピーエンコーダ３３０、３４０は、予測誤差エンコーダ３０３、４０３の出力を受信し、誤差検出および補正能力を提供するべく、信号に対して適切なエントロピー符号化／可変長符号化を実行してもよい。エントロピーエンコーダ３３０、４３０の出力は、例えば、マルチプレクサ５０８により、ビットストリームに挿入されてもよい。
【００５１】
アドバンストビデオ符号化（Ｈ．２６４／ＡＶＣ、ＡＶＣとも呼ばれる）規格は、国際通信連合の通信標準化部門（ＩＴＵ−Ｔ：Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）のビデオ符号化専門家グループ（ＶＣＥＧ：Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）および国際標準化機構（ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｓａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／国際電気標準会議（ＩＥＣ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｉｏｎ）の動画専門家グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）のジョイントビデオチーム（ＪＶＴ：Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）によって開発されたものである。Ｈ．２６４／ＡＶＣ規格は、両方の親標準化団体によって公開され、ＩＴＵ−Ｔ推奨Ｈ．２６４およびＩＳＯ／ＩＥＣ国際規格１４４９６−１０と呼ばれており、更には、ＭＰＥＧ−４  Ｐａｒｔ  １０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）とも呼ばれている。新しい拡張または機能を仕様に内蔵したＨ．２６４／ＡＶＣ規格の複数のバージョンが存在している。これらの拡張は、スケーラブルビデオ符号化（ＳＶＣ：Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）およびマルチビュービデオ符号化（ＭＶＣ：Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を含む。
【００５２】
高効率ビデオ符号化（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）のバージョン１（Ｈ．２６５／ＨＥＶＣ、ＨＥＶＣとも呼ばれる）規格は、ＶＣＥＧおよびＭＰＥＧのジョイント協力チーム―ビデオ符号化（ＪＣＴ−ＶＣ：Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ−Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）によって開発されたものである。この規格は、両方の親標準化団体によって公開され、ＩＴＵ−Ｔ推奨Ｈ．２６５およびＩＳＯ／ＩＥＣ国際規格２３００８−２と呼ばれており、更には、ＭＰＥＧ−Ｈ  Ｐａｒｔ  ２  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）とも呼ばれている。Ｈ．２６５／ＨＥＶＣのバージョン２は、スケーラブル、マルチビュー、および忠実度範囲の拡張を含んでおり、これは、それぞれ、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、およびＲＥＸＴと省略されてもよい。Ｈ．２６５／ＨＥＶＣのバージョン２は、ＩＴＵ−Ｔ推奨Ｈ．２６５（１０／２０１４）として事前公開されており、２０１５年に、ＩＳＯ／ＩＥＣ２３００８−２の第２版として公開される可能性が高い。現時点においては、三次元および画面コンテンツ符号化拡張を含むＨ．２６５／ＨＥＶＣに対する更なる拡張を開発するための継続中の標準化プロジェクトが存在しており、これは、それぞれ、３Ｄ−ＨＥＶＣおよびＳＣＣと省略されてもよい。
【００５３】
ＳＨＶＣ、ＭＶ−ＨＥＶＣ、および３Ｄ−ＨＥＶＣは、ＨＥＶＣ規格のバージョン２の付属書Ｆにおいて規定されている共通基本仕様を使用している。この共通的な基礎は、例えば、層間依存性などのビットストリームの層の特性のいくつかを規定するハイレベルなシンタックスおよびセマンティクスのみならず、マルチ層ビットストリームの層間基準ピクチャおよびピクチャ順序カウント逸脱を含む基準ピクチャリスト構造などの復号化プロセスをも有する。又、付属書Ｆは、ＨＥＶＣの潜在的な後続のマルチ層拡張において使用されてもよい。以下においては、ビデオエンコーダ、ビデオデコーダ、符号化方法、復号化方法、ビットストリーム構造、および／または実施形態が、ＳＨＶＣおよび／またはＭＶ−ＨＥＶＣなどの、特定の拡張を参照して記述されている場合があるが、これらは、一般に、ＨＥＶＣの任意のマルチ層拡張に対して適用可能であり、場合によっては、更に一般的には、任意のマルチ層ビデオ符号化方式に対して適用可能であることを理解されたい。
【００５４】
本節においては、実施形態が実装されうるビデオエンコーダ、デコーダ、符号化方法、復号化方法、およびビットストリーム構造の一例として、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのいくつかの主要な定義、ビットストリーム、および符号化構造、並びに、概念について説明している。Ｈ．２６４／ＡＶＣの主要な定義、ビットストリーム、および符号化構造、並びに、概念のうちのいくつかは、ＨＥＶＣと同一であり、従って、以下においては、これらについて一緒に説明することとする。本発明の態様は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣに限定されるものではなく、むしろ、この説明は、本発明がそれに基づいて部分的にまたは十分に理解されうる１つの可能な基礎として付与されるものである。
【００５５】
多くの以前のビデオ符号化規格と同様に、Ｈ．２６４／ＡＶＣおよびＨＥＶＣには、ビットストリームのシンタックスおよびセマンティクスのみならず、誤りを含んでいないビットストリーム用の復号化プロセスが規定されている。符号化プロセスは、規定されていないが、エンコーダは、適合したビットストリームを生成しなければならない。ビットストリームおよびデコーダの準拠状態は、仮想基準デコーダ（ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ  Ｒｅｆｅｒｅｎｃｅ  Ｄｅｃｏｄｅｒ）によって検証することができる。これらの規格は、送信誤りおよび損失への対処を支援する符号化ツールを含んでいるが、符号化におけるツールの使用は、任意選択的にあり、誤ったビットストリームについての復号化プロセスは、規定されていない。
【００５６】
既存の規格の説明においてのみならず、例示用の実施形態の説明においても、シンタックス要素は、ビットストリーム内において表されているデータ要素として定義されてもよい。シンタックス構造は、規定された順序においてビットストリーム内において一緒に存在しているゼロ以上の数のシンタックス要素として定義されてもよい。既存の規格の説明においてのみならず、例示用の実施形態の説明においても、「外部手段により」または「外部手段を通じて」というフレーズが使用されている場合がある。例えば、復号化プロセスにおいて使用されるシンタックス構造または変数の値などのエンティティは、「外部手段により」、復号化プロセスに対して提供されてもよい。「外部手段により」というフレーズは、エンティティが、エンコーダによって生成されたビットストリーム内に含まれておらず、むしろ、例えば、制御プロトコルを使用することにより、ビットストリームの外から伝達されることを標示しうる。この代わりに、またはこれに加えて、このフレーズは、エンティティが、エンコーダによって生成されず、例えば、デコーダを使用しているプレーヤまたは復号化制御ロジックあるいはこれらに類似したものの内部において生成されうることをも意味しうる。デコーダは、変数の値などの外部手段を入力するためのインターフェイスを有していてもよい。
【００５７】
プロファイルは、復号化／符号化規格または仕様によって規定されているビットストリームシンタックスの全体のサブセットとして定義されてもよい。所与のプロファイルのシンタックスによって課される境界内において、復号化されたピクチャの規定されているサイズなどのビットストリーム内のシンタックス要素によって取得される値に応じて、エンコーダおよびデコーダの性能の非常に大きな変動が必要される可能性が依然として存在している。多くの用途においては、特定のプロファイル内のシンタックスのすべての仮想的な使用を取り扱う能力を有するデコーダの実装は、実際的でもなく、経済的でもないであろう。この課題を取り扱うために、複数のレベルが使用されてもよい。レベルは、ビットストリーム内のシンタックス要素の値および復号化／符号化規格または仕様内において規定された変数に対して課せられる規定された制約の組として定義されてもよい。これらの制約は、値に対する単純な制限であってもよい。この代わりに、またはこれに加えて、これらの制約は、値の算術的な組合せに対する制約の形態（例えば、ピクチャ幅×ピクチャ高さ×１秒当たりに復号化されるピクチャの数）を有していてもよい。又、レベル用の制約を規定するその他の手段が使用されてもよい。レベル内において規定される制約のいくつかは、例えば、一秒などの期間当たりの、マクロブロックなどの符号化ユニットの観点における、最大ピクチャサイズ、最大ビットレート、および最大データレートに関係したものであってもよい。すべてのプロファイルについて、同一のレベルの組が定義されてもよい。例えば、異なるプロファイルを実装することにより、端末の相互操作性を向上させるために、それぞれのレベルの定義の大部分のまたはすべての側面が、異なるプロファイルに跨って共通しうることが、好ましい場合がある。ビットストリーム内のシンタックス要素の値に課せられるレベル制約の規定されたカテゴリとして、ティアが定義されてもよく、この場合に、レベル制約は、ティア内においてネストされており、特定のティアおよびレベルに適合したデコーダは、そのレベルまたはそれ未満の任意のレベルの同一のティアまたは下位のティアに適合したすべてのビットストリームを復号化する能力を有することになろう。
【００５８】
いくつかのケースにおいては、特定のプロファイルと特定のレベルの組合せとして、あるいは、特定のプロファイル、特定のティア、および特定のレベルの組合せとして、準拠ポイントが定義されてもよい。ビットストリームの特性および限度並びに／あるいはデコーダの特性および（最大）リソースを規定するためのその意図が、不変の状態において維持されうる限り、準拠ポイントは、代替方式によって定義されうることを理解する必要がある。
【００５９】
Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダに対する入力およびＨ．２６４／ＡＶＣまたはＨＥＶＣデコーダの出力用の基本単位は、それぞれ、ピクチャである。又、エンコードに対する入力として付与されるピクチャは、ソースピクチャと呼ばれる場合もあり、デコーダによって復号化されたピクチャは、復号化ピクチャと呼ばれる場合がある。
【００６０】
ソースおよび復号化ピクチャは、それぞれ、以下のサンプルアレイの組のうちの１つなどの、１つまたは複数のサンプルアレイを有する。
ルマ（Ｙ）のみ（モノクローム）
ルマおよび２つのクロマ（ＹＣｂＣｒまたはＹＣｇＣｏ）
緑色、青色、および赤色（ＧＢＲ、ＲＧＢとも呼ばれる）
その他の規定されていないモノクロームまたは三刺激色見本を表すアレイ（例えば、ＹＺＸ、ＸＹＺとも呼ばれる）
【００６１】
以下においては、これらのアレイは、ルマ（あるいは、ＬまたはＹ）およびクロマと呼ばれる場合があり、この場合に、２つのクロマアレイは、使用されている実際の色表現方法とは無関係に、ＣｂおよびＣｒと呼ばれる場合がある。使用される実際の色表現方法は、例えば、Ｈ．２６４／ＡＶＣおよび／またはＨＥＶＣのビデオ使用性情報（ＶＵＩ：Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）シンタックスを使用することにより、例えば、符号化されたビットストリームにおいて標示することができる。コンポーネントは、アレイ、または３つのサンプルアレイ（ルマおよび２つのクロマ）のうちの１つのアレイの単一のサンプル、あるいは、アレイ、またはモノクロームフォーマットにおけるピクチャを有するアレイの単一のサンプル、として定義されてもよい。
【００６２】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、ピクチャは、フレームまたはフィールドであってもよい。フレームは、ルマサンプルと、恐らくは、対応するクロマサンプルと、の行列を有する。フィールドは、フレームの交互に変化するサンプル行の組であり、ソース信号がインターレースされるときに、エンコーダ入力として使用されてもよい。クロマサンプルアレイは、存在していなくてもよく（、従って、モノクロームサンプリングが使用中であってもよく）、あるいは、ルマサンプルアレイと比較されるときに、クロマサンプルアレイがサブサンプリングされてもよい。クロマフォーマットは、以下のように要約されうる。
【００６３】
モノクロームサンプリングにおいては、１つのサンプルアレイのみが存在し、これは、公称的にルマアレイと見なされてもよい。
【００６４】
４：２：０サンリングにおいては、２つのクロマアレイのそれぞれは、ルマアレイの半分の高さおよび半分の幅を有する。
【００６５】
４：２：２サンプリングにおいては、２つのクロマアレイのそれぞれは、ルマアレイと同一の高さおよび半分の幅を有する。
【００６６】
４：４：４サンプリングにおいては、別個の色プレーンが使用中でないときには、２つのクロマアレイのそれぞれは、ルマアレイと同一の高さおよび幅を有する。
【００６７】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、サンプルアレイを別個の色プレーンとしてビットストリーム内に符号化することが可能であり、それぞれ、ビットストリームから、符号化された色プレーンを別個に復号化することができる。別個の色プレーンが使用中であるときには、それらのそれぞれは、モノクロームサンプリングを有するピクチャとして（エンコーダおよび／またはデコーダによって）別個に処理される。
【００６８】
クロマサブサンプリングが使用中であるときには（例えば、４：２：０または４：２：２クロマサンプリング）、ルマサンプルとの関係におけるクロマサンプルの場所は、（例えば、事前処理ステップとして、または符号化の一部分として）エンコーダ側において決定されてもよい。ルマサンプル位置との関係におけるクロマサンプル位置は、例えば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣなどの符号化規格において、事前定義されていてもよく、あるいは、例えば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣのＶＵＩの一部分として、ビットストリーム内において標示されてもよい。
【００６９】
パーティション化は、組のそれぞれの要素が、正確に、サブセットのうちの１つのサブセット内に存在するような、サブセットへの組の分割として定義されてもよい。
【００７０】
Ｈ．２６４／ＡＶＣにおいては、マクロブロックは、ルマサンプルの１６×１６ブロックと、クロマサンプルの対応するブロックと、である。例えば、４：２：０サンプリングパターンにおいては、マクロブロックは、それぞれのクロマコンポーネント当たりに１つのクロマサンプルの８×８ブロックを含んでいる。Ｈ．２６４／ＡＶＣにおいては、１つのピクチャは、１つまたは複数のスライスグループにパーティション化され、スライスグループは、１つまたは複数のスライスを含む。Ｈ．２６４／ＡＶＣにおいては、スライスは、特定のスライスグループ内におけるラスタスキャンにおいて連続的に順序付けされた整数の数のマクロブロックから構成されている。
【００７１】
ＨＥＶＣ符号化および／復号化の動作を説明するときには、以下の用語が使用される場合がある。符号化ブロックは、符号化ブロックへの符号化ツリーブロックの分割がパーティション化となるような、なんらかのＮの値におけるサンプルのＮ×Ｎブロックとして定義されてもよい。符号化ツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）は、符号化ツリーブロックへのコンポーネントの分割がパーティション化となるような、なんらかのＮの値におけるサンプルのＮ×Ｎブロックとして定義されてもよい。符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）は、ルマサンプルの符号化ツリーブロック、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応する符号化ツリーブロック、あるいは、モノクロームピクチャまたはサンプルを符号化するべく使用される３つの別個の色プレーンおよびシンタックス構造を使用して符号化されたピクチャのサンプルの符号化ツリーブロックとして、定義されてもよい。符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｕｎｉｔ）は、ルマサンプルの符号化ブロック、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応する符号化ブロック、あるいは、モノクロームピクチャまたはサンプルを符号化するべく使用される３つの別個の色プレーンおよびシンタックス構造を使用して符号化されたピクチャのサンプルの符号化ブロック、として定義されてもよい。
【００７２】
高効率ビデオ符号化（ＨＥＶＣ）コーデックなどの、いくつかのビデオコーデックにおいては、ビデオピクチャは、ピクチャのエリアをカバーする符号化ユニット（ＣＵ）に分割されている。ＣＵは、ＣＵ内におけるサンプル用の予測プロセスを定義する１つまたは複数の予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）と、前記ＣＵ内におけるサンプル用の予測誤差符号化プロセスを定義する１つまたは複数の変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）と、から構成されている。通常、ＣＵは、可能なＣＵサイズの予め定義された組から選択可能なサイズを有するサンプルの正方形ブロックから構成されている。最大許容サイズを有するＣＵは、ＬＣＵ（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ：最大符号化ユニット）または符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）と命名されてもよく、ビデオピクチャは、オーバーラップしていないＬＣＵに分割される。ＬＣＵは、例えば、ＬＣＵおよび結果的に得られるＣＵを再帰的に分割することにより、更に小さなＣＵの組合せに更に分割することができる。それぞれの結果的に得られるＣＵは、通常、少なくとも１つのＰＵと、これと関連付けられた少なくとも１つのＴＵと、を有する。それぞれのＰＵおよびＴＵは、それぞれ、予測および予測誤差符号化プロセスの粒度を増大させるべく、更に小さなＰＵおよびＴＵに更に分割することができる。それぞれのＰＵは、（例えば、インター予測されたＰＵのためのモーションベクトル情報およびイントラ予測されたＰＵのためのイントラ予測方向性情報などの）そのＰＵ内のピクセルについて適用することを要する予測の種類を定義する、関連付けられた予測情報を有する。
【００７３】
それぞれのＴＵは、（例えば、ＤＣＴ係数情報を含む）前記ＴＵ内のサンプル用の予測誤差復号化プロセスについて記述した情報と関連付けることができる。これは、通常、予測誤差符号化がそれぞれのＣＵごとに適用されるかどうかとは無関係に、ＣＵレベルにおいてシグナリングされる。ＣＵと関連した予測誤差残差が存在していない場合には、これは、前記ＣＵについてＴＵが存在していないものと見なすことができる。ＣＵへの画像の分割、並びに、ＰＵおよびＴＵへのＣＵの分割は、通常、ビットストリーム内においてシグナリングされており、これにより、デコーダは、意図されているこれらのユニットの構造を再生することができる。
【００７４】
ＨＥＶＣにおいては、ピクチャは、タイルとしてパーティション化することが可能であり、これらのタイルは、矩形であり、整数の数のＬＣＵを含む。ＨＥＶＣにおいては、タイルへのパーティション化は、規則的なグリッドを形成し、この場合に、タイルの高さおよび幅は、最大で、１つのＬＣＵだけ、互いに異なっている。ＨＥＶＣにおいては、スライスは、１つの独立的スライスセグメントと、同一のアクセスユニット内において次の独立的スライスセグメント（存在する場合）に先行するすべての後続の依存的スライスセグメント（存在する場合）と、の内部において含まれる整数の数の符号化ツリーユニットであると定義されている。ＨＥＶＣにおいては、スライスセグメントは、タイルスキャンにおいて連続的に順序付けされ、単一のＮＡＬユニット内において含まれた、整数の数の符号化ツリーユニットであると定義されている。スライスセグメントへのそれぞれのピクチャの分割が、パーティション化である。ＨＥＶＣにおいては、独立的スライスセグメントは、スライスセグメントヘッダのシンタックス要素の値が、先行するスライスセグメントにおける値から推定されないスライスセグメントであると定義され、依存的スライスセグメントは、スライスセグメントヘッダのいくつかのシンタックス要素の値が、復号化順序において先行する独立的スライスセグメントにおける値から推定されるスライスセグメントであると定義されている。ＨＥＶＣにおいては、スライスヘッダは、現時点のスライスセグメントである、あるいは、現時点の依存的スライスセグメントに先行する独立的スライスセグメントである、独立的スライスセグメントのスライスセグメントヘッダであると定義され、スライスセグメントヘッダは、スライスセグメント内において表されている第１のまたはすべての符号化ツリーユニットに属するデータ要素を含む符号化されたスライスセグメントの一部分であると定義されている。ＣＵは、タイルが使用中ではない場合に、タイル内においてまたはピクチャ内においてＬＣＵのラスタスキャン順序においてスキャニングされる。ＬＣＵ内において、ＣＵは、特定のスキャン順序を有する。図５は、正方形の符号化ユニット（実線）にパーティション化された２つのタイルからなるピクチャの一例を示しており、正方形の符号化ユニット（実線）は、矩形の予測ユニット（破線）に更にパーティション化されている。
【００７５】
デコーダは、（エンコーダによって生成され、圧縮された表現内において保存された、モーションまたは空間情報を使用して）ピクセルブロックの予測された表現を形成するための、エンコーダに類似した予測手段と、予測誤差復号化（空間ピクセルドメインにおいて量子化された予測誤差信号を回復する予測誤差符号化の逆動作）と、を適用することにより、出力ビデオを再構築する。予測および予測誤差復号化手段を適用した後に、デコーダは、出力ビデオフレームを形成するべく、予測および予測誤差信号（ピクセル値）を合計する。又、デコーダ（並びに、エンコーダ）は、ディスプレイに伝達する前に、／または、ビデオシーケンス内の到来するフレーム用の予測基準として保存する前に、出力ビデオの品質を改善するべく、更なるフィルタリング手段を適用することもできる。
【００７６】
フィルタリングは、例えば、非ブロック化、サンプル適応型オフセット（ＳＡＯ：Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ）、および／または、適応型ループフィルタリング（ＡＬＦ：Ａｄａｐｔｉｖｅ  Ｌｏｏｐ  Ｆｉｌｔｅｒｉｎｇ）のうちの１つまたは複数を含んでいてもよい。Ｈ．２６４／ＡＶＣは、非ブロック化を含んでいる一方で、ＨＥＶＣは、非ブロック化およびＳＡＯの両方を含んでいる。
【００７７】
通常のビデオコーデックにおいては、モーション情報は、予測ユニットなどの、それぞれのモーション補償された画像ブロックと関連したモーションベクトルにより、標示されている。これらのモーションベクトルのそれぞれは、（エンコーダ側において）符号化されるまたは（デコーダ側において）復号化されるピクチャ内における画像ブロックの変位と、予め符号化または復号化されたピクチャのうちの１つのピクチャ内の予測ソースブロックと、を表している。これらは、モーションベクトルを効率的に表すべく、通常、ブロック固有の予測されたモーションベクトルとの関係において異なる方式で符号化されている。通常のビデオコーデックにおいては、予測されたモーションベクトルは、例えば、隣接するブロックの符号化または復号化されたモーションベクトルの中央値を算出するなどの、予め定義された方式により、生成されている。モーションベクトル予測を生成するための別の方法は、時間的基準ピクチャ内の隣接するブロックおよび／または同じ場所に位置したブロックから候補予測のリストを生成し、選択された候補をモーションベクトル予測値としてシグナリングするというものである。モーションベクトル値の予測に加えて、モーション補償された予測のために使用される１つまたは複数の基準ピクチャを予測することも可能であり、この予測情報は、例えば、予め符号化／復号化されたピクチャの基準インデックスにより、表されてもよい。基準インデックスは、通常、時間的基準ピクチャ内の隣接するブロックおよび／または同じ場所に位置したブロックから予測される。更には、通常の高効率ビデオコーデックは、しばしば、マージング／マージモードと呼ばれる、更なるモーション情報符号化／復号化メカニズムを利用しており、この場合には、それぞれの利用可能な基準ピクチャリストごとのモーションベクトルおよび対応する基準ピクチャインデックスを含む、すべてのモーションフィールド情報が、予測され、なんらの変更／補正をも伴うことなしに、使用されている。同様に、モーションフィールド情報の予測は、時間的基準ピクチャ内の隣接するブロックおよび／または同じ場所に位置したブロックのモーションフィールド情報を使用することにより、実行され、使用されたモーションフィールド情報は、利用可能な隣接した／同じ場所に位置したブロックのモーションフィールド情報が入力されたモーションフィールド候補リストのリスト内において、シグナリングされている。
【００７８】
通常のビデオコーデックは、単一の予測ブロックが、復号化／符号化されているブロックのために使用されるユニ予測と、２つの予測ブロックが、復号化／復号化されているブロック用の予測を形成するべく組み合わせられるバイ予測と、の使用を可能にしている。いくつかのビデオコーデックは、重み付けされた予測を可能にしており、この場合には、予測ブロックのサンプル値は、残差情報の追加の前に、重み付けされている。例えば、乗法的重み付け係数および加法的オフセットを適用することができる。いくつかのビデオコーデックによって可能とされている明示的な重み付け予測において、重み付け係数およびオフセットは、例えば、それぞれの許容可能な基準ピクチャインデックスごとにスライスヘッダ内において符号化されてもよい。いくつかのビデオコーデックによって可能とされている暗黙の重み付け予測においては、重み付け係数および／またはオフセットは、符号化されず、例えば、基準ピクチャの相対的なピクチャ順序カウント（ＰＯＣ：Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）距離に基づいて、導出されている。
【００７９】
通常のビデオコーデックにおいては、モーション補償後の予測残差は、まず、（ＤＣＴのような）変換カーネルによって変換され、次いで、符号化されている。この理由は、しばしば、残差の間には、なんらかの相関が依然として存在しており、変換により、多くの場合に、この相関の低減を支援することが可能であり、相対的に効率的な符号化を提供することができるから、というものである。
【００８０】
通常のビデオエンコーダは、例えば、望ましいマクロブロックモードおよび関連するモーションベクトルなどの、最適な符号化モードを見出すべく、ラグランジュ費用関数を利用している。この種類の費用関数は、多損失符号化方法に起因した（正確なまたは推定された）画像分布歪と画像エリア内のピクセル値を表すべく必要とされる（正確なまたは推定された）情報の量を１つに結び付けるために、以下のように、重み付け係数λを使用しており、
【００８１】
Ｃ＝Ｄ＋λＲ      （１）
【００８２】
ここで、Ｃは、極小化されるラグランジュ費用であり、Ｄは、モードおよびモーションベクトルが考慮された画像歪（例えば、平均二乗誤差）であり、Ｒは、（候補モーションベクトルを表すためのデータの量を含む）デコーダ内において画像ブロックを再構築するための必要なデータを表すべく必要とされるビットの数である。
【００８３】
ビデオ符号化規格および仕様により、エンコーダは、符号化されたピクチャを符号化されたスライスまたはこれに類似したものに分割することができる。ピクチャ内予測は、通常、スライス境界に跨る場合には、無効化される。従って、スライスは、符号化されたピクチャを独立的に復号化可能な断片に分割するための方法であると見なすことができる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、ピクチャ内予測は、スライス境界に跨る場合に、無効化されてもよい。従って、スライスは、符号化されたピクチャを独立的に復号化可能な断片に分割するための方法として見なすことが可能であり、スライスは、従って、しばしば、送信用の基本単位として見なされている。多くのケースにおいて、エンコーダは、ビットストリーム内において、スライス境界に跨る場合にターンオフされるピクチャ内予測のタイプを標示してもよく、デコーダ動作は、例えば、利用可能な予測ソースを結論付けるときに、この情報を考慮している。例えば、隣接するマクロブロックまたはＣＵからのサンプルは、その隣接するマクロブロックまたはＣＵが、異なるスライス内において存在している場合に、イントラ予測のために利用不能であると見なされてもよい。
【００８４】
それぞれ、Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダの出力およびＨ．２６４／ＡＶＣまたはＨＥＶＣデコーダの入力用の基本単位は、ネットワーク抽象化層（ＮＡＬ：Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニットである。パケット指向のネットワーク上における搬送または構造化されたファイル内への保存の場合には、ＮＡＬユニットは、パケットまたは類似の構造内にカプセル化されてもよい。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、フレーム化構造を提供しない送信または保存環境のために、バイトストリームフォーマットが規定されている。バイトストリームフォーマットは、それぞれのＮＡＬユニットの前に開始コードを付加することにより、ＮＡＬユニットを相互に分離している。ＮＡＬユニット境界の誤った検出を回避するべく、エンコーダは、バイト指向の開始コードエミュレーション防止アルゴリズムを実行しており、このアルゴリズムは、開始コードが発生しそうになる場合に、エミュレーション防止バイトをＮＡＬユニットペイロードに追加する。パケットおよびストリーム指向のシステムの間における簡単なゲートウェイ動作を可能とするべく、バイトストリームフォーマットが使用中であるかどうかとは無関係に、開始コードエミュレーション防止が常に実行されてもよい。ＮＡＬユニットは、後続するデータのタイプの標示と、必要に応じてエミュレーション防止バイトと共に挿入されたＲＢＳＰの形態を有するそのデータを含むバイトと、を含むシンタックス構造として、定義されてもよい。未加工のバイトシーケンスペイロード（ＲＢＳＰ：Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ）は、ＮＡＬユニット内においてカプセル化された整数の数のバイトを含むシンタックス構造として定義されてもよい。ＲＢＳＰは、空であるか、あるいは、ＲＢＳＰストップビットによって後続された、０に等しいゼロ以上の数の後続のビットによって後続された、シンタックス要素を含むデータビットのストリングの形態を有している。
【００８５】
ＮＡＬユニットは、ヘッダと、ペイロードと、から構成されている。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、ＮＡＬユニットヘッダは、ＮＡＬユニットのタイプを標示している。
【００８６】
Ｈ．２６４／ＡＶＣのＮＡＬユニットヘッダは、２ビットのｎａｌ＿ｒｅｆ＿ｉｄｃシンタックス要素を含んでおり、これは、０に等しいときには、ＮＡＬユニット内において含まれる符号化されたスライスは、非基準ピクチャの一部分であることを標示し、０超であるときには、ＮＡＬユニット内において含まれる符号化されたスライスが、基準ピクチャの一部分であることを標示している。ＳＶＣおよびＭＶＣのＮＡＬユニットのヘッダは、これに加えて、スケーラビリティおよびマルチビュー階層構造に関係した様々な標示を含んでいてもよい。
【００８７】
ＨＥＶＣにおいては、２バイトのＮＡＬユニットヘッダが、すべての規定されたＮＡＬユニットタイプについて使用されている。ＮＡＬユニットヘッダは、予約された１ビットと、６ビットのＮＡＬユニットタイプ標示と、時間的レベル用の３ビットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１標示（１以上であることが必要とされうる）と、６ビットのｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素と、を含んでいる。ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１シンタックス要素は、ＮＡＬユニットの時間的識別子として見なされてもよく、ゼロに基づいたＴｅｍｐｏｒａｌＩＤ変数は、ＴｅｍｐｏｒａｌＩｄ＝ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１−１として導出されてもよい。０に等しいＴｅｍｐｏｒａｌＩｄは、最下位の時間的レベルに対応している。ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１の値は、２つのＮＡＬユニットヘッダバイトを伴う開始コードエミュレーションを回避するべく、非ゼロであることが必要とされる。選択された値以上であるＴｅｍｐｏｒａｌＩｄを有するすべてのＶＣＬ  ＮＡＬユニットを排除し、すべてのその他のＶＣＬ  ＮＡＬユニットを含むことによって生成されたビットストリームは、準拠状態において留まっている。この結果、ＴＩＤに等しいＴｅｍｐｏｒａｌＩｄを有するピクチャは、ＴＩＤを上回るＴｅｍｐｏｒａｌＩＤを有する任意のピクチャをインター予測基準として使用しない。サブ層または時間的サブ層は、ＴｅｍｐｏｒａｌＩＤ変数の特定の値を有するＶＣＬ  ＮＡＬユニットおよび関連する非ＶＣＬ  ＮＡＬユニットから構成された、時間的なスケーラブルビットストリームの時間的なスケーラブル層であると定義されてもよい。ＨＥＶＣのｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素は、スケーラビリティ階層構造に関する情報を有していてもよい。
【００８８】
ＮＡＬユニットは、ビデオ符号化層（ＶＣＬ：Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）ＮＡＬユニットと非ＶＣＬ  ＮＡＬユニットに分類することができる。ＶＣＬ  ＮＡＬユニットは、通常、符号化されたスライスＮＡＬユニットである。Ｈ．２６４／ＡＶＣにおいては、符号化されたスライスＮＡＬユニットは、１つまたは複数の符号化されたマクロブロックを表すシンタックス要素を含んでおり、これらのそれぞれは、圧縮されていないピクチャ内のサンプルのブロックに対応している。ＨＥＶＣにおいては、ＶＣＬ  ＮＡＬユニットは、１つまたは複数のＣＵを含むシンタックス要素を含んでいる。
【００８９】
Ｈ．２６４／ＡＶＣにおいては、符号化されたスライスＮＡＬユニットは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャ内の符号化されたスライスであるか、あるいは、非ＩＤＲピクチャ内の符号化されたスライスである、と表現することができる。
【００９０】
ＨＥＶＣにおいては、符号化されたスライスＮＡＬユニットは、以下のタイプのうちの１つであると表現することができる。
【００９１】
【表１】
2018507591.tif 000003
【００９２】
ＨＥＶＣにおいては、ピクチャタイプの略号は、トレーリング（ＴＲＡＩＬ）ピクチャ、時間的サブ層アクセス（ＴＳＡ：Ｔｅｍｐｏｒａｌ  Ｓｕｂ−ｌａｙｅｒ  Ａｃｃｅｓｓ）、ステップワイズ時間的サブ層アクセス（ＳＴＳＡ：Ｓｔｅｐ−ｗｉｓｅ  Ｔｅｍｐｏｒａｌ  Ｓｕｂ−ｌａｙｅｒ  Ａｃｃｅｓｓ）、ランダムアクセス復号化可能リーディング（ＲＡＤＬ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｄｅｃｏｄａｂｌｅ  Ｌｅａｄｉｎｇ）ピクチャ、ランダムアクセススキップトリーディング（ＲＡＳＬ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｓｋｉｐｐｅｄ  Ｌｅａｄｉｎｇ）ピクチャ、ブロークンリンクアクセス（ＢＬＡ：Ｂｒｏｋｅｎ  Ｌｉｎｋ  Ａｃｃｅｓｓ）ピクチャ、瞬時復号リフレッシュ（ＩＤＲ：Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ピクチャ、クリーンランダムアクセス（ＣＲＡ：Ｃｌｅａｎ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ）ピクチャとして、定義されてもよい。
【００９３】
イントラランダムアクセスポイント（ＩＲＡＰ：Ｉｎｔｒａ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ）ピクチャと呼ばれる場合がある、ランダムアクセスポイント（ＲＡＰ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ）ピクチャは、それぞれのスライスまたはスライスセグメントが、両端を含む１６〜２３の範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するピクチャである。独立層内のＩＲＡＰピクチャは、イントラ符号化されたスライスのみを含む。ｃｕｒｒＬａｙｅｒＩｄであるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する予測された層に属するＩＲＡＰピクチャは、Ｐ、Ｂ、およびＩスライスを含んでいてもよく、ｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するその他のピクチャからのインター予測を使用することができず、その直接的な基準層からの層間予測を使用してもよい。ＨＥＶＣの現在のバージョンにおいては、ＩＲＡＰピクチャは、ＢＬＡピクチャ、ＣＲＡピクチャ、またはＩＤＲピクチャであってもよい。ベース層を含むビットストリーム内の第１ピクチャは、ＩＲＡＰピクチャである。必要なパラメータセットが利用可能である場合に、その活性化が必要があるときには、独立層におけるＩＲＡＰピクチャ、並びに、復号化順序において独立層におけるすべての後続の非ＲＡＳＬピクチャは、復号化順序においてＩＲＡＰピクチャに先行する任意のピクチャの復号化プロセスを実行することなしに、正確に復号化することができる。ＲＡＰピクチャではないイントラ符号化されたスライスのみを含むピクチャがビットストリーム内において存在していてもよい。ｃｕｒｒＬａｙｅｒＩｄであるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する予測された層に属するＩＲＡＰピクチャ、並びに、復号化順序においてｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべての後続の非ＲＡＳＬピクチャは、必要なパラメータセットが利用可能であるときに、その活性化が必要とされているときには、ｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する層のそれぞれの直接的な基準層の復号化が初期化されているときには（即ち、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｒｅｆＬａｙｅｒＩｄ］が、ｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する層の直接的な基準層のすべてのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に等しいｒｅｆＬａｙｅｒＩｄについて、１に等しいときには）、復号化順序においてＩＲＡＰピクチャに先行するｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する任意のピクチャの復号化プロセスを実行することなしに、正しく復号化することができる。
【００９４】
ＨＥＶＣにおいては、ＣＲＡピクチャは、復号化順序においてビットストリーム内の第１ピクチャであってもよく、あるいは、ビットストリーム内において、後から出現してもよい。ＨＥＶＣにおけるＣＲＡピクチャは、復号化順序においてＣＲＡピクチャに後続しているが、出力順序においては、これに先行する所謂リーディングピクチャを許容している。リーディングピクチャのうちのいくつかである、所謂ＲＡＳＬピクチャは、ＣＲＡピクチャの前に復号化されたピクチャを基準として使用してもよい。復号化および出力順序の両方においてＣＲＡピクチャに後続しているピクチャは、ランダムアクセスがＣＲＡピクチャにおいて実行されるときには、復号化可能であってもよく、従って、ＩＤＲピクチャのクリーンランダムアクセス機能と同様に、クリーンランダムアクセスが実現されてもよい。
【００９５】
ＣＲＡピクチャは、関連付けられたＲＡＤＬまたはＲＡＳＬピクチャを有していてもよい。ＣＲＡピクチャが、復号化順序においてビットストリーム内の第１ピクチャであるときには、ＣＲＡピクチャは、復号化順序において、符号化されたビデオシーケンスの第１ピクチャであり、任意の関連付けられたＲＡＳＬピクチャは、ビットストリーム内に存在していないピクチャに対する参照を含みうることから、デコーダによって出力されず、復号化不能でありうる。
【００９６】
リーディングピクチャは、出力順序において関連付けられたＲＡＰピクチャに先行しているピクチャである。関連付けられたＲＡＰピクチャは、復号化順序における以前のＲＡＰピクチャである（存在する場合）。リーディングピクチャは、ＲＡＤＬピクチャまたはＲＡＳＬピクチャであってもよい。
【００９７】
すべてのＲＡＳＬピクチャは、関連付けられたＢＬＡまたはＣＲＡピクチャのリーディングピクチャである。関連付けられたＲＡＰピクチャが、ＢＬＡピクチャであるか、またはビットストリーム内の第１符号化ピクチャであるときには、ＲＡＳＬピクチャが、ビットストリーム内において存在していないピクチャに対する参照を含みうることから、ＲＡＳＬピクチャは、出力されず、正しく復号化不能でありうる。但し、ＲＡＳＬピクチャは、復号化が、ＲＡＳＬピクチャの関連付けられたＲＡＰピクチャの前において、ＲＡＰピクチャから開始している場合には、正しく復号化することができる。ＲＡＳＬピクチャは、非ＲＡＳＬピクチャの復号化プロセスのための基準ピクチャとしては使用されない。存在しているときに、すべてのＲＡＳＬピクチャは、復号化順序において、同一の関連付けられたＲＡＰピクチャのすべてのトレーリングピクチャに先行している。ＨＥＶＣ規格のいくつかのドラフトにおいては、ＲＡＳＬピクチャは、破棄のためにタグ付けされた（ＴＦＤ：Ｔａｇｇｅｄ  Ｆｏｒ  Ｄｉｓｃａｒｄ）ピクチャと呼ばれている。
【００９８】
すべてのＲＡＤＬピクチャは、リーディングピクチャである。ＲＡＤＬピクチャは、同一の関連付けられたＲＡＰピクチャのトレーリングピクチャの復号化プロセスのための基準ピクチャとしては使用されない。存在しているときに、すべてのＲＡＤＬピクチャは、復号化順序において、同一の関連付けられたＲＡＰピクチャのすべてのトレーリングピクチャに先行している。ＲＡＤＬピクチャは、復号化順序において関連付けられているＲＡＰピクチャに先行しているいずれのピクチャをも参照しておらず、従って、復号化が関連付けられたＲＡＰピクチャから始まっているときには、正しく復号化することができる。ＨＥＶＣ規格のいくつかのドラフトにおいては、ＲＡＤＬピクチャは、復号化可能なリーディングピクチャ（ＤＬＰ：Ｄｅｃｏｒｄａｂｌｅ  Ｌｅａｄｉｎｇ  Ｐｉｃｔｕｒｅ）と呼ばれている。
【００９９】
ＣＲＡピクチャから始まるビットストリームの一部分が別のビットストリーム内において含まれるときには、ＣＲＡピクチャと関連付けられたＲＡＳＬピクチャは、正しく復号化不能である場合があり、その理由は、その基準ピクチャのいくつかが、組み合わせられたビットストリーム内において存在しえないからである。このようなスプライシング動作を簡単にするべく、それがＢＬＡピクチャであると標示するように、ＣＲＡピクチャのＮＡＬユニットタイプを変更することができる。ＢＬＡピクチャと関連付けられたＲＡＳＬピクチャは、正しく復号化不能である場合があり、従って、出力／表示されない。更には、ＢＬＡピクチャと関連付けられたＲＡＳＬピクチャは、復号化から省略されてもよい。
【０１００】
ＢＬＡピクチャは、復号化順序においてビットストリーム内の第１ピクチャであってもよく、あるいは、ビットストリーム内において、後から出現してもよい。それぞれのＢＬＡピクチャは、新しい符号化されたビデオシーケンスを開始しており、ＩＤＲピクチャと類似した効果を復号化プロセスに対して有する。但し、ＢＬＡピクチャは、空ではない基準ピクチャセットを規定するシンタックス要素を含んでいてもよい。ＢＬＡピクチャが、ＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するときには、ＢＬＡピクチャは、関連付けられたＲＡＳＬピクチャを有していてもよく、これらの関連付けられたＲＡＳＬピクチャは、ビットストリーム内に存在していないピクチャに対する参照を含みうることから、デコーダによって出力されず、デコード不能でありうる。又、ＢＬＡピクチャが、ＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているときには、ＢＬＡピクチャは、関連付けられたＲＡＤＬピクチャを有していてもよく、これらの関連付けられたＲＡＤＬピクチャは、復号化されるものと規定されている。ＢＬＡピクチャが、ＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているときには、ＢＬＡピクチャは、関連付けられたＲＡＳＬピクチャを有してはいないが、関連付けられたＲＡＤＬピクチャを有していてもよく、関連付けられたＲＡＤＬピクチャは、復号化されるものと規定されている。ＢＬＡピクチャが、ＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているときには、ＢＬＡピクチャは、なんらの関連付けられたリーディングピクチャをも有してはいない。
【０１０１】
ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャは、ビットストリーム内において存在する関連付けられたリーディングピクチャを有してはいない。ＩＤＲ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャは、ビットストリーム内において存在する関連付けられたＲＡＳＬピクチャを有してはいないが、ビットストリーム内において、関連付けられたＲＡＤＬピクチャを有していてもよい。
【０１０２】
ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が、ＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＤＬ＿Ｎ、ＲＡＳＬ＿Ｎ、ＲＳＶ＿ＶＣＬ＿Ｎ１０、ＲＳＶ＿ＶＣＬ＿Ｎ１２、またはＲＳＶ＿ＶＣＬ＿Ｎ１４に等しいときには、復号化されたピクチャは、同一の時間的サブ層の任意のその他のピクチャ用の基準としては使用されない。即ち、ＨＥＶＣにおいては、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値が、ＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＤＬ＿Ｎ、ＲＡＳＬ＿Ｎ、ＲＳＶ＿ＶＣＬ＿Ｎ１０、ＲＳＶ＿ＶＣＬ＿Ｎ１２、またはＲＳＶ＿ＶＣＬ＿Ｎ１４Ａに等しいときには、復号化されたピクチャは、同一のＴｅｍｐｏｒａｌＩｄの値を有する任意のピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、およびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒのいずれにも含まれてはいない。ＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、ＳＴＳＡ＿Ｎ、ＲＡＤＬ＿Ｎ、ＲＡＳＬ＿Ｎ、ＲＳＶ＿ＶＣＬ＿Ｎ１０、ＲＳＶ＿ＶＣＬ＿Ｎ１２、またはＲＳＶ＿ＶＣＬ＿Ｎ１４に等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有する符号化されたピクチャは、同一のＴｅｍｐｏｒａｌＩｄの値を有するその他のピクチャの復号化可能性に影響を与えることなしに、破棄されてもよい。
【０１０３】
トレーリングピクチャは、出力順序において、関連付けられたＲＡＰピクチャに後続しているピクチャとして定義されてもよい。トレーリングピクチャである任意のピクチャは、ＲＡＤＬ＿Ｎ、ＲＡＤＬ＿Ｒ、ＲＡＳＬ＿Ｎ、またはＲＡＳＬ＿Ｒに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有してはいない。リーディングピクチャである任意のピクチャは、復号化順序において、同一のＲＡＰピクチャと関連付けられたすべてのトレーリングピクチャに先行するように、制約されてもよい。ＲＡＳＬピクチャは、ＢＬＡ＿Ｗ＿ＤＬＰまたはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャと関連付けられたビットストリーム内には、存在していない。ＲＡＤＬピクチャは、ＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャと関連付けられた、あるいは、ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＩＤＲピクチャと関連付けられた、ビットストリーム内には、存在していない。ＣＲＡまたはＢＬＡピクチャと関連付けられた任意のＲＡＳＬピクチャは、出力順序において、ＣＲＡまたはＢＬＡピクチャと関連付けられた任意のＲＡＤＬピクチャに先行するように、制約されてもよい。ＣＲＡピクチャと関連付けられた任意のＲＡＳＬピクチャは、出力順序において、復号化順序においてＣＲＡピクチャに先行する任意のその他のＲＡＰピクチャに後続するように、制約されてもよい。
【０１０４】
ＨＥＶＣにおいては、時間的サブ層スイッチングポイントを標示するために使用することができるＴＳＡおよびＳＴＳＡピクチャタイプという２つのピクチャタイプが存在している。最大でＮであるＴｅｍｐｏｒａｌＩｄを有する時間的サブ層が、ＴＳＡまたはＳＴＳＡピクチャ（排他的である）およびＴＳＡまたはＳＴＳＡピクチャがＮ＋１に等しいＴｅｍｐｏｒａｌＩｄを有する時点まで、復号化された場合には、ＴＳＡまたはＳＴＳＡピクチャは、Ｎ＋１に等しいＴｅｍｐｏｒａｌＩｄを有する（復号化順序において）すべての後続のピクチャの復号化を可能にする。ＴＳＡピクチャタイプは、ＴＳＡピクチャ自体と、復号化順序においてＴＳＡピクチャに後続する同一のサブ層内のすべてのピクチャと、に対して、制限を課してもよい。これらのピクチャは、いずれも、復号化順序においてＴＳＡピクチャに先行する同一のサブ層内の任意のピクチャからのインター予測を使用することが許容されてはいない。ＴＳＡ定義は、復号化順序においてＴＳＡピクチャに後続するより高位のサブ層内のピクチャに対して制限を更に課してもよい。これらのピクチャは、いずれも、そのピクチャが、ＴＳＡピクチャと同一のまたはそれよりも高位のサブ層に属している場合には、復号化順序においてＴＳＡピクチャに先行するピクチャを参照することが許容されてはいない。ＴＳＡピクチャは、０を上回るＴｅｍｐｏｒａｌＩｄを有する。ＳＴＳＡは、ＴＳＡピクチャに類似しているが、復号化順序においてＳＴＳＡピクチャに後続するより高位のサブ層内のピクチャに対して制限を課しておらず、従って、ＳＴＳＡピクチャが存在しているサブ層上へのアップスイッチングのみを可能にしている。
【０１０５】
非ＶＣＬ  ＮＡＬユニットは、例えば、シーケンスパラメータセット、ピクチャパラメータセット、補完エンハンス情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｈｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）ＮＡＬユニット、アクセスユニット区切り文字、シーケンスＮＡＬユニットの末尾、ビットストリームＮＡＬユニットの末尾、またはフィラーデータＮＡＬユニットというタイプのうちの１つであってもよい。パラメータセットは、復号化されたピクチャの再構築のために必要とされうるのに対して、その他の非ＶＣＬ  ＮＡＬユニットの多くは、復号化されたサンプル値の再構築のためには必要とされない。
【０１０６】
符号化されたビデオシーケンスを通じて不変の状態に留まるパラメータが、シーケンスパラメータセット内において含まれていてもよい。復号化プロセスによって必要とされうるパラメータに加えて、シーケンスパラメータセットは、任意選択により、ビデオ使用性情報（ＶＵＩ）を含んでいてもよく、ビデオ使用性情報は、バッファリング、ピクチャ出力タイミング、レンダリング、およびリソース予約のために重要でありうるパラメータを含んでいる。シーケンス内においてＨ．２６４／ＡＶＣ  ＶＣＬ  ＮＡＬユニット用のすべてのデータを含んでいるシーケンスパラメータセットＮＡＬユニット、補助符号化ピクチャ用のデータを含んでいるシーケンスパラメータセット拡張ＮＡＬユニット、並びに、ＭＶＣおよびＳＶＣ  ＶＣＬ  ＮＡＬユニット用のサブセットシーケンスパラメータセットという、シーケンスパラメータセットを搬送するべくＨ．２６４／ＡＶＣにおいて規定されている３つのＮＡＬユニットが存在している。ＨＥＶＣにおいては、シーケンスパラメータセットＲＢＳＰは、バッファリング期間ＳＥＩメッセージを含む１つまたは複数のピクチャパラメータセットＲＢＳＰまたは１つまたは複数のＳＥＩ  ＮＡＬユニットによって参照されうるパラメータを含んでいる。ピクチャパラメータセットは、いくつかの符号化されたピクチャ内において変化しない可能性が高いパラメータを含んでいる。ピクチャパラメータセットＲＢＳＰは、１つまたは複数の符号化されたピクチャの符号化されたスライスＮＡＬユニットによって参照されうるパラメータを含んでいてもよい。
【０１０７】
ＨＥＶＣにおいては、ビデオパラメータセット（ＶＰＳ：Ｖｉｄｅｏ  Ｐａｒａｍｅｔｅｒ  ｓｅｔ）は、それぞれのスライスセグメントヘッダ内において見出されるシンタックス要素によって参照されるＰＰＳ内において見出されるシンタックス要素によって参照されるＳＰＳ内において見出されるシンタックス要素のコンテンツによって決定される、ゼロ以上の数の符号化されたビデオシーケンス全体に適用されるシンタックス要素を含むシンタックス構造として、定義されてもよい。
【０１０８】
ビデオパラメータセットＲＢＳＰは、１つまたは複数のシーケンスパラメータセットＲＢＳＰによって参照されうるパラメータを含んでいてもよい。
【０１０９】
ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、およびピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）の間の関係および階層構造は、以下のように説明することができる。ＶＰＳは、パラメータセット階層構造内において、スケーラビリティおよび／または３Ｄビデオのコンテキスト内において、ＳＰＳの１レベルだけ上方に存在している。ＶＰＳは、符号化されたビデオシーケンス全体内のすべての（スケーラビリティまたはビュー）層に跨ってすべてのスライスについて共通であるパラメータを含んでいてもよい。ＳＰＳは、符号化されたビデオシーケンス全体内の特定の（スケーラビリティまたはビュー）層内のすべてのスライスについて共通であるパラメータを含み、複数の（スケーラビリティまたはビュー）層によって共有されてもよい。ＰＰＳは、特定の層表現（１つのアクセスユニット内の１つのスケーラビリティまたはビュー層の表現）内のすべてのスライスについて共通であるパラメータを含んでおり、複数の層表現内のすべてのスライスによって共有されている可能性が高い。
【０１１０】
ＶＰＳは、ビットストリーム内の層の依存関係に関する情報のみならず、符号化されたビデオシーケンス全体内のすべての（スケーラビリティまたはビュー）層に跨るすべてのスライスに適用可能である多くのその他の情報を提供してもよい。ＶＰＳは、ベースＶＰＳ、ＶＰＳ拡張、およびＶＰＳ  ＶＵＩという、３つの部分を有するものと見なされてもよく、この場合に、ＶＰＳ拡張およびＶＰＳ  ＶＵＩは、任意選択により、存在してもよい。ＨＥＶＣにおいては、ベースＶＰＳは、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ（）シンタックス構造を伴うことなしに、ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）シンタックス構造を有するものと見なされてもよい。ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）シンタックス構造は、主には、ＨＥＶＣのバージョン１について既に規定されているものであり、ベース層復号化のために有用でありうるシンタックス要素を含んでいる。ＨＥＶＣにおいては、ＶＰＳ拡張は、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ（）シンタックス構造を有するものと見なされてもよい。ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ（）シンタックス構造は、主には、マルチ層拡張のために、ＨＥＶＣのバージョン２において規定されたものであり、層依存関係を標示するシンタックス要素などの、１つまたは複数の非ベース層の復号化に有用でありうるシンタックス要素を有する。ＶＰＳ  ＶＵＩは、復号化またはその他の目的のために有用でありうるが、ＨＥＶＣ復号化プロセスにおいて使用されることが必要とされてはいない、シンタックス要素を有する。
【０１１１】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣシンタックスは、パラメータセットの多くのインスタンスを許容しており、それぞれのインスタンスは、一意の識別子によって識別されている。パラメータセットに必要とされるメモリ使用法を制限するべく、パラメータセット識別子の値の範囲が制限されている。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、それぞれのスライスヘッダは、スライスを含むピクチャの復号化について有効であるピクチャパラメータセットの識別子を含み、それぞれのピクチャパラメータセットは、有効なシーケンスパラメータセットの識別子を含んでいる。その結果、ピクチャおよびシーケンスパラメータセットの送信は、スライスの送信と正確に同期化される必要はない。その代わりに、有効なシーケンスおよびピクチャパラメータセットは、それらが参照される前の任意の時点において受信されることで十分であり、その結果、スライスデータについて使用されるプロトコルとの比較において、相対的に信頼性の高い送信メカニズムを使用することにより、「帯域外」におけるパラメータセットの送信が許容されている。例えば、パラメータセットは、リアルタイムトランスポートプロトコル（ＲＴＰ：Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）セッション用のセッション記述内のパラメータとして含まれうる。パラメータセットが帯域内において送信される場合には、それらは、誤り耐性を改善するべく、反復することができる。
【０１１２】
これに加えて、またはこの代わりに、アクセスまたはセッションネゴシエーションの容易化などの、送信誤りに対する耐性以外の、その他の目的のために、帯域外送信、シグナリング、または保存を使用することもできる。例えば、ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔに適合したファイル内のトラックのサンプルエントリは、パラメータセットを有しうる一方で、ビットストリーム内の符号化されたデータは、ファイル内のどこか別の場所において、または別のファイル内において、保存されている。（例えば、ビットストリームに沿っていることを標示する）「ビットストリームに沿って」というフレーズは、帯域外データがビットストリームと関連付けられている方式による帯域外送信、シグナリング、または保存を意味するべく、請求項および記述されている実施形態において使用されている場合がある。ビットストリームに沿った復号化というフレーズまたはこれに類似したものは、ビットストリームと関連付けられている参照された帯域外データ（これは、帯域外送信、シグナリング、または保存から取得されうる）の復号化を意味しうる。
【０１１３】
パラメータセットは、スライスからのまたは別の有効なパラメータセットからの、あるいは、いくつかのケースにおいては、バッファリング期間ＳＥＩメッセージなどの、別のシンタックス構造からの、参照により、活性化されてもよい。
【０１１４】
ＳＥＩ  ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含んでいてもよく、これらのＳＥＩメッセージは、出力ピクチャの復号化のためには必要とされないが、ピクチャ出力タイミング、レンダリング、誤り検出、誤り隠蔽、およびリソース予約などの、関係するプロセスを支援しうる。いくつかのＳＥＩメッセージは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいて規定されており、ユーザーデータＳＥＩメッセージによれば、組織または企業は、自身の独自の使用のために、ＳＥＩメッセージを規定することができる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣＣは、規定されたＳＥＩメッセージ用のシンタックスおよびセマンティクスを含んでいるが、受信者においてメッセージを取り扱うためのプロセスは、定義されていない。その結果、エンコーダは、ＳＥＩメッセージを生成するときには、Ｈ．２６４／ＡＶＣ規格またはＨＥＶＣ規格に準拠することが必要とされており、それぞれ、Ｈ．２６４／ＡＶＣ規格またはＨＥＶＣ規格に適合したデコーダは、出力順序の準拠のためにＳＥＩメッセージを処理することが必要とされてはいない。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいてＳＷＩメッセージのシンタックスおよびセマンティクスを含んでいる理由の１つは、異なるシステム仕様が、同一の方式で補完情報を解釈できるようにし、従って、相互動作できるようにするというものである。システム仕様は、符号化側および復号化側の両方において特定のＳＥＩメッセージの使用を必要とする可能性があり、これに加えて、受信者において特定のＳＥＩメッセージを取り扱うためのプロセスを規定することも可能であるものと解釈されたい。
【０１１５】
ＡＶＣおよびＨＥＶＣ規格においては、いくつかのネスト化ＳＥＩメッセージが、規定されており、あるいは、さもなければ、提案されている。ネスト化ＳＥＩメッセージの概念は、ネスト化ＳＥＩメッセージ内において、１つまたは複数のＳＥＩメッセージを含み、含まれるＳＥＩメッセージをビットストリームのサブセットおよび／または復号化されたデータのサブセットと関連付けるためのメカニズムを提供する、というものである。ネスト化ＳＥＩメッセージが、それ自体がネスト化ＳＥＩメッセージではない１つまたは複数のＳＥＩメッセージを含むことが必要とされる場合がある。ネスト化ＳＥＩメッセージ内において含まれるＳＥＩメッセージは、ネストされたＳＥＩメッセージと呼ばれてもよい。ネスト化ＳＥＩメッセージ内に含まれていないＳＥＩメッセージは、ネストされていないＳＥＩメッセージと呼ばれてもよい。ＨＥＶＣのスケーラブルなネスト化ＳＥＩメッセージは、（サブビットストリーム抽出プロセスから結果的に得られる）ビットストリームサブセットまたはネストされたＳＥＩメッセージが適用される層の組の識別を可能にする。又、ビットストリームサブセットは、サブビットストリームと呼ばれてもよい。
【０１１６】
符号化されたピクチャは、ピクチャの符号化された表現である。Ｈ．２６４／ＡＶＣにおける符号化されたピクチャは、ピクチャの復号化に必要とされるＶＣＬ  ＮＡＬユニットを有する。Ｈ．２６４／ＡＶＣにおいては、符号化されたピクチャは、主符号化ピクチャまたは冗長符号化ピクチャであってもよい。主符号化ピクチャは、有効なビットストリームの復号化プロセスにおいて使用され、冗長符号化ピクチャは、主符号化ピクチャを正常に復号化することができないときにのみ復号化されることになる冗長表現である。ＨＥＶＣにおいては、冗長符号化ピクチャは、規定されていない。
【０１１７】
Ｈ．２６４／ＡＶＣにおいては、アクセスユニット（ＡＵ：Ａｃｃｅｓｓ  Ｕｎｉｔ）は、主符号化ピクチャと、関連付けられたそのＮＡＬユニットと、を有する。Ｈ．２６４／ＡＶＣにおいては、アクセスユニット内におけるＮＡＬユニットの出現順序は、以下のように制約されている。任意選択のアクセスユニット区切り文字ＮＡＬユニットが、アクセスユニットの開始を標示してもよい。これは、ゼロ以上の数のＳＥＩ  ＮＡＵユニットによって後続される。次いで、主符号化ピクチャの符号化されたスライスが出現する。Ｈ．２６４／ＡＶＣにおいては、主符号化ピクチャの符号化されたスライスは、ゼロ以上の数の冗長符号化ピクチャの符号化されたスライスによって後続されてもよい。冗長符号化ピクチャは、ピクチャまたはピクチャの一部分の符号化された表現である。冗長符号化ピクチャは、主符号化ピクチャが、例えば、送信における損失または物理的ストレージメディア内における破壊に起因して、デコーダによって受信されない場合に、復号化されてもよい。
【０１１８】
又、Ｈ．２６４／ＡＶＣにおいては、アクセスユニットは、補助符号化ピクチャを含んでいてもよく、補助符号化ピクチャは、主符号化ピクチャを補完し、例えば、表示プロセスにおいて使用されうる、ピクチャである。補助符号化ピクチャは、例えば、復号化されたピクチャ内におけるサンプルの透明性レベルを規定するアルファチャネルまたはアルファプレーンとして使用されてもよい。アルファチャネルまたはプレーンは、層化された構造またはレンダリングシステム内において使用されてもよく、この場合には、出力ピクチャは、互いに上下において、少なくとも部分的に透明であるピクチャをオーバーレイすることにより、形成されている。補助符号化ピクチャは、モノクローム冗長符号化ピクチャと同一のシンタックスセマンティクスの制限を有する。Ｈ．２６４／ＡＶＣにおいては、補助符号化ピクチャは、主符号化ピクチャと同一の数のマクロブロックを含んでいる。
【０１１９】
ＨＥＶＣにおいては、符号化されたピクチャは、ピクチャのすべての符号化ツリーユニットを含むピクチャの符号化された表現として、定義されてもよい。ＨＥＶＣにおいては、アクセスユニット（ＡＵ）は、規定された分類規則に従って、互いに関連付けられ、復号化順序において連続し、任意の特定の値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する１つのピクチャを最大で含む、ＮＡＬユニットの組として定義されてもよい。又、符号化されたピクチャのＶＣＬ  ＮＡＬユニットを含むことに加えて、アクセスユニットは、非ＶＣＬ  ＮＡＬユニットを含んでいてもよい。
【０１２０】
ビットストリームは、符号化されたピクチャおよび１つまたは複数の符号化されたビデオシーケンスを形成する関連付けられたデータの表現を形成する、ＮＡＬユニットストリームまたはバイトストリームの形態を有する、ビットのシーケンスとして定義されてもよい。第１ビットストリームは、同一のファイル内または通信プロトコルの同一の接続内などのように、同一の論理チャネル内において、第２ビットストリームによって後続されていてもよい。（ビデオ符号化のコンテキストにおける）基本ストリームは、１つまたは複数のビットストリームのシーケンスとして、定義されてもよい。第１ビットストリームの末尾は、特定のＮＡＬユニットによって標示されてもよく、このＮＡＬユニットは、ビットストリームの末尾（ＥＯＢ：Ｅｎｄ  ｏｆ  Ｂｉｔｓｔｒｅａｍ）ＮＡＬユニットと呼ばれてもよく、ビットストリームの最後のＮＡＬユニットである。ＨＥＶＣおよびその現時点のドラフトの拡張においては、ＥＯＢ  ＮＡＬユニットは、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有することが必要とされている。
【０１２１】
Ｈ．２６４／ＡＶＣにおいては、符号化されたビデオシーケンスは、それ自身を含むＩＤＲアクセスユニットから、それ自身を除く次のＩＤＲアクセスユニットまたはビットストリームの末尾のうちのいずれか早期に出現するものまでの、復号化順序における連続的なアクセスユニットのシーケンスであると定義される。
【０１２２】
ＨＥＶＣにおいては、符号化されたビデオシーケンス（ＣＶＳ：Ｃｏｄｅｄ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅ）は、例えば、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するＩＲＡＰアクセスユニットである任意の後続のアクセスユニットまでの、但し、これを含まない、すべての後続のアクセスユニットを含む、復号化順序において、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するＩＲＡＰアクセスユニットではないゼロ以上の数のアクセスユニットによって後続された、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するＩＲＡＰアクセスユニットから構成されたアクセスユニットのシーケンスとして、定義されてもよい。ＩＲＡＰアクセスユニットは、ベース層ピクチャがＩＲＡＰピクチャであるアクセスユニットとして定義されてもよい。ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇの値は、復号化順序においてビットストリーム内のその特定の層内の第１ピクチャである、復号化順序において同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を有するシーケンスＮＡＬユニットの末尾に後続する第１ＩＲＡＰピクチャである、それぞれのＩＤＲピクチャ、それぞれのＢＬＡピクチャ、およびそれぞれのＩＲＡＰピクチャごとに、１に等しい。マルチ層のＨＥＶＣにおいては、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇの値は、そのｎｕｈ＿ｌａｙｅｒ＿ｉｄが、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］が０に等しく、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｒｅｆＬａｙｅｒＩｄ］が、ＩｄＤｉｒｅｃｔＲｅｆＬａｙｅｒ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］［ｊ］に等しいｒｅｆＬａｙｅｒＩｄのすべての値について１に等しいようになっているときには、それぞれのＩＲＡＰピクチャごとに、１に等しく、ここで、ｊは、０から、それ自体を含むＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］−１までの範囲である。さもなければ、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇの値は、ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇに等しい。１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇは、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが設定されているＩＲＡＰピクチャと関連付けられたＲＡＳＬピクチャが、デコーダによって出力されないという影響を有する。デコーダを制御しうる、プレーヤまたはレシーバなどの、外部エンティティからデコーダにＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇの値を提供するための手段が存在していてもよい。ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇは、例えば、ビットストリーム内の新しい位置をシーキングし、あるいは、ブロードキャスト内にチューニングし、復号化を開始し、次いで、ＣＲＡピクチャからの復号化を開始する、プレーヤにより、１に設定されてもよい。ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇがＣＲＡピクチャについて１に等しい場合には、ＣＲＡピクチャは、ＢＬＡピクチャであるかのように、取り扱われると共に復号化される。
【０１２３】
ＨＥＶＣにおいては、符号化されたビデオシーケンスは、（上述の仕様）に加えて、またはこのかわりに、シーケンスの末尾（ＥＯＳ：Ｅｎｄ  Ｏｆ  Ｓｅｑｕｅｎｃｅ）ＮＡＬユニットと呼ばれてもよい、特定のＮＡＬユニットが、ビットストリーム内において出現し、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するときに、終了するように規定されてもよい。
【０１２４】
ＨＥＶＣにおいては、符号化されたビデオシーケンスグループ（ＣＶＳＧ：Ｃｏｄｅｄ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅ  Ｇｒｏｕｐ）は、例えば、復号化順序において、ｆｉｒｓｔＶｐｓＲｂｓｐが、ビットストリームの末尾、あるいは、ｆｉｒｓｔＶｐｓＲｂｓｐとは異なるＶＰＳ  ＲＢＳＰを活性化したアクセスユニット、但し、これ自体を除く、のうちの復号化順序においていずれか相対的に早期であるものまで、有効なＶＰＳ  ＲＢＳＰである、復号化順序においてすべての後続のアクセスユニットによって後続された、既に有効ではなかったＶＰＳ  ＲＢＳＰ  ｆｉｒｓｔＶｐｓＲｂｓｐを活性化したＩＲＡＰアクセスユニットから集合的に構成された１つまたは複数の連続的なＣＶＳとして定義されてもよい。
【０１２５】
ピクチャ群（ＧＯＰ）およびその特性は、以下のように定義されてもよい。ＧＯＰは、任意の以前のピクチャが復号化されたかどうかとは無関係に復号化することができる。オープンＧＯＰとは、復号化がオープンＧＯＰの初期イントラピクチャから開始したときに、出力順序において初期イントラピクチャに先行するピクチャが、正しく復号化不能でありうるピクチャ群である。換言すれば、オープンＧＯＰのピクチャは、（インター予測において）以前のＧＯＰに属するピクチャを意味しうる。Ｈ．２６４／ＡＶＣデコーダは、Ｈ．２６４／ＡＶＣビットストリーム内の回復ポイントＳＥＩメッセージからオープンＧＯＰを開始するイントラピクチャを認識することができる。ＨＥＶＣデコーダは、オープンＧＯＰを開始するイントラピクチャを認識することが可能であり、その理由は、特定のＮＡＬユニットタイプであるＣＲＡ  ＮＡＬユニットタイプは、その符号化されたスライスについて使用されうるからである。クローズドＧＯＰは、復号化が、クローズドＧＯＰの初期イントラピクチャから開始したときに、すべてのピクチャが、正しく復号化されうるピクチャ群である。換言すれば、クローズドＧＯＰ内のピクチャは、いずれも、以前のＧＯＰ内のいずれのピクチャをも参照してはいない。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、クローズドＧＯＰは、ＩＤＲピクチャから開始してもよい。又、ＨＥＶＣにおいては、クローズドＧＯＰは、ＢＬＡ＿Ｗ＿ＲＡＤＬまたはＢＬＡ＿Ｎ＿ＬＰピクチャから開始してもよい。オープンＧＯＰ符号化構造は、潜在的に、基準ピクチャの選択における相対的に大きな柔軟性に起因して、クローズドＧＯＰ符号化構造との比較において、圧縮において相対的に効率的である。
【０１２６】
ピクチャの構造（ＳＯＰ：Ｓｔｒｕｃｔｕｒｅ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）は、復号化順序において連続的な１つまたは複数の符号化されたピクチャとして定義されてもよく、この場合に、復号化順序における第１符号化ピクチャは、最下位時間的サブ層における基準ピクチャであり、潜在的に復号化順序における第１符号化ピクチャを除いた符号化されたピクチャは、いずれも、ＲＡＰピクチャではない。以前のＳＯＰ内のすべてのピクチャは、現時点のＳＯＰ内のすべてのピクチャに復号化順序において先行しており、次のＳＯＰ内のすべてのピクチャは、現時点のＳＯＰ内のすべてのピクチャに復号化順序において後続している。ＳＯＰは、階層的反復的インター予測構造を表していてもよい。ピクチャ群（ＧＯＰ）という用語は、しばしば、ＳＯＰという用語と相互交換可能に使用される場合があり、ＳＯＰのセマンティクスと同一のセマンティクスを有しうる。
【０１２７】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣのビットストリームシンタックスは、特定のピクチャが、任意のその他のピクチャのインター予測用の基準ピクチャであるかどうかを標示している。任意の符号化タイプ（Ｉ、Ｐ、Ｂ）のピクチャは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいて、基準ピクチャとなることも可能であり、あるいは、非基準ピクチャとなることもできる。
【０１２８】
Ｈ．２６４／ＡＶＣは、デコーダ内におけるメモリ消費量を制御するべく、復号化された基準ピクチャのマーキングのためのプロセスを規定している。Ｍと呼ばれる、インター予測に使用される基準ピクチャの最大数が、シーケンスパラメータセット内において決定される。基準ピクチャは、復号化されるときに、「基準のために使用される」とマーキングされる。基準ピクチャの復号化が、「基準のために使用される」とマーキングされたＭ個を上回る数のピクチャを生成したときには、少なくとも１つのピクチャは、「基準のために使用されない」とマーキングされる。適応型メモリ制御およびスライディングウィンドウという、復号化された基準ピクチャのマーキング用の２つのタイプの動作が存在している。復号化された基準ピクチャのマーキング用の動作モードは、ピクチャごとに選択される。適応型メモリ制御は、「基準のために使用されない」とマーキングされたピクチャの明示的なシグナリングを可能にしており、更には、長期インデックスを短期基準ピクチャに対して割り当ててもよい。適応型メモリ制御は、ビットストリーム内におけるメモリ管理制御動作（ＭＭＣＯ：Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌ  Ｏｐｅｒａｔｉｏｎ）パラメータの存在を必要としうる。ＭＭＣＯパラメータは、復号化された基準ピクチャのマーキングシンタックス構造内において含まれていてもよい。スライディングウィンドウ動作モードが使用中であり、「基準のために使用される」とマーキングされたＭ個のピクチャが存在している場合には、「基準のために使用される」とマーキングされた短期基準ピクチャのうちの第１復号化ピクチャであった短期基準ピクチャは、「基準のために使用されない」とマーキングされる。換言すれば、スライディングウィンドウ動作モードは、短期基準ピクチャの間におけるファーストインファーストアウトバッファリング動作を結果的にもたらしている。
【０１２９】
Ｈ．２６４／ＡＶＣにおけるメモリ管理制御動作のうちの１つは、現時点のピクチャを除いたすべての基準ピクチャが、「基準のために使用されない」とマーキングされるようにしている。瞬時復号リフレッシュ（ＩＤＲ）ピクチャは、イントラ符号化されたスライスのみを含んでおり、基準ピクチャの類似の「リセット」をもたらす。
【０１３０】
ＨＥＶＣにおいては、基準ピクチャのマーキングシンタックス構造および関係する復号化プロセスは、使用されず、その代わりに、基準ピクチャセット（ＲＰＳ：Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  ｓｅｔ）シンタックス構造および復号化プロセスが、類似の目的のために使用されている。ピクチャ用の妥当または有効な基準ピクチャセットは、そのピクチャ用の基準として使用される基準ピクチャのすべてと、復号化順序における任意の後続のピクチャ用の「基準のために使用される」というマーキング状態に維持されている基準ピクチャのすべてと、を含む。ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０（ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅとも呼ばれる）、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１（ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒとも呼ばれる）、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、およびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌと呼ばれる、基準ピクチャセットの６つのサブセットが存在している。又、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０およびＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１は、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌという１つのサブセットを一緒に形成していると見なされてもよい。６つのサブセットの表記法は、以下のとおりである。「Ｃｕｒｒ」は、現時点のピクチャの基準ピクチャリスト内において含まれる基準ピクチャを意味しており、従って、現時点のピクチャ用のインター予測基準として使用されてもよい。「Ｆｏｌｌ」は、現時点のピクチャの基準ピクチャリスト内には含まれていないが、基準ピクチャとして、復号化順序における後続のピクチャ内において使用されうる基準ピクチャを意味している。「Ｓｔ」は、短期基準ピクチャを意味しており、これらは、一般に、そのＰＯＣ値の特定数の最下位ビットを通じて識別することができる。「Ｌｔ」は、長期基準ピクチャを意味しており、これらは、具体的に識別され、一般には、上述の特定数の最下位ビットによって表されうるものよりも、現時点のピクチャとの関係において、より大きなＰＯＣ値の差を有している。「０」は、現時点のピクチャのものよりも小さなＰＯＣ値を有する基準ピクチャを意味している。「１」は、現時点のピクチャのものよりも大きなＰＯＣ値を有する基準ピクチャを意味している。ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、およびＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１は、基準ピクチャセットの短期サブセットと総称される。ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒおよびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌは、基準ピクチャセットの長期サブセットと総称される。
【０１３１】
ＨＥＶＣにおいては、基準ピクチャセットは、シーケンスパラメータセット内において規定されてもよく、基準ピクチャセットに対するインデックスを通じて、スライスヘッダ内において使用に供される。又、基準ピクチャセットは、スライスヘッダ内において規定されてもよい。基準ピクチャセットは、独立的に符号化されてもよく、あるいは、（インターＲＰＳ予測と呼ばれる）別の基準ピクチャセットから予測されてもよい。基準ピクチャセットの符号化のいずれのタイプにおいても、これに加えて、フラグ（ｕｓｅｄ＿ｂｙ＿ｃｕｒｒ＿ｐｉｃ＿Ｘ＿ｆｌａｇ）が、それぞれの基準ピクチャごとに送信され、これにより、基準ピクチャが現時点のピクチャによって基準のために使用されるのか（＊Ｃｕｒｒリスト内に含まれる）または使用されないのか（＊Ｆｏｌｌリスト内に含まれる）を標示している。現時点のスライスによって使用される基準ピクチャセット内に含まれるピクチャは、「基準のために使用される」とマーキングされ、現時点のスライスによって使用される基準ピクチャセット内に存在していないピクチャは、「基準のために使用されない」とマーキングされる。現時点のピクチャがＩＤＲピクチャである場合には、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、およびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌは、すべて、空に設定される。
【０１３２】
復号化されたピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）が、エンコーダおよび／またはデコーダ内において使用されてもよい。復号化されたピクチャのバッファリングには、２つの理由が存在しており、それらは、インター予測における参照のためと、出力順序への復号化ピクチャの再順序付けのためと、である。Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、基準ピクチャのマーキングと出力再順序付けの両方のために大きな柔軟性を提供していることから、基準ピクチャのバッファリングおよび出力ピクチャのバッファリング用の別個のバッファが、メモリリソースを浪費する場合がある。従って、ＤＰＢは、基準ピクチャおよび出力再順序付け用の統合された復号化ピクチャのバッファプロセスを含んでいてもよい。復号化されたピクチャは、もはや、基準として使用されず、出力のために必要とされていないときには、ＤＰＢから除去されてもよい。
【０１３３】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣの多くの符号化モードにおいては、インター予測用の基準ピクチャは、基準ピクチャリストに対するインデックスにより、標示されている。インデックスは、可変長符号化により、符号化されてもよく、可変長符号化は、通常、相対的に小さなインデックスが、対応するシンタックス要素について、相対的に短い値を有するようにしている。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、２つの基準ピクチャリスト（基準ピクチャリスト０および基準ピクチャリスト１）が、それぞれのバイ予測（Ｂ）スライスについて生成され、１つの基準ピクチャリスト（基準ピクチャリスト０）が、それぞれのインター符号化（Ｐ）スライスについて形成される。
【０１３４】
基準ピクチャリスト０および基準ピクチャリスト１などの基準ピクチャリストは、通常、２つのステップにおいて構築され、第１に、初期基準ピクチャリストが生成される。初期基準ピクチャリストは、例えば、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣ、ｔｅｍｐｏｒａｌ＿ｉｄ（あるいは、ＴｅｍｐｏｒａｌＩｄまたはこれに類似したもの）、ＧＯＰ構造などの予測階層構造に関する情報、あるいは、これらの組合せに基づいて、生成されてもよい。第２に、初期基準ピクチャリストが、スライスヘッダ内において含まれうる、基準ピクチャリスト変更シンタックス構造とも呼ばれる、基準ピクチャリスト再順序付け（ＲＰＬＲ：Ｒｅｆｅｒｅｃｅ  Ｐｉｃｔｕｒｅ  Ｌｉｓｔ  Ｒｅｏｒｄｅｒｉｎｇ）コマンドにより、再順序付けされてもよい。Ｈ．２６４／ＡＶＣにおいては、ＲＰＬＲコマンドは、個々の基準ピクチャリストの開始点に対して順序付けされたピクチャを標示している。又、この第２ステップは、基準ピクチャリスト変更プロセスと呼ばれる場合があり、ＲＰＬＲコマンドは、基準ピクチャリスト変更シンタックス構造内において含まれていてもよい。基準ピクチャセットが使用される場合には、基準ピクチャリスト０は、まず、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０を含むように、初期化されてもよく、この場合に、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１によって後続され、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１は、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒによって後続されている。基準ピクチャリスト１は、まず、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１を含むように初期化されてもよく、この場合に、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０によって後続されている。ＨＥＶＣにおいては、初期基準ピクチャリストは、基準ピクチャリスト変更シンタックス構造を通じて変更されてもよく、この場合に、初期基準ピクチャリスト内のピクチャは、リストに対するエントリインデックスを通じて識別されてもよい。換言すれば、ＨＥＶＣにおいては、基準ピクチャリストの変更は、最終基準ピクチャリスト内のそれぞれのエントリに対するループを有するシンタックス構造として符号化されており、この場合に、それぞれのループエントリは、初期基準ピクチャリストに対する固定長符号化されたインデックスであり、最終基準ピクチャリスト内において、昇順の位置順序により、ピクチャを標示している。
【０１３５】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くの符号化規格は、基準ピクチャリストに対する基準ピクチャインデックスを導出するための復号化プロセスを有していてもよく、この復号化プロセスは、特定ブロック用のインター予測のために使用される複数の基準ピクチャのうちの１つを標示するべく、使用されてもよい。基準ピクチャインデックスは、いくつかのインター符号化モードにおいて、エンコーダにより、ビットストリーム内に符号化されてもよく、あるいは、例えば、いくつかのその他のインター符号化モードにおいては、隣接するブロックを使用することにより、（エンコーダおよびデコーダにより）導出されてもよい。
【０１３６】
ビットストリーム内において効率的にモーションベクトルを表すために、モーションベクトルは、ブロック固有の予測されたモーションベクトルとの関係において、異なる方式により、符号化されてもよい。多くのビデオコーデックにおいては、予測されたモーションベクトルは、例えば、隣接するブロックの符号化または復号化されたモーションベクトルの中央値を算出することにより、予め定義された方式によって生成されている。しばしば、アドバンストモーションベクトル予測（ＡＭＶＰ：Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）と呼ばれている、モーションベクトル予測を生成する別の方法は、時間的基準ピクチャ内の隣接するブロックおよび／または同じ場所に位置したブロックから候補予測のリストを生成し、選択された候補をモーションベクトル予測値としてシグナリングするというものである。モーションベクトル値の予測に加えて、予め符号化／復号化されたピクチャの基準インデックスを予測することもできる。基準インデックスは、通常、時間的基準ピクチャ内の隣接するブロックおよび／または同じ場所に位置したブロックから予測されている。モーションベクトルの差分符号化は、通常、スライス境界に跨る場合に、無効化される。
【０１３７】
ＨＥＶＣコーデックなどの多くの高効率ビデオコーデックは、しばしば、マージング／マージモード／プロセス／メカニズムと呼ばれる、更なるモーション情報符号化／復号化メカニズムを利用しており、この場合には、なんらの変更／補正をも伴うことなしに、ブロック／ＰＵのすべてのモーション情報が、予測され、使用される。
【０１３８】
スケーラブルなビデオ符号化は、１つのビットストリームが、例えば、異なるビットレート、分解能、またはフレームレートを有するコンテンツの複数の表現を含みうる符号化構造を意味しうる。これらのケースにおいては、レシーバは、（例えば、表示装置に最良にマッチングした分解能などの）その特性に応じて、望ましい表現を抽出することができる。この代わりに、サーバーまたはネットワーク要素は、例えば、ネットワーク特性またはレシーバの処理能力に応じて、レシーバに送信されるビットストリームの一部分を抽出することもできる。スケーラブルなビットストリームは、通常、利用可能な最低品質のビデオを提供する「ベース層」と、受信および復号化されるときに低位の層と共にビデオ品質を改善する１つまたは複数のエンハンス層と、から構成されている。エンハンス層の符号化効率を改善するべく、この層の符号化された表現は、通常、より低位の層に依存している。例えば、エンハンス層のモーションおよびモード情報は、より低位の層から予測することができる。同様に、エンハンス層用の予測を生成するべく、より低位の層のピクセルデータを使用することもできる。
【０１３９】
いくつかのスケーラブルなビデオ符号化方式においては、ビデオ信号は、１つのベース層と、１つまたは複数のエンハンス層と、に符号化することができる。エンハンス層は、例えば、時間的分解能（即ち、フレームレート）、空間的分解能、あるいは、単に、別の層またはその一部分によって表されるビデオコンテンツの品質を改善することができる。それぞれの層は、すべてのその従属層と共に、例えば、特定の空間的分解能、時間的分解能、および品質レベルを有するビデオ信号の１つの表現である。本明細書においては、本発明者らは、その従属層のすべてと共に、スケーラブルな層を「スケーラブルな層表現」と呼んでいる。特定の忠実度においてオリジナルの信号の表現を生成するべく、スケーラブルな層表現に対応したスケーラブルなビットストリームの一部分を抽出および復号化することができる。
【０１４０】
スケーラビリティモードまたはスケーラビリティ次元は、限定を伴うことなしに、以下のものを含みうる。
【０１４１】
−品質スケーラビリティ：ベース層ピクチャは、エンハンス層ピクチャよりも低い品質において符号化されており、これは、例えば、エンハンス層内におけるものよりも、ベース層内において、より大きな量子化パラメータ値（即ち、変換係数量子化用のより大きな量子化ステップサイズ）を使用することにより、実現されてもよい。品質スケーラビリティは、後述するように、微細粒または微細粒度スケーラビリティ（ＦＧＳ：Ｆｉｎｅ−Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）、中間粒または中間粒度スケーラビリティ（ＭＧＳ：Ｍｅｄｉｕｍ−Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）、および／または粗粒または粗粒度スケーラビリティ（ＣＧＳ：Ｃｏａｒｓｅ−Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）に更に分類されてもよい。
【０１４２】
−空間的スケーラビリティ：ベース層ピクチャは、エンハンス層ピクチャよりも低い分解能において符号化されている（即ち、相対的に少ないサンプルを有する）。空間的スケーラビリティと品質スケーラビリティ、特にその粗粒スケーラビリティタイプは、しばしば、同一のスケーラビリティタイプと見なされうる。
【０１４３】
−ビット深度スケーラビリティ：ベース層ピクチャは、エンハンス層ピクチャ（例えば、１０または１２ビット）よりも小さなビット深度（即ち、８ビット）において符号化されている。
【０１４４】
−クロマフォーマットスケーラビリティ：ベース層ピクチャは、エンハンス層ピクチャ（例えば、４：４：４フォーマット）よりも低い空間的分解能（例えば、４：２：０クロマフォーマットにおいて符号化される）をクロマサンプルアレイ内において提供している。
【０１４５】
−色域スケーラビリティ：エンハンス層ピクチャは、ベース層ピクチャのものよりも豊富な／広い色表現範囲を有しており、例えば、エンハンス層は、ＵＨＤＴＶ（ＩＴＵ−Ｒ  ＢＴ．２０２０）色域を有していてもよく、ベース層は、ＩＴＵ−Ｒ  ＢＴ．７０９色域を有していてもよい。
【０１４６】
−ビュースケーラビリティ：これは、マルチビュー符号化と呼ばれてもよい。ベース層は、第１ビューを表し、エンハンス層は、第２ビューを表している。
【０１４７】
−深度スケーラビリティ：これは、深度が改善された符号化と呼ばれてもよい。ビットストリームの１つまたはいくつかの層は、１つまたは複数のテクスチャビューを表してもよく、その他の１つまたは複数の層は、１つまたは複数の深度ビューを表してもよい。
【０１４８】
−対象領域スケーラビリティ（後述する）
【０１４９】
−インターレース−プログレッシブスケーラビリティ（フィールド−フレームスケーラビリティとも呼ばれる）：ベース層の符号化されたインターレースソースコンテンツマテリアルが、プログレッシブソースコンテンツを表すように、エンハンス層によって改善される。ベース層内の符号化されたインターレースソースコンテンツは、符号化されたフィールド、フィールドペアを表す符号化されたフレーム、またはこれらの混合物を有していてもよい。インターレース−プログレッシブスケーラビリティにおいては、ベース層ピクチャは、１つまたは複数のエンハンス層ピクチャ用の適切な基準ピクチャとなるように、リサンプリングされてもよい。
【０１５０】
−ハイブリッドコーデックスケーラビリティ（符号化基準スケーラビリティとも呼ばれる）：ハイブリッドコーデックスケーラビリティにおいては、ベース層およびエンハンス層のビットストリームシンタックス、セマンティクス、および復号化プロセスは、異なるビデオ符号化規格において規定されている。従って、ベース層ピクチャは、エンハンス層ピクチャとは異なる符号化規格またはフォーマットに従って符号化されている。例えば、ベース層は、Ｈ．２６４／ＡＶＣによって符号化されてもよく、エンハンス層は、ＨＥＶＣマルチ層拡張によって符号化されてもよい。更に一般的には、ハイブリッドコーデックスケーラビリティにおいては、１つまたは複数の層は、１つの符号化規格または仕様に従って符号化されてもよく、その他の１つまたは複数の層は、別の符号化規格または仕様に従って符号化されてもよい。例えば、Ｈ．２６４／ＡＶＣのＭＶＣ拡張に従って符号化された２つの層（このうちの１つは、Ｈ．２６４／ＡＶＣに従って符号化されたベース層である）と、ＭＶ−ＨＥＶＣに従って符号化された１つまたは複数の更なる層と、が存在していてもよい。更には、同一のビットストリームの異なる層が符号化される符号化規格または仕様の数は、ハイブリッドコーデックスケーラビリティにおいては、２つに制限されなくてもよいであろう。
【０１５１】
スケーラビリティタイプの多くは、一緒に、組み合わせられてもよく、適用されてもよいことを理解されたい。例えば、色域スケーラビリティとビット深度スケーラビリティは、組み合わせられてもよい。
【０１５２】
ＳＨＶＣは、色域スケーラビリティ用の３Ｄルックアップテーブル（ＬＵＴ：ＬｏｏｋＵｐ  Ｔａｂｌｅ）に基づいた重み付けされた予測および色マッピングプロセスの使用を可能にしている。３Ｄ  ＬＵＴ方式は、以下のように説明することができる。まず、それぞれの色成分のサンプル値範囲が、２つの範囲に分割され、これにより、最大で２×２×２オクタントが形成されてもよく、更には、ルマ範囲が、最大で４つの部分に分割され、その結果、最大で８×２×２オクタントを得ることができる。それぞれのオクタント内において、色マッピングを実行するべく、クロス色成分線形モデルが適用される。それぞれのオクタントごとに、オクタント内の線形モデルを表すべく、４つの頂点が、ビットストリーム内に符号化されると共に／または、これから復号化される。それぞれの色コンポーネントごとに別個に、色マッピングテーブルが、ビットストリーム内に符号化され、／または、これから復号化される。色マッピングは、３つのステップを伴うものと見なされてもよく、第１に、所与の基準層サンプル三重項（Ｙ，Ｃｂ，Ｃｒ）が属しているオクタントが決定される。第２に、色成分調節プロセスの適用により、ルマおよびクロマのサンプル場所がアライメントされてもよい。第３に、決定されたオクタント用に規定された線形マッピングが適用される。マッピングは、クロス成分特性を有していてもよく、即ち、１つの色成分の入力値は、別の色成分のマッピングされた値に影響を及ぼしうる。又、これに加えて、層間リサンプリングが必要とされる場合には、リサンプリングプロセスへの入力は、色マッピングされたピクチャである。色マッピングは、第１ビット深度のサンプルを別のビット深度のサンプルに対してマッピングしうる（但し、これは必須ではない）。
【０１５３】
基準層ピクチャおよびエンハンス層ピクチャの空間的対応性が、推定されてもよく、あるいは、１つまたは複数のタイプの所謂基準層場所オフセットによって標示されてもよい。ＨＥＶＣにおいては、基準層場所オフセットは、エンコーダにより、ＰＰＳ内において含まれていてもよく、デコーダにより、ＰＰＳから復号化されてよい。基準層場所オフセットは、ＲＯＩスケーラビリティの実現のために使用されてもよいが、これに限定されるものではない。基準層場所オフセットは、スケーリングされた基準層オフセット、基準領域オフセット、およびリサンプリングフェーズセットのうちの１つまたは複数を有していてもよい。スケーリングされた基準層オフセットは、同じ場所に位置した現時点のピクチャ内のサンプルと基準層内の復号化されたピクチャ内の基準領域の左上ルマサンプルの間における水平方向および垂直方向のオフセットと、同じ場所に位置した現時点のピクチャ内のサンプルと基準層内の復号化されたピクチャ内の基準領域の右下ルマサンプルの間における水平方向および垂直方向オフセットと、を規定するものと見なされてもよい。別の方法は、エンハンス層ピクチャの個々のコーナーサンプルとの関係においてアップサンプリングされた基準領域のコーナーサンプルの位置を規定していると、スケーリングされた基準層オフセットを見なすというものである。スケーリングされた基準層オフセット値には、符号が付与されてもよい。基準領域オフセットは、基準層内の復号化されたピクチャ内の基準領域の左上ルマサンプルと同一の復号化されたピクチャの左上ルマサンプルの間の水平方向および垂直方向オフセットと、基準層内の復号化されたピクチャ内の基準領域の右下ルマサンプルと同一の復号化されたピクチャの右下ルマサンプルの間の水平方向および垂直方向オフセットと、を規定するものと、見なされてもよい。基準領域オフセット値には、符号が付与されてもよい。リサンプリングフェーズセットは、直接的な基準層ピクチャのリサンプリングプロセスにおいて使用される位相オフセットを規定していると見なされてもよい。異なるフェーズオフセットが、ルマおよびクロマ成分のために提供されてもよい。
【０１５４】
ハイブリッドコーデックスケーラビリティは、時間、品質、空間、マルチビュー、深度改善、補助ピクチャ、ビット深度、色域、クロマフォーマット、および／またはＲＯＩスケーラビリティなどの、任意のタイプのスケーラビリティと共に使用されてもよい。ハイブリッドコーデックスケーラビリティは、その他のタイプのスケーラビリティと共に使用されてもよいことから、スケーラビリティタイプの異なる分類を形成していると見なされてもよい。
【０１５５】
ハイブリッドコーデックスケーラビリティの使用は、例えば、エンハンス層ビットストリーム内において標示されてもよい。例えば、マルチ層ＨＥＶＣにおいては、ハイブリッドコーデックスケーラビリティの使用は、例えば、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇというシンタックス要素を使用することにより、ＶＰＳ内において標示されてもよい。
【０１５６】
層という用語は、ビュースケーラビリティおよび深度改善を含む、任意のタイプのスケーラビリティのコンテキストにおいて使用されてもよい。エンハンス層は、ＳＮＲ、空間、マルチビュー、深さ、ビット深度、クロマフォーマット、および／または色域改善などの、任意のタイプの改善を意味してもよい。ベース層は、ベースビュー、ＳＮＲ／空間スケーラビリティ用のベース層、あるいは、深度改善されたビデオ符号化用のテクスチャベースビューなどの、任意のタイプのベースビデオシーケンスを意味してもよい。
【０１５７】
いくつかのスケーラブルなビデオ符号化方式は、アクセスユニット内のすべてのピクチャがＩＲＡＰである、あるいは、アクセスユニット内のピクチャのいずれもがＩＲＡＰピクチャではない、方式により、ＩＲＡＰピクチャが層に跨ってアライメントされることを必要としうる。ＨＥＶＣのマルチ層拡張などの、その他のスケーラブルなビデオ符号化方式は、アライメントされていないＩＲＡＰピクチャを許容しており、即ち、アクセスユニット内の１つまたは複数のピクチャは、ＩＲＡＰピクチャであり、アクセスユニット内の１つまたは複数のその他のピクチャは、ＩＲＡＰピクチャではない。例えば、ベース層内において相対的に頻繁なＩＲＡＰピクチャを提供するべく、層に跨ってアライメントされていないＩＲＡＰピクチャまたはこれに類似したものを有するスケーラブルなビットストリームが使用されてもよく、この場合に、これらは、例えば、相対的に小さな空間分解能に起因して、相対的に小さな符号化サイズを有していてもよい。復号化の層ワイズなスタートアップ用のプロセスまたはメカニズムが、ビデオ復号化方式において含まれていてもよい。従って、デコーダは、ベース層がＩＲＡＰピクチャを含んでいるときに、ビットストリームの復号化を開始してもよく、その他の層がＩＲＡＰピクチャを含んでいるときには、その他の層の復号化をステップワイズに開始してもよい。換言すれば、復号化メカニズムまたはプロセスの層ワイズなスタートアップにおいては、デコーダは、更なるエンハンス層からの後続のピクチャが復号化プロセスにおいて復号化されるのに伴って、復号化される層の数を漸進的に増大させる（この場合に、層は、空間的分解能、品質レベル、ビュー、深さなどの更なる要素、またはこれらの組合せの改善を表してもよい）。復号化された層の数の漸進的な増大は、例えば、（品質および空間的スケーラビリティの場合には）ピクチャ品質の漸進的な改善として知覚されうる。
【０１５８】
層ワイズなスタートップメカニズムは、特定のエンハンス層内の復号化順序において第１のピクチャの基準ピクチャについて利用不能なピクチャを生成する場合がある。この代わりに、デコーダは、層の復号化が開始されうるＩＲＡＰピクチャに、復号化順序において、先行しているピクチャの復号化を省略してもよい。省略されうるこれらのピクチャには、具体的には、ビットストリーム内において、エンコーダまたは別のエンティティにより、ラベルが付与されてもよい。このために、例えば、１つまたは複数の特定のＮＡＬユニットタイプが使用されてもよい。これらのピクチャは、それらが具体的にＮＡＬユニットタイプによってマーキングされているのか、あるいは、例えば、デコーダによって推定されているのか、とは無関係に、クロス層ランダムアクセススキップ（ＣＬ−ＲＡＳ：Ｃｒｏｓｓ−Ｌａｙｅｒ  Ｒｎａｄｏｍ  Ａｃｃｅｓｓ  Ｓｋｉｐ）ピクチャと呼ばれてもよい。デコーダは、生成された利用不能なピクチャおよび復号化されたＣＬ−ＲＡＳピクチャの出力を省略してもよい。
【０１５９】
層ワイズなスタートアップメカニズムは、そのエンハンス層のすべての基準層が、基準層内のＩＲＡＰピクチャにより、等しく初期化されたときに、そのエンハンス層内のＩＲＡＰピクチャからのエンハンス層ピクチャの出力を開始してもよい。換言すれば、出力順序においてこのようなＩＲＡＰピクチャに先行している（同一層内の）任意のピクチャは、デコーダから出力されなくてもよく、／または、表示されなくてもよいであろう。いくつかのケースにおいては、このようなＩＲＡＰピクチャと関連した復号化可能なリーディングピクチャは、デコーダによって出力されてもよく、ＩＲＡＰピクチャと関連したＲＡＳＬピクチャなどの、このようなＩＲＡＰピクチャに先行しているその他のピクチャは、デコーダによって出力されなくてもよく、／または、表示されなくてもよいであろう。
【０１６０】
スプライシングと呼ばれうる、符号化されたビデオデータの連結が実行されてもよく、例えば、符号化されたビデオシーケンスは、ブロードキャストされるか、またはストリーミングされるか、または大容量メモリ内において保存される、ビットストリームとして連結される。例えば、コマーシャルまたは広告を表す符号化されたビデオシーケンスは、ムービーまたはその他の「主」コンテンツと連結されてもよい。
【０１６１】
スケーラブルなビデオビットストリームは、層に跨ってアライメントされていないＩＲＡＰピクチャを含んでいてもよいであろう。但し、その第１アクセスユニット内のベース層内においてＩＲＡＰピクチャを含むが、必ずしも、すべての層内においてそうではない、符号化されたビデオシーケンスの連結を可能にすることが便利な場合がある。第１符号化ビデオシーケンスの後に連結された第２符号化ビデオシーケンスは、層ワイズな復号化スタートアッププロセスをトリガする必要がある。その理由は、前記第２符号化ビデオシーケンスの第１アクセスユニットが、すべてのその層内においてＩＲＡＰピクチャを含んでいない場合があり、従って、そのアクセスユニット内の非ＩＲＡＰピクチャ用のいくつかのピクチャが、（連結されたビットストリーム内において）利用可能ではない場合があり、従って、復号化することができないからである。従って、以下においてはスプライサと呼ばれている、符号化されたビデオシーケンスを連結するエンティティは、１つまたは複数のデコーダ内において層ワイズなスタートアッププロセスをトリガするように、第２符号化ビデオシーケンスの第１アクセスユニットを変更する必要がある。
【０１６２】
層ワイズなスタートアッププロセスのトリガを標示するべく、１つまたは複数の標示がビットストリームシンタックス内において存在していてもよい。これらの１つまたは複数の標示は、エンコーダまたはスプライサによって生成されてもよく、デコーダは、これに従ってもよい。これらの１つまたは複数の標示は、ＩＤＲピクチャのみなどのように、特定の１つまたは複数のピクチャタイプまたは１つまたは複数のＮＡＬユニットタイプについてのみ、使用されてもよく、あるいは、任意の１つまたは複数のピクチャタイプについて使用されてもよい。以下においては、一般性を失うことなしに、スライスセグメントヘッダ内に含まれるものと見なされるｃｒｏｓｓ＿ｌａｙｅｒ＿ｂｌａ＿ｆｌａｇと呼ばれる標示が参照されている。これに加えて、またはこの代わりに、任意のその他の名称を有する、または任意のその他のシンタックス構造内に含まれる、類似の標示を使用することも可能であることを理解されたい。
【０１６３】
層ワイズなスタートアッププロセスをトリガする１つまたは複数の標示とは独立的に、特定の１つまたは複数のＮＡＬユニットタイプおよび／または１つまたは複数のピクチャタイプが、層ワイズなスタートアッププロセスをトリガしてもよい。例えば、ベース層ＢＬＡピクチャが、層ワイズなスタートアッププロセスをトリガしてもよい。
【０１６４】
層ワイズなスタートアップメカニズムは、以下のケースのうちの１つまたは複数において開始されてもよい。
・ビットストリームの開始点において
・例えば、ブロードキャスト内へのチューニングあるいはファイルまたはストリーム内の位置へのシーキングなどに応答して、例えば、復号化プロセスが開始または再開される際などのように、具体的に制御されたときに、符号化されたビデオシーケンスの開始点において。復号化プロセスは、ビデオプレーヤまたはこれに類似したものなどの、外部手段によって制御されうる、例えば、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇと呼ばれる、変数を入力してもよい。
・ベース層ＢＬＡ９ピクチャ
・１に等しいｃｒｏｓｓ＿ｌａｙｅｒ＿ｂｌａ＿ｆｌａｇを有するベース層ＩＤＲピクチャ（あるいは、１に等しいｃｒｏｓｓ＿ｌａｙｅｒ＿ｂｌａ＿ｆｌａｇを有するベース層ＩＲＡＰピクチャ）
・１に等しいＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇを有するベース層ＣＲＡピクチャ。この場合には、復号化プロセスは、外部手段によって制御されうる変数ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇを入力する。
【０１６５】
層ワイズなスタートアップメカニズムが開始されたときに、復号化プロセスは、変数を相応して設定してもよい。例えば、変数ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇは、１に等しく設定されてもよい。
【０１６６】
復号化プロセスは、層ワイズなスタートアッププロセスが使用されるかどうかを特定の変数が制御する方式により、規定されてもよい。例えば、変数ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇが使用されてよく、これは、０に等しいときには、正常な復号化動作を標示し、１に等しいときには、層ワイズなスタートアップ動作を標示し、あるいは、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇが１に等しく設定されているアクセスユニットが、すべての層内においてＩＲＡＰピクチャを含んでいるときには、すべての層が従来方式によって復号化される復号化の開始を標示している。
【０１６７】
層ワイズのスタートアップメカニズムが開始されるときには、ＤＰＢ内のすべてのピクチャは、「基準のために使用されない」とマーキングされてもよい。換言すれば、すべての層内のすべてのピクチャが、「基準のために使用されない」とマーキングされてもよく、層ワイズなスタートップメカニズムを開始したピクチャまたは復号化順序における任意の後続のピクチャの予測用の基準として使用されることにならない。
【０１６８】
層ワイズなスタートアップ用の復号化プロセスは、例えば、それぞれの層（恐らくは、ベース層と、恐らくは、更に、その他の独立層と、を除く）ごとにエントリを有しうる２つのアレイ変数ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｉ］およびＦｉｒｓｔＰｉｃＩｎＬａｙｅｒＤｅｃｏｄｅｄＦｌａｇ［ｉ］によって制御されてもよい。例えば、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇが１に等しいことに応答して、層ワイズなスタートッププロセスが起動されたときに、これらのアレイ変数は、その既定値に対してリセットされてもよい。例えば、６３個の層が（例えば、６ビットのｎｕｈ＿ｌａｙｅｒ＿ｉｄによって）活性化されたときには、変数は、変数ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｉ］が、両端を含む０〜６２のｉのすべての値について０に等しく設定され、変数ＦｉｒｓｔＰｉｃＩｎＬａｙｅｒＤｅｃｏｄｅｄＦｌａｇ［ｉ］が、両端を含む１〜６２のすべての値について０に等しく設定されるように、リセットされてもよい。
【０１６９】
復号化プロセスは、ＲＡＳＬピクチャの出力を制御するべく、以下のものをまたは類似のものを含んでいてもよい。現時点のピクチャがＩＲＡＰピクチャであるときには、以下のものが適用される。
【０１７０】
−ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］が０に等しい場合には、変数ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが、１に等しく設定される。
【０１７１】
−さもなければ、なんらかの外部手段が、変数ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇを現時点のピクチャの値に設定するべく、利用可能である場合には、変数ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇは、外部手段によって提供された値に等しく設定され、変数ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇは、ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇに等しく設定される。
【０１７２】
−さもなければ、変数ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇは、０に等しく設定され、変数ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇは、０に等しく設定される。
復号化プロセスは、層用のＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇを更新するべく、以下のものを含んでいてもよい。現時点のピクチャがＩＲＡＰピクチャであり、以下のもののうちの１つが真であるときには、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］は、１に等しく設定される。
【０１７３】
−ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しい。
【０１７４】
−ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］が０に等しく、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｒｅｆＬａｙｅｒＩｄ］が、ＲｅｆＬａｙｅｒＩｄ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］［ｊ］に等しいｒｅｆＬａｙｅｒＩｄのすべての値について１に等しい。この場合に、ｊは、両端を含む０〜ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］−１の範囲である。
【０１７５】
ＦｉｒｓｔＰｉｃＩｎＬａｙｅｒＤｅｃｏｄｅｄＦｌａｇ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］が０に等しいときには、現時点のピクチャを復号化する前に、利用不能な基準ピクチャを生成する復号化プロセスが起動されてもよい。利用不能な基準ピクチャを生成する復号化プロセスは、既定値を有する基準ピクチャセット内のそれぞれのピクチャごとに、ピクチャを生成してもよい。利用不能な基準ピクチャを生成するプロセスは、主には、ＣＬ−ＲＡＳピクチャ用のシンタックス制約の仕様のためにのみ、規定されてもよく、この場合に、ＣＬ−ＲＡＳピクチャは、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャとして定義されてもよく、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｌａｙｅｒＩｄ］は、０に等しい。ＨＲＤ動作において、ＣＬ−ＲＡＳピクチャは、ＣＰＢ到着および除去時刻の導出のときに考慮される必要がありうる。デコーダは、これらのピクチャが、出力用に規定されておらず、出力について規定された任意のその他のピクチャの復号化プロセスに対して影響を有していないことから、すべてのＣＬ−ＲＡＳピクチャを無視してもよい。
【０１７６】
ＣＬ−ＲＡＳピクチャは、ビットストリーム内において存在していないピクチャに対する特定の参照を有しうることから、クロス層ランダムアクセススキップト（ＣＬ−ＲＡＳ）ピクチャは、層ワイズなスタートアップメカニズムが起動されたときに（例えば、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇが１に等しいときに）、ＣＬ−ＲＡＳピクチャが、出力されず、正しく復号化されえない、というプロパティを有しうる。ＣＬ−ＲＡＳピクチャは、非ＣＬ−ＲＡＳピクチャの復号化プロセス用の基準ピクチャとして使用されないものと規定されてもよい。
【０１７７】
ＣＬ−ＲＡＳピクチャは、推定されてもよい。例えば、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャは、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｌａｙｅｒＩｄ］が０に等しいときには、ＣＬ−ＲＡＳピクチャであるものと推定されてもよい。ＣＬ−ＲＡＳピクチャは、０超のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する符号化されたピクチャの復号化が開始されたときに、ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｌａｙｅｒＩｄ］が０に等しくなるような、ｌａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャとして定義されてもよい。
【０１７８】
層ツリーは、層の組内のそれぞれの層が、層の組内の少なくとも１つのその他の層の直接的または間接的予測層あるいは直接的または間接的基準層となり、層の組の外部の層が、層の組内の任意の層の直接的または間接的予測層あるいは直接的または間接的基準層とならないような、層の組として定義されてもよい。直接的予測層は、別の層が直接的基準層である層として定義されてもよい。直接的基準層は、層が直接的基準層である別の層の層間予測のために使用されうる層として定義されてもよい。間接的予測層は、別の層が間接的基準層である層として定義されてもよい。間接的基準層は、第２層の直接的基準層ではないが、層が間接的基準層である第２層の直接的基準層の直接的基準層または間接的基準層である第３層の直接的基準層である、層として定義されてもよい。独立層は、なんらの直接的基準層をも有していない層として定義されてもよい。ベース層は、最小可能層識別子値を有する層として定義されてもよい。例えば、ＨＥＶＣにおいては、ベース層は、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する層として定義されてもよい。独立的非ベース層は、独立層であるが、ベース層ではない、層として定義されてもよい。
【０１７９】
この代わりに、層ツリーは、それぞれの層が、層ツリー内の少なくとも１つのその他の層との間において層間予測関係を有しており、層ツリー外の層が、層ツリー内の任意の層との間において層間予測関係を有していない、層の組として定義されてもよい。
【０１８０】
層サブツリーは、サブセット内の層の基準層のすべてを含む、層ツリーの層のサブセットとして定義されてもよい。
【０１８１】
ビットストリームは、必ずしも、ビットストリーム内において含まれる、または、（ハイブリッドコーデックスケーラビリティの場合に）外部から提供された、ベース層（即ち、マルチ層ＨＥＶＣ拡張において０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する層）を有する必要はないが、最下位層は、独立的非ベース層であってもよい、と提案されている。ベース層または０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄが、例および実施形態において参照されているときには、それらの例および実施形態は、独立的非ベース層または独立的非ベース層のものに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに対して同様に適用されてもよく、あるいは、これらについて実現されてもよいことを理解する必要がある。ビットストリーム内において存在している最小ｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する層は、ビットストリームのベース層として見なされてもよい。
【０１８２】
ＨＥＶＣにおいては、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇおよびｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇというＶＰＳフラグは、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが１に等しく、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇが１に等しい場合には、ベース層がビットストリーム内において存在している、というように、ベース層の存在および利用可能性を標示するべく、使用されてもよい。さもなければ、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが０にひとしく、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇが１に等しい場合には、ベース層は、マルチ層ＨＥＶＣ復号化プロセスに対して外部手段によって提供され、即ち、復号化されたベース層ピクチャのみならず、復号化されたベース層ピクチャ用の特定の変数およびシンタックス要素が、マルチ層ＨＥＶＣ復号化プロセスに対して提供される。さもなければ、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが１に等しく、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇが０に等しい場合には、ベース層は、利用不能であるが（ビットストリーム内において存在しておらず、外部手段によっても提供されない）、ＶＰＳは、それがビットストリーム内において存在しているかのように、ベース層の情報を含んでいる。さもなれば（ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが０に等しく、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇが、０に等しい）、ベース層は、利用不能であるが（ビットストリーム内において存在しておらず、外部手段によっても提供されない）、ＶＰＳは、それが外部手段によって提供されるかのように、ベース層の情報を含んでいる。
【０１８３】
符号化規格は、サブビットストリーム抽出プロセスを含んでいてもよく、サブビットストリーム抽出プロセスは、例えば、ＳＶＣ、ＭＶＣ、およびＨＥＶＣにおいて規定されている。サブビットストリーム抽出プロセスは、通常は、ＮＡＬユニットを除去することによるサブビットストリームへのビットストリームの変換に関係しており、サブビットストリームは、ビットストリームサブセットと呼ばれてもよい。サブビットストリームは、依然として、規格に適合した状態に留まっている。例えば、ＨＥＶＣにおいては、選択された値を上回るＴｅｍｐｏｒａｌＩｄ値を有するすべてのＶＣＬ  ＮＡＬユニットを排除し、すべてのその他のＶＣＬ  ＮＡＬユニットを包含することによって生成されたビットストリームは、適合した状態に留まっている。
【０１８４】
ＨＥＶＣ規格（バージョン２）は、３つのサブビットストリーム抽出プロセスを含んでいる。ＨＥＶＣ規格の第１０項におけるサブビットストリーム抽出プロセスは、ベース層が外部的であるか（この場合には、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが０に等しい）、あるいは、利用可能ではない（この場合には、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇが０に等しい）ビットストームにおいても使用されうるように、結果的に得られるサブビットストリーム用のビットストリーム準拠要件が、第Ｆ．１０．１項においては、緩和されているという点を除いて、第Ｆ．１０．１項におけるものと同一である。０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するＶＣＬ  ＮＡＬユニットは、０に等しいｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇを有するビットストリーム内には存在しておらず、最小ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する層は、セマンティクスおよび／または復号化プロセスにおいて、ベース層のように取り扱われてもよい。ＨＥＶＣ規格（ベージョン２）の第Ｆ．１０．３項は、ベース層を含んでいないサブビットストリームが結果的に得られる更なる層セット用のサブビットストリーム抽出プロセスを規定している。すべての３つのサブビットストリーム抽出プロセスは、同様に動作しており、サブビットストリーム抽出プロセスは、ＴｅｍｐｏｒａｌＩおよびｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを入力として取得し、ビットストリームから、入力されたＴｅｍｐｏｒａｌＩｄを上回るＴｅｍｐｏｒａｌＩｄ、あるいは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の入力されたリスト内の値の中に存在していないｎｕｈ＿ｌａｙｅｒ＿ｉｄ値、を有するすべてのＮＡＬユニットを除去することにより、サブビットストリーム（ビットストリームサブセットとも呼ばれる）を導出している。第Ｆ１０．３項は、特に、特定タイプの、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するＨＡＬユニットを取り扱っており、更には、ＶＰＳ内のｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇの値を設定している。第Ｆ．１０．３項のプロセスは、以下のように規定されてもよい。
【０１８５】
−出力ビットストリームであるｏｕｔＢｉｔｓｔｒｅａｍが、入力ビットストリームであるｉｎＢｉｔｓｔｒｅａｍと同一になるように、設定される。
【０１８６】
−ＶＰＳ＿ＮＵＴ、ＳＰＳ＿ＮＵＴ、ＰＰＳ＿ＮＵＴ、ＥＯＳ＿ＮＵＴ、およびＥＯＢ＿ＮＵＴに等しくないｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の入力リストであるｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ内の任意の値に等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する、ＮＡＬユニットが、ｏｕｔＢｉｔｓｔｒｅａｍから除去される。
【０１８７】
−０またはｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ内の任意の値に等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する、ＶＰＳ＿ＮＵＴ、ＳＰＳ＿ＮＵＴ、ＰＰＳ＿ＮＵＴ、またはＥＯＳ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬユニットが、ｏｕｔＢｉｔｓｔｒｅａｍから除去される。
【０１８８】
−入力されたＴｅｍｐｏｒａｌＩｄであるｔＩｄＴａｒｇｅｔを上回るＴｅｍｐｏｒａｌＩｄを有するすべてのＮＡＬユニットが、ｏｕｔＢｉｔｓｔｒｅａｍから除去される。
【０１８９】
−それぞれのＶＰＳ内のｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ａｖａｉｌａｂｌｅ＿ｆｌａｇが、０に等しく設定される。
【０１９０】
符号化規格またはシステムは、動作ポイントという用語またはこれに類似したものを参照する場合があり、これは、復号化が動作するスケーラブルな層および／またはサブ層を標示してもよく、／または、復号化されているスケーラブルな層および／またはサブ層を含むサブビットストリームと関連したものであってもよい。以下には、動作ポイントのいくつかの非限定的な定義が提供されている。
【０１９１】
ＨＥＶＣにおいては、動作ポイントは、別のビットストリーム、ターゲット最大ＴｅｍｐｏｒａｌＩｄ、およびターゲット層識別子リストを入力として有するサブビットストリーム抽出プロセスの動作によって別のビットストリームから生成されたビットストリームとして、定義されている。
【０１９２】
ＨＥＶＣのＶＰＳは、層セットと、これらの層セット用のＨＲＤパラメータと、を規定している。層セットは、サブビットストリーム抽出プロセスにおいて、ターゲット層識別子リストとして使用されてもよい。ＨＥＶＣにおいては、層セットは、別のビットストリーム、６に等しいターゲット最大ＴｅｍｐｏｒａｌＩｄ、および層セットと関連付けられた層識別子リストに等しいターゲット層識別子リストを入力として有するサブビットストリーム抽出プロセスの動作によって別のビットストリームから生成されたビットストリーム内において表された層の組として定義されてもよい。
【０１９３】
更なる層セットは、１つまたは複数の非ベース層サブツリーの層の組を有するビットストリームの層の組として定義されてもよい。更なる層セットは、更なる層セットから排除された層に依存していない層の組として理解されてもよい。ＨＥＶＣにおいては、ＨＥＶＣバージョン１において規定されているＶＳＰシンタックスは、更なる層セットの標示を可能にしておらず、即ち、ベース層は、ＨＥＶＣバージョン１において規定されたＶＰＳ内において標示されている層セット内において存在することが必要とされている。ＨＥＶＣバージョン２において規定されているＶＰＳ拡張シンタックスは、更なる層セットの標示を可能にしている。
【０１９４】
層セットおよび更なる層セットは、例えば、出力層セットの導出または標示におけるその使用の観点においては、同様に取り扱われてもよい。そうではない旨が文脈によって標示されていない限り、以下においては、層セットという用語は、先程定義したように、層セットという用語および更なる層セットという用語の両方を含む集合的な用語として理解されてもよい。
【０１９５】
出力層は、その復号化されたピクチャが復号化プロセスによって出力される層として定義されてもよい。出力層は、復号化されるマルチ層ビットストリームのサブセットに依存していてもよい。復号化プロセスによって出力されたピクチャは、更に処理されてもよく、例えば、ＹＵＶ色空間からＲＧＢへの色空間変換が実行されてもよく、これらは、表示されてもよい。但し、更なる処理および／または表示は、デコーダおよび／または復号化プロセス外のプロセスであるものと見なされてもよく、実行されなくてもよいであろう。
【０１９６】
マルチ層ビデオビットストリームにおいては、動作ポイントの定義は、ターゲット出力層セットについての配慮を含んでいてもよい。例えば、動作ポイントは、別のビットストリーム、ターゲット最高位時間的サブ層（例えば、ターゲット最大ＴｅｍｐｏｒａｌＩｄ）、およびターゲット層識別子リストを入力として有し、出力層の組と関連付けられた、サブビットストリーム抽出プロセスの動作によって別のビットストリームから生成されるビットストリームとして定義されてもよい。あるいは、この代わりに、動作ポイントおよび出力層の関連付けられた組を参照するときには、出力動作ポイントなどの別の用語が使用される場合もある。例えば、ＭＶ−ＨＥＶＣ／ＳＨＶＣにおいては、出力動作ポイントは、入力ビットストリーム、ターゲット最大ＴｅｍｐｏｒａｌＩｄ、およびターゲット層識別子リストを入力として有し、出力層の組と関連付けられた、サブビットストリーム抽出プロセスの動作によって入力ビットストリームから生成されるビットストリームとして定義されてもよい。
【０１９７】
出力層セット（ＯＬＳ：Ｏｕｔｐｕｔ  Ｌａｙｅｒ  Ｓｅｔ）は、規定された層セットのうちの１つの層セットの層から構成された層の組として定義されてもよく、この場合に、層の組内の１つまたは複数の層は、出力層であると標示される。出力層は、デコーダおよび／またはＨＲＤが、出力層セットをターゲット出力層セットとして使用して動作しているときに出力される出力層セットの層として定義されてもよい。ＭＶ−ＨＥＶＣ／ＳＨＶＣにおいては、変数ＴａｒｇｅｔＯｌｓＩｄｘは、ＴａｒｇｅｔＯｌｓＩｄｘをターゲット出力層セットである出力層セットのインデックスに等しく設定することにより、ターゲット出力層セットである出力層セットを規定してもよい。ターゲット出力層セットは、インデックスがＴａｒｇｅｔＯｌｓＩｄｘに等しい出力層セットとして定義されてもよい。ＴａｒｇｅｔＯｌｓＩｄｘは、例えば、ＨＲＤにより、設定されてもよく、／または、例えば、デコーダによって提供されるインターフェイスを通じて、プレーヤまたはこれに類似したものなどの、外部手段によって設定されてもよい。ＭＶ−ＨＥＶＣ／ＳＨＶＣにおいては、出力層は、ＴａｒｇｅｔＯｌｓＩｄｘが出力層セットのインデックスに等しいときに出力される出力層セットの層として定義されてもよい。
【０１９８】
必要な層は、出力層セットと関連付けられた出力動作ポイント内の層として定義されてもよく、この層は、出力層セットの出力層であるか、あるいは、出力層セットの出力層の基準層である。
【０１９９】
ＭＶ−ＨＥＶＣ／ＳＨＶＣは、特定のメカニズムを使用することにより、あるいは、出力層を明示的に標示することにより、ＶＰＳ内において規定されているそれぞれの層セットごとの「既定」の出力層セットの導出を可能にしている。２つの特定のメカニズムが規定されており、ＶＰＳにおいては、それぞれの層が出力層である、あるいは、最高位の層のみが、「既定」の出力層セット内の出力層である、と規定されうる。補助ピクチャ層は、上述の特定のメカニズムを使用して層が出力層であるかどうかを決定するときには、考慮から除かれてもよい。「既定」の出力層セットに加えて、ＶＰＳ拡張は、出力層であると標示された選択された層を有する更なる出力層の規定を可能にしている。
【０２００】
特定の層セット、更なる層セット、または出力層セットは、インデックスを通じて参照することが可能であり、インデックスが、層セット、更なる層セット、および出力層セットがＶＰＳ内において標示されている順序に従って、割り当てられてもよい。出力層セットは、それぞれの層セットおよび更なる層セット用の「既定」の出力層セットが、個々の層セットおよび更なる層のインデックスを有し、更なる出力層セットが、層セットまたは更なる層セットによって使用されているものを上回るインデックス値を使用するように、層セットおよび更なる層と同一のインデックス空間を使用してもよい。
【０２０１】
送信器、ゲートウェイ、またはこれらに類似したものは、スケーラブルなビデオビットストリームの送信された層および／またはサブ層を選択してもよい。層抽出、層の抽出、または層のダウンスイッチングという用語は、送信器、ゲートウェイ、またはこれらに類似したものによって受信されるビットストリーム内において利用可能であるものよりも少ない数の層の送信を意味してもよい。層のアップスイッチングは、送信器、ゲートウェイ、またはこれらに類似したものによる層のアップスイッチングの前に送信されたものとの比較における１つまたは複数の更なる層の送信を意味してもよく、即ち、その送信が、層のダウンスイッチングにおいて以前に中止されている１つまたは複数の層の送信の再開を意味してもよい。層のダウンスイッチングおよび／またはアップスイッチングと同様に、送信器、ゲートウェイ、またはこれらに類似したものは、時間的サブ層のダウンおよび／またはアップスイッチングを実行してもよい。又、送信器、ゲートウェイ、またはこれらに類似したものは、層およびサブ層のダウンスイッチングおよび／またはアップスイッチングの両方を実行してもよい。層およびサブ層のダウンスイッチングおよび／またはアップスイッチングは、同一のアクセスユニットまたはこれに類似したもの内において（即ち、実質的に同時に）実行されてもよく、あるいは、異なるアクセスユニットまたはこれに類似したもの内において（即ち、実質的に別個の時点において）実行されてもよい。
【０２０２】
一定の出力層の組は、最高位の層がそれぞれのアクセスユニット内において不変の状態に留まっている使用事例またはビットストリームの場合には、良好に適しているが、最高位の層がアクセスユニットごとに変化している使用事例をサポートしていない場合がある。従って、エンコーダが、ビットストリーム内において代替出力層の仕様を規定することが可能であり、代替出力層デコーダの規定された仕様に応答して、デコーダが、同一のアクセスユニット内の出力層内のピクチャが存在しない状態において、代替出力層から、復号化されたピクチャを出力することが提案されている。代替出力層を標示する方式については、いくつかの可能性が存在している。例えば、出力層セット内のそれぞれの出力層は、最小代替出力層と関連付けられていてもよく、それぞれの出力層ごとに１つまたは複数の代替出力層を規定するべく、１つまたは複数の出力層ワイズなシンタックス要素が使用されてもよい。この代わりに、代替出力層セットメカニズムは、１つの出力層のみを含む出力層セットについてのみ使用されるように、制約されてもよく、出力層セットの出力層用の１つまたは複数の代替出力層を規定するべく、出力層セットワイズな１つまたは複数のシンタックス要素が使用されてもよい。この代わりに、ＨＥＶＣにおいて規定されているように、代替出力層セットメカニズムは、１つの出力層のみを含む出力層セットについてのみ使用されるように、制約されてもよく、出力層の任意の直接的または間接的基準層が出力層セットの出力層用の代替出力層として機能しうると規定するべく、出力層セットワイズなフラグ（ＨＥＶＣ内におけるａｌｔ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｏｌｓＩｄｘ］）が使用されてもよい。あるいは、この代わりに、代替出力層セットメカニズムは、すべての規定された出力層セットが１つの出力層のみを含むと共に、１つまたは複数の代替出力層が、１つまたは複数のビットストリームまたはＣＶＳワイズなシンタックス要素によって標示されうるビットストリームまたはＣＶＳについてのみ使用されるように、制約されてもよい。例えば、１つまたは複数の出力層は、例えば、ＶＰＳ内において、（例えば、直接または間接的基準層のリストのその層識別子またはインデックスを使用することにより）代替出力層を列挙することにより、（例えば、直接または間接的基準層のリスト内においてその層識別子またはそのインデックスを使用することにより）最小代替出力層を標示することにより、あるいは、任意の直接的または間接的基準層が代替出力層であるとフラグによって規定するにより、規定されてもよい。複数の代替出力層の使用が可能とされたときには、標示された最小代替出力層にまで至る降順層識別子順序におけるアクセスユニット内に存在している第１直接または間接的層間基準ピクチャが出力されるものと規定されてもよい。
【０２０３】
スケーラブルな符号化におけるピクチャ出力は、例えば、それぞれのピクチャごとに、ＰｉｃＯｕｔｐｕｔＦｌａｇが、まずは、単一層ビットストリームの場合と同様に、復号化プロセスにおいて導出されるように、制御されてもよい。例えば、ＰｉｃＯｕｔｐｕｔＦｌａｇの導出のときには、ピクチャのビットストリーム内において含まれるｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇが考慮されてもよい。アクセスユニットが復号化されているときには、アクセスユニットのそれぞれのピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇを更新するべく、出力層および可能な代替出力層が使用される。
【０２０４】
ビットストリームが代替出力層メカニズムの仕様を規定しているときには、復号化プロセスは、復号化プロセスからの復号化されたピクチャ出力の制御という観点において、以下のように動作してもよい。この場合には、ＨＥＶＣ復号化が使用中であり、ａｌｔ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＴａｒｇｅｔＯｌｓＩｄｘ］が１に等しいものと仮定されているが、復号化プロセスは、その他のコーデックによって同様に実現することもできよう。ピクチャの復号化が完了したときに、ピクチャの変数ＰｉｃＯｕｔｐｕｔＦｌａｇは、以下のように設定されてもよい。
【０２０５】
ＬａｙｅｒＩｎｉｔｉａｌｉｚｅｄＦｌａｇ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］が０に等しい場合には、ＰｉｃＯｕｔｐｕｔＦｌａｇは、０に等しく設定される。
【０２０６】
さもなければ、現時点のピクチャがＲＡＳＬピクチャであり、関連付けられたＩＲＡＰピクチャのＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しい場合には、ＰｉｃＯｕｔｐｕｔＦｌａｇは、０に等しく設定される。
【０２０７】
さもなければ、ＰｉｃＯｕｔｐｕｔＦｌａｇが、ｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇに等しく設定され、この場合に、ｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇは、例えば、ピクチャの符号化されたスライスのスライスヘッダ内において含まれる、ピクチャと関連付けられたシンタックス要素である。これに加えて、アクセスユニットの最後のピクチャの復号化が完了したときには、アクセスユニットのそれぞれの復号化されたピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇは、（次のピクチャの復号化の前に）以下のように更新されてもよい。
【０２０８】
ａｌｔ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ＴａｒｇｅｔＯｌｓＩｄｘ］が、１に等しく、現時点のアクセスユニットが、出力層においてピクチャを含んでいないか、あるいは、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する出力層においてピクチャを含んでいる場合には、以下の順序付けされたステップが適用される。
【０２０９】
リストｎｏｎＯｕｔｐｕｔＬａｙｅｒＰｉｃｔｕｒｅｓが、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有すると共に出力層の基準層のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の中のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するアクセスユニットのピクチャのリストとなるように、設定される。
【０２１０】
リストｎｏｎＯｕｔｐｕｔＬａｙｅｒＰｉｃｔｕｒｅｓが空ではないときには、リストｎｏｎＯｕｔｐｕｔＬａｙｅｒＰｉｃｔｕｒｅｓの中の最大ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するピクチャが、リストｎｏｎＯｕｔｐｕｔＬａｙｅｒＰｉｃｔｕｒｅｓから除去される。
【０２１１】
リストｎｏｎＯｕｔｐｕｔＬａｙｅｒＰｉｃｔｕｒｅｓ内において含まれるそれぞれのピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇが、０に等しく設定される。
【０２１２】
さもなければ、出力層内において含まれていないピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇが、０に等しく設定される。
【０２１３】
以前の段落において説明したように、代替出力層メカニズムが使用中であるときには、復号化プロセスによって出力されるアクセスユニットの１つまたは複数の復号化されたピクチャを決定可能となる前に、アクセスユニットの復号化を完了させる必要がありうる。
【０２１４】
ユニフォームリソース識別子（ＵＲＩ：Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）は、リソースの名称を識別するために使用される文字のストリングとして定義されてもよい。このような識別情報は、特定のプロトコルを使用したネットワーク上のリソース表現との間におけるやり取りを可能にする。ＵＲＩは、ＵＲＩ用の明確なシンタックスおよび関連付けられたプロコルを規定している方式を通じて定義されている。ユニフォームリソースロケータ（ＵＲＬ：Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）およびユニフォームリソース名（ＵＲＮ：Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｎａｍｅ）が、ＵＲＩの形態である。ＵＲＬは、ウェブリソースを識別すると共にリソースの表現に対して作用するまたはこれを取得する手段を規定することにより、その主アクセスメカニズムおよびネットワーク場所の両方を規定するＵＲＩとして定義されてもよい。ＵＲＮは、特定の名前空間内においてリソースを名前によって識別するＵＲＩとして定義されてもよい。ＵＲＮは、リソースの場所またはリソースにアクセスする方法を示唆することなしにリソースを識別するべく、使用されてもよい。
【０２１５】
利用可能なメディアファイルフォーマット規格は、ＩＳＯベースメディアファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１２、ＩＳＯＢＭＦＦと省略されてよい）、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１４、ＭＰ４フォーマットとも呼ばれる）、ＮＡＬユニット構造化ビデオ用のファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）、および３ＧＰＰファイルフォーマット（３ＧＰＰ  ＴＳ  ２６．２４４、３ＧＰフォーマットとも呼ばれる）を含む。ＩＳＯ／ＩＥＣ１４４９６−１５は、ＩＳＯＢＭＦＦ準拠ファイル内におけるＨ．２６４／ＡＶＣおよび／またはＨＥＶＣおよび／またはその拡張のビットストリームの保存を規定している。ＩＳＯファイルフォーマットは、上述のすべてのファイルフォーマット（ＩＳＯファイルフォーマット自体を除く）の導出のためのベースである。これらのファイルフォーマット（ＩＳＯファイルフォーマット自体を含む）は、一般に、ファイルフォーマットのＩＳＯファミリーと呼ばれている。
【０２１６】
以下、実施形態が実装されうるコンテナファイルフォーマットの一例として、ＩＳＯＢＭＦＦのいくつかの概念、構造、および仕様について説明する。本発明の態様は、ＩＳＯＢＭＦＦに限定されるものではなく、むしろ、この説明は、本発明が部分的にまたは全体的に実現されうる１つの可能な原理について付与されるものである。
【０２１７】
ＩＳＯベースメディアファイルフォーマットにおける１つの構築ブロックは、ボックスと呼ばれている。それぞれのボックスは、ヘッダと、ペイロードと、を有していてもよい。ボックスヘッダは、ボックスのタイプと、バイトの観点におけるボックスのサイズと、を標示している。ボックスは、その他のボックスを含んでいてもよく、ＩＳＯファイルフォーマットは、特定タイプのボックス内において許容されているボックスタイプを規定している。更には、いくつかのボックスの存在が、それぞれのファイル内において必須であってもよい一方で、その他のボックスの存在は、任意選択的にあってもよい。これに加えて、いくつかのボックスタイプの場合には、ファイル内において存在する複数のボックスを有することが許容可能であってもよい。従って、ＩＳＯベースメディアファイルフォーマットは、ボックスの階層構造を規定するものと見なされてもよい。ＩＳＯベースメディアファイルのそれぞれのボックスは、４文字コード（４ＣＣ）により、識別されてもよい。ヘッダは、ボックスのタイプおよびサイズに関する情報を提供してもよい。
【０２１８】
ＩＳＯファイルフォーマットファミリーによれば、ファイルは、別個のボックス内において含まれうるメディアデータおよびメタデータを含んでいてもよい。例示用の一実施形態においては、メディアデータは、メディアデータ（ｍｄａｔ）ボックス内において提供されてもよく、ムービー（ｍｏｏｖ）ボックスは、メタデータを含むべく、使用されてもよい。いくつかのケースにおいては、ファイルが動作可能となるためには、ｍｄａｔおよびｍｏｏｖボックスの両方が存在していなければならない。ムービー（ｍｏｏｖ）ボックスは、１つまたは複数のトラックを含んでいてもよく、それぞれのトラックは、１つの対応するトラック（ｔｒａｋ）ボックス内において存在してもよい。それぞれのトラックは、トラックタイプを規定する、４文字コードによって識別された、ハンドラと関連付けられている。ビデオ、オーディオ、および画像シーケンストラックは、メディアトラックと総称することが可能であり、これらは、基本メディアストリームを含んでいる。その他のトラックタイプは、ヒントトラックと、指定時刻に動作する（ｔｉｍｅｄ）メタデータトラックと、を有する。トラックは、オーディオまたはビデオフレームなどのサンプルを有する。メディアトラックとは、メディア圧縮フォーマット（並びに、ＩＳＯベースメディアファイルへのそのカプセル化）に従ってフォーマッティングされたサンプル（メディアサンプルと呼ばれてもよい）を意味している。ヒントトラックとは、標示された通信プロトコル上における送信のためのパケットを構築するクックブック命令を含む、ヒントサンプルを意味している。クックブック命令は、パケットヘッダ構築用のガイダンスを含んでいてもよく、パケットペイロード構造を含んでいてもよい。パケットペイロード構造内においては、その他のトラックまたはアイテム内において存在しているデータが参照されてもよい。従って、例えば、その他のトラックまたはアイテム内において存在しているデータは、パケット構築プロセスにおいてパケット内に複写されるように命令されている特定のトラックまたはアイテム内のデータ片に関する参照により、標示されてもよい。指定時刻に動作するメタデータトラックは、参照されたメディアおよび／またはヒントサンプルについて記述したサンプルを意味してもよい。１つのメディアタイプの提示のために、１つのメディアトラックが選択されてもよい。トラックのサンプルは、標示されたサンプルの符号化順序において、例えば、１だけ増分されうるサンプル番号と黙示的に関連付けられていてもよい。トラック内の第１サンプルは、サンプル番号１と関連付けられていてもよい。
【０２１９】
「ｔｒａｋ」ボックスは、サンプルテーブルボックスを含んでいる。サンプルテーブルボックスは、例えば、トラック内のメディアサンプルの時刻およびデータインデックス付けのすべてを有している。サンプルテーブルボックスは、サンプル記述ボックスを含むことが必要とされている。サンプル記述ボックスは、ボックス内において含まれるサンプルエントリの数を規定する、エントリカウントフィールドを含む。サンプル記述ボックスは、少なくとも１つのサンプルエントリを含むことが必要とされている。サンプルエントリフォーマットは、トラックのハンドラタイプに依存している。サンプルエントリは、使用される符号化タイプと、その符号化に必要とされる任意の初期化情報と、に関する詳細な情報を付与している。
【０２２０】
ＩＳＯベースメディアファイルフォーマットは、１つの提示が１つのファイル内において含まれるように限定してはいない。従って、提示は、いくつかのファイル内において含まれいてもよい。一例として、１つのファイルは、提示全体のメタデータを含んでもよく、これにより、提示を自己充足型とするためのすべてのメディアデータを含んでいてもよい。使用されている場合に、その他のファイルは、ＩＳＯベースメディアフィルフォーマットに対してフォーマッティングされる必要はなくてもよく、メディアファイルを含むべく使用されてもよく、更には、使用されないメディアデータまたはその他の情報を含んでいてもよい。ＩＳＯベースメディアファイルフォーマットは、提示ファイルの構造にのみ関与している。メディアデータファイルのフォーマットは、メディアファイル内のメディアデータが、ＩＳＯベースメディアファイルフォーマットまたはその派生フォーマットにおいて規定されているように、フォーマットされているという点においてのみ、ＩＳＯベースメディアファイルフォーマットまたはその派生フォーマットによって制約されてもよい。
【０２２１】
外部ファイルを参照する能力は、データ参照を通じて実現されてもよい。いくつかの例においては、それぞれのトラック内において含まれるサンプル記述ボックスが、使用される符号化タイプに関する詳細情報をそれぞれが提供するサンプルエントリのリストと、その符号化に必要とされる任意の初期化情報と、を提供してもよい。チャンクのすべてのサンプルおよびトラックフラグメントのすべてのサンプルは、同一のサンプルエントリを使用してもよい。チャンクは、１つのトラックにおけるサンプルの連続的な組として定義されてもよい。それぞれのトラック内において含まれうる、データ参照（ｄｒｅｆ）ボックスは、ユニフォームリソースロケータ（ＵＲＬ）、ユニフォームリソース名（ＵＲＮ）、および／またはメタデータを含むファイルに対する自己参照のインデックス付けされたリストを定義していてもよい。サンプルエントリは、データ参照ボックスの１つのインデックスを指し示すことにより、個々のチャンクまたはトラックフラグメントのサンプルを含むファイルを標示してもよい。
【０２２２】
ムービーフラグメントは、例えば、記録アプリケーションがクラッシュした、メモリ空間がなくなった、あるいは、なんらかのその他の事件が発生した場合に、データの喪失を回避するべく、例えば、コンテンツをＩＳＯファイルに記録するときに、使用されてもよい。ムービーフラグメントが存在していない状態においては、データ喪失が発生する場合があり、その理由は、例えば、ムービーボックスなどのすべてのメタデータが、ファイルの１つの連続的なエリア内において書き込まれることをファイルフォーマットが必要としうるからである。更には、ファイルを記録するときには、利用可能なストレージのサイズについてムービーボックスをバッファリングするための十分な量のメモリ空間（例えば、ランダムアクセスメモリＲＡＭ）が存在していない場合があり、ムービーがクローズされた際のムービーボックスのコンテンツの再演算が過剰に低速となる場合がある。更には、ムービーフラグメントは、通常のＩＳＯファイルパーサーを使用したファイルの同時記録および再生を可能にしうる。更には、例えば、ムービーフラグメントが使用されており、初期ムービーボックスが、同一のメディアコンテンツを有するが、ムービーフラグメントを伴うことなしに構造化されている、ファイルとの比較において、相対的に小さいときには、ファイルの同時受信および再生などの漸進的なダウンローディングのために、相対的に短い初期バッファリングの持続時間が必要とされる場合がある。
【０２２３】
ムービーフラグメント機能は、さもなければムービーボックス内に存在しうるメタデータの複数片への分割を可能にしてもよい。それぞれの断片は、トラックの特定の期間に対応していてもよい。換言すれば、ムービーフラグメント機能は、ファイルメタデータおよびメディアデータのインターリービングを可能にしてもよい。この結果、ムービーボックスのサイズが制限される場合があり、上述の仕様事例が実現されない場合がある。
【０２２４】
いくつかの例においては、ムービーフラグメント用のメディアサンプルは、ｍｏｏｖボックスと同一のファイル内に存在している場合には、ｍｄａｔボックス内において存在してもよい。但し、ムービーフラグメントのメタデータの場合には、ｍｏｏｆボックスが提供されてもよい。ｍｏｏｆボックスは、予めｍｏｏｖボックス内に存在していた特定の再生時間の持続時間の情報を含んでいてもよい。ｍｏｏｖボックスは、それ自体において有効なムービーを依然として表していてもよいが、これに加えて、それは、ムービーフラグメントが同一のファイル内において後続することになることを標示するｍｖｅｘボックスを含んでいてもよい。ムービーフラグメントは、時間に伴ってｍｏｏｖボックスに対して関連付けられる提示を拡張してもよい。
【０２２５】
ムービーフラグメント内には、１つのトラック当たりにゼロ〜複数のうちのいずれかを含む、トラックフラグメントの組が存在していてもよい。そして、トラックフラグメントは、ゼロ〜複数のうちのいずれかのトラックランを含んでいてもよく、文書のそれぞれは、そのトラックのサンプルの連続的なランである。これらの構造内において、多くのフィールドは、任意選択的にあり、既定値に設定されてもよい。ｍｏｏｆボックス内において含まれうるメタデータは、ｍｏｏｖボックス内において含まれうると共にいくつかのケースにおいては異なる方式で符号化されうる、メタデータのサブセットに制限されてもよい。ｍｏｏｆボックス内において包含されうるボックスに関する詳細については、ＩＳＯベースメディアファイルフォーマット仕様において見出すことができる。自己充足型のムービーフラグメントは、ファイル順序において連続的であるｍｏｏｆボックスおよびｍｄａｔボックスから構成されるものと定義されてもよく、この場合に、ｍｄａｔボックスは、（ｍｏｏｆボックスがメタデータを提供している）ムービーフラグメントのサンプルを含んでおり、任意のその他のムービーフラグメント（即ち、任意のその他のｍｏｏｆボックス）のサンプルを含んではいない。
【０２２６】
ＩＳＯベースメディアファイルフォーマットは、サンプルグループ、指定時刻に作動するメタデータトラック、およびサンプル補助情報という、特定のサンプルと関連付けられうる指定時刻に作動するメタデータ用の３つのメカニズムを含んでいる。導出された仕様は、これら３つのメカニズムのうちの１つまたは複数を有する類似の機能を提供してもよい。
【０２２７】
ＡＶＣファイルフォーマットおよびＳＶＣファイルフォーマットなどの、ＩＳＯベースメディアファイルフォーマットおよびその派生物におけるサンプルグループ分けは、グループ分け基準に基づいた１つのサンプルグループのメンバとなるようなトラック内のそれぞれのサンプルの割当として定義されてもよい。サンプルグループ分けにおけるサンプルグループは、連続的なサンプルであることに制限されるものではなく、隣接していないサンプルを含んでいてもよい。トラック内のサンプルについて複数のサンプルグループ分けが存在しうることから、それぞれのサンプルグループ分けは、グループ分けのタイプを標示するべく、タイプフィールドを有していてもよい。サンプルグループ分けは、（１）ＳａｍｐｌｅＴｏＧｒｏｕｐボックス（ｓｂｇｐボックス）が、サンプルグループに対するサンプルの割当を表す、並びに、（２）ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックス（ｓｇｐｄボックス）が、グループのプロパティを記述するそれぞれのサンプルグループ用のサンプルグループエントリを含む、という、２つのリンクされたデータ構造によって表されてもよい。異なるグループ分け基準に基づいたＳａｍｐｌｅＴｏＧｒｏｕｐおよびＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの複数のインスタンスが存在していてもよい。これらは、グループ分けのタイプを標示するべく使用されるタイプフィールドにより、区別されてもよい。
【０２２８】
マトリョーシカファイルフォーマットは、１つのファイル内において、ビデオ、オーディオ、ピクチャ、またはサブタイトルトラックのうちのいずれかを保存する能力を有する（但し、これらに限定されるものではない）。マトリョーシカファイル拡張子は、ビデオ用の．ｍｋｖ（サブタイトルおよびオーディオを有する）、立体ビデオ用の．ｍｋ３ｄ、オーディオのみファイル用の．ｍｋａ、およびサブタイトルのみ用の．ｍｋｓを含む。マトリョーシカは、ＷｅｂＭなどの、導出されたファイルフォーマットの基本フォーマットとして使用されてもよい。
【０２２９】
マトリョーシカは、拡張可能バイナリメタ言語（ＥＢＭＬ：Ｅｘｔｅｎｓｉｂｌｅ  Ｂｉｎａｒｙ  Ｍｅｔａ  Ｌａｎｇｕａｇｅ）を基礎として使用している。ＥＢＭＬは、ＸＭＬの原理によって着想されたバイナリおよびオクテット（バイト）アライメント型のフォーマットを規定している。ＥＢＭＬ自体は、バイナリマークアップ技法の一般化された記述である。マトリョーシカファイルは、ＥＭＢＬ「文書」を構成する要素から構成されている。要素は、要素ＩＤ、要素のサイズ用の記述子、およびバイナリデータ自体を内蔵している。要素は、ネストさせることができる。
【０２３０】
マトリョーシカのセグメント要素は、その他のトップレベル（レベル１）要素用のコンテナである。マトリョーシカファイルは、１つのセグメントを有していてもよい（但し、１つのセグメントから構成されることに限定されるものではない）。マトリョーシカファイル内のマルチメディアデータは、クラスタ（あるいは、クラスタ要素）として組織化され、このそれぞれは、通常、数秒のマルチメディアデータを含んでいる。クラスタは、ＢｌｏｃｋＧｒｏｕｐ要素を有し、そして、ＢｌｏｃｋＧｒｏｕｐ要素は、ブロック要素を有する。キュー要素は、ランダムアクセスおよびシーキングを支援しうるメタデータを有し、シークポイント用のファイルポインタまたは個々のタイムスタンプを含んでいてもよい。
【０２３１】
利用されうるトランスポートファイルフォーマットまたはセグメントフォーマットは、大まかに、異なるクラスに分類することができる。１つの例示用のクラスにおいては、送信されるファイルは、ライブファイル再生のために使用されうる既存のファイルフォーマットに準拠していてもよい。例えば、送信されるファイルは、ＩＳＯベースメディアファイルフォーマットまたは第３世代パートナーシッププロジェクト（３ＧＰＰ）ファイルフォーマットの漸進ダウンロードプロファイルに準拠していてもよい。別の例示用のクラスにおいては、送信されるファイルは、ライブファイル再生のために使用される既存のファイルフォーマットに従ってフォーマッティングされたファイルに類似していてもよい。例えば、送信されるファイルは、サーバーファイルの断片であってもよく、これは、個々に、再生のために自己充足型でなくてもよいであろう。別の方式においては、送信されるファイルは、ライブファイル再生のために使用されうる既存のファイルフォーマットに準拠していてもよいが、ファイルは、部分的にのみ送信されてもよく、従って、このようなファイルの再生は、部分的なファイルの管理の認識および能力を必要としうる。
【０２３２】
多目的インターネットメール拡張（ＭＩＭＥ：Ｍｕｌｔｉｐｕｒｐｏｓｅ  Ｉｎｔｅｒｎｅｔ  Ｍａｉｌ  Ｅｘｔｅｎｓｉｏｎ）は、例えば、ビデオおよびオーディオ、画像、ソフトウェアなどのような、異なる種類のデータファイルのインターネット上における送信および受信を可能にする電子メールプロトコルに対する拡張である。インターネットメディアタイプは、ファイルが含むデータのタイプを標示するべく、インターネット上において使用される識別子である。又、このようなインターネットメディアタイプは、コンテンツタイプと呼ばれる場合もある。異なるメディアフォーマットを含みうるいくつかのＭＩＭＥタイプ／サブタイプの組合せが存在している。コンテンツタイプ情報は、メディア送信の開始時点においては、ＭＩＭＥヘッダ内の送信エンティティにより、含まれていてもよい。従って、受信エンティティは、特定の要素が、利用可能なコーデックのセットに照らして、レンダリングされうるかどうかを決定するべく、このようなメディアコンテンツの詳細を検査する必要がありうる。特に、エンドシステムが、限られたリソースしか有していないか、あるいは、エンドシステムに対する接続が、限れた帯域幅しか有していないときには、コンテンツタイプのみから、コンテンツがレンダリングされうるかどうかを知ることが有用でありうる。
【０２３３】
ＲＦＣ６３８１は、コンテナフォーマット全体内において含まれるメディアフォーマットにより、あるいは、その１つまたは複数のプロファイルにより、利用されるコーデックの明確な規定を許容するべく、様々なＭＩＭＥタイプあるいはタイプ／サブタイプの組合せと共に使用される「ｃｏｄｅｃｓ」および「ｐｒｏｆｉｌｅｓ」という２つのパラメータを規定している。
【０２３４】
含まれるメディアをレンダリングするべく標示された特定のコーデックによってコンテンツにラベルを付与することにより、受信システムは、コーデックがエンドシステムによってサポートされているかどうかを決定してもよく、サポートされていない場合には、適切な動作（コンテンツの拒絶、状況の標示の送信、サポートされているタイプへのコンテンツの変換、必要なコーデックのフェッチおよびインストール、標示されたコーデックのサブセットをサポートするべく十分であるかどうかのを決定するための更なる検査など）を実行してもよい。
【０２３５】
同様に、プロファイルは、コンテンツが準拠している仕様に関する全体的な標示をレシーバに対して提供することができる。これは、いくつかの仕様に対するコンテナフォーマットおよびそのコンテンツの互換性に関する標示である。レシーバは、自身が取り扱うことができる程度を解明する能力を有していてもよく、宣言されたプロファイルのうちのいずれを自身がサポートしているのかと、それらが意味している内容と、を理解するべく検査することにより、コンテンツをレンダリング可能であってもよい。
【０２３６】
ＭＩＭＥを使用する動機の１つは、メッセージ部分の特定のメディアタイプを識別する能力であるが、ＭＩＭＥタイプおよびサブタイプの観察から、本文部分において含まれる特定のメディアフィーマットまたはコンテンツをレンダリングするように標示されているコーデックについて知ることが常に可能ではない場合もある。
【０２３７】
組のなかから選択されたコーデックを含む（現時点において登録されている、あるいは、登録が保留された状態で配備されている）いくつかのメディアタイプ／サブタイプが存在している。「ｃｏｄｅｃｓ」および／または「ｐｒｏｆｉｌｅｓ」パラメータが存在していない状態においては、コンテンツをレンダリングするべく必要とされるコーデックまたはその他の特徴を決定するために、それぞれのメディア要素を検査することが必要な場合がある。
【０２３８】
ｃｏｄｅｃｓパラメータのパラメータ値は、本文部分内のコンテンツをレンダリングするべく標示された１つまたは複数のコーデックを識別する、単一の値として、あるいは、値のカンマで分離されたリストとして、規定されてもよい。それぞれの値は、１つまたは複数のドットによって分離された要素を有していてもよい。第１要素用の名前空間は、ＭＩＭＥタイプによって決定される。それぞれの後続の要素用の名前空間は、先行する要素によって決定される。
【０２３９】
マルチ層ＨＥＶＣ拡張においては、それぞれの出力層セット用のそれぞれの必要な層について、プロファイル−ティア−レベルの組合せが標示されている。マルチ層ＨＥＶＣ拡張の場合には、準拠ポイントは、プロファイル−ティア−レベルの組合せのリストとして、定義されてもよく、この場合に、リストは、特定の出力層セットのそれぞれの必要な層のプロファイル−ティア−レベルの組合せを含む。復号化されたピクチャのバッファ要件は、いずれの層が必要な層であるのか、並びに、いずれの層が出力層であるのか、に応じて、異なり、復号化されたピクチャのバッファ要件は、レベル仕様の一部分であることから、異なる出力層セット内の同一の層について、異なるプロファイル−ティア−レベルの値（特に、異なるレベル値）を標示することができる。デコーダ能力は、プロファイル−ティア−レベルの組合せのリストとして標示することができる。これらの上述の理由から、ｃｏｄｅｃｓというＭＩＭＥパラメータ内の単一のプロファイル−ティア−レベルの値は、例えば、ＩＳＯＢＭＦＦ準拠ファイル内において保存されているマルチ層ＨＥＶＣビットストリームを記述するには、十分でない場合があろう。
【０２４０】
ＩＳＯＢＭＦＦに基づいたファイル用のＭＩＭＥのｃｏｄｅｃｓパラメータは、プロファイルレベルシグナリングが、ビットストリームワイズまたはサブビットストリームワイズではなく、層ワイズである（または、ビットストリーム−パーティションワイズである）層化されたコーデック（例えば、マルチ層ＨＥＶＣ拡張）の場合には、以下のように、規定されてもよい。以下の段落は、ｃｏｄｅｃｓパラメータを参照しているが、この代わりに、またはこれに加えて、別の名前のパラメータが参照されうることを理解する必要がある。
【０２４１】
ＭＩＭＥタイプの「ｃｏｄｅｃｓ」パラメータが、ＲＦＣ６３８１において定義されているように、使用されているときに、以下の段落は、ＭＩＭＥタイプが、ＩＳＯＢＭＦＦファミリーのファイルフォーマットを識別し、「ｃｏｄｅｃｓ」パラメータが、ＩＳＯ／ＩＥＣ１４４９６−１５からのサンプルエントリコードによって開始している際のサブパラメータを記述している。但し、ｃｏｄｅｃｓパラメータは、ＩＳＯＢＭＦＦ以外のコンテナフォーマット、および／または、ＡＶＣまたはＨＥＶＣ以外のコーデック、についても、同様に規定されうることを理解する必要がある。
【０２４２】
ｃｏｄｅｃｓパラメータは、（ＲＦＣ６３８１において規定されているように）以下の構造を有していてもよく、
ＬｉｓｔＩｔｅｍ１（，  ＬｉｓｔＩｔｅｍＮ）＊
この場合に、アスタリスク（「＊」）は、１以上の回数の反復を標示している。
【０２４３】
それぞれのＬｉｓｔＩｔｅｍは、以下の構造を有していてもよい。
ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅ１．ＰｒｏｆｉｌｅＴｉｅｒＬｅｖｅｌ１（．ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅＮ．ＰｒｏｆｉｌｅＴｉｅｒＬｅｖｅｌＮ）＊
【０２４４】
セパレータ文字「．」は、同様に、任意のその他のセパレータ文字であってよく、あるいは、恐らくは、異なる場所または目的のために、いくつかの異なるセパレータ文字が使用されてもよいことを理解されたい。例えば、セパレータ文字「！」が、ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅＮの前において、「．」の代わりに使用されてもよい。
【０２４５】
ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅおよびＰｒｏｆｉｌｅＴｉｅｒＬｅｖｅｌのペアは、プロファイル−ティア−レベルのサブストリングと呼ばれてもよい。
【０２４６】
サンプルエントリタイプ（ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅ）は、符号化されたデータを含むトラックのサンプルエントリの４文字コードであってもよい。プロファイル−ティア−レベルのサブストリングの仕様は、単一層ＨＥＶＣ用のｃｏｄｅｃｓのＭＩＭＥタイプ仕様との比較において、不変の状態において維持されてもよい。
【０２４７】
サンプルエントリタイプが、ＡＶＣ（Ｈ．２６４）、ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）、またはＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を標示する―「ａｖｃ１」、「ａｖｃ２」、「ａｖｃ３」、「ａｖｃ４」、「ｓｖｃ１」、「ｓｖｃ２」、「ｍｖｃ１」、「ｍｖｃ２」、「ｍｖｃ３」、および「ｍｖｃ４」などの、アドバンストビデオ符号化仕様（ＩＴＵ−Ｔ推奨Ｈ．２６４またはＩＳＯ／ＩＥＣ１４４９６−１０）からのコーデックを標示するコードであるときには、ＰｒｏｆｉｌｅＴｉｅｒＬｅｖｅｌ要素は、Ｈ．２６４／ＡＶＣにおいて規定されている（サブセット）シーケンスパラメータセットＮＡＬユニット内における後続する３バイトの１６進表現である。
ｐｒｏｆｉｌｅ＿ｉｄｃ
ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔフラグを含むバイト（現時点において、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ０＿ｆｌａｇ〜ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ５＿ｆｌａｇ、およびｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２ｂｉｔｓ）、並びに、
ｌｅｖｅｌ＿ｉｄｃ
【０２４８】
「ａｖｃ１」、「ａｖｃ２」、「ａｖｃ３」、および「ａｖｃ４」サンプルエントリは、必ずしも、メディアがＡＶＣ  ＮＡＬユニットのみを含むと標示するものではないことに留意されたい。実ときに、メディアは、ＳＶＣまたはＭＶＣプロファイルとして符号化されてもよく、従って、ＳＶＣまたはＭＶＣ  ＮＡＬユニットを含んでいてもよい。使用されるコーデックを決定できるように、更なる情報が必要とされる場合がある（ｐｒｏｆｉｌｅ＿ｉｄｃ）。又、ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿２ｂｉｔｓは、Ｈ．２６４／ＡＶＣにおいては、０に等しくなることが必要とされうるが、そのその他の値が、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣにより、将来的に規定されうる。
【０２４９】
ＳＶＣまたはＭＶＣコンテンツが、ＡＶＣと互換性を有する方式により、符号化されるときには、サンプル記述は、ＡＶＣ構成レコード並びにＳＶＣまたはＭＶＣ構成レコードの両方を含んでいてもよい。このような状況下においては、２つの構成レコードが、異なるＡＶＣプロファイル、レベル、および互換性インジケータ値を含みうることから、２つの構成レコードの両方が報告されることが推奨されうる。従って、報告されたコーデックは、サンプル記述コード（例えば、「ａｖｃ１」）を２回にわたって含むことになり、構成レコードのうちの１つの構成レコードからの値は、それぞれにおいて、「ａｖｃｏｔｉ」情報を形成している。
【０２５０】
サンプルエントリタイプが、「ｈｅｖ１」、「ｈｖｃ１」、「ｌｈｖ１」、または「ｌｈｅ１」などのように、高効率ビデオ符号化仕様（ＩＴＵ−Ｔ推奨Ｈ．２６５またはＩＳＯ／ＩＥＣ２３００８−２）からのコーデックを標示するコードであるときには、プロファイル−ティア−レベルのサブストリングは、例えば、ピリオド文字（「．」）によって分離された、以下のリスト内の一連のコードおよび値として、規定される。値は、ＨＥＶＣビットストリームの対応するｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造のものにマッチングしており、これは、通常、ＨＥＶＣデコーダ構成レコードから取得されてもよい。すべての数値符号化において、頭のゼロは、省略されてもよい。
【０２５１】
・文字無し（ｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅ＝＝０）として符号化されたｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅ、あるいは、１０進数として符号化されたｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｉｄｃによって後続されたｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｓｐａｃｅ  １、２、３用の「Ａ」、「Ｂ」、「Ｃ」
【０２５２】
・１６進数として符号化されたｇｅｎｅｒａｌ＿ｐｒｏｆｉｌｅ＿ｃｏｍｐａｔｉｂｉｌｉｔｙ＿ｆｌａｇｓ（頭のゼロは、省略されてもよい）
【０２５３】
・１０進数として符号化されたｇｅｎｅｒａｌ＿ｌｅｖｅｌ＿ｉｄｃによって後続された「Ｌ」（ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇ＝＝０）または「Ｈ」（ｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇ＝＝１）として符号化されたｇｅｎｅｒａｌ＿ｔｉｅｒ＿ｆｌａｇ
【０２５４】
・それぞれが１６進数として符号化され、それぞれのバイトの符号化が、ピリオドによって分離された、ｇｅｎｅｒａｌ＿ｐｒｏｇｒｅｓｓｉｖｅ＿ｓｏｕｒｃｅ＿ｆｌａｇを含むバイトから始まる、制約フラグの６バイトのそれぞれ。ゼロである末尾のバイトは、省略されてもよい。
【０２５５】
サンプルエントリタイプが、「ｈｅｖ１」または「ｈｖｃ１」などの、高効率ビデオ符号化仕様からのコーデックを標示するコードであり、ビットストリームが１つの層のみを含むときには、ｃｏｄｅｃｓパラメータの値は、プロファイル−ティア−レベルのサブストリングである。例えば、ｃｏｄｅｃｓ＝ｈｅｖ１．１．８０．Ｌ９３．Ｂ０は、漸進的非パックストリームであるＭａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ３．１を標示している。
【０２５６】
サンプルエントリタイプが、「ｌｈｖ１」または「ｌｈｅ１」などの、層化されたＨＥＶＣ拡張である高効率ビデオ符号化仕様を標示するコードであり、あるいは、ビットストリームが、複数の必要な層を有する出力層セットを含むときには、ｃｏｄｅｃｓパラメータが提供されている出力層セットの必要な層に対応したそれぞれのプロファイル−ティア−レベルのサブストリングを分離するべく、セパレータが使用されてもよく、セパレータは、例えば、「．」または「！」であってもよい。必要な層に対応したそれぞれのプロファイル−ティア−レベルのサブストリングは、必要な層のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造からの一連の値から構成されている。プロファイル−ティア−レベルのサブストリングは、出力層セットのそれぞれの必要な層について存在することが必要とされてもよい。例えば、ｃｏｄｅｃｓ＝ｈｅｖ１．Ａ１．８０．Ｌ９３．Ｂ０！ｈｅｖ１．Ａ７．１．Ｌ１２０．Ｂ０またはｃｏｄｅｃｓ＝ｈｅｖ１．Ａ１．８０．Ｌ９３．Ｂ０．０．０．０．０．０．ｈｅｖ１．Ａ７．１．Ｌ１２０．Ｂ０は、２層の漸進的な非パックストリームを標示してもよく、この場合に、ベース層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し、ベース層は、Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ３．１に準拠し、エンハンス層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し（例えば、これは、ベース層をも含むトラック内において含まれていてもよい）、エンハンス層は、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠している。
【０２５７】
ｃｏｄｅｃｓパラメータ内の予測された層用のＬｉｓｔＩｔｅｍ内において、１つのプロファイル−ティア−レベルのサブストリングのみが提供されているときには、ビットストリームおよびｃｏｄｅｃｓパラメータは、例えば、以下のように、制約されてもよい。それぞれの層は、別個のトラックとして保存されてもよく、別個のＬｉｓｔＩｔｅｍは、（例えば、ＲＦＣ６３８１によって規定されているカンマによって分離されたリストとして）それぞれのトラックごとに存在する必要がある。ｃｏｄｅｃｓパラメータのカンマによって分離されたリストは、ベース層のリスト要素が最後に出現し、層の任意のリスト要素が、リスト内において、より早期に出現する層に依存することにならない順序を有していてもよい。この代わりに、リスト要素の順序は、例えば、ベース層のリスト要素がまず出現し、層の任意のリスト要素が、リスト内において、後から出現する層に依存することにならないなどの、異なる方式で規定することも可能であることを理解する必要がある。カンマによって分離されたリストが、ｎ個のリスト要素を含んでいるときには、ビットストリームは、出力層セットが、カンマで分離されたリストの末尾からのｉ個のリスト要素に対応したｉ個の必要な層から構成されるように、少なくともｎ個の出力層セットを含んでいてもよく、この場合に、ｉのそれぞれの値は、両端を含む１〜ｎの範囲である。これらの制約は、復号化が必要とされている層の数のみならず、それらのプロファイル、ティア、およびレベル要件の結論付けを可能にしうる。
【０２５８】
以下においては、ｃｏｄｅｃｓパラメータの値のいくつかの例が提供されている。ｃｏｄｅｃｓ＝ｈｅｖ１．Ａ１．８０．Ｌ９３．Ｂ０．０．０．０．０．０．ｌｈｖ１．Ａ７．１．Ｌ１２０．Ｂ０，  ｈｅｖ１．Ａ１．８０．Ｌ９３．Ｂ０．０．０．０．０．０．ｌｈｖ１．Ａ６．２．Ｌ１２０．Ｂ０は、「スケーラブル」出力層セットと、「マルチビュー」出力層セットと、という２つの出力層セットを含むビットストリーム、あるいは、「スケーラブル」出力層セットを含む一方と、「マルチビュー」出力層セットを含む他方と、という同一のファイル内において保存されている２つのビットストリームを標示してもよい。「スケーラブル」出力層セットは、２層の漸進的な非パックストリームであり、この場合に、ベース層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し、ベース層は、Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ３．１に準拠し、エンハンス層を含むトラックは、サンプルエントリタイプ「ｌｈｖ１」を使用し、エンハンス層は、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠している。「マルチビュー」出力層セットは、２層の漸進的非パックストリームであり、この場合に、ベース層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し、ベース層は、Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ３．１に準拠し、エンハンス層を含むトラックは、サンプルエントリタイプ「ｌｈｖ１」を使用し、エンハンス層は、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠している。同一のトラックは、両方の出力層セット用のベース層トラックとして使用されてもよいことに留意されたい。
【０２５９】
ｃｏｄｅｃｓ＝ｌｈｖ１．Ａ７．１．Ｌ１２０．Ｂ０，  ｈｅｖ１．Ａ１．８０．Ｌ９３．Ｂ０は、２層の漸進的な非パックストリームを標示してもよく、この場合に、エンハンス層を含むトラックは、サンプルエントリタイプ「ｌｈｖ１」を使用し、エンハンス層は、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠し、ベース層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し、ベース層は、Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ３．１に準拠している。それぞれの層は、別個のトラックである。エンハンス層およびベース層を必要な層として含む出力層セットと、ベース層のみを含む出力層セットと、が存在している。ｃｏｄｅｃｓ＝ｌｈｖ１．Ａ７．１．Ｌ１２０．Ｂ０，  ａｖｃ１．６４０８１Ｆは、エンハンス層を含むトラックが、サンプルエントリタイプ「ｌｈｖ１」を使用し、エンハンス層が、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠し、エンハンス層が、漸進的な非パックピクチャを含み、エンハンス層が、ＡＶＣ符号化されたベース層から予測することを標示してもよい。ＡＶＣ符号化されたベース層は、サンプルエントリタイプ「ａｖｃ１」を使用し、ベース層は、Ｐｒｏｇｒｅｓｓｉｖｅ  Ｈｉｇｈ  Ｐｒｏｆｉｌｅ，  Ｌｅｖｅｌ  ３．１に準拠している。
【０２６０】
ＩＳＯ／ＩＥＣ国際規格２３００９−１は、ＨＴＴＰ上における動的適応ストリーミング（ＤＡＳＨ）を規定している。以下においては、実施形態が実装されうるビデオストリーミングシステムの一例として、ＭＰＥＧ−ＤＡＳＨのいくつかの概念、フォーマット、および動作について説明する。本発明の態様は、ＭＰＥＧ−ＤＡＳＨに限定されるものではなく、むしろ、この説明は、本発明が部分的または全体的に実現されうる１つの可能な基礎のために付与されるものである。
【０２６１】
ＨＴＴＰ上における動的適合ストリーミング（ＤＡＳＨ）においては、マルチメディアコンテンツが、キャプチャされてもよく、ＨＴＴＰサーバー上において保存されてもよく、ＨＴＴＰを使用することにより、供給されてもよい。コンテンツは、利用可能なコンテンツのマニフェスト、その様々な代替肢、そのＵＲＬアドレス、およびその他の特性について記述するメディア提示記述（ＭＰＤ：Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）と、単一のまたは複数のファイル内のチャンクの形態において実際のマルチメディアビットストリームを含むセグメントと、という２つの部分において、サーバー上において保存されてもよい。コンテンツを再生するべく、ＤＡＳＨクライアントは、例えば、ＨＴＴＰ、電子メール、サムドライブ、ブロードキャスト、またはその他の搬送方法を使用することにより、ＭＰＤを取得してもよい。ＭＰＤを解析することにより、ＤＡＳＨクライアントは、プログラムタイミング、メディアコンテンツの可用性、メディアタイプ、分解能、最小および最大帯域幅、およびマルチメディアコンポーネントの様々な符号化された代替肢の存在、アクセス性の特徴、および必要とされるデジタル権限管理（ＤＲＭ：Ｄｉｇｉｔａｌ  Ｒｉｇｈｔｓ  Ｍａｎａｇｅｍｅｎｔ）、ネットワーク上におけるメディアコンポーネント場所、並びに、その他のコンテンツ特性について認知することになってもよい。この情報を使用することにより、ＤＡＳＨクライアントは、適切な符号化された代替肢を選択してもよく、例えば、ＨＴＴＰ  ＧＥＴ要求を使用してセグメントをフェッチすることにより、コンテンツのストリーミングを開始してもよい。ネットワークスループットの変動を許容するための適切なバッファリングの後に、クライアントは、後続のセグメントのフェッチを継続してもよく、更には、ネットワーク帯域幅の変動について監視してもよい。クライアントは、十分なバッファを維持するべく、（相対的に小さなまたは大きなビットレートによる）異なる代替肢のセグメントをフェッチすることにより、利用可能な帯域幅に対して適合する方式を決定してもよい。
【０２６２】
メディア提示記述（ＭＰＤ）は、ＨＴＴＰ上における動的適応ストリーミングを確立するべく、クライアントの情報を提供してもよい。ＭＰＤは、ＧＥＴ  Ｓｅｇｍｅｎｔ要求を実施するべく、それぞれのセグメントのＨＴＴＰ−ユニフォームリソースロケータ（ＵＲＬ）などのメディア提示について記述した情報を含んでいてもよい。ＤＡＳＨにおいては、図６において示されているように、メディア提示を構造化するべく、階層的なデータモデルが使用されてもよい。メディア提示は、１つまたは複数の期間のシーケンスを有していてもよく、それぞれの期間は、１つまたは複数のグループを含んでいてもよく、それぞれのグループは、１つまたは複数の適合セットを含んでいてもよい、それぞれの適合セットは、１つまたは複数の表現を含んでいてもよく、それぞれの表現は、１つまたは複数のセグメントを有していてもよい。表現は、例えば、ビットレート、分解能、言語、コーデックなどの、符号化選択肢によって異なりうるメディアコンテンツまたはそのサブセットの代替選択肢のうちの１つである。セグメントは、メディアデータの特定の持続時間と、復号化するためのメタデータと、を含んでいてもよく、含まれるメディアコンテンツを提示してもよい。セグメントは、ユニフォームリソース識別子（ＵＲＩ）によって識別されてもよく、ＨＴＴＰ  ＧＥＴ要求によって要求することができる。セグメントは、ＨＴＴＰ−ＵＲＬと、任意選択により、ＭＰＤによって規定されたバイト範囲と、と関連付けられたデータのユニットとして定義されてもよい。
【０２６３】
ＤＡＳＨ  ＭＰＤは、拡張マークアップ言語（ＸＭＬ）によってコンパイルされ、従って、ＸＭＬにおいて定義されている要素および属性を通じて規定されている。ＭＰＤは、ＸＭＬ文書内の要素が大文字の第１文字によって識別されてもよく、Ｅｌｅｍｅｎｔ（ボールド体）として、ボールド体で表示されうる、という表記法を使用して規定されてもよい。要素Ｅｌｅｍｅｎｔ１（ボールド体）が別の要素Ｅｌｅｍｅｎｔ２（ボールド体）内において含まれることを表現するべく、Ｅｌｅｍｅｎｔ２．Ｅｌｅｍｅｎｔ１（ボールド体）と記述してもよい。要素の名称が、２つ以上の組み合わせられたワードから構成される場合には、例えば、ＩｍｐｏｒｔａｎｔＥｌｅｍｅｎｔ（ボールド体）などのキャメルケーシングが使用されてもよい。要素は、正確に一度だけ、存在してもよく、あるいは、最小および最大発生が、＜ｍｉｎＯｃｃｕｒｓ＞．．．＜ｍａｘＯｃｃｕｒｓ＞によって定義されてもよい。ＸＭＬ文書内における属性は、小文字の第１文字によって定義されてもよいのみならず、それらは、例えば、＠ａｔｔｒｉｂｕｔｅなどのように、「＠」符号により、先行されてもよい。要素Ｅｌｅｍｅｎｔ（ボールド体）内において含まれる特定の属性＠ａｔｔｒｉｂｕｔｅを指し示すべく、Ｅｌｅｍｅｎｔ（ボールド体）＠ａｔｔｒｉｂｕｔｅと記述してもよい。属性の名称が、２つ以上の組み合わせられたワードから構成されている場合には、例えば、＠ｖｅｒｙＩｍｐｏｒｔａｎｔＡｔｔｒｉｂｕｔｅなどのように、第１ワードの後において、キャメルケーシングが使用されてもよい。属性は、必須（Ｍ）、任意選択（Ｏ）、既定値を有する任意選択（ＯＤ）、および条件付き必須（ＣＭ）として、ＸＭＬ内において状態を割り当ててもよい。
【０２６４】
ＤＡＳＨにおいては、すべての記述子要素は、同一の方式によって構造化されており、即ち、それらは、方式を識別するべくＵＲＩを提供する＠ｓｃｈｅｍｅＩｄＵｒｉ属性と、任意選択の属性＠ｖａｌｕｅおよび任意選択の属性＠ｉｄと、を含んでいる。要素のセマンティクスは、利用されている方式に固有のものである。方式を識別するＵＲＩは、ＵＲＮまたはＵＲＬであってもよい。いくつかの記述子は、ＭＰＥＧ−ＤＡＳＨ（ＩＳＯ／ＩＥＣ２３００９−１）において規定されているが、その他の仕様においては、これに加えて、またはこの代わりに、記述子を規定することができる。ＭＰＥＧ−ＤＡＳＨ以外の仕様において規定されているときには、ＭＰＤは、記述子要素を使用する方法に関するなんらの特定の情報をも提供しない。適切な方式情報による記述要素のインスタンス生成は、ＤＡＳＨフォーマットを利用しているアプリケーションまたは仕様に任せられている。これらの要素のうちの１つを使用しているアプリケーションまたは仕様は、その方式識別子が使用されるときに、要素のＵＲＩおよび値空間の形態において、方式識別子を定義する。方式識別子は、＠ｓｃｈｅｍｅＩｄＵｒｉ属性内において出現する。列挙された値の単純な組が必要とされている場合には、それぞれの値ごとに、テキストストリングが定義されてもよく、このストリングは、＠ｖａｌｕｅ属性内において含まれていてもよい。構造化されたデータが必要とされている場合には、任意の拡張要素または属性が、別個の名前空間内において定義されてもよい。一意の記述子または記述子のグループを参照するべく、＠ｉｄ値が使用されてもよい。後者のケースにおいては、同一の属性＠ｉｄの値を有する記述子は、同義となることが必要とされてもよく、即ち、同一の＠ｉｄの値を有する記述子のうちの１つの記述子を処理することで十分である。ＤｅｓｃｒｉｐｔｏｒＴｙｐｅタイプの２つ要素は、要素名、＠ｓｃｈｅｍｅＩｄＵｒｉの値、および＠ｖａｌｕｅ属性の値が等価である場合には、等価である。＠ｓｃｈｅｍｅＩｄＵｒｉがＵＲＮである場合には、等価性は、ＲＦＣ２１４１の第５項において定義されている語彙の等価性を意味しうる。＠ｓｃｈｅｍｅＩｄＵｒｉがＵＲＬである場合には、等価性は、ＲＦＣ３９８６の第６．２．１項において定義されているように、文字ごとの等価性を意味しうる。＠ｖａｌｕｅ属性が存在していない場合には、等価性は、＠ｓｃｈｅｍｅＩｄＵｒｉについての等価性のみにより、決定されてもよい。等価性を決定するべく、拡張名前空間内の属性および要素が使用されてもよいであろう。＠ｉｄ属性は、等価性決定においては、無視されてもよい。
【０２６５】
ＭＰＥＧ−ＤＡＳＨは、記述子ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙおよびＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙを規定している。要素ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙの場合には、メディア提示の著者は、要素が、同一の＠ｉｄを別のＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素と共有していない限り、この記述子を含む親要素内の情報を適切に使用するには、記述子の正常な処理が不可欠であると表明している。ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素が同一の＠ｉｄを共有している場合には、同一の＠ｉｄの値を有するＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素のうちの１つを処理することで十分である。それぞれの別個の＠ｉｄ値の少なくとも１つのＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素が、処理されるものと予想されている。ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子の方式または値が認識されない場合には、ＤＡＳＨクライアントは、記述子を含む親要素を無視するものと予想される。同一の＠ｉｄの値を有する、異なる＠ｉｄの値を有する、複数のＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ要素がＭＰＤ内において存在していてもよい。
【０２６６】
要素ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙの場合には、メディア提示の著者は、記述子が、最適化された処理のためにＤＡＳＨクライアントによって使用されうる補完情報を含んでいると表明している。ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子の方式または値が認識されない場合には、ＤＡＳＨクライアントは、記述子を無視するものと予想される。複数のＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ要素がＭＰＤ内において存在していてもよい。
【０２６７】
ＤＡＳＨサービスは、オンデマンドサービスまたはライブサービスとして提供されてもよい。前者においては、ＭＰＤは、静的なものであり、コンテンツプロバイダがＭＰＤをパブリッシュしたときに、メディア提示のすべてのセグメントは、既に利用可能である。但し、後者においては、ＭＰＤは、ＭＰＤによって利用されているセグメントＵＲＬ構築方法に応じて、静的または動的であってもよく、セグメントは、コンテンツが、コンテンツプロバイダにより、生成され、ＤＡＳＨクライアントに対してパブリッシュされるのに伴って、連続的に生成されてもよい。セグメントＵＲＬ構築方法は、テンプレートに基づいたセグメントＵＲＬ構築方法であってもよく、あるいは、セグメントリスト生成方法であってもよい。前者においては、ＤＡＳＨクライアントは、セグメントを要求する前のＭＰＤの更新を伴うことなしに、セグメントＵＲＬを構築することが可能であってもよい。後者においては、ＤＡＳＨクライアントは、セグメントＵＲＬを取得するべく、更新済みのＭＰＤを定期的にダウンロードする必要がありうる。従って、ライブサービスの場合には、セグメントリスト生成方法よりも、テンプレートに基づいたセグメントＵＲＬ構築方法が、有利でありうる。
【０２６８】
ＤＡＳＨの環境においては、以下の定義が使用されてもよく、メディアコンテンツコンポーネントまたはメディアコンポーネントは、メディアストリーム内に個々に符号化されうる割り当てられたメディアコンポーネントタイプを有するメディアコンテンツの１つの連続的なコンポーネントとして定義されてもよい。メディアコンテンツは、１つのメディアコンテンツ期間として、またはメディアコンテンツ期間の連続的なシーケンスとして、定義されてもよい。メディアコンテンツコンポーネントタイプは、オーディオ、ビデオ、またはテキストなどのメディアコンテンツの単一のタイプとして定義されてもよい。メディアストリームは、メディアコンテンツコンポーネントの符号化されたバージョンとして定義されてもよい。
【０２６９】
初期化セグメントは、メディアセグメント内においてカプセル化されたメディアストリームを提示するべく使用とされるメタデータを含むセグメントとして定義されてもよい。ＩＳＯＢＭＦＦに基づいたセグメントフォーマットにおいては、初期化セグメントは、任意のサンプルのメタデータを含んでいない場合があるムービーボックス（「ｍｏｏｖ」）を有していてもよく、即ち、サンプルの任意のメタデータは、「ｍｏｏｆ」ボックス内において提供される。
【０２７０】
メディアセグメントは、使用中のコンテナファイルフォーマットおよび／または１つまたは複数のメディアフォーマットと共にコンパイルされると共にゼロ以上の数の先行するセグメントと組み合わせられたときに再生を可能にするセグメントとして、初期化セグメント（存在する場合）として、定義されてもよい。メディアセグメントは、正常速度における再生用のメディアデータの特定の持続時間を含んでいてもよく、このような持続時間は、メディアセグメント持続時間またはセグメント持続時間と呼ばれてもよい。コンテンツ製作者またはサービスプロバイダは、サービスの望ましい特性に従って、セグメント持続時間を選択してもよい。例えば、ライブサービスにおいては、短いエンドツーエンドレイテンシーを実現するべく、相対的に短いセグメント持続時間が使用されてもよい。この理由は、セグメントは、ＤＡＳＨ用のメディアデータを生成する別個のユニットであることから、セグメント持続時間は、ＤＡＳＨクライアントによって知覚されるエンドツーエンドレイテンシーの下限であるためである。コンテンツ生成は、メディアデータのセグメント全体がサーバーにとって利用可能となる方式により、実行されてもよい。更には、多くのクライアント実装形態は、ＧＥＴ要求用の単位として、セグメントを使用してもよい。従って、ライブサービス用のいくつかの構成においては、セグメントは、メディアセグメントの持続時間全体が利用可能であるのみならず、符号化され、セグメント内にカプセル化されるときにのみ、ＤＡＳＨクライアントによって要求することができる。オンデマンドサービスの場合には、異なるセグメント持続時間の選択方式が使用されてもよい。
【０２７１】
セグメントは、サブセグメントとして更にパーティション化されてもよく、サブセグメントは、そのそれぞれが完全なアクセスユニットを含んでいてもよい。サブセグメントは、それぞれのサブセグメントごとの提示時間範囲およびバイト範囲をマッピングするための情報を含むセグメントインデックスによってインデックス付けされてもよく、バイト範囲ＨＴＴＰ要求を使用することにより、特定のサブセグメントのＨＴＴＰ  ＧＥＴ要求を実施するべく、使用されてもよい。相対的に長いセグメント持続時間が使用されている場合には、サブセグメントは、ビットレート適合のために、ＨＴＴＰ応答のサイズを妥当柔軟なものに維持するべく、使用されてもよい。ＩＳＯＢＭＦＦに基づいたセグメントフォーマットにおいては、サブセグメントは、１つまたは複数の連続的なムービーフラグメントの自己充足型の組として定義されてもよく、この場合に、自己充足型の組は、１つまたは複数の対応するメディアデータボックスを有する１つまたは複数のムービーフラグメントボックスを含み、ムービーフラグメントボックスによって参照されているデータを含むメディアデータボックスは、そのムービーフラグメントボックスに後続しなければならず、同一のトラックに関する情報を含む次のムービーフラグメントボックスに先行しなければならない。
【０２７２】
それぞれのメディアセグメントには、（恐らくは、バイト範囲を有する）一意のＵＲＬ、インデックス、および明示的または黙示的開始時刻および持続時間が割り当てられてもよい。それぞれのメディアセグメントは、少なくとも１つのストリームアクセスポイントを含んでいてもよく、ストリームアクセスポイントは、復号化が、そのポイント以降のデータのみを使用して開始しうるメディアストリーム内のランダムアクセスまたはスイッチング先ポイントである。
【０２７３】
複数の部分におけるセグメントのダウンロードを可能にするべく、セグメントインデックスボックスを使用してサブセグメントをシグナリングする方法が利用されてもよい。このボックスは、その持続時間およびバイトオフセットをシグナリングすることにより、セグメント内のサブセグメントおよびストリームアクセスポイントについて記述している。ＤＡＳＨクライアントは、部分的なＨＴＴＰ  ＧＥＴ要求を使用してサブセグメントを要求するべく、インデックス付け情報を使用してもよい。セグメントのインデックス付け情報は、そのセグメントの開始時点において単一のボックス内において配置されてもよく、あるいは、セグメント内の多くのインデックス付けボックスの間において拡散されてもよい。階層、デイジーチェーン、およびハイブリッドなどの、様々な拡散方法が可能である。この技法は、セグメントの開始点における大きなボックスの追加を回避することができ、従って、可能な初期ダウンロード遅延を防止しうる。
【０２７４】
セグメント（あるいは、個々に、サブセグメント）は、以下のように、オーバーラップしてないものと定義されてもよく、ＴE（Ｓ，ｉ）が、セグメントまたはサブセグメントＳのストリームｉにおける任意のアクセスユニットの最も早い提示時刻であるとし、ＴL（Ｓ，ｉ）が、セグメントまたはサブセグメントＳのストリームｉにおける任意のアクセスユニットの最も遅い提示時刻であるとする。異なる表現であってもよく、あるいは、そうでなくてよい２つのセグメント（個々に、サブセグメント）ＡおよびＢは、ＡおよびＢ内のすべてのメディアストリームｉについて、ＴL（Ａ，ｉ）＜ＴE（Ｂ，ｉ）であるときには、あるいは、ＡおよびＢ内のすべてのストリームｉについて、ＴL（Ｂ，ｉ）＜ＴE（Ａ，ｉ）である場合には、オーバーラップしていないものと定義されてもよく、この場合に、ｉは、同一のメディアコンポーネントを意味している。
【０２７５】
ＭＰＥＧ−ＤＡＳＨは、ＩＳＯベースメディアファイルフォーマットおよびＭＰＥＧ−２トランスポートストリームの両方用のセグメント−コンテナフォーマットを定義している。その他の仕様は、その他のコンテナフォーマットに基づいてセグメントフォーマットを規定してもよい。例えば、マトリョーシカコンテナファイルフォーマットに基づいたセグメントフォーマットが提案されており、以下のように要約されうる。マトリョーシカファイルが、ＤＡＳＨセグメントまたはこれに類似したものとして搬送されるときには、ＤＡＳＨユニットとマトリョーシカユニットの関連付けは、以下のように規定されてもよい。（ＤＡＳＨの）サブセグメントは、マトリョーシカによってカプセル化されたコンテンツの１つまたは複数の連続的なクラスタとして定義されてもよい。ＤＡＳＨの初期化セグメントは、ＥＢＭＬヘッダ、（マトリョーシカの）セグメントヘッダ、（マトリョーシカの）セグメント情報、およびトラックを有することが必要とされてもよく、任意選択により、その他のレベル１要素およびパディングを有していてもよい。ＤＡＳＨのセグメントインデックスは、マトリョーシカのキュー要素を有していてもよい。
【０２７６】
ＤＡＳＨは、メディア提示タイムラインおよびセグメント可用性時刻を含む異なるタイムラインを規定している。前者は、グローバルな共通提示タイムラインに対してマッピングされるメディアコンテンツを有するアクセスユニットの提示時刻を標示している。メディア提示タイムラインは、ＤＡＳＨが、異なる符号化技法によって符号化されると共に共通タイムラインを共有する異なるメディアコンポーネントをシームレスに同期化できるようにしうる。後者は、ウォールクロックタイムを標示し、ＨＴＴＰ  ＵＲＬによって識別されうるセグメントの可用性時刻をクライアントにシグナリングするべく使用される。ＤＡＳＨクライアントは、ウォールクロック時刻をそのセグメントに割り当てられているセグメント可用性時刻と比較することにより、特定のセグメントの可用性時刻を識別することが可能であってもよい。セグメント可用性時刻は、ライブサービスと呼ばれる、メディアセグメントのライブ供給において使用されてもよい。ライブサービスの場合には、セグメント可用性時刻は、セグメントごとに異なっており、特定のセグメントの可用性時刻は、メディア提示タイムライン内のセグメントの位置に依存しうる。オンデマンドサービスの場合には、セグメント可用性時刻は、すべてのセグメントについて同一であってもよい。
【０２７７】
ＤＡＳＨは、変化するネットワーク帯域幅にマッチングするように、適合セット内の異なる表現に対してメディアセグメントおよび／またはサブセグメントを動的に要求することにより、レート適合をサポートしている。ＤＡＳＨクライアントが、表現をアップ／ダウンスイッチングするときには、表現内の符号化依存性を考慮する必要がありうる。メディアの復号化においては、表現のスイッチングは、ランダムアクセスポイント（ＲＡＰ）においてのみ実行されてもよく、ランダムアクセスポイントは、Ｈ．２６４／ＡＶＣなどのビデオ符号化技法において使用されてもよい。復号化されないメディアデータの要求および送信を回避するべく、ＲＡＰは、メディアセグメントおよび／またはサブセグメントの開始点においてアライメントされてもよく、／または、ＭＰＤおよび／またはセグメントインデックスボックスは、メディアセグメントおよび／またはサブセグメントの開始点においてＲＡＰのアライメントを標示するべく、使用されてもよい。この結果、ＤＡＳＨクライアントは、表現スイッチングが実行されるときに、スイッチング先の表現の第１セグメントおよび／またはサブセグメントが、ＲＡＰによって開始し、スイッチング元およびスイッチング先表現のセグメントおよび／またはサブセグメントがアライメント（時間ワイズに）されるように、要求するべきセグメントおよび／またはサブセグメントを結論付けることが可能でありうる。ＤＡＳＨにおいては、表現にアクセスし、表現の間においてスイッチングするためのコーデックから独立した解決策を提供するべく、ストリームアクセスポイント（ＳＡＰ：Ｓｔｒｅａｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ）と命名された相対的に一般的な概念が導入されている。ＤＡＳＨにおいては、ＳＡＰは、メディアストリームの再生が、（存在する場合に、初期化セグメント内のデータのインスタンスを生成することによって先行された）その位置から始まって以降の表現データ内において含まれる情報のみを使用して開始されることを可能にする、表現内の位置として規定されている。従って、ＳＡＰにおいて、表現スイッチングを実行することができる。
【０２７８】
以下のものを含む、ＳＡＰのいくつかのタイプが規定されている。ＳＡＰ  Ｔｙｐｅ  １は、いくつかの符号化方式において「クローズドＧＯＰランダムアクセスポイント」と呼ばれているものに対応しており（この場合に、復号化順序におけるすべてのピクチャは、正しく、復号化され、その結果、ギャップを有していない正しく復号化されたピクチャの連続的な時間シーケンスが得られうる）、これに加えて、復号化順序における第１ピクチャは、提示順序における第１ピクチャでもある。ＳＡＰ  Ｔｙｐｅ  ２は、復号化順序における第１ピクチャが、提示順序において第１ピクチャでなくてもよい、「クローズドＧＯＰランダムアクセスポイント」といくつかの符号化方式において呼ばれているものに対応している（この場合には、復号化順序におけるすべてのピクチャは、正しく復号化され、その結果、ギャップを有していない正しく復号化されたピクチャの連続的な時間シーケンスが得られうる）。ＳＡＰ  Ｔｙｐｅ  ３は、「オープンＧＯＰランダムアクセスポイント」といくつかの符号化方式において呼ばれているものに対応しており、この場合には、正しく復号化されえないと共にＳＡＰと関連付けられたイントラ符号化されたピクチャ未満の提示時間を有する、復号化順序におけるいくつかのピクチャが存在しうる。
【０２７９】
コンテンツプロバイダは、スイッチングを更に単純にしうる方式により、複数の表現のセグメントおよびサブセグメントを生成してもよい。単純なケースにおいては、それぞれのセグメントおよびサブセグメントは、ＳＡＰと共に開始し、セグメントおよびサブセグメントの境界が、適合セットの表現に跨ってアライメントされている。このようなケースにおいては、ＤＡＳＨクライアントは、オリジナルの表現から新しい表現に対してセグメントまたはサブセグメントを要求することにより、エラードリフトを伴うことなしに、表現をスイッチングすることが可能であってもよい。ＤＡＳＨにおいては、ＤＡＳＨクライアントがエラードリフトを導入することなしに表現をスイッチングすることを促進するべく、セグメントおよびサブセグメントを構築するための制限が、ＭＰＤおよびセグメントインデックス内において規定されている。ＤＡＳＨにおいて規定されているプロファイルの使用法の１つは、セグメントおよびサブセグメントなどを構築するべく、異なるレベルの制限を提供するというものである。
【０２８０】
上述のように、クライアントまたはプレーヤは、スケーラブルなビデオビットストリームの送信される層および／またはサブ層が決定されうる方式と同様に、セグメントまたはサブセグメントが異なる表現から送信されることを要求してもよい。表現ダウンスイッチングまたはビットストリームダウンスイッチングという用語は、予め（それぞれ）要求または送信されたものよりも低いビットレート表現を要求または送信することを意味してもよい。表現アップスイッチングまたはビットストリームアップスイッチングという用語は、予め（それぞれ）要求または送信されたものよりも高いビットレート表現を要求または送信することを意味してもよい。表現スイッチングまたはビットストリームスイッチングという用語は、表現またはビットストリームのアップおよびダウンスイッチングを総称してもよい。
【０２８１】
ＭＰＥＧ−ＤＡＳＨに類似したストリーミングシステムは、例えば、ＩＥＦＴインターネットドラフトｄｒａｆｔ−ｐａｎｔｏｓ−ｈｔｔｐ−ｌｉｖｅ−ｓｔｒｅａｍｉｎｇ−１３（並びに、同一のインターネットドラフトのその他のバージョン）において規定されているＨＴＴＰライブストリーミング（ＨＬＳ：ＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇとも呼ばれる）を含む。ＭＰＤに対応するマニフェストフォーマットとして、ＨＬＳは、拡張されたＭ３Ｕフォーマットを使用している。Ｍ３Ｕは、元々、オーディオファイル用に開発された、マルチメディアプレイリスト用のファイルフォーマットである。Ｍ３Ｕプレイリストは、個々の行から構成されたテキストファイルであり、それぞれの行は、ＵＲＩまたはブランクであり、あるいは、タグまたはコメントを標示する文字「＃」で始まっている。ＵＲＩ行は、メディアセグメントまたはプレイリストファイルを識別している。タグは、＃ＥＸＴで始まっている。ＨＬＳ仕様は、いくつかのタグを規定しており、これらのタグは、キー−値ペアと見なされてもよい。タグの値部分は、属性リストを有していてもよく、属性リストは、属性−値ペアのカンマで分離されたリストであり、この場合に、属性−値ペアは、シンタックスＡｔｔｒｉｂｕｔｅＮａｍｅ＝ＡｔｔｒｉｂｕｔｅＶａｌｕｅを有するものと見なされてもよい。従って、ＨＬＳ  Ｍ３Ｕ８ファイルのタグは、ＭＰＤまたはＸＭＬにおける要素に類したものであると見なされてもよく、ＨＬＳ  Ｍ３Ｕ８ファイルの属性は、ＭＰＤまたはＸＭＬにおける属性に類似していると見なされてもよい。ＨＬＳにおけるメディアセグメントは、ＭＰＥＧ−２トランスポートストリームに従ってフォーマッティングされ、単一のＭＰＥＧ−２プログラムを含む。それぞれのメディアセグメントは、プログラム関連付けテーブル（ＰＡＴ：Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）およびプログラムマップテーブル（ＰＭＴ：Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）によって開始するように推奨されている。
【０２８２】
同一のコンテンツの異なるビットストリームの間におけるスイッチングが、ビットレート適合のために使用されてもよい。異なるビットストリームに対するスイッチングは、例えば、（ＩＤＲピクチャなどの）クローズドＧＯＰを開始する任意のイントラピクチャにおいて、実行されてもよい。
【０２８３】
ビットレートを相対的に高速に調節し、頻繁なイントラピクチャの圧縮ペナルティを回避するニーズに応答するべく、可能な選択肢は、非イントラピクチャからストリームスイッチングを開始するというものでありうるであろう。一実施形態においては、インター符号化されたフレームであるＳフレームは、第１ストリームから第２ストリームにスイッチングするときにのみ、使用されている。このようなＳフレームは、小さな量子化ステップによって符号化されてもよく、復号化されたＳフレームを第２ストリームの対応する復号化されたピクチャに近いが、通常は、これとは同一ではない、ものにしうる。Ｈ．２６４／ＡＶＣは、ＳＩ／ＳＰピクチャと呼ばれる特徴を含んでいる。ＳＰまたはＳＩフレームは、Ｓフレームと同様に使用されてもよいが、これらのフレームは、開始点からのストリームの復号化との比較において、スイッチングの後に、同一の復号化されたピクチャを提供しうる。スイッチングのみのために使用されるプライマリストリームおよびＳＩ／ＳＰピクチャの両方において、ＳＩ／ＳＰピクチャ用の復号化プロセスにおける更なる変換および量子化ステップを代償として、同一の復号化されたピクチャを得ることができる。但し、ＳＩ／ＳＰ特徴は、ベースラインまたはハイプロファイル内には、含まれてはおらず、従って、共通的に使用されてはいない。
【０２８４】
図７は、２つの異なるビットストリームの間においてスイッチングするべく、ＳＰピクチャが使用されうる方式の一例を示している。このファイルフォーマットにおいては、スイッチングピクチャ（例示用の図７のＳＰ３）は、スイッチングピクチャトラック内において保存されており、これらのトラックは、スイッチング元のトラックおよびスイッチング先のトラックとは別個のトラックである。スイッチングピクチャトラックは、そのトラック内の特定の必要とされているトラック参照の存在により、識別することができる。スイッチングピクチャは、同一の復号化時刻を正確に有するスイッチング先トラック内のサンプルの代替肢である。すべてのスイッチングピクチャがＳＩピクチャである場合には、更なる情報は不要でありうる。
【０２８５】
スイッチングトラック内のピクチャのいずれかがＳＰピクチャである場合には、２つの余分の情報が必要とされる場合がある。第１に、そこからスイッチングされるスイッチング元トラックは、トラック参照を使用することにより、識別されうる（スイッチング元トラックは、スイッチング先トラックと同一のトラックであってもよい）。第２に、スイッチングピクチャが依存しているピクチャがデコーダに供給されているときにのみ、スイッチングピクチャが使用されるように、スイッチング元トラック内のサンプルに対するスイッチングピクチャの依存性が必要とされうる。
【０２８６】
この依存性は、任意選択の付加的なサンプルテーブルによって表されてもよい。スイッチングトラック内においては、サンプル当たりに１つのエントリが存在している。それぞれのエントリは、スイッチングピクチャが依存しているソーストラック内において相対サンプル番号を記録している。このアレイが、所与のサンプルについて空である場合には、そのスイッチングサンプルは、ＳＩピクチャを含んでいる。依存性ボックスが存在していない場合には、トラック内には、ＳＩフレームのみが存在していることになる。
【０２８７】
スイッチングサンプルは、異なる依存性を有する複数の符号化表現を有していてもよい。ＡＶＣビデオの場合には、異なるスイッチングトラック（即ち、アクセスユニット）内に、スイッチングサンプルの複数の表現が保存されてもよい。例えば、１つのスイッチトラックは、ストリームスイッチングに使用される、いくつかの以前のサンプルに依存したＳＰピクチャ表現を含んでいてもよく、別のスイッチトラックは、ランダムアクセスに使用されるＳＩピクチャとして、別の表現を含んでいてもよい。
【０２８８】
適応型分解能変更（ＡＲＣ）とは、例えば、ビデオ会議の使用事例において、ビデオシーケンス内の分解能を動的に変更することを意味している。適応型分解能変更は、例えば、相対的に良好なネットワーク適合およびエラー復元力を目的として、使用されてもよい。異なるコンテンツごとの変化するネットワーク要件に対して相対的に良好に適合するべく、品質に加えて、時間的／空間的分解能の両方を変更可能であることが望ましくありうる。又、適合型分解能変更は、高速の開始を可能にすることもでき、この場合に、まず、低分解能フレームを送信し、次いで、分解能を増大させることにより、セッションのスタートアップ時間を増大されることが可能でありうる。適応型分解能変更は、会議を演出するときに更に使用されてもよい。例えば、人物が発話を開始したときに、彼／彼女の対応する分解能を増大させてもよい。ＩＤＲフレームは、遅延が大幅に増大しないように、相対的に低い品質において符号化される必要があることから、ＩＤＲフレームに伴ってこれを実行すれば、品質の「中断」が発生する場合がある。
【０２８９】
ビットストリーム内において分解能の変化が存在しているかどうかをデコーダに標示するべく、シーケンスレベルのシグナリングが使用されてもよい。これは、例えば、フラグｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇを使用することにより、実行されてもよい。ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、符号化されたビデオシーケンスが、適合型分解能変更動作を実行するように制約されていることをシグナリングするべく、使用されてもよい。具体的には、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、スイッチングピクチャを除いて、シーケンス内のそれぞれのＡＵが、単一の層からの単一のピクチャ（ＢＬピクチャであってもよく、またはそうでなくてもよい）を含み、スイッチングが発生したアクセスユニットは、２つの層からのピクチャを含み、そのようなアクセスユニット内のＥＬピクチャは、ＩＲＡＰピクチャであり、層間予測が、ＥＬ  ＩＲＡＰピクチャについて使用されうることを標示している。
【０２９０】
ＶＰＳにおいてｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇを標示することにより、デコーダは、セッションの開始のときに相応してデコーダリソースが割り当てられうるように、分解能変更の実現を除いて、スケーラビリティが使用されないことを認知可能でありうる。
【０２９１】
ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、標準的な復号化プロセスにおいて変化を生成しえないことから、ＶＰＳ  ＶＵＩシンタックス内において含まれていてもよい。
【０２９２】
ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇのセマンティクスは、以下のように規定されてもよい。
【０２９３】
１に等しいｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、以下の内容を標示している。
【０２９４】
−ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが１に等しい場合には、１に等しいｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、以下のうちの１つが、このＶＰＳが有効なＶＰＳであるそれぞれのアクセスユニットについて、真であることを標示している。
【０２９５】
・アクセスユニットのすべてのＶＣＬ  ＮＡＬユニットが同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する。
【０２９６】
・２つのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が、アクセスユニットのＶＣＬ  ＮＡＬユニットによって使用され、相対的に大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するピクチャが、ＩＲＡＰピクチャである。
【０２９７】
−さもなければ（ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが０に等しい）、１に等しいｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、以下のうちのいずれか１つが、このＶＰＳが有効なＶＰＳであるそれぞれのアクセスユニットについて、真であることを標示している。
【０２９８】
・０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する復号化されたピクチャは、外部手段によってアクセスユニットのために提供されず、アクセスユニットは、１つの符号化されたピクチャを含む。
【０２９９】
・０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する復号化されたピクチャは、外部手段によってアクセスユニットのために提供されず、アクセスユニットは、２つの符号化されたピクチャを含み、相対的に大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するピクチャが、ＩＲＡＰピクチャである。
【０３００】
・０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する復号化されたピクチャは、外部手段によってアクセスユニットのために提供され、アクセスユニットは、ＩＲＡＰピクチャである１つの符号化されたピクチャを含む。
【０３０１】
０に等しいｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、上述の制約が、適用されてもよく、あるいは、そうではなくてもよいことを標示している。存在しない場合には、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇの値は、０に等しいものと推定される。
【０３０２】
ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇは、ｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇによって伴われてもよく、ｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇのセマンティクスは、以下のように規定されてもよい。
【０３０３】
１に等しいｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇは、それぞれのＩＲＡＰピクチャであるｃｕｒｒＩｒａｐＰｉｃが、以下に規定されているように制約されていることを標示している。ｃｕｒｒＩｒａｐＰｉｃは、このＶＰＳが有効なＶＰＳであるそれぞれのアクセスユニットｃｕｒｒＡｕについて、以下のように導出される。
【０３０４】
−ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが１に等しく、ｃｕｒｒＡｕが、２つの符号化されたピクチャを含み、相対的に大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するピクチャが、ＩＲＡＰピクチャである場合には、ｃｕｒｒＩｒａｐＰｉｃをそのＩＲＡＰピクチャとし、
【０３０５】
−そうではなく、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが０に等しく、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する復号化されたピクチャが、外部手段によってｃｕｒｒＡｕのために提供されず、ｃｕｒｒＡｕが、２つの符号化されたピクチャを含み、相対的に大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するピクチャがＩＲＡＰピクチャである場合には、ｃｕｒｒＩｒａｐＰｉｃをそのＩＲＡＰピクチャとする。
【０３０６】
−そうではなく、ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが０に等しく、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する復号化されたピクチャが、外部手段によってｃｕｒｒＡｕのために提供され、アクセスユニットが、ＩＲＡＰピクチャである１つの符号化されたピクチャを含んでいる場合には、ｃｕｒｒＩｒａｐＰｉｃをそのＩＲＡＰピクチャとする。
【０３０７】
−さもなれば、ｃｕｒｒＩｒａｐＰｉｃは、ｃｕｒｒＡｕについて導出されない。
【０３０８】
−以下の制約は、それぞれのピクチャｃｕｒｒＩｒａｐＰｉｃについて適用されてもよい。
・ＩＲＡＰピクチャのすべてのスライスについて、
＊ｓｌｉｃｅ＿ｔｙｐｅは、Ｐに等しくなる。
＊ｓｌｉｃｅ＿ｓａｏ＿ｌｕｍａ＿ｆｌａｇおよびｓｌｉｃｅ＿ｓａｏ＿ｃｈｒｏｍａ＿ｆｌａｇは、いずれも、０に等しくなる。
＊ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄは、４に等しくなる。
＊ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇは、スライスによって参照されたＰＰＳ内において０に等しくなる。
【０３０９】
・ＩＲＡＰピクチャのすべての符号化ユニットについて、
＊ｃｕ＿ｓｋｉｐ＿ｆｌａｇ［ｉ］［ｊ］は、１に等しくなる。
【０３１０】
ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが０に等しい場合には、ｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇは、０に等しいことを要する。ｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇが存在していないときには、これは、０に等しいものと推定されてもよい。
【０３１１】
ｖｐｓ＿ｂａｓｅ＿ｌａｙｅｒ＿ｉｎｔｅｒｎａｌ＿ｆｌａｇが１に等しいときには、エンコーダは、最大で２つのピクチャがすべてのアクセスユニット内において存在しており、同一のアクセスユニット内において２つのピクチャが存在しているときには常に、相対的に大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を有するものがＩＲＡＰピクチャである、という内容のデコーダに対する標示として、ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇを１に等しく設定してもよい。これに加えて、エンコーダは、同一のアクセスユニット内において２つのピクチャが存在しているときには常に、相対的に大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を有するものが、入力として相対的に小さいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するその他のピクチャを伴う層間基準ピクチャ導出プロセスを適用することによって復号化サンプルが導出されうるＩＲＡＰピクチャである、という内容のデコーダに対する標示として、ｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇを１に等しく設定してもよい。
【０３１２】
ｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇが１に等しく、ｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇが１に等しいときには、２つのピクチャを含むアクセスユニット内の相対的に大きなｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を有するピクチャは、スキップ符号化ＩＲＡＰピクチャまたはスキップピクチャと呼ばれてもよい。
【０３１３】
それぞれの予測ユニット用の層間モーションを符号化するべく、マージモードを使用することが可能であり、符号化ツリーユニットを符号化ユニットに分割する必要がなく、それぞれの符号化ユニットごとの残差符号化をスキップするべく、１つのＣＡＢＡＣ符号化されたフラグｃｕ＿ｓｋｉｐ＿ｆｌａｇのみが必要とされうることから、スキップピクチャは、小さくなサイズを有しうる。
【０３１４】
独立非ベース層および独立非ベース層復号化（ＩＮＢＬＤ：Ｉｎｄｅｐｅｎｄｅｎｔ  Ｎｏｎ−Ｂａｓｅ  Ｌａｙｅｒ  Ｄｅｃｏｄｉｎｇ）能力
独立層は、直接的な基準層を有していない層として定義されてもよい。換言すれば、独立層は、層間予測を使用して予測されない。
【０３１５】
非ベース層は、ベース層以外の任意のその他の層として定義されてもよく、ベース層は、ビットストリーム内における最下位層として定義されてもよい。
【０３１６】
独立非ベース層は、独立層および非ベース層の両方である層として定義されてもよい。
【０３１７】
独立非ベース層復号化（ＩＮＢＬＤ）能力は、メインプロファイルなどの単一層プロファイルのうちの１つまたは複数のプロファイルの復号化能力と関連している。又、１つまたは複数の単一層プロファイルについてのデコーダの能力を表現するときには、独立非ベース層復号化能力がそれらのプロファイルについてサポートされているかどうかを示す必要がある。
【０３１８】
独立非ベース層復号化能力は、サポートされているときには、例えば、単一層プロファイルに準拠していると有効なＶＰＳおよびＳＰＳ内において標示されていると共に更なる層セット内の最小のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する層である、独立非ベース層を復号化するデコーダの能力を示していてもよい。
【０３１９】
ＨＥＶＣのｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造が、システム内のデコーダ能力の標示のために使用されるときには、独立非ベース層復号化能力は、デコーダが準拠しているプロファイル、ティア、およびレベルを表現するべく使用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造内において、ｇｅｎｅｒａｌ＿ｉｎｂｌｄ＿ｆｌａｇを１に等しく設定することにより、標示されてもよい。
【０３２０】
ｇｅｎｅｒａｌ＿ｉｎｂｌｄ＿ｆｌａｇは、その内部において単一層プロファイルが標示されており、非ベース層について適用可能であるとＶＰＳ内において規定されているか、あるいは、独立非ベース層について活性化されたＳＰＳ内において含まれる、ＨＥＶＣのｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造内において１に等しく設定されてもよい。
【０３２１】
独立非ベース層復号化能力を有すると共に特定のティアの特定のレベルにおいて特定の単一層プロファイルに準拠しているＨＥＶＣデコーダは、以下の条件のすべてがそれぞれの有効なＶＰＳについて適用される独立非ベース層のｉに等しいＴｅｍｐｏｒａｌＩｄを有する任意の独立非ベース層またはサブ層表現を復号化する能力を有しうる。
【０３２２】
−独立非ベース層から構成されると共に関連付けられたｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造であるｐｔｌＳｔｒｕｃｔが以下のように制約されているＯＬＳが存在している。
【０３２３】
・ｐｔｌＳｔｒｕｃｔは、独立非ベース層またはサブ層表現が、付属書Ａに規定されているプロファイルに準拠していると標示する。
【０３２４】
・ｐｔｌＳｔｒｕｃｔは、独立非ベース層またはサブ層表現が、規定されているレベル以下のレベルに準拠していると標示する。
【０３２５】
・ｐｔｌＳｔｒｕｃｔは、独立非ベース層またはサブ層表現が、規定されているティア以下のティアに準拠していると標示する。
【０３２６】
・ｐｔｌＳｔｒｕｃｔ内のｇｅｎｅｒａｌ＿ｉｎｂｌｄ＿ｆｌａｇまたはｓｕｂ＿ｌａｙｅｒ＿ｉｎｂｌｄ＿ｆｌａｇ［ｉ］は、１に等しい。
【０３２７】
符号化規格は、独立非ベース層再書き込みプロセスを含んでいてもよく、このプロセスは、例えば、ＨＥＶＣにおいて規定されている。このような再書き込みプロセスは、独立非ベース層を含むビットストリームを入力として取得してもよく、プロセスの出力ビットストリームのベース層となるように、独立非ベース層を変換してもよい。導出されたビットストリームであるｏｕｔＢｉｔｓｔｒｅａｍを独立非ベース層再書き込みプロセスを起動することによって導出されるビットストリームとしよう。独立非ベース層復号化能力を有するデコーダは、ｏｕｔＢｉｔｓｔｒｅａｍを取得するべく、独立非ベース層再書き込みプロセスを適用してもよく、次いで、入力としてｏｕｔＢｉｔｓｔｒｅａｍを有するように規定された単一層プロファイル用の復号化プロセスを適用してもよい。
【０３２８】
ランダムアクセスポイント（ＲＡＰ）ピクチャは、シーキングおよび早送り再生などの機能を提供するべく、ストリーミングにおいて使用される。又、ＤＡＳＨにおいては、ＲＡＰピクチャは、表現スイッチングを可能にするべく、使用されており、表現スイッチングは、受信バッファのアンダーフローを回避すると共にネットワークスループットを可能な限り効率的に使用するべく、プレーヤのレート適合ロジックに対する応答として実行されてもよい。
【０３２９】
ＤＡＳＨ表現のストリーミングセッションにおける異なる品質および分解能の間におけるクライアントスイッチングをサポートするべく、ランダムアクセスポイントピクチャは、セグメント境界において符号化されてもよい。従来は、所謂クローズドグループ群（ＧＯＰ）予測構造を開始する、瞬時復号リフレッシュ（ＩＤＲ）ピクチャのような、瞬間的なＲＡＰピクチャのみが、ＤＡＳＨ表現のセグメント境界において使用されている。ＣＲＡピクチャから始まる復号化プロセスは、標準的に規定されていることから、オープンＧＯＰを開始するイントラピクチャ、即ち、Ｈ．２６５／ＨＥＶＣにおけるＣＲＡピクチャ、の使用は、Ｈ．２６５／ＨＥＶＣにおいては、更に古い規格との比較において改善されている。復号化がＣＲＡピクチャから始まっているときには、復号化順序においてＣＲＡピクチャに後続するが、出力順序においては、ＣＲＡピクチャに先行している、ランダムアクセススキップトリーディング（ＲＡＳＬ）ピクチャと呼ばれる、いくつかのピクチャは、復号化不能である場合がある。この結果、オープンＧＯＰが、ＤＡＳＨにおいて、セグメント境界において使用された場合には、表現スイッチングは、ＲＡＳＬピクチャの復号化不能状態と、従って、再生におけるピクチャレート障害と、を結果的にもたらすことになろう。例えば、８個のピクチャの予測階層構造が使用されており、ピクチャレートが２５Ｈｚであった場合には、ビデオは、約３分の１秒にわたってフリーズすることになろう。
【０３３０】
シームレスな表現スイッチングは、表現が、オープンＧＯＰ構造を使用し、同一の分解能およびその他の特性を共有しているときに、即ち、ソース表現の復号化されたピクチャがが、従って、ターゲット表現のピクチャを予測するための基準ピクチャとして、使用されうるときに、可能となりうる。但し、表現は、同一の特性を共有していない場合があり、例えば、表現は、異なる空間的分解能を有している場合があり、この場合には、シームレスな表現スイッチングは、いくつかの更なる考慮事項を必要としうる。
【０３３１】
以下、シームレスな表現スイッチングに関するいくつかの課題について更に詳細に開示する。
【０３３２】
リーディングピクチャの適切な取り扱いについて明らかではない場合がある。リーディングピクチャの取り扱いの課題の例示として、以下、図８ａ〜図８ｅを参照し、一例について説明する。この例においては、ピクチャの出力順序は、左側から右側へと続いている。復号化順序が、出力順序と異なっていることに留意されたい。図８ａの例においては、ＢＳ１およびＢＳ２という、２つのビットストリームが存在している。ピクチャは、矩形によって示されており、ピクチャタイプは、ＩＤＲ、イントラ（Ｉ）、インター（Ｐ）、またはバイ予測（Ｂ）として、矩形内において示されている。０を上回るｔｅｍｐｏｒａｌ＿ｉｄの値は、ピクチャタイプの後の数値として示されている。矢印は、インター予測関係を示しており、矢印の根本は、矢印が指し示しているピクチャの基準ピクチャとして使用されている。
【０３３３】
この例においては、第１ビットストリームＢＳ１から第２ビットストリームＧＳ２へのスイッチングは、Ｉピクチャにおいて実施されている。出力順序においてＩピクチャに直接的に先行しているリーディングピクチャ（Ｂ２、Ｂ１、Ｂ２）の取り扱いについて注意を払う必要がある。
【０３３４】
（「非復号化可能」）なリーディングピクチャの復号化の省略は、再生におけるギャップをもたらす場合があり、これは、好ましくない。図８ｂは、この方式を示している。
【０３３５】
１つの方式は、両方のビットストリームから、Ｉピクチャを受信し、復号化するというものであってもよいであろう。次いで、２つの選択肢の間において選択を実施することができる。第１の選択肢によれば、リーディングピクチャが、第１（スイッチング元）ビットストリームＢＳ１から、受信され、復号化される。又、ＢＳ２のリーディングピクチャは、復号化順序においてＩピクチャに後続していることから、通常、ＢＳ２のリーディングピクチャも、受信されることに留意されたい。別の選択肢は、第２（スイッチング先）ビットストリームＢＳ２から、リーディングピクチャを受信し、復号化するというものである。第１ビットストリームＢＳ１のリーディングピクチャは、受信または復号化する必要はない。第２ビットストリームＢＳ２のリーディングピクチャは、ＢＳ２からの基準ピクチャを使用することにより、符号化されたものであり、第２ビットストリームＢＳ２からのリーディングピクチャは、復号化におけるその基準ピクチャのうちのいくつかが、第１ビットストリームＢＳ１に由来していることから、完全に再構築されない場合があることに留意されたい。更には、この動作は、ＢＳ１の復号化されたピクチャは、ＢＳ２のピクチャの復号化のための基準ピクチャとして使用されうるようなものであることを、即ち、一般的に、ＢＳ１およびＢＳ２の少なくとも空間分解能、クロマフォーマット、およびビット深度が同一であることを、仮定している。ＢＳ１の復号化されたピクチャが、ＢＳ２のピクチャの復号化用の基準ピクチャとして使用されるのに適していないようなものであるときには、この方式を使用することは不可能である。
【０３３６】
上述の選択肢のいずれにおいても、２つのＩピクチャが、受信され、復号化されており、この結果、送信帯域幅が消費され、リアルタイム復号化よりも低速であることに起因し、再生において小さな休止が生じうるであろう。図８ｃは、この方式を示している。更には、ＤＡＳＨおよびこれに類似したサービスは、通常、セグメントまたはサブセグメントごとに動作しており、この場合には、個々のピクチャではなく、ピクチャのシーケンスが要求され、受信されている。従って、異なる表現からの２つのＩピクチャの受信が実際的ではない場合がある。
【０３３７】
一般に、ビットストリームのＧＯＰパターンは、同一である必要はない。この結果、１つのビットストリームからの復号化されたピクチャが、他方のビットストリーム用の基準ピクチャとして使用されうるかどうかは、未知でありうる。従って、第２ビットストリームではなく、第１ビットストリームのリーディングピクチャを復号化することができる。図８ｄは、このような状況の一例を提供している。第２ビットストリームＢＳ２のＰピクチャに等価な第１ビットストリームＢＳ１内の基準ピクチャが存在していないことから、第２ビットストリームＢＳ２のリーディングピクチャＢ１は、復号化することができない。
【０３３８】
以下、図８ｅを参照し、一実施形態による例示用の復号化方式について説明する。この例においては、２つのビットストリームのＧＯＰ構造は、同一である。この復号化方式は、スイッチングポイントにおいて、イントラピクチャのうちの１つのイントラピクチャのみの復号化を必要としており、従って、これにより、恐らくは、休止を伴うことなしにリアルタイム動作を改善することができる。第２ビットストリームＢＳ２のリーディングピクチャは、完全には再構築されない場合があるが、画像品質の一時的な劣化は、通常、まったく知覚することができず、あるいは、うるさいとは見なされない。ＢＳ１のＩピクチャおよびリーディングピクチャは、送信される必要がなく、この結果、送信帯域幅が節約される。
【０３３９】
要すれば、第１ビットストリームＢＳ１のイントラピクチャおよびリーディングピクチャを受信および復号化する必要があるかどうか、あるいは、必要であるときに、第１ビットストリームＢＳ１の基準ピクチャを使用して第２ビットストリームＢＳ２のリーディングピクチャを復号化しうるかどうか、が、レシーバ内において容易に決定されない場合がある。更には、セグメントまたはサブセグメントごとのビットストリームスイッチングを実行し、１つまたは複数の特定のピクチャの個々の送信要求を回避することが好ましい。
【０３４０】
表現スイッチングにおけるオープンＧＯＰの使用の代替肢として、クローズドＧＯＰを使用することが可能であるが、この場合には、シームレスな再生は、実現されうるが、オープンＧＯＰの使用との比較において、劣った圧縮効率を有しうる。
【０３４１】
以下、安定したピクチャレートが表現スイッチングにおいても維持され、クローズドＧＯＰ予測構造が使用される際よりも良好な圧縮効率を取得するべく、オープンＧＯＰ予測構造が使用されるように、ＤＡＳＨまたは類似の適応型ストリーミングにおける表現スイッチングを可能にするいくつかの実施形態を提示する。
【０３４２】
以下においては、図９ａおよび図１０を参照し、一実施形態によるセグメントの符号化および準備について更に詳細に説明する。この実施形態は、冗長適応型分解能変更（ＲＡＲＣ：Ｒｅｄｕｎｄａｎｔ  Ａｄａｐｔｉｖｅ  Ｒｅｓｏｌｕｔｉｏｎ  Ｃｈａｎｇｅ）と呼ばれてもよい。エンコーダは、第１ビデオ提示および第２ビデオ提示あるいはこれらの１つまたは複数の部分を受信してもよく、あるいは、その他の方法でこれらを取得してもよい（図１０のブロック１００および１０２）。第１ビデオ提示および第２ビデオ提示は、ブロック１００および１０２において、圧縮されていないフォーマットにおいて受信されるかまたはその他の方法で取得されてもよいが、これは、必須ではない。いくつかのケースにおいては、単一のビデオ提示が取得されるかまたはその他の方法で受信されてもよく、単一のビデオ提示から、第１ビデオ提示および／または第２ビデオ提示が、リサンプリング、サンプル値スケーリング、および／またはその他の処理によって取得されてもよい。エンコーダは、第１ビットストリーム（表現＃１）９０１を符号化してもよく（ブロック１０４）、これは、この例においては、相対的に低分解能の表現である。エンコーダは、１つまたは複数のＩＤＲ／ＢＬＡピクチャ９０２、ＲＡＤＬピクチャなどのリーディングピクチャ９０４（存在する場合）、およびトレーリングピクチャ９０５を表現＃１のビットストリーム内に符号化してもよい。又、個別に、エンコーダは、第２ビットストリーム（表現＃２）９０２を符号化してもよく（ブロック１０６）、これは、この例においては、相対的に高分解能の表現である。エンコーダは、１つまたは複数のＣＲＡピクチャ９０６、ＲＡＳＬピクチャなどのリーディングピクチャ９０７（存在する場合）、およびトレーリングピクチャ９０８を表現＃２のビットストリーム内に符号化してもよい。エンコーダ、あるいは、ＭＰＤクリエータまたはファイルエンカプスレータなどの別のエンティティは、表現＃１を使用することにより、表現＃２の一部分を復号化するための情報を符号化してもよい（ブロック１０８）。
【０３４３】
冗長適応型分解能変更においては、低分解能ビットストリームは、例えば、単一層Ｈ．２６５／ＨＥＶＣビットストリームとして、従来方式によって符号化されてもよい一方で、高分解能ビットストリームは、さもなければ、従来の単一層ビットストリームであってもよいが、層識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素）は、１（あるいは、なんらかのその他の非ゼロの値）に等しく設定されてもよい。更には、復号化順序において関連するＣＲＡピクチャに先行する高分解能ＲＡＳＬピクチャのそれぞれの基準ピクチャごとに、更なるエンハンス層スキップ符号化ＩＲＡＰピクチャ（以下においては、スキップピクチャとも呼ばれる）が生成されてもよい。これは、セグメントまたはサブセグメントを開始しているＣＲＡピクチャについてのみ、実行されてもよい。スキップピクチャは、概念的に、低分解能ビットストリームの（１に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する）エンハンス層に属しており、これらは、低分解能表現のセグメント内においてカプセル化されてもよい。
【０３４４】
図９ｂおよび図１１のフロー図には、一実施形態によるアップスイッチングの際の冗長適応型分解能変更方法の動作が示されている。又、低分解能表現９０１を取得するときに（図１１のブロック１２０および１２２）、プレーヤは、それぞれのセグメントにおいてスキップピクチャ９１０を取得してもよい。プレーヤ、あるいは、ＭＰＤパーサーまたはファイルパーサーなどの別のエンティティは、第１符号化ビデオ提示を使用することにより、第２符号化ビデオ提示の一部分を復号化するための情報を復号化または解析してもよい（ブロック１２８）。この情報は、第２符号化ビデオ提示の一部分を復号化するときに予測のための基準として使用されうるスキップピクチャ９１０を第１符号化ビデオ提示が含んでいることを標示してもよい。これらのスキップピクチャ９１０は、高分解能表現９０２に対してスイッチングするときにのみ、利用されてもよい（ブロック１２４および１２６）。プレーヤは、アップスイッチングのときに、ＳＨＶＣ復号化プロセス（または、これに類似したもの）を利用しており、従って、スキップピクチャ９１０を復号化してもよい。次の受信セグメントは、高分解能表現９０２からのものである（ブロック１３０）。又、高分解能表現の第１ＣＲＡ９０６ピクチャのＲＡＳＬピクチャ９０７は、以前のセグメントのピクチャを基準として使用している。但し、デコーダは、この場合には、復号化されたスキップピクチャ９１０を代わりに使用してもよい。スキップピクチャは、復号化されるビットストリーム内に含まれることから、デコーダは、前記次の受信セグメントを復号化するときに、ＳＨＶＣ復号化プロセス（あるいは、これに類似したもの）を実行してもよく（ブロック１３０）、任意の非標準プロセスを使用することにより、アップサンプリングされた１つまたは複数の基準ピクチャを生成することは不要であってもよい。
【０３４５】
一実施形態によれば、異なる空間分解能、ビット深度、色域、および／またはクロマフォーマットの表現の間におけるスイッチングは、リサンプリングおよび／またはその他の処理を通じて可能にすることができる。
【０３４６】
オーバーラップしていない（サブ）セグメントシーケンスの特性は、個々の表現または適合セットの特性とは別個に、シグナリングされてもよい。冗長適応型分解能変更を利用する一実施形態においては、オーバーラップしていない（サブ）セグメントシーケンスは、適応型分解能変更機能のみを利用するように制約されたスケーラブルなビデオビットストリームであるものと標示されてもよい。この実施形態においては、従来のスケーラブルなビデオ復号化プロセスが使用されてもよく、従って、標準化された復号化プロセスの変更を伴うことなしに、オープンＧＯＰ予測構造を利用した異種表現間のスイッチングを可能にすることができる。
【０３４７】
ＨＥＶＣバージョン２の第Ｆ．８項（並びに、その下位条項）において規定されているＨＥＶＣマルチ層拡張用の共通復号化プロセスは、デコーダが使用する出力層セットのインデックスを規定するＴａｒｇｅｔＯｌｓＩｄｘと、復号化される最高位時間的サブ層を規定するＨｉｇｈｅｓｔＴｉｄと、という２つの変数を外部手段を通じて取得している。
【０３４８】
デコーダは、これらの変数を設定することなしには、動作不能でありうる。従って、以下、これらの変数を標示し、これらをプロファイル−ティア−レベルの三重項の組合せと関連付ける実施形態を提供する。
【０３４９】
その他の実施形態と共に、またはそれらとは独立的に、適用されうる一実施形態においては、ｃｏｄｅｃｓパラメータおよび／または任意のその他のＭＩＭＥタイプパラメータは、プロファイル−ティア−レベルの値の関連付けられたリストに適用される出力層セットおよび／または最高位サブ層のうちの少なくとも１つのものの情報を提供してもよい。例えば、以下のシンタックスおよびセマンティクスが、ｃｏｄｅｃｓパラメータ内に含まれるそれぞれのＬｉｓｔＩｔｅｍについて使用されてもよい（この場合に、ｃｏｄｅｃｓパラメータは、上述のように、ＬｉｓｔＩｔｅｍのカンマによって分離されたリストである）。
【０３５０】
それぞれのＬｉｓｔＩｔｅｍは、以下の構造を有してもよく、
ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅ１．ＰｒｏｆｉｌｅＴｉｅｒＬｅｖｅｌ１（．ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅＮ．ＰｒｏｆｉｌｅＴｉｅｒＬｅｖｅｌＮ）＊（＃ＯｕｔＯｐＰｏｉｎｔ）？
ここで、アスタリスク（＊）は、０以上の回数の反復を標示し、（「？」）は、ゼロまたは１回の回数の発生を示し、「．」は、セパレータ文字であり、「＃」は、カンマで分離されたプロファイル−ティア−レベルのサブストリングのリストから、出力動作ポイントサブストリングＯｕｔＯｐＰｏｉｎｔを分離するのに専用の別のセパレータ文字である。同様に、セパレータ文字「．」は、任意のその他のセパレータ文字であってもよく、あるいは、異なる場所または目的のための、いくつかの異なるセパレータ文字が使用されてもよいことを理解されたい。例えば、セパレータ文字「！」は、ＳａｍｐｌｅＥｎｔｒｙＴｙｐｅＮの前において、「．」の代わりに使用されてもよい。同じように、セパレータ文字「＃」も、同様に、任意のその他のセパレータ文字であってもよいことを理解されたい。
【０３５１】
ＬｉｓｔＩｔｅｍ用の上述のシンタックスは、セパレータ文字によって分離された１つまたは複数のプロファイル−ティア−レベルのストリングと、プロファイル−ティア−レベルのサブストリングから文字「＃」によって分離された、以下において規定されている、ゼロまたは１つの出力動作ポイントサブストリングと、を有するものと理解されてもよい。出力動作ポイントサブストリングは、存在する場合には、プロファイル−ティア−レベルのサブストリングに後続している。
【０３５２】
プロファイル−ティア−レベルのサブストリングは、上述のように規定されてもよい。更に一般的には、ｃｏｄｅｃｓパラメータは、次に記述されている出力動作ポイントサブストリングを除いて、上述のように規定されてもよい。
【０３５３】
出力動作ポイントサブストリングは、存在する場合には、ピリオド文字（「．」）によって分離された、以下のリスト内の値を有していてもよい。
【０３５４】
・１０進数として符号化された、それぞれの有効なビデオパラメータセット内において含まれた出力層セット用の出力層セットインデックス。標示された出力層セットの必要な層は、ＬｉｓｔＩｔｅｍ内において示されているプロファイル−ティア−レベルの情報に準拠している必要がある。この出力層セットインデックスは、ＨＥＶＣ復号化プロセスに入力として提供されるＴａｒｇｅｔＯｌｓＩｄｘ値として使用されてもよい。出力層セットインデックスは、ＨＥＶＣベース層を含んでいないＨＥＶＣビットストリームについて提供される必要がある。存在していないときには、出力層セットインデックスは、０に等しいものと推定されてもよい。
【０３５５】
・すべての必要な層に対して付与されるプロファイル−ティア−レベルの情報に対応する１０進数として符号化された最大ＴｅｍｐｏｒａｌＩｄ値。この最大ＴｅｍｐｏｒａｌＩｄ値は、ＨＥＶＣ復号化プロセスに対する入力として提供されるＨｉｇｈｅｓｔＴｉｄとして使用されてもよい。存在していないときには、最大ＴｅｍｐｏｒａｌＩｄ値は、６に等しいものと推定されてもよい。
【０３５６】
以下においては、コーデックの値のいくつかの例が提供されている（プロファイル−ティア−レベルのサブストリングの間のセパレータ文字「＃」を仮定している）。
【０３５７】
ｃｏｄｅｃｓ＝ｈｅｖ１．Ａ１．８０．Ｌ９３．Ｂ０！ｈｅｖ１．Ａ７．１．Ｌ１２０．Ｂ０＃２は、２層の漸進的な非パックストリームを標示してもよく、この場合に、ベース層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し、ベース層は、Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ３．１に準拠しており、エンハンス層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し（例えば、これは、ベース層をも含むトラック内において含まれていてもよい）、エンハンス層は、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠している。エンハンス層およびベース層を必要な層として含む出力層セットインデックスは、２である。
【０３５８】
ｃｏｄｅｃｓ＝ｌｈｖ１．Ａ７．１．Ｌ１２０．Ｂ０＃２，  ｈｅｖ１．Ａ１．８０．Ｌ９３．Ｂ０＃１は、２層の漸進的な非パックストリームを標示してもよく、この場合に、エンハンス層を含むトラックは、サンプルエントリタイプ「ｌｈｖ１」を使用し、エンハンス層は、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠し、ベース層を含むトラックは、サンプルエントリタイプ「ｈｅｖ１」を使用し、ベース層は、Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ３．１に準拠している。エンハンス層およびベース層を必要な層として含む出力層セットインデックスは、２であり、ベース層のみを含む出力層セットインデックスは、１である。
【０３５９】
ｃｏｄｅｃｓ＝ｌｈｖ１．Ａ７．１．Ｌ１２０．Ｂ０＃１，  ａｖｃ１．６４０８１Ｆ＃１は、エンハンス層を含むトラックは、サンプルエントリタイプ「ｌｈｖ１」を使用し、エンハンス層は、Ｓｃａｌａｂｌｅ  Ｍａｉｎ  Ｐｒｏｆｉｌｅ，  Ｍａｉｎ  Ｔｉｅｒ，  Ｌｅｖｅｌ  ４に準拠し、エンハンス層は、漸進的な非パックピクチャを含み、エンハンス層は、ＡＶＣ符号化されたベース層から予測すると標示してもよい。ＡＶＣ符号化されたベース層は、サンプルエントリタイプ「ａｖｃ１」を使用し、ベース層は、Ｐｒｏｇｒｅｓｓｉｖｅ  Ｈｉｇｈ  Ｐｒｏｆｉｌｅ，  Ｌｅｖｅｌ  ３．１に準拠している。エンハンス層およびベース層を必要な層として含む出力層セットインデックスは、１である。
【０３６０】
いくつかの実施形態においては、以前の実施形態または以前の実施形態に類似したものにおいて規定されているｃｏｄｅｃｓパラメータは、ＩＳＯＢＭＦＦ以外のその他のコンテナファイルタイプと共に使用されてもよい。例えば、いくつかの実施形態においては、以前の実施形態または以前の実施形態に類似したものにおいて規定されているｃｏｄｅｃｓパラメータは、ＨＴＴＰライブストリーミング（ＨＬＳ）のプレイリストファイルのＥＸＴ−Ｘ−ＳＴＲＥＡＭ−ＩＮＦタグのＣＯＤＥＣＳ属性と共に使用されてもよい。この結果、（層に対応する）プロファイル−ティア−レベルのリスト、復号化において使用される出力層インデックス、およびプレイリストファイル内において復号化のときに使用される最高位サブ層のうちの１つまたは複数のもののシグナリングが可能となりうる。別の例においては、ＥＸＴ−Ｘ−ＳＴＲＥＡＭ−ＩＮＦタグの新しい属性またはＨＴＴＰライブストリーミング（ＨＬＳ）のプレイリストファイルの別のタグは、（層に対応する）プロファイル−ティア−レベルのリスト、復号化内において使用さる出力層セットインデックス、およびプレイリストファイル内において復号化のときに使用される最高位サブ層のうちの１つまたは複数を搬送するように定義されてもよい。
【０３６１】
その他の実施形態と共に、またはそれらとは独立的に、適用されうる一実施形態においては、プロファイル−ティア−レベルの値の関連付けられたリストに適用される出力層セットおよび最高位サブ層のうちの少なくとも１つは、ＤＡＳＨのＭＰＤなどの、マニフェスト内において提供されてもよい。
【０３６２】
以下の理由に起因し、ＭＰＤからのこれら２つの変数の値を結論付けるための簡単な手段が必要とされうるものと考えられる。
【０３６３】
第１に、（特定の１つまたは複数の層に対応する）選択された表現を復号化するべく必要とされる表現（並びに、従って、層）を結論付けるための＠ｄｅｐｅｎｄｅｎｃｙＩｄの使用が可能となろう。その後に、この層のリストは、１つまたは複数の有効なビデオパラメータセット内において層セットを識別するべく、使用されうるであろう。これは、プレーヤ内におけるビデオパラメータセットの解析を必要としうるのみならず、層の同一の組が複数の出力層と関連付けられる場合があり、従って、すべての状況において、ターゲット出力層セットとして選択されるべき出力層を結論付けることが不可能でありうる。
【０３６４】
第２に、ＭＰＤは、最高位時間的サブ層を表現に関連付けることを可能にする情報を含んではいない。
【０３６５】
一実施形態においては、プロファイル−ティア−レベルの値の関連付けられたリストに適用される出力層セットおよび最高位サブ層のうちの少なくとも１つは、パラメータを含むＭＩＭＥタイプ内において標示されてもよく、ＭＩＭＥタイプは、ＤＡＳＨのＭＰＤなどのマニフェスト内において提供される。例えば、ＤＡＳＨ  ＭＰＤの＠ｍｉｍｅＴｙｐｅ属性は、出力層セットおよび最高位サブ層のうちの少なくとも１つのものの標示を含んでいてもよい。
【０３６６】
一実施形態においては、プロファイル−ティア−レベルの値の関連付けられたリストに適用される出力層セットおよび最高位サブ層のうちの少なくとも１つは、ｃｏｄｅｃｓパラメータおよび／または任意のその他のＭＩＭＥパラメータ内において標示されてもよく、ｃｏｄｅｃｓパラメータおよび／または任意のその他のＭＩＭＥパラメータは、ＤＡＳＨのＭＰＤなどのマニフェストにおいて提供される。例えば、ＤＡＳＨのＭＰＤの＠ｃｏｄｅｃｓ属性は、出力層セットおよび最高位サブ層のうちの少なくとも１つのものの標示を含んでいてもよい。
【０３６７】
一実施形態においては、プロファイル−ティア−レベルの値の関連付けられたリストに適用される出力層セットおよび最高位サブセットのうちの少なくとも１つは、特定の属性内において、あるいは、ＤＡＳＨのＭＰＤなどのマニフェスト内において、標示されてもよい。
【０３６８】
一実施形態においては、プロファイル−ティア−レベルの値の関連付けられたリストに適用される出力層セットおよび最高位サブ層のうちの少なくとも１つは、必須記述子内において、あるいは、ＤＡＳＨのＭＰＤなどのマニフェスト内において、標示されてもよい。ＴａｒｇｅｔＯｌｓＩｄｘおよびＨｉｇｈｅｓｔＴｉｄは、ＨＥＶＣに固有のものであることから、これらは、一般的な属性ではなく、（ＤＡＳＨのＭＰＤについて定義されている）記述子によって標示されてもよい。更には、ＴａｒｇｅｔＯｌｓＩｄｘおよびＨｉｇｈｅｓｔＴｉｄは、正しいマルチ層ＨＥＶＣ復号化のために必要とされうることから、これらには、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子が提供されてもよい。
【０３６９】
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子を含む、ＡｄａｐｔａｔｉｏｎＳｅｔ、表現、またはサブ表現と関連付けられた、１つまたは複数のターゲット出力層セット並びに１つまたは複数の最高位時間的サブ層を提供してもよい。
【０３７０】
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子の＠ｖａｌｕｅパラメータは、以下のシンタックスおよびセマンティクスを有していてもよい。
<!-- HevcDescriptor -->
<xs:complexType name="HevcDescriptorType">
<xs:sequence>
<xs:element name="OutputOp" type="OutputOpType" maxOccurs="unbounded"/>
<xs:any namespace="##other" processContents="lax" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:anyAttribute namespace="##other" processContents="lax"/>
</xs:complexType>
<!--出力動作ポイント-->
<xs:complexType name="OutputOpType">
<xs:sequence>
<xs:any namespace="##other" processContents="lax" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="targetOlsIdx" type="xs:unsignedInt" use="required"/>
<xs:attribute name="highestTid" type="xs:unsignedInt" use="required"/>
<xs:attribute name="outputOpCodecs" type="xs:unsignedInt"/>
<xs:attribute name="outputReps" type="xs:string"/>
<xs:anyAttribute namespace="##other" processContents="lax"/>
</xs:complexType>
【０３７１】
以下においては、一実施形態に従って、上述のシンタックスの要素および属性名について更に詳細に説明する。
【０３７２】
ＯｕｔｐｕｔＯｐは、値１〜Ｎを有していてもよく、これは、このＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子を含む表現またはサブ表現を含む出力動作ポイントを規定している。以下のセマンティクスにおいては、含む表現またはサブ表現は、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子を含む表現またはサブ表現要素に対応した表現またはサブ表現を意味している。このＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ記述子がＡｄａｐｔａｔｉｏｎＳｅｔ内において含まれるときには、含む表現は、ＡｄａｐｔａｔｉｏｎＳｅｔ内の任意の単一の表現を意味している。
【０３７３】
必須でありうる＠ｔａｒｇｅｔＯｌｓＩｄｘは、出力動作ポイントと関連付けられた出力層セットのインデックスを規定している。
【０３７４】
必須でありうる＠ｈｉｇｈｅｓｔＴｉｄは、出力動作ポイントと関連付けられた最高位サブ層のＴｅｍｐｏｒａｌＩｄ値を規定している。
【０３７５】
任意選択的にありうる＠ｏｕｔｐｕｔＯｐＣｏｄｅｃｓは、出力動作ポイント用のｃｏｄｅｃｓパラメータを規定している。この属性のコンテンツは、囲みＤＱＵＯＴＥ文字を伴うことなしに、ＲＦＣ６３８１の第３．２節のｓｉｍｐ−ｌｉｓｔまたはｆａｎｃｙ−ｌｉｓｔ生成に準拠することを要する。この属性のコンテンツとして使用されるｓｉｍｐ−ｌｉｓｔまたはｆａｎｃｙ−ｌｉｓｔは、以下の段落において規定されているように制約された１つのリスト要素から構成されることを要する。
【０３７６】
ｃｏｄｅｃｓパラメータの値を開始するコーデック識別子は、含む表現またはサブ表現に適用されるものと同一であることを要する。
【０３７７】
リスト要素は、出力動作ポイントにおけるそれぞれの必要な層ごとに、プロファイル−ティア−レベルのサブストリングを含むことを要する。
【０３７８】
それぞれのプロファイル−ティア−レベルのサブストリングは、プロファイルおよびレベル情報を含むことを要する。
【０３７９】
任意選択的にありうる＠ｏｕｔｐｕｔＲｅｐｓは、その層が出力動作ポイントにおける出力層である表現の＠ｉｄ値の空白によって分離されたリストを規定している。この属性が存在していないときには、出力動作ポイントの出力層は、含む表現またはサブ表現内において存在しているものである。この属性が存在しているときには、出力動作ポイントの出力層は、含む表現またはサブ表現内に存在しているものと、リスト＠ｏｕｔｐｕｔＲｅｐｓ内の任意の要素に等しい＠ｉｄを有する表現内に存在しているものと、である。
【０３８０】
以下においては、一例が提供される。
<?xml version="1.0" encoding="UTF-8"?>
<MPD 
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns="urn:mpeg:dash:schema:mpd:2011"
xsi:schemaLocation="urn:mpeg:dash:schema:mpd:2011 DASH-MPD.xsd"
type="static" 
mediaPresentationDuration="PT30S" 
minBufferTime="PT10.00S"
profiles="urn:mpeg:dash:profile:isoff-main:2011">
<BaseURL>http://www.example.com/</BaseURL>
<!--この期間においては、３つの整列したカメラから到来する３つのビューＣ１−Ｃ２−Ｃ３が存在している。Ｃ１＋Ｃ２およびＣ２＋Ｃ３は、それぞれ、立体ペアを形成しているが、Ｃ１＋Ｃ３は、そうではない。Ｃ２は、ＭＶ−ＨＥＶＣ用のベースビューとして取得され、Ｃ１およびＣ３は、エンハンスビューである-->
<Period start="PT0.00S" duration="PT30.00S">
<SegmentList>
<Initialization sourceURL="seg-m-init.mp4"/>    
</SegmentList>
<AdaptationSet mimeType="video/mp4" codecs="hev1.A1.80.L93.B0">
<Role schemeIdUri="urn:mpeg:dash:stereoid:2011" value="l1 r0"/>
<Representation id="C2" bandwidth="2000000">
<SegmentList duration="10">
<SegmentURL media="seg-m1-C2view-1.mp4"/>
<SegmentURL media="seg-m1-C2view-2.mp4"/>
<SegmentURL media="seg-m1-C2view-3.mp4"/>
</SegmentList>
</Representation>
</AdaptationSet>
<!--以下の適合セットは、以前の適合セット内の表現と機能的に同一である表現を含む。従って、これらは、いずれも、同一のＲｅｐｒｅｓｅｎｔａｔｉｏｎ＠ｉｄを有する。これは、役割記述子のｓｃｈｅｍｅＩｄＵＲＩを理解せず、適合セットを無視しうる、２Ｄレシーバとの間における互換性のために実行される-->
<AdaptationSet mimeType="video/mp4" codecs="hev1.A1.80.L93.B0">
<Representation id="C2" bandwidth="2000000">
<SegmentList duration="10">
<SegmentURL media="seg-m1-C2view-1.mp4"/>
<SegmentURL media="seg-m1-C2view-2.mp4"/>
<SegmentURL media="seg-m1-C2view-3.mp4"/>
</SegmentList>
</Representation>
</AdaptationSet>
<!--以下の適合セットは、ビューＣ１を含む。ビューＣ１およびＣ２は、インデックス１を有する出力層セットを形成する-->
<AdaptationSet mimeType="video/mp4" codecs="lhv1.A6.2.L93.B0">
<Role schemeIdUri="urn:mpeg:dash:stereoid:2011" value="l0"/>
<EssentialDescriptor schemeIdUri="urn:mpeg:dash:hevc:2015" value="
<OutputOp targetOlsIdx=\"1\" highestTid=\"6\" outputReps=\"C2\"/>
"/>
<Representation id="C1" dependencyId="C2" bandwidth="1000000">
<SegmentList duration="10">
<SegmentURL media="seg-m1-C1view-1.mp4"/>
<SegmentURL media="seg-m1-C1view-2.mp4"/>
<SegmentURL media="seg-m1-C1view-3.mp4"/>
</SegmentList>
</Representation>
</AdaptationSet>
<!--以下の適合セットは、ビューＣ３を含む。ビューＣ３およびＣ２は、インデックス２を有する出力層セットを形成する-->
<AdaptationSet mimeType="video/mp4" codecs="lhv1.A6.2.L93.B0">
<Role schemeIdUri="urn:mpeg:dash:stereoid:2011" value="r1"/>
<EssentialDescriptor schemeIdUri="urn:mpeg:dash:hevc:2015" value="
<OutputOp targetOlsIdx=\"2\" highestTid=\"6\" outputReps=\"C2\"/>
"/>
<Representation id="C3" dependencyId="C2" bandwidth="1000000">
<SegmentList duration="10">
<SegmentURL media="seg-m1-C3view-1.mp4"/>
<SegmentURL media="seg-m1-C3view-2.mp4"/>
<SegmentURL media="seg-m1-C3view-3.mp4"/>
</SegmentList>
</Representation>
</AdaptationSet>
</Period>
</MPD>
【０３８１】
その他の実施形態と共に、またはそれらとは独立的に、適用されうる一実施形態においては、適用される／またはオーバーラップしていない連続的セグメント（あるいは、個々に、サブセグメント）のシーケンスの復号化に必要とされる特性は、ＭＰＤ（あるいは、任意のその他のマニフェスト）内に符号化され、／または、ＭＰＤ（あるいは、任意のその他のマニフェスト）から、解析される。セグメント（あるいは、個々にサブセグメント）が由来しうる表現は、ＭＰＤ内において標示されてもよく、あるいは、ＭＰＤから解析されてもよい。特性は、限定を伴うことなしに、以下のうちの１つまたは複数を含んでいてもよい。
−シーケンスが準拠しているコーデックまたは符号化フォーマット
−シーケンスが準拠しているプロファイル−ティア−レベルの値またはこれに類似したもののリスト
−シーケンスを復号化するときにターゲット出力層セットインデックスとして使用されうる出力層セット（例えば、ＨＥＶＣのＴａｒｇｅｔＯｌｓＩｄｘ）
−シーケンスを復号化するときに使用されうる最大ＴｅｍｐｏｒａｌＩｄ（あるいは、これに類似したもの、例えば、ＨＥＶＣのＨｉｇｈｅｓｔＴｉｄ）
−例えば、ＨＥＶＣのｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇ、またはＨＥＶＣのｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐ＿ｆｌａｇおよびｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇの両方、あるいは、これに類似した情報などの、適応型分解能変更に関係した情報
−シーケンス内において含まれる層識別子値（あるいは、これに類似したもの、例えば、ＨＥＶＣのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値）
−シーケンス内において含まれる必要な層の層識別子値（あるいは、これに類似したもの）
−シーケンス内に含まれる出力層の層識別子値（あるいは、これに類似したもの）
−例えば、シーケンスによって表されている出力層セット用のＨＥＶＣのａｌｔ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇの値などの、代替出力層に関する情報
−シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセット
−シーケンスを復号化するときに活性化されうるシーケンスパラメータセットおよび／またはピクチャパラメータセットなどの１つまたは複数のその他のパラメータセット
−シーケンス内に含まれる層のスケーラビリティ識別子値（あるいは、これに類似したもの、例えば、ＨＥＶＣにおいては、０〜１５の範囲のｉにおけるＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］）
−例えば、非黙示的リサンプリングが示唆される、並びに、黙示的リサンプリングが必要とされうる、のうちの１つについて標示する能力を有する、黙示的基準ピクチャリサンプリングと関係する情報。これに加えて、またはこの代わりに、特性は、表現をスイッチングするときにリサンプリングされる必要がありうるピクチャの数の限度を有していてもよい。黙示的基準ピクチャリサンプリングに関係した情報は、アップスイッチングおよびダウンスイッチングのために、／または、スイッチングがその間において発生する表現のそれぞれのペアまたは表現のグループについて、別個に付与されてもよい。
【０３８２】
上述の特性は、以前に提示されたプロファイル−ティア−レベルの組合せおよび出力動作ポイントのシグナリングの任意の選択肢、組合せ、またはサブセットと同様に、あるいは、これと同一の方式により、標示されてもよい。例えば、上述の特性は、そのパラメータを含むＭＩＭＥパラメータ値およびＭＩＭＥタイプとして含まれていてもよく、ＭＰＤ内のオーバーラップしていない連続的セグメント（あるいは、個々に、サブセグメント）のシーケンスについて提供されてもよく、あるいは、ＭＰＤからのオーバーラップしていない連続的セグメント（あるいは、個々に、サブセグメント）のシーケンスについて解析されてもよい。
【０３８３】
一実施形態においては、上述の特性は、ＭＰＤ（あるいは、任意のその他のマニフェスト）内の補完構造内に符号化されている。但し、この補完構造は、クライアントまたはこれに類似したものによって処理されうるようなものであるが、これは必須ではない。一実施形態においては、上述の特性は、ＭＰＤ（あるいは、任意のその他のマニフェスト）の補完構造から解析されている。
【０３８４】
一実施形態においては、上述の特性は、以下の情報のうちの１つまたは複数により、伴われており、これらの情報は、ＭＰＤ（あるいは、任意のその他のマニフェスト）内に符号化されてもよく、／または、ＭＰＤ（あるいは、任意のその他のマニフェスト）から解析されてもよい。
−上述の特性が、オーバーラップしていない連続的セグメントのシーケンスに適用される、上述の特性が、オーバーラップしていない連続的サブセグメントのシーケンスに適用される、のうちの１つまたは複数のものを示す情報
−上述の特性が適用される表現の、識別子値などの、識別情報。これらの識別された表現は、スイッチングセットと呼ばれてもよい。
【０３８５】
一実施形態においては、上述の特性が適用される表現は、推定されている。例えば、特性が、適合セットの１つの表現について標示されたときに、それらの特性は、同一の適合セットのすべての表現に対して適用されるものとして推定されてもよい。上述の特性が適用される表現は、スイッチングセットと呼ばれてもよい。
【０３８６】
一実施形態においては、上述の特性は、スイッチングセット内の任意の表現に由来しうるオーバーラップしていないセグメントまたはサブセグメントのシーケンスに適用されている。別の実施形態においては、上述の特性は、スイッチングセット内の表現に由来するオーバーラップしていないセグメントまたはサブセグメントのシーケンスに適用されており、この場合に、制約は、シーケンス内の連続的セグメントまたはサブセグメントが由来しうる表現に対して課されてもよい。例えば、連続的セグメントまたはサブセグメントが、同一または連続的な表現に由来することが必要とされてもよく、この場合に、表現は、例えば、識別子値またはビットレートに基づいて順序付けされてもよい。
【０３８７】
一実施形態においては、上述の特性を含む補完的なプロパティ記述子が、ＭＰＤ（あるいは、任意のその他のマニフェスト）内に符号化され、／または、ＭＰＤ（あるいは、任意のその他のマニフェスト）から、解析されている。
【０３８８】
又、一実施形態においては、上述の特性を含む補完的プロパティ記述子は、以下のもののうちの１つまたは複数を含んでいる。
−上述の特性は、オーバーラップしていない連続的セグメントのシーケンスに適用される、上述の特性は、オーバーラップしていない連続的サブセグメントのシーケンスに適用される、のうちの１つまたは複数を標示する情報
−上述の特性が適用される表現の、識別子値などの、識別情報。これらの識別された表現は、スイッチングセットと呼ばれてもよい。
【０３８９】
一実施形態においては、補完的プロパティ記述子は、以下のように、あるいは、類似の方式により、規定されている。
【０３９０】
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｅｇｓｅｑ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩ（あるいは、セグメントに適用されるときに、記述されている実施形態を標示するための任意のその他の選択されたＵＲＮ）を有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子は、複数の識別された表現の連続的なセグメントのシーケンスの特性を提供してもよい。「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｅｇｓｅｑ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩ（あるいは、サブセグメントに適用されるときに、記述された実施形態を標示するための任意のその他の選択されたＵＲＮ）を有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子は、複数の識別された表現の連続的なサブセグメントのシーケンスの特性を提供してもよい。これらの記述子タイプは、いずれも、例えば、以下のように、規定された同一のシンタックスおよびセマンティクスを有していてもよい。
【０３９１】
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｅｇｓｅｑ：２０１５」または「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｕｂｓｅｇｓｅｑ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ記述子の＠ｖａｌｕｅは、（以下において列挙されている順序における）以下の値のカンマによって分離されたリストである。
−それからのセグメントまたはサブセグメントが、それぞれ、連続的なセグメントまたはサブセグメントのシーケンス内において含まれうる、表現の＠ｉｄ値の空白によって分離されたリスト
−セグメントまたはサブセグメントのシーケンスに適用される、プロファイル−ティア−レベルの組合せまたはこれに類似したものを標示するｃｏｄｅｃｓパラメータおよび／または任意のその他のＭＩＭＥメディアパラメータ。例えば、以前に規定されたｃｏｄｅｃｓパラメータは、セグメントまたはサブセグメントのシーケンスに適用される１つのＬｉｓｔＩｔｅｍを含んでいてもよい。これらのｃｏｄｅｃｓパラメータは、ＨＥＶＣファミリーからのコーデックについて標示することが必要とされうる。
−（以下において規定されているように）セグメントのシーケンスＳｅｇＳｅｑについて、またはサブセグメントのシーケンスＳｅｑＳｕｂＳｅｑついて、有効であるＨＥＶＣのｓｉｎｇｌｅ＿ｌａｙｅｒ＿ｆｏｒ＿ｎｏｎ＿ｉｒａｐおよびｈｉｇｈｅｒ＿ｌａｙｅｒ＿ｉｒａｐ＿ｓｋｉｐ＿ｆｌａｇシンタックス要素の２桁のバイナリマスクストリング。許容されているバイナリマスク値は、「００」、「１０」、および「１１」である。
【０３９２】
ｃｏｄｅｃｓパラメータおよび２桁のバイナリマスクストリングに加えて、またはこの代わりに、同一または類似のプロパティを標示するその他のパラメータが、＠ｖａｌｕｅ属性のシンタックスに含まれうることを理解する必要がある。例えば、＠ｖａｌｕｅ属性は、連続的セグメントまたはサブセグメントのシーケンスに対して適用される、そのＭＩＭＥパラメータを含む、ＭＩＭＥタイプを含んでいてもよい。
【０３９３】
Ｒ１が、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｅｇｓｅｑ：２０１５」または「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｕｂｓｅｇｓｅｑ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙを含む表現であるとし、Ｒ２、Ｒ３、．．．、ＲＮが、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙの＠ｖａｌｕｅにおいて付与されているその＠ｉｄ値によって識別される表現であるとしよう。表現Ｒ１、Ｒ２、．．．、ＲＮは、同一の適合セット内において含まれることが必要とされてもよく、同一の数Ｍのメディアセグメントを有することが必要とされてもよい。
【０３９４】
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｅｇｓｅｑ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙが存在しているときには、以下が適用されてもよい。
−ｊ＞０の場合には、Ｓi,jが、ｉ番目の表現（即ち、Ｒｉ）内のｊ番目のメディアセグメントであり、
−存在している場合に、Ｓi,0が、ｉ番目の表現内の初期化セグメントであり、
−存在している場合に、Ｂiが、ｉ番目の表現内のビットストリームスイッチングセグメントである、
とする。
【０３９５】
Ｓi,jは、ｉがｍに等しくなく、ｊがｎに等しくないような、両端を含む１〜Ｎの範囲内のｉおよびｍ、並びに、両端を含む１〜Ｍの範囲内のｊおよびｎ、の任意の値について、Ｓm,nとオーバーラップしていないことが必要とされてもよい。
【０３９６】
ＳｅｇＳｅｑが、以下のセグメントのシーケンスであるとする。
−存在しているときに、初期化セグメントＳ1,0
−ビットストリームスイッチングセグメントが存在している場合には、
Ｂi(1)、Ｓi(1),1、Ｂi(2)、Ｓi(2),2、．．．、Ｂi(k)、Ｓi(k),k、．．．、Ｂi(M)、Ｓi(M),M
であり、さもなければ、
Ｓi(1),1、Ｓi(2),2、．．．、Ｓi(k),k、．．．、Ｓi(M),M
であり、ここで、それぞれ、１〜Ｍの範囲内のすべてのｋ値における任意のｉ（ｋ）は、１〜Ｎの範囲内の整数値である。
【０３９７】
すべてのＳｅｑＳｅｑは、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙの＠ｖａｌｕｅ内において提供されたｃｏｄｅｃｓパラメータ内において規定されているメディアフォーマットを有する「適合したセグメントシーケンス」を結果的にもたらしうる。
【０３９８】
すべてのＳｅｇＳｅｑは、連続的なプレイアウトを提供してもよく、受け入れ可能な品質を有しうる。
【０３９９】
「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｈｅｖｃ：ｓｕｂｓｅｇｓｅｑ：２０１５」に等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙが存在しているときには、以下が適用されてもよい。
−ｊ＞０におけるＳi,jが、ｉ番目の表現（即ち、Ｒi）内のｊ番目のメディアセグメントのｋ番目のサブセグメントであり、
−Ｌi,jが、ｉ番目の表現内のｊ番目のメディアセグメント内におけるサブセグメントの数に等しく、
−存在している場合に、Ｓi,0が、ｉ番目の表現内の初期化セグメントであり、
−存在している場合に、Ｂiが、ｉ番目の表現内のビットストリームスイッチングセグメントである、
とする。
【０４００】
Ｌi,jは、ｈがｉに等しくないような、両端を含む１〜Ｎの範囲内のｈおよびｉの任意の値について、Ｌh,jに等しいことが必要とされてもよい。Ｌjが、両端を含む１〜Ｎの範囲内のｉの任意の値について、Ｌi,jに等しいとする。Ｌが、両端を含む１〜Ｍの範囲内のｊのすべての値について、Ｌjの合計に等しいとする。
【０４０１】
Ｓi,j,kは、ｉが、ｍに等しくなく、ｊが、ｎに等しくなく、ｋがоに等しくないような、両端を含む１〜Ｎの範囲内のｉおよびｍ、並びに、両端を含む１〜Ｍの範囲内のｊおよびｎ、並びに、両端を含む１〜セグメント内のサブセグメントの数の範囲内のｋおよびо、の任意の値について、Ｓm,n,oとオーバーラップしていないことが必要とされてもよい。
【０４０２】
ＳｕｂＳｅｇＳｅｑが、以下のセグメントおよびサブセグメントのシーケンスであるとする。
−存在しているときには、初期化セグメントＳ1,0
−ビットストリームスイッチングセグメントが存在している場合には、
Ｂi(1)、Ｓi(1),1,1、Ｂi(2)、Ｓi(2),1,2、．．．、Ｂi(L1)、Ｓi(L1),1,L1、Ｂi(L1+1)、Ｓi(L1+1),2,1、Ｂi(L1+2)、Ｓi(L1+2),2,2、．．．、Ｂi(a)、Ｓi(a),j,k、．．．、Ｂi(L)、Ｓi(L),M, LM
であるか、さもなければ、
Ｓi(1),1,1，  Ｓi(2),1,2，  …，  Ｓi(L1),1,L1，  Ｓi(L1+1),2,1，  Ｓi(L1+2),2,2，  ．．．，  Ｓi(a),j,k，  ．．．，  Ｓi(L),M, LM，
であり、この場合に、それぞれ、１〜Ｌの範囲内のすべてのａ値における任意のｉ（ａ）は、１〜Ｎの範囲内の整数値である。
【０４０３】
任意のＳｕｂＳｅｑＳｅｑは、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙの＠ｖａｌｕｅ内において提供されたｃｏｄｅｃｓパラメータ内において規定されているメディアフォーマットを有する「適合したセグメントシーケンス」を結果的にもたらしうる。
【０４０４】
任意のＳｕｂＳｅｇＳｅｑは、連続的なプレイアウトを提供してもよく、受け入れ可能な品質を有しうる。
【０４０５】
以下においては、一例が提供されている。
<?xml version="1.0" encoding="UTF-8"?> 
<MPD 
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
xmlns="urn:mpeg:dash:schema:mpd:2011" 
xsi:schemaLocation="urn:mpeg:dash:schema:mpd:2011 DASH-MPD.xsd"
type="static" 
mediaPresentationDuration="PT3256S" 
minBufferTime="PT1.2S" 
profiles="urn:mpeg:dash:profile:isoff-main:2011"> 
<BaseURL>http://cdn1.example.com/</BaseURL> 
<BaseURL>http://cdn2.example.com/</BaseURL> 
<Period> 
<AdaptationSet 
segmentAlignment="true"
frameRate="30"> 
<!-- 720p表現-->
<Representation 
mimeType="video/mp4"  
<!-- HEVC Main profile, Main tier, Level 3.1, 漸進的な非パックコンテンツ-->
codecs="hev1.A1.80.L93.B0"
id="v720p" 
startWithSAP="2"
width="1280" 
height="720" 
bandwidth="1500000"> 
<BaseURL>video-720p.mp4</BaseURL> 
<SegmentBase indexRange="0-4332"/>
<!--７２０ｐおよび１０８０ｐ表現のセグメントが連結されたときには、結果的に得られるセグメントシーケンスは、２層ビットストリームに準拠し、この場合に、ベース層は、HEVC Main profile, Main tier, Level 3.1であり、エンハンス層は、HEVC Scalable Main Profile, Main tier, Level 4である。更には、結果的に得られるセグメントシーケンスは、single_layer_for_non_irap_flagが１に等しく、higher_layer_irap_skip_flagが１に等しくなるように、制約されている-->
<SupplementalDescriptor schemeIdUri="urn:mpeg:dash:hevc:seqseq:2015" 
value="v1080p,hev1.A1.80.L93.B0!lhe1.A7.1.L120.B0,11"/>
</Representation> 
<!--1080p表現-->
<Representation 
mimeType="video/mp4" 
<!-- HEVC Main profile, Main tier, Level 4,漸進的な非パックコンテンツであり、general_inbld_flagは、表現のＶＣＬ  ＮＡＬユニットがベース層内に存在していないことを標示するべく、１に等しい-->
codecs="hev1.A1.80.L120.B0.0.0.0.0.1" 
id="v1080p" 
startWithSAP="3"
width="1920" 
height="1080" 
bandwidth="3000000"> 
<BaseURL>video-1080p.mp4</BaseURL> 
<SegmentBase indexRange="0-3752"/>
</Representation> 
</AdaptationSet> 
</Period> 
</MPD>
【０４０６】
その他の実施形態と共に、またはそれらとは独立的に、適用されうる一実施形態においては、例えば、図９ａおよび図９ｂによって示されているものなどの、ＲＡＲＣによるビットストリームまたは表現は、以下のように、ファイルフォーマットおよび／またはトランスポートフォーマット内においてカプセル化されている。低分解能表現は、それぞれ、高分解能表現が含まれるものとは異なるファイルまたはセグメント内において含まれる。低分解能表現のスキップピクチャのトラックは、高分解能表現を含んでいるトラックと同一のトラック識別子値（例えば、ｔｒａｃｋ＿ｉｄ）を有する。スキップピクチャを含んでいるトラックのサンプルエントリは、例えば、サンプルエントリタイプ「ｌｈｖ１」または「ｌｈｅ１」を使用するなどのように、層化された符号化を標示してもよく、／または、ＨＥＶＣのＳｃａｔａｂｌｅ  Ｍａｉｎプロファイルなどの、マルチ層プロファイルの復号化を必要とするものと標示されてもよい。低分解能表現のベース層を含むトラックおよび高分解能表現を含むトラックは、例えば、サンプルエントリタイプ「ｈｖｃ１」または「ｈｅｖ１」を使用するなどのように、単一層符号化を標示してもよく、／または、ＨＥＶＣのＭａｉｎプロファイルなどの、単一層プロファイルの復号化を必要とするものと標示されてもよく、／または、ＩＮＢＬＤ能力を必要とするものと標示されてもよい。
【０４０７】
その他の実施形態と共に、またはそれらとは独立的に、適用されうる一実施形態においては、ストリーミングクライアントまたはプレーヤは、以前の段落において記述されているようにカプセル化されたＲＡＲＣによる表現を受信したときに、以下のように動作してもよい。プレーヤは、高分解能表現を受信するべくスイッチングしたときに、低分解能表現の初期化セグメントの使用を継続してもよい。その結果、高分解能表現を含むトラックのサンプルエントリは、例えば、サンプルエントリタイプ「ｌｈｖ１」または「ｌｈｅ１」などの、層化された符号化を標示してもよく、／または、マルチ層プロファイルを標示してもよい。従って、プレーヤは、低分解能表現および高分解能表現の受信されたトラックの組合せが、スケーラブルなビデオビットストリームを表しており、マルチ層プロファイルの復号化能力を必要としうると結論付けてもよい。
【０４０８】
その他の実施形態と共に、またはそれらとは独立的に、適用されうる一実施形態においては、冗長スキップピクチャは、以下のように利用されてもよい。この実施形態は、依存した表現へのスイッチングのための冗長適応型分解能変更（ＲＡＲＣ−Ｄ）と呼ばれてもよい。低分解能表現は、例えば、単一層Ｈ．２６５／ＨＥＶＣビットストリームとして、従来方式によって符号化されてもよく、高分解能表現は、予測された層として、即ち、依存的表現として、符号化されてもよく、この場合に、少なくともいくつかのピクチャは、低分解能表現の１つまたは複数のピクチャから層間予測されてもよい。更には、復号化順序において関連付けられたＣＲＡピクチャに先行する高分解能ＲＡＳＬピクチャのそれぞれの基準ピクチャについて、更なるエンハンス層スキップピクチャが生成されてもよい。これは、セグメントまたはサブセグメントを開始しているＣＲＡピクチャについてのみ、実行されてもよい。スキップピクチャは、概念的に、低分解能表現の（例えば、１に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する）エンハンス層に属しており、低分解能表現のセグメント内においてカプセル化されてもよい。
【０４０９】
その他の実施形態と共に、またはそれらとは独立的に、適用されうる一実施形態においては、ストリーミングクライアントまたはプレーヤは、ＲＡＲＣ−Ｄによる表現を受信したときに、以下のように動作してもよい。プレーヤは、第１に、低分解能表現の１つまたは複数のセグメントを受信する。次いで、プレーヤは、更に高い分解能にスイッチングするように決定し、低分解能および高分解能表現の両方の対応する１つまたは複数のセグメントを要求する。スイッチングアップしたときに、プレーヤは、低分解能表現のみが受信されている最後のセグメントの１つまたは複数のスキップピクチャを復号化してもよい。これらの１つまたは複数のスキップピクチャは、高分解能表現の第１受信セグメントの初期ＣＲＡピクチャのＲＡＳＬピクチャを復号化するときに、基準として使用されてもよい。スイッチングアップするための決定は、例えば、レート適合または高速スタートアップの結果として得られてもよい。
【０４１０】
図９ｃは、一実施形態によるセグメントの符号化および準備を示している。この実施形態は、黙示的基準ピクチャリサンプリング（ＩＲＰＲ：Ｉｍｐｌｉｃｉｔ  Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｒｅｓａｍｐｌｉｎｇ）と呼ばれてもよい。
【０４１１】
低分解能表現９０９および高分解能表現９１１は、いずれも、通常の単一層Ｈ．２６５／ＨＥＶＣビットストリームとして符号化されてもよい。低分解の表現９０９は、クローズドＧＯＰを使用して符号化されてもよく、高分解能表現９１１は、オープンＧＯＰを使用する。
【０４１２】
図９ｄには、アップスイッチングの際のＩＲＰＲ方法の動作が示されている。プレーヤは、表現１（この例においては、低分解能表現９０９）から表現２（この例においては、高分解能表現９１１）へスイッチングするように決定する。その結果、プレーヤは、表現１ではなく、表現２からの次のセグメント（ピクチャ１以降）を要求し、受信してもよい。表示されるピクチャレートにおける障害を回避するべく、プレーヤは、ＲＡＳＬピクチャ２．．８の復号化を所望しうる。問題は、ＲＡＳＬピクチャの基準ピクチャのうちの１つ（あるいは、これ以上）が、受信されておらず、従って、標準的なＨ．２６５／ＨＥＶＣデコーダが、これらのＲＡＳＬピクチャを正常に復号化することができないという点にある。ＩＲＰＲにおいては、プレーヤは、ＲＡＳＬピクチャの１つまたは複数の基準ピクチャに対応した表現１のピクチャをアップサンプリングし、１つまたは複数のアップサンプリングされたピクチャをＲＡＳＬピクチャの予測用の基準として使用している。この例においては、表現２のピクチャ２．．．８は、（図９ｄにおいて９１２とラベル付与されている）表現１のアップサンプリングされたピクチャ０を（直接または間接）基準ピクチャとして使用している。ＩＲＰＲ方法の一部分として実行されるアップサンプリングは、Ｈ．２６５／ＨＥＶＣの復号化プロセスを変化させる。
【０４１３】
いくつかのその他の実施形態においては、エンコーダは、例えば、ＲＡＬＳピクチャまたはセグメント開始ＲＡＳＬピクチャのすべてについて、選択的に、ＳＡＯなどのループ内フィルタリングをターンオフしてもよい。
【０４１４】
以上においては、セグメントを参照し、実施形態について説明した。実施形態は、サブセグメントを参照して同様に説明されうることを理解されたい。
【０４１５】
クローズドＧＯＰではなく、オープンＧＯＰを使用する１つの利益は、相対的に良好な圧縮効率であってもよく、これは、例えば、同一のピクチャ品質を相対的に小さなビットレートによって実現しうることを意味している。
【０４１６】
図１２は、本発明の実施形態を利用するのに適したビデオデコーダのブロックダイアグラムを示している。図１２は、２層デコーダの構造を示しているが、復号化動作は、同様に、単一層デコーダにおいても利用されうることを理解されたい。
【０４１７】
ビデオデコーダ５５０は、ベースビューコンポーネント用の第１デコーダセクション５５２と、非ベースビューコンポーネント用の第２デコーダセクション５５４と、を有する。ブロック５５６は、ベースビューコンポーネントに関する情報を第１デコーダセクション５５２に供給し、非ベースビューコンポーネントに関する情報を第２デコーダセクション５５４に供給するデマルチプレクサを示している。参照符号Ｐ’ｎは、画像ブロックの予測された表現の略語である。参照符号Ｄ’ｎは、再構築された予測誤差信号の略語である。ブロック７０４、８０４は、予備再構築画像（Ｉ’ｎ）を示している。参照符号Ｒ’ｎは、最終的な再構築画像の略語である。ブロック７０３、８０３は、逆変換（Ｔ-1）を示している。ブロック７０２、８０２は、逆量子化（Ｑ-1）を示している。ブロック７０１、８０１は、エントリピー復号化（Ｅ-1）を示している。ブロック７０５、８０５は、基準フレームメモリ（ＲＦＭ：Ｒｅｆｅｒｅｎｃｅ  Ｆｒａｍｅ  Ｍｅｍｏｒｙ）を示している。ブロック７０６、８０６は、予測（Ｐ）（インター予測またはイントラ予測）を示している。ブロック７０７、８０７は、フィルタリング（Ｆ）を示している。ブロック７０８、８０８は、予備再構築画像（Ｉ’ｎ）を取得するべく、復号化予測誤差情報を予測されたベースビュー／非ベースビューコンポーネントと組み合わせるために使用されてもよい。予備再構築されたフィルタリングされたベースビュー画像は、第１デコーダセクション５５２から出力されてもよく７０９、予備再構築されたフィルタリングされたビュー画像は、第１デコーダセクション５５４から出力されてもよい８０９。
【０４１８】
図１３は、様々な実施形態が実装されうる例示用のマルチメディア通信システムのグラフィカルな表現である。データソース１５１０は、アナログ、圧縮されていないデジタル、または圧縮されたデジタルフォーマットにおいて、あるいは、これらのフォーマットの任意の組合せにおいて、ソース信号を提供する。エンコーダ１５２０は、ソース信号のデータフォーマット変換および／またはフィルタリングなどの事前処理を含んでいてもよく、あるいは、これと接続されていてもよい。エンコーダ１５２０は、ソース信号を符号化済みのメディアビットストリームとして符号化する。復号化対象のビットストリームは、実質的に任意のタイプのネットワーク内において配置されたリモート装置から、直接的にまたは間接的に受信されうることに留意されたい。これに加えて、ビットストリームは、ローカルハードウェアまたはソフトウェアから受信されてもよい。エンコーダ１５２０は、オーディオおよびビデオなどの、複数のメディアタイプを符号化する能力を有していてもよく、あるいは、ソース信号の異なるメディアタイプを符号化するべく、複数のエンコーダ１５２０が必要とされる場合もある。又、エンコーダ１５２０は、グラフィクスおよびテキストなどの、合成的に生成された入力を取得してもよく、あるいは、合成されたメディアの符号化ビットストリームを生成する能力を有していてもよい。以下においては、説明を簡単にするべく、１つのメディアタイプの１つの符号化されたメディアビットストリームのプロセスについてのみ、検討する。但し、通常、リアルタイムブロードキャストサービスは、いくつかのストリーム（通常、少なくとも１つのオーディオ、ビデオ、およびテキストサブタイトリングストリーム）を有することに留意されたい。又、システムは、多くのエンコーダを含んでいてもよいが、図には、一般性の欠如を伴うことなしに、説明を簡単にするべく、１つのエンコーダ１５２０のみが示されていることに留意されたい。本明細書において含まれるテキストおよび例は、符号化プロセスを具体的に記述している場合があるが、当業者は、同一の概念および原理が、対応する復号化プロセスにも適用され、逆も又真である、ことを理解することを更に理解されたい。
【０４１９】
符号化されたメディアビットストリームは、ストレージ１５３０に転送されてもよい。ストレージ１５３０は、符号化されたメディアビットストリームを保存するべく、任意のタイプのマスメモリを有していてもよい。ストレージ１５３０内における符号化されたメディアビットストリームのフォーマットは、基本的な自己充足型ビットストリームフォーマットであってもよく、あるいは、１つまたは複数の符号化されたメディアビットストリームは、コンテナファイル内においてカプセル化されていてもよい。１つまたは複数のメディアビットストリームが、コンテナファイル内においてカプセル化されている場合には、１つまたは複数のメディアビットストリームをファイル内において保存し、ファイルフォーマットメタデータを生成するべく、ファイルジェネレータ（図示されてはいない）が使用されてもよく、ファイルフォーマットメタデータも、ファイル内において保存されてもよい。エンコーダ１５２０またはストレージ１５３０が、ファイルジェネレータを有していてもよく、あるいは、ファイルジェネレータは、エンコーダ１５２０またはストレージ１５３０に動作自在に装着されている。いくつかのシステムは、「ライブ」状態において動作しており、即ち、ストレージを省略し、符号化されたメディアビットストリームをエンコーダ１５２０から直接的に送信器１５４０に転送している。次いで、符号化されたメディアビットストリームは、必要に応じて、サーバーとも呼ばれる送信器１５４０に転送されてもよい。送信において使用されるフォーマットは、基本的な自己充足型のビットストリームフォーマットであってもよく、パケットストリームフォーマットであってもよく、あるいは、１つまたは複数の符号化されたメディアビットストリームは、コンテナファイル内においてカプセル化されてもよい。エンコーダ１５２０、ストレージ１５３０、およびサーバー１５４０は、同一の物理装置内において存在していてもよく、あるいは、別個の装置内において含まれていてもよい。エンコーダ１５２０およびサーバー１５４０は、ライブリアルタイムコンテンツと共に動作してもよく、この場合には、符号化されたメディアビットストリームは、通常、永久的に保存されず、むしろ、処理遅延、転送遅延、および符号化メディアビットレートの変動をスムージングするべく、コンテンツエンコーダ１５２０内において、または、サーバー１５４０内において、短期間にわたってバッファリングされている。
【０４２０】
サーバー１５４０は、通信プロトコルスタックを使用することにより、符号化されたメディアビットストリームを送信する。スタックは、限定を伴うことなしに、ＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）、ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）、およびＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）のうちの１つまたは複数を含んでいてもよい。通信プロトコルスタックがパケット指向であるときには、サーバー１５４０は、符号化されたメディアビットストリームをパケット内においてカプセル化する。例えば、ＲＴＰが使用されているときには、サーバー１５４０は、ＲＴＰペイロードフォーマットに従って、符号化されたメディアビットストリームをＲＴＰパケット内においてカプセル化する。通常、それぞれのメディアタイプは、専用のＲＴＰペイロードフォーマットを有する。システムは、複数のサーバー１５４０を含んでいてもよいが、わかりやすさを目的として、以下の説明は、１つのサーバー１５４０のみを検討していることに再度留意されたい。
【０４２１】
メディアコンテンツが、ストレージ１５３０のために、あるいは、送信器１５４０にデータを入力するべく、コンテナファイル内においてカプセル化されている場合には、送信器１５４０は、「送信ファイルパーサー」（図示されてはいない）を有していてもよく、あるいは、これに動作自在に装着されていてもよい。具体的には、コンテナファイルが送信されないにも拘らず、含まている符号化されたメディアビットストリームの少なくとも１つが、通信プロトコル上における搬送のためにカプセル化されている場合には、送信ファイルパーサーは、通信プロトコル上において搬送されるべき符号化されたメディアビットストリームのうちの適切な部分を見出す。又、送信ファイルパーサーは、パケットヘッダおよびペイロードなどの、通信プロトコル用の正しいフォーマットの生成を支援してもよい。マルチメディアコンテナファイルは、通信プロトコル上における含まれるメディアビットストリームのうちの少なくとも１つのメディアビットストリームのカプセル化のために、ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔにおけるヒントトラックなどの、カプセル化命令を含んでいてもよい。
【０４２２】
サーバー１５４０は、通信ネットワークを通じてゲートウェイ１５５０に接続されていてもよく、あるいは、そうでなくてもよい。又、ゲートウェイは、これに加えて、またはこの代わりに、ミドルボックスと呼ばれてもよい。システムは、一般に、任意の数のゲートウェイまたはこれに類似したものを有していてもよいが、わかりやすさを目的として、以下の説明は、１つのゲートウェイ１５５０のみを検討していることに留意されたい。ゲートウェイ１５５０は、パケット、ストリーム、またはリソースのキャッシング、メディアデータの積極的な事前フェッチング、通信プロトコルスタック間におけるパケットストリームの変換、データストリームのマージおよび分割、並びに、支配的なダウンリンクネットワーク条件による転送されたストリームのビットレートの制御などのダウンリンクおよび／またはレシーバ能力によるデータストリームの操作などの、様々なタイプの機能を実行してもよい。ゲートウェイ１５５０の例は、マルチポイント会議制御ユニット（ＭＣＵ：Ｍｌｔｉｐｏｉｎｔ  Ｃｏｎｆｅｒｅｎｃｅ  ｃｏｎｔｒｏｌ  Ｕｎｉｔ）、回線交換およびパケット交換ビデオテレフォニーの間のゲートウェイ、ＰｏＣ（Ｐｕｓｈ−ｔｏ−ｔａｌｋ  ｏｖｅｒ  Ｃｅｌｌｕｌａｒ）サーバー、ＤＶＢ−Ｈ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｂｒｏａｄｃａｓｔｉｎｇ−Ｈａｎｄｈｅｌｄ）システム内のＩＰエンキャプスレータ、あるいは、ブロードキャスト送信をホーム無線ネットワークにローカルに転送するセットトップボックスまたはその他の装置を含む。ＲＴＰが使用されるときには、ゲートウェイ１５５０は、ＲＴＰミキサまたはＲＴＰトランスレータと呼ばれてもよく、ＲＴＰ接続のエンドポイントとして機能してもよい。ゲートウェイ１５５０の代わりに、またはこれに加えて、システムは、ビデオシーケンスまたはビットストリームを連結するスプライサを含んでいてもよい。
【０４２３】
システムは、通常、送信された信号を受信し、復調し、符号化メディアビットストリームとして逆カプセル化する能力を有する、１つまたは複数のレシーバ１５６０を含む。符号化されたメディアビットストリームは、記録ストレージ１５７０に転送されてもよい。記録ストレージ１５７０は、符号化されたメディアビットストリームを保存するべく、任意のタイプの大容量メモリを有していてもよい。記録ストレージ１５７０は、この代わりに、またはこれに加えて、ランダムアクセスメモリなどの、演算メモリを有していてもよい。記録ストレージ１５７０内の符号化されたメディアビットストリームのフォーマットは、基本的な自己充足型のビットストリームフォーマットであってもよく、あるいは、１つまたは複数の符号化されたメディアビットストリームがコンテナファイル内においてカプセル化されていてもよい。互いに関連付けられた、オーディオストリームおよびビデオストリームなどの、複数の符号化されたメディアビットストリームが存在している場合には、通常、コンテナファイルが使用され、レシーバ１５６０は、入力ストリームからコンテナファイルを生成するコンテナファイルジェネレータを有しているか、あるいは、これに装着されている。いくつかのシステムは、「ライブ」で動作しており、即ち、記録ストレージ１５７０を省略し、符号化されたメディアビットストリームをレシーバ１５６０から直接的にデコーダ１５８０に転送している。いくつかのシステムにおいては、例えば、記録されたストリームの最も最近の１０分間の抜粋などの、記録されたストリームの最も最近の部分のみが、記録ストレージ１５７０内において維持されており、すべての更に以前の記録されたデータは、記録ストレージ１５７０から破棄されている。
【０４２４】
符号化されたメディアビットストリームは、記録ストレージ１５７０からデコーダ１５８０に転送されてもよい。互いに関連付けられた、コンテナファイル内においてカプセル化された、オーディオストリームおよびビデオストリームなどの、多くの符号化されたメディアビットストリームが存在しているか、あるいは、単一メディアビットストリームが、例えば、相対的に容易なアクセスのために、コンテナファイル内においてカプセル化されている場合には、それぞれの符号化されたメディアビットストリームをコンテナファイルから逆カプセル化するべく、ファイルパーサー（図示されてはいない）が使用される。記録ストレージ１５７０またはデコーダ１５８０が、ファイルパーサーを有していてもよく、あるいは、ファイルパーサーは、記録ストレージ１５７０またはデコーダ１５８０に装着されている。又、システムは、多くのデコーダを含んでいてもよいが、ここでは、一般性の欠如を伴うことなしに、説明を簡単にするべく、１つのデコーダ１５７０のみが記述されていることに留意されたい。
【０４２５】
符号化されたメディアビットストリームは、更に、デコーダ１５７０によって処理されてもよく、その出力は、１つまたは複数の圧縮されていないメディアストリームである。最後に、レンダラ１５９０が、例えば、ラウドスピーカまたはディスプレイにより、圧縮されていないメディアストリームを再生してもよい。レシーバ１５６０、記録ストレージ１５７０、デコーダ１５７０、およびレンダラ１５９０は、同一の物理装置内において存在していてもよく、あるいは、別個の装置内において含まれていてもよい。
【０４２６】
送信器１５４０および／またはゲートウェイ１５５０は、例えば、ビットレート適合、クロマフォーマット、サンプルビット深度、色域、および／または空間分解能について、異なるビットストリーム９０１、９０２、９０９、９１１の間においてスイッチングを実行するように構成されていてもよく、／または、送信器１５４０および／またはゲートウェイ１５５０は、送信されたビットストリームを選択するように構成されていてもよい。異なるビットストリーム９０１、９０２、９０９、９１１の間におけるスイッチングは、レシーバ１５６０の要求、あるいは、ビットストリームが搬送されているネットワークの、スループットなどの、支配的な条件、に応答するためなどの、複数の理由から、実行されてもよい。レシーバからの要求は、例えば、以前のものとは異なる表現またはビットストリームからのセグメントまたはサブセグメントの要求、送信されるスケーラビリティ層および／またはサブ層の変更の要求、あるいは、以前のものとの比較において異なる能力を有するレンダリング装置の変更、であってもよい。セグメントの要求は、ＨＴＴＰ  ＧＥＴ要求であってもよい。サブセグメントの要求は、所定のバイト範囲を有するＨＴＴＰ  ＧＥＴ要求であってもよい。これに加えて、あるいは、この代わりに、例えば、ストリーミングサービスにおいて所謂高速スタートアップを提供するべく、ビットレート調節またはビットレート適合が使用されてもよく、この場合には、送信ストリームのビットレートは、再生を即時に開始するべく、頻繁なパケット遅延および／または再送信を許容するバッファ占有レベルを実現するべく、ストリーミングを開始するかまたはこれにランダムアクセスした後に、チャネルビットレートを下回っている。ビットレート適合は、様々な順序において発生する複数の表現または層のアップスイッチングおよび表現または層のダウンスイッチング動作を含んでいてもよい。
【０４２７】
デコーダ１５８０は、例えば、ビットレート適合、クロマフォーマット、サンプルビット深度、色域、および／または空間分解能について、異なるビットストリーム９０１、９０２、９０９、９１１の間におけるスイッチングを実行するように構成されていてもよく、／または、デコーダ１５８０は、送信されたビットストリームを選択するように構成されていてもよい。異なるビットストリーム９０１、９０２、９０９、９１１の間におけるスイッチングは、相対的に高速の復号化動作を実現するべく、あるいは、ビットストリームが搬送されるネットワークの、スループットなどの支配的な条件に対して、ビットレートの観点において、送信されたビットストリームを適合させるためなどの、複数の理由から実行されてもよい。相対的に高速の復号化動作は、例えば、デコーダ５８０を含む装置が、マルチタスク型であり、スケーラブルなビデオビットストリームの復号化以外のその他の目的のために演算リソースを使用している場合に、必要とされうるであろう。別の例においては、相対的に高速の復号化動作は、コンテンツが、例えば、従来のリアルタイム再生レートよりも２倍または３倍だけ高速である、通常の再生速度よりも高速のペースで再生されるときに、必要とされうるであろう。デコーダ動作の速度は、例えば、高速早送りから通常再生レートへの変更に対する応答として、復号化または再生のときに変更されてもよく、この逆も又真であり、その結果、複数の層のアップスイッチングおよび層のダウンスイッチング動作が、様々な順序において発生しうる。
【０４２８】
以上において、いくつかの実施形態は、表現および／またはビットストリームという用語との関係において説明されている。実施形態は、同様に、例えば、ビットストリームの代わりに表現、表現の代わりにビットストリーム、あるいは、ビットストリームまたは表現の代わりに基本ストリームなどの、類似の用語との関係において説明されうることを理解する必要がある。
【０４２９】
以上においては、いくつかの実施形態は、スキップピクチャとの関係において説明されている。スキップピクチャを使用する動機は、アクセスユニットの処理要件を制限するというものである。実施形態は、同様に、スキップピクチャの使用を任意のエンハンス層ＩＲＡＰピクチャの使用によって置換することにより、実現されてもよいことを理解する必要がある。換言すれば、ＲＡＲＣに関係する実施形態における低分解能表現用のエンハンス層ＩＲＡＰピクチャのいくつかまたはすべては、符号化された予測誤差情報を含んでいてもよい。即ち、エンコーダは、符号化された予測誤差情報を含みうるように、このようなエンハンス層ＩＲＡＰピクチャを符号化してもよく、デコーダも、予測誤差情報が復号化されるように、このようなエンハンス層ＩＲＡＰピクチャを復号化してもよい。
【０４３０】
以上においては、いくつかの実施形態は、低分解能表現またはビットストリームまたは高分解能表現またはビットストリームとの関係において説明されており、これにより、表現の空間分解能が異なり、その結果、空間分解能の観点におけるリサンプリングが実施形態において使用されることを標示している。異なる空間分解能に加えて、またはこの代わりに、表現は、その他のタイプの１つまたは複数の関係を有していてもよく、別のタイプの１つまたは複数のリサンプリングプロセスを必要としうることを理解する必要がある。例えば、表現のビット深度および／または色域が異なっていてもよく、ＳＨＶＣ色域スケーラビリティにおいて使用されるものに類似したリサンプリングが、実施形態において使用されてもよい。実施形態は、１つのタイプのリサンプリングに限定されるものではなく、例えば、空間、ビット深度、および色域の観点におけるリサンプリングが、一緒に適用されてもよい。例えば、ＲＡＲＣの実施形態においては、スキップピクチャは、例えば、ＳＨＶＣ層間処理を使用することにより、空間分解能、ビット深度、および色域の観点においてリサンプリングされてもよい。
【０４３１】
以上においては、いくつかの実施形態は、クローズドＧＯＰを使用して符号化された低分解能表現との関係において説明されている。低分解能表現においてクローズドＧＯＰを使用する動機は、標準化された復号化プロセスに対するなんらの変化をも伴うことなしに、フルピクチャレートにおいて、表現のダウンスイッチングを動作可能にするというものである。但し、実施形態は、低分解能表現がオープンＧＯＰを使用して符号化されるときにも、同様に実現されうることを理解する必要がある。
【０４３２】
以上においては、いくつかの実施形態は、高分解能表現にスイッチングするための低分解能表現のピクチャのアップサンプリングとの関係において説明されている。実施形態は、スイッチング先である低分解能表現の復号化のための基準ピクチャとして機能するように、高分解能表現のピクチャをダウンサンプリングするためにも、同様に実現されうることを理解する必要がある。例えば、ＣＲＡピクチャ（あるいは、一般に、ＳＡＰ  Ｔｙｐｅ  ３のピクチャ）が、低分解能表現内において使用されてもよく、従って、スイッチング先である低分解能表現の初期ＣＲＡピクチャと関連付けられたＲＡＳＬピクチャの復号化は、復号化順序においてＣＲＡピクチャに先行している基準ピクチャを必要としうる。これらの基準ピクチャは、高分解能表現の個々のピクチャをリサンプリングすることにより、生成されてもよい。又、実施形態は、同様に、表現または層の順序が、高分解能の表現または層が、基準ピクチャとして機能するように、低分解能の表現または層のピクチャのダウンサンプリングを必要としうるようになっているときにも、実現されうることを理解する必要がある。いくつかのケースにおいては、基準ピクチャを生成するためのリサンプリングは、複数のスケーラビリティ次元またはタイプに沿った動作を必要としうる。例えば、高分解能の表現または層は、相対的に大きな空間分解能を有しうるが、低分解能の表現または層よりも低いビット深度を有していてもよく、従って、高分解能の表現または層用の基準ピクチャとしての低分解能の表現または層のピクチャの使用は、空間分解能の観点におけるアップサンプリングと、ビット深度の観点におけるダウンサンプリングまたはスケーリングと、を必要しうる。
【０４３３】
以上においては、いくつかの実施形態は、低分解能表現またはビットストリーム並びに高分解能表現またはビットストリームなどの、２つの表現またはビットストリームまたは層との関係において説明されている。実施形態は、２つの表現またはビットストリームまたは層に限定されるものではなく、更に大きな数の表現またはビットストリームまたは層にも等しく適用されることを理解する必要がある。
【０４３４】
以上においては、いくつかの実施形態は、表現スイッチポイント用の単一のピクチャのリサンプリングとの関係おいて説明されている。実施形態は、表現スイッチポイント当たりに１つのピクチャがリサンプリングされることにのみ、限定されるものではく、一般に、任意の数のピクチャのリサンプリングに対して適用されることを理解する必要がある。例えば、ＲＡＲＣにおいては、１つのスイッチポイントについて、複数のスキップピクチャが存在しうる。リサンプリングされるピクチャの数は、スイッチング先である表現のスイッチポイントＩＲＡＰピクチャのＲＡＳＬピクチャを復号化するのに必要とされる、復号化順序において、スイッチポイントＩＲＡＰピクチャに先行している、基準ピクチャの数によって決定されてもよい。
【０４３５】
以上においては、いくつかの実施形態は、セグメントとの関係において説明されている。実施形態は、サブセグメントとの関係においても同様に実現されうることを理解することが必要である。
【０４３６】
以上においては、いくつかの実施形態は、ＨＴＴＰおよび／またはＨＴＴＰ  ＧＥＴ要求との関係において説明されている。実施形態は、ＨＴＴＰの使用に限定されるものではなく、この代わりまたはこれに加えて、ＷｅｂＳｏｃｋｅｔｓなどのその他のプロトコルが使用されてもよいことを理解する必要がある。又、本発明は、例えば、３ＧＰＰのＭＢＭＳ（Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔ／Ｍｕｌｔｉｃａｓｔ  Ｓｅｒｖｉｃｅ）によるブロードキャストサービスなどの、クライアントがデータをブロードキャストを使用して受信する際などのように、ＨＴＴＰ  ＧＥＴなどの要求がクライアントによって実施されないケースにおいても適用されうることを理解する必要がある。
【０４３７】
以上においては、いくつかの実施形態は、ビットストリーム内への、あるいは、符号化されたビデオシーケンス内への、標示、シンタックス要素、および／または、シンタックス構造の符号化、並びに／あるいは、ビットストリームからの、あるいは、符号化されたビデオシーケンスからの、標示、シンタックス要素、および／または、シンタックス構造の復号化、との関係において説明されている。但し、実施形態は、標示、シンタックス要素、および／またはシンタックス構造を、符号化されたスライスなどの、ビデオ符号化層データを有するビットストリームまたは符号化されたビデオシーケンスの外部であるシンタックス構造またはデータユニット内に符号化する、／または、標示、シンタックス要素、および／または、シンタックス構造を、符号化されたスライスなどの、ビデオ符号化層データを有する、ビットストリームまたは符号化されたビデオシーケンスの外部であるシンタックス構造またはデータユニットから、復号化する、ときにも、実現されうることを理解する必要がある。
【０４３８】
以上においては、例示用の実施形態が、エンコーダを参照して記述されている場合には、結果的に得られるビットストリームおよびデコーダは、対応する要素をその内部において有しうることを理解する必要がある。同様に、例示用の実施形態が、デコーダを参照して記述されている場合には、エンコーダは、デコーダによって復号化されるビットストリームを生成する構造および／またはコンピュータプログラムを有しうることを理解する必要がある。
【０４３９】
上述の本発明の実施形態は、関連するプロセスの理解を支援するべく、別個のエンコーダおよびデコーダ装置の観点においてコーデックを記述している。但し、装置、構造、および動作は、単一のエンコーダ−デコーダ装置／構造／動作として、実装されてもよいことを理解されたい。更には、コーダおよびデコーダは、いくつかまたはすべての共通要素を共有しうることが可能である。
【０４４０】
上述の例は、電子装置内のコーデック内において動作する本発明の実施形態について記述しているが、請求項において定義されている本発明は、任意のビデオコーデックの一部分として実装されうることが理解されよう。従って、例えば、本発明の実施形態は、固定されたまたは有線の通信経路上においてビデオ符号化を実装しうるビデオコーデック内において実装されてもよい。
【０４４１】
従って、ユーザー機器は、上述の本発明の実施形態において記述されているものなどの、ビデオコーデックを有していてもよい。ユーザー機器という用語は、携帯電話機、携帯型データ処理装置、または携帯型ウェブブラウザなどの、任意の適切なタイプの無線ユーザー機器を含むべく意図されていることを理解されたい。
【０４４２】
又、更には、公衆陸上モバイルネットワーク（ＰＬＭＮ：Ｐｕｂｌｉｃ  Ｌａｎｄ  Ｍｏｂｉｌｅ  Ｎｅｔｗｏｒｋ）の要素は、上述のビデオコーデックを有していてもよい。
【０４４３】
一般に、本発明の様々な実施形態は、ハードウェアまたは特殊目的回路、ソフトウェア、ロジック、またはこれらの任意の組合せにおいて実装されてもよい。例えば、いくつかの態様は、ハードウェアにおいて実装されてもよく、その他の態様は、コントローラ、マイクロプロセッサ、またはその他の演算装置によって実行されうるファームウェアまたはソフトウェアにおいて実装されてもよいが、本発明は、これらに限定されるものではない。本発明の様々な態様は、ブロックダイアグラムとして、フローチャートとして、あるいは、なんらかのその他の絵画的表現を使用することにより、図示および記述されている場合があるが、本明細書において記述されているこれらのブロック、装置、システム、技法、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路、またはロジック、汎用ハードウェア、またはコントローラ、またはその他の演算装置、あるいは、これらのなんらかの組合せにおいて、実装されうることを十分に理解されたい。
【０４４４】
本発明の実施形態は、プロセッサエンティティ内の、モバイル装置のデータプロセッサによって実行可能であるコンピュータソフトウェアにより、あるいは、ハードウェアにより、あるいは、ソフトウェアおよびハードウェアの組合せにより、実装されてもよい。更には、この観点において、図面中の論理フローの任意のブロックは、プログラムステップ、あるいは、相互接続されたロジック回路、ブロック、および機能、あるいは、プログラムステップ、並びに、ロジック回路、ブロック、および機能の組合せ、を表現しうることに留意されたい。ソフトウェアは、プロセッサ内において実装されたメモリチップまたはメモリブロック、ハードディスクまたはフロッピーディスクなどの磁気メディア、並びに、例えば、ＤＶＤおよびそのデータ変形であるＣＤなどの光メディア、などの物理メディア上において保存されてもよい。
【０４４５】
メモリは、ローカルな技術環境に適した任意のタイプであってもよく、半導体に基づいたメモリ装置、磁気メモリ装置およびシステム、光メモリ装置およびシステム、固定されたメモリおよび着脱自在のメモリなどの、任意の適切なデータストレージ技術を使用して実装されてもよい。データプロセッサは、ローカルな技術環境に適した任意のタイプであってもよく、非限定的な例として、汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびマルチコアプロセッサアーキテクチャに基づいたプロセッサのうちの１つまたは複数を含んでいてもよい。
【０４４６】
本発明の実施形態は、集積回路モジュールなどの、様々なコンポーネントにおいて実施されてもよい。集積回路の設計は、一般的に、高度に自動化されたプロセスである。論理レベル設計を、半導体基板上においてエッチングおよび形成される準備が整った半導体回路設計に変換するべく、複雑パワフルなソフトウェアツールが利用可能である。
【０４４７】
Ｍｏｕｎｔａｉｎ  Ｖｉｅｗ，  Ｃａｌｉｆｏｒｎｉａに所在するＳｙｎｏｐｓｙｓ，  Ｉｎｃ．およびＳａｎ  Ｊｏｓｅ，  Ｃａｌｉｆｏｒｎｉａに所在するＣａｄｅｎｃｅ  Ｄｅｓｉｇｎによって提供されているものなどのプログラムは、設計の明確に確立された規則並びに予め保存された設計モジュールのライブラリを使用することにより、自動的に、導体をルーティングし、コンポーネントを半導体チップ上において配置する。半導体回路の設計が完成したら、標準化された電子フォーマット（例えば、Ｏｐｕｓ、ＧＤＳＩＩ、およびこれらに類似したもの）を有する、結果的に得られた設計は、製造のために、半導体製造施設または「ｆａｂ」に送信されてもよい。
【０４４８】
以上の説明は、例示用の非限定的な例として、本発明の例示用の実施形態の完全有益な説明を提供している。但し、添付図面および添付の請求項との関連において参照されたときに、上述の説明に鑑み、様々な変更および適合が当業者に明らかとなりうる。但し、このような類似した本発明の教示のすべての変更は、依然として、本発明の範囲に含まれる。
【０４４９】
第１実施形態による方法は、
第１符号化ビデオ表現の第１部分を復号化するステップと、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析するステップと、
を有し、
符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、方法は、
第１部分の１つまたは複数の復号化されたピクチャを１つまたは複数の処理済み復号化ピクチャとして処理するステップであって、処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有する、ステップと、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化するステップと、
を更に有する。
【０４５０】
一実施形態によれば、方法は、
前記情報を有するメディア提示記述を受信するステップ、
を更に有する。
【０４５１】
一実施形態によれば、方法は、
メディア提示記述に基づいて、第１符号化表現の第１部分を識別する第１識別子と、第２符号化表現の第２部分を識別する第２識別子と、を決定するステップと、
第１識別子を使用して第１部分を要求するステップと、
第１部分を受信するステップと、
第２識別子を使用して第２部分を要求するステップと、
第２部分を受信するステップと、
を更に有する。
【０４５２】
一実施形態によれば、第１識別子および第２識別子は、ユニフォームリソース識別子である。
【０４５３】
一実施形態によれば、第１符号化表現の空間分解能は、基準領域について決定され、第２符号化表現の空間分解能は、予測された領域について決定され、この場合に、方法は、
基準領域に関する情報を受信するステップと、あるいは、基準領域に関する情報が存在しない状態において、
第１符号化ビデオ表現のピクチャのエリア全体をカバーするように、基準領域を決定するステップと、
予測された領域に関する情報を受信するステップと、あるいは、予測された領域に関する情報が存在しない状態において、
第２符号化ビデオ表現のピクチャのエリア全体をカバーするように、予測された領域を決定するステップと、
を更に有する。
【０４５４】
一実施形態によれば、前記１つまたは複数の処理済み復号化ピクチャは、第２符号化ビデオ表現のピクチャと同一のクロマフォーマットおよびビット深度を有する。
【０４５５】
一実施形態によれば、前記１つまたは複数の処理済み復号化ピクチャは、第２符号化ビデオ表現のピクチャと同一の空間分解能を有する。
【０４５６】
一実施形態によれば、方法は、
第２符号化ビデオ表現が非ベース層に属すると共に独立的に復号化可能であるという情報を受信し、解析するステップ、
を更に有する。
【０４５７】
一実施形態によれば、方法は、
アクセスユニットが、２つを超えない数のピクチャを有し、アクセスユニットが、２つのピクチャを有するときに、より高位の層に属するピクチャは、イントラランダムアクセスポイントピクチャであり、これは、同一の層内の以前のピクチャを予測のための基準として使用しないが、同一のアクセスユニット内のより低位の層におけるピクチャを予測のための基準として使用しうるという制限を有するスケーラブルビデオ符号化プロファイルに準拠しているビットストリームからの第１符号化表現の第１部分および第２符号化表現の第２部分の情報を受信し、解析するステップ、
を更に有する。
【０４５８】
第２実施形態による装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
べく、動作するようにし、
符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理し、この場合に、処理ステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有し、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する、
べく、動作するように更にする。
【０４５９】
一実施形態によれば、装置は、前記情報を有するメディア提示記述を受信する、
べく、動作するように更にされる。
【０４６０】
一実施形態によれば、装置は、
メディア提示記述に基づいて、第１符号化表現の第１部分を識別する第１識別子と、第２符号化表現の第２部分を識別する第２識別子と、を決定し、
第１識別子を使用して第１部分を要求し、
第１部分を受信し、
第２識別子を使用して第２部分を要求し、
第２部分を受信する、
べく、動作するように更にされる。
【０４６１】
一実施形態によれば、第１識別子および第２識別子は、ユニフォームリソース識別子である。
【０４６２】
一実施形態によれば、第１符号化表現の空間分解能は、基準領域について決定され、第２符号化表現の空間分解能は、予測された領域について決定され、この場合に、装置は、
基準領域に関する情報を受信し、あるいは、基準領域に関する情報が存在しない状態において、
第１符号化ビデオ表現のピクチャのエリア全体をカバーするように、基準領域を決定し、
予測された領域に関する情報を受信し、あるいは、予測された領域に関する情報が存在しない状態において、
第２符号化ビデオ表現のピクチャのエリア全体をカバーするように、予測された領域を決定する、
べく、動作するようにされる。
【０４６３】
一実施形態によれば、前記１つまたは複数の処理済み復号化ピクチャは、第２符号化ビデオ表現のピクチャと同一のクロマフォーマットおよびビット深度を有する。
【０４６４】
一実施形態によれば、前記１つまたは複数の処理済み復号化ピクチャは、第２符号化ビデオ表現のピクチャと同一の空間分解能を有する。
【０４６５】
一実施形態によれば、装置は、
第２符号化ビデオ表現が、非ベース層に属すると共に独立的に復号化可能であるという情報を受信し、解析する、
べく、動作するように更にされる。
【０４６６】
一実施形態によれば、装置は、
アクセスユニットが、２つを超えない数のピクチャを有し、アクセスユニットが２つのピクチャを有するときに、より高位の層に属するピクチャは、イントラランダムアクセスポイントピクチャであり、これは、予測のための基準として同一の層内の以前のピクチャを使用しないが、予測のための基準として同一のアクセスユニット内のより低位の層におけるピクチャを使用しうるという制限を有するスケーラブルビデオ符号化プロファイルに準拠しているビットストリームからの第１符号化表現の第１部分および第２符号化表現の第２部分の情報を受信し、解析する、
べく、動作するように更にされる。
【０４６７】
第３実施形態によれば、装置による使用のために、コードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
べく、動作するようにし、
符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理し、この場合に、処理ステップは、リサンプリングおよびサンプル値スケーリングの１つまたは両方を有し、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する、
べく、動作するように更にする。
【０４６８】
第４実施形態によれば、画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダを有する装置が提供され、ビデオデコーダは、
第１符号化ビデオ表現の第１部分を復号化する手段と、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する手段と、
を有し、
この場合に、符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、前記装置は、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理する手段と、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化する手段と、
を更に有する。
【０４６９】
第５実施形態によれば、画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダが提供され、前記ビデオデコーダは、
第１符号化ビデオ表現の第１部分を復号化し、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、
ように、更に構成され、
符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第２符号化されたビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済みの符号化ピクチャを使用することにより、復号化されうるかどうかを標示しており、
情報が、第２符号化ビデオ表現が、予測のための基準として第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうると標示している場合に、方法は、
第１部分の１つまたは複数の復号化ピクチャを１つまたは複数の処理済み復号化ピクチャとして処理するステップであって、処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を有する、ステップと、
予測のために使用されうる基準ピクチャとして前記１つまたは複数の処理済み復号化ピクチャを使用することにより、第２ビデオ表現の第２部分を復号化するステップと、
を更に有する。
【０４７０】
第６実施形態による方法は、
メディア提示記述から、少なくとも２つの表現のメタデータを解析するステップと、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析するステップと、
を有する。
【０４７１】
一実施形態によれば、１つまたは複数の特性は、
−シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−シーケンスが準拠している準拠ポイントと、
−シーケンスを復号化するときにターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−シーケンスのアクセスユニットが１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−シーケンスのアクセスユニットが１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−シーケンス内に含まれる層識別子値と、
−シーケンス内に含まれる必要な層の層識別子値と、
−シーケンス内に含まれる出力層の層識別子値と、
−シーケンスによって表されている代替出力層に関する情報と、
−シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−シーケンス内に含まれる層のスケーラビリティ識別子値と、
−シーケンスを復号化するために必要とされるまたは示唆される黙示的基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する。
【０４７２】
一実施形態によれば、方法は、
補完構造から１つまたは複数の特性を解析するステップ、
を更に有する。
【０４７３】
一実施形態によれば、方法は、
１つまたは複数の特性との関連において
−１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、あるいは、これらの両方に適用されるかどうかを標示する情報と、
−表現の組のうちの少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を解析するステップを更に有する。
【０４７４】
一実施形態による方法は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を復号化するステップと、
少なくとも２つの表現のうちの第２ビデオ表現を復号化するステップと、
を更に有し、
復号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１復号化ビデオ表現と異なっており、１つまたは複数の特性は、第２符号化ビデオ表現が、予測のための１つまたは複数の基準ピクチャとして第１符号化ビデオ表現の１つまたは複数の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している。
【０４７５】
一実施形態による方法であって、方法は、
第１ビデオ表現から、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを復号化するステップ、
を更に有する。
【０４７６】
一実施形態による方法であって、方法は、
コンテナフォーマットの第１トラック識別子をエンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャと関連付けるステップと、
コンテナフォーマットの第１トラック識別子を第２ビデオ表現と関連付けるステップと、
を更に有する。
【０４７７】
第７実施形態による装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリは、コードが保存されており、コードは、少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
べく、動作するようにする。
【０４７８】
装置の一実施形態によれば、１つまたは複数の特性は、
−シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−シーケンスが準拠している準拠ポイントと、
−シーケンスを復号化するときにターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−シーケンス内に含まれる層識別子値と、
−シーケンス内に含まれる必要な層の層識別子値と、
−シーケンス内に含まれる出力層の層識別子値と、
−シーケンスによって表されている代替出力層に関する情報と、
−シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−シーケンス内に含まれる層のスケーラビリティ識別子値と、
−シーケンスを復号化するために必要とされるまたは示唆される黙示的基準ピクチャリサンプリングに関係する情報と、
のうちのいずれかのサブセットを有する。
【０４７９】
一実施形態によれば、装置は、
補完構造から１つまたは複数の特性を解析する、
べく、動作するように更にされる。
【０４８０】
一実施形態によれば、装置は、
１つまたは複数の特性との関連において、
−１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、あるいは、これらの両方に適用されるかどうかを標示する情報と、
−表現の組のうちの少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を解析する、
べく、動作するように更にされる。
【０４８１】
一実施形態によれば、装置は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を復号化し、
少なくとも２つの表現のうちの第２ビデオ表現を復号化する、
べく、動作するように更にされ、
復号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１復号化されたビデオ表現と異なっており、１つまたは複数の特性は、第２符号化ビデオ表現が、予測のための１つまたは複数の基準ピクチャとして第１符号化ビデオ表現の１つまたは複数の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している。
【０４８２】
一実施形態によれば、装置は、
第１ビデオ表現から、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを復号化する、
べく、動作するように更にされる。
【０４８３】
一実施形態によれば、装置は、
コンテナフォーマットの第１トラック識別子をエンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャと関連付け、
コンテナフォーマットの第１トラック識別子を第２ビデオ表現と関連付ける、
べく、動作するように更にされる。
【０４８４】
第８実施形態によれば、装置によって使用されるべくコードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
メディア提示記述から、少なくとの２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
べく、動作するようにする。
【０４８５】
第９実施形態によれば、画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダを有する装置が提供され、ビデオデコーダは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析する手段と、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する手段と、
を有する。
【０４８６】
第１０実施形態によれば、画像シーケンスを有するビットストリームを復号化するように構成されたビデオデコーダが提供され、前記ビデオデコーダは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
メディア提示記述から、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を解析する、
ように、更に構成されている。
【０４８７】
第１１実施形態による方法は、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供するステップと、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供するステップと、
を有する。
【０４８８】
一実施形態によれば、１つまたは複数の特性は、
−シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−シーケンスが準拠している準拠ポイントと、
−シーケンスを復号化するときにターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−シーケンス内に含まれる層識別子値と、
−シーケンス内に含まれる必要な層の層識別子値と、
−シーケンス内に含まれる出力層の層識別子値と、
−シーケンスによって表されている代替出力層に関する情報と、
−シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−シーケンス内に含まれる層のスケーラビリティ識別子値と、
−シーケンスを復号化するために必要とされるまたは示唆される黙示的基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する。
【０４８９】
一実施形態によれば、方法は、
メディア提示記述を解析するときに解析が必要とされない補完構造内において１つまたは複数の特性を提供するステップ、
を更に有する。
【０４９０】
一実施形態によれば、方法は、
１つまたは複数の特性との関連において、
−１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、あるいは、これらの両方に適用されるかどうかを標示する情報と、
−表現の組のうちの少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を提供するステップ、
を更に有する。
【０４９１】
一実施形態による方法は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化するステップと、
少なくとも２つの表現のうちの第２ビデオ表現を符号化するステップと、
を更に有し、
符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している。
【０４９２】
一実施形態による方法であって、方法は、
第１ビデオ表現内に、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを符号化するステップ、
を更に有する。
【０４９３】
一実施形態による方法であって、方法は、
コンテナフォーマットの第１トラック識別子をエンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャと関連付けるステップと、
コンテナフォーマットの第１トラック識別子を第２ビデオ表現と関連付けるステップと、
を更に有する。
【０４９４】
一実施形態によれば、
エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャは、スキップピクチャである。
【０４９５】
第１２実施形態による装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくとも１つのメモリには、コードが保存されており、コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
べく、動作するようにする。
【０４９６】
一実施形態によれば、１つまたは複数の特性は、
−シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−シーケンスが準拠している準拠ポイントと、
−シーケンスを復号化するときにターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−シーケンス内に含まれる層識別子値と、
−シーケンス内に含まれる必要な層の層識別子値と、
−シーケンス内に含まれる出力層の層識別子値と、
−シーケンスによって表されている代替出力層に関する情報と、
−シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたは複数のその他のパラメータセットと、
−シーケンス内に含まれる層のスケーラビリティ識別子値と、
−シーケンスを復号化するために必要とされるまたは示唆される黙示的基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する。
【０４９７】
一実施形態によれば、装置は、
メディア提示記述を解析するときに解析が必要とされない補完構造内において１つまたは複数の特性を提供する、
べく、動作すように更にされる。
【０４９８】
一実施形態によれば、装置は、
１つまたは複数の特性との関連において、
−１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、あるいは、これらの両方に適用されるかどうかを標示する情報と、
−表現の組うちの少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を提供する、
べく、動作するように更にされる。
【０４９９】
一実施形態によれば、装置は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化し、
少なくとも２つの表現のうちの第２ビデオ表現を符号化する
べく、動作するように更にされ、
符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している。
【０５００】
一実施形態によれば、装置は、
第１ビデオ表現内に、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを符号化する、
べく、動作するように更にされる。
【０５０１】
一実施形態によれば、装置は、
コンテナフォーマットの第１トラック識別子をエンハンス層内の少なくとも１つのイントラランラムアクセスポイントピクチャと関連付け、
コンテナフォーマットの第１トラック識別子を第２ビデオ表現と関連付ける、
べく、動作するように更にされる。
【０５０２】
一実施形態によれば、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャは、スキップピクチャである。
【０５０３】
第１３実施形態によれば、装置によって使用されるべくコードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
べく、動作するようにする。
【０５０４】
一実施形態によれば、１つまたは複数の特性は、
−シーケンスが準拠しているコーデックまたは符号化フォーマットと、
−シーケンスが準拠している準拠ポイントと、
−シーケンスを復号化するときにターゲット出力層セットインデックスとして使用されうる出力層セットインデックスと、
−シーケンスを復号化するときに使用されうる最大時間的サブ層識別子と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、イントラランダムアクセスポイントピクチャである、標示と、
−シーケンスのアクセスユニットが、１つの層または２つの層を有しているかどうかの標示であって、この場合に、２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラランダムアクセスポイントピクチャである、標示と、
−シーケンス内に含まれる層識別子値と、
−シーケンス内に含まれる必要な層の層識別子値と、
−シーケンス内に含まれる出力層の層識別子値と、
−シーケンスによって表されている代替出力層に関する情報と、
−シーケンスを復号化するときに活性化されうる１つまたは複数のビデオパラメータセットと、
−シーケンスを復号化するときに活性化されうる、シーケンスパラメータセットおよび／またはピクチャパラメータセットなどの、１つまたはその他の複数のパラメータセットと、
−シーケンス内に含まれる層のスケーラビリティ識別子値と、
−シーケンスを復号化するために必要とされるまたは示唆される黙示的基準ピクチャリサンプリングに関係する情報と、
のうちの任意のサブセットを有する。
【０５０５】
一実施形態によれば、装置は、
メディア提示記述を解析するときに解析が必要とされない補完構造内において１つまたは複数の特性を提供する、
べく、動作するように更にされる。
【０５０６】
一実施形態によれば、装置は、
１つまたは複数の特性との関連において、
−１つまたは複数の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、あるいは、これらの両方に適用されるかどうかを標示する情報と、
−表現の組のうちの少なくとも２つの表現の識別情報と、
という情報のうちの１つまたは両方を提供する、
べく、動作するように更にされる。
【０５０７】
一実施形態によれば、装置は、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化し、
少なくとも２つの表現のうちの第２ビデオ表現を符号化する、
べく、動作するように更にされ、
符号化された第２表現は、クロマフォーマット、サンプルビット深度、色域、空間分解能のうちの１つまたは複数において、第１符号化ビデオ表現と異なっており、情報は、第２符号化ビデオ表現が、予測のために使用されうる基準ピクチャとして第１符号化ビデオ表現の処理済み復号化ピクチャを使用することにより、復号化されうるかどうかを標示している。
【０５０８】
一実施形態によれば、装置は、
第１ビデオ表現内に、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャを符号化する、
べく、動作するように更にされる。
【０５０９】
一実施形態によれば、装置は、
コンテナフォーマットの第１トラック識別子をエンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャと関連付け、
コンテナフォーマットの第１トラック識別子を第２ビデオ表現と関連付ける、
べく、動作するように更にされる。
【０５１０】
一実施形態によれば、エンハンス層内の少なくとも１つのイントラランダムアクセスポイントピクチャは、スキップピクチャである。
【０５１１】
第１４実施形態によれば、画像シーケンスを有するビットストリームを符号化するように構成されたビデオエンコーダを有する装置が提供され、ビデオエンコーダは、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供する手段と、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する手段と、
を有する。
【０５１２】
第１５実施形態によれば、画像シーケンスを有するビットストリームを復号化するように構成されたビデオエンコーダが提供され、前記ビデオエンコーダは、
メディア提示記述内において、少なくとも２つの表現のメタデータを提供し、
メディア提示記述内において、少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つまたは複数の特性を提供する、
ように、更に構成されている。
【０５１３】
第１６実施形態による方法は、
第１表現として、ピクチャデータユニットを有するビットストリームを受信するステップと、
第１スイッチングポイントにおいて第１表現の送信を中断するように決定するステップと、
第１スイッチングポイントまで第１表現に関するピクチャデータユニットを送信するステップであって、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータユニットを含む、ステップと、
を有する。
【０５１４】
第１７実施形態によれば、装置が提供され、装置は、
少なくとも１つのプロセッサおよび少なくとも１つのメモリを有し、前記少なくと１つのメモリは、コードが保存されており、コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置が、少なくとも、
第１表現として、ピクチャデータユニットを有するビットストリームを受信し、
第１スイッチングポイントにおいて第１表現の送信を中断するように決定し、
第１スイッチングポイントまで第１表現に関するピクチャデータユニットを送信し、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータユニットを含む、
べく、動作するようにする。
【０５１５】
第１８実施形態によれば、装置によって使用されるべくコードが保存されたコンピュータ可読ストレージメディアが提供され、コードは、プロセッサによって実行されたときに、装置が、
第１表現として、ピクチャデータユニットを有するビットストリームを受信し、
第１スイッチングポイントにおいて第１表現の送信を中断するように決定し、
第１スイッチングポイントまで第１表現に関するピクチャデータユニットを送信し、前記ピクチャデータユニットは、前記第１スイッチングポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータユニットを含む、
べく、動作するようにする。
【図１】
2018507591.tif 000004
【図２】
2018507591.tif 000005
【図３】
2018507591.tif 000006
【図４】
2018507591.tif 000007
【図５】
2018507591.tif 000008
【図６】
2018507591.tif 000009
【図７】
2018507591.tif 000010
【図８ａ】
2018507591.tif 000011
【図８ｂ】
2018507591.tif 000012
【図８ｃ】
2018507591.tif 000013
【図８ｄ】
2018507591.tif 000014
【図８ｅ】
2018507591.tif 000015
【図９ａ】
2018507591.tif 000016
【図９ｂ】
2018507591.tif 000017
【図９ｃ】
2018507591.tif 000018
【図９ｄ】
2018507591.tif 000019
【図１０】
2018507591.tif 000020
【図１１】
2018507591.tif 000021
【図１２】
2018507591.tif 000022
【図１３】
2018507591.tif 000023
【手続補正書】
【提出日】平成29年8月29日(2017.8.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１符号化ビデオ表現の第１部分を復号化するステップと、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析するステップと、を含む方法であって、
前記第２符号化ビデオ表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、前記第１符号化ビデオ表現と異なっており、
前記情報は、前記第２符号化ビデオ表現が、予測のために使用できる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化できるかどうかを示しており、
前記情報が、前記第２符号化ビデオ表現が、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化できることを示す場合に、前記方法は、
前記第１部分の１つ以上の復号化ピクチャを１つ以上の処理済み復号化ピクチャに処理するステップであって、該処理するステップは、リサンプリングおよびサンプリング値スケーリングのうちの１つまたは両方を含む、ステップと、
予測のために使用できる基準ピクチャとして前記１つ以上の処理済み復号化ピクチャを使用して、第２ビデオ表現の第２部分を復号化するステップと、
を更に含む、方法。
【請求項２】
前記情報を含むメディア提示記述を受信するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記メディア提示記述に基づいて、前記第１符号化ビデオ表現の前記第１部分を識別する第１識別子と、前記第２符号化ビデオ表現の前記第２部分を識別する第２識別子と、を決定するステップと、
前記第１識別子を使用して前記第１部分を要求するステップと、
前記第１部分を受信するステップと、
前記第２識別子を使用して前記第２部分を要求するステップと、
前記第２部分を受信するステップと、
を更に含む、請求項２に記載の方法。
【請求項４】
前記第１識別子および前記第２識別子は、ユニフォーム・リソース識別子である、請求項３に記載の方法。
【請求項５】
前記第１符号化ビデオ表現の前記空間分解能は、基準領域に対して決定され、
前記第２符号化ビデオ表現の前記空間分解能は、予測された領域に対して決定され、
前記方法は、
前記基準領域に関する情報を、該情報が存在している場合には、受信するステップと、
前記第１符号化ビデオ表現のピクチャのエリア全体をカバーするように、前記基準領域を決定するステップと、
前記予測された領域に関する情報を、該情報が存在している場合には、受信するステップと、
前記第２符号化ビデオ表現のピクチャのエリア全体をカバーするように、前記予測された領域を決定するステップと、
を更に含む、請求項１ないし４のいずれか１項に記載の方法。
【請求項６】
前記１つ以上の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一のクロマ・フォーマットおよびビット深度を有する、請求項１ないし５のいずれか１項に記載の方法。
【請求項７】
前記１つ以上の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一の空間分解能を有する、請求項１ないし６のいずれか１項に記載の方法。
【請求項８】
前記第２符号化ビデオ表現が、非ベース層に属し、独立して復号化可能であるという情報を受信し、解析するステップを更に含む、請求項１ないし７のいずれか１項に記載の方法。
【請求項９】
アクセス・ユニットが、２つを上回らない数のピクチャを含み、
アクセス・ユニットが２つのピクチャを含むときに、より高位の層に属する前記ピクチャは、イントラ・ランダム・アクセス・ポイント・ピクチャであり、
該イントラ・ランダム・アクセス・ポイント・ピクチャは、予測のための基準として、同一層における以前のピクチャを使用しないが、しかし、予測のための基準として、同一のアクセス・ユニットにおける、より低位の層内のピクチャを使用することができるという制限を有する、スケーラブル・ビデオ符号化プロファイルに適合したビットストリームから前記第１符号化ビデオ表現の前記第１部分および前記第２符号化ビデオ表現の前記第２部分の情報を受信し、解析するステップ
を更に含む、請求項１ないし８のいずれか１項に記載の方法。
【請求項１０】
少なくとも１つのプロセッサと、少なくとも１つのメモリとを備える装置であって、
該少なくとも１つのメモリは、コードを格納しており、
該コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置に、少なくとも、
第１符号化ビデオ表現の第１部分を復号化させ、
第２符号化ビデオ表現の復号化に関する情報を受信させ、構文解析させ、
ここで、前記第２符号化ビデオ表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、前記第１符号化ビデオ表現と異なっており、
前記情報は、前記第２符号化ビデオ表現を、予測のために使用できる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化できるかどうかを示しており、
前記情報が、前記第２符号化ビデオ表現が、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化できることを示している場合に、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、
前記装置に、更に、
前記第１部分の１つ以上の復号化ピクチャを、１つ以上の処理済み復号化ピクチャへと処理させ、
ここで、該処理は、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を含み、
予測のために使用できる基準ピクチャとして前記１つ以上の処理済み復号化ピクチャを使用して、第２ビデオ表現の第２部分を復号化させる、
装置。
【請求項１１】
前記コードは、前記装置に、更に、前記情報を含むメディア提示記述を受信させる、請求項１０に記載の装置。
【請求項１２】
前記コードは、前記装置に、更に、
前記メディア提示記述に基づいて、前記第１符号化ビデオ表現の前記第１部分を識別する第１識別子と、前記第２符号化ビデオ表現の前記第２部分を識別する第２識別子と、を決定させ、
前記第１識別子を使用して前記第１部分を要求させ、
前記第１部分を受信させ、
前記第２識別子を使用して前記第２部分を要求させ、
前記第２部分を受信させる、
請求項１１に記載の装置。
【請求項１３】
前記第１識別子および前記第２識別子は、ユニフォーム・リソース識別子である、請求項１２に記載の装置。
【請求項１４】
前記第１符号化ビデオ表現の前記空間分解能は、基準領域に対して決定され、
前記第２符号化ビデオ表現の前記空間分解能は、予測された領域に対して決定され、
前記コードは、前記装置に、更に、
前記基準領域に関する情報が存在するならば、前記基準領域に関する情報を受信させ、
前記第１符号化ビデオ表現のピクチャのエリア全体をカバーするために、前記基準領域を決定させ、
前記基準領域に関する情報が存在するならば、前記予測された領域に関する情報を受信させ、
前記第２符号化ビデオ表現のピクチャのエリア全体をカバーするように、前記予測された領域を決定させる、
請求項１０ないし１３のいず１項に記載の装置。
【請求項１５】
前記１つ以上の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一のクロマ・フォーマットおよびビット深度を有する、請求項１０ないし１４のいずれか１項に記載の装置。
【請求項１６】
前記１つ以上の処理済み復号化ピクチャは、前記第２符号化ビデオ表現のピクチャと同一の空間分解能を有する、請求項１０ないし１５のいずれか１項に記載の装置。
【請求項１７】
前記コードは、前記装置に、更に、前記第２符号化ビデオ表現が、非ベース層に属し、
独立に復号化可能であるという情報を受信し、解析させる、請求項１０ないし１６のいずれか１項に記載の装置。
【請求項１８】
前記コードは、前記装置に、更に、アクセス・ユニットが、２つを超えない数のピクチャを含み、
アクセス・ユニットが２つのピクチャを含むときに、より高位の層に属する前記ピクチャは、イントラ・ランダム・アクセス・ポイント・ピクチャであり、
該イントラ・ランダム・アクセス・ポイント・ピクチャは、予測のための基準として同一層における以前のピクチャを使用しないが、しかし、予測のための基準として同一のアクセス・ユニットにおける、より低位の層の内のピクチャを使用することができるとの制限を有する、スケーラブルなビデオ符号化プロファイルに適合したビットストリームから、前記第１符号化ビデオ表現の前記第１部分および前記第２符号化ビデオ表現の前記第２部分の情報を受信し、解析させる、
請求項１０ないし１７のいずれか１項に記載の装置。
【請求項１９】
装置による使用のためのコードを格納したコンピュータ可読ストレージ・メディアであって、
前記コードは、プロセッサによって実行されたときに、前記装置に、
第１符号化ビデオ表現の第１部分を復号化させ、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析させ、
ここで、前記第２符号化ビデオ表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、前記第１符号化ビデオ表現と異なっており、
前記情報は、前記第２符号化ビデオ表現を、予測のために使用することができる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化することができるかどうかを示しており、
前記情報が、前記第２符号化ビデオ表現を、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化することができることを標示する場合には、前記コードは、前記少なくとも１つのプロセッサによって実行されたときに、
更に、前記装置に、前記第１部分の１つ以上の復号化ピクチャを、１つ以上の処理済み復号化ピクチャに処理させ、
ここで、該処理は、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を含み、
予測のために使用できる基準ピクチャとして前記１つ以上の処理済み復号化ピクチャを使用して、第２ビデオ表現の第２部分を復号化させる、
コンピュータ可読ストレージ・メディア。
【請求項２０】
画像シーケンスを含むビットストリームを復号化ために構成されたビデオ・デコーダを備える装置であって、
該ビデオ・デコーダは、
第１符号化ビデオ表現の第１部分を復号化する手段と、
第２符号化ビデオ表現の復号化に関する情報を受信し、解析する手段と、
を備え、
ここで、前記第２符号化ビデオ表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、前記第１符号化ビデオ表現と異なっており、
前記情報は、前記第２符号化ビデオ表現を、予測のために使用できる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化することができるかどうかを示しており、
前記装置は、
前記情報が、前記第２符号化ビデオ表現を、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化できることを標示する場合には、１つ以上の処理済み復号化ピクチャへと、前記第１部分の１つ以上の復号化ピクチャを処理する手段であって、該処理は、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を含む、手段と、
予測のために使用できる基準ピクチャとして前記１つ以上の処理済み復号化ピクチャを使用して、第２ビデオ表現の第２部分を復号化する手段と、
を更に備える、装置。
【請求項２１】
画像シーケンスを含むビットストリームを復号化するために構成されたビデオ・デコーダであって、
該ビデオ・デコーダは、第１符号化ビデオ表現の第１部分を復号化し、第２符号化ビデオ表現の復号化に関する情報を受信し、解析する、ように、更に構成され、
前記第２符号化ビデオ表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、前記第１符号化ビデオ表現と異なっており、
前記情報は、前記第２符号化ビデオ表現を、予測のために使用できる基準ピクチャとして前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化できるかどうかを示しており、
前記情報が、前記第２符号化ビデオ表現を、予測のための基準として前記第１符号化ビデオ表現の処理済み復号化ピクチャを使用して、復号化できることを標示する場合には、前記復号化の方法は、
前記第１部分の１つ以上の復号化ピクチャを１つ以上の処理済み復号化ピクチャに処理するステップであって、該処理するステップは、リサンプリングおよびサンプル値スケーリングのうちの１つまたは両方を含む、ステップと、
予測のために使用できる基準ピクチャとして前記１つ以上の処理済み復号化ピクチャを使用して、第２ビデオ表現の第２部分を復号化するステップと、
を更に含む、
ビデオ・デコーダ。
【請求項２２】
メディア提示記述から、少なくとも２つの表現のメタデータを解析するステップと、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を解析するステップと、
を含む方法。
【請求項２３】
前記１つ以上の特性は、
前記シーケンスが適合しているコーデックまた符号化フォーマットと、前記シーケンスが適合している適合ポイントと、
前記シーケンスを復号化するときにターゲット出力層セット・インデックスとして使用されることができる出力層セット・インデックスと、
前記シーケンスを復号化するときに使用できる最大時間的サブ層識別子と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスに含まれた層識別子値と、
前記シーケンスに含まれた必要な層の層識別子値と、
前記シーケンス内に含まれた出力層の層識別子値と、
前記シーケンスによって表された代替出力層に関する情報と、
前記シーケンスを復号化するときに活性化されることができるビデオ・パラメータ・セットと、
前記シーケンスを復号化するときに、活性化されることができるシーケンス・パラメータ・セット、および／または、ピクチャ・パラメータ・セットなどの、他のパラメータ・セットと、
前記シーケンスに含まれる前記層のスケーラビリティ識別子値と、
前記シーケンスを復号化するために要求される、または、示唆される暗黙の基準ピクチャ・リサンプリングに関係した情報と、
の任意のサブセットを含む、
請求項２２に記載の方法。
【請求項２４】
前記方法は、更に、補完構造から前記１つ以上の特性を解析するステップを含む、請求項２２または２３に記載の方法。
【請求項２５】
前記方法は、
前記１つ以上の特性との関連において、前記１つ以上の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、または、両方に適用されるかどうかを示す情報と、表現のセットのなかの前記少なくとも２つの表現の識別情報と、の情報のうちの１つ、または、両方を解析するステップ
を更に含む、請求項２２、２３、または、２４に記載の方法。
【請求項２６】
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を復号化するステップと、
前記少なくとも２つの表現のうちの第２ビデオ表現を復号化するステップと、
を更に含み、
前記復号化された第２表現は、クロマ・フォーマット、サンプル・ビット深さ、色域、空間分解能のうちの１つ以上において、復号化された前記第１ビデオ表現と異なっており、
前記１つ以上の特性は、前記第２ビデオ表現を、予測のための１つ以上の基準ピクチャとして前記第１ビデオ表現の１つ以上の処理された復号化ピクチャを使用して、復号化できるかどうかを標示する、
請求項２２ないし２５のいずれか１項に記載の方法。
【請求項２７】
前記第１ビデオ表現から、エンハンス層における少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャを復号化するステップを更に含む、請求項２６に記載の方法。
【請求項２８】
コンテナフォーマットの第１トラック識別子を前記エンハンス層における前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャと結びつけるステップと、
前記コンテナフォーマットの前記第１トラック識別子を、前記第２ビデオ表現と結びつけるステップと、
を更に含む、請求項２７に記載の方法。
【請求項２９】
少なくとも１つのプロセッサと、少なくとも１つのメモリとを備える装置であって、
該少なくとも１つのメモリは、コードを格納しており、
該コードは、前記少なくとも１つのプロセッサによって実行されたとき、装置に、少なくとも、
メディア提示記述から、少なくとも２つの表現のメタデータを解析させ、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメント、または、サブセグメントのシーケンスを復号化するための１つ以上の特性を解析させる、
装置。
【請求項３０】
前記１つ以上の特性は、
前記シーケンスが適合しているコーデックまたは符号化フォーマットと、
前記シーケンスが適合している適合ポイントと、
前記シーケンスを復号化するときに、ターゲット出力層セット・インデックスとして使用できる出力層セット・インデックスと、
前記シーケンスを復号化するときに使用できる最大時間的サブ層識別子と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスに含まれる層識別子値と、
前記シーケンスに含まれる必要な層の層識別子値と、
前記シーケンスに含まれる出力層の層識別子値と、
前記シーケンスにより表される代替出力層に関する情報と、
前記シーケンスを復号化するときに活性化することができるビデオ・パラメータ・セットと、
前記シーケンスを復号化するときに活性化することができる、シーケンス・パラメータ・セットおよび／またはピクチャ・パラメータ・セットなどの他のパラメータ・セットと、
前記シーケンスに含まれる前記層のスケーラビリティ識別子値と、
前記シーケンスを復号化するために要求される、または、示唆される暗黙の基準ピクチャ・リサンプリングに関係する情報と、
の任意のサブセットを含む、
請求項２９に記載の装置。
【請求項３１】
前記コードは、前記装置に、更に、前記１つ以上の特性を補完構造から解析させる、請求項２９または３０に記載の装置。
【請求項３２】
前記コードは、前記装置に、更に、
前記１つ以上の特性が、オーバーラップしていない連続的セグメントのシーケンス、
オーバーラップしていない連続的サブセグメントのシーケンス、または両方に適用されるかどうかを示す情報と、表現のセットのうちの前記少なくとも２つの表現の識別と、
の前記１つ以上の特性と関連する情報のうちの１つまたは両方を解析させる、
請求項２９、３０、または、３１に記載の装置。
【請求項３３】
前記コードは、前記装置に、更に、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を復号化させ、
前記少なくとも２つの表現のうちの第２ビデオ表現を復号化させ、
前記復号化された第２表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、復号化された前記第１ビデオ表現と異なっており、
前記１つ以上の特性は、前記第２ビデオ表現を、予測のための１つ以上の基準ピクチャとして前記第１ビデオ表現の１つ以上の処理済み復号化ピクチャを使用して、復号化できるかどうかを示す、
請求項２９ないし３２のいずれか１項に記載の装置。
【請求項３４】
前記コードは、前記装置に、更に、前記第１ビデオ表現から、エンハンス層内における、少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャを復号化させる、請求項３３に記載の装置。
【請求項３５】
前記コードは、前記装置に、更に、
コンテナフォーマットの第１トラック識別子を前記エンハンス層における前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャに結びつけさせ、
前記コンテナフォーマットの前記第１トラック識別子を前記第２ビデオ表現に結びつけさせる、
請求項３４に記載の装置。
【請求項３６】
装置による使用のためにコードを格納するコンピュータ可読ストレージ・メディアであって、
前記コードは、プロセッサによって実行されたとき、前記装置に、
メディア提示記述から、少なくとも２つの表現のメタデータを解析させ、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を解析させる、
コンピュータ可読ストレージ・メディア。
【請求項３７】
画像シーケンスを含むビットストリームを復号化するために構成されたビデオ・デコーダを備える装置であって、
該ビデオ・デコーダは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析する手段と、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を解析する手段と、を備える、
装置。
【請求項３８】
画像シーケンスを含むビットストリームを復号化するための構成されたビデオ・デコーダであって、
該ビデオ・デコーダは、
メディア提示記述から、少なくとも２つの表現のメタデータを解析し、
前記メディア提示記述から、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を解析するために、
更に構成されている、ビデオ・デコーダ。
【請求項３９】
メディア提示記述内において、少なくとも２つの表現のメタデータを提供するステップと、
前記メディア提示記述において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を提供するステップと、
を含む方法。
【請求項４０】
前記１つ以上の特性は、
前記シーケンスが適合しているコーデックまたは符号化フォーマットと、
前記シーケンスが適合している適合ポイントと、
前記シーケンスを復号化するときに、ターゲット出力層セット・インデックスとして使用できる出力層セット・インデックスと、
前記シーケンスを復号化するときに使用できる最大時間的サブ層識別子と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスに含まれる層識別子値と、
前記シーケンスに含まれる必要な層の層識別子値と、
前記シーケンスに含まれる出力層の層識別子値と、
前記シーケンスによって表されている代替出力層に関する情報と、
前記シーケンスを復号化するときに活性化できる１つ以上のビデオ・パラメータ・セットと、
前記シーケンスを復号化するときに活性化できる、シーケンス・パラメータ・セットおよび／またはピクチャ・パラメータ・セットなどの、他のパラメータ・セットと、
前記シーケンスに含まれる前記層のスケーラビリティ識別子値と、
前記シーケンスを復号化するために要求されるまたは示唆される暗黙の基準ピクチャ・リサンプリングに関係する情報と、
の任意のサブセットを含む、
請求項３９に記載の方法。
【請求項４１】
前記方法は、前記メディア提示記述を解析するときに、解析することを要求されない補完的構造における前記１つ以上の特性を提供するステップを更に含む、請求項３９または４０に記載の方法。
【請求項４２】
前記方法は、
前記１つ以上の特性との関連において、前記１つ以上の特性が、
オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、または両方に適用されるかどうかを標示する情報と、
表現のセットのうちの前記少なくとも２つの表現の識別情報と、
の情報のうちの１つまたは両方を提供するステップ
を更に含む、請求項３９、４０、または、４１に記載の方法。
【請求項４３】
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化するステップと、
前記少なくとも２つの表現のうちの第２ビデオ表現を符号化するステップと、
を更に含み、
符号化された前記第２ビデオ表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、符号化された前記第１ビデオ表現と異なっており、
前記情報は、符号化された前記第２ビデオ表現を、予測のために使用できる基準ピクチャとして符号化された前記第１ビデオ表現の処理済み復号化ピクチャを使用して、復号化できるかどうかを示している、
請求項４０または４２に記載の方法。
【請求項４４】
前記第１ビデオ表現に、エンハンス層における少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャを符号化するステップを更に含む、請求項４３に記載の方法。
【請求項４５】
コンテナフォーマットの第１トラック識別子を、前記エンハンス層における前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャに結びつけるステップと、
前記コンテナフォーマットの前記第１トラック識別子を、前記第２ビデオ表現に結びつけるステップと、
を更に含む、請求項４４に記載の方法。
【請求項４６】
エンハンス層における前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャは、スキップ・ピクチャである、請求項３９ないし４５のいずれか１項に記載の方法。
【請求項４７】
少なくとも１つのプロセッサと、少なくとも１つのメモリとを備える装置であって、
前記少なくとも１つのメモリは、コードを格納し、
該コードは、前記少なくとも１つのプロセッサによって実行されたときに、装置に、少なくとも、
メディア提示記述において、少なくとも２つの表現のメタデータを提供させ、
前記メディア提示記述において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメント、または、サブセグメントのシーケンスを復号化するための１つ以上の特性を提供させる、
装置。
【請求項４８】
前記１つ以上の特性は、
前記シーケンスが適合しているコーデックまたは符号化フォーマットと、
前記シーケンスが適合している適合ポイントと、
前記シーケンスを復号化するときにターゲット出力層セット・インデックスとして使用することができる出力層セット・インデックスと、
前記シーケンスを復号化するときに使用することができる最大時間的サブ層識別子と、
前記シーケンスのアクセス・ユニットが、１つまたは２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスに含まれる層識別子値と、
前記シーケンスに含まれる必要な層の層識別子値と、
前記シーケンスに含まれる出力層の層識別子値と、
前記シーケンスによって表されている代替出力層に関する情報と、
前記シーケンスを復号化するときに活性化できるビデオ・パラメータ・セットと、
前記シーケンスを復号化するときに、活性化できる、シーケンス・パラメータ・セットおよび／またはピクチャ・パラメータ・セットなどの、他のパラメータ・セットと、
前記シーケンスに含まれる前記層のスケーラビリティ識別子値と、
前記シーケンスを復号化するために要求されるまたは示唆される暗黙の基準ピクチャ・リサンプリングに関係する情報と、
の任意のサブセットを含む、
請求項４７に記載の装置。
【請求項４９】
前記コードは、前記装置に、更に、前記メディア提示記述を解析するとき、解析が要求されない補完構造内において、前記１つ以上の特性を提供させ、させる、請求項４７または４８に記載の装置。
【請求項５０】
前記コードは、前記装置に、更に、前記１つ以上の特性と関連した、前記１つ以上の特性が、
オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、または両方に適用されるかどうかを示す情報と、
表現のセットのうちの前記少なくとも２つの表現の識別情報と、
の情報のうちの１つ、または、両方を提供させる、
請求項４７、４８、または、４９に記載の装置。
【請求項５１】
前記コードは、前記装置に、更に、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化させ、
前記少なくとも２つの表現のうちの第２ビデオ表現を符号化させ、
符号化された前記第２ビデオ表現は、クロマ・フォーマット、サンプル・ビット深度、色域、空間分解能のうちの１つ以上において、符号化された前記第１ビデオ表現と異なっており、前記情報は、符号化された前記第２ビデオ表現を、予測のために使用できる基準ピクチャとして符号化された前記第１ビデオ表現の処理済み復号化ピクチャを使用して、復号化できるかどうかを示している、
請求項４８または５０に記載の装置。
【請求項５２】
前記コードは、前記装置に、更に、前記第１ビデオ表現に、エンハンス層における少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャを符号化させる、請求項５１に記載の装置。
【請求項５３】
前記コードは、前記装置に、更に、
コンテナフォーマットの第１トラック識別子を、前記エンハンス層における前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャに結びつけさせ、
前記コンテナフォーマットの前記第１トラック識別子を、前記第２ビデオ表現に結びつけさせる、
請求項５２に記載の装置。
【請求項５４】
エンハンス層内の前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャは、スキップ・ピクチャである、請求項４７ないし５３のいずれか１項に記載の装置。
【請求項５５】
装置による使用のためにコードを格納するコンピュータ可読ストレージ・メディアであって、
前記コードは、プロセッサによって実行されたときに、前記装置に、
メディア提示記述において、少なくとも２つの表現のメタデータを提供させ、
前記メディア提示記述において、前記少なくとも２つの表現の、オーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を提供させる、
コンピュータ可読ストレージ・メディア。
【請求項５６】
前記１つ以上の特性は、
前記シーケンスが適合しているコーデックまたは符号化フォーマットと、
前記シーケンスが適合している適合ポイントと、
前記シーケンスを復号化するときにターゲット出力層セット・インデックスとして使用できる出力層セット・インデックスと、
前記シーケンスを復号化するときに使用できる最大時間的サブ層識別子と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、イントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスのアクセス・ユニットが、１つの層または２つの層を含むかどうかの標示であって、前記２つの層のうちのより高位の層のピクチャは、予測誤差が符号化されないイントラ・ランダム・アクセス・ポイント・ピクチャである、標示と、
前記シーケンスに含まれる層識別子値と、
前記シーケンスに含まれる必要な層の層識別子値と、
前記シーケンスに含まれる出力層の層識別子値と、
前記シーケンスによって表されている代替出力層に関する情報と、
前記シーケンスを復号化するときに活性化できるビデオ・パラメータ・セットと、
前記シーケンスを復号化するときに活性化できる、シーケンス・パラメータ・セットおよび／またはピクチャ・パラメータ・セットなどの、他のパラメータ・セットと、
前記シーケンスに含まれる前記層のスケーラビリティ識別子値と、
前記シーケンスを復号化するために要求されるまたは示唆される暗黙の基準ピクチャ・リサンプリングに関係する情報と、
の任意のサブセットを含む、
請求項５５に記載のコンピュータ可読ストレージ・メディア。
【請求項５７】
前記コードは、前記装置に、更に、前記メディア提示記述を解析するときに解析が要求されない補完構造において前記１つ以上の特性を提供させる、請求項５５または５６に記載のコンピュータ可読ストレージ・メディア。
【請求項５８】
前記コードは、前記装置に、更に、
前記１つ以上の特性に関連して、前記１つ以上の特性が、オーバーラップしていない連続的セグメントのシーケンス、オーバーラップしていない連続的サブセグメントのシーケンス、または、両方に適用されるかどうかを示す情報と、
表現のセットのうちの前記少なくとも２つの表現の識別情報と、
の情報のうちの１つ、または、両方を提供させる、
請求項５５、５６、または、５７に記載のコンピュータ可読ストレージ・メディア。
【請求項５９】
前記コードは、前記装置に、更に、
少なくとも２つの表現のうちの第１ビデオ表現の第１部分を符号化させ、
前記少なくとも２つの表現のうちの第２ビデオ表現を符号化させ、
前記符号化された第２ビデオ表現は、クロマ・フォーマット、サンブル・ビット深度、色域、空間分解能のうちの１つ以上において、符号化された前記第１ビデオ表現と異なっており、
前記情報は、符号化された前記第２ビデオ表現を、予測のために使用できる基準ピクチャとして符号化された前記第１ビデオ表現の処理済み復号化ピクチャを使用して、復号化できるかどうかを示す、
請求項５６または５８のいずれか１項に記載のコンピュータ可読ストレージ・メディア。
【請求項６０】
前記コードは、前記装置に、更に、前記第１ビデオ表現に、エンハンス層における少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャを符号化する、させる、請求項５９に記載のコンピュータ可読ストレージ・メディア。
【請求項６１】
前記コードは、前記装置に、更に、
コンテナフォーマットの第１トラック識別子を、前記エンハンス層における前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャに結びつけさせ、
前記コンテナフォーマットの前記第１トラック識別子を、前記第２ビデオ表現に結びつけさせる、
請求項６０に記載のコンピュータ可読ストレージ・メディア。
【請求項６２】
エンハンス層における前記少なくとも１つのイントラ・ランダム・アクセス・ポイント・ピクチャは、スキップ・ピクチャである、請求項５５ないし６１のいずれか１項に記載のコンピュータ可読ストレージ・メディア。
【請求項６３】
画像シーケンスを含むビットストリームを符号化するために構成されたビデオ・エンコーダを備える装置であって、
該ビデオ・エンコーダは、
メディア提示記述において、少なくとも２つの表現のメタデータを提供する手段と、
前記メディア提示記述において、前記少なくとも２つの表現のオーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を提供する手段と、を備える、
装置。
【請求項６４】
画像シーケンスを含むビットストリームを復号化するように構成されたビデオ・エンコーダであって、
前記ビデオ・エンコーダは、
メディア提示記述において、少なくとも２つの表現のメタデータを提供し、
前記メディア提示記述において、前記少なくとも２つの表現の、オーバーラップしていない連続的セグメントまたはサブセグメントのシーケンスを復号化するための１つ以上の特性を提供する
ように更に構成される、ビデオ・エンコーダ。
【請求項６５】
第１表現として、ピクチャ・データ・ユニットを含むビットストリームを受信するステップと、
第１スイッチング・ポイントにおいて前記第１表現の送信を中断すると決定するステップと、
前記第１スイッチング・ポイントまで前記第１表現に関するピクチャ・データ・ユニットを送信するステップであって、前記ピクチャ・データ・ユニットは、前記第１スイッチング・ポイントの後に第２ビデオ表現の第２部分を復号化するとき予測のための基準として使用するのに適した少なくとも１つのデータ・ユニットを含む、ステップと、を含む方法。
【請求項６６】
少なくとも１つのプロセッサと、少なくとも１つのメモリとを備える装置であって、
該少なくとも１つのメモリには、コードが格納され、
該コードは、該少なくとも１つのプロセッサによって実行されたとき、該装置に、
第１表現として、ピクチャ・データ・ユニットを含むビットストリームを受信させ、
第１スイッチング・ポイントにおいて前記第１表現の送信を中断すると決定させ、
前記第１スイッチング・ポイントまで前記第１表現に関するピクチャ・データ・ユニットを送信させ、
前記ピクチャ・データ・ユニットは、前記第１スイッチング・ポイントの後に第２ビデオ表現の第２部分を復号化するときに予測用の基準として使用されるのに適した少なくとも１つのデータ・ユニットを含む、
装置。
【請求項６７】
装置による使用のために、コードが格納されたコンピュータ可読ストレージ・メディアであって、
前記コードは、プロセッサによって実行されたとき、前記装置に、
第１表現として、ピクチャ・データ・ユニットを含むビットストリームを受信させ、
第１スイッチング・ポイントにおいて前記第１表現の送信を中断すると決定させ、
前記第１スイッチング・ポイントまで前記第１表現に関するピクチャ・データ・ユニットを送信させ、
前記ピクチャ・データ・ユニットは、前記第１スイッチング・ポイントの後に第２ビデオ表現の第２部分を復号化するときに予測のための基準として使用するのに適した少なくとも１つのデータ・ユニットを含む、
コンピュータ可読ストレージ・メディア。
【国際調査報告】
2018507591.tif 000024
2018507591.tif 000025
2018507591.tif 000026
2018507591.tif 000027