(57)【特許請求の範囲】
【請求項１】
レイヤ間予測を用いて、ビデオ情報を符号化するように構成された装置であって、
複数のレイヤに関連付けられたビデオデータを記憶するように構成されたメモリと、前記複数のレイヤは、現在のレイヤと１つまたは複数の下位レイヤとを備える、
前記メモリと通信しているプロセッサとを備え、前記プロセッサが、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定することと、
決定された動き補償レイヤの前記最大数に基づいて、前記現在のレイヤ内のピクチャの前記レイヤ間予測を制限することと
を行うように構成され、
前記複数のレイヤは、少なくとも１つの参照レイヤと、少なくとも１つのエンハンスメントレイヤとを含み、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのうち、同じ時間インスタンスの各ピクチャは、１つのアクセスユニット内に備えられ、レイヤ間予測に使用され得る動き補償レイヤの前記最大数、および動き補償レイヤの前記最大数に基づくレイヤ間予測の制限は、前記アクセスユニット内の各ピクチャに関して処理される、装置。
【請求項２】
前記複数のレイヤは、ベースレイヤを備える、請求項１に記載の装置。
【請求項３】
前記プロセッサは、制約付きイントラ予測の第１のレイヤによる利用に基づいて、前記複数のレイヤのうちの前記第１のレイヤが、前記複数のレイヤのうちの第２のレイヤに基づいて予測されることを許可するようにさらに構成された、請求項１に記載の装置。
【請求項４】
前記プロセッサは、動き情報または残差情報のうちの少なくとも１つのレイヤ間予測が許可されたことに基づいて前記最大数が超えられるだろうという前記プロセッサによる判断に基づいて、動き情報または残差情報のうちの少なくとも１つのレイヤ間予測を制限するようにさらに構成された、請求項１に記載の装置。
【請求項５】
前記プロセッサは、
前記複数のレイヤのうちの第１のレイヤが、レイヤ間予測を完全に許可され、完全な復元を必要とする、と判定することと、
前記複数のレイヤのうちの第２のレイヤが、動き補償を必要としないレイヤ間予測を部分的に許可される、と判定することと、
を行うようにさらに構成された、請求項１に記載の装置。
【請求項６】
前記プロセッサは、前記第１のレイヤがレイヤ間予測を完全に許可され、完全な復元を必要とするという判定に応答して、前記現在のレイヤのテクスチャ情報のみを予測するために、前記第１のレイヤに関連付けられたビデオ情報を使用するようにさらに構成された、請求項５に記載の装置。
【請求項７】
前記プロセッサは、前記第２のレイヤが、動き補償を必要としないレイヤ間予測を部分的に許可されるという判定に応答して、前記現在のレイヤの動き情報または残差情報のみをコーディングするために、前記第２のレイヤに関連付けられたビデオ情報を使用するようにさらに構成された、請求項５に記載の装置。
【請求項８】
前記装置は、エンコーダの中に備えられる、請求項１に記載の装置。
【請求項９】
前記装置は、デコーダの中に備えられる、請求項１に記載の装置。
【請求項１０】
前記装置は、前記メモリと前記プロセッサとを備えるデジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、あるいはビデオ遠隔会議デバイスのうちの１つの中に備えられる、請求項１に記載の装置。
【請求項１１】
ビデオ情報を符号化する方法であって、
ビットストリーム中で与えられるべき複数のレイヤに関連付けられたビデオデータを受信することと、前記複数のレイヤは、現在のレイヤと１つまたは複数の下位レイヤとを備える、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定することと、
決定された動き補償レイヤの前記最大数に基づいて、前記現在のレイヤ内のピクチャの前記レイヤ間予測を制限することと
を備え、
前記複数のレイヤは、少なくとも１つの参照レイヤと、少なくとも１つのエンハンスメントレイヤとを含み、
前記複数のレイヤのうちの任意のレイヤ内のピクチャうち、同じ時間インスタンスの各ピクチャは、１つのアクセスユニット内に備えられ、レイヤ間予測に使用され得る動き補償レイヤの前記最大数、および動き補償レイヤの前記最大数に基づくレイヤ間予測の制限は、前記アクセスユニット内の各ピクチャに関して処理される、方法。
【請求項１２】
前記複数のレイヤは、ベースレイヤを備える、請求項１１に記載の方法。
【請求項１３】
制約付きイントラ予測の第１のレイヤによる利用に基づいて、前記複数のレイヤのうちの前記第１のレイヤが、前記複数のレイヤのうちの第２のレイヤに基づいて予測されることを許可することをさらに備える、請求項１１に記載の方法。
【請求項１４】
動き情報または残差情報のうちの少なくとも１つのレイヤ間予測が許可されたことに基づいて前記最大数が超えられるだろうという判断に基づいて、動き情報または残差情報のうちの少なくとも１つのレイヤ間予測を制限することをさらに備える、請求項１１に記載の方法。
【請求項１５】
前記複数のレイヤのうちの第１のレイヤが、レイヤ間予測を完全に許可され、完全な復元を必要とする、と判定することと、
前記複数のレイヤのうちの第２のレイヤが、動き補償を必要としないレイヤ間予測を部分的に許可される、と判定することと、
をさらに備える、請求項１１に記載の方法。
【請求項１６】
前記第１のレイヤがレイヤ間予測を完全に許可され、完全な復元を必要とするという判定に応答して、前記現在のレイヤのテクスチャ情報のみを予測するために、前記第１のレイヤに関連付けられたビデオ情報を使用することをさらに備える、請求項１５に記載の方法。
【請求項１７】
前記第２のレイヤが、動き補償を必要としないレイヤ間予測を部分的に許可されるという判定に応答して、前記現在のレイヤの動き情報または残差情報のみをコーディングするために、前記第２のレイヤに関連付けられたビデオ情報を使用することをさらに備える、請求項１５に記載の方法。
【請求項１８】
前記第１のレイヤは、ベースレイヤであり、前記第２のレイヤは、前記現在のレイヤのレイヤＩＤより１少ないレイヤＩＤを有する、請求項１５に記載の方法。
【請求項１９】
ビデオコーディング装置であって、
ビットストリーム中で与えられるべき複数のレイヤに関連付けられたビデオデータを記憶するための手段と、前記複数のレイヤは、現在のレイヤと１つまたは複数の下位レイヤとを備える、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定するための手段と、
決定された動き補償レイヤの前記最大数に基づいて、前記現在のレイヤ内のピクチャの前記レイヤ間予測を制限するための手段と
を備え、
前記複数のレイヤは、少なくとも１つの参照レイヤと、少なくとも１つのエンハンスメントレイヤとを含み、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのうち、同じ時間インスタンスの各ピクチャは、１つのアクセスユニット内に備えられ、レイヤ間予測に使用され得る動き補償レイヤの前記最大数、および動き補償レイヤの前記最大数に基づくレイヤ間予測の制限は、前記アクセスユニット内の各ピクチャに関して処理される、ビデオコーディング装置。
【請求項２０】
前記複数のレイヤのうちの第１のレイヤが、レイヤ間予測を完全に許可され、完全な復元を必要とする、と判定するための手段と、
前記複数のレイヤのうちの第２のレイヤが、動き補償を必要としないレイヤ間予測を部分的に許可される、と判定するための手段と
をさらに備える、請求項１９に記載のビデオコーディング装置。
【請求項２１】
実行されたとき、装置に、
ビットストリーム中で与えられるべき複数のレイヤに関連付けられたビデオデータを受信することと、前記複数のレイヤは、現在のレイヤと１つまたは複数の下位レイヤとを備える、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定することと、
決定された動き補償レイヤの前記最大数に基づいて、前記現在のレイヤ内のピクチャの前記レイヤ間予測を制限することと
を行わせるコードを記憶し、
前記複数のレイヤは、少なくとも１つの参照レイヤと、少なくとも１つのエンハンスメントレイヤとを含み、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのうち、同じ時間インスタンスの各ピクチャは、１つのアクセスユニット内に備えられ、レイヤ間予測に使用され得る動き補償レイヤの前記最大数、および動き補償レイヤの前記最大数に基づくレイヤ間予測の制限は、前記アクセスユニット内の各ピクチャに関して処理される、非一時的コンピュータ可読媒体。
【請求項２２】
実行されたとき、前記装置に、
前記複数のレイヤのうちの第１のレイヤが、レイヤ間予測を完全に許可され、完全な復元を必要とする、と判定することと、
前記複数のレイヤのうちの第２のレイヤが、動き補償を必要としないレイヤ間予測を部分的に許可される、と判定することと、
を行わせるコードをさらに記憶している、請求項２１に記載の非一時的コンピュータ可読媒体。
【請求項２３】
前記プロセッサは、前記最大数に基づいて、前記１つまたは複数の下位レイヤのうちの少なくとも１つが前記現在のレイヤのレイヤ間予測のために使用されることを防止するようにさらに構成された、請求項１に記載の装置。
【請求項２４】
前記最大数に基づいて、前記１つまたは複数の下位レイヤのうちの少なくとも１つが前記現在のレイヤのレイヤ間予測のために使用されることを防止することをさらに備える、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、一般にビデオコーディングおよび圧縮に関し、詳細には、スケーラブルビデオコーディング（ＳＶＣ）に関する。
【背景技術】
【０００２】
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ  １０，Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法のような、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報を送信、受信、符号化、復号、および／または記憶し得る。
【０００３】
[0003]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）が、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００４】
[0004]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、量子化され得る。量子化変換係数は、最初に２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコーディングが適用されてよい。
【発明の概要】
【０００５】
[0005]いくつかの実施形態によれば、ビデオ情報をコーディングするように構成された装置は、プロセッサとメモリとを含む。メモリは、第１のレイヤおよび第２のレイヤに関連付けられたビデオ情報を記憶するように構成される。プロセッサは、メモリと通信している。プロセッサは、第１のレイヤおよび第２のレイヤのうちの少なくとも１つがデフォルトレイヤであるかどうかを判定し、プロセッサが第１のレイヤまたは第２のレイヤのいずれもデフォルトレイヤではないと判定したとき、レイヤ間予測を少なくとも部分的に制限するように構成される。
【０００６】
[0006]いくつかの実施形態では、デフォルトレイヤはベースレイヤである。他の実施形態では、デフォルトレイヤはレイヤ０である。他の実施形態では、デフォルトレイヤはエンハンスメントレイヤである。いくつかの実施形態では、２つ以上のデフォルトレイヤが存在する可能性がある。
【０００７】
[0007]いくつかの実施形態では、プロセッサは、ビデオ情報に関連付けられた第１のフラグを受信し、レイヤ間予測が制限されるべきであることを第１のフラグが示すとき、第１のレイヤおよび第２のレイヤのうちの少なくとも１つがデフォルトレイヤであるかどうかを判定するようにさらに構成される。たとえば、第１のフラグは、ＶＰＳ（ビデオパラメータセット）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、スライスヘッダ、およびＳＥＩ（補足エンハンスメント情報）メッセージのうちの１つまたは複数の中でシグナリングされ得る。
【０００８】
[0008]いくつかの実施形態では、プロセッサは、プロセッサが第１のレイヤまたは第２のレイヤのいずれもデフォルトレイヤではないと判定したとき、および第１のレイヤに関連付けられたビデオ情報または第２のレイヤに関連付けられたビデオ情報のいずれもその構築の際に制約付きイントラ予測（ＣＩＰ）のみを使用しないとき、レイヤ間予測を制限するようにさらに構成される。いくつかの実施形態では、プロセッサは、プロセッサが第１のレイヤまたは第２のレイヤのいずれもデフォルトレイヤではないと判定したとき、動き情報のレイヤ間予測または残差情報のレイヤ間予測のうちの少なくとも１つを制限するようにさらに構成される。
【０００９】
[0009]いくつかの実施形態では、プロセッサは、レイヤ間予測が第１のレイヤに関連付けられたビデオ情報に対して許可されるかどうかを判定し、動き補償が第２のレイヤのビデオ情報とともに使用されないように、レイヤ間予測が第２のレイヤに関連付けられたビデオ情報に対して部分的に許可されるかどうかを判定するようにさらに構成される。たとえば、プロセッサは、第１のレイヤのビデオ情報を使用して、現在のビデオブロックに関連付けられたテクスチャ情報を予測するようにさらに構成され得る。加えて、プロセッサは、第２のレイヤのビデオ情報を使用して、現在のビデオブロックに関連付けられた動き情報および残差情報のうちの１つまたは複数を予測するようにさらに構成され得る。いくつかの実施形態では、装置はエンコーダを備える。いくつかの実施形態では、装置はデコーダを備える。加えて、装置は、メモリとプロセッサとを備えるデジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、およびビデオ遠隔会議デバイスのうちの少なくとも１つを備えることができる。
【００１０】
[0010]別の実施形態では、ビデオ情報をコーディングする方法は、第１のレイヤおよび第２のレイヤに関連付けられたビデオ情報を受信することと、第１のレイヤおよび第２のレイヤのうちの少なくとも１つがデフォルトレイヤであるかどうかを判定することと、第１のレイヤまたは第２のレイヤのいずれもデフォルトレイヤではないとき、レイヤ間予測を少なくとも部分的に制限することとを含む。
【００１１】
[0011]別の実施形態では、ビデオコーディング装置は、第１のレイヤおよび第２のレイヤに関連付けられたビデオ情報を受信するための手段と、第１のレイヤおよび第２のレイヤのうちの少なくとも１つがデフォルトレイヤであるかどうかを判定することを受信するための手段と、第１のレイヤまたは第２のレイヤのいずれもデフォルトレイヤではないとき、レイヤ間予測を少なくとも部分的に制限するための手段とを含む。
【００１２】
[0012]別の実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、第１のレイヤおよび第２のレイヤに関連付けられたビデオ情報を受信することと、第１のレイヤおよび第２のレイヤのうちの少なくとも１つがデフォルトレイヤであるかどうかを判定することと、第１のレイヤまたは第２のレイヤのいずれもデフォルトレイヤではないとき、レイヤ間予測を少なくとも部分的に制限することとを装置に実行させる命令を記憶している。
【図面の簡単な説明】
【００１３】
【図１】[0013]本開示に記載される態様に従って技法を利用することができる、例示的なビデオ符号化システムとビデオ復号システムとを示すブロック図。
【図２】[0014]本開示に記載される態様に従って技法を実装することができる、ビデオエンコーダの一例を示すブロック図。
【図３】[0015]本開示に記載される態様に従って技法を実装することができる、ビデオデコーダの一例を示すブロック図。
【図４】[0016]本開示の態様による、３つの異なる次元におけるスケーラビリティを示すブロック図。
【図５】[0017]本開示の態様による、スケーラブルビデオコーディング（ＳＶＣ）ビットストリームの例示的な構造を示すブロック図。
【図６】[0018]本開示の態様による、ビットストリーム内の例示的なＳＶＣアクセスユニットを示すブロック図。
【図７】[0019]レイヤ間予測の制限と許可とを示す概念図。
【図８】[0020]ＳＶＣにおける多重レイヤ内のブロックの一例を示す概念図。
【図９】[0021]一実施形態により、ビデオデータをコーディングするための例示的な方法を示す図。
【図１０】[0022]別の実施形態により、ビデオデータをコーディングするための方法を示す図。
【図１１】[0023]例示的なビデオコーダの機能ブロック図。
【発明を実施するための形態】
【００１４】
[0024]本開示に記載される技法は、一般に、スケーラブルビデオコーディング（ＳＶＣ）およびマルチビュー／３Ｄビデオコーディングに関する。たとえば、本技法は、高効率ビデオコーディング（ＨＥＶＣ）のスケーラブルビデオコーディング（ＳＶＣ）拡張に関係し、それとともに、またはその中で使用される場合がある。ＳＶＣでは、複数のレイヤのビデオ情報が存在する可能性がある。最下位レベルまたは最低レベルにあるレイヤはベースレイヤ（ＢＬ）または参照レイヤ（ＲＬ）として働くことができ、最上位にあるレイヤはエンハンストレイヤ（ＥＬ）として働くことができる。「エンハンストレイヤ」は、「エンハンスメントレイヤ」と同義であると考えられ得るし、これらの用語は互換的に使用される場合がある。ＢＬとＥＬとの間のレイヤは、ＥＬまたはＢＬの一方または両方として働くことができる。たとえば、レイヤは、ベースレイヤまたは任意の介在するエンハンスメントレイヤなどの、その下のレイヤのためのＥＬであり得るし、その上のエンハンスメントレイヤのためのＢＬとして働くこともできる。ベースレイヤとトップレイヤ（または最上位レイヤ）との中間の各レイヤは、上位レイヤによるレイヤ間予測用の参照として使用される場合があり、かつレイヤ間予測用の参照として下位レイヤを使用する場合がある。
【００１５】
[0025]単に例示のために、本開示に記載される技法は、２つのみのレイヤ（たとえば、基本レイヤなどの下位レベルレイヤ、および強調レイヤなどの上位レベルレイヤ）を含む例を用いて記載される。本開示で記載される例は、複数の基本または参照レイヤとエンハンスメントレイヤとを有する例にも拡張され得ることを理解されたい。加えて、説明を簡単にするために、以下の開示は「フレーム」または「ブロック」という用語を主に使用する。しかしながら、これらの用語は限定的ではあり得ない。たとえば、以下に記載される技法は、ブロック（たとえば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、ピクチャなどの様々なビデオユニットとともに使用され得る。
【００１６】
[0026]ＨＥＶＣのＳＶＣ拡張は、レイヤごとに、復元されたピクセルが予測モードにかかわらず常に利用可能であるようなマルチループ手法を提供する。加えて、各レイヤは、予測に動き補償を適用することによって予測され得る。この手法では、レイヤごとに動き補償が実行されるので、３つ以上のレイヤが存在するとき、コーディング（たとえば、復号、符号化）の複雑度が高い。
【００１７】
[0027]いくつかの実施形態では、３つ以上のレイヤをサポートし、さらにコーディング（たとえば、復号、符号化）の複雑度を低くするシステムおよび方法が提供される。本明細書に記載される技法は、ＨＥＶＣのマルチビュー拡張または３ＤＶ拡張、ならびに任意の他のコーディングフレームワーク、たとえばＨ．２６４／ＡＶＣに基づく同様のスケーラブル、マルチビュー、および／または３ＤＶのコーディングシナリオ（レイヤがビューまたはテクスチャまたはビューの深度部分としても考えられ得るので）にも適用される。
【００１８】
[0028]３つ以上のレイヤを有するビデオ情報を伴うマルチループ手法についてのコーディングの複雑度を低減するために、レイヤ間予測用の動き補償ループの数が制限され得る。たとえば、ビデオコーダまたはビデオデコーダは、レイヤ間予測がいくつかの状況で発生することを防止するように構成され得る。いくつかの実施形態では、ビデオコーダまたはビデオデコーダは、複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定するように構成され得る。ビデオコーダまたはビデオデコーダは、決定された動き補償レイヤの最大数に基づいて、現在のレイヤ内のピクチャのレイヤ間予測を制限する場合がある。たとえば、一実施形態では、ビデオコーダまたはビデオデコーダは、レイヤ間予測に使用され得る動き補償レイヤの最大数を示す第１のフラグを受信する場合がある。いくつかの実施形態では、複数のレイヤのうちの任意のレイヤ内のピクチャおよび現在のレイヤ内のピクチャの各々は、アクセスユニット内のピクチャを備える場合がある。ビデオコーダまたはビデオデコーダは、アクセスユニット内のピクチャごとに、動き補償レイヤの最大数を決定し、動き補償レイヤの最大数に基づいてレイヤ間予測を制限する場合がある。
【００１９】
ビデオコーディング規格
[0029]本明細書に記載されるいくつかの実施形態は、ＨＥＶＣ（高効率ビデオコーディング）などのアドバンストビデオコーデックのコンテキストにおけるスケーラブルビデオコーディングのためのレイヤ間予測に関する。より詳細には、本開示は、ＨＥＶＣのスケーラブルビデオコーディング（ＳＶＣ）拡張におけるレイヤ間予測の実行を改善するためのシステムおよび方法に関する。以下の説明では、いくつかの実施形態に関係するＨ．２６４／ＡＶＣ技法が記載され、ＨＥＶＣ規格および関係する技法も説明される。ＨＥＶＣ規格および／またはＨ．２６４規格のコンテキストにおいて、いくつかの実施形態が本明細書に記載されるが、本明細書で開示されるシステムおよび方法が任意の適切なビデオコーディング規格に適用可能であり得ることを、当業者なら諒解されよう。たとえば、本明細書で開示される実施形態は、以下の規格のうちの１つまたは複数に適用可能であり得る：ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、およびそのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４。
【００２０】
[0030]スケーラブルビデオコーディング（ＳＶＣ）は、（信号対雑音比（ＳＮＲ）とも呼ばれる）品質スケーラビリティ、空間スケーラビリティ、および／または時間スケーラビリティを実現するために使用され得る。たとえば、一実施形態では、参照レイヤ（たとえば、基本レイヤ）は、第１の品質レベルでビデオを表示するのに十分なビデオ情報を含み、エンハンスメントレイヤは、参照レイヤと比べてさらなるビデオ情報を含み、その結果、参照レイヤおよびエンハンスメントレイヤは一緒に、第１の品質レベルよりも高い第２の品質レベル（たとえば、少ない雑音、大きい解像度、より良いフレームレートなど）でビデオを表示するのに十分なビデオ情報を含む。強調レイヤは、基本レイヤとは異なる空間解像度を有することができる。たとえば、ＥＬとＢＬとの間の空間アスペクト比は、１．０、１．５、２．０、または他の異なる比であり得る。言い換えれば、ＥＬの空間アスペクトは、ＢＬの空間アスペクトの１．０倍、１．５倍、または２．０倍に等しい場合がある。いくつかの例では、ＥＬの倍率は、ＢＬの倍率よりも大きい場合がある。たとえば、ＥＬ内のピクチャのサイズは、ＢＬ内のピクチャのサイズよりも大きい場合がある。このようにして、限定ではないが、ＥＬの空間解像度がＢＬの空間解像度よりも大きいことは可能であり得る。
【００２１】
[0031]Ｈ．２６４用のＳＶＣ拡張では、現在のブロックの予測は、ＳＶＣ用に提供された様々なレイヤを使用して実施され得る。そのような予測は、レイヤ間予測と呼ばれる場合がある。レイヤ間予測方法は、レイヤ間の冗長性を低減するためにＳＶＣ内で利用され得る。レイヤ間予測のいくつかの例には、レイヤ間イントラ予測、レイヤ間動き予測、レイヤ間モード予測、およびレイヤ間残差予測が含まれ得る。レイヤ間イントラ予測は、基本レイヤ内の同じ位置にあるブロックの復元を使用して、エンハンスメントレイヤ内の現在のブロックを予測する。レイヤ間動き予測は、基本レイヤの動きを使用して、エンハンスメントレイヤ内の動きを予測する。レイヤ間モード予測は、ベースレイヤ内のモードに基づいて、エンハンスメントレイヤ内のモードを予測する。レイヤ間残差予測は、基本レイヤの残差を使用して、エンハンスメントレイヤの残差を予測する。
【００２２】
[0032]添付の図面を参照して、新規のシステム、装置、および方法の様々な態様が以下でより十分に記載される。しかしながら、本開示は、多くの異なる形態で具現化される場合があり、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように提供される。本明細書の教示に基づいて、本開示の範囲は、本発明の任意の他の態様とは無関係に実装されるにせよ、または本開示の任意の他の態様と組み合わせて実装されるにせよ、本明細書で開示される新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者は諒解されたい。たとえば、本明細書に記載の任意の数の態様を使用して、装置が実現され得るか、または方法が実践され得る。加えて、本発明の範囲は、本明細書に記載の本発明の様々な態様に加えて、またはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実践される、そのような装置または方法をカバーするものとする。本明細書で開示される任意の態様が請求項の１つまたは複数の要素によって具現化され得ることを理解されたい。
【００２３】
[0033]本明細書では特定の態様が記載されるが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が言及されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものであり、そのうちのいくつかが、図および好ましい態様の以下の説明で例として示される。発明を実施するための形態および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は、添付の特許請求の範囲およびその均等物によって規定される。
【００２４】
[0034]図１は、本開示に記載される態様に従って技法を利用することができる、例示的なビデオ符号化システムとビデオ復号システムとを示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを与えるソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介してビデオデータを宛先デバイス１４に与える。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。加えて、いくつかの実施形態では、システム１０は、単一のデバイス内に実装され得る。たとえば、電話ハンドセットを含む、いかなるそのような単一のデバイスも、ソースデバイス１２と宛先デバイス１４の両方、ならびにコンピュータ可読媒体１６を備える場合がある。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対応し得る。
【００２５】
[0035]宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動させることができる任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が、符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路のような、任意のワイヤレスまたは有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークのような、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【００２６】
[0036]いくつかの例では、符号化データは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは、符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体のような、種々の分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【００２７】
[0037]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、ｄｙｎａｍｉｃ  ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、種々のマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオ電話などの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００２８】
[0038]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。いくつかの実施形態では、携帯電話などのワイヤレス通信デバイスは、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含むソースデバイス１２を備えることができる。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。いくつかの実施形態では、携帯電話などのワイヤレス通信デバイスは、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む宛先デバイス１４を備えることができる。たとえば、場合によっては、単一のワイヤレス通信デバイスは、ソースデバイス１２と宛先デバイス１４の両方を備えることができる。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、複数の規格または規格拡張に準拠するビデオデータを含むビットストリームをコーディングするための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他のコンポーネントまたは構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【００２９】
[0039]図１の図示されたシステム１０は一例にすぎない。現在のブロック用の動きベクトル予測子のための予測リスト用の候補を決定するための技法は、任意のデジタルビデオの符号化デバイスおよび／または復号デバイスによって実施され得る。一般に、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法は、通常「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４に送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントとを含むように、実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャストまたはビデオ電話のための、ビデオデバイス１２とビデオデバイス１４との間の一方向または双方向のビデオ送信をサポートすることができる。
【００３０】
[0040]ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータにより生成されたビデオとの組合せを生成し得る。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ電話またはビデオ電話を形成し得る。しかしながら、上述のように、本開示で説明される技法は、全般にビデオコーディングに適用可能であってよく、ワイヤレスおよび／または有線の適用例に適用可能であってよい。各々の場合において、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。
【００３１】
[0041]コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたは有線ネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。たとえば、ソースデバイス１２および宛先デバイス１４がワイヤレスハンドセットなどの単一のデバイスとして実装されるいくつかの実施形態では、コンピュータ可読媒体１６は任意の記憶媒体を含むことができる。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信、直接有線通信などを介して、ソースデバイス１２から符号化されたビデオデータを受信し、宛先デバイス１４に符号化ビデオデータを与え得る。同様に、ディスクスタンピング設備などの媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを製造することができる。したがって、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解されよう。
【００３２】
[0042]宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロックおよび他のコード化ユニット、たとえば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような、様々なディスプレイデバイスのいずれかを備え得る。
【００３３】
[0043]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオコーディング規格に従って動作することができ、ＨＥＶＣ  Ｔｅｓｔ  Ｍｏｄｅｌ（ＨＭ）に準拠することができる。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ  １０、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格のような、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。しかしながら、本開示の技法は、限定はしないが、上記に列挙された規格のうちのいずれかを含む、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ  Ｈ．２６３がある。いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は各々、オーディオエンコーダおよびオーディオデコーダと統合されてよく、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアとソフトウェアとを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理することができる。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００３４】
[0044]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアのような、種々の適切なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行することができる。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれてよく、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合されてよい。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／または携帯電話などのワイヤレス通信デバイスを備える場合がある。
【００３５】
[0045]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣ  Ｔｅｓｔ  Ｍｏｄｅｌ（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。
【００３６】
[0046]一般に、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマとクロマの両方のサンプルを含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ）に分割され得ることを記載する。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。一般に、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。
【００３７】
[0047]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。たとえば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義されてよく、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがさらに分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵもリーフＣＵと呼ばれる。たとえば、１６×１６サイズのＣＵがこれ以上分割されない場合、この１６×１６ＣＵがまったく分割されなくても、４つの８×８サブＣＵもリーフＣＵと呼ばれる。
【００３８】
[0048]ＣＵは、ＣＵがサイズ差異を有さないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割されてよく、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割されてよい。４分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義することができ、また、コーディングノードの最小サイズを定義することもできる。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ）も定義することができる。本開示では、ＨＥＶＣの文脈におけるＣＵ、ＰＵ、またはＴＵ、あるいは他の規格の文脈における同様のデータ構造（たとえば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。
【００３９】
[0049]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルを有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が正方形または非正方形（たとえば、矩形）であり得る。
【００４０】
[0050]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従った変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは通常、ＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。
【００４１】
[0051]リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。一般に、ＰＵは、対応するＣＵのすべてまたは一部分に対応する空間的エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵのデータは、ＰＵに対応するＴＵのイントラ予測モードを記述するデータを含み得る、残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、もしくはリストＣ）を記述し得る。
【００４２】
[0052]１つまたは複数のＰＵを有するリーフＣＵはまた、１つまたは複数の変換ユニット（ＴＵ）を含み得る。変換ユニットは、上で論じられたように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。たとえば、分割フラグは、リーフＣＵが４つの変換ユニットに分割されるかどうかを示し得る。次いで、各変換ユニットは、さらに、さらなるサブＴＵに分割され得る。ＴＵがさらに分割されないとき、そのＴＵはリーフＴＵと呼ばれ得る。一般に、イントラコーディングの場合、リーフＣＵに属するすべてのリーフＴＵは同じイントラ予測モードを共有する。すなわち、一般に、リーフＣＵのすべてのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングの場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。したがって、ＴＵはＰＵよりも大きくまたは小さくなり得る。イントラコーディングの場合、ＰＵは、同じＣＵのための対応するリーフＴＵと同じ位置にあり得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。
【００４３】
[0053]その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造と関連付けられ得る。すなわち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは一般にリーフＣＵに対応し、ＣＵ４分木のルートノードは一般にツリーブロック（またはＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。全般に、本開示では、別段明記されない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。
【００４４】
[0054]ビデオシーケンスは通常、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は通常、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定のサイズまたは可変のサイズを有してよく、指定されるコーディング規格に応じてサイズが異なり得る。
【００４５】
[0055]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ  ＰＵと下部の２Ｎ×１．５Ｎ  ＰＵへと水平方向に区分された２Ｎ×２Ｎ  ＣＵを指す。
【００４６】
[0056]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。一般に、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ただし、Ｎは非負整数値を表す。ブロック内のピクセルは行と列で構成され得る。さらに、ブロックは、必ずしも、水平方向に垂直方向と同じ数のピクセルを有さなくてもよい。たとえば、ブロックはＮ×Ｍピクセルを備えてよく、ただし、Ｍは必ずしもＮに等しいとは限らない。
【００４７】
[0057]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備えてよく、ＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後の、変換領域における係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。
【００４８】
[0058]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、その最も広い通常の意味を有するように意図された広義語である。一実施形態では、量子化は、係数を表すために使用されるデータの量をできるだけ低減し、さらなる圧縮を実現するために、変換係数が量子化されるプロセスを指す。量子化プロセスは、係数の一部またはすべてに関連するビット深度を低減することができる。たとえば、量子化中にｎビット値がｍビット値に切り捨てられてよく、ｎはｍよりも大きい。
【００４９】
[0059]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（したがってより高い周波数）の係数をアレイの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２０は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査し、エントロピー符号化され得る直列化されたベクトルを生成し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化することができる。
【００５０】
[0060]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、たとえば、シンボルの隣接値が０ではないかどうかに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択することができる。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣを使用すると、たとえば、送信されるべきシンボルごとに等長コードワードを使用するよりも、ビットの節約を実現することができる。確率の決定は、シンボルに割り当てられるコンテキストに基づき得る。
【００５１】
[0061]ビデオエンコーダ２０はさらに、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータなどのシンタックスデータを、たとえば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のいくつかのフレームを記述することができ、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示すことができる。
【００５２】
[0062]図２は、本開示に記載される態様に従って技法を実装することができる、ビデオエンコーダの一例を示すブロック図である。ビデオエンコーダ２０は、本開示の技法のうちのいずれかまたはすべてを実施するように構成され得る。一例として、モード選択ユニット４０は、本開示に記載された技法のうちのいずれかまたはすべてを実施するように構成され得る。しかしながら、本開示の態様はそのようには限定されない。いくつかの例では、図９に関して下記に記載される方法を含む、本開示に記載される技法は、ビデオエンコーダ２０の様々な構成要素の間で共有される場合がある。追加または代替のいくつかの例では、プロセッサ（図示せず）は、本開示に記載された技法のうちのいずれかまたはすべてを実施するように構成され得る。
【００５３】
[0063]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、空間的予測を利用して、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去する。インターコーディングは、時間的予測を利用して、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。
【００５４】
[0064]図２に示されるように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図１の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、区分ユニット４８とを含む。ビデオブロックの復元のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。復元されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングする、デブロッキングフィルタ（図２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは一般に、加算器６２の出力をフィルタリングすることになる。また、デブロッキングフィルタに加えて追加のフィルタ（ループ内またはループ後）が使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタリングし得る。
【００５５】
[0065]符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間的な予測を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット４６は代替的に、空間的な予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ２０は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
【００５６】
[0066]その上、区分ユニット４８は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、区分ユニット４８は、初めにフレームまたはスライスをＬＣＵに区分し、レートひずみ分析（たとえば、レートひずみ最適化）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、さらに、ＬＣＵをサブＣＵに区分することを示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。
【００５７】
[0067]モード選択ユニット４０は、たとえば、誤差結果に基づいて、コーディングモード、すなわち、イントラまたはインターのうちの１つを選択することができ、残差ブロックデータを生成するために、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを加算器５０に与え、参照フレームとして使用するための符号化ブロックを復元するために、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを加算器６２に与える。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット５６に与える。
【００５８】
[0068]動き推定ユニット４２および動き補償ユニット４４は高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム（または他のコード化ユニット）内でコーディングされている現在のブロックに対する参照フレーム（または他のコード化ユニット）内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるブロックに精密に一致することがわかっているブロックである。いくつかの例では、ビデオエンコーダ２０は、参照フレームメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【００５９】
[0069]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、参照フレームメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
【００６０】
[0070]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって判断された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。この場合も、いくつかの例では、動き推定ユニット４２と動き補償ユニット４４とは機能的に統合され得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明されるように、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット４２はルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【００６１】
[0071]イントラ予測ユニット４６は、上で説明されたように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測または計算し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット４６は、たとえば、別々の符号化パスの間に、様々なイントラ予測モードを使用して、現在のブロックを符号化することができ、イントラ予測ユニット４６（または、いくつかの例において、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。
【００６２】
[0072]たとえば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを判定するために、様々な符号化ブロックのひずみおよびレートから比率を計算し得る。
【００６３】
[0073]ブロック用のイントラ予測モードを選択した後、イントラ予測ユニット４６は、ブロック用に選択されたイントラ予測モードを示す情報を、エントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、（コードワードマッピングテーブルとも呼ばれる）複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブルと、様々なブロック用の符号化コンテキストの定義と、最確イントラ予測モードの指示とを含み得る送信されるビットストリーム構成データの中に、コンテキストの各々について使用する、イントラ予測モードインデックステーブルと修正されたイントラ予測モードインデックステーブルとを含めることができる。
【００６４】
[0074]ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つまたは複数のコンポーネントを表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部またはすべてに関連するビット深度を低減することができる。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【００６５】
[0075]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコーディングの後、符号化ビットストリームは、別のデバイス（たとえば、ビデオデコーダ３０）に送信されてよく、または後で送信するかもしくは取り出すために保管され得る。
【００６６】
[0076]逆量子化ユニット５８および逆変換ユニット６０は、それぞれ逆量子化および逆変換を適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを復元する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、復元された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器６２は、復元された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照フレームメモリ６４に記憶するための復元されたビデオブロックを生成する。復元されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするための参照ブロックとして、動き推定ユニット４２および動き補償ユニット４４によって使用され得る。
【００６７】
[0077]図３は、本開示に記載される態様に従って技法を実装することができる、ビデオデコーダの一例を示すブロック図である。ビデオデコーダ３０は、図９に関して下記に記載される方法を含む、本開示の技法のいずれかまたはすべてを実行するように構成される場合がある。一例として、動き補償ユニット７２および／またはイントラ予測ユニット７４は、本開示に記載された技法のうちのいずれかまたはすべてを実施するように構成され得る。しかしながら、本開示の態様はそのようには限定されない。いくつかの例では、本開示に記載された技法は、ビデオデコーダ３０の様々な構成要素の間で共有される場合がある。追加または代替のいくつかの例では、プロセッサ（図示せず）は、本開示に記載された技法のうちのいずれかまたはすべてを実施するように構成され得る。
【００６８】
[0078]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、参照フレームメモリ８２と、加算器８０とを含む。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図２）に関して説明された符号化パスとは全般に逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成することができ、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成することができる。
【００６９】
[0079]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他の予測シンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【００７０】
[0080]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット７４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（たとえば、Ｂ、Ｐ、またはＧＰＢ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャの１つから生成され得る。ビデオデコーダ３０は、参照フレームメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構築し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックについての予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つまたは複数に対する構成情報、スライスの各インター符号化ビデオブロックに対する動きベクトル、スライスの各インターコード化ビデオブロックに対するインター予測ステータス、および現在のビデオスライス中のビデオブロックを復号するための他の情報を決定するために、受信されたシンタックス要素のいくつかを使用する。
【００７１】
[0081]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【００７２】
[0082]逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化（inverse quantize）、たとえば、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を判定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ３０によって計算される量子化パラメータＱＰYの使用を含み得る。
【００７３】
[0083]逆変換ユニット７８は、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用して、ピクセル領域において残差ブロックを生成する。
【００７４】
[0084]動き補償ユニット８２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数のコンポーネントを表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタリングするためのデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化し、または別様にビデオ品質を改善するために、（コーディングループ内またはコーディングループ後の）他のループフィルタも使用され得る。所与のフレームまたはピクチャの中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照フレームメモリ８２はまた、図１のディスプレイデバイス３２のようなディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。
【００７５】
ＨＥＶＣにおける動き補償
[0085]上述されたように、ＨＥＶＣは次世代のビデオコーディング規格である。概して、ＨＥＶＣは以前のビデオコーディング規格の枠組に追従する。ＨＥＶＣの動き補償ループは、Ｈ．２６４／ＡＶＣにおける動き補償ループと同じに保持される可能性がある、すなわち現在のフレームの復元
【数１】
0006716253.tif 000002
【００７６】
は、逆量子化係数γプラス時間予測Ｐに等しい。
【数２】
0006716253.tif 000003
【００７７】
ここで、ＰはＰフレームまたはＰスライスについての単方向予測、またはＢフレームまたはＢスライスについての双方向予測を示す。
【００７８】
[0086]ＨＥＶＣにおける動き補償の単位は、以前のビデオコーディング規格における単位とは異なり得る。実際、以前のビデオコーディング規格におけるマクロブロックの概念は、ＨＥＶＣでは存在しない。代わりに、マクロブロックの概念は、一般的な４分木方式に基づく極めて柔軟な階層構造によって置き換えられる。この方式の中で、３タイプのブロック、すなわちコーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）が定義される。ＣＵは領域分割の基本単位である。ＣＵはマクロブロックの概念に類似するが、それは最大サイズを制限せず、それは４つの等しいサイズのＣＵへの再帰分割がコンテンツの適応性を向上させることを可能にする。ＰＵはインター／イントラ予測の基本単位であり、それは単一のＰＵ内に複数の任意の形状のパーティションを含んで、不規則な画像パターンを効果的にコーディングすることができる。ＴＵは変換の基本単位である。それはＰＵとは無関係に定義され得るが、そのサイズはＴＵが属するＣＵに限定される。このようにブロック構造を３つの異なる概念に分割すると、各々がその役割に応じて最適化されることが可能になり、その結果、コーディング効率が改善される。
【００７９】
スケーラブルビデオコーディング
[0087]様々な次元におけるスケーラビリティ４００の一例が図４に示される。本例では、スケーラビリティは３つの次元４０２、４０４、４０６で可能にされる。時間の次元４０２では、たとえば、７．５Ｈｚ、１５Ｈｚ、または３０Ｈｚを有するフレームレートが、時間スケーラビリティ（Ｔ）によってサポートされ得る。空間スケーラビリティ（Ｓ）４０４がサポートされるとき、たとえば、ＱＣＩＦ、ＣＩＦ、および４ＣＩＦなどの様々な解像度が可能にされる。特定の空間解像度およびフレームレートごとに、ピクチャ品質を改善するためにＳＮＲ（Ｑ）レイヤ４０６が追加され得る。各レイヤ４０２、４０４、４０６からのビットストリームは、単一のビットストリームの中に一緒に多重化され得る。ビデオコンテンツがそのようなスケーラブルな方法で符号化されると、たとえば、クライアントまたは伝送チャネルに依存するアプリケーション要件に従って、実際の配信されたコンテンツに適応するために抽出ツールが使用され得る。図４に示された例では、各立方体４０８は、同じフレームレート（時間レベル）と、空間解像度と、ＳＮＲレイヤとを有するピクチャを含んでいる。それらの立方体４０８（ピクチャ）を任意の次元４０２、４０４、４０６で追加することによって、より良い表現が実現され得る。２つ、３つまたはさらに多くの可能にされたスケーラビリティが存在するとき、組み合わされたスケーラビリティがサポートされる。
【００８０】
[0088]ＳＶＣの仕様によれば、最も低い空間レイヤ４１０および品質レイヤ４１２を有するピクチャは、Ｈ．２６４／ＡＶＣと互換性があり、最低の時間レベル４１４にあるピクチャは、より高い時間レベルにあるピクチャで強調され得る時間基本レイヤを形成する。Ｈ．２６４／ＡＶＣ互換レイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび／またはＳＮＲエンハンスメントレイヤが追加され得る。ＳＮＲスケーラビリティ４０６は、品質スケーラビリティとも呼ばれる。各々の空間エンハンスメントレイヤ４０４またはＳＮＲエンハンスメントレイヤ４０６自体は時間的にスケーラブルであり得るし、Ｈ．２６４／ＡＶＣ互換レイヤと同じ時間スケーラビリティ構造を有する。１つの空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤの場合、それが依存するより低いレイヤは、その特定の空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤの基本レイヤとも呼ばれる。
【００８１】
[0089]ＳＶＣコーディング構造５００の一例が図５に示される。最も低い空間レイヤおよび品質レイヤを有するピクチャ（ＱＣＩＦ解像度を有するレイヤ０  ５０２およびレイヤ１  ５０４の中のピクチャ）は、Ｈ．２６４／ＡＶＣと互換性がある。それらの間で、最も低い時間レベルのそれらのピクチャは、図５のレイヤ０  ５０２で示されたように、時間基本レイヤを形成する。この時間基本レイヤ（レイヤ０）５０２は、より高い時間レベル（レイヤ１）５０４のピクチャで強調され得る。Ｈ．２６４／ＡＶＣ互換レイヤ５０４に加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび／またはＳＮＲエンハンスメントレイヤ５０６、５０８、５１０が追加され得る。たとえば、エンハンスメントレイヤは、レイヤ２  ５０６と同じ解像度を有するＣＩＦ表現であり得る。本例では、レイヤ３  ５０８はＳＮＲエンハンスメントレイヤである。本例で示されたように、各々の空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤ自体は時間的にスケーラブルであり得るし、Ｈ．２６４／ＡＶＣ互換レイヤと同じ時間スケーラビリティ構造を有する。また、エンハンスメントレイヤは、空間解像度とフレームレートの両方を強調することができる。たとえば、レイヤ４  ５１０は、フレームレートを１５Ｈｚから３０Ｈｚにさらに増大させる４ＣＩＦエンハンスメントレイヤを提供する。
【００８２】
[0090]図６に示されたように、同じ時間インスタンスでコーディングされたスライスは、ビットストリーム順序で連続し、ＳＶＣのコンテキスト内の１つのアクセスユニット６００を形成する。次いで、それらのＳＶＣアクセスユニット６００は復号順序に従い、復号順序は表示順序と異なる可能性があり、たとえば、時間予測関係によって決定される。
【００８３】
[0091]図７は、レイヤ間予測の制限および許可の一実施形態を示す概念図７００を示す。図示されたように、ベースレイヤ７１０はレイヤ０に対応することができ、エンハンスメントレイヤ７２０はレイヤ１に対応することができ、エンハンスメントレイヤ７３０はレイヤ２に対応することができ、エンハンスメントレイヤ７４０はレイヤ３に対応することができる。この実施形態では、ベースレイヤ７１０はデフォルトレイヤとして働くことができる。それぞれエンハンスメントレイヤ７２０、７３０、および７４０とベースレイヤ７１０との間のライン７５０、７５１、および７５２は、ビデオコーディング（たとえば、復号、符号化）がレイヤ間予測を使用することを許可されたことを示す。エンハンスメントレイヤ７３０とエンハンスメントレイヤ７１０との間のライン７５３は、ビデオコーディングがレイヤ間予測を実行することを制限され、ブロックされ、または場合によっては防止されることを示す。同様に、エンハンスメントレイヤ７４０とエンハンスメントレイヤ７３０との間のライン７５４は、ビデオコーディングがレイヤ間予測を実行することを制限され、ブロックされ、または場合によっては防止されることを示す。同様に、エンハンスメントレイヤ７４０とエンハンスメントレイヤ７２０との間のライン７５５は、ビデオコーディングがレイヤ間予測を実行することを制限され、ブロックされ、または場合によっては防止されることを示す。たとえば、ビデオコーディングは、エンハンスメントレイヤ７２０、７３０、および７４０とデフォルトレイヤ７１０との間でのみレイヤ間予測を使用することを許可され、レイヤのうちの１つがデフォルトレイヤではない（たとえば、両方のレイヤがエンハンスメントレイヤである）とき、レイヤ間予測を実行することを制限され、ブロックされ、または場合によっては防止される。
【００８４】
[0092]いくつかの実施形態では、レイヤ間予測の制限は、ビットストリーム内、たとえばＶＰＳ（ビデオパラメータセット）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、スライスヘッダ、またはＳＥＩ（補足エンハンスメント情報）メッセージ内の第１のフラグによって示され得る。このフラグは、エンハンスメントレイヤごとにシグナリングされ得るし、たとえば、フラグは、ＨＥＶＣ  ＷＤ９において規定されているように、ＮＡＬ（ネットワークアブストラクション）ユニットヘッダ内のｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓが０よりも大きいときのみ存在する。１に等しいこのフラグの値は、現在のレイヤについて、レイヤ間予測が制限され、デフォルトレイヤ（たとえば、上記の例ではレイヤ０）のみがレイヤ間予測に使用され得ることを示すことができる。
【００８５】
[0093]いくつかの実施形態では、レイヤ間予測参照ブロックの各々がその構築の際に制約付きイントラ予測（ＣＩＰ）のみを使用する限り、レイヤ間予測の制限は、任意の異なるレイヤ間のレイヤ間予測を許可するために緩和される場合があり、その結果、レイヤ間予測参照ブロックの構築に動き補償は必要とされない。ＣＩＰの使用は、ビットストリーム内、たとえばＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、またはＳＥＩメッセージ内の第２のフラグによって示され得るか、または第１のフラグと結合され得る。
【００８６】
[0094]レイヤ間予測の制限は、動きのレイヤ間予測および／または残差のレイヤ間予測を許可するためにさらに緩和される場合がある。各々は、別々のフラグによって示されるか、または前述されたフラグのうちの１つもしくは複数および／または互いと結合される場合がある。
【００８７】
[0095]別の実施形態では、任意の１つのレイヤのみがレイヤ間予測に使用され得る。たとえば、前の例においてレイヤ０を使用する代わりに、レイヤ１の上のレイヤ（たとえば、レイヤ２およびレイヤ３）に対するレイヤ間予測にレイヤ１が使用され得る。そのような場合、下位のレイヤに対する（たとえば、レイヤ１に対する）レイヤ間予測は禁止され得る。
【００８８】
[0096]レイヤ間予測の様々な制限を介する上記の手法は、レイヤレベルの２ループ手法と呼ばれる場合がある。一実施形態では、多重レイヤを含んでいる場合があるビットストリームは、動き補償が多くとも２つのレイヤを復号して復号するために使用されるように、制限される。
【００８９】
[0097]別の実施形態では、１つのレイヤがレイヤ間予測を完全に許可され、完全な復元を必要とし、他のレイヤが動き補償を必要としないレイヤ間予測を部分的に許可されるとき、以下のうちのいずれも適用される場合がある。第１に、完全に復元される必要があるレイヤは、ＳＶＣにおけるイントラＢＬと同様の方法で、または（動きフィールドのアップサンプリングを含む可能なピクセルおよびシンタックスで）復元されたピクチャを現在のスライスの参照ピクチャリストに入れることによって、現在のブロックのテクスチャを予測するためのみに使用される場合がある。加えて、完全に復元される必要がないレイヤは、現在のブロックについての動き情報および／または残差情報を予測するためのみに使用される場合がある。したがって、このレイヤ内のイントラブロックは、制約付きイントラとしてコーディングされる必要がない場合がある。加えて、動きベクトルおよび／または残差情報は、現在のレイヤとレイヤ間予測に使用されるレイヤとの間のスケーラビリティ比に従って、スケーリング／アップスケーリングされ得る。また、動き情報に関して上述されたように、いかなる非ピクセル情報も、完全に復元されていないレイヤを使用して予測され得る。たとえば、そのレイヤからのイントラモードは、現在のブロックのイントラモードを予測するために使用され得る。代替または追加として、完全に復元されていないレイヤの場合、ＳＡＯ、ＡＬＦ、または他のものなどのレイヤ間フィルタリングは、省略され得るか、または未使用としてマークされ得る。レイヤ間フィルタリングは、復元された参照レイヤに基づき、かつコーディングされるべきレイヤの元のピクセルデータを使用して、パラメータまたは係数が導出されるフィルタとして定義され得るが、この定義に限定されない。それらのフィルタのパラメータまたは係数は、デコーダにシグナリングされる場合がある。レイヤ間フィルタに加えて、ＳＡＯ、ＡＬＦ、またはデブロッキングフィルタなどのループ内フィルタも、完全に復元されていないレイヤの場合、省略されるか、または未使用としてマークされてもよい。加えて、完全に復元されるべきレイヤは、０に等しいレイヤＩＤを有することができる。また、完全な復元を必要としないレイヤは、現在のスライスのレイヤＩＤに最も近いが、それよりは小さいレイヤＩＤを有することができる。たとえば、現在のレイヤのレイヤＩＤがＮであると仮定すると、完全な復元を必要とせず、動きおよび残差の構築のみを必要とするレイヤは、Ｎ−１に等しいレイヤＩＤを有する場合がある。
【００９０】
[0098]別の実施形態では、完全な復元を必要としないレイヤは、残差を復元することも必要としない。したがって、このレイヤからのレイヤ間残差予測は無効にされ得るし、逆量子化、逆変換などを含む、残差を導出するために使用される復号プロセスは必要とされない。
【００９１】
[0099]別の実施形態では、レイヤ間予測の上記の制限は、各アクセスユニット内のみに適用されるように一般化される場合がある。たとえば、多重レイヤを含んでいる場合があるビットストリームは、各アクセスユニットを復号する際に、アクセスユニット内の多くとも２つのレイヤ表現の復元に動き補償が使用されるように、制限される場合がある。この手法は、アクセスユニットレベルの２ループ手法と呼ばれる場合もある。レイヤ間予測の様々な制限を介する上記の手法は、すべて２ループ手法と呼ばれる場合がある。
【００９２】
[0100]別の実施形態では、上記の手法は、レイヤレベルのＮループ手法であるようにさらに一般化される場合があり、ここにおいて、Ｎは２、３、４などであり得るし、多重レイヤを含んでいる場合があるビットストリームは、動き補償が多くともＮ個のレイヤを復元するために使用されるように、制限される。別の実施形態では、上記の手法は、アクセスユニットレベルのＮループ手法であるようにさらに一般化される場合があり、ここにおいて、Ｎは２、３、４などであり得るし、ここにおいて、多重レイヤを含んでいる場合があるビットストリームは、各アクセスユニットを復号する際に、動き補償がアクセスユニット内の多くともＮ個のレイヤ表現に使用されるように、制限される。加えて、レイヤ間予測を使用することに関する決定は、前のレイヤをコーディングするために使用されるコーデックに依存する可能性がある。
【００９３】
[0101]例示のために、本開示に記載される技法は、２つのレイヤのみが存在する例を使用して記載される。１つのレイヤは下位レベルのレイヤまたは参照レイヤを含むことができ、別のレイヤは上位レベルのレイヤまたはエンハンスメントレイヤを含むことができる。たとえば、参照レイヤは、ベースレイヤ、またはエンハンスメントレイヤ上の時間参照を含むことができ、エンハンスメントレイヤは、参照レイヤに対するエンハンスメントレイヤを含むことができる。本開示に記載される例は、複数のエンハンスメントレイヤにも及ぶことを理解されたい。
【００９４】
[0102]図８は、ＳＶＣにおける多重レイヤ内のブロックの一例を示す概念図である。たとえば、図８は、エンハンスメントレイヤ内のエンハンスメントレイヤブロック４の場所に対応するベースレイヤ内の場所に、ベースレイヤブロック２が位置することができるように互いにコロケートされる場合がある、ベースレイヤブロック２とエンハンスメントレイヤブロック４とを示す。
【００９５】
[0103]ベースレイヤブロック２はサブブロック３Ａ〜３Ｈを含み、エンハンスメントレイヤブロック４はサブブロック５Ａ〜５Ｈを含む。サブブロック３Ａ〜３Ｈの各々は、それぞれサブブロック５Ａ〜５Ｈの各々とコロケートされる場合がある。たとえば、サブブロック３Ａ〜３Ｈの各々は、サブブロック５Ａ〜５Ｈのそれぞれの１つに対応する場合がある。いくつかのコーダでは、左上のサブブロック（たとえば、サブブロック３Ｂ）からの動き情報は、エンハンスメントレイヤブロック４についての動き情報を予測するために使用される場合がある。しかしながら、このサブブロックは、場合によっては他のサブブロックよりも最適ではない場合がある。
【００９６】
[0104]いくつかの実施形態では、本開示に記載される技法は、有利なことに、ベースレイヤの動き情報がダウンサンプリングされる前に、エンハンスレイヤブロックを予測するために、および／またはエンハンスレイヤブロックについての動き情報を予測するために、ベースレイヤブロックまたは参照レイヤブロックからの動き情報を利用する。加えて、本開示に記載される技法は、エンハンスレイヤブロックを予測するために、および／またはエンハンスレイヤブロックについての動き情報を予測するために、その動き情報が使用され得るベースレイヤブロック内で複数のサブブロックを提供することができる。
【００９７】
[0105]いくつかの実施形態では、本技法は、上位レベルのレイヤ（たとえば、エンハンスメントレイヤ）を予測する際に下位レベルのレイヤを使用した後、動き情報または予測モードなどの、下位レベルのレイヤ（たとえば、ベースレイヤ）の予測モード情報をダウンサンプリングすることを含む場合がある。動き情報のダウンサンプリングまたはサブサンプリングのプロセスは、記憶され、特定のピクチャに関連付けられる動き情報の量を低減することを含む。たとえば、ＨＥＶＣ規格では、あらゆる１６×１６ブロックは、別個の動き情報を有することができる。たとえば、ベースレイヤ（ＢＬ）からの元のダウンサンプリングされていない動き情報は、エンハンスメントレイヤブロックおよび／またはエンハンスメントレイヤ（ＥＬ）での動き情報を予測する際に使用される場合がある。次いで、ベースレイヤの動き情報のダウンサンプリングは、動き情報がＥＬの動き情報の予測に使用された後、実行される場合がある。
【００９８】
[0106]さらに、エンハンスメントレイヤの予測モード情報は、ダウンサンプリングされ得る。いくつかの実施形態では、ベースレイヤについての予測モード情報のダウンサンプリングは、ダウンサンプリングで使用されるパラメータまたはフィルタを変更することによって、エンハンスメントレイヤについての予測モード情報のダウンサンプリングとは異なる可能性がある。たとえば、ベースレイヤの予測モード情報は、１６×１６サイズのブロックに基づいてダウンサンプリングされ得るし、エンハンスメントレイヤの予測モード情報は、１６×１６サイズのブロックとは異なるブロックサイズに基づいてダウンサンプリングされ得る。
【００９９】
[0107]それに応じて、エンハンスメントレイヤブロックおよび／またはエンハンスメントレイヤの動き情報の予測を改善するために、ベースレイヤからのより正確な動き情報が使用され得る。エンハンスメントレイヤが予測された後、ベースレイヤブロック用の圧縮規格の適合要件を満足するベースレイヤについての予測情報を生成するために、対応するベースレイヤの動き情報がダウンサンプリングされる。詳細には、ベースレイヤは、エンハンスメントレイヤから独立して復号可能であることが必要であり得る。いくつかの実施形態では、ベースレイヤは、ＨＥＶＣ規格に準拠するように生成され、その結果、ベースレイヤは、ＨＥＶＣの一重レイヤのコーディング時のように生成され得る。その上、いくつかの実施形態では、ダウンサンプリングされたベースレイヤの予測情報は、参照フレーム用に記憶される。
【０１００】
[0108]いくつかの実施形態では、エンハンスメントレイヤのコーディングのためにベースレイヤのダウンサンプリングされていない動き情報を使用する利点は、コロケートされたベースレイヤブロック内の他の位置が明確であり得ることであり、それにより、ＥＬの動き情報についてのより良い、または様々な予測が可能になり得る。たとえば、コロケートされたブロック（たとえば、ベースレイヤブロック２のサブブロック３Ｂ）の内部のベースレイヤの動き情報を導出するための位置として、左上の４×４ブロックを使用するのではなく、コロケートされたベースレイヤブロック内の他の４×４ブロックの位置も使用され得る。たとえば、右上（たとえば、サブブロック３Ａ）、左下（たとえば、サブブロック３Ｃ）、右下（たとえば、サブブロック３Ｄ）、中央（たとえば、サブブロック３Ｅ、３Ｆ、３Ｇ、３Ｈのうちの１つ）、またはコロケートされたベースレイヤブロック２の内部の別のサブブロック内の隅を使用することが望ましい場合がある。その上、例がサブブロックを４×４であるように記載するが、本開示の態様は、８×８および１６×１６などの任意の他のサイズのサブブロックに及ぶ。
【０１０１】
[0109]いくつかの実施形態では、対応するベースレイヤのコロケートされたブロック内のサブブロックの位置は、固定され、かつ／または、最大コーディングユニット（ＬＣＵ）、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）のサイズ、インター方向モード、パーティションモード、動きベクトルの振幅または動きベクトルの差分、参照インデックス、マージフラグ、スキップモード、予測モード、ピクチャ内のベースレイヤブロックおよびエンハンスメントレイヤブロックの物理位置などの因子に依存する可能性がある。
【０１０２】
[0110]いくつかの実施形態では、動き情報は、平均、加重平均、メディアンなどの演算または関数を使用して、コロケートされたベースレイヤブロックの内部の２つ以上の４×４サブブロックの位置から一緒に導出され得る。たとえば、図８に示されたように、参照番号３Ａ〜３Ｈで示された５つの位置は、すべて考察される場合があり、それらの動き情報の平均値または中間値（たとえば、動きベクトルのｘ変位値およびｙ変位値の平均値または中間値など）は、エンハンスメントレイヤの動き情報を予測する際に、コロケートされたベースレイヤブロックからの動き情報として使用される場合がある。
【０１０３】
[0111]代替または追加として、本開示に記載される技法は、ベースレイヤのコロケートされたブロックからの情報がエンハンスメントレイヤ内の次のブロックをコーディングする際の予測に使用されるときに適用することができる。たとえば、ベースレイヤの復元されたテクスチャは、エンハンスメントレイヤ用の予測子として使用され得る（このモードは、ＩＮＴＲＡ＿ＢＬモードまたはＴＥＸＴＵＲＥ＿ＢＬモードと呼ばれ得る）。このモードの下で、コロケートされたベースレイヤブロックからの動き情報は、エンハンスメントレイヤで現在のブロックをコーディングするために使用されない場合があり、情報は引き継がれ、エンハンスメントレイヤで現在のブロックの動き情報を取り込むために使用され、かつマージ／ＡＭＶＰリストの構築用などのエンハンスメントレイヤ内の次のブロックの動き情報の予測に使用される場合がある。言及された技法のうちの（すべてを含む）１つまたは複数は、ベースレイヤから動き情報を導出する際に適用可能であり得る。一例としてＩＮＴＲＡ＿ＢＬモードが本明細書で提供されたことを留意されたい。本開示に記載される技法は、たとえば、残差予測モードまたは他の予測モードなどの他のシナリオで適用することができる。
【０１０４】
[0112]動き情報に加えて、本開示に記載される技法は、イントラ予測モードを含む他のタイプの情報（たとえば、他の非画像情報）に適用することができ、ここで、コロケートされたベースレイヤブロックのイントラ予測モードは、引き継がれ、エンハンスメントレイヤブロックの対応するイントラ予測モードを予測するために使用される場合がある。対応する位置は、スライス、シーケンス、ピクチャヘッダなどのＬＣＵ／ＣＵ／ＰＵのレベルまたはヘッダでシグナリングされる場合がある。
【０１０５】
[0113]いくつかの実施形態では、ビデオエンコーダは、下位レベルのレイヤブロックについてのダウンサンプリングされていない非画像情報を受信し、本開示に記載された１つまたは複数の実施形態による機能を実行する場合がある。加えて、ビデオエンコーダは、ベースレイヤブロックの非画像情報をダウンサンプリングすることができる。
【０１０６】
[0114]図９は、レイヤ間予測に使用され得る動き補償レイヤの最大数が１である例示的な一実施形態により、ビデオデータをコーディングするための例示的な方法９００を示す。この例では、レイヤ間予測に使用され得る１つの参照レイヤは、デフォルトレイヤと呼ばれる場合がある。別の例では、２つ以上のデフォルトレイヤが存在する可能性がある。方法９００は、たとえば、ビデオエンコーダ２０またはビデオデコーダ３０の１つまたは複数の構成要素によって実行され得る。いくつかの実施形態では、本明細書に記載されるステップのうちの１つまたは複数を実施するために、他の構成要素が使用される場合がある。
【０１０７】
[0115]ブロック９０２で、第１のレイヤに関するビデオ情報がメモリから取得または受信され得る。ビデオ情報は、第１のビデオレイヤからの第１のブロックを含むことができる。
【０１０８】
[0116]ブロック９０４で、第２のレイヤに関するビデオ情報がメモリから取得または受信され得る。ビデオ情報は、第２のビデオレイヤからの第２のブロックを含むことができる。
【０１０９】
[0117]ブロック９０６で、第１のビデオレイヤまたは第２のビデオレイヤのうちの少なくとも１つがデフォルトレイヤであるかどうかが判定される。たとえば、第１のビデオレイヤまたは第２のビデオレイヤのうちの少なくとも１つがベースレイヤまたはレイヤ０であるかどうかが判定される場合がある。そうである場合、方法９００は終了する。そうでない場合、方法９００はブロック９０８に進む。ブロック９０８で、レイヤ間予測が制限される。たとえば、方法９００は、コーディングデバイスがレイヤ間予測モードにおいて第１のレイヤまたは第２のレイヤのビデオ情報を復号または符号化することを禁止することができる。
【０１１０】
[0118]図１０は、レイヤ間予測に使用され得る動き補償レイヤの任意の最大数が決定され得る一実施形態により、ビデオデータをコーディングするための例示的な方法１０００を示す。方法１０００は、たとえば、ビデオエンコーダ２０またはビデオデコーダ３０の１つまたは複数の構成要素によって実行され得る。いくつかの実施形態では、本明細書に記載されるステップのうちの１つまたは複数を実施するために、他の構成要素が使用される場合がある。
【０１１１】
[0119]ブロック１００２で、複数のレイヤに関するビデオ情報がメモリから取得または受信され得る。複数のレイヤは、少なくとも１つの参照レイヤと、少なくとも１つのエンハンスメントレイヤとを含むことができる。
【０１１２】
[0120]ブロック１００４で、複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数が決定される場合がある。たとえば、レイヤ間予測に使用され得る動き補償レイヤの最大数を示すフラグが受信される場合がある。
【０１１３】
[0121]ブロック１００６で、動き補償レイヤの最大数に基づいて、現在のレイヤ内のピクチャのレイヤ間予測が制限される場合がある。複数のレイヤのうちの任意のレイヤ内のピクチャおよび現在のレイヤ内のピクチャの各々は、アクセスユニット内のピクチャを備える場合がある。たとえば、いくつかの実施形態では、レイヤ間予測に使用され得る動き補償レイヤの最大数、および動き補償レイヤの最大数に基づくレイヤ間予測の制限は、アクセスユニット内の各ピクチャに関して処理される場合がある。
【０１１４】
[0122]図１１は、例示的なビデオコーダ１１００の機能ブロック図である。ビデオコーダ１１００は、記憶モジュール１１０２と、予測モジュール１１０４と、制限モジュール１１０６とを含む。ビデオエンコーダ２０またはビデオデコーダ３０の１つまたは複数の構成要素は、たとえば、記憶モジュール１１０２と、予測モジュール１１０４と、制限モジュール１１０６とを実装するために使用され得る。いくつかの実施形態では、モジュールのうちの１つまたは複数を実装するために、他の構成要素が使用される場合がある。
【０１１５】
[0123]記憶モジュール１１０２は、１つまたは複数のビデオレイヤからのビデオ情報を記憶することができる。予測モジュール１１０４は、レイヤ間予測モードを使用して予測情報を決定することができる。制限モジュール１１０６は、いくつかの状態が発生したとき、レイヤ間予測を制限することができる。たとえば、レイヤ間予測で使用されるべきビデオ情報がベースレイヤ、レイヤ０、または所定のデフォルトレイヤからではないとき、制限モジュール１１０６はレイヤ間予測を制限することができる。
【０１１６】
[0124]例によっては、本明細書で説明された技法のうちいずれかの、いくつかの行為またはイベントは、異なる順番で実行される可能性があり、追加され、統合され、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、同時に、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて実行され得る。
【０１１７】
[0125]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されてよく、あるいは、コンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する、任意の媒体を含むデータ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【０１１８】
[0126]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。同様に、いかなる接続も適切にコンピュータ可読媒体と称される。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０１１９】
[0127]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または本明細書で説明される技法の実装に好適な他の構造のいずれかを指す。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内で与えられてよく、あるいは複合コーデックに組み込まれてよい。また、本技法は、１つまたは複数の回路または論理要素中で完全に実装され得る。
【０１２０】
[0128]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられてよく、または相互動作ハードウェアユニットの集合によって与えられてよい。様々な例が説明されてきた。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］  ビデオ情報をコーディングするように構成された装置であって、
少なくとも１つの参照レイヤと少なくとも１つのエンハンスメントレイヤとを備える複数のレイヤに関連付けられたビデオ情報を記憶するように構成されたメモリと、
前記メモリと通信しているプロセッサとを備え、前記プロセッサが、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定することと、
動き補償レイヤの前記最大数に基づいて、現在のレイヤ内のピクチャのレイヤ間予測を制限することと
を行うように構成された、
装置。
［Ｃ２］  前記複数のレイヤのうちの任意のレイヤ内の前記ピクチャおよび前記現在のレイヤ内の前記ピクチャの各々が、アクセスユニット内のピクチャを備える、Ｃ１に記載の装置。
［Ｃ３］  前記プロセッサが、前記アクセスユニット内のピクチャごとに、動き補償レイヤの前記最大数を決定することと、動き補償レイヤの前記最大数に基づいてレイヤ間予測を制限することとを行うようにさらに構成された、Ｃ２に記載の装置。
［Ｃ４］  前記少なくとも１つの参照レイヤがレイヤ０である、Ｃ１に記載の装置。
［Ｃ５］  前記少なくとも１つのエンハンスメントレイヤも参照レイヤを備える、Ｃ１に記載の装置。
［Ｃ６］  前記プロセッサが、レイヤ間予測に使用され得る動き補償レイヤの前記最大数を示す第１のフラグを受信するようにさらに構成された、Ｃ１に記載の装置。
［Ｃ７］  前記第１のフラグが、ＶＰＳ（ビデオパラメータセット）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、スライスヘッダ、およびＳＥＩ（補足エンハンスメント情報）メッセージのうちの１つまたは複数の中でシグナリングされる、Ｃ６に記載の装置。
［Ｃ８］  前記レイヤ間予測の参照レイヤの各々が制約付きイントラ予測を使用する場合、前記複数のレイヤのうちの任意の２つのレイヤ間のレイヤ間予測を許可するように、前記プロセッサがさらに構成された、Ｃ１に記載の装置。
［Ｃ９］  動き補償レイヤの前記最大数が超えられるだろうと前記プロセッサが判断したとき、動き情報のレイヤ間予測または残差情報のレイヤ間予測のうちの少なくとも１つを制限するように、前記プロセッサがさらに構成された、Ｃ１に記載の装置。
［Ｃ１０］  前記プロセッサが、
前記少なくとも１つの参照レイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が許可されるかどうかを判定することと、
動き補償が前記少なくとも１つのエンハンスメントレイヤのビデオ情報とともに使用されないように、前記少なくとも１つのエンハンスメントレイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が部分的に許可されるかどうかを判定することと
を行うようにさらに構成された、Ｃ１に記載の装置。
［Ｃ１１］  前記プロセッサが、前記少なくとも１つの参照レイヤのビデオ情報を使用して、現在のビデオブロックに関連付けられたテクスチャ情報を予測するようにさらに構成された、Ｃ１０に記載の装置。
［Ｃ１２］  前記プロセッサが、前記少なくとも１つのエンハンスメントレイヤのビデオ情報を使用して、現在のビデオブロックに関連付けられた動き情報および残差情報のうちの１つまたは複数を予測するようにさらに構成された、Ｃ１０に記載の装置。
［Ｃ１３］  前記装置がエンコーダを備える、Ｃ１に記載の装置。
［Ｃ１４］  前記装置がデコーダを備える、Ｃ１に記載の装置。
［Ｃ１５］  前記装置が、前記メモリと前記プロセッサとを備えるデジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、およびビデオ遠隔会議デバイスのうちの少なくとも１つをさらに備える、Ｃ１に記載の装置。
［Ｃ１６］  ビデオ情報をコーディングする方法であって、
少なくとも１つの参照レイヤと少なくとも１つのエンハンスメントレイヤとを備える複数のレイヤに関連付けられたビデオ情報を受信することと、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定することと、
動き補償レイヤの前記最大数に基づいて、現在のレイヤ内のピクチャのレイヤ間予測を制限することと
を備える、方法。
［Ｃ１７］  前記複数のレイヤのうちの任意のレイヤ内の前記ピクチャおよび前記現在のレイヤ内の前記ピクチャの各々が、アクセスユニット内のピクチャを備える、Ｃ１６に記載の方法。
［Ｃ１８］  前記アクセスユニット内のピクチャごとに、動き補償レイヤの前記最大数を決定することと、動き補償レイヤの前記最大数に基づいてレイヤ間予測を制限することとをさらに備える、Ｃ１６に記載の方法。
［Ｃ１９］  前記少なくとも１つの参照レイヤがレイヤ０である、Ｃ１６に記載の方法。
［Ｃ２０］  前記少なくとも１つのエンハンスメントレイヤも参照レイヤを備える、Ｃ１６に記載の方法。
［Ｃ２１］  レイヤ間予測に使用され得る動き補償レイヤの前記最大数を示す第１のフラグを受信することをさらに備える、Ｃ１６に記載の方法。
［Ｃ２２］  前記第１のフラグが、ＶＰＳ（ビデオパラメータセット）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、スライスヘッダ、およびＳＥＩ（補足エンハンスメント情報）メッセージのうちの１つまたは複数の中でシグナリングされる、Ｃ２１に記載の方法。
［Ｃ２３］  前記レイヤ間予測の参照レイヤの各々が制約付きイントラ予測を使用する場合、前記複数のレイヤのうちの任意の２つのレイヤ間のレイヤ間予測を許可することをさらに備える、Ｃ１４に記載の方法。
［Ｃ２４］  動き補償レイヤの前記最大数が超えられるだろうと前記プロセッサが判断したとき、動き情報のレイヤ間予測または残差情報のレイヤ間予測のうちの少なくとも１つを制限することをさらに備える、Ｃ１６に記載の方法。
［Ｃ２５］  前記少なくとも１つの参照レイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が許可されるかどうかを判定することと、
動き補償が前記少なくとも１つのエンハンスメントレイヤのビデオ情報とともに使用されないように、前記少なくとも１つのエンハンスメントレイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が部分的に許可されるかどうかを判定することと
をさらに備える、Ｃ１６に記載の方法。
［Ｃ２６］  前記少なくとも１つの参照レイヤのビデオ情報を使用して、現在のビデオブロックに関連付けられたテクスチャ情報を予測することをさらに備える、Ｃ２５に記載の方法。
［Ｃ２７］  前記少なくとも１つのエンハンスメントレイヤのビデオ情報を使用して、現在のビデオブロックに関連付けられた動き情報および残差情報のうちの１つまたは複数を予測することをさらに備える、Ｃ２５に記載の方法。
［Ｃ２８］  前記少なくとも１つのエンハンスメントレイヤに関連付けられたレイヤＩＤの値をＮ−１に等しく設定することをさらに備え、ここにおいて、現在のスライスのスライスレイヤＩＤがＮの値を有する、Ｃ２５に記載の方法。
［Ｃ２９］  少なくとも１つの参照レイヤと少なくとも１つのエンハンスメントレイヤとを備える複数のレイヤに関連付けられたビデオ情報を受信するための手段と、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定するための手段と、
動き補償レイヤの前記最大数に基づいて、現在のレイヤ内のピクチャのレイヤ間予測を制限するための手段と
を備える、ビデオコーディング装置。
［Ｃ３０］  前記少なくとも１つの参照レイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が許可されるかどうかを判定するための手段と、
動き補償が前記少なくとも１つのエンハンスメントレイヤのビデオ情報とともに使用されないように、前記少なくとも１つのエンハンスメントレイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が部分的に許可されるかどうかを判定するための手段と
をさらに備える、Ｃ２９に記載のビデオコーディング装置。
［Ｃ３１］  レイヤ間予測に使用され得る動き補償レイヤの前記最大数を示す第１のフラグを受信するための手段
をさらに備える、Ｃ２９に記載のビデオコーディング装置。
［Ｃ３２］  実行されたとき、
少なくとも１つの参照レイヤと少なくとも１つのエンハンスメントレイヤとを備える複数のレイヤに関連付けられたビデオ情報を受信することと、
前記複数のレイヤのうちの任意のレイヤ内のピクチャのレイヤ間予測に使用され得る動き補償レイヤの最大数を決定することと、
動き補償レイヤの前記最大数に基づいて、現在のレイヤ内のピクチャのレイヤ間予測を制限することと
を装置に行わせるコードを記憶している、非一時的コンピュータ可読媒体。
［Ｃ３３］  実行されたとき、
前記少なくとも１つの参照レイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が許可されるかどうかを判定することと、
動き補償が前記少なくとも１つのエンハンスメントレイヤのビデオ情報とともに使用されないように、前記少なくとも１つのエンハンスメントレイヤに関連付けられた前記ビデオ情報に対してレイヤ間予測が部分的に許可されるかどうかを判定することと
を前記装置に行わせるコードをさらに記憶している、Ｃ３２に記載の非一時的コンピュータ可読媒体。
［Ｃ３４］  実行されたとき、レイヤ間予測に使用され得る動き補償レイヤの前記最大数を示す第１のフラグを受信することを前記装置に行わせるコードをさらに記憶している、Ｃ３２に記載の非一時的コンピュータ可読媒体。
【図１】
0006716253.tif 000004
【図２】
0006716253.tif 000005
【図３】
0006716253.tif 000006
【図４】
0006716253.tif 000007
【図５】
0006716253.tif 000008
【図６】
0006716253.tif 000009
【図７】
0006716253.tif 000010
【図８】
0006716253.tif 000011
【図９】
0006716253.tif 000012
【図１０】
0006716253.tif 000013
【図１１】
0006716253.tif 000014