(57)【特許請求の範囲】
【請求項１】
ビデオ情報を復号する方法であって、
レイヤ間シンタックス予測をイネイブルにすべきであるか、又はデセイブルにすべきであるかの第１の指示を、シーケンスレベルで受信することと、
ビデオパラメータセット（ＶＰＳ）中で、ベースレイヤに関連するコーデックが非ＨＥＶＣ（高効率ビデオコード化）コーデックを備えるかどうかのフラグを受信することと、
前記フラグに基づき、前記ベースレイヤに関連する前記コーデックが非ＨＥＶＣコーデックを備えると決定したことに応答して、レイヤ間シンタックス予測をデセイブルにすることと、前記フラグに基づき、前記ベースレイヤに関連する前記コーデックがＨＥＶＣコーデックを備えると決定されたとき、レイヤ間シンタックス予測はデセイブルにされない、
レイヤ間テクスチャ予測をイネイブルにすべきであるか、又はデセイブルにすべきであるかの第２の指示を、前記シーケンスレベルで受信することと、
ここにおいて、前記第１の指示及び前記第２の指示が互いに無関係である、
を備える、方法。
【請求項２】
前記ベースレイヤに関連する前記コーデックが前記非ＨＥＶＣコーデックを備えるかどうかを決定することが、前記ベースレイヤに関連する前記コーデックがＡＶＣコーデックであるかどうかを決定することを備える、請求項１に記載の方法。
【請求項３】
前記第１の指示及び前記第２の指示が、第１のフラグ又はシンタックス要素と第２のフラグ又はシンタックス要素とを備える、請求項１に記載の方法。
【請求項４】
前記第１の指示及び前記第２の指示が、ビデオパラメータセット、又はシーケンスパラメータセット中で受信される、請求項１に記載の方法。
【請求項５】
前記第１の指示及び前記第２の指示が、異なるフラグ、または、異なるシンタックス要素である、請求項１に記載の方法。
【請求項６】
レイヤ間シンタックス予測をデセイブルにさせるために、ビットストリーム中でレイヤ間シンタックス予測フラグ又はシンタックス要素を信号伝達するのをスキップすることをさらに備える、請求項１に記載の方法。
【請求項７】
ビデオ情報を符号化する方法であって、
レイヤ間シンタックス予測をイネイブルにすべきであるか、又はデセイブルにすべきであるかの第１の指示を、シーケンスレベルにおいて与えることと、
ビデオパラメータセット（ＶＰＳ）中で、ベースレイヤに関連するコーデックがコーデックの非ＨＥＶＣ（高効率ビデオコード化）を備えるかどうかのフラグを与えることと、
前記フラグに基づき、前記ベースレイヤに関連する前記コーデックが非ＨＥＶＣコーデックを備えると決定したことに応答して、レイヤ間シンタックス予測をデセイブルにすることと、前記フラグに基づき、前記ベースレイヤに関連する前記コーデックがＨＥＶＣコーデックを備えると決定したとき、レイヤ間シンタックス予測はデセイブルにされない、
レイヤ間テクスチャ予測をイネイブルにすべきであるかどうかの第２の指示を、前記シーケンスレベルにおいて与えることと、
ここにおいて、前記第１の指示及び前記第２の指示が互いに無関係である、
を備える、方法。
【請求項８】
前記ベースレイヤに関連する前記コーデックが前記非ＨＥＶＣコーデックを備えるかどうかを決定することが、前記ベースレイヤに関連する前記コーデックがＡＶＣコーデックであるかどうかを決定することを備える、請求項７に記載の方法。
【請求項９】
前記第１の指示及び前記第２の指示が、第１のフラグ又はシンタックス要素と第２のフラグ又はシンタックス要素とを備える、請求項７に記載の方法。
【請求項１０】
前記第１の指示及び前記第２の指示が、ビデオパラメータセット、又はシーケンスパラメータセット中で与えられる、請求項７に記載の方法。
【請求項１１】
前記第１の指示及び前記第２の指示が、異なるフラグ、または、異なるシンタックス要素である、請求項７に記載の方法。
【請求項１２】
レイヤ間シンタックス予測をデセイブルにさせるために、ビットストリーム中でレイヤ間シンタックス予測フラグ又はシンタックス要素を信号伝達するのをスキップすること、をさらに備える、請求項７に記載の方法。
【請求項１３】
実行されたとき、プロセッサに、請求項１乃至６のいずれか１項に記載の方法を行わせるコードを備える、コンピュータ可読媒体。
【請求項１４】
ビデオ情報を復号するための装置であって、
レイヤ間シンタックス予測をイネイブルにすべきであるか、又はデセイブルにすべきであるかの第１の指示を、シーケンスレベルにおいて受信するための手段と、
ビデオパラメータセット（ＶＰＳ）中で、ベースレイヤに関連するコーデックが非ＨＥＶＣ（高効率ビデオコード化）コーデックを備えるかどうかのフラグを受信するための手段と、
前記フラグに基づき、前記ベースレイヤに関連する前記コーデックが非ＨＥＶＣコーデックを備えると決定したことに応答して、レイヤ間シンタックス予測をデセイブルにするための手段と、前記フラグに基づき、前記ベースレイヤに関連する前記コーデックがＨＥＶＣコーデックを備えると決定されたとき、レイヤ間シンタックス予測はデセイブルにされない、
レイヤ間テクスチャ予測をイネイブルにすべきであるか、又はデセイブルにすべきであるかの第２の指示を、前記シーケンスレベルにおいて受信するための手段と、
ここにおいて、前記第１の指示及び前記第２の指示が互いに無関係である、
を備える、装置。
【請求項１５】
ビデオ情報を符号化するための装置であって、
レイヤ間シンタックス予測をイネイブルにすべきであるか、又はデセイブルにすべきであるかの第１の指示を、シーケンスレベルにおいて与えるための手段と、
ビデオパラメータセット（ＶＰＳ）中で、ベースレイヤに関連するコーデックがコーデックの非ＨＥＶＣ（高効率ビデオコード化）を備えるかどうかのフラグを与えるための手段と、
前記フラグに基づき、前記ベースレイヤに関連する前記コーデックが非ＨＥＶＣコーデックを備えると決定したことに応答して、レイヤ間シンタックス予測をデセイブルにするための手段と、前記フラグに基づき、前記ベースレイヤに関連する前記コーデックがＨＥＶＣコーデックを備えると決定したとき、レイヤ間シンタックス予測はデセイブルにされない、
レイヤ間テクスチャ予測をイネイブルにすべきであるかどうかの第２の指示を、前記シーケンスレベルにおいて与えるための手段と、
ここにおいて、前記第１の指示及び前記第２の指示が互いに無関係である、
を備える、装置。
【請求項１６】
実行されたとき、プロセッサに、請求項７乃至１２のいずれか１項に記載の方法を行わせるコードを備える、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、ビデオコード化及び圧縮の分野に関する。詳細には、本開示は、例えば、スケーラブルビデオコード化（ＳＶＣ）、マルチビュービデオ及び３Ｄコード化（ＭＶＣ、３ＤＶ）などの高効率ビデオコード化（ＨＥＶＣ）及びそれの拡張に関する。
【背景技術】
【０００２】
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ  １０，Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオコード化技法など、ビデオコード化技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。
【０００３】
[0003]ビデオコード化技法は、ビデオシーケンスに固有の冗長性を低減又は除去するための空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を含む。ブロックベースのビデオコード化の場合、ビデオスライス（例えば、ビデオフレーム又はビデオフレームの一部分）が、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化された（Ｉ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化された（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００４】
[0004]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコード化が適用され得る。
【０００５】
[0005]幾つかの状況では、特定のベースレイヤコーデック（例えば、ＨＥＶＣなど）のために（動き情報を含む）レイヤ間シンタックス予測と呼ばれる、ベースレイヤからの予測のタイプをイネイブル（有効）にすることが望ましい。しかしながら、現在のＳＨＶＣ（ＨＥＶＣのスケーラブル拡張）設計は、ベースレイヤからのそのような予測が許可されるか否かを示す機構を与えない。
【発明の概要】
【０００６】
[0006]一般に、本開示は、スケーラブルビデオコード化（ＳＶＣ）に関係する技法を記載する。以下で説明する技法は、（動き情報を含む）レイヤ間シンタックス予測が特定のベースレイヤコーデック（例えば、ＨＥＶＣなど）に対して許可されるかどうかを示す機構を与える。
【０００７】
[0007]一実施形態では、ビデオ情報を符号化又は復号するための装置が提供される。本装置は、ベースレイヤ及び拡張レイヤ（enhancement layer）に関連するビデオ情報を記憶するように構成されたメモリユニットを含む。本装置はまた、メモリユニットに動作可能に結合されたプロセッサを含む。プロセッサは、レイヤ間シンタックス予測をイネイブル（有効）又はデセイブル（無効）にするように構成された第１の指標を与えるように構成される。プロセッサはまた、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えるように構成される。第１の指標及び第２の指標は、互いに別個に与えられ得る。別の実施形態では、プロセッサは、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第１の指標を与えるように構成される。
【０００８】
[0008]別の実施形態では、ビデオ情報を復号する方法は、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を受信することと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を受信することとを含む。第１の指標及び第２の指標は互いに別個に受信される。一実施形態では、本方法はまた、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにすることを含む。
【０００９】
[0009]別の実施形態では、ビデオ情報を符号化する方法は、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えることとを含む。第１の指標及び第２の指標は互いに別個に与えられる。一実施形態では、本方法はまた、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第１の指標を与えることを含む。
【００１０】
[0010]別の実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、プロセッサに、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えることとを行わせるコードを含む。第１の指標及び第２の指標は互いに別個に与えられる。一実施形態では、コードは、実行されたとき、プロセッサに、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第１の指標を与えることを更に行わせる。
【００１１】
[0011]また別の実施形態では、ビデオ情報をコード化するための手段は、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を与えるための手段と、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えるための手段とを含む。第１の指標及び第２の指標は、互いに別個に与えられ得る。一実施形態では、第１の指標を与えるための手段は、ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために第１の指標を与えるための手段を含む。
【００１２】
[0012]１つ又は複数の例の詳細を、添付の図面及び以下の説明に記載し、これは、本明細書で説明する本発明の概念の完全な範囲を限定するものではない。他の特徴、目的、及び利点は、その説明及び図面から、並びに特許請求の範囲から明らかになろう。
【００１３】
[0013]図面全体にわたって、参照される要素間の対応を示すために参照番号が再使用される場合がある。図面は、本明細書に記載される例示的な実施形態を図示するために提供され、本開示の範囲を限定するものではない。
【図面の簡単な説明】
【００１４】
【図１】[0014]本開示で説明する態様に従って技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。
【図２】[0015]本開示で説明する態様に従って技法を実装し得るビデオエンコーダの一例を示すブロック図。
【図３】[0016]本開示で説明する態様に従って技法を実装し得るビデオデコーダの一例を示すブロック図。
【図４】[0017]本開示の態様による、レイヤ間シンタックス予測を制御するための方法の一実施形態を示すフローチャート。
【図５】[0018]本開示の態様による、動き予測を制御するための方法の別の実施形態を示すフローチャート。
【発明を実施するための形態】
【００１５】
[0019]本開示で説明する技法は、概して、スケーラブルビデオコード化（ＳＶＣ）及びマルチビュー／３Ｄビデオコード化に関係する。例えば、本技法は、高効率ビデオコード化（ＨＥＶＣ）のスケーラブルビデオコード化（ＳＨＶＣと呼ばれることがある、ＳＶＣ）拡張に関係し、それとともに又はそれの中で使用され得る。ＳＶＣ拡張では、ビデオ情報の複数のレイヤがあり得る。最下位レベルにあるレイヤはベースレイヤ（ＢＬ：base layer）として働き、最上位にあるレイヤ（又は最上位レイヤ）は拡張化レイヤ（ＥＬ：enhanced layer）として働き得る。「拡張化レイヤ」は「拡張レイヤ」と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤは「参照レイヤ」（ＲＬ：reference layer）と呼ばれることがあり、これらの用語は互換的に使用され得る。ベースレイヤとトップレイヤとの間にある全てのレイヤは、ＥＬ又は参照レイヤ（ＲＬ）のいずれか又は両方として働き得る。例えば、中間にあるレイヤは、ベースレイヤ又は介在拡張レイヤ（intervening enhancement layer）など、それの下のレイヤのためのＥＬであり、同時にそれの上の拡張レイヤのためのＲＬとして働き得る。ベースレイヤとトップレイヤ（又は最上位レイヤ）との間にある各レイヤは、上位レイヤによるレイヤ間予測用の参照として使用され得、レイヤ間予測のための参照として下位レイヤを使用し得る。
【００１６】
[0020]簡単のために、ＢＬ及びＥＬのただ２つのレイヤに関して例を提示するが、以下で説明するアイデア及び実施形態が複数のレイヤを用いる場合にも適用可能であることを十分理解されたい。更に、説明を簡単にするために、「フレーム」又は「ブロック」という用語をしばしば使用する。但し、これらの用語は限定的なものではない。例えば、以下で説明する技法は、限定はしないが、画素、ブロック（例えば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなどを含む様々なビデオ単位のいずれかとともに使用され得る。
【００１７】
ビデオコード化
[0021]ビデオコード化規格は、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、及びそれのスケーラブルビデオコード化（ＳＶＣ）拡張とマルチビュービデオコード化（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４を含む。更に、ＩＴＵ−Ｔビデオコード化エキスパートグループ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）のジョイントコラボレーションチームオンビデオコード化（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されている新しいビデオコード化規格の高効率ビデオコード化（ＨＥＶＣ）がある。以下、ＨＥＶＣ  ＷＤ１０と呼ぶ、ＨＥＶＣの最新のワーキングドラフト（ＷＤ）が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ/ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ１２.ｚｉｐから入手可能である。ＨＥＶＣ  ＷＤ９と呼ばれる、ＨＥＶＣの別のワーキングドラフトが、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴＶＣ−Ｋ１００３−ｖ１３．ｚｉｐにおいて入手可能である。ＨＥＶＣ  ＷＤ８（又はＷＤ８）と呼ばれる、ＨＥＶＣの別のワーキングドラフトが、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴＶＣ−Ｊ１００３−ｖ８．ｚｉｐにおいて入手可能である。ＨＥＶＣ  ＷＤ７と呼ばれる、ＨＥＶＣの別のワーキングドラフトが、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｉ１００３−ｖ５．ｚｉｐから入手可能である。これらの文献の全ては、その全体が参照により組み込まれる。
【００１８】
[0022]スケーラブルビデオコード化（ＳＶＣ）は、（信号対雑音比（ＳＮＲ）とも呼ばれる）品質スケーラビリティ、空間スケーラビリティ、及び／又は時間スケーラビリティを実現するために使用され得る。例えば、一実施形態では、参照レイヤ（例えば、ベースレイヤ）は、第１の品質レベルでビデオを表示するのに十分なビデオ情報を含み、拡張レイヤは、参照レイヤと比べて更なるビデオ情報を含み、その結果、参照レイヤ及び拡張レイヤは一緒に、第１の品質レベルよりも高い第２の品質レベル（例えば、少ない雑音、大きい解像度、より良いフレームレートなど）でビデオを表示するのに十分なビデオ情報を含む。拡張化レイヤは、ベースレイヤとは異なる空間解像度を有し得る。例えば、ＥＬとＢＬとの間の空間アスペクト比は、１．０、１．５、２．０、又は他の異なる比であり得る。言い換えれば、ＥＬの空間アスペクトは、ＢＬの空間アスペクトの１．０倍、１．５倍、又は２．０倍に等しい場合がある。幾つかの例では、ＥＬの倍率は、ＢＬの倍率よりも大きい場合がある。例えば、ＥＬ内のピクチャのサイズは、ＢＬ内のピクチャのサイズよりも大きい場合がある。このようにして、限定ではないが、ＥＬの空間解像度がＢＬの空間解像度よりも大きいことは可能であり得る。
【００１９】
[0023]Ｈ．２６４のためのＳＶＣ拡張では、現在のブロックの予測は、ＳＶＣのために提供された様々なレイヤを使用して実行され得る。そのような予測は、レイヤ間予測と呼ばれる場合がある。レイヤ間予測方法は、レイヤ間冗長性を低減するためにＳＶＣにおいて利用され得る。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測があり得る。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロック（co-located blocks）の再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動きを使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。
【００２０】
[0024]レイヤ間動き予測の幾つかの実施形態では、（例えば、同じ位置にあるブロックについての）ベースレイヤの動きデータは、拡張レイヤ内の現在のブロックを予測するために使用され得る。例えば、拡張レイヤでビデオ単位をコード化しながら、ビデオコーダは、参照レイヤからの情報を使用して、更なる仮説を識別するために使用され得る更なる動き補償データを取得することができる。これらの更なる仮説は、ビデオのビットストリーム内にすでに存在するデータから暗黙的に導出されるので、ビットストリームのサイズにおける追加コストが殆んど又は全くない状態で、ビデオコード化における更なる性能が得られ得る。別の例では、更なる仮説を見つけるために、空間的に隣接するビデオ単位からの動き情報が使用され得る。次いで、導出された仮説は、明示的に符号化された仮説と平均化されるか、又は場合によっては組み合わされて、ビデオ単位の値のより良い予測を生成することができる。
【００２１】
[0025]添付の図面を参照しながら新規のシステム、装置、及び方法の様々な態様について以下でより十分に説明する。但し、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造又は機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本発明の他の態様とは無関係に実装されるにせよ、又は本発明の他の態様と組み合わされるにせよ、本明細書で開示する新規のシステム、装置、及び方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。例えば、本明細書に記載した態様をいくつ使用しても、装置は実装され得、又は方法は実施され得る。更に、本発明の範囲は、本明細書に記載の本発明の様々な態様に加えて又はそれらの態様以外に、他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法をカバーするものとする。本明細書で開示するどの態様も請求項の１つ又は複数の要素によって実施され得ることを理解されたい。
【００２２】
[0026]本明細書では特定の態様が記載されるが、これらの態様の多くの変形形態及び置換は本開示の範囲内に入る。好ましい態様の幾つかの利益及び利点が言及されるが、本開示の範囲は、特定の利益、使用、又は目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、及び伝送プロトコルに広く適用可能であるものとし、それらの幾つかを例として、図及び好適な態様についての以下の説明において示す。発明を実施するための形態及び図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲及びそれの均等物によって定義される。
【００２３】
ビデオコード化システム
[0027]図１は、本開示で説明する態様による技法を利用し得る例示的なビデオコード化システム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
【００２４】
[0028]図１に示すように、ビデオコード化システム１０は、発信源機器１２と宛先機器１４とを含む。発信源機器１２は符号化ビデオデータを生成する。宛先機器１４は、発信源機器１２によって生成された符号化ビデオデータを復号し得る。発信源機器１２は、コンピュータ可読媒体１６を介して宛先機器１４にビデオデータを与えることができる。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータ、ビデオストリーミング機器などを含む、広範囲にわたる機器を含み得る。発信源機器１２及び宛先機器１４は、ワイヤレス通信のために装備され得る。
【００２５】
[0029]宛先機器１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、発信源機器１２から宛先機器１４に符号化されたビデオデータを移動させることができるタイプの媒体又は機器を備え得る。例えば、コンピュータ可読媒体１６は、発信源機器１２が、符号化ビデオデータを宛先機器１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つもしくは複数の物理伝送線路など、ワイヤレス又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、又は他の機器を含み得る。
【００２６】
[0030]幾つかの実施形態では、符号化データは、出力インターフェース２２から記憶装置に出力され得る。同様に、符号化データは、入力インターフェースによって記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性メモリ、若しくはビデオデータを記憶するための他のデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。記憶装置は、発信源機器１２によって生成された符号化ビデオを記憶し得るファイルサーバ又は別の中間記憶装置に対応し得る。宛先機器１４は、ストリーミング又はダウンロードを介して記憶装置から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器１４に送信することが可能なタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）装置、又はローカルディスクドライブを含む。宛先機器１４は、インターネット接続を含む、標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含み得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
【００２７】
[0031]本開示の技法は、ワイヤレス適用例又は設定に加えて適用例又は設定を適用することができる。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例をサポートするビデオコード化に適用され得る。幾つかの実施形態では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
【００２８】
[0032]図１では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。発信源機器１２のビデオエンコーダ２０は、複数の規格又は規格拡張に準拠するビデオデータを含むビットストリームをコード化するための技法を適用するように構成され得る。他の実施形態では、発信源機器及び宛先機器は他の構成要素又は構成を含み得る。例えば、発信源機器１２は、外部カメラなど、外部ビデオ発信源１８からビデオデータを受信し得る。同様に、宛先機器１４は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。
【００２９】
[0033]発信源機器１２のビデオ発信源１８は、ビデオカメラなどの撮像装置、予め撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。幾つかの実施形態では、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラフォン又はビデオフォンを形成し得る。撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６に出力され得る。
【００３０】
[0034]コンピュータ可読媒体１６は、ワイヤレスブロードキャスト又はワイヤードネットワーク送信などの一時媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、又は他のコンピュータ可読媒体などの記憶媒体（例えば、非一時的記憶媒体）を含み得る。ネットワークサーバ（図示せず）は、（例えば、ネットワーク送信を介して）発信源機器１２から符号化されたビデオデータを受信し、宛先機器１４に符号化されたビデオデータを与え得る。ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体１６は、様々な形態の１つ又は複数のコンピュータ可読媒体を含むと理解され得る。
【００３１】
[0035]宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信し得る。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、ビデオデコーダ３０によって使用され得る、ブロック及び他のコード化単位、例えば、ＧＯＰの特性及び／又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置３２は、復号されたビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを含み得る。
【００３２】
[0036]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格などのビデオコード化規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ  １０，Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格など、他のプロプライエタリ規格もしくは業界規格、又はそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオコード化規格の他の例としては、ＭＰＥＧ−２及びＩＴＵ−Ｔ  Ｈ．２６３がある。図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００３３】
[0037]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せなど、様々な好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。
【００３４】
[0038]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。
【００３５】
[0039]概して、ＨＭの作業モデルは、ビデオフレーム又はピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロック又は最大コード化単位（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、画素の数に関して最大コード化単位であるＬＣＵのサイズを定義し得る。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ビデオフレーム又はピクチャは、１つ又は複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコード化単位（ＣＵ）に分割され得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。
【００３６】
[0040]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵが更に分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。例えば、１６×１６サイズのＣＵが更に分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。
【００３７】
[0041]ＣＵは、ＣＵがサイズの差異を有さないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割され得、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフＣＵとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コード化ノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コード化単位（ＳＣＵ：smallest coding unit）をも定義し得る。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、又はＴＵ、若しくは他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。
【００３８】
[0042]ＣＵは、コード化ノードと、コード化ノードに関連する予測ユニット（ＰＵ：prediction unit）及び変換単位（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コード化ノードのサイズに対応し、並びに形状が方形でなければならない。ＣＵのサイズは、８×８画素から最大６４×６４以上の画素を有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従って、ＣＵを１つ又は複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形又は非方形（例えば、矩形）であり得る。
【００３９】
[0043]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるか又はＰＵよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、「残差クワッドツリー」（ＲＱＴ：residual quad tree）として知られるクワッドツリー構造を使用して、より小さい単位に再分割され得る。ＲＱＴのリーフノードは変換単位（ＴＵ）と呼ばれることがある。ＴＵに関連する画素差分値は、量子化され得る変換係数を生成するために変換され得る。
【００４０】
[0044]リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部又は一部分に対応する空間的エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵについてのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つ又は複数の動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトルの参照ピクチャリスト（例えば、リスト０、リスト１、又はリストＣ）を記述し得る。
【００４１】
[0045]１つ又は複数のＰＵを有するリーフＣＵはまた、１つ又は複数の変換単位（ＴＵ）を含み得る。変換単位は、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は、更に、更なるサブＴＵに分割され得る。ＴＵが更に分割されないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。即ち、概して、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダ２０は、イントラ予測モードを使用して各リーフＴＵの残差値をＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きく又は小さくなり得る。イントラコード化の場合、ＰＵは、同じＣＵの対応するリーフＴＵと同一位置配置され得る。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。
【００４２】
[0046]更に、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けられ得る。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、特に明記しない限り、リーフＣＵ及びリーフＴＵに言及するためにそれぞれＣＵ及びＴＵという用語を使用する。
【００４３】
[0047]ビデオシーケンスは、一般に、一連のビデオフレーム又はピクチャを含む。ピクチャグループ（ＧＯＰ）は、概して、ビデオピクチャのうちの一連の１つ又は複数を備える。ＧＯＰは、ＧＯＰ中に含まれる幾つかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。
【００４４】
[0048]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ  ＰＵと下部の２Ｎ×１．５Ｎ  ＰＵとで水平方向に区分された２Ｎ×２Ｎ  ＣＵを指す。
【００４５】
[0049]本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×１６（16x16）画素又は１６×１６（16 by 16）画素を指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、但し、Ｎは非負整数値を表す。ブロック中の画素は行と列で構成され得る。更に、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要はない。例えば、ブロックはＮ×Ｍ画素を備え得、但し、Ｍは必ずしもＮに等しいとは限らない。
【００４６】
[0050]ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（画素領域とも呼ばれる）空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備え得、ＴＵは、変換、例えば、残差ビデオデータへの離散サイン変換（ＤＳＴ）、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、ＰＵに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。
【００４７】
[0051]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、その最も広い通常の意味を有することが意図された広義の用語である。一実施形態では、量子化は、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、但し、ｎはｍよりも大きい。
【００４８】
[0052]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（従ってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（従ってより高い周波数）の係数をアレイの後方に配置するように設計され得る。幾つかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応型走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コード化（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コード化、又は別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
【００４９】
[0053]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、例えば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
【００５０】
[0054]ビデオエンコーダ２０は、更に、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中の幾つかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。
【００５１】
ビデオエンコーダ
[0055]図２は、本開示で説明する態様による技法を実装し得るビデオエンコーダの例を示すブロック図である。ビデオエンコーダ２０は、限定はしないが、図４及び図５に関して以下でより詳細に説明するレイヤ間シンタックス予測を制御する方法と動き予測を制御する方法とを含む、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、モード選択ユニット４０又はレイヤ間予測ユニット６６（与えられる場合）は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。他の実施形態では、レイヤ間予測はモード選択ユニット４０によって実行され得、その場合、レイヤ間予測ユニット６６は省略され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
【００５２】
[0056]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックの（イントラコード化、レイヤコード化、又はレイヤ間コード化といつか呼ばれる）イントラ予測、インター予測、及びレイヤ間予測を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。レイヤ間コード化は、同じビデオコード化シーケンス内の異なるレイヤ内のビデオに基づく予測に依拠する。イントラモード（Ｉモード）は、幾つかの空間ベースのコード化モードのいずれかを指し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指し得る。
【００５３】
[0057]図２に示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーエンコード化単位５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、レイヤ間予測ユニット６６と、区分化ユニット４８とを含む。
【００５４】
[0058]ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換単位６０と、加算器６２とを含む。再構成されたビデオからブロック歪み（blockiness artifacts）を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。また、デブロッキングフィルタに加えて追加のフィルタ（ループ内又はループ後）が使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。
【００５５】
[0059]符号化プロセス中に、ビデオエンコーダ２０は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、時間的予測を行うために、１つ又は複数の参照フレーム中の１つ又は複数のブロックに対して、受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット４６は、代替的に、空間的予測を行うために、コード化されるべきブロックと同じフレーム又はスライス中の１つ又は複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コード化を実行し得る。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。
【００５６】
[0060]その上、区分化ユニット４８は、前のコード化パスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、区分化ユニット４８は、初めにフレーム又はスライスをＬＣＵに区分し、レート歪み分析（例えば、レート歪み最適化など）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、ＬＣＵをサブＣＵに区分することを示す４分木データ構造を更に生成し得る。４分木のリーフノードＣＵは、１つ又は複数のＰＵ及び１つ又は複数のＴＵを含み得る。
【００５７】
[0061]モード選択ユニット４０は、例えば、誤差結果に基づいてコード化モード、即ち、イントラ予測モード、インター予測モード、又はレイヤ間予測モードのうちの１つを選択し、残差ブロックデータを生成するために、得られたイントラコード化ブロック、インターコード化ブロック、又はレイヤ間コード化ブロックを加算器５０に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック、インターコード化ブロック、又はレイヤ間コード化ブロックを加算器６２に与え得る。モード選択ユニット４０はまた、動きベクトル、イントラモード指標、区分情報、及び他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット５６に与える。
【００５８】
[0062]動き推定ユニット４２及び動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（又は他のコード化単位）内でコード化されている現在のブロックに対する参照フレーム（又は他のコード化単位）内の予測ブロックに対する現在のビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照フレームメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット４２は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
【００５９】
[0063]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照フレームメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
【００６０】
[0064]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することに関与し得る。幾つかの例では、動き推定ユニット４２及び動き補償ユニット４４は機能的に統合され得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コード化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。幾つかの実施形態では、動き推定ユニット４２はルーマ成分に対して動き推定を実行し得、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用し得る。モード選択ユニット４０は、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【００６１】
[0065]イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測の代替として、現在ブロックをイントラ予測又は計算し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット４６（又は、幾つかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
【００６２】
[0066]例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、並びに符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化ブロックの歪み及びレートから比率を計算し得る。
【００６３】
[0067]ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。
【００６４】
[0068]ビデオエンコーダ２０はレイヤ間予測ユニット６６を含み得る。レイヤ間予測ユニット６６は、ＳＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット６６は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算リソース要件を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロックの再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。
【００６５】
[0069]ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。例えば、離散サイン変換（ＤＳＴ）、ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。
【００６６】
[0070]変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成し得る。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。幾つかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【００６７】
[0071]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースのエントロピーコード化の場合、コンテキストは、隣接するブロックに基づき得る。エントロピーコード化単位５６によるエントロピーコード化の後、符号化されたビットストリームは、別の機器（例えば、ビデオデコーダ３０）に送信されるか、又は後で送信するか又は取り出すためにアーカイブされ得る。
【００６８】
[0072]逆量子化ユニット５８及び逆変換単位６０は、それぞれ逆量子化及び逆変換を適用して、例えば参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照フレームメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用され得る。
【００６９】
ビデオデコーダ
[0073]図３は、本開示で説明する態様による技法を実装し得るビデオデコーダの例を示すブロック図である。ビデオデコーダ３０は、限定はしないが、図４及び図５に関して以下でより詳細に説明するレイヤ間シンタックス予測を制御する方法と動き予測を制御する方法とを含む、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、レイヤ間予測ユニット７５は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
【００７０】
[0074]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、レイヤ間予測ユニット７５と、逆量子化ユニット７６と、逆変換単位７８と、参照フレームメモリ８２と、加算器８０とを含む。幾つかの実施形態では、動き補償ユニット７２及び／又はイントラ予測ユニット７４はレイヤ間予測を実行するように構成され得、その場合、レイヤ間予測ユニット７５は省略され得る。ビデオデコーダ３０は、幾つかの例では、ビデオエンコーダ２０（図２）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モード指標に基づいて予測データを生成し得る。
【００７１】
[0075]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数、動きベクトル又はイントラ予測モード指標、及び他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルツーと他の予測シンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。
【００７２】
[0076]ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、イントラ予測ユニット７４は、信号伝達されたイントラ予測モード（signaled intra prediction mode）と、現在フレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（例えば、Ｂ、Ｐ又はＧＰＢ）スライスとしてコード化されるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照フレームメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト０及びリスト１を構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを構文解析すること（parsing）によって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つ又は複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
【００７３】
[0077]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【００７４】
[0078]ビデオデコーダ３０もレイヤ間予測ユニット７５を含み得る。レイヤ間予測ユニット７５は、ＳＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット７５は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算リソース要件を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロックの再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された量子化変換係数を逆に量子化（inverse quantize）、例えば、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ３０によって計算される量子化パラメータＱＰＹの使用を含み得る。
【００７５】
[0079]逆変換単位７８は、画素領域において残差ブロックを生成するために、逆変換、例えば逆ＤＣＴ、逆ＤＳＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用する。
【００７６】
[0080]動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換単位７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックに加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つ又は複数の構成要素を表す。所望される場合、ブロック歪みを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。画素遷移を平滑化するために、又は場合によってはビデオ品質を改善するために、他のループフィルタも（コード化ループ中又はコード化ループ後のいずれかで）使用され得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照フレームメモリ８２はまた、図１の表示装置３２などの表示装置上での後の表示のための、復号されたビデオを記憶する。
【００７７】
レイヤ間シンタックス予測
[0081]現在のＳＨＶＣテストモデルでは、ベースレイヤからの動きフィールド（例えば、動きベクトル及び参照インデックス）及び予測モードが拡張レイヤコード化のために使用され得る。但し、現在のレイヤ間シンタックス予測とともに使用され得るベースレイヤコーデックは指定されない。
【００７８】
ベースレイヤコーデック
[0082]現在のＳＨＶＣテストモデルでは、ベースレイヤコーデックは、ＨＥＶＣ又はＨ．２６４／ＡＶＣであり得る。更に、インザビデオパラメータセット（ＶＰＳ）中に、ＨＥＶＣが適用されるのか又はＡＶＣが適用されるのかを示すフラグがある。１に等しいフラグａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇは、ベースレイヤがＲｅｃ．ＩＴＵ−Ｔ  Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６−１０に準拠することを指定し、０に等しいフラグは、ベースレイヤがＨＥＶＣ仕様に準拠することを指定する。従って、拡張レイヤを符号化又は復号するために使用される機器は、ベースレイヤに関してＡＶＣが使用されるのか又はＨＥＶＣが使用されるのかを知ることができる。
【００７９】
ビュー間動き予測信号伝達
[0083]幾つかの技法では、依存ビュー（dependent view）のためにフラグｉｎｔｅｒ＿ｖｉｅｗ＿ｔｅｘｔｕｒｅ＿ｆｌａｇが信号伝達される。フラグは、再構成された画素に基づくビュー間予測（例えば、ビュー間テクスチャ予測）が使用されないように、依存ビューのためにビュー間動き予測のみが使用されるかどうかを示す。更に、ビュー間テクスチャ予測がイネイブルであるかどうかを示し、ビュー間動き予測がイネイブルであるかどうかを示すために指示（例えば、２つのフラグ）が使用され得る。
【００８０】
[0084]そのような信号伝達は、例えば、シーケンスパラメータセット（「ＳＰＳ」）中で与えられ得る。但し、シーケンスパラメータセット中に置かれるシンタックス要素は、同じく（又は代替的に）、同様の機能を達成するために、ビデオパラメータセット（「ＶＰＳ」）中に与えられ得る。更に、スケーラブルコーデックのために同じ概念が透過的に使用され得る。
【００８１】
[0085]上述のように、例えば、（動き情報を含む）レイヤ間シンタックス予測を、例えば、ＨＥＶＣなどの特定のベースレイヤコーデックのためにイネイブルにすることが好ましいことがある。しかしながら、現在のＳＨＶＣ（ＨＥＶＣのスケーラブル拡張）設計は、ベースレイヤからのそのような予測が許可されるか否かを示す方法を有していない。
【００８２】
レイヤ間シンタックス予測制御
[0086]一実施形態では、エンコーダ又はデコーダは、ビデオブロックを符号化又は復号するためにマルチスタンダードコーデックが使用されるかどうかを決定するプロセッサを備える。例えば、マルチスタンダードコーデックを使用することは、例えば、ＨＥＶＣに従って拡張レイヤをコード化し、ＡＶＣなどの非ＨＥＶＣコーデックに従ってベースレイヤをコード化するなど、異なるコーデックを用いて拡張レイヤとベースレイヤとをコード化することを指すことができる。一例として、ベースレイヤがＡＶＣに従ってコード化されているかどうかを決定するために、プロセッサは、ビデオパラメータセット内のフラグ、例えば、ａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇが設定されたか否か（例えば、１に等しいか又は０に等しいか）を決定することができる。非ＨＥＶＣコーデック（例えば、ＡＶＣ又は他の非ＨＥＶＣコーデック）が使用される場合、レイヤ間シンタックス予測はプロセッサによって使用不能にされる。しかしながら、非ＨＥＶＣコーデックに従ってコード化されたレイヤの動き情報がベースレイヤにとって利用可能である場合、レイヤ間シンタックス予測が使用され得る。
【００８３】
[0087]代替的に、フラグは、レイヤ間シンタックス予測の使用を明確に信号伝達するために与えられ得る。一実施形態では、シンタックス予測は、拡張レイヤシンタックス要素を予測するためにベースレイヤシンタックス要素（例えば、動きベクトル、参照インデックス、予測モードなど）を使用するプロセスを指す。概して、一実施形態では、シンタックス情報は、非テクスチャ情報又は非画素情報を指すことがある。更に、（０又は１などのただ２つの値以外の値を有することができるような）バイナリ状態を超えるシンタックス要素がフラグの代わりに指示のために使用され得る。「指標」及び「フラグ」という用語は、概して、フラグ並びにそのようなシンタックス要素を指す。この指標（又はフラグ）が０である場合、レイヤ間シンタックス予測ツールは、コード化ビデオシーケンスのいかなるビデオコード化レイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットのためにもイネイブルにならない。この場合、ａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇが、シーケンスパラメータセットのビデオパラメータセット中で特定のベースレイヤコーデック（例えば、ＨＥＶＣ）のみを指定する場合、レイヤ間シンタックス予測フラグは、常にデセイブルとして信号伝達され得る。
【００８４】
[0088]代替的に、又は上記の技法に加えて、レイヤ間テクスチャ予測がコード化ビデオシーケンスの任意のＶＣＬ  ＮＡＬ単位のためにイネイブルであるかどうかを示すためにフラグ又はシンタックス要素が導入され得る。言い換えれば、１つ又は複数のフラグ又はシンタックス要素など、（指示と呼ばれることがある）指標は、レイヤ間シンタックス予測とレイヤ間テクスチャ予測とを少なくとも含む異なるレイヤ間予測タイプを区別するために与えられる。
【００８５】
[0089]代替的に、又は上記の技法に加えて、上述のフラグは、ランダムアクセスピクチャに属するか又はそれに属さないＶＣＬ  ＮＡＬ単位について別個に信号伝達され得る。このようにして、ビデオパラメータセット又はシーケンスパラメータセット中に、ランダムアクセスピクチャに属さないＮＡＬ単位のための１つ及びランダムアクセスピクチャに属するＮＡＬ単位のための１つの、信号伝達されたフラグの２つのセットが存在し得る。
【００８６】
[0090]また別の実施形態では、特定のａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇでは、拡張レイヤ中で信号伝達されるレイヤ間シンタックス予測フラグがスキップされ得る。そのような場合、レイヤ間シンタックス予測フラグは、使用不能である（例えば、０に等しくなる）と推論され得る。
【００８７】
[0091]別の実施形態では、レイヤ間シンタックス予測を制御する高レベルシンタックスフラグ又はシンタックス要素は、少なくともビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、又はピクチャパラメータセット（ＰＰＳ）中で信号伝達され得る。
【００８８】
[0092]フラグはまた、現在のスライスがレイヤ間テクスチャ予測のために使用されるべきであるか否かを示すためにスライスヘッダ中で信号伝達され得る。更に、フラグは、現在のスライスがレイヤ間シンタックス予測のために使用されるべきであるかどうかを示すためにスライスヘッダ中で信号伝達され得る。
【００８９】
[0093]フラグはまた、現在のスライスが、それの依存レイヤの任意のいずれかとともにレイヤ間テクスチャ予測を利用する（例えば、レイヤ間テクスチャ予測から予測される）かどうかを示すためにスライスヘッダ中で信号伝達され得る。更に、フラグは、現在のスライスが、それの依存レイヤのいずれかとともにレイヤ間シンタックス予測を利用するかどうかを示すためにスライスヘッダ中で信号伝達され得る。追加又は代替として、フラグは、現在のスライスが、任意の依存レイヤからの任意の種類のレイヤ間予測を利用するかどうかを示すためにスライスヘッダ中で信号伝達され得る。
【００９０】
[0094]更に、上述のフラグは、ｓｌｉｃｅ＿ｒｅｓｅｒｖｅｄ＿ｆｌａｇ［ｉ］によって示されるように、追加スライスヘッダビットの一部として提示され得る。
【００９１】
[0095]例えば、現在のＳＨＶＣテストモデルでは、ベースレイヤからの動きフィールド及び予測モードがレイヤ間参照ピクチャにマッピングされるときの動きマッピングツールがある。このツールは、ＨＥＶＣベースレイヤコーデックのため（例えば、ａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇが０に等しくなるとき）にのみイネイブルになり得る。代替的に、高レベルシンタックスフラグは、動きマッピングツールのために導入され得る。このフラグが０である場合、動きマッピングは使用されない。一実施形態では、ａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇが０に等しくなる場合、動きをマッピングフラグが常に０に等しくなるか、又はａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇが０に等しくなる場合、動きマッピングフラグ信号伝達がスキップされ得、動きマッピングフラグが０になると推論される。
【００９２】
[0096]本明細書で説明する技法は、限定はしないが、ＭＶＣ及び３ＤＶなどの他のＨＥＶＣ拡張に適用可能である。そのような場合、レイヤに関して上記で説明した技法がビューに適用されることになる。他のベースレイヤコーデック、例えば、ＭＰＥＧ−２が使用され得る場合、同様の識別フラグが導入され得る。開示する技法は、そのような同様の方法及びコーデックの使用で拡張され得る。
【００９３】
[0097]図４に、図２のビデオエンコーダ２０又は図３のビデオデコーダ３０によって実行され得る、ＳＨＶＣコード化中にレイヤ間シンタックス予測を制御する方法の一実施形態を示す。方法４００はブロック４１０において開始する。ブロック４２０において、拡張レイヤのベースレイヤをコード化する（例えば、符号化又は復号する）ために非ＨＥＶＣコーデック（例えば、ＡＶＣなど）が使用され、一方、拡張レイヤをコード化するためにＨＥＶＣが使用されるかどうかを決定する。例えば、ベースレイヤをコード化するために使用されるコーデックを示すために、又はより一般的に、ベースレイヤをコード化するために非ＨＥＶＣコーデックが使用されるかどうかを示すために、フラグ又はシンタックス要素などの指標が与えられ得る。上記で説明した１つのそのようなフラグａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇは、それが１に等しくなるとき、ベースレイヤをコード化するために非ＨＥＶＣコーデック（即ち、ＡＶＣ）が使用されることを示す。他のフラグ又は指標が使用され得る。ベースレイヤをコード化するために非ＨＥＶＣコーデックが使用される場合、方法は、ブロック４３０に進み、そうでない場合、方法４００は、ブロック４４０において終了する。例えば、ベースレイヤをコード化するためにＨＥＶＣが使用されるとイフが決定され、又はベースレイヤをコード化するために非ＨＥＶＣコーデックが使用されるかどうかが決定され得ない場合、方法は、ブロック４４０に進む。ブロック４３０において、レイヤ間シンタックス予測が使用不能にされる。例えば、コード化モードとしてレイヤ間シンタックス予測が利用可能でないことを示すために指標が与えられ得る。一実施形態では、そのような指標は、上記でより詳細に説明したように、他のレイヤ間予測モード（例えば、レイヤ間テクスチャ予測など）とは無関係に信号伝達され得る。方法４００は、次いで、ブロック４４０に進み、そこで方法４００は終了する。
【００９４】
ＴＭＶＰのデセイブル化
[0098]ＨＥＶＣ拡張（例えば、ＳＶＣ又はＭＶＣ）では、１つ又は複数のベースレイヤ／ビュー動きベクトル候補が、時間動きベクトル候補（ＴＭＶＰ）とともにマージ／ＡＭＶＰ候補リストに含まれることがある。ＨＥＶＣでは、現在のピクチャ中の全てのスライスをコード化する（符号化又は復号する）ために使用される同一位置配置参照ピクチャは１つしかない。この目的のために、インデックス値ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘが、スライスヘッダ中で信号伝達されるが、フレーム中の全てのスライスに対して同じになるように制限される。
【００９５】
[0099]しかしながら、ベースレイヤ／ビュー動きベクトルを使用することは、ＴＭＶＰのための１つの時間参照ピクチャ及びベースレイヤ／ビュー動きベクトルのための１つのベースレイヤ／ビューピクチャの２つの異なる同一位置配置ピクチャから動きベクトルにアクセスすることに関連する帯域幅の増加をもたらし得る。
【００９６】
[00100]ＨＥＶＣは、動きベクトル予測のために、現在のピクチャとは異なる１つのピクチャのみを使用する。ＨＥＶＣのスケーラブル又はマルチビュー拡張では、現在のピクチャの同一位置配置ピクチャは、インデックス値ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘによって定義される時間参照ピクチャ又はビュー間／レイヤ参照ピクチャベースのいずれかでなければならない。
【００９７】
[00101]ベースレイヤ／ビュー動きベクトル（ＭＶ）候補及びＴＭＶＰの使用を制限するために、エンコーダ又はデコーダの実施形態は、以下の条件（「制限条件」）のうちの少なくとも１つを含み得る。
【００９８】
１．幾つかの実施形態では、ピクチャの少なくとも１つのスライスにおいてＴＭＶＰがイネイブルになっている（例えば、フラグｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しくなる）場合、ベースレイヤ／ビューＭＶ候補が現在のピクチャの任意のスライスのために使用され得ないようにビデオデータは符号化又は復号され得る。
【００９９】
２．幾つかの実施形態では、ピクチャ中の全てのスライスについてフラグｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しくなる場合、又は代替的に、フラグｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しくなる場合、マージ／ＡＭＶＰリスト中でベースレイヤ／ビューＭＶ候補が使用され得るようにビデオデータは符号化／復号され得る。
【０１００】
３．幾つかの実施形態では、上記で説明したように、レイヤ間／ビュー動き予測使用がフラグ、例えば、ｓｌｉｃｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇによって示される実施形態では、いずれか１つのスライス中で、フラグｓｌｉｃｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ及びｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの両方が１に等しくなり得ないようにビデオデータが符号化／復号され得る。更に、少なくとも１つのスライスが１に等しいフラグｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇを有するとき、フラグｓｌｉｃｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、全てのスライスについて常に０にならなければならない。同様に、同じピクチャ中で少なくとも１つのスライスが１に等しいフラグｓｌｉｃｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを有するとき、フラグｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、全てのスライスについて常に０にならなければならない。
【０１０１】
４．代替的に、幾つかの実施形態では、フラグｓｌｉｃｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ及びｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが条件付きで信号伝達される。例えば、一例では、シンタックスのコード化は以下の通りであり得る。
【表１】
0006526574.tif 000002
【０１０２】
[00102]代替的に、別のコード化例では、以下の通りであり得る。
【表２】
0006526574.tif 000003
【０１０３】
[00103]フラグｓｌｉｃｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、存在しない場合、上記で説明したように（例えば、項目＃３を参照）、０に等しくなり、フラグが制約されるとエンコーダ又はデコーダのプロセッサによって推論される。
【０１０４】
５．幾つかの実施形態では、上記で説明したように、ＶＰＳ、ＳＰＳ、又はＰＰＳフラグによってレイヤ間動き予測が制御され得るという点で、コード化は３ＤＶと同様であり得る。例えば、一実施形態では、ＶＰＳフラグについて、シンタックス表が以下の通りであるか、又は以下を含み得る。
【表３】
0006526574.tif 000004
【０１０５】
[00104]信号伝達方式の別の実施形態は、以下の通りである。
【表４】
0006526574.tif 000005
【０１０６】
[00105]フラグｖｐｓ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、存在しない場合、上記で説明したように（例えば、上記の項目＃３及び＃４を参照）、０に等しくなり、フラグが制約されるとエンコーダ又はデコーダのプロセッサによって推論される。
【０１０７】
６．上記の実施形態の幾つかでは、ベースレイヤ及びＴＭＶＰからの動き予測を制御するために２つのフラグが使用される。別の実施形態では、マージ／ＡＭＶＰモードでＴＭＶＰ候補又はベースレイヤＭＶ候補のいずれかの使用を制御するためにただ１つのフラグが使用される。例えば、これは、ベースレイヤ／ビューＭＶ候補及びＴＭＶＰ候補がシーケンスレベルにおいて一緒に使用されないように制限される実施形態において含まれ得る。
【０１０８】
[00106]そのような実施形態の場合、要素ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇのセマンティクスは、このフラグが、スライス中のＴＭＶＰ候補又はベースレイヤ／ビューＭＶ候補のいずれかの使用を制御することができる方法で変更され得る。例えば、一実施形態では、要素のセマンティクスは、インター予測のために時間動きベクトル予測子が使用され得るのか、又は参照レイヤ動き予測子が使用され得るのかをｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが指定することであり得る。ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しくなる場合、現在のピクチャのシンタックス要素は、現在ピクチャを復号するために時間動きベクトル予測子も参照レイヤ動き予測子も使用されないように制約されることになろう。そうでない場合（ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しくなるとき）、現在のピクチャを復号するために時間動きベクトル予測子又は参照レイヤ動き予測子が使用され得る。存在しないとき、ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は０に等しくなると推論される。
【０１０９】
[00107]例えば、一実施形態では、シンタックス実装形態は、以下を含み得る。
【表５】
0006526574.tif 000006
【０１１０】
[00108]図５に、図２のビデオエンコーダ２０又は図３のビデオデコーダ３０によって実行され得る動き予測を制御する方法の一実施形態を示す。方法５００はブロック５１０において開始する。ブロック５２０において、時間参照ピクチャからの動きベクトルが、時間動きベクトル予測子（ＴＭＶＰ）として識別される。ブロック５３０において、ベースレイヤ及び／又はビューピクチャからの１つ又は複数の動きベクトルが、ベースレイヤ／ビュー動きベクトルとして識別される。ブロック５４０において、両方でなく、ＴＭＶＰ又は１つもしくは複数のベースレイヤ／ビュー動きベクトルのいずれかが、現在のピクチャの現在のブロックを符号化及び／又は復号するために使用される候補リスト中に含まれ得るような制限が与えられる。制限は、上記で説明した制限条件のうちの任意の１つ又は複数に基づいて与えられ得る。概して、現在のピクチャは、時間参照ピクチャ及びベースレイヤ／ビューピクチャに関して同一位置配置される。方法５００は、ブロック５５０に続き、終了する。
【０１１１】
[00109]上記の開示は特定の実施形態を記載しているが、多くの変形形態が可能である。例えば、上述されたように、上記の技法は３Ｄビデオコード化に適用され得る。３Ｄビデオの幾つかの実施形態では、参照レイヤ（例えば、ベースレイヤ）は、ビデオの第１のビューを表示するのに十分なビデオ情報を含み、拡張レイヤは、参照レイヤに比べて更なるビデオ情報を含み、その結果、参照レイヤ及び拡張レイヤは一緒に、ビデオの第２のビューを表示するのに十分な情報を含む。これらの２つのビューは、立体的な画像を生成するために使用され得る。上記で説明されたように、本開示の態様に従って、拡張レイヤ内でビデオユニットを符号化又は復号するとき、参照レイヤからの動き情報は、更なる暗黙的な仮説を識別するために使用され得る。これにより、３Ｄビデオのビットストリームについてのより大きいコード化効率が実現され得る。
【０１１２】
[00110]例によっては、本明細書で説明された技法のうちいずれかの、幾つかの行為又はイベントは、異なるシーケンスで実行され得、追加、マージ、又は完全に除外され得る（例えば、全ての説明した作用又はイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。更に、幾つかの例では、行為又はイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通して、同時に実行され得る。
【０１１３】
[00111]本明細書で開示される情報及び信号は、多種多様な技術及び技法のいずれかを使用して表され得る。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光場若しくは光学粒子、又はそれらの任意の組合せによって表され得る。
【０１１４】
[00112]本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又はその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、又はソフトウェアとして実装されるかは、特定の適用例及び全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
【０１１５】
[00113]本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット、又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路機器など、様々な機器のいずれかにおいて実装され得る。モジュール又は構成要素として説明した任意の特徴は、集積論理機器に一緒に、又は個別であるが相互運用可能な論理機器として別々に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明した方法のうちの１つ又は複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気又は光学データ記憶媒体など、メモリ又はデータ記憶媒体を備え得る。本技法は、追加又は代替として、伝搬信号又は電波など、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ、及び／又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
【０１１６】
[00114]プログラムコードは、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価の集積回路若しくはディスクリート論理回路など、１つ又は複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であり得る。プロセッサはまた、コンピュータ機器の組合せ、例えば、ＤＳＰ及びマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、又は任意の他のそのような構成として実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、又は本明細書で説明する技法の実装に好適な他の構造又は装置のいずれかを指す。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に提供され得、又は複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。
【０１１７】
[00115]本発明の様々な実施形態について説明した。これら及び他の実施形態は、以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］  ビデオ情報をコード化するための装置であって、ベースレイヤ及び／又は拡張レイヤに関連するビデオ情報を記憶するように構成されたメモリユニットと、前記メモリユニットに動作可能に結合され、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えることと、ここにおいて、前記第１の指標及び前記第２の指標が互いに別個に与えられ得る、を行うように構成されたプロセッサとを備える装置。
［２］  前記プロセッサが、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えるように構成された、［１］に記載の装置。
［３］  前記プロセッサは、前記コーデックがＡＶＣコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えるように構成された、［２］に記載の装置。
［４］  前記プロセッサは、前記コーデックが非ＨＥＶＣ（高効率ビデオコード化）コーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えるように構成された、［２］に記載の装置。
［５］  前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、［２］に記載の装置。
［６］  前記第１の指標及び前記第２の指標が、第１のフラグ又はシンタックス要素と第２のフラグ又はシンタックス要素とを備える、［１］に記載の装置。
［７］  前記プロセッサが、ビットストリーム中で前記第１の指標と前記第２の指標とを信号伝達するように構成され、前記第１の指標及び前記第２の指標が、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、［１］に記載の装置。
［８］  前記プロセッサが、ビットストリームから前記第１の指標と前記第２の指標とを受信するように構成され、前記第１の指標及び前記第２の指標が、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、［１］に記載の装置。
［９］  前記第１の指標及び前記第２の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、［１］に記載の装置。
［１０］  前記第１の指標及び前記第２のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、［１］に記載の装置。
［１１］  前記プロセッサが、ビットストリーム中で少なくとも前記第１の指標又は前記第２の指標を信号伝達するのをスキップするように構成され、その場合、レイヤ間シンタックス予測が使用不能であると推論されることになる、［１］に記載の装置。
［１２］  デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータ、ビデオストリーミング機器及びワイヤレス通信のために装備された機器からなる群から選択される１つ又は複数の機器を更に備える、［１］に記載の装置。
［１３］  ビデオ情報を復号する方法であって、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を受信することと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を受信することと、ここにおいて、前記第１の指標及び前記第２の指標が互いに別個に受信される、を備える、方法。
［１４］  ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにすることを更に備える、［１３］に記載の方法。
［１５］  前記コーデックがＡＶＣコーデックであるときレイヤ間シンタックス予測をデセイブルにすることを更に備える、［１４］に記載の方法。
［１６］  前記コーデックが非ＨＥＶＣ（高効率ビデオコード化）コーデックであるときレイヤ間シンタックス予測をデセイブルにすることを更に備える、［１４］に記載の方法。
［１７］  前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、［１４］に記載の方法。
［１８］  前記第１の指標及び前記第２の指標が、第１のフラグ又はシンタックス要素と第２のフラグ又はシンタックス要素とを備える、［１３］に記載の方法。
［１９］  前記第１の指標及び前記第２の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、［１３］に記載の方法。
［２０］  前記第１の指標及び前記第２のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、［１３］に記載の方法。
［２１］  ビットストリーム中で少なくとも前記第１の指標又は前記第２の指標を信号伝達するのをスキップし、レイヤ間シンタックス予測が使用不能であると推論することを更に備える、［１３］に記載の方法。
［２２］  ビデオ情報を符号化する方法であって、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えることと、ここにおいて、前記第１の指標及び前記第２の指標が互いに別個に与えられる、を備える、方法。
［２３］  ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えることを備える、［２２］に記載の方法。
［２４］  前記コーデックがＡＶＣコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えることを備える、［２３］に記載の方法。
［２５］  前記コーデックが非ＨＥＶＣ（高効率ビデオコード化）コーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えることを備える、［２３］に記載の方法。
［２６］  前記コーデックを示す前記情報がフラグ又はシンタックス要素を備える、［２３］に記載の方法。
［２７］  前記第１の指標及び前記第２の指標が、第１のフラグ又はシンタックス要素と第２のフラグ又はシンタックス要素とを備える、［２２］に記載の方法。
［２８］  前記第１の指標及び前記第２の指標が、パラメータセット、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、又は追加スライスヘッダビット中で信号伝達される、［２２］に記載の方法。
［２９］  前記第１の指標及び前記第２のインジータが、異なるフラグ、異なるシンタックス要素、又は単一のシンタックス要素の異なる値である、［２２］に記載の方法。
［３０］  ビットストリーム中で少なくとも前記第１の指標又は前記第２の指標を信号伝達するのをスキップし、レイヤ間シンタックス予測が使用不能であると推論することを更に備える、［２２］に記載の方法。
［３１］  実行されたとき、プロセッサに、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を与えることと、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えることと、ここにおいて、前記第１の指標及び前記第２の指標が互いに別個に与えられ得る、を行わせるコードを備える非一時的コンピュータ可読媒体。
［３２］  前記コードが、実行されたとき、前記プロセッサに、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えることを更に行わせる、［３１］に記載の非一時的コンピュータ可読媒体。
［３３］  前記コードが、実行されたとき、前記プロセッサに、前記コーデックが非ＨＥＶＣコーデック又はＡＶＣコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えることを更に行わせる、［３２］に記載の非一時的コンピュータ可読媒体。
［３４］  前記第１の指標及び前記第２のインジータが、第１及び第２のフラグ、第１及び第２のシンタックス要素、又は単一のシンタックス要素の異なる値を備える、［３１］に記載の非一時的コンピュータ可読媒体。
［３５］  ビデオ情報をコード化するための手段であって、レイヤ間シンタックス予測をイネイブル又はデセイブルにするように構成された第１の指標を与えるための手段と、レイヤ間テクスチャ予測をイネイブル又はデセイブルにするように構成された第２の指標を与えるための手段と、ここにおいて、前記第１の指標及び前記第２の指標が互いに別個に与えられ得る、を備える、手段。
［３６］  前記第１の指標を与えるための前記手段が、前記ベースレイヤに関連するコーデックを示す情報に少なくとも部分的に基づいて、レイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えるための手段を備える、［３５］に記載のビデオ情報をコード化するための手段。
［３７］  前記第１の指標を与えるための前記手段が、前記コーデックが非ＨＥＶＣコーデック又はＡＶＣコーデックであるときレイヤ間シンタックス予測をデセイブルにするために前記第１の指標を与えるための手段を備える、［３６］に記載のビデオ情報をコード化するための手段。
［３８］  前記第１の指標及び前記第２のインジータが、第１及び第２のフラグ、第１及び第２のシンタックス要素、又は単一のシンタックス要素の異なる値を備える、［３５］に記載のビデオ情報をコード化するための手段。
【図１】
0006526574.tif 000007
【図２】
0006526574.tif 000008
【図３】
0006526574.tif 000009
【図４】
0006526574.tif 000010
【図５】
0006526574.tif 000011