(57)【要約】  ビデオ情報をコード化するように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶するように構成され、ＲＬは、ＲＬピクチャの一部分を含む出力領域を有するＲＬピクチャを備える。プロセッサは、条件が、出力領域の外側の情報が拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定するように構成される。プロセッサはビデオ情報を符号化又は復号し得る。
2016508011.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ情報をコード化するように構成された装置であって、前記装置は、
参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、
前記メモリユニットと通信しているプロセッサと、前記プロセッサは、条件が前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定するように構成される、
を備える、装置。
【請求項２】
前記プロセッサは、前記条件が前記出力領域の外側の前記情報が利用可能でないことを示すとき、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測することを回避するように更に構成される、請求項１に記載の装置。
【請求項３】
前記プロセッサは、前記条件が、前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測するように更に構成される、請求項１に記載の装置。
【請求項４】
前記出力領域が前記ＲＬピクチャよりも小さい、請求項１に記載の装置。
【請求項５】
前記装置がエンコーダを備え、ここにおいて、前記プロセッサが、前記出力領域の外側の前記情報を使用して前記現在ブロックを符号化するように更に構成される、請求項１に記載の装置。
【請求項６】
前記装置がデコーダを備え、ここにおいて、前記プロセッサが、前記出力領域の外側の前記情報を使用して前記現在ブロックを復号するように更に構成される、請求項１に記載の装置。
【請求項７】
前記装置が、コンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、及び車載コンピュータからなるグループから選択された装置を備える、請求項１に記載の装置。
【請求項８】
前記プロセッサが、前記ＲＬをコード化するために使用されるコーデックに基づいて前記条件を決定するように更に構成される、請求項１に記載の装置。
【請求項９】
前記条件は、前記ＲＬをコード化するために使用される前記コーデックが非ＨＥＶＣコーデックであるとき、前記出力領域の外側の情報が前記拡張レイヤ中の前記現在ブロックを予測するために利用可能でないことを示す、請求項８に記載の装置。
【請求項１０】
前記条件が第１のフラグと第２のフラグとを備え、前記第１のフラグは、前記現在ブロックのテクスチャ情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示し、前記第２のフラグは、前記現在ブロックのシンタックス情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示す、請求項１に記載の装置。
【請求項１１】
前記第２のフラグの値が前記第１のフラグの値に依存する、請求項１０に記載の装置。
【請求項１２】
前記条件は、前記ＲＬの高さ又は幅と前記拡張レイヤの高さ又は幅とが同じであるかどうかを示す、請求項１に記載の装置。
【請求項１３】
前記条件は、レイヤＩＤが０であるかどうかを示す、請求項１に記載の装置。
【請求項１４】
前記条件がフラグを備える、請求項１に記載の装置。
【請求項１５】
前記フラグの値が、前記参照レイヤをコード化するために使用されるコーデックに基づいて決定される、請求項１４に記載の装置。
【請求項１６】
ビデオ情報をコード化する方法であって、前記方法は、
参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶することと、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、
条件が、前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定することと
を備える、方法。
【請求項１７】
前記条件が前記出力領域の外側の前記情報が利用可能でないことを示すとき、前記出力領域の外側の前記情報を使用することを控えながら前記現在ブロックを予測することを更に備える、請求項１６に記載の方法。
【請求項１８】
前記条件が前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測することを更に備える、請求項１６に記載の方法。
【請求項１９】
前記出力領域が前記ＲＬピクチャよりも小さい、請求項１６に記載の方法。
【請求項２０】
前記ＲＬをコード化するために使用されるコーデックに基づいて前記条件を決定することを更に備える、請求項１６に記載の方法。
【請求項２１】
前記条件は、前記ＲＬをコード化するために使用される前記コーデックが非ＨＥＶＣコーデックであるとき、前記出力領域の外側の情報が前記拡張レイヤ中の前記現在ブロックを予測するために利用可能でないことを示す、請求項２０に記載の方法。
【請求項２２】
前記現在ブロックのテクスチャ情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示す第１のフラグを処理することと、
前記現在ブロックのシンタックス情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示す第２のフラグを処理することと
を更に備える、請求項１６に記載の方法。
【請求項２３】
前記第２のフラグの値が前記第１のフラグの値に依存する、請求項２２に記載の方法。
【請求項２４】
前記条件は、前記ＲＬの高さ又は幅と前記拡張レイヤの高さ又は幅とが同じであるかどうかを示す、請求項１６に記載の方法。
【請求項２５】
前記条件は、レイヤＩＤが０であるかどうかを示す、請求項１６に記載の方法。
【請求項２６】
前記条件がフラグを備え、前記フラグの値が、前記参照レイヤをコード化するために使用されるコーデックに基づいて決定される、請求項１６に記載の方法。
【請求項２７】
実行されたとき、
参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶することと、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、
条件が、前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定することと
を備えるプロセスを装置に実行させるコードを備える非一時的コンピュータ可読媒体。
【請求項２８】
前記プロセスは、前記条件が前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測することを更に備える、請求項２７に記載の媒体。
【請求項２９】
ビデオ情報をコード化するように構成されたビデオコード化装置であって、前記ビデオコード化装置は、
参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶するための手段と、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、
条件が、前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定するための手段と
を備える、ビデオコード化装置。
【請求項３０】
前記条件が、前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測するための手段を更に備える、請求項２９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、ビデオコード化及び圧縮の分野に関し、詳細には、スケーラブルビデオコード化（ＳＶＣ：scalable video coding）又はマルチビュービデオコード化（ＭＶＣ：multiview video coding、３ＤＶ）に関する。
【背景技術】
【０００２】
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，先進的ビデオコード化（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。
【０００３】
[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコード化の場合、ビデオスライス（例えば、ビデオフレーム、ビデオフレームの一部分など）が、ツリーブロック、コード化単位（ＣＵ：coding unit）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００４】
[0004]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックをもたらす。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。
【発明の概要】
【０００５】
[0005]スケーラブルビデオコード化（ＳＶＣ）は、参照レイヤ（ＲＬ：reference layer）と呼ばれることがあるベースレイヤ（ＢＬ：base layer）と、１つ又は複数のスケーラブル拡張レイヤ（ＥＬ：enhancement layer）とが使用されるビデオコード化を指す。ＳＶＣでは、ベースレイヤは、ベースレベルの品質でビデオデータを搬送することができる。１つ又は複数の拡張レイヤは、例えば、より高い空間レベル、時間レベル、及び／又は信号対雑音（ＳＮＲ：signal-to-noise）レベルをサポートするために追加のビデオデータを搬送することができる。拡張レイヤは、前に符号化されたレイヤに対して定義され得る。例えば、最下位レイヤはＢＬとして寄与し得、最上位レイヤはＥＬとして寄与し得る。中間レイヤは、ＥＬ又はＲＬのいずれか、又はその両方として寄与し得る。例えば、中間にあるレイヤは、ベースレイヤ又は介在拡張レイヤ（intervening enhancement layer）など、それの下のレイヤのためのＥＬであり、同時に、それの上の１つ又は複数の拡張レイヤのためのＲＬとして働き得る。同様に、ＨＥＶＣ規格のマルチビュー又は３Ｄ拡張では、複数のビューがあり得、あるビューの情報が、別のビューの情報（例えば動き推定、動きベクトル予測及び／又は他の冗長性）をコード化（例えば、符号化又は復号）するために利用され得る。
【０００６】
[0006]ＳＶＣでは、拡張レイヤ中の現在ブロックは、ベースレイヤ中の対応するブロック（例えば、現在ブロックと同じピクチャの部分に対応するブロック）の情報を使用して予測され得る。例えば、現在ブロックのテクスチャ情報（例えば、画素又はサンプル値）又はシンタックス情報（例えば、動きベクトルなどの動き情報又はイントラモードなどのモード情報）は、ベースレイヤ中の対応するブロックに基づき得る。
【０００７】
[0007]但し、ベースレイヤの対応するブロックは、例えば、コード化フレームサイズが、機器上に表示され得る実際のフレームサイズよりも大きいときに、又は、ベースレイヤが、別のビデオ規格を用いてコード化される（例えば、拡張レイヤはＨＥＶＣ適合であるが、ベースレイヤはそうでない）ときに、ベースレイヤフレームの外側に配置され得る。そのような状況では、クロップされたピクチャ（例えば、表示器寸法又は適合性クロッピングウィンドウ（conformance cropping window）に従ってクロップされたベースレイヤピクチャ）の外側にあるベースレイヤの部分の情報は、拡張レイヤ中の現在ブロックを予測するために利用可能でないことがある。
【０００８】
[0008]ベースレイヤ情報のそのような利用不可能性に対処する１つの方法は、クロップされたピクチャの外側の（例えば、適合性クロッピングウィンドウの外側の）情報の使用を可能にしないことである。但し、場合によっては、クロップされたピクチャの外側の情報は利用可能であり得る（例えば、拡張レイヤとベースレイヤが両方ともＨＥＶＣ設計に従う）。そのような場合、クロップされたピクチャの外側の情報の使用を全く可能にしないことは、コード化効率を低減することになり得る。従って、クロップされたピクチャの外側の情報の使用を選択的に（例えば、ベースレイヤが、ＨＥＶＣに準拠するコーデックによってコード化されるときのみ）可能にすることによって、コード化効率が改善され得る。
【０００９】
[0009]本開示のシステム、方法及び機器は、それぞれ幾つかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。
【００１０】
[0010]一実施形態では、ビデオ情報をコード化（例えば、符号化又は復号）するように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶するように構成され、ＲＬは、ＲＬピクチャの一部分を含む出力領域を有するＲＬピクチャを備える。プロセッサは、条件が、出力領域の外側の情報が拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定するように構成される。
【００１１】
[0011]一実施形態では、ビデオ情報をコード化（例えば、符号化又は復号）する方法は、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶することと、ＲＬがＲＬピクチャの一部分を含む出力領域を有するＲＬピクチャを備える；条件が出力領域の外側の情報が拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定することと；を備える。
【００１２】
[0012]一実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、装置にプロセスを実行させるコードを備える。プロセスは、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶することと、ＲＬがＲＬピクチャの一部分を含む出力領域を有するＲＬピクチャを備える；条件が出力領域の外側の情報が拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定することと；を含む。
【００１３】
[0013]一実施形態では、ビデオ情報をコード化するように構成されたビデオコード化機器は、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶するための手段と、ＲＬが、ＲＬピクチャの一部分を含む出力領域を有するＲＬピクチャを備える；条件が出力領域の外側の情報が拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定するための手段と；を備える。
【図面の簡単な説明】
【００１４】
【図１】[0014]本開示で説明する態様による技法を利用し得るビデオ符号化及び復号システムの一例を示すブロック図。
【図２】[0015]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。
【図３】[0016]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。
【図４】[0017]ベースレイヤ及び拡張レイヤ中の様々なフレームを示す図。
【図５】[0018]本開示の一実施形態による、ビデオ情報をコード化する方法を示すフローチャート。
【図６】[0019]本開示の一実施形態による、ビデオ情報をコード化する方法を示すフローチャート。
【発明を実施するための形態】
【００１５】
[0020]本明細書で説明する幾つかの実施形態は、ＨＥＶＣ（高効率ビデオコード化）など、先進的ビデオコーデックのコンテキストにおけるスケーラブルビデオコード化のためのレイヤ間予測に関する。より詳細には、本開示は、ＨＥＶＣのスケーラブルビデオコード化（ＳＶＣ）拡張におけるレイヤ間予測の性能の改善のためのシステム及び方法に関する。
【００１６】
[0021]以下の説明では、幾つかの実施形態に関係するＨ．２６４／ＡＶＣ技法について説明し、ＨＥＶＣ規格及び関係する技法についても説明する。幾つかの実施形態について、ＨＥＶＣ及び／又はＨ．２６４規格のコンテキストにおいて本明細書で説明するが、本明細書で開示するシステム及び方法が任意の好適なビデオコード化規格に適用可能であり得ることを、当業者は諒解されよう。例えば、本明細書で開示する実施形態は、以下の規格、即ち、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、及びそれのスケーラブルビデオコード化（ＳＶＣ）拡張とマルチビュービデオコード化（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４のうちの１つ又は複数に適用可能であり得る。
【００１７】
[0022]ＨＥＶＣは、概して、多くの点で、前のビデオコード化規格のフレームワークに従う。ＨＥＶＣにおける予測の単位は、幾つかの前のビデオコード化規格における単位（例えば、マクロブロック）とは異なる。事実上、マクロブロックの概念は、幾つかの前のビデオコード化規格において理解されているように、ＨＥＶＣ中に存在しない。マクロブロックは、考えられる利益の中でも、高い柔軟性を与え得る、４分木方式に基づく階層構造と置き換えられ得る。例えば、ＨＥＶＣ方式内で、コード化単位（ＣＵ）、予測単位（ＰＵ：Prediction Unit）、及び変換単位（ＴＵ：Transform Unit）という３つのタイプのブロックが定義される。ＣＵは領域分割の基本単位を指すことがある。ＣＵはマクロブロックの概念に類似すると見なされ得るが、それは、最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割を可能にし得る。ＰＵはインター／イントラ予測の基本単位と見なされ得、それは、不規則な画像パターンを効果的にコード化するために、単一のＰＵ中に複数の任意の形状区分を含んでいることがある。ＴＵは変換の基本単位と見なされ得る。それは、ＰＵとは無関係に定義され得るが、それのサイズは、ＴＵが属するＣＵに制限され得る。３つの異なる概念へのブロック構造のこの分離は、各々がそれの役割に従って最適化されることを可能にし得、それによりコード化効率が改善され得る。
【００１８】
[0023]単に説明の目的で、本明細書で開示する幾つかの実施形態について、ただ２つのレイヤ（例えば、ベースレイヤなどの下位レベルレイヤ、及び拡張レイヤなどの上位レベルレイヤ）を含む例を用いて説明する。そのような例は、複数のベースレイヤ及び／又は拡張レイヤを含む構成に適用可能であり得ることを理解されたい。更に、説明を簡単にするために、以下の開示は、幾つかの実施形態に関して「フレーム」又は「ブロック」という用語を含む。但し、これらの用語は限定的なものではない。例えば、以下で説明する技法は、ブロック（例えば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなど、任意の好適なビデオ単位とともに使用され得る。
【００１９】
ビデオコード化規格
[0024]ビデオ画像、ＴＶ画像、静止画像、又はビデオレコーダ若しくはコンピュータによって生成された画像など、デジタル画像は、水平ライン及び垂直ラインで構成された画素又はサンプルからなり得る。単一の画像中の画素の数は一般に数万個である。各画素は、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮なしに、画像エンコーダから画像デコーダに搬送されるべき情報の量は、リアルタイム画像送信を不可能にするほど非常に大きい。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧ及びＨ．２６３規格など、幾つかの異なる圧縮方法が開発された。
【００２０】
[0025]ビデオコード化規格は、ＩＴＵ−Ｔ  Ｈ．２６１と、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６２又はＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６３と、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌと、それのスケーラブルビデオコード化（ＳＶＣ）及びマルチビュービデオコード化（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４とを含む。
【００２１】
[0026]更に、新しいビデオコード化規格、即ち、高効率ビデオコード化（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコード化エキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコード化（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されている。ＨＥＶＣドラフト１０についての完全引用は、文書ＪＣＴＶＣ−Ｌ１００３、Ｂｒｏｓｓら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３及びＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントコラボレーティブチームオンビデオコード化（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。
【００２２】
[0027]添付の図面を参照しながら新規のシステム、装置、及び方法の様々な態様について以下でより十分に説明する。但し、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造又は機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、及び方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。例えば、本明細書に記載の態様をいくつ使用しても、装置は実装され得、又は方法は実施され得る。更に、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えて又はそれらの態様以外に、他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法をカバーするものとする。本明細書で開示するどの態様も請求項の１つ又は複数の要素によって実施され得ることを理解されたい。
【００２３】
[0028]本明細書では特定の態様について説明するが、これらの態様の多くの変形及び置換は本開示の範囲内に入る。好適な態様の幾つかの利益及び利点について説明するが、本開示の範囲は特定の利益、使用、又は目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、及び伝送プロトコルに広く適用可能であるものとし、それらの幾つかを例として、図及び好適な態様についての以下の説明において示す。発明を実施するための形態及び図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲及びそれの均等物によって定義される。
【００２４】
[0029]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語（例えば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じ又は同様のタイプの異なる要素を指すために使用されるにすぎない。
【００２５】
ビデオコード化システム
[0030]図１は、本開示で説明する態様による技法を利用し得る例示的なビデオコード化システム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。
【００２６】
[0031]図１に示されているように、ビデオコード化システム１０は、発信源機器１２と宛先機器１４とを含む。発信源機器１２は符号化されたビデオデータを生成する。宛先機器１４は、発信源機器１２によって生成された符号化されたビデオデータを復号し得る。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（例えば、ラップトップなど）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォン、所謂「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータなどを含む、広範囲にわたる機器を備え得る。幾つかの例では、発信源機器１２及び宛先機器１４は、ワイヤレス通信のために装備され得る。
【００２７】
[0032]宛先機器１４は、チャネル１６を介して発信源機器１２から符号化されたビデオデータを受信し得る。チャネル１６は、発信源機器１２から宛先機器１４に符号化されたビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、チャネル１６は、発信源機器１２が符号化されたビデオデータを宛先機器１４にリアルタイムで直接送信することを可能にする通信媒体を備え得る。この例では、発信源機器１２は、ワイヤレス通信プロトコルなどの通信規格に従って符号化されたビデオデータを変調し得、変調されたビデオデータを宛先機器１４に送信し得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路など、ワイヤレス通信媒体又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を可能にするルータ、スイッチ、基地局、又は他の機器を含み得る。
【００２８】
[0033]別の例では、チャネル１６は、発信源機器１２によって生成された符号化されたビデオデータを記憶する記憶媒体に対応し得る。この例では、宛先機器１４は、ディスクアクセス又はカードアクセスを介して記憶媒体にアクセスし得る。記憶媒体は、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、又は符号化されたビデオデータを記憶するための他の適切なデジタル記憶媒体など、様々なローカルにアクセスされるデータ記憶媒体を含み得る。更なる例では、チャネル１６は、発信源機器１２によって生成された符号化されたビデオを記憶する、ファイルサーバ又は別の中間記憶機器を含み得る。この例では、宛先機器１４は、ストリーミング又はダウンロードを介して、ファイルサーバ又は他の中間記憶装置に記憶された符号化されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することと、符号化されたビデオデータを宛先機器１４に送信することとが可能なタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイトなどのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）装置、及びローカルディスクドライブがある。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化されたビデオデータにアクセスし得る。例示的なタイプのデータ接続としては、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適である、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続など）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又はその両方の組合せがあり得る。ファイルサーバからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はその両方の組合せであり得る。
【００２９】
[0034]本開示の技法はワイヤレス適用例又は設定に限定されない。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信（例えば、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）など）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、ビデオコード化システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
【００３０】
[0035]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）及び／又は送信機を含み得る。発信源機器１２において、ビデオ発信源１８は、撮像装置、例えば、ビデオカメラ、以前に撮影されたビデオデータを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、及び／又はビデオデータを生成するためのコンピュータグラフィックスシステムなどの発信源、若しくはそのような発信源の組合せを含み得る。
【００３１】
[0036]ビデオエンコーダ２０は、撮影されたビデオデータ、以前に撮影されたビデオデータ、又はコンピュータ生成されたビデオデータを符号化するように構成され得る。符号化されたビデオデータは、発信源機器１２の出力インターフェース２２を介して宛先機器１４に直接送信され得る。符号化されたビデオデータはまた、復号及び／又は再生のための宛先機器１４による後のアクセスのために記憶媒体又はファイルサーバ上に記憶され得る。
【００３２】
[0037]図１の例では、宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。場合によっては、入力インターフェース２８は受信機及び／又はモデムを含み得る。宛先機器１４の入力インターフェース２８は、チャネル１６を介して符号化されたビデオデータを受信する。符号化されたビデオデータは、ビデオデータを表す、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。シンタックス要素は、ブロック及び他のコード化単位、例えば、ピクチャオブグループ（ＧＯＰ：group of pictures）の特性及び／又は処理を記述し得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、又はファイルサーバ上に記憶される符号化されたビデオデータに含まれ得る。
【００３３】
[0038]表示装置３２は、宛先機器１４と一体化され得るか又はその外部にあり得る。幾つかの例では、宛先機器１４は、一体型表示装置を含み得、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先機器１４は表示装置であり得る。概して、表示装置３２は復号されたビデオデータをユーザに表示する。表示装置３２は、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。
【００３４】
[0039]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格など、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，先進的ビデオコード化（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格など、他のプロプライエタリ規格又は業界規格、又はそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオ圧縮規格の他の例としてはＭＰＥＧ−２及びＩＴＵ−Ｔ  Ｈ．２６３がある。
【００３５】
[0040]図１の例には示されていないが、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、幾つかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）などの他のプロトコルに準拠し得る。
【００３６】
[0041]この場合も、図１は一例にすぎず、本開示の技法は、符号化機器と復号機器との間のデータ通信を必ずしも含むとは限らないビデオコード化設定（例えば、ビデオ符号化又はビデオ復号）に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われ得る。符号化機器は、データを符号化し、メモリに記憶し得、及び／又は、復号機器は、メモリからデータを取り出し、復号し得る。多くの例では、符号化及び復号は、互いに通信しないが、メモリにデータを符号化し、及び／又はメモリからデータを取り出して復号するだけである機器によって実行される。
【００３７】
[0042]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ハードウェアなど、様々な好適な回路のいずれか、又はそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、好適な非一時的コンピュータ可読記憶媒体にソフトウェアの命令を記憶し得、１つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０とビデオデコーダ３０とは、図１の例では別個の機器において実装されるものとして示されているが、本開示はそのような構成に限定されず、ビデオエンコーダ２０とビデオデコーダ３０とは同じ機器において実装され得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。
【００３８】
[0043]上記で手短に述べたように、ビデオエンコーダ２０はビデオデータを符号化する。ビデオデータは１つ又は複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。幾つかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ２０がビデオデータを符号化するとき、ビデオエンコーダ２０はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含み得る。ビットストリームはコード化ピクチャと関連データとを含み得る。コード化ピクチャはピクチャのコード化表現である。
【００３９】
[0044]ビットストリームを生成するために、ビデオエンコーダ２０は、ビデオデータ中の各ピクチャに対して符号化演算を実行し得る。ビデオエンコーダ２０がピクチャに対して符号化演算を実行するとき、ビデオエンコーダ２０は、一連のコード化ピクチャと関連データとを生成し得る。関連データは、ビデオパラメータセット（ＶＰＳ：video parameter set）と、シーケンスパラメータセットと、ピクチャパラメータセットと、適応パラメータセットと、他のシンタックス構造とを含み得る。シーケンスパラメータセット（ＳＰＳ：sequence parameter set）は、ピクチャの０個以上のシーケンスに適用可能なパラメータを含んでいることがある。ピクチャパラメータセット（ＰＰＳ：picture parameter set）は、０個以上のピクチャに適用可能なパラメータを含んでいることがある。適応パラメータセット（ＡＰＳ：adaptation parameter set）は、０個以上のピクチャに適用可能なパラメータを含んでいることがある。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。
【００４０】
[0045]コード化ピクチャを生成するために、ビデオエンコーダ２０は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々はツリーブロックに関連付けられる。幾つかの事例では、ツリーブロックは、最大コード化単位（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ツリーブロックは、必ずしも特定のサイズに限定されるとは限らず、１つ又は複数のコード化単位（ＣＵ）を含み得る。ビデオエンコーダ２０は、４分木区分（quadtree partitioning）を使用して、ツリーブロックのビデオブロックを、ＣＵに関連付けられたビデオブロックに区分し得、従って「ツリーブロック」という名前がある。
【００４１】
[0046]幾つかの例では、ビデオエンコーダ２０はピクチャを複数のスライスに区分し得る。スライスの各々は整数個のＣＵを含み得る。幾つかの事例では、スライスは整数個のツリーブロックを備える。他の事例では、スライスの境界はツリーブロック内にあり得る。
【００４２】
[0047]ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオエンコーダ２０がスライスに対して符号化演算を実行するとき、ビデオエンコーダ２０は、スライスに関連付けられた符号化されたデータを生成し得る。スライスに関連付けられた符号化されたデータは「コード化スライス」と呼ばれることがある。
【００４３】
[0048]コード化スライスを生成するために、ビデオエンコーダ２０は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオエンコーダ２０がツリーブロックに対して符号化演算を実行するとき、ビデオエンコーダ２０はコード化ツリーブロックを生成し得る。コード化ツリーブロックは、ツリーブロックの符号化されたバージョンを表すデータを備え得る。
【００４４】
[0049]ビデオエンコーダ２０がコード化スライスを生成するとき、ビデオエンコーダ２０は、ラスタ走査順序に従って、スライス中のツリーブロックに対して符号化演算を実行し得る（例えば、そのツリーブロックを符号化し得る）。例えば、ビデオエンコーダ２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオエンコーダ２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。
【００４５】
[0050]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上及び左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下及び右のツリーブロックはまだ符号化されていない。従って、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上及び左のツリーブロックを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下及び右のツリーブロックを符号化することによって生成された情報にアクセスすることができないことがある。
【００４６】
[0051]コード化ツリーブロックを生成するために、ビデオエンコーダ２０は、ツリーブロックのビデオブロックに対して４分木区分を再帰的に実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は異なるＣＵに関連付けられ得る。例えば、ビデオエンコーダ２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックのうちの１つ又は複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分された、ＣＵであり得る。区分されていないＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分されていない、ＣＵであり得る。
【００４７】
[0052]ビットストリーム中の１つ又は複数のシンタックス要素は、ビデオエンコーダ２０がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（例えば、ＣＵのサイズ）は、８×８画素から、最大６４×６４以上の画素をもつツリーブロックのビデオブロックのサイズ（例えば、ツリーブロックのサイズ）までに及び得る。
【００４８】
[0053]ビデオエンコーダ２０は、ｚ走査順序に従って、ツリーブロックの各ＣＵに対して符号化演算を実行し得る（例えば、各ＣＵを符号化し得る）。言い換えれば、ビデオエンコーダ２０は、左上のＣＵと、右上のＣＵと、左下のＣＵと、次いで右下のＣＵとを、その順序で符号化し得る。ビデオエンコーダ２０が、区分されたＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、ｚ走査順序に従って、区分されたＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオエンコーダ２０は、左上のサブブロックに関連付けられたＣＵと、右上のサブブロックに関連付けられたＣＵと、左下のサブブロックに関連付けられたＣＵと、次いで右下のサブブロックに関連付けられたＣＵとを、その順序で符号化し得る。
【００４９】
[0054]ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左、及び左下のＣＵは符号化されていることがある。所与のＣＵの下及び右のＣＵはまだ符号化されていない。従って、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する幾つかのＣＵを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成された情報にアクセスすることができないことがある。
【００５０】
[0055]ビデオエンコーダ２０が、区分されていないＣＵを符号化するとき、ビデオエンコーダ２０は、ＣＵのために１つ又は複数の予測単位（ＰＵ）を生成し得る。ＣＵのＰＵの各々は、ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのための予測ビデオブロックを生成し得る。ＰＵの予測ビデオブロックはサンプルのブロックであり得る。ビデオエンコーダ２０は、イントラ予測又はインター予測を使用して、ＰＵのための予測ビデオブロックを生成し得る。
【００５１】
[0056]ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号されたサンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がイントラ予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはイントラ予測されたＣＵである。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つ又は複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がインター予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはインター予測されたＣＵである。
【００５２】
[0057]更に、ビデオエンコーダ２０がインター予測を使用してＰＵのための予測ビデオブロックを生成するとき、ビデオエンコーダ２０はＰＵの動き情報を生成し得る。ＰＵの動き情報は、ＰＵの１つ又は複数の参照ブロックを示し得る。ＰＵの各参照ブロックは参照ピクチャ内のビデオブロックであり得る。参照ピクチャはＰＵに関連付けられたピクチャ以外のピクチャであり得る。幾つかの事例では、ＰＵの参照ブロックはＰＵの「参照サンプル」と呼ばれることもある。ビデオエンコーダ２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。
【００５３】
[0058]ビデオエンコーダ２０がＣＵの１つ又は複数のＰＵのための予測ビデオブロックを生成した後、ビデオエンコーダ２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの間の差を示し得る。
【００５４】
[0059]更に、区分されていないＣＵに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ＣＵの残差データに対して再帰的な４分木区分を実行して、ＣＵの残差データを、ＣＵの変換単位（ＴＵ）に関連付けられた残差データの１つ又は複数のブロック（例えば、残差ビデオブロック）に区分し得る。ＣＵの各ＴＵは異なる残差ビデオブロックに関連付けられ得る。
【００５５】
[0060]ビデオコーダ２０は、ＴＵに関連付けられた残差ビデオブロックに１つ又は複数の変換を適用して、ＴＵに関連付けられた変換係数ブロック（例えば、変換係数のブロック）を生成し得る。概念的に、変換係数ブロックは変換係数の２次元（２Ｄ）行列であり得る。
【００５６】
[0061]変換係数ブロックを生成した後、ビデオエンコーダ２０は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を実現する処理を指す。量子化プロセスは、変換係数の一部又は全部に関連付けられたビット深度を低減し得る。例えば、量子化中にｎビットの変換係数がｍビットの変換係数に切り捨てられることがあり、ここで、ｎはｍよりも大きい。
【００５７】
[0062]ビデオエンコーダ２０は、各ＣＵを量子化パラメータ（ＱＰ：quantization parameter）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオエンコーダ２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。
【００５８】
[0063]ビデオエンコーダ２０が変換係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数ブロック中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ２０は、これらのシンタックス要素のうちの幾つかに、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）演算などのエントロピー符号化演算を適用し得る。コンテンツ適応型可変長コード化（ＣＡＶＬＣ：content adaptive variable length coding）、確率間隔区分化エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コード化、又は他のバイナリ算術コード化など、他のエントロピーコード化技法も使用され得る。
【００５９】
[0064]ビデオエンコーダ２０によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）単位を含み得る。ＮＡＬ単位の各々は、ＮＡＬ単位中のデータのタイプの指示と、データを含んでいるバイトとを含んでいるシンタックス構造であり得る。例えば、ＮＡＬ単位は、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、補足拡張情報（ＳＥＩ：supplemental enhancement information）、アクセスユニット区切り文字、フィラーデータ、又は別のタイプのデータを表すデータを含み得る。ＮＡＬ単位中のデータは様々なシンタックス構造を含み得る。
【００６０】
[0065]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ２０によって符号化されたビデオデータのコード化表現を含み得る。ビデオデコーダ３０がビットストリームを受信するとき、ビデオデコーダ３０は、ビットストリームに対して構文解析演算を実行し得る。ビデオデコーダ３０が構文解析演算を実行するとき、ビデオデコーダ３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ２０によって実行されるプロセスとは逆であり得る。
【００６１】
[0066]ビデオデコーダ３０がＣＵに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ３０は、シンタックス要素に基づいて、ＣＵのＰＵのための予測ビデオブロックを生成し得る。更に、ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ３０は、変換係数ブロックに対して逆変換を実行して、ＣＵのＴＵに関連付けられた残差ビデオブロックを再構成し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ３０は、予測ビデオブロックと残差ビデオブロックとに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。
【００６２】
ビデオエンコーダ
[0067]図２は、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。ビデオエンコーダ２０は、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、予測ユニット１００は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。別の実施形態では、ビデオエンコーダ２０は、本開示で説明する技法のいずれか又は全てを実行するように構成された随意のレイヤ間予測ユニット１２８を含む。他の実施形態では、レイヤ間予測は予測ユニット１００（例えば、インター予測ユニット１２１及び／又はイントラ予測ユニット１２６）によって実行され得、その場合、レイヤ間予測ユニット１２８は省略され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
【００６３】
[0068]説明の目的で、本開示では、ＨＥＶＣコード化のコンテキストにおいてビデオエンコーダ２０について説明する。しかしながら、本開示の技法は、他のコード化規格又は方法にも適用可能であり得る。
【００６４】
[0069]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、幾つかの空間ベースのコード化モードのいずれかを指すことがある。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指すことがある。
【００６５】
[0070]図２の例では、ビデオエンコーダ２０は複数の機能構成要素を含む。ビデオエンコーダ２０の機能構成要素は、予測ユニット１００と、残差生成ユニット１０２と、変換ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換単位１１０と、再構成ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。予測ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、レイヤ間予測ユニット１２８とを含む。他の例では、ビデオエンコーダ２０は、より多数の、より少数の、又は異なる機能構成要素を含み得る。更に、動き推定ユニット１２２と動き補償ユニット１２４とは、高度に統合され得るが、図２の例では、説明の目的で別々に表されている。
【００６６】
[0071]ビデオエンコーダ２０はビデオデータを受信し得る。ビデオエンコーダ２０は、様々な発信源からビデオデータを受信し得る。例えば、ビデオエンコーダ２０は、ビデオ発信源１８（図１）又は別の発信源からビデオデータを受信し得る。ビデオデータは一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ２０は、ピクチャの各々に対して符号化演算を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、スライス中のツリーブロックに対して符号化演算を実行し得る。
【００６７】
[0072]ツリーブロックに対して符号化演算を実行することの一部として、予測ユニット１００は、ツリーブロックのビデオブロックに対して４分木区分を実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は異なるＣＵに関連付けられ得る。例えば、予測ユニット１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックのうちの１つ又は複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。
【００６８】
[0073]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大６４×６４以上のサンプルをもつツリーブロックのサイズまでに及び得る。本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックのサンプル寸法、例えば、１６×１６（16x16）サンプル又は１６×１６（16 by 16）サンプルを指すために互換的に使用され得る。概して、１６×１６ビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。
【００６９】
[0074]更に、ツリーブロックに対して符号化演算を実行することの一部として、予測ユニット１００は、ツリーブロック用の階層的な４分木データ構造を生成し得る。例えば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測ユニット１００が、ツリーブロックのビデオブロックを４つのサブブロックに区分する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測ユニット１００が、サブブロックのうちの１つを４つのサブサブブロックに区分する場合、サブブロックに関連付けられたＣＵに対応するノードは、サブサブブロックのうちの１つに関連付けられたＣＵに各々が対応する、４つの子ノードを有し得る。
【００７０】
[0075]４分木データ構造の各ノードは、対応するツリーブロック又はＣＵのシンタックスデータ（例えば、シンタックス要素）を含み得る。例えば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックに区分される（例えば、分割される）かどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されるかどうかに依存し得る。それのビデオブロックが区分されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コード化ツリーブロックは、対応するツリーブロック用の４分木データ構造に基づくデータを含み得る。
【００７１】
[0076]ビデオエンコーダ２０は、ツリーブロックの区分されていない各ＣＵに対して符号化演算を実行し得る。ビデオエンコーダ２０が、区分されていないＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、区分されていないＣＵの符号化された表現を表すデータを生成する。
【００７２】
[0077]ＣＵに対して符号化演算を実行することの一部として、予測ユニット１００は、ＣＵの１つ又は複数のＰＵの中で、ＣＵのビデオブロックを区分し得る。ビデオエンコーダ２０及びビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０及びビデオデコーダ３０は、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズと、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、又は同様の対称ＰＵサイズでのインター予測とをサポートし得る。ビデオエンコーダ２０及びビデオデコーダ３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズに対する非対称区分をもサポートし得る。幾つかの例では、予測ユニット１００は、ＣＵのビデオブロックの辺に直角に接触しない境界に沿って、ＣＵのＰＵの間でＣＵのビデオブロックを区分するように、幾何学的な区分を実行し得る。
【００７３】
[0078]インター予測ユニット１２１はＣＵの各ＰＵに対してインター予測を実行し得る。インター予測は時間圧縮を実現し得る。ＰＵに対してインター予測を実行するために、動き推定ユニット１２２はＰＵの動き情報を生成し得る。動き補償ユニット１２４は、動き情報と、ＣＵに関連付けられたピクチャ以外のピクチャ（例えば、参照ピクチャ）の復号されたサンプルと基づくＰＵのための予測ビデオブロックを生成し得る。本開示では、動き補償ユニット１２４によって生成された予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。
【００７４】
[0079]スライスは、Ｉスライス、Ｐスライス、又はＢスライスであり得る。動き推定ユニット１２２及び動き補償ユニット１２４は、ＰＵがＩスライス中にあるのか、Ｐスライス中にあるのか、Ｂスライス中にあるのかに応じて、ＣＵのＰＵに対して異なる演算を実行し得る。Ｉスライス中では、全てのＰＵがイントラ予測される。従って、ＰＵがＩスライス中にある場合、動き推定ユニット１２２及び動き補償ユニット１２４は、ＰＵに対してインター予測を実行しない。
【００７５】
[0080]ＰＵがＰスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測のために使用され得るサンプルを含んでいる。動き推定ユニット１２２が、Ｐスライス中のＰＵに関して動き推定演算を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、例えば、サンプルのブロックであり得る。動き推定ユニット１２２は、様々なメトリックを使用して、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。例えば、動き推定ユニット１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。
【００７６】
[0081]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定ユニット１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット１２２は動きベクトルを異なる精度に生成し得る。例えば、動き推定ユニット１２２は、１／４サンプル精度、１／８サンプル精度、又は他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット１２２は、ＰＵの動き情報として参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
【００７７】
[0082]ＰＵがＢスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」及び「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。幾つかの例では、Ｂスライスを含んでいるピクチャは、リスト０とリスト１の組合せである、リストの組合せに関連付けられ得る。
【００７８】
[0083]更に、ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵについての単方向予測又は双方向予測を実行し得る。動き推定ユニット１２２が、ＰＵについての単方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０又はリスト１の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０又はリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すか、リスト１中の参照ピクチャを示すかを示し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
【００７９】
[0084]動き推定ユニット１２２が、ＰＵについての双方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０及びリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報としてＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。
【００８０】
[0085]幾つかの事例では、動き推定ユニット１２２は、ＰＵの動き情報のフルセットをエントロピー符号化ユニット１１６に出力しない。そうではなく、動き推定ユニット１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報を信号伝達(signal)し得る。例えば、動き推定ユニット１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオデコーダ３０に示す値を示し得る。別の例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ：motion vector difference）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示される隣接ＰＵの動きベクトルとの間の差分を示す。ビデオデコーダ３０は、示される隣接ＰＵの動きベクトルと、動きベクトル差分とを使用して、ＰＵの動きベクトルを決定し得る。第２のＰＵの動き情報を信号伝達するときに第１のＰＵの動き情報を参照することによって、ビデオエンコーダ２０は、より少数のビットを使用して、第２のＰＵの動き情報を信号伝達することが可能であり得る。
【００８１】
[0086]図５及び図６に関して以下で更に説明するように、予測ユニット１００は、図５及び図６に示されている方法を実行することによってＰＵ（又は他の拡張レイヤブロック又はビデオユニット）をコード化（例えば、符号化又は復号）するように構成され得る。例えば、（例えば、動き推定ユニット１２２及び／又は動き補償ユニット１２４を介した）インター予測ユニット１２１、イントラ予測ユニット１２６、又はレイヤ間予測ユニット１２８は、一緒に又は別々に、図５及び図６に示されている方法を実行するように構成され得る。
【００８２】
[0087]ＣＵに対して符号化演算を実行することの一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに対してイントラ予測を実行し得る。イントラ予測は空間圧縮を実現し得る。イントラ予測ユニット１２６がＰＵに対してイントラ予測を実行するとき、イントラ予測ユニット１２６は、同じピクチャ中の他のＰＵの復号されたサンプルに基づいて、ＰＵの予測データを生成し得る。ＰＵの予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス、及びＢスライス中のＰＵに対してイントラ予測を実行し得る。
【００８３】
[0088]ＰＵに対してイントラ予測を実行するために、イントラ予測ユニット１２６は、複数のイントラ予測モードを使用して、ＰＵの予測データの複数のセットを生成し得る。イントラ予測ユニット１２６が、イントラ予測モードを使用してＰＵの予測データのセットを生成するとき、イントラ予測ユニット１２６は、イントラ予測モードに関連付けられた方向及び／又は勾配で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたって、サンプルを延ばし得る。隣接ＰＵは、ＰＵ、ＣＵ、及びツリーブロックについて左から右、上から下の符号化順序を仮定すると、ＰＵの上、右上、左上、又は左にあり得る。イントラ予測ユニット１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、例えば、３３個の方向性イントラ予測モードを使用し得る。
【００８４】
[0089]予測ユニット１００は、ＰＵについての、動き補償ユニット１２４によって生成された予測データ、又はＰＵについての、イントラ予測ユニット１２６によって生成された予測データの中から、ＰＵの予測データを選択し得る。幾つかの例では、予測ユニット１００は、予測データのセットのレート／歪みメトリックに基づいて、ＰＵの予測データを選択する。
【００８５】
[0090]予測ユニット１００が、イントラ予測ユニット１２６によって生成された予測データを選択する場合、予測ユニット１００は、ＰＵの予測データを生成するために使用されたイントラ予測モード、例えば、選択されたイントラ予測モードを信号伝達し得る。予測ユニット１００は、選択されたイントラ予測モードを様々な方法で信号伝達し得る。例えば、選択されたイントラ予測モードは隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在ＰＵに対して最確モード（most probable mode）であり得る。従って、予測ユニット１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すための、シンタックス要素を生成し得る。
【００８６】
[0091]上記で説明したように、ビデオエンコーダ２０はレイヤ間予測ユニット１２８を含み得る。レイヤ間予測ユニット１２８は、ＳＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１２８は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算資源要求（computational resource requirements）を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロック（co-located blocks）の再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。
【００８７】
[0092]予測ユニット１００がＣＵのＰＵの予測データを選択した後、残差生成ユニット１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くこと（例えば、マイナス符号によって示される）によって、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する、２Ｄ残差ビデオブロックを含み得る。例えば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。更に、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。
【００８８】
[0093]予測ユニット１００は、４分木区分を実行して、ＣＵの残差ビデオブロックをサブブロックに区分し得る。各分割されていない残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられた残差ビデオブロックのサイズ及び位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズ及び位置に基づくことも基づかないこともある。「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵはＲＱＴのリーフノードに対応し得る。
【００８９】
[0094]変換ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに１つ又は複数の変換を適用することによって、ＣＵの各ＴＵのための１つ又は複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄ行列であり得る。変換ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。例えば、変換ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに、離散コサイン変換（ＤＣＴ）、方向性変換、又は概念的に同様の変換を適用し得る。
【００９０】
[0095]変換ユニット１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化ユニット１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。
【００９１】
[0096]ビデオエンコーダ２０は、様々な方法でＱＰ値をＣＵに関連付け得る。例えば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックに対してレート歪み分析を実行し得る。レート歪み分析では、ビデオエンコーダ２０は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコード化表現を生成し得る。ビデオエンコーダ２０がツリーブロックの異なる符号化された表現を生成するとき、ビデオエンコーダ２０は、異なるＱＰ値をＣＵに関連付け得る。ビデオエンコーダ２０は、最小のビットレート及び歪みメトリックを有するツリーブロックのコード化表現で所与のＱＰ値がＣＵに関連付けられるとき、所与のＱＰ値がＣＵに関連付けられることを信号伝達し得る。
【００９２】
[0097]逆量子化ユニット１０８及び逆変換単位１１０は、それぞれ、変換係数ブロックに逆量子化と逆変換とを適用して、変換係数ブロックから残差ビデオブロックを再構成し得る。再構成ユニット１１２は、再構成された残差ビデオブロックを、予測ユニット１００によって生成された１つ又は複数の予測ビデオブロックからの対応するサンプルに追加して、ＴＵに関連付けられた再構成されたビデオブロックを生成し得る。このようにＣＵの各ＴＵのためのビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。
【００９３】
[0098]再構成ユニット１１２がＣＵのビデオブロックを再構成した後、フィルタユニット１１３は、ＣＵに関連付けられたビデオブロックにおけるブロック歪み(blocking artifacts)を低減するためにデブロッキング演算を実行し得る。１つ又は複数のデブロッキング演算を実行した後、フィルタユニット１１３は、ＣＵの再構成されたビデオブロックを復号ピクチャバッファ１１４に記憶し得る。動き推定ユニット１２２及び動き補償ユニット１２４は、再構成されたビデオブロックを含んでいる参照ピクチャを使用して、後続ピクチャのＰＵに対してインター予測を実行し得る。更に、イントラ予測ユニット１２６は、復号ピクチャバッファ１１４中の再構成されたビデオブロックを使用して、ＣＵと同じピクチャ中の他のＰＵに対してイントラ予測を実行し得る。
【００９４】
[0099]エントロピー符号化ユニット１１６は、ビデオエンコーダ２０の他の機能構成要素からデータを受信し得る。例えば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信し得、予測ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１６がデータを受信するとき、エントロピー符号化ユニット１１６は、１つ又は複数のエントロピー符号化演算を実行して、エントロピー符号化されたデータを生成し得る。例えば、ビデオエンコーダ２０は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ：variable-to-variable）レングスコード化演算、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔区分化エントロピー（ＰＩＰＥ）コード化演算、又は別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット１１６は、エントロピー符号化されたデータを含むビットストリームを出力し得る。
【００９５】
[00100]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット１１６はコンテキストモデルを選択し得る。エントロピー符号化ユニット１１６がＣＡＢＡＣ演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。
【００９６】
ビデオデコーダ
[00101]図３は、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。ビデオデコーダ３０は、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、動き補償ユニット１６２及び／又はイントラ予測ユニット１６４は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。一実施形態では、ビデオデコーダ３０は、本開示で説明する技法のいずれか又は全てを実行するように構成されたレイヤ間予測ユニット１６６を随意に含み得る。他の実施形態では、レイヤ間予測は予測ユニット１５２（例えば、動き補償ユニット１６２及び／又はイントラ予測ユニット１６４）によって実行され得、その場合、レイヤ間予測ユニット１６６は省略され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。
【００９７】
[00102]図３の例では、ビデオデコーダ３０は複数の機能構成要素を含む。ビデオデコーダ３０の機能構成要素は、エントロピー復号ユニット１５０と、予測ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構成ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、レイヤ間予測ユニット１６６とを含む。幾つかの例では、ビデオデコーダ３０は、図２のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。他の例では、ビデオデコーダ３０は、より多数の、より少数の、又は異なる機能構成要素を含み得る。
【００９８】
[00103]ビデオデコーダ３０は、符号化されたビデオデータを備えるビットストリームを受信し得る。ビットストリームは複数のシンタックス要素を含み得る。ビデオデコーダ３０がビットストリームを受信したとき、エントロピー復号ユニット１５０は、ビットストリームに対して構文解析演算（parsing operation）を実行し得る。ビットストリームに対して構文解析演算を実行した結果として、エントロピー復号ユニット１５０は、ビットストリームからシンタックス要素を抽出し得る。構文解析演算を実行することの一部として、エントロピー復号ユニット１５０は、ビットストリーム中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６、再構成ユニット１５８、及びフィルタユニット１５９は、ビットストリームから抽出されたシンタックス要素に基づいて復号されたビデオデータを生成する再構成演算（reconstruction operation）を実行し得る。
【００９９】
[00104]上記で説明したように、ビットストリームは一連のＮＡＬ単位を備え得る。ビットストリームのＮＡＬ単位は、ビデオパラメータセットＮＡＬ単位、シーケンスパラメータセットＮＡＬ単位、ピクチャパラメータセットＮＡＬ単位、ＳＥＩ  ＮＡＬ単位などを含み得る。ビットストリームに対して構文解析演算を実行することの一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬ単位からのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬ単位からのピクチャパラメータセット、ＳＥＩ  ＮＡＬ単位からのＳＥＩデータなどを抽出しエントロピー復号する、構文解析演算を実行し得る。
【０１００】
[00105]更に、ビットストリームのＮＡＬ単位はコード化スライスＮＡＬ単位を含み得る。ビットストリームに対して構文解析演算を実行することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬ単位からコード化スライスを抽出しエントロピー復号する、構文解析演算を実行し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。スライスヘッダ中のシンタックス要素は、スライスを含んでいるピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット１５０は、スライスヘッダを復元するために、コード化スライスヘッダ中のシンタックス要素に対して、ＣＡＢＡＣ復号演算などのエントロピー復号演算を実行し得る。
【０１０１】
[00106]コード化スライスのＮＡＬ単位からスライスデータを抽出することの一部として、エントロピー復号ユニット１５０は、スライスデータ中のコード化ＣＵからシンタックス要素を抽出する構文解析演算を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット１５０は、次いで、シンタックス要素のうちの幾つかに対してＣＡＢＡＣ復号演算を実行し得る。
【０１０２】
[00107]エントロピー復号ユニット１５０が、区分されていないＣＵに対して構文解析演算を実行した後、ビデオデコーダ３０は、区分されていないＣＵに対して再構成演算を実行し得る。区分されていないＣＵに対して再構成演算を実行するために、ビデオデコーダ３０はＣＵの各ＴＵに対して再構成演算を実行し得る。ＣＵの各ＴＵについて再構成演算を実行することによって、ビデオデコーダ３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。
【０１０３】
[00108]ＴＵに対して再構成演算を実行することの一部として、逆量子化ユニット１５４は、ＴＵに関連付けられた変換係数ブロックを逆の量子化（inverse quantize）、例えば、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＨＥＶＣのために提案された、又はＨ．２６４復号規格によって定義された逆量子化プロセスと同様の様式で、変換係数ブロックを逆量子化し得る。逆量子化ユニット１５４は、量子化の程度を決定し、同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定するために、変換係数ブロックのＣＵのためにビデオエンコーダ２０によって計算される量子化パラメータＱＰを使用し得る。
【０１０４】
[00109]逆量子化ユニット１５４が変換係数ブロックを逆量子化した後、逆変換ユニット１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換ユニット１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。例えば、逆変換ユニット１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向変換、又は別の逆変換を適用し得る。幾つかの例では、逆変換ユニット１５６は、ビデオエンコーダ２０からの信号伝達に基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいて信号伝達された変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット１５６は、ブロックサイズ、コード化モードなど、１つ又は複数のコード化特性から逆変換を推論し得る。幾つかの例では、逆変換ユニット１５６はカスケード逆変換を適用し得る。
【０１０５】
[00110]幾つかの例では、動き補償ユニット１６２は、補間フィルタに基づく補間を実行することによって、ＰＵの予測ビデオブロックを改良し得る。サブサンプル精度をもつ動き補償のために使用されるべき補間フィルタのための識別子が、シンタックス要素中に含まれ得る。動き補償ユニット１６２は、ＰＵの予測ビデオブロックの生成中にビデオエンコーダ２０によって使用された同じ補間フィルタを使用して、参照ブロックのサブ整数サンプルについての補間値を計算し得る。動き補償ユニット１６２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ビデオブロックを生成し得る。
【０１０６】
[00111]図５及び図６に関して以下で更に説明するように、予測ユニット１５２は、図５及び図６に示されている方法を実行することによってＰＵ（又は他の拡張レイヤブロック又はビデオユニット）をコード化（例えば、符号化又は復号）し得る。例えば、動き補償ユニット１６２、イントラ予測ユニット１６４、又はレイヤ間予測ユニット１６６は、一緒に又は別々に、図５及び図６に示されている方法を実行するように構成され得る。
【０１０７】
[00112]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測ユニット１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。例えば、イントラ予測ユニット１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測ユニット１６４が使用し得るシンタックス要素を含み得る。
【０１０８】
[00113]幾つかの事例では、シンタックス要素は、イントラ予測ユニット１６４が別のＰＵのイントラ予測モードを使用して現在ＰＵのイントラ予測モードを決定すべきであることを示し得る。例えば、現在ＰＵのイントラ予測モードは隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在ＰＵに対して最確モードであり得る。従って、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット１６４は、次いで、イントラ予測モードを使用して、空間的に隣接するＰＵのビデオブロックに基づいて、ＰＵの予測データ（例えば、予測サンプル）を生成し得る。
【０１０９】
[00114]上記で説明したように、ビデオデコーダ３０もレイヤ間予測ユニット１６６を含み得る。レイヤ間予測ユニット１６６は、ＳＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１６６は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コード化効率を改善し、計算資源要求を低減する。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロックの再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用して拡張レイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。
【０１１０】
[00115]再構成ユニット１５８は、適用可能なとき、ＣＵのＴＵに関連付けられた残差ビデオブロックとＣＵのＰＵの予測ビデオブロックとを使用して、例えば、イントラ予測データ又はインター予測データのいずれかを使用して、ＣＵのビデオブロックを再構成し得る。従って、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいて、ビデオブロックを生成し得る。
【０１１１】
[00116]再構成ユニット１５８がＣＵのビデオブロックを再構成した後、フィルタユニット１５９は、デブロッキング演算を実行して、ＣＵに関連付けられたブロック歪みを低減し得る。フィルタユニット１５９がデブロッキング演算を実行してＣＵに関連付けられたブロック歪みを低減した後、ビデオデコーダ３０は、復号ピクチャバッファ１６０にＣＵのビデオブロックを記憶し得る。復号ピクチャバッファ１６０は、後続の動き補償、イントラ予測、及び図１の表示装置３２などの表示装置上での提示のために、参照ピクチャを与え得る。例えば、ビデオデコーダ３０は、復号ピクチャバッファ１６０中のビデオブロックに基づいて、他のＣＵのＰＵに対してイントラ予測演算又はインター予測演算を実行し得る。
【０１１２】
ベースレイヤ（又は参照レイヤ）のコード化フレーム及び実際のフレーム
[00117]図４に、拡張レイヤ４００及び参照レイヤ４３０の様々なフレームサイズの例を示す。参照レイヤ４３０は、実際のフレームサイズ４３４とコード化フレームサイズ４３６とを含み得る。実際のフレームサイズ４３４は、パラメータセットにおいて指定された適合性クロッピングウィンドウ（conformance cropping window）によって定義されるか、又は表示装置の表示器サイズによって定義され得る。従って、実際のフレームサイズ４３４は、実際のフレームサイズ４３４に収まるようにクロップされた参照レイヤ４３０中のピクチャのサイズを表し得る。コード化フレームサイズ４３６は、参照レイヤ４３０の最小コード化単位（ＳＣＵ：smallest coding unit）４３２のサイズによって決定され得る。図４に示されているように、コード化フレームサイズ４３６はＳＣＵ４３２の整数倍であり得る。
【０１１３】
[00118]上記で説明したように、参照レイヤ４３０中の情報は、１つ又は複数の拡張レイヤを予測するために使用され得る。そのような拡張レイヤの一例は、図４に示された拡張レイヤ４００である。拡張レイヤ４００に関連付けられたフレームサイズは、実際のフレームサイズ４１２とコード化フレームサイズ４１６とを含み得る。更に、別のフレームサイズが実際のフレームサイズ４１２とコード化フレームサイズ４１６との間に示されており、これは、参照レイヤ４３０のコード化フレームサイズ４３６のアップサンプリングされたバージョンを表す。図４に示されているように、コード化フレームサイズ４３６は、拡張レイヤ４００のＳＣＵ４２２のサイズの整数倍であり得る。
【０１１４】
[00119]実際のフレームサイズ４１２とアップサンプリングされた参照レイヤフレームサイズ４１４との間のエリア４１８は、参照レイヤ４３０の実際のフレームサイズ４３４の外側に位置する参照レイヤ４３０のエリア４３８に対応するビデオブロック（例えば、コード化単位）を含み得る。以下でより詳細に説明するように、エリア４３８に関連付けられた情報は、拡張レイヤ４００（例えば、エリア４１８中のビデオブロック）を予測するために利用可能であることも利用可能でないこともある。エリア４３８中の情報が拡張レイヤ４００を予測するために利用可能である場合、エリア４１８中のビデオブロックは、そのような情報を使用して予測され得る。図４に示されているように、アップサンプリングされた参照レイヤフレームサイズ４１４とコード化フレームサイズ４１６との間のエリア４２０は、参照レイヤ４３０中に対応するエリアを有しないことがある。
【０１１５】
[00120]幾つかの実施形態では、実際のフレームサイズ４３４（例えば、実際のフレーム又は実際のフレームサイズを指すために本開示において使用されることがあるクロップされたピクチャ）とコード化フレームサイズ４３６（例えば、コード化フレーム又はコード化フレームサイズを指すために本開示において使用されることがある復号されたピクチャ）とは同じであり得る。
【０１１６】
[00121]一実施形態では、実際のフレームサイズ４３４（例えば、クロップされたピクチャのサイズ）は、コーダ（例えば、エンコーダ又はデコーダ）に入力されたビデオデータによって決定されるか、又はコーダ又は表示装置によって設定され得る。例えば、コーダによって出力されるべき参照レイヤピクチャが３３画素×３３画素である場合、実際のフレームサイズ４３４は３３画素×３３画素になるであろう。更に、最小コード化単位が参照レイヤ４３０について８画素×８画素であった場合、５つのＳＣＵが、垂直方向と水平方向の両方において実際のフレームサイズをカバーするために使用されるであろう（４＊８＝３２は１画素だけ足りないので、５＊８＝４０になる）。従って、この例におけるコード化フレームサイズ４１６は４０画素×４０画素になるであろう。従って、垂直方向と水平方向の両方において、実際のフレームサイズ４３４の外側にある７画素エッジ（例えば、影付きエリア４３８）がある。
【０１１７】
クロップされたピクチャの外側の参照レイヤ位置
[00122]ＨＥＶＣ拡張の一実施形態では、拡張レイヤテクスチャ又はシンタックス（例えば、動きフィールド又はイントラモード）は、参照レイヤ中の対応するブロックの情報を使用して予測され得る。例えば、本明細書で使用する「対応するブロック」（又はサブブロック又は画素位置）は、同一位置配置ブロック（例えば、両方のブロックがそれぞれのレイヤ中のピクチャの同じ要素に対応する、拡張レイヤブロックに関して同一位置配置された参照レイヤブロック）、隣接ブロック（例えば、同一位置配置ブロックに隣接するブロック）、又はコーダ（例えばエンコーダ又はデコーダ）によって決定された他のブロックを指すことがある。一実施形態では、レイヤ間テクスチャ予測は、拡張レイヤテクスチャ情報を予測するために参照レイヤテクスチャ情報（例えば、画素又はサンプル値）を使用するプロセスを指し、レイヤ間シンタックス予測は、拡張レイヤシンタックス要素を予測するために参照レイヤシンタックス要素（例えば、動きベクトル、参照インデックス、予測モードなど）を使用するプロセスを指す。例えば、シンタックス情報は非テクスチャ又は非画素情報を指すことがある。更に、（シンタックス要素が、０又は１など、丁度２つの値以外の値を有することができるように）バイナリ状態よりも多くを有するシンタックス要素が、フラグの代わりに指示のために使用され得る。本明細書で使用する「フラグ」という用語は、概して、フラグ及びそのようなシンタックス要素を指す。更に、本開示では、レイヤピクチャはレイヤコンポーネントと呼ばれることもある。同様に、参照レイヤピクチャは参照レイヤコンポーネントと呼ばれることもある。
【０１１８】
[00123]図４に示されているように、幾つかの状況では、現在ブロック（例えば、現在予測されている拡張レイヤ中のブロック）に対応する参照レイヤのエリアは参照レイヤフレームの外側に位置し得る。一例では、これは、コード化フレームサイズが、表示装置上に表示され得る実際のフレームサイズよりも大きいときに起こり得る。別の例では、そのような状況は、拡張ピクチャの境界パディングサイズ（boundary padding size）が参照レイヤピクチャの境界パディングサイズよりも大きいときに起こり得る。参照レイヤと拡張レイヤとの異なる境界パディングサイズは特定のエンコーダ設定によってもたらされ得る。それはまた、参照レイヤと拡張レイヤとの異なる最小コード化単位（ＳＣＵ）サイズに起因し得る。幾つかのコード化方式（例えば、ＨＥＶＣ）では、コード化フレームサイズがＳＣＵサイズと整合され得（フレームサイズがＳＣＵの整数倍であり）、従って、拡張レイヤのＳＣＵが参照レイヤのＳＣＵよりも大きい場合、参照レイヤフレームの幾つかの部分についてシンタックス情報がないことがある。図４に示されているように、拡張レイヤＳＣＵ４２２と参照レイヤＳＣＵ４３２とのサイズが異なることにより、拡張レイヤ４００の一部分が、レイヤ間予測のために動き情報又は画素情報がそこから取得され得る参照レイヤ４３０中の対応する領域を有しないことになり得る。別の例では、参照レイヤが、拡張レイヤのために使用されるビデオ規格（例えば、ＨＥＶＣ）以外のビデオ規格（例えば、ＡＶＣ又はＭＰＥＧ２）に従ってコード化されるときに参照レイヤ情報の利用不可能性が生じ得る。
【０１１９】
[00124]そのような状況では（例えば、拡張レイヤ中の現在ブロックに対応する参照レイヤブロック又は画素位置が、クロップされたピクチャの外側に位置するとき）、クロップされたピクチャの外側にある参照レイヤの部分は、例えば、参照レイヤを復号したデコーダによって出力されず、従って、拡張レイヤ中の現在ブロックを予測するために使用され得ないので、コーダ（例えば、エンコーダ又はデコーダ）はその部分にアクセスすることができない。従って、幾つかの実施形態では、クロップされたピクチャの外側のエリアは、コーダ（例えば、エンコーダ又はデコーダ）にとって利用不可能としてマークされ、拡張レイヤのレイヤ間予測（又は何らかの予測）において使用されないことがある。例えば、拡張レイヤ中の現在ブロックは、参照レイヤ中の（デコーダによって出力され、従って、拡張レイヤを予測するために利用可能である）クロップされたピクチャのアップサンプリングされた及び／又はパディングされたバージョンから導出された情報、又はクロップされたピクチャの内側の別のブロックから導出された情報に基づいてコード化（例えば、符号化又は復号）され得る。
【０１２０】
[00125]しかしながら、幾つかのシナリオでは、拡張レイヤ中の現在ブロックに対応する参照レイヤのエリアがクロップされたピクチャの外側に位置する場合でも、そのような参照レイヤブロックの情報は、現在ブロックのレイヤ間予測において使用するために利用可能であり得る。例えば、参照レイヤと拡張レイヤの両方がＨＥＶＣに適合する場合、コーダが、拡張レイヤ中の現在ブロックを予測するために参照レイヤブロックの情報を使用することができるように、完全な復号されたピクチャ（例えば、図４中の４３６）がコーダ（例えば、エンコーダ又はデコーダ）にとって利用可能であり得る。例えば、現在レイヤピクチャ（例えば、拡張レイヤピクチャ）を復号するとき、クロップされたピクチャ（又は適合性クロッピングウィンドウ）の外側の領域を含む、復号された参照レイヤピクチャ中の全ての領域の復号されたサンプル及び関係するシンタックス並びに変数（例えば、動き情報）が、復号プロセスにとって利用可能又はアクセス可能であり得る。別の例では、参照レイヤがＨＥＶＣ設計又は拡張レイヤのコード化方式に従わない（例えば、参照レイヤがＡＶＣ適合であり、拡張レイヤがＨＥＶＣ適合である）ときでも、クロップされたピクチャの外側の情報は、依然として復号プロセスにとって利用可能又はアクセス可能であり得る。そのようなシナリオでは、クロップされたピクチャの外側にあることだけを理由に、クロップされたピクチャの外側の参照レイヤのエリアを利用不可能とマークすることは、コード化効率を低減することになり得る。従って、（例えば、コーダが使用するために、クロップされたピクチャが利用可能であるのか完全な復号されたピクチャが利用可能であるのかに応じて）クロップされたピクチャの外側のそのようなエリアの使用を選択的に可能にすることによって、コード化効率が改善され得る。
【０１２１】
[00126]従って、以下のセクションでは、本開示の例示的な実施形態に従って、クロップされたピクチャの外側の情報の使用がどのように可能にされ得るか（例えば、使用のために利用可能であるものとして示され得るか）について説明する。
【０１２２】
参照レイヤコーデックに基づいてクロップされたピクチャの外側の情報の利用可能性を決定すること
[00127]幾つかの既存のコード化方式では、参照レイヤコーデックは、ＨＥＶＣ又はＨ．２６４／ＡＶＣ、又は一般的な非ＨＥＶＣコーデックであり得る。更に、使用されるべきコーデックを示すパラメータセット中のフラグがあり得る。例えば、ビデオパラメータセット（ＶＰＳ）中のフラグは、参照レイヤをコード化するためにＨＥＶＣが使用されるのかＡＶＣが使用されるのかを示し得る。一例では、フラグａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇは、参照レイヤコーデックが、勧告ＩＴＵ−Ｔ  Ｈ．２６４｜国際規格ＩＳＯ／ＩＥＣ１４４９６−１０に従うビデオコード化規格に準拠することを示す、１に等しい値を有し得、代替的に、参照レイヤコーデックがＨＥＶＣ仕様に準拠することを示す、０に等しい値を有し得る。従って、拡張レイヤを符号化又は復号するように構成されたコード化機器は、参照レイヤに関してＡＶＣが使用されるのかＨＥＶＣが使用されるのかに関する情報を有し得る。
【０１２３】
[00128]一実施形態では、拡張レイヤを予測するために使用され得るレイヤ間予測方法は、参照レイヤコーデックが特定のコード化方式に準拠するかどうかに依存し得る。特定のコード化方式は、クロップされたピクチャの外側の参照レイヤ情報が利用可能であり得るかどうかを示し得る任意の所定のコード化方式であり得る。一例では、特定のコード化方式はＨＥＶＣである。そのような例では、拡張レイヤをコード化するために使用されるレイヤ間予測方法は、参照レイヤコーデックがＨＥＶＣに準拠するかどうかに依存し得る。例えば、コーダは、上記で説明したコーデック情報を使用して、どの参照レイヤコーデックが使用されるかを検査し得、参照レイヤコーデックがＨＥＶＣに準拠する場合、コーダ（例えば、エンコーダ又はデコーダ）は、クロップされたピクチャの外側にある参照レイヤのエリアに対応する拡張レイヤの部分（例えば、ブロック又はコード化単位）についても、参照レイヤから取得された情報に基づいて拡張レイヤを予測し得る。一方、参照レイヤコーデックがＨＥＶＣに準拠しない場合、コーダ（例えば、エンコーダ又はデコーダ）は、クロップされたピクチャの外側にある参照レイヤのエリアに対応する拡張レイヤの部分を予測するためにパディングを使用し得る。
【０１２４】
[00129]一実施形態では、参照レイヤコーデックが予め定義されたコード化方式に準拠するかどうかは、フラグを使用して信号伝達される。一実施形態では、参照レイヤ中のクロップされたピクチャが使用されるべきかどうかを示すために、フラグｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｆｌａｇが信号伝達され得る。例えば、フラグの値が１である場合、クロップされたピクチャが拡張レイヤを予測するために使用され得る（例えば、クロップされたピクチャの外側の情報は使用されないことがある）。一方、フラグの値が０である場合、復号されたピクチャが拡張レイヤを予測するために使用され得る。一実施形態では、どのピクチャ（例えば、クロップされたピクチャ又は復号されたピクチャ）が拡張レイヤを予測するために使用され得るかに関する決定後、拡張レイヤを予測するのに適切であり得る何らかのアップサンプリング及び／又はパディングが実行され得る。
【０１２５】
[00130]一実施形態では、フラグｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｆｌａｇはレイヤ間テクスチャ予測とレイヤ間シンタックス予測の両方を制御する。一例では、フラグの値が１である場合、クロップされたピクチャがレイヤ間テクスチャ予測とレイヤ間シンタックス予測の両方のために使用される。フラグの値が０である場合、復号されたピクチャがレイヤ間テクスチャ予測とレイヤ間シンタックス予測の両方のために使用される。
【０１２６】
[00131]別の実施形態では、レイヤ間テクスチャ予測とレイヤ間シンタックス予測とのために別個のフラグが信号伝達される。例えば、レイヤ間テクスチャ予測のためのフラグｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ及びレイヤ間シンタックス予測のためのｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｓｙｎｔａｘ＿ｆｌａｇが、レイヤ間テクスチャ予測及び／又はレイヤ間シンタックス予測が参照レイヤ中のクロップされたピクチャの外側の情報に基づいて実行され得るかどうかを示すために使用され得る。
【０１２７】
[00132]レイヤ間テクスチャ予測とレイヤ間シンタックス予測とのために別個のフラグを使用することによって、レイヤ間テクスチャ予測又はレイヤ間シンタックス予測のいずれかが選択的に実行され得、コード化フレキシビリティ及び／又はコード化効率が改善され得る。
【０１２８】
[00133]一実施形態では、参照レイヤの復号されたピクチャがレイヤ間テクスチャ予測及び／又はレイヤ間シンタックス予測のために使用され得るかどうかを示すフラグの値は参照レイヤコーデックに依存し得る。例えば、参照レイヤがＨＥＶＣ仕様に従ってコード化される場合、完全な復号されたピクチャがレイヤ間テクスチャ予測及びレイヤ間シンタックス予測のために使用され得る。一実施形態では、１つ又は複数のフラグが、参照レイヤコーデックに基づいて設定され、信号伝達され得る。別の実施形態では、フラグの信号伝達はスキップされ得、フラグの適切な値は（例えば、参照コーデックから）推論され得る。例えば、上記で説明したフラグａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇが、参照レイヤコーデックが、勧告ＩＴＵ−Ｔ  Ｈ．２６４｜国際規格ＩＳＯ／ＩＥＣ１４４９６−１０に従うビデオコード化規格に準拠するのか、ＨＥＶＣ仕様に準拠するのかを決定するために使用され得る。
【０１２９】
[00134]一実施形態では、参照レイヤがＨ．２６４／ＡＶＣを用いてコード化される場合、参照レイヤのクロップされたピクチャのみがレイヤ間テクスチャ予測及びレイヤ間シンタックス予測のために使用され得る。別の実施形態では、参照レイヤがＨ．２６４／ＡＶＣを用いてコード化される場合、レイヤ間テクスチャ予測のみが（例えば、クロップされたピクチャのみを使用して）実行され得、レイヤ間シンタックス予測は実行されないことがある。一実施形態では、シンタックス予測のためのフラグの信号伝達はスキップされ得、シンタックスフラグの値は、別のフラグ（例えば、ａｖｃ＿ｂａｓｅ＿ｌａｙｅｒ＿ｆｌａｇ）から推論されるか、又は無効である（例えば、０に等しい）と仮定され得る。
【０１３０】
[00135]図５は、本開示の一実施形態による、ビデオ情報をコード化するための方法５００を示すフローチャートである。図５に示されているステップは、エンコーダ（例えば、図２に示されたビデオエンコーダ）、デコーダ（例えば、図３に示されたビデオデコーダ）、又は他の構成要素によって実行され得る。便宜上、方法５００について、エンコーダ、デコーダ又は別の構成要素であり得る、コーダによって実行されるものとして説明する。
【０１３１】
[00136]方法５００はブロック５０１において開始する。ブロック５０５において、コーダは、拡張レイヤ中の現在ブロックが参照レイヤ中のクロップされたピクチャ（例えば、出力領域又は実際のフレーム）の外側の部分に対応するかどうかを決定する。現在ブロックに対応する参照レイヤの部分は、クロップされたピクチャの完全に外側にあるか、又はクロップされたピクチャの部分的に外側にあり得る。コーダが、現在ブロックがクロップされたピクチャの外側の部分に対応しないと決定した場合、方法はブロック５２５において終了する。一方、コーダが、現在ブロックがクロップされたピクチャの外側の部分に対応すると決定した場合、コーダはブロック５１０に進む。ブロック５１０において、コーダは、条件が、クロップされたピクチャの外側の情報が現在ブロックを予測するために利用可能であることを示すかどうかを決定する。一実施形態では、そのような条件は、参照レイヤが、予め定義されたコード化規格（例えば、ＨＥＶＣ）に準拠するコーデックによってコード化されるときに満たされる。別の実施形態では、条件は、クロップされたピクチャの外側の情報が現在ブロックを予測するために利用可能であるかどうかを示すフラグを備え得る。デコーダの例では、デコーダは、ビットストリームに符号化された特殊フラグについて検査し得る（例えば、一例では、エンコーダは、クロップされたピクチャの外側の情報がレイヤ間予測のために使用され得るかどうかを示すためにそのようなフラグを信号伝達するように構成され得る）。代替的に、デコーダは既存のフラグ又はパラメータを検査し得る。同様に、エンコーダは、クロップされたピクチャの外側の情報を使用すべきかどうかを決定する際に、条件が満たされるかどうかを示す特殊フラグを処理するか、又は既存のフラグ又はパラメータを検査し得る。エンコーダ又はデコーダはまた、２つ以上のフラグ又はパラメータ（例えば、レイヤＩＤ、コーデックタイプなど）を検査し得る。コーダが、条件が満たされると決定した場合、クロップされたピクチャの外側の情報は、ブロック５１５において拡張レイヤ中の現在ブロックを予測するためにコーダによって使用され得る。一実施形態では、コーダは、現在ピクチャを予測するために、クロップされたピクチャの外側の情報を使用する。別の実施形態では、コーダは、現在ピクチャを予測するために、クロップされたピクチャの外側の情報を使用しない。例えば、コーダは、現在ブロックを予測するために、別の参照インデックスによって定義される別の参照ピクチャを使用する。別の例では、コーダは、現在ブロックを予測するためにイントラモードを使用し得る。例えば、コーダは、現在ブロックのための様々な異なる予測子を比較し、最高コード化効率（又は何らかの他の性能パラメータ）を生じる予測子を選定し得る。一実施形態では、予測はレイヤ間テクスチャ予測を伴う。別の実施形態では、予測はレイヤ間シンタックス予測を伴う。また別の実施形態では、予測はレイヤ間テクスチャ予測とレイヤ間シンタックス予測とを伴う。一方、コーダが、条件が満たされないと決定した場合、参照レイヤのクロップされたピクチャの外側の情報は、ブロック５２０において現在ブロックを予測��るためにコーダによって使用されないことがある。例えば、コーダは、クロップされたピクチャの外側のサンプル値を推定するためにパディングを使用し、パディングされた値に基づいて現在ブロックを予測し得る。別の例では、レイヤ間予測は、クロップされたピクチャの外側の位置に対応する現在ブロックのために使用されない。もう１つの例では、参照レイヤのクロップされたピクチャの内側の情報が、現在ブロックを予測するために使用され得る。方法５００はブロック５２５において終了する。
【０１３２】
[00137]方法５００では、図５に示されたブロックのうちの１つ又は複数は削除される（例えば、実行されない）ことがあり、及び／又は方法が実行される順序は入れ替えられることがある。例えば、現在ブロックがクロップされたピクチャの外側の部分に対応するかどうかの決定は、方法５００の一部として実行されないことがある。
【０１３３】
[00138]上記で説明したように、図２のビデオエンコーダ２０又は図３のビデオデコーダ３０の１つ又は複数の構成要素（例えば、図２のレイヤ間予測ユニット１２８及び／又は図３のレイヤ間予測ユニット１６６）は、クロップされたピクチャの外側に位置する参照レイヤブロックの情報に基づいて拡張レイヤ中の現在ブロックを予測するための条件が満たされるかどうかを決定すること、及び参照レイヤのクロップされたピクチャの外側の情報を使用して（又は使用せずに）現在ブロックを予測することなど、本開示で説明した技法のいずれかを実装するために使用され得る。
【０１３４】
[00139]クロップされたピクチャの外側にある参照レイヤの部分が拡張レイヤをコード化するために使用され得るかどうかを信号伝達するためにフラグを使用することによって、コーダは、クロップされたピクチャの外側の情報を使用することをむやみに控える必要がなく、コード化効率を改善するためにそのような情報を使用することができる。例えば、参照レイヤコーデックがＨＥＶＣ仕様に準拠することをフラグが示す場合、クロップされたピクチャの外側の情報が使用され得る。クロップされたピクチャの外側の情報が利用可能であり得るかどうかを決定するために他の条件が使用され得る（例えば、以下で説明するようにスケーラビリティ比又はレイヤＩＤ、あるいは、本明細書では詳細に説明しないが、クロップされたピクチャの外側の情報が、コーダが使用するために利用可能であり得るかどうかを示し得る他の条件）。
【０１３５】
[00140]一実施形態では、フラグは、クロップされたピクチャの外側の情報が使用され得るかどうかを示し、クロップされたピクチャの外側の情報が使用されるのか使用されなければならないのかを示さない。従って、信号伝達方式はコーダ（例えば、エンコーダ又はデコーダ）にフレキシビリティを与え、フラグが、クロップされたピクチャの外側の情報が使用され得ることを示すときでも、コーダ（例えば、エンコーダ又はデコーダ）は、拡張レイヤを予測するためにそのような情報を使用しても使用しなくてもよい。
【０１３６】
[00141]一例では、ＡＶＣ適合チップが使用され得る。そのようなＡＶＣチップは、クロップされたピクチャのみを出力し、復号されたピクチャ全体を出力しないことがある。従って、フラグ値は、クロップされたピクチャのみが利用可能であることを示す１に設定され得る。別の例では、ＨＥＶＣ適合チップが使用され得る。ＨＥＶＣチップの出力は、クロップされたピクチャよりも多くを含み得る。そのような場合、フラグ値は、クロップされたピクチャの外側の情報がレイヤ間予測のために利用可能であることを示す０に設定され得る。代替的に、フラグ値は、（例えば、ＨＥＶＣチップがシングルレイヤのために設計され、チップの再設計が望まれない場合）クロップされたピクチャの外側の情報が拡張レイヤをコード化（例えば、符号化又は復号）するために使用されないように、０に設定され得る。従って、クロップされたピクチャの外側の情報が使用され得るかどうかを示すためにフラグを使用することによって、コード化フレキシビリティ及び／又はコード化効率が高められる。
【０１３７】
参照レイヤと拡張レイヤとのスケーラビリティ比に基づいてクロップされたピクチャの外側の情報の利用可能性を決定すること
[00142]空間スケーラビリティの場合、参照レイヤと拡張レイヤとは異なる解像度を有し得、拡張レイヤを予測するために参照レイヤピクチャを使用する前に、参照レイヤピクチャはアップサンプリングされる必要があり得る。従って、この解像度比（又はスケーラビリティ比）は、レイヤ間予測を実行するためにアップサンプリングが必要とされるかどうかを示し得る。
【０１３８】
[00143]一実施形態では、拡張レイヤをコード化するために使用され得るレイヤ間予測方法は、参照レイヤと拡張レイヤとの間のスケーラビリティ比（例えば、解像度比）に依存し得る。一例では、（例えば、スケーラビリティ比が１である）ＳＮＲスケーラビリティの場合は、復号された参照レイヤピクチャがレイヤ間テクスチャ予測及びレイヤ間シンタックス予測のために使用され得、空間スケーラビリティ（例えば、参照レイヤと拡張レイヤとが異なる解像度を有する）の場合は、クロップされたピクチャ（又は適合性クロッピングウィンドウ）のみが使用され得る。
【０１３９】
[00144]一実施形態では、スケーラビリティ比が１であるかどうかを示すフラグが信号伝達され得、レイヤ間予測方法はフラグの値に基づいて決定され得る。別の実施形態では、スケーラビリティ比が１よりも大きいかどうかを示すフラグが信号伝達され得、レイヤ間予測方法はフラグの値に基づいて決定され得る。
【０１４０】
参照レイヤのレイヤＩＤに基づいてクロップされたピクチャの外側の情報の利用可能性を決定すること
[00145]一実施形態では、拡張レイヤをコード化するために使用され得るレイヤ間予測方法は、参照レイヤがそれ自体の参照レイヤをもたないベースレイヤであるかどうかに依存し得る。例えば、そのようなレイヤは、最も基本的なレベルの品質でコード化される真のベースレイヤであり得る。一実施形態では、参照レイヤが真のベースレイヤであるかどうかを示すフラグが信号伝達され得、拡張レイヤをコード化するために利用可能なレイヤ間予測方法はフラグの値に基づいて決定され得る。
【０１４１】
[00146]一実施形態では、拡張レイヤをコード化するために使用され得るレイヤ間予測方法は、参照レイヤのレイヤＩＤ（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）に依存し得る。一例では、参照レイヤのレイヤＩＤが０である場合、参照レイヤは、それ自体の参照レイヤを有しないベースレイヤである。そのような例では、参照レイヤのレイヤＩＤが０であるかどうかを示すフラグが信号伝達され得、拡張レイヤをコード化するために利用可能なレイヤ間予測方法はフラグの値に基づいて決定され得る。例えば、参照レイヤのレイヤＩＤが０である場合、クロップされたピクチャ（又は適合性クロッピングウィンドウ）が拡張レイヤを予測するために使用され得、参照レイヤのレイヤＩＤが０でない場合、復号された参照レイヤピクチャがレイヤ間テクスチャ予測及びレイヤ間シンタックス予測のために使用され得る。
【０１４２】
単一フラグ及び２フラグ実装例
[00147]一実施形態では、１に等しいｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｆｌａｇは、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、適合性クロッピングウィンドウの内側の位置に対応する拡張レイヤの部分のために使用され得ることと、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、適合性クロッピングウィンドウの外側の位置に対応する拡張レイヤの部分について無効にされることとを指定する。一実施形態では、フラグが１に等しい場合、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測のうちの１つが、依然として、適合性クロッピングウィンドウの外側の位置に対応する拡張レイヤの部分のために使用され得る。例えば、フラグが１に等しい場合でも、レイヤ間シンタックス予測は使用されないが、レイヤ間テクスチャ予測は使用され得る。別の例では、フラグが１に等しい場合でも、レイヤ間テクスチャ予測は使用されないが、レイヤ間シンタックス予測は使用され得る。一方、０に等しいｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｆｌａｇは、適合性クロッピングウィンドウの外側の情報に基づくレイヤ間テクスチャ予測とレイヤ間シンタックス予測の両方が、拡張レイヤを予測するために使用され得ることを指定する。一実施形態では、フラグがビットストリーム中に存在しない場合、それはデフォルト値に設定される。一実施形態では、デフォルト値は０である。別の実施形態では、デフォルト値は１である。
【０１４３】
[00148]一実施形態では、１に等しいｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｔｅｘｔｕｒｅ＿ｆｌａｇは、レイヤ間テクスチャ予測が、適合性クロッピングウィンドウの内側の位置に対応する拡張レイヤの部分のために使用され得ることと、レイヤ間テクスチャ予測が、適合性クロッピングウィンドウの外側の位置に対応する拡張レイヤの部分について無効にされることとを指定する。一方、０に等しいｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｔｅｘｔｕｒｅ＿ｆｌａｇは、レイヤ間テクスチャ予測が拡張レイヤを予測するために使用され得ることを指定する。一実施形態では、フラグがビットストリーム中に存在しない場合、それはデフォルト値に設定される。一実施形態では、デフォルト値は０である。別の実施形態では、デフォルト値は１である。
【０１４４】
[00149]一実施形態では、１に等しいｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｓｙｎｔａｘ＿ｆｌａｇは、レイヤ間シンタックス予測が、適合性クロッピングウィンドウの内側の位置に対応する拡張レイヤの部分のために使用され得ることと、レイヤ間シンタックス予測が、適合性クロッピングウィンドウの外側の位置に対応する拡張レイヤの部分について無効にされることとを指定する。一方、０に等しいｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｓｙｎｔａｘ＿ｆｌａｇは、レイヤ間シンタックス予測が拡張レイヤを予測するために使用され得ることを指定する。一実施形態では、フラグがビットストリーム中に存在しない場合、それはデフォルト値に設定される。一実施形態では、デフォルト値は０である。別の実施形態では、デフォルト値は１である。
【０１４５】
レイヤ間予測のために使用される方法
[00150]幾つかの実施形態では、１つ又は複数のフラグ（例えば、上記で説明したフラグ）は、１つ又は複数のレイヤ間予測方法がどのように実行され得るかを制御するために使用され得る。例えば、１つ又は複数のフラグは、レイヤ間テクスチャ予測の場合、クロッピングとパディングとが参照レイヤ及びアップサンプリングされた参照レイヤのために使用され得るが、レイヤ間シンタックス予測の場合、シンタックスはパディングされないことがあり、単にデフォルト値が使用され得ることを示し得る。一実施形態では、パディングは、水平及び垂直方向に沿って（例えば、クロップされたピクチャの境界画素を拡張することによって）クロップされたピクチャから画素をコピーし、それによって、クロップされたピクチャの外側の利用不可能な領域を追加すること（populating）を含み得る。別の例では、動き情報を予測するために、デフォルト動きベクトル（例えば、０動きベクトル）と参照インデックスとが使用され得る。幾つかの実施形態では、特に、動き情報が、１６×１６、３２×３２などのより大きいサイズを有する画素のブロックを表す場合、動き情報は強い空間相関を呈しないことがある。そのような場合、コード化性能は、シンタックス予測のためにデフォルト値を使用することによって改善され得る。
【０１４６】
[00151]幾つかの実施形態では、特定のフラグ（例えば、ｕｓｉｎｇ＿ｃｒｏｐｐｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ）が有効にされた場合（例えば、１の値）、コーダ（例えば、エンコーダ又はデコーダ）は、クロップされたピクチャをアップサンプリング及び／又はパディングすることと、拡張レイヤのテクスチャを予測するために、アップサンプリング／パディングされたピクチャを使用することとによって、クロップされたピクチャに基づいてレイヤ間テクスチャ予測を実行し得る。例えば、アップサンプリングは、参照レイヤのサイズと拡張レイヤのサイズとの間の解像度比が１以外の値を有する場合に実行され得る。アップサンプリングは解像度比に従って実行され得る。
【０１４７】
[00152]一実施形態では、クロップされたピクチャ（又は、復号されたピクチャがパディングされる必要がある場合、復号されたピクチャ）は、隣接画素を使用してパディングされ得る。一例では、画素パディング方法は、補間（例えば、動き補償補間）のために使用される画素パディング方法と同じであり得る。
【０１４８】
[00153]一実施形態では、クロップされたピクチャの外側の参照レイヤの部分はデフォルト値を割り当てられ得る。そのようなデフォルト値は０（例えば、最小値）であり得る。別の例では、１＜＜（ビット深度−１）のデフォルト値が使用される（例えば、中央値）。例えば、拡張レイヤ（又は、必要なアップサンプリング又はビットシフトの前にデフォルト値が割り当てられる場合、参照レイヤ）のビット深度が１０である場合、デフォルト値は１＜＜（１０−１）であり得、これは５１２である。また別の例では、（１＜＜ビット深度）−１のデフォルト値が使用される（例えば、最大値）。例えば、拡張レイヤのビット深度が１０である場合、デフォルト値は（１＜＜１０）−１であり得、これは１０２３である。別の実施形態では、デフォルト値は、信号伝達されたか又は予め定義された他の値に設定され得る。
【０１４９】
[00154]同様に、レイヤ間シンタックス予測のために、クロップされたピクチャの外側の参照レイヤの部分にデフォルト値が割り当てられ得る。代替的に、クロップされたピクチャの外側の部分のシンタックス値が、クロップされたピクチャの内側の部分のシンタックス値から導出され得、導出されたシンタックス値は、拡張レイヤのシンタックス値を予測するために使用され得る。
【０１５０】
[00155]図６は、本開示の一実施形態による、ビデオ情報をコード化するための方法６００を示すフローチャートである。図６に示されているステップは、エンコーダ（例えば、図２に示されたビデオエンコーダ）、デコーダ（例えば、図３に示されたビデオデコーダ）、又は他の構成要素によって実行され得る。便宜上、方法６００について、エンコーダ、デコーダ又は別の構成要素であり得る、コーダによって実行されるものとして説明する。例えば、方法６００は、クロップされたピクチャの外側の情報（例えば、図４中の影付きエリア４３８）を使用せずに現在ブロックを予測するための一例を示し得る。但し、本開示の予測技法は、その例によって限定されず、本明細書で説明するか又は知られている他のコード化方法又は技法を含み得る。
【０１５１】
[00156]方法６００はブロック６０１において開始する。ブロック６０５において、コーダは、参照レイヤデコーダからクロップされたピクチャを受信する。ブロック６１０において、コーダは、（例えば、参照レイヤのサイズと拡張レイヤのサイズとの間の解像度比に従って）受信されたクロップされたピクチャをアップサンプリングする。ブロック６１５において、コーダは、例えば、参照レイヤのアップサンプリングされたクロップされたピクチャの外側にあるサンプル値を予測するために、アップサンプリングされたクロップされたピクチャをパディングする。ブロック６２０において、コーダは、拡張レイヤピクチャを予測するために、パディングされたピクチャを使用する。方法６００はブロック６４０において終了する。
【０１５２】
[00157]上記で説明したように、図２のビデオエンコーダ２０又は図３のビデオデコーダ３０の１つ又は複数の構成要素（例えば、図２のレイヤ間予測ユニット１２８及び／又は図３のレイヤ間予測ユニット１６６）は、参照レイヤデコーダによって出力されたクロップされたピクチャを受信すること、クロップされたピクチャをアップサンプリングすること、アップサンプリングされたピクチャをパディングすること、及びパディングされたピクチャを使用してＥＬ中の現在ブロックを予測することなど、本開示で説明した技法のいずれかを実装するために使用され得る。
【０１５３】
[00158]方法６００では、図６に示されたブロックのうちの１つ又は複数は削除される（例えば、実行されない）ことがあり、及び／又は方法が実行される順序は入れ替えられることがある。方法６００について、クロップされたピクチャを使用することに関して説明したが、復号されたピクチャのアップサンプリング及び／又はパディングが拡張レイヤを予測するために適切である場合、復号されたピクチャを使用するために同様の技法が使用され得る。
【０１５４】
[00159]レイヤ間テクスチャ予測とレイヤ間シンタックス予測とを制御する１つ又は複数の高いレベルのフラグ又はシンタックス要素が、例えば、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）など、少なくとも１つのパラメータセット中で、スライスヘッダ中で、ブロックレベルで、又はその組合せで信号伝達され得る。そのようなフラグが複数のレベルで使用される場合、より低いレベルの信号伝達はより高いレベルの信号伝達に優先し（override）得、より高いレベルの信号伝達は、信号伝達が次のより低いレベルに存在するかどうかを制御するか又は示し得る。代替的に、１つ又は複数のデフォルト値が、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ、スライスヘッダ中で、又はブロックレベルでなど、ビットストリーム中で信号伝達され得る。
【０１５５】
フラグ間の依存性
[00160]上記で説明したように、幾つかの実施形態では、テクスチャのためのフラグ、及びシンタックスのためのフラグの、２つのフラグが、参照レイヤの復号されたピクチャを使用すべきかどうかを示すために使用され得る。一実施形態では、フラグの値は互いに依存し得る。例えば、テクスチャフラグが、参照レイヤのクロップされたピクチャのみがレイヤ間テクスチャ予測のために使用され得ることを示す場合、シンタックスフラグも、クロップされたピクチャのみがレイヤ間シンタックス予測のために使用され得ることを示し得る。一例では、この依存性は、シンタックスフラグの値に関する制約を導入することによって実装される（例えば、シンタックスフラグの値にテクスチャフラグの値を追跡させる）。別の例では、シンタックスフラグの信号伝達はスキップされ得、シンタックスフラグの値はテクスチャフラグの値から推論され得る。同様の技法が、テクスチャフラグの値がシンタックスフラグの値に依存する場合に使用され得る。
【０１５６】
信号伝達例＃１
[00161]一例では、レイヤ間予測が、クロップされたピクチャの外側にある参照レイヤの部分に基づいて実行され得るかどうかを示すためのフラグ（例えば、ｖｐｓ＿ｉｌｐ＿ｗｉｔｈｉｎ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｃｒｏｐｐｉｎｇ＿ｗｉｎｄｏｗ＿ｆｌａｇ）がビデオパラメータセット（ＶＰＳ）中で信号伝達され得る。１に等しいフラグ値は、コード化ビデオシーケンス内で、レイヤ間予測が、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ参照レイヤコンポーネントの適合性クロッピングウィンドウの外側からの、復号プロセスにおいて使用されるシンタックス要素、変数、又はサンプル値について実行されることを可能にされないことを指定し得る。例えば、参照レイヤがそれ自体の参照レイヤをもたないベースレイヤである場合、レイヤ間テクスチャ予測及びレイヤ間シンタックス予測が、クロップされたピクチャの外側の部分に基づいて実行されないことがある。一方、０に等しいフラグ値は、レイヤ間予測に関するそのような制限が適用可能でないことを指定し得る。
【０１５７】
[00162]別の実施形態では、レイヤ間予測が、クロップされたピクチャの外側にある参照レイヤの部分に基づいて実行され得るかどうかを示すためのフラグは、ベースレイヤ（例えば、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ）が、特定のコード化方式に準拠しないコーデックによってコード化されているという指示がＶＰＳ中にある場合のみ、ＶＰＳ中に存在する。一実施形態では、フラグは、ベースレイヤが、ＨＥＶＣ仕様において指定されたプロファイルに準拠しないコーデックによってコード化されていることがＶＰＳ中で示されている場合のみ、存在する。
【０１５８】
信号伝達例＃２
[00163]一実施形態では、レイヤ間予測が、クロップされたピクチャの外側にある参照レイヤの部分に基づいて実行され得るかどうかを、ＶＰＳ中で信号伝達されるフラグが示す。１に等しいフラグ値は、コード化ビデオシーケンス内で、レイヤ間予測が、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ参照レイヤコンポーネントの適合性クロッピングウィンドウの外側からの、復号プロセスにおいて使用されるシンタックス要素、変数、又はサンプル値について実行されることを可能にされないが、レイヤ間テクスチャ予測が、適合性クロッピングウィンドウの外側のパディングされたサンプル値を用いて実行され得ることを指定し得る。例えば、参照レイヤがそれ自体の参照レイヤをもたないベースレイヤである場合、レイヤ間シンタックス予測は、クロップされたピクチャの外側の部分に基づいて実行されないことがあるが、レイヤ間テクスチャ予測は、（例えば、参照レイヤのクロップされたピクチャにパディングが適用された後に）パディングされたサンプル値に基づいて実行され得る。一方、０に等しいフラグ値は、レイヤ間予測に関するそのような制限が適用可能でないことを指定し得る。
【０１５９】
[00164]別の実施形態では、レイヤ間予測が、クロップされたピクチャの外側にある参照レイヤの部分に基づいて実行され得るかどうかを示すためのフラグは、ベースレイヤ（例えば、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ）が特定のコード化方式に準拠しないという指示がＶＰＳ中にある場合のみ、ＶＰＳ中に存在する。一実施形態では、フラグは、ベースレイヤが、ＨＥＶＣ仕様において指定されたプロファイルに準拠しないことがＶＰＳ中で示されている場合のみ、存在する。
【０１６０】
信号伝達例＃３
[00165]一例では、全ての参照レイヤを制御するために単一のフラグが使用され得る。例えば、単一のフラグは、レイヤ間予測が、参照レイヤの各々においてクロップされたピクチャの外側の部分に基づいて実行され得るかどうかを示し得る。別の例では、別のレイヤをコード化（例えば、符号化又は復号）するための参照レイヤとして使用される各レイヤについて、フラグ（例えば、ｖｐｓ＿ｉｌｐ＿ｗｉｔｈｉｎ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｃｒｏｐｐｉｎｇ＿ｗｉｎｄｏｗ＿ｆｌａｇ）がＶＰＳ中で信号伝達される。そのような信号伝達の一実装形態を以下のシンタックステーブルに示す。例えば、そのようなシンタックスはＶＰＳシンタックステーブルに追加され得る。
【表１】
2016508011.tif 000003
【０１６１】
[00166]別の実施形態では、レイヤ間予測が、クロップされたピクチャの外側にある参照レイヤの部分に基づいて実行され得るかどうかを示すためのフラグは、ベースレイヤ（例えば、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ）が特定のコード化方式に準拠しないという指示がＶＰＳ中にある場合のみ、ＶＰＳ中に存在する。一実施形態では、フラグは、ベースレイヤが、ＨＥＶＣ仕様において指定されたプロファイルに準拠しないことがＶＰＳ中で示されている場合のみ、存在する。一実施形態では、全ての拡張レイヤ（例えば、０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつレイヤ）と特定のコード化方式に準拠する参照レイヤとのための各フラグ値はデフォルト値に設定される。一実施形態では、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０よりも大きい場合、レイヤはＡＶＣではなく、従って、復号されたピクチャが利用可能である可能性が高い。一例では、全ての拡張レイヤとともに、ＨＥＶＣ仕様において指定されたプロファイルに準拠する参照レイヤは、デフォルトで０に設定される対応するフラグ値を有し得る。
【０１６２】
[00167]別の実施形態では、レイヤ間予測が、クロップされたピクチャの外側にある参照レイヤの部分に基づいて実行され得るかどうかを示すためのフラグは、ベースレイヤ（例えば、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ）についてのみ、ＶＰＳ中に存在する。０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する拡張レイヤについて、フラグ値はデフォルトで０に設定される。
【０１６３】
[00168]本明細書で開示した実施形態及び例は、ビュー間予測を制御するためのＭＶＣ及び３ＤＶ  ＨＥＶＣ拡張に適用可能であることを認識されたい。当業者に知られている必要な変更を加えて、ビュー間予測を制御するための同様の技法が使用され得る。そのような場合、レイヤ間予測は上記の説明においてビュー間予測として読まれ得、参照レイヤは参照ビューとして読まれ得る。
【０１６４】
[00169]本明細書で開示する情報及び信号は、多種多様な技術及び技法のいずれかを使用して表され得る。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光場又は光学粒子、あるいはそれらの任意の組合せによって表され得る。
【０１６５】
[00170]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又はその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例及び全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
【０１６６】
[00171]本明細書で説明した技法は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット、又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路機器など、様々な機器のいずれかにおいて実装され得る。モジュール又は構成要素として説明した特徴は、集積論理機器に一緒に、又は個別であるが相互運用可能な論理機器として別々に実装され得る。ソフトウェアで実装した場合、本技法は、実行されたとき、上記で説明した方法のうちの１つ又は複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気又は光学データ記憶媒体など、メモリ又はデータ記憶媒体を備え得る。本技法は、追加又は代替として、伝搬信号又は電波など、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ、及び／又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。
【０１６７】
[00172]プログラムコードは、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価の集積回路又はディスクリート論理回路など、１つ又は複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明した技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であり得る。プロセッサは、コンピューティング機器の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、又は本明細書で説明した技法の実装に好適な他の構造又は装置のいずれかを指す。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内に与えられるか、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理要素において完全に実装され得る。
【０１６８】
[00173]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示する技法を実行するために構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作可能なハードウェアユニットの集合によって与えられ得る。
【０１６９】
[00174]本発明の様々な実施形態について説明した。これら及び他の実施形態は以下の特許請求の範囲内に入る。
【図１】
2016508011.tif 000004
【図２】
2016508011.tif 000005
【図３】
2016508011.tif 000006
【図４】
2016508011.tif 000007
【図５】
2016508011.tif 000008
【図６】
2016508011.tif 000009
【手続補正書】
【提出日】平成27年11月19日(2015.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ情報を符号化する又は復号するように構成された装置であって、前記装置は、
参照レイヤ（ＲＬ）及び拡張レイヤ（ＥＬ）と関連するビデオ情報を記憶するように構成されるメモリユニットと、前記ＲＬは前記ＲＬの適合性クロッピングウィンドウに対応する出力領域を有するＲＬピクチャを備え、前記ＥＬは前記ＲＬピクチャに対応するＥＬピクチャを備える、
前記メモリユニットと通信するプロセッサと、を備え、前記プロセッサは、
前記ＥＬピクチャの現在ブロックが前記出力領域の外側にある前記ＲＬピクチャの領域に少なくとも部分的に対応することを決定し、
前記出力領域の外側にある前記ＲＬの前記領域と関連する情報が前記ＥＬピクチャの前記現在ブロックを予測するときに使用する前記装置に利用できるかどうかを、条件に基づいて、決定するように構成される、装置。
【請求項２】
前記プロセッサが、前記条件が満たされないとき前記出力領域の外側にある前記ＲＬピクチャの前記領域と関連する情報を使用して前記現在ブロックを予測することを抑制するように更に構成される請求項１の装置。
【請求項３】
前記プロセッサが、前記条件が満たされるときだけ前記出力領域の外側にある前記領域と関連する前記情報を使用して前記現在ブロックを予測するように更に構成される、請求項１の装置。
【請求項４】
前記出力領域が前記ＲＬピクチャより小さい、請求項１の装置。
【請求項５】
前記装置はエンコーダを備え、前記プロセッサは、前記出力領域の外側にある前記ＲＬピクチャの前記領域と関連する情報を使用して前記ＥＬの前記現在ブロックを符号化するように更に構成されている、請求項１の装置。
【請求項６】
前記装置は、デコーダを備え、前記プロセッサは、前記出力領域の外側にある前記ＲＬピクチャの前記領域と関連する前記情報を使用し前記ＥＬの前記現在ブロックを復号するように構成される、請求項１の装置。
【請求項７】
前記装置は、コンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、及び車載コンピュータからなるグループから選択された装置を備える、請求項１に記載の装置。
【請求項８】
前記プロセッサが、前記ＲＬをコード化するために使用されるコーデックに基づいて前記条件が満たされるかどうかを決定するように構成される、請求項１に記載の装置。
【請求項９】
前記プロセッサは、前記ＲＬをコード化するために使用されるコーデックがＡＶＣコーデックであるかどうかを示すフラグを処理することによって前記条件が満たされるかどうかを決定するように更に構成される、請求項１の装置。
【請求項１０】
前記プロセッサが、前記条件が第１のフラグ及び第２のフラグを処理することによって少なくとも部分的に前記条件が満たされるかどうかを決定するように構成され、前記第１のフラグは、前記現在ブロックのテクスチャ情報が前記出力領域の外側にある前記ＲＬピクチャの前記領域と関連する前記情報を使用して予測されることができるかどうかを示し、前記第２のフラグは、前記現在ブロックのシンタックス情報が前記出力領域の外側にある前記ＲＬピクチャの前記領域と関連する前記情報を使用して予測されることができるかどうかを示す、請求項１の装置。
【請求項１１】
前記第２のフラグの値が前記第１のフラグの前記値に依存する、請求項１０の装置。
【請求項１２】
前記プロセッサが、前記ＲＬピクチャ及び前記ＥＬピクチャが同じ幅と高さを有するかどうかを決定することによって前記条件が満たされるかどうかを決定するように構成される請求項１の装置。
【請求項１３】
前記プロセッサが、前記ＲＬのレイヤＩＤがゼロであるかどうかを決定することによって前記条件が満たされるかどうかを決定するように構成される請求項１の装置。
【請求項１４】
前記プロセッサが、前記条件がフラグを処理することによって満たされるかどうかを決定するように構成される、請求項１の装置。
【請求項１５】
前記フラグの値が前記参照レイヤを符号化するために用いるコーデックに基づいて決定される、請求項１４の装置。
【請求項１６】
ビデオ情報をコード化する方法であって、
参照レイヤ（ＲＬ）及び拡張レイヤ（ＥＬ）と関連するビデオ情報を記憶することと、前記ＲＬは、前記ＲＬの適合性クロッピングウィンドウに対応する出力領域を有するＲＬピクチャを備え、前記ＥＬは、前記ＲＬピクチャに対応するＥＬピクチャを備える、
前記ＥＬピクチャの現在ブロックが前記出力領域の外側にある前記ＲＬピクチャの領域に少なくとも部分的に対応することを決定すること、
前記出力領域の外側にある前記ＲＬの前記領域と関連する情報が前記ＥＬピクチャの前記現在ブロックを予測するための前記ビデオ情報のコード化中に利用できるかどうかを、条件に基づいて、決定することと、
を備える、方法。
【請求項１７】
前記条件が満足されないときに前記出力領域の外側にある前記ＲＬの前記領域と関連する前記情報を用いることを抑制しながら前記現在ブロックを予測することを更に備える、請求項１６の方法。
【請求項１８】
前記条件が満たされるときだけ前記出力領域の外側にある前記ＲＬの前記領域と関連する前記情報を用いて前記現在ブロックを予測することを更に含む、請求項１６の方法。
【請求項１９】
前記出力領域が前記ＲＬピクチャより小さい、請求項１６の方法。
【請求項２０】
前記条件が満たされるどうかは前記ＲＬを符号化するために用いるコーデックに基づく、請求項１６の方法。
【請求項２１】
前記ＲＬをコード化するために使用されるコーデックがＡＶＣコーデックであるかどうかを示すフラグに基づいて前記条件が満たされるかどうかを決定することを更に備える、請求項１６の方法。
【請求項２２】
前記条件が満たされるかどうかを決定することは、
前記現在ブロックのテクスチャ情報が前記出力領域の外側にある前記ＲＬピクチャの前記領域と関連する前記情報を用いて予測されることができるかどうかを示す第１のフラグを処理することと、
前記現在ブロックのシンタックス情報が前記出力領域の外側にある前記ＲＬピクチャの前記領域と関連する前記情報を用いて予測されることができるかどうかを示す第２のフラグを処理することを備える、請求項１６の方法。
【請求項２３】
前記第２のフラグの値が前記第１のフラグの値に依存する、請求項２２の方法。
【請求項２４】
前記条件が満たされるかどうかを決定することは、前記ＲＬピクチャ及び前記ＥＬピクチャが同じ幅及び高さを有するかどうか決定することを備える、請求項１６の方法。
【請求項２５】
前記条件が満たされるかどうかを決定することは、前記ＲＬのレイヤＩＤがゼロであるかどうかを決定することを備える、請求項１６の方法。
【請求項２６】
前記条件が満たされるかどうかを決定することは、フラグを処理することを備え、前記フラグの値は前記参照レイヤを符号化するために使用されるコーデックに基づいて決定される、請求項１６の方法。
【請求項２７】
実行されたときに装置に、
参照レイヤ（ＲＬ）及び拡張レイヤ（ＥＬ）と関連するビデオ情報を記憶すること、前記ＲＬは前記ＲＬの適合性クロッピングウィンドウに対応する出力領域を有するＲＬピクチャを備え、前記ＥＬは前記ＲＬピクチャに対応するＥＬピクチャを備える、
前記ＥＬピクチャの現在ブロックが前記出力領域の外側にある前記ＲＬピクチャの領域に少なくとも部分的に対応することを決定すること、
前記出力領域の外側にある前記ＲＬの前記領域と関連する情報が前記ＥＬピクチャの前記現在ブロックを予測するときに使用する前記装置に利用可能であるかどうかを条件に基づいて決定すること、
を行わせるコードを記憶する、コンピュータ読取可能記憶媒体。
【請求項２８】
前記コードは、前記条件が満たされるときだけ前記出力領域の外側にある前記ＲＬの前記領域と関連する前記情報を用いて前記現在ブロックを予測することを前記装置に更に実行させる、請求項２７のコンピュータ読取可能記憶媒体。
【請求項２９】
ビデオ情報をコード化するように構成されたビデオコード化機器であって、前記ビデオコード化機器が、
参照レイヤ（ＲＬ）及び拡張レイヤ（ＥＬ）と関連するビデオ情報を記憶するための手段と、前記ＲＬは前記ＲＬの適合性クロッピングウィンドウに対応する出力領域を有するＲＬピクチャを備え、前記ＥＬは前記ＲＬピクチャに対応するＥＬピクチャを備える、
前記ＥＬピクチャの現在ブロックが前記出力領域の外側にある前記ＲＬピクチャの領域に少なくとも部分的に対応することを決定するための手段と、
前記出力領域の外側にある前記ＲＬの前記領域と関連する情報が前記ＥＬピクチャの前記現在ブロックを予測するときに使用する前記ビデオコード化機器に利用できるかどうかを、条件に基づいて、決定するための手段と、
を備える、ビデオコード化機器。
【請求項３０】
前記条件が満たされるときだけ前記出力領域の外側にある前記ＲＬの前記領域と関連する前記情報を用いて前記現在ブロックを予測するための手段を更に含む、請求項２９のビデオコード化機器。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【０１６９】
[00174]本発明の様々な実施形態について説明した。これら及び他の実施形態は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］  ビデオ情報をコード化するように構成された装置であって、前記装置は、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、前記メモリユニットと通信しているプロセッサと、前記プロセッサは、条件が前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定するように構成される、を備える、装置。
［２］  前記プロセッサは、前記条件が前記出力領域の外側の前記情報が利用可能でないことを示すとき、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測することを回避するように更に構成される、［１］に記載の装置。
［３］  前記プロセッサは、前記条件が、前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測するように更に構成される、［１］に記載の装置。
［４］  前記出力領域が前記ＲＬピクチャよりも小さい、［１］に記載の装置。
［５］  前記装置がエンコーダを備え、ここにおいて、前記プロセッサが、前記出力領域の外側の前記情報を使用して前記現在ブロックを符号化するように更に構成される、［１］に記載の装置。
［６］  前記装置がデコーダを備え、ここにおいて、前記プロセッサが、前記出力領域の外側の前記情報を使用して前記現在ブロックを復号するように更に構成される、［１］に記載の装置。
［７］  前記装置が、コンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、及び車載コンピュータからなるグループから選択された装置を備える、［１］に記載の装置。
［８］  前記プロセッサが、前記ＲＬをコード化するために使用されるコーデックに基づいて前記条件を決定するように更に構成される、［１］に記載の装置。
［９］  前記条件は、前記ＲＬをコード化するために使用される前記コーデックが非ＨＥＶＣコーデックであるとき、前記出力領域の外側の情報が前記拡張レイヤ中の前記現在ブロックを予測するために利用可能でないことを示す、［８］に記載の装置。
［１０］  前記条件が第１のフラグと第２のフラグとを備え、前記第１のフラグは、前記現在ブロックのテクスチャ情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示し、前記第２のフラグは、前記現在ブロックのシンタックス情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示す、［１］に記載の装置。
［１１］  前記第２のフラグの値が前記第１のフラグの値に依存する、［１０］に記載の装置。
［１２］  前記条件は、前記ＲＬの高さ又は幅と前記拡張レイヤの高さ又は幅とが同じであるかどうかを示す、［１］に記載の装置。
［１３］  前記条件は、レイヤＩＤが０であるかどうかを示す、［１］に記載の装置。
［１４］  前記条件がフラグを備える、［１］に記載の装置。
［１５］  前記フラグの値が、前記参照レイヤをコード化するために使用されるコーデックに基づいて決定される、［１４］に記載の装置。
［１６］  ビデオ情報をコード化する方法であって、前記方法は、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶することと、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、条件が、前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定することとを備える、方法。
［１７］  前記条件が前記出力領域の外側の前記情報が利用可能でないことを示すとき、前記出力領域の外側の前記情報を使用することを控えながら前記現在ブロックを予測することを更に備える、［１６］に記載の方法。
［１８］  前記条件が前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測することを更に備える、［１６］に記載の方法。
［１９］  前記出力領域が前記ＲＬピクチャよりも小さい、［１６］に記載の方法。
［２０］  前記ＲＬをコード化するために使用されるコーデックに基づいて前記条件を決定することを更に備える、［１６］に記載の方法。
［２１］  前記条件は、前記ＲＬをコード化するために使用される前記コーデックが非ＨＥＶＣコーデックであるとき、前記出力領域の外側の情報が前記拡張レイヤ中の前記現在ブロックを予測するために利用可能でないことを示す、［２０］に記載の方法。
［２２］  前記現在ブロックのテクスチャ情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示す第１のフラグを処理することと、前記現在ブロックのシンタックス情報が前記出力領域の外側の前記情報を使用して予測され得るかどうかを示す第２のフラグを処理することと
を更に備える、［１６］に記載の方法。
［２３］  前記第２のフラグの値が前記第１のフラグの値に依存する、［２２］に記載の方法。
［２４］  前記条件は、前記ＲＬの高さ又は幅と前記拡張レイヤの高さ又は幅とが同じであるかどうかを示す、［１６］に記載の方法。
［２５］  前記条件は、レイヤＩＤが０であるかどうかを示す、［１６］に記載の方法。
［２６］  前記条件がフラグを備え、前記フラグの値が、前記参照レイヤをコード化するために使用されるコーデックに基づいて決定される、［１６］に記載の方法。
［２７］  実行されたとき、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶することと、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、条件が、前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定することと
を備えるプロセスを装置に実行させるコードを備える非一時的コンピュータ可読媒体。
［２８］  前記プロセスは、前記条件が前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測することを更に備える、［２７］に記載の媒体。
［２９］  ビデオ情報をコード化するように構成されたビデオコード化装置であって、前記ビデオコード化装置は、参照レイヤ（ＲＬ）と拡張レイヤとに関連付けられたビデオ情報を記憶するための手段と、前記ＲＬが、ＲＬピクチャの一部分を含む出力領域を有する前記ＲＬピクチャを備える、条件が、前記出力領域の外側の情報が前記拡張レイヤ中の現在ブロックを予測するために利用可能であることを示すかどうかを決定するための手段とを備える、ビデオコード化装置。
［３０］  前記条件が、前記出力領域の外側の前記情報が利用可能であることを示すときのみ、前記出力領域の外側の前記情報を使用して前記現在ブロックを予測するための手段を更に備える、［２９］に記載の装置。
【国際調査報告】
2016508011.tif 000010
2016508011.tif 000011
2016508011.tif 000012
2016508011.tif 000013