(57)【特許請求の範囲】
【請求項１】
ビデオコーディングのための深度データを復号する方法であって、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測することと、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す深度データの前記第１のブロックに関する残差データを受信することと、
前記第２のブロックに関する前記イントラ予測されたサンプルおよび前記残差データに基づいて、深度データの前記第１のブロックを再構築することとを備え、
ここにおいて、前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、方法。
【請求項２】
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、請求項１に記載の方法。
【請求項３】
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する前記他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、請求項１に記載の方法。
【請求項４】
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する前記他の第２のブロックのうちの１つまたは複数からの参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを使用して、前記サンプルをイントラ予測することを備える、請求項１に記載の方法。
【請求項５】
ビデオコーディングのための深度データを符号化する方法であって、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測することと、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分に基づいて、深度データの前記第１のブロックに関する残差データを生成することと、
前記イントラ予測モードおよび前記残差データに基づいて、深度データの前記第１のブロックを符号化することとを備え、
ここにおいて、前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、方法。
【請求項６】
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、請求項５に記載の方法。
【請求項７】
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する前記他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、請求項５に記載の方法。
【請求項８】
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する前記他の第２のブロックのうちの１つまたは複数からの参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを使用して、前記サンプルをイントラ予測することを備える、請求項５に記載の方法。
【請求項９】
ビデオコーディングのための深度データをコーディングするためのデバイスであって、
ビデオコーディングのための深度データを記憶するメモリと、
１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測し、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記イントラ予測モード、および前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す前記第１のブロックに関する残差データに基づいて、深度データの前記第１のブロックをコーディングするように構成され、
ここにおいて、前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、デバイス。
【請求項１０】
前記１つまたは複数のプロセッサが、前記他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測するように構成される、請求項９に記載のデバイス。
【請求項１１】
前記１つまたは複数のプロセッサが、前記それぞれの第２のブロックに隣接する前記他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測するように構成される、請求項９に記載のデバイス。
【請求項１２】
前記１つまたは複数のプロセッサが、前記それぞれの第２のブロックに隣接する前記他の第２のブロックのうちの１つまたは複数からの参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを使用して、前記サンプルをイントラ予測するように構成される、請求項９に記載のデバイス。
【請求項１３】
ビデオコーディングのための深度データをコーディングするためのデバイスであって、
３Ｄ−ＨＥＶＣビデオコーディングのための深度データを記憶するための手段と、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測するための手段と、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記イントラ予測モード、および前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す前記第１のブロックに関する残差データに基づいて、深度データの前記第１のブロックをコーディングするための手段とを備え、
ここにおいて、前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、
デバイス。
【請求項１４】
ビデオコーディングのための深度データをコーディングするためのデバイスであって、請求項１から８のいずれかに記載の方法を実行するための手段を備える、デバイス。
【請求項１５】
ビデオコーダの１つまたは複数のプロセッサに、
３Ｄ−ＨＥＶＣビデオコーディングのための深度データを記憶させ、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測させ、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記イントラ予測モード、および前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す前記第１のブロックに関する残差データに基づいて、深度データの前記第１のブロックをコーディングさせるための命令を備え、
ここにおいて、前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプル、または、
前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、非一時的コンピュータ可読記憶媒体。
【請求項１６】
ビデオコーダの１つまたは複数のプロセッサに、請求項１から８のいずれかに記載の方法を実行させるための命令を備える、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本開示は、ビデオコーディングに関し、より具体的には、３次元（３Ｄ：three-dimensional）ビデオコーディング処理におけるセグメントごとのＤＣコーディング（ＳＤＣ：segment-wise DC coding）に関する。
【背景技術】
【０００２】
[0002]  デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、タブレットコンピュータ、スマートフォン、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、ビデオ遠隔会議デバイス、セットトップデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ  １０、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記述されているビデオ圧縮技法などのビデオ圧縮技法を実装する。ビデオデバイスは、デジタルビデオ情報をより効率的に送信し、受信し、記憶することができる。
【０００３】
[0003]  エンコーダ−デコーダ（コーデック）は、ビデオシーケンスに固有の冗長性を低減または除去するように空間（イントラピクチャ（intra-picture））予測および／または時間（インターピクチャ（inter-picture））予測を実行するために、ビデオ圧縮技法を適用する。ブロックベースのビデオコーディングの場合、ビデオスライスが、コーディングされたツリーブロック（ＣＴＢ：coded treeblock）、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもあるビデオブロックに分割され得る。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプル（reference sample）に対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用することができる。ピクチャは代替的に「フレーム」と呼ばれ得る。
【０００４】
[0004]  空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックをもたらす。残差データ（residual data）は、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされるブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コーディングされたブロックと予測ブロックとの差分（difference）を示す。イントラコーディングされるブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは空間領域から変換領域に変換されて、残差変換係数をもたらすことができ、次いで、残差変換係数は量子化され得る。最初に２次元アレイで構成される量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、エントロピーコーディングがさらなる圧縮を達成するために適用されてよい。
【０００５】
[0005]  マルチビューコーディングビットストリームは、たとえば、複数の視点からのビューを符号化することによって生成され得る。マルチビューコーディングは、デコーダが、異なるビューを選択すること、または場合によっては複数のビューをレンダリングすることを可能にし得る。加えて、開発されている、または開発中のいくつかの３次元（３Ｄ）ビデオ技法および規格は、マルチビューコーディングの態様を利用する。たとえば、いくつかの３Ｄビデオコーディング処理では、３Ｄビデオをサポートするために、異なるビューが左眼のビューと右眼のビューとを送信するために使用され得る。他の３Ｄビデオコーディング処理は、マルチビュープラス深度コーディングを使用し得る。ＨＥＶＣに対する３Ｄ−ＨＥＶＣ拡張によって定義される処理のような、マルチビュープラス深度コーディング処理では、３Ｄビデオビットストリームは、テクスチャビュー成分だけではなく深度ビュー成分も含む複数のビューを含み得る。たとえば、所与のビューは、１つのテクスチャビュー成分と１つの深度ビュー成分とを備え得る。テクスチャビュー成分および深度ビュー成分は、３Ｄビデオデータを構築するために使用され得る。
【発明の概要】
【０００６】
[0006]  全般に、本開示は、ＨＥＶＣに対する３Ｄ−ＨＥＶＣ拡張と合致する処理のような３Ｄビデオコーディング処理における、６４×６４のブロックなどの大型イントラ予測ブロック（large intra-prediction block）のＳＤＣコーディングを簡易化するための技法を説明する。いくつかの例では、本技法は、イントラＳＤＣにおいて６４×６４のイントラ予測ブロックを４つの３２×３２のイントラ予測ブロックとして処理することを含み得る。イントラＳＤＣにおいて大型イントラ予測ブロックを複数のより小さいイントラ予測ブロックとして処理することで、イントラＳＤＣ処理における最大バッファサイズ要件を低減することができる。
【０００７】
[0007]  一例では、本開示は、ビデオコーディングのための深度データ（depth data）を復号する方法を説明し、この方法は、深度データの第１のブロックに関するイントラ予測モード（intra-prediction mode）のために、第２のブロックに関する深度データのサンプルをイントラ予測することと、ここにおいて、第２のブロックは、深度データの第１のブロックのサイズの１／４（one-quarter）である等しいサイズを各々有する４つのブロックを備え、深度データの第１のブロックの左上、右上、左下および右下のブロックに対応する、第１のブロックのピクセル値（pixel value）と第２のブロックのイントラ予測されたサンプル（intra-predicted sample）との間の差分を示す深度データの第１のブロックに関する残差データを受信することと、第２のブロックに関するイントラ予測されたサンプルおよび残差データに基づいて、深度データの第１のブロックを再構築することとを備える。
【０００８】
[0008]  別の例では、本開示は、ビデオコーディングのための深度データを符号化する方法を説明し、この方法は、深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する深度データのサンプルをイントラ予測することと、ここにおいて、第２のブロックは、深度データの第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの第１のブロックの左上、右上、左下および右下のブロックに対応する、第１のブロックのピクセル値と第２のブロックのイントラ予測されたサンプルとの間の差分に基づいて、第１のブロックに関する残差データを生成することと、イントラ予測モードおよび残差データに基づいて、深度データの第１のブロックを符号化することとを備える。
【０００９】
[0009]  別の例では、本開示は、ビデオコーディングのための深度データをコーディングするためのデバイスを説明し、このデバイスは、ビデオコーディングのための深度データを記憶するメモリと、１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する深度データのサンプルをイントラ予測し、ここにおいて、第２のブロックは、深度データの第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの第１のブロックの左上、右上、左下および右下のブロックに対応する、イントラ予測モード、および第１のブロックのピクセル値と第２のブロックのイントラ予測されたサンプルとの間の差分を示す第１のブロックに関する残差データに基づいて、深度データの第１のブロックをコーディングするように構成される。
【００１０】
[0010]  本開示の１つまたは複数の態様の詳細が、添付の図面および以下の説明において記載される。本開示で説明される技法の他の特徴、目的、および利点は、これらの説明および図面から、および特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１１】
【図１】[0011]  ＨＥＶＣにおいて使用されるイントラ予測モードを示す図。
【図２】[0012]  ＨＥＶＣにおけるイントラ予測モードにおいて使用される隣接サンプルを示す図。
【図３】[0013]  本開示の技法を利用することができる、例示的なビデオコーディングシステムを示すブロック図。
【図４】[0014]  ピクセルサンプルの８×８のブロックをコーディングする際に使用するための１つのウェッジレット区分パターン（wedgelet partition pattern）の例を示す図。
【図５】[0015]  ピクセルサンプルの８×８のブロックをコーディングする際に使用するための１つの輪郭区分パターンの例を示す図。
【図６】[0016]  本開示の技法を実装することができる、例示的なビデオエンコーダを示すブロック図。
【図７】[0017]  本開示の技法を実装することができる、例示的なビデオデコーダを示すブロック図。
【図８】[0018]  ６４×６４のイントラ予測ブロックを４つのより小さい３２×３２のイントラ予測ブロックとして処理することを示す図。
【図９】[0019]  本開示の例による、６４×６４のイントラ深度ブロック（intra depth block）を符号化するための方法を示す流れ図。
【図１０】[0020]  本開示の例による、６４×６４のイントラ深度ブロックを復号するための方法を示す流れ図。
【発明を実施するための形態】
【００１２】
[0021]  本開示は、３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理における、６４×６４のブロックなどの大型イントラ予測ブロックのためのセグメントごとのＤＣコーディング（ＳＤＣ：segment-wise DC coding）を簡易化するための技法を説明する。ＨＥＶＣのメインプロファイルでは、最大イントラ予測サイズは３２×３２である。しかしながら、３Ｄ−ＨＥＶＣのイントラＳＤＣモードでは、平面モードの最大イントラ予測サイズは６４×６４である。加えて、ＪＣＴ３Ｖ−Ｆ０１２６、Ｌｉｕ他、「ＣＥ５  ｒｅｌａｔｅｄ：  Ｇｅｎｅｒｉｃ  ＳＤＣ  ｆｏｒ  ａｌｌ  Ｉｎｔｒａ  ｍｏｄｅｓ  ｉｎ  ３Ｄ−ＨＥＶＣ」、Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  ３Ｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｔｅｎｓｉｏｎｓ  ｏｆ  ＩＴＵ−Ｔ  ＳＧ  １６  ＷＰ  ３  ａｎｄ  ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１、第６回会合：ジュネーブ、スイス、２０１３年１０月２５日〜１１月１日において、深度コーディングでは、追加の深度イントラ予測モードおよび元のＨＥＶＣイントラ予測モードに対してＳＤＣが適用され得ることが提案された。
【００１３】
[0022]  本開示では、３２×３２、６４×６４、または他のＮ×Ｎの表現は、ピクセル、参照サンプルまたは予測サンプルの文脈において使用されるとき、ビデオデータのブロックと関連付けられるピクセル、参照サンプルまたは予測サンプルの数を指し得る。ピクセル、参照サンプルまたは予測サンプルは、ビデオデータのルーマ成分、クロマ成分または深度成分と関連付けられ得る。一般に、Ｎ×Ｎのピクセルまたはサンプルは、１つのブロックにおける合計Ｎ2個のピクセルまたはサンプルをもたらし、このブロックは、１つの寸法、たとえば、水平方向の寸法におけるＮ個のピクセルまたはサンプルと、別の寸法、たとえば、垂直方向の寸法におけるＮ個のピクセルまたはサンプルとを含む。
【００１４】
[0023]  ＪＣＴ３Ｖ−Ｆ０１２６における提案では、すべてのＨＥＶＣイントラ予測モードの最大イントラ予測サイズは６４×６４である。したがって、ＨＥＶＣと比較すると、３Ｄ−ＨＥＶＣとＪＣＴ３Ｖ−Ｆ０１２６における提案の両方は、イントラ予測（intra prediction）のために使用される最大バッファサイズを増大させる。いくつかの例では、本開示は、３Ｄ−ＨＥＶＣにおける６４×６４のＳＤＣコーディングの簡易化のための技法を説明する。３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理における、６４×６４のブロックなどの大型イントラ予測ブロックのＳＤＣコーディングを簡易化するために、本開示は、イントラＳＤＣにおいて、大型イントラ予測ブロック、たとえば、６４×６４のイントラ予測ブロックを、４つのより小さいイントラ予測ブロック、たとえば、４つの３２×３２のイントラ予測ブロックとして処理することを含み得る技法を説明する。このようにして、イントラＳＤＣにおいて、ＨＥＶＣイントラ予測モードによる６４×６４のイントラ予測ブロックが、４つの３２×３２のイントラ予測サブブロックとして処理される。イントラＳＤＣにおいて大型イントラ予測ブロックを複数のより小さいイントラ予測ブロックとして処理することで、イントラＳＤＣ処理における最大バッファサイズ要件を低減することができる。
【００１５】
[0024]  ＳＤＣでは、ビデオエンコーダは、深度コーディングユニット（ＣＵ：coding unit）のコーディングされた予測ユニット（ＰＵ：prediction unit）またはＰＵ区分のピクセルと、予測されるＰＵまたはＰＵ区分の予測されるサンプルとの間の差分を表すためのデルタＤＣ残差値を生成する。ＰＵは、深度マップモデリング（ＤＭＭ：depth map modeling）モードなどの区分モードに従って画定された単一の区分または２つ以上の区分を有することができる。ＳＤＣでは、デルタＤＣ値は、ＰＵまたは区分のピクセルの平均値と、予測されるＰＵまたは区分の予測サンプルの平均値との間の差分を表す単一の値である。ＰＵまたはＰＵ区分を構築するために、単一のデルタＤＣ値が、予測されるＰＵまたはＰＵ区分の予測サンプルの各々の値と加算される。
【００１６】
[0025]  このセクションでは、本開示に関係するビデオコーディング規格およびＨＥＶＣ技法が検討される。ビデオコーディング規格の例としては、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、および、スケーラブルビデオコーディング（ＳＶＣ：Scalable Video Coding）拡張とマルチビュービデオコーディング（ＭＶＣ：Multiview Video Coding）拡張とを含む（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４がある。ＭＶＣの最新のジョイントドラフトは、「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。
【００１７】
[0026]  加えて、Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｏｎ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）ｏｆ  ＩＴＵ−Ｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）ａｎｄ  ＩＳＯ／ＩＥＣ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）によって開発されている、新たな今後来るビデオコーディング規格、すなわち、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）がある。ＨＥＶＣ規格の最近のドラフト、ＪＣＴＶＣ−Ｌ１００３、Ｂｅｎｊａｍｉｎ  Ｂｒｏｓｓ、Ｗｏｏ−Ｊｉｎ  Ｈａｎ、Ｊｅｎｓ−Ｒａｎｉｅｒ  Ｏｈｍ、Ｇａｒｙ  Ｓｕｌｌｉｖａｎ、Ｙｅ−Ｋｕｉ  Ｗａｎｇ、Ｔｈｏｍａｓ  Ｗｉｅｇａｎｄ、「Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  １０（ｆｏｒ  ＦＤＩＳ＆Ｌａｓｔ  Ｃａｌｌ）」、Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）ｏｆ  ＩＴＵ−Ｔ  ＳＧ  １６  ＷＰ  ３  ａｎｄ  ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１、第１２回会合：ジュネーブ、スイス、２０１３年１月１４〜２３日（「ＨＥＶＣ  ＷＤ１０」）が、参照によって全体が本明細書に組み込まれ、以下のリンクから入手可能である。
【００１８】
http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip
[0027]  図１は、ＨＥＶＣにおいて使用されるイントラ予測モードを示す図である。図１は一般に、ＨＥＶＣにおけるイントラコーディングに利用可能な様々な方向性イントラ予測モードと関連付けられる予測方向を示す。現在のＨＥＶＣでは、たとえば、ＨＥＶＣ  ＷＤ１０において説明されているように、各予測ユニット（ＰＵ）のルーマ成分のために、図１に示されるように、（２から３４までインデックス付けされた）３３個の方向性（角度）予測モードと、（１とインデックス付けされた）ＤＣモードと、（０とインデックス付けされた）平面モードとを有するイントラ予測方法が利用される。
【００１９】
[0028]  平面モード（０とインデックス付けされた）では、ビデオデータのブロック、たとえばＰＵ内のピクセルの各々に対する予測子の値を決定するために、いわゆる「平面」機能を使用して予測が実行される。ＤＣモード（１とインデックス付けされる）によれば、ブロック内のピクセルの各々に対する予測子の値を決定するために、ブロック内のピクセル値の平均を使用して予測が実行される。方向性予測モードによれば、（そのモードによって示される）特定の方向に沿った隣接ブロックの再構築されたピクセルに基づいて予測が実行される。一般に、図１に示されている矢印の尾部は、値がそこから取り出される隣接ピクセルのうちの相対的な１つを表し、矢印の頭部は、予測ブロックを形成するために取り出された値が伝播される方向を表す。
【００２０】
[0029]  ＨＥＶＣイントラ予測モードでは、ビデオエンコーダおよび／またはビデオデコーダは、たとえば、モード２から３４に対するＰＵの隣接サンプルを使用することによって、上で論じられた様々なモードを使用してＰＵ中の各ピクセルのためのピクセル固有の予測子の値を生成する。ビデオエンコーダは、ブロックのピクセルのための実際の深度の値と予測子の値との間の差分に基づいてビデオブロックのための残差値を決定し、残差値をビデオデコーダに提供する。ＨＥＶＣ  ＷＤ１０によれば、ビデオエンコーダは、残差値を変換し、変換係数を量子化し、量子化された変換係数をエントロピー符号化することもできる。ビデオデコーダは（たとえば、エントロピー復号、逆量子化、および逆変換の後で）、残差値を予測子の値に加算することによって、ブロックのピクセルの再構築された値を決定する。ＨＥＶＣイントラ予測モードに関するさらなる詳細が、ＨＥＶＣ  ＷＤ１０において規定されている。ＳＤＣでは、予測されるＰＵまたは区分ごとに単一のデルタＤＣ残差値がコーディングされる。加えて、デルタＤＣ残差値は、変換または量子化されない。
【００２１】
[0030]  図２は、ＨＥＶＣにおけるイントラ予測モードにおいて使用される隣接サンプルを示す図である。図２に示されるように、現在の予測ブロックのピクセルのための様々な方向性イントラ予測モードは、空間的に隣接するサンプルまたはそのような隣接サンプルの組合せに依拠し得る。特に、イントラ予測処理において、図２に示されるように、左下隣接サンプル、左隣接サンプル、左上隣接サンプル、上隣接サンプルおよび再構築された右上隣接サンプルが、利用可能な場合に使用される。隣接サンプルは、たとえば、同じピクチャまたはビュー内の、イントラコーディングされるべき現在のブロックに空間的に隣接する隣接ブロックから取得され得る。
【００２２】
[0031]  ＪＣＴ−３Ｖでは、マルチビュー拡張（ＭＶ−ＨＥＶＣ）および３Ｄビデオ拡張（３Ｄ−ＨＥＶＣ）という２つのＨＥＶＣ拡張が開発されている。参照ソフトウェアの最近のバージョン、３Ｄ−ＨＥＶＣのための「３Ｄ−ＨＴＭ  ｖｅｒｓｉｏｎ  ９．０」の全体が参照によって本明細書に組み込まれ、以下のリンクからダウンロード可能である。
【００２３】
［３Ｄ−ＨＴＭ  ｖｅｒｓｉｏｎ  ９．０]：
https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-9.0/
[0032]  ３Ｄ−ＨＥＶＣの最近のドラフトは、ＪＣＴＶＣ−Ｆ１００１−ｖ２、Ｇｅｒｈａｒｄ  Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ  Ｗｅｇｎｅｒ、Ｙｉｎｇ  Ｃｈｅｎ、およびＳｅｈｏｏｎ  Ｙｅａ、「３Ｄ−ＨＥＶＣ  Ｄｒａｆｔ  Ｔｅｘｔ  ２」、Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  ３Ｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｔｅｎｓｉｏｎ  Ｄｅｖｅｌｏｐｍｅｎｔ  ｏｆ  ＩＴＵ−Ｔ  ＳＧ  １６  ＷＰ  ３  ａｎｄ  ＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１、第６回会合：ジュネーブ、スイス、２０１３年１０月２５日〜１１月１日（以下では「Ｆ１００１」または「３Ｄ−ＨＥＶＣ  ＷＤ」と呼ばれる）において提示され、参照によって全体が本明細書に組み込まれ、以下のリンクから入手可能である。
【００２４】
http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2.zip
[0033]  ３Ｄ−ＨＥＶＣでは、上で参照された３Ｄ−ＨＥＶＣ  ＷＤにおいて定義されるように、各アクセスユニットは複数のピクチャを含み、各ビュー中のピクチャの各々は、固有のビュー識別情報（ｉｄ）またはビュー順序インデックスを有する。しかしながら、同じビューの深度ピクチャおよびテクスチャピクチャは、異なるレイヤｉｄを有することがある。
【００２５】
[0034]  ３Ｄビデオコーディングにおける深度コーディングがここで説明される。３Ｄビデオデータは、キャプチャされたビュー（テクスチャ）が対応する深度マップと関連付けられる、マルチビュービデオプラス深度フォーマットを使用して表される。３Ｄビデオコーディングでは、テクスチャおよび深度マップはコーディングされ、３Ｄビデオビットストリーム中に多重化される。深度マップはグレースケールビデオとしてコーディングされ、ここで、ルーマサンプルは深度値を表し、従来のイントラコーディングおよびインターコーディング方法が深度マップコーディングのために適用され得る。
【００２６】
[0035]  深度マップは、鋭いエッジおよび一定のエリアによって特徴付けられ得る。深度マップのサンプルの異なる統計値により、様々なコーディング方式が、２Ｄビデオコーデックに基づく深度マップのために設計されている。マルチビュープラス深度コーディング処理では、ビューはテクスチャ成分と深度成分とを含み得る。深度成分における深度コーディングユニット（ＣＵ）がインターコーティングまたはイントラコーディングされ得る。深度ＣＵは、１つまたは複数のＰＵに分割され得、ＰＵは、１つまたは複数の区分に分割され得る。
【００２７】
[0036]  区分は、イントラ予測またはインター予測され得、いくつかの例では、セグメントごとのＤＣ残差コーディング（ＳＤＣ）を使用して深度残差がコーディングされ得る。ＳＤＣでは、コーディングされたＰＵ区分とイントラコーディングまたはインターコーディングされたＰＵ区分との間の差分を表すデルタＤＣ残差値がコーディングされ得る。特に、デルタＤＣ値は、ＰＵ全体またはＰＵ区分全体に対する単一の値であり得る。単一の値は、コーディングされたＰＵ区分のピクセル値の平均と、インター予測またはイントラ予測されたＰＵまたは区分の予測サンプルの平均との間の差分を表し得る。
【００２８】
[0037]  図３は、３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理における、６４×６４のブロックのような大型イントラ予測ブロックのためのセグメントごとのＤＣコーディング（ＳＤＣ）を簡易化するための技法など、本開示の様々な技法を利用するように構成され得る、例示的なビデオ符号化および復号システム１０を示すブロック図である。いくつかの例では、システム１０のビデオエンコーダ２０および／またはビデオデコーダ３０は、イントラＳＤＣにおいて、大型６４×６４のイントラ予測ブロック、たとえば６４×６４のイントラ予測ブロックを４つのより小さいイントラ予測ブロック、たとえば４つの３２×３２のイントラ予測ブロックとして処理するように構成され得る。このようにして、イントラＳＤＣにおいて、ＨＥＶＣイントラ予測モードの６４×６４のイントラ予測が、４つの３２×３２のイントラ予測として処理される。場合によっては、イントラＳＤＣにおいて大型イントラ予測ブロックを複数のより小さいイントラ予測ブロックとして処理することで、エンコーダ２０および／またはデコーダ３０のためのイントラＳＤＣ処理における最大バッファサイズ要件を低減することができる。
【００２９】
[0038]  図３に示されるように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化されたビデオデータを提供するソースデバイス１２を含む。具体的には、ソースデバイス１２は、コンピュータ可読媒体１６を介して宛先デバイス１４にビデオデータを提供する。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４はワイヤレス通信に対応し得る。
【００３０】
[0039]  宛先デバイス１４は、コンピュータ可読媒体１６を介して、復号されるべき符号化されたビデオデータを受信することができる。コンピュータ可読媒体１６は、符号化されたビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、符号化されたビデオデータをソースデバイス１２がリアルタイムで宛先デバイス１４に直接に送信することを可能にするための、送信チャネルのような通信媒体を備え得る。
【００３１】
[0040]  符号化されたビデオデータは、ワイヤレス通信プロトコルのような通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路のような、任意のワイヤレスまたは有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークのような、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【００３２】
[0041]  いくつかの例では、符号化されたデータは、出力インターフェース２２から、非一時的コンピュータ可読記憶媒体（non-transitory computer-readable storage medium）のようなコンピュータ可読記憶媒体、すなわちデータ記憶デバイスへ出力され得る。同様に、符号化されたデータは、記憶デバイスから入力インターフェースによってアクセスされ得る。記憶デバイスは、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散されたまたはローカルにアクセスされる非一時的データ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイス１２によって生成された符号化されたビデオを記憶することができるファイルサーバまたは別の中間記憶デバイスに対応し得る。
【００３３】
[0042]  宛先デバイス１４は、ストリーミングまたはダウンロードを介して、記憶デバイスから記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶することができ、ビデオデータを宛先デバイス１４に送信することができる、任意のタイプのサーバであり得る。例示的なファイルサーバには、ウェブサーバ（たとえば、ウェブサイト用の）、ＦＴＰサーバ、ネットワークアタッチドストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスすることができる。これは、ファイルサーバ上に記憶されている符号化されたビデオデータにアクセスするのに適した、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【００３４】
[0043]  本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例のような、種々の有線またはワイヤレスのマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および／またはビデオ電話などの適用例をサポートするために一方向または双方向のビデオ送信をサポートするように構成され得る。
【００３５】
[0044]  図３の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理における深度コーディングのために、簡易デルタＤＣコーディングのための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他のコンポーネントまたは配置を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部のビデオソース１８からビデオデータを受信することができる。同様に、宛先デバイス１４は、統合されたディスプレイデバイスを含むのではなく、外部のディスプレイデバイスとインターフェースしてもよい。
【００３６】
[0045]  図３の例示されたシステム１０は、一例にすぎない。本開示で説明される技法は、デジタルビデオ符号化および／または復号デバイスによって実行され得る。一般に、本開示の技法は、ビデオエンコーダ２０／ビデオデコーダ３０によって実行されるが、技法は、通常「コーデック」と呼ばれるビデオエンコーダ／デコーダによって実行されてもよい。その上、本開示の技法は、ビデオプリプロセッサによって実行されてもよい。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が、コーディングされたビデオデータを宛先デバイス１４への送信のために生成するようなコーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントとを含むように実質的に対称的な方式で動作することができる。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のために、ビデオデバイス１２と１４の間の一方向または双方向のビデオ送信をサポートすることができる。
【００３７】
[0046]  ソースデバイス１２のビデオソース１８は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースのような、ビデオキャプチャデバイスを含み得る。さらなる代替形態として、ビデオソース１８は、ソースビデオとしてコンピュータグラフィックスベースのデータを生成し、または、ライブビデオと、アーカイブされたビデオと、コンピュータで生成されたビデオとの組合せを生成することができる。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるスマートフォン、タブレットコンピュータ、またはビデオ電話を形成し得る。しかしながら、上で言及されたように、本開示で説明される技法は、ビデオコーディング全般に適用可能であってよく、ワイヤレスの適用例および／または有線の適用例に適用され得る。各々の場合において、キャプチャされたビデオ、事前にキャプチャされたビデオ、またはコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。
【００３８】
[0047]  コンピュータ可読媒体１６は、ワイヤレスブロードキャストもしくは有線ネットワーク送信のような一時的媒体、またはデータ記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示されず）は、ソースデバイス１２から符号化されたビデオデータを受信し、たとえば、ネットワーク送信を介して、その符号化されたビデオデータを宛先デバイス１４に提供することができる。同様に、ディスクスタンピング設備のような、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含むディスクを生成することができる。したがって、様々な例では、コンピュータ可読媒体１６は、様々な形態の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。
【００３９】
[0048]  本開示は全般に、ビデオエンコーダ２０が、ある情報をビデオデコーダ３０のような別のデバイスに「シグナリング」することに言及することがある。しかしながら、ビデオエンコーダ２０は、いくつかのシンタックス要素をビデオデータの様々な符号化された部分と関連付けることによって情報をシグナリングできることを理解されたい。すなわち、ビデオエンコーダ２０は、ビデオデータの様々な符号化される部分のヘッダまたはペイロードにいくつかのシンタックス要素を格納することによって、データを「シグナリング」することができる。場合によっては、そのようなシンタックス要素は、ビデオデコーダ３０によって受信されおよび復号されるより前に、符号化されおよび記憶され（たとえば、コンピュータ可読媒体１６に記憶され）得る。したがって、「シグナリング」という用語は全般に、そのような通信がリアルタイムで発生するか、ほぼリアルタイムで発生するか、またはある期間にわたって発生するかにかかわらず、圧縮されたビデオデータを復号するためのシンタックスまたは他のデータの通信を指すことがあり、ある期間にわたる通信は、シンタックス要素を符号化の時点で媒体に記憶し、次いで、シンタックス要素がこの媒体に記憶された後の任意の時点で復号デバイスによって取り出され得るときに発生し得る。
【００４０】
[0049]  宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ブロックおよび他のコーディングされたユニット、たとえば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、ビデオエンコーダ２０によって定義されビデオデコーダ３０によっても使用される、シンタックス情報（syntax information）を含み得る。ディスプレイデバイス３２は、ユーザに復号されたビデオデータを表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プロジェクションデバイス、または別のタイプのディスプレイデバイスのような、種々のディスプレイデバイスのいずれかを備え得る。
【００４１】
[0050]  図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は各々、オーディオエンコーダおよびデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能なとき、ＭＵＸ−ＤＥＭＵＸユニットは、一例としてＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに準拠し得る。
【００４２】
[0051]  ビデオエンコーダ２０およびビデオデコーダ３０は各々、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せのような、種々の好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダに含まれてよく、そのいずれもが複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合されてよい。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／または携帯電話のようなワイヤレス通信デバイスを備え得る。
【００４３】
[0052]  ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＥＶＣ規格のようなビデオコーディング規格、およびより具体的には、本開示で参照されるような、たとえば文書Ｆ１００１または３Ｄ−ＨＥＶＣ  ＷＤによる、ＨＥＶＣ規格の３Ｄ−ＨＥＶＣ拡張に従って動作することができる。ＨＥＶＣは、たとえば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣのような他の処理に従ってコーディングを実行するように構成されるデバイスと比較して、ビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９個のイントラ予測符号化モードを提供するが、ＨＭは３５個ものイントラ予測符号化モードを提供することができる。
【００４４】
[0053]  ＨＥＶＣのいくつかの基本的態様がここで論じられる。一般に、ＨＥＶＣは、ビデオピクチャ（または「フレーム」）が、コーディングツリーユニット（ＣＴＵ：coding tree unit）と呼ばれる一連の最大コーディングユニット（largest coding unit）に分割され得ることを規定する。ＣＴＵは、対応するルーマ成分およびクロマ成分を含み、これらはコーディングされたツリーブロック（ＣＴＢ：coded tree block）、たとえば、それぞれ、ルーマＣＴＢおよびクロマＣＴＢと呼ばれ、ルーマサンプルおよびクロマサンプルを含む。ビットストリーム内のシンタックスデータは、ＣＴＵのサイズを定義することができ、このＬＣＵは、ピクセルの個数に関して最大のコーディングユニットである。スライスは、コーディングの順序で、いくつかの連続するＣＴＢを含む。ピクチャは、１つまたは複数のスライスに区分され得る。各ＣＴＢは、４分木区分構造に従ってコーディングユニット（ＣＵ）に分割され得る。一般に、４分木データ構造は、１ＣＵあたり１つのノードを含み、ルートノードがＣＴＢに対応する。ＣＵが４つのサブＣＵに分割される場合、ＣＵに対応するノードは４つのリーフノードを含み、その各々はサブＣＵの１つに対応する。
【００４５】
[0054]  ４分木データ構造（quadtree data structure）の各ノードは、対応するＣＵのためのシンタックスデータを与え得る。たとえば、４分木中のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義されてよく、ＣＵがサブＣＵに分割されるかどうかに依存してよい。ＣＵがさらに分割されない場合、そのＣＵはリーフ（leaf）ＣＵと呼ばれる。元のリーフＣＵの明示的な分割がない場合でも、リーフＣＵの４つのサブＣＵはリーフＣＵと呼ばれることもある。たとえば、１６×１６サイズのＣＵがさらに分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵはリーフＣＵとも呼ばれる。
【００４６】
[0055]  ＨＥＶＣのＣＵは、ＣＵがサイズの差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。たとえば、ＣＴＢは、（サブＣＵとも呼ばれる）４つの子ノードに分割されてよく、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割されてよい。４分木のリーフノードと呼ばれる、最後の分割されない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コーディングされたビットストリームと関連付けられるシンタックスデータは、最大ＣＵ深度（maximum CU depth）と呼ばれる、ＣＴＢが分割され得る最大の回数を定義することができ、コーディングノードの最小サイズを定義することもできる。それに応じて、いくつかの例では、ビットストリームは最小コーディングユニットを定義することもできる。
【００４７】
[0056]  ＣＵは、コーディングノードと、コーディングノードと関連付けられた予測ユニット（ＰＵ）および変換ユニット（ＴＵ：transform unit）とを含む。本開示は、ＨＥＶＣの文脈においてＣＵ、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）、もしくはそれらの区分のいずれか、または他の規格の文脈において類似のデータ構造を指すために、「ブロック（block）」という用語を使用し得る。ＣＵのサイズは、コーディングノードのサイズに対応する。ＣＵのサイズは、８×８ピクセルから最大で６４×６４ピクセル以上のＣＴＢのサイズにまでわたり得る。各ＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを包含し得る。ＣＵと関連付けられるシンタックスデータは、たとえば、ＣＵの１つまたは複数のＰＵへの区分を記述することができる。区分モードは、ＣＵがスキップモード符号化もしくは直接モード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかで異なり得る。本開示で説明される深度コーディングの場合、ＰＵは、形状が非正方形となるように区分されてよく、または、形状が非方形である区分を含んでよい。ＣＵと関連付けられるシンタックスデータは、たとえば、４分木に従う１つまたは複数のＴＵへのＣＵの区分を記述することができる。ＴＵは、形状が正方形または非正方形（たとえば、長方形）であってよい。
【００４８】
[0057]  ＨＥＶＣ規格は、異なるＣＵに対しては異なり得る、ＴＵに従った変換を可能にする。ＴＵは通常、区分されたＣＴＢに対して定義される所与のＣＵ内のＰＵのサイズに基づくサイズにされるが、必ずそうであるとは限らない。ＴＵは通常、ＰＵ以下のサイズである。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木（residual quad tree）」（ＲＱＴ）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは、変換ユニット（ＴＵ）と呼ばれ得る。ＴＵと関連付けられるピクセル差分値は、変換係数を生成するために変換されてよく、変換係数は量子化され得る。しかしながら、ＳＤＣでは、デルタＤＣ残差値は通常、変換または量子化されない。
【００４９】
[0058]  リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。一般に、ＰＵは、対応するＣＵのすべてまたは一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。参照サンプルは、参照ブロックからのピクセルであり得る。いくつかの例では、参照サンプルは、たとえば、補間または他の技法によって、参照ブロックから取得され、または生成され得る。ＰＵはまた、予測に関するデータを含む。たとえば、ＰＵが、イントラモード符号化されるとき、ＰＵのデータは、残差４分木（ＲＱＴ：residual quadtree）に含まれてよく、このＲＱＴは、ＰＵに対応するＴＵのイントラ予測モードを記述するデータを含み得る。
【００５０】
[0059]  別の例として、ＰＵがインターモードで符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの分解能（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０、またはＲｅｆＰｉｃＬｉｓｔ１）を記述することができる。
【００５１】
[0060]  １つまたは複数のＰＵを有するリーフＣＵは、１つまたは複数の変換ユニット（ＴＵ）を含み得る。変換ユニットは、上で論じられたように、ＲＱＴ（ＴＵの４分木構造とも呼ばれる）を使用して規定され得る。たとえば、分割フラグは、リーフＣＵが４つの変換ユニットに分割されるかどうかを示し得る。次いで、各変換ユニットは、さらなるサブＴＵに、さらに分割され得る。ＴＵがこれ以上分割されないとき、そのＴＵはリーフＴＵと呼ばれ得る。一般に、イントラコーディングの場合、リーフＣＵに属するすべてのリーフＴＵは同じイントラ予測モードを共有する。すなわち、同じイントラ予測モードが一般に、リーフＣＵのすべてのＴＵに対する予測値を計算するために適用される。イントラコーディングの場合、ビデオエンコーダ２０は、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの部分と元のブロックとの間の差分として計算することができる。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。したがって、ＴＵは、ＰＵよりも大きくまたは小さくなり得る。イントラコーディングの場合、ＰＵは、同じＣＵの対応するリーフＴＵと併置され得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。
【００５２】
[0061]  その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造と関連付けられ得る。すなわち、リーフＣＵは、そのリーフＣＵがＴＵにどのように区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは一般に、リーフＣＵに対応し、ＣＵ４分木のルートノードは一般に、ＣＴＢに対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。一般に、本開示では、別段に明記されていない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。
【００５３】
[0062]  ビデオシーケンスは通常、一連のピクチャを含む。本明細書で説明されるように、「ピクチャ」と「フレーム」は交換可能に使用され得る。すなわち、ビデオデータを含んでいるピクチャは、ビデオフレームまたは単に「フレーム」と呼ばれ得る。ピクチャグループ（ＧＯＰ：group of pictures）は一般に、一連の１つまたは複数のビデオピクチャを備える。ＧＯＰは、ＧＯＰのヘッダ中、ピクチャの１つまたは複数のヘッダ中、または他のところに、そのＧＯＰに含まれるピクチャの数を記述するシンタックスデータを含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し、指定されるコーディング規格に応じてサイズが異なり得る。
【００５４】
[0063]  ある例として、ＨＥＶＣは、様々なＰＵサイズにおける予測をサポートする。特定のＣＵのサイズが２Ｎｘ２Ｎであると仮定すると、ＨＥＶＣは、２Ｎｘ２ＮまたはＮｘＮのＰＵサイズにおけるイントラ予測と、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、またはＮｘＮという対称なＰＵサイズにおけるインター予測とをサポートする。２Ｎｘ２Ｎのサイズを有するＰＵは、それが存在するＣＵと同じサイズであるので、分割されないＣＵを表す。言い換えると、２Ｎｘ２ＮのＰＵは、そのＣＵと同じサイズである。ＨＥＶＣは、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方の方向は区分されず、他方の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という指示によって示される。したがって、たとえば、「２ＮｘｎＵ」は、上部の２Ｎｘ０．５Ｎ  ＰＵ、および下部の２Ｎｘ１．５Ｎ  ＰＵへと水平に区分される２Ｎｘ２Ｎ  ＣＵを指す。深度コーディングの場合、３Ｄ−ＨＥＶＣ  ＷＤはさらに、説明されるように、非方形区分を含む、深度モデリングモード（ＤＭＭ：depth modeling mode）に従ったＰＵの区分をサポートする。
【００５５】
[0064]  本開示では、「ＮｘＮ」および「Ｎ×Ｎ（Ｎ  ｂｙ  Ｎ）」は、垂直方向の寸法および水平方向の寸法に関するビデオブロックのピクセル寸法、たとえば、１６ｘ１６ピクセルまたは１６×１６（１６  ｂｙ  １６）ピクセルを指すために互換的に使用され得る。一般に、１６ｘ１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、ＮｘＮブロックは、一般に、垂直方向にＮピクセル、水平方向にＮピクセルを有し、Ｎは、非負の整数値を表す。ブロック内のピクセルは、行と列とに配置され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有するとは限らない。たとえば、ブロックはＮｘＭピクセルを備えることがあり、ここで、Ｍは必ずしもＮに等しいとは限らない。
【００５６】
[0065]  ＣＵのＰＵを使用した通常のイントラ予測コーディングまたはインター予測コーディングに続いて、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算することができる。ＰＵは、空間領域（ピクセル領域とも呼ばれる）において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備えてよく、通常の残差コーディングのためのＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後の、変換領域における係数を備えてよい。残差データは、符号化されていないピクチャのピクセルとＰＵに対応する予測値との間のピクセル差に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するために、ＴＵを変換することができる。
【００５７】
[0066]  変換係数を生成するための任意の変換の後で、ビデオエンコーダ２０は、変換係数の量子化を実行することができる。量子化は一般に、係数を表すために使用されるデータの量をできるだけ低減するために、変換係数が量子化され、さらなる圧縮を実現する処理を指す。量子化プロセスは、係数の一部またはすべてと関連付けられたビット深度を低減し得る。たとえば、ｎビット値が、量子化中にｍビット値へと切り捨てられてよく、ｎはｍより大きい。深度コーディングの場合、３Ｄ−ＨＥＶＣ  ＷＤはさらに、残差データのＳＤＣをサポートし、デルタＤＣ値は、ＰＵ区分に対する残差値を表す。通常のＨＥＶＣ残差値とは異なり、デルタＤＣ残差値は一般に、変換または量子化されない。
【００５８】
[0067]  量子化の後に、ビデオエンコーダ２０は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成することができる。走査は、アレイの前部により高いエネルギー（したがって、より低い周波数）係数を配置し、アレイの後部により低いエネルギー（したがって、より高い周波数）係数を配置するように設計され得る。
【００５９】
[0068]  いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化されたベクトルを生成するために、量子化された変換係数を走査するために所定の走査順序を利用することができる。他の例では、ビデオエンコーダ２０は、適応走査を実行することができる。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、ＨＥＶＣにおいて使用されるように、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）に従って、１次元ベクトルをエントロピー符号化することができる。他のエントロピーコーディング処理の例としては、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、および確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディングがある。やはり、ＨＥＶＣでは、ＣＡＢＡＣが使用される。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための、符号化されたビデオデータと関連付けられるシンタックス要素をエントロピー符号化することができる。
【００６０】
[0069]  ビデオエンコーダ２０はさらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータのようなシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送ることができる。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のピクチャの数を記述することができ、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示すことができる。
【００６１】
[0070]  ビデオエンコーダ２０および／またはビデオデコーダ３０は、深度データのイントラピクチャ予測コーディングと深度データのインター予測コーディングとを実行することができる。加えて、本開示の例によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、説明されるように、たとえば種々の例のいずれかに従って、ビデオデータの深度イントラ予測コーディングおよび／またはビデオデータの深度インター予測コーディングに起因するＤＣ残差データをコーディングするために、ＳＤＣを使用することができる。
【００６２】
[0071]  ＨＥＶＣでは、コーディングユニット（ＣＵ）のサイズが２Ｎｘ２Ｎであると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、イントラ予測に対して２Ｎｘ２ＮまたはＮｘＮという様々な予測ユニット（ＰＵ）サイズをサポートすることができ、インター予測に対して２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮ、または同様の対称のＰＵサイズをサポートすることができる。ビデオエンコーダおよびビデオデコーダはまた、インター予測のための２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２ＮのＰＵサイズに対して非対称な区分をサポートすることができる。３Ｄ−ＨＥＶＣにおいて提供されるような深度コーディングでは、ビデオエンコーダおよびビデオデコーダは、本開示で説明されるように、様々な深度モデリングモード（ＤＭＭ）を含む、イントラ予測および／またはインター予測のための種々の異なる深度コーディングモードをサポートするように構成され得る。
【００６３】
[0072]  ３Ｄビデオコーディング技法を使用してコーディングされたビデオデータは、３次元効果を生成するためにレンダリングされ、表示され得る。一例として、異なるビューの２つの画像（すなわち、わずかに異なる水平位置を有する２つのカメラの視点に対応する）は、一方の画像が閲覧者の左眼によって見られ、他方の画像が閲覧者の右眼によって見られるように、実質的に同時に表示され得る。
【００６４】
[0073]  ３Ｄ効果は、たとえば、立体視ディスプレイまたは自動立体視ディスプレイを使用して達成され得る。立体視ディスプレイは、２つの画像を相応にフィルタリングするアイウェアとともに使用され得る。たとえば、パッシブ眼鏡は、適切な眼が適切な画像を見ることを保証するために、偏光レンズ、または異なるカラーレンズ、または他の光学的フィルタリング技法を使用して、画像をフィルタリングすることができる。アクティブ眼鏡は、別の例として、立体視ディスプレイと協調して交互にレンズを高速に閉じることができ、それにより、左眼画像を表示することと右眼画像を表示することとを交互に行い得る。自動立体視ディスプレイは、眼鏡が必要とされないような方法で２つの画像を表示する。たとえば、自動立体視ディスプレイは、各画像が閲覧者の適切な眼に投影されるように構成された鏡またはプリズムを含み得る。
【００６５】
[0074]  本開示の技法は、３Ｄビデオをサポートするために深度データをコーディングすることによって、３Ｄビデオデータをコーディングするための技法に関する。一般に、「テクスチャ」という用語は、画像のルミナンス（すなわち、輝度または「ルーマ（luma）」）値と画像のクロミナンス（すなわち、色または「クロマ（chroma）」）値とを表すために使用される。いくつかの例では、テクスチャ画像は、１セットのルミナンスデータ（Ｙ）と、青色相（Ｃｂ）および赤色相（Ｃｒ）のための２セットのクロミナンスデータとを含み得る。４：２：２または４：２：０などの特定のクロマフォーマットでは、クロマデータは、ルーマデータに関してダウンサンプリングされる。すなわち、クロミナンスピクセルの空間解像度は、対応するルミナンスピクセルの空間解像度よりも低く、たとえば、ルミナンス解像度の１／２または１／４であり得る。
【００６６】
[0075]  深度データは一般に、対応するテクスチャデータの深度値を表す。たとえば、深度画像は、たとえばビューのテクスチャ成分中の対応するテクスチャデータに対する、たとえばビューの深度成分中の深度を各々表す、深度ピクセルのセット（または深度値）を含み得る。各ピクセルは、１つまたは複数のテクスチャ値（たとえば、ルミナンスおよびクロミナンス）を有してよく、１つまたは複数の深度値も有してよい。テクスチャピクチャおよび深度マップは、同じ空間解像度を有することがあるが、そうである必要はない。たとえば、深度マップは、対応するテクスチャピクチャよりも多数または少数のピクセルを含み得る。深度データは、対応するテクスチャデータの水平視差を決定するために使用されてよく、およびいくつかの場合には、垂直視差も使用されてよい。
【００６７】
[0076]  したがって、テクスチャデータと深度データとを受信するデバイスは、一方のビュー（たとえば、左眼ビュー）のための第１のテクスチャ画像を表示し、深度値に基づいて決定された水平視差値だけ第１の画像のピクセル値をオフセットすることによって、他方のビュー（たとえば、右眼ビュー）のための第２のテクスチャ画像を生成するように第１のテクスチャ画像を修正するために深度データを使用することができる。一般に、水平視差（または単に「視差（disparity）」）は、右ビュー中の対応するピクセルに対する第１のビュー中のピクセルの水平空間オフセットを表し、２つのピクセルは、２つのビュー中で表される同じオブジェクトの同じ部分に対応する。
【００６８】
[0077]  さらに他の例では、画像について定義されたゼロ視差平面に対して所与のピクセルと関連付けられる深度が定義されるように、画像平面に直交するｚ次元におけるピクセルに対して深度データが定義され得る。そのような深度は、ピクセルを表示するための水平視差を作成するために使用されてよく、その結果、ピクセルは、ゼロ視差平面に対するピクセルのｚ次元深度値に応じて、左眼と右眼とで異なるように表示される。ゼロ視差平面は、ビデオシーケンスの異なる部分に対して変化してよく、ゼロ視差平面に対する深度の量も変化してよい。
【００６９】
[0078]  ゼロ視差平面上に位置するピクセルは、左眼と右眼とに対して同様に定義され得る。ゼロ視差平面の前に位置するピクセルは、ピクセルが画像平面に直交するｚ方向の画像から出てくるように見える知覚を生み出すために、（たとえば、水平視差とともに）左眼と右眼とに対して異なる位置に表示され得る。ゼロ視差平面の後ろに位置するピクセルは、深度のわずかな知覚まで、わずかなぼかしとともに表示されてよく、または（たとえば、ゼロ視差平面の前に位置するピクセルの水平視差とは反対の水平視差とともに）左眼と右眼とに対して異なる位置に表示され得る。他の多くの技法も、画像の深度データを伝達または定義するために使用され得る。
【００７０】
[0079]  ２次元ビデオデータは一般に、その各々が特定の時間インスタンスに対応する、個別ピクチャのシーケンスとしてコーディングされる。すなわち、各ピクチャは、シーケンス中の他の画像の再生時間に対して、関連付けられる再生時間を有する。これらのピクチャはテクスチャピクチャまたはテクスチャ画像と考えられ得る。深度ベースの３Ｄビデオコーディングでは、シーケンス中の各テクスチャピクチャは深度マップにも対応し得る。すなわち、テクスチャピクチャに対応する深度マップは、対応するテクスチャピクチャのための深度データを表す。マルチビュービデオデータは、様々な異なるビューのためのデータを含んでよく、各ビューは、テクスチャ成分および対応する深度成分のそれぞれのシーケンスを含み得る。
【００７１】
[0080]  ピクチャは一般に、特定の時間インスタンスに対応する。ビデオデータは、アクセスユニットのシーケンスを使用して表されてよく、各アクセスユニットは、特定の時間インスタンスに対応するすべてのデータを含む。したがって、たとえば、マルチビュービデオデータプラス深度コーディングの場合、共通時間インスタンスに対する各ビューからのテクスチャ画像＋テクスチャ画像の各々に対する深度マップがすべて、特定のアクセスユニット内に含まれ得る。したがって、アクセスユニットは複数のビューを含んでよく、各ビューは、テクスチャ画像に対応するテクスチャ成分のためのデータと、深度マップに対応する深度成分のためのデータとを含み得る。
【００７２】
[0081]  各アクセスユニットは、複数のビュー成分またはピクチャを含み得る。特定のビューのビュー成分は、固有のビューｉｄまたはビュー順序インデックスと関連付けられ、その結果、異なるビューのビュー成分は異なるビューｉｄまたはビュー順序インデックスと関連付けられる。ビュー成分はテクスチャビュー成分ならびに深度ビュー成分を含み得る。同じビューの中のテクスチャビュー成分および深度ビュー成分は、異なるレイヤｉｄを有し得る。テクスチャビュー成分は１つまたは複数のテクスチャスライスとしてコーディングされ得るが、深度ビュー成分は１つまたは複数の深度スライスとしてコーディングされ得る。マルチビュープラス深度は、ピクチャ内予測、ピクチャ間予測、ビュー内予測、ビュー間予測、動き予測などのような、種々のコーディングの可能性を生み出す。
【００７３】
[0082]  このようにして、３Ｄビデオデータは、キャプチャまたは生成されたビューが対応する深度マップと関連付けられるテクスチャ成分を含む、マルチビュービデオプラス深度フォーマットを使用して表され得る。その上、３Ｄビデオコーディングでは、テクスチャと深度マップがコーディングされ、３Ｄビデオビットストリームの中に多重化され得る。深度マップはグレースケール画像としてコーディングされてよく、深度マップの「ルーマ」サンプル（すなわち、ピクセル）は深度値を表す。
【００７４】
[0083]  一般に、深度データのブロック（たとえばピクセルに対応する、深度マップのサンプルのブロック）は深度ブロック（depth block）と呼ばれ得る。深度値（depth value）は、深度サンプルと関連付けられるルーマ値（luma value）と呼ばれ得る。すなわち、深度マップは一般に、モノクロームテクスチャピクチャ、すなわち、ルミナンス値を含みクロミナンス値を含まないテクスチャピクチャとして扱われ得る。いずれの場合も、従来のイントラコーディングおよびインターコーディング方法が深度マップコーディングのために適用され得る。代替または追加として、イントラＳＤＣまたはインターＳＤＣなどの他のコーディング方法が、３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理における深度マップコーディングのために適用され得る。
【００７５】
[0084]  ３Ｄ−ＨＥＶＣでは、イントラ予測モードの、ＨＥＶＣと同じ定義が利用される。すなわち、３Ｄ−ＨＥＶＣにおいて使用されるイントラモードは、ＨＥＶＣのイントラモードを含む。また、３Ｄ−ＨＥＶＣでは、深度モデリングモード（ＤＭＭ）が、深度スライスのイントラ予測ユニットをコーディングするためにＨＥＶＣイントラ予測モードとともに導入される。
【００７６】
[0085]  深度マップにおける鋭いエッジのより良好な表現のために、現在のＨＴＭ（３Ｄ−ＨＴＭバージョン９．０）は、深度マップのイントラコーディングのためにＤＭＭ方法を適用する。深度ブロックは、ＤＭＭパターンによって指定された２つの領域に区分され、各領域は一定の値によって表される。ＤＭＭパターンは、明示的にシグナリングされる（ＤＭＭモード１）か、または併置されるテクスチャブロックによって予測される（ＤＭＭモード４）かのいずれかであり得る。
【００７７】
[0086]  ウェッジレット区分（Wedgelet partitioning）と輪郭区分（Contour partitioning）とを含む、ＤＭＭにおいて定義されている２つのタイプの区分モデルがある。図４は、ピクセルサンプルのブロックをコーディングする際に使用するためのウェッジレット区分パターンの例を示す図である。図５は、ピクセルサンプルのブロックをコーディングする際に使用するための輪郭区分パターンの例を示す図である。ウェッジレット区分では、図４に示されるように、ＰＵなどの深度ブロックが、直線によって２つの領域に区分され、２つの領域は、Ｐ０およびＰ１と標識される。輪郭区分では、図５に示されるように、ＰＵなどの深度ブロックは、２つの不規則な領域に区分され得る。したがって、ＰＵは単一の区分を含むことができ、またはウェッジレット区分もしくは輪郭区分の場合に、２つの区分を含むことができる。
【００７８】
[0087]  輪郭区分は、ウェッジレット区分よりも柔軟であるが、明示的にシグナリングするのが難しい。ＤＭＭモード４では、輪郭区分パターンは、併置されたテクスチャブロックの再構築されたルーマサンプルを使用して暗黙的に導出される。
【００７９】
[0088]  一例として、図４は、８×８のブロック４０に対するウェッジレットパターン（Wedgelet pattern）の例示を与える。ウェッジレット区分では、深度ブロック、たとえばＰＵは、直線４６によって２つの領域４２、４４に区分され、図４に示されるように始点４８は（Ｘｓ，Ｙｓ）に位置し、終点５０は（Ｘｅ，Ｙｅ）に位置し、２つの領域４２、４４はそれぞれＰ０およびＰ１とも標識される。ブロック４０中の各パターンは、対応するサンプルが領域Ｐ０またはＰ１に属するかどうかを標識する、サイズｕＢ×ｖＢの２進数の配列からなり、ｕＢおよびｖＢはそれぞれ、現在のＰＵの水平方向のサイズと垂直方向のサイズを表す。領域Ｐ０およびＰ１は、白と影付きサンプルによってそれぞれ図４において表されている。
【００８０】
[0089]  図５の例に示されるように、深度ブロック６０のような深度ブロックは、輪郭区分を使用して、３つの不規則な形状の領域６２、６４Ａ、および６４Ｂへと区分されてよく、ここで領域６２はＰ０と標識され、２つの領域６４Ａおよび６４ＢはそれぞれＰ１と一緒に標識される。領域６４Ａ中のピクセルは領域６４Ｂ中のピクセルに直接隣接しないが、領域６４Ａおよび６４Ｂは、深度ブロック６０のＰＵを予測する目的で１つの単一の領域を形成するように定義され得る。ＤＭＭモード４では、３Ｄ−ＨＥＶＣの場合、輪郭区分パターンは、併置されたテクスチャブロックの再構築されたルーマサンプルを使用して暗黙的に導出される。
【００８１】
[0090]  図４および図５を参照すると、Ｎ×Ｎ深度ブロック４０および６０内の各々の個々の正方形は、それぞれ、深度ブロック４０および６０のそれぞれの個々のピクセルを表す。図４において、正方形内の数値は、対応するピクセルが領域４２（図４の例における値「０」）に属するか、領域４４（図４の例における値「１」）に属するかを表す。また、図４において、ピクセルが領域４２（白い正方形）に属するか、領域４４（灰色の影付き正方形）に属するかを示すために陰影が使用される。
【００８２】
[0091]  上で論じられたように、各パターン（すなわち、ウェッジレットと輪郭の両方）は、対応するサンプル（すなわち、ピクセル）が領域Ｐ０に属するかＰ１に属するか（ただし、Ｐ０は図４中の領域４２と図５中の領域６２とに対応し、Ｐ１は図４中の領域４４と図５中の領域６４Ａ、６４Ｂとに対応する）を標識する、サイズｕＢ×ｖＢの２進数の配列によって定義されてよく、ｕＢおよびｖＢはそれぞれ、現在のＰＵの水平方向のサイズおよび垂直方向のサイズを表す。図４および図５の例では、ＰＵは、それぞれブロック４０および６０に対応する。ビデオエンコーダ２０およびビデオデコーダ３０などのビデオコーダは、コーディングの最初に、たとえば、符号化の最初または復号の最初に、ウェッジレットパターンを初期化することができる。
【００８３】
[0092]  ＨＥＶＣイントラ予測モードでは、ＨＥＶＣ  ＷＤ１０の８．４．２項において規定されるように、ＰＵの隣接サンプルを使用することによって、ピクセル固有のイントラ予測子の値が、ＰＵ中の各ピクセルに対して生成される。
【００８４】
[0093]  他の深度イントラモードでは、区分固有のＤＣ予測子が、ＰＵの最大で２つの隣接するサンプルを使用することによって、ＰＵ内の各区分に対して計算される。ｂＰａｔｔｅｒｎ［ｘ]［ｙ]をＰＵの区分パターンとし、ここでｘ＝０．．Ｎ−１，ｙ＝０．．Ｎ−１であり、ＮはＰＵの幅である。ｂＰａｔｔｅｒｎ［ｘ]［ｙ]はピクセル（ｘ，ｙ）がどの区分に属するかを示し、ｂＰａｔｔｅｒｎ［ｘ]［ｙ]は０または１に等しくてよい。ＢｉｔＤｅｐｔｈを深度サンプルのビット深度とし、ＲｅｃＳａｍｐｌｅ［ｘ]［ｙ]をＰＵの再構築された隣接サンプルとし、ｘ＝−１およびｙ＝０．．Ｎ−１（ＰＵの左の隣接ピクセルに対応する）であり、またはｙ＝−１，ｘ＝０．．Ｎ−１（ＰＵの上の隣接ピクセルに対応する）である。次いで、区分ＸのＤＣ予測子、すなわちｘ＝０または１であるＤＣＰｒｅｄ［Ｘ]は、次のように導出される。
【００８５】
ｂＴ＝（ｂＰａｔｔｅｒｎ［０]［０]！＝ｂＰａｔｔｅｒｎ［Ｎ−１]［０]）？１：０  に設定する
ｂＬ＝（ｂＰａｔｔｅｒｎ［０]［０]！＝ｂＰａｔｔｅｒｎ［０]［Ｎ−１]）？１：０  に設定する
ｂＴがｂＬに等しい場合、
【００８６】
【数１】
0006396493.tif 000002
【００８７】
それ以外の場合、
【００８８】
【数２】
0006396493.tif 000003
【００８９】
[0094]  深度参照テーブル（ＤＬＴ：Depth Lookup Table）は、深度インデックスを深度値にマッピングする。ＤＬＴは、ビデオシーケンス全体を符号化する前に第１のイントラ期間内のフレームを分析することによって構築され得る。３Ｄ−ＨＥＶＣの現在の設計では、有効な深度値のすべてが、昇順で並べ替えられ、インデックスの増大とともにＤＬＴに挿入される。
【００９０】
[0095]  ＤＬＴは任意選択のコーディングツールである。現在のＨＴＭ（３Ｄ−ＨＴＭ  ｖｅｒｓｉｏｎ  ９．０）では、エンコーダ２０は、分析段階において元の深度マップ中に０からＭＡＸ＿ＤＥＰＴＨ＿ＶＡＬＵＥ（たとえば、８ビット深度サンプルの場合は２５５）までの値の１／２よりも多くが現れる場合、ＤＬＴを使用しない。それ以外の場合、ＤＬＴは、シーケンスパラメータセット（ＳＰＳ：sequence parameter set）および／またはビデオパラメータセット（ＶＰＳ：video parameter set）においてコーディングされる。エンコーダ２０がＤＬＴをコーディングするために、有効な深度値の数が指数ゴロムコード（Exp-Golomb code）によってまずコーディングされる。次いで、各々の有効な深度値も、指数ゴロムコードによってコーディングされ得る。
【００９１】
[0096]  ビデオエンコーダ２０は、コーディングされるべき入力ビデオシーケンスから事前に定義された数のフレームを読み取り、利用可能な深度マップ値のためにすべてのサンプルを走査する。この処理の間、エンコーダ２０は、元の圧縮されていない深度マップに基づいて深度値を有効な深度値にマッピングする、マッピングテーブルを生成する。
【００９２】
[0097]  エンコーダ２０および／またはデコーダ３０は、深度参照テーブルＩｄｘ２Ｄｅｐｔｈ（．）と、インデックス参照テーブルＤｅｐｔｈ２Ｉｄｘ（．）と、深度マッピングテーブルＭ（．）と、有効な深度値の数ｄvalidとを、深度マップＤtを分析する以下のアルゴリズムを使用して導出する。
【００９３】
１．  初期化
ブーリアンベクトルＢ（ｄ）＝すべての深度値ｄに対してＦＡＬＳＥ
インデックスカウンタｉ＝０
２．  複数の時間インスタンスｔに対してＤtの中の各ピクセル位置ｐを処理する：
有効な深度値に印を付けるためにＢ（Ｄt（ｐ））＝ＴＲＵＥに設定する
３．  Ｂ（ｄ）→ｄvalidまでのＴＲＵＥ値の数を数える
４．  Ｂ（ｄ）＝＝ＴＲＵＥである各ｄに対して、
Ｉｄｘ２Ｄｅｐｔｈ（ｉ）＝ｄに設定する
Ｍ（ｄ）＝ｄに設定する
Ｄｅｐｔｈ２Ｉｄｘ（ｄ）＝ｉに設定する
ｉ＝ｉ＋１
５．  Ｂ（ｄ）＝＝ＦＡＬＳＥである各ｄに対して、
ｄ’＝ａｒｇ  ｍｉｎ｜ｄ−ｄ’｜およびＢ（ｄ’）＝＝ＴＲＵＥであるｄ’を見つける
Ｍ（ｄ）＝ｄ’に設定する
Ｄｅｐｔｈ２Ｉｄｘ（ｄ）＝Ｄｅｐｔｈ２Ｉｄｘ（ｄ’）に設定する
[0098]  インデックスＩｄｘから深度値ｄへのマッピングは、次のようなもの、すなわちｄ＝Ｉｄｘ２Ｄｅｐｔｈ［Ｉｄｘ]である。深度値ｄからインデックスＩｄｘへのマッピングは、次のようなもの、すなわちＩｄｘ＝Ｄｅｐｔｈ２Ｉｄｘ［ｄ]である。
【００９４】
[0099]  イントラＳＤＣモード（すなわち、イントラセグメントごとのＤＣコーディング（intra segment-wise DC coding）、またイントラ簡易深度コーディング（intra simplified depth coding）とも呼ばれ得る）が、深度スライス（depth slice）のイントラＰＵをコーディングするために、ＨＥＶＣイントラ予測モード、ＤＭＭモード、およびチェーンコーディングモードとともに３Ｄ−ＨＥＶＣに導入されている。現在の３Ｄ−ＨＥＶＣでは、ＳＤＣは、２Ｎｘ２ＮのＰＵ区分サイズだけに対して適用される。量子化された変換係数をコーディングする代わりに、ＳＤＣモードは、以下の２つのタイプの情報によって深度ブロックを表す。
１．  以下のものを含む、現在の深度ブロックの区分タイプ：
ａ．ＤＭＭモード１（２つの区分）
ｂ．平面（１つの区分）
２．  各区分に対して、残差値（ピクセル領域中の）がビットストリームにおいてシグナリングされる。
それぞれ平面およびＤＭＭモード１の区分タイプに対応するＳＤＣモード１とＳＤＣモード２とを含む、２つのサブモードがＳＤＣにおいて定義される。ＤＣ残差値は、深度ＰＵ区分のＤＣ値および深度ＰＵ区分に対する予測される区分のＤＣ値の差分を示すデルタＤＣ値として表され得る。やはり、ＤＣ値は、深度ＰＵ区分における深度ピクセルサンプルの平均ピクセル値であり得る。
【００９５】
[0100]  簡易残差コーディングがイントラＳＤＣにおいて使用される。上で説明されたような簡易残差コーディングでは、ＰＵの各区分に対して１つのＤＣ残差値がシグナリングされ、変換または量子化は適用されない。上で論じられたような、各区分のＤＣ残差値を表す情報をシグナリングするために、２つの方法が適用され得る。
１．  現在のＰＵ中の現在の区分のＤＣ値（すなわち、Ａｖｅｒによって示される平均値）から、隣接サンプルによって生成されるＰｒｅｄにより示される予測子を差し引くことによって計算される、各区分のＤＣ残差値を直接コーディングする。
２．  ＤＬＴが送信されるとき、ＤＣ残差値をコーディングする代わりに、インデックス参照テーブルからマッピングされるＡｖｅｒおよびＰｒｅｄのインデックスの差分がコーディングされる。インデックス差分は、ＡｖｅｒのインデックスからＰｒｅｄのインデックスを差し引くことによって計算される。デコーダ側において、復号されたインデックス差分とＰｒｅｄのインデックスとの合計が、ＤＬＴに基づいて深度値にマッピングし返される。
【００９６】
[0101]  ＪＣＴ３Ｖ−Ｆ０１２６において、深度コーディングでは、すべての追加の深度イントラ予測モードおよび元のＨＥＶＣイントラ予測モードに対してイントラＳＤＣが適用され得ることが提案された。特に、ＳＤＣの基本的な考え方が、ビデオエンコーダ２０およびビデオデコーダ３０において使用される様々なイントラ予測モードに拡張される。ＳＤＣでは、ビデオエンコーダ２０またはビデオデコーダ３０は、イントラ予測モードにおいてコーディングされる深度ＰＵまたＰＵ区分に対する１つだけのＤＣ残差値、すなわち、デルタＤＣ値をコーディングする。変換および量子化は飛ばされ、追加の残差変換木が深度コーディングユニット（ＣＵ）に必要とされることはない。したがって、ＳＤＣは、それによってイントラモードにおいて深度ＰＵまたは区分に対する１つだけのＤＣ残差値をエンコーダ２０が符号化し、および／またはビデオデコーダ３０が復号する、代替的な残差コーディング方法を提供する。
【００９７】
[0102]  図６は、３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理における、６４×６４のブロックのような大型イントラ予測ブロックのためのセグメントごとのＤＣコーディング（ＳＤＣ）を簡易化するための技法など、本開示の技法を実装するように構成され得る例示的なビデオエンコーダ２０を示すブロック図である。いくつかの例では、ビデオエンコーダ２０は、イントラＳＤＣにおいて、大型６４×６４のイントラ予測ブロック、たとえば６４×６４のイントラ予測ブロックを４つのより小さいイントラ予測ブロック、たとえば４つの３２×３２のイントラ予測ブロックとして処理するように構成され得る。このようにして、イントラＳＤＣにおいて、ＨＥＶＣイントラ予測モードの６４×６４のイントラ予測ブロックが、４つの３２×３２のイントラ予測ブロックとして処理される。場合によっては、イントラＳＤＣにおいて大型イントラ予測ブロックを複数のより小さいイントラ予測ブロックとして処理することで、エンコーダ２０のためのイントラＳＤＣ処理における最大バッファサイズ要件を低減することができる。
【００９８】
[0103]  本開示は、ＨＥＶＣコーディング、より具体的には、たとえば、３Ｄ−ＨＥＶＣ  ＷＤにおいて説明され、本開示において説明されるようにさらに修正される、３Ｄ−ＨＥＶＣコーディングの文脈においてビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、イントラＳＤＣモードが深度コーディングのために使用される、他のコーディング規格または方法に適用可能であり得る。したがって、図６は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。
【００９９】
[0104]  図６の例において、ビデオエンコーダ２０は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換処理ユニット１１０と、再構築ユニット１１２と、フィルタユニット１１４と、復号ピクチャバッファ１１６と、エントロピー符号化ユニット１１８とを含む。予測処理ユニット１００は、インター予測処理ユニット１２０と、イントラ予測処理ユニット１２６とを含む。インター予測処理ユニット１２０は、動き推定（ＭＥ：motion estimation）ユニット１２２と、動き補償（ＭＣ：motion compensation）ユニット１２４とを含む。
【０１００】
[0105]  予測処理ユニット１００のコンポーネントは、テクスチャ符号化と深度符号化の両方を実行するものとして、説明されている。いくつかの例では、テクスチャ符号化および深度符号化は、予測処理ユニット１００の同じコンポーネントまたは予測処理ユニット１００内の異なるコンポーネントによって実行され得る。たとえば、いくつかの実装形態では、別々のテクスチャエンコーダおよび深度エンコーダが提供され得る。また、複数のテクスチャエンコーダおよび深度エンコーダが、たとえばマルチビュープラス深度コーディングに対して、複数のビューを符号化するために提供され得る。ビデオエンコーダ２０は、図６に示されるものよりも多数の、少数の、または図６に示されるものとは異なる機能コンポーネントを含み得る。
【０１０１】
[0106]  いずれの場合でも、予測処理ユニット１００は、３Ｄ−ＨＥＶＣ処理のような３Ｄコーディング処理の一部として、テクスチャデータと深度データとをイントラ符号化またはインター符号化するように構成され得る。特に、いくつかのモードでは、予測処理ユニット１００は、通常の非ＳＤＣ残差コーディングまたはＳＤＣコーディングを使用することができる。ＳＤＣコーディングの場合、予測処理ユニット１００は、イントラコーディングまたはインターコーディングされた深度ＰＵに対するデルタＤＣ残差値を生成することができ、ＤＣ残差値は、ＰＵまたはコーディングされたＰＵの区分におけるピクセルの平均値と、イントラ予測またはインター予測されるＰＵ区分における予測されるサンプルの平均値との間の差分を表す。ＰＵは、コーディングモードに応じて、単一の区分または複数の区分を有し得る。ＨＥＶＣイントラモード、ＨＥＶＣインターモード、ＤＭＭのモードまたは他のモードが、深度ＰＵをコーディングするために使用され得る。
【０１０２】
[0107]  いくつかの例では、予測処理ユニット１００は、イントラＳＤＣモードにおいて、たとえば、６４×６４のイントラ予測ブロックを４つのより小さいイントラ予測ブロックとして処理することによって、大型イントラ予測ブロックのためのセグメントごとのＤＣコーディング（ＳＤＣ）を簡易化することに関するもののような、本開示で説明される修正および／または追加を受けて、たとえば、３Ｄ−ＨＥＶＣ  ＷＤに説明されているように、実質的に３Ｄ−ＨＥＶＣに従って動作することができる。このようにして、イントラＳＤＣにおいて、ＨＥＶＣイントラ予測モードの６４×６４のイントラ予測が、４つの３２×３２のイントラ予測として処理される。予測処理ユニット１００は、エントロピー符号化ユニット１１８にシンタックス情報を提供することができる。シンタックス情報は、たとえば、どの予測モードが使用されたかと、そのようなモードに関係する情報とを示し得る。
【０１０３】
[0108]  ビデオエンコーダ２０は、符号化されたビデオデータを受信する。ビデオエンコーダ２０は、ビデオデータのピクチャのスライス中の複数のコーディングユニット（ＣＴＵ）の各々を符号化することができる。ＣＴＵの各々は、等しいサイズのルーマコーディングツリーブロック（ＣＴＢ：coding tree block）およびピクチャの対応するクロマＣＴＢと関連付けられ得る。ＣＴＵを符号化することの一部として、予測処理ユニット１００は、ＣＴＵのＣＴＢを徐々により小さくなるブロックに分割するために、４分木区分を実行することができる。より小さいブロックは、ＣＵのコーディングブロックであり得る。たとえば、予測処理ユニット１００は、ＣＴＵと関連付けられたＣＴＢを４つの等しいサイズのサブブロックに区分することができ、サブブロックの１つまたは複数を４つの等しいサイズのサブサブブロックに区分することができ、以下同様である。
【０１０４】
[0109]  ビデオエンコーダ２０は、ＣＵの符号化された表現（すなわち、コーディングされたＣＵ）を生成するために、ＣＴＢのＣＵを符号化することができる。ＣＵを符号化することの一部として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの間で、ＣＵと関連付けられたコーディングブロックを区分することができる。したがって、各ＰＵは、ルーマ予測ブロックおよび対応するクロマ予測ブロックと関連付けられ得る。
【０１０５】
[0110]  ビデオエンコーダ２０およびビデオデコーダ３０は、様々なサイズを有するＰＵをサポートすることができる。上で示されたように、ＣＵのサイズはＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズはＰＵのルーマ予測ブロックのサイズを指すことがある。特定のＣＵのサイズを２Ｎｘ２Ｎと仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、イントラ予測の場合は２Ｎｘ２ＮまたはＮｘＮのＰＵサイズをサポートすることができ、インター予測の場合は２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮ、または同様の対称のＰＵサイズをサポートすることができる。ビデオエンコーダ２０およびビデオデコーダ３０はまた、インター予測のための２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、およびｎＲｘ２ＮのＰＵサイズについて非対称区分をサポートすることができる。本開示の態様によれば、ビデオエンコーダ２０およびビデオデコーダ３０はまた、深度インターコーディングのためのＰＵの非方形区分をサポートする。
【０１０６】
[0111]  インター予測処理ユニット１２０は、ＣＵの各ＰＵに対してインター予測を実行することによって、ＰＵのための予測データを生成することができる。ＰＵの予測データは、ＰＵの予測サンプルブロックと、ＰＵの動き情報とを含み得る。インター予測処理ユニット１２０は、ＰＵがＩスライス中にあるか、Ｐスライス中にあるか、またはＢスライス中にあるかに応じて、ＣＵのＰＵに対して異なる動作を実行することができる。Ｉスライスでは、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、インター予測処理ユニット１２０はＰＵに対してインター予測を実行しない。したがって、Ｉモードで符号化されるブロックでは、予測されるブロックは、同じフレーム内の以前に符号化された隣接ブロックからの空間的予測を使用して形成される。
【０１０７】
[0112]  ＰＵがＰスライス中にある場合、動き推定（ＭＥ）ユニット１２２は、ＰＵのための参照領域について参照ピクチャのリスト（たとえば、「ＲｅｆＰｉｃＬｉｓｔ０」）中の参照ピクチャを探索することができる。参照ピクチャは、復号ピクチャバッファ１１６に記憶され得る。ＰＵの参照領域は、ＰＵのサンプルブロックに最も密接に対応するサンプルブロックを含む参照ピクチャ内の領域であり得る。動き推定（ＭＥ）ユニット１２２は、ＰＵの参照領域を含む参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０中の位置を示す参照インデックスを生成することができる。
【０１０８】
[0113]  加えて、インターコーディングの場合、動き推定（ＭＥ）ユニット１２２は、ＰＵのコーディングブロックと、参照領域と関連付けられる参照位置との間の空間変位を示す動きベクトル（ＭＶ）を生成することができる。たとえば、ＭＶは、現在の復号されたピクチャ中の座標から参照ピクチャ中の座標までのオフセットを提供する２次元ベクトルであり得る。動き推定（ＭＥ）ユニット１２２は、ＰＵの動き情報として参照インデックスとＭＶとを出力することができる。動き補償（ＭＣ）ユニット１２４は、ＰＵの動きベクトルによって示された参照位置における実際のまたは補間されたサンプルに基づいて、ＰＵの予測サンプルブロックを生成することができる。
【０１０９】
[0114]  ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵのために単予測または双予測を実行することができる。ＰＵのための単予測（uni-prediction）を実行するために、動き推定ユニット１２２は、ＰＵのための参照領域についてＲｅｆＰｉｃＬｉｓｔ０または第２の参照ピクチャリスト（「ＲｅｆＰｉｃＬｉｓｔ１」）の参照ピクチャを探索することができる。動き推定（ＭＥ）ユニット１２２は、ＰＵの動き情報として、参照領域を含む参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１中の位置を示す参照インデックスと、ＰＵのサンプルブロックと参照領域と関連付けられる参照位置との間の空間変位を示すＭＶと、参照ピクチャがＲｅｆＰｉｃＬｉｓｔ０中にあるかＲｅｆＰｉｃＬｉｓｔ１中にあるかを示す１つまたは複数の予測方向インジケータとを出力することができる。動き補償（ＭＣ）ユニット１２４は、ＰＵの動きベクトルによって示される参照領域における実際のサンプルまたは補間されたサンプルに少なくとも部分的に基づいて、ＰＵの予測サンプルブロックを生成することができる。
【０１１０】
[0115]  ＰＵのための双方向インター予測を実行するために、動き推定ユニット１２２は、ＰＵの参照領域についてＲｅｆＰｉｃＬｉｓｔ０中の参照ピクチャを探索することができ、また、ＰＵの別の参照領域についてＲｅｆＰｉｃＬｉｓｔ１中の参照ピクチャを探索することができる。動き推定（ＭＥ）ユニット１２２は、参照領域を含む参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１中での位置を示す参照ピクチャインデックスを生成することができる。加えて、動き推定（ＭＥ）ユニット１２２は、参照領域と関連付けられる参照位置とＰＵのサンプルブロックとの間の空間変位を示すＭＶを生成することができる。ＰＵの動き情報は、ＰＵの参照インデックスとＭＶとを含み得る。動き補償（ＭＣ）ユニット１２４は、ＰＵの動きベクトルによって示される参照領域における実際のサンプルまたは補間されたサンプルに少なくとも部分的に基づいて、ＰＵの予測サンプルブロックを生成することができる。
【０１１１】
[0116]  イントラ予測処理ユニット１２６は、ＰＵに対してイントラ予測を実行することによって、ＰＵのための予測データを生成することができる。ＰＵのためのイントラ予測データは、ＰＵのための予測サンプルブロックと様々なシンタックス要素とを含み得る。イントラ予測処理ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライス中のＰＵに対してイントラ予測を実行することができる。ＰＵに対してイントラ予測を実行するために、イントラ予測処理ユニット１２６は、複数のイントラ予測モードを使用してＰＵのための予測データの複数のセットを生成し、次いで、たとえばレート歪み最適化技法を使用して、受け入れ可能な、または最適なコーディング性能を生み出すイントラ予測モードの１つを選択することができる。
【０１１２】
[0117]  イントラ予測モードを使用してＰＵのための予測データのセットを生成するために、イントラ予測処理ユニット１２６は、そのイントラ予測モードと関連付けられた方向へ、ＰＵのサンプルブロック全体にわたって、隣接ＰＵのサンプルブロックからのサンプルを延ばすことができる。隣接ＰＵは、ＰＵ、ＣＵ、およびＣＴＵについて左から右、上から下の符号化順序を仮定すると、ＰＵの上、右上、左上、または左にあり得る。イントラ予測処理ユニット１２６は、様々な数のイントラ予測モード、たとえば３３個の方向性イントラ予測モードを使用することができる。いくつかの例では、イントラ予測モードの数はＰＵと関連付けられた領域のサイズに依存し得る。
【０１１３】
[0118]  予測処理ユニット１００は、ＰＵについてインター予測処理ユニット１２０によって生成された予測データ、またはＰＵについてイントラ予測処理ユニット１２６によって生成された予測データの中から、ＣＵのＰＵのための予測データを選択することができる。いくつかの例では、予測処理ユニット１００は、予測データのセットのレート／歪みの尺度に基づいて、ＣＵのＰＵのための予測データを選択する。選択された予測データの予測サンプルブロックは、本明細書では、選択された予測サンプルブロックと呼ばれ得る。
【０１１４】
[0119]  残差生成ユニット１０２は、ＣＵのルーマコーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロック、ならびにＣＵのＰＵの選択されたインター予測ルーマブロックまたはイントラ予測ルーマブロック、インター予測Ｃｂブロックまたはイントラ予測Ｃｂブロック、およびインター予測Ｃｒブロックまたはイントラ予測Ｃｒブロックに基づいて、ＣＵのルーマ残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを生成することができる。たとえば、残差生成ユニット１０２は、残差ブロック中の各サンプルがＣＵのコーディングブロック中のサンプルとＣＵのＰＵの対応する選択された予測サンプルブロック中の対応するサンプル（すなわち、適用可能な場合、ルーマピクセル値またはクロマピクセル値のサンプル）との間の差に等しい値を有するように、ＣＵの残差ブロックを生成することができる。残差生成ユニット１０２は、ＳＤＣモードのためのデルタＤＣ残差値を生成することもできる。
【０１１５】
[0120]  変換処理ユニット１０４は、ＣＵと関連付けられる残差ブロックをＣＵのＴＵと関連付けられる変換ブロックに区分するために、４分木区分を実行することができる。したがって、ＴＵは、ルーマ変換ブロックおよび２つのクロマ変換ブロックと関連付けられ得る。ＣＵのＴＵのルーマ変換ブロックおよびクロマ変換ブロックのサイズおよび位置は、ＣＵのＰＵの予測ブロックのサイズおよび位置に基づくことも基づかないこともある。「残差４分木」（ＲＱＴ）として知られる４分木構造は、領域の各々に関連付けられたノードを含み得る。ＣＵのＴＵは、ＲＱＴのリーフノードに対応し得る。
【０１１６】
[0121]  通常の残差コーディングの場合、変換処理ユニット１０４は、ＴＵの変換ブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵに対して変換係数ブロックを生成することができる。変換処理ユニット１０４は、ＴＵと関連付けられた変換ブロックに様々な変換を適用することができる。たとえば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、または概念的に同様の変換を変換ブロックに適用することができる。いくつかの例では、変換処理ユニット１０４は変換ブロックに変換を適用しない。そのような例では、変換ブロックは変換係数ブロックとして扱われ得る。やはり、ＳＤＣコーディングの場合、変換および量子化は通常、予測されるＰＵまたは区分に対して生成されたデルタＤＣ残差値に適用されない。
【０１１７】
[0122]  量子化ユニット１０６は、通常の残差コーディングの場合、係数ブロック中の残差変換係数を量子化することができる。量子化処理は、変換係数の一部またはすべてと関連付けられるビット深度を低減することができる。たとえば、量子化の間にｎビット変換係数がｍビット変換係数へと切り捨てられてよく、この場合、ｎはｍよりも大きい。量子化ユニット１０６は、ＣＵと関連付けられた量子化パラメータ（ＱＰ：quantization parameter）値に基づいてＣＵのＴＵと関連付けられた係数ブロックを量子化することができる。ビデオエンコーダ２０は、ＣＵと関連付けられたＱＰ値を調整することによって、ＣＵと関連付けられた係数ブロックに適用される量子化の程度を調整することができる。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は、元の係数よりも低い精度を有することがある。
【０１１８】
[0123]  逆量子化ユニット１０８および逆変換処理ユニット１１０は、係数ブロックから残差ブロックを再構築するために、それぞれ、係数ブロックに逆量子化と逆変換とを適用することができる。再構築ユニット１１２は、再構築された残差ブロックを、予測処理ユニット１００によって生成された１つまたは複数の予測サンプルブロックからの対応するサンプルに追加して、ＴＵと関連付けられる再構築された変換ブロックを生成することができる。ビデオエンコーダ２０は、このようにＣＵの各ＴＵのための変換ブロックを再構築することによって、ＣＵのコーディングブロックを再構築することができる。
【０１１９】
[0124]  ＨＥＶＣイントラモード、ＨＥＶＣインターモードおよび他のモード、たとえばＤＭＭモードの場合、予測されるＰＵまたはＰＵ区分に対して、ＤＣ残差値とも呼ばれるデルタＤＣ残差値を生成するために、深度ＣＵのためのＳＤＣ残差コーディングが使用され得る。ＳＤＣの場合、残差生成ユニット１０２は、各深度ＰＵまたはＰＵ区分に対する単一のデルタＤＣ値を生成することができ、単一のデルタＤＣ値は、ＰＵまたはＰＵ区分におけるピクセルの平均値と、イントラ予測またはインター予測されるＰＵまたはＰＵ区分における予測されるサンプルの平均値との間の差分を表す。デルタＤＣ残差値は、変換または量子化されず、図６において線１１５によって示されるように、残差生成ユニット１０２によってエントロピーコーディングユニット１１８に提供され得る。
【０１２０】
[0125]  再構築ユニット１１２は、深度ＣＵを、ＣＵのＰＵの区分およびＣＵのＰＵの対応する予測される区分に対するＤＣ残差値に基づいて再構築することができる。たとえば、各深度ＰＵ区分に対するデルタＤＣ残差値が、深度ＰＵ区分を再構築するために、対応する予測される区分のピクセル値に加算されてよく、ＤＣ残差値は、深度ＰＵ区分のピクセルの平均値と予測される区分の予測されるサンプルの平均値との間の差分を表し得る。いくつかの例では、デルタＤＣ値を表す１つまたは複数のシンタックス要素のような、ＤＣ残差値を表す情報が、予測処理ユニット１００によって生成され、エントロピー符号化ユニット１１８によって受信され、たとえば線１１５によって示されるように、逆量子化または逆変換処理を伴わずに再構築ユニット１１２によって使用され得る。
【０１２１】
[0126]  フィルタユニット１１４は、１つまたは複数のフィルタリング動作を実行して、再構築されたＣＵと関連付けられたコーディングブロック中のブロッキングアーティファクト（blocking artifact）など、アーティファクトを低減することができる。フィルタリング動作は、ブロック境界におけるブロックノイズ（blockiness）を除去するためのデブロッキング、ピクセル遷移を円滑にするためのループフィルタリング、ピクセル遷移を円滑にするためのサンプル適応オフセットフィルタリング、または場合によっては他のタイプのフィルタリング動作もしくは技法、のうちの１つまたは複数を含むことができる。復号ピクチャバッファ１１６は、フィルタユニット１１４が、再構築されたコーディングブロックに対して１つまたは複数のデブロッキング動作を実行した後、再構築されたコーディングブロックを記憶することができる。インター予測ユニット１２０は、再構築されたコーディングブロックを含む参照ピクチャを使用して、他のピクチャのＰＵに対してインター予測を実行することができる。加えて、イントラ予測処理ユニット１２６は、ＣＵと同じピクチャ中の他のＰＵに対してイントラ予測を実行するために、復号ピクチャバッファ１１６中の再構築されたコーディングブロックを使用することができる。
【０１２２】
[0127]  エントロピー符号化ユニット１１８は、ビデオエンコーダ２０の様々な機能コンポーネントからデータを受信することができる。たとえば、エントロピー符号化ユニット１１８は、量子化ユニット１０６から係数ブロックを受信することができ、予測処理ユニット１００からシンタックス要素を受信することができる。加えて、エントロピー符号化ユニット１１８は、残差生成ユニット１０２からデルタＤＣ残差値を受信することができる。エントロピー符号化ユニット１１８は、エントロピー符号化されたデータを生成するために、データに対して１つまたは複数のエントロピー符号化動作を実行することができる。たとえば、エントロピー符号化ユニット１１８は、ＣＡＢＡＣ演算を実行することができる。他のエントロピーコーディング処理の例としては、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、および確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディングがある。ＨＥＶＣでは、ＣＡＢＡＣが使用される。ビデオエンコーダ２０は、エントロピー符号化ユニット１１８によって生成されたエントロピー符号化されたデータを含むビットストリームを出力することができる。たとえば、ビットストリームは、バイナリシンタックス要素またはバイナリ化されたシンタックス要素のビンを表すビットを含み得る。
【０１２３】
[0128]  ビデオエンコーダ２０は、大型予測ブロックの簡易化されたセグメントごとのＤＣコーディングのための技法を含む、本開示で説明される技法のいずれかを実行するように構成されるビデオエンコーダの例である。追加の３Ｄ処理コンポーネントもビデオエンコーダ２０内に含まれ得る。本開示の１つまたは複数の技法によれば、ビデオエンコーダ２０内の１つまたは複数のユニットは、ビデオ符号化処理の一部として、本明細書で説明される技法を実行することができる。同様に、ビデオエンコーダ２０は、後でコーディングされるビデオデータの予測のための参照データとして使用されるビデオデータを再構築するために、本開示の技法のいずれかを使用してビデオ復号処理を実行することができる。
【０１２４】
[0129]  図７は、本開示の技法を実行するように構成された例示的なビデオデコーダ３０を示すブロック図である。図７は、例示の目的で与えられており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。本開示は、ＨＥＶＣコーディング、特に３Ｄ−ＨＥＶＣの文脈においてビデオデコーダ３０を説明する。しかしながら、本開示の技法は他の３Ｄビデオコーディング規格または方法に適用可能であり得る。ビデオデコーダ３０は、３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理における、６４×６４のブロックなどの大型イントラ予測ブロックのためのセグメントごとのＤＣコーディング（ＳＤＣ）を簡易化するための技法を実行するように構成され得る。いくつかの例では、ビデオデコーダ３０は、イントラＳＤＣにおいて、大型６４×６４のイントラ予測ブロック、たとえば６４×６４のイントラ予測ブロックを４つのより小さいイントラ予測ブロック、たとえば４つの３２×３２のイントラ予測ブロックとして処理するように構成され得る。このようにして、イントラＳＤＣ深度コーディングにおいて、ＨＥＶＣイントラ予測モードの６４×６４のイントラ予測が、４つの３２×３２のイントラ予測として処理される。場合によっては、イントラＳＤＣにおいて大型イントラ予測ブロックを複数のより小さいイントラ予測ブロックとして処理することで、エンコーダ３０のためのイントラＳＤＣ処理における最大バッファサイズ要件を低減することができる。
【０１２５】
[0130]  図７の例では、ビデオデコーダ３０は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構築ユニット１５８と、フィルタユニット１６０と、復号ピクチャバッファ１６２とを含む。予測処理ユニット１５２は、インター予測のための動き補償（ＭＣ）ユニット１６４と、イントラ予測処理ユニット１６６とを含む。例示を簡単にするために、予測処理ユニット１５２のコンポーネントは、テクスチャ復号（texture decoding）と深度復号（depth decoding）の両方を実行するものとして、説明されている。いくつかの例では、テクスチャ復号および深度復号は、予測処理ユニット１５２の同じコンポーネントまたは予測処理ユニット１５２内の異なるコンポーネントによって実行され得る。たとえば、いくつかの実装形態では、別々のテクスチャデコーダおよび深度デコーダが提供され得る。また、複数のテクスチャデコーダおよび深度デコーダが、たとえばマルチビュープラス深度コーディングに対して、複数のビューを復号するために提供され得る。いずれの場合でも、予測処理ユニット１５２は、３Ｄ−ＨＥＶＣ処理のような３Ｄコーディング処理の一部として、テクスチャデータと深度データとをイントラ復号またはインター復号するように構成され得る。
【０１２６】
[0131]  したがって、予測処理ユニット１５２は、イントラＳＤＣにおいて、大型６４×６４のイントラ予測ブロック、たとえば６４×６４のイントラ予測ブロックを４つのより小さいイントラ予測ブロック、たとえば４つの３２×３２のイントラ予測ブロックとして処理するための技法など、大型イントラ予測ブロックのためのセグメントごとのＤＣコーディング（ＳＤＣ）を簡易化するための技法に関するもののような、本開示で説明される修正および／または追加を受けて、実質的に３Ｄ−ＨＥＶＣに従って動作することができる。予測処理ユニット１５２は、エントロピー復号ユニット１５０を介して、ＳＤＣまたは通常の非ＳＤＣ残差コーディング技法を使用して、イントラ復号またはインター復号された深度データのために、符号化されたビデオビットストリームから残差データを取得し、イントラ予測またはインター予測された深度データと残差データとを使用してＣＵを再構築することができる。ＳＤＣが使用されるとき、残差データはデルタＤＣ残差値であり得る。いくつかの例では、ビデオデコーダ３０は、図７に示されるものよりも多数の、少数の、または図７に示されるものとは異なる機能コンポーネントを含み得る。
【０１２７】
[0132]  ビデオデコーダ３０は、符号化されたビデオビットストリームを受信する。エントロピー復号ユニット１５０は、ビットストリームからエントロピー符号化されたシンタックス要素を復号するために、ビットストリームを解析する。いくつかの例では、ＳＤＣの場合、エントロピー復号ユニット１１８は、デルタＤＣ残差値を表すシンタックス要素に関するビンをビットストリーム中のビットから復号するために、ＣＡＢＡＣコーダを使用するように構成され得る。エントロピー復号ユニット１１８は、通常の残差コーディングによるイントラコーディングモードまたはインターコーディングモードとデルタＤＣ残差コーディングによるイントラＳＤＣモードまたはインターＳＤＣモードとを含む、異なるコーディングモードのために種々の他のシンタックス要素を復号するために、ＣＡＢＡＣコーダを使用することができる。
【０１２８】
[0133]  予測処理ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構築ユニット１５８、およびフィルタユニット１６０は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成することができる。ビットストリームは、一連のＮＡＬユニットを備え得る。ビットストリームのＮＡＬユニットは、コーディングされたスライスＮＡＬユニットを含み得る。ビットストリームを復号することの一部として、エントロピー復号ユニット１５０は、コーディングされたスライスＮＡＬユニットからシンタックス要素を抽出し、エントロピー復号することができる。
【０１２９】
[0134]  コーディングされたスライスの各々は、スライスヘッダと、スライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含み得る。スライスヘッダ中のシンタックス要素は、スライスを含むピクチャと関連付けられたＰＰＳを特定するシンタックス要素を含み得る。ＰＰＳはＳＰＳを参照することができ、ＳＰＳは次いでＶＰＳを参照することができる。エントロピー復号ユニット１５０はまた、ＳＥＩメッセージのようなシンタックス情報を含み得る他の要素をエントロピー復号することができる。スライスヘッダ、パラメータセット、またはＳＥＩメッセージのいずれかの中の復号されたシンタックス要素は、本開示で説明される例示的な技法に従ってシグナリングされるものとして本明細書で説明される情報を含み得る。そのようなシンタックス情報は、テクスチャまたは深度ブロックの復号および再構築のために、予測処理ユニット１５２に提供され得る。
【０１３０】
[0135]  ビデオデコーダ３０は、区分されていないＣＵおよびＰＵに対して再構築動作を実行することができる。非ＳＤＣコーディングのための再構築動作を実行するために、ビデオデコーダ３０は、ＣＵの各ＴＵに対して再構築動作を実行することができる。ＣＵの各ＴＵに対して再構築動作を実行することによって、ビデオデコーダ３０は、ＣＵのブロックを再構築することができる。ＣＵのＴＵに対して再構築動作を実行することの一部として、逆量子化ユニット１５４は、ＴＵと関連付けられる係数ブロックを逆量子化（ｉｎｖｅｒｓｅ  ｑｕａｎｔｉｚｅ）、すなわち逆量子化（ｄｅ−ｑｕａｎｔｉｚｅ）することができる。逆量子化ユニット１５４は、量子化の程度と、同様に、逆量子化ユニット１５４が適用するための逆量子化の程度とを決定するために、ＴＵのＣＵと関連付けられるＱＰの値を使用することができる。すなわち、圧縮比、すなわち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用されるＱＰの値を調整することによって制御され得る。圧縮比は、利用されるエントロピーコーディングの方法に依存し得る。
【０１３１】
[0136]  逆量子化ユニット１５４が係数ブロックを逆量子化した後、逆変換処理ユニット１５６は、ＴＵと関連付けられる残差ブロックを生成するために、係数ブロックに１つまたは複数の逆変換を適用することができる。たとえば、逆変換処理ユニット１５６は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向性変換、または別の逆変換を、係数ブロックに適用することができる。
【０１３２】
[0137]  イントラ予測を使用してＰＵが符号化される場合、イントラ予測処理ユニット１６６は、ＰＵの予測ブロックを生成するためにイントラ予測を実行することができる。イントラ予測処理ユニット１６６は、空間的に隣接するＰＵの予測ブロックに基づいて、ＰＵのための予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成するために、イントラ予測モードを使用することができる。イントラ予測処理ユニット１６６は、ビットストリームから復号された１つまたは複数のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定することができる。
【０１３３】
[0138]  インター予測を使用してＰＵが符号化される場合、ＭＣユニット１６４は、ＰＵのインター予測ブロックを生成するためにイントラ予測を実行することができる。ＭＣユニット１６４は、他のピクチャまたはビューにおけるＰＵの予測ブロックに基づいて、ＰＵのための予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成するために、インター予測モードを使用することができる。ＭＣユニット１６４は、ビットストリームから復号された１つまたは複数のシンタックス要素に基づいて、ＰＵのためのインター予測モードを決定することができ、動きベクトル、予測方向、および参照ピクチャインデックスなどの動き情報を受信することができる。
【０１３４】
[0139]  インター予測の場合、ＭＣユニット１６４は、ビットストリームから抽出されたシンタックス要素に基づいて、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）と第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）とを構築することができる。ＰＵがインター予測を使用して符号化される場合、エントロピー復号ユニット１５０は、ＰＵの動き情報を抽出することができる。ＭＣユニット１６４は、ＰＵの動き情報に基づいて、ＰＵのための１つまたは複数の参照ブロックを決定することができる。動き補償（ＭＣ）ユニット１６４は、ＰＵの１つまたは複数の参照ブロックにおけるブロック内のサンプルに基づいて、ＰＵの予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成することができる。
【０１３５】
[0140]  再構築ユニット１５８は、ＣＵのＴＵと関連付けられたルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロック、ならびにＣＵのＰＵの予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを、すなわち、イントラ予測データまたはインター予測データのいずれかを適宜使用して、ＣＵのルーマコーディングブロックと、Ｃｂコーディングブロックと、Ｃｒコーディングブロックとを再構築することができる。たとえば、再構築ユニット１５８は、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックの残差サンプルを予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックの対応するサンプルに加算して、ＣＵのルーマコーディングブロックと、Ｃｂコーディングブロックと、Ｃｒコーディングブロックとを再構築することができる。
【０１３６】
[0141]  フィルタユニット１６０は、デブロッキング動作を実行して、ＣＵのルーマコーディングブロック、Ｃｂコーディングブロック、およびＣｒコーディングブロックと関連付けられたブロッキングアーティファクトを低減することができる。ビデオデコーダ３０は、ＣＵのルーマコーディングブロックと、Ｃｂコーディングブロックと、Ｃｒコーディングブロックとを、復号ピクチャバッファ１６２に記憶することができる。復号ピクチャバッファ１６２は、後続の動き補償、イントラ予測、および図３のディスプレイデバイス３２のようなディスプレイデバイス上での提示のために、参照ピクチャを提供することができる。たとえば、ビデオデコーダ３０は、復号ピクチャバッファ１６２中のルーマブロック、Ｃｂブロック、およびＣｒブロックに基づいて、他のＣＵのＰＵに対してイントラ予測演算またはインター予測演算を実行することができる。
【０１３７】
[0142]  ビデオデコーダ３０は、大型予測ブロックの簡易化されたセグメントごとのＤＣコーディングのための技法を含む、本開示で説明される技法のいずれかを実行するように構成されるビデオデコーダの例である。本開示の１つまたは複数の技法によれば、ビデオデコーダ３０内の１つまたは複数のユニットは、ビデオ復号処理の一部として、本明細書で説明される１つまたは複数の技法を実行することができる。追加の３Ｄコーディングコンポーネントもビデオエンコーダ３０内に含まれ得る。
【０１３８】
[0143]  予測処理ユニット１５２、より具体的にはイントラ予測処理ユニット１６６および動き補償（ＭＣ）ユニット１６４は適宜、３Ｄ−ＨＥＶＣのような３Ｄビデオコーディング処理の深度イントラ予測モードおよび深度インター予測モードにおいてＳＤＣを実行するかどうかを決定することができる。ＳＤＣが使用されるとき、エントロピー復号ユニット１５０は、深度ＣＵのＰＵまたはＰＵ区分のための１つまたは複数のデルタＤＣ残差値、さらには関連付けられたシンタックス情報を、エントロピー復号することができる。
【０１３９】
[0144]  ＳＤＣの場合、エントロピー復号ユニット１５０は、図７に示されるように、ブロックのためのＳＤＣシンタックス情報を予測処理ユニット１５２に提供することができる。エントロピー復号ユニット１５０は、デルタＤＣ残差値を再構築ユニット１５８に提供することができる。ビデオデコーダ３０によって受信されたデルタＤＣ残差値は、変換および量子化されないことがある。特に、デルタＤＣ残差値は、逆量子化および逆変換のために逆量子化ユニット１５４および逆変換処理ユニット１５６へ最初に提供されなくてよい。代わりに、エントロピー復号ユニット１５０は、デルタＤＣ残差値を表す１つまたは複数のシンタックス要素に関するビンを、ビットストリーム中のビットから復号し、デルタＤＣ残差値を表す情報を、ＳＤＣコーディングされたＰＵまたは区分を再構築する際に使用するために再構築ユニット１５８に提供することができる。再構築ユニット１５８は、深度ＣＵのイントラ予測またはインター予測されるＰＵまたはＰＵ区分を予測処理ユニット１５２から受信し、コーディングされたＰＵまたはＰＵ区分を再構築するために、予測されるＰＵまたはＰＵ区分のサンプルの各々にデルタＤＣ残差値を加算することができる。
【０１４０】
[0145]  このようにして、ＳＤＣが使用されるとき、再構築ユニット１５８は、深度ＣＵを、ＣＵのＰＵの区分およびＣＵの対応する予測されるＰＵまたはＰＵ区分に対するデルタＤＣ残差値に基づいて再構築することができる。やはり、デルタＤＣ残差値は、深度ＰＵまたはＰＵ区分のピクセルの平均値と、予測されるＰＵまたはＰＵ区分のサンプルの平均値との間の差分を表し得る。説明されるように、シンタックス情報がイントラＳＤＣ６４×６４モードを示すとき、デコーダ３０は、６４×６４モードを４つの３２×３２モードとして処理する。
【０１４１】
[0146]  ＨＥＶＣのメインプロファイルでは、最大イントラ予測サイズは３２×３２である。しかしながら、３Ｄ−ＨＥＶＣのイントラＳＤＣモードでは、平面モードの最大イントラ予測サイズは６４×６４である。ＪＣＴ３Ｖ−Ｆ０１２６における提案では、追加の深度イントラ予測モードおよび元のＨＥＶＣイントラ予測モードに対してＳＤＣが適用され得る。したがって、この提案では、すべてのＨＥＶＣイントラ予測モードの最大イントラ予測サイズは６４×６４である。ＨＥＶＣと比較すると、３Ｄ−ＨＥＶＣとＪＣＴ３Ｖ−Ｆ０１２６における提案の両方は、イントラ予測のために使用される最大バッファサイズを増大させる。
【０１４２】
[0147]  本開示の例によれば、大型イントラ予測ブロックのＳＤＣコーディングを簡易化するために、ビデオエンコーダ２０およびビデオデコーダ３０は、大型イントラ予測ブロックを４つのより小さいイントラブロックとして処理するように構成され得る。たとえば、６４×６４のイントラ予測ブロックの場合、ビデオエンコーダ２０およびビデオデコーダ３０は、６４×６４のイントラ予測ブロックを４つの３２×３２のイントラ予測ブロックとして処理するように構成され得る。このようにして、ＳＤＣにおいて、ＨＥＶＣイントラ予測モードの６４×６４のイントラ予測が、４つの３２×３２のイントラ予測として処理される。６４×６４および３２×３２の指示は、ＳＤＣを使用してイントラコーディングされるべき深度ＰＵもしくは区分におけるピクセルの数、またはイントラ予測された深度ＰＵもしくは区分における予測サンプルの対応する数を指す。６４×６４のイントラ予測ブロックを４つの３２×３２のイントラ予測ブロックとして処理するための技法の様々な態様が、例として下で説明される。
【０１４３】
[0148]  図８は、６４×６４のＳＤＣイントラ予測ブロックを４つのより小さい３２×３２のイントラ予測ブロックとして処理することを示す図である。図８に示されるように、６４×６４の深度ブロック１７０が、４つの３２×３２のサブブロック１７２、１７４、１７６および１７８に分割される。サブブロック１７２、１７４、１７６、１７８の各々は、同じイントラモードを有することができる。たとえば、イントラモードがブロック１７０に適用され、４つの３２×３２のサブブロック１７２、１７４、１７６、１７８の各々のために使用され得る。ブロック１７２は、６４×６４のブロックの左上３２×３２のイントラブロックであり、ブロック１７４は、６４×６４のブロックの右上３２×３２のイントラブロックであり、ブロック１７６は、６４×６４のブロックの左下３２×３２のイントラブロックであり、ブロック１７８は、深度データの６４×６４のブロックの右下３２×３２のイントラブロックである。この例では、６４×６４のブロック１７０は、ｘ＝０からｘ＝６３まで水平に、ｙ＝０からｙ＝６３まで垂直に延びる。左上３２×３２のイントラブロック１７２は、ｘ＝０からｘ＝３１まで水平に、ｙ＝０からｙ＝３１まで垂直に延び、右上左３２×３２のイントラブロック１７２は、ｘ＝３２からｘ＝６３まで水平に、ｙ＝０からｙ＝３１まで垂直に延び、左下３２×３２のイントラブロック１７２は、ｘ＝０からｘ＝３１まで水平に、ｙ＝３２からｙ＝６３まで垂直に延び、右下３２×３２のイントラブロック１７２は、ｘ＝３２からｘ＝６３まで水平に、ｙ＝３２からｙ＝６３まで垂直に延びる。
【０１４４】
[0149]  図８にさらに示されるように、６４×６４のブロックのための空間的に隣接する再構築されたサンプル（reconstructed sample）ＲｅｃＳａｍｐｌｅ［ｘ]［ｙ]が、３２×３２のブロックのいくつかのイントラモードの予測に利用可能であり、ｘおよびｙは、ｘ＝０、ｙ＝０における６４×６４のブロック１７０の左上サンプルに対する再構築されたサンプルの、それぞれ垂直位置および水平位置である。たとえば、図８は、たとえばｉ＝−１およびｊ＝０〜６３における再構築された左隣接サンプル１８２と、たとえばｉ＝−１、ｊ＝−１における左上隣接サンプル１８４と、たとえばｉ＝０〜６３、ｊ＝−１における上隣接サンプル１８６と、たとえばｉ＝６４〜１２７、ｊ＝−１における右上隣接サンプル１８８（図８には、その一部分だけが示されている）とを示している。コーディングユニットは通常、ラスタ走査順序でコーディングされるので、６４×６４がＨＥＶＣと３Ｄ−ＨＥＶＣの両方のために使用される最大コーディングユニットサイズである場合には、ｉ＝−１、ｊ＝６４〜１２７における左下隣接サンプルは、一般に利用可能ではない。よって、コーディングユニットをコーディングするとき、それの下のコーディングユニットは、まだ符号化されず、したがって、利用可能な再構築されたサンプルをまだ生成していない。
【０１４５】
[0150]  再構築された隣接サンプル１８２〜１８８は、６４×６４のブロック１７０に空間的に隣接する隣接ブロックに存在する。現在符号化中または復号中である６４×６４のブロック１７０の前に、隣接サンプル１８２、１８４、１８６、１８８が存在するブロックがすでに符号化または復号され、再構築されているという意味で、隣接サンプル１８２〜１８８は再構築されると仮定される。
【０１４６】
[0151]  本開示の例では、イントラＳＤＣコーディングでは、現在の３Ｄ−ＨＥＶＣの場合のように、および場合によってはＪＣＴ３Ｖ−Ｆ０１２６において提案されているように、ＨＥＶＣイントラ予測モードによりコーディングされた６４×６４のイントラ予測ブロックが、たとえば、図８に示されるように、６４×６４のイントラ予測を４つの３２×３２のイントラ予測ブロックに分割することによって簡易化され得ることが提案される。これらの４つの３２×３２のイントラ予測ブロックは、同じイントラ予測モードを有することができ、ビデオエンコーダ２０およびビデオデコーダ３０によってラスタ走査順序または復号順序でイントラ予測され得る。
【０１４７】
[0152]  第１の例では、以下で説明されるように、各３２×３２のブロックの予測されるサンプルが、６４×６４のブロック内の後続の３２×３２のブロックを予測するために、少なくともいくつかの再構築された隣接サンプルの代わりに使用され得る。したがって、６４×６４のブロックのいくつかの３２×３２のブロックのイントラ予測のために、利用可能な参照サンプルが、再構築されるだけであるか、モードに応じて再構築もしくは予測されるか、または予測されるだけであり得る。一般に、再構築された参照サンプルは、たとえば、予測される参照サンプルを残差値と加算することによって再構築されているが、予測される参照サンプルは通常、残差値と加算されていない。各場合において、３２×３２のブロックのイントラ予測のために使用される再構築されたサンプルまたは予測されるサンプルは一般に、その３２×３２のブロックに隣接し得る。第２の例では、再構築されたサンプルだけが、６４×６４のブロックの３２×３２のブロックのイントラ予測のために使用され、これらのサンプルは、３２×３２のブロックによっては、６４×６４のブロックの境界に隣接するという点で６４×６４のブロックに隣接するが、それぞれの３２×３２のブロックに直接隣接しないという点で３２×３２のブロックに隣接しない、再構築されたサンプルを含む。
【０１４８】
[0153]  第１の例または第２の例のいずれかにおいて、第１の３２×３２のブロック、すなわち、６４×６４のブロックの左上３２×３２のサブブロックは、ＨＥＶＣによって指定される方法と同じ方法でイントラ予測され得る。特に、６４×６４のブロックの外にある空間的隣接ブロックのための隣接サンプルが通常、再構築され、左上３２×３２のブロックのイントラ予測に利用可能となる。しかしながら、第１の例ではいくつかの３２×３２のブロックのために、予測されるサンプルまたは再構築されたサンプルが使用され得るのに対し、第２の例では、再構築されたサンプルだけが使用される。
【０１４９】
[0154]  ６４×６４のブロックのいくつかの３２×３２のブロックのイントラ予測のために、再構築されたサンプルまたは予測されるサンプルが使用され得る、第１の例がここで説明される。図８を参照すると、たとえば、６４×６４のブロック１７０のための左隣接サンプル１８２、左上隣接サンプル１８４および上隣接サンプル１８６が通常、再構築され、左上３２×３２のイントラブロック１７２のイントラ予測においてビデオエンコーダ２０およびビデオデコーダ３０によって使用されるために利用可能となる。
【０１５０】
[0155]  左上ブロック１７２は、イントラ予測モードに応じて、以下の再構築されたサンプルＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]のいずれかを使用してイントラ予測され得る。再構築された左下サンプルとしてｉ＝−１、ｊ＝３２〜６３におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された左隣接サンプル１８２、再構築された左サンプルとしてｉ＝−１、ｊ＝０〜３１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された左隣接サンプル１８２、再構築された左上サンプルとしてｉ＝−１、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された左上隣接サンプル１８４、再構築された上サンプルとしてｉ＝０〜３１、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された上隣接サンプル１８６、および再構築された右上サンプルとしてｉ＝３２〜６３、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う上隣接サンプル１８６。やはり、４つのサブブロック１７２、１７４、１７６、１７８は各々、同じイントラモードを有しており、サブブロックを予測するために使用される、利用可能な再構築されたサンプルおよび／または予測されるサンプルの中からの特定のサンプルは、選択されたイントラモードに依存することになる。
【０１５１】
[0156]  一般に、ビデオエンコーダ２０およびビデオデコーダ３０によって使用され得る予測される参照サンプル、すなわち、特定の３２×３２のブロックのイントラ予測に利用可能である予測されるサンプルを定義するために、ＰｒｅｄＳａｍｐｌｅ［ｘ]［ｙ]を６４×６４のブロックの予測されるサンプルとし、ｘ＝０〜ｘ＝６３、ｙ＝０〜ｙ＝６３であり、ｘおよびｙは、６４×６４のブロック１７０のｘ＝０、ｙ＝０における左上サンプルに対するサンプルの、それぞれ垂直位置および水平位置である。
【０１５２】
[0157]  他の３つの３２×３２のブロック、すなわち、ブロック１７４、１７６および１７８の各々のために、利用可能な再構築された隣接サンプルのほかに、６４×６４のブロックの先行する３２×３２のブロック（すなわち、以前予測された３２×３２のブロック）の予測されるサンプルＰｒｅｄＳａｍｐｌｅ［ｉ]［ｊ]も、イントラ予測処理において隣接サンプルとして使用され得る。予測されるサンプルは、３２×３２のブロックが存在する６４×６４のブロックがコーディングされている最中であるので、予測されるがまだ再構築されないことがある。
【０１５３】
[0158]  右上３２×３２のイントラブロック１７４をイントラ予測するために、イントラ予測のためにビデオエンコーダ２０およびビデオデコーダ３０にとって利用可能な参照サンプルは、右上３２×３２のイントラブロック１７４の上に存在する再構築された上隣接サンプル１８６の一部分、および（図８に部分的に示されている）再構築された右上隣接サンプル１８８の一部分のほか、左上３２×３２のイントラブロック１７２のイントラ予測された左隣接サンプル１９０を含むことができる。左下３２×３２のイントラブロック１７６の予測サンプル１９８は、右上３２×３２のイントラブロック１７４が予測されている最中に予測されていない場合に、左下サンプルとして使用するのに利用可能ではないことがある。
【０１５４】
[0159]  したがって、いくつかの例では、右上３２×３２のイントラブロック１７４は、左下サンプルを使用せずにイントラ予測され得る。この場合、いくつかのイントラモードのために、ビデオエンコーダ２０およびビデオデコーダ３０は、右上３２×３２のイントラブロック１７４を、再構築された隣接サンプル、再構築された参照サンプルの代わりにイントラ予測された左隣接サンプル１９０、または再構築された隣接参照サンプルとともにイントラ予測された左隣接サンプル１９０を使用して、イントラ予測することができる。したがって、右上３２×３２のイントラブロック１７４をイントラ予測するために利用可能である予測される隣接サンプルは、コーディング順序で右上３２×３２のイントラブロックに先行する左上３２×３２のイントラブロック１７２からのものである。各場合において、イントラ予測に利用可能な再構築されたサンプルまたは予測されるサンプルは、右上３２×３２のイントラブロック１７４に隣接する。
【０１５５】
[0160]  第２の右上３２×３２のブロック１７４を予測するとき、再構築されたサンプルを伴うＨＥＶＣの場合と同じ相対位置における３２×３２のブロックのためのイントラ予測を実行するのと同様の簡単な方法で、ｉ＝３１、ｊ＝０〜３１によるＰｒｅｄＳａｍｐｌｅ［ｉ]［ｊ]が左隣接サンプルとして使用される。この場合、左上ブロック１７２のために予測された、ｉ＝３１、ｊ＝０〜３１におけるＰｒｅｄＳａｍｐｌｅ［ｉ]［ｊ]を伴う予測されるサンプル１９０が、右上ブロック１７４のイントラ予測のための左隣接サンプルとして働く。右上３２×３２のブロック１７４の場合、左上サンプルは、ｉ＝３１、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプルであり得、上サンプルは、ｉ＝３２〜６３、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴うサンプルであり、右上サンプルは、ｉ＝６４〜９５、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴うサンプルであり、これらのすべてが、６４×６４のブロック１７０の上の、以前コーディングされた（たとえば、ラスタ順序で以前コーディングされた）隣接ブロックから入手可能であり得る。
【０１５６】
[0161]  左下３２×３２のイントラブロック１７６をイントラ予測するために、イントラ予測のためにビデオエンコーダ２０およびビデオデコーダ３０にとって利用可能な参照サンプルは、左サンプルとして左下３２×３２のイントラブロック１７６の左に存在する再構築された左隣接サンプル１８２の一部分、左上サンプルとして左下３２×３２のイントラブロック１７６の左上に存在する再構築された左隣接サンプル１８２の一部分のほか、上サンプルとして左上３２×３２のイントラブロック１７２のイントラ予測された上隣接サンプル１９２、および右上サンプルとして右上３２×３２のイントラブロック１７４のイントラ予測された右上サンプル１９６を含むことができる。この場合、いくつかのイントラモードのために、ビデオエンコーダ２０およびビデオデコーダ３０は、左下３２×３２のイントラブロック１７６を、イントラモードに応じて、再構築された隣接サンプル、再構築された参照サンプルの代わりにイントラ予測された上隣接サンプル１９２、１９６、または再構築された隣接サンプルとともにイントラ予測された隣接サンプル１９２、１９６を使用して、イントラ予測することができる。左下３２×３２のイントラブロック１７６をイントラ予測するために利用可能であるイントラ予測された隣接サンプルは、コーディング順序で左下３２×３２のイントラブロックに先行する、左上３２×３２のイントラブロック１７２および右上３２×３２のイントラブロック１７４からのものである。
【０１５７】
[0162]  第３の左下３２×３２のブロック１７６を予測するとき、再構築されたサンプルを伴うＨＥＶＣの場合と同じ相対位置における３２×３２のブロックのためのイントラ予測を実行するのと同様の簡単な方法で、ｉ＝０〜３１、ｊ＝３１によるＰｒｅｄＳａｍｐｌｅ［ｉ]［ｊ]が上隣接サンプルとして使用され、ｉ＝３２〜６３、ｊ＝３１によるＰｒｅｄＳａｍｐｌｅ［ｉ]［ｊ]が右上隣接サンプルとして使用される。この場合、左上ブロック１７２のために予測された、左下ブロック１７６に隣接するｉ＝０〜３１、ｊ＝３１による予測されるサンプル１９２が、左下ブロック１７６のイントラ予測のための上隣接サンプルとして働き、右上ブロック１７４のために予測された、左下ブロック７１６に隣接するｉ＝３２〜６３、ｊ＝３１による予測されるサンプル１９６が、左下ブロック１７６のイントラ予測のための右上隣接サンプルとして働く。左下３２×３２のブロック１７６の場合、左上サンプルは、ｉ＝−１、ｊ＝３１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプルであり得、左サンプルは、ｉ＝−１、ｊ＝３２〜６３におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴うサンプルであり、これらのすべてが、６４×６４のブロック１７０の左の、以前コーディングされた（たとえば、ラスタ順序で以前コーディングされた）ブロックから入手可能であり得る。
【０１５８】
[0163]  右下３２×３２のイントラブロック１７８をイントラ予測するために、イントラ予測のためにビデオエンコーダ２０およびビデオデコーダ３０にとって利用可能な参照サンプルは、３２×３２の隣接ブロックからの予測される隣接サンプルだけを含むことができる。たとえば、右下３２×３２のイントラブロック１７８のイントラ予測のためにビデオエンコーダ２０およびビデオデコーダ３０にとって利用可能な参照サンプルは、再構築されたサンプルを含まないことがあり、代わりに、左上３２×３２のイントラブロック１７２からの予測される左上隣接サンプル１９４と、右上３２×３２のイントラブロック１７４からの予測される上隣接サンプル１９６と、左下３２×３２のイントラブロック１７６からの予測される左隣接サンプル１９８とを含むことができる。
【０１５９】
[0164]  第４の右下３２×３２のブロックを予測するとき、再構築されたサンプルを伴うＨＥＶＣの場合と同じ相対位置における３２×３２のブロックのためのイントラ予測を実行するのと同様の簡単な方法で、それぞれ、ＰｒｅｄＳａｍｐｌｅ［３１]［３１]が左上隣接サンプルとして使用され、ｉ＝３１、ｊ＝３２．．６３におけるＰｒｅｄＳａｍｐｌｅ［ｉ]［ｊ]を伴う予測サンプルが左隣接サンプルとして使用され、ｉ＝３２．．６３、ｊ＝３１におけるＰｒｅｄＳａｍｐｌｅ［ｉ]［ｊ]を伴う予測サンプルが上隣接サンプルとして使用される。この例では、右下３２×３２のイントラブロック１７８の場合、ブロック１７２、１７４、１７６からの予測される隣接サンプルが使用される。したがって、一例では、右下３２×３２のイントラブロック１７８のイントラ予測のために、再構築された隣接サンプルは使用されず、予測される隣接サンプルだけが使用される。また、右下３２×３２のイントラブロック１７８は、左下または右上の参照サンプルを使用せずに予測され得る。
【０１６０】
[0165]  この場合、ビデオエンコーダ２０およびビデオデコーダ３０は、右下３２×３２のイントラブロック１７８を、再構築された参照サンプルの代わりに、６４×６４のブロックの３２×３２の隣接ブロックからのイントラ予測された隣接サンプルだけを使用してイントラ予測する。したがって、この例では、再構築された参照サンプルが、右下３２×３２のイントラブロック１７８のイントラ予測のためにビデオエンコーダ２０およびビデオデコーダ３０によって使用されることはない。代わりに、コーディング順序で右下３２×３２のイントラブロック１７８に先行する３２×３２のイントラブロック１７２、１７４、１７６からの予測される隣接サンプルだけが使用される。
【０１６１】
[0166]  ６４×６４のイントラブロック１７０の３２×３２のブロック１７２、１７４、１７６、１７８の各々に関して、利用可能な予測される参照サンプルおよび／または再構築された参照サンプルからビデオエンコーダ２０およびビデオデコーダ３０によって選択された特定の参照サンプルは、３２×３２のイントラブロックをコーディングするために選択された特定のイントラモードに依存することになる。６４×６４のブロックを４つの３２×３２のブロックに分割することによって、イントラ予測処理は簡易化され得る。いくつかの例では、より小さいブロックを処理することで、ビデオエンコーダ２０またはビデオデコーダ３０におけるメモリバッファ要件を低減することができる。
【０１６２】
[0167]  第２の例では、予測される隣接サンプルを使用することに対する代替として、現在の６４×６４のブロック１７０に隣接する再構築された隣接サンプルＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]だけが、すべての４つの３２×３２のブロック１７２、１７４、１７６、１７８を予測するために使用される。この例では、ブロック１７２、１７４、１７６からの予測されるサンプルが、ブロック１７４、１７６および１７８をイントラ予測するために使用されることはない。代わりに、より大きい６４×６４のブロック１７０に隣接する再構築されたサンプルのうちのいくつかが所与の３２×３２のサブブロック１７４、１７６、１７８に隣接しないとしても、６４×６４のブロック１７０に隣接する再構築されたサンプルがブロック１７４、１７６、１７８のイントラ予測のために使用される。
【０１６３】
[0168]  一般に、ビデオエンコーダ２０およびビデオデコーダ３０によって使用され得る、すなわち、特定の３２×３２のブロックのイントラ予測に利用可能である再構築された参照サンプルを定義するために、やはり、ＲｅｃＳａｍｐｌｅ［ｘ]［ｙ]を６４×６４のブロックの再構築された隣接サンプルとし、ｘ＝−１、ｙ＝−１．．６３、またはｘ＝０．．６３、ｙ＝−１であり、ｘおよびｙは、ｘ＝０、ｙ＝０における６４×６４のブロック１７０の左上サンプルに対する再構築されたサンプルの、それぞれ垂直位置および水平位置である。
【０１６４】
[0169]  この第２の例では、第１の左上３２×３２のブロックが、ＨＥＶＣまたは上の第１の例の場合と同じ方法で予測される。すなわち、第１の左上３２×３２のブロックは依然として、たとえば３２×３２のブロックのための、イントラ予測のためにＨＥＶＣにおいて通常使用される同じ処理を使用して予測され得る。特に、第１の左上３２×３２のイントラブロック１７２をイントラ予測するとき、ビデオエンコーダ２０およびビデオデコーダ３０は、以下の再構築された隣接サンプルＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]のいずれかを使用することができる。再構築された左下サンプルとしてｉ＝−１、ｊ＝３２〜６３におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された左サンプル１８２、再構築された左サンプルとしてｉ＝−１、ｊ＝０〜３１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された左サンプル１８２、再構築された左上サンプルとしてｉ＝−１、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された左上サンプル１８４、再構築された上サンプルとしてｉ＝０〜３１、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された上サンプル１８６、および再構築された右上サンプルとしてｉ＝３２〜６３、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された上サンプル１８６。
【０１６５】
[0170]  他の３つの３２×３２のブロック（右上ブロック１７４、左下ブロック１７６および右下ブロック１７８）の各々のために、そのようなブロックに実際に隣接する再構築されたサンプル（たとえば、右上ブロック１７４に隣接する再構築された左上、上および右上のサンプル、ならびに左下ブロック１７６に隣接する再構築された左および左上のサンプルが該当するが、右下ブロック１７８に隣接する再構築されたサンプルは該当しない）のほかに、追加の再構築されたサンプルＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]も、以下で説明されるようにイントラ予測処理において参照サンプルとして使用される。
【０１６６】
[0171]  第２の右上３２×３２のブロック１７４を予測するとき、ｉ＝−１、ｊ＝０〜３１による再構築されたサンプルＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]が、これらの再構築されたサンプルが右上３２×３２のイントラブロック１７４に隣接しない、すなわち直接隣接しないとしても、右上３２×３２のイントラブロック１７４のイントラ予測のために左サンプルとしてビデオエンコーダ２０およびビデオデコーダ３０によって使用される。ビデオエンコーダ２０およびビデオデコーダ３０はまた、右上３２×３２のイントラブロック１７４のための再構築された左下サンプルとして、ｉ＝−１、ｊ＝３２〜６３におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された左サンプル１８２を使用することができる。やはり、再構築された左サンプルと同様に、これらの再構築された左下サンプルは、右上３２×３２のイントラ予測ブロック１７４に隣接しない、すなわち直接隣接しない。
【０１６７】
[0172]  隣接しない（non-neighboring）、すなわち隣接しない（non-adjacent）再構築されたサンプルに加えて、ビデオエンコーダ２０およびビデオデコーダ３０は、６４×６４のブロック１７０の右上３２×３２のイントラブロック１７４に実際に隣接する（neighbor）、すなわち隣接する（adjacent）再構築されたサンプルを使用することができる。たとえば、右上３２×３２のイントラブロック１７４のイントラ予測のために使用され得る他の再構築されたサンプルとしては、再構築された左上サンプルとしてｉ＝３１、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８６の一部分、再構築された上サンプルとしてｉ＝３２〜６３、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８６、および再構築された右上サンプルとしてｉ＝６４〜９５、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８８の一部分がある。したがって、６４×６４のイントラブロック１７０の右上３２×３２のイントラブロック１７４をイントラ予測するために、ビデオエンコーダ２０およびビデオデコーダ３０は、３２×３２のブロック１７４の上に隣接する（neighbor）、すなわち隣接する（adjacent）再構築されたサンプルと、６４×６４のブロックの左に隣接するが、３２×３２のブロック１７４の左に隣接しない再構築されたサンプルとを使用することができる。
【０１６８】
[0173]  ６４×６４のブロック１７０の第３の左下３２×３２のブロック１７６を予測するとき、ｉ＝−１、ｊ＝３２〜６３におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築された隣接サンプル１８２が、左隣接サンプルとしてビデオエンコーダ２０およびビデオデコーダ３０によって使用される。この例では、ｉ＝−１、ｊ＝３１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う隣接再構築サンプル１８２は、左下３２×３２のイントラブロック１７６のためのイントラ予測のために、再構築された左上隣接サンプルとして使用され得る。したがって、イントラ予測のために使用される再構築されたサンプルのうちのいくつかは、６４×６４のブロック１７０と左下３２×３２のイントラブロックの両方に隣接し得る。
【０１６９】
[0174]  加えて、ビデオエンコーダ２０およびビデオデコーダ３０は、６４×６４のブロック１７０に隣接するが、左下３２×３２のイントラブロック１７６に隣接しない、すなわち直接隣接しない再構築されたサンプルを、そのブロックのイントラ予測のために使用することができる。たとえば、６４×６４のブロック１７０の第３の左下３２×３２のブロック１７６をイントラ予測するとき、ｉ＝０〜３１、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８６が、イントラ予測のために再構築された上サンプルとしてビデオエンコーダ２０およびビデオデコーダ３０によって使用され得る。加えて、ｉ＝３２〜６３、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８６が、左下３２×３２のイントラブロック１７６のために再構築された右上サンプルとしてビデオエンコーダ２０およびビデオデコーダ３０によって使用され得る。したがって、６４×６４のイントラブロック１７０の左下３２×３２のイントラブロック１７６をイントラ予測するために、ビデオエンコーダ２０およびビデオデコーダ３０は、特定のイントラモードに応じて、３２×３２のブロック１７６の左に隣接する（neighbor）、すなわち隣接する（adjacent）再構築されたサンプルと、６４×６４のブロック１７０の上に隣接するが、左下３２×３２のブロック１７６の上に隣接しない再構築された隣接サンプルとを使用することができる。
【０１７０】
[0175]  第４の右下３２×３２のブロック１７８を予測するとき、ビデオエンコーダ２０およびビデオデコーダ３０は、この３２×３２のブロックに隣接しない、すなわち直接隣接しない再構築サンプルを使用することができる。たとえば、ビデオエンコーダ２０およびビデオデコーダ３０は、次のように、６４×６４のブロック１７０に隣接するが、３２×３２のブロック１７８に隣接しない、右下３２×３２のブロック１７８のための再構築された隣接サンプルを使用することができる。ｉ＝−１およびｊ＝３１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８２が、左上サンプルとして使用され得、ｉ＝−１、ｊ＝３２〜６３におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８２が、左サンプルとして使用され得、ｉ＝３２〜６３、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８６が、上サンプルとして使用され得る。いくつかの例では、右下３２×３２のブロック１７８のために、ビデオエンコーダ２０およびビデオデコーダ３０はまた、右上サンプルとしてｉ＝６４〜９５、ｊ＝−１におけるＲｅｃＳａｍｐｌｅ［ｉ]［ｊ]を伴う再構築されたサンプル１８８の一部分を使用することができる。
【０１７１】
[0176]  上の第１および第２の例の各々について、ビデオエンコーダ２０は、コーディングされた６４×６４のブロックのピクセルとイントラ予測サンプルの対応する４つの３２×３２の予測ブロックとの間の差分を示す残差データを生成することができる。残差データは、通常の残差コーディングの場合、元の６４×６４のブロックのピクセルと、４つの３２×３２の予測されるブロックの対応する予測サンプルとの間のサンプルごとの差分を示す複数の残差値を含むことができる。代替的に、ＳＤＣの場合、残差データは、元の６４×６４のブロックにおけるピクセルの平均値と、４つの３２×３２の予測されるブロックの予測サンプルの平均値との間の差分、または代替的に、元の６４×６４のブロックにおけるピクセルの平均値と、予測される左上ブロック１７２の左上ピクセルと、予測される右上ブロック１７４の右上ピクセルと、予測される左下ブロック１７６の左下ピクセルと、予測される右下ブロック１７８の右下ピクセルとを含む４つの予測サンプルの平均値との間の差分を表す単一のデルタＤＣ値であり得る。いずれの場合も、ビデオエンコーダ２０は、６４×６４のブロックのためのイントラコーディングモードを示すシンタックス情報と６４×６４のブロックのための残差データとを符号化することができる。ビデオデコーダ３０は、シンタックス情報を使用して６４×６４のブロックを予測し、残差を予測されるブロックと加算することによってブロックを再構築することができる。イントラＳＤＣ６４×６４モードが示されるとき、ビデオデコーダ３０は、深度データのイントラＳＤＣ６４×６４のブロックを、４つの３２×３２のイントラ予測されたサブブロックとして処理することができる。このようにして、基本的に、６４×６４のブロックの予測は、４つの３２×３２のサブブロックで処理されるが、残差は、６４×６４のブロックに対して計算され、イントラ予測モードも、３２×３２のサブブロックの代わりに、６４×６４のブロックについてシグナリングされる。たとえば、６４×６４のイントラＳＤＣモードを示すシンタックス情報と、６４×６４のブロックのピクセル値と３２×３２のブロックのイントラ予測されたサンプルとの間の差分を示す残差データとを、エンコーダ２０は符号化することができ、デコーダ３０は復号することができる。
【０１７２】
[0177]  上の第１および第２の例の各々において、ＳＤＣが適用されるとき、変換は要求されない。そのため、より一般的に、そのような方法が通常の残差コーディングによる非ＳＤＣイントラ予測にも適用される場合、本方法は、変換が適用される場合に、最大変換サイズがイントラ予測ブロックサイズ、たとえば３２×３２よりも大きくないケースにだけ適用される。たとえば、追加として、上の方法は、深度コーディングのための３Ｄ−ＨＥＶＣにおける通常の６４×６４のイントラ予測を可能にするために使用され得るが、３２×３２以下の変換サイズによりコーディングすることに限定され得る。
【０１７３】
[0178]  図９は、本開示の例による、６４×６４のイントラ深度ブロックを符号化するための方法を示す流れ図である。図９の例では、ビデオエンコーダ２０は、たとえば、３Ｄ−ＨＥＶＣ処理において、深度ブロックを符号化するためのイントラＳＤＣ６４×６４モードを選択する（２００）。イントラ６４×６４モードが選択されたとき、ビデオエンコーダ２０は、本開示で説明されるように、６４×６４のイントラブロックのための４つの３２×３２のブロック、すなわちサブブロックを使用して、６４×６４のブロックをイントラ予測する（２０２）。次いでビデオエンコーダ２０は、元の６４×６４のブロックのピクセルと４つの３２×３２の予測されたサブブロックのイントラ予測サンプルとの間の差分を示す残差データを生成し（２０４）、イントラ６４×６４のブロックを、６４×６４のブロックのためのイントラ予測モードおよび残差データに基づいて符号化する（２０６）。たとえば、ビデオエンコーダ２０は、６４×６４の深度ブロックのための６４×６４イントラモード、ひいては、３２×３２のサブブロックの各々のためのサンプルを予測するために使用されるイントラモードを示すシンタックス情報と、６４×６４のブロックのための残差データとをシグナリングすることができる。イントラＳＤＣの場合、いくつかの例では、残差データは、６４×６４のブロックまたはそれの区分に対するデルタＤＣ値を備えることができる。デルタＤＣ値は、ビットストリーム中で符号化するために変換または量子化される必要はない。通常の残差コーディングの場合、ビットストリームは、残差データを表す量子化された変換係数を含んだことがある。
【０１７４】
[0179]  図１０は、本開示の例による、６４×６４のイントラ深度ブロックを復号するための方法を示す流れ図である。図１０の例では、ビデオデコーダ２１０は、たとえば、３Ｄ−ＨＥＶＣ処理において、復号されるべき６４×６４の深度ブロックのためのＳＤＣ６４×６４イントラモードを示すシンタックス情報を、符号化されたビデオビットストリームにおいて受信する。ＳＤＣイントラ６４×６４モードを示すシンタックス情報に応答して、ビデオデコーダ３０は、６４×６４の深度ブロックのための４つの３２×３２の深度サブブロックを、たとえば、サブブロックの各々のために同じイントラモードを使用してイントラ予測し（２１２）、６４×６４のブロックのための残差データを受信する（２１４）。たとえば、ビデオデコーダ３０は、ビットストリームから残差データを復号することができる。やはり、残差データは、ＳＤＣによって、変換も量子化も伴わずに、または通常の残差コーディングによって生成され得、通常の残差コーディングの場合、ビデオデコーダ３０は、残差データを取得するために逆量子化と逆変換とを適用することができる。ビデオデコーダ３０は、４つの３２×３２のブロックからのイントラ予測サンプル（intra-prediction sample）および６４×６４のブロックのために受信された残差データ（residual data）に基づいて、６４×６４のイントラコーディングされたブロックの深度データ（depth data）を再構築する（２１６）。
【０１７５】
[0180]  ６４×６４および３２×３２のブロックは、例および例示のために説明されており、他の例では、本開示で説明される技法は、より大きいブロックに適用され得る。たとえば、イントラ１２８×１２８のブロックが４つの６４×６４のブロックとして処理されることがあり、または２５６×２５６のブロックが４つの１２８×１２８のブロックとして処理されることがある。したがって、６４×６４および３２×３２のブロックに適用される概念は、より大きいブロックに適用可能と考えられ得る。
【０１７６】
[0181]  いくつかの例では、３２×３２のブロックのうちの少なくともいくつかのサンプルのイントラ予測のためにビデオエンコーダ２０および／またはビデオデコーダ３０にとって利用可能な参照サンプルは、他の３２×３２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む。別の例として、３２×３２のブロックのうちの少なくともいくつかのサンプルのイントラ予測に利用可能である参照サンプルは、それぞれの３２×３２のブロックに隣接する他の３２×３２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む。別の例として、３２×３２のブロックのうちの少なくともいくつかのサンプルのイントラ予測に利用可能である参照サンプルは、それぞれの３２×３２のブロックに隣接する他の３２×３２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、６４×６４のブロックおよびそれぞれの３２×３２のブロックに隣接する再構築されたサンプルとを含む。
【０１７７】
[0182]  別の例では、３２×３２のブロックのうちの少なくともいくつかのサンプルのイントラ予測のためにビデオエンコーダ２０および／またはビデオデコーダ３０にとって利用可能な参照サンプルは、６４×６４のブロックに隣接する再構築されたサンプルを含む。別の例として、３２×３２のブロックのうちの少なくともいくつかのサンプルのイントラ予測に利用可能である参照サンプルは、６４×６４のブロックに隣接するが、それぞれの３２×３２のブロックに隣接しない再構築されたサンプルを含む。
【０１７８】
[0183]  したがって、様々な例では、ビデオエンコーダ２０またはビデオデコーダ３０は、３２×３２のブロックのサンプルを、他の３２×３２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用してイントラ予測し、３２×３２のブロックのサンプルを、それぞれの３２×３２のブロックに隣接する１つまたは複数の他の３２×３２のブロックからのイントラ予測された参照サンプルを使用してイントラ予測し、３２×３２のブロックのサンプルを、それぞれの３２×３２のブロックに隣接する他の３２×３２のブロックのうちの１つまたは複数からの参照サンプルと、６４×６４のブロックおよびそれぞれの３２×３２のブロックに隣接する再構築されたサンプルとを使用してイントラ予測し、３２×３２のブロックのサンプルを、６４×６４のブロックに隣接する再構築されたサンプルを使用してイントラ予測し、あるいは３２×３２のブロックのサンプルを、６４×６４のブロックに隣接するが、それぞれの３２×３２のブロックに隣接しない再構築されたサンプルを使用してイントラ予測するように構成され得る。
【０１７９】
[0184]  ビデオデコーダ３０は、ビデオコーディングのための深度データを復号する方法を実行し、この方法は、深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する深度データのサンプルをイントラ予測することと、ここにおいて、第２のブロックは、深度データの第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの第１のブロックの左上、右上、左下および右下のブロックに対応する、第１のブロックのピクセル値と第２のブロックのイントラ予測されたサンプルとの間の差分を示す深度データの第１のブロックに関する残差データを受信することと、第２のブロックに関するイントラ予測されたサンプルおよび残差データに基づいて、深度データの第１のブロックを再構築することとを備える。残差データは、いくつかの例では、第１のブロックのピクセル値の平均値と第２のブロックのイントラ予測されたサンプルの平均値との間の差分を示すＤＣ残差データを備えることができる。
【０１８０】
[0185]  ビデオエンコーダ２０は、ビデオコーディングのための深度データを符号化する方法を実行し、この方法は、深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する深度データのサンプルをイントラ予測することと、ここにおいて、第２のブロックは、深度データの第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの第１のブロックの左上、右上、左下および右下のブロックに対応する、第１のブロックのピクセル値と第２のブロックのイントラ予測されたサンプルとの間の差分に基づいて、深度データの第１のブロックに関する残差データを生成することと、イントラ予測モードおよび残差データに基づいて、深度データの第１のブロックを符号化することとを備える。残差データは、いくつかの例では、第１のブロックのピクセル値の平均値と第２のブロックのイントラ予測されたサンプルの平均値との間の差分を示すＤＣ残差データを備えることができる。
【０１８１】
[0186]  本開示で説明された様々なイントラコーディング技法は、ビデオエンコーダ２０（図３および図５）および／またはビデオデコーダ３０（図３および図７）によって実行され得る、その両方が一般にビデオコーダと呼ばれ得る。加えて、ビデオコーディングは一般に、適用可能な場合、ビデオ符号化および／またはビデオ復号を指し得る。
【０１８２】
[0187]  本開示の技法は全般に３Ｄ−ＨＥＶＣに関して説明されたが、本技法はこのように必ずしも限定されない。上で説明された技法は、３Ｄビデオコーディングのための他の現在の規格または将来の規格にも適用可能であり得る。
【０１８３】
[0188]  １つまたは複数の例では、本明細書で説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、たとえば、データ記憶媒体などの有形媒体、または、たとえば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号もしくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明される技法の実施のための命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【０１８４】
[0189]  限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、任意の接続が、コンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびブルーレイディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【０１８５】
[0190]  命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路のような、１つまたは複数のプロセッサによって実施され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれかまたは本明細書で説明された技法の実装に適切な任意の他の構造を指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成されるか、または複合コーデックに組み込まれる、専用のハードウェアモジュールおよび／またはソフトウェアモジュール内で提供され得る。また、本技法は、１つまたは複数の回路または論理素子において完全に実装され得る。
【０１８６】
[0191]  本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々なコンポーネント、モジュール、またはユニットは、開示されている技術を実行するように構成されたデバイスの機能的態様を強調するように本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。そうではなく、上で説明されたように、様々なユニットは、コーデックハードウェアユニット中で組み合わせられるか、または上で説明された１つまたは複数のプロセッサを含む、適切なソフトウェアおよび／またはファームウェアとともに相互動作可能なハードウェアユニットの集合体によって提供され得る。
【０１８７】
[0192]  様々な例が説明されてきた。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオコーディングのための深度データを復号する方法であって、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測することと、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す深度データの前記第１のブロックに関する残差データを受信することと、
前記第２のブロックに関する前記イントラ予測されたサンプルおよび前記残差データに基づいて、深度データの前記第１のブロックを再構築することとを備える、方法。
［Ｃ２］
前記イントラ予測モードがイントラ６４×６４モードであり、前記第１のブロックが６４×６４ピクセルのサイズを有し、前記第２のブロックが３２×３２ピクセルのサイズを各々有する、Ｃ１に記載の方法。
［Ｃ３］
前記イントラ予測モードが、３Ｄ−ＨＥＶＣにおけるイントラセグメントごとのＤＣコーディング（ＳＤＣ）モードである、Ｃ１または２に記載の方法。
［Ｃ４］
前記イントラ予測モードが、イントラセグメントごとのＤＣコーディング（ＳＤＣ）モードではない、Ｃ１または２に記載の方法。
［Ｃ５］
前記残差データが、前記第１のブロックの前記ピクセル値の平均値と前記第２のブロックの前記イントラ予測されたサンプルの平均値との間の差分を示すＤＣ残差データを備える、Ｃ１から４のいずれかに記載の方法。
［Ｃ６］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む、Ｃ１から５のいずれかに記載の方法。
［Ｃ７］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む、Ｃ１から５のいずれかに記載の方法。
［Ｃ８］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、Ｃ１から５のいずれかに記載の方法。
［Ｃ９］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記第１のブロックに隣接する再構築されたサンプルを含む、Ｃ１から５のいずれかに記載の方法。
［Ｃ１０］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記第１のブロックに隣接するが、前記それぞれの第２のブロックに隣接しない再構築されたサンプルを含む、Ｃ１から５のいずれかに記載の方法。
［Ｃ１１］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１から５のいずれかに記載の方法。
［Ｃ１２］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１から５のいずれかに記載の方法。
［Ｃ１３］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からの参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを使用して、前記サンプルをイントラ予測することを備える、Ｃ１から５のいずれかに記載の方法。
［Ｃ１４］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記第１のブロックに隣接する再構築されたサンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１から５のいずれかに記載の方法。
［Ｃ１５］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記第１のブロックに隣接するが、前記それぞれの第２のブロックに隣接しない再構築されたサンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１から５のいずれかに記載の方法。
［Ｃ１６］
ビデオコーディングのための深度データを符号化する方法であって、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測することと、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分に基づいて、深度データの前記第１のブロックに関する残差データを生成することと、
前記イントラ予測モードおよび前記残差データに基づいて、深度データの前記第１のブロックを符号化することとを備える、方法。
［Ｃ１７］
前記イントラ予測モードがイントラ６４×６４モードであり、前記第１のブロックが６４×６４ピクセルのサイズを有し、前記第２のブロックが３２×３２ピクセルのサイズを各々有する、Ｃ１６に記載の方法。
［Ｃ１８］
前記イントラ予測モードが、３Ｄ−ＨＥＶＣにおけるイントラセグメントごとのＤＣコーディング（ＳＤＣ）モードである、Ｃ１６または１７に記載の方法。
［Ｃ１９］
前記イントラ予測モードが、イントラセグメントごとのＤＣコーディング（ＳＤＣ）モードではない、Ｃ１６または１７に記載の方法。
［Ｃ２０］
前記残差データが、前記第１のブロックの前記ピクセル値の平均値と前記第２のブロックの前記イントラ予測されたサンプルの平均値との間の差分を示すＤＣ残差データを備える、Ｃ１６から１９のいずれかに記載の方法。
［Ｃ２１］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２２］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２３］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２４］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記第１のブロックに隣接する再構築されたサンプルを含む、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２５］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記第１のブロックに隣接するが、前記それぞれの第２のブロックに隣接しない再構築されたサンプルを含む、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２６］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２７］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２８］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からの参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを使用して、前記サンプルをイントラ予測することを備える、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ２９］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記第１のブロックに隣接する再構築されたサンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ３０］
前記第２のブロックに関する深度データのサンプルをイントラ予測することが、前記第１のブロックに隣接するが、前記それぞれの第２のブロックに隣接しない再構築されたサンプルを使用して、前記サンプルをイントラ予測することを備える、Ｃ１６から２０のいずれかに記載の方法。
［Ｃ３１］
ビデオコーディングのための深度データをコーディングするためのデバイスであって、
ビデオコーディングのための深度データを記憶するメモリと、
１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測し、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記イントラ予測モード、および前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す前記第１のブロックに関する残差データに基づいて、深度データの前記第１のブロックをコーディングするように構成される、デバイス。
［Ｃ３２］
前記デバイスがビデオデコーダを備え、前記１つまたは複数のプロセッサが、
前記イントラ予測モードを示すシンタックス情報を受信し、
前記残差データを受信し、
深度データの前記第１のブロックをコーディングするために、前記第２のブロックに関する前記イントラ予測されたサンプルおよび前記残差データに基づいて、深度データの前記第１のブロックを再構築するようにさらに構成される、Ｃ３１に記載のデバイス。
［Ｃ３３］
前記デバイスがビデオエンコーダを備え、前記１つまたは複数のプロセッサが、
前記イントラ予測モードを選択し、
前記残差データットを生成し、
深度データの前記第１のブロックをコーディングするために、前記イントラ予測モードおよび前記残差データに基づいて、深度データの前記第１のブロックを符号化するようにさらに構成される、Ｃ３１に記載のデバイス。
［Ｃ３４］
前記イントラ予測モードがイントラ６４×６４モードであり、前記第１のブロックが６４×６４ピクセルのサイズを有し、前記第２のブロックが３２×３２ピクセルのサイズを各々有する、Ｃ３１から３３のいずれかに記載のデバイス。
［Ｃ３５］
前記イントラ予測モードが、３Ｄ−ＨＥＶＣにおけるイントラセグメントごとのＤＣコーディング（ＳＤＣ）モードである、Ｃ３１から３４のいずれかに記載のデバイス。
［Ｃ３６］
前記イントラ予測モードが、イントラセグメントごとのＤＣコーディング（ＳＤＣ）モードではない、Ｃ３１から３４のいずれかに記載のデバイス。
［Ｃ３７］
前記残差データが、前記第１のブロックの前記ピクセル値の平均値と前記第２のブロックの前記イントラ予測されたサンプルの平均値との間の差分を示すＤＣ残差データを備える、Ｃ３１から３６のいずれかに記載のデバイス。
［Ｃ３８］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ３９］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを含む、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４０］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記それぞれの第２のブロックに隣接する他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを含む、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４１］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記第１のブロックに隣接する再構築されたサンプルを含む、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４２］
前記第２のブロックのうちの少なくともいくつかの前記サンプルのイントラ予測に利用可能である参照サンプルが、前記第１のブロックに隣接するが、前記それぞれの第２のブロックに隣接しない再構築されたサンプルを含む、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４３］
前記１つまたは複数のプロセッサが、他の第２のブロックのうちの１つまたは複数からのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測するように構成される、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４４］
前記１つまたは複数のプロセッサが、前記それぞれの第２のブロックに隣接する他の第２のブロックのより多くの１つからのイントラ予測された参照サンプルを使用して、前記サンプルをイントラ予測するように構成される、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４５］
前記１つまたは複数のプロセッサが、前記それぞれの第２のブロックに隣接する他の第２のブロックのより多くの１つからの参照サンプルと、前記第１のブロックおよび前記それぞれの第２のブロックに隣接する再構築されたサンプルとを使用して、前記サンプルをイントラ予測するように構成される、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４６］
前記１つまたは複数のプロセッサが、前記第１のブロックに隣接する再構築されたサンプルを使用して、前記サンプルをイントラ予測するように構成される、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４７］
前記１つまたは複数のプロセッサが、前記第１のブロックに隣接するが、前記それぞれの第２のブロックに隣接しない再構築されたサンプルを使用して、前記サンプルをイントラ予測するように構成される、Ｃ３１から３７のいずれかに記載のデバイス。
［Ｃ４８］
ビデオコーディングのための深度データをコーディングするためのデバイスであって、
３Ｄ−ＨＥＶＣビデオコーディングのための深度データを記憶するための手段と、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測するための手段と、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記イントラ予測モード、および前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す前記第１のブロックに関する残差データに基づいて、深度データの前記第１のブロックをコーディングするための手段とを備える、デバイス。
［Ｃ４９］
ビデオコーディングのための深度データをコーディングするためのデバイスであって、Ｃ１から３０のいずれかに記載の方法を実行するための手段を備える、デバイス。
［Ｃ５０］
ビデオコーダの１つまたは複数のプロセッサに、
３Ｄ−ＨＥＶＣビデオコーディングのための深度データを記憶させ、
深度データの第１のブロックに関するイントラ予測モードのために、第２のブロックに関する前記深度データのサンプルをイントラ予測させ、ここにおいて、前記第２のブロックは、深度データの前記第１のブロックのサイズの１／４である等しいサイズを各々有する４つのブロックを備え、深度データの前記第１のブロックの左上、右上、左下および右下のブロックに対応する、
前記イントラ予測モード、および前記第１のブロックのピクセル値と前記第２のブロックの前記イントラ予測されたサンプルとの間の差分を示す前記第１のブロックに関する残差データに基づいて、深度データの前記第１のブロックをコーディングさせるための命令を備える、非一時的コンピュータ可読記憶媒体。
［Ｃ５１］
ビデオコーダの１つまたは複数のプロセッサに、Ｃ１から３０のいずれかに記載の方法を実行させるための命令を備える、非一時的コンピュータ可読記憶媒体。
【図１】
0006396493.tif 000004
【図２】
0006396493.tif 000005
【図３】
0006396493.tif 000006
【図４】
0006396493.tif 000007
【図５】
0006396493.tif 000008
【図６】
0006396493.tif 000009
【図７】
0006396493.tif 000010
【図８】
0006396493.tif 000011
【図９】
0006396493.tif 000012
【図１０】
0006396493.tif 000013