(57)【特許請求の範囲】
【請求項１】
復号ピクチャバッファ（ＤＰＢ）を用いて、ビデオデータを復号する方法であって、
マルチレイヤビデオコーディングプロセスの複数のオペレーションポイントの各オペレーションポイントについて、復号のために使用されるべき、サブＤＰＢの数を示す第１の指示と、各サブＤＰＢのサブＤＰＢサイズを示す第２の指示と、をビデオパラメータセット中で受信することと、ここにおいて、それぞれのオペレーションポイントは、出力されるべき特定のピクチャのために復号される前記マルチレイヤビデオコーディングプロセスのターゲット出力レイヤのセットおよび最高ｔｅｍｐｏｒａｌＩＤを定義し、
前記第１の指示に基づいて、前記ＤＰＢを前記数のサブＤＰＢに区分することと、
前記複数のオペレーションポイントのうちの１つのオペレーションポイントのための前記第２の指示に基づいて、前記オペレーションポイントのための各サブＤＰＢに対しメモリスペースを割り振ることと、
複数のレイヤのためのピクチャを復号することと、
前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することと、
を備える方法。
【請求項２】
レイヤタイプに従って前記複数のサブＤＰＢの各々を識別するインデックスを導出すること、
をさらに備える、請求項１に記載の方法。
【請求項３】
復号ピクチャバッファ（ＤＰＢ）を用いて、ビデオデータを復号するように構成された装置であって、
マルチレイヤビデオコーディングプロセスの複数のオペレーションポイントの各オペレーションポイントについて、復号のために使用されるべき、サブＤＰＢの数を示す第1の指示と、各サブＤＰＢのサブＤＰＢサイズを示す第２の指示とをビデオパラメータセット中で受信するための手段と、ここにおいて、それぞれのオペレーションポイントは、出力されるべき特定のピクチャのために復号される前記マルチレイヤビデオコーディングプロセスのターゲット出力レイヤのセットおよび最高ｔｅｍｐｏｒａｌＩＤを定義し、
前記第１の指示に基づいて、前記ＤＰＢを前記数のサブＤＰＢに区分するための手段と、
前記複数のオペレーションポイントのうちの１つのオペレーションポイントのための前記第２の指示に基づいて、前記オペレーションポイントのための各サブＤＰＢに対しメモリスペースを割り振るための手段と、
複数のレイヤのためのピクチャを復号するための手段と、
前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶するための手段と、
を備える装置。
【請求項４】
ビデオデータを符号化する方法であって、
複数の異なるレイヤタイプの複数のピクチャを符号化することと、
前記複数の異なるレイヤタイプの前記複数のピクチャを再構成することと、
前記複数のピクチャを復号ピクチャバッファ（ＤＰＢ）に記憶することと、ここにおいて、前記ＤＰＢは複数のサブＤＰＢに区分され、
マルチレイヤビデオコーディングプロセスの複数のオペレーションポイントの各オペレーションポイントについて、復号のために使用されるべき前記サブＤＰＢの数を示す第1の指示と、各サブＤＰＢのサブＤＰＢサイズを示す第２の指示をビデオパラメータセット中に生成することと、ここにおいて、それぞれのオペレーションポイントは、出力されるべき特定のピクチャのために復号される前記マルチレイヤビデオコーディングプロセスのターゲット出力レイヤのセットおよび最高ｔｅｍｐｏｒａｌＩＤを定義する、
を備える方法。
【請求項５】
前記複数のサブＤＰＢの各々は、前記マルチレイヤビデオコーディングプロセスにおける複数の異なるレイヤタイプのうちの１つのためのピクチャを記憶するように構成され、前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することは、前記それぞれのピクチャのレイヤタイプに従って前記複数のレイヤの各々のためのピクチャを前記サブＤＰＢのうちの特定の１つに記憶することを備える、請求項１に記載の方法。
【請求項６】
出力時間に従って前記複数のサブＤＰＢに記憶された前記ピクチャを出力することと、ここにおいて、同じ出力時間を有するサブＤＰＢ中のピクチャは同時に出力され、
前記複数のサブＤＰＢの各々中の前記ピクチャに対してマーキングプロセスを独立して実行することと、ここにおいて、前記マーキングプロセスは、ピクチャを参照のために使用されるとマークするか、または前記ピクチャを参照のために使用されないとマークし、
前記複数のサブＤＰＢから、出力のためにもはや必要とされず、参照のために使用されないとマークされたピクチャを削除することと、
をさらに備える、請求項５に記載の方法。
【請求項７】
空間解像度、ビット深度、またはカラーフォーマットのうちの少なくとも１つによって前記レイヤタイプを決定すること、
をさらに備える、請求項５に記載の方法。
【請求項８】
前記マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである、請求項５に記載の方法。
【請求項９】
前記第２の指示は、前記サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、前記サブＤＰＢサイズはピクチャの数である、請求項１に記載の方法。
【請求項１０】
前記第２の指示は、前記複数のオペレーションポイントの各オペレーションポイントのためのサブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である、請求項１に記載の方法。
【請求項１１】
ビデオデータを符号化するように構成された装置であって、
複数の異なるレイヤタイプの複数のピクチャを符号化するための手段と、
前記複数の異なるレイヤタイプの前記複数のピクチャを再構成するための手段と、
前記複数のピクチャを復号ピクチャバッファ（ＤＰＢ）に記憶するための手段と、ここにおいて、前記ＤＰＢは複数のサブＤＰＢに区分され、
マルチレイヤビデオコーディングプロセスの複数のオペレーションポイントの各オペレーションポイントについて、復号のために使用されるべき前記複数のサブＤＰＢの数を示す第1の指示と、各サブＤＰＢのサブＤＰＢサイズを示す第２の指示とをビデオパラメータセット中に生成するための手段と、ここにおいて、それぞれのオペレーションポイントは、出力されるべき特定のピクチャのために復号される前記マルチレイヤビデオコーディングプロセスのターゲット出力レイヤのセットおよび最高ｔｅｍｐｏｒａｌＩＤを定義する、
を備える装置。
【請求項１２】
前記複数のサブＤＰＢの各々は、前記マルチレイヤビデオコーディングプロセスにおける複数の異なるレイヤタイプのうちの１つのためのピクチャを記憶するように構成され、前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することは、前記それぞれのピクチャのレイヤタイプに従って前記複数のレイヤの各々のためのピクチャを前記サブＤＰＢのうちの特定の１つに記憶することを備える、請求項４に記載の方法。
【請求項１３】
前記マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである、請求項１２に記載の方法。
【請求項１４】
前記第２の指示は、前記サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、前記サブＤＰＢサイズはピクチャの数である、請求項４に記載の方法。
【請求項１５】
前記第２の指示は、前記複数のオペレーションポイントの各オペレーションポイントのためのサブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である、請求項４に記載の方法。
【請求項１６】
実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、請求項４、１２−１５のうちのいずれか一項に記載の方法を実行させる命令を記憶するコンピュータ可読媒体。
【発明の詳細な説明】
【優先権の主張】
【０００１】
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１３年７月１５日に出願された米国仮特許出願第６１／８４６，５７６号の利益を主張する。
【技術分野】
【０００２】
本開示は、ビデオコーディングのための技法に関し、より詳細には、マルチレイヤビデオコーディングのための技法に関する。
【背景技術】
【０００３】
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信、受信および記憶するための、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）によって定義された規格、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。
【０００４】
[0004]Ｈ．２６４／ＡＶＣを含む、上述の規格のうちのいくつかの拡張が、マルチレイヤビデオコーディングのための技法を提供する。マルチレイヤビデオコーディング技法は、スケーラブルビデオコーディング技法と、マルチビュービデオコーディング技法と、マルチビュー＋深度（multi-view plus depth）ビデオコーディング技法とを含み得る。ステレオビデオまたは３次元（「３Ｄ」）ビデオを生成するために、たとえば、マルチビューコーディングのための技法が、（Ｈ．２６４／ＡＶＣに対するスケーラブル拡張である）スケーラブルビデオコーディング（ＳＶＣ：scalable video coding）規格、および（Ｈ．２６４／ＡＶＣに対するマルチビュー拡張になっている）マルチビュービデオコーディング（ＭＶＣ：multi-view video coding）規格とともに、ＡＶＣにおいて使用するために提案されている。
【発明の概要】
【０００５】
[0005]概して、本開示では、マルチレイヤビデオコーディングのための技法について説明する。特に、本開示は、マルチレイヤビデオコーディングのための復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）管理に関する。
【０００６】
[0006]本開示の一例では、ビデオデータを復号する方法は、復号ピクチャバッファ（ＤＰＢ）を複数のサブＤＰＢに区分することと、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイント（operation point）のための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信することとを備える。
【０００７】
[0007]本開示の別の例では、ビデオデータを復号するように構成された装置は、ビデオデータを記憶するように構成されたＤＰＢと、ＤＰＢを複数のサブＤＰＢに区分することと、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信することとを行うように構成されたビデオデコーダとを備える。
【０００８】
[0008]本開示の別の例では、ビデオデータを復号するように構成された装置は、ＤＰＢを複数のサブＤＰＢに区分するための手段と、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信するための手段とを備える。
【０００９】
[0009]別の例では、本開示では、実行されたとき、ビデオデータを復号するように構成されたデバイス１つまたは複数のプロセッサに、ＤＰＢを複数のサブＤＰＢに区分することと、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信することとを行わせる命令を記憶するコンピュータ可読記憶媒体について説明する。
【００１０】
[0010]本開示の別の例では、ビデオデータを符号化する方法は、複数の異なるレイヤタイプの複数のピクチャを再構成することと、複数のピクチャをＤＰＢに記憶することと、ここにおいて、ＤＰＢが複数のサブＤＰＢに区分される、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成することとを備える。
【００１１】
[0011]本開示の別の例では、ビデオデータを符号化するように構成された装置は、ビデオデータを記憶するように構成されたＤＢＰと、複数の異なるレイヤタイプの複数のピクチャを再構成することと、複数のピクチャをＤＰＢに記憶することと、ここにおいて、ＤＰＢが複数のサブＤＰＢに区分される、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成することとを行うように構成されたビデオエンコーダとを備える。
【００１２】
[0012]本開示の別の例では、ビデオデータを符号化するように構成された装置は、複数の異なるレイヤタイプの複数のピクチャを再構成するための手段と、複数のピクチャをＤＰＢに記憶するための手段と、ここにおいて、ＤＰＢが複数のサブＤＰＢに区分される、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成するための手段とを備える。
【００１３】
[0013]別の例では、本開示では、実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、複数の異なるレイヤタイプの複数のピクチャを再構成することと、複数のレイヤピクチャをＤＰＢに記憶することと、ここにおいて、ＤＰＢが複数のサブＤＰＢに区分される、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成することとを行わせる命令を記憶するコンピュータ可読媒体について説明する。
【００１４】
[0014]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１５】
【図１】本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図２】例示的なマルチビュー復号順序を示す概念図。
【図３】マルチビューコーディングのための例示的な予測構造を示す概念図。
【図４】例示的なスケーラブルビデオコーディングレイヤを示す概念図。
【図５】本開示の例による例示的なＤＰＢを示す概念図。
【図６】本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。
【図７】本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。
【図８】本開示の技法による例示的な符号化方法を示すフローチャート。
【図９】本開示の技法による例示的な復号方法を示すフローチャート。
【発明を実施するための形態】
【００１６】
[0024]概して、本開示では、マルチレイヤビデオコーディングにおける復号ピクチャバッファ（ＤＰＢ）の管理のための技法について説明する。特に、本開示では、（サブＤＰＢとも呼ばれる）ＤＰＢのサブユニットの管理のための様々な技法について説明する。以下でより詳細に説明するように、本開示の様々な例では、ＤＢＰは複数のサブＤＰＢに区分され得、各サブＤＰＢは、復号ビデオデータのレイヤの１つのタイプのピクチャを保持するように構成され得る。
【００１７】
[0025]本開示のコンテキストでは、レイヤは、スケーラブルビデオコーディングプロセスにおけるベースレイヤあるいは１つまたは複数のエンハンスメントレイヤであり得る。例示的なスケーラブルビデオコーディングプロセスは、Ｈ．２６４／ＳＶＣ（スケーラブルビデオコーディング）、およびスケーラブルＨＥＶＣ（ＳＨＶＣ）など、高効率ビデオコーディング（ＨＥＶＣ）規格のスケーラブル拡張を含む。さらに、レイヤは、マルチビューまたは３Ｄビデオコーディングにおける１つまたは複数のテクスチャビューを指し得る。さらに、３Ｄビデオコーディングにおける深度ビューもレイヤと見なされ得る。別の例として、レイヤは、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を含むシングルビューに対応し得る。例示的なマルチビューコーディングプロセスは、Ｈ．２６４／ＭＶＣ（マルチビューコーディング）、およびマルチビューＨＥＶＣ（ＭＶ−ＨＥＶＣ）など、ＨＥＶＣ規格のマルチビュー拡張を含む。
【００１８】
[0026]したがって、「レイヤ」という用語は、本開示では、概して、スケーラブルビデオコーディングの意味ではベースレイヤおよび／またはエンハンスメントレイヤを指し、３Ｄおよびマルチビュービデオコーディングの意味ではテクスチャはビューおよび／または深度ビューを指すために使用される。したがって、マルチレイヤビデオコーディングという用語は、概して、スケーラブルビデオコーディング技法と、マルチビュービデオコーディング技法と、マルチビュー＋深度コーディングを含む３Ｄビデオコーディング技法とを指す。本開示の技法は、マルチビュー拡張、３Ｄビデオ拡張、ならびにＨＥＶＣおよび／またはＨ．２６４／ＡＶＣのスケーラブル拡張を含む、そのようなビデオコーディングシナリオに適用され得る。
【００１９】
[0027]以下で説明する技法は、深度マップを用いたピクチャの２つまたはそれ以上のビューのコーディングを含む、アドバンストコーデックに基づく、スケーラブル、マルチビューおよび３Ｄビデオコーディング技法に適用され得る。ビデオコーディング規格は、ＩＴＵ−Ｔ  Ｈ．２６１と、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６３と、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌと、それのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４とを含む。さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発された。ＨＥＶＣ規格は、ＩＴＵ−Ｔ  Ｈ．２６５、ＳＥＲＩＥＳ  Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ  ＡＮＤ  ＭＵＬＴＩＭＥＤＩＡ  ＳＹＳＴＥＭＳ、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  ｏｆ  Ａｕｄｉｏｖｉｓｕａｌ  Ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｖｉｄｅｏ、「High Efficiency Video Coding」、２０１３年４月（以下、「ＨＥＶＣ」）に記載されている。
【００２０】
[0028]ＨＥＶＣに対する様々な拡張が提案されている。１つのそのような拡張はＨＥＶＣ範囲拡張であり、ＨＥＶＣ範囲拡張は、「High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 4」、ＪＣＴＶＣ−Ｎ１００５＿ｖ１、２０１３年４月（以下、「ＪＣＴＶＣ−Ｎ１００５」）に記載されている。「 High efficiency video coding (HEVC) scalable extension draft 3」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１４回会議：Ｖｉｅｎｎａ、ＡＴ、２０１３年７月２５日〜８月２日と題し、以下でＳＨＶＣ  ＷＤ３と呼ばれる、スケーラブルＨＥＶＣ（ＳＨＶＣ）規格の最近のワーキングドラフト（ＷＤ）は、http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zipから入手可能である。また、ＨＥＶＣに対するマルチビュー拡張、すなわちＭＶ−ＨＥＶＣがＪＣＴ−３Ｖによって開発されている。ＭＶ−ＨＥＶＣの１つのワーキングドラフト（以下ＷＤ４）は、http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v3.zipから入手可能である。「MV-HEVC Draft Text 8」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張、第８回会議：Ｖａｌｅｎｃｉａ、ＥＳ、２０１４年３月２９日〜４月４日と題する、ＭＶ−ＨＥＶＣのより最近のワーキングドラフトは、http://phenix.it-sudparis.eu/jct3v/doc_end_user/documents/8_Valencia/wg11/JCT3V-H0002-v1.zip.から入手可能である。
【００２１】
[0029]図１は、本開示で説明するマルチレイヤビデオコーディングにおける復号ピクチャバッファ管理のための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
【００２２】
[0030]宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【００２３】
[0031]代替的に、符号化データは、出力インターフェース２２からストレージデバイス３４に出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイス３４からアクセスされ得る。ストレージデバイス３４は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３４は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３４から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイス３４からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
【００２４】
[0032]マルチレイヤビデオ復号における復号ピクチャバッファ管理のための本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００２５】
[0033]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。
【００２６】
[0034]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３４上に記憶され得る。
【００２７】
[0035]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス３４上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０など、ビデオデコーダが使用するためのビデオエンコーダ２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。
【００２８】
[0036]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【００２９】
[0037]ビデオエンコーダ２０およびビデオデコーダ３０は、高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ：HEVC Test Model）に準拠し得る。特に、いくつかの例では、ビデオエンコーダ２０およびビデオデコーダは、スケーラブル、マルチビュー、および／またはマルチビュー＋深度ビデオコーディングをサポートする、ＨＥＶＣの拡張に従って動作し得る。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいは、Ｈ．２６４／ＳＶＣを含む、そのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としてはＭＰＥＧ−２およびＩＴＵ−Ｔ  Ｈ．２６３がある。特に、本開示の技法によれば、ビデオエンコーダ２０およびビデオデコーダ３０は、スケーラブル（たとえば、ＳＨＶＣ）および／またはマルチビュー符号化（たとえば、ＭＶ−ＨＥＶＣ）が可能なビデオコーディング規格に従って動作し得る。
【００３０】
[0038]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００３１】
[0039]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
【００３２】
[0040]本開示の以下のセクションでは、ＨＥＶＣ規格の背景を与える。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づいていた。ＨＭは、たとえば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを与えるが、ＨＭは３３個ものイントラ予測符号化モードを与え得る。
【００３３】
[0041]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む（コーディングツリーブロック（ＣＴＢ：coding tree block）または最大コーディングユニット（ＬＣＵ：largest coding unit）とも呼ばれる）一連のツリーブロックに分割され得ることを記載している。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木（quadtree）に従ってコーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
【００３４】
[0042]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、概して、コーディングノードのサイズに対応し、一般に、形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含んでいることがある。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかの間で異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形であり得る。
【００３５】
[0043]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
【００３６】
[0044]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、たとえば、予測方向によって示され得る、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。
【００３７】
[0045]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）をも含み得る。予測に続いて、ビデオエンコーダ２０は、ＰＵに従ってコーディングノードによって識別されたビデオブロックから残差値を計算し得る。コーディングノードは、次いで、元のビデオブロックではなく、残差値を参照するように更新される。残差値はピクセル差分値を備え、ピクセル差分値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するためにＴＵ中で指定された変換と他の変換情報とを使用して変換係数に変換され、量子化され、走査され得る。コーディングノードは、これらのシリアル化変換係数を参照するように、もう一度更新され得る。本開示では、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＣＴＢ、ＬＣＵ、またはＣＵを指すためも「ビデオブロック」という用語を使用し得る。
【００３８】
[0046]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ：group of picture）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。
【００３９】
[0047]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ  ＰＵと下部の２Ｎ×１．５Ｎ  ＰＵとで水平方向に区分された２Ｎ×２Ｎ  ＣＵを指す。
【００４０】
[0048]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ただし、Ｎは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備え得、ただし、Ｍは必ずしもＮに等しいとは限らない。
【００４１】
[0049]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵによって指定された変換が適用される残差データを計算し得る。残差データは、符号化されていないピクチャのピクセルと、ＣＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを形成し、次いで、残差データを変換して、変換係数を生成し得る。
【００４２】
[0050]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。
【００４３】
[0051]いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
【００４４】
[0052]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
【００４５】
[0053]また、ＨＥＶＣ拡張がＪＣＴ−３ＶおよびＪＣＴ−ＶＣにおいて現在開発中である。ＪＣＴ−３Ｖでは、２つのマルチビュー関係ＨＥＶＣ拡張、マルチビュー拡張（ＭＶ−ＨＥＶＣ）と３Ｄビデオ拡張（３Ｄ−ＨＥＶＣ）とが開発されている。さらに、２つのＡＶＣ拡張、ＭＶＣ＋Ｄと３Ｄ−ＡＶＣとが開発されている。
【００４６】
[0054]進行中の規格の例示的なバージョンは次のように記載されている。
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1001-v3.zipにおいて入手可能である、Ｔ．Ｓｕｚｕｋｉ、Ｍ．Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｙ．Ｃｈｅｎ、Ｓ．Ｈａｔｔｏｒｉ、Ｇ．Ｓｕｌｌｉｖａｎ、「MVC Extension for Inclusion of Depth Maps Draft Text 6」、ＪＣＴ３Ｖ−Ｃ１００１、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第４回会議。
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1002-v3.zipにおいて入手可能である、Ｍ．Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｙ．Ｃｈｅｎ、Ｔ．Ｓｕｚｕｋｉ、Ｊ．−Ｒ．Ｏｈｍ、Ｇ．Ｓｕｌｌｉｖａｎ、「3D-AVC Draft Text 8」、ＪＣＴ３Ｖ−Ｆ１００２、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zipにおいて入手可能である、ＪＣＴ３Ｖ−Ｆ１００４、「MV-HEVC Draft Text 6」、Ｇ．Ｔｅｃｈ、Ｋ．Ｗｅｇｎｅｒ、Ｙ．Ｃｈｅｎ、Ｍ．Ｈａｎｎｕｋｓｅｌａ、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2において入手可能である、Ｇｅｒｈａｒｄ  Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ  Ｗｅｎｇｅｒ、Ｙｉｎｇ  Ｃｈｅｎ、Ｓｅｈｏｏｎ  Ｙｅａ、「3D-HEVC Draft Text 2」、ＪＣＴ３Ｖ−Ｆ１００１、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。
【００４７】
[0055]次に、Ｈ．２６４／アドバンストビデオコーディング（ＡＶＣ）規格の拡張のマルチビュービデオコーディング技法について説明する。ただし、本開示の技法は、新生のＨＥＶＣ規格（たとえば、ＭＶ−ＨＥＶＣおよび３Ｄ−ＨＥＶＣ）のためのマルチビューコーディングおよび／または３Ｄコーディングマルチビュー提案をサポートする任意のビデオコーディング規格とともに適用可能であり得る。
【００４８】
[0056]マルチビュービデオコーディング（ＭＶＣ）はＨ．２６４／ＡＶＣの拡張である。典型的なＭＶＣ復号順序（すなわち、ビットストリーム順序）を図２に示す。復号順序構成は時間優先（time-first）コーディングと呼ばれる。アクセスユニットの復号順序はアクセスユニットの出力順序または表示順序と同じでないことがあることに留意されたい。図２では、Ｓ０〜Ｓ７はそれぞれ、マルチビュービデオの異なるビューを指す。Ｔ１〜Ｔ９はそれぞれ、１つの出力時間インスタンスを表す。アクセスユニットは、１つの出力時間インスタンスについてのすべてのビューのコード化ピクチャを含み得る。たとえば、第１のアクセスユニットは時間インスタンスＴ１についてのビューＳ０〜Ｓ７のすべてを含み得、第２のアクセスユニットは時間インスタンスＴ２についてのビューＳ０〜Ｓ７のすべてを含み得、以下同様である。
【００４９】
[0057]簡潔のために、本開示では、以下の定義を使用し得る。
【００５０】
ビューコンポーネント：単一のアクセスユニット中のビューのコード化表現。ビューがコード化テクスチャ表現と深度表現の両方を含むとき、ビューコンポーネントは、テクスチャビューコンポーネントと深度ビューコンポーネントとを含み得る。
【００５１】
テクスチャビューコンポーネント：単一のアクセスユニット中のビューのテクスチャのコード化表現。
【００５２】
深度ビューコンポーネント：単一のアクセスユニット中のビューの深度のコード化表現。
【００５３】
[0058]上記で説明したように、本開示のコンテキストでは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントの各々は一般にレイヤと呼ばれることがある。図２では、ビューの各々はピクチャのセットを含む。たとえば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、および６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、および６５のセットを含み、以下同様である。各セットは２つのタイプのピクチャを含み、一方のピクチャはテクスチャビューコンポーネントと呼ばれ、他方のピクチャは深度ビューコンポーネントと呼ばれる。ビューのピクチャのセット内のテクスチャビューコンポーネントと深度ビューコンポーネントは、互いに対応すると見なされ得る。たとえば、ビューのピクチャのセット内のテクスチャビューコンポーネントは、そのビューのピクチャのセット内の深度ビューコンポーネントに対応すると見なされ、その逆も同様である（すなわち、深度ビューコンポーネントはセット中のそれのテクスチャビューコンポーネントに対応し、その逆も同様である）。本開示で使用する、深度ビューコンポーネントに対応するテクスチャビューコンポーネントは、単一のアクセスユニット中の深度コンポーネントと同じビューの一部であると見なされ得る。
【００５４】
[0059]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。たとえば、テクスチャビューコンポーネントは、ルーマ（Ｙ）成分と、クロマ（ＣｂおよびＣｒ）成分とを含み得る。深度ビューコンポーネントは、深度ビューコンポーネントの対応するテクスチャビューコンポーネント中のピクセルの相対深度を示し得る。一例として、深度ビューコンポーネントは、ルーマ値のみを含むグレースケール画像である。言い換えれば、深度ビューコンポーネントは、画像コンテンツを搬送するのではなく、対応するテクスチャビューコンポーネント中のピクセルの相対深度の測度を与え得る。
【００５５】
[0060]たとえば、深度ビューコンポーネント中の純白のピクセルは、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより近いことを示し、深度ビューコンポーネント中の純黒のピクセルは、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより遠いことを示す。黒と白の中間のグレーの様々な色合いは、深度ビュー中のピクセルのグレーの色合いの暗さの増加が、テクスチャビュー中の対応するピクセルに関連する深度のレベルの増加を示すように、異なる深度レベルを示す。たとえば、深度ビューコンポーネント中の濃いグレーのピクセルは、テクスチャビューコンポーネント中のそれの対応するピクセルが、深度ビューコンポーネント中のより薄いグレーのピクセルよりも遠いことを示す。ピクセルの深度を識別するためにグレースケールのみが必要とされるので、深度ビューコンポーネントの色値がいかなる目的も果たし得ないことから、深度ビューコンポーネントはクロマ成分を含む必要がない。
【００５６】
[0061]深度を識別するためにルーマ値（たとえば、強度値）のみを使用する深度ビューコンポーネントが説明のために与えられ、限定するものと見なされるべきではない。他の例では、テクスチャビューコンポーネント中のピクセルの相対深度を示すために任意の技法が利用され得る。
【００５７】
[0062]マルチビュービデオコーディングのための（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ予測構造を図３に示す。予測方向は矢印によって示され、矢印の終点のオブジェクトは、予測参照として矢印の始点のオブジェクトを使用する。ＭＶＣでは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャが参照ピクチャとして使用されることを可能にするディスパリティ（disparity）動き補償により、ビュー間予測がサポートされる。
【００５８】
[0063]図３の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、各ビューについて１２個の時間ロケーション（「Ｔ０」〜「Ｔ１１」）が示されている。すなわち、図３中の各行はビューに対応し、各列は時間ロケーションを示す。
【００５９】
[0064]ＭＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、いわゆるベースビューを有し、また、ステレオビューペアがＭＶＣによってサポートされ得るが、ＭＶＣの利点は、ＭＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートすることができることである。ＭＶＣデコーダを有するクライアントのレンダラ（renderer）は、複数のビューをもつ３Ｄビデオコンテンツを予想し得る。
【００６０】
[0065]図３中のピクチャは、各行と各列との交点に示されている。Ｈ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用し得る。本開示では、ピクチャという用語とフレームという用語とを互換的に使用し得る。
【００６１】
[0066]図３中のピクチャは、対応するピクチャがイントラコーディングされる（すなわち、Ｉピクチャである）か、あるいは一方向に（すなわち、Ｐピクチャとして）または複数の方向に（すなわち、Ｂピクチャとして）インターコーディングされるかを指定する、文字を含むブロックを使用して示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションＴ０にあるビューＳ２のＰピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャから予測される。
【００６２】
[0067]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのピクチャは、異なる時間ロケーションにあるピクチャに対して予測符号化され得る。たとえば、時間ロケーションＴ１にあるビューＳ０のｂピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャからそのｂピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、たとえば、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ：Sequence Parameter Set）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。ビュー間予測は、３Ｄ−ＨＥＶＣ（マルチビュー＋深度）を含むＨＥＶＣの提案されたマルチビュー拡張の機能でもある。
【００６３】
[0068]図３は、ビュー間予測の様々な例を与える。図３の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間ロケーションにあるピクチャから予測されるものとして、ならびに同じ時間ロケーションにあるビューＳ０およびＳ２のピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションＴ１にあるビューＳ１のｂピクチャは、時間ロケーションＴ０およびＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間ロケーションＴ１にあるビューＳ０およびビューＳ２のｂピクチャから予測される。
【００６４】
[0069]いくつかの例では、図３は、テクスチャビューコンポーネントを示すものとして見られ得る。たとえば、図３に示されているＩピクチャ、Ｐピクチャ、Ｂピクチャ、およびｂピクチャは、ビューの各々のためのテクスチャビューコンポーネントと見なされ得る。本開示で説明する技法によれば、図３に示されているテクスチャビューコンポーネントの各々について、対応する深度ビューコンポーネントがある。いくつかの例では、深度ビューコンポーネントは、対応するテクスチャビューコンポーネントについて図３に示されている様式と同様の様式で予測され得る。
【００６５】
[0070]２つのビューのコーディングもＭＶＣによってサポートされ得る。ＭＶＣの利点のうちの１つは、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとり得、ＭＶＣデコーダがそのようなマルチビュー表現を復号し得ることである。したがって、ＭＶＣデコーダをもつどんなレンダラも、３つ以上のビューをもつ３Ｄビデオコンテンツを復号し得る。
【００６６】
[0071]上記で説明したように、ＭＶＣでは、（いくつかの事例では、同じ時間インスタンスをもつことを意味する）同じアクセスユニット中のピクチャ間でビュー間予測が可能になる。非ベースビューのうちの１つの中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンス内にある場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測の参照ピクチャは、任意のインター予測の参照ピクチャとまったく同様に、参照ピクチャリストの任意の位置に置かれ得る。図３に示されているように、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。
【００６７】
[0072]図３に示されているように、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。これはビュー間予測と呼ばれる。ＭＶＣでは、別のビュー中のビューコンポーネントがインター予測の参照であるかのように、ビュー間予測が実現される。しかしながら、潜在的なビュー間参照は、（表１に示すように）シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。
【００６８】
[0073]
【００６９】
【表１−１】
0006513650.tif 000002
【００７０】
【表１−２】
0006513650.tif 000003
【００７１】
[0074]ＳＰＳ  ＭＶＣ拡張では、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用され得るビューの数がシグナリングされる。ＳＰＳ  ＭＶＣ拡張においてシグナリングされるアンカーピクチャについての予測関係は、同じビューの（ＳＰＳ  ＭＶＣ拡張においてシグナリングされる）非アンカーピクチャについての予測関係とは異なり得る。
【００７２】
[0075]次のセクションでは、ＨＥＶＣに関するマルチビューおよび３Ｄビデオコーディングについて説明する。特に、本開示の例示的な技法は、２つまたはそれ以上のビューをコーディングするときに適用可能である。各ビューについての複数のビデオピクチャはテクスチャビューコンポーネントと呼ばれることがある。３Ｄ−ＨＥＶＣでは、各テクスチャビューコンポーネントは、対応する深度ビューコンポーネントを有し得る。ＭＶ−ＨＥＶＣは深度ビューコンポーネントを使用しない。テクスチャビューコンポーネントはビデオコンテンツ（たとえば、ピクセル値のルーマ成分およびクロマ成分）を含み、深度ビューコンポーネントはテクスチャビューコンポーネント内のピクセルの相対深度を示し得る。
【００７３】
[0076]本開示の例示的な技法は、テクスチャデータ、またはテクスチャデータおよび深度データをコーディングすることによって３Ｄビデオデータをコーディングすることに関する。概して、「テクスチャ」という用語は、画像のルミナンス（すなわち、輝度または「ルーマ」）値と画像のクロミナンス（すなわち、色または「クロマ」）値とを表すために使用される。いくつかの例では、テクスチャ画像は、１セットのルミナンスデータと、青色相（Ｃｂ）および赤色相（Ｃｒ）のための２セットのクロミナンスデータとを含み得る。４：２：２または４：２：０などの特定のクロマフォーマットでは、クロマデータは、ルーマデータに関してダウンサンプリングされる。すなわち、クロミナンス成分の空間解像度は、対応するルミナンス成分の空間解像度よりも低く、たとえば、ルミナンス解像度の１／２または１／４である。
【００７４】
[0077]深度データは、概して、対応するテクスチャデータの深度値を表す。たとえば、深度画像は、各々が対応するテクスチャデータの深度を表す深度ピクセルのセットを含み得る。深度データは、対応するテクスチャデータの水平ディスパリティを決定するために使用され得る。したがって、テクスチャデータと深度データとを受信するデバイスは、一方のビュー（たとえば、左眼ビュー）のための第１のテクスチャ画像を表示し、深度値に基づいて決定された水平ディスパリティ値だけ第１の画像のピクセル値をオフセットすることによって、他方のビュー（たとえば、右眼ビュー）のための第２のテクスチャ画像を生成するように第１のテクスチャ画像を変更するために深度データを使用し得る。概して、水平ディスパリティ（または単に「ディスパリティ」）は、第２のビュー中の対応するピクセルに対する第１のビュー中のピクセルの水平空間オフセットを表し、２つのピクセルは、２つのビュー中で表される同じオブジェクトの同じ部分に対応する。
【００７５】
[0078]さらに他の例では、画像について定義されたゼロディスパリティ平面に対して所与のピクセルに関連する深度が定義されるように、画像平面に直交するｚ次元におけるピクセルについて深度データが定義され得る。そのような深度は、ピクセルを表示するための水平ディスパリティを作成するために使用され得、その結果として、ピクセルは、ゼロディスパリティ平面に対するピクセルのｚ次元深度値に応じて、左眼と右眼とで異なるように表示される。ゼロディスパリティ平面は、ビデオシーケンスの異なる部分に対して変化し得、ゼロディスパリティ平面に対する深度の量も変化し得る。ゼロディスパリティ平面上に位置するピクセルは、左眼と右眼とに対して同様に定義され得る。ゼロディスパリティ平面の前に位置するピクセルは、ピクセルが画像平面に直交するｚ方向の画像から出てくるように見える知覚を作成するように、（たとえば、水平ディスパリティを用いて）左眼と右眼とに対して異なるロケーションで表示され得る。ゼロディスパリティ平面の後に位置するピクセルは、深度のわずかな知覚を提示するために、わずかなぼかしとともに表示され得るか、または（たとえば、ゼロディスパリティ平面の前に位置するピクセルの水平ディスパリティとは反対の水平ディスパリティを用いて）左眼と右眼とに対して異なるロケーションで表示され得る。他の多くの技法も、画像の深度データを伝達または定義するために使用され得る。
【００７６】
[0079]深度ビューコンポーネント中の各ピクセルについて、テクスチャビューコンポーネント中の１つまたは複数の対応するピクセルがあり得る。たとえば、深度ビューコンポーネントの空間解像度とテクスチャビューコンポーネントの空間解像度が同じである場合、深度ビューコンポーネント中の各ピクセルはテクスチャビューコンポーネント中の１つのピクセルに対応する。深度ビューコンポーネントの空間解像度がテクスチャビューコンポーネントの空間解像度よりも小さい場合、深度ビューコンポーネント中の各ピクセルは、テクスチャビューコンポーネント中の複数のピクセルに対応する。深度ビューコンポーネント中のピクセルの値は、テクスチャビュー中の対応する１つまたは複数のピクセルの相対深度を示し得る。
【００７７】
[0080]いくつかの例では、ビデオエンコーダは、ビューの各々についてのテクスチャビューコンポーネントと対応する深度ビューコンポーネントとのビデオデータをシグナリングする。ビデオデコーダは、テクスチャビューコンポーネントと深度ビューコンポーネントとの両方のビデオデータを利用して、表示のためにビューのビデオコンテンツを復号する。次いで、ディスプレイは、マルチビュービデオを表示して、３Ｄビデオを生成する。
【００７８】
[0081]また、ＨＥＶＣのスケーラブル拡張がＪＣＴ−ＶＣによって開発されている。図４は、スケーラブルビデオコーディングの一例を示す概念図である。図４について、Ｈ．２６４／ＡＶＣおよびＳＶＣに関して説明するが、同様のレイヤは、ＨＥＶＣのスケーラブル拡張を含む、他のマルチレイヤビデオコーディング方式を使用してコーディングされ得ることを理解されたい。図４の例は、同じコーデックを使用してコーディングされるレイヤを示す。他の例では、レイヤは、マルチスタンダードコーデックを使用してコーディングされ得る。たとえば、ベースレイヤは、Ｈ．２６４／ＡＶＣを使用してコーディングされ得るが、エンハンスメントレイヤは、ＨＥＶＣに対するスケーラブル拡張を使用してコーディングされ得る。したがって、以下のＳＶＣへの参照は、概してスケーラブルビデオコーディングに適用され得、Ｈ．２６４／ＳＶＣに限定されない。
【００７９】
[0082]ＳＶＣでは、スケーラビリティは、たとえば、（ビットレートまたは信号対雑音比（ＳＮＲ）として表される）空間次元、時間次元、および品質次元を含む３次元において可能になり得る。概して、通常、任意の次元における表現を追加することによって、より良い表現が達成され得る。たとえば、図４の例では、レイヤ０は、７．５Ｈｚのフレームレートと６４キロバイト毎秒（ＫＢＰＳ）のビットレートとを有する１／４共通中間フォーマット（ＱＣＩＦ：Quarter Common Intermediate Format）においてコーディングされる。さらに、レイヤ１は、１５Ｈｚのフレームレートと６４ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ２は、１５Ｈｚのフレームレートと２５６ＫＢＰＳのビットレートとを有するＣＩＦにおいてコーディングされ、レイヤ３は、７．５Ｈｚのフレームレートと５１２ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ４は、３０Ｈｚのフレームレートとメガバイト毎秒（ＭＢＰＳ）のビットレートとを有する４ＣＩＦにおいてコーディングされる。図４に示されているレイヤの特定の数、コンテンツおよび構成は例として与えたものにすぎないことを理解されたい。
【００８０】
[0083]いずれの場合も、ビデオエンコーダ（ビデオエンコーダ２０など）がそのようなスケーラブルな方法でコンテンツを符号化すると、ビデオデコーダ（ビデオデコーダ３０など）は、抽出器ツールを使用して、たとえば、クライアントまたは送信チャネルに依存し得るアプリケーション要件に従って実際の配信されたコンテンツを適応させ得る。
【００８１】
[0084]ＳＶＣでは、最低空間と品質レイヤとを有するピクチャは、通常、Ｈ．２６４／ＡＶＣに適合する。図４の例では、最低空間と品質レイヤとをもつピクチャ（たとえば、ＱＣＩＦ解像度をもつ、レイヤ０およびレイヤ１中のピクチャ）は、Ｈ．２６４／ＡＶＣに適合し得る。それらの中で、最低時間レベルのピクチャは時間ベースレイヤ（たとえば、レイヤ０）を形成する。この時間ベースレイヤ（たとえば、レイヤ０）は、より高い時間レベル（たとえば、レイヤ１）のピクチャを用いて拡張され得る。
【００８２】
[0085]Ｈ．２６４／ＡＶＣ適合レイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび／または品質エンハンスメントレイヤが追加され得る。各空間または品質エンハンスメントレイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。
【００８３】
[0086]上記で説明した、「レイヤ」という用語は、本開示では、概して、スケーラブルビデオコーディングの意味では個々のベースレイヤまたは個々のエンハンスメントレイヤを指し、３Ｄおよびマルチビュービデオコーディングの意味ではテクスチャはビューおよび／または深度ビューを指すために使用される。レイヤ（たとえば、ＭＶ−ＨＥＶＣレイヤまたはＳＨＶＣレイヤ）の各々のためのピクチャが、たとえば、ビデオデコーダ３０、またはビデオエンコーダ２０の再構成ループによって復号されると、復号レイヤのためのピクチャはＤＰＢに記憶される。ＤＰＢは、ピクチャ、および、本開示内では、マルチレイヤビデオコーディング技法を使用するときの復号レイヤのピクチャを記憶するために使用されるバッファまたはメモリである。ＤＰＢに記憶された復号レイヤのピクチャは、出力並べ替え、および出力遅延のために、（動き補償、ビュー間予測およびレイヤ間予測を含む）インター予測のための参照として使用され得る。
【００８４】
[0087]本開示の様々な例によれば、ＤＰＢは、（たとえば、サブＤＰＢと呼ばれる）サブユニットに区分され得る。各サブＤＰＢは、次いで、特定のレイヤタイプのための（1つまたは複数の）ピクチャ、またはより一般的には、ピクチャ情報を記憶するように構成され得る。たとえば、ＤＰＢは、１つのサブＤＰＢがスケーラブルビデオコーディングプロセスのためのベースレイヤのピクチャを記憶するように構成されるように区分され得る。別のサブＤＰＢは、スケーラブルビデオコーディングプロセスの第１のエンハンスメントレイヤのピクチャを記憶するように構成され得る。また別のサブＤＰＢは、スケーラブルビデオコーディングプロセスの第２のエンハンスメントレイヤのピクチャを記憶するように構成され得、以下同様である。
【００８５】
[0088]図５は、異なる復号レイヤコンポーネント（たとえば、異なるレイヤタイプのためのピクチャ）を異なるサブユニットに記憶するように構成されたＤＰＢ９００を示す概念図である。ＤＰＢ９００はビデオデコーダおよび／またはビデオエンコーダ（たとえば、ビデオエンコーダ２０およびビデオデコーダ３０）の一部を形成し得る。サブＤＰＢ９１０Ａ〜Ｄの各々は、異なるタイプの復号レイヤの（１つまたは複数の）ピクチャのための記憶ロケーションを表す。たとえば、サブＤＰＢ９１０Ａは、ＭＶ−ＨＥＶＣ適合ビデオビットストリームのためのベースビューの１つまたは複数のテクスチャピクチャを記憶するように構成され得、サブＤＰＢ９１０Ｂは、ＭＶ−ＨＥＶＣ適合ビデオビットストリームのための依存ビューのテクスチャピクチャを記憶するために使用され得る。同様に、サブＤＰＢ９１０Ｃは、スケーラブルビデオコーディングプロセス（たとえば、ＳＨＶＣ）においてベースレイヤのピクチャを記憶するために使用され得、サブＤＰＢ９１０Ｄは、スケーラブルビデオコーディングプロセスにおけるエンハンスメントレイヤのためのピクチャの１つのレベルを記憶するために使用され得る。追加のサブＤＰＢは、エンハンスメントレイヤの追加のレベルのピクチャまたは追加のテクスチャ依存ビューのピクチャを記憶するように構成され得る。サブＤＰＢ９１０Ａ〜Ｄの各々は、サブＤＰＢに関連する特定のレイヤタイプのための復号レイヤの１つまたは複数のピクチャを記憶するように構成された別個のユニットを含んでいる。
【００８６】
[0089]ビデオデコーダ３０は、複数のサブＤＰＢ９１０Ａ〜Ｄから復号レイヤのピクチャを削除するようにさらに構成され得る。いくつかの例では、各所与のサブＤＰＢ（たとえば、サブＤＰＢ９１０Ａ）からのピクチャの削除は別個に管理され得る。他の例では、ピクチャは、オペレーションポイントに基づいて１つまたは複数のサブＤＰＢから削除され得る。特定のオペレーションポイントが、出力されるべき特定のピクチャのために復号される特定の数のレイヤに関連する。たとえば、ＳＨＶＣでは、１つのオペレーションポイントは、復号されるべきベースレイヤのピクチャのみを必要とし得る。ＳＨＶＣのための別のオペレーションポイントでは、出力ピクチャを生成するために、ベースレイヤのピクチャおよび１つまたは複数のエンハンスメントレイヤのピクチャが復号され得る。ベースレイヤのピクチャと１つまたは複数のエンハンスメントレイヤのピクチャの両方を必要とするオペレーションポイントでは、ピクチャの削除は、そのオペレーションポイントのために使用されるあらゆるサブＤＰＢ（すなわち、出力されるべきピクチャのために使用されるレイヤのためのピクチャを記憶するあらゆるサブＤＰＢ）について実行され得る。すなわち、所与のオペレーションポイントに関連する、ベースレイヤのピクチャおよび１つまたは複数のエンハンスメントレイヤの対応するピクチャは、それらのそれぞれのサブＤＰＢから同時に削除され得る。
【００８７】
[0090] ビデオエンコーダ２０およびビデオデコーダ３０は、複数のサブＤＰＢ９１０Ａ〜Ｄ中の復号レイヤコンポーネント（たとえば、レイヤのピクチャ）を、参照のために使用されないとマークするか、または参照のために使用されるとマークするようにさらに構成され得る。この場合も、ピクチャを参照のために使用されないとマークするためのプロセスは各サブＤＰＢについて別個に実行され得る。すなわち、ビデオエンコーダ２０およびビデオデコーダ３０は、複数のサブＤＰＢの各々中のピクチャに対してマーキングプロセスを独立して実行するように構成され得、ここにおいて、マーキングプロセスは、ピクチャを参照のために使用されるとマークするか、またはピクチャを参照のために使用されないとマークする。別の例では、マーキングプロセスは、特定のオペレーションポイントに関係する特定の数のレイヤのためのピクチャを記憶するすべてのサブＤＰＢについて実行され得る。
【００８８】
[0091]ＨＥＶＣ、および他のビデオコーディング規格では、ＤＰＢ９００の動作は、しばしば、仮想参照デコーダ（ＨＲＤ：hypothetical reference decoder）に関して指定される。ビデオエンコーダ２０およびビデオデコーダ３０は、ＤＰＢ９００に記憶された復号ピクチャを、「参照のために使用されない」（すなわち、インター予測プロセスのために参照ピクチャとして使用されることができない）とマークすることと、（たとえば、ディスプレイデバイス３２への）出力のために復号ピクチャをマークすることと、（「バンピング」としても知られる）ＤＰＢ９００からの削除のためにピクチャをマークすることとを含む、様々なアクションを実行するためにＤＰＢ９００を管理するように構成され得る。ピクチャが、インター予測のために参照ピクチャとしてもはや必要とされず、出力のためにもはや必要とされないとき、ピクチャは、一般に、ＤＰＢ９００から削除される（すなわち、バンプされる）。
【００８９】
[0092]ビットストリームのコンフォーマンスは、ＨＲＤの挙動を定義することによって指定される。ＤＰＢ９００は、ＨＲＤの構成要素であると見なされ得る。上記で説明したように、ＤＰＢ９００は、再構成されたピクチャをビデオエンコーダ（たとえば、ビデオエンコーダ２０）に記憶するか、または復号ピクチャをビデオデコーダ（たとえば、ビデオデコーダ３０）に記憶するように構成された１つまたは複数のメモリユニットとして実装され得る。ＳＨＶＣおよびＭＶ−ＨＥＶＣのためのいくつかの提案では、ＤＰＢ動作は明確に指定されていないが、単純な仮定は、同じ出力時間をもつすべてのピクチャが同じ時刻にＤＰＢ９００に到着する（すなわち、ＤＰＢ９００に記憶される）ということである。ＤＰＢ９００からのピクチャの出力は、ＨＲＤパラメータがどのように定義されるかに基づいて決定される。
【００９０】
[0093]たとえば、ＨＲＤパラメータは出力順序コンフォーマンスのために定義され得る。一例として、復号レイヤピクチャの出力順序は、それの値が、特定のレイヤのために存在するピクチャの数を指定する、１つまたは複数のシンタックス要素によって指定され得る。別の例として、出力時間コンフォーマンスでは、出力時間は、それの値がピクチャ出力時間を示す１つまたは複数のシンタックス要素によって指定され得る。ビデオデコーダ３０は、符号化ビデオビットストリーム中でシグナリングされるパラメータの値からＨＲＤ設定を導出するように構成され得る。ＨＲＤパラメータは、（たとえば、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（  ）と呼ばれる）データフォーマット構造中でシグナリングされ得る。例示的なパラメータは、バッファリング期間補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）メッセージとピクチャタイミングＳＥＩメッセージとを含み得る。いくつかの例では、サブピクチャ復号ＳＥＩメッセージも定義され得る。いくつかの例では、ＤＰＢ９００中のピクチャの出力は、同じ出力時間に関連するすべてのピクチャが同時に出力されるように行われる。本開示の例では、異なるサブＤＰＢ中のピクチャは、各サブＤＰＢが同じ出力時間に関連する場合、同時に出力され得る。
【００９１】
[0094]ＨＥＶＣのためのいくつかの例示的な提案では、ＤＰＢ動作に関係するパラメータは、シーケンスパラメータセット（ＳＰＳ）および／またはビデオパラメータセット（ＶＰＳ：video parameter set）のうちの１つまたは複数の中でシグナリングされる。ＳＰＳは、ピクチャパラメータセット（ＰＰＳ：picture parameter set）および／またはスライスヘッダ中で見つけられるシンタックス要素の値によって示される０個またはそれ以上のコード化ビデオシーケンス（ＣＶＳ：coded video sequence）全体に適用されるシンタックス要素を含んでいるシンタックス構造である。ＶＰＳは、ＳＰＳ、ＰＰＳ、および／またはスライスヘッダ中で見つけられるシンタックス要素の値によって決定される０個またはそれ以上のＣＶＳ全体に適用されるシンタックス要素を含んでいるシンタックス構造である。概して、ＶＰＳ中でシグナリングされるシンタックス要素は、ＳＰＳ中でシグナリングされるシンタックス要素が適用されるピクチャの数よりも大きいピクチャの数に適用される。ＣＶＳは、復号順序では、ランダムアクセスピクチャを含んでいるアクセスユニット（ＡＵ）と、その後に続く、ランダムアクセスピクチャを含まない０個またはそれ以上の他のＡＵとからなる、アクセスユニットのシーケンスである。アクセスユニットは、復号順序で連続しており、ちょうど１つのコード化ピクチャを含んでいる、ネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）ユニットのセットである。
【００９２】
[0095]ＤＰＢ動作に関係する例示的なシンタックス要素は、限定はしないが、それぞれがＳＰＳおよび／またはＶＰＳ中でシグナリングされ得る、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素、およびｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素を含む。ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素の値は、ピクチャバッファの単位でのＣＶＳのためのＤＰＢの最大所要サイズを指定する。すなわち、ＤＰＢまたはサブＤＰＢは１つまたは複数のピクチャバッファに区分され得、ここで、各ピクチャバッファはピクチャ（たとえば、復号レイヤピクチャ）を記憶する。いくつかの例では、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１の値は、０からある所定の最大ＤＰＢサイズの範囲に制限される。ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素の値は、復号順序でＣＶＳ中の任意のピクチャに先行し、出力順序でその同じピクチャに後続することができるピクチャの最大許容数を指定する。ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素の値は、０に等しくないとき、出力順序でＣＶＳ中の任意のピクチャに先行し、復号順序でその同じピクチャに後続することができるピクチャの最大数を決定するために使用される。
【００９３】
[0096]ＨＥＶＣのためのいくつかの例示的な提案は、たとえば、ｓｕｂ＿ｌａｙｅｒ＿ｏｒｄｅｒｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１に等しい場合、各サブレイヤのための上述のＤＰＢパラメータのシグナリングを可能にする。サブレイヤは、時間スケーラブルビットストリームの時間スケーラブルレイヤ（たとえば、ＳＨＶＣビットストリームのベースレイヤまたはエンハンスメントレイヤ）である。この例示的な提案によれば、サブレイヤシグナリングが可能にされたとき、ただ１つの値がシンタックス要素の各々についてシグナリングされ、これらのシンタックス要素の各々のシグナリングされた値（すなわち、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素、およびｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素）は、すべての時間サブレイヤについて同じであると推論される（すなわち、明示的シグナリングの受信なしに決定される）。そうではなく、サブレイヤシグナリングが可能にされない（たとえば、シンタックス要素ｓｕｂ＿ｌａｙｅｒ＿ｏｒｄｅｒｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０に等しい）とき、ＤＰＢシンタックス要素の値は各サブレイヤについて明示的にシグナリングされる。ＳＰＳ中のこれらのパラメータのシグナリングは、以下の表２でイタリック体で強調される。同様のシグナリングがＶＰＳ中で使用され得る。
【００９４】
[0097]
【００９５】
【表２−１】
0006513650.tif 000004
【００９６】
【表２−２】
0006513650.tif 000005
【００９７】
[0098]（ＨＥＶＣ１と呼ばれることがある）ＨＥＶＣのベースバージョンでは、（たとえば、０に等しい値を有するシンタックス要素ｎｕｈ＿ｌａｙｅｒ＿ｉｄによって示されるように）単一のレイヤのみが存在し、したがって、復号されるレイヤセットと出力されるレイヤセットとが同じである。マルチレイヤビデオコーディング（たとえばＳＨＶＣまたはＭＶ−ＨＥＶＣ）のコンテキストでは、レイヤセットの総数がすべて、あらゆるオペレーションポイントのために出力されるとは限らないので、レイヤセットと出力レイヤセットとの数が必ずしも同じであるとは限らない。すなわち、ＳＨＶＣオペレーションポイントは、しばしば、ベースレイヤおよび１つまたは複数のエンハンスメントレイヤの復号を含む。同様に、ＭＶ−ＨＥＶＣオペレーションポイントは、しばしば、２つまたはそれ以上のビューの復号を含む。しかしながら、すべてのレイヤまたはビューが所与のピクチャを出力するために使用されるとは限らない。この特徴に鑑みて、本開示は、ＤＰＢサイズがクロスレイヤ特性であるので、ＶＰＳ中でＤＰＢおよび／またはサブＤＰＢサイズをシグナリングすることを提案する。すなわち、互いに復号され、出力されるレイヤの数は、異なるＤＰＢサイズを必要とし得る。１つまたは複数のオペレーションポイントのために必要とされるレイヤセットがＶＰＳレベルでシグナリングされるので、ＶＰＳレベルで１つまたは複数のオペレーションポイントのためのサブＤＰＢサイズの少なくとも１つの指示をもシグナリングすることによって、シグナリング効率が達成され得る。サブＤＰＢサイズの指示がオペレーションポイントのためにシグナリングされるので、下位レベルシンタックス構造（たとえば、ＳＰＳ、ＰＰＳ、またはスライスヘッダ）においてそのような指示をシグナリングすることにより、オペレーションポイントのためのレイヤセットのみがＶＰＳレベルで変化するので、サブＤＰＢサイズの冗長シグナリングが生じ得る。
【００９８】
[0099]次に、ＤＰＢからのピクチャの削除のための技法について説明する。ＨＥＶＣのための例技法は、ＤＰＢからのピクチャの削除を指定する２つの方法を伴う。それらはピクチャベースのＤＰＢ削除プロセスとＡＵベースのＤＰＢ削除プロセスとを含む。ピクチャベースのＤＰＢ削除プロセスでは、１つのＡＵ中のピクチャが異なる時間に個々に削除され得る。ＡＵベースのＤＰＢ削除ピクチャでは、ＡＵ中のすべてのピクチャが同時に削除される。ＳＨＶＣおよびＭＶ−ＨＥＶＣのためのＤＰＢ削除動作のための現在の提案は、ピクチャがどのように削除されるべきであるかを明確に指定しない。
【００９９】
[0100]ＭＶ−ＨＥＶＣおよびＳＨＶＣのためのＤＰＢシグナリングおよび動作のための現在の提案は以下の問題を呈する。初めに、ＤＰＢ動作の多くの態様は、特に、多数の異なる可能なオペレーションポイントを与えられるマルチレイヤビデオコーディングプロセスにおけるＤＰＢ動作のための異なる要件の可能性に鑑みて、明確に指定されていない。
【０１００】
[0101]さらに、マルチレイヤコーディングプロセスにおけるＤＰＢ動作のための現在の提案は、すべてのオペレーションポイントについて柔軟性がなく、準最適であり得る、レイヤ固有様式で定義される。たとえば、ＤＰＢ動作のためのいくつかの提案では、ピクチャは、同じレイヤ中のまたは同じＡＵ中のピクチャのためにのみ「参照のために使用されない」とマークされ得る。別の例として、ＭＶ−ＨＥＶＣのための１つの提案のためのバンピングプロセスでは、ビデオデコーダは、シグナリングされた現在レイヤのための復号ピクチャサイズを決定するように要求され、現在復号されたピクチャの同じレイヤ中のピクチャのためのバンピングプロセスのみを適用し得る。
【０１０１】
[0102]別の欠点として、ＤＰＢサイズは、現在、ＳＰＳ中でシグナリングされている。しかしながら、ＤＰＢサイズがあるオペレーションポイントに固有であり得るので、ＳＰＳ中でＤＰＢサイズをシグナリングすることは重複し、非効率的である。いくつかの例では、オペレーションポイントはＶＰＳレベルで定義される。上記で説明したように、本開示の技法は、１つまたは複数のオペレーションポイントのためのサブＤＰＢサイズの少なくとも１つの指示をシグナリングすることを含む。オペレーションポイントのためのレイヤセットがＶＰＳレベルで定義されるので、サブＤＰＢサイズの指示が下位レベルシンタックス構造中で（たとえば、ＳＰＳ中で）シグナリングされた場合、サブＤＰＢサイズの同じ指示の複数の発生は、ＶＰＳにおいて定義される各レイヤセットについてシグナリングされるであろう。したがって、この例では、オペレーションポイントのためのサブＤＰＢサイズの指示をシグナリングすることは、そのような指示がＶＰＳよりも低いレベルでシグナリングされる場合に冗長であり得る。
【０１０２】
[0103]また別の欠点として、マルチレイヤビデオコーディングにおけるＤＰＢ動作のための現在の提案は、異なる空間解像度、ビット深度およびカラーフォーマットをもつピクチャを区別しない。これは、一般に、ワーストケースシナリオをサポートするために、ビデオデコーダの設計者が各ピクチャ記憶バッファのためのサイズを割り振る必要があるので、これは非効率的であり得る（すなわち、各ピクチャバッファは、最大可能サイズをもつピクチャを記憶するのに十分に大きくなければならない）。
【０１０３】
[0104]さらに、Ｈ．２６４／ＳＶＣは、シングルループコーディングを使用し、単一のＤＰＢのみを使用する。Ｈ．２６４／ＭＶＣはマルチループコーディングを採用するが、依然として、すべてのレイヤのためのピクチャを記憶するために単一のＤＰＢを使用する。概して、従来のマルチレイヤコーディング技法は、異なるレイヤタイプを記憶するように構成されたサブＤＰＢに区分されたＤＰＢを処理するためのＤＰＢ管理シグナリングおよび動作を含まない。
【０１０４】
[0105]これらの欠点に鑑みて、本開示は、マルチレイヤビデオコーディングプロセスにおけるＤＰＢ動作をシグナリングおよび実行するためのシステム、方法、および技法を提案する。特に、開示の様々な例は、サブＤＰＢに区分されたＤＰＢに対してＤＰＢ動作を実行するためのシステム、方法、および技法に関し、各サブＤＰＢは、図５を参照しながら上記で説明したように、レイヤの１つのタイプのためのピクチャを記憶するように構成される。
【０１０５】
[0106]以下でより詳細に説明するように、本開示の様々な例示的な技法は、マルチレイヤビデオコーディングプロセスの各オペレーションポイントのための少なくとも１つのサブＤＰＢサイズをシグナリングすることおよび／または概してそれを示すことを含む。本開示の例示的な技法はまた、オペレーションポイントごとのサブＤＰＢ動作のための技法を含む。本開示の技法を使用することによって、マルチレイヤビデオコーディングプロセスにおけるＤＰＢ管理はより効率的に処理され得る。特に、すべてのサブＤＰＢのための最大可能容量を使用する代わりに、サブＤＰＢサイズをシグナリングおよび／または推論することがメモリスペースのより効率的な割振りを可能にし得る。
【０１０６】
[0107]以下で説明する例によれば、ビデオエンコーダ２０およびビデオデコーダ３０は、マルチレイヤビデオコーディングプロセスにおけるサブＤＰＢレベルＤＰＢ動作をサポートするための機構を提供する技法を実行するように構成され得る。本開示の例示的な技法は、たとえば、１つまたは複数のシンタックス要素を生成し、シグナリングすることによって、マルチレイヤビデオコーディングプロセスの様々なオペレーションポイントのためのサブＤＰＢサイズを示すための技法を含む。
【０１０７】
[0108]本開示の一例では、ビデオエンコーダ２０は、それのそれぞれの値がサブＤＰＢのそれぞれのサイズを示すシンタックス要素を生成するように構成され得る。特定の例では、ビデオエンコーダ２０は、マルチレイヤビデオコーディングプロセスの各オペレーションポイントのための、ビデオデコーダ３０によって使用されるべきであるそれぞれのサブＤＰＢサイズを示す少なくとも１つのシンタックス要素を生成するように構成され得る。ビデオデコーダ３０は、ビデオエンコーダ２０によって生成された少なくとも１つのサブＤＰＢサイズシンタックス要素を受信し、サブＤＢＰサイズシンタックス要素の値に従って所与のオペレーションポイントのための各サブＤＰＢのためのメモリスペースを割り振るように構成され得る。
【０１０８】
[0109]図５を参照しながら上記で説明したように、ＤＰＢは複数のサブＤＰＢに区分され得、各サブＤＰＢは、特定のタイプのレイヤのピクチャを記憶するように構成される。たとえば、あるサブＤＰＢは、スケーラブルビデオコーディングプロセス（たとえば、ＳＨＶＣ）のためのベースレイヤのピクチャを記憶するように構成され得、別のサブＤＰＢは、スケーラブルビデオコーディングプロセスのためのエンハンスメントレイヤの第１のレベルのピクチャを記憶するように構成され得る。追加のサブＤＰＢは、エンハンスメントレイヤピクチャの追加のレベルのピクチャを記憶するように区分され得る。同様に、あるサブＤＰＢは、マルチビュービデオコーディングプロセス（たとえば、ＭＶ−ＨＥＶＣ）のためのベースビューのピクチャを記憶するように構成され得、別のサブＤＰＢは、マルチビュービューコーディングプロセスの参照ビューのピクチャを記憶するように構成され得る。追加のサブＤＰＢは、追加の参照ビューのピクチャを記憶するように区分され得る。
【０１０９】
[0110]本開示の他の例では、ビデオデコーダ３０は、ＤＰＢを、他の基準に従ってピクチャを記憶するように構成されたサブＤＰＢに区分するように構成され得る。たとえば、ビデオデコーダ３０はＤＰＢを複数のサブＤＰＢに区分し得、ここにおいて、各サブＤＰＢは、同じカラーフォーマット、解像度、またはビット深度を有するピクチャを保持するように構成される。たとえば、ビデオデコーダ３０は、レイヤタイプによってＤＰＢをサブＤＢＰに区分するように構成され得、すなわち、ここで、各サブＤＰＢは複数のレイヤタイプのうちの１つに対応する。その点において、ビデオデコーダ３０は、空間解像度、ビット深度、またはカラーフォーマットのうちの少なくとも１つによってレイヤタイプを決定するように構成され得る。空間解像度、ビット深度、および／またはカラーフォーマットは、符号化ビデオビットストリーム中で受信されたシンタックス要素の値によって示され得る。空間解像度、ビット深度、および／またはカラーフォーマットのための受信されたシンタックス要素は、ビデオデコーダ３０によって決定された特定のレイヤタイプを記憶するように構成された特定のサブＤＰＢを識別するインデックスを導出するために使用され得る。
【０１１０】
[0111]本開示の一例では、ビデオエンコーダ２０は、それの値が、特定のサブＤＰＢが記憶することを可能にされるピクチャの数に関してサブＤＰＢのサイズを示す、少なくとも１つのシンタックス要素を生成するように構成される。すなわち、ビデオエンコーダ２０は、いくつのピクチャバッファが各サブＤＰＢのために必要とされるかを示す少なくとも１つのシンタックス要素を生成する。一例では、シンタックス要素の値はピクチャバッファの数を直接示し得る。別の例では、シンタックス要素の値は、それの値がピクチャバッファの数を示す複数のエントリを含むルックアップテーブルへのインデックスであり得る。他の例では、ビデオエンコーダ２０は、どのくらいのメモリ（たとえば、メガバイト単位）が各サブＤＰＢのために必要とされるかを示すシンタックス要素を生成し得る。
【０１１１】
[0112]本開示の特定の例では、ビデオエンコーダ２０は、それの値がサブＤＰＢのサイズを示す少なくとも１つのシンタックス要素を生成し、ＶＰＳ中で少なくともシンタックス要素をシグナリングするように構成される。本開示の一例では、ビデオエンコーダ２０は、各オペレーションポイントのための各サブＤＰＢのためのそれぞれのシンタックス要素を生成し得る。本開示の別の例では、ビデオエンコーダ２０は、それの値が１つまたは複数のサブＤＰＢによって共有される１つまたは複数のサブＤＢＰサイズシンタックス要素を生成し得る。
【０１１２】
[0113]ビデオエンコーダ２０は、それの値が各サブＤＰＢのためのサポートされるサブＤＰＢサイズの数を示す、ＶＰＳ中に含めるための少なくとも１つのシンタックス要素を生成するようにさらに構成され得る。すなわち、ビデオエンコーダ２０は、各サブＤＰＢのための異なるサブＤＰＢサイズの総数を示す少なくとも１つのシンタックス要素、ならびにそれらのサイズが何であるかを示す１つまたは複数のシンタックス要素を生成し得る。このようにして、ビデオエンコーダ２０は、サブＤＰＢサイズのうちの特定の１つへのインデックスとして働く各オペレーションポイントのためのシンタックス要素をさらに含み得る。この場合も、上記で説明したように、マルチレイヤビデオコーディングプロセスにおけるオペレーションポイントは、いくつのレイヤが復号され、出力されるべきであるかを示す。すなわち、オペレーションポイントは、出力レイヤセット（すなわち、出力されるべきピクチャ）を生成するために時間サブセット（すなわち、コーディングされるべきセットレイヤ）を識別する。
【０１１３】
[0114]本開示の別の例では、ビデオエンコーダ２０は、各オペレーションポイントのためのサブＤＰＢサイズを示すシンタックス要素をシグナリングするための予測技法を使用するように構成され得る。すなわち、いくつかのＶＰＳでは、ビデオエンコーダ２０は、各オペレーションポイントのためのサブＤＰＢサイズを明示的にシグナリングするように構成され得る。すなわち、シンタックス要素の値はサブＤＰＢサイズを直接的におよび明示的に示す。他のＶＰＳでは、サブＤＰＢサイズを明示的にシグナリングするのではなく、ビデオエンコーダ２０は、前にシグナリングされたサブＤＰＢサイズからサブＤＰＢサイズを予測するために使用され得るシンタックス要素をシグナリングし得る。一例として、ビデオエンコーダ２０は、それの値が、現在のＶＰＳに関係するピクチャのために使用されるべきサブＤＰＢサイズと、前にシグナリングされたＶＰＳ中の前のオペレーションポイントのためにシグナリングされたサブＤＰＢサイズとの間の差（すなわち、デルタ値）を表す、シンタックス要素をシグナリングし得る。この例では、ビデオデコーダ３０は、シグナリングされたデルタ値を（明示的シグナリングによるか、予測シグナリングによるかにかかわらず）あらかじめ決定されたサブＤＰＢサイズに加算することによって現在のＶＰＳのためのサブＤＰＢサイズ導出得る。
【０１１４】
[0115]本開示の別の例では、ビデオエンコーダ２０は、最も近い前のオペレーションポイントに対する予測シグナリングを使用することによって、それの値が各レイヤセットの各時間サブセットのためのサブＤＰＢの数を示すシンタックス要素をシグナリングするように構成され得る。たとえば、ビデオエンコーダ２０は、現在のオペレーションポイントのためのサブＤＰＢサイズと、現在のオペレーションポイントのレイヤの数に最も近いレイヤの数（この例では、３つのレイヤ）を使用した前のオペレーションポイントのためのサブＤＰＢサイズとの間の差をシグナリングすることによって、オペレーションポイント（たとえば、１つのベースレイヤと２つのエンハンスメントレイヤとを含むオペレーションポイント）のためのサブＤＰＢサイズを示すシンタックス要素を生成し、シグナリングし得る。
【０１１５】
[0116]この例の別の態様では、ビデオエンコーダ２０は、ＶＰＳ中でシグナリングされた各レイヤセットについて、前にシグナリングされたレイヤセットと比較して、常に増加する（または少なくとも減少しない）様式でサブＤＰＢの数を配置するように構成され得る。このようにして、サブＤＰＢの数も各オペレーションポイントについて増加している。別の例として、ビデオエンコーダ２０は、現在のオペレーションポイントのために明示的にシグナリングされる異なるオペレーションポイントからの予測シグナリングを使用するように構成され得る。
【０１１６】
[0117]本開示の別の例では、ビデオエンコーダ２０は、それの値が、（たとえば、ＴｅｍｐｏｒａｌＩＤシンタックス要素の値によって示される）いくつかのレイヤのためのオペレーションポイントの存在が無効にされることを示し得る、シンタックス要素を生成し、シグナリングするように構成され得る。たとえば、ビデオエンコーダ２０は、出力レイヤセット中の１つのレイヤの最高ｔｅｍｐｏｒａｌＩＤがある値よりも小さい場合、ある出力レイヤセットのためにサブＤＢＰサイズ情報が存在しないということを示す、フラグを生成し、シグナリングするように構成され得る。別の例として、ビデオエンコーダ２０は、サブＤＰＢサイズ（または他のオペレーションポイント／レイヤセット情報）がシグナリングされない様々な適用可能な時間レベル（たとえば、ＴｅｍｐｏｒｌＩＤ値）をシグナリングするように構成され得る。
【０１１７】
[0118]上記で説明したように、ビデオデコーダ３０は、各オペレーションポイントのためのサブＤＰＢの数および／またはサブＤＰＢのサイズを示す、ビデオエンコーダ２０によって生成され、シグナリングされたシンタックス要素のうちの１つまたは複数を受信するように構成され得る。一例では、そのようなシンタックス要素はＶＰＳ中でシグナリングされる。
【０１１８】
[0119]ビデオデコーダ３０は、ＶＰＳ中での明示的シグナリングによるか、ＶＰＳ中での予測シグナリングによるかにかかわらず、特定のオペレーションポイントのために必要とされるサブＤＰＢ数を決定するように構成され得る。サブＤＰＢの数の決定に基づいて、ビデオデコーダ３０は、ＤＰＢを複数のサブＤＰＢに区分するように構成され得る。
【０１１９】
[0120]同様に、ビデオデコーダ３０は、ＶＰＳ中での明示的シグナリングによるか、ＶＰＳ中での予測シグナリングによるかにかかわらず、各オペレーションポイントのためのサブＤＰＢサイズを決定するように構成され得る。決定されたサブＤＰＢサイズに基づいて、ビデオデコーダ３０は、１つまたは複数のサブＤＰＢのためのメモリスペースを割り振るように構成され得る。
【０１２０】
[0121]ビデオデコーダ３０は、各サブＤＰＢのフルネス（fullness）または容量を独立して維持するようにさらに構成され得る。すなわち、ビデオデコーダ３０は、サブＤＰＢの示されたサイズに基づいて各サブＤＰＢからのバンピングプロセス（すなわち、ピクチャ削除プロセス）を実装するように構成され得る。ビデオデコーダ３０は、各オペレーションポイントのために必要とされるレイヤピクチャの数が各サブＤＰＢの記憶容量を超えないように各サブＤＰＢからピクチャを削除するように構成され得る。
【０１２１】
[0122]ビデオエンコーダ２０およびビデオデコーダ３０はまた、各サブＤＰＢのためのレイヤピクチャを、「参照のために使用されない」または「参照のために使用される」と独立してマークするように構成され得る。すなわち、ビデオエンコーダ２０およびビデオデコーダ３０は、複数のサブＤＰＢの各々中のピクチャに対してマーキングプロセスを独立して実行するように構成され得（すなわち、各サブＤＰＢについてマーキングプロセスが実行される）、ここにおいて、マーキングプロセスは、ピクチャを参照のために使用されるとマークするか、またはピクチャを参照のために使用されないとマークする。
【０１２２】
[0123]しかしながら、ビデオデコーダ３０は、ＨＲＤ設定に示されているように、出力時間と順序時間とに基づいてピクチャを出力し、ピクチャを削除するように構成され得る。ピクチャの出力および削除はいくつかのサブＤＰＢにわたって実行され得る。本開示の例では、異なるサブＤＰＢ中のピクチャは、各サブＤＰＢがＨＲＤ設定における同じ出力時間に関連する場合、同時に出力され得る。出力されると、サブＤＰＢ中のピクチャは、「出力のために必要とされない」と（たとえば、シンタックス要素によって）マークされ得る。同様に、異なるサブＤＢＰ中のピクチャは、それらが「参照のために使用されない」と「出力のために必要とされない」の両方とマークされた場合、サブＤＰＢから同時に削除され得る。
【０１２３】
[0124]図６は、本開示で説明するＤＰＢ管理のための技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣおよびＨ．２６４／ＡＶＣ、ならびに、そのような規格のスケーラブル拡張、マルチビュー拡張および３Ｄ拡張を含む、ビデオ符号化技法に従ってビデオデータを符号化するように構成され得る。図６の例についてＨＥＶＣに関して説明する。この点について、図６に示されているビデオ符号化ループは、スケーラブルビデオ符号化プロセスの各レイヤ（すなわち、ベースレイヤおよびエンハンスメントレイヤ）に適用されるか、マルチビュービデオコーディングプロセスの各ビューに適用されるか、または３Ｄビデオコーディングプロセスのテクスチャビューと深度ビューの両方に適用され得る。
【０１２４】
[0125]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラ（Ｉ）モードは、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。さらに、ビデオエンコーダ２０は、上記で説明したように、異なるビューまたはレイヤ間でビュー間予測および／またはレイヤ間予測を実行し得る。
【０１２５】
[0126]図６の例では、ビデオエンコーダ２０は、ビデオデータメモリ４０と、予測処理ユニット４１と、ＤＰＢ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動きおよびディスパリティ推定ユニット４２と、動きおよびディスパリティ補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図６に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。追加のループフィルタ（ループ内またはループ後）もデブロッキングフィルタに加えて使用され得る。
【０１２６】
[0127]ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ４０に記憶されるビデオデータは、たとえば、ビデオソース１８から得られ得る。ＤＰＢ６４は、（たとえば、イントラ予測コーディングモードまたはインター予測コーディングモードとも呼ばれる、イントラコーディングモードまたはインターコーディングモードで）ビデオエンコーダ２０によってビデオデータを符号化する際に使用する参照ビデオデータを記憶する復号ピクチャバッファ（ＤＰＢの一例である。ビデオデータメモリ４０およびＤＰＢ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのうちのいずれかによって形成され得る。ビデオデータメモリ４０およびＤＰＢ６４は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそのような構成要素に対してオフチップであり得る。
【０１２７】
[0128]図６に示されているように、ビデオエンコーダ２０は、ビデオデータを受信し、データをビデオブロックに区分するように構成され得る。この区分は、たとえば、ＬＣＵおよびＣＵの４分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ２０は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示している。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえば、コーディングレートおよびひずみレベル）に基づいて現在ビデオブロックのために、複数のイントラコーディングモードのうちの１つ、あるいは複数のインターコーディングモードまたはビュー間コーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。
【０１２８】
[0129]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在ビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動きおよびディスパリティ推定ユニット４２ならびに動きおよびディスパリティ補償ユニット４４は、時間的予測およびビュー間予測を行うために、１つまたは複数の参照ピクチャ、参照ピクチャレイヤ、および／または参照ビュー中の１つまたは複数の予測ブロックに対して現在ビデオブロックのインター予測コーディングおよび／またはビュー間コーディングを実行する。
【０１２９】
[0130]動きおよびディスパリティ推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードおよび／またはビュー間予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライスまたはＢスライスに指定し得る。動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動きおよびディスパリティ推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。動きおよびディスパリティ推定ユニット４２によって実行されるディスパリティ推定は、異なるビュー中のブロックから現在コーディングされているブロックを予測するために使用され得るディスパリティベクトルを生成するプロセスである。
【０１３０】
[0131]予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【０１３１】
[0132]動きおよびディスパリティ推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスまたはビュー間予測スライスにおけるビデオブロックのＰＵのための（動き補償予測のための）動きベクトルおよび／または（ディスパリティ補償予測のための）ディスパリティベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、ＤＰＢ６４に記憶された１つまたは複数の参照ピクチャを識別する。ビュー間予測の場合、参照ピクチャは異なるビュー中にある。動きおよびディスパリティ推定ユニット４２は、計算された動きベクトルおよび／またはディスパリティベクトルをエントロピー符号化ユニット５６と動きおよびディスパリティ補償ユニット４４とに送る。
【０１３２】
[0133]動きおよびディスパリティ補償ユニット４４によって実行される動き補償および／またはディスパリティ補償は、動き推定および／またはディスパリティ推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在ビデオブロックのＰＵのための動きベクトルおよび／またはディスパリティを受信すると、動きおよびディスパリティ補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルおよび／またはディスパリティベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動きおよびディスパリティ補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【０１３３】
[0134]イントラ予測処理ユニット４６は、上記で説明したように、動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット４６（またはいくつかの例では、モード選択ユニット）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
【０１３４】
[0135]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含め得る。
【０１３５】
[0136]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。
【０１３６】
[0137]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【０１３７】
[0138]量子化の後に、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングあるいは別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
【０１３８】
[0139]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構成する。ビデオエンコーダ２０のこの部分は、再構成ループと呼ばれることがあり、インター予測において参照ピクチャとして使用するために符号化ビデオブロックを効果的に復号する。再構成されたピクチャおよび／または再構成されたレイヤピクチャはＤＰＢ６４に記憶される。
【０１３９】
[0140]動きおよびディスパリティ補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動きおよびディスパリティ補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とによって参照ブロックとして使用され得る。
【０１４０】
[0141]図５を参照しながら上記で説明したように、ＤＰＢ６４は複数のサブＤＰＢに区分され得、ここで、各サブＤＰＢは、マルチレイヤビデオコーディングプロセスにおけるレイヤの異なるタイプのためのピクチャを記憶するように構成される。上記で説明したように、および図８を参照しながら以下でより詳細に説明するように、ビデオエンコーダ２０は、マルチレイヤビデオコーディングプロセスの各オペレーションポイントのためのサブＤＰＢサイズを示すシンタックス要素を生成することを含む本開示のＤＰＢ管理技法を実行するように構成され得る。
【０１４１】
[0142]図７は、本開示で説明するＤＰＢ管理技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図７の例では、ビデオデコーダ３０は、ビデオデータメモリ６９と、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、ＤＰＢ９２とを含む。予測処理ユニット８１は、動きおよびディスパリティ補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図６からのビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
【０１４２】
[0143]ビデオデータメモリ６９は、ビデオデコーダ３０の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ６９に記憶されたビデオデータは、たとえば、ストレージデバイス３４から、カメラなどのローカルビデオソースから、ビデオデータのワイヤードまたはワイヤレスネットワーク通信を介して、あるいは物理データ記憶媒体にアクセスすることによって得られ得る。ビデオデータメモリ６９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ（ＣＰＢ）を形成し得る。
【０１４３】
[0144]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【０１４４】
[0145]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、またはＰ）スライスまたはビュー間予測スライスとしてコーディングされたとき、予測処理ユニット８１の動きおよびディスパリティ補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構成し得る。
【０１４５】
[0146]動きおよびディスパリティ補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動きおよびディスパリティ補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測またはビュー間予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルおよび／またはディスパリティベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。
【０１４６】
[0147]動きおよびディスパリティ補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動きおよびディスパリティ補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動きおよびディスパリティ補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【０１４７】
[0148]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
【０１４８】
[0149]動きおよびディスパリティ補償ユニット８２が、動きベクトルおよび／またはディスパリティベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、他のループフィルタも（コーディングループ中またはコーディングループ後のいずれかで）使用され得る。
【０１４９】
[0150]所与のフレームまたはピクチャ中の復号ビデオは、次いで、その後の動き補償のために使用される参照ピクチャブロック（またはマルチレイヤビデオコーディングプロセスにおけるレイヤピクチャ）を記憶するＤＰＢ９２に記憶される。ＤＰＢ９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での表示のために、復号ビデオを記憶する。
【０１５０】
[0151]図５を参照しながら上記で説明したように、ＤＰＢ９２は複数のサブＤＰＢに区分され得、ここで、各サブＤＰＢは、マルチレイヤビデオコーディングプロセスにおけるレイヤの異なるタイプのためのピクチャを記憶するように構成される。上記で説明したように、および図９を参照しながら以下でより詳細に説明するように、ビデオデコーダ３００は、マルチレイヤビデオコーディングプロセスの各オペレーションポイントのためのサブＤＰＢサイズを示すシンタックス要素を受信することと、受信された指示に基づいてサブＤＢＰのためのメモリスペースを割り振ることとを含む本開示のＤＰＢ管理技法を実行するように構成され得る。
【０１５１】
[0152]図８は、本開示の技法による例示的な符号化方法を示すフローチャートである。図８の技法は、たとえば、ＤＰＢ６４を含む、ビデオエンコーダ２０の１つまたは複数の機能ユニットによって実行され得る。
【０１５２】
[0153]本開示の一例では、ビデオエンコーダ２０は、複数の異なるレイヤタイプの複数のピクチャを再構成すること（８００）と、複数のピクチャをＤＰＢに記憶することと、ここにおいて、ＤＰＢが複数のサブＤＰＢに区分される（８０２）、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成すること（８０４）とを行うように構成される。本開示の一例では、マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである。
【０１５３】
[0154]本開示の別の例では、複数のサブＤＰＢの各々は、マルチレイヤビデオコーディングプロセスにおける１つのレイヤタイプのためのピクチャを記憶するように構成される。この例では、ビデオエンコーダ２０は、それぞれのピクチャのレイヤタイプに従って複数のレイヤの各々のためのピクチャを特定のサブＤＰＢに記憶するようにさらに構成され得る。
【０１５４】
[0155]本開示の別の例では、ビデオエンコーダ２０は、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢサイズの少なくとも１つの指示を生成するように構成される。一例では、少なくとも１つの指示は、サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、サブＤＰＢサイズはピクチャの数である。本開示の別の例では、少なくとも１つの指示は、１つまたは複数のオペレーションポイントのためのサブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である。
【０１５５】
[0156]本開示の別の例では、ビデオエンコーダ２０は、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢの各々のためのサブＤＰＢサイズのそれぞれの指示を生成するように構成される。
【０１５６】
[0157]図９は、本開示の技法による例示的な復号方法を示すフローチャートである。図９の技法は、たとえば、ＤＰＢ９２を含む、ビデオデコーダ３０の１つまたは複数の機能ユニットによって実行され得る。
【０１５７】
[0158]本開示の一例では、ビデオデコーダ３０は、ＤＰＢを複数のサブＤＰＢに区分すること（８５０）と、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信すること（８５２）と、少なくとも１つの指示に基づいて複数のサブＤＰＢのためのメモリスペースを割り振ること（８５４）とを行うように構成される。本開示の一例では、マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである。
【０１５８】
[0159]本開示の別の例では、複数のサブＤＰＢの各々は、マルチレイヤビデオコーディングプロセスにおける１つのレイヤタイプのためのピクチャを記憶するように構成される。この例では、ビデオデコーダ３０は、それぞれのピクチャのレイヤタイプに従って複数のレイヤの各々のためのピクチャを特定のサブＤＰＢに記憶するようにさらに構成され得る。
【０１５９】
[0160]本開示の別の例では、ビデオデコーダ３０は、出力時間に従って複数のサブＤＰＢに記憶されたピクチャを出力することと、ここにおいて、同じ出力時間を有するサブＤＰＢ中のピクチャが同時に出力される、複数のサブＤＰＢの各々中のピクチャに対してマーキングプロセスを独立して実行することと、ここにおいて、マーキングプロセスが、ピクチャを参照のために使用されるとマークするか、またはピクチャを参照のために使用されないとマークする、複数のサブＤＰＢから、出力のためにもはや必要とされず、参照のために使用されないとマークされたピクチャを削除することとを行うようにさらに構成される。
【０１６０】
[0161]本開示の別の例では、ビデオデコーダ３０は、空間解像度、ビット深度、またはカラーフォーマットのうちの少なくとも１つによってレイヤタイプを決定するようにさらに構成される。
【０１６１】
[0162]本開示の別の例では、ビデオデコーダ３０は、複数のピクチャを復号することと、複数のピクチャを複数のサブＤＰＢに記憶することと、１つまたは複数のピクチャをディスプレイに出力することとを行うようにさらに構成される。
【０１６２】
[0163]本開示の別の例では、ビデオデコーダ３０は、ビデオパラメータセット中でサブＤＰＢサイズの少なくとも１つの指示を受信するようにさらに構成される。一例では、少なくとも１つの指示は、サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、ここにおいて、サブＤＰＢサイズはピクチャの数である。別の例では、少なくとも１つの指示は、１つまたは複数のオペレーションポイントのためのサブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である。
【０１６３】
[0164]本開示の別の例では、ビデオデコーダ３０は、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための複数のサブＤＰＢの各々のためのサブＤＰＢサイズのそれぞれの指示を受信するようにさらに構成される。
【０１６４】
[0165]本開示の別の例では、ビデオデコーダ３０は、サブＤＰＢの数の指示を受信するようにさらに構成され、ここにおいて、ＤＰＢを複数のサブＤＰＢに区分することは、サブＤＰＢの数の指示に基づいてＤＰＢを複数のサブＤＰＢに区分することを備える。ビデオデコーダ３０は、レイヤタイプに従って複数のサブＤＰＢの各々を識別するインデックスを導出するようにさらに構成され得る。
【０１６５】
[0166]以下のセクションに、ＨＥＶＣ規格（たとえば、ＨＥＶＣバージョン１、ＳＨＥＶＣ、および／またはＭＶ−ＨＥＶＣ）への追加およびそれからの削除に関して本開示の技法の例示的な実装形態を示す。ＨＥＶＣ仕様への追加は下線で示され、ＨＥＶＣ仕様からの削除は取消し線で示されている。以下で明確に説明しないシンタックス要素のセマンティクスは、上記の例示的なＨＥＶＣ、ＳＨＶＣ、および／またはＭＶ−ＨＥＶＣ仕様において見つけられ得る。
【０１６６】
[0167]第１のセクションに、ｍａｘ＿ｄｐｂ＿ｓｉｚｅ＿ｔａｂｌｅによって示されるように、各オペレーションポイントのためのＤＰＢサイズの追加を含むＶＰＳ拡張シンタックスを示す。ｍａｘ＿ｄｐｂ＿ｓｉｚｅ＿ｔａｂｌｅ含まれているシンタックス要素のための意味論的定義を以下に示す。この例では、ｍａｘ＿ｄｐｂ＿ｓｉｚｅ＿ｔａｂｌｅは、ＶＰＳ中に示されるすべての出力レイヤセットのためのサブＤＰＢの最大数（ｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｃａｐｃｉｔｙ＿ｍｉｎｕｓ１）と、シグナリングされたサブＤＰＢサイズの数（ｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｍｉｎｕｓ１）と、差分値としての各サブＤＰＢのサイズ（ｄｅｌｔａ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｍｉｎｕｓ１）とを示すシンタックス要素を含む。
【０１６７】
[0168]
【０１６８】
【表３−１】
0006513650.tif 000006
【０１６９】
【表３−２】
0006513650.tif 000007
【０１７０】
【表３−３】
0006513650.tif 000008
【０１７１】
【表４−１】
0006513650.tif 000009
【０１７２】
【表４−２】
0006513650.tif 000010
【０１７３】
[0169]ＤＰＢサイズテーブルセマンティクス
ｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｍｉｎｕｓ１＋１は、ＶＰＳ中に示されるすべての出力レイヤセットのためのサブＤＰＢの最大数を指定する。各サブＤＰＢは、復号ピクチャバッファの各ユニットの全体的特性に関して同じ容量を有する。
【０１７４】
注：たとえば、同じ解像度を有するすべてのピクチャが同じサブＤＰＢに属し、異なるオペレーションポイントは、異なるオペレーションポイントにおいて同じ解像度をもつレイヤの数の差により、サブＤＰＢ中に異なる数のピクチャを含んでいることがある。
【０１７５】
ｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｍｉｎｕｓ１［ｉ］＋１は、ビデオパラメータセット中でシグナリングされたｉ番目のサブＤＰＢのためのシグナリングされるサイズの数を指定する。
【０１７６】
ｄｅｌｔａ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｍｉｎｕｓ１［ｉ］［ｊ］＋１は、ビデオパラメータセット中でシグナリングされたｉ番目のサブＤＰＢのｊ番目のサイズを指定する。
ｓｕｂＤｐｂＳｉｚｅ［ｉ］［ｊ］によって示される、ｉ番目のサブＤＰＢのｊ番目のサイズは、０からｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｍｉｎｕｓ１［ｉ］までのｊについて、次のように導出される。
subDpbSize[i][j]=delta_sub_dpb_size_minus1[i][j]+1+(j > 0 ? subDpbSize[i][j-1]:0)
１に等しいｓｕｂ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｋ］は、ｉ番目のレイヤセットのｋ番目の時間サブセットのための情報が存在することを示し、０に等しいｓｕｂ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｋ］は、ｉ番目のレイヤセットのｋ番目の時間サブセットのための情報が存在しないことを示す。存在しないとき、ｓｕｂ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｋ］は０に等しいと推論される。
【０１７７】
１に等しいｓａｍｅ＿ｎｕｍ＿ｓｕｂ＿ｄｐｂｓ＿ｆｌａｇ［ｉ］［ｋ］は、ｉ番目の出力レイヤセットのｋ番目の時間サブセットのためのサブＤＰＢの数が（ｉ−１）番目の出力レイヤセットのｋ番目の時間サブセットのためのサブＤＰＢの数に等しいことを指定する。０に等しいｓａｍｅ＿ｎｕｍ＿ｓｕｂ＿ｄｐｂｓ＿ｆｌａｇ［ｉ］［ｋ］は、ｉ番目の出力レイヤセットのｋ番目の時間サブセットのためのサブＤＰＢの数が（ｉ−１）番目の出力レイヤセットのｋ番目の時間サブセットのためのサブＤＰＢの数に等しくないことを指定する。存在しないとき、ｓａｍｅ＿ｎｕｍ＿ｓｕｂ＿ｄｐｂｓ＿ｆｌａｇ［ｉ］［ｋ］は０に等しいと推論される。
【０１７８】
ｄｅｌｔａ＿ｎｕｍ＿ｓｕｂ＿ｄｐｂｓ＿ｍｉｎｕｓ１［ｉ］［ｋ］は、ｉ番目の出力レイヤセットのｋ番目の時間サブセットのためのサブＤＰＢの数を指定する。
【０１７９】
ｉ番目のレイヤセットおよびｋ番目の時間サブセットのためのサブＤＰＢの数、ＮｕｍＳｕｂＤｐｂｓ［ｉ］［ｋ］は、次のように導出される。
【０１８０】
−  ｓｕｂ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｋ］が０に等しい場合、ＮｕｍＳｕｂＤｐｂｓ［ｉ］［ｋ］は０に等しくなるように設定される。
【０１８１】
−  そうではなく、ｓｕｂ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｋ］が１に等しく、ｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｍｉｎｕｓ１が０に等しい場合、ＮｕｍＳｕｂＤｐｂｓ［ｉ］［ｋ］は１に等しくなるように設定される。
【０１８２】
−  他の場合（ｓｕｂ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｋ］もｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｍｉｎｕｓ１も０に等しくない）、ＮｕｍＳｕｂＤｐｂｓ［ｉ］［ｋ］は次のように導出される。
【０１８３】
NumSubDpbs[i][k]=(!same_num_sub_dpbs_flag[i][k])?
(delta_num_sub_dpbs_minus1[i][k]+1+NumSubDPBs[i-1][k])
NumSubDpbs[i-1][k]
ｉ番目の出力レイヤセットおよびｋ番目の時間サブセットのための変数ＮｕｍＳｕｂＤｐｂｓＩｎＯｐｔＬａｙｅｒＳｅｔ［ｉ］［ｋ］は次のように導出される。
【０１８４】
NumSubDpbsInOptLayerSet[i][k]=
NumSubDpbs[output_layer_set_idx_minus1[i]][k]
ｉ番目の出力レイヤセットおよびｋ番目の時間サブセットのための変数ＳｕｂＤｐｂＩｎｆｏＰｒｅｓｅｎｔＦｌａｇ［ｉ］［ｋ］は次のように導出される。
【０１８５】
SubDpbInfoPresentFlag[i][k]=
sub_dpb_info_present_flag[output_layer_set_idx_minus1[i]][k] 
ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘ［ｉ］［ｋ］［ｊ］はサブＤＰＢへのインデックスを指定する。ｉ番目の出力レイヤセットのｋ番目の時間サブセットのｊ番目のサブＤＰＢは、ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘを用いてシグナリングされたｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘ［ｊ］番目のサブＤＰＢである。ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘ［ｉ］［ｋ］［ｊ］は、両端値を含む、０〜ｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｍｉｎｕｓ１の範囲内にある。存在しないとき、ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘ［ｉ］［ｋ］［ｊ］は０に等しいと推論される。
【０１８６】
ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｉｄｘ［ｉ］［ｋ］［ｊ］はｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘ［ｉ］［ｋ］［ｊ］番目のサブＤＰＢのサイズへのインデックスを指定する。ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｉｄｘ［ｉ］［ｋ］［ｊ］は、両端値を含む、０〜ｎｕｍ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｍｉｎｕｓ１［ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘ［ｊ］］の範囲内にある。ＶｐｓＳｕｂＤｐｂＭａｘＤｅｃＰｉｃＢｕｆ［ｉ］［ｋ］［ｊ］はｓｕｂＤｐｂＳｉｚｅ［ｓｕｂ＿ｄｐｂ＿ｃａｐａｃｉｔｙ＿ｉｄｘ［ｉ］［ｋ］［ｊ］］［ｓｕｂ＿ｄｐｂ＿ｓｉｚｅ＿ｉｄｘ［ｉ］［ｋ］［ｊ］］に等しい。
【０１８７】
ＶｐｓＳｕｂＤｐｂＭａｘＤｅｃＰｉｃＢｕｆ［ｉ］［ｋ］［ｊ］は、ＨｉｇｈｅｓｔＴＩｄがｋに等しいときのピクチャ記憶バッファの単位でのｉ番目の出力レイヤセットのためのＣＶＳのためのｊ番目のサブＤＰＢの最大所要サイズを指定する。ｋが０よりも大きいとき、ＶｐｓＳｕｂＤｐｂＭａｘＤｅｃＰｉｃＢｕｆ［ｉ］［ｋ］［ｊ］はＶｐｓＳｕｂＤｐｂＭａｘＤｅｃＰｉｃＢｕｆ［ｉ］［ｋ］［ｊ−１］よりも大きいかまたはそれに等しいものとする。
【０１８８】
[0170]８．１  一般的な復号プロセス
[0171]このプロセスへの入力はビットストリームである。このプロセスの出力は復号ピクチャのリストである。
【０１８９】
[0172]ターゲット出力レイヤセットの、ＶＰＳによって指定された出力レイヤセットのリストへのインデックスを指定する、変数ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは、次のように指定される。
−  本仕様書において指定されていない何らかの外部手段が、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘを設定するために利用可能である場合、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは外部手段によって設定される。
−  そうではなく、復号プロセスが、従属節Ｃ．１において指定されているようにビットストリームコンフォーマンステストにおいて呼び出される場合、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは、従属節Ｃ．１において指定されているように設定される。
−  他の場合、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは０に等しく設定される。
【０１９０】
[0173]変数ＤｅｃＬａｙｅｒＳｅｔＩｄｘはｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘ］＋１に等しく設定される。
【０１９１】
[0174]出力されるべきピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストをｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で指定するレイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、および復号されるべきＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストをｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で指定するレイヤ識別子リストＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔは次のように指定される。
【０１９２】
【数１】
0006513650.tif 000011
【０１９３】
[0175]復号されるべき最高時間サブレイヤを識別する変数ＨｉｇｈｅｓｔＴｉｄは次のように指定される。
【０１９４】
[0176]．．．
[0177]８．１．１  ０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつコード化ピクチャのための復号プロセス
[0178]現在ピクチャが、ＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＢＬＡピクチャであるか、またはＣＲＡピクチャであるとき、以下が適用される。
−  本仕様書において指定されていない何らかの外部手段が、変数ＵｓｅＡｌｔＣｐｂＰａｒａｍｓＦｌａｇをある値に設定するために利用可能である場合、ＵｓｅＡｌｔＣｐｂＰａｒａｍｓＦｌａｇは、外部手段によって与えられた値に等しく設定される。
−  他の場合、ＵｓｅＡｌｔＣｐｂＰａｒａｍｓＦｌａｇの値は０に等しく設定される。
【０１９５】
[0179]ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇの値に応じて、復号プロセスは次のように構築される。
−  ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが０に等しい場合、復号プロセスは単一回呼び出され、現在ピクチャは出力である。
−  他の場合（ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１に等しい）、復号プロセスは３回呼び出される。復号プロセスへの入力は、ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄの同じ値をもつコード化ピクチャのすべてのＮＡＬユニットである。ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄの特定の値をもつＮＡＬユニットの復号プロセスは、ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄのその特定の値をもつモノクロームカラーフォーマットをもつＣＶＳのみがビットストリーム中に存在するかのように指定される。３つの復号プロセスの各々の出力は、現在ピクチャの３つのサンプルアレイのうちの１つに割り当てられ、０、１、および２に等しいｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｉｄをもつＮＡＬユニットは、それぞれＳL、ＳCb、およびＳCrに割り当てられる。
【０１９６】
注−  ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇが１に等しく、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃが３に等しいとき、変数ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しいものとして導出される。復号プロセスでは、この変数の値が評価され、（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ０に等しいとき）モノクロームピクチャの動作と同じ動作を生じる。
【０１９７】
[0180]復号プロセスは、現在ピクチャＣｕｒｒＰｉｃについて次のように動作する。
１．ＮＡＬユニットの復号は従属節８．２において指定されている。
２．従属節８．３におけるプロセスは、スライスセグメントレイヤおよびそれ以上におけるシンタックス要素を使用した以下の復号プロセスを指定する。
【０１９８】
−  ピクチャ順序カウントに関係する変数および関数は従属節８．３．１において導出される。これは、ピクチャの第１のスライスセグメントのためにのみ呼び出される必要がある。
【０１９９】
−  従属節８．３．２におけるＲＰＳのための復号プロセスが呼び出され、ここにおいて、参照ピクチャは、「参照のために使用されない」または「長期参照のために使用される」とマークされ得る。これは、ピクチャの第１のスライスセグメントのためにのみ呼び出される必要がある。
【０２００】
−  現在ピクチャがＢＬＡピクチャであるか、または１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇをもつＣＲＡピクチャであるとき、従属節８．３．３において指定されている利用不可能な参照ピクチャを生成するための復号プロセスが呼び出され、これは、ピクチャの第１のスライスセグメントのためにのみ呼び出される必要がある。
【０２０１】
−  ＰｉｃＯｕｔｐｕｔＦｌａｇは次のように設定される。
【０２０２】
−  現在ピクチャがＲＡＳＬピクチャであり、関連するＩＲＡＰピクチャのＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しい場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは０に等しく設定される。
【０２０３】
−  そうではなく、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄがＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ中に存在しない場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは０に等しく設定される。
【０２０４】
−  他の場合、ＰｉｃＯｕｔｐｕｔＦｌａｇはｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇに等しく設定される。
【０２０５】
−  各ＰまたはＢスライスのための復号プロセスの最初に、従属節８．３．４に指定されている参照ピクチャリスト構成のための復号プロセスは、参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）の導出のために、およびＢスライスを復号するとき、参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）の導出のために呼び出される。
３．従属節８．４、８．５、８．６、および８．７におけるプロセスは、すべてのシンタックス構造レイヤにおけるシンタックス要素を使用した復号プロセスを指定する。ピクチャのスライスへの分割、スライスセグメントへのスライスの分割、およびコーディングツリーユニットへのスライスセグメントの分割はそれぞれ、ピクチャの区分を形成するように、ピクチャのコード化スライスがピクチャのコーディングツリーユニットごとにスライスセグメントデータを含んでいるものとすることがビットストリームコンフォーマンスの要件である。
４．現在ピクチャのすべてのスライスが復号された後、復号ピクチャは「短期参照のために使用される」とマークされる。
【０２０６】
[0181]Ｆ．３  定義
．．．
Ｆ．３．１６  オペレーションポイント：入力として別のビットストリーム、ターゲット最高ＴｅｍｐｏｒａｌＩｄ、およびターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作成され、ターゲット出力レイヤのセットに関連するビットストリーム。
【０２０７】
注１４−□オペレーションポイントのターゲット最高ＴｅｍｐｏｒａｌＩｄが、ターゲットレイヤ識別リストに関連するレイヤセット中のＴｅｍｐｏｒａｌＩｄの最大値に等しい場合、オペレーションポイントはレイヤセットと同じである。他の場合、それはレイヤセットのサブセットである。
【０２０８】
Ｆ．３．１７  出力レイヤセット：ターゲット出力レイヤのセットに関連するレイヤセット。
【０２０９】
[0182]Ｆ．８．１．２  ０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつコード化ピクチャの復号を終了するための復号プロセス
ＰｉｃＯｕｔｐｕｔＦｌａｇは次のように設定される。
−  現在ピクチャがＲＡＳＬピクチャであり、関連するＩＲＡＰピクチャのＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しい場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは０に等しく設定される。
−  そうではなく、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ中に存在しない場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは０に等しく設定される。
−  他の場合、ＰｉｃＯｕｔｐｕｔＦｌａｇはｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇに等しく設定される。
以下が適用される。
−  ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇが１に等しい場合、復号ピクチャは「参照のために使用されない」とマークされる。
−  他の場合、復号ピクチャは「短期参照のために使用される」とマークされる。
【０２１０】
ＴｅｍｐｏｒａｌＩｄがＨｉｇｈｅｓｔＴｉｄに等しいとき、従属節Ｆ．８．１．２．１において指定されているレイヤ間予測のために必要とされないサブレイヤ非参照ピクチャのためのマーキングプロセスが、入力としてｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいｌａｔｅｓｔＤｅｃＬａｙｅｒＩｄを用いて呼び出される。
【０２１１】
[0183]Ｆ．１３  仮想参照デコーダ
Ｆ．１３．１  一般
従属節Ｃ．１における仕様は、以下の修正および追加とともに適用される。
−  「ＴａｒｇｅｔＯｐとして示される、テスト中のオペレーションポイントが選択される。ＴａｒｇｅｔＯｐのレイヤ識別子リストＯｐＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で、ＴａｒｇｅｔＯｐに関連するビットストリームサブセット中に存在する、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストからなり、このサブセットは、テスト中のビットストリーム中に存在するｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のサブセットである。ＴａｒｇｅｔＯｐのＯｐＴｉｄは、ＴａｒｇｅｔＯｐに関連するビットストリームサブセット中に存在する最高ＴｅｍｐｏｒａｌＩｄに等しい。」を「ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘと、ターゲット最高ＴｅｍｐｏｒａｌＩｄ値、ＨｉｇｈｅｓｔＴｉｄとによって識別された、ターゲット出力レイヤセットが選択される。ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘの値は、両端値を含む、０〜ＮｕｍＯｕｔｐｕｔＬａｙｅｒＳｅｔｓ−１の範囲内にあるものとする。ＨｉｇｈｅｓｔＴｉｄの値は、両端値を含む、０〜ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるものとする。次いで、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔおよびＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔが、式８−１において指定されているように導出される。テスト中のオペレーションポイントは、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに等しいＯｐｔＬａｙｅｒＩｄＬｉｓｔと、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔに等しいＯｐＬａｙｅｒＩｄＬｉｓｔと、ＨｉｇｈｅｓｔＴｉｄに等しいＯｐＴｉｄとを有する。」と差し替える
−  「ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔはＴａｒｇｅｔＯｐのＯｐＬａｙｅｒＩｄＬｉｓｔに等しく設定され、ＨｉｇｈｅｓｔＴｉｄはＴａｒｇｅｔＯｐのＯｐＴｉｄに等しく設定され、節１０において指定されているサブビットストリーム抽出プロセスは、入力としてテスト中のビットストリーム、ＨｉｇｈｅｓｔＴｉｄ、およびＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔを用いて呼び出され、出力がＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。」を「節１０において指定されているサブビットストリーム抽出プロセスは、入力としてテスト中のビットストリーム、ＨｉｇｈｅｓｔＴｉｄ、およびＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔを用いて呼び出され、出力はＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。」と差し替える
各レイヤについて、各レイヤへのサブＤＰＢの割当ては以下のプロセスにおいて導出される。
−  ｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ＤｅｃＬａｙｅｒＳｅｔＩｄｘ］に等しくなるようにｎｕｍＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔを設定する。両端値を含む、０からｎｕｍＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔ−１までのｉについて、アレイｓｐａｔＲｅｓ、ｃｏｌｏｕｒＦｏｒｍａｔ、およびｂｉｔＤｅｐｔｈＩｄは次のように定義される。
【０２１２】
−  ｓｐａｔＲｅｓ［ｉ］［０］およびｓｐａｔＲｅｓ［ｉ］［１］は、ターゲットレイヤセット中のｉ番目のレイヤのアクティブレイヤＳＰＳの、それぞれｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓの値に等しく設定される。
【０２１３】
−  ｃｏｌｏｕｒＦｏｒｍａｔ［ｉ］は、ターゲットレイヤセット中のｉ番目のレイヤのアクティブレイヤＳＰＳのｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ［ｉ］の値に等しく設定される。
【０２１４】
−  ｂｉｔＤｅｐｔｈＩｄ［ｉ］［０］およびｂｉｔＤｅｐｔｈＩｄ［ｉ］［１］は、ターゲットレイヤセット中のｉ番目のレイヤのアクティブレイヤＳＰＳの、それぞれｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８およびｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８の値に等しく設定される。
−  以下が適用される。
【０２１５】
【数２】
0006513650.tif 000012
【０２１６】
レイヤＩＤ  ｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ各ピクチャについて、インデックスＳｕｂＤｐｂＡｓｓｉｇｎｅｄ［ＤｅｃＬａｙｅｒＳｅｔＩｄｘ］［ＬａｙｅｒＩｄＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］をもつサブＤＰＢは、そのピクチャに関連すると言われ、そのレイヤに関連するとも言われる。
【０２１７】
[0184]Ｆ．１３．３  復号ピクチャバッファ（ＤＰＢ）の動作
Ｆ．１３．３．１  一般
この従属節における仕様は、従属節Ｃ．１において指定されているように、選択されたＤＰＢパラメータの各セットに独立して適用される。
【０２１８】
復号ピクチャバッファはサブＤＰＢに区分され、各サブＤＰＢはピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される」とマークされたか、または将来の出力のために保持された復号ピクチャを含んでいることがある。サブＤＰＢの数はＮｕｍＳｕｂＤｐｂｓ［ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄ］に等しく、ＶｐｓＳｕｂＤｐｂＭａｘＤｅｃＰｉｃＢｕｆのアレイの場合のように、各サブＤＰＢ中のピクチャ記憶バッファの数はアクティブＶＰＳから推論される。従属節Ｆ．１３．３．２、Ｆ．１３．３．３およびＦ．１３．３．４において指定されているプロセスは、以下で指定されているように連続的に適用される。
【０２１９】
ターゲット出力レイヤ中に含まれないピクチャのためのＰｉｃＯｕｔｐｕｔＦｌａｇは０に等しく設定される。
【０２２０】
同じＤＰＢ出力時間をもつ復号ピクチャおよび１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつ復号ピクチャは、これらの復号ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で出力される。
【０２２１】
ピクチャｎをｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値のためのアクセスユニットｎのコード化ピクチャまたは復号ピクチャとし、ここにおいて、ｎは非負整数である。
【０２２２】
[0185]Ｆ．１３．３．２  ＤＰＢからのピクチャの削除
従属節Ｃ．３．２における仕様は、以下の修正とともに、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値をもつ復号ピクチャの各セットのために別個に適用される。
−  「現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの削除は、（現在ピクチャを含んでいる）アクセスユニットｎの第１の復号ユニットのＣＰＢ削除時間に瞬時に起こり、次のように進む。」を「現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの削除は、ピクチャｎの第１の復号ユニットのＣＰＢ削除時間に瞬時に起こり、次のように進む。」と差し替える。
−  「．．．およびＤＰＢフルネスは０に等しく設定される。」を「およびサブＤＰＢフルネスはすべてのサブＤＰＢについて０に等しく設定される。」と差し替える
−  「．．．先行するピクチャのためにアクティブなＳＰＳから導出された．．．」を「．．．現在ピクチャと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄ値をもつ、復号順序で先行するピクチャのためにアクティブなＳＰＳから導出された、．．．」と差し替える
−  「ＤＰＢから削除される各ピクチャについて、ＤＰＢフルネスは１だけ減分される。」を「サブＤＰＢから削除される各ピクチャについて、サブＤＰＢフルネスは１だけ減分される。」と差し替える
[0186]Ｆ．１４．３  ビットストリームコンフォーマンス
本仕様書に準拠するコード化データのビットストリームは、この従属節において指定されているすべての要件を満たすものとする。
【０２２３】
ビットストリームは、この付属書類のほかに本仕様書において指定されているシンタックス、セマンティクス、および制約に従って構成されるものとする。
【０２２４】
ビットストリーム中の第１のアクセスユニットは、ＩＲＡＰアクセスユニット、すなわちＩＤＲアクセスユニット、ＣＲＡアクセスユニットまたはＢＬＡアクセスユニットであるものとする。
【０２２５】
ビットストリームは、従属節Ｃ．１において指定されているコンフォーマンスのためにＨＲＤによってテストされる。
【０２２６】
現在ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄをｃｕｒｒＰｉｃＬａｙｅｒＩｄとする。
【０２２７】
変数ＡｓｓｏｃｉａｔｅｄＳｕｂＤｐｂＳｉｚｅ［ｌａｙｅｒＩｄ］［ＨｉｇｈｅｓｔＴｉｄ］はＶｐｓＳｕｂＤｐｂＭａｘＤｅｃＰｉｃＢｕｆ［ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄ］［ＨｉｇｈｅｓｔＴｉｄ］［ｓｕｂＤｐｂＩｄ］に等しく設定され、ここで、ｓｕｂＤｐｂＩｄはＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔ中の各ｌａｙｅｒＩｄのためのＳｕｂＤｐｂＡｓｓｉｇｎｅｄ［ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄ］［ＬａｙｅｒＩｄＩｎＬｉｓｔ［ｌａｙｅｒＩｄ］］に等しい。
【０２２８】
．．．
ビットストリームコンフォーマンステストの各々について、以下の条件のすべてが満たされるものとする。
１．ｎが０よりも大きく、バッファリング期間ＳＥＩメッセージに関連する、各アクセスユニットｎについて、変数ｄｅｌｔａＴｉｍｅ９０ｋ［ｎ］を次のように指定する。
【０２２９】
deltaTime90k[n]=90000*(AuNominalRemovalTime[n]-
AuFinalArrivalTime[n-1])      (F-5)
ＩｎｉｔＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］の値は次のように制約される。
【０２３０】
−  ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が０に等しい場合、以下の条件が真であるものとする。
【０２３１】
InitCpbRemovalDelay[SchedSelIdx] <=Ceil(deltaTime90k[n]))
(F-6)
−  他の場合（ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が１に等しい）、以下の条件が真であるものとする。
【０２３２】
Floor(deltaTime90k[n]) <= 
InitCpbRemovalDelay[SchedSelIdx] <= Ceil(deltaTime90k[n]))
(F-7)
注１−  各ピクチャの削除時間におけるＣＰＢ中の正確なビット数は、ＨＲＤを初期化するためにどのバッファリング期間ＳＥＩメッセージが選択されるかに依存し得る。エンコーダは、ＨＲＤがバッファリング期間ＳＥＩメッセージのうちのいずれか１つにおいて初期化され得るので、ＨＲＤを初期化するためにどのバッファリング期間ＳＥＩメッセージが選択されるかにかかわらず、すべての指定された制約が順守されなければならないということを保証するために、これを考慮に入れなければならない。
２．ＣＰＢオーバーフローは、ＣＰＢ中のビット総数がＣＰＢサイズよりも大きい状態として指定される。ＣＰＢは決してオーバーフローしないものとする。
３．ＣＰＢアンダーフローは、復号ユニットｍの公称ＣＰＢ削除時間ＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ（ｍ）が、ｍの少なくとも１つの値について、復号ユニットｍの最終ＣＰＢ到達時間ＤｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅ（ｍ）よりも小さい状態として指定される。ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ［ＨｉｇｈｅｓｔＴｉｄ］が０に等しいとき、ＣＰＢは決してアンダーフローしないものとする。
４．ＳｕｂＰｉｃＨｒｄＦｌａｇが１に等しく、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ［ＨｉｇｈｅｓｔＴｉｄ］が１に等しく、アクセスユニットｎの復号ユニットｍの公称削除時間が復号ユニットｍの最終ＣＰＢ到達時間よりも小さいとき（すなわちＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｍ］＜ＤｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅ［ｍ］）、アクセスユニットｎの公称削除時間はアクセスユニットｎの最終ＣＰＢ到達時間よりも小さいものとする（すなわちＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｎ］＜ＡｕＦｉｎａｌＡｒｒｉｖａｌＴｉｍｅ［ｎ］）。
５．（復号順序で第２のアクセスユニットから開始する）ＣＰＢからのアクセスユニットの公称削除時間は、従属節Ａ．４．１〜Ａ．４．２において表されるＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｎ］およびＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］に関する制約を満たすものとする。
６．各現在ピクチャについて、従属節Ｃ．３．２において指定されているＤＰＢからのピクチャの削除のためのプロセスの呼出しの後、「参照のために使用される」とマークされるか、または１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇと、ＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｃｕｒｒＰｉｃ］よりも小さいＡｕＣｐｂＲｅｍｏｖａｌＴｉｍｅ［ｎ］とを有し、ここでｃｕｒｒＰｉｃが現在ピクチャである、すべてのピクチャｎを含む、関連するサブＤＰＢ中の復号ピクチャの数は、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０に等しいとき、ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］よりも小さいかまたはそれに等しく、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１が０よりも大きいとき、ＡｓｓｏｃｉａｔｅｄＳｕｂＤｐｂＳｉｚｅ［ｃｕｒｒＬａｙｅｒＩｄ］［ＨｉｇｈｅｓｔＴｉｄ］よりも小さいかまたはそれに等しいものとする。．．．
[0187]Ｆ．１３．５．２．２  ＤＰＢからのピクチャの出力および削除
現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの出力および削除は、現在ピクチャの第１の復号ユニットがＣＰＢから削除されたときに瞬時に起こり、次のように進む。
【０２３３】
従属節８．３．２において指定されているＲＰＳのための復号プロセスが呼び出される。
−  現在ピクチャが、ピクチャ０でない、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇをもち、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＩＲＡＰピクチャである場合、以下の順序付きステップが適用される。
１．変数ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、次のようにテスト中のデコーダのために導出される。
−  現在ピクチャがＣＲＡピクチャである場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは（ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値にかかわらず）１に等しく設定される。
−  そうではなく、アクティブＳＰＳから導出されたｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、またはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］の値が、現在ピクチャと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄ値もつ、復号順序で先行するピクチャのためにアクティブなＳＰＳから導出された、それぞれｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、またはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］の値とは異なる場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値にかかわらず、テスト中のデコーダによって１に設定され得る（ただし、それに設定されるべきではない）。
注６−  ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇをｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇに等しく設定することがこれらの条件下で選好されるが、テスト中のデコーダは、この場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に設定することを可能にされる。
−  他の場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇはｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇに等しく設定される。
２．テスト中のデコーダのために導出されたＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、次のようにＨＲＤのために適用される。
−  ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが１に等しい場合、ＤＰＢ中のすべてのサブＤＰＢ中のすべてのピクチャ記憶バッファが、それらが含んでいるピクチャの出力なしに空にされ、すべてのサブＤＰＢについて、サブＤＰＢフルネスが０に等しく設定される。
−  他の場合（ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが０に等しい）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファが（出力なしに）空にされ、従属節Ｆ．１３．５．２．４において指定されている「バンピング」プロセスを繰り返し呼び出すことによって、ＤＰＢ中のすべての空でないピクチャ記憶バッファが空にされ、ＤＰＢフルネスが０に等しく設定される。
−  他の場合（現在ピクチャが、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇをもつか、または０に等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＩＲＡＰピクチャではない）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファが（出力なしに）空にされる。空にされた各ピクチャ記憶バッファについて、そのピクチャ記憶バッファに関連するサブＤＰＢのサブＤＰＢフルネスは１だけ減分される。変数ｃｕｒｒＬａｙｅｒＩｄは現在復号ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しく設定され、以下の条件のうちの１つまたは複数が真であるとき、従属節Ｆ．１３．５．２．４において指定されている「バンピング」プロセスは、以下の条件のいずれも真でなくなるまで、空にされた各追加のピクチャ記憶バッファについてＤＰＢフルネスを１だけさらに減分しながら、繰り返し呼び出される。
−  「出力のために必要とされる」とマークされた現在ピクチャに関連するサブＤＰＢ中のｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャの数は、（ｃｕｒｒＬａｙｅｒＩｄが０に等しいとき）アクティブＳＰＳからの、または（ｃｕｒｒＬａｙｅｒＩｄが０に等しくないとき）ｃｕｒｒＬａｙｅｒＩｄの値のためのアクティブレイヤＳＰＳからのｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＨｉｇｈｅｓｔＴｉｄ］よりも大きい。
−  （ｃｕｒｒＬａｙｅｒＩｄが０に等しいとき）アクティブＳＰＳの、またはｃｕｒｒＬａｙｅｒＩｄの値のためのアクティブレイヤＳＰＳのｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］は０に等しくなく、関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ［ｃｕｒｒＬａｙｅｒＩｄ］が、（ｃｕｒｒＬａｙｅｒＩｄが０に等しいとき）アクティブＳＰＳから導出された、またはｃｕｒｒＬａｙｅｒＩｄの値のためのアクティブレイヤＳＰＳから導出されたＳｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ＨｉｇｈｅｓｔＴｉｄ］よりも大きいかまたはそれに等しい、「出力のために必要とされる」とマークされたＤＰＢの中のｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ少なくとも１つのピクチャがある。
【０２３４】
【数３】
0006513650.tif 000013
【０２３５】
[0188]Ｆ．１３．５．２．２  ピクチャ復号、マーキング、追加のバンピング、および記憶
この従属節において指定されているプロセスは、現在ピクチャを含んでいるアクセスユニットｎの最後の復号ユニットがＣＰＢから削除されたときに瞬時に起こる。
【０２３６】
変数ｃｕｒｒＬａｙｅｒＩｄは現在復号ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しく設定される。
【０２３７】
「出力のために必要とされる」とマークされ、ｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する、関連するサブＤＰＢ中の各ピクチャについて、関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ［ｃｕｒｒＬａｙｅｒＩｄ］はＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ［ｃｕｒｒＬａｙｅｒＩｄ］＋１に等しく設定される。
【０２３８】
現在ピクチャは、ピクチャの最後の復号ユニットが復号された後に復号されると見なされる。現在復号ピクチャは、ＤＰＢ中の空のピクチャ記憶バッファに記憶され、以下が適用される。
−  現在復号ピクチャが、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する場合、それは「出力のために必要とされる」とマークされ、それの関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ［ｃｕｒｒＬａｙｅｒＩｄ］は０に等しく設定される。
−  他の場合（現在復号ピクチャが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する）、それは「出力のために必要とされない」とマークされる。
【０２３９】
現在復号ピクチャは「短期参照のために使用される」とマークされる。
【０２４０】
以下の条件のうちの１つまたは複数が真であるとき、従属節Ｆ．１３．５．２．４において指定されている「バンピング」プロセスは、以下の条件のいずれも真でなくなるまで、繰り返し呼び出される。
−  「出力のために必要とされる」とマークされた関連するサブＤＰＢ中のｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャの数は、（ｃｕｒｒＬａｙｅｒＩｄが０に等しいとき）アクティブＳＰＳからの、または、０に等しくない場合、ｃｕｒｒＬａｙｅｒＩｄの値のためのアクティブレイヤＳＰＳからのｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＨｉｇｈｅｓｔＴｉｄ］よりも大きい。
−  ｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］は０に等しくなく、関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ［ｃｕｒｒＬａｙｅｒＩｄ］が、（ｃｕｒｒＬａｙｅｒＩｄが０に等しいとき）アクティブＳＰＳから導出された、または（ｃｕｒｒＬａｙｅｒＩｄが０に等しくないとき）ｃｕｒｒＬａｙｅｒＩｄの値のためのアクティブレイヤＳＰＳから導出されたＳｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ＨｉｇｈｅｓｔＴｉｄ］よりも大きいかまたはそれに等しい、「出力のために必要とされる」とマークされた関連するサブＤＰＢ中のｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ少なくとも１つのピクチャがある。
【０２４１】
[0189]以下のセクションに、ＨＥＶＣ仕様（たとえば、ＨＥＶＣバージョン１、ＳＨＥＶＣ、および／またはＭＶ−ＨＥＶＣ）からの追加および削除に関して本開示の技法の別の例示的な実装形態を示す。この場合も、ＨＥＶＣ仕様への追加は下線で示され、ＨＥＶＣ仕様からの削除は取消し線で示されている。以下の例示的な実装形態は、上記で示した実装形態と同様であるが、サブＤＰＢの最大サイズを示すシンタックス要素（ＶｐｓＳｕｂＤｐｂＭａｘＤｅｃＰｉｃＢｕｆ）は別様にシグナリングされる。特に、表５に示されている以下の例示的な実装形態は、いくつかのサブＤＰＢサイズがいくつかのオペレーションポイントについて同じであることを示す追加のシンタックス要素（ｏｖｅｒｌａｐ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅｓ＿ｆｌａｇ）を使用する。
【０２４２】
[0190]
【０２４３】
【表５】
0006513650.tif 000014
【０２４４】
[0191]Ｆ．１．１．１．１．１  最大ｄｐｂサイズテーブルセマンティクス
．．．
１に等しいｏｖｅｒｌａｐ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅｓ＿ｆｌａｇ［ｊ］は、ｖｐｓＳｕｂＤｐｂＭａｘＤＰＢ［ｉ］［ｋ］［ｊ］の第１のいくつかのエントリがｖｐｓＳｕｂＤｐｂＭａｘＤＰＢ［ｉ−１］［ｋ］［ｊ］のすべてのエントリと同じであり、したがって、ｖｐｓＳｕｂＤｐｂＭａｘＤＰＢ［ｉ］［ｋ］［ｊの追加のエントリのみが存在することを指定する。１に等しいｏｖｅｒｌａｐ＿ｓｕｂ＿ｄｐｂ＿ｓｉｚｅｓ＿ｆｌａｇ［ｊ］は、ｖｐｓＳｕｂＤｐｂＭａｘＤＰＢ［ｉ］［ｋ］［ｊのすべてのエントリが存在することを指定する。
【０２４５】
ｖｐｓ＿ｓｕｂ＿ｄｐｂ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｖａｌｕｅｓ［ｉ］［ｋ］［ｊ］はｖｐｓＳｕｂＤｐｂＭａｘＤＰＢ［ｉ］［ｋ］［ｊ］の値を指定する。それは０〜ｖｐｓＳｕｂＤｐｂＭａｘＤＰＢ［ｉ］［ｋ］［ｊ］の範囲内にあり、次のように導出される。
signaledSize[i][k][j]=vps_sub_dpb_max_dec_pic_buffering_value[i][k][j]
derivedSize[i][k][j]=(j<NumSubDPBs[i-1][k])? vpsSubDpbMaxDPB[i-1][k][j]:signaledSize[i][k][j+NumSubDPBs[i-1][k]]
vpsSubDpbMaxDPB[i][k][j]=(overlap_sub_dpb_sizes_flag[j])?
derivedSize[i][k][j]: signaledSize[i][k][j]
[0192]以下のセクションに、ＨＥＶＣにおけるサブＤＰＢサイズをシグナリングするための別の例示的な実装形態を示す。この例では、（たとえば、ＴｅｍｐｏｒａｌＩＤによって示されるように）特定のレイヤを顧慮せずにサブＤＰＢサイズ。
【０２４６】
[0193]
【０２４７】
【表６】
0006513650.tif 000015
【０２４８】
[0194]別の例では、レイヤセットをシグナリングするとき、レイヤの数が減少していないことが要求されない。したがって、シンタックス要素ｄｅｌｔａ＿ｎｕｍ＿ｓｕｂ＿ｄｐｂｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］の代わりに、各レイヤセットについて直接的にサブＤＰＢの数を示すシンタックス要素ｎｕｍ＿ｓｕｂ＿ｄｐｂｓ＿ｍｉｎｕｓ１［ｉ］［ｊ］がシグナリングされる。別の例では、レイヤの数は、ビデオエンコーダ２０によってシグナリングされないが、代わりに、ビデオデコーダ３０において導出される。
【０２４９】
[0195]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【０２５０】
[0196]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０２５１】
[0197]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。
【０２５２】
[0198]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
【０２５３】
[0199]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、
復号ピクチャバッファ（ＤＰＢ）を複数のサブＤＰＢに区分することと、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信することと、
を備える方法。
［Ｃ２］
前記少なくとも１つの指示に基づいて前記複数のサブＤＰＢのためのメモリスペースを割り振ることと、
複数のレイヤのためのピクチャを復号することと、
前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記複数のサブＤＰＢの各々は、前記マルチレイヤビデオコーディングプロセスにおける複数の異なるレイヤタイプのうちの１つのためのピクチャを記憶するように構成され、前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することは、前記それぞれのピクチャのレイヤタイプに従って前記複数のレイヤの各々のためのピクチャを前記サブＤＰＢのうちの特定の１つに記憶することを備える、Ｃ２に記載の方法。
［Ｃ４］
出力時間に従って前記複数のサブＤＰＢに記憶された前記ピクチャを出力することと、ここにおいて、同じ出力時間を有するサブＤＰＢ中のピクチャが同時に出力され、
前記複数のサブＤＰＢの各々中の前記ピクチャに対してマーキングプロセスを独立して実行することと、ここにおいて、前記マーキングプロセスは、ピクチャを参照のために使用されるとマークするか、または前記ピクチャを参照のために使用されないとマークし、
前記複数のサブＤＰＢから、出力のためにもはや必要とされず、参照のために使用されないとマークされたピクチャを削除することと、
をさらに備える、Ｃ３に記載の方法。
［Ｃ５］
空間解像度、ビット深度、またはカラーフォーマットのうちの少なくとも１つによって前記レイヤタイプを決定すること、
をさらに備える、Ｃ３に記載の方法。
［Ｃ６］
前記マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである、Ｃ３に記載の方法。
［Ｃ７］
前記サブＤＰＢサイズの前記少なくとも１つの指示を受信することは、ビデオパラメータセット中で前記サブＤＰＢサイズの前記少なくとも１つの指示を受信することを備える、Ｃ１に記載の方法。
［Ｃ８］
前記少なくとも１つの指示は、前記サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、前記サブＤＰＢサイズはピクチャの数である、Ｃ７に記載の方法。
［Ｃ９］
前記少なくとも１つの指示は、前記１つまたは複数のオペレーションポイントのための前記サブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である、Ｃ７に記載の方法。
［Ｃ１０］
前記サブＤＰＢサイズの前記少なくとも１つの指示を受信することは、前記マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢの各々のためのサブＤＰＢサイズのそれぞれの指示を受信することを備える、Ｃ１に記載の方法。
［Ｃ１１］
前記サブＤＰＢの数の指示を受信することと、
サブＤＰＢの前記数の前記指示に基づいて前記ＤＰＢを複数のサブＤＰＢに区分することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
レイヤタイプに従って前記複数のサブＤＰＢの各々を識別するインデックスを導出すること、
をさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
ビデオデータを復号するように構成された装置であって、
ビデオデータを記憶するように構成された復号ピクチャバッファ（ＤＰＢ）と、
前記ＤＰＢを複数のサブＤＰＢに区分することと、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信することと、
を行うように構成されたビデオデコーダと、
を備える、装置。
［Ｃ１４］
前記ビデオデコーダは、
前記少なくとも１つの指示に基づいて前記複数のサブＤＰＢのためのメモリスペースを割り振ることと、
複数のレイヤのためのピクチャを復号することと、
前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することと、
を行うようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ１５］
前記複数のサブＤＰＢの各々は、前記マルチレイヤビデオコーディングプロセスにおける複数の異なるレイヤタイプのうちの１つのためのピクチャを記憶するように構成され、前記ビデオデコーダは、前記それぞれのピクチャのレイヤタイプに従って前記複数のレイヤ各々のためのピクチャを前記サブＤＰＢのうちの特定の１つに記憶するようにさらに構成された、Ｃ１４に記載の装置。
［Ｃ１６］
前記ビデオデコーダは、
出力時間に従って前記複数のサブＤＰＢに記憶された前記ピクチャを出力することと、ここにおいて、同じ出力時間を有するサブＤＰＢ中のピクチャは同時に出力され、
前記複数のサブＤＰＢの各々中の前記ピクチャに対してマーキングプロセスを独立して実行することと、ここにおいて、前記マーキングプロセスは、ピクチャを参照のために使用されるとマークするか、または前記ピクチャを参照のために使用されないとマークし、
前記複数のサブＤＰＢから、出力のためにもはや必要とされず、参照のために使用されないとマークされたピクチャを削除することと、
を行うようにさらに構成された、Ｃ１５に記載の装置。
［Ｃ１７］
前記ビデオデコーダは、
空間解像度、ビット深度、またはカラーフォーマットのうちの少なくとも１つによって前記レイヤタイプを決定すること、
を行うようにさらに構成された、Ｃ１５に記載の装置。
［Ｃ１８］
前記マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである、Ｃ１５に記載の装置。
［Ｃ１９］
前記ビデオデコーダは、ビデオパラメータセット中で前記サブＤＰＢサイズの前記少なくとも１つの指示を受信するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ２０］
前記少なくとも１つの指示は、前記サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、前記サブＤＰＢサイズはピクチャの数である、Ｃ１９に記載の装置。
［Ｃ２１］
前記少なくとも１つの指示は、前記１つまたは複数のオペレーションポイントのためのサブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である、Ｃ１９に記載の装置。
［Ｃ２２］
前記ビデオデコーダは、前記マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢの各々のための前記サブＤＰＢサイズのそれぞれの指示を受信するようにさらに構成された、Ｃ１３に記載の装置。
［Ｃ２３］
前記ビデオデコーダは、
サブＤＰＢの数の指示を受信することと、
サブＤＰＢの前記数の前記指示に基づいて前記ＤＰＢを複数のサブＤＰＢに区分することと、
を行うようにさらに構成された、Ｃ２２に記載の装置。
［Ｃ２４］
前記ビデオデコーダは、
レイヤタイプに従って前記複数のサブＤＰＢの各々を識別するインデックスを導出すること、
を行うようにさらに構成された、Ｃ２３に記載の装置。
［Ｃ２５］
ビデオデータを復号するように構成された装置であって、
復号ピクチャバッファ（ＤＰＢ）を複数のサブＤＰＢに区分するための手段と、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信するための手段と、
を備える、装置。
［Ｃ２６］
実行されたとき、ビデオデータを復号するように構成されたデバイス１つまたは複数のプロセッサに、
復号ピクチャバッファ（ＤＰＢ）を複数のサブＤＰＢに区分することと、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を受信することと、
を行わせる命令を記憶するコンピュータ可読記憶媒体。
［Ｃ２７］
ビデオデータを符号化する方法であって、
複数の異なるレイヤタイプの複数のピクチャを再構成することと、
前記複数のピクチャを復号ピクチャバッファ（ＤＰＢ）に記憶することと、ここにおいて、前記ＤＰＢは複数のサブＤＰＢに区分され、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成することと、
を備える方法。
［Ｃ２８］
前記複数のサブＤＰＢの各々は、前記マルチレイヤビデオコーディングプロセスにおける複数の異なるレイヤタイプのうちの１つのためのピクチャを記憶するように構成され、前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することは、前記それぞれのピクチャのレイヤタイプに従って前記複数のレイヤの各々のためのピクチャを前記サブＤＰＢのうちの特定の１つに記憶することを備える、Ｃ２７に記載の方法。
［Ｃ２９］
前記マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである、Ｃ２８に記載の方法。
［Ｃ３０］
前記サブＤＰＢサイズの前記少なくとも１つの指示を生成することは、ビデオパラメータセット中で前記サブＤＰＢサイズの前記少なくとも１つの指示を生成することを備える、Ｃ２７に記載の方法。
［Ｃ３１］
前記少なくとも１つの指示は、前記サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、前記サブＤＰＢサイズがピクチャの数である、Ｃ３０に記載の方法。
［Ｃ３２］
前記少なくとも１つの指示は、前記１つまたは複数のオペレーションポイントのためのサブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である、Ｃ３０に記載の方法。
［Ｃ３３］
前記サブＤＰＢサイズの前記少なくとも１つの指示を生成することは、前記マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢの各々のための前記サブＤＰＢサイズのそれぞれの指示を生成することを備える、Ｃ２７に記載の方法。
［Ｃ３４］
ビデオデータを符号化するように構成された装置であって、
ビデオデータを記憶するように構成された復号ピクチャバッファ（ＤＢＰ）と、
複数の異なるレイヤタイプの複数のピクチャを再構成することと、
前記複数のピクチャを前記ＤＰＢに記憶することと、ここにおいて、前記ＤＰＢは複数のサブＤＰＢに区分され、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成することと
を行うように構成されたビデオエンコーダと、
を備える装置。
［Ｃ３５］
前記複数のサブＤＰＢの各々は、前記マルチレイヤビデオコーディングプロセスにおける複数の異なるレイヤタイプのうちの１つのためのピクチャを記憶するように構成され、前記複数のレイヤのための前記ピクチャを前記複数のサブＤＰＢに記憶することが、前記それぞれのピクチャのレイヤタイプに従って前記複数のレイヤの各々のためのピクチャを前記サブＤＰＢのうちの特定の１つに記憶することを備える、Ｃ３４に記載の装置。
［Ｃ３６］
前記マルチレイヤビデオコーディングプロセスはマルチビュービデオコーディングプロセスまたはスケーラブルビデオコーディングプロセスのうちの１つである、Ｃ３５に記載の装置。
［Ｃ３７］
前記ビデオエンコーダは、ビデオパラメータセット中で前記サブＤＰＢサイズの前記少なくとも１つの指示を生成するようにさらに構成された、Ｃ３４に記載の装置。
［Ｃ３８］
前記少なくとも１つの指示は、前記サブＤＰＢサイズを明示的に示す値を有するシンタックス要素であり、前記サブＤＰＢサイズがピクチャの数である、Ｃ３７に記載の装置。
［Ｃ３９］
前記少なくとも１つの指示は、前記１つまたは複数のオペレーションポイントのためのサブＤＰＢサイズと前にシグナリングされたオペレーションポイントのためのサブＤＰＢサイズとの間の差を表す値を有するシンタックス要素である、Ｃ３７に記載の装置。
［Ｃ４０］
前記ビデオエンコーダは、マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢの各々のための前記サブＤＰＢサイズのそれぞれの指示を生成するようにさらに構成された、Ｃ３４に記載の装置。
［Ｃ４１］
ビデオデータを符号化するように構成された装置であって、
複数の異なるレイヤタイプの複数のピクチャを再構成するための手段と、
前記複数のピクチャを復号ピクチャバッファ（ＤＰＢ）に記憶するための手段と、ここにおいて、前記ＤＰＢは複数のサブＤＰＢに区分され、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成するための手段と、
を備える装置。
［Ｃ４２］
実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、
複数の異なるレイヤタイプの複数のピクチャを再構成することと、
前記複数のレイヤピクチャを前記ＤＰＢに記憶することと、ここにおいて、前記ＤＰＢは複数のサブＤＰＢに区分され、
マルチレイヤビデオコーディングプロセスの１つまたは複数のオペレーションポイントのための前記複数のサブＤＰＢのためのサブＤＰＢサイズの少なくとも１つの指示を生成することと、
を行わせる命令を記憶するコンピュータ可読媒体。
【図１】
0006513650.tif 000016
【図２】
0006513650.tif 000017
【図３】
0006513650.tif 000018
【図４】
0006513650.tif 000019
【図５】
0006513650.tif 000020
【図６】
0006513650.tif 000021
【図７】
0006513650.tif 000022
【図８】
0006513650.tif 000023
【図９】
0006513650.tif 000024