(57)【特許請求の範囲】
【請求項１】
ビデオデータを復号する方法であって、前記方法が、
符号化ビデオビットストリームから、複数の出力レイヤセットを受信することと、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤである、
前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを復号することと、
各それぞれの復号された複数のサブレイヤを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶することと、
前記符号化ビデオビットストリームから、前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を受信することと、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を受信することと、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを受信することと、
受信されたサブＤＰＢパラメータの各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと
を備える、方法。
【請求項２】
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータの各それぞれのセットは、
前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すそれぞれの第３のシンタックス要素、または、
前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すそれぞれの第４のシンタックス要素
のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
サブＤＰＢパラメータの前記それぞれのセットを受信することが、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを受信することを備える、請求項１に記載の方法。
【請求項４】
前記複数の出力レイヤセットのうちの第２の特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第１のそれぞれのシンタックス要素に基づいて、前記第２の特定の出力レイヤセットのサブＤＰＢパラメータの前記それぞれのセットを前記第２の特定の出力レイヤセットのすべてのサブレイヤに適用すること
をさらに備える、請求項１に記載の方法。
【請求項５】
前記第１の特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされることを前記第１のそれぞれのシンタックス要素が示すとき、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの各サブレイヤについて各第２のそれぞれのシンタックス要素を受信すること
をさらに備える、請求項１に記載の方法。
【請求項６】
前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用すること、または、
前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの前記特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを前記第２のそれぞれのシンタックス要素が示すとき、前記特定のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを受信すること
をさらに備える、請求項１に記載の方法。
【請求項７】
サブレイヤＩＤ  Ｘをもつ特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのシンタックス要素に基づいて、Ｘよりも大きいそれぞれのサブレイヤＩＤを有する前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちのサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用すること
をさらに備え、前記サブレイヤＩＤ  Ｘをもつ前記特定のサブレイヤは、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの１つである、請求項１に記載の方法。
【請求項８】
前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記受信されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、請求項１に記載の方法。
【請求項９】
前記アクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することが、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいる前記１つまたは複数のサブＤＰＢのうちの第１のサブＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記第１のサブＤＰＢからピクチャを削除することと
を備える、請求項８に記載の方法。
【請求項１０】
ビデオデータを復号するように構成された装置であって、前記装置が、
ビデオデータを記憶するように構成された１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）を備える１つまたは複数のメモリデバイスと、
符号化ビデオビットストリームから、複数の出力レイヤセットを受信することと、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤである、
前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを復号することと、
各それぞれの復号された複数のサブレイヤを前記１つまたは複数のサブＤＰＢに記憶することと、
前記符号化ビデオビットストリームから、前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を受信することと、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を受信することと、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを受信することと、
受信されたサブＤＰＢパラメータの各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと
を行うように構成されたビデオデコーダと
を備える、装置。
【請求項１１】
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータの各それぞれのセットは、
前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すそれぞれの第３のシンタックス要素、または、
前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すそれぞれの第４のシンタックス要素
のうちの少なくとも１つを含む、請求項１０に記載の装置。
【請求項１２】
前記ビデオデコーダが、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを受信するように構成された、請求項１０に記載の装置。
【請求項１３】
前記ビデオデコーダは、
前記複数の出力レイヤセットのうちの第２の特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第１のそれぞれのシンタックス要素に基づいて、前記第２の特定の出力レイヤセットのサブＤＰＢパラメータの前記それぞれのセットを前記第２の特定の出力レイヤセットのすべてのサブレイヤに適用すること
を行うようにさらに構成された、請求項１０に記載の装置。
【請求項１４】
前記ビデオデコーダは、
前記第１の特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされることを前記第１のそれぞれのシンタックス要素が示すとき、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの各サブレイヤについて各第２のそれぞれのシンタックス要素を受信すること
を行うようにさらに構成された、請求項１０に記載の装置。
【請求項１５】
前記ビデオデコーダは、
前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用すること、または、
前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの前記特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを前記第２のそれぞれのシンタックス要素が示すとき、前記特定のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを受信すること
を行うようにさらに構成された、請求項１０に記載の装置。
【請求項１６】
前記ビデオデコーダは、
サブレイヤＩＤ  Ｘをもつ特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのシンタックス要素に基づいて、Ｘよりも大きいそれぞれのサブレイヤＩＤを有する前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちのサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用すること
を行うようにさらに構成され、前記サブレイヤＩＤ  Ｘをもつ前記特定のサブレイヤは、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの１つである、請求項１０に記載の装置。
【請求項１７】
前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記受信されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、請求項１０に記載の装置。
【請求項１８】
前記ビデオデコーダが、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいる前記１つまたは複数のサブＤＰＢのうちの第１のサブＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記第１のサブＤＰＢからピクチャを削除することと
を行うようにさらに構成された、請求項１７に記載の装置。
【請求項１９】
ビデオデータを復号するように構成された装置であって、前記装置が、
符号化ビデオビットストリームから、複数の出力レイヤセットを受信するための手段と、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤである、
前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを復号するための手段と、
各それぞれの復号された複数のサブレイヤを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶するための手段と、
前記符号化ビデオビットストリームから、前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を受信するための手段と、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を受信するための手段と、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを受信するための手段と、
受信されたサブＤＰＢパラメータの各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行するための手段と
を備える、装置。
【請求項２０】
実行されたとき、ビデオデータを復号するように構成されたデバイスの１つまたは複数のプロセッサに、
符号化ビデオビットストリームから、複数の出力レイヤセットを受信することと、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤである、
前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを復号することと、
各それぞれの復号された複数のサブレイヤを１つまたは複数のサブＤＰＢに記憶することと、
前記符号化ビデオビットストリームから、前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を受信することと、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を受信することと、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
前記符号化ビデオビットストリームから、各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを受信することと、
受信されたサブＤＰＢパラメータの各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと
を行わせる命令を記憶する、非一時的コンピュータ可読記憶媒体。
【請求項２１】
ビデオデータを符号化する方法であって、前記方法が、
符号化ビデオビットストリームの複数の出力レイヤセットを再構成することと、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤであり、前記複数の出力レイヤセットを再構成することは、前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを再構成することを含む、
各それぞれの再構成された複数のサブレイヤを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶することと、
前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を生成することと、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を生成することと、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを生成することと、
前記サブＤＰＢパラメータの生成された各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、
前記符号化ビデオビットストリーム中で前記サブＤＰＢパラメータの生成された各それぞれのセットをシグナリングすることと
を備える、方法。
【請求項２２】
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータの各それぞれのセットは、
前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すそれぞれの第３のシンタックス要素、または、
前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すそれぞれの第４のシンタックス要素
のうちの少なくとも１つを含む、請求項２１に記載の方法。
【請求項２３】
サブＤＰＢパラメータの前記それぞれのセットを生成することが、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを生成することを備える、請求項２１に記載の方法。
【請求項２４】
前記符号化ビデオビットストリーム中で、前記複数の出力レイヤセットの各出力レイヤセットについて各第１のそれぞれのシンタックス要素を生成することと、
前記符号化ビデオビットストリーム中で、前記複数の出力レイヤセットのうちの第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて各第２のそれぞれのシンタックス要素を生成することと
をさらに備える、請求項２１に記載の方法。
【請求項２５】
前記第１の特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第１のそれぞれのシンタックス要素に基づいて、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの各サブレイヤについて各第２のそれぞれのシンタックス要素を生成すること
をさらに備える、請求項２１に記載の方法。
【請求項２６】
前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第２のそれぞれのシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを生成すること
をさらに備える、請求項２１に記載の方法。
【請求項２７】
前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記生成されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、請求項２１に記載の方法。
【請求項２８】
前記アクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することが、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいる前記１つまたは複数のサブＤＰＢのうちの第１のサブＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記第１のサブＤＰＢからピクチャを削除することと
を備える、請求項２７に記載の方法。
【請求項２９】
ビデオデータを符号化するように構成された装置であって、前記装置が、
ビデオデータを記憶するように構成された１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）を備える１つまたは複数のメモリデバイスと、
符号化ビデオビットストリームの複数の出力レイヤセットを再構成することと、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤであり、前記複数の出力レイヤセットを再構成することは、前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを再構成することを含む、
各それぞれの再構成された複数のサブレイヤを前記１つまたは複数のサブＤＰＢに記憶することと、
前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を生成することと、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を生成することと、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを生成することと、
前記サブＤＰＢパラメータの生成された各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、
前記符号化ビデオビットストリーム中で前記サブＤＰＢパラメータの生成された各それぞれのセットをシグナリングすることと
を行うように構成されたビデオエンコーダと
を備える、装置。
【請求項３０】
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータの各それぞれのセットは、
前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すそれぞれの第３のシンタックス要素、または、
前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すそれぞれの第４のシンタックス要素
のうちの少なくとも１つを含む、請求項２９に記載の装置。
【請求項３１】
前記ビデオエンコーダは、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを生成するように構成された、請求項２９に記載の装置。
【請求項３２】
前記ビデオエンコーダは、
前記符号化ビデオビットストリーム中で、前記複数の出力レイヤセットの各出力レイヤセットについて各第１のそれぞれのシンタックス要素を生成することと、
前記符号化ビデオビットストリーム中で、前記複数の出力レイヤセットのうちの第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて各第２のそれぞれのシンタックス要素を生成することと
を行うようにさらに構成された、請求項２９に記載の装置。
【請求項３３】
前記ビデオエンコーダは、
前記第１の特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第１のそれぞれのシンタックス要素に基づいて、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの各サブレイヤについて各第２のそれぞれのシンタックス要素を生成すること
を行うようにさらに構成された、請求項２９に記載の装置。
【請求項３４】
前記ビデオエンコーダは、
前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤのうちの特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第２のそれぞれのシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを生成すること
を行うようにさらに構成された、請求項２９に記載の装置。
【請求項３５】
前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記生成されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、請求項２９に記載の装置。
【請求項３６】
前記ビデオエンコーダは、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいる前記１つまたは複数のサブＤＰＢのうちの第１のサブＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記第１のサブＤＰＢからピクチャを削除することと
を行うようにさらに構成された、請求項３５に記載の装置。
【請求項３７】
ビデオデータを符号化するように構成された装置であって、前記装置が、
符号化ビデオビットストリームの複数の出力レイヤセットを再構成するための手段と、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤであり、前記複数の出力レイヤセットを再構成することは、前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを再構成することを含む、
各それぞれの再構成された複数のサブレイヤを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶するための手段と、
前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を生成するための手段と、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を生成するための手段と、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを生成するための手段と、
前記サブＤＰＢパラメータの生成された各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行するための手段と、
前記符号化ビデオビットストリーム中で前記サブＤＰＢパラメータの生成された各それぞれのセットをシグナリングするための手段と
を備える、装置。
【請求項３８】
実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、
符号化ビデオビットストリームの複数の出力レイヤセットを再構成することと、ここにおいて、前記複数の出力レイヤセットの各出力レイヤセットは、それぞれの複数のサブレイヤを含み、各それぞれの複数のサブレイヤは、第１のサブレイヤと前記第１のサブレイヤ以外の１つまたは複数のサブレイヤとを含み、各それぞれの複数のサブレイヤのうちの前記第１のサブレイヤは、ベースサブレイヤであり、前記複数の出力レイヤセットを再構成することは、前記複数の出力レイヤセットの各それぞれの複数のサブレイヤを再構成することを含む、
各それぞれの再構成された複数のサブレイヤを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶することと、
前記複数の出力レイヤセットの各出力レイヤセットについて第１のそれぞれのシンタックス要素を生成することと、ここにおいて、各第１のそれぞれのシンタックス要素は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
第１の特定の出力レイヤセットの前記第１のサブレイヤについてではなく、前記複数の出力レイヤセットのうちの前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各サブレイヤについて第２のそれぞれのシンタックス要素を生成することと、ここにおいて、各第２のそれぞれのシンタックス要素は、前記第１の特定の出力レイヤセットの前記第１のサブレイヤ以外の前記１つまたは複数のサブレイヤの各それぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す、
各それぞれの複数のサブレイヤの前記第１のサブレイヤのためのサブＤＰＢパラメータのそれぞれのセットを生成することと、
前記サブＤＰＢパラメータの生成された各それぞれのセットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、
前記符号化ビデオビットストリーム中で前記サブＤＰＢパラメータの生成された各それぞれのセットをシグナリングすることと
を行わせる命令を記憶する非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０１３年１０月１０日に出願された米国仮出願第６１／８８９，５１５号、および２０１３年１０月１４日に出願された米国仮出願第６１／８９０，８４１号の利益を主張する。
【０００２】
[0002]本開示は、ビデオコーディングに関する。
【背景技術】
【０００３】
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
【０００４】
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）が、ツリーブロック、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００５】
[0005]空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
【発明の概要】
【０００６】
[0006]概して、本開示では、ビデオコーディング技法について説明する。特に、本技法は、サブ復号ピクチャバッファ（サブＤＰＢ：sub-decoded picture buffer）に適用され得るビデオコーディングおよびシグナリング技法に関する。本開示の１つまたは複数の例では、１つまたは複数のレイヤおよび／または１つまたは複数のサブレイヤのためのＤＰＢおよびサブＤＰＢパラメータをシグナリングするための技法について説明する。本開示の技法を利用することによって、１つまたは複数のサブレイヤを含むマルチレイヤビデオビットストリームについて、シグナリング効率が高められ得る。
【０００７】
[0007]本開示の一例では、ビデオデータを復号する方法が、複数のピクチャを含む符号化ビデオビットストリームを受信することと、複数のピクチャを１つまたは複数のサブＤＰＢに記憶することと、符号化ビデオビットストリームの各それぞれの動作点（operation point）のためのサブＤＰＢパラメータのそれぞれのセットを受信することと、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、サブＤＰＢパラメータの受信されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することとを備える。
【０００８】
[0008]本開示の別の例では、ビデオデータを復号するように構成された装置が、ビデオデータを記憶するように構成された１つまたは複数のサブＤＰＢと、複数のピクチャを含む符号化ビデオビットストリームを受信することと、複数のピクチャを１つまたは複数のサブＤＰＢに記憶することと、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信することと、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、サブＤＰＢパラメータの受信されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することとを行うように構成されたビデオデコーダとを備える。
【０００９】
[0009]本開示の別の例では、ビデオデータを復号するように構成された装置が、複数のピクチャを含む符号化ビデオビットストリームを受信するための手段と、複数のピクチャを１つまたは複数のサブＤＰＢに記憶ための手段と、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信するための手段と、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用するための手段と、サブＤＰＢパラメータの受信されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行するための手段とを備える。
【００１０】
[0010]別の例では、本開示では、実行されたとき、ビデオデータを復号するように構成されたデバイスの１つまたは複数のプロセッサに、複数のピクチャを含む符号化ビデオビットストリームを受信することと、複数のピクチャを１つまたは複数のサブＤＰＢに記憶することと、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信することと、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、サブＤＰＢパラメータの受信されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することとを行わせる命令を記憶するコンピュータ可読記憶媒体について説明する。
【００１１】
[0011]本開示の別の例では、ビデオデータを符号化する方法が、符号化ビデオビットストリームの複数のピクチャを再構成することと、複数のピクチャを１つまたは複数のサブＤＰＢに記憶することと、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成することと、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、サブＤＰＢパラメータの生成されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、符号化ビデオビットストリーム中でサブＤＰＢパラメータのそれぞれのセットをシグナリングすることとを備える。
【００１２】
[0012]本開示の別の例では、ビデオデータを符号化するように構成された装置が、ビデオデータを記憶するように構成された１つまたは複数のサブＤＰＢと、符号化ビデオビットストリームの複数のピクチャを再構成することと、複数のピクチャを１つまたは複数のサブＤＰＢに記憶することと、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成することと、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、サブＤＰＢパラメータの生成されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、符号化ビデオビットストリーム中でサブＤＰＢパラメータのそれぞれのセットをシグナリングすることとを行うように構成されたビデオエンコーダとを備える。
【００１３】
[0013]本開示の別の例では、ビデオデータを符号化するように構成された装置が、符号化ビデオビットストリームの複数のピクチャを再構成するための手段と、複数のピクチャを１つまたは複数のサブＤＰＢに記憶するための手段と、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成するための手段と、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用するための手段と、サブＤＰＢパラメータの生成されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行するための手段と、符号化ビデオビットストリーム中でサブＤＰＢパラメータのそれぞれのセットをシグナリングするための手段とを備える。
【００１４】
[0014]別の例では、本開示では、実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、符号化ビデオビットストリームの複数のピクチャを再構成することと、複数のピクチャを１つまたは複数のサブＤＰＢに記憶することと、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成することと、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、サブＤＰＢパラメータの生成されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、符号化ビデオビットストリーム中でサブＤＰＢパラメータのそれぞれのセットをシグナリングすることとを行わせる命令を記憶するコンピュータ可読記憶媒体について説明する。
【００１５】
[0015]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１６】
【図１】[0016]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図２】[0017]例示的なマルチビュー復号順序を示す概念図。
【図３】[0018]マルチビューコーディングのための例示的な予測構造を示す概念図。
【図４】[0019]例示的なスケーラブルビデオコーディングレイヤを示す概念図。
【図５】[0020]本開示の例による例示的な復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）を示す概念図。
【図６】[0021]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。
【図７】[0022]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。
【図８】[0023]本開示の技法の一例による例示的な符号化方法を示すフローチャート。
【図９】[0024]本開示の技法の一例による例示的な復号方法を示すフローチャート。
【発明を実施するための形態】
【００１７】
[0025]概して、本開示では、マルチレイヤビデオコーディングにおける復号ピクチャバッファ（ＤＰＢ）に関係するパラメータのシグナリングのための技法について説明する。特に、本開示では、（サブＤＰＢとも呼ばれる）ＤＰＢのサブユニットの管理に関係するパラメータをシグナリングするための様々な技法について説明する。以下でより詳細に説明するように、本開示の技法は、マルチレイヤビデオビットストリームの１つまたは複数のレイヤおよび１つまたは複数のサブレイヤのためのサブＤＰＢパラメータをシグナリングするための技法を含む。本開示の技法を利用することによって、１つまたは複数のサブレイヤを含むマルチレイヤビデオビットストリームについて、シグナリング効率が高められ得る。
【００１８】
[0026]本開示のコンテキストでは、レイヤは、スケーラブルビデオコーディングプロセスにおけるベースレイヤあるいは１つまたは複数のエンハンスメントレイヤであり得る。例示的なスケーラブルビデオコーディングプロセスは、Ｈ．２６４／ＳＶＣ（スケーラブルビデオコーディング）、およびスケーラブルＨＥＶＣ（ＳＨＶＣ）など、高効率ビデオコーディング（ＨＥＶＣ）規格のスケーラブル拡張を含む。さらに、レイヤは、マルチビューまたは３Ｄビデオコーディングにおける１つまたは複数のテクスチャビューを指し得る。さらに、３Ｄビデオコーディングにおける深度ビューもレイヤと見なされ得る。別の例として、レイヤは、テクスチャビューコンポーネントと深度ビューコンポーネントの両方を含むシングルビューに対応し得る。例示的なマルチビューコーディングプロセスは、Ｈ．２６４／ＭＶＣ（マルチビューコーディング）、およびマルチビューＨＥＶＣ（ＭＶ−ＨＥＶＣ）など、ＨＥＶＣ規格のマルチビュー拡張を含む。より一般的には、レイヤは、同じレイヤ識別情報（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）ユニットのセットを指し得る。
【００１９】
[0027]したがって、「レイヤ」という用語は、本開示では、概して、スケーラブルビデオコーディングの意味ではベースレイヤおよび／またはエンハンスメントレイヤを指し、３Ｄおよびマルチビュービデオコーディングの意味では（テクスチャビューコンポーネントおよび／または深度ビューコンポーネントを含む）ビューを指すために使用される。したがって、マルチレイヤビデオコーディングという用語は、概して、スケーラブルビデオコーディング技法と、マルチビュービデオコーディング技法と、マルチビュー＋深度（multi-view plus depth）コーディングを含む３Ｄビデオコーディング技法とを指す。本開示の技法は、マルチビュー拡張、３Ｄビデオ拡張、ならびにＨＥＶＣおよび／またはＨ．２６４／ＡＶＣのスケーラブル拡張を含む、そのようなビデオコーディングシナリオに適用され得る。
【００２０】
[0028]本開示のコンテキストでは、「サブレイヤ」という用語は、時間スケーラブルビットストリームの時間スケーラブルレイヤを指す。すなわち、１つまたは複数の異なるサブレイヤが異なるフレームレートでビデオを出力するために復号され得るビットストリーム。レイヤは１つまたは複数のサブレイヤを含み得る。
【００２１】
[0029]以下で説明する技法は、深度マップを用いたピクチャの２つまたはそれ以上のビューのコーディングを含む、アドバンストコーデックに基づく、スケーラブル、マルチビューおよび３Ｄビデオコーディング技法に適用され得る。ビデオコーディング規格は、ＩＴＵ−Ｔ  Ｈ．２６１と、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６３と、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌと、それのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４とを含む。さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発された。ＨＥＶＣ規格は、ＩＴＵ−Ｔ  Ｈ．２６５、ＳＥＲＩＥＳ  Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ  ＡＮＤ  ＭＵＬＴＩＭＥＤＩＡ  ＳＹＳＴＥＭＳ、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  ｏｆ  Ａｕｄｉｏｖｉｓｕａｌ  Ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｖｉｄｅｏ、「High Efficiency Video Coding」、２０１３年４月（以下、「ＨＥＶＣ」）に記載されている。
【００２２】
[0030]ＨＥＶＣに対する様々な拡張が提案されている。１つのそのような拡張はＨＥＶＣ範囲拡張であり、ＨＥＶＣ範囲拡張は、「High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 4」、ＪＣＴＶＣ−Ｎ１００５＿ｖ１、２０１３年４月（以下、「ＪＣＴＶＣ−Ｎ１００５」）に記載されている。「High efficiency video coding (HEVC) scalable extension draft 3」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１４回会議：Ｖｉｅｎｎａ、ＡＴ、２０１３年７月２５日〜８月２日と題し、以下でＳＨＶＣ  ＷＤ３と呼ばれる、スケーラブルＨＥＶＣ（ＳＨＶＣ）規格の最近のワーキングドラフト（ＷＤ）は、http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zipから入手可能である。また、ＨＥＶＣに対するマルチビュー拡張、すなわちＭＶ−ＨＥＶＣがＪＣＴ−３Ｖによって開発されている。ＭＶ−ＨＥＶＣの１つのワーキングドラフト（以下ＷＤ４）は、http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v3.zipから入手可能である。「MV-HEVC Draft Text 8」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張、第８回会議：Ｖａｌｅｎｃｉａ、ＥＳ、２０１４年３月２９日〜４月４日と題する、ＭＶ−ＨＥＶＣのより最近のワーキングドラフトは、http://phenix.it-sudparis.eu/jct3v/doc_end_user/documents/8_Valencia/wg11/JCT3V-H0002-v1.zip.から入手可能である。
【００２３】
[0031]図１は、本開示で説明するマルチレイヤビデオコーディングプロセスにおける復号ピクチャバッファ（ＤＰＢ）管理およびシグナリングのための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
【００２４】
[0032]宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【００２５】
[0033]代替的に、符号化データは、出力インターフェース２２からストレージデバイス３４に出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイス３４からアクセスされ得る。ストレージデバイス３４は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３４は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３４から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイス３４からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
【００２６】
[0034]例として、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、または３Ｄ−ＨＥＶＣなど、マルチレイヤビデオコーディングプロセスにおけるＤＰＢ管理およびシグナリングのための本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００２７】
[0035]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。
【００２８】
[0036]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３４上に記憶され得る。
【００２９】
[0037]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス３４上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０など、ビデオデコーダが使用するためのビデオエンコーダ２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。
【００３０】
[0038]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【００３１】
[0039]ビデオエンコーダ２０およびビデオデコーダ３０は、高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ：HEVC Test Model）に準拠し得る。特に、いくつかの例では、ビデオエンコーダ２０およびビデオデコーダは、スケーラブル、マルチビュー、および／またはマルチビュー＋深度ビデオコーディングをサポートする、ＨＥＶＣの拡張に従って動作し得る。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいは、Ｈ．２６４／ＳＶＣを含む、そのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ  Ｈ．２６３がある。特に、本開示の技法によれば、ビデオエンコーダ２０およびビデオデコーダ３０は、スケーラブル（たとえば、ＳＨＶＣ）および／またはマルチビュー符号化（たとえば、ＭＶ−ＨＥＶＣまたは３Ｄ−ＨＥＶＣ）が可能なビデオコーディング規格に従って動作し得る。
【００３２】
[0040]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００３３】
[0041]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
【００３４】
[0042]本開示の以下のセクションでは、ＨＥＶＣ規格の背景を与える。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づいていた。ＨＭは、たとえば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを与えるが、ＨＭは３３個ものイントラ予測符号化モードを与え得る。
【００３５】
[0043]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む（コーディングツリーブロック（ＣＴＢ：coding tree block）または最大コーディングユニット（ＬＣＵ：largest coding unit）とも呼ばれる）一連のツリーブロックに分割され得ることを記載している。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木（quadtree）に従ってコーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
【００３６】
[0044]ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、概して、コーディングノードのサイズに対応し、一般に、形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含んでいることがある。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかの間で異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形であり得る。
【００３７】
[0045]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
【００３８】
[0046]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、たとえば、予測方向によって示され得る、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。
【００３９】
[0047]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）をも含み得る。予測に続いて、ビデオエンコーダ２０は、ＰＵに従ってコーディングノードによって識別されたビデオブロックから残差値を計算し得る。コーディングノードは、次いで、元のビデオブロックではなく、残差値を参照するように更新される。残差値はピクセル差分値を備え、ピクセル差分値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するためにＴＵ中で指定された変換と他の変換情報とを使用して変換係数に変換され、量子化され、走査され得る。コーディングノードは、これらのシリアル化変換係数を参照するように、もう一度更新され得る。本開示では、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＣＴＢ、ＬＣＵ、またはＣＵを指すためも「ビデオブロック」という用語を使用し得る。
【００４０】
[0048]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ：group of picture）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。
【００４１】
[0049]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ  ＰＵと下部の２Ｎ×１．５Ｎ  ＰＵとで水平方向に区分された２Ｎ×２Ｎ  ＣＵを指す。
【００４２】
[0050]本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ただし、Ｎは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備え得、ただし、Ｍは必ずしもＮに等しいとは限らない。
【００４３】
[0051]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵによって指定された変換が適用される残差データを計算し得る。残差データは、符号化されていないピクチャのピクセルと、ＣＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを形成し、次いで、残差データを変換して、変換係数を生成し得る。
【００４４】
[0052]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、ただし、ｎはｍよりも大きい。
【００４５】
[0053]いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context adaptive binary arithmetic coding）または別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化し得る。ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関係し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
【００４６】
[0054]また、ＨＥＶＣ拡張がＪＣＴ−３ＶおよびＪＣＴ−ＶＣにおいて現在開発中である。ＪＣＴ−３Ｖでは、２つのマルチビュー関係ＨＥＶＣ拡張、マルチビュー拡張（ＭＶ−ＨＥＶＣ）と３Ｄビデオ拡張（３Ｄ−ＨＥＶＣ）とが開発されている。さらに、２つのＡＶＣ拡張、ＭＶＣ＋Ｄと３Ｄ−ＡＶＣとが開発されている。
【００４７】
[0055]進行中の規格の例示的なバージョンは次のように記載されている。
【００４８】
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1001-v3.zipにおいて入手可能である、Ｔ．Ｓｕｚｕｋｉ、Ｍ．Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｙ．Ｃｈｅｎ、Ｓ．Ｈａｔｔｏｒｉ、Ｇ．Ｓｕｌｌｉｖａｎ、「MVC Extension for Inclusion of Depth Maps Draft Text 6」、ＪＣＴ３Ｖ−Ｃ１００１、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第４回会議。
【００４９】
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1002-v3.zipにおいて入手可能である、Ｍ．Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｙ．Ｃｈｅｎ、Ｔ．Ｓｕｚｕｋｉ、Ｊ．−Ｒ．Ｏｈｍ、Ｇ．Ｓｕｌｌｉｖａｎ、「3D-AVC Draft Text 8」、ＪＣＴ３Ｖ−Ｆ１００２、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。
【００５０】
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1004-v6.zipにおいて入手可能である、ＪＣＴ３Ｖ−Ｆ１００４、「MV-HEVC Draft Text 6」、Ｇ．Ｔｅｃｈ、Ｋ．Ｗｅｇｎｅｒ、Ｙ．Ｃｈｅｎ、Ｍ．Ｈａｎｎｕｋｓｅｌａ、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。
【００５１】
−  http://phenix.int-evry.fr/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v2において入手可能である、Ｇｅｒｈａｒｄ  Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ  Ｗｅｎｇｅｒ、Ｙｉｎｇ  Ｃｈｅｎ、Ｓｅｈｏｏｎ  Ｙｅａ、「3D-HEVC Draft Text 2」、ＪＣＴ３Ｖ−Ｆ１００１、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第６回会議。
【００５２】
[0056]次に、Ｈ．２６４／アドバンストビデオコーディング（ＡＶＣ）規格の拡張のマルチビュービデオコーディング技法について説明する。ただし、本開示の技法は、新生のＨＥＶＣ規格（たとえば、ＭＶ−ＨＥＶＣおよび３Ｄ−ＨＥＶＣ）のためのマルチビューコーディングおよび／または３Ｄコーディングマルチビュー提案をサポートする任意のビデオコーディング規格とともに適用可能であり得る。
【００５３】
[0057]マルチビュービデオコーディング（ＭＶＣ）はＨ．２６４／ＡＶＣの拡張である。典型的なＭＶＣ復号順序（すなわち、ビットストリーム順序）を図２に示す。復号順序構成は時間優先（time-first）コーディングと呼ばれる。アクセスユニットの復号順序はアクセスユニットの出力順序または表示順序と同じでないことがあることに留意されたい。図２では、Ｓ０〜Ｓ７はそれぞれ、マルチビュービデオの異なるビューを指す。Ｔ１〜Ｔ９はそれぞれ、１つの出力時間インスタンスを表す。アクセスユニットは、１つの出力時間インスタンスについてのすべてのビューのコード化ピクチャを含み得る。たとえば、第１のアクセスユニットは時間インスタンスＴ１についてのビューＳ０〜Ｓ７のすべてを含み得、第２のアクセスユニットは時間インスタンスＴ２についてのビューＳ０〜Ｓ７のすべてを含み得、以下同様である。
【００５４】
[0058]簡潔のために、本開示では、以下の定義を使用し得る。
【００５５】
ビューコンポーネント：単一のアクセスユニット中のビューのコード化表現。ビューがコード化テクスチャ表現と深度表現の両方を含むとき、ビューコンポーネントは、テクスチャビューコンポーネントと深度ビューコンポーネントとを含み得る。
【００５６】
テクスチャビューコンポーネント：単一のアクセスユニット中のビューのテクスチャのコード化表現。
【００５７】
深度ビューコンポーネント：単一のアクセスユニット中のビューの深度のコード化表現。
【００５８】
[0059]上記で説明したように、本開示のコンテキストでは、ビューコンポーネント、テクスチャビューコンポーネント、および深度ビューコンポーネントの各々は一般にレイヤと呼ばれることがある。図２では、ビューの各々はピクチャのセットを含む。たとえば、ビューＳ０はピクチャ０、８、１６、２４、３２、４０、４８、５６、および６４のセットを含み、ビューＳ１はピクチャ１、９、１７、２５、３３、４１、４９、５７、および６５のセットを含み、以下同様である。各セットは２つのタイプのピクチャを含み、一方のピクチャはテクスチャビューコンポーネントと呼ばれ、他方のピクチャは深度ビューコンポーネントと呼ばれる。ビューのピクチャのセット内のテクスチャビューコンポーネントと深度ビューコンポーネントは、互いに対応すると見なされ得る。たとえば、ビューのピクチャのセット内のテクスチャビューコンポーネントは、そのビューのピクチャのセット内の深度ビューコンポーネントに対応すると見なされ、その逆も同様である（すなわち、深度ビューコンポーネントはセット中のそれのテクスチャビューコンポーネントに対応し、その逆も同様である）。本開示で使用する、深度ビューコンポーネントに対応するテクスチャビューコンポーネントは、単一のアクセスユニット中の深度コンポーネントと同じビューの一部であると見なされ得る。
【００５９】
[0060]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。たとえば、テクスチャビューコンポーネントは、ルーマ（Ｙ）成分と、クロマ（ＣｂおよびＣｒ）成分とを含み得る。深度ビューコンポーネントは、深度ビューコンポーネントの対応するテクスチャビューコンポーネント中のピクセルの相対深度を示し得る。一例として、深度ビューコンポーネントは、ルーマ値のみを含むグレースケール画像である。言い換えれば、深度ビューコンポーネントは、画像コンテンツを搬送するのではなく、対応するテクスチャビューコンポーネント中のピクセルの相対深度の測度を与え得る。
【００６０】
[0061]たとえば、深度ビューコンポーネント中の純白のピクセルは、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより近いことを示し、深度ビューコンポーネント中の純黒のピクセルは、対応するテクスチャビューコンポーネント中のそれの対応する１つまたは複数のピクセルが閲覧者から見てより遠いことを示す。黒と白の中間のグレーの様々な色合いは、深度ビュー中のピクセルのグレーの色合いの暗さの増加が、テクスチャビュー中の対応するピクセルに関連する深度のレベルの増加を示すように、異なる深度レベルを示す。たとえば、深度ビューコンポーネント中の濃いグレーのピクセルは、テクスチャビューコンポーネント中のそれの対応するピクセルが、深度ビューコンポーネント中のより薄いグレーのピクセルよりも遠いことを示す。ピクセルの深度を識別するためにグレースケールのみが必要とされるので、深度ビューコンポーネントの色値がいかなる目的も果たし得ないことから、深度ビューコンポーネントはクロマ成分を含む必要がない。
【００６１】
[0062]深度を識別するためにルーマ値（たとえば、強度値）のみを使用する深度ビューコンポーネントが説明のために与えられ、限定するものと見なされるべきではない。他の例では、テクスチャビューコンポーネント中のピクセルの相対深度を示すために任意の技法が利用され得る。
【００６２】
[0063]マルチビュービデオコーディングのための（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ予測構造を図３に示す。図３の予測構造はまた、ＭＶ−ＨＥＶＣとともに使用され得る。予測方向は矢印によって示され、矢印の終点のオブジェクトは、予測参照として矢印の始点のオブジェクトを使用する。ＭＶＣでは、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャが参照ピクチャとして使用されることを可能にするディスパリティ（disparity）動き補償によって、ビュー間予測がサポートされる。
【００６３】
[0064]図３の例では、（ビューＩＤ「Ｓ０」〜「Ｓ７」を有する）８つのビューが示され、各ビューについて１２個の時間ロケーション（「Ｔ０」〜「Ｔ１１」）が示されている。すなわち、図３中の各行はビューに対応し、各列は時間ロケーションを示す。
【００６４】
[0065]ＭＶＣがＨ．２６４／ＡＶＣデコーダによって復号可能である、いわゆるベースビューを有し、また、ステレオビューペアがＭＶＣによってサポートされ得るが、ＭＶＣの利点は、ＭＶＣが、３Ｄビデオ入力として３つ以上のビューを使用し、複数のビューによって表されるこの３Ｄビデオを復号する例をサポートすることができることである。ＭＶＣデコーダを有するクライアントのレンダラ（renderer）は、複数のビューをもつ３Ｄビデオコンテンツを予想し得る。
【００６５】
[0066]図３中のピクチャは、各行と各列との交点に示されている。Ｈ．２６４／ＡＶＣ規格は、ビデオの一部分を表すためにフレームという用語を使用し得る。本開示では、ピクチャという用語とフレームという用語とを互換的に使用し得る。
【００６６】
[0067]図３中のピクチャは、対応するピクチャがイントラコーディングされる（すなわち、Ｉピクチャである）か、あるいは一方向に（すなわち、Ｐピクチャとして）または複数の方向に（すなわち、Ｂピクチャとして）インターコーディングされるかを指定する、文字を含むブロックを使用して示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションＴ０にあるビューＳ２のＰピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャから予測される。
【００６７】
[0068]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのピクチャは、異なる時間ロケーションにあるピクチャに対して予測符号化され得る。たとえば、時間ロケーションＴ１にあるビューＳ０のｂピクチャは、時間ロケーションＴ０にあるビューＳ０のＩピクチャからそのｂピクチャに向けられた矢印を有し、その矢印は、ｂピクチャがＩピクチャから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、たとえば、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット（ＳＰＳ：Sequence Parameter Set）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。ビュー間予測は、３Ｄ−ＨＥＶＣ（マルチビュー＋深度）を含むＨＥＶＣの提案されたマルチビュー拡張の機能でもある。
【００６８】
[0069]図３は、ビュー間予測の様々な例を与える。図３の例では、ビューＳ１のピクチャは、ビューＳ１の異なる時間ロケーションにあるピクチャから予測されるものとして、ならびに同じ時間ロケーションにあるビューＳ０およびＳ２のピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションＴ１にあるビューＳ１のｂピクチャは、時間ロケーションＴ０およびＴ２にあるビューＳ１のＢピクチャの各々、ならびに時間ロケーションＴ１にあるビューＳ０およびビューＳ２のｂピクチャから予測される。
【００６９】
[0070]いくつかの例では、図３は、テクスチャビューコンポーネントを示すものとして見られ得る。たとえば、図３に示されているＩピクチャ、Ｐピクチャ、Ｂピクチャ、およびｂピクチャは、ビューの各々のためのテクスチャビューコンポーネントと見なされ得る。本開示で説明する技法によれば、図３に示されているテクスチャビューコンポーネントの各々について、対応する深度ビューコンポーネントがある。いくつかの例では、深度ビューコンポーネントは、対応するテクスチャビューコンポーネントについて図３に示されている様式と同様の様式で予測され得る。
【００７０】
[0071]２つのビューのコーディングもＭＶＣによってサポートされ得る。ＭＶＣの利点のうちの１つは、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとり得、ＭＶＣデコーダがそのようなマルチビュー表現を復号し得ることである。したがって、ＭＶＣデコーダをもつどんなレンダラも、３つ以上のビューをもつ３Ｄビデオコンテンツを復号し得る。
【００７１】
[0072]上記で説明したように、ＭＶＣ（またはＭＶ−ＨＥＶＣ）では、（いくつかの事例では、同じ時間インスタンスをもつことを意味する）同じアクセスユニット中のピクチャ間でビュー間予測が可能になる。非ベースビューのうちの１つの中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンス内にある場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測の参照ピクチャは、任意のインター予測の参照ピクチャとまったく同様に、参照ピクチャリストの任意の位置に置かれ得る。図３に示されているように、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。ＭＶＣでは、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。
【００７２】
[0073]図３に示されているように、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。これはビュー間予測と呼ばれる。ＭＶＣでは、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。しかしながら、潜在的なビュー間参照は、（以下で表１に示すように）シーケンスパラメータセット（ＳＰＳ）ＭＶＣ拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。
【表１】
0006400691.tif 000002
【００７３】
[0074]ＳＰＳ  ＭＶＣ拡張では、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用され得るビューの数がシグナリングされる。ＳＰＳ  ＭＶＣ拡張においてシグナリングされるアンカーピクチャについての予測関係は、同じビューの（ＳＰＳ  ＭＶＣ拡張においてシグナリングされる）非アンカーピクチャについての予測関係とは異なり得る。
【００７４】
[0075]次のセクションでは、ＨＥＶＣに関するマルチビューおよび３Ｄビデオコーディングについて説明する。特に、本開示の例示的な技法は、２つまたはそれ以上のビューをコーディングするときに適用可能である。各ビューについての複数のビデオピクチャはテクスチャビューコンポーネントと呼ばれることがある。３Ｄ−ＨＥＶＣでは、各テクスチャビューコンポーネントは、対応する深度ビューコンポーネントを有し得る。ＭＶ−ＨＥＶＣは深度ビューコンポーネントを使用しない。テクスチャビューコンポーネントはビデオコンテンツ（たとえば、ピクセル値のルーマ成分およびクロマ成分）を含み、（たとえば、３Ｄ−ＨＥＶＣでの）深度ビューコンポーネントはテクスチャビューコンポーネント内のピクセルの相対深度を示し得る。
【００７５】
[0076]本開示の例示的な技法は、テクスチャデータ、またはテクスチャデータおよび深度データをコーディングすることによって３Ｄビデオデータをコーディングすることに関する。概して、「テクスチャ」という用語は、画像のルミナンス（すなわち、輝度または「ルーマ」）値と画像のクロミナンス（すなわち、色または「クロマ」）値とを表すために使用される。いくつかの例では、テクスチャ画像は、１セットのルミナンスデータと、青色相（Ｃｂ）および赤色相（Ｃｒ）のための２セットのクロミナンスデータとを含み得る。４：２：２または４：２：０などの特定のクロマフォーマットでは、クロマデータは、ルーマデータに関してダウンサンプリングされる。すなわち、クロミナンス成分の空間解像度は、対応するルミナンス成分の空間解像度よりも低く、たとえば、ルミナンス解像度の１／２または１／４である。
【００７６】
[0077]深度データは、概して、対応するテクスチャデータの深度値を表す。たとえば、深度画像は、各々が対応するテクスチャデータの深度を表す深度ピクセルのセットを含み得る。深度データは、対応するテクスチャデータの水平ディスパリティを決定するために使用され得る。したがって、テクスチャデータと深度データとを受信するデバイスは、一方のビュー（たとえば、左眼ビュー）のための第１のテクスチャ画像を表示し、深度値に基づいて決定された水平ディスパリティ値だけ第１の画像のピクセル値をオフセットすることによって、他方のビュー（たとえば、右眼ビュー）のための第２のテクスチャ画像を生成するように第１のテクスチャ画像を変更するために深度データを使用し得る。概して、水平ディスパリティ（または単に「ディスパリティ」）は、第２のビュー中の対応するピクセルに対する第１のビュー中のピクセルの水平空間オフセットを表し、２つのピクセルは、２つのビュー中で表される同じオブジェクトの同じ部分に対応する。
【００７７】
[0078]さらに他の例では、画像について定義されたゼロディスパリティ平面に対して所与のピクセルに関連する深度が定義されるように、画像平面に直交するｚ次元におけるピクセルについて深度データが定義され得る。そのような深度は、ピクセルを表示するための水平ディスパリティを作成するために使用され得、その結果として、ピクセルは、ゼロディスパリティ平面に対するピクセルのｚ次元深度値に応じて、左眼と右眼とで異なるように表示される。ゼロディスパリティ平面は、ビデオシーケンスの異なる部分に対して変化し得、ゼロディスパリティ平面に対する深度の量も変化し得る。ゼロディスパリティ平面上に位置するピクセルは、左眼と右眼とに対して同様に定義され得る。ゼロディスパリティ平面の前に位置するピクセルは、ピクセルが画像平面に直交するｚ方向の画像から出てくるように見える知覚を作成するように、（たとえば、水平ディスパリティを用いて）左眼と右眼とに対して異なるロケーションで表示され得る。ゼロディスパリティ平面の後に位置するピクセルは、深度のわずかな知覚を提示するために、わずかなぼかしとともに表示され得るか、または（たとえば、ゼロディスパリティ平面の前に位置するピクセルの水平ディスパリティとは反対の水平ディスパリティを用いて）左眼と右眼とに対して異なるロケーションで表示され得る。他の多くの技法も、画像の深度データを伝達または定義するために使用され得る。
【００７８】
[0079]深度ビューコンポーネント中の各ピクセルについて、テクスチャビューコンポーネント中の１つまたは複数の対応するピクセルがあり得る。たとえば、深度ビューコンポーネントの空間解像度とテクスチャビューコンポーネントの空間解像度が同じである場合、深度ビューコンポーネント中の各ピクセルはテクスチャビューコンポーネント中の１つのピクセルに対応する。深度ビューコンポーネントの空間解像度がテクスチャビューコンポーネントの空間解像度よりも小さい場合、深度ビューコンポーネント中の各ピクセルは、テクスチャビューコンポーネント中の複数のピクセルに対応する。深度ビューコンポーネント中のピクセルの値は、テクスチャビュー中の対応する１つまたは複数のピクセルの相対深度を示し得る。
【００７９】
[0080]いくつかの例では、ビデオエンコーダは、ビューの各々についてのテクスチャビューコンポーネントと対応する深度ビューコンポーネントとのビデオデータをシグナリングする。ビデオデコーダは、テクスチャビューコンポーネントと深度ビューコンポーネントとの両方のビデオデータを利用して、表示のためにビューのビデオコンテンツを復号する。次いで、ディスプレイは、マルチビュービデオを表示して、３Ｄビデオを生成する。
【００８０】
[0081]また、ＨＥＶＣのスケーラブル拡張がＪＣＴ−ＶＣによって開発されている。図４は、スケーラブルビデオコーディングの一例を示す概念図である。図４について、Ｈ．２６４／ＡＶＣおよびＳＶＣに関して説明するが、同様のレイヤは、ＨＥＶＣのスケーラブル拡張を含む、他のマルチレイヤビデオコーディング方式を使用してコーディングされ得ることを理解されたい。図４の例は、同じコーデックを使用してコーディングされるレイヤを示す。他の例では、レイヤは、マルチスタンダードコーデックを使用してコーディングされ得る。たとえば、ベースレイヤは、Ｈ．２６４／ＡＶＣを使用してコーディングされ得るが、エンハンスメントレイヤは、ＨＥＶＣに対するスケーラブル拡張を使用してコーディングされ得る。したがって、以下のＳＶＣへの参照は、概してスケーラブルビデオコーディングに適用され得、Ｈ．２６４／ＡＶＣのスケーラブル拡張に限定されない。
【００８１】
[0082]ＳＶＣでは、スケーラビリティは、たとえば、（ビットレートまたは信号対雑音比（ＳＮＲ）として表される）空間次元、時間次元、および品質次元を含む３次元において可能になり得る。概して、通常、任意の次元における表現を追加することによって、より良い表現が達成され得る。たとえば、図４の例では、レイヤ０は、７．５Ｈｚのフレームレートと６４キロバイト毎秒（ＫＢＰＳ）のビットレートとを有する１／４共通中間フォーマット（ＱＣＩＦ：Quarter Common Intermediate Format）においてコーディングされる。さらに、レイヤ１は、１５Ｈｚのフレームレートと６４ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ２は、１５Ｈｚのフレームレートと２５６ＫＢＰＳのビットレートとを有するＣＩＦにおいてコーディングされ、レイヤ３は、７．５Ｈｚのフレームレートと５１２ＫＢＰＳのビットレートとを有するＱＣＩＦにおいてコーディングされ、レイヤ４は、３０Ｈｚのフレームレートとメガバイト毎秒（ＭＢＰＳ）のビットレートとを有する４ＣＩＦにおいてコーディングされる。図４に示されているレイヤの特定の数、コンテンツおよび構成は例として与えたものにすぎないことを理解されたい。
【００８２】
[0083]いずれの場合も、ビデオエンコーダ（ビデオエンコーダ２０など）がそのようなスケーラブルな方法でコンテンツを符号化すると、ビデオデコーダ（ビデオデコーダ３０など）は、抽出器ツールを使用して、たとえば、クライアントまたは送信チャネルに依存し得るアプリケーション要件に従って実際の配信されたコンテンツを適応させ得る。
【００８３】
[0084]ＳＶＣでは、最低空間と品質レイヤとを有するピクチャは、通常、Ｈ．２６４／ＡＶＣに適合する。図４の例では、最低空間と品質レイヤとをもつピクチャ（たとえば、ＱＣＩＦ解像度をもつ、レイヤ０およびレイヤ１中のピクチャ）は、Ｈ．２６４／ＡＶＣに適合し得る。それらの中で、最低時間レベルのピクチャは時間ベースレイヤ（たとえば、レイヤ０）を形成する。この時間ベースレイヤ（たとえば、レイヤ０）は、より高い時間レベル（たとえば、レイヤ１）のピクチャを用いて拡張され得る。
【００８４】
[0085]Ｈ．２６４／ＡＶＣ適合レイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび／または品質エンハンスメントレイヤが追加され得る。各空間または品質エンハンスメントレイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。
【００８５】
[0086]上記で説明した、「レイヤ」という用語は、本開示では、概して、スケーラブルビデオコーディングの意味では個々のベースレイヤまたは個々のエンハンスメントレイヤを指し、３Ｄおよびマルチビュービデオコーディングの意味ではテクスチャはビューおよび／または深度ビューを指すために使用される。レイヤ（たとえば、ＭＶ−ＨＥＶＣレイヤまたはＳＨＶＣレイヤ）の各々のためのピクチャが、たとえば、ビデオデコーダ３０、またはビデオエンコーダ２０の再構成ループによって復号されると、復号レイヤのためのピクチャはＤＰＢに記憶される。ＤＰＢは、ピクチャ、および、本開示内では、マルチレイヤビデオコーディング技法を使用するときの復号レイヤのピクチャを記憶するために使用されるバッファまたはメモリである。ＤＰＢに記憶された復号レイヤのピクチャは、出力並べ替え、および出力遅延のために、（動き補償、ビュー間予測およびレイヤ間予測を含む）インター予測のための参照として使用され得る。
【００８６】
[0087]本開示の様々な例によれば、ＤＰＢは、（たとえば、サブＤＰＢと呼ばれる）サブユニットに区分され得る。各サブＤＰＢは、次いで、特定のレイヤタイプのための（１つまたは複数の）ピクチャ、またはより一般的には、ピクチャ情報を記憶するように構成され得る。たとえば、ＤＰＢは、１つのサブＤＰＢがスケーラブルビデオコーディングプロセスのためのベースレイヤのピクチャを記憶するように構成されるように区分され得る。別のサブＤＰＢは、スケーラブルビデオコーディングプロセスの第１のエンハンスメントレイヤのピクチャを記憶するように構成され得る。また別のサブＤＰＢは、スケーラブルビデオコーディングプロセスの第２のエンハンスメントレイヤのピクチャを記憶するように構成され得、以下同様である。
【００８７】
[0088]本開示の様々な例によれば、以下でより詳細に説明するように、ビデオエンコーダ２０はまた、ＤＰＢから削除するためのピクチャをマークすること、ＤＰＢからの復号ピクチャの削除、ならびに各サブＤＰＢのためのサイズの割振りなどに関して、各サブＤＰＢを互いとは無関係に管理するように構成され得る。しかしながら、ビデオエンコーダ２０は、たとえば、各復号ピクチャに関連するそれぞれの出力時間および／またはピクチャ順序カウント（ＰＯＣ：picture order count）値に基づいて、異なるサブＤＰＢからの復号ピクチャの出力をリンクし得る。
【００８８】
[0089]ビデオエンコーダ２０とビデオデコーダ３０の一方または両方（および／またはそれらの１つまたは複数の構成要素）は、サブＤＰＢベースの動作の複数の異なるモードを実装し得る。たとえば、サブＤＰＢベースの動作の２つのモードは、ピクチャが各サブＤＰＢに関連する様式に関して異なり得る。（本明細書では「レイヤ固有モード（layer-specific mode）」と呼ぶ）第１のモードによれば、動作点における各レイヤは別個のサブＤＰＢに関連し得、サブＤＰＢの数は、動作点に対応するレイヤセット中のレイヤの数に等しくなり得る。（本明細書では「解像度固有モード（resolution-specific mode）」と呼ぶ）第２のモードによれば、同じ解像度、クロマフォーマット、およびビット深度を共有するすべてのピクチャは、同じサブＤＰＢを共有する。ビデオエンコーダ２０は、レイヤ固有モードを比較的容易に指定し得る。しかしながら、レイヤ固有モードは、解像度固有モードと比較すると、ＤＰＢメモリ使用量に関してあまり効率的でないことがある。
【００８９】
[0090]図５は、異なる復号レイヤコンポーネント（たとえば、異なるレイヤタイプのためのピクチャ）を異なるサブユニットに記憶するように構成されたＤＰＢ９００を示す概念図である。ＤＰＢ９００はビデオデコーダおよび／またはビデオエンコーダ（たとえば、ビデオエンコーダ２０およびビデオデコーダ３０）の一部を形成し得る。サブＤＰＢ９１０Ａ〜９１０Ｄの各々は、異なるタイプの復号レイヤの（１つまたは複数の）ピクチャのための記憶ロケーションを表す。たとえば、サブＤＰＢ９１０Ａは、ＭＶ−ＨＥＶＣ適合ビデオビットストリームのためのベースビューの１つまたは複数のテクスチャピクチャを記憶するように構成され得、サブＤＰＢ９１０Ｂは、ＭＶ−ＨＥＶＣ適合ビデオビットストリームのための依存ビューのテクスチャピクチャを記憶するために使用され得る。同様に、サブＤＰＢ９１０Ｃは、スケーラブルビデオコーディングプロセス（たとえば、ＳＨＶＣ）においてベースレイヤのピクチャを記憶するために使用され得、サブＤＰＢ９１０Ｄは、スケーラブルビデオコーディングプロセスにおいてエンハンスメントレイヤのためのピクチャの１つのレベルを記憶するために使用され得る。追加のサブＤＰＢは、エンハンスメントレイヤの追加のレベルのピクチャまたは追加のテクスチャ依存ビューのピクチャを記憶するように構成され得る。サブＤＰＢ９１０Ａ〜Ｄの各々は、サブＤＰＢに関連する特定のレイヤタイプのための復号レイヤの１つまたは複数のピクチャを記憶するように構成された別個のユニットを含んでいる。ＭＶ−ＨＥＶＣを用いてコーディングされたビデオデータとＳＨＶＣを用いてコーディングされたビデオデータが、必ずしも同時に復号されるとは限らないことに留意されたい。すなわち、ＳＨＶＣコード化ビデオデータとＭＶ−ＨＥＶＣコード化ビデオデータは、一般に、同じ符号化ビデオビットストリーム中になく、一般に、別個にコーディングされる。
【００９０】
[0091]ビデオデコーダ３０は、複数のサブＤＰＢ９１０Ａ〜Ｄから復号レイヤのピクチャを削除するようにさらに構成され得る。いくつかの例では、各所与のサブＤＰＢ（たとえば、サブＤＰＢ９１０Ａ）からのピクチャの削除は、別個に管理され得る（すなわち、他のサブＤＰＢからの他のピクチャの削除とは無関係に、あるサブＤＰＢからピクチャが削除され得る）。他の例では、ピクチャは、動作点に基づいて１つまたは複数のサブＤＰＢから削除され得る。特定の動作点が、出力されるべき特定のピクチャのために復号される特定の数のレイヤに関連する。たとえば、ＳＨＶＣでは、１つの動作点は、復号されるべきベースレイヤのピクチャのみを必要とし得る。ＳＨＶＣのための別の動作点では、出力ピクチャを生成するために、ベースレイヤのピクチャおよび１つまたは複数のエンハンスメントレイヤのピクチャが復号され得る。ベースレイヤのピクチャと１つまたは複数のエンハンスメントレイヤのピクチャの両方を必要とする動作点では、ピクチャの削除は、その動作点のために使用されるあらゆるサブＤＰＢ（すなわち、出力されるべきピクチャのために使用されるレイヤのためのピクチャを記憶するあらゆるサブＤＰＢ）について実行され得る。すなわち、所与の動作点に関連する、ベースレイヤのピクチャおよび１つまたは複数のエンハンスメントレイヤの対応するピクチャは、それらのそれぞれのサブＤＰＢから同時に削除され得る。
【００９１】
[0092] ビデオエンコーダ２０およびビデオデコーダ３０は、複数のサブＤＰＢ９１０Ａ〜Ｄ中の復号レイヤコンポーネント（たとえば、レイヤのピクチャ）を、参照のために使用されないとマークするか、または参照のために使用されるとマークするようにさらに構成され得る。この場合も、ピクチャを参照のために使用されないとマークするためのプロセスは各サブＤＰＢについて別個に実行され得る。すなわち、ビデオエンコーダ２０およびビデオデコーダ３０は、複数のサブＤＰＢの各々中のピクチャに対してマーキングプロセスを独立して実行するように構成され得、ここにおいて、マーキングプロセスは、ピクチャを参照のために使用されるとマークするか、またはピクチャを参照のために使用されないとマークする。別の例では、マーキングプロセスは、特定の動作点に関係する特定の数のレイヤのためのピクチャを記憶するすべてのサブＤＰＢについて実行され得る。
【００９２】
[0093]ＨＥＶＣ、および他のビデオコーディング規格では、ＤＰＢ９００の動作は、しばしば、仮想参照デコーダ（ＨＲＤ：hypothetical reference decoder）に関して指定される。ビデオエンコーダ２０およびビデオデコーダ３０は、ＤＰＢ９００に記憶された復号ピクチャを、「参照のために使用されない」（すなわち、インター予測プロセスのために参照ピクチャとして使用されることができない）とマークすることと、（たとえば、ディスプレイデバイス３２への）出力のために復号ピクチャをマークすることと、（「バンピング」としても知られる）ＤＰＢ９００からの削除のためにピクチャをマークすることとを含む、様々なアクションを実行するためにＤＰＢ９００を管理するように構成され得る。ＨＥＶＣでは、バンピングプロセスは、出力のためにピクチャをマークすることと、削除のためにピクチャをマークすることの両方を含む。ピクチャが、インター予測のために参照ピクチャとしてもはや必要とされず、出力のためにもはや必要とされないとき、ピクチャは、一般に、ＤＰＢ９００から削除される（すなわち、バンプされる）。
【００９３】
[0094]ビットストリームのコンフォーマンスは、ＨＲＤの挙動を定義することによって指定される。ＤＰＢ９００は、ＨＲＤの構成要素であると見なされ得る。上記で説明したように、ＤＰＢ９００は、再構成されたピクチャをビデオエンコーダ（たとえば、ビデオエンコーダ２０）に記憶するか、または復号ピクチャをビデオデコーダ（たとえば、ビデオデコーダ３０）に記憶するように構成された１つまたは複数のメモリユニットとして実装され得る。ＳＨＶＣおよびＭＶ−ＨＥＶＣのためのいくつかの提案では、ＤＰＢ動作は明確に指定されていないが、単純な仮定は、同じ出力時間をもつすべてのピクチャが同じ時刻にＤＰＢ９００に到着する（すなわち、ＤＰＢ９００に記憶される）ということである。ＤＰＢ９００からのピクチャの出力は、ＨＲＤパラメータがどのように定義されるかに基づいて決定される。
【００９４】
[0095]たとえば、ＨＲＤパラメータは出力順序コンフォーマンスのために定義され得る。一例として、復号レイヤピクチャの出力順序は、それの値が、特定のレイヤのために存在するピクチャの数を指定する、１つまたは複数のシンタックス要素によって指定され得る。別の例として、出力時間コンフォーマンスでは、出力時間は、それの値がピクチャ出力時間を示す１つまたは複数のシンタックス要素によって指定され得る。ビデオデコーダ３０は、符号化ビデオビットストリーム中でシグナリングされるパラメータの値からＨＲＤ設定を導出するように構成され得る。ＨＲＤパラメータは、（たとえば、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（  ）と呼ばれる）データフォーマット構造中でシグナリングされ得る。例示的なパラメータは、バッファリング期間補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）メッセージとピクチャタイミングＳＥＩメッセージとを含み得る。いくつかの例では、復号ユニット（ＤＵ：decoding unit）情報ＳＥＩメッセージも定義され得る。いくつかの例では、ＤＰＢ９００中のピクチャの出力は、同じ出力時間に関連するすべてのピクチャが同時に出力されるように行われる。本開示の例では、異なるサブＤＰＢ中のピクチャは、それらのピクチャ（すなわち、異なるサブＤＰＢ中のピクチャ）の各々が同じ出力時間に関連する場合、同時に出力され得る。
【００９５】
[0096]ＨＥＶＣのためのいくつかの例示的な提案では、ＤＰＢ動作に関係するパラメータは、シーケンスパラメータセット（ＳＰＳ）および／またはビデオパラメータセット（ＶＰＳ：video parameter set）のうちの１つまたは複数の中でシグナリングされる。ＳＰＳは、ピクチャパラメータセット（ＰＰＳ：picture parameter set）および／またはスライスヘッダ中で見つけられるシンタックス要素の値によって示される０個またはそれ以上のコード化ビデオシーケンス（ＣＶＳ：coded video sequence）全体に適用されるシンタックス要素を含んでいるシンタックス構造である。ＶＰＳは、ＳＰＳ、ＰＰＳ、および／またはスライスヘッダ中で見つけられるシンタックス要素の値によって決定される０個またはそれ以上のＣＶＳ全体に適用されるシンタックス要素を含んでいるシンタックス構造である。概して、ＶＰＳ中でシグナリングされるシンタックス要素は、ＳＰＳ中でシグナリングされるシンタックス要素が適用されるピクチャの数よりも大きいピクチャの数に適用される。ＨＥＶＣにおいて定義された、ＣＶＳは、復号順序で、０の値に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄと、１の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇとに関連するイントラランダムアクセスピクチャ（ＩＲＡＰ：intra random access picture）を含んでいるアクセスユニット（ＡＵ：access unit）と、その後に続く、復号順序で、０の値に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄと、１の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇとをもつＩＲＡＰピクチャを含んでいる次のＡＵまでの（すなわち、次のＡＵまでだが、次のＡＵを含まない）０個以上の他のＡＵとからなるアクセスユニットのシーケンスである。アクセスユニットは、復号順序で連続しており、同じ出力時間をそれぞれ有する１つまたは複数のコード化ピクチャを含んでいる、ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットのセットである。
【００９６】
[0097]ＤＰＢ動作に関係する例示的なシンタックス要素は、限定はしないが、それぞれがＳＰＳおよび／またはＶＰＳ中でシグナリングされ得る、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素、およびｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素を含む。ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素、およびｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素は、ＤＰＢパラメータおよび／またはサブＤＰＢパラメータと総称されることがある。
【００９７】
[0098]ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素の値は、ピクチャバッファの単位でのＣＶＳのためのＤＰＢまたはサブＤＰＢの最大許容サイズを指定する。すなわち、ＤＰＢまたはサブＤＰＢは１つまたは複数のピクチャバッファに区分され得、ここで、各ピクチャバッファはピクチャ（たとえば、特定のレイヤに関連するピクチャ）を記憶する。いくつかの例では、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１の値は、０からある所定の最大ＤＰＢおよび／またはサブＤＰＢサイズまでの範囲に制限される。
【００９８】
[0099]ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素の値は、ＤＰＢおよび／またはサブＤＰＢに記憶され得、復号順序でＣＶＳ中の任意のピクチャに先行し、出力順序でその同じピクチャに後続することができるピクチャの最大許容数を指定する。ゼロに等しくないときの（すなわち、ゼロ以外の値であるｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素の値に基づく）ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素の値は、出力順序でＣＶＳ中の任意のピクチャに先行し、復号順序でその同じピクチャに後続することができる、ＤＰＢおよび／またはサブＤＰＢに記憶され得るピクチャの最大数を決定するために使用されるレイテンシ時間の指示である。ＤＰＢおよび／またはサブＤＰＢ中のピクチャの数が、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素の値によって示されるピクチャの最大数、またはｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素の値から決定された値を超える場合、ＤＰＢおよび／またはサブＤＰＢから１つまたは複数のピクチャが削除されなければならない。
【００９９】
[0100]一例では、ビデオエンコーダ２０は、たとえば、ゲーティングシンタックス要素（たとえば、ｓｕｂ＿ｌａｙｅｒ＿ｏｒｄｅｒｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の値が１に等しい場合（すなわち、その値に基づいて）、各サブレイヤのための上述のＤＰＢパラメータおよび／またはサブＤＰＢパラメータを生成し、シグナリングするように構成され得る。上記で説明したように、サブレイヤは、時間スケーラブルビットストリームの時間スケーラブルレイヤである。この例によれば、サブレイヤシグナリングが可能にされないとき、ただ１つの値がシンタックス要素の各々についてシグナリングされ、これらのサブＤＰＢパラメータシンタックス要素の各々のシグナリングされた値（すなわち、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素、およびｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素）は、すべての時間サブレイヤについて同じであると推論される（すなわち、明示的シグナリングの受信なしに決定される）。そうではなく、サブレイヤシグナリングが可能にされる（たとえば、シンタックス要素ｓｕｂ＿ｌａｙｅｒ＿ｏｒｄｅｒｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０に等しい）とき、サブＤＰＢパラメータシンタックス要素の値は各サブレイヤについて明示的にシグナリングされる。ＳＰＳ中のサブＤＰＢパラメータのシグナリングは、以下の表２でイタリック体で強調される。同様のシグナリングがＶＰＳ中で使用され得る。
【表２】
0006400691.tif 000003
【０１００】
[0101]（ＨＥＶＣ１と呼ばれることがある）ＨＥＶＣのベースバージョンでは、（たとえば、０に等しい値を有するシンタックス要素ｎｕｈ＿ｌａｙｅｒ＿ｉｄによって示されるように）単一のレイヤのみが存在し、したがって、復号されるレイヤセットと出力されるレイヤセットとが同じである。マルチレイヤビデオコーディング（たとえばＳＨＶＣまたはＭＶ−ＨＥＶＣ）のコンテキストでは、レイヤセットの総数がすべて、あらゆる動作点のために出力されるとは限らないので、レイヤセットと出力レイヤセットとの数が必ずしも同じであるとは限らない。すなわち、ＳＨＶＣ動作点は、しばしば、ベースレイヤおよび１つまたは複数のエンハンスメントレイヤの復号を含む。同様に、ＭＶ−ＨＥＶＣ動作点は、しばしば、２つまたはそれ以上のビューの復号を含む。しかしながら、すべてのレイヤまたはビューが所与のピクチャを出力するために使用されるとは限らない。
【０１０１】
[0102]次に、ＤＰＢからのピクチャの削除のための技法について説明する。ＨＥＶＣのための例技法は、ＤＰＢからのピクチャの削除を指定する２つの方法を伴う。それらはピクチャベースのＤＰＢ削除プロセスとＡＵベースのＤＰＢ削除プロセスとを含む。ピクチャベースのＤＰＢ削除プロセスでは、１つのＡＵ中のピクチャが異なる時間に個々に削除され得る。ＡＵベースのＤＰＢ削除動作では、ＡＵ中のすべてのピクチャが同時に削除される。ＳＨＶＣおよびＭＶ−ＨＥＶＣのためのＤＰＢ削除動作のための現在の提案は、ピクチャがどのように削除されるべきであるかを明確に指定しない。
【０１０２】
[0103]Ｒａｍａｓｕｂｒａｍｏｎｉａｎらの「MV-HEVC/SHVC HLS: On DPB Operations」、ＩＴＵ−Ｔ  ＳＧ１６ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張、第５回会議：Ｖｉｅｎｎａ、ＡＴ、２０１３年７月２７日〜８月２日、（以下、「ＪＣＴＶＣ−Ｎ００９３＿ｖ４」）において提案されたものなど、サブＤＰＢ動作のためのパラメータ（すなわち、サブＤＰＢパラメータ）を含むＤＰＢパラメータをシグナリングするための以前の提案は、準最適であり得る。一例として、ＪＣＴＶＣ−Ｎ００９３＿ｖ４におけるサブＤＰＢベースの動作のためのシグナリング方式によれば、ＤＰＢおよびサブＤＰＢに関係する３つのパラメータ（すなわち、上記で説明したｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓシンタックス要素、およびｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１シンタックス要素）は、各出力レイヤセットと、出力レイヤセット中の各レイヤと、各レイヤ内の各時間サブレイヤとについてシグナリングされる。そのようなシグナリング方式は準最適であり得る。
【０１０３】
[0104]特に、各出力レイヤセット中の各レイヤについての並べ替えピクチャの最大数および最大レイテンシを示すシンタックス要素をシグナリングすることは、冗長であり、潜在的に、コンピューティングリソース（たとえば、プロセッサリソース、記憶容量など）および／またはネットワーク帯域幅の浪費を生じ得る。たとえば、アクセスユニット（ＡＵ）中の出力レイヤセットの１つまたは複数のピクチャの出力は同時であり得る。さらに、第１のＡＵ中のすべてのピクチャが出力される前に第２のＡＵからピクチャを出力することは、許可され得ない。したがって、サブＤＰＢパラメータのための異なる値が可能でないことがあるので、出力レイヤセット中の各レイヤについてサブＤＰＢパラメータをシグナリングすることは、冗長であり得る。したがって、出力レイヤセット中の各レイヤについての並べ替えおよび／またはレイテンシ情報を送ることは冗長であり得る。
【０１０４】
[0105]シグナリングされたデータのそのような冗長性によって生じる非効率性および他の潜在的な問題を軽減または除去するために、ビデオエンコーダ２０および／またはビデオデコーダ３０は、本明細書で説明する技法のうちの１つまたは複数を実装し得る。本開示の１つまたは複数の例では、ビデオエンコーダ２０は、動作点に対応する各出力レイヤセットについてサブＤＰＢパラメータの１つのセットをシグナリングするように構成され得る。各出力レイヤセットについてシグナリングされたサブＤＰＢパラメータの単一のセットは、次いで、ビデオデコーダ３０によって各出力レイヤセット中のあらゆるそれぞれのレイヤのために使用される。このようにして、サブＤＰＢパラメータの冗長なシグナリングが回避されるので、シグナリング効率が高まり得る。さらに、サブＤＰＢパラメータの値は、出力レイヤセットのすべてのレイヤにわたって調和させられ得る。
【０１０５】
[0106]本開示の一例では、各動作点の出力レイヤセットについて、ビデオエンコーダ２０は、並べ替えピクチャの最大数を示すシンタックス要素のただ１つの値（すなわち、単一の値）と、最大レイテンシを示すシンタックス要素ただ１つの値（すなわち、単一の値）とを、ＶＰＳ中で、生成およびシグナリングするように構成され得る。すなわち、特定のＶＰＳに関係する各動作点について、ビデオエンコーダ２０は、１つの並べ替えピクチャ最大数シシンタックス要素と１つの最大レイテンシシンタックス要素とを生成する。したがって、各ＶＰＳ中の並べ替えピクチャシンタックス要素と最大レイテンシシンタックス要素の総数は、ビデオビットストリームのために定義された動作点の数に依存する。したがって、各出力レイヤセットと、出力レイヤセット中の各レイヤと、各レイヤ内の各時間サブレイヤとについて並べ替えピクチャシンタックス要素および最大レイテンシシンタックス要素がシグナリングされるＨＥＶＣに対する以前の提案と比較して、並べ替えピクチャシンタックス要素および最大レイテンシシンタックス要素のより少ないインスタンスが選び出される。
【０１０６】
[0107]第１の例示的な実装形態を参照しながら以下でより詳細に説明するように、並べ替えピクチャの最大数を示すシンタックス要素および最大レイテンシを示すシンタックス要素は、ＤＰＢサイズテーブル中でシグナリングされ得、ＶＰＳ中で送信され得る。本開示の他の例では、並べ替えピクチャの最大数を示すシンタックス要素および最大レイテンシを示すシンタックス要素は、ＰＰＳを含む他のデータ構造で送信され得る。
【０１０７】
[0108]並べ替えピクチャの最大数を示すシンタックス要素および最大レイテンシを示すシンタックス要素の受信時に、ビデオデコーダ３０は、並べ替えピクチャの最大数を示すシンタックス要素および最大レイテンシを示すシンタックス要素のそれぞれの値を特定の動作点のための出力レイヤセットに適用し得る。
【０１０８】
[0109]一例では、並べ替えピクチャの最大数を示すシンタックス要素および最大レイテンシを示すシンタックス要素は、出力レイヤのただ１つのレイヤに対応し得る。たとえば、シンタックス要素は、（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素によって示される）最高レイヤｉｄを有するレイヤに対応し得る。この例では、ビデオエンコーダ２０は、並べ替えピクチャの最大数の１つの値および最大レイテンシの１つの値が、動作点におけるｎｕｈ＿ｌａｙｅｒ＿ｉｄの最大値をもつレイヤに関連するかどうかをビデオデコーダ３０に示すフラグをシグナリングするように構成され得る。ビデオデコーダ３０は、出力レイヤセットについてのシンタックス要素の値が、最高レイヤｉｄを有するレイヤについての受信された値と同じであると推論するように構成されるであろう。
【０１０９】
[0110]本開示の別の例では、ビデオエンコーダ２０は、並べ替えピクチャの最大数の１つの値および最大レイテンシの１つの値が関連するレイヤをビデオデコーダ３０に示すｉｄ値を（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素を使用して）シグナリングし得る。再び、ビデオデコーダ３０は、出力レイヤセットについてのシンタックス要素の値が、最高レイヤｉｄを有するレイヤについての受信された値と同じであると推論するように構成されるであろう。
【０１１０】
[0111]本開示の別の例では、各動作点について、ビデオエンコーダ２０は、たとえば、出力レイヤセット中のｎｕｈ＿ｌａｙｅｒ＿ｉｄの最大値をもつレイヤ（すなわち、最高レイヤ）のみについてサブＤＰＢパラメータ（たとえば、並べ替えピクチャの最大数を示すシンタックス要素および／または最大レイテンシを示すシンタックス要素）がシグナリングされるか、または出力レイヤセット中の各レイヤについてサブＤＰＢパラメータがシグナリングされるかをビデオデコーダ３０に示すフラグをシグナリングするように構成され得る。フラグの値が、最高レイヤのみについてサブＤＰＢパラメータがシグナリングされることを示す場合（すなわち、このことを示すフラグに基づいて）、ビデオデコーダ３０は、出力レイヤセットについてのサブＤＰＢパラメータの値が最高レイヤについてのサブＤＰＢパラメータと同じ値であると推論するように構成され得る。
【０１１１】
[0112]本開示の別の例では、各出力レイヤセットについて、ビデオエンコーダ２０は、サブＤＰＢパラメータ（たとえば、サブＤＰＢサイズ、並べ替えピクチャの最大数、および／または最大レイテンシ示すシンタックス要素）はただ１つのサブレイヤ（たとえば、０に等しい時間ＩＤをもつサブレイヤ）についてシグナリングされるか、または２つ以上のサブレイヤについてシグナリングされるかをビデオデコーダ３０に指定するフラグをシグナリングし得る。たとえば、ビデオエンコーダ２０は、ただ１つのサブレイヤについてサブＤＰＢパラメータ情報がシグナリングされることを示す第１の値にフラグを生成し得る。この場合、ビデオデコーダ３０は、次いで、すべての他のサブレイヤについてのサブＤＰＢパラメータの値が、１つサブレイヤ（たとえば、０に等しい時間ＩＤをもつサブレイヤ）についての実際にシグナリングされたサブＤＰＢパラメータと同じ値であると推論するであろう。
【０１１２】
[0113]逆に、ビデオエンコーダ２０は、複数のサブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示す第２の値にフラグを設定し得る。一例では、フラグの値が、複数のサブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示すとき（すなわち、このことを示すフラグに基づいて）、ビデオエンコーダ２０は、出力レイヤセットのあらゆるサブレイヤについてのサブＤＰＢパラメータのためのシンタックス要素を生成するように構成され得る。別の例では、表３および表４を参照しながら以下でより詳細に説明するように、ビデオエンコーダ２０は、出力レイヤセットの各サブレイヤについて、特定のサブレイヤについて追加のサブＤＰＢパラメータがシグナリングされるか否かを示す第２のフラグを生成するように構成され得る。第２のフラグが、特定のサブレイヤについて追加のサブＤＰＢパラメータがシグナリングされるべきであることを示すとき、ビデオエンコーダ２０は、特定のサブレイヤのための追加のサブＤＰＢパラメータを生成し、シグナリングする。第２のフラグが、特定のサブレイヤについて追加のサブＤＰＢパラメータがシグナリングされないことを示す場合、ビデオデコーダ３０は、出力レイヤセットのための前にシグナリングされたサブＤＰＢパラメータから（たとえば、０に等しい時間ＩＤを有するサブレイヤのためのサブＤＰＢパラメータから、または、前のサブレイヤのためのサブＤＰＢパラメータから）特定のサブレイヤについてのサブＤＰＢパラメータの値を推論するように構成され得る。いくつかの例では、第２のフラグが、特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示すとき、その特定のサブレイヤに続くサブレイヤのサブＤＰＢパラメータもシグナリングされず、ビデオデコーダ３０は、出力レイヤセットのための前にシグナリングされたサブＤＰＢパラメータからそれらの後続のサブレイヤについてのサブＤＰＢパラメータの値を推論するように構成され得る。
【０１１３】
[0114]ビデオデコーダ３０は、本開示のサブＤＰＢパラメータシグナリング技法に従ってサブＤＰＢ管理プロセス（たとえば、出力のためのピクチャをマークすること、ピクチャを参照のために使用されないとマークすること、ピクチャを出力すること、および／またはピクチャを削除すること）を実行するようにさらに構成され得る。たとえば、ビデオデコーダ３０は、ピクチャレベルではなく、アクセスユニットレベルでバンピングプロセスを実行するように構成され得る。これは、本開示の技法によれば、サブＤＰＢパラメータが、レイヤのサブセットだけでなく、出力レイヤセット全体に適用されるからである。またこの点について、特定の出力レイヤセットのあらゆるレイヤが同じサブＤＰＢパラメータを共有するので、特定のレイヤＩＤについてのサブＤＰＢパラメータの値を検査する必要性が除去される。本開示の技法によるＤＰＢ管理プロセスのさらなる詳細について、第１の例示的な実装形態を参照しながら以下で説明する。
【０１１４】
[0115]以下の技法は、サブＤＰＢパラメータをシグナリングするためのシグナリング技法の追加の例である。一例では、各動作点について、ビデオエンコーダ２０は、サブＤＰＢパラメータがシグナリングされるかどうかをビデオデコーダ３０に指定するフラグをシグナリングし得る。代替的に、ビデオデコーダ３０は、ビデオエンコーダ２０がフラグをシグナリングしない事例では、フラグの値を推論し得る。別の例では、各動作点について、ビデオエンコーダ２０は、ａ）最も高いインデックスのサブＤＰＢについて、および最も高いインデックスをもつサブＤＰＢのサイズに等しいと推論された他のサブＤＰＢについてのみ、サブＤＰＢサイズがシグナリングされるか、または、ｂ）動作点における各サブＤＰＢについてサブＤＰＢサイズがシグナリングされるかをビデオデコーダ３０に示すフラグをシグナリングし得る。
【０１１５】
[0116]以下のセクションでは、ＨＥＶＣコーディング技法に関して本開示の技法の例示的な実装形態について説明する。例示的な実装形態について、ＨＥＶＣ、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、および／または３Ｄ−ＨＥＶＣ仕様の用語および定義を使用して説明する。以下で明示的に定義されない用語の定義は、上記の参照のように、ＨＥＶＣ、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、および／または３Ｄ−ＨＥＶＣ仕様において見つけられ得る。
【０１１６】
[0117]本明細書で説明する技法の第１の例示的な実装形態では、ＤＰＢおよびサブＤＰＢパラメータをシグナリングするための技法について説明する。第１の例示的な実装形態に関連する例示的なシンタックス要素が以下の表３および表４に示されている。
【表２−１】
0006400691.tif 000004
【０１１７】
表１および表２の下線付きの部分は、例示的な実装形態＃１によって既存のシンタックスに導入された変更を対象とする。
【表３】
0006400691.tif 000005
【０１１８】
表３に示されているように、ビデオエンコーダ２０は、ＶＰＳ拡張シンタックス中でＤＰＢサイズテーブル（ｄｐｂ＿ｓｉｚｅ＿ｔａｂｌｅ（））をシグナリングするように構成され得る。ＤＰＢサイズテーブルは、サブＤＰＢサイズ、並べ替えピクチャの最大数、および／または最大レイテンシを示す値を有するシンタックス要素（サブＤＰＢパラメータ）を含む、ＤＰＢおよびサブＤＰＢ関係パラメータを含み得る。
【表４】
0006400691.tif 000006
【０１１９】
表４に示されているように、ビデオエンコーダ２０は、それの値がサブＤＰＢサイズ（ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］）、並べ替えピクチャの最大数（ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］）、および最大サブＤＰＢレイテンシ（ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］）を指定する、シンタックス要素を含むＤＰＢサイズテーブルをシグナリングするように構成される。ｆｏｒループ「ｆｏｒ（ｉ＝１；ｉ＜ＮｕｍＯｕｔｐｕｔＬａｙｅｒＳｅｔｓ；ｉ＋＋）」は、出力レイヤセットの最大数（ＮｕｍＯｕｔｐｕｔＬａｙｅｒＳｅｔｓ）までの各出力レイヤセットｉについて（すなわち、各動作点について）サブＤＰＢサイズ、並べ替えピクチャの最大数、および最大サブＤＰＢレイテンシがシグナリングされることを指定する。したがって、ビデオデコーダ３０は、動作点の出力レイヤセット中のあらゆるレイヤについての受信された最大サブＤＰＢサイズ、並べ替えピクチャの最大数、および最大サブＤＰＢレイテンシを適用するように構成される。
【０１２０】
[0118]さらに、表４に示されているように、ビデオエンコーダ２０はまた、最大サブＤＰＢサイズ、並べ替えピクチャの最大数、および最大サブＤＰＢレイテンシを示すシグナリングされる値が、各レイヤのただ１つのサブレイヤについてシグナリングされるのか、レイヤの２つ以上のサブレイヤについてシグナリングされるのかを示すフラグ（ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］）を生成およびシグナリングするように構成され得る。たとえば、ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値が１である場合、最大サブＤＰＢサイズ、並べ替えピクチャの最大数、および最大サブＤＰＢレイテンシを示すシンタックス要素の値は、あらゆるサブレイヤについて使用されることになる。しかしながら、ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値が０である場合、それの値が最大サブＤＰＢサイズ、並べ替えピクチャの最大数、および最大サブＤＰＢレイテンシを示す、別個のシンタックス要素が２つ以上のサブレイヤについてシグナリングされ得る。この例では、ビデオデコーダ３０は、それぞれのシンタックス要素の値に基づいて、２つまたはそれ以上の異なるサブレイヤについての最大サブＤＰＢサイズ、並べ替えピクチャの最大数、および最大サブＤＰＢレイテンシについて異なる値を使用するように構成され得る。
【０１２１】
[0119]ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値が１である（２つ以上のサブレイヤについてサブＤＰＢパラメータがシグナリングされることになることを示す）場合、ビデオエンコーダ２０は、特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることになるか否かを示す各サブＤＰＢ中の各サブレイヤのための追加のシンタックス要素（ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］）をシグナリングするようにさらに構成され得る。
【０１２２】
[0120]表４の例では、ｉｆ文（「ｉｆ（ｊ＞０＆＆ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］＆＆ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ−１］））は、ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値が１であり、前のサブレイヤ（ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ−１］）のｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１の値を有する場合のみ、特定のサブレイヤについてのｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］をシグナリングするようにビデオエンコーダ２０に要求する。すなわち、ビデオエンコーダ２０は、前のサブレイヤについてサブＤＰＢパラメータがシグナリングされなかった場合、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、またはいずれのサブＤＰＢパラメータをもシグナリングしない。
【０１２３】
[0121]本開示の一例では、前のサブレイヤのためのｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値を検査する必要が削除されている。代わりに、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの前の値にかかわらず、あらゆるサブレイヤについてシグナリングされ得る。
【０１２４】
[0122]上記の表４のシンタックス要素に関連するセマンティクスについて、次のようにおいて説明される。本明細書で使用する、ＮｕｍＳｕｂＤｐｂｓ［ｉ］は、ｉ番目の出力レイヤセットに必要なサブＤＰＢの数を示し得る。
【０１２５】
[0123]１に等しいシンタックス要素ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］の値は、ｉ番目の出力レイヤセット中のすべてのサブレイヤについてｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が存在すること示す。サブレイヤの最大数は、シンタックス要素ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値によって示され得る。言い換えれば、ビデオエンコーダ２０が、１の値をもつｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を生成するとき、ビデオデコーダ３０は、ｉ番目の出力レイヤセットのすべてのサブレイヤについて追加のフラグ（すなわち、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］）がシグナリングされることになると決定する。
【０１２６】
[0124]逆に、ビデオエンコーダ２０が、０に等しい値をもつｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］シンタックス要素を生成する場合、ビデオデコーダ３０は、ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］シンタックス要素が、０よりも大きいｊの各値について、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が存在しないことを指定すると決定し得、ビデオデコーダ３０は、値が０に等しいと推定し得る。したがって、ビデオエンコーダ２０は、あらゆるサブレイヤのためにサブＤＰＢパラメータ（すなわち、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］、およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］）の最初にシグナリングされた値を使用するであろう。
【０１２７】
[0125]上記で説明したように、ビデオエンコーダ２０が、１の値をもつｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を生成する場合、ビデオエンコーダ２０は、出力レイヤセットの各サブレイヤのためのｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］をも生成する。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］シンタックス要素の値が１に等しい場合、ビデオデコーダ３０は、両端値を含む、０〜サブＤＰＢの最大数（ＮｕｍＳｕｂＤｐｂｓ［ｉ］−１）の範囲内にあるあらゆるサブＤＰＢ  ｋのためのサブレイヤｊについて、サブＤＰＢサイズ（ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］）をさらに受信し得る。ビデオデコーダ３０は、サブレイヤｊのための最大レイテンシ（ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］）および並べ替えピクチャの最大数（ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］）を示すシンタックス要素をも受信するように構成される。
【０１２８】
[0126]他方では、ビデオデコーダ３０が、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］シンタックス要素の値が０に等しいと決定した場合、ビデオデコーダ３０は、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］シンタックス要素が、両端値を含む、０〜（ＮｕｍＳｕｂＤｐｂｓ［ｉ］−１）の範囲内にあるｋについて、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］の値がｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ−１］に等しい（すなわち、出力レイヤセット中の前のサブレイヤのためのＤＰＢサイズシンタックス要素の値に等しい）ことを指定すると決定し得る。また、ビデオデコーダ３０は、サブレイヤｊのための並べ替えピクチャの最大数のシンタックス要素（ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］）の値および最大レイテンシシンタックス要素（ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］）の値が、出力レイヤセット中の前のサブレイヤのためのそれらのシンタックス要素（すなわち、それぞれ、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ−１］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ−１］）の値に等しくなるように等しく設定されるとさらに決定し得る。さらに、ビデオデコーダ３０は、ｉの任意の可能な値についてのｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［０］シンタックス要素の値を１に等しいと推論し得る。すなわち、ビデオデコーダ３０は、出力レイヤセットの０番目の（すなわち、第１の）サブレイヤのためのｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇについて１の値を推論するように構成され得る。さらに、ビデオデコーダ３０は、両端値を含む、ｊ＋１〜ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内にあるｋについて、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｋ］シンタックス要素の値が０に等しいと推論し得る。
【０１２９】
[0127]シンタックス要素ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］＋１は、ＨｉｇｈｅｓｔＴｉｄがｊに等しいときのピクチャ記憶バッファの単位でのｉ番目の出力レイヤセット中のＣＶＳのためのｋ番目のサブＤＰＢの最大所要サイズを指定する。ｊが０よりも大きいとき、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］がｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ−１］の値よりも大きいかまたはそれに等しいと決定し得る。両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］が存在しないとき、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］の値がｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ−１］の値に等しいと推論し得る。
【０１３０】
[0128]シンタックス要素ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］は、並べ替えピクチャの最大数を示す。すなわち、ＨｉｇｈｅｓｔＴｉｄがｊに等しいとき、復号順序でＣＶＳ中のｉ番目の出力レイヤセット中の１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつピクチャを含んでいるアクセスユニットａｕＡに先行し、出力順序で１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつピクチャを含んでいるアクセスユニットａｕＡに後続することができる、１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつピクチャを含んでいるアクセスユニットの最大許容数。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が０に等しいことにより、両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］が存在しないとき、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］シンタックス要素の値がｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ−１］の値に等しいと推論し得る。
【０１３１】
[0129]シンタックス要素ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値は、最大レイテンシを示す。０に等しくないシンタックス要素ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］は、ＨｉｇｈｅｓｔＴｉｄがｊに等しいとき、出力順序でＣＶＳ中の１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつピクチャを含んでいるアクセスユニットａｕＡに先行し、復号順序で１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつピクチャを含んでいるアクセスユニットａｕＡに後続することができるｉ番目の出力レイヤセット中の１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつピクチャを含んでいるアクセスユニットの最大数をその値が指定する、ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］［ｋ］［ｊ］シンタックス要素の値を計算するために使用される。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が０に等しいことにより、両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］が存在しない事例では、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値がｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ−１］に等しいと推論し得る。
【０１３２】
[0130]ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］が０に等しくないとき、ビデオエンコーダ２０は、ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］［ｋ］［ｊ］の値を次のように指定し得る。
【数１】
0006400691.tif 000007
【０１３３】
すなわち、レイテンシピクチャの最大数は、並べ替えピクチャの最大数＋最大レイテンシシンタックス要素の値に等しい。
【０１３４】
[0131]ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］が０に等しいとき、対応する限界は表現されない。ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値は、両端値を含む、０〜［（２＾３２）−２］の範囲内にあるべきである。
【０１３５】
[0132]以下に、本開示の例示的な技法を実装するために、ＨＥＶＣ従属節Ｆ．１３．５．２．２に関係するピクチャプロセスの出力および削除に対する変更を示す。
【表４−１】
0006400691.tif 000008
【０１３６】
[0133]ビデオデコーダ３０による、現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）ＤＰＢからのピクチャの出力および削除は、現在ピクチャの第１の復号ユニットがＣＰＢから削除されたときに瞬時に起こり、次のように進む。従属節Ｆ．８．３．２において指定されているＲＰＳのための復号プロセスが呼び出される。
【０１３７】
−  現在ピクチャが、ピクチャ０でない、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇをもち、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＩＲＡＰピクチャである場合、ビデオデコーダ３０は以下の順序付きステップを適用し得る。
【０１３８】
１．  ビデオデコーダ３０は、次のようにテスト中のデコーダのために変数ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを導出し得る。
【０１３９】
−  現在ピクチャがＣＲＡピクチャである場合、ビデオデコーダ３０は、（ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値にかかわらず）ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に等しく設定し得る。
【０１４０】
−  そうではなく、アクティブＳＰＳから導出されたｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、またはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］の値が、それぞれ、現在ピクチャと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄ値もつ、復号順序で先行するピクチャのためにアクティブなＳＰＳから導出された、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、またはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］の値とは異なる場合、ビデオデコーダ３０は、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値にかかわらず、テスト中にＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に設定し得る。しかしながら、好適な例では、ビデオデコーダ３０は、この箇条において指定されている条件下でのテスト中にＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に設定しないことがある。注−  ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇをｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇに等しく設定することがこれらの条件下で選好され得るが、テスト中のビデオデコーダ３０は、これらの条件下でＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に設定することを可能にされる。
【０１４１】
−  他の場合、ビデオデコーダ３０は、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇをｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇに等しく設定し得る。
【０１４２】
２．  ビデオデコーダ３０は、テスト中に導出されたＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を、次のようにＨＲＤのために適用され適用し得る。
【０１４３】
−  ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが１に等しい場合、ビデオデコーダ３０は、空にされるピクチャ記憶バッファ中に含まれているピクチャの出力なしに、ＤＰＢ中のすべてのサブＤＰＢ中のすべてのピクチャ記憶バッファを空にし得、ビデオデコーダ３０は、サブＤＰＢのすべてについて、サブＤＰＢフルネス（fullness）を０に等しく設定し得る。
【０１４４】
−  他の場合（すなわち、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが０に等しい）、ビデオデコーダ３０は、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファを、出力なしに空にし得、ビデオデコーダ３０は、従属節Ｆ．１３．５．２．４において指定されている「バンピング」プロセスを繰り返し呼び出すことによって、ＤＰＢ中のすべての空でないピクチャ記憶バッファを空にし得、ビデオデコーダ３０は、ＤＰＢフルネスを０に等しく設定し得る。
【０１４５】
−  他の場合（たとえば、現在ピクチャが、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇをもつか、または０に等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＩＲＡＰピクチャではない場合）、ビデオデコーダ３０は、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファを、出力なしに空にし得る。空にされた各ピクチャ記憶バッファについて、ビデオデコーダ３０は、そのピクチャ記憶バッファに関連するサブＤＰＢのサブＤＰＢフルネスを１だけ減分し得る。変数ｃｕｒｒＬａｙｅｒＩｄは、現在復号ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しく設定され、変数ｃｕｒｒＳｕｂＤｐｂＩｄは、現在復号ピクチャに関連するサブＤＰＢのインデックスに等しく設定され、以下の条件のうちの１つまたは複数が真であるとき、従属節Ｆ．１３．５．２．４において指定されている「バンピング」プロセスは、以下の条件のいずれも真でなくなるまで、空にされた各追加のピクチャ記憶バッファについてＤＰＢフルネスを１だけさらに減分しながら、繰り返し呼び出される。
【表４−２】
0006400691.tif 000009
【０１４６】
（節２〜１０において指定されている復号プロセスを適用することによって、アネックスＡにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）アクティブＳＰＳからのｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＨｉｇｈｅｓｔＴｉｄ］または（節２〜１０、アネックスＦ、およびアネックスＧまたはＨにおいて指定されている復号プロセスを適用することによって、アネックスＧまたはＨにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）
【表４−３】
0006400691.tif 000010
【０１４７】
−  （節２〜１０において指定されている復号プロセスを適用することによって、アネックスＡにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）アクティブＳＰＳのｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］または（節２〜１０、アネックスＦ、およびアネックスＧまたはＨにおいて指定されている復号プロセスを適用することによって、アネックスＧまたはＨにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）
【表４−４】
0006400691.tif 000011
【０１４８】
関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ［ｃｕｒｒＬａｙｅｒＩｄ］が、（節２〜１０において指定されている復号プロセスを適用することによって、アネックスＡにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）アクティブＳＰＳから導出されたＳｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ＨｉｇｈｅｓｔＴｉｄ］または（節２〜１０、アネックスＦ、およびアネックスＧまたはＨにおいて指定されている復号プロセスを適用することによって、アネックスＧまたはＨにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）
【表４−５】
0006400691.tif 000012
【０１４９】
−  関連するサブＤＰＢ中のｃｕｒｒＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャの数は、（節２〜１０において指定されている復号プロセスを適用することによって、アネックスＡにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）アクティブＳＰＳからのｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］＋１または（節２〜１０、アネックスＦ、およびアネックスＧまたはＨにおいて指定されている復号プロセスを適用することによって、アネックスＧまたはＨにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄ］［ｃｕｒｒＳｕｂＤｐｂＩｄ］［ＨｉｇｈｅｓｔＴｉｄ］＋１よりも大きいかまたはそれに等しい。
【０１５０】
[0134]マークされた追加および削除において上記に示したように、（「バンピング」とも呼ばれる）ピクチャ出力および削除プロセスは、本開示のサブＤＰＢパラメータシグナリング技法を反映するように更新される。１つの変更は、バンピングプロセスを続けるための条件が、ピクチャではなくアクセスユニットに基づくということである。これは、本開示の技法によれば、サブＤＰＢパラメータは、出力レイヤセットに適用されるからである。またこの点について、特定の出力レイヤセットのあらゆるレイヤがその同じサブＤＰＢパラメータを共有するので、特定のレイヤＩＤ（たとえば、ＬａｙｅｒＩｄｘＩｎＶｐｓおよびｃｕｒｒＬａｙｅｒＩｄ）のためのサブＤＰＢパラメータの値を検査する必要性が除去される。
【０１５１】
[0135]以下に、本開示の例示的な技法を実装するために、ＨＥＶＣ従属節Ｃ．１．１．１．１に関係するピクチャ復号、マーキング、追加のバンピング、および記憶処理に対する変更を示す。
【表４−６】
0006400691.tif 000013
【０１５２】
[0136]この従属節において指定されているプロセスは、ビデオエンコーダ２０および／またはビデオデコーダ３０が、現在ピクチャを含んでいるアクセスユニットｎの最後の復号ユニットをＣＰＢから削除するとき瞬時に起こる。ビデオエンコーダ２０および／またはビデオデコーダ３０は、変数ｃｕｒｒＬａｙｅｒＩｄを現在復号ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しく設定し得、ｃｕｒｒＳｕｂＤｐｂＩｄを、現在ピクチャが関連するレイヤに関連するサブＤＰＢのインデックスに等しく設定し得る。指定されているピクチャ復号、マーキング、追加のバンピング、および記憶プロセスに対する本開示の技法によって導入された変更は、下線付きおよび取消し線テキストを使用して以下で示される。
【０１５３】
[0137]「出力のために必要とされる」とマークされた関連するサブＤＰＢ中のピクチャを含んでいるアクセスユニットの場合、ビデオエンコーダ２０および／またはビデオデコーダ３０は、関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔをＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ＋１に等しく設定し得る。
[0138]ビデオデコーダ３０は、現在ピクチャを、ピクチャの最後の復号ユニットが復号された後に復号されると見なし得る。現在復号ピクチャは、ＤＰＢ中の空のピクチャ記憶バッファに記憶され、以下が適用される。
−  現在復号ピクチャが１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する場合、ビデオデコーダ３０は、現在復号ピクチャを「出力のために必要とされる」とマークし、現在アクセスユニットに関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔを０に等しく設定し得る。
−  他の場合（たとえば、現在復号ピクチャが、０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する）、ビデオデコーダ３０は、現在復号ピクチャを「出力のために必要とされない」とマークし得る。
[0139]さらに、ビデオデコーダ３０は、現在復号ピクチャを「短期参照のために使用される」とマークし得る。
【０１５４】
[0140]以下の条件のうちの１つまたは複数が真であるとき、ビデオデコーダ３０は、従属節Ｆ．１３．５．２．４において指定されている「バンピング」プロセスを、以下の条件のいずれも真でなくなるまで、繰り返し／反復的に呼び出し得る。
【０１５５】
−  「出力のために必要とされる」とマークされた少なくとも１つのピクチャを含んでいるアクセスユニットの数は、節２〜１０において指定されている復号プロセスを適用することによって、アネックスＡにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）アクティブＳＰＳからのｓｐｓ＿ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＨｉｇｈｅｓｔＴｉｄ］または（節２〜１０、アネックスＦ、およびアネックスＧまたはＨにおいて指定されている復号プロセスを適用することによって、アネックスＧまたはＨにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）ｃｕｒｒＬａｙｅｒＩｄの値のためのアクティブＶＰＳからのｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄ］［ＨｉｇｈｅｓｔＴｉｄ］よりも大きい。
【０１５６】
−  節２〜１０において指定されている復号プロセスを適用することによって、アネックスＡにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）ｓｐｓ＿ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］は０に等しくなく、または（節２〜１０、アネックスＦ、およびアネックスＧまたはＨにおいて指定されている復号プロセスを適用することによって、アネックスＧまたはＨにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄ］［ＨｉｇｈｅｓｔＴｉｄ］アクティブＶＰＳは０に等しくなく、関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔが、（節２〜１０において指定されている復号プロセスを適用することによって、アネックスＡにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）アクティブＳＰＳから導出されたＳｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ＨｉｇｈｅｓｔＴｉｄ］または（節２〜１０、アネックスＦ、およびアネックスＧまたはＨにおいて指定されている復号プロセスを適用することによって、アネックスＧまたはＨにおいて指定されているプロファイルのうちの１つまたは複数に準拠するコード化ビデオシーケンスが復号されるとき）ｃｕｒｒＬａｙｅｒＩｄの値のためのアクティブＶＰＳからのＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄ］［ＨｉｇｈｅｓｔＴｉｄ］よりも大きいかまたはそれに等しい、「出力のために必要とされる」とマークされたピクチャを含んでいる少なくとも１つのアクセスユニットがある。
【０１５７】
[0141]マークされた追加および削除において上記に示したように、（「バンピング」とも呼ばれる）ピクチャ出力および削除プロセスは、本開示のサブＤＰＢパラメータシグナリング技法を反映するように更新される。１つの変更は、バンピングプロセスを続けるための条件が、ピクチャではなくアクセスユニットに基づくということである。これは、本開示の技法によれば、サブＤＰＢパラメータが、レイヤのサブセットだけでなく、出力レイヤセット全体に適用されるからである。
【０１５８】
[0142]以下は、上記で説明した第１の例示的な実装形態に関係する第２の例示的な実装形態の説明である。第１の例示的な実装形態とは対照的に、第２の例示的な実装形態によれば、ビデオエンコーダ２０は、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値が関連するレイヤを指定するレイヤＩＤをシグナリングし得る。第２の例示的な実装形態によって導入されるシンタックスおよびセマンティクスに対する変更は、
【表４−７】
0006400691.tif 000014
【０１５９】
第２の例示的な実装形態によれば、他のシンタックス要素のシンタックスおよびセマンティクス（すなわち、下線が引かれておらず、取消し線もないテキストによって示されている）はそのままである。
【表５】
0006400691.tif 000015
【０１６０】
[0143]上記の表５は、第１の例示的な実装形態に関係する第２の例示的な実装形態によって導入されるシンタックス変更について説明する。第２の例示的な実装形態によって導入された、セマンティクスに対する変更について以下で説明する。
【０１６１】
[0144]ビデオデコーダ３０は、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］シンタックス要素が、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値が適用されるｉ番目の出力レイヤセットに属するレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定すると決定し得る。ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］シンタックス要素が存在しない事例では、ビデオデコーダ３０は、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］の値が０に等しいと推論し得る。代替的に、いくつかの例では、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］が存在しないとき、ビデオデコーダ３０は、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］の値がｉ番目の出力レイヤセット中の最高レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいと推論し得る。代替的に、いくつかの例では、ビデオエンコーダ２０は、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］シンタックス要素がシグナリングされるかどうかをビデオデコーダ３０に指定するフラグをシグナリングし得る。
【０１６２】
[0145]ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］シンタックス要素が、ＨｉｇｈｅｓｔＴｉｄがｊに等しいとき、復号順序でＣＶＳ中のｉ番目の出力レイヤセット中のｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに先行し、出力順序でｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに後続することができる、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャの最大許容数を示すことを決定し得る。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が０に等しいことにより、両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］が存在しないとき、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ］シンタックス要素の値がｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｊ−１］に等しいと推論し得る。
【０１６３】
[0146]ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値が０に等しくない事例では、ビデオデコーダ３０は、ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］［ｋ］［ｊ］の値を計算するためにｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］シンタックス要素の値を使用し得る。ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］［ｋ］［ｊ］シンタックス要素の値は、ＨｉｇｈｅｓｔＴｉｄがｊに等しいとき、出力順序でＣＶＳ中のｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに先行し、復号順序でｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに後続することができるｉ番目の出力レイヤセット中のｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｌａｙｅｒ＿ｉｄ［ｉ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャの最大数を指定し得る。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］の値が０に等しいことにより、両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］が存在しない例では、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値がｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ−１］に等しいと推論し得る。
【０１６４】
[0147]ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］が０に等しくない事例では、ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］［ｋ］［ｊ］の値は次のような式によって指定される。
【数２】
0006400691.tif 000016
【０１６５】
[0148]逆に、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］が０に等しい例では、対応する限界は表現されない。これらの例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］の値が、両端値を含む、０〜（２＾３２−２）の範囲内にあると決定し得る。
【０１６６】
[0149]以下は、第１の例示的な実装形態に関係する第３の例示的な実装形態について説明する。しかしながら、第１の例示的な実装形態とは対照的に、第３の例示的な実装形態によれば、ビデオエンコーダ２０は、出力レイヤセット中の各レイヤについて並べ替えピクチャの最大数および最大レイテンシがシグナリングされるかどうかを指定するフラグをシグナリングし得る。たとえば、第３の例示的な実装形態によれば、ビデオエンコーダ２０は、出力レイヤセット中の各レイヤについて並べ替えピクチャの最大数および最大レイテンシがシグナリングされることを示す第１の値と、出力レイヤセット中の各レイヤについて並べ替えピクチャの最大数および最大レイテンシがシグナリングされないことを示す第２の値とにフラグを設定し得る。第１の例示的な実装形態によって与えられるシンタックスと比較した、第３の例示的な実装形態によって導入される変更が、以下の表６において下線とボールドで区別される。
【表６】
0006400691.tif 000017
【０１６７】
[0150]第１の例示的な実装形態と比較した、表６のＤＰＢサイズテーブルに関する第３の例示的な実装形態によって導入される新しいセマンティクスについて、以下で説明する。第３の例示的な実装形態に関して以下で説明しないセマンティクスについては、第１の例示的な実装形態におけるものと同じままである。
【０１６８】
[0151]ビデオエンコーダ２０がｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を１に等しく設定する例では、ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１サブレイヤについてｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が存在することを指定する。逆に、ビデオエンコーダ２０がｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を０に等しく設定する例では、ｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、０よりも大きいｊの各値について、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が存在しないことを指定する。ビデオエンコーダ２０がｓｕｂ＿ｌａｙｅｒ＿ｆｌａｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］を０に設定するいくつかの例では、ビデオデコーダ３０は、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］の値が０に等しいと推論し得る。
【０１６９】
[0152]ビデオエンコーダがｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］を１に等しく設定する例では、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］は、両端値を含む、０〜（ＮｕｍＳｕｂＤｐｂｓ［ｉ］−１）の範囲内にあるｋについて、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］、およびｊ番目のサブレイヤについてｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｏｎｌｙ＿ｈｉｇｈｅｓｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］が存在することをビデオデコーダ３０に指定する。他方では、ビデオエンコーダ２０が、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］を０に等しく設定する例では、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］は、両端値を含む、０〜（ＮｕｍＳｕｂＤｐｂｓ［ｉ］−１）の範囲内にあるｋについて、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］の値がｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ−１］に等しいことと、両端値を含む、０〜（ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１）の範囲内にあるｋについて、値ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］が、それぞれ、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ−１］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ−１］に等しく設定されることとをビデオデコーダ３０に指定する。ビデオデコーダ３０は、ｉの任意の可能な値についてのｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［０］シンタックス要素の値が１に等しいと推論し得る。
【０１７０】
[0153]ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］＋１の値は、ＨｉｇｈｅｓｔＴｉｄがｊに等しいときのピクチャ記憶バッファの単位でのｉ番目の出力レイヤセット中のＣＶＳのためのｋ番目のサブＤＰＢの最大所要サイズを指定する。ｊが０よりも大きいとき、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］はｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ−１］よりも大きいかまたはそれに等しいものとする。両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］が存在しないとき、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ］がｍａｘ＿ｖｐｓ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］［ｋ］［ｊ−１］に等しいと推論し得る。
【０１７１】
[0154]ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｏｎｌｙ＿ｈｉｇｈｅｓｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］が１に等しい例では、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｏｎｌｙ＿ｈｉｇｈｅｓｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、シンタックス要素ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１］［ｊ］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１］［ｊ］が存在することをビデオデコーダ３０に示し、（たとえば、ビデオデコーダ３０によって）両端値を含む、０〜ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−２）の範囲内にあるｋについて、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］は、それぞれ、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１］［ｊ］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１］［ｊ］に等しいと推論される。他方では、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｏｎｌｙ＿ｈｉｇｈｅｓｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］が０に等しい例では、ｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｏｎｌｙ＿ｈｉｇｈｅｓｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］は、両端値を含む、０〜（ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１）の範囲内にあるｋについて、シンタックス要素ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ］およびｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］が（たとえば、ビデオエンコーダ２０によって）シグナリングされることをビデオデコーダ３０に示す。
【０１７２】
[0155]ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ］シンタックス要素は、ＨｉｇｈｅｓｔＴｉｄがｊに等しいとき、復号順序でＣＶＳ中のｉ番目の出力レイヤセット中のｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｋ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに先行し、出力順序でｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｋ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに後続することができるｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｋ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャの最大許容数を（たとえば、ビデオデコーダ３０に）示す。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が０に等しいことにより、両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ］が存在しないとき、（たとえば、ビデオデコーダ３０によって）それはｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ−１］に等しいと推論される。逆に、ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が１に等しいことと、０に等しいｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｏｎｌｙ＿ｈｉｇｈｅｓｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］とにより、両端値を含む、０〜（ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−２）の範囲内にあるｋについて、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ］が存在しない例では、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ｋ］［ｊ］がｍａｘ＿ｖｐｓ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］［ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１］［ｊ−１］に等しいと推論し得る。
【０１７３】
[0156]ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］が０に等しくない例では、ビデオデコーダ３０は、ＨｉｇｈｅｓｔＴｉｄがｊに等しいとき、出力順序でＣＶＳ中のｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｋ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに先行し、復号順序でｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｋ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャに後続することができるｉ番目の出力レイヤセット中のｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎｕｈ［ｋ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつピクチャの最大数を指定する、ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］［ｋ］［ｊ］の値を計算するためにｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］を使用し得る。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が０に等しいことにより、両端値を含む、１〜（ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１−１）の範囲内にあるｊについて、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｊ］が存在しない例では、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］がｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ−１］に等しいと推論し得る。ｓｕｂ＿ｌａｙｅｒ＿ｄｐｂ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］が１に等しいことと、０に等しいｒｅｏｒｄｅｒ＿ｉｎｆｏ＿ｏｎｌｙ＿ｈｉｇｈｅｓｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｉ］［ｊ］とにより、両端値を含む、０〜（ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−２）の範囲内にあるｋについて、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］が存在しない例では、ビデオデコーダ３０は、ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］がｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｍｉｎｕｓ１［ｉ］＋１］−１］［ｊ］に等しいと推論し得る。
【０１７４】
[0157]ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］が０に等しくない事例では、ＶｐｓＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］［ｋ］［ｊ］の値は次のような式によって指定される。
【数３】
0006400691.tif 000018
【０１７５】
[0158]ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］が０に等しい事例では、対応する限界は表現されない。ｍａｘ＿ｖｐｓ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］［ｋ］［ｊ］の値は、そのような例では、両端値を含む、０〜（２＾３２−２）の範囲内にあるものとする。
【０１７６】
[0159]図６は、本開示で説明するサブＤＰＢパラメータシグナリングのための技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣおよびＨ．２６４／ＡＶＣ、ならびに、そのような規格のスケーラブル拡張、マルチビュー拡張および３Ｄ拡張を含む、ビデオ符号化技法に従ってビデオデータを符号化するように構成され得る。図６の例についてＨＥＶＣに関して説明する。この点について、図６に示されているビデオ符号化ループは、スケーラブルビデオ符号化プロセスの各レイヤ（すなわち、ベースレイヤおよびエンハンスメントレイヤ）に適用されるか、マルチビュービデオコーディングプロセスの各ビューに適用されるか、または３Ｄビデオコーディングプロセスのテクスチャビューと深度ビューの両方に適用され得る。
【０１７７】
[0160]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。さらに、ビデオエンコーダ２０は、上記で説明したように、異なるビューまたはレイヤ間でビュー間予測および／またはレイヤ間予測を実行し得る。
【０１７８】
[0161]図６の例では、ビデオエンコーダ２０は、ビデオデータメモリ４０と、予測処理ユニット４１と、ＤＰＢ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動きおよびディスパリティ推定ユニット４２と、動きおよびディスパリティ補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図６に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。追加のループフィルタ（ループ内またはループ後）もデブロッキングフィルタに加えて使用され得る。
【０１７９】
[0162]ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ４０に記憶されるビデオデータは、たとえば、ビデオソース１８から得られ得る。ＤＰＢ６４は、（たとえば、イントラ予測コーディングモードまたはインター予測コーディングモードとも呼ばれる、イントラコーディングモードまたはインターコーディングモードで）ビデオエンコーダ２０によってビデオデータを符号化する際に使用する参照ビデオデータを記憶する復号ピクチャバッファ（ＤＰＢの一例である。ビデオデータメモリ４０およびＤＰＢ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのうちのいずれかによって形成され得る。ビデオデータメモリ４０およびＤＰＢ６４は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそのような構成要素に対してオフチップであり得る。
【０１８０】
[0163]図６に示されているように、ビデオエンコーダ２０は、ビデオデータを受信し、データをビデオブロックに区分するように構成され得る。この区分は、たとえば、ＬＣＵおよびＣＵの４分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ２０は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示している。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえば、コーディングレートおよびひずみレベル）に基づいて現在ビデオブロックのために、複数のイントラコーディングモードのうちの１つ、あるいは複数のインターコーディングモードまたはビュー間コーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。
【０１８１】
[0164]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在ビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動きおよびディスパリティ推定ユニット４２ならびに動きおよびディスパリティ補償ユニット４４は、時間的予測およびビュー間予測を行うために、１つまたは複数の参照ピクチャ、参照ピクチャレイヤ、および／または参照ビュー中の１つまたは複数の予測ブロックに対して現在ビデオブロックのインター予測コーディングおよび／またはビュー間コーディングを実行する。
【０１８２】
[0165]動きおよびディスパリティ推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードおよび／またはビュー間予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライスまたはＢスライスに指定し得る。動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動きおよびディスパリティ推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。動きおよびディスパリティ推定ユニット４２によって実行されるディスパリティ推定は、異なるビュー中のブロックから現在コーディングされているブロックを予測するために使用され得るディスパリティベクトルを生成するプロセスである。
【０１８３】
[0166]予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、ＤＰＢ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【０１８４】
[0167]動きおよびディスパリティ推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスまたはビュー間予測スライスにおけるビデオブロックのＰＵのための（動き補償予測のための）動きベクトルおよび／または（ディスパリティ補償予測のための）ディスパリティベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、ＤＰＢ６４に記憶された１つまたは複数の参照ピクチャを識別する。ビュー間予測の場合、参照ピクチャは異なるビュー中にある。動きおよびディスパリティ推定ユニット４２は、計算された動きベクトルおよび／またはディスパリティベクトルをエントロピー符号化ユニット５６と動きおよびディスパリティ補償ユニット４４とに送る。
【０１８５】
[0168]動きおよびディスパリティ補償ユニット４４によって実行される動き補償および／またはディスパリティ補償は、動き推定および／またはディスパリティ推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在ビデオブロックのＰＵのための動きベクトルおよび／またはディスパリティを受信すると、動きおよびディスパリティ補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルおよび／またはディスパリティベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動きおよびディスパリティ補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【０１８６】
[0169]イントラ予測処理ユニット４６は、上記で説明したように、動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット４６（またはいくつかの例では、モード選択ユニット）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
【０１８７】
[0170]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含め得る。
【０１８８】
[0171]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。
【０１８９】
[0172]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【０１９０】
[0173]量子化の後に、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディングあるいは別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
【０１９１】
[0174]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構成する。ビデオエンコーダ２０のこの部分は、再構成ループと呼ばれることがあり、インター予測において参照ピクチャとして使用するために符号化ビデオブロックを効果的に復号する。再構成されたピクチャおよび／または再構成されたレイヤピクチャはＤＰＢ６４に記憶される。
【０１９２】
[0175]動きおよびディスパリティ補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動きおよびディスパリティ補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動きおよびディスパリティ推定ユニット４２と動きおよびディスパリティ補償ユニット４４とによって参照ブロックとして使用され得る。
【０１９３】
[0176]図５を参照しながら上記で説明したように、ＤＰＢ６４は複数のサブＤＰＢに区分され得、ここで、各サブＤＰＢは、マルチレイヤビデオコーディングプロセスにおけるレイヤの異なるタイプのためのピクチャを記憶するように構成される。上記で説明したように、および図８を参照しながら以下でより詳細に説明するように、ビデオエンコーダ２０は、本開示のサブＤＰＢパラメータシグナリング技法を実行するように構成され得る。
【０１９４】
[0177]図７は、本開示で説明するサブＤＰＢパラメータシグナリング技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図７の例では、ビデオデコーダ３０は、ビデオデータメモリ６９と、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、ＤＰＢ９２とを含む。予測処理ユニット８１は、動きおよびディスパリティ補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図６からのビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
【０１９５】
[0178]ビデオデータメモリ６９は、ビデオデコーダ３０の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ６９に記憶されたビデオデータは、たとえば、ストレージデバイス３４から、カメラなどのローカルビデオソースから、ビデオデータのワイヤードまたはワイヤレスネットワーク通信を介して、あるいは物理データ記憶媒体にアクセスすることによって得られ得る。ビデオデータメモリ６９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ（ＣＰＢ）を形成し得る。
【０１９６】
[0179]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【０１９７】
[0180]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、またはＰ）スライスまたはビュー間予測スライスとしてコーディングされたとき、予測処理ユニット８１の動きおよびディスパリティ補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルと、ディスパリティベクトルと、他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構成し得る。
【０１９８】
[0181]動きおよびディスパリティ補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動きおよびディスパリティ補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測またはビュー間予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルおよび／またはディスパリティベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。
【０１９９】
[0182]動きおよびディスパリティ補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動きおよびディスパリティ補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動きおよびディスパリティ補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【０２００】
[0183]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
【０２０１】
[0184]動きおよびディスパリティ補償ユニット８２が、動きベクトルおよび／またはディスパリティベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。（コーディングループ中の、またはコーディングループの後のいずれかの）他のループフィルタも、ピクセル遷移を平滑化するか、または場合によってはビデオ品質を改善するために使用され得る。
【０２０２】
[0185]所与のフレームまたはピクチャ中の復号ビデオは、次いで、その後の動き補償のために使用される参照ピクチャブロック（またはマルチレイヤビデオコーディングプロセスにおけるレイヤピクチャ）を記憶するＤＰＢ９２に記憶される。ＤＰＢ９２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での表示のために、復号ビデオを記憶する。図５を参照しながら上記で説明したように、ＤＰＢ９２は複数のサブＤＰＢに区分され得、ここで、各サブＤＰＢは、マルチレイヤビデオコーディングプロセスにおけるレイヤの異なるタイプのためのピクチャを記憶するように構成される。上記で説明したように、および図９を参照しながら以下でより詳細に説明するように、ビデオデコーダ３００は、本開示のサブＤＰＢパラメータシグナリング技法を実行するように構成され得る。
【０２０３】
[0186]図８は、本開示の技法による例示的な符号化方法を示すフローチャートである。図８の技法は、ＤＰＢ６４を含む、ビデオエンコーダ２０の１つまたは複数のハードウェアユニットによって実装され得る。
【０２０４】
[0187]本開示の一例では、ビデオエンコーダ２０は、符号化ビデオビットストリームの複数のピクチャを再構成すること（８００）と、複数のピクチャを１つまたは複数のサブＤＰＢに記憶すること（８０２）とを行うように構成され得る。すなわち、ＤＰＢ６４は、１つまたは複数のサブＤＢＰに分割され得る。ビデオエンコーダ２０は、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成すること（８０４）と、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用すること（８０６）と、サブＤＰＢパラメータの生成されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行すること（８０８）とを行うようにさらに構成され得る。本開示の一例では、サブＤＰＢパラメータは、１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すシンタックス要素、および１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すシンタックス要素のうちの少なくとも１つを含む。ビデオエンコーダ２０は、符号化ビデオビットストリーム中でサブＤＰＢパラメータのそれぞれのセットをシグナリングする（８１０）ようにさらに構成され得る。
【０２０５】
[0188]本開示の別の例では、ビデオエンコーダ２０は、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータのそれぞれのセットを生成するように構成され得る。本開示の別の例では、ビデオエンコーダ２０は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第１のそれぞれのサブレイヤシンタックス要素を生成するように構成され得る。本開示の別の例では、ビデオエンコーダ２０は、第１のサブレイヤシンタックス要素が、特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示す場合、特定の出力レイヤセットのそれぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第２のそれぞれのサブレイヤシンタックス要素を生成するように構成され得る。本開示の別の例では、ビデオエンコーダ２０は、第２のそれぞれのサブレイヤシンタックス要素が、特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す場合、特定のサブレイヤのためのサブＤＰＢパラメータの追加のセットを生成するように構成され得る。
【０２０６】
[0189]本開示の別の例では、サブＤＰＢ管理プロセスは、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、およびサブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、サブＤＰＢ管理プロセスを実行することが、サブＤＰＢパラメータの受信されたそれぞれのセットを使用してアクセスユニットレベルでサブＤＰＢ管理プロセスを実行することを備える。ビデオエンコーダ２０は、出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいるＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、（たとえば、別個に各レイヤについて）レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、（たとえば、別個に各レイヤについて）レイヤレベル単位でサブＤＰＢからピクチャを削除することとによって、アクセスユニットレベルでサブＤＰＢ管理プロセスを実行するように構成され得る。
【０２０７】
[0190]図９は、本開示の技法による例示的な復号方法を示すフローチャートである。図９の技法は、ＤＰＢ９２を含む、ビデオデコーダ３０の１つまたは複数のハードウェアユニットによって実行され得る。
【０２０８】
[0191]本開示の一例では、ビデオデコーダ３０は、複数のピクチャを含む符号化ビデオビットストリームを受信すること（９００）と、複数のピクチャを１つまたは複数のサブＤＰＢに記憶すること（９０２）とを行うように構成され得る。すなわち、ＤＰＢ９２は、１つまたは複数のサブＤＢＰに分割され得る。ビデオデコーダ３０は、符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信すること（９０４）と、サブＤＰＢパラメータのそれぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用すること（９０６）と、サブＤＰＢパラメータの受信されたそれぞれの単一セットに従って、１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行すること（９０８）とを行うようにさらに構成され得る。本開示の一例では、サブＤＰＢパラメータは、１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すシンタックス要素、および１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すシンタックス要素のうちの少なくとも１つを含む。
【０２０９】
[0192]本開示の別の例では、ビデオデコーダ３０は、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータのそれぞれのセットを受信するように構成され得る。本開示の別の例では、ビデオデコーダ３０は、各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第１のそれぞれのサブレイヤシンタックス要素を受信するように構成され得る。
【０２１０】
[0193]本開示の別の例では、ビデオデコーダ３０は、第１のサブレイヤシンタックス要素が、特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す場合、サブＤＰＢパラメータのそれぞれのセットを特定の出力レイヤセットのすべてのサブレイヤに適用するように構成され得る。本開示の別の例では、ビデオデコーダ３０は、第１のサブレイヤシンタックス要素が、特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示す場合、特定の出力レイヤセットのそれぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第２のそれぞれのサブレイヤシンタックス要素を受信するように構成され得る。
【０２１１】
[0194]本開示の別の例では、ビデオデコーダ３０は、第２のそれぞれのサブレイヤシンタックス要素が、特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す場合、特定のサブレイヤのためのサブＤＰＢパラメータの受信されたそれぞれのセットを適用するように構成され得る。さらに、第２のそれぞれのサブレイヤシンタックス要素が、特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す場合、ビデオデコーダ３０は、特定のサブレイヤのためのサブＤＰＢパラメータの追加のセットを受信するように構成され得る。
【０２１２】
[0195]本開示の別の例では、ビデオデコーダ３０は、第２のそれぞれのサブレイヤシンタックス要素が、サブレイヤＩＤ  Ｘをもつ特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す場合、Ｘよりも大きいサブレイヤＩＤを有するサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用するように構成され得る。
【０２１３】
[0196]本開示の別の例では、サブＤＰＢ管理プロセスは、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、およびサブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、サブＤＰＢ管理プロセスを実行することが、サブＤＰＢパラメータの受信されたそれぞれのセットを使用してアクセスユニットレベルでサブＤＰＢ管理プロセスを実行することを備える。ビデオデコーダ３０は、出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいるＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、レイヤレベル単位で（たとえば、別個に各レイヤについて）ピクチャを参照のために使用されないとマークすることと、レイヤレベル単位で（たとえば、別個に各レイヤについて）サブＤＰＢからピクチャを除去することとによって、アクセスユニットレベルでサブＤＰＢ管理プロセスを実行するように構成され得る。
【０２１４】
[0197]上記例に応じて、本明細書で説明した技法のうちのいずれかのいくつかの行為またはイベントが、異なる順序で実行され得、全体的に追加、結合、または除外され得る（たとえば、すべての説明した行為またはイベントが本技法の実施のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実行され得る。
【０２１５】
[0198]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。本明細書で使用する「シグナリング」という用語は、符号化ビットストリームを用いてデータを記憶することまたは場合によっては含めることを含む。言い換えれば、本開示による様々な例では、「シグナリング」という用語は、データのリアルタイム通信、または代替的に、リアルタイムで実行されない通信に関連し得る。
【０２１６】
[0199]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０２１７】
[0200]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。
【０２１８】
[0201]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
【０２１９】
[0202]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]  ビデオデータを復号する方法であって、前記方法が、
複数のピクチャを含む符号化ビデオビットストリームを受信することと、
前記複数のピクチャを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶することと、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信することと、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、
サブＤＰＢパラメータの前記受信されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することとを備える、方法。
[Ｃ２]  前記サブＤＰＢパラメータが、前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すシンタックス要素、または前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すシンタックス要素のうちの少なくともの１つを含む、Ｃ１に記載の方法。
[Ｃ３]  サブＤＰＢパラメータの前記それぞれのセットを受信することが、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを受信することを備える、Ｃ１に記載の方法。
[Ｃ４]  各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第１のそれぞれのサブレイヤシンタックス要素を受信することをさらに備える、Ｃ１に記載の方法。
[Ｃ５]  特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第１のサブレイヤシンタックス要素に基づいて、サブＤＰＢパラメータの前記それぞれのセットを前記特定の出力レイヤセットのすべてのサブレイヤに適用することをさらに備える、Ｃ４に記載の方法。
[Ｃ６]  特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示す前記第１のサブレイヤシンタックス要素に基づいて、前記特定の出力レイヤセットのそれぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第２のそれぞれのサブレイヤシンタックス要素を受信することをさらに備える、Ｃ４に記載の方法。
[Ｃ７]  特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用することと、
前記特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの追加のセットを受信することとをさらに備える、Ｃ６に記載の方法。
[Ｃ８]  サブレイヤＩＤ  Ｘをもつ特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、Ｘよりも大きいサブレイヤＩＤを有するサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用することをさらに備える、Ｃ６に記載の方法。
[Ｃ９]  前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記受信されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、Ｃ１に記載の方法。
[Ｃ１０]  前記アクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することが、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいるＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記サブＤＰＢからピクチャを削除することとを備える、Ｃ９に記載の方法。
[Ｃ１１]  ビデオデータを復号するように構成された装置であって、前記装置が、
ビデオデータを記憶するように構成された１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）を備える１つまたは複数のメモリデバイスと、
複数のピクチャを含む符号化ビデオビットストリームを受信することと、
前記複数のピクチャを前記１つまたは複数のサブＤＰＢに記憶することと、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信することと、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、
サブＤＰＢパラメータの前記受信されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと
を行うように構成されたビデオデコーダとを備える、装置。
[Ｃ１２]  前記サブＤＰＢパラメータが、前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すシンタックス要素、または前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すシンタックス要素のうちの少なくともの１つを含む、Ｃ１１に記載の装置。
[Ｃ１３]  前記ビデオデコーダが、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを受信するように構成された、Ｃ１１に記載の装置。
[Ｃ１４]  前記ビデオデコーダは、
各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第１のそれぞれのサブレイヤシンタックス要素を受信することを行うようにさらに構成された、Ｃ１１に記載の装置。
[Ｃ１５]  前記ビデオデコーダは、
特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第１のサブレイヤシンタックス要素に基づいて、サブＤＰＢパラメータの前記それぞれのセットを前記特定の出力レイヤセットのすべてのサブレイヤに適用することを行うようにさらに構成された、Ｃ１４に記載の装置。
[Ｃ１６]  前記ビデオデコーダは、
特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示す前記第１のサブレイヤシンタックス要素に基づいて、前記特定の出力レイヤセットのそれぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第２のそれぞれのサブレイヤシンタックス要素を受信することを行うようにさらに構成された、Ｃ１４に記載の装置。
[Ｃ１７]  前記ビデオデコーダは、
特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用することと、
前記特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの追加のセットを受信することとを行うようにさらに構成された、Ｃ１６に記載の装置。
[Ｃ１８]  前記ビデオデコーダは、
サブレイヤＩＤ  Ｘをもつ特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされないことを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、Ｘよりも大きいサブレイヤＩＤを有するサブレイヤのためのサブＤＰＢパラメータの最後の受信されたそれぞれのセットを適用することを行うようにさらに構成された、Ｃ１６に記載の装置。
[Ｃ１９]  前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記受信されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、Ｃ１１に記載の装置。
[Ｃ２０]  前記ビデオデコーダが、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいるＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記サブＤＰＢからピクチャを削除することとを行うようにさらに構成された、Ｃ１９に記載の装置。
[Ｃ２１]  ビデオデータを復号するように構成された装置であって、前記装置が、
複数のピクチャを含む符号化ビデオビットストリームを受信するための手段と、
前記複数のピクチャを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶するための手段と、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信するための手段と、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用するための手段と、
サブＤＰＢパラメータの前記受信されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行するための手段とを備える、装置。
[Ｃ２２]  実行されたとき、ビデオデータを復号するように構成されたデバイスの１つまたは複数のプロセッサに、
複数のピクチャを含む符号化ビデオビットストリームを受信することと、
前記複数のピクチャを１つまたは複数のサブＤＰＢに記憶することと、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを受信することと、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、
サブＤＰＢパラメータの前記受信されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することとを行わせる命令を記憶するコンピュータ可読記憶媒体。
[Ｃ２３]  ビデオデータを符号化する方法であって、前記方法が、
符号化ビデオビットストリームの複数のピクチャを再構成することと、
前記複数のピクチャを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶することと、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成することと、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、
サブＤＰＢパラメータの前記生成されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、
前記符号化ビデオビットストリーム中でサブＤＰＢパラメータの前記それぞれのセットをシグナリングすることとを備える、方法。
[Ｃ２４]  前記サブＤＰＢパラメータが、前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すシンタックス要素、または前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すシンタックス要素のうちの少なくともの１つを含む、Ｃ２３に記載の方法。
[Ｃ２５]  サブＤＰＢパラメータの前記それぞれのセットを生成することが、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを生成することを備える、Ｃ２３に記載の方法。
[Ｃ２６]  各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第１のそれぞれのサブレイヤシンタックス要素を生成することをさらに備える、Ｃ２３に記載の方法。
[Ｃ２７]  特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示す前記第１のサブレイヤシンタックス要素に基づいて、前記特定の出力レイヤセットのそれぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第２のそれぞれのサブレイヤシンタックス要素を生成することをさらに備える、Ｃ２６に記載の方法。
[Ｃ２８]  前記特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの追加のセットを生成することをさらに備える、Ｃ２７に記載の方法。
[Ｃ２９]  前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記受信されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、Ｃ２３に記載の方法。
[Ｃ３０]  前記アクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することが、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいるＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記サブＤＰＢからピクチャを削除することとを備える、Ｃ２９に記載の方法。
[Ｃ３１]  ビデオデータを符号化するように構成された装置であって、前記装置が、
ビデオデータを記憶するように構成された１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）を備える１つまたは複数のメモリデバイスと、
符号化ビデオビットストリームの複数のピクチャを再構成することと、
前記複数のピクチャを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶することと、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成することと、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、
サブＤＰＢパラメータの前記生成されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、
前記符号化ビデオビットストリーム中でサブＤＰＢパラメータの前記それぞれのセットをシグナリングすることと
を行うように構成されたビデオエンコーダとを備える、装置。
[Ｃ３２]  前記サブＤＰＢパラメータが、前記１つまたは複数のサブＤＰＢのために許容される並べ替えピクチャの最大数を示すシンタックス要素、または前記１つまたは複数のサブＤＰＢのために許容される最大レイテンシを示すシンタックス要素のうちの少なくともの１つを含む、Ｃ３１に記載の装置。
[Ｃ３３]  前記ビデオエンコーダが、ビデオパラメータセット（ＶＰＳ）中でサブＤＰＢパラメータの前記それぞれのセットを生成するように構成された、Ｃ３１に記載の装置。
[Ｃ３４]  前記ビデオエンコーダは、
各それぞれの出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第１のそれぞれのサブレイヤシンタックス要素を生成することを行うようにさらに構成された、Ｃ３１に記載の装置。
[Ｃ３５]  前記ビデオエンコーダは、
特定の出力レイヤセットの各サブレイヤについてサブＤＰＢパラメータがシグナリングされ得ることを示す前記第１のサブレイヤシンタックス要素に基づいて、前記特定の出力レイヤセットのそれぞれのサブレイヤについてサブＤＰＢパラメータがシグナリングされるか否かを示す第２のそれぞれのサブレイヤシンタックス要素を生成することを行うようにさらに構成された、Ｃ３４に記載の装置。
[Ｃ３６]  前記ビデオエンコーダは、
前記特定のサブレイヤについてサブＤＰＢパラメータがシグナリングされることを示す前記第２のそれぞれのサブレイヤシンタックス要素に基づいて、前記特定のサブレイヤのためのサブＤＰＢパラメータの追加のセットを生成することを行うようにさらに構成された、Ｃ３５に記載の装置。
[Ｃ３７]  前記サブＤＰＢ管理プロセスが、ピクチャを参照のために使用されないとマークすること、出力のためのピクチャをマークすること、または前記サブＤＰＢからピクチャを削除することのうちの少なくとも１つを含み、ここにおいて、前記サブＤＰＢ管理プロセスを前記実行することが、サブＤＰＢパラメータの前記受信されたそれぞれのセットを使用してアクセスユニットレベルで前記サブＤＰＢ管理プロセスを実行することを備える、Ｃ３１に記載の装置。
[Ｃ３８]  前記ビデオエンコーダが、
出力のために必要とされるとマークされた少なくとも１つのピクチャを含んでいるＤＰＢ中のアクセスユニットの数に基づいてピクチャを出力することと、
レイヤレベル単位でピクチャを参照のために使用されないとマークすることと、
レイヤレベル単位で前記サブＤＰＢからピクチャを削除することとを行うようにさらに構成された、Ｃ３７に記載の装置。
[Ｃ３９]  ビデオデータを符号化するように構成された装置であって、前記装置が、
符号化ビデオビットストリームの複数のピクチャを再構成するための手段と、
前記複数のピクチャを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶するための手段と、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成するための手段と、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用するための手段と、
サブＤＰＢパラメータの前記生成されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行するための手段と、
前記符号化ビデオビットストリーム中でサブＤＰＢパラメータの前記それぞれのセットをシグナリングするための手段とを備える、装置。
[Ｃ４０]  実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、
符号化ビデオビットストリームの複数のピクチャを再構成することと、
前記複数のピクチャを１つまたは複数のサブ復号ピクチャバッファ（ＤＰＢ）に記憶することと、
前記符号化ビデオビットストリームの各それぞれの動作点のためのサブＤＰＢパラメータのそれぞれのセットを生成することと、
サブＤＰＢパラメータの前記それぞれのセットを各それぞれの動作点のための出力レイヤセットのすべてのレイヤに適用することと、
サブＤＰＢパラメータの前記生成されたそれぞれの単一セットに従って、前記１つまたは複数のサブＤＰＢに対してサブＤＰＢ管理プロセスを実行することと、
前記符号化ビデオビットストリーム中でサブＤＰＢパラメータの前記それぞれのセットをシグナリングすることとを行わせる命令を記憶するコンピュータ可読記憶媒体。
【図１】
0006400691.tif 000019
【図２】
0006400691.tif 000020
【図３】
0006400691.tif 000021
【図４】
0006400691.tif 000022
【図５】
0006400691.tif 000023
【図６】
0006400691.tif 000024
【図７】
0006400691.tif 000025
【図８】
0006400691.tif 000026
【図９】
0006400691.tif 000027