(57)【特許請求の範囲】
【請求項１】
ビデオデータを復号する方法であって、
１つまたは複数のコード化ビデオシーケンス（ＣＶＳ）を備えるビットストリームを受信することであって、各々のＣＶＳは１つ又は複数のピクチャを備え、
ここにおいて、前記１つまたは複数のＣＶＳの第１のＣＶＳにおける復号順序での第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの２つのセットを解析し、ＣＰＢタイミングのパラメータを導出するためにＣＰＢ初期遅延パラメータの前記２つのセットの１つを選択することによって、少なくとも部分的に前記ビットストリームを復号することと、を備える方法。
【請求項２】
前記第１のＣＶＳの前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号することとをさらに備え、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号することは、
前記１つまたは複数のピクチャの前記少なくとも１つを符号化するために使用された１つまたは複数の参照ピクチャを識別することと、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記１つまたは複数のピクチャの前記少なくとも１つを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号することとを含む、請求項１に記載の方法。
【請求項３】
前記仮想参照ピクチャを生成することは、前記第１のＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成することを備える、請求項２に記載の方法。
【請求項４】
前記第１のＣＶＳの前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのいずれかを、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することとをさらに備える、請求項１に記載の方法。
【請求項５】
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のＣＶＳの前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記復号順序により、また前記第１のＣＶＳに関連する表示順序により前記第１のＣＶＳの前記第１のピクチャの後に来る、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避することとをさらに備える、請求項１に記載の方法。
【請求項６】
前記第１のＣＶＳの前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともに前記第１のＣＶＳ内に含まれる、前記第１のＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、請求項１に記載の方法。
【請求項７】
前記ＩＤＲピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともに前記１つまたは複数のＣＶＳの各々のＣＳＶ内に含まれる、前記各々のＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項１に記載の方法。
【請求項８】
ＣＰＢ初期遅延パラメータの前記２つのセットは、ＣＰＢ初期遅延パラメータの第１のセットとＣＰＢ初期遅延パラメータの第２のセットを含み、前記ＣＰＢ初期パラメータの前記２つのセットのうちの前記１つを選択することは、
ＣＰＢ初期遅延パラメータの前記第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる前記第２のセット、およびＣＰＢ遅延オフセットパラメータのセットを復号することをさらに備え、
前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、請求項１に記載の方法。
【請求項９】
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のＣＶＳの前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、請求項８に記載の方法。
【請求項１０】
前記復号順序で前記第１のＣＶＳの前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、請求項８に記載の方法。
【請求項１１】
ビデオデータを符号化する方法であって、
１つまたは複数のコード化ビデオシーケンス（ＣＶＳ）を含むビットストリームを生成することであって、前記１つまたは複数のＣＶＳの第１のＣＶＳに関連する前記１つまたは複数のピクチャの復号順序での第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
ここにおいて、前記ビットストリームは、コード化ピクチャバッファ（ＣＰＢ）タイミングのパラメータが導出されるＣＰＢ初期遅延パラメータの２つのセットを備える、方法。
【請求項１２】
ビデオデータを復号するように構成された装置であって、ビデオデコーダを備え、前記ビデオデコーダは、
１つまたは複数のコード化ビデオシーケンス（ＣＶＳ）を備えるビットストリームを受信することであって、各々のＣＶＳは１つまたは複数のピクチャを備え、
ここにおいて、前記１つまたは複数のＣＶＳの第１のＣＳＶにおける復号順序での第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの２つのセットを解析し、ＣＰＢタイミングのパラメータを導出するためにＣＰＢ初期遅延パラメータの前記２つのセットの１つを選択することによって、少なくとも部分的に前記ビットストリームを復号することと、を行うように構成される、装置。
【請求項１３】
前記ビデオデコーダは、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号することとを行うようにさらに構成され、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号するにあたり、前記ビデオデコーダは、
前記１つまたは複数のピクチャの前記少なくとも１つを符号化するために使用された１つまたは複数の参照ピクチャを識別することと、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記１つまたは複数のピクチャの前記少なくとも１つを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号することとを行うように構成される、請求項１２に記載の装置。
【請求項１４】
前記仮想参照ピクチャを生成するにあたり、前記ビデオデコーダは、前記第１のＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成するように構成される、請求項１３に記載の装置。
【請求項１５】
前記ビデオデコーダは、
前記第１のピクチャに関連する先行ピクチャに対応する、第１のＣＳＶの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により第１のＣＶＳの前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つのいずれかを、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することとを行うようにさらに構成される、請求項１２に記載の装置。
【請求項１６】
前記ビデオデコーダは、
前記第１のＣＶＳの前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＳＶの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のＣＶＳの前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちのいずれかを、前記復号順序により、また前記ＣＶＳに関連する表示順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避することとを行うようにさらに構成される、請求項１２に記載の装置。
【請求項１７】
前記第１のＣＶＳの前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともに前記第１のＣＶＳ内に含まれる、前記第１のＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、請求項１２に記載の装置。
【請求項１８】
前記ＩＤＲピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともに前記１つまたは複数のＣＶＳの各々のＣＶＳ内に含まれる、前記各々のＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項１２に記載の装置。
【請求項１９】
ＣＰＢ初期遅延パラメータの前記２つのセットは、ＣＰＢ初期遅延パラメータの第１のセットとＣＰＢ初期遅延パラメータの第２のセットを含み、前記ＣＰＢ初期パラメータの前記２つのセットのうちの前記１つを選択するために、前記ビデオデコーダは、
ＣＰＢ初期遅延パラメータの前記第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる第２のセット、およびＣＰＢ遅延オフセットパラメータのセットを復号するようにさらに構成され、
前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、請求項１２に記載の装置。
【請求項２０】
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のＣＶＳの前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、請求項１９に記載の装置。
【請求項２１】
前記復号順序で前記第１のＣＶＳの前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、請求項１９に記載の装置。
【請求項２２】
集積回路、
マイクロプロセッサ、または
前記ビデオデコーダを含むワイヤレス通信デバイスのうちの少なくとも１つを備える、請求項１２に記載の装置。
【請求項２３】
ビデオデータを符号化するように構成された装置であって、ビデオエンコーダを備え、前記ビデオエンコーダは、
１つまたは複数のコード化ビデオシーケンス（ＣＶＳ）を備えるビットストリームであって、各々のＣＶＳが１つまたは複数のピクチャを備えるビットストリームを生成するように構成され、
ここにおいて、前記１つまたは複数のＣＶＳの第１のＣＶＳに関連する前記１つまたは複数のピクチャの復号順序での第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
前記ビットストリームは、ＣＰＢタイミングのパラメータが導出されるコード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの２つのセットを備える、装置。
【請求項２４】
集積回路、
マイクロプロセッサ、または
前記ビデオエンコーダを含むワイヤレス通信デバイスのうちの少なくとも１つを備える、請求項２３に記載の装置。
【請求項２５】
ビデオデータを復号するためのデバイスであって、
１つまたは複数のコード化ビデオシーケンス（ＣＶＳ）を備えるビットストリームを受信するための手段であって、各々のＣＶＳは１つ又は複数のピクチャを備え、
ここにおいて、前記１つまたは複数のＣＶＳの第１のＣＶＳにおける復号順序での第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの２つのセットを解析し、ＣＰＢタイミングのパラメータを導出するためにＣＰＢ初期遅延パラメータの前記２つのセットの１つを選択することによって、少なくとも部分的に前記ビットストリームを復号するための手段と、を備えた、デバイス。
【請求項２６】
前記第１のＣＶＳの前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、手段と、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号するための手段とをさらに備え、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号するための前記手段は、
前記１つまたは複数のピクチャの前記少なくとも１つを符号化するために使用された１つまたは複数の参照ピクチャを識別するための手段と、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断するための手段と、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成するための手段と、
前記１つまたは複数のピクチャの前記少なくとも１つを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号するための手段とを含む、請求項２５に記載のデバイス。
【請求項２７】
前記仮想参照ピクチャを生成するための前記手段は、前記第１のＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成するための手段を備える、請求項２６に記載のデバイス。
【請求項２８】
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、手段と、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避するための手段とをさらに備える、請求項２５に記載のデバイス。
【請求項２９】
前記第１のＣＶＳの前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第１のＣＳＶの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のＣＶＳの前記第１のピクチャの前に来るピクチャを備える、手段と、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちのいずれかを、前記復号順序により、また前記ＣＶＳに関連する表示順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避するための手段とをさらに備える、請求項２５に記載のデバイス。
【請求項３０】
前記第１のＣＶＳの前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともに前記第１のＣＶＳ内に含まれる、前記第１のＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、請求項２５に記載のデバイス。
【請求項３１】
前記ＩＤＲピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともに前記１つまたは複数のＣＶＳの各々のＣＶＳ内に含まれる、前記各々のＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項２５に記載のデバイス。
【請求項３２】
ＣＰＢ初期遅延パラメータの前記２つのセットは、ＣＰＢ初期遅延パラメータの第１のセットとＣＰＢ初期遅延パラメータの第２のセットを含み、前記ＣＰＢ初期パラメータの前記２つのセットのうちの前記１つを選択することは、
ＣＰＢ初期遅延パラメータの前記第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる前記第２のセット、およびＣＰＢ遅延オフセットパラメータのセットを復号することをさらに備え、
前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、請求項２５に記載のデバイス。
【請求項３３】
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のＣＶＳの前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、請求項３２に記載のデバイス。
【請求項３４】
前記復号順序で前記第１のＣＶＳの前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、請求項３２に記載のデバイス。
【請求項３５】
実行されたとき、１つまたは複数のプロセッサにビデオデータを復号することを行わせる命令を記憶しているコンピュータ可読記憶媒体であって、前記命令は、前記１つまたは複数のプロセッサに、
１つまたは複数のコード化ビデオシーケンス（ＣＶＳ）を備えるビットストリームを受信することであって、各々のＣＶＳは１つまたは複数のピクチャを備える、受信することと、
ここにおいて、前記１つまたは複数のＣＶＳの第１のＣＶＳにおける復号順序での第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの２つのセットを解析し、ＣＰＢタイミングのパラメータを導出するためにＣＰＢ初期遅延パラメータの前記２つのセットの１つを選択することによって、少なくとも部分的に前記ビットストリームを復号することとを行わせる命令を含む、コンピュータ可読記憶媒体。
【請求項３６】
前記１つまたは複数のプロセッサに、
前記第１のＣＶＳの前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号することとを行わせる命令をさらに備え、前記１つまたは複数のプロセッサに、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号することを行わせる前記命令は、前記１つまたは複数のプロセッサに、
前記１つまたは複数のピクチャの少なくとも１つを符号化するために使用された１つまたは複数の参照ピクチャを識別することと、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記１つまたは複数のピクチャの前記少なくとも１つを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号することとを行わせる命令を含む、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項３７】
前記１つまたは複数のプロセッサに、前記仮想参照ピクチャを生成することを行わせる前記命令は、前記１つまたは複数のプロセッサに、前記第１のＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成することを行わせる命令を備える、請求項３６に記載のコンピュータ可読記憶媒体。
【請求項３８】
前記１つまたは複数のプロセッサに、
前記第１のＣＶＳの前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのいずれかを、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することとを行わせる命令をさらに備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項３９】
前記１つまたは複数のプロセッサに、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のＣＶＳの前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記復号順序により、また前記第１のＣＶＳに関連する表示順序により前記第１のＣＶＳの前記第１のピクチャの後に来る、第１のＣＶＳの前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避することとを行わせる命令をさらに備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４０】
前記第１のＣＶＳの前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともに前記第１のＣＶＳ内に含まれる、前記第１のＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４１】
前記ＩＤＲピクチャは、イントラ予測コーディングを使用して符号化され、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともに前記１つ又は複数のＣＶＳの各々のＣＶＳ内に含まれる、前記各々のＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４２】
ＣＰＢ初期遅延パラメータの前記２つのセットは、ＣＰＢ初期遅延パラメータの第１のセットとＣＰＢ初期遅延パラメータの第２のセットを含み、前記１つまたは複数のプロセッサに前記ＣＰＢ初期パラメータの前記２つのセットのうちの前記１つを選択させる命令は、
前記１つまたは複数のプロセッサに、
ＣＰＢ初期遅延パラメータの前記第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる前記第２のセット、およびＣＰＢ遅延オフセットパラメータのセットを復号することを行わせる命令をさらに備え、
前記先行ピクチャは、前記復号順序により前記第１のＣＶＳの前記第１のピクチャの後に来て、前記第１のＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、請求項３５に記載のコンピュータ可読記憶媒体。
【請求項４３】
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のＣＶＳの前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、請求項４２に記載のコンピュータ可読記憶媒体。
【請求項４４】
前記復号順序で前記第１のＣＶＳの前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、請求項４２に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０１１年１０月３１日に出願された米国仮出願第６１／５５３，８０２号、および２０１２年２月６日に出願された米国仮出願第６１／５９５，６０５号の利益を主張する。
【０００２】
本開示は、ビデオコーディングに関し、より詳細には、ビデオコーディングプロセスによって生成されたビデオデータのフレームをコーディングすることに関する。
【背景技術】
【０００３】
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ  １０、アドバンストビデオコーディング（「ＡＶＣ」：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
【０００４】
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部）はビデオブロックに区分され得、これらのビデオブロックは、ツリーブロック、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることがある。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００５】
空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初は２次元アレイに構成される、量子化変換係数は、変換係数の１次元ベクトルを生じさせるために走査され得る。次いで、エントロピーコーディングが適用されて、なお一層の圧縮を達成することができる。
【発明の概要】
【０００６】
本開示は、ビデオコーディングにおけるランダムアクセスのための技法について説明する。詳細には、本開示は、１つまたは複数のフレーム、または「ピクチャ」を含むビデオシーケンスをコーディングするためのいくつかの技法であって、準拠ビットストリームにおける特定のコード化ビデオシーケンス（ＣＶＳ）の第１のコード化ピクチャが、瞬時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり得る、技法について説明する。たとえば、本技法によれば、第１のコード化ピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャであり得る。
【０００７】
一例として、本開示の技法は、本技法に準拠するビデオデコーダが予測可能なおよび定義された、または「標準的な」方法で、そのような非ＩＤＲ  ＲＡＰピクチャから開始するビットストリームを正常に復号することを可能にし得る。たとえば、開示される技法は、準拠ビデオデコーダが、同じくビットストリーム中に含まれる第１のコード化ピクチャに関連するいわゆる「先行ピクチャ」の様々な出力特性および参照特性を操作することを可能にし得る。その結果、本技法は、他の技法と比較して、ビデオデコーダによるビットストリームの相対的に改善されたランダムアクセスを可能にし得る。たとえば、本技法は、他の技法（たとえば、ＩＤＲピクチャからのみビットストリームのランダムアクセスを許容する技法）と比較して、ビデオデコーダがビットストリームの比較的より多くの開始ポイント、またはアクセスピクチャ（すなわち、非ＩＤＲピクチャ）においてビットストリームを復号することを可能にすることによって、ビットストリームの「より精度の高い（finer）」またはよりきめの細かい（more granular）ランダムアクセスを促進することができる。さらに、本技法は、準拠ビデオデコーダが、たとえば、第１のピクチャに関連する先行ピクチャを出力すること、および／または参照ピクチャとして使用することを回避することによって、同じくビットストリーム中に含まれる１つまたは複数の他のピクチャの視覚的品質を改善することを可能にし得る。
【０００８】
代替的に、別の例として、開示される技法は、本技法に準拠するビデオエンコーダが、非ＩＤＲ  ＲＡＰピクチャであるビットストリームの第１のコード化ピクチャに関連する先行ピクチャを除くビットストリームを生成することを可能にし得る。その結果、同じく開示される技法に準拠するビデオデコーダは、予測可能なおよび定義された方法でビットストリームを正常に復号することができる。
【０００９】
したがって、本開示の技法を使用することで、一般に、様々なビデオアプリケーションにおいて頻繁に発生し得るビットストリームランダムアクセスに関して、ビデオ符号化および復号システムおよびデバイスの相互運用性とユーザエクスペリエンスとを改善することができる。
【００１０】
本開示の一例では、ビデオデータを復号する方法が、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを受信することと、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの、ＩＤＲピクチャではないＲＡＰピクチャである第１のピクチャを復号することと、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号することとを含む。
【００１１】
本開示の別の例では、ビデオデータを符号化する方法が、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを生成することを含み、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり、ビットストリームを生成することは、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避することを備え、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャを備え、第１のピクチャは復号可能であり、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つは、第１のピクチャに基づいて復号可能である。
【００１２】
本開示の別の例では、ビデオデータを復号するように構成された装置が、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを受信することと、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの、ＩＤＲピクチャではないＲＡＰピクチャである第１のピクチャを復号することと、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号することとを行うように構成されたビデオデコーダを含む。
【００１３】
本開示の別の例では、ビデオデータを符号化するように構成された装置が、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを生成するように構成されたビデオエンコーダを含み、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり、ビットストリームを生成するにあたり、ビデオエンコーダは、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避するように構成され、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャを備え、第１のピクチャは復号可能であり、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つは、第１のピクチャに基づいて復号可能である。
【００１４】
本開示の別の例では、ビデオデータを復号するためのデバイスが、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを受信するための手段と、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの、ＩＤＲピクチャではないＲＡＰピクチャである第１のピクチャを復号するための手段と、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号するための手段とを含む。
【００１５】
本開示の別の例では、ビデオデータを符号化するためのデバイスが、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを生成するための手段を含み、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり、ビットストリームを生成するための手段は、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避するための手段を備え、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャを備え、第１のピクチャは復号可能であり、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つは、第１のピクチャに基づいて復号可能である。
【００１６】
本開示で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで実装され得る。ハードウェアで実装される場合、装置は、集積回路、プロセッサ、ディスクリート論理、またはそれらの任意の組合せとして実現され得る。ソフトウェアで実装される場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のプロセッサで実行され得る。本技法を実行するソフトウェアは、最初に有形コンピュータ可読媒体に記憶され、プロセッサにロードされ、実行され得る。
【００１７】
したがって、別の例では、本開示は、実行されたとき、１つまたは複数のプロセッサに、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを受信することと、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの、ＩＤＲピクチャではないＲＡＰピクチャである第１のピクチャを復号することと、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号することとを行わせる命令を記憶しているコンピュータ可読記憶媒体を企図する。
【００１８】
別の例では、本開示は、実行されたとき、１つまたは複数のプロセッサに、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを生成することを行わせる命令を記憶しているコンピュータ可読記憶媒体を企図し、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり、１つまたは複数のプロセッサに、ビットストリームを生成することを行わせる命令は、１つまたは複数のプロセッサに、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避することを行わせる命令を備え、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャを備え、第１のピクチャは復号可能であり、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つは、第１のピクチャに基づいて復号可能である。
【００１９】
１つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面から、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００２０】
【図１】本開示の技法に一致する、高度なデコーダピクチャバッファ（ＤＰＢ）管理によるランダムアクセスのための技法を実行することができるビデオ符号化および復号システムの例を示すブロック図。
【図２】本開示の技法に一致する、高度なＤＰＢ管理によるランダムアクセスのための技法を実行することができるビデオエンコーダの例を示すブロック図。
【図３】本開示の技法に一致する、高度なＤＰＢ管理によるランダムアクセスのための技法を実行することができるビデオデコーダの例を示すブロック図。
【図４】本開示の技法に一致する、ビデオデータのピクチャグループ（ＧＯＰ）のピクチャ間の参照階層の例を示す概念図。
【図５】本開示の技法に一致する、ビデオデコーダによってビデオデータの１つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行する例示的な方法を示すフローチャート。
【図６】本開示の技法に一致する、ビデオエンコーダによってビデオデータの１つまたは複数のピクチャを含むビットストリームを生成する例示的な方法を示すフローチャート。
【発明を実施するための形態】
【００２１】
本開示は、ビデオコーディングにおけるランダムアクセスのための技法について説明する。詳細には、本開示は、１つまたは複数のフレーム、または「ピクチャ」を含むビデオシーケンスをコーディングするためのいくつかの技法であって、準拠ビットストリームにおける特定のコード化ビデオシーケンス（ＣＶＳ）の第１のコード化ピクチャが、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり得る、技法について説明する。たとえば、本技法によれば、第１のコード化ピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャであり得る。
【００２２】
一例として、本開示の技法は、本技法に準拠するビデオデコーダが予測可能なおよび定義された、または「標準的な」方法で、そのような非ＩＤＲ  ＲＡＰピクチャから開始するビットストリームを正常に復号することを可能にし得る。たとえば、開示される技法は、準拠ビデオデコーダが、同じくビットストリーム中に含まれる第１のコード化ピクチャに関連するいわゆる「先行ピクチャ」の様々な出力特性および参照特性を操作することを可能にし得る。その結果、本技法は、他の技法と比較して、ビデオデコーダによるビットストリームの相対的に改善されたランダムアクセスを可能にし得る。たとえば、本技法は、他の技法（たとえば、ＩＤＲピクチャからのみビットストリームのランダムアクセスを許容する技法）と比較して、ビデオデコーダがビットストリームの比較的より多くの開始ポイント、またはアクセスピクチャ（すなわち、非ＩＤＲピクチャ）においてビットストリームを復号することを可能にすることによって、ビットストリームの「より精度の高い」またはよりきめの細かいランダムアクセスを促進することができる。さらに、本技法は、準拠ビデオデコーダが、たとえば、第１のピクチャに関連する先行ピクチャを出力すること、および／または参照ピクチャとして使用することを回避することによって、同じくビットストリーム中に含まれる１つまたは複数の他のピクチャの視覚的品質を改善することを可能にし得る。
【００２３】
代替的に、別の例として、開示される技法は、本技法に準拠するビデオエンコーダが、非ＩＤＲ  ＲＡＰピクチャであるビットストリームの第１のコード化ピクチャに関連する先行ピクチャを除くビットストリームを生成することを可能にし得る。その結果、同じく開示される技法に準拠するビデオデコーダは、予測可能なおよび定義された方法でビットストリームを正常に復号することができる。
【００２４】
したがって、本開示の技法を使用することで、一般に、様々なビデオアプリケーションにおいて頻繁に発生し得るビットストリームランダムアクセスに関して、ビデオ符号化および復号システムおよびデバイスの相互運用性とユーザエクスペリエンスとを改善することができる。
【００２５】
具体的には、本明細書で説明する技法は、他の技法と比較して、以下の新規の態様のうちの少なくとも１つまたは複数を含み得る。（１）非ＩＤＲ  ＲＡＰピクチャ（たとえば、ＣＲＡピクチャ）からのランダムアクセスの発生を検出すること、２）復号順序で非ＩＤＲ  ＲＡＰピクチャの後に来るが、出力順序で非ＩＤＲ  ＲＡＰピクチャの前に来る１つまたは複数のピクチャ（すなわち、非ＩＤＲ  ＲＡＰピクチャの１つまたは複数の「先行ピクチャ」）を識別し、復号すること、ならびに（３）非ＩＤＲ  ＲＡＰピクチャの１つまたは複数の先行ピクチャの各々が、対応するシグナリングされたシンタックス要素ｏｕｔｐｕｔ＿ｆｌａｇが真または「１」である（すなわち、ｏｕｔｐｕｔ＿ｆｌａｇが、それぞれのピクチャが出力されることになることを示している）場合でも出力されないことと、それぞれのピクチャが、復号順序および出力順序で非ＩＤＲ  ＲＡＰピクチャの後に来る任意の他のピクチャの参照ピクチャとして使用されないこととを指定すること。
【００２６】
このようにして、ビデオデータの１つまたは複数のピクチャを含み、非ＩＤＲ  ＲＡＰピクチャにより始まるビットストリームが、本開示の技法に準拠するビデオデコーダによって、予測可能なおよび定義された方法で復号され得る。代替的に、開示される技法に準拠するビデオエンコーダが、ビデオデータの１つまたは複数のピクチャを含み、非ＩＤＲ  ＲＡＰピクチャにより始まるビットストリームを、同じく本技法に準拠するビデオデコーダによって、予測可能なおよび定義された方法でビットストリームが復号され得るように生成することができる。結果として、本開示の技法を使用する場合に、ビデオデータの１つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。特に、開示される技法を使用する場合に、ランダムアクセスのきめの細かさ、ならびにビットストリームの１つもしくは複数のピクチャの視覚的品質および／または１つもしくは複数のピクチャを含むＣＶＳ全体の視覚的品質の相対的改善があり得る。
【００２７】
図１は、本開示の技法に一致する、高度なデコーダピクチャバッファ（ＤＰＢ）管理によるランダムアクセスのための技法を実行することができるビデオ符号化および復号システムの例を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
【００２８】
宛先デバイス１４は、リンク１６を介して復号されるべき符号化ビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【００２９】
代替的に、符号化データは、出力インターフェース２２からストレージデバイス２４に出力され得る。同様に、符号化データは、入力インターフェース２６によってストレージデバイス２４からアクセスされ得る。ストレージデバイス２４は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス２４は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス２４から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイス２４からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
【００３０】
本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００３１】
図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き携帯電話またはビデオ電話を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。
【００３２】
キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化ビデオデータは、さらに（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス２４上に記憶され得る。
【００３３】
宛先デバイス１４は、入力インターフェース２６と、ビデオデコーダ３０と、ディスプレイデバイス２８とを含む。場合によっては、入力インターフェース２６は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２６は、リンク１６を介して、またはストレージデバイス２４から符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス２４上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０など、ビデオデコーダが使用するためのビデオエンコーダ２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。
【００３４】
ディスプレイデバイス２８は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス２８は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【００３５】
ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）とのＪｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作してよく、ＨＥＶＣテストモデル（ＨＭ）に準拠してよい。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ  １０、ＡＶＣと呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ  Ｈ．２６３がある。「ＨＥＶＣ  Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ８」または「ＷＤ８」と呼ばれるＨＥＶＣ規格の最近のドラフトは、文書ＪＣＴＶＣ−Ｊ１００３＿ｄ７、Ｂｒｏｓｓら、「Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ（ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ８」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１０回会合：スウェーデン  ストックホルム、２０１２年７月１１〜２０日に記載されており、この文書は、２０１２年１０月１７日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴＶＣ−Ｊ１００３−ｖ８．ｚｉｐからダウンロード可能である。
【００３６】
本開示において「ＨＥＶＣ  Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ４」または「ＷＤ４」と呼ばれるＨＥＶＣ規格の別のドラフトは、文書ＪＣＴＶＣ−Ｆ８０３、Ｂｒｏｓｓら、「ＷＤ４：Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ４  ｏｆ  Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第６回会合：イタリア  トリノ、２０１１年７月１４〜２２日に記載されており、この文書は、２０１２年１０月１７日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／６＿Ｔｏｒｉｎｏ／ｗｇ１１／ＪＣＴＶＣ−Ｆ８０３−ｖ８．ｚｉｐからダウンロード可能である。
【００３７】
本開示において「ＨＥＶＣ  Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ５」または「ＷＤ５」と呼ばれるＨＥＶＣ規格のさらに別のドラフトは、文書ＪＣＴＶＣ−Ｇ１１０３、Ｂｒｏｓｓら、「ＷＤ５：Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ５  ｏｆ  Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第７回会合：スイス  ジュネーブ、２０１１年１１月２１〜３０日に記載されおり、この文書は、２０１２年１０月１７日現在、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／７＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｇ１１０３−ｖ１２．ｚｉｐからダウンロード可能である。
【００３８】
図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００３９】
ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。本技法がソフトウェアで部分的に実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（「コーデック」）の一部として統合され得る。
【００４０】
ＨＥＶＣの規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３５個ものイントラ予測符号化モードを提供し得る。
【００４１】
概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ）に分割され得ることを記述する。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
【００４２】
ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、かつ形状が方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルをもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかの間で異なり得る。ＰＵは、形状が非方形になるように区分され得る。ＣＵに関連するシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分することも記述し得る。ＴＵは、形状が方形または非方形であり得る。
【００４３】
ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードはＴＵと呼ばれることがある。ＴＵに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
【００４４】
一般に、ＰＵは、予測プロセスに関連したデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、そのＰＵについてのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、そのＰＵについての動きベクトルを定義するデータを含み得る。ＰＵについての動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。
【００４５】
概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数のＴＵをも含み得る。予測の後に、ビデオエンコーダ２０は、ＰＵに対応する残差値を計算し得る。残差値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するために、ＴＵを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」、または単に「ブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを指す「ビデオブロック」という用語も使用し得る。
【００４６】
ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはＣＵ内のコーディングノードに対応し得る。ビデオブロックは、サイズを固定することもまたは変更することもでき、かつ指定のコーディング規格に応じてサイズが異なることがある。
【００４７】
一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ  ＰＵと下部の２Ｎ×１．５Ｎ  ＰＵとで水平方向に区分された２Ｎ×２Ｎ  ＣＵを指す。
【００４８】
本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ここで、Ｎは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備え得、ただし、Ｍは必ずしもＮに等しいとは限らない。
【００４９】
ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域においてピクセルデータを備え得、ＴＵは、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換などの変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。
【００５０】
変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、概して、さらなる圧縮を行う、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化されるプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にｎビット値がｍビット値に切り捨てられ得、この場合、ｎはｍよりも大きい。
【００５１】
いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義されたスキャンまたは「走査」順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
【００５２】
ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接する値が０値であるかどうかに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、比較的長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率判断は、シンボルに割り当てられるコンテキストに基づき得る。
【００５３】
いくつかの例では、本開示の技法はビデオコーディングにおけるランダムアクセスを対象とする。詳細には、本開示は、１つまたは複数のフレーム、またはピクチャを含むビデオシーケンスをコーディングするためのいくつかの技法であって、準拠ビットストリームにおける特定のＣＶＳの第１のコード化ピクチャが、ＩＤＲピクチャではないＲＡＰピクチャであり得る、技法について説明する。たとえば、開示される技法によれば、第１のコード化ピクチャはＣＲＡピクチャであり得る。
【００５４】
言い換えれば、本開示の技法によれば、ＣＶＳの１つまたは複数のピクチャを含むビットストリームは、ビットストリームの第１のコード化ピクチャが非ＩＤＲ  ＲＡＰピクチャである場合、「準拠」ビットストリームと考えられ得る。言い換えれば、開示される技法に準拠するビデオデコーダは正常に、かつ予測可能なおよび定義された方法で、そのようなビットストリームを復号することができる。具体的には、本開示の技法は、ビデオデコーダによって、第１のコード化ピクチャに関連する先行ピクチャの復号ならびに出力特性および参照特性を処理する方法を含む。代替的に、本技法はまた、ビットストリームがビデオデコーダによって予測可能なおよび定義された方法で正常に復号され得るように、ビデオエンコーダによって、非ＩＤＲ  ＲＡＰピクチャであるビットストリームの第１のコード化ピクチャに関連する先行ピクチャをビットストリームから除く準拠ビットストリームを生成することを含む。
【００５５】
本開示では、ＣＶＳのＩＤＲピクチャは一般に、イントラ予測コーディングを使用してコーディングされたＣＶＳ内に含まれるピクチャ、すなわち、ＣＶＳ内またはＣＶＳの外部の任意の他のピクチャを参照せずにコーディングされた「Ｉ」ピクチャを指し得る。加えて、ＩＤＲピクチャは、ＣＶＳに関連する復号順序によりＩＤＲピクチャの後に来るＣＶＳ内に含まれるすべての他のピクチャが、復号順序によりＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される場合のピクチャを指し得る。たとえば、いくつかの技法（たとえば、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０／ＡＶＣ、以下「Ｈ．２６４／ＡＶＣ」）によれば、ＣＶＳは、ＣＶＳに関連する復号順序によるＣＶＳの第１のピクチャとしてのＩＤＲピクチャ、ならびに１つまたは複数の追加のＩＤＲピクチャを含み得る。一例として、ＣＶＳは、１つまたは複数のＧＯＰを含むことができ、各ＧＯＰはＩＤＲピクチャで始まり、その後に１つまたは複数の他の非ＩＤＲピクチャ（たとえば、インター予測コーディングを使用して、他の参照ピクチャからの順方向および双方向予測に基づいてコーディングされたいわゆる「Ｐ」および「Ｂ」ピクチャ）が来る。
【００５６】
上述の技法（たとえば、Ｈ．２６４／ＡＶＣ）によれば、ＣＶＳのランダムアクセスは、ＣＶＳのＩＤＲピクチャ、たとえば、ＣＶＳ内に含まれる特定のＧＯＰのＩＤＲピクチャを最初に復号することによって実現され得る。これらの技法によれば、上述のように、ＩＤＲピクチャは任意の他のピクチャを参照せずに復号され得るので、ＣＶＳのランダムアクセスは、ＧＯＰベースで、各ＧＯＰの最初に位置するＩＤＲピクチャを最初に復号することによって実行され得る。言い換えれば、いくつかの技法（たとえば、Ｈ．２６４／ＡＶＣ）によれば、ＣＶＳのランダムアクセスは、ＣＶＳ内に含まれるＩＤＲピクチャからのみ実行され得る。したがって、これらの技法において、準拠ビットストリームにおける特定のＣＶＳの第１のコード化ピクチャがＲＡＰピクチャであるためには、そのピクチャはＩＤＲピクチャでなければならない。
【００５７】
上述の技法とは対照的に、本開示の技法によれば、非ＩＤＲピクチャ（たとえば、ＣＲＡピクチャ）から開始するビットストリームのランダムアクセスが、準拠ビデオデコーダによって、予測可能なおよび定義された、または「標準的な」方法で実行され得る。結果として、開示される技法は、一般に、様々なビデオアプリケーションにおいて頻繁に発生し得るビットストリームランダムアクセスに関して、ビデオエンコーダおよびビデオデコーダシステムおよびデバイスの相互運用性ならびにユーザエクスペリエンスを大幅に改善することができる。たとえば、本明細書で説明する技法は、他の技法と比較して、以下の新規の態様のうちの少なくとも１つまたは複数を含み得る。
【００５８】
（１）非ＩＤＲ  ＲＡＰピクチャ（たとえば、ＣＲＡピクチャ）からのランダムアクセスの発生を検出すること、
２）復号順序で非ＩＤＲ  ＲＡＰピクチャの後に来るが、出力順序で非ＩＤＲ  ＲＡＰピクチャの前に来る１つまたは複数のピクチャ（すなわち、非ＩＤＲ  ＲＡＰピクチャの１つまたは複数の「先行ピクチャ」）を識別し、復号すること、ならびに
（３）非ＩＤＲ  ＲＡＰピクチャの１つまたは複数の先行ピクチャの各々が、対応するシグナリングされたｏｕｔｐｕｔ＿ｆｌａｇが真または「１」である（すなわち、ｏｕｔｐｕｔ＿ｆｌａｇが、それぞれのピクチャが出力されることになることを示している）場合でも出力されないことと、それぞれのピクチャが、復号順序および出力順序で非ＩＤＲ  ＲＡＰピクチャの後に来る任意の他のピクチャの参照ピクチャとして使用されないこととを指定すること。
【００５９】
上述のように、いくつかの技法（たとえば、Ｈ．２６４／ＡＶＣ）によれば、ＩＤＲピクチャは、ＣＶＳの従来型アクセスポイント（たとえば、ランダムアクセスポイント、または「ＲＡＰ」ピクチャ）として働き得る。たとえば、ＩＤＲピクチャは、ＧＯＰと呼ばれることがある、ＣＶＳの独立して復号可能な部分の最初に含まれ得る。ＣＶＳのランダムアクセスのこの実装形態は、「クローズドＧＯＰ」実装形態と呼ばれることがあり、特定のＧＯＰ内のいずれのピクチャも、ＣＶＳに関連する復号順序によりＧＯＰのＩＤＲピクチャの前に発生するピクチャ、たとえば、ＣＶＳの先行ＧＯＰ内または別の先行ＣＶＳのＧＯＰ内に含まれるピクチャを参照しない。すでに上記で説明したように、このコンテキストでは、ＧＯＰは、ＩＤＲピクチャの後に１つまたは複数の「Ｐ」ピクチャおよび／または「Ｂ」ピクチャが来るものと定義され得る。
【００６０】
いわゆる「オープンＧＯＰ」実装形態では、ＣＲＡピクチャが、クローズドＧＯＰ実装形態に関して上述したＩＤＲピクチャと同様の目的に適う。たとえば、このコンテキストでは、ＧＯＰは、ＣＲＡピクチャの後に１つまたは複数の「Ｐ」ピクチャおよび／または「Ｂ」ピクチャが来るものと定義され得る。しかしながら、クローズドＧＯＰ実装形態とは対照的に、オープンＧＯＰ実装形態では、特定のＧＯＰ内に含まれるピクチャは、ＣＶＳに関連する復号順序によりＧＯＰのＣＲＡピクチャの前に発生するピクチャ、たとえば、ＣＶＳの先行ＧＯＰ内または別の先行ＣＶＳのＧＯＰ内に含まれるピクチャを参照し得る。たとえば、オープンＧＯＰ実装形態によれば、ＣＶＳに関連する復号順序によりＣＶＳの１つのＧＯＰの（ＩＤＲピクチャのように、イントラ予測ピクチャ、または「Ｉ」ピクチャである）ＣＲＡピクチャの後に来る「Ｂ」ピクチャは、ＣＶＳの先行ＧＯＰ内に含まれるピクチャ（たとえば、「Ｐ」ピクチャまたは「Ｂ」ピクチャ）を参照し得る。
【００６１】
いくつかの技法によれば、ＣＶＳの「Ｂ」ピクチャは通常、ＣＶＳに関連する出力順序で「Ｂ」ピクチャの前に来るピクチャと「Ｂ」ピクチャの後に来るピクチャとを参照することによって予測される。たとえば、この例の「Ｂ」ピクチャは、ＣＶＳに関連する出力順序で「Ｂ」ピクチャの前に来ることのある、先行ＧＯＰ内に含まれるピクチャを参照する（すなわち、参照ピクチャとして使用する）ことがあり、出力順序で「Ｂ」ピクチャの後に来ることのあるＣＲＡピクチャを参照する（すなわち、参照ピクチャとして使用する）こともある。言い換えれば、この例では、「Ｂ」ピクチャは復号順序でＣＲＡピクチャの後に来るが、出力順序でＣＲＡピクチャの前に来る。したがって、「Ｂ」ピクチャは、ＣＲＡピクチャの「先行ピクチャ」と考えられ得る。しかしながら、他の例では、「Ｂ」ピクチャは、上記で定義したように、同じくＣＲＡピクチャの先行ピクチャである任意の他のタイプのピクチャであり得る。
【００６２】
上述の例は、上述したオープンＧＯＰ実装形態に関連する少なくとも１つの問題を示している。具体的には、ＣＶＳのランダムアクセスが、ＣＶＳ内に含まれるＣＲＡピクチャから実行された場合、ＣＲＡピクチャの先行ピクチャは正しく復号され得ない。これは、ＣＲＡピクチャがＣＶＳの第１のコード化ピクチャである場合に、ＣＶＳに関連する復号順序でＣＲＡピクチャの前に来るいずれのピクチャも、復号されていないので先行ピクチャの参照ピクチャとして利用不可能であることに起因する。したがって、上述のオープンＧＯＰ実装形態では、先行ピクチャは正しく復号され得ず、それにより、表示された場合にユーザエクスペリエンスを損なうことがある。たとえば、復号された場合に、先行ピクチャは、誤ったビデオデータを含むことがあり、表示された場合に、ピクチャ自体の視覚的品質ならびにＣＶＳ全般の視覚的品質を劣化させることがある。同じ理由により、オープンＧＯＰ実装形態では、復号順序と出力順序の両方でＣＲＡピクチャの後に来るＣＶＳの他のピクチャ（たとえば、「Ｐ」ピクチャ）は、先行ピクチャを参照し得ず（たとえば、その理由として、これらの先行ピクチャは、復号された場合に誤ったビデオデータを含み得ることがある）、または復号順序および出力順序でＣＲＡピクチャの前に来る任意の他のピクチャを参照し得ない（たとえば、その理由として、これらのピクチャは復号されていないので参照ピクチャとして利用不可能であることがある）。
【００６３】
一般的に言って、上述の技法（すなわち、ＩＤＲピクチャを使用するクローズドＧＯＰ実装形態およびＣＲＡピクチャを使用するオープンＧＯＰ実装形態）のいずれも、ビデオデータのＣＶＳのランダムアクセスを可能にし得る。しかしながら、たとえば、Ｈ．２６４／ＡＶＣなどのいくつかのコーディング規格によれば、ＣＲＡピクチャで始まるビットストリームは、「非準拠」ビットストリームと考えられる。たとえば、上述のように、たとえばＨ．２６４／ＡＶＣなどのいくつかの技法によれば、ビットストリームはＩＤＲピクチャで始まらなければならない。言い換えれば、これらの技法によれば、上述のクローズドＧＯＰランダムアクセス実装形態のみがサポートされ得る。本開示の技法は、ビデオデコーダがそのような非準拠ビットストリーム（すなわち、ＣＲＡピクチャで開始し、オープンＧＯＰ実装形態に準拠するビットストリーム）を処理することを可能にし得る。言い換えれば、本明細書で説明する技法は、そのようなビットストリームを「準拠」ビットストリームとして定義することを目的とする。いくつかの例では、本開示の技法による準拠ビットストリームは、ＣＲＡピクチャで開始し、オープンＧＯＰ実装形態に準拠するビットストリーム、ならびにＩＤＲピクチャで開始し、クローズドＧＯＰ実装形態に準拠するビットストリームを含む。
【００６４】
すでに説明したように、ＣＲＡピクチャで発生するランダムアクセスに関して識別される１つの問題は、ＣＲＡピクチャの先行ピクチャが正しく復号され得ず、したがって表示された場合にユーザエクスペリエンスを損ないかねないことに関係する。本開示の技法は、特定の方法でＣＲＡピクチャに関連する先行ピクチャの復号を実行すること、ならびに出力特性および参照特性を操作することによって、ＣＲＡピクチャからのＣＶＳのランダムアクセスを可能にすることによって、この問題に対処し得る。具体的には、本技法は以下のステップの一部または全部を含み得る。
【００６５】
ステップ１：ＣＶＳの１つまたは複数のピクチャを、１つまたは複数のピクチャの各々のピクチャ順序カウント（ＰＯＣ）値が、ＣＲＡピクチャのＰＯＣ値よりも小さい（すなわち、それぞれのピクチャが、ＣＲＡに関連する出力順序でＣＲＡピクチャの前に来る）とき、およびそれぞれのピクチャが、ＣＲＡに関連する復号順序でＣＲＡピクチャの後に来るときに、ＣＶＳのＣＲＡピクチャの先行ピクチャとして識別すること。
【００６６】
ステップ２：１つまたは複数の先行ピクチャの各々について、それぞれの先行ピクチャが、復号に利用可能ではないピクチャを参照するかどうかを判断すること。
【００６７】
ステップ３：復号に利用可能ではないピクチャを参照すると判断された１つまたは複数の先行ピクチャの各々について、仮想参照ピクチャを生成すること（たとえば、ＣＶＳに関連するルーマ（またはクロマ）値範囲の中間に対応するルーマ（またはクロマ）値を有する「中間」ルーマ（またはクロマ）ピクチャ、たとえば「グレー」ピクチャを生成する）。
【００６８】
ステップ４：仮想参照ピクチャが生成された１つまたは複数の先行ピクチャの各々を、対応する生成された仮想参照ピクチャを使用して復号し、かつ残りの先行ピクチャを復号すること。（１つまたは複数の先行ピクチャの復号は、元のＣＶＳタイミングパラメータをビデオデコーダにおいて、たとえばビデオデコーダのＤＰＢ内に維持するために実行されるが、以下に示すように、復号された先行ピクチャは、出力されることも、ＣＶＳの他のピクチャの参照ピクチャとして使用されることもない）。
【００６９】
ステップ５：復号された１つまたは複数の先行ピクチャの各々に関連するｏｕｔｐｕｔ＿ｆｌａｇを、現在のｏｕｔｐｕｔ＿ｆｌａｇが真または「１」に等しい場合でも、それぞれの先行ピクチャを出力しないように偽または「０」にセットすること。（代替的に、本技法は、それぞれの先行ピクチャを出力しないように、真または「１」に等しい現在のｏｕｔｐｕｔ＿ｆｌａｇを単に無視または「マスクする」ことを含み得る）。
【００７０】
ステップ６：復号された１つまたは複数の先行ピクチャの各々が、復号順序と出力順序の両方でＣＲＡピクチャの後に来るＣＶＳの任意の他のピクチャの予測（すなわち、参照）ピクチャとして使用されるのを防止すること。
【００７１】
さらに、本明細書で説明する技法は、復号デバイス（たとえば、ビデオデコーダ３０）ではなく符号化デバイス（たとえば、ビデオエンコーダ２０）に適用可能であり得る。たとえば、ＣＶＳの第１のコード化ピクチャがＣＲＡピクチャを備える場合、本開示の技法に準拠するインテリジェントビデオエンコーダは、ビデオデコーダにＣＲＡピクチャの任意の先行ピクチャを送るのを回避するように構成され得る。一例として、ビデオエンコーダは、ＣＶＳに関連する復号順序によりＣＲＡピクチャの後に来る「Ｐ」ピクチャのみを送るように構成され得る。これを達成するために、いくつかの例では、ビデオエンコーダは、ＣＲＡピクチャに関連する先行ピクチャを含むすべての「アクセスユニット」または同等のデータセットをドロップすることによって、いわゆるビットストリーム「サブネット」を生成するように構成され得る。したがって、上で示した代替的な例では、ビデオデコーダではなくビデオエンコーダが、ビデオデコーダにおけるビットストリームのランダムアクセスに関して、相互運用性とユーザエクスペリエンスとを改善するために、ＣＶＳを含むビットストリームを生成することの一部として、ＣＶＳのＣＲＡの先行ピクチャを処理する（すなわち、除去する）ように構成され得る。
【００７２】
よって、本明細書で説明する技法によれば、準拠ビットストリームにおけるＣＶＳに関連する復号順序によるＣＶＳの第１のコード化ピクチャは、ＩＤＲピクチャまたはＣＲＡピクチャであり得る。言い換えれば、本開示の技法は、ＣＶＳに関連する復号順序によるＣＶＳの第１のコード化ピクチャがＣＲＡピクチャである場合に、ビットストリームを準拠ビットストリームとして定義することによって、ＣＶＳのＣＲＡピクチャで発生するランダムアクセスを可能にし得る。たとえば、本開示の技法は、特定のコーディング規格（たとえば、Ｈ．２６５／ＨＥＶＣ）またはコーディング規格の拡張（たとえば、Ｈ．２６４／ＡＶＣ）に適用可能であり得る。いずれの場合にも、開示される技法によれば、そのようなビットストリームは準拠ビットストリームであり得る。言い換えれば、そのようなビットストリームは、本開示の技法に準拠するビデオデコーダによって、定義されたおよび予測可能な方法で正常に復号され得る。
【００７３】
以下の説明は、上述の本開示の技法に関する追加の情報および例ならびに追加の情報および技法を提供する。
【００７４】
具体的には、本明細書で説明する技法は、他の技法と比較して、以下の新規の態様のうちの１つまたは複数を含み得る。（１）非ＩＤＲ  ＲＡＰピクチャからのランダムアクセスの発生を検出すること、（２）ピクチャが、対応するシグナリングされたｏｕｔｐｕｔ＿ｆｌａｇが真または「１」に等しい場合でも出力されないことを指定すること、（３）復号順序で非ＩＤＲ  ＲＡＰピクチャの後に来るピクチャに関して、非ＩＤＲ  ＲＡＰピクチャがビットストリームの第１のコード化ピクチャであるとき、および第１のコード化ピクチャに関連する先行ピクチャが存在しないときに、更新された「コード化ピクチャバッファ」（ＣＰＢ）除去時間パラメータをシグナリングすること。開示される技法に一致するいくつかの例では、更新されたＣＰＢ除去時間パラメータは、非ＩＤＲ  ＲＡＰピクチャからのランダムアクセスを実行した後に復号順序で非ＩＤＲ  ＲＡＰピクチャの後に来るすべてのピクチャに適用されるオフセットによって示され得る。
【００７５】
本明細書で説明する技法は、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、およびスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４を含む様々なビデオコーディング規格に適用可能であり得る。さらに、開示される技法は、ＩＴＵ−Ｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）とＩＳＯ／ＩＥＣ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）とのＪＣＴ−ＶＣによって現在開発されているＨＥＶＣ規格に適用可能であり得る。上記で説明したように、本開示で言及されるＨＥＶＣの１つの特定のバージョンは、文書ＪＣＴＶＣ−Ｆ８０３に記載のＷＤ４である。
【００７６】
次に、いくつかのＤＰＢ管理技法について説明する。いくつかのビデオコーディング技法によれば、ＤＰＢ管理の様々な方法が実施され得る。一例として、後続のコード化ピクチャの予測に、また将来の出力に使用される復号されたピクチャがＤＰＢにバッファリングされ得る。ＤＰＢのメモリを効率的に利用するために、ＤＰＢへの復号されたピクチャの記憶プロセスと、参照ピクチャのマーキングプロセスと、ＤＰＢからの復号されたピクチャの出力および除去プロセスとを含むＤＰＢ管理プロセスが指定され得る。ＤＰＢ管理は、少なくとも次の態様を含み得る。（１）ピクチャ識別および参照ピクチャ識別、（２）参照ピクチャリスト作成、（３）参照ピクチャマーキング、（４）ＤＰＢからのピクチャ出力、（５）ＤＰＢへのピクチャ挿入、および（６）ＤＰＢからのピクチャ除去。参照ピクチャマーキングおよび参照ピクチャリスト作成について、以下で紹介する。
【００７７】
一例として次に、参照ピクチャリストマーキング技法について説明する。いくつかのビデオコーディング技法によれば、参照ピクチャマーキングの様々な方法が実施され得る。一例として、Ｈ．２６４／ＡＶＣにおける参照ピクチャマーキングは次のように要約され得る。インター予測に使用される参照ピクチャの、「Ｍ」と呼ばれることがある（たとえば、シンタックス要素ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓに対応する）最大数が、アクティブなシーケンスパラメータセット（ＳＰＳ）に示され得る。参照ピクチャは、復号されるとき、「参照のために使用される」とマークされ得る。参照ピクチャの復号により、「Ｍ」個よりも多くのピクチャが「参照のために使用される」とマークされる場合、少なくとも１つのピクチャは「参照のために使用されない」とマークされ得る。その後、ＤＰＢ除去プロセスは、「参照のために使用されない」とマークされたピクチャを、出力にも必要とされない場合にＤＰＢから除去することができる。
【００７８】
ピクチャは、復号されるとき、非参照ピクチャまたは参照ピクチャのいずれかであり得る。参照ピクチャは長期参照ピクチャまたは短期参照ピクチャであってよく、「参照のために使用されない」とマークされたとき、ピクチャは非参照ピクチャになり得る。
【００７９】
Ｈ．２６４／ＡＶＣは、参照ピクチャのステータスを変更する参照ピクチャマーキング動作を含む。たとえば、Ｈ．２６４／ＡＶＣでは、参照ピクチャマーキングの２つのタイプの動作、すなわちスライディングウィンドウおよび適応メモリ制御がある。参照ピクチャマーキングの動作モードは、ピクチャベースで選択される。一例として、スライディングウィンドウ参照ピクチャマーキングは、固定数の短期参照ピクチャを有する先入れ先出し（ＦＩＦＯ）キューとして機能する。言い換えれば、復号時間が最も早い短期参照ピクチャが、黙示的に最初に除去される（すなわち、「参照のために使用されない」とマークされる）ことになる。別の例として、適応メモリ制御参照ピクチャマーキングは、短期ピクチャまたは長期ピクチャを明示的に除去する。これにより、短期ピクチャおよび長期ピクチャのステータスを切り替えることもできる。
【００８０】
別の例として次に、参照ピクチャリスト作成技法について説明する。いくつかのビデオコーディング技法によれば、参照ピクチャリスト作成の様々な方法が実施され得る。一例として、通常、「Ｂ」ピクチャの第１または第２の参照ピクチャリストの参照ピクチャリスト作成は、次の２つのステップを含み得る。（１）参照ピクチャリスト初期化、および（２）参照ピクチャリスト並べ替え（「変更」と呼ばれ得る）。参照ピクチャリスト初期化は、ＰＯＣ（上記で説明したように、「ピクチャ順序カウント」であり、ピクチャの出力順序または表示順序と整合する）値の順序に基づいて、参照ピクチャメモリ（ＤＰＢとも呼ばれる）中の参照ピクチャをリストに置く明示的な機構であり得る。
【００８１】
参照ピクチャリスト並べ替え機構は、参照ピクチャリスト初期化中にリストに置かれたピクチャの位置を任意の新しい位置に変更すること、または参照ピクチャメモリ中の任意の参照ピクチャを、初期化されたリストにそのピクチャが属していない場合でも任意の位置に置くことができる。いくつかのピクチャは、参照ピクチャリスト並べ替え（または変更）の後、リスト中の非常に「遠い」位置に置かれ得る。しかしながら、ピクチャの位置が、リストのアクティブな参照ピクチャの数を超えた場合、そのピクチャは、最終参照ピクチャリストのエントリとは見なされ得ない。アクティブな参照ピクチャの数は、リストごとにスライスヘッダでシグナリングされ得る。
【００８２】
代替的に、異なるＤＰＢ管理手法が、Ｓｊｏｂｅｒｇらによる文書「ＪＣＴＶＣ−Ｆ４９３：Ａｂｓｏｌｕｔｅ  Ｓｉｇｎａｌｉｎｇ  ｏｆ  Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅｓ」、第６回会合、トリノ、２０１１（以下ではＪＣＴＶＣ−Ｆ４９３と呼ばれる）に記述されており、その内容全体は参照により本明細書に組み込まれる。
【００８３】
次に、いくつかの参照ピクチャセット（ＲＰＳ）技法について説明する。たとえば、同じく内容全体が参照により本明細書に組み込まれる、２０１２年９月１９日に出願された米国特許出願第１３／６２２，９７２号は、ピクチャごとに、現在のピクチャまたは現在のコード化ピクチャおよび復号順序で現在のコード化ピクチャの後に来るピクチャによって使用され得るいくつかの参照ピクチャを含むＲＰＳについて記述している。ＲＰＳの詳細な定義は次のように行われ得る。あるピクチャに関連する参照ピクチャのセットであって、関連ピクチャまたは復号順序で関連ピクチャの後に来る任意のピクチャのインター予測に使用されることがあり、かつ関連ピクチャのシンタックス要素ｔｅｍｐｏｒａｌ＿ｉｄ以下であるシンタックス要素ｔｅｍｐｏｒａｌ＿ｉｄを有する、関連ピクチャ自体を除くすべての参照ピクチャからなるセット。
【００８４】
次に、ＲＡＰおよび対応するＲＰＳの例について説明する。すでに説明したように、本開示では、「ランダムアクセス」は、ＣＶＳにおける従来の第１のコード化ピクチャ、すなわちＩＤＲピクチャではないコード化ピクチャから開始するＣＶＳの復号を指す。非ＩＤＲ  ＲＡＰピクチャは、「ｐｉｃＲ」と呼ばれることがあり、次の条件のすべてが真であるコード化ピクチャと定義され得る。
【００８５】
（１）ｐｉｃＲはＩＤＲピクチャではない。
【００８６】
（２）ｐｉｃＲのＰＯＣを「ｒＰｏｃ」とし、「ｐｉｃＡ」を、同じＣＶＳ中にあり、かつ復号順序と出力順序の両方でｐｉｃＲの後に来るピクチャとし、ｐｉｃＡのＰＯＣを「ａＰｏｃ」とする。ｐｉｃＲでランダムアクセスが実行されるとき、同じＣＶＳ中にあり、かつ出力順序でｐｉｃＡの後の来るすべてのピクチャが正しく復号され得る。
【００８７】
この例では、非ＩＤＲ  ＲＡＰピクチャｐｉｃＲについて、次の条件が真である場合、そのピクチャはＣＲＡピクチャと呼ばれ得る。ｐｉｃＲでランダムアクセスが実行されるとき、同じＣＶＳ中にあり、かつ出力順序でｐｉｃＲの後に来るすべてのピクチャが正しく復号され得る。非ＩＤＲ  ＲＡＰピクチャｐｉｃＲについて、上記の条件が真でない場合、ピクチャは漸進的復号リフレッシュ（ＧＤＲ：gradual decoding refresh）ピクチャと呼ばれ得る。さらに、ＣＲＡピクチャについて、対応するＲＰＳは、ＣＲＡピクチャの参照ピクチャをまったく含み得ないが、通常、復号順序でＣＲＡピクチャの後に来るピクチャのための少なくとも１つのピクチャを含み得る。
【００８８】
図４は、本開示の技法に一致する、ビデオデータのＧＯＰのピクチャ間の参照階層の例を示す概念図である。具体的には、図４は、４つの時間レベルと「８」のＧＯＰサイズとを有する階層型「Ｂ」ピクチャコーディングを示している。図４に示すように、「８」に等しいＰＯＣ値を有するピクチャがイントラ（すなわち、「Ｉ」ピクチャ）としてコーディングされるとき、そのピクチャはＣＲＡピクチャであり得る。ＲＰＳの定義に基づいて、ＲＰＳは、「０」に等しいＰＯＣ値を有するピクチャを、復号順序でこのピクチャの後に来るピクチャのために含む。
【００８９】
次に、先行ピクチャおよび対応するＲＰＳについて説明する。すでに説明したように、復号順序でＲＡＰピクチャの後に来るが、表示順序でＲＡＰピクチャの前に来るピクチャは、ＲＡＰピクチャの対応「先行ピクチャ」と呼ばれ得る。図４の例では、ＣＲＡピクチャ（すなわち、「８」のＰＯＣ値を有するピクチャ）の対応先行ピクチャのＲＰＳが下の表１に示されている。
【表１】
0005837216.tif 000002
【００９０】
次に、ピクチャ出力技法について説明する。ＨＥＶＣ  ＷＤ４では、各ピクチャはｏｕｔｐｕｔ＿ｆｌａｇを割り当てられ得る。このフラグが偽または「０」に等しいとき、それぞれのピクチャは出力に使用されず、したがって表示されることはない。
【００９１】
次に、ＣＰＢの例について説明する。ＣＰＢは、ビデオデコーダによって、各々がコード化ピクチャと関連ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットとを含むアクセスユニットを復号前に受信しバッファリングするために必要とされ得る。ＨＥＶＣ  ＷＤ４では、たとえば、ＣＰＢ動作は欠落しているが、それでもＨ．２６４／ＡＶＣにおいて指定されているＣＰＢ動作は適用され得る。一例として、Ｈ．２６４／ＡＶＣによれば、準拠ビットストリームの場合、Ｈ．２６４／ＡＶＣ中のサブクローズＣ．３において指定されている条件のリストが完全に満たされ得る。ビットストリーム準拠条件の２つは次の通りである。
【００９２】
（１）ＣＰＢオーバーフローは、ＣＰＢにおけるビット総数がＣＰＢサイズよりも大きい条件と指定される。ＣＰＢはオーバーフローしてはならない。
【００９３】
（２）ＣＰＢアンダーフローは、ｔr,n（ｎ）が「ｔaf（ｎ）」よりも小さい条件と指定される。ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇが「０」に等しいとき、ＣＰＢはアンダーフローしてはならない。
【００９４】
次に、上述の技法によるいくつかの潜在的な問題について説明する。ＣＲＡピクチャで発生するランダムアクセスに関する上述の様々な手法は、いくつかの欠点を有する。一例として、先行ピクチャが存在しない場合、準拠デコーダは、先行ピクチャが伝送損失により失われたのか、それとも（たとえば、ストリーミングサーバによって、ランダムアクセス動作のために意図的に行われた）意図的なピクチャドロップにより失われたのかを知り得ない。別の例として、先行ピクチャは正しく復号されないことがあり、それにより、表示された場合にユーザエクスペリエンスを損なうことがある。さらに別の例として、いくつかのコード化ピクチャが意図的にドロップされた場合、ＣＲＡピクチャから開始する得られるビットストリームは、１つまたは複数のビットストリーム準拠条件と対立することがあり、それにより、予測不可能な復号行動および制御不可能な復号結果が発生することがある。たとえば、先行ピクチャのすべてがドロップされたとき、復号順序でＣＲＡピクチャの後の次のピクチャが、復号順序で最後の先行ピクチャの後のコード化ピクチャになる。先行ピクチャが存在する場合と比較して、この次のピクチャは早めにＣＰＢに入り、その結果、そのＣＰＢ最終到着時間ｔaf（ｎ）は早まる。関連ピクチャタイミング補足エンハンスメント情報（ＳＥＩ）メッセージにおけるシンタックス要素ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙから導出されたＣＰＢ除去時間は変化し得ない。それにより、ＣＰＢアンダーフローは発生しない。しかしながら、このピクチャおよび復号順序で後に来るピクチャのビット数が、ドロップされた先行ピクチャのビット数をはるかに上回る場合、ＣＰＢオーバーフローが発生し得る。
【００９５】
本開示では、上記で説明した欠点の一部を、いくつかの場合において減らし、またはなくし得るいくつかの技法を記載する。具体的には、本開示の技法は、第１のコード化ピクチャがＣＲＡピクチャであるビットストリームが、ＣＲＡピクチャに関連する先行ピクチャが存在するかどうかにかかわらず準拠しているようにするための様々な方法を採用することによって、ＣＲＡピクチャからのランダムアクセスに関する上述の問題を解決することができる。開示される技法は、少なくとも、上述の特徴を実現するために使用され得る次の態様を含む。
【００９６】
一例として、ランダムアクセスの発生の検出のためのプロセスが随意に追加され得る。各ピクチャおよび各先行ピクチャのランダムアクセスの発生の検出は、復号および／または出力を目的としているかどうかにかかわらず、ランダムアクセスに起因して正しく受信され復号されてはいないことがあるが、通常の場合には正しく受信され復号されるピクチャを含む消失ピクチャセット（ＶＰＳ：vanish picture set）を作成することによって実行され得る。ＶＰＳが空でない限り、検出は必要とされ得る。
【００９７】
別の例として、先行ピクチャの出力特性の処理が、関連ＣＲＡピクチャから開始するランダムアクセスが発生しているときに先行ピクチャが出力に使用され得ないように実行され得る。
【００９８】
別の例として、先行ピクチャのための復号プロセスが、先行ピクチャが受信された場合にハイレベルシンタックスの解析および関連復号プロセスの呼出し、たとえば、参照ピクチャセット（ＲＰＳ）の導出のみが実行され得、かつそのようなピクチャの復号が省略され得るように、変更され得る。
【００９９】
別の例として、デコーダがＣＲＡピクチャの復号を開始し、ＣＲＡピクチャの後に来る先行ピクチャがまったくないときでも、仮想参照デコーダ（ＨＲＤ：hypothetical reference decoder）パラメータと、ピクチャバッファリング期間ＳＥＩメッセージと、ピクチャタイミングＳＥＩメッセージとを含むＣＰＢ準拠関連情報が使用されてＣＰＢ制約を実現し、それによりバッファのオーバーフローまたはアンダーフローが発生し得ないように、ビットストリーム制限が追加され得る。
【０１００】
別の例として、先行ピクチャが存在しない場合に、ＣＰＢ初期遅延パラメータの追加セットを適用したときにＣＰＢ準拠制約が実現され得るように、ＣＲＡピクチャに関連するＳＥＩメッセージがＣＰＢ初期遅延パラメータの追加セットを含む形でシグナリングされ得る。より詳細には、ピクチャバッファリング期間ＳＥＩメッセージにおいて、現在のピクチャがＣＲＡピクチャである場合にＣＰＢ初期遅延パラメータの２つのセットがシグナリングされ得る。
【０１０１】
以下の例は、本開示の技法の上述の特徴を示す。以下の例について説明する目的で、以下の用語が定義される。
【０１０２】
先行ピクチャ：復号順序でＣＲＡピクチャの後に来て、出力順序または表示順序でＣＲＡピクチャの前に来る、ＣＲＡピクチャに関連するピクチャ。
【０１０３】
ＶＰＳ：ＣＲＡピクチャの表示順序よりも早い表示順序を有する、ＣＲＡピクチャに関連する参照ピクチャのセット。
【０１０４】
次に、シンタックスの例、特にバッファリング期間ＳＥＩメッセージシンタックスの例について記述する。
【表２】
0005837216.tif 000003
【０１０５】
さらに、バッファリング期間ＳＥＩメッセージセマンティクスの例について以下で説明する。
【０１０６】
一例として、真または「１」に等しいｃｒａ＿ｐａｒａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、現在の関連ピクチャがＣＲＡピクチャであるときに、ＣＰＢ初期遅延の別のセットがシグナリングされることを示し得る。偽または「０」に等しいこのフラグは、ＣＰＢ初期遅延の追加セットがシグナリングされないことを示し得る。関連ピクチャがＣＲＡピクチャでないときに、このフラグは「０」に等しくなり得る。
【０１０７】
別の例として、ｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ＨＲＤ初期化後の第１のバッファリング期間における、バッファリング期間ＳＥＩメッセージに関連するアクセスユニットに関連するコード化データの第１のビットがＣＰＢに到着する時間と、同じアクセスユニットに関連するコード化データがＣＰＢから除去される時間との間のＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢの遅延を指定し得る。シンタックス要素は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１によって与えられるビットの長さを有し得る。これは９０ｋＨｚクロックの単位であり得る。さらに、ｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は「０」に等しくてはならず、９０ｋＨｚクロック単位のＣＰＢサイズに相当する時間である９００００×（ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］÷ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］）を超えてはならない。
【０１０８】
別の例として、ＣＰＢへのコード化アクセスユニットの初期配信時間を指定するために、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙと組み合わせてＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢにｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］が使用され得る。たとえば、ｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は９０ｋＨｚクロックの単位であり得る。ｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］シンタックス要素は、ビットの長さがｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１＋１によって与えられる固定長コードであり得る。このシンタックス要素は、デコーダによって使用され得ず、ＨＥＶＣ  ＷＤ４のＡｎｎｅｘ  Ｃに指定されている配信スケジューラ（ＨＳＳ）のためにのみ必要とされ得る。
【０１０９】
次に、復号プロセスの例について説明する。本開示の技法によれば、以下の復号プロセスは、内容全体が参照により本明細書に組み込まれる、２０１２年９月１９日に出願された米国特許出願第１３／６２２，９７２号に記述されている復号プロセスに対して追加および／または修正が行われ得る。
【０１１０】
一例として次に、ＶＰＳ作成技法について説明する。いくつかの例では、ＶＰＳ作成は、現在のピクチャがＣＲＡピクチャであるときに、ＲＰＳのための導出プロセスの呼出し直後に発生し得る。たとえば、現在のピクチャがＣＲＡピクチャである場合に、ＲＰＳにおけるいずれのピクチャもＤＰＢにない場合、ＶＰＳが現在のＲＰＳとしてセットされ得る。そうでない場合、ＶＰＳは空であるようにセットされ得る。
【０１１１】
別の例として次に、先行ピクチャ識別技法について説明する。いくつかの例では、ＶＰＳが空ではなく、ＶＰＳと重複するＲＰＳをピクチャが有する場合、そのピクチャは先行ピクチャとして識別され得る。
【０１１２】
別の例として次に、先行ピクチャ復号技法について説明する。いくつかの例では、先行ピクチャの復号は準拠デコーダによって省略され得る。
【０１１３】
別の例として次に、先行ピクチャ出力技法について説明する。いくつかの例では、先行ピクチャごとに、ｏｕｔｐｕｔ＿ｆｌａｇが、スライスヘッダにおけるｏｕｔｐｕｔ＿ｆｌａｇの値が「０」に等しいか、それとも「１」に等しいかにかかわらず「偽」にセットされ得る。
【０１１４】
次に、ＨＲＤおよび特にＣＰＢの動作について説明する。たとえば、本開示のこの部分の説明は、存在するＣＰＢパラメータの各セットに、およびタイプＩ準拠とタイプＩＩ準拠の両方に独立して当てはまり得る。
【０１１５】
一例として次に、ビットストリーム到着のタイミングについて説明する。ＨＲＤは、バッファリング期間ＳＥＩメッセージのうちのいずれか１つで初期化され得る。初期化前に、ＣＰＢは空であり得る。この例では、初期化後、ＨＲＤは後続のバッファリング期間ＳＥＩメッセージによって再び初期化されることはない。またこの例では、第１のアクセスユニットがＣＲＡアクセスユニットであって、先行ピクチャが存在せず、ｃｒａ＿ｐａｒａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが「１」に等しい場合、ｕｓｅＵｐｄａｔｅＰａｒａが「１」にセットされ得る。そうでない場合、ｕｓｅＵｐｄａｔｅＰａｒａは「０」にセットされ得る。
【０１１６】
たとえば、ｕｓｅＵｐｄａｔｅＰａｒａが「０」に等しい場合、ＩｎｉｔｉａｌＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］はｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］にセットされてよく、ＩｎｉｔｉａｌＣｐｂＲｅｍｏｖａｌＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］はｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］にセットされてよい。そうでない場合、ＩｎｉｔｉａｌＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］はｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］にセットされてよく、ＩｎｉｔｉａｌＣｐｂＲｅｍｏｖａｌＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］はｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］にセットされてよく、ここで、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］、ｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］、およびｕｐｄａｔｅ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ＣＲＡアクセスユニットに関連するバッファリング期間ＳＥＩメッセージで指定され得る。
【０１１７】
さらに、ＣＰＢを初期化するバッファリング期間ＳＥＩメッセージに関連するアクセスユニットは、アクセスユニット「０」と呼ばれ得る。すべての他のアクセスユニットは、アクセスユニット「ｎ」と呼ばれ、「ｎ」は、復号順序で次のアクセスユニットに関して１だけ増分される。この例では、
アクセスユニットｎの第１のビットがＣＰＢに入り始める時間は、初期到着時間ｔai（ｎ）と呼ばれ得る。
【０１１８】
一例では、アクセスユニットの初期到着時間は次のように導出され得る。
【０１１９】
（１）アクセスユニットがアクセスユニット０である場合、ｔai（０）＝０、
（２）そうでない（アクセスユニットがアクセスユニットｎであって、ｎ＞０である）場合、以下が適用され得る。
【０１２０】
（ａ）ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が「１」に等しい場合、アクセスユニットｎの初期到着時間はアクセスユニットｎ−１の最終到着時間（以下で導出される）に等しくなり得る。すなわち、次のようになる。
【数１】
0005837216.tif 000004
【０１２１】
（ｂ）そうではなく、ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が「０」に等しく、アクセスユニットｎが後続のバッファリング期間の第１のアクセスユニットではない場合、アクセスユニットｎの初期到着時間は以下によって導出され得る。
【数２】
0005837216.tif 000005
【０１２２】
上式で、ｔai,earliest（ｎ）は次のように与えられる。
【数３】
0005837216.tif 000006
【０１２３】
いくつかの例では、ｔr,n（ｎ）は、ＨＥＶＣ  ＷＤ４のサブクローズＣ．１．２で指定されている、ＣＰＢからのアクセスユニットｎの名目除去時間である。
【０１２４】
（ｃ）そうではない場合（ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が「０」に等しく、後続のアクセスユニットｎが後続のバッファリング期間の第１のアクセスユニットである場合）、アクセスユニットｎの初期到着時間は以下によって導出され得る。
【数４】
0005837216.tif 000007
【０１２５】
いくつかの例では、ＩｎｉｔｉａｌＣｐｂＲｅｍｏｖａｌＤｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、アクセスユニットｎに関連するバッファリング期間ＳＥＩメッセージで指定される。
【０１２６】
この例では、アクセスユニットｎの最終到着時間は以下によって導出され得る。
【数５】
0005837216.tif 000008
【０１２７】
上式で、ｂ（ｎ）は、アクセスユニットｎのビットのサイズであってよく、タイプＩ準拠の場合にはタイプＩビットストリームのビット、またはタイプＩＩ準拠の場合にはタイプＩＩビットストリームのビットをカウントする。
【０１２８】
いくつかの例では、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、およびＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値は、次のように制限され得る。
【０１２９】
（１）アクセスユニットｎおよびアクセスユニットｎ−１が異なるＣＶＳの部分であり、２つのＣＶＳのアクティブなＳＰＳの内容が異なる場合、ＨＳＳは、アクセスユニットｎを含むＣＶＳに提供されるＳｃｈｅｄＳｅｌＩｄｘの値の中からＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ１を選択することができ、その結果、２つのＣＶＳのうちの第２のもの（アクセスユニットｎ−１を含む）に、アクセスユニットｎ−１を含むＣＶＳに使用されていたＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ０のＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］またはＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］の値とは異なる、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］またはＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］がもたらされる。
【０１３０】
（２）そうでない場合、ＨＳＳは、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、およびＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の以前の値で動作し続けることができる。
【０１３１】
他の例では、ＨＳＳが以前のアクセスユニットのＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］またはＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値とは異なるＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］またはＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値を選択した場合、以下が適用され得る。
【０１３２】
（１）可変ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は時間ｔai（ｎ）に効力を生じ得る。
【０１３３】
（２）可変ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は次のように効力を生じ得る。
【０１３４】
（ａ）ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値が古いＣＰＢサイズを超えた場合、その値は時間ｔai（ｎ）に効力を生じ得る。
【０１３５】
（ｂ）そうでない場合、ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値は、時間ｔr（ｎ）に効力を生じ得る。
【０１３６】
別の例として次に、コード化ピクチャ除去のタイミングについて説明する。たとえば、アクセスユニット０の場合、ＣＰＢからのアクセスユニットの名目除去時間は以下によって指定され得る。
【数６】
0005837216.tif 000009
【０１３７】
さらに、ＨＲＤを初期化しないバッファリング期間の第１のアクセスユニットの場合、ＣＰＢからのアクセスユニットの名目除去時間は以下によって指定され得る。
【数７】
0005837216.tif 000010
【０１３８】
上式で、ｔr,n（ｎb）は、以前のバッファリング期間の第１のピクチャの名目除去時間であってよく、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ（ｎ）は、アクセスユニットｎに関連するピクチャタイミングＳＥＩメッセージで指定され得る。
【０１３９】
さらに、アクセスユニットｎがバッファリング期間の第１のアクセスユニットであるとき、ｎbは、アクセスユニットｎの除去時間にｎに等しくセットされ得る。
【０１４０】
また、バッファリング期間の第１のアクセスユニットではないアクセスユニットｎの名目除去時間ｔr,n（ｎ）は、以下によって与えられ得る。
【数８】
0005837216.tif 000011
【０１４１】
さらに、アクセスユニットｎの除去時間は次のように指定され得る。
【０１４２】
（１）ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇが「０」に等しいか、またはｔr,n（ｎ）≧ｔaf（ｎ）である場合、アクセスユニットｎの除去時間は以下によって指定され得る。
【数９】
0005837216.tif 000012
【０１４３】
（２）そうでない（ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇが「１」に等しく、かつｔr,n（ｎ）＜ｔaf（ｎ）である）場合、アクセスユニットｎの除去時間は以下によって指定され得る。
【数１０】
0005837216.tif 000013
【０１４４】
この例において後者のケースは、アクセスユニットｎのサイズ、ｂ（ｎ）が非常に大きくて、名目除去時間における除去を阻むことを示している。
【０１４５】
別の例として次に、ビットストリーム準拠について説明する。Ｈ．２６４／ＡＶＣのサブクローズＣ．３の開示は、次の変更を含めることにより、後述する技法に適用可能である。準拠ビットストリームの復号順序での第１のコード化ピクチャはＩＤＲピクチャまたはＣＲＡピクチャであり得る。ＣＲＡピクチャで開始する準拠ビットストリームの場合、開始ＣＲＡピクチャに関連するすべての先行ピクチャを含むアクセスユニットをドロップすることによって生成されたビットストリームサブセットは、依然として準拠ビットストリームであり得る。
【０１４６】
以下の説明は、上述した本開示の技法の代替例を含む。たとえば、本開示のいくつかの態様の様々な代替実装形態が可能であり、いくつかは次のように説明される。以下の代替実装形態は、本開示の技法の様々な態様に関して説明される。ただし、様々な態様に関する実装形態の任意の組合せも、本開示の技法に一致する実装形態を形成することができる。
【０１４７】
以下の代替例は、ＶＰＳの変更に関する。
【０１４８】
一例として、ＶＰＳの定義は次のように提供される。あるピクチャに関連する参照ピクチャのセットであって、現在のＲＰＳにあり、復号順序でそのピクチャの前に来る最も近いＣＲＡピクチャからのランダムアクセスが発生したときに正しく復号されないことがある、すべての参照ピクチャからなるセット。
【０１４９】
以下は、ＶＰＳ変更の１つの代替例である。この例では、ＶＰＳが空ではない場合、以下が適用され得る。
【０１５０】
（１）現在のピクチャが復号される前に、ＶＰＳにおける各ピクチャがチェックされ得る。
【０１５１】
（ａ）ピクチャは、ＲＰＳにある場合、ＶＰＳで維持され得る。
【０１５２】
（ｂ）そうでない場合、ピクチャはＶＰＳから除去され得る。
【０１５３】
（２）現在のピクチャのＶＰＳおよび現在のピクチャのＲＰＳが重複を有する場合、現在のピクチャは、参照ピクチャである場合には、復号された後にＶＰＳに挿入され得る。
【０１５４】
いくつかの例では、ピクチャがＣＲＡピクチャではなく、ＶＰＳが空ではない場合、現在のＲＰＳにおける各ピクチャは、ＶＰＳ中またはＤＰＢ中のいずれかにあり得る。
【０１５５】
以下は、ＶＰＳ変更の別の代替例である。この例では、ＶＰＳが空ではない場合、以下が適用され得る。
【０１５６】
（１）ピクチャが復号される前に、ＶＰＳにおける各ピクチャがチェックされ得る。
【０１５７】
（ａ）ピクチャがＲＰＳにあり、サブセットＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、およびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒのうちの１つである場合、そのピクチャはＶＰＳで維持され得る。
【０１５８】
（ｂ）そうでない場合、ピクチャはＶＰＳから除去され得る。
【０１５９】
（２）現在のピクチャのＶＰＳおよび現在のピクチャのＲＰＳが重複を有する場合、現在のピクチャは、参照ピクチャである場合には、復号された後にＶＰＳに挿入され得る。
【０１６０】
以下は、ＶＰＳ変更の別の代替例である。この例では、あるピクチャがＣＲＡピクチャよりも大きい表示順序を有し、ＶＰＳが空ではない場合、以下が適用され得る。
【０１６１】
（１）ＲＰＳにおける少なくとも１つのピクチャがＶＰＳに属する場合、ＶＰＳは変更されずに維持され得る。
【０１６２】
（２）ＲＰＳにおけるいずれのピクチャもＶＰＳに属さない場合、ＶＰＳは空にセットされ得る。
【０１６３】
この例では、ＶＰＳは各ランダムアクセス中に２回変更されるのみであり得る。第１の時間に、ＶＰＳは、先行ピクチャが依存し得るピクチャで満たされ得る。第２の時間に、ＶＰＳは空にセットされ得る。
【０１６４】
図４の例では、ピクチャ「８」がランダムアクセスに使用される場合、ＶＰＳは｛８｝であり得る。この例では、ピクチャ「１６」のＲＰＳが作成された後にのみ、ＶＰＳは空にセットされ得る。この例では、ＣＲＡピクチャの表示順序よりも小さい表示順序を有するピクチャは、ＶＰＳが空でない限り、復号および出力のために省略されてよい。これは、「先行ピクチャ識別」のための異なる、または代替的な手法として説明され得る。
【０１６５】
次に、消失ピクチャを作成する代替例について説明する。この例では、あるピクチャは、消失ピクチャとして検出された場合に、消失ピクチャに最も近い表示順序（ＰＯＣ距離）を有するＤＰＢ中のピクチャのコピーとして作成され得る。２つのピクチャが同じＰＯＣ距離を有する場合、より小さいＰＯＣを有するピクチャが使用され得る。
【０１６６】
次に、先行ピクチャ復号の代替例について説明する。一例として、先行ピクチャは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、またはＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒにおけるピクチャのいずれもＶＰＳに属さない場合に復号され得る。別の例として、先行ピクチャは、とりわけ、ドリフトを伴いながらもＤＰＢにおいて各消失ピクチャが利用可能であるときに、常に復号され得る。
【０１６７】
次に、先行ピクチャ出力の代替例について説明する。一例として、先行ピクチャが適切に復号される場合、ｏｕｔｐｕｔ＿ｆｌａｇは「１」にセットされ得る。そうでない場合、ｏｕｔｐｕｔ＿ｆｌａｇは「０」にセットされ得る。別の例として、出力順序でＣＲＡピクチャの直前の連続する先行ピクチャのみが、すべて正しく復号される場合に、「１」にセットされたｏｕｔｐｕｔ＿ｆｌａｇ値を有してよく、他の先行ピクチャは、「０」にセットされたｏｕｔｐｕｔ＿ｆｌａｇ値を有してよい。
【０１６８】
次に、除去時間オフセット、および特にバッファリング期間ＳＥＩメッセージシンタックスの代替例について記述する。
【表３】
0005837216.tif 000014
【０１６９】
代替的に、他の例では、オフセットは、ＣＲＡ（または非ＩＤＲランダムアクセス）ピクチャのみに関連する異なるＳＥＩメッセージでシグナリングされ得、そのメッセージのシンタックスを以下で提示する。
【０１７０】
次に、ＣＰＢ除去遅延オフセットＳＥＩメッセージシンタックスの例について記述する。
【表４】
0005837216.tif 000015
【０１７１】
さらに、バッファリング期間ＳＥＩメッセージセマンティクスについて以下で説明する。
【０１７２】
一例として、「１」に等しいｃｒａ＿ｐａｒａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］シンタックス要素の存在を示すことができる。「０」に等しいこのフラグは、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］シンタックス要素の不在を示すことができる。
【０１７３】
別の例として、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢのＣＰＢ除去時間オフセットを指定することができる。たとえば、これは９０ｋＨｚクロックの単位であり得る。さらに、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］＋ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］を超えてはならない。いくつかの例では、値は、存在しない場合、「０」に等しいと推測され得る。
【０１７４】
次に、ＣＰＢ除去遅延オフセットＳＥＩメッセージセマンティクスの例について説明する。いくつかの例では、そのようなＳＥＩメッセージは、ＣＲＡピクチャに関してのみ存在することがあり、ＣＲＡがランダムアクセスに使用され、かつその対応先行ピクチャがビットストリームに存在しないときのみ効力を発し得る。一例として、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ＳｃｈｅｄＳｅｌＩｄｘ番目のＣＰＢのＣＰＢ除去時間オフセットを指定することができる。たとえば、これは９０ｋＨｚクロックの単位であり得る。さらに、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］＋ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］を超えてはならない。いくつかの例では、値は、存在しない場合、「０」に等しいと推測され得る。
【０１７５】
次に、ＣＰＢの動作の例について説明する。本開示のこの部分の説明は、存在するＣＰＢパラメータの各セットに、およびタイプＩ準拠とタイプＩＩ準拠の両方に独立して当てはまり得る。
【０１７６】
一例として次に、ビットストリーム到着のタイミングについて説明する。たとえば、ＨＲＤは、バッファリング期間ＳＥＩメッセージのうちのいずれか１つで初期化され得る。初期化前に、ＣＰＢは空であり得る。この例では、初期化後、ＨＲＤは後続のバッファリング期間ＳＥＩメッセージによって再び初期化されることはない。またこの例では、ＣＰＢを初期化するバッファリング期間ＳＥＩメッセージに関連するアクセスユニットは、アクセスユニット０と呼ばれ得る。すべての他のアクセスユニットは、アクセスユニットｎと呼ばれ、ｎは、復号順序で次のアクセスユニットに関して１だけ増分される。
【０１７７】
この例では、第１のアクセスユニットがＣＲＡアクセスユニットであって、先行ピクチャが存在せず、ｃｒａ＿ｐａｒａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが「１」に等しい場合、ｕｓｅＵｐｄａｔｅＰａｒａが「１」にセットされ得る。そうでない場合、ｕｓｅＵｐｄａｔｅＰａｒａは「０」にセットされ得る。さらに、ｕｓｅＵｐｄａｔｅＰａｒａが「１」に等しい場合、ＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］にセットされ得る。そうでない場合、ＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は「０」にセットされ得る。また、アクセスユニットｎの第１のビットがＣＰＢに入り始める時間は、初期到着時間ｔai（ｎ）と呼ばれ得る。いくつかの例では、アクセスユニットの初期到着時間は次のように導出され得る。
【０１７８】
（１）アクセスユニットがアクセスユニット０である場合、ｔai（０）＝０である。
【０１７９】
（２）そうでない（アクセスユニットがアクセスユニットｎであって、ｎ＞０である）場合、以下が適用され得る。
【０１８０】
（ａ）ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が「１」に等しい場合、アクセスユニットｎの初期到着時間はアクセスユニットｎ−１の最終到着時間（以下で導出される）に等しくなり得る。すなわち、次のようになる。
【数１１】
0005837216.tif 000016
【０１８１】
（ｂ）そうではなく、ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が「０」に等しく、アクセスユニットｎが後続のバッファリング期間の第１のアクセスユニットではない場合、アクセスユニットｎの初期到着時間は以下によって導出され得る。
【数１２】
0005837216.tif 000017
【０１８２】
上式で、ｔai,earliest（ｎ）は次のように与えられ得る。
【数１３】
0005837216.tif 000018
【０１８３】
ｔr,n（ｎ）は、ＨＥＶＣ  ＷＤ４のサブクローズＣ．１．２で指定されている、ＣＰＢからのアクセスユニットｎの名目除去時間であり、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］およびｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］は、以前のバッファリング期間ＳＥＩメッセージで指定される。
【０１８４】
（ｃ）そうではない場合（ｃｂｒ＿ｆｌａｇ［ＳｃｈｅｄＳｅｌＩｄｘ］が「０」に等しく、後続のアクセスユニットｎが後続のバッファリング期間の第１のアクセスユニットである場合）、アクセスユニットｎの初期到着時間は以下によって導出され得る。
【数１４】
0005837216.tif 000019
【０１８５】
ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］は、アクセスユニットｎに関連するバッファリング期間ＳＥＩメッセージで指定される。この例では、アクセスユニットｎの最終到着時間は以下によって導出され得る。
【数１５】
0005837216.tif 000020
【０１８６】
上式で、ｂ（ｎ）は、アクセスユニットｎのビットのサイズであってよく、タイプＩ準拠の場合にはタイプＩビットストリームのビット、またはタイプＩＩ準拠の場合にはタイプＩＩビットストリームのビットをカウントする。
【０１８７】
さらに、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、およびＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値は、次のように制限され得る。
【０１８８】
（１）アクセスユニットｎおよびアクセスユニット「ｎ−１」が異なるＣＶＳの部分であり、２つのＣＶＳのアクティブなＳＰＳの内容が異なる場合、ＨＳＳは、アクセスユニットｎを含むＣＶＳに提供されるＳｃｈｅｄＳｅｌＩｄｘの値の中からＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ１を選択することができ、その結果、２つのＣＶＳのうちの第２のもの（アクセスユニットｎ−１を含む）に、アクセスユニットｎ−１を含むＣＶＳに使用されていたＳｃｈｅｄＳｅｌＩｄｘの値ＳｃｈｅｄＳｅｌＩｄｘ０のＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］または「ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ０］」の値とは異なる、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］またはＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ１］がもたらされる。
【０１８９】
（２）そうでない場合、ＨＳＳは、ＳｃｈｅｄＳｅｌＩｄｘ、ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］、およびＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の以前の値で動作し続けることができる。
【０１９０】
また、ＨＳＳが以前のアクセスユニットのＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］またはＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値とは異なるＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］またはＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の値を選択した場合、以下が適用され得る。
【０１９１】
（１）可変ＢｉｔＲａｔｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は時間ｔai（ｎ）に効力を生じ得る。
【０１９２】
（２）可変ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］は次のように効力を生じ得る。
【０１９３】
（ａ）ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値が古いＣＰＢサイズを超えた場合、その値は時間ｔai（ｎ）に効力を生じ得る。
【０１９４】
（ｂ）そうでない場合、ＣｐｂＳｉｚｅ［ＳｃｈｅｄＳｅｌＩｄｘ］の新しい値は、時間ｔr（ｎ）に効力を生じ得る。
【０１９５】
別の例として次に、コード化ピクチャ除去のタイミングについて説明する。いくつかの例では、コード化ピクチャの名目ＣＰＢ除去時間およびＣＰＢ除去時間は、以前のコード化ピクチャがＣＰＢから除去された直後に、またはアクセスユニット０の場合にはＨＲＤが初期化されたときに、計算されると仮定され得る。
【０１９６】
たとえば、アクセスユニット０の場合、ＣＰＢからのアクセスユニットの名目除去時間は以下によって指定され得る。
【数１６】
0005837216.tif 000021
【０１９７】
アクセスユニット０の除去時間に、可変ｎbは「０」に等しくセットされ得る。ＣＰＢからのアクセスユニット０の除去の直後に、ｔr,n（０）はｔr,n（０）−（ＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］÷９００００）に等しくなるようにセットされ得る。
【０１９８】
この例では、アクセスユニット０の実効ＣＰＢ除去時間はシフトされ得ないが、復号順序でアクセスユニット０の後のすべてのピクチャについては、実効ＣＰＢ除去時間は（ＤｅｌａｙＯｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］÷９００００）だけ早めにシフトされ得る。
【０１９９】
さらに、ＨＲＤを初期化しないバッファリング期間の第１のアクセスユニットの場合、ＣＰＢからのアクセスユニットの名目除去時間は以下によって指定され得る。
【数１７】
0005837216.tif 000022
【０２００】
上式で、ｔr,n（ｎb）は、以前のバッファリング期間の第１のピクチャの名目除去時間であってよく、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ（ｎ）は、アクセスユニットｎに関連するピクチャタイミングＳＥＩメッセージで指定され得る。
【０２０１】
また、アクセスユニットｎがＨＲＤを初期化しないバッファリング期間の第１のアクセスユニットである場合、ｎbは、アクセスユニットｎの除去時間に「ｎ」に等しくセットされ得る。その上、バッファリング期間の第１のアクセスユニットではないアクセスユニットｎの名目除去時間ｔr,n（ｎ）は、以下によって与えられ得る。
【数１８】
0005837216.tif 000023
【０２０２】
たとえば、アクセスユニットｎの除去時間は次のように指定され得る。
【０２０３】
（１）ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇが「０」に等しいか、またはｔr,n（ｎ）≧ｔaf（ｎ）である場合、アクセスユニットｎの除去時間は以下によって指定され得る。
【数１９】
0005837216.tif 000024
【０２０４】
（２）そうでない場合（ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇが「１」に等しく、かつｔr,n（ｎ）＜ｔaf（ｎ）である場合）、アクセスユニットｎの除去時間は以下によって指定され得る。
【数２０】
0005837216.tif 000025
【０２０５】
この例において後者のケースは、アクセスユニットｎのサイズ、ｂ（ｎ）が非常に大きくて、名目除去時間における除去を阻むことを示している。
【０２０６】
本開示の技法の別の例は、欠落参照ピクチャを有する先行ピクチャの復号プロセスを明示している。この例では、ビットストリームに先行ピクチャが存在する場合のＣＲＡピクチャで開始するビットストリームのみが、準拠ビットストリームとして指定される。特に、この例は、ＨＥＶＣ  ＷＤ５に記載されている技法のうちのいくつかに対応し、以下で詳細に説明するように、ＨＥＶＣ  ＷＤ５のこれらの技法に対する以下の変更を含む。
【０２０７】
この例では、ビットストリーム中の第１のコード化ピクチャはＩＤＲピクチャまたはＣＲＡピクチャであり得る。すでに説明したように、本開示で使用する「先行ピクチャ」という用語は、次のように定義され得る。復号順序でＣＲＡピクチャの後に来て、出力順序でＣＲＡピクチャの前に来る、ＣＲＡピクチャに関連するコード化ピクチャ。たとえば、ビットストリーム中の第１のコード化ピクチャがＣＲＡピクチャであって、現在のピクチャまたは現在のコード化ピクチャがビットストリーム中の第１のコード化ピクチャの先行ピクチャである場合、現在のコード化ピクチャのｏｕｔｐｕｔ＿ｆｌａｇは、（たとえば、コード化ピクチャのビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットのＮＡＬユニットヘッダにおけるｏｕｔｐｕｔ＿ｆｌａｇの値にかかわりなく）偽または「０」に等しくなるようにセットされ得る。この例では、（以下で示す）欠落参照ピクチャを生成するための復号プロセスが呼び出され得る（たとえば、このプロセスは、ピクチャの１つのスライスのためにのみ呼び出される必要があり得る）。
【０２０８】
さらに、ＲＰＳには含まれているが、ＤＰＢには存在しない１つまたは複数の参照ピクチャがあり得る。「参照ピクチャなし」に等しいＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌまたはＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌのエントリは、ビットストリーム中の第１のコード化ピクチャがＩＤＲピクチャである場合、またはビットストリーム中の第１のコード化ピクチャがＣＲＡピクチャであって、現在のコード化ピクチャがビットストリーム中の第１のコード化ピクチャの先行ピクチャではない場合、無視され得る。たとえば、意図的でないピクチャ損失が、「参照ピクチャなし」に等しいＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、およびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒのエントリごとに推測され得る。
【０２０９】
さらに、ビットストリーム中の第１のコード化ピクチャがＩＤＲピクチャである場合、またはビットストリーム中の第１のコード化ピクチャがＣＲＡピクチャであって、現在のコード化ピクチャがビットストリーム中の第１のコード化ピクチャの先行ピクチャではない場合、「参照ピクチャなし」に等しいＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、またはＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒのエントリは存在しないことがある。
【０２１０】
欠落参照ピクチャを生成するための復号プロセスは次のように明示され得る。このプロセスは、（文書「ＪＣＴＶＣ−Ｇ１１０３」中、たとえばこの文書のバージョン「ｄ９」中のＨＥＶＣ  ＷＤ５のサブクローズ８．２．２で明示されているように）ＲＰＳの復号プロセスの呼出しの後、コード化ピクチャごとに１回呼び出され得る。ビットストリーム中の第１のコード化ピクチャがＣＲＡピクチャであって、現在のコード化ピクチャがビットストリーム中の第１のコード化ピクチャの先行ピクチャである場合、以下が適用され得る。
【０２１１】
１）「参照ピクチャなし」に等しい、「ｉ」が「０」〜ＮｕｍＰｏｃＳｔＣｕｒｒ０−１（これらを含む）の範囲にあるＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０［ｉ］ごとに、以下に明示するように、欠落参照ピクチャを生成するための復号プロセスの呼出しによって参照ピクチャが生成され得る。さらに、以下が適用され得る。
【０２１２】
Ａ）生成された参照ピクチャのＰｉｃＯｒｄｅｒＣｎｔＶａｌの値がＰｏｃＳｔＣｕｒｒ０［ｉ］にセットされ得る。
【０２１３】
Ｂ）生成された参照ピクチャのｏｕｔｐｕｔ＿ｆｌａｇの値が「０」にセットされ得る。
【０２１４】
Ｃ）生成された参照ピクチャは、「短期の参照のために使用される」とマークされ得る。
【０２１５】
Ｄ）生成された参照ピクチャとなるようにＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０［ｉ］がセットされ得る。
【０２１６】
２）「参照ピクチャなし」に等しい、「ｉ」が「０」〜ＮｕｍＰｏｃＳｔＣｕｒｒ１−１（これらを含む）の範囲にあるＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１［ｉ］ごとに、以下に明示するように、欠落参照ピクチャを生成するための復号プロセスの呼出しによって参照ピクチャが生成され得る。さらに、以下が適用され得る。
【０２１７】
Ａ）生成された参照ピクチャのＰｉｃＯｒｄｅｒＣｎｔＶａｌの値がＰｏｃＳｔＣｕｒｒ１［ｉ］にセットされ得る。
【０２１８】
Ｂ）生成された参照ピクチャのｏｕｔｐｕｔ＿ｆｌａｇの値が「０」にセットされ得る。
【０２１９】
Ｃ）生成された参照ピクチャは、「短期の参照のために使用される」とマークされ得る。
【０２２０】
Ｄ）生成された参照ピクチャとなるようにＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１［ｉ］がセットされ得る。
【０２２１】
３）「参照ピクチャなし」に等しい、「ｉ」が「０」〜ＮｕｍＰｏｃＬｔＣｕｒｒ−１（これらを含む）の範囲にあるＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ［ｉ］ごとに、以下に明示するように、欠落参照ピクチャを生成するための復号プロセスの呼出しによって参照ピクチャが生成され得る。さらに、以下が適用され得る。
【０２２２】
Ａ）生成された参照ピクチャのｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂの値がＰｏｃＬｔＣｕｒｒ［ｉ］にセットされ得る。
【０２２３】
Ｂ）生成された参照ピクチャのｏｕｔｐｕｔ＿ｆｌａｇの値が「０」にセットされ得る。
【０２２４】
Ｃ）生成された参照ピクチャは、「長期の参照のために使用される」とマークされ得る。
【０２２５】
Ｄ）生成された参照ピクチャとなるようにＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ［ｉ］がセットされ得る。
【０２２６】
いくつかの例では、欠落参照ピクチャを生成するための復号プロセスは次のように明示され得る。
【０２２７】
１）サンプルアレイＳLの各要素の値が１＜＜（ＢｉｔＤｅｐｔｈY−１）にセットされ得る。
【０２２８】
２）サンプルアレイＳCbおよびＳCrの各要素の値が１＜＜（ＢｉｔＤｅｐｔｈC−１）にセットされ得る。
【０２２９】
３）各最小ＣＵの予測モードＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＲＡにセットされ得る。
【０２３０】
代替的に、各ＬＣＵは最小ＣＵに分割されてよく、最小ＣＵはＭＯＤＥ＿ＩＮＴＲＡにセットされてよい。
【０２３１】
代替的に、各ＬＣＵはＭＯＤＥ＿ＩＮＴＲＡにセットされ得る。
【０２３２】
したがって、本開示の技法に一致するいくつかの例では、ソースデバイス１２のビデオエンコーダ２０は、ビデオデータの１つまたは複数のピクチャを符号化するように構成され得る。これらの例では、宛先デバイス１４のビデオデコーダ３０は、ビデオエンコーダ２０から符号化された１つまたは複数のピクチャを、たとえば、ビデオエンコーダ２０によって生成され、ビデオデコーダ３０によって受信された符号化ビットストリームの一部として受信し、１つまたは複数のピクチャを復号するように構成され得る。
【０２３３】
一例として、ビデオデコーダ３０は、ＣＶＳの１つまたは複数のピクチャを含むビットストリームを受信するように構成され得る。ビデオデコーダ３０は、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャを復号するようにさらに構成され得る。この例では、第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり得る。ビデオデコーダ３０はまた、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号するように構成され得る。
【０２３４】
別の例として、ビデオエンコーダ２０は、ＣＶＳの１つまたは複数のピクチャを含むビットストリームを生成するように構成され得る。この例では、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり得る。またこの例では、ビットストリームを生成するにあたり、ビデオエンコーダ２０は、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避するように構成され得る。たとえば、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。この例では、第１のピクチャは復号可能、すなわち、たとえばビデオデコーダ３０によって復号可能であり得る。またこの例では、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つも、復号された第１のピクチャに基づいて復号可能であり得る。たとえば、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つは、第１のピクチャの復号バージョンを参照ピクチャとして使用して復号可能であり得る。
【０２３５】
このようにして、ビデオデコーダ３０は、たとえばビデオエンコーダ２０によって生成された、ビデオデータの１つまたは複数のピクチャを含み、非ＩＤＲ  ＲＡＰピクチャにより始まるビットストリームを、本開示の技法によって明示されるように予測可能なおよび定義された方法で復号することができる。結果として、開示される技法を使用する場合に、ビデオデータの１つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。特に、ビデオデコーダ３０は、比較的きめ細かくビットストリームを復号することが可能であり得る。言い換えれば、ビデオデコーダ３０は、他の技法（たとえば、ＩＤＲピクチャからのみビットストリームのランダムアクセスを許容する技法）と比較して、ビットストリームの比較的より多くのポイント、またはピクチャ（すなわち、非ＩＤＲピクチャ）においてビットストリームにランダムにアクセスすることが可能であり得る。さらに、本開示の技法を使用する場合に、ビットストリームに含まれるＣＶＳの１つまたは複数のピクチャの視覚的品質および／またはＣＶＳ全体の視覚的品質の相対的改善があり得る。
【０２３６】
ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、適用可能なとき、１つまたは複数のマイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含む装置は、集積回路（ＩＣ）、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
【０２３７】
図２は、本開示の技法に一致する、高度なＤＰＢ管理によるランダムアクセスのための技法を実行することができるビデオエンコーダの例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、空間的予測を利用して、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去する。インターコーディングは、時間的予測を利用して、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。
【０２３８】
図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６と、参照ピクチャメモリ６６と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ６４も含まれる。
【０２３９】
図２に示すように、ビデオエンコーダ２０は、符号化されるべきビデオスライス内の現在のビデオブロックを受信する。スライスは複数のビデオブロックに分割され得る。モード選択ユニット４０は、誤差結果に基づいて、現在のビデオブロックについて、コーディングモードのうちの１つ、すなわちイントラモードまたはインターモードを選択し得る。イントラモードまたはインターモードが選択された場合、モード選択ユニット４０は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、かつ参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。イントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測コーディングを実行する。動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測コーディングを実行する。
【０２４０】
インターコーディングの場合、動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを判断するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライス、ＢスライスまたはＧＰＢスライスに指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。
【０２４１】
予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって判断され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６６に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を計算し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【０２４２】
動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６６に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
【０２４３】
動き補償ユニット４４によって実行される動き補償は、動き推定によって判断された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【０２４４】
動き補償ユニット４４が現在のビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、１つまたは複数のＴＵに含まれ得、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、変換、たとえば離散コサイン変換（ＤＣＴ）または概念的に同様の変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、ピクセル領域からの残差ビデオデータを周波数領域などの変換領域に変換し得る。
【０２４５】
変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータ（ＱＰ）を調整することによって修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【０２４６】
量子化の後に、エントロピー符号化ユニット５６は量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、ＣＡＶＬＣ、ＣＡＢＡＣ、または別のエントロピー符号化技法を実行することができる。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
【０２４７】
逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６６に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２と動き補償ユニット４４とによって参照ブロックとして使用され得る。
【０２４８】
一例として、ビデオエンコーダ２０は、ビデオ符号化プロセス中にビデオデータの１つまたは複数のピクチャを符号化するように構成され得る。たとえば、ビデオエンコーダ２０は、ＣＶＳの１つまたは複数のピクチャを含むビットストリームを生成することであって、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャである、ことを行うように構成され得る。この例では、ビットストリームを生成するにあたり、ビデオエンコーダ２０は、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避するように構成され得る。たとえば、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。またこの例では、ビデオエンコーダ２０が上記の方法でビットストリームを生成することにより、第１のピクチャは（たとえば、ビデオデコーダ３０によって）正常に復号され得る、すなわち復号可能であり得る。さらに、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つも、第１のピクチャに基づいて（たとえば、上記のように第１のピクチャが復号された後に、第１のピクチャを参照ピクチャとして使用して）、（たとえば、ビデオデコーダ３０によって）正常に復号され得る、すなわち復号可能であり得る。
【０２４９】
したがって、上記で説明したように、本開示の技法は、ビデオエンコーダ２０が、ビデオデコーダ、たとえばビデオデコーダ３０によって復号され得るビットストリームを、本開示の技法によって明示されるように予測可能なおよび定義された方法で生成することを可能にし得る。具体的には、ビットストリームは、ビデオデータのＣＶＳの１つまたは複数のピクチャを含むことができる。ビットストリームはビデオデコーダによって、ビットストリームが非ＩＤＲ  ＲＡＰピクチャで始まるように受信され得る。本開示の技法を使用して、ビデオデコーダはビットストリームを正常に復号することができる。したがって、開示される技法を使用する場合に、ビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。一例として、本技法は、ビデオデコーダが比較的きめ細かくビットストリームを復号することを可能にし得る。言い換えれば、本技法は、ビデオデコーダが、他の技法（たとえば、ＩＤＲピクチャからのみビットストリームのランダムアクセスを許容する技法）と比較して、ビットストリームの比較的より多くのポイント、またはピクチャ（すなわち、非ＩＤＲピクチャ）においてビットストリームにランダムにアクセスすることを可能にし得る。別の例として、開示される技法を使用する場合に、（たとえば、ビデオエンコーダ２０が、第１のピクチャに関連する先行ピクチャをビットストリームから省くことによって）ビットストリームに含まれるＣＶＳの１つもしくは複数のピクチャの視覚的品質および／またはＣＶＳ全体の視覚的品質の相対的改善があり得る。
【０２５０】
このようにして、ビデオエンコーダ２０は、ＣＶＳの１つまたは複数のピクチャを含むビットストリームを生成するように構成されたビデオエンコーダの例を表しており、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり、ビットストリームを生成するにあたり、ビデオエンコーダは、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避するように構成され、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり、第１のピクチャは復号可能であり、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つは、第１のピクチャに基づいて復号可能である。
【０２５１】
図３は、本開示の技法に一致する、高度なＤＰＢ管理によるランダムアクセスのための技法を実行することができるビデオデコーダの例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測処理ニット８２と、逆量子化ユニット８８と、逆変換処理ユニット９０と、加算器９２と、デブロッキングフィルタ９４と、参照ピクチャメモリ９６とを含む。予測処理ユニット８２は、動き補償ユニット８４と、イントラ予測処理ユニット８６とを含む。ビデオデコーダ３０は、いくつかの例では、図２のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
【０２５２】
復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビットストリーム中に表されたビデオブロックが圧縮されたビデオデータを含むとき、ビデオデコーダ３０のエントロピー復号ユニット８０はビットストリームをエントロピー復号して、量子化係数と、動きベクトルと、他のシンタックス要素とを生成する。エントロピー復号ユニット８０は、予測処理ユニット８２に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【０２５３】
ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット８２のイントラ予測処理ユニット８６は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、以前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされるとき、予測処理ユニット８２の動き補償ユニット８４は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ９６に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０およびリスト１を構成し得る。
【０２５４】
動き補償ユニット８４は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックのための予測情報を判断し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット８４は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを判断するために、受信されたシンタックス要素のいくつかを使用する。
【０２５５】
動き補償ユニット８４はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８４は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。動き補償ユニット８４は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成し得る。
【０２５６】
逆量子化ユニット８８は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、ビデオスライス中の各ビデオブロックについてビデオエンコーダ２０によって計算される量子化パラメータ（ＱＰ）を使用して、量子化の程度を判断し、同様に、適用されるべき逆量子化の程度を判断することを含み得る。逆変換処理ユニット９０は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
【０２５７】
動き補償ユニット８４が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット９０からの残差ブロックを動き補償ユニット８４によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９２は、この加算演算を実行する１つまたは複数の構成要素を表す。ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタ９４が適用される。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９６に記憶される。参照ピクチャメモリ９６はまた、図１のディスプレイデバイス２８などのディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。
【０２５８】
一例として、ビデオデコーダ３０は、ビデオ復号プロセス中にビデオデータの１つまたは複数のピクチャを復号するように構成され得る。たとえば、ビデオデコーダ３０は、たとえばビデオエンコーダ２０によって生成された、ＣＶＳの１つまたは複数のピクチャを含むビットストリームを受信するように構成され得る。ビデオデコーダ３０は、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャを復号するようにさらに構成され得る。この例では、第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり得る。ビデオデコーダ３０はまた、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号するように構成され得る。
【０２５９】
いくつかの例では、ビデオデコーダ３０は、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを特定する（または識別する）ようにさらに構成され得る。言い換えれば、ビデオデコーダ３０は、１つまたは複数のピクチャの中で、第１のピクチャに関連する少なくとも１つの先行ピクチャを識別するように構成され得る。これらの例では、先行ピクチャはまたしても、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。たとえば、ビデオデコーダ３０は、１つまたは複数のピクチャのうちの少なくとも１つを復号するように構成され得る。１つまたは複数のピクチャのうちの少なくとも１つの各々を復号するにあたり、ビデオデコーダ３０は、それぞれのピクチャを符号化するために使用された１つまたは複数の参照ピクチャを特定または識別することと、特定または識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、復号に利用不可能であると判断された特定または識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、それぞれのピクチャを、対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号することとを行うように構成され得る。
【０２６０】
上述の例では、仮想参照ピクチャを生成するにあたり、ビデオデコーダ３０は、ＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成するように構成され得る。たとえば、ビデオデコーダ３０は、「１２７」の「ルーマ」または「クロマ」値を各々有する１つまたは複数のピクセル値をピクチャが含むようにピクチャを生成するように構成され得る。この例では、そのような各ピクセル値は、「０」のピクセル強度値から「２５５」のピクセル強度値までと定義されたルーマまたはクロマピクセル強度値の範囲の中間に対応し得る。たとえば、ルーマまたはクロマピクセル強度値の各々は、７ビットのデータを使用して表されてよく、それにより上述の値の範囲が得られる。ただし、他の例では、ルーマまたはクロマピクセル強度範囲、およびその範囲の対応する中間または中間値は、異なる方法で定義され得る。
【０２６１】
いくつかの例では、ビデオデコーダ３０は、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを特定または識別するようにさらに構成され得る。これらの例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ３０は、１つまたは複数のピクチャのうちの少なくとも１つのうちの１つまたは複数（すなわち、以前に特定または識別された、第１のピクチャに関連する先行ピクチャのうちの１つまたは複数）を、それぞれのピクチャが出力されることになることを出力フラグ（たとえば、上述のシンタックス要素ｏｕｔｐｕｔ＿ｆｌａｇ）が示す場合に出力しないか、または出力するのを回避するように構成され得る。
【０２６２】
他の例では、ビデオデコーダ３０は、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを特定または識別するようにさらに構成され得る。これらの例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ３０は、１つまたは複数のピクチャのうちの少なくとも１つのうちの１つまたは複数（すなわち、以前に特定または識別された、第１のピクチャに関連する先行ピクチャのうちの１つまたは複数）を、復号順序により、またＣＶＳに関連する表示順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用しないか、または使用するのを回避するように構成され得る。
【０２６３】
いくつかの例では、第１のピクチャはＣＲＡピクチャであってよい。これらの例では、ＣＲＡピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。これらの例では、ＣＲＡピクチャの場合、ＣＲＡピクチャとともにＣＶＳ内に含まれる、ＣＶＳに関連する復号順序によりＣＲＡピクチャの後に来る１つまたは複数のピクチャは、復号順序によりＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る。たとえば、ＣＲＡピクチャは、図１に関して上述したように、「オープンＧＯＰ」イントラコード化ピクチャと呼ばれ得る。同じく上述したように、ＣＲＡピクチャは、特に、ビデオデータの１つまたは複数のＧＯＰの１つまたは複数のピクチャを含むビットストリームのランダムアクセスを可能にすることに関して、「クローズドＧＯＰ」設定におけるＩＤＲピクチャと同様の目的に適うことができる。
【０２６４】
他の例では、ＩＤＲピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。これらの例では、ＩＤＲピクチャの場合、ＩＤＲピクチャとともにＣＶＳ内に含まれる、ＣＶＳに関連する復号順序によりＩＤＲピクチャの後に来るすべての他のピクチャは、復号順序によりＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号され得る。
【０２６５】
さらに他の例では、たとえば、ビデオデコーダ３０によって受信されたビットストリームが、第１のピクチャに関連する先行ピクチャをまったく含んでいない場合（たとえば、ビデオエンコーダ２０が、第１のピクチャの先行ピクチャをビットストリームから除くことによってビットストリームを生成した場合）、ビデオデコーダ３０は、以下の例に示すように、特定の方法でビットストリームを復号するように構成され得る。
【０２６６】
一例として、ビデオデコーダ３０は、コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの第１のセットを復号し、１つまたは複数のピクチャが、第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの第１のセットとは異なる第２のセット、およびＣＰＢ遅延オフセットパラメータのセットのうちの１つを復号するようにさらに構成され得る。この例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。
【０２６７】
上述の例では、ＣＰＢ初期遅延パラメータの第１および第２のセットならびにＣＰＢ遅延オフセットパラメータのセットのうちの１つまたは複数は、第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれ得る。
【０２６８】
また、上述の例では、復号順序で第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの第１および第２のセットならびにＣＰＢ遅延オフセットパラメータのセットのうちの１つまたは複数によって示されるように早めにシフトされ得る。
【０２６９】
したがって、上記で説明したように、本開示の技法は、ビデオデコーダ３０が、たとえばビデオエンコーダ２０によって符号化されたビットストリームを、本開示の技法によって明示されるように予測可能なおよび定義された方法で復号することを可能にし得る。具体的には、ビットストリームは、ビデオデータのＣＶＳの１つまたは複数のピクチャを含むことができる。ビットストリームはビデオデコーダ３０によって、ビットストリームが非ＩＤＲ  ＲＡＰピクチャで始まるように受信され得る。本開示の技法を使用して、ビデオデコーダ３０はビットストリームを正常に復号することができる。したがって、開示される技法を使用する場合に、ビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。一例として、本技法は、ビデオデコーダ３０が比較的きめ細かくビットストリームを復号することを可能にし得る。言い換えれば、本技法は、ビデオデコーダ３０が、他の技法（たとえば、ＩＤＲピクチャからのみビットストリームのランダムアクセスを許容する技法）と比較して、ビットストリームの比較的より多くのポイント、またはピクチャ（すなわち、非ＩＤＲピクチャ）においてビットストリームにランダムにアクセスすることを可能にし得る。別の例として、開示される技法を使用する場合に、（たとえば、ビデオデコーダ３０が、第１のピクチャに関連する先行ピクチャを出力すること、または参照ピクチャとして使用することを回避することによって）ビットストリームに含まれるＣＶＳの１つまたは複数のピクチャの視覚的品質および／またはＣＶＳ全体の視覚的品質の相対的改善があり得る。
【０２７０】
このようにして、ビデオデコーダ３０は、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを受信することと、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの、ＩＤＲピクチャではないＲＡＰピクチャである第１のピクチャを復号することと、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号することとを行うように構成されたビデオデコーダの例を表している。
【０２７１】
図５および図６は、本開示の技法に一致する、高度なＤＰＢ管理によるランダムアクセスのための技法を実行するための例示的な方法を示すフローチャートである。具体的には、図５の例示的な方法は、ビデオデコーダ、たとえば図１および図３のビデオデコーダ３０の観点から技法を実行することを示している。さらに、図６の例示的な方法は、ビデオエンコーダ、たとえば図１および図２のビデオエンコーダ２０の観点から技法を実行することを示している。
【０２７２】
図５および図６の技法は、概して、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せのいずれで実装されるかにかかわらず、任意の処理ユニットまたはプロセッサによって実行され得、ソフトウェアまたはファームウェアで実装されるとき、ソフトウェアまたはファームウェアのための命令を実行するために、対応するハードウェアが提供され得る。例として、図５および図６の技法について、ビデオエンコーダ２０（図２）および／またはビデオデコーダ３０（図３）の構成要素に関して説明するが、他のデバイスが同様の技法を実行するように構成され得ることを理解されたい。その上、図５および図６に示すステップは、異なる順序でまたは並列に実行され得、本開示の技法から逸脱することなく、追加のステップが追加され、かついくつかのステップが省略され得る。さらに、本開示の技法に従い、図５および図６の例示的な方法の技法は、個々に、または互いに組み合わせて実行され得る。
【０２７３】
図５は、本開示の技法に一致する、ビデオデコーダ、たとえば図１および図３のビデオデコーダ３０によってビデオデータの１つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行する例示的な方法を示すフローチャートである。具体的には、図５の例示的な方法の技法は、以下で説明するように特定の方法で、ビットストリームの第１のピクチャが非ＩＤＲ  ＲＡＰピクチャである場合にビットストリームのランダムアクセスを実行することを含む。
【０２７４】
一例として、ビデオデコーダ３０は、ＣＶＳの１つまたは複数のピクチャを含むビットストリームを受信する（５００）ことができる。ビデオデコーダ３０はさらに、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの、ＩＤＲピクチャではないＲＡＰピクチャである第１のピクチャを復号する（５０２）ことができる。ビデオデコーダ３０はまた、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号する（５０４）ことができる。
【０２７５】
いくつかの例では、ビデオデコーダ３０はさらに、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを特定または識別することができる。これらの例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。ビデオデコーダ３０はさらに、１つまたは複数のピクチャのうちの少なくとも１つを復号することができる。これらの例では、１つまたは複数のピクチャのうちの少なくとも１つの各々を復号するにあたり、ビデオデコーダ３０は以下のステップを実行することができる。（１）それぞれのピクチャを符号化するために使用された１つまたは複数の参照ピクチャを特定または識別する、（２）特定または識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断する、（３）復号に利用不可能であると判断された特定または識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成する、（４）それぞれのピクチャを、対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号する。
【０２７６】
上述の例では、仮想参照ピクチャを生成するにあたり、ビデオデコーダ３０は、図３に関して上述したように、ＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値（たとえば、「０」〜「２５５」の範囲内の「１２７」の１つまたは複数のルーマまたはクロマピクセル値）を含むピクチャを生成することができる。
【０２７７】
いくつかの例では、ビデオデコーダ３０はさらに、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを特定または識別することができる。これらの例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ３０はさらに、１つまたは複数のピクチャのうちの少なくとも１つのうちの１つまたは複数（すなわち、以前に特定または識別された、第１のピクチャに関連する先行ピクチャのうちの１つまたは複数）を、それぞれのピクチャが出力されることになることを出力フラグ（たとえば、シンタックス要素ｏｕｔｐｕｔ＿ｆｌａｇ）が示す場合に出力するのを回避することできる。
【０２７８】
他の例では、ビデオデコーダ３０はさらに、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを特定または識別することができる。これらの例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ３０はさらに、１つまたは複数のピクチャのうちの少なくとも１つのうちの１つまたは複数（すなわち、以前に特定または識別された、第１のピクチャに関連する先行ピクチャのうちの１つまたは複数）を、復号順序により、またＣＶＳに関連する表示順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避することができる。
【０２７９】
上述の例では、第１のピクチャはＣＲＡピクチャであってよい。これらの例では、ＣＲＡピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。これらの例では、ＣＲＡピクチャの場合、ＣＲＡピクチャとともにＣＶＳ内に含まれる、ＣＶＳに関連する復号順序によりＣＲＡピクチャの後に来る１つまたは複数のピクチャは、復号順序によりＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る。たとえば、上述のように、ＣＲＡピクチャは、図１に関して上述したように、「オープンＧＯＰ」イントラコード化ピクチャと呼ばれ得る。同じく上述したように、ＣＲＡピクチャは、特に、ビデオデータの１つまたは複数のＧＯＰの１つまたは複数のピクチャを含むビットストリームのランダムアクセスを可能にすることに関して、「クローズドＧＯＰ」設定におけるＩＤＲピクチャと同様の目的に適うことができる。
【０２８０】
また、上述の例では、ＩＤＲピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。さらに、ＩＤＲピクチャは、ＩＤＲピクチャとともにＣＶＳ内に含まれる、ＣＶＳに関連する復号順序によりＩＤＲピクチャの後に来るすべての他のピクチャが、復号順序によりＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される場合のピクチャであり得る。
【０２８１】
さらに他の例では、たとえば、ビデオデコーダ３０によって受信されたビットストリームが、第１のピクチャに関連する先行ピクチャをまったく含んでいない場合（たとえば、ビデオエンコーダ２０が、第１のピクチャの先行ピクチャをビットストリームから除くことによってビットストリームを生成した場合）、ビデオデコーダ３０は、以下の例に示すように、特定の方法でビットストリームを復号することができる。
【０２８２】
一例として、ビデオデコーダ３０はさらに、ＣＰＢ初期遅延パラメータの第１のセットを復号し、１つまたは複数のピクチャが、第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの第１のセットとは異なる第２のセット、およびＣＰＢ遅延オフセットパラメータのセットのうちの１つを復号することができる。この例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る。
【０２８３】
上述の例では、ＣＰＢ初期遅延パラメータの第１および第２のセットならびにＣＰＢ遅延オフセットパラメータのセットのうちの１つまたは複数は、第１のピクチャに関連するＳＥＩメッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれ得る。
【０２８４】
また、上述の例では、復号順序で第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの第１および第２のセットならびにＣＰＢ遅延オフセットパラメータのセットのうちの１つまたは複数によって示されるように早めにシフトされ得る。
【０２８５】
このようにして、図５の方法は、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを受信することと、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの、ＩＤＲピクチャではないＲＡＰピクチャである第１のピクチャを復号することと、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、復号された第１のピクチャに基づいて復号することとを行う方法の例を表している。
【０２８６】
図６は、本開示の技法に一致する、ビデオエンコーダ、たとえば図１および図２のビデオエンコーダ２０によってビデオデータの１つまたは複数のピクチャを含むビットストリームを生成する例示的な方法を示すフローチャートである。具体的には、図６の例示的な方法の技法は、ビデオデコーダ、たとえばビデオデコーダ３０が特定の方法でビットストリームを正常に復号することができるようにビットストリームを生成することを含む。たとえば、ビデオデコーダは、以下で説明するように、ビットストリームの第１のピクチャが非ＩＤＲ  ＲＡＰピクチャである場合に、ビットストリームを復号することができる。
【０２８７】
一例として、ビデオエンコーダ２０は、ＣＶＳの１つまたは複数のピクチャを含むビットストリームを生成することができる。この例では、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり得る（６００）。ビデオエンコーダ２０はさらに、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避することができる。この例では、またしても、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャであり得る（６０２）。
【０２８８】
この例では、その後、ビデオデコーダ、たとえばビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し、ビットストリームを復号することができる。たとえば、ビデオデコーダは第１のピクチャを復号することができる。ビデオデコーダはさらに、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つを、第１のピクチャに基づいて（たとえば、第１のピクチャの復号バージョンに基づいて）復号することができる。
【０２８９】
このようにして、図６の方法は、ＣＶＳの１つまたは複数のピクチャを備えるビットストリームを生成する方法の例を表しており、ＣＶＳに関連する復号順序による１つまたは複数のピクチャの第１のピクチャは、ＩＤＲピクチャではないＲＡＰピクチャであり、ビットストリームを生成することは、第１のピクチャに関連する先行ピクチャに対応する、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つをビットストリームに含めるのを回避することを備え、先行ピクチャは、復号順序により第１のピクチャの後に来て、ＣＶＳに関連する表示順序により第１のピクチャの前に来るピクチャを備え、第１のピクチャは復号可能であり、復号順序により第１のピクチャの後に来る、第１のピクチャ以外の１つまたは複数のピクチャのうちの少なくとも１つは、第１のピクチャに基づいて復号可能である。
【０２９０】
１つまたは複数の例では、本明細書で説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形または非一時的媒体に対応し得る、コンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【０２９１】
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非過渡または非一時的、有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【０２９２】
命令は、１つまたは複数の汎用マイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本開示で説明する技法の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。
【０２９３】
本開示の技法は、ワイヤレスハンドセット、ＩＣ、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェア構成要素、モジュール、またはユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
【０２９４】
様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
〔１〕
ビデオデータを復号する方法であって、
コード化ビデオシーケンス（ＣＶＳ）の１つまたは複数のピクチャを備えるビットストリームを受信することと、
前記ＣＶＳに関連する復号順序による前記１つまたは複数のピクチャの、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャである第１のピクチャを復号することと、
前記復号順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを、前記復号された第１のピクチャに基づいて復号することと
を備える方法。
〔２〕
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号することと
をさらに備え、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号することは、
前記それぞれのピクチャを符号化するために使用された１つまたは複数の参照ピクチャを識別することと、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記それぞれのピクチャを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
を含む、〔１〕に記載の方法。
〔３〕
前記仮想参照ピクチャを生成することは、前記ＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成することを備える、〔２〕に記載の方法。
〔４〕
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
をさらに備える、〔１〕に記載の方法。
〔５〕
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記復号順序により、また前記ＣＶＳに関連する表示順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避することと
をさらに備える、〔１〕に記載の方法。
〔６〕
前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、〔１〕に記載の方法。
〔７〕
前記ＩＤＲピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、〔１〕に記載の方法。
〔８〕
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる第２のセット、およびＣＰＢ遅延オフセットパラメータのセットのうちの１つを復号することをさらに備え、
前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、〔１〕に記載の方法。
〔９〕
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、〔８〕に記載の方法。
〔１０〕
前記復号順序で前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、〔８〕に記載の方法。
〔１１〕
ビデオデータを符号化する方法であって、
コード化ビデオシーケンス（ＣＶＳ）の１つまたは複数のピクチャを備えるビットストリームを生成することを含み、前記ＣＶＳに関連する復号順序による前記１つまたは複数のピクチャの第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
前記ビットストリームを生成することは、前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを含めるのを回避することを備え、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備え、
前記第１のピクチャは復号可能であり、前記復号順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つは、前記第１のピクチャに基づいて復号可能である、方法。
〔１２〕
ビデオデータを復号するように構成された装置であって、ビデオデコーダを備え、前記ビデオデコーダは、
コード化ビデオシーケンス（ＣＶＳ）の１つまたは複数のピクチャを備えるビットストリームを受信することと、
前記ＣＶＳに関連する復号順序による前記１つまたは複数のピクチャの、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャである第１のピクチャを復号することと、
前記復号順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを、前記復号された第１のピクチャに基づいて復号することと
を行うように構成される、装置。
〔１３〕
前記ビデオデコーダは、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号することと
を行うようにさらに構成され、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号するにあたり、前記ビデオデコーダは、
前記それぞれのピクチャを符号化するために使用された１つまたは複数の参照ピクチャを識別することと、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記それぞれのピクチャを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
を行うように構成される、〔１２〕に記載の装置。
〔１４〕
前記仮想参照ピクチャを生成するにあたり、前記ビデオデコーダは、前記ＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成するように構成される、〔１３〕に記載の装置。
〔１５〕
前記ビデオデコーダは、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
を行うようにさらに構成される、〔１２〕に記載の装置。
〔１６〕
前記ビデオデコーダは、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記復号順序により、また前記ＣＶＳに関連する表示順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避することと
を行うようにさらに構成される、〔１２〕に記載の装置。
〔１７〕
前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、〔１２〕に記載の装置。
〔１８〕
前記ＩＤＲピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、〔１２〕に記載の装置。
〔１９〕
前記ビデオデコーダは、
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる第２のセット、およびＣＰＢ遅延オフセットパラメータのセットのうちの１つを復号するようにさらに構成され、
前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、〔１２〕に記載の装置。
〔２０〕
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、〔１９〕に記載の装置。
〔２１〕
前記復号順序で前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、〔１９〕に記載の装置。
〔２２〕
集積回路、
マイクロプロセッサ、および
前記ビデオデコーダを含むワイヤレス通信デバイス
のうちの少なくとも１つを備える、〔１２〕に記載の装置。
〔２３〕
ビデオデータを符号化するように構成された装置であって、ビデオエンコーダを備え、前記ビデオエンコーダは、
コード化ビデオシーケンス（ＣＶＳ）の１つまたは複数のピクチャを備えるビットストリームを生成するように構成され、前記ＣＶＳに関連する復号順序による前記１つまたは複数のピクチャの第１のピクチャは、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャであり、
前記ビットストリームを生成するにあたり、前記ビデオエンコーダは、前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを含めるのを回避するように構成され、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備え、
前記第１のピクチャは復号可能であり、前記復号順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つは、前記第１のピクチャに基づいて復号可能である、装置。
〔２４〕
集積回路、
マイクロプロセッサ、および
前記ビデオエンコーダを含むワイヤレス通信デバイス
のうちの少なくとも１つを備える、〔２３〕に記載の装置。
〔２５〕
ビデオデータを復号するためのデバイスであって、
コード化ビデオシーケンス（ＣＶＳ）の１つまたは複数のピクチャを備えるビットストリームを受信するための手段と、
前記ＣＶＳに関連する復号順序による前記１つまたは複数のピクチャの、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャである第１のピクチャを復号するための手段と、
前記復号順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを、前記復号された第１のピクチャに基づいて復号するための手段と
を備えるデバイス。
〔２６〕
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、手段と、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号するための手段と
をさらに備え、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号するための前記手段は、
前記それぞれのピクチャを符号化するために使用された１つまたは複数の参照ピクチャを識別するための手段と、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断するための手段と、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成するための手段と、
前記それぞれのピクチャを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号するための手段と
を含む、〔２５〕に記載のデバイス。
〔２７〕
前記仮想参照ピクチャを生成するための前記手段は、前記ＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成するための手段を備える、〔２６〕に記載のデバイス。
〔２８〕
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、手段と、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避するための手段と
をさらに備える、〔２５〕に記載のデバイス。
〔２９〕
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、手段と、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記復号順序により、また前記ＣＶＳに関連する表示順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避するための手段と
をさらに備える、〔２５〕に記載のデバイス。
〔３０〕
前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、〔２５〕に記載のデバイス。
〔３１〕
前記ＩＤＲピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、〔２５〕に記載のデバイス。
〔３２〕
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる第２のセット、およびＣＰＢ遅延オフセットパラメータのセットのうちの１つを復号するための手段をさらに備え、
前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、〔２５〕に記載のデバイス。
〔３３〕
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、〔３２〕に記載のデバイス。
〔３４〕
前記復号順序で前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、〔３２〕に記載のデバイス。
〔３５〕
実行されたとき、１つまたは複数のプロセッサにビデオデータを復号することを行わせる命令を記憶しているコンピュータ可読記憶媒体であって、前記命令は、前記１つまたは複数のプロセッサに、
コード化ビデオシーケンス（ＣＶＳ）の１つまたは複数のピクチャを備えるビットストリームを受信することと、
前記ＣＶＳに関連する復号順序による前記１つまたは複数のピクチャの、瞬時復号リフレッシュ（ＩＤＲ）ピクチャではないランダムアクセスポイント（ＲＡＰ）ピクチャである第１のピクチャを復号することと、
前記復号順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを、前記復号された第１のピクチャに基づいて復号することと
を行わせる、コンピュータ可読記憶媒体。
〔３６〕
前記１つまたは複数のプロセッサに、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つを復号することと
を行わせる命令をさらに備え、前記１つまたは複数のプロセッサに、前記１つまたは複数のピクチャのうちの前記少なくとも１つの各々を復号することを行わせる前記命令は、前記１つまたは複数のプロセッサに、
前記それぞれのピクチャを符号化するために使用された１つまたは複数の参照ピクチャを識別することと、
前記識別された１つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された１つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記それぞれのピクチャを、前記対応する１つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
を行わせる命令を含む、〔３５〕に記載のコンピュータ可読記憶媒体。
〔３７〕
前記１つまたは複数のプロセッサに、前記仮想参照ピクチャを生成することを行わせる前記命令は、前記１つまたは複数のプロセッサに、前記ＣＶＳに関連するピクセル値の範囲の中間に各々対応する１つまたは複数のピクセル値を含むピクチャを生成することを行わせる命令を備える、〔３６〕に記載のコンピュータ可読記憶媒体。
〔３８〕
前記１つまたは複数のプロセッサに、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
を行わせる命令をさらに備える、〔３５〕に記載のコンピュータ可読記憶媒体。
〔３９〕
前記１つまたは複数のプロセッサに、
前記第１のピクチャに関連する先行ピクチャに対応する、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを識別することであって、前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、ことと、
前記１つまたは複数のピクチャのうちの前記少なくとも１つのうちの１つまたは複数を、前記復号順序により、また前記ＣＶＳに関連する表示順序により前記第１のピクチャの後に来る、前記第１のピクチャ以外の前記１つまたは複数のピクチャのうちの少なくとも１つを復号するために参照ピクチャとして使用するのを回避することと
を行わせる命令をさらに備える、〔３５〕に記載のコンピュータ可読記憶媒体。
〔４０〕
前記第１のピクチャは、クリーンランダムアクセス（ＣＲＡ）ピクチャを備え、前記ＣＲＡピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＣＲＡピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＣＲＡピクチャの後に来る１つまたは複数のピクチャは、前記復号順序により前記ＣＲＡピクチャの前に来る１つまたは複数のピクチャを参照して復号され得る、〔３５〕に記載のコンピュータ可読記憶媒体。
〔４１〕
前記ＩＤＲピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記ＩＤＲピクチャとともにＣＶＳ内に含まれる、前記ＣＶＳに関連する復号順序により前記ＩＤＲピクチャの後に来るすべての他のピクチャは、前記復号順序により前記ＩＤＲピクチャの前に来るいずれのピクチャも参照せずに復号される、〔３５〕に記載のコンピュータ可読記憶媒体。
〔４２〕
前記１つまたは複数のプロセッサに、
コード化ピクチャバッファ（ＣＰＢ）初期遅延パラメータの第１のセットを復号し、前記１つまたは複数のピクチャが、前記第１のピクチャに関連する少なくとも１つの先行ピクチャを含んでいないときに、ＣＰＢ初期遅延パラメータの前記第１のセットとは異なる第２のセット、およびＣＰＢ遅延オフセットパラメータのセットのうちの１つを復号することを行わせる命令をさらに備え、
前記先行ピクチャは、前記復号順序により前記第１のピクチャの後に来て、前記ＣＶＳに関連する表示順序により前記第１のピクチャの前に来るピクチャを備える、〔３５〕に記載のコンピュータ可読記憶媒体。
〔４３〕
ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数は、前記第１のピクチャに関連する補足エンハンスメント情報（ＳＥＩ）メッセージ、ピクチャバッファリング期間ＳＥＩメッセージ、およびスライスヘッダのうちの１つに含まれる、〔４２〕に記載のコンピュータ可読記憶媒体。
〔４４〕
前記復号順序で前記第１のピクチャの後に来る各ピクチャのＣＰＢ除去時間は、ＣＰＢ初期遅延パラメータの前記第１および第２のセットならびにＣＰＢ遅延オフセットパラメータの前記セットのうちの１つまたは複数によって示されるように早めにシフトされる、〔４２〕に記載のコンピュータ可読記憶媒体。
【図１】
0005837216.tif 000026
【図２】
0005837216.tif 000027
【図３】
0005837216.tif 000028
【図５】
0005837216.tif 000029
【図６】
0005837216.tif 000030
【図４】
0005837216.tif 000031