(57)【要約】  コード化ビデオデータのより効率的なランダムアクセシビリティを促進するためにビデオデータのファイルフォーマットならびにパースおよびコーディングが定義される。ビデオファイル中のパラメータセットの配置と同期サンプルの定義とに制約が課され得る。ビデオデータのためのパラメータセットデータは、非同期サンプルの場合、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプル中に、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプル中にのみコーディングされ得る。
2018509079.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを復号する方法であって、前記方法は、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記サンプルの前記ビデオデータのためのパラメータセットデータを決定することと
を備える、方法。
【請求項２】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することと
をさらに備える、請求項１に記載の方法。
【請求項３】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定することを備える、請求項１に記載の方法。
【請求項４】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定することを備える、請求項１に記載の方法。
【請求項５】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項１に記載の方法。
【請求項６】
前記決定されたパラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号することをさらに備える、請求項１に記載の方法。
【請求項７】
パラメータセットデータを決定することは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを決定することを備える、請求項１に記載の方法。
【請求項８】
ビデオデータを符号化するための方法であって、前記方法は、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を備える、方法。
【請求項９】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることと
をさらに備える、請求項８に記載の方法。
【請求項１０】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定することを備える、請求項８に記載の方法。
【請求項１１】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定することを備える、請求項８に記載の方法。
【請求項１２】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項８に記載の方法。
【請求項１３】
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化することをさらに備える、請求項８に記載の方法。
【請求項１４】
パラメータセットデータを含めることは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを含めることを備える、請求項８に記載の方法。
【請求項１５】
ビデオデータを復号するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定することと
を行うように構成された１つまたは複数のプロセッサと
を備える、デバイス。
【請求項１６】
前記１つまたは複数のプロセッサは、
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することと
を行うように構成された、請求項１５に記載のデバイス。
【請求項１７】
サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定するように構成された、請求項１５に記載のデバイス。
【請求項１８】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定するように構成された、請求項１５に記載のデバイス。
【請求項１９】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項１５に記載のデバイス。
【請求項２０】
パラメータセットデータを決定するために、前記１つまたは複数のプロセッサは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを決定するように構成された、請求項１５に記載のデバイス。
【請求項２１】
前記１つまたは複数のプロセッサが、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号するように構成された、請求項１５に記載のデバイス。
【請求項２２】
前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオデコーダを含むワイヤレス通信デバイスと
のうちの少なくとも１つを備える、請求項１５に記載のデバイス。
【請求項２３】
前記ビデオデータを表示するように構成されたディスプレイをさらに備える、請求項１５に記載のデバイス。
【請求項２４】
ビデオデータを符号化するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を行うように構成された１つまたは複数のプロセッサと
を備える、デバイス。
【請求項２５】
前記１つまたは複数のプロセッサは、
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることと
を行うように構成された、請求項２４に記載のデバイス。
【請求項２６】
同期サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定するように構成された、請求項２４に記載のデバイス。
【請求項２７】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定するように構成された、請求項２４に記載のデバイス。
【請求項２８】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項２４に記載のデバイス。
【請求項２９】
パラメータセットデータを含めるために、前記１つまたは複数のプロセッサは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを含めるように構成された、請求項２４に記載のデバイス。
【請求項３０】
前記１つまたは複数のプロセッサが、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化するように構成された、請求項２４に記載のデバイス。
【請求項３１】
前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオエンコーダを含むワイヤレス通信デバイスと
のうちの少なくとも１つを備える、請求項２４に記載のデバイス。
【請求項３２】
前記ビデオデータを取得するように構成されたカメラをさらに備える、請求項２４に記載のデバイス。
【請求項３３】
ビデオデータを復号するためのデバイスであって、前記デバイスは、
ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定するための手段と
を備える、デバイス。
【請求項３４】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定するための手段と、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定するための手段と
をさらに備える、請求項３３に記載のデバイス。
【請求項３５】
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号するための手段をさらに備える、請求項３３に記載のデバイス。
【請求項３６】
ビデオデータを符号化するためのデバイスであって、前記デバイスは、
ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めるための手段と
を備える、デバイス。
【請求項３７】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定するための手段と、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めるための手段と
をさらに備える、請求項３６に記載のデバイス。
【請求項３８】
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化するための手段をさらに備える、請求項３６に記載のデバイス。
【請求項３９】
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されると、１つまたは複数のプロセッサに、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定することと
を行わせる、非一時的コンピュータ可読媒体。
【請求項４０】
前記命令は、ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することとを前記１つまたは複数のプロセッサに行わせる、請求項３９に記載のコンピュータ可読媒体。
【請求項４１】
前記命令は、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号することを前記１つまたは複数のプロセッサに行わせる、請求項３９に記載のコンピュータ可読媒体。
【請求項４２】
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されると、１つまたは複数のプロセッサに、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を行わせる、非一時的コンピュータ可読媒体。
【請求項４３】
前記命令は、ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることとを前記１つまたは複数のプロセッサに行わせる、請求項４２に記載のコンピュータ可読媒体。
【請求項４４】
前記命令は、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化することを前記１つまたは複数のプロセッサに行わせる、請求項４２に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１５年２月１１日に出願された米国仮出願第６２／１１５，０１３号の利益を主張する。
【０００２】
[0002]本開示は、ビデオコーディングおよび圧縮と、ビットストリーム中の圧縮されたビデオに関連するデータのシグナリングとに関する。
【背景技術】
【０００３】
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ−Ｔ  Ｈ．２６５、高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法などのビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化（encode）、復号、および／または記憶し得る。
【０００４】
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実施する。ブロックベースのビデオコーディングの場合、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部分）は、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００５】
[0005]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの差分（difference）を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、それは、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の（even  more）圧縮を達成するためにエントロピーコーディングが適用され得る。
【発明の概要】
【０００６】
[0006]本開示の技法は、ビデオデータのファイルフォーマットならびにパースおよび／またはコーディングの定義に関係する。たとえば、ビデオコーディングにおいて、パラメータセットは、シーケンスまたはピクチャごとに（each）繰り返されることが必要でない、シーケンスレベルヘッダ情報または頻繁には（infrequently）変化しないピクチャレベル情報を含んでいることがあり、それによりコーディング効率を高める。本開示の態様は、ビデオビットストリーム中のパラメータセットの配置に制約を課し、ビデオファイル中で同期サンプル（sync samples）および非同期サンプルを定義することによって、コード化ビデオデータの効率的なランダムアクセシビリティを可能にし得る。たとえば、ビデオデータのためのパラメータセットデータは、同期サンプルの場合、サンプルのためのサンプルエントリまたはサンプル自体中でのみコーディングされ得る。ビデオデータのためのパラメータセットデータは、非同期サンプルの場合、サンプルのためのサンプルエントリ、サンプル自体、同期サンプルである復号順序で前のサンプル中に、または非同期サンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じる（occurring）サンプル中にのみコーディングされ得る。
【０００７】
[0007]一例では、ビデオデータを復号する方法は、ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプルから、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプルからのみ、ビデオデータのためのパラメータセットデータを決定することとを含む。
【０００８】
[0008]別の例では、ビデオデータを符号化するための方法は、ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプル中で、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプル中でのみ、ビデオデータのためのパラメータセットデータを符号化することとを備える。
【０００９】
[0009]別の例では、ビデオデータを復号するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプルから、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプルからのみ、ビデオデータのためのパラメータセットデータを決定することとを行うように構成される。
【００１０】
[0010]別の例では、ビデオデータを符号化するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプル中に、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプル中にのみ、ビデオデータのためのパラメータセットデータを含めることとを行うように構成された１つまたは複数のプロセッサとを備える。
【００１１】
[0011]別の例では、ビデオデータを復号するためのデバイスは、ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプルから、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプルからのみ、ビデオデータのためのパラメータセットデータを決定するための手段とを備える。
【００１２】
[0012]別の例では、ビデオデータを符号化するためのデバイスは、ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプル中に、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプル中にのみ、ビデオデータのためのパラメータセットデータを含めるための手段とを備える。
【００１３】
[0013]別の例では、非一時的コンピュータ可読媒体は、実行されたとき、ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプルから、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプルからのみ、ビデオデータのためのパラメータセットデータを決定することとを１つまたは複数のプロセッサに行わせる、その上に記憶された命令を備える。
【００１４】
[0014]別の例では、非一時的コンピュータ可読媒体は、実行されたとき、ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、サンプルが同期サンプルでないと決定することに基づいて、サンプルのためのサンプルエントリ、サンプル、同期サンプルである復号順序で前のサンプル中に、またはサンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプル中にのみ、ビデオデータのためのパラメータセットデータを含めることとを１つまたは複数のプロセッサに行わせる、その上に記憶された命令を備える。
【００１５】
[0015]本開示の１つまたは複数の例の詳細が添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１６】
【図１】[0016]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図２】[0017]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。
【図３】[0018]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。
【図４】[0019]例示的なビデオファイルの要素を示すブロック図。
【図５】[0020]ビデオビットストリームからパラメータセットデータを復号するためのプロセスを示す流れ図。
【図６】[0021]ビデオビットストリーム中でパラメータセットデータを符号化するためのプロセスを示す流れ図。
【発明を実施するための形態】
【００１７】
[0022]本開示の技法は、ファイルフォーマットにおけるビデオコンテンツの記憶に関係する。より詳細には、本技法は、パラメータセットの配置に制約を強いることと、ビデオファイルにおける同期サンプルおよび非同期サンプルの定義とを通して、コード化ビデオデータの効率的なランダムアクセシビリティを可能にし得る。
【００１８】
[0023]ビデオコーディング規格は、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌと、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌと、スケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む、ＩＴＵ−Ｔ  Ｈ．２６４またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣと、スケーラブルコーディング拡張（すなわち、スケーラブル高効率ビデオコーディング、ＳＨＶＣ）およびマルチビュー拡張（すなわち、マルチビュー高効率ビデオコーディング、ＭＶ−ＨＥＶＣ）を含む、ＩＴＵ−Ｔ  Ｈ．２６５およびＩＳＯ／ＩＥＣ２３００８−２としても知られる、高効率ビデオコーディング（ＨＥＶＣ）とを含む。
【００１９】
[0024]ランダムアクセスは、ビットストリーム中の最初のコード化ピクチャではないコード化ピクチャから始まる、ビデオビットストリームの復号を指し得る。ビットストリームへのランダムアクセスは、たとえば、ユーザが、任意の時間にプログラムに同調するため、異なるチャネル間で切り替えるため、ビデオの特定の部分にジャンプするため、またはストリーム適応（たとえば、ビットレート、フレームレート、空間解像度などの適応）のために異なるビットストリームに切り替えるために、ブロードキャスティングおよびストリーミングなど、多くのビデオアプリケーションにおいて行われる。この特徴は、ランダムアクセスピクチャまたはランダムアクセスポイントを規則的な間隔で何回もビデオビットストリーム中に挿入することによって有効にされる。
【００２０】
[0025]ＡＶＣまたはＨＥＶＣにおいて指定されている瞬時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャがランダムアクセスのために使用され得る。概して、ＩＤＲピクチャは、イントラコード化データを含み得、復号ピクチャバッファのピクチャが参照のために使用されないとしてクリアおよび／またはマークさせられ得る。しかしながら、復号順序においてＩＤＲピクチャに後続するピクチャは、ＩＤＲピクチャより前に復号されたピクチャを参照として使用することができないので、ランダムアクセスのためにＩＤＲピクチャに依拠するビットストリームは、著しく低いコーディング効率を有することがある。
【００２１】
[0026]コーディング効率を改善するために、復号順序においてＣＲＡピクチャに後続するが、出力順序においてＣＲＡピクチャに先行するピクチャが、ＣＲＡピクチャの前に復号されたピクチャを参照として使用することを可能にするために、クリーンランダムアクセス（ＣＲＡ）ピクチャの概念がＨＥＶＣに導入された。復号順序においてＣＲＡピクチャに後続するが、出力順序ではＣＲＡピクチャに先行するピクチャは、ＣＲＡピクチャに関連するリーディングピクチャ（またはＣＲＡピクチャのリーディングピクチャ）と呼ばれる。現在のＣＲＡピクチャの前のＩＤＲまたはＣＲＡピクチャから復号が始まる場合、ＣＲＡピクチャのリーディングピクチャは正しく復号可能である。しかしながら、ＣＲＡピクチャのリーディングピクチャは、ＣＲＡピクチャからのランダムアクセスが行われたときに非復号可能であり得、したがって、リーディングピクチャは、一般にランダムアクセス復号中に廃棄される。復号がどこから始まるかに応じて利用可能ではないことがある参照ピクチャからの誤り伝搬を防止するために、復号順序と出力順序の両方においてＣＲＡピクチャに後続するすべてのピクチャは、復号順序または出力順序のいずれかにおいて（リーディングピクチャを含む）ＣＲＡピクチャの前にくるいかなるピクチャも参照として使用しないことがある。
【００２２】
[0027]切断リンクアクセス（ＢＬＡ）ピクチャの概念は、ＣＲＡピクチャの導入の後にＨＥＶＣにさらに導入され、ＣＲＡピクチャの概念に基づく。ＢＬＡピクチャは、一般に、ＣＲＡピクチャの位置において（以下でより詳細に説明するように）ビットストリームスプライシングから発生し、スプライスされたビットストリームにおいて、スプライシングポイントＣＲＡピクチャはＢＬＡピクチャに変更される。
【００２３】
[0028]ＩＤＲピクチャ、ＣＲＡピクチャおよびＢＬＡピクチャはランダムアクセスポイント（ＲＡＰ）ピクチャと総称される。ＩＤＲピクチャは、いわゆるクローズドピクチャグループ（ＧＯＰ）ベースのＲＡＰに対応するが、ＣＲＡおよびＢＬＡピクチャは、従来ではいわゆるオープンピクチャグループベースのＲＡＰに対応する。
【００２４】
[0029]ＢＬＡピクチャとＣＲＡピクチャの間の１つの差異は、ＣＲＡピクチャの場合、関連するリーディングピクチャが、復号が復号順序でＣＲＡピクチャの前のＲＡＰピクチャから開始する場合、正しく復号可能であり、ＣＲＡピクチャからのランダムアクセスが行われるとき（すなわち、復号がＣＲＡピクチャから開始するとき、または言い換えると、ＣＲＡピクチャがビットストリーム中の第１のピクチャであるとき）、正しく復号可能でないことがあることである。ＢＬＡピクチャの場合、関連するリーディングピクチャは、復号が復号順序においてＢＬＡピクチャの前のＲＡＰピクチャから開始するときでも、すべての場合に非復号可能であり得る。
【００２５】
[0030]ビデオビットストリームにランダムアクセスすることはまた、イントラコーディングされない漸進的復号リフレッシュ（ＧＤＲ）ピクチャから開始し得るが、一定数のピクチャが復号された後に、復号順序ですべての後続のピクチャは正しく復号され得る。ＧＤＲを達成するためのビデオ技法の検討（review）については、この文書：Ｍｉｓｋａ  Ｍ．  Ｈａｎｎｕｋｓｅｌａ、Ｙｅ−Ｋｕｉ  Ｗａｎｇ、およびＭｏｎｃｅｆ  Ｇａｂｂｏｕｊ、「Ｉｓｏｌａｔｅｄ  ｒｅｇｉｏｎｓ  ｉｎ  ｖｉｄｅｏ  ｃｏｄｉｎｇ」、マルチメディアに関するＩＥＥＥトランザクション、第６巻、第２号、２５９〜２６７ページ、２００４年４月を参照されたい。
【００２６】
[0031]いくつかの例では、ビデオビットストリームにランダムアクセスすることは、ビットストリームスプライシング（bitstream splicing）中に実施され得る。ビットストリームスプライシングは、２つ以上のビットストリームまたはそれの部分の連結を指し得る。たとえば、場合によっては、スプライスされたビットストリームを生成するためにビットストリームのいずれか一方または両方にいくつかの変更を加えて、第１のビットストリームに第２のビットストリームが付加され得る。第２のビットストリーム中の第１のコード化ピクチャは、スプライシングポイントとも呼ばれる。したがって、スプライスされたビットストリーム中のスプライシングポイントの後に生じるピクチャは、第２のビットストリームから発生したものであり、一方、スプライスされたビットストリーム中のスプライシングポイントに先行するピクチャは、第１のビットストリームから発生したものである。
【００２７】
[0032]ビットストリームのスプライシングはビットストリームスプライサによって実施され得る。ビットストリームスプライサは、しばしば軽量であり、エンコーダよりもはるかにインテリジェントではないことがある。たとえば、スプライサは、エントロピー復号および符号化能力を装備し得ない。いくつかの例では、ビットストリームスプライサはサーバまたは他のコンテンツ作成（preparation）デバイス中に含まれ得る。ビットストリーム切替えが適応ストリーミング環境において使用され得る。切替え先のビットストリーム中のあるピクチャにおけるビットストリーム切替え動作は、事実上、ビットストリームスプライシング動作であり、ここにおいて、スプライシングポイントは、ビットストリーム切替えポイント、すなわち、切替え先のビットストリームからの第１のピクチャである。
【００２８】
[0033]いくつかの事例では、コード化ビデオデータは特定のファイルフォーマットで記憶され得る。例示的なファイルフォーマット規格としてはＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ、ＩＳＯ／ＩＥＣ１４４９６−１２）がある（include）。ＩＳＯＢＭＦＦは、ＡＶＣファイルフォーマットなどの多くのコーデックカプセル化（encapsulation）フォーマットのための、ならびにＭＰＥＧ−４ファイルフォーマット、３ＧＰＰ（登録商標）ファイルフォーマット（３ＧＰ）、およびＤＶＢファイルフォーマットなどの多くのマルチメディアコンテナフォーマットのための、基礎として使用され得る。たとえば、ＩＳＯＢＭＦＦから導出された他のファイルフォーマットとしては、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１４）、３ＧＰＰファイルフォーマット（３ＧＰＰ  ＴＳ２６．２４４）およびＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）があり得る。
【００２９】
[0034]オーディオおよびビデオなどの連続的メディアに加えて、画像、ならびにメタデータなどの静的メディアが、ＩＳＯＢＭＦＦに準拠した（conforming）ファイルに記憶され得る。ＩＳＯＢＭＦＦに従って構成されたファイルは、ローカルメディアファイルの再生、リモートファイルのプログレッシブダウンロード、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）のためのセグメント、ストリーミングされるべきコンテンツおよびそれのパケット化命令のためのコンテナ、ならびに受信されたリアルタイムメディアストリームの記録を含む、多くの目的のために使用され得る。
【００３０】
[0035]ボックスは、４文字コード化ボックスタイプと、ボックスのバイト数と、ペイロードとを含む、ＩＳＯＢＭＦＦにおける基本的なシンタックス構造を指し得る。ＩＳＯＢＭＦＦファイルはボックスのシーケンスからなり、ボックスは他のボックスを含んでいることがある。ムービーボックス（「ｍｏｏｖ」）は、各々がファイル中にトラックとして表される、ファイル中に存在する連続的メディアストリームのためのメタデータを含んでいる。
【００３１】
[0036]トラックのためのメタデータは、トラックボックス（「ｔｒａｋ」）中に封入されるが、トラックのメディアコンテンツは、メディアデータボックス（「ｍｄａｔ」）中に封入されるか、または別のファイル中に直接封入されるかのいずれかである。トラックのためのメディアコンテンツは、オーディオまたはビデオアクセスユニットなど、サンプルのシーケンスからなる。アクセスユニットは、概して、共通の時間インスタンスのためのコード化ピクチャデータを含むデータのユニットである。サンプルは、本明細書で説明するビデオコーディング仕様など、特定の仕様によって定義されたアクセスユニットである。サンプルエントリは、対応するサンプルの記述を提供し得る。
【００３２】
[0037]ＩＳＯＢＭＦＦは、次のタイプのトラック、すなわち、エレメンタリメディアストリームを含んでいるメディアトラックと、メディア送信命令を含むかまたは受信パケットストリームを表すかのいずれかであるヒントトラックと、時間同期されたメタデータを備えるタイムド（timed）メタデータトラックとを規定する。
【００３３】
[0038]元々は記憶のために設計されたが、ＩＳＯＢＭＦＦは、ストリーミング、たとえばプログレッシブダウンロードまたはＤＡＳＨのために有用であることがわかっている。ストリーミングの目的で、ＩＳＯＢＭＦＦで定義されたムービーフラグメントが使用され得る。各トラックのためのメタデータは、トラック中で使用されるコーディングフォーマットまたはカプセル化フォーマットと、そのフォーマットを処理するために必要な初期化データとをそれぞれ提供する、（サンプルエントリとも呼ばれる）サンプル記述エントリのリストを含む。各サンプルは、トラックのサンプル記述エントリのうちの１つに関連付けられ得る。本明細書で説明するとき、サンプルは、ビデオコーディングにおけるアクセスユニットに対応し得る。たとえば、サンプルは、共通の時間インスタンスのためのすべてのビューコンポーネント（たとえば、すべてのネットワークアブストラクションレイヤ（ＮＡＬ）ユニット）を含むビデオデータのユニットに対応し得る。パラメータセットサンプルは、同じ時間的インスタンスにおいてビデオエレメンタリストリーム中に存在すると見なされるべきであるパラメータセットＮＡＬユニットを含むパラメータセットストリーム中のサンプルであり得る。
【００３４】
[0039]ＩＳＯＢＭＦＦは、サンプル固有メタデータが様々な機構を用いて規定されることを可能にする。サンプルテーブルボックス（「ｓｔｂｌ」）内の特定のボックスが、共通の必要に応えるために標準化されている。たとえば、同期サンプルボックス（「ｓｔｓｓ」）は、トラックの（以下で説明する）ランダムアクセスサンプルをリストするために使用される。サンプルグループ化機構は、ファイル中のサンプルグループ記述エントリとして規定される同じ特性を共有するサンプルのグループへの、４文字グループ化タイプに従うサンプルのマッピングを可能にする。いくつかのグループ化タイプがＩＳＯＢＭＦＦにおいて規定されている。
【００３５】
[0040]ＩＳＯＢＭＦＦ仕様は、ＤＡＳＨとともに使用する６つのタイプのストリームアクセスポイント（ＳＡＰ）を規定している（specifies）。最初の２つのＳＡＰタイプ（タイプ１および２）は、Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおけるＩＤＲピクチャに対応する。第３のＳＡＰタイプ（タイプ３）は、オープンＧＯＰランダムアクセスポイント、したがってＨＥＶＣにおけるＢＬＡまたはＣＲＡピクチャに対応する。第４のＳＡＰタイプ（タイプ４）はＧＤＲランダムアクセスポイントに対応する。
【００３６】
[0041]しかしながら、「ランダムアクセスポイント」という句（phrase）は、ＩＳＯＢＭＦＦ全体にわたって複数の潜在的に矛盾する定義を有することがある。たとえば、ＩＳＯＢＭＦＦの一部分に準拠するビデオコーダ（たとえば、ビデオエンコーダまたはビデオデコーダ）は、ＩＳＯＢＭＦＦの別の部分に準拠するビデオコーダとは別様に（differently）サンプルがランダムアクセスポイントであるかどうかを決定し得る。ランダムアクセスポイントが、異なるデバイス（たとえば、ビデオデータを符号化／パッケージングすることを担当するデバイス、およびビデオデータをパース／復号することを担当するデバイス）によって別様に解釈されたとき、ファイルは適切に配信および／または再生されないことがある。
【００３７】
[0042]たとえば、ＩＳＯＢＭＦＦにおいて「ランダムアクセスポイント」という用語の異なる解釈があるので、ＡＶＣファイルフォーマット、ＳＶＣファイルフォーマット、ＭＶＣファイルフォーマット、およびＨＥＶＣファイルフォーマットにおけるパラメータセットの配置への制約は異なる解釈を有し得る。したがって、ファイルは、いくつかの実装形態によってはＩＳＯＢＭＦＦに準拠すると見なされるが、他の実装形態によっては準拠すると見なされないことがある。そのような不整合により、ビデオコーダは、パラメータセットに関連する条件など、ランダムアクセスポイントに関連する条件が特定のビットストリームのために満たされたかどうかを正確におよび／または一貫して決定することができないことがある。場合によっては、ファイルは、要求されることまたは再生されることを拒否され得る。
【００３８】
[0043]本開示の技法は、上記で説明した問題のうちの１つまたは複数に対処し得る。たとえば、本開示の態様によれば、ＡＶＣファイルフォーマット、ＳＶＣファイルフォーマット、ＭＶＣファイルフォーマット、およびＨＥＶＣファイルフォーマットにおけるパラメータセットの配置への制約は、上述のインターオペラビリティ（interoperability）問題が解決されるように、ＩＳＯＢＭＦＦに関して更新され得る。
【００３９】
[0044]たとえば、本開示の態様によれば、ビデオコーダ（たとえば、ビデオエンコーダまたはビデオデコーダ）は、ビデオデータのサンプル（たとえば、特定の時間的インスタンス（instance in time）のための少なくとも１つのコード化ピクチャを含むアクセスユニット）が同期サンプルであるかどうかを決定し得る。概して、同期サンプルは、（たとえば、ビットストリーム切替えまたはスプライシング中に）同期のために使用され得るサンプルである。サンプルは、ビデオデコーダが、同期サンプルと、復号順序で同期サンプルに後続するすべてのサンプルとを適切に復号し始め得るように、以下でより詳細に説明するように、ランダムアクセスの条件（conditions）が満たされた（met）場合に同期サンプルと見なされ得る。
【００４０】
[0045]本開示の態様によれば、サンプルが同期サンプルでないと決定することに基づいて、ビデオデコーダは、サンプルのためのサンプルエントリ中で、または両端を含む（inclusive）、サンプルと、同期サンプルである復号順序で前のサンプルとの間の復号順序で生じるサンプル中でのみ、ビデオデータのためのパラメータセットデータを復号し得る。すなわち、ビデオデコーダは、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、復号順序で前の同期サンプル、あるいは前の同期サンプルと非同期サンプルとの間の１つまたは複数のサンプルからのみ、非同期サンプルのビデオデータを復号するために必要なパラメータセットデータを決定し得る。たとえば、サンプルが同期サンプルでなく、パラメータセットデータが、指定されたロケーション以外のビットストリームの他のロケーション中に含まれる場合、ビデオデコーダ３０は、ファイルを準拠しないものとして拒否し得、サンプルを復号しないことがある。以下でより詳細に説明するように、パラメータセットは、シーケンスまたはピクチャごとに繰り返されることが不要である、シーケンスレベルヘッダ情報またはあまり頻繁に変化しないピクチャレベル情報を含んでいることがある（それにより、コーディング効率を高める）。
【００４１】
[0046]図１は、本開示の態様による、１つまたは複数のターゲット出力レイヤを決定するための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後の時間に復号されるべき符号化ビデオデータを提供するソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介して宛先デバイス１４にビデオデータを提供する。
【００４２】
[0047]ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォン、いわゆる「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
【００４３】
[0048]宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。
【００４４】
[0049]符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る任意の他の機器を含み得る。
【００４５】
[0050]いくつかの例では、符号化データは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化データは入力インターフェース２８によってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化ビデオを記憶し得る、ファイルサーバまたは別の中間ストレージデバイスに対応し得る。
【００４６】
[0051]宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。
【００４７】
[0052]宛先デバイス１４は、インターネット接続を含む、任意の標準的なデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【００４８】
[0053]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００４９】
[0054]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、カプセル化ユニット２１と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、カプセル化解除ユニット２９と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【００５０】
[0055]図１の図示のシステム１０は一例にすぎない。本明細書で説明する技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本開示の技法は、ビデオ符号化デバイスによって実施されるが、本技法は、「コーデック」と通常呼ばれるビデオエンコーダ／デコーダによっても実施され得る。その上、本開示の技法はビデオプリプロセッサによっても実施され得る。
【００５１】
[0056]ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４への送信のためにコード化ビデオデータを生成するようなコーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのために、ビデオデバイス１２とビデオデバイス１４との間で一方向または双方向のビデオ送信をサポートし得る。
【００５２】
[0057]ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの場合には、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。
【００５３】
[0058]ビデオエンコーダ２０は、概して、符号化ビデオデータのストリームを生成する。データの各個々のストリームは（オーディオかビデオかにかかわらず）エレメンタリストリームと呼ばれることがある。エレメンタリストリームは、表現のデジタル的にコード化された（場合によっては圧縮された）単一の成分である。たとえば、表現のコード化ビデオまたはオーディオ部分はエレメンタリストリームであり得る。エレメンタリストリームは、ビデオファイル内にカプセル化される前に、パケット化エレメンタリストリーム（ＰＥＳ）に変換され得る。いくつかの例では、ビデオエンコーダ２０は、符号化データからＰＥＳパケットを形成するためのパケッタイザを含み得る。他の例では、ビデオエンコーダ２０は、符号化データからＰＥＳパケットを形成するためのそれぞれのパケッタイザとインターフェースし得る。さらに他の例では、ビデオエンコーダ２０は、符号化オーディオデータと符号化ビデオデータとからＰＥＳパケットを形成するためのパケッタイザを含み得る。
【００５４】
[0059]カプセル化ユニット２１は、ビデオエンコーダ２０から表現のエレメンタリストリームのＰＥＳパケットを受信し、ＰＥＳパケットから対応するＮＡＬユニットを形成する。Ｈ．２６４／ＡＶＣおよびＨＥＶＣの例では、コード化ビデオセグメントは、ビデオテレフォニー、ストレージ、ブロードキャスト、またはストリーミングなどの適用例に対処する「ネットワークフレンドリーな」ビデオ表現を与えるＮＡＬユニットに編成される。ＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ  ＮＡＬユニットとに分類され得る。ＶＣＬユニットは、コア圧縮エンジンを含んでいることがあり、ブロック、マクロブロック、および／またはスライスレベルデータを含み得る。他のＮＡＬユニットは非ＶＣＬ  ＮＡＬユニットであり得る。いくつかの例では、通常は１次（primary）コード化ピクチャとして提示される、１つの時間インスタンス中のコード化ピクチャは、１つまたは複数のＮＡＬユニットを含み得るアクセスユニット中に包含され得る。
【００５５】
[0060]上述したように、アクセスユニットは、概して、共通の時間インスタンスのためのすべてのビューコンポーネント（たとえば、すべてのＮＡＬユニット）を含むデータのユニットである。アクセスユニットのビューコンポーネントは、一緒に出力される（すなわち、実質的に同時に出力される）ものであり得、ここで、ピクチャを出力することは、概して、ピクチャを復号ピクチャバッファ（ＤＰＢ）から転送すること（たとえば、ピクチャをＤＢＰから外部メモリに記憶すること、ピクチャをＤＰＢからディスプレイに送ること、ピクチャをＤＰＢから削除することなど）を伴う。
【００５６】
[0061]非ＶＣＬ  ＮＡＬユニットは、特に、パラメータセットＮＡＬユニットとＳＥＩ  ＮＡＬユニットとを含み得る。パラメータセットは、（シーケンスパラメータセット（ＳＰＳ）中の）シーケンスレベルヘッダ情報と、（ピクチャパラメータセット（ＰＰＳ）中の）あまり頻繁に変化しないピクチャレベルヘッダ情報とを含んでいることがある。パラメータセット（たとえば、ＰＰＳおよびＳＰＳ）がある場合、あまり頻繁に変化しない情報がシーケンスごとまたはピクチャごとに繰り返される必要はなく、したがって、コーディング効率が改善され得る。さらに、パラメータセットの使用は、重要なヘッダ情報の帯域外送信を可能にし、誤り耐性のための冗長送信の必要を回避し得る。帯域外送信の例では、ＳＥＩ  ＮＡＬユニットなど、他のＮＡＬユニットとは異なるチャネル上でパラメータセットＮＡＬユニットが送信され得る。
【００５７】
[0062]補足エンハンスメント情報（ＳＥＩ）は、ＶＣＬ  ＮＡＬユニットからのコード化ピクチャサンプルを復号するためには必要でないが、復号、表示、誤り耐性、および他の目的に関係するプロセスを支援し得る情報を含んでいることがある。ＳＥＩメッセージは非ＶＣＬ  ＮＡＬユニット中に含まれていることがある。ＳＥＩメッセージは、一部の規格仕様の規範的部分であり、したがって、規格に準拠するデコーダ実装のために常に必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルＳＥＩメッセージまたはピクチャレベルＳＥＩメッセージであり得る。ＳＶＣの例におけるスケーラビリティ情報ＳＥＩメッセージ、ＭＶＣにおけるビュースケーラビリティ情報ＳＥＩメッセージなどのＳＥＩメッセージ中に、何らかのシーケンスレベル情報が含まれることがある。これらの例示的なＳＥＩメッセージは、たとえば、動作点の抽出およびそれらの動作点の特性に関する情報を搬送し得る。さらに、カプセル化ユニット２１は、表現の特性を記述するメディアプレゼンテーション記述子（ＭＰＤ）など、マニフェストファイルを形成し得る。カプセル化ユニット２１は、拡張可能マークアップ言語（ＸＭＬ）に従ってＭＰＤをフォーマットし得る。
【００５８】
[0063]出力インターフェース２２は、コンピュータ可読媒体１６上に符号化ビデオを出力し得る。コンピュータ可読媒体１６は、ワイヤレスブロードキャストもしくはワイヤードネットワーク送信などの一時媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、もしくは他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを宛先デバイス１４に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。したがって、コンピュータ可読媒体１６は、様々な例では、様々な形態の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。
【００５９】
[0064]宛先デバイス１４の入力インターフェース２８は、特定の表現のセグメントのデータを受信し得る。カプセル化解除（Decapsulation）ユニット２９は、ビデオファイルの要素を構成ＰＥＳストリームにカプセル化解除し、ＰＥＳストリームをパケット化解除して符号化データを取り出し、符号化データをビデオデコーダ３０に送り得る。ビデオデコーダ３０は、符号化ビデオデータを復号し、ストリームの複数のビューを含み得る復号ビデオデータをディスプレイデバイス３２に送る。ディスプレイデバイス３２は、復号ビデオデータをユーザに表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【００６０】
[0065]以下で説明するビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、およびビデオデコーダ３０、後処理エンティティ２７およびネットワークエンティティ７９、ならびに本開示で説明する他の構成要素は、それぞれ、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せを含む、１つまたは複数のプロセッサなど、様々な好適な集積回路処理回路のいずれかとして実装され得る。したがって、本開示で説明するビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、およびビデオデコーダ３０、ならびに後処理エンティティ２７およびネットワークエンティティ７９の構成要素は、固定ハードウェア処理回路、プログラマブル処理回路、および／または両方の組合せとして実装される１つまたは複数のプロセッサを備える様々な集積処理回路のいずれかによって形成され得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として組み込まれ得る。ビデオエンコーダ２０、ビデオデコーダ３０、カプセル化ユニット２１、および／またはカプセル化解除ユニット２９を含む装置は、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
【００６１】
[0066]本開示は、概して、ビデオエンコーダ２０（および／またはサーバ／コンテンツ配信ネットワーク３４）が、ある情報をビデオデコーダ３０などの別のデバイスに「シグナリング」することに言及することがある。しかしながら、ビデオエンコーダ２０および／またはサーバ／コンテンツ配信ネットワーク３４は、いくつかのシンタックス要素をビデオデータの様々な符号化部分に関連付けることによって情報をシグナリングし得ることを理解されたい。すなわち、ビデオエンコーダ２０および／またはサーバ／コンテンツ配信ネットワーク３４は、ビデオデータの様々な符号化部分のヘッダにいくつかのシンタックス要素を記憶することによってデータを「シグナリング」し得る。いくつかの場合には、そのようなシンタックス要素は、ビデオデコーダ３０によって受信および復号される前に、符号化および記憶され（たとえば、ストレージデバイス２４に記憶され）得る。したがって、「シグナリング」という用語は、通信がリアルタイムまたはほぼリアルタイムで行われるか、あるいは、符号化時にシンタックス要素を記憶媒体に記憶し、次いで、この媒体に記憶された後の任意の時間にそのシンタックス要素が復号デバイスによって取り出され得るときなどに行われ得る、ある時間期間にわたって行われるかどうかにかかわらず、概して、圧縮ビデオデータを復号するためのシンタックスまたは他のデータの通信を指し得る。
【００６２】
[0067]ビデオエンコーダ２０およびビデオデコーダ３０は、ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）と代替的に呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格などのビデオ圧縮規格、またはそのような規格の拡張（たとえば、マルチビュービデオコーディング（ＭＶＣ）またはスケーラブルビデオコーディング（ＳＶＣ））に従って動作し得る。ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、ジョイントビデオチーム（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣムービングピクチャエキスパートグループ（ＭＰＥＧ）とともにＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）によって策定された。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓに記載されており、本明細書ではＨ．２６４規格もしくはＨ．２６４仕様、またはＨ．２６４／ＡＶＣ規格もしくは仕様と呼ばれることがある。
【００６３】
[0068]他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔ  Ｈ．２６５およびＩＳＯ／ＩＥＣ２３００８−２としても知られる、ＨＥＶＣビデオコーディング規格、またはＨＥＶＣの拡張（スケーラブル高効率ビデオコーディング（ＳＨＶＣ）もしくはマルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ））に従って動作し得る。確定した（finalized）ＨＥＶＣ規格文書は、「ＩＴＵ−Ｔ  Ｈ．２６５、ＳＥＲＩＥＳ  Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ  ＡＮＤ  ＭＵＬＴＩＭＥＤＩＡ  ＳＹＳＴＥＭＳ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  ｏｆ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｖｉｄｅｏ−Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ」、国際電気通信連合（ＩＴＵ）の電気通信標準化部門、２０１３年４月として公開されている。
【００６４】
[0069]ＨＥＶＣは、ビデオピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ）に分割されることを可能にする。ビットストリーム内のシンタックスデータは、ピクセルの数に関して最大コーディングユニットであるＬＴＵのサイズを定義し得る。スライスは、いくつかの連続するコーディングツリーユニット（ＣＴＵ）を含む。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。
【００６５】
[0070]ビデオピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）にスプリットされ得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードがツリーブロックに対応する。ＣＵが４つのサブＣＵにスプリットされる場合、ＣＵに対応するノードは４つのリーフノードを含み、それらの各々はサブＣＵのうちの１つに対応する。ＣＵは、ルーマサンプルアレイとＣｂサンプルアレイとＣｒサンプルアレイとを有するピクチャのルーマサンプルのコーディングブロックと、そのピクチャのクロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングブロックはサンプルのＮ×Ｎブロックである。
【００６６】
[0071]４分木データ構造の各ノードは、対応するＣＵについてのシンタックスデータを与え得る。たとえば、４分木のノードは、そのノードに対応するＣＵがサブＣＵにスプリットされるかどうかを示すスプリットフラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがさらに分割されない場合、それはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的スプリッティングが存在しない場合でも、リーフＣＵの４つのサブＣＵもリーフＣＵと呼ばれる。たとえば、１６×１６サイズのＣＵがさらにスプリットされない場合、その１６×１６ＣＵが決してスプリットされなくても、４つの８×８サブＣＵはリーフＣＵとも呼ばれる。
【００６７】
[0072]ＣＵは、ＣＵがサイズの差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、（サブＣＵとも呼ばれる）４つの子ノードにスプリットされ得、各子ノードは、今度は親ノードとなり、別の４つの子ノードにスプリットされ得る。４分木のリーフノードと呼ばれる、最終的な分割されていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックがスプリットされ得る最大回数を定義し得、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームはまた、最小コーディングユニット（ＳＣＵ）を定義し得る。本開示では、「ブロック」という用語を、ＨＥＶＣのコンテキストにおいてＣＵ、ＰＵ、またはＴＵのうちのいずれかを、または他の規格のコンテキストにおいて同様のデータ構造（たとえば、Ｈ．２６４／ＡＶＣのマクロブロックおよびそれのサブブロック）を指すために使用する。
【００６８】
[0073]ＣＵは、コーディングノードと、そのコーディングノードに関連する予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４ピクセル以上をもつツリーブロックのサイズまでわたり得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含んでいることがある。
【００６９】
[0074]概して、ＰＵは、対応するＣＵのすべてまたは一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。予測ブロックは、同じ予測が適用されるサンプルの長方形（すなわち、正方形または非正方形）ブロックであり得る。ＣＵのＰＵは、ルーマサンプルの１つの予測ブロックと、ピクチャのクロマサンプルの２つの対応する予測ブロックと、それらの予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。
【００７０】
[0075]ＴＵは、変換、たとえば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の残差ビデオデータへの適用後に、変換領域において係数を含み得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するためにＴＵを変換し得る。変換ブロックは、同じ変換が適用されるサンプルの長方形ブロックであり得る。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。
【００７１】
[0076]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、ＴＵは、変換、たとえば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の残差ビデオデータへの適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するためにＴＵを変換し得る。
【００７２】
[0077]変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２０は、変換係数の量子化を実施し得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化の後に、ビデオエンコーダは、変換係数を走査し、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。
【００７３】
[0078]量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０によって使用するための、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
【００７４】
[0079]図１に示されている例では、システム１０はまた、ルータ３６を有するサーバ／コンテンツ配信ネットワーク３４を含む。いくつかの例では、ソースデバイス１２は、上記で説明したように、様々なワイヤレスおよび／またはワイヤード送信または記憶媒体を介して、サーバ／コンテンツ配信ネットワーク３４と通信し得る。さらに、図１の例では別々に示されたが、いくつかの例では、ソースデバイス１２とサーバ／コンテンツ配信ネットワーク３４は同じデバイスを備える。サーバ／コンテンツ配信ネットワーク３４は、（ソースデバイス１２のビデオエンコーダ２０からの）コード化ビデオデータの１つまたは複数のバージョンを記憶し得、そのようなコード化ビデオデータを宛先デバイス１４とビデオデコーダ３０とによるアクセスのために利用可能にし得る。
【００７５】
[0080]いくつかの例では、ルータ３６は、要求されたフォーマットでコード化ビデオデータを宛先デバイス１４に提供することを担当し得る。他の例では、カプセル化ユニット２１は、特定のフォーマットで符号化ビデオデータをカプセル化することを担当し得る。ファイルフォーマット規格は、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ、ＩＳＯ／ＩＥＣ１４４９６−１２）と、ＭＰＥＧ−４ファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１４）、３ＧＰＰファイルフォーマット（３ＧＰＰ  ＴＳ２６．２４４）およびＡＶＣファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６−１５）を含む、ＩＳＯＢＭＦＦから導出された他のフォーマットとを含む。さらに、サーバ／コンテンツ配信ネットワーク３４は、ビットストリームをスプライスすることおよび／または切り替えることを担当し得る。
【００７６】
[0081]以下の図４に関してより詳細に説明するように、ボックスは、４文字コード化ボックスタイプと、ボックスのバイト数と、ペイロードとを含む、ＩＳＯＢＭＦＦにおけるシンタックス構造を指し得る。ＩＳＯＢＭＦＦファイルはボックスのシーケンスからなり得、ボックスは他のボックスを含んでいることがある。ムービーボックス（「ｍｏｏｖ」）は、各々がファイル中にトラックとして表される、ファイル中に存在する連続的メディアストリームのためのメタデータを含んでいる。
【００７７】
[0082]トラックのためのメタデータは、トラックボックス（「ｔｒａｋ」）中に封入されるが、トラックのメディアコンテンツは、メディアデータボックス（「ｍｄａｔ」）中に封入されるか、または別のファイル中に直接封入されるかのいずれかである。トラックのためのメディアコンテンツは、オーディオまたはビデオアクセスユニットなど、サンプルのシーケンスからなる。アクセスユニットは、概して、共通の時間インスタンスのためのコード化ピクチャデータを含むデータのユニットである。サンプルは、本明細書で説明するビデオコーディング仕様など、特定の仕様によって定義されたアクセスユニットである。
【００７８】
[0083]サンプルエントリは、対応するサンプルの記述を提供し得る。たとえば、サンプルエントリは、対応するサンプルのフォーマットなど、対応するサンプルの特性を記述する４文字コードを含み得る。ＡＶＣトラックとＳＶＣトラックとのための例示的なサンプルエントリは下記の表中に含まれる。
【００７９】
【表１】
2018509079.tif 000003
【００８０】
上記の表は説明のためのものにすぎない。他のタイプのサンプルを記述するために様々な他のサンプルエントリが使用され得る。
【００８１】
[0084]ビデオエンコーダ２０（またはカプセル化ユニット２１）は、ビデオデータを復号するときに使用され得るいくつかのパラメータセットを生成し得、ビデオデコーダ３０（またはカプセル化解除ユニット２９）はそれらのパラメータセットを受信し得る。たとえば、上述したように、パラメータセットは、あまり頻繁に変化しない情報を別々にシグナリングすることによって効率を改善する、ＳＰＳ、ＰＰＳ、またはＶＰＳを含み得る。ＩＳＯＢＭＦＦファイルフォーマットに関して、パラメータセットサンプルは、同じ時間的インスタンスにおいてビデオエレメンタリストリーム中に存在すると見なされるべきであるパラメータセットＮＡＬユニットを含むパラメータセットストリーム中のサンプルであり得る。また、パラメータセットが更新される（updated）ポイントごとにパラメータセットサンプルがあり得る。各パラメータセットは、ビデオエレメンタリストリームの関係する（relevant）セクションを復号するために必要なシーケンスおよびピクチャパラメータセットを含んでいることがある。パラメータセットトラック中の同期サンプル（sync sample）は、ビデオエレメンタリストリーム中で前方の（forward）その復号時間から必要とされるすべてのパラメータセットが、そのまたは後続する（succeeding）パラメータストリームサンプル中にあることを示し得る。
【００８２】
[0085]しかしながら、いくつかの事例では、カプセル化解除ユニット２９および／またはビデオデコーダ３０は、パラメータセットを適切に識別および復号しないことがある。たとえば、上述したように、ＩＳＯＢＭＦＦにおいてランダムアクセスポイント（ＲＡＰ）という用語の異なる解釈があるので、ＡＶＣファイルフォーマット、ＳＶＣファイルフォーマット、ＭＶＣファイルフォーマット、およびＨＥＶＣファイルフォーマットにおけるパラメータセットの配置への制約は異なる解釈を有し得、ファイルは、いくつかの実装形態によっては準拠すると見なされるが、他の実装形態によっては準拠すると見なされないことがある。ランダムアクセスポイントが、異なるデバイスによって別様に解釈されたとき（たとえば、異なるデバイスが、ビデオデータを符号化／パッケージングすることを担当するデバイス、およびビデオデータをパース／復号することを担当するデバイスを含み得る場合）、ファイルは適切に配信および／または再生されないことがある。
【００８３】
[0086]たとえば、ＩＳＯＢＭＦＦにおいて、ビデオコーダは、ビデオコーダが準拠するＩＳＯＢＭＦＦの特定の部分に応じて、ＲＡＰを少なくとも３つの異なる方法で解釈し得る。第１の例では、ＲＡＰは、ＳＡＰタイプ１、２、または３のいずれかに対応するが、他のＳＡＰタイプには対応しないことがある。たとえば、ＩＳＯＢＭＦＦのセクション３．１．１１の一部を以下に再掲する。
【００８４】
３．１．１１
ランダムアクセスポイント（ＲＡＰ）
アネックスＩにおいて定義されているようにタイプ１または２または３のＳＡＰのＩＳＡＵにおいて開始するトラック中のサンプル。非公式には、そのサンプルから（from which）復号が開始するとき、サンプル自体と、組成順序で（in composition order）後続するすべてのサンプルとが正しく復号され得る、サンプル
[0087]解釈１と呼ばれる、上記の例では、ＲＡＰはＳＡＰタイプ１〜３のみに対応する。したがって、漸進的復号リフレッシュ（ＧＤＲ）開始点はＲＡＰと見なされないことがある。
【００８５】
[0088]別の例では、ＲＡＰは、ＳＡＰタイプ１、２、３、または４のいずれかに対応するが、他のＳＡＰタイプには対応しないことがある。たとえば、ＩＳＯＢＭＦＦのセクション１０．１．１．３の一部を以下に再掲する。
【００８６】
１０．１．１．３
ｒｏｌｌ＿ｄｉｓｔａｎｃｅは、サンプルが正しく復号されるために順番に復号される必要がある（must be）サンプルの数を与える符号付き整数である。正の値は、これらの復元の最後において完了しているように、すなわち最後のサンプルが正しくなるように復号される必要があるグループメンバーであるサンプルの後のサンプルの数を示す。負の値は、マークされたサンプルにおいて復元が完了するために順番に復号される必要があるグループメンバーであるサンプルの前のサンプルの数を示す。値０が使用されてはならない。同期サンプルテーブルは、どんな復元ロールも必要とされないランダムアクセスポイントを記録する。
【００８７】
[0089]解釈２と呼ばれる、上記の例では、ＧＤＲ開始点はＲＡＰと見なされることがあり、これは、（上記で言及した）節３．１．１１におけるＲＡＰの定義と一致しない。
【００８８】
[0090]第３の例では、ランダムアクセスポイントは、コーデック固有である同期サンプルに対応し得る。たとえば、ＩＳＯＢＭＦＦのセクションＡ．７の一部を以下にリポルデュース（reporduce）する。
【００８９】
Ａ．７  ランダムアクセス
．．．
３）  ステップ１において位置特定されたサンプルは同期サンプルでないことがある。同期サンプルテーブルは、どのサンプルが実際にランダムアクセスポイントであるかを示す。このテーブルを使用して、あなたは、どれが、指定された時間より前の第１の同期サンプルであるかを位置特定することができる。同期サンプルテーブルの不在は、すべてのサンプルが同期ポイントであり、この問題を簡単にすることを示す。同期サンプルテーブルを調べて、あなたは、ステップ１において見つけられたサンプルに最も近いが、それよりも前にある、どちらの得られた（whichever resultant）サンプルでもシークすることをおそらく希望する。
【００９０】
[0091]解釈３と呼ばれる、上記の例では、ＲＡＰは同期サンプルであり、その逆も同様である。
【００９１】
[0092]上述の解釈は、カプセル化解除ユニット２９またはビデオデコーダ３０によるパースおよび／または復号の難しさを生じ得る。たとえば、カプセル化解除ユニット２９またはビデオデコーダ３０は、サンプルがＲＡＰとして識別されるかどうかに基づいて、特定のビットストリームが特定の規格に準拠するかどうか、したがって予想されるロケーションにおいて情報を含むかどうかを決定し得る。説明のための一例では、カプセル化解除ユニット２９またはビデオデコーダ３０は、サンプルがＲＡＰサンプルであるとカプセル化解除ユニット２９またはビデオデコーダ３０が決定するかどうかに応じて、ビットストリームの異なるロケーションからのパラメータセットをパースし得る。
【００９２】
[0093]（ＡＶＣファイルフォーマットと、ＳＶＣ、ファイルフォーマットと、ＭＶＣファイルフォーマットと、ＨＥＶＣファイルフォーマットとを含んでいる、ＩＳＯＢＭＦＦと本明細書では呼ばれる）ＩＳＯ／ＩＥＣ１４４９６−１５の例示的なセクションが以下に含まれている。これらの例では、カプセル化解除ユニット２９またはビデオデコーダ３０は、たとえば、解釈１、解釈２、および解釈３に関して上述したように、セクションごとに（from one section to another）別様にＲＡＰを解釈し得、それは、ビットストリームのパラメータセットの適切なパースおよび／または復号に影響し（impact）得る。
【００９３】
[0094]たとえば、ＩＳＯＢＭＦＦのセクション４．８の一部を以下に再掲する。
【００９４】
４．８  同期サンプル（ＩＤＲ）
．．．
サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」であるとき、以下が当てはまる。
【００９５】
１．  サンプルがＩＤＲアクセスユニットである場合、そのサンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいはサンプル自体中に含められるべきである。
【００９６】
２．  そうでない（サンプルがＩＤＲアクセスユニットでない）場合、サンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいは両端を含めて、前のital<<ランダムアクセスポイント>>italからサンプル自体までのサンプルのいずれかの中に含められるべきである。（なお、本翻訳文本文中において、日本の出願システムにおいて表記できない原語表記におけるイタリック体表記部分を、上記のように、ital<<イタリック体>>italのように表記する）。
【００９７】
[0095]上記の例では、カプセル化解除ユニット２９またはビデオデコーダ３０は、ランダムアクセスポイントの定義に基づいてビットストリームのパラメータセットのロケーションを決定し得る。しかしながら、上述したように、カプセル化解除ユニット２９またはビデオデコーダ３０は、たとえば、解釈１、解釈２、および解釈３に関して上述したように、ランダムアクセスポイントの定義を矛盾して決定し得る。したがって、カプセル化解除ユニット２９またはビデオデコーダ３０は、実際はランダムアクセスポイントのある定義に基づいてビットストリームが特定のビデオコーディング規格に準拠するとき、ランダムアクセスポイントの別の定義に基づいてビットストリームがそのビデオコーディング規格に準拠しないと決定し得る。同じ問題は、ＳＶＣファイルフォーマットおよびＭＶＣファイルフォーマットについて、それぞれＩＳＯＢＭＦＦのセクション６．５．５および７．５．３（両方ともセクション４．８と同じタイトルを有する）に当てはまる。
【００９８】
[0096]別の例として、ＩＳＯＢＭＦＦのセクション８．４．３の一部を以下に再掲する。
【００９９】
８．４．３  同期サンプル
．．．
ＨＥＶＣサンプルは、サンプル中のＶＣＬ  ＮＡＬユニットが、サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示す場合、同期サンプルと見なされる。
【０１００】
サンプルエントリの名前が「ｈｅｖ１」であるとき、次のことが当てはまる。
【０１０１】
サンプルがital<<ランダムアクセスポイント>>italである場合、そのサンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいはサンプル自体中に含められるべきである。
【０１０２】
そうでない（サンプルがital<<ランダムアクセスポイント>>italでない）場合、サンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいは両端を含めて、前のital<<ランダムアクセスポイント>>italからサンプル自体までのサンプルのいずれかの中に含められるべきである。
【０１０３】
[0097]この場合も、異なる可能性があるランダムアクセスポイント解釈がパラメータセットの配置への制約に影響を及ぼし得、コンポーザ（たとえば、ビデオエンコーダ２０またはカプセル化ユニット２１）とパーサ（たとえば、カプセル化解除ユニット２９またはビデオデコーダ３０）とによって２つの異なる解釈が使用されるとき、インターオペラビリティ問題が生じ得る。
【０１０４】
[0098]本開示の態様によれば、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０は、ビデオファイルの適切な復号および再生のためのパラメータセットの配置に制約を適用し得る。本開示の様々な技法による、パラメータセットをコーディングするための例示的なシンタックスおよびセマンティクスを以下に記載する。説明するシンタックスおよびセマンティクスは、たとえば、述べたような、ＡＶＣ、ＨＥＶＣ、ＳＶＣ、ＭＶＣなどのシンタックスおよびセマンティクスに関係する。
【０１０５】
[0099]以下の例示的な説明、シンタックステーブルおよびセマンティクスでは、関係する規格への追加はボールドおよび下線を使用して表され、削除は［［二重括弧］］を使用して表される。（なお、本翻訳文本文中において、日本の出願システムにおいて表記できない原語表記におけるボールド表記部分を、下線で表記する）概して、「要件」に関するステートメントは、規格または規格拡張のテキストの一部を形成するものであり、本開示の技法の目的のための要件を形成しないものと理解されたい。場合によっては、そのような「要件」は、適用可能であると決定され得、次いで、たとえば、その決定に基づいてビデオコーダによって遵守され得る、ビットストリーム制約を含み得る）。
【０１０６】
[0100]一例では、本開示の態様によれば、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０は、次のように、ＡＶＣファイルフォーマットのセクション４．８の更新されたバージョンに準拠し得、ここで、「ランダムアクセスポイント」は「ＩＤＲアクセスユニットであるサンプル」と置き換えられる。
【０１０７】
４．８  同期サンプル（ＩＤＲ）
サンプルは、［［以下の条件のすべてが満たされる］］サンプル中のビデオデータＮＡＬユニットが、サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示す場合、同期サンプルと見なされる。
【０１０８】
サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」であるとき、以下が当てはまる。
【０１０９】
１．  サンプルがＩＤＲアクセスユニットである場合、そのサンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいはサンプル自体中に含められるべきである。
【０１１０】
２．  そうでない（サンプルがＩＤＲアクセスユニットでない）場合、サンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいは両端を含めて、ＩＤＲアクセスユニットである前の［［ランダムアクセスポイント］］サンプルからサンプル自体までのサンプルのいずれかの中に含められるべきである。
【０１１１】
[0101]同じ変更は、ＳＶＣファイルフォーマットおよびＭＶＣファイルフォーマットについて、それぞれＩＳＯＢＭＦＦのセクション６．５．５および７．５．３（両方ともセクション４．８と同じタイトルを有する）に当てはまる。この例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプル中のビデオデータＮＡＬユニットが、サンプル中に含まれている１次ピクチャがＩＤＲピクチャであることを示す場合、サンプルが同期サンプルであると決定するように構成され得る。ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルがＩＤＲアクセスユニットである場合、サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に、あるいはサンプル自体中に含められる、たとえば、符号化、記憶またはさもなければ配置される（placed）ようにさらに構成され得る。したがって、サンプルがＩＤＲアクセスユニットであるとき、サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、ビデオデコーダ３０は、サンプルのためのサンプルエントリまたはサンプル自体からのみ、同期サンプルのビデオデータのためのパラメータセットデータを決定し得る。パラメータセットデータを決定することは、たとえば、パラメータセットデータをパース、復号、取り出しまたはさもなければ取得することを指し得る。
【０１１２】
[0102]この例では、サンプルを復号するために必要とされるパラメータセットのすべては、サンプルのサンプルエントリまたはサンプル自体の中に含められる。したがって、サンプルのビデオデータを復号するためのパラメータセットデータは、サンプルのサンプルエントリまたはサンプル自体の中にのみ含められる。同様に、サンプルのビデオデータを復号するために、サンプルのビデオデータを復号するために必要とされるパラメータセットデータのすべては、サンプルのサンプルエントリまたはサンプル自体から決定される。したがって、復号のために、ビデオデータのためのパラメータセットデータは、サンプルのサンプルエントリまたはサンプル自体からのみ決定される。
【０１１３】
[0103]さらに、この例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルがＩＤＲアクセスユニットでない場合、サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に含められる、たとえば、符号化、記憶またはさもなければ配置されるか、あるいは両端を含めて、ＩＤＲアクセスユニットである前のサンプルからＩＤＲアクセスユニット自体でないサンプルまでのサンプルのいずれかの中に含められる、たとえば、符号化、記憶またはさもなければ配置されるように構成され得る。すなわち、サンプルがＩＤＲアクセスユニットでない場合、サンプルを復号するために必要とされるすべてのパラメータセットは、ＩＤＲアクセスユニットでないサンプルのためのサンプルエントリ、ＩＤＲアクセスユニット自体でないサンプル、ＩＤＲアクセスユニットである前のサンプル、あるいはＩＤＲアクセスユニットである前のサンプルの後にあり、サンプル自体の前にある、すなわち、ＩＤＲアクセスユニットでないサンプルの前にあるサンプルのいずれかの中に含められる。ＩＤＲアクセスユニットでないサンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、ビデオデコーダ３０は、サンプルのためのサンプルエントリ、サンプル自体、ＩＤＲアクセスユニットである前のサンプルから、またはＩＤＲアクセスユニットでないサンプルとＩＤＲアクセスユニットである前のサンプルとの間に生じるサンプルからのみ、サンプルのビデオデータのためのパラメータセットデータを決定し得る。
【０１１４】
[0104]この例では、ＩＤＲアクセスユニットでないサンプルを復号するために必要とされるパラメータセットのすべては、サンプルのためのサンプルエントリ、サンプル自体、ＩＤＲアクセスユニットである前のサンプル中に、またはＩＤＲアクセスユニットでないサンプルとＩＤＲアクセスユニットである前のサンプルとの間に生じるサンプル中に含められる。したがって、サンプルのビデオデータを復号するためのパラメータセットデータは、サンプルのためのサンプルエントリ、サンプル自体、ＩＤＲアクセスユニットである前のサンプル中に、またはＩＤＲアクセスユニットでないサンプルとＩＤＲアクセスユニットである前のサンプルとの間に生じるサンプル中にのみ含められる。同様に、サンプルのビデオデータを復号するために、サンプルのビデオデータを復号するために必要とされるパラメータセットデータのすべては、サンプルのためのサンプルエントリ、サンプル自体、ＩＤＲアクセスユニットである前のサンプルから、またはＩＤＲアクセスユニットでないサンプルとＩＤＲアクセスユニットである前のサンプルとの間に生じるサンプル中で決定される。したがって、サンプルのビデオデータを復号するために、ビデオデータのためのパラメータセットデータは、サンプルのためのサンプルエントリ、サンプル自体、ＩＤＲアクセスユニットである前のサンプルから、またはＩＤＲアクセスユニットでないサンプルとＩＤＲアクセスユニットである前のサンプルとの間に生じるサンプル中でのみ決定される。
【０１１５】
[0105]いくつかの例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルがＩＤＲアクセスユニットであり、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」などの特定の名前である場合、その同期サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に、あるいはサンプル自体中に含められる、たとえば、符号化、記憶またはさもなければ配置されるようにさらに構成され得る。したがって、サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、サンプルがＩＤＲアクセスユニットであり、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」などの特定の名前である場合、ビデオデコーダ３０は、サンプルのためのサンプルエントリまたはサンプル自体の中でのみ、サンプルのビデオデータのためのパラメータセットデータを決定し得る。したがって、パラメータセットデータは、サンプルがＩＤＲアクセスユニットであると決定することに基づいて、およびさらに、サンプルエントリ名が特定の名前または特定の名前のセットのうちの１つ、たとえば、「ａｖｃ３」または「ａｖｃ４」であることなど、サンプルのエントリ名に基づいて、このようにして決定され得る。サンプルエントリ名が特定の名前でない場合、パラメータセットデータの配置または決定は別様に扱われ得る。
【０１１６】
[0106]いくつかの例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルがＩＤＲアクセスユニットでなく、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」などの特定の名前である場合、その同期サンプルを復号するために必要とされるすべてのパラメータセットが、ＩＤＲアクセスユニットでないサンプルのためのサンプルエントリ、ＩＤＲアクセスユニット自体でないサンプル、ＩＤＲアクセスユニットである前のサンプル、あるいはＩＤＲアクセスユニットである前のサンプルの後にあり、サンプル自体の前にある、すなわち、ＩＤＲアクセスユニットでないサンプルの前にあるサンプルのいずれかの中に含められる、たとえば、符号化、記憶またはさもなければ配置されるようにさらに構成され得る。したがって、サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、サンプルがＩＤＲアクセスユニットでなく、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」などの特定の名前である場合、ビデオデコーダ３０は、ＩＤＲアクセスユニットでないサンプルのためのサンプルエントリ、ＩＤＲアクセスユニット自体でないサンプル、ＩＤＲアクセスユニットである前のサンプル、あるいはＩＤＲアクセスユニットである前のサンプルの後にあり、サンプル自体の前にある、すなわち、ＩＤＲアクセスユニットでないサンプルの前にあるサンプル中でのみ、サンプルのビデオデータのためのパラメータセットデータを決定し得る。したがって、パラメータセットデータは、サンプルがＩＤＲアクセスユニットでないと決定することに基づいて、およびさらに、サンプルエントリ名が特定の名前または特定の名前のセットのうちの１つ、たとえば、「ａｖｃ３」または「ａｖｃ４」であることなど、サンプルのエントリ名に基づいて、このようにして復号され得る。サンプルエントリ名が特定の名前でない場合、パラメータセットデータの配置または決定は別様に扱われ得る。
【０１１７】
[0107]別の例では、本開示の態様によれば、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０は、例として、次のように、ＡＶＣファイルフォーマットのセクション４．８の更新されたバージョンに準拠し得る。
【０１１８】
４．８  同期サンプル（ＩＤＲ）
サンプルは、［［以下の条件のすべてが満たされる］］サンプル中のビデオデータＮＡＬユニットが、サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示す場合、同期サンプルと見なされる。
【０１１９】
サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」であるとき、以下が当てはまる。
【０１２０】
１．  サンプルが［［ＩＤＲアクセスユニット］］同期サンプルである場合、そのサンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいはサンプル自体中に含められるべきである。
【０１２１】
２．  そうでない（サンプルが［［ＩＤＲアクセスユニット］］同期サンプルでない）場合、サンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいは両端を含めて、前の［［ランダムアクセスポイント］］同期サンプルからサンプル自体までのサンプルのいずれかの中に含められるべきである。
【０１２２】
[0108]この場合も、同じ変更は、ＳＶＣファイルフォーマットおよびＭＶＣファイルフォーマットについて、それぞれＩＳＯＢＭＦＦのセクション６．５．５および７．５．３（両方ともセクション４．８と同じタイトルを有する）に当てはまる。この例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプル中のビデオデータＮＡＬユニットが、サンプル中に含まれているその１次ピクチャがＩＤＲピクチャであることを示す場合、サンプルが同期サンプルであると決定するように構成され得る。ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルである場合、その同期サンプルを復号するために必要とされるすべてのパラメータセットは、（たとえば、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは別のデバイスによって）同期サンプルのためのサンプルエントリ中に、あるいは同期サンプル自体の中に含められるようにさらに構成され得る。したがって、同期サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、ビデオデコーダ３０は、サンプルのためのサンプルエントリまたはサンプル自体中でのみ、同期サンプルのビデオデータのためのパラメータセットデータを決定し得る。パラメータセットデータを決定することは、たとえば、パラメータセットデータをパース、復号、取り出しまたはさもなければ取得することを指し得る。
【０１２３】
[0109]この例では、同期サンプルを復号するために必要とされるパラメータセットのすべては、同期サンプルのためのサンプルエントリまたは同期サンプル自体の中に含められる。したがって、同期サンプルのビデオデータを復号するためのパラメータセットデータは、同期サンプルのサンプルエントリまたは同期サンプル自体の中にのみ含められる。同様に、同期サンプルのビデオデータを復号するために、同期サンプルのビデオデータを復号するために必要とされるパラメータセットデータのすべては、同期サンプルのサンプルエントリまたは同期サンプル自体から決定される。したがって、復号のために、ビデオデータのためのパラメータセットデータは、デコーダ３０によって、同期サンプルのサンプルエントリまたは同期サンプル自体からのみ決定される。
【０１２４】
[0110]さらに、この例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルでない場合、サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に含められるか、あるいは両端を含めて、前の同期サンプルからサンプル自体までのサンプルのいずれかの中に含められるように構成され得る。すなわち、サンプルが同期サンプルでない場合、同期サンプルでないサンプルを復号するために必要とされるすべてのパラメータセットは、同期サンプルでないサンプルのためのサンプルエントリ、同期サンプル自体でないサンプル、前の同期サンプル、あるいは前の同期サンプルの後にあり、サンプル自体の前にある、すなわち、同期サンプルでないサンプルの前にある１つまたは複数のサンプルのいずれかの中に含められる、たとえば、符号化、記憶またはさもなければ配置される。同期サンプルでないサンプルは、非同期サンプルと呼ばれることもある。非同期サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、ビデオデコーダ３０は、サンプルのためのサンプルエントリ、サンプル自体、前の同期サンプルから、または非同期サンプルと前の同期サンプルとの間に生じるサンプルからのみ、非同期サンプルのビデオデータのためのパラメータセットデータを決定し得る。
【０１２５】
[0111]この例では、非同期サンプルを復号するために必要とされるパラメータセットのすべては、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、同期サンプルである前のサンプル中に、または非同期サンプルと前の同期サンプルとの間に生じるサンプル中に含められる。したがって、非同期サンプルのビデオデータを復号するためのパラメータセットデータは、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、同期サンプルである前のサンプル中に、または非同期サンプルと前の同期サンプルとの間に生じるサンプル中にのみ含められる。同様に、非同期サンプルのビデオデータを復号するために、非同期サンプルのビデオデータを復号するために必要とされるパラメータセットデータのすべては、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、前の同期サンプルから、または非同期サンプルと前の同期サンプルとの間に生じるサンプル中で決定される。したがって、非同期サンプルのビデオデータを復号するために、ビデオデータのためのパラメータセットデータは、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、前の同期サンプルから、または非同期サンプルと前の同期サンプルとの間に生じるサンプル中でのみ決定される。
【０１２６】
[0112]いくつかの例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルであり、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」などの特定の名前である場合、その同期サンプルを復号するために必要とされるすべてのパラメータセットが、同期サンプルのためのサンプルエントリ中に、あるいは同期サンプル自体中に含められる、たとえば、符号化、記憶またはさもなければ配置されるようにさらに構成され得る。したがって、サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、サンプルが同期サンプルであり、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」などの特定の名前である場合、ビデオデコーダ３０は、同期サンプルのためのサンプルエントリまたは同期サンプル自体の中でのみ、同期サンプルのビデオデータのためのパラメータセットデータを決定し得る。したがって、パラメータセットデータは、サンプルが同期サンプルであると決定することに基づいて、およびさらに、サンプルエントリ名が特定の名前または特定の名前のセットのうちの１つ、たとえば、「ａｖｃ３」または「ａｖｃ４」であることなど、サンプルのエントリ名に基づいて、このようにして復号され得る。サンプルエントリ名が特定の名前でない場合、パラメータセットデータの配置または決定は別様に扱われ得る。
【０１２７】
[0113]いくつかの例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルでなく、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」である場合、サンプルを復号するために必要とされるすべてのパラメータセットが、同期サンプルでないサンプルのためのサンプルエントリ、同期サンプル自体でないサンプル、前の同期サンプル、あるいは前の同期サンプルの後にあり、サンプル自体の前にある、すなわち、同期サンプルでないサンプルの前にあるサンプルのいずれかの中に含められる、たとえば、符号化、記憶またはさもなければ配置されるようにさらに構成され得る。したがって、サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、サンプルが同期サンプルでなく、サンプルエントリ名が「ａｖｃ３」または「ａｖｃ４」などの特定の名前である場合、ビデオデコーダ３０は、同期サンプルでないサンプルのためのサンプルエントリ、同期サンプル自体でないサンプル、前の同期サンプル、あるいは前の同期サンプルの後にあり、サンプル自体の前にある、すなわち、同期サンプルでないサンプルの前にある１つまたは複数のサンプルのいずれかの中でのみ、サンプルのビデオデータのためのパラメータセットデータを決定し得る。このようにして、パラメータセットデータは、サンプルが同期サンプルでないと決定することに基づいて、およびさらに、サンプルエントリ名が特定の名前または特定の名前のセットのうちの１つ、たとえば、「ａｖｃ３」または「ａｖｃ４」であることなど、サンプルのエントリ名に基づいて、このようにして決定され得る。サンプルエントリ名が特定の名前でない場合、パラメータセットデータの配置または決定は別様に扱われ得る。
【０１２８】
[0114]ＨＥＶＣに関して、本開示の技法に従う別の例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０は、次のように、ＨＥＶＣファイルフォーマットのセクション８．４．３の更新されたバージョンに準拠し得、ここで、「ランダムアクセスポイント」は「同期サンプル」と置き換えられる。
【０１２９】
８．４．３  同期サンプル
．．．
ＨＥＶＣサンプルは、サンプル中のＶＣＬ  ＮＡＬユニットが、サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示す場合、同期サンプルと見なされる。
【０１３０】
サンプルエントリの名前が「ｈｅｖ１」であるとき、次のことが当てはまる。
【０１３１】
サンプルが［［ランダムアクセスポイント］］同期サンプルである場合、そのサンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいはサンプル自体中に含められるべきである。
【０１３２】
そうでない（サンプルが［［ランダムアクセスポイント］］同期サンプルでない）場合、サンプルを復号するために必要とされるすべてのパラメータセットは、サンプルエントリ中に含められるか、あるいは両端を含めて、前の［［ランダムアクセスポイント］］同期サンプルからサンプル自体までのサンプルのいずれかの中に含められるべきである。
【０１３３】
[0115]この例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプル中のＶＣＬ  ＮＡＬユニットが、サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示す場合、サンプルが同期サンプルであると決定するように構成され得る。ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルである場合、同期サンプルのビデオデータを復号するために必要とされるすべてのパラメータセットが、同期サンプルのためのサンプルエントリ中に、あるいは同期サンプル自体の中に含められるようにさらに構成され得る。したがって、同期サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、ビデオデコーダ３０は、同期サンプルについて、サンプルのためのサンプルエントリから、またはサンプル自体からのみ、サンプルのビデオデータのためのパラメータセットデータを決定し得る。パラメータセットデータを決定することは、たとえば、パラメータセットデータをパース、復号、取り出しまたはさもなければ取得することを指し得る。
【０１３４】
[0116]この例では、同期サンプルを復号するために必要とされるパラメータセットのすべては、同期サンプルのためのサンプルエントリまたは同期サンプル自体の中に含められる。したがって、同期サンプルのビデオデータを復号するためのパラメータセットデータは、同期サンプルのサンプルエントリまたは同期サンプル自体の中にのみ含められる。同様に、同期サンプルのビデオデータを復号するために、同期サンプルのビデオデータを復号するために必要とされるパラメータセットデータのすべては、同期サンプルのサンプルエントリまたは同期サンプル自体から決定される。したがって、復号のために、ビデオデータのためのパラメータセットデータは、たとえば、ビデオデコーダ３０によって、同期サンプルのサンプルエントリまたは同期サンプル自体からのみ決定される。
【０１３５】
[0117]この例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルでない場合、サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に含められるか、あるいは両端を含めて、前の同期サンプルからサンプル自体までのサンプルのいずれかの中に含められるように構成され得る。すなわち、サンプルが同期サンプルでない場合、サンプルを復号するために必要とされるすべてのパラメータセットは、同期サンプルでないサンプルのためのサンプルエントリ、同期サンプル自体でないサンプル、前の同期サンプル、あるいは前の同期サンプルの後にあり、サンプル自体の前にある、すなわち、同期サンプルでないサンプルの前にあるサンプルのいずれかの中に含められる、。同期サンプルでないサンプルは、非同期サンプルと呼ばれることもある。したがって、非同期サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、ビデオデコーダ３０は、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、前の同期サンプルから、あるいは非同期サンプルと前の同期サンプルとの間に生じる１つまたは複数のサンプルからのみ、非同期サンプルのビデオデータを復号するためのパラメータセットデータを決定し得る。
【０１３６】
[0118]この例では、非同期サンプルを復号するために必要とされるパラメータセットのすべては、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、同期サンプルである前のサンプル中に、または非同期サンプルと前の同期サンプルとの間に生じるサンプル中に含められる。したがって、非同期サンプルのビデオデータを復号するためのパラメータセットデータは、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、同期サンプルである前のサンプル中に、または非同期サンプルと前の同期サンプルとの間に生じるサンプル中にのみ含められる。同様に、非同期サンプルのビデオデータを復号するために、非同期サンプルのビデオデータを復号するために必要とされるパラメータセットデータのすべては、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、前の同期サンプルから、または非同期サンプルと前の同期サンプルとの間に生じるサンプルから決定される。したがって、非同期サンプルのビデオデータを復号するために、ビデオデータのためのパラメータセットデータは、たとえば、ビデオデコーダ３０によって、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、前の同期サンプルから、あるいは非同期サンプルと前の同期サンプルとの間に生じる１つまたは複数のサンプルからのみ決定される。
【０１３７】
[0119]いくつかの例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルであり、サンプルエントリ名が「ｈｅｖ１」などの特定の名前である場合、その同期サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に、あるいはサンプル自体中に含められる、たとえば、符号化、記憶またはさもなければ配置されるようにさらに構成され得る。したがって、サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、サンプルが同期サンプルであり、サンプルエントリ名が「ｈｅｖ１」などの特定の名前である場合、ビデオデコーダ３０は、同期サンプルのためのサンプルエントリまたは同期サンプル自体の中でのみ、サンプルのビデオデータを復号するためのパラメータセットデータを決定し得る。したがって、パラメータセットデータは、サンプルが同期サンプルであると決定することに基づいて、およびさらに、サンプルエントリ名が特定の名前または特定の名前のセットのうちの１つ、たとえば、「ｈｅｖ１」であることなど、サンプルのエントリ名に基づいて、このようにして決定され得る。サンプルエントリ名が特定の名前でない場合、パラメータセットデータの配置は別様に扱われ得る。
【０１３８】
[0120]いくつかの例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルでなく、サンプルエントリ名が「ｈｅｖ１」である場合、その同期サンプルを復号するために必要とされるすべてのパラメータセットが、同期サンプルでないサンプルのためのサンプルエントリ、同期サンプル自体でないサンプル、前の同期サンプル、あるいは前の同期サンプルの後にあり、サンプル自体の前にある、すなわち、同期サンプルでないサンプルの前にある１つまたは複数のサンプルのいずれかの中に含められる、たとえば、符号化、記憶またはさもなければ配置されるようにさらに構成され得る。したがって、サンプルを復号するために必要とされるすべてのパラメータセットがこのように含められて、サンプルが同期サンプルでなく（すなわち、それが非同期サンプルであり）、サンプルエントリ名が「ｈｅｖ１」などの特定の名前である場合、ビデオデコーダ３０は、非同期サンプルのためのサンプルエントリ、非同期サンプル自体、前の同期サンプル、あるいは前の同期サンプルの後にあり、非同期サンプル自体の前にある、すなわち、同期サンプルでないサンプルの前にある１つまたは複数のサンプルのいずれかの中でのみ、非同期サンプルのビデオデータを復号するためのパラメータセットデータを決定し得る。したがって、パラメータセットデータは、サンプルが同期サンプルでないと決定することに基づいて、およびさらに、サンプルエントリ名が特定の名前または特定の名前のセットのうちの１つ、たとえば、「ｈｅｖ１」であることなど、サンプルのエントリ名に基づいて、このようにして復号され得る。サンプルエントリ名が特定の名前でない場合、パラメータセットデータの決定は別様に扱われ得る。
【０１３９】
[0121]本開示の他の態様は、サンプルが同期サンプルであるかどうかを決定することに関係する。たとえば、本開示の態様によれば、積層ＨＥＶＣビットストリームのための積層ＨＥＶＣファイルフォーマットにおける同期サンプルの定義は、ＨＥＶＣファイルフォーマットにおける同期サンプルの定義と整合され、後方互換性があるように更新され得る。概して、同じ積層設計を使用するすべてのＨＥＶＣ拡張のために、総称名、積層ＨＥＶＣ（Ｌ−ＨＥＶＣ）が使用されることがある。Ｌ−ＨＥＶＣビットストリームはレイヤの集合であり得、ここで、各レイヤは、品質、解像度、フレームレート、ビュー、深度などにおいて視覚的プレゼンテーションをスケーリングするのを助ける。関係するレイヤの集合は、レイヤセットとして一緒にグループ化される。どんなレイヤセット中のレイヤも、それらのレイヤ識別子（Ｌ−ｉｄ）によって一意に（uniquely）識別される。レイヤは、１つまたは複数のレイヤセットのメンバーであり得る。レイヤに属するＮＡＬユニットは、それらの時間識別子（Ｔ−ｉｄ）に基づいてさらに区分され得る。各そのようなパーティションはサブレイヤと呼ばれる。
【０１４０】
[0122]ＨＥＶＣファイルフォーマットでは、ＨＥＶＣサンプルは、サンプル中のＶＣＬ  ＮＡＬユニットが、サンプル中に含まれているコード化ピクチャがＩＤＲピクチャ、ＣＲＡピクチャ、またはＢＬＡピクチャであることを示す場合、同期サンプルと見なされ得る。しかしながら、ドラフトのＬ−ＨＥＶＣファイルフォーマットでは、Ｌ−ＨＥＶＣサンプルは、アクセスユニット中の各コード化ピクチャが、ランダムアクセススキップリーディング（ＲＡＳＬ：Random Access Skipped Leading）ピクチャなしのイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである場合、同期サンプルと見なされ得る。たとえば、ＳＨＶＣおよびＭＶ−ＨＥＶＣは、両方とも同じ積層設計を使用する。
【０１４１】
[0123]上記の例では、ドラフトの積層ＨＥＶＣファイルフォーマットにおける同期サンプルの定義は、ＨＥＶＣファイルフォーマットにおける同期サンプルの定義と整合されないことがあり、この不整合（mismatch）は、ＩＲＡＰピクチャのためのＲＡＳＬピクチャの存在により、サンプルが同期サンプルになるのを可能にされないことがあるかどうかである。この不整合は、ＨＥＶＣ互換サンプルエントリ、すなわち、「ｈｖｃ１」、「ｈｅｖ１」、「ｈｖｃ２」、および「ｈｅｖ２」のうちの１つが使用中であるとき、Ｌ−ＨＥＶＣファイルフォーマットにおける同期サンプルの定義がＨＥＶＣファイルフォーマットと後方互換性がないという問題を生じ得る。
【０１４２】
[0124]本開示の態様によれば、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０は、ＨＥＶＣファイルフォーマットにおける同期サンプルと整合され後方互換性があるように、Ｌ−ＨＥＶＣファイルフォーマットにおける同期サンプルの更新された定義に準拠するように構成され得る。たとえば、サンプルエントリ名に応じて、Ｌ−ＨＥＶＣファイルフォーマットのための同期サンプルは次のように定義される。
【０１４３】
サンプルエントリ名が「ｈｖｃ１」、「ｈｅｖ１」、「ｈｖｃ２」、または「ｈｅｖ２」であるとき、Ｌ−ＨＥＶＣサンプルは、アクセスユニット中のベースレイヤピクチャが、ＩＳＯ／ＩＥＣ２３００８−２において定義されているＩＲＡＰピクチャである場合、同期サンプルと見なされる。
【０１４４】
サンプルエントリ名が「ｌｈｖ１」または「ｌｈｅ１」であるとき、Ｌ−ＨＥＶＣサンプルは、アクセスユニット中の各コード化ピクチャが、ＩＳＯ／ＩＥＣ２３００８−２において定義されているＩＲＡＰピクチャである場合、同期サンプルと見なされる。
【０１４５】
[0125]代替的に、同じエントリ名にかかわらず、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０は、アクセスユニット中のベースレイヤピクチャが、ＩＳＯ／ＩＥＣ２３００８−２において定義されているＩＲＡＰピクチャである場合、Ｌ−ＨＥＶＣサンプルが同期サンプルであると決定するように構成され得る。
【０１４６】
[0126]代替的に、同じエントリ名にかかわらず、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０は、アクセスユニット中の各コード化ピクチャが、ＩＳＯ／ＩＥＣ２３００８−２において定義されているＩＲＡＰピクチャである場合、Ｌ−ＨＥＶＣサンプルが同期サンプルであると決定するように構成され得る。同期サンプルは、同期サンプルテーブルによって記録され、ストリームアクセスポイント「ｓａｐ．」サンプルグループによって追加で記録され得る。
【０１４７】
[0127]図２は、本開示で説明する技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、本開示で説明するように、ビデオデータを記憶するためのメモリと、ビデオデータを符号化するための演算、およびサンプルを復号するためのパラメータセットデータを特定のロケーション中に含めるための演算など、ビデオコーディング演算を実施するように構成された１つまたは複数のプロセッサとを含み得る。ビデオエンコーダ２０は、本開示で説明するようにビデオデータを符号化するための技法を実装し得る別の例示的なデバイスである後処理エンティティ２７にビデオを出力するように構成され得る。たとえば、後処理エンティティ２７は、本開示で説明するように、サンプルを復号するためのパラメータセットデータを特定のロケーション中に含めること、および／または特定のロケーションからサンプルを復号するためのパラメータセットデータを決定することのための技法を実施し得る。後処理エンティティ２７は、ビデオエンコーダ２０からの符号化ビデオデータを処理し得るメディアアウェアネットワーク要素（ＭＡＮＥ）、スプライシング／編集デバイスまたは他の中間デバイスなどのビデオエンティティの一例を表すものとする。いくつかの事例では、後処理エンティティ２７はネットワークエンティティの一例であり得る。いくつかのビデオ符号化システムでは、後処理エンティティ２７およびビデオエンコーダ２０は別個のデバイスの一部であり得、他の事例では、後処理エンティティ２７に関して説明する機能は、ビデオエンコーダ２０を備える同じデバイスによって実施され得る。
【０１４８】
[0128]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実施し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指すことがある。
【０１４９】
[0129]図２の例では、ビデオエンコーダ２０は、区分ユニット３５と、ビデオメモリ３７と、予測ユニット４１と、フィルタユニット６３と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオメモリ３７および参照ピクチャメモリ６４は、同じメモリデバイスまたは別個のメモリデバイスの部分であり得る。メモリデバイスは、ＲＡＭ、ＲＯＭ、フラッシュメモリなど、またはそれらの組合せなど、本開示で説明する任意の形態のコンピュータ可読媒体またはデータ記憶媒体であり得る。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すものとする。図２では、フィルタユニット６３はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装され得る。
【０１５０】
[0130]図２に示されているように、ビデオエンコーダ２０は、たとえば、ビデオメモリ３７中で、符号化されるべきビデオデータを受信し、区分ユニット３５は、ビデオメモリ３７中のビデオデータをビデオブロックに区分する。この区分はまた、たとえば、ＬＣＵおよびＣＵの４分木構造に従って、スライス、タイル、または他のより大きいユニットへの区分、アズウェルズアズ（as wells as）ビデオブロック区分を含み得る。ビデオエンコーダ２０は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえばコーディングレートおよびひずみレベル）に基づいて現在のビデオブロックについて、複数のイントラコーディングモードのうちの１つ、または複数のインターコーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。
【０１５１】
[0131]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測コーディングを実施し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実施する。
【０１５２】
[0132]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンスの中のビデオスライスをＰスライスまたはＢスライスとして指定し得る。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実施される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。
【０１５３】
[0133]予測ブロックは、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数のピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実施し、分数ピクセル精度で動きベクトルを出力し得る。
【０１５４】
[0134]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
【０１５５】
[0135]動き補償ユニット４４によって実施される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によっては、サブピクセル精度への補間を実施することを伴い得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいてそれを指す予測ブロックを位置特定し得る。ビデオエンコーダ２０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマとクロマの両方の差分成分を含み得る。加算器５０は、この減算演算を実施する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０によって使用するための、ビデオブロックとビデオスライスとに関連付けられたシンタックス要素を生成し得る。
【０１５６】
[0136]イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって実施されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、たとえば、様々なテストされたイントラ予測モードのためにレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択することによって、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
【０１５７】
[0137]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。
【０１５８】
[0138]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域からの周波数領域などの変換領域に変換し得る。
【０１５９】
[0139]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実施し得る。代替的に、エントロピー符号化ユニット５６が走査を実施し得る。
【０１６０】
[0140]量子化に続いて、エントロピー符号化ユニット５６は量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングあるいは別のエントロピー符号化方法または技法を実施し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームはビデオデコーダ３０に送信されるか、あるいはビデオデコーダ３０が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのために、動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
【０１６１】
[0141]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つの内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構築された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構築された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２と動き補償ユニット４４とによって参照ブロックとして使用され得る。
【０１６２】
[0142]このようにして、図２のビデオエンコーダ２０は、本明細書に記載する技法のうちの１つまたは複数を実装するように構成されたビデオエンコーダの一例を表す。一例では、エントロピー符号化ユニット５６は、パラメータセットと同期サンプルとに関して本明細書で説明する技法を実施し得る。さらに、図２の後処理エンティティ２７は、パラメータセットと同期サンプルとに関して本開示で説明する技法を実装し得る別の例示的なデバイスである。
【０１６３】
[0143]図３は、本開示で説明する技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、本開示で説明するように、ビデオデータを記憶するためのメモリと、ビデオデータを復号するための演算、および特定のロケーションからサンプルを復号するためのパラメータセットデータを決定するための演算など、ビデオコーディング演算を実施するように構成された１つまたは複数のプロセッサとを含み得る。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、ビデオメモリ８３と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、フィルタユニット９１と、参照ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図２からのビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実施し得る。
【０１６４】
[0144]復号処理の間、ビデオデコーダ３０は、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームをビデオエンコーダ２０から受信する。たとえば、ビデオメモリ８３が符号化ビデオビットストリームを受信し得る。いくつかの例では、ビデオメモリ８３はコード化ピクチャバッファであり得る。ビデオデコーダ３０は、（いくつかの例では、図１のルータ３６に対応し得る）ネットワークエンティティ７９から、たとえば、ビデオメモリ８３を介して、符号化ビデオビットストリームを受信し得る。ネットワークエンティティ７９は、たとえば、上記で説明したビデオデータを復号するための技法のうちの１つまたは複数を実装するように構成されたサーバ、ＭＡＮＥ、ビデオエディタ／スプライサ、または他のそのようなデバイスであり得る。ネットワークエンティティ７９は、ビデオエンコーダ２０などのビデオエンコーダを含むことも、含まないこともある。本開示で説明する技法のうちのいくつかは、ネットワークエンティティ７９が符号化ビデオビットストリームをビデオデコーダ３０に送信するより前に、ネットワークエンティティ７９によって実装され得る。いくつかの例では、ネットワークエンティティ７９は、本開示で説明するように、サンプルを復号するためのパラメータセットデータを特定のロケーション中に含めること、および／または特定のロケーションからサンプルを復号するためのパラメータセットデータを決定することのための技法を実施し得る。いくつかのビデオ復号システムでは、ネットワークエンティティ７９およびビデオデコーダ３０は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ７９に関して説明する機能は、ビデオデコーダ３０を備える同じデバイスによって実施され得る。
【０１６５】
[0145]ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【０１６６】
[0146]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、ＢまたはＰ）スライスとしてコーディングされたとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づくデフォルト構成技法を使用して、参照フレームリスト、リスト０およびリスト１を構成し得る。
【０１６７】
[0147]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックについての予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライス用の参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化ビデオブロックについての動きベクトルと、スライスの各インターコード化ビデオブロックについてのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。
【０１６８】
[0148]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実施し得る。動き補償ユニット８２は、参照ブロックのサブ整数ピクセルのための補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【０１６９】
[0149]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化、すなわち、量子化解除する。逆量子化プロセスは、量子化の程度と、同じく適用されるべき逆量子化の程度とを決定するために、ビデオスライスの中の各ビデオブロックについてビデオエンコーダ２０によって計算された量子化パラメータを使用することを含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用する。
【０１７０】
[0150]動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実施する１つまたは複数の構成要素を表す。
【０１７１】
[0151]所望される場合、（コーディングループ内またはコーディングループ後のいずれかの）ループフィルタも、ピクセル遷移を平滑化するか、またはさもなければビデオ品質を改善するために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタなど、１つまたは複数のループフィルタを表すものとする。図３では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１のディスプレイデバイス３１などのディスプレイデバイス上での後の提示のために、復号ビデオを記憶する。参照ピクチャメモリ９２は復号ピクチャバッファと呼ばれることがある。ビデオメモリ８３および参照ピクチャメモリ９２は、同じメモリデバイスまたは別個のメモリデバイスの部分であり得る。メモリデバイスは、ＲＡＭ、ＲＯＭ、フラッシュメモリなど、またはそれらの組合せなど、本開示で説明する任意の形態のコンピュータ可読媒体またはデータ記憶媒体であり得る。
【０１７２】
[0152]このようにして、図３のビデオデコーダ３０は、本明細書に記載する技法のうちの１つまたは複数を実装するように構成されたビデオエンコーダの一例を表す。一例では、エントロピー復号ユニット８０は、パラメータセットと同期サンプルとに関して本明細書で説明する技法を実施し得る。さらに、（メディアアウェアネットワーク要素であり得る）図３のネットワークエンティティ７９は、パラメータセットと同期サンプルとに関して本開示で説明する技法を実装し得る別の例示的なデバイスである。
【０１７３】
[0153]図４は、例示的なビデオファイル１５０の要素を示すブロック図である。ビデオファイル１５０は、セグメントをカプセル化すると言われることがある。本明細書で説明するように、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ）およびそれの拡張によるビデオファイルは、データを「ボックス」と呼ばれる一連のオブジェクトに記憶する。図４の例では、ビデオファイル１５０は、ファイルタイプ（ＦＴＹＰ）ボックス１５２と、ムービー（ＭＯＯＶ）ボックス１５４と、セグメントインデックス（ｓｉｄｘ）ボックス１６２と、ムービーフラグメント（ＭＯＯＦ）ボックス１６４と、ムービーフラグメントランダムアクセス（ＭＦＲＡ）ボックス１６６とを含む。図４はビデオファイルの一例を表しているが、他のメディアファイルは、ＩＳＯベースメディアファイルフォーマットおよびそれの拡張に従って、ビデオファイル１５０のデータと同様に構造化された他のタイプのメディアデータ（たとえば、オーディオデータ、タイムドテキストデータなど）を含み得ることを理解されたい。
【０１７４】
[0154]ファイルタイプ（ＦＴＹＰ）ボックス１５２は概して、ビデオファイル１５０のファイルタイプを記述する。ファイルタイプボックス１５２は、ビデオファイル１５０の最良の使用を記述する仕様を識別するデータを含み得る。ファイルタイプボックス１５２は、代替的には、ＭＯＯＶボックス１５４、ムービーフラグメントボックス１６４、および／またはＭＦＲＡボックス１６６の前に配置され得る。
【０１７５】
[0155]ＭＯＯＶボックス１５４は、図４の例では、ムービーヘッダ（ＭＶＨＤ）ボックス１５６と、トラック（ＴＲＡＫ）ボックス１５８と、１つまたは複数のムービー拡張（ＭＶＥＸ）ボックス１６０とを含む。概して、ＭＶＨＤボックス１５６はビデオファイル１５０の一般的特性を記述し得る。たとえば、ＭＶＨＤボックス１５６は、ビデオファイル１５０が最初に生成されたとき、ビデオファイル１５０が最後に変更されたときを記述するデータ、ビデオファイル１５０の時間軸、ビデオファイル１５０の再生の持続時間、またはビデオファイル１５０を一般に記述する他のデータを含み得る。
【０１７６】
[0156]ＴＲＡＫボックス１５８は、ビデオファイル１５０のトラックについてのデータを含み得る。ＴＲＡＫボックス１５８は、ＴＲＡＫボックス１５８に対応するトラックの特性を記述するトラックヘッダ（ＴＫＨＤ）ボックスを含み得る。いくつかの例では、ＴＲＡＫボックス１５８はコード化ビデオピクチャを含み得、他の例では、トラックのコード化ビデオピクチャは、ＴＲＡＫボックス１５８および／またはｓｉｄｘボックス１６２のデータによって参照され得るムービーフラグメント１６４中に含まれ得る。
【０１７７】
[0157]いくつかの例では、ビデオファイル１５０は２つ以上のトラックを含み得る。したがって、ＭＯＯＶボックス１５４は、ビデオファイル１５０中のトラックの数に等しいいくつかのＴＲＡＫボックスを含み得る。ＴＲＡＫボックス１５８は、ビデオファイル１５０の対応するトラックの特性を記述し得る。たとえば、ＴＲＡＫボックス１５８は、対応するトラックについての時間および／または空間情報を記述し得る。カプセル化ユニット２１（図１）が、ビデオファイル１５０などのビデオファイル中にパラメータセットトラックを含むとき、ＭＯＯＶボックス１５４のＴＲＡＫボックス１５８と同様のＴＲＡＫボックスはパラメータセットトラックの特性を記述し得る。
【０１７８】
[0158]たとえば、パラメータセットトラック中の同期サンプルは、ビデオエレメンタリストリーム中で前方のその復号時間から必要とされるすべてのパラメータセットが、そのまたは後続するパラメータストリームサンプル中にあることを示し得る。また、パラメータセットが更新されるポイントごとにパラメータセットサンプルがあり得る。各パラメータセットは、ビデオエレメンタリストリームの関係するセクションを復号するために必要なシーケンスパラメータセットおよびピクチャパラメータセットを含んでいることがある。カプセル化ユニット２１は、パラメータセットトラックを記述するＴＲＡＫボックス内のパラメータセットトラック中にシーケンスレベルＳＥＩメッセージが存在することをシグナリングし得る。
【０１７９】
[0159]ＭＶＥＸボックス１６０は、たとえば、もしあれば、ＭＯＯＶボックス１５４内に含まれるビデオデータに加えて、ムービーフラグメント１６４をビデオファイル１５０が含むことをシグナリングするように、対応するムービーフラグメント１６４の特性を記述し得る。ビデオデータをストリーミングするコンテキストでは、コード化ビデオピクチャは、ＭＯＯＶボックス１５４ではなくムービーフラグメント１６４中に含まれ得る。したがって、すべてのコード化ビデオサンプルは、ＭＯＯＶボックス１５４ではなくムービーフラグメント１６４中に含まれ得る。
【０１８０】
[0160]ＭＯＯＶボックス１５４は、ビデオファイル１５０中のムービーフラグメント１６４の数に等しいいくつかのＭＶＥＸボックス１６０を含み得る。ＭＶＥＸボックス１６０の各々は、ムービーフラグメント１６４のうちの対応する１つの特性を記述し得る。たとえば、各ＭＶＥＸボックスは、ムービーフラグメント１６４のうちの対応する１つの持続時間を記述するムービー拡張ヘッダボックス（ＭＥＨＤ）ボックスを含み得る。
【０１８１】
[0161]上述したように、カプセル化ユニット２１は、シーケンスデータセットを、実際のコード化ビデオデータを含まないビデオサンプルに記憶し得る。ビデオサンプルは、概して、特定の時間インスタンスにおける１つまたは複数のコード化ピクチャの表現である、アクセスユニットに対応し得る。ＡＶＣのコンテキストでは、コード化ピクチャは、アクセスユニットのすべてのピクセルを構成するための情報を含んでいる１つまたは複数のＶＣＬ  ＮＡＬユニットと、ＳＥＩメッセージなどの他の関連する非ＶＣＬ  ＮＡＬユニットとを含む。したがって、カプセル化ユニット２１は、ムービーフラグメント１６４のうちの１つの中に、シーケンスレベルＳＥＩメッセージを含み得る、シーケンスデータセットを含み得る。カプセル化ユニット２１はさらに、シーケンスデータセットおよび／またはシーケンスレベルＳＥＩメッセージの存在を、ムービーフラグメント１６４のうちの１つに対応するＭＶＥＸボックス１６０のうちの１つの内のムービーフラグメント１６４のうちの１つの中に存在するものとしてシグナリングし得る。
【０１８２】
[0162]ＳＩＤＸボックス１６２は、ビデオファイル１５０の随意の（optional）要素である。すなわち、３ＧＰＰファイルフォーマット、または他のそのようなファイルフォーマットに準拠するビデオファイルは、必ずしもＳＩＤＸボックス１６２を含むとは限らない。３ＧＰＰファイルフォーマットの例によれば、ＳＩＤＸボックスは、セグメント（たとえば、ビデオファイル１５０内に含まれているセグメント）のサブセグメントを識別するために使用され得る。３ＧＰＰファイルフォーマットは、サブセグメントを、「対応するメディアデータボックス（Media Data box(es)）と、ムービーフラグメントボックスによって参照されるデータを含んでいるメディアデータボックスとをもつ、１つまたは複数の連続するムービーフラグメントボックスの独立型（self-contained）セットは、そのムービーフラグメントボックスに後続し、同じトラックに関する情報を含んでいる次のムービーフラグメントボックスに先行しなければならない」と定義している。３ＧＰＰファイルフォーマットはまた、ＳＩＤＸボックスが、「ボックスによって記録される（documented）（サブ）セグメントのサブセグメントへの参照のシーケンスを含んでいる。参照されたサブセグメントはプレゼンテーション時間において連続する。同様に、セグメントインデックスボックスによって参照されるバイトは常にセグメント内で連続する。参照されたサイズは、参照された材料（material）中のバイト数のカウントを与える」ことを示している。
【０１８３】
[0163]ＳＩＤＸボックス１６２は、概して、ビデオファイル１５０中に含まれるセグメントの１つまたは複数のサブセグメントを表す情報を提供する。たとえば、そのような情報は、サブセグメントが開始および／または終了する再生時間、サブセグメントのバイトオフセット、サブセグメントがＳＡＰを含む（たとえば、それで開始する）かどうか、ＳＡＰのタイプ（たとえば、ＳＡＰがＩＤＲピクチャであるか、ＣＲＡピクチャであるか、ＢＬＡピクチャであるかどうかなど）、サブセグメント中の（再生時間および／またはバイトオフセットに関する）ＳＡＰの位置などを含み得る。
【０１８４】
[0164]ムービーフラグメント１６４は、１つまたは複数のコード化ビデオピクチャを含み得る。いくつかの例では、ムービーフラグメント１６４は１つまたは複数のＧＯＰを含み得、その各々はいくつかのコード化ビデオピクチャを含み得る。さらに、上記で説明したように、ムービーフラグメント１６４は、いくつかの例では、シーケンスデータセットを含み得る。ムービーフラグメント１６４の各々は、ムービーフラグメントヘッダボックス（ＭＦＨＤ、図４に図示せず）を含み得る。ＭＦＨＤボックスは、ムービーフラグメントのシーケンス番号など、対応するムービーフラグメントの特性を記述し得る。ムービーフラグメント１６４は、ビデオファイル１５０中のシーケンス番号の順に含まれ得る。
【０１８５】
[0165]ＭＦＲＡボックス１６６は、ビデオファイル１５０のムービーフラグメント１６４内のランダムアクセスポイントを記述し得る。これは、ビデオファイル１５０によってカプセル化されたセグメント内の特定の時間ロケーション（すなわち、再生時間）へのシークを実施することなど、トリックモードを実施するのを支援し得る。ＭＦＲＡボックス１６６は、概して随意であり、いくつかの例では、ビデオファイル中に含まれる必要がない。同様に、宛先デバイス１４などのクライアントデバイスは、ビデオファイル１５０のビデオデータを正しく復号し表示するために、必ずしもＭＦＲＡボックス１６６を参照する必要がない。ＭＦＲＡボックス１６６は、ビデオファイル１５０のトラックの数に等しいか、またはいくつかの例ではビデオファイル１５０のメディアトラック（たとえば、非ヒントトラック）の数に等しい、いくつかのトラックフラグメントランダムアクセス（ＴＦＲＡ）ボックス（図示せず）を含み得る。
【０１８６】
[0166]いくつかの例では、ムービーフラグメント１６４は、ＩＤＲピクチャなど、１つまたは複数のＳＡＰを含み得る。同様に、ＭＦＲＡボックス１６６は、ＳＡＰのビデオファイル１５０内のロケーションの指示を提供し得る。したがって、ビデオファイル１５０のＳＡＰからビデオファイル１５０の時間サブシーケンスが形成され得る。時間サブシーケンスはまた、ＳＡＰに従属するＰフレームおよび／またはＢフレームなど、他のピクチャを含み得る。時間サブシーケンスのフレームおよび／またはスライスは、サブシーケンスの他のフレーム／スライスに依存する時間サブシーケンスのあるフレーム／スライスが適切に復号され得るように、セグメント内に構成され得る。たとえば、データの階層構成において、他のデータの予測のために使用されるデータも時間サブシーケンス中に含まれ得る。
【０１８７】
[0167]本開示の技法によれば、（カプセル化解除ユニット２９および／またはビデオデコーダ３０（図１）などのビデオデコーダは、ビデオデータのサンプルまたはサンプルエントリに基づいてパラメータセットデータを決定するように構成され得る。たとえば、カプセル化解除ユニット２９および／またはビデオデコーダ３０は、ムービーフラグメント１６４中に含まれるビデオデータのサンプルが同期サンプルであるかどうかを決定するように構成され得る。いくつかの例では、カプセル化解除ユニット２９および／またはビデオデコーダ３０は、たとえば、ＩＳＯＢＭＦＦのセクション４．８（ＡＶＣ）と、セクション６．５．５（ＳＶＣ）と、セクション７．５．３（ＭＶＣ）と、セクション８．４．３（ＨＥＶＣ）とに記載された条件に基づいて、そのようなサンプルがＩＳＯＢＭＦＦによる同期サンプルであるかどうかを決定し得る。カプセル化解除ユニット２９および／またはビデオデコーダ３０は、サンプル自体に基づいてまたはＭＲＦＡボックス１６６に関連する記述に基づいて、そのような条件を評価し得る。
【０１８８】
[0168]カプセル化解除ユニット２９および／またはビデオデコーダ３０は、同期サンプルであるサンプルの場合、同期サンプルでないサンプルの場合とは別様に、サンプルのビデオデータを復号するための、パラメータセットデータを決定し得る。たとえば、カプセル化解除ユニット２９および／またはビデオデコーダ３０は、サンプルに関連するサンプルエントリから、またはサンプル自体からのみ、同期サンプルのためのパラメータセットデータを決定するように構成され得る。一方、カプセル化解除ユニット２９および／またはビデオデコーダ３０は、非同期サンプルに関連するサンプルエントリから、非同期サンプル自体から、復号順序で非同期サンプルより前の同期サンプルから、または復号順序で非同期サンプルより前に生じるが、復号順序で前の同期サンプルの後に生じるサンプルからのみ、非同期サンプルのためのパラメータセットデータを復号するように構成され得る。
【０１８９】
[0169]図５は、ビデオビットストリームからパラメータセットデータを復号するためのプロセスを示す流れ図である。説明のためにビデオデコーダ３０（図１および図３）に関して説明するが、図５のプロセス、またはそれの部分は、カプセル化解除ユニット２９（図１）、ネットワークエンティティ７９（図３）、あるいはビデオデータをパースおよび／または復号するように構成された他の処理ユニットによっても実行され得ることを理解されたい。たとえば、カプセル化解除ユニット２９またはネットワークエンティティ７９は、本開示で説明し図５に示されているように、サンプルを復号するためのパラメータセットデータを特定のロケーション中に含めること、または特定のロケーションからサンプルを復号するためのパラメータセットデータを決定することのための技法を実施し得る。
【０１９０】
[0170]図５の例では、ビデオデコーダ３０は、ビデオデータの１つまたは複数のサンプルを含むビデオデータのファイルを受信し得る（１８０）。たとえば、ファイルは、本明細書で説明するように、ＩＳＯＢＭＦＦに準拠し得る。さらに、１つまたは複数のサンプルはそれぞれ、ビデオデータのアクセスユニットに対応し得る。
【０１９１】
[0171]ビデオデコーダ３０は、１つまたは複数のサンプルのうちのいずれかのサンプルが同期サンプルであるかどうかを決定し得る（１８２）。たとえば、サンプルのビデオデータを復号するより前に、ビデオデコーダ３０は、特定のビデオコーディング規格への準拠を保証するためにサンプルを含んでいるビットストリームを分析し得る。ビデオデコーダ３０は、特定のコーディング規格によって定義されているように、サンプルのいずれかが同期サンプルとして処理され得るかどうかを決定し得る。説明のための一例では、ビデオデコーダ３０は、ＩＳＯＢＭＦＦのセクション４．８（ＡＶＣ）と、セクション６．５．５（ＳＶＣ）と、セクション７．５．３（ＭＶＣ）と、セクション８．４．３（ＨＥＶＣ）とに記載された制約に基づいて、サンプルのいずれかが同期サンプルであるかどうかを決定し得る。
【０１９２】
[0172]サンプルが同期サンプルでないと、すなわち、サンプルが非同期サンプルであると決定することに基づいて、ビデオデコーダ３０または別のデバイスは、非同期サンプルに対応するサンプルエントリ、非同期サンプル自体、復号順序で非同期サンプルの前に生じ同期サンプルである前のサンプルから、あるいは非同期サンプルと、復号順序で前の同期サンプルとの間に生じる１つまたは複数のサンプルからのみ、非同期サンプルのためのパラメータセットデータを（たとえば、パース、復号、取り出しまたはさもなければ取得によって）決定し得る（１８４）。たとえば、ビデオデコーダ３０は、サンプルのためのパラメータセットデータが復号され得る（from which）、ビットストリームのいくつかのロケーションに制約され得る。復号順序で配置されたサンプルを有する所与のビットストリームの場合、ビデオデコーダ３０は、非同期サンプルに対応するサンプルエントリ、非同期サンプル自体、非同期サンプルの前の復号順序で同期サンプルとして復号される前のサンプル以外のどんなロケーションからも、または復号順序で非同期サンプルより前に生じるが、復号順序で同期サンプルとして復号される前のサンプルに後続するサンプルから、非同期サンプルのためのビデオデータのパラメータセットデータを復号しないことがある。非同期サンプルのビデオデータを復号するために必要とされるすべてのパラメータセットデータは、非同期サンプルに対応するサンプルエントリ、非同期サンプル自体、非同期サンプルの前の復号順序で同期サンプルとして復号される前のサンプル中に、または復号順序で非同期サンプルより前に生じるが、復号順序で同期サンプルとして復号される前のサンプルに後続するサンプル中に含められる。
【０１９３】
[0173]言い換えれば、同期サンプルでない現在のサンプルの場合、ビデオデコーダ３０は、非同期サンプルのためのサンプルエントリ中に、または両端を含む、すなわち、前の同期サンプル、前の同期サンプルの後にあるが現在の非同期サンプルの前にあるサンプルを含む、および現在の非同期サンプルを含む、前の同期サンプルから現在の非同期サンプルまでのサンプルのいずれかの中にのみ含められるパラメータセットデータを決定し得る。サンプルが同期サンプルでない場合、サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に、あるいは両端を含む、前の同期サンプルからサンプル自体までのサンプルのいずれかの中に含められ得るので、ビデオデコーダ３０は、これらの制約付きロケーションのみから、非同期サンプルのためのパラメータセットデータを決定するように構成され得る。たとえば、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルでない場合、サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に含められるか、あるいは両端を含めて、前の同期サンプルからサンプル自体までのサンプルのいずれかの中に含められるように構成され得る。
【０１９４】
[0174]サンプルが同期サンプルであると決定することに基づいて、ビデオデコーダ３０は、同期サンプルのためのサンプルエントリまたは同期サンプル自体からのみ、サンプルのためのパラメータセットデータを決定し得る（１８５）。同期サンプルのビデオデータを復号するために必要とされるすべてのパラメータセットデータは、同期サンプル自体または同期サンプルに対応するサンプルエントリの中に含められる。したがって、同期サンプルの場合、ビデオデコーダ３０は、他のサンプルまたはロケーション中ではなく、サンプルエントリまたはサンプル自体の何れかの中でのみ、同期サンプルのためのパラメータセットデータを決定し得る。サンプルが同期サンプルである場合、同期サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に、あるいはサンプル自体の何れかの中に含められるので、ビデオデコーダ３０は、これらの制約付きロケーションのみから、非同期サンプルのためのパラメータセットデータを（たとえば、パース、復号、取り出しまたはさもなければ取得によって）決定するように構成され得る。たとえば、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、および／またはビデオデコーダ３０、あるいは他のデバイスは、サンプルが同期サンプルである場合、サンプルを復号するために必要とされるすべてのパラメータセットが、サンプルのためのサンプルエントリ中に、あるいはサンプル自体の中に含められるように構成され得る。ビデオデコーダ３０は、次いで、決定されたパラメータセットデータに基づいてサンプルのビデオデータを復号し得る（１８６）。前の同期サンプルは、復号順序で直近の（most recent）同期サンプルであり得る。いくつかの例では、ビデオデコーダ３０は、新しい同期サンプルの受信時に、前に記憶されたパラメータセットを廃棄し（discard）得る。
【０１９５】
[0175]図６は、ビデオビットストリーム中でパラメータセットデータを符号化するためのプロセスを示す流れ図である。説明のためにビデオエンコーダ２０（図１および図２）に関して説明するが、図６のプロセス、またはそれの部分は、カプセル化ユニット２１（図１）、後処理エンティティ２７（図２）、あるいはビデオデータを生成、符号化および／または処理するように構成された他の処理ユニットまたはデバイスによっても実行され得ることを理解されたい。たとえば、カプセル化ユニット２１または後処理エンティティ２７は、本開示で説明し図６に示されているように、サンプルを復号するためのパラメータセットデータを特定のロケーション中に含めるための技法を実施し得る。
【０１９６】
[0176]図６の例では、ビデオエンコーダ２０は、ビデオデータのサンプルのためのパラメータセットデータに基づいてそのサンプルを符号化し得る（１９０）。符号化されたサンプルは、ビデオデータのアクセスユニットに対応し得る。ビデオエンコーダ２０は、特定のビデオコーディング規格によって定義されているように、１つまたは複数のサンプルのうちのサンプルを同期サンプルまたは非同期サンプルとして符号化し得る。ビデオエンコーダ２０は、特定のビデオコーディング規格への準拠を保証するためにサンプルを含んでいるビットストリームを生成し得る。ＩＳＯＢＭＦＦのセクション４．８（ＡＶＣ）と、セクション６．５．５（ＳＶＣ）と、セクション７．５．３（ＭＶＣ）と、セクション８．４．３（ＨＥＶＣ）とに記載された制約に基づいて定義された同期サンプルの場合、ビデオエンコーダ２０または別のデバイスは、同期サンプルに対応するサンプルエントリ中に、または同期サンプル自体の中に、同期サンプルを復号するために必要とされるすべてのパラメータセットデータを含め得る（１９２）。このようにして、ビデオエンコーダ２０または別のデバイスは、同期サンプルに対応するサンプルエントリ中に、または同期サンプル自体の中にのみ、同期サンプルを復号する際に使用するためのパラメータセットデータを含め得る。
【０１９７】
[0177]非同期サンプルの場合、ＩＳＯＢＭＦＦのセクション４．８（ＡＶＣ）と、セクション６．５．５（ＳＶＣ）と、セクション７．５．３（ＭＶＣ）と、セクション８．４．３（ＨＥＶＣ）とに記載された制約に基づいて定義されているように、ビデオエンコーダ２０または別のデバイスは、非同期サンプルに対応するサンプルエントリ中に、非同期サンプル自体の中に、復号順序で非同期サンプルの前にある前の同期サンプル中に、または復号順序で非同期サンプルの前に、および前の同期サンプルの後に生じるサンプル中に、非同期サンプルのためのすべてのパラメータセットデータを含め得る（１９４）。このようにして、ビデオエンコーダ２０または別のデバイスは、非同期サンプルに対応するサンプルエントリ、非同期サンプル自体、復号順序で前の同期サンプル中に、または復号順序で非同期サンプルの前に、および前の同期サンプルの後に生じるサンプル中にのみ、同期サンプルを復号する際に使用するためのパラメータセットデータを含め得る。したがって、ビデオデコーダ３０が、非同期サンプルに対応するサンプルエントリ、非同期サンプル自体、同期サンプルとしてコーディングされる前のサンプル、あるいは復号順序で非同期サンプルの前に生じるが、復号順序で同期サンプルとしてコーディングされる前のサンプルに後続する１つまたは複数のサンプル以外のどんなロケーションからも、非同期サンプルのためのパラメータセットデータを復号し得ないように、ビデオエンコーダ２０は、サンプルのためのパラメータセットデータをいくつかのロケーションに制約し得る。言い換えれば、同期サンプルでない現在のサンプルの場合、ビデオエンコーダ２０は、サンプルエントリ中で、あるいは両端を含む、すなわち、前の同期サンプルの後にあるが現在の非同期サンプルの前にある１つまたは複数のサンプルを含む、および現在の非同期サンプルと前の同期サンプルとを含む、前の同期サンプルから現在のサンプルまでのサンプルのいずれかの中でのみ、パラメータセットデータを符号化し得る。
【０１９８】
[0178]ビデオエンコーダ２０は、次いで、ビデオデータのサンプルを含むファイルを生成し得る（１９６）。ファイル中のサンプルは、上記で説明した同期サンプルおよび／または非同期サンプルを含み得る。ファイルは、１つまたは複数の同期サンプルと１つまたは複数の非同期サンプルとを含む、複数のサンプルを含み得る。このようにして、図６は、ビデオデータのサンプルが同期サンプルであるかどうかを決定し、サンプルが同期サンプルでない（すなわち、非同期サンプルである）と決定することに基づいて、非同期サンプルのためのサンプルエントリ中に、非同期サンプル自体の中に、復号順序で非同期サンプルより前にあり、同期サンプルであるサンプル中に、あるいは非同期サンプルと、同期サンプルである復号順序で前のサンプルとの間に復号順序で生じる１つまたは複数のサンプル中にのみ、ビデオデータのためのパラメータセットデータを含めるための、ビデオエンコーダ２０または別のデバイスの動作の一例について説明している。同様に、図６は、ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定し、第２のサンプルが同期サンプルであると決定することに基づいて、同期サンプルのためのサンプルエントリ中にまたは同期サンプル中にのみ、ビデオデータのためのパラメータセットデータを含めるための、ビデオエンコーダ２０または別のデバイスの動作の一例を示している。いくつかの例では、ビデオエンコーダ２０はさらに、コーディング順序で同期サンプルより前に符号化されたパラメータセット（たとえば、ＰＰＳおよびＳＰＳ）に関して、同期サンプルと（コーディング順序で）後続のサンプルとを符号化することを回避し得る。
【０１９９】
[0179]上記の例によっては、本明細書で説明した技法のうちのいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明した行為またはイベントが本技法の実施のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。
【０２００】
[0180]本開示で説明したビデオコーダは、ビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングは、適用な可能なとき、ビデオ符号化またはビデオ復号を指すことがある。
【０２０１】
[0181]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【０２０２】
[0182]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０２０３】
[0183]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。
【０２０４】
[0184]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。様々な構成要素、モジュール、またはユニットは、開示された技法を実施するように構成されたデバイスの機能的態様を強調するように本開示では記載されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
【０２０５】
[0185]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内にある。
【図１】
2018509079.tif 000004
【図２】
2018509079.tif 000005
【図３】
2018509079.tif 000006
【図４】
2018509079.tif 000007
【図５】
2018509079.tif 000008
【図６】
2018509079.tif 000009
【手続補正書】
【提出日】平成29年10月25日(2017.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを復号する方法であって、前記方法は、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記サンプルの前記ビデオデータのためのパラメータセットデータを決定することと
を備える、方法。
【請求項２】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することと
をさらに備える、請求項１に記載の方法。
【請求項３】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定することを備える、請求項１に記載の方法。
【請求項４】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定することを備える、請求項１に記載の方法。
【請求項５】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項１に記載の方法。
【請求項６】
前記決定されたパラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号することをさらに備える、請求項１に記載の方法。
【請求項７】
パラメータセットデータを決定することは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを決定することを備える、請求項１に記載の方法。
【請求項８】
ビデオデータを符号化するための方法であって、前記方法は、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を備える、方法。
【請求項９】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることと
をさらに備える、請求項８に記載の方法。
【請求項１０】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定することを備える、請求項８に記載の方法。
【請求項１１】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定することを備える、請求項８に記載の方法。
【請求項１２】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項８に記載の方法。
【請求項１３】
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化することをさらに備える、請求項８に記載の方法。
【請求項１４】
パラメータセットデータを含めることは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを含めることを備える、請求項８に記載の方法。
【請求項１５】
ビデオデータを復号するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定することと
を行うように構成された１つまたは複数のプロセッサと
を備える、デバイス。
【請求項１６】
前記１つまたは複数のプロセッサは、
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することと
を行うように構成された、請求項１５に記載のデバイス。
【請求項１７】
サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定するように構成された、請求項１５に記載のデバイス。
【請求項１８】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定するように構成された、請求項１５に記載のデバイス。
【請求項１９】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項１５に記載のデバイス。
【請求項２０】
パラメータセットデータを決定するために、前記１つまたは複数のプロセッサは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを決定するように構成された、請求項１５に記載のデバイス。
【請求項２１】
前記１つまたは複数のプロセッサが、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号するように構成された、請求項１５に記載のデバイス。
【請求項２２】
前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオデコーダを含むワイヤレス通信デバイスと
のうちの少なくとも１つを備える、請求項１５に記載のデバイス。
【請求項２３】
前記ビデオデータを表示するように構成されたディスプレイをさらに備える、請求項１５に記載のデバイス。
【請求項２４】
ビデオデータを符号化するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を行うように構成された１つまたは複数のプロセッサと
を備える、デバイス。
【請求項２５】
前記１つまたは複数のプロセッサは、
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることと
を行うように構成された、請求項２４に記載のデバイス。
【請求項２６】
同期サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定するように構成された、請求項２４に記載のデバイス。
【請求項２７】
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定するように構成された、請求項２４に記載のデバイス。
【請求項２８】
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、請求項２４に記載のデバイス。
【請求項２９】
パラメータセットデータを含めるために、前記１つまたは複数のプロセッサは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを含めるように構成された、請求項２４に記載のデバイス。
【請求項３０】
前記１つまたは複数のプロセッサが、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化するように構成された、請求項２４に記載のデバイス。
【請求項３１】
前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオエンコーダを含むワイヤレス通信デバイスと
のうちの少なくとも１つを備える、請求項２４に記載のデバイス。
【請求項３２】
前記ビデオデータを取得するように構成されたカメラをさらに備える、請求項２４に記載のデバイス。
【請求項３３】
ビデオデータを復号するためのデバイスであって、前記デバイスは、
ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定するための手段と
を備える、デバイス。
【請求項３４】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定するための手段と、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定するための手段と
をさらに備える、請求項３３に記載のデバイス。
【請求項３５】
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号するための手段をさらに備える、請求項３３に記載のデバイス。
【請求項３６】
ビデオデータを符号化するためのデバイスであって、前記デバイスは、
ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めるための手段と
を備える、デバイス。
【請求項３７】
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定するための手段と、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めるための手段と
をさらに備える、請求項３６に記載のデバイス。
【請求項３８】
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化するための手段をさらに備える、請求項３６に記載のデバイス。
【請求項３９】
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されると、１つまたは複数のプロセッサに、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定することと
を行わせる、非一時的コンピュータ可読媒体。
【請求項４０】
前記命令は、ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することとを前記１つまたは複数のプロセッサに行わせる、請求項３９に記載のコンピュータ可読媒体。
【請求項４１】
前記命令は、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号することを前記１つまたは複数のプロセッサに行わせる、請求項３９に記載のコンピュータ可読媒体。
【請求項４２】
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されると、１つまたは複数のプロセッサに、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を行わせる、非一時的コンピュータ可読媒体。
【請求項４３】
前記命令は、ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることとを前記１つまたは複数のプロセッサに行わせる、請求項４２に記載のコンピュータ可読媒体。
【請求項４４】
前記命令は、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化することを前記１つまたは複数のプロセッサに行わせる、請求項４２に記載のコンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２０５
【補正方法】変更
【補正の内容】
【０２０５】
[0185]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内にある。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、前記方法は、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記サンプルの前記ビデオデータのためのパラメータセットデータを決定することと
を備える、方法。
［Ｃ２］
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定することを備える、Ｃ１に記載の方法。
［Ｃ４］
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定することを備える、Ｃ１に記載の方法。
［Ｃ５］
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、Ｃ１に記載の方法。
［Ｃ６］
前記決定されたパラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号することをさらに備える、Ｃ１に記載の方法。
［Ｃ７］
パラメータセットデータを決定することは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを決定することを備える、Ｃ１に記載の方法。
［Ｃ８］
ビデオデータを符号化するための方法であって、前記方法は、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を備える、方法。
［Ｃ９］
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることと
をさらに備える、Ｃ８に記載の方法。
［Ｃ１０］
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定することを備える、Ｃ８に記載の方法。
［Ｃ１１］
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定することは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定することを備える、Ｃ８に記載の方法。
［Ｃ１２］
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、Ｃ８に記載の方法。
［Ｃ１３］
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化することをさらに備える、Ｃ８に記載の方法。
［Ｃ１４］
パラメータセットデータを含めることは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを含めることを備える、Ｃ８に記載の方法。
［Ｃ１５］
ビデオデータを復号するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定することと
を行うように構成された１つまたは複数のプロセッサと
を備える、デバイス。
［Ｃ１６］
前記１つまたは複数のプロセッサは、
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することと
を行うように構成された、Ｃ１５に記載のデバイス。
［Ｃ１７］
サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定するように構成された、Ｃ１５に記載のデバイス。
［Ｃ１８］
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定するように構成された、Ｃ１５に記載のデバイス。
［Ｃ１９］
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、Ｃ１５に記載のデバイス。
［Ｃ２０］
パラメータセットデータを決定するために、前記１つまたは複数のプロセッサは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを決定するように構成された、Ｃ１５に記載のデバイス。
［Ｃ２１］
前記１つまたは複数のプロセッサが、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号するように構成された、Ｃ１５に記載のデバイス。
［Ｃ２２］
前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオデコーダを含むワイヤレス通信デバイスと
のうちの少なくとも１つを備える、Ｃ１５に記載のデバイス。
［Ｃ２３］
前記ビデオデータを表示するように構成されたディスプレイをさらに備える、Ｃ１５に記載のデバイス。
［Ｃ２４］
ビデオデータを符号化するためのデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたメモリと、
前記ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を行うように構成された１つまたは複数のプロセッサと
を備える、デバイス。
［Ｃ２５］
前記１つまたは複数のプロセッサは、
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることと
を行うように構成された、Ｃ２４に記載のデバイス。
［Ｃ２６］
同期サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプルのビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれているコード化ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、または切断リンクアクセス（ＢＬＡ）ピクチャであることを示すかどうかを決定するように構成された、Ｃ２４に記載のデバイス。
［Ｃ２７］
ビデオデータの前記サンプルが同期サンプルであるかどうかを決定するために、前記１つまたは複数のプロセッサは、前記サンプル中のビデオデータネットワークアブストラクションレイヤ（ＮＡＬ）ユニットが、前記サンプル中に含まれている１次ピクチャが瞬時復号リフレッシュ（ＩＤＲ）ピクチャであることを示すかどうかを決定するように構成された、Ｃ２４に記載のデバイス。
［Ｃ２８］
前記サンプルが、高効率ビデオコーディング（ＨＥＶＣ）と、高効率スケーラブルビデオコーディング（ＳＨＶＣ）と、マルチビュー高効率ビデオコーディング（ＭＶ−ＨＥＶＣ）と、アドバンストビデオコーディング（ＡＶＣ）と、スケーラブルビデオコーディング（ＳＶＣ）と、マルチビュービデオコーディング（ＭＶＣ）とのうちの少なくとも１つに準拠する、Ｃ２４に記載のデバイス。
［Ｃ２９］
パラメータセットデータを含めるために、前記１つまたは複数のプロセッサは、前記サンプルが同期サンプルでないと決定することに基づいて、および前記サンプルに関連するサンプルエントリ名に基づいて前記パラメータセットデータを含めるように構成された、Ｃ２４に記載のデバイス。
［Ｃ３０］
前記１つまたは複数のプロセッサが、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化するように構成された、Ｃ２４に記載のデバイス。
［Ｃ３１］
前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオエンコーダを含むワイヤレス通信デバイスと
のうちの少なくとも１つを備える、Ｃ２４に記載のデバイス。
［Ｃ３２］
前記ビデオデータを取得するように構成されたカメラをさらに備える、Ｃ２４に記載のデバイス。
［Ｃ３３］
ビデオデータを復号するためのデバイスであって、前記デバイスは、
ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定するための手段と
を備える、デバイス。
［Ｃ３４］
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定するための手段と、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定するための手段と
をさらに備える、Ｃ３３に記載のデバイス。
［Ｃ３５］
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号するための手段をさらに備える、Ｃ３３に記載のデバイス。
［Ｃ３６］
ビデオデータを符号化するためのデバイスであって、前記デバイスは、
ビデオデータのサンプルが同期サンプルであるかどうかを決定するための手段と、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めるための手段と
を備える、デバイス。
［Ｃ３７］
ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定するための手段と、
前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプル中にのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めるための手段と
をさらに備える、Ｃ３６に記載のデバイス。
［Ｃ３８］
前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化するための手段をさらに備える、Ｃ３６に記載のデバイス。
［Ｃ３９］
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されると、１つまたは複数のプロセッサに、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプルから、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプルからのみ、前記ビデオデータのためのパラメータセットデータを決定することと
を行わせる、非一時的コンピュータ可読媒体。
［Ｃ４０］
前記命令は、ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリからまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを決定することとを前記１つまたは複数のプロセッサに行わせる、Ｃ３９に記載のコンピュータ可読媒体。
［Ｃ４１］
前記命令は、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを復号することを前記１つまたは複数のプロセッサに行わせる、Ｃ３９に記載のコンピュータ可読媒体。
［Ｃ４２］
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、実行されると、１つまたは複数のプロセッサに、
ビデオデータのサンプルが同期サンプルであるかどうかを決定することと、
前記サンプルが同期サンプルでないと決定することに基づいて、前記サンプルのためのサンプルエントリ、前記サンプル、同期サンプルである復号順序で前のサンプル中に、または前記サンプルと、同期サンプルである復号順序で前記前のサンプルとの間の復号順序で生じるサンプル中にのみ、前記ビデオデータのためのパラメータセットデータを含めることと
を行わせる、非一時的コンピュータ可読媒体。
［Ｃ４３］
前記命令は、ビデオデータの第２のサンプルが同期サンプルであるかどうかを決定することと、前記第２のサンプルが同期サンプルであると決定することに基づいて、前記第２のサンプルのためのサンプルエントリ中にまたは前記第２のサンプルからのみ前記第２のサンプルの前記ビデオデータのためのパラメータセットデータを含めることとを前記１つまたは複数のプロセッサに行わせる、Ｃ４２に記載のコンピュータ可読媒体。
［Ｃ４４］
前記命令は、前記パラメータセットデータに基づいて前記サンプルの前記ビデオデータを符号化することを前記１つまたは複数のプロセッサに行わせる、Ｃ４２に記載のコンピュータ可読媒体。
【国際調査報告】
2018509079.tif 000010
2018509079.tif 000011
2018509079.tif 000012