(57)【特許請求の範囲】
【請求項１】
ビデオデータを処理するための方法であって、
前記ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、ここで、前記第１のＮＡＬユニットのＮＡＬユニットタイプはブロークンリンクピクチャの存在を示し、
前記第１のＮＡＬユニットの前記ＮＡＬユニットタイプに基づいて、前記ブロークンリンクピクチャを検出することと、
を備え、
前記ブロークンリンクピクチャを検出することは、ランダムアクセスが行われるクリーンランダムアクセス（ＣＲＡ）ピクチャを、前記ブロークンリンクピクチャとして検出することを備え、
前記ブロークンリンクピクチャとして検出される前記ＣＲＡピクチャの先行ピクチャは、復号可能でない先行ピクチャである、方法。
【請求項２】
前記ブロークンリンクピクチャを検出することは、先行ピクチャのあるブロークンリンクピクチャを検出することを備え、前記方法は、
前記先行ピクチャを破棄することと、
前記第１のＮＡＬユニットをビデオ処理デバイスに送信することと、
をさらに備える、請求項１に記載の方法。
【請求項３】
前記第１のＮＡＬユニットをビデオ処理デバイスに送信することと、
第２のＮＡＬユニットを受信することと、
前記第２のＮＡＬユニットについてＮＡＬユニットタイプを決定することと、
前記第２のＮＡＬユニットについての前記ＮＡＬユニットタイプに基づいて、復号可能な先行ピクチャのあるＣＲＡピクチャを検出することと、ここで、前記第２のＮＡＬユニットについての前記ＮＡＬユニットタイプは前記第１のＮＡＬユニットタイプとは異なる、
をさらに備える、請求項１に記載の方法。
【請求項４】
前記方法はビデオ処理エンティティによって実行され、前記ビデオ処理エンティティは、前記ＮＡＬユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく前記ブロークンリンクピクチャを検出する、請求項１に記載の方法。
【請求項５】
ブロークンリンクピクチャの検出に応答して、前記ビデオデータをコーディングするための１つまたは複数の新たなパラメータセットをアクティブにすることをさらに備える、請求項１に記載の方法。
【請求項６】
前記１つまたは複数の新たなパラメータセットは、適応パラメータセット（ＡＰＳ）、シーケンスパラメータセット（ＳＰＳ）、およびピクチャパラメータセット（ＰＰＳ）のうちの１つまたは複数を備える、請求項５に記載の方法。
【請求項７】
前記１つまたは複数のパラメータセットの１つに対する識別情報（ＩＤ）が、前に復号されたピクチャのアクティブなパラメータセットと同じである、請求項５に記載の方法。
【請求項８】
前記方法は、ビデオデコーダによって、またはメディアアウェアネットワーク要素（ＭＡＮＥ）によって実行される、請求項１に記載の方法。
【請求項９】
ビデオデータを処理するための方法であって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、
前記ＮＡＬユニットが、ブロークンリンクピクチャを備えるか、復号可能な先行ピクチャのあるクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるかを決定することと、
前記決定に基づいて、前記ＮＡＬユニットについてのＮＡＬユニットタイプを設定することと、
を備え、
前記ＮＡＬユニットがブロークンリンクピクチャを備えると決定することは、ランダムアクセスが行われるＣＲＡピクチャを前記ブロークンリンクピクチャとして決定することを備え、
前記ブロークンリンクピクチャであると決定される前記ＣＲＡピクチャの先行ピクチャは、復号可能でない先行ピクチャである、方法。
【請求項１０】
前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えると決定することは、前記ＮＡＬユニットが先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記ＮＡＬユニットタイプは、前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項９に記載の方法。
【請求項１１】
前記ＮＡＬユニットが復号可能な先行ピクチャのあるＣＲＡピクチャを備えると決定することは、前記ＮＡＬユニットタイプが、前記ＮＡＬユニットが前記復号可能な先行ピクチャのあるＣＲＡピクチャを備えることを示すとき、前記ＮＡＬユニットが復号可能な先行ピクチャのあるＣＲＡピクチャを備えると決定することを備える、請求項１０に記載の方法。
【請求項１２】
前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定することは、前記ＮＡＬユニットが復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記ＮＡＬユニットタイプは、前記ＮＡＬユニットが前記復号可能なまたは復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えることを示す、請求項１０に記載の方法。
【請求項１３】
前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えると決定することは、前記ＮＡＬユニットが先行ピクチャのないブロークンリンクピクチャを備えると決定することを備え、前記ＮＡＬユニットタイプは、前記ＮＡＬユニットが前記先行ピクチャのないブロークンリンクピクチャを備えることを示す、請求項１０に記載の方法。
【請求項１４】
ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信する手段と、ここで、前記第１のＮＡＬユニットのＮＡＬユニットタイプはブロークンリンクピクチャの存在を示し、
前記第１のＮＡＬユニットの前記ＮＡＬユニットタイプに基づいて、前記ブロークンリンクピクチャを検出する手段と、
を備え、
前記ブロークンリンクピクチャを検出する手段は、ランダムアクセスが行われるクリーンランダムアクセス（ＣＲＡ）ピクチャを前記ブロークンリンクピクチャとして検出する手段を備え、前記ブロークンリンクピクチャとして検出される前記ＣＲＡピクチャの先行ピクチャは、復号可能でない先行ピクチャである、デバイス。
【請求項１５】
ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信する手段と、
前記ＮＡＬユニットがブロークンリンクピクチャを備えるか、復号可能な先行ピクチャのあるクリーンランダムアクセス（ＣＲＡ）ピクチャを備えるかを決定する手段と、
前記決定に基づいて、前記ＮＡＬユニットについてのＮＡＬユニットタイプを設定する手段と、
を備え、
前記ＮＡＬユニットがブロークンリンクピクチャを備えると決定することは、ランダムアクセスが行われるＣＲＡピクチャを前記ブロークンリンクピクチャとして決定することを備え、
前記ブロークンリンクピクチャであると決定される前記ＣＲＡピクチャの先行ピクチャは、復号可能でない先行ピクチャである、デバイス。
【請求項１６】
１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、請求項１−１３のうちのいずれか一項にしたがった前記方法を行わせる命令を記憶するコンピュータ可読記憶媒体。
【発明の詳細な説明】
【優先権の主張】
【０００１】
本出願は、各々の内容全体が参照により本明細書に組み込まれる、
２０１２年４月２０日に出願された米国仮特許出願第６１／６３６，５６６号、
２０１２年５月４日に出願された米国仮特許出願第６１／６４３，１００号、および
２０１２年７月２日に出願された米国仮特許出願第６１／６６７，３７１号
の利益を主張する。
【技術分野】
【０００２】
本開示は、ビデオコーディングに関し、より詳細には、コード化ビデオデータにランダムアクセスすることに関係付けられる技法に関する。
【背景技術】
【０００３】
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイス、トランスコーダ、ルータまたは他のネットワークデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ  １０、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中のＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法のような、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
【０００４】
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部）はビデオブロックに区分化されてもよく、これらのビデオブロックは、ツリーブロック、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれる場合もある。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他のピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれる場合があり、参照ピクチャは参照フレームと呼ばれる場合がある。ビデオシーケンスはビットストリームと呼ばれる場合もある。
【０００５】
[0005]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成されている量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。
【発明の概要】
【０００６】
[0006]本開示は、ストリーム適応、および、クリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャに基づくスプライシングの強化されたサポートのための様々な技法を記載する。本開示は、ブロークンリンク（broken link）ピクチャが存在することを示すスライスヘッダ内のフラグを使用する代わりに、別個の（distinct）ネットワーク抽象レイヤ（ＮＡＬ）ユニットタイプがブロークンリンクピクチャの存在を示すのに使用され得ることを提案する。本開示の技法の一部の実施態様では、第１の別個のＮＡＬユニットタイプが、先行ピクチャ（leading picture）のあるブロークンリンクピクチャの存在を示すのに使用され得、一方で第２の別個のＮＡＬユニットタイプが、先行ピクチャのないブロークンリンクピクチャの存在を示す。加えて、一部の実施態様では、第３の別個のＮＡＬユニットタイプが、復号可能な先行ピクチャのあるブロークンリンクピクチャの存在を示すのに使用され得る。
【０００７】
[0007]一例では、ビデオデータを処理するための方法は、ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出することとを含む。
【０００８】
[0008]別の例では、ビデオデータを処理するための方法は、ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、ＮＡＬユニットがブロークンリンクピクチャを備えると決定することと、当該ＮＡＬユニットのＮＡＬユニットタイプを、ＮＡＬユニットがブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定することとを含む。
【０００９】
[0009]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出することとを行うように構成されている１つまたは複数のプロセッサを含む。
【００１０】
[0010]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、ＮＡＬユニットがブロークンリンクピクチャを備えると決定することと、当該ＮＡＬユニットのＮＡＬユニットタイプを、ＮＡＬユニットがブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定することと、を行うように構成されている１つまたは複数のプロセッサを含む。
【００１１】
[0011]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信する手段と、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出する手段とを含む。
【００１２】
[0012]別の例では、ビデオデータを処理するためのデバイスは、ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信する手段と、ＮＡＬユニットがブロークンリンクピクチャを備えると決定する手段と、そのＮＡＬユニットのＮＡＬユニットタイプを、ＮＡＬユニットがブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定する手段とを含む。
【００１３】
[0013]別の例では、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、を行わせる命令を記憶しているコンピュータ可読記憶媒体。
【００１４】
[0014]別の例では、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、ＮＡＬユニットがブロークンリンクピクチャを備えると決定することと、当該ＮＡＬユニットのＮＡＬユニットタイプを、ＮＡＬユニットがブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定することと、を行わせる命令を記憶しているコンピュータ可読記憶媒体。
【００１５】
[0015]１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１６】
【図１】本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。
【図２Ａ】クリーンランダムアクセスピクチャの概念を示す概念図。
【図２Ｂ】クリーンランダムアクセスピクチャの概念を示す概念図。
【図３】本開示で説明される技法を実装し得る例示的なビデオエンコーダを示すブロック図。
【図４】本開示で説明される技法を実装し得る例示的なビデオデコーダを示すブロック図。
【図５】ビデオデータの通信のためのネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。
【図６】本開示で説明される技法による、ＲＡＰピクチャを含む例示的なビデオシーケンスを示す図。
【図７】本開示で説明される１つまたは複数の例による、ＲＡＰピクチャをコーディングするための例示的な方法を示す流れ図。
【図８】本開示で説明される１つまたは複数の例による、ＲＡＰピクチャをコーディングするための例示的な方法を示す流れ図。
【図９】本開示で説明される１つまたは複数の例による、ＲＡＰピクチャをコーディングするための例示的な方法を示す流れ図。
【図１０】本開示で説明される１つまたは複数の例による、スライスを復号するための例示的な方法を示す流れ図。
【図１１】本開示で説明される１つまたは複数の例による、スライスを符号化するための例示的な方法を示す流れ図。
【図１２】本開示の例示的なビデオ処理技法を示す流れ図。
【発明を実施するための形態】
【００１７】
[0028]本開示は、クリーンランダムアクセス（ＣＲＡ）ピクチャに基づくストリーム適応およびスプライシングの強化されたサポートのための様々な技法を記載する。ランダムアクセスは、一般に、ビットストリーム中の最初のコード化ピクチャではないコード化ピクチャから始まる、ビデオビットストリームの復号を指す。ビットストリームへのランダムアクセスは、ブロードキャストおよびストリーミングのような多くのビデオアプリケーションにとって望ましいものであり得る。たとえば、ランダムアクセスは、ユーザが、異なるチャネルの間で切り替えること、ビデオの特定の部分にジャンプすること、または、ストリーム適応（たとえば、ビットレート、フレームレート、空間分解能などの適応）のために異なるビットストリームに切り替えることを可能にすることができる。ランダムアクセスは、ビデオビットストリーム内にランダムアクセスポイント（ＲＡＰ：random access point）ピクチャとも呼ばれるランダムアクセスピクチャを規則的または不規則な（ただし、一般的には規則的な）間隔で挿入することによって可能にされ得る。
【００１８】
[0029]本開示の技法は、様々な異なるコーディング規格に従って実装されてもよいことが企図されている。説明のために、本開示の技法は、来たるＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）規格の技法に関して主に論じられる。「ＨＥＶＣ  Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ６」または「ＷＤ６」と呼ばれるＨＥＶＣ規格の１つの中間的草稿は、２０１３年３月１１日現在ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｓａｎ％２０Ｊｏｓｅ／ｗｇ１１／ＪＣＴＶＣ−Ｈ１００３−ｖ２２．ｚｉｐからダウンロード可能である、文書ＪＣＴＶＣ−Ｈ１００３、Ｂｒｏｓｓら、「Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  （ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ６」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第８回会合：米国カリフォルニア州サンノゼ、２０１２年２月に記載されている。ＨＥＶＣ規格は発展し続けおり、２０１３年３月１１日現在ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ１８．ｚｉｐからダウンロード可能である文書ＪＣＴＶＣ−Ｌ１００３＿ｖ１８、Ｂｒｏｓｓら、「Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  Ｔｅｘｔ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｄｒａｆｔ  １０」、ＩＴＵ−Ｔ  ＳＧ１６  ＷＰ３とＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会合：スイス国ジュネーブ２０１３年１月１４〜２３日に記載されている「ＨＥＶＣ  Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  １０」または「ＷＤ１０」と呼ばれるＨＥＶＣ規格のより新しいドラフト。ＷＤ６およびＷＤ１０の各々の内容全体は、参照により本明細書に組み込まれる。
【００１９】
[0030]瞬時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャがランダムアクセスに使用され得る。しかしながら、ＩＤＲピクチャはコード化ビデオシーケンスの始まりにあり、常に復号ピクチャバッファ（ＤＰＢ）をクリーンにするため、復号順序においてＩＤＲの後にくるピクチャは、ＩＤＲピクチャより前に復号されたピクチャを参照ピクチャとして使用することができない。したがって、ランダムアクセスについてＩＤＲピクチャに依存するビットストリームは非常に低いコーディング効率を有する可能性がある。コーディング効率を改善するために、ＣＲＡピクチャの概念が、復号順序においてはＣＲＡピクチャの後にくるが出力順序においてはＣＲＡピクチャの前にくるピクチャがＣＲＡピクチャより前に復号されたピクチャを参照ピクチャとして使用することを可能にするために導入された（たとえば、インター予測のための参照ピクチャ）。
【００２０】
[0031]復号順序においてはＣＲＡピクチャの後にくるが出力順序においてはＣＲＡピクチャの前にくるピクチャは、ＣＲＡピクチャの先行ピクチャと呼ばれる。現在のＣＲＡピクチャの前にあるＩＤＲまたはＣＲＡピクチャから復号が始まる場合、ＣＲＡピクチャの先行ピクチャは正確に復号され得る。しかしながら、ＣＲＡピクチャからのランダムアクセスが行われるとき、ＣＲＡピクチャの先行ピクチャを正確に復号することができない。したがって、これらの先行ピクチャは、ランダムアクセス復号中は一般的に破棄される（すなわち、ビットストリームから除去される）。復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、復号順序と出力順序の両方においてＣＲＡピクチャの後にくるすべてのピクチャは、復号順序または出力順序のいずれかにおいて（先行ピクチャを含む）ＣＲＡピクチャの前にくるいかなるピクチャも参照ピクチャとして使用しない。
【００２１】
[0032]上記で説明されたものと同様のランダムアクセス機能が、補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）メッセージ内で回復点を使用することによって、Ｈ．２６４／ＡＶＣにおいてサポートされている。Ｈ．２６４／ＡＶＣビデオデコーダ実施態様は、そのような機能をサポートしている場合もあるし、またはしていない場合もある。ＨＥＶＣにおいて、ＣＲＡピクチャで始まるビットストリームはコンフォーミング（conforming）ビットストリームとして考慮される。ビットストリームがＣＲＡピクチャで始まるとき、ＣＲＡピクチャの先行ピクチャは、利用不可能な参照ピクチャを参照し得、したがって、正確に復号されないことがある。しかしながら、ＨＥＶＣは、開始ＣＲＡピクチャの先行ピクチャは出力されず、したがってその名称が「クリーンランダムアクセス」であると規定している。ビットストリームコンフォーマンスの確立のために、ＨＥＶＣは、非出力先行ピクチャの復号のための利用不可能な参照ピクチャを生成するための復号プロセスを規定しているが、コンフォーミングデコーダ実装は、復号プロセスがコード化ビデオシーケンスの始めから実行される場合と比較してデコーダが同一の出力を生成することができる限り、その復号プロセスに従う必要はない。
【００２２】
[0033]来たるＨＥＶＣ規格の一部のバージョンでは、コンフォーミングビットストリームはＩＤＲピクチャをまったく含まなくてもよく、したがって、コード化ビデオシーケンスのサブセットまたは不完全なコード化ビデオシーケンスを含んでもよい。ＨＥＶＣにおいて、コード化ビデオシーケンスは、復号順序において、ＩＤＲアクセスユニットと、次のＩＤＲアクセスユニットまでの全てのアクセスユニットとを含むが当該次のアクセスは含まない０個以上の非ＩＤＲアクセスユニットと、から構成される一連のアクセスユニットとして定義されている。
【００２３】
[0034]「ブロークンリンクをもつＣＲＡピクチャ」の概念は、様々なＨＥＶＣの提案において紹介されている。ＣＲＡの概念と比較して、ブロークンリンクをもつＣＲＡピクチャは、付加的に、ビットストリームの始まりにないＣＲＡピクチャが、ビットストリームを開始するＣＲＡピクチャが持つことができるような復号可能でない先行ピクチャを有することを可能にすることを提案している。ＨＥＶＣ  ＷＤ６では、ビットストリームを開始するＣＲＡピクチャは、参照ピクチャが前にないために復号され得ない先行ピクチャを復号順序（ビットストリーム順序とも呼ばれる）において後に続けることが可能とされている。しかしながら、ビットストリームの中ほどにあるＣＲＡピクチャは、そのような復号可能でない先行ピクチャを有することを可能とされていない。そのような復号可能でない先行ピクチャが存在する可能性を示す「ブロークンリンク」フラグを追加することによってこの制約が取り除かれることが提案されている。
【００２４】
[0035]「ブロークンリンク」フラグは、スライスヘッダ、または適応パラメータセット（ＡＰＳ：adaptation parameter set）のような、ピクチャレベル情報のための何らかの他の場所の中のＣＲＡピクチャのピクチャレベル情報として提案されている。ブロークンリンクフラグが１に等しいとき、ビットストリームがビットストリーム順序において前にあるＩＤＲピクチャまたはＣＲＡピクチャから始まっているとしても、当該ビットストリームは、先行する参照ピクチャがないために復号可能でない、ＣＲＡピクチャの（複数の）先行ピクチャを含むことが可能となる。
【００２５】
[0036]１に等しい「ブロークンリンク」フラグをもつＣＲＡピクチャについて、ＣＲＡピクチャは付加的に、上記で言及されたような復号可能でない先行ピクチャを有することを可能にされる。既存の「ブロークンリンクをもつＣＲＡピクチャ」手法、および他の既存のビデオランダムアクセス手法は、様々な問題および欠点の可能性に関連付けられる。たとえば、スライスヘッダまたはＡＰＳの中の「ブロークンリンク」フラグのシグナリングは、フラグを符号化するためにスライスヘッダおよび／またはＡＰＳをエントロピー符号化すること、ならびに、パースすることを可能にするための、必要とされるときに通常のＣＲＡピクチャをブロークンリンクＣＲＡ（ＢＬＣ：broken-link CRA）ピクチャに変化させるエンティティ（たとえば、サーバ、メディアアウェアネットワーク要素（ＭＡＮＥ：media-aware network element）、またはビデオエディタ／スプライサ）を必要とする。これはまた、フラグを見つけるために、スライスヘッダおよび／またはＡＰＳをエントロピー復号すること、ならびに、パースすることを可能にするための、必要とされるときにＢＬＣピクチャを識別するエンティティ（たとえば、サーバ、ＭＡＮＥ、またはビデオエディタ）も必要とする。ＢＬＣピクチャは、たとえば、ＨＥＶＣ規格のより最近のバージョンにおいて、ブロークンリンクアクセス（ＢＬＡ：broken link access）ピクチャと呼ばれることもある。本開示において、これらの用語は交換可能であると考えられ得る。
【００２６】
[0037]本開示は、上記で説明された欠点に対処することができる技法を説明する。本開示は、ＢＬＣピクチャが存在することを示すスライスヘッダ内のフラグを使用する代わりに、別個のネットワーク抽象レイヤ（ＮＡＬ）ユニットタイプがリンクがＢＬＣピクチャの存在を示すのに使用され得ることを提案する。本開示の技法の一部の実施態様では、第１の別個のＮＡＬユニットタイプが、先行ピクチャをもつＢＬＣ（ＢＬＡとしても知られている）ピクチャの存在を示すのに使用され得、一方で第２の別個のＮＡＬユニットタイプが、先行ピクチャを持たないＢＬＣピクチャの存在を示す。加えて、一部の実施態様では、第３の別個のＮＡＬユニットタイプが、復号可能な先行ピクチャのあるブロークンリンクピクチャの存在を示すのに使用され得る。
【００２７】
[0038]コード化ビデオデータはＮＡＬユニットに編成され、その各々は、実効的に、整数バイトを含むパケットである。各ＮＡＬユニットの最初のバイトは、ＮＡＬユニット内のデータのタイプの指示を含むヘッダバイトであり、残りのバイトは、ヘッダによって示されるタイプのペイロードデータを含む。ＮＡＬユニットは、一般的に、２つの主なカテゴリ、すなわち、ビデオコーディングレイヤデータを含むＮＡＬユニットと、ビデオコーディングレイヤデータを含まないＮＡＬユニットとに分けられる。ＮＡＬユニットのこれらの２つのカテゴリは、一般的に、それぞれＶＣＬ  ＮＡＬユニットおよび非ＶＣＬ  ＮＡＬユニットと呼ばれる。非ＶＣＬ  ＮＡＬユニットは、たとえば、補足エンハンスメント情報のためのＮＡＬユニットタイプ、および、パラメータセット情報のためのＮＡＬユニットタイプを含む。
【００２８】
[0039]本開示の技法によれば、一例では、２に等しいＮＡＬユニットタイプ（ＨＥＶＣ  ＷＤ６において確保されている）は、ブロークンリンクピクチャ、たとえば、別様にＢＬＡピクチャと称されるＢＬＣピクチャの存在を示すのに使用され得る。本開示において説明されているように、専用ＮＡＬユニットタイプを使用することによって、エンティティ（たとえば、サーバ、ＭＡＮＥ、またはビデオエディタ／スプライサ）が、通常のＣＲＡピクチャであって、そのピクチャからビットストリームが始まらない場合、すべての関連付けられる先行ピクチャは復号可能でなければならない（すなわち、正確に復号され得る）通常のＣＲＡピクチャを、必要とされるときにはスライスヘッダ構文、ＡＰＳ構文、または他のビットストリーム構文をエントロピー符号化または復号することなくＢＬＣピクチャであるように変化させることができる。加えて、本開示の技法を実施することによって、エンティティ（たとえば、サーバ、ＭＡＮＥ、またはビデオエディタ）が、必要とされるときにはスライスヘッダ構文、ＡＰＳ構文、または他のビットストリーム構文をエントロピー復号することなくＢＬＣピクチャを識別することができる。
【００２９】
[0040]ブロークンリンクピクチャの存在を示すために１つまたは複数の別個のＮＡＬユニットタイプを使用することが、本開示において紹介されている１つの技法である。追加の技法も下記に紹介されることになる。これらの追加の技法は、すでに紹介された専用ＮＡＬユニットに代えて、または、それらとともに使用されてもよい。
【００３０】
[0041]図１は、本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４が後に復号し得る符号化ビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対応し得る。
【００３１】
[0042]場合によっては、ビデオエンコーダ２０は、時間レイヤ替え点（temporal layer switching point）のような、ランダムアクセス点またはストリーム適応点の後にくる１つまたは複数のピクチャを符号化し得る。たとえば、これは、ビットレート、フレームレートまたは空間分解能の適応のための切替え点であり得る。これらのピクチャのうちの１つまたは複数は、ビデオシーケンス内のＣＲＡピクチャの先行ピクチャであり得る。デコーダは、ビデオシーケンスの復号が、ビデオシーケンス内で現在のＣＲＡピクチャの前のＲＡＰピクチャから始まる場合には、ＣＲＡピクチャの先行ピクチャを正確に復号し得る。しかしながら、ＣＲＡピクチャからのランダムアクセスが行われるとき、ＣＲＡピクチャの先行ピクチャは正確に復号され得ない。たとえば、先行ピクチャは、利用不可能である予測参照に関するブロックを指し得る。したがって、先行ピクチャは、ビデオデコーダ３０において復号可能でない場合がある。したがって、宛先デバイス１４は、一般的に、ランダムアクセス復号中はこれらの先行ピクチャを破棄し得る。
【００３２】
[0043]別の例では、ＢＬＡ、すなわち、ＢＬＣ、ピクチャについて、エンコーダ２０は、フラグ、たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ（より正確にシンタックス要素と呼ばれる場合がある）を符号化し得、それによって、ＤＰＢにおいて前にあるピクチャのいずれも出力されない。一部の例では、このフラグ、またはシンタックス要素は、エントロピー復号の前はスライスヘッダ内の初めにあってもよく、それによって、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。ＭＡＮＥのような、それほど洗練されていないデバイスがエントロピーデコーダを必要とすることなく情報にアクセスすることができるために、たとえばｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇがエントロピー復号される必要がない。例示として、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓフラグは、たとえば、可変長ｕｅ（ｖ）要素のようなエントロピーコード化シンタックス要素の代わりに、たとえば、固定長ｕ（１）要素のような非エントロピーコード化シンタックス要素として提示され得る。ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓフラグは、たとえば、ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｉｎ＿ｐｉｃフラグの直後で、任意のエントロピーコード化シンタックス要素の前に提示され得る。
【００３３】
[0044]一例では、ビデオデコーダ３０は、参照ピクチャバッファ内に記憶されているピクチャを、たとえば、これらのピクチャを使用する結果として不正確に復号されたピクチャがもたらされ得るときに、参照のために使用されないものとしてマーキングし得る。たとえば、復号順序または出力順序においてＢＬＡまたはＢＬＣピクチャの前にくる参照ピクチャは、復号順序においてＢＬＡまたはＢＬＣピクチャの後にくる先行ピクチャに対する参照のためには使用不可能であり得る。したがって、ビデオデコーダ３０によって、復号順序または出力順序においてＢＬＡまたはＢＬＣピクチャの前にくる参照ピクチャは、復号順序においてＢＬＡまたはＢＬＣピクチャの後にくる先行ピクチャに対する参照のためには使用不可能であり得るを受信することに応答して、参照のためには使用されないものとしてマーキングされ得る。
【００３４】
[0045]一例では、ビデオエンコーダ２０は、ＢＬＡまたはＢＬＣピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたＮＡＬユニットタイプを含むように構成され得る。たとえば、１つの規格では、ＮＡＬユニットタイプ１６、ＢＬＡ＿Ｗ＿ＬＰ（先行ピクチャを有するＢＬＡ）；ＮＡＬユニットタイプ１７、ＢＬＡ＿Ｗ＿ＤＬＰ（復号可能な先行ピクチャを有するＢＬＡ）；およびＮＡＬユニットタイプ１８、ＢＬＡ＿Ｎ＿ＬＰ（先行ピクチャを有しないＢＬＡ）が含まれる。ＢＬＡ＿Ｗ＿ＬＰに等しいＮＡＬユニットタイプを有するＢＬＡピクチャは、ビットストリーム内に存在する、関連付けられる復号可能なまたは復号可能でない先行ピクチャを有し得る。ＢＬＡ＿Ｗ＿ＤＬＰに等しいＮＡＬユニットタイプを有するＢＬＡピクチャは、ビットストリーム内に存在する、関連付けられる復号可能でない先行ピクチャを有しないが、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有し得る。ＢＬＡ＿Ｎ＿ＬＰに等しいＮＡＬユニットタイプを有するＢＬＡピクチャは、ビットストリーム内に存在する、関連付けられる先行ピクチャ（復号可能なまたは復号可能でない、のいずれか）を有し得ない。
【００３５】
[0046]一例では、ビデオエンコーダ２０は、ＢＬＡピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたＮＡＬユニットタイプを処理し得る。たとえば、ビデオエンコーダ２０は、複数の異なるネットワーク抽象レイヤ（ＮＡＬ）ユニットタイプのうちの１つに従って、ピクチャを符号化することができる。複数のＮＡＬユニットタイプは、（１）ブロークンリンクアクセス（ＢＬＡ）ピクチャのコード化スライス、ここでＢＬＡピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有するＢＬＡピクチャである、（２）ＢＬＡピクチャのコード化スライス、ここでＢＬＡピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するＢＬＡピクチャである、（３）ＢＬＡピクチャのコード化スライス、ここでＢＬＡピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないＢＬＡピクチャである、のうちの１つまたは複数を含む。
【００３６】
[0047]宛先デバイス１４は、符号化ビデオデータを受信し得る。宛先デバイスは、リンク１６を介して受信されたデータを復号し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを動かすことが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化ビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路のような、任意のワイヤレスまたは有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークのような、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を支援するために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
【００３７】
[0048]代替的に、符号化データは、出力インターフェース２２からストレージデバイス３４に出力されてもよい。同様に、符号化データは、入力インターフェースによってストレージデバイス３４からアクセスされてもよい。ストレージデバイス３４は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、様々な分散したまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３４は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３４から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。ストレージデバイス３４からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
【００３８】
[0049]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例のような、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。一部の例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
【００３９】
[0050]図１の例では、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、たとえばビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムのようなソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き携帯電話またはビデオ電話を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。
【００４０】
[0051]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、宛先デバイス１４または復号および／もしくは再生のための他のデバイスによる後のアクセスのためにストレージデバイス３４上に記憶され得る。
【００４１】
[0052]宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介して符号化ビデオデータを受信する。リンク１６を介して通信され、またはストレージデバイス３４上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０のようなビデオデコーダが使用するためのビデオエンコーダ２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信される、記憶媒体上に記憶される、またはファイルサーバ上に記憶される、符号化されたビデオデータとともに含まれ得る。
【００４２】
[0053]一部の例では、宛先デバイス１４のビデオデコーダ３０は、時間レイヤ切替え点のような、ランダムアクセス点またはストリーム適応点の後にくる１つまたは複数のピクチャを復号し得る。たとえば、これは、ビットレート、フレームレートまたは空間分解能の適応のための切替え点（すなわち、時間レイヤ切替え点）であり得る。これらのピクチャのうちの１つまたは複数は先行ピクチャであり得る。ブロークンリンク（すなわち、ＢＬＡまたはＢＬＣ）ピクチャからのランダムアクセスが行われるとき、先行ピクチャは正確に復号され得ない。
【００４３】
[0054]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、ビデオデコーダ３０は、復号順序または出力順序のいずれかにおいてブロークンリンクピクチャの前にくるいかなるピクチャ（先行ピクチャを含む）も参照ピクチャとして使用し得ない。
【００４４】
[0055]様々な例では、ビデオデコーダ３０は、ＤＰＢ内のすべての参照ピクチャを、ＢＬＡまたはＢＬＣピクチャを復号するとき、ＢＬＡピクチャを復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、ビデオデコーダ３０は、復号ピクチャバッファ（ＤＰＢ）内の参照ピクチャを参照のためには使用されないとしてマーキングし得る。
【００４５】
[0056]別の例では、ＢＬＡピクチャが復号されるために、エンコーダ２０は、フラグまたは他のシンタックス要素、たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇをビットストリーム内に含み得、デコーダ３０はそれを受信し得る。フラグは、１に等しいとき、ＤＰＢ内で前にあるピクチャのいずれも表示のために出力されないことを示す。特に、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが１に等しいとき、デコーダ３０は、復号ピクチャバッファ内のすべてのピクチャ記憶バッファを、それらが含むピクチャを出力することなく空にする。いくつかの例では、このフラグ、またはシンタックス要素は、エントロピー復号の前はスライスヘッダ内のごく初めに提示され得、それによって、エントロピーコーディングを必要とすることなく、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。たとえば、たとえばｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇがエントロピー復号される必要がないために、ＭＡＮＥのような、それほど洗練されていないデバイスがデコーダを必要とすることなく情報にアクセスすることができる。
【００４６】
[0057]別の例では、ビデオデコーダ３０は、ＢＬＡまたはＢＬＣピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたＮＡＬユニットタイプを処理し得る。ここでも、上記で言及されたように、用語は異なっているが、ＢＬＡおよびＢＬＣピクチャが、ブロークンリンクＣＲＡピクチャを表すという点において、ＢＬＡピクチャはＢＬＣピクチャと概念的には同じである。一例では、ビデオデコーダ３０は、複数の異なるネットワーク抽象レイヤ（ＮＡＬ）ユニットタイプのうちの１つに従って、ピクチャを復号し得る。複数のＮＡＬユニットタイプは、（１）ブロークンリンクアクセス（ＢＬＡ）ピクチャのコード化スライス、ここでＢＬＡピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有するＢＬＡピクチャである、（２）ＢＬＡピクチャのコード化スライス、ここでＢＬＡピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するＢＬＡピクチャである、（３）ＢＬＡピクチャのコード化スライス、ここでＢＬＡピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないＢＬＡピクチャである、のうちの１つまたは複数を含む。ＢＬＡピクチャの検出に応答して、ビデオデコーダ３０は、１つまたは複数の新たなパラメータセットをアクティブにし得る。パラメータセットは、本開示において後により詳細に説明されることになる。
【００４７】
[0058]一部の例では、ビデオデコーダ３０は、ＢＬＡ  ＮＡＬユニットタイプを検出した場合、すべての参照ピクチャを参照のためには使用されないとしてマーキングするように構成されている。ＢＬＡ  ＮＡＬユニットタイプがデコーダ３０によって検出された場合、参照ピクチャは、ＢＬＡピクチャ、または、復号もしくは出力順序においてＢＬＡピクチャの後にくる任意のピクチャの復号には有効ではない。
【００４８】
[0059]ディスプレイデバイス３２は、宛先デバイス１４に一体化されても、または外付けされてもよい。一部の例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであってもよい。一般に、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような、種々のディスプレイデバイスのいずれかを備え得る。
【００４９】
[0060]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中のＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）規格のようなビデオ圧縮規格に従って動作することができ、ＨＥＶＣ  Ｔｅｓｔ  Ｍｏｄｅｌ（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ  １０、アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格のような、他のプロプライエタリもしくは業界標準、またはそのような規格の拡張に従って動作することができる。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ  Ｈ．２６３がある。ＨＭは、たとえば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣによる既存のデバイスと比較して、ビデオコーディングデバイスにいくつかの機能が追加されていると推定する。たとえば、Ｈ．２６４が９つのイントラ予測符号化モードを提供するのに対して、ＨＭは３３ものイントラ予測符号化モードを提供することができる。
【００５０】
[0061]図１には示されていないが、一部の態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、各々オーディオエンコーダおよびデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んでもよい。妥当な場合は、一部の例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３多重化プロトコル（ｍｕｌｔｉｐｌｅｘｅｒ  ｐｒｏｔｏｃｏｌ）、またはユーザデータグラムプロトコル（ＵＤＰ）など他のプロトコルに準拠することができる。
【００５１】
[0062]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアのような、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアにおいて実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
【００５２】
[0063]一般的に、ＨＭのワーキングモデルは、ビデオフレームまたはピクチャは、輝度と彩度の両方のサンプルを含むツリーブロック（ｔｒｅｅｂｌｏｃｋ）または最大コーディングユニット（ＬＣＵ）のシーケンスに分割され得ると説明している。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序において連続するいくつかのツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分化され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）に分割され得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードとしての、最終的な、分割されない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連付けられるシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
【００５３】
[0064]ＣＵは、コーディングノードと、コーディングノードに関連付けられる予測ユニット（ＰＵ：prediction unit）および変換ユニット（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状は正方形である必要がある。ＣＵのサイズは、８×８ピクセルから最大６４×６４以上のピクセルを有するツリーブロックのサイズまでに及ぶ場合がある。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含み得る。ＣＵに関連付けられるシンタックスデータは、たとえば、ＣＵを１つまたは複数のＰＵに区分化することを記述し得る。区分化モードは、ＣＵがスキップモードもしくはダイレクトモードで符号化されているか、イントラ予測モードで符号化されているか、またはインター予測モードで符号化されているかの間で異なり得る。ＰＵは、形状が非正方形になるように区分化され得る。ＣＵに関連付けられるシンタックスデータは、たとえば、４分木に従って、ＣＵを１つまたは複数のＴＵに区分化することも記述し得る。ＴＵは、形状が正方形または非正方形であり得る。
【００５４】
[0065]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従った変換を可能にする。ＴＵは、一般的には、区分化されたＬＣＵに対して規定された所与のＣＵ内のＰＵのサイズに基づいてサイズを決定されるが、これが必ずしも当てはまるとは限らない場合がある。ＴＵは、一般的には、ＰＵと同じサイズであるか、またはＰＵよりも小さい。一部の例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用して、より小さいユニットに再分割され得る。ＲＱＴのリーフノードは、変換ユニット（ＴＵ）と呼ばれる場合がある。ＴＵに関連付けられるピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。
【００５５】
[0066]一般に、ＰＵは、予測プロセスに関係付けられるデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵについてのイントラ予測モードを記述するデータを含む場合がある。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための動きベクトルを定義するデータを含む場合がある。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての分解能（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトル用の参照ピクチャリスト（たとえば、リスト０、リスト１、もしくはリストＣ）を記述することができる。
【００５６】
[0067]概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）を含む場合もある。予測に続いて、ビデオエンコーダ２０は、ＰＵに対応する残余の値を計算することができる。残差値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するために、ＴＵを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では通常、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。一部の特定の場合には、本開示は、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわちＬＣＵまたはＣＵを示すために「ビデオブロック」という用語を使用する場合もある。
【００５７】
[0068]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャのグループ（ＧＯＰ）は、一般的に、ビデオピクチャの１つまたは複数の連続を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応する場合がある。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。
【００５８】
[0069]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると想定すると、ＨＭは、ＰＵサイズが２Ｎ×２ＮまたはＮ×Ｎのイントラ予測、および対称なＰＵサイズが２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分化をサポートする。非対称区分化では、ＣＵの一方向は区分化されないが、他の方向は２５％と７５％とに区分化される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という指示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５ＮのＰＵおよび下部の２Ｎ×１．５ＮのＰＵで水平方向に区分化された２Ｎ×２ＮのＣＵを指す。
【００５９】
[0070]本開示では、たとえば１６×１６ピクセルまたは１６かける１６ピクセルなど、「Ｎ×Ｎ」および「ＮかけるＮ（Ｎ  ｂｙ  Ｎ）」は、垂直および水平の寸法に関して、ビデオブロックのピクセル範囲を示すために区別なく使用され得る。一般的に、１６×１６ブロックは、垂直方向に１６個のピクセルを有し（ｙ＝１６）、水平方向に１６個のピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般的に、垂直方向にＮ個のピクセルを有し、水平方向にＮ個のピクセルを有し、ここでＮは負でない整数値を表している。ブロック中のピクセルは行と列で構成され得る。さらに、ブロックは、必ずしも垂直方向と水平方向に同じピクセル数を持つ必要はない。たとえば、ブロックはＮ×Ｍピクセルを備えることができ、ここでＭはＮと必ずしも等しいとは限らない。
【００６０】
[0071]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域においてピクセルデータを備えてよく、ＴＵは、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換などの変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵのための変換係数を生成し得る。
【００６１】
[0072]変換係数を生成するための任意の変換に続き、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、一般的に、変換係数が、場合によっては、係数を表すために使用されるデータの量を減らすために量子化されるプロセスを指し、さらなる圧縮を可能にする。量子化プロセスは、係数の一部または全部に関連付けられるビット深度を低減し得る。たとえば、量子化中にｎビット値をｍビット値に切り捨てることができ、ここで、ｎはｍよりも大きい。
【００６２】
[0073]一部の例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化する場合がある。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための、符号化ビデオデータに関連付けられるシンタックス要素をエントロピー符号化し得る。
【００６３】
[0074]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信される記号にコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、たとえば、シンボルの隣接値が０ではないか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信される記号の可変長コードを選択することができる。比較的より短いコードはより可能性の高い記号に対応し、より長いコードはより可能性の低い記号に対応するように、ＶＬＣのコードワードを構成することができる。このようにして、ＶＬＣを使用することで、たとえば、送信される各記号に対して等しい長さのコードワードを使用することによって、ビットの節約を達成することができる。確率の決定は、記号に割り当てられたコンテキストに基づいてもよい。
【００６４】
[0075]ビデオエンコーダ２０は、ビデオデータを階層的にコーディングするように構成され得る。たとえば、ビデオエンコーダ２０は、ビデオデータを、複数のレイヤと、所与のレイヤ内のピクチャのシーケンスと、シーケンス内のピクチャと、ピクチャ内のスライスと、スライス内のブロック（たとえば、マクロブロックまたはコーディングツリーユニット）とを含むものとして階層的に分類し得る。ビデオパラメータセット（ＶＰＳ：video parameter set）は、複数のシーケンスに関する、まれに変化するパラメータを、それぞれのレイヤにわたってシグナリングし得る。シーケンスパラメータセット（ＳＰＳ）は、ピクチャのシーケンスのまれに変化するパラメータをシグナリングするために使用され得、ピクチャパラメータセット（ＰＰＳ）は、個々のピクチャのまれに変化するパラメータをシグナリングするために使用され得る。
【００６５】
[0076]上記で紹介されたように、本開示は、ＣＲＡピクチャに基づくストリーム適応およびスプライシングの強化されたサポートのための技法を記載する。ＣＲＡピクチャは、ＣＲＡピクチャの復号が他のピクチャからの情報に依存しないように、イントラコーディング技法を使用してコーディングされるピクチャである。
【００６６】
[0077]ランダムアクセスは、一般に、ビットストリーム中の最初のコード化ピクチャではないコード化ピクチャから始まる、ビデオビットストリームの復号を開始するための機能を指す。コード化ビデオデータのビットストリームへのランダムアクセスは、ブロードキャストおよびストリーミングのような多くのビデオアプリケーションにとって望ましいものであり得る。ネットワークを介したビデオデータのストリーミングは、たとえば、Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ（ＤＡＳＨ）を使用して実行され得る。たとえば、ビデオデータの閲覧者は、異なるチャネルの間で切り替えること、ビデオの特定の部分にジャンプすること、早送りもしくは逆戻しのような、いわゆる「トリックモード（trick mode）」を実行すること、または、ストリーム適応（たとえば、ビットレート（変動するネットワーク帯域幅に対応するなどのために）、フレームレート、空間分解能などの適応）のために異なるビットストリーム（たとえば、ＤＡＳＨにおける異なる表現）に切り替えることを望む場合がある。
【００６７】
[0078]ランダムアクセス機能は、規則的な間隔で多数回、ランダムアクセスピクチャまたはランダムアクセス点をビデオデータのビットストリームに挿入することによって有効にされ得る。ＩＤＲユニットがランダムアクセスに使用され得る。しかしながら、ＩＤＲユニットは一般的に、コード化ビデオシーケンスの始まりにあり、ＤＰＢをクリーンにするため、復号順序においてＩＤＲユニットの後にくるピクチャは、ＩＤＲユニットより前に復号されたピクチャを参照として使用することができない。したがって、ランダムアクセスについてＩＤＲユニットに依存するビットストリームは、非常に低いコーディング効率を有する。ＩＤＲユニットに関連付けられるコーディング効率を改善するために、復号順序においてＣＲＡピクチャの後にくるが、出力順序においてＣＲＡピクチャの前にくるピクチャがＣＲＡピクチャの前に復号されたピクチャを参照として使用することができるように、ＣＲＡピクチャの概念がＨＥＶＣに導入されている。
【００６８】
[0079]図２Ａおよび図２Ｂは、ＣＲＡピクチャの概念を示す概念図である。図２Ａは、ピクチャのシーケンス２０２を示し、ここで左から右への順序が、ピクチャが復号される順序を示す。各ピクチャはまた、そのピクチャの表示順序を表すピクチャ順序カウント（ＰＯＣ：picture order count）値を有する。ＰＯＣ値はＣＲＡピクチャ２０４と比較して示されており、それによって、負の値はＣＲＡピクチャ２０４より前に表示されるピクチャを示し、正の値はＣＲＡピクチャ２０４より後に表示されるピクチャを示す。ピクチャのシーケンス２０２はＣＲＡピクチャ２０４を含む。ピクチャのシーケンス２０２は、一連の遅行ピクチャ（lagging picture）２０６と、一連の先行ピクチャ２０８と、一連の通常ピクチャ２１０とをさらに含む。遅行ピクチャ２０６は復号順序においてＣＲＡピクチャ２０４より前にあるが、表示順序においてはＣＲＡピクチャの後にくる（すなわち、遅行ピクチャ２０６のＰＯＣはＣＲＡピクチャ２０４のＰＯＣよりも高い）。先行ピクチャ２０８は復号順序においてＣＲＡピクチャ２０４の後にくるが、出力順序においてはＣＲＡピクチャ２０４の前にくる。通常ピクチャ２１０は、復号順序と出力順序の両方においてＣＲＡピクチャ２０４の後にくる。
【００６９】
[0080]図２Ｂは、ピクチャのシーケンス２０３を示す。ピクチャのシーケンス２０３はピクチャのシーケンス２０２と同じピクチャを備えるが、ピクチャのシーケンス２０３はピクチャを表示順序において示しており、それによって、ピクチャの左から右への順序付けが、ピクチャが出力されることになる順序に対応する。復号順序においてはＣＲＡピクチャの後にくるが出力順序においてはＣＲＡピクチャの前にくるピクチャは、ＣＲＡピクチャの先行ピクチャと呼ばれる（たとえば、先行ピクチャ２０８）。現在のＣＲＡピクチャの前にあるＩＤＲユニットまたはＣＲＡピクチャから復号が始まる場合、ＣＲＡピクチャの先行ピクチャは正確に復号され得る。しかしながら、ＣＲＡピクチャからのランダムアクセスが行われるとき、ＣＲＡピクチャの先行ピクチャは正確に復号され得ない。したがって、これらの先行ピクチャは、ランダムアクセス復号中は一般的に破棄される。復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、復号順序と出力順序の両方においてＣＲＡピクチャの後にくるすべてのピクチャは、復号順序または出力順序のいずれかにおいて（先行ピクチャを含む）ＣＲＡピクチャの前にくるいかなるピクチャも参照として使用すべきでない。
【００７０】
[0081]同様のランダムアクセス機能は、Ｈ．２６４／ＡＶＣにおいて、リカバリーポイント補足エンハンスメント情報（ＳＥＩ）メッセージによってサポートされている。Ｈ．２６４／ＡＶＣデコーダ実施態様は、その機能をサポートしている場合もあるし、またはしていない場合もある。ＨＥＶＣにおいて、ＣＲＡピクチャで始まるビットストリームが、コンフォーミングビットストリームとして考慮される。ビットストリームがＣＲＡピクチャで始まるとき、ＣＲＡピクチャの先行ピクチャは、利用不可能な参照ピクチャを参照し得、したがって、正確に復号され得ない。しかしながら、ＨＥＶＣは、開始ＣＲＡピクチャの先行ピクチャは出力されず、したがってその名称が「クリーンランダムアクセス」であると規定している。ビットストリームコンフォーマンスの要件を確立するために、ＨＥＶＣは、非出力先行ピクチャの復号用の利用不可能な参照ピクチャを生成するための復号プロセスを規定している。しかしながら、復号プロセスがコード化ビデオシーケンスの先頭から実施されるときと比較してデコーダがそれらが同一の出力を生成することができる限り、デコーダ実装形態を適合させるのに、その復号プロセスに従う必要はない。
【００７１】
[0082]ＨＥＶＣでは、コンフォーミングビットストリームはＩＤＲユニットをまったく含まなくてもよく、したがって、コード化ビデオシーケンスのサブセットまたは不完全なコード化ビデオシーケンスを含んでもよいことは注目に値する。ＨＥＶＣにおいて、コード化ビデオシーケンスは、復号順序において、後続のＩＤＲアクセスユニットは含まないが当該後続のＩＤＲアクセスユニットまでの全ての後続のアクセスユニットを含む０個以上の非ＩＤＲアクセスユニットが後に続くＩＤＲアクセスユニットから構成されている、一連のアクセスユニットとして定義されている。
【００７２】
[0083]「ブロークンリンクＣＲＡピクチャ」の概念は、ＪＣＴＶＣ−Ｉ０４０４（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｉ０４０４−ｖ１．ｚｉｐから利用可能）において紹介されている。ＨＥＶＣ  ＷＤ６に含まれるＣＲＡの概念と比較して、ビットストリームの始まりにあるＣＲＡピクチャが有することができるのと同様に、ビットストリームの先頭にないＣＲＡピクチャが復号可能でない先行ピクチャを有することを追加として可能にすることがＪＣＴＶＣ−Ｉ０４０４で提案されている。ＨＥＶＣ  ＷＤ６では、ビットストリームの始まりにあるＣＲＡピクチャは、参照ピクチャが前にないために復号され得ない先行ピクチャを（復号順序とも呼ばれるビットストリーム順序において）後に続けることが可能とされている。しかしながら、ビットストリームの中ほど、またはビットストリームの始まり以外のいずこかにあるＣＲＡピクチャは、そのような復号可能でない先行ピクチャを有することを可能とされていない。そのような復号可能でない先行ピクチャが存在する可能性を示す「リンクが壊れている」フラグを追加することによってこの制約を取り除くことがＪＣＴＶＣ−Ｉ０４０４で提案されている。
【００７３】
[0084]「ブロークンンリンク」フラグはＪＣＴＶＣ−Ｉ０４０４において、スライスヘッダ、または適応パラメータセット（ＡＰＳ）のような、ピクチャレベル情報のための何らかの他の場所の中のＣＲＡピクチャのピクチャレベル情報として提案されている。フラグが１に等しいとき、ビットストリームがビットストリーム順序において前にあるＩＤＲピクチャまたはＣＲＡピクチャから始まっても、ビットストリームは、先行する参照ピクチャがないために復号可能でないＣＲＡピクチャの先行ピクチャを含むことが可能にされる。
【００７４】
[0085]「ブロークンリンク」フラグが１に等しいＣＲＡピクチャについて、上記で言及されたように復号可能でない先行ピクチャを有することを可能にされるのに加えて、ピクチャ順序カウント（ＰＯＣ）最上位ビット（ＭＳＢ）が０に設定され得、これは、ＩＤＲピクチャに対してと同じように作用するｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇと、ＩＤＲピクチャのｉｄｒ＿ｐｉｃ＿ｉｄと同じように作用するｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｐｉｃ＿ｉｄとを含む。また、（ＨＥＶＣ  ＷＤ６の場合の）現在のｉｄｒ＿ｐｉｃ＿ｉｄはｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｐｉｃ＿ｉｄに改称され、その制約はＩＤＲピクチャのみにだけではなく、ＣＲＡピクチャとＩＤＲピクチャの両方に適用されることになる。ＩＤＲピクチャと同様に、１に等しいｂｒｏｋｅｎ＿ｌｉｎｋ＿ｆｌａｇを有するＣＲＡピクチャは、異なるシーケンスパラメータセット（ＳＰＳ）をアクティブにする、ピクチャサイズを変更する、といったことが可能になる。
【００７５】
[0086]ＪＣＴＶＣ−Ｉ０４０４における「ブロークンリンクＣＲＡピクチャ」手法および他の既存のビデオランダムアクセス手法は、場合によっては、いくつかの問題または欠点に関連付けられ得る。たとえば、スライスヘッダまたはＡＰＳの中の「ブロークンリンク」フラグのシグナリングは、エンティティ（たとえば、サーバ、ＭＡＮＥ、またはビデオエディタ／スプライサ）が、フラグを符号化するためにスライスヘッダおよび／またはＡＰＳをエントロピーコーディングすること、ならびに、パースすることを可能にするため、必要とされるときに通常のＣＲＡピクチャをＢＬＣピクチャになるように変化させることを必要とする。これはまた、エンティティが、フラグを見つけるために、スライスヘッダおよび／またはＡＰＳをエントロピー復号すること、ならびに、パースすることを可能にするため、必要とされるときにＢＬＣピクチャを識別することも必要とする。
【００７６】
[0087]別の例として、ブロークンリンクＣＲＡ（ＢＬＣ）ピクチャは、パラメータセットＩＤがアクティブなＳＰＳ、ピクチャパラメータセット（ＰＰＳ）またはＡＰＳと同じである場合、（ピクチャによって参照されたときに）ＳＰＳ、ＰＰＳまたはＡＰＳをアクティブにすることができないようにされている。しかしながら、ＢＬＣピクチャは通常、復号順序において前にあるピクチャとは異なるビットストリームから生じているため、ＢＬＣピクチャは一般に、異なるＳＰＳ生ビットシーケンスペイロード（ＲＢＳＰ：raw bit sequence payload）、ＰＰＳ  ＲＢＳＰ、およびＡＰＳ  ＲＢＳＰを使用し、ＢＬＣピクチャと復号順序において前にあるピクチャの両方が（直接的または間接的に）同じ値のＳＰＳまたはＰＰＳ  ＩＤを参照する可能性が高い。それらが同じ値のＡＰＳ  ＩＤを参照する可能性もある。復号において前にあるピクチャにアクティブなＳＰＳ、ＰＰＳ、またはＡＰＳを使用すると、場合によっては、ＢＬＣピクチャと（先行ピクチャだけではない）後に続くピクチャの復号が不正確になる場合がある。
【００７７】
[0088]別の例として、通常ＣＲＡピクチャ内にｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｐｉｃ＿ｉｄおよびｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを含まないようにするには、シンタックス要素を符号化するためにスライスヘッダおよび／またはＡＰＳをエントロピー符号化すること、ならびに、パースすることを可能にするための、必要とされるときに通常のＣＲＡピクチャをＢＬＣピクチャになるように変化させるエンティティが必要である。また別の例として、ＢＬＣピクチャは通常、復号順序において前にあるピクチャとは異なるビットストリームから生じるため、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが０に等しい場合、復号ピクチャバッファがオーバーフローする場合があり、したがって、復号順序について後にくるすべてのピクチャが不正確に復号される場合があるか、またはデコーダがクラッシュする場合さえある。
【００７８】
[0089]別の例として、第１のビットストリームの一部および第２のビットストリームの一部（ここで、第２のビットストリームの一部はＣＲＡピクチャｐｉｃＡから始まる）がスプライシングまたは連結されるとき、復号が前にあるＣＲＡピクチャまたはＩＤＲピクチャもしくはＢＬＣピクチャから始まるときに、ＣＲＡピクチャｐｉｃＡの先行ピクチャの復号品質は、完璧ではないにしても許容可能であるケースにおいて（たとえば、先行ピクチャの１つまたは複数のチェックサムが、ＨＶＥＣ  ＷＤ６におけるような復号ピクチャハッシュＳＥＩメッセージにおいてシグナリングされるチェックサムと一致しない場合）、ＣＲＡピクチャをＢＬＣピクチャに変化させるのではなく、ｐｉｃＡをＣＲＡピクチャとして保持することが可能である。しかしながら、ビットストリーム中で上記の情報を示すための機構が欠けている。
【００７９】
[0090]本開示は、上記で説明された欠点の一部を、場合によっては、改善し得る技法を記載する。本明細書において説明される様々な技法は、個々に、または他の説明されている技法と組み合わせてのいずれかで実施されてもよい。以下の技法は、ＪＣＴＶＣ−Ｉ０４０４に記載されているような、ブロークンリンクＣＲＡピクチャの概念に基づく。
【００８０】
[0091]一技法によれば、ブロークンリンクをもつＣＲＡピクチャ（すなわち、ＢＬＣピクチャ）を示すためにスライスヘッダ内のフラグを使用する代わりに、別個のネットワーク抽象レイヤ（ＮＡＬ）ユニットタイプ（たとえば、ＨＥＶＣ  ＷＤ６において予約されている２に等しいＮＡＬユニットタイプ）が、ＢＬＣまたはＢＬＡピクチャと呼ばれる場合がある、ブロークンリンクピクチャに属するＮＡＬユニットを示すために使用され得る。１つのＢＬＣピクチャは、２つ以上のＮＡＬユニットを備え得る。そのような技法は、エンティティが、必要とされるときに通常ＣＲＡピクチャを（たとえば、ＮＡＬユニットタイプを変更することによって）ＢＬＣピクチャであるように変化させるためのエントロピー符号化または復号を必要としなくてもよいため、ネットワークエンティティについてさほど複雑でなくてもよい。加えて、この技法は、エンティティが、必要とされるときにＢＬＣピクチャを識別するためのエントロピーコーディングを必要とし得ない。ビットストリームの始まりにない通常ＣＲＡピクチャについて、すべての関連付けられる先行ピクチャが復号可能である（すなわち、正確に復号され得る）必要があり得る。
【００８１】
[0092]別の技法によれば、ＢＬＣピクチャが異なるＳＰＳをアクティブにすることを可能にする代わりに、ＢＬＣピクチャは、たとえＢＬＣピクチャによって（ＨＥＶＣ  ＷＤ６におけるようなＰＰＳもしくは何らかの他の手段を通じて間接的に、たとえば、ＪＣＴＶＣ−Ｉ０３３８において記載されているようなグループパラメータセットを通じて間接的に、または、たとえば、ＳＰＳ  ＩＤがスライスヘッダ内に直接含まれているときは直接的に、または、バッファリング期間ＳＥＩメッセージを通じて間接的に）参照されるＳＰＳ  ＩＤが、復号順序において前にあるピクチャのアクティブＳＰＳのＳＰＳ  ＩＤと同じであったとしても、ＳＰＳをアクティブにすることが必要とされる。これは、ＢＬＣピクチャが一般的に、復号順序において前にあるピクチャとは異なるビットストリームからのものであり、一般的に、同一のまたは異なるＳＰＳ  ＩＤに異なるＳＰＳ  ＲＢＳＰが適用されるためである。
【００８２】
[0093]ＢＬＣピクチャは、ＢＬＣピクチャによって（ＪＣＴＶＣ−Ｉ０３３８において記載されているようなグループパラメータセットを通じて間接的に、または、たとえば、ＰＰＳ  ＩＤがＨＥＶＣ  ＷＤ６におけるようにスライスヘッダ内に直接含まれているときは直接的に）参照されるＰＰＳ  ＩＤが、復号順序において前にあるピクチャのアクティブＰＰＳのＰＰＳ  ＩＤと同じであったとしても、ＰＰＳをアクティブにすることも必要とされる。これは、ここでも、ＢＬＣピクチャが一般的に、復号順序において前にあるピクチャとは異なるビットストリームからのものであり、一般的に、同一のまたは異なるＰＰＳ  ＩＤに異なるＰＰＳ  ＲＢＳＰが適用されるためである。
【００８３】
[0094]ＢＬＣピクチャはまた、ＡＰＳを参照する場合、ＢＬＣピクチャによって参照されるＡＰＳ  ＩＤが復号順序において前にあるピクチャに対するアクティブＰＰＳのＡＰＳ  ＩＤと同じであっても、ＡＰＳをアクティブにすることを必要とされる。これは、ここでも、ＢＬＣピクチャが一般的に、復号順序において前にあるピクチャとは異なるビットストリームからのものであり、一般的に、同一のまたは異なるＡＰＳ  ＩＤに異なるＡＰＳ  ＲＢＳＰが適用されるためである。
【００８４】
[0095]本開示において使用される場合、ＢＬＣピクチャは、ＮＡＬユニットタイプがＢＬＣピクチャ用のＮＡＬユニットタイプ（たとえば、ＨＶＥＣ  ＷＤ６において確保されている、２に等しいＮＡＬユニットタイプ）であるコード化ピクチャとして定義され得る。ＢＬＣピクチャは、特殊なタイプのＣＲＡピクチャであると考えられ得る。非ＢＬＣ  ＣＲＡピクチャがビットストリームを開始するときの非ＢＬＣ  ＣＲＡピクチャおよび関連付けられる先行ピクチャについての同じ復号プロセスは、ＢＬＣピクチャがビットストリーム中で最初のピクチャではない場合でも、ＢＬＣピクチャおよび関連付けられる先行ピクチャを復号するために適用される。代替的に、ＢＬＣピクチャはＣＲＡピクチャから除外され得る、すなわち、ＢＬＣピクチャはＣＲＡピクチャではないと見なされ得る。その場合、ＣＲＡピクチャがビットストリームを開始するときのＣＲＡピクチャおよび関連付けられる先行ピクチャについての同じ復号プロセスは、ＢＬＣピクチャがビットストリーム中で最初のピクチャではない場合でも、ＢＬＣピクチャと関連付けられる先行ピクチャとを復号するために適用される。本開示の以下の説明では、この代替策が適用されると仮定される。ＢＬＣアクセスユニットは、コード化ピクチャがＢＬＣピクチャであるアクセスユニットとして定義され得る。コード化ビデオシーケンスの定義は、一連のアクセスユニットとなるように変更され得、この一連のアクセスユニットは、復号順序において、後続のＩＤＲまたはＢＬＣアクセスユニットを含まないが、後続のＩＤＲまたはＢＬＣアクセスユニットまでの全ての後続のアクセスユニットを含む０個以上の非ＩＤＲおよび非ＢＬＣアクセスユニットが後に続くＩＤＲアクセスユニットまたはＢＬＣアクセスユニットを含む。
【００８５】
[0096]別の技法によれば、ＪＣＴＶＣ−Ｉ０４０４におけるようにＩＤＲピクチャおよびＢＬＣピクチャのみに対してｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｐｉｃ＿ｉｄおよびｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇのいずれかまたは両方を有する代わりに、これら２つのフィールドのいずれかまたは両方が常に、すべてのＩＤＲピクチャ、ＢＬＣピクチャ、およびすべてＣＲＡピクチャに対して存在し得る。各ＣＲＡピクチャについて、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが０に等しい必要があり得る。そのような技法は、場合によっては、ネットワークエンティティが、必要とされるときにＣＲＡピクチャをＢＬＣピクチャに変化させるのをより容易にし得る。代替的に、ＢＬＣピクチャについて、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが１に等しいことが必要であり得る。代替的に、各ＢＬＣピクチャはシグナリングされたｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを有しなくてもよいが、ピクチャ出力挙動は、各ＢＬＣピクチャが１に等しいｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを有する場合と同じであってもよい。代替的に、各ＢＬＣピクチャはシグナリングされたｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを有してもよいが、ピクチャ出力挙動は、シグナリングされたｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値にかかわらず、各ＢＬＣピクチャが１に等しいｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを有する場合と同じであってもよい。
【００８６】
[0097]別の技法によれば、ＢＬＣピクチャのＰＯＣ  ＭＳＢ値は、たとえば、スライスヘッダ中でシグナリングされ得る。シグナリングされる場合、値にかかわらず、この値は依然として、復号プロセスにおいて０に等しいと考えられることになる。代替的に、シグナリングされたＰＯＣ  ＭＳＢ値は復号プロセスで使用されるが、次いで、スプライサは値を確認し、場合によっては、復号順序における前のピクチャのＰＯＣ値に一致するように値を変更する必要がある。
【００８７】
[0098]別の技法によれば、第１のビットストリームの一部および第２のビットストリームの一部（ここで、第２のビットストリームの一部はＣＲＡピクチャｐｉｃＡから始まる）がスプライシングまたは連結される場合、復号が前のＣＲＡピクチャまたはＩＤＲピクチャもしくはＢＬＣピクチャから始まるときに、ＣＲＡピクチャｐｉｃＡの先行ピクチャの復号品質は、完璧ではないにしても許容可能である（たとえば、先行ピクチャの１つまたは複数のチェックサムが、ＨＶＥＣ  ＷＤ６におけるような復号ピクチャハッシュＳＥＩメッセージにおいてシグナリングされるチェックサムと一致しない場合）ケースにおいて、スプライサは、ｐｉｃＡをＣＲＡピクチャとして保持することができる。上記の情報の指示は、ビットストリーム中でシグナリングされ得る。この情報は、ｐｉｃＡに関連付けられる指示を介して、たとえば、ＮＡＬユニットヘッダもしくはスライスヘッダもしくは参照されるＡＰＳ中のフラグ、またはｐｉｃＡに関連付けられるＳＥＩメッセージとしてシグナリングされ得る。このフラグはｅｘａｃｔ＿ｍａｔｃｈ＿ｆｌａｇと名付けられ得、その値１は、ｐｉｃＡに関連付けられる各先行ピクチャのチェックサムが、存在する場合には復号ピクチャハッシュＳＥＩメッセージ中でシグナリングされるチェックサムと一致することを示し、その値０は、ｐｉｃＡに関連付けられる各先行ピクチャのチェックサムが、存在する場合には復号ピクチャハッシュＳＥＩメッセージ中でシグナリングされるチェックサムと一致する場合もあるし、または一致しない場合もあることを示す。
【００８８】
[0099]図３は、本開示で説明される技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオを後処理エンティティ２７に出力するように構成され得る。後処理エンティティ２７は、ＭＡＮＥまたはスプライシング／編集デバイスのような、ビデオエンコーダ２０からの符号化ビデオデータを処理し得るビデオエンティティの一例を表すように意図されている。場合によっては、後処理エンティティはネットワークエンティティの一例であってもよい。一部のビデオ符号化システムにおいて、後処理エンティティ２７およびビデオエンコーダ２０は別個のデバイスの部分であってもよく、他の事例では、後処理エンティティ２７に関連して説明される機能は、ビデオエンコーダ２０を備える同じデバイスによって実行されてもよい。
【００８９】
[0100]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、空間的予測を利用して、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去する。インターコーディングは、時間的予測を利用して、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。
【００９０】
[0101]図３の例では、ビデオエンコーダ２０は、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ：sample adaptive offset）フィルタのような、１つまたは複数のループフィルタを表すように意図されている。フィルタユニット６３はループフィルタであるものとして図３において示されているが、他の構成においては、フィルタユニット６３はポストループフィルタ（post loop filter）として実装されてもよい。
【００９１】
[0102]図３に示されているように、ビデオエンコーダ２０は、ビデオデータを受信し、区分化ユニット３５は、ビデオブロックへとデータを区分化する。この区分化は、たとえば、ＬＣＵおよびＣＵの４分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分化、ならびにビデオブロック区分化をも含み得る。ビデオエンコーダ２０は、一般に、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および、場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、誤差結果（たとえばコーディングレートおよびひずみのレベル）に基づいて現在のビデオブロックについて、複数のイントラコーディングモードの１つ、または複数のインターコーディングモードの１つなど、複数の可能なコーディングモードの１つを選択し得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器６２に与え得る。
【００９２】
[0103]上記で説明されたように、場合によっては、ビデオエンコーダ２０は、ＢＬＡまたはＢＬＣピクチャのように、時間レイヤ切替え点のようなランダムアクセス点またはストリーム適応点を符号化し得る。たとえば、符号化は、エントロピー符号化と非エントロピー符号化の両方を実行し得るエントロピー符号化ユニット５６内で行われ得る。これらのピクチャのうちの１つまたは複数は、ＣＲＡピクチャの先行ピクチャであり得る。現在のＣＲＡピクチャの前にあるＲＡＰピクチャから復号が始まる場合、ＣＲＡピクチャの先行ピクチャは正確に復号され得る。しかしながら、ＣＲＡピクチャからのランダムアクセスが行われるとき、ＣＲＡピクチャの先行ピクチャは正確に復号され得ない。たとえば、先行ピクチャは、利用不可能である予測参照に関するブロックを指し得る。したがって、先行ピクチャは、ビデオデコーダ３０において復号可能でない場合がある。したがって、これらの先行ピクチャは、ランダムアクセス復号中は一般的に破棄される。
【００９３】
[0104]一例では、ビデオエンコーダ２０は、スライスヘッダ内にフラグ、たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇまたはシンタックス要素を与え得、それによって、ＤＰＢブロック内の前にあるピクチャ、すなわち、ＢＬＡまたはＢＬＣピクチャの前にあるピクチャのいずれも出力されない。一部の例では、このフラグ（またはシンタックス要素）は、エントロピー符号化の前はスライスヘッダ内の初めにあってもよく、それによって、たとえば、デコーダ３０においてより容易に復号され得、この情報はコーディングプロセスのより早期に利用可能であり得る。シンタックス要素またはフラグは、たとえば、エントロピー符号化ユニット５６（非エントロピー符号化を実行し得る）によってＢＬＡまたはＢＬＣピクチャのスライスヘッダ内に符号化され得る。これは、たとえば、ＭＡＮＥのような中間デバイスにとって有用であり得、それによって、シンタックス要素またはフラグによって与えられる情報は、エントロピー復号せずに中間デバイスにとって利用可能であり得、ただし、これは、エントロピー復号の前にそのような情報にアクセスすることができるデコーダにも役立ち得る。
【００９４】
[0105]たとえば、ビデオエンコーダ２０（たとえば、エントロピー符号化ユニット５６）は、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされることを示すシンタックス要素を含み得る。このシンタックス要素は、設定されると、復号順序において現在のピクチャより前にあり、現在のピクチャの復号時点においてピクチャ記憶バッファ内に存在するピクチャが、出力されることなくピクチャ記憶バッファから捨てられる（emptied）ようにし得る。一部の例では、シンタックス要素は、複数のシンタックス要素のうちの１つであってもよい。加えて、複数のシンタックス要素は、エントロピーコード化スライスヘッダシンタックス要素および非エントロピーコード化スライスヘッダシンタックス要素を含み得る。一例では、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされることを示すシンタックス要素が、任意のエントロピーコード化スライスヘッダシンタックス要素の前にスライスヘッダに含まれており、それによって、シンタックス要素自体はエントロピーコーディングされない。
【００９５】
[0106]一部の例では、シンタックス要素はｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇであってもよく、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、スライスヘッダ内でｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの直後に含まれてもよい。ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、復号順序において、あるスライスがピクチャの最初のスライスであるか否かを示すフラグであり得る。
【００９６】
[0107]一例では、ビデオエンコーダ２０は、ＢＬＡまたはＢＬＣピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたＮＡＬユニットタイプを含むように構成され得る。たとえば、１つの規格では、ＮＡＬユニットタイプ１６、ＢＬＡ＿Ｗ＿ＬＰ（先行ピクチャを有するＢＬＡ）；ＮＡＬユニットタイプ１７、ＢＬＡ＿Ｗ＿ＤＬＰ（復号可能な先行ピクチャを有するＢＬＡ）；およびＮＡＬユニットタイプ１８、ＢＬＡ＿Ｎ＿ＬＰ（先行ピクチャを有しないＢＬＡ）が含まれる。これらのＮＡＬユニットタイプは、エントロピー符号化ユニット５６（非エントロピー符号化を実行し得る）によって符号化されてもよい。加えて、ＮＡＬユニットタイプに基づいて、デコーダは、ＢＬＡピクチャが先行ピクチャを有するとき、および、先行ピクチャが復号可能でないとき、たとえば、復号が前にあるＲＡＰピクチャから始まるときを知ることができる。したがって、この情報は、先行するピクチャが参照のために使用されないものとしてマーキングされ得るときを決定するのに使用され得、これが、復号ピクチャバッファ内の参照ピクチャを参照のために使用されないものとしてマーキングするようにデコーダをトリガし得る。
【００９７】
[0108]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間的な圧縮を提供するために１つまたは複数の参照ピクチャ内の予測参照のための１つまたは複数のブロックに関して現在のビデオブロックのインター予測コーディングを実行する。
【００９８】
[0109]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、Ｐスライス、Ｂスライス、またはＧＰＢスライスとしてシーケンスにおいてビデオスライスを指定することができる。動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。
【００９９】
[0110]予測ブロックは、絶対値差分和（ＳＡＤ）、差分２乗和（ＳＳＤ）、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵに厳密に一致することがわかるブロックである。一部の例では、ビデオエンコーダ２０は、ピクチャメモリ６４に記憶された参照ピクチャの下位整数ピクセル位置（ｓｕｂ−ｉｎｔｅｇｅｒ  ｐｉｘｅｌ  ｐｏｓｉｔｉｏｎ）に対する値を計算することができる。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【０１００】
[0111]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスのビデオブロックのＰＵの動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、その各々はピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、エントロピー符号化ユニット５６と動き補償ユニット４４とに計算された動きベクトルを送る。
【０１０１】
[0112]動き補償ユニット４４によって実行された動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックを取り込むか、または生成することを含み、場合によってはサブピクセル精度への補間を実行することができる。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストの１つで動きベクトルが指し示す予測ブロックを見つけることができる。ビデオエンコーダ２０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、輝度差分成分と彩度差分成分の両方を含み得る。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックとビデオスライスとに関連付けられるシンタックス要素を生成し得る。
【０１０２】
[0113]イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。一部の例では、イントラ予測ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット４６（または、一部の例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を求める。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを判定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
【０１０３】
[0114]いずれの場合も、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックについての選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供し得る。エントロピー符号化ユニット５６は、本開示の技法に従って選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信されたビットストリーム構成データを含んでもよい。ビットストリームは、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、最も可能性の高いイントラ予測モード、イントラ予測モードインデックステーブル、およびコンテキストの各々に使用する変更されたイントラ予測モードインデックステーブルの指示とを含むことができる。
【０１０４】
[0115]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、１つまたは複数のＴＵに含まれ得、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、変換、たとえば離散コサイン変換（ＤＣＴ）または概念的に同様の変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、ピクセル領域からの残差ビデオデータを周波数領域などの変換領域に変換し得る。
【０１０５】
[0116]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連付けられるビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって、修正することができる。一部の例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行してもよい。
【０１０６】
[0117]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ３０に送信されるか、またはビデオデコーダ３０が後で送信するかもしくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
【０１０７】
[0118]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。
【０１０８】
[0119]図４は、上記で説明したブロークンリンクＲＡＰピクチャに基づくストリーム適応およびスプライシングの強化されたサポートについて説明された技法を実施し得る例示的なビデオデコーダ３０を示すブロック図である。図４の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、フィルタユニット９１と、ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、一部の例では、図３のビデオエンコーダ２０に関して説明された符号化パスとは概して逆の復号パスを実行し得る。
【０１０９】
[0120]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連付けられるシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０は、ネットワークエンティティ２９から符号化ビデオビットストリームを受信することができる。ネットワークエンティティ２９は、たとえば、サーバ、ＭＡＮＥ、ビデオエディタ／スプライサ、または上記で説明した技法のうちの１つもしくは複数を実装するように構成されている他のそのようなデバイスであってもよい。ネットワークエンティティ２９はビデオエンコーダ２０を含み、または含まなくてもよい。上記で説明されたように、本開示において説明されている技法の一部は、ネットワーク２９が符号化ビデオビットストリームをビデオデコーダ３０に送信する前に、ネットワークエンティティ２９によって実施されてもよい。一部のビデオ復号システムにおいて、ネットワークエンティティ２９およびビデオデコーダ３０は別個のデバイスの部分であってもよく、他の事例では、ネットワークエンティティ２９に関連して説明される機能は、ビデオデコーダ３０を備える同じデバイスによって実行されてもよい。
【０１１０】
[0121]ネットワークエンティティ２９は、ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信し、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出するように構成されているビデオ処理デバイスの一例を表す。ネットワークエンティティ２９は、ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、ＮＡＬユニットがブロークンリンクピクチャを備えることを決定することと、そのＮＡＬユニットのＮＡＬユニットタイプを、ＮＡＬユニットがブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定することとを行うように構成されているビデオ処理デバイスの一例をも表すことができる。
【０１１１】
[0122]上記で説明されたように、一部の例では、ビデオデコーダ３０は、ＢＬＡピクチャのようなブロークンリンクＲＡＰピクチャ、または、先行ピクチャのような、時間レイヤ切替え点のようなランダムアクセス点もしくはストリーム適応点の後にあるピクチャを復号し得る。ブロークンリンクＲＡＰピクチャからのランダムアクセスが行われるとき、先行ピクチャは正確に復号され得ない。
【０１１２】
[0123]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、ビデオデコーダ３０は、復号順序または出力順序のいずれかにおいてブロークンリンクＲＡＰピクチャの前にくるいかなるピクチャ（先行ピクチャを含む）も参照ピクチャとして使用し得ない。たとえば、予測処理ユニット８１は、復号順序または出力順序のいずれかにおいてブロークンリンクＲＡＰピクチャの前にくる、ピクチャメモリ９２に記憶されているいかなるピクチャ（先行ピクチャを含む）も参照ピクチャとして使用し得ない。
【０１１３】
[0124]様々な例では、ビデオデコーダ３０は、ＤＰＢ内のすべての参照ピクチャを、ＢＬＡピクチャを参照するためには使用されないとして復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、エントロピー復号および非エントロピー復号を実行し得るエントロピー復号ユニット８０は、復号ピクチャバッファ（ＤＰＢ）と呼ばれることがあるピクチャメモリ９２内の参照ピクチャを参照のために使用されないものとしてマーキングし得る。ビデオデコーダ３０（たとえば、エントロピー復号ユニット８０）は、現在のピクチャがＢＬＡまたはＢＬＣピクチャであると決定し、ピクチャ記憶バッファ内の参照ピクチャを、ＢＬＡまたはＢＬＣピクチャを復号する前の参照のために使用されないものとしてマーキングし得る。現在のピクチャがＢＬＡまたはＢＬＣピクチャであると決定することは、現在のピクチャがＣＲＡピクチャであると決定すること、および、現在のピクチャがＲＡＰピクチャであると決定することを含み得る。現在のピクチャがＣＲＡピクチャとＲＡＰピクチャの両方である場合、現在のＣＲＡピクチャはＢＬＡピクチャである。一部の例では、デコーダ３０によるこの決定は、ＢＬＡ  ＮＡＬユニットタイプを有するピクチャに基づいて行われてもよい。
【０１１４】
[0125]別の例では、ＢＬＡピクチャを復号するとき、デコーダ３０は、符号化ビットストリーム内のフラグまたはシンタックス要素、たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを受信し得、それによって、ＤＰＢ内で前にあるピクチャのいずれも出力されない。一部の例では、このフラグは、エントロピー復号の前はＢＬＡピクチャのスライスのスライスヘッダ内の初めに提示され得、それによって、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。フラグまたはシンタックス要素は、エントロピー符号化と非エントロピー符号化の両方を実行し得るエントロピー符号化ユニット８０内で復号され得る。エントロピー符号化の前にフラグまたは他のシンタックス要素をスライスヘッダの初めに置くことによって、たとえば、この例ではｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇがエントロピー復号される必要がないため、ＭＡＮＥのようなそれほど洗練されていないデバイスがエントロピーデコーダを必要とせずに情報にアクセスすることができるようになり得る。
【０１１５】
[0126]一例では、ビデオデコーダ３０は、シンタックス要素、たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを、デコーダが受信するためにビットストリーム内に置き得る。シンタックス要素は、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされていることを示し得る。このシンタックス要素は、設定されると、復号順序において現在のピクチャより前にあり、現在のピクチャの復号時点においてピクチャ記憶バッファ内に存在するピクチャが、出力されることなくピクチャ記憶バッファから捨てられるようにし得る。一部の例では、シンタックス要素は、複数のシンタックス要素のうちの１つであってもよい。加えて、複数のシンタックス要素は、１つまたは複数のエントロピーコード化スライスヘッダシンタックス要素および１つまたは複数の非エントロピーコード化スライスヘッダシンタックス要素を含んでもよい。一例では、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされていることを示すシンタックス要素が、任意のエントロピーコード化スライスヘッダシンタックス要素の前に、たとえば、任意のｕｅ（ｖ）要素の前に、たとえば、ｕ（１）要素）としてスライスヘッダに含まれている。一部の例では、シンタックス要素はｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇであってもよく、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、スライスヘッダ内でｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの直後で任意のエントロピーコード化要素の前に含まれてもよい。ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、復号順序において、あるスライスがピクチャの最初のスライスであるか否かを示すフラグであり得る。
【０１１６】
[0127]別の例では、ビデオデコーダ３０は、ＢＬＡピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたＮＡＬユニットタイプを処理することができる。ビデオデコーダ３０は、ＢＬＡピクチャがいつ先行ピクチャを有し、先行ピクチャを有さないかを示すために割り当てられたＮＡＬユニットタイプを含むように構成され得る。たとえば、エントロピー復号および非エントロピー復号を実行し得るエントロピー復号ユニット８０は、ＮＡＬユニットタイプを処理し得る。
【０１１７】
[0128]一例では、ビデオデコーダ３０（たとえば、エントロピー復号ユニット８０）は、複数の異なるネットワーク抽象レイヤ（ＮＡＬ）ユニットタイプのうちの１つに従って、ピクチャを復号し得る。複数のＮＡＬユニットタイプは、（１）ブロークンリンクピクチャ（たとえば、ＢＬＡまたはＢＬＣと呼ばれる）のコード化スライス、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャ（復号可能なまたは復号可能でない、のいずれか）を有するブロークンリンクピクチャである、（２）ブロークンリンクピクチャのコード化スライス、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するＢＬＡピクチャである、（３）ブロークンリンクピクチャのコード化スライス、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないブロークンリンクピクチャである、のうちの１つまたは複数を含む。一例では、先行ピクチャは、表示順序においてランダムアクセスピクチャ（ＲＡＰ）の前にくるが、復号順序においてはランダムアクセスピクチャの後にくるピクチャを備える。
【０１１８】
[0129]ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、予測処理ユニット８１に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【０１１９】
[0130]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされたとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに対する予測参照のためのブロックを生成する。予測参照のためのブロックは、参照ピクチャリストの１つ内の参照ピクチャの１つから作成され得る。ビデオデコーダ３０は、ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルト構造技術を使用して、参照フレームリスト、リスト０およびリスト１を構成し得る。
【０１２０】
[0131]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックに対する予測参照のためのブロックを生成する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえばイントラまたはインター予測）と、インター予測のスライスタイプ（たとえばＢスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストの１つまたは複数の構築情報と、スライスの各インター符号化されたビデオブロックの動きベクトルと、スライスの各インターコーディングされたビデオブロックのインター予測ステータスと、現在のビデオスライスのビデオブロックを復号するための他の情報とを決定するために受信されたシンタックス要素の一部を使用する。ＤＰＢ内のピクチャが参照のために使用されないものとしてマーキングされるとき、利用可能な参照ピクチャはない。したがって、ビデオデコーダ３０は、インター予測のために前にある参照ピクチャを参照する先行ピクチャを復号することが可能でないことになる。
【０１２１】
[0132]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素からのビデオエンコーダ２０によって使用される補間フィルタを決定し、予測参照のためのブロックを作成するために補間フィルタを使用することができる。
【０１２２】
[0133]逆量子化ユニット８６は、ビットストリーム中で与えられエントロピー復号ユニット８０によって復号された、量子化変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、ビデオスライス中の各ビデオブロックについてビデオエンコーダ２０によって計算される量子化パラメータを使用して量子化の程度を判定し、同様に、適用すべき逆量子化の程度を判定することを含み得る。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを作成するために、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスなどの逆変換を変換係数に適用する。
【０１２３】
[0134]動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された予測参照のための対応するブロックと加算することによって、復号ビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数のコンポーネントを表す。所望される場合、ループフィルタ（コーディングループで、またはコーディングループの後のいずれか）も、ピクセル移行を平滑化するか、または他の場合にはビデオ品質を向上させるために使用され得る。フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタのような、１つまたは複数のループフィルタを表すように意図されている。フィルタユニット９１はループフィルタにあるものとして図４において示されているが、他の構成においては、フィルタユニット９１はポストループフィルタとして実装されてもよい。次いで、所与のフレームまたはピクチャの復号されたビデオブロックは、続く動き補償に使用される参照ピクチャを記憶する、ピクチャメモリ９２に記憶される。ピクチャメモリ９２はまた、図１のディスプレイデバイス３２のようなディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。
【０１２４】
[0135]このように、図４のビデオデコーダ３０は、ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信し、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出するように構成されているビデオデコーダの一例を表す。
【０１２５】
[0136]図５は、ネットワーク１００の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク１０は、ルーティングデバイス１０４Ａ、１０４Ｂ（ルーティングデバイス１０４）とトランスコーディングデバイス１０６とを含む。ルーティングデバイス１０４およびトランスコーディングデバイス１０６は、ネットワーク１００の一部を形成し得る少数のデバイスを表すように意図されている。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク１００内に含まれてもよい。その上、サーバデバイス１０２とクライアントデバイス１０８との間のネットワーク経路に沿って追加のネットワークデバイスが提供されてもよい。一部の例では、サーバデバイス１０２はソースデバイス１２（図１）に対応し得、一方でクライアントデバイス１０８は宛先デバイス１４（図１）に対応し得る。
【０１２６】
[0137]概して、ルーティングデバイス１０４は、ネットワーク１００を介してネットワークデータを交換するための１つまたは複数のルーティングプロトコルを実装する。一部の例では、ルーティングデバイス１０４は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、一部の例では、ルーティングデバイス１０４はプロキシデバイスと呼ばれ得る。概して、ルーティングデバイス１０４は、ネットワーク１００を介したルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス１０４Ｂは、それ自体からルーティングデバイス１０４Ａを介してサーバデバイス１０２へ至るネットワークルートを発見することができる。
【０１２７】
[0138]本開示の技法は、ネットワークデバイスそのようなルーティングデバイス１０４およびトランスコーディングデバイス１０６によって実装されてもよいが、クライアントデバイス１０８によっても実装されてもよい。このように、ルーティングデバイス１０４、トランスコーディングデバイス１０６、およびクライアントデバイス１０８は、本開示の技法を実行するように構成されているデバイスの例を表す。その上、図１のデバイス、ならびに図３に示されているエンコーダおよび図４に示されているデコーダも、本開示の技法を実行するように構成され得る例示的なデバイスである。
【０１２８】
[0139]たとえば、サーバデバイス１０２は、時間レイヤ切替え点のような、ランダムアクセス点もしくはストリーム適応点、または他のストリーム適応点の後にくる１つまたは複数のピクチャを符号化するためのエンコーダを含み得る。たとえば、この点は、ビットレート、フレームレート、または空間分解能の適応のための切替え点（すなわち、時間レイヤ切替え点）であり得る。同様に、クライアントデバイス１０８は、時間レイヤ切替え点のような、ランダムアクセス点またはストリーム適応点の後にくる１つまたは複数のピクチャを復号し得る。ここでも、これは、ビットレート、フレームレート、または空間分解能の適応のための切替え点（すなわち、時間レイヤ切替え点）であり得る。これらのピクチャのうちの１つまたは複数は先行ピクチャであってもよい。先行ピクチャは、ＢＬＡピクチャからのランダムアクセスが行われるとき、クライアントデバイス１０８において正確に復号され得ない。
【０１２９】
[0140]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、クライアントデバイス１０８は、復号順序または出力順序のいずれかにおいてＢＬＡピクチャの前にくる、復号ピクチャバッファ（ＤＰＢ）に記憶されているピクチャ（先行ピクチャを含む）を参照ピクチャとして適用し得ない。
【０１３０】
[0141]様々な例では、クライアントデバイス１０８は、ＤＰＢ内のすべての参照ピクチャを、ＢＬＡピクチャを復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、クライアントデバイス１０８は、復号ピクチャバッファ（ＤＰＢ）内の参照ピクチャを参照のためには使用されないとしてマーキングし得る。
【０１３１】
[0142]別の例では、サーバデバイス１０２、クライアントデバイス１０８、またはその両方は、スライスヘッダ内にシンタックス要素またはフラグを含み、ビットストリーム内へとフラグ、たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを符号化し得、それによって、ビデオデコーダ３０によって先行ピクチャを復号するために処理されるＤＰＢ内の前にくるピクチャのいずれも、たとえば、表示モニタ上での提示のためにＤＰＢから出力されない。一部の例では、このフラグは、エントロピー復号の前はスライスヘッダ内の初めにあってもよく、それによって、より容易に復号され得、この情報はコーディングプロセスのより早期に利用可能である。一例では、これらのネットワーク要素デバイスの１つは、たとえば、スプライシングまたはチャネル切替えもしくは時間レイヤ切替えのようなストリーム適応が必要とされるとき、ＣＲＡをブロークンリンクピクチャに変換し得る。エントロピーコーディングすることなくこのフラグをアクセス可能であり得るようにすることによって、エントロピー復号する機能を有しないネットワーク要素が、このフラグにアクセスすることができるようになる。
【０１３２】
[0143]複数のＮＡＬユニットタイプは、（１）ブロークンリンクピクチャのコード化スライスであって、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャ（復号可能なまたは復号可能でない、のいずれか）を有するブロークンリンクピクチャである、（２）ブロークンリンクピクチャのコード化スライスであって、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる復号可能な先行ピクチャを有するブロークンリンクピクチャである、（３）ブロークンリンクピクチャのコード化スライスであって、ここでブロークンリンクピクチャは、ビットストリーム内の関連付けられる先行ピクチャを有しないブロークンリンクピクチャである、のうちの１つまたは複数を含む。一例では、先行ピクチャは、表示順序においてランダムアクセスピクチャ（ＲＡＰ）の前にくるが、復号順序においてはランダムアクセスピクチャの後にくるピクチャを備える。
【０１３３】
[0144]様々な例では、ネットワーク１００を構成するルーティングデバイス１０４Ａ、１０４Ｂおよびトランスコーディングデバイス１０６はまた、時間レイヤ切替え点のような、ランダムアクセス点またはストリーム適応点の後にくる１つまたは複数のピクチャに対する何らかの処理を実行し得る。たとえば、これは、ビットレート、フレームレートの適応のための切替え点（すなわち、時間レイヤ切替え点）または空間分解能であり得る。上記で説明されたように、これらのピクチャのうちの１つまたは複数は、正確に復号され得ない先行ピクチャであり得る。
【０１３４】
[0145]一例では、ルーティングデバイス１０４Ａ、１０４Ｂ、およびトランスコーディングデバイス１０６のうちの１つまたは複数は、復号順序または出力順序のいずれかにおいてＣＲＡピクチャの前にくる任意のピクチャ（先行ピクチャを含む）を参照ピクチャとして使用し得ない。別の例では、ルーティングデバイス１０４Ａ、１０４Ｂ、およびトランスコーディングデバイス１０６のうちの１つまたは複数は、ＤＰＢ内のすべての参照ピクチャを、ＢＬＡピクチャを復号する前に参照するためには使用されないとしてマーキングし得る。たとえば、ルーティングデバイス１０４Ａ、１０４Ｂ、およびトランスコーディングデバイス１０６のうちの１つまたは複数は、復号ピクチャバッファ（ＤＰＢ）内の参照ピクチャを、参照するためには使用されないとしてマーキングし得る。別の例では、ルーティングデバイス１０４Ａ、１０４Ｂ、およびトランスコーディングデバイス１０６のうちの１つもしくは複数またはストリーミングサーバは、フラグ、たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを使用してもよく、それによって、ＤＰＢ内の前にくるピクチャのいずれも出力されない。加えて、ルーティングデバイス１０４Ａ、１０４Ｂ、およびトランスコーディングデバイス１０６は、ＢＬＡピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられたＮＡＬユニットタイプを処理することができる。
【０１３５】
[0146]図６は、本開示において説明される技法による一例を示す図である。図６は、先行ピクチャが復号可能である場合および復号可能でない場合の例を示す。先行ピクチャの復号可能性は、予測ブロックの位置に基づき得る。加えて、先行ピクチャの復号可能性は、現在のＣＲＡピクチャが、ＢＬＡピクチャではないＣＲＡピクチャであるか、または、現在のＣＲＡピクチャが、ＢＬＡピクチャでもあるＣＲＡピクチャであるかに基づき得る。（ＢＬＡピクチャはＣＲＡピクチャのサブセットである。）
[0147]図６の部分２００は、復号順序における一連のピクチャを示す。最初、たとえば、ビデオデコーダ３０（図１および図４）またはクライアントデバイス１０８（図５）は、位置２０２にあるＲＡＰピクチャを、ビデオシーケンス内の最初のピクチャとして復号し得る。ビデオデコーダ３０またはクライアントデバイス１０８は、次いで、位置２０４において参照ピクチャとして機能し得るピクチャまたはピクチャの一部を復号し得る。図６に示されているように、位置２０４は、復号順序における参照ピクチャの可能性のある位置である。参照ピクチャが位置２０４に位置しており、位置２０６にあるピクチャが、ＢＬＡピクチャではないＣＲＡピクチャである場合、位置２０８にある先行ピクチャは復号可能であることになる。逆に参照ピクチャが位置２０４に位置しており、位置２０６にあるピクチャがブロークンリンクピクチャでもあるＣＲＡピクチャである場合、位置２０８にある先行ピクチャは復号可能でないことになる。（ＢＬＡまたはＢＬＣピクチャと呼ばれるブロークンリンクピクチャは、ＣＲＡピクチャのサブセットである。）
[0148]位置２０２にあるＲＡＰピクチャが、復号が始まるＲＡＰピクチャであり、位置２０６にある現在のＣＲＡピクチャがブロークンリンクピクチャでない場合、上記で説明されたように、位置２０８にある先行ピクチャは復号可能である。逆に、位置２０６にある現在のＣＲＡピクチャがＲＡＰである場合、位置２０６にある現在のＣＲＡピクチャがブロークンリンクピクチャでもあり、位置２０８にある先行ピクチャは復号可能でない。これは、位置２０４にある予測ブロックが、位置２０６にある現在のＣＲＡピクチャであるブロークンリンクピクチャにとって利用可能でないためである。したがって、位置２０４にある予測ブロックは（１）参照のために使用されないものとしてマーキングされ得、（２）ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、位置２０８にある先行ピクチャまでの、その先行ピクチャを含む、前にあるピクチャが出力されるべきでないことを示し得る。
【０１３６】
[0149]図６に示されているように、位置２１０は、復号順序における参照ピクチャの可能性のあるもう１つの位置である。参照ピクチャが位置２１０に位置する場合、位置２０８にある先行ピクチャは復号可能であることになる。
【０１３７】
[0150]図６の部分２１２は、出力順序における一連のピクチャを示す。最初に、ビデオデコーダ（図１および図４）またはクライアントデバイス１０８（図５）ＲＡＰピクチャ２０２。ビデオデコーダ３０またはクライアントデバイス１０８は、次いで、位置２０４において予測ブロックとして機能し得るピクチャまたはピクチャの一部を復号し得る。図６に示されているように、位置２０４は、出力順序における予測ブロックの可能性のある位置である。
【０１３８】
[0151]出力順序において、図６に示されているように、先行ピクチャ２０８は位置２０６にある現在のＣＲＡピクチャより前に出力され得る。図６に示されているように、位置２１０は、出力順序における予測ブロックの可能性のあるもう１つの位置である。
【０１３９】
[0152]図７は、本開示で説明される１つまたは複数の例による、ＲＡＰピクチャをコーディングするための例示的な方法を示す流れ図である。図７に示されているように、一部の例では、ビデオコーダ、たとえば、ビデオエンコーダ２０またはビデオデコーダ３０が、ビデオシーケンス内の時間レイヤ切替え点のようなランダムアクセス点またはストリーム適応点についてＢＬＡピクチャをコーディングし得る。たとえば、これは、ビットレート、フレームレートまたは空間分解能の適応のための切替え点であり得る。ＢＬＡピクチャは、１つまたは複数の先行ピクチャを含み得る。先行ピクチャは、ＢＬＡピクチャからのランダムアクセスが行われるとき、（たとえば、デコーダ３０、ＭＡＮＥ、または他の復号デバイスによって）正確に復号され得ない。
【０１４０】
[0153]一例では、復号がどこから始まるかに応じて利用可能ではない場合がある参照ピクチャからの誤り伝搬を防止するために、ビデオコーダは、復号順序または出力順序のいずれかにおいてＢＬＡピクチャの前にくるいかなるピクチャ（先行ピクチャを含む）も参照ピクチャとして使用し得ない。
【０１４１】
[0154]たとえば、ビデオデコーダ３０は、ピクチャ記憶バッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空にされることを示すシンタックス要素を受信および復号し得る（７００）。シンタックス要素は、エンコーダ２０または中間ネットワーク要素によって符号化ビデオビットストリーム内に含まれてもよい。ビデオデコーダ３０は、前にくるピクチャの出力が行われるべきではないことをシンタックス要素が示すか否かを決定し得、たとえば、ビデオデコーダ３０は、シンタックス要素が設定されているか否か、すなわち、１に等しいか否かを決定するために、シンタックス要素をチェックし得る（７０２）。ビデオデコーダ３０が設定されているシンタックス要素を受信すると、ビデオデコーダ３０は、復号順序において現在のピクチャより前にあり、現在のピクチャの復号時点においてピクチャ記憶バッファ内に存在するピクチャが、出力されることなくピクチャ記憶バッファから捨てられる（emptied）ようにし得る（７０４）。
【０１４２】
[0155]いくつかの例では、シンタックス要素は、複数のシンタックス要素のうちの１つであってもよい。加えて、複数のシンタックス要素は、エントロピーコード化スライスヘッダシンタックス要素および非エントロピーコード化スライスヘッダシンタックス要素を含んでもよい。一例では、シンタックス要素は、復号ピクチャバッファからいかなるピクチャも出力されることなくピクチャ記憶バッファが空になっていることを示し得、任意のエントロピーコード化スライスヘッダシンタックス要素の前にスライスヘッダに含まれている。別の例では、シンタックス要素は、ピクチャ記憶バッファ内のデータが、ピクチャ記憶バッファからいかなるピクチャも出力されることなく無視および／または上書きされるべきでないことを示し得、任意のエントロピーコード化スライスヘッダシンタックス要素の前にスライスヘッダに含まれている。いくつかの例では、シンタックス要素はｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇであってもよく、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、スライスヘッダ内でｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの直後に含まれてもよい。ｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、復号順序において、あるスライスがピクチャの最初のスライスであるか否かを示すフラグであり得る。
【０１４３】
[0156]図８は、本開示において説明される１つまたは複数の例による例示的な方法を示す流れ図である。示されている例では、ビデオコーダは、現在のピクチャがＣＲＡピクチャであると決定し得る（８００）。ビデオコーダは、現在のピクチャがＲＡＰピクチャであるとも決定し得る（８０２）。ビデオコーダは、現在のピクチャがＣＲＡピクチャとＲＡＰピクチャの両方である場合、現在のピクチャはＢＬＡピクチャであると決定し得る（８０４）。一部の例では、ビデオコーダは、現在のピクチャがＢＬＡピクチャであるか否かを決定するためにＮＡＬユニットタイプを使用し得る。ビデオコーダは、参照ピクチャを参照のために使用されないものとしてマーキングし得る（８０６）。
【０１４４】
[0157]様々な例では、ビデオコーダは、ＤＰＢ内のすべての参照ピクチャを、ＢＬＡピクチャを復号する前に参照のために使用されないものとしてマーキングし得る。たとえば、ビデオデコーダ３０が、復号ピクチャバッファ（ＤＰＢ）と呼ばれることがあるピクチャメモリ９２内の参照ピクチャを参照のために使用されないものとしてマーキングし得る。したがって、ピクチャはインターコード化のために使用されないことになり、これは、可能性のある誤りを回避し、一部の例では、空間的適応による問題に対処し得る。加えて、一般にこれらのピクチャは、たとえば、それらが見られ得るモニタまたは画面に出力されないことになる。
【０１４５】
[0158]ビデオデコーダ３０は、現在のピクチャがブロークンリンクピクチャであると決定し、ピクチャ記憶バッファ内の参照ピクチャを、ＢＬＡピクチャを復号する前の参照のために使用されないものとしてマーキングし得る。一例では、ピクチャ記憶バッファ内の参照ピクチャのマーキングは、ブロークンリンクピクチャが復号可能でないブロークンリンクピクチャを備えるときに行われ得、これは、一部の例では、ＮＡＬユニットタイプに基づいて決定され得る。一部の例では、（１）ＤＰＢ内のピクチャを参照のために使用されないものとしてマーキングすること、（２）ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇのようなシンタックス要素を使用すること、および（３）ブロークンリンクピクチャのタイプを示すＮＡＬユニットタイプを使用することのうちの１つまたは複数が、独立してまたは任意の組合せで使用されてもよい。
【０１４６】
[0159]図９は、本開示において説明される１つまたは複数の例による例示的な方法を示す流れ図である。図９の技法は、ビデオデコーダ３０、ネットワークエンティティ２９、ルーティングデバイス１０４、トランスコーディングデバイス１０６または何らかの他のそのようなビデオ処理デバイスのような、ビデオ処理デバイスによって実行され得る。ビデオ処理デバイスはＮＡＬユニットを処理することができ、ＮＡＬユニットのＮＡＬユニットタイプは、ＢＬＡピクチャが先行ピクチャを有するときおよび先行ピクチャを有しないときを示すために割り当てられる。場合によっては、ビデオ処理デバイスは、たとえば、ピクチャがＣＲＡピクチャであることを検出し、ＣＲＡピクチャが先行ピクチャのないＢＬＡピクチャ、復号可能な先行ピクチャのあるＢＬＡピクチャ、または復号可能でない先行ピクチャのあるＢＬＡピクチャであるかを決定し得る。この決定に基づいて、ビデオ処理デバイスは、ＮＡＬユニットが先行ピクチャのないＢＬＡピクチャ、復号可能な先行ピクチャのあるＢＬＡピクチャ、または復号可能でない先行ピクチャのあるＢＬＡピクチャを含むことを示すように、ビデオデータのためのＮＡＬユニットタイプを設定し得る。
【０１４７】
[0160]一例では、ビデオ処理デバイスは、以下の１つまたは複数を含む複数の異なるネットワーク抽象レイヤ（ＮＡＬ）ユニットタイプのうちの１つに従って、ピクチャをコーディングし得る。ビデオ処理デバイスは、ＢＬＡピクチャが関連付けられる先行ピクチャを有しないと決定し（９００）、ＮＡＬユニットを、ＮＡＬユニットが関連付けられる先行ピクチャのないＢＬＡピクチャを備えることを示すＮＡＬユニットタイプに設定し得る（９０２）。ビデオ処理デバイスは、たとえば、ＢＬＡピクチャがビットストリーム内で関連付けられる先行ピクチャのないＢＬＡピクチャであることを示すＮＡＬユニットタイプを使用して、ＢＬＡピクチャのコード化スライスまたはＢＬＡピクチャ全体をコード化し得る。ビデオ処理デバイスは、ＢＬＡピクチャが復号可能な先行ピクチャを関連付けられていると決定し（９０４）、ＮＡＬユニットを、ＮＡＬユニットが関連付けられる復号可能な先行ピクチャのあるＢＬＡピクチャを備えることを示すＮＡＬユニットタイプに設定し得る（９０６）。ビデオ処理デバイスは、たとえば、ＢＬＡピクチャがビットストリーム内で関連付けられる復号可能な先行ピクチャのあるＢＬＡピクチャであることを示すＮＡＬユニットタイプを使用して、コード化スライスまたはＢＬＡピクチャ全体をコード化し得る。ビデオ処理デバイスは、ＢＬＡピクチャが先行ピクチャを関連付けられていると決定し（９０８）、ＮＡＬユニットを、ＮＡＬユニットが関連付けられる先行ピクチャのあるＢＬＡピクチャを備えることを示すＮＡＬユニットタイプに設定し得る（９１０）。ビデオ処理デバイスは、たとえば、ＢＬＡピクチャがビットストリーム内で関連付けられる先行ピクチャのあるＢＬＡピクチャであることを示すＮＡＬユニットタイプを使用して、ＢＬＡピクチャのコード化スライスまたはＢＬＡピクチャ全体をコード化し得る。一例では、ビデオデコーダ３０がＢＬＡ  ＮＡＬユニットタイプを検出した場合、ビデオデコーダ３０は、たとえば、ＤＰＢ内のピクチャを参照のために使用されないものとしてマーキングし得る。
【０１４８】
[0161]いくつかの例では、（１）ＤＰＢ内のピクチャを参照のために使用されないものとしてマーキングすること、（２）ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇのようなシンタックス要素を使用すること、および（３）ＢＬＡピクチャを示すＮＡＬユニットタイプを使用することのうちの１つまたは複数が、独立してまたは任意の組合せで使用され得る。たとえば、場合によっては、これらの３つすべてが使用されてもよい。他の例では、例示的なＮＡＬユニットタイプが、ＤＰＢ内のピクチャの参照のために使用されないものとしてのマーキングとともに使用され得る。別の例では、先行ピクチャの非出力シンタックス要素（no output of prior pictures syntax element）と、ピクチャの参照のために使用されないものとしてのマーキングとが使用され得る。別の例では、先行ピクチャの非出力シンタックス要素と、ＮＡＬユニットタイプとが使用され得る。
【０１４９】
[0162]本明細書において使用される場合、ＢＬＣとは、ブロークンリンククリーンランダムアクセスを指し、ＢＬＣＬとは、ビットストリーム内で関連付けられる先行ピクチャのあるＢＬＣピクチャを指し、ＢＬＣＮＬは、ビットストリーム内で関連付けられる先行ピクチャのないＢＬＣピクチャを指す。本明細書において説明されているように、ＢＬＣピクチャは概して、ＢＬＡピクチャと同じである。ＣＲＡとは、クリーンランダムアクセスを指し、ＣＲＡＬとは、ビットストリーム内で関連付けられる先行ピクチャのあるＣＲＡピクチャを指し、ＣＲＡＮＬは、ビットストリーム内で関連付けられる先行ピクチャのないＣＲＡピクチャを指す。ＩＤＲとは、瞬時復号リフレッシュを指し、ＬＰＲとは、ランダムアクセス点ピクチャに関連付けられる先行ピクチャを指し、ＮＳＰとは、ナッシングスペシャルプレーン（Nothing Special Plain）を指し、ＲＡＰとは、ランダムアクセス点を指し、ＲＰＳとは、参照ピクチャセットを指す。本明細書において使用される場合、ＴＬＡは時間レイヤアクセス（Temporal Layer Access）を指し、ＴＬＡＬは、ＬＲＰピクチャでもあるＴＬＡピクチャを指し、ＴＬＡＮＬは、ＬＲＰピクチャではないＴＬＡピクチャを指す。
【０１５０】
[0163]ＢＬＣアクセスユニットは、コード化ピクチャがＢＬＡピクチャであるアクセスユニットを指す。ＢＬＣピクチャは、コード化スライスのスライスヘッダがＲＰＳシンタックスを含み、一方ＲＰＳがＲＰＳシンタックスを使用することなく空であるとして導出されるＲＡＰピクチャである。ＢＬＣＬアクセスユニットは、コード化ピクチャがＢＬＣＬピクチャであるアクセスユニットである。ＢＬＣＬピクチャは、関連付けられるＬＰＲピクチャがビットストリーム内に存在するＢＬＡピクチャである。一部の例では、ＢＬＣＬアクセスユニットは、ＢＬＡ＿Ｗ＿ＤＬＰとＢＬＡ＿Ｗ＿ＬＰとの組合せと等価であり得る。ＢＬＣＮＬアクセスユニットは、コード化ピクチャがＢＬＣＮＬピクチャであるアクセスユニットである。一部の例では、ＢＬＣＮＬアクセスユニットは、ＢＬＡ＿Ｎ＿ＬＰと等価であり得る。ＢＬＣＮＬピクチャは、関連付けられるＬＰＲピクチャがビットストリーム内に存在しないＢＬＡピクチャである。
【０１５１】
[0164]一例では、ＣＲＡアクセスユニットは、コード化ピクチャがＣＲＡピクチャであるアクセスユニットである。ＣＲＡピクチャは、コード化スライスのスライスヘッダがＲＰＳシンタックスを含み、ＲＰＳシンタックスがＲＰＳの導出に使用されるＲＡＰピクチャである。ＣＲＡＬアクセスユニットは、コード化ピクチャがＣＲＡＬピクチャであるアクセスユニットである。ＣＲＡＬピクチャは、関連付けられるＬＰＲピクチャがビットストリーム内に存在するＣＲＡピクチャである。ＣＲＡＮＬアクセスユニットは、コード化ピクチャがＣＲＡＮＬピクチャであるアクセスユニットである。ＣＲＡＮＬピクチャは、関連付けられるＬＰＲピクチャがビットストリーム内に存在しないＣＲＡピクチャである。
【０１５２】
[0165]一例では、ＩＤＲアクセスユニットは、コード化ピクチャがＩＤＲピクチャであるアクセスユニットである。ＩＤＲピクチャは、コード化スライスのスライスヘッダがＲＰＳシンタックスを含まず、ＲＰＳが空であるとして導出されるＲＡＰピクチャである。
【０１５３】
[0166]一例では、復号順序においてすべての前にくるアクセスユニットが存在するとは限らない場合、コード化ピクチャによって参照される各パラメータセットおよび復号順序におけるすべての後続のコード化ピクチャがそのアクティブ化の前に存在するという条件で、ＩＤＲピクチャおよび復号順序におけるすべての後続のコード化ピクチャは正確に復号され得る。代替的に、別の例では、ＩＤＲピクチャは、ＨＥＶＣにおいて定義されているものに、上記が加わったものであってもよい。
【０１５４】
[0167]他の例では、ＩＤＲピクチャは、Ｉスライスのみを含むコード化ピクチャであってもよい。加えて、例示的なＩＤＲピクチャについて、復号順序におけるＩＤＲピクチャの後続のすべてのコード化ピクチャは、復号順序においてＩＤＲピクチャの前にくる任意のピクチャからのインター予測を使用しない。一例では、復号順序においてＩＤＲピクチャの前にくる任意のピクチャは、出力順序においてもＩＤＲピクチャの前にくる。
【０１５５】
[0168]先行ピクチャは、ＲＡＰピクチャではなく、かつ、復号順序において何らかの他の特定のピクチャに続き、出力順序において特定のピクチャの前にくるコード化ピクチャである。ＬＰＲピクチャは、ＲＡＰピクチャに関連付けられる先行ピクチャまたはＲＡＰピクチャの先行ピクチャである。
【０１５６】
[0169]ピクチャ順序カウントは、各コード化ピクチャに関連付けられる変数であり得、復号順序において前にくるＲＡＰピクチャに対して出力順序におけるピクチャ位置が増大するとともに増大する値を有する。
【０１５７】
[0170]一例では、ＲＡＰアクセスユニットは、コード化ピクチャがＲＡＰピクチャであるアクセスユニットである。ＲＡＰピクチャは、Ｉスライスのみを含むコード化ピクチャであってもよい。ＲＡＰピクチャについて、復号順序と出力順序の両方におけるＲＡＰピクチャの後続のすべてのコード化ピクチャは、復号順序または出力順序のいずれかにおいてＲＡＰピクチャの前にくる任意のピクチャからのインター予測を使用しない。復号順序においてＲＡＰピクチャの前にくる任意のピクチャの出力は、ＲＡＰピクチャの出力に先行すべきである。復号順序においてすべての前にくるアクセスユニットが存在するとは限らない場合、コード化ピクチャによって参照される各パラメータセットおよび復号順序におけるすべての後続のコード化ピクチャがそのアクティブ化の前に存在するという条件で、ＲＡＰピクチャおよび復号順序と出力順序の両方におけるすべての後続のコード化ピクチャは正確に復号され得る。
【０１５８】
[0171]代替的に、ＲＡＰピクチャは、上記の論述と一致して次のように定義されてもよい。ＲＡＰピクチャは、Ｉスライスのみを含み、かつ、復号順序と出力順序の両方におけるＲＡＰピクチャの後続のすべてのコード化ピクチャが、復号順序または出力順序のいずれかにおいてＲＡＰピクチャの前にくる任意のピクチャからのインター予測を使用しないコード化ピクチャであってもよい。復号順序においてＲＡＰピクチャの前にくる任意のピクチャは、出力順序においてもＲＡＰピクチャの前にくる。
【０１５９】
[0172]ＴＬＡアクセスユニットは、コード化ピクチャがＴＬＡピクチャであるアクセスユニットである。ＴＬＡピクチャはコード化ピクチャであり、そのＴＬＡピクチャ、および、ＴＬＡピクチャのｔｅｍｐｏｒａｌ＿ｉｄ以上のｔｅｍｐｏｒａｌ＿ｉｄを有するすべてのコード化ピクチャ。復号順序においてＴＬＡピクチャの後にくるＴＬＡピクチャは、復号順序においてＴＬＡピクチャの前にくるＴＬＡピクチャのｔｅｍｐｏｒａｌ＿ｉｄ以上のｔｅｍｐｏｒａｌ＿ｉｄを有するいかなるピクチャからのインター予測も使用すべきでない。ＴＬＡＬアクセスユニットは、コード化ピクチャがＴＬＡピクチャであるアクセスユニットである。
【０１６０】
[0173]いくつかの例では、次の別個のＶＣＬ  ＮＡＬユニットタイプが定義され得る。第１の例として、ＮＡＬユニットタイプは、ＩＤＲピクチャのコード化スライスに提供されてもよい（たとえば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝５）。このＮＡＬユニットタイプに対しては、ＨＥＶＣ  Ｗ６におけるＩＤＲピクチャ概念が適用される。他のタイプのＶＣＬ  ＮＡＬユニットと比較した、このＶＣＬ  ＮＡＬユニットタイプの固有の特徴は、スライスヘッダに含まれる参照ピクチャセット（ＲＰＳ）シンタックスがないことである。
【０１６１】
[0174]一部の例は、ＢＬＣＮＬピクチャのコード化スライスを含む（ビットストリーム内で関連付けられる先行ピクチャのないＢＬＣピクチャ、たとえば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝２）。ＩＤＲピクチャのコード化スライスと比較して、ＢＬＣＮＬピクチャのコード化スライスは、スライスヘッダ内にＲＰＳシンタックスを含むが、ＲＰＳシンタックスはＲＰＳ導出に使用されず、むしろ、すべてのＲＰＳサブセットが空であるとして導出される。
【０１６２】
[0175]一部の例は、ＢＬＣＬピクチャのコード化スライスを含む（ビットストリーム内で関連付けられる先行ピクチャのあるＢＬＣピクチャ、たとえば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝３）。ＢＬＣＮＬピクチャと比較して、ビットストリーム内でＢＬＣＬピクチャに関連付けられる先行ピクチャがある。
【０１６３】
[0176]一部の例は、ＣＲＡＮＬピクチャのコード化スライスを含む（ビットストリーム内で関連付けられる先行ピクチャのないＣＲＡ、たとえば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１５）。ＢＬＣＮＬピクチャのコード化スライスと比較して、ＣＲＡＮＬピクチャのコード化スライスは、スライスヘッダ内にＲＰＳシンタックスを含み、ＲＰＳシンタックスはＲＰＳ導出に使用される。
【０１６４】
[0177]一部の例は、ＣＲＡＬピクチャのコード化スライスを含む（ビットストリーム内で関連付けられる先行ピクチャのあるＣＲＡピクチャ、たとえば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝４）。ＣＲＡＮＬピクチャと比較して、ビットストリーム内でＣＲＡＬピクチャに関連付けられる先行ピクチャがある。
【０１６５】
[0178]一部の例は、ＴＬＡＮＬピクチャのコード化スライスを含む（ＬＦＲピクチャではないＴＬＡピクチャ、たとえば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１６）。一部の例は、ＴＬＡＬピクチャのコード化スライスを含む（ＬＰＲピクチャでもあるＴＬＡピクチャ、たとえば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１７）。一部の例は、ＮＳＰピクチャのコード化スライスを含む（上記のいずれでもない、ナッシングスペシャルプレーンピクチャ、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１）。
【０１６６】
[0179]各ＢＬＣピクチャ（ＢＬＣＬまたはＢＬＣＮＬ）ピクチャのスライスデータを復号する前に、復号ピクチャバッファ（ＤＰＢ）内のすべての参照ピクチャは、上記で説明されたように、デコーダ３０によって「参照のために使用されない」としてマーキングされなければならない。これが実施されたときにのみ、ビットストリームの始まりにあるＣＲＡピクチャの先行ピクチャに対する、ＨＥＶＣ  ＷＤ６において現在規定されているものとしての現行の復号プロセスが、ＢＬＡピクチャが空間分解能を変化させるか否かにかかわらず、ＢＬＡピクチャの先行ピクチャのためにデコーダ３０によって直接適用され得る。
【０１６７】
[0180]上記がなく、ＢＬＡピクチャが空間分解能を変化させない場合、ビットストリームの始まりにあるＣＲＡピクチャの先行ピクチャに対する、ＨＥＶＣ  ＷＤ６において現在規定されているものとしての現行の復号プロセスが、ＢＬＡピクチャの先行ピクチャのためにデコーダ３０によって直接適用され得る。しかしながら、ＢＬＡピクチャが空間分解能を変化させる場合、この状況は、現在のピクチャおよび現在のピクチャの参照ピクチャによって空間分解能が異なると考えられ得るため、ビットストリームの始まりにあるＣＲＡピクチャの先行ピクチャに対する、ＨＥＶＣ  ＷＤ６において現在規定されているものとしての現行の復号プロセスは、ＢＬＡピクチャの先行ピクチャのために直接適用され得ない。
【０１６８】
[0181]各ＢＬＡピクチャのスライスデータを復号する前に、ＤＰＢ内のすべての参照ピクチャが「参照のために使用されない」としてマーキングされることを保証するための１つの方法は、スライスヘッダ内のＲＰＳシグナリングが空でないＲＰＳを示すか否かにかかわらず、各ＢＬＡピクチャのＲＰＳを空であるものとして導出することである。たとえば、ピクチャがＢＬＡである場合、たとえＲＰＳがある場合であっても、ビデオデコーダ３０は、これをオーバライド（override）してＲＰＳを空であるものとして導出または処理し得る。
【０１６９】
[0182]実際、スライスヘッダにおけるＲＰＳシグナリングが、ＢＬＡピクチャまたはＣＲＡ（ＣＲＡＬまたはＣＲＡＮＬ）ピクチャについて空のＲＰＳを示す場合、ピクチャはＩＤＲピクチャとしてコーディングされているはずである。
【０１７０】
[0183]いくつかの例では、ＲＡＰピクチャは、Ｉスライスのみを含むコード化ピクチャとして定義され得る。ＲＡＰピクチャについて、復号順序と出力順序の両方におけるＲＡＰピクチャの後続のすべてのコード化ピクチャは、復号順序または出力順序のいずれかにおいてＲＡＰピクチャの前にくる任意のピクチャからのインター予測を使用しない。加えて、復号順序においてＲＡＰピクチャの前にくる任意のピクチャの出力は、ＲＡＰピクチャの出力に先行し得る。
【０１７１】
[0184]復号順序においてＲＡＰピクチャの前にくる任意のピクチャの出力がＲＡＰピクチャの出力に先行すべきであることを保証するための１つの方法は、ビデオエンコーダ２０が、上記で説明されたように、たとえば、ビデオデコーダ３０に送信されるコード化ビットストリーム内で、１に等しいｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを設定することである。別の例では、ビデオデコーダ３０が、ＢＬＡピクチャについてｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが（その値にかかわらず）１に等しいと推定してもよい。このように、スプライシングされるビットストリームにおいてＢＬＡピクチャのより前にあるピクチャのＰＯＣ値がＢＬＡピクチャのＰＯＣ値よりも大きい、ＢＬＡピクチャにおけるスプライシング動作が可能にされる。特に、ＢＬＡピクチャのＰＯＣ値がそのＰＯＣ  ＬＳＢに等しいものとして導出される（０に等しいＰＯＣ  ＭＳＢを仮定することによって）場合、上記は容易に起こり得る。これを保証するための別の方法は、復号順序においてＢＬＡピクチャの前にくるピクチャの出力時点が、ＢＬＡピクチャの出力時点よりも早いことを確実にすることである。
【０１７２】
[0185]一部の例は、ビデオエンコーダ２０および／またはビットストリームスプライサが、本明細書に説明されているいずれの方法を使用するかを決定することを可能にする。したがって、たとえば、ビデオエンコーダ２０は、一部の例ではＢＬＡピクチャのスライスヘッダ内にｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを含み得る。他の例では、ビデオエンコーダ２０は、ビデオデコーダ３０にあるバッファに記憶されているピクチャが参照に使用され得るか否かを示すＮＡＬユニットタイプを含んでもよい。したがって、ビデオデコーダ３０は、たとえば、そのようなピクチャを復号に使用する結果としてピクチャが不正確に復号されることになるとき、ピクチャを参照のために使用されないものとしてマーキングし得る。
【０１７３】
[0186]ネットワーク要素によってＣＲＡをＢＬＡピクチャに単純に書き換えることを可能にするために、ＣＲＡピクチャのスライスヘッダ内にｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを置くことに加えて、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇはまた、スライスヘッダ内に可能な限り早期に含まれ得る。これは、上記で説明されたように、任意のエントロピーコード化スライスヘッダパラメータの前、たとえば、一部の例におけるｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの直後であり得る。
【０１７４】
[0187]一例では、２つの連続するＢＬＡピクチャは同じＰＯＣ  ＬＳＢを有し、それらは、ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｐｉｃ＿ｉｄ（またはｒａｐ＿ｐｉｃ＿ｉｄに改称されている）によってしか区別することが可能でない。したがって、ｒａｐ＿ｐｉｃ＿ｉｄに固定長コーディングを使用し、スライスヘッダ内で相対的に早期に、好ましくは任意のエントロピーコード化スライシングヘッダパラメータの後でなく、たとえば、たとえばＣＲＡピクチャとＢＬＡピクチャの両方のｆｉｒｓｔ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇおよびｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの直後に、ｒａｐ＿ｐｉｃ＿ｉｄを置くことが好ましい場合がある。ピクチャ境界検出に使用され得る他のスライスヘッダシンタックス要素、たとえば、ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、およびＰＯＣ  ＬＳＢ（すなわち、ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ）は同様であり得る。
【０１７５】
[0188]特定のタイプ（たとえば、ＳＰＳ）またはすべてのタイプのすべてのパラメータセットが、ビットストリームの始まりに存在し得る、すなわち、ビットストリーム内の最初のアクセスユニットに含まれ得る。そうである場合、特定のタイプのすべてのパラメータセットをフェッチして、これらを帯域外で送ることが簡便である。たとえば、コーダは、セッションネゴシエーション中に使用されるセッション記述プロトコル（ＳＤＰ）パラメータ内に含み得る。それゆえ、エンコーダが、特定のタイプまたはすべてのタイプのすべてのパラメータセットがビットストリームの始まりに存在するという指示をビットストリーム内に含むことが有益であり得る。この指示は、ＳＥＩメッセージ、アクセスユニットデリミタ、またはパラメータセットに含まれてもよい。たとえば、すべてのＳＰＳ（またはＰＰＳもしくはＡＰＳ）がビットストリームの始まりに存在することを示すために、ＳＰＳ、ピクチャパラメータセット（ＰＰＳ）、または適応パラメータセット（ＡＰＳ）に明確なＮＡＬユニットタイプが使用され得る。
【０１７６】
[0189]シンタックス要素ｓｌｉｃｅ＿ｔｙｐｅは、スライスを含むピクチャがＩＤＲピクチャ、ＣＲＡピクチャ、またはＢＬＡピクチャであることをＮＡＬユニットタイプが示すか否かに基づいて、条件付きでスライスヘッダ内に存在し得る。たとえば、スライスを含むピクチャがＩＤＲピクチャ、ＣＲＡピクチャ、またはＢＬＡピクチャであることをＮＡＬユニットタイプが示す場合、ｓｌｉｃｅ＿ｔｙｐｅはスライスヘッダ内に存在しない。そうでない場合、エンコーダはｓｌｉｃｅ＿ｔｙｐｅをスライスヘッダに挿入する。存在しないとき、ｓｌｉｃｅ＿ｔｙｐｅの値は、スライスがＩスライスであることを示す。
【０１７７】
[0190]図１０は、本開示で説明される１つまたは複数の例による、スライスを復号するための例示的な方法を示す流れ図である。一例では、ビデオデコーダ３０は、ビデオデータを復号し得、これは、ビデオデータのシーケンスの、復号されるべき現在のピクチャのスライスを受信することを含む（１０００）。ビデオデコーダ３０は、スライスのスライスヘッダ内で、少なくとも１つのエントロピーコード化シンタックス要素、および、少なくとも１つの非エントロピーコード化シンタックス要素を受信し得る。非エントロピーコード化シンタックス要素は、スライスヘッダ内でエントロピーコード化シンタックス要素の前にあり得る。加えて、非エントロピーコード化シンタックス要素は、復号順序において現在のピクチャの前にくるピクチャが、出力されることなくピクチャ記憶バッファから捨てられるべきであるか否かを示し得る（１００２）。一例では、シンタックス要素はｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇであってもよい。ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、たとえば、復号順序において現在のピクチャの前にくるピクチャが、出力されることなくピクチャ記憶バッファから捨てられるべきである場合を示すために、「１」に設定され得る。ビデオデコーダ３０は、非エントロピーコード化シンタックス要素に基づいてスライスを復号し得る（１００４）。
【０１７８】
[0191]図１１は、本開示で説明される１つまたは複数の例による、スライスを符号化するための例示的な方法を示す流れ図である。エンコーダ２０は、ビデオデータを符号化し得る。ビデオエンコーダ２０は、ビデオデータのシーケンスの、現在のピクチャのスライスを符号化し得る（１１００）。
【０１７９】
[0192]ビデオエンコーダ２０は、スライスのスライスヘッダ中で、少なくとも１つのエントロピー符号化シンタックス要素と少なくとも１つの非エントロピーコード化シンタックス要素とを符号化し、ここで、非エントロピー符号化シンタックス要素は、スライスヘッダ中でエントロピー符号化シンタックス要素の前にあり、復号順序において現在のピクチャより前のピクチャが出力されることなくピクチャ記憶バッファから捨てられるべきか否かを示す（１１０２）。一例では、シンタックス要素はｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇであってもよい。ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、たとえば、復号順序において現在のピクチャの前にくるピクチャが、出力されることなくピクチャ記憶バッファから出されるべきである場合を示すために、「１」に設定され得る。
【０１８０】
[0193]図１２は、本開示において説明されているように、ビデオデータを処理するための例示的な技法を示す流れ図である。図１２の技法は、ビデオデコーダ３０、ネットワークエンティティ２９、ルーティングデバイス１０４、トランスコーディングデバイス１０６または何らかの他のそのようなビデオ処理デバイスのような、ビデオ処理デバイスによって実行され得る。ビデオ処理デバイスは、ビデオデータ中でＮＡＬユニットを受信し（１２１０）、第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出することができる（１２２０）。ＮＡＬユニットタイプは、ブロークンリンクピクチャが先頭ピクチャのあるブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプであり得、または、ＮＡＬユニットタイプは、ブロークンリンクピクチャが先頭ピクチャのないブロークンリンクピクチャを備えることを示す異なるＮＡＬユニットタイプであり得る。ビデオ処理エンティティは、ＮＡＬユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく、ブロークンリンクピクチャを検出することができる。
【０１８１】
[0194]検出されたＮＡＬユニットのタイプに基づいて、ビデオ処理デバイスは、様々な動作のうちの１つまたは複数を実行し得る。たとえば、ＭＡＮＥは、ＮＡＬユニットタイプに基づいてＮＡＬユニットに関する１つまたは複数のルーティング決定を行い得る。一例として、ビデオ処理デバイスがＭＡＮＥである場合、ビデオ処理デバイスは、ＮＡＬユニットが先行ピクチャのあるブロークンリンクピクチャを示すのに応答して、先行ピクチャを破棄して先行ピクチャのないＮＡＬユニットを送信し得る。ＮＡＬユニットが先行ピクチャのないブロークンリンクピクチャを示す場合、ビデオ処理デバイスは、任意の先行ピクチャを破棄する必要なしにＮＡＬユニットを送信することができる。ＭＡＮＥは、たとえば、場合によっては１つまたは複数のルーティングデバイスを介して、ビデオデコーダにＮＡＬユニットを送信し得る。
【０１８２】
[0195]たとえば、ビデオ処理デバイスがＭＡＮＥとは対照的にビデオデコーダである場合、ビデオデコーダは、様々な異なる動作のうちの１つまたは複数を実行し得る。たとえば、ブロークンリンクピクチャの検出に応答して、ビデオデコーダは、ビデオデータの１つまたは複数の新たなパラメータセットをアクティブにし得る。
【０１８３】
[0196]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアにおいて実装される場合、機能は、１つもしくは複数の命令もしくはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、データ記憶媒体または通信媒体のような有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、全般に、（１）非一時的である有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【０１８４】
[0197]さらに他の例では、本開示は、その上に記憶されたデータ構造を備えるコンピュータ可読媒体を企図し、データ構造は本開示に一致する符号化ビットストリームを含む。特に、データ構造は、本明細書において説明されているＮＡＬユニット設計を含み得る。
【０１８５】
[0198]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。同様に、いかなる接続も適切にコンピュータ可読媒体と称される。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【０１８６】
[0199]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）または他の等しい統合されているか個別の論理回路など１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される場合、「プロセッサ」という用語は、前述の構造、または本明細書で説明される技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、一部の態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のハードウェアおよび／もしくはソフトウェアモジュール内に与えられてよく、または複合コーデックに組み込まれてよい。また、本技法は、１つまたは複数の回路または論理要素中で完全に実装され得る。
【０１８７】
[0200]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられてよく、または相互動作するハードウェアユニットの集合によって与えられてよい。
【０１８８】
[0201]様々な例が説明された。これらおよび他の例は添付の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ビデオデータを処理するための方法であって、
前記ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、
前記第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
を備える方法。
［２］  前記ＮＡＬユニットタイプは第１のＮＡＬユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのあるブロークンリンクピクチャを検出することを備える、［１］に記載の方法。
［３］  前記先行ピクチャを破棄することと、
前記第１のＮＡＬユニットをビデオ処理デバイスに送信することと、
をさらに備える、［２］に記載の方法。
［４］  前記ＮＡＬユニットタイプは第１のＮＡＬユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのないブロークンリンクピクチャを検出することを備える、［１］に記載の方法。
［５］  前記第１のＮＡＬユニットをビデオ処理デバイスに送信することと、
をさらに備える、［４］に記載の方法。
［６］  第２のＮＡＬユニットを受信することと、
前記第２のＮＡＬユニットについてＮＡＬユニットタイプを決定することと、
前記第２のＮＡＬユニットについての前記ＮＡＬユニットタイプに基づいて、先行ピクチャのあるブロークンリンクピクチャを検出することと、ここで前記第２のＮＡＬユニットについての前記ＮＡＬユニットタイプは前記第１のＮＡＬユニットタイプとは異なる、
をさらに備える、［４］に記載の方法。
［７］  前記ＮＡＬユニットタイプは第１のＮＡＬユニットタイプであり、前記ブロークンリンクピクチャを検出することは、復号可能な先行ピクチャのあるブロークンリンクピクチャを検出することを備える、［１］に記載の方法。
［８］  前記方法はビデオ処理エンティティによって実行され、前記ビデオ処理エンティティは、前記ＮＡＬユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく前記ブロークンリンクピクチャを検出する、［１］に記載の方法。
［９］  ブロークンリンクピクチャの検出に応答して、前記ビデオデータをコーディングするための１つまたは複数の新たなパラメータセットをアクティブにすることをさらに備える、［１］に記載の方法。
［１０］  前記１つまたは複数の新たなパラメータセットは、適応パラメータセット（ＡＰＳ）、シーケンスパラメータセット（ＳＰＳ）、およびピクチャパラメータセット（ＰＰＳ）のうちの１つまたは複数を備える、［９］に記載の方法。
［１１］  前記１つまたは複数のパラメータセットの１つに対する識別情報（ＩＤ）が、前に復号されたピクチャのアクティブなパラメータセットと同じである、［９］に記載の方法。
［１２］  前記方法は、ビデオデコーダによって実行される、［１］に記載の方法。
［１３］  前記方法は、メディアアウェアネットワーク要素（ＭＡＮＥ）によって実行される、［１］に記載の方法。
［１４］  ビデオデータを処理するための方法であって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、
前記ＮＡＬユニットがブロークンリンクピクチャを備えると決定することと、
前記ＮＡＬユニットについてのＮＡＬユニットタイプを、前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定することと、
を備える方法。
［１５］  前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えると決定することは、前記ＮＡＬユニットが先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記ＮＡＬユニットタイプは、前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えることを示す、［１４］に記載の方法。
［１６］  前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定することは、前記ＮＡＬユニットが復号可能な先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記第１のＮＡＬユニットタイプは、前記ＮＡＬユニットが前記復号可能な先行ピクチャのあるブロークンリンクピクチャを備えることを示す、［１５］に記載の方法。
［１７］  前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定することは、前記ＮＡＬユニットが復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えると決定することを備え、前記第１のＮＡＬユニットタイプは、前記ＮＡＬユニットが前記復号可能なまたは復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えることを示す、［１５］に記載の方法。
［１８］  前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えると決定することは、前記ＮＡＬユニットが先行ピクチャのないブロークンリンクピクチャを備えると決定することを備え、前記第１のＮＡＬユニットタイプは、前記ＮＡＬユニットが前記先行ピクチャのないブロークンリンクピクチャを備えることを示す、［１４］に記載の方法。
［１９］  ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、
前記第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
を行うように構成されている１つまたは複数のプロセッサを備える、デバイス。
［２０］  前記ＮＡＬユニットタイプは第１のＮＡＬユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのあるブロークンリンクピクチャを検出することを備える、［１９］に記載のデバイス。
［２１］  前記１つまたは複数のプロセッサは、
前記先行ピクチャを破棄することと、
前記第１のＮＡＬユニットをビデオ処理デバイスに送信することと、
を行うようにさらに構成されている、［２０］に記載のデバイス。
［２２］  前記ＮＡＬユニットタイプは第１のＮＡＬユニットタイプであり、前記ブロークンリンクピクチャを検出することは、先行ピクチャのないブロークンリンクピクチャを検出することを備える、［１９］に記載のデバイス。
［２３］  前記１つまたは複数のプロセッサは、
前記第１のＮＡＬユニットをビデオ処理デバイスに送信することを行うようにさらに構成されている、［２２］に記載のデバイス。
［２４］  前記１つまたは複数のプロセッサは、
第２のＮＡＬユニットを受信することと、
前記第２のＮＡＬユニットについてＮＡＬユニットタイプを決定することと、
前記第２のＮＡＬユニットについての前記ＮＡＬユニットタイプに基づいて、先行ピクチャのあるブロークンリンクピクチャを検出することと、ここで前記第２のＮＡＬユニットの前記ＮＡＬユニットタイプは前記第１のＮＡＬユニットタイプとは異なる、
を行うようにさらに構成されている、［２２］に記載のデバイス。
［２５］  前記ＮＡＬユニットタイプは第１のＮＡＬユニットタイプであり、前記ブロークンリンクピクチャを検出することは、復号可能な先行ピクチャのあるブロークンリンクピクチャを検出することを備える、［１９］に記載のデバイス。
［２６］  前記デバイスはビデオ処理エンティティを備え、前記ビデオ処理エンティティは、前記ＮＡＬユニット内のビデオビットストリームデータのシンタックス要素のエントロピー復号を実行することなく前記ブロークンリンクピクチャを検出するように構成されている、［１９］に記載のデバイス。
［２７］  前記１つまたは複数のプロセッサは、
ブロークンリンクピクチャの検出に応答して、前記ビデオデータをコーディングするための１つまたは複数の新たなパラメータセットをアクティブにするようにさらに構成されている、［１９］に記載のデバイス。
［２８］  前記１つまたは複数の新たなパラメータセットは、適応パラメータセット（ＡＰＳ）、シーケンスパラメータセット（ＳＰＳ）、およびピクチャパラメータセット（ＰＰＳ）のうちの１つまたは複数を備える、［２７］に記載のデバイス。
［２９］  前記１つまたは複数のパラメータセットの１つに対する識別情報（ＩＤ）は、前に復号されたピクチャのアクティブなパラメータセットと同じである、［２７］に記載のデバイス。
［３０］  前記デバイスはビデオデコーダを備える、［１９］に記載のデバイス。
［３１］  前記デバイスは、メディアアウェアネットワーク要素（ＭＡＮＥ）を備える、［１９］に記載のデバイス。
［３２］  前記デバイスは、
集積回路、
マイクロプロセッサ、および
ビデオデコーダを備えるワイヤレス通信デバイス
のうちの少なくとも１つを備える、［１９］に記載のデバイス。
［３３］  ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、
前記ＮＡＬユニットがブロークンリンクピクチャを備えると決定することと、
前記ＮＡＬユニットについてのＮＡＬユニットタイプを、前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定することと、
を行うように構成されている１つまたは複数のプロセッサを備える、デバイス。
［３４］  前記１つまたは複数のプロセッサは、前記ＮＡＬユニットが先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えると決定するように構成され、前記ＮＡＬユニットタイプは、前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えることを示す、［３３］に記載のデバイス。
［３５］  前記１つまたは複数のプロセッサは、前記ＮＡＬユニットが復号可能な先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定するように構成され、前記第１のＮＡＬユニットタイプは、前記ＮＡＬユニットが前記復号可能な先行ピクチャのあるブロークンリンクピクチャを備えることを示す、［３４］に記載のデバイス。
［３６］  前記１つまたは複数のプロセッサは、前記ＮＡＬユニットが復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えると決定することによって、前記ＮＡＬユニットが前記先行ピクチャのあるブロークンリンクピクチャを備えると決定するように構成され、前記第１のＮＡＬユニットタイプは、前記ＮＡＬユニットが前記復号可能なまたは復号可能でない先行ピクチャのあるブロークンリンクピクチャを備えることを示す、［３４］に記載のデバイス。
［３７］  前記１つまたは複数のプロセッサは、前記ＮＡＬユニットが先行ピクチャのないブロークンリンクピクチャを備えると決定することによって、前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えると決定するように構成され、前記第１のＮＡＬユニットタイプは、前記ＮＡＬユニットが前記先行ピクチャのないブロークンリンクピクチャを備えることを示す、［３３］に記載のデバイス。
［３８］  ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信する手段と、
前記第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出する手段と、
を備えるデバイス。
［３９］  ビデオデータを処理するためのデバイスであって、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信する手段と、
前記ＮＡＬユニットがブロークンリンクピクチャを備えると決定する手段と、
前記ＮＡＬユニットについてのＮＡＬユニットタイプを、前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定する手段と、
を備えるデバイス。
［４０］  １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
前記ビデオデータの一部を備える第１のネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、
前記第１のＮＡＬユニットのＮＡＬユニットタイプに基づいて、ブロークンリンクピクチャを検出することと、
を行わせる命令を記憶するコンピュータ可読記憶媒体。
［４１］  １つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
前記ビデオデータの一部を備えるネットワーク抽象レイヤ（ＮＡＬ）ユニットを受信することと、
前記ＮＡＬユニットがブロークンリンクピクチャを備えると決定することと、
前記ＮＡＬユニットについてのＮＡＬユニットタイプを、前記ＮＡＬユニットが前記ブロークンリンクピクチャを備えることを示すＮＡＬユニットタイプに設定することと、
を行わせる命令を記憶するコンピュータ可読記憶媒体。
【図１】
0006284924.tif 000002
【図２Ａ】
0006284924.tif 000003
【図２Ｂ】
0006284924.tif 000004
【図３】
0006284924.tif 000005
【図４】
0006284924.tif 000006
【図５】
0006284924.tif 000007
【図６】
0006284924.tif 000008
【図７】
0006284924.tif 000009
【図８】
0006284924.tif 000010
【図９】
0006284924.tif 000011
【図１０】
0006284924.tif 000012
【図１１】
0006284924.tif 000013
【図１２】
0006284924.tif 000014