(57)【要約】      （修正有）【課題】クロスチャネル残差ブロックのための量子化パラメータ決定方法を提供する。【解決手段】符号化方法は、映像または静止画の少なくとも２つの色チャネルに基づいて量子化された残差係数を含むブロックを受信する。第１の量子化パラメータと、第１の量子化パラメータと第２の量子化パラメータとの関係を規定するオフセットとを受信する。第１の量子化パラメータ及びオフセットを用いて第２のパラメータの値を決定する。残差係数を含むブロックがクロスチャネル残差符号化モードで符号化されていた場合、第２の量子化パラメータを用いて量子化された残差係数を逆量子化し、残差サンプルを再構成する。【選択図】図８ａ
2020137111.tif 000002
【特許請求の範囲】
【請求項１】
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを受信することと；
第１の量子化パラメータを得ることと；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを得ることと；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定することと；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて、前記量子化された残差係数を逆量子化し、残差サンプルを再構成することと；
を含む、方法。
【請求項２】
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを受信することと；
第１の量子化パラメータを得ることと；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを得ることと；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定することと；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて、前記量子化された残差係数を逆量子化し、残差サンプルを再構成することと；
を遂行する手段を備える、装置。
【請求項３】
前記手段が更に、
２つ以上の色チャネルの量子化パラメータを得ることと；
前記２つ以上の色チャネルの量子化パラメータを用いて前記第１の量子化パラメータを計算することと；
を行うように構成される、請求項２に記載の装置。
【請求項４】
前記手段が更に、
前記ブロックがクロスチャネル残差符号化モードを用いて符号化されているかどうかを判断することと；
前記ブロックがクロスチャネル残差符号化モードを用いて符号化されているとの判断であった場合のみ、前記第２の量子化パラメータの値を決定することと；
を行うように構成される、請求項２又は３に記載の装置。
【請求項５】
前記手段が更に、
１つ又は複数の限定基準を得ることと；
前記１つ又は複数の限定基準を満たすように前記第２の量子化パラメータの値を限定することと；
を行うように構成される、請求項２から４のいずれかに記載の装置。
【請求項６】
前記手段が更に、前記映像または前記静止画のビット深度に基づいて別のオフセットを決定するように構成される、請求項２から５のいずれかに記載の装置。
【請求項７】
前記手段が更に、
第１のクロミナンスチャネルの量子化パラメータを得ることと；
第２のクロミナンスチャネルの量子化パラメータを得ることと；
前記第１のクロミナンスチャネルの量子化パラメータと前記第２のクロミナンスチャネルの量子化パラメータの組み合わせとして前記第２の量子化パラメータの値を決定することと；
を行うように構成される、請求項２から６のいずれかに記載の装置。
【請求項８】
前記手段が更に、
既定の又は指示されたオフセットを得ることと；
前記第１のクロミナンスチャネルの量子化パラメータと、前記第２のクロミナンスチャネルの量子化パラメータと、前記既定の又は指示されたオフセットとの組み合わせとして前記第２の量子化パラメータの値を決定することと；
を行うように構成される、請求項７に記載の装置。
【請求項９】
請求項２から８のいずれかに記載の装置であって、前記映像または前記静止画は１つのルミナンスチャネル及び２つのクロミナンスチャネルを有し、前記手段が更に、
前記ルミナンスチャネルの情報を使用することと；
前記チャネルのうち空間解像度が最大のチャネルの情報を使用することと；
前記映像または前記静止画の再構成にしようされない仮想チャネルの情報を使用することと；
を行うように構成される、装置。
【請求項１０】
前記手段は少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに実行されると、前記装置に処理を実行させる、請求項２から９のいずれかに記載の装置。
【請求項１１】
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを得ることと；
第１の量子化パラメータを決定することと；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを決定することと；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定することと；
前記ブロックがクロスチャネル残差符号化モードを用いて符号化されているかどうかを判断することと；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて残差サンプルを量子化し、量子化された残差係数を得ることと；
を含む、方法。
【請求項１２】
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを得ることと；
第１の量子化パラメータを決定することと；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを決定することと；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定することと；
前記ブロックがクロスチャネル残差符号化モードを用いて符号化されているかどうかを判断することと；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて残差サンプルを量子化し、量子化された残差係数を得ることと；
を遂行する手段を備える、装置。
【請求項１３】
２つ以上の色チャネルの量子化パラメータを得ることと；
前記２つ以上の色チャネルの量子化パラメータを用いて前記第１の量子化パラメータを計算することと；
を行うように構成される、請求項１２に記載の装置。
【請求項１４】
前記手段が更に、
前記ブロックがクロスチャネル残差符号化モードを用いて符号化されているかどうかを判断することと；
前記ブロックがクロスチャネル残差符号化モードを用いて符号化されているとの判断であった場合のみ、前記第２の量子化パラメータの値を決定することと；
を行うように構成される、請求項１２又は１３に記載の装置。
【請求項１５】
前記手段が更に、
１つ又は複数の限定基準を得ることと；
前記１つ又は複数の限定基準を満たすように前記第２の量子化パラメータの値を限定することと；
を行うように構成される、請求項１２から１４のいずれかに記載の装置。
【請求項１６】
前記手段が更に、
第１のクロミナンスチャネルの量子化パラメータを得ることと；
第２のクロミナンスチャネルの量子化パラメータを得ることと；
前記第１のクロミナンスチャネルの量子化パラメータと前記第２のクロミナンスチャネルの量子化パラメータの組み合わせとして前記第２の量子化パラメータの値を決定することと；
を行うように構成される、請求項１２から１５のいずれかに記載の装置。
【請求項１７】
請求項１２から１６のいずれかに記載の装置であって、前記映像または前記静止画は１つのルミナンスチャネル及び２つのクロミナンスチャネルを有し、前記手段が更に、
前記ルミナンスチャネルの情報を使用することと；
前記チャネルのうち空間解像度が最大のチャネルの情報を使用することと；
前記映像または前記静止画の再構成にしようされない仮想チャネルの情報を使用することと；
を行うように構成される、装置。
【請求項１８】
前記手段は少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに実行されると、前記装置に処理を実行させる、請求項１２から１７のいずれかに記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は概して、映像や静止画の情報の符号化や復号に関する。
【背景】
【０００２】
本セクションは、請求項に記載の発明の背景や関連情報を提供することを意図している。ただし本セクションの説明は、特許化可能であって、既に必ずしも概念化、特許化されていないものを含みうる。したがって、本明細書で別途記載しない限り、本セクションの内容は、本願の明細書および請求項に対する先行技術ではなく、本セクションに含められることで先行技術として認められるものではない。
【０００３】
ビデオの符号化システムは、格納／送信に適した圧縮表現に入力ビデオを変換するエンコーダと、圧縮ビデオ表現を視聴可能な形態に解凍可能なデコーダとを含む。エンコーダは、元のビデオシーケンスにおける一部の情報を破棄し、ビデオをよりコンパクトな形態としてもよい。これにより、例えば、破棄しなかった場合と比較して、より低いビットレートで当該ビデオ情報の格納／送信を実現できる。
【０００４】
動画や静止画のサンプルは、YUVやYCbCrのような色表現を用いて符号化することができる。YCbCrは、1つの輝度情報（ルミナンス）Yと、2つの色差チャネル（色差成分、クロミナンス成分）Cb, Crからなる。ある技術的アプローチでは、各チャネルは予測され、各チャネルの残差信号は別個に符号化される。このような残差信号の符号化は、典型的には残差サンプルのフォワード変換（Forward Transform）と、結果として得られる変換係数の量子化とを含む。また復号は、受信した変換係数を逆量子化することと、逆量子化された係数を逆変換して復号残差サンプルを再構成することとを含む。量子化プロセスの精度はチャネル毎に個別に設定することができる。しかしそのような設定方法は、シナリオや符号化モードによっては最適ではないことがある。
【摘要】
【０００５】
いくつかの実施形態は、ビデオ情報を符号化、復号する方法を提供する。いくつかの実施形態において、当該方法を実現する装置、コンピュータプログラムプロダクト、コンピュータ可読媒体が提供される。
【０００６】
ある実施形態に従う方法は、変換ブロック（transform block）の量子化パラメータを、2つ以上の残差サンプル（residual sample）のジョイント符号化（joint coding）を用いて決定する。特定の実子形態においては、クロスチャネル残差ブロック（cross-channel residual block）のための量子化パラメータが決定されてもよい。この量子化パラメータは、クロスチャネル符号化（cross-channel coding）が適用されるチャネルの量子化パラメータとは無関係であってもよい。実施形態によっては、クロスチャネル符号化は、映像又は静止画の2つのクロミナンスチャネルに対して適用され、クロスチャネル量子化パラメータは、その最大解像度ルミナンスチャネルから導出される。実施形態によっては、クロスチャネル符号化を用いた残差ブロックの量子化パラメータは、2つ以上の量子化パラメータを組み合わせて決定される仮想チャネルの量子化パラメータに基づいて計算される。
【０００７】
本発明の様々な側面の例示は、詳細説明の欄にて記載される。
【０００８】
第１の側面によれば次のような方法が提供される。この方法は、
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを受信することと；
第１の量子化パラメータを得ることと；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを得ることと；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定することと；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて、前記量子化された残差係数を逆量子化し、残差サンプルを再構成することと；
を含む。
【０００９】
第２の側面によれば、次のような装置が提供される。この装置は、
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを受信する手段と；
第１の量子化パラメータを得る手段と；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを得る手段と；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定する手段と；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて、前記量子化された残差係数を逆量子化し、残差サンプルを再構成する手段と；
を備える。
【００１０】
第３の側面によれば、次のような装置が提供される。この装置は、少なくとも一つのプロセッサと、コンピュータプログラムコードを格納する少なくとも一つのメモリを備える装置であって、前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されると、前記装置に少なくとも：
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを受信することと；
第１の量子化パラメータを得ることと；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを得ることと；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定することと；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて、前記量子化された残差係数を逆量子化し、残差サンプルを再構成することと；
を遂行させるように構成される。
【００１１】
第４の側面によれば、１つ以上の命令の１つ以上のシーケンスを含む次のようなコンピュータプログラム製品が提示される。ここで前記１つ以上の命令の１つ以上のシーケンスは、１つ以上のプロセッサによって実行されると、装置に少なくとも、
映像または静止画の少なくとも２つの色チャネルに基づいて、量子化された残差係数を含むブロックを受信することと；
第１の量子化パラメータを得ることと；
前記第１の量子化パラメータと、前記ブロックの第２の量子化パラメータとの間の関係を規定するオフセットを得ることと；
前記第１の量子化パラメータ及び前記オフセットを用いて前記第２の量子化パラメータの値を決定することと；
前記ブロックがクロスチャネル残差符号化モードで符号化されていた場合、前記第２の量子化パラメータを用いて、前記量子化された残差係数を逆量子化し、残差サンプルを再構成することと；
を含む。
【００１２】
第５の側面によれば、次のような方法が提供される。この方法は、
インター符号化された符号化単位とイントラ符号化された符号化単位とを有するピクチャの分割のためのシンタックス要素を受信することと；
前記分割の前記符号化単位を第１の走査順で処理することと；
を含み、
前記第１の走査順で処理することは、前記インター符号化された符号化単位を動き補償予測によって再構成することを含み、
前記方法は更に、前記分割の符号化単位を第２の走査順で処理することを含み、前記第２の走査順で処理することは、前記イントラ符号化された符号化単位を、次のものの１つ又は複数を用いて現在の符号化単位を予測することによって再構成することを含み、前記次のものは、
・  前記第２の走査順において前記現在の符号化単位に先行する符号化単位；
・  前記第２の走査順において前記現在の符号化単位に後続する符号化単位；
である。
【００１３】
第６の側面によれば、次のような装置が提供される。この装置は、
インター符号化された符号化単位とイントラ符号化された符号化単位とを有するピクチャの分割のためのシンタックス要素を受信する手段と；
前記分割の前記符号化単位を第１の走査順で処理する手段と；
を備え、
前記第１の走査順で処理することは、前記インター符号化された符号化単位を動き補償予測によって再構成することを含み、
前記装置は更に、前記分割の符号化単位を第２の走査順で処理する手段を備え、前記第２の走査順で処理することは、前記イントラ符号化された符号化単位を、次のものの１つ又は複数を用いて現在の符号化単位を予測することによって再構成することを含み、前記次のものは、
・  前記第２の走査順において前記現在の符号化単位に先行する符号化単位；
・  前記第２の走査順において前記現在の符号化単位に後続する符号化単位；
である。
【００１４】
第７の側面によれば、次のような装置が提供される。この装置は、少なくとも一つのプロセッサと、コンピュータプログラムコードを格納する少なくとも一つのメモリを備える装置であって、前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されると、前記装置に少なくとも：
インター符号化された符号化単位とイントラ符号化された符号化単位とを有するピクチャの分割のためのシンタックス要素を受信することと；
前記分割の前記符号化単位を第１の走査順で処理することと；
を遂行させ、
前記第１の走査順で処理することは、前記インター符号化された符号化単位を動き補償予測によって再構成することを含み、
前記コンピュータプログラムコードは、前記少なくとも一つのプロセッサに実行されると、前記装置に更に、前記分割の符号化単位を第２の走査順で処理することを遂行させ、ここで前記第２の走査順で処理することは、前記イントラ符号化された符号化単位を、次のものの１つ又は複数を用いて現在の符号化単位を予測することによって再構成することを含み、前記次のものは、
・  前記第２の走査順において前記現在の符号化単位に先行する符号化単位；
・  前記第２の走査順において前記現在の符号化単位に後続する符号化単位；
である。
【００１５】
第８の側面によれば、１つ以上の命令の１つ以上のシーケンスを含む次のようなコンピュータプログラム製品が提示される。ここで前記１つ以上の命令の１つ以上のシーケンスは、１つ以上のプロセッサによって実行されると、装置に少なくとも、
インター符号化された符号化単位とイントラ符号化された符号化単位とを有するピクチャの分割のためのシンタックス要素を受信することと；
前記分割の前記符号化単位を第１の走査順で処理することと；
を遂行させる。
前記第１の走査順で処理することは、前記インター符号化された符号化単位を動き補償予測によって再構成することを含む。
前記１つ以上の命令の１つ以上のシーケンスは、１つ以上のプロセッサによって実行されると、装置に更に少なくとも、前記分割の符号化単位を第２の走査順で処理することを遂行させ、前記第２の走査順で処理することは、前記イントラ符号化された符号化単位を、次のものの１つ又は複数を用いて現在の符号化単位を予測することによって再構成することを含み、前記次のものは、
・  前記第２の走査順において前記現在の符号化単位に先行する符号化単位；
・  前記第２の走査順において前記現在の符号化単位に後続する符号化単位；
である。
【図面の簡単な説明】
【００１６】
本発明の例示的実施形態をよりよく理解できるように、次の添付図面を参照しつつ説明する。
【００１７】
【図１】ある実施形態に係るビデオ符号化システムのブロック図である。
【００１８】
【図２】ある実施形態に係る装置の構成を示す。
【００１９】
【図３】ある実施形態に係るビデオの符号化用構成を示す。この構成は、複数の装置、ネットワーク、ネットワーク要素を含む。
【００２０】
【図４】ある実施形態に係るビデオエンコーダのブロック図である。
【００２１】
【図５】ある実施形態に係るビデオデコーダのブロック図である。
【００２２】
【図６】２つのタイルからなるピクチャの例を示す。
【００２３】
【図７ａ】ある実施形態に係る、エンコーダの量子化パラメータ評価部の例を描いている。
【００２４】
【図７ｂ】ある実施形態に係る、デコーダの量子化パラメータ評価部の例を描いている。
【００２５】
【図８ａ】ある実施形態に係る符号化方法を示すフローチャートである。
【００２６】
【図８ｂ】ある実施形態に係る復号方法を示すフローチャートである。
【００２７】
【図９】各種実施形態を実施可能な、マルチメディア通信システムの例を示す概略図である。
【いくつかの実施例の詳細説明】
【００２８】
図１は、ある実施形態に従う装置または電子デバイス５０の概略的ブロック図として、ビデオ符号化システムを描いている。電子デバイス５０は、実施形態に係るコーデックを内蔵してもよい。図２は、ある実施形態に従う装置の構成を示す。図１及び図２に描かれる各要素を次に説明する。
【００２９】
電子デバイス５０は、例えば、無線通信システムにおける携帯端末またはユーザ端末であってもよい。ただし、本発明の各実施形態は、ビデオ映像の符号化および／または復号を実行する可能性のある任意の電子デバイスや装置内に実装してもよいことが理解されよう。
【００３０】
デバイス５０は、自身を保護するための筐体３０を備えてもよく、筐体３０に内蔵されてもよい。デバイス５０はさらに、液晶ディスプレイであるディスプレイ３２を備えてもよい。別の実施形態では、ディスプレイは画像またはビデオ表示に適した任意の表示技術を採用してもよい。デバイス５０は、さらにキーパッド３４を備えてもよい。ある実施形態では、任意の好適なデータまたはユーザインタフェース機構を利用してもよい。例えば、このユーザインタフェースは、タッチ感知ディスプレイの一部としてのバーチャルキーボードまたはデータ入力システムとして実現されてもよい。デバイス５０は、マイク３６または任意の好適な音声入力（デジタル信号入力であってもアナログ信号入力であってもよい）を備えてもよい。デバイス５０は、音声出力装置をさらに備えてもよい。ある実施形態では、該音声出力装置は、受話口３８、スピーカー、アナログ音声出力接続部またはデジタル音声出力接続部のいずれかであってもよい。デバイス５０は、バッテリ４０をさらに備えてもよい（または一実施形態では、デバイスが、太陽電池、燃料電池、またはゼンマイ式発電機等の任意の好適な可搬性エネルギー装置によって電源供給されてもよい）。またデバイス５０は、画像や動画の記録や撮像が可能なカメラ４２を備えてもよい。ある実施形態では、デバイス５０はさらに、別のデバイスとの短直線距離通信用の赤外線ポートを備えてもよい。ある実施形態では、デバイス５０はさらに、例えばＢｌｕｅｔｏｏｔｈ（登録商標）無線接続手段またはＵＳＢ／ＦｉｒｅＷｉｒｅ有線接続手段等の、任意の好適な近距離通信手段を備えてもよい。
【００３１】
デバイス５０は、これを制御するコントローラ５６またはプロセッサを備えてもよい。コントローラ５６は、メモリ５８に接続されてもよい。ある実施形態では、メモリ５８は、画像および音声のいずれの形式のデータ、および／またはコントローラ５６において実行される命令を格納してもよい。コントローラ５６はさらに、音声および／またはビデオデータの符号化および／または復号の実行や、コントローラ５６が実行する符号化および／または復号の補助に適したコーデック回路５４に接続されてもよい。
【００３２】
デバイス５６は、ユーザ情報を提供し、ネットワークにおけるユーザを認証、承認するための認証情報の提供に適した、例えばＵＩＣＣ（Universal Integrated Circuit Card）およびＵＩＣＣリーダー等のカードリーダー４８およびスマートカード４６をさらに備えてもよい。
【００３３】
デバイス５０は、コントローラに接続され、例えば携帯通信ネットワーク、無線通信システム、または無線ローカルエリアネットワークと通信するための無線通信信号の生成に適した無線インタフェース回路５２をさらに備えてもよい。装置50は更に、無線インタフェース回路52に接続されたアンテナ44を備えてもよい。アンテナは、無線インタフェース回路52で生成された無線信号を他の（1または複数の）装置へ送信し、無線信号を他の（1または複数の）装置から受信することができる。
【００３４】
実施形態によっては、装置５０が、個々のフレームを記録又は検出することができるカメラを備え、それらのフレームは処理対象としてコーデック５４又はコントローラに送られる。実施形態によっては、装置は、処理用ビデオ画像データの伝送、保存、あるいはその両方の前に、その処理用ビデオ画像データを別のデバイスから受信してもよい。実施形態によっては、装置５０が符号化／復号用画像を無線又は有線接続によって受信してもよい。
【００３５】
図３は、ある実施形態に係るビデオ符号化構成を示す。この構成は、複数の装置、ネットワーク、ネットワーク要素を含む。図３には、本発明の実施形態を利用可能なシステムの例が示されている。システム10は、１つ又は複数のネットワークを通じて通信できる複数の通信デバイスを含む。システム10は任意の無線または有線ネットワークの組合せを備えてもよく、無線携帯電話ネットワーク（GSM(登録商標）やUMTS，CDMAネットワーク等）やIEEE 802.xの何れかの規格で規定される無線ローカルエリアネットワーク（WLAN），ブルートゥース(登録商標）パーソナルエリアネットワーク，イーサネット（登録商標）・ローカルエリアネットワーク，トークンリング・ローカルエリアネットワーク，広域ネットワーク，インターネットを含んでもよい。ただし、これらに限定されない。
【００３６】
システム10は無線・有線両方の通信デバイスを含んでもよく、種々の実施形態を実装するのに適した装置50を含んでもよい。例えば、図３に示すシステムは、携帯電話ネットワーク１１と、インターネット２８を表現したものとを示している。インターネット２８への接続は、長距離無線接続、近距離無線接続、および各種有線接続を含んでもよいが、これらに限定されない。有線接続には、電話回線、ケーブル回線、電力線、その他同様の通信経路等が含まれるが、これらに限定されない。
【００３７】
システム１０内に示される通信デバイスの例は、電子デバイスまたは装置５０、携帯情報端末（Personal Digital Assistant：ＰＤＡ）と携帯電話１４との組合せ、ＰＤＡ１６、統合通信デバイス（Integrated Messaging Device：ＩＭＤ）１８、デスクトップコンピュータ２０、ノート型コンピュータ２２を備えてもよいが、これらに限定されない。デバイス５０は固定型でもよく、移動する人が持ち運べる携帯型でもよい。また、デバイス５０は移動手段に設けられてもよい。こうした移動手段には、自動車、トラック、タクシー、バス、列車、船、飛行機、自転車、バイク、その他同様の好適な移動手段を備えてもよいが、これらに限定されない。
【００３８】
実施形態はさらに、ディスプレイや無線通信に対応する性能を有しても有していなくてもよい、セットトップボックス、すなわちデジタルテレビ、ハードウェア、ソフトウェア、またはエンコーダ／デコーダ実装の組合せを含むタブレットまたは（ノート型）パーソナルコンピュータ（ＰＣ）、各種オペレーティングシステム、チップセット、プロセッサ、ＤＳＰおよび／または組み込みシステム（ハードウェア／ソフトウェアによる符号化を実現）で実施されてもよい。
【００３９】
いくつかのまたはさらなる装置は、呼び出しやメッセージを送受信して、基地局２４への無線接続２５を介してサービスプロバイダと通信してもよい。基地局２４は、携帯電話ネットワーク１１とインターネット２８との間の通信を可能にするネットワークサーバ２６に接続されてもよい。システムは、さらなる通信デバイスや、各種通信デバイスを備えてもよい。
【００４０】
これらの通信デバイスは各種伝送技術を用いて通信してもよく、こうした技術には、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、時分割多元接続（Time Divisional Multiple Access：ＴＤＭＡ）、周波数分割多元接続（Frequency Division Multiple Access：ＦＤＭＡ）、ＴＣＰ‐ＩＰ（Transmission Control Protocol‐Internet Protocol）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、電子メール、インスタントメッセージングサービス（ＩＭＳ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ  ８０２．１１、その他同様の無線通信技術を含むが、これらに限定されない。本発明の様々な実施形態の実施に関わる通信デバイスは、様々な媒体を介して通信できる。こうした媒体には、無線、赤外線、レーザー、ケーブル接続、その他好適な接続が含まれるが、これらに限定されない。
【００４１】
ビデオエンコーダは、格納／送信に適した圧縮表現に入力ビデオを変換するエンコーダと、圧縮ビデオ表現を視聴可能な形態に解凍可能なデコーダを備えてもよい。ビデオエンコーダおよび／またはビデオデコーダは、それぞれ別に設けられてもよい。すなわち、コーデックを形成しなくてもよい。エンコーダは、元のビデオシーケンスにおける一部の情報を破棄し、ビデオをよりコンパクトな形態（すなわち、低ビットレートな形態）としてもよい。
【００４２】
例えばＩＴＵ−Ｔ  Ｈ．２６３やＨ．２６４等のハイブリッドビデオコーデックは、ビデオ情報を２段階で符号化してもよい。第1段階で、例えば動き補償手段（符号化されるブロックと密接に対応する、先に符号化済みのビデオフレームの１つにあるエリアを探して示す手段）や空間手段（特定の方法で符号化されるブロックの周辺の画素値を用いる手段）によって、特定のピクチャエリア（または「ブロック」）の画素値が予測される。第2段階で、予測誤差、すなわち画素の予測ブロックとその画素の元のブロックとの間の差分が符号化される。これは、特定の変換（例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）やその変形）を用いて画素値の差分を変換し、係数を量子化し、量子化済み係数をエントロピー符号化することによって行われてもよい。量子化処理の忠実度を変えることによって、エンコーダは画素表現の正確さ（ピクチャ品質）と結果として得られる符号化ビデオ表現のサイズ（伝送ビットレートのファイルサイズ）との間のバランスを調整することができる。
【００４３】
インター予測は、時間予測、動き補償、または動き補償予測とも呼ばれ、時間冗長性を小さくする。インター予測では、予測は先に復号済みのピクチャに基づく。一方、イントラ予測は、同一のピクチャ内の隣接画素同士に相関がある可能性が高いという事実に基づく。イントラ予測は、空間ドメインまたは変換ドメインで行うことができる。すなわち、サンプル値または変換係数のいずれかを予測することができる。イントラ符号化では通常イントラ予測が利用され、インター予測は適用されない。
【００４４】
符号化処理の結果の１つとして、動きベクトルと量子化変換係数のような符号化パラメータセットが得られる。多くのパラメータは、最初に空間的または時間的に隣接するパラメータから予測することにより、より効率的にエントロピー符号化することができる。例えば、動きベクトルは空間的に隣接する動きベクトルから予測されてもよく、動きベクトル予測部に対する相対差のみが符号化されてもよい。符号化パラメータの予測およびイントラ予測は、まとめてピクチャ内予測とも呼ばれる。
【００４５】
ブロックベースの静止画・動画コーディング方法において、サンプル予測処理は、左及び上に隣接するブロックから既に符号化又は復号されたサンプルを用いるものに限定されうる。これは、下や右のブロックは、現在のブロックを処理している時点においてはまだ処理されておらず、従って予測処理のリファレンスとしては利用できないためである。これは、符号化・復号の効率の点で最適ではない場合がある。というのも、予測プロセスによっては、右や下の隣接ブロックが、上や左の隣接ブロックで利用可能なものよりも優れたリファレンスである場合があり、また、右や下の隣接ブロックを上や左の隣接ブロックと一緒に用いることができれば、予測プロセスの精度を向上させうる場合があるからである。
【００４６】
高度ビデオ符号化（Advanced Video Coding：Ｈ．２６４／ＡＶＣまたはＡＶＣ）規格は、ＩＴＵ−Ｔ（国際電気通信連合の電気通信標準化部門）のビデオの符号化専門家グループ（ＶＣＥＧ）およびＩＳＯ（国際標準化機構）／ＩＥＣ（国際電気標準会議）の動画専門家グループ（ＭＰＥＧ）による統合ビデオチーム（ＪＶＴ）によって開発された。Ｈ．２６４／ＡＶＣ規格は、その元となる両標準化機構によって公開されており、ＩＴＵ−Ｔ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣ国際規格１４４９６−１０と呼ばれ、ＭＰＥＧ−４パート１０高度ビデオ符号化方式（Advanced Video Coding：ＡＶＣ）としても知られている。Ｈ．２６４／ＡＶＣ規格には複数のバージョンがあり、それぞれが仕様に新たな拡張や特徴を統合している。これらの拡張には、スケーラブルビデオ符号化（Scalable Video Coding：ＳＶＣ）やマルチビュービデオ符号化（Multiview Video Coding：ＭＶＣ）が挙げられる。
【００４７】
高効率ビデオ符号化（High Efficiency Video Coding；H.265/HEVC。HEVCとしても知られている）規格のバージョン１は、VCEGとMPEGの合同開発チームによるビデオ符号化（Joint Collaborative Team - Video Coding；JCT-VC）によって開発された。この規格は、その元となる両標準化機構によって公開されており、ITU-T勧告H.265及びISO/IEC国際規格23008-2と呼ばれる。これはMPEG-Hパート2アドバンスドビデオ符号化（AVC）としても知られている。H.265/HEVCバージョン２には、スケーラブル、マルチビュー、忠実度拡張が含まれ、それぞれSHVC、MV-HEVC、REXTと略される。H.265/HEVCバージョン2は、ITU-T勧告H.265（2014年10月）として事前公開され、また2015年にISO/IEC国際規格23008-2第2版として公開されることが予想されている。H.265/HEVCへの追加拡張を開発する標準化チームも現在稼働している。こうした追加拡張には三次元拡張とスクリーンコンテンツ符号化拡張が含まれ、それぞれ3D-HEVC及びSCCと略される。
【００４８】
SHVC、MV-HEVC、,3D-HEVCは、HEVC規格バージョン2の付録Ｆに規定された共通基盤仕様を用いている。この共通基盤は高水準シンタックスとその意味等を含み、例えば、レイヤ間依存性のようなビット列のレイヤにおける特性の一部を規定したり、マルチレイヤ・ビット列用のレイヤ間参照ピクチャ及びピクチャ順序カウント導出を含む参照ピクチャリスト構築のような復号処理を行ったりする。付録Ｆは、HEVCにおける潜在的後続マルチレイヤ拡張にも用いられる。以降では SHVC、MV-HEVCの一方又は両方のような特定の拡張を参照してビデオエンコーダ、ビデオデコーダ、符号化方法、復号方法、ビット列構成、その他の実施形態の一部又は全部が説明されている。これらの形態が一般にHEVCのあらゆるマルチレイヤ拡張に適用可能であり、更には、一般にあらゆるマルチレイヤビデオ符号化法に適用可能であることが理解されるべきである。
【００４９】
本節では、H.264/AVCおよびHEVCの重要な定義やビット列、コーディング構造、概念の一部が、ビデオのエンコーダやデコーダ、符号化方法、復号方法、ビット列構造の例として説明される。本発明の実施形態はこうした例に実装されてもよい。H.264/AVCの重要な定義やビット列、コーディング構造、概念の中には、HEVCにあるものと同一のものもある。したがって、以下ではこれらも一緒に説明される。本発明の態様はH.264/AVCやHEVCに限定されるものではない。本明細書は、本発明の一部または全部が実現される上での可能な原理を説明するためのものである。
【００５０】
数ある従来のビデオコーディング規格と同様にH.264/AVCとHEVCでも、エラーの無いビット列の復号処理だけでなくビット列の構文と意味についても規定されている。符号化処理は規定されていないが、エンコーダは必ずビット列の確認を行わなくてはならない。ビット列とデコーダの適合性は、仮想リファレンスデコーダ（Hypothetical Reference Decoder；HRD）を用いて検証できる。標準規格は伝送エラーや伝送損失対策を助けるコーディングツールを含む。しかし、こうしたツールを符号化で使用するのは任意選択であって、誤ったビット列に対する復号処理は何も規定されていない。
【００５１】
現存の規格に関する記述と同様に例示的実施形態の記述においても、シンタックス要素はビット列で表わされるデータの要素として定義される。シンタックス構造は、特定の順序のビット列で表わされる0以上のデータの要素として定義される。現存規格の説明と同様に本例示的実施形態の説明においても、「外部手段により」又は「外部手段を通じて」という表現が使用されている。例えば、復号処理で使用されるシンタックス構造や変数値のようなエンティティは、その復号処理に対して「外部手段により」提供される。この「外部手段により」という表現は、エンコーダが生成したビット列にこうしたエンティティが含まれず、例えば制御プロトコルの使用などビット列以外の手段で伝えることを含意してもよい。あるいは又は加えて、この表現が、こうしたエンティティをエンコーダが生成するのではなく、プレーヤーや復号制御ロジック、デコーダを使用するその他のものが生成することを意味してもよい。デコーダは、変数値のような外部手段を入力するインタフェースを具備してもよい。
【００５２】
プロファイルは、復号／符号化規格又は標準によって特定されるビットストリームシンタックス全体のサブセットとして規定されてもよい。所与のプロファイルのシンタックスが課す範囲内においても、エンコーダとデコーダの性能が、復号ピクチャの特定のサイズのようなビットストリームのシンタックス要素がとる値に応じて大きく変動するようにすることも可能である。多くの適用事例において、特定のプロファイル内で想定されうるシンタックス利用の全てに対応可能なデコーダを実装することは、実用的でも経済的でもない。この問題に対応するには、レベルを使用することができる。レベルは、復号／符号化規格又は標準によって特定されるビットストリームのシンタックス要素と変数の値に課せられる特定の一組の制約条件として規定されてもよい。こうした制約条件は、値に対する単純な制限であってもよい。あるいは又は加えて、値の算術的組合せ（例えば、ピクチャの幅×ピクチャの高さ×1秒間に復号されるピクチャ数）に対する制約条件の形を取ってもよい。レベルに対する制約条件を特定する他の手段が用いられてもよい。レベルで特定される制約条件の中には、例えば最大ピクチャサイズや最大ビットレート、符号化ユニット毎の最大データレートに関連してもよい。符号化ユニット毎の最大データレートは例えば、単位時間、例えば１秒間におけるマクロブロック数などでもよい。同一のレベルセットが全プロファイルに対して規定されてもよい。好ましくは、例えば、別々のプロファイルであって、各レベルの定義の殆ど又は全ての観点がプロファイル間で共通であるようなプロファイルを実装する端末について、その相互運用を高めることができる。階層は、ビットストリームにおけるシンタックス要素の値に対するレベル制限の特定の種類として定義されてもよい。ここで、レベル制限は階層内にネスト化されて、所与の階層およびレベルに対応するデコーダは、当該レベル以下の同じ階層以下に対応するすべてのビットストリームを復号可能となるものである。
【００５３】
場合によっては、互換点は、特定のプロファイルと、特定のレベルとの組合せ、または特定のプロファイルと、特定の階層と、特定のレベルとの組合せと定義されてもよい。場合によっては、ビットストリームの特性や制限、デコーダの特性や（最大）リソースを同様に設定しつつ、別の方法によって互換点を規定してもよい。
【００５４】
H.264/AVCまたはHEVCのエンコーダへの入力およびH.264/AVCまたはHEVCのデコーダからの出力のための基本単位はそれぞれピクチャである。エンコーダへの入力として与えられたピクチャをソースピクチャと呼び、デコーダが復号したピクチャを復号ピクチャと呼ぶ。
【００５５】
ソースピクチャ及び復号ピクチャはそれぞれ一つ又は複数のサンプル配列から成る。サンプル配列は次の中の一つとして与えられる：
【００５６】
輝度（Ｙ）のみ（モノクロ）；
【００５７】
輝度及び二種類の色差（YCbCr又はYCgCo）；
【００５８】
緑、青、赤（RGBとも呼ばれる）；
【００５９】
他の未規定モノクロ又は三刺激値色サンプリング（ＹＺＸ等。ＸＹＺとも呼ばれる）を表現する配列。
【００６０】
以降では、こうした配列を輝度（Ｌ又はＹ）及び色差と呼ぶことにする。ここで二種類の色差配列は、実際に用いられる色表現法とは関係なくＣｂ及びＣｒと呼ぶことにする。実際に用いられる色表現法は、例えば、H.264/AVC、HEVCに一方又は両方におけるビデオユーザビリティ情報（ＶＵＩ）シンタックス等を用いて符号化ビット列に標示できる。各成分は、こうした三つのサンプル配列（輝度及び二つの色差）の何れか一つ、又はモノクロフォーマット画像を含む配列の中の一サンプルから得られる一配列又は一サンプルとして定義される。
【００６１】
H.264/AVCおよびHEVCでは、ピクチャはフレームまたはフィールドの何れかでもよい。フレームは輝度（luma）サンプルと場合により対応する色差（chroma）サンプルの行列を含む。フィールドは、１フレームに関する代替の横サンプル行のセットであり、ソース信号がインターレースである場合、エンコーダ入力として用いられてもよい。色差サンプル配列は無くてもよく（従ってモノクロサンプリングが用いられる）、輝度サンプル配列と比較されるときにサブサンプリングされてもよい。幾つかの色差フォーマットは次のようにまとめられる。
【００６２】
モノクロサンプリングでは、サンプル配列が１つだけ存在し、名目上輝度配列とみなされる。
【００６３】
４：２：０サンプリングでは、２つの色差配列の各々の縦横寸法は、それぞれ輝度配列の縦横寸法の半分である。
【００６４】
４：２：2サンプリングでは、２つの色差配列の各々の縦横寸法は、それぞれ輝度配列の縦寸法と同じで横寸法の半分である。
【００６５】
４：4：4サンプリングでは、別個の色平面が使用されない場合、２つの色差配列の各々の縦横寸法は、それぞれ輝度配列の縦横寸法と同じである。
【００６６】
H.264/AVC及びHEVCでは、サンプル配列を別個の色平面としてビット列に符号化し、そのビット列から符号化色平面をそれぞれ別々に復号することができる。別個の色平面が用いられる場合、それらの各々は（エンコーダ及び／又はデコーダによって）モノクロサンプリングのピクチャとして別々に処理される。
【００６７】
色差サブサンプリングが用いられる場合（例えば、４：２：０又は４：２：２色差サンプリング）、輝度サンプリングに対する色差サンプリングの位置は、エンコーダ側で（例えば、プリプロセスステップや符号化の一部として）決定されてもよい。輝度サンプルの位置に対する色差サンプルの位置は、例えばH.264/AVCやHEVC等の符号化規格で予め規定されていてもよい。あるいは、例えばH.264/AVCやHEVCのVUIの一部としてビットストリームに示されていてもよい。
【００６８】
パーティショニングとは、1つのセットの各要素が正確にサブセットの1つであるように、そのセットを複数のサブセットに分割することとして定義することができる。
【００６９】
H.264/AVCでは、16×16ブロックの輝度サンプルと対応する色差サンプルのブロックがマクロブロックである。例えば4:2:0サンプリングパターンでは、マクロブロックは各色差成分で8×8ブロックの色差サンプルを含む。H.264/AVCでは、ピクチャは１つ又は複数のスライスグループに分割（パーティショニング）され、スライスグループは１つ又は複数のスライスを含む。H.264/AVCでは、スライスは整数のマクロブロックから成り、特定のスライスグループ内でラスタースキャンの順で連続している。
【００７０】
ＨＥＶＣの符号化、復号の一方又は両方の動作を記述する場合、次の用語が使用される。符号化ブロックは特定の値Ｎを用いてＮ×Ｎサンプルのブロックとして定義される。このとき、符号化ツリーブロックから符号化ブロックへの分割がパーティショニングである。符号化ツリーブロック（ＣＴＢ）は特定の値Ｎを用いてＮ×Ｎサンプルのブロックとして定義される。このとき、一成分から符号化ツリーブロックへの分割もパーティショニングである。符号化ツリー単位（ＣＴＵ）は、三つのサンプル配列を有する画像においては、輝度サンプルの符号化ツリーブロック、色差サンプルに対応する二つの符号化ツリーブロックとして定義される。モノクロ画像や、サンプル符号化に三つの別々の色平面とそのサンプル符号化に用いるシンタックス構造を使って符号化された画像では、そうしたサンプルの符号化ツリーブロックとして定義されてもよい。符号化単位（ＣＵ）は、三つのサンプル配列を有する画像においては、輝度サンプルの符号化ブロック、色差サンプルに対応する二つの符号化ブロックとして定義される。モノクロ画像や、サンプル符号化に三つの別々の色平面とそのサンプル符号化に用いるシンタックス構造を使って符号化された画像では、そうしたサンプルの符号化ブロックとして定義されてもよい。
【００７１】
高効率ビデオ符号化（HEVC）コーデック等のビデオコーデックによっては、、ビデオピクチャは、ピクチャ領域を覆う複数の符号化単位（CU）に分割される。CUは１つ又は複数の予測単位（PU）と１つ又は複数の変換単位（TU）から成る。PUはCU内のサンプルに対する予測処理を規定し、TUはCUのサンプルに対する予測誤差の符号化処理を規定する。通常CUは、正方形のサンプルブロックから成り、既定されている可能なCUサイズのセットから選択可能なサイズを持つ。最大許容サイズのCUはLCU（最大符号化単位）又はCTU（符号化ツリー単位）と呼ばれることもあり、ビデオピクチャは重なり合わないLCUに分割される。LCUは、例えば、LCUと分割の結果得られるCUを再帰的に分割することによって更に小さいCUの組合せに分割されることもある。分割の結果得られる各CUは通常、少なくとも1つのPUとそれに関連する少なくとも1つのTUを有する。PUとTUはそれぞれ、予測処理と予測誤差符号化処理の粒度を上げるために、更に小さい複数のPUとTUに分割されることもある。各PUは、それぞれのPU内のピクセルに適用される予測タイプを定義する、それぞれのPUに関連した予測情報（例えば、インター予測されたPUに対しては動きベクトルの情報、イントラ予測されたPUに対してはイントラ予測の方向情報など）を持つ。
【００７２】
各TUは、それぞれのTU内のサンプルに対する予測誤差復号処理を記述する情報（DCT係数情報なども含む）に関連付けられる。通常、各CUに対して予測誤差符号化が適用されるか否かがCUレベルで伝達される。ＣＵに対応付けられた予測誤差残差がない場合、当該ＣＵに対してはＴＵが存在しないとみなせる。ピクチャのCUへの分割や、CUのPU及びTUへの分割がビットストリーム信号で伝えられ、それによってデコーダが、こうした単位から目的の構造を再生できるようにされてもよい。
【００７３】
HEVCでは、ピクチャはタイルに分割される。タイルは長方形で、整数のLCUを含む。HEVCでは、タイル分割（パーティショニング）は正規グリッド（regular grid）を形成し、タイルの縦横寸法は最大１LCU分だけ互いに異なる。ＨＥＶＣにおいて、スライスは、１つの独立スライスセグメントと、同じアクセス単位内の（存在する場合）次の独立スライスセグメントより前の、（存在する場合）すべての後続の従属スライスセグメントに含まれる整数個の符号化ツリー単位と定義されている。ＨＥＶＣでは、スライスセグメントは、タイルスキャン順の連続順序で一つのＮＡＬ単位に含まれる符号化ツリー単位の整数値として定義される。各ピクチャからスライスセグメントへの分割がパーティショニングである。HEVCでは、独立スライスセグメントは、スライスセグメントヘッダのシンタックス要素値が前のスライスセグメントの値から推定されないようなスライスセグメントと定義され、従属スライスセグメントは、スライスセグメントヘッダのシンタックス要素の一部の値が復号順で前の独立スライスセグメントの値から推定されるようなスライスセグメントと定義される。HEVCでは、現在のスライスセグメント、又は現在のスライスセグメントより前の独立スライスセグメントである独立スライスセグメントのスライスセグメントヘッダをスライスヘッダと定義する。スライスセグメントヘッダは、スライスセグメントに現れる先頭の又は全ての符号化ツリー単位に関するデータ要素を含む符号化スライスセグメントの一部と定義される。CUは、タイル内、またはタイルが使われない場合はピクチャ内でLCUのラスタースキャン順にスキャンされる。LCU内では、CUは特定のスキャン順序を持つ。図６は、２つのタイルからなるピクチャの例を示す。各タイルは、実線で示されるように、正方形の符号化単位に区分されている。またこれらの符号化単位は、破線で示されるように、矩形の予測単位に更に区分されている。
【００７４】
デコーダは、予測されたピクセルのブロック表現を形成して予測誤差を復号するために、エンコーダと同様の予測手段を適用することによって出力ビデオを再構成しうる。ここで、予測表現の形成は、エンコーダが作成し、圧縮表現に格納された動き情報や空間情報を使用してもよく、予測誤差の復号は、空間ピクセル領域で量子化された予測誤差信号を回復する、予測誤差符号化の逆操作を使用して行われてもよい。デコーダは、予測及び予測誤差復号手段の適用後、出力ビデオフレームを形成するために、予測信号と予測誤差信号（ピクセル値）を足し合わせてもよい。デコーダ（及びエンコーダ）は、出力ビデオをディスプレイに送る、及び／又は後続フレーム用予測リファレンスとしてビデオシーケンスに格納する前に、出力ビデオの品質を向上するために追加フィルタリング処理を適用することもできる。
【００７５】
フィルタリングには、例えばデブロッキング、サンプル適応オフセット（ＳＡＯ）、適応ループフィルタリング（ＡＬＦ）の一部又は全部が含まれてもよい。Ｈ．２６４／ＡＶＣはデブロッキングを含み、一方、ＨＥＶＣはデブロッキングとＳＡＯの両方を含む。
【００７６】
符号化サンプル値を示すためには、サンプル値予測と変換符号化を利用する方法の代わりに、あるいはその方法に加えて、カラーパレットベースの符号化を用いることも可能である。パレットベース符号化は、パレット、即ち色のセットと関連するインデクスが定義され、パレットにおけるインデクスを示すことによって符号化単位内の各サンプルに対する値が表現される方法群を参照している。パレットベース符号化は、比較的少数の色を持つ符号化単位（例えば、テキストや単純なグラフィック等のコンピュータスクリーンコンテンツを表現する画像領域等）でも高い符号化効率の達成が可能である。パレット符号化の符号化効率を高めるために、種々のパレットインデクス予測方法が利用されてもよく、広くて均一な画像領域を効率的に表現できるように、パレットインデクスがランレングス符号化されてもよい。またCU内で繰り返し出現しないサンプル値をを含むCUの場合、エスケープ符号化を使用することができる。エスケープ符号化サンプルは、何れのパレットインデクスも参照せずに伝送される。その代わり、各エスケープ符号化サンプルに対してそれぞれの値が示される。
【００７７】
復号ピクチャバッファ（Decoded Picture Buffer；DPB）はエンコーダおよび／またはデコーダで使用されてもよい。復号ピクチャをバッファする理由は2つある。一つはインター予測で参照するためで、もう一つは復号ピクチャを出力順に並べ直すためである。H.264/AVCおよびHEVCはリファレンスピクチャのマーキングと出力の並べ換えの両方で相当な柔軟性を与えるため、リファレンスピクチャのバッファリングと出力ピクチャのバッファリングで別々のバッファを使うことはメモリリソースを浪費する可能性がある。このためDPBは、リファレンスピクチャと出力並び替えのための統合された復号ピクチャバッファリング処理を備えてもよい。復号ピクチャは、リファレンスとして使用されず出力される必要がなくなると、DPBから削除されてもよい。
【００７８】
H.264/AVCおよびHEVC等の多くの符号化モードでは、インター予測用リファレンスピクチャはリファレンスピクチャ・リストへのインデクスで示される。このインデクスは可変長符号化で符号化されてもよい。可変長符号化によって多くの場合、インデクスを小さくして対応するシンタックス要素に対してより小さい値を持つことができる。H.264/AVCおよびHEVCでは、双予測（B）スライスにはそれぞれ2つのリファレンスピクチャ・リスト（リファレンスピクチャ・リスト0およびリファレンスピクチャ・リスト1）が作成され、インター予測（P）スライスにはそれぞれ1つのリファレンスピクチャ・リスト（リファレンスピクチャ・リスト0）が形成される。
【００７９】
リファレンスピクチャ・リスト0およびリファレンスピクチャ・リスト1等のリファレンスピクチャ・リストは通常、2つのステップで作成される。第1ステップでは、初期リファレンスピクチャ・リストが作成される。初期リファレンスピクチャ・リストは例えば、frame_numやPOC，temporal_id，GOP構造などの予測ヒエラルキーに関する情報、またはこれらの組合せに基づいて作成されてもよい。第2ステップでは、リファレンスピクチャ・リスト並び替え（reference picture list reordering；RPLR）命令によって初期リファレンスピクチャ・リストが並び替えられてもよい。RPLR命令はリファレンスピクチャ・リスト変更シンタックス構造とも呼ばれ、スライスヘッダに含まれてもよい。H.264/AVCにおいて、RPLR命令は、各リファレンスピクチャ・リストの先頭に並べられるピクチャを示す。第2ステップはリファレンスピクチャ・リスト変更処理とも呼ばれ、RPLR命令がリファレンスピクチャ・リスト変更シンタックス構造に含まれてもよい。リファレンスピクチャセットが用いられる場合、リファレンスピクチャ・リスト0はRefPicSetStCurr0，RefPicSetStCurr1，RefPicSetLtCurrをこの順序で含むように初期化されてもよい。参照ピクチャリスト１は、最初にRefPicSetStCurr1、次にRefPicSetStCurr0を含むように初期化されてもよい。ＨＥＶＣでは、開始参照ピクチャリストは参照ピクチャリスト変更シンタックス構造によって変更されてもよく、ここで、開始参照ピクチャリストにおけるピクチャは、リストに対するエントリインデックスによって識別されてもよい。言い換えると、ＨＥＶＣでは、参照ピクチャリスト変更が、最終的な参照ピクチャリストにおける各エントリに対するループを含むシンタックス構造へと符号化され、ここで、各ループエントリは開始参照ピクチャリストに対する固定長の符号化インデックスであり、最終的な参照ピクチャリストにおける昇順のピクチャを示す。
【００８０】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くの符号化規格では、参照ピクチャリストに対する参照ピクチャインデックスを導出するための復号プロセスを備えてもよく、これにより、複数の参照ピクチャのうちのいずれが特定のブロックに対するインター予測に用いられるかを示してもよい。参照ピクチャインデックスは、一部のインター符号化モードではエンコーダによってビットストリームに符号化されてもよく、別のインター符号化モードでは例えば隣接ブロックを用いて（エンコーダおよびデコーダによって）導出されてもよい。
【００８１】
ビデオコーデックにおいて、動き情報は、動き補償された画像ブロックのそれぞれに関連する動きベクトルで示されてもよい。こうした動きベクトルはそれぞれ、（エンコーダ側で）符号化されるピクチャまたは（デコーダ側で）復号されるピクチャの画像ブロックと、先に符号化または復号されたピクチャの１つにおける予測元ブロックとの間の移動量を表してもよい。動きベクトルを効率よく表現するために、動きベクトルは通常、ブロック固有の予測動きベクトルに関して差動符号化されてもよい。ビデオコーデックにおいて、予測動きベクトルは所定の方法、例えば、隣接ブロックの符号化／復号動きベクトルの中央値を計算することによって、生成されてもよい。動きベクトル予測を行う別の方法は、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックから予測候補のリストを作成し、選択された候補を動きベクトルの予測としてシグナリングするものである。動きベクトルの値の予測に加え、先に符号化／復号されたピクチャの参照インデックスが予測されてもよい。この参照インデックスは、例えば、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックから予測されてもよい。また、高効率ビデオコーデックでは追加的な動き情報符号化／復号機構を用いてもよく、「マージング／マージモード」と呼ばれる。ここで、すべての動きフィールド情報は、利用可能な参照ピクチャリストの各々について動きベクトルと対応する参照ピクチャインデックスを含んでもよく、これが予測され、その他の変更／修正を行わずに使用される。同様に、動きフィールド情報の予測は、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックの動きフィールド情報を用いて行われてもよく、使用された動きフィールド情報は、利用可能な隣接／並置されたブロックの動きフィールド情報が含まれる動きフィールド候補のリストにシグナリングされる。
【００８２】
一部のビデオコーデックは、単予測と双予測の使用が可能である。単予測では単一の予測ブロックを符号化／復号対象ブロックに使用し、双予測では２つの予測ブロックを組み合わせて、符号化／復号対象ブロックに対する予測を実現する一部のビデオコーデックでは、残差情報を加える前に予測ブロックのサンプル値が重み付けされる重み付け予測が可能である。例えば、乗法重み付け係数および加法補正値を適用してもよい。一部のビデオコーデックによって実現される直接的な重み付け予測では、重み付け係数および補正値は、例えば許容される参照ピクチャインデックスごとにスライスヘッダにおいて符号化されてもよい。一部のビデオコーデックによって実現される間接的な重み付け予測では、重み付け係数および／または補正値は符号化されず、例えば参照ピクチャの相対ピクチャ順数（Picture Order Count：ＰＯＣ）の距離に基づいて導出される。
【００８３】
動き補償をインターピクチャ予測に対して適用することに加え、同様の手法をイントラピクチャ予測にも適用できる。その場合、変位ベクトルが、符号化または復号されるブロックの予測を形成するため、同じピクチャ内で、サンプルブロックがどこからコピーできるかを示す。この種のイントラブロックコピー方法は、フレーム内にテキストまたはその他グラフィックのような構造の繰り返しが存在すると、符号化効率を大幅に向上できうる。
【００８４】
ビデオコーデックでは、動き補償後の予測残差は最初に変換カーネル（例えばDCT）で変換され、次に符号化されてもよい。これは、残差間にも相関があり、こうした変換が多くの場合でこのような相関を小さくするのに役立ち、より高い効率での符号化を可能にするからである。
【００８５】
ビデオエンコーダは、所期のマクロブロックモード及び関連する動きベクトル等の最適符号化モードを探索するために、ラグランジュ費用関数（Lagrangian cost function）を利用してもよい。この種の費用関数は、非可逆符号化法による（正確なまたは推定された）画像歪みと、画像領域のピクセル値を表現するのに必要である（正確なまたは推定された）情報量を一緒に固定するために、重み付きファクタλ（ラムダ）を用いる。
【００８６】
Ｃ＝Ｄ＋λＲ      ・・・      （１）
【００８７】
ここで、Ｃは最小化すべきラグランジュコスト、Ｄはそのモードおよび考慮される動きベクトルによる画像歪み（例えば平均二乗誤差）、Ｒはデコーダで画像ブロックを再構成するために必要なデータ（候補の動きベクトルを表すためのデータ量を含む）を表すのに必要なビット数である。
【００８８】
ビデオ符号化規格及び標準は、エンコーダが符号化ピクチャを符号化スライス等に分割できるようにしてもよい。通常、スライス境界を跨ぐインピクチャ予測は無効である。したがって、スライスは符号化ピクチャを独立に復号される部分に分割する方法だと考えられる。H.264/AVCおよびHEVCでは、ピクチャ内でスライス境界を跨ぐ予測が無効でもよい。したがって、スライスは符号化ピクチャを独立に復号される部分に分割する方法だと考えられることもあり、それ故しばしば、伝送の基本単位と見做される。多くの場合、エンコーダは、スライス境界を超える際にオフにされたピクチャ内予測タイプをビット列に示してもよい。この情報は、デコーダの動作によって、どの予測ソースが利用可能であるかを決定する際などで考慮される。例えば、隣接するマクロブロックやCUが別のスライスに存在する場合、その隣接するマクロブロックやCUからのサンプルはイントラ予測には利用できないと見做されてもよい。
【００８９】
H.264/AVCまたはHEVCのエンコーダからの出力およびH.264/AVCまたはHEVCのデコーダへの入力のための基本単位はそれぞれ、ネットワーク抽象化層（Network Abstraction Layer；NAL）単位である。パケット指向ネットワークでの伝送や構造化ファイルへの格納に対して、NALユニットはパケットや同様の構造にカプセル化されてもよい。H.264/AVCおよびHEVCでは、フレーム構造を提供しない伝送や格納の環境に対してバイトストリーム・フォーマットが特定されている。バイトストリーム・フォーマットは、各NALユニットの先頭に開始コードを付与することによってNALユニット同士を分離する。NALユニット境界の誤検出を防止するために、エンコーダはバイト指向開始コードエミュレーション防止アルゴリズムを実行する。これは、開始コードが別の形で生じた場合にNALユニットペイロードにエミュレーション防止バイトを追加する。パケット指向システムとストリーム指向システムとの間の直接的なゲートウェイ動作を可能とするために、バイトストリーム・フォーマットが使用されているか否かに関係なく常に開始コードエミュレーション防止が行われてもよい。NALユニットは、後続データの種類の標示を含むシンタックス構造と、RBSP（raw byte sequence payload）の形態で必要に応じてエミュレーション・プリベンション（emulation prevention）バイトと一緒に散在するデータを含む複数バイトとして定義されてもよい。RBSPは、NALユニットにカプセル化される整数値を含むシンタックス構造として定義されてもよい。RBSPは空であるか、RBSPストップビットおよび0に等しいシーケンスビット0個以上に続くシンタックス構造要素を含むデータビット列の形態を持つかの何れかである。
【００９０】
ＮＡＬ単位はヘッダとペイロードからなる。H.264/AVCやHEVCでは、NALユニットヘッダはNALユニットの種類を示す。
【００９１】
H.264/AVC NALユニットヘッダは2ビットのシンタックス要素nal_ref_idcを含み、これが0のときはNALユニットに含まれる符号化スライスが非リファレンスピクチャの一部であることを示し、0を超えるときはNALユニットに含まれる符号化スライスがリファレンスピクチャの一部であることを示す。SVCおよびMVCのNALユニットヘッダは、スケーラビリティとマルチビューヒエラルキーの関連する様々な標示を追加で含んでもよい。
【００９２】
HEVCでは、規定されるNALユニットタイプの全てに対して2バイトのNALユニットヘッダが使用される。ＮＡＬ単位ヘッダは、１ビットの予約ビット、６ビットのＮＡＬ単位タイプ標示情報、３ビットのnuh_temporal_id_plus1時間レベル用標示情報（１以上を要求してもよい）、６ビットのnuh_layer_idシンタックス要素を含む。temporal_id_plus1シンタックス要素はNALユニットの時間識別子とみなされ、ゼロベースのTemporalId変数は次のように算出することができる：TemporalId = temporal_id_plus1 - 1。TemporalIdが0のときは、最下位時間レベルに対応する。２つのNALユニットヘッダバイトを含む符号化エミュレーションの開始を避けるために、temporal_id_plus1の値はゼロでない値であることが求められる。選択された値以上のTemporalIdを持つ全てのVCL-NALユニットを除外し、それ以外の全てのVCL-NALユニットを含めることによって生成されたビット列が適合するものである。その結果、TIDと等しいTemporalIdを持つピクチャは、TIDを超えるTemporalIdを持つどのピクチャもインター予測リファレンスとして使用しない。サブレイヤ又は時間サブレイヤは、TemporalId変数の特定の値を持つVCL-NALユニット及び関連する非VCL-NALユニットから成る、時間スケーラブルビット列の時間スケーラブルレイヤとして規定されてもよい。HEVCのnuh_layer_idシンタックス要素は、スケーラビリティのヒエラルキーの情報を運んでもよい。
【００９３】
NALユニットはビデオ符号化層（Video Coding Layer；VCL）NALユニットと非VCL-NALユニットに分類できる。VCL-NALユニットは通常、符号化スライスNALユニットである。H.264/AVCでは、符号化スライスNALユニットは１つ又は複数の符号化マクロブロックを表わすシンタックス要素を含み、それぞれが非圧縮ピクチャのサンプルブロックに対応する。HEVCでは、ＶＣＬ−NALユニットは１つ又は複数のCUを表わすシンタックス要素を含む。
【００９４】
H.264/AVCでは、符号化スライスNALユニットは瞬時復号リフレッシュ（Instantaneous Decoding Refresh；IDR）ピクチャの符号化スライスまたは非IDRピクチャの符号化スライスであると示されることもある。
【００９５】
HEVCでは、符号化スライスNALユニットは次のタイプの中の１つであると示されてもよい。
2020137111.tif 000003
【００９６】
HEVCでは、ピクチャタイプの略語は次のように定義される：末尾（TRAIL）ピクチャ、時間サブレイヤアクセス（TSA）、段階的時間サブレイヤアクセス（STSA）、ランダムアクセス復号可能先頭（RADL）ピクチャ、ランダムアクセススキップ先頭（RASL）ピクチャ、リンク切れアクセス（Broken Link Access, BLA）ピクチャ、瞬時復号リフレッシュ（Instantaneous Decoding Refresh, IDR）ピクチャ、クリーンランダムアクセス（CRA）ピクチャ。
【００９７】
ランダムアクセスポイント（RAP）ピクチャはイントラランダムアクセスポイント（IRAP）ピクチャとも呼ばれるが、スライス又はスライスセグメントの各々が１６から２３の範囲にnal_unit_typeを包括的に有するピクチャのことである。独立レイヤ中のIRAPピクチャはイントラ符号化されたスライスのみを含む。nuh_layer_id値がcurrLayerIdである予測レイヤに属するＩＲＡＰピクチャは、Ｐ、Ｂ、Ｉスライスを含んでもよく、nuh_layer_idがcurrLayerIdに等しいその他のピクチャによるインター予測を使用できず、その直接参照レイヤからのインターレイヤ予測を利用してもよい。最新版のＨＥＶＣにおいて、ＩＲＡＰピクチャはＢＬＡピクチャ、ＣＲＡピクチャ、またはＩＤＲピクチャであってもよい。基本レイヤを含むビットストリームの最初のピクチャは、ＩＲＡＰピクチャである。必要なパラメータセットが、アクティブ化される必要がある際に利用可能であれば、独立レイヤにおけるＩＲＡＰピクチャと、独立レイヤにおいて復号順でそれに続くすべての非ＲＡＳＬピクチャは、復号順でＩＲＡＰピクチャよりも前のあらゆるピクチャに対する復号処理を行わずに、正しく復号できる。ビットストリームにおいて、ＲＡＰピクチャではないイントラ符号化されたスライスのみを含むピクチャも存在しうる。必要なパラメータセットが（アクティブにされるべき時に）利用可能であり、またnuh_layer_idがcurrLayerIdである直接参照レイヤの各々の復号が初期化されている場合、すなわち、refLayerIdが、nuh_layer_idがcurrLayerIdであるレイヤの直接参照レイヤのどのnuh_layer_id値であっても、LayerInitializedFlag[refLayerId]が1である場合、nuh_layer_id値currLayerIdを有する予測レイヤに属するIRAPピクチャと、nuh_layer_idがcurrLayerIdであり復号順で後続する全ての非RASLピクチャは、nuh_layer_idがcurrLayerIdであり復号順で先行するIRAPピクチャの復号処理を行うことなく正しく復号されうる。
【００９８】
HEVCでは、CRAピクチャが復号順でビットストリームの先頭のピクチャであってもよく、ビットストリームの後の方で現れてもよい。HEVCではCRAピクチャによって、いわゆる先頭ピクチャが復号順でCRAピクチャの後であるが出力順ではそれより前になる。先頭ピクチャの中のいわゆるRASLピクチャは、リファレンスとしてCRAピクチャより前に復号されるピクチャを用いてもよい。復号順及び出力順で共にCRAピクチャより後のピクチャは、CRAピクチャでランダムアクセスが行われる場合に復号可能となりうる。それ故、クリーンランダムアクセスは、IDRピクチャのクリーンランダムアクセス機能と同様にして実現されてもよい。
【００９９】
CRAピクチャは、関連するRADL又はRASLピクチャを有することもある。CRAピクチャが復号順でビットストリームの最初のピクチャである場合、CRAピクチャは、復号順で符号化ビデオシーケンスの最初のピクチャである。そして、どの関連RASLピクチャもデコーダから出力されず、復号できないかもしれない。その理由は、こうしたピクチャにはビットストリームに未だ現れないピクチャに対するリファレンスが含まれているかもしれないからである。
【０１００】
先頭ピクチャは、出力順で関連RAPピクチャより先のピクチャである。関連RAPピクチャは、（存在する場合は）復号順で前のRAPピクチャである。先頭ピクチャはRADLピクチャ又はRASLピクチャの何れかでもよい。
【０１０１】
全てのRASLピクチャは、関連するBLAピクチャ又はCRAピクチャの先頭ピクチャである。関連RAPピクチャがBLAピクチャであるかビットストリームの先頭符号化ピクチャである場合、RASLピクチャは出力されず、正しく復号されないかもしれない。その理由は、RASLピクチャにはビットストリームに未だ現れないピクチャに対するリファレンスが含まれているかもしれないからである。しかし、RASLピクチャの関連RAPピクチャより前のRAPピクチャから復号が始まっていた場合、RASLピクチャは正しく復号することができる。RASLピクチャは、非RASLピクチャの復号処理のリファレンスとして使用されない。全てのRASLピクチャは、存在する場合、復号順で同一の関連RAPピクチャの全ての末尾ピクチャよりも前にある。HEVC規格のドラフトの中には、RASLピクチャが破棄用タグ付き（Tagged for Discard, TFD）ピクチャに対して参照されていたものもあった。
【０１０２】
全てのRADLピクチャは先頭ピクチャである。RADLピクチャは、同一の関連RAPピクチャにおける末尾ピクチャ
の復号処理のリファレンスとして使用されない。全てのRADLピクチャは、存在する場合、復号順で同一の関連RAPピクチャの全ての末尾ピクチャよりも前にある。RADLピクチャは、復号順で関連RAPピクチャより前のどのピクチャも参照しない。したがって、復号が関連RAPピクチャから始まる場合、RADLピクチャは正しく復号することができる。HEVC規格のドラフトの中には、RADLピクチャが復号可能先頭ピクチャ（Decodable Leading Picture, DLP）に対して参照されていたものもあった。
【０１０３】
CRAピクチャから始まるビットストリームの一部が別のビットストリームに含まれる場合、このCRAピクチャに関連するRASLピクチャは、そのリファレンスピクチャが合成ビットストリームにも存在しないかもしれないため、正しく復号されない可能性がある。こうした接合動作を直接的に行うために、CRAピクチャのNALユニットタイプは、それがBLAピクチャであることを示すように変更することができる。BLAピクチャに関連するRASLピクチャは正しく復号できないかもしれず、それ故、出力／表示もされない。また、BLAピクチャに関連するRASLピクチャには復号処理を省略することもある。
【０１０４】
BLAピクチャが復号順でビットストリームの最初のピクチャであってもよく、ビットストリームの後の方で現れてもよい。各BLAピクチャは新たな符号化ビデオシーケンスを開始し、復号処理に対してIDRピクチャと同様の影響を及ぼす。しかし、BLAピクチャは空でないリファレンスピクチャセットを特定するシンタックス要素を含んでもよい。BLAピクチャは、BLA_W_LPに等しいnal_unit_typeを有する場合、関連RASLピクチャを有することもある。ただし、関連RASLピクチャはデコーダから出力されず、復号できないかもしれない。その理由は、こうしたピクチャにはビットストリームに未だ現れないピクチャに対するリファレンスが含まれているかもしれないからである。BLAピクチャは、BLA_W_LPに等しいnal_unit_typeを有する場合、関連RADLピクチャを有してもよく、この関連RADLピクチャは復号されるべきか特定される。BLAピクチャは、BLA_W_DLPに等しいnal_unit_typeを有する場合、関連RASLピクチャを有さず、関連RADLピクチャを有してもよい。この関連RADLピクチャは復号されるべきか特定される。BLAピクチャは、BLA_N_LPに等しいnal_unit_typeを有する場合、如何なる関連先頭ピクチャも有さない。
【０１０５】
IDR_N_LPに等しいnal_unit_typeを有するIDRピクチャは、ビットストリームに関連先頭ピクチャを有さない。IDR_W_LPに等しいnal_unit_typeを有するIDRピクチャは、ビットストリームに関連RASLピクチャを有さず、ビットストリームに関連RADLピクチャを有してもよい。
【０１０６】
nal_unit_typeの値がTRAIL_NやTSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、又はRSV_VCL_N14である場合、復号ピクチャは同一時間サブレイヤの他のピクチャに対するリファレンスとして使用されない。すなわち、HEVCでは、nal_unit_typeの値がTRAIL_NやTSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、又はRSV_VCL_N14である場合、復号ピクチャはTemporalIdが同じ値のピクチャのRefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetLtCurrの何れにも含まれない。nal_unit_typeの値がTRAIL_NやTSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、又はRSV_VCL_N14である符号化ピクチャは、TemporalIdが同じ値の他のピクチャの復号可能性に影響を与えないように破棄されてもよい。
【０１０７】
末尾ピクチャは、出力順で関連RAPピクチャより後のピクチャとして定義することができる。末尾ピクチャであるピクチャは何れも、そのnal_unit_typeがRADL_N、RADL_R、RASL_N、RASL_Rの何れとも異なる。先頭ピクチャであるピクチャは何れも、復号順で、同一のRAPピクチャに関連する全ての末尾ピクチャより前であるように制限されてもよい。nal_unit_typeがBLA_W_DLP又はBLA_N_LPであるBLAピクチャに関連するRASLピクチャは、ビットストリームには存在しない。RADLピクチャであって、nal_unit_typeがBLA_N_LPであるBLAピクチャ、又はnal_unit_typeがIDR_N_LPであるIDRピクチャに関連するBLAピクチャに関連するRADLピクチャは、ビットストリームには存在しない。CRA又はBLAピクチャに関連するRASLピクチャは何れも、出力順で、CRA又はBLAピクチャに関連するどのRADLピクチャよりも前にあるように制限されてもよい。CRAピクチャに関連するRASLピクチャは何れも、復号順でCRAピクチャより前にある他の何れのRAPピクチャよりも、出力順で後となるように制限されてもよい。
【０１０８】
HEVCでは、TSAピクチャタイプとSTSAピクチャタイプという２つのピクチャタイプがあり、時間サブレイヤの切替ポイントを示すために使用することができる。TSA又はSTSAピクチャ（排他的又は包括的）のTemporalIdがN+1に等しくなるまで、TemporalIdがNまでの時間サブレイヤが破棄されてきた場合、TSA又はSTSAピクチャは、TemporalIdがN+1である全ての（復号順で）後続のピクチャの復号を可能にする。TSAピクチャタイプは、TSAピクチャ自体に加え、同一サブレイヤにおいて復号順でそのTSAピクチャより後の全てのピクチャに対して制限を加えてもよい。こうしたピクチャは何れも、同一サブレイヤにおいて復号順でTSAピクチャより前のピクチャからのインター予測の使用が許容されない。またTSAの規定は、上位サブレイヤにおいて復号順でTSAピクチャに続くピクチャに対して制限を加えてもよい。こうしたピクチャは何れも、TSAピクチャとして同一又は上位サブレイヤに属する場合、復号順でTSAピクチャより前のピクチャの参照が許容されない。TSAピクチャは０を超えるTemporalIdを有する。STSAはTSAピクチャと同様であるが、上位サブレイヤにおいて復号順でSTSAピクチャより後のピクチャに対して制限を加えない。したがって、STSAピクチャが存在するサブレイヤに対してのみアップスイッチングが可能となる。
【０１０９】
非VCL-NALユニットは例えば、次のタイプの1つでもよい：
シーケンスパラメータセット；
ピクチャパラメータセット；
補助拡張情報（supplemental enhancement information；SEI）NALユニット；
アクセス単位区切り；シーケンスNALユニットの一部；
ビット列NALユニットの一部；補充データNALユニット。パラメータセットは復号ピクチャの再構成に必要であってもよいが、他の非VCL-NAL単位の多くは、復号サンプル値の再構成には必要ない。
【０１１０】
符号化ビデオシーケンスで不変のパラメータがシーケンスパラメータセットに含まれてもよい。復号処理に必要なパラメータに加え、シーケンスパラメータセットがビデオユーザビリティ情報（video usability information；VUI）を含んでもよい。これは、バッファリングやピクチャ出力タイミング、レンダリング、リソース予約に重要なパラメータを含む。H.264/AVCでは、シーケンスパラメータセットを含む3つのNALユニットが規定されている。シーケンスパラメータセットNALユニットは、H.264/AVCのVCL-NALユニット用データ全てをシーケンスに含む。シーケンスパラメータセット拡張NALユニットは補助符号化ピクチャ用データを含む。サブセット・シーケンスパラメータセットNALユニットはMVCとSVCのVCL-NALユニット用である。HEVCでは、シーケンスパラメータセットRBSPには、１つ又は複数のピクチャパラメータセットRBSP、又はバッファリング期間（buffering period）SEIメッセージを含む１つ又は複数のSEI-NALユニットによって参照可能なパラメータが含まれる。ピクチャパラメータセットは、複数の符号化ピクチャで不変であるようなパラメータを含む。ピクチャパラメータセットRBSPは、１つ又は複数の符号化ピクチャの符号化スライスNALユニットによって参照可能なパラメータを含んでもよい。
【０１１１】
ＨＥＶＣにおいて、ビデオパラメータセット（ＶＰＳ）は、ゼロ以上の全符号化ビデオシーケンスに適用するシンタックス要素を含むシンタックス構造として定義されてもよい。各スライスセグメントヘッダから取得されたシンタックス要素によってＰＰＳが参照され、このＰＰＳから取得されたシンタックス要素によってＳＰＳが参照され、更にこのＳＰＳから取得されたシンタックス要素の内容によってＶＰＳが決定されるためである。
【０１１２】
ビデオパラメータセットRBSPは、１つ又は複数のシーケンスパラメータセットRBSPによって参照可能なパラメータを含んでもよい。
【０１１３】
ビデオパラメータセット（VPS）とシーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）の間の関係及びヒエラルキーは次のように記述できる。VPSは、スケーラビリティおよび／または3Dビデオの背景では、パラメータセットヒエラルキーでSPSの1段上に位置する。VPSは、全ての（スケーラブルまたはビュー）レイヤに亘って全スライスに共通なパラメータを符号化ビデオシーケンス全体に含んでもよい。SPSは、特定の（スケーラブルまたはビュー）レイヤにおける全スライスに共通なパラメータを符号化ビデオシーケンス全体に含み、複数の（スケーラブルまたはビュー）レイヤで共有されてもよい。PPSは、特定のレイヤ表現（特定のアクセス単位における特定のスケーラブルまたはビューレイヤの表現）における全スライスに共通なパラメータを含み、複数のレイヤ表現における全スライスで共有されるものである。
【０１１４】
VPSは、全ての（スケーラブルまたはビュー）レイヤに亘って全スライスに適用可能なその他多くの情報を符号化ビデオシーケンス全体に提供しうるが、さらにレイヤの依存表現に関する情報をビットストリームに提供してもよい。VPSは、3つの部分から構成されると考えられてもよい。すなわち、ベースVPS（base VPS）、VPS拡張部（VPS extension）、VPS VUIである。VPS拡張部及びVPS VUIの存在はオプションであってもよい。HEVCでは、ベースVPSはvideo_parameter_set_rbsp( )シンタックス構成を有するが、vps_extension( )シンタックス構成は有しないと考えられうる。video_parameter_set_rbsp( )シンタックス構成は、HEVCバージョン1ではじめに規定され、ベースレイヤの復号に用いられうるシンタックス要素を含む。HEVCでは、VPS拡張部はvps_extension( )シンタックス構成を有すると考えられうる。vps_extension( )シンタックス構成ははじめ、マルチレイヤ拡張のために、HEVCバージョン2で規定された。vps_extension( )シンタックス構成は、１つ又は複数のベースレイヤの復号に使用されうるシンタックス要素（例えばレイヤの依存関係を示すシンタックス要素）を含む。VPS VUIは、HEVC復号処理に使われる必要の無い情報を復号するために利用されうるシンタックス要素を含む。
【０１１５】
H.264/AVCおよびHEVCのシンタックスでは様々なパラメータセットの事例が許容され、各事例は固有の識別子で識別される。パラメータセットに必要なメモリ使用量を制限するために、パラメータセット識別値域は制限されている。H.264/AVC及びHEVCでは、各スライスヘッダは、そのスライスを含むピクチャの復号に対してアクティブなピクチャパラメータセットの識別子を含む。各ピクチャパラメータセットは、アクティブなシーケンスパラメータセットの識別子を含む。その結果、ピクチャとシーケンスパラメータセットの伝送がスライスの伝送と正確に同期されている必要がない。実際に、アクティブシーケンスとピクチャパラメータセットはそれらが参照される前までに受取られていれば十分であり、スライスデータ用のプロトコルよりも高い信頼性のある伝送機構を使って「帯域外」でパラメータセットを伝送することが可能になる。例えば、パラメータセットはリアルタイム転送プロトコル（Real-time Transport Protocol；RTP）セッション用のセッション記述でのパラメータとして含まれてもよい。パラメータセットは、帯域内で伝送される場合、エラー耐性を高めるために繰り返されることもある。
【０１１６】
あるいは又は加えて、こうした帯域外伝送や信号伝送、記憶保存が、アクセスの容易性やセッションネゴシエーションのような、伝送エラー耐性以外の目的に使われることもある。例えば、ISOBMFF（ISO Base Media File Format）に従うファイルにおけるトラックのサンプルエントリはパラメータセットを含むことができるが、ビット列の符号化データはファイルの別の場所、又は別のファイルに保存される。本願に記載された特許請求の範囲及び実施形態では、帯域外データをビット列に関連付ける方法で帯域外伝送や信号伝送、記憶保存が用いられてもよい。ビット列等に沿って復号するフレーズは、そのビット列に関連付けられる（帯域外伝送や信号伝送、記憶保存で取得可能な）参照済み帯域外データの復号と呼んでもよい。
【０１１７】
パラメータセットはスライスや別のアクティブパラメータセットからの参照によってアクティブ化されてもよい。場合によっては、バッファリング期間SEIメッセージのような別のシンタックス構造からの参照によることもある。
【０１１８】
SEI-NALユニットは１つ又は複数のSEIメッセージを含んでもよい。これらは出力ピクチャの復号には必要ないが、ピクチャ出力タイミングやエラー検出、エラー隠蔽、リソース予約などの関連処理を補助してもよい。複数のSEIメッセージがH.264/AVCおよびHEVCで規定され、ユーザデータのSEIメッセージによって組織や企業が独自に使用するSEIメッセージを規定できる。H.264/AVCおよびHEVCは、規定されたSEIメッセージのシンタックスと意味を含むが、受信側でメッセージを取扱う処理については何も定義されない。その結果、エンコーダはSEIメッセージを作成する際、H.264/AVC規格やHEVC規格に従い、デコーダもそれぞれH.264/AVC規格やHEVC規格に準拠する必要がある。しかし、SEIメッセージを出力規定に準じて処理する必要はない。H.264/AVCおよびHEVCでSEIメッセージのシンタックスと意味を含める理由の1つは、異なるシステム仕様でも補助情報を同じ様に解釈し相互運用を可能にすることである。システム仕様は符号化側と復号側の両方で特定のSEIメッセージを使用できるように要求するものであり、受信側で特定のSEIメッセージを取扱う処理も規定されてもよい。
【０１１９】
AVCやHEVC規格では、ネスティングSEIメッセージ（nesting SEI message）もいくつか規定されている（または提案されている）。ネスティングSEIメッセージのアイディアは、ネスティングSEIメッセージの中に１つ又は複数のSEIメッセージを格納させ、格納されたSEIメッセージをビットストリームのサブセット及び／又は復号されたデータのサブセットに関係付けるメカニズムを提供することである。ネスティングSEIメッセージは、１つ又は複数の、ネスティングSEIメッセージではないSEIメッセージを格納することを要請されてもよい。ネスティングSEIメッセージに格納されるSEIメッセージは、ネストSEIメッセージ（nested SEI message）と呼ばれることがある。ネスティングSEIメッセージに格納されないSEIメッセージは、非ネストSEIメッセージ（non-nested SEI message）と呼ばれることがある。HEVCのスケーラブル・ネスティングSEIメッセージは、（サブビットストリーム展開処理から得られた）ビットストリームのサブセットか、ネストSEIメッセージが適用されるレイヤのセットを特定することができる。なお、ビットストリームのサブセットもまた、サブビットストリームと呼ばれることがある。
【０１２０】
符号化ピクチャはピクチャの符号化された表現である。H.264/AVCでの符号化ピクチャは、ピクチャの復号に必要なVCL-NALユニットを含む。H.264/AVCでは、符号化ピクチャはプライマリ符号化ピクチャまたは冗長符号化ピクチャである。プライマリ符号化ピクチャは有効なビットストリームの復号処理で使用される。一方、冗長符号化ピクチャは、プライマリ符号化ピクチャが正しく復号されない場合にだけ復号される冗長表現である。HEVCでは、冗長符号化ピクチャは規定されていない。
【０１２１】
H.264/AVCでは、アクセスユニット（AU）が、プライマリ符号化ピクチャとそれに関連付けられるNALユニットとを含む。H.264/AVCでは、アクセスユニット内でのNALユニットの出現順序が次のように制限されている。追加アクセスユニット区切りのNALユニットは、アクセスユニットの起点を示すことができる。この後に0以上のSEI-NALユニットが続く。プライマリ符号化ピクチャの符号化スライスが次に現われる。H.264/AVCでは、プライマリ符号化ピクチャの符号化スライスの後に0以上の冗長符号化ピクチャの符号化スライスが続いてもよい。冗長符号化ピクチャは、ピクチャまたはピクチャの一部の符号化された表現である。冗長符号化ピクチャは、伝送損失や物理記憶媒体でのデータ破損などによってデコーダがプライマリ符号化ピクチャを受取れない場合に復号されてもよい。
【０１２２】
H.264/AVCでは、アクセスユニットは補助符号化ピクチャを含んでもよい。これは、プライマリ符号化ピクチャを補助／補完し、表示処理などで使用できるピクチャである。補助符号化ピクチャは例えば、復号ピクチャのサンプルの透過レベルを特定するアルファチャンネルやアルファ面として使用されてもよい。アルファチャンネルまたはアルファ面は、レイヤ成分やレンダリングシステムで使用されてもよい。出力ピクチャは、互いに表面で少なくとも一部が透過しているピクチャを重ね合わせることで作成される。補助符号化ピクチャは、モノクロ冗長符号化ピクチャとして同一のシンタックスと意味の制限がある。H.264/AVCでは、補助符号化ピクチャはプライマリ符号化ピクチャと同数のマクロブロックを含む。
【０１２３】
HEVCでは、符号化されたピクチャは、ピクチャの符号化表現として定義されうるが、当該表現は、当該ピクチャの全ての符号化ツリーを含む。HEVCでは、アクセスユニット（AU）は、特定の分類規則に従って互いに関連付けられ、復号順で連続し、nuh_layer_idのいずれか特定の値を有するピクチャを最大一つ含む、NALユニットのセットとして規定される。符号化されたピクチャのVCL NALユニットを含むことに加えて、アクセスユニットは、non-VCL NALを含んでもよい。
【０１２４】
ビットストリームは、NAL unitのストリームやバイトのストリームの形で、ビットのシーケンスとして定義されてもよい。そのようなビットシーケンスは、符号化ピクチャ及び関連するデータの表現を形成し、一つ又は複数の符号化ビデオシーケンスを形成する。
通信プロトコルの同じファイルまたは同じ接続のような、同じ論理チャネルの中で、第1のビットストリームに続いて第2のビットストリームが存在する。ビデオ符号化に関連する基本的なストリームは、一つ又は複数のビットストリームのシーケンスとして定義されうる。第1のビットストリームの終端は、特定のNALユニットで示されうる。そのようなNALユニットはEOB (End Of Bitstream) NALユニットと称されてもよく、それは当該ビットストリームの最後のNALユニットであってもよい。HEVC及びその現在の拡張案においては、EOB NALユニットは、0に等しいnuh_layer_idを有することが求められている。
【０１２５】
H.264/AVCでは、符号化ビデオシーケンスは、連続するアクセスユニットのシーケンスとして定義される。このシーケンスは復号処理の順序であって、IDRアクセスユニットを含んでそこから、次のIDRアクセスユニットを含まずその直前かビットストリームの最後のうち先に出現するところまでの順序である。
【０１２６】
HEVCにおいて、符号化ビデオシーケンス（Coded Video Sequence: CVS）は、例えばアクセスユニットのシーケンスとして定義されうる。このシーケンスは、復号順で、NoRaslOutputFlag=1であるIRAPアクセスユニットと、それに続いてNoRaslOutputFlag=1である、IRAPアクセスユニットではないアクセスユニットをゼロ個または１個以上からなる。この後続のアクセスユニットには、NoRaslOutputFlag=1であるIRAPアクセスユニットは含まれない。IRAPアクセスユニットは、ベースレイヤピクチャがIRAPピクチャであるアクセスユニットであると定義されうる。ビットストリーム中の特定のレイヤの中で、復号順で最初のピクチャである各IDRピクチャ、各BLAピクチャ、各IRAPピクチャのNoRaslOutputFlagの値は1である。またそのようなピクチャは最初のIRAPピクチャであり、同じnuh_layer_id値を有するシーケンス終了NALユニット（end of sequence NALユニット）が復号順で後続する。マルチレイヤHEVCの場合、refLayerIdの全ての値がIdDirectRefLayer[nuh_layer_id][j]に等しい場合について、LayerInitializedFlag[nuh_layer_id] = 0であり、LayerInitializedFlag[refLayerId]=1であるようなnuh_layer_idを有する各IRAPピクチャのNoRaslOutputFlagの値は、1である。ただしjの範囲は、包含的に、0からNumDirectRefLayers[nuh_layer_id]  - 1である。又は、NoRaslOutputFlagの値がHandleCraAsBlaFlagである。NoRaslOutputFlagが1であることは、NoRaslOutputFlagが設定されるRASLピクチャであって、IRAPピクチャに関連付けられたRASLピクチャが、デコーダから出力されないという影響を生じる。外部のエンティティからデコーダへ、HandleCraAsBlaFlagの値を提供する手段があってもよい。そのような手段は、例えばプレーヤーやレシーバーであってもよく、デコーダを制御するものであってもよい。HandleCraAsBlaFlagは、例えば、ビットストリーム中の新しい再生位置を探したり、ある放送に同調したりするプレーヤーによって、1に設定されてもよい。そのようなプレーヤーは、復号を開始し、そしてCRAピクチャから復号を開始するだろう。あるCRAピクチャに対してHandleCraAsBlaFlagが1であると、そのCRAピクチャは、BLAピクチャであるように扱われ復号される。
【０１２７】
上述の例に追加的に又は代替的に、HEVCにおいて、復号ビデオシーケンスは、特別のNALユニット（シーケンス終了ＮＡＬユニット（EOS NALユニット）と称されうる）がビットストリーム中に現れると共に、nuh_layer_idが1である場合に、終了すると特定されてもよい。
【０１２８】
HEVCにおいて、符号化ビデオシーケンスグループ（Coded Video Sequence Group; CVSG）は、例えば、一つ又は複数の、復号順に連続するCVSによって定義されてもよい。CVSGは、非アクティブであったVPS RBSP firstVpsRbspをアクティブ化するIRAPアクセスユニットと、それに復号順で後続する複数のアクセスユニットとを有する。これら複数のアクセスユニットに対して、firstVpsRbspはビットストリームの最後までアクティブなVPS RBSPであり、又は、firstVpsRbspとは異なる別のVPS RBSPをアクティブ化するアクセスユニットを含んでいない。
【０１２９】
GOP（Group of Pictures；ピクチャーグループ）とその特性は次のように定義されてもよい。GOPは、その前のピクチャが復号されたどうかに関係なく復号される。オープンGOPとは、復号処理がその最初のイントラピクチャから開始する場合に、出力順で最初のイントラピクチャより先のピクチャが正しく復号できない様なピクチャーグループである。換言すれば、オープンGOPのピクチャは、その前のGOPに属するピクチャを（インター予測で）参照してもよい。H.264/AVCデコーダは、H.264/AVCビットストリームでのリカバリポイントのSEIメッセージによって、オープンGOPの始めのイントラピクチャを認識できる。HEVCデコーダはオープンGOPの始めのイントラピクチャを認識できる。これは、符号化スライスに対して特別なNALユニットタイプであるCRA-NALユニットタイプが使用されうるからである。クローズドGOPとは、復号処理がその最初のイントラピクチャから開始する場合に、全ピクチャが正しく復号される様なピクチャーグループである。換言すれば、クローズドGOPではその前のGOPに属するピクチャを参照するピクチャは存在しない。H.264/AVCおよびHEVCでは、クローズドGOPはIDRピクチャから始まってもよい。HEVCでは、クローズドGOPはBLA_W_RADL又はBLA_N_LPピクチャから開始してもよい。リファレンスピクチャの選択における高い柔軟性のため、オープンGOPの符号化構造は、クローズドGOPの符号化構造よりも効率的な圧縮を可能にする。
【０１３０】
SPO（Structure of Pictures；ピクチャ構造）は、復号順で連続する一つ又は複数の符号化ピクチャによって定義されてもよい。SPOにおいて、復号順で最初の符号化ピクチャは、最下層の時間サブレイヤにおけるリファレンスピクチャであり、復号順で最初の符号化ピクチャでありうるピクチャを除いて、いずれのピクチャもRAPピクチャではない。先行するSOPの全てのピクチャは、復号順で、現在のSOPの全てのピクチャに先行し、次のSOPの全てのピクチャは、復号順で、現在のSOPの全てのピクチャの後に続く。SOPは、階層的で反復的なインター予測構造を表現してもよい。GOPとの用語は、しばしばSOPとの用語と意味の区別なく用いられる。また、SOPの意味と同じ意味を有する。
【０１３１】
H.264/AVCおよびHEVCのビットストリームシンタックスは、特定のピクチャが別のピクチャのイントラ予測のためのリファレンスピクチャであるかを示す。任意の符号化タイプ（I，P，B）のピクチャは、H.264/AVCおよびHEVCのリファレンスピクチャまたは非リファレンスピクチャであり得る。
【０１３２】
H.264/AVCは、デコーダでのメモリ消費を制御するために、復号リファレンスピクチャのマーキング処理を特定する。インター予測に用いるリファレンスピクチャの数の最大値はMで表わし、シーケンスパラメータセットで決定される。リファレンスピクチャは、復号されるときに「リファレンスに使用済」とマークされる。リファレンスピクチャの復号で「リファレンスに使用済」とマークされるピクチャの数がMを超える場合、少なくとも1つのピクチャは「リファレンスに未使用」とマークされる。復号リファレンスピクチャのマーキング動作には適応メモリ制御とスライディングウィンドウの2種類がある。復号リファレンスピクチャのマーキング動作モードはピクチャに基づいて選択される。適応メモリ制御は、どのピクチャが「リファレンスに未使用」とマークされているかを明示的に信号で伝えられ、短期リファレンスピクチャに長期インデクスを割当ててもよい。適応メモリ制御は、ビットストリームにメモリ管理制御操作（memory management control operation；MMCO）パラメータの存在を要求してもよい。MMCOパラメータは、復号リファレンスピクチャ・マーキングのシンタックス要素に含まれてもよい。スライディングウィンドウ動作モードが使われ、M枚のピクチャが「リファレンスに使用済」とマークされている場合、「リファレンスに使用済」とマークされている短期リファレンスピクチャの中で最初に復号された短期リファレンスピクチャは「リファレンスに未使用」とマークされる。換言すれば、スライディングウィンドウ動作モードは、短期リファレンスピクチャに関して先入れ先出し（first-in-first-out）バッファ動作となる。
【０１３３】
H.264/AVCのメモリ管理制御操作によっては、現ピクチャ以外の全てのリファレンスピクチャを「リファレンスに未使用」とマークする。瞬時復号リフレッシュ（IDR）ピクチャはイントラ符号化スライスのみを含み、リファレンスピクチャに対する同一「リセット」を行う。
【０１３４】
HEVCでは、リファレンスピクチャ・マーキングのシンタックス構造と関連する復号処理使用されない。その代わり、リファレンスピクチャセット（reference picture set；RPS）のシンタックス構造と復号処理が同じ目的で使用される。特定のピクチャに有効またはアクティブなリファレンスピクチャセットは、そのピクチャに対するリファレンスとして使われる全てのリファレンスピクチャと、復号順で後続の任意のピクチャに対して「リファレンスに使用済」とマークされたままである全てのリファレンスピクチャを含む。リファレンスピクチャセットには6つのサブセットがあり、それぞれRefPicSetStCurr0 (a.k.a. RefPicSetStCurrBefore)，RefPicSetStCurr1 (a.k.a. RefPicSetStCurrAfter)，RefPicSetStFoll0，RefPicSetStFoll1，RefPicSetLtCurr，およびRefPicSetLtFollと呼ばれる。RefPicSetStFoll0及びRefPicSetStFoll1は、一緒になって単一のサブセットRefPicSetStFollを形成すると考えられてもよい。この6つのサブセットの表記法は次の通りである。「Curr」は現ピクチャのリファレンスピクチャ・リストに含まれるリファレンスピクチャを表わす。このため、現ピクチャに対するインター予測リファレンスとして使用されてもよい。「Foll」は現ピクチャのリファレンスピクチャ・リストに含まれないリファレンスピクチャを表わす。ただし、復号順で後続のピクチャではリファレンスピクチャとして使用されてもよい。「St」は短期リファレンスピクチャを表わし、通常、POC値の特定数の最下位ビットで識別される。「Lt」は長期リファレンスピクチャを表わし、特定の方法で識別される。通常、現ピクチャに対するPOC値の差は、前述した特定数の最下位ビットによって表わされるものよりも大きい。「0」は現ピクチャのPOC値よりも小さいPOC値を持つリファレンスピクチャを表わす。「1」は現ピクチャのPOC値よりも大きいPOC値を持つリファレンスピクチャを表わす。RefPicSetStCurr0，RefPicSetStCurr1，RefPicSetStFoll0およびRefPicSetStFoll1はまとめて、リファレンスピクチャセットの短期サブセットと呼ばれる。RefPicSetLtCurrおよびRefPicSetLtFollはまとめて、リファレンスピクチャセットの長期サブセットと呼ばれる。
【０１３５】
HEVCでは、リファレンスピクチャセットは、シーケンスパラメータセットで特定され、リファレンスピクチャセットへのインデクスを介してスライスヘッダ用に取込まれてもよい。リファレンスピクチャセットはスライスヘッダで特定されてもよい。リファレンスピクチャセットは独立に符号化されてもよく、別のリファレンスピクチャセットから予測されてもよい（インターRPS予測と呼ばれる）。リファレンスピクチャセット符号化の両方の種類で、各リファレンスピクチャに対してフラグ（used_by_curr_pic_X_flag)が追加で送信される。このフラグは、そのリファレンスピクチャがリファレンスとして現ピクチャに用いられる（*Curr listに含まれる）か、そうでない（*Foll listに含まれる）かを示す。現在のスライス（現スライス）が使うリファレンスピクチャセットに含まれるピクチャは「リファレンスに使用済」とマークされ、現スライスが使うリファレンスピクチャセットに含まれないピクチャは「リファレンスに未使用」とマークされる。現ピクチャがIDRピクチャである場合、RefPicSetStCurr0，RefPicSetStCurr1，RefPicSetStFoll0，RefPicSetStFoll1，RefPicSetLtCurr，およびRefPicSetLtFollは全て空に設定される。
【０１３６】
スケーラブルビデオ符号化とは、コンテンツに関してビットレートや解像度、又はフレームレートが異なる複数の表現を１つのビットストリームが格納できるような符号化構造のことを差してもよい。このような場合、受信側は、その特定（例えば、ディスプレイ装置に最適な解像度）に応じて望ましい表現を抽出することができる。あるいは、サーバまたはネットワーク要素が、ネットワーク特性や受信側の処理能力等に応じて受信側に送信されるように、ビット列の一部を抽出することもできる。スケーラブルビットストリームは、利用可能な最低品質ビデオを提供する1層の「基本レイヤ（base layer）」と、下位レイヤと共に受信・復号されるとビデオ品質を高める1層以上の拡張レイヤ（enhancement layer）から構成されてもよい。拡張レイヤに対する符号化効率を高めるために、レイヤの符号化表現は下位レイヤに依存してもよい。例えば、拡張レイヤの動き情報およびモード情報が下位レイヤから予測されてもよい。同様に、拡張レイヤ予測を作成するために、下位レイヤのピクセルデータを用いることもできる。
【０１３７】
品質スケーラビリティ（信号対ノイズ比またはSN比とも呼ばれる）及び／又は空間スケーラビリティ対応のスケーラブルビデオコーデックは、次のように実装されてもよい。基本レイヤに対しては、従来の非スケーラブルビデオエンコーダ・デコーダが使用される。基本レイヤの再構成／復号ピクチャは、拡張レイヤ用リファレンスピクチャバッファに含められる。H.264/AVCやHEVC、インター予測用リファレンスピクチャリストを用いる同様のコーデックでは、基本レイヤ復号ピクチャは、拡張レイヤの復号リファレンスピクチャと同様に、拡張レイヤピクチャの符号化／復号のため、リファレンスピクチャリストに挿入されてもよい。その結果、エンコーダはインター予測リファレンスとして基本レイヤ参照ピクチャを選択し、その使用を参照ピクチャ・インデクスを用いて符号化ビット列に示してもよい。デコーダはビット列から、例えば参照ピクチャ・インデクスから、基本レイヤピクチャが拡張レイヤ用インター予測リファレンスとして使用されることを復号する。復号基本レイヤピクチャは、拡張レイヤ用予測リファレンスとして使用される場合、レイヤ間リファレンスピクチャと呼ばれる。
【０１３８】
品質スケーラビリティに加えて、他にもスケーラビリティモデルやスケーラビリティ次元が存在してもよい。以下にいくつかの例を挙げる。ただしこれらの例に限定されるものではない。
・  品質スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャよりも低い品質で符号化され、例えば、基本レイヤが拡張レイヤよりも大きな量子化パラメータ値を使用することができる（即ち伝送係数量子化における量子化ステップサイズをより大きくすることができる）。品質スケーラビリティは更に、細粒度スケーラビリティ（FGS: fine-grain scalability又はfine-granularity scalability）、中粒度スケーラビリティ（MGS: medium-grain scalability又はmedium-granularity scalability）、粗粒度スケーラビリティ（CGS: coarse-grain scalability又はcoarse-granularity scalability）に分類されうる。
・  空間スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャよりも低い解像度で符号化される（即ち、より少ないサンプルを有する）。空間スケーラビリティと品質スケーラビリティは、特にその粗粒度スケーラビリティというタイプにおいて同種のタイプとみなされることもある。
・  ビット深度スケーラビリティ：基本レイヤピクチャは、（例えば１０から１２ビットの）拡張レイヤピクチャよりも低いビット深度（例えば８ビット）で符号化される。
・  クロマフォーマットスケーラビリティ：基本レイヤピクチャは、（例えば４：２：０クロマフォーマットで符号化された）色差サンプル配列において、（例えば４：４：４フォーマットの）拡張レイヤピクチャよりも低い空間分解能を与える。
・  色域スケーラビリティ：
拡張レイヤピクチャは、基本レイヤピクチャよりも豊富な又は広い色表現範囲を有する。例えば、拡張レイヤは超高精細テレビ（UHDTV、ITU-R BT.2020規格）の色域を有し、基本レイヤはITU-R BT.709規格の色域を有してもよい。
・  ビュースケーラビリティ：
マルチビュー符号化とも呼ばれる。基本レイヤが第1のビューを表現し、拡張レイヤが第2のビューを表現する。
・  深度スケーラビリティ：
深度拡張符号化とも呼ばれる。ビット列における一つ又は一部のレイヤが一つ（又は複数の）テクスチャビューを表現し、他の一つ又は複数のレイヤが一つ（又は複数の）深度ビューを表現できる。
・  関心領域スケーラビリティ（詳細は以下で記述する）
・  インターレース−プログレッシブ・スケーラビリティ：
フィールド−フレーム・スケーラビリティとも呼ばれる。
プログレッシブソースコンテンツを表現するために、基本レイヤにおける符号化インターレースソースコンテンツ素材が拡張レイヤで拡張される。ベースレイヤにおける、符号化されたインターレースソースコンテンツは、符号化されたフィールドと、フィールドのペアを表す符号化されたフレームと、これらがミックスされたものとの、いずれかを備えてもよい。   インターレース−プログレッシブ・スケーラビリティにおいて、ベースレイヤのピクチャは、一つ又は複数の拡張レイヤピクチャのための適切なリファレンスピクチャになるように、リサンプリングされうる。
・  ハイブリッド符号化スケーラビリティ：
符号化規格スケーラビリティとも呼ばれる。ハイブリッド符号化スケーラビリティでは、基本レイヤのビット列シンタックス処理、セマンティック処理、復号処理が異なるビデオ符号化規格で規定される。これにより、基本レイヤピクチャは、拡張レイヤピクチャとは異なる符号化規格又はフォーマットに従って符号化される。例えば、基本レイヤがH.264/AVCで符号化され、拡張レイヤがＨＥＶＣマルチレイヤ拡張で符号化されてもよい。より一般的には、ハイブリッド符号化スケーラビリティでは、一つ又は複数のレイヤがある規格又は仕様によって符号化され、他の一つ又は複数のレイヤは別の規格又は仕様によって符号化されてもよい。例えば、H.264/AVCのMVC拡張に従って符号化された２つのレイヤと（そのうち１つはH.264/AVCに従って符号化されたベースレイヤである）、MV-HEVCに従って符号化された一つ又は複数の別のレイヤが存在してもよい。ハイブリッド符号化スケーラビリティにおいて、、同じビットストリームの別のレイヤを符号化する規格や仕様の数は、２つに限定されない。
【０１３９】
こうした様々なタイプのスケーラビリティの多くが相互に組み合わせて適用できることが理解されなくてはならない。例えば、色域スケーラビリティとビット深度スケーラビリティを組み合わせてもよい。
【０１４０】
前述したスケーラビリティの場合、ビットレートの追加オーバーヘッドを最小にするため、拡張レイヤの符号化にベースレイヤ情報を用いることができる。
【０１４１】
ここで、スケーラビリティは二通りの方法で実行可能である。その一つは、スケーラブル表現の下位レイヤからピクセル値又はシンタックスの予測を行なうために新しい符号化モードを導入するアプローチであり、もう一つは、下位レイヤピクチャを上位レイヤのリファレンスピクチャバッファ（復号ピクチャバッファ、DPB）に配置するアプローチである。第1のアプローチは、より柔軟性があり、大部分の場合で高い符号化効率を実現できる。一方、リファレンスフレームに基づく第2のスケーラビリティアプローチは、単レイヤコーデックに対して最小限の変更だけで非常に効率的に実装可能でありながら、殆どの場合で符号化効率の向上を実現することができる。基本的には、参照フレームベーススケーラビリティのコーデックは、全レイヤに対して同じハードウェア又はソフトウェアを用いて実装可能であり、外部手段によってDPBの管理を行なうだけでよい。
【０１４２】
並行的な処理を利用できるようにするため、画像は、それぞれ独立に符号化・復号が可能な複数の画像セグメント（画像スライス・画像タイル）に分割されてもよい。スライスは、既定で符号化順または復号順で処理されるいくつかの基本符号化単位から構成される画像セグメントのことを言い表すことがある。タイルは、それぞれ少なくともある程度独立のフレームとして処理される矩形の画像領域として定義される画像セグメントのことを言い表すことがある。
【０１４３】
図４は、ある実施形態に係るビデオエンコーダのブロック図である。図４は、２つのレイヤのためのエンコーダを図示している。ただし、図示されているエンコーダは、２つより多い数のレイヤや、１つだけしかレイヤがない形態を符号化する用にも同様に拡張できることに留意されたい。図４は、ベースレイヤのための第1のエンコーダセクション500と、拡張レイヤのための第2のエンコーダセクション502とを備えるビデオエンコーダの実施例を図示している。第1のエンコーダセクション500と第2のエンコーダセクション502とは、それぞれ、入力画像を符号化するための同様の要素を備えうる。エンコーダセクション500，502は、ピクセル予測器302, 304、予測誤差エンコーダ303, 403、予測誤差デコーダ304, 404を、それぞれ備えてもよい。図４はまた、インター予測器306, 406とイントラ予測器308, 408、モードセレクタ310, 410、フィルタ316, 416、リファレンスフレームメモリ318, 418を備えるようなピクセル予測器302, 304の実施形態を示す。第1のエンコーダセクション500のピクセル予測器302は、ビデオストリームのベースレイヤピクチャ300を受信する。ピクチャ300は、インター予測器306とイントラ予測器308の両方で符号化されるピクチャ300を受信する。インター予測器306はこのピクチャと動き補償リファレンスフレーム318との間の差を決定し、イントラ予測器308は現フレームまたはピクチャで処理済みの部分のみに基づいて画像ブロックの予測を決定する。インター予測器とイントラ予測器の両方からの出力はモードセレクタ310に送られる。イントラ予測器308は複数のイントラ予測モードを持っていてよい。したがって、モード毎にイントラ予測が行われ、予測信号がモードセレクタ310に提供されてもよい。モードセレクタ310もベースレイヤピクチャの300のコピーを受信する。対応するように、第2のエンコーダセクション502のピクセル予測器402は、ビデオストリームの拡張レイヤピクチャ400を受信する。ピクチャ400はインター予測器406とイントラ予測器408の両方で符号化される。インター予測器306はこのピクチャと動き補償リファレンスフレーム418との間の差を決定し、イントラ予測器308は現フレームまたはピクチャで処理済みの部分のみに基づいて画像ブロックの予測を決定する。インター予測器とイントラ予測器の両方からの出力はモードセレクタ410に送られる。イントラ予測器408は複数のイントラ予測モードを持っていてよい。したがって、モード毎にイントラ予測が行われ、予測信号がモードセレクタ410に提供されてもよい。モードセレクタ410も拡張レイヤピクチャ400のコピーを受信する。
【０１４４】
現在の符号化単位を符号化するためにどの符号化モードが選択されたかに応じて、モードセレクタ310, 410内では、インター予測器306, 406の出力、オプションのイントラ予測器の出力、又は外側エンコーダの出力が、モードセレクタの出力に渡される。モードセレクタの出力は第1の加算器321, 421に送られる。第1の加算器は、予測誤差エンコーダ303, 403への入力である第1の予測誤差信号320, 420を生成するために、ベースレイヤピクチャ300又は拡張レイヤピクチャ400からピクセル予測器302, 402の出力を引いてもよい。
【０１４５】
ピクセル予測器302, 402はさらに、画像ブロック312, 412の予測表現と予測誤差デコーダ304, 404の出力338, 438の合成を仮再構成器339, 439から受取る。仮再構成された画像314, 414は、イントラ予測器308, 408とフィルタ316, 416に送られてもよい。仮表現を受取るフィルタ316, 416は、その仮表現をフィルタリングし、リファレンスフレームメモリ318, 418に保存される最終再構成画像340, 440を出力する。リファレンスフレームメモリ318は、リファレンス画像として使用されるように、インター予測器306に接続されてもよい。そしてインター予測処理において、後のベースレイヤピクチャの300が当該リファレンス画像と比較される。
実施形態によっては、ベースレイヤが選択され、拡張レイヤのレイヤ間サンプル予測及び／又はレイヤ内動き情報予測のソースであると示されると、リファレンスフレームメモリ318はまた、リファレンス画像として使用されるように、インター予測器406に接続されてもよい。そしてインター予測処理において、後の拡張レイヤピクチャ400が当該リファレンス画像と比較される。さらにリファレンスフレームメモリ418は、リファレンス画像として使用されるように、インター予測器406に接続されてもよい。そしてインター予測処理において、後の拡張レイヤピクチャ400が当該リファレンス画像と比較される。
【０１４６】
実施形態によっては、ベースレイヤが選択され、拡張レイヤのフィルタリング・パラメータを予測するソースであると示される場合、第1のエンコーダセクション500のフィルタ316のフィルタリング・パラメータは、第2のエンコーダセクション502に提供されてもよい。
【０１４７】
予測誤差エンコーダ303, 403は、変換ユニット342, 442と量子化器344, 444とを備える。変換ユニット342, 442は第1の予測誤差信号320, 420を変換ドメインに変換する。この変換はDCT変換等である。量子化器344, 444は、量子化係数を得るために、DCT係数などの変換ドメイン信号を量子化する。
【０１４８】
予測誤差デコーダ304, 404は予測誤差エンコーダ303, 403からの出力を受取り、復号予測誤差信号338, 438を生成するために、予測誤差エンコーダ303, 403とは反対の処理を行う。復号予測誤差信号は第2の加算器339, 439で画像ブロック312, 412の予測表現と合成され、仮再構成画像314, 444を生成する。予測誤差デコーダは、変換信号を再構成するために、DCT係数などの量子化係数値を逆量子化（dequantize）する逆量子化器（dequantizer）361, 461と、再構成された変換信号に対して逆変換を行う逆変換ユニット363, 463を備えるように構成されてもよい。逆変換ユニット363, 463の出力は、（1つまたは複数の）再構成ブロックを含む。予測誤差デコーダはまた、さらに復号された情報とフィルタパラメータに従って再構成ブロックをフィルタリングできるブロックフィルタを備えてもよい。
【０１４９】
エントロピーエンコーダ330, 430は、予測誤差エンコーダ303, 403の出力を受取り、誤差検出と補正機能を提供するために、その信号に適切なエントロピー符号化／可変長符号化を行うこともできる。エントロピーエンコーダ330, 430の出力は、例えばマルチプレクサ508によって、ビットストリーム中に挿入されてもよい。
【０１５０】
デコーダにおいては、ブロックのサンプルを再構成するために、同じような処理が実行される。図５は、ある実施形態に係るビデオデコーダのブロック図を描いている。図５は２レイヤのデコーダの構成を図示している。なお、復号処理は、シングルレイヤの構成にも同様に実装されうることに留意されたい。
【０１５１】
ビデオデコーダ550は、ベースビュー成分のための第1のデコーダセクション552と、非ベースビュー成分のための第2のデコーダセクション554とを備える。ブロック556は、第1のデコーダセクション552へのベースビュー成分に関する情報を導出すると共に、第2のデコーダセクション554への非ベースビュー成分に関する情報を導出する、デマルチプレクサを示している。符号P'nは、画像ブロックの予測表現を表している。符号D'nは、再構成された予測誤差信号を表している。ブロック704，804は、ピクセル予測処理を表している。ブロック705，805は、仮再構成画像（I'n)を表している。符号R'nは、最終的な再構成画像を表している。ブロック703，803は、逆変換（T-1)を表している。ブロック702，802は、逆量子化（Q-1)を表している。ブロック701，801は、エントロピー復号（E-1)を表している。ブロック706，806は、基準フレームメモリ（RFM）を表している。ブロック707，807は、（インター予測またはイントラ予測のいずれかの）予測（P）を表している。ブロック708，808は、フィルタリング（F）を表している。ブロック709，809は、復号された予測誤差情報と予測されたベースビュー成分又は非ベースビュー成分とを結合して、仮再構成画像705，805（I'n)を得るために使用されうる。予備的な再構成処理を受けフィルタリングされたベースビュー画像は、第1のデコーダセクション552から出力され（710）、予備的な再構成処理を受けフィルタリングされた非ベースビュー画像は、第2のデコーダセクション554から出力される（810）。
【０１５２】
次に、ビデオエンコーダによりピクチャを符号化する実施例を、図7aのブロック図及び図8aのフロー図を参照してより詳細に説明する。
【０１５３】
以下では、ビデオ情報は三つのチャネル、即ち一つのルミナンスチャネルYと、２つのクロミナンスチャネルCr，Cbとを有することが仮定される。しかし、同様の原理が、他の色フォーマット、例えばRGB（赤、緑、青）色フォーマットに対しても適用可能である。
【０１５４】
図７ａは、量子化パラメータ推定器７５０の例を描いたものである。量子化パラメータ推定器７５０は、変換ユニット３４２，４４２や量子化器３４４，４４４の一部であってもよい。又は、変換ユニット３４２，４４２と量子化器３４４，４４４の間にある、これらとは独立の要素であってもよい。その他、量子化パラメータ推定器７５０は、エンコーダのエンコーダセクション５００，５０２のそれぞれに実装されてもよい。
【０１５５】
量子化パラメータ推定器７５０は、３つ（３つより多い場合もある）の色チャネルのうちの第1のチャネルのための第1の量子化パラメータQ1を決定する（902）。第1のチャネルは、例えばルミナンスチャネルであってもよい。しかし、その他の２つの色チャネルのうちのいずれかであってもよい。ある実施例では、別の決定処理において量子化パラメータが基準として使用される第1のチャネルは、ルミナンスチャネルでありうる。又は、全てのチャネルのうち最も高い空間解像度を有するチャネルであってもよい。実施例によっては、第1のチャネルは、復号処理において量子化パラメータがどのチャネルにも使われない仮想チャネルであってもよい。その場合、第1の量子化パラメータは、他の量子化パラメータのための基準として単独で決定される。
【０１５６】
実施例によっては、第1のチャネルのための中間量子化パラメータが計算され、その値が第1の量子化パラメータとして使われることもある。そして、中間量子化パラメータの値はある値範囲に制限される。中間量子化パラメータの値がその範囲外となったとき、当該値は前記範囲内に収まるようにクリップされ、クリップされた値が、第1のチャネルのための量子化パラメータとして使用される。
【０１５７】
第1の量子化パラメータQ1は、例えば、第1のチャネルの残差値に基づいて決定されてもよい。第1の量子化パラメータQ1の値は、異なるブロック間で変化してもよい。
【０１５８】
量子化パラメータ推定器750は、少なくとも第1のオフセットO1の値を決定してもよい（904）。この第1のオフセットO1の値は、第1の量子化パラメータQ1と、少なくとも2つのチャネルからの残差サンプルを含むブロックのための第2の量子化パラメータとの間の関係を規定する。実施例によっては、その2つのチャネルとは、第1のクロミナンスチャネルCbと、第2のクロミナンスチャネルCrである。
【０１５９】
第1のオフセットO1の値は、既定の値であってもよい。又は、複数のブロックの間で共通の値であってもよく、ブロック間で異なる値であってもよい。第1のオフセットO1の値が複数のブロック間で共通であるか、固定された既定値である場合、量子化パラメータ推定器750は、各ブロック毎に第1のオフセットO1の値を決定する必要は無い。
【０１６０】
量子化パラメータ推定器750は、残差サンプル又は変換係数のブロック（このブロックは、上記少なくとも2つのチャネルからの残差サンプルを含む）のための第2の量子化パラメータを決定する（906）。実施例によっては、第2の量子化パラメータQ2は、第1の量子化パラメータQ1と、第1のオフセットO1の値とに基づいて決定される。例えば、第1のオフセットO1が、第1の量子化パラメータQ1に加算され、その加算処理の結果が第2の量子化パラメータQ2の値として使われる。第2の量子化パラメータQ2の決定処理は、各ブロックにおいて行われてもよい。又は少なくとも、第1の量子化パラメータQ1の値が変化したときに行われてもよい。
【０１６１】
残差符号化モード選択部752は、残差サンプルまたは変換係数のブロックに、どの符号化モードが使われたかを決定する（908）。残差符号化モード選択部752が、ブロックの符号化が、ビデオの複数の色成分又は色チャネルに跨がって行われたことを決定した場合、即ちクロスチャネル残差符号化モードが使用されたことを決定した場合、残差符号化モード選択部752は、
少なくとも２つのチャネルからのサンプル又は変換係数のクロスチャネル残差符号化が、ブロックのために使用されるべきであることを示す標示を提供する（910）。なお、クロスチャネル残差符号化は、ジョイント残差符号化という名称でも知られている。ジョイント残差符号化モードが選択されたことに応じて、残差サンプル又は変換係数のブロックのための量子化パラメータとして、第2の量子化パラメータが、量子化部３４４，４４４によって選択される（912）。量子化部３４４，４４４は、第2の量子化パラメータQ2を使って、残差サンプル又は変換係数のブロックの量子化処理を実行する（914）。量子化された、残差サンプル又は変換係数は、例えば、マルチプレクサ508によって、ピットストリーム中に挿入されることができる。
【０１６２】
残差符号化モード選択部752が、ブロックの符号化が、ビデオの複数の色成分又は色チャネルに跨がって行われなかったことを決定した場合、即ちクロスチャネル残差符号化モードが使用されなかったことを決定した場合、残差符号化モード選択部752は、少なくとも２つのチャネルからのサンプル又は変換係数のジョイント残差符号化が、ブロックのために使用されるべきではないことを示す標示を提供してもよい。従って、各チャネルに対してそれぞれの量子化パラメータが提供され、各チャネルのサンプルは、チャネル毎にそれぞれの量子化パラメータを使って量子化される（916）。なお、クロスチャネル残差符号化モードが使われなかったことを示すことは、必ずしも必要ではない。例えば、クロスチャネル残差符号化モードの標示がなかったことが、クロスチャネル残差符号化モードが使用されなかったことを明らかにしてもよい。
【０１６３】
また、クロスチャネル残差符号化モードが使われたか否かの決定は、第1のオフセットO1を得る前に、また第2の量子化パラメータQ2を推定する前に、行われてもよい。従って、クロスチャネル残差符号化モードが使用されなかったことが決定された場合、量子化パラメータ推定部750は、必ずしも第1のオフセットO1を得る必要はなく、及び／又は、必ずしも第2の量子化パラメータの値Q2を推定する必要はない。
【０１６４】
前述のように、予測誤差デコーダ304, 404は予測誤差エンコーダ303, 403からの出力を受取り、復号予測誤差信号338, 438を生成するために、予測誤差エンコーダ303, 403とは反対の処理を行う。復号予測誤差信号は第2の加算器339, 439で画像ブロック312, 412の予測表現と合成され、仮再構成画像314, 444を生成する。このため、逆量子化器361, 461には、第1の量子化パラメータ及び第2の量子化パラメータの情報が提供されうる。それによって逆量子化器361, 461は、正しい逆量子化パラメータを使って、量子化された係数値（例えばDCT係数）を逆量子化して変換信号を再構成することができる。逆変換ユニット363, 463は、再構成された変換信号に対して逆変換を遂行する。逆変換ユニット363, 463の出力は、再構成された（一つ又は複数の）ブロックを含む。
【０１６５】
実施例によっては、第1の量子化パラメータQ1は、２つ以上の量子化パラメータ又はこれら量子化パラメータの中間値の平均値や加重平均値として計算されることができる。第1のクロミナンスチャネルCb及び第2のクロミナンスチャネルCrに対してジョイント残差符号化が適用される場合、第1の量子化パラメータQ1は、例えば、第1のクロミナンスチャネルCb及び第2のクロミナンスチャネルCrの対応する量子化パラメータの平均値又は加重平均値として計算されることができる。
【０１６６】
クロスチャネルモードで符号化された残差ブロックのために使用されるパラメータであって、第1の量子化パラメータQ1と第2の量子化パラメータQ2の関係を規定する一つ又は複数のパラメータが、様々な方法で定義されることができる。例えば、第2のオフセットパラメータO2（これはpps_cbcr_qp_offsetと呼ばれることがある）が、ピクチャパラメータのセットの中に含められることができる。これは、クロスチャネル符号化されたサンプル又は変換係数のブロックのための、第1の量子化パラメータQ1と第2の量子化パラメータQ2との間のオフセット値を規定する。これに代えて、又は加えて、別の又は代替的なオフセットを規定するシンタックス要素が、第2の量子化パラメータQ2に加えられてもよい。例えば、タイルグループのヘッダに、第3のオフセットパラメータO3（これはtile_group_cbcr_qp_offsetと呼ばれることがある）が存在してもよい。第3のオフセットパラメータO3は、第2の量子化パラメータQ2に追加される更なるオフセットを定義してもよい。これに代えて、又は加えて、ピットストリームのシンタックスの様々なレイヤに、同じようなインジケータが存在してもよい。
【０１６７】
実施例によっては、量子化パラメータ推定器750は、クロスチャネル残差符号化モードがブロックのために選択されたか否かの情報を受け取る。そしてその情報が、クロスチャネル残差符号化モードが選択されたことを示している場合のみ、量子化パラメータ推定器750は、クロスチャネル符号化されたブロックのために、第2の量子化パラメータQ2を決定する。
【０１６８】
実施例によっては、クロスチャネル符号化されたブロックのために第2の量子化パラメータQ2を決定するにおいて、量子化パラメータ推定器750は、ある基準に従って、決定した第2の量子化パラメータの値を限定する。例えば、決定した第2の量子化パラメータQ2の値が、ある最小値より小さくなりそうな場合、量子化パラメータ推定器750は、第2の量子化パラメータQ2の値を当該最小値に設定する。また、決定した第2の量子化パラメータQ2の値が、ある最大値より大きくなりそうな場合、量子化パラメータ推定器750は、第2の量子化パラメータQ2の値を当該最大値に設定する。実施例によっては、量子化パラメータ推定器750は、決定した第2の量子化パラメータQ2の値を、ある範囲の値に制限する。そのような例においては、第2の量子化パラメータQ2の値は、最小値より小さくはならず、最大値より大きくもならない。これらの最小値や最大値、範囲は、適切な手段によって量子化パラメータ推定器750に伝えられてもよい。または、これらは固定された値である例もあり、またビデオ情報のコンテンツに基づいて定められる例もありうる。
【０１６９】
実施例によっては、第４のオフセットO4も定義される。第４のオフセットO4の値は、ビデオ又は画像のコンテンツのビット深度に依存する。このため、第４のオフセットO4の値は、第2の量子化パラメータQ2に追加される。
【０１７０】
実施例によっては、クロスチャネル符号化されたブロックのための第2の量子化パラメータQ2（これはQPcbcrと表現されうる）は、第1のクロミナンスチャネルCbの量子化パラメータQPcbと、第2のクロミナンスチャネルCｒの量子化パラメータQPcrとの平均値として計算される。例えば次の通りである。QPcbcr = ( QPcb + QPcr ) / 2
【０１７１】
実施例によっては、クロスチャネル符号化されたブロックのための第2の量子化パラメータQPcbcrは、第1のクロミナンスチャネルCbの量子化パラメータQPcbと、第2のクロミナンスチャネルCｒの量子化パラメータQPcrと、少なくとも１つの既定の又は示された第5のオフセットの平均値として計算される。例えば次の通りである。QPcbcr = ( QPcb + QPcr ) / 2 + D
【０１７２】
なお、様々な異なるオフセットパラメータを紹介してきたが（即ち、第1から第5のオフセットパラメータを紹介してきたが）、全ての実施形態においてこれら全てのオフセットパラメータを使う必要があるわけではないことは注意されたい。実施例によっては、これらのオフセットパラメータのうちの1つ又はいくつかのみを使って第2の量子化パラメータを決定することがあり、実施例によっては、これらのオフセットパラメータを一つも使わずに第2の量子化パラメータを決定することもある。
【０１７３】
ビットストリーム中に一つ又は複数のオフセットが示されている場合、利用可能なオフセットのセットは、負の整数及びゼロのみを含むように制限されることが有利である。このような制限は、第1のクロミナンスチャネルCbの量子化パラメータQPcbと、第2のクロミナンスチャネルCｒの量子化パラメータQPcrの平均値が、ジョイント量子化パラメータの計算の基準値として使用される場合に有利である。というのも、ジョイント残差符号化は通常、残差符号化の数の２倍に作用し、小さな量子化パラメータによる細かい量子化は、大きな小さな量子化パラメータを使うよりも、統計的に優れた符号化効率をもたらしうるからである。
【０１７４】
次に、ビデオデコーダによりピクチャを復号する実施例を、図7bのブロック図及び図8bのフロー図を参照してより詳細に説明する。
【０１７５】
逆量子化パラメータ推定器760は、３つ（３つより多い場合もある）の色チャネルのうちの第１のチャネルのための第１の量子化パラメータQ1を決定する（922）。第1の量子化パラメータQ1は、ビットストリーム中で伝達され、デコーダに受信されてもよい。それによって逆量子化パラメータ推定器760は、受信した情報から、第1の量子化パラメータQ1の値を決定することができる。実施例によっては、逆量子化パラメータ推定器760は、第1の量子化パラメータQ1の値を、受信して再構成した、上記第1のチャネルの残差値に基づいて決定してもよい。
【０１７６】
実施例によっては、対応するエンコーダの実施例と同様に、受信して再構成した第1のチャネルの残差値に基づいて第1の量子化パラメータQ1を決定した場合、第1のチャネルのための中間逆量子化パラメータが計算されてもよく、その値が第1の量子化パラメータとして使用されてもよい。そして、中間逆量子化パラメータの値はある値範囲に制限される。中間逆量子化パラメータの値がその範囲外となったとき、当該値は前記範囲内に収まるようにクリップされ、クリップされた値が、第1のチャネルのための逆量子化パラメータとして使用される。
【０１７７】
逆量子化パラメータ推定器760はまた、少なくとも第1のオフセットO1の値を決定する（924）。
【０１７８】
第1のオフセットO1の値は、既定の値であってもよく、複数のブロックの間で共通の値であってもよい。又は、ブロック間で異なる値であり、ビットストリーム中で伝達されたものであってもよい。第1のオフセットO1の値がブロックによって異なる場合、その値の伝達は、ブロック毎に行われてもよい。その場合、逆量子化パラメータ推定器760は、第1のオフセットO1の値を、ブロック毎に決定する。一方、第1のオフセットO1の値が複数のブロック間で共通であるか、固定値である場合、その値の伝達は高次のシグナリングレベルで行われてもよい。そして、逆量子化パラメータ推定器760は、ブロック毎に第1のオフセットO1の値を決定する必要は無い。
【０１７９】
逆量子化パラメータ推定器760は、残差サンプル又は変換係数のブロック（このブロックは、上記少なくとも2つのチャネルからの残差サンプルを含む）のための第2の量子化パラメータを決定する（926）。実施例によっては、第2の量子化パラメータQ2は、第1の量子化パラメータQ1と、第1のオフセットO1の値とに基づいて決定される。例えば、第1のオフセットO1が、第1の量子化パラメータQ1に加算され、その加算処理の結果が第2の量子化パラメータQ2の値として使われる。第2の量子化パラメータQ2の決定処理は、各ブロックにおいて行われてもよい。又は少なくとも、第1の量子化パラメータの値Q1が変化したときに行われてもよい。
【０１８０】
残差復号モード選択部762は、残差サンプルまたは変換係数のブロックに、どの符号化モードが使われたかを決定する（928）。残差復号モード選択部762が、ブロックの符号化がクロスチャネル残差符号化モードであると判断すると、残差復号モード選択部762は、逆量子化部702，802に、残差サンプル又は変換係数のブロックの量子化パラメータとして、第2の量子化パラメータを使うように命令する（930）。逆量子化部702，802は、第２の量子化パラメータQ2を使って、残差サンプル又は変換係数のブロックの逆量子化処理を実行する（934）。量子化された、残差サンプル又は変換係数は、例えば、ビットストリームから再構成されることができる
【０１８１】
残差復号モード選択部762が、クロスチャネル残差符号化モードが使われていないと判断すると、残差復号モード選択部762は、逆量子化部702，802に、それぞれのチャネルのために提供されるそれぞれの量子化パラメータを使い（936）、それぞれのチャネルの残差の逆量子化処理にそれらを使うように指示する（934）。
【０１８２】
また、クロスチャネル残差符号化モードが使われたか否かの決定は、第１のオフセットO1を得る前に、また第２の量子化パラメータQ2を推定する前に、行われてもよい。従って、クロスチャネル残差符号化モードが使用されなかったことが決定された場合、逆量子化パラメータ推定部760は、必ずしも第１のオフセットO1を得る必要はなく、及び／又は、必ずしも第２の量子化パラメータの値Q2を推定する必要はない。
【０１８３】
実施例によっては、第１の量子化パラメータQ1は、２つ以上の量子化パラメータ又はこれら量子化パラメータの中間値の平均値や加重平均値として計算されることができる。第１のクロミナンスチャネルCb及び第2のクロミナンスチャネルCrに対してジョイント残差符号化が適用される場合、第１の量子化パラメータQ1は、例えば、第１のクロミナンスチャネルCb及び第2のクロミナンスチャネルCrの対応する量子化パラメータの平均値又は加重平均値として計算されることができる。
【０１８４】
実施例によっては、逆量子化パラメータ推定器760は、クロスチャネル残差符号化モードがブロックのために選択されたか否かの情報を受け取る。そしてその情報が、クロスチャネル残差符号化モードが選択されたことを示している場合のみ、逆量子化パラメータ推定器760は、クロスチャネル符号化されたブロックのために、第2の量子化パラメータQ2を決定する。
【０１８５】
量子化パラメータQ1やQ2がビットストリームから受信されない場合、デコーダはこれらを、符号化に関して前に説明したものと同様の原理によって再構成してもよい。言い換えると、第2の量子化パラメータQ2の値は、ある範囲の値に制限されてもよい。また、第2の量子化パラメータQ2のために、最小値及び/又は最大値が規定されていてもよい。そして逆量子化パラメータ推定器760は、はじめに決定した第2の量子化パラメータQ2の値が上記の制限を超えないように限定して、その最終的な値を決定してもよい。これらの最小値や最大値、範囲は、適切な手段によって逆量子化パラメータ推定器760に伝えられてもよい。または、これらは固定された値である例もあり、またビデオ情報のコンテンツに基づいて定められる例もありうる。
【０１８６】
図９は、様々な実施形態を実施可能な、マルチメディア通信システムの例を図示したものである。データソース1110がソース信号を提供する。この信号はアナログフォーマットや非圧縮デジタルフォーマット、圧縮デジタルフォーマット、又はこれらのフォーマットの組合せである。エンコーダ1120は、ソース信号のデータフォーマット変換やフィルタリングのような前処理部を含んでもよく、又はこのような前処理部に接続されてもよい。エンコーダ1120は、ソース信号を符号化メディアビットストリームに符号化する。ここで、復号されるべきビットストリームは、事実上あらゆるタイプのネットワーク内に配置されたリモートデバイスから直接的又は間接的に受取り可能であることに留意しなくてはならない。ビットストリームはローカルのハードウェア又はソフトウェアからも受け取ることができる。エンコーダ1120は音声と動画のような複数のメディアタイプの符号化が可能であってもよく、ソース信号における別々のメディアタイプを符号化するために複数のエンコーダ1120が必要であってもよい。エンコーダ1120は、グラフィックスとテキストのような合成により作られた入力を取得してもよく、合成メディアの符号化ビットストリームを生成可能であってもよい。以降では記述を簡略にするために、１つのメディアタイプによる符号化メディアビットストリームの処理のみを考慮する。しかし、典型的なリアルタイムブロードキャストサービスには複数のストリーム（通常、少なくとも１つの音声、動画、テキストサブタイトルのストリーム）が含まれることに留意しなくてはならない。また、こうしたシステムには多数のエンコーダが具備されるが、一般性を失わずに記述を簡略にするために、図では１つのエンコーダ1120のみが示されていることにも留意しなくてはならない。また更に、本願に含まれるテキストと実施例はある符号化処理を特定して記述しているが、当業者であれば同様の概念及び原理が対応する復号処理にも適用可能でありその逆も同様だと理解するであろうということも理解しなくてはならない。
【０１８７】
符号化メディアビットストリームはストレージ1130に送られてもよい。ストレージ1130は、符号化メディアビットストリームを格納する任意タイプの大容量メモリを備えてもよい。ストレージ1130における符号化メディアビットストリームのフォーマットは基本自立型ビットストリームフォーマット（elementary self-contained bitstream format）でもよく、１つ又は複数の符号化メディアビットストリームが１つのコンテナファイルにカプセル化されてもよい。１つ又は複数のメディアビットストリームがコンテナファイルにカプセル化される場合、１つ又は複数のメディアビットストリームをファイルに格納し、当該ファイルに格納されうるファイルフォーマットメタデータを作成するために、図示されないファイル生成器が使用されてもよい。エンコーダ1120又はデコーダ1130はファイル生成器を備えてもよく、あるいはエンコーダ1120とデコーダ1130の何れかにファイル生成器が装備されてもよい。システムによっては「ライブ」で動作するものもある。すなわち、ストレージを省き、エンコーダ1120からの符号化メディアビットストリームを直接送信機1140に伝送する。次いで、符号化メディアビットストリームは送信機1140に伝送されてもよい。送信機は必要に応じてサーバとも呼ばれる。伝送に用いられるフォーマットは基本自立型ビットストリームフォーマットやパケットストリームフォーマットでもよく、１つ又は複数の符号化メディアビットストリームが１つのコンテナファイルにカプセル化されてもよい。エンコーダ1120とストレージ1130、サーバ1140は同一の物理的デバイスに格納されもよく、別々のデバイスに格納されてもよい。エンコーダ1120とサーバ1140はライブリアルタイムコンテンツを処理してもよい。この場合、符号化メディアビットストリームは通常永久保存されず、処理遅延や伝送遅延、符号化メディアビットレートの変動を均すために、コンテンツエンコーダ1120及び／又はサーバ1140に短時間だけバッファされる。
【０１８８】
サーバ1140は、符号化メディアビットストリームを通信プロトコル層で送信してもよい。この層には、リアルタイム・トランスポート・プロトコル（RTP）やユーザ・データグラム・プロトコル（UDP）、ハイパーテキスト・トランスファー・プロトコル（HTTP)、トランスミッション・コントロール・プロトコル（TCP）、インターネット プロトコル（IP）、その他のプロトコルの又は複数が含まれてもよい。通信プロトコル層がパケット指向の場合、サーバ1140は符号化メディアビットストリームをパケットにカプセル化する。例えば、RTPが用いられる場合、サーバ1140は、RTPペイロードフォーマットに従って符号化メディアビットストリームをRTPパケットにカプセル化する。通常、各メデイアタイプは専用のRTPペイロードフォーマットを有する。ここで、システムは複数のサーバ1140を備えることができるが、簡略化のため以降の記述では１つのサーバ1140のみを考慮していることに留意しなくてはならない。
【０１８９】
ストレージ1130又は送信機1140へのデータ入力のためにメディアコンテンツがコンテナファイルにカプセル化される場合、送信機1140は「送信ファイルパーサ」（図示せず）を備えてもよく、動作可能であるように取り付けられてもよい。具体的には、コンテナファイルがそのように伝送されず、カプセル化された符号化メディアビットストリームの少なくとも１つが通信プロトコルを介して伝送用にカプセル化される場合、送信ファイルパーサは、符号化メディアビットストリームから通信プロトコルを介して運ばれるのに適切な部分を配置する。送信ファイルパーサは、パケットヘッダやペイロード等、通信プロトコル用の正しいフォーマットの作成を支援してもよい。マルチメディアコンテナファイルには、通信プロトコルで含められた符号化メディアビットストリームの少なくとも１つをカプセル化するために、ISOベースメディアファイルフォーマットのヒントトラックのようなカプセル化指示情報が含まれてもよい。
【０１９０】
サーバ1140は通信ネットワークを通じてゲートウェイ1150に接続されていてもよく、そうでなくてもよい。ゲートウェイは、ミドルボックスと称されることがある。システムは複数のゲートウェイや同様の要素を有することができるが、簡略化のため以降の説明では、ゲートウェイ1150が1つだけの例を取り上げる。ゲートウェイ1150は様々なタイプの機能を実行することができる。こうした機能には、パケットやストリーム、リソースの保存（キャッシング）や、自発的・積極的なメディアデータのプリフェッチ、ある通信プロトコル層に従うパケットストリームを別の通信プロトコル層に従うものに変換すること、データストリームのマージ及びフォーク、ダウンリンク及び／又は受信機の容量に応じたデータストリームの操作等がある。データストリームの操作とは、例えば現在のダウンリンクネットワーク条件に応じた転送ストリームのビットレートの制御等である。ゲートウェイ1150の例には、多拠点会議制御ユニット（Multipoint conference Control Unit; MCU）や、テレビ電話の回線交換・パケット交換間ゲートウェイ、PoC（Push-to-talk over Cellular）、DVB-H（digital video broadcasting-handheld）システムでのIPエンキャプスレータ（IP encapsulator）、ブロードキャスト伝送をローカルで家庭の無線ネットワークに転送するセットトップボックス、又は他のデバイスが含まれる。ゲートウェイ1150は、RTPが用いられる場合はRTP混合器又はRTP変換器とも呼ばれてもよく、通常RTP接続のエンドポイントとして動作してもよい。ゲートウェイ1150の代わりに、またゲートウェイ1150に加えて、システムは、ビデオシーケンス又はビットストリームに集中するスプライサー（Splicer）を備えてもよい。
【０１９１】
システムは１つ又は複数の受信機1160を備える。受信機は通常、送信信号を受信して復調し、符号化メディアビットストリームにデカプセル化（de-capsulating）することができる。符号化メディアビットストリームは記憶ストレージ1170に送られてもよい。記憶ストレージ1170は、符号化メディアビットストリームを格納する任意タイプの大容量メモリを備えてもよい。あるいは又は加えて、記憶ストレージ1170は、ランダムアクセスメモリ等の計算メモリを備えてもよい。記憶ストレージ1170における符号化メディアビットストリームのフォーマットは基本自立型ビットストリームフォーマット（elementary self-contained bitstream format）でもよく、１つ又は複数の符号化メディアビットストリームが１つのコンテナファイルにカプセル化されてもよい。音声ストリームと動画ストリームといった複数の符号化メディアビットストリームが互いに関連し合って存在する場合、通常コンテナファイルが使用され、受信機1160は、入力ストリームからコンテナファイルを生成するコンテナファイル生成器を備えるか、それに取り付けられる。システムによっては「ライブ」で動作するものもある。すなわち、記憶ストレージ1170を省き、受信機1160からの符号化メディアビットストリームを直接デコーダ1180に伝送する。システムによっては、記録済みストリームの直近10分間の抜粋のような記録済みストリームの最新部分が記憶ストレージ1170に保持され、それ以前に記録されたデータが記憶ストレージ1170から削除される。
【０１９２】
符号化メディアビットストリームは記憶ストレージ1170からデコーダ1180に送られてもよい。音声ストリームと動画ストリームといった複数の符号化メディアビットストリームが互いに関連し合って存在し、コンテナファイルにカプセル化される場合や、単一のメディアビットストリームが（例えばアクセスを容易にするために）コンテナファイルにカプセル化される場合、このコンテナファイルから各符号化メディアビットストリームをデカプセル化するために、ファイルパーサ（図示せず）が使用される。記憶ストレージ1170又はデコーダ1180はファイルパーサを備えてもよく、あるいは記憶ストレージ1170とデコーダ1180の何れかにファイルパーサが装備されてもよい。また、こうしたシステムには多数のデコーダが具備されるが、一般性を失わずに記述を簡略にするために、ここでは１つのデコーダ1170のみが説明されていることにも留意しなくてはならない。
【０１９３】
符号化メディアビットストリームはデコーダ1170によって更に処理され、デコーダの出力が１つ又は複数の非圧縮メディアストリームでもよい。最後に、レンダラ1190は、非圧縮メディアストリームをラウドスピーカやディスプレイ等に再生してもよい。受信機1160と記憶ストレージ1170、デコーダ1170、レンダラ1190は同一の物理的デバイスに格納されもよく、別々のデバイスに格納されてもよい。
【０１９４】
以上の説明においては、"表現（representation ）"及び／又は"ビットストリーム（bitstream）"との用語に関連して実施形態を説明してきた。しかし、"ビットストリーム"との用語の代わりに"表現"を使ったり、"表現"の代わりに"ビットストリーム"を使ったり、"ビットストリーム"や"表現"の代わりに"基本ストリーム（elementary stream）との用語を使うなど、似たような用語を使っても同様に、実施形態を説明できうることに注意されたい。
【０１９５】
前述において、エンコーダを参照して例示的実施形態が記述されていたことに対して、結果として得られるビット列とデコーダに対応する要素が備わることも理解されるべきである。同様に、デコーダを参照して例示的実施形態が記述されていたことに対して、デコーダによって復号されるビット列を生成する構成および／またはコンピュータプログラムをエンコーダが備えうることも理解されるべきである。
【０１９６】
前述された本発明の実施形態では、そこに含まれる処理の理解を助ける目的で、別々のエンコーダ装置とデコーダ装置に関するコーデックを説明しているが、こうした装置やその構造、動作が単一のエンコーダ・デコーダ装置／構造／動作として実装されうる点も理解されよう。また、エンコーダとデコーダが共通要素の一部又は全部を共有してもよい。
【０１９７】
前述の実施例は電子デバイスのコーデックにおいて動作する本発明の実施形態を記述しているが、請求項に特定される発明が、任意のビデオコーデックの一部として実装され得ることを理解されたい。したがって例えば、本発明の実施形態は、固定または有線の通信経路を通じてビデオ符号化を実装し得るビデオコーデックに実装されてもよい。
【０１９８】
そしてユーザ装置は、前述の本発明の実施形態に記述されるこうしたビデオコーデックを備えてもよい。「ユーザ機器」との語句は、如何なる種類の無線ユーザ機器を表してもよく、例えば携帯電話やポータブルデータ処理装置、ポータブルＷｅｂブラウザであってもよい。
【０１９９】
さらに、地上波公共移動通信ネットワーク（public land mobile network；PLMN）が、前述のビデオコーデックを含んでもよい。
【０２００】
一般に、様々な実施形態が、ハードウェアまたは特定用途向け回路、ソフトウェア、ロジック、またはそれらの組み合わせで実装されてもよい。例えば、一部の態様をハードウェアに、他の態様をコントローラ、マイクロプロセッサ、またはその他のコンピューティングデバイスによって実行可能なファームウェアやソフトウェアに実装してもよいが、本発明はこれらに限定されない。本発明の各種態様は、ブロック図、フローチャート、その他の図式を用いて例示、説明されたとしても、本明細書に記載されたこれらのブロック、装置、システム、技術、または方法は、ハードウェア、ソフトウェア、ファームウェア、専用回路または論理回路、汎用ハードウェアまたはコントローラまたはその他のコンピューティングデバイス、またはこれらの何らかの組合せ（ただしこれらに限定されない）によって実装されてもよいことが理解されよう。
【０２０１】
そして本発明の実施形態は、移動デバイスのデータプロセッサによって実行可能なコンピュータソフトウェア，ハードウェア，またはソフトウェアとハードウェアの組合せによって実装されてもよい。コンピュータソフトウェアは、エンコーダやデコーダのような関係のある装置に、本発明を実施させうる。例えば、デバイスは、データの処理・送受信を行う回路及び電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備え、プロセッサは、コンピュータプログラムコードを実行すると、デバイスに本実施形態の構成を遂行させてもよい。また更に、サーバ等のネットワーク装置は、データの処理・送受信を行う回路および電子装置と、メモリにコンピュータプログラムコードと、プロセッサを備えてもよい。プロセッサは、コンピュータプログラムコードを実行すると、ネットワーク装置に本実施形態の構成を遂行させる。
【０２０２】
種々の実施形態は、コンピュータによって実行されるとこうした種々の実施形態を実行する命令を用いてコード化された非一時的コンピュータ可読媒体を援用して実装されてもよい。
【０２０３】
必要に応じて、本出願で開示した様々な機能が異なる順序で、及び／又は同時に実行されてもよい。さらに必要に応じて、前述の機能の1つ又は複数が任意選択できたり、統合されたりしてもよい。また更に、本実施形態は復号方法及びデコーダに関しても開示される。ただし本開示の教示は、符号化単位の符号化と、符号化単位内におけるエスケープ符号化の存在に関する標示の符号化を実行するように構成されるエンコーダにも適用可能である。
【０２０４】
またこの点に関して、添付する図面に示される論理フローの任意のブロックが、プログラムのステップや相互接続された論理回路・ブロック・機能、またはプログラムのステップ、論理回路・ブロック・機能の組合せを表現してもよいことに留意されたい。ソフトウェアは、メモリチップ等の物理メディアやプロセッサ内に実装されるメモリブロック，ハードディスクやフレキシブルディスク等の磁気メディア，DVDやそのデータ異形態であるCD等の光学式メディアに格納されてもよい。
【０２０５】
メモリは、ローカルな技術環境に適したあらゆる種類のものであってよい。例えば、半導体ベースのメモリデバイス，磁気メモリデバイス・システム，光学式メモリデバイス・システム，固定式・移動式メモリ等の様々な適合するデータ格納技術を用いて実装されてもよい。データプロセッサは、ローカルな技術環境に適したあらゆる種類のものであってよく、非限定的な例として、一つ以上の汎用コンピュータ，特定用途向けコンピュータ，マイクロプロセッサ，デジタル信号プロセッサ（DSP），マルチコアプロセッサ・アーキテクチャに基づくプロセッサを含んでもよい。
【０２０６】
本発明の実施形態は、集積回路モジュールのような、様々な要素で実施されることもできる集積回路の設計は、概して高度に自動化されたプロセスである。論理レベルの設計を、半導体基板上にエッチングおよび形成するための半導体回路設計に変換する複雑で強力なソフトウェアツールが利用可能である。
【０２０７】
カリフォルニア州マウンテンビューのSynopsys, Incや、カリフォルニア州サンノゼのCadence Designのような業者が提供するプログラムは、定評のある設計ルールと実績のある設計モジュールのライブラリに基づいて、半導体チップ上に導電経路や要素を配する。半導体回路の設計が完了すると、それは、OpusやGDSII等の標準的な電子フォーマットの形で半導体製造設備または、いわゆるfabに送られる。
【０２０８】
前述の説明は、本発明の非限定的な実施例を十分かつ詳細に記述している。しかし、こうした前述の説明を、添付する図面および特許請求の範囲と併せて読むと、種々の変更および適応が可能であることは、当該技術分野の当業者には明らかであろう。さらに、本発明が教示するこうした事項のすべておよび同様の変形は、本発明の範囲内にある。
【０２０９】
本発明の実施形態はいくつかの利点が有り得る。例えば、高次の動きベクトルフィールドに必要な追加情報を伝達するビットレート効率的な方法を提供することにより、動き補償予測の正確性が向上しうる。
【図１】
2020137111.tif 000004
【図２】
2020137111.tif 000005
【図３】
2020137111.tif 000006
【図４】
2020137111.tif 000007
【図５】
2020137111.tif 000008
【図６】
2020137111.tif 000009
【図７ａ】
2020137111.tif 000010
【図７ｂ】
2020137111.tif 000011
【図８ａ】
2020137111.tif 000012
【図８ｂ】
2020137111.tif 000013
【図９】
2020137111.tif 000014
【外国語明細書】
2020137111000001.pdf