(57)【要約】  ビデオデコーダは、複数の参照ピクチャと、異なる色特性を有する少なくとも２つのデジタルビデオ・フォーマットのうちの１つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を適用する。デコーダは、異なるデジタルビデオ・フォーマットにおいて使用される様々な色特性（例えば、解像度、量子化ビット深度、および色域）の取り扱いを改良するために、符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを提供するビット深度スケーリング演算子を含む。
2016519854.tif 000002
【特許請求の範囲】
【請求項１】
複数の参照ピクチャと、異なるビット深度を有する少なくとも２つのデジタルビデオ・フォーマットのうちの１つに対応するピクチャとを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、
１つのレイヤ間参照ピクチャセットを復号するステップと、
１つのリサンプリングされたレイヤ間参照ピクチャを取得するステップと、
現ピクチャの前記ビット深度および前記参照ピクチャの前記ビット深度をもつ前記リサンプリングされたレイヤ間参照ピクチャを用いて前記現ピクチャを導出するステップと
を備える、ビデオ復号方法。
【請求項２】
現ピクチャを前記導出するステップは、前記参照ピクチャのビット深度スケーリングを含む、請求項１に記載の方法。
【請求項３】
前記ビット深度スケーリングは、前記現ピクチャおよび前記参照ピクチャの前記ビット深度間の差を用いる、請求項２に記載の方法。
【請求項４】
複数の参照ピクチャと、異なる色特性を有する少なくとも２つのデジタルビデオ・フォーマットのうちの１つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、
前記符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、前記符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングと
を備える、ビデオ復号方法。
【請求項５】
異なる色特性を有する前記少なくとも２つのデジタルビデオ・フォーマットは、異なる符号化されたビデオレイヤに対応し、前記複数の参照ピクチャは、レイヤ間参照ピクチャを含み、前記方法は、前記レイヤ間参照ピクチャをビット深度スケーリングすることを含む、請求項４に記載の方法。
【請求項６】
複数の参照ピクチャと、異なる色特性を有する少なくとも２つのデジタルビデオ・フォーマットのうちの１つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオデコーダにおいて、改良は、
前記符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、前記符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを提供するビット深度スケーリング演算子
を備える、ビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、一般にビデオ符号化に関し、より詳しくは、ビデオ符号化のための色空間予測に関する。
【背景技術】
【０００２】
多くのシステムは、ビデオ符号化規格を実装して、限られた帯域幅および／または限られた記憶容量をもつチャネル上でビデオデータを送信すべく圧縮するためにビデオエンコーダを含む。これらのビデオ符号化規格は、フレームをより効果的に符号化するために、複数の符号化段階、例えば、イントラ予測、空間領域から周波数領域への変換、周波数領域から空間領域への逆変換、量子化、エントロピー符号化、動き推定、および動き補償を含むことができる。
【０００３】
従来のデジタル高精細度（ＨＤ：Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）コンテンツは、ビデオコンテンツに関する解像度、色域、ガンマ、および量子化ビット深度を規定するビデオ符号化規格、国際電気通信連合無線通信部門（ＩＴＵ−Ｒ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｅｃｔｏｒ）勧告ＢＴ．７０９により記述されるフォーマットで表現できる。より高解像度のビデオ規格、例えば、ＩＴＵ−Ｒ超高精細度テレビ（ＵＨＤＴＶ：Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）は、ＢＴ．７０９と比較して、高い解像度を有するのに加えて、広い色域と増加した量子化ビット深度とを有することができ、その出現に伴い、より低解像度のＨＤコンテンツに基づく多くのレガシーシステムでは圧縮されたＵＨＤＴＶコンテンツを利用することができない。これらレガシーシステムのユーザビリティを維持するための現在の解決法の１つは、圧縮されたＨＤコンテンツおよび圧縮されたＵＨＤＴＶコンテンツの両方を別々にサイマルキャストすることを含む。サイマルキャストを受信したレガシーシステムは、圧縮されたＨＤコンテンツを復号して利用する能力を有するが、基礎をなすコンテンツが同じ複数のビットストリームを圧縮してサイマルキャストすることは、処理、帯域幅、および記憶リソースを非効率的に用いることになりかねない。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の一態様は、ビデオ復号方法を提供し、複数の参照ピクチャと、異なるビット深度を有する少なくとも２つのデジタルビデオ・フォーマットのうちの１つに対応するピクチャとを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、１つのレイヤ間参照ピクチャセットを復号するステップと、１つのリサンプリングされたレイヤ間参照ピクチャを取得するステップと、現ピクチャのビット深度および参照ピクチャのビット深度をもつ前記リサンプリングされたレイヤ間参照ピクチャを用いて現ピクチャを導出するステップとを含む。
【０００５】
本発明の一態様は、ビデオ復号方法を提供し、複数の参照ピクチャと、異なる色特性を有する少なくとも２つのデジタルビデオ・フォーマットのうちの１つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオ復号方法において、改良は、符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを含む。
【０００６】
本発明の別の態様は、ビデオデコーダを提供し、複数の参照ピクチャと、異なる色特性を有する少なくとも２つのデジタルビデオ・フォーマットのうちの１つに対応する複数のピクチャ・サンプル値とを含む、符号化されたビデオの復号を提供するビデオデコーダにおいて、改良は、符号化されたビデオにおける複数の参照ピクチャのビット深度スケーリングと、符号化されたビデオにおける複数のピクチャ・サンプル値のビット深度スケーリングとを提供する、１つのビット深度スケーリング演算子を含む。
【図面の簡単な説明】
【０００７】
【図１】ビデオ符号化システムのブロック図の例である。
【図２】ＢＴ．７０９ビデオ規格およびＵＨＤＴＶビデオ規格においてサポートされる色域を示す例のグラフ２００である。
【図３Ａ】図１に示されるビデオエンコーダのブロック図の例である。
【図３Ｂ】図１に示されるビデオエンコーダのブロック図の例である。
【図４】図３Ａおよび３Ｂに示される色空間予測器のブロック図の例である。
【図５Ａ】図１に示されるビデオデコーダのブロック図の例である。
【図５Ｂ】図１に示されるビデオデコーダのブロック図の例である。
【図６】図５Ａおよび５Ｂに示される色空間予測器のブロック図の例である。
【図７】図１に示されるビデオエンコーダでの色空間予測に関する例の動作フローチャートである。
【図８】図１に示されるビデオデコーダでの色空間予測に関する例の動作フローチャートである。
【図９】図１に示されるビデオデコーダでの色空間予測に関する別の例の動作フロー図である。
【図１０Ａ】色ビット深度スケーリングを含むビデオエンコーダのブロック図の例である。
【図１０Ｂ】色ビット深度スケーリングを含むビデオエンコーダのブロック図の例である。
【図１１】ビット深度スケーリングを含む符号化方法のフロー図である。
【図１２Ａ】色ビット深度スケーリングを含むビデオデコーダのブロック図の例である。
【図１２Ｂ】色ビット深度スケーリングを含むビデオデコーダのブロック図の例である。
【図１３】ビット深度スケーリングを含む復号方法のフロー図である。
【発明を実施するための形態】
【０００８】
図１は、ビデオ符号化システム１００のブロック図の例である。ビデオ符号化システム１００は、ビデオストリーム、例えば、ＢＴ．２０２０として規格化された超高精細度テレビジョン（ＵＨＤＴＶ）ビデオストリーム１０２、およびＢＴ．７０９ビデオストリーム１０４を受信するため、ならびにこれらのビデオストリームに基づいて符号化されたビデオストリーム１１２を生成するためのビデオエンコーダ３００を含むことができる。ビデオエンコーダ３００は、符号化されたビデオストリーム１１２をビデオデコーダ５００へ送信できる。ビデオデコーダ５００は、復号されたＵＨＤＴＶビデオストリーム１２２および／または復号されたＢＴ．７０９ビデオストリーム１２４を生成するために符号化されたビデオストリーム１１２を復号できる。
【０００９】
ＵＨＤＴＶビデオストリーム１０２は、ＢＴ．７０９ビデオストリーム１０４と比較して異なる解像度、異なる量子化ビット深度を有し、異なる色域を表現できる。例えば、ＵＨＤＴＶまたはＢＴ．２０２０ビデオ規格は、４ｋ（３８４０×２１６０画素）もしくは８ｋ（７６８０×４３２０画素）解像度および１０もしくは１２ビット量子化ビット深度をサポートできるフォーマット勧告を有する。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできるフォーマット勧告を有する。ＵＨＤＴＶフォーマット勧告は、ＢＴ．７０９フォーマット勧告より広い色域もサポートできる。ＵＨＤＴＶビデオ規格とＢＴ．７０９ビデオ規格との間の色域差の実施形態が図２を参照して以下にさらに詳細に図示され、記載されるであろう。
【００１０】
ビデオエンコーダ３００は、エンハンスメントレイヤ・エンコーダ３０２およびベースレイヤ・エンコーダ３０４を含むことができる。ベースレイヤ・エンコーダ３０４は、高精細度（ＨＤ）コンテンツのビデオ符号化を、例えば、ムービング・ピクチャ・エクスパーツ・グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２規格を実装したコーデックなどを用いて実装できる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶコンテンツのビデオ符号化を実装できる。いくつかの実施形態において、エンハンスメントレイヤ・エンコーダ３０２は、ベースレイヤ・エンコーダ３０２で符号化されたＢＴ．７０９画像フレームからの動き補償予測、フレーム内予測、およびスケーリングされた色予測を用いて、ＵＨＤＴＶ画像フレームの少なくとも一部分の予測を生成することにより、ＵＨＤＴＶビデオフレームを符号化できる。ビデオエンコーダ３００は、予測を利用して、予測残差、例えば、予測とＵＨＤＴＶ画像フレームとの間の差を生成し、この予測残差を符号化されたビデオストリーム１１２中に符号化できる。
【００１１】
いくつかの実施形態において、ビデオエンコーダ３００がＢＴ．７０９画像フレームからのスケーリングされた色予測を利用するときに、ビデオエンコーダ３００は、色予測パラメータ１１４をビデオデコーダ５００へ送信できる。色予測パラメータ１１４は、スケーリングされた色予測を生成するためにビデオエンコーダ３００によって利用されたパラメータを含むことができる。例えば、ビデオエンコーダ３００は、それぞれが異なるパラメータ、例えば、チャネルごとの利得パラメータもしくはチャネルごとの利得パラメータおよびオフセット・パラメータを有する独立チャネル予測またはアフィン行列ベースの色予測を通じて、スケーリングされた色予測を生成できる。色予測パラメータ１１４は、ビデオエンコーダ３００によって利用された独立チャネル予測またはアフィン行列ベースの色予測に対応するパラメータを含むことができる。いくつかの実施形態において、エンコーダ３００は、色予測パラメータ１１４を符号化されたビデオストリーム１１２の規範的な部分に、例えば、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、ピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、または符号化されたビデオストリーム１１２の規範的な部分の別のより低レベルの区分に含むことができる。いくつかの実施形態では、ビデオエンコーダ３００は、デフォルトの色予測パラメータ１１４を利用でき、このパラメータがビデオデコーダ５００にプリセットされて、ビデオエンコーダ３００が色予測パラメータ１１４をビデオデコーダ５００へ送信する必要性が軽減される。ビデオエンコーダ３００の実施形態が以下にさらに詳細に記載されるであろう。
【００１２】
ビデオデコーダ５００は、エンハンスメントレイヤ・デコーダ５０２およびベースレイヤ・デコーダ５０４を含むことができる。ベースレイヤ・デコーダ５０４は、高精細度（ＨＤ）コンテンツのビデオ復号を、例えば、ムービング・ピクチャ・エクスパーツ・グループ（ＭＰＥＧ）−２規格を実装したコーデックなどを用いて実装でき、復号されたＢＴ．７０９ビデオストリーム１２４を生成するために符号化されたビデオストリーム１１２を復号する。エンハンスメントレイヤ・デコーダ５０２は、ＵＨＤＴＶコンテンツのビデオ復号を実装でき、復号されたＵＨＤＴＶビデオストリーム１２２を生成するために符号化されたビデオストリーム１１２を復号する。
【００１３】
いくつかの実施形態において、エンハンスメントレイヤ・デコーダ５０２は、符号化されたビデオストリーム１１２の少なくとも一部分をＵＨＤＴＶビデオフレームの予測残差に復号できる。エンハンスメントレイヤ・デコーダ５０２は、符号化処理の間にビデオエンコーダ３００によって生成されたＵＨＤＴＶ画像フレームと同じかまたは同様の予測を生成でき、次に、復号されたＵＨＤＴＶビデオストリーム１２２を生成するためにその予測を予測残差と結合させることができる。エンハンスメントレイヤ・デコーダ５０２は、ベースレイヤ・デコーダ５０４で復号されたＢＴ．７０９画像フレームからの動き補償予測、フレーム内予測、またはスケーリングされた色予測を通じて、ＵＨＤＴＶ画像フレームの予測を生成できる。ビデオエンコーダ３００の実施形態が以下にさらに詳細に記載されるであろう。
【００１４】
図１は、ビデオエンコーダ３００およびビデオデコーダ５００を用いたＵＨＤＴＶビデオストリームおよびＢＴ．７０９ビデオストリームの色予測ベースのビデオ符号化を示すが、いくつかの実施形態では、色予測ベースのビデオ符号化を用いて様々な色域を表現する任意のビデオストリームを符号化または復号することができる。
【００１５】
図２は、ＢＴ．７０９ビデオ規格およびＵＨＤＴＶビデオ規格でサポートされる色域を示す例のグラフ２００である。図２を参照すると、グラフ２００は、国際照明委員会（ＣＩＥ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｍｍｉｓｓｉｏｎ  ｏｎ  Ｉｌｌｕｍｉｎａｔｉｏｎ）１９３１ｘｙ色差（ｃｈｒｏｍｉｎａｎｃｅ）図フォーマットでの色域の２次元表現を示す。グラフ２００は、１９３１年にＣＩＥによって確定された、標準的な人間の観測者が見ることができる色の範囲を表すための標準観測者色域２１０を含む。グラフ２００は、ＵＨＤＴＶビデオ規格がサポートされる色の範囲を表すためのＵＨＤＴＶ色域２２０を含む。グラフ２００は、ＵＨＤＴＶ色域２２０より狭い、ＢＴ．７０９ビデオ規格がサポートされる色の範囲を表すためのＢＴ．７０９色域２３０を含む。このグラフは、白色２４０を表すポイントも含み、このポイントは、標準観測者色域２１０、ＵＨＤＴＶ色域２２０、およびＢＴ．７０９色域２３０に含まれる。
【００１６】
図３Ａおよび３Ｂは、図１に示されるビデオエンコーダ３００のブロック図の例である。図３Ａを参照すると、ビデオエンコーダ３００は、エンハンスメントレイヤ・エンコーダ３０２およびベースレイヤ・エンコーダ３０４を含むことができる。ベースレイヤ・エンコーダ３０４は、ＨＤ画像フレームを有するＢＴ．７０９ビデオストリーム１０４を受信するためのビデオ入力３６２を含むことができる。ベースレイヤ・エンコーダ３０４は、ビデオ入力３６２から受信されたＢＴ．７０９ビデオストリーム１０４を符号化するための符号化予測ループ３６４を含み、ＢＴ．７０９ビデオストリームの再構成されたフレームを参照バッファ３６８に記憶できる。参照バッファ３６８は、同じフレームの他の部分、またはＢＴ．７０９ビデオストリーム１０４の他のフレームの符号化に用いるために、再構成されたＢＴ．７０９画像フレームを符号化予測ループ３６４へ戻すことができる。参照バッファ３６８は、符号化予測ループ３６４によって符号化された画像フレームを記憶できる。ベースレイヤ・エンコーダ３０４は、符号化予測ループ３６４からのＢＴ．７０９ビデオストリームの符号化バージョンに対してエントロピー符号化演算を行うためのエントロピー符号化機能３６６を含み、エントロピー符号化されたストリームを出力インターフェース３８０へ供給できる。
【００１７】
エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームを有するＵＨＤＴＶビデオストリーム１０２を受信するためのビデオ入力３１０を含むことができる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームの予測を生成し、この予測を利用して、予測残差、例えば、結合機能３１５を用いて確定される予測とＵＨＤＴＶ画像フレームとの間の差を生成できる。いくつかの実施形態において、結合機能３１５は、ＵＨＤＴＶ画像フレームの予測から予測残差を生成するために、重み付け、例えば、線形重み付けを含むことができる。エンハンスメントレイヤ・エンコーダ３０２は、変換および量子化機能３２０を用いて予測残差を変換および量子化できる。エントロピー符号化機能３３０は、変換および量子化機能３２０の出力を符号化して、エントロピー符号化されたストリームを出力インターフェース３８０へ供給できる。出力インターフェース３８０は、符号化されたビデオストリーム１１２を生成するために、エントロピー符号化機能３６６および３３０からのエントロピー符号化されたストリームを多重化できる。
【００１８】
エンハンスメントレイヤ・エンコーダ３０２は、それぞれがＵＨＤＴＶ画像フレームの予測を生成できる色空間予測器４００、動き補償予測機能３５４、およびイントラ予測器３５６を含むことができる。エンハンスメントレイヤ・エンコーダ３０２は、結合機能３１５へ供給するために色空間予測器４００、動き補償予測機能３５４、および／またはイントラ予測器３５６によって生成された予測を選択するための予測選択機能３５０を含むことができる。
【００１９】
いくつかの実施形態において、動き補償予測機能３５４およびイントラ予測器３５６は、エンハンスメントレイヤ・エンコーダ３０２によって前に符号化され、かつ復号されたＵＨＤＴＶ画像フレームに基づいてそれらの各予測を生成できる。例えば、予測残差が変換および量子化された後、変換および量子化機能３２０は、変換および量子化された予測残差をスケーリングおよび逆変換機能３２２へ供給でき、結合機能３２５ではその結果が予測残差を生成するために利用される予測と結合され、復号されたＵＨＤＴＶ画像フレームを生成できる。結合機能３２５は、復号されたＵＨＤＴＶ画像フレームをデブロッキング機能３５１へ供給でき、デブロッキング機能３５１は、復号されたＵＨＤＴＶ画像フレームを参照バッファ３４０に記憶でき、この参照バッファは、復号されたＵＨＤＴＶ画像フレームを動き補償予測機能３５４およびイントラ予測器３５６による使用のために保持する。いくつかの実施形態において、デブロッキング機能３５１は、例えば、復号されたＵＨＤＴＶ画像フレームに対応する画像におけるマクロブロック間の鋭いエッジを平滑にするために、復号されたＵＨＤＴＶ画像フレームをフィルタできる。
【００２０】
動き補償予測機能３５４は、１つ以上の復号されたＵＨＤＴＶ画像フレームを参照バッファ３４０から受信できる。動き補償予測機能３５４は、参照バッファ３４０からの１つ以上の復号されたＵＨＤＴＶ画像フレームとＵＨＤＴＶ画像フレームとの間の画像の動きに基づいて現ＵＨＤＴＶ画像フレームの予測を生成できる。
【００２１】
イントラ予測器３５６は、現ＵＨＤＴＶ画像フレームの第１の部分を参照バッファ３４０から受信できる。イントラ予測器３５６は、エンハンスメントレイヤ・エンコーダ３０２によって前に符号化され、かつ復号された現ＵＨＤＴＶ画像フレームの少なくとも第２の部分に基づいて現ＵＨＤＴＶ画像フレームの第１の部分に対応する予測を生成できる。
【００２２】
色空間予測器４００は、ベースレイヤ・エンコーダ３０４によって前に符号化されたＢＴ．７０９画像フレームに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、ベースレイヤ・エンコーダ３０４における参照バッファ３６８は、再構成されたＢＴ．７０９画像フレームを解像度アップスケーリング機能３７０へ供給でき、この機能は、再構成されたＢＴ．７０９画像フレームの解像度をＵＨＤＴＶビデオストリーム１０２に対応する解像度へスケーリングできる。解像度アップスケーリング機能３７０は、再構成されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンを色空間予測器４００へ供給できる。色空間予測器は、再構成されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、色空間予測器４００は、再構成されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンのＹＵＶ色空間を、ＵＨＤＴＶビデオストリーム１０２によってサポートされるＹＵＶ表現に対応するようにスケーリングできる。
【００２３】
色空間予測器４００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間を、ＵＨＤＴＶビデオストリーム１０２によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。独立チャネル予測は、ＢＴ．７０９画像フレームのためのＹＵＶ色空間のそれぞれの部分を別々にＵＨＤＴＶ画像フレームの予測へ変換することを含むことができる。Ｙ部分または輝度は、数式１：
ＹＵＨＤＴＶ＝ｇ１・ＹＢＴ．７０９＋ｏ１
に従ってスケーリングできる。
【００２４】
Ｕ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数式２：
ＵＵＨＤＴＶ＝ｇ２・ＵＢＴ．７０９＋ｏ２
に従ってスケーリングできる。
【００２５】
Ｖ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数式３：
ＶＵＨＤＴＶ＝ｇ３・ＶＢＴ．７０９＋ｏ３
に従ってスケーリングできる。
【００２６】
利得パラメータｇ１、ｇ２およびｇ３ならびにオフセット・パラメータｏ１、ｏ２およびｏ３は、ＢＴ．７０９ビデオ符号化規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された利得パラメータｇ１、ｇ２およびｇ３ならびにオフセット・パラメータｏ１、ｏ２およびｏ３を、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００２７】
いくつかの実施形態において、独立チャネル予測は、利得パラメータｇ１、ｇ２およびｇ３、ならびにゼロ・パラメータを含むことができる。Ｙ部分または輝度は、数式４：
ＹＵＨＤＴＶ＝ｇ１・（ＹＢＴ．７０９−ＹｚｅｒｏＢＴ．７０９）＋ＹｚｅｒｏＵＨＤＴＶ
に従ってスケーリングできる。
【００２８】
Ｕ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数式５：
ＵＵＨＤＴＶ＝ｇ２・（ＵＢＴ．７０９−ＵｚｅｒｏＢＴ．７０９）＋ＵｚｅｒｏＵＨＤＴＶ
に従ってスケーリングできる。
【００２９】
Ｖ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数式６：
ＶＵＨＤＴＶ＝ｇ３・（ＶＢＴ．７０９−ＶｚｅｒｏＢＴ．７０９）＋ＶｚｅｒｏＵＨＤＴＶ
に従ってスケーリングできる。
【００３０】
利得パラメータｇ１、ｇ２およびｇ３は、ＢＴ．７０９ビデオ符号化規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された利得パラメータｇ１、ｇ２およびｇ３を、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。ビデオデコーダ５００がゼロ・パラメータをプリロードできるので、ビデオエンコーダ３００は、より少ない色予測パラメータ１１４、例えば、６つの代わりに３つを生成してビデオデコーダ５００へ送信できる。
【００３１】
いくつかの実施形態において、数式４〜６に用いられるゼロ・パラメータは、関連する色空間のビット深度および色チャネルに基づいて定義できる。例えば、表１では、ゼロ・パラメータを次のように定義できる。
【表１】
2016519854.tif 000003
表１
【００３２】
アフィン混合チャネル予測は、例えば、行列乗算機能を用いてＵＨＤＴＶ画像フレームを予測するために、ＢＴ．７０９画像フレームのＹＵＶチャネルを混合することによって、ＢＴ．７０９画像フレームのためのＹＵＶ色空間を変換することを含むことができる。いくつかの実施形態において、ＢＴ．７０９の色空間は、数式７：
【数１】
2016519854.tif 000004
に従ってスケーリングできる。
【００３３】
行列パラメータｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、ｍ３３およびオフセット・パラメータｏ１、ｏ２およびｏ３は、ＢＴ．７０９ビデオ・フォーマット勧告およびＵＨＤＴＶビデオ・フォーマット勧告によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された行列およびオフセット・パラメータを、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００３４】
いくつかの実施形態において、ＢＴ．７０９の色空間は、数式８：
【数２】
2016519854.tif 000005
に従ってスケーリングできる。
【００３５】
行列パラメータｍ１１、ｍ１２、ｍ１３、ｍ２２およびｍ３３ならびにオフセット・パラメータｏ１、ｏ２およびｏ３は、ＢＴ．７０９ビデオ符号化規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された行列およびオフセッチ・パラメータを、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００３６】
行列パラメータｍ２１、ｍ２３、ｍ３１およびｍ３２をゼロと置き換えることによって、ＵＨＤＴＶ画像フレーム予測の輝度チャネルＹは、ＢＴ．７０９画像フレームの色チャネルＵおよびＶと混合できるが、ＵＨＤＴＶ画像フレーム予測の色チャネルＵおよびＶは、ＢＴ．７０９画像フレームの輝度チャネルＹとは混合されない。選択的なチャネル混合は、輝度チャネルＵＨＤＴＶ画像フレーム予測のより正確な予測を可能にして、一方ではビデオデコーダ５００へ送信すべき予測パラメータ１１４の数を削減できる。
【００３７】
いくつかの実施形態において、ＢＴ．７０９の色空間は、数式９：
【数３】
2016519854.tif 000006
に従ってスケーリングできる。
【００３８】
行列パラメータｍ１１、ｍ１２、ｍ１３、ｍ２２、ｍ２３、ｍ３２およびｍ３３ならびにオフセット・パラメータｏ１、ｏ２、ｏ３は、ＢＴ．７０９ビデオ規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された行列およびオフセッチ・パラメータを色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００３９】
行列パラメータｍ２１およびｍ３１をゼロと置き換えることによって、ＵＨＤＴＶ画像フレーム予測の輝度チャネルＹは、ＢＴ．７０９画像フレームの色チャネルＵおよびＶと混合できる。ＵＨＤＴＶ画像フレーム予測のＵおよびＶ色チャネルは、ＢＴ．７０９画像フレームのＵおよびＶ色チャネルと混合できるが、ＢＴ．７０９画像フレームの輝度チャネルＹとは混合されない。選択的なチャネル混合は、輝度チャネルＵＨＤＴＶ画像フレーム予測のより正確な予測を可能にして、一方ではビデオデコーダ５００へ送信すべき予測パラメータ１１４の数を削減できる。
【００４０】
色空間予測器４００は、スケーリングされた色空間予測を予測選択機能３５０のためにシーケンス（フレーム間）ごと、フレームごと、またはスライス（フレーム内）ごとに生成でき、ビデオエンコーダ３００は、スケーリングされた色空間予測に対応する予測パラメータ１１４をシーケンス（フレーム間）ごと、フレームごと、またはスライス（フレーム内）ごとに送信できる。いくつかの実施形態において、スケーリングされた色空間予測を生成するための粒度は、色空間予測器４００にプリセットもしくは固定でき、または符号化機能またはＵＨＤＴＶ画像フレームのコンテンツに基づいて、ビデオエンコーダ３００によって動的に調整可能である。
【００４１】
ビデオエンコーダ３００は、色予測パラメータ１１４を符号化されたビデオストリーム１１２の規範的な部分で、例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、または符号化されたビデオストリーム１１２の規範的な部分の別のより低レベルの区分で送信できる。いくつかの実施形態において、色予測パラメータ１１４は、符号化されたビデオストリーム１１２へ１つのシンタックスとともに挿入でき、このシンタックスは、ビデオデコーダ５００が符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在することを識別し、パラメータの精度またはサイズ、例えば、それぞれのパラメータを表すために利用されたビットの数を識別し、かつ色空間予測を生成するためにビデオエンコーダ３００の色空間予測器４００が利用した色空間予測のタイプを識別することを可能にする。
【００４２】
いくつかの実施形態において、符号化されたビデオストリーム１１２の規範的な部分は、フラグ（ｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎ）、例えば、符号化されたビデオストリーム１１２における色空間パラメータ１１４の包含を通知できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、サイズパラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）、例えば、それぞれのパラメータを表すために利用されたビットの数または精度を識別できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、予測器タイプ・パラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）、例えば、色空間予測を生成するためにビデオエンコーダ３００によって利用された色空間予測のタイプを識別できる１つ以上のビットを含むことができる。色空間予測のタイプは、独立チャネル予測、アフィン予測、それらの様々な実装などを含むことができる。色予測パラメータ１１４は、ビデオエンコーダ３００によって利用される予測のタイプに依存して利得パラメータ、オフセット・パラメータおよび／または行列パラメータを含むことができる。
【００４３】
図３Ｂを参照すると、ビデオエンコーダ３０１は、図３Ａに先に示され、記載されたビデオエンコーダ３００と同様とすることができ、相違は、次の通りである。ビデオエンコーダ３０１は、色空間予測器４００を解像度アップスケーリング機能３７０と入れ替えることができる。色空間予測器４００は、ベースレイヤ・エンコーダ３０４によって前に符号化されたＢＴ．７０９画像フレームに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。
【００４４】
いくつかの実施形態において、ベースレイヤ・エンコーダ３０４における参照バッファ３６８は、符号化されたＢＴ．７０９画像フレームを色空間予測器４００へ供給できる。色空間予測器は、符号化されたＢＴ．７０９画像フレームのＹＵＶ色空間をＵＨＤＴＶビデオ・フォーマットによってサポートされるＹＵＶ表現に対応するようにスケーリングできる。色空間予測器４００は、色空間予測を解像度アップスケーリング機能３７０へ供給でき、この機能は、符号化されたＢＴ．７０９画像フレームの色空間予測の解像度をＵＨＤＴＶビデオ・フォーマットに対応する解像度へスケーリングできる。解像度アップスケーリング機能３７０は、解像度がアップスケーリングされた色空間予測を予測選択機能３５０へ供給できる。
【００４５】
図４は、図３Ａに示される色空間予測器４００のブロック図の例である。図４を参照すると、色空間予測器４００は、再構成されたＢＴ．７０９ビデオフレーム４０２を、例えば、ベースレイヤ・エンコーダ３０４から解像度アップスケーリング機能３７０経由で受信して、色空間予測４０６の生成に関する予測タイプおよびタイミングを選択するための色空間予測制御デバイス４１０を含むことができる。いくつかの実施形態において、色空間予測制御デバイス４１０は、再構成されたＢＴ．７０９ビデオフレーム４０２を独立チャネル予測機能４２０、アフィン予測機能４３０、またはクロスカラー予測機能４４０のうちの少なくとも１つへ渡すことができる。予測機能４２０、４３０および４４０のそれぞれは、ＵＨＤＴＶ画像フレーム（またはその部分）の色空間予測を再構成されたＢＴ．７０９ビデオフレーム４０２から、例えば、ＢＴ．７０９画像フレームの色空間をＵＨＤＴＶ画像フレームの色空間へスケーリングすることによって生成できる。
【００４６】
独立チャネル予測機能４２０は、再構成されたＢＴ．７０９ビデオフレーム４０２のＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン予測機能４３０は、再構成されたＢＴ．７０９ビデオフレーム４０２のＹＵＶ成分を行列乗算を用いて、例えば、数式７に先に示されたようにスケーリングできる。クロスカラー予測機能４４０は、再構成されたＢＴ．７０９ビデオフレーム４０２のＹＵＶ成分を修正された行列乗算を用いてスケーリングでき、この行列乗算は、ＵＨＤＴＶ画像フレームのＵおよびＶ成分を、例えば、数式８から９に先に示されたように生成するときに、再構成されたＢＴ．７０９ビデオフレーム４０２からのＹ成分の混合を除外できる。
【００４７】
いくつかの実施形態において、色空間予測器４００は、独立チャネル予測機能４２０、アフィン予測機能４３０、およびクロスカラー予測機能４４０からの出力を選択するための選択デバイス４５０を含むことができる。選択デバイス４５０は、また、色空間予測４０６を生成するために利用された色予測パラメータ１１４を出力できる。色予測制御デバイス４１０は、色空間予測４０６の生成のタイミングと色空間予測４０６を生成するために行われる演算のタイプとを、例えば、選択デバイス４５０のタイミングおよび出力を制御することによって制御できる。いくつかの実施形態において、色予測制御デバイス４１０は、再構成されたＢＴ．７０９ビデオフレーム４０２を独立チャネル予測機能４２０、アフィン予測機能４３０、およびクロスカラー予測機能４４０のうちの少なくとも１つへ選択的に供給することによって、色空間予測４０６の生成のタイミングと色空間予測４０６を生成するために行われる演算のタイプとを制御できる。
【００４８】
図５Ａおよび５Ｂは、図１に示されるビデオデコーダ５００のブロック図の例である。図５Ａを参照すると、ビデオデコーダは、符号化されたビデオストリーム１１２を、例えば、ビデオエンコーダ３００から受信するためのインターフェース５１０を含むことができる。インターフェース５１０は、符号化されたビデオストリーム１１２を逆多重化して、符号化されたＵＨＤＴＶ画像データをビデオデコーダ５００のエンハンスメントレイヤ・デコーダ５０２へ供給し、符号化されたＢＴ．７０９画像データをビデオデコーダ５００のベースレイヤ・デコーダ５０４へ供給できる。ベースレイヤ・デコーダ５０４は、インターフェース５１０から受信された符号化ＢＴ．７０９画像データを復号するためのエントロピー復号機能５５２および復号予測ループ５５４を含むことができ、復号されたＢＴ．７０９ビデオストリーム１２４を参照バッファ５５６に記憶できる。参照バッファ５５６は、復号されたＢＴ．７０９ビデオストリーム１２４を同じフレームの他の部分または符号化されたＢＴ．７０９画像データの他のフレームの復号に用いるために復号予測ループ５５４へ戻すことができる。ベースレイヤ・デコーダ５０４は、復号されたＢＴ．７０９ビデオストリーム１２４を出力できる。いくつかの実施形態では、復号予測ループ５５４からの出力かつ参照バッファ５５６への入力が再構成されたフレームデータではなく、残差フレームデータであってもよい。
【００４９】
エンハンスメントレイヤ・デコーダ５０２は、インターフェース５１０から受信された符号化ＵＨＤＴＶ画像データを復号するためのエントロピー復号機能５２２、逆量子化機能５２４、逆変換機能５２６、および結合機能５２８を含むことができる。デブロッキング機能５４１は、復号されたＵＨＤＴＶ画像フレームを、例えば、復号されたＵＨＤＴＶ画像フレームに対応する画像におけるマクロブロック間の鋭いエッジを平滑にするためにフィルタして、復号されたＵＨＤＴＶビデオストリーム１２２を参照バッファ５３０に記憶できる。いくつかの実施形態において、符号化されたＵＨＤＴＶ画像データは、予測残差、例えば、ビデオエンコーダ３００によって確定されるような予測とＵＨＤＴＶ画像フレームとの間の差に対応することができる。エンハンスメントレイヤ・デコーダ５０２は、ＵＨＤＴＶ画像フレームの予測を生成でき、結合機能５２８は、復号されたＵＨＤＴＶビデオストリーム１２２を生成するために、エントロピー復号、逆量子化、および逆変換を受けた符号化ＵＨＤＴＶ画像データにＵＨＤＴＶ画像フレームの予測を加えることができる。いくつかの実施形態において、結合機能５２８は、復号されたＵＨＤＴＶビデオストリーム１２２を生成するための重み付け、例えば、線形重み付けを含むことができる。
【００５０】
エンハンスメントレイヤ・デコーダ５０２は、それぞれがＵＨＤＴＶ画像フレームの予測を生成できる色空間予測器６００、動き補償予測機能５４２、およびイントラ予測器５４４を含むことができる。エンハンスメントレイヤ・デコーダ５０２は、結合機能５２８へ供給するために色空間予測器６００、動き補償予測機能５４２、および／またはイントラ予測器５４４によって生成された予測を選択するための予測選択機能５４０を含むことができる。
【００５１】
いくつかの実施形態において、動き補償予測機能５４２およびイントラ予測器５４４は、エンハンスメントレイヤ・デコーダ５０２によって前に復号され、参照バッファ５３０に記憶されたＵＨＤＴＶ画像フレームに基づいてそれらの各予測を生成できる。動き補償予測機能５４２は、１つ以上の復号されたＵＨＤＴＶ画像フレームを参照バッファ５３０から受信できる。動き補償予測機能５４２は、参照バッファ５３０からの１つ以上の復号されたＵＨＤＴＶ画像フレームとＵＨＤＴＶ画像フレームとの間の画像の動きに基づいて、現ＵＨＤＴＶ画像フレームの予測を生成できる。
【００５２】
イントラ予測器５４４は、参照バッファ５３０から現ＵＨＤＴＶ画像フレームの第１の部分を受信できる。イントラ予測器５４４は、エンハンスメントレイヤ・デコーダ５０２によって前に復号された現ＵＨＤＴＶ画像フレームの少なくとも第２の部分に基づいて現ＵＨＤＴＶ画像フレームの第１の部分に対応する予測を生成できる。
【００５３】
色空間予測器６００はベースレイヤ・デコーダ５０４によって復号されたＢＴ．７０９画像フレームに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、ベースレイヤ・デコーダ５０４における参照バッファ５５６は、復号されたＢＴ．７０９ビデオストリーム１２４の一部分を解像度アップスケーリング機能５７０へ供給でき、この機能は、符号化されたＢＴ．７０９画像フレームの解像度をＵＨＤＴＶビデオ・フォーマットに対応する解像度へスケーリングできる。解像度アップスケーリング機能５７０は、符号化されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンを色空間予測器６００へ供給できる。色空間予測器は、符号化されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンに基づいて、ＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、色空間予測器６００は、符号化されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンのＹＵＶ色空間を、ＵＨＤＴＶビデオ・フォーマットによってサポートされるＹＵＶ表現に対応するようにスケーリングできる。
【００５４】
色空間予測器６００は、ＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ・フォーマットによってサポートされる色空間へ、例えば、独立チャネル予測、アフィン混合チャネル予測、またはクロスカラーチャネル予測を用いてスケーリングすることにより、ビデオエンコーダ３００における色空間予測器４００と同様に動作できる。しかしながら、色空間予測器６００は、ビデオエンコーダ３００から受信された色予測パラメータ１１４に、少なくとも部分的に、基づいて生成すべき色空間予測のタイプを選択できる。色予測パラメータ１１４は、色空間予測の特定のタイプを明示的に識別でき、または色空間予測のタイプを、例えば、色予測パラメータ１１４の量および／または配置によって暗黙的に識別できる。
【００５５】
先に考察されたように、いくつかの実施形態において、符号化されたビデオストリーム１１２の規範的な部分は、フラグ（ｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎ）、例えば、符号化されたビデオストリーム１１２における色空間パラメータ１１４の包含を通知できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、サイズパラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）、例えば、それぞれのパラメータを表すために利用されるビットの数または精度を識別できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、予測器タイプ・パラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）、例えば、色空間予測を生成するためにビデオエンコーダ３００によって利用される色空間予測のタイプを識別できる１つ以上のビットを含むことができる。色空間予測のタイプは、独立チャネル予測、アフィン予測、それらの様々な実装などを含むことができる。色予測パラメータ１１４は、ビデオエンコーダ３００によって利用される予測のタイプに依存して利得パラメータ、オフセット・パラメータおよび／または行列パラメータを含むことができる。
【００５６】
色空間予測器６００は、ビデオエンコーダ３００が次に符号化されるビデオストリーム１１２を生成するときに色空間予測を利用するかどうかをフラグ（ｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎ）に基づいて識別する。符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在するときに、色空間予測器６００は、色予測パラメータ１１４を構文解析でき、符号化されたビデオによって利用された色空間予測のタイプを予測器タイプ・パラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）およびパラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）のサイズまたは精度に基づいて識別して、色空間予測を生成するために利用する色空間パラメータの位置を特定できる。
【００５７】
例えば、ビデオデコーダ５００は、符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在するかどうかを確定し、次の表２におけるコード例に基づいて色予測パラメータ１１４を構文解析できる。
【表２】
2016519854.tif 000007
表２
【００５８】
表２におけるコード例は、ビデオデコーダ５００が符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在するかどうかをｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎフラグに基づいて識別することを可能にできる。ビデオデコーダ５００は、色空間パラメータの精度またはサイズをサイズパラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）に基づいて識別でき、ビデオエンコーダ３００によって利用された色空間予測のタイプをタイプ・パラメータ（ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）に基づいて識別できる。表２におけるコード例は、ビデオデコーダ５００が、色空間パラメータの識別されたサイズと、ビデオエンコーダ３００によって利用され、色空間パラメータの数、セマンティクスおよび位置を識別できる識別されたタイプの色空間予測とに基づいて、符号化されたビデオストリーム１１２からの色空間パラメータを構文解析することを可能にできる。表２におけるコード例は、９つの行列パラメータおよび３つのオフセット・パラメータを含んだアフィン予測を示すが、いくつかの実施形態において、色予測パラメータ１１４は、例えば、行列パラメータがゼロであるときに、より少ない行列および／またはオフセット・パラメータを含むことができ、コード例は、色予測パラメータ１１４をそれに従って構文解析するように修正できる。
【００５９】
色空間予測器６００は、色空間予測を予測選択機能５４０のためにシーケンス（フレーム間）ごと、フレームごと、またはスライス（フレーム内）ごとに生成できる。いくつかの実施形態において、色空間予測器６００は、色空間予測を固定もしくはプリセットされたタイミングで、あるいはビデオエンコーダ３００からの色予測パラメータ１１４の受信に応じて動的に生成できる。
【００６０】
図５Ｂを参照すると、ビデオデコーダ５０１は、図５Ａに先に示され、記載されたビデオデコーダ５００と同様とすることができ、相違は、次の通りである。ビデオデコーダ５０１は、色空間予測器６００を解像度アップスケーリング機能５７０と入れ替えることができる。色空間予測器６００は、ベースレイヤ・デコーダ５０４からの復号されたＢＴ．７０９ビデオストリーム１２４の部分に基づいてＵＨＤＴＶ画像フレームの予測を生成できる。
【００６１】
いくつかの実施形態において、ベースレイヤ・デコーダ５０４における参照バッファ５５６は、復号されたＢＴ．７０９ビデオストリーム１２４の部分を色空間予測器６００へ供給できる。色空間予測器６００は、復号されたＢＴ．７０９ビデオストリーム１２４の部分のＹＵＶ色空間をＵＨＤＴＶビデオ規格によってサポートされるＹＵＶ表現に対応するようにスケーリングできる。色空間予測器６００は、色空間予測を解像度アップスケーリング機能５７０へ供給でき、この機能は、色空間予測の解像度をＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。解像度アップスケーリング機能５７０は、解像度がアップスケーリングされた色空間予測を予測選択機能５４０へ供給できる。
【００６２】
図６は、図５Ａに示される色空間予測器６００のブロック図の例である。図６を参照すると、色空間予測器６００は、復号されたＢＴ．７０９ビデオストリーム１２２を、例えば、ベースレイヤ・デコーダ５０４から解像度アップスケーリング機能５７０経由で受信して、色空間予測６０６の生成に関する予測タイプおよびタイミングを選択するための色空間予測制御デバイス６１０を含むことができる。色空間予測器６００は、ビデオエンコーダ３００から受信された色予測パラメータ１１４に、少なくとも部分的に、基づいて生成すべき色空間予測のタイプを選択できる。色予測パラメータ１１４は、色空間予測の特定のタイプを明示的に識別でき、あるいは色空間予測の特定のタイプを、例えば、色予測パラメータ１１４の量および／または配置によって暗黙的に識別できる。いくつかの実施形態において、色空間予測制御デバイス６１０は、復号されたＢＴ．７０９ビデオストリーム１２２および色予測パラメータ１１４を独立チャネル予測機能６２０、アフィン予測機能６３０、またはクロスカラー予測機能６４０のうちの少なくとも１つへ渡すことができる。予測機能６２０、６３０および６４０のそれぞれは、ＵＨＤＴＶ画像フレーム（またはその部分）の色空間予測を復号されたＢＴ．７０９ビデオストリーム１２２から、例えば、ＢＴ．７０９画像フレームの色空間をＵＨＤＴＶ画像フレームの色空間へ色空間パラメータ１１４に基づいてスケーリングすることによって生成できる。
【００６３】
独立チャネル予測機能６２０は、復号されたＢＴ．７０９ビデオストリーム１２２のＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン予測機能６３０は、復号されたＢＴ．７０９ビデオストリーム１２２のＹＵＶ成分を行列乗算を用いて、例えば、数式７に先に示されたようにスケーリングできる。クロスカラー予測機能６４０は、復号されたＢＴ．７０９ビデオストリーム１２２のＹＵＶ成分を修正された行列乗算を用いてスケーリングでき、この乗算行列は、ＵＨＤＴＶ画像フレームのＵおよびＶ成分を、例えば、数式８または９に先に示されたように生成するとき、復号されたＢＴ．７０９ビデオストリーム１２２からのＹ成分の混合を除外できる。
【００６４】
いくつかの実施形態において、色空間予測器６００は、独立チャネル予測機能６２０、アフィン予測機能６３０、およびクロスカラー予測機能６４０からの出力を選択するための選択デバイス６５０を含むことができる。色予測制御デバイス６１０は、色空間予測６０６の生成のタイミングと色空間予測６０６を生成するために行われる演算のタイプとを、例えば、選択デバイス６５０のタイミングおよび出力を制御することによって制御できる。いくつかの実施形態において、色予測制御デバイス６１０は、復号されたＢＴ．７０９ビデオストリーム１２２を独立チャネル予測機能６２０、アフィン予測機能６３０、およびクロスカラー予測機能６４０のうちの少なくとも１つへ選択的に供給することによって、色空間予測６０６の生成のタイミングと色空間予測６０６を生成するために行われる演算のタイプとを制御できる。
【００６５】
図７は、ビデオエンコーダ３００における色空間予測に関する例の動作フロー図である。図７を参照すると、第１のブロック７１０において、ビデオエンコーダ３００は、第１の画像フォーマットを有する第１の画像を符号化できる。いくつかの実施形態において、第１の画像フォーマットは、ＢＴ．７０９ビデオ規格に対応することができ、ビデオエンコーダ３００は、ＢＴ．７０９画像フレームを符号化するためのベースレイヤを含むことができる。
【００６６】
ブロック７２０において、ビデオエンコーダ３００は、第１の画像の色空間を第１の画像フォーマットから第２の画像フォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオエンコーダ３００は、色空間をＢＴ．７０９ビデオ規格と第２の画像フォーマットに対応する超高精細度テレビ（ＵＨＤＴＶ）ビデオ規格との間でスケーリングできる。
【００６７】
ビデオエンコーダ３００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ・フォーマットによってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を、行列乗算を用いて、例えば、数式７〜９に先に示されたようにスケーリングできる。
【００６８】
いくつかの実施形態において、ビデオエンコーダ３００は、第１の画像の解像度を第１の画像フォーマットから第２の画像フォーマットに対応する解像度へスケーリングできる。例えば、ＵＨＤＴＶビデオ規格は、４ｋ（３８４０×２１６０画素）または８ｋ（７６８０×４３２０画素）および１０または１２ビット量子化ビット深度をサポートできる。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできる。ビデオエンコーダ３００は、符号化された第１の画像をＢＴ．７０９ビデオ規格に対応する解像度からＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。
【００６９】
ブロック７３０において、ビデオエンコーダ３００は、色空間予測を第１の画像のスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、ＵＨＤＴＶ画像フレーム（またはその部分）の対応する符号化されたＢＴ．７０９画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオエンコーダ３００は、色空間予測を第１の画像のスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
【００７０】
ブロック７４０において、ビデオエンコーダ３００は、第２の画像フォーマットを有する第２の画像を色空間予測に、少なくとも部分的に、基づいて符号化できる。ビデオエンコーダ３００は、符号化された第２の画像と第１の画像の色空間をスケーリングするために利用された色予測パラメータとをビデオデコーダへ出力できる。
【００７１】
図８は、ビデオデコーダ５００における色空間予測に関する例の動作フロー図である。図８を参照すると、第１のブロック８１０において、ビデオデコーダ５００は、第１の画像フォーマットを有する第１の画像を生成するために、符号化されたビデオストリームを復号できる。いくつかの実施形態において、第１の画像フォーマットは、ＢＴ．７０９ビデオ規格に対応することができ、ビデオデコーダ５００は、ＢＴ．７０９画像フレームを復号するためのベースレイヤを含むことができる。
【００７２】
ブロック８２０において、ビデオデコーダ５００は、第１の画像フォーマットに対応する第１の画像の色空間を第２の画像フォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオデコーダ５００は、色空間をＢＴ．７０９ビデオ規格と第２の画像フォーマットに対応する超高精細度テレビ（ＵＨＤＴＶ）ビデオ規格との間でスケーリングできる。
【００７３】
ビデオデコーダ５００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ規格によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を、行列乗算を用いて、例えば、数式７〜９に先に示されたようにスケーリングできる。
【００７４】
ビデオデコーダ５００は、例えば、独立チャネル予測もしくは各種のアフィン混合チャネル予測のうちの１つを行うための色空間スケーリングのタイプを、ビデオデコーダ５００がビデオエンコーダ３００から受信するチャネル予測パラメータに基づいて選択できる。いくつかの実施形態において、ビデオデコーダ５００は、復号されたＢＴ．７０９画像フレームのデフォルトまたはプリセット色空間スケーリングを行うことができる。
【００７５】
いくつかの実施形態において、ビデオデコーダ５００は、第１の画像の解像度を第１の画像フォーマットから第２の画像フォーマットに対応する解像度へスケーリングできる。例えば、ＵＨＤＴＶビデオ規格は、４ｋ（３８４０×２１６０画素）または８ｋ（７６８０×４３２０画素）解像度および１０または１２ビット量子化ビット深度をサポートできる。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできる。ビデオデコーダ５００は、復号された第１の画像をＢＴ．７０９ビデオ規格に対応する解像度からＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。
【００７６】
ブロック８３０において、ビデオデコーダ５００は、色空間予測を第１の画像のスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、ＵＨＤＴＶ画像フレーム（またはその部分）の対応する復号されたＢＴ．７０９画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオデコーダ５００は、色空間予測を第１の画像のスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
【００７７】
ブロック８４０において、ビデオデコーダ５００は、符号化されたビデオストリームを色空間予測に、少なくとも部分的に、基づいて第２の画像フォーマットを有する第２の画像へ復号できる。いくつかの実施形態において、ビデオデコーダ５００は、ビデオエンコーダ３００からの予測残差に対応する符号化されたビデオストリームの一部分と結合させるために色空間予測を利用できる。色空間予測と復号された予測残差との結合は、復号されたＵＨＤＴＶ画像フレームまたはその部分に対応することができる。
【００７８】
図９は、ビデオデコーダ５００における色空間予測に関する別の例の動作フロー図である。図９を参照すると、第１のブロック９１０において、ビデオデコーダ５００は、第１のフォーマットを有する第１の残差フレームを生成するために、符号化されたビデオストリームの少なくとも一部分を復号できる。第１の残差フレームは、２つの画像フレームの間の差に対応するデータのフレームとすることができる。いくつかの実施形態において、第１のフォーマットは、ＢＴ．７０９ビデオ規格に対応でき、ビデオデコーダ５００は、ＢＴ．７０９画像フレームを復号するためのベースレイヤを含むことができる。
【００７９】
ブロック９２０において、ビデオデコーダ５００は、第１のフォーマットに対応する第１の残差フレームの色空間を第２のフォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオデコーダ５００は、色空間をＢＴ．７０９ビデオ規格と第２のフォーマットに対応する超高精細度テレビ（ＵＨＤＴＶ）ビデオ規格との間でスケーリングできる。
【００８０】
ビデオデコーダ５００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ規格によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を、行列乗算を用いて、例えば、数式７〜９に先に示されたようにスケーリングできる。
【００８１】
ビデオデコーダ５００は、例えば、独立チャネル予測もしくは各種のアフィン混合チャネル予測のうちの１つを行うための色空間スケーリングのタイプを、ビデオデコーダ５００がビデオエンコーダ３００から受信するチャネル予測パラメータに基づいて選択できる。いくつかの実施形態において、ビデオデコーダ５００は、復号されたＢＴ．７０９画像フレームのデフォルトまたはプリセット色空間スケーリングを行うことができる。
【００８２】
いくつかの実施形態において、ビデオデコーダ５００は、第１の残差フレームの解像度を第１の画像フォーマットから第２の画像フォーマットに対応する解像度へスケーリングできる。例えば、ＵＨＤＴＶビデオ規格は、４ｋ（３８４０×２１６０画素）または８ｋ（７６８０×４３２０画素）解像度および１０または１２ビット量子化ビット深度をサポートできる。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできる。ビデオデコーダ５００は、復号された第１の残差フレームをＢＴ．７０９ビデオ規格に対応する解像度からＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。
【００８３】
ブロック９３０において、ビデオデコーダ５００は、色空間予測を第１の残差フレームのスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、ＵＨＤＴＶ画像フレーム（またはその部分）の対応する復号されたＢＴ．７０９画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオデコーダ５００は、色空間予測を第１の残差フレームのスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
【００８４】
ブロック９４０において、ビデオデコーダ５００は、符号化されたビデオストリームを色空間予測に、少なくとも部分的に、基づいて第２のフォーマットを有する第２の画像へ復号できる。いくつかの実施形態において、ビデオデコーダ５００は、ビデオエンコーダ３００からの予測残差に対応する符号化されたビデオストリームの一部分と結合させるために色空間予測を利用できる。色空間予測と復号された予測残差との結合は、復号されたＵＨＤＴＶ画像フレームまたはその部分に対応することができる。
【００８５】
「色ビット深度スケーリング」
色ビット深度スケーリングは、高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）、草案の形態で公開された現在開発中のビデオ符号化規格、または他のビデオ圧縮システムなどのビデオ圧縮において色符号化および復号の強化を提供できる。ビット深度スケーリングは、例えば、特に復号の間に、ＢＴ．７０９およびＵＨＤＴＶ  ＢＴ．２０２０のような、異なるデジタルビデオ・フォーマットで使用される様々な色特性（例えば、解像度、量子化ビット深度、および色域）の取り扱いを改良する。以下の記載は、ＨＥＶＣ、すなわち、スケーラブルなＨＥＶＣ拡張の公的に定められた試験モデルを参照して行われるが、他の類似したビデオ圧縮システムにも同様に適用可能である。
【００８６】
図３Ａおよび３Ｂのエンコーダ３００ならびに３０１は、ＨＤおよびＵＨＤＴＶビデオストリームの符号化を提供し、それぞれが、ＵＨＤＴＶ画像フレーム（またはピクチャ）の予測を再構成されたＢＴ．７０９画像フレーム（またはピクチャ）のアップスケーリングされた解像度バージョンに基づいて生成できる色空間予測器４００を含む。上述のように、色空間予測器４００は、いくつかの実施形態では、再構成されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンのＹＵＶ色空間を、ＵＨＤＴＶビデオストリーム１０２によってサポートされるＹＵＶ表現に対応するようにスケーリングできる。
【００８７】
図１０Ａおよび１０Ｂは、エンコーダ３００および３０１にそれぞれ類似し、同じ参照数字によって指示された対応要素を含むビデオエンコーダ１０００および１００１のブロック図の例である。加えて、エンコーダ１０００および１００１は、それぞれが、参照ピクチャのビット深度スケーリングを含めて、フレームまたはピクチャの強化された色ビット深度スケーリングを提供するために、色空間予測器４００ではなく、ビット深度スケーリング機能１０１０を含む。
【００８８】
ビデオエンコーダ１０００および１００１は、ビデオストリームのピクチャを処理するときに、参照バッファ３４０および３６８に記憶された、参照ピクチャ（またはフレーム）を参照する。
【００８９】
図１１は、機能１０１０によって行われるようなビット深度スケーリングを含み、ＨＥＶＣ符号化に関連して記載されるビデオ符号化方法１１００の簡略化されたフロー図である。
【００９０】
現ピクチャＣｕｒｒＰｉｃに関して、ステップ１１１０は、入力として輝度サンプルのアレイｒｓＰｉｃＳａｍｐｌｅＬ、成分Ｃｂの色差サンプルのアレイｒｓＰｉｃＳａｍｐｌｅＣｂ、および成分Ｃｒの色差サンプルのアレイｒｓＰｉｃＳａｍｐｌｅＣｒを用い、出力として輝度サンプルのアレイｒｌＰｉｃＳａｍｐｌｅＬ、成分Ｃｂの色差サンプルのアレイｒｌＰｉｃＳａｍｐｌｅＣｂ、および成分Ｃｒの色差サンプルのアレイｒｌＰｉｃＳａｍｐｌｅＣｒを供給する、ピクチャ・サンプル値に関するサンプリング処理を提供する。
【００９１】
ステップ１１２０は、入力としてビデオピクチャ入力ｒｌＰｉｃからサンプリングされたレイヤ間参照ピクチャｒｓＰｉｃを取得するための参照ピクチャに関するサンプリング処理を提供する。ステップ１１２０は、現ピクチャＣｕｒｒＰｉｃの第１のＰまたはＢスライスに対する符号化処理の始めに起動される。
【００９２】
ステップ１１２５は、レイヤ間参照ピクチャのビット深度のスケーリングを提供する。
【００９３】
ステップ１１３０は、レイヤ間ピクチャのリストを取得するためにレイヤ間参照ピクチャセットの符号化を提供し、この符号化は、ビット深度スケーリングされたレイヤ間参照ピクチャｒｓｂＰｉｃのサンプリングを含む。ステップ１１４０は、ユニット・ツリー符号化レイヤの符号化を提供する。ステップ１１５０は、ＰまたはＢスライスごとの符号化処理とＰまたはＢスライスごとの参照ピクチャリストの構築とを含めて、スライスセグメント・レイヤの符号化を提供する。ステップ１１６０は、ネットワーク抽象化レイヤ（ＮＡＬ：ｎｅｔｗｏｒｋ  ａｂｓｔｒａｃｔｉｏｎ  ｌａｙｅｒ）・ユニット、またはパケットの符号化を提供する。
【００９４】
図５Ａおよび５Ｂのデコーダ５００ならびに５０１は、ＨＤおよびＵＨＤＴＶビデオストリームに対応する符号化されたビデオストリームの復号を提供する。デコーダ５００および５０１それぞれは、上記のように、ＵＨＤＴＶ画像フレーム（またはピクチャ）の予測をベースレイヤ・デコーダ５０４によって復号されたＢＴ．７０９画像フレームに基づいて生成できる色空間予測器６００を含む。
【００９５】
図１２Ａおよび１２Ｂは、デコーダ５００および５０１にそれぞれ類似し、同じ参照数字によって指示された対応要素を含むビデオデコーダ１２００および１２０１のブロック図の例である。加えて、デコーダ１２００および１２０１は、それぞれが、フレームまたはピクチャの深度スケーリングを利用するために、デコーダ５００および５０１の色空間予測器６００ではなく、ビット深度スケーリング機能１２１０を含む。ビデオデコーダ１２００および１２０１は、符号化されたピクチャ（またはフレーム）のスライスとともにネットワーク抽象化レイヤ・ユニット（またはパケット）を含む符号化されたビデオストリームの復号を提供する。復号は、ビデオストリームの連続したピクチャのピクチャ・サンプル値を取得するために、参照ピクチャとレイヤ間参照ピクチャセットとを取得して利用する。
【００９６】
図１３は、機能１２１０によって行われるようなビット深度スケーリング処理を含む、ＨＥＶＣ復号に関連して記載される復号方法１３００の一実装のフロー図である。現ピクチャＣｕｒｒＰｉｃに関して、ステップ１３１０は、ネットワーク抽象化レイヤ（ＮＡＬ）・ユニット、またはパケットの復号を提供する。ステップ１３２０は、ＰまたはＢスライスごとの復号処理とＰまたはＢスライスごとの参照ピクチャリストの構築とを含む、スライスセグメント・レイヤに関する復号を提供する。ステップ１３３０は、ユニット・ツリー符号化レイヤに関する復号を提供する。ステップ１３４０は、レイヤ間ピクチャのリストを取得するためのレイヤ間参照ピクチャセットに関する復号を提供し、このステップは、リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャｒｓｂＰｉｃの導出を含む。
【００９７】
ステップ１３５０は、リサンプリングされたレイヤ間参照ピクチャｒｓＰｉｃを入力として復号されたピクチャｒｌＰｉｃから取得するための参照ピクチャに関するリサンプリング処理を提供する。ステップ１３５０は、現ピクチャＣｕｒｒＰｉｃの第１のＰまたはＢスライスに対する符号化処理の始めに起動される。ステップ１３６０は、入力として輝度サンプルのアレイｒｌＰｉｃＳａｍｐｌｅＬ、成分Ｃｂの色差サンプルのアレイｒｌＰｉｃＳａｍｐｌｅＣｂ、および成分Ｃｒの色差サンプルのアレイｒｌＰｉｃＳａｍｐｌｅＣｒを用い、出力として輝度サンプルのアレイｒｓＰｉｃＳａｍｐｌｅＬ、成分Ｃｂの色差サンプルのアレイｒｓＰｉｃＳａｍｐｌｅＣｂ、および成分Ｃｒの色差サンプルのアレイｒｓＰｉｃＳａｍｐｌｅＣｒを供給する、ピクチャ・サンプル値に関するリサンプリング処理を提供する。
【００９８】
ステップ１３１０〜１３６０は、ステップ１３４０におけるリサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャｒｓｂＰｉｃの導出を除いて、一般に、従来のＨＥＶＣ復号に対応する。新規な追加ステップとして、方法１３００は、参照ピクチャに対するビット深度スケーリング処理を提供するステップ１３７０とピクチャ・サンプル値に対するビット深度スケーリング処理を提供するステップ１３８０とを含む。
【００９９】
ステップ１３７０の参照ピクチャに対するビット深度スケーリング処理は、入力としてのリサンプリングされたレイヤ間参照ピクチャｒｓＰｉｃに作用して、リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャｒｓｂＰｉｃを出力として供給する。リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャｒｓｂＰｉｃの利点は、それが、異なるビット深度のピクチャからのレイヤ間参照の形成に適合することである。ステップ１３７０は、現ピクチャＣｕｒｒＰｉｃの輝度アレイのサンプルのビット深度および色差アレイのサンプルのビット深度を指定する、変数ｎＢｄｂＹおよびｎＢｄｂＣと、リサンプリングされた参照レイヤ・ピクチャｒｓＰｉｃの輝度アレイのサンプルのビット深度および色差アレイのサンプルのビット深度を指定する、変数ｎＢｄＹおよびｎＢｄＣとを用いる。ステップ１３７０は、リサンプリングされビット深度スケーリングされたレイヤ間参照ピクチャｒｓｂＰｉｃを、ビット深度スケーリングにより次のように導出する。
【数４】
2016519854.tif 000008
【０１００】
ステップ１３８０のビット深度スケーリングは、ｒｓＰｉｃＳａｍｐｌｅのリサンプリングされたサンプル値を入力として用い、ｒｓｂＰｉｃＳａｍｐｌｅのリサンプリングされビット深度スケーリングされたサンプル値を出力として用いて起動される。ステップ１３８０のピクチャ・サンプル値に対するビット深度スケーリング処理は、入力：
【数５】
2016519854.tif 000009
に作用し、出力として、
【数６】
2016519854.tif 000010
を供給する。これらの出力アレイは、エンハンスメントレイヤ・ピクチャを符号化するために用いられる参照ピクチャに対応する。ピクチャ・サンプルのビット深度スケーリングの利点は、異なるビット深度のサンプルを有するピクチャ間で予測を適合させることである。
【０１０１】
ステップ１３８０のピクチャ・サンプル値に対するビット深度処理は、次のように動作する。輝度サンプル・アレイｒｓＰｉｃＳａｍｐｌｅＬにおける輝度サンプル位置（ｘＰ＝０．．ＳｃａｌｅｄＷ−１，ｙＰ＝０．．ＳｃａｌｅｄＨ−１）ごとに、対応する輝度サンプル値は、
【数７】
2016519854.tif 000011
として導出される。成分Ｃｂ  ｒｓＰｉｃＳａｍｐｌｅＣｂに関する色差サンプル・アレイにおける色差サンプル位置（ｘＰ＝０．．ＳｃａｌｅｄＷ／２−１，ｙＰ＝０．．ＳｃａｌｅｄＨ／２−１）ごとに、対応する色差サンプル値は、
【数８】
2016519854.tif 000012
として導出される。成分Ｃｒ  ｒｓＰｉｃＳａｍｐｌｅＣｒに関する色差サンプル・アレイにおける色差サンプル位置（ｘＰ＝０．．ＳｃａｌｅｄＷ／２−１，ｙＰ＝０．．ＳｃａｌｅｄＨ／２−１）ごとに、対応する色差サンプル値は、
【数９】
2016519854.tif 000013
として導出される。これらの数式は、ベースおよびエンハンスメントレイヤ間のサンプル・ビット深度差に対して参照ピクチャを補償する。
【０１０２】
当然のことながら、上記のビット深度スケーリングは、様々な代わりの実施形態において実装されてもよい。例えば、ステップ１３７０および１３８０で用いられたビット深度変数は、色域スケーラブルな（ＣＧＳ：ｃｏｌｏｒ  ｇａｍｕｔ  ｓｃａｌａｂｌｅ）エンハンスメントレイヤを生成するために用いることもできるであろう。一実装において、ビット深度スケーリングは、（例えば、リサンプリングおよびビット深度スケーリングされた）ベースレイヤ・ピクチャである予測器と同様に片予測を利用することによって、色域スケーラブルな（ＣＧＳ）エンハンスメントレイヤ・ピクチャに対する動き補償が重み付き予測を用いて生じることを必要とするであろう。この実装の利点は、色空間予測を行うために、既存のＨＥＶＣベースの仕様において定められた重み付き予測処理を利用しうることである。
【０１０３】
別の実施形態では、レイヤｉがＣＧＳエンハンスメントレイヤであるときはいつでも、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｉ−１］は、１に等しくセットでき、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、ｊ＜ｉ−１に対して０に等しくできるであろう。これは、インデックスｉ−１をもつレイヤのみがインデックスｉをもつレイヤのための直接参照レイヤであってもよく、それによって、この色域スケーラブルな符号化を用いるときにレイヤ従属性シグナリングを制約するように動作することを意味する。レイヤ従属性シグナリングを制約する利点は、参照ピクチャリストが簡略化されることである。別の選択肢として、レイヤｉがＣＧＳエンハンスメントレイヤであるときはいつでも、
【数１０】
2016519854.tif 000014
である。
【０１０４】
結果として、インデックスｉをもつレイヤは、他のレイヤから１つの直接参照レイヤのみを有する。レイヤ従属性シグナリングを制約する利点は、参照ピクチャリストが簡略化されることである。
【０１０５】
別の実装では、ＣＧＳエンハンスメントレイヤ・ピクチャに対するスライスごとの復号処理は、変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０に関して参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０を次のように導出することから始めることができ、この変数は、リストＲｅｆＰｉｃＬｉｓｔ０を作り出すために後で用いられる一時的な参照ピクチャリスト−ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０−におけるエントリの数を参照する、すなわち、
【数１１】
2016519854.tif 000015
ここで、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿１０＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１＋１およびＮｕｍＰｏｃＴｏｔａｌＣｕｒｒは、それぞれ一時的変数であり、次に、リストＲｅｆＰｉｃＬｉｓｔ０を次のように構築する。
【数１２】
2016519854.tif 000016
レイヤｉがＣＧＳエンハンスメントレイヤであるときには、ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ＩＯ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１が０に等しいとすることも必要条件となりうるであろう。
【０１０６】
ＨＥＶＣのようなビデオ圧縮システム、および先行ビデオ圧縮規格Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣは、ビデオパラメータセット（ＶＰＳ：ｖｉｄｅｏ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）構造を使用し、この構造中にビデオパラメータセットは、ビデオパラメータセットの拡張を含めて、符号化されたビデオのいくつかの領域を復号するために用いることができる情報を含む。例えば、現行のＨＥＶＣは、表３に提示されるように、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎ（）下にビデオパラメータセットを拡張するためのシンタックスを含む。
【表３】
2016519854.tif 000017
表３
【０１０７】
ＨＥＶＣにおけるｖｐｓ＿ｅｘｔｅｎｓｉｏｎ（）下の従来のビデオパラメータセットは、表３に提示されるように、符号化されたビデオ・フォーマットの色特性の限られたキャラクタリゼーションを提供するに過ぎない。対照的に、表４に提示される拡大されたｖｐｓ＿ｅｘｔｅｎｓｉｏｎ（）は、符号化されたビデオ・フォーマットの色特性に関する特有の属性を含み、それによって、エンハンスメントレイヤに関する色域スケーラビリティおよびビット深度情報をｖｐｓ拡張でシグナリングする。各レイヤの輝度および色差成分のビット深度についての情報ならびに各レイヤのソース原色の色度座標についての情報は、端末デバイスに復号すべきレイヤをそれらのビット深度および色サポート能力に基づいて選択させる際に、セッション・ネゴシエーションに役立つことができる。
【表４】
2016519854.tif 000018
表４
【０１０８】
拡大されたｖｐｓ＿ｅｘｔｅｎｓｉｏｎ（）セットは、属性：「ｂｉｔ＿ｄｅｐｔｈ＿ｌａｙｅｒ＿ｌｕｍａ＿ｍｉｎｕｓ８［ｉｄ］＋８」を含み、この属性は、
【数１３】
2016519854.tif 000019
によって指定されるように、レイヤｉｄ  ｉｄをもつレイヤに関する（時には「輝度（ｌｕｍａ）」と呼ばれる）輝度（ｌｕｍｉｎａｎｃｅ）アレイのサンプルのビット深度を指定し、ｂｉｔ＿ｄｅｐｔｈ＿ｌａｙｅｒ＿ｌｕｍａ＿ｍｉｎｕｓ８は、ビデオの８から１４までの範囲内の輝度成分のビット深度に従うか、またはそれを指示する、両端値を含めて０から６までの範囲内にある。「ｂｉｔ＿ｄｅｐｔｈ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８［ｉｄ］＋８」は、
【数１４】
2016519854.tif 000020
によって指定されるように、レイヤｉｄ  ｉｄをもつレイヤに関する（時には「色差（ｃｈｒｏｍａ）」と呼ばれる）色差（ｃｈｒｏｍｉｎａｎｃｅ）アレイのサンプルのビット深度を指定し、ｂｉｔ＿ｄｅｐｔｈ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８は、ビデオの８から１４までの範囲内の色差成分のビット深度に従うか、またはそれを指示する、両端値を含めて０から６までの範囲内にある。「ｌａｙｅｒ＿ｃｏｌｏｒ＿ｇａｍｕｔ［ｉｄ］」は、レイヤｉｄのためのソース原色の色度座標が勧告ＩＴＵ−Ｒ  ＢＴ．２０２０に従って定義されることを指定するために１に等しくセットされ、ｌａｙｅｒ＿ｃｏｌｏｒ＿ｇａｍｕｔ［ｉｄ］は、レイヤｉｄのためのソース原色の色度座標が勧告ＩＴＵ−Ｒ  ＢＴ．７０９に従って定義されることを指定するために０に等しくセットされる。
【０１０９】
代わりの実施形態では、色差成分ＣｂおよびＣｒに関して別々のビット深度がシグナリングされる。別の代わりの実施形態では、ベースレイヤに関してｂｉｔｄｅｐｔｈ＿ｃｏｌｏｒｇａｍｕｔ＿ｉｎｆｏ（）もシグナリングできるであろう。この場合、ｖｐｓ＿ｅｘｔｅｎｓｉｏｎにおけるｆｏｒループ・インデックスは、ｉ＝１の代わりにｉ＝０から開始できる。さらに別の代わりの実施形態では、例えば、ＨＥＶＣ仕様草案のビデオ・ユーザビリティ情報（ＶＵＩ：ｖｉｄｅｏ  ｕｓａｂｉｌｉｔｙ  ｉｎｆｏｒｍａｔｉｏｎ）でシグナリングされる原色シンタックス要素と同様のシンタックス要素によって、ＢＴ．７０９およびＢＴ．２０２０以外の原色が指示され、その原色を指示するためにレイヤごとにシグナリングできるであろう。
【０１１０】
上記のシステムおよび機器は、本明細書に記載されるオペレーションのいくつかまたはすべてを行うために、専用プロセッサシステム、マイクロコントローラ、プログラマブル論理デバイス、マイクロプロセッサ、またはそれらの任意の組み合わせを用いることができる。上記のオペレーションのいくつかがソフトウェアで実装されてもよく、他のオペレーションがハードウェアで実装されてもよい。本明細書に記載されるオペレーション、処理、および／または方法のいずれも、示された図面を参照して、本明細書に記載されるものと実質的に同様の機器、デバイスおよび／またはシステムにより行うことができる。
【０１１１】
処理デバイスは、メモリに記憶された命令または「コード」を実行する。メモリは、データも同様に記憶する。処理デバイスは、以下には限定されないが、アナログプロセッサ、デジタルプロセッサ、マイクロプロセッサ、マルチコアプロセッサ、プロセッサアレイ、ネットワークプロセッサなどを含む。処理デバイスは、集積化制御システムまたはシステムマネージャの一部であってもよく、あるいはネットワーク化されたシステムと無線送信を通じて局所的あるいは遠隔的にインターフェース接続するように構成されたポータブル電子デバイスとして設けられてもよい。
【０１１２】
プロセッサメモリは、処理デバイスと集積化されてもよく、例えば、ＲＡＭまたはＦＬＡＳＨメモリが集積回路マイクロプロセッサ内などに配置される。他の例では、メモリは、外付けディスクドライブ、記憶アレイ、ポータブルＦＬＡＳＨキーフォブなどのような独立したデバイスを備える。メモリおよび処理デバイスは、例えば、Ｉ／Ｏポート、ネットワーク接続などにより作動的に連結されるか、または互いに通信を行い、処理デバイスは、メモリ上に記憶されたファイルを読み取る。関連するメモリは、設計（ＲＯＭ）によりアクセス許可の設定に基づいて「リードオンリ」であってもなくてもよい。メモリの他の例は、以下には限定されないが、固体半導体デバイスに実装されたＷＯＲＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨなどを含む。他のメモリは、既知の回転ディスクドライブのように可動部を備えてもよい。すべてのかかるメモリは、「機械読み取り可能」であり、処理デバイスによって読み取り可能である。
【０１１３】
動作命令またはコマンドは、（「コンピュータプログラム」または「コード」としても知られる）記憶されたコンピュータソフトウェアの具体的な形態で実装または具現されうる。プログラム、またはコードは、ディジタルメモリに記憶され、処理デバイスによって読み取られる。「コンピュータ可読記憶媒体」（または代わりに、「機械可読記憶媒体」）は、メモリがコンピュータプログラムまたは他のデータの特質をもつデジタル情報を、少なくとも一時的に、記憶できる限り、かつ記憶された情報が適切な処理デバイスによって「読み取られる」限り、メモリの前述のタイプのすべてに加えて将来の新技術を含みうる。用語「コンピュータ可読」は、完全なメインフレーム、ミニコンピュータ、デスクトップまたはさらにラップトップコンピュータも示唆する「コンピュータ」の歴史的な用法に限定されない。むしろ、「コンピュータ可読」は、プロセッサ、処理デバイス、または任意の計算システムにより可読の記憶媒体を備える。かかる媒体は、コンピュータもしくはプロセッサにより局所的および／または遠隔的にアクセスされる任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体、ならびにリムーバブルおよびノンリムーバブル媒体、あるいはそれらの任意の組み合わせを含みうる。
【０１１４】
コンピュータ可読記憶媒体に記憶されたプログラムは、コンピュータプログラム製品を備えてもよい。例えば、記憶媒体は、コンピュータプログラムを記憶または輸送するための便利な手段として用いられる。便宜上、オペレーションは、相互接続または結合された様々な機能ブロックまたは図として記載される。しかしながら、これらの機能ブロックまたは図は、単一の論理デバイス、境界が不明確なプログラムまたはオペレーションに同等な状態で統合されてもよい場合がありうる。
【０１１５】
本明細書に教示される概念が多くの他の方法で特定の用途に適合しうることを当業者は理解するであろう。特に、示された例が本開示を読んだときに明らかになるであろう多くの代わりの実装の１つに過ぎないことを当業者は理解するであろう。
【０１１６】
本明細書は、数箇所で「ａｎ（１つの）」、「ｏｎｅ（１つの）」、「ａｎｏｔｈｅｒ（別の）」または「ｓｏｍｅ（いくつかの）」例（単数または複数）に言及するが、これはそれぞれのかかる言及が同じ例（単数または複数）を対象とすること、または特徴が単一の例にのみ当て嵌まることを必ずしも意味しない。
【図１】
2016519854.tif 000021
【図２】
2016519854.tif 000022
【図３Ａ】
2016519854.tif 000023
【図３Ｂ】
2016519854.tif 000024
【図４】
2016519854.tif 000025
【図５Ａ】
2016519854.tif 000026
【図５Ｂ】
2016519854.tif 000027
【図６】
2016519854.tif 000028
【図７】
2016519854.tif 000029
【図８】
2016519854.tif 000030
【図９】
2016519854.tif 000031
【図１０Ａ】
2016519854.tif 000032
【図１０Ｂ】
2016519854.tif 000033
【図１１】
2016519854.tif 000034
【図１２Ａ】
2016519854.tif 000035
【図１２Ｂ】
2016519854.tif 000036
【図１３】
2016519854.tif 000037
【国際調査報告】
2016519854.tif 000038
2016519854.tif 000039