(57)【要約】画像デコーダは、符号化されたビデオストリームの少なくとも一部を色空間予測技術を用いて復号するためのベースレイヤを含む。
2017513312.tif 000002
【特許請求の範囲】
【請求項１】
デコーダによってビデオのためのビットストリームを復号化する方法であって、
（ａ）前記ビットストリーム中で色パラメータを受信するステップであって、
（ｂ）前記色パラメータは、前記ビットストリームによって提供される残差係数の除数の値を含み、
（ｃ）前記色パラメータは、前記ビットストリームによって提供される残差係数の商の値を含み、
（ｄ）前記色パラメータは、前記ビットストリームによって提供される残差係数の余りの値を含み、
（ｅ）前記色パラメータは、前記ビットストリームによって提供される残差係数の符号を含み、前記残差係数の商の値または前記残差係数の余りの値がゼロでない場合にのみ、前記残差係数の符号がシグナリングされる、
ステップと、
（ｆ）前記ビットストリームにおいて受信される前記残差係数の除数の値、残差係数の商の値、前記残差係数の余りの値および前記残差係数の符号に基づいて、前記ビデオを復号するステップと
を含む、方法。
【請求項２】
色パラメータは、前記ビットストリームの異なるレイヤ間のマッピングに関する、請求項１に記載の方法。
【請求項３】
前記残差係数の符号がシグナリングされない場合には、０であると推定される、請求項１に記載の方法。
【請求項４】
前記残差係数の符号についての前記０の値は、正の残差係数の値を表し、前記残差係数の符号についての１の値は、負の残差係数の値を表す、請求項３に記載の方法。
【請求項５】
前記残差係数の値は、前記残差係数の商を前記残差係数の除数と乗算し、結果を前記残差係数の余りに加算し、前記残差係数の符号の値に基づいて前記符号を決定することによって決定される、請求項４に記載の方法。
【請求項６】
前記色パラメータの予測因子を受信するステップをさらに含む、請求項１に記載の方法。
【請求項７】
前記色パラメータの予測因子は、前記ビットストリームにおいてシグナリングされるデータに基づいて推定される、請求項１に記載の方法。
【請求項８】
色パラメータ値は、前記色パラメータの予測因子と前記残差係数の値とに基づいて決定される、請求項１に記載の方法。
【請求項９】
前記色パラメータ値に基づいて前記ビデオを復号するステップをさらに含む、請求項７に記載の方法。
【請求項１０】
色パラメータ値は、前記色パラメータの予測因子と前記残差係数の値とに基づいて決定される、請求項５に記載の方法。
【請求項１１】
前記色パラメータの予測因子を受信するステップをさらに含む、請求項５に記載の方法。
【請求項１２】
前記色パラメータの予測因子は、前記ビットストリームにおいてシグナリングされるデータに基づいて推定される、請求項５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願の相互参照〕
なし
〔技術分野〕
この開示は、一般にビデオ符号化に関し、より詳しくは、ビデオ符号化のための色空間予測に関する。
【背景技術】
【０００２】
多くのシステムは、ビデオ符号化規格を実装して、限られた帯域幅および／または限られた記憶容量をもつチャネル上でビデオデータを送信すべく圧縮するためにビデオエンコーダを含む。これらのビデオ符号化規格は、フレームをより効果的に符号化するために、複数の符号化段階、例えば、イントラ予測、空間領域から周波数領域への変換、周波数領域から空間領域への逆変換、量子化、エントロピー符号化、動き推定、および動き補償を含むことができる。
【０００３】
従来のデジタル高精細度（ＨＤ：Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）コンテンツは、ビデオコンテンツに関する解像度、色域、ガンマ、および量子化ビット深度を規定するビデオ符号化規格、国際電気通信連合無線通信部門（ＩＴＵ−Ｒ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｒａｄｉｏ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｅｃｔｏｒ）勧告ＢＴ．７０９により記述されるフォーマットで表現できる。より高解像度のビデオ規格、例えば、ＩＴＵ−Ｒ超高精細度テレビ（ＵＨＤＴＶ：Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）は、ＢＴ．７０９と比較して、高い解像度を有するのに加えて、広い色域と増加した量子化ビット深度とを有することができ、その出現に伴い、より低解像度のＨＤコンテンツに基づく多くのレガシーシステムでは圧縮されたＵＨＤＴＶコンテンツを利用することができない。これらレガシーシステムのユーザビリティを維持するための現在の解決法の１つは、圧縮されたＨＤコンテンツおよび圧縮されたＵＨＤＴＶコンテンツの両方を別々にサイマルキャストすることを含む。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サイマルキャストを受信したレガシーシステムは、圧縮されたＨＤコンテンツを復号して利用する能力を有するが、基礎をなすコンテンツが同じ複数のビットストリームを圧縮してサイマルキャストすることは、処理、帯域幅、および記憶リソースを非効率的に用いることになりかねない。
【０００５】
本発明の前述および他の目的、特徴、ならびに利点は、本発明の以下の詳細な記載を添付図面と併せて考察したときにさらに容易に理解されるであろう。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る方法は、デコーダによってビデオのためのビットストリームを復号化する方法であって、（ａ）前記ビットストリーム中で色パラメータを受信するステップであって、（ｂ）前記色パラメータは、前記ビットストリームによって提供される残差係数の除数の値を含み、（ｃ）前記色パラメータは、前記ビットストリームによって提供される残差係数の商の値を含み、（ｄ）前記色パラメータは、前記ビットストリームによって提供される残差係数の余りの値を含み、（ｅ）前記色パラメータは、前記ビットストリームによって提供される残差係数の符号を含み、前記残差係数の商の値または前記残差係数の余りの値がゼロでない場合にのみ、前記残差係数の符号がシグナリングされる、ステップと、（ｆ）前記ビットストリームにおいて受信される前記残差係数の除数の値、残差係数の商の値、前記残差係数の余りの値および前記残差係数の符号に基づいて、前記ビデオを復号するステップとを含む。
【図面の簡単な説明】
【０００７】
【図１】ビデオ符号化システムのブロック図の例である。
【図２】ＢＴ．７０９ビデオ規格およびＵＨＤＴＶビデオ規格でサポートされる色域を示す例のグラフ２００である。
【図３Ａ】図１に示されるビデオエンコーダのブロック図の例である。
【図３Ｂ】図１に示されるビデオエンコーダのブロック図の例である。
【図３Ｃ】図１に示されるビデオエンコーダのブロック図の例である。
【図４】図３Ａおよび３Ｂに示される色空間予測器のブロック図の例である。
【図５Ａ】図１に示されるビデオデコーダのブロック図の例である。
【図５Ｂ】図１に示されるビデオデコーダのブロック図の例である。
【図５Ｃ】図１に示されるビデオデコーダのブロック図の例である。
【図６】図５Ａおよび５Ｂに示される色空間予測器のブロック図の例である。
【図７】図１に示されるビデオエンコーダでの色空間予測に関する例の動作フローチャートである。
【図８】図１に示されるビデオデコーダでの色空間予測に関する例の動作フローチャートである。
【図９】図１に示されるビデオデコーダでの色空間予測に関する別の例の動作フロー図である。
【図１０】０次指数ゴロム符号を示す。
【発明を実施するための形態】
【０００８】
〔定義〕
以下の算術演算子は、以下のように定義される。
【０００９】
＋  加算
−  減算（２引数演算子として）またはマイナス（単項前置演算子として）
＊  乗算、マトリックス乗算を含む。
【００１０】
ｘｙ  累乗。ｘのｙ乗を示す。他の文脈では、このような符号は累乗として解釈される意図のない肩数字として使用される。
【００１１】
／  結果をゼロ方向に切り捨てた整数除算。例えば、７／４および−７／−４は１に切り捨てられ、−７／４および７／−４は−１に切り捨てられる。
【００１２】
÷  切り捨てまたは丸めが意図されない数式における除算を示すために使用される。
【００１３】
【数１】
2017513312.tif 000003
切り捨てまたは丸めが意図されない数式における除算を示すために使用される。
【００１４】
【数２】
2017513312.tif 000004
ｉがｘからｙまでのすべての整数値をとるｆ（ｉ）の総和。
【００１５】
ｘ％ｙ  モジュロ（剰余）。ｘ＞＝０およびｙ＞０の整数ｘおよびｙのみにつき定義される、ｘをｙで割った余り。
【００１６】
以下の論理演算子は、以下のように定義される。
【００１７】
ｘ＆＆ｙ  ｘおよびｙのブール論理「ａｎｄ」。
【００１８】
ｘ｜｜ｙ  ｘおよびｙのブール論理「ｏｒ」。
【００１９】
！  ブール論理「ｎｏｔ」。
【００２０】
ｘ？ｙ：ｚ  ｘが真であるかまたは０に等しくなければｙの値となり、他の場合にはｚの値となる。
【００２１】
以下の関係演算子は、以下のように定義される。
【００２２】
＞  より大きい。
【００２３】
＞＝  以上。
【００２４】
＜  未満。
【００２５】
＜＝  以下。
【００２６】
＝＝  イコール。
【００２７】
！＝  イコールでない。
【００２８】
以下のビットワイズ演算子は、以下のように定義される。
【００２９】
＆  ビットワイズ「ａｎｄ」。整数引数に対して演算するとき、整数値の２の補数表現に対して演算する。別の引数より少ないビットを含むバイナリの引数に対して演算するとき、０に等しいより上位のビットを加えることによって短いほうの引数が拡張される。
【００３０】
｜  ビットワイズ「ｏｒ」。整数引数に対して演算するとき、整数値の２の補数表現に対して演算する。別の引数より少ないビットを含むバイナリの引数に対して演算するとき、０に等しいより上位のビットを加えることによって短いほうの引数が拡張される。
【００３１】
＾  ビットワイズ「排他的ｏｒ」。整数引数に対して演算するとき、整数値の２の補数表現に対して演算する。別の引数より少ないビットを含むバイナリの引数に対して演算するとき、０に等しいより上位のビットを加えることによって短いほうの引数が拡張される。
【００３２】
ｘ＞＞ｙ    ｙ桁の２進数字によるｘの２の補数整数表現の算術的右シフト。この関数は、ｙの非負整数値についてのみ定義される。右シフトの結果最上位ビット（ＭＳＢ）にシフトされるビットは、シフト演算の前のｘのＭＳＢに等しい値を有する。
【００３３】
ｘ＜＜ｙ  ｙ桁の２進数字によるｘの２の補数整数表現の算術的左シフト。この関数は、ｙの非負整数値についてのみ定義される。左シフトの結果最下位ビット（ＬＳＢ）にシフトされるビットは、０に等しい値を有する。
【００３４】
以下の算術演算子は、以下のように定義される。
【００３５】
＝  代入演算子。
【００３６】
＋＋  インクリメント、すなわちｘ＋＋は、ｘ＝ｘ＋１と等価である。配列インデックスにおいて使用されるときには、増加演算の前の変数の値となる。
【００３７】
−−  デクリメント、すなわちｘ−−は、ｘ＝ｘ−１と等価である。配列インデックスにおいて使用されるときには、減少演算の前の変数の値となる。
【００３８】
＋＝  指定された量によるインクリメント、すなわちｘ＋＝３はｘ＝ｘ＋３と等価であり、ｘ＋＝（−３）は、ｘ＝ｘ＋（−３）と等価である。
【００３９】
−＝  指定された量によるデクリメント、すなわちｘ−＝３はｘ＝ｘ−３と等価であり、ｘ−＝（−３）は、ｘ＝ｘ−（−３）と等価である。
【００４０】
以下の数学関数が定義される。
【００４１】
【数３】
2017513312.tif 000005
Ｃｅｉｌ（ｘ）  ｘ以上の最も小さい整数
Ｃｌｉｐ１Ｙ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＹ）−１，ｘ）
Ｃｌｉｐ１Ｃ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＣ）−１，ｘ）
【００４２】
【数４】
2017513312.tif 000006
Ｆｌｏｏｒ（ｘ）  ｘ以下の最も大きい整数。
Ｌｏｇ２（ｘ）  ｘの底を２とする対数。
Ｌｏｇ１０（ｘ）  ｘの底を１０とする対数。
【００４３】
【数５】
2017513312.tif 000007
【００４４】
【数６】
2017513312.tif 000008
指数ゴロム符号（すなわちＥＧｋ）は、０を含む非負整数を符号化するパラメータ化された構造化された符号である。正の整数Ｉにつき、ｋ次の指数ゴロム符号は、２進符号語を以下の形で生成する。
【００４５】
ＥＧｋ（Ｉ）＝［（Ｌ’−１）ゼロ］［β（Ｉ）＋１の最上位（Ｌ−ｋ）ビット］［β（Ｉ）の最後のｋビット］＝［（Ｌ’−１）ゼロ］［β（１＋Ｉ／２ｋ）］［β（Ｉ）の最後のｋビット］
式中、β（Ｉ）は、各２進語を正の整数と解釈するＩの自然２進表現に対応するＩのベータ符号であり、Ｌは、２進符号語β（Ｉ）の長さであり、Ｌ’は、β（Ｉ）の最初の（Ｌ−ｋ）ビットをとり、算術的に１を加えることに対応する２進符号語β（１＋Ｉ／２ｋ）の長さである。長さＬは、Ｉ＞０につき、Ｌ＝（［Ｌｏｇ２（Ｉ）］＋１）として計算されることができ、式中、［．］は、最も近い相対的に小さい整数への丸めを示し、Ｉ＝０、およびＬ＝１であるのが好ましい。同様に、長さＬ’は、Ｌ’＝（［Ｌｏｇ２（１＋Ｉ／２ｋ）］＋１）として計算できる。ｋ次指数ゴロム符号は、１に到達するまで先頭０ビットを読み、カウントすることによって復号されることができる。カウントされた０の数をＮとする。それから、２進符号語β（Ｉ）が、１のビットに続く次のＮビットを読み、２進ベータ符号語を形成するためにそれらの読まれたＮビットを１に付加し、形成された２進符号語から１を減算し、さらに最後のｋビットを読み、付加することによって得られる。得られたβ（Ｉ）符号語は、その対応する整数値Ｉに変換される。
【００４６】
図１０を参照すると、例示的な０次指ゴロム符号が示される。入力値のセット１０３０が決定される。対応する入力シンボルのセット１０３２が、対応する入力値１０３０に対して示される。プレフィックス１０３４は、一連の「１」の値で符号化されるのが好ましい、各入力値に対応する情報ビットの数を示す。フラグ列１０３６は、情報ビットの数の終わりを示し、プレフィックスビット１０３４から区別するために「０」の値によって符号化されるのが好ましい。サフィックス列１０３８は、入力値を示す情報ビットを示す。サフィックス１０３８におけるビット数は、プレフィックス１０３４における１の数と同じであることに注意されたい。符号語の全長１０４０は、対応する符号語の対応する全長、すなわち、プレフィックス１０３４＋フラグ列１０３６＋サフィックス１０３８を示す。符号語数１０４２は、図１０の行中のプレフィックス１０３４、フラグ１０３６およびサフィックス１０３８の組み合わせに関して表される対応する符号語の数を示す。符号語の累積数１０４４は、図１０のある行より上（その行を含む）のプレフィックス１０３４、フラグ１０３６およびサフィックス１０３８の組み合わせを使用して表される対応する符号語の累積数を示す。
【００４７】
以下のディスクリプタは、各シンタックス要素の構文解析処理を指定する。
【００４８】
‐ａｅ（ｖ）：  コンテキスト適応型算術エントロピー符号化シンタックス要素。
【００４９】
‐ｂ（８）：  ビットストリング（８ビット）の任意のパターンを有するバイト。このディスクリプタの構文解析処理は、関数ｒｅａｄ＿ｂｉｔｓ（８）の戻り値によって指定される。
【００５０】
‐ｆ（ｎ）：  左ビットが最初に（左から右へ）書かれたｎビットを使用する固定パターンビットストリング。このディスクリプタの構文解析処理は、関数ｒｅａｄ＿ｂｉｔｓ（ｎ）の戻り値によって指定される。
【００５１】
‐ｓｅ（ｖ）：  左ビットが最初の、符号付き整数０次指数ゴロム符号化シンタックス要素。
【００５２】
‐ｕ（ｎ）：  ｎビットを使用する符号なし整数。シンタックス表においてｎが「ｖ」である場合、ビットの数は、他のシンタックス要素の値に依存した様式で変動する。このディスクリプタの構文解析処理は、最上位ビットが最初に書かれる符号なし整数の２進表現と解釈される関数ｒｅａｄ＿ｂｉｔｓ（ｎ）の戻り値によって指定される。
【００５３】
‐ｕｅ（ｖ）：  左ビットが最初の、符号なし整数０次指数ゴロム符号化シンタックス要素。
【００５４】
〔好ましい実施形態の詳細な説明〕
図１は、ビデオ符号化システム１００のブロック図の例である。ビデオ符号化システム１００は、ビデオストリーム、例えば、ＢＴ．２０２０として規格化された超高精細度テレビジョン（ＵＨＤＴＶ）ビデオストリーム１０２、およびＢＴ．７０９ビデオストリーム１０４を受信するため、ならびにこれらのビデオストリームに基づいて符号化されたビデオストリーム１１２を生成するためのビデオエンコーダ３００を含むことができる。ビデオエンコーダ３００は、符号化されたビデオストリーム１１２をビデオデコーダ５００へ送信できる。ビデオデコーダ５００は、復号されたＵＨＤＴＶビデオストリーム１２２および／または復号されたＢＴ．７０９ビデオストリーム１２４を生成するために符号化されたビデオストリーム１１２を復号できる。
【００５５】
ＵＨＤＴＶビデオストリーム１０２は、ＢＴ．７０９ビデオストリーム１０４と比較して異なる解像度、異なる量子化ビット深度を有し、異なる色域を表現できる。例えば、ＵＨＤＴＶまたはＢＴ．２０２０ビデオ規格は、４ｋ（３８４０×２１６０画素）もしくは８ｋ（７６８０×４３２０画素）解像度および１０もしくは１２ビット量子化ビット深度をサポートできるフォーマット勧告を有する。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできるフォーマット勧告を有する。ＵＨＤＴＶフォーマット勧告は、ＢＴ．７０９フォーマット勧告より広い色域もサポートできる。ＵＨＤＴＶビデオ規格とＢＴ．７０９ビデオ規格との間の色域差の実施形態が図２を参照して以下にさらに詳細に図示され、記載される。
【００５６】
ビデオエンコーダ３００は、エンハンスメントレイヤ・エンコーダ３０２およびベースレイヤ・エンコーダ３０４を含むことができる。ベースレイヤ・エンコーダ３０４は、高精細度（ＨＤ）コンテンツのビデオ符号化を、例えば、ムービング・ピクチャ・エクスパーツ・グループ（ＭＰＥＧ：Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２規格を実装したコーデックなどを用いて実装できる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶコンテンツのビデオ符号化を実装できる。いくつかの実施形態において、エンハンスメントレイヤ・エンコーダ３０２は、ベースレイヤ・エンコーダ３０２で符号化されたＢＴ．７０９画像フレームからの動き補償予測、フレーム内予測、およびスケーリングされた色予測を用いて、ＵＨＤＴＶ画像フレームの少なくとも一部分の予測を生成することにより、ＵＨＤＴＶビデオフレームを符号化できる。ビデオエンコーダ３００は、予測を利用して、予測残差、例えば、予測とＵＨＤＴＶ画像フレームとの間の差を生成し、この予測残差を符号化されたビデオストリーム１１２中に符号化できる。
【００５７】
いくつかの実施形態において、ビデオエンコーダ３００がＢＴ．７０９画像フレームからのスケーリングされた色予測を利用するときに、ビデオエンコーダ３００は、色予測パラメータ１１４をビデオデコーダ５００へ送信できる。色予測パラメータ１１４は、スケーリングされた色予測を生成するためにビデオエンコーダ３００によって利用されたパラメータを含むことができる。例えば、ビデオエンコーダ３００は、それぞれが異なるパラメータ、例えば、チャネルごとの利得パラメータもしくはチャネルごとの利得パラメータおよびオフセット・パラメータを有する独立色チャネル予測またはアフィン行列ベースの色予測を通じて、スケーリングされた色予測を生成できる。色予測パラメータ１１４は、ビデオエンコーダ３００によって利用された独立色チャネル予測またはアフィン行列ベースの色予測に対応するパラメータを含むことができる。いくつかの実施形態において、エンコーダ３００は、色予測パラメータ１１４を符号化されたビデオストリーム１１２の規範的な部分に、例えば、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、ピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、または符号化されたビデオストリーム１１２の規範的な部分の別のより低レベルの区分に含むことができる。いくつかの実施形態では、ビデオエンコーダ３００は、デフォルトの色予測パラメータ１１４を利用でき、このパラメータがビデオデコーダ５００にプリセットされて、ビデオエンコーダ３００が色予測パラメータ１１４をビデオデコーダ５００へ送信する必要性が軽減される。ビデオエンコーダ３００の実施形態が以下にさらに詳細に記載される。
【００５８】
ビデオデコーダ５００は、エンハンスメントレイヤ・デコーダ５０２およびベースレイヤ・デコーダ５０４を含むことができる。ベースレイヤ・デコーダ５０４は、高精細度（ＨＤ）コンテンツのビデオ復号を、例えば、ムービング・ピクチャ・エクスパーツ・グループ（ＭＰＥＧ）−２規格を実装したコーデックなどを用いて実装でき、復号されたＢＴ．７０９ビデオストリーム１２４を生成するために符号化されたビデオストリーム１１２を復号する。エンハンスメントレイヤ・デコーダ５０２は、ＵＨＤＴＶコンテンツのビデオ復号を実装でき、復号されたＵＨＤＴＶビデオストリーム１２２を生成するために符号化されたビデオストリーム１１２を復号する。
【００５９】
いくつかの実施形態において、エンハンスメントレイヤ・デコーダ５０２は、符号化されたビデオストリーム１１２の少なくとも一部分をＵＨＤＴＶビデオフレームの予測残差中へ復号できる。エンハンスメントレイヤ・デコーダ５０２は、符号化処理の間にビデオエンコーダ３００によって生成されたＵＨＤＴＶ画像フレームと同じかまたは同様の予測を生成でき、次に、復号されたＵＨＤＴＶビデオストリーム１２２を生成するためにその予測を予測残差と結合させることができる。エンハンスメントレイヤ・デコーダ５０２は、ベースレイヤ・デコーダ５０４で復号されたＢＴ．７０９画像フレームからの動き補償予測、フレーム内予測、またはスケーリングされた色予測を通じて、ＵＨＤＴＶ画像フレームの予測を生成できる。ビデオエンコーダ４００の実施形態が以下にさらに詳細に記載される。
【００６０】
図１は、ビデオエンコーダ３００およびビデオデコーダ５００を用いたＵＨＤＴＶビデオストリームおよびＢＴ．７０９ビデオストリームの色予測ベースのビデオ符号化を示すが、いくつかの実施形態では、色予測ベースのビデオ符号化を用いて様々な色域を表現する任意のビデオストリームを符号化または復号することができる。
【００６１】
図２は、ＢＴ．７０９ビデオ規格およびＵＨＤＴＶビデオ規格でサポートされる色域を示す例のグラフ２００である。図２を参照すると、グラフ２００は、国際照明委員会（ＣＩＥ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｍｍｉｓｓｉｏｎ  ｏｎ  Ｉｌｌｕｍｉｎａｔｉｏｎ）１９３１ｘｙ色差（ｃｈｒｏｍｉｎａｎｃｅ）図フォーマットでの色域の２次元表現を示す。グラフ２００は、１９３１年にＣＩＥによって確定された、標準的な人間の観測者が見ることができる色の範囲を表すための標準観測者色域２１０を含む。グラフ２００は、ＵＨＤＴＶビデオ規格によりサポートされる色の範囲を表すためのＵＨＤＴＶ色域２２０を含む。グラフ２００は、ＵＨＤＴＶ色域２２０より狭い、ＢＴ．７０９ビデオ規格によりサポートされる色の範囲を表すためのＢＴ．７０９色域２３０を含む。このグラフは、白色２４０を表すポイントも含み、このポイントは、標準観測者色域２１０、ＵＨＤＴＶ色域２２０、およびＢＴ．７０９色域２３０に含まれる。
【００６２】
図３Ａおよび３Ｂおよび３Ｃは、図１に示されるビデオエンコーダ３００のブロック図の例である。任意の適切なタイプのビデオエンコーダが任意の適切なタイプのビデオコンテンツに使用されてよいことが理解されねばならない。任意の適切なタイプのビデオデコーダが任意の適切なタイプのビデオコンテンツに使用されてよいことが理解されねばならない。ビデオコンテンツが所望の任意のフォーマットであってよいことも理解されねばならない。また、ベースレイヤおよびエンハンスメントレイヤは、任意のタイプのレイヤであってよく、より低解像度およびより高解像度の画像を必ずしも意味しないことを理解されたい。加えて、ベースレイヤは、必要に応じて、高効率ビデオ符号化（ＨＥＶＣ：ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）に対応する。加えて、エンハンスメントレイヤは、必要に応じて、ＨＥＶＣのスケーラブル拡張（ＳＨＶＣ）およびＨＥＶＣのマルチビュー拡張（ＭＶ‐ＨＥＶＣ）に対応する。ＨＥＶＣ仕様は、参照によりその全体が本明細書に組み込まれる、Ｂ．ブロス（Ｂｒｏｓｓ）、Ｗ−Ｊ．ハン（Ｈａｎ）、Ｊ−Ｒ．オーム（Ｏｈｍ）、Ｇ．Ｊ．サリバン（Ｓｕｌｌｉｖａｎ）、およびＴ．ウィーガンド（Ｗｉｅｇａｎｄ）、「高効率ビデオ符号化（ＨＥＶＣ）テキスト仕様草案１０（Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ（ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  １０）」、ＪＣＴＶＣ−Ｌ１００３、ジュネーブ、２０１３年１月を含み、マルチビュー仕様は、参照によりその全体が本明細書に組み込まれる、Ｇ．テック（Ｔｅｃｈ）、Ｋ．ウェグナー（Ｗｅｇｎｅｒ）、Ｙ．チェン（Ｃｈｅｎ）、Ｍ．ハンヌクセラ（Ｈａｎｎｕｋｓｅｌａ）、Ｊ・ボイス（Ｂｏｙｃｅ）、「ＭＶ−ＨＥＶＣ草案テキスト６（ＭＶ−ＨＥＶＣ  Ｄｒａｆｔ  Ｔｅｘｔ  ６）（ＩＳＯ／ＩＥＣ２３００８−２：２０１ｘ／ＰＤＡＭ２）」、ＪＣＴ３Ｖ−Ｆ１００４、ジュネーブ、２０１３年１１月を含み、マルチビュー仕様は、参照によりその全体が本明細書に組み込まれる、Ｇ．テック（Ｔｅｃｈ）、Ｋ．ウェグナー（Ｗｅｇｎｅｒ）、Ｙ．チェン（Ｃｈｅｎ）、Ｍ．ハンヌクセラ（Ｈａｎｎｕｋｓｅｌａ）、Ｊ・ボイス（Ｂｏｙｃｅ）、「ＭＶ−ＨＥＶＣ草案テキスト７（ＭＶ−ＨＥＶＣ  Ｄｒａｆｔ  Ｔｅｘｔ  ７）」、ＪＣＴ３Ｖ−Ｇ１００４、サンノゼ、２０１４年１月を含み、スケーラブル仕様は、参照によりその全体が本明細書に組み込まれる、Ｊ．チェン（Ｃｈｅｎ）、Ｊ．ボイス（Ｂｏｙｃｅ）、Ｙ．イエ（Ｙｅ）、Ｍ．ハンヌクセラ（Ｈａｎｎｕｋｓｅｌａ）、「ＳＨＶＣ草案４（ＳＨＶＣ  Ｄｒａｆｔ  ４）」、ＪＣＴＶＣ−Ｏ１００８、ジュネーブ、２０１３年１１月を含み、スケーラブル仕様は、参照によりその全体が本明細書に組み込まれる、Ｊ．チェン（Ｃｈｅｎ）、Ｊ．ボイス（Ｂｏｙｃｅ）、Ｙ．イエ（Ｙｅ）、Ｍ．ハンヌクセラ（Ｈａｎｎｕｋｓｅｌａ）、Ｙ．Ｋ．ワン（Ｗａｎｇ）、「高効率ビデオ符号化（ＨＥＶＣ））スケーラブル拡張草案５（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）Ｓｃａｌａｂｌｅ  Ｅｘｔｅｎｓｉｏｎ  Ｄｒａｆｔ  ５）」、ＪＣＴＶＣ−Ｐ１００８、サンノゼ、２０１４年１月を含む。
【００６３】
図３Ａを参照すると、ビデオエンコーダ３００は、エンハンスメントレイヤ・エンコーダ３０２およびベースレイヤ・エンコーダ３０４を含むことができる。ベースレイヤ・エンコーダ３０４は、ＨＤ画像フレームを有するＢＴ．７０９ビデオストリーム１０４を受信するためのビデオ入力３６２を含むことができる。ベースレイヤ・エンコーダ３０４は、ビデオ入力３６２から受信されたＢＴ．７０９ビデオストリーム１０４を符号化するための符号化予測ループ３６４を含み、ＢＴ．７０９ビデオストリームの再構成されたフレームを参照バッファ３６８に記憶できる。参照バッファ３６８は、同じフレームの他の部分、またはＢＴ．７０９ビデオストリーム１０４の他のフレームの符号化に用いるために、再構成されたＢＴ．７０９画像フレームを符号化予測ループ３６４へ戻すことができる。参照バッファ３６８は、符号化予測ループ３６４によって符号化された画像フレームを記憶できる。ベースレイヤ・エンコーダ３０４は、符号化予測ループ３６４からのＢＴ．７０９ビデオストリームの符号化バージョンに対してエントロピー符号化演算を行うためのエントロピー符号化機能３６６を含み、エントロピー符号化されたストリームを出力インターフェース３８０へ供給できる。
【００６４】
エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームを有するＵＨＤＴＶビデオストリーム１０２を受信するためのビデオ入力３１０を含むことができる。エンハンスメントレイヤ・エンコーダ３０２は、ＵＨＤＴＶ画像フレームの予測を生成し、この予測を利用して、予測残差、例えば、結合機能３１５を用いて決定される予測とＵＨＤＴＶ画像フレームとの間の差を生成できる。いくつかの実施形態において、結合機能３１５は、ＵＨＤＴＶ画像フレームの予測から予測残差を生成するために、重み付け、例えば、線形重み付けを含むことができる。エンハンスメントレイヤ・エンコーダ３０２は、変換および量子化機能３２０を用いて予測残差を変換および量子化できる。エントロピー符号化機能３３０は、変換および量子化機能３２０の出力を符号化して、エントロピー符号化されたストリームを出力インターフェース３８０へ供給できる。出力インターフェース３８０は、符号化されたビデオストリーム１１２を生成するために、エントロピー符号化機能３６６および３３０からのエントロピー符号化されたストリームを多重化できる。
【００６５】
エンハンスメントレイヤ・エンコーダ３０２は、それぞれがＵＨＤＴＶ画像フレームの予測を生成できる色空間予測器４００、動き補償予測機能３５４、およびイントラ予測器３５６を含むことができる。エンハンスメントレイヤ・エンコーダ３０２は、結合機能３１５へ供給するために色空間予測器４００、動き補償予測機能３５４、および／またはイントラ予測器３５６によって生成された予測を選択するための予測選択機能３５０を含むことができる。
【００６６】
いくつかの実施形態において、動き補償予測機能３５４およびイントラ予測器３５６は、エンハンスメントレイヤ・エンコーダ３０２によって前に符号化され、かつ復号されたＵＨＤＴＶ画像フレームに基づいてそれらの各予測を生成できる。例えば、予測残差が変換および量子化された後、変換および量子化機能３２０は、変換および量子化された予測残差をスケーリングおよび逆変換機能３２２へ供給でき、結合機能３２５ではその結果が予測残差を生成するために利用される予測と結合され、復号されたＵＨＤＴＶ画像フレームを生成できる。結合機能３２５は、復号されたＵＨＤＴＶ画像フレームをデブロッキング機能３５１へ供給でき、デブロッキング機能３５１は、復号されたＵＨＤＴＶ画像フレームを参照バッファ３４０に記憶でき、この参照バッファは、復号されたＵＨＤＴＶ画像フレームを動き補償予測機能３５４およびイントラ予測器３５６による使用のために保持する。いくつかの実施形態において、デブロッキング機能３５１は、例えば、復号されたＵＨＤＴＶ画像フレームに対応する画像におけるマクロブロック間の鋭いエッジを平滑にするために、復号されたＵＨＤＴＶ画像フレームをフィルタできる。
【００６７】
動き補償予測機能３５４は、１つ以上の復号されたＵＨＤＴＶ画像フレームを参照バッファ３４０から受信できる。動き補償予測機能３５４は、参照バッファ３４０からの１つ以上の復号されたＵＨＤＴＶ画像フレームとＵＨＤＴＶ画像フレームとの間の画像の動きに基づいて現ＵＨＤＴＶ画像フレームの予測を生成できる。
【００６８】
イントラ予測器３５６は、参照バッファ３４０から現ＵＨＤＴＶ画像フレームの第１の部分を受信できる。イントラ予測器３５６は、エンハンスメントレイヤ・エンコーダ３０２によって前に符号化され、かつ復号された現ＵＨＤＴＶ画像フレームの少なくとも第２の部分に基づいて現ＵＨＤＴＶ画像フレームの第１の部分に対応する予測を生成できる。
【００６９】
色空間予測器４００は、ベースレイヤ・エンコーダ３０４によって前に符号化されたＢＴ．７０９画像フレームに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、ベースレイヤ・エンコーダ３０４における参照バッファ３６８は、再構成されたＢＴ．７０９画像フレームを解像度アップスケーリング機能３７０へ供給でき、この機能は、再構成されたＢＴ．７０９画像フレームの解像度をＵＨＤＴＶビデオストリーム１０２に対応する解像度へスケーリングできる。解像度アップスケーリング機能３７０は、再構成されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンを色空間予測器４００へ供給できる。色空間予測器は、再構成されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、色空間予測器４００は、再構成されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンのＹＵＶ色空間を、ＵＨＤＴＶビデオストリーム１０２によってサポートされるＹＵＶ表現に対応するようにスケーリングできる。いくつかの実施形態において、アップスケーリングおよび色予測は一緒に行われる。ベースレイヤ・エンコーダ３０４における参照バッファ３６８は、再構成されたＢＴ．７０９画像フレームをジョイント・アップスケーラ色予測器に供給できる。ジョイント・アップスケーラ色予測器３７５は、アップスケーリングされたＵＨＤＴＶ画像フレームの色予測を生成する。結合されたアップスケーラおよび色予測機能は、複雑さの低減だけでなく、別々のアップスケーラと色予測モジュールとの間での制限されたビット深度から生じる精度の損失を回避することを可能にする。
【００７０】
色空間予測器４００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間を、ＵＨＤＴＶビデオストリーム１０２によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。独立チャネル予測は、ＢＴ．７０９画像フレームのためのＹＵＶ色空間のそれぞれの部分を別々にＵＨＤＴＶ画像フレームの予測へ変換することを含むことができる。Ｙ部分または輝度は、数式１に従ってスケーリングできる。
【００７１】
ＹＵＨＤＴＶ＝ｇ１・ＹＢＴ．７０９＋ｏ１
Ｕ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数式２に従ってスケーリングできる。
【００７２】
ＵＵＨＤＴＶ＝ｇ２・ＵＢＴ．７０９＋ｏ２
Ｖ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数式３に従ってスケーリングできる。
【００７３】
ＶＵＨＤＴＶ＝ｇ３・ＶＢＴ．７０９＋ｏ３
利得パラメータｇ１、ｇ２およびｇ３ならびにオフセット・パラメータｏ１、ｏ２およびｏ３は、ＢＴ．７０９ビデオ符号化規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０４は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された利得パラメータｇ１、ｇ２およびｇ３ならびにオフセット・パラメータｏ１、ｏ２およびｏ３を、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００７４】
いくつかの実施形態において、独立チャネル予測は、利得パラメータｇ１、ｇ２およびｇ３、ならびにゼロ・パラメータを含むことができる。Ｙ部分または輝度は、数式４に従ってスケーリングできる。
【００７５】
ＹＵＨＤＴＶ＝ｇ１・（ＹＢＴ．７０９−ＹｚｅｒｏＢＴ．７０９）＋ＹｚｅｒｏＵＨＤＴＶ
Ｕ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数式５に従ってスケーリングできる。
【００７６】
ＵＵＨＤＴＶ＝ｇ２・（ＵＢＴ．７０９−ＵｚｅｒｏＢＴ．７０９）＋ＵｚｅｒｏＵＨＤＴＶ
Ｖ部分または色差（ｃｈｒｏｍｉｎａｎｃｅ）部分のうちの１つは、数６に従ってスケーリングできる。
【００７７】
ＶＵＨＤＴＶ＝ｇ３・（ＶＢＴ．７０９−ＶｚｅｒｏＢＴ．７０９）＋ＶｚｅｒｏＵＨＤＴＶ
利得パラメータｇ１、ｇ２およびｇ３は、ＢＴ．７０９ビデオ符号化規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０４は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された利得パラメータｇ１、ｇ２およびｇ３を、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。ビデオデコーダ５００がゼロ・パラメータをプリロードできるので、ビデオエンコーダ３００は、より少ない色予測パラメータ１１４、例えば、６つの代わりに３つを生成してビデオデコーダ５００へ送信できる。
【００７８】
いくつかの実施形態において、数式４〜６に用いられるゼロ・パラメータは、関連する色空間のビット深度および色チャネルに基づいて定義できる。例えば、表１では、ゼロ・パラメータを次のように定義できる。
【００７９】
【表１】
2017513312.tif 000009
アフィン混合チャネル予測は、ＵＨＤＴＶ画像フレームの予測を、例えば、行列乗算機能を通じて生成するために、ＢＴ．７０９画像フレームのためのＹＵＶ色空間を、ＢＴ．７０９画像フレームのＹＵＶチャネルを混合することによって変換することを含むことができる。いくつかの実施形態において、ＢＴ．７０９の色空間は、数式７に従ってスケーリングできる。
【００８０】
【数７】
2017513312.tif 000010
行列パラメータｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、およびｍ３３ならびにオフセット・パラメータｏ１、ｏ２およびｏ３は、ＢＴ．７０９ビデオ・フォーマット勧告およびＵＨＤＴＶビデオ・フォーマット勧告によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０４は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された行列およびオフセット・パラメータを、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００８１】
いくつかの実施形態において、ＢＴ．７０９の色空間は、数式８に従ってスケーリングできる。
【００８２】
【数８】
2017513312.tif 000011
行列パラメータｍ１１、ｍ１２、ｍ１３、ｍ２２およびｍ３３ならびにオフセット・パラメータｏ１、ｏ２およびｏ３は、ＢＴ．７０９ビデオ符号化規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０４は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された行列およびオフセット・パラメータを、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００８３】
行列パラメータｍ２１、ｍ２３、ｍ３１およびｍ３２をゼロと置き換えることによって、ＵＨＤＴＶ画像フレーム予測の輝度チャネルＹは、ＢＴ．７０９画像フレームの色チャネルＵおよびＶと混合できるが、ＵＨＤＴＶ画像フレーム予測の色チャネルＵおよびＶは、ＢＴ．７０９画像フレームの輝度チャネルＹとは混合されない。選択的なチャネル混合は、輝度チャネルＵＨＤＴＶ画像フレーム予測のより正確な予測を可能にして、一方ではビデオデコーダ５００へ送信すべき予測パラメータ１１４の数を削減できる。
【００８４】
いくつかの実施形態において、ＢＴ．７０９の色空間は、数式９に従ってスケーリングできる。
【００８５】
【数９】
2017513312.tif 000012
行列パラメータｍ１１、ｍ１２、ｍ１３、ｍ２２、ｍ２３、ｍ３２およびｍ３３ならびにオフセット・パラメータｏ１、ｏ２、およびｏ３は、ＢＴ．７０９ビデオ規格およびＵＨＤＴＶビデオ規格によってサポートされる色空間における差に基づくことができ、各ＢＴ．７０９画像フレームおよびＵＨＤＴＶ画像フレームのコンテンツに依存して変化しうる。エンハンスメントレイヤ・エンコーダ３０４は、ＵＨＤＴＶ画像フレームの予測を生成するために色空間予測器４００によって利用された行列およびオフセット・パラメータを、色予測パラメータ１１４として、例えば、出力インターフェース３８０経由でビデオデコーダ５００へ出力できる。
【００８６】
行列パラメータｍ２１およびｍ３１をゼロと置き換えることによって、ＵＨＤＴＶ画像フレーム予測の輝度チャネルＹは、ＢＴ．７０９画像フレームの色チャネルＵおよびＶと混合できる。ＵＨＤＴＶ画像フレーム予測のＵおよびＶ色チャネルは、ＢＴ．７０９画像フレームのＵおよびＶ色チャネルと混合できるが、ＢＴ．７０９画像フレームの輝度チャネルＹとは混合されない。選択的なチャネル混合は、輝度チャネルＵＨＤＴＶ画像フレーム予測のより正確な予測を可能にして、一方ではビデオデコーダ５００へ送信すべき予測パラメータ１１４の数を削減できる。
【００８７】
色空間予測器４００は、スケーリングされた色空間予測を予測選択機能３５０のためにシーケンス（フレーム間）ごと、フレームごと、またはスライス（フレーム内）ごとに生成でき、ビデオエンコーダ３００は、スケーリングされた色空間予測に対応する予測パラメータ１１４をシーケンス（フレーム間）ごと、フレームごと、またはスライス（フレーム内）ごとに送信できる。いくつかの実施形態において、スケーリングされた色空間予測を生成するための粒度は、色空間予測器４００にプリセットもしくは固定でき、または符号化機能もしくはＵＨＤＴＶ画像フレームのコンテンツに基づいて、ビデオエンコーダ３００によって動的に調整可能である。
【００８８】
ビデオエンコーダ３００は、色予測パラメータ１１４を符号化されたビデオストリーム１１２の規範的な部分で、例えば、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、または符号化されたビデオストリーム１１２の規範的な部分の別のより低レベルの区分で送信できる。いくつかの実施形態において、色予測パラメータ１１４は、符号化されたビデオストリーム１１２へ１つのシンタックスとともに挿入でき、このシンタックスは、ビデオデコーダ５００が符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在することを識別し、パラメータの精度またはサイズ、例えば、それぞれのパラメータを表すために利用されたビットの数を識別し、かつ色空間予測を生成するためにビデオエンコーダ３００の色空間予測器４００が利用した色空間予測のタイプを識別することを可能にする。
【００８９】
いくつかの実施形態において、符号化されたビデオストリーム１１２の規範的な部分は、フラグ（ｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎ）、例えば、符号化されたビデオストリーム１１２における色空間パラメータ１１４の包含を通知できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、サイズパラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）、例えば、それぞれのパラメータを表すために利用されたビットの数または精度を識別できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、予測器タイプ・パラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）、例えば、色空間予測を生成するためにビデオエンコーダ３００によって利用された色空間予測のタイプを識別できる１つ以上のビットを含むことができる。色空間予測のタイプは、独立チャネル予測、アフィン予測、それらの様々な実装などを含むことができる。色予測パラメータ１１４は、ビデオエンコーダ３００によって利用される予測のタイプに依存して利得パラメータ、オフセット・パラメータおよび／または行列パラメータを含むことができる。
【００９０】
図３Ｂを参照すると、ビデオエンコーダ３０１は、図３Ａに先に示され、記載されたビデオエンコーダ３００と同様とすることができ、相違は、次の通りである。ビデオエンコーダ３０１は、色空間予測器４００を解像度アップスケーリング機能３７０と入れ替えることができる。色空間予測器４００は、ベースレイヤ・エンコーダ３０４によって前に符号化されたＢＴ．７０９画像フレームに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。
【００９１】
いくつかの実施形態において、ベースレイヤ・エンコーダ３０４における参照バッファ３６８は、符号化されたＢＴ．７０９画像フレームを色空間予測器４００へ供給できる。色空間予測器は、符号化されたＢＴ．７０９画像フレームのＹＵＶ色空間をＵＨＤＴＶビデオ・フォーマットによってサポートされるＹＵＶ表現に対応するようにスケーリングできる。色空間予測器４００は、色空間予測を解像度アップスケーリング機能３７０へ供給でき、この機能は、符号化されたＢＴ．７０９画像フレームの色空間予測の解像度をＵＨＤＴＶビデオ・フォーマットに対応する解像度へスケーリングできる。解像度アップスケーリング機能３７０は、解像度がアップスケーリングされた色空間予測を予測選択機能３５０へ供給できる。
【００９２】
図４は、図３Ａに示される色空間予測器４００のブロック図の例である。図４を参照すると、色空間予測器４００は、再構成されたＢＴ．７０９ビデオフレーム４０２を、例えば、ベースレイヤ・エンコーダ３０４から解像度アップスケーリング機能３７０経由で受信して、色空間予測４０６の生成に関する予測タイプおよびタイミングを選択するための色空間予測制御デバイス４１０を含むことができる。いくつかの実施形態において、色空間予測制御デバイス４１０は、再構成されたＢＴ．７０９ビデオフレーム４０２を独立チャネル予測機能４２０、アフィン予測機能４３０、またはクロスカラー予測機能４４０のうちの少なくとも１つへ渡すことができる。予測機能４２０、４３０および４４０のそれぞれは、ＵＨＤＴＶ画像フレーム（またはその部分）の色空間予測を再構成されたＢＴ．７０９ビデオフレーム４０２から、例えば、ＢＴ．７０９画像フレームの色空間をＵＨＤＴＶ画像フレームの色空間へスケーリングすることによって生成できる。
【００９３】
独立色チャネル予測機能４２０は、符号化されたＢＴ．７０９ビデオストリーム４０２のＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン予測機能４３０は、再構成されたＢＴ．７０９ビデオフレーム４０２のＹＵＶ成分を行列乗算を用いて、例えば、数式７に先に示されたようにスケーリングできる。クロスカラー予測機能４４０は、符号化されたＢＴ．７０９ビデオストリーム４０２のＹＵＶ成分を修正された行列乗算を用いてスケーリングでき、この乗算行列は、ＵＨＤＴＶ画像フレームのＵおよびＶ成分を、例えば、数式８または９に先に示されたように生成するとき、符号化されたＢＴ．７０９ビデオストリーム４０２からのＹ成分の混合を除外できる。
【００９４】
いくつかの実施形態において、色空間予測器４００は、独立色チャネル予測機能４２０、アフィン予測機能４３０、およびクロスカラー予測機能４４０からの出力を選択するための選択デバイス４５０を含むことができる。選択デバイス４５０は、また、色空間予測４０６を生成するために利用された色予測パラメータ１１４を出力できる。色予測制御デバイス４１０は、色空間予測４０６の生成のタイミングと色空間予測４０６を生成するために行われる演算のタイプとを、例えば、選択デバイス４５０のタイミングおよび出力を制御することによって制御できる。いくつかの実施形態において、色予測制御デバイス４１０は、符号化されたＢＴ．７０９ビデオストリーム４０２を独立色チャネル予測機能４２０、アフィン予測機能４３０、およびクロスカラー予測機能４４０のうちの少なくとも１つへ選択的に供給することによって、色空間予測４０６の生成のタイミングと色空間予測４０６を生成するために行われる演算のタイプとを制御できる。必要に応じて任意の色空間予測が使用できることを理解されたい。
【００９５】
図５Ａおよび５Ｂおよび５Ｃは、図１に示されるビデオデコーダ５００のブロック図の例である。図５Ａを参照すると、ビデオデコーダは、符号化されたビデオストリーム１１２を、例えば、ビデオエンコーダ３００から受信するためのインターフェース５１０を含むことができる。インターフェース５１０は、符号化されたビデオストリーム１１２を逆多重化して、符号化されたＵＨＤＴＶ画像データをビデオデコーダ５００のエンハンスメントレイヤ・デコーダ５０２へ供給し、符号化されたＢＴ．７０９画像データをビデオデコーダ５００のベースレイヤ・デコーダ５０４へ供給できる。ベースレイヤ・デコーダ５０４は、インターフェース５１０から受信された符号化ＢＴ．７０９画像データを復号するためのエントロピー復号機能５５２および復号予測ループ５５４を含むことができ、復号されたＢＴ．７０９ビデオストリーム１２４を参照バッファ５５６に記憶できる。参照バッファ５５６は、復号されたＢＴ．７０９ビデオストリーム１２４を同じフレームの他の部分または符号化されたＢＴ．７０９画像データの他のフレームの復号に用いるために復号予測ループ５５４へ戻すことができる。ベースレイヤ・デコーダ５０４は、復号されたＢＴ．７０９ビデオストリーム１２４を出力できる。いくつかの実施形態では、復号予測ループ５５４からの出力かつ参照バッファ５５６への入力が再構成されたフレームデータではなく、残差フレームデータであってもよい。
【００９６】
エンハンスメントレイヤ・デコーダ５０２は、インターフェース５１０から受信された符号化ＵＨＤＴＶ画像データを復号するためのエントロピー復号機能５２２、逆量子化機能５２４、逆変換機能５２６、および結合機能５２８を含むことができる。デブロッキング機能５４１は、復号されたＵＨＤＴＶ画像フレームを、例えば、復号されたＵＨＤＴＶ画像フレームに対応する画像における領域間の鋭いエッジを平滑にするためにフィルタして、復号されたＵＨＤＴＶビデオストリーム１２２を参照バッファ５３０に記憶できる。いくつかの実施形態において、符号化されたＵＨＤＴＶ画像データは、予測残差、例えば、ビデオエンコーダ３００によって決定されるような予測とＵＨＤＴＶ画像フレームとの間の差に対応することができる。エンハンスメントレイヤ・デコーダ５０２は、ＵＨＤＴＶ画像フレームの予測を生成でき、結合機能５２８は、復号されたＵＨＤＴＶビデオストリーム１２２を生成するために、エントロピー復号、逆量子化、および逆変換を受けた符号化ＵＨＤＴＶ画像データにＵＨＤＴＶ画像フレームの予測を加えることができる。いくつかの実施形態において、結合機能５２８は、復号されたＵＨＤＴＶビデオストリーム１２２を生成するための重み付け、例えば、線形重み付けを含むことができる。
【００９７】
エンハンスメントレイヤ・デコーダ５０２は、それぞれがＵＨＤＴＶ画像フレームの予測を生成できる色空間予測器６００、動き補償予測機能５４２、およびイントラ予測器５４４を含むことができる。エンハンスメントレイヤ・デコーダ５０２は、結合機能５２８へ供給するために色空間予測器６００、動き補償予測機能５４２、および／またはイントラ予測器５４４によって生成された予測を選択するための予測選択機能５４０を含むことができる。
【００９８】
いくつかの実施形態において、動き補償予測機能５４２およびイントラ予測器５４４は、エンハンスメントレイヤ・デコーダ５０２によって前に復号され、参照バッファ５３０に記憶されたＵＨＤＴＶ画像フレームに基づいてそれらの各予測を生成できる。動き補償予測機能５４２は、１つ以上の復号されたＵＨＤＴＶ画像フレームを参照バッファ５３０から受信できる。動き補償予測機能５４２は、参照バッファ５３０からの１つ以上の復号されたＵＨＤＴＶ画像フレームとＵＨＤＴＶ画像フレームとの間の画像の動きに基づいて、現ＵＨＤＴＶ画像フレームの予測を生成できる。
【００９９】
イントラ予測器５４４は、参照バッファ５３０から現ＵＨＤＴＶ画像フレームの第１の部分を受信できる。イントラ予測器５４４は、エンハンスメントレイヤ・デコーダ５０２によって前に復号された現ＵＨＤＴＶ画像フレームの少なくとも第２の部分に基づいて現ＵＨＤＴＶ画像フレームの第１の部分に対応する予測を生成できる。
【０１００】
色空間予測器６００はベースレイヤ・デコーダ５０４によって復号されたＢＴ．７０９画像フレームに基づいてＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、ベースレイヤ・デコーダ５０４における参照バッファ５５６は、復号されたＢＴ．７０９ビデオストリーム１２４の一部分を解像度アップスケーリング機能５７０へ供給でき、この機能は、符号化されたＢＴ．７０９画像フレームの解像度をＵＨＤＴＶビデオ・フォーマットに対応する解像度へスケーリングできる。解像度アップスケーリング機能５７０は、符号化されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンを色空間予測器６００へ供給できる。色空間予測器は、符号化されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンに基づいて、ＵＨＤＴＶ画像フレームの予測を生成できる。いくつかの実施形態において、色空間予測器６００は、符号化されたＢＴ．７０９画像フレームのアップスケーリングされた解像度バージョンのＹＵＶ色空間を、ＵＨＤＴＶビデオ・フォーマットによってサポートされるＹＵＶ表現に対応するようにスケーリングできる。
【０１０１】
いくつかの実施形態において、アップスケーリングおよび色予測は一緒に行われる。ベースレイヤ・デコーダ５０４における参照バッファ５５６は、再構成されたＢＴ．７０９画像フレームをジョイント・アップスケーラ色予測器５７５に供給できる。ジョイント・アップスケーラ色予測器は、アップスケーリングされたＵＨＤＴＶ画像フレームの色予測を生成する。結合されたアップスケーラおよび色予測機能は、複雑さの低減だけでなく、別々のアップスケーラと色予測モジュールとの間での制限されたビット深度から生じる精度の損失を回避することを可能にする。アップスケーリングおよび色予測の結合の一例は、数式のサンプルセットによって定義される。従来のアップサンプリングは、分離可能なフィルタ計算とそれに続く独立した色予測によって実装される。計算例が、以下に数式１０、１１および１２によって３つのステップで示される。
【０１０２】
入力サンプルｘｉ，ｊが、タップａｋによって一方向にフィルタされて、中間サンプルｙｉ，ｊが得られる。数式１０のように、オフセットｏ１が加えられ、結果が値ｓ１によって右シフトされる。
【０１０３】
【数１０】
2017513312.tif 000013
それから中間サンプルｙｉ，ｊは、数式１１のように、タップｂｋによってフィルタされてサンプルｚｉ，ｊが得られ、第２オフセットｏ２が加えられ、結果が第２値ｓ２によって右シフトされる。
【０１０４】
【数１１】
2017513312.tif 000014
それからアップサンプリング処理の結果ｚｉ，ｊは、色予測によって処理されて、予測サンプルｐｉ，ｊが生成される。それからゲインが適用され、オフセットｏ３が加えられた後、最後にｓ３によりシフトされる。色予測処理は数式１２
Ｐｉ，ｊ＝（ゲイン・ｚｉ，ｊ＋ｏ３）＞＞ｓ３
に示される。
【０１０５】
色予測計算を第２の分離可能なフィルタ計算と結合することによって、複雑さが低減される。数式１１のフィルタタップｂｋが数式１２のゲインと結合されて、新たなタップｃｋ＝ゲイン・ｂｋが作り出され、数式１１および数式１２のシフト値が結合されて新たなシフト値ｓ４＝ｓ２＋ｓ３が得られる。数式１２のオフセットは、ｏ４＝ｏ３＜＜ｓ２に修正される。数式１１および数式１２の個別の計算が、単一の結果の数式１３において定義される。
【０１０６】
【数１２】
2017513312.tif 000015
数式１３の結合された計算は、数式１１および数式１２と比較して、２つの別々のシフトではなく単一のシフトを用いることによって計算を減らし、フィルタタップをゲイン値で予め乗算することによって乗算の回数を減らす利点がある。
【０１０７】
いくつかの実施形態では、数式１０および数式１１においてａｋ＝ｂｋであるように等しいタップを用いて分離可能なフィルタ計算を実装することが望ましい。結合されたアップスケーリングおよび色予測の直接適用は、値ｂｋが結合された値ｃｋで置き換えられるため、このタップの等価性を除去する。代替的実施形態は、このタップの等価性を維持する。ゲインは、因数ｅでシフトされた値ｒの２乗として、ゲイン＝（ｒ・ｒ）＜＜ｅの形で表される。値ｒは、ｍビットで表される。
【０１０８】
数式１０および数式１３の結果は、一対の数式１４および数式１５によって置き換えられる。
【０１０９】
【数１３】
2017513312.tif 000016
数式１５および数式１６において使用されるオフセットおよびシフトは、数式１０および数式１３における値およびゲイン値の表現から数式１６に示されるように導出される。
【０１１０】
【数１４】
2017513312.tif 000017
数式１５および数式１６におけるフィルタ計算は、等しいタップ値ｒ・ａｋを用いる。指数因子ｅの使用は、ｅの値を増加させることにより小さい値のｒで大きいゲイン値が近似されることを可能にする。
【０１１１】
色空間予測器６００は、ＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ・フォーマットによってサポートされる色空間へ、例えば、独立チャネル予測、アフィン混合チャネル予測、またはクロスカラーチャネル予測を用いてスケーリングすることにより、ビデオエンコーダ３００における色空間予測器４００と同様に動作できる。しかしながら、色空間予測器６００は、ビデオエンコーダ３００から受信された色予測パラメータ１１４に、少なくとも部分的に、基づいて生成すべき色空間予測のタイプを選択できる。色予測パラメータ１１４は、色空間予測の特定のタイプを明示的に識別でき、または色空間予測のタイプを、例えば、色予測パラメータ１１４の量および／または配置によって暗黙的に識別できる。
【０１１２】
先に考察されたように、いくつかの実施形態において、符号化されたビデオストリーム１１２の規範的な部分は、フラグ（ｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎ）、例えば、符号化されたビデオストリーム１１２における色空間パラメータ１１４の包含を通知できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、サイズパラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）、例えば、それぞれのパラメータを表すために利用されたビットの数または精度を識別できる１つ以上のビットを含むことができる。符号化されたビデオストリーム１１２の規範的な部分は、予測器タイプ・パラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）、例えば、色空間予測を生成するためにビデオエンコーダ３００によって利用された色空間予測のタイプを識別できる１つ以上のビットを含むことができる。色空間予測のタイプは、独立チャネル予測、アフィン予測、それらの様々な実装などを含むことができる。色予測パラメータ１１４は、ビデオエンコーダ３００によって利用される予測のタイプに依存して利得パラメータ、オフセット・パラメータおよび／または行列パラメータを含むことができる。
【０１１３】
色空間予測器６００は、ビデオエンコーダ３００が符号化されたビデオストリーム１１２を生成するときに色空間予測を利用するかどうかをフラグ（ｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎ）に基づいて識別する。符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在するときに、色空間予測器６００は、色予測パラメータ１１４を構文解析でき、符号化されたビデオによって利用された色空間予測のタイプを予測器タイプ・パラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）およびパラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）のサイズまたは精度に基づいて識別して、色空間予測を生成するために利用する色空間パラメータの位置を特定できる。
【０１１４】
例えば、ビデオデコーダ５００は、符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在するかどうかを決定し、次の表２におけるコード例に基づいて色予測パラメータ１１４を構文解析できる。
【０１１５】
【表２】
2017513312.tif 000018
色予測パラメータを符号化および／または復号するために任意の技術を用いることができることを理解されたい。
【０１１６】
表２におけるコード例は、ビデオデコーダ５００が符号化されたビデオストリーム１１２に色予測パラメータ１１４が存在するかどうかをｕｓｅ＿ｃｏｌｏｒ＿ｓｐａｃｅ＿ｐｒｅｄｉｃｔｉｏｎフラグに基づいて識別することを可能にできる。ビデオデコーダ５００は、色空間パラメータの精度またはサイズをサイズパラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｎｕｍ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ＿ｍｉｎｕｓ１）に基づいて識別でき、ビデオエンコーダ３００によって利用された色空間予測のタイプをタイプ・パラメータ（ｃｏｌｏｒ＿＿ｐｒｅｄｉｃｔｏｒ＿ｉｄｃ）に基づいて識別できる。表２におけるコード例は、ビデオデコーダ５００が、色空間パラメータの識別されたサイズと、ビデオエンコーダ３００によって利用され、色空間パラメータの数、セマンティクスおよび位置を識別できる識別されたタイプの色空間予測とに基づいて、符号化されたビデオストリーム１１２からの色空間パラメータを構文解析することを可能にできる。表２におけるコード例は、９つの行列パラメータおよび３つのオフセット・パラメータを含んだアフィン予測を示すが、いくつかの実施形態において、色予測パラメータ１１４は、例えば、行列パラメータのサブセットがゼロであるときに、より少ない行列および／またはオフセット・パラメータを含むことができ、コード例は、色予測パラメータ１１４をそれに従って構文解析するように修正できる。
【０１１７】
色予測パラメータをシグナリングするための代替的方法がここで記載される。ＨＥＶＣのピクチャパラメータセット（ＰＰＳ）の構造が、下表３に示される。
【０１１８】
【表３】
2017513312.tif 000019
2017513312.tif 000020
ｐｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが１に等しくセットされるとき、色予測データを運ぶための追加のフィールドが加えられる。
【０１１９】
０に等しいｐｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ｐｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がＰＰＳ  ＲＢＳＰシンタックス構造に存在しないことを指定する。
【０１２０】
拡張データにおいては以下をシグナリングする。
【０１２１】
現ピクチャに対して色予測を使用するフラグ
ゲインおよびオフセット値をシグナリングするために使用される色予測モデルのインジケータ。
【０１２２】
【表４】
2017513312.tif 000021
各モデルにつき、以下の値がシグナリングまたは導出される。
各色成分についてのｎｕｍｂｅｒ＿ｇａｉｎ＿ｆｒａｃｔｉｏｎ＿ｂｉｔｓ、ゲイン［］およびオフセット［］値。
【０１２３】
ビットインクリメント（ＢＩ：Ｂｉｔ  Ｉｎｃｒｅｍｅｎｔ）モデル：端数ビットの数はゼロであり、ゲイン値は等しく、ベースレイヤとエンハンスメントレイヤとの間のビット深度の差に基づき、すなわち１＜＜（ｂｉｔ＿ｄｅｐｔｈ＿ＥＬ−ｂｉｔ‐ｄｅｐｔｈ＿ＢＬ）であり、すべてのオフセット値は０である。
【０１２４】
固定ゲインオフセットモデル：例えばアウトオブバンドでまたはパラメータ値の予め定義された表を通じて予めシグナリングされたパラメータのセットの使用を指示するインデックスがシグナリングされる。このインデックスは、すべての成分についての端数ビットの数、ゲインおよびオフセット値を含む予め定義された値のセットを示す。これらの値はシグナリングされず、予め定義されたセットを参照する。単一のパラメータのセットしか予め定義さない場合にはインデックスは送られず、このセットが、固定ゲインオフセットモデルが使用されるときに使用される。
【０１２５】
ピクチャ適応ゲインオフセットモデル：以下のフィールドを通じてビットストリームにおいてパラメータ値がシグナリングされる。端数ビットの数は、予め定義された範囲、すなわち０〜５の整数としてシグナリングされる。各チャネルにつき、ゲインおよびオフセット値が整数としてシグナリングされる。任意の方法は、固定ゲインオフセットモデルとピクチャ適応ゲインオフセットモデルのパラメータ値との間の差をシグナリングすることである。
【０１２６】
各レイヤは、例えば色情報の存在を指示するｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを有するＨＥＶＣビデオ・ユーザビリティ情報（ＶＵＩ：Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）を使用して独立して指定された色空間を有する。例えば、異なるシーケンスパラメータセットを通じてレイヤごとに別々のＶＵＩフィールドが指定されることができる。
【０１２７】
１に等しいｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、原色、伝達特性および行列係数が存在することを示す。０に等しいｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、原色、伝達特性および行列係数が存在しないことを示す。
【０１２８】
色空間予測器６００は、色空間予測を予測選択機能５４０のためにシーケンス（フレーム間）ごと、フレームごと、またはスライス（フレーム内）ごとに生成できる。いくつかの実施形態において、色空間予測器６００は、色空間予測を固定もしくはプリセットされたタイミングで、あるいはビデオエンコーダ３００からの色予測パラメータ１１４の受信に応じて動的に生成できる。
【０１２９】
図５Ｂを参照すると、ビデオデコーダ５０１は、図５Ａに先に示され、記載されたビデオデコーダ５００と同様とすることができ、相違は、次の通りである。ビデオデコーダ５０１は、色空間予測器６００を解像度アップスケーリング機能５７０と入れ替えることができる。色空間予測器６００は、ベースレイヤ・デコーダ５０４からの復号されたＢＴ．７０９ビデオストリーム１２４の部分に基づいてＵＨＤＴＶ画像フレームの予測を生成できる。
【０１３０】
いくつかの実施形態において、ベースレイヤ・デコーダ５０４における参照バッファ５５６は、復号されたＢＴ．７０９ビデオストリーム１２４の部分を色空間予測器６００へ供給できる。色空間予測器６００は、復号されたＢＴ．７０９ビデオストリーム１２４の部分のＹＵＶ色空間をＵＨＤＴＶビデオ規格によってサポートされるＹＵＶ表現に対応するようにスケーリングできる。色空間予測器６００は、色空間予測を解像度アップスケーリング機能５７０へ供給でき、この機能は、色空間予測の解像度をＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。解像度アップスケーリング機能５７０は、解像度がアップスケーリングされた色空間予測を予測選択機能５４０へ供給できる。
【０１３１】
図６は、図５Ａに示される色空間予測器６００のブロック図の例である。図６を参照すると、色空間予測器６００は、復号されたＢＴ．７０９ビデオストリーム１２２を、例えば、ベースレイヤ・デコーダ５０４から解像度アップスケーリング機能５７０経由で受信して、色空間予測６０６の生成に関する予測タイプおよびタイミングを選択するための色空間予測制御デバイス６１０を含むことができる。色空間予測器６００は、ビデオエンコーダ３００から受信された色予測パラメータ１１４に、少なくとも部分的に、基づいて生成すべき色空間予測のタイプを選択できる。色予測パラメータ１１４は、色空間予測の特定のタイプを明示的に識別でき、または色空間予測のタイプを、例えば、色予測パラメータ１１４の量および／または配置によって暗黙的に識別できる。いくつかの実施形態において、色空間予測制御デバイス６１０は、復号されたＢＴ．７０９ビデオストリーム１２２および色予測パラメータ１１４を独立チャネル予測機能６２０、アフィン予測機能６３０、またはクロスカラー予測機能６４０のうちの少なくとも１つへ渡すことができる。予測機能６２０、６３０および６４０のそれぞれは、ＵＨＤＴＶ画像フレーム（またはその部分）の色空間予測を復号されたＢＴ．７０９ビデオストリーム１２２から、例えば、ＢＴ．７０９画像フレームの色空間をＵＨＤＴＶ画像フレームの色空間へ色空間パラメータ１１４に基づいてスケーリングすることによって生成できる。必要に応じて任意の適切な色空間および／または表現が使用できることを理解されたい。
【０１３２】
独立色チャネル予測機能６２０は、復号されたＢＴ．７０９ビデオストリーム１２２のＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン予測機能６３０は、復号されたＢＴ．７０９ビデオストリーム１２２のＹＵＶ成分を行列乗算を用いて、例えば、数式７に先に示されたようにスケーリングできる。クロスカラー予測機能６４０は、復号されたＢＴ．７０９ビデオストリーム１２２のＹＵＶ成分を修正された行列乗算を用いてスケーリングでき、この乗算行列は、ＵＨＤＴＶ画像フレームのＵおよびＶ成分を、例えば、数式８または９に先に示されたように生成するとき、復号されたＢＴ．７０９ビデオストリーム１２２からのＹ成分の混合を除外できる。
【０１３３】
いくつかの実施形態において、色空間予測器６００は、独立色チャネル予測機能６２０、アフィン予測機能６３０、およびクロスカラー予測機能６４０からの出力を選択するための選択デバイス６５０を含むことができる。色予測制御デバイス６１０は、色空間予測６０６の生成のタイミングと色空間予測６０６を生成するために行われる演算のタイプとを、例えば、選択デバイス６５０のタイミングおよび出力を制御することによって制御できる。いくつかの実施形態において、色予測制御デバイス６１０は、復号されたＢＴ．７０９ビデオストリーム１２２を独立色チャネル予測機能６２０、アフィン予測機能６３０、およびクロスカラー予測機能６４０のうちの少なくとも１つへ選択的に供給することによって、色空間予測６０６の生成のタイミングと色空間予測６０６を生成するために行われる演算のタイプとを制御できる。
【０１３４】
図７は、ビデオエンコーダ３００における色空間予測に関する例の動作フロー図である。図７を参照すると、第１のブロック７１０において、ビデオエンコーダ３００は、第１の画像フォーマットを有する第１の画像を符号化できる。いくつかの実施形態において、第１の画像フォーマットは、ＢＴ．７０９ビデオ規格に対応することができ、ビデオエンコーダ３００は、ＢＴ．７０９画像フレームを符号化するためのベースレイヤを含むことができる。
【０１３５】
ブロック７２０において、ビデオエンコーダ３００は、第１の画像の色空間を第１の画像フォーマットから第２の画像フォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオエンコーダ３００は、色空間をＢＴ．７０９ビデオ規格と第２の画像フォーマットに対応する超高精細度テレビ（ＵＨＤＴＶ）ビデオ規格との間でスケーリングできる。
【０１３６】
ビデオエンコーダ３００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ・フォーマットによってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立色チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を、行列乗算を用いて、例えば、数式７〜９に先に示されたようにスケーリングできる。
【０１３７】
いくつかの実施形態において、ビデオエンコーダ３００は、第１の画像の解像度を第１の画像フォーマットから第２の画像フォーマットに対応する解像度へスケーリングできる。例えば、ＵＨＤＴＶビデオ規格は、４ｋ（３８４０×２１６０画素）または８ｋ（７６８０×４３２０画素）解像度および１０または１２ビット量子化ビット深度をサポートできる。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできる。ビデオエンコーダ３００は、符号化された第１の画像をＢＴ．７０９ビデオ規格に対応する解像度からＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。
【０１３８】
ブロック７３０において、ビデオエンコーダ３００は、色空間予測を第１の画像のスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、ＵＨＤＴＶ画像フレーム（またはその部分）の対応する符号化されたＢＴ．７０９画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオエンコーダ３００は、色空間予測を第１の画像のスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
【０１３９】
ブロック７４０において、ビデオエンコーダ３００は、第２の画像フォーマットを有する第２の画像を色空間予測に、少なくとも部分的に、基づいて符号化できる。ビデオエンコーダ３００は、符号化された第２の画像と第１の画像の色空間をスケーリングするために利用された色予測パラメータとをビデオデコーダへ出力できる。
【０１４０】
図８は、ビデオデコーダ５００における色空間予測に関する例の動作フロー図である。図８を参照すると、第１のブロック８１０において、ビデオデコーダ５００は、第１の画像フォーマットを有する第１の画像を生成するために、符号化されたビデオストリームを復号できる。いくつかの実施形態において、第１の画像フォーマットは、ＢＴ．７０９ビデオ規格に対応することができ、ビデオデコーダ５００は、ＢＴ．７０９画像フレームを復号するためのベースレイヤを含むことができる。
【０１４１】
ブロック８２０において、ビデオデコーダ５００は、第１の画像フォーマットに対応する第１の画像の色空間を第２の画像フォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオデコーダ５００は、色空間をＢＴ．７０９ビデオ規格と第２の画像フォーマットに対応する超高精細度テレビ（ＵＨＤＴＶ）ビデオ規格との間でスケーリングできる。
【０１４２】
ビデオデコーダ５００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ規格によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立色チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を、行列乗算を用いて、例えば、数式７〜９に先に示されたようにスケーリングできる。
【０１４３】
ビデオデコーダ５００は、例えば、独立チャネル予測もしくは各種のアフィン混合チャネル予測のうちの１つを行うための色空間スケーリングのタイプを、ビデオデコーダ５００がビデオエンコーダ３００から受信するチャネル予測パラメータに基づいて選択できる。いくつかの実施形態において、ビデオデコーダ５００は、復号されたＢＴ．７０９画像フレームのデフォルトまたはプリセット色空間スケーリングを行うことができる。
【０１４４】
ビデオデコーダ５００は、行う色予測のタイプを予め決定する。選択された色予測のために使用される正確なパラメータは、ＢＴ．７０９画像フレームにおける対応する画素値（単数または複数）に基づいて決定される。例示の実施形態においては、ＢＴ．７０９色空間が領域に分割され、各領域が、選択された色予測のために使用されるパラメータ値に対応する。ＢＴ．７０９画像フレームにおける対応する画素値（単数または複数）は領域に対応し、この領域はさらに選択された色予測のために使用されるパラメータに対応する。ＢＴ．７０９領域の各区画に対応するパラメータ値は、ビットストリームにおいて、例えば、スライスヘッダまたはその拡張部において、ピクチャパラメータセットまたはその拡張部において、シーケンスパラメータセットまたはその拡張部において、ビデオパラメータセットまたはその拡張部において、シグナリングされる。いくつかの実施形態において、ＢＴ．７０９領域の区画に対応するパラメータの全てまたはサブセットは推定され（または過去のデータに基づいて導出され）、明示的にシグナリングされない。
【０１４５】
符号化ツリーブロックとは、コンポーネントの符号化ツリーブロックへの分割がパーティショニングである、あるＮの値でのサンプルのＮｘＮブロックである。
【０１４６】
符号化ツリーユニットとは、３つのサンプル配列を有するピクチャの輝度サンプルの符号化ツリーブロック、色差サンプルの対応する２つの符号化ツリーブロック、または、モノクロピクチャもしくは３つの別々の色平面を使用して符号化されるピクチャのサンプルの符号化ツリーブロック、およびサンプルを符号化するために使用されるシンタックス構造である。
【０１４７】
スライスセグメントヘッダとは、スライスセグメントにおいて表される最初のまたはすべての符号化ツリーユニットに関するデータ要素を含む符号化されたスライスセグメントの一部である。
【０１４８】
スライスヘッダとは、現在のスライスセグメントである独立スライスセグメントか、または現在の依存スライスセグメントに復号順で先行する直近の独立スライスセグメントのスライスセグメントヘッダである。
【０１４９】
シーケンスパラメータセット（ＳＰＳ：ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）とは、各スライスセグメントヘッダで見出されるシンタックス要素によって参照されるＰＰＳで見出されるシンタックス要素のコンテンツによって決定されるような、ゼロまたはそれ以上の符号化ビデオシーケンス（ＣＶＳ：Ｃｏｄｅｄ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅ）全体に適用されるシンタックス要素を含んだシンタックス構造である。
【０１５０】
ピクチャパラメータセット（ＰＰＳ：ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）とは、各スライスセグメントヘッダで見出されるシンタックス要素によって決定されるような、ゼロまたはそれ以上の符号化ピクチャ全体に適用されるシンタックス要素を含んだシンタックス構造である。
【０１５１】
ビデオパラメータセット（ＶＰＳ：ｖｉｄｅｏ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）とは、各スライスセグメントヘッダで見出されるシンタックス要素によって参照されるＰＰＳで見出されるシンタックス要素によって参照されるＳＰＳで見出されるシンタックス要素のコンテンツによって決定されるような、ゼロまたはそれ以上のＣＶＳ全体に適用されるシンタックス要素を含んだシンタックス構造である。
【０１５２】
スライスヘッダにおける（色予測のために使用される）例示的な領域に関するパラメータシグナリングが、以下の表５にリストされる。この例で使用される色予測のタイプは、数式７に対応する（記載された技術は任意の代わりのタイプの色予測にもあてはまることに注意されたい）。シンタックス要素ｉｎｆｅｒ＿ｐａｒａｍｅｔｅｒｓ［ｒ］が１の値をとるとき、インデックスｒを有する領域のパラメータは、予め決定された値にセットされる。シンタックス要素ｉｎｆｅｒ＿ｐａｒａｍｅｔｅｒｓ［ｒ］が０の値をとるとき、インデックスｒを有する領域のパラメータは、ビットストリームにおいて明示的にシグナリングされる。シンタックス要素ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［ｉ］［ｊ］およびｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ［ｒ］［ｉ］は、数式７のｍｉｊおよびｏｉに対応する値をそれぞれ表す。パラメータｍｉｊ（およびｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［ｉ］［ｊ］）は、クロスカラーゲインパラメータとも呼ばれ、パラメータｏｉ（そして、ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ［ｒ］［ｉ］）は、オフセットパラメータとも呼ばれる。
【０１５３】
【表５】
2017513312.tif 000022
ビットストリームにおいて色空間領域ｒに対応する色予測パラメータをシグナリングするために使用されるビットを削減する技術は、以下の通りである。各色予測パラメータ（クロスカラーゲインまたはオフセット）値をシグナリングするステップは、第１のステップとして、予測値のセットの中からどの値（単数または複数）を参照として使用すべきかを選択するステップを含む。第２のステップとして、色予測パラメータ（クロスカラーゲインまたはオフセット）値が、選択された参照値（単数または複数）に対する差分としてシグナリングされる。例えば、復号の間に、色予測パラメータ値が、予測に基づいて、例えば５（第１のクロスカラーゲイン値または第１の色予測パラメータ）、７（第２のクロスカラーゲイン値または第２の色予測パラメータ）、１０（第３のクロスカラーゲイン値または第３の色予測パラメータ）、１２（第１のオフセット値または第４の色予測パラメータ）、２０（第４のクロスカラーゲイン値または第５の色予測パラメータ）、５０（第５のクロスカラーゲイン値または第６の色予測パラメータ）、９０（第６のクロスカラーゲイン値または第７の色予測パラメータ）、２２（第２のオフセット値または第８の色予測パラメータ）、６４（第７のクロスカラーゲイン値または第９の色予測パラメータ）、５５（第８のクロスカラーゲイン値または第１０の色予測パラメータ）、４４（第９のクロスカラーゲイン値または第１１の色予測パラメータ）、３３（第３のオフセット値または第１２の色予測パラメータ）などの色予測パラメータ値の１つ以上を用いて、逐次的様式で決定される。したがって、第６の色予測パラメータ（第５のクロスカラーゲイン値）は、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［１］［０］によって指示される第５の色予測パラメータ（第４のクロスカラーゲイン）値などの１つ以上の前の色予測パラメータに基づいて予測される。そして、第５の色予測パラメータ（第４のクロスカラーゲイン）に対応するｄｉｆｆ＿ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［１］［１］が、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［１］［０］と組み合わせて、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［１］［１］を予測するために使用される。いくつかの場合には、ｐｒｅｄ＿ｐａｒａｍｅｔｅｒ＿ｉｎｄｅｘ［ｉ］をシグナリングするために必要なメモリまたはビット数を減らすため、利用可能な色予測パラメータ値のリストが、例えば４などの所定の値のセットより少ないリストに切り詰められる。いくつかの場合には、色予測パラメータｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［０］［０］は、リストが存在しないため、対応するｐｒｅｄ＿ｐａｒａｍｅｔｅｒ＿ｉｎｄｅｘ［ｉ］が必要なく、第１の値はゼロ以外に対する差分ではないため、ｄｉｆｆ＿ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［０］［０］も必要なく、その結果、この差分は、シグナリングされるべき元のパラメータ値に対応する。いくつかの場合には、ｐｒｅｄ＿ｐａｒａｍｅｔｅｒ＿ｉｎｄｅｘ［ｉ］をシグナリングするために必要なメモリまたはビット数を減らすため、第２の色予測パラメータは、リストに１つのインデックスしか存在しないことからｐｒｅｄ＿ｐａｒａｍｅｔｅｒ＿ｉｎｄｅｘ［ｉ］を必要としない。ビットストリームにおいて色予測パラメータをシグナリングする例と整合した例示的な様式は、表６に示す通りである。
【０１５４】
【表６】
2017513312.tif 000023
表６の例示的なシグナリングでは、インデックスｒを有する色空間領域の色予測パラメータ値は、以下の通りに決定される。
for(i=0,p_idx=0;i<3;i++){
for(j=0;j<3;j++){
if(i==0&&j==0){
cross_color_predictor_gain[r][0][0]=diff_cross_color_predictor_gain[r][0][0]
} else {
cross_color_predictor_gain[r][i][j]=diff_cross_color_predictor_gain[r][i][j] + pred_parameter_set[pred_parameter_index[p_idx-1]
}
pred_parameter_set[p_idx++] = cross_color_predictor_gain[r][i][j]
} // end for j
color_predictor_offset[r][i]=diff_color_predictor_offset[r][i] + pred_parameter_set[pred_parameter_index[p_idx-1]]
pred_parameter_set[p_idx++] = color_predictor_offset[r][i]
} // end for i
色空間領域の総数は、ｎｕｍｂｅｒ＿ｏｆ＿ｒｅｇｉｏｎに等しい。
【０１５５】
ビットストリームにおいて色空間領域ｒに対応する色予測パラメータをシグナリングするために使用されるビットの減少をもたらす別の技術は、以下の通りである。第１のステップは、例えばｍｉｎ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｐａｒａｍｅｔｅｒなどの色予測パラメータ値の予測因子を送るステップを含む。色予測パラメータ値の予測因子は、１だけ減少される。色予測パラメータ値の予測因子は、何らかの様式で、例えば最小色予測パラメータ値、最大色予測パラメータ値、平均（ａｖｅｒａｇｅ）色予測パラメータ値、平均（ｍｅａｎ）色予測パラメータ値などの一連の色予測パラメータ値に基づく。例えば、色予測パラメータ値のセットが｛５０、７０、１００、１５０、５７、７０、６０、５５｝の場合、最小色予測パラメータ値は５０であり、または最小色予測パラメータ値マイナス１は４９である。予測因子、例えば最小色予測パラメータ値すなわちｍｉｎ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｐａｒａｍｅｔｅｒが提供される。第２のステップは、任意の適切な技術を用いて色予測パラメータを符号化するステップを含む。例えば、５０の予測因子値に対する色予測パラメータ値の差分が、｛０、２０、５０、１００、７、２０、１０、５｝として符号化される。第２のステップは、予測因子ベースの符号化技術に基づくすべての色予測パラメータ値、すなわちｋ次指数ゴロム符号と組み合わされたｄｉｆｆ＿ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ［ｒ］［ｉ］［ｊ］およびｄｉｆｆ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ［ｒ］［ｉ］を送るステップを含む。「ｋ」の値は、任意の適切な様式で選択される。より大きいパラメータ値に対しては、より大きい「ｋ」によって対応するより短い符号語が与えられることに注意されたい。より小さいパラメータ値に対しては、より大きい「ｋ」によって対応するより長い符号語が与えられることにも注意されたい。したがって、「ｋ」の値は、計算機的に効率的な技術をなお維持しながら、色予測パラメータ値をシグナリングするために必要なビット数を減らすために適切な様式で修正される。例えば、「ｋ」は、以下の全てまたはサブセットに基づいて修正される。以前にシグナリングされた色予測パラメータ値、量子化パラメータ、スライスタイプ、符号化されるビデオコンテンツの空間的特徴、空間的に隣接するものによって選択される「ｋ」値。ビットストリームにおいて色予測パラメータをシグナリングする例と整合した１つの例示的な様式は、表７に示す通りである。
【０１５６】
【表７】
2017513312.tif 000024
表７の例示的なシグナリングでは、色空間領域ｒの色予測パラメータ値は、以下の通りに決定される。
for(i=0;i<3;i++){
for(j=0;j<3;j++){
cross_color_predictor_gain[r][i][j]=diff_cross_color_predictor_gain[r][i][j] + min_color_prediction_parameter
} // end for j
color_predictor_offset[r][i]=diff_color_predictor_offset[r][i] + min_color_prediction_parameter
} // end for i
色空間領域の総数は、ｎｕｍｂｅｒ＿ｏｆ＿ｒｅｇｉｏｎに等しい。
【０１５７】
ビットストリームにおいて色空間領域ｒに対応する色予測パラメータをシグナリングするために使用されるビットを削減する別の技術は、以下の通りである。第１の任意のステップは、ｍｉｎ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｐａｒａｍｅｔｅｒなどの色予測パラメータ値の予測因子を送るステップを含む。色予測パラメータ値の予測因子は、１だけ減少される。色予測パラメータ値の予測因子は、何らかの様式で、例えば最小色予測パラメータ値、最大色予測パラメータ値、平均（ａｖｅｒａｇｅ）色予測パラメータ値、平均（ｍｅａｎ）色予測パラメータ値などの一連の色予測パラメータ値に基づく。例えば、色予測パラメータ値のセットが｛５０、７０、１００、１５０、５７、７０、６０、５５｝の場合、最小色予測パラメータ値は５０であり、または最小色予測パラメータ値マイナス１は４９である。予測因子、例えば最小色予測パラメータ値すなわちｍｉｎ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｐａｒａｍｅｔｅｒが提供される。第２のステップは、予測された色予測パラメータ値を、商と余りに関する任意の適切な技術を使用して符号化するステップを含む。例えば、ａ／ｂ＝ｃおよびａ％ｂ＝ｄの式において、ａは被除数と呼ばれ、ｂは除数と呼ばれ、ｃは商と呼ばれ、ｄは余りと呼ばれる。このように、予測された色予測パラメータ値の各々が所与の除数によって除算され、その結果生じた商と余りがビットストリームにおいて送信されるのが好ましい。除数は、任意の適切な特性、例えばスライスタイプ、量子化パラメータ、画像コンテンツ、色予測パラメータ値の数、画像の解像度などに基づいて決定される。一実施形態において、除数はエンコーダによって選択され、デコーダに送信される。第２のステップは、任意の適切な技術、例えば固定長符号語および／または可変長符号語に基づいて、全ての予測された色予測パラメータ値についての商および余りを送るステップを含む。余りの範囲は「０」から除数−１でありうる。ビットストリームにおいて色予測パラメータ値をシグナリングする例と整合する１つの例示的な様式が、表８に示される。
【０１５８】
【表８】
2017513312.tif 000025
表８の例示的シグナリングでは、除数は（１＜＜７）であり、クロスカラーゲインおよびオフセットパラメータについての商は、それぞれ、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｑ［ｒ］［ｉ］［ｊ］およびｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ＿ｑ［ｒ］［ｉ］であり、クロスカラーゲインおよびオフセットパラメータについての余りは、それぞれ、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｒ［ｒ］［ｉ］［ｊ］およびｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ＿ｒ［ｒ］［ｉ］であり、クロスカラーゲインおよびオフセットパラメータについての符号は、それぞれ、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｓ［ｒ］［ｉ］［ｊ］およびｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ＿ｓ［ｒ］［ｉ］によって示される。符号に対応するシンタックス要素がシグナリングされないとき、その値は０であると推定される。符号シンタックス要素の０の値は正の色予測パラメータ値を表し、１は負の色予測パラメータ値を表す。それから色空間領域ｒの色予測パラメータ値が、以下のように決定される。
cross_color_predictor_gain[r][i][j]=(cross_color_predictor_gain_q[r][i][j]<<7)+cross_color_predictor_gain_r[r][i][j]
if(cross_color_predictor_gain[r][i][j]&&cross_color_predictor_gain_s[r][i][j])
cross_color_predictor_gain[r][i][j]=-cross_color_predictor_gain[r][i][j]
color_predictor_offset[r][i]=(color_predictor_offset_q[r][i]<<7)+color_predictor_offset_r[r][i]
if(color_predictor_offset[r][i]&&color_predictor_offset_s[r][i])
color_predictor_offset[r][i]=-color_predictor_offset[r][i]
上述のシグナリングおよび導出は、除数の異なる値のために適切に修正されうる。色空間領域の総数は、ｎｕｍｂｅｒ＿ｏｆ＿ｒｅｇｉｏｎに等しい。
【０１５９】
ビットストリームにおいて色空間領域ｒに対応する色予測パラメータをシグナリングするために使用されるビットを削減する別の技術は、以下の通りである。任意の第１のステップは、ｍｉｎ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｐａｒａｍｅｔｅｒなどの色予測パラメータ値の予測因子を送るステップを含む。色予測パラメータ値の予測因子は、１だけ減少される。色予測パラメータ値の予測因子は、何らかの様式で、例えば最小色予測パラメータ値、最大色予測パラメータ値、平均（ａｖｅｒａｇｅ）色予測パラメータ値、平均（ｍｅａｎ）色予測パラメータ値、予測された色予測パラメータ値セットなどの一連の色予測パラメータ値に基づく。例えば、色予測パラメータ値のセットが｛５０、７０、１００、１５０、５７、７０、６０、５５｝の場合、最小色予測パラメータ値は５０であり、または最小色予測パラメータ値マイナス１は４９である。予測因子、例えば最小色予測パラメータ値すなわちｍｉｎ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｉｏｎ＿ｐａｒａｍｅｔｅｒが提供される。第２のステップは、予測された色予測パラメータを復号する際に用いるための除数を送るステップを含む。除数は、２の累乗マイナス１などの符号化様式で送られる（すなわち除数＝２ｚであり、「ｚ−１」が送られる）。一般に、除数は、例えばｚ−２、ｚ＋１など、任意の様式で符号化されうる。除数のシグナリングは、スライスヘッダまたはその拡張部、ピクチャパラメータセットまたはその拡張部、シーケンスパラメータセットまたはその拡張部、ビデオパラメータセットまたはその拡張部などの任意の所望の場所であってよい。第３のステップは、予測された色予測パラメータを、除数を商および余りと共に用いる任意の適切な技術を使用して符号化するステップを含む。このように、各色予測パラメータが所与の除数で除算され、したがって商と余りの関係が定義される。色予測パラメータについての商および余りは、固定長符号語および／または可変長符号語などの任意の適切な技術に基づいて送られる。例えば、システムは、除数を特定の可変長符号語によりシグナリングし、余りを固定長符号語を用いてシグナリングし、長さはｚによって決定される。より最適な除数の選択によって、符号化効率の増加が達成される。余りの範囲は「０」から除数−１でありうる。ビットストリームにおいて色予測パラメータをシグナリングする例と整合した１つの例示的な様式が、表９に示される。
【０１６０】
【表９】
2017513312.tif 000026
表９の例示的シグナリングでは、除数は
Ｄｖ＝（１＜＜（ｄｉｖｉｓｏｒ＿ｐｏｗｅｒ＿ｏｆ＿ｔｗｏ＿ｍｉｎｕｓ１＋１））であり、
クロスカラーゲインおよびオフセットパラメータについての商は、それぞれ、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｑ［ｒ］［ｉ］［ｊ］およびｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ＿ｑ［ｒ］［ｉ］であり、クロスカラーゲインおよびオフセットパラメータについての余りは、それぞれ、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｒ［ｒ］［ｉ］［ｊ］およびｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ＿ｒ［ｒ］［ｉ］であり、クロスカラーゲインおよびオフセットパラメータについての符号は、それぞれ、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｓ［ｒ］［ｉ］［ｊ］およびｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｏｆｆｓｅｔ＿ｓ［ｒ］［ｉ］によって示される。符号に対応するシンタックス要素がシグナリングされないとき、その値は０であると推定される。符号シンタックス要素の０の値は正の色予測パラメータ値を表し、１は負の色予測パラメータ値を表す。それから色空間領域ｒの色予測パラメータ値が、以下のように決定される。
cross_color_predictor_gain[r][i][j]=(cross_color_predictor_gain_q[r][i][j]*Dv)+cross_color_predictor_gain_r[r][i][j]
if(cross_color_predictor_gain[r][i][j]&&cross_color_predictor_gain_s[r][i][j])
cross_color_predictor_gain[r][i][j]=-cross_color_predictor_gain[r][i][j]
color_predictor_offset[r][i]=(color_predictor_offset_q[r][i]*Dv)+color_predictor_offset_r[r][i]
if(color_predictor_offset[r][i]&&color_predictor_offset_s[r][i])
color_predictor_offset[r][i]=-color_predictor_offset[r][i]
上述のシグナリングおよび導出は、除数の異なる値のために適切に修正されうる。色空間領域の総数は、ｎｕｍｂｅｒ＿ｏｆ＿ｒｅｇｉｏｎに等しい。
【０１６１】
ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｑパラメータ、ｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｒパラメータおよび／またはｃｒｏｓｓ＿ｃｏｌｏｒ＿ｐｒｅｄｉｃｔｏｒ＿ｇａｉｎ＿ｓパラメータは、他の様式でシグナリングされてもよい。例えば、これらのパラメータは、インデックス値ｒ、ｉおよびｊのセットを通じてシグナリングされる。特に、インデックス値ｉおよびｊは、マッチする対［０］［０］、［１］［１］、［２］［２］だけをシグナリングするようにシグナリングされ、ｒは、ある範囲の値にわたりシグナリングされる。所望により、シグナリングの他の組み合わせが同様に用いられてもよい。所望により、他の範囲のパラメータが同様に用いられてもよい。所望により、明示的にシグナリングされない（またはある値であると推定される）組み合わせは、０などの所定の値であるものと推定される。このようにして、シグナリングの量が削減され、または他の点でシステムの複雑さが低減される。
【０１６２】
ビットストリームにおいて色空間領域ｒに対応する色予測パラメータをシグナリングするために用いられるもう一つの技術は、すでに決定されている前の色空間領域の色予測パラメータの使用を含む。例えば、色空間領域ＡはＴ１、Ｔ２、Ｔ３およびＴ４としてすでに決定されている色予測パラメータ値を有し、色空間領域Ｂは、Ｓ１、Ｓ２、Ｓ３およびＳ４としてまだ決定されていない色予測パラメータを有する。それから、色空間領域Ｂの色予測パラメータＳ１〜Ｓ４の１つ以上が、色空間領域Ａの色空間予測パラメータＴ１〜Ｔ４の１つ以上に基づいて予測される。Ｔｎをシグナリングするための例示的実施形態において、Ｔｎ−Ｓｎがビットストリームにおいてシグナリングされ、ｎは色予測パラメータインデックスに対応する。
【０１６３】
いくつかの実施形態において、ビデオデコーダ５００は、第１の画像の解像度を第１の画像フォーマットから第２の画像フォーマットに対応する解像度へスケーリングできる。例えば、ＵＨＤＴＶビデオ規格は、４ｋ（３８４０×２１６０画素）または８ｋ（７６８０×４３２０画素）解像度および１０または１２ビット量子化ビット深度をサポートできる。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできる。ビデオデコーダ５００は、復号された第１の画像をＢＴ．７０９ビデオ規格に対応する解像度からＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。
【０１６４】
ブロック８３０において、ビデオデコーダ５００は、色空間予測を第１の画像のスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、ＵＨＤＴＶ画像フレーム（またはその部分）の対応する復号されたＢＴ．７０９画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオデコーダ５００は、色空間予測を第１の画像のスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
【０１６５】
ブロック８４０において、ビデオデコーダ５００は、符号化されたビデオストリームを色空間予測に、少なくとも部分的に、基づいて第２の画像フォーマットを有する第２の画像へ復号できる。いくつかの実施形態において、ビデオデコーダ５００は、ビデオエンコーダ３００からの予測残差に対応する符号化されたビデオストリームの一部分と結合させるために色空間予測を利用できる。色空間予測と復号された予測残差との結合は、復号されたＵＨＤＴＶ画像フレームまたはその部分に対応することができる。
【０１６６】
図９は、ビデオデコーダ５００における色空間予測に関する別の例の動作フロー図である。図９を参照すると、第１のブロック９１０において、ビデオデコーダ５００は、第１のフォーマットを有する第１の残差フレームを生成するために、符号化されたビデオストリームの少なくとも一部分を復号できる。第１の残差フレームは、２つの画像フレームの間の差に対応するデータのフレームとすることができる。いくつかの実施形態において、第１のフォーマットは、ＢＴ．７０９ビデオ規格に対応でき、ビデオデコーダ５００は、ＢＴ．７０９画像フレームを復号するためのベースレイヤを含むことができる。
【０１６７】
ブロック９２０において、ビデオデコーダ５００は、第１のフォーマットに対応する第１の残差フレームの色空間を第２のフォーマットに対応する色空間へスケーリングできる。いくつかの実施形態において、ビデオデコーダ５００は、色空間をＢＴ．７０９ビデオ規格と第２のフォーマットに対応する超高精細度テレビ（ＵＨＤＴＶ）ビデオ規格との間でスケーリングできる。
【０１６８】
ビデオデコーダ５００がＢＴ．７０９ビデオ符号化規格によってサポートされる色空間をＵＨＤＴＶビデオ規格によってサポートされる色空間へスケーリングするためのいくつかの方法、例えば、独立チャネル予測およびアフィン混合チャネル予測がある。例えば、独立色チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を別々に、例えば、数式１〜６に先に示されたようにスケーリングできる。アフィン混合チャネル予測は、符号化されたＢＴ．７０９画像フレームのＹＵＶ成分を、行列乗算を用いて、例えば、数式７〜９に先に示されたようにスケーリングできる。
【０１６９】
ビデオデコーダ５００は、例えば、独立チャネル予測もしくは各種のアフィン混合チャネル予測のうちの１つを行うための色空間スケーリングのタイプを、ビデオデコーダ５００がビデオエンコーダ３００から受信するチャネル予測パラメータに基づいて選択できる。いくつかの実施形態において、ビデオデコーダ５００は、復号されたＢＴ．７０９画像フレームのデフォルトまたはプリセット色空間スケーリングを行うことができる。
【０１７０】
いくつかの実施形態において、ビデオデコーダ５００は、第１の残差フレームの解像度を第１のフォーマットから第２のフォーマットに対応する解像度へスケーリングできる。例えば、ＵＨＤＴＶビデオ規格は、４ｋ（３８４０×２１６０画素）または８ｋ（７６８０×４３２０画素）解像度および１０または１２ビット量子化ビット深度をサポートできる。ＢＴ．７０９ビデオ規格は、２ｋ（１９２０×１０８０画素）解像度および８または１０ビット量子化ビット深度をサポートできる。ビデオデコーダ５００は、復号された第１の残差フレームをＢＴ．７０９ビデオ規格に対応する解像度からＵＨＤＴＶビデオ規格に対応する解像度へスケーリングできる。
【０１７１】
ブロック９３０において、ビデオデコーダ５００は、色空間予測を第１の残差フレームのスケーリングされた色空間に、少なくとも部分的に、基づいて生成できる。色空間予測は、ＵＨＤＴＶ画像フレーム（またはその部分）の対応する復号されたＢＴ．７０９画像フレームの色空間からの予測とすることができる。いくつかの実施形態において、ビデオデコーダ５００は、色空間予測を第１の残差フレームのスケーリングされた解像度に、少なくとも部分的に、基づいて生成できる。
【０１７２】
ブロック９４０において、ビデオデコーダ５００は、符号化されたビデオストリームを色空間予測に、少なくとも部分的に、基づいて第２のフォーマットを有する第２の画像へ復号できる。いくつかの実施形態において、ビデオデコーダ５００は、ビデオエンコーダ３００からの予測残差に対応する符号化されたビデオストリームの一部分と結合させるために色空間予測を利用できる。色空間予測と復号された予測残差との結合は、復号されたＵＨＤＴＶ画像フレームまたはその部分に対応することができる。
【０１７３】
上記のシステムおよび機器は、本明細書に記載されるオペレーションのいくつかまたはすべてを行うために、専用プロセッサシステム、マイクロコントローラ、プログラマブル論理デバイス、マイクロプロセッサ、またはそれらの任意の組み合わせを用いることができる。上記のオペレーションのいくつかがソフトウェアで実装されてもよく、他のオペレーションがハードウェアで実装されてもよい。本明細書に記載されるオペレーション、処理、および／または方法のいずれも、示された図面を参照して、本明細書に記載されるものと実質的に同様の機器、デバイスおよび／またはシステムにより行うことができる。
【０１７４】
処理デバイスは、メモリに記憶された命令または「コード」を実行する。メモリは、データも同様に記憶する。処理デバイスは、以下には限定されないが、アナログプロセッサ、デジタルプロセッサ、マイクロプロセッサ、マルチコアプロセッサ、プロセッサアレイ、ネットワークプロセッサなどを含む。処理デバイスは、集積化制御システムまたはシステムマネージャの一部であってもよく、あるいはネットワーク化されたシステムと無線送信を通じて局所的あるいは遠隔的にインターフェース接続するように構成されたポータブル電子デバイスとして設けられてもよい。
【０１７５】
プロセッサメモリは、処理デバイスと集積化されてもよく、例えば、ＲＡＭまたはＦＬＡＳＨメモリが集積回路マイクロプロセッサ内などに配置される。他の例では、メモリは、外付けディスクドライブ、記憶アレイ、ポータブルＦＬＡＳＨキーフォブなどのような独立したデバイスを備える。メモリおよび処理デバイスは、例えば、Ｉ／Ｏポート、ネットワーク接続などにより作動的に連結されるか、または互いに通信を行い、処理デバイスは、メモリ上に記憶されたファイルを読み取る。関連するメモリは、設計（ＲＯＭ）によりアクセス許可の設定に基づいて「リードオンリ」であってもなくてもよい。メモリの他の例は、以下には限定されないが、固体半導体デバイスに実装されたＷＯＲＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＦＬＡＳＨなどを含む。他のメモリは、既知の回転ディスクドライブのように可動部を備えてもよい。すべてのかかるメモリは、「機械読み取り可能」であり、処理デバイスによって読み取り可能である。
【０１７６】
動作命令またはコマンドは、（「コンピュータプログラム」または「コード」としても知られる）記憶されたコンピュータソフトウェアの具体的な形態で実装または具現されうる。プログラム、またはコードは、デジタルメモリに記憶され、処理デバイスによって読み取られる。「コンピュータ可読記憶媒体」（または代わりに、「機械可読記憶媒体」）は、メモリがコンピュータプログラムまたは他のデータの特質をもつデジタル情報を、少なくとも一時的に、記憶できる限り、かつ記憶された情報が適切な処理デバイスによって「読み取られる」限り、メモリの前述のタイプのすべてに加えて将来の新技術を含みうる。用語「コンピュータ可読」は、完全なメインフレーム、ミニコンピュータ、デスクトップまたはさらにラップトップコンピュータも示唆する「コンピュータ」の歴史的な用法に限定されない。むしろ、「コンピュータ可読」は、プロセッサ、処理デバイス、または任意の計算システムにより可読の記憶媒体を備える。かかる媒体は、コンピュータもしくはプロセッサにより局所的および／または遠隔的にアクセスされる任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体、ならびにリムーバブルおよびノンリムーバブル媒体、あるいはそれらの任意の組み合わせを含みうる。
【０１７７】
コンピュータ可読記憶媒体に記憶されたプログラムは、コンピュータプログラム製品を備えてもよい。例えば、記憶媒体は、コンピュータプログラムを記憶または輸送するための便利な手段として用いられる。便宜上、オペレーションは、相互接続または結合された様々な機能ブロックまたは図として記載される。しかしながら、これらの機能ブロックまたは図は、単一の論理デバイス、境界が不明確なプログラムまたはオペレーションに同等な状態で統合されてもよい場合がありうる。
【０１７８】
本明細書に教示される概念が多くの他の方法で特定の用途に適合しうることを当業者は理解するであろう。特に、示された例が本開示を読んだときに明らかになるであろう多くの代わりの実装の１つに過ぎないことを当業者は理解するであろう。
【０１７９】
本明細書は、数箇所で「ａｎ（１つの）」、「ｏｎｅ（１つの）」、「ａｎｏｔｈｅｒ（別の）」または「ｓｏｍｅ（いくつかの）」例（単数または複数）に言及するが、これはそれぞれのかかる言及が同じ例（単数または複数）を対象とすること、または特徴が単一の例にのみ当てはまることを必ずしも意味しない。
【０１８０】
前述の明細書において用いられている用語および表現は、明細書において、限定ではなく説明のための用語として使用されており、そのような用語および表現の使用には、示され記載される特徴またはその一部の等価物を排除する意図はなく、本発明の範囲は、添付の特許請求の範囲のみにより定められ、限定されることが認められる。
【図１】
2017513312.tif 000027
【図２】
2017513312.tif 000028
【図３Ａ】
2017513312.tif 000029
【図３Ｂ】
2017513312.tif 000030
【図３Ｃ】
2017513312.tif 000031
【図４】
2017513312.tif 000032
【図５Ａ】
2017513312.tif 000033
【図５Ｂ】
2017513312.tif 000034
【図５Ｃ】
2017513312.tif 000035
【図６】
2017513312.tif 000036
【図７】
2017513312.tif 000037
【図８】
2017513312.tif 000038
【図９】
2017513312.tif 000039
【図１０】
2017513312.tif 000040
【国際調査報告】
2017513312.tif 000041