(57)【特許請求の範囲】
【請求項１】
ビデオデータを処理する方法であって、
圧縮解除されたフラクショナル色度座標（ＦＣＣ）フォーマットビデオデータを取得するために、１つまたは複数の逆適応伝達関数（ＴＦ）を使用して、圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することと、
逆調整されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮解除されたＦＣＣフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記圧縮解除されたＦＣＣフォーマットビデオデータの色度成分を逆調整することと、ここにおいて、前記色度成分を逆調整することは、前記色度成分を、前記圧縮解除されたＦＣＣフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することを備える、
ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを取得するために、前記逆調整されたＦＣＣフォーマットビデオデータの前記色度成分を色表現フォーマットに変換することと
を備える方法。
【請求項２】
前記圧縮されたＦＣＣフォーマットビデオデータをビデオ復号することと、
アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータを取得するために、前記復号され圧縮されたＦＣＣフォーマットビデオデータの色度成分をアップサンプリングすることと、
前記圧縮されたＦＣＣフォーマットビデオデータを取得するために、前記アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータを逆量子化することと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記色表現フォーマットが、ＲＧＢ色空間またはＸＹＺ色空間のうちの１つを備え、  前記圧縮されたＦＣＣフォーマットビデオデータが、前記ＨＤＲおよびＷＣＧビデオデータに基づいて適応されるＦＣＣ色空間またはＹｕ’ｖ’色空間を備える、または
前記しきい値が、前記ＨＤＲおよびＷＣＧビデオデータの統計値に基づいて導出されるかまたは固定される、または
前記逆調整されたＦＣＣフォーマットビデオデータの前記色度成分を第２の色表現フォーマットに変換することと、前記ＨＤＲおよびＷＣＧビデオデータを取得するために、前記第２の色表現フォーマットの前記色度成分を第１の色表現フォーマットに変換することと、をさらに備える、
請求項１に記載の方法。
【請求項４】
前記圧縮解除されたＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記圧縮解除されたＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
前記圧縮解除されたＦＣＣフォーマットビデオデータの前記色度成分を逆調整することが、前記第１の色度成分と前記第２の色度成分との両方を一緒に逆調整することまたは前記第１の色度成分と前記第２の色度成分との各々を別個に調整することのうちの１つを備える、
請求項１に記載の方法。
【請求項５】
前記圧縮されたＦＣＣフォーマットビデオデータの色度成分が、第１の色度成分および第２の色度成分を備え、
１つまたは複数の逆適応ＴＦを使用して前記圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することが、前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に同じ逆適応ＴＦを適用すること、または前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に異なる逆適応ＴＦを適用することのうちの１つを備える、
請求項１に記載の方法。
【請求項６】
前記圧縮されたＦＣＣフォーマットビデオデータの色度成分が、第１の色度成分および第２の色度成分を備え、
前記圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することが、１つまたは複数の逆適応ＴＦを使用して前記圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することを備え、ここにおいて、前記１つまたは複数の逆適応ＴＦを使用することが、
逆対数様ＴＦを前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に適用すること、または
前記圧縮されたＦＣＣフォーマットビデオデータの輝度成分だけに逆対数様ＴＦを適用し、前記圧縮解除した輝度成分のレベルに応じて、前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分とに逆適応線形ＴＦを適用すること
のうちの１つを備える、
請求項１に記載の方法。
【請求項７】
ビデオデータを処理する方法であって、
フラクショナル色度座標（ＦＣＣ）フォーマットビデオデータを取得するために、色表現フォーマットとＦＣＣフォーマットとの間でハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータの色度成分を変換することと、
調整されたＦＣＣフォーマットビデオデータを取得するために、前記ＦＣＣフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記ＦＣＣフォーマットビデオデータの色度成分を調整することと、ここにおいて、前記色度成分を調整することは、黒またはグレーに対応する値に前記色度成分を設定すること、または、前記色度成分のある範囲内の隣接サンプルの色度成分の平均に前記色度成分を設定すること、を備え、前記しきい値が、前記ＨＤＲおよびＷＣＧビデオデータの統計値に基づいて導出されるかまたは固定される、
圧縮されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の適応伝達関数（ＴＦ）を使用して、前記調整されたＦＣＣフォーマットビデオデータを圧縮することと、
を備える方法。
【請求項８】
量子化されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮されたＦＣＣフォーマットビデオデータを量子化することと、
符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたＦＣＣフォーマットビデオデータをサブサンプリングすることと
をさらに備える、請求項７に記載の方法。
【請求項９】
前記色表現フォーマットが、ＲＧＢ色空間またはＸＹＺ色空間のうちの１つを備え、前記ＦＣＣフォーマットビデオデータが、前記ＨＤＲおよびＷＣＧビデオデータに基づいて適応されるＦＣＣ色空間またはＹｕ’ｖ’色空間を備える、または
前記ＦＣＣフォーマットビデオデータが範囲を超えるのを防止するために前記ＦＣＣフォーマットビデオデータを処理することをさらに備える、または
ビデオエンコーダにおいて推定される前記適応ＴＦおよび前記色度成分調整のための関連するパラメータと前記ＦＣＣフォーマットビデオデータとを指定することと、符号化ビットストリーム中で前記ビデオエンコーダからビデオデコーダに前記ＦＣＣフォーマットビデオデータおよび関連するパラメータをシグナリングすることと、をさらに備える、
請求項７に記載の方法。
【請求項１０】
前記ＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記ＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
前記ＦＣＣフォーマットビデオデータの前記色度成分を調整することが、前記第１の色度成分と前記第２の色度成分との両方を一緒に調整することまたは前記第１の色度成分と前記第２の色度成分との各々を別個に調整することのうちの１つを備える、
請求項７に記載の方法。
【請求項１１】
前記ＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記ＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
１つまたは複数の適応ＴＦを使用して、前記ＦＣＣフォーマットビデオデータの前記調整された色度成分を圧縮することが、前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に同じＴＦを適用すること、または前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に異なるＴＦを適用することのうちの１つを備える、
請求項７に記載の方法。
【請求項１２】
前記ＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記ＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
１つまたは複数の適応ＴＦを使用して、前記ＦＣＣフォーマットビデオデータの前記調整された色度成分を圧縮することが、
前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に対数様ＴＦを適用すること、または、
前記ＦＣＣフォーマットビデオデータの輝度成分だけに対数様ＴＦを適用し、前記輝度成分のレベルに応じて、前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分とに適応線形ＴＦを適用すること
のうちの１つを備える、請求項７に記載の方法。
【請求項１３】
ビデオデータを処理する前記方法が、ビデオ符号化のためにビデオデータを前処理する方法を備え、前記方法が、
第１の色表現フォーマットから第２の色表現フォーマットに前記ＨＤＲおよびＷＣＧビデオデータの前記色度成分を変換することと、
前記第２の色表現フォーマットの前記色度成分を前記ＦＣＣフォーマットビデオデータに変換することと、
量子化されたＦＣＣフォーマットビデオデータを生成するために、前記圧縮されたＦＣＣフォーマットビデオデータを量子化することと、
ビデオ符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたＦＣＣフォーマットビデオデータをダウンサンプリングすることと
を備える、請求項７に記載の方法。
【請求項１４】
ビデオデータを処理するように構成されたデバイスであって、
圧縮されたフラクショナル色度座標（ＦＣＣ）フォーマットビデオデータを記憶するように構成されたメモリと、
圧縮解除されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の逆適応伝達関数（ＴＦ）を使用して、前記圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することと、
逆調整されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮解除されたＦＣＣフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記圧縮解除されたＦＣＣフォーマットビデオデータの色度成分を逆調整することと、ここにおいて、前記色度成分を逆調整することは、前記色度成分を、前記圧縮解除されたＦＣＣフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することを備える、
ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを取得するために、前記逆調整されたＦＣＣフォーマットビデオデータの前記色度成分を色表現フォーマットに変換することと
を行うように構成されたプロセッサと
を備えるデバイス。
【請求項１５】
ビデオデータを処理するように構成されたデバイスであって、
ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを記憶するように構成されたメモリと、
フラクショナル色度座標（ＦＣＣ）フォーマットビデオデータを取得するために、色表現フォーマットとＦＣＣフォーマットとの間でＨＤＲおよびＷＣＧビデオデータの色度成分を変換することと、
調整されたＦＣＣフォーマットビデオデータを取得するために、前記ＦＣＣフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記ＦＣＣフォーマットビデオデータの色度成分を調整することと、ここにおいて、前記色度成分を調整することは、黒またはグレーに対応する値に前記色度成分を設定すること、または、前記色度成分のある範囲内の隣接サンプルの色度成分の平均に前記色度成分を設定すること、を備え、前記しきい値が、前記ＨＤＲおよびＷＣＧビデオデータの統計値に基づいて導出されるかまたは固定される、
圧縮されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の適応伝達関数（ＴＦ）を使用して、前記調整されたＦＣＣフォーマットビデオデータを圧縮することと
を行うように構成されたプロセッサと
を備えるデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１５年６月８日に出願された、「ＣＯＬＯＲ  ＮＯＩＳＥ  ＲＥＤＵＣＴＩＯＮ  ＡＮＤ  ＡＤＡＰＴＩＶＥ  ＴＲＡＮＳＦＥＲ  ＦＵＮＣＴＩＯＮＳ  ＦＯＲ  ＦＲＡＣＴＩＯＮＡＬ  ＣＨＲＯＭＡＴＩＣＩＴＹ  ＣＯＯＲＤＩＮＡＴＥＳ  ＦＯＲ  ＨＩＧＨ  ＤＹＮＡＭＩＣ  ＲＡＮＧＥ  ＡＮＤ  ＷＩＤＥ  ＣＯＬＯＲ  ＧＡＭＵＴ  ＶＩＤＥＯ  ＤＡＴＡ」と題する米国仮出願番号第６２／１７２，７２４号の利益を主張する。
【０００２】
[0002]本開示は、ビデオコーディングに関し、より詳細には、ハイダイナミックレンジ（ＨＤＲ：high dynamic range）および広色域（ＷＣＧ：wide color gamut）ビデオデータのビデオコーディングに関する。
【背景技術】
【０００３】
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ  １０、アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ−Ｔ  Ｈ．２６５、高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
【０００４】
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（ピクチャ内）予測および／または時間的（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）は、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００５】
[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックをポイントする動きベクトルと、コーディングされたブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データはピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。被量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
【発明の概要】
【０００６】
[0006]本開示は、ハイダイナミックレンジ（ＨＤＲ）および広色域（Wide Color Gamut）（ＷＣＧ）表現（representations）をもつビデオ信号の符号化および復号に関する。より詳細には、本開示の技法は、ＨＤＲおよびＷＣＧビデオデータのより効率的な圧縮を可能にするためにいくつかの（certain）色空間中でビデオデータに適用されるシグナリングおよび動作を含む。提案される技法は、ＨＤＲおよびＷＣＧビデオデータをコーディングするために利用されるハイブリッドベースのビデオコーディングシステム（たとえば、ＨＥＶＣベースのビデオコーダ）の圧縮効率を改善し得る。
【０００７】
[0007]一態様では、ビデオデータを処理する方法は、圧縮解除されたフラクショナル色度座標（ＦＣＣ）フォーマットビデオデータ（decompacted fractional chromaticity coordinate formatted video data）を取得するために、１つまたは複数の逆適応伝達関数（ＴＦ）を使用して圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することと、逆調整されたＦＣＣフォーマットビデオデータを取得するために、圧縮解除されたＦＣＣフォーマットビデオデータの対応する輝度成分（luminance component）に基づいて圧縮解除されたＦＣＣフォーマットビデオデータの色度成分（chromaticity component）を逆調整することと、ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを取得するために、ＦＣＣフォーマットから色表現フォーマットに逆調整されたＦＣＣフォーマットビデオデータの色度成分を変換することとを備える。
【０００８】
[0008]別の態様では、ビデオデータを処理する方法は、色表現フォーマットとフラクショナル色度座標（ＦＣＣ）フォーマットとの間でハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータの色度成分を変換することと、調整されたＦＣＣフォーマットビデオデータを取得するために、ＦＣＣフォーマットビデオデータの対応する輝度成分に基づいてＦＣＣフォーマットビデオデータの色度成分を調整することと、圧縮されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の適応伝達関数（ＴＦ）を使用してＦＣＣフォーマットビデオデータを圧縮することとを備える。
【０００９】
[0009]別の態様では、ビデオデータを処理するように構成されたデバイスは、圧縮されたフラクショナル色度座標（ＦＣＣ）フォーマットビデオデータを記憶するように構成されたメモリを備える。本デバイスはまた、圧縮解除されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の逆適応伝達関数（ＴＦ）を使用して圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することと、逆調整されたＦＣＣフォーマットビデオデータを取得するために、圧縮解除されたＦＣＣフォーマットビデオデータの対応する輝度成分に基づいて圧縮解除されたＦＣＣフォーマットビデオデータの色度成分を逆調整することと、ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを取得するために、ＦＣＣフォーマットから色表現フォーマットに逆調整されたＦＣＣフォーマットビデオデータの色度成分を変換することとを行うように構成されたプロセッサを備える。
【００１０】
[0010]別の態様では、ビデオデータを処理するように構成されたデバイスは、ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを記憶するように構成されたメモリを備える。デバイスはまた、色表現フォーマットとフラクショナル色度座標（ＦＣＣ）フォーマットとの間でＨＤＲおよびＷＣＧビデオデータの色度成分を変換することと、調整されたＦＣＣフォーマットビデオデータを取得するために、ＦＣＣフォーマットビデオデータの対応する輝度成分に基づいてＦＣＣフォーマットビデオデータの色度成分を調整することと、圧縮されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の適応伝達関数（ＴＦ）を使用してＦＣＣフォーマットビデオデータを圧縮することとを行うように構成されたプロセッサを備える。
【００１１】
[0011]本技法の１つまたは複数の態様の詳細は、添付の図面および以下の説明に記載される。これらの技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から、明らかになろう。
【図面の簡単な説明】
【００１２】
【図１】[0012]本開示の技法を実装するように構成された例示的なビデオ符号化および復号システムを示すブロック図。
【図２】[0013]図１のビデオ前処理ユニットをより詳細に示すブロック図。
【図３】[0014]図１のビデオ後処理ユニットをより詳細に示すブロック図。
【図４】[0015]輝度（luminance）に関して、本開示で説明する技法の様々な態様に従って適用される線形伝達関数の適応傾斜（adaptive slope）を示すグラフを示す図。
【図５Ａ】[0016]オフセットなしの適応伝達関数に対するオフセットありの適応伝達関数を示すグラフを示す図。
【図５Ｂ】オフセットなしの適応伝達関数に対するオフセットありの適応伝達関数を示すグラフを示す図。
【図５Ｃ】オフセットなしの適応伝達関数に対するオフセットありの適応伝達関数を示すグラフを示す図。
【図６】[0017]本開示で説明する技法の様々な態様による、図１のビデオ前処理ユニットの例示的な動作を示すフローチャート。
【図７】[0018]本開示で説明する技法の様々な態様を実行する際の図３のビデオ後処理ユニットの例示的な動作を示すフローチャート。
【図８】[0019]前処理されたビデオデータを符号化するために本開示の技法を実施し得るビデオエンコーダの一例を示すブロック図。
【図９】[0020]ビデオデータを後処理するより前にビデオデータを復号するために本開示の技法を実施し得るビデオデコーダの一例を示すブロック図。
【発明を実施するための形態】
【００１３】
[0021]本開示は、ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）表現をもつビデオ信号の符号化および復号に関する。より詳細には、本開示の技法は、ＨＤＲおよびＷＣＧビデオデータのより効率的な圧縮を可能にするためにいくつかの色空間中でビデオデータに適用されるシグナリングおよび動作を含む。提案される技法は、ＨＤＲおよびＷＣＧビデオデータをコーディングするために利用されるハイブリッドベースのビデオコーディングシステム（たとえば、ＨＥＶＣベースのビデオコーダ）の圧縮効率を改善し得る。
【００１４】
[0022]ハイブリッドベースのビデオコーディング規格を含むビデオコーディング規格は、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ：Scalable Video Coding）拡張とマルチビュービデオコーディング（ＭＶＣ：Multiview Video Coding）拡張とを含む、（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４を含む。新しいビデオコーディング規格、すなわちＨＥＶＣの設計が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのビデオコーディングに関する共同研究部会（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって確定されている。以下「ＨＥＶＣバージョン１」と呼ぶ確定されたＨＥＶＣ規格は、「ＩＴＵ−Ｔ  Ｈ．２６５，  ＳＥＲＩＥＳ  Ｈ：  ＡＵＤＩＯＶＩＳＵＡＬ  ＡＮＤ  ＭＵＬＴＩＭＥＤＩＡ  ＳＹＳＴＥＭＳ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  ｏｆ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  −  Ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｖｉｄｅｏ  −  Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ」、国際電気通信連合（ＩＴＵ）の電気通信標準化部門、２０１３年４月として公開されており、別のバージョンが、２０１４年１０月に公開された。
【００１５】
[0023]図１は、本開示の技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを与えるソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介してビデオデータを宛先デバイス１４に与える。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。
【００１６】
[0024]宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が宛先デバイス１４にリアルタイムで符号化されたビデオデータを直接送信することを可能にする通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信標準規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る任意の他の機器を含み得る。
【００１７】
[0025]いくつかの例では、符号化されたデータは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化データは、入力インターフェース２８によってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイスからの記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することができ、その符号化されたビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワークアタッチストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【００１８】
[0026]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の応用など、様々なマルチメディア応用のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および／またはビデオ電話などの応用をサポートするために、一方向または両方向のビデオ送信をサポートするように構成され得る。
【００１９】
[0027]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオ前処理ユニット１９とビデオエンコーダ２０とをもつビデオ符号化ユニット２１と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０とビデオ後処理ユニット３１とをもつビデオ復号ユニット２９と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、ビデオデータを並列に処理するための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなど、外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
【００２０】
[0028]図１の図示のシステム１０は一例にすぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。さらに、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４への送信のためのコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のために、ビデオデバイス１２とビデオデバイス１４との間で一方向または双方向のビデオ送信をサポートし得る。
【００２１】
[0029]ソースデバイス１２のビデオソース１８は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの場合には、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き電話またはビデオ電話を形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各々の場合において、キャプチャされたビデオ、前にキャプチャされたビデオ、またはコンピュータにより生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオ情報は、その後、出力インターフェース２２によってコンピュータ可読媒体１６に出力され得る。
【００２２】
[0030]コンピュータ可読媒体１６は、ワイヤレスブロードキャストもしくは有線ネットワーク送信などの一時媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、もしくは他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを宛先デバイス１４に与え得る。同様に、ディスクスタンピング設備などの、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを製造し得る。したがって、様々な例では、コンピュータ可読媒体１６は、様々な形態の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。
【００２３】
[0031]宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義されビデオデコーダ３０によっても使用される、ブロックおよび他のコード化ユニット、たとえば、ピクチャグループ（ＧＯＰ）の特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、ユーザに復号ビデオデータ（decoded video data）を表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【００２４】
[0032]ビデオ前処理ユニット１９とビデオエンコーダ２０とを含むビデオ符号化ユニット２１およびビデオデコーダ３０とビデオ後処理ユニット３１とを含むビデオ復号ユニット２９は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたは任意のそれらの組合せなど、固定機能および／またはプログラマブル処理回路を含む様々な好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
【００２５】
[0033]いくつかの例では、ビデオ前処理ユニット１９とビデオ後処理ユニット３１とは、本開示で説明する技法に従って動作し得る。たとえば、ビデオ前処理ユニット１９は、高精度で数学的にほとんどロスレスな表現からビデオ圧縮および符号化により好適なよりコンパクトまたはロバストな色空間に、たとえば、ＲＧＢからＹＵＶまたはＹＣｂＣｒに、ＨＤＲ／ＷＣＧビデオデータを変換するように動作し得る。この色変換は、ビデオエンコーダ２０によって実行されるビデオ圧縮および符号化の前に行われ（occur）得る。他の例では、ビデオエンコーダ２０自体が、ビデオ圧縮および符号化のために高精度表現からよりコンパクトまたはロバストな色空間にＨＤＲ／ＷＣＧビデオデータを変換するように動作し得る。
【００２６】
[0034]逆に、ビデオ後処理ユニット３１は、よりコンパクトまたはロバストな色空間から元のＨＤＲ／ＷＣＧビデオデータの高精度表現に、たとえば、ＹＵＶまたはＹＣｂＣｒからＲＧＢに戻って復号ビデオデータを変換するように動作し得る。この逆色変換プロセスは、ビデオデコーダ３０によって実行されるビデオ圧縮解除（video decompression）および復号の後に行われ得る。他の例では、ビデオデコーダ３０自体が、よりコンパクトまたはロバストな色空間から元のＨＤＲ／ＷＣＧビデオデータの高精度表現に戻って復号ビデオデータを変換するように動作し得る。
【００２７】
[0035]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、そのスケーラブルビデオコーディング（ＳＶＣ）拡張と、マルチビュービデオコーディング（ＭＶＣ）拡張と、ＭＶＣベースの３次元ビデオ（３ＤＶ）拡張とを含む、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌおよび（ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  ＡＶＣとしても知られる）ＩＴＵ−Ｔ  Ｈ．２６４などのビデオ圧縮規格に従って動作する。場合によっては、ＭＶＣベースの３ＤＶに適合する任意のビットストリームは、ＭＶＣプロファイル、たとえばステレオハイプロファイルに準拠するサブビットストリームを常に包含する。さらに、Ｈ．２６４／ＡＶＣへの３ＤＶコーディング拡張、すなわち、ＡＶＣベースの３ＤＶを生成するための取り組みが進行中である。ビデオコーディング規格の他の例としては、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６２またはＩＳＯ／ＩＥＣ  ＭＰＥＧ−２  Ｖｉｓｕａｌ、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｖｉｓｕａｌ、およびＩＴＵ−Ｔ  Ｈ．２６４、ＩＳＯ／ＩＥＣ  Ｖｉｓｕａｌがある。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＥＶＣ規格に従って動作するように構成され得る。
【００２８】
[0036]ＨＥＶＣおよび他のビデオコーディング規格では、ビデオシーケンスは、通常、一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、ＳL、ＳCbおよびＳCrと示される３つのサンプルアレイを含み得る。ＳLはルーマサンプルの２次元アレイ（すなわち、ブロック）である。ＳCbはＣｂクロミナンスサンプルの２次元アレイである。ＳCrはＣｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。他の事例では、ピクチャはモノクロームであり得、ルーマサンプルのアレイのみを含み得る。
【００２９】
[0037]ビデオエンコーダ２０は、コーディングツリーユニット（ＣＴＵ）のセットを生成し得る。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックはサンプルのＮ×Ｎブロックであり得る。ＣＴＵは「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれることもある。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣなどの他のビデオコーディング規格のマクロブロックに広い意味で類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。スライスは、ラスタ走査において連続的に順序付けられた整数個のＣＴＵを含み得る。
【００３０】
[0038]本開示は、サンプルの１つまたは複数のブロックと、サンプルの１つまたは複数のブロックのサンプルをコーディングするために使用されるシンタックス構造とを指すために、「ビデオユニット」または「ビデオブロック」という用語を使用することがある。例示的なタイプのビデオユニットには、ＨＥＶＣにおけるＣＴＵ、ＣＵ、ＰＵ、変換ユニット（ＴＵ）、または他のビデオコーディング規格におけるマクロブロック、マクロブロックパーティションなどが含まれ得る。
【００３１】
[0039]コード化ＣＴＵを生成するために、ビデオエンコーダ２０は、コーディングツリーブロックをコーディングブロックに分割するためにＣＴＵのコーディングツリーブロックに対して４分木区分を再帰的に実行し得、したがって「コーディングツリーユニット」という名称がある。コーディングブロックはサンプルのＮ×Ｎブロックである。ＣＵは、ルーマサンプルアレイとＣｂサンプルアレイとＣｒサンプルアレイとを有するピクチャのルーマサンプルのコーディングブロックと、そのピクチャのクロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。
【００３２】
[0040]ビデオエンコーダ２０は、ＣＵのコーディングブロックを１つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックであり得る。ＣＵの予測ユニット（ＰＵ）は、ルーマサンプルの予測ブロックと、ピクチャのクロマサンプルの２つの対応する予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーンを有するモノクロームピクチャまたはピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロックと、Ｃｂ予測ブロックと、Ｃｒ予測ブロックとのために、予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成し得る。
【００３３】
[0041]ビデオエンコーダ２０は、ＰＵのための予測ブロックを生成するためにイントラ予測またはインター予測を使用し得る。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連するピクチャの復号されたサンプルに基づいてＰＵの予測ブロックを生成し得る。
【００３４】
[0042]ビデオエンコーダ２０が、ＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連するピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ブロックを生成し得る。インター予測は、単方向インター予測（すなわち、単予測）または双方向インター予測（すなわち、双予測）であり得る。単予測または双予測を実施するために、ビデオエンコーダ２０は、現在スライスに対して、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）と第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）とを生成し得る。
【００３５】
[0043]参照ピクチャリストの各々は１つまたは複数の参照ピクチャを含み得る。単予測を使用するとき、ビデオエンコーダ２０は、参照ピクチャ中の参照ロケーションを決定するために、ＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１のいずれかまたは両方の中の参照ピクチャを探索し得る。さらに、単予測を使用するとき、ビデオエンコーダ２０は、参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、ＰＵのための予測サンプルブロックを生成し得る。さらに、単予測を使用するとき、ビデオエンコーダ２０は、ＰＵの予測ブロックと参照ロケーションとの間の空間変位を示す単一の動きベクトルを生成し得る。ＰＵの予測ブロックと参照ロケーションとの間の空間変位を示すために、動きベクトルは、ＰＵの予測ブロックと参照ロケーションとの間の水平変位を指定する水平成分を含み得、ＰＵの予測ブロックと参照ロケーションとの間の垂直変位を指定する垂直成分を含み得る。
【００３６】
[0044]ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＲｅｆＰｉｃＬｉｓｔ０中の参照ピクチャ中の第１の参照ロケーションと、ＲｅｆＰｉｃＬｉｓｔ１中の参照ピクチャ中の第２の参照ロケーションとを決定し得る。ビデオエンコーダ２０は、次いで、第１および第２の参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、ＰＵの予測ブロックを生成し得る。その上、ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＰＵのサンプルブロックと第１の参照ロケーションとの間の空間変位を示す第１の動きと、ＰＵの予測ブロックと第２の参照ロケーションとの間の空間変位を示す第２の動きとを生成し得る。
【００３７】
[0045]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ルーマブロック、予測Ｃｂブロック、および予測Ｃｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵのためのルーマ残差ブロックを生成し得る。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックのうちの１つの中のルーマサンプルとＣＵの元のルーマコーディングブロックの中の対応するサンプルとの差分を示す。さらに、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロックを生成し得る。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つ中のＣｂサンプルとＣＵの元のＣｂコーディングブロック中の対応するサンプルとの間の差を示し得る。ビデオエンコーダ２０はまた、ＣＵのＣｒ残差ブロックを生成し得る。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つの中のＣｒサンプルと、ＣＵの元のＣｒコーディングブロックの中の対応するサンプルとの差分を示し得る。
【００３８】
[0046]さらに、ビデオエンコーダ２０は、ＣＵのルーマ残差ブロックとＣｂ残差ブロックとＣｒ残差ブロックとを１つまたは複数のルーマ変換ブロックとＣｂ変換ブロックとＣｒ変換ブロックとに分解するために４分木区分を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの長方形ブロックであり得る。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。したがって、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックはＣＵのルーマ残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。
【００３９】
[0047]ビデオエンコーダ２０は、ＴＵのルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１つまたは複数の変換を適用し得る。係数ブロックは変換係数の２次元アレイであり得る。変換係数はスカラー量であり得る。ビデオエンコーダ２０は、ＴＵのＣｂ係数ブロックを生成するために、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用し得る。ビデオエンコーダ２０は、ＴＵのＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１つまたは複数の変換を適用し得る。
【００４０】
[0048]係数ブロック（たとえば、ルーマ係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。さらに、ビデオエンコーダ２０は、ピクチャのＣＵのＴＵの変換ブロックを再構成するために、変換係数を逆量子化し（inverse quantize）、変換係数に逆変換を適用し得る。ビデオエンコーダ２０は、ＣＵのコーディングブロックを再構成するために、ＣＵのＴＵの再構成された変換ブロックと、ＣＵのＰＵの予測ブロックとを使用し得る。ピクチャの各ＣＵのコーディングブロックを再構成することによって、ビデオエンコーダ２０はピクチャを再構成し得る。ビデオエンコーダ２０は、再構成されたピクチャを復号ピクチャバッファ（ＤＰＢ）に記憶し得る。ビデオエンコーダ２０は、ＤＰＢ中の再構成されたピクチャを、インター予測およびイントラ予測のために使用し得る。
【００４１】
[0049]ビデオエンコーダ２０が係数ブロックを量子化した後に、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）を実施し得る。ビデオエンコーダ２０は、エントロピー符号化されたシンタックス要素をビットストリーム中に出力し得る。
【００４２】
[0050]ビデオエンコーダ２０は、コード化ピクチャと関連データとの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを備え得る。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み、ローバイトシーケンスペイロード（ＲＢＳＰ）をカプセル化する。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを示すシンタックス要素を含み得る。ＮＡＬユニットのＮＡＬユニットヘッダによって指定されるＮＡＬユニットタイプ符号は、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを含んでいるシンタックス構造であり得る。いくつかの事例では、ＲＢＳＰは０ビットを含む。
【００４３】
[0051]異なるタイプのＮＡＬユニットは、異なるタイプのＲＢＳＰをカプセル化し得る。たとえば、第１のタイプのＮＡＬユニットはピクチャパラメータセット（ＰＰＳ）のためのＲＢＳＰをカプセル化し得、第２のタイプのＮＡＬユニットはコード化スライスのためのＲＢＳＰをカプセル化し得、第３のタイプのＮＡＬユニットは補足拡張情報（ＳＥＩ：supplemental enhancement information）のためのＲＢＳＰをカプセル化し得、以下同様である。ＰＰＳは、０個以上のコード化ピクチャ全体に適用されるシンタックス要素を含んでいることがあるシンタックス構造である。ビデオコーディングデータのためのＲＢＳＰをカプセル化するＮＡＬユニットは（パラメータセットおよびＳＥＩメッセージのためのＲＢＳＰとは対照的に）、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと呼ばれることがある。コード化スライスをカプセル化するＮＡＬユニットは、本明細書ではコード化スライスＮＡＬユニットと呼ばれることがある。コード化スライスのＲＢＳＰは、スライスヘッダとスライスデータとを含み得る。
【００４４】
[0052]ビデオデコーダ３０はビットストリームを受信し得る。さらに、ビデオデコーダ３０は、ビットストリームからシンタックス要素を復号するためにビットストリームをパースし得る。ビデオデコーダ３０は、ビットストリームから復号されたシンタックス要素に少なくとも部分的に基づいてビデオデータのピクチャを再構成し得る。ビデオデータを再構成するための処理は、概して、ビデオエンコーダ２０によって実行されるプロセスの逆であり得る。たとえば、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックを決定するために、ＰＵの動きベクトルを使用し得る。ビデオデコーダ３０は、ＰＵのための予測ブロックを生成するためにＰＵの１つまたは複数の動きベクトルを使用し得る。
【００４５】
[0053]さらに、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックを逆量子化し得る。ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた変換ブロックを再構成するために、係数ブロックに対して逆変換を実行し得る。ビデオデコーダ３０は、現在のＣＵのＰＵのための予測サンプルブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在のＣＵのコーディングブロックを再構成し得る。ピクチャの各ＣＵのためのコーディングブロックを再構成することによって、ビデオデコーダ３０はピクチャを再構成し得る。ビデオデコーダ３０は、出力のためにおよび／または他のピクチャを復号する際に使用するために、復号されたピクチャを復号ピクチャバッファに記憶し得る。
【００４６】
[0054]次世代ビデオアプリケーションは、ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）をもつキャプチャされた風景を表すビデオデータを用いて動作することが予期される。利用されるダイナミックレンジおよび色域のパラメータは、ビデオコンテンツの２つの独立した属性である。デジタルテレビジョンおよびマルチメディアサービスのための利用されるダイナミックレンジおよび色域のパラメータの仕様がいくつかの国際規格によって定義される。たとえば、ＩＴＵ−Ｒ  Ｒｅｃ．７０９は、標準ダイナミックレンジ（ＳＤＲ）および標準色域など、ＨＤＴＶ（高精細度テレビジョン）のためのパラメータを定義し、ＩＴＵ−Ｒ  Ｒｅｃ．２０２０は、アズ（as）ＨＤＲおよびＷＣＧのためのＵＨＤＴＶ（超高精細度テレビジョン）パラメータを指定する。他のシステムにおいてダイナミックレンジおよび色域属性を指定する他の規格開発機関（ＳＤＯ）文献もある。たとえば、Ｐ３色域が、ＳＭＰＴＥ−２３１−２（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）において定義されており、ＨＤＲのいくつかのパラメータが、ＳＭＰＴＥ  ＳＴ  ２０８４：２０１４、「Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ  ｏｆ  Ｍａｓｔｅｒｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｄｉｓｐｌａｙｓ」２０１４として公開されたＳＴＭＰＴＥ−２０８４において定義されている。ビデオデータのための色域およびダイナミックレンジの簡単な説明を以下に与える。
【００４７】
[0055]ダイナミックレンジは、ビデオ信号の最小輝度と最大輝度との間の比率として定義され得る。ダイナミックレンジはまた、「ｆストップ」に関して測定され得、ここで、１つのｆストップが、信号ダイナミックレンジの２倍に対応する。ＭＰＥＧは、ＨＤＲコンテンツを１６個より多いｆストップの輝度変動を採用する（features）コンテンツとして定義する。いくつかの規格では、１０個と１６個のｆストップとの間のダイナミックレンジレベルが、中間ダイナミックレンジと呼ばれることがあり、一方、他の規格では、１０個と１６個のｆストップとの間のダイナミックレンジレベルが、ＨＤＲと見なされ得る。ＨＤＲと呼ばれるが、人間視覚システム（ＨＶＳ）は、はるかに大きいダイナミックレンジを知覚することが可能である。ただし、ＨＶＳは、いわゆる同時レンジを狭くするための適応機構を含む。したがって、ＨＤＲは、標準ダイナミックレンジ（ＳＤＲ）よりも高いダイナミックレンジを指す。
【００４８】
[0056]現在のビデオアプリケーションおよびサービスは、ＩＴＵ−Ｒ  Ｒｅｃ．７０９によって規定され、一般に、約０．１〜１００のカンデラ（ｃｄ）毎ｍ２（しばしば「ニト（nit）」と呼ばれる）の明るさ（または輝度）のレンジをサポートするＳＤＲを提供し、（０．１〜０．２が第１のｆストップであり、０．２〜０．４が第２のｆストップであり、．．．、２５．６〜５１．２が、第９のｆストップであり、５１．２〜１０２．４が、第１０のｆストップであると仮定すると）１０個未満のｆストップをもたらす。次世代ビデオサービスは、最大１６個のｆストップのダイナミックレンジをもつＨＤＲを提供することが予想される。たとえば、詳細な仕様は現在開発中であるが、ＨＤＲのいくつかの初期パラメータが、ＳＭＰＴＥ−２０８４およびＲｅｃ．２０２０において規定された。
【００４９】
[0057]ＨＤＲ以外のより現実的なビデオエクスペリエンスのための別の態様は、色次元であり、これは、従来、色域によって定義される。ＳＤＲ色域は、ＢＴ．７０９色の赤、緑および青の原色に基づく三角形として表現され得る。より広いＵＨＤＴＶ色域は、ＢＴ．２０２０色の赤、緑および青の原色に基づく三角形として表現され得る。ＢＴ．７０９原色からＢＴ．２０２０原色に移動することは、約７０％多い色を用いるＵＨＤＴＶサービスを提供することを目的とする。Ｄ６５は、所与の仕様のための白色を指定する。
【００５０】
[0058]上記のように、ＨＤＲ／ＷＣＧビデオデータは、一般に、４：４：４のクロマフォーマットおよび非常に広域な色空間（たとえば、ＸＹＺ）で（たとえば、３２ビットの浮動小数点表示を使用して）成分ごとに超高精度でキャプチャされ、記憶される。たとえば、ビデオソース１８は、高精度で、４：４：４のクロマフォーマットの、非常に広域な色空間を使用したＨＤＲ／ＷＣＧビデオデータ１７を出力し得る。ＨＤＲ／ＷＣＧビデオデータ１７は、高精度で、数学的にほぼロスレスであり得る。ただし、ＨＤＲ／ＷＧＣビデオデータ１７は、いくつかの（a number of）冗長性を含み得、これは、圧縮目的のために最適でないことがある。
【００５１】
[0059]本開示で説明する技法によれば、ビデオ前処理ユニット１９は、高精度の冗長表現から比較的低い精度のフォーマットにＨＤＲ／ＷＣＧビデオデータ１７を変換し得る。より低い精度のフォーマットの形成は、ＨＤＲ／ＷＣＧビデオデータ１７の正確な表現を潜在的に維持しながら比較的高い精度のフォーマットの冗長性を低減するためにＨＶＳベースの仮定を前提とし（be premised upon）得る。たとえば、ビデオ前処理ユニット１９は、色表現フォーマットとフラクショナル色度座標（ＦＣＣ）フォーマットとの間でＨＤＲ／ＷＣＧビデオデータの色度成分を変換し得る。
【００５２】
[0060]ビデオ前処理ユニット１９は、赤、緑、青（ＲＧＢ）色空間または他の追加の色空間などの色表現フォーマットでＨＤＲ／ＷＣＧビデオデータ１７を受信し得る。ビデオソース１８は、たとえば、ＨＤＲ／ＷＣＧビデオデータ１７をキャプチャするときに色表現フォーマットを使用するように構成されたビデオキャプチャセンサーまたは画像キャプチャセンサーを含み得る。ビデオ前処理ユニット１９は、色表現フォーマットから、（通常「ＣＩＥ」と略される）Ｃｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  ｏｎ  Ｉｌｌｕｍｉｎａｔｉｏｎ（またはフランス語でＣｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌｅ  ｄｅ  ｌ’ｅｃｌａｉｒａｇｅ）のＹｕ’ｖ’フォーマットなど、任意の数のＦＣＣフォーマットのうちの１つにＨＤＲ／ＷＣＧビデオデータ１７を変換し得る。ＣＩＥのＹｕ’ｖ’色空間は、「Ｙ」として示される輝度成分と「ｕ’」および「ｖ’」として示される２つの色度成分とを含む。ＣＩＥのＹｕ’ｖ’色空間に関して本明細書で説明するが、ビデオ前処理ユニット１９は、ＨＤＲ／ＷＣＧビデオデータを任意のＦＣＣフォーマットに変換し、ＦＣＣフォーマットビデオデータが生じ得る。
【００５３】
[0061]ビデオ前処理ユニット１９は、ＨＤＲ／ＷＣＧビデオデータ１７をＦＣＣフォーマットに変換した後に、ＦＣＣフォーマットビデオデータの対応する輝度成分Ｙに基づいてＦＣＣフォーマットビデオデータの色度成分のうちの１つまたは複数を調整し得る。ＦＣＣフォーマットビデオデータの対応する輝度成分が、一例として、（たとえば、以下でより詳細に説明するように、何らかのしきい値輝度未満など）低相対輝度を示すとき、ビデオ前処理ユニット１９は、ＦＣＣフォーマットビデオデータの色度成分を調整し得る。ＦＣＣフォーマットビデオデータの対応する輝度成分が、高相対ルミナンスを示すとき、ビデオ前処理ユニット１９は、ＦＣＣフォーマットビデオデータの色度成分を調整しないことがある。
【００５４】
[0062]ビデオ前処理ユニット１９は、低輝度設定において発生し得る色度成分中のノイズを低減するために対応する低輝度ピクセルの色度成分を調整し得る。ビデオ前処理ユニット１９は、ＨＶＳが低輝度設定において色度に敏感でないので画質に影響を及ぼすことなしに色の黒またはグレーを示すために比較的低輝度を有するピクセルの色度成分を設定し得る（これは、ピクセルの大きさ（magnitude）を０または何らかの（some）低しきい値未満に効果的に低減し得る）。
【００５５】
[0063]このようにして、本開示で説明する技法は、色度成分の減少値または０値が後続のビデオ符号化中により良く圧縮され得ると仮定すると、ビットレートの低減を容易にするためにＨＶＳベースの仮定を活用し得る。すなわち、ビデオ符号化は、ピクチャの部分（portions）の比較と、ピクチャの部分の比較から生じる残差データの連続する圧縮とを通して動作する。低輝度の結果としての色雑音は、（ノイズが大部分がランダムであり、したがって、時間的に予測できないと仮定すると）残差データの量の増加をもたらし得る。したがって、色度成分中の色ノイズの量を低減することにより、連続するビデオ符号化がピクチャをより良く圧縮することが可能になり得る。
【００５６】
[0064]ビデオ前処理ユニット１９はまた、１つまたは複数の伝達関数（ＴＦ）を使用してＦＣＣフォーマットビデオデータの調整された色度成分を圧縮し得る。ＴＦは、より低い輝度のピクセルを表すためにより多くのビットが使用されることを可能にするために比較的高い輝度のピクセルを表すビット数を低減する方法を表し得る。例示的なＴＦには、映画テレビ技術者協会（ＳＭＰＴＥ：Society of Motion Picture & Television Engineers）による、２０１４年８月２９日付けのＳＴ  ２０８４：２０１４−ＳＭＰＴＥ規格−「Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ  ｏｆ  Ｍａｓｔｅｒｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｄｉｓｐｌａｙｓ」に記載された知覚量子化器（ＰＱ：perceptual quantizer）電気光伝達関数（ＥＯＴＦ：electro-optical transfer function）が含まれ得る。ＰＱ  ＥＯＴＦは、色度成分を表すために使用されるビットを量子化することに関してＨＶＳの制限を利用するために開発された伝達関数の一例を表し得る。ＰＱ  ＥＯＴＦに関して説明したが、本技法は、任意の形態（form）のＴＦを使用して実行され得る。
【００５７】
[0065]伝達関数を適用した後に、ビデオ前処理ユニット１９は、圧縮されたＦＣＣフォーマットビデオデータを量子化し得る。ビデオ前処理ユニット１９は、たとえば、浮動小数点フォーマットで依然として定義されているあらゆるピクセル値を識別し、３２ビット浮動小数点ピクセル値を量子化して、（たとえば、３２ビットから１２〜１０ビットに下げて）低減されたビット深度を有する整数値ピクセル値を生成し得る。ビデオ前処理ユニット１９はまた、量子化されたＦＣＣフォーマットビデオデータの色度成分に関して色度サブサンプリングを実行し得る。ビデオ前処理ユニット１９は、色度サブサンプリングを実行して、量子化されたＦＣＣフォーマットビデオデータの色度成分について（for）量子化されたＦＣＣフォーマットビデオデータの４：４：４のサンプリングレートを４：２：０または何らかの他のより低いサンプリングレートに低減し、それによって、サブサンプリングされたＦＣＣフォーマットビデオデータ２５を生成し得る。ビデオ前処理ユニット１９は、ビデオエンコーダ２０にサブサンプリングされたＦＣＣフォーマットビデオデータ２５を出力し得る。
【００５８】
[0066]ビデオエンコーダ２０は、サブサンプリングされたＦＣＣフォーマットビデオデータの圧縮バージョンを表すビットストリーム２３を形成するために、上記で説明したビデオ符号化処理を実行し得る。サブサンプリングされたＦＣＣビデオデータの圧縮バージョンは、上記で説明したビデオ前処理ユニット１９によって実行される前処理に一部起因して、冗長情報の低減、色ノイズの抑圧（または、言い換えれば、低減）、量子化、および色度サブサンプリングの結果として、（そのような前処理を受けなかった（having not undergone））ＨＤＲ／ＷＣＧビデオデータ１７の圧縮バージョンよりも（ビットに関して）小さいサイズのものになり得る。様々な前処理演算は、量子化および色度サブサンプリングなどのロッシーな演算（lossy operations）にもかかわらず、前処理演算がＨＶＳの制限を利用するように設計されると仮定すると、ビデオデータの品質の低減を生じないことがある。ビデオエンコーダ２０は、出力インターフェース２２にビットストリーム２３を与え得、これは、コンピュータ可読媒体１６を介して宛先デバイス１４の入力インターフェース２８にビットストリーム２３を出力し得る。
【００５９】
[0067]宛先デバイス１４の入力インターフェース２８は、ビットストリーム２３を受信すると、ビデオデコーダ３０にビットストリーム２３を出力し得る。ビデオデコーダ３０は、ビデオエンコーダ２０によって実行された符号化演算とは逆である（are reciprocal to）復号演算を実行し得る。たとえば、ビデオエンコーダ２０は、現在ピクチャのブロックのための参照ブロックとして以前にコーディングされたピクチャのブロックを実行識別し（perform identify）、参照ブロックと現在のピクチャのブロックとの間の差として残差データを生成し得る。ビデオエンコーダ２０は、周波数領域に残差データフォームザ（form the）空間領域を変換し、量子化を通して低周波数係数を除去し、（しばしば「エントロピー符号化」と呼ばれる）統計的ロスレス符号化を実行して、圧縮残差データを生成し得る。ビデオデコーダ３０は、圧縮された残差データの復号バージョンを復元するために、エントロピー復号、逆量子化、および逆変換を実行するときに、逆演算を実行し得る。ビデオデコーダ３０は、ビットストリーム２３を復号した後に、またはその間に、ビデオ後処理ユニット３１に復号されサブサンプリングされたＦＣＣフォーマットビデオデータ２５’を出力し得る。復号されサブサンプリングされたＦＣＣフォーマットビデオデータ２５’は、サブサンプリングされたＦＣＣフォーマットビデオデータ２５の符号化中にロッシーな演算が実行されると仮定すると、サブサンプリングされたＦＣＣフォーマットビデオデータ２５と同じではないが同様であり得る。
【００６０】
[0068]ビデオ後処理ユニット３１は、復号されサブサンプリングされたＦＣＣフォーマットビデオデータ２５’を後処理するために、ビデオ前処理ユニット１９によって実行されるものとは逆の演算を実行し得る。たとえば、ビデオ後処理ユニット３１は、色度アップサンプリングを実行して、４：２：０から４：４：４にサブサンプリングされたＦＣＣフォーマットビデオデータ２５’の色度成分の解像度を増加させ、それによって、量子化されたＦＣＣフォーマットビデオデータを生成し得る。ビデオ後処理ユニット３１は、次に、圧縮されたＦＣＣフォーマットビデオデータを取得するために、量子化されたＦＣＣフォーマットビデオデータに対して逆量子化を実行し得る。
【００６１】
[0069]ビデオ前処理ユニット１９によって実行される演算とは逆の後処理演算を実行し続けると、ビデオ後処理ユニット３１は、調整されたＦＣＣフォーマットビデオデータを取得するために、圧縮されたＦＣＣフォーマットビデオデータに（たとえば、知覚逆量子化電気光伝達関数（perceptual dequantization electro-optical transfer function）などの）逆ＴＦを適用し得る。ビデオ後処理ユニット３１は、ＦＣＣフォーマットビデオデータを取得するために、調整されたＦＣＣフォーマットビデオデータに逆色度調整を適用し得る。ビデオ後処理ユニット３１は、ＦＣＣフォーマットから色表現フォーマットにＦＣＣフォーマットビデオデータの色度成分を変換し、それによって、ＨＤＲ／ＷＣＧビデオデータ１７の復号バージョンを取得し得、これは、ＨＤＲ／ＷＣＧビデオデータ１７’として示される（これは、やはり、符号化中に実行されるロッシーな演算によりＨＤＲ／ＷＣＧビデオデータ１７と同じではないがそれと同様であり得る）。ビデオ後処理ユニット３１は、宛先デバイス１４のディスプレイデバイス３２にＨＤＲ／ＷＣＧビデオデータ１７’を出力し得、これは、閲覧者（viewer）による消費のためにＨＤＲ／ＷＣＧビデオデータ１７’を提示し得る。
【００６２】
[0070]図２は、図１のビデオ前処理ユニット１９をより詳細に示すブロック図である。図２の例では、ビデオ前処理ユニット１９は、フォーマット変換ユニット１００と、色度調整ユニット１０２と、圧縮ユニット（compacting unit）１０４と、量子化ユニット１０６と、サブサンプリングユニット１０８とを含む。フォーマット変換ユニット１００は、ＲＧＢ色空間（または他の色表現フォーマット）からＦＣＣフォーマットにＨＤＲ／ＷＣＧビデオデータ１７の色度成分を変換するように構成されたユニットを表す。フォーマット変換ユニット１００は、ＩＴＵ−Ｒ  ＢＴ．７０９またはＩＴＵ−Ｒ  ＢＴ．２０２０において定義されている色空間を有するＲＧＢ色空間でＨＤＲ／ＷＣＧビデオデータ１７を受信し得る。これらの色空間のための色域パラメータに関する詳細な情報を、直下の表１中に提供する。
【００６３】
【表１】
0006800896.tif 000002
【００６４】
[0071]フォーマット変換ユニット１００は、最初に、ＲＧＢ色空間からＣＩＥ−ＸＹＺ色空間にＨＤＲ／ＷＣＧビデオデータ１７を変換し得る。ＲＧＢ色空間からＣＩＥ−ＸＹＺ色空間に変換することは、線形演算である。ＲＧＢ（または他の一般的に使用される色空間、ＹＣｂＣｒ）が色度の知覚均一性（perceptual uniformity）を有しないので、フォーマット変換ユニット１００は、ＲＧＢ色空間からＣＩＥ−ＸＹＺ色空間にＨＤＲ／ＷＣＧビデオデータ１７を変換し得る。フォーマット変換ユニット１００は、それによって、ＸＹＺフォーマットＨＤＲ／ＷＣＧビデオデータ９９を生成し得る。
【００６５】
[0072]フォーマット変換ユニット１００は、次に、ＣＩＥ−ＸＹＺ色空間から（「ＦＣＣフォーマット」または「ＦＣＣ色フォーマット」と呼ばれることもある）ＣＩＥ−Ｙｕ’ｖ’などのＦＣＣ色空間にＸＹＺフォーマットＨＤＲ／ＷＣＧビデオデータ９９を変換し得る。ＣＩＥ−ＸＹＺ色空間とＣＩＥ−Ｙｕ’ｖ’色空間への間を変換することは、以下の式（１）〜（３）に従って行われ得る。
Ｙ＝Ｙ  （１）
【００６６】
【数１】
0006800896.tif 000003
【００６７】
【数２】
0006800896.tif 000004
【００６８】
いくつかの例では、フォーマット変換ユニット１００は、すべてのタイプの入力ＨＤＲ信号全体にわたってＦＣＣ係数の単一のセットを固定し得、ここで、フォーマット変換ユニット１００は、すべてのタイプのＨＤＲ／ＷＣＧビデオデータ１７のためにＹｕ’ｖ’色空間を使用し得る。これらの例では、フォーマット変換ユニット１００は、ＨＤＲ／ＷＣＧビデオデータ１７のタイプにかかわらず式（１）〜（３）を利用し得る。
【００６９】
[0073]他の例では、フォーマット変換ユニット１００は、異なるタイプのＦＣＣ係数間で切り替えるか、または、言い換えれば、ＨＤＲ／ＷＣＧビデオデータ１７のタイプに基づいてＦＣＣ係数のタイプを適応的に選択し得る。ＦＣＣ係数のための一般的な定義を、以下の式（４）〜（６）によって与える。
Ｙ＝Ｙ  （４）
【００７０】
【数３】
0006800896.tif 000005
【００７１】
【数４】
0006800896.tif 000006
【００７２】
式（５）および（６）中で、α’およびβ’は、ＦＣＣフォーマットビデオデータ１０１の色度成分を表し、ａ1〜ａ4およびｂ1〜ｂ4は、ＸＹＺフォーマットＨＤＲ／ＷＣＧビデオデータ９９に基づいて適応される変数を表す。
【００７３】
[0074]フォーマット変換ユニット１００は、いくつかの例では、ＦＣＣフォーマットビデオデータ１０１が範囲を超えるのを防止するためにＦＣＣフォーマットビデオデータ１０１をクリッピングし得る。言い換えれば、フォーマット変換ユニット１００は、ＦＣＣフォーマットビデオデータ１０１が指定された信号範囲を超えることから守る（ensure）ために「サニティ検査（sanity check）」を実行し得る。いずれの場合も、フォーマット変換ユニット１００は、色度調整ユニット１０２にＦＣＣフォーマットビデオデータ１０１としてＹｕ’ｖ’フォーマットＨＤＲ／ＷＣＧビデオデータを出力し得る。
【００７４】
[0075]色度調整ユニット１０２は、ＦＣＣフォーマットビデオデータ１０１の対応する輝度成分に基づいてＦＣＣフォーマットビデオデータ１０１の色度成分を調整するように構成されたユニットを表し得る。色度調整ユニット１０２は、低レベルの輝度中に発生するノイズを抑制するように色度成分、たとえば、ＦＣＣフォーマットビデオデータ１０１のｕ’およびｖ’を調整し得る。上記のように、サンプル（すなわち、この例ではピクセル）の対応する輝度が、（影に対応する輝度の何らかの値以下、たとえば、０ニト（nit）と１ニトとの間に設定され得る）固定しきい値よりも低くなるとき、色度調整ユニット１０２は、黒またはグレー（ここで、グレーは（ｕ’，ｖ’）＝（０．１９７８３，０．４６８３２）として定義される）に対応する値に色度成分を設定し得る。
【００７５】
[0076]代替的に、色度調整ユニット１０２は、ピクチャの何らかの部分（たとえば、スライス）、ピクチャ全体、または現在ピクチャが含まれるピクチャグループ（ＧＯＰ）の輝度に基づいてしきい値を適応的に決定し得る。たとえば、色度調整ユニット１０２は、ピクチャ中のピクセルのすべての輝度を分析し、しきい値が最も暗いピクセルの５％に適用されるようにしきい値を設定し得る。色度調整ユニット１０２はまた、ピクチャの場面が全体的に明るい場面または暗い場面であるのかどうかに基づいて５％のしきい値を適応させ得る。言い換えれば、最も暗いピクセルが、依然として、比較的明るい（たとえば、１ニト超）とき、色度調整ユニット１０２は、しきい値が最も暗いピクセルの２％に適用されるようにしきい値を低下させ得る。最も暗いピクセルが、比較的暗い（たとえば、１ニト未満）とき、色度調整ユニット１０２は、しきい値が最も暗いピクセルの５％以上に適用されるようにしきい値を増大させ得る。
【００７６】
[0077]色度成分を調整することに関して、ターゲットピクセルの対応する輝度が固定または適応しきい値よりも低いとき、色度調整ユニット１０２は、一例として、ある範囲内の隣接ピクセルの色度成分の平均としてターゲットピクセルの色度成分を設定し得る。この例では、グレーにクリップするのではなく、色度調整ユニット１０２は、１）中心がターゲットピクセルに位置するあるサイズの窓内に常駐すること、および２）固定（言い換えれば、所定）または適応しきい値よりも低い輝度成分を有することの２つの条件を満たす隣接ピクセルに平均化フィルタを適用し得る。
【００７７】
[0078]さらに、いくつかの例では、色度調整ユニット１０２は、色度成分の各々、たとえば、ｕ’およびｖ’に同じ調整を適用し得る。他の例では、色度調整ユニット１０２は、色度成分の各々に対して異なる調整を実行し得る。すなわち、色度調整ユニット１０２は、色度成分の各々に別個に（separately）異なるノイズ低減を適用し得る。
【００７８】
[0079]色度調整ユニット１０２は、ＦＣＣフォーマットビデオデータに対する（to）調整の適用を通して、調整されたＦＣＣフォーマットビデオデータ１０３を取得し得る。色度調整ユニット１０２は、圧縮ユニット１０４に調整されたＦＣＣフォーマットビデオデータ１０３を出力する。
【００７９】
[0080]圧縮ユニット１０４は、１つまたは複数の適応伝達関数（ＴＦ）１１０を使用して調整されたＦＣＣフォーマットビデオデータ１０３の調整された色度成分を圧縮するように構成されたユニットを表し得る。いくつかの例では、圧縮ユニット１０４は、各色度成分に単独で単一のＴＦ、たとえば、ＳＭＰＴＥ−２０８４において指定されている上記のＰＱ  ＥＯＴＦを適用し得る。数学的に、調整されたＦＣＣフォーマットビデオデータ１０３の３つの成分の各々への同じＴＦの適用は、以下の式（７）〜（９）によって表され得る。
Ｙ’＝ＴＦ（Ｙ）  （７）
α”＝ＴＦ（α’）  （８）
β”＝ＴＦ（β’）  （９）
式（７）〜（９）中で、Ｙ、α’およびβ’は、上記の式（４）〜（６）中で生成される信号を表し、ここで、ＴＦ（）は、伝達関数を示す。
【００８０】
[0081]このようにして、圧縮ユニット１０４は、調整されたＦＣＣフォーマットビデオデータ１０３のＹ、ｕ’、およびｖ’成分の各々にＴＦ１１０のうちの同じ１つを適用し得る。他の例では、圧縮ユニット１０４は、３つの成分の各々に別個に異なるＴＦ１１０を適用し得る。ＴＦ１１０は、対数様ＴＦ（log-like TF）を含み得、ここで、対数様ＴＦの一例としては、ＳＭＰＴＥ−２０８４において指定されている上記のＰＱ  ＥＯＴＦを含み得る。
【００８１】
[0082]ＴＦ１１０のうちの対数様のもの（log-like ones）を適用するときに、圧縮ユニット１０４は、色空間の各成分に、たとえば、Ｙ、ｕ’、およびｖ’に単独でＴＦ１１０のうちの対数様のものを適用し得る。他の例では、圧縮ユニット１０４は、調整されたＦＣＣフォーマットビデオデータ１０３の輝度成分ＹにのみＴＦ１１０のうちの対数様のものを適用し得る。圧縮ユニット１０４は、次に、調整されたＦＣＣフォーマットビデオデータ１０３の対応する輝度成分Ｙのレベルに応じて、調整されたＦＣＣフォーマットビデオデータ１０３の色度成分ｕ’およびｖ’にＴＦ１１０のうちの適応線形のもの（adaptive linear ones）を適用し得る。
【００８２】
[0083]ＴＦ１１０のうちの適応線形のものは、以下の式（１０）〜（１２）によって数学的に示され得る。
Ｙ’＝ＴＦ（Ｙ）  （１０）
【００８３】
【数５】
0006800896.tif 000007
【００８４】
【数６】
0006800896.tif 000008
【００８５】
式（１０）〜（１２）中で、ＴＦは、輝度成分のみのための選定される（chosen）ＴＦ１１０のうちの非線形の（たとえば、対数様の）１つを示し、ａαおよびａβは、ＴＦ１１０のうちの線形のもののための傾斜を示し、ｂαおよびｂβは、圧縮ユニット１０４がＦＣＣ係数に基づいて決定し得るオフセットを示す。いくつかの例では、圧縮ユニット１０４は、α’’およびβ’’成分に傾斜およびオフセットを別個に設定し得る。いくつかの例では、圧縮ユニット１０４は、α’’およびβ’’成分の両方に同一の（またはほぼ同一の）オフセットおよび／または同じ傾斜をもたらすＦＣＣ係数を選択し得る。
【００８６】
[0084]例示のために、輝度に関する適応傾斜を示す図４について検討する。図４は、輝度に関して、本開示で説明する技法の様々な態様に従って適用される線形ＴＦ１１０の適応傾斜を示すグラフ２００を示す図である。圧縮ユニット１０４は、輝度の１つまたは複数の領域中でＨＶＳの均一な色度知覚を保持するが、輝度の他の範囲中でＨＶＳの均一な色度知覚を抑制する傾斜を決定し得る。図４の例では、輝度が増大するにつれて傾斜が０．２５から１．０まで変化する場合、圧縮ユニット１０４は、より低い輝度においてノイズを含む色度情報を抑制するが、より高い輝度において色度情報を維持し得る。そのような設計により、圧縮ユニット１０４は、ある輝度範囲に１．０よりも大きい傾斜を採用することによって色度情報を高める能力が可能になり得る。したがって、１つの例示的な設計は、色度情報をいつ高める（抑制する）べきかと、様々な輝度範囲においてどれくらいの拡張（抑制）を可能にすべきかとの両方を決定し得る。その各々が傾斜と範囲とに関連付けられ得る領域の数は、対象用途、ＨＤＲ／ＷＣＧビデオデータ１７の入力特性およびそのような前処理の様々な目的（たとえば、ＳＮＲ、知覚品質など）に依存し得る。
【００８７】
[0085]圧縮ユニット１０４は、ＴＦ１１０が適用された後に各輝度においてグレーの同様の色度値を保つように導出されるオフセットで構成され得る。圧縮ユニット１０４は、上記のように、（「ＦＣＣ係数」と呼ばれることもある）使用されるＦＣＣフォーマットのタイプに基づいてオフセットを決定し得る。Ｙｕ’ｖ’色空間の例では、圧縮ユニット１０４は、以下の式（１３）および（１４）に従ってオフセットを決定し得る。
【００８８】
【数７】
0006800896.tif 000009
【００８９】
【数８】
0006800896.tif 000010
【００９０】
いくつかの例では、圧縮ユニット１０４は、すべての入力ＨＤＲ／ＷＣＧビデオデータ１７全体にわたって同じ傾斜およびオフセットを保ち得る。他の例では、圧縮ユニット１０４は、スライス、ピクチャ、およびＧＯＰなどの異なるレベルのグラニュラリティ（granularity）における入力特性およびＦＣＣ係数に応じて傾斜およびオフセットを調整し得る。Ｙｕ’ｖ’のための適応ＴＦ１１０の効果を図５Ａ〜図５Ｃ中で可視化する。
【００９１】
[0086]図５Ａ〜図５Ｃは、オフセットなしの適応ＴＦに対するオフセットありの適応ＴＦ１１０を示すグラフ２１０Ａ〜２１０Ｃを示す図である。図５Ａのグラフ２１０Ａは、［０，１０］の輝度範囲をもつＹｕ’ｖ’座標中にＢＴ．２０２０色域を含んでいる三角柱の形態の元のＦＣＣフォーマットビデオデータ１０１を示す。三角形２１２は、（三角形２１２のためのＹが２未満であると仮定すると）低輝度におけるサンプルピクセルを表す。図５Ｂのグラフ２１０Ｂは、オフセットを含まない適応線形ＴＦを使用して圧縮した後の同じ三角形２１２を示し、これは、２１２’として示される。三角形２１２’が圧縮されたと仮定すると、三角形２１２’は三角形２１２よりもはるかに小さくなり、ここで、傾斜は、輝度変化に対して三角形のサイズがどれくらい変化するのかを決定し得る。しかしながら、三角形２１２は、左側にシフトし、下に移動し、オフセットなしの適応線形ＴＦ１１０が色度を保持しないことを示し、これは、可視のアーティファクトをもたらし得る。図５Ｃのグラフ２１０Ｃは、３Ｄ空間において各輝度における三角形の重心が正しく位置合わせされる（aligned）ようにオフセットされた同じ三角形２１２’を示し、これは三角形２１２’’として示される。したがって、オフセットの出願人は、均一な色度を保持するのに役立つ。
【００９２】
[0087]ＴＦ１１０の適用の上記の態様にかかわらず、圧縮ユニット１０４は、ＴＦ１１０のうちの１つまたは複数を導出し、次いで、すべてのタイプのＨＤＲ／ＷＣＧビデオデータ１７にＴＦ１１０を固定し得る。代替的に、圧縮ユニット１０４は、ＨＤＲ／ＷＣＧビデオデータ１７のタイプごとに（for each type）、またはＨＤＲ／ＷＣＧビデオデータ１７の（「フレーム」と呼ばれることもある）ピクチャごとにＴＦ１１０を導出し得る。
【００９３】
[0088]圧縮ユニット１０４は、圧縮されたＦＣＣフォーマットビデオデータ１０５を取得するために、調整されたＦＣＣフォーマットビデオデータ１０３にＴＦ１１０を適用し得る。圧縮ユニット１０４は、量子化ユニット１０６に圧縮されたＦＣＣフォーマットビデオデータ１０５を出力し得る。
【００９４】
[0089]量子化ユニット１０６は、量子化されたＦＣＣフォーマットビデオデータ１０７を取得するために、圧縮されたＦＣＣフォーマットビデオデータ１０５を量子化するように構成されたユニットを表し得る。量子化ユニット１０６は、圧縮されたＦＣＣフォーマットビデオデータ１０５の色度および／または輝度成分のビット深度を、一例として、１０ビットに低減し得る。量子化ユニット１０６は、サブサンプリングユニット１０８に量子化されたＦＣＣフォーマットビデオデータ１０７を出力し得る。
【００９５】
[0090]サブサンプリングユニット１０８は、前処理されたビデオデータ２５を取得するために、量子化されたＦＣＣフォーマットビデオデータ１０７をサブサンプリングするように構成されたユニットを表し得る。サブサンプリングユニット１０８は、４：４：４フォーマットから４：２：０フォーマットに色度成分を低減するために、量子化されたＦＣＣフォーマットビデオデータ１０７をサブサンプリングし得る。サブサンプリングユニット１０８は、ビデオエンコーダ２０に前処理ビデオデータ２５を出力し得る。
【００９６】
[0091]ビデオ前処理ユニット１９はまた、側波帯情報（sideband information）１１１を生成し得、これは、ビデオ後処理ユニット３１が単独で導出することができないことがあるＨＤＲ／ＷＣＧビデオデータ１７を前処理することに関係する情報を含み得、これは、逆動作を実行するために必要とされ得る。たとえば、ビデオ前処理ユニット１９は、側波帯情報１１１中でエンコーダ側で推定される適応ＴＦ１１０とノイズ低減のための関連するパラメータおよびＦＣＣ係数とを指定し得る。
【００９７】
[0092]ビデオ前処理ユニット１９は、ビデオエンコーダ２０に側波帯情報１１１を与え得、これは、１つまたは複数のビデオユーザビリティ情報（ＶＵＩ）メッセージ、１つまたは複数の補足エンハンスメント情報（ＳＥＩ）メッセージ、および／あるいは１つまたは複数のＳＥＩ更新メッセージとしてビットストリーム２３中で側波帯情報１１１をシグナリングし得る。ビデオエンコーダ２０はまた、いくつかの例では、コーディングツリーユニット（ＣＴＵ）ヘッダ、スライスヘッダ、および／またはピクチャパラメータセット（ＰＰＳ）中の側波帯情報１１１を指定し得る。いくつかの例では、ビデオエンコーダ２０は、前処理されたビデオデータ２５をコーディングするために有用である重み付け予測ベースプロセスを容易にする、側波帯情報１１１を利用し得る。
【００９８】
[0093]図３は、図１のビデオ後処理ユニット３１をより詳細に示すブロック図である。図３の例では、ビデオ後処理ユニット３１は、アップサンプリングユニット１５０と、逆量子化ユニット１５２と、逆圧縮ユニット１５４と、逆調整ユニット１５６と、逆フォーマット変換ユニット１５８とを含む。アップサンプリングユニット１５０は、ビデオ前処理ユニット１９のサブサンプリングユニット１０８に関して上記で説明した動作逆数ザ動作（operations reciprocal the operations）を実行するように構成されたユニットを表す。したがって、アップサンプリングユニット１５０は、一例として、（復号され前処理されたビデオデータ１０７’と呼ばれることもある）アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’を取得するために、復号され圧縮されたＦＣＣフォーマットビデオデータ２５’をアップサンプリングし得る。アップサンプリングユニット１５０は、逆量子化ユニット１５２にアップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’を出力し得る。
【００９９】
[0094]逆量子化ユニット１５２は、ビデオ前処理ユニット１９の量子化ユニット１０６に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆量子化ユニット１５２は、逆量子化され（dequantized）圧縮されたＦＣＣフォーマットビデオデータ１０５’を取得するために、アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’を逆量子化し得る。逆量子化は、アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’の輝度成分と色度成分との各々を表すために使用されるビット数を拡張することを伴い得る。逆量子化ユニット１５２は、逆圧縮ユニット１５４に逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’を出力し得る。
【０１００】
[0095]逆圧縮ユニット１５４は、ビデオ前処理ユニット１９の圧縮ユニット１０４に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆圧縮ユニット１５４は、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’を取得するために、逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’に逆適応ＴＦ１６０（たとえば、逆適応線形ＴＦまたは逆対数様ＴＦ）を適用し得る。逆適応ＴＦ１６０は、上記で説明したＰＱ  ＥＯＴＦの逆である知覚逆量子化（ＰＤ：perceptual dequantization）光電気伝達関数（ＯＥＴＦ：optical-electro transfer function）を含み得る。逆圧縮ユニット１５４は、ビットストリーム２３を介してシグナリングされるサイドチャネル情報１１１に一例として基づいて逆適応ＴＦ１６０を決定するか、あるいは取得し得る。
【０１０１】
[0096]逆圧縮ユニット１５４は、圧縮ユニット１０４に関して上記で説明した様々な方法で逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’の輝度成分と色度成分とに逆適応ＴＦ１６０を適応的に適用し得る。言い換えれば、逆圧縮ユニット１５４は、一例として、逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’の第１の色度成分と第２の色度成分との各々（すなわち、図３の例におけるｕ’およびｖ’）に逆適応ＴＦ１６０のうちの同じ１つを適用することのうちの１つを実行するか、または逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’の第１の色度成分と第２の色度成分との各々に逆適応ＴＦ１６０のうちの異なる１つを適用し得る。
【０１０２】
[0097]別の例として、逆圧縮ユニット１５４は、逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’の第１の色度成分と第２の色度成分との各々に逆適応ＴＦ１６０のうちの逆対数様の１つを適用し得る。代替的に、逆圧縮ユニット１５４は、圧縮されたＦＣＣフォーマットビデオデータの輝度成分だけに逆適応ＴＦ１６０のうちの逆対数様の１つを適用し、圧縮解除された輝度成分のレベルに応じて、逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’の第１の色度成分と第２の色度成分とに逆適応ＴＦ１６０のうちの逆適応線形の１つを適用し得る。
【０１０３】
[0098]このようにして、逆圧縮ユニット１５４は、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’を取得するために、逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’に対して逆圧縮を実行し得る。逆圧縮ユニット１５４は、逆調整ユニット１５６に圧縮解除されたＦＣＣフォーマットビデオデータ１０３’を出力し得る。
【０１０４】
[0099]逆調整ユニット１５６は、ビデオ前処理ユニット１９の調整ユニット１０２に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆調整ユニット１５６は、逆調整されたＦＣＣフォーマットビデオデータ１０１’を取得するために、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’に逆調整を適用し得る。
【０１０５】
[0100]たとえば、逆調整ユニット１５６は、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’のサンプルの輝度成分がしきい値よりも低いとき、（たとえば、「側波帯情報１１１」と呼ばれることもあるサイドチャネル情報１１１として指定される）圧縮解除されたＦＣＣフォーマットビデオデータ１０３’に関連するビットストリーム２３中でシグナリングされる値に圧縮解除されたＦＣＣフォーマットビデオデータ１０３’のサンプルの色度成分を設定することによって、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’のサンプルの対応する色度成分を逆調整し得る。しきい値は、固定され得るか、または逆調整ユニット１５６は、ＨＤＲおよびＷＣＧビデオデータ１７’の統計値に基づいてしきい値を導出し得る。
【０１０６】
[0101]別の例として、逆調整ユニット１５６は、第１の色度成分と第２の色度成分との両方を一緒に逆調整し得る。代替的に、逆調整ユニット１５６は、第１の色度成分と第２の色度成分との各々を別個に逆調整し得る。
【０１０７】
[0102]このようにして、逆調整ユニット１５６は、逆調整されたＦＣＣフォーマットビデオデータ１０１’を取得するために、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’に対して逆調整を実行し得る。逆調整ユニット１５６は、逆フォーマット変換ユニット１５８に逆調整されたＦＣＣフォーマットビデオデータ１０１’を出力し得る。
【０１０８】
[0103]逆フォーマット変換ユニット１５８は、ビデオ前処理ユニット１９のフォーマット変換ユニット１００に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆フォーマット変換ユニット１５８は、ＨＤＲ／ＷＣＧビデオデータ１７’を取得するために、逆調整されたＦＣＣフォーマットビデオデータ１０１’に対して逆フォーマット変換を適用し得る。
【０１０９】
[0104]たとえば、逆フォーマット変換ユニット１５８は、逆調整されたＦＣＣフォーマットビデオデータ１０１’の色度成分を第２の色表現フォーマットに（たとえば、Ｙｕ’ｖ’色空間から第２の色表現フォーマットの一例を表し得るＸＹＺ色空間に）変換し得る。逆フォーマット変換ユニット１５８は、次に、ＨＤＲ／ＷＣＧビデオデータ１７’を取得するために、第２の色表現フォーマットの色度成分を第１の色表現フォーマットに（たとえば、ＸＹＺ色空間からＲＧＢ色空間に、ここで、ＲＧＢ色空間は、第１の色表現フォーマットの一例を表す）変換し得る。逆フォーマット変換ユニット１５８は、逆調整されたＦＣＣフォーマットビデオデータ１０１’に関連するビットストリーム２３中でシグナリングされるサイドチャネル情報１１１に基づいて色表現フォーマットを決定し得る。
【０１１０】
[0105]このようにして、逆フォーマット変換ユニット１５８は、ＨＤＲ／ＷＣＧビデオデータ１７’を取得するために、逆調整されたＦＣＣフォーマットビデオデータ１０１’に対して逆フォーマット変換を実行し得る。逆フォーマット変換ユニット１５８は、ディスプレイデバイス３２を介した表示のために後処理されたビデオデータ１７’としてＨＤＲ／ＷＣＧビデオデータ１７’を出力し得る。
【０１１１】
[0106]図６は、本開示で説明する技法の様々な態様による、図１のビデオ前処理ユニット１９の例示的な動作を示すフローチャートである。最初に、ビデオ前処理ユニット１９のフォーマット変換ユニット１００は、ＨＤＲ／ＷＣＧビデオデータ１７を受信し得る。フォーマット変換ユニット１００は、次に、ＲＧＢ色空間（または他の色表現フォーマット）からＦＣＣフォーマットにＨＤＲ／ＷＣＧビデオデータ１７の色度成分を変換し、それによって、上記で説明した方法でＦＣＣフォーマットビデオデータ１０１を取得し得る（２００）。
【０１１２】
[0107]色度調整ユニット１０２は、次に、ＦＣＣフォーマットビデオデータ１０１の対応する輝度成分に基づいてＦＣＣフォーマットビデオデータ１０１の色度成分を調整し得る（２０２）。色度調整ユニット１０２は、上記で説明したいくつかの方法のいずれかで低レベルの輝度中に（during）発生するノイズを抑制するように色度成分、たとえば、ＦＣＣフォーマットビデオデータ１０１のｕ’およびｖ’を調整し得る。色度調整ユニット１０２は、ＦＣＣフォーマットビデオデータに対する調整の適用を通して、調整されたＦＣＣフォーマットビデオデータ１０３を取得し得る。色度調整ユニット１０２は、圧縮ユニット１０４に調整されたＦＣＣフォーマットビデオデータ１０３を出力する。
【０１１３】
[0108]圧縮ユニット１０４は、上記で説明した方法で１つまたは複数の適応伝達関数（ＴＦ）１１０を使用して、調整されたＦＣＣフォーマットビデオデータ１０３を圧縮し得る（２０４）。圧縮ユニット１０４は、圧縮されたＦＣＣフォーマットビデオデータ１０５を取得するために、調整されたＦＣＣフォーマットビデオデータ１０３にＴＦ１１０を適用し得る。圧縮ユニット１０４は、量子化ユニット１０６に圧縮されたＦＣＣフォーマットビデオデータ１０５を出力し得る。
【０１１４】
[0109]量子化ユニット１０６は、量子化されたＦＣＣフォーマットビデオデータ１０７を取得するために、圧縮されたＦＣＣフォーマットビデオデータ１０５を量子化し得る（２０６）。量子化ユニット１０６は、圧縮されたＦＣＣフォーマットビデオデータ１０５の色度および／または輝度成分のビット深度を、一例として、１０ビットに低減し得る。量子化ユニット１０６は、サブサンプリングユニット１０８に量子化されたＦＣＣフォーマットビデオデータ１０７を出力し得る。
【０１１５】
[0110]サブサンプリングユニット１０８は、前処理されたビデオデータ２５を取得するために、量子化されたＦＣＣフォーマットビデオデータ１０７をサブサンプリングする（２０８）ように構成されたユニットを表し得る。サブサンプリングユニット１０８は、４：４：４フォーマットから４：２：０フォーマットに色度成分を低減するために、量子化されたＦＣＣフォーマットビデオデータ１０７をサブサンプリングし得る。サブサンプリングユニット１０８は、ビデオエンコーダ２０に前処理ビデオデータ２５を出力し得る。量子化とサブサンプリングとの両方は、前処理の点から（in terms of）随意であり得、破線を使用してそのようなものとして（as such）示される。
【０１１６】
[0111]図７は、本開示で説明する技法の様々な態様を実行する際の図３のビデオ後処理ユニット３１の例示的な動作を示すフローチャートである。最初に、アップサンプリングユニット１５０は、復号され圧縮されたＦＣＣフォーマットビデオデータ２５’を受信し得る。アップサンプリングユニット１５０は、（復号され前処理されたビデオデータ１０７’と呼ばれることもある）アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’を取得するために、復号され圧縮されたＦＣＣフォーマットビデオデータ２５’をアップサンプリングし得る（２５０）。アップサンプリングユニット１５０は、逆量子化ユニット１５２にアップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’を出力し得る。
【０１１７】
[0112]逆量子化ユニット１５２は、逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’を取得するために、アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’を逆量子化し得る（２５２）。逆量子化は、アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータ１０７’の輝度成分と色度成分との各々を表すために使用されるビット数を拡張することを伴い得る。逆量子化ユニット１５２は、逆圧縮ユニット１５４に逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’を出力し得る。逆量子化とアップサンプリングとの両方は、後処理の点から随意であり得、破線を使用してそのようなものとして示される。
【０１１８】
[0113]逆圧縮ユニット１５４は、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’を取得するために、逆量子化され圧縮されたＦＣＣフォーマットビデオデータ１０５’に逆適応ＴＦ１６０を適用し得る（２５４）。逆圧縮ユニット１５４は、ビットストリーム２３を介してシグナリングされるサイドチャネル情報１１１に一例として基づいて逆適応ＴＦ１６０を決定するか、あるいは取得し得る。逆圧縮ユニット１５４は、逆調整ユニット１５６に圧縮解除されたＦＣＣフォーマットビデオデータ１０３’を出力し得る。
【０１１９】
[0114]逆調整ユニット１５６は、上記で説明した方法で、逆調整されたＦＣＣフォーマットビデオデータ１０１’を取得するために、圧縮解除されたＦＣＣフォーマットビデオデータ１０３’に逆調整を適用し得る。逆調整ユニット１５６は、逆フォーマット変換ユニット１５８に逆調整されたＦＣＣフォーマットビデオデータ１０１’を出力し得る。
【０１２０】
[0115]逆フォーマット変換ユニット１５８は、上記でより詳細に説明したように、ＨＤＲおよびＷＣＧビデオデータ１７’を取得するために、逆調整されたＦＣＣフォーマットビデオデータ１０１’に対して逆フォーマット変換を適用し得る。逆フォーマット変換ユニット１５８は、ディスプレイデバイス３２を介した表示のために後処理されたビデオデータ２５’としてＨＤＲおよびＷＣＧビデオデータ１７’を出力し得る。
【０１２１】
[0116]図８は、前処理されたビデオデータを符号化するために本開示の技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または削除するために、空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースコーディングモードのいずれかを指すことがある。
【０１２２】
[0117]図８に示されているように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。現在のブロックのより効率的なビデオ符号化／圧縮を可能にするために本開示で説明する前処理技法を受けた現在のブロック。図８の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、ビデオデータメモリ４１と、復号ピクチャバッファ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、次に、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測処理ユニット４６と、区分ユニット４８とを含む。ビデオブロックの再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするためのデブロッキングフィルタ（図１１に図示せず）も含まれ得る。必要な場合、デブロッキングフィルタは、通常、加算器６２の出力をフィルタリングすることになる。さらなるフィルタ（インループまたはポストループ）も、デブロッキングフィルタに加えて使用され得る。そのようなフィルタは簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。
【０１２３】
[0118]ビデオデータメモリ４１は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ４１に記憶されるビデオデータは、たとえば、ビデオソース１８から取得され得る。復号ピクチャバッファ６４は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオエンコーダ２０によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ４１および復号ピクチャバッファ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ４１および復号ピクチャバッファ６４は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ４１は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【０１２４】
[0119]符号化プロセスの間に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間的予測を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測処理ユニット４６は、代替的に、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つもしくは複数の隣接ブロックに対して、受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ２０は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
【０１２５】
[0120]さらに、区分ユニット４８は、前のコーディングパス内の前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分することができる。たとえば、区分ユニット４８は、最初にフレームまたはスライスをＬＣＵに区分し、レートひずみ分析（たとえば、レートひずみ最適化）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、さらに、ＬＣＵをサブＣＵに区分することを示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。
【０１２６】
[0121]モード選択ユニット４０は、たとえば、誤差結果に基づいてコーディングモード、イントラまたはインターのうちの１つを選択し得て、残差ブロックデータを生成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器５０に提供し、また、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器６２に提供する。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピー符号化ユニット５６に与える。
【０１２７】
[0122]動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在ピクチャ（または、他のコード化ユニット）内でコーディングされている現在ブロックに対する参照ピクチャ（または、他のコード化ユニット）内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるべきブロックとよく一致することが判明しているブロックである。いくつかの例では、ビデオエンコーダ２０は、復号ピクチャバッファ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数のピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
【０１２８】
[0123]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、復号ピクチャバッファ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、エントロピー符号化ユニット５６と動き補償ユニット４４とに計算された動きベクトルを送る。
【０１２９】
[0124]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。同じく、動き推定ユニット４２および動き補償ユニット４４は、いくつかの例では、機能的に統合され得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいてそれを指す予測的ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット４２は、ルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方について、ルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際のビデオデコーダ３０による使用のために、ビデオブロックとビデオスライスとに関連付けられたシンタックス要素を生成し得る。
【０１３０】
[0125]イントラ予測処理ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
【０１３１】
[0126]たとえば、イントラ予測処理ユニット４６は、様々な試験されたイントラ予測モードに対するレートひずみ分析を使用してレートひずみ値を計算し、試験されたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
【０１３２】
[0127]ブロックのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、エントロピー符号化ユニット５６にブロックのための選択されたイントラ予測モードを示す情報を提供し得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックのための符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを、送信されるビットストリームに含め得る。
【０１３３】
[0128]ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実施する１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換など、変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、概念的にＤＣＴと同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプ変換も使用され得る。いずれの場合でも、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、ピクセル値領域からの残差情報を、周波数領域などの変換領域に転換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。
【０１３４】
[0129]量子化ユニット５４は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【０１３５】
[0130]量子化の後に、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコーディングに続いて、符号化されたビットストリームは、別のデバイス（たとえば、ビデオデコーダ３０）に送信されるか、または後の送信もしくは取り出しのためにアーカイブされ得る。
【０１３６】
[0131]逆量子化ユニット５８および逆変換処理ユニット６０は、たとえば、参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成するために、それぞれ、逆量子化および逆変換を適用する。動き補償ユニット４４は、復号ピクチャバッファ６４のフレームのうちの１つの予測ブロックに残差ブロックを加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するサブ整数ピクセル値を計算するために、１つまたは複数の補間フィルタを再構築された残差ブロックに適用し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償された予測ブロックに加算して、復号ピクチャバッファ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続ビデオフレーム中のブロックをインターコーディングするための参照ブロックとして、動き推定ユニット４２と動き補償ユニット４４とによって使用され得る。
【０１３７】
[0132]図９は、ビデオデータを後処理するより前にビデオデータを復号するために本開示の技法を実施し得るビデオデコーダ３０の一例を示すブロック図である。図９の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、ビデオデータメモリ７１と、動き補償ユニット７２と、イントラ予測処理ユニット７４と、逆量子化ユニット７６と、逆変換処理ユニット７８と、復号ピクチャバッファ８２と、加算器８０とを含む。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図９）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得るのに対して、イントラ予測処理ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
【０１３８】
[0133]ビデオデータメモリ７１は、ビデオデコーダ３０の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７１に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１６から、たとえば、カメラなどのローカルビデオソースから、ビデオデータのワイヤードまたはワイヤレスネットワーク通信を介して、あるいは物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ７１は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶する、コーディング済みピクチャバッファ（ＣＰＢ）を形成し得る。復号ピクチャバッファ８２は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオデコーダ３０によってビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ７１および復号ピクチャバッファ８２は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ７１および復号ピクチャバッファ８２は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ７１は、ビデオデコーダ３０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
【０１３９】
[0134]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他のシンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。
【０１４０】
[0135]ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、イントラ予測処理ユニット７４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャの１つから生成され得る。ビデオデコーダ３０は、復号ピクチャバッファ８２に記憶された参照ピクチャに基づいて、デフォルト構成技法を使用して、参照ピクチャリスト、リスト０およびリスト１を構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックに関する予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライス用の参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化ビデオブロックについての動きベクトルと、スライスの各インターコード化ビデオブロックについてのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。
【０１４１】
[0136]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、参照ブロックのサブ整数ピクセルの補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、予測的ブロックを生成するためにその補間フィルタを使用し得る。
【０１４２】
[0137]逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された被量子化変換係数を逆量子化（inverse quantize）、すなわち、量子化解除（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に適用されるべき逆量子化の程度を決定するために、ビデオスライス中の各ビデオブロックに対してビデオデコーダ３０によって計算される量子化パラメータＱＰYを使用することを含み得る。逆変換処理ユニット７８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
【０１４３】
[0138]動き補償ユニット７２が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ３０は、逆変換処理ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器８０は、この加算演算を実行する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタリングする、デブロッキングフィルタも適用され得る。他のループフィルタ（コーディングループの中、またはコーディングループの後のいずれかにおける）も、ピクセルの遷移を平滑化し、または場合によってはビデオ品質を改善するために使用され得る。
【０１４４】
[0139]所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ８２に記憶される。復号ピクチャバッファ８２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の表示のために、復号ビデオを記憶する。復号ピクチャバッファ８２はまた、本開示で説明する技法の様々な態様に従って後処理のために復号されたビデオブロックを出力し得る。
【０１４５】
[0140]本開示のいくつかの態様について、説明のために、ＨＥＶＣ規格の拡張に関して説明した。ただし、本開示で説明した技法は、他の規格またはまだ開発されていないプロプライエタリなビデオコーディング処理を含む、他のビデオコーディング処理にとって有用であり得る。
【０１４６】
[0141]本開示で説明したビデオコーダは、ビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングユニットはビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングは、適宜、ビデオ符号化またはビデオ復号を指すことがある。
【０１４７】
[0142]例によっては、本明細書で説明した技法のうちのいずれかの、いくつかの動作またはイベントは、異なる順序で実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明した動作またはイベントが、本技法の実施のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて同時に実行され得る。
【０１４８】
[0143]１つまたは複数の例では、説明する機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【０１４９】
[0144]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含めるべきである。
【０１５０】
[0145]命令は、１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。
【０１５１】
[0146]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置に実装され得る。様々な構成要素、モジュール、またはユニットは、開示された技法を実施するように構成されたデバイスの機能的態様を強調するように本開示において記載されているが、様々なハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされ得るか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
【０１５２】
[0147]様々な例を説明した。これらおよび他の例は添付の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]  ビデオデータを処理する方法であって、
圧縮解除されたフラクショナル色度座標（ＦＣＣ）フォーマットビデオデータを取得するために、１つまたは複数の逆適応伝達関数（ＴＦ）を使用して圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することと、
逆調整されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮解除されたＦＣＣフォーマットビデオデータの対応する輝度成分に基づいて前記圧縮解除されたＦＣＣフォーマットビデオデータの色度成分を逆調整することと、
ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを取得するために、前記ＦＣＣフォーマットから色表現フォーマットに前記逆調整されたＦＣＣフォーマットビデオデータの前記色度成分を変換することと
を備える方法。
[Ｃ２]  ビデオデータを処理する前記方法が、前記ＦＣＣフォーマットビデオデータをビデオ復号した後にビデオデータを後処理する方法を備え、
前記方法が、
アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮されたＦＣＣフォーマットビデオデータの色度成分をアップサンプリングすることと、
前記圧縮されたＦＣＣフォーマットビデオデータを取得するために、前記アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータを逆量子化することと
をさらに備える、
Ｃ１に記載の方法。
[Ｃ３]  前記色表現フォーマットが、ＲＧＢ色空間またはＸＹＺ色空間のうちの１つを備え、
前記ＦＣＣフォーマットビデオデータが、前記ＨＤＲおよびＷＣＧビデオデータに基づいて適応されるＦＣＣ色空間またはＹｕ’ｖ’色空間を備える、
Ｃ１に記載の方法。
[Ｃ４]  前記圧縮解除されたＦＣＣフォーマットビデオデータの前記色度成分を逆調整することは、前記圧縮解除されたＦＣＣフォーマットビデオデータのサンプルの前記輝度成分がしきい値よりも小さいとき、前記圧縮解除されたＦＣＣフォーマットビデオデータの前記サンプルの前記色度成分を、前記圧縮解除されたＦＣＣフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することによって、前記圧縮解除されたＦＣＣフォーマットビデオデータの前記サンプルの前記対応する色度成分を逆調整することを備える、Ｃ１に記載の方法。
[Ｃ５]  前記しきい値が、前記ＨＤＲおよびＷＣＧビデオデータの統計値に基づいて導出されるかまたは固定される、Ｃ４に記載の方法。
[Ｃ６]  前記圧縮解除されたＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記圧縮解除されたＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
前記圧縮解除されたＦＣＣフォーマットビデオデータの前記色度成分を逆調整することが、前記第１の色度成分と前記第２の色度成分との両方を一緒に逆調整することまたは前記第１の色度成分と前記第２の色度成分との各々を別個に調整することのうちの１つを備える、
Ｃ１に記載の方法。
[Ｃ７]  前記圧縮されたＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記圧縮されたＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
１つまたは複数の逆適応ＴＦを使用して前記圧縮されたＦＣＣフォーマットビデオデータの前記色度成分を逆圧縮することが、前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に同じ逆適応ＴＦを適用すること、または前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に異なる逆適応ＴＦを適用することのうちの１つを備える、
Ｃ１に記載の方法。
[Ｃ８]  前記圧縮されたＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記圧縮されたＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
前記圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することが、
逆対数様ＴＦを前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に適用すること、または
前記圧縮されたＦＣＣフォーマットビデオデータの輝度成分だけに逆対数様ＴＦを適用し、前記圧縮解除した輝度成分のレベルに応じて、前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分とに逆適応線形ＴＦを適用すること
のうちの１つを備える、１つまたは複数の逆適応ＴＦを使用して前記圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することを備える、
Ｃ１に記載の方法。
[Ｃ９]  前記逆調整されたＦＣＣフォーマットビデオデータの前記色度成分を第２の色表現フォーマットに変換することと、
前記ＨＤＲおよびＷＣＧビデオデータを取得するために、前記第２の色表現フォーマットの前記色度成分を第１の色表現フォーマットに変換することと
をさらに備える、Ｃ１に記載の方法。
[Ｃ１０]  ビデオデータを処理する方法であって、
色表現フォーマットとフラクショナル色度座標（ＦＣＣ）フォーマットとの間でハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータの色度成分を変換することと、
調整されたＦＣＣフォーマットビデオデータを取得するために、前記ＦＣＣフォーマットビデオデータの対応する輝度成分に基づいて前記ＦＣＣフォーマットビデオデータの色度成分を調整することと、
圧縮されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の適応伝達関数（ＴＦ）を使用して前記ＦＣＣフォーマットビデオデータを圧縮することと
を備える方法。
[Ｃ１１]  量子化されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮されたＦＣＣフォーマットビデオデータを量子化することと、
符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたＦＣＣフォーマットビデオデータをサブサンプリングすることと
をさらに備える、Ｃ１０に記載の方法。
[Ｃ１２]  前記色表現フォーマットが、ＲＧＢ色空間またはＸＹＺ色空間のうちの１つを備え、
前記ＦＣＣフォーマットビデオデータが、前記ＨＤＲおよびＷＣＧビデオデータに基づいて適応されるＦＣＣ色空間またはＹｕ’ｖ’色空間を備える、
Ｃ１０に記載の方法。
[Ｃ１３]  前記ＦＣＣフォーマットビデオデータが範囲を超えるのを防止するために前記ＦＣＣフォーマットビデオデータを処理することをさらに備える、Ｃ１０に記載の方法。
[Ｃ１４]  前記ＦＣＣフォーマットビデオデータの色度成分を調整することは、前記ＦＣＣフォーマットビデオデータのサンプルの輝度成分がしきい値よりも小さいとき、
黒またはグレーに対応する値として前記ＦＣＣフォーマットビデオデータの前記色度成分を設定すること、または
前記ＦＣＣフォーマットビデオデータの前記サンプルの前記色度成分のある範囲内の隣接サンプルの色度成分の平均として前記サンプルの前記色度成分を設定すること
のうちの１つを実行することに少なくとも部分的によってＦＣＣフォーマットビデオデータの前記サンプルの対応する色度成分を調整することを備える、Ｃ１０に記載の方法。
[Ｃ１５]  前記しきい値が、前記ＨＤＲおよびＷＣＧビデオデータの統計値に基づいて導出されるかまたは固定される、Ｃ１４に記載の方法。
[Ｃ１６]  前記ＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記ＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
前記ＦＣＣフォーマットビデオデータの前記色度成分を調整することが、前記第１の色度成分と前記第２の色度成分との両方を一緒に調整することまたは前記第１の色度成分と前記第２の色度成分との各々を別個に調整することのうちの１つを備える、
Ｃ１０に記載の方法。
[Ｃ１７]  前記ＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記ＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
１つまたは複数の適応ＴＦを使用して前記ＦＣＣフォーマットビデオデータの前記調整された色度成分を圧縮することが、前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に同じＴＦを適用すること、または前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に異なるＴＦを適用することのうちの１つを備える、
Ｃ１０に記載の方法。
[Ｃ１８]  前記ＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記ＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
１つまたは複数の適応ＴＦを使用して前記ＦＣＣフォーマットビデオデータの前記調整された色度成分を圧縮することが、
前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に対数様ＴＦを適用すること、または
前記ＦＣＣフォーマットビデオデータの輝度成分だけに対数様ＴＦを適用し、前記輝度成分のレベルに応じて、前記ＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分とに適応線形ＴＦを適用すること
のうちの１つを備える、
Ｃ１０に記載の方法。
[Ｃ１９]  ビデオデータを処理する前記方法が、ビデオ符号化のためにビデオデータを前処理する方法を備え、前記方法が、
ビデオエンコーダにおいて前記適応ＴＦおよび前記色度成分調整のための関連するパラメータと前記ＦＣＣフォーマットビデオデータとを推定することと、
符号化ビットストリーム中で前記ビデオエンコーダからビデオデコーダに前記ＦＣＣフォーマットビデオデータおよび関連するパラメータをシグナリングすることと
をさらに備える、Ｃ１０に記載の方法。
[Ｃ２０]  ビデオデータを処理する前記方法が、ビデオ符号化のためにビデオデータを前処理する方法を備え、前記方法が、
第１の色表現フォーマットから第２の色表現フォーマットに前記ＨＤＲおよびＷＣＧビデオデータの前記色度成分を変換することと、
前記第２の色表現フォーマットの前記色度成分を前記ＦＣＣフォーマットビデオデータに変換することと、
量子化されたＦＣＣフォーマットビデオデータを生成するために、前記圧縮されたＦＣＣフォーマットビデオデータを量子化することと、
ビデオ符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたＦＣＣフォーマットビデオデータをダウンサンプリングすることと
を備える、Ｃ１０に記載の方法。
[Ｃ２１]  ビデオデータを処理するように構成されたデバイスであって、
圧縮されたフラクショナル色度座標（ＦＣＣ）フォーマットビデオデータを記憶するように構成されたメモリと、
圧縮解除されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の逆適応伝達関数（ＴＦ）を使用して前記圧縮されたＦＣＣフォーマットビデオデータを逆圧縮することと、
逆調整されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮解除されたＦＣＣフォーマットビデオデータの対応する輝度成分に基づいて前記圧縮解除されたＦＣＣフォーマットビデオデータの色度成分を逆調整することと、
ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを取得するために、前記ＦＣＣフォーマットから色表現フォーマットに前記逆調整されたＦＣＣフォーマットビデオデータの前記色度成分を変換することと
を行うように構成されたプロセッサと
を備えるデバイス。
[Ｃ２２]  前記圧縮されたＦＣＣフォーマットビデオデータを取得するために、ビットストリームをビデオ復号するように構成されたビデオデコーダ、
ここにおいて、前記プロセッサが、
アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮されたＦＣＣフォーマットビデオデータの色度成分をアップサンプリングすることと、
前記圧縮されたＦＣＣフォーマットビデオデータを取得するために、前記アップサンプリングされ圧縮されたＦＣＣフォーマットビデオデータを逆量子化することと
を行うようにさらに構成された、
をさらに備える、Ｃ２１に記載のデバイス。
[Ｃ２３]  前記色表現フォーマットが、ＲＧＢ色空間またはＸＹＺ色空間のうちの１つを備え、
前記ＦＣＣフォーマットビデオデータが、前記ＨＤＲおよびＷＣＧビデオデータに基づいて適応されるＦＣＣ色空間またはＹｕ’ｖ’色空間を備える、
Ｃ２１に記載のデバイス。
[Ｃ２４]  前記プロセッサが、前記圧縮解除されたＦＣＣフォーマットビデオデータのサンプルの前記輝度成分がしきい値よりも小さいとき、前記圧縮解除されたＦＣＣフォーマットビデオデータの前記サンプルの前記色度成分を、前記圧縮解除されたＦＣＣフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することによって、前記圧縮解除されたＦＣＣフォーマットビデオデータの前記サンプルの前記対応する色度成分を調整することを行うように構成された、Ｃ２１に記載のデバイス。
[Ｃ２５]  前記しきい値が、前記ＨＤＲおよびＷＣＧビデオデータの統計値に基づいて導出されるかまたは固定される、Ｃ２４に記載のデバイス。
[Ｃ２６]  前記圧縮されたＦＣＣフォーマットビデオデータの前記色度成分が、第１の色度成分を備え、
前記圧縮されたＦＣＣフォーマットビデオデータが、第２の色度成分を備え、
前記プロセッサが、
前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分との各々に逆対数様ＴＦを適用すること、または
前記圧縮されたＦＣＣフォーマットビデオデータの輝度成分だけに逆対数様ＴＦを適用し、前記輝度成分のレベルに応じて、前記圧縮されたＦＣＣフォーマットビデオデータの前記第１の色度成分と前記第２の色度成分とに逆適応線形ＴＦを適用すること
のうちの１つを実行するように構成された、
Ｃ２１に記載のデバイス。
[Ｃ２７]  ビデオデータを処理するように構成されたデバイスであって、
ハイダイナミックレンジ（ＨＤＲ）および広色域（ＷＣＧ）ビデオデータを記憶するように構成されたメモリと、
色表現フォーマットとフラクショナル色度座標（ＦＣＣ）フォーマットとの間でＨＤＲおよびＷＣＧビデオデータの色度成分を変換することと、
調整されたＦＣＣフォーマットビデオデータを取得するために、前記ＦＣＣフォーマットビデオデータの対応する輝度成分に基づいて前記ＦＣＣフォーマットビデオデータの色度成分を調整することと、
圧縮されたＦＣＣフォーマットビデオデータを取得するために、１つまたは複数の適応伝達関数（ＴＦ）を使用して前記ＦＣＣフォーマットビデオデータを圧縮することと
を行うように構成されたプロセッサと
を備えるデバイス。
[Ｃ２８]  前記プロセッサが、
量子化されたＦＣＣフォーマットビデオデータを取得するために、前記圧縮されたＦＣＣフォーマットビデオデータを量子化することと、
符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたＦＣＣフォーマットビデオデータをサブサンプリングすることと
を行うようにさらに構成された、Ｃ２７に記載のデバイス。
[Ｃ２９]  前記適応ＴＦおよび前記調整のための関連するパラメータと前記圧縮されたＦＣＣフォーマットビデオデータとを推定することと、
符号化ビットストリーム中で前記ビデオエンコーダからビデオデコーダに前記圧縮されたＦＣＣフォーマットビデオデータおよび前記関連するパラメータをシグナリングすることと
を行うように構成されたビデオエンコーダをさらに備える、Ｃ２７に記載のデバイス。
[Ｃ３０]  前記プロセッサが、
第１の色表現フォーマットから第２の色表現フォーマットに前記ＨＤＲおよびＷＣＧビデオデータの前記色度成分を変換することと、
前記第２の色表現フォーマットの前記色度成分を前記ＦＣＣフォーマットビデオデータに変換することと、
量子化されたＦＣＣフォーマットビデオデータを生成するために、前記圧縮されたＦＣＣフォーマットビデオデータを量子化することと、
ビデオ符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたＦＣＣフォーマットビデオデータをダウンサンプリングすることと
を行うようにさらに構成された、Ｃ２７に記載のデバイス。
【図１】
0006800896.tif 000011
【図２】
0006800896.tif 000012
【図３】
0006800896.tif 000013
【図４】
0006800896.tif 000014
【図５Ａ】
0006800896.tif 000015
【図５Ｂ】
0006800896.tif 000016
【図５Ｃ】
0006800896.tif 000017
【図６】
0006800896.tif 000018
【図７】
0006800896.tif 000019
【図８】
0006800896.tif 000020
【図９】
0006800896.tif 000021