(57)【要約】  一例では、復号ビデオデータを処理するためのデバイスは、デジタル論理回路構成を備える1つまたは複数のハードウェアベース処理ユニットによって実装されるビデオデコーダと、デジタル論理回路構成を備える1つまたは複数のハードウェアベース処理ユニットによって実装される後処理ユニットとを含む。ビデオデコーダは、ビデオコーディング規格に従って、ビデオビットストリームのビデオデータを復号し、ビデオビットストリームのSEIメッセージからHDR後処理データを抽出し、復号ビデオデータおよびHDR後処理データを後処理ユニットに提供するように構成される。後処理ユニットは、ビデオコーディング規格に従って、HDR後処理データを使って復号ビデオデータを処理するように構成される。デバイスは、処理されたビデオデータを参照処理済みビデオデータと比較することによって、ビデオデコーダが、ビデオコーディング規格に準拠するかどうかをさらに判断することができる。
2018532316.tif 000002
【特許請求の範囲】
【請求項１】
復号ビデオデータを処理する方法であって、
ビデオデコーダによって、ビデオコーディング規格に従ってビデオビットストリームのビデオデータを復号するステップであって、前記ビデオビットストリームは、前記復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、ステップと、
前記ビデオデコーダによって、前記SEIメッセージから前記HDR後処理データを抽出するステップと、
前記ビデオデコーダによって、前記復号ビデオデータおよび前記HDR後処理データを後処理ユニットに提供するステップと、
前記後処理ユニットによって、前記ビデオコーディング規格に従って、前記HDR後処理データを使って前記復号ビデオデータを処理するステップとを含む方法。
【請求項２】
前記HDR後処理データは、前記復号ビデオデータをアップサンプリングするためのルックアップテーブル係数を含み、前記復号ビデオデータを処理するステップは、前記後処理ユニットによって、前記ルックアップテーブル係数を使って前記復号ビデオデータをアップサンプリングするステップを含む、請求項1に記載の方法。
【請求項３】
前記SEIメッセージはクロマ再サンプリングヒントSEIメッセージを含む、請求項2に記載の方法。
【請求項４】
前記HDR後処理データは、前記復号ビデオデータを逆量子化するための逆量子化データを含み、前記復号ビデオデータを処理するステップは、前記後処理ユニットによって、前記逆量子化データを使って前記復号ビデオデータを逆量子化するステップを含む、請求項1に記載の方法。
【請求項５】
前記HDR後処理データは、前記復号ビデオデータをルミナンスおよびクロミナンス色空間から赤緑青色空間に変換するための色変換データを含み、前記復号ビデオデータを処理するステップは、前記後処理ユニットによって、前記色変換データを使って、前記復号ビデオデータを前記ルミナンスおよびクロミナンス色空間から前記赤緑青色空間に変換するステップを含む、請求項1に記載の方法。
【請求項６】
前記HDR後処理データは、前記復号ビデオデータに対する電気光伝達関数を定義する伝達関数データを含み、前記復号ビデオデータを処理するステップは、前記後処理ユニットによって、前記復号ビデオデータに対して前記電気光伝達関数を実行するステップを含む、請求項1に記載の方法。
【請求項７】
前記ビデオデコーダは試験用ビデオデコーダを含み、前記復号ビデオデータは試験用復号ビデオデータを含み、前記後処理ユニットは試験用後処理ユニットを含み、前記方法は、
参照デコーダによって、参照復号ビデオデータを形成するために前記ビデオビットストリームの前記ビデオデータを復号するステップであって、前記参照デコーダは、前記ビデオコーディング規格に適合する、ステップと、
参照後処理ユニットによって、参照処理済み復号ビデオデータを形成するために、前記HDR後処理データを使って前記参照復号ビデオデータを処理するステップと、
前記処理された試験用復号ビデオデータが前記参照処理済み復号ビデオデータと一致するとき、前記試験用ビデオデコーダおよび前記試験用後処理ユニットが前記ビデオコーディング規格に適合すると判断するステップとをさらに含む、請求項1に記載の方法。
【請求項８】
前記試験用復号ビデオデータを処理するステップは、前記試験用復号ビデオデータをアップサンプリングするステップ、前記試験用復号ビデオデータを逆量子化するステップ、前記試験用復号ビデオデータをルミナンスおよびクロミナンス色空間から赤緑青色空間に変換するステップ、または前記試験用復号ビデオデータ上の前記復号ビデオデータに対して電気光伝達関数を実行するステップのうちの少なくとも1つを含む、請求項7に記載の方法。
【請求項９】
前記処理された試験用復号ビデオデータが、前記参照処理済み復号ビデオデータの対応する値の所定の範囲内の値を有するとき、前記処理された試験用復号ビデオデータが前記参照処理済み復号ビデオデータと一致すると判断するステップをさらに含む、請求項7に記載の方法。
【請求項１０】
前記試験用後処理ユニットは、複数の試験用後処理ユニットのうちの第1の試験用後処理ユニットを含み、前記参照後処理ユニットは、複数の参照後処理ユニットのうちの第1の参照後処理ユニットを含み、前記試験用後処理ユニットの各々は、前記参照後処理ユニットのうちの1つに対応し、
前記第1の試験用後処理ユニットによって、前記試験用復号ビデオデータを後処理するステップは、前記試験用後処理ユニットの各々によって、前記ビデオコーディング規格に従って、前記HDR後処理データを使って前記試験用復号ビデオデータを後処理するステップをさらに含み、
前記第1の参照後処理ユニットによって後処理するステップは、前記参照後処理ユニットの各々によって、前記HDR後処理データを使って前記参照ビデオデータを後処理するステップをさらに含み、
前記試験用ビデオデコーダおよび前記試験用後処理ユニットが前記ビデオコーディング規格に適合すると判断するステップは、前記試験用後処理ユニットの各々によって出力された前記処理された試験用復号ビデオデータが、前記対応する参照後処理ユニットによって出力された前記参照処理済み復号ビデオデータと一致するとき、前記試験用ビデオデコーダおよび前記試験用後処理ユニットの各々が前記ビデオコーディング規格に適合すると判断するステップを含む、請求項7に記載の方法。
【請求項１１】
復号ビデオデータを処理するためのデバイスであって、
ビデオビットストリームのビデオデータを記憶するように構成されたメモリであって、前記ビデオビットストリームは、前記復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、メモリと、
デジタル論理回路構成を備える1つまたは複数のハードウェアベース処理ユニットによって実装されるビデオデコーダと、
デジタル論理回路構成を備える1つまたは複数のハードウェアベース処理ユニットによって実装される後処理ユニットとを備え、
前記ビデオデコーダは、
ビデオコーディング規格に従って前記ビデオデータを復号し、
前記SEIメッセージから前記HDR後処理データを抽出し、
前記復号ビデオデータおよび前記HDR後処理データを前記後処理ユニットに提供するように構成され、
前記後処理ユニットは、前記ビデオコーディング規格に従って、前記HDR後処理データを使って前記復号ビデオデータを処理するように構成される、デバイス。
【請求項１２】
前記後処理ユニットはクロマアップサンプリングユニットを含み、前記HDR後処理データは、前記復号ビデオデータをアップサンプリングするためのルックアップテーブル係数を含み、前記クロマアップサンプリングユニットは、前記ルックアップテーブル係数を使って前記復号ビデオデータをアップサンプリングするように構成される、請求項11に記載のデバイス。
【請求項１３】
前記後処理ユニットは逆量子化ユニットを含み、前記HDR後処理データは、前記復号ビデオデータを逆量子化するための逆量子化データを含み、前記逆量子化ユニットは、前記逆量子化データを使って、前記復号ビデオデータを逆量子化するように構成される、請求項11に記載のデバイス。
【請求項１４】
前記HDR後処理データは、前記復号ビデオデータをルミナンスおよびクロミナンス色空間から赤緑青色空間に変換するための色変換データを含み、前記復号ビデオデータを処理することは、前記後処理ユニットによって、前記色変換データを使って、前記復号ビデオデータを前記ルミナンスおよびクロミナンス色空間から前記赤緑青色空間に変換することを含む、請求項11に記載のデバイス。
【請求項１５】
前記HDR後処理データは、前記復号ビデオデータに対する電気光伝達関数を定義する伝達関数データを含み、前記復号ビデオデータを処理することは、前記後処理ユニットによって、前記復号ビデオデータに対して前記電気光伝達関数を実行することを含む、請求項11に記載のデバイス。
【請求項１６】
前記ビデオデコーダは試験用ビデオデコーダを含み、前記復号ビデオデータは試験用復号ビデオデータを含み、前記後処理ユニットは試験用後処理ユニットを含み、前記デバイスは、
参照復号ビデオデータを形成するために前記ビデオビットストリームの前記ビデオデータを復号するように構成された参照デコーダであって、前記参照デコーダは、前記ビデオコーディング規格に適合する、参照デコーダと、
参照処理済み復号ビデオデータを形成するために、前記HDR後処理データを使って前記参照復号ビデオデータを処理するように構成された参照後処理ユニットと、
前記処理された試験用復号ビデオデータが前記参照処理済み復号ビデオデータと一致するとき、前記試験用ビデオデコーダおよび前記試験用後処理ユニットが前記ビデオコーディング規格に適合すると判断するように構成された規格準拠ユニットとをさらに備える、請求項11に記載のデバイス。
【請求項１７】
復号ビデオデータを処理するためのデバイスであって、
ビデオコーディング規格に従って、ビデオビットストリームのビデオデータを復号するための手段であって、前記ビデオビットストリームは、前記復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、手段と、
前記SEIメッセージから前記HDR後処理データを抽出するための手段と、
前記復号ビデオデータおよび前記HDR後処理データを後処理手段に提供するための手段と、
前記ビデオコーディング規格に従って、前記HDR後処理データを使って前記復号ビデオデータを処理するための前記後処理手段とを備えるデバイス。
【請求項１８】
前記HDR後処理データは、前記復号ビデオデータをアップサンプリングするためのルックアップテーブル係数を含み、前記復号ビデオデータを処理することは、前記後処理ユニットによって、前記ルックアップテーブル係数を使って前記復号ビデオデータをアップサンプリングすることを含む、請求項17に記載のデバイス。
【請求項１９】
前記HDR後処理データは、前記復号ビデオデータを逆量子化するための逆量子化データを含み、前記復号ビデオデータを処理することは、前記後処理ユニットによって、前記逆量子化データを使って前記復号ビデオデータを逆量子化することを含む、請求項17に記載のデバイス。
【請求項２０】
前記HDR後処理データは、前記復号ビデオデータをルミナンスおよびクロミナンス色空間から赤緑青色空間に変換するための色変換データを含み、前記復号ビデオデータを処理することは、前記後処理ユニットによって、前記色変換データを使って、前記復号ビデオデータを前記ルミナンスおよびクロミナンス色空間から前記赤緑青色空間に変換することを含む、請求項17に記載のデバイス。
【請求項２１】
前記HDR後処理データは、前記復号ビデオデータに対する電気光伝達関数を定義する伝達関数データを含み、前記復号ビデオデータを処理することは、前記後処理ユニットによって、前記復号ビデオデータに対して前記電気光伝達関数を実行することを含む、請求項17に記載のデバイス。
【請求項２２】
復号するための前記手段は試験用ビデオデコーダを含み、前記復号ビデオデータは試験用復号ビデオデータを含み、
参照復号ビデオデータを形成するために前記ビデオビットストリームの前記ビデオデータを復号するための第2の手段であって、復号するための前記第2の手段は、前記ビデオコーディング規格に適合する、手段と、
参照処理済み復号ビデオデータを形成するために、前記HDR後処理データを使って前記参照復号ビデオデータを処理するための第2の後処理手段と、
前記処理された試験用復号ビデオデータが前記参照処理済み復号ビデオデータと一致するとき、前記試験用ビデオデコーダが前記ビデオコーディング規格に適合すると判断するための手段とをさらに備える、請求項17に記載のデバイス。
【請求項２３】
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されると、
ビデオデコーダを実行する第1の1つまたは複数のプロセッサに、
ビデオコーディング規格に従って、ビデオビットストリームのビデオデータを復号することであって、前記ビデオビットストリームは、前記復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、復号することと、
前記SEIメッセージから前記HDR後処理データを抽出することと、
前記復号ビデオデータおよび前記HDR後処理データを、第2の1つまたは複数のプロセッサによって実行される後処理ユニットに提供することとを行わせ、
前記後処理ユニットを実行する前記第2の1つまたは複数のプロセッサに、前記ビデオコーディング規格に従って、前記HDR後処理データを使って前記復号ビデオデータを処理させる、コンピュータ可読記憶媒体。
【請求項２４】
前記HDR後処理データは、前記復号ビデオデータをアップサンプリングするためのルックアップテーブル係数を含み、前記第2の1つまたは複数のプロセッサに前記復号ビデオデータを処理させる前記命令は、前記第2の1つまたは複数のプロセッサに、前記ルックアップテーブル係数を使って前記復号ビデオデータをアップサンプリングさせる命令を含む、請求項23に記載のコンピュータ可読記憶媒体。
【請求項２５】
前記HDR後処理データは、前記復号ビデオデータを逆量子化するための逆量子化データを含み、前記第2の1つまたは複数のプロセッサに前記復号ビデオデータを処理させる前記命令は、前記第2の1つまたは複数のプロセッサに、前記逆量子化データを使って、前記復号ビデオデータを逆量子化させる命令を含む、請求項23に記載のコンピュータ可読記憶媒体。
【請求項２６】
前記HDR後処理データは、前記復号ビデオデータをルミナンスおよびクロミナンス色空間から赤緑青色空間に変換するための色変換データを含み、前記第2の1つまたは複数のプロセッサに前記復号ビデオデータを処理させる前記命令は、前記第2の1つまたは複数のプロセッサに、前記色変換データを使って、前記復号ビデオデータを前記ルミナンスおよびクロミナンス色空間から前記赤緑青色空間に変換させる命令を含む、請求項23に記載のコンピュータ可読記憶媒体。
【請求項２７】
前記HDR後処理データは、前記復号ビデオデータに対する電気光伝達関数を定義する伝達関数データを含み、前記第2の1つまたは複数のプロセッサに前記復号ビデオデータを処理させる前記命令は、前記第2の1つまたは複数のプロセッサに、前記復号ビデオデータに対して前記電気光伝達関数を実行させる命令を含む、請求項23に記載のコンピュータ可読記憶媒体。
【請求項２８】
前記ビデオデコーダは試験用ビデオデコーダを含み、前記復号ビデオデータは試験用復号ビデオデータを含み、
参照デコーダを実行する第3の1つまたは複数のプロセッサに、参照復号ビデオデータを形成するために前記ビデオビットストリームの前記ビデオデータを復号させ、前記参照デコーダは、前記ビデオコーディング規格に適合し、
第2の後処理ユニットを実行する第4の1つまたは複数のプロセッサに、参照処理済み復号ビデオデータを形成するために、前記HDR後処理データを使って前記参照復号ビデオデータを処理させ、
第5の1つまたは複数のプロセッサに、前記処理された試験用復号ビデオデータが前記参照処理済み復号ビデオデータと一致するとき、前記試験用ビデオデコーダが前記ビデオコーディング規格に適合すると判断させる命令をさらに含む、請求項23に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その内容全体が参照により本明細書に組み込まれる、2015年9月22日に出願した米国仮出願第62/222,147号の利益を主張する。
【０００２】
本開示は、ビデオ処理に関する。
【背景技術】
【０００３】
デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4, Part 10、アドバンストビデオコーディング(AVC)、ITU-T H.265、高効率ビデオコーディング(HEVC)によって規定された規格、およびそのような規格の拡張に記載されているものなどのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶することができる。
【０００４】
ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間(ピクチャ内)予測および/または時間(ピクチャ間)予測を含む。ブロックベースのビデオコーディングのために、ビデオスライス(たとえば、ビデオフレーム、またはビデオフレームの一部分)は、ビデオブロックに区分されることがあり、ビデオブロックは、ツリーブロック、コーディングユニット(CU)、および/またはコーディングノードと呼ばれることもある。ピクチャのイントラ符号化(I)スライス中のビデオブロックは、同じピクチャにおける隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインター符号化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用することができる。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００５】
空間または時間予測は、コーディングされるべきブロックのための予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インター符号化ブロックは、予測ブロックを形成する参照サンプルのブロックをポイントする動きベクトル、および符号化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラ符号化ブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセルドメインから変換ドメインに変換されて残差変換係数をもたらすことができ、その残差変換係数が次いで、量子化され得る。最初に2次元アレイで構成された量子化変換係数は、変換係数の1次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ITU-T H.265: High Efficiency Video Coding (HEVC)、www.itu.int/rec/T-REC-H.265-201504-I/en
【非特許文献２】ITU-T H.265, Series H: Audiovisual and Multimedia Systems, Infrastructure of audiovisual services-Coding of moving video, High efficiency video coding、国際電気通信連合(ITU)の電気通信標準化部門、2015年4月
【非特許文献３】ETSI-TS 101 547-2、Digital Video Broadcasting (DVB) Plano-stereoscopic 3DTV; Part 2: Frame compatible plano-stereoscopic 3DTV
【非特許文献４】3GPP TS 26.114 v13.0.0、第3世代パートナーシッププロジェクト;Technical Specification Group Services and System Aspects; IP Multimedia Subsystem (IMS); Multimedia Telephony; Media handling and interaction (Release 13)
【非特許文献５】ETSI-TS 101 154、Digital Video Broadcasting (DVB); Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Stream
【非特許文献６】D. Bugdayci Sansli、A. K. Ramasubramonian、D. Rusanovskyy、S. Lee、J. Sole、M. Karczewicz、Dynamic range adjustment SEI message、m36330、MPEG会合、ワルシャワ、ポーランド、2015年6月22〜26日
【発明の概要】
【課題を解決するための手段】
【０００７】
概して、本開示は、ビデオデコーダがビデオコーディング規格に適合するかどうか判断するのに使うことができる技法について記載する。その上、本開示の技法は概して、高ダイナミックレンジ(HDR)ビデオデータを準備するために復号ビデオデータを処理するのに使うことができる。復号ビデオデータは、様々なやり方で、HDRビデオデータを形成するために後処理され得る。たとえば、クライアントデバイスが、復号ビデオデータのクロミナンスデータを、たとえば、4:2:0フォーマットから4:4:4フォーマットにアップサンプリングし得る。クライアントデバイスは追加または代替として、より高いビット深度を達成するように、復号ビデオデータを逆量子化し得る。クライアントデバイスは追加または代替として、復号ビデオデータを、異なる色空間に、たとえば、ルミナンスおよびクロミナンス色空間(YUVまたはY'CbCrなど)から赤緑青(RGB)色空間にコンバートし得る。クライアントデバイスは追加または代替として、高ダイナミックレンジ(HDR)ビデオデータを生じるように、復号ビデオデータに対して電気光伝達関数を実施し得る。本開示の技法によると、これらの後処理手順のいずれかまたはすべてが、補足強調情報(SEI)メッセージなど、符号化ビデオビットストリームのシンタックス要素を使って制御され得る。したがって、ビデオデコーダは、SEIメッセージからHDR後処理データを抽出し、抽出された後処理データを1つまたは複数の後処理ユニットに提供することができる。さらに、後処理手順のいずれかまたはすべて、たとえば、上で論じた様々な後処理手順のうちのいずれかに続いて、ビデオコーディング規格への適合がテストされ得る。
【０００８】
一例では、復号ビデオデータを処理する方法は、ビデオデコーダによって、ビデオコーディング規格に従ってビデオビットストリームのビデオデータを復号するステップであって、ビデオビットストリームは、復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、ステップと、ビデオデコーダによって、SEIメッセージからHDR後処理データを抽出するステップと、ビデオデコーダによって、復号ビデオデータおよびHDR後処理データを後処理ユニットに提供するステップと、後処理ユニットによって、ビデオコーディング規格に従って、HDR後処理データを使って復号ビデオデータを処理するステップとを含む。
【０００９】
別の例では、復号ビデオデータを処理するためのデバイスは、ビデオビットストリームのビデオデータを記憶するように構成されたメモリであって、ビデオビットストリームは、復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、メモリと、デジタル論理回路構成を備える1つまたは複数のハードウェアベース処理ユニットによって実装されるビデオデコーダと、デジタル論理回路構成を備える1つまたは複数のハードウェアベース処理ユニットによって実装される後処理ユニットとを含む。ビデオデコーダは、ビデオコーディング規格に従ってビデオデータを復号し、SEIメッセージからHDR後処理データを抽出し、復号ビデオデータおよびHDR後処理データを後処理ユニットに提供するように構成される。後処理ユニットは、ビデオコーディング規格に従って、HDR後処理データを使って復号ビデオデータを処理するように構成される。
【００１０】
別の例では、復号ビデオデータを処理するためのデバイスは、ビデオコーディング規格に従って、ビデオビットストリームのビデオデータを復号するための手段であって、ビデオビットストリームは、復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、手段と、SEIメッセージからHDR後処理データを抽出するための手段と、復号ビデオデータおよびHDR後処理データを後処理手段に提供するための手段と、ビデオコーディング規格に従って、HDR後処理データを使って復号ビデオデータを処理するための後処理手段とを含む。
【００１１】
別の例では、コンピュータ可読記憶媒体が命令を記憶しており、命令は、実行されると、ビデオデコーダを実行する第1の1つまたは複数のプロセッサに、ビデオコーディング規格に従って、ビデオビットストリームのビデオデータを復号することであって、ビデオビットストリームは、復号ビデオデータ用の高ダイナミックレンジ(HDR)後処理データを含む補足強調情報(SEI)メッセージを含む、復号することと、SEIメッセージからHDR後処理データを抽出することと、ビデオデコーダによって、復号ビデオデータおよびHDR後処理データを、第2の1つまたは複数のプロセッサによって実行される後処理ユニットに提供することとを行わせ、後処理ユニットを実行する第2の1つまたは複数のプロセッサに、ビデオコーディング規格に従って、HDR後処理データを使って復号ビデオデータを処理させる。
【００１２】
1つまたは複数の例の詳細が、添付図面および以下の説明に記載される。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１３】
【図１】本開示の技法を実装するように構成された例示的なビデオ符号化および復号システムを示すブロック図である。
【図２】リニア高精度表現から圧縮ビットストリームへの、HDRコンテンツのための符号化プロセスの例を示すブロック図である。
【図３】HDRコンテンツのための復号プロセスの例を示すブロック図である。
【図４】伝達関数のいくつかの例を示す概念図である。
【図５】本開示の技法による例示的なシングルレイヤHDR再構築プロセスを示すブロック図である。
【図６】例示的なHDR前処理技法を示すブロック図である。
【図７】特定のプロファイルへの適合を主張するデコーダがどのようにテストされるかを示す概念図である。
【図８】特定のプロファイルへの適合を主張するデコーダがどのようにテストされるかの別の例を示す概念図である。
【図９】特定のプロファイルへの適合を主張するデコーダが、複数の適合点(CP)を用いてどのようにテストされるかの別の例を示す概念図である。
【図１０】本開示の技法による例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本開示は、高ダイナミックレンジ(HDR)および/または広色域(WCG)ビデオデータを前処理し、後処理することに関連したいくつかの技法について記載する。いくつかの例では、本開示は、標準ビデオコーデック(エンコーダ/デコーダ)に従ってHDR/WCGビデオデータを処理するための技法について記載する。
【００１５】
ビデオコーディング規格は、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、および、そのスケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含むITU-T H.264(ISO/IEC MPEG-4 AVCとしても知られる)を含む。
【００１６】
さらに、新たなビデオコーディング規格すなわちITU-T H.265, HEVCの設計は、ITU-Tビデオコーディングエキスパートグループ(VCEG)とISO/IECモーションピクチャエキスパートグループ(MPEG)とのビデオコーディング共同研究部会(JCT-VC)によって確定された。ITU-T HEVC規格は、www.itu.int/rec/T-REC-H.265-201504-I/enにおいて入手可能なITU-T H.265: High Efficiency Video Coding (HEVC)として入手可能である。確定されたHEVC規格文書は、ITU-T H.265, Series H: Audiovisual and Multimedia Systems, Infrastructure of audiovisual services-Coding of moving video, High efficiency video coding、国際電気通信連合(ITU)の電気通信標準化部門、2015年4月として公開されている。
【００１７】
本開示の技法は、ITU-T H.264/AVC、ITU-T H.265/HEVC、およびHDRビデオに関与する他の規格を含むが、それらに限定されない、様々なビデオコーディング規格に適用可能であり得る。本開示の技法は、これらもしくは将来のビデオコーディング規格、またはそのような規格に対する拡張への準拠を判断するのに使うことができる。
【００１８】
図1は、本開示の技法を使用し得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを提供するソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体16を介して宛先デバイス14にビデオデータを提供する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広い範囲のデバイスのうちのいずれかを備え得る。いくつかのケースでは、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
【００１９】
宛先デバイス14は、コンピュータ可読媒体16を介して、復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12がリアルタイムで宛先デバイス14へ符号化ビデオデータを直接送信することを可能にする通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を容易にするのに有用であり得る任意の他の機器を含み得る。
【００２０】
いくつかの例では、符号化データは、出力インターフェース22から記憶デバイスに出力され得る。同様に、符号化データは、入力インターフェースによって、記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Blu-ray(登録商標)ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性メモリもしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体など、分散されるかまたは局所的にアクセスされる様々なデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイス12によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、記憶デバイスからの記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶するとともにその符号化ビデオデータを宛先デバイス14へ送信することが可能な、任意のタイプのサーバであり得る。例示的なファイルサーバは、(たとえば、ウェブサイト用の)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブを含む。宛先デバイス14は、インターネット接続を含む任意の標準的なデータ接続を介して、符号化ビデオデータにアクセスすることができる。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、またはファイルサーバ上に記憶された符号化ビデオデータにアクセスするのに適した両方の組合せを含み得る。記憶デバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【００２１】
本開示の技法は、必ずしもワイヤレスの適用例または設定に限定されない。技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上へ符号化されるデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のうちのいずれかをサポートする際にビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオ放送、および/またはビデオ電話などの適用例をサポートするために、一方向または双方向ビデオ送信をサポートするように構成され得る。
【００２２】
図1の例では、ソースデバイス12は、ビデオソース18と、ビデオプリプロセッサユニット19およびビデオエンコーダ20を含むビデオ符号化ユニット21と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30およびビデオポストプロセッサユニット31を含むビデオ復号ユニット29と、ディスプレイデバイス32とを含む。ビデオプリプロセッサユニット19およびビデオポストプロセッサユニット31は、本開示に記載される1つまたは複数の例示的技法のいくつかの部分を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含み得る。たとえば、ソースデバイス12は、外部カメラなどの外部ビデオソース18からビデオデータを受信し得る。同様に、宛先デバイス14は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースすることができる。
【００２３】
本開示の技法によると、以下でより詳細に論じるように、ビデオデコーダ30は、符号化ビデオデータと、高ダイナミックレンジ(HDR)後処理データを含む1つまたは複数の補足強調情報(SEI)メッセージとを含むビットストリームを受信し得る。HDR後処理データは、たとえば、4:2:0クロマフォーマットデータを4:4:4クロマフォーマットにアップサンプリングするためのデータ、サンプルをフルビット深度へ逆量子化するためのデータ、ルミナンスおよびクロミナンス(たとえば、Y'CbCr)色空間中のビデオデータを赤緑青(RGB)色空間にコンバートするためのデータ、変換関数を実施するためのデータなどを含み得る。
【００２４】
ビデオデコーダ30は、SEIメッセージからHDR後処理データを抽出し、HDR後処理データをビデオ後処理ユニット31へ渡せばよい。ビデオ後処理ユニット31は、ビデオデコーダ30から受信された復号ビデオデータから、HDRビデオデータを準備することができる。このようにして、本開示の技法は、HDRビデオデータをサポートすることができる。
【００２５】
図1の示されるシステム10は一例にすぎない。ビデオデータを処理するための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実施され得る。一般に、本開示の技法はビデオ符号化デバイスによって実施されるが、技法はまた、通常は「コーデック」と呼ばれるビデオエンコーダ/デコーダによって実施され得る。説明しやすいように、本開示は、ビデオプリプロセッサユニット19およびビデオポストプロセッサユニット31が、ソースデバイス12および宛先デバイス14のうちのそれぞれのデバイスにおいて、本開示で説明する例示的な技法を実施することに関して説明される。ソースデバイス12および宛先デバイス14は、ソースデバイス12が宛先デバイス14への送信のための符号化ビデオデータを生成するようなコーディングデバイスの例にすぎない。いくつかの例では、デバイス12、14は、デバイス12、14の各々がビデオ符号化構成要素および復号構成要素を含むように実質的に対称的または互恵的に動作し得る。したがって、システム10は、たとえば、ビデオストリーミング、ビデオ再生、ビデオ放送、またはビデオ電話のための、ビデオデバイス12、14の間の一方向または双方向のビデオ送信をサポートし得る。
【００２６】
ソースデバイス12のビデオソース18は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどのビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース18は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかのケースでは、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き携帯電話またはビデオ付き携帯電話を形成し得る。しかしながら、上述のように、本開示で説明する技法は、一般にビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤードの適用例に適用され得る。各ケースにおいて、キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオ符号化ユニット21によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース22によってコンピュータ可読媒体16上に出力され得る。
【００２７】
コンピュータ可読媒体16は、ワイヤレス放送もしくはワイヤードネットワーク送信などの一時的媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-ray(登録商標)ディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含む場合がある。いくつかの例では、ネットワークサーバ(図示せず)が、たとえば、ネットワーク送信を介して、ソースデバイス12から符号化ビデオデータを受信し、符号化ビデオデータを宛先デバイス14に提供し得る。同様に、ディスクスタンピング設備などの媒体製造設備のコンピューティングデバイスが、ソースデバイス12から符号化ビデオデータを受信し、符号化ビデオデータを含むディスクを製造し得る。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むものと理解されてよい。
【００２８】
宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオ符号化ユニット21のビデオエンコーダ20によって規定され、またビデオ復号ユニット29のビデオデコーダ30によって使われるシンタックス情報を含んでよく、シンタックス情報は、ビデオデータのブロックおよび他の符号化ユニットの特性および/または処理を記述するシンタックス要素を含む。ディスプレイデバイス32は、復号ビデオデータをユーザに表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
【００２９】
図示したように、ビデオプリプロセッサユニット19は、ビデオソース18からビデオデータを受信する。ビデオプリプロセッサユニット19は、ビデオデータを処理して、ビデオエンコーダ20を用いて符号化するのに適切な形態に変換するように構成され得る。たとえば、ビデオプリプロセッサユニット19は、ダイナミックレンジ短縮(たとえば、非線形伝達関数を使用して)、よりコンパクトもしくはロバストな色空間への色コンバージョン、および/または浮動表現から整数表現へのコンバージョンを実施し得る。ビデオエンコーダ20は、ビデオプリプロセッサユニット19によって出力されるビデオデータ上でビデオ符号化を実施し得る。ビデオデコーダ30は、ビデオエンコーダ20の逆を実施してビデオデータを復号することができ、ビデオポストプロセッサユニット31は、ビデオプリプロセッサユニット19の逆を実施してビデオデータを表示にとって適切な形態にコンバートすることができる。たとえば、ビデオポストプロセッサユニット31は、表示にとって適切なビデオデータを生成するために、整数からフローティングへのコンバージョン、コンパクトもしくはロバストな色空間からの色コンバージョン、および/またはダイナミックレンジ短縮の逆を実施し得る。
【００３０】
ビデオ符号化ユニット21およびビデオ復号ユニット29はそれぞれ、1つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダ回路構成のいずれかとして実装され得る。技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体の中にソフトウェア用の命令を記憶し、本開示の技法を実施するための1つまたは複数のプロセッサを使用してハードウェアで命令を実行し得る。ビデオ符号化ユニット21およびビデオ復号ユニット29の各々は、1つまたは複数のエンコーダまたはデコーダの中に含まれてよく、そのいずれもが、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合されてよい。
【００３１】
ビデオプリプロセッサユニット19およびビデオエンコーダ20はビデオ符号化ユニット21内の別個のユニットであるものとして図示され、ビデオポストプロセッサユニット31およびビデオデコーダ30はビデオ復号ユニット29内の別個のユニットであるものとして図示されるが、本開示で説明する技法はそのように限定されない。ビデオプリプロセッサユニット19およびビデオエンコーダ20は、共通のデバイス(たとえば、集積回路であるか、または同じチップ内に収容される)として形成されてよい。同様に、ビデオポストプロセッサユニット31およびビデオデコーダ30は、共通のデバイス(たとえば、集積回路であるか、または同じチップ内に収容される)として形成されてよい。
【００３２】
ビデオエンコーダ20およびビデオデコーダ30は、上述したビデオコーディング規格のうちのいずれかなどのビデオ圧縮規格に従って動作する。HEVCおよび他のビデオコーディング規格では、ビデオシーケンスは、通常一連のピクチャを含む。ピクチャは、「フレーム」と呼ばれる場合もある。ピクチャは、SL、SCb、およびSCrと表記される3つのサンプルアレイを含み得る。SLは、ルーマサンプルの2次元アレイ(すなわち、ブロック)である。SCbは、Cbクロミナンスサンプルの2次元アレイである。SCrは、Crクロミナンスサンプルの2次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれる場合もある。他の事例では、ピクチャはモノクロであることがあり、ルーマサンプルのアレイだけを含むことがある。
【００３３】
ビデオエンコーダ20は、コーディングツリーユニット(CTU)のセットを生成し得る。CTUの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの2つの対応するコーディングツリーブロックと、コーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャ、または3つの別個の色平面を有するピクチャでは、CTUは、単一のコーディングツリーブロックと、コーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックは、サンプルのN×Nブロックであり得る。CTUは、「ツリーブロック」または「最大コーディングユニット」(LCU)と呼ばれることもある。HEVCのCTUは、H.264/AVCなどの他のビデオコーディング規格のマクロブロックと概して類似し得る。しかしながら、CTUは、必ずしも特定のサイズに限定されるとは限らず、1つまたは複数のコーディングユニット(CU)を含み得る。スライスは、ラスター走査において連続的に順序付けられた整数個のCTUを含み得る。
【００３４】
本開示は、サンプルの1つまたは複数のブロックと、サンプルの1つまたは複数のブロックのサンプルをコーディングするために使用されるシンタックス構造とを指すために、「ビデオユニット」または「ビデオブロック」という用語を使用することがある。例示的なタイプのビデオユニットは、HEVCにおけるCTU、CU、PU、変換ユニット(TU)、または他のビデオコーディング規格におけるマクロブロック、マクロブロック区分などを含み得る。
【００３５】
ビデオエンコーダ20は、CUのコーディングブロックを1つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの長方形(すなわち、正方形または非正方形)のブロックであり得る。CUの予測ユニット(PU)は、ピクチャの、ルーマサンプルの予測ブロック、クロマサンプルの2つの対応する予測ブロック、および予測ブロックサンプルを予測するために使用されるシンタックス構造を備え得る。モノクロームピクチャ、または3つの別個の色平面を有するピクチャでは、PUは、単一の予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ20は、CUの各PUのルーマ予測ブロック、Cb予測ブロック、およびCr予測ブロックに関する、予測ルーマブロック、予測Cbブロック、および予測Crブロックを生成し得る。
【００３６】
ビデオエンコーダ20は、PUに関する予測ブロックを生成するためにイントラ予測またはインター予測を使用し得る。ビデオエンコーダ20がPUの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ20は、PUに関連するピクチャの復号サンプルに基づいてPUの予測ブロックを生成し得る。ビデオエンコーダ20がPUの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ20は、別のピクチャの復号サンプルに基づいてPUの予測ブロックを生成し得る。
【００３７】
ビデオエンコーダ20がCUの1つまたは複数のPUに関する予測ルーマブロック、予測Cbブロック、および予測Crブロックを生成した後、ビデオエンコーダ20は、CUに関するルーマ残差ブロックを生成し得る。CUのルーマ残差ブロック中の各サンプルは、CUの予測ルーマブロックのうちの1つの中のルーマサンプルとCUの元のルーマコーディングブロックの中の対応するサンプルとの間の差分を示す。さらに、ビデオエンコーダ20は、CUに関するCb残差ブロックを生成することができる。CUのCb残差ブロックの中の各サンプルは、CUの予測Cbブロックのうちの1つの中のCbサンプルと、CUの元のCbコーディングブロックの中の対応するサンプルとの間の差分を示すことができる。ビデオエンコーダ20は、CUに関するCr残差ブロックを生成することもできる。CUのCr残差ブロックの中の各サンプルは、CUの予測Crブロックのうちの1つの中のCrサンプルと、CUの元のCrコーディングブロックの中の対応するサンプルとの間の差分を示すことができる。
【００３８】
さらに、ビデオエンコーダ20は、4分木区分を使用して、CUのルーマ残差ブロック、Cb残差ブロック、およびCr残差ブロックを、1つまたは複数のルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロックに分解し得る。変換ブロックは、同じ変換が適用されるサンプルの長方形ブロックであり得る。CUの変換ユニット(TU)は、ルーマサンプルの変換ブロック、クロマサンプルの2つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用されるシンタックス構造を備え得る。モノクロームピクチャ、または3つの別個の色平面を有するピクチャでは、TUは、単一の変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。したがって、CUの各TUは、ルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロックに関連し得る。TUに関連するルーマ変換ブロックは、CUのルーマ残差ブロックのサブブロックであり得る。Cb変換ブロックは、CUのCb残差ブロックのサブブロックであり得る。Cr変換ブロックは、CUのCr残差ブロックのサブブロックであり得る。
【００３９】
ビデオエンコーダ20は、TUのルーマ変換ブロックに1つまたは複数の変換を適用して、TUのルーマ係数ブロックを生成することができる。係数ブロックは、変換係数の2次元アレイであり得る。変換係数は、スカラー量であり得る。ビデオエンコーダ20は、TUに関するCb係数ブロックを生成するために、TUのCb変換ブロックに1つまたは複数の変換を適用し得る。ビデオエンコーダ20は、TUに関するCr係数ブロックを生成するために、TUのCr変換ブロックに1つまたは複数の変換を適用し得る。
【００４０】
係数ブロック(たとえば、ルーマ係数ブロック、Cb係数ブロック、またはCr係数ブロック)を生成した後に、ビデオエンコーダ20は、係数ブロックを量子化することができる。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。さらに、ビデオエンコーダ20は、変換係数を逆量子化し、ピクチャのCUのTUの変換ブロックを再構築するために変換係数に逆変換を適用することができる。ビデオエンコーダ20は、CUのコーディングブロックを再構築するために、CUのTUの再構築された変換ブロックと、CUのPUの予測ブロックとを使うことができる。ピクチャの各CUのコーディングブロックを再構築することによって、ビデオエンコーダ20はピクチャを再構築することができる。ビデオエンコーダ20は、再構築されたピクチャを復号ピクチャバッファ(DPB)中に記憶し得る。ビデオエンコーダ20は、DPB中の再構築されたピクチャを、インター予測およびイントラ予測に使用することができる。
【００４１】
ビデオエンコーダ20が係数ブロックを量子化した後、ビデオエンコーダ20は、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオエンコーダ20は、量子化変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング(CABAC)を実施し得る。ビデオエンコーダ20は、エントロピー符号化されたシンタックス要素をビットストリームの中に出力し得る。
【００４２】
ビデオエンコーダ20は、符号化ピクチャの表現および関連するデータを形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、ネットワークアブストラクションレイヤ(NAL)ユニットのシーケンスを備え得る。NALユニットの各々は、NALユニットヘッダを含み、ローバイトシーケンスペイロード(RBSP)をカプセル化する。NALユニットヘッダは、NALユニットタイプコードを示すシンタックス要素を含み得る。NALユニットのNALユニットヘッダによって指定されるNALユニットタイプコードは、NALユニットのタイプを示す。RBSPは、NALユニット内にカプセル化されている整数個のバイトを含むシンタックス構造であり得る。いくつかの事例では、RBSPは0個のビットを含む。
【００４３】
異なるタイプのNALユニットは、異なるタイプのRBSPをカプセル化し得る。たとえば、第1のタイプのNALユニットはピクチャパラメータセット(PPS)用のRBSPをカプセル化し得、第2のタイプのNALユニットは符号化スライス用のRBSPをカプセル化し得、第3のタイプのNALユニットは補足強調情報(SEI)用のRBSPをカプセル化し得、以下同様である。PPSとは、0個以上の符号化ピクチャ全体に適用されるシンタックス要素を含み得るシンタックス構造である。(パラメータセット用およびSEIメッセージ用のRBSPではなく)ビデオコーディングデータ用のRBSPをカプセル化するNALユニットは、ビデオコーディングレイヤ(VCL)NALユニットと呼ばれることがある。符号化スライスをカプセル化するNALユニットは、本明細書では符号化スライスNALユニットと呼ばれることがある。符号化スライス用のRBSPは、スライスヘッダおよびスライスデータを含み得る。
【００４４】
ビデオデコーダ30は、ビットストリームを受信し得る。加えて、ビデオデコーダ30は、ビットストリームからシンタックス要素を復号するために、ビットストリームを構文解析し得る。ビデオデコーダ30は、ビットストリームから復号されたシンタックス要素に少なくとも一部基づいて、ビデオデータのピクチャを再構築し得る。ビデオデータを再構築するためのプロセスは全般に、ビデオエンコーダ20によって実施されるプロセスと逆であり得る。たとえば、ビデオデコーダ30は、現在のCUのPUに関する予測ブロックを決定するために、PUの動きベクトルを使用し得る。ビデオデコーダ30は、PUに関する予測ブロックを生成するために、PUの1つまたは複数の動きベクトルを使用し得る。
【００４５】
加えて、ビデオデコーダ30は、現在のCUのTUに関連付けられた係数ブロックを逆量子化し得る。ビデオデコーダ30は、現在のCUのTUに関連付けられた変換ブロックを再構築するために、係数ブロックに対して逆変換を実施することができる。ビデオデコーダ30は、現在のCUのPUの予測サンプルブロックのサンプルを、現在のCUのTUの変換ブロックの対応するサンプルに加算することによって、現在のCUのコーディングブロックを再構築し得る。ピクチャのCUごとにコーディングブロックを再構築することによって、ビデオデコーダ30はピクチャを再構築し得る。ビデオデコーダ30は、出力するために、および/または他のピクチャを復号する際に使用するために、復号ピクチャを復号ピクチャバッファの中に記憶し得る。
【００４６】
補足強調情報(SEI)メッセージは、通常、デコーダによってビットストリームを復号するのに必須でない情報を搬送するために、ビデオビットストリーム中に含まれる。この情報は、復号された出力の表示または処理を改善する際に有用であり、たとえば、そのような情報は、コンテンツの視認性を改善するためにデコーダ側エンティティによって使用され得る。いくつかのアプリケーション規格が、ビットストリーム中のそのようなSEIメッセージの存在を義務づけ得ることも可能であり、そうすることによって、アプリケーション規格に適合するすべてのデバイスに対して品質の改善がもたらされ得る(たとえば、ETSI-TS 101 547-2、Digital Video Broadcasting (DVB) Plano-stereoscopic 3DTV; Part 2: Frame compatible plano-stereoscopic 3DTVに記載されているように、SEIメッセージがビデオのあらゆるフレームについて搬送される、フレーム互換プラノステレオスコピック(plano-stereoscopic)3DTVビデオフォーマット向けのフレームパッキングSEIメッセージの搬送、たとえば、3GPP TS 26.114 v13.0.0、第3世代パートナーシッププロジェクト;Technical Specification Group Services and System Aspects; IP Multimedia Subsystem (IMS); Multimedia Telephony; Media handling and interaction (Release 13)に記載されている、回復点SEIメッセージの扱い、または、たとえば、ETSI-TS 101 154、Digital Video Broadcasting (DVB); Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Streamに記載されている、DVBにおけるパンスキャン走査矩形SEIメッセージの使用。
【００４７】
トーンマッピング情報SEIメッセージは、ルーマサンプル、またはRGB成分サンプルの各々をマップするのに使われる。tone_map_idの異なる値が、異なる目的を定義するのに使われ、トーンマップSEIメッセージのシンタックスもそれに応じて修正される。tone_map_idについての1の値により、SEIメッセージは、RGBサンプルを最小および最大値までクリップすることができる。tone_map_idについての3の値は、枢動点の形でのルックアップテーブルのシグナリングを可能にする。ただし、適用されると、同じ値が、すべてのRGB成分に適用されるか、またはルーマ成分にのみ適用される。
【００４８】
ニー関数SEIメッセージは、正規化線形ドメインにおける復号ピクチャのRGB成分のマッピングを示すのに使われる。入力および出力最大ルミナンス値も示され、ルックアップテーブルが、入力ルミナンス値を出力ルミナンス値にマップする。3つの色成分すべてに対して、同じルックアップテーブルが適用される。
【００４９】
HEVC規格において定義される色再マッピング情報(CRI)SEIメッセージは、ある色空間中のピクチャを別の色空間にマップするのに使われる情報を伝えるのに使われる。一例では、CRI SEIメッセージのシンタックスは3つの部分を含み、すなわち、第1のルックアップテーブル(Pre-LUT)、それに続く、色再マッピング係数を示す3×3行列、それに続く、第2のルックアップテーブル(Post-LUT)である。各色成分、たとえば、R,G,BまたはY,Cb,Cr用に、Pre-LUTとPost-LUTの両方について独自のLUTが定義される。CRI SEIメッセージは、color_remap_idと呼ばれるシンタックス要素も含み、この要素の異なる値は、SEIメッセージの異なる目的を示すのに使われ得る。
【００５０】
たとえば、D. Bugdayci Sansli、A. K. Ramasubramonian、D. Rusanovskyy、S. Lee、J. Sole、M. Karczewicz、Dynamic range adjustment SEI message、m36330、MPEG会合、ワルシャワ、ポーランド、2015年6月22〜26日に記載されているダイナミックレンジ調節SEIメッセージは、どのビデオコーディング規格の一部としても採用されていないが、SEIメッセージは、入力サンプルをマップするための、スケールおよびオフセット番号の1つのセットのシグナリングを含む。SEIメッセージは、異なる成分用の異なるルックアップテーブルのシグナリングも可能にし、複数の成分用に同じスケールおよびオフセットが使われるべきであるとき、シグナリング最適化も可能にする。スケールおよびオフセット番号は、固定長精度でシグナリングされる。
【００５１】
次世代ビデオアプリケーションは、HDRおよびWCGを有するキャプチャされた景色を表すビデオデータにより動作することが予想される。利用されるダイナミックレンジおよび色域のパラメータは、ビデオコンテンツの2つの独立した属性であり、デジタルテレビジョンおよびマルチメディアサービスのためのそれらの仕様が、いくつかの国際規格によって規定されている。たとえば、ITU-R Rec. 709は、標準ダイナミックレンジ(SDR)および標準色域など、HDTV(高精細テレビ)用のパラメータを定義する。一方、ITU-R Rec. 2020は、高ダイナミックレンジ(HDR)および広色域(WCG)などのUHDTV(超高精細テレビ)パラメータを指定する。他のシステムにおけるダイナミックレンジおよび色域属性を指定する他の規格開発団体(SDO)文書もあり、たとえば、P3色域がSMPTE(米国映画テレビ技術者協会)-231-2において規定されており、HDRのいくつかのパラメータがSMPTE-2084において規定されている。ダイナミックレンジの簡潔な記述を、以下で行う。
【００５２】
ダイナミックレンジは、通常、ビデオ信号の最小輝度と最大輝度との間の比として規定される。ダイナミックレンジはまた、「fストップ」の観点から測定されることがあり、ただし、1fストップが信号ダイナミックレンジの倍増に相当する。MPEGの規定では、HDRコンテンツとは、輝度変動が16fストップを越えることを特徴とするようなコンテンツである。いくつかの用語では、10fストップと16fストップの間のレベルは、中間ダイナミックレンジと見なされるが、それは他の規定ではHDRと見なされることがある。同時に、人間の視覚系(HVS)は、はるかに大きいダイナミックレンジを知覚することが可能である。しかしながら、HVSは、いわゆる同時レンジを狭める適応機構を含む。
【００５３】
現在のビデオアプリケーションおよびサービスは、Rec.709によって規制されるとともにSDRを提供し、通常、0.1〜100カンデラ(cd)/m2(しばしば「ニト」と呼ばれる)付近の輝度(すなわち、ルミナンス)のレンジをサポートして、10fストップ未満へ導く。次世代ビデオサービスは、最大で16fストップのダイナミックレンジを提供することが期待されており、詳細な仕様は現在開発中であるが、いくつかの初期パラメータがSMPTE-2084およびRec.2020において指定されている。
【００５４】
高ダイナミックレンジ(HDR)および広色域(WCG)は、ビデオコンテンツの2つの属性である。HDR/WCGビデオコンテンツを符号化/復号するためのいくつかの例示的技法は、入力ビット深度が10ビット以上であるとともに追加前/後処理ステップを伴うコアビデオコーデック(たとえば、H.264/AVCまたはH.265/HEVC)を使う。前処理は、入力HDR/WCGビデオデータをコーデックに適合させるために、そのようなデータに適用される。後処理は、(再構築)HDR/WCGビデオデータを回復するために、復号サンプルに適用される。前および後処理の間には、コアビデオコーデックによって実行される規格の特定のプロファイルおよびレベルに適合するビットストリームおよびデコーダをもつ標準コーデックがある。一例では、コアビデオコーデックはHEVC Main 10である。
【００５５】
いくつかの例では、HDR/WCGビデオコンテンツは、4:4:4クロマフォーマットおよび非常に広い色空間(たとえば、XYZ)により、成分ごとに非常に高い精度(さらには浮動小数点)で収集および記憶される。この表現は、高い精度をターゲットにし、数学的に(ほとんど)ロスレスである。圧縮目的のためには、特に、表現がHEVCのようなビデオコーデック用の入力として好都合であるとき、より低い精度の表現が好ましい。
【００５６】
このように、宛先デバイス14は、ビデオビットストリームのビデオデータを記憶するように構成されたメモリであって、ビデオビットストリームは、復号ビデオデータ用の後処理データを含む補足強調情報(SEI)メッセージを含む、メモリと、デジタル論理回路構成(たとえば、ビデオデコーダ30)を備える1つまたは複数のハードウェアベース処理ユニットによって実装されるビデオデコーダと、デジタル論理回路構成(たとえば、ビデオポストプロセッサユニット31)を備える1つまたは複数のハードウェアベース処理ユニットによって実装される後処理ユニットとを含む、復号ビデオデータを処理するためのデバイスの例を表す。ビデオデコーダは、ビデオデータを復号し、SEIメッセージからHDR後処理データを抽出し、復号ビデオデータおよびHDR後処理データを後処理ユニットに提供するように構成され得る。後処理ユニットは、HDR後処理データを使って復号ビデオデータを処理するように構成され得る。
【００５７】
図2は、図1のビデオプリプロセッサユニット19の構成要素を示すブロック図であり、ユニット19は、HDRコンテンツを、リニア高精度表現から、圧縮されたビットストリームを形成するためにビデオデータを符号化するときに使われるフォーマットにコンバートし得る。図3は、図1のビデオポストプロセッサユニット31の構成要素を示すブロック図であり、ユニット31は、圧縮解除されたビデオデータを元の表現空間(すなわち、HDRビデオ)にコンバートし得る。
【００５８】
図2のビデオプリプロセッサユニット19はOETFユニット50を含み、図3のビデオポストプロセッサユニット31はEOTFユニット68を含む。OETFユニット50およびEOTFユニット68は、それぞれの伝達関数(TF)を実装する。OETFユニット50は、線形浮動データを、光電気伝達関数(OETF)を用いて、ルミナンス表現(たとえば、ニトでの、または正規化ルミナンス表現での)からコードワード(またはコードレベル)にコンバートする。TFは、1次元(1D)関数であり得る。標準ダイナミックレンジ(SDR)TFは通常、ガンマ関数である。HDR用に、追加または代替として、PQ(ST2084)のような他の非線形関数が使われてよい。伝達関数の目標は、ルミナンスのログ関数により整合された(線形関係とは反対に)知覚を有する人間視覚系(HVS)特性を構成する入力データを圧伸することである。
【００５９】
図3のEOTFユニット68は、OETFの逆プロセス、つまり、EOTF(電気光伝達関数)を実施する。EOTFを実施することによって、EOTFユニット68は、コードレベルをルミナンスにマップする。以下の図4は、TFのいくつかの例を示す。これらのマッピングはまた、別個に各R、G、およびB成分に適用され得る。
【００６０】
図2のビデオプリプロセッサユニット19はR'G'B'-Y'CbCrユニット52を含み、図3のビデオポストプロセッサユニット31はY'CbCr-R'G'B'ユニット66を含み、これらの各々は、それぞれの色変換を実施する。RGB色空間は、その成分の間に高い相関を有する。図2の例において、R'G'B'-Y'CbCrユニット52は、RGB成分をYCbCrにコンバートし、YCbCrは、圧縮に適した、より相関していない色空間である。同様に、Y'CbCr-R'G'B'ユニット66は、YCbCr成分をそれぞれのRGB成分にコンバートし、RGB成分は、たとえば、ディスプレイデバイス32(図1)によって表示され得る。
【００６１】
図2の量子化(「quant」)10bユニット54および図3の逆量子化(「inv quant」)10bユニット64は、それぞれの量子化/固定点コンバージョンを実施する。quant 10bユニット54は、高ビット深度(浮動または固定点)での元のデータを、ビデオコーデック、たとえば、ビデオエンコーダ20およびビデオデコーダ30によって扱うことができるビット深度にコンバートする。たとえば、quant 10bユニット54は、データをスケーリングし、データをHEVC10ビット符号化でコーディングするように、スケーリングされたデータを、10ビットで表されるように量子化することができる。逆に、inv quant 10bユニット64は、フルビットレンジを再現するように、データを逆量子化し、スケーリングする。
【００６２】
ビデオプリプロセッサユニット19は、ダウンサンプリングを実施する4:4:4-4:2:0ユニット56を含み、ビデオポストプロセッサユニット31は、アップサンプリングを実施する4:2:0-4:4:4ユニット62を含む。多くのビデオコーディングアプリケーションが4:2:0クロマフォーマットを使っているが、それは概して、クロマ成分を各方向において2だけダウンサンプリングすることが、主観的な視覚的影響を与えることにはならず、データの量は、コーデック圧縮の前に2という因数ですでに除算されているからである。HDR/WCG用に、その観察は依然として成り立つように思われ、初期システムでは、コーデックには、4:2:0クロマフォーマットで表されるビデオが供給される。このように、HEVC Main 10プロファイルは、HDR/WCGビデオを圧縮するのに使われてもよい。
【００６３】
図5は、図3の例と比較して代替コーディングチェーンを実施する、別の例示的なビデオポストプロセッサユニット31'を示すブロック図である。この例では、ビデオポストプロセッサユニット31'は、適応再整形ユニット70、クロマアップサンプリングユニット72、色強調ユニット74、色空間コンバージョンユニット76、および適応TF'78を含む。ビデオポストプロセッサユニット31'はまた、適応再整形メタストリーム80、色強調メタストリーム82、および色空間メタストリーム84を含むメタデータを受信する。
【００６４】
HDR/WCG(w15454)についてのMPEGアドホックグループにおいて記載されるように、HDR用の一連の「共通アーキテクチャ」がある。図5は、HDR用の例示的な共通アーキテクチャを表す。クロマアップサンプリングユニット72は、必ずしもHDR用の技術の一部ではない。HDR出力データは、浮動小数点値で表すことができる。本開示のいくつかの例では、たとえば、図3に示すように、逆量子化ステップが、図5に示すアーキテクチャとともに使われ得る。
【００６５】
ビデオコーディング規格における適合性。ビデオデコーダは、適合するビットストリームを、デコーダに、および仮想参照デコーダ(HRD)に配送し、2つのデコーダの出力の値およびタイミングまたは順序を比較することによって、適合性をテストされる。デコーダは、たとえば、HRDによって出力された、すべてのクロップされた復号ピクチャが、試験用デコーダによっても出力されるとき、AVCまたはHEVC仕様に適合すると言われる。つまり、出力されるすべてのサンプルの値は、指定された復号プロセスによって生じられたサンプルの値に等しい。適合性は、復号ビデオの品質を保証する。復号ビデオは、HRDに対して「ビットパーフェクト(bit-exact)」である。
【００６６】
例示的なビデオコーディング規格(MPEG-1、MPEG-2、H.261、H.263、AVC、HEVC...)における適合点は、(整数ビット深度での適切なchroma_formatをもつ)再構築符号化フレームのHRD出力バッファ、およびHRDモデルまたはより高いレベルのSTD(MPEG-2トランスポートストリーム)によって含意されているフレームのタイミングであった。4:2:0より前のビデオ信号(4:4:4ソースなど)またはポストループフィルタ4:2:0出力以外のいずれかにおける適合点を含む、4:2:0ビデオコーデックをコアにもつ適合性モデルはなかった。
【００６７】
4:4:4クロマフォーマットから4:2:0クロマフォーマットに、およびその逆にコンバートすることは、ダウンおよびアップサンプリングフィルタを利用する。このプロセスの実施は、選択されたダウンおよびアップサンプリングフィルタに対して、また、コンテンツ特性に対して敏感であり得る。適応的スケーリング方法が、コンテンツのローカル特性に依存して、フィルタを変更するのに使われ、そうすることによって、スケーリングは、たとえば、滑らかなエリア、エッジ、テクスチャなどにおける、各タイプの領域に対してうまくいく。多くの製造元が、自社のデバイス(TV、モニタなど)向けに最良品質を得るために、および競合相手とは差別化するためのやり方として、固有の方法を使う。したがって、ビデオコーディング規格は、デコーダ/受信機側において適用されなければならないいかなる特定のアップサンプリングフィルタも課さない。最大限でも、「クロマ再サンプリングヒントSEI(補足強調情報)」の例があり、これは、連結演算において非劣化4:2:0クロマ保護を提供するための、4:2:2/4:2:0および4:2:0/4:2:2フォーマットコンバージョンの方法を定義する推奨であるSMPTE RP-2050用のHEVC/AVCキャリッジである。
【００６８】
ただし、入力および出力が4:4:4クロマフォーマットであるので、4:2:0復号サンプルに適用されるべきアップサンプリングフィルタは、ここで定義されるHDRシステム用の適合性を有するために定義されるべきである。これは、規格に準拠するデコーダ用の適合点を定義しなければならないHDRビデオ圧縮システムをどのように規格化するかについての問題を呈する。
【００６９】
別の側面は浮動小数点演算であり、この演算は、特定のアーキテクチャに非常に依存するので、概して、規格では回避される。たとえば、MPEG-1および2は、指定された浮動小数点演算を使うことができないデコーダにおけるドリフトを引き起こした、浮動小数点での逆DCT(IEEE1180)を定義している。統計指向規格、すなわちANSI/IEEE1180-1990は、準拠する8×8IDCT(逆離散コサイン変換)についての精度を指定した。ドリフトは、予想出力からの逸脱を引き起こし、品質は保証することができなかった。MPEG-1は、それ以外のものの中でも特に、ハードウェアデコーダにおいて最も一般的な低精度実装における逆DCT誤差の累積により、Iフレームの間に最大数のフレームを要求した。ANSI/IEEE1180-1990は普及しておらず、ビデオ復号のために固定点逆DCTが定義されるまで、MPEG規格ファミリーによって規格が絶えず参照されているにもかかわらず、管理者によって二度撤回されている。
【００７０】
この点において、ビデオコーディング規格において浮動小数点演算を要求することは、規格の実装すべてに対して高い精度ハードルを課すので、問題があり得る。HDRは、本明細書においていくつかの例で定義されるように、10ビットから浮動小数点への逆量子化ステップを有し、次いで、データは、浮動小数点ドメインにおいて処理される(たとえば、逆TF、色コンバージョン)。
【００７１】
図6は、例示的なHDRプリプロセスを示す流れ図であり、このプロセスは、本質的に、たとえば、図1および図2のビデオ前処理ユニット19によって実施され得る。図6の例では、最初に、カメラ(図1のビデオソース18など)が、限定範囲内で線形一次値をキャプチャする(90)。ビデオプリプロセッサユニット19は次いで、ノイズ低減およびデベイヤー入力デバイス変換(IDT)を実施してよく(92)、これにより、定義されたノイズフロアを下回る孤立レベル値を削除し、カメラアパーチャメタデータに従って、ピクセル値をフルダイナミックレンジにスケーリングすることができる。ビデオプリプロセッサユニット19は次いで、色タイミングおよびグレーディングプロセスを実施してよく、これは、たとえば、見た目修正変換(LMT:look modification transform)、参照レンダリング変換(RRT)などを含み得る(94)。色タイミングおよびグレーディングプロセスを実施するために、ビデオプリプロセッサユニット19は、マスタリングモニタ96からデータを受信し得る。概して、このプロセスは、所望の見た目を確立し、デバイスレベルレンダリングを実施する。
【００７２】
次に、ビデオ前処理ユニット19のOETFユニット50がOETFを実施してよく、これは、たとえば、図4に示すように、出力デバイス変換(ODT)により、PQ曲線に従って、線形入力データをコンバートすることを含み得る(98)。次いで、R'G'B'-Y'CbCrユニット52が、色空間コンバージョンを使って、入力R'G'B'データをY'CbCrデータにコンバートし得る(100)。4:4:4-4:2:0ユニット56が次いで、4:4:4入力データを4:2:0データに縮小するために、クロマ再サンプリングを実施し得る(102)。ビデオ前処理ユニット19が次いで、浮動小数点値を整数サンプルにコンバートし得る(104)。
【００７３】
代替実装形態は、浮動小数点演算の精度を近似する固定小数点演算において後処理チェーンを行う場合もある。そのようなソリューションでは、浮動小数点表現へのデータの逆量子化は、浮動点出力が要求されない場合は回避されてよく、または、そのような出力が要求されない場合は、処理チェーンの最後に位置付けられてよい。
【００７４】
国際規格化団体(たとえば、MPEG)は、後処理チェーン、たとえば、SEIメッセージの処理の実装、またはその実装の精度を指定していないようである。これは、特定の規格化仕様に準拠していると主張するデバイスが、後処理の実装が不十分な表現精度で行われたことにより、不適切なサービス品質を提供することになるという状況につながり得る。
【００７５】
コアビデオコーデックを使って、HDR規格の特定のプロファイルおよびレベルへの適合点を定義することに関して、2つの主な問題がある。
1. クロマアップサンプリングフィルタ
2. 浮動小数点演算
【００７６】
本開示は、適合点を定義するために、これらの問題を克服するのに使うことができる技法について記載する。具体的には、本開示は、上の問題に対処する、いくつかの技法について記載し、したがって、後処理およびコアコーデック(たとえば、HEVC Main 10)を使うHDR規格の仕様を認める。本開示の技法は、他のコアコーデックとともに使用され得ることを理解されたい。また、以下で説明する技法の各々は、それぞれ独立に使われてもよく、または以下で説明する技法の他のどの組合せとどのように組み合わせて使われてもよいことを理解されたい。
【００７７】
HDR適合ビットストリーム。ビットストリームは、以下の条件を満足する場合、レベルLおよびティアTにおいて特定のHDRプロファイルに適合すると言われる。
-  ビットストリームは、レベルLおよびティアTにおいてHEVC Main 10と互換性がある。
-  ビットストリームは、指示された復号サンプルの3つの成分(たとえば、RGB、YCbCr、YUVなど)がどのようにマップされるかを指定するルックアップテーブル係数を指定する第1のSEIメッセージを含む。
【００７８】
一例では、第1のSEIメッセージが、限定ではないが、成分スケーリングSEIメッセージ、色再マッピング情報SEI、ダイナミックレンジ調節SEIメッセージのリストの中の1つとして指定され、ルックアップテーブルの実装は、復号ピクチャの出力に対して直接適用される、SEIメッセージのセマンティクスによって指定される。
【００７９】
別の例では、ビットストリームは、アップサンプリング、色コンバージョンおよび逆伝達関数の適用に関連した変数を指定する第2、第3および第4のSEIメッセージの存在に基づいて、いくつかのHDRプロファイルに適合すると言われる。HDR適合デコーダのプロファイルのいくつかの代替が、以下で与えられる。
【００８０】
HDR適合デコーダ。一定のレベルLおよびティアTについて、HDRプロファイルに適合すると言われるデコーダは、レベルLおよびティアTのHDRプロファイルに適合するすべてのビットストリームを復号し、第1のSEIメッセージによって指定されるルックアップテーブルを使ってマップされているHEVC Main 10準拠デコーダのHRDの出力と(ルックアップテーブルを使ってマップされる、クロップされた出力ピクチャのピクセル値について)同一の出力を提供するものとする。
【００８１】
図7は、試験用ビデオデコーダ122が特定のビデオコーディング規格、またはビデオコーディング規格の特定のプロファイルに準拠するかどうか判断する例示的な規格準拠デバイスを示すブロック図である。適合するために、ビデオデコーダは、特定のビデオコーディング規格に合わせて(可能性としては、HEVCのHDRプロファイルなど、ビデオコーディング規格の特定のプロファイルにも合わせて)ビデオビットストリームを復号し、そうする際、参照ビデオデコーダ(たとえば、HRD)の出力へのルックアップテーブルの適用後に取得されたルックアップテーブルを使って、後処理の後、出力ピクチャ中の各ピクセル位置についての同じサンプル値を生じなければならない。
【００８２】
この例では、規格準拠デバイス120は、試験用ビデオデコーダ122と、ルックアップテーブル124を含む後処理ユニット144と、参照ビデオデコーダ126と、ルックアップテーブル128を含む後処理ユニット146と、比較ユニット130とを含む。単一の規格準拠デバイス120内に示されているが、他の例では、試験用ビデオデコーダ122、参照ビデオデコーダ126、および比較ユニット130が別個のデバイスに対応してよいことを理解されたい。
【００８３】
この例では、試験用ビデオデコーダ122および参照ビデオデコーダ126は両方とも、同じ入力を受信する。参照ビデオデコーダ126は、特定のビデオコーディング規格用のモデルビデオデコーダを表す。試験用ビデオデコーダ122と参照ビデオデコーダ126の両方が、後処理データを含むSEIメッセージを含むビデオビットストリームを受信する。SEIメッセージは、たとえば、4:2:0フォーマットビデオデータを4:4:4フォーマットにアップサンプリングするのに使われるべきアップサンプリング係数を含み得る。
【００８４】
この例では、試験用ビデオデコーダ122は、受信されたビデオビットストリームのビデオデータを復号する。試験用ビデオデコーダ122は、復号ビデオデータ134(クロップもされ得る)を後処理ユニット144に渡す。さらに、試験用ビデオデコーダ122は、SEIメッセージから後処理データを抽出し、後処理データ132を後処理ユニット144に渡す。後処理ユニット144は、後処理データ132を使ってルックアップテーブル124を構築し、次いで、ルックアップテーブル124を使って復号ビデオデータ134を後処理し、後処理された試験用復号ビデオデータ140を形成する。
【００８５】
同様に、参照ビデオデコーダ126は、受信されたビデオビットストリームのビデオデータを復号する。参照ビデオデコーダ126は、復号ビデオデータ138(クロップもされ得る)を後処理ユニット146に渡す。さらに、参照ビデオデコーダ126は、SEIメッセージから後処理データを抽出し、後処理データ136を後処理ユニット146に渡す。後処理ユニット146は、後処理データ136を使ってルックアップテーブル128を構築し、次いで、ルックアップテーブル128を使って復号ビデオデータ138を後処理し、後処理された参照復号ビデオデータ142を形成する。
【００８６】
比較ユニット130は次いで、後処理された試験用復号ビデオデータ140を後処理された参照復号ビデオデータ142と比較する。いくつかの例では、この比較は、後処理された試験用復号ビデオデータ140および後処理された参照復号ビデオデータ142のピクチャのピクセルおよびピクチャ出力順序が完全に一致するかどうか判断することを含み得る。いくつかの例では、この比較は、後処理された試験用復号ビデオデータ140および後処理された参照復号ビデオデータ142のピクチャのピクセルの間の誤差(たとえば、あらかじめ定義された閾誤差)の特定のマージンを認め得る。いずれのケースでも、比較ユニット130は、たとえば、後処理された試験用復号ビデオデータ140および後処理された参照復号ビデオデータ142のピクチャのピクセルおよびピクチャ出力順序が完全に一致するか、または(たとえば、上で論じた、あらかじめ定義された閾誤差ごとに)ある程度の許容差内であるとき、後処理された試験用復号ビデオデータ140が後処理された参照復号ビデオデータ142と一致すると判断してよい。したがって、規格準拠デバイス120は、試験用ビデオデコーダ122が、参照ビデオデコーダ126がモデルビデオデコーダである適切なビデオコーディング規格に準拠すると判断し得る。
【００８７】
図8は、試験用ビデオデコーダ152が特定のビデオコーディング規格、またはビデオコーディング規格の特定のプロファイルに準拠するかどうか判断する別の例示的な規格準拠デバイス150を示すブロック図である。適合するために、ビデオデコーダは、特定のビデオコーディング規格に合わせて(可能性としては、HEVCのHDRプロファイルなど、ビデオコーディング規格の特定のプロファイルにも合わせて)ビデオビットストリームを復号し、そうする際、参照ビデオデコーダ(たとえば、HRD)の出力へのルックアップテーブルの適用後に取得されたルックアップテーブルを使って、後処理の後、出力ピクチャ中の各ピクセル位置についての同じサンプル値を生じなければならない。
【００８８】
この例では、規格準拠デバイス150は、試験用ビデオデコーダ152と、ルックアップテーブル156を含む後処理ユニット154と、参照ビデオデコーダ162と、ルックアップテーブル166を含む後処理ユニット164と、比較ユニット172とを含む。単一の規格準拠デバイス150内に示されているが、他の例では、試験用ビデオデコーダ152、参照ビデオデコーダ162、および比較ユニット172が別個のデバイスに対応してよいことを理解されたい。
【００８９】
この例では、試験用ビデオデコーダ152および参照ビデオデコーダ162は両方とも、同じ入力を受信する。参照ビデオデコーダ162は、特定のビデオコーディング規格用のモデルビデオデコーダを表す。試験用ビデオデコーダ152と参照ビデオデコーダ162の両方が、後処理データを含む1つまたは複数のSEIメッセージを含むビデオビットストリームを受信する。SEIメッセージは、たとえば、4:2:0フォーマットビデオデータを4:4:4フォーマットにアップサンプリングするのに使われるべきアップサンプリング係数と、値を特定のビット深度に増大するための逆量子化データと、色空間の間で(たとえば、YUVからRGBに)コンバートするときに使われるべきデータとを含み得る。
【００９０】
この例では、試験用ビデオデコーダ152は、受信されたビデオビットストリームのビデオデータを復号する。試験用ビデオデコーダ152は、復号ビデオデータ176(クロップもされ得る)を後処理ユニット154に渡す。さらに、試験用ビデオデコーダ152は、SEIメッセージから後処理データを抽出し、後処理データ174を後処理ユニット154に渡す。後処理ユニット154は、後処理データ174を使ってルックアップテーブル156を構築し、次いで、ルックアップテーブル156を使って復号ビデオデータ176を後処理する。たとえば、ルックアップテーブル156は、後処理ユニット154が4:2:0ビデオデータを4:4:4ビデオデータにアップサンプリングするために適用するアップサンプリング係数を記憶することができる。後処理データ174は、(たとえば、逆量子化中に)個々のサンプルを特定のビット深度にアップサンプリングするときに使われるべきアップサンプリングデータも含み得る。したがって、アップサンプリングユニット158は、アップサンプリングデータを4:4:4ビデオデータに適用してよい。その上、後処理データ174は、ルミナンスおよびクロミナンス色空間(たとえば、YUV色空間)におけるデータを赤緑青(RGB)色空間にコンバートするのに使われる係数を含み得る。したがって、YUV-RGBユニット160は、後処理された試験用復号ビデオデータ178を生じるために、YUVからRGBに逆量子化サンプルをコンバートするとき、これらの係数を適用してよい。
【００９１】
同様に、参照ビデオデコーダ162は、受信されたビデオビットストリームのビデオデータを復号する。参照ビデオデコーダ162は、復号ビデオデータ182(クロップもされ得る)を後処理ユニット164に渡す。さらに、参照ビデオデコーダ162は、SEIメッセージから後処理データを抽出し、後処理データ180を後処理ユニット164に渡す。後処理ユニット164は、後処理データ180を使ってルックアップテーブル166を構築し、次いで、ルックアップテーブル166を使って復号ビデオデータ182を後処理する。たとえば、ルックアップテーブル166は、後処理ユニット164が4:2:0ビデオデータを4:4:4ビデオデータにアップサンプリングするために適用するアップサンプリング係数を記憶することができる。後処理データ180は、(たとえば、逆量子化中に)個々のサンプルを特定のビット深度にアップサンプリングするときに使われるべきアップサンプリングデータも含み得る。したがって、アップサンプリングユニット168は、アップサンプリングデータを4:4:4ビデオデータに適用してよい。その上、後処理データ180は、ルミナンスおよびクロミナンス色空間(たとえば、YUV色空間)におけるデータを赤緑青(RGB)色空間にコンバートするのに使われる係数を含み得る。したがって、YUV-RGBユニット170は、後処理された参照復号ビデオデータ184を生じるために、YUVからRGBに逆量子化サンプルをコンバートするとき、これらの係数を適用してよい。
【００９２】
比較ユニット172は次いで、後処理された試験用復号ビデオデータ178を後処理された参照復号ビデオデータ184と比較する。いくつかの例では、この比較は、後処理された試験用復号ビデオデータ178および後処理された参照復号ビデオデータ184のピクチャのピクセルおよびピクチャ出力順序が完全に一致するかどうか判断することを含み得る。いくつかの例では、この比較は、後処理された試験用復号ビデオデータ178および後処理された参照復号ビデオデータ184のピクチャのピクセルの間の誤差(たとえば、あらかじめ定義された閾誤差)の特定のマージンを認め得る。いずれのケースでも、比較ユニット172は、たとえば、後処理された試験用復号ビデオデータ178および後処理された参照復号ビデオデータ184のピクチャのピクセルおよびピクチャ出力順序が完全に一致するか、または(たとえば、上で論じた、あらかじめ定義された閾誤差ごとに)ある程度の許容差内であるとき、後処理された試験用復号ビデオデータ178が後処理された参照復号ビデオデータ184と一致すると判断してよい。したがって、規格準拠デバイス150は、試験用ビデオデコーダ152が、参照ビデオデコーダ162がモデルビデオデコーダである適切なビデオコーディング規格に準拠すると判断し得る。
【００９３】
適合点をテストするために指定される追加ステップに基づいて、HDRのさらなるプロファイルが定義され得る。たとえば、HDRの特定のプロファイルに適合するデコーダは、ビデオコーデックのHRDによって生成されるものと同じサンプル値を生じるものとし、その後に、ルックアップテーブル、アップサンプリング、色コンバージョン、逆量子化、およびEOTFの適用を含むが、それらに限定されないステップが続く。
【００９４】
様々なHDRプロファイルにとって望ましいとともに、いくつかのHDRプロファイルも定義するいくつかの特徴がある。これらの特徴のうちの1つまたは複数は、プロファイルの指定のために、それぞれ独立に、および組み合わせて含まれ得る。
1. ネスト化されたHDR適合点:HDRチェーンの異なる部分において複数の適合点が定義され、デコーダは、チェーン中の1つまたは複数の点に適合され得る。
・たとえば、図9は、複数の適合点(CP)を含むプロセスの概念図である。この例には、HEVC復号プロセス200がある。第1の適合点(CP202)は、HEVC復号プロセス200のすぐ後に定義される。第2のCP208は、4:2:0-4:4:4アップサンプリングプロセス206(これ自体がHDRデータ204を受け付ける)の後である。第3のCP214は逆量子化プロセス212の後であり、このプロセスはHDRデータ210に対して動作する。最終適合点、すなわちCP220は、EOTFプロセス218に続く、チェーンの最後に定義され、このプロセスは、(4:4:4、RGB、浮動小数点ドメイン中の)HDRデータ216に対して動作する。EOTFプロセス218の結果はHDRデータ222であり、このデータがCP224において参照データと一致する(かつ、すべての他の適合点がパスされている)場合、適合すると言うことができる。
・その場合、デコーダが、チェーン中の複数の点のうちの最大で1つまで、HDRプロファイルに適合している。図9において、デコーダは、出力がデコーダのすぐ後のHRD出力と同じである場合、CP202において適合される。デコーダは、後処理チェーンの最後(図9のCP224)において、HRDデータ222と同じ出力を生成する場合、(エンドツーエンドの)完全適合を有する。ネスト化適合のための適合試験は、図7および図8に示した例から、容易に拡張可能である。
・したがって、所与のティアおよびレベルにおいて特定のHDRプロファイルに適合するデコーダは、ティア、レベルまたはプロファイルに適合するすべてのビットストリームを正しく復号し、数的に同一のクロップされた復号出力ピクチャを、特定の適合点において生じ、デコーダは、指定された点の後、指定された復号プロセスを必ずしも使っているわけではなく、適合点の後で本明細書において指定されるプロセスによって生じられたものと数的に同一のクロップされた復号出力ピクチャを生じるわけでもない。
2. いくつかの代替では、HEVC仕様(または他の仕様)における、浮動小数点演算のための浮動小数点規格(たとえばIEEE754-2008)およびアップサンプリングフィルタを、デコーダに後続するステップのために参照する(規格化する)。
・代替として、SEIメッセージ(たとえば再サンプルフィルタヒントSEIメッセージ)中でシグナリングされるアップサンプリングフィルタが、適合を定義するのに使われる。
3. コアHDR:デコーダ出力ビット深度ドメイン(または出力ビット深度にある程度の量を加えたもの)において、同じ色空間において、および同じクロマフォーマットにおいて、HDR後処理が定義される。
・後処理(たとえば、適応再整形またはダイナミックレンジ調節、色管理)が、デコーダ出力ドメインを指定している。
・色コンバージョンおよびTFがVUIにおいてシグナリングされる:これらのステップは、適合点をもつ規格自体の一部ではなく、浮動小数点ドメインにおいて行われてもよい。
・規格化されていない4:2:0から4:4:4へのコンバージョン:アップサンプリングフィルタは、このプロセスにおいて未定義、つまり、規格の一部ではないままである。
・このように、現在の適合性定義は、おそらく出力ビット深度、色空間またはクロマフォーマットを変更しない追加処理を除いて、HEVC(または他のコーデック)適合性から不変のままである。
4. 2と同様だが、色変換がコーデック出力ビット深度内であることを強制する。
・たとえば、ほぼ損失なしで固定整数精度で動作することが可能なYCgCo色空間を使う。
5. 4:2:0から4:4:4へのコンバージョンのための条件付き適合性
a)HDR HEVCは、アップサンプリングフィルタを推奨する(または「クロマ再サンプリングヒントSEI」を使ってシグナリングされる)。
b)適合性は、上のa)におけるフィルタを使うデコーダに対して条件付けられる。
c)そのフィルタが使われる場合、デコーダ出力は、HRD出力(適合)と一致するはずである。
d)ただし、フィルタの使用は要求されない(「ものとする(shall)」ではなく「べきである(should)」)。
6. HDRのための近似適合であって、デコーダ(規範的後処理を含む)出力は、ビットパーフェクトではないが、HRD出力の範囲内である。
・HRD出力の「範囲内」は、出力ドメインにおける相対誤差または絶対誤差によって定義される。いくつかの代替では、浮動データを整数/固定点ドメインにコンバートするための追加ステップ(おそらく、TFを再度適用する)が含まれ、適合性は次の点において評価される。
・これは、ドリフトがないようにHDR出力がデコーダにフィードバックされない(復号誤差のフィードバックループなし)ので、可能である。
7. 後処理チェーンのセマンティクス(たとえば、SEIメッセージによって定義されるプロセスのセマンティクス)は、固定小数点演算および目標ビット深度内となるように変更される。このようにして、適合点が確約され得る。
8. クロップされた復号ピクチャに対して直接適用される、出力における各成分用のルックアップテーブルを規格化する。ルックアップテーブルを指定するのに必要とされる係数は、メタデータまたはSEIメッセージの一部としてシグナリングされ、ルックアッププロセスは、SEIメッセージまたはメタデータのセマンティクスによって定義されるように定義される。代替として、各成分用のルックアップテーブルは、第2のSEIメッセージによって指定されるプロセスの適用の後、クロップされた復号ピクチャに対して適用される。
【００９５】
上記ソリューションのうちの1つまたは複数を組み合わせたものが可能である。たとえば、アップサンプリングフィルタは固定であるが、残りの処理ブロックのうちのいくつかの浮動小数点演算により、近似適合が依然として要求される場合もある。
【００９６】
図10は、本開示の技法による例示的な方法を示すフローチャートである。図10の方法は、たとえば、図1の宛先デバイス14、図7の規格準拠デバイス120、または図8の規格準拠デバイス150によって実施され得る。例として、図10の方法は、図1の宛先デバイス14および(たとえば、図3および図5に関して論じた)その様々な例示的な構成要素に関して説明される。
【００９７】
最初に、ビデオデコーダ30は、ビットストリームのビデオデータを復号する(250)。この例では、ビットストリームが、後処理データを指定する1つまたは複数のSEIメッセージを含むと想定される。たとえば、ビットストリームは、成分スケーリングSEIメッセージ、色再マッピング情報SEI、もしくはダイナミックレンジ調節SEIメッセージ、または追加もしくは代替の後処理データを含む他のそのようなSEIメッセージのうちの1つまたは複数を含み得る。ビデオデコーダ30はまた、ビットストリームからSEIメッセージを抽出し(252)、SEIメッセージから後処理データを抽出する(254)。ビデオデコーダ30は次いで、復号ビデオデータおよび後処理データを、ビデオポストプロセッサユニット31(図1)など、1つまたは複数の後処理ユニットに送る(256)。
【００９８】
ビデオポストプロセッサユニット31は次いで、ビデオデコーダ30から受信された後処理データを使って、復号ビデオデータを後処理する(258)。たとえば、ビデオポストプロセッサユニット31(具体的には、図3の4:2:0-4:4:4ユニット62)は、後処理データ(たとえば、成分スケーリングSEIメッセージから抽出された)を使って、復号ビデオデータを4:2:0クロマフォーマットから4:4:4クロマフォーマットにアップサンプリングすることができる。追加または代替として、図3の逆量子化10bユニット64は、後処理データ(たとえば、ダイナミックレンジ調節SEIメッセージから抽出された)を使って、復号ビデオデータのピクセル値に精度を加える(つまり、逆量子化する)ことができる。追加または代替として、Y'CbCr-R'G'B'ユニット66は、たとえば、後処理データ(色再マッピング情報SEIメッセージから抽出され得る)を使って、ビデオデータをルミナンスおよびクロミナンス色空間(たとえば、Y'CbCr)から赤緑青(RGB)色空間にコンバートすることができる。追加または代替として、EOTFユニット68は、後処理データを使って、復号ビデオデータに対してEOTF関数を実行することができる。ビデオポストプロセッサユニット31は次いで、処理された復号ビデオデータを出力することができる(260)。
【００９９】
さらに、出力された処理済み復号ビデオデータが、ビデオデコーダ(たとえば、この例ではビデオデコーダ30)が適用可能ビデオ復号規格に準拠するかどうか判断するためにテストされ得る。具体的には、図10のステップ250〜260が、それぞれ、図7、図8の試験用ビデオデコーダ122、152などの試験用ビデオデコーダによって実施されてよい。さらに、図10のステップ250〜260は、それぞれ、図7、図8の参照ビデオデコーダ126、162などの参照ビデオデコーダによって実施されてもよい。次いで、それぞれ、図7、図8の比較ユニット130、172などの比較ユニットが、出力が一致するかどうか判断するために、試験用ビデオデコーダの出力を参照ビデオデコーダの出力と比較してよい(262)。比較は、図9のCP202、208、214、220、および/または224など、様々な適合点のうちのいずれにおいて実施されてもよい。比較ユニットは、試験用ビデオデコーダの出力が、その適合点において、参照ビデオデコーダの対応する出力と一致するかどうかに基づいて、試験用ビデオデコーダが適合すると言われる適合点のうちの1つまたは複数を判断することができる。ステップ262の周りのボックスは、このステップが任意選択であることを示すための破線を使って示されているが、それは、本開示の技法は、ビデオ復号および後処理の通常の過程中に適用されてもよく、出力が規格との適合性をテストされるシナリオに必ずしも限定されないからである。
【０１００】
例によっては、本明細書で説明した技法のうちのいずれかのいくつかの行為またはイベントが、異なるシーケンスで実施されてよく、追加され、統合され、または完全に除外されてよい(たとえば、説明したすべての行為またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して並行して実施されてよい。
【０１０１】
1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベース処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品が、コンピュータ可読媒体を含む場合がある。
【０１０２】
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
【０１０３】
命令は、1つもしくは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積論理回路構成もしくは個別論理回路構成などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明する機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/またはソフトウェアモジュール内で与えられることがあり、あるいは複合コーデックに組み込まれることがある。また、技法は、1つまたは複数の回路または論理要素において完全に実装される可能性がある。
【０１０４】
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。開示された技法を実施するように構成されたデバイスの機能的側面を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて結合されてよく、または好適なソフトウェアおよび/もしくはファームウェアとともに、上記で説明したような1つもしくは複数のプロセッサを含む相互動作可能なハードウェアユニットの集合によって設けられてもよい。
【０１０５】
様々な例について述べた。これらおよび他の例は、以下の特許請求の範囲内に入る。
【符号の説明】
【０１０６】
10  ビデオ符号化および復号システム、システム
12  ソースデバイス、デバイス
14  宛先デバイス、デバイス
16  コンピュータ可読媒体
18  ビデオソース、外部ビデオソース
19  ビデオプリプロセッサユニット、ビデオ前処理ユニット
20  ビデオエンコーダ
21  ビデオ符号化ユニット
22  出力インターフェース
28  入力インターフェース
29  ビデオ復号ユニット
30  ビデオデコーダ
31  ビデオポストプロセッサユニット、ビデオ後処理ユニット
31'  ビデオポストプロセッサユニット
32  ディスプレイデバイス
50  OETFユニット
52  R'G'B'-Y'CbCrユニット
54  量子化(quant)10bユニット
56  4:4:4-4:2:0ユニット
62  4:2:0-4:4:4ユニット
64  逆量子化(inv quant)10bユニット
66  Y'CbCr-R'G'B'ユニット
68  EOTFユニット
70  適応再整形ユニット
72  クロマアップサンプリングユニット
74  色強調ユニット
76  色空間コンバージョンユニット
78  適応TF'
96  マスタリングモニタ
120  規格準拠デバイス
122  試験用ビデオデコーダ
124  ルックアップテーブル
126  参照ビデオデコーダ
128  ルックアップテーブル
130  比較ユニット
144  後処理ユニット
146  後処理ユニット
150  規格準拠デバイス
152  試験用ビデオデコーダ
154  後処理ユニット
156  ルックアップテーブル
158  アップサンプリングユニット
160  YUV-RGBユニット
162  参照ビデオデコーダ
164  後処理ユニット
166  ルックアップテーブル
168  アップサンプリングユニット
170  YUV-RGBユニット
172  比較ユニット
【図１】
2018532316.tif 000003
【図２】
2018532316.tif 000004
【図３】
2018532316.tif 000005
【図４】
2018532316.tif 000006
【図５】
2018532316.tif 000007
【図６】
2018532316.tif 000008
【図７】
2018532316.tif 000009
【図８】
2018532316.tif 000010
【図９】
2018532316.tif 000011
【図１０】
2018532316.tif 000012
【国際調査報告】
2018532316.tif 000013
2018532316.tif 000014
2018532316.tif 000015
2018532316.tif 000016
2018532316.tif 000017