(57)【要約】【解決手段】エンコーダは、レイヤ表現された複数の符号化フォーマットを用いて格納または送信される入力エンハンストダイナミックレンジ（ＥＤＲ）画像を受信する。レイヤ分解器は、ＥＤＲ画像からより低いダイナミックレンジ（ＬＤＲ）画像を生成する。１つ以上のベースレイヤ（ＢＬ）エンコーダはＬＤＲ画像を符号化し、これにより、主符号化ＢＬストリームおよび１つ以上の副符号化ＢＬストリームを生成する。各副ＢＬストリームは、主符号化ＢＬストリームとは異なる符号化フォーマットで符号化される。主符号化ＢＬストリーム、ＬＤＲ画像および入力ＥＤＲ画像を用いて、１つのエンハンスメントレイヤ（ＥＬ）符号化ストリームおよび関連メタデータを生成する。出力符号化ストリームは、符号化ＥＬストリームと、メタデータと、主符号化ＢＬストリームまたは副符号化ＢＬストリームの１つのいずれかとを含む。ＥＤＲ画像のための演算スケーラブル復号化および表示管理処理も記載する。【選択図】図１Ａ
2016522588.tif 000002
【特許請求の範囲】
【請求項１】
複数の符号化フォーマットを用いてエンハンストダイナミックレンジ（ＥＤＲ）画像を符号化する方法であって、
第１の空間解像度を有する入力ＥＤＲ画像（１０２）を受信する工程と、
前記入力ＥＤＲ画像をレイヤ分解器（１１０）で分解することにより、より低いダイナミックレンジ（ＬＤＲ）画像（１１２）を生成する工程と、
前記ＬＤＲ画像を第１のベースレイヤ（ＢＬ）エンコーダ（１２０）で符号化することにより、第１の符号化ＢＬストリーム（１２２）を生成する工程と、
前記ＬＤＲ画像を第２のＢＬエンコーダ（１２０Ｂ）で符号化することにより、第２の符号化ＢＬストリーム（１２２Ｂ）を生成する工程であって、前記第２の符号化ＢＬストリーム（１２２Ｂ）は、前記第１の符号化ＢＬストリーム（１２２）の符号化フォーマットパラメータとは異なる符号化フォーマットパラメータを少なくとも１つ有する、工程と、
前記第１の符号化ＢＬストリーム（１２２、１３５）に予測関数（１４０）を適用することにより、予測ＥＤＲ画像（１４２）を生成する工程と、
前記予測ＥＤＲ画像（１４２）および前記入力ＥＤＲ画像（１０２）のピクセル値間の差を表す残差画像（１５２）を演算する工程と、
前記残差画像にクリップマスク（１５５）を適用することにより、クリップマスク画像を生成する工程であって、クリップマスクを適用する工程は、前記ＬＤＲ画像（１１２）の対応ピクセル値が所定のエンハンスメントレイヤ（ＥＬ）閾値よりも低い場合、前記残差画像のピクセル値を所定の固定値に設定する工程を含む、工程と、
前記クリップマスク画像にＥＬ量子化器（１６０）を適用することにより、ＥＬ画像を生成する工程と、
前記ＥＬ画像をＥＬエンコーダ（１７０）で符号化することにより、符号化ＥＬストリーム（１７２）を生成する工程と、
前記符号化ＥＬストリーム（１７２）と、前記予測関数（１４２）と、第１の符号化ＢＬストリーム（１２２）または第２の符号化ＢＬストリーム（１２２Ｂ）のいずれかとを表すデータを符号化および格納または送信する工程と、を包含する方法。
【請求項２】
前記クリップマスク画像を前記第１の空間解像度よりも低い第２の空間解像度にダウンサンプリング（１６５）することにより、ダウンサンプリングＥＬ画像を生成する工程であって、前記ダウンサンプリングは、前記ＥＬ量子化器（１６０）の適用前または適用後に実行可能であり、前記符号化ＥＤＲストリームは前記ダウンサンプリングＥＬ画像に基づいている、工程をさらに包含する、請求項１に記載の方法。
【請求項３】
前記符号化フォーマットパラメータは、符号化アルゴリズム、符号化ビットレート、または、前記符号化ビットストリームの空間解像度を含む、請求項１に記載の方法。
【請求項４】
前記第２の符号化ＢＬストリーム（１２２Ｂ、１２２Ｃ）は、前記第１の符号化ＢＬストリーム（１２２）とは異なるビットレートで符号化される、請求項１に記載の方法。
【請求項５】
前記第２の符号化ＢＬストリーム（１２２Ｃ）は、前記第１の符号化ＢＬストリーム（１２２）とは異なる空間解像度で符号化される、請求項１に記載の方法。
【請求項６】
前記第１のＢＬエンコーダは第１の符号化アルゴリズムに準拠しており、前記第２のＢＬエンコーダは前記第１の符号化アルゴリズムとは異なる第２の符号化アルゴリズムに準拠している、請求項１に記載の方法。
【請求項７】
前記第１のＢＬエンコーダはＨＥＶＣ準拠エンコーダを含み、前記ＥＬエンコーダはＨ．２６４準拠エンコーダを含む、請求項１に記載の方法。
【請求項８】
前記第１の符号化ＢＬストリームおよび前記符号化ＥＬストリームは８ビットのビット深度を用いて符号化され、前記所定のＥＬ閾値は２５０であり、前記所定の固定値は０である、請求項１に記載の方法。
【請求項９】
表示管理中における演算負荷を低減する方法であって、
入力エンハンストダイナミックレンジ（ＥＤＲ）画像（２０２）を第１の空間解像度で受信する工程と、
前記入力ＥＤＲ画像（２０２）をダウンサンプリング（２０５）することにより、前記第１の空間解像度よりも低い第２の空間解像度で第１のダウンサンプリングＥＤＲ画像（２０７）を生成する工程と、
前記第１のダウンサンプリングＥＤＲ画像（２０７）をアップサンプリング（２１０）することにより、前記第１の空間解像度で第２のＥＤＲ画像を生成する工程と、
前記入力ＥＤＲ画像（２０２）および前記第２のＥＤＲ画像のピクセル間の差を表す残差画像（２３２）を生成する工程と、
前記第１のダウンサンプリングＥＤＲ画像（２０７）に対して表示管理処理（２１５）を行い、これにより、低解像度ＤＭ画像（２１７）を生成する工程と、
前記低解像度ＤＭ画像（２１７）をアップサンプリング（２２０）することにより、前記第１の空間解像度で中間ＤＭ信号（２２２）を生成する工程と、
前記中間ＤＭ信号（２２２）に前記残差画像（２３２）を加算（２２５）することにより、出力ＤＭ信号（２２７）を生成する工程と、を包含する方法。
【請求項１０】
前記第１の空間解像度はＵＨＤ４Ｋ解像度であり、前記第２の空間解像度はＨＤ解像度である、請求項９に記載の方法。
【請求項１１】
高解像度エンハンストダイナミックレンジ（ＥＤＲ）信号を復号化する際の演算負荷を低減する方法であって、
第１の空間解像度、および目標エンハンストダイナミックレンジ（ＥＤＲ）より低いダイナミックレンジ（ＬＤＲ）の符号化ベースレイヤ（ＢＬ）ストリームと、第２の空間解像度、および前記目標ＥＤＲより低いダイナミックレンジ（ＬＤＲ）の符号化エンハンスメントレイヤストリームと、予測関数のためのパラメータとを含む符号化ストリームを受信する工程であって、前記第１の空間解像度は前記第２の空間解像度よりも高い、工程と、
前記符号化ＢＬストリームをＢＬデコーダ（１８０）で復号化することにより、復号化ＢＬ画像を生成する工程と、
前記符号化ＥＬストリームをＥＬデコーダ（１７５）で復号化することにより、復号化ＥＬ画像を生成する工程と、
前記復号化ＢＬ画像をダウンサンプリングすることにより、前記第２の空間解像度を有する第２のＢＬ画像を生成する工程と、
前記第２のＢＬ画像に前記予測関数を適用することによって、予測ＥＤＲ画像を生成する工程と、
前記予測ＥＤＲ画像および前記復号化ＥＬ画像を用いて、第１のＥＤＲ画像（１９７）を合成する（１９５）工程と、
前記第１のＥＤＲ画像（１９７）をアップサンプリング（１９８）することにより、前記第１の空間解像度を有する出力ＥＤＲ画像（１９９）を生成する工程と、を包含する方法。
【請求項１２】
前記第１の空間解像度は４Ｋ  ＵＨＤであり、前記第２の空間解像度はＨＤである、請求項１１に記載の方法。
【請求項１３】
複数の符号化フォーマットを用いてエンハンストダイナミックレンジ（ＥＤＲ）画像を符号化する方法であって、
第１の空間解像度を有する入力ＥＤＲ画像（１０２）を受信する工程
入力ＥＤＲ画像（１０２）を第１の空間解像度で受信する工程と、
前記入力ＥＤＲ画像をレイヤ分解器（１１０）で分解することにより、より低いダイナミックレンジ（ＬＤＲ）画像（１１２）を生成する工程と、
前記ＬＤＲ画像を第１のベースレイヤ（ＢＬ）エンコーダ（１２０）で符号化することにより、符号化ＢＬストリーム（１２２）を生成する工程と、
前記符号化ＢＬストリーム（１２２、１３５）に予測関数（１４０）を適用することにより、予測ＥＤＲ画像（１４２）を生成する工程と、
前記予測ＥＤＲ画像（１４２）および前記入力ＥＤＲ画像（１０２）のピクセル値間の差を表す残差画像（１５２）を演算する工程と、
前記残差画像にクリップマスク（１５５）を適用することにより、クリップマスク画像を生成する工程であって、クリップマスクを適用する工程は、前記ＬＤＲ画像（１１２）の対応するピクセル値が所定のエンハンスメントレイヤ（ＥＬ）閾値よりも低い場合、前記残差画像のピクセル値を所定の固定値に設定する工程を含む、工程と、
前記クリップマスク画像にＥＬ量子化器（１６０）を適用することにより、ＥＬ画像（１６２）を生成する工程と、
前記ＥＬ画像を第１のＥＬエンコーダ（１７０Ａ）で符号化し、これにより、第１の符号化ＥＬストリーム（１７２Ａ）を生成する工程と、
前記ＥＬ画像を第２のＥＬエンコーダ（１７０Ｂ）で符号化することにより、第２の符号化ＥＬストリーム（１７２Ｂ）を生成する工程であって、前記第２の符号化ＥＬストリーム（１７２Ｂ）は、前記第１の符号化ＥＬストリーム（１７２）の符号化フォーマットパラメータとは異なる符号化フォーマットパラメータを少なくとも１つ有する、工程と、
前記符号化ＢＬストリーム（１２２）と、前記予測関数（１４２）と、前記第１の符号化ＥＬストリーム（１７２Ａ）または前記第２の符号化ＥＬストリーム（１７２Ｂ）のいずれかとを表すデータを符号化および格納または送信する工程と、を包含する方法。
【請求項１４】
前記ＥＬ画像（１６２）をダウンサンプリング（１６５）することにより、ダウンサンプリングＥＬ画像を生成し、前記ダウンサンプリングＥＬ画像に基づいて前記第２の符号化ＥＬストリームを生成する工程をさらに包含する、請求項１３に記載の方法。
【請求項１５】
前記符号化フォーマットパラメータは、符号化アルゴリズム、符号化ビットレート、または、前記符号化ビットストリームの空間解像度を含む、請求項１３に記載の方法。
【請求項１６】
前記第２の符号化ＥＬストリーム（１７２Ｂ、１７２Ｃ）は、前記第１の符号化ＢＬストリーム（１７２Ａ）とは異なるビットレートで符号化される、請求項１３に記載の方法。
【請求項１７】
前記第２の符号化ＢＬストリーム（１７２Ｂ）は、前記第１の符号化ＢＬストリーム（１７２Ａ）とは異なる空間解像度で符号化される、請求項１３に記載の方法。
【請求項１８】
前記第１のＥＬエンコーダは第１の符号化アルゴリズムに準拠しており、前記第２のＥＬエンコーダは前記第１の符号化アルゴリズムとは異なる第２の符号化アルゴリズムに準拠している、請求項１３に記載の方法。
【請求項１９】
請求項１に記載の方法であって、
前記クリップマスク画像を前記第１の空間解像度よりも低い第２の空間解像度にダウンサンプリング（１６５）することにより、ダウンサンプリングＥＬ画像を生成する工程と、
前記ダウンサンプリングＥＬ画像に基づいて前記符号化ＥＬストリーム（１７２）を生成する工程と、
前記ＬＤＲ画像（１１２）を前記第２の空間解像度にダウンサンプリング（１２５）することにより、第３のＢＬ画像を生成する工程と、
前記第３のＢＬ画像をＢＬエンコーダ（１２０Ｃ）で符号化することにより、第３の符号化ＢＬストリーム（１２２Ｃ）を生成する工程と、
前記符号化ＥＬストリーム（１７２）と、前記予測関数（１４２）と、前記第３の符号化ＢＬストリーム（１２２Ｃ）とを表すデータをデコーダに送信する工程と、
前記デコーダ上で、前記符号化ＥＬストリーム（１７２）と、前記予測関数（１４２）と、前記第３の符号化ＢＬストリーム（１２２Ｃ）を表すデータを受信することにより、復号化ＥＤＲ画像を生成する工程と、をさらに包含し、復号化は、
前記第３の符号化ＢＬストリーム（１２２Ｃ）を復号化することにより、復号化ＢＬ画像（１８２）を生成する工程と、
前記復号化ＢＬ画像（１８２）に前記予測関数（１４２）を適用（１９０）することにより、予測ＥＤＲ画像（１９０）を生成する工程と、
符号化ＥＬストリーム（１７２）を復号化することにより、復号化ＥＬ画像（１７６、１８７）を生成する工程と、
前記復号化ＥＬ画像（１７６、１８７）と前記予測ＥＤＲ画像（１９２）とを組み合わせ（１９５）、これにより、中間ＥＤＲ画像（１９７）を生成する工程と、
前記中間ＥＤＲ画像を前記第１の空間解像度にアップサンプリング（１９８）することにより、前記復号化ＥＤＲ画像（１９９）を生成する工程と、を含む、方法。
【請求項２０】
ベースレイヤ（ＢＬ）スケーラおよびエンハンスメントレイヤ（ＥＬ）スケーラを備えたデコーダアーキテクチャを構成する方法であって、それぞれのスケーラを、アップスケーリングモード、ダウンスケーリングモード、または、非スケーリングモードのうちの１つに設定することが可能であり、
符号化ＢＬストリーム解像度、符号化ＥＬストリーム解像度、第１の出力解像度、および、ターゲットディスプレイ解像度を判定する工程と、
前記ターゲットディスプレイ解像度が前記第１の出力解像度以上であると判定された場合には、
前記ＢＬストリーム解像度が前記ターゲットディスプレイ解像度よりも低い場合には前記ＢＬスケーラを前記アップスケーリングモードに設定し、そうでない場合には前記ＢＬスケーラを前記非スケーリングモードに設定し、
前記ＥＬストリーム解像度が前記ターゲットディスプレイ解像度よりも低い場合には前記ＥＬスケーラを前記アップスケーリングモードに設定し、そうでない場合には前記ＥＬスケーラを前記非スケーリングモードに設定し、
さもなくば、
前記ＢＬストリーム解像度が前記ターゲットディスプレイ解像度よりも高い場合には前記ＢＬスケーラを前記ダウンスケーリングモードに設定し、そうでない場合には前記ＢＬスケーラを前記非スケーリングモードに設定し、
前記ＥＬストリーム解像度が前記ターゲットディスプレイ解像度よりも高い場合には前記ＥＬスケーラを前記ダウンスケーリングモードに設定し、そうでない場合には前記ＥＬスケーラを前記非スケーリングモードに設定する、工程と、を包含する方法。
【請求項２１】
プロセッサを備え、請求項１〜２０に記載の方法のいずれか１つを行うように構成された装置。
【請求項２２】
請求項１〜２０のいずれかに記載の方法を実行するためのコンピュータ実行可能命令を格納した非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１３年３月１１日出願の米国特許仮出願第６１／７７６，６１０号、および、２０１３年１０月２２日出願の米国特許仮出願第６１／８９４，１９８号に基づく優先権を主張するものであり、これらの出願の開示内容の全てを本願に援用する。
【０００２】
本発明は、広義には、ビデオ画像に関する。より具体的には、本発明のある実施形態は、階層符号化を用いた、ハイダイナミックレンジまたはエンハンスト（ｅｎｈａｎｃｅｄ）ダイナミックレンジを有するマルチフォーマットビデオ画像の配信に関する。
【背景技術】
【０００３】
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最暗部（黒）から最明部（白）まで）を知覚する人間の心理視覚システム（ＨＶＳ）の能力に関連し得る。この意味では、ＤＲはシーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲは、特定の幅を有する強度範囲を妥当にまたは近似的に描画するディスプレイデバイスの能力にも関連し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
【０００４】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。例えば、しっかりと順応した、実質的に正常（例えば、統計的な意味、バイオメトリック的な意味、または、眼科的な意味の１つ以上において）な人間は、約１５桁にわたる強度範囲を有する。順応した人間は、ほんの少量の光子のうす暗い光源を知覚し得る。また、同じ人間が、砂漠、海または雪上における真昼の太陽の、目が痛くなるほどの明るい強度を知覚し得る（また、怪我をしないような短時間であるとしても太陽を見ることもできる）。ただし、この範囲は、「順応した人間」、例えば、そのＨＶＳをリセットして調節する時間を経た人間に当てはまるものである。
【０００５】
これに対して、人間が、広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、ＨＶＳによって同時に知覚可能なＤＲに関連し得る。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対して幾分狭いものの、ＥＤＲは、広いＤＲ幅を示す。
【０００６】
実際には、画像は、１つ以上の色成分（例えば、輝度Ｙおよび色差ＣｂおよびＣｒ）を有し、各色成分はｎビット／ピクセルの精度で表される（例えば、ｎ＝８）。線形符号化を用いる場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は標準的なダイナミックレンジの画像とされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされ得る。ＥＤＲおよびＨＤＲ画像は、Ｉｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば、１６ビット）浮動小数点フォーマットを用いて、保存および配信され得る。
【０００７】
ほとんどの家庭用デスクトップディスプレイは、２００〜３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどの家庭用ＨＤＴＶは、３００〜１０００ｃｄ／ｍ２の範囲内である。従って、これらの従来のディスプレイは、ＨＤＲまたはＥＤＲに対して、ロ−ダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例である。キャプチャ機器（例えば、カメラ）およびＥＤＲディスプレイ（例えば、Ｄｏｌｂｙ  ＬａｂｏｒａｔｏｒｉｅｓのプロフェッショナルリファレンスモニターＰＲＭ−４２００）両方の進化によってＥＤＲコンテンツの普及率が高まっており、ＥＤＲコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（例えば、１，０００ニトから５，０００ニト以上）をサポートするＥＤＲディスプレイ上に表示することが可能である。
【０００８】
ビデオ信号は、ビット深度、色空間、色域および解像度などの複数のパラメータによって特徴付けられる。最新のテレビおよびビデオ再生デバイス（例えば、ブルーレイプレーヤー）は、標準解像度（例えば、７２０×４８０ｉ）および高精細（ＨＤ）（例えば、１９２０×１０８０ｐ）を含む様々な解像度をサポートしている。超高精細（ＵＨＤ）は、少なくとも３，８４０×２，１６０の解像度（「４Ｋ  ＵＨＤ」）を有し、７６８０×４３２０（「８Ｋ  ＵＨＤ」）まで上げられるオプションを有する次世代解像度フォーマットである。超高精細は、ＵｌｔｒａＨＤ、ＵＨＤＴＶまたはスーパーハイビジョンとも呼ばれることがある。本明細書において、ＵＨＤは、ＨＤ解像度よりも高い任意の解像度を指す。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
新しいＨＤＲまたはＵＨＤディスプレイ技術だけでなく、旧式の再生デバイスとの下位互換性をサポートするために、上流側デバイスから下流側デバイスへとＵＨＤおよびＨＤＲ（またはＥＤＲ）ビデオデータを送信する際に、複数のビットストリームレイヤが用いられ得る。このようなマルチレイヤストリームの場合、旧式のデコーダは、ある１セットのレイヤを用いて、コンテンツのＨＤ  ＥＤＲバージョンを再構築し得る。新型のデコーダは、別の１セットのレイヤを用いて、コンテンツのＵＨＤ  ＥＤＲバージョンを再構築し、それをより高性能なディスプレイ上に描画し得る。本願発明者らも理解しているように、マルチフォーマットＥＤＲビデオの符号化および配信のためのより向上した技術が望まれる。
【００１０】
本節に記載の手法は、探求が可能な手法ではあるが、必ずしもこれまでに既に想到または探求された手法であるとは限らない。従って、特筆しない限り、本節に記載の手法は、本節に記載されているからといって、従来技術たり得ると解釈されるべきではない。同様に、特筆しない限り、１つ以上の手法に関して上記された問題点が、本節に基づいて、従来技術において認識されていたと解釈されるべきではない。
【図面の簡単な説明】
【００１１】
【図１Ａ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット符号化システムのデータフロー例を示す図である。
【図１Ｂ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット復号化システムのデータフロー例を示す図である。
【図１Ｃ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット符号化システムのデータフロー例を示す図である。
【図１Ｄ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット復号化システムのデータフロー例を示す図である。
【図１Ｅ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット復号化システムのデータフロー例を示す図である。
【図１Ｆ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット復号化システムのデータフロー例を示す図である。
【図１Ｇ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット符号化システムのデータフロー例を示す図である。
【図１Ｈ】本発明の実施形態による、ＥＤＲ画像用の階層化されたマルチフォーマット復号化システムのデータフロー例を示す図である。
【図２】本発明の実施形態による、ＥＤＲ画像用の演算スケーラブルまたは解像度スケーラブルな表示管理処理の一例を示す図である。
【図３】本発明の実施形態による、リコンフィギュラブルデコーダシステムの一例を示す図である。
【図４Ａ】本発明の実施形態による、リコンフィギュラブルデコーダシステムにおいてベースレイヤおよびエンハンスメントレイヤのスケーラを構成するための２つの決定処理例を示す図である。
【図４Ｂ】本発明の実施形態による、リコンフィギュラブルデコーダシステムにおいてベースレイヤおよびエンハンスメントレイヤのスケーラを構成するための２つの決定処理例を示す図である。
【発明を実施するための形態】
【００１２】
エンハンストダイナミックレンジ（ＥＤＲ）を有するマルチフォーマットビデオ画像の効率的な配信および演算スケーラブル復号化を本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【００１３】
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
概要
【００１４】
本明細書に記載の実施形態例は、ハイダイナミックレンジまたはエンハンストダイナミックレンジを有するマルチフォーマットビデオ画像の配信に関する。エンコーダは、レイヤ表現により複数の符号化フォーマットを用いて格納または送信される入力エンハンストダイナミックレンジ（ＥＤＲ）画像シーケンスを受信する。レイヤ分解処理は、入力ＥＤＲ画像を用いてより低いダイナミックレンジ（ＬＤＲ）画像を生成する。１つ以上のベースレイヤ（ＢＬ）エンコーダを用いて、エンコーダは、ＬＤＲ画像を符号化して主符号化ＢＬストリームおよび１つ以上の副符号化ＢＬストリームを生成する。各副ＢＬストリームは、主符号化ＢＬストリームとは異なる符号化フォーマットで符号化される。主符号化ＢＬストリーム、ＬＤＲ画像および入力ＥＤＲ画像を用いて、１つのエンハンスメントレイヤ（ＥＬ）符号化ストリームおよび関連メタデータを生成する。出力符号化ＥＤＲストリームは、符号化ＥＬストリームと、メタデータと、主符号化ＢＬストリームまたは副符号化ＢＬストリームの１つのいずれかとを含む。
【００１５】
いくつかの実施形態では、副符号化ＢＬストリームは、主符号化ＢＬストリームとは異なる解像度で符号化される。
【００１６】
いくつかの実施形態では、副ＢＬストリームは、主符号化ＢＬストリームとは異なるビットレートで符号化される。
【００１７】
いくつかの実施形態では、副ＢＬストリームは、主符号化ＢＬストリームとは異なる符号化を用いて符号化される。
【００１８】
いくつかの実施形態では、１つのＢＬ符号化ストリーム、主ＥＬ符号化ストリームおよび１つ以上の副符号化ＥＬストリームを生成し、副符号化ＥＬストリームは、それぞれ、主符号化ＥＬストリームとは異なる符号化フォーマットを用いて符号化する。出力符号化ＥＤＲストリームは、符号化ＢＬストリームと、符号化ＢＬストリームおよび主符号化ＥＬストリームを生成するために用いられるメタデータと、主符号化ＥＬストリームまたは副符号化ＥＬストリームのうちの１つのいずれかとを含む。
【００１９】
デコーダにおいては、受信する符号化ＥＤＲ信号は、第１の空間解像度の符号化ＢＬストリームと、第１の空間解像度よりも低い第２の空間解像度の符号化ＥＬストリームと、復号化ＢＬストリームに基づいてＥＤＲ画像を予測するために用いられる予測関数とを含む。合成器は、予測ＥＤＲ画像と復号化ＥＬ画像とを組み合わせ、これにより、ＥＤＲ出力画像を生成する。ある実施形態においては、復号化ＥＬ画像を第１の空間解像度にアップサンプリングし、全ての画像を第１の空間解像度で合成を行う。別の実施形態においては、復号化ＢＬ画像を第２の空間解像度にダウンサンプリングし、全ての画像を第２の空間解像度で合成を行い、その後、合成器の出力をアップサンプリングし、これにより、第１の解像度の出力ＥＤＲ画像を生成する。
【００２０】
ＥＤＲデコーダは、ＥＤＲ信号の表示管理をそのフル空間解像度で行うのに十分な演算パワーを有していないかもしれない。演算スケーラブルデコーダにおいては、第１の空間解像度の入力ＥＤＲ画像をダウンサンプリングし、これにより、第１の空間解像度よりも低い第２の空間解像度の第１のダウンサンプリングＥＤＲ画像を生成する。第１のダウンサンプリングＥＤＲ画像をアップサンプリングし、これにより、第１の空間解像度の第２のＥＤＲ画像を生成する。残差画像は、入力ＥＤＲ画像および第２のＥＤＲ画像のピクセル間の差異を表している。表示管理処理は、第１のダウンサンプリングＥＤＲ画像に対して処理を行い、これにより、低解像度ＤＭ画像を生成する。低解像度ＤＭ画像をアップサンプリングし、これにより、第１の空間解像度の中間ＤＭ信号を生成し、また、残差画像を中間ＤＭ信号に加算し、これにより、フル解像度ＤＭ信号を生成する。
【００２１】
リコンフィギュラブルＥＤＲデコーダにおいて、ＢＬスケーラおよびＥＬスケーラは、符号化信号の空間解像度、符号化ＢＬおよびＥＬストリームの空間解像度、および、ターゲットディスプレイの解像度に応じて、アップスケーリング、ダウンスケーリング、または、スケーリング無しの処理を行うようにそれぞれ構成され得る。この構成は、復号化ＥＤＲ信号に対して出力スケーリングが不要となるように、また、ＥＤＲデコーダにおけるスケーリング処理が最小限で済むように行われる。
マルチフォーマットＥＤＲ信号用のエンコーダおよびデコーダ
階層符号化および復号化
【００２２】
ＨＤＴＶ、セットトップボックスまたはブルーレイプレーヤーのような既存のディスプレイおよび再生デバイスは、典型的には、最大１０８０ｐＨＤ解像度（例えば、１９２０×１０８０  ６０フレーム／秒）までの信号をサポートしている。家庭用用途では、このような信号は、現在、典型的に輝度成分が色差成分よりも低い解像度を有するルマ−クロマ（ｌｕｍａ−ｃｈｒｏｍａ）カラーフォーマット（例えば、ＹＣｂＣｒまたはＹＵＶ４：２：０カラーフォーマット）における各色成分について８ビット／ピクセルのビット深度を用いて典型的に圧縮される。８ビットの深度およびそれに対応する低いダイナミックレンジのために、これらの信号は、典型的には、スタンダードダイナミックレンジ（ＳＤＲ）の信号と呼ばれる。
【００２３】
超高精細（ＵＨＤ）などの新しいテレビ規格が開発される中、高解像度および／またはエンハンストダイナミックレンジを用いて信号を符号化することが望まれ得る。
【００２４】
図１は、エンハンストダイナミックレンジ（ＥＤＲ）を用いたＵＨＤ信号の符号化をサポートするシステムの実装例の実施形態を図示している。エンコーダは、ベースレイヤ（ＢＬ）エンコーダ（１２０）およびエンハンスメントレイヤ（ＥＬ）エンコーダ（１７０）を含む。ある実施形態において、ＢＬエンコーダ１２０が、ＨＥＶＣエンコーダなどの新しい規格に基づいたエンコーダを含み、ＥＬエンコーダが、ＡＶＣ（またはＨ．２６４）エンコーダのような旧式のエンコーダであってもよい。ただしこのシステムは、規格準拠または独自の、既存または未来のエンコーダのあらゆる組み合わせにも適用可能である。
【００２５】
いくつかの実施形態では、例えば、上流側デバイス（例えば、図１ＡのＥＤＲ画像エンコーダ１００）によってベースレイヤおよび１つ以上のエンハンスメントレイヤを用いて、１つ以上のビデオ信号（または符号化ビットストリーム）のＥＤＲ画像データを下流側デバイス（例えば、図１ＢのＥＤＲ画像デコーダ１０５）に送信してもよい。符号化画像データは、より高いビット深度（例えば、１２ビット以上）のＥＤＲ入力画像１０２から量子化され、かつ、符号化ベースレイヤ画像コンテナ１２２で運ばれる、より低いビット深度（例えば、８ビットまたは１０ビット）のベースレイヤ画像データ１１２と、ＥＤＲ画像１０２およびベースレイヤ画像データから生成された予測画像データ１４２の間の残差値を含むエンハンスメントレイヤ画像データ１７２とを含み得る。ベースレイヤ画像データおよびエンハンスメントレイヤ画像データは、下流側デバイスによって受信され、入力ＥＤＲ画像（１０２）の近似であるＥＤＲ出力（１９７）を再構築するために用いられ得る。
【００２６】
いくつかの実施形態では、符号化ベースレイヤ画像データ１２２は旧式の符号化ＳＤＲフォーマットに対して下位互換性を有しておらず、その代わりに、エンハンスメントレイヤ画像データとともにベースレイヤ画像データが、ＥＤＲディスプレイ上で視聴するための高画質ＥＤＲ画像を再構築するように最適化されていてもよい。
【００２７】
図１Ａは、ある実施形態例による階層ＥＤＲエンコーダアーキテクチャを図示している。ある実施形態において、ベースおよびエンハンスメント符号化レイヤの全てのビデオ符号化がＹＣｂＣｒ４：２：０色空間で行われてもよい。ＥＤＲ画像エンコーダ１００およびＥＤＲ画像デコーダ１０５は、それぞれ、１つ以上の演算デバイスによって実装され得る。
【００２８】
ＥＤＲ画像エンコーダ（１００）は、高解像度（例えば、ＵＨＤ）の入力ＥＤＲ画像（１０２）を受信するように構成されている。本明細書において、「入力ＥＤＲ画像」は、入力画像のＥＤＲバージョンを得るために用いられ得る、エンハンストダイナミックレンジまたはハイダイナミックレンジの画像データ（例えば、ハイエンドの画像取得デバイスなどによって撮影されたロー画像データ）を指す。入力ＥＤＲ画像１０２は、ハイダイナミックレンジ色域をサポートするあらゆる色空間にあり得る。ある実施形態において、入力ＥＤＲ画像は、元々はＲＧＢ空間にあり得る１６ビットＹＣｂＣｒ画像である。本明細書において、複数の色成分を有する画像（例えば、ＲＧＢまたはＹＣｂＣｒ）について、ｎビット画像（例えば、１２ビットまたは８ビット画像）という用語は、その色成分の各ピクセルがｎビットピクセルで表される画像を指す。例えば、８ビットＲＧＢ画像において、各ピクセルは、３つの色成分で構成され、各色成分（例えば、Ｒ、Ｇ、またはＢ）は８ビットで表され、合計で２４ビット／カラーピクセルとなる。
【００２９】
各ピクセルは、色空間内のチャンネルのうちの１つ以上に対するアップサンプリングまたはダウンサンプリングピクセル値を、追加的に、および／または、代替的に含み得る。ただし、いくつかの実施形態では、広い色域をサポートするべく、例えば、本明細書に記載の色空間において赤、緑および青のような三原色に加えて他の原色を同時に使用してもよい。そのような実施形態においては、本明細書に記載の画像データは、それらの他の原色のための追加的ピクセル値を含み、本明細書に記載の技術によって同時に処理され得る。
【００３０】
ＥＤＲ−ｔｏベースレイヤ量子化器（以下、レイヤ分解器（Ｌａｙｅｒ  Ｄｅｃｏｍｐｏｓｅｒ）、ＬＤと称する）１１０は、ＥＤＲ入力１０２をより低い深度のＢＬ画像（１１２）（例えば、８ビット画像）に変換する。その全文を本願に援用する２０１２年１１月１日に出願されたＧ−Ｍ．Ｓｕらによる「階層的ＶＤＲ符号化におけるレイヤ分解”Ｌａｙｅｒ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｉｎ  ｈｉｅｒａｒｃｈｉｃａｌ  ＶＤＲ  ｃｏｄｉｎｇ”」という表題のシリアル番号ＰＣＴ／ＵＳ２０１２／０６２９３２（「’９３２出願」）のＰＣＴ出願は、ＬＤ処理の一例を記載している。ＢＬエンコーダ１２０のビット深度性能によっては、ＢＬ信号１１２のピクセル値は、クリッピング処理１１５によって（例えば、８ビット信号の場合（０，２５５）の範囲で）クリッピングされてもよい。
【００３１】
ＢＬ画像エンコーダ（１２０）は、ＢＬ画像（１１２）を符号化／フォーマットして、符号化された（または圧縮された）ＢＬ画像１２２を生成するように構成されている。いくつかの実施形態では、ベースレイヤ画像コンテナ内の画像データは、ＳＤＲディスプレイ上での視聴に最適化されたＳＤＲ画像を生成するためのものではなく、ベースレイヤ画像コンテナ内の画像データは、符号化ＥＤＲ画像のための全体的なビット要件を最小化するために、より低いビット深度の画像コンテナに最適な量のベースレイヤ画像データを格納し、最終的な復号化画像（１９７）の全体的な画質を向上するように最適化されている。ＢＬエンコーダは、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−２、ＭＰＥＧ−４、ｐａｒｔ２、Ｈ．２６４、またはＨＥＶＣ規格で指定されるような既知のビデオエンコーダ、または、ＧｏｏｇｌｅのＶＰ８、ＭｉｃｒｏｓｏｆｔのＶＣ−１などのような他のエンコーダであり得る。
【００３２】
ＥＤＲ画像エンコーダ（１００）内のＢＬデコーダ（１３０）は、ベースレイヤ画像コンテナ内の画像データを復号化ベースレイヤ画像１３５に復号化する。信号１３５は、規格に準拠した受信器が受信する復号化ＢＬを表している。復号化ベースレイヤ画像１３５は、ＢＬエンコーダ（１２０）およびＢＬデコーダ（１３０）によって行われる符号化および復号化処理によるコーディングの変更、丸め込み誤差および近似化を含む点でＢＬ画像（１１２）とは異なる。
【００３３】
予測器処理１４０は、復号化ＢＬストリーム１３５（または、いくつかの実施形態では、ＬＤＲ信号１１２またはクリッピングステップ１１５の出力）に基づいてＥＤＲ信号１０２を予測することに関する１つ以上の処理を行う。予測器１４０は、ＬＤ１１０において行われる処理の反対処理を実行しようとする。このような予測器の実施形態例は、’９３２ＰＣＴ出願、および、その全文を本願に援用する２０１２年４月１３日に出願されたＧ−Ｍ．Ｓｕらによる「マルチカラーチャンネル重回帰予測器”Ｍｕｌｔｉｐｌｅ  ｃｏｌｏｒ  ｃｈａｎｎｅｌ  ｍｕｌｔｉｐｌｅ  ｒｅｇｒｅｓｓｉｏｎ  ｐｒｅｄｉｃｔｏｒ”」という表題のシリアル番号ＰＣＴ／ＵＳ２０１２／０３３，６０５のＰＣＴ出願に記載されている。予測器出力１４２をＥＤＲ入力１０２から減算して残差１５２を生成する。
【００３４】
いくつかの実施形態では、残差画像１５２は、残差信号１５２の特定の値を固定値に設定するクリップマスク処理１５５によって処理され得る。ｖi、ｓi、ｖi＾、およびｒiを、それぞれ、入力ＥＤＲ信号１０２、ＢＬ信号１１２、予測ＥＤＲ信号１４２および残差信号１５２とする。上述したように、ｓiが既定の閾値ＴBL（例えば、８ビット符号化の場合、ＴBL＝２５５）よりも大きい場合、クリッピング１１５中において、ｓi＞ＴBLであればｓi＝ＴBLである。第２の閾値ＴEL（例えば、８ビット符号化の場合、ＴEL＝２５０）の場合、クリップマスククリッピング処理１５５中において、ｓi＜ＴELであれば対応残差値ｒiを固定値（例えば、ｓi＜ＴBLである場合、ｒi＝０）に設定し、そうでなければ、残差ｒiをエンハンスメントレイヤ符号化ストリームで符号化する。よって、両レイヤで符号化された狭い範囲の量子化ピクセル値の外側においては（例えば、ＴEL＜ｓi＜ＴBLである場合）、入力ストリーム値を、ＢＬまたはＥＬのいずれかで符号化する。
【００３５】
ある実施形態例において、ＥＤＲ画像エンコーダ（１００）内のエンハンスメントレイヤ量子化器（ＮＬＱ）１６０は、１つ以上のＮＬＱパラメータによって決定されるＮＬＱ関数を用いて、高ビット深度デジタル表記（例えば、１６ビット）からより低いデジタル表記（例えば、８ビット）へとＥＤＲ残差値（１５２）を量子化するように構成されている。ＮＬＱ関数は、線形、区分線形または非線形であり得る。非線形ＮＬＱ設計例は、その全文を本願に援用する２０１２年４月２４日に出願されたＧ−Ｍ．ＳｕらによるＰＣＴ／ＵＳ２０１２／０３４７４７「非線形ＶＤＲ残差量子化器”Ｎｏｎ−Ｌｉｎｅａｒ  ＶＤＲ  ｒｅｓｉｄｕａｌ  ｑｕａｎｔｉｚｅｒ”」というＰＣＴ出願に記載されている。
【００３６】
いくつかの実施形態では、ＮＬＱ１６０の後に、空間解像度ダウンサンプラ（例えば、４Ｋ解像度から２Ｋ解像度に下げる）を設けてもよい。いくつかの実施形態では、ＮＬＱ１６０の前にダウンサンプラ１６５を設けてもよい。ＮＬＱおよびダウンサンプリング後、クリッピング１６７によって、符号化される全ての残差値が、ＥＬエンコーダ１７０がサポートするダイナミックレンジ（例えば、８ビットエンコーダの場合、（０，２５５））内に収まる事が保証される。
【００３７】
エンハンスメントレイヤ（ＥＬ）エンコーダ１７０は、エンハンスメントレイヤ画像コンテナ内の残差値を符号化して符号化ＥＬストリーム１７２を生成するように構成されている。ＥＬエンコーダ１７０は、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−２、ＭＰＥＧ−４、ｐａｒｔ２、Ｈ．２６４、またはＨＥＶＣ規格で指定されるような既知のビデオエンコーダ、または、ＧｏｏｇｌｅのＶＰ８、ＭｉｃｒｏｓｏｆｔのＶＣ−１などのような他のエンコーダであり得る。ＥＬおよびＢＬエンコーダは、それぞれ異なっていてもよく同じでもよい。
【００３８】
ＬＤ１１０、予測器１４０およびＮＬＱ１６０において用いられるパラメータセットは、補完的エンハンスメント情報（ＳＥＩ）、または、メタデータ１４２および１６２としてビデオビットストリーム（例えば、エンハンスメントレイヤ）において利用可能な他の同様のメタデータキャリッジの一部として、下流側デバイス（例えば、ＥＤＲ画像デコーダ１０５）に送信され得る。本明細書において、用語「メタデータ」は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画するのを補助するあらゆる補助的情報に関し得る。このようなメタデータは、上記のような、色空間または色域情報、ダイナミックレンジ情報、トーンマッピング情報、または、その他の予測器、アップスケーリング、および量子化器の演算子などの情報を含み得るが、これらに限定されるものではない。
【００３９】
階層ＥＤＲストリームの全ての部分を生成した後、符号化ＥＬストリーム（１７２）、符号化ＢＬストリーム（１２２）および関連メタデータを多重化およびパケット化し、これにより、記憶媒体に格納できるように、および／または、デコーダに送信できるようにする。
【００４０】
いくつかの実施形態では、ＢＬ信号１１２は、ＥＤＲ入力１０２の元の解像度よりもより低い空間解像度（例えば、７２０ｐまたは１０８０ｐ）で圧縮され得る。そして、ＥＤＲ信号１０２は、ＢＬエンコーダ１２０によって符号化される前に、ダウンサンプリングされ得る。このようなダウンサンプリングは、ＬＤ処理１１０の前に行われてもよいし、後に行われてもよい。ＢＬ符号化の前にＢＬ信号をダウンサンプリングする場合、信号１０２および１４２が等しい空間解像度を有するように、予測ステップ１４０の前後に適切にアップサンプリングされ得る。
【００４１】
図１Ｂは、ある実施形態例による２レイヤＥＤＲビデオデコーダ１０５を図示している。デコーダは、ベースレイヤ１２２および１つ以上のエンハンスメントレイヤ（例えば、１７２）を含むマルチレイヤ（またはマルチビットストリーム）の入力ビデオ信号を受信するように構成されている。
【００４２】
図１Ｂに図示したように、ＢＬデコーダ１８０は、入力符号化ベースレイヤビデオ信号１２２に基づいて、復号化ベースレイヤ画像１８２を生成するように構成されている。いくつかの実施形態では、ＢＬデコーダ１８０は、ＥＤＲ画像エンコーダ（１００）内のＢＬデコーダ１３０と同じかまたは実質的に類似している。ＢＬ復号化出力１８２は、ＥＤＲ推定画像１９２を生成するために、予測器（または逆ＢＬ量子化器）１９０に渡される。予測器１９０は、予測器１４０と同じかまたは実質的に類似していてよい。予測器１９０は、入力メタデータ１４２を利用して、必要な予測パラメータを抽出する。
【００４３】
ＥＬエンコーダ１７０に対応するＥＬデコーダ１７５は、受信した符号化ＥＬストリーム１７２を復号化して、復号化量子化残差ストリーム１７６を生成するために用いられている。復号化ストリーム１７６は、逆ＥＬ量子化器（ＮＬｄＱ）１８５に渡されて、これにより、残差１８７を生成する。いくつかの実施形態では、元のＥＬストリームがダウンサンプリング（１６５）されていれば、復号化ＥＬストリーム１７５を対応するアップサンプラ１７７によって処理し、その後、アップサンプリングされたピクセルがＮＬｄＱの入力ダイナミックレンジを超えないように丸め込み処理またはクリッピング処理１７９を行ってもよい。ＮＬｄＱ１８５は、低ビット深度残差（例えば、８ビット）を高ビット深度（例えば、１６ビット）残差１８７にマッピングし、それを予測ＥＤＲストリーム１９２に加算して、これにより、元のＥＤＲ信号１０２の近似を表す最終復号化ＥＤＲ信号１９７を生成する。適切なＥＤＲディスプレイ上への描画のための信号要件に合わせるべく、表示管理（ＤＭ）処理（例えば、図２参照）によってＥＤＲ信号１９７に後処理を施してもよい。
【００４４】
図１Ｂに図示するように、ＥＤＲエンコーダ１００によって計算された量子化および予測パラメータを含む受信メタデータ１４２および１６２は、復号化処理１０５中において、予測器１９０および逆量子化器１８５によっても利用され得る。
マルチフォーマット配信
【００４５】
いくつかの実施形態では、メディアサーバは、圧縮アルゴリズムまたは規格、符号化ビットレートおよび空間解像度などの符号化フォーマットに対する多様なサポートを提供しながら、様々な送信メディアを介して、ＥＤＲ入力１０２を受信器に送信する必要があり得る。
【００４６】
図１Ｃは、そのようなＥＤＲビデオ信号のマルチフォーマット送信をサポートするシステム（１００Ｂ）の別の実施形態を図示している。図１Ｃに図示するように、第１のビットレートで符号化された元のＢＬストリーム１２２（例えば、４Ｋストリーム）に加えて、コンテンツプロバイダは、ビットレートおよび／または解像度が異なるさらなるＢＬストリーム（例えば、１２２Ｂおよび１２２Ｃ）を提供してもよい。ＢＬエンコーダ１２０Ｂおよび１２０Ｃは、異なるビットレートで圧縮を行う同じＢＬエンコーダ１２０（例えば、ＨＥＶＣに基づく）であってもよく、または、異なるエンコーダ（例えば、Ｈ．２６４または他の圧縮形式に基づく）であってもよい。省略可能なダウンサンプラ（例えば、１２５）によって、主ＢＬストリーム１２２よりも低い解像度でＢＬストリームを生成してもよい。これらのＢＬストリーム（例えば、１２２、１２２Ｂおよび１２２Ｃ）の全てを、共通のＥＬビットストリーム（１７２）および１セットのメタデータ（例えば、１４２および１６２）を共有するサーバ上に格納し、これにより、メディア配信サーバ上の格納スペースを大幅に節約してもよい。送信および符号化フォーマットの要件を考慮して、エンコーダ１００Ｂは、符号化ＥＬストリーム１７２と、主ＢＬストリーム（１２２）を符号化するために生成されるメタデータ（１４２、１６２）と、主符号化ＢＬストリーム（１２２）または補完的符号化ＢＬストリーム（１２２Ｂ、１２２Ｃ）の１つのいずれかと、を含む出力ストリームを多重化する。
【００４７】
図１Ｄは、マルチフォーマットＥＤＲストリームを復号化する実施形態を図示している。入力符号化ＢＬビットストリーム１２２または１２２Ｂを考慮して、デコーダ１０５Ｂは、先述のデコーダ１０５と同一である。デコーダ１０５と比較してより低い解像度のＢＬストリーム１２２Ｃを考慮して、デコーダ１０５Ｂは、さらなるアップサンプラ１８８を含む。アップサンプラ１８８は、エンコーダ１００Ｂにおいて用いられるダウンサンプラ（１２５）を補うために用いられる。ＢＬデコーダ１８０Ｃは、ＢＬエンコーダ１２０Ｃにも対応している。
【００４８】
図１Ｅは、ＢＬストリームの解像度が圧縮ＥＬストリーム１７２の空間解像度に一致する場合に、より低い解像度のＢＬストリーム１２２Ｃ（例えば、２Ｋストリーム）を復号化する別の実施形態を図示している。デコーダ１０５Ｃにおいて、デコーダ１０５Ｂの２つのアップサンプラ１７７および１８８の代わりに、合成器１９５の後に配置された１つのアップサンプラ１９８としてもよい。
【００４９】
図１Ｇは、１つのＥＬストリーム（１７２）および複数のＢＬストリームを用いる代わりに、サーバが１つのＢＬストリーム（１２２）および複数のＥＬストリーム（１７２Ａ、１７２Ｂおよび１７２Ｃ）を用いる別の符号化実施形態（１００Ｃ）を図示している。このような構成においては、残差（１６０）のＥＬ量子化の後、符号化ＥＬストリームを主符号化フォーマット（１７２Ａ）で生成する主ＥＬエンコーダ（１７０Ａ）と、補完的符号化フォーマット（１７２Ｂ、１７２Ｃ）の符号化ＥＬストリームを生成する１つ以上の別のエンコーダ（１７０Ｂ、１７０Ｃ）とを用いて残差を符号化し得る。例えば、ＥＬエンコーダ１７０Ｃは、エンコーダ１７０Ａとは異なるビットレートまたはビット深度で、または、異なる符号化規格を用いて、信号１６２を圧縮し得る。あるいは、ＥＬエンコーダ１７０Ｂは、ＥＬエンコーダ１７０Ａとは異なる空間解像度で信号１６２を符号化し得る。送信および符号化フォーマットの要件に応じて、エンコーダは、符号化ＢＬストリーム１２２と、主ＢＬストリーム（１２２）および主符号化ＥＬストリームを符号化するために生成されるメタデータ（１４２、１６２）と、主符号化ＥＬストリーム（１７２Ａ）または補完的符号化ＥＬストリーム（１７２Ｂ、１７２Ｃ）の１つのいずれかと、を含む出力ストリームを多重化する。
【００５０】
図１Ｈは、マルチフォーマットエンコーダ１００Ｃによって送信される信号を受信して復号化するように適合化されたマルチフォーマットデコーダ（１０５Ｅ）のある実施形態例を図示している。１０５Ｅに図示するように、合成処理１９５中において、予測器の出力（１９２）および逆量子化器の出力（１８７）が等しい解像度および色フォーマットを有するように、ＥＬデコーダ（１７５）の出力をアップサンプラ（１７７）によってアップサンプリングする必要があり得る。
演算スケーラブル復号化
【００５１】
ハードウェアアクセラレータを有するいくつかのデコーダにおいては、入力ＢＬストリーム（１２２）のフル空間解像度（例えば、４Ｋ）で汎用ＣＰＵを用いて画像の予測（１９０）および合成（１９５）（またはその他の処理）を行うよりも、これらのアクセラレータを用いて画像データに対してダウンサンプリングまたはアップサンプリングを行う方が、演算処理的により効率的であり得る。図１Ｆは、演算スケーラブル復号化をサポートする復号化データフローのある実施形態例を図示している。
【００５２】
図１Ｆに図示するように、ＢＬ復号化１８０の後、その出力を、ダウンサンプラ１９３によってダウンサンプリングする。ダウンサンプラ１９３は、エンコーダ１００内のダウンサンプラ１６５と同じダウンサンプリング比（例えば、２：１）を有していてもよく、よって、デコーダ１０５と比べて、デコーダ１０５Ｄは、アップサンプラ１７７およびクリッピング処理１７９を必要としないかもしれない。デコーダ１０５Ｄにおいて、汎用ＣＰＵによって実行可能な予測１９０および合成１９５は、大幅に低い空間解像度で行われ、これにより、ＣＰＵにかかる全体的な演算負荷を低減する。合成１９５の後、その出力１９７を、フル解像度にアップサンプリング（１９８）し、これにより、ＥＤＲ出力１９９を生成する。
【００５３】
いくつかの実施形態では、デコーダにおいて、ＥＤＲ信号（１９７または１９９）を再構築した後、その信号に対して表示管理（ＤＭ）処理を行って、受信ＥＤＲ信号のダイナミックレンジをターゲットディスプレイデバイスのダイナミックレンジにマッピングする。ＥＤＲ信号に対するＤＭ処理の一例は、その全文を本願に援用する２０１３年２月２１日に出願されたＲ．Ａｔｋｉｎｓらによる「ハイダイナミックレンジビデオに対する表示管理”Ｄｉｓｐｌａｙ  Ｍａｎａｇｅｍｅｎｔ  ｆｏｒ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｖｉｄｅｏ”」という米国特許仮出願シリアル番号６１／７６７，３８０に記載されている。ＤＭ処理は複雑になり得るので、旧式の受信器では、フル解像度画像に対してＤＭを行うことができないかもしれない。また、ターゲットディスプレイが、受信ＥＤＲ信号のフル解像度をサポートしていない場合もある。例えば、受信信号はＵＨＤ（例えば、４Ｋ）信号かもしれないが、その信号を、ＨＤ（例えば、１０８０ｐ）ディスプレイまたはＵＨＤ（例えば、４Ｋ）ディスプレイ上に表示し得る。図２は、演算スケーラブルおよび／または解像度スケーラブルなＤＭ処理のある実施形態例を図示している。
【００５４】
図２に図示するように、ＤＭ処理２１５の前に、任意の従来の画像処理ダウンサンプリングフィルタを用いて、受信信号２０２を（例えば、２倍）ダウンサンプリングする。並列する経路において、ダウンサンプリング信号２０７を元の解像度にアップサンプリング（２１０）し、残差信号（２３２）を生成する。残差信号２３２は、ダウンサンプリング／アップサンプリング処理によって生じる誤差を表している。ＤＭ処理２１５の完了後、ＤＭ出力２１７は、より低い解像度のターゲットディスプレイ上での表示に適している。または、ＤＭ出力２１７をアップサンプリングして（２２０）、高解像度ディスプレイ上に表示してもよい。全体的な画質を改善するために、残差信号２３２をアップサンプラ（２２２）の出力へと戻して加え、これにより、高解像度ディスプレイ用に最終ディスプレイマッピングされた信号２２７を生成してもよい。
リコンフィギュラブル復号化
【００５５】
前述のように、ビットレートまたは処理の要件によっては、エンコーダ（例えば、１００）が符号化ＢＬとＥＬストリームとを異なる解像度で送信せざるを得ないかもしれない。例えば、符号化ベースレイヤストリーム（１２２）が１０ビットＵＨＤストリーム（例えば、ＨＥＶＣを用いて符号化されている）を含み、符号化ＥＬストリーム（１７２）が８ビットＨＤストリーム（例えば、ＡＶＣを用いて符号化されている）を含む場合を考える。ここで、デコーダ上で、ターゲットＥＤＲディスプレイがＨＤ解像度しかサポートしていないかもしれない場合も考える。図１Ｂに図示するように、そのような階層ビットストリームについては、ＵＨＤ  ＥＤＲデコーダ（１０５）は、ＵＨＤ  ＥＤＲ出力（１９７）を合成する（１９５）前に、復号化ＥＬストリーム（１７６）をアップサンプリングする（１７７）必要があるが、ターゲットディスプレイがＵＨＤ解像度をサポートしていないので、そのようなシナリオでは、ＵＨＤ  ＥＤＲ信号（１９７）をＨＤ  ＥＤＲ信号に変換するためにさらなるダウンサンプラ（図示せず）が必要となる。復号化および予測要件を無視すると、このようなシナリオでは下記が必要となる。
・８ビットＨＤ−ＵＨＤアップスケーラ（例えば、１７７）
・１４ビットＵＨＤ−ＨＤ出力ダウンスケーラ、および
・ＵＨＤ合成器（例えば、１９５）
【００５６】
図３は、様々なビットストリームおよびターゲットディスプレイ解像度に対応する汎用のリコンフィギュラブルＥＤＲデコーダ（３００）のある実施形態例を図示している。デコーダ（３００）をこれまでの復号化実施形態（例えば、１０５または１０５ｄ）と比べると、ＢＬデコーダ（１８０）、ＥＬデコーダ（１７５）、予測器（１９０）、非線形逆量子化器（ＮＬｄＱ１８５）、および、合成器（１９５）に加えて、デコーダ（３００）は、ＢＬスケーラ（３０５）、ＥＬスケーラ（３１０）および省略可能な出力スケーラ（３１５）を含み得る。ある実施形態において、全スケーラは、目標解像度へのアップスケーリング、目標解像度へのダウンスケーリング、または、非動作（ＮＯＰ）の３つのモードで動作し得る。ＮＯＰモードではスケーリングは行われず、スケーラはバイパスされてスケーラの出力はその入力と同じ解像度を有する。
【００５７】
これらのスケーラは、ソフトウェアとして構成されてもよいし、１つ以上のプロセッサを用いてハードウェアとして構成されてもよい。スケーリング装置は個別であってよく、ＢＬおよびＥＬスケーリングは個別のプロセッサによって平行に行われてもよく、または、スケーリング処理は１つのプロセッサを用いて時分割多重化されてもよい。
【００５８】
先の例に戻って、上述したように、ＢＬストリーム解像度＝ＵＨＤ、ＥＬストリーム解像度＝ＨＤ、および、ターゲットディスプレイ解像度＝ＨＤという条件の場合、従来の復号化実装では、３つのスケーラを、以下のように設定できる。
ＢＬスケーラ：ＮＯＰ
ＥＬスケーラ：ＨＤからＵＨＤへのアップサンプリング
出力スケーラ：ＵＨＤからＨＤへのダウンサンプリング
【００５９】
ターゲットディスプレイの解像度はデコーダにとって既知であるので、デコーダがＢＬおよびＥＬストリームの解像度を前もって分かっている（例えば、ストリーム３４２または３６２内でメタデータとしてエンコーダによって送信される）とすると、より効率的なデコーダにおいては、出力スケーリング処理（３１５）の実装場所を移動させて、ＢＬおよびＥＬスケーリング処理と組み合わせることにより、処理パワーおよび／またはハードウェアリソースを低減することができる。例えば、好ましい実施形態において、３つのスケーラを、以下のように設定できる。
ＢＬスケーラ：ＵＨＤからＨＤへのダウンサンプリング
ＥＬスケーラ：ＮＯＰ
出力スケーラ：ＮＯＰ
【００６０】
このシナリオでは、復号化は、
・ＵＨＤ−ＨＤダウンコンバータ
・ＨＤ合成器
を必要とするが、これは、アップサンプラ、ダウンサンプラおよびＵＨＤ合成器を必要とする上述の従来の実装と比べて大幅に低い演算またはハードウェアコストを表している。
【００６１】
ターゲットディスプレイ、オリジナルソース、ＢＬストリームおよびＥＬストリームの解像度を考慮して、スケーリング処理の数を最小限にしできるだけ小さい空間解像度で合成器を利用するこの方法を拡張することにより、可能性のある全てのシナリオに対して最適なアーキテクチャを導き出すことが可能である。リコンフィギュラブルＥＤＲデコーダの最良の設定を行うための決定処理の実施形態例を図４Ａおよび図４Ｂに図示する。
【００６２】
図４Ａに図示するように、ある実施形態において、ＢＬおよびＥＬスケーラ（３０５、３１０）は、以下の解像度入力（４０５）に従って構成される。すなわち、元のＥＤＲ入力源（ＲO）の解像度（例えば、ＥＤＲ入力（１０２）またはＥＤＲ出力（１９７）の解像度）、ターゲットディスプレイ（ＲT）の解像度、および、それぞれＲBおよびＲEで示される受信ＢＬおよびＥＬストリームの解像度である。一例として、これらの解像度のそれぞれはＵＨＤまたはＨＤに制限され得るが、上記方法はいかなる空間解像度の信号にも適用可能である。
【００６３】
ステップ（４０７）において、目標解像度ディスプレイがデフォルトの出力解像度ＲO（例えば、入力信号の解像度）未満であるかどうかの決定を行う。そうでない場合、すなわち、ターゲットディスプレイ解像度（例えば、ＵＨＤ）がビデオ信号解像度（例えば、ＨＤまたはＵＨＤ）以上である場合、ステップ（４１５）において、ＢＬおよびＥＬストリームを目標解像度にアップサンプリングする。例えば、ＲO＝ＲT＝ＵＨＤ、ＲB＝ＵＨＤ、かつ、ＲE＝ＨＤの場合、ＥＬスケーラをＵＨＤにアップサンプリングするように設定し、ＢＬスケーラをＮＯＰに設定する。出力スケーラは常にＮＯＰに設定する。ステップ（４１５）を拡大したバージョンの一例を図４Ｂに図示する。
【００６４】
ＲO＞ＲTの場合、ＢＬおよびＥＬストリームの解像度が同じであるかどうかについてのさらなる決定を行う（４２０）。ＹＥＳの場合、それらの解像度が、ターゲットディスプレイ解像度よりも高いことが分かっているデフォルトのビデオ解像度（ＲO）と同じであるかどうか、または、それらの解像度が、ターゲットディスプレイ解像度よりも大きいかどうかを決定する（４２５）。ＹＥＳの場合（例えば、ＲB＞ＲTまたはＲE＞ＲT）、ステップ（４３０）において、入力解像度からターゲットディスプレイ解像度にダウンサンプリングするようにＢＬおよびＥＬスケーラを設定し、そうでない場合、ステップ（４３５）において、両スケーラをＮＯＰに設定する。出力スケーラは常にＮＯＰに設定する。
【００６５】
ＲBおよびＲEが互いに異なる場合、これらを互いに比較する（４４０）。ＲB＞ＲEの場合、ステップ（４５０）において、ＨＤにダウンスケーリングするようにＢＬスケーラを設定し、ＥＬスケーラをＮＯＰに設定する。ＲB＜ＲEの場合、ステップ（４４５）において、ＢＬスケーラをＮＯＰに設定し、ＥＬスケーラはＨＤにダウンスケーリングするように設定する。
【００６６】
別の実施形態において、ＲO≦ＲTの場合、（４２０）、（４２５）および（４４０）に関する決定ステップを以下のデシジョンツリーに置き換えることが可能である。
（ＲB＞ＲT）の場合、ＢＬスケーラ：ダウンサンプリング
そうでない場合、ＢＬスケーラ：ＮＯＰ
（ＲE＞ＲT）の場合、ＥＬスケーラ：ダウンサンプリング
そうでない場合、ＥＬスケーラ：ＮＯＰ
このような実施形態の実装例を図４Ｂに図示する。当業者であれば理解できるように、上記各方法に類似の他の方法を応用して同じ結果を得ることが可能である。例えば、ある実施形態において、各決定ステップの順序が異なっていてもよい（例えば、ＲB＞ＲTかどうかをチェックする前に、ＲE＞ＲTであるかどうかをチェックしてもよい）。なお、提案された再構成では、出力スケーラは常にＮＯＰに設定されるので、ほとんどの実施形態においてこれを省略することが可能である。デコーダ出力信号（１９７）に対して何らかのスケーリングが必要である場合、これはターゲットディスプレイのスケーラによって吸収可能である。
【００６７】
限定としてではなく、一例として、４つの入力解像度（４０５）がそれぞれ２つの可能な値（例えば、ＵＨＤおよびＨＤ）をとり得る場合、１６通りの入力構成が可能であり、この１６通りの入力構成は９通りの可能なハードウェア構成にマッピング可能である。表１は、主な対象となる８通りの場合（ＲO＝ＵＨＤ）ついての推奨スケーラ設定をまとめたものである。
【００６８】
表１：ＵＨＤ  ＥＤＲストリームを復号化する際のＢＬおよびＥＬスケーラの設定
2016522588.tif 000003
コンピュータシステム実装例
【００６９】
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなエンハンストダイナミックレンジを有するマルチフォーマット画像の階層符号化および復号化に関する命令を実行、制御し、または実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の階層符号化および復号化処理に関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【００７０】
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなマルチフォーマットＥＤＲ画像の階層符号化および復号化に関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータが可読な信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ  ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【００７１】
上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
均等物、拡張物、代替物、その他
【００７２】
マルチフォーマットＥＤＲ画像の効率的な階層符号化および復号化に関する実施形態例を上述した。この明細書中において、各態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。
【図１Ａ】
2016522588.tif 000004
【図１Ｂ】
2016522588.tif 000005
【図１Ｃ】
2016522588.tif 000006
【図１Ｄ】
2016522588.tif 000007
【図１Ｅ】
2016522588.tif 000008
【図１Ｆ】
2016522588.tif 000009
【図１Ｇ】
2016522588.tif 000010
【図１Ｈ】
2016522588.tif 000011
【図２】
2016522588.tif 000012
【図３】
2016522588.tif 000013
【図４Ａ】
2016522588.tif 000014
【図４Ｂ】
2016522588.tif 000015
【手続補正書】
【提出日】平成27年4月17日(2015.4.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の符号化フォーマットを用いてエンハンスドダイナミックレンジ（ＥＤＲ）画像を符号化する方法であって、
第１の空間解像度を有する入力ＥＤＲ画像（１０２）を受信する工程と、
前記入力ＥＤＲ画像をレイヤ分解器（１１０）で分解することにより、より低いダイナミックレンジ（ＬＤＲ）画像（１１２）を生成する工程と、
前記ＬＤＲ画像を第１のベースレイヤ（ＢＬ）エンコーダ（１２０）で符号化することにより、第１の符号化ＢＬストリーム（１２２）を生成する工程と、を包含する方法であって、
前記ＬＤＲ画像を第２のＢＬエンコーダ（１２０Ｂ）で符号化することにより、第２の符号化ＢＬストリーム（１２２Ｂ）を生成する工程であって、前記第２の符号化ＢＬストリーム（１２２Ｂ）は、前記第１の符号化ＢＬストリーム（１２２）の符号化フォーマットパラメータとは異なる符号化フォーマットパラメータを少なくとも１つ有し、前記符号化フォーマットパラメータは、符号化アルゴリズム、符号化ビットレート、または、符号化ビットストリームの空間解像度を含む、工程と、
前記第１の符号化ＢＬストリーム（１２２、１３５）に予測関数（１４０）を予測器（１４０）で適用することにより、予測ＥＤＲ画像（１４２）を生成する工程と、
前記予測ＥＤＲ画像（１４２）および前記入力ＥＤＲ画像（１０２）のピクセル値間の差を表す残差画像（１５２）を演算する工程と、
前記残差画像にクリップマスク（１５５）を適用することにより、クリップマスク画像を生成する工程であって、クリップマスクを適用する工程は、前記ＬＤＲ画像（１１２）の対応ピクセル値が所定のエンハンスメントレイヤ（ＥＬ）閾値よりも低い場合、前記残差画像のピクセル値を所定の固定値に設定する工程を含む、工程と、
前記クリップマスク画像にＥＬ量子化器（１６０）を適用することにより、ＥＬ画像を生成する工程と、
前記ＥＬ画像をＥＬエンコーダ（１７０）で符号化することにより、符号化ＥＬストリーム（１７２）を生成する工程と、
前記第１の符号化ＢＬストリーム（１２２）、前記第２の符号化ＢＬストリーム（１２２Ｂ）、および、前記単一の符号化ＥＬストリーム（１７２）を表すデータと、前記予測関数（１４２）を代表する１セットのメタデータとを符号化および格納する工程であって、前記第１の符号化ＢＬストリーム（１２２）および前記第２の符号化ＢＬストリーム（１２２Ｂ）は、共に、前記単一の符号化ＥＬストリーム（１７２）を共有している、工程と、
前記符号化ＥＬストリーム（１７２）と、前記予測関数（１４２）と、要求される符号化フォーマットパラメータに応じて前記第１の符号化ＢＬストリーム（１２２）または前記第２の符号化ＢＬストリーム（１２２Ｂ）のいずれかとを示す該データを送信する工程と、を包含することを特徴とする方法。
【請求項２】
前記第１および第２の符号化ＢＬストリーム（１２２、１２２Ｂ）は非下位互換性であり、前記第１および第２の符号化ＢＬストリーム（１２２、１２２Ｂ）は、前記単一の符号化ＥＬストリーム（１７２）と共に、ＥＤＲディスプレイ上で視聴するための高画質ＥＤＲ画像を再構築するように最適化されている、請求項１に記載の方法。
【請求項３】
符号化ＢＬストリーム内の画像データは、符号化ＥＤＲ画像のための全体的なビット要件を最小化するために、より低いビット深度の画像コンテナに最適な量の画像データを含み、最終的な復号化ＥＤＲ画像の全体的な画質を向上するように最適化されている、請求項１または２に記載の方法。
【請求項４】
複数の符号化フォーマットを用いてエンハンスドダイナミックレンジ（ＥＤＲ）画像を符号化する方法であって、
第１の空間解像度を有する入力ＥＤＲ画像（１０２）を受信する工程と、
前記入力ＥＤＲ画像をレイヤ分解器（１１０）で分解することにより、より低いダイナミックレンジ（ＬＤＲ）画像（１１２）を生成する工程と、
前記ＬＤＲ画像を第１のベースレイヤ（ＢＬ）エンコーダ（１２０）で符号化することにより、第１の符号化ＢＬストリーム（１２２）を生成する工程と、を包含する方法であって、
前記ＬＤＲ画像を第２のＢＬエンコーダ（１２０Ｂ）で符号化することにより、第２の符号化ＢＬストリーム（１２２Ｂ）を生成する工程であって、前記第２の符号化ＢＬストリーム（１２２Ｂ）は、前記第１の符号化ＢＬストリーム（１２２）の符号化フォーマットパラメータとは異なる符号化フォーマットパラメータを少なくとも１つ有し、前記符号化フォーマットパラメータは、符号化アルゴリズム、符号化ビットレート、または、符号化ビットストリームの空間解像度を含む、工程と、
前記第１の符号化ＢＬストリーム（１２２、１３５）に予測関数（１４０）を予測器（１４０）を用いて適用することにより、予測ＥＤＲ画像（１４２）を生成する工程と、
前記予測ＥＤＲ画像（１４２）および前記入力ＥＤＲ画像（１０２）のピクセル値間の差を表す残差画像（１５２）を演算する工程と、
前記残差画像にクリップマスク（１５５）を適用することにより、クリップマスク画像を生成する工程であって、クリップマスクを適用する工程は、前記ＬＤＲ画像（１１２）の対応ピクセル値が所定のエンハンスメントレイヤ（ＥＬ）閾値よりも低い場合、前記残差画像のピクセル値を所定の固定値に設定する工程を含む、工程と、
前記クリップマスク画像にＥＬ量子化器（１６０）を適用することにより、ＥＬ画像を生成する工程と、
前記ＥＬ画像をＥＬエンコーダ（１７０）で符号化することにより、符号化ＥＬストリーム（１７２）を生成する工程と、
前記符号化ＥＬストリーム（１７２）と、前記予測関数（１４２）と、前記第１の符号化ＢＬストリーム（１２２）または前記第２の符号化ＢＬストリーム（１２２Ｂ）のいずれかとを表すデータを符号化および格納または送信する工程と、を包含し、
前記第１および第２の符号化ＢＬストリーム（１２２、１２２Ｂ）は非下位互換性であり、前記第１および第２の符号化ＢＬストリーム（１２２、１２２Ｂ）は、前記単一の符号化ＥＬストリーム（１７２）と共に、ＥＤＲディスプレイ上で視聴するための高画質ＥＤＲ画像を再構築するように最適化されていることを特徴とする、方法。
【請求項５】
前記レイヤ分解器（１１０）、前記予測器（１４０）および前記ＥＬ量子化器（１６０）で用いられるパラメータをメタデータ（１４２、１６２）として格納または送信する工程を包含する、請求項１または４に記載の方法。
【請求項６】
前記第１のＢＬストリームの解像度またはビットレートに関わらず、１つの予測器（１４０）を用いて前記予測関数を適用する工程を包含する、上記いずれかの請求項に記載の方法。
【請求項７】
前記第１のＢＬエンコーダ（１２０Ａ）は前記第２のＢＬエンコーダ（１２０Ｂ）と同じである、請求項１に記載の方法。
【請求項８】
前記クリップマスク画像を前記第１の空間解像度よりも低い第２の空間解像度にダウンサンプリング（１６５）することにより、ダウンサンプリングＥＬ画像を生成する工程であって、前記ダウンサンプリングは、前記ＥＬ量子化器（１６０）の適用前または適用後に実行可能であり、前記符号化ＥＤＲストリームは前記ダウンサンプリングＥＬ画像に基づいている、工程をさらに包含する、上記請求項のいずれかに記載の方法。
【請求項９】
前記第２の符号化ＢＬストリーム（１２２Ｂ、１２２Ｃ）は、前記第１の符号化ＢＬストリーム（１２２）とは異なるビットレートで符号化される、上記請求項のいずれかに記載の方法。
【請求項１０】
前記第２の符号化ＢＬストリーム（１２２Ｃ）は、前記第１の符号化ＢＬストリーム（１２２）とは異なる空間解像度で符号化される、上記請求項のいずれかに記載の方法。
【請求項１１】
前記第１のＢＬエンコーダは第１の符号化アルゴリズムに準拠しており、前記第２のＢＬエンコーダは前記第１の符号化アルゴリズムとは異なる第２の符号化アルゴリズムに準拠している、上記請求項のいずれかに記載の方法。
【請求項１２】
前記第１のＢＬエンコーダはＨＥＶＣ準拠エンコーダを含み、前記ＥＬエンコーダはＨ．２６４準拠エンコーダを含む、上記請求項のいずれかに記載の方法。
【請求項１３】
前記第１の符号化ＢＬストリームおよび前記符号化ＥＬストリームは８ビットのビット深度を用いて符号化され、前記所定のＥＬ閾値は２５０であり、前記所定の固定値は０である、上記請求項のいずれかに記載の方法。
【請求項１４】
上記請求項のいずれかに記載の方法に従って符号化された高解像度エンハンスドダイナミックレンジ（ＥＤＲ）信号を復号化する際の演算負荷を低減する方法であって、
第１の空間解像度、および目標エンハンスドダイナミックレンジ（ＥＤＲ）より低いダイナミックレンジ（ＬＤＲ）の符号化ベースレイヤ（ＢＬ）ストリームと、第２の空間解像度、および前記目標ＥＤＲより低いダイナミックレンジ（ＬＤＲ）の符号化エンハンスメントレイヤストリームと、予測関数のためのパラメータとを含む符号化ストリームを受信する工程であって、前記第１の空間解像度は前記第２の空間解像度よりも高い、工程と、
前記符号化ＢＬストリームをＢＬデコーダ（１８０）で復号化することにより、復号化ＢＬ画像を生成する工程と、
前記符号化ＥＬストリームをＥＬデコーダ（１７５）で復号化することにより、復号化ＥＬ画像を生成する工程と、
前記復号化ＢＬ画像をダウンサンプリングすることにより、前記第２の空間解像度を有する第２のＢＬ画像を生成する工程と、
前記第２のＢＬ画像に前記予測関数を適用することによって、予測ＥＤＲ画像を生成する工程と、
前記予測ＥＤＲ画像および前記復号化ＥＬ画像を用いて、第１のＥＤＲ画像（１９７）を合成する（１９５）工程と、
前記第１のＥＤＲ画像（１９７）をアップサンプリング（１９８）することにより、前記第１の空間解像度を有する出力ＥＤＲ画像（１９９）を生成する工程と、を包含する方法。
【請求項１５】
前記第１の空間解像度は４Ｋ  ＵＨＤであり、前記第２の空間解像度はＨＤである、請求項１４に記載の方法。
【請求項１６】
前記受信した符号化ストリームは、請求項１〜１１のいずれかに記載の方法に従って符号化および送信される、請求項１４に記載の方法。
【請求項１７】
複数の符号化フォーマットを用いてエンハンスドダイナミックレンジ（ＥＤＲ）画像を符号化する方法であって、
第１の空間解像度を有する入力ＥＤＲ画像（１０２）を受信する工程と、
前記入力ＥＤＲ画像をレイヤ分解器（１１０）で分解することにより、より低いダイナミックレンジ（ＬＤＲ）画像（１１２）を生成する工程と、
前記ＬＤＲ画像を第１のベースレイヤ（ＢＬ）エンコーダ（１２０）で符号化することにより、符号化ＢＬストリーム（１２２）を生成する工程と、を包含する方法であって、
前記符号化ＢＬストリーム（１２２、１３５）に予測関数（１４０）を予測器（１４０）で適用することにより、予測ＥＤＲ画像（１４２）を生成する工程と、
前記予測ＥＤＲ画像（１４２）および前記入力ＥＤＲ画像（１０２）のピクセル値間の差を表す残差画像（１５２）を演算する工程と、
前記残差画像にクリップマスク（１５５）を適用することにより、クリップマスク画像を生成する工程であって、クリップマスクを適用する工程は、前記ＬＤＲ画像（１１２）の対応ピクセル値が所定のエンハンスメントレイヤ（ＥＬ）閾値よりも低い場合、前記残差画像のピクセル値を所定の固定値に設定する工程を含む、工程と、
前記クリップマスク画像にＥＬ量子化器（１６０）を適用することにより、ＥＬ画像（１６２）を生成する工程と、
前記ＥＬ画像を第１のＥＬエンコーダ（１７０Ａ）で符号化することにより、第１の符号化ＥＬストリーム（１７２Ａ）を生成する工程と、
前記ＥＬ画像を第２のＥＬエンコーダ（１７０Ｂ）で符号化することにより、第２の符号化ＥＬストリーム（１７２Ｂ）を生成する工程であって、前記第２の符号化ＥＬストリーム（１７２Ｂ）は、前記第１の符号化ＥＬストリーム（１７２）の符号化フォーマットパラメータとは異なる符号化フォーマットパラメータを少なくとも１つ有し、前記符号化フォーマットパラメータは、符号化アルゴリズム、符号化ビットレート、または、符号化ビットストリームの空間解像度を含む、工程と、
前記単一の符号化ＢＬストリーム（１７２）と、前記予測関数（１４２）と、前記第１の符号化ＥＬストリーム（１７２Ａ）と、前記第２の符号化ＥＬストリーム（１７２Ｂ）とを表すデータを符号化および格納する工程と、
前記符号化ＢＬストリーム（１２２）と、前記予測関数（１４２）と、要求される符号化フォーマットに応じて前記第１の符号化ＥＬストリーム（１７２Ａ）または前記第２の符号化ＥＬストリーム（１７２Ｂ）のいずれかとを表す該データを送信する工程と、を包含することを特徴とする方法。
【請求項１８】
前記ＥＬ画像（１６２）をダウンサンプリング（１６５）することにより、ダウンサンプリングＥＬ画像を生成し、前記ダウンサンプリングＥＬ画像に基づいて前記第２の符号化ＥＬストリームを生成する工程をさらに包含する、請求項１７に記載の方法。
【請求項１９】
前記符号化フォーマットパラメータは、符号化アルゴリズム、符号化ビットレート、または、前記符号化ビットストリームの空間解像度を含む、請求項１７に記載の方法。
【請求項２０】
前記第２の符号化ＥＬストリーム（１７２Ｂ、１７２Ｃ）は、前記第１の符号化ＢＬストリーム（１７２Ａ）とは異なるビットレートで符号化される、請求項１７に記載の方法。
【請求項２１】
前記第２の符号化ＥＬストリーム（１７２Ｂ）は、前記第１の符号化ＥＬストリーム（１７２Ａ）とは異なる空間解像度で符号化される、請求項１７に記載の方法。
【請求項２２】
前記第１のＥＬエンコーダは第１の符号化アルゴリズムに準拠しており、前記第２のＥＬエンコーダは前記第１の符号化アルゴリズムとは異なる第２の符号化アルゴリズムに準拠している、請求項１７に記載の方法。
【請求項２３】
上記請求項のいずれかに記載の方法であって、
前記クリップマスク画像を前記第１の空間解像度よりも低い第２の空間解像度にダウンサンプリング（１６５）することにより、ダウンサンプリングＥＬ画像を生成する工程と、
前記ダウンサンプリングＥＬ画像に基づいて前記符号化ＥＬストリーム（１７２）を生成する工程と、
前記ＬＤＲ画像（１１２）を前記第２の空間解像度にダウンサンプリング（１２５）することにより、第３のＢＬ画像を生成する工程と、
前記第３のＢＬ画像をＢＬエンコーダ（１２０Ｃ）で符号化することにより、第３の符号化ＢＬストリーム（１２２Ｃ）を生成する工程と、
前記符号化ＥＬストリーム（１７２）と、前記予測関数（１４２）と、前記第３の符号化ＢＬストリーム（１２２Ｃ）とを表すデータをデコーダに送信する工程と、
前記デコーダ上で、前記符号化ＥＬストリーム（１７２）と、前記予測関数（１４２）と、前記第３の符号化ＢＬストリーム（１２２Ｃ）を表すデータを受信することにより、復号化ＥＤＲ画像を生成する工程と、をさらに包含し、復号化は、
前記第３の符号化ＢＬストリーム（１２２Ｃ）を復号化し、これにより、復号化ＢＬ画像（１８２）を生成する工程と、
前記復号化ＢＬ画像（１８２）に前記予測関数（１４２）を適用（１９０）することにより、予測ＥＤＲ画像（１９０）を生成する工程と、
符号化ＥＬストリーム（１７２）を復号化することにより、復号化ＥＬ画像（１７６、１８７）を生成する工程と、
前記復号化ＥＬ画像（１７６、１８７）と前記予測ＥＤＲ画像（１９２）とを組み合わせ（１９５）、これにより、中間ＥＤＲ画像（１９７）を生成する工程と、
前記中間ＥＤＲ画像を前記第１の空間解像度にアップサンプリング（１９８）することにより、前記復号化ＥＤＲ画像（１９９）を生成する工程と、を含む、方法。
【請求項２４】
階層ビデオ符号化を用いてダイナミックレンジ（ＥＤＲ）ビデオ画像信号を復号化するデコーダアーキテクチャを構成する方法であって、前記アーキテクチャは、リコンフィギュラブルベースレイヤ（ＢＬ）スケーラおよびリコンフィギュラブルエンハンスメントレイヤ（ＥＬ）スケーラを含む複数のスケーラを備え、それぞれのリコンフィギュラブルスケーラを、アップスケーリングモード、ダウンスケーリングモード、または、非スケーリングモードのうちの１つに設定することが可能であり、
符号化ＢＬストリーム解像度（ＲB）、符号化ＥＬストリーム解像度（ＲE）、第１の出力解像度（ＲO）、および、ターゲットディスプレイ解像度（ＲT）を判定する工程と、
前記ターゲットディスプレイ解像度が前記第１の出力解像度以上であると判定された場合には、
前記ＢＬストリーム解像度が前記ターゲットディスプレイ解像度よりも低い場合には前記ＢＬスケーラを前記アップスケーリングモードに設定し、そうでない場合には前記ＢＬスケーラを前記非スケーリングモードに設定し、
前記ＥＬストリーム解像度が前記ターゲットディスプレイ解像度よりも低い場合には前記ＥＬスケーラを前記アップスケーリングモードに設定し、そうでない場合には前記ＥＬスケーラを前記非スケーリングモードに設定し、
さもなくば、
前記ＢＬストリーム解像度が前記ターゲットディスプレイ解像度よりも高い場合には前記ＢＬスケーラを前記ダウンスケーリングモードに設定し、そうでない場合には前記ＢＬスケーラを前記非スケーリングモードに設定し、
前記ＥＬストリーム解像度が前記ターゲットディスプレイ解像度よりも高い場合には前記ＥＬスケーラを前記ダウンスケーリングモードに設定し、そうでない場合には前記ＥＬスケーラを前記非スケーリングモードに設定する、工程と、を包含する方法。
【請求項２５】
前記アーキテクチャの前記スケーラは、前記リコンフィギュラブルベースレイヤ（ＢＬ）スケーラおよび前記リコンフィギュラブルエンハンスメントレイヤ（ＥＬ）のみを含む、請求項２４に記載の方法。
【請求項２６】
前記出力スケーリング処理は、前記リコンフィギュラブルベースレイヤ（ＢＬ）スケーラおよび前記リコンフィギュラブルエンハンスメントレイヤ（ＥＬ）に移動され、これらと組み合わせられている、請求項２４または２５に記載の方法。
【請求項２７】
プロセッサを備え、請求項１〜２６に記載の方法のいずれか１つを行うように構成された装置。
【請求項２８】
請求項１〜２１のいずれかに記載の方法を行うように構成されたエンコーダと、請求項２４、２５または２６に記載の方法を行うように構成されたデコーダとを備えたシステム。
【請求項２９】
請求項１〜２６のいずれかに記載の方法を実行するためのコンピュータ実行可能命令を格納した非一時的なコンピュータ可読記憶媒体。
【国際調査報告】
2016522588.tif 000016
2016522588.tif 000017
2016522588.tif 000018
2016522588.tif 000019
2016522588.tif 000020
2016522588.tif 000021
2016522588.tif 000022