(57)【特許請求の範囲】
【請求項１】
プロセッサを用いる階層間予測の方法であって、
第１のダイナミックレンジ（ＥＤＲ）を備えた第１の映像信号（１２４）にアクセスする工程と、
第２のダイナミックレンジ（ＳＤＲ）において前記第１の映像信号を表現する第２の映像信号（１２６）にアクセスする工程であって、前記第２のダイナミックレンジは前記第１のダイナミックレンジよりも低い、工程と、
前記第２の映像信号の画素に応答して前記第１の映像信号の画素を予測する予測関数を、前記プロセッサを用いて生成する工程と、
ハイライト閾値を決定し、前記予測関数を、前記ハイライト閾値よりも大きい前記第２の映像信号の画素値について一定の出力値を出力するように調整する工程と、
前記調整された予測関数に前記第２の映像信号を適用して、推定された第１の映像信号（１４７）の画素値を生成する工程と、
前記第１の映像信号と、前記推定された第１の映像信号とに基づいて、残差信号を決定する工程と、
暗領域閾値を決定する工程と、
前記暗領域閾値よりも低い前記第２の映像信号の画素値について、前記残差信号の対応する画素値をゼロに設定する工程と、
を含む方法。
【請求項２】
さらに、
第１の映像エンコーダ（１３０）を使用して前記第２の映像信号を符号化することにより、符号化ベースレイヤ信号（１３２）を生成する工程と、
第２の映像エンコーダ（１６０）を使用して前記残差信号の関数を符号化することにより、符号化エンハンスメントレイヤ信号（１６２）を生成する工程と、
を含む、請求項１に記載の方法。
【請求項３】
前記第２の映像信号の画素に応答して前記第１の映像信号の画素を予測する前記予測関数を前記プロセッサを用いて生成する工程の前に、前記第１の映像信号の予測された画素における潜在的なハイライトクリッピングの有無を判定する工程をさらに含み、
ここで、潜在的なハイライトクリッピングの有無を判定する工程は、前記第１の映像信号と前記第２の映像信号とにおける画素値に関して生成された統計に基づく、
請求項１に記載の方法。
【請求項４】
潜在的なハイライトクリッピングが有ると判定すると直ちに、前記残差信号は、請求項１に記載の工程に従って生成され、
そうではなくて、潜在的なハイライトクリッピングが無いと判定するのならば、代わりに以下の工程を実行する、請求項３に記載の方法：
前記第２の映像信号の画素に応答して前記第１の映像信号の画素を予測する第２の予測関数を、前記プロセッサを用いて生成する工程であって、前記第２の予測関数は、前記ハイライト閾値よりも大きい前記第２の映像信号の画素値について一定の出力値を出力するようには調整されない、工程と、
前記第２の予測関数に前記第２の映像信号を適用して、推定された第１の映像信号（１４７）の画素値を生成する工程と、
前記第１の映像信号と、前記推定された第１の映像信号とに基づいて、残差信号を決定する工程。
【請求項５】
前記生成された統計は、前記第２の映像信号における画素値のヒストグラムと、前記第１の映像信号における画素値の分散または標準偏差と、を含む、請求項３に記載の方法。
【請求項６】
j番目のフレームについて、第１の値（U）と閾値Thとが与えられたとき、Dj= 1であるならばハイライトクリッピングが有るものと判定し、ここで、
【数１】
0006320644.tif 000037
であって、前記第１の値Uは、前記第２の映像信号における許容可能画素値の上限を表しており、h[i]は、値がiであるような前記第２の映像信号の画素数を表し、Lは、ある正の整数値であり、Mjは、前記第１の映像信号において対応して算出される分散の最大値を与えるような、前記第２の映像信号における画素値を表す、請求項５に記載の方法。
【請求項７】
潜在的なハイライトクリッピングの有無を判定する前記工程は、前記第１の映像信号におけるシーンについての、前記第１の映像信号と前記第２の映像信号とにおける画素値に関して生成された統計に基づく、請求項３に記載の方法。
【請求項８】
前記予測関数は、区分的多項式予測を使用し、複数の区分のそれぞれにつき１つずつの多項式予測器を有した多区分予測器、を含み、それぞれの多項式予測器の予測係数は、平均２乗誤差すなわちＭＳＥを予測コスト関数として使用して、歪みのメトリックを最小にするように決定され、かつ前記ハイライト閾値は、前記多区分予測器における最終区分の開始点を含む、請求項１に記載の方法。
【請求項９】
前記ハイライト閾値は、前記第２の映像信号における最大画素値の８５％の値に等しい、請求項１に記載の方法。
【請求項１０】
前記暗領域閾値を決定する工程は、
前記第２の映像信号における画素値のヒストグラム（h[i]）を算出する工程と、
前記ヒストグラムの各階級に対し、前記第１の映像信号における画素値であって、前記第２の映像信号における対応画素値が前記ヒストグラムのそれぞれの階級に納まる画素値についての分散（var[i]）値を算出する工程と、
前記分散値の累加平均値を算出する工程と、
前記累加平均値に基づき、差分値を算出する工程と、
前記算出された差分値に基づき、前記暗領域閾値を決定する工程と、
を含む、請求項１に記載の方法。
【請求項１１】
前記分散値を算出する工程の前に、
ゼロに等しい算出ヒストグラム値について、補間ヒストグラム値を生成する工程、
をさらに含む、請求項１０に記載の方法。
【請求項１２】
前記累加平均値を算出する工程の前に、前記算出された分散値に円滑化フィルタを適用する工程をさらに含む、請求項１０に記載の方法。
【請求項１３】
差分値を算出することは、２つの連続する累加平均値の間の階差値を算出することを包含する、請求項１０に記載の方法。
【請求項１４】
前記暗領域閾値（TSL）を決定する工程は、以下を算出する工程をさらに含む、請求項１３に記載の方法：
【数２】
0006320644.tif 000038
であって、ここで、aはある正のスケーリング値を表し、WLおよびWHは閾値を表しており、
【数３】
0006320644.tif 000039
であって、ここで
【数４】
0006320644.tif 000040
は、前記累加平均値
【数５】
0006320644.tif 000041
の前記算出された階差値を表す。
【請求項１５】
シーンにおける２つ以上の映像フレームについてのフレームベースの暗領域閾値に基づいて、シーンベースの暗領域閾値を算出する工程をさらに含む、請求項１０に記載の方法。
【請求項１６】
前記シーンベースの暗領域閾値を算出することは、前記シーンにおける前記２つ以上の映像フレームについての前記フレームベースの暗領域閾値の平均を算出することを包含する、請求項１５に記載の方法。
【請求項１７】
プロセッサを備えており、かつ、請求項１〜１６のいずれかに記載の方法を実行するように構成された装置。
【請求項１８】
請求項１〜１６のいずれかによる方法を実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は、２０１５年２月１７日付け出願の米国仮特許出願第６２／１１７，０７６号に基づく優先権を主張するものであり、この出願の開示内容を全て本願に援用する。
【０００２】
技術
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、エンハンスト（ｅｎｈａｎｃｅｄ）ダイナミックレンジを備える信号を符号化および復号化するための階層間予測に関する。
【背景技術】
【０００３】
背景
音声及び動画の圧縮は、マルチメディアコンテンツの開発、格納、配信、消費における重要要素である。圧縮法の選択には、符号化効率、符号化複雑度、及び遅延の間でのトレードオフが伴う。計算コストに対する処理能力の比率が増大するにつれて、より効率的な圧縮を可能にする、より複雑な圧縮技術の開発が可能になる。一例として、動画圧縮において、国際標準化機構（ＩＳＯ）から派生したＭｏｔｉｏｎ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ（ＭＰＥＧ）は、ＭＰＥＧ‐２、ＭＰＥＧ‐４（パート２）、Ｈ．２６４／ＡＶＣ（またはＭＰＥＧ‐４、パート１０）、Ｈ．２６５／ＨＥＶＣ符号化標準をリリースすることにより、当初のＭＰＥＧ‐１動画標準について更なる改良を続けてきた。
【０００４】
映像信号を特徴付け得るものとして、ビット深度、色空間、色域、解像度など、複数のパラメータが挙げられる。現代のテレビや動画再生装置（例えば、ブルーレイプレーヤ）は、標準解像度（例えば、７２０×４８０ｉ）や高精細（ＨＤ）（例えば、１９２０×１０８０ｐ）など、多様な解像度をサポートする。超高精細（ＵＨＤ）は、次世代の解像度フォーマットであり、少なくとも３，８４０×２，１６０解像度（４Ｋ  ＵＨＤと呼称される）を有し、さらにオプションとして７６８０×４３２０（８Ｋ  ＵＨＤと呼称される）もの高解像度を有し得る。超高精細は、また、ウルトラＨＤ、ＵＨＤＴＶ、あるいはスーパーハイビジョンとも呼称され得る。本明細書中で用いるとき、ＵＨＤとは、ＨＤ解像度より高い任意の解像度を指す。
【０００５】
映像信号の特徴が持つもう一つの側面は、そのダイナミックレンジである。ダイナミックレンジ（ＤＲ）とは、例えば最も暗い黒から最も明るい白までのような、画像内の強度範囲（例えば、輝度、ルマ）のことである。本明細書中で用いるとき、「ダイナミックレンジ」（ＤＲ）という用語は、例えば最も暗い黒から最も明るいハイライトまでのような画像内強度範囲（例えば、輝度、ルマ）に対する、人間の心理視覚システム（ＨＶＳ）の感知能力に関係し得る。この意味で、ＤＲは「シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）」の強度に関係する。ＤＲはまた、ディスプレイ装置がある特定の幅を持つ強度範囲を妥当にまたは近似的に描画する能力にも関係し得る。この意味で、ＤＲは「ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）」の強度に関係する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
【０００６】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。例えば、しっかりと順応した、実質的に正常（例えば、統計的な意味、バイオメトリック的な意味、または、眼科的な意味の１つ以上において）な人間は、約１５桁にわたる強度範囲を有する。順応した人間は、ほんの少量の光子のうす暗い光源を知覚し得る。また、同じ人間が、砂漠、海または雪上における真昼の太陽の、目が痛くなるほどの明るい強度を知覚し得る（また、怪我をしないような短時間であるとしても太陽を見ることもできる）。ただし、この範囲は、「順応した人間」、例えば、そのＨＶＳをリセットして調節する時間を経た人間に当てはまるものである。
【０００７】
これに対して、人間が、広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、「エンハンストまたは拡張ダイナミックレンジ」（ＥＤＲ）、「視覚的ダイナミックレンジ」、あるいは「可変ダイナミックレンジ」（ＶＤＲ）という用語は、個々にまたは区別なく、ＨＶＳによって同時に感知可能なＤＲに関係し得る。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対して幾分狭いものの、ＥＤＲは、広いＤＲ幅を示しており、ＨＤＲと呼ばれることもある。本明細書において、「同時的（ｓｉｍｕｌｔａｎｅｏｕｓ）ダイナミックレンジ」という用語は、ＥＤＲに関係し得る。
【０００８】
実際には、画像は１つ以上の色成分（例えば、輝度Ｙ、及び色差ＣｂとＣｒ）を含み、各色成分は１画素あたりｎビット（例えば、ｎ＝８）の精度で表される。線形輝度符号化を用いれば、ｎ≦８であるような画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジを持つ画像と考えられる。一方、ｎ＞８であるような画像は、エンハンストダイナミックレンジを持つ画像と考えられ得る。ＥＤＲ及びＨＤＲ画像はまた、低ビット深度非線形輝度符号化（例えば、１０ビット対数輝度符号化）あるいは、例えばＩｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃ社が開発したＯｐｅｎＥＸＲファイルフォーマットのような、高精度（例えば、１６ビット）浮動小数点フォーマットを用いて、格納されまた配信され得る。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
新しいＨＤＲまたはＵＨＤディスプレイ技術だけでなく、旧式の再生装置に対する後方互換性をも同様にサポートするために、複数のレイヤを利用し、ＵＨＤ及びＨＤＲ（またはＥＤＲ）動画データを上流側装置から下流側装置へと配信し得る。そのようなマルチレイヤストリームを与えられると、旧式のデコーダは、ベースレイヤを用いてコンテンツのＨＤ  ＳＤＲ版を再構成し得る。新型のデコーダは、ベースレイヤおよびエンハンスメントレイヤの両方を用いて、より能力の高いディスプレイ上での描画のために、コンテンツのＵＨＤ  ＥＤＲ版を再構成し得る。本発明者らが認識するところでは、特に階層間予測に関する部分において、ＥＤＲ動画を階層的に符号化するための改良技術が望まれる。
【００１０】
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【００１１】
図面の簡易説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
【００１２】
【図１】図１は、本発明のある実施形態による階層間予測器を備えた階層的ＥＤＲ符号化システムの実装例を表す。
【図２Ａ】図２Ａは、本発明のある実施形態による、算出された画素統計の例を表す。
【図２Ｂ】図２Ｂは、本発明のある実施形態による、算出された画素統計の例を表す。
【図２Ｃ】図２Ｃは、本発明のある実施形態による、算出された画素統計の例を表す。
【図２Ｄ】図２Ｄは、本発明のある実施形態による、算出された画素統計の例を表す。
【図３】図３は、本発明のある実施形態による階層間予測器の生成工程例を表す。
【発明を実施するための形態】
【００１３】
実施形態例の説明
エンハンストダイナミックレンジを備える信号の階層的符号化に適用する際の階層間予測を、本明細書に記載する。ベースレイヤ（ＢＬ）ＳＤＲ信号及び残差ＥＤＲエンハンスメントレイヤ（ＥＬ）を用いて符号化され得るＥＤＲ入力映像信号が与えられると、これら２層間の階層間予測器が、入力ＳＤＲ映像の有するハイライトと暗領域との特性を考慮に入れることによって構築される。
【００１４】
以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項抜きでも本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に不明瞭にしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【００１５】
概要
本明細書に記載の実施形態例は、エンハンストダイナミックレンジを備えた映像信号を階層的に符号化および復号化する際の階層間予測に関する。エンハンストダイナミックレンジ（ＥＤＲ）を備えたビデオシーケンスの画素データを、従来のダイナミックレンジ（ＳＤＲ）を備えた対応するビデオシーケンスの画素データと、階層間予測器とに基づいて予測する。ハイライトクリッピングの制約の下で、従来のＳＤＲからＥＤＲへの予測は、以下のように調整される。すなわち、ａ）あるハイライト閾値が与えられると、ＳＤＲからＥＤＲへの階層間予測器は、このハイライト閾値よりも大きな全ての入力ＳＤＲ画素値について一定の出力値を出力するように調整され、ｂ）ある暗領域閾値が与えられると、入力ＥＤＲ信号とその予測値との間の残差値は、この暗領域閾値よりも低い全ての入力ＳＤＲ画素値について、ゼロに設定される。
【００１６】
ある実施形態において、ハイライトクリッピングの有無の判定は、ＳＤＲおよびＥＤＲ画素値から導出された統計値に基づく。
【００１７】
ある実施形態において、従来の階層間予測器は８区分のＭＳＥ予測器を含み、かつ、ハイライト閾値は、このＭＳＥ予測器における最終区分の開始ピボット点を含む。
【００１８】
ある実施形態において、暗領域閾値は、ＥＤＲ値の累加的な分散値に基づいて算出された変化の度合いに基づく。
【００１９】
ＥＤＲ信号の階層的符号化
例えばＨＤＴＶ、セットトップボックス、あるいはブルーレイプレーヤのような、既存のディスプレイ及び再生装置は、典型的には１０８０ｐのＨＤ解像度（例えば、毎秒６０フレームで１９２０×１０８０）までの信号をサポートする。消費者対象のアプリケーション向けに、そのような信号は現在、典型的には、各画素各色成分毎に８ビットのビット深度を用いて輝度−色差色形式に圧縮される。その際、典型的には、色差成分は輝度成分よりも低い解像度を持つ（例えば、ＹＣｂＣｒあるいはＹＵＶ４：２：０色形式）。８ビット深度及びそれに対応する低ダイナミックレンジのため、そのような信号は、典型的には、スタンダードダイナミックレンジ（ＳＤＲ）を備える信号と呼ばれる。
【００２０】
超高精細（ＵＨＤ）のような、新たなテレビ規格が開発されつつある今、エンハンスト解像度および／またはエンハンストダイナミックレンジを備える信号を、旧式のＨＤＴＶデコーダとより最近のＵＨＤデコーダとの両方が処理可能な形式で、符号化することが望ましいと言える。
【００２１】
その開示内容を全て本願に援用する、Ｇ‐Ｍ  Ｓｕ他による２０１３年１２月４日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１３／０７３０８５号、「Ｂａｃｋｗａｒｄ  ｃｏｍｐａｔｉｂｌｅ  ｃｏｄｉｎｇ  ｆｏｒ  ｕｌｔｒａ‐ｈｉｇｈ  ｄｅｆｉｎｉｔｉｏｎ  ｓｉｇｎａｌｓ  ｗｉｔｈ  ｅｎｈａｎｃｅｄ  ｄｙｎａｍｉｃ  ｒａｎｇｅ」に記載の通り、図１は、エンハンストダイナミックレンジ（ＥＤＲ）を備えるＵＨＤ信号の後方互換な符号化をサポートするシステムにつき、実装例の実施形態を示している。エンコーダは、ベースレイヤ（ＢＬ）エンコーダ（１３０）及び、エンハンスメントレイヤ（ＥＬ）エンコーダ（１６０）を含む。ある実施形態では、ＢＬエンコーダ（１３０）は、例えばＭＰＥＧ‐２やＨ．２６４エンコーダのような、旧式のエンコーダであり、ＥＬエンコーダ（１６０）は、例えばＨＥＶＣエンコーダのような、新規格エンコーダである。旧式のＢＬデコーダをサポートするため、ＢＬエンコーダ（１３０）は、典型的には８ビットエンコーダである。しかし、ＥＬエンコーダ（１６０）は、より高いビット深度を備えた入力ストリームをサポートし得る。例えば、Ｈ．２６４及びＨＥＶＣ（Ｈ．２６５）標準が規定するように、１０ビットでもよい。しかし、本システムは、任意の空間解像度およびビット深度におけるＥＤＲ及びＳＤＲ層の符号化に適用可能であり、既知のまたは将来のエンコーダをどのような組合せで用いてもよく、それらが規格準拠か独自開発かは問わない。
【００２２】
図１に示すように、映画やテレビ放送のようなある１つの入力信号は、２つの信号で表し得る。すなわち、ＵＨＤ  ＥＤＲ入力（１０２）及びＵＨＤ  ＳＤＲ入力（１０４）である。例えば、ＵＨＤ  ＥＤＲ信号（１０２）は、ＨＤＲカメラにより撮影され、ＥＤＲディスプレイ用にカラーグレーディングを施された、４Ｋ（例えば、３８４０×２１６０）解像度信号であってもよい。この同じ信号はまた、コンテンツマッピング工程（１０５）を経て、当該技術において既知の任意のトーンマッピングまたはディスプレイマネジメント技術を適用することにより、トーンマッピングまたはコンテンツマッピングを施されたＳＤＲ信号を生成することが可能である。オプションとして、あるいはコンテンツマッピング工程（１０５）と組み合わせて、トリムパス（ｔｒｉｍ−ｐａｓｓ）カラーグレーディング工程（１０３）を使用し、ＳＤＲ信号（１０４）を、カラリストが、ＥＤＲ信号（１０２）またはＳＤＲ信号（１０７）から生成してもよい。本明細書で用いるとき、「トリムパスカラーグレーディング工程」という用語は、制作意図に従って、ターゲットディスプレイの特性に調和するように、映像信号の色、トーン、コントラスト、およびダイナミックレンジに対して何らかの手動調整を施すことを指す。
【００２３】
一般的にそうだというわけではないが、典型的には、これらの入力信号は両方とも、１６ビットまたは同等の（例えば、浮動小数点）ビット深度表現を用いるＲＧＢ色空間で表現され得る。本明細書中で用いる際、nビット信号という用語が指すのは、１つ以上の色成分（例えば、ＲＧＢまたはＹＣｂＣｒ）を備えており、しかもこれら色成分の内どの１つ（例えば、Ｙ）においても各画素がnビット画素値で表現されるような、画像または映像信号のことである。nビット表現において、そのような各画素は、０から２n−１までの間の値を取り得る。例えば、８ビット表現においては、各色成分につき、各画素はそれぞれ０から２５５までの間の値を取り得る。
【００２４】
ある実施形態では、ＵＨＤ  ＳＤＲ信号（１０４）は、ＨＤ  ＳＤＲ信号（例えば、１０８０ｐ）へとダウンサンプルされてもよく、それから、例えば８ビットＹＣｂＣｒ４：２：０色形式のような、旧式の８ビットエンコーダを利用して符号化するのに適した色形式へと色変換される。そのような変換は、色変換（例えば、ＲＧＢからＹＣｂＣｒへの変換１１５‐Ｃ）やクロマサブサンプリング（例えば、４：４：４から４：２：０への変換１２０‐Ｃ）を含み得る。このように、ＨＤ  ＳＤＲ信号（１２８）は、元々のＵＨＤ  ＥＤＲ信号（１０２）についての後方互換な信号表現を表す。信号（１２８）は、ＢＬエンコーダ（１３０）により符合化されて、後方互換な符号化ビットストリーム（１３２）を生成し得る。ＢＬエンコーダ（１３０）は、ＨＤ  ＳＤＲ信号（１２８）を圧縮または符号化するために、既知のあるいは将来の動画圧縮アルゴリズムの内のいずれを用いても良く、ＭＰＥＧ‐２、ＭＰＥＧ‐４（パート２）、Ｈ．２６４、ＨＥＶＣ、ＶＰ８、ＶＰ９等が、その例として挙げられる。
【００２５】
ＵＨＤ  ＥＤＲ信号（１０２）が与えられると、ダウンサンプリング（１１０‐Ａ）及び色変換の工程（１１５‐Ｂと１２０‐Ｂ）は、ＵＨＤ  ＥＤＲ信号（１０２）を参照予測ＨＤ  ＥＤＲ信号（１２４）へと変換し得る。ある好ましい実施形態では、この段階におけるダウンサンプリングと色変換の工程（１１０‐Ａ、１１５‐Ｂ、及び１２０‐Ｂ）（例えば、選択されたフィルタと色空間）は、ベースレイヤにＨＤ  ＳＤＲ信号（１２８）を生成するために用いたダウンサンプリングと色変換の工程（１１０‐Ｂ、１１５‐Ｃ、及び１２０‐Ｃ）と同一、もしくは可能な限り近いものであるべきである。
【００２６】
ＵＨＤ  ＥＤＲからＨＤ  ＥＤＲへの変換に続いて、ＨＤ  ＥＤＲ信号（１２４）の出力は、輝度（Ｙ  １２４‐Ｙ）成分と色差（ＣｂＣｒ  １２４‐Ｃ）成分とに分離され、輝度予測器（１４５）及び色差予測器（１４０）用予測係数の決定に適用される。
【００２７】
ＨＤ  ＳＤＲ信号（１２８）が与えられたとき、ＢＬエンコーダ（１３０）により生成されるのは、符号化ＢＬビットストリーム（１３２）だけではない。対応するＢＬデコーダによって復号化されるであろうようにＨＤ  ＳＤＲ信号（１２８）を表現するＢＬ信号（１２６）もまた生成される。いくつかの実施形態では、信号（１２６）は、ＢＬエンコーダ（１３０）の後に続く別個のＢＬデコーダ（不図示）により生成され得る。他のいくつかの実施形態では、信号（１２６）は、ＢＬエンコーダ（１３０）において動き補償を行うために用いられるフィードバックループから生成され得る。図１に示すように、ＨＤ  ＥＤＲ信号（１２６）出力もまた、その輝度成分（Ｙ  １２６‐Ｙ）と色差成分（ＣｂＣｒ  １２６‐Ｃ）とに分離され得て、ＨＤ  ＥＤＲ´の信号（１４７）を予測する目的で、輝度予測器（１４５）と色差予測器（１４０）とに対し適用される。他のいくつかの実施形態では、ダウンサンプリング（１１０‐Ａ、１１０‐Ｂ）はスキップされ得て、その結果、全ての工程がフル解像度で行われることとなる。
【００２８】
ある実施形態では、輝度予測器（１４５）は、ＨＤ  ＥＤＲ´信号（１４７）が有する輝度成分をベースレイヤのＨＤ  ＳＤＲ信号が有する輝度画素値（１２６‐Ｙ）に基づき予測する多項式予測器を含む。そのような予測器では、当該信号についてその他のいかなる色成分におけるいかなる画素値をも考慮に入れることなく、輝度画素成分が予測され得る。例えば、siがＢＬ  ＨＤ  ＳＤＲ信号の有する輝度画素値（１２６‐Ｙ）を表すものとすると、一般性を失うことなく、３次の多項式予測器は、
【数１】
0006320644.tif 000002
と表され得る。但し、上式で、ａk(k = 0, …, 3)は予測器の係数である。ある実施形態では、予測器の係数は、当該技術において既知である任意の誤差最小化技法によって決定され得る。例えば、予測値
【数２】
0006320644.tif 000003
と参照ＨＤ  ＥＤＲ信号内の輝度画素値（１２４‐Ｙ）（ｖi）との間の平均２乗誤差（例えば、
【数３】
0006320644.tif 000004
）を最小化してもよい。
【００２９】
ある実施形態では、色差予測器（１４０）もまた、先述のものと同様の多項式予測器であり得る。しかし、ある好ましい実施形態では、色差予測器（１４０）は、米国特許第８，８１１，４９０号「Ｍｕｌｔｉｐｌｅ  ｃｏｌｏｒ  ｃｈａｎｎｅｌ  ｍｕｌｔｉｐｌｅ  ｒｅｇｒｅｓｓｉｏｎ  ｐｒｅｄｉｃｔｏｒ」においてＧ‐Ｍ  Ｓｕ他によって記載されているような、マルチカラーチャンネル多重回帰（ＭＭＲ）予測器を含み、この特許の開示内容を全て本願に援用する。ＭＭＲ予測器は、ＨＤ  ＥＤＲ´の信号が有する色差成分を予測するのに、ＨＤ  ＥＤＲ参照信号（１２４）及びベースレイヤＨＤ  ＳＤＲ信号（１２６）内にある、輝度及び色差画素値の両方に由来する情報を使用する。ＭＭＲモデルにおける予測係数もまた、平均２乗誤差最小化技法を用いて、予測クロマ値と、参照ＨＤ  ＥＤＲ信号（１２４）が有する輝度及び式差画素値との間のＭＳＥを最小化することにより、決定され得る。
【００３０】
ＨＤ  ＳＤＲ信号（１２６）及び参照ＨＤ  ＨＤＲ信号（１２４）の両方がＹＣｂＣｒ４：２：０形式であり、輝度成分の空間解像度が各式差成分の空間解像度の２倍であるので、これら両信号の輝度成分は、色差予測器（１４０）に適用される前にダウンサンプルされる（１３５‐Ａ及び１３５‐Ｂ）。好ましい実施形態では、輝度ダウンサンプリング（１３５‐Ａ）及び（１３５‐Ｂ）に用いられるフィルタは、４：４：４から４：２：０への処理工程（１２０）で用いられる色差ダウンサンプリング用フィルタと同一である。輝度及び色差予測係数は、シーン毎、ピクチャーグループ毎、フレーム毎など、考察対象とする様々な時間間隔をおいて更新され得る。予測フィルタ係数は、様々な手法を用いてビデオデコーダに伝達され得る。例えば、それらの値を、補助データあるいはメタデータとしてビットストリーム内に埋め込んでもよい。
【００３１】
予測ＨＤ  ＥＤＲ´信号（１４７）が与えられると、アップサンプラ（１５０）はＵＨＤ  ＥＤＲ´信号（１５２）を生成し、その信号は残差信号（１６７）を生成するために使用される。ＵＨＤ  ＥＤＲ´の信号は好ましい符号化形式（例えば、ＹＣｂＣｒ４：２：０）で表現されているので、追加的な色変換（１１５‐Ａ）及び色差ダウンサンプリング（１２０‐Ａ）のステップが、当初のＵＨＤ  ＥＤＲ信号（１０２）を当初の形式（例えば、ＲＧＢ）から好ましい符号化形式で表現されたＵＨＤ  ＥＤＲ信号（１２２）へと変換するために、必要となり得る。信号（１２２）と（１５２）とは減算されて、ＥＬ残差信号（１６７）を生成する。
【００３２】
ある実施形態では、色変換（１１５‐Ａ）及びクロマサブサンプリングの工程（１２０‐Ａ）は、ＢＬ符号化信号（１２８）及び予測信号（１２４）の生成に用いられている色変換（１１５‐Ｂと１１５‐Ｃ）及びクロマサブサンプリングの工程（１２０‐Ｂと１２０‐Ｃ）と同一または可能な限り近い。
【００３３】
ある実施形態では、ＥＬエンコーダ（１６０）によるＥＬ信号（１６７）の符号化の前に、当該信号は、非線形量子化器（ＮＬＱ）（１５５）によって処理され得る。適当な非線形量子化器の例は、２０１２年４月２４日付け出願のＰＣＴ特許出願番号第ＰＣＴ／ＵＳ２０１２／０３４７４７号（ＷＯ２０１２／１４８８８３として公開）、「Ｎｏｎ‐Ｌｉｎｅａｒ  ＶＤＲ  Ｒｅｓｉｄｕａｌ  Ｑｕａｎｔｉｚｅｒ」の中に見い出すことができ、この出願の開示内容を全て本願に援用する。ＮＬＱ（１５５）の出力は、適当なデコーダに送信され得る符号化ＥＬビットストリーム（１６２）を生成するために、ＥＬエンコーダ（１６０）を用いて圧縮され得る。さらに、いくつかの実施形態では、残差（１６７）もまた、ダウンサンプリングモジュール（不図示）によって空間的にダウンサンプルされ得る。そのようなダウンサンプリング（例えば、両次元につき２倍または４倍）は、符号化効率を向上させる。特に非常に低いビットレートにおいては、そうである。ダウンサンプリングの実行は、非線形量子化器（１５５）の前でも後でもよい。
【００３４】
ＥＬエンコーダ（１６０）は、例えば、ＭＰＥＧ‐２、ＭＰＥＧ‐４、Ｈ．２６４、ＨＥＶＣ、その他の仕様が記述するような、任意の適切なエンコーダで有り得る。ある実施形態では、ＢＬ符号化ビットストリーム（１３２）、ＥＬ符号化ビットストリーム（１６２）、及び符号化工程に関連するメタデータ（例えば、予測器のパラメータやルックアップテーブル）は、多重化されて単一のビットストリーム（不図示）とされてもよい。
【００３５】
いくつかの実施形態では、ベースラインのＨＤ  ＳＤＲ信号（１２８）は、既に正しい解像度と色形式を持つ状態でエンコーダ（１００）に利用可能であってもよい。そのような場合、ダウンサンプリング（１１０‐Ｂ）及び色変換のステップ（１１５‐Ｃ及び１２０‐Ｃ）は、迂回され得る。
【００３６】
いくつかの実施形態では、ＵＨＤ  ＥＤＲ信号（１０２）は、１６ビットよりも低いまたは高い精度を持つ状態で利用可能であってもよい。しかし、その精度は、８ビットよりは高い（例えば、１０ビットや１２ビット）と予想される。同様に、ＵＨＤ  ＳＤＲ信号（１０４）は、既に１６ビットより低い（例えば、８ビットや１０ビット）精度を持つ状態で利用可能であり得る。
【００３７】
階層間予測
背景と用語集
sjiは、あるＳＤＲ信号（例えば、１２６‐Ｙ）に所属のフレームjにおける第i番目画素を表すものとする。vjiは、それに対応する、ＥＤＲ信号（例えば、１２４‐Ｙ）内の同位置の画素を表すものとする。
【数４】
0006320644.tif 000005
は、それに対応する、同位置の「予測」ＥＤＲ画素（例えば、１４７）を表すものとする。所与の画像がP個の画素を有するものとする。限定的な意味ではなく述べるが、２次多項式予測器であるとすると、第i番目画素について、予測値は、
【数５】
0006320644.tif 000006
のように表され得る。但し、各i = 0, 1, 2に対し、mjiは予測係数を表す。
【００３８】
ある実施形態では、予測係数は、予測コスト関数を用いて歪みのメトリックを最小化するべく決定され得る。予測コスト関数の例としては、本来のＥＤＲ画素値と予測ＥＤＲ画素値との間の平均２乗誤差（ＭＳＥ）（例えば、
【数６】
0006320644.tif 000007
）が挙げられる。等式（２）は、行列／ベクトル形式で、
【数７】
0006320644.tif 000008
のように表現され得る。但し、
【数８】
0006320644.tif 000009
である。このとき、最小２乗解は、
【数９】
0006320644.tif 000010
として、得られる。但し、
【数１０】
0006320644.tif 000011
は、参照ＥＤＲ画素値（１２４）を表す。Bj及びajを、
【数１１】
0006320644.tif 000012
及び、
【数１２】
0006320644.tif 000013
と定義すると、等式（４）より、
【数１３】
0006320644.tif 000014
となる。
【００３９】
ある実施形態では、予測器（例えば、１４５）の性能は、区分的な多項式予測を用いて改善できるかも知れない。そのような実施形態では、可能なＳＤＲ画素値の全範囲に対して単一の多項式予測器（例えば、等式（１）や（２）に示されるような）を用いる代わりに、ＳＤＲ画素範囲（例えば [0, K-1]、但しK = 2B であって、 BはＳＤＲ信号のビット深度を表している）を２つ以上のサブ範囲へと分割し、それから各サブ範囲に対しそれぞれの予測器を適用し得る。そのような実装において、それらの異なる区分的多項式予測器を分離する「ピボット」すなわち境界となる点を見つける必要がある。例えば、区分的な多項式予測が２つの多項式を使用するならば、動画予測において、ＳＲＤ範囲を２つの範囲[0, sjv)及び[sjv, K-1)に区分するような、ＳＤＲ変域内のピボット点sjvを同定する必要がある。区分的多項式は、線形でも非線形でもよく、全てが同次数でも、異なる次数でもよい。
【００４０】
一例として、２０１５年２月４日付け出願のＰＣＴ／ＵＳ２０１５／１４４８２号出願において、このような区分的多項式予測器を導出する方法が記載されており、この出願の開示内容を全て本願に援用する。ある好適な実施形態において、輝度予測（１４５）は、８つの２次多項式を使用して実行する。このような予測器は、コンテンツマッピング工程のみ（例えば、（１０５））を介して生成されたＳＤＲ信号については良好に動作するが、実験結果が示すところによると、トリムパスカラーグレーディング工程（１０３）を介してＳＤＲ信号（１０４）を生成するときには、この予測方法を調整する必要がある。トリムパスデータに従来もしくは通常の予測器（一般的にそうだというわけではないが、本明細書においては「ＭＳＥ予測器」と呼ぶ）を使用すると、入力映像信号のハイライト部分において、著しくより大きな残差誤差が生成されることが観察された。これは、カラリスト（典型的には、当初のＥＤＲ入力のミッドトーンや暗領域におけるよりも、ハイライトにおいてより多くの調整を行なう）によって施された手動調整のアーチファクトであり得る。想定よりも大きなこれらの残差値は、ＥＬエンコーダ（１６０）に対する負担となり、低ビットレートの制約の下では、例えばブロック状のアーチファクト（ｂｌｏｃｋｙ  ａｒｔｉｆａｃｔｓ）を呈することにより、受信される再構成ＥＤＲ信号の全体的な品質を劣化させる。アーチファクトは暗領域とハイライトの両方において生成され得るが、ハイライトにおけるアーチファクトの方が、はるかに目立つ。ゆえに、ある実施形態において、ビットレートの制約の下で、ハイライト領域に対して暗領域よりも多くのビットを割り当てる。ある実施形態において、新規な予測器（従来のＭＳＥ予測器と区別するために、今後は「ハイライト予測器」と呼ぶ）のために提案される解決策は、以下のような３つの主構成要素を含む。すなわち、
ａ）ハイライトクリッピング（必然ではないが、典型的にはトリムパスステップによる）の有無を判定する。もしもハイライトクリッピングが存在するならば、ＳＤＲからＥＤＲへの予測工程を、以下のように調整する。すなわち、
ｂ）あるハイライト閾値よりも大きなＳＤＲ入力について、予測器の出力を一定の値に設定する。
ｃ）ある暗領域閾値よりも低い残差値について、残差出力をゼロに設定する。
ハイライトクリッピングを検出し、これら２つの閾値を設定するための実施形態例を、次に記載する。
【００４１】
ハイライトクリッピングの検出
標準的なＭＳＥ予測器を伴うトリムパス工程（１０３）では、ハイライトにおいて、より大きな残差またはクリッピング（１６７）が生じることが観察された。このような場合、典型的には、ＳＤＲからＥＤＲへの１対多マッピングが複数存在する。ある実施形態例において、ハイライトクリッピング（これは予測誤差の増大を引き起こす）は、入力ＳＤＲおよびＥＤＲ信号の画素値について収集された統計に基づいて、実際に予測工程を行なう前に検出することが可能である。
【００４２】
各ＳＤＲ画素成分につき、Bビット（例えば、B = 8またはB=10）が割り当てられているものとする。フレームjにおいて、i = 0,...2B-1に対し、ＥＤＲ画素vjiおよびその対応するＳＤＲ画素sjiについて、以下の値を計測し得る。すなわち、
h[i]：ＳＤＲ画素値のヒストグラム、すなわち、ＳＤＲ値がiである画素数。
b[i］：対応するＳＤＲ値がiであるＥＤＲ値の合計。
b2[i]：ＳＤＲ値がiであるＥＤＲ値の２乗和。
mean[i]：ＳＤＲ値がiであるＥＤＲ値の平均。
var[i]：ＳＤＲ値がiであるＥＤＲ値の分散。
例えば、表１は、これらの値を算出する工程例を、擬似コードを用いて表している。
[表１］ＳＤＲからＥＤＲへのマッピングの画素統計を生成するルーチン
//  ステップ１：  各画素につき、統計を収集する
//K = 2B
// h[], b[], b2[]をゼロに設定
for ( i = 0 ; i < P, i++ ){
h[sji] ++ ;
b[sji] = b[sji] + vji ;
b2[sji] = b2[sji] + vji * vji ;
}
// ステップ２：  各階級（ｂｉｎ）につき、分散を算出する
for( i = 0; i < K; i++ ){
if( h[i] > 0 ){
mean[i] = b[i] / h[i] ;
var[i]  = b2[i] / h[i] - mean[i]*mean[i];
}
else{
mean[i] = 0 ;           var[i] = 0;
}
}
【００４３】
画素統計はまた、
【数１４】
0006320644.tif 000015
(i = 0, 1, 2, …., K-1  かつ  h[i] > 0)
とも表せる。
【００４４】
典型的な映像処理環境において、正当または許容可能なＳＤＲ値は、最大の可能値（例えば、2B-1）よりも小さい値によって制限されることがある。この値を、U（例えば、Uよりも大きい画素値は不正値であると考え得る）で表す。例えば、ＳＭＰＴＥ符号化データについて、ある実施形態においては、B=8に対してU=235であり、B=10に対してU=940である。Mjは、var[i]の最大値を与えるような、フレームjにおけるＥＤＲ画素値を表すものとする。あるヒストグラム閾値Th（例えば、Th = 64）を与えられると、ある実施形態において、Mjに含まれるある範囲のＳＤＲ値（例えば
【数１５】
0006320644.tif 000016
であり、但し、Lはある正の整数であって、例えばL = 3）に対するヒストグラム値がこのThという閾値を超えているならば、ハイライトにおけるクリッピングが潜在しているものと判定される。表２は、ハイライトクリッピングの判定を行なうためのルーチン例を、擬似コードで表している。
【００４５】
［表２］ハイライトクリッピングの有無を判定するルーチン
【表２】
0006320644.tif 000017
【００４６】
表２に示したように、いくつかの実施形態において、フレームレベルではなく、シーンレベルでハイライトクリッピングを判定することが好ましい。例えば、ある実施形態において、個々のフレームのうち少なくとも１０％がクリッピング（例えば、Ts = 0.1）を呈するならば、シーン全体についてハイライトクリッピングがあるものと判定し得る。本明細書で用いるとき、ビデオシーケンスにおける「シーン」または「ショット」という用語は、「同様な色およびダイナミックレンジ特性を共有している、映像信号における一連の連続したフレーム」に関し得る。殆どの映像圧縮形式における映像予測は連続的な性質を有しているので、予測パラメータを調節することは、シーンチェンジや新しいグループオブピクチャ（ＧＯＰ）などの、映像エンコーダの典型的な境界に一致する境界のみにおいて行なうことが好適である。
【００４７】
var[i]は、その平方根（すなわち標準偏差）で置き換えてもよく、そして相応に全ての閾値を調整してもよいことが、当該技術の標準的な当業者には理解されるであろう。さらに、表２におけるステップ２は、利用可能な演算リソースに応じて、異なるLの値（例えば、L =0, 2, または3）についても容易に算出できる。ある実施形態において、８ビット信号に対してはL=3であり、１０ビット信号に対してはL=12である。
【００４８】
ハイライト予測器の実施形態
前述のように、ある実施形態において、ＭＳＥ予測器は、多区分予測器として設計することが可能である。これらの区分は、均一な長さでもよいし、不均一な長さでもよい。例えば、ある８区分のＭＳＥ予測器について、これらの８区分を規定するピボット点は、B=8に対しては、０、３１、６２、９３、１２４、１５５、１８６、２１７、および２５５であり、B=10に対しては、０、１２７、２５４、３８１、５０８、６３５、７６２、８８９、および１０２３であり得る。ある実施形態において、ハイライト予測器は、ハイライト（例えば、TSHよりも大きい画素値など）を処理する末尾を除いては、全ての区分についてＭＳＥ予測器と同一である。
【００４９】
いま、
【数１６】
0006320644.tif 000018
は、ハイライトクリッピングを考慮に入れない従来の予測関数（例えば、ＭＳＥ予測器）を特徴づける関数を表すものとする。ハイライトクリッピングが発生するとき、もしもこのような予測器を調整して、これにより、sji>TSHについては一定の出力値となる予測器、すなわち、
【数１７】
0006320644.tif 000019
であって、但しTSHは2B-1よりも小さいある閾値であり、かつshはある一定の値であるようなものを生成することができれば、映像品質が改善され得ることが観察された。直感的には、本アプローチは性能を悪化させるだろうとの異論があるかも知れない。なぜならば、一定の予測値を用いれば、残差誤差は増大するはずだからである。しかし、実際には、本アプローチにより、ハイライトの大半はエンハンスメントレイヤにおいて、ランダムな残差ではなく、ある「画像」として符号化されることを強いられる。よって、標準的な映像エンコーダにおける符号化はより効率的であり、全体的な品質が向上する。
【００５０】
ある実施形態において、sh値は、以下のように決定し得る。すなわち、
１．ある閾値TSH < U<2B-1（例えば、多区分予測器における最終区分の開始点、または総ダイナミックレンジの約８０％に近い値）を選択する。
２．TSHよりも小さい全てのＳＤＲ画素と、これらに対応するＥＤＲ画素とを収集する。
３．上記のサンプルに基づき、ＭＳＥ多区分予測器を構築する。
４．sh = fpred(TSH)に設定する。例えば、B=10に対し、ＭＳＥ予測器は、０から８８９までのＳＤＲ画素値について設計することができ、このとき、sh = fpred(889)となる。
５．TSH以上の全てのＳＤＲ画素値について一定の値（sh）を出力するように、予測器を調整する。
【００５１】
一例として、B=8に対してはTSH=217であり、B=10に対してはTSH=889である。
【００５２】
暗領域における残差マスキング
実験結果によると、分散値（例えば、var[i]）は、典型的には単調であって、低い画素値（暗領域）から高い画素値（ハイライト）にかけて増加することが示された。ある実施形態において、暗領域よりも多くのビットをハイライトに割り当てて、これにより全体的な品質を改善するために、ある既定のＳＤＲ値閾値を下回る全ての残差をマスキングし、ゼロ（またはその他任意の、非常に小さな一定値）に設定する。言い換えると、TSL < TSHはＳＤＲ閾値を表すものとし、
【数１８】
0006320644.tif 000020
と置くならば、ある実施形態において、
【数１９】
0006320644.tif 000021
となる。あるいは、
【数２０】
0006320644.tif 000022
はsji=TSLに対する予測器の出力を表すものとするならば、
【数２１】
0006320644.tif 000023
となる。
【００５３】
ある実施形態において、閾値TSLは、以下の工程を使用して識別することが可能である。すなわち、
１．分散var[i]において欠けている点を補間する。
２．var[i]の値を滑らかにする。
３．var[i]の累加平均を算出する。
４．算出された累加平均値における変化の関数として、TSLを規定する。
擬似コードによる工程例を、表３において提供する。
【００５４】
［表３］暗領域閾値TSLを識別する工程例
【表３】
0006320644.tif 000024
0006320644.tif 000025
0006320644.tif 000026
【００５５】
より一般的な形式において、等式（Ｔ３．１）および（Ｔ３．２）はまた、
【数２２】
0006320644.tif 000027
【数２３】
0006320644.tif 000028
とも表せる。但し、 各n = -A, -A+1, …, A-1, Aに対し、 Cnは、分散の値を滑らかにするために使用される(2A+1)タップフィルタの係数を表す。
【００５６】
ある実施形態において、B = 8に対し、WL= 45、WH= 75、かつa = 1.5である。F個のフレームを有したあるシーンを所与のものとして、第j番目のフレームに対するTSL(j)値が与えられると、全体的な閾値は、
【数２４】
0006320644.tif 000029
と規定され得る。
【００５７】
図２Ａから２Ｄまでは、単一のフレームについて、表３に記載された工程の出力ステップ例を表す。図２Ａは、ヒストグラムの分散を補間するステップを終えた後の、var[i] 値の一例を表している。図２Ａに示すように、これらの値は、やや「ノイジー」である。図２Ｂは、図２Ａの値にローパスフィルタを適用することによって滑らかにされたvar[i] 値
【数２５】
0006320644.tif 000030
を生成した後の、出力の一例を表している。図２Ｃは、これに対応する
【数２６】
0006320644.tif 000031
値を表しており、図２Ｄは、
【数２７】
0006320644.tif 000032
の出力を表す。８ビットデータに対し、閾値TSL=100が、等式（Ｔ３．５）を満たすようである。いくつかの実施形態において、さまざまな動画ビデオクリップにつき、８ビットデータに対してTSL=100という一定の閾値で十分であるようである。よって、いくつかの実施形態において、ある一定の暗領域閾値（例えば、TSL=100）を使用し、最適な閾値を発見する工程を迂回することが可能である。
【００５８】
図３は、本発明のある実施形態による、階層間予測器を生成する工程の一例を表している。図３に示すように、本工程に対する入力は、ＥＤＲおよびＳＤＲフレーム（１０２、１０４）であって、その各々は、同一シーンではあるものの、異なるダイナミックレンジおよび／またはカラーグレードで表現されている。ステップ（３０２）において、ＳＤＲおよびＥＤＲデータの対が有する画素に関した統計を収集する。このような統計の例は、表１に挙げたアルゴリズムに関連して説明したように、ＳＤＲヒストグラムと、これに対応するＥＤＲ分散または標準偏差値と、（例えば、h[i]とvar[i] と）を含む。その後、これらの統計的データをステップ（３０４）において使用して、ハイライト予測器を適用することによって予測器を調整する必要があるかどうかを決定する。もしもハイライトクリッピングが検出されなければ、ステップ（３２０）において、当該技術で既知の従来的な予測器（例えば、多区分ＭＳＥ予測器）を、階層間予測器として適用し得る。ハイライトクリッピングテスト工程の一例を、表２に提示した。
【００５９】
もしもハイライトクリッピングが検出されるならば、先に説明したように、より効率的な階層間予測器は、以下のように設計することが可能である。すなわち、
ａ）ステップ（３０６）において、ステップ（３２０）におけるように、予測関数fpred(sji)を決定する。この関数は、当該技術において既知の、いずれかの設計（例えば、多区分ＭＳＥ予測器など）に基づく。
ｂ）ステップ（３０８）において、ハイライト閾値を決定する。例えば、８区分の予測器において、ハイライト閾値は、最終区分の開始点またはダイナミックレンジの約８５％として規定し得る。
ｃ）ステップ（３１０）において、ハイライト閾値（例えば、TSH）を与えられると、ステップ（３０６）の予測関数は、
【数２８】
0006320644.tif 000033
のように調整し得る。
ｄ）ステップ（３１２）において、ステップ（３０２）で収集された統計に基づき、暗領域閾値（例えば、TSL）を決定する。このような工程の一例を、表３において与えた。
ｅ）最後に、ステップ（３１４）において、ステップｄ）からの暗領域閾値を使用して、残差マスクを
【数２９】
0006320644.tif 000034
となるように作成する。あるいは、もしも
【数３０】
0006320644.tif 000035
であるならば、
【数３１】
0006320644.tif 000036
としてもよい。
【００６０】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の階層間予測に関する命令を実施し、制御し、または実行し得る。コンピュータおよび／またはＩＣは、本明細書に記載の階層間予測に関係する様々なパラメータや値の内のいずれを演算してもよい。符号化及び復号化の実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【００６１】
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のような階層間予測に関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットのコンピュータ可読信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ  ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【００６２】
上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、別途示唆のない限り、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
【００６３】
均等物、拡張物、代替物、その他
階層間予測に関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。
【図１】
0006320644.tif 000042
【図２Ａ】
0006320644.tif 000043
【図２Ｂ】
0006320644.tif 000044
【図２Ｃ】
0006320644.tif 000045
【図２Ｄ】
0006320644.tif 000046
【図３】
0006320644.tif 000047