(57)【要約】  適応的なクロマ再構成のための方法およびシステムを述べる。入力画像を与えられると、そのルマ成分に基づき、まずルマ再構成化画像が生成される。入力画像の各クロマ成分に対して、前記ルマ再構成化画像中の画素値の範囲を階級に分割し、各階級について、その階級におけるルマ再構成化画像の画素群に対応する、入力画像中のクロマ画素値群に基づいて、最大スケールファクタを生成する。リファレンス再構成関数および最大スケールファクタ群に基づいて、順方向再構成関数を生成し、前記順方向再構成関数と、前記ルマ再構成化画像中の対応する画素値群とに基づいて、前記クロマ成分についての再構成化クロマ画素値群を生成する。限られた演算リソースを有するモバイルプラットフォーム用に、ルックアップテーブルを用いた実装上の選択肢も、説明する。
2019523578.tif 000002
【特許請求の範囲】
【請求項１】
ハイダイナミックレンジ（ＨＤＲ）画像の、プロセッサを用いた適応的なクロマ再構成のための方法であって、
ルマ成分および１つ以上のクロマ成分についての画素値を有するＨＤＲ入力画像に、前記プロセッサを用いてアクセスする工程と、
前記入力画像のクロマ成分に対して：
前記ＨＤＲ入力画像の前記ルマ成分または前記ＨＤＲ入力画像の再構成化ルマ成分のいずれかの画素値群を、２つ以上の階級に区分する工程と、
各階級について、各階級のそれぞれのルマまたは再構成化ルマ画素値群に対応する前記クロマ画素値群に基づき、最大スケールファクタを生成する工程と、
リファレンス再構成関数および前記最大スケールファクタ群に基づいて、順方向再構成関数を生成する工程であって、前記順方向再構成関数は、ルマ画素値群または再構成化ルマ画素値群のいずれかを順方向クロマスケールファクタ群にマッピングし、これに相応して前記リファレンス再構成関数はルマ画素値群または再構成化ルマ画素値群をリファレンスクロマスケールファクタ群にマッピングする、工程と、
前記クロマ画素値群、前記順方向再構成関数、および前記ＨＤＲ入力画像の前記対応するルマ画素値群または再構成化ルマ画素値群に基づいて、前記クロマ成分についての再構成化クロマ画素値群を生成する工程と、
を包含する、方法。
【請求項２】
前記順方向再構成関数に基づいて、逆再構成関数を生成する工程と、
前記逆再構成関数を特徴付けるパラメータ群を生成する工程と、
前記逆再構成関数を特徴付ける前記パラメータ群に基づいて、メタデータを生成し出力する工程と、
をさらに包含する、請求項１に記載の方法。
【請求項３】
各階級につき、前記階級のそれぞれのルマ画素値群または再構成化ルマ画素値群に対して、前記最大スケールファクタは、前記階級における対応するクロマ値群の関数のｔ番目のパーセンタイル値に基づいて算出される、請求項１または２に記載の方法。
【請求項４】
［０  １）に正規化された画素値群について、ｍ番目の階級に対する前記最大スケールファクタを生成する工程は、
【数１４４】
2019523578.tif 000146
を算出することを包含し、ここでＭは階級の数であり、
【数１４５】
2019523578.tif 000147
は前記ＨＤＲ入力画像ｊについてのｍ番目の階級を表し、
【数１４６】
2019523578.tif 000148
は前記ＨＤＲ入力画像ｊの前記各ルマ成分または再構成化ルマ成分のｉ番目の画素を表し、
【数１４７】
2019523578.tif 000149
は前記ＨＤＲ入力画像ｊの前記クロマ成分についての対応するクロマ画素を表し、ηは重み付け係数であり、qmaxは固定値であり、ｐt（ｘ）はベクトルｘの値のｔ番目のパーセンタイル値を返し、オプションとして、ｔ＝１００かつηは０．８５と０．９５の間であるか、またはη ＝１かつｔは９５と９９の間である、
請求項３に記載の方法。
【請求項５】
前記ＨＤＲ入力画像ｊに対して前記順方向再構成関数
【数１４８】
2019523578.tif 000150
を生成する工程は、
【数１４９】
2019523578.tif 000151
を算出することを包含し、ここで条件として、
【数１５０】
2019523578.tif 000152
であり、ここでＭは階級の数であり、
【数１５１】
2019523578.tif 000153
はｍ番目の階級についての最大スケールファクタを表し、
【数１５２】
2019523578.tif 000154
であり、ここでfr()は前記リファレンス再構成関数を表し、
【数１５３】
2019523578.tif 000155
は前記ＨＤＲ入力画像の前記各ルマ成分または再構成化ルマ成分のｉ番目の画素を表し、
【数１５４】
2019523578.tif 000156
であり、ここでＫFは前記順方向再構成関数の多項式の次数を表す、
請求項３または４に記載の方法。
【請求項６】
前記順方向再構成関数
【数１５５】
2019523578.tif 000157
を生成する工程は、
【数１５６】
2019523578.tif 000158
を算出することを包含し、ここで条件として、
【数１５７】
2019523578.tif 000159
であり、ここで
【数１５８】
2019523578.tif 000160
は前記ＨＤＲ入力画像ｊについてのｍ番目の階級に対する重みである、
請求項５に記載の方法。
【請求項７】
ｍ番目の階級について、重み
【数１５９】
2019523578.tif 000161
は、ｍ番目の階級における前記ＨＤＲ入力画像ｊの前記各ルマ成分または再構成化ルマ成分の画素値の数に比例する、
請求項６に記載の方法。
【請求項８】
前記順方向再構成関数
【数１６０】
2019523578.tif 000162
は、前記リファレンス再構成関数の開始点と、前記順方向再構成関数がクロスする第２の点とに基づいて生成され、前記第２の点は、前記リファレンス再構成関数未満であるすべての最大スケール値の値が、前記リファレンス再構成関数から最大の距離を有するような座標に対応し、またオプションとして、
前記第２の点
【数１６１】
2019523578.tif 000163
を算出することは、
【数１６２】
2019523578.tif 000164
を算出することを包含する、請求項６に記載の方法。
【請求項９】
［０  １）に正規化された画素値群について、前記ＨＤＲ入力画像（ｊ）の色成分（ｕ）に対して前記再構成化クロマ値群
【数１６３】
2019523578.tif 000165
を生成する工程は、
【数１６４】
2019523578.tif 000166
を算出することを包含し、ここで
【数１６５】
2019523578.tif 000167
は、前記ＨＤＲ入力画像のｉ番目の画素の前記各ルマ成分または再構成化ルマ成分の画素値
【数１６６】
2019523578.tif 000168
に対する前記順方向再構成関数の出力を表し、
【数１６７】
2019523578.tif 000169
は、前記ＨＤＲ入力画像のｉ番目の画素の色成分に対する対応するクロマ画素値を表す、
請求項１〜８のいずれかに記載の方法。
【請求項１０】
前記逆再構成関数を特徴付ける前記パラメータは、予測関数についての三次多変量・重回帰表現のシンタックスに合致するように生成される、請求項２または、請求項２に従属するときの請求項３から９のいずれかに記載の方法。
【請求項１１】
前記順方向再構成関数を生成する工程は、
前記順方向再構成関数の所望のクロス点を特徴付ける（ｘT，ｙn*）座標を算出する工程であって、ここで前記ｘT座標は、前記リファレンス再構成関数未満である最大スケール値群の値が、前記リファレンス再構成関数から最大の距離を有するような各ルマ画素値または再構成化ルマ画素値に対応する、工程と、
前記（ｘT，ｙn*）点座標と、複数の順方向再構成関数のための多項式係数群を含む第１のルックアップテーブルとに基づき、前記順方向再構成関数の多項式係数群を生成する工程と、
を包含する、請求項３または、請求項３に従属するときの請求項４から１０のいずれかに記載の方法。
【請求項１２】
前記（ｘT，ｙn*）座標を算出することは、
【数１６８】
2019523578.tif 000170
を算出することを包含し、ここでｍはｍ番目の階級を表し、
【数１６９】
2019523578.tif 000171
はｍ番目の階級についての最大スケールファクタを表し、
【数１７０】
2019523578.tif 000172
であり、ここでfr()は前記リファレンス再構成関数を表し、Ｍは階級の合計数を表し、
【数１７１】
2019523578.tif 000173
であり、ここで
【数１７２】
2019523578.tif 000174
は、範囲［１．０，rmax］がＮ個の区間に分割されたときのｎ番目の区間の中央を表し、ここでrmaxは前記リファレンス再構成関数の最大値を表している、
請求項１１に記載の方法。
【請求項１３】
前記（ｘT，ｙn*）点座標と、複数の逆再構成関数のための多項式係数群を含む第２のルックアップテーブルとに基づき、逆再構成関数のパラメータを生成する工程と、
前記逆再構成関数を特徴付けるパラメータに基づいて、メタデータを生成し出力する工程と、
をさらに包含する、請求項１１または請求項１２に記載の方法。
【請求項１４】
プロセッサを備え、請求項１〜１３のいずれかに記載の方法を実行するように構成された、装置。
【請求項１５】
請求項１〜１３に記載の方法を実行するためのコンピュータ実行可能な命令を格納した、非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は、２０１６年５月１９日に出願された欧州特許出願第１６１７０４４６．５号および２０１６年５月１９日に出願された米国仮出願第６２／３３８，６３８号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。
【０００２】
技術
本発明は、画像全般に関する。より詳細には、本発明のある実施形態は、ハイダイナミックレンジを有する画像のクロマ再構成に関する。
【背景技術】
【０００３】
背景
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最も暗いグレー（黒）から最も明るい白（ハイライト）まで）を知覚する能力に関連し得る。この意味では、ＤＲはシーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
【０００４】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。
【０００５】
実際において、画像は１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ  ｌｕｍｉｎａｎｃｅ  ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えばカラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされる。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば１６ビット）浮動小数点フォーマットを用いて、格納および配信され得る。
【０００６】
あるディスプレイについてのリファレンス電気光学伝達関数（ＥＯＴＦ）は、入力映像信号の明度（ｃｏｌｏｒ  ｖａｌｕｅｓ）（例えば輝度）からそのディスプレイによって生成される出力スクリーン明度（例えばスクリーン輝度）への関係を特徴づける。例えば、その開示内容を全て本願に援用するＩＴＵ  Ｒｅｃ．ＩＴＵ−Ｒ  ＢＴ．  １８８６、「Ｒｅｆｅｒｅｎｃｅ  ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ  ｆｏｒ  ｆｌａｔ  ｐａｎｅｌ  ｄｉｓｐｌａｙｓ  ｕｓｅｄ  ｉｎ  ＨＤＴＶ  ｓｔｕｄｉｏ  ｐｒｏｄｕｃｔｉｏｎ」（０３／２０１１）では、陰極線管（ＣＲＴ）の測定された特性に基づいて、フラットパネルディスプレイについてのリファレンスＥＯＴＦを定義している。ある映像ストリームが与えられたとき、そのＥＯＴＦに関する情報は、典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ほとんどのコンシューマー用デスクトップディスプレイは現在、２００〜３００ｃｄ／ｍ2またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ2）に達する。このような従来のディスプレイはしたがって、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＨＤＲディスプレイ（例えばＤｏｌｂｙ  ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）両方の進化によって、ＨＤＲコンテンツの普及率が高まるにつれ、ＨＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。そのようなディスプレイは、高輝度能力（例えば０から１０，０００ニトなど）をサポートする代替的なＥＯＴＦを用いて定義され得る。そのようなＥＯＴＦの一例が、その開示内容を全て本願に援用するＳＭＰＴＥ  ＳＴ  ２０８４：２０１４「Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ＥＯＴＦ  ｏｆ  Ｍａｓｔｅｒｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｄｉｓｐｌａｙｓ」に定義されている。一般的に、限定しないが、本開示の方法はＳＤＲよりも高い任意のダイナミックレンジに関連する。
【０００８】
本明細書において、用語「再構成」は、ＨＤＲ画像に対するスケーリング、量子化などの前処理操作を指し、元のビット深度からより低いかまたは同一のビット深度の画像へとマッピングすることで、既存の符号化規格および機器を用いたより効率的な符号化を可能にすることを言う。エンコーダが用いるための「順方向再構成」パラメータを、メタデータを用いて符号化ビットストリームの一部として受信器に伝え、準拠デコーダが「逆（ｉｎｖｅｒｓｅ）」または「逆方向（ｂａｃｋｗａｒｄ）再構成」操作を適用することにより、元の信号をそのフルダイナミックレンジで復元し得る。再構成は、ＨＤＲ信号のあらゆる全ての色成分に対して適用し得る。本発明者らの理解によれば、既存そして将来の符号化規格を改善するためには、ＨＤＲ映像のクロマ再構成のための改善された技術が必要である。
【０００９】
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【００１０】
図面の簡単な説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
【００１１】
【図１Ａ】図１Ａは、映像供給パイプラインのプロセス例を示す。
【図１Ｂ】図１Ｂは、本発明のある実施形態による、コンテンツ適応的な量子化または再構成を用いたデータ圧縮のプロセス例を示す。
【図２】図２は、本発明のある実施形態による、リファレンスクロマ再構成関数の例を示す。
【図３】図３は、本発明のある実施形態による、コンテンツ依存の、最大の可能スケーリング係数の例を示す。
【図４】図４は、本発明のいくつかの実施形態による、コンテンツ依存の再構成関数の例を示す。
【図５Ａ】図５Ａは、本発明のいくつかの実施形態によるクロマ再構成のプロセス例を示す。
【図５Ｂ】図５Ｂは、本発明のいくつかの実施形態によるクロマ再構成のプロセス例を示す。
【図６】図６は、本発明のある実施形態による、順方向再構成係数ルックアップテーブル（ＬＵＴ）において表現され得る、クロマ再構成関数の例を示す。
【発明を実施するための形態】
【００１２】
例示的な実施形態の説明
ハイダイナミックレンジ（ＨＤＲ）画像のためのクロマ再構成技術を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
【００１３】
概要
本明細書に記載する実施形態例は、ＨＤＲ画像のクロマ再構成に関する。適応的なクロマ再構成のためのプロセッサが、ルマ（輝度）成分および１つ以上のクロマ成分を有する入力画像を受け取る。プロセッサは、入力画像のルマ成分に基づいて、ルマ再構成化画像を生成する。入力画像のクロマ成分に対して、ルマ再構成化画像中の画素値群の範囲を階級に分割し、各階級について、その階級におけるルマ再構成化画像の画素値群に対応するクロマ画素値群に基づき、最大スケールファクタ群を生成する。リファレンス再構成関数および最大スケールファクタ群に基づいて、再構成化ルマ値群をクロマスケールファクタ群にマッピングする順方向再構成関数を生成し、入力クロマ画素値群と、順方向再構成関数と、ルマ再構成化画像中の対応する画素値群とに基づいて、クロマ成分についての再構成化クロマ画素値群を生成する。
【００１４】
別の実施形態において、複数の順方向再構成関数の予め算出されたパラメータ群を有するルックアップテーブルを用いて、順方向再構成関数のパラメータ群を決定する。これらの関数のそれぞれは、順方向再構成関数の所望のクロス点を特徴付ける（ｘT，ｙn*）座標によって完全に定義される。ここでｘT座標は、リファレンス再構成関数未満である最大スケール値群の値が、リファレンス再構成関数から最大の距離を有するような、ある再構成化ルマ値に対応する。
【００１５】
別の実施形態において、リファレンスおよび順方向再構成関数は、入力画像中のルマ画素値群の関数であり、クロマ再構成は、ルマ再構成化画像の画素値群ではなく、元のルマ画素値群に基づいて行われる。
【００１６】
映像供給処理パイプライン例
図１Ａは、従来の映像供給パイプライン（１００）のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。画像生成ブロック（１０５）を用い、映像フレームのシーケンス（１０２）をキャプチャまたは生成する。映像フレームは、デジタル的にキャプチャされるか（例えばデジタルカメラにより）またはコンピュータ（例えばコンピュータアニメーションを用いて）によって生成されることにより、映像データ（１０７）が得られる。あるいは映像フレーム（１０２）は、銀塩カメラによってフィルム上に取得されてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ（１０７）が得られる。プロダクションフェーズ（１１０）において、映像データ（１０７）は編集され、映像プロダクションストリーム（１１２）を得る。
【００１７】
プロダクションストリーム（１１２）の映像データは次に、ブロック（１１５）のプロセッサに与えられて、ポストプロダクション編集を受ける。ブロック（１１５）ポストプロダクション編集は、画像の特定の領域の色または明るさを調節または変更することにより、映像制作者の制作意図にしたがってその画像が特定の見え方をするようにしたり、画質を上げたりすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ブロック（１１５）において、その他の編集（例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータ生成された視覚的特殊効果の追加など）を行うことにより、プロダクションの、配信用の最終バージョン（１１７）を作成してもよい。ポストプロダクション編集（１１５）において、映像イメージは、リファレンスディスプレイ（１２５）上で視聴される。
【００１８】
ポストプロダクション（１１５）の後、最終プロダクションとしての映像データ（１１７）は、下流のテレビ受像機、セットトップボックス、映画館などの復号化・再生機器まで供給されるために、符号化ブロック（１２０）に供給されてもよい。いくつかの実施形態において、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよびその他の供給フォーマットに規定されるような音声および映像エンコーダを有していてもよい。受信機において、符号化されたビットストリーム（１２２）は、復号化ユニット（１３０）により復号化されることにより、信号（１１７）と同一またはこれに近い近似を表す、復号化された信号（１３２）を生成し得る。受信機は、リファレンスディスプレイ（１２５）と全く異なる特性を有し得るターゲットディスプレイ（１４０）に取り付けられていてもよい。その場合、ディスプレイマネジメントブロック（１３５）を用いてディスプレイマッピング化信号（１３７）を生成することで、復号化された信号（１３２）のダイナミックレンジを、ターゲットディスプレイ（１４０）の特性にマッピングしてもよい。
【００１９】
信号の再構成
現在、映像供給用のほとんどのデジタルインターフェース、例えばＳｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ（ＳＤＩ）などは、各成分につき画素あたり１２ビットに制限されている。さらに、ほとんどの圧縮規格の実用的な態様は、例えばＨ．２６４（またはＡＶＣ）およびＨ．２６５（またはＨＥＶＣ）などは、各成分につき画素あたり１０ビットに制限されている。したがって、既存のインフラストラクチャおよび圧縮規格内において、約０．００１から１０，０００ｃｄ／ｍ2（またはニト）のダイナミックレンジを有するＨＤＲコンテンツをサポートするためには、効率的な符号化および／または量子化が必要である。
【００２０】
本明細書において、用語「ＰＱ」は知覚的な輝度振幅（ｌｕｍｉｎａｎｃｅ  ａｍｐｌｉｔｕｄｅ）の量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を見る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。好適な実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。ＰＱマッピング関数の一例が、その開示内容を全て本願に援用する、ＳＭＰＴＥ  ＳＴ  ２０８４：２０１４「Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ＥＯＴＦ  ｏｆ  Ｍａｓｔｅｒｉｎｇ  Ｒｅｆｅｒｅｎｃｅ  Ｄｉｓｐｌａｙｓ」に記載されている。ここでは、ある固定刺激サイズに対して、それぞれの輝度レベル（即ち、刺激レベル）について、最高感度の適応レベルおよび最高感度の空間周波数（ＨＶＳモデルによる）に応じて、その輝度レベルにおける最小可視コントラストステップを選択する。物理的な陰極線管（ＣＲＴ）装置の応答曲線を表しており、人間の視覚システムの応答の仕方に対して非常に大まかな類似性を偶然有し得る従来のガンマ曲線と比較して、ＰＱ曲線は、比較的シンプルな関数モデルを用いながら人間の視覚システムの本当の視覚応答を模擬している。
【００２１】
例えば、ＳＭＰＴＥ  ＳＴ  ２０８４によれば、１ｃｄ／ｍ2において、１つの１２ビット符号値は約０．００４８ｃｄ／ｍ2の相対変化に相当する。しかし、１，０００ｃｄ／ｍ2においては、１つの１２ビット符号値は約２．２４ｃｄ／ｍ2の相対変化に相当する。この非線形的量子化は、人間の視覚システム（ＨＶＳ）の非線形的なコントラスト感度に対応するために必要である。
【００２２】
図１Ｂは、一実施形態におけるコンテンツ適応的な再構成のプロセス例を示す。あるＨＤＲ信号の入力フレーム群（１１７）を与えられると、順方向再構成ブロック（１５０）が、入力および符号化制約を分析し、符号語マッピング関数を生成する。この符号語マッピング関数は、入力フレーム群（１１７）を、再量子化された出力フレーム群（１５２）にマッピングする。いくつかの実施形態において、順方向再構成（１５０）はまた、色変換、トーンマッピング、および彩度制御（ｓａｔｕｒａｔｉｏｎ  ｃｏｎｔｒｏｌ）に関連する処理も含み得る。例えば、特定のＥＯＴＦにおいては、色変換の後、入力（１１７）はガンマ符号化またはＰＱ符号化され得る。いくつかの実施形態において、再構成プロセスに関する情報は、メタデータを用いて下流の機器（例えばデコーダ）に伝えられてもよい。符号化（１２０）および復号化（１３０）の後、前述したディスプレイマネジメントプロセス（１３５）などのさらなる下流処理のために、復号化フレーム群（１３３）が、再量子化されたフレーム群（１３３）を元のＥＯＴＦドメイン（例えばガンマまたはＰＱ）に再度変換する逆方向または逆再構成関数（１６０）による処理を受けてもよい。順方向再構成器（１５０）の変換によっては、逆再構成（１６０）はまた、逆トーンマッピング、色変換などの追加的な（逆）処理を含み得る。いくつかの実施形態において、逆方向または逆再構成関数（１６０）は、デコーダ（１３０）中の逆量子化器と一体化され得る（例えば、ＡＶＣまたはＨＥＶＣ映像デコーダ中の逆量子化器の一部としてなどである）。いくつかの実施形態において、復号化された信号（１３３）は、復号化されて旧式のＳＤＲ受信器によって視聴され得る、後方互換的ＳＤＲ信号であってもよい。したがって、旧式のＳＤＲ受信器は入力（１１２）のＳＤＲバージョンのみしか視聴できない。一方、ＨＤＲ受信器は、逆再構成を適用して、入力のＨＤＲバージョン（１６２）を復元し得る。
【００２３】
信号再構成関数の一例が、２０１６年３月１日に出願されたＪ．Ｆｒｏｅｈｌｉｃｈらによる「Ｃｏｎｔｅｎｔ−ａｄａｐｔｉｖｅ  ｐｅｒｃｅｐｔｕａｌ  ｑｕａｎｔｉｚｅｒ  ｆｏｒ  ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ  ｉｍａｇｅｓ」の名称を有するＰＣＴ特許出願Ｓｅｒ．Ｎｏ．ＰＣＴ／ＵＳ２０１６／０２０２３０号に示されている。この出願の開示内容を全て本願に援用する。また、それぞれの対応するリファレンスＳＤＲ画像を用いた、ＨＤＲ画像のためのルマおよびクロマ再構成技術が、２０１６年３月２３日に出願された（また２０１７年３月２２日にＰＣＴ／ＵＳ２０１７／０２３５４３号としても出願された）、Ｇ−Ｍ  Ｓｕらによる米国仮出願Ｓｅｒ．Ｎｏ．６２／３１２，４５０号「Ｅｎｃｏｄｉｎｇ  ａｎｄ  ｄｅｃｏｄｉｎｇ  ｒｅｖｅｒｓｉｂｌｅ  ｐｒｏｄｕｃｔｉｏｎ−ｑｕａｌｉｔｙ  ｓｉｎｇｌｅ−ｌａｙｅｒ  ｖｉｄｅｏ  ｓｉｇｎａｌｓ」にも示されている。この出願の開示内容を全て本願に援用する。本発明において、それぞれの対応するＳＤＲ画像にアクセスすることのない、ＨＤＲ画像のクロマ再構成のための新しい技術を提供する。
【００２４】
クロマ再構成技術
概要
本発明者らの知見によれば、あるＨＤＲ映像シーケンスが与えられたとき、ＳＤＲデコーダについての後方互換性を可能にするためのルマおよびクロマ再構成の後に、再構成化ＨＤＲ映像信号（例えば１３３）をＳＤＲディスプレイ上で視聴すると、色の彩度が下がって、すなわち色褪せて見える。直感的には、順方向再構成プロセスにおいて、各クロマチャンネルに対して単に固定のグローバルなスケーリング係数を適用することにより、クロマ彩度を増大すればよい。しかし、そのようなグローバルスケーリングでは、視覚的品質が多分に劣る、彩度が飽和した絵が得られてしまう。Ｋ．ＭｉｎｏｏらのドキュメントＮ１５７９２「Ｅｘｐｌｏｒａｔｏｒｙ  Ｔｅｓｔ  Ｍｏｄｅｌ  ｆｏｒ  ＨＤＲ  ｅｘｔｅｎｓｉｏｎ  ｏｆ  ＨＥＶＣ」ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１、Ｇｅｎｅｖａ，ＣＨ、Ｏｃｔ．２０１５および、Ａ．Ｋ．ＲａｍａｓｕｂｒａｍｏｎｉａｎらのＪＣＴＶＣ−Ｗ０１０１、「ＨＤＲ  ＣＥ２．ａ−１：  Ｒｅｐｏｒｔ  ｏｎ  ＬＣＳ」、ＩＴＵ−Ｔ  ＳＧ  １６  ＷＰ  ３およびＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ  ２９／ＷＧ  １１、Ｓａｎ  Ｄｉｅｇｏ，ＵＳＡ、Ｆｅｂ．２０１６において、画素強度あるいはルマ値に基づいたクロマ再構成技術が提案されている。しかし、これらの技術でさえ、彩度飽和の問題は解決されていない。
【００２５】
【数１】
2019523578.tif 000003
が、再構成するＨＤＲ入力シーケンス（例えば１１７）中のｊ番目のフレームのｉ番目の画素のルマ（ｙ）およびクロマ（ｕ，ｖ）成分を表すとする。
【数２】
2019523578.tif 000004
が、順方向再構成されたＳＤＲ成分（例えば１５２または１３３）を表し、
【数３】
2019523578.tif 000005
が、逆方向または逆再構成されたＥＤＲ成分（例えば１６２）を表すとする。これらはすべて、限定されないが、［０  １）間で正規化されている。
【００２６】
複数のテスト映像シーケンスのデータベースに基づき、一実施形態において、図２は順方向クロマ再構成関数の例
【数４】
2019523578.tif 000006
を示す。これを以下においてリファレンス再構成関数と呼ぶ。リファレンス再構成関数は、入力再構成化ルマ値
【数５】
2019523578.tif 000007
に対して、対応する順方向クロマ再構成ファクタ
【数６】
2019523578.tif 000008
を生成する。リファレンス関数は、大抵の映像シーケンスについて満足な結果を提供するが、後述するように、入力コンテンツに従って調節される必要がある場合がある。実際において、この関数は多項式として表現され得る。例えば：
【数７】
2019523578.tif 000009
ここで
【数８】
2019523578.tif 000010
は、多項式の係数を表す。例えば、もし
【数９】
2019523578.tif 000011
ならば、図２のグラフは二次多項式を用いて近似され得る。様々な映像シーケンス中の多くのフレームやシーンにおいて
【数１０】
2019523578.tif 000012
は十分であり得るが、特定の条件下においては、直接
【数１１】
2019523578.tif 000013
を適用すると彩度飽和やクリッピングに至ることが分かっている。したがって、再構成化クロマ値がデコーダにおいて適切に復元され得ずに、視覚的品質の劣るＨＤＲ信号が復元されてしまう。
【００２７】
【数１２】
2019523578.tif 000014
が、ｊ番目のフレームに適用される順方向（可逆）再構成関数を表すとする。一実施形態において、ｕ色成分についてのクロマ再構成は、再構成化ルマの関数として表現することができ、
【数１３】
2019523578.tif 000015
によって与えられる。
【００２８】
式（２）を与えられたとき、逆方向または逆再構成は、以下のように表現することができる。
【数１４】
2019523578.tif 000016
ここで
【数１５】
2019523578.tif 000017
は、逆再構成関数を表す。エンコーダは、順方向または逆再構成関数のいずれかに関するパラメータを、デコーダに送信し得る。
【００２９】
式（２〜３）において、クロマ値の順方向および逆再構成を、再構成化ルマ値を用いて行うことに留意されたいが、これは限定と考えられるべきではない。本明細書において説明する方法はすべて、元の、未変更のＨＤＲルマ値
【数１６】
2019523578.tif 000018
に基づき再構成関数を生成することに適用可能である。ただしそのような方法は、デコーダが未構成のＨＤＲルマ値を生成する能力を有することに依拠しているが、これはデコーダが旧式のＳＤＲデコーダである場合にはそうではないかもしれない。
【００３０】
ここで仮に、関数fj()＝fr()であると仮定する。再構成化ルマ値が０．８であるとすると、図２より、fr（０．８)＝３である。式（２）から、クロマ値０．８について、
【数１７】
2019523578.tif 000019
であり、これはクリッピングし１となる。可逆的な再構成関数を維持するためには（そのことにより元のＨＤＲクロマ値を完全に復元することが可能になる）、再構成に起因する情報のロスが無いようにfr()関数を構成することが望ましい。画像特性およびリファレンス再構成関数
【数１８】
2019523578.tif 000020
に基づき、適切に
【数１９】
2019523578.tif 000021
を定義する実施形態を、次に述べる。
【００３１】
コンテンツに応じた（Ｃｏｎｔｅｎｔ−Ａｗａｒｅ）クロマ再構成
コンテンツ依存の最大スケールファクタの決定
再構成化ルマ値が、等しい幅Ｗ（例えばＷ＝１／Ｍ）の、Ｍ個の階級に区分されていることを考える。階級の個数（Ｍ）は、典型的には演算リソース（例えばＭ＝６４）に依存する。この階級のそれぞれにおいて、
【数２０】
2019523578.tif 000022
の最大の絶対値のｔパーセンタイルを見出すことが望ましい。ここで、ｔは０から１００％の範囲を取り、可逆性を保存したい画素のパーセンテージを表す。例えば、ｔ＝１００％においては、全ての画素値が可逆的であることが保証される。しかし、そのような強い要件は不要であり、また全体の質に影響し得る。ｔ＝９９％において、クロマ情報の約１％が失われるが、これは典型的にはまったく許容可能である。
【００３２】
ｍ番目の階級について、ｍ＝０，１，…，Ｍ−１とし、この階級中の、元の画像において再構成化ルマ値
【数２１】
2019523578.tif 000023
を有する全ての画素につき、例えば
【数２２】
2019523578.tif 000024
の間の値について、対応するクロマ値に対して
【数２３】
2019523578.tif 000025
を算出し、この階級中におけるこれらの
【数２４】
2019523578.tif 000026
値のｔパーセンタイルを算出する。この値を、ｂj,mと表す。これは、以下のように表現することができる：
【数２５】
2019523578.tif 000027
ここで、
【数２６】
2019523578.tif 000028
は、区間［０，１００］におけるベクトルｘの値のｔパーセンタイルを返す、パーセンタイル関数であり、
【数２７】
2019523578.tif 000029
は、オプションとしての重み付け係数である（例えばｔ＝９９％、η＝１）。例えば、ＭＡＴＬＡＢにおいては、
【数２８】
2019523578.tif 000030
はprctile(x,t)関数に対応する。実際において、ｔ＝１００および重みη < １は、
【数２９】
2019523578.tif 000031
関数をmaximum(x)関数で置き換えることに等しく、これは演算的にｔ<１００およびη＝１に設定することよりもずっと高速である。なぜなら、ｔ<１００について
【数３０】
2019523578.tif 000032
を算出するには、データをソートすることが必要であるが、これはｘの最大値を単に算出するよりも多くの演算を要する。テストにおいて、η＝０．８５とともにｔ＝１００の値を用いると、多くのＨＤＲシーケンスにおいて満足できる結果が得られる。ｂj,m値を与えられると、一実施形態において、対応する最大スケールファクタは、以下のように与えられる。
【数３１】
2019523578.tif 000033
ここで
【数３２】
2019523578.tif 000034
は、最大スケールを制限し、式（５）における集合
【数３３】
2019523578.tif 000035
が空である場合
【数３４】
2019523578.tif 000036
において無限大を避けるための値である。したがって、
【数３５】
2019523578.tif 000037
値の集合は、各階級について、クロマ値のオーバーフローまたはアンダーフローを回避する最大スケールファクタを規定する。
【００３３】
表記を単純化するために、ｂj,mおよび
【数３６】
2019523578.tif 000038
のいずれも、ｕ色成分の関数として表記
【数３７】
2019523578.tif 000039
していないことに注意されたい。ただし、これらの値は、各クロマ成分について別々に算出されてもよく、また図３に示すように互いに異なってもいてもよい。
【００３４】
一例として、図３は、ＹＣｂＣｒ色形式のテストシーケンスにおける２つのクロマ成分について算出した、リファレンスクロマ再構成関数（２０５）および対応する最大スケールファクタ群
【数３８】
2019523578.tif 000040
（３１０，３１５）を示す。図３に示すように、（０．６，０．７)の再構成化ルマ値間における特定の階級について、ｕチャンネルに対してリファレンス再構成関数を適用するとクリッピングとなる。
【００３５】
式（１）を与えられたとき、
【数３９】
2019523578.tif 000041
が、ｍ番目の階級についてのリファレンススケールファクタを表すとする。すると、一実施形態において、式（６）および（７）より、最適なスケールファクタの集合は、以下のように与えられる。
【数４０】
2019523578.tif 000042
【００３６】
実験結果から、式（８）のスケーリング係数を用いることにより、クロマアーチファクトが生まれ得ることが分かっている。これらのアーチファクトは、
【数４１】
2019523578.tif 000043
値の不規則性（隣接する画素値の再構成化クロマにおける唐突な変化を起こす）に起因し得るものであると考えられる。さらに、不規則な順方向再構成値の集合に基づいて逆再構成関数を構築することは、かなりの演算的困難性を伴う。したがって、滑らかかつ容易に可逆的である、新たな順方向再構成関数を構築することが望ましい。
【００３７】
この新たな順方向再構成関数は、
【数４２】
2019523578.tif 000044
で示されるものとする。ここで、
【数４３】
2019523578.tif 000045
は、新たな順方向再構成関数の多項式係数群を表す。この関数は、
【数４４】
2019523578.tif 000046
と同様なスケールファクタを提供し、また同時に、
【数４５】
2019523578.tif 000047
という制約を満たす。
新たな再構成関数の出力は、入力色が（例えば中間色に）変更されることを防ぐために、常に０より大きくなければならない。
【００３８】
一実施形態において、式（９）における最適な
【数４６】
2019523578.tif 000048
係数の解は、所望のスケールファクタとリファレンススケールファクタとの距離を最小化することにより、導出され得る。例えば、
【数４７】
2019523578.tif 000049
ここで条件として、
【数４８】
2019523578.tif 000050
である。
【００３９】
このような解は、満足できる結果を生む。しかし、特定の色では、彩度が下がったとみなされることがある。別の実施形態において、距離
【数４９】
2019523578.tif 000051
を、ｍ番目の階級における再構成化ルマ値の数に基づく重み付け係数
【数５０】
2019523578.tif 000052
によって乗算する。空でない階級の集合を
【数５１】
2019523578.tif 000053
とする。ここで、
【数５２】
2019523578.tif 000054
は、階級ｍにおける再構成化ルマ画素の数を表す（式（５）を参照）。すると、式（１０）より、この問題は、最適化問題として公式化され得る。
【数５３】
2019523578.tif 000055
ここで条件として、
【数５４】
2019523578.tif 000056
である。
【００４０】
一例として、図４は、リファレンス再構成値ｒm（２０５）、クロマ成分のうち１つに関する
【数５５】
2019523578.tif 000057
値（３１０）、算出されたヒストグラムに基づき算出された対応する重みｗj,m（４０５）、式（１０）を用いかつ重みを考慮せずに算出された再構成ファクタ（４１５）、および式（１２）を用いかつ重みを考慮して算出された再構成ファクタ（４２０）を示す。
【００４１】
順方向再構成関数を決定するための高速な方法多項式
【数５６】
2019523578.tif 000058
の次数を与えられれば、式（１２）は、当該分野において公知の任意の多項式近似法を用いて解くことができる。例えば、総当たりモードにおいて、もし各係数がｋ個の値内に制限され得るとすれば、３つの未知の係数を有する二次多項式につき、ｋ3個の値すべてについて繰り返しを行うことができる。出力再構成関数の係数を決定するためのより高速なアルゴリズムを次に提案する。
【００４２】
【数５７】
2019523578.tif 000059
が
【数５８】
2019523578.tif 000060
の開始点を表し、
【数５９】
2019523578.tif 000061
が曲線中の別の点（第２の（あるいはＢ）クロス点と表記する）を表すとする。ここで、
【数６０】
2019523578.tif 000062
である。この点は、リファレンス曲線未満でありかつリファレンス曲線から最大の距離を有する
【数６１】
2019523578.tif 000063
値と一致する。もし
【数６２】
2019523578.tif 000064
が常に正ならば、新たな
【数６３】
2019523578.tif 000065
関数を生成する必要は無く、単に
【数６４】
2019523578.tif 000066
を用いればよいことに留意されたい。一例として、図４において、
【数６５】
2019523578.tif 000067
点を点４２５と表記する。
【００４３】
これら２つの点を与えられれば、ある二次多項式について、式（１２）の最適化問題は、１つの多項式係数
【数６６】
2019523578.tif 000068
を決定するだけの問題となる。
【数６７】
2019523578.tif 000069
を与えられれば、その他の２つの係数は、以下のように導出され得る。
【数６８】
2019523578.tif 000070
一実施形態において、範囲［−ａ，ａ］およびステップＤ（例えばＤ＝２ａ／ｋ）を与えられれば、
【数６９】
2019523578.tif 000071
はｋ＋１個全ての値−ａ，−ａ＋Ｄ，−ａ＋２Ｄ，．．．，ａ（例えばｋ＝１００，ａ＝１０）について繰り返し、どのパラメータ値から最小の重み付けされた平均二乗誤差（式（１２）を参照）が得られるかを決定することで、算出される。
【００４４】
逆再構成
順方向再構成関数fj()を与えられれば、（式（１０）または（１２））から例えば
【数７０】
2019523578.tif 000072
エンコーダは、デコーダが逆再構成を適用することを可能にするために、以下のように様々な選択肢を有する。
・fj()の定義（例えば多項式係数群および自身の次数ＫF）を送信し、デコーダにその逆関数
【数７１】
2019523578.tif 000073
を復元させる
・
【数７２】
2019523578.tif 000074
を生成し、
【数７３】
2019523578.tif 000075
の表現を、１つの多項式として、あるいは複数の二次多項式の組として送信する
・ルックアップテーブルを生成して送信する
【００４５】
例えば、［０  １）間のＭ個の均一にサンプリングされた点を与えられたとき、
【数７４】
2019523578.tif 000076
とし、ここでｍ＝０，１，…，Ｍ−１とする。再構成器ユニットは、
１．ｍ＝０，１，…，Ｍ−１について
【数７５】
2019523578.tif 000077
を生成してもよく
２．ｍ＝０，１，…，Ｍ−１について逆スケーリング値
【数７６】
2019523578.tif 000078
を生成してもよく
３．サンプル
【数７７】
2019523578.tif 000079
に曲線フィッティングを行うことにより、次数ＫBの多項式を得てもよく：
【数７８】
2019523578.tif 000080
４．ＫBおよび
【数７９】
2019523578.tif 000081
パラメータを、再構成化ビットストリームとともにメタデータして埋め込んでもよい。
【００４６】
式（３）〜（４）より、デコーダにおいて、逆再構成は
【数８０】
2019523578.tif 000082
によって与えられる。
【００４７】
テストにおいて、ＫB＝６により非常に良く表現できた。ＫB＞２のとき、２つ以上の二次多項式を用いて近似式（１５）を決定してもよい。また、式（１５）において、復元されたルマ成分
【数８１】
2019523578.tif 000083
ならびにルマおよびクロマ成分のクロス乗積の両方に基づいて、クロマ成分を生成する。２０１５年１１月２日に出願されたＫｌａａｓ  Ｈ．Ｓｃｈｕｅｕｅｒらの米国仮出願Ｓｅｒ．Ｎｏ．６２／２４９，４７４、「Ｌａｙｅｒｅｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ａｎｄ  ｄｅｌｉｖｅｒｙ  ｏｆ  ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ  ｖｉｄｅｏ」（２０１６年１１月１日にＰＣＴ／ＵＳ２０１６／０５９８６２としても出願）（この出願の開示内容を全て本願に援用する）に記載されるように、既存のいくつかのＨＤＲデコーダ実装（例えばＤｏｌｂｙ社が提供するＨＤＲ  Ｄｏｌｂｙ  Ｖｉｓｉｏｎデコーディング）において、予測されたルマまたはクロマ成分に関する予測関数は、ルマおよびクロマ値の両方の組み合わせとしても表現され得る。この表現は、多変量・重回帰（ＭＭＲ）表現と呼ばれる。例えば、一実施形態において、三次ＭＭＲ表現は、
【数８２】
2019523578.tif 000084
と表現され得る。ここで、ｋ＝０，１，…，９についてｍjkは、ＭＭＲモデルの係数を表す。
【００４８】
式（１５）および（１６）を与えられたとき、所与のＫB（例えばＫB＝３）に対し、βｊｋ係数ならびに再構成化ルマおよびクロマデータ値に関して、ｍjk係数について容易に解くことができる。例えば、式（１５）を行列ベクトル形式
【数８３】
2019523578.tif 000085
で表現するとする。ここで、
【数８４】
2019523578.tif 000086
は、フレームｊにおけるＰ画素のＰｘ１ベクトル、
【数８５】
2019523578.tif 000087
はＰｘ（ＫB＋２）のデータ行列（ｄａｔａ  ｍａｔｒｉｘ）、そして
【数８６】
2019523578.tif 000088
は（ＫB＋２）ｘ１ベクトルである。式（１６）は、
【数８７】
2019523578.tif 000089
と表現することもできる。ここで、
【数８８】
2019523578.tif 000090
はＰｘ１ベクトルであり、
【数８９】
2019523578.tif 000091
はＰｘ１０データ行列であり、
【数９０】
2019523578.tif 000092
は１０ｘ１ベクトルである。式（１７）および（１８）は、同じ復元された値を表すため、
【数９１】
2019523578.tif 000093
を与えられたとき、
【数９２】
2019523578.tif 000094
ただし
【数９３】
2019523578.tif 000095
は、１０ｘ（ＫB＋２）行列である。
【００４９】
実際において、全フレームについて
【数９４】
2019523578.tif 000096
を算出することはリアルタイム処理能力を超えるかもしれないため、「半固定」変換行列を用いてもよい。このとき、例えば、サンプリングされたフレームを用いて算出された
【数９５】
2019523578.tif 000097
および
【数９６】
2019523578.tif 000098
行列の移動平均を用いて、半固定行列は一時的に更新される。
【００５０】
図５Ａは、一実施形態における、クロマ再構成プロセス（５００Ａ）の一例を提供する。ＨＤＲ入力（１１７）を与えられると、ルマ再構成（５０５）の後、ブロック（５１０）が、最大スケールファクタ群
【数９７】
2019523578.tif 000099
と、オプションとしてルマに基づく重みを算出する
【数９８】
2019523578.tif 000100
（例えば式（５〜６）を用いて）。これらのデータはブロック５１５および５２０に渡されて、ここで、あるリファレンス再構成関数(fr())が与えられたときに、順方向再構成関数(fj())が決定される。順方向再構成関数は、当該分野において公知の任意の曲線フィッティング近似法を用いて（例えば式（１０〜１２）を用いて）算出され得る。または、２つ以上のクロス点を用いたより高速だが正確さに劣る技術を利用してよもよい。
【００５１】
クロマ再構成関数fj()を与えられると、再構成ユニット（５３５）を用いてクロマ再構成されたデータ（５３７）を生成する（例えば、入力再構成化ルマデータ（５０７）と入力ＨＤＲクロマデータ（１１７−ＣｂＣｒ）との両方の関数として式（２）を用いて）。順方向クロマ再構成関数fj()を用い、再構成器（５００Ａ）は、ステップ（５２５）および（５３０）において対応する逆再構成関数(gj())を生成する。逆再構成関数に関連するメタデータ（５３２）は、ブロック（５３０）によって生成される。再構成化ルマデータ（５０７）、再構成化クロマデータ（５３７）、およびメタデータ（５３２）は次に、下流へと渡され（例えば映像エンコーダに（例えば１２０）など）、さらなる処理を受ける（例えば圧縮など)。
【００５２】
モバイルプラットフォーム
携帯電話、タブレット、その他のポータブル機器などのモバイルプラットフォームにおいて、演算リソースは限られている。一実施形態において、図５Ｂに示すように、元のクロマ再構成プロセス（例えば５００Ａ）を、最良の順方向再構成関数（例えばステップ５２０）の選択、および逆再構成関数（ステップ５２５および５３０）に関連したメタデータの生成の両方について、なるべく予め算出されたルックアップテーブル（ＬＵＴ）に依拠するように変更する（例えば５００Ｂを参照）。
【００５３】
図２に示すように、実際においてリファレンススケーリング係数ｒmの値は、範囲［rmin，rmax］（例えば［０．４９，３．０２］内に収まっている。実際において、
【数９９】
2019523578.tif 000101
の最低値は１未満であることはない。もし
【数１００】
2019523578.tif 000102
ならば、クリッピングの危険性はなく、リファレンス再構成関数fr()が常に選ばれる。したがって、実際において、fj()関数の出力は、常に範囲［１．０，rmax］にある。一実施形態において、この範囲は、中央値（ｍｉｄ−ｐｏｉｎｔ）が
【数１０１】
2019523578.tif 000103
と表されるような、Ｎ個の均一な区間に量子化され得る。図２のｘ軸を、［０，１）内のＭ個のｘn値で表わされるものとするならば、各対（ｘi，ｙj），ｉ＝０，１，Ｍ−１、ならびにｊ＝０，１，Ｎ−１は、出力再構成関数についての可能な第２の（Ｂ）クロス点（例えば４２５）と考えられ得る。もしそのような再構成関数をαk係数（ｋ＝０，１，…，ＫF＋１）を有するＫF次の多項式を用いて表現することができるならば、全ての可能な順方向再構成多項式を表す、ＮｘＭｘ（ＫF＋１）ルックアップテーブルを構築することができる。一例として図６は、ｘi＝０．２５についての再構成関数（例えば６１０−０）および、ｙjの４つの異なる値（６０５）を示す。ｙj＞ｆr（０．２５）については、関数は算出されないことに留意されたい。
【００５４】
したがって、ルックアップテーブルα(i,j,k)（５４０）を生成するために、以下のプロセスを用い得る。すなわち、
【数１０２】
2019523578.tif 000104
【００５５】
入力データに順方向再構成を行うために：
ａ）以下を解くことにより、現フレームｊのＢクロス点のｘ座標を生成する
【数１０３】
2019523578.tif 000105
ｂ）列Ｔにおける
【数１０４】
2019523578.tif 000106
に最も近い
【数１０５】
2019523578.tif 000107
値（あるいはＢクロス点のｙ座標）を見出す：
【数１０６】
2019523578.tif 000108
ｃ）係数ＬＵＴエントリから、全てのｋ＝０，１，…，ＫFについて、再構成フィルタのためのＫF＋１係数群を、
【数１０７】
2019523578.tif 000109
として抽出する
ｄ）再構成関数
【数１０８】
2019523578.tif 000110
を適用する。ここで、
【数１０９】
2019523578.tif 000111
である。
【００５６】
α(i,j,k)を作成するために用いられる順方向再構成関数の組が与えられれば、前述の技術を適用することで、対応する逆再構成関数の組を生成し得、これにより対応するβ(i,j,k)ＬＵＴを生成し得る。このように、各Ｂクロス点(n*，T)について、β(i,j,k)ＬＵＴは、βjkまたはｍjk係数を出力し得る。
【００５７】
このように、モバイルプラットフォームに対しては、クロマ再構成プロセス（５００Ｂ）は以下のステップを含む：
ａ）α(i,j,k)（５４０）およびβ(i,j,k)（５４５）ルックアップテーブルを生成する。これらのＬＵＴは、オフラインあるいはデバイスのブート後に予め算出されたものであってもよく、再構成プロセスの開始（例えばＨＤＲ映像シーケンスをキャプチャして符号化すること）以前に、エンコーダにとり利用可能になっている。
ｂ）入力（１１７）を与えられて、
【数１１０】
2019523578.tif 000112
値および対応する最大スケール
【数１１１】
2019523578.tif 000113
値（式（５〜６）を参照）を算出する。
ｃ）再構成関数の第２の（Ｂ）固定点、例えば
【数１１２】
2019523578.tif 000114
を決定する。
ｄ）点Ｂ
【数１１３】
2019523578.tif 000115
を、α(i,j,k)ＬＵＴへのインデックス入力として用い、順方向再構成関数の係数を生成する。
ｅ）α(i,j,k)ＬＵＴからの係数を適用して順方向再構成を行い、クロマ再構成された信号（５３７）を生成する。
ｆ）点Ｂ
【数１１４】
2019523578.tif 000116
を、β(i,j,k)ＬＵＴへのインデックスとして用い、逆再構成関数の係数を生成する。抽出された逆再構成関数の係数を、メタデータとして送信する。
【００５８】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなエンハンストダイナミックレンジを有する画像のクロマ再構成に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のクロマ再構成プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【００５９】
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなＨＤＲ画像のクロマ再構成に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ  ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【００６０】
上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
【００６１】
均等物、拡張物、代替物、その他
効率的なＨＤＲ画像のクロマ再構成に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
【００６２】
いくつかの実施形態において、本方法は、リファレンス再構成関数および最大スケールファクタ群に基づき、順方向再構成関数を生成するステップを含み得る。例えば、前記順方向再構成関数を生成することは、前記最大スケールファクタ群を用いて前記リファレンス再構成関数を調節することを含み得る。例えば、前記リファレンス再構成関数は、メモリまたはネットワーク上のロケーションから得られた既定の関数であってもよい。
【００６３】
本発明の様々な局面は、以下の列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ  ｅｘａｍｐｌｅ  ｅｍｂｏｄｉｍｅｎｔ：ＥＥＥ）から理解され得る。
ＥＥＥ１．
プロセッサを用いた適応的なクロマ再構成のための方法であって、
ルマ成分および１つ以上のクロマ成分についての画素値を有する入力画像（１１７）に、プロセッサを用いてアクセスする工程と、
前記入力画像のルマ成分の画素値群に基づいて、ルマ再構成化画像（５０７）を生成する工程と、
再構成化ルマ値群をリファレンスクロマスケールファクタ群にマッピングするリファレンス再構成関数に、アクセスする工程と、
前記入力画像のクロマ成分に対して：
前記ルマ再構成化画像中の画素値群の範囲を、２つ以上の階級に分割する工程と、
各階級について、各階級における前記ルマ再構成化画像の画素群に対応するクロマ画素値群に基づき、最大スケールファクタを生成する工程（５１０）と、
前記リファレンス再構成関数および最大スケールファクタ群に基づいて順方向再構成関数を生成する工程であって、前記順方向再構成関数は、再構成化ルマ値群を順方向クロマスケールファクタ群にマッピングする工程（５２０）と、
前記クロマ画素値群、前記順方向再構成関数、および前記ルマ再構成化画像中の対応する画素値群に基づいて、前記クロマ成分についての再構成化クロマ画素値群（５３７）を生成する工程（５３５）と、
を包含する、方法。
ＥＥＥ２．
前記順方向再構成関数に基づいて、逆再構成関数を生成する工程と、
前記逆再構成関数を特徴付けるパラメータを生成する工程と、
前記逆再構成関数を特徴付けるパラメータに基づいて、メタデータを生成し出力する工程と、
をさらに包含する、ＥＥＥ１に記載の方法。
ＥＥＥ３．
各階級につき、その階級におけるルマ再構成化画像の画素に対して、前記最大スケールファクタは、前記階級における対応するクロマ値群の関数のｔパーセンタイル値に基づいて算出される、
ＥＥＥ１に記載の方法。
ＥＥＥ４．
［０  １）に正規化された画素値群について、ｍ番目の階級に対する前記最大スケールファクタを生成する工程は、
【数１１５】
2019523578.tif 000117
を算出することを包含し、ここでＭは階級の数であり、
【数１１６】
2019523578.tif 000118
はｍ番目の階級を表し、
【数１１７】
2019523578.tif 000119
は前記ルマ再構成化画像におけるｉ番目の画素を表し、
【数１１８】
2019523578.tif 000120
は前記入力画像（ｊ）の前記クロマ成分についての対応するクロマ画素を表し、ηは重み付け係数であり、qmaxは固定値であり、ｐt（ｘ）は区間［０，１００］におけるベクトルｘの値のｔパーセンタイル値を返す、
ＥＥＥ３に記載の方法。
ＥＥＥ５．
ｔ＝１００であり、ηは０．８５と０．９５の間であるか、またはη ＝１かつｔは９５％と９９％の間である、
ＥＥＥ４に記載の方法。
ＥＥＥ６．
前記入力画像（ｊ）に対して前記順方向再構成関数
【数１１９】
2019523578.tif 000121
を生成する工程は、
【数１２０】
2019523578.tif 000122
を算出することを包含し、ここで条件として、
【数１２１】
2019523578.tif 000123
であり、ここでＭは階級の数であり、
【数１２２】
2019523578.tif 000124
はｍ番目の階級についての最大スケールファクタを表し、
【数１２３】
2019523578.tif 000125
であり、ここでfr()は前記リファレンス再構成関数を表し、
【数１２４】
2019523578.tif 000126
は前記ルマ再構成化画像におけるｉ番目の画素を表し、
【数１２５】
2019523578.tif 000127
であり、ここでＫFは前記順方向再構成関数の多項式の次数を表す、
ＥＥＥ３に記載の方法。
ＥＥＥ７．
前記順方向再構成関数
【数１２６】
2019523578.tif 000128
を生成する工程は、
【数１２７】
2019523578.tif 000129
を算出することを包含し、ここで条件として、
【数１２８】
2019523578.tif 000130
であり、ここで
【数１２９】
2019523578.tif 000131
は重みである、
ＥＥＥ６に記載の方法。
ＥＥＥ８．
ｍ番目の階級について、重み
【数１３０】
2019523578.tif 000132
は、ｍ番目の階級における前記ルマ再構成化画像の画素の数を表す、
ＥＥＥ７に記載の方法。
ＥＥＥ９．
前記順方向再構成関数
【数１３１】
2019523578.tif 000133
は、前記リファレンス再構成関数の開始点と前記順方向再構成関数がクロスする第２の点とに基づいて生成され、前記第２の点は、前記リファレンス再構成関数未満であるすべての最大スケール値の値が、前記リファレンス再構成関数から最大の距離を有するような座標に対応する、
ＥＥＥ７に記載の方法。
ＥＥＥ１０．
第２の点
【数１３２】
2019523578.tif 000134
を算出することは、
【数１３３】
2019523578.tif 000135
を算出することを包含する、
ＥＥＥ９に記載の方法。
ＥＥＥ１１．
［０  １）に正規化された画素値群について、前記入力画像（ｊ）の色成分（ｕ）に対して前記再構成化クロマ値群
【数１３４】
2019523578.tif 000136
を生成する工程は、
【数１３５】
2019523578.tif 000137
を算出することを包含し、ここで
【数１３６】
2019523578.tif 000138
は、前記再構成化ルマ画像の画素
【数１３７】
2019523578.tif 000139
に対する前記順方向再構成関数の出力を表し、
【数１３８】
2019523578.tif 000140
は、前記入力画像の色成分に対する対応するクロマ画素を表す、
ＥＥＥ１に記載の方法。
ＥＥＥ１２．
前記逆再構成関数を特徴付ける前記パラメータは、予測関数についての三次多変量・重回帰表現のシンタックスに合致するように生成される、ＥＥＥ２に記載の方法。
ＥＥＥ１３．
前記順方向再構成関数を生成する工程（５２０）は、
前記順方向再構成関数の所望のクロス点を特徴付ける（ｘT，ｙn*）座標を算出する工程であって、ここで前記ｘT座標は、前記リファレンス再構成関数未満である最大スケール値群の値が、前記リファレンス再構成関数から最大の距離を有するような再構成化ルマ値に対応する、工程と、
前記（ｘT，ｙn*）点座標と、複数の順方向再構成関数のための多項式係数群を含む第１のルックアップテーブルとに基づき、前記順方向再構成関数の多項式係数群を生成する工程と、
を包含する、ＥＥＥ３に記載の方法。
ＥＥＥ１４．
前記（ｘT，ｙn*）座標を算出することは、
【数１３９】
2019523578.tif 000141
を算出することであって、ここでｍはｍ番目の階級を表し、
【数１４０】
2019523578.tif 000142
はｍ番目の階級についての最大スケールファクタを表し、
【数１４１】
2019523578.tif 000143
であり、ここでfr()は前記リファレンス再構成関数を表し、Ｍは階級の合計数を表し、
【数１４２】
2019523578.tif 000144
であり、ここで
【数１４３】
2019523578.tif 000145
は、範囲［１．０，rmax］がＮ個の区間に分割されたときのｎ番目の区間の中央を表し、ここでrmaxは前記リファレンス再構成関数の最大値を表している、
ＥＥＥ１３に記載の方法。
ＥＥＥ１５．
前記（ｘT，ｙn*）点座標と、複数の逆再構成関数のための多項式係数群を含む第２のルックアップテーブルとに基づき、逆再構成関数のパラメータを生成する工程と、
前記逆再構成関数を特徴付けるパラメータに基づいて、メタデータを生成し出力する工程と、
をさらに包含する、ＥＥＥ１３に記載の方法。
ＥＥＥ１６．
プロセッサを用いた適応的なクロマ再構成のための方法であって、
ルマ成分および１つ以上のクロマ成分を持つ画素値群を有する入力画像（１１７）に、プロセッサを用いてアクセスする工程と、
入力ルマ画素値群をリファレンスクロマスケールファクタ群にマッピングするリファレンス再構成関数に、アクセスする工程と、
前記入力画像のクロマ成分に対して：
前記ルマ画素値群の範囲を、２つ以上の階級に分割する工程と、
各階級について、各階級における前記ルマ画素値群に対応するクロマ画素値群に基づき、最大スケールファクタを生成する工程（５１０）と、
前記リファレンス再構成関数および前記最大スケールファクタ群に基づいて順方向再構成関数を生成する工程であって、前記順方向再構成関数は、ルマ画素値群を順方向クロマスケールファクタ群にマッピングする工程（５２０）と、
前記クロマ画素値群、前記順方向再構成関数、および前記対応するルマ画素値群に基づいて、前記クロマ成分についての再構成化クロマ画素値群（５３７）を生成する工程（５３５）と、
を包含する、方法。
ＥＥＥ１７．
プロセッサを備え、ＥＥＥ１〜１６のいずれかに記載の方法を実行するように構成された、装置。
ＥＥＥ１８．
ＥＥＥ１〜１６に記載の方法を実行するためのコンピュータ実行可能な命令を格納した、非一時的なコンピュータ読み取り可能な記憶媒体。
【図１Ａ】
2019523578.tif 000175
【図１Ｂ】
2019523578.tif 000176
【図２】
2019523578.tif 000177
【図３】
2019523578.tif 000178
【図４】
2019523578.tif 000179
【図５Ａ】
2019523578.tif 000180
【図５Ｂ】
2019523578.tif 000181
【図６】
2019523578.tif 000182
【国際調査報告】
2019523578.tif 000183
2019523578.tif 000184
2019523578.tif 000185
2019523578.tif 000186