(57)【要約】  ビデオ符号化器及び復号化器システムは、輝度及びサブサンプリングされたクロミナンス領域のダイナミックレンジ変換ゲインを直接適用することにより輝度及びクロミナンス表現の入力ＨＤＲ画像を輝度及びサブサンプリングされたクロミナンス表現のＳＤＲ画像に変換するビデオ復号化器装置２２０を含む。ビデオ符号化器は逆の操作を実施し、輝度及びサブサンプリングされたクロミナンス領域のダイナミックレンジ変換ゲインを直接適用することによりＳＤＲからＨＤＲへ変換する。
2019503623.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続した高ダイナミックレンジ画像のセットを、ピクセルの色がルマ値及びクロミナンス値で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像のセットである符号化された入力画像から復号化し、出力するビデオ復号化器装置であって、前記クロミナンス値は前記ルマ値に比べて空間的にサブサンプリングされており、前記ビデオ復号化器装置は、
前記符号化された低ダイナミックレンジ画像を符号化されていない低ダイナミックレンジ画像へと復号化するビデオ復号化器と、
前記低ダイナミックレンジ画像のクロミナンス値を前記ルマ値の解像度までアップスケールする第１及び第２空間アップスケーラと、
前記低ダイナミックレンジ画像の各ピクセルに対して前記ルマ値及び前記クロミナンス値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現に変換する色変換器と、
各ピクセルに対して、前記３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値を出力する最大値算出ユニットと、
対応する高ダイナミックレンジ出力画像の輝度又はルマが得られるように処理される前記低ダイナミックレンジ画像の入力画像のうちの１つの低ダイナミックレンジ入力画像の輝度又はルマ間の関係を定める輝度マッピング関数を受信し、各ピクセルに対して、前記最大値に前記輝度マッピング関数を適用して、出力最大値を得る輝度マッピングユニットと、
各ピクセルに対して前記出力最大値を前記最大値で割ることによってゲイン値を得るゲイン係数算出部と、
前記ゲイン値を前記低ダイナミックレンジ画像の前記クロミナンス値の解像度まで空間的にダウンスケールする第１及び第２空間ダウンスケーラと、
各ピクセルに対して、決定された各ゲイン値で、処理される前記低ダイナミックレンジ画像の入力画像の前記ルマ値及び前記クロミナンス値を乗算し、前記クロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算器とを含み、
前記第１及び第２空間アップスケーラは、符号化された低ダイナミックレンジ画像のセットとして高ダイナミックレンジ画像を符号化したビデオ符号化器で使用されているのと同じになるように調整される、ビデオ復号化器装置。
【請求項２】
前記第１及び第２空間アップスケーラが少なくとも２つの異なるアップスケーリングアルゴリズムを適用するためにプログラム可能であり、現在入力されている符号化された前記低ダイナミックレンジ画像のセットを復号化するために使用される前記アップスケーリングアルゴリズムを受信する、請求項１に記載のビデオ復号化器装置。
【請求項３】
前記高ダイナミックレンジ出力画像のセットを、０．５の逆ガンマで定義されるＹ’ＣｂＣｒ表現から高ダイナミックレンジＲＧＢ色表現へと変換する色変換器を含む、請求項１又は２に記載のビデオ復号化器装置。
【請求項４】
前記高ダイナミックレンジＲＧＢ色表現の赤、緑、及び青の色成分はＳＭＰＴＥ  ＳＴ２０８４で定められている光電子変換関数で定義される、請求項３に記載のビデオ復号化器装置。
【請求項５】
時間的に連続した高ダイナミックレンジ画像のセットを、ピクセルの色がルマ値及びクロミナンス値で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像のセットである符号化された入力画像から復号化し、出力するためのビデオ復号化方法であって、前記クロミナンス値は前記ルマ値に比べて空間的にサブサンプリングされており、前記ビデオ復号化方法は、
前記符号化された低ダイナミックレンジ画像を符号化されていない低ダイナミックレンジ画像へと復号化するステップと、
前記低ダイナミックレンジ画像の前記クロミナンス値を前記ルマ値の解像度までアップスケールするステップと、
前記低ダイナミックレンジ画像の各ピクセルに対して前記ルマ値及び前記クロミナンス値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現に変換するステップと、
各ピクセルに対して、前記３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値を算出するステップと、
対応する高ダイナミックレンジ出力画像の輝度又はルマが得られるように処理される前記低ダイナミックレンジ画像の入力画像のうちの１つの低ダイナミックレンジ入力画像の輝度又はルマ間の関係を定める輝度マッピング関数を受信し、各ピクセルに対して、前記最大値に前記輝度マッピング関数を適用して、出力最大値を得るステップと、
各ピクセルに対して前記出力最大値を前記最大値で割ることによってゲイン値を算出するステップと、
前記ゲイン値を前記低ダイナミックレンジ画像のクロミナンス係数値の解像度まで空間的にダウンスケールするステップと、
各ピクセルに対して、決定された各ゲイン値で、処理される符号化されていない前記低ダイナミックレンジ画像の入力画像の前記ルマ値及び前記クロミナンス値を乗算するステップであって、前記クロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算するステップと、を有し、
前記クロミナンス係数のアップスケーリングは符号化された低ダイナミックレンジ画像のセットとして高ダイナミックレンジ画像を符号化したビデオ符号化器で使用されるアップスケーリングと同じになるように調整される、ビデオ復号化方法。
【請求項６】
前記アップスケーリングは、プログラム可能であって、少なくとも２つの異なるアップスケーリングアルゴリズムを適用でき、現在入力されている符号化された前記低ダイナミックレンジ画像のセットを復号化するために使用される受信されたアップスケーリングアルゴリズムを適用する、請求項５に記載のビデオ復号化方法。
【請求項７】
時間的に連続した高ダイナミックレンジ画像のセットを、ピクセルの色がルマ値及びクロミナンス値で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像のセットである符号化された画像へと符号化するビデオ符号化器であって、前記クロミナンス値は前記ルマ値に比べて空間的にサブサンプリングされており、前記ビデオ符号化器は、
前記高ダイナミックレンジ画像のうちの１つの高ダイナミックレンジ画像のクロミナンス値を、前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像のピクセルの色のサブサンプリングされたクロミナンス値へとサブサンプリングする空間ダウンスケーラと、
前記サブサンプリングされたクロミナンス値を前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像のルマ値の解像度までアップスケールする第１及び第２空間アップスケーラと、
前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像の各ピクセルに対して、前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像のピクセルの色の前記アップスケールされたクロミナンス値及び前記ルマ値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現に変換する色変換器と、
各ピクセルに対して、前記３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値を出力する最大値算出ユニットと、
符号化された低ダイナミックレンジ画像として符号化される前記低ダイナミックレンジ画像の入力画像のうちの１つの対応する低ダイナミックレンジ入力画像の輝度又はルマと、符号化されている前記高ダイナミックレンジ出力画像の輝度又はルマとの間の関係を定義する輝度マッピング関数を受信し、各ピクセルに対して、前記最大値に前記輝度マッピング関数を適用して、出力最大値を得る輝度マッピングユニットと、
各ピクセルに対して前記出力最大値を前記最大値で割ることによってゲイン値を得るゲイン係数算出部と、
算出された前記ゲイン値を前記高ダイナミックレンジ出力画像のうちの１つの高ダイナミックレンジ出力画像の前記ピクセルの色の前記サブサンプリングされたクロミナンス値の解像度まで空間的にダウンスケールする第１及び第２空間ダウンスケーラと、
各ピクセルに対して、決定された前記各ゲイン値でサブサンプリングされたクロミナンス値と前記ルマ値とを乗算する乗算器であって、前記サブサンプリングされたクロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算器とを含み、
前記第１及び第２空間アップスケーラは、前記符号化された低ダイナミックレンジ画像のセットが供給されるすべての復号化器によって使用されることが事前に合意されている決まったアップスケーリングアルゴリズムを適用するように決められている、ビデオ符号化器。
【請求項８】
時間的に連続した高ダイナミックレンジ画像のセットを、ピクセルの色がルマ値及びクロミナンス値で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像のセットである符号化された画像へと符号化するためのビデオ符号化方法であって、前記クロミナンス値は前記ルマ値に比べて空間的にサブサンプリングされており、前記ビデオ符号化方法は、
符号化されている前記高ダイナミックレンジ画像のうちの１つの高ダイナミックレンジ画像のクロミナンス値を、前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像のピクセルの色のサブサンプリングされたクロミナンス値へと空間的にサブサンプリングするステップと、
前記サブサンプリングされたクロミナンス値を前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像のルマ値の解像度までアップスケールするステップと、
前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像の各ピクセルに対して、前記高ダイナミックレンジ画像のうちの前記１つの高ダイナミックレンジ画像のピクセルの色の前記アップスケールされたクロミナンス値及び前記ルマ値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現に変換するステップと、
各ピクセルに対して、前記３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値を算出するステップと、
符号化された低ダイナミックレンジ画像として符号化される前記低ダイナミックレンジ画像の入力画像のうちの１つの対応する低ダイナミックレンジ入力画像の輝度又はルマと、符号化されている高ダイナミックレンジ出力画像の輝度又はルマとの間の関係を定義する輝度マッピング関数を受信し、各ピクセルに対して、前記最大値に前記輝度マッピング関数を適用して、出力最大値を得るステップと、
各ピクセルに対して前記出力最大値を前記最大値で割ることによってゲイン値を算出するステップと、
算出された前記ゲイン値を前記高ダイナミックレンジ出力画像のうちの１つの高ダイナミックレンジ出力画像の前記ピクセルの色の前記サブサンプリングされたクロミナンス値の解像度まで空間的にダウンスケールするステップと、
決定された各ゲイン値でサブサンプリングされたクロミナンス値と前記ルマ値とを乗算するステップであって、前記クロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算するステップとを有し、
前記サブサンプリングされたクロミナンス係数の前記アップスケーリングは、符号化された前記低ダイナミックレンジ画像のセットを供給されるすべての復号化器によって、前記ゲイン値を計算する処理において使用されるのと同じアップスケーリングアルゴリズムであることが知られている、事前に合意された決まったアップスケーリングアルゴリズムによって実施される、ビデオ符号化方法。
【請求項９】
プロセッサ上で実行された際に前記プロセッサが請求項５、６又は８に記載の方法のすべてのステップを実施するのを可能にする符号を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ここではＨＤＲビデオと呼ぶ、時間的に連続した高ダイナミックレンジ画像のセットを符号化又は復号化するための方法及び装置に関する。
【背景技術】
【０００２】
数年前まで、すべてのビデオは標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる、いわゆる低ダイナミックレンジ（ＬＤＲ）の原理によって符号化されていた。それは、捉えた場面が何であれ、符号の最大値（通常は８ビットのルマＹ’＝２５５、又はアナログ表示駆動で１００％の電圧）は、標準化定義により、標準合意で１００ｎｉｔであるピーク輝度ＰＢ（すなわち表示できる最も明るい白色）を有するディスプレイに対応すべき、すなわち表示されるべきであることを意味していた。少し暗い又は明るい実際のディスプレイを購入した場合、見る人の視覚系は、（例えば暗い見え方をするべきホラー映画の夜の場面などの場合）例えば不快に明るすぎるのではなく、画像がなお適切に見え、さらには参照の１００ｎｉｔのディスプレイ上と同じに見えるように適応すると仮定されていた。
【０００３】
もちろん、完全に均一な照明の中でさえ、様々な物体の拡散反射比率は既に１００：１のコントラスト比を与えることができるので、実用プログラムに対しては、これを行うことは通常、場面の照明設定の厳格な制御を維持することを意味していた。そのようなＳＤＲディスプレイの黒は通常、良い環境において０．１ｎｉｔ、最悪の環境ではまだ１ｎｉｔ又はさらに数ｎｉｔであるため、ＳＤＲディスプレイのダイナミックレンジ（最も暗い見ることのできる黒で割った最も明るい白）は最善又は最悪で１０００：１であり、これはそのような均一に照明された場面及び表示される必要のあるすべてのピクセルのグレイ値又は輝度の８ビットの符号化によく対応し、約２．０のガンマ又は０．５の符号化逆ガンマを有する。Ｒｅｃ．７０９は通常使用されるＳＤＲビデオの符号化であった。通常、カメラも非常に明るい領域とやや暗い領域との両方を同時に捉えるのには問題があり、すなわち窓又は車の窓の外に見られるような場面は通常白にそろえられる（赤、緑、青の追加色成分Ｒ＝Ｇ＝Ｂ＝最大を与え、これらの平方根の符号化された値Ｒ’＝Ｇ’＝Ｂ’＝２５５に一致する）。本出願においてダイナミックレンジが主にピーク輝度（すなわち最も明るく表示された又は表示可能な輝度）のみで示される場合、最低のルマ値は実際的にゼロであり（ところが実際にはディスプレイの前面板又は映画のスクリーンの光反射などの見る条件に依存し、例えば０．１ｎｉｔである）、それらのさらなる詳細は特定の説明には無関係であると仮定することに注意されたい。また、ダイナミックレンジを定めるやり方はいくつかあり、以下の説明にある通常使用される最も自然なものはディスプレイに表示された輝度のダイナミックレンジ、すなわち最も明るい色対最も暗い色の輝度であることにも注意されたい。
【０００４】
さらに、だれもが理解できるようにここに述べるのであるが、ＨＤＲの研究中により明らかになったことは、符号システム自体は参照ディスプレイを関連付けない限りは本来ダイナミックレンジを持たないということであり、これは例えばＲ’＝Ｇ’＝Ｂ’＝Ｙ’＝２５５が１００ｎｉｔ或いは１０００ｎｉｔなどのＰＢに一致すべきであると述べていることにも注意されたい。具体的には、通常事前に仮定されていることに反して、ピクセルの色成分に使用されるビット数は、例えば、ディスプレイ上に表示する必要があるときに、１０ｂｉｔの符号化システムは符号化の種類によってＨＤＲビデオ又はＳＤＲビデオのどちらかを符号化し、具体的には符号化に関連する参照ディスプレイの電気光学変換関数ＥＯＴＦ、すなわちルマ符号［０，１０２３］と対応するピクセルの輝度との間の関係を定めるので、その輝度のように、ダイナミックレンジの良い指標ではない。
【０００５】
本文においてＨＤＲ画像又はビデオについて述べた場合、最高ルマの符号（又は例えばＹＣｂＣｒ符号化ではなくＲＧＢ符号化の場合は同等の最高Ｒ’、Ｇ’、Ｂ’値）に対応するピーク輝度又は最大輝度を有すると仮定するが、これは１００ｎｉｔのＳＤＲ値よりも高く、通常少なくとも４倍高く、すなわちＨＤＲ画像を最適に見せるために表現される予定の最大ディスプレイ輝度は、例えば１０００ｎｉｔ、５０００ｎｉｔ、又は１００００ｎｉｔである（これは後で詳しく述べる、そのようなＨＤＲ画像又はビデオをＳＤＲ画像又はビデオとして符号化することができる、一見複雑な概念と混同すべきではなく、例えば１０００ｎｉｔのＰＢを有するＨＤＲ画像を作成するためにＨＤＲ画像を復元する色変換を符号化する対応関連メタデータを有するとき、この場合画像は両方とも１００ｎｉｔディスプレイ上に表示可能であるが、重要なことに、すべての情報も含むことに注意されたい）。
【０００６】
したがって、高ダイナミックレンジ画像の高ダイナミックレンジ符号化は、例えば最高１０００ｎｉｔの表示予定の輝度を有し、ディスプレイに表示可能な良質のＨＤＲで、例えば周囲の表示場面と比べて明るい爆発や光り輝く金属表面などを伴う画像の符号化が可能である。
【０００７】
実際には、世界には非常に高いダイナミックレンジを持ち得る場面がある（例えば１ｎｉｔ程度の暗い物体を屋内で捉える一方で、同時に外側の窓を通して輝度１０，０００ｎｉｔ超の太陽に照らされた物体を見ると、１００００：１のダイナミックレンジを与え、これは１０００：１ＤＲの１０倍、さらには１００：１ダイナミックレンジの１００倍大きいが、例えばテレビ視聴は、昼間の視聴の場合など、通常の状況で３０：１未満のＤＲになることがある）。ディスプレイは改良されているので（１００ｎｉｔより数倍明るいＰＢ、１０００ｎｉｔのものが現在出てきており、数千ｎｉｔのＰＢが予想されている）、目標はこれらの画像を美しく、視聴条件の違いのような要因などにより原型と全く同じではないが、少なくとも非常に自然に、又は少なくとも心地よく表示できるようにすることである。そしてこれはＳＤＲビデオ符号化の時代にはない、良い実用的なＨＤＲビデオ符号化技術が必要である。
【０００８】
読者はまた、視聴者が通常様々な状況下で内容を見ているので（例えば、撮影された明るいアフリカの景色の中に実際に立っているのではなく、弱く照明された夜の居間、又は暗いホームシアター又は映画館の中に座っているなど）、場面の輝度とテレビ（又は他のディスプレイ）に最終的に表示される輝度との間に同一性はないことを理解する。これは利用できる符号化のＤＲ、すなわち関連する参照ディスプレイにおける最適な色について特に人間の色評価者に手作業で決定させること、例えば場面中の太陽は（実際の値の１０億ｎｉｔではなく）５０００ｎｉｔの画像で表示されるべきであると規定することにより扱うことができる。或いは、自動アルゴリズムは、例えば生のカメラ撮影から本文中で（一般的に）（マスター）ＨＤＲ等級と呼ばれるものへのような変換を行う。これはその後５０００ｎｉｔのＰＢのＨＤＲディスプレイに対するこのマスター等級を、利用可能な場所に表示することができることを意味する。
【０００９】
しかしながら同時に、今後数年の間、１００ｎｉｔのＰＢの従来のＳＤＲディスプレイ又は例えば携帯型であるという理由で５０００ｎｉｔの白色を作ることができないディスプレイを持つ設置ベースで多くの人々がいることになるが、それらの人々はＨＤＲ映画も見ることができる必要がある。そのため同じ場面で５０００ｎｉｔのＨＤＲから１００ｎｉｔのＳＤＲに見える画像へ変換するメカニズムが必要である。
【００１０】
図１は（例えば１０００ｎｉｔのＰＢのディスプレイ接続された）将来のＨＤＲシステムが正しく、すなわち画像内のすべての物体／ピクセルに適切な輝度を表現することで、扱うことができる必要のある、考え得る多くのＨＤＲの場面の例をいくつか説明のために示している。例えばＩｍＳＣＮ１は西部劇映画のよく晴れた屋外画像であり、これに対しＩｍＳＣＮ２は夜間の画像である。わずか数年前に終わったＬＤＲ時代には常であった状態からＨＤＲ画像表現が異なっているのは、ＬＤＲは主に物体の反射率（良好な白である９０％と良好な黒である１％の間にある）のみが示される限定されたダイナミックレンジ（およそＰＢ＝１００ｎｉｔ、黒レベル＋−０．１から１ｎｉｔ）を有するからである。そのため、照明とは無関係に物体を表す必要があり、時々起こり得る高コントラストの照明の場面をすべて忠実に同時に表すことはできなかった。実際には、非常に明るい良く晴れた場面は、どんよりした雨の日の場面とほぼ同じディスプレイ輝度（０〜１００ｎｉｔ）で表示される必要があることを意味していた。そして、夜間の場面でさえあまりに暗く表示することはできず、さもないと視聴者は画像の最も暗い部分をよく識別することができないため、再度それらの夜間の輝度は０から１００ｎｉｔの間の範囲に及んで表示される。そのため、視聴者が昼間の場面を見ているのではないと理解するように、従来は夜の場面を青に彩色する必要があった。もちろん現実の人間の視覚は得られる量の光に適合するが、それほどではない（現実のほとんどの人は暗くなりつつあることを認識する）。そのため芸術的にデザインすることができるすべての壮大な局所照明効果と共に画像を表示して、少なくともＨＤＲディスプレイが利用可能な場合はさらに写実的に画像を表示したい。
【００１１】
図１の左軸上にあるのは５０００ｎｉｔＰＢのディスプレイの５０００ｎｉｔＰＢマスターＨＤＲ等級において見たいと思われる物体の輝度である。ただの錯覚ではなく、明るい太陽に照らされた環境にいるカウボーイの実際の感覚を伝えたい場合、それらのピクセルの輝度を、例えば５００ｎｉｔ程度に十分明るく（しかし明るすぎないように）指定して表示しなければならない。夜の場面に対してはたいてい暗い輝度が望まれるが、オートバイに乗る主人公は、よく認識できる、すなわち暗すぎない方が良く（例えば５ｎｉｔ程度）、同時に非常に高輝度のピクセル、例えば街灯の、例えば５０００ｎｉｔディスプレイ上の３０００ｎｉｔ程度、又は任意のＨＤＲディスプレイ上のピーク輝度程度（例えば１０００ｎｉｔ）のピクセルがあり得る。第３の例のＩｍＳＣＮ３は今ＨＤＲディスプレイ上でも可能なものを示しており、非常に明るいピクセルと非常に暗いピクセルの両方を同時に表示することができる。良く晴れた外側が見える小さな開口部のある暗い洞窟を見る。この場面に対しては、例えば４０００ｎｉｔ程度の明るい良く晴れた景色の印象を表示したい場面において、場面内よりもやや明るさが下がる太陽に照らされた木のような物体を作りたいとき、洞窟の内部の本質的に暗い人物とさらに調整するべきである。色評価者はすべての物体の輝度を最適に調整したいと思うので、不適切に暗く又は明るく見えるものはなく、コントラストは良好で、例えばこの洞窟の暗闇の中で立っている人は０．０５ｎｉｔ程度でマスターＨＤＲと評価された画像において符号化される（ＨＤＲ表現は明るいハイライトだけでなく暗い領域も表現できると仮定する）。
【００１２】
これらすべての非常に様々なタイプのＨＤＲの場面に対するすべての物体の輝度を、図１の右側に示すもっと小さなＳＤＲ又はＬＤＲのダイナミックレンジ（ＤＲ＿１）に利用できる最適な輝度にマッピングするのはいつも些細なことであるとは限らないと理解することができ、これが好適には人間の色評価者が（ルマ符号上で等しく行われたときに少なくとも輝度変換を含む）色変換の決定に関わる理由である。しかしながら、例えば輝度のヒストグラムなどの画像内容の色特性の分析に基づき、自動的に決定された変換を使用することをいつでも選択することができ、これは例えばより単純な種類のＨＤＲビデオ又は例えばリアルタイムのコンテンツ制作などにおいてあまり人間による評価が好まれない用途に対して好適な選択肢である（本特許においては、制限なく、例えば撮影開始の前に全体を迅速に作成するために、評価はいくつかの色変換関数パラメータの迅速な設定にも関わると仮定されている）。
【００１３】
出願人は符号化システムを設計したが、これはその分野の通常の一種のディスプレイ（すべての末端視聴者は例えば１０００ｎｉｔのＰＢのディスプレイを有する）のために、単に１つの標準化されたＨＤＲビデオの通信（符号化）を取り扱うことができるだけでなく、同時にその分野での様々な他のピーク輝度を有する様々な可能性のある他のディスプレイのタイプに対して最適な外観のビデオ、具体的には１００ｎｉｔのＰＢのＳＤＲディスプレイ用のＳＤＲ画像を伝達し、取り扱うことができる。
【００１４】
ＨＤＲ画像のセットのみを符号化すること、すなわち正しい外観、換言すれば１０００ｎｉｔ程度のＨＤＲモニタ上に、例えば１０ｂｉｔの従来のＭＰＥＧ又は同様のビデオ符号化技術で表示するための画像物体輝度で符号化することはそれほど難しくない。非常に大きめのダイナミックレンジを有する新しいタイプの画像、すなわち白色に比べて比較的暗い多くの領域においてバンディングのない画像に対する最適なＯＥＴＦ（光電子変換関数）を確立し、その後すべてのピクセル／物体の輝度に対するルマ符号を算出しさえすればよい。
【００１５】
しかしながら、出願人は、ＨＤＲ画像をＬＤＲ画像として伝達するシステム、実際には、直ちに正しい外観のＳＤＲを従来の１００ｎｉｔのＰＢのＳＤＲディスプレイ上で見えるように表示するために使用することができるＬＤＲ（又はＳＤＲ、すなわち１００ｎｉｔのＰＢの参照ディスプレイと呼ばれ、しばしば斯様な参照ディスプレイ上で最適にカラー等級されている）画像が伝達されるシステムを設計した。これに対して、図２と共に説明するように、適切な可逆的な色変換関数Ｆ＿ｃｔのセットが定義される。これらの関数は人間の色評価者によって定義され、ＨＤＲのマスター画像ＭＡＳＴ＿ＨＤＲに対応する合理的に見えるＳＤＲ画像（Ｉｍ＿ＬＤＲ）を得る一方で、同時に逆関数ＩＦ＿ｃｔを用いることにより元のマスターＨＤＲ（ＭＡＳＴ＿ＨＤＲ）画像を再現ＨＤＲ画像（Ｉｍ＿ＲＨＤＲ）として十分な精度で再現することができ、又は自動分析アルゴリズムはそのような適切な色変換関数Ｆ＿ｃｔを決定するための内容作成側において使用されることを確実にする。受信側に頼って関数Ｆ＿ｃｔをＩＦ＿ｃｔに変換する代わりに、受信及び復号化されたＳＤＲ画像のＩｍ＿ＲＬＤＲからＩｍ＿ＲＨＤＲを算出するために既に必要な関数を送信することもできることに注意されたい。色変換関数が実際に行っていることはＨＤＲ画像（ＭＡＳＴ＿ＨＤＲ）中のピクセルの輝度のＬＤＲの輝度への変更であり、換言すれば１００ｎｉｔのＰＢのＬＤＲダイナミックレンジＤＲ＿１中のすべての輝度に適合する、図１に示すような最適な輝度の圧縮である。出願人は、以下に説明されるように、色度を一定に維持し、輝度のみを効果的に変更する方法を発明した。
【００１６】
図２に示すような典型的な符号化の連鎖は次のように働く。いくつかの画像源２０１は、例えば最適に評価された画像を与える評価コンピュータ又はＨＤＲ出力画像を与えるカメラであり、マスターＨＤＲ画像ＭＡＳＴ＿ＨＤＲを供給して変換及び符号化された色になる。色変換器２０２は決定済みの色変換、例えば凹状に曲がった関数を適用し、説明を簡単にするために係数ｇａｍ＝１／ｋ、ここで、ｋは２．０より大きな数を有するガンマ関数であると仮定する。もちろん、より複雑な輝度マッピング関数は、十分に可逆的である、すなわちＩｍ＿ＲＨＤＲ画像が有するバンディングが無視してよい又は許容範囲であるならば採用される。少なくとも輝度変換関数を含むこれらの色変換関数Ｆ＿ｃｔを適用することにより、出力画像Ｉｍ＿ＬＤＲを生じる。この画像又は画像のセットは従来のＬＤＲ画像符号化器によって符号化され、これはいくぶん修正されている可能性があり、例えば予測差分のＤＣＴ−ｅｄ変換用の量子化テーブルは最適化されてＨＤＲの特徴を有する画像により適合するようになった（色変換は通常既に、Ｉｍ＿ＬＤＲの外観の統計を通常のＨＤＲ画像ではなく通常のＬＤＲ画像のようになるようにし、このＨＤＲ画像は、範囲の上部がしばしば小さなランプ等を含むので、通常比較的暗い輝度の比較的多くのピクセルを有する）。例えば、ＭＰＥＧタイプの符号化器はＨＥＶＣ（Ｈ２６５）のように使用され、符号化されたＳＤＲ画像Ｉｍ＿ＣＯＤを生じる。このビデオ符号化器２０３はその後通常のＳＤＲ画像を取得するように見せかけるが、マスターＨＤＲ画像を再現できる関数Ｆ＿ｃｔも取得し、すなわちＳＤＲ及びＨＤＲの両方とそれらに対応する画像のセットの２重共通符号化が効果的に見えるようにする（Ｉｍ＿ＲＬＤＲ又はＩｍ＿ＲＨＤＲ）。関数Ｆ＿ｃｔのすべての情報を含むこのメタデータを伝達する手法はいくつかあり、例えばＳＥＩメッセージとして伝達される。その後送信フォーマッタ２０４はすべての必要な変換を適用してデータを初期化し、ある基準に従ってある送信媒体２０５を調べ、例えばＡＴＳＣ３．０に従って例えば衛星、ケーブル、又はインターネット送信を調べるが、換言すればデータのパケット化、チャンネル符号化等が実施される。どの消費者又は専門家側においても、例えばセットトップボックス、テレビ、コンピュータなどの様々な物理装置に組み入れられる受信器２０６は復元及びチャンネルの復号を適用することによりチャンネル符号化を取り消す。その後ビデオ復号化器２０７は例えばＨＥＶＣ復号化を適用し、復号化したＬＤＲ画像Ｉｍ＿ＲＬＤＲを生じる。そして色変換器２０８がＳＤＲ画像を任意の非ＬＤＲダイナミックレンジの画像に変換するように構成される。例えば５０００ｎｉｔの元のマスター画像Ｉｍ＿ＲＨＤＲは、ＭＡＳＴ＿ＨＤＲからＩｍ＿ＬＤＲを作成するために符号化側で使用された色変換Ｆ＿ｃｔの逆色変換ＩＦ＿ｃｔを適用することにより再現される。ＳＤＲ画像Ｉｍ＿ＲＬＤＲを異なるダイナミックレンジに変換するディスプレイ調整ユニット２０９が含まれ、例えばディスプレイ２１０が３０００ｎｉｔのＰＢのディスプレイの場合にはＩｍ３０００ｎｉｔ、又は１５００ｎｉｔ、１０００ｎｉｔのＰＢの画像等が最適に評価されている。
【００１７】
図３はＷＯ２０１４０５６６７９から引用したそのような色度維持輝度再算出をどのように設計するかを示す。ＳＤＲ及びＨＤＲ画像の両方に対して１．０の最大相対輝度に標準化された色域において見たときこの処理を理解することができる（すなわちＳＤＲ及びＨＤＲが同じ、例えばＲｅｃ．２０２０の主要なものを有すると仮定すると、ＷＯ２０１４０５６６７９の図１に示されるように両者は全く同じテント型の色域を有する）。例えば駆動画像内にディスプレイのピーク輝度の１０％の輝度に対応するルマ符号を有するカウボーイが映る任意のディスプレイを駆動しようとしている場合、そのカウボーイはディスプレイのＰＢが高ければ高いほど明るく表示される。すべてのディスプレイ上で例えば６０ｎｉｔの（ほぼ）同じ輝度でカウボーイを表示したいので、これは望ましくない。その後、もちろんカウボーイの相対輝度（又は対応する１０ｂｉｔのルマ符号）は、ディスプレイのＰＢが高ければ高いほど低くして最終的に表示される輝度を同じにするべきである。すなわち、例えばＳＤＲ画像用のルマ符号８００から例えばＨＤＲ画像用のルマ符号１００への格下げマッピングのような要望を示すことができ（使用される符号を決定するＥＯＴＦの正確な形状による）、又は輝度において、６０％のＳＤＲ輝度を例えば４０００ｎｉｔのＨＤＲディスプレイ用の輝度の１／４０又は対応する最適に評価された画像をマッピングする。本文における格下げとはピクセルのルマ符号（又はそれらに対応する表示される輝度）をより高いピーク輝度の表示（すなわちより高いＰＢ、例えば１０００ｎｉｔのＰＢのディスプレイ上での表示用）からより低いＰＢのディスプレイ、例えば１００ｎｉｔのＳＤＲディスプレイ上での表示用のより低いＰＢの画像における同じ場面の画像の輝度に変更することを意味し、格上げはより低いＰＢの画像をより高いＰＢの画像に変換するための逆色変換であり、これを空間的なアップスケーリング及びダウンスケーリングと混同すべきではなく、これは新しいピクセルを追加しているか、それぞれいくつかのピクセル又はそれらのピクセルの色成分を落としている。それを任意の色に対して行うことができ、（ＲＧＢ）トリプレットはディスプレイ中又は符号化符号色域のいくらかの色度（ｘ，ｙ）に対応し、図３の装置によってその色度Ｌｍａｘ（ｘ，ｙ）に対して利用可能な（表示可能な）最大輝度に自動的に調整する手法で行う。実際、これが同様の輝度マッピングを適用することに相当することを説明することができるが、これはＳＤＲ画像中の色の入力輝度Ｌを、最適なＨＤＲと評価された画像の、必要な相対出力輝度Ｌ＊に持っていく、無色の軸（すなわち特定の色調を持たない色の軸）上におけるマッピングである。詳細には入り込まないが、この教示内容から妥当であるものは、対応する色変換は（好適には線形）ＲＧＢ成分に対する乗算的変換として実現することができ、各成分別々に、乗算器３１１によって、１．０より大きい又は小さい定数ｇを用いて、選択される輝度変換関数Ｌ＿ｏｕｔ＝ＴＭ（Ｌ＿ｉｎ）のいかなる形にも対応し、ピクセルの入力赤、緑、青のカラー値の最大値の関数変換として定式化することができる。したがって、輝度マッパー３０７がいくらかのＳＤＲ輝度をＨＤＲ輝度マッピング関数、例えばパラメトリックに指定されたログガンマ関数又はＬＵＴとして受信されるＳ字若しくは多重線形の曲線に入れるとき、各入力色（Ｒ、Ｇ、Ｂ）に対して、Ｉｍ＿ＲＬＤＲをＩｍ＿ＲＨＤＲに変換する（又は適切にサイズ調整された手法で、Ｉｍ３０００ｎｉｔなどの任意の他の評価された画像へ）変換する所望の色変換を適用するために適切なｇ値が算出される。例示の実施形態の回路の構成要素は、３０５：最大値算出部、処理中のピクセルの色のＲ，Ｇ，Ｂ値のうちの最大のもの（最大ＲＧＢ）を出力する。３０１：輝度変換器、システムが現在機能する例えばＲｅｃ．２０２０のような色定義標準に従って色の輝度を算出する。３０２：除算器、Ｌ／ｍａｘ（Ｒ、Ｇ、Ｂ）としてＬｍａｘ（ｘ，ｙ）を生じる。３０７：最大ＲＧＢ上でマッパーとして実際に機能する輝度マッパーで、ｍ＊＝ＴＭ（ｍａｘＲＧＢ）を生じ、ＴＭはＦ＿ｃｔの輝度変換部を定める関数である。３０８：乗算器、Ｌ＊＝（ｍ＊）×Ｌｍａｘ（ｘ，ｙ）を生じる。３１０：ゲイン決定ユニット、本実施形態においては実際には除算器であり、ｇ＝Ｌ＊／Ｌ、すなわち入力ＳＤＲ相対輝度Ｌで割った出力ＨＤＲ相対輝度を算出する。３１１は３つの色成分Ｒ、Ｇ、Ｂを同じｇ係数に乗算するように構成された乗算器である。
【発明の概要】
【発明が解決しようとする課題】
【００１８】
この回路はいくつかの色符号化に適切である。しかしながら理想的には通常のＳＤＲ符号化が一般的には使用されているので、その通常のＳＤＲ符号化の中で機能してほしい。Ｉｍ＿ＬＤＲはＨＥＶＣ復号化器２０７から生じるので、通常は非線形のＹ’ＣｂＣｒ符号化の中にある（ここで、非線形性はほぼ平方根、すなわち一定でない輝度の問題は無視して、およそＹ’＝ｓｑｒｔ（Ｌ）と仮定できる）。そのような新規のＳＤＲ伝達ＨＤＲビデオ符号化に対するさらなる問題（又は上に説明されているように実際は少なくともＳＤＲ及びマスターＨＤＲの外観を含む一連の評価）は、状況によっては係数Ｃｂ及びＣｒは空間的に、例えば４：２：０符号化においてサブサンプリングされているという事実である。それは、１００ｎｉｔの表現には色誤差は大きく表れないだけでなく、上に説明した技術においてＩｍ＿ＲＨＤＲを再現するための色変換（又はＩｍ３０００ｎｉｔに調整されたディスプレイ）があるために、ＳＤＲにおいてはさほど問題ではなかったが、それは単にＳＤＲビデオ符号化例においては存在しないということである。（復号化側においてピクセル毎のフル解像度の正しいＲＧＢ値を持たないために）間違ったＲＧＢ値を有する場合、このことはＴＭ関数の間違った個所を読み取ることにつながり、換言すれば図３の復号化器の間違ったｇ係数を取得することにつながる。すなわちＳＤＲの色を著しく間違って増加させたり減少させたりする危険を冒すことがあり、例えば物体の境界において見える可能性のあるアーティファクトを与え、十分正確なＩｍ＿ＲＨＤＲの再現をしない。
【課題を解決するための手段】
【００１９】
より近い近似のアーティファクトのないマスターＨＤＲ画像の再現は、復号化器装置及び対応する符号化器に対していくらかの修正を行うことに同意することで得ることができる。具体的には、時間的に連続した高ダイナミックレンジ画像（Ｉｍ＿ＲＨＤＲ）のセットを、ピクセルの色がルマ値（Ｙ’４Ｌ）及びクロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）のセットである符号化された入力画像から復号化し、出力するように構成されたビデオ復号化器装置（２２０）を有することにより得ることができ、クロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）はルマ値（Ｙ’４Ｌ）に比べて空間的にサブサンプリングされており、ビデオ復号化器装置は、
符号化された低ダイナミックレンジ画像を符号化されていない低ダイナミックレンジ画像（Ｉｍ＿ＲＬＤＲ）へと復号化するように構成されたビデオ復号化器（２０７）と、
低ダイナミックレンジ画像（Ｉｍ＿ＲＬＤＲ）のクロミナンス値をルマ値の解像度までアップスケールするように構成された第１及び第２の空間アップスケーラ（５０１、５０２）と、
低ダイナミックレンジ画像（Ｉｍ＿ＲＬＤＲ）の各ピクセルに対してルマ値及びクロミナンス値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現（Ｒ’４，Ｇ’４，Ｂ’４）に変換するように構成された色変換器（５０３）と、
各ピクセルに対して、３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値（ｍ）を出力するように構成された最大値算出ユニット（５０４）と、
対応する高ダイナミックレンジ出力画像（Ｉｍ＿ＲＨＤＲ）の輝度又はルマが得られるように処理される低ダイナミックレンジ入力画像（Ｉｍ＿ＲＬＤＲ）のうちの１つの低ダイナミックレンジ入力画像の輝度又はルマ間の関係を定める輝度マッピング関数（ＴＭ）を受信するように構成され、各ピクセルに対して、最大値（ｍ）に輝度マッピング関数を適用して、出力最大値（ｍ＊）を得るように構成された輝度マッピングユニット（５０５）と、
各ピクセルに対して出力最大値（ｍ＊）を最大値（ｍ）で割ることによってゲイン値（ｇ）を得るように構成されたゲイン係数算出部（５０６）と、
ゲイン値を低ダイナミックレンジ画像のクロミナンス値の解像度まで空間的にダウンスケールするように構成された第１及び第２空間ダウンスケーラ（５０７、５０８）と、
各ピクセルに対して、決定された各ゲイン値（ｇ）で、処理される低ダイナミックレンジ入力画像（Ｉｍ＿ＲＬＤＲ）のルマ値及びクロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）を乗算するように構成され、クロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算器（５０９、５１０、５１１）と
を含む。
【００２０】
符号化されていない画像は、通常既知のフォーマット、すなわちＹ’ＣｂＣｒで表せ、ここで、Ｙ’は非線形のＲ’Ｇ’Ｂ’係数から算出することができるルマであり、一般性を失うことなく線形ＲＧＢ係数の平方根であると仮定する。これはそのようなフォーマットはＤＣＴ系、すなわちＨＥＶＣのようなＭＰＥＧタイプのビデオ符号化と同様のビデオ圧縮器において通常使用されるものであるからである。正確な方程式は使用される色定義、すなわち具体的にはその原色に依存する。説明のために好適なＲｅｃ．２０２０が使用されると仮定し、この場合の関係は以下のように表せる。
Ｙ’＝０．２６２７Ｒ’＋０．６７８０Ｇ’＋０．０５９３Ｂ’（概してＹ’＝ａＲ’＋ｂＧ’＋ｃＢ’となり、例えばＰ３  ＲＧＢ表色系、又はＲｅｃ．７０９等が使用される場合はａ、ｂ、ｃには他の値が入る）
Ｃｂ＝（Ｂ’−Ｙ’）／１．８８１４
Ｃｒ＝（Ｒ’−Ｙ’）／１．４７４６
【００２１】
４：２：０空間サブサンプリング又はダウンスケーリングの例のみを説明するが、ＣｂＣｒ成分は水平及び垂直方向の両方において輝度Ｙ’の半分の解像度を有し、すなわち他のサブサンプリング状況は必要な変更を加えて、例えば４：２：２などで取り扱われることが当業者に理解できるように、クロミナンス成分画像は４：４：４フル解像度符号化において１／２×１／２サイズを有する。
【００２２】
復号化／受信側において、入力画像（最終的には完全品質、すなわちＨＤＲディスプレイに画像を供給する必要がある場合フル４：４：４解像度ＨＤＲ画像になる必要がある）、及びこれに対するアップスケーリングはＬＤＲに対してはいつも通りであることは問題であり、これは画像において符号化されている内容と比色変換との間の相互作用によるもので、また基本的に色依存色変換を行うのに必要なすべての情報は必ずしも受信端にはないので、ＨＤＲ画像が必要であるときはこの問題は些細なことではない。
【００２３】
しかしながら、符号化−復号化技術体系を巧みに設計すれば、安定した高品質の解決手段に到達することができる。
【００２４】
必要とされていることは、アップスケーラは好適には良質のアップスケーリングを行うが、より重要なのは、ここでの他のダイナミックレンジ画像へ変換するための色変換の確立及び実施の前のアップスケーリングは、復号化器が使用しているのと符号化器において同じであるということである。そのことはＭＡＳＴ＿ＨＤＲのためのＩｍ＿ＬＤＲを生成する関数色変換及びその逆関数は同じ（逆であるが）であることができ、すなわちＭＡＳＴ＿ＨＤＲはＩｍ＿ＲＨＤＲとして厳密に再現することができることを保証する。これにより、潜在的にいくつかのシナリオのいくつかの空間的位置において間違ったゲイン値を導くのではなく、適用される２Ｄゲイン画像において正しいゲイン値を導く。
【００２５】
適切な輝度のスケーリングは線形の赤、緑、青の係数の任意のべき関数、例えば平方根、又は同じべきの２つのそのような成分の加法若しくは減法的な組み合わせ上で生じるが、色域の中に留まる特性を可能にするために、色域の中で色が存在する場所の評価（すなわち、例えば３Ｄ色域の安全に中間、又は頂点近く、換言すればそのクロミナンスに対して最大で到達可能な輝度）は、本技術においては３つの非線形な赤、緑、青の色成分の最大のものに取り組むことでなされる（通常、ＯＥＴＦ又は符号割り振りべき数値０．５と共に、純粋なべきとして好適に定義され、すなわちＲ’＝ｐｏｗｅｒ（Ｒ，０．５）、及び他の色成分に対しても同様の式で、Ｒ及びＲ’の両方の全範囲標準化された［０．０，１．０］表現になる）。０．５の代わりに、例えば１／（２．４）又はその他の値も使用することができる。その後色変換はゲイン係数と呼ばれる係数を有する乗算的手順として定式化することができ、それにより、ゲイン係数が１．０より小さい、例えば０．３の場合、実際に標準化された色域において相対輝度を暗くすることを当業者は理解すべきである。もう１つの部分は復号化器が今、入ってくるＹ’４Ｌ、Ｃ’ｂ０Ｌ、Ｃ’ｒ０Ｌ、トリプレットの各々に対して、入ってくる際に正しいゲインを確立するところである。したがってルマがあるときは毎回、対応する適切なゲイン値により乗算され、クロミナンスが利用可能なときも毎回、正しいゲイン値により乗算される。これは、各シナリオに対して正しくサブサンプリングされたゲイン値画像を有することに一致し、ＳＤＲからＨＤＲへの変換は、実際にはサブサンプリングされた、入ってくるＬＤＲ画像Ｉｍ＿ＲＬＤＲに対して、どのようなフォーマットにおいてでも直接行うことができることを意味する。後ほどアップスケーリングは同じＨＤＲ表現で起こり、再度具体的な問題なしに、例えばＳＭＰＴＥ  ＳＴ２０８４逆ＥＯＴＦで定義される４：４：４Ｒ’’Ｇ’’Ｂ’’表現への変換が行われる。
【００２６】
符号化された低ダイナミックレンジ画像の復号化により、ピクセルの色がルマ値及びクロミナンス値で表現されるフォーマットで符号化されていない低ダイナミックレンジ画像が供給され、クロミナンス値はルマ値に比べて空間的にサブサンプリングされている。ピクセルの色は具体的には１つのルマ値と２つのクロミナンス値とによって表される。ルマ値の解像度は通常低ダイナミックレンジ画像のピクセル解像度と同じである。クロミナンス値の解像度は低ダイナミックレンジ画像の解像度よりも低く、それゆえ通常低ダイナミックレンジ画像のピクセル解像度よりも低い。クロミナンス値は通常、低ダイナミックレンジ画像の複数のルマ値／ピクセルに共通である。
【００２７】
高ダイナミックレンジ画像は同様にピクセルの色がルマ値又はクロミナンス値で表現されるフォーマットで表される。
【００２８】
最大値ｍ、出力最大値ｍ＊、及びゲイン値は（符号化されていない）低ダイナミックレンジ画像の各ピクセルに対して決定され、（符号化されていない）低ダイナミックレンジ画像の各ピクセルは対応するゲイン値を乗算される。低ダイナミックレンジ画像は具体的には符号化されていない低ダイナミックレンジ画像を指す。与えられたルマ値及びクロミナンス値のためのそれぞれのゲイン値は、ゲイン係数算出部によって決定される値から値の位置に対して決定されるゲイン値である。ピクセルのルマ値に対して、それぞれのゲイン値は通常そのピクセルに対して決定されるゲイン値である。（ピクセル解像度よりも低い解像度を有する）クロミナンス値に対して、それぞれのゲインは第１又は第２空間ダウンスケーラによりクロミナンス値の位置に対して決定されたゲインである。
【００２９】
クロミナンス係数のアップスケーリングを、高ダイナミックレンジ画像を一連の符号化された低ダイナミックレンジ画像として符号化したビデオ符号化器において使用されているアップスケーリングと同じになるように調整することは発明者の重要な識見であった。このことはそのようなダイナミックレンジ変換技術において初めて生じる具体的な問題であると考えられる。
【００３０】
第１及び第２空間アップスケーラ（５０１、５０２）が少なくとも２つの異なるアップスケーリングアルゴリズムを適用するためにプログラム可能であり、現在入力されている符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）のセットを復号化するために使用するアップスケーリングアルゴリズム（ＩＮＴＳＴＲ１）を受信するように構成されるビデオ復号化器を有することは有利である。異なるアップスケーリング（及びダウンスケーリング）アルゴリズムを有する理由はいくつかあり、例えば高解像度の輝度サンプルと共に位置するサブサンプリングされたクロミナンス値を持つよう決定したあらゆる理由による場合、又は輝度が存在しないなどの中間の新たな場所における場合、サブサンプリングが垂直又は水平なすべてが異なる方向で使用される場合などがある。通常、これは各ビデオに対して同じであるべきであるが、例えばテレビが別のチャンネルに切り替わる際などに変化する。具体的なアップスケーリングアルゴリズム（及び好適には決まっていない場合のゲイン値用に使用したダウンスケーリングアルゴリズムでもある）は、正確なダイナミックレンジ変換のために必要とされているので、符号化器において使用されたものと全く同じものに強引にすることができるのは有利である。符号化器は実際にアルゴリズムを符号として伝達する必要はなく、通常は再スケーリング法のタイプの指標ＩＮＴＳＴＲ１においてどのタイプの補間法が使用されたのかが示され、例えばクロミナンスの中間の欠損値がそれらの隣からコピーされるか、又は隣から重み付き組み合わせとして等式化されるなどして、その後メタデータ、例えばＳＥＩメッセージとして伝達されるＩＮＴＳＴＲ１＝２は、例えばすべての復号化器によって一般に直接左及び右のＣｒ又はＣｂの値を各々１／２の重みで重みづけするものであると解釈される。原則として、２つのアップスケーリング又はダウンスケーリングアルゴリズムは２つのクロミナンスに対して異なるが、通常両方のクロミナンス成分は同様に定義され、すなわちそれらのアップスケーリング又はダウンスケーリングアルゴリズムは同じになり、ＩＮＴＳＴＲ１は１つだけ必要である。より単純な場合、ダウンスケーリングはルマサンプルと共に位置するクロミナンス係数が共に位置する場合単純にドロッピングであり、すなわちルマ及び２つのクロミナンスの両方がピクセルの位置に存在する場合、それら３つすべては同じゲイン値で乗算されるが、ルマのみが使用できる場合はこのルマはその位置に対して適用及び算出可能なゲイン値で乗算されるがクロミナンス値はそこに存在しないため乗算されない。しかし一般的には、ゲイン係数用にダウンスケーリングアルゴリズムに組み入れられている補間戦略があるため、ルマ用のゲイン値が実際にはクロミナンス用のゲイン値とはやや異なるが、通常両方のクロミナンスは同じゲイン値を有する実施形態もあり得る。処理回路のその部分に彩度調整戦略を組み入れることもできるが、基本的な新しい概念の説明に必要とされているものの外側で考える。
【００３１】
ビデオ復号化器装置（２２０）が高ダイナミックレンジ画像（Ｉｍ＿ＲＨＤＲ）の出力のセットを、０．５（又は１／（２．４））の逆ガンマと共に定義されるＹ’ＣｂＣｒ表現から高ダイナミックレンジＲＧＢ色表現へと変換するように構成された色変換器（５１２）を含む場合はさらに有利である。例えば、正しく最適に格付けされた高ダイナミックレンジＲＧＢ色成分を既に有する接続済みディスプレイを駆動することは有利である。このディスプレイは、例えばＨＤＲ１０、又は任意のＨＤＲ−ＯＥＴＦ系において定義されるピクセルの色、例えば、ＬＣＤバルブ、又はＯＬＥＤサブピクセルなどで実現できる局所的な色の寄与を確立するために必要な加法的原色ＲＧＢ色チャンネルの１０又は１２ビット表現を認める。これは、ビデオ復号化器が存在する両方の任意の中間装置、及び／又は接続済みのディスプレイがすべての種類のさらなる色変換、色最適化等を行うことを制限する意図はなく、いくつかの実施形態において復号化器は、セットトップボックス、ブルーレイプレイヤー、コンピュータ、ＨＤＲ映写機に供給するためのプロ用映画ＨＤＲビデオ受信器、ビデオ監視システム内の画像事前分析システム、ビデオ通信又はテレプレゼンスシステム、ＨＤＲ出力付き医療システム等のような中間装置の必要がなく、例えば直接テレビ又はモバイルデバイス内に存在する。
【００３２】
例として、ビデオ復号化器装置（２２０）は、ＳＭＰＴＥ  ２０８４で定められているように光電子変換関数（ＯＥＴＦ）で定義されているＲＧＢピクセル色で表された高ダイナミックレンジ画像の赤、緑、及び青の色成分（Ｒ’’，Ｇ’’，Ｂ’’）を最終出力として出力する。
【００３３】
時間的に連続した高ダイナミックレンジ画像（Ｉｍ＿ＲＨＤＲ）のセットを、ピクセルの色がルマ値（Ｙ’４Ｌ）及びクロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）のセットである符号化された入力画像から復号化し、出力するように構成されたビデオ復号化方法を有利に有し、クロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）はルマ値（Ｙ’４Ｌ）に比べて空間的にサブサンプリングされており、ビデオ復号化方法は、
符号化された低ダイナミックレンジ画像を符号化されていない低ダイナミックレンジ画像（Ｉｍ＿ＲＬＤＲ）へと復号化することと、
低ダイナミックレンジ画像（Ｉｍ＿ＲＬＤＲ）のクロミナンス値をルマ値の解像度までアップスケールすることと、
低ダイナミックレンジ画像（Ｉｍ＿ＲＬＤＲ）の各ピクセルに対してルマ値及びクロミナンス値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現（Ｒ’４，Ｇ’４，Ｂ’４）に変換することと、
各ピクセルに対して、３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値（ｍ）を算出することと、
処理されて対応する高ダイナミックレンジ出力画像（Ｉｍ＿ＲＨＤＲ）の輝度を得る低ダイナミックレンジ入力画像（Ｉｍ＿ＲＬＤＲ）の１つの輝度間の関係を定める輝度マッピング関数（ＴＭ）を受信することであって、各ピクセルに対して、最大値（ｍ）に輝度マッピング関数を適用し、出力最大値（ｍ＊）を生じる、受信することと、
各ピクセルに対して出力最大値（ｍ＊）を最大値（ｍ）で割ることによってゲイン値（ｇ）を算出することと、
ゲイン値を低ダイナミックレンジ画像のクロミナンス係数値の解像度まで空間的にダウンスケールすることと、
各ピクセルに対して、決定済みの各ゲイン値（ｇ）と共に処理される符号化されていない低ダイナミックレンジ入力画像（Ｉｍ＿ＲＬＤＲ）のルマ値及びクロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）を乗算することであって、クロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算することと、を有する。アップスケーリングがプログラム可能であり、少なくとも２つの異なるアップスケーリングアルゴリズムを適用できる、請求項５に記載のビデオ復号化方法を有利に有し、現在入力されている符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）のセットを復号化するために使用する受信されたアップスケーリングアルゴリズム（ＩＮＴＳＴＲ１）を適用する。
【００３４】
ビデオ作製側において、時間的に連続した高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）のセットを、ピクセルの色がルマ値（Ｙ’４Ｌ）及びクロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）のセットである符号化された画像へと符号化するように構成されたビデオ符号化器（２２１）を有し、クロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）はルマ値（Ｙ’４Ｌ）に比べて空間的にサブサンプリングされており、ビデオ符号化器は、
高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのクロミナンス値（Ｃ’ｂ４，Ｃ’ｒ４）を高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのピクセルの色のサブサンプリングされたクロミナンス値（Ｃ’ｂ０，Ｃ’ｒ０）へとサブサンプリングするように構成された空間ダウンスケーラ（４０５）と、
サブサンプリングされたクロミナンス値（Ｃ’ｂ０、Ｃ’ｒ０）を高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのルマ値（Ｙ’４）の解像度までアップスケールするように構成された第１及び第２空間アップスケーラ（４０６、４０７）と、
高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つの各ピクセルに対してルマ値及び高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのピクセルの色のアップスケールされたクロミナンス値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現（Ｒ’４，Ｇ’４，Ｂ’４）に変換するように構成された色変換器（４０８）と、
各ピクセルに対して、３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値（ｍ）を出力するように構成された最大値算出ユニット（４０９）と、
符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）として符号化される対応する低ダイナミックレンジ入力画像（Ｉｍ＿ＬＤＲ）の１つの輝度と、符号化されている高ダイナミックレンジ出力画像（ＭＡＳＴ＿ＨＤＲ）の輝度との間の関係を定義する輝度マッピング関数（ＴＭ）を受信するように構成され、各ピクセルに対して、最大値（ｍ）に輝度マッピング関数を適用し、出力最大値（ｍ＊）を生じるように構成された輝度マッピングユニット（４１０）と、
各ピクセルに対して出力最大値（ｍ＊）を最大値（ｍ）で割ることによってゲイン値（ｇ）を得るように構成されたゲイン係数算出部（４１１）と、
算出されたゲイン値を高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのピクセルの色のサブサンプリングされたクロミナンス値（Ｃ’ｂ０，Ｃ’ｒ０）の解像度まで空間的にダウンスケールするように構成された第１及び第２空間ダウンスケーラ（４１２，４１３）と、
各ピクセルに対して、決定済みの各ゲイン値（ｇ）を有するサブサンプリングされたクロミナンス値（Ｃ’ｂ０，Ｃ’ｒ０）とルマ値とを乗算するように構成され、サブサンプリングされたクロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算器（４１４，４１５，４１６）と
を含む。
【００３５】
高ダイナミックレンジ画像はピクセルの色がルマ値及びクロミナンス値で表現されるフォーマットで表される。ピクセルの色は具体的には１つのルマ値と及び２つのクロミナンス値で表され、すなわちピクセルの色は１つの輝度チャンネル及び２つのクロミナンスチャンネルで表される。高ダイナミックレンジ画像用のルマ値及び（サブサンプリング前の）クロミナンス値の解像度は通常、高ダイナミックレンジ画像のピクセル解像度と同じである。サブサンプリング／ダウンスケーリングの後の高ダイナミックレンジ画像のクロミナンス値の解像度は高ダイナミックレンジ画像のピクセル解像度よりも低く、それゆえ通常高ダイナミックレンジ画像のピクセル解像度よりも低い。サブサンプリングされたクロミナンス値は通常、低ダイナミックレンジ画像の複数のルマ値／ピクセルに共通である。
【００３６】
最大値ｍ、出力最大値ｍ＊、及びゲイン値は高ダイナミックレンジ画像の各ピクセルに対して決定され、高ダイナミックレンジ画像の各ピクセルは対応するゲイン値で乗算される（複数のピクセルに共通なサブサンプリングされたクロミナンス値に対して、乗算は１度のみ実施され、すなわち単一の共通の乗算が複数のピクセルに対するクロミナンス値及びゲイン値の乗算を実施することが理解される）。与えられたルマ値及びクロミナンス値のためのそれぞれのゲイン値は、ゲイン係数算出部によって決定される値から値の位置に対して決定されるゲイン値である。ピクセルのルマ値に対して、それぞれのゲイン値は通常そのピクセルに対して決定されるゲイン値である。（ピクセル解像度よりも低い解像度を有する）クロミナンス値に対して、それぞれのゲインは第１又は第２空間ダウンスケーラによりクロミナンス値の位置に対して決定されたゲインである。
【００３７】
第１及び第２空間アップスケーラが、すべての復号化器によって使用されて符号化された低ダイナミックレンジ画像のセットが供給されることが事前に合意されている、決まったアップスケーリングアルゴリズムを適用することが決められているビデオ符号化器を有することは有利である。
【００３８】
有利なことに、第１及び第２空間アップスケーラ（４０６、４０７）はすべての復号化器によって使用されて符号化された低ダイナミックレンジ画像のセット（Ｉｍ＿ＣＯＤ）が供給されることが事前に合意されている、決まったアップスケーリングアルゴリズムを適用することが決められている。
【００３９】
時間的に連続した高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）のセットを、ピクセルの色がルマ値（Ｙ’４Ｌ）及びクロミナンス値（Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ）で表されるフォーマットをとる、符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）のセットである符号化された画像へと符号化するように構成されたビデオ符号化方法を有利に有し、クロミナンス値はルマ値（Ｙ’４Ｌ）に比べて空間的にサブサンプリングされており、ビデオ符号化方法は、
符号化されている高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのクロミナンス値（Ｃ’ｂ４，Ｃ’ｒ４）を高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのピクセルの色のサブサンプリングされたクロミナンス値（Ｃ’ｂ０，Ｃ’ｒ０）へと空間的にサブサンプリングすることと、
サブサンプリングされたクロミナンス値（Ｃ’ｂ０，Ｃ’ｒ０）を高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのルマ値（Ｙ’４）の解像度までアップスケールすることと、
高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つの各ピクセルに対してルマ値及び高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのピクセルの色のアップスケールされたクロミナンス値を、３つの非線形Ｒ’Ｇ’Ｂ’カラー値を含む非線形のＲ’Ｇ’Ｂ’表現（Ｒ’４，Ｇ’４，Ｂ’４）に変換することと、
各ピクセルに対して、３つの非線形Ｒ’Ｇ’Ｂ’カラー値の最大値（ｍ）を算出することと、
符号化された低ダイナミックレンジ画像（Ｉｍ＿ＣＯＤ）として符号化される対応する低ダイナミックレンジ入力画像（Ｉｍ＿ＬＤＲ）の１つの輝度と、符号化されている高ダイナミックレンジ出力画像（ＭＡＳＴ＿ＨＤＲ）の輝度との間の関係を定義する輝度マッピング関数（ＴＭ）を受信することであって、各ピクセルに対して、最大値（ｍ）に輝度マッピング関数を適用し、出力最大値（ｍ＊）を生じる、受信することと、
各ピクセルに対して出力最大値（ｍ＊）を最大値（ｍ）で割ることによってゲイン値（ｇ）を算出することと、
算出されたゲイン値を高ダイナミックレンジ画像（ＭＡＳＴ＿ＨＤＲ）の１つのピクセルの色のサブサンプリングされたクロミナンス値（Ｃ’ｂ０，Ｃ’ｒ０）の解像度まで空間的にダウンスケールすることと、
決定済みの各ゲイン値（ｇ）を有するサブサンプリングされたクロミナンス値（Ｃ’ｂ０，Ｃ’ｒ０）とルマ値とを乗算することであって、クロミナンス値に対する各ゲイン値はダウンスケールしたゲイン値である、乗算することと
を有する。
【００４０】
本願の新規な技術的思想は、接続されたシステム、一般又は専用ネットワーク上で通信される遠隔地上の一部サービス、プロセッサ上で実行する場合にプロセッサが上記の方法クレームの１つのすべての方法のステップを実行できるようにする符号を含むコンピュータプログラム製品、符号化器及び復号化器の両方において使用されなければならないアップスケーリングアルゴリズムを独自に明示するコード化ＩＮＴＳＴＲ１を含む任意のビデオ信号コード化などの様々な形式で具体化され、適用できる場合コード化ＩＮＴＳＴＲ１＊はゲイン値用のダウンスケーリングアルゴリズム等と等しい。
【００４１】
本発明による方法及び装置のこれら及びその他の態様は以下に説明する実装及び実施形態から明らかであり、該実装及び実施形態を参照して、また添付図面を参照して説明され、添付図面は単により一般的な概念を例示する非限定的な特定の説明図として機能し、添付図面内において破線は構成要素が任意であることを示すために使用されており、破線でない構成要素は必ずしも必須ではない。破線はまた、必須であると説明されるが、物体の内部に隠れている要素を示すため、又は例えば物体／領域の選択肢（及びそれらがディスプレイ上でどのように表現されるか）などの実体のないもののためにも使用することができる。
【図面の簡単な説明】
【００４２】
【図１】高ダイナミックレンジ画像を、対応する最適に色評価された同様の外観（第１及び第２ダイナミックレンジであるＤＲ＿１又はＤＲ＿２における所望の実行可能な与えられた差異と同様）に最適にマッピングするときに起こる多数の通常の色変換を模式的に示した図であり、可逆性の場合にＨＤＲ場面のＬＤＲ画像をその場面のＨＤＲ画像へとマッピングすることにも対応する。
【図２】高ダイナミックレンジ画像、すなわち少なくとも通常４００ｎｉｔ以上の輝度を有することができる画像を符号化する技術であって、出願人が最近開発し、実際にＨＤＲ画像をＬＤＲ画像プラスメタデータとして伝達し、少なくともピクセルの色に対する適切な決定済みの輝度変換を含む色変換関数を符号化し、復号化器によって使用され受信されたＬＤＲ画像を、画像作成側において作成された元のマスターＨＤＲ画像への忠実な再現であるＨＤＲ画像と変換する技術を模式的に示した図である。
【図３】画像物体又はピクセルの輝度が、入力画像のダイナミックレンジとは異なり、具体的にはより大きいダイナミックレンジの画像において必要とされるものにより適合するようにするため、それらを変更するように色域内の色（すなわち色度）維持輝度変換を可能にするために使用することができる、特定のタイプの状況に対してうまく機能する、出願人の技術の第１バージョンを模式的に示した図である。
【図４】ビデオ復号化器のダイナミックレンジ変換を計算するための新規に発明された比色分析コア部（４００）を模式的に示した図である。
【図５】符号化器のマスターＨＤＲ画像に対応する低ダイナミックレンジ画像へのダイナミックレンジ変換を計算するための新規に発明された比色分析コア部（５００）であって、ＨＥＶＣのような組み込み済みの従来のビデオ圧縮技術、それに基づくさらなるビデオ通信技術、又は将来の同様のビデオ圧縮技術と共に機能するのに適している比色分析コア部（５００）を模式的に示した図である。
【図６】サブサンプリングされた色度を輝度の解像度までアップサンプリングするための可能性のある２つのアルゴリズムを模式的に示した図である。
【発明を実施するための形態】
【００４３】
図４は新しい符号化器をどのように構築するかの通常の例示の実施形態を示す。マスターＨＤＲ画像はＳＭＰＴＥ  ＳＴ２０８４  ＯＥＴＦによるＲ’’Ｇ’’Ｂ’’色表現において定義されると仮定する。３つの色成分変換ユニット（４０１、４０２、４０３）はこれらの値を平方根で（この説明においては、又はこれに代えて例えば１／（２．４）乗で定義される）ＯＥＴＦ表現で再定義する関数を適用する（すなわち、これをＲ’’Ｇ’’Ｂ’’値の線形の色成分ＲＧＢへ、その後の平方根バージョンのＲ’Ｇ’Ｂ’の第１変換として理解することができるが、これは１つの関数を適用することでなし得る）。色変換器４０４はこれをＹ’ＣｂＣｒフォーマットで変換する。これはＨＥＶＣ符号化器が通常期待することであるが、それはＬＤＲ色表現の構成に強制的に当てはめられたＨＤＲ画像であるため、読者はこれがまだ奇妙な画像であると理解すべきであるが、色処理ユニットの残りの部分はそれを適切に取り扱うので問題ない。その後このピクセルの色のＹ’ＣｂＣｒ表現は例えば４：２：０へとサブサンプリングされた空間サブスケーラ４０５内にあり、すなわちクロミナンス値の７５％を降下させ、ＨＤＲマスター画像のサブサンプリングされた画像表現：Ｙ’４，Ｃ’ｂ０，Ｃ’ｒ０を生じる。
【００４４】
したがってピクセルの色は１つのルマ値及び通常２つの空間的にサブサンプリングされたクロミナンス値を含む、非線形フォーマットで表現された空間サブスケーラ４０５に従う。
【００４５】
その後、所望の変換を実現するための適切なゲインが決定されるダイナミックレンジ変換経路において、この信号は再度アップサンプリングされてダイナミックレンジ変換のための正しい解像度を得る必要がある（輝度は元のフル解像度にあることを思い出されたい）。しかしながらこれは一貫した手法で、復号化器が適用するのとまったく同じ手法で行われることが重要である。高解像度のＹ’ＣｂＣｒ値の「真の」値が何であれ、それはそれほど重要ではなく、符号化器と復号化器とが同じダイナミックレンジ変換を行うことが重要であるので、任意の復号化器／受信器側において完全に可逆的になるようにする（少なくとも語長からのバンディング、ＤＣＴエラーなどのようないくつかの誤差まで）。これは元のマスターＨＤＲ画像が高精度で再現されるのを可能にするが、一方、特に、良いＬＤＲ画質（具体的には通常の非色度維持のダイナミックレンジ変更色処理で起こるような色の不飽和がないもの）のような、このＨＤＲ符号化技術のすべての利点を有し、到達可能な色域内に留まり、クリッピングによる色誤差などを再度回避する。
【００４６】
実際に、説明された手法の具体的な利点は、同じ値に基づき（理想的な符号化／復号化を仮定して）符号化器及び復号化器の両方において処理（アップスケーリング）が実施されるのを可能にすることである。したがって、符号化器におけるダウンサンプリング及び符号化器におけるアップサンプリングに関連する劣化は回避することができ、両方のユニットにおいて全く同じ処理を実施することができる。
【００４７】
正確には、調整されてアップサンプリングされたＹＣｂＣｒ色はその後、色変換器４０８によって非線形のＲ’Ｇ’Ｂ’色に変換される。したがって、ＹＣｂＣｒ表現は非線形であるＲＧＢフォーマットへと変換される。
【００４８】
その後、最大値算出ユニットは、元の又は入力された色のそれら３つの色成分の最高／最大のものを最大値ｍとして決定する。
【００４９】
それとは別に、輝度マッピング又は変換関数ＴＭ（）を決定しており、これは場面を表現しているＨＤＲ画像の物体又はピクセルの輝度をＬＤＲ画像の輝度に変換するのに良い又は妥当な手法である。すなわち、これは通常、可能性のある各入力輝度［０．０，１．０］に対して出力輝度を定義する関数である。局所的な輝度変換も関わっており、すなわち同じ輝度、例えば上側の空の部分には、画像の下側の地面の部分の画素に関して０．４５の輝度がある場合とは異なる出力輝度０．４５を与えるが、この説明のためにグローバル輝度マッピングを単独で仮定する。ダイナミックレンジ変換の色変換において、関数（Ｆ＿ｃｔ）の全体集合の中にも、様々な理由で１つ又は複数の、彩度変更などの色彩変換もあるが（例えば、Ｒｅｃ．画像のうちの１つは、２０２０のＨＤＲ画像、Ｒｅｃ．７０９ＲＧＢ原色のＬＤＲ画像などの異なる色空間にあり、或いはＨＤＲ画像に比べて暗くする必要があるＬＤＲ画像における色の彩度を付加的に上げ、鮮やかさを増す）、本新規概念の説明を簡単にするために、色変換Ｆ＿ｃｔは単一輝度変換関数のみからなると仮定する。この関数が実際に輝度領域に同様に定義される場合、一般性を失うことなく、それが各ＨＤＲの相対輝度（すなわち［０．０，１．０］において）が対応する相対ＬＤＲ輝度にどのようにマッピングされるかを指定する関数であると仮定し、各表現に対するビット量は後の段階、例えばＹ’４Ｌ、Ｃｂ’０Ｌ及びＣｒ’０ＬをＨＥＶＣ符号化器に入れるためにフォーマットする時にも決定可能であり、さらなる複雑化を避けるために浮動小数点数を仮定する。例えば、人間の色評価者が関わる場合、その色評価者が輝度変換関数ＴＭ（）の所望の形状を、色評価ソフトウェアを使用することで指定し、これは例えばＨＤＲ画像において明るい、中間、暗い色用のいくつかのサブ領域を残す三部分の曲線であり、サブ領域はその後曲線の形状において暗に定義されるか、或いはより大きな又は逆に小さなコントラストが必要な入力輝度の小さなサブ領域における形状をさらに微調整する。符号化器が直接のビデオ供給部に接続される場合、例えば実際の放送において、良い輝度マッピングが概略的な手法で以前に確立されており、例えばカメラが場面のより明るい部分と暗い部分との間を移動する場合、又はより明るいサブ領域に沿って回転する場合などでさえ、プログラム全体に対しては十分良いものである。この単純な関数は、例えば多数捉えた通常の画像における輝度の統計に基づいて、人間により、又は自動的にも（部分的に）決定されている。輝度変換関数ＴＭ（）がどのように確立されているかの詳細は、１つあれば十分であるので、本発明又はいつかのその実施形態の説明に対しては重要ではない。
【００５０】
この輝度変換関数ＴＭ（）（領域［０．０，１．０］及び［０．０，１．０］の間）は今、輝度マッピングユニット４０１により最大値ｍに適用され、定義によればこれも［０．０，１．０］の範囲内に入り、対応する出力最大色成分、出力最大値ｍ＊を生じる。
【００５１】
この情報は、ピクセル色が、例えば相対的に明るくされているが、今最大色成分表現されていることを伝える。最終的に色変換を行うために必要なゲイン値は、すなわちすべての３色成分上で、単一の乗算として、ｇ＝ｍ＊／ｍとして算出され、これはゲイン係数算出部４１１において決定される。
【００５２】
第２の問題は、ゲイン値は今再度、Ｙ’４、Ｃ’ｂ０、及びＣ’ｒ０の色成分が入った際にそれらを乗算するために必要とされる解像度（及び潜在的に空間位置）にないことであり、すなわち多少難しいダウンスケーリングを起こす必要があるが、再度符号化器及び復号化器の両方において一貫した手法を取る必要があり、そうでなければまだ変換誤差があり、間違ったＨＤＲピクセル色アーティファクトを導く（もちろん、このダウンスケーリングに対して単一の方法のみが使用される場合、符号化器及び復号化器は定義によりこの態様に関して一貫しているので、いくつかの実施形態においては使用したダウンスケーリングアルゴリズムに関して同期する情報ＩＮＴＳＴＲ１＊はいずれの受信器にも伝達される必要がないが、いずれの場合においてもすべてのサービス提供される復号化器は具体的に使用された符号化器と一貫していることをいつも守るべきであり、これが復号化されるべきＨＤＲビデオを生成した）。
【００５３】
したがって、ダウンスケーラ４１２及び４１３は決定済みのゲイン値を処理してゲイン値の適切なダウンスケーリングを実施する。具体的には、ゲイン値はルマ値の解像度において算出済みのゲイン値の２次元のセットとして決定され、これはダウンスケーラ４１２及び４１３によってクロミナンス値の解像度までダウンスケールされる。したがって、効果的に、フル解像度の「ゲイン画像」がクロミナンス値の解像度までダウンスケールできる（具体例においては１／４にダウンスケーリング）。
【００５４】
結果として生じるゲインは、輝度及び空間サブスケーラ４０５からのダウンサンプリングされたクロミナンス値を乗算する乗算器４１４、４１５、４１６に適用される。したがって、適切なゲイン値は各乗算器４１４、４１５、４１６に対して決定され、これらは色成分が入ってきた際にその色成分を乗算し、最終的にＬＤＲ画像への必要なダイナミックレンジ変換を実現する。
【００５５】
結果として生じるＬＤＲ画像はその後いくつかの可能性のある従来のＤＣＴ系ビデオ圧縮手順で、既に適切なフォーマットになっている画像表現で符号化される（すなわちＹＣｂＣｒ及びサブサンプリングされたクロミナンス成分によって）。これは、今実際のＬＤＲ画像（実際には、Ｒｅｃ．７０９のＯＥＴＦ系フォーマット、又はその良い近似である平方根非線形ＲＧＢ系フォーマットで定義される、従来のＳＤＲ画像）の輝度、及び青又は赤のクロミナンスであるＹ’４Ｌ、Ｃｂ’０Ｌ、Ｃｒ’０Ｌを生じるが、直接見ることができるＬＤＲ画像であるだけではないという点で、ＨＤＲ画像に対応するＬＤＲ画像である（すなわち１００ｎｉｔのＳＤＲテレビ上で見る際に、現在のＨＤＲの場面の良好な視覚品質を与え、例えば暗すぎない暗い部分があるホラー映画において、暗闇の中のすべての動きは識別不可能に近い黒にマッピングされるため、ＳＤＲディスプレイ上にＨＤＲ画像を表現した場合にはこれは起こらない）。しかしまた、このＬＤＲ画像（任意の受信側で圧縮解除されたＩｍ＿ＲＬＤＲ）は、必要な色変換関数（少なくとも１つの輝度変換関数）を含む共に受信されたメタデータ（ＳＥＩ（Ｆ＿ｃｔ））を用いて元の作成されたＨＤＲ画像ＭＡＳＴ＿ＨＤＲの緻密な高品質の再現ＨＤＲ画像Ｉｍ＿ＲＨＤＲへと色変換することができる。
【００５６】
可能性のあるアップスケーリングアルゴリズムの２つの例が図６に示されている。丸は、２つのクロミナンス値が、もちろんルマ値に加えて存在する（４：４：４と呼ぶ最高解像度のフォーマットにおける）ピクセルの位置を示し（すなわちダイナミックレンジ変換の準備をする復号化器又は符号化器のいずれにおいてでも）、すなわちいくつかのピクセル位置においては利用できるクロミナンスがないが、輝度のみがある（四角）。図６Ａは利用できないピクセル位置に対して必要なクロミナンスが隣接位置から値をコピーすることにより決定されるアルゴリズムを説明しており、その隣接位置は矢印で示されている。図６Ｂは代替アルゴリズムを与え、欠損値は隣り合う値の平均として決定され、例えばＣｂ（０，１）＝０．５Ｃｂ（０，０）＋０．５Ｃｂ（０，２）などとなり、ここで（０，０）等は画像中のある位置のピクセル位置座標（ｘ，ｙ）である。
【００５７】
図５は復号化器において輝度ダイナミックレンジ変換を確立するための対応する色変換部を示す（輝度ダイナミックレンジ変換は今、受信した低ダイナミックレンジ画像から必要な時に高ダイナミックレンジ画像まで、Ｉｍ＿ＲＬＤＲへと圧縮解除されるＩｍ＿ＣＯＤであり、例えば５０００ｎｉｔの元のマスター又は３０００ｎｉｔのディスプレイが接続されている場合は３０００ｎｉｔのその同等の自動再評価であり、これは異なるダイナミックレンジ画像がいかに理想的に見えるかを符号化する評価関数中の情報を使用することでも実現できる）。
【００５８】
具体的には、図４の回路から生成されたＳＤＲ信号は、例えばＨＥＶＣ符号化器内で符号化され、受信器／復号化器に送信される。これはルマ値及び空間サブサンプリングされたクロミナンス値で表現されたピクセル色と共にピクセルを提供するＨＥＶＣ復号化器を含み、具体的にはＹ’４Ｌ，Ｃ’ｂ０Ｌ，Ｃ’ｒ０Ｌ（ＬＤＲ又は実際はＳＤＲ）カラー値／色成分を提供する。クロミナンス値はアップスケーラ５０１及び５０２によって空間的にアップスケールされ、既に述べたように符号化器がダイナミックレンジの格下げを確立するために使用したのとまったく同じアルゴリズムを採用する。
【００５９】
ある技術展開において、単一アルゴリズムの可能性がない場合（例えば反対に専用のインターネット系のシステム用のいくつかの復号化器は１つの決まったアップスケーリングアルゴリズムのみを有する１つの決まった符号化器の実施形態のみに適している）、アップスケーラは（例えばあるＣＰＵユニットの制御下で）プログラムされてこのビデオのための受信したＩＮＴＳＴＲ１アルゴリズムタイプの指示に対応するアルゴリズムを採用する（例えばタイプ＃３はアルゴリズムｎｒ．３であり、すなわち当業者はいかに様々な手法で通信できるかを理解する）。換言すれば、アップスケーラ５０１及び５０２によって採用される正確なアップスケーリングアルゴリズムは、符号化器で使用されるアップスケーリングアルゴリズムと同じになるように、画像と共に受信されたデータから決定される。
【００６０】
アップスケールされたフル解像度のＹＣｂＣｒ色はその後入ってくるとピクセル毎に色変換器５０３によって非線形Ｒ’Ｇ’Ｂ’色に変換され、次に最大値ｍが最大値算出ユニット５０５によって算出される。そして輝度マッピング／関数ＴＭ（）が輝度マッピングユニット５０５により最大値に適用される。当業者が理解する通り、これはもちろん逆関数、すなわち符号化器のＳＤＲへの格下げの関数の逆関数のセットであり、関数がＬＵＴで具体化される場合は軸の交換は十分である。ゲイン算出ユニット５０６は、輝度マッピングＴＭにより定義される輝度変換手順を仮定して、この入力色、具体的にはその輝度に対応する適切なゲイン値を決定する。これらのゲイン値は必要に応じて、ダウンスケーラ５０７及び５０８により正しくダウンサンプリングされ、いくつかの実施形態においては、どのアルゴリズムを使用するべきかの受信した指示ＩＮＴＳＴＲ１＊によって異なるアルゴリズムにプログラムされる。その後乗算器５０９、５１０、及び５１１は適切なゲイン値を使用して最終的な色変換を算出し（ｇが輝度、ｇｓがクロミナンスで、いくつかの実施形態においてこれらは同じ値になる）、これは符号化側の格下げの逆関数である受信したＬＤＲ画像に対して、効果的にＨＤＲピクセル色を決定する。
【００６１】
したがって復号化器の手法は符号化器の手法に緻密に対応するが、輝度変換ＴＭ（）は異なり、多くの場合互いの逆関数である。
【００６２】
最終的に、通常ＨＤＲピクセル色は本実施形態においてはＹＣｂＣｒ色表現で算出され、任意の具体的な必要とされる色表現への色変換のために、例えば画像を接続済みのディスプレイ５２０に伝達するために、例えばＨＤＭＩ（登録商標）接続の上などに、任意の色変換器５１２がある。上で述べたように、色変換Ｆ＿ｃｔ、具体的には輝度変換ＴＭは内容作成側からある手法により到達して、例えばＣＰＵが符号化されたＬＤＲ画像に関連するメタデータからそれらを読み取り、例えば光学ディスク又は他のメモリに共に保存されていたり、ネットワーク上で相互伝達されたりする。
【００６３】
説明されたシステムは具体的には、ＨＤＲ及びＳＤＲ画像の両方を効果的に表現する信号を効果的に生成して伝達するための手法を提供する。本手法はＨＤＲ及びＳＤＲ信号の間に適合する、色を維持する手法を含む。さらに、ダイナミックレンジ変換は、ルマ値及び（少なくとも）２つの空間的にサブサンプリングされたクロミナンス値を含む非線形表現に基づくピクセル色に直接適用される。したがって、例えばＷＯ２０１４０５６６７９の手法とは対照的に、現在の手法はフル解像度での線形ＲＧＢ値であるピクセル色による画像の表現に頼らない。
【００６４】
本手法はより良い品質及び／又はより効率の良い処理を可能にする。例えば、ＭＰＥＧ符号化器は通常、例えばＹ’Ｃ’ｂＣ’ｒ  ４：２：０などの非線形色のサブサンプリングされた信号上で機能する。従来、これにはこのフォーマットからフル解像度の線形ＲＧＢ値への変換が必要である。しかしながら、そのような変換は複雑で、高い計算負荷がかかる。それは準最適で画像品質の劣化を招く傾向もある。例えば、クロミナンス成分のサブサンプリングにより、符号化器側で使用されていたものとは異なる復号化器側、特にビデオ信号の端部付近（ＭＰＥＧ符号化器がいくぶん大きめの圧縮誤差を生じ、ゆえに差異を増大する傾向もある）において生成されたＲＧＢ値を結果としてもたらす。この差異は再現されたＨＤＲ信号における目に見える差異（アーティファクト）につながり得る。
【００６５】
しかしながら、現在の手法においては、そのような変換は信号経路において回避することができ、ダイナミックレンジ適合は直接輝度／クロミナンス値に適用され、具体的には直接Ｙ’Ｃ’ｂＣ’ｒ  ４：２：０に適用される。さらに、ゲイン決定経路において適用された変換は、符号化器に存在する同じ値に基づくことができ、復号化器で使用されるのとまったく同じアルゴリズムを使用することができる。このようにして改善された品質を達成できる。
【００６６】
実際には、ＭＰＥＧ又はＪＰＥＧ圧縮の前処理として一般に適用されるクロミナンスのサブサンプリングは符号化器側と復号化器側の処理の間の不一致を生じ、この不一致が再現されたＨＤＲビデオ信号において目に見えるアーティファクトにつながり得ることがわかっている。そのような問題は、ＨＤＲからＳＤＲへの変換及び色表現変換が同じ関数に統合されている、説明済みのシステムにおいて回避又は軽減することができる。この統合はまた、復号化器側で起こるＳＤＲからＨＤＲへの変換の標準化を（復号化仕様の変換部を作成することで）より簡単にする。
【００６７】
本手法は、従来線形ＲＧＢ領域において適用される特定の関数のいくつかは、関数を統合し、様々な関数が実行される順番を変更することにより、非線形のサブサンプリングされた輝度／クロミナンス領域に移植することができるという識見に基づいている。また、本手法はダイナミックレンジ変換がこのようにサブサンプリングされたクロミナンス信号上に適用することができ、（（差異、すなわちＭＰＥＧ圧縮自体により生じる圧縮誤差を無視すると）同じサブサンプリングされたクロミナンスデータは符号化器側及び復号化器側の両方で利用できるため）そのようにすることは符号化器側と復号化器側との間の不一致を除去／低減することができるという識見も反映している。
【００６８】
よって、従来は、符号化器の手法は、ＨＤＲからＳＤＲへの変換が最初に適用される線形のフル解像度ＲＧＢフォーマットのＨＤＲ信号を必要とする。これはその後（クロミナンスのダウンスケーリングを伴う）ＹＣｂＣｒ  ＳＤＲ信号に変換されるＲＧＢ  ＳＤＲ信号を生成する。したがって、ＨＤＲからＳＤＲへの変換はＲＧＢ領域において、フル解像度で実施され、この次に結果として生じたＲＧＢ  ＳＤＲ信号が符号化のためのＹＣｂＣｒ  ＳＤＲ信号に変換される個別の操作が続く。
【００６９】
同様に、補完操作は従来復号化器内で実施された。実際に、受信された復号化画像は、初めにフルスケールのＲＧＢ  ＳＤＲ信号に変換され、その次の独立したＳＤＲからＨＤＲへの変換が続く、クロミナンスがダウンサンプリングされたＹＣｂＣｒ  ＳＤＲ画像である。したがって、復号化器内でも同様に、受信されたクロミナンスのダウンサンプリングされたＹＣｂＣｒ  ＳＤＲ信号は最初にフルスケールのＲＧＢ  ＳＤＲ信号へと変換される。そのときだけＳＤＲからＨＤＲへの変換が実施され、ゆえにダイナミックレンジ変換はフル解像度のＲＧＢ領域において完全に実施される。
【００７０】
現在の手法は、根本的に異なる。実際に、現在の手法において、ＳＤＲ／ＨＤＲ変換は、フルスケールの線形ＲＧＢ領域ではなく、非線形のダウンスケールされた輝度クロミナンス領域において実施される。実際に、ゲイン値が決定され、その後輝度／クロミナンス値に直接適用される。
【００７１】
例えば、図５において、受信したＹＣｂＣｒ値は、ゲイン値によって乗算されてダイナミックレンジ調整済みのＹＣｂＣｒ出力画像を作成する乗算器５０９、５１０、５１１に直接与えられる。さらに、アップスケーリング及びＲＧＢフォーマットへの変換は、本手法においては、ＳＤＲからＨＤＲへの変換の一部として実施されるが、ゲイン決定経路においてのみ実施され、信号経路のどこにおいてもそのような関数が実行されてＨＤＲ画像を生成することはない（しかしもちろんＹＣｂＣｒからＲＧＢへの変換は例においてその後ＨＤＲ領域の中で、ブロック５１２により実施される）。
【００７２】
したがって、現在の例示の手法において、色表現変換の処理、解像度変更、ダイナミックレンジ変更は、個別の独立した順次処理ではなく単一処理の中に緻密に統合されている。さらに、ダイナミックレンジ変換はＲＧＢ領域ではなく輝度及びクロミナンス領域において実施される。またさらに、ダイナミックレンジ変換はダウンスケールされた領域において実施され、実際には通常ルマ値及びクロミナンス値に対して異なる解像度で実施される。
【００７３】
本文において開示されているアルゴリズム成分（全体又は一部）は、実際にはハードウェア（例えば特定用途向けＩＣの部品）として、又は特別なデジタル信号プロセッサ若しくは一般的なプロセッサ等の上で実行されるソフトウェアとして実現される。
【００７４】
当業者は我々の説明から、どの構成要素が任意の改善で、他の構成要素と組み合わせて実現できるか、どのように方法の（任意の）ステップが装置のそれぞれの手段に対応するのか、またその逆についても理解できるはずである。本出願における「装置」という語は最も広い意味で使用され、すなわち具体的な目的の実現を可能にする手段の一群であり、したがって例えばＩＣ（の小さな回路部）、又は（ディスプレイ付きの器具などの）専用器具、或いはネットワーク化されたシステムの一部などであり得る。「装置（ａｒｒａｎｇｅｍｅｎｔ）」も最も広い意味で使用されることが意図されているので、特に単一の装置、装置の一部、連携する装置（の部品）の集合などが含まれる。
【００７５】
コンピュータプログラム製品表現は、（中間言語又は最終プロセッサ言語への翻訳のような中間変換ステップを含む）コマンドをプロセッサに入力し、本発明のあらゆる特徴的な関数を実行するための一連の読み込みステップの後、一般又は専用プロセッサを作動させるコマンド集の任意の物理的実現を含むように理解されるべきである。具体的には、コンピュータプログラム製品は、例えばディスクやテープなどのキャリア上のデータ、メモリ中に存在するデータ、ネットワーク接続を介して有線又は無線で伝達されるデータ、又は紙上のプログラムコードとして実現される、プログラムコードは別として、プログラムに必要な特徴的なデータはコンピュータプログラム製品としても具体化される。
【００７６】
方法の操作に必要なステップのいくつかは、データ入力及び出力のステップのように、コンピュータプログラム製品の中で記述される代わりに既にプロセッサの機能性の中に存在する。
【００７７】
上述の実施形態は本発明を制限するのではなく説明するということに注意されたい。当業者が提示された例の特許請求の範囲の他の領域へのマッピングを簡単に実現できる場合、簡潔のためにこれらすべての選択肢を詳細には述べていない。特許請求の範囲に組み込まれた本発明の要素の組み合わせは別として、他の要素の組み合わせが可能である。要素のあらゆる組み合わせが単一の専用要素において実現することができる。
【００７８】
特許請求の範囲内の丸括弧間の任意の参照符号は特許請求の範囲を限定することを意図していない。「含む」という語は、特許請求の範囲に記載されていない要素又は態様の存在を除外することではない。要素の前にある単語「ａ」又は「ａｎ」は、そのような要素が複数存在することを除外するものではない。
【図１】
2019503623.tif 000003
【図２】
2019503623.tif 000004
【図３】
2019503623.tif 000005
【図４】
2019503623.tif 000006
【図５】
2019503623.tif 000007
【図６Ａ】
2019503623.tif 000008
【図６Ｂ】
2019503623.tif 000009
【国際調査報告】
2019503623.tif 000010
2019503623.tif 000011
2019503623.tif 000012
2019503623.tif 000013