(57)【要約】  ハイダイナミックレンジ画像を表示する際にバンディングアーチファクトを低減するための、方法およびシステムを記載する。第１のダイナミックレンジにおける入力画像と、第１のダイナミックレンジから第２のダイナミックレンジへ符号語をマッピングする入力逆方向再構成関数（第２のダイナミックレンジは第１のダイナミックレンジに等しいか、またはこれよりも高い）とを与えられたとき、これらの入力画像と入力逆方向再構成関数とに基づいて統計データを生成することにより、入力画像に入力逆方向再構成関数を適用することによって生成される第２のダイナミックレンジのターゲット画像における、バンディングアーチファクトのリスクを推定する。第１のダイナミックレンジの暗部とハイライト部とに別々のバンディング緩和アルゴリズムを適用することにより、入力画像に適用されてターゲット画像を生成する際にターゲット画像におけるバンディングを解消または低減する、補正逆方向再構成関数を生成する。
2021524647.tif 000002
【特許請求の範囲】
【請求項１】
ターゲット画像におけるバンディングアーチファクトを低減するための方法であって、
第１のダイナミックレンジから第２のダイナミックレンジへ符号語をマッピングする入力逆方向再構成関数（２０４）（ＢＬＵＴ）を受信する工程であって、前記第２のダイナミックレンジは、前記第１のダイナミックレンジに等しいかまたは前記第１のダイナミックレンジよりも高い、工程と、
前記第１のダイナミックレンジにおける入力画像（２０２）を受信する工程と、
前記入力画像と前記入力逆方向再構成関数とに基づき統計データを生成する工程（２０５）であって、前記ターゲット画像は、前記入力画像に前記入力逆方向再構成関数を適用することによって生成される、工程と、
前記第１のダイナミックレンジを、符号語ビン群へ分割する工程と、
前記第１のダイナミックレンジを、暗領域およびハイライト領域へ分割する工程と、
第１の値と第２の値との差異に基づいて、前記暗領域中の前記ビン群および前記ハイライト領域中の前記ビン群につき、バンディングアーチファクトを有する可能性を表すバンディングリスク値を算出する工程（２１０）であって、前記第１の値は、一切のバンディングアーチファクト無しに前記ターゲット画像を再構築するための符号語数から前記統計データに基づいて算出され、前記第２の値は、前記第２のダイナミックレンジにおいて前記ビン群に割り当てられる符号語数から算出される、工程と、
出力逆方向再構成関数を、
前記ターゲット画像における前記バンディングアーチファクトを低減するために、前記差異が正である前記暗領域および／またはハイライト領域中の前記符号語ビンにおいて、前記入力逆方向再構成関数の傾きを調整することと、
前記ターゲット画像における前記第２のダイナミックレンジを保存するために、前記差異が正ではない前記暗領域および／またはハイライト領域中の残りの符号語ビンにおいて、前記入力逆方向再構成関数の前記調整された傾きを補償することと、
によって生成する工程と、
前記入力逆方向再構成関数を前記出力逆方向再構成関数で置き換える工程と、
を包含する方法。
【請求項２】
前記入力画像はスタンダードダイナミックレンジ画像を含み、前記ターゲット画像はハイダイナミックレンジ画像を含む、請求項１に記載の方法。
【請求項３】
前記ターゲット画像のフルレンジにおける前記差異が正ならば、前記出力逆方向再構成関数は生成される、請求項１または請求項２に記載の方法。
【請求項４】
前記ターゲット画像のフルレンジにおける前記差異が正でないならば、前記出力逆方向再構成関数を生成する工程はスキップされる、請求項１、２または３に記載の方法。
【請求項５】
前記入力画像と前記入力逆方向再構成関数（ＢＬＵＴ）とに基づき統計データを生成する工程は、
前記ターゲット画像における輝度標準偏差値の推定値を、
前記入力画像における輝度値の標準偏差を算出することと、
前記入力逆方向再構成関数（ＢＬＵＴ）に基づき、前記第２のダイナミックレンジにおける対応する輝度標準偏差値を算出することと、
により生成する工程を含む、請求項１から４のいずれかに記載の方法。
【請求項６】
前記輝度値は、ビン群にグループ化され、前記標準偏差は、各ビンにつき算出される、請求項５に記載の方法。
【請求項７】
前記入力画像における輝度値の標準偏差を算出することは、
前記入力画像における輝度値のヒストグラムを算出することと、
前記入力画像を、オーバーラップしないブロック群へ分割することと、
前記画像ブロックの１つ以上について、前記輝度値のブロックベース標準偏差を算出することと、
前記ブロックベース標準偏差に基づき、前記第１のダイナミックレンジにおける各ビンにつき、ビンベース標準偏差値を算出することと、
輝度値の前記ヒストグラムと、前記ビンベース標準偏差値とに基づき、各ビンにつき、正規化されたビンベース標準偏差値を算出することと、
を含む、請求項５または６に記載の方法。
【請求項８】
前記入力逆方向再構成関数（ＢＬＵＴ）に基づいて前記第２のダイナミックレンジにおける対応する標準偏差値を算出することは、
前記第１のダイナミックレンジにおける各ビンにつき、前記入力逆方向再構成関数（ＢＬＵＴ）に基づき、前記第２のダイナミックレンジにおけるその正規化範囲（ｎｏｒｍａｌｉｚｅｄ  ｒａｎｇｅ）を算出することと、
前記第２のダイナミックレンジにおける前記ビンの正規化範囲に基づき、前記正規化されたビンベース標準偏差値をスケーリングすることにより、前記第２のダイナミックレンジの再構築画像における輝度標準偏差値のビンベース推定値を生成することと、
を含む、請求項５または６に記載の方法。
【請求項９】
前記バンディングリスク値を算出する工程は、
前記第１のダイナミックレンジにおける各ビンにつき、
前記第１の値を算出する工程であって、前記第１の値は、前記第２のダイナミックレンジにおいて画像をバンディング無しに適切に再構築するために必要とされる下限の（ｌｏｗｅｒ）符号語数を推定しており、前記推定は、前記第２のダイナミックレンジにおける前記ビンの推定輝度標準偏差に基づく、工程と、
前記第２の値を算出する工程であって、前記第２の値は、前記ビンに対して前記第２のダイナミックレンジにおいて割り当てられる符号語数を算定している、工程と、
前記ビンにおける前記バンディングリスク値を、前記第１の値と前記第２の値との差異として算出する工程と、
を包含する、請求項５から８のいずれかに記載の方法。
【請求項１０】
前記暗領域における前記入力逆方向再構成関数の前記傾きを調整することは、
前記暗領域中の各ビンにつき、
前記ビンにおける前記差異が正ならば、前記入力逆方向再構成関数（ＢＬＵＴ）の前記傾きを低減すること、
を含む、請求項１から９のいずれかに記載の方法。
【請求項１１】
前記入力逆方向再構成関数（ＢＬＵＴ）の前記傾きは、乗数
【数２２】
2021524647.tif 000237
に基づき低減され、ここで
2021524647.tif 000238
は、前記入力画像におけるビンｂ中の符号語数を表し、
2021524647.tif 000239
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000240
は、暗部におけるバンディングを低減するために
2021524647.tif 000241
に加算される、符号語数のセーフティーマージンを表現する第１の定数を表す、請求項１０に記載の方法。
【請求項１２】
前記暗領域における前記入力逆方向再構成関数の前記調整された傾きを補償することは、
前記差異と、第２の定数との和がゼロ以下である各ビンにおいて、前記入力逆方向再構成関数（ＢＬＵＴ）の前記傾きを補償すること、
を含む、請求項１０に記載の方法。
【請求項１３】
前記入力逆方向再構成関数（ＢＬＵＴ）の前記傾きは、乗数 
【数２３】
2021524647.tif 000242
に基づき補償され、ここで
2021524647.tif 000243
は、前記入力画像におけるビンｂ中の符号語数を表し、
2021524647.tif 000244
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000245
は、暗部におけるバンディングを低減するために
2021524647.tif 000246
に加算される、符号語数のセーフティーマージンを表現する前記第２の定数を表し、θは小さい定数値を表す、
請求項１２に記載の方法。
【請求項１４】
あるビンにおける前記差異が負であり、かつ、前記ビンにおける前記差異を前記第２の定数値に加えた前記和がゼロよりも大きいならば、前記ビンにおける入力逆方向再構成関数（ＢＬＵＴ）の前記傾きは一切調整されない、請求項１２に記載の方法。
【請求項１５】
前記ハイライト領域における前記入力逆方向再構成関数の前記傾きを調整することは、
正の差異を有する、前記ハイライト領域中の最小のｓｍａｌｌｅｒ）ビン値に基づき、前記ハイライト領域における緩和範囲の開始値を決定することと、
前記緩和範囲において、既存の逆方向再構成関数（ＢＬＵＴ）の傾きを調整することと、
を含む、請求項１から１４のいずれかに記載の方法。
【請求項１６】
前記ハイライト領域における前記入力逆方向再構成関数の前記調整された傾きを補償することは、
前記緩和範囲における、前記既存の逆方向再構成関数（ＢＬＵＴ）の前記傾きの前記調整による明度損失値を決定することと、
前記第１のダイナミックレンジの開始値と前記緩和範囲の前記開始値との間の前記第１のダイナミックレンジのビン群に亘る回復範囲の開始値を決定することと、
前記明度損失値に基づき、明度保存のための多項式を決定することと、
明度保存のための前記多項式に基づき、前記回復範囲において前記既存の逆方向再構成関数（ＢＬＵＴ）の傾きを調整することと、
を含む、
請求項１５に記載の方法。
【請求項１７】
前記暗領域における前記入力逆方向再構成関数の前記傾きが調整されないならば、前記既存の逆方向再構成関数（ＢＬＵＴ）は、前記入力逆方向再構成関数（２０４）を含み、
そうでなければ、前記既存の逆方向再構成関数は、前記暗領域中の前記符号語ビン群について生成された前記出力逆方向再構成関数（２１７）を含む、
請求項１６に記載の方法。
【請求項１８】
前記緩和範囲中のビンｂにおける前記既存の逆方向再構成関数（ＢＬＵＴ）は、加数（ａｄｄｅｄ  ｆａｃｔｏｒ）
【数２４】
2021524647.tif 000247
に従い調整され、ここで
2021524647.tif 000248
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000249
は、前記ハイライト部におけるバンディングを回避するために
2021524647.tif 000250
に加算される、符号語数のセーフティーマージンを表現する定数を表し、
2021524647.tif 000251
は、前記第１のダイナミックレンジにおけるビンｂに対応する前記第２のダイナミックレンジにおける正規化範囲値を表す、
請求項１５から１７のいずれかに記載の方法。
【請求項１９】
前記回復範囲中の符号語に対する前記既存の逆方向再構成関数（ＢＬＵＴ）は、加数（ａｄｄｅｄ  ｆａｃｔｏｒ）
【数２５】
2021524647.tif 000252
に従い調整され、ここでβは、前記緩和範囲の前記開始値を表し、
2021524647.tif 000253
は、前記既存の逆方向再構成関数（ＢＬＵＴ）の前記傾きを表し、
2021524647.tif 000254
は、前記明度損失値に基づき決定された多項式係数であり、ｓは、前記回復範囲中の符号語を表す、
請求項１５から１７のいずれかに記載の方法
【請求項２０】
前記既存の逆方向再構成関数（ＢＬＵＴ）は、前記回復範囲において
【数２６】
2021524647.tif 000255
として調整され、ここで
2021524647.tif 000256
は、入力符号語ｓに対応する前記調整された逆方向再構成関数（ＢＬＵＴ）値を表し、γは、前記回復範囲の前記開始値を表す、
請求項１９に記載の方法。
【請求項２１】
前記既存の逆方向再構成関数（ＢＬＵＴ）は、前記緩和範囲において
【数２７】
2021524647.tif 000257
として調整され、ここで
2021524647.tif 000258
は、入力符号語ｓに対応する補正逆方向再構成関数（ＢＬＵＴ）値を表し、βは、前記緩和範囲の前記開始値を表し、
2021524647.tif 000259
は、前記入力画像における最大輝度範囲を表す、
請求項１８から２０のいずれかに記載の方法。
【請求項２２】
前記入力逆方向再構成関数（ＢＬＵＴ）は、単調非減少関数（ｍｏｎｏｔｏｎｉｃａｌｌｙ  ｎｏｎ−ｄｅｃｒｅａｓｉｎｇ  ｆｕｎｃｔｉｏｎ）である、請求項１から２１のいずれかに記載の方法。
【請求項２３】
プロセッサを備えており、かつ、請求項１から２１のいずれかに記載の方法を実行するように構成された装置。
【請求項２４】
請求項１から２１のいずれかに記載の方法を１つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は、２０１８年８月１０日付け出願の米国仮特許出願第６２／７１７，０７０号および２０１８年８月１０日付け出願の欧州特許出願第１８１８８４６８．５号に基づく優先権を主張するものであり、各出願の開示内容を全て本願に援用する。
【０００２】
技術
本明細書は、広く画像に関する。より詳細には、本発明のある実施形態は、再構築されたハイダイナミックレンジ（ＨＤＲ）画像におけるバンディングアーチファクト（ｂａｎｄｉｎｇ  ａｒｔｉｆａｃｔｓ）を、スタンダードダイナミックレンジ（ＳＤＲ）からＨＤＲへの再構成関数の適切な適応化によって低減することに関する。
【背景技術】
【０００３】
背景
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚システム（ＨＶＳ）が画像においてある範囲の強度（または明るさ：ｉｎｔｅｎｓｉｔｙ）（例えば、輝度、ルマ）（例えば、最暗のグレー（黒）から最明の白（ハイライト）まで）を知覚する能力に関連し得る。この意味では、ＤＲはシーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
【０００４】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁にわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、視覚ダイナミックレンジ（ＶＤＲ）またはエンハンストダイナミックレンジ（ＥＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。本明細書において、ＶＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＶＤＲまたはＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。
【０００５】
実際において、画像は１つ以上の色成分（例えばルマＹおよびクロマＣｂおよびＣｒ）を有しており、各色成分は、画素あたりｎビットの精度（例えばｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ  ｌｕｍｉｎａｎｃｅ  ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えばカラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジとされ、ｎ＞８の画像はエンハンストダイナミックレンジの画像とされる。ＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば１６ビット）浮動小数点フォーマットを用いて、格納および配信され得る。
【０００６】
ほとんどのコンシューマー用デスクトップディスプレイは現在、２００〜３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ２）に達する。このような従来のディスプレイはしたがって、ＨＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＨＤＲディスプレイ（例えばＤｏｌｂｙ  ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）両方の進化によって、ＨＤＲコンテンツの普及率が高まるにつれ、ＨＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。
【０００７】
従来の画像パイプラインにおいて、キャプチャされた画像は、非線形の光学−電気関数（ｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ  ｆｕｎｃｔｉｏｎ）（ＯＥＴＦ）を用いて量子化される。この関数は、線形のシーン光（ｓｃｅｎｅ  ｌｉｇｈｔ）を非線形の映像信号（例えば、ガンマ符号化されたＲＧＢまたはＹＣｂＣｒ）に変換する。その後、受信器において、ディスプレイに表示される前に、当該信号は、映像信号値を出力スクリーン明度（ｓｃｒｅｅｎ  ｃｏｌｏｒ  ｖａｌｕｅｓ）に変換する電気−光学伝達関数（ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ）（ＥＯＴＦ）によって処理される。このような非線形関数は、ＩＴＵ−Ｒ  Ｒｅｃ．ＢＴ．７０９やＢＴ．２０２０に記載された従来の「ガンマ」曲線、ＳＭＰＴＥ  ＳＴ  ２０８４に記載の「ＰＱ」（知覚的量子化）（ｐｅｒｃｅｐｔｕａｌ  ｑｕａｎｔｉｚａｔｉｏｎ）曲線、およびＲｅｃ．ＩＴＵ−Ｒ  ＢＴ．２１００に記載の「ハイブリッドログガンマ」または「ＨＬＧ」曲線を含む。
【発明の概要】
【０００８】
本明細書において、「順方向再構成」（ｆｏｒｗａｒｄ  ｒｅｓｈａｐｉｎｇ）という用語は、デジタル画像を、その当初のビット深度と、当初の符号語分布または表現（例えばガンマやＰＱやＨＬＧなど）とから、同一または異なるビット深度と、異なる符号語分布または表現とによる画像へ、サンプル対サンプルまたは符号語対符号語でマッピングする処理のことを指す。再構成により、一定のビットレートのもとで、より良い圧縮率またはより良い画質が可能にされる。例えば、限定はしないが、１０ビットまたは１２ビットＰＱ符号化されたＨＤＲ映像に再構成を適用することにより、１０ビット映像符号化アーキテクチャにおける符号化効率を改善することが可能である。受信器において、受信された信号（再構成されていることもあれば、いないこともある）を解凍した後に、当該受信器は、「逆（または逆方向）再構成関数」を適用することにより、信号を当初の符号語分布へ復元し、かつ／または、より高いダイナミックレンジを達成し得る。
【発明が解決しようとする課題】
【０００９】
本明細書において、「バンディング」（また「カラーバンディング」とも呼ばれる）という用語は、変化してゆく輝度の縞として同一色の濃淡が表示される、画像化および映像における視覚的アーチファクトのことを指す。可視な場合、バンディングは目障りであり、低品質な符号化または低品質な表示の指標であるものとしばしば考えられる。本発明者らの理解によると、映像コンテンツ、特にＨＤＲコンテンツを表示する際にバンディングを低減するための、改良技術が望まれる。
【００１０】
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【図面の簡単な説明】
【００１１】
図面の簡単な説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
【００１２】
【図１Ａ】図１Ａは、本発明のある実施形態による、再構成関数を用いるＨＤＲデータのためのシングルレイヤエンコーダの一例を表す。
【図１Ｂ】図１Ｂは、本発明のある実施形態による、図１Ａのエンコーダに対応するＨＤＲデコーダの一例を表す。
【図２】図２は、本発明のある実施形態による、バンディングアーチファクトを低減するためのプロセスの一例を表す。
【図３】図３は、本発明のある実施形態による、バンディングアーチファクトを低減することに関連したパラメータを導出するためのプロセスの一例を表す。
【図４】図４は、本発明のある実施形態による、暗領域におけるバンディングを緩和するプロセスの一例を表す。
【図５】図５は、本発明のある実施形態による、ハイライト領域におけるバンディングを緩和するプロセスの一例を表す。
【図６Ａ】図６Ａは、本発明のある実施形態による、当初のＢＬＵＴと、暗部におけるバンディングを低減する補正ＢＬＵＴとの例を表す。
【図６Ｂ】図６Ｂは、本発明のある実施形態による、当初のＢＬＵＴと、ハイライト部におけるバンディングを低減する補正ＢＬＵＴとの例を表す。
【発明を実施するための形態】
【００１３】
実施形態例の説明
再構成画像マッピング関数の適切な適応化により、ＨＤＲ画像および映像コンテンツにおけるバンディングアーチファクトを低減することを、本明細書に記載する。所与のＳＤＲ画像と逆方向再構成関数とに対し、アップデートされた再構成関数を導出することにより、このアップデートされた再構成関数を入力画像に適用することによって生成される出力ＨＤＲ画像において、バンディングアーチファクトが低減または解消されるようにする。以下の説明においては、便宜上、本発明の様々な実施形態を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明の様々な実施形態を実施可能であることは明白であろう。他方、周知の構造およびデバイスの細かな詳細までは説明しない。
【００１４】
概要
本明細書に記載の実施形態例は、ＨＤＲピクチャにおけるバンディングアーチファクトを低減することに関する。ある実施形態において、エンコーダまたはデコーダは、第１のダイナミックレンジから第２のダイナミックレンジへ符号語をマッピングする入力逆方向再構成関数を受信する。ここで、第２のダイナミックレンジは、第１のダイナミックレンジに等しいかまたは第１のダイナミックレンジよりも高い。エンコーダまたはデコーダはまた、第１のダイナミックレンジにおける入力画像をも受信する。入力画像と入力逆方向再構成関数とに基づき、第２のダイナミックレンジのターゲット画像におけるバンディングアーチファクトのリスクを推定するための、統計データを生成する。ここで、ターゲット画像は、入力画像に入力逆方向再構成関数を適用することによって生成される。第１のダイナミックレンジを暗領域およびハイライト領域へ分割し、統計データに基づいて、暗領域およびハイライト領域におけるバンディングリスクを推定する。バンディングリスク値は、暗領域中のビンおよびハイライト部中のビンにつき、バンディングアーチファクトを有する可能性を表す。バンディングリスク値は、第１の値と第２の値との差異から算出される。第１の値は、一切のバンディングアーチファクト無しにターゲット画像を再構築するための符号語数から、統計データに基づいて算出される。第２の値は、第２のダイナミックレンジにおいてビンに割り当てられる符号語数から算出される。方法は、ターゲット画像におけるバンディングアーチファクトを低減するために、差異が正である暗領域および／またはハイライト領域中の符号語ビンにおいて入力逆方向再構成関数の傾きを調整することと、ターゲット画像における第２のダイナミックレンジを保存するために、差異が正ではない暗領域および／またはハイライト領域中の残りの符号語ビンにおいて入力逆方向再構成関数の調整された傾きを補償することと、により、出力逆方向再構成関数を生成する工程、を含む。
方法はさらに、入力逆方向再構成関数を出力逆方向再構成関数で置き換える工程を含む。この出力逆方向再構成関数を入力画像に適用するとき、生成される出力画像（すなわちターゲット画像）におけるバンディングアーチファクトは低減または解消される。
方法は、エンコーダ側またはデコーダ側において行われ得る。例えば、出力逆方向再構成関数は、エンコーダ側またはデコーダ側にて生成されることができる。
方法をエンコーダにおいて行う場合、出力逆方向再構成関数は、デコーダへ送信（例えばメタデータのビットストリームにより）され得る。方法をデコーダにおいて行う場合、出力逆方向再構成関数をデコーダ側で直接に使用することにより、デコーダ側においてターゲット画像を再構築することが可能である。
例えば、符号化されたターゲット画像を取得するために、データを符号化する前に入力逆方向再構成関数を適用し得る。例えば、バンディングアーチファクト低減を伴った復号化されたターゲット画像を取得するために、データを復号化した後に出力逆方向再構成関数を適用し得る。
ある実施形態において、出力逆方向再構成関数を生成する工程は、暗部バンディング緩和関数および／またはハイライト部バンディング緩和関数を適用することにより、統計データと入力逆方向再構成関数とに基づいて出力逆方向再構成関数を生成することを含む。
ある実施形態において、ターゲット画像のフルレンジにおける差異が正ならば、出力逆方向再構成関数は生成される。
ある実施形態において、ターゲット画像のフルレンジにおける差異が正でないならば、出力逆方向再構成関数を生成する工程はスキップされる。
ある実施形態において、入力画像と入力逆方向再構成関数とに基づき統計データを生成する工程は、入力画像における輝度値の標準偏差を算出することと、入力逆方向再構成関数に基づき第２のダイナミックレンジにおける対応する輝度標準偏差値（または分散値）を算出することとにより、ターゲット画像における輝度標準偏差値（または分散値）の推定値を生成する工程を含む。
ある実施形態において、輝度値はビン群にグループ化され、標準偏差は各ビンにつき算出される。
ある実施形態において、入力画像における輝度値の標準偏差を算出することは、入力画像における輝度値のヒストグラムを算出することと、入力画像をオーバーラップしないブロック群へ分割することと、これらの画像ブロックの１つ以上について輝度値のブロックベース標準偏差を算出することと、ブロックベース標準偏差に基づき、第１のダイナミックレンジにおける各ビンにつき、ビンベース標準偏差値（または分散値）を算出することと、輝度値のヒストグラムと、ビンベース標準偏差値（または分散値）とに基づき、各ビンにつき、正規化されたビンベース標準偏差値（または分散値）を算出することと、を含む。
ある実施形態において、入力逆方向再構成関数に基づいて第２のダイナミックレンジにおける対応する標準偏差値（または分散値）を算出することは、第１のダイナミックレンジにおける各ビンにつき、入力逆方向再構成関数に基づき第２のダイナミックレンジにおけるその正規化範囲（ｎｏｒｍａｌｉｚｅｄ  ｒａｎｇｅ）を算出することと、第２のダイナミックレンジにおける当該ビンの正規化範囲に基づき、正規化されたビンベース標準偏差値（または分散値）をスケーリングすることにより、第２のダイナミックレンジの再構築画像における輝度標準偏差値（または分散値）のビンベース推定値を生成することと、を含む。
ある実施形態において、ハイライト領域における入力逆方向再構成関数の傾きを調整することは、正の差異を有するハイライト領域中の最小の（ｓｍａｌｌｅｒ）ビン値に基づき、ハイライト領域における緩和範囲の開始値を決定することと、緩和範囲において既存の逆方向再構成関数の傾きを調整することと、を含む。
ある実施形態において、ハイライト領域における入力逆方向再構成関数の調整された傾きを補償することは、緩和範囲における、既存の逆方向再構成関数の傾きの調整による明度損失値（ｌｏｓｓ−ｏｆ−ｂｒｉｇｈｔｎｅｓｓ  ｖａｌｕｅ）を決定することと、第１のダイナミックレンジの開始値と緩和範囲の開始値との間の第１のダイナミックレンジのビン群に亘る回復範囲の開始値を決定することと、明度損失値に基づき、明度保存のための多項式を決定することと、明度保存のための多項式に基づき、回復範囲において既存の逆方向再構成関数の傾きを調整することと、を含む。
ある実施形態において、暗領域における入力逆方向再構成関数の傾きが調整されないならば、既存の逆方向再構成関数は入力逆方向再構成関数を含み、そうでなければ、既存の逆方向再構成関数は、暗領域における符号語ビン群について生成された出力逆方向再構成関数を含む。
【００１５】
ＨＤＲ符号化システム例
その開示内容が全て本願に援用される、Ｂ．Ｗｅｎらによる２０１７年１０月４日付け出願の米国特許出願シリアル番号第１５／７２５，１０１号（‘１０１出願）「Ｉｎｖｅｒｓｅ  ｌｕｍａ／ｃｈｒｏｍａ  ｍａｐｐｉｎｇｓ  ｗｉｔｈ  ｈｉｓｔｏｇｒａｍ  ｔｒａｎｓｆｅｒ  ａｎｄ  ａｐｐｒｏｘｉｍａｔｉｏｎ」（米国特許出願公開第Ｕ．Ｓ．２０１８／００９８０９４号として公開）に記載のように、図１Ａおよび図１Ｂは、画像再構成を用いるシングルレイヤ逆ディスプレイマネジメント（ＳＬｉＤＭ）コーデックフレームワークの一例を示している。より詳細には、図１Ａは、上流側の映像エンコーダにおける１つ以上の演算プロセッサで実装されることが可能な、エンコーダ側のコーデックアーキテクチャの一例を示している。図１Ｂは、デコーダ側のコーデックアーキテクチャの一例を示しており、これもまた、１つ以上の下流側の映像デコーダにおいて１つ以上の演算プロセッサで実装され得る。
【００１６】
本フレームワークのもとで、ＳＤＲコンテンツ（１１７）は、エンコーダ側のコーデックアーキテクチャを実装する上流側の符号化デバイスにより、符号化映像信号（１４４）のシングルレイヤ中に符号化され送信される。このＳＤＲコンテンツは、デコーダ側のコーデックアーキテクチャを実装する下流側の復号化デバイスにより、当該映像信号の当該シングルレイヤにおいて受信され復号化される。逆方向再構成メタデータ（ｂａｃｋｗａｒｄ  ｒｅｓｈａｐｉｎｇ  ｍｅｔａｄａｔａ）（１５２）もまた、ＳＤＲコンテンツとともに映像信号中に符号化されて送信され、ゆえにＨＤＲディスプレイデバイスは、ＳＤＲコンテンツと逆方向再構成メタデータとに基づいてＨＤＲコンテンツを再構築することが可能である。
【００１７】
いつくかの実施形態において、図１Ａに例示するように、ＳＤＲ画像（１１７）などの後方互換性を有したＳＤＲ画像が、コーデックフレームワークのエンコーダ側で入力として受信される。ここで、「後方互換性を有したＳＤＲ画像」とは、ＳＤＲディスプレイのために特異的に最適化またはカラーグレーディングされたＳＤＲ画像のことを指し得る。
【００１８】
圧縮ブロック１４２（例えば、ＡＶＣ、ＨＥＶＣ、ＡＶ１などの任意の既知の映像符号化アルゴリズムに従って実装されたエンコーダ）において、ＳＤＲ画像（１１７）を、映像信号のシングルレイヤ１４４中に圧縮／符号化する。例示であって限定はしないが、逆ダイナミックレンジマッピング（ｉｎｖｅｒｓｅ  ｄｙｎａｍｉｃ−ｒａｎｇｅ  ｍａｐｐｉｎｇ）（ＤＭ）モジュール１４６（ＳＤＲからＨＤＲへの変換ツールを表し得る）を用いることにより、ＳＤＲ画像（１１７）をリファレンスＨＤＲ画像１４８へ変換する。いくつかの実施形態において、逆ＤＭモジュールはまた、逆トーンマッピングツールとも呼ばれることがある。いくつかの実施形態において、ＳＤＲ画像（１１７）をターゲットＨＤＲ画像（１４８）へ変換する代わりに、ＳＤＲ画像（１１７）を導出するために使用された同一のソース／入力映像コンテンツ（不図示）から直接に、ＨＤＲコンテンツ（１４８）を導出してもよい。
【００１９】
ターゲットＨＤＲ画像（１４８）がＳＤＲ画像（１１７）から導出されようがされまいが、逆方向再構成関数生成器１５０は、ＳＤＲ画像（１１７）とリファレンスＨＤＲ画像（１４８）との両方を入力として受け取り、最適化を行って最適な逆方向再構成関数を見いだすことにより、ＳＤＲ画像（１１７）をこの最適な逆方向再構成関数で逆方向再構成することによって生成される逆方向再構成画像（ｂａｃｋｗａｒｄ  ｒｅｓｈａｐｅｄ  ｉｍａｇｅｓ）が、可能な限りリファレンスＨＤＲ画像（１４８）に近くなるようにする。この最適な逆方向再構成関数は、逆方向再構成メタデータ１５２で表現または規定され得る。
【００２０】
最適な逆方向再構成関数を表現／規定する逆方向再構成メタデータの例は、逆トーンマッピング関数、逆ルママッピング関数、逆クロママッピング関数、ルックアップテーブル（ＬＵＴ）、多項式、逆ＤＭ係数／パラメータなどのいずれかを含み得るが、必ずしもこれらのみに限定はされない。様々な実施形態において、ルマ逆方向再構成関数およびクロマ逆方向再構成関数は、一緒にまたは別々に導出／最適化されることができ、累積分布関数（ｃｕｍｕｌａｔｉｖｅ  ｄｉｓｔｒｉｂｕｔｉｏｎ  ｆｕｎｃｔｉｏｎｓ）（ＣＤＦ）ヒストグラム近似／転写技術を用いて導出されてもよく、かつ、‘１０１出願および／またはＮ．Ｊ．Ｇａｄｇｉｌらによる２０１８年６月１３日付け出願のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１８／０３７３１３号「Ｅｆｆｉｃｉｅｎｔ  ｅｎｄ−ｔｏ−ｅｎｄ  ｓｉｎｇｌｅ  ｌａｙｅｒ  ｉｎｖｅｒｓｅ  ｄｉｓｐｌａｙ  ｍａｎａｇｅｍｅｎｔ  ｃｏｄｉｎｇ」に記載の様々な手法を用いて導出されることも可能であり、この出願の開示内容を全て本願に援用する。
【００２１】
ＳＤＲ画像（１１７）とターゲットＨＤＲ画像（１４８）とに基づいて逆方向再構成関数生成器（１５０）により生成された逆方向再構成メタデータ（１５２）は、映像信号１４４の一部として多重化され得る。
【００２２】
いくつかの実施形態において、逆方向再構成メタデータ（１５２）は、全体的な画像メタデータの一部として映像信号の中で搬送される。この全体的な画像メタデータは、映像信号においてＳＤＲ画像が符号化されているシングルレイヤとは別個に、映像信号の中で搬送されるものである。例えば、逆方向再構成メタデータ（１５２）は、符号化ビットストリームにおけるコンポーネントストリーム中に符号化されてもよく、このコンポーネントストリームは、ＳＤＲ画像（１１７）が符号化されているシングルレイヤ（当該符号化ビットストリームの）とは別々でもよいし、別々でなくてもよい。
【００２３】
ゆえに、逆方向再構成メタデータ（１５２）をエンコーダ側において生成または予め生成することにより、エンコーダ側で利用可能な、強力な演算リソースおよびオフラインの符号化フロー（限定はしないが、コンテンツ適応的な複数回のパス、先読み演算処理、逆ルママッピング、逆クロママッピング、ＣＤＦベースのヒストグラム近似および／または転写などを含む）を活用することが可能である。
【００２４】
図１Ａにおけるエンコーダ側のアーキテクチャを用いることで、ターゲットＨＤＲ画像（１４８）を映像信号中の符号化／圧縮ＨＤＲ画像へ直接に符号化することを回避できる。代わりに、映像信号中の逆方向再構成メタデータ（１５２）を用いることにより、下流側の復号化デバイスにおいてＳＤＲ画像（１１７）（映像信号中に符号化されている）を逆方向再構成して、リファレンスＨＤＲ画像（１４８）と同一またはこれを精密／最適に近似する再構築画像（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｉｍａｇｅｓ）にすることが、可能にされ得る。
【００２５】
いくつかの実施形態において、図１Ｂに例示するように、ＳＤＲ画像（１１７）を用いてシングルレイヤ（１４４）中に符号化された映像信号と、全体的な画像メタデータの一部としての逆方向再構成メタデータ（１５２）とは、コーデックフレームワークのデコーダ側にて入力として受信される。解凍ブロック１５４において、映像信号のシングルレイヤ（１４４）中の圧縮映像データを解凍／復号化して、復号化されたＳＤＲ画像（１５６）にする。解凍１５４は、典型的には、圧縮１４２の逆に相当する。復号化されたＳＤＲ画像（１５６）は、圧縮ブロック（１４２）および解凍ブロック（１５４）における量子化誤差を被るものの、ＳＤＲ画像（１１７）（ＳＤＲディスプレイデバイスのために最適化されてい得る）と同じであると言える。復号化されたＳＤＲ画像（１５６）は、出力ＳＤＲ映像信号中に出力されて（例えばＨＤＭＩインターフェース、ビデオリンクなどを介して）、ＳＤＲディスプレイデバイスに描画され得る。
【００２６】
さらに、逆方向再構成ブロック１５８は、入力映像信号から逆方向再構成メタデータ（１５２）を抽出し、逆方向再構成メタデータ（１５２）に基づいて最適な逆方向再構成関数を構築し、そして、この最適な逆方向再構成関数に基づき、復号化されたＳＤＲ画像（１５６）に逆方向再構成演算処理を行うことにより、逆方向再構成画像（１６０）（または再構築ＨＤＲ画像）を生成する。いくつかの実施形態において、逆方向再構成画像は、リファレンスＨＤＲ画像（１４８）と同一またはこれを精密／最適に近似する、制作品質（ｐｒｏｄｕｃｔｉｏｎ−ｑｕａｌｉｔｙ）または制作品質に近いＨＤＲ画像を表す。逆方向再構成画像（１６０）は、出力ＨＤＲ映像信号中に出力されて（例えばＨＤＭＩインターフェース、ビデオリンクなどを介して）、ＨＤＲディスプレイデバイスに描画され得る。
【００２７】
いくつかの実施形態において、ＨＤＲディスプレイデバイスに固有のディスプレイマネジメント演算処理が、ＨＤＲディスプレイデバイスに逆方向再構成画像（１６０）を描画するＨＤＲ画像レンダリング演算処理の一部として、逆方向再構成画像（１６０）に対して行われることがある。
【００２８】
バンディングアーチファクトを低減するためのシステム例
図２は、ある実施形態による、バンディングアーチファクトを低減するためのデータフローの一例（２００）を表している。図２に表すように、本ワークフローに対する入力は、ＳＤＲ画像（２０２）（例えば入力ビデオシーケンス１１７の一部）と、リファレンス逆方向ルックアップテーブル（ＢＬＵＴ）または逆方向再構成関数２０４（例えば前述のブロック１５０に則り設計されたもの）とである。本プロセスは、新しいＢＬＵＴ（２２７）を構築するものであり、この新しいＢＬＵＴがデコーダにおいてＳＤＲデータに適用されるとき（例えば図１Ｂを参照）、成果たるＨＤＲ画像におけるバンディングが低減されることになる。
【００２９】
提案される方法は、ＳＤＲ画像に適用されてＨＤＲ出力を生成するように設計された、任意の妥当なリファレンスＢＬＵＴで機能する。例えば、妥当なＢＬＵＴのための１つの条件としては、再構成関数は単調非減少（ｍｏｎｏｔｏｎｉｃａｌｌｙ  ｎｏｎ−ｄｅｃｒｅａｓｉｎｇ）でなければならないことが要求される。ゆえに、提案される手法は、リファレンスＢＬＵＴ（２０４）を生成するために用いられる方法にとらわれない（ａｇｎｏｓｔｉｃ）。
【００３０】
提案される方法はまた、入力ＳＤＲ画像（２０２）を、ターゲットＨＤＲ画像（例えばＨＤＲ画像１６０）よりも低いダイナミックレンジのＶＤＲまたはＨＤＲ画像で置き換えたとしても、機能するだろう。
【００３１】
2021524647.tif 000003
は、
2021524647.tif 000004
ビット深度のルマ画素をＰ個有する入力ＳＤＲ画像であるものとする。ＳＤＲ符号語の総数は、
2021524647.tif 000005
で与えられる。このルマ符号語空間を、各ビンに等個数の符号語を含んだ
2021524647.tif 000006
個のビン
2021524647.tif 000007
に分割する。
2021524647.tif 000008
は、ビン
2021524647.tif 000009
における最小および最大のＳＤＲ符号語であるものとする。最後のビンを除く全てのビンに対し、
2021524647.tif 000010
であることに留意されたい。
2021524647.tif 000011
は、
2021524647.tif 000012
についてのリファレンス逆方向ルックアップテーブル（ＢＬＵＴ）であるものとする。限定することなく、
2021524647.tif 000013
は、あるＳＤＲ符号語からこれに対応する正規化された（０と１の間に）ＨＤＲ符号語へのリファレンスマッピングを規定することに留意されたい。本明細書において、
2021524647.tif 000014
は符号語インデックスを表し、
2021524647.tif 000015
はビンインデックスを表す。
【００３２】
統計収集
ブロック２０５において、ＳＤＲ入力（２０２）と、入力ＢＬＵＴ（２０４）または
2021524647.tif 000016
とから、統計データを以下のように収集する。
ａ）ＳＤＲ入力のルマヒストグラム、すなわち
2021524647.tif 000017
を算出。
2021524647.tif 000018
は、
2021524647.tif 000019
におけるｉ番目のルマ画素の、０と１の間の正規化値を表すものとする。このとき表１において、ヒストグラム実装の一例を擬似コードで与える。
【表１】
2021524647.tif 000020
【００３３】
ｂ）
2021524647.tif 000021
個のルマビンにおけるＳＤＲ標準偏差のブロックベースのメトリック、すなわち
2021524647.tif 000022
を算出。
Ｐ個の画素を含む画像
2021524647.tif 000023
を、
2021524647.tif 000024
ルマ画素
2021524647.tif 000025
による、オーバーラップしない正方形ブロックから構成する。入力画像中には、全部で
2021524647.tif 000026
個のオーバーラップしないブロックが存在する。水平または垂直寸法が
2021524647.tif 000027
で割り切れない画像については、当該画像をラスタースキャン順に走査する際に端数画素ブロックを除外してよい。例えば、最右列および／または最下行の端数ブロックを除外できる。
2021524647.tif 000028
は、
2021524647.tif 000029
におけるｊ番目のオーバーラップしないブロックであるものとする。
2021524647.tif 000030
は、ｊ番目の画素ブロックの中でｋ番目の、０と１の間の正規化ルマ画素値であるものとする。また、
2021524647.tif 000031
は、
2021524647.tif 000032
についての、
2021524647.tif 000033
個のビンによるルマヒストグラムであるものとする。
2021524647.tif 000034
は、
2021524647.tif 000035
におけるブロックルマ平均および標準偏差、すなわち
【数１】
2021524647.tif 000036
であるものとする。
【００３４】
2021524647.tif 000037
個のルマビンを与えられたとき、各ブロック
2021524647.tif 000038
につき統計データ（例えば、平均、分散、または標準偏差）を算出するためのアルゴリズムの一例を、表２に示す。
【表２】
2021524647.tif 000039
表２において、ＩＮＶＡＬＩＤという用語は、パラメータの値が定義されないかまたは妥当でないことを表す。実用上は、これは単に大きな負の値（ｌａｒｇｅ  ｎｅｇａｔｉｖｅ  ｖａｌｕｅ）であってよい。
【００３５】
ｃ）ＳＤＲルマビンの各々における正規化ＨＤＲ範囲、すなわち
2021524647.tif 000040
を算出。
本ステップにおいて、リファレンスＢＬＵＴ
2021524647.tif 000041
を用いることにより、各ＳＤＲルマビンに対応する正規化ＨＤＲ範囲
2021524647.tif 000042
を算出する。
【数２】
2021524647.tif 000043
とする。最初のビンは、異なる取り扱いを受けると言える。というのも、−１に対する符号語は存在せず、当該ＨＤＲ範囲は
2021524647.tif 000044
について算出されるからである。残りの全てのビンにおいては、ＨＤＲ範囲は
2021524647.tif 000045
について算出される。表３に実装の一例を与える。
【表３】
2021524647.tif 000046
【００３６】
2021524647.tif 000047
は、「有効信号」（ａｃｔｉｖｅ  ｓｉｇｎａｌ）符号語範囲における最小および最大のＳＤＲ符号語であるものとする。ここで「有効信号」符号語範囲とは、フルレンジ（例えば、
2021524647.tif 000048
）またはより狭いＳＭＰＴＥレンジ（例えば、８ビットデータに対し［１６，２３５］）のいずれか一方を指す。
【数３】
2021524647.tif 000049
【００３７】
2021524647.tif 000050
は、有効「信号」の最小符号語および最大符号語を含んだ、ビンの開始インデックスおよび終了インデックスであるものとする。全ての非「信号」（ｎｏｎ−ｓｉｇｎａｌ）ビンに対し、
2021524647.tif 000051
である。なぜならば、「信号」範囲の外側に割り当てられたＨＤＲ符号語は存在しないからである（このことは主にＳＭＰＴＥレンジに該当する）。
2021524647.tif 000052
は、ビン
2021524647.tif 000053
における「信号」符号語数であるものとする。
【数４】
2021524647.tif 000054
境界ではない場合（ｎｏｎ−ｂｏｕｎｄａｒｙ  ｃａｓｅ）の各ルマビンにおける符号語数に言及する場合には、単に
2021524647.tif 000055
を用いることがある。ＳＭＰＴＥレンジは最も一般的なケースであって、ゆえに例のいくつかにおいて使用したのである。
【００３８】
バンディングリスクの推定
ステップ２０５にて収集された統計データを所与のものとして、図２のステップ２１０において、「バンディングリスク」の尺度（ｍｅａｓｕｒｅ）を算出する。この尺度が正の場合には、より詳細に後述するバンディング緩和方式（ｂａｎｄｉｎｇ  ａｌｌｅｖｉａｔｉｏｎ  ｓｃｈｅｍｅｓ）（例えばステップ２１５および２２０）を適用し得る。それ以外の場合には、これらのステップをスキップしてよい。
【００３９】
フルレンジ信号を考慮し、
2021524647.tif 000056
は、ルマビンｂにおける再構築ＨＤＲ信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ＨＤＲ  ｓｉｇｎａｌ）の標準偏差の推定値であるものとする。
2021524647.tif 000057
のビンについては、このようなビンに属するＳＤＲ符号語は存在しないため、このときまた
2021524647.tif 000058
でもある。
2021524647.tif 000059
は、非圧縮ＨＤＲ信号におけるルマビン
2021524647.tif 000060
中のバンディングを回避するために必要とされる、推定ＨＤＲ符号語数であるものとする。
2021524647.tif 000061
は、ルマビン
2021524647.tif 000062
における推定バンディングリスクであるものとする。ある実施形態において、
2021524647.tif 000063
は、算出された
2021524647.tif 000064
に基づき、統計転写等式（ｓｔａｔｉｓｔｉｃａｌ  ｔｒａｎｓｆｅｒ  ｅｑｕａｔｉｏｎ）を用いて各「信号」ビンにおいて推定され得る。例えば、ビンｂにおける
2021524647.tif 000065
のローカルな傾きを用いて
2021524647.tif 000066
を
2021524647.tif 000067
へマッピングできる。スケーリング係数（
2021524647.tif 000068
と表す）値を用いることにより、ＳＭＰＴＥレンジをフルレンジへと変換することがある。というのも、フルレンジＨＤＲ信号が次なるステップにおいて望まれるからである。ＳＤＲ  ＳＭＰＴＥ信号に対し、
2021524647.tif 000069
である。
2021524647.tif 000070
は、ビンｂにおける正規化されたＳＤＲ符号語数であるものとする。ゆえに各ビンｂにつき、
【数５】
2021524647.tif 000071
に対し、
【数６】
2021524647.tif 000072
である。ここで
2021524647.tif 000073
は、ビンｂにおける
2021524647.tif 000074
のローカルな傾きを表す。この等式は、特定ルマ範囲のＳＤＲ標準偏差値を、
2021524647.tif 000075
がＳＤＲ信号に適用されたときの成果たるＨＤＲ信号における標準偏差へと変換する。直観的には、
2021524647.tif 000076
は、ＳＭＰＴＥレンジについて調整（必要ならば）を施された、ｂ番目のＳＤＲルマビンコンテンツの結果として生成されたＨＤＲコンテンツの標準偏差の値を表す。フルレンジにおける入力信号に対しては、
2021524647.tif 000077
である。
【００４０】
2021524647.tif 000078
を、各「信号」ビンｂにつきＨＤＲ標準偏差およびＨＤＲ範囲を、バンディングを回避するために必要とされる符号語数へマッピングする、
2021524647.tif 000079
の関数として定義する。ある実施形態において、当該信号の標準偏差を与えられたとき、その開示内容が全て本願に援用されるＨ．Ｋａｄｕらによる２０１７年７月１２日付け出願の米国特許出願シリアル番号第１５／６４８，１２５号「Ｓｉｎｇｌｅ−ｐａｓｓ  ａｎｄ  ｍｕｌｔｉ−ｐａｓｓ−ｂａｓｅｄ  ｐｏｌｙｎｏｍｉａｌ  ａｐｐｒｏｘｉｍａｔｉｏｎｓ  ｆｏｒ  ｒｅｓｈａｐｉｎｇ  ｆｕｎｃｔｉｏｎｓ」（米国特許出願公開シリアル番号第２０１７／０３０８９９６号としてもまた公開）において用いられる実験ベース（ｅｘｐｅｒｉｍｅｎｔａｌ）のマッピングテーブルを使用することにより、バンディングを回避するために必要とされる、ＨＤＲ信号を表現するための符号語数を推定し得る。このとき、ビンｂにおけるバンディングリスク推定値
2021524647.tif 000080
は、バンディングを回避するために必要とされるＨＤＲ符号語数
2021524647.tif 000081
と
2021524647.tif 000082
におけるＨＤＲ符号語数
2021524647.tif 000083
との差、すなわち
【数７】
2021524647.tif 000084
として導出されることが可能である。
2021524647.tif 000085
であるビンについてはまた、
2021524647.tif 000086
でもあることに留意されたい。本ステップに対する擬似コードを、以下の表４に記載する。
【表４】
2021524647.tif 000087
【００４１】
プロシージャ「ｉｎｔｅｒｐｏｌａｔｅ＿ｔａｂｌｅ＿ｌｏｏｋｕｐ（  ）」は、実験ベースのマッピングデータ
2021524647.tif 000088
ペア群（例えば表４を参照）と入力
2021524647.tif 000089
値との単純な線形補間を用いて、補間出力値を与える。各
2021524647.tif 000090
ペアは、フルＨＤＲ範囲（０と１の間）におけるＨＤＲ標準偏差と、これに対応する、バンディングを回避するために必要とされる符号語数と、の間のマッピングである。各々の算出された
2021524647.tif 000091
は、
2021524647.tif 000092
を用いて導出されたＨＤＲ符号語範囲の一部分
2021524647.tif 000093
に対応する。
【００４２】
直観的には、ビンｂにおける
2021524647.tif 000094
に由来する符号語数
2021524647.tif 000095
が、バンディングを回避するために必要とされる最小の符号語数
2021524647.tif 000096
未満の場合には、バンディングリスク
2021524647.tif 000097
は正になる。これは、ＨＤＲ画像の当該ルマビンに由来するコンテンツを観察している間に、おそらくバンディングの見た目が現れるであろうことを意味する。
2021524647.tif 000098
の値が高ければ高いほど、対応する輝度範囲におけるバンディングの可能性もそれだけ高くなる。あるいは、ビンｂにおける
2021524647.tif 000099
が
2021524647.tif 000100
よりも高い場合には、これは、ｂ番目のビンに対して
2021524647.tif 000101
において割り当てられた符号語数が、バンディングを回避するために必要とされる推定符号語数よりも多いことを意味する。ゆえに
2021524647.tif 000102
のこの部分は、「バンディングセーフ」（ｂａｎｄｉｎｇ−ｓａｆｅ）と印付けられて、成果たるＨＤＲ画像にバンディングの見た目を引き起こさないであろうことが意味される。ゆえに本ステップの目標は、各ＳＤＲルマビンにつき、ＨＤＲ画像における潜在的なバンディングを識別し、定量化することである。各ビンにおける符号語数の下限（ｌｏｗｅｒ  ｂｏｕｎｄ）もまた、
2021524647.tif 000103
に関して算出されることが可能である。
【００４３】
バンディング緩和
本発明者らの理解によると、バンディングアーチファクトを低減する工程には、暗い領域（黒）とハイライト部とで異なる戦略が必要とされることが見て取れた。暗部におけるバンディングを低減するためには、より高い強度に対する再構成応答（ｒｅｓｈａｐｉｎｇ  ｒｅｓｐｏｎｓｅ）を保存することが重要であって、さもなくば、画像全体がより暗く見えるかも知れない。ゆえに補正ＢＬＵＴ（ｍｏｄｉｆｉｅｄ  ＢＬＵＴ）は、より暗い領域におけるバンディングを低減しながらも、当初のレベルのＨＤＲ強度に到達する必要がある。ＨＤＲ画像／映像再構築の主要な特徴の一つは、高いレベルの強度を示すその能力であり、ゆえに、ハイライト部における全体的な明度を保存することにより、「ＨＤＲらしい見た目」（ＨＤＲ  ｌｏｏｋ）を維持したいという所望がある。従って、当初のＢＬＵＴが補正される間、影響される領域において全体的な明度または「平均明度」を不変に保つことが重要である。例えば、ハイライトクリッピングなどのより単純なソリューションは、典型的には十分でない。というのも、ターゲット明度を保存することができないからである。これらの観察所見に基づき、それぞれステップ２１５および２２０として図２に表された、暗部およびハイライト部におけるバンディングを低減する別々のアルゴリズムを、提案する。ブロック２２５において、ブロック２１５および２２０からの成果を併合することにより、最終的な補正逆方向再構成関数（ＢＬＵＴ）（２２７）が構築される。両ステップに適用可能な、いくつかの準備的なステップおよび表記法を、図３に要約し、次に説明する。
【００４４】
先ずはＢＬＵＴを、暗領域とハイライト領域とに分割する。ＰＱ符号化データを想定しつつ、
2021524647.tif 000104
は、
2021524647.tif 000105
に適用される際にＳＤＲの暗領域およびハイライト領域を決定（ステップ３０５）する、知覚的量子化（ＰＱ）値として表された閾値であるものとする。（当該入力ＳＤＲが、ガンマ、ＨＬＧ、または他の何らかのＥＯＴＦを用いて符号化されているならば、適切な別の閾値を用い得る。）
2021524647.tif 000106
は、暗部における最小および最大のＳＤＲ符号語であり、
2021524647.tif 000107
は、これらに対応するビンインデックスであるものとする。
2021524647.tif 000108
は、ハイライト部における最小および最大のＳＤＲ符号語であり、
2021524647.tif 000109
は、これらに対応するビンインデックスであるものとする。これらの値の全ては、ステップ３１０にて導出され得る。ステップ３１５において、ルマビン
2021524647.tif 000110
におけるバンディングリスク推定値
2021524647.tif 000111
の値を用いることにより、暗部および明部バンディングによって影響されるビンを識別することが可能である。
2021524647.tif 000112
は、それぞれ暗部ビン群および明部ビン群の少なくとも１つの中に正の
2021524647.tif 000113
値が存在するか否かを示す（例えば１に設定されたときに）、暗部および明部バンディングリスクフラグであるものとする。
2021524647.tif 000114
は、明部において
2021524647.tif 000115
となる、最小のビンインデックスであるものとする。
2021524647.tif 000116
の値は、暗部と明部の両方における
2021524647.tif 000117
値をチェックすることによって導出できる。これらのパラメータを導出するための擬似コード例を、表５に示す。
【表５】
2021524647.tif 000118
【００４５】
フラグ
2021524647.tif 000119
のいずれかが立てられている（例えば１へ）ならば、
2021524647.tif 000120
に由来する当初の差分ＬＵＴ（ｄｉｆｆｅｒｅｎｔｉａｌ  ＬＵＴ）（ｄＬＵＴ）
2021524647.tif 000121
を、ステップ３２０において導出する必要がある。直観的には、ｄＬＵＴは、関心のあるビン群における（例えば、バンディングリスクを有するものと印付けられた暗領域またはハイライト領域における）ＢＬＵＴの「傾き」を表す。
2021524647.tif 000122
は、補正ｄＬＵＴであり、
2021524647.tif 000123
は、バンディングを緩和するために
2021524647.tif 000124
を用いて構築された補正ＢＬＵＴであるものとする。フラグ
2021524647.tif 000125
は、コンポーズされるＨＤＲ画像の潜在的なバンディングのリスクを知らせて（ｉｎｄｉｃａｔｅ）、次に紹介するバンディング低減アルゴリズムを作動させる（ｔｒｉｇｇｅｒ）。差分ＬＵＴを構築する工程の一例を、表６に示す。
【表６】
2021524647.tif 000126
【００４６】
暗部におけるバンディング低減
概略的な考え方としては、ａ）正のバンディングリスクを有するビンにおいてｄＬＵＴ（またはＢＬＵＴの傾き）を減少させ、ｂ）リスクの無いビンにおいてｄＬＵＴを増加させることによってＨＤＲ強度レベルの落ち込み（ｄｒｏｐ）を補償することである。このことは、隣り合う縞におけるＨＤＲ強度差の減少を引き起こして、縞の外観を緩和し、ゆえに強度の変遷をより滑らかにする。
【００４７】
図４に表されるツーパスアプローチ（ｔｗｏ  ｐａｓｓ−ａｐｐｒｏａｃｈ）の中で、最初のパス（ステップ４０５および４１０）において、当初のＢＬＵＴの傾きを、「バンディングリスクを被り易い」（ｂａｎｄｉｎｇ  ｒｉｓｋ−ｐｒｏｎｅ）と特徴付けられた全てのビンにおいて低減する。次に、２回目のパス（ステップ４２０）において、残りの符号語を再割り当てすることにより、強度の落ち込みを補償する。最後に（ステップ４２５）、補正ＢＬＵＴを生成する。
【００４８】
2021524647.tif 000127
は、「役割フラグ」
2021524647.tif 000128
（各ビンは「バンディングリスクを被り易い」（ｂａｎｄｉｎｇ  ｒｉｓｋ−ｐｒｏｎｅ）、「バンディングリスクボーダーライン」（ｂａｎｄｉｎｇ  ｒｉｓｋ  ｂｏｒｄｅｒｌｉｎｅ）、または「バンディングリスク不明」（ｂａｎｄｉｎｇ  ｒｉｓｋ  ｕｎｋｎｏｗｎ）として印付けられる）を決定する符号語数を表すものとする。
2021524647.tif 000129
は、リスクを被り易いビンにおけるバンディングリスクを低減するために、必要とされる符号語数へ加算される符号語数であるものとする。このとき表７に、差分ｄＬＵＴを調整（例えばステップ４０５の一部として）する際に適用される条件と、これに対応する操作およびパラメータとの、組の一例を示す。ある実施形態において、一切の限定をすることなく、以下の経験的に選択されたパラメータが用いられている。すなわち、
2021524647.tif 000130
である。表７において、オプションのパラメータ
2021524647.tif 000131
は、アルゴリズムに対するさらなるレベルのファインチューニングを与える。実験に基づくと、
2021524647.tif 000132
により、良好な実験結果が生じる。
【表７】
2021524647.tif 000133
【００４９】
表７に示すように、「リスクを被り易い」（ｒｉｓｋ  ｐｒｏｎｅ）ビンにおいて、
2021524647.tif 000134
が正の場合、ｄＬＵＴ値は
2021524647.tif 000135
となるように低減される必要がある。この場合におけるビンｂのｄＬＵＴ乗数（ｄＬＵＴ  ｍｕｌｔｉｐｌｉｅｒ）（
2021524647.tif 000136
）は、必要とされる符号語数（
2021524647.tif 000137
）と、リファレンスＢＬＵＴにおいて割り当てられた符号語数（
2021524647.tif 000138
）と、バンディング低減アルゴリズムの積極性（
2021524647.tif 000139
）とに依存する。当初のｄＬＵＴ値は、
2021524647.tif 000140
に対する
2021524647.tif 000141
の比率として規定された乗数を用いることによって低減される。ゆえに、回復ビン（ｒｅｃｏｖｅｒｙ  ｂｉｎｓ）において、ｄＬＵＴは
2021524647.tif 000142
として調整される。
【００５０】
2021524647.tif 000143
の場合、このルマビンにおけるコンテンツはバンディングのボーダーラインリスクにあり、ゆえにｄＬＵＴを増加させて強度の落ち込みを補償することはできない。
【００５１】
2021524647.tif 000144
の場合には、このビンにおけるコンテンツはバンディングリスクを十分に下回っており、ゆえにこのビンにおけるｄＬＵＴを増加させることにより、強度の落ち込みを補償して、非暗部（ｎｏｎ−ｄａｒｋ  ｐａｒｔ）を保存することが可能である。従って、
2021524647.tif 000145
である。よって、
2021524647.tif 000146
はある意味で、リスク検出に対するｄＬＵＴ補正の感度を反映している。最後に、ビンにおいてリスク統計についての情報が無い場合、
2021524647.tif 000147
であり、当初のｄＬＵＴに対して調整は為されない。
【００５２】
2021524647.tif 000148
は、正規化されたＨＤＲ符号語のバランス（ｎｏｒｍａｌｉｚｅｄ  ＨＤＲ  ｃｏｄｅｗｏｒｄ  ｂａｌａｎｃｅ）を表すものとする。これは０として初期化され、目標は、暗部バンディング低減の終了時にこのバランスを０にすることである。暗部ビン群に亘る最初のパスにて、バンディングを被り易い（リスクが正なる）ビンの全てにおいて、ＢＬＵＴの傾きを低減する。２回目のパスにて、強度の落ち込みを補償するために、残りのＨＤＲ符号語をリスクの無いビンに割り当てる。これによって確実に、非暗部におけるＨＤＲらしい見た目が維持される。ゆえに、ある実施形態において、
2021524647.tif 000149
である。
【００５３】
数少ない極端なケースにおいて、強度の落ち込み（
2021524647.tif 000150
）が完全には回復されず、それゆえに、２回のパスが完了した後に
2021524647.tif 000151
となることがある。しかし、これが発生することは典型的には稀であって、大量の暗部バンディングがいくつかのビンに亘って広がった、非常に粗末な画像において起きるものである。表８において、図４に表したプロセスの一実装例を擬似コードにて示す。
【表８】
2021524647.tif 000152
2021524647.tif 000153
2021524647.tif 000154
【００５４】
ハイライト部におけるバンディング低減
フラグ
2021524647.tif 000155
が立てられている（例えば１へ）ならば、ハイライト部において新しいＢＬＵＴを構築することにより、平均明度を維持しようと努めつつバンディングを低減する。プロセスの一例を図５に示す。主な考え方は、ハイライト部において、バンディングリスクを被り易い最小（ｔｈｅ  ｌｏｗｅｓｔ）のＳＤＲ符号語を見つけ出し、下から上へリスク推定値を用いてＢＬＵＴを構築し始めることである。つまり、先ずは必要とされる最小のｄＬＵＴ曲線を構築し、引き続いて残りの符号語を割り当てる。本プロセスの間、リファレンスＢＬＵＴと比較しての、全体的な画像明度の損失を監視する。明度の損失総計は、バンディングリスクの無いＳＤＲ符号語においてリファレンスＢＬＵＴを補正することにより、補償される。
【００５５】
2021524647.tif 000156
は、ＢＬＵＴの補正を開始するルマビンであるものとする。
2021524647.tif 000157
は、
【数８】
2021524647.tif 000158
となるような、オフセットとして用いられる一定のビン数であるものとする。
【００５６】
ステップ５０５から開始しつつ、
2021524647.tif 000159
（「緩和」部の始まりと呼ぶ）から始めて、最高強度のルマビン
2021524647.tif 000160
まで、補正ｄＬＵＴ
2021524647.tif 000161
を構築することになる。
2021524647.tif 000162
は、ｄＬＵＴ補正の開始ＳＤＲ符号語であるものとする。
2021524647.tif 000163
（すなわち、
2021524647.tif 000164
が取り得る最小値と最大値）の間でビンインデックス
2021524647.tif 000165
に連れて線形に変化する、加数変数（ａｄｄｉｔｉｖｅ  ｖａｒｉａｂｌｅ）パラメータ
2021524647.tif 000166
を考える。
2021524647.tif 000167
を算出する工程（ステップ５１０）の一例を、表９に示す。ある実施形態において、用いられている典型値は
2021524647.tif 000168
である。これらの値は、入力ビット深度やルマ空間解像度の値に拘らず、良好に機能するようである。
【表９】
2021524647.tif 000169
【００５７】
全体的な画像明度の損失は、
2021524647.tif 000170
のルマヒストグラム
2021524647.tif 000171
（例えば表１を参照）に基づく。
2021524647.tif 000172
を用いて、各々の調整された符号語につき明度の損失を算出し、これらを足し合わせることにより、成果たるＨＤＲ画像における全体的な明度損失を追跡することができる。演算効率を向上させるために、ある実施形態において、画像の「逆累積ヒストグラム」（ｒｅｖｅｒｓｅ−ｃｕｍｕｌａｔｉｖｅ  ｈｉｓｔｏｇｒａｍ）を表す
2021524647.tif 000173
が構築される。これは、
2021524647.tif 000174
から導出される統計量である。ある実施形態において、符号語ｂにおける明度の損失は、ＳＤＲヒストグラムと２つの再構成関数とを用いて
2021524647.tif 000175
として算出される。予め算出された逆累積ヒストグラムは、各符号語につきｄＬＵＴを用いてＢＬＵＴを構築する必要性を取り除く。すなわち、
2021524647.tif 000176
であることを示し得る。
【数９】
2021524647.tif 000177
または
2021524647.tif 000178
として定義される
2021524647.tif 000179
に対し、その値を算出するためのアルゴリズムの一例を表１０に示す。
【表１０】
2021524647.tif 000180
【００５８】
緩和部：
2021524647.tif 000181
は、
2021524647.tif 000182
との差異による、平均ＨＤＲ明度の損失を表すものとする。ステップ５３５において、「緩和」部に対し、バンディングの無いｄＬＵＴを、
2021524647.tif 000183
から始まる全てのＳＤＲ符号語ｓについて、
2021524647.tif 000184
を用いて
【数１０】
2021524647.tif 000185
として算出できる。ステップ５２０において、ビンｂにおける明度の損失（
2021524647.tif 000186
）を、
2021524647.tif 000187
を用いて算出する。すなわち、
【数１１】
2021524647.tif 000188
である。
【００５９】
回復部：本部分において、
2021524647.tif 000189
は、「回復」部（すなわち、明度の落ち込みを補償するために用いられる、「緩和」部の直前のビンの集合（ステップ５２５））（例えば図６Ｂを参照）にさらなるＨＤＲ符号語を割り当てるための、ターゲット明度の「予定量」（ｔａｒｇｅｔ  ｂｒｉｇｈｔｎｅｓｓ  ｂｕｄｇｅｔ）として使用され得る。
2021524647.tif 000190
は、この回復部の始まり、すなわち、そこから
2021524647.tif 000191
まで
2021524647.tif 000192
を構築し始めるＳＤＲ符号語であるものとする。
2021524647.tif 000193
は、予定量
2021524647.tif 000194
の関数として決定される。一般に、予定量が高ければ高いほど、それだけ広い符号語範囲が補償のために必要である。
2021524647.tif 000195
は、
2021524647.tif 000196
に基づく補償のために用いられる、ＳＤＲ符号語範囲の小部分（ｆｒａｃｔｉｏｎ）であるものとする。明度「回復」部、すなわち
2021524647.tif 000197
は、一次多項式を用いて構築される。一次の項は、減少を引き起こすように（ｉｎ  ａ  ｄｅｃｒｅａｓｉｎｇ  ｆａｓｈｉｏｎ）用いられる。バンディングリスク緩和部に近づくにつれ、回復部はより少ない符号語を付与すべきことを考慮して、減少関数を使用する。多項式を
2021524647.tif 000198
から最大値で始め、
2021524647.tif 000199
における０まで線形に減少させる。すなわち、
【数１２】
2021524647.tif 000200
である。
【００６０】
明度予定量と、あるルックアップテーブルとを与えられたとき、先ず補間を用いて
2021524647.tif 000201
を取得し、それから
2021524647.tif 000202
を、
【数１３】
2021524647.tif 000203
とする。全体的な明度の落ち込みを回復させるために、予定量は以下の等式に従う必要がある。すなわち、
【数１４】
2021524647.tif 000204
である。
【００６１】
パラメータ
2021524647.tif 000205
は、符号語予定量を用いて算出される必要がある（ステップ５３０を参照）。予定量の半分は定数項（
2021524647.tif 000206
）によって消費され、残りの半分は一次の項（
2021524647.tif 000207
）によって消費されるものと仮定すると、このとき、
【数１５】
2021524647.tif 000208
である。
2021524647.tif 000209
を用いて、等式（１３）に則り、明度「回復」部における
2021524647.tif 000210
を構築できる。プロセス全体の一例を表１１に示す。
【表１１】
2021524647.tif 000211
2021524647.tif 000212
2021524647.tif 000213
【００６２】
図６Ａは、当初のＢＬＵＴ（６０５）と、ある実施形態による、暗部における潜在的なバンディングアーチファクトを調整するために生成された補正ＢＬＵＴ（６１０）との、一例を示している。
【００６３】
図６Ｂは、当初のＢＬＵＴ（６１５）と、ある実施形態による、ハイライト部における潜在的なバンディングアーチファクトを調整するために生成された補正ＢＬＵＴ（６２０）との、一例を示している。図６Ｂにおいて、領域６２５は回復範囲（γから始まる）を表し、領域６３０は緩和範囲（βから始まる）を表す。
【００６４】
図２に表すように、プロセス２００において、暗部とハイライト部とに別々のバンディング緩和アルゴリズムが適用される。ある実施形態において、両方のステップが必要な場合、ハイライト部緩和ステップ（２２０）を適用する前に、暗部バンディング緩和ステップ（２１５）を適用する。ゆえに、もしも両方のステップが必要ならば、ステップ２１５によって生成された補正ＢＬＵＴ（２１７）にステップ２２０を適用することにより、補正ＢＬＵＴ２２２が生成される。もしもステップ２１５がスキップされるならば、当初のＢＬＵＴ２０４にステップ２２０を適用することにより、補正ＢＬＵＴ２２２が生成される。ステップ２２０がスキップされるならば、ステップ２２５に対する入力は、ステップ２１５の出力すなわちＢＬＵＴ２１７であり、スキップされないならばＢＬＵＴ２２２である。いくつかの実施形態において、バンディング緩和ブロック２１５および２２０の出力は、ブロック２２５によってさらにフィルタリングまたは円滑化を施されて、最終的な出力ＢＬＵＴ２２７が生成されてもよい。このようなＢＬＵＴ後処理の例は、Ｎ．Ｊ．ＧａｄｇｉｌおよびＧ−Ｍ．Ｓｕによる２０１８年２月２８日付け出願の米国仮特許出願シリアル番号第６２／６３６，３８８号「Ｌｉｎｅａｒ  Ｅｎｃｏｄｅｒ  ｆｏｒ  Ｉｍａｇｅ／Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ」の中に見出すことができ、この出願の開示内容を全て本願に援用する。
【００６５】
ある実施形態において、バンディングアーチファクトを低減するためのプロセス２００は、エンコーダにおいて（例えば、図１Ａに表されたエンコーダの一部として）行われる。このようなシナリオにおいて、アップデートされた逆方向再構成関数２２７（図２に示す）は、ブロック１５０により生成されたものを置き換え、その符号化表現が、メタデータ１５２として下流側のデコーダへ送られることになる。
【００６６】
ある別の実施形態において、プロセス２００は、デコーダにおいて（例えば、図１Ｂに表されたデコーダの一部として）行われてもよい。このようなシナリオにおいて、図２に関して示されたＳＤＲ入力２０２は、図１Ｂに関して解凍の後に示された再構築ＳＤＲ出力１５６を表し、図２に関して示された入力ＢＬＵＴ２０４は、入力メタデータ（１５２）に基づき生成されたＢＬＵＴを表すことになる。図２におけるプロセス２００の完了後に、入力ＢＬＵＴは補正ＢＬＵＴ２２７で置換され、これをステップ１５８にて、図１Ｂのデコーダにおいて用いることにより、バンディングの無い再構築ＨＤＲ信号１６０を再構築することになる。
【００６７】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなバンディングアーチファクトを低減することに関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のバンディングアーチファクトを低減することに関する様々なパラメータまたは値のいずれを演算してもよい。これらの画像および映像ダイナミックレンジ拡張実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【００６８】
本発明の特定の態様は、方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなバンディングアーチファクトを低減する方法を実装し得る。ある実施形態は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明のある実施形態の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的かつ有形な媒体を含み得る。本発明のある実施形態によるプログラム製品は、様々な非一時的かつ有形の形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ  ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【００６９】
上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
【００７０】
均等物、拡張物、代替物、その他
ＨＤＲ画像におけるバンディングアーチファクトを低減することに関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
【００７１】
本発明の実施形態の様々な態様を、以下に続く列挙実施形態例（ｅｎｕｍｅｒａｔｅｄ  ｅｘａｍｐｌｅ  ｅｍｂｏｄｉｍｅｎｔｓ）（ＥＥＥ）から理解することができる。
１．  １つ以上のプロセッサを備えるエンコーダまたはデコーダにおいて、バンディングアーチファクトを低減するための方法であって、
第１のダイナミックレンジから第２のダイナミックレンジへ符号語をマッピングする入力逆方向再構成関数（２０４）（ＢＬＵＴ）を受信する工程であって、前記第２のダイナミックレンジは、前記第１のダイナミックレンジに等しいかまたは前記第１のダイナミックレンジよりも高い、工程と、
前記第１のダイナミックレンジにおける入力画像（２０２）を受信する工程と、
前記入力画像と前記入力逆方向再構成関数とに基づき、前記第２のダイナミックレンジにおけるターゲット画像のバンディングアーチファクトのリスクを推定するための統計データを生成（２０５）する工程であって、前記ターゲット画像は、前記入力画像に前記入力逆方向再構成関数を適用することにより生成される、工程と、
前記第１のダイナミックレンジを、符号語ビン群へ分割する工程と、
前記第１のダイナミックレンジを、暗領域およびハイライト領域へ分割する工程と、
前記統計データに基づき、前記暗領域中の前記ビン群および前記ハイライト領域中の前記ビン群におけるバンディングリスク値を算出（２１０）し、もしも前記暗領域または前記ハイライト領域の少なくとも１つにおけるバンディングリスク値が正ならば、暗部バンディング緩和関数（２１５）および／またはハイライト部バンディング緩和関数（２２０）を適用することにより、前記統計データと前記入力逆方向再構成関数とに基づいて出力逆方向再構成関数を生成する工程と、
前記入力逆方向再構成関数を前記出力逆方向再構成関数で置き換える工程と、
を包含する方法。
２．  前記入力画像はスタンダードダイナミックレンジ画像を含み、前記ターゲット画像はハイダイナミックレンジ画像を含む、ＥＥＥ１または２に記載の方法。
３．  前記入力画像と前記入力逆方向再構成関数（ＢＬＵＴ）とに基づいて統計データを生成する工程は、
前記入力画像における輝度値のヒストグラムを算出する工程と、
前記入力画像を、オーバーラップしないブロック群へ分割する工程と、
前記画像ブロックの１つ以上について、前記輝度値のブロックベース標準偏差を算出する工程と、
前記ブロックベース標準偏差に基づき、前記第１のダイナミックレンジにおける各ビンにつき、ビンベース標準偏差値を算出する工程と、
輝度値の前記ヒストグラムと、前記ビンベース標準偏差値とに基づき、各ビンにつき、正規化されたビンベース標準偏差値を算出する工程と、
前記第１のダイナミックレンジにおける各ビンにつき、前記入力ＢＬＵＴに基づき、前記第２のダイナミックレンジにおけるその正規化範囲（ｎｏｒｍａｌｉｚｅｄ  ｒａｎｇｅ）を算出する工程と、
前記第２のダイナミックレンジにおける前記ビンの正規化範囲に基づき、前記正規化されたビンベース標準偏差値をスケーリングすることにより、前記第２のダイナミックレンジの再構築画像における輝度標準偏差値のビンベース推定値を生成する工程と、
を含む、先行ＥＥＥのいずれかに記載の方法。
４．  前記バンディングリスク値を算出することは、
前記第１のダイナミックレンジにおける各ビンにつき、
第１の値を算出することであって、前記第１の値は、前記第２のダイナミックレンジにおいて画像をバンディング無しに適切に再構築するために必要とされる下限の（ｌｏｗｅｒ）符号語数を推定しており、前記推定は、前記第２のダイナミックレンジにおける前記ビンの推定輝度標準偏差に基づく、ことと、
第２の値を算出することであって、前記第２の値は、前記ビンに対して前記第２のダイナミックレンジにおいて割り当てられる符号語数を算定している、ことと、
前記第１の値から前記第２の値を差し引くことにより、前記ビンにおける前記バンディングリスク値を算出することと、
を含む、ＥＥＥ３に記載の方法。
５．  前記暗部バンディング緩和関数を適用することは、
前記暗領域中の各ビンにつき、
前記ビンにおける前記バンディングリスク値が正ならば、前記入力ＢＬＵＴの傾きを低減すること、
を含む、先行ＥＥＥのいずれかに記載の方法。
６．  前記入力ＢＬＵＴの前記傾きは、乗数
【数１６】
2021524647.tif 000214
に基づき低減され、ここで
2021524647.tif 000215
は、前記入力画像におけるビンｂ中の符号語数を表し、
2021524647.tif 000216
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000217
は、前記暗部におけるバンディングを低減するために
2021524647.tif 000218
に加算される、符号語数のセーフティーマージンを表現する第１の定数を表す、
ＥＥＥ５に記載の方法。
７．  さらに、
前記バンディングリスク値と、第２の定数との和がゼロ以下である各ビンにおいて、前記入力ＢＬＵＴの前記傾きを調整すること、
を含む、ＥＥＥ５に記載の方法。
８．  前記入力ＢＬＵＴの前記傾きは、乗数
【数１７】
2021524647.tif 000219
に基づき調整され、ここで
2021524647.tif 000220
は、前記入力画像におけるビンｂ中の符号語数を表し、
2021524647.tif 000221
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000222
は、前記暗部におけるバンディングを低減するために
2021524647.tif 000223
に加算される、符号語数のセーフティーマージンを表現する前記第２の定数を表し、θは小さい定数値を表す、
ＥＥＥ７に記載の方法。
９．  あるビンにおける前記バンディングリスク値が負であり、かつ、前記ビンにおける前記バンディングリスク値を前記第２の定数値に加えた前記和がゼロよりも大きいならば、前記ビンにおける前記入力ＢＬＵＴの前記傾きは一切調整されない、ＥＥＥ７に記載の方法。
１０．  前記ハイライト部バンディング緩和関数を適用することは、
正のバンディングリスク値を有する、前記ハイライト領域中の最小の（ｓｍａｌｌｅｒ）ビン値に基づき、前記ハイライト領域における緩和範囲の開始値を決定することと、
前記緩和範囲において、既存のＢＬＵＴの傾きを調整することと、
前記緩和範囲における、前記既存のＢＬＵＴの前記傾きの前記調整による明度損失値を決定することと、
前記第１のダイナミックレンジの開始値と前記緩和範囲の前記開始値との間の前記第１のダイナミックレンジのビン群に亘る回復範囲の開始値を決定することと、
前記明度損失値に基づき、明度保存のための多項式を決定することと、
明度保存のための前記多項式に基づき、前記回復範囲において前記既存のＢＬＵＴの傾きを調整することであって、
前記暗部緩和関数が前記暗領域に適用されないならば、前記既存のＢＬＵＴは前記入力ＢＬＵＴを含み、
そうでなければ、前記既存のＢＬＵＴ関数は、前記暗部緩和関数によって生成された出力ＢＬＵＴを含む、ことと、
を含む、先行ＥＥＥのいずれかに記載の方法。
１１．  前記緩和範囲中のビンｂにおける前記既存のＢＬＵＴは、加数（ａｄｄｅｄ  ｆａｃｔｏｒ）
【数１８】
2021524647.tif 000224
に従い調整され、ここで
2021524647.tif 000225
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000226
は、前記ハイライト部におけるバンディングを回避するために
2021524647.tif 000227
に加算される、符号語数のセーフティーマージンを表現する定数を表し、
2021524647.tif 000228
は、前記第１のダイナミックレンジにおけるビンｂに対応する前記第２のダイナミックレンジにおける正規化範囲値を表す、
ＥＥＥ１０に記載の方法。
１２．  前記回復範囲中の符号語に対する前記既存のＢＬＵＴは、加数
【数１９】
2021524647.tif 000229
に従い調整され、ここでβは、前記緩和範囲の前記開始値を表し、
2021524647.tif 000230
は、前記既存のＢＬＵＴの前記傾きを表し、
2021524647.tif 000231
は、前記明度損失値に基づき決定された多項式係数であり、ｓは、前記回復範囲中の符号語を表す、
ＥＥＥ１０に記載の方法。
１３．  前記既存のＢＬＵＴは、前記回復範囲において
【数２０】
2021524647.tif 000232
として調整され、ここで
2021524647.tif 000233
は、入力符号語ｓに対応する補正ＢＬＵＴ値を表し、γは、前記回復範囲の前記開始値を表す、
ＥＥＥ１２に記載の方法。
１４．  前記既存のＢＬＵＴは、前記緩和範囲において
【数２１】
2021524647.tif 000234
として調整され、ここで
2021524647.tif 000235
は、入力符号語ｓに対応する補正ＢＬＵＴ値を表し、βは、前記緩和範囲の前記開始値を表し、
2021524647.tif 000236
は、前記入力画像における最大輝度範囲を表す、
ＥＥＥ１１から１３のいずれかに記載の方法。
１５．  ＥＥＥ１から１４のいずれかに記載の方法を１つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
１６．  プロセッサを備えており、かつ、ＥＥＥ１から１４のいずれかに記載の方法を実行するように構成された装置。
【図１Ａ】
2021524647.tif 000260
【図１Ｂ】
2021524647.tif 000261
【図２】
2021524647.tif 000262
【図３】
2021524647.tif 000263
【図４】
2021524647.tif 000264
【図５】
2021524647.tif 000265
【図６Ａ】
2021524647.tif 000266
【図６Ｂ】
2021524647.tif 000267
【手続補正書】
【提出日】令和3年4月8日(2021.4.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ターゲット画像におけるバンディングアーチファクトを低減するための方法であって、
第１のダイナミックレンジから第２のダイナミックレンジへ符号語をマッピングする入力逆方向再構成関数を受信する工程であって、前記第２のダイナミックレンジは、前記第１のダイナミックレンジに等しいかまたは前記第１のダイナミックレンジよりも高い、工程と、
前記第１のダイナミックレンジにおける入力画像を受信する工程と、
前記入力画像と前記入力逆方向再構成関数とに基づき統計データを生成する工程であって、ここで、統計データを生成する工程は、
前記入力画像における輝度値のヒストグラムから、ビンベース標準偏差を算出することと、
前記第１のダイナミックレンジにおける輝度値の各ビンにつき、前記入力逆方向再構成関数を用いて、正規化された第２のダイナミックレンジを算出することと、
前記算出された正規化された第２のダイナミックレンジと前記算出されたビンベース標準偏差とに基づく統計転写等式を用いて、前記算出されたビンベース輝度標準偏差を前記第１のダイナミックレンジから前記第２のダイナミックレンジへマッピングすることにより、前記第２のダイナミックレンジの再構築画像におけるビンベース輝度標準偏差値の推定値を生成することと、
を含み、前記ターゲット画像は、前記入力画像に前記入力逆方向再構成関数を適用することによって生成される、工程と、
前記第１のダイナミックレンジを、符号語ビン群へ分割する工程と、
前記第１のダイナミックレンジを、暗領域およびハイライト領域へ分割する工程と、
第１の値と第２の値との差異に基づいて、前記暗領域中の前記ビン群および前記ハイライト領域中の前記ビン群につき、バンディングアーチファクトを有する可能性を表すバンディングリスク値を算出する工程であって、ここで各符号語ビンにつき、前記第１の値は、前記第２のダイナミックレンジにおいて画像をバンディング無しに適切に再構築するために必要とされる下限の符号語数を推定しており、各符号語ビンにつき、前記第２ダイナミックレンジにおいて画像をバンディング無しに適切に再構築するために必要とされる前記下限の符号語数は、前記符号語ビンに対する前記推定された輝度標準偏差値を用いて、実験ベースのマッピングデータを線形補間することにより推定され、前記実験ベースのマッピングデータは、完全な（ｆｕｌｌ）前記第２のダイナミックレンジにおいて前記輝度標準偏差と前記下限の符号語数とをマッピングしており、前記第２の値は、前記ビンに対して前記第２のダイナミックレンジにおいて割り当てられる符号語数として算出される、工程と、
出力逆方向再構成関数を、
前記暗部における前記バンディングアーチファクトを低減するために、前記差異が正である前記暗領域中の前記符号語ビンにおいて、前記入力逆方向再構成関数の傾きを調整することであって、ここで、前記暗領域において前記入力逆方向再構成関数の前記傾きを調整することは、前記暗領域中の各ビンにつき、前記ビンにおける前記差異が正ならば、前記入力逆方向再構成関数の前記傾きを、乗数
【数１】
2021524647.tif 000268
に基づき低減することを含み、
2021524647.tif 000269
は、ビンｂ中に割り当てられた符号語数を表し、
2021524647.tif 000270
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000271
は、前記暗部ビンにおけるバンディングリスク値を低減するために
2021524647.tif 000272
に加算される符号語数を表す、ことと、
前記入力逆方向再構成関数の前記傾きが調整された前記ビン中の残りの符号語を、前記差異が正ではないビンへ再割り当てすることにより、前記差異が正ではない前記暗領域中の前記ビンにおいて、前記入力逆方向再構成関数の前記調整された傾きを補償することと、
によって生成する工程と、
前記入力逆方向再構成関数を前記出力逆方向再構成関数で置き換える工程と、
を包含する方法。
【請求項２】
前記入力画像はスタンダードダイナミックレンジ画像を含み、前記ターゲット画像はハイダイナミックレンジ画像を含む、請求項１に記載の方法。
【請求項３】
前記ターゲット画像のフルレンジにおける前記差異が正ならば、前記出力逆方向再構成関数は生成される、請求項１または請求項２に記載の方法。
【請求項４】
前記ターゲット画像のフルレンジにおける前記差異が正でないならば、前記出力逆方向再構成関数を生成する工程はスキップされる、請求項１、２または３に記載の方法。
【請求項５】
前記輝度値は、ビン群にグループ化され、前記標準偏差は、各ビンにつき算出される、請求項１から４のいずれかに記載の方法。
【請求項６】
前記入力画像における輝度値の標準偏差を算出することは、
前記入力画像における輝度値のヒストグラムを算出することと、
前記入力画像を、オーバーラップしないブロック群へ分割することと、
前記画像ブロックの１つ以上について、前記輝度値のブロックベース標準偏差を算出することと、
前記ブロックベース標準偏差に基づき、前記第１のダイナミックレンジにおける各ビンにつき、ビンベース標準偏差値を算出することと、
輝度値の前記ヒストグラムと、前記ビンベース標準偏差値とに基づき、各ビンにつき、正規化されたビンベース標準偏差値を算出することと、
を含む、請求項１から５のいずれかに記載の方法。
【請求項７】
統計データを生成する工程はさらに、完全な（ｆｕｌｌ）第２のダイナミックレンジへ変換するために、前記正規化されたビンベース標準偏差値をスケーリングする工程を含む、請求項１から５のいずれかに記載の方法。
【請求項８】
前記暗領域における前記入力逆方向再構成関数の前記調整された傾きを補償することは、
前記差異と、第２の定数との和がゼロ以下である各ビンにおいて、前記入力逆方向再構成関数の前記傾きを補償すること、
を含む、請求項１から７のいずれかに記載の方法。
【請求項９】
前記入力逆方向再構成関数の前記傾きは、乗数 
【数２】
2021524647.tif 000273
に基づき補償され、ここで
2021524647.tif 000274
は、前記入力画像におけるビンｂ中の符号語数を表し、
2021524647.tif 000275
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000276
は、暗部におけるバンディングを低減するために
2021524647.tif 000277
に加算される、符号語数のセーフティーマージンを表現する前記第２の定数を表し、θは小さい定数値を表す、
請求項８に記載の方法。
【請求項１０】
あるビンにおける前記差異が負であり、かつ、前記ビンにおける前記差異を前記第２の定数値に加えた前記和がゼロよりも大きいならば、前記ビンにおける入力逆方向再構成関数の前記傾きは一切調整されない、請求項８に記載の方法。
【請求項１１】
前記ハイライト領域における前記入力逆方向再構成関数の前記傾きを調整することは、
正の差異を有する、前記ハイライト領域中の最小の（ｓｍａｌｌｅｒ）ビン値に基づき、前記ハイライト領域における緩和範囲の開始値を決定することと、
前記緩和範囲において、既存の逆方向再構成関数の傾きを調整することと、
を含む、請求項１から１０のいずれかに記載の方法。
【請求項１２】
前記ハイライト領域における前記入力逆方向再構成関数の前記調整された傾きを補償することは、
前記緩和範囲における、前記既存の逆方向再構成関数の前記傾きの前記調整による明度損失値を決定することと、
前記第１のダイナミックレンジの開始値と前記緩和範囲の前記開始値との間の前記第１のダイナミックレンジのビン群に亘る回復範囲の開始値を決定することと、
前記明度損失値に基づき、明度保存のための多項式を決定することと、
明度保存のための前記多項式に基づき、前記回復範囲において前記既存の逆方向再構成関数の傾きを調整することと、
を含む、
請求項１１に記載の方法。
【請求項１３】
前記暗領域における前記入力逆方向再構成関数の前記傾きが調整されないならば、前記既存の逆方向再構成関数は、前記入力逆方向再構成関数を含み、
そうでなければ、前記既存の逆方向再構成関数は、前記暗領域中の前記符号語ビン群について生成された前記出力逆方向再構成関数を含む、
請求項１２に記載の方法。
【請求項１４】
前記緩和範囲中のビンｂにおける前記既存の逆方向再構成関数は、加数（ａｄｄｅｄ  ｆａｃｔｏｒ）
【数３】
2021524647.tif 000278
に従い調整され、ここで
2021524647.tif 000279
は、バンディングを回避するためにビンｂにおいて必要とされる符号語数の推定値を表し、
2021524647.tif 000280
は、前記ハイライト部におけるバンディングを回避するために
2021524647.tif 000281
に加算される、符号語数のセーフティーマージンを表現する定数を表し、
2021524647.tif 000282
は、前記第１のダイナミックレンジにおけるビンｂに対応する前記第２のダイナミックレンジにおける正規化範囲値を表す、
請求項１１から１３のいずれかに記載の方法。
【請求項１５】
前記回復範囲中の符号語に対する前記既存の逆方向再構成関数は、加数（ａｄｄｅｄ  ｆａｃｔｏｒ）
【数４】
2021524647.tif 000283
に従い調整され、ここでβは、前記緩和範囲の前記開始値を表し、
2021524647.tif 000284
は、前記既存の逆方向再構成関数の前記傾きを表し、
2021524647.tif 000285
は、前記明度損失値に基づき決定された多項式係数であり、ｓは、前記回復範囲中の符号語を表す、
請求項１１から１３のいずれかに記載の方法
【請求項１６】
前記既存の逆方向再構成関数は、前記回復範囲において
【数５】
2021524647.tif 000286
として調整され、ここで
2021524647.tif 000287
は、入力符号語ｓに対応する前記調整された逆方向再構成関数値を表し、γは、前記回復範囲の前記開始値を表す、
請求項１５に記載の方法。
【請求項１７】
前記既存の逆方向再構成関数は、前記緩和範囲において
【数６】
2021524647.tif 000288
として調整され、ここで
2021524647.tif 000289
は、入力符号語ｓに対応する補正逆方向再構成関数値を表し、βは、前記緩和範囲の前記開始値を表し、
2021524647.tif 000290
は、前記入力画像における最大輝度範囲を表す、
請求項１４から１６のいずれかに記載の方法。
【請求項１８】
前記入力逆方向再構成関数は、単調非減少関数（ｍｏｎｏｔｏｎｉｃａｌｌｙ  ｎｏｎ−ｄｅｃｒｅａｓｉｎｇ  ｆｕｎｃｔｉｏｎ）である、請求項１から１７のいずれかに記載の方法。
【請求項１９】
プロセッサを備えており、かつ、請求項１から１８のいずれかに記載の方法を実行するように構成された装置。
【請求項２０】
請求項１から１８のいずれかに記載の方法を１つ以上のプロセッサで実行するためのコンピュータ実行可能命令を含むコンピュータプログラム。
【国際調査報告】
2021524647.tif 000291
2021524647.tif 000292