(57)【特許請求の範囲】
【請求項１】
プロセッサを用いて、第１のダイナミックレンジから第２のダイナミックレンジに画像をマッピングする方法であって、
前記第１のダイナミックレンジにおける入力画像の第１の情報データにアクセスすることであって、前記第１の情報データは、前記第１のダイナミックレンジにおける入力黒色点レベル（ｘ１，ＳＭｉｎ）、入力中間トーンレベル（ｘ２，ＳＭｉｄ）および入力白色点レベル（ｘ３，ＳＭａｘ）を含むことと、
前記第２のダイナミックレンジにおける出力画像の第２の情報データにアクセスすることであって、前記第２の情報データは、前記第２のダイナミックレンジにおける第１の出力黒色点レベル（ＴｍｉｎＰＱ）および第１の出力白色点レベル（ＴｍａｘＰＱ）を含むことと、
前記第１の情報データおよび前記第２の情報データに基づいて、前記第２のダイナミックレンジにおける出力中間トーン値を決定することと、
前記第２の情報データおよび前記出力中間トーン値に基づいて、前記第２のダイナミックレンジにおける第２の出力黒色点および第２の出力白色点を計算することと、
前記第１の情報データ、前記第２の情報データおよび前記出力中間トーン値に基づいて、テール傾き、ヘッド傾きおよび中間トーン傾きを計算することと、
前記第１のダイナミックレンジにおける前記入力画像の画素値を、前記第２のダイナミックレンジにおける前記出力画像の対応する画素値にマッピングする伝達関数を決定することであって、前記伝達関数は２つのセグメントを含み、第１のセグメントは、前記テール傾き、前記中間トーン傾き、前記入力黒色点レベル、前記入力中間トーンレベル、前記第２の出力黒色点および前記出力中間トーン値に基づいて決定され、第２のセグメントは、前記中間トーン傾き、前記ヘッド傾き、前記入力中間トーンレベル、前記入力白色点レベル、前記出力中間トーン値および前記第２の出力白色点に基づいて決定されることと、
前記決定された伝達関数を用いて、前記入力画像を前記出力画像にマッピングすることと、
を含む、方法。
【請求項２】
前記第２のダイナミックレンジにおける前記第２の出力黒色点および前記第２の出力白色点を計算することは、前記第１の情報データに更に基づく、請求項１に記載の方法。
【請求項３】
前記テール傾きを計算することは、前記入力黒色点レベル、前記入力中間トーンレベル、前記第２の出力黒色点および前記出力中間トーン値に基づき、
前記ヘッド傾きを計算することは、前記入力白色点レベル、前記入力中間トーンレベル、前記第２の出力白色点および前記出力中間トーン値に基づき、
前記中間トーン傾きは、前記第１の情報データ、前記第２の出力黒色点、前記第２の出力白色点および前記出力中間トーン値に基づく、請求項１または２に記載の方法。
【請求項４】
前記第１のダイナミックレンジはハイダイナミックレンジを含み、前記第２のダイナミックレンジはスタンダードダイナミックレンジを含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記伝達関数は、前記第１のダイナミックレンジにおける前記入力黒色点レベルよりも低い入力値に対する第１の線形セグメントを更に含み、前記線形セグメントは、前記テール傾きに等しい傾きを有し、任意選択により、前記第１の線形セグメントの前記伝達関数は、
【数１】
0006738972.tif 000024
を含み、ここで、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭｉｎは前記テール傾きを表し、ＴＭｉｎは前記第２のダイナミックレンジにおける前記第２の出力黒色点を表し、ＳＭｉｎは前記第１のダイナミックレンジにおける前記入力黒色点レベルを表す、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記伝達関数は、前記第１のダイナミックレンジにおける前記入力白色点レベルよりも大きい入力値に対する第２の線形セグメントを更に含み、前記線形セグメントは、前記ヘッド傾きに等しい傾きを有し、任意選択により、前記第２の線形セグメントの前記伝達関数は、
【数２】
0006738972.tif 000025
を含み、ここで、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭａｘは前記ヘッド傾きを表し、ＴＭａｘは前記第２のダイナミックレンジにおける前記第２の出力白色点を表し、ＳＭａｘは前記第１のダイナミックレンジにおける前記入力白色点レベルを表す、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記第１のセグメントおよび／または前記第２のセグメントは、３次エルミートスプライン多項式に基づいて決定される、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記第１のセグメントを決定することは、
【数３】
0006738972.tif 000026
を計算することを含み、ここで、Ｔ＝（ｘ−ＳＭｉｎ）／（ＳＭｉｄ−ＳＭｉｎ）であり、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭｉｎは前記テール傾きを表し、ｓｌｏｐｅＭｉｄは前記中間トーン傾きを表し、ＴＭｉｎおよびＴＭｉｄは前記第２の出力黒色点および前記出力中間トーン値を表し、ＳＭｉｎおよびＳＭｉｄは、前記第１のダイナミックレンジにおける前記入力黒色点レベルおよび前記入力中間トーンレベルを表す、請求項７に記載の方法。
【請求項９】
前記第２のセグメントを決定することは、
【数４】
0006738972.tif 000027
を計算することを含み、ここで、Ｔ＝（ｘ−ＳＭｉｄ）／（ＳＭａｘ−ＳＭｉｄ）であり、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭａｘは前記ヘッド傾きを表し、ｓｌｏｐｅＭｉｄは前記中間トーン傾きを表し、ＴＭｉｄおよびＴＭａｘは、前記第２のダイナミックレンジにおける前記出力中間トーン値および前記第２の出力白色点を表し、ＳＭｉｄおよびＳＭａｘは、前記第１のダイナミックレンジにおける前記入力中間トーンレベルおよび前記入力白色点レベルを表す、請求項７または８に記載の方法。
【請求項１０】
前記出力中間トーン値を計算することは、
【数５】
0006738972.tif 000028
を計算することを含み、ここで、ＴＭｉｄは前記出力中間トーン値を表し、ａおよびｂは［０，１］におけるパーセンタイル値であり、ＳＭｉｄは前記入力中間トーンレベルを表し、ＴｍｉｎＰＱおよびＴｍａｘＰＱは前記第２の情報データにおける値を含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記出力中間トーン値を計算することは、
前記第１の情報データおよび前記第１の出力黒色点レベルに基づいて、前記第２のダイナミックレンジにおける仮の出力中間トーン値と、該仮の出力中間トーン値の第１の境界値および第２の境界値とを決定することと、
前記仮の出力中間トーン値、前記第１の境界値および第２の境界値、並びに１つ以上の入力コントラスト保持値に基づいて、前記第２のダイナミックレンジにおけるヘッドオフセットおよびテールオフセットを計算することと、
前記第１のダイナミックレンジにおける前記入力中間トーンレベル並びに前記ヘッドオフセットおよび前記テールオフセットに基づいて前記第２のダイナミックレンジにおける前記出力中間トーン値を計算することと、
を更に含む、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記仮の出力中間トーン値と、前記仮の出力中間トーン値の前記第１の境界値および前記第２の境界値とを決定することは、
midLoc = (SMid-TminPQ)/TDR;
headroom = (SMax-SMid)/TDR;
tailroom = (SMid-SMin)/TDR;
を計算することを含み、ここで、
TDR = TmaxPQ-TminPQ
であり、ｍｉｄＬｏｃは前記仮の出力中間トーン値を表し、ｔａｉｌｒｏｏｍおよびｈｅａｄｒｏｏｍは前記仮の出力中間トーン値の前記第１の境界値および前記第２の境界値を表し、ＳＭｉｎ、ＳＭｉｄおよびＳＭａｘは前記第１の情報データを表し、ＴｍｉｎＰＱは前記第１の出力黒色点レベルを表す、請求項１１に記載の方法。
【請求項１３】
少なくとも１つのコントラスト保持値は約５０％である、請求項１１または１２に記載の方法。
【請求項１４】
前記出力中間トーン値（ＴＭｉｄ）を計算することは、
TMid = SMid-offsetHead+offsetTail
を計算することを含み、ここで、ＳＭｉｄは前記第１のダイナミックレンジにおける前記入力中間トーンレベルを表し、ｏｆｆｓｅｔＨｅａｄおよびｏｆｆｓｅｔＴａｉｌは、前記ヘッドオフセットおよび前記テールオフセットを表す、請求項１１から１３のいずれか一項に記載の方法。
【請求項１５】
前記第２のダイナミックレンジにおける前記第２の出力白色点および前記第２の出力黒色点を計算することは、
TMax = min(TMid+SMax-SMid,TmaxPQ),
TMin = max(TMid-SMid+SMin,TminPQ)
を計算することを含み、ここで、ＴＭｉｎは前記第２の出力黒色点を表し、ＴＭａｘは前記第２の出力白色点を表し、ＳＭｉｎおよびＳＭａｘは、前記第１のダイナミックレンジにおける前記入力黒色点レベルおよび前記入力白色点レベルを表し、ＴｍｉｎＰＱおよびＴｍａｘＰＱは、前記第２のダイナミックレンジにおける前記第１の出力黒色点レベルおよび前記第１の出力白色点を表す、請求項１４に記載の方法。
【請求項１６】
前記テール傾きの最大値（ｍａｘＭｉｎＳｌｏｐｅ）および／または前記ヘッド傾きの最大値（ｍａｘＭａｘＳｌｏｐｅ）を
maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
として計算することを更に含み、
ここで、任意選択により、
前記テール傾き（ｓｌｏｐｅＭｉｎ）、前記中間トーン傾き（ｓｌｏｐｅＭｉｄ）および前記ヘッド傾き（ｓｌｏｐｅＭａｘ）を計算することは、
slopeMin = min([maxMinSlope,((TMid - TMin)/(SMid - SMin))2]);
slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
を計算することを更に含み、ここで、ｃｏｎｔｒａｓｔＦａｃｔｏｒはコントラストパラメータを表す、請求項１０または請求項１５に記載の方法。
【請求項１７】
前記第２のダイナミックレンジから前記第１のダイナミックレンジに画像を戻してマッピングする逆方向ルックアップテーブルを決定することを更に含み、前記方法は、
前記決定された伝達関数に基づいて、前記第１のダイナミックレンジにおける複数のｘ（ｉ）値を、前記第２のダイナミックレンジにおけるｙ（ｉ）値にマッピングする順方向ルックアップテーブルを決定することと、
以下を設定することによって、前記第２のダイナミックレンジにおける複数のｙ’（ｋ）値を前記第１のダイナミックレンジにおける対応するｘ’（ｋ）値にマッピングする前記逆方向ルックアップテーブルを生成することと、
【数６】
0006738972.tif 000029
を更に含む、請求項１から１６のいずれか一項に記載の方法。
【請求項１８】
プロセッサを備える装置であって、請求項１から１７に記載のいずれか一項に記載の方法を実行するように構成される、装置。
【請求項１９】
１つ以上のプロセッサを用いて、請求項１から１７のいずれか一項に記載の方法を実行するコンピュータ実行可能命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への参照
本願は、いずれも２０１７年２月１５日に出願された米国仮特許出願第６２／４５９，１４１号および欧州特許出願第１７１５６２８４．６号、ならびに２０１７年３月１日に出願された米国仮特許出願第６２／４６５，２９８号に基づく優先権を主張するものであり、これら各出願を本願に援用する。
【０００２】
技術分野
本発明は、画像全般に関する。より詳しくは、本発明の一実施形態は、第１のダイナミックレンジから第２のダイナミックレンジへとハイダイナミックレンジ（ＨＤＲ）画像および映像信号をマッピングするための、トーン曲線のパラメータを決定することに関する。
【背景技術】
【０００３】
背景技術
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚系（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最も暗いグレー（黒）から最も明るい白（ハイライト）まで）を知覚する能力に関し得る。この意味では、ＤＲは、「シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）」な強度に関する。ＤＲはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）な強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
【０００４】
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。
【０００５】
実際において、画像は、１つ以上の色成分（例えば、ルマＹならびにクロマＣｂおよびＣｒ）を有しており、各色成分は、１画素あたりｎビットの精度（例えば、ｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ  ｌｕｍｉｎａｎｃｅ  ｃｏｄｉｎｇ）を使用する場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジの画像とされ、ｎ＞８の画像は、エンハンストダイナミックレンジの画像とされる。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ  Ｌｉｇｈｔ  ａｎｄ  Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば、１６ビット）浮動小数点フォーマットを使用して、記憶および配信され得る。
【０００６】
本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ほとんどのコンシューマー用デスクトップディスプレイは現在、２００〜３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ２）に達する。このような従来のディスプレイはしたがって、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＨＤＲディスプレイ（例えばＤｏｌｂｙ  ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）両方の進化によって、ＨＤＲコンテンツの普及率が高まるにつれ、ＨＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。一般的に、限定しないが、本開示の方法はＳＤＲよりも高い任意のダイナミックレンジに関連する。
【０００８】
ハイダイナミックレンジ（ＨＤＲ）コンテンツのオーサリングは、それ以前のフォーマットよりもよりリアルで生き生きとした画像を与える技術であるため、現在広まりつつある。しかし、何億台ものコンシューマー用テレビディスプレイを含む多くのディスプレイシステムでは、ＨＤＲ画像を再生することが出来ない。さらに、ＨＤＲディスプレイの幅広さ（例えば１，０００ニトから５，０００ニト以上）のため、ある１つのＨＤＲディスプレイ上で最適化されたＨＤＲコンテンツは、別のあるＨＤＲディスプレイ上での直接の再生には適さないことがある。マーケット全体に対応するために用いられている１つのアプローチは、新しい映像コンテンツに対し複数のバージョンを作成することである。例えば、ＨＤＲ画像を用いた１つと、ＳＤＲ（スタンダードダイナミックレンジ）画像を用いた別の１つである。しかしこれは、コンテンツの制作者らがその映像コンテンツを複数のフォーマットで作成することを要求し、また、消費者らが、自身の特定のディスプレイに対してどのフォーマットを購入すべきかを知っておくことを必要とし得る。より良いアプローチの可能性としては、コンテンツ（ＨＤＲ）のバージョンを１つ作成し、画像データ変換システム（例えばセットトップボックスの機能の一部として）を用いて、入力ＨＤＲコンテンツを適切な出力ＳＤＲまたはＨＤＲコンテンツに自動的にダウンコンバート（またはアップコンバート）することである。既存のディスプレイ方式を改善するためには、本発明者らの理解によれば、ＨＤＲ画像のディスプレイマッピングのためのトーン曲線を決定するための改善された方法が開発される。
【０００９】
本節に記載されているアプローチは、探求し得るアプローチではあるが、必ずしもこれまでに着想または探求されてきたアプローチではない。従って、別途示唆のない限り、本節に記載されたアプローチのいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上のアプローチに関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
【００１０】
添付図面の各図において、本発明の実施形態を限定する事なく例示する。同様の部材には同様の参照符号を付している。
【図面の簡単な説明】
【００１１】
【図１】映像配信パイプラインの例示的なプロセスを示す図である。
【図２】従来技術による、３つのアンカーポイントを用いて第１のダイナミックレンジから第２のダイナミックレンジに画像をマッピングする例示的なマッピング関数を示す図である。
【図３】本発明の実施形態による、第１のダイナミックレンジから第２のダイナミックレンジに画像をマッピングする例示的なマッピング関数を示す図である。
【図４Ａ】本発明の実施形態による、トーンマッピング関数を決定する例示的なプロセスを示す図である。
【図４Ｂ】本発明の実施形態による、トーンマッピング関数を決定する例示的なプロセスを示す図である。
【図５】本発明の実施形態に従って決定された２つの例示的なマッピング関数を示す。
【図６Ａ】本発明の実施形態による、入力中間トーン値が出力中間トーン値にマッピングされ、トーン−曲線マッピング関数の中間トーンアンカーポイントが決定される様子を示す、例示的なプロットを示す。
【図６Ｂ】本発明の実施形態による、入力中間トーン値が出力中間トーン値にマッピングされ、トーン−曲線マッピング関数の中間トーンアンカーポイントが決定される様子を示す、例示的なプロットを示す。
【発明を実施するための形態】
【００１２】
ハイダイナミックレンジ（ＨＤＲ）画像のディスプレイマッピングのためのトーン曲線を決定する方法が本明細書に記載される。以下の記載において、説明の目的で、本発明を完全に理解できるように、多数の詳細事項を述べる。ただし、これらの詳細事項がなくても本発明が実施可能であることは明白であろう。他の例では、本発明の説明を不必要に煩雑にし、不明瞭にし、または難読化することのないように、既知の構造およびデバイスの細かな詳細までは説明しない。
【００１３】
概要
本明細書に記載の例示的な実施形態は、ハイダイナミックレンジ（ＨＤＲ）画像のディスプレイマッピングのためのトーン曲線を決定する方法に関する。映像システムにおいて、１つの実施形態では、プロセッサは入力画像について、第１のダイナミックレンジにおける入力黒色点レベル（ｘ１，ＳＭｉｎ）、入力中間トーンレベル（ｘ２，ＳＭｉｄ）および入力白色点レベル（ｘ３，ＳＭａｘ）を含む第１の情報データを受信する。プロセッサは、第２のダイナミックレンジにおける第１の出力黒色点レベル（ＴｍｉｎＰＱ）および第１の出力白色点レベル（ＴｍａｘＰＱ）を含む、第２のダイナミックレンジにおける出力画像についての第２の情報データにもアクセスする。プロセッサは、第１の情報データおよび第２の情報データに基づいて、第２のダイナミックレンジにおける出力中間トーン値を決定する。プロセッサは、第２の情報データおよび出力中間トーン値に基づいて、第２のダイナミックレンジにおける第２の出力黒色点および第２の出力白色点を計算する。次に、プロセッサは、第１の情報データ、第２の情報データおよび出力中間トーン値に基づいて、テール傾き、ヘッド傾き、および中間トーン傾きを計算する。プロセッサは、第１のダイナミックレンジにおける入力画像の画素値を、第２のダイナミックレンジにおける出力画像の対応する画素値にマッピングする伝達関数（ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ）を決定する。ここで、伝達関数は２つのセグメントを含み、第１のセグメントはテール傾き、中間トーン傾き、入力黒色点レベル、入力中間トーンレベル、第２の出力黒色点および出力中間トーン値に基づいて決定され、第２のセグメントは、中間トーン傾き、ヘッド傾き、入力中間トーンレベル、入力白色点レベル、出力中間トーン値および第２の出力白色点に基づいて決定される。プロセッサは、決定された伝達関数を用いて入力画像を出力画像にマッピングする。
【００１４】
一実施形態において、プロセッサは、第１の情報データ、第２の情報データおよび出力中間トーン値に基づいて、第２の出力黒色点および第２の出力白色点を計算する。
【００１５】
一実施形態において、プロセッサは、入力黒色点レベル、入力中間トーンレベル、第２の出力黒色点および出力中間トーン値に基づいてテール傾きを計算する。
【００１６】
一実施形態において、プロセッサは、入力白色点レベル、入力中間トーンレベル、第２の出力白色点および出力中間トーン値に基づいてヘッド傾きを計算する。
【００１７】
一実施形態において、プロセッサは、第１の情報データ、第２の出力黒色点、第２の出力白色点および出力中間トーン値に基づいて中間トーン傾きを計算する。
【００１８】
ダイナミックレンジ変換
ＨＤＲ信号の映像符号化
図１は、映像の撮像から映像コンテンツ表示までの様々な段を示す従来の映像配信パイプライン１００の例示的なプロセスを示す。一連の映像フレーム１０２が、画像生成ブロック１０５を用いて撮像または生成される。映像フレーム１０２を、（例えばデジタルカメラによって）デジタルで撮像するか、またはコンピュータによって（例えばコンピュータアニメーションを用いて）生成し、映像データ１０７を提供することができる。代替的に、映像フレーム１０２は、フィルムカメラによってフィルム上に撮像されてもよい。フィルムは、デジタルフォーマットに変換され、映像データ１０７が提供される。プロダクションフェーズ１１０において、映像データ１０７が編集され、映像プロダクションストリーム１１２が提供される。
【００１９】
次に、プロダクションストリーム１１２の映像データは、ブロック１１５においてポストプロダクション編集のためにプロセッサに提供される。ブロック１１５のポストプロダクション編集は、画像の特定のエリアにおける色または明るさを調整または修正して、画像品質を高めるか、または映像クリエイターの制作意図に従って画像の特定の外観を達成することを含むことができる。これは、場合によっては、「カラータイミング」または「カラーグレーディング」と呼ばれる。ブロック１１５において、他の編集（例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータにより生成される視覚特殊効果の追加等）を行い、配給用の最終プロダクションバージョン１１７を得てもよい。ポストプロダクション編集１１５の間、映像イメージがリファレンスディスプレイ１２５上で見られる。
【００２０】
ポストプロダクション１１５に続いて、最終プロダクション１１７の映像データを、テレビセット、セットトップボックス、映画館等の復号化および再生デバイスにダウンストリーム配信するために、符号化ブロック１２０に配信することができる。いくつかの実施形態では、符号化ブロック１２０は、符号化されたビットストリーム１２２を生成する、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ−Ｒａｙおよび他の配信フォーマットによって定義されるようなオーディオおよび映像エンコーダを含むことができる。受信機において、符号化されたビットストリーム１２２は、復号化ユニット１３０によって復号化され、信号１１７と同一の、またはこれに近い近似を表す復号化信号１３２が生成される。受信機は、リファレンスディスプレイ１２５と全く異なる特性を有し得るターゲットディスプレイ１４０に取り付けられてもよい。その場合、ディスプレイ管理ブロック１３５を用いて、ディスプレイマッピング信号１３７を生成することによって、復号化信号１３２のダイナミックレンジをターゲットディスプレイ１４０の特性にマッピングすることができる。
【００２１】
シグモイドマッピングを用いた画像変換
その全体を本願において援用し、本明細書において‘４８０特許として参照される、A. BallestadおよびA. Kostinによる米国特許第８，５９３，４８０号「Method and apparatus for image data transformation」によれば、当該発明者らは、３つのアンカーポイントおよび中間トーンの自由パラメータを用いて一意に決定することができるパラメータ化されたシグモイド関数を用いた画像変換マッピングを提案した。そのような関数の例が図２に示される。
【００２２】
図２に示されるように、マッピング関数２２０は、３つのアンカーポイント（２０５、２１０、２１５）、すなわち、黒色点（ｘ１，ｙ１），中間トーン点（ｘ２，ｙ２）および白色点（ｘ３，ｙ３）によって定義される。この変換は、以下の特性を有する。
・ｘ１〜ｘ３の値は、入力画像を構成する画素を記述する可能な値の範囲を表す。これらの値は、特定の原色（Ｒ、ＧまたはＢ）の明るさレベルとすることもできるし、画素の全体輝度レベルとすることもできる（例えば、ＹＣｂＣｒ表現におけるＹ成分）。通常、これらの値は、コンテンツを作成するのに用いられるディスプレイ（「マスタリングディスプレイ」１２５）によってサポートされる最も暗いレベル（黒色点）および最も明るいレベル（白色点）に対応するが、いくつかの実施形態では、リファレンスディスプレイの特性が未知であるとき、これらの値は、受信機において画像メタデータを介して受信することができるかまたは計算することができる、入力画像における（例えば、Ｒ、ＧまたはＢ、輝度等における）最小値および最大値を表すことができる。
・ｙ１〜ｙ３の値は、出力画像を構成する画素を記述する可能な値の範囲を表す（ここでも、原色の明るさまたは全体輝度レベル）。通常、これらの値は、意図される出力ディスプレイ（「ターゲットディスプレイ」１４０）によってサポートされる最も暗いレベル（黒色点）および最も明るいレベル（白色点）に対応する。
・値ｘ１を有する任意の入力画素は、値ｙ１を有する出力画素にマッピングするように制約され、値ｘ３を有する任意の入力画素は、値ｙ３を有する出力画素にマッピングするように制約される。
・ｘ２およびｙ２の値は、画像の何らかの「中間範囲」（または中間トーンレベル）要素のためのアンカーポイントとして用いられる、入力から出力への特定のマッピングを表す。ｘ２およびｙ２の特定の選択において、かなりの許容範囲が許可され、‘４８０号特許は、これらのパラメータをどのように選択することができるかについての複数の代替形態を教示している。
【００２３】
３つのアンカーポイントが選択されると、伝達関数２２０は以下のように表すことができる。
【数１】
0006738972.tif 000002
ここで、Ｃ1、Ｃ1およびＣ3は定数であり、ｘは、カラーチャネルまたは輝度の入力値を示し、ｙは対応する出力値を示し、ｎは、中間トーンコントラストを調整するのに用いることができる自由パラメータである。
【００２４】
‘４８０号特許に記載されているように、Ｃ1、Ｃ1およびＣ3の値は、以下を解くことによって決定することができる。
【数２】
0006738972.tif 000003
【００２５】
式（１）のトーン曲線は、複数のディスプレイマッピングアプリケーションへの適用に成功してきたが、本発明者らによって理解されるように、これには以下を含む複数の潜在的な制限もある。
・ターゲットディスプレイの特定の範囲内で１対１のマッピングが存在するようにトーン−曲線パラメータを定義することが困難である。
・コントラストを制御するパラメータ（例えば、指数ｎ）を決定することが困難である。
・中間アンカー（ｘ２，ｙ２）ポイントにおける小さな変化により、予期しない挙動が生じる場合がある。
・黒アンカーポイント２０５を下回る、および／または白アンカーポイント２１５を上回る線形マッピングを可能にしない。
【００２６】
図３は、一実施形態による新たなトーンマッピング曲線の例を示す。図３に示すように、トーンマッピング曲線３２０は、最大で４つのセグメントを含む。
・（ｘ１，ｙ１）より低い値についての任意選択の線形セグメントＬ１（ｘ１は負にもなり得る）
・（ｘ１，ｙ１）から（ｘ２，ｙ２）までのスプラインＳ１
・（ｘ２，ｙ２）から（ｘ３，ｙ３）までのスプラインＳ２
・（ｘ３，ｙ３）より大きい値についての任意選択の線形セグメントＬ２（ｘ１は１より大きくもなり得る）
【００２７】
一実施形態では、限定ではないが、セグメントＳ１およびＳ２は、３次（キュービック）エルミート多項式を用いて決定される。
【００２８】
後に論じられるように、線形セグメントＬ１およびＬ２を用いたマッピングは、例えば逆トーンマッピング中にトーン曲線の反転を計算するとき、例えば、スタンダードダイナミックレンジ画像からハイダイナミックレンジ画像を生成する必要があるときに特に有用であり得る。
【００２９】
式（１）におけるように、曲線３２０は、３つのアンカーポイント３０５、３１０、３１５、すなわち、黒色点（ｘ１，ｙ１）と、中間トーン値点（ｘ２，ｙ２）と、白色点（ｘ３，ｙ３）とによって制御される。加えて、スプラインセグメントの各々は、各端点において２つの傾きによって更に制約することができ、このため、曲線全体が、３つのアンカーポイントおよび３つの傾き、すなわち、（ｘ１，ｙ１）におけるテール傾きと、（ｘ２，ｙ２）における中間トーン傾きと、（ｘ３，ｙ３）におけるヘッド傾きとによって制御される。
【００３０】
例として、（ｘ１，ｙ１）における傾きｓ１と、（ｘ２，ｙ２）における傾きｓ２とを有する、点（ｘ１，ｙ１）および（ｘ２，ｙ２）間で決定されるスプラインを検討すると、入力ｘについて、そのキュービックエルミートスプラインの伝達関数は以下のように定義することができる。
【数３】
0006738972.tif 000004
ここで、
【数４】
0006738972.tif 000005
である。
【００３１】
一実施形態において、オーバーシュートまたはアンダーシュートがないことを確実にする（すなわち、曲線が単調であることを確実にする）ために、傾きｓ１およびｓ２に以下の規則も適用することができる。
【数５】
0006738972.tif 000006
ここで、αは定数（例えば、α＝３）を示す。
【００３２】
式（３）のエルミートスプラインを所与として、一実施形態では、限定ではないが、例えば知覚的量子化器（ＰＱ：perceptual quantizer）（例えば、SMPTE ST 2084:2014, 「High Dynamic Range EOTF of Mastering Reference Displays」によるもの）を用いて符号化された映像入力について、曲線全体を以下のパラメータに基づいて定義することができる。
・ＳＭｉｎ＝ｘ１は、ソースコンテンツの最小輝度を表す。所与でない場合、ＳＭｉｎは、一般的な黒を表す値（例えば、ＳＭｉｎ＝０．０１５１）に設定することができる。
・ＳＭａｘ＝ｘ３は、ソースコンテンツの最大輝度を表す。所与でない場合、ＳＭａｘは、「ハイライト」を表す大きな値（例えば、ＳＭａｘ＝０．９０２６）に設定することができる。
・ＳＭｉｄ＝ｘ２は、ソースコンテンツの平均（例えば、算術平均、中央値、幾何平均）輝度を表す。いくつかの実施形態では、ＳＭｉｄ＝ｘ２は単純に、入力ピクチャにおける「重要な」輝度特徴を表すことができる。いくつかの他の実施形態では、ＳＭｉｄ＝ｘ２は、選択された領域（例えば、顔）の平均または中央値も表すことができる。ＳＭｉｄは、手動でまたは自動で定義することができ、その値は、ハイライトまたはシャドー内の特定の見かけを保持することの選択（ｐｒｅｆｅｒｅｎｃｅ）に基づいてオフセットすることができる。所与でない場合、ＳＭｉｄは、一般的な平均値（例えば、肌のトーンを表すＳＭｉｄ＝０．３６）に設定することができる。
【００３３】
これらのデータは、画像またはソースメタデータを用いて受信することができるか、ディスプレイ管理ユニット（例えば、１３５）によって計算することができるか、またはマスタリングもしくはリファレンスディスプレイ環境に関する既知の仮定に基づくことができる。加えて、以下のデータは、ターゲットディスプレイについて既知であると仮定される（例えば、ディスプレイの拡張ディスプレイ識別データ（ＥＤＩＤ：Extended Display Identification Data）を読み出すことによって受信される）。
・ＴｍｉｎＰＱ＝ターゲットディスプレイの最小輝度
・ＴｍａｘＰＱ＝ターゲットディスプレイの最大輝度
用語「ＰＱ」は、本明細書において用いられるとき、これらの値（通常、ニト単位で与えられる）がＳＭＰＴＥ  ＳＴ  ２０８４に従ってＰＱ値に変換されることを表す。
【００３４】
マッピング曲線を完全に決定するために、以下の点およびパラメータが計算される必要がある。
ＴＭｉｎ＝ｙ１、
ＴＭａｘ＝ｙ３、
ＴＭｉｄ＝ｙ２、
ｓｌｏｐｅＭｉｎ＝（ｘ１，ｙ１）における傾き、
ｓｌｏｐｅＭｉｄ＝（ｘ２，ｙ２）における傾き、および、
ｓｌｏｐｅＭａｘ＝（ｘ３，ｙ３）における傾き。
【００３５】
図４Ａは、一実施形態による、トーンマッピング曲線のアンカーポイントおよび傾きを決定する例示的なプロセスを示す。入力パラメータＳＭｉｎ、ＳＭｉｄ、ＳＭａｘ、ＴｍｉｎＰＱおよびＴｍａｘＰＱを所与として（４０５）、ステップ４１２はｙ２（ＴＭｉｄ）を計算する。例えば、１つの実施形態において、中間トーンアンカーポイント（ＳＭｉｄ，ＴＭｉｄ）は、１対１マッピングライン上にあるように選択することができ、すなわち、ＴＭｉｄが境界点ＴｍｉｎＰＱおよびＴｍａｘＰＱ並びに所定のバッファ内にある限り、ＴＭｉｄ＝ＳＭｉｄを強制する。ＴＭｉｄ値がＴｍｉｎＰＱおよびＴｍａｘＰＱに近い場合、ＴＭｉｄは、固定の距離（例えば、ＴＭｉｎＰＱ＋ｃとＴｍａｘＰＱ−ｄとの間、ここで、ｃおよびｄは固定値である）またはこれらの値のパーセンテージとして計算される距離内に入るように選択することができる。例えば、ＴＭｉｄは、ＴｍｉｎＰＱ＋ａ＊ＴｍｉｎＰＱを下回ることもＴｍａｘＰＱ−ｂ＊ＴＭａｘＰＱを上回ることも決してないように強制することができ、ここで、ａおよびｂは、［０，１］における定数であり、パーセンテージの値（例えば、ａ＝ｂ＝５％＝０．０５）を表す。
【００３６】
ＴＭｉｄを所与として、ステップ４２５は、残りの未知のパラメータ（例えば、ｙ１、ｙ２および３つの傾き）を計算する。最後に、ステップ４３０は、２つのスプラインセグメントおよび２つの線形セグメントを計算する。
【００３７】
別の実施形態において、ＴＭｉｄを計算することは、入力「テールコントラスト」（すなわち、黒（ＳＭｉｎ）と中間トーン（ＳＭｉｄ）との間のコントラスト）と、入力「ヘッドコントラスト」（すなわち、中間トーン（ＳＭｉｄ）とハイライト（ＳＭａｘ）との間のコントラスト）との間の元の比を保持するように試行することによって更に洗練（ｒｅｆｉｎｅｄ）することができる。一実施形態によるそのようなプロセスの例が図４Ｂに示され、表１において擬似コードでも示される。このプロセスの目的は、以下である。
・対角（１対１）マッピングに可能な限り近づくように出力中間トーンアンカーポイント（ＳＭｉｄ，ＴＭｉｄ）を決定する。すなわち、理想的には、ＴＭｉｄは、入力中間トーンを保持するために可能な限りＳＭｉｄに近くなるべきである。
・１対１マッピングが可能でない場合、「テールコントラスト」および「ヘッドコントラスト」範囲の出力値が対応する入力範囲の所定の制限以内になるようにＴＭｉｄを決定する。本明細書において用いられるとき、入力「ヘッドコントラスト」は、（ＳＭａｘ−ＳＭｉｄ）の関数に基づき、入力「テールコントラスト」は、（ＳＭｉｄ−ＳＭｉｎ）の関数に基づく。
・中間アンカーポイント（ｘ２，ｙ２）すなわち（ＳＭｉｄ，ＴＭｉｄ）を所与として、トーン曲線全体を特徴付けることができるような３つの傾きを決定する。
【表１】
0006738972.tif 000007
【００３８】
上記のステップ４において、ヘッドオフセットパラメータおよびテールオフセットパラメータを計算するために、「ｏｆｆｓｅｔＳｃａｌａｒ」として表される項が項に乗算される。この項は、一実施形態では以下のように表すことができる。
【数６】
0006738972.tif 000008
この関数の目的は、最大可能オフセット（例えば、ｈｅａｄｒｏｏｍ＊ｐｒｅｓｅｒｖａｔｉｏｎＨｅａｄまたはｔａｉｌｒｏｏｍ＊ｐｒｅｓｅｒｖａｔｉｏｎＴａｉｌ）と対応するヘッド傾きまたはテール傾きとの間の平滑な遷移を与えることである。式（５）におけるｓ（）関数は、｜２＊ｍｉｄＬｏｃ−１｜の任意の適切な線形または非線形関数とすることができる。例えば、別の実施形態では、以下となる。
【数７】
0006738972.tif 000009
【００３９】
上記のステップ８において、ｓｌｏｐｅＭｉｄは、１対１マッピングのために対角線に可能な限り近づくように計算される。対照的に、ｓｌｏｐｅＭａｘは、ハイライトをｈｅａｄｓｌｏｐｅh（例えば、ｈ＝４）、すなわち、（ｘ２，ｙ２）と（ｘ３，ｙ３）との間の傾きに比例させて保持するように計算されるのに対し、ｓｌｏｐｅＭｉｎは、黒をｔａｉｌｓｌｏｐｅt（例えば、ｔ＝２）、すなわち（ｘ１，ｙ１）と（ｘ２，ｙ２）との間の傾きに比例させて保持するように計算される。指数ｈおよびｔにより、ハイライトまたはグレイがどれだけ速く「クラッシュ（ｃｒａｓｈ）」される必要があるかが決まる。ｈおよびｔの一般的な値は、１、２または４を含む。一実施形態では、ｈ＝ｔである。
【００４０】
３つのアンカーポイントおよび３つの傾きを所与として、４つのセグメントを以下のように生成することができる。
【数８】
0006738972.tif 000010
【００４１】
図４Ｂに戻ると、入力パラメータ（例えば、ＳＭｉｎ、ＳＭｉｄ、ＳＭａｘ、ＴｍｉｎＰＱおよびＴｍａｘＰＱ）を所与として（４０５）、ステップ４１０は、入力パラメータ（例えば、表１におけるステップ２を参照されたい）に基づいて、第１のターゲット中間トーン値並びに関連付けられたターゲットヘッドルームおよびテールルーム値を計算する。ヘッドおよびテールコントラスト保持パーセンテージ（例えば、約５０％）、第１のターゲット中間トーン値、および関連付けられたターゲットヘッドルームおよびテールルームを所与として、ステップ４１５は、ヘッドオフセットおよびテールオフセットを計算する（例えば、表１におけるステップ４を参照されたい）。ステップ４２０は、ヘッドオフセットおよびテールオフセットを入力ＳＭｉｄ値に適用して、ターゲットＴＭｉｄ値を計算する（例えば、表１におけるステップ５を参照されたい）。次に、ステップ４２５は、入力パラメータおよびＴＭｉｄに基づいてＴＭａｘおよびＴＭｉｎを計算する（例えば、表１におけるステップ６を参照されたい）。ステップ４２５は、単調性を保持しようとしながら、２つのスプラインのための２つの端部傾きおよび中間傾きも計算する（例えば、表１におけるステップ８を参照されたい）。入力パラメータ、ＴＭｉｄ、ＴＭｉｎ、ＴＭａｘおよび３つの傾きを所与として、次に、ステップ４３０において、式（７）を適用してトーンマッピング曲線を計算する。
【００４２】
図５は、第１のダイナミックレンジから、第２のより低いダイナミックレンジにＰＱ符号化されたデータをマッピングする、提案されるトーン曲線の２つの異なる例を示す。例えば、より低いダイナミックレンジから、元のハイダイナミックレンジに戻すようにデータを変換するための逆マッピングに同じ曲線を用いることもできることに留意されたい。一実施形態において、逆マッピングは、以下のように計算することができる。
・上記で説明したように、例えばｙ＝ｆ（ｘ）で表されるトーンマッピング曲線を導出する
・ｙi＝ｆ（ｘi）を用いて、入力ｘi値を出力ｙi値にマッピングする順方向ルックアップテーブルを生成する
・順方向ＬＵＴ（すなわち、
【数９】
0006738972.tif 000011
の場合、
【数１０】
0006738972.tif 000012
）からの値を用いて、入力低ダイナミックレンジ値
【数１１】
0006738972.tif 000013
を、より高い出力ダイナミックレンジ値
【数１２】
0006738972.tif 000014
にマッピングする逆方向ルックアップテーブルを生成する
・既存の値にわたって補間を行うことによって、逆方向ＬＵＴの追加の値を生成する。例えば、
【数１３】
0006738972.tif 000015
である場合、対応する出力
【数１４】
0006738972.tif 000016
は、ｘiとｘi+1との間で補間を行うことによって生成することができる。
【００４３】
図６Ａは、一実施形態による、入力中間トーン値（ＳＭｉｄ）が出力中間トーン値（ＴＭｉｄ）にマッピングされ、（例えば、表１のステップ１〜４を用いて）トーン−曲線マッピング関数の中間トーンアンカーポイントが決定される様子を示す、例示的なプロットを示す。ＳＭｉｎ＝０．０１、ＳＭａｘ＝０．９２およびＴｍｉｎＰＱ＝０．１を所与として、プロット６０５は、ＴｍａｘＰＱ＝０．５であるときにＳＭｉｄがＴＭｉｄにどのようにマッピングされるかを示し、プロット６１０は、ＴｍａｘＰＱ＝０．７であるときにＳＭｉｄがＴｍｉｄにどのようにマッピングされるかを示す。
【００４４】
図６Ａから、ＳＭｉｄ値の小さな範囲内で関数６０５が単調でなく、これにより、例えば、フェードインまたはフェードアウト中に予期しない結果が生じ得ることがわかるだろう。この問題に対処するために、表１のステップ４において、以下の擬似コードを代わりに用いてヘッドオフセットおよびテールオフセットを計算することができる。
【数１５】
0006738972.tif 000017
ここで、ｃｕｔｏｆｆは、ヘッドオフセットおよびテールオフセットがクリッピングされるターゲットダイナミックレンジのパーセンテージを指定することによって、ハイライト対シャドーの維持に対して優先度を付ける変数である。例えば、０．５のｃｕｔｏｆｆ値は、ハイライトおよびシャドーに対する等しい優先度を与えるのに対し、０．７のｃｕｔｏｆｆ値は、シャドーよりもハイライトに高い優先度を与える。
【００４５】
この手法は、余弦関数も平方根関数も計算する必要がないとともに、図６Ｂに示すように、単調性を保持するためという双方の理由で、計算的により単純である。ＳＭｉｎ＝０．０１、ＳＭａｘ＝０．９２およびＴｍｉｎＰＱ＝０．１を所与として、図６Ｂにおいて、プロット６１５は、ＴｍａｘＰＱ＝０．５であるときにＳＭｉｄがＴＭｉｄにどのようにマッピングされるかを示し、プロット６２０は、ＴｍａｘＰＱ＝０．７であるときにＳＭｉｄがどのようにＴＭｉｄにマッピングされるかを示す。
【００４６】
式（１）と比較して、提案されるトーン曲線は、以下を含む複数の利点を呈する。
・ｓｌｏｐｅＭｉｄパラメータを用いて、ターゲットディスプレイの特定の範囲内のＳＭｉｄ値とＴＭｉｄ値との間の１対１マッピングを定義して、コントラストを保持することができる
・ｓｌｏｐｅＭｉｄおよびｃｏｎｔｒａｓｔＦａｃｔｏｒ変数を介して画像コントラストを明示的に制御することができる（表１のステップ８を参照されたい）。例えば、一実施形態では、ｃｏｎｔｒａｓｔＦａｃｔｏｒの値は、限定ではないが、ｃｏｎｔｒａｓｔＦａｃｔｏｒ＝１のデフォルト値を有して、０．５〜２．０の範囲をとることができる。
・曲線全体を２つのスプラインに分けることによって、中間トーンアンカー（ｘ２，ｙ２）の周りに予期しない挙動がもはや存在しない。
・ＳｌｏｐｅＭｉｎおよびＳｌｏｐＭａｘを用いることによって、黒アンカーの前、および白アンカーポイントの後のマッピング曲線の挙動を予め定めることができる。
・この曲線は、負の入力値（例えば、ｘ＜０）をマッピングすることができる。そのような条件は、雑音または他のシステム条件（例えば、空間フィルタリング）に起因して生じる場合がある。通常、負の値を０にクランピングするが、そのようなクランピングの結果として雑音が増大し、全体品質が低減する場合がある。負の入力値をマッピングすることが可能であることによって、そのようなクランピングに基づくアーチファクトを低減または除去することができる。
・トーンマッピング曲線は、ｘ対ｙマッピングをｙ対ｘマッピングに単に切り替えることによって容易に反転することができる。
・非整数の指数関数または冪関数を用いるという要件がないため、非整数の指数が用いられないことから、計算がより高速かつより効率的である。
【００４７】
最後の点に関して、計算的観点から、非自明なコントラスト値（例えば、ｎ≠１および／またはｎが整数でないとき）について式（２）における関数パラメータを決定することは、（例えば、ｙ＝ｐｏｗ（ｘ，ｎ），ｙ＝ｘnについての）６つの冪関数を用いることを必要とする。対照的に、表１における計算は、非整数の冪関数を一切必要としない（２または４の冪の計算は単純な乗算を必要とする）。全体として、式（１）と比較して、式（７）は、入力サンプルあたりいくつかの更なる乗算／除算および加算／減算の演算を必要とするが、冪関数は必要としない。いくつかの実施形態では、式（７）は、テーブルルックアップを用いて実施することができる。より重要なことには、本発明者らによって行われたユーザー研究は、ユーザーが、新たなトーンマッピング関数３２０を用いて生成された画像の全体ピクチャ品質をより好むことを示しているようである。
【００４８】
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなハイダイナミックレンジを有する画像のための画像変換に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の画像変換プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
【００４９】
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなＨＤＲ画像のための画像変換に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ  ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
【００５０】
上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
【００５１】
均等物、拡張物、代替物、その他
ＨＤＲ映像のＳＤＲ映像への効率的な画像変換に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
【００５２】
本発明の様々な態様は、以下に列挙される例示的な実施形態（ＥＥＥ）から理解することができる。
ＥＥＥ１．
プロセッサを用いて、第１のダイナミックレンジから第２のダイナミックレンジに画像をマッピングする方法であって、
前記第１のダイナミックレンジにおける入力画像の第１の情報データにアクセスすることであって、前記第１の情報データは、前記第１のダイナミックレンジにおける入力黒色点レベル（ｘ１，ＳＭｉｎ）、入力中間トーンレベル（ｘ２，ＳＭｉｄ）および入力白色点レベル（ｘ３，ＳＭａｘ）を含むことと、
前記第２のダイナミックレンジにおける出力画像の第２の情報データにアクセスすることであって、前記第２の情報データは、前記第２のダイナミックレンジにおける第１の出力黒色点レベル（ＴｍｉｎＰＱ）および第１の出力白色点レベル（ＴｍａｘＰＱ）を含むことと、
前記第１の情報データおよび前記第２の情報データに基づいて、前記第２のダイナミックレンジにおける出力中間トーン値を決定することと、
前記第２の情報データおよび前記出力中間トーン値に基づいて、前記第２のダイナミックレンジにおける第２の出力黒色点および第２の出力白色点を計算することと、
前記第１の情報データ、前記第２の情報データおよび前記出力中間トーン値に基づいて、テール傾き、ヘッド傾きおよび中間トーン傾きを計算することと、
前記第１のダイナミックレンジにおける前記入力画像の画素値を、前記第２のダイナミックレンジにおける前記出力画像の対応する画素値にマッピングする伝達関数を決定することであって、前記伝達関数は２つのセグメントを含み、第１のセグメントは、前記テール傾き、前記中間トーン傾き、前記入力黒色点、前記入力中間トーンレベル、前記第２の出力黒色点および前記出力中間トーン値に基づいて決定され、第２のセグメントは、前記中間トーン傾き、前記ヘッド傾き、前記入力中間トーンレベル、前記入力白色点、前記出力中間トーンレベルおよび前記第２の出力白色点に基づいて決定されることと、
前記決定された伝達関数を用いて、前記入力画像を前記出力画像にマッピングすることと、
を含む、方法。
ＥＥＥ２．
前記第１のダイナミックレンジはハイダイナミックレンジを含み、前記第２のダイナミックレンジはスタンダードダイナミックレンジを含む、ＥＥＥ１に記載の方法。
ＥＥＥ３．
前記伝達関数は、前記第１のダイナミックレンジにおける前記入力黒色点よりも低い入力値に対する第１の線形セグメントを更に含み、前記線形セグメントは、前記テール傾きに等しい傾きを有する、ＥＥＥ１またはＥＥＥ２に記載の方法。
ＥＥＥ４．
前記第１の線形セグメントの前記伝達関数は、
【数１６】
0006738972.tif 000018
を含み、ここで、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭｉｎは前記テール傾きを表し、ＴＭｉｎは前記第２のダイナミックレンジにおける前記第２の出力黒色点を表し、ＳＭｉｎは前記第１のダイナミックレンジにおける前記入力黒色点を表す、ＥＥＥ３に記載の方法。
ＥＥＥ５．
前記伝達関数は、前記第１のダイナミックレンジにおける前記入力白色点レベルよりも大きい入力値に対する第２の線形セグメントを更に含み、前記線形セグメントは、前記ヘッド傾きに等しい傾きを有する、ＥＥＥ１からから４のいずれか１つに記載の方法。
ＥＥＥ６．
前記第２の線形セグメントの前記伝達関数は、
【数１７】
0006738972.tif 000019
を含み、ここで、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭａｘは前記ヘッド傾きを表し、ＴＭａｘは前記第２のダイナミックレンジにおける前記第２の出力白色点を表し、ＳＭａｘは前記第１のダイナミックレンジにおける前記入力白色点を表す、ＥＥＥ５に記載の方法。
ＥＥＥ７．
前記第１のセグメントおよび／または前記第２のセグメントは、３次エルミートスプライン多項式に基づいて決定される、ＥＥＥ１から６のいずれか１つに記載の方法。
ＥＥＥ８．
前記第１のセグメントを決定することは、
【数１８】
0006738972.tif 000020
を計算することを含み、ここで、Ｔ＝（ｘ−ＳＭｉｎ）／（ＳＭｉｄ−ＳＭｉｎ）であり、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭｉｎは前記テール傾きを表し、ｓｌｏｐｅＭｉｄは前記中間トーン傾きを表し、ＴＭｉｎおよびＴＭｉｄは前記第２の出力黒色点および前記出力中間トーンレベルを表し、ＳＭｉｎおよびＳＭｉｄは、前記第１のダイナミックレンジにおける前記入力黒色点および前記入力中間トーンレベルを表す、ＥＥＥ７に記載の方法。
ＥＥＥ９．
前記第２のセグメントを決定することは、
【数１９】
0006738972.tif 000021
を計算することを含み、ここで、Ｔ＝（ｘ−ＳＭｉｄ）／（ＳＭａｘ−ＳＭｉｄ）であり、ｘは入力画素値を表し、ｙは出力画素値を表し、ｓｌｏｐｅＭａｘは前記ヘッド傾きを表し、ｓｌｏｐｅＭｉｄは前記中間トーン傾きを表し、ＴＭｉｄおよびＴＭａｘは、前記第２のダイナミックレンジにおける前記出力中間トーンレベルおよび前記第２の出力白色点を表し、ＳＭｉｄおよびＳＭａｘは、前記第１のダイナミックレンジにおける前記入力中間トーンレベルおよび前記入力白色点を表す、ＥＥＥ７またはＥＥＥ８に記載の方法。
ＥＥＥ１０．
前記出力中間トーン値を計算することは、
【数２０】
0006738972.tif 000022
を計算することを含み、ここで、ＴＭｉｄは前記出力中間トーン値を表し、ａおよびｂは［０，１］におけるパーセンタイル値であり、ＳＭｉｄは前記入力中間トーンレベルを表し、ＴｍｉｎＰＱおよびＴｍａｘＰＱは前記第２の情報データにおける値を含む、ＥＥＥ１から９のいずれか１つに記載の方法。
ＥＥＥ１１．
前記出力中間トーン値を計算することは、
前記第１の情報データおよび前記第１の出力黒色点に基づいて、前記第２のダイナミックレンジにおける仮の出力中間トーン値と、該仮の出力中間トーン値の第１の境界値および第２の境界値とを決定することと、
前記仮の出力中間トーン値、前記第１の境界値および第２の境界値、並びに１つ以上の入力コントラスト保持値に基づいて、前記第２のダイナミックレンジにおけるヘッドオフセットおよびテールオフセットを計算することと、
前記第１のダイナミックレンジにおける前記入力中間トーンレベル並びに前記ヘッドオフセットおよび前記テールオフセットに基づいて前記第２のダイナミックレンジにおける前記出力中間トーン値を計算することと、
を更に含む、ＥＥＥ１から９のいずれか１つに記載の方法。
ＥＥＥ１２．
前記仮の出力中間トーン値と、前記第１の出力中間トーン値の前記第１の境界値および前記第２の境界値とを決定することは、
midLoc = (SMid-TminPQ)/TDR;
headroom = (SMax-SMid)/TDR;
tailroom = (SMid-SMin)/TDR;
を計算することを含み、ここで、
TDR = TmaxPQ-TminPQ
であり、ｍｉｄＬｏｃは前記仮の出力中間トーン値を表し、ｔａｉｌｒｏｏｍおよびｈｅａｄｒｏｏｍは前記第１の出力中間トーン値の前記第１の境界値および前記第２の境界値を表し、ＳＭｉｎ、ＳＭｉｄおよびＳＭａｘは前記第１の情報データを表し、ＴｍｉｎＰＱは前記第１の出力黒色点レベルを表す、ＥＥＥ１１に記載の方法。
ＥＥＥ１３．
少なくとも１つのコントラスト保持値は約５０％である、ＥＥＥ１１またはＥＥＥ１２に記載の方法。
ＥＥＥ１４．
前記出力中間トーン値（ＴＭｉｄ）を計算することは、
TMid = SMid-offsetHead+offsetTail
を計算することを含み、ここで、ＳＭｉｄは前記第１のダイナミックレンジにおける前記入力中間トーンレベルを表し、ｏｆｆｓｅｔＨｅａｄおよびｏｆｆｓｅｔＴａｉｌは、前記ヘッドオフセットおよび前記テールオフセットを表す、ＥＥＥ１１から１３のいずれか１つに記載の方法。
ＥＥＥ１５．
前記第２のダイナミックレンジにおける前記第２の出力白色点および前記第２の出力黒色点を計算することは、
TMax = min(TMid+SMax-SMid,TmaxPQ),
TMin = max(TMid-SMid+SMin,TminPQ
を計算することを含み、ここで、ＴＭｉｎは前記第２の出力黒色点を表し、ＴＭａｘは前記第２の出力白色点を表し、ＳＭｉｎおよびＳＭａｘは、前記第１のダイナミックレンジにおける前記入力黒色点および前記入力白色点を表し、ＴｍｉｎＰＱおよびＴｍａｘＰＱは、前記第２のダイナミックレンジにおける前記第１の出力黒色点および前記第１の出力白色点を表す、ＥＥＥ１４に記載の方法。
ＥＥＥ１６．
前記テール傾きの最大値（ｍａｘＭｉｎＳｌｏｐｅ）および／または前記ヘッド傾きの最大値（ｍａｘＭａｘＳｌｏｐｅ）を
maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
として計算することを更に含む、ＥＥＥ１０またはＥＥＥ１５に記載の方法。
ＥＥＥ１７．
前記テール傾き（ｓｌｏｐｅＭｉｎ）、前記中間トーン傾き（ｓｌｏｐｅＭｉｄ）および前記ヘッド傾き（ｓｌｏｐｅＭａｘ）を計算することは、
slopeMin = min([maxMinSlope,(( TMid - TMin)/(SMid - SMin))2]);
slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
を計算することを更に含み、ここで、ｃｏｎｔｒａｓｔＦａｃｔｏｒはコントラストパラメータを表す、ＥＥＥ１６に記載の方法。
ＥＥＥ１８．
前記第２のダイナミックレンジから前記第１のダイナミックレンジに画像を戻してマッピングする逆方向ルックアップテーブルを決定することを更に含み、前記方法は、
前記決定された伝達関数に基づいて、前記第１のダイナミックレンジにおける複数のｘ（ｉ）値を、前記第２のダイナミックレンジにおけるｙ（ｉ）値にマッピングする順方向ルックアップテーブルを決定することと、
以下を設定することによって、前記第２のダイナミックレンジにおける複数のｙ’（ｋ）値を前記第１のダイナミックレンジにおける対応するｘ’（ｋ）値にマッピングする前記逆方向ルックアップテーブルを生成することと、
【数２１】
0006738972.tif 000023
を更に含む、ＥＥＥ１から１７のいずれか１つに記載の方法。
ＥＥＥ１９．
プロセッサを備える装置であって、ＥＥＥ１から１８に記載の方法のうちの任意の方法を実行するように構成される、装置。
ＥＥＥ２０．
ＥＥＥ１から１８のいずれか１つに従って、１つ以上のプロセッサを用いて、方法を実行するコンピュータ実行可能命令が記憶された非一時的コンピュータ可読ストレージ媒体。
【図１】
0006738972.tif 000030
【図２】
0006738972.tif 000031
【図３】
0006738972.tif 000032
【図４Ａ】
0006738972.tif 000033
【図４Ｂ】
0006738972.tif 000034
【図５ａ）】
0006738972.tif 000035
【図５ｂ）】
0006738972.tif 000036
【図６Ａ】
0006738972.tif 000037
【図６Ｂ】
0006738972.tif 000038