(57)【特許請求の範囲】
【請求項１】
画像をトーンマッピングする方法であって、
バックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有し、
前記バックライト画像は、前記画像の低空間周波数で変調された前記画像の輝度成分から決定され、前記変調された輝度成分は、前記画像に亘って前記輝度成分の平均値によって正規化される、ことを特徴とする方法。
【請求項２】
前記バックライト画像は、形状関数の加重線形結合であり、前記加重線形結合の重み係数は、前記バックライト画像が前記輝度成分に適合するように決定される、請求項１に記載の画像をトーンマッピングする方法。
【請求項３】
前記形状関数は、また、前記バックライト画像が前記輝度成分に適合するように、前記重み係数と共に决定される、請求項２に記載の画像をトーンマッピングする方法。
【請求項４】
前記形状関数が、ディスプレイのバックライトの応答に対応する、請求項２に記載の画像をトーンマッピングする方法。
【請求項５】
前記トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する、請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
画像をトーンマッピングするデバイスであって、請求項１乃至５のいずれか１項に従った方法を実行する手段を有する、デバイス。
【請求項７】
コンピュータデバイスで実行される場合に、請求項１乃至５のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を有する、コンピュータプログラム。
【請求項８】
コンピュータデバイスで実行される場合に、請求項１乃至５のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を記憶する非一時的な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、画像／ビデオのトーンマッピングに関係がある。特に、本発明の技術分野は、高ダイナミックレンジに属するピクセル値を有する画像のトーンマッピングに関連している。
【背景技術】
【０００２】
本項目は、以下で記載及び／又は請求される本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。
【０００３】
低ダイナミックレンジ画像（ＬＤＲ（Low-Dynamic-Range）画像）は、限られた数のビット（ほとんどの場合、８又は１０）により表現される輝度値を有する画像である。この限られた表現は、特に、暗い輝度範囲及び明るい輝度範囲において、小さな信号変動の正確なレンダリングを認めない。高ダイナミックレンジ画像（ＨＤＲ（High-Dynamic-Range）画像）では、信号表現は、その範囲全体にわたって信号の高い精度を維持するために拡張される。ＨＤＲ画像において、ピクセル値は、通常、浮動小数点フォーマット（夫々のコンポーネントについて３２ビット又は１６ビット、すなわち、浮動小数点又は半精度浮動小数点のいずれか一方。最も人気のあるフォーマットは、ＯｐｅｎＥＸＲ半精度浮動小数点フォーマット（ＲＧＢコンポーネントごとに１６ビット、すなわち、ピクセルごとに４８ビット）である。）で、あるいは、長い表現（通常は、少なくとも１６ビット）を持つ整数で、表現される。
【０００４】
本発明によって解決されるべき課題は、ＨＤＲ画像をＬＤＲ画像へ、あるいは、方法は画像ごとへ適用されるので、延長線上で考えてみると、ＨＤＲ画像のシーケンスをＬＤＲ画像のシーケンスへ、トーンマッピングする自動の又は半自動の方法を提供することである。
【０００５】
トーンマッピング方法は、例えば、従来のＬＤＲ準拠のディスプレイ上でＨＤＲ画像を見るために、あるいは、通常はブロードキャストシナリオで実行するデュアルカラーグレーディングにおいて、有用である。
【０００６】
通常、デュアルカラーグレーディングのアプローチは、ＨＤＲ画像（又は画像のシーケンス）を捕捉し、捕捉されたＨＤＲ画像にカラーグレーディングを施し、ＨＤＲ画像をＬＤＲ画像にトーンマッピングすることを含み、ＬＤＲ画像は次いでカラーグレーディングを施される。
【０００７】
実際のところ、トーンマッピングされたＬＤＲ画像は表示されるよう意図されるので、それは、基礎をなすＨＤＲシーンに適合した見ることができるＬＤＲシーンの基本原則を満たさなければならない。言い換えれば、トーンマッピングは、トーンマッピングされた画像への空間コヒーレンス、画像のシーケンスの中のトーンマッピングされた画像どうしの時間コヒーレンス、大域的な輝度コヒーレンス（すなわち、暗いＨＤＲシーンは暗いＬＤＲシーンをもたらし、その逆も同様である。）、及びＨＤＲ画像とトーンマッピングされた画像との間の色コヒーレンスを少なくとも保つべきである。すなわち、カラーグレーディングは、可能な限り保たれる。
【０００８】
デュアルカラーグレーディングのアプローチは、ＬＤＲ画像がカラーグレーディングのエキスパートの制御下で生成される場合に、ＬＤＲ画像の最も高い品質をもたらし、よって、自動的且つ系統だった方法の制御されていない望まれていない効果がないことを確かにする。しかし、それは、２つのワークフロー（１つはＨＤＲ用、もう１つはＬＤＲ用）を扱う必要があるので、二重のポストプロダクションリソースを要する。
【０００９】
それは、全ての使用ケースについて実際的ではない可能性があり、且つ、それは、ＨＤＲシーケンスのみがカラーグレーディングを施されている場合であり得る。当然、そのような場合に、全てのカスタマが表示のためにＨＤＲデバイスを備え付けられ得るわけではないので、見ることができるＬＤＲ画像を得ることが望ましい。それらのカスタマに手を差し伸べるために、ＬＤＲ画像は、余分の又は代替のカラーグレーディングなしで、すなわち、全てのコンテンツについて許容可能な品質を持ったＬＤＲ画像を提供する自動のトーンマッピング方法を使用することによって、生成されるべきである。
【００１０】
多くの局所的又は大域的トーンマッピングオペレータは、例えば、Reinhardによって定義されたトーンマッピングのように、先行技術において存在し、使用されてよい（Reinhard,  E.，Stark,  M.，Shirley,  P.，及びFerwerda,  J.，“Photographic  tone  reproduction  for  digital  images”，ACM  Transactions  on  Graphics  21（２００２年７月）、又はBoitard,  R.，Bouatouch,  K.，Cozot,  R.，Thoreau,  D.，及びGruson,  A.，“Temporal  coherency  for  video  tone  mapping”，In  A.  M.  J.  van  Eijk，C.  C.  Davis，S.  M.  Hammel，及びA.  K.  Majumdar  (Eds.)，Proc.  SPIE  8499，Applications  of  Digital  Image  Processing，２０１２年，p.84990D-84990D-10）。
【００１１】
しかし、たとえ大域的トーンマッピングオペレータが輝度一貫性のような画像のシーケンスにわたる時間的特性を保つとしても、大域的トーンマッピングオペレータは、そのようなオペレータが、鮮明さの顕著な喪失なしで、より低いダイナミックで空間ディテールを表現することができないので、多くのダイナミックを持ったＨＤＲ画像のシーケンスに適用される場合に劇的に役に立たなくなり得る。
【００１２】
他方で、局所的トーンマッピングオペレータは、画像のシーケンスがある画像の局所的特性を捕捉するために局所的なピクセル近傍に基づくので、画像のシーケンスを扱う場合に有効ではなく、画像のシーケンスの全体的な輝度（時間的な輝度一貫性）を維持しない。結果として、時間的な輝度一貫性は、時間フィルタリングを適用するために、オブジェクト追跡又はフレームバッファリングのような付加的な複雑な処理を使用することによって得られる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Reinhard,  E.，Stark,  M.，Shirley,  P.，及びFerwerda,  J.，“Photographic  tone  reproduction  for  digital  images”，ACM  Transactions  on  Graphics  21（２００２年７月）
【非特許文献２】Boitard,  R.，Bouatouch,  K.，Cozot,  R.，Thoreau,  D.，及びGruson,  A.，“Temporal  coherency  for  video  tone  mapping”，In  A.  M.  J.  van  Eijk，C.  C.  Davis，S.  M.  Hammel，及びA.  K.  Majumdar  (Eds.)，Proc.  SPIE  8499，Applications  of  Digital  Image  Processing，２０１２年，p.84990D-84990D-10
【発明の概要】
【００１４】
本発明は、画像をトーンマッピングする方法であって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有する、ことを特徴とする方法によって、先行技術の欠点の幾つかを改善することを目指す。
【００１５】
これは、見ることができるトーンマッピングされた画像、すなわち、トーンマッピングされた画像が、画像における原シーンと比較してまあまあ良く且つ一貫して、トーンマッピングされたシーンを芸術的にレンダリングするという意味における画像、を提供する。このようにして、この方法は、見ることができるトーンマッピングされた画像が、高ダイナミックレンジを扱うことができない従来の装置によって符号化／復号化及び／又は表示され得るので、上位互換性がある。
【００１６】
実施形態に従って、トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ（Slog）補正のいずれか一方を有する。
【００１７】
ガンマ補正及びエスログ補正は、暗情報及び明情報が失われないように、トーンマッピングされた画像を高い精度を有してもたらす。更には、ガンマ補正及びエスログ補正は、見ることができるトーンマッピングされた画像においてフラットなクリッピングされたエリアを回避する。
【００１８】
実施形態に従って、前記画像から前記バックライト画像を得ることは、
前記画像の輝度成分からバックライト画像を得ることと、
前記画像の平均輝度値により前記バックライト画像を変調することと
を有する。
【００１９】
前記画像の平均輝度値により前記バックライト画像を変調することは、前記画像と前記残像との間の大域的な輝度コヒーレンスを改善する。例えば、画像における明るい領域は、残像において明るく現れ、画像における暗い領域は、残像において暗く現れる。
【００２０】
実施形態に従って、前記画像から前記バックライト画像を得ることは、前記バックライト画像を変調する前に、該バックライト画像をその平均値によって正規化することを更に有する。
【００２１】
これは、画像について１バックライト画像でのミッドグレー（mid-gray-at-one  backlight  image）を得ることを可能にする。
【００２２】
実施形態に従って、当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する。
【００２３】
これは、トーンマッピングされた画像から得られた画像の平均グレーを、見るための及び潜在的に符号化するための十分な値に置く。
【００２４】
実施形態に従って、当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する。
【００２５】
前記トーンマッピングされた画像をクリッピングすることは、限られた数のビット（通常は、８〜１０ビット）が、クリッピングされたトーンマッピングされた画像を符号化又は表示するのに必要とされるので、従来のインフラストラクチャ（コーデック、ディスプレイ、分配チャネル、など）との上位互換性を確かにする。その場合に、例えば、符号化されたデータは、遠隔のディスプレイ上で画像の低ダイナミックレンジバージョンを表示するよう、そのようなインフラストラクチャにわたって送信されてよい。
【００２６】
その他の態様に従って、本発明は、画像をトーンマッピングするデバイスに関係がある。
【００２７】
本発明の特性並びに本発明の他の目的、利点、特徴及び使用は、添付の図面とともに読まれる好適な実施形態の以下の記載から明らかになるであろう。
【図面の簡単な説明】
【００２８】
実施形態は、次の図を参照して記載される。
【図１】本発明の実施形態に従って画像Ｉをトーンマッピングする方法のステップのブロック図を示す。
【図２】本発明の実施形態に従う方法のステップのブロック図を示す。
【図３】本発明の実施形態に従う方法のステップのブロック図を示す。
【図４】本発明の実施形態に従う方法のステップのブロック図を示す。
【図５】デバイスのアーキテクチャの例を示す。
【発明を実施するための形態】
【００２９】
本発明は、本発明の実施形態が示されている添付の図を参照して、以下で、より十分に記載される。本発明は、しかしながら、多くの代替の形態において具現されてよく、ここで示されている実施形態に制限されるものとして解釈されるべきではない。然るに、本発明は、様々な変更及び代替の形態の余地があり、一方、その具体的な実施形態は、図面において一例として示され、ここで詳細に記載される。なお、本発明を開示されている特定の形態に制限する意図はなく、それどころか、本発明は、特許請求の範囲で定義される本発明の主旨及び適用範囲内にある全ての変形、同等物及び代替案に及ぶべきことが理解されるべきである。同じ符号は、図の説明を通して同じ要素を参照する。
【００３０】
ここで使用される用語は、単に、特定の実施形態を記述することを目的とし、本発明の限定であるよう意図されない。ここで使用されるように、単数形（a、an及びthe）は、特段明記されない限りは、複数形も含むよう意図される。語「有する（comprises、comprising）」及び／又は「含む（includes、including）」は、本明細書において使用される場合に、述べられている機構、整数、ステップ、動作、要素及び／又はコンポーネントの存在を特定するが、１つ以上の他の機構、整数、ステップ、動作、要素、コンポーネント及び／又はそれらのグループの存在又は追加を除外しないことが理解される。更には、要素が他の要素に“応答する”又は“接続される”ものとして呼ばれる場合に、それは他の要素に直接に応答する又は接続されることができ、あるいは、介在する要素が存在してよい。対照的に、要素が他の要素に“直接に応答する”又は“直接に接続される”ものとして呼ばれる場合に、介在する要素は存在しない。ここで使用されるように、語「及び／又は（and/or）」は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含み、“／（/）”と省略されてよい。
【００３１】
たとえ語「第１（first）」、「第２（second）」などが様々な要素を記載するために使用され得るとしても、それらの要素はそのような語によって制限されるべきではないことが理解される。そのような語は、１つの要素を他と区別するためにのみ使用される。例えば、本開示の教示から外れることなしに、第１の要素は第２の要素と称されてよく、同様に、第２の要素は第１の要素と称されてよい。
【００３２】
たとえダイアグラムの幾つかが、通信の主方向を示すために通信経路上に矢印を含むとしても、通信は、表されている矢印とは逆方向において起こってよいことが理解されるべきである。
【００３３】
幾つかの実施形態は、ブロック図及び動作フローチャートに関連して記載される。ブロック図及び動作フローチャートにおいて、夫々のブロックは、回路素子、モジュール、あるいは、特定されている論理機能を実施する１つ以上の実行可能命令を含むコードの部分を表す。また、他の実施形態では、ブロックにおいて示されている機能は、示されている順序を外れて起こってよい点が留意されるべきである。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてよく、あるいは、ブロックは、関連する機能に応じて、ときどき逆の順序で実行されてよい。
【００３４】
「一実施形態」又は「実施形態」とのここでの言及は、実施形態に関連して記載されている特定の機構、構造、又は特性が、本発明の少なくとも１つの実施に含まれ得ることを意味する。明細書中の様々な箇所における「一実施形態において」又は「実施形態に従って」との言い回しの出現は、必ずしも全てが同じ実施形態に言及しているわけでも、他の実施形態と必然的に相互排他的な別個の又は代替の実施形態でもない。
【００３５】
特許請求の範囲において現れる参照符号は、単なる実例であって、特許請求の範囲の適用範囲に対して限定効果を有すべきではない。
【００３６】
明示的には記載されていないが、本実施形態及び変形例は、あらゆる組み合わせ又は部分的組み合わせにおいて用いられてよい。
【００３７】
本発明は、画像を符号化／復号化することについて記載されるが、シーケンスの各画像は後述されるように順次に符号化／復号化されるので、画像のシーケンス（ビデオ）の符号化／復号化に及ぶ。
【００３８】
図１は、本発明の実施形態に従って画像Ｉをトーンマッピングする方法のステップのブロック図を示す。
【００３９】
ステップ１０で、モジュールＩＣは、トーンマッピングされるべき画像Ｉの輝度成分Ｌ及び潜在的に少なくとも１つの色成分Ｃ（ｉ）を得る。
【００４０】
例えば、画像Ｉが色空間（Ｘ，Ｙ，Ｚ）に属する場合に、輝度成分Ｌは成分Ｙの変換ｆ（．）によって求められる。例えば、Ｌ＝ｆ（Ｙ）。
【００４１】
画像Ｉが色空間（Ｒ，Ｇ，Ｂ）に属する場合に、輝度成分Ｌは、例えば、７０９ガマットにおいて、
Ｌ＝０．２１２７×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ
によって与えられる線形結合により求められる。
【００４２】
ステップ１１で、モジュールＢＡＭは、画像Ｉの輝度成分Ｌからバックライト画像Ｂａｌを決定する。
【００４３】
図２で表されるステップ１１の実施形態に従って、モジュールＢＩは、バックライト画像Ｂａを、
Ｂａ＝Σｉａｉψｉ        （１）
によって与えられる形状関数ψｉの加重線形結合であるとして決定する。ここで、ａｉは重み係数である。
【００４４】
このように、輝度成分Ｌからバックライト画像Ｂａを得ることは、バックライト画像Ｂａｌが輝度成分Ｌに適合するために、最適な重み係数（更には、潜在的に、予め知られてない場合には、最適な形状関数）を見つけることにある。
【００４５】
重み係数ａｉを見つけるためのよく知られた方法が多数存在する。例えば、１つは、バックライト画像Ｂａと輝度成分Ｌとの間の平均二乗誤差を最小限にするために最小平均二乗法を使用してよい。
【００４６】
本発明は、バックライト画像Ｂａを得るために如何なる具体的な方法にも制限されない。
【００４７】
形状関数は、表示バックライトの実際の物理応答（ＬＥＤの、例えば、その場合に、１つのＬＥＤの応答に対応する夫々の形状関数から作られる。）であってよく、あるいは、最善の状態で輝度成分に適合するために純粋な数学的構成であってよいことが知られ得る。
【００４８】
それらのサポート及びそれらのセンターのサイズは、形状関数の幾つかのパラメータであってよい。
【００４９】
例えば、それらのサポートが非常に大きい（事実上無限）場合に、一定のバックライト画像がまさに得られ、結果として起こるトーンマッピング方法は、その場合に、大域的トーンマッピングオペレータと同等である。反対に、非常に小さいサポートによれば、結果として起こるトーンマッピング方法は、その場合に、上述された局所的トーンマッピングオペレータの全ての欠点を伴った局所的トーンマッピングオペレータと同等である。
【００５０】
形状関数のサポートのサイズは、それが、局所的でありながら大きい近傍を有するスムース輝度ダイナミック低減を使用するので、実際には、大域的でも極めて局所的でもないトーンマッピング方法を得るために、選択される。
【００５１】
そのような形状関数の使用は、その局所サポートにより空間ディテールを犠牲にせずに非常に高いダイナミックを扱うことを可能にする。
【００５２】
この実施形態に従って、ステップ１１から出力されるバックライト画像Ｂａｌは、式（１）によって与えられるバックライト画像Ｂａである。
【００５３】
図３で表されるステップ１１の実施形態に従って、モジュールＢＭは、モジュールＨＬによって得られた画像Ｉの平均輝度値Ｌｍｅａｎによりバックライト画像Ｂａ（式（１）によって与えられる。）を変調する。
【００５４】
この実施形態に従って、ステップ１１から出力されるバックライト画像Ｂａｌは、変調されたバックライト画像である。
【００５５】
実施形態に従って、モジュールＨＬは、全体の輝度成分Ｌにわたって平均輝度値Ｌｍｅａｎを計算するよう構成される。
【００５６】
実施形態に従って、モジュールＨＬは、
Ｌｍｅａｎ＝Ｅ（Ｌβ）１／β
によって平均輝度値Ｌｍｅａｎを計算するよう構成される。ここで、βは、１に満たない係数であり、Ｅ（Ｘ）は、輝度成分Ｌの数学的期待値（平均）である。
【００５７】
この最後の実施形態は、画像Ｉが画像のシーケンスに属する場合に、非常に厄介である時間的な平均輝度の不安定さを通常もたらす極めて高い値を持った数個のピクセルによって平均輝度値Ｌｍｅａｎが影響を及ぼされることを回避するので、有利である。
【００５８】
本発明は、平均輝度値Ｌｍｅａｎを計算するための具体的な実施形態に制限されない。
【００５９】
図４で表されるこの実施形態の変形例に従って、モジュールＮは、画像について（画像が画像のシーケンスに属する場合には、全ての画像について）１バックライト画像でのミッドグレー（mid-gray-at-one  backlight  image）が得られるように、バックライト画像Ｂａ（式（１）によって与えられる。）をその平均値Ｅ（Ｂａ）によって正規化する：
Ｂａｇｒａｙ＝Ｂａ／Ｅ（Ｂａ）。
次いで、モジュールＢＭは、次の式：
Ｂａｍｏｄ≒ｃｓｔｍｏｄ・Ｌｌｆα・Ｂａｇｒａｙ        （２）
を使用することによって、画像Ｉの低空間周波数バージョンＬｌｆにより１バックライト画像でのミッドグレーを変調するよう構成される。ここで、ｃｓｔｍｏｄは、変調係数であり、αは、１に満たない（通常、１／３）他の変調係数である。
【００６０】
この変形例に従って、ステップ１１で出力されるバックライト画像Ｂａｌは、式（２）によって与えられる変調されたバックライト画像Ｂａｍｏｄである。
【００６１】
変調係数ｃｓｔｍｏｄは、残像について良好な外観輝度を得るよう調整され、バックライト画像を得るプロセスに大いに依拠する。例えば、最小平均二乗によって得られるバックライト画像について、ｃｓｔｍｏｄ≒１．７。
【００６２】
実際に、線形性によって、バックライト画像を変調する全ての動作は、
（外１）
0006502947.tif 000002
を得るように、係数ａｉを新しい係数
（外２）
0006502947.tif 000003
に変換する補正係数として、バックライト係数ａｉに適用される。
【００６３】
ステップ１２で、残像Ｒｅｓは、画像をバックライト画像Ｂａｌで割ることで計算される。
【００６４】
もっと正確に言えば、モジュールＩＣから得られる画像Ｉの輝度成分Ｌ及び潜在的に夫々の色成分Ｃ（ｉ）は、バックライト画像Ｂａｌによって割られる。この除算はピクセルごとに行われる。
【００６５】
例えば、画像Ｉの成分Ｒ、Ｇ又はＢが色空間（Ｒ，Ｇ，Ｂ）において表現される場合に、成分Ｒｒｅｓ、Ｇｒｅｓ及びＢｒｅｓは、次のように求められる：
Ｒｒｅｓ＝Ｒ／Ｂａｌ，Ｇｒｅｓ＝Ｇ／Ｂａｌ，Ｂｒｅｓ＝Ｂ／Ｂａｌ
例えば、画像Ｉの成分Ｘ、Ｙ又はＺが色空間（Ｘ，Ｙ，Ｚ）において表現される場合に、成分Ｘｒｅｓ、Ｙｒｅｓ及びＺｒｅｓは、次のように求められる：
Ｘｒｅｓ＝Ｘ／Ｂａｌ，Ｙｒｅｓ＝Ｙ／Ｂａｌ，Ｚｒｅｓ＝Ｚ／Ｂａｌ。
ステップ１３で、トーンマッピングされた画像Ｒｅｓｖは、残像Ｒｅｓをトーンマッピングすることで得られる。
【００６６】
残像Ｒｅｓは、そのダイナミックレンジが高すぎるので、且つ、この残像Ｒｅｓがあまりに可視的なアーチファクトを示すので、見ることができないと考えられる。残像をトーンマッピングすることは、そのような欠点のうちの少なくとも１つを改善する。
【００６７】
本発明は、如何なる具体的なトーンマッピングオペレータにも制限されない。
【００６８】
有利に、トーンマッピングオペレータは、原ＨＤＲ画像の再構成を可能にするために、可逆であるべきである。
【００６９】
ステップ１３の実施形態に従って、残像をトーンマッピングすることは、残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する。
【００７０】
トーンマッピングされた画像Ｒｅｓｖは、次いで、例えば：
Ｒｅｓｖ＝Ａ・Ｒｅｓγ
によって与えられる。ここで、Ａは一定値であり、γは、例えば、１／２．４に等しいγ曲線の係数である。
【００７１】
代替的に、トーンマッピングされた画像Ｒｅｓｖは、例えば：
Ｒｅｓｖ＝ａ・ｌｎ（Ｒｅｓ＋ｂ）＋ｃ
によって与えられる。ここで、ａ、ｂ及びｃは、０及び１が不変であるように決定されたエスログ曲線の係数である。エスログ曲線の導関数は、１を下回るガンマ曲線によって延長される場合に、１において連続的である。よって、ａ、ｂ及びｃは、パラメータγの関数である。
【００７２】
残像Ｒｅｓに対してガンマ補正を適用することは、暗領域を引っ張り出すが、激しく明るいピクセルを回避するほど十分にハイライトを下げない。
【００７３】
残像Ｒｅｓに対してエスログ補正を適用することは、十分にハイライトを下げるが、暗領域を引っ張り出さない。
【００７４】
次いで、ステップ１３の実施形態に従って、モジュールＴＭＯは、残像Ｒｅｓのピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を適用する。
【００７５】
例えば、残像Ｒｅｓのピクセル値が閾値（１に等しい。）を下回る場合に、ガンマ補正は適用され、そうでない場合に、エスログ補正は適用される。
【００７６】
構成によって、トーンマッピングされた画像Ｒｅｓｖは、通常、画像Ｉの輝度に応じて１におおよそ近い平均値を有し、上記のガンマ−エスログ結合の使用を特に有効なものとする。
【００７７】
方法の実施形態に従って、ステップ１４で、モジュールＳＣＡは、トーンマッピングされた画像Ｒｅｓｖの夫々の成分にスケーリング係数ｃｓｔｓｃａｌｉｎｇを乗じることによって、トーンマッピングされた画像Ｒｅｓｖをスケーリングする。
【００７８】
スケーリングされたトーンマッピングされた画像Ｒｅｓｓは、次いで、
Ｒｅｓｓ＝ｃｓｔｓｃａｌｉｎｇ・Ｒｅｓｖ
によって与えられる。
【００７９】
望ましくは、スケーリング係数ｃｓｔｓｃａｌｉｎｇは、トーンマッピングされた画像Ｒｅｓｖの値を０から最大値２Ｎ−１の間でマッピングするよう定義される。ここで、Ｎは、例えば、エンコーダ又はディスプレイによる符号化のための入力として許されるビットの数である。
【００８０】
これは、当然ながら、値１（トーンマッピングされた画像Ｒｅｓｖのおおよそ平均値である。）をミッドグレー値２Ｎ−１にマッピングすることによって得られる。よって、標準的なビット数Ｎ＝８を有するトーンマッピングされた画像Ｒｅｓｖについて、１２０に等しいスケーリング係数は、２７＝１２８での中間グレーに極めて近づけられるので、非常に矛盾のない値である。
【００８１】
方法の実施形態に従って、ステップ１５で、モジュールＣＬＩは、トーンマッピングされが画像Ｒｅｓｖをクリッピングして、そのダイナミックレンジを目標のダイナミックレンジＴＤＲに制限する。目標のダイナミックレンジＴＤＲは、例えば、エンコーダ又はディスプレイの性能に従って、定義される。
【００８２】
この最後の実施形態に従って、結果として起こる残像Ｒｅｓｃは、方法の実施形態に従って、例えば：
Ｒｅｓｃ＝ｍａｘ（２Ｎ，Ｒｅｓｖ）
Ｒｅｓｃ＝ｍａｘ（２Ｎ，Ｒｅｓｓ）
によって与えられる。
【００８３】
本発明は、そのようなクリッピング（ｍａｘ（．））に制限されず、如何なる他のクリッピングにも及ぶ。
【００８４】
スケーリングの実施形態とクリッピングの実施形態とを組み合わせることは、方法の実施形態に従って、
Ｒｅｓｓｃ＝ｍａｘ（２Ｎ，ｃｓｔｓｃａｌｉｎｇ×Ｒｅｓｖ）、又は
Ｒｅｓｓｃ＝ｍａｘ（２Ｎ，ｃｓｔｓｃａｌｉｎｇ×Ｒｅｓｓ）
によって与えられる残像Ｒｅｓｓｃをもたらす。
【００８５】
上記のトーンマッピング、スケーリング及びクリッピングは、パラメトリックプロセスである。パラメータは固定であってもなくてもよく、後者の場合に、パラメータ又はそれらの一部は、エンコーダによってビットストリームにおいて符号化され、且つ／あるいは、遠隔のディスプレイへ送信され、且つ／あるいは、局所又は遠隔のメモリから取得されてよい。
【００８６】
パラメータ、例えば、α、ｃｓｔｍｏｄ、ｃｓｔｓｃａｌｉｎｇ、γ、β、の選択は、ポストプロダクション及びカラーグレーディングにおけるエキスパートの好みに最も良く従うコンテンツに適するトーンマッピングの選択の余地を与えると考えられる。また、バックライトを生成するために使用される形状関数のポジション及びサイズは、選択され得る他のパラメータである。
【００８７】
他方で、普遍的なパラメータは、各種の画像の全てに受け入れられ得るように定義されてよい。これは、上記のパラメータがエンドユーザ又は何らかの他の局所若しくは外部の手段によって選択される半自動のパラメトリックトーンマッピングと対照的に、完全に自動のトーンマッピングをもたらす。
【００８８】
図１乃至４で、モジュールは機能ユニットであって、区別可能な物理ユニットと関係があってもなくてもよい。例えば、それらのモジュール又はそれらの一部は、唯一のコンポーネント若しくは回路において寄せ集められるか、あるいは、ソフトウェアの機能に寄与してよい。反対に、幾つかのモジュールは、場合によっては、別々の物理エンティティから成ってよい。本発明に従う装置は、純粋なハードウェアにより、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）又はＦＰＧＡ（Field  Programmable  Gate  Array）又はＶＬＳＩ（Very  Large  Scale  Integration）のような専用ハードウェアを用いて、あるいは、デバイスに埋め込まれた幾つかの組み込み型電子部品から、又はハードウェア及びソフトウェアコンポーネントの混合から、実装される。
【００８９】
図５は、図１乃至４で記載された方法を実装するよう構成され得るデバイス５０の例となるアーキテクチャを表す。
【００９０】
デバイス５０は、データ及びアドレスバス５１によって結合されている次の要素を有する：
・例えば、ＤＳＰ（すなわち、Digital  Signal  Processor）であるマイクロプロセッサ５２（又はＣＰＵ）；
・ＲＯＭ（すなわち、Read  Only  Memory）５３；
・ＲＡＭ（すなわち、Random  Access  Memory）５４；
・アプリケーションからの送信すべきデータの受信のためのＩ／Ｏインターフェイス５５；及び
・バッテリ５６。
【００９１】
変形例に従って、バッテリ５６はデバイスの外部にある。図５のそれらの要素の夫々は、当業者によく知られており、これ以上は開示されない。示されているメモリの夫々において、明細書中で使用される語「レジスタ（register）」は、小さい容量（数ビット）のエリアに、あるいは、非常に大きいエリア（例えば、プログラム全体又は受信若しくは復号される大量のデータ）に対応することができる。ＲＯＭ５３は、少なくともプログラム及びパラメータを有する。本発明に従う方法のアルゴリズムはＲＯＭ５３において記憶される。起動されるときに、ＣＰＵ５２は、プログラムをＲＡＭ５４にアップロードし、対応する命令を実行する。
【００９２】
ＲＡＭ５４は、レジスタにおいて、デバイス５０の起動後にアップロードされてＣＰＵ５２によって実行されるプログラムを、レジスタにおいて入力データを、レジスタにおいて、方法の異なる状態での中間データを、そして、レジスタにおいて、方法の実行に使用される他の変数を有する。
【００９３】
ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ単一の実施形態に関してしか論じられないとしても（例えば、方法又はデバイスとしてしか論じられないとしても）、論じられている特徴の実施は、他の形態（例えば、プログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、プロセッサのような装置において実施されてよい。プロセッサは、プロセッシングデバイス全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能なロジックデバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを更に含む。
【００９４】
ここで記載される様々なプロセス及び機構の実施は、多種多様な設備又は用途、特に、例えば、設備又は用途において具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスが含まれる。当然、設備は移動性であって、移動車両において設置さえされてよい。
【００９５】
加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令（及び／又は実施によって生成されたデータ値）は、例えば、集積回路、ソフトウェア担体、又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、又はリードオンリーメモリ（“ＲＯＭ”））のようなプロセッサ可読媒体において記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別のアプリケーション、又は両者の組み合わせにおいて見つけられてよい。従って、プロセッサは、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイス、の両方と見なされてよい。更に、プロセッサ可読媒体は、命令に加えて、又はそれに代えて、実施によって生成されたデータ値を記憶してよい。
【００９６】
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載される実施の１つによって生成されたデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む又は読み出すための規則をデータとして運ぶよう、あるいは、記載される実施形態によって書き込まれる実際のシンタックス値をデータとして運ぶよう、フォーマットされてよい。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する。）、あるいは、ベースバンド信号として、フォーマットされてよい。フォーマット化は、例えば、データストリームを符号化し、符号化されたデータによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている多種多様な有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
【００９７】
実施形態に従って、Ｉ／Ｏインターフェイス５５は、図１乃至４に関して記載された方法によって使用されるパラメータの少なくとも１つを受けるよう構成される。例えば、パラメータは、知られている非適応的形状関数が使用される場合に重み係数
（外３）
0006502947.tif 000004
に制限されるが、形状関数ψｉは、例えば、より良い適合のためのいくらか最適な数学的構成の場合に、先験的に未知であってもよい。その場合に、形状関数ψｉのポジション及びサポートのサイズは、パラメータであってよい。ガンマ曲線の係数γ、β、ｃｓｔｍｏｄ、α、スケーリング係数ｃｓｔｓｃａｌｉｎｇ、ビットの数Ｎも、本発明に従う、画像をトーンマッピングする方法のパラメータであってよい。
【００９８】
それらのパラメータの一部は、局所又は遠隔のメモリから得られるか、あるいは、デバイス５０のグラフィカルインターフェイスからエンドユーザによって選択されてよい。このように、トーンマッピング方法は、この方法のパラメータを得るために使用される方法に従って、自動又は半自動であってよい。
【００９９】
それらの受け取られるパラメータの一部は、遠隔のデバイスによって符号化されていてよい。その場合に、デバイス５０は、それらの受け取られたパラメータを復号するデコーダを有する。
【０１００】
多数の実施が記載されてきた。それでもなお、様々な変更が行われてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施をもたらすよう、組み合わされ、補完され、変更され、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されているものに取って代わってよく、結果として起こる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じようにして、少なくとも実質的に同じ機能を実行すると理解する。然るに、それら及び他の実施は、本願によって考えられている。
ここで例としていくつかの付記を記載する。
（付記１）
画像をトーンマッピングする方法であって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有する、ことを特徴とする方法。
（付記２）
トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する、
付記１に記載の方法。
（付記３）
前記画像から前記バックライト画像を得ることは、
前記画像の輝度成分からバックライト画像を得ることと、
前記画像の平均輝度値により前記バックライト画像を変調することと
を有する、
付記１又は２に記載の方法。
（付記４）
前記画像から前記バックライト画像を得ることは、前記バックライト画像を変調する前に、該バックライト画像をその平均値によって正規化することを更に有する、
付記３に記載の方法。
（付記５）
当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する、
付記１乃至４のうちいずれか一項に記載の方法。
（付記６）
当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する、
付記１乃至５のうちいずれか一項に記載の方法。
（付記７）
画像をトーンマッピングするデバイスであって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得る手段と、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得る手段と
を有するデバイス。
（付記８）
コンピュータデバイスで実行される場合に、付記１乃至６のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を有する、
ことを特徴とするコンピュータプログラム製品。
（付記９）
コンピュータデバイスで実行される場合に、付記１乃至６のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を記憶する非一時的な記憶媒体。
【図１】
0006502947.tif 000005
【図２】
0006502947.tif 000006
【図３】
0006502947.tif 000007
【図４】
0006502947.tif 000008
【図５】
0006502947.tif 000009