(57)【要約】【課題】出力画像の連続性を損なうことなく、回路規模、消費電力およびコストを低減し、かつ計算時間を短縮することができるトーンマッピング回路およびトーンマッピング方法を提供する。【解決手段】トーンマッピング回路においては、大域特徴量算出回路が、現フレームのＨＤＲ画像の大域特徴量を算出する。局所特徴量算出回路が、ブロック画像の局所特徴量を算出し、かつ、１フレーム前のブロック画像の局所特徴量の間を補間してピクセルの局所特徴量を算出する。ゲイン算出回路が、１フレーム前の大域特徴量、ピクセルの局所特徴量およびターゲット輝度に基づいてゲインとトータルの特徴量を算出する。ゲイン適用回路が、処理対象のピクセルのデータに対してゲインとトータルの特徴量を適用する。【選択図】  図１
2020003998.tif 000002
【特許請求の範囲】
【請求項１】
現フレームのＨＤＲ画像の全てのピクセルのデータに基づいて、前記ＨＤＲ画像の特徴量である複数の大域特徴量を算出して１フレーム時間保持し、かつ、１フレーム前のＨＤＲ画像の大域特徴量を出力する大域特徴量算出回路と、
前記現フレームのＨＤＲ画像を横方向および縦方向に分割した複数のブロック画像の各々について、前記ブロック画像の全てのピクセルのデータに基づいて、前記ブロック画像の特徴量である局所特徴量を算出して１フレーム時間保持し、かつ、前記現フレームのＨＤＲ画像の処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像およびその周囲のブロック画像の局所特徴量の間を補間して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像のピクセルの局所特徴量を算出する局所特徴量算出回路と、
前記１フレーム前のＨＤＲ画像の複数の大域特徴量、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量、および、前記複数の大域特徴量に対応するディスプレイの出力輝度を表す複数のターゲット輝度に基づいて、前記１フレーム前のＨＤＲ画像の各々のブロック画像について、前記複数の大域特徴量および前記複数のターゲット輝度に対応する複数のゲインと、前記複数の大域特徴量および前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量に対応する複数のトータルの特徴量を算出するゲイン算出回路と、
前記処理対象のピクセルのデータに対して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインの中から前記処理対象のピクセルのデータに対応するゲインとトータルの特徴量を適用して、ゲイン適用後のピクセルのデータを算出するゲイン適用回路と、を備える、トーンマッピング回路。
【請求項２】
前記大域特徴量算出回路は、前記ＨＤＲ画像の全てのピクセルのデータから、前記ＨＤＲ画像のピクセルのデータの各領域に属するピクセルの数を表すヒストグラムを作成し、前記ヒストグラムを用いて前記複数の大域特徴量を算出する、請求項１に記載のトーンマッピング回路。
【請求項３】
前記大域特徴量算出回路は、前記ＨＤＲ画像の全てのピクセルのデータから、前記ＨＤＲ画像のピクセルのデータの各領域に属するピクセルの累積数を表す累積ヒストグラムを作成し、前記累積ヒストグラムを用いて前記複数の大域特徴量を算出する、請求項１に記載のトーンマッピング回路。
【請求項４】
前記大域特徴量算出回路は、前記累積ヒストグラムを用いて、前記複数の大域特徴量として、前記ＨＤＲ画像の全ピクセル数に対して、複数のしきい値により指定される複数の割合のピクセル数に対応する複数のデータの領域に含まれるデータの代表値を出力する、請求項３に記載のトーンマッピング回路。
【請求項５】
前記大域特徴量算出回路は、前記複数の大域特徴量の１つとして、前記ＨＤＲ画像の全ピクセル数の中央値のピクセル数に対応するデータの領域に含まれるデータの代表値を出力する、請求項４に記載のトーンマッピング回路。
【請求項６】
前記大域特徴量算出回路は、前記現フレームのＨＤＲ画像を横方向および縦方向に分割した複数のエリア画像の各々について、前記エリア画像の全てのピクセルのデータに基づいて、前記エリア画像の特徴量である複数のエリア大域特徴量を順次算出して１フレーム時間保持し、かつ、前記１フレーム前のＨＤＲ画像の全てのエリア画像のエリア大域特徴量の中から、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のエリア画像のエリア大域特徴量を前記大域特徴量として順次出力する、請求項１ないし５のいずれか一項に記載のトーンマッピング回路。
【請求項７】
前記局所特徴量算出回路は、前記ブロック画像の局所特徴量として、前記ブロック画像の全てのピクセルのデータの平均値、中央値、最大値、最小値または代表ピクセル値を算出する、請求項１ないし６のいずれか一項に記載のトーンマッピング回路。
【請求項８】
前記ゲイン算出回路は、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量と前記複数の大域特徴量の各々とを重み付けして加算することにより、前記複数の大域特徴量に対応する複数のトータルの特徴量を算出する特徴量マージ回路を備える、請求項１ないし７のいずれか一項に記載のトーンマッピング回路。
【請求項９】
前記ゲイン算出回路は、さらに、隣り合う２つの前記ターゲット輝度の差分を、隣り合う２つの前記トータルの特徴量の差分で除算することにより前記複数のゲインを算出するゲイン出力回路を備える、請求項８に記載のトーンマッピング回路。
【請求項１０】
前記ゲイン適用回路は、前記処理対象のピクセルのデータが、最も大きい前記トータルの特徴量よりも小さい場合、前記処理対象のピクセルのデータから前記トータルの特徴量を減算し、その減算結果と前記トータルの特徴量に対応するゲインとを乗算し、その乗算結果と前記トータルの特徴量に対応するターゲット輝度とを加算することにより前記ゲイン適用後のピクセルのデータを算出し、
前記処理対象のピクセルのデータが、前記最も大きいトータルの特徴量以上である場合、前記ゲイン適用後のピクセルのデータとして、前記最も大きいトータルの特徴量に対応する、最も大きい前記ターゲット輝度を出力する、請求項８または９に記載のトーンマッピング回路。
【請求項１１】
前記ＨＤＲ画像のピクセルのデータはＲＧＢ色空間のデータであり、
さらに、前記ＨＤＲ画像のピクセルのＲＧＢ色空間のデータを、Ｙ成分を含む色空間のデータに変換する画像空間変換回路を備え、
前記ゲイン適用回路は、前記ＨＤＲ画像の処理対象のピクセルのＹ成分を含む色空間のＹ成分のデータに対して前記ゲインを適用して、前記ゲイン適用後のピクセルの前記Ｙ成分を含む色空間のデータを算出し、
さらに、前記ゲイン適用後のピクセルのＹ成分を含む色空間のデータを前記ＲＧＢ色空間のデータに変換する画像空間逆変換回路を備える、請求項１ないし１０のいずれか一項に記載のトーンマッピング回路。
【請求項１２】
さらに、前記現フレームのＨＤＲ画像のピクセルのデータに基づいて、前記ピクセルの位置情報として、前記処理対象のピクセルの横方向および縦方向のアドレスを抽出する位置情報抽出回路を備え、
前記大域特徴量算出回路および前記局所特徴量算出回路は、前記処理対象のピクセルのアドレスに基づいて前記複数の大域特徴量および前記ブロック画像の局所特徴量を算出する、請求項１ないし１１のいずれか一項に記載のトーンマッピング回路。
【請求項１３】
さらに、電光変換関数を用いて、前記現フレームのＨＤＲ画像のピクセルのデータを線形空間のピクセルのデータに変換する線形空間変換回路を備え、
前記ゲイン適用回路は、線形空間の処理対象のピクセルのデータに対して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインの中から前記線形空間の処理対象のピクセルのデータに対応するゲインを適用して、前記ゲイン適用後のピクセルのデータを算出する、請求項１ないし１２のいずれか一項に記載のトーンマッピング回路。
【請求項１４】
さらに、前記現フレームのＨＤＲ画像の１ピクセル分のピクセルのデータとして入力される複数のデータを１つのデータに集約した集約データを出力するデータ集約回路を備え、
前記大域特徴量算出回路は、前記現フレームのＨＤＲ画像の全てのピクセルの集約データに基づいて前記複数の大域特徴量を算出し、
前記局所特徴量算出回路は、前記ブロック画像の全てのピクセルの集約データに基づいて前記ブロック画像の局所特徴量を算出する、請求項１ないし１３のいずれか一項に記載のトーンマッピング回路。
【請求項１５】
前記データ集約回路は、前記集約データとして、前記１ピクセル分のピクセルのデータとして入力される複数のデータの平均値、最大値、最小値または輝度値を出力する、請求項１４に記載のトーンマッピング回路。
【請求項１６】
さらに、ディスプレイの輝度特性に合わせて、前記ゲイン適用後のピクセルのデータをガンマ補正するガンマ補正回路を備える、請求項１ないし１５のいずれか一項に記載のトーンマッピング回路。
【請求項１７】
大域特徴量算出回路が、現フレームのＨＤＲ画像の全てのピクセルのデータに基づいて、前記ＨＤＲ画像の特徴量である複数の大域特徴量を算出して１フレーム時間保持し、かつ、１フレーム前のＨＤＲ画像の大域特徴量を出力するステップと、
局所特徴量算出回路が、前記現フレームのＨＤＲ画像を横方向および縦方向に分割した複数のブロック画像の各々について、前記ブロック画像の全てのピクセルのデータに基づいて、前記ブロック画像の特徴量である局所特徴量を算出して１フレーム時間保持し、かつ、前記現フレームのＨＤＲ画像の処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像およびその周囲のブロック画像の局所特徴量の間を補間して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像のピクセルの局所特徴量を算出するステップと、
ゲイン算出回路が、前記１フレーム前のＨＤＲ画像の複数の大域特徴量、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量、および、前記複数の大域特徴量に対応するディスプレイの出力輝度を表す複数のターゲット輝度に基づいて、前記１フレーム前のＨＤＲ画像の各々のブロック画像について、前記複数の大域特徴量および前記複数のターゲット輝度に対応する複数のゲインと、前記複数の大域特徴量および前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量に対応する複数のトータルの特徴量を算出するステップと、
ゲイン適用回路が、前記処理対象のピクセルのデータに対して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインの中から前記処理対象のピクセルのデータに対応するゲインとトータルの特徴量を適用して、ゲイン適用後のピクセルのデータを算出するステップと、を含む、トーンマッピング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広いダイナミックレンジを持つＨＤＲ（High Dynamic Range）画像を、狭いダイナミックレンジを持つディスプレイに表示するためのトーンマッピングを行うトーンマッピング回路およびトーンマッピング方法に関する。
【背景技術】
【０００２】
ＣＲＴ（Cathode Ray Tube）を用いていた時代よりも広いダイナミックレンジを持つＨＤＲ画像を記録するために、ＨＤＲ１０およびＨＬＧ（Hybrid Log Gamma）などのフォーマットが提唱され、利用されている。ＨＤＲ１０では、表示されるべき画像の絶対的な輝度が記録される。ＨＬＧでは、ＳＤＲ（Standard Dynamic Range）画像と同様にディスプレイが表示可能な最大輝度を最大値とする相対的な値が記録されるが、その低輝度領域はＳＤＲ画像と同じであり、高輝度領域の変換関数（変換曲線）は指数関数になる。
【０００３】
これに対して、ディスプレイの標準的なガンマ値γである２．２の二乗のガンマ曲線の逆変換曲線を用いてピクセルのデータを変換する従来の画像はＳＤＲ画像と呼ばれる。
【０００４】
上記の広いダイナミックレンジを持つＨＤＲ画像を、狭いダイナミックレンジを持つディスプレイに表示するための変換を行う手法はトーンマッピングと呼ばれ、このトーンマッピングを行う回路がトーンマッピング回路である。しかし、ディスプレイの最大輝度、最小輝度などの性能は多様なため、その限られた輝度領域にＨＤＲ画像の全ての階調を再現することは不可能であり、明部または暗部の一部の階調は失われることになる。
【０００５】
画像またはこれを分割したブロック画像毎に平均輝度または多数のピクセル輝度が属する階調領域（階調範囲）を算出し、その領域内に圧縮して表示することにより階調が潰れる領域を削減することができる。このような局所的な情報を用いた処理を行う場合、人間の視覚特性などの理由から、輝度値そのものではなくその対数値を用いて処理が行われている。ＨＤＲ１０で使われているＰＱ（Perceptual Quantization）カーブおよびＨＬＧの変換関数の高輝度領域はこのような特性を取り込み、対数関数に近い関数を用いて輝度信号が表現されている。
【０００６】
例えば、画像の情報によらず、ｙ＝［０，１］の範囲内にトーンマッピングを行う場合の変換関数としては、単純なものとして、ｙ＝ｘ／（１＋ｘ）の変換関数および区分線形関数などがある。
【０００７】
また、局所的な情報を取り入れた変換関数としては、非特許文献１に記載されているように、入力画像Ｌ（ｘ，ｙ）に対して下記式（１）に示すローパスフィルタＲｉ(ｘ，ｙ，ｓ)（ｓはフィルタの大きさを表す係数）をかけて下記式（２）に示す画像Ｖｉ(ｘ，ｙ，ｓ)を算出し、画像Ｖｉ(ｘ，ｙ，ｓ)に対して下記式（３）に示す関係となる関数などが知られている。
【０００８】
【数１】
2020003998.tif 000003
2020003998.tif 000004
2020003998.tif 000005
【０００９】
また、非特許文献２では、対数空間における勾配を計算し、それを圧縮することによりトーンマッピングが行われている。
【００１０】
非特許文献３では、複数のスケールの画像を作成し、それぞれのスケールの画像にＳ字型の非線形変換を施した後に合成する方法が提唱されている。
【００１１】
非特許文献４では、それぞれのスケールの画像に対して並列に処理を行うことで高速化を達成する方法も提案されている。
【００１２】
また、特許文献１では、対数入力画像に対して少なくとも２つの異なるスケールレシオ画像を生成し、それを対数入力画像に加えることによりトーンマッピングが行われている。
【００１３】
特許文献２では、まずＨＤＲ画像における対数ルミナンスピクセル値のヒストグラムから対数グローバルトーンマッピングされたルミナンス画像を計算し、そこから局所的な対数レシオ画像を計算し、それに基づいてダウンスケーリングされた第２対数トーンマッピング画像および第２レシオ画像を生成する処理を繰り返して画像の符号化を行い、ＪＰＥＧ−ＨＤＲ画像が作成されている。
【００１４】
特許文献３では、送信部が伝送ビデオデータを補助情報（レベルマッピング・カーブ情報および／または電光変換特性情報）と共に送信し、受信部が伝送ビデオデータを受信し、処理部が伝送ビデオデータのレベルを補助情報に基づいて変換している。また、図１５、１８および１９には、受信画像にＨＤＲ逆変換を施した後に電光変換関数（ＥＯＴＦ：Electro-Optical Transfer Function）を用いてレベルマッピングが行われている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０１５−２１２９７８号公報
【特許文献２】特表２０１５−５０８５８９号公報
【特許文献３】国際公開第２０１５／１１１４６７号
【非特許文献】
【００１６】
【非特許文献１】Erik Reinhard、外３名、" Photographic tone reproduction for digital images"、[online]、2002-07-01、ACM New York, NY, USA、"ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2002"、Volume 21 Issue 3, July 2002、［平成３０年２月２６日検索］、インターネット<URL:https://dl.acm.org/citation.cfm?id=566575>
【非特許文献２】Raanan Fattal、外２名、"Gradient Domain High Dynamic Range Compression"、[online]、"School of Computer Science and Engineering"、"The Hebrew University of Jerusalem"、［平成３０年２月２６日検索］、インターネット<URL: http://www.cs.huji.ac.il/~danix/hdr/>
【非特許文献３】Sylvain Paris、外２名、"Local Laplacian Filters: Edge-aware Image Processing with a Laplacian Pyramid"、[online]、March 2015、"ACM Transactions on Graphics (Proceedings of SIGGRAPH 2011)"、"Communications of the ACM"、Vol. 58, No. 3、インターネット<URL:https://people.csail.mit.edu/sparis/publi/2011/siggraph/>
【非特許文献４】Mathieu Aubry、外４名、"Fast Local Laplacian Filters: Theory and Applications "、[online]、2014、"ACM Transactions on Graphics"、［平成３０年２月２６日検索］、インターネット<URL: http://www.di.ens.fr/~aubry/llf.html>
【発明の概要】
【発明が解決しようとする課題】
【００１７】
画像またはブロック画像の情報によらない一様な変換関数を用いる場合、明部では白つぶれ、暗部では黒潰れが起きる。そのため画面またはブロック画像の輝度分布に応じて、多数のピクセルが所属する階調の領域に多くのビットを割り振るマッピングが提唱され、実施されているが、出力画像の連続性と、回路規模、計算時間および消費電力の観点での計算コストとの両立は簡単ではなかった。特に、モバイルディスプレイへの組み込み用途などでは計算結果の厳密さよりも計算負荷の軽さが求められている。
【００１８】
また、１フレーム内で処理が完結しない場合、処理対象の画像をフレームメモリに格納する必要があり、回路規模、消費電力およびコストが増大する。
【００１９】
本発明の目的は、出力画像の連続性を損なうことなく、回路規模、消費電力およびコストを低減し、かつ計算時間を短縮することができるトーンマッピング回路およびトーンマッピング方法を提供することにある。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、本発明は、現フレームのＨＤＲ画像の全てのピクセルのデータに基づいて、前記ＨＤＲ画像の特徴量である複数の大域特徴量を算出して１フレーム時間保持し、かつ、１フレーム前のＨＤＲ画像の大域特徴量を出力する大域特徴量算出回路と、
前記現フレームのＨＤＲ画像を横方向および縦方向に分割した複数のブロック画像の各々について、前記ブロック画像の全てのピクセルのデータに基づいて、前記ブロック画像の特徴量である局所特徴量を算出して１フレーム時間保持し、かつ、前記現フレームのＨＤＲ画像の処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像およびその周囲のブロック画像の局所特徴量の間を補間して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像のピクセルの局所特徴量を算出する局所特徴量算出回路と、
前記１フレーム前のＨＤＲ画像の複数の大域特徴量、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量、および、前記複数の大域特徴量に対応するディスプレイの出力輝度を表す複数のターゲット輝度に基づいて、前記１フレーム前のＨＤＲ画像の各々のブロック画像について、前記複数の大域特徴量および前記複数のターゲット輝度に対応する複数のゲインと、前記複数の大域特徴量および前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量に対応する複数のトータルの特徴量を算出するゲイン算出回路と、
前記処理対象のピクセルのデータに対して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインの中から前記処理対象のピクセルのデータに対応するゲインとトータルの特徴量を適用して、ゲイン適用後のピクセルのデータを算出するゲイン適用回路と、を備える、トーンマッピング回路を提供する。
【００２１】
ここで、前記大域特徴量算出回路は、前記ＨＤＲ画像の全てのピクセルのデータから、前記ＨＤＲ画像のピクセルのデータの各領域に属するピクセルの数を表すヒストグラムを作成し、前記ヒストグラムを用いて前記複数の大域特徴量を算出することが好ましい。
【００２２】
また、前記大域特徴量算出回路は、前記ＨＤＲ画像の全てのピクセルのデータから、前記ＨＤＲ画像のピクセルのデータの各領域に属するピクセルの累積数を表す累積ヒストグラムを作成し、前記累積ヒストグラムを用いて前記複数の大域特徴量を算出することが好ましい。
【００２３】
また、前記大域特徴量算出回路は、前記累積ヒストグラムを用いて、前記複数の大域特徴量として、前記ＨＤＲ画像の全ピクセル数に対して、複数のしきい値により指定される複数の割合のピクセル数に対応する複数のデータの領域に含まれるデータの代表値を出力することが好ましい。
【００２４】
また、前記大域特徴量算出回路は、前記複数の大域特徴量の１つとして、前記ＨＤＲ画像の全ピクセル数の中央値のピクセル数に対応するデータの領域に含まれるデータの代表値を出力することが好ましい。
【００２５】
また、前記大域特徴量算出回路は、前記現フレームのＨＤＲ画像を横方向および縦方向に分割した複数のエリア画像の各々について、前記エリア画像の全てのピクセルのデータに基づいて、前記エリア画像の特徴量である複数のエリア大域特徴量を順次算出して１フレーム時間保持し、かつ、前記１フレーム前のＨＤＲ画像の全てのエリア画像のエリア大域特徴量の中から、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のエリア画像のエリア大域特徴量を前記大域特徴量として順次出力することが好ましい。
【００２６】
また、前記局所特徴量算出回路は、前記ブロック画像の局所特徴量として、前記ブロック画像の全てのピクセルのデータの平均値、中央値、最大値、最小値または代表ピクセル値を算出することが好ましい。
【００２７】
また、前記ゲイン算出回路は、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量と前記複数の大域特徴量の各々とを重み付けして加算することにより、前記複数の大域特徴量に対応する複数のトータルの特徴量を算出する特徴量マージ回路を備えることが好ましい。
【００２８】
また、前記ゲイン算出回路は、さらに、隣り合う２つの前記ターゲット輝度の差分を、隣り合う２つの前記トータルの特徴量の差分で除算することにより前記複数のゲインを算出するゲイン出力回路を備えることが好ましい。
【００２９】
また、前記ゲイン適用回路は、前記処理対象のピクセルのデータが、最も大きい前記トータルの特徴量よりも小さい場合、前記処理対象のピクセルのデータから前記トータルの特徴量を減算し、その減算結果と前記トータルの特徴量に対応するゲインとを乗算し、その乗算結果と前記トータルの特徴量に対応するターゲット輝度とを加算することにより前記ゲイン適用後のピクセルのデータを算出し、
前記処理対象のピクセルのデータが、前記最も大きいトータルの特徴量以上である場合、前記ゲイン適用後のピクセルのデータとして、前記最も大きいトータルの特徴量に対応する、最も大きい前記ターゲット輝度を出力することが好ましい。
【００３０】
また、前記ＨＤＲ画像のピクセルのデータはＲＧＢ色空間のデータであり、
さらに、前記ＨＤＲ画像のピクセルのＲＧＢ色空間のデータを、Ｙ成分を含む色空間のデータに変換する画像空間変換回路を備え、
前記ゲイン適用回路は、前記ＨＤＲ画像の処理対象のピクセルのＹ成分を含む色空間のＹ成分のデータに対して前記ゲインを適用して、前記ゲイン適用後のピクセルの前記Ｙ成分を含む色空間のデータを算出し、
さらに、前記ゲイン適用後のピクセルのＹ成分を含む色空間のデータを前記ＲＧＢ色空間のデータに変換する画像空間逆変換回路を備えることが好ましい。
【００３１】
さらに、前記現フレームのＨＤＲ画像のピクセルのデータに基づいて、前記ピクセルの位置情報として、前記処理対象のピクセルの横方向および縦方向のアドレスを抽出する位置情報抽出回路を備え、
前記大域特徴量算出回路および前記局所特徴量算出回路は、前記処理対象のピクセルのアドレスに基づいて前記複数の大域特徴量および前記ブロック画像の局所特徴量を算出することが好ましい。
【００３２】
さらに、電光変換関数を用いて、前記現フレームのＨＤＲ画像のピクセルのデータを線形空間のピクセルのデータに変換する線形空間変換回路を備え、
前記ゲイン適用回路は、線形空間の処理対象のピクセルのデータに対して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインの中から前記線形空間の処理対象のピクセルのデータに対応するゲインを適用して、前記ゲイン適用後のピクセルのデータを算出することが好ましい。
【００３３】
さらに、前記現フレームのＨＤＲ画像の１ピクセル分のピクセルのデータとして入力される複数のデータを１つのデータに集約した集約データを出力するデータ集約回路を備え、
前記大域特徴量算出回路は、前記現フレームのＨＤＲ画像の全てのピクセルの集約データに基づいて前記複数の大域特徴量を算出し、
前記局所特徴量算出回路は、前記ブロック画像の全てのピクセルの集約データに基づいて前記ブロック画像の局所特徴量を算出することが好ましい。
【００３４】
また、前記データ集約回路は、前記集約データとして、前記１ピクセル分のピクセルのデータとして入力される複数のデータの平均値、最大値、最小値または輝度値を出力することが好ましい。
【００３５】
さらに、ディスプレイの輝度特性に合わせて、前記ゲイン適用後のピクセルのデータをガンマ補正するガンマ補正回路を備えることが好ましい。
【００３６】
また、本発明は、大域特徴量算出回路が、現フレームのＨＤＲ画像の全てのピクセルのデータに基づいて、前記ＨＤＲ画像の特徴量である複数の大域特徴量を算出して１フレーム時間保持し、かつ、１フレーム前のＨＤＲ画像の大域特徴量を出力するステップと、
局所特徴量算出回路が、前記現フレームのＨＤＲ画像を横方向および縦方向に分割した複数のブロック画像の各々について、前記ブロック画像の全てのピクセルのデータに基づいて、前記ブロック画像の特徴量である局所特徴量を算出して１フレーム時間保持し、かつ、前記現フレームのＨＤＲ画像の処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像およびその周囲のブロック画像の局所特徴量の間を補間して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像のピクセルの局所特徴量を算出するステップと、
ゲイン算出回路が、前記１フレーム前のＨＤＲ画像の複数の大域特徴量、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量、および、前記複数の大域特徴量に対応するディスプレイの出力輝度を表す複数のターゲット輝度に基づいて、前記１フレーム前のＨＤＲ画像の各々のブロック画像について、前記複数の大域特徴量および前記複数のターゲット輝度に対応する複数のゲインと、前記複数の大域特徴量および前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量に対応する複数のトータルの特徴量を算出するステップと、
ゲイン適用回路が、前記処理対象のピクセルのデータに対して、前記処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインの中から前記処理対象のピクセルのデータに対応するゲインとトータルの特徴量を適用して、ゲイン適用後のピクセルのデータを算出するステップと、を含む、トーンマッピング方法を提供する。
【発明の効果】
【００３７】
本発明によれば、狭いダイナミックレンジを持つディスプレイにおいても、広いダイナミックレンジを持つＨＤＲ画像をトーンマッピングして、その詳細な部分および出力画像の連続性を損なうことなく表現することができる。
【００３８】
また、集約データを用いて、大域特徴量、局所特徴量およびゲインを算出することにより回路規模、消費電力およびコストを大幅に削減し、そのための計算時間を大幅に短縮することができる。
【００３９】
さらに、１フレーム前のＨＤＲ画像の大域特徴量を保持して現フレームのＨＤＲ画像に適用するため、現フレームのＨＤＲ画像のピクセルのデータを１フレーム時間保持しておくためのメモリは必要ない。また、ＨＤＲ画像における複数のブロック画像の局所特徴量を保持するため、局所特徴量を保持するために必要なメモリ容量も大幅に削減することができる。従って、回路規模を大幅に削減し、消費電力およびコストを大幅に低減することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明に係るトーンマッピング回路の構成を表す一実施形態のブロック図である。
【図２】図１に示す大域特徴量算出回路の構成を表す一実施形態のブロック図である。
【図３】集約データの値の各大域領域に属するピクセルの累積数を表す一例の累積ヒストグラムである。
【図４】図１に示す局所特徴量算出回路の構成を表す一実施形態のブロック図である。
【図５】図１に示すゲイン算出回路の構成を表す一実施形態のブロック図である。
【図６】ＨＤＲ画像のピクセルに適用されるゲインを表す一例のグラフである。
【図７】図１に示すゲイン適用回路の構成を表す一実施形態のブロック図である。
【図８】本発明に係るトーンマッピング回路の構成を表す別の実施形態のブロック図である。
【図９】本発明に係るトーンマッピング回路の構成を表すさらに別の実施形態のブロック図である。
【発明を実施するための形態】
【００４１】
以下に、添付の図面に示す好適実施形態に基づいて、本発明のトーンマッピング回路およびトーンマッピング方法を詳細に説明する。
【００４２】
図１は、本発明に係るトーンマッピング回路の構成を表す一実施形態のブロック図である。図１に示すトーンマッピング回路１０は、広いダイナミックレンジを持つＨＤＲ画像を、狭いダイナミックレンジを持つディスプレイに表示するためのトーンマッピングを行う。トーンマッピング回路１０は、位置情報抽出回路３０と、データ集約回路１２と、大域特徴量算出回路１４と、局所特徴量算出回路１６と、ゲイン算出回路１８と、線形空間変換回路２０と、ゲイン適用回路２２と、ガンマ補正回路２４とを備えている。
【００４３】
トーンマッピング回路１０において、位置情報抽出回路３０には、１ピクセル時間毎に、外部からＨＤＲ画像のピクセルのデータRGB imageが入力される。
位置情報抽出回路３０は、ＨＤＲ画像のピクセルのデータRGB imageに基づいて、ピクセルの位置情報として、処理対象のピクセルの横方向（水平方向）および縦方向（垂直方向）のアドレス（座標）ｘ，ｙを抽出する。
【００４４】
続いて、データ集約回路１２には、１ピクセル時間毎に、外部からＨＤＲ画像のピクセルのデータRGB imageが入力される。
データ集約回路１２は、現フレームのＨＤＲ画像の１ピクセル分のピクセルのデータRGB imageとして入力される複数のデータを１つのデータに集約した集約データを出力する。
【００４５】
複数のデータは、例えばＲＧＢ（赤緑青）の３チャンネルのデータRGB imageである。また、テレビ等のように、１ピクセル分のピクセルのデータとして複数ピクセルのデータが入力される場合、複数のデータは、この複数ピクセルのデータである。
【００４６】
データ集約回路１２は、集約データとして、例えば１ピクセル分のピクセルのデータとして入力される複数のデータの平均値、最大値、最小値または輝度値等を出力する。
複数のデータがＲＧＢの３チャンネルのデータRGB imageである場合、平均値は、Ｒのデータ、ＧのデータおよびＢのデータを加算平均したものである。最大値および最小値は、Ｒのデータ、ＧのデータおよびＢのデータのうちの最大のものおよび最小のものである。輝度値は、ＲＧＢ色空間のピクセルのデータRGB imageを、ＹＵＶ（輝度Ｙおよび色差ＵＶ）色空間等のＹ成分を含む色空間のピクセルのデータに変換したＹ成分のデータである。
複数のデータが複数ピクセルのデータである場合も同様である。
【００４７】
本実施形態の場合、１ピクセル分のピクセルのデータとしてＲＧＢの３チャンネルのデータRGB imageが入力される。データ集約回路１２は、１ピクセル分のピクセルのＲＧＢのデータRGB imageを集約してその平均値を出力する。
【００４８】
続いて、大域特徴量算出回路１４には、１ピクセル時間毎に、位置情報抽出回路３０からＨＤＲ画像のピクセルのアドレスｘ，ｙが入力され、データ集約回路１２からＨＤＲ画像のピクセルの集約データが入力される。
大域特徴量算出回路１４は、現フレームのＨＤＲ画像を横方向のＭ個および縦方向のＮ個に分割した複数（Ｍ×Ｎ個、ＭおよびＮは１以上の整数）のエリア画像Ｍ、Ｎの各々について、処理対象のピクセルのアドレスｘ，ｙにより特定されるエリア画像Ｍ、Ｎの全てのピクセルの集約データに基づいて、エリア画像Ｍ、Ｎの特徴量である複数（ｉ個、ｉは１以上の整数であり、後述するしきい値の数を表す）のエリア大域特徴量global_ore[M, N][i]を順次算出して１フレーム時間保持する。
また、大域特徴量算出回路１４は、１フレーム時間前に保持された１フレーム前のＨＤＲ画像の全てのエリア画像Ｍ、Ｎのエリア大域特徴量global_ore[M, N][i]の中から、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のエリア画像Ｍ、Ｎのエリア大域特徴量global_ore[M, N][i]を大域特徴量global_ore'[i]として順次出力する。
【００４９】
大域特徴量算出回路１４は、図２に示すように、エリア大域特徴量算出回路３２と、バッファ３４と、エリア画像選択回路３６と、大域特徴量出力回路３８とを備えている。
【００５０】
大域特徴量算出回路１４においては、エリア大域特徴量算出回路３２により、処理対象のピクセルのアドレスｘ，ｙに基づいて、処理対象のピクセルを含むエリア画像Ｍ、Ｎが特定され、処理対象のピクセルを含むエリア画像Ｍ、Ｎの全てのピクセルの集約データに基づいて、処理対象のピクセルを含むエリア画像Ｍ、Ｎのエリア大域特徴量global_ore[M, N][i]が算出されてバッファ３４に１フレーム時間保持される。
また、エリア画像選択回路３６により、処理対象のピクセルのアドレスｘ，ｙに基づいて処理対象のピクセルを含むエリア画像Ｍ、Ｎが選択される。
続いて、大域特徴量出力回路３８により、バッファ３４に保持された１フレーム前のＨＤＲ画像の全てのエリア画像Ｍ、Ｎのエリア大域特徴量global_ore[M, N][i]の中から、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のエリア画像Ｍ、Ｎのエリア大域特徴量global_ore[M, N][i]が大域特徴量global_ore'[i]として出力される。
【００５１】
本実施形態の場合、Ｍ＝Ｎ＝１である。つまり、ＨＤＲ画像は分割されず、１つのエリア画像となる。この場合、エリア大域特徴量算出回路３２により、現フレームのＨＤＲ画像の全てのピクセルの集約データに基づいて、ＨＤＲ画像の大域特徴量global_ore[i]が算出されてバッファ３４に１フレーム時間保持される。エリア画像選択回路３６および大域特徴量出力回路３８は不要であり、バッファ３４から１フレーム前のＨＤＲ画像の大域特徴量global_ore[i]が大域特徴量global_ore'[i]として出力される。
【００５２】
大域特徴量算出回路１４は、複数の大域特徴量global_ore'[i]として、ＨＤＲ画像の全ピクセル数に対して、外部から入力される複数（ｉ個）のしきい値により指定される複数（ｉ個）の割合のピクセル数に対応する、複数（ｉ個）の集約データの領域に含まれる集約データの中心値等を算出する。
【００５３】
例えば、ＨＤＲ画像の全ピクセル数に対して５０％（中央値）のピクセル数を指定する場合、ＨＤＲ画像の全ピクセル数が一定であれば、しきい値としてＨＤＲ画像の全ピクセル数の５０％のピクセル数が入力される。ＨＤＲ画像の全ピクセル数が可変であれば、例えばＨＤＲ画像の全ピクセル数を１００に設定し、しきい値として５０が入力される。そして、大域特徴量算出回路１４においてあらかじめ設定されている、ＨＤＲ画像の実際の全ピクセル数と、ＨＤＲ画像の全ピクセル数の設定サイズである１００に対するしきい値の５０の割合である５０％との乗算値が実際のしきい値として使用される。
【００５４】
集約データの領域は、集約データの最小値から最大値までの値の範囲を一定値（一定幅）により分割した値の範囲を表す。例えば、１０ビットの集約データの場合、その値の範囲は０〜１０２３である。例えば、一定値が１である場合、集約データの領域の数は１０２４個になる。また、一定値が１６である場合、集約データの領域の数は１０２４／１６＝６４個になる。
【００５５】
大域特徴量算出回路１４は、例えばＨＤＲ画像の全てのピクセルの集約データから、集約データの値の各領域に属するピクセルの累積数を表す累積ヒストグラムを作成し、この累積ヒストグラムを用いて、ＨＤＲ画像の全ピクセル数に対して、３つのしきい値ｔｈ１、ｔｈ２およびｔｈ３により指定される例えば１０％（暗部）、５０％（中央部）および９０％（明部）のピクセル数に対応する、３つの集約データの領域に含まれる集約データの例えば中央値および最頻値などの代表値を大域特徴量global_ore'[i]として出力する。
【００５６】
図３は、集約データの各大域領域に属するピクセルの累積数を表す一例の累積ヒストグラムである。図３に示す累積ヒストグラムの横軸は、大域特徴量global_ore'[i]として出力される集約データの値を表し、縦軸は集約データの各領域に属するピクセルの累積数を表す。集約データの値は、累積ヒストグラムの横軸において、左端を０として、右側に向かうに従って１つずつ大きくなり、右端が最大値となる。
【００５７】
集約データの各領域に属するピクセルの累積数は、各領域に含まれるピクセルの数を表す一般的なヒストグラムにおける左端の領域から各領域までに属するピクセルの合計数である。つまり、隣り合う２つの集約データの領域のうちの右側の領域の累積数から左側の領域の累積数を減算すると、一般的なヒストグラムにおいて右側の領域に属するピクセルの数となる。また、右端の集約データの領域に属するピクセルの累積数は、ＨＤＲ画像の全ピクセル数になる。
【００５８】
大域特徴量算出回路１４は、例えばしきい値ｔｈ１（ｉ＝１）により１０％のピクセル数が指定された場合、累積ヒストグラムにおいて、累積数が１０％のピクセル数に最も近い数である左端の集約データの領域に含まれる集約データの中心値を大域特徴量global_ore'[1]として出力する。同様に、しきい値ｔｈ２（ｉ＝２）により５０％のピクセル数が指定された場合、左側から２番目の集約データの領域に含まれる集約データの中心値を大域特徴量global_ore'[2]として出力し、しきい値ｔｈ３（ｉ＝３）により９０％のピクセル数が指定された場合、左側から７番目の集約データの領域に含まれる集約データの中心値を大域特徴量global_ore'[3]として出力する。
【００５９】
なお、集約データの領域の数は、１０ビットの集約データの場合、その最大数の１０２４個としてもよいが、これよりも小さい数、例えば１２〜８０個とするのが好ましい。エリア画像当たりの大域特徴量global_ore'[i]の個数も３つに限らず、２以上であればよく、例えば１０個程度とするのが好ましい。また、複数の大域特徴量global_ore'[i]の１つとして、ＨＤＲ画像の全ピクセル数の中央値のピクセル数に対応する集約データの領域に含まれる集約データの中央値を算出する代わりに、ＨＤＲ画像の全てのピクセルのデータの平均値に対応する集約データの領域に含まれる集約データの中央値を算出してもよい。また、累積ヒストグラムに限らず、ＨＤＲ画像の全てのピクセルの集約データから、ＨＤＲ画像のピクセルの集約データの各領域に属するピクセルの数を表す一般的なヒストグラムを作成し、このヒストグラムを用いて複数の大域特徴量global_ore'[i]を算出してもよい。
【００６０】
図１に戻って、局所特徴量算出回路１６には、１ピクセル時間毎に、位置情報抽出回路３０からＨＤＲ画像のピクセルのアドレスｘ，ｙが入力され、データ集約回路１２からＨＤＲ画像のピクセルの集約データが入力される。
局所特徴量算出回路１６は、現フレームのＨＤＲ画像を横方向のｍ個および縦方向のｎ個に分割した複数（ｍ×ｎ個、ｍおよびｎは２以上の整数）のブロック画像ｍ、ｎの各々について、ブロック画像ｍ、ｎの全てのピクセルの集約データおよび処理対象のピクセルのアドレスｘ，ｙに基づいて、ブロック画像ｍ、ｎの特徴量である局所特徴量local_ore[m, n]を算出して１フレーム時間保持する。
また、局所特徴量算出回路１６は、処理対象のピクセル位置に対応する１フレーム時間前に保持された１フレーム前のＨＤＲ画像のブロック画像ｍ、ｎおよびその周囲のブロック画像の局所特徴量の間を補間して、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像ｍ、ｎのピクセルの局所特徴量local_ore'を算出する。
【００６１】
局所特徴量算出回路１６は、図４に示すように、ブロック局所特徴量算出回路４０と、バッファ４２と、ブロック画像選択回路４４と、ピクセル局所特徴量出力回路４６とを備えている。
【００６２】
局所特徴量算出回路１６においては、ブロック局所特徴量算出回路４０により、処理対象のピクセルのアドレスｘ，ｙに基づいて、処理対象のピクセルを含むブロック画像ｍ、ｎが特定され、処理対象のピクセルを含むブロック画像ｍ、ｎ毎に、ブロック画像ｍ、ｎの全てのピクセルの集約データに基づいて、ブロック画像ｍ、ｎの局所特徴量local_ore[m, n]が算出されてバッファ４２に１フレーム時間保持される。
また、ブロック画像選択回路４４により、処理対象のピクセルのアドレスｘ，ｙに基づいて処理対象のピクセルを含むブロック画像ｍ、ｎが選択される。
続いて、ピクセル局所特徴量出力回路４６により、バッファ４２に保持された１フレーム前のＨＤＲ画像の全てのブロック画像ｍ、ｎの局所特徴量local_ore[m, n]の中から、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像ｍ、ｎおよびその周囲のブロック画像の局所特徴量local_ore[m, n]が読み出され、処理対象のピクセルに対応する１フレーム前のＨＤＲ画像のブロック画像ｍ、ｎおよびその周囲のブロック画像の局所特徴量local_ore[m, n]の間が補間されて、処理対象のピクセルに対応する１フレーム前のＨＤＲ画像のブロック画像ｍ、ｎのピクセルの局所特徴量local_ore'が出力される。
【００６３】
局所特徴量算出回路１６は、ブロック画像ｍ、ｎの局所特徴量local_ore[m, n]として、ブロック画像ｍ、ｎの全てのピクセルの集約データの平均値、中央値、最大値、最小値または代表ピクセル値等を算出する。代表ピクセル値は、ブロック画像の全てのピクセルのうちの左上のピクセル、中央のピクセルというように、ブロック画像において、あらかじめ決められた位置（アドレス）のピクセルの集約データである。
【００６４】
本実施形態の場合、ＨＤＲ画像は、横方向の１００個（ｍ＝１００）×縦方向の１００個（ｎ＝１００）＝１００００個のブロック画像に分割される。局所特徴量算出回路１６は、ブロック画像の局所特徴量local_ore[m, n]として、ブロック画像毎に、ブロック画像の全てのピクセルの集約データの平均値を算出する。また、局所特徴量算出回路１６は、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像およびその周囲の８個のブロック画像を含む９個のブロック画像の集約データの平均値の間を補間して、ピクセルの局所特徴量Local_ore'として、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像のピクセルのデータを算出する。
【００６５】
なお、ＨＤＲ画像の横方向および縦方向の分割数は各々２以上であればよく、ブロック画像の数は４以上であればよい。また、補間処理で用いられるブロック画像の局所特徴量local_ore[m, n]の数は２以上であればよい。例えば、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像およびその十字方向に周囲の４つのブロック画像からなる５個のブロック画像の局所特徴量local_ore[m, n]を用いて補間処理を行ってもよいし、処理対象のピクセルに対応する１フレーム前のＨＤＲ画像のブロック画像およびその周囲の２４個のブロック画像からなる２５個のブロック画像の局所特徴量local_ore[m, n]を用いて補間処理を行ってもよい。
【００６６】
続いて、ゲイン算出回路１８には、１フレーム時間毎に、大域特徴量算出回路１４から処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のエリア画像Ｍ、Ｎの複数の大域特徴量global_ore'[i]が入力される。また、ゲイン算出回路１８には、１ピクセル時間毎に、局所特徴量算出回路１６から現フレームのＨＤＲ画像のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量local_ore'が入力される。さらに、ゲイン算出回路１８には、外部から、複数の大域特徴量global_ore'[i]に対応するディスプレイの出力輝度を表す複数のターゲット輝度ore_y[i]およびore_y[0]が入力される。
ゲイン算出回路１８は、現フレームのＨＤＲ画像の処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のエリア画像Ｍ、Ｎの複数の大域特徴量global_ore'[i]、現フレームのＨＤＲ画像の処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量local_ore'、および、複数のターゲット輝度ore_y[0], ore_y[i]に基づいて、１フレーム前のＨＤＲ画像の各々のブロック画像について、複数の大域特徴量global_ore'[i]および複数のターゲット輝度ore_y[0], ore_y[i]に対応する複数のゲインgain[i]を算出する。なお、本実施形態のように、補間してピクセルの局所特徴量local_ore'を算出する場合はピクセル毎に複数のゲインgain[i]を算出してもよい。
【００６７】
ゲイン算出回路１８は、図５に示すように、特徴量マージ回路４８と、ゲイン出力回路５０とを備えている。
【００６８】
ゲイン算出回路１８においては、特徴量マージ回路４８により、１フレーム前のＨＤＲ画像のエリア画像Ｍ、Ｎの複数の大域特徴量global_ore'[i]と現フレームのＨＤＲ画像の処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量local_ore'とが後述する式でマージされて１フレーム前のＨＤＲ画像のトータルの特徴量ore[0], ore[i]が生成される。
続いて、ゲイン出力回路５０により、１フレーム前のＨＤＲ画像のトータルの特徴量ore[0], ore[i]に基づいて、複数（ｉ個）の大域特徴量global_ore'[i]および複数（ｉ＋１個）のターゲット輝度ore_y[0], ore_y[i]に対応する複数（ｉ個）のゲインgain[i]が算出される。なお、トータルの特徴量ore[0]は、トータルの特徴量ore[i]の下限値、つまり、０であることを表し、ターゲット輝度ore_y[0]は、ディスプレイの出力輝度の下限値を表す。
【００６９】
例えば、大域特徴量global_ore'[i]を算出するためのしきい値として、ＨＤＲ画像の全ピクセル数に対して１０％のピクセル数を指定するしきい値ｔｈ１が入力された場合、ターゲット輝度ore_y[1]は、ディスプレイの最大輝度の１０％の輝度に設定される。５０％および９０％のしきい値ｔｈ２、ｔｈ３が入力された場合も同様に、ターゲット輝度ore_y[2], ore_y[3]は、ディスプレイの最大輝度の５０％、９０％の輝度に設定される。
【００７０】
図６は、ＨＤＲ画像のピクセルに適用されるゲインを表す一例のグラフである。図６に示すグラフの横軸はトータルの特徴量ore[0], ore[i]を表し、縦軸はディスプレイのターゲット輝度ore_y[0], ore_y[i]を表す。トータルの特徴量ore[0], ore[i]は、グラフの横軸において、左端をore[0]＝０として、右側に向かうに従って大きくなり、右端が最大値となる。また、ターゲット輝度ore_y[0], ore_y[i]は、グラフの縦軸において、下端のターゲット輝度を０として、上側に向かうに従って大きくなり、上端が最大値となる。
【００７１】
グラフの横軸には、トータルの特徴量ore[0]と、ＨＤＲ画像の全ピクセル数の１０％、５０％および９０％のピクセル数に対応するトータルの特徴量ore[1], ore[2]およびore[3]とが示されている。また、グラフの縦軸には、ターゲット輝度ore_y[0]と、トータルの特徴量ore[1], ore[2]およびore[3]、つまり、ＨＤＲ画像の全ピクセルの数の１０％、５０％および９０％のピクセル数に対応するディスプレイの出力輝度を表すターゲット輝度ore_y[1], ore_y[2]およびore_y[3]とが示されている。
【００７２】
ゲイン算出回路１８は、例えば下記式によりゲインgain[i]を算出する。
【００７３】
gain[i] = (ore_y[i] - ore_y[i-1]) / (ore[i] - ore[i-1])
ore[i] = c * (a * local_ore' + (1-a) * global_ore'[i])
【００７４】
ここで、ｉはしきい値の数を表し、本実施形態の場合、ｉ＝１，２，３である。ａは外部から入力される重み付け係数であり、その値を外部から０≦ａ≦１の範囲で調節可能である。重み付け係数ａにより、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量local_ore'と大域特徴量global_ore’[i]とを重み付けして調節することができる。仮に、ａ＝１の場合、ゲインgain[i]に大域特徴量global_ore’[i]を加味しないことを意味する。inputは、入力されるＨＤＲ画像のピクセルのデータを表す。ｃは係数であり、この係数ｃにより、トータルの特徴量ore[i]とピクセルのデータinputの最大値を合わせる。
【００７５】
つまり、特徴量マージ回路４８は、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量local_ore'と複数の大域特徴量global_ore’[i]の各々とを重み付けして加算することにより、複数の大域特徴量global_ore’[i]に対応する複数のトータルの特徴量ore[0], ore[i]を算出する。また、ゲイン出力回路５０は、隣り合う２つのターゲット輝度の差分（ore_y[i] - ore_y[i-1]）を、隣り合う２つのトータルの特徴量の差分（ore[i] - ore[i-1]）で除算することにより複数のゲインgain[i]を算出する。
【００７６】
上記式により、ブロック画像毎に、トータルの特徴量ore[0], ore[1], ore[2], ore[3]およびターゲット輝度ore_y[0], ore_y[1], ore_y[2], ore_y[3]に対応する３つのゲインgain[1], gain[2], gain[3]が、図６に示すグラフの傾きとして算出される。なお、図６のグラフに示すように、最も大きいトータルの特徴量ore[3]、つまり、ＨＤＲ画像の全ピクセル数の９０％のピクセル数よりも上側のピクセル数の領域のターゲット輝度は、その最大値であるターゲット輝度ore_y[3]=limitにクリップされる。
【００７７】
続いて、線形空間変換回路２０には、１ピクセル時間毎に、外部からＨＤＲ画像のピクセルのデータRGB imageが入力される。
線形空間変換回路２０は、電光変換関数（ＥＯＴＦ）を用いて、現フレームのＨＤＲ画像のピクセルのデータRGB imageを線形空間のピクセルのデータinputに変換する。
【００７８】
ＨＤＲ画像のフォーマットがＨＤＲ１０の場合、電光変換関数はＰＱカーブの逆変換関数であり、下記式で定義される。
【００７９】
【数２】
2020003998.tif 000006
【００８０】
ここで、inputは入力されるピクセルのデータRGB image、outputは出力されるピクセルのデータである。max(s1, s2)は、２つの値s1, s2のうちの大きい方の値を出力する関数である。ｍ１、ｍ２、ｃ１、ｃ２、ｃ３の値は以下の通りである。
m1 = 0.1593017578
m2 = 78.84375
c1 = 0.8359375 = c3-c2+1
c2 = 18.8515625
c3 = 18.6875
【００８１】
また、ＨＤＲ画像のフォーマットがＨＬＧの場合の電光変換関数はＨＬＧカーブの逆変換関数であり、下記式で定義される。
【００８２】
【数３】
2020003998.tif 000007
【００８３】
ここで、inputは入力されるピクセルのデータ、outputは出力されるピクセルのデータである。kneeは、変換関数の曲線形状が切り替わるニーポイント（knee point）におけるピクセルのデータであり、画像コンテンツのメタデータによって決まる値である。vmaxはoutputの最大値である。min(s1, s2)は、２つの値s1, s2のうちの小さい方の値を出力する関数である。ａ、ｂ、ｃの値は以下の通りである。
a=0.17883277
b=0.28466892
c=0.55991073
【００８４】
本実施形態の場合、線形空間変換回路２０には、ＨＤＲ画像のピクセルのＲＧＢのデータRGB imageが入力される。線形空間変換回路２０は、ＲＧＢに対応する３つの同じ内容のルックアップテーブル（ＬＵＴ：Lookup table）を用いて実現することができる。ルックアップテーブルには、一般的に、入力ビット幅より出力ビット幅のほうが大きいか、あるいは入力固定小数点および出力浮動小数点のフォーマットとなるような値が格納される。
【００８５】
続いて、ゲイン適用回路２２には、１ピクセル時間毎に、線形空間変換回路２０から線形空間のピクセルのデータinputが入力され、ゲイン算出回路１８から、ＨＤＲ画像の各々のピクセルについてのトータルの特徴量ore[0], ore[i]およびＨＤＲ画像の各々のブロック画像の複数のゲインgain[i]が入力される。
ゲイン適用回路２２は、線形空間の処理対象のピクセルのデータinputに対して、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインgain[i]の中から、線形空間の処理対象のピクセルのデータinputに対応するゲインgain[i]とトータルの特徴量ore[0], ore[i]を適用して、ゲイン適用後のピクセルのデータoutputを算出する。つまり、トーンマッピングを行う。
【００８６】
ゲイン適用回路２２は、例えば図７に示すように、下記式により線形空間のピクセルのデータinputに対してゲインgain[i]を適用する。
【００８７】
【数４】
2020003998.tif 000008
【００８８】
つまり、ゲイン適用回路２２は、処理対象のピクセルのデータinputが、最も大きいトータルの特徴量ore[3]よりも小さい場合、処理対象のピクセルのデータinputからトータルの特徴量ore[i]を減算し、その減算結果とトータルの特徴量ore[i]に対応するゲインgain[i]とを乗算し、その乗算結果とトータルの特徴量ore[i]に対応するターゲット輝度ore_y[i]とを加算することによりゲイン適用後のピクセルのデータoutputを算出する。
一方、処理対象のピクセルのデータinputが、最も大きいトータルの特徴量ore[3]以上である場合、ゲイン適用後のピクセルのデータoutputとして、最も大きいトータルの特徴量ore[3]に対応する、最も大きいターゲット輝度ore_y[3]=limitを出力する。
【００８９】
続いて、ガンマ補正回路２４には、１ピクセル時間毎に、ゲイン適用回路２２から現フレームのＨＤＲ画像のゲイン適用後のピクセルのデータoutputが入力される。
ガンマ補正回路２４は、ゲイン適用後のＨＤＲ画像が表示されるディスプレイの輝度特性に合わせて、ゲイン適用後のピクセルのデータoutputをガンマ補正する。
【００９０】
ガンマ補正回路２４は、例えばディスプレイの標準的なガンマ値γである２．２の二乗のガンマ曲線の逆変換曲線を用いて、ゲイン適用後のピクセルのデータoutputを非線形変換することによりガンマ補正を行う。
【００９１】
次に、トーンマッピング回路１０の動作を説明する。
【００９２】
トーンマッピング回路１０においては、位置情報抽出回路３０により、現フレームのＨＤＲ画像のピクセルのデータRGB imageに基づいて、位置情報として、ＨＤＲ画像のピクセルのアドレスｘ，ｙが抽出される。
【００９３】
また、データ集約回路１２により、現フレームのＨＤＲ画像の１ピクセル分のピクセルのデータRGB imageとして入力されるＲＧＢの３チャンネルのデータが集約され、集約データとしてその平均値が出力される。
【００９４】
続いて、大域特徴量算出回路１４により、現フレームのＨＤＲ画像の全てのピクセルの集約データに基づいて、ＨＤＲ画像の全ピクセル数に対して、３つのしきい値ｔｈ１、ｔｈ２およびｔｈ３により指定される例えば１０％、５０％および９０％のピクセル数に対応する、３つの集約データの領域に含まれる集約データの例えば中央値が大域特徴量global_ore[1], global_ore[2], global_ore[3]として算出され、１フレーム時間保持される。
また、１フレーム前のＨＤＲ画像の大域特徴量global_ore[1], global_ore[2], global_ore[3]が大域特徴量global_ore'[1], global_ore'[2], global_ore'[3]として出力される。
【００９５】
また、局所特徴量算出回路１６により、ブロック画像ｍ、ｎ毎に、ブロック画像ｍ、ｎの全てのピクセルの集約データおよび処理対象のピクセルのアドレスｘ，ｙに基づいて、ブロック画像ｍ、ｎの局所特徴量local_ore[m, n]として、ブロック画像ｍ、ｎの全てのピクセルの集約データの例えば平均値が算出される。ブロック画像ｍ、ｎの局所特徴量local_ore[m, n]は１フレーム時間保持される。
また、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像ｍ、ｎおよびその周囲のブロック画像の局所特徴量local_ore[m, n]の間が補間されて、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像ｍ、ｎのピクセルの局所特徴量local_ore'が算出される。ピクセルの局所特徴量local_ore'は、ピクセルのデータの変動よりも空間的に緩やかに変化する特徴を持つ。
【００９６】
続いて、ゲイン算出回路１８により、１フレーム前のＨＤＲ画像の３つの大域特徴量global_ore'[1], global_ore'[2], global_ore'[3]、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のピクセルの局所特徴量local_ore'、および、ターゲット輝度ore_y[0], ore_y[1], ore_y[2]およびore_y[3]に基づいて、１フレーム前のＨＤＲ画像の各々のブロック画像について３つのゲインgain[1], gain[2], gain[3]が算出される。
【００９７】
一方、線形空間変換回路２０により、電光変換関数を用いて、現フレームのＨＤＲ画像のピクセルのデータRGB imageが線形空間のピクセルのデータinputに変換される。
【００９８】
続いて、ゲイン適用回路２２により、線形空間の処理対象のピクセルのデータinputに対して、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインgain[i]の中から、線形空間の処理対象のピクセルのデータinputに対応するゲインgain[i]が適用されて、ゲイン適用後のピクセルのデータoutputが算出される。つまり、暗部、中央部および明部において異なるゲインgain[i]が適用される。例えば、暗部には中央部よりも大きなゲインが適用され、明部には中央部よりも小さいゲインが適用される。これにより、ダイナミックレンジのクリッピングによる不自然な見た目を防ぐことができる。
【００９９】
続いて、ガンマ補正回路２４により、ディスプレイの輝度特性に合わせて、ゲイン適用後のピクセルのデータoutputがガンマ補正され、ガンマ補正後のピクセルのデータに対応する画像がディスプレイに表示される。
【０１００】
上記のように、集約データ、大域特徴量global_ore'[i]、局所特徴量local_ore'およびゲインgain[i]の算出は、パイプライン処理され、これと並列に、線形空間への変換およびゲインgain[i]の適用もパイプライン処理される。
【０１０１】
トーンマッピング回路１０においては、狭いダイナミックレンジを持つディスプレイにおいても、明るい場面と暗い場面とが存在する動画、および、１フレーム内において明部と暗部とがともに存在する静止画を含む、広いダイナミックレンジを持つＨＤＲ画像をトーンマッピングして、その詳細な部分および出力画像の連続性を損なうことなく表現することができる。特に、雲および天体等の空にある高輝度な物体、照明、光の反射の形状、および、夜の風景における暗い部分とその中にある物体等を詳細に表現することができる。
【０１０２】
また、ＨＤＲ画像の全てのピクセルのデータRGB imageではなく、集約データを用いて、大域特徴量global_ore'[i]、局所特徴量local_ore'およびゲインgain[i]を算出することにより回路規模、消費電力およびコストを大幅に削減し、そのための計算時間を大幅に短縮することができる。
【０１０３】
さらに、現フレームのＨＤＲ画像のピクセルのデータを用いて大域特徴量global_ore'[i]を算出し、これを現フレームのＨＤＲ画像に適用する場合、大域特徴量global_ore'[i]の算出のために１フレーム時間を必要するため、現フレームのＨＤＲ画像のピクセルのデータを１フレーム時間保持しておくためのメモリが必要になる。これに対し、トーンマッピング回路１０においては、１フレーム前の大域特徴量global_ore'[i]を現フレームのＨＤＲ画像に適用するため、現フレームのＨＤＲ画像のピクセルのデータを１フレーム時間保持しておくためのメモリは必要ない。従って、回路規模を大幅に削減し、消費電力およびコストを大幅に低減することができる。
【０１０４】
また、ＨＤＲ画像の全てのピクセルの局所特徴量ではなく、ＨＤＲ画像における複数のブロック画像の局所特徴量local_ore[m, n]を保持するため、局所特徴量を保持するために必要なメモリ容量も大幅に削減することができる。従って、回路規模を大幅に削減し、消費電力およびコストを大幅に低減することができる。
【０１０５】
なお、ゲイン適用回路２２は、ＨＤＲ画像のピクセルのＲＧＢ色空間のデータに限らず、Ｙ成分を含む色空間等の他の色空間のデータにゲインgain[i]を適用することができる。
【０１０６】
図８は、本発明に係るトーンマッピング回路の構成を表す別の実施形態のブロック図である。図８に示すトーンマッピング回路１１は、図１に示すトーンマッピング回路１０において、さらに、画像空間変換回路２６と、画像空間逆変換回路２８と、を備えている。
【０１０７】
つまり、トーンマッピング回路１１は、位置情報抽出回路３０と、データ集約回路１２と、大域特徴量算出回路１４と、局所特徴量算出回路１６と、ゲイン算出回路１８と、線形空間変換回路２０と、ゲイン適用回路２２と、ガンマ補正回路２４と、画像空間変換回路２６と、画像空間逆変換回路２８と、を備えている。トーンマッピング回路１１には、ＨＤＲ画像のピクセルのデータとしてＲＧＢ色空間のデータRGB imageが入力される。
【０１０８】
以下、画像空間変換回路２６および画像空間逆変換回路２８について説明し、これ以外の他の構成要素の繰り返しの説明は省略する。
【０１０９】
トーンマッピング回路１１において、画像空間変換回路２６には、１ピクセル時間毎に、線形空間変換回路２０から線形空間のピクセルのＲＧＢ色空間のデータinputが入力される。
画像空間変換回路２６は、線形空間のピクセルのＲＧＢ色空間のデータinputを、Ｙ成分を含む色空間のデータinput'に変換する。本実施形態の画像空間変換回路２６は、ＲＧＢ色空間のデータをＹＵＶ色空間のデータに変換する。
【０１１０】
続いて、画像空間逆変換回路２８には、１ピクセル時間毎に、ゲイン適用回路２２からゲイン適用後のＨＤＲ画像のピクセルのデータoutputが入力される。
画像空間逆変換回路２８は、ゲイン適用後のピクセルのＹ成分を含む色空間のデータoutputをＲＧＢ色空間のデータoutput'に変換する。本実施形態の画像空間逆変換回路２８は、ＹＵＶ色空間のデータをＲＧＢ色空間のデータに変換する。
【０１１１】
トーンマッピング回路１１においては、画像空間変換回路２６により、線形空間のピクセルのＲＧＢ色空間のデータinputがＹＵＶ色空間のデータinput'に変換される。
続いて、ゲイン適用回路２２により、線形空間の処理対象のピクセルのＹＵＶ色空間のＹ成分のデータinput'に対してゲインgain[i]が適用されて、ＹＵＶ色空間のデータoutputが算出される。
続いて、画像空間逆変換回路２８により、ゲイン適用後のピクセルのＹＵＶ色空間のデータoutputがＲＧＢ色空間のデータoutput'に変換される。つまり、色空間が逆変換される。
続いて、ガンマ補正回路２４により、画像空間逆変換回路２８により変換されたゲイン適用後のピクセルのＲＧＢ色空間のデータoutput'がガンマ補正される。
【０１１２】
なお、トーンマッピング回路１０において、位置情報抽出回路３０、データ集約回路１２、線形空間変換回路２０およびガンマ補正回路２４は必須の構成要素ではない。
【０１１３】
例えば、位置情報抽出回路３０を備えていない場合、大域特徴量算出回路１４は、処理対象のピクセルのアドレスｘ，ｙを参照することなく、現フレームのＨＤＲ画像の全てのピクセルの集約データに基づいて複数の大域特徴量を算出することができる。同様に、局所特徴量算出回路１６は、現フレームのＨＤＲ画像の全てのピクセルの集約データに基づいてブロック画像の局所特徴量を算出することができる。この場合でも、異なる２つの特徴量をマージして補正値を演算することができる。
【０１１４】
データ集約回路１２を備えていない場合、大域特徴量算出回路１４は、集約データではなく、現フレームのＨＤＲ画像の全てのピクセルのデータに基づいて複数の大域特徴量を算出することができる。同様に、局所特徴量算出回路１６は、ブロック画像の全てのピクセルのデータに基づいてブロック画像の局所特徴量を算出することができる。
【０１１５】
また、データ集約回路１２を備えていない場合、図９に示すように、線形空間変換回路２０から線形空間のピクセルのデータinputを大域特徴量算出回路１４および局所特徴量算出回路１６に入力してもよい。この場合、大域特徴量算出回路１４および局所特徴量算出回路１６は、線形空間のピクセルのデータinputに基づいて複数の大域特徴量およびブロック画像の局所特徴量を算出することができる。
【０１１６】
線形空間変換回路２０を備えていない場合、ゲイン適用回路２２は、線形空間のピクセルのデータinputではなく、現フレームのＨＤＲ画像の処理対象のピクセルのデータRGB imageに対して、処理対象のピクセル位置に対応する１フレーム前のＨＤＲ画像のブロック画像についての複数のゲインgain[i]の中から処理対象のピクセルのデータに対応するゲインgain[i]を適用して、ゲイン適用後のピクセルのデータoutputを算出することができる。
【０１１７】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１１８】
１０、１１  トーンマッピング回路
１２  データ集約回路
１４  大域特徴量算出回路
１６  局所特徴量算出回路
１８  ゲイン算出回路
２０  線形空間変換回路
２２  ゲイン適用回路
２４  ガンマ補正回路
２６  画像空間変換回路
２８  画像空間逆変換回路
３０  位置情報抽出回路
３２  エリア大域特徴量算出回路
３４、４２  バッファ
３６  エリア画像選択回路
３８  大域特徴量出力回路
４０  ブロック局所特徴量算出回路
４４  ブロック画像選択回路
４６  ピクセル局所特徴量出力回路
４８  特徴量マージ回路
５０  ゲイン出力回路
【図１】
2020003998.tif 000009
【図２】
2020003998.tif 000010
【図３】
2020003998.tif 000011
【図４】
2020003998.tif 000012
【図５】
2020003998.tif 000013
【図６】
2020003998.tif 000014
【図７】
2020003998.tif 000015
【図８】
2020003998.tif 000016
【図９】
2020003998.tif 000017