(57)【特許請求の範囲】
【請求項１】
映像入力信号が入力され、接続される表示パネルに供給する映像出力信号を算出する輝度変調部と、
前記表示パネルに設けられたバックライト制御部に供給するバックライト制御信号を算出するバックライト制御ゲイン調整部と、
前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出部と、
前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出部とを備え、
前記輝度変調部は、前記ピーク値と前記頻度分布とに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換し、
前記バックライト制御ゲイン調整部は、前記ピーク値に基づいて前記バックライト制御信号を算出し、
ピークＡＣＬ制御ゲイン算出部と、絵柄適応ガンマ特性算出部と、トータル制御ゲイン算出部とを備え、
前記ピークＡＣＬ制御ゲイン算出部は、前記ピーク値と前記映像出力信号の取り得る最大値との比に基づいて、前記映像入力信号の各画素の輝度を増幅する、ピークＡＣＬ制御ゲインを算出し、
前記絵柄適応ガンマ特性算出部は、前記頻度分布に基づいて、前記映像入力信号の各画素の輝度を変調する、輝度変調用ゲインを算出し、
前記トータル制御ゲイン算出部は、前記ピークＡＣＬ制御ゲインと前記輝度変調用ゲインの積を、トータル制御ゲインとして算出し、
前記輝度変調部は、前記トータル制御ゲインに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換し、
前記絵柄適応ガンマ特性算出部は、第１関数、第２関数、及び第３関数のうちの少なくとも１個の関数に基づいて、前記輝度変調用ゲインを算出し、
前記第１関数は、前記映像入力信号の画素毎の輝度をより高める、変曲点を持たない関数であり、
前記第２関数は、前記映像入力信号のうち、前記頻度分布の重心より高輝度の画素についてはより輝度を高め、前記重心より低輝度の画素についてはより輝度を低める、１個の変曲点を持つ関数であり、
前記第３関数は、前記頻度分布の輝度値に対する頻度の累積度数の関係を直線に近付ける関数である、
画像処理装置。
【請求項２】
請求項１において、頻度分布率算出部をさらに備え、
前記頻度分布率算出部は、
前記頻度分布に遍在が認められないときには、前記第１関数を求めて、前記絵柄適応ガンマ特性算出部に供給し、
前記頻度分布が１ヵ所に遍在するときには、前記第２関数を求めて、前記絵柄適応ガンマ特性算出部に供給し、
前記頻度分布が複数の領域に遍在するときには、前記頻度分布における頻度の累積度数に基づいてガンマ値が規定される、前記第３関数を求めて、前記絵柄適応ガンマ特性算出部に供給する、
画像処理装置。
【請求項３】
請求項２において、
前記頻度分布率算出部は、前記第１関数と前記第２関数と前記第３関数とを並行して求め、前記第１関数と前記第２関数と前記第３関数を重み付け加算してさらに第４関数を求め、前記第１乃至第３関数に代えて前記第４関数を前記絵柄適応ガンマ特性算出部に供給する、
画像処理装置。
【請求項４】
請求項３において、
前記頻度分布率算出部は、前記第１関数と前記第２関数と前記第３関数の前記重み付けを、前記頻度分布に基づいて調整する、
画像処理装置。
【請求項５】
請求項２において、前記頻度分布率算出部は、前記頻度分布に対して、前記映像入力信号の輝度値に対応する重み付けが規定された、前処理関数を乗じることによって得られる、重み付け処理された頻度分布に基づいて、前記頻度分布に基づいて前記映像入力信号の特徴を評価する、
画像処理装置。
【請求項６】
請求項１において、
前記頻度分布に基づいて行われる、前記輝度変調部での、前記映像入力信号の輝度値に対する前記映像出力信号の輝度値の向上分を評価し、
前記ピーク値に基づいて、前記バックライト制御ゲイン調整部で生成される、前記バックライト制御信号を前記向上分に基づいて再調整する、
画像処理装置。
【請求項７】
請求項１において、
前記頻度分布に基づいて行われる、前記輝度変調部での、前記映像入力信号の輝度値に対する前記映像出力信号の輝度値の向上分を評価し、
前記バックライト制御信号を前記向上分に基づいて再調整し、
前記再調整に代えて、または、前記再調整と合せて、前記輝度変調部は、前記ピーク値と前記頻度分布とさらに前記向上分に基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する、
画像処理装置。
【請求項８】
請求項１において、
前記バックライト制御部は、前記所定領域に対応する領域ごとにバックライト輝度を調整可能であり、
前記バックライト制御ゲイン調整部は、前記所定領域に対応する領域のバックライト輝度を調整可能な、バックライト制御信号を算出する、
画像処理装置。
【請求項９】
請求項１において、ソフトウェアを実行可能なプロセッサを備え、
前記プロセッサは、所定のソフトウェアを実行することによって、前記輝度変調部と前記バックライト制御ゲイン調整部の前記動作を行う、
画像処理装置。
【請求項１０】
映像入力信号が入力され、接続される表示パネルに供給する映像出力信号を算出する輝度変調部と、
前記表示パネルに設けられたバックライト制御部に供給するバックライト制御信号を算出するバックライト制御ゲイン調整部と、
前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出部と、
前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出部とを備え、
前記輝度変調部は、前記ピーク値と前記頻度分布とに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換し、
前記バックライト制御ゲイン調整部は、前記ピーク値に基づいて前記バックライト制御信号を算出し、
前記映像入力信号の前記所定領域内での最小輝度値であるボトム値を求めるボトム値検出部をさらに備え、
前記輝度変調部は、前記ピーク値と前記頻度分布とさらに前記ボトム値に基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する、
画像処理装置。
【請求項１１】
映像入力信号が入力され、接続される表示パネルに供給する映像出力信号を算出する輝度変調ステップと、
前記表示パネルに設けられたバックライト制御部に供給するバックライト制御信号を算出するバックライト制御ゲイン調整ステップと、
前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出ステップと、
前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出ステップとを含み、
前記輝度変調ステップは、前記ピーク値と前記頻度分布とに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換し、
前記バックライト制御ゲイン調整ステップは、前記ピーク値に基づいて前記バックライト制御信号を算出し、
ピークＡＣＬ制御ゲイン算出ステップと、絵柄適応ガンマ特性算出ステップとを備え、
前記ピークＡＣＬ制御ゲイン算出ステップは、前記ピーク値と前記映像出力信号の取り得る最大値との比に基づいて、前記映像入力信号の各画素の輝度を増幅する、ピークＡＣＬ制御ゲインを算出し、
前記絵柄適応ガンマ特性算出ステップは、前記頻度分布に基づいて算出される、第１関数、第２関数、及び第３関数のうちの少なくとも１個の関数に基づいて、前記映像入力信号の各画素の輝度を変調する、輝度変調用ゲインを算出し、
前記第１関数は、前記映像入力信号の画素毎の輝度をより高める、変曲点を持たない関数であり、
前記第２関数は、前記映像入力信号のうち、前記頻度分布の重心より高輝度の画素についてはより輝度を高め、前記重心より低輝度の画素についてはより輝度を低める、１個の変曲点を持つ関数であり、
前記第３関数は、前記頻度分布の輝度値に対する頻度の累積度数の関係を直線に近付ける関数であり、
前記ピークＡＣＬ制御ゲインと前記輝度変調用ゲインの積を、トータル制御ゲインとして算出する、トータル制御ゲイン算出ステップと、
前記輝度変調ステップは、前記トータル制御ゲインに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する、
画像処理方法。
【請求項１２】
請求項１１において、
前記頻度分布に基づいて行われる、前記輝度変調ステップでの、前記映像入力信号の輝度値に対する前記映像出力信号の輝度値の向上分を評価し、前記ピーク値に基づいて、前記バックライト制御ゲイン調整ステップで生成される、前記バックライト制御信号を前記向上分に基づいて再調整する、バックライト制御ゲイン減算量算出ステップをさらに含む、
画像処理方法。
【請求項１３】
請求項１１において、
前記バックライト制御部は、前記所定領域に対応する領域ごとにバックライト輝度を調整可能であり、
前記バックライト制御ゲイン調整ステップは、前記所定領域に対応する領域のバックライト輝度を調整可能な、バックライト制御信号を算出する、
画像処理方法。
【請求項１４】
映像入力信号が入力され、接続される表示パネルに供給する映像出力信号を算出する輝度変調ステップと、
前記表示パネルに設けられたバックライト制御部に供給するバックライト制御信号を算出するバックライト制御ゲイン調整ステップと、
前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出ステップと、
前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出ステップとを含み、
前記輝度変調ステップは、前記ピーク値と前記頻度分布とに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換し、
前記バックライト制御ゲイン調整ステップは、前記ピーク値に基づいて前記バックライト制御信号を算出し、
前記映像入力信号の前記所定領域内での最小輝度値であるボトム値を求めるボトム値検出ステップをさらに含み、
前記輝度変調ステップは、前記ピーク値と前記頻度分布とさらに前記ボトム値に基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する、
画像処理方法。
【請求項１５】
映像入力信号が入力され、接続される表示パネルに供給する映像出力信号を算出する輝度変調部と、
前記表示パネルに設けられたバックライト制御部に供給するバックライト制御信号を算出するバックライト制御ゲイン調整部と、
前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出部と、
前記ピーク値と映像出力信号の取り得る最大値との比に基づいて、前記映像入力信号の各画素の輝度を増幅する、ピークＡＣＬ制御ゲインを算出する、ピークＡＣＬ制御ゲイン算出部と、
前記映像入力信号の各画素の輝度を変調する、輝度変調用ゲインを算出する、ガンマ特性算出部と、
前記ピークＡＣＬ制御ゲインと前記輝度変調用ゲインの積を、トータル制御ゲインとして算出する、トータル制御ゲイン算出部とを備え、
前記輝度変調部は、前記トータル制御ゲインに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する、
前記バックライト制御ゲイン調整部は、前記ピーク値に基づいて前記バックライト制御信号を算出し、
前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出部をさらに備え、
前記ガンマ特性算出部は、前記頻度分布に基づいて、前記輝度変調用ゲインを算出し、
前記ガンマ特性算出部は、第１関数、第２関数、及び第３関数のうちの少なくとも１個の関数に基づいて、前記輝度変調用ゲインを算出し、
前記第１関数は、前記映像入力信号の画素毎の輝度をより高める、変曲点を有さない関数であり、
前記第２関数は、前記映像入力信号のうち、前記頻度分布の重心より高輝度の画素についてはより輝度を高め、前記重心より低輝度の画素についてはより輝度を低める、１個の変曲点を有する関数であり、
前記第３関数は、前記頻度分布の輝度値に対する頻度の累積度数の関係を直線に近付ける関数である、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特にバックライト制御を行う液晶表示装置に好適に利用できるものである。
【背景技術】
【０００２】
バックライト付きの液晶表示装置（ＬＣＤ：Liquid Crystal Display）における消費電力低減技術として、ピークＡＣＬ（Automatic Contrast Limit）制御が知られている。ピークＡＣＬ制御では、輝度のピーク値、即ち映像信号において最も高い輝度を検出し、バックライトの輝度を当該ピーク値の表示のために必要最小限の値まで低下させる一方、このピーク値を持つ画素の映像信号出力が１００％となるような輝度変調を映像信号全体に対して行なう。例えば、１フレーム内で最も明るい画素の輝度即ちピーク値が、表示装置の最大輝度の５０％であれば、バックライト輝度を５０％に低下させる一方、そのフレームの映像信号を２倍にする輝度変調を行う。バックライト輝度１００％×映像信号５０％で表示される輝度と、バックライト輝度５０％×映像信号１００％で表示される輝度は同じであるため、表示される映像の輝度を低下させることなく、バックライトの消費電力を低減することができる。
【０００３】
一方、人間の視感度上の明るさを向上する目的で、映像信号を補正する技術が知られている。通常の映像信号に対しては、一般に、表示パネルの持つガンマ特性を補正する、補正（ガンマ補正）が施される。通常のガンマ補正では、表示パネルの持つガンマ特性を相殺することにより、映像データと表示輝度が比例関係となるように補正される。これに対して、映像データに対する表示輝度の関係を上記比例関係よりも全体的に高輝度側にシフトさせる方向にガンマ補正の補正量を調整することにより、人間の視感度上の明るさを向上することができる。また、映像データに対する表示輝度の関係が上記比例関係よりも低輝度側で小さく高輝度側で大きくなるように補正することより、コントラストを高めて人間の視感度上の明るさを向上することができる。
【０００４】
特許文献１には、省電力化用ＬＣＤ向けバックライト制御システムにおいて、低輝度階調の視認性を向上させることを目的とした表示装置が開示されている。映像信号の平均輝度（ＡＰＬ：Average Picture Level）に基づきバックライト輝度を調整するＡＰＬカーブ設定部、輝度ヒストグラムに基づきバックライト輝度と階調信号を変調する輝度ヒストグラム変調部、その変調された階調信号（Ｋ２）を予め設定されたガンマ値に基づいてガンマ補正する黒補正部を備える（同文献の図２参照）。黒補正部においては、ヒストグラム輝度変調部で調整されたバックライト輝度（Ｄ２）と照度信号（Ｆ）の組合せと複数のガンマ値との対応関係を記憶しているガンマ情報記憶部に基づきガンマ値を選択する。バックライト制御値及び環境照度に応じて、最適なガンマ値を求めている為、低輝度階調の視認性を向上させることが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５３２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１について本発明者が検討した結果、以下のような新たな課題があることがわかった。
【０００７】
特許文献１に記載される表示装置は、バックライト制御動作時の低輝度階調の視認性低下に対する改善を目的としてガンマ特性を変更し、視認性が低下しないような制御を行っている。具体的には、バックライト輝度の下げ具合に応じて、ガンマ値を下げて低輝度階調の明るさを上げる処理を施し、低輝度階調の視認性低下に対する改善を行っている。そのため、あくまでもバックライト制御動作による視認性の低下を補うことのみに効果が限定され、視聴者が感じる視感的な明るさを向上することはできない。
【０００８】
このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
一実施の形態によれば、下記の通りである。
【００１０】
映像入力信号が入力され、接続されるバックライト制御部付きの表示パネルに対して、映像出力信号とバックライト制御信号とを供給する画像処理装置であって、輝度変調部とバックライト制御ゲイン調整部とピーク値検出部とヒストグラム検出部とを備える。ピーク値検出部は、入力された映像入力信号の、所定領域内での最大輝度値であるピーク値を求める。ヒストグラム検出部は、前記所定領域内での映像入力信号の輝度値についての頻度分布を求める。輝度変調部は、ピーク値検出部で求められたピーク値とヒストグラム検出部で求められた頻度分布とに基づいて、画素毎に、映像入力信号の輝度値を映像出力信号の輝度値に変換して出力する。バックライト制御ゲイン調整部は、前記ピーク値に基づいてバックライト制御信号を生成する。なお、前記所定領域は、表示パネルにおいてバックライト制御が分割された領域毎に実行されるときのバックライト制御の対象領域である。
【発明の効果】
【００１１】
前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。
【００１２】
すなわち、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施形態１に係る画像処理装置の構成例を示すブロック図である。
【図２】図２は、比較例１の画像処理装置の構成を示すブロック図である。
【図３】図３は、比較例２の画像処理装置の構成を示すブロック図である。
【図４】図４は、小ガンマ値と大ガンマ値のガンマ特性についての説明図である。
【図５】図５は、Ｓカーブを持つガンマ特性についての説明図である。
【図６】図６は、低／中間映像レベルの輝度分布率算出のための前処理についての説明図である。
【図７】図７は、中間映像レベルの輝度分布率算出のための前処理についての説明図である。
【図８】図８は、絵柄適応Ｓカーブを持つガンマ特性についての説明図である。
【図９】図９は、輝度変調処理前の映像レベルのヒストグラムである。
【図１０】図１０は、固定ガンマによる輝度変調処理後の映像レベルのヒストグラムである。
【図１１】図１１は、絵柄適応ガンマによる輝度変調処理後の映像レベルのヒストグラムである。
【図１２】図１２は、ヒストグラムにおける重心点の検出方法を示す説明図である。
【図１３】図１３は、画像処理装置のＳＯＣでの構成例を示すブロック図である。
【図１４】図１４は、画像処理装置の動作例を示す処理フロー図である。
【図１５】図１５は、実施形態２に係る画像処理装置の構成例を示すブロック図である。
【図１６】図１６は、画像処理装置の入出力特性の例を示すグラフである。
【図１７】図１７は、映像出力信号における誤差特性を示すグラフである。
【図１８】図１８は、実施形態３に係る画像処理装置の構成例を示すブロック図である。
【図１９】図１９は、黒レベル補正についての説明図である。
【図２０】図２０は、実施形態４に係る画像処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１５】
〔１〕＜絵柄適応ガンマ補正＞
本願において開示される代表的な実施の形態に係る画像処理装置（１００）は、映像入力信号が入力され、接続される表示パネル（９０）に供給する映像出力信号を算出する輝度変調部（１）と、前記表示パネルに設けられたバックライト制御部（９１）に供給するバックライト制御信号を算出するバックライト制御ゲイン調整部（１０）とを備える。前記画像処理装置はさらに、前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出部（３）と、前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出部（２）とを備える。
【００１６】
前記輝度変調部は、前記ピーク値と前記頻度分布とに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。前記バックライト制御ゲイン調整部は、前記ピーク値に基づいて前記バックライト制御信号を算出する。
【００１７】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上することができる。なお、前記所定領域は、表示パネルにおいてバックライト制御が分割された領域毎に実行されるときの、バックライト制御の対象領域と一致させるとよい。
【００１８】
〔２〕＜トータル制御ゲイン算出部＞
項１において、前記画像処理装置は、ピークＡＣＬ制御ゲイン算出部（４）と、絵柄適応ガンマ特性算出部（８、９）と、トータル制御ゲイン算出部（５）とを備える。
【００１９】
前記ピークＡＣＬ制御ゲイン算出部は、前記ピーク値と映像出力信号の取り得る最大値との比に基づいて、前記映像入力信号の各画素の輝度を増幅する、ピークＡＣＬ制御ゲインを算出する。前記絵柄適応ガンマ特性算出部は、前記頻度分布に基づいて、前記映像入力信号の各画素の輝度を変調する、輝度変調用ゲインを算出する。前記トータル制御ゲイン算出部は、前記ピークＡＣＬ制御ゲインと前記輝度変調用ゲインの積を、トータル制御ゲインとして算出する。前記輝度変調部は、前記トータル制御ゲインに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。
【００２０】
これにより、映像入力信号に対して、輝度変調用ゲインを使った変換と、輝度変調用ゲインを使った変換とを順次行うよりも、量子化誤差の発生を少なく抑えることができる。
【００２１】
〔３〕＜絵柄適応ガンマ補正＝小ガンマ／Ｓカーブ／ヒストグラム平坦化＞
項２において、前記絵柄適応ガンマ特性算出部は、第１関数（８１）、第２関数（８２）、及び第３関数（８３）のうちの少なくとも１個の関数と前記ピーク値とに基づいて、前記輝度変調用ゲインを算出する。
【００２２】
前記第１関数（小ガンマ）は、前記映像入力信号の画素毎の輝度をより高める、変曲点を持たない関数である。
【００２３】
前記第２関数（Ｓカーブ補正）は、前記映像入力信号のうち、前記頻度分布の重心より高輝度の画素についてはより輝度を高め、前記重心より低輝度の画素についてはより輝度を低める、１個の変曲点を持つ関数である。
【００２４】
前記第３関数（ヒストグラム平坦化）は、前記頻度分布の輝度値に対する頻度の累積度数の関係を直線に近付ける関数である。
【００２５】
これにより、映像入力信号の絵柄に応じて適応的に視感度を向上するための具体的な輝度変調関数が提供される。第１関数（小ガンマ）、第２関数（Ｓカーブ補正）及び第３関数（ヒストグラム平坦化）のうちの１個または複数個を組合せ、或いはさらに他の関数を組合せることにより、映像入力信号の絵柄により適する輝度変調関数を適用することができる。
【００２６】
〔４〕＜絵柄適応ガンマ補正＝第１〜第３関数を選択的に適用＞
項３において、前記画像処理装置は、頻度分布率算出部（７）をさらに備える。
【００２７】
前記頻度分布率算出部は、前記頻度分布に遍在が認められないときには、前記第１関数を求めて、前記絵柄適応ガンマ特性算出部に供給する。
【００２８】
前記頻度分布率算出部は、前記頻度分布が１ヵ所に遍在するときには、前記第２関数を求めて、前記絵柄適応ガンマ特性算出部に供給する。
【００２９】
前記頻度分布率算出部は、前記頻度分布が複数の領域に遍在するときには、前記頻度分布における頻度の累積度数に基づいてガンマ値が規定される、前記第３関数を求めて、前記絵柄適応ガンマ特性算出部に供給する。
【００３０】
これにより、第１関数（小ガンマ）、第２関数（Ｓカーブ補正）及び第３関数（ヒストグラム平坦化）のうちの１個を選択的に適用することにより、映像入力信号の絵柄に応じて適応的に視感度を向上することができる。
【００３１】
〔５〕＜絵柄適応ガンマ補正＝第１〜第３関数をＭＩＸして適用＞
項３において、前記頻度分布率算出部は、前記第１関数と前記第２関数と前記第３関数とを並行して求め（８０）、前記第１関数と前記第２関数と前記第３関数を重み付け加算してさらに第４関数を求め（８４）、前記第１乃至第３関数に代えて前記第４関数を前記絵柄適応ガンマ特性算出部に供給する。
【００３２】
これにより、第１〜第３関数を合成した関数を適用することにより、映像入力信号の絵柄に応じて適応的に視感度を向上することができる。
【００３３】
〔６〕＜絵柄適応ガンマ補正＝第１〜第３関数のＭＩＸ比を調整＞
項５において、前記頻度分布率算出部は、前記第１関数と前記第２関数と前記第３関数の前記重み付けを、前記頻度分布に基づいて調整する。
【００３４】
これにより、第１〜第３関数を合成した関数を適用するときに、映像入力信号の絵柄により適する輝度変調関数を適用することができる。
【００３５】
〔７〕＜絵柄適応ガンマ補正＝頻度分布を評価するための前処理＞
項４または項６において、前記頻度分布率算出部は、前記頻度分布に対して、前記映像入力信号の輝度値に対応する重み付けが規定された、前処理関数を乗じることによって得られる、重み付け処理された頻度分布に基づいて、前記頻度分布に基づいて前記映像入力信号の特徴を評価する。
【００３６】
これにより、映像入力信号の絵柄の特徴を、より的確に判定することができる。
【００３７】
〔８〕＜黒レベル補正＞
項１において、前記画像処理装置は、前記映像入力信号の所定領域内での最小輝度値であるボトム値を求めるボトム値検出部（１２）をさらに備える。前記輝度変調部は、前記ピーク値と前記頻度分布とさらに前記ボトム値に基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。
【００３８】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上するに当たり、視感度上の明るさを向上させるのと並行して、低輝度領域ではより輝度を低下させることができ、コントラストを高めることができる。
【００３９】
〔９〕＜バックライト制御ゲイン減算量算出部＞
項１において、前記画像処理装置は、前記頻度分布に基づいて行われる、前記輝度変調部での、前記映像入力信号の輝度値に対する前記映像出力信号の輝度値の向上分を評価し（１５）、前記ピーク値に基づいて前記バックライト制御ゲイン調整部で生成される前記バックライト制御信号を、前記向上分に基づいて再調整する（１６、１７）。
【００４０】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上し、その向上分の全てまたは一部をさらにバックライト消費電力を抑制するために利用することができる。頻度分布に基づいて視感度上の輝度を向上する代わりに、バックライトをより低輝度にして消費電力の低減効果を高めることができる。
【００４１】
〔１０〕＜バックライト制御ゲイン減算and/or絵柄適応ガンマ補正再調整＞
項１において、前記画像処理装置は、前記頻度分布に基づいて行われる、前記輝度変調部での、前記映像入力信号の輝度値に対する前記映像出力信号の輝度値の向上分を評価する（１５）。前記バックライト制御信号を前記向上分に基づいて再調整する（１６、１７）。前記再調整に代えてまたは前記再調整と合せて、前記輝度変調部は、前記ピーク値と前記頻度分布とさらに前記向上分に基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。
【００４２】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上し、その向上分の全てまたは一部を、バックライト消費電力を抑制するために利用し、これに代えてまたはこれと合せて、絵柄適応ガンマ補正の関数の再調整に利用することができる。
【００４３】
〔１１〕＜ローカルディミング＞
項１から項１０のうちのいずれか１項において、前記バックライト制御部（９１）は、前記所定領域に対応する領域ごとにバックライト輝度を調整可能であり、前記バックライト制御ゲイン調整部は、前記所定領域に対応する領域のバックライト輝度を調整可能な、バックライト制御信号を算出する。
【００４４】
これにより、よりきめ細かいバックライト制御による省電力の低減を提供することができ、消費電力をより効率的に低減することができる。
【００４５】
〔１２〕＜ＳＯＣ上のミドルウェア＞
項１から項１１のうちのいずれか１項において、前記画像処理装置は、ソフトウェアを実行可能なプロセッサ（３０）を備え、前記プロセッサは、所定のソフトウェアを実行することによって、前記輝度変調部と前記バックライト制御ゲイン調整部の前記動作を行う。
【００４６】
これにより、映像入力信号の絵柄に応じて適応的に視感度を向上する画像処理と、これに伴うバックライト制御による消費電力低減を、ミドルウェアで実行するＳＯＣ（System On a Chip）のＬＳＩ（Large Scale Integrated circuit）が提供される。
【００４７】
〔１３〕＜絵柄適応ガンマ補正を含む画像処理方法＞
本願において開示される代表的な実施の形態に係る画像処理方法は、映像入力信号が入力され、接続される表示パネル（９０）に供給する映像出力信号を算出する輝度変調ステップ（１）と、前記表示パネルに設けられたバックライト制御部（９１）に供給するバックライト制御信号を算出するバックライト制御ゲイン調整ステップ（１０）とを含む。前記画像処理方法はさらに、前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出ステップ（３）と、前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出ステップ（２）とを含む。
【００４８】
前記輝度変調ステップは、前記ピーク値と前記頻度分布とに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。前記バックライト制御ゲイン調整ステップは、前記ピーク値に基づいて前記バックライト制御信号を算出する。
【００４９】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上することができる、画像処理方法が提供される。なお、前記所定領域は、表示パネルにおいてバックライト制御が分割された領域毎に実行されるときの、バックライト制御の対象領域と一致させるとよい。
【００５０】
〔１４〕＜絵柄適応ガンマ補正＝小ガンマ／Ｓカーブ／ヒストグラム平坦化＞
項１３において、前記画像処理方法は、ピークＡＣＬ制御ゲイン算出ステップ（４）と、絵柄適応ガンマ特性算出ステップ（８、９）とを備える。
【００５１】
前記ピークＡＣＬ制御ゲイン算出ステップは、前記ピーク値と映像出力信号の取り得る最大値との比に基づいて、前記映像入力信号の各画素の輝度を増幅する、ピークＡＣＬ制御ゲインを算出する。
【００５２】
前記絵柄適応ガンマ特性算出ステップは、前記頻度分布に基づいて算出される、第１関数（８１）、第２関数（８２）、及び第３関数（８３）のうちの少なくとも１個の関数に基づいて、前記映像入力信号の各画素の輝度を変調する、輝度変調用ゲインを算出する。
【００５３】
前記第１関数（小ガンマ）は、前記映像入力信号の画素毎の輝度をより高める、変曲点を持たない関数である。
【００５４】
前記第２関数（Ｓカーブ補正）は、前記映像入力信号のうち、前記頻度分布の重心より高輝度の画素についてはより輝度を高め、前記重心より低輝度の画素についてはより輝度を低める、１個の変曲点を持つ関数である。
【００５５】
前記第３関数（ヒストグラム平坦化）は、前記頻度分布の輝度値に対する頻度の累積度数の関係を直線に近付ける関数である。
【００５６】
前記輝度変調ステップは、前記ピークＡＣＬ制御ゲインと前記輝度変調用ゲインとに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。
【００５７】
これにより、映像入力信号の絵柄に応じて適応的に視感度を向上するための具体的な輝度変調関数が提供される。第１関数（小ガンマ）、第２関数（Ｓカーブ補正）及び第３関数（ヒストグラム平坦化）のうちの１個または複数個を組合せ、或いはさらに他の関数を組合せることにより、映像入力信号の絵柄により適する輝度変調関数を適用することができる。
【００５８】
〔１５〕＜黒レベル補正＞
項１３において、前記画像処理方法は、前記映像入力信号の所定領域内での最小輝度値であるボトム値を求めるボトム値検出ステップ（１２）をさらに含む。前記輝度変調ステップは、前記ピーク値と前記頻度分布とさらに前記ボトム値に基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。
【００５９】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上するに当たり、視感度上の明るさを向上させるのと並行して、低輝度領域ではより輝度を低下させることができ、コントラストを高めることができる。
【００６０】
〔１６〕＜バックライト制御ゲイン減算量算出ステップ＞
項１３において、前記画像処理方法は、前記頻度分布に基づいて行われる、前記輝度変調ステップでの、前記映像入力信号の輝度値に対する前記映像出力信号の輝度値の向上分を評価する（１５）。前記画像処理方法は、前記ピーク値に基づいて、前記バックライト制御ゲイン調整ステップで生成される、前記バックライト制御信号を前記向上分に基づいて再調整する、バックライト制御ゲイン減算量算出ステップ（１６、１７）をさらに含む。
【００６１】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上し、その向上分の一部をさらにバックライト消費電力を抑制するために利用することができる。頻度分布に基づいて視感度上の輝度を向上する代わりに、バックライトをより低輝度にして消費電力の低減効果を高めることができる。
【００６２】
〔１７〕＜ローカルディミング＞
項１３から項１６のうちのいずれか１項において、前記バックライト制御部（９１）は、前記所定領域に対応する領域ごとにバックライト輝度を調整可能であり、前記バックライト制御ゲイン調整ステップは、前記所定領域に対応する領域のバックライト輝度を調整可能な、バックライト制御信号を算出する。
【００６３】
これにより、よりきめ細かいバックライト制御による省電力の低減を提供することができ、消費電力をより効率的に低減することができる。
【００６４】
〔１８〕＜トータル制御ゲイン＝ピークＡＣＬ制御ゲイン×輝度変調用ゲイン＞
本願において開示される代表的な実施の形態に係る画像処理装置（１００）は、映像入力信号が入力され、接続される表示パネル（９０）に供給する映像出力信号を算出する輝度変調部（１）と、前記表示パネルに設けられたバックライト制御部（９１）に供給するバックライト制御信号を算出するバックライト制御ゲイン調整部（１０）とを備える。前記画像処理装置はまた、前記映像入力信号の所定領域内での最大輝度値であるピーク値を求めるピーク値検出部（３）と、前記ピーク値と映像出力信号の取り得る最大値との比に基づいて、前記映像入力信号の各画素の輝度を増幅する、ピークＡＣＬ制御ゲインを算出する、ピークＡＣＬ制御ゲイン算出部（４）とを備える。前記画像処理装置はさらに、前記映像入力信号の各画素の輝度を変調する、輝度変調用ゲインを算出する、ガンマ特性算出部（８、９）と、前記ピークＡＣＬ制御ゲインと前記輝度変調用ゲインの積を、トータル制御ゲインとして算出する、トータル制御ゲイン算出部（５）とを備える。前記輝度変調部は、前記トータル制御ゲインに基づいて、画素毎に、前記映像入力信号の輝度値を前記映像出力信号の輝度値に変換する。前記バックライト制御ゲイン調整部は、前記ピーク値に基づいて前記バックライト制御信号を算出する。
【００６５】
これにより、映像入力信号に対して、輝度変調用ゲインを使った変換と、輝度変調用ゲインを使った変換とを順次行うよりも、量子化誤差の発生を少なく抑えることができる。なお、前記所定領域は、表示パネルにおいてバックライト制御が分割された領域毎に実行されるときの、バックライト制御の対象領域と一致させるとよい。
【００６６】
〔１９〕＜絵柄適応ガンマ補正＞
項１８において、前記画像処理装置は、前記所定領域内での前記映像入力信号の輝度値についての頻度分布を求めるヒストグラム検出部（６）をさらに備える。前記ガンマ特性算出部は、前記頻度分布に基づいて、前記輝度変調用ゲインを算出する。
【００６７】
これにより、ピークＡＣＬ制御によるバックライトの消費電力を低減する制御を行いながら、合せて、映像入力信号の絵柄に応じて適応的に視感度を向上することができる。
【００６８】
〔２０〕＜絵柄適応ガンマ補正＝小ガンマ／Ｓカーブ／ヒストグラム平坦化＞
項１９において、前記ガンマ特性算出部は、第１関数（８１）、第２関数（８２）、及び第３関数（８３）のうちの少なくとも１個の関数に基づいて、前記輝度変調用ゲインを算出する。
【００６９】
前記第１関数（小ガンマ）は、前記映像入力信号の画素毎の輝度をより高める、変曲点を有さない関数である。
【００７０】
前記第２関数（Ｓカーブ補正）は、前記映像入力信号のうち、前記頻度分布の重心より高輝度の画素についてはより輝度を高め、前記重心より低輝度の画素についてはより輝度を低める、１個の変曲点を有する関数である。
【００７１】
前記第３関数（ヒストグラム平坦化）は、前記頻度分布の輝度値に対する頻度の累積度数の関係を直線に近付ける関数である。
【００７２】
これにより、映像入力信号の絵柄に応じて適応的に視感度を向上するための具体的な輝度変調関数が提供される。第１関数（小ガンマ）、第２関数（Ｓカーブ補正）及び第３関数（ヒストグラム平坦化）のうちの１個または複数個を組合せ、或いはさらに他の関数を組合せることにより、映像入力信号の絵柄により適する輝度変調関数を適用することができる。
【００７３】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００７４】
〔実施形態１〕＜絵柄適応ガンマ補正＞
図１は、実施形態１に係る画像処理装置の構成例を示すブロック図であり、図２と図３は、それぞれ比較例１と比較例２の画像処理装置の構成を示すブロック図である。
【００７５】
＜比較例＞
図２に示される比較例１の画像処理装置について説明する。比較例１の画像処理装置には、映像信号が入力され、接続される表示パネル９０に供給する映像出力信号と、表示パネル９０に付属するバックライト制御部９１に供給するバックライト制御信号とを、それぞれ算出して出力する。比較例１の画像処理装置は、ピーク値検出部３、ピークＡＣＬ制御ゲイン算出部４、輝度変調部１、バックライト制御ゲイン算出部１０及びゲイン変換部１１を備える。
【００７６】
ピーク値検出部３は、入力された映像信号において最も高い（明るい）値であるピーク値を求める。ピークＡＣＬ制御ゲイン算出部４は、検出されたピーク値に応じたゲイン処理であるピークＡＣＬ制御ゲインを算出して輝度変調部１に供給する。輝度変調部１は、供給されたピークＡＣＬ制御ゲインに基づいて、入力された映像信号に対してゲイン処理を施し、映像出力信号として表示パネル９０に出力する。バックライト制御ゲイン算出部１０は、ゲイン変換部１１に対して、ピーク値検出部３で検出されたピーク値に応じたゲイン処理を実行させる。ゲイン変換部１１は、バックライト制御部９１にバックライト制御信号を出力する。
【００７７】
例えば、入力された映像信号が、フルスケールを０％〜１００％とするときの２０％〜５０％の輝度の画素で構成されているとすると、検出されるピーク値は５０％である。このとき、ピークＡＣＬ制御ゲインは２倍とされ、バックライト制御ゲインは０．５倍とされる。ピークＡＣＬ制御ゲインが２倍とされるので、輝度変調部１によって、映像出力信号は、入力された映像信号（２０％〜５０％）の２倍の、４０％〜１００％の輝度の画素で構成されることとなる。一方、バックライト制御ゲインは０．５倍とされるので、バックライト制御部９１はゲイン変換部１１から、バックライトをフルパワーの５０％の輝度に落とすように制御される。液晶が４０％〜１００％の輝度で表示するように制御されても、実際に表示される輝度は、２０％〜５０％となる。この輝度分布は、入力された映像信号の輝度分布と同じである。したがって、バックライトの輝度を５０％に低下させて消費電力を低減しながら、入力された映像信号は正しく表示することができる。
【００７８】
次に、図３に示される比較例２の画像処理装置について説明する。比較例１と同様に、比較例２の画像処理装置は、映像信号が入力され、接続される表示パネル９０に供給する映像出力信号と、表示パネル９０に付属するバックライト制御部９１に供給するバックライト制御信号とを、それぞれ算出して出力する。比較例２の画像処理装置は、ピーク値検出部３、ピークＡＣＬ制御ゲイン算出部４、輝度変調部１、バックライト制御ゲイン算出部１０及びゲイン変換部１１を備え、さらに固定ガンマ補正部１８を備える。固定ガンマ補正部１８を備える点以外の構成は、比較例１の画像処理装置と同様であるので、説明を省略する。固定ガンマ補正部１８は、輝度変調部１においてピークＡＣＬ制御ゲイン処理を施された映像信号に対して、ガンマ補正を施して、映像出力信号として表示パネル９０に出力する。固定ガンマ補正部１８が実行するガンマ補正は、例えば、小ガンマ値特性、Ｓカーブ特性である。
【００７９】
ガンマ補正について説明する。
【００８０】
表示パネル９０は、入力された映像信号に対して完全に比例した輝度の表示を行なえるものではなく、ガンマ特性と呼ばれる非線形性を持つ。入力された映像信号ｘに対する表示輝度ｙの関係は、一般にｙ＝ｘγで表され、例えば通常の液晶パネルではγ＝２．２である。ガンマ補正はこれを相殺するため、映像信号ｘにこの逆関数を予め乗じておく処理である。入力された映像信号をｖとしガンマ補正後の映像出力信号ｘ＝ｖ1/γとすると、表示される輝度ｙはｙ＝ｘγ＝ｖ(γ×1/γ)＝ｖとなり、リニアの関係に補正される。
【００８１】
図４は、小ガンマ値と大ガンマ値のガンマ特性についての説明図である。横軸に入力される映像信号が、縦軸に表示される輝度が、それぞれ相対値で示される。相対値とは、最小の輝度（黒色）を０とし、最大の輝度（白色）を１として相対的に表した値である。上述のようにリニアに補正されているときには、破線で示されるリニア特性を示す。これに対して、１／γ＞１／２．２とすることにより、表示輝度ｙは、入力映像信号ｖに対してｙ＝ｖγとするときγ＜１のようにリニアよりも小さいガンマ値に補正される。このときの特性を「小ガンマ値特性」として示す。リニア特性と比較して上に凸の曲線となる。入力された映像信号に対して、表示輝度が常に大きい値をとるので、全体的に視感度上の明るさが向上する。一方、１／γ＜１／２．２とすることにより、表示輝度ｙは、入力映像信号ｖに対してｙ＝ｖγとするときγ＞１のようにリニアよりも大きいガンマ値に補正される。このときの特性を「大ガンマ値特性」として示す。リニア特性と比較して下に凸の曲線となる。入力された映像信号に対して、表示輝度が常に小さい値をとるので、全体的に視感度上の明るさが低下する。
【００８２】
図５は、Ｓカーブ特性を持つガンマ特性についての説明図である。図４と同様に、横軸には入力される映像信号が、縦軸には表示輝度が、それぞれ相対値で示され、リニア特性が破線で示される。Ｓカーブ特性は、変曲点を持つ特性であり、図５には入力映像信号＝表示輝度＝０．５に変曲点を持つＳカーブ特性が示される。入力された映像信号が０〜０．５の比較的暗い画素についてはより暗い方向に補正され、０．５〜１の比較的明るい画素についてはより明るい方向に補正される。例えば入力された映像信号のレンジが、０．２〜０．８のとき、表示輝度のレンジはＳカーブ特性によって０．１〜０．９に拡張される。このように、コントラストを高める効果が得られ、人間が感じる視感度上の明るさも向上する。
【００８３】
比較例２の画像処理装置の固定ガンマ補正部１８に、上記小ガンマ特性やＳカーブ特性を目的としたガンマ補正特性を持たせることにより、バックライト制御を行いながら、視感度上の明るさを向上することができる。しかしながら、入力される映像信号の絵柄によっては、上記のガンマ補正によって画質を劣化させる場合があることがわかった。例えば、小ガンマ特性を目的としたガンマ補正を行っているときに、高輝度側に偏った画像（全体的に明るい画像）が入力されると、コントラストが低下する。また、Ｓカーブ特性を目的としたガンマ補正を行っているときに、低輝度側に偏った画像（全体的に暗い画像）が入力されると、さらに暗く補正されコントラストも低下する。
【００８４】
＜絵柄適応ガンマ補正＞
図１は、実施形態１に係る画像処理装置１００の構成例を示すブロック図である。
【００８５】
実施形態１に係る画像処理装置１００には、比較例１及び２と同様に、映像信号が入力され、接続される液晶などの表示パネル９０に供給する映像出力信号と、表示パネル９０に付属するバックライト制御部９１に供給するバックライト制御信号とを、それぞれ算出して出力する。また、画像処理装置１００は、比較例１及び２と同様に、ピーク値検出部３、ピークＡＣＬ制御ゲイン算出部４、輝度変調部１、バックライト制御ゲイン算出部１０及びゲイン変換部１１を備える。さらに、実施形態１に係る画像処理装置１００は、ヒストグラム検出部２、ヒストグラム変調部６、輝度分布率算出部７、絵柄適応ガンマ算出部８、輝度変調用ゲイン算出部９及びトータル制御ゲイン算出部５を備える。
【００８６】
ヒストグラム検出部２は、入力される映像信号の輝度値についての頻度分布を求める。バックライト制御の対象とされる領域と同じ表示領域を対象とするのが好適である。バックライト制御が、表示パネル９０の全面を一括して対象としている場合には、ヒストグラム検出を始めとする画像処理は、１画面（１フレーム）単位で実行される。これに対して、分割された領域毎にバックライト制御を行うローカルディミングを行う場合には、ヒストグラム検出を始めとする画像処理も、対応する画像領域で実行される。
【００８７】
ローカルディミングを行い、ヒストグラム検出を始めとする画像処理も、同じ領域で実行することにより、バックライトの消費電力をよりきめ細かく制御することができるので、消費電力の低減効果を高めることができる。このとき、画像処理においては、領域の境界において筋状の輝度の段差が生じないようにするなどの追加的な処理をする必要があるが、このためには、ローカルディミング技術に採用されている公知の技術を用いることができる。理解の容易化のため、以降、画像処理の単位を１画面（１フレーム）として説明する。
【００８８】
ピーク値検出部３は、１画面（１フレーム）（ローカルディミングの場合はバックライト制御の対象領域に対応する映像領域）の画素が持つ映像レベル（輝度）の中で最も高い輝度（最も明るい輝度）を検出する処理である。図２と図３の比較例１と２に示されるピーク値検出部３は、入力される映像信号から直接ピーク値を検出している。このようにピーク値を直接検出する方法は、ノイズが多い画像等で生じる数画素のみが特異に高いレベルとして突出して現れる場合に、検出安定度が極端に悪くなるという問題がある。一方、本実施形態１のピーク値検出部３は、ヒストグラム検出部２が抽出する輝度のヒストグラム（頻度分布）から、ピーク値を検出する。例えば、１画面（１フレーム）内の総画素数を１００％とし、輝度の低い方から順に頻度（画素数）を累積していったときに、ヒストグラムの累積値がその９８％に達したときの輝度値をピーク値として検出する。これにより、ノイズ等により数画素が突出して高い輝度を持つときにはその輝度をピーク値として検出せず、検出安定度が向上する。
【００８９】
ピークＡＣＬ制御ゲイン算出部４は、検出されたピーク値に応じたゲイン処理であるピークＡＣＬ制御ゲインを算出して輝度変調部１に供給する。一方、バックライト制御ゲイン算出部１０は、ゲイン変換部１１に対して、ピーク値検出部３で検出されたピーク値に応じたゲイン処理を実行させる。これにより、基本的な動作は、比較例１と同様のピークＡＣＬ制御となる。
【００９０】
ヒストグラム変調部６では、ヒストグラム検出部２から出力されるヒストグラム、即ち、映像信号入力から得られた映像レベル（輝度）毎のヒストグラム検出値（頻度）に対して、ピークＡＣＬ制御ゲイン算出部４から得られたゲインで変調処理を行う。実際には映像レベルに対してのゲイン変調を行うことになる。ヒストグラムに対するピークＡＣＬ制御ゲインでの変調処理とは、各映像レベルにおけるヒストグラム検出値を、そのピークＡＣＬ制御ゲイン倍の映像レベルにおけるヒストグラム検出値と読み替える処理である。例えば映像信号が８ｂｉｔの場合、映像レベルは２５６階調となる為、このレベルに対しゲイン処理を行う。ピーク検出値が５０％の場合には、５０％の輝度を表す映像レベル１２８以上にはヒストグラムが存在しないことになり、ピークＡＣＬ制御ゲインは２倍となる。そして、映像レベル１２８に存在していたヒストグラムを、１２８×２のゲイン処理を施して、映像レベル２５６（実際の処理では８ビットにおける最大値の２５５）に存在しているヒストグラムと読み替える処理を行う。ここではヒストグラムの階調数を映像信号と同じ２５６で説明したが、ヒストグラムの階調数は、一般的に採用される１６もしくは６４などの場合でも同様の処理となる。
【００９１】
輝度分布率算出部７においては、ピークＡＣＬ制御ゲインでの変調処理されたヒストグラムの分布状態を解析する。ヒストグラムの分布状態には、例えば、一部の映像レベル領域に偏った（集中した）分布、複数の映像レベル領域に偏った（集中した）分布、顕著な遍在のない比較的均等な分布等がある。輝度分布率算出部７は、入力されるヒストグラムに対して、映像レベルごとの重み付けを行う前処理を行い、その重み付け後のヒストグラム検出値を累積し、その値から分布率を算出する。具体例としては、ヒストグラム検出値に対して、図６に示すような低映像レベルから中間映像レベルまでに重み付け処理を行い、重み付け後のヒストグラム検出値を累積し、その値の大きさから低／中間映像レベルの分布率を算出することができる。また、図７に示すような中間映像レベル付近に重み付け処理を行い、重み付け後のヒストグラム検出値を累積し、その値の大きさから中間映像レベル付近の分布率を算出する。勿論、低／中間映像レベル分布率及び中間映像レベル付近の分布率を算出する方法は、これらに限定されるものではない。
【００９２】
絵柄適応ガンマ特性算出部８では、算出された映像レベル分布率に応じて、適切なガンマ特性を自動で算出する。詳しい動作については後述する。
【００９３】
輝度変調用ゲイン算出部９では、絵柄適応ガンマ特性算出部８から与えられるガンマ特性に従った輝度変調用ゲインを算出する。輝度変調用ゲインは、入力される映像信号の各映像レベル（輝度）に、変調後の映像レベルの値を対応付ける関数として与えられる。
【００９４】
トータル制御ゲイン算出部５では、ピークＡＣＬ制御ゲイン算出部４と輝度変調用ゲイン算出部９の２つの処理から得られた２つの変調ゲイン値を乗じて、予めトータルゲイン値を算出する。輝度変調部１では、このトータルゲイン値を使用して輝度変調を行う。輝度変調とは、入力される映像信号の１画素毎の映像レベル（輝度）をその映像レベルの値に応じて別の映像レベルに変換する処理を指す。輝度変調部１は、例えば１次元のルックアップテーブル（１Ｄ−ＬＵＴ：Look-Up Table）によって構成される。映像信号が８ｂｉｔ、２５６階調の場合には、２５６ｗｏｒｄ×８ｂｉｔのメモリによって構成することができる。ルックアップテーブル（１Ｄ−ＬＵＴ）による実装に代えて、予め関数化されたハードウェア、又はソフトウェアによって実装することもできる。
【００９５】
絵柄適応ガンマ特性算出部８の動作について、さらに詳しく説明する。
【００９６】
例えば、ヒストグラムの分布状態が顕著な遍在のない比較的均等な分布である場合には、小ガンマ値特性によるガンマ補正が適する。図４を引用して説明したように、小ガンマ値特性は、リニア特性と比較して上に凸の曲線であり、表示輝度が入力された映像信号に対して常に大きい値をとるので、全体的に視感度上の明るさを向上させることができる。輝度分布率算出部７による解析の結果、低／中間映像レベル分布率が高い場合には、より効果的である。
【００９７】
例えば、ヒストグラムの分布状態が１ヵ所に遍在する場合には、その遍在の重心を変曲点とするＳカーブ補正が適する。図５を引用して説明したように、Ｓカーブ補正は、変曲点より高輝度の映像レベルをさらに高め、変曲点より低輝度の映像レベルをさらに低めるため、映像が高コントラスト化される。変曲点よりも高輝度側または低輝度側のみに遍在するようなヒストグラムを映像に対しては、上述のように、コントラストをむしろ低下させる問題があるが、遍在の重心と変曲点を一致させることにより、この問題が解決される。
【００９８】
図８に固定のＳカーブ特性及び絵柄適応のＳカーブ特性を示す。横軸には入力の映像レベルが、縦軸には出力の映像レベルが、それぞれ３２階調（５ｂｉｔ）で示される。破線はリニア特性であり、固定のＳカーブ特性は、ちょうど中間である映像レベル＝１６に変曲点を持つ。これに対して絵柄適応Ｓカーブ特性は、映像レベル＝１０に変曲点を持つ。映像レベル＝１０に重心のあるヒストグラムを持つ映像、例えば、ヒストグラムが映像レベル４〜１６に遍在するような絵柄の映像に適応する。
【００９９】
ヒストグラム分布状態について、さらに詳しく説明する。図９、１０、１１には、輝度変調を行う前のヒストグラム、固定ガンマ（固定Ｓカーブ）により輝度変調されたヒストグラム、絵柄適応ガンマ（絵柄適応Ｓカーブ）により輝度変調されたヒストグラムが、それぞれ例示される。横軸は３２階調（５ｂｉｔ）で示される映像レベル（輝度）であり、縦軸はパーセント（％）で示されるヒストグラム検出値（頻度）である。これらは説明を簡易にする為、映像信号を３２階調（５ｂｉｔ精度）として説明している。そのため、ガンマ特性に連続性がなく、階調特性が低いように見えるが、実際には８ｂｉｔ（２５６階調）で処理すれば階調性能上の問題はない。
【０１００】
図９に示されるように、輝度変調を行う前のヒストグラムが、映像レベル５〜１８に遍在しているとする。上述の通り、ヒストグラム変調部６において、ピークＡＣＬ制御ゲイン算出部４から得られたゲインで変調処理がされているため、ピーク値は最大輝度の３２となっている。図１０に示される、固定ガンマ（固定Ｓカーブ）により輝度変調されたヒストグラム分布状態は、映像レベルの偏在が映像レベル２〜１８に変調されている。映像レベル＝５の画素の映像レベルは２に、映像レベル＝６の画素の映像レベルは３に、一方、高輝度側の映像レベル＝１８の画素の映像レベルはそのまま１８に変調される。上述のように固定のＳカーブでは変曲点が映像レベル＝１６にあるため、これに近い映像レベル＝１８の画素の映像レベルは１８のまま変わらない。図９の輝度変調前のヒストグラム分布状態と比較して、輝度分布範囲が拡大している為、高コントラスト化の効果はあるが、高映像レベル方向へのシフトがない為、明るさ向上効果がないことが分かる。
【０１０１】
これに対し、図１１に示される、絵柄適応ガンマ（絵柄適応Ｓカーブ）により輝度変調されたヒストグラム分布状態は、映像レベルの偏在が映像レベル３〜２４に変調されている。映像レベル＝５の画素の映像レベルは３に、映像レベル＝６の画素の映像レベルは４に、一方高い方の映像レベル＝１８の画素の映像レベルは２４に変調される。絵柄適応Ｓカーブでは変曲点がヒストグラム上での偏在の重心である映像レベル＝１１〜１２にあるため、これを中心に低輝度側では映像レベルが低い方向に、高輝度側で映像レベルが高い方向に変調される。図１１に示される、絵柄適応ガンマ（絵柄適応Ｓカーブ）により輝度変調されたヒストグラム分布状態は、図９の輝度変調前のヒストグラム分布状態と比較して、輝度分布範囲が十分に拡大しており、更に高映像レベル方向へも十分にシフトしている為、高コントラスト化及び明るさ向上の効果も十分であることが分かる。
【０１０２】
なお、図１０と図１１に示される輝度変調処理後のヒストグラムには、処理によってヒストグラム検出値が０となった映像レベルが存在する。例えば、図１０の映像レベル＝９、１２、１５、図１１の映像レベル＝７、１０、１２、１４、１７、１９、２１、２３である。このようにヒストグラム検出値が０の映像レベルが存在しても、映像には特段の劣化は生じないが、フィルタ処理を追加するなどにより、映像レベルの連続性を回復させることも可能である。これにより、高コントラスト化に加えて高解像度化の効果も生じる。
【０１０３】
この２つの輝度変調結果の差は、固定ガンマによる輝度変調が、常に中間レベルである１６レベルにＳカーブの変曲点を設定しているのに対し、絵柄適応ガンマによる輝度変調が、図９の輝度変調前のヒストグラム分布状態における分布の重心を検出し、その重心検出結果である１１〜１２をＳカーブの変曲点として、絵柄に最適化した設定を行っているという違いから生じたものである。Ｓカーブのガンマ特性は、小さい映像レベル域では、入力映像レベルに対して出力映像レベルが小さく、大きい映像レベル域では、入力映像レベルに対して出力映像レベルが大きい。Ｓカーブの変曲点とは、この入出力映像レベルの大小関係が反転する（一致する）点を指している。上記の例では、ヒストグラムの重心そのものをＳカーブの変曲点に設定しているが、明るさ向上効果を重視する場合には、重心点よりの若干低い映像レベルに変曲点を設定する方が、高映像レベル方向へのシフト量が増える為、効果的な設定となる。
【０１０４】
ヒストグラムの分布の重心を検出する方法としては、一般的に平均輝度レベルと呼ばれているＡＰＬを使用することができる。また、図１２に示すように、ヒストグラムの頻度分布を積分することにより、面積を求め、映像レベルの低い側と高い側でその面積が一致する境界となる映像レベルを検出することにより算出することもできる。
【０１０５】
このように、Ｓカーブのガンマ特性によるレンジ拡張処理において、高コントラスト化及び明るさ向上の効果を最も効果的に得るには、ヒストグラム分布が最も集中している映像レベル領域と、ガンマ補正による拡張映像レベル領域を一致させる必要があり、絵柄に適応した輝度変調処理が必要とされる。
【０１０６】
小ガンマ値特性の場合にも、ヒストグラムの重心点に応じて、ガンマ値を変更する等の同様の絵柄適応処理を適用することができる。
【０１０７】
また、上記ではバックライト制御用の明るさ向上効果を得ることを目的とした絵柄適応ガンマ処理として、小ガンマ値補正、Ｓカーブ補正を例示したが、ヒストグラムイコライゼンション（平坦化）方法を採用しても良い。この方法はヒストグラム累積結果を、そのままガンマ特性として採用し、輝度変調後のヒストグラム分布状態が低映像レベルから高映像レベルまで均一に分布させることを目的とした補正処理である。映像レベルのダイナミックレンジを有効に活用できる為、高コントラスト化及び明るさ向上効果を得ることができる。例えば、ヒストグラムの分布状態が複数箇所に遍在する場合に、ヒストグラム検出値が集中している箇所から疎らな箇所に、映像レベルを変調することができ、それぞれの偏在箇所におけるコントラストを向上することができる。
【０１０８】
以上のように、絵柄に適応したガンマ特性を自動算出して輝度変調を行う効果には、以下の２点がある。
【０１０９】
１点目は、元より高コントラストで、明るい画像が入力されている場合には、固定ガンマ特性による輝度変調処理では、高映像レベル領域での飽和（白つぶれ）や低映像レベル領域での飽和（黒つぶれ）を生じる危険が想定される。しかし、絵柄適応処理では、これらの危険を防止することができる。
【０１１０】
２点目は、絵柄特性（映像レベルの分布中心＝集中している明るさレベル）に応じて、最も効果的に高コントラスト化及び明るさ向上の効果を得ることができる。
【０１１１】
＜画像処理方法＞
図１に示した本実施形態１の画像処理装置１００は、ハードウェアによって実装されても良いし、搭載される画像処理方法の一部がソフトウェアによって実装された、ミドルウェアによって実装されても良い。
【０１１２】
図１３は、本実施形態１の画像処理装置１００のＳＯＣ（System On a Chip）での構成例を示すブロック図である。画像処理装置１００には、バックライト制御部９１が付属する液晶などの表示パネル９０と、映像信号を入力する映像機器９３とが接続される。さらに、外光センサ９２が接続されても良い。映像機器９３は、例えば、カメラ、ブルーレイやＤＶＤなどの映像コンテンツメディアプレーヤー、ディジタルテレビジョン受像機（ＤＴＶ：Digital TeleVision）などである。画像処理装置１００は、映像表示ユニット２０、ＣＰＵ３０、ＲＯＭ（Read Only Memory）３１、ＲＡＭ（Random Access Memory）３２、バックライト制御インターフェース（Ｉ／Ｆ）ユニット３３、通信インターフェース（Ｉ／Ｆ）ユニット３５、その他の周辺ユニット３５が、バス３６を介して互いに接続されて構成される。映像表示ユニット２０は、映像機器９３から入力される映像信号を受信して、輝度変調部１とヒストグラム検出部２にそれぞれ供給し、輝度変調部１から出力される映像出力信号を液晶パネル９０に出力する。バックライト制御インターフェース（Ｉ／Ｆ）ユニット３３は、バックライト制御信号を、接続される表示パネル９０のバックライト制御部９１に出力する。外光センサ９２が接続され場合には、例えばＩ２Ｃ（Inter-Integrated Circuit）などの通信インターフェース（Ｉ／Ｆ）ユニット３５に接続される。輝度変調部１、ヒストグラム検出部２、バックライト制御インターフェース（Ｉ／Ｆ）ユニット３３及び通信インターフェース（Ｉ／Ｆ）ユニット３５は、それぞれ、ＣＰＵ３０からバス３６を介してアクセス可能である。ピーク値検出部３、ピークＡＣＬ制御ゲイン算出部４、ヒストグラム変調部６、輝度分布率算出部７、絵柄適応ガンマ算出部８、輝度変調用ゲイン算出部９及びトータル制御ゲイン算出部５は、ＲＯＭ３１に格納されるソフトウェアによって実装され、トータル制御ゲイン算出部５によって算出されたトータル制御ゲインは、バス３６を介して、輝度変調部１に設定される。バックライト制御ゲイン算出部１０とゲイン変換部１１も同様に、ＲＯＭ３１に格納されるソフトウェアによって実装され、ゲイン変換部１１によって算出されたバックライト制御ゲインは、バックライト制御インターフェース（Ｉ／Ｆ）ユニット３３を介してバックライト制御信号として出力される。
【０１１３】
図１３に示される構成は、一例に過ぎず、種々変更可能である。例えば、映像表示ユニット２０に含まれるハードウェアの一部をソフトウェアで実装されるように変更しても良いし、逆に他の機能をハードウェアで実装して映像表示ユニット２０に含まれるように変更しても良い。ＣＰＵ３０は単一の如何なるアーキテクチャのプロセッサでも良く、複数のプロセッサを含むマルチプロセッサユニットであっても良い。また、ＣＰＵ３０またはこれに代わるプロセッサ、マルチプロセッサは、キャッシュメモリやローカルメモリを備えていても良い。また、バス３６は階層化されていてもよい。ＲＯＭ３１はフラッシュメモリなどの電気的に書き換え可能な不揮発性メモリであってもよく、或いは、不揮発性メモリを搭載しないＳＯＣによって構成し、パワーアップシーケンス等においてソフトウェアをロードしても良い。なお、図１３に示される構成は、本実施形態１に示される画像処理方法を実装する場合に限られず、実施形態２〜４その他の実施形態に係る画像処理方法を実装する画像処理装置にも、適用することができる。
【０１１４】
図１４は、画像処理装置１００の動作例を示す処理フロー図である。特に、輝度分布率算出部７と絵柄適応ガンマ算出部８が詳しく示される。ヒストグラム検出部２で検出されたヒストグラムが、輝度分布率算出部７に入力され、頻度分布状態の解析が行われる。その結果が、絵柄適応ガンマ算出部８を構成する個別輝度値変調ゲイン算出部８０に入力される。個別輝度値変調ゲイン算出部８０は、小ガンマ補正関数算出部８１と、Ｓカーブ補正ゲイン制御関数算出部８２と、ヒストグラムイコライゼイション（平坦化）関数算出部８３とを備える。
【０１１５】
小ガンマ補正関数算出部８１は、輝度分布率算出部７における低／中間映像レベル分布率に応じたガンマ補正を行う。図４に示されるリニア特性と小ガンマ値特性との間で調整される。低／中間映像レベル分布率が大きければ、高映像レベルへ分布をシフトすることによる明るさ向上を目的として、小ガンマ値特性に近付ける。低／中間映像レベル分布率が小さければ、リニア特性に近付ける。低／中間映像レベル分布率が小さい場合には、ピークＡＣＬ制御のみで既に高映像レベル付近の分布が多いことを示している為、小ガンマ値を適応すると高映像レベル付近における飽和（白つぶれ）の危険があるからである。このような処理方法を採用することにより、飽和の危険を回避することができる。
【０１１６】
Ｓカーブ補正ゲイン制御関数算出部８２は、輝度分布率算出部７における中間映像レベル分布率に応じたゲイン制御と、重心レベル検出に応じた重心制御を受ける。図５に示されているリニア特性とＳカーブ特性との間で調整される。中間映像レベル付近の分布率が大きければ、低映像レベル及び高映像レベルへ分布をシフトすることによる明るさ向上効果及び高コントラスト化を目的としてＳカーブ特性に近付ける。一方、中間映像レベル付近の分布率が小さければ、リニア特性に近付ける。中間映像レベル付近の分布率が小さい場合には、ピークＡＣＬ制御のみで既に低映像レベル及び高映像レベル付近の分布が多いことを示している為、Ｓカーブ特性を採用すると低映像レベル付近における飽和（黒つぶれ）及び高映像レベル付近における飽和（白つぶれ）の両方の危険があるからである。このような処理方法を採用することにより、Ｓカーブ補正においても、飽和の危険を回避することができる。
【０１１７】
ヒストグラムイコライゼイション（平坦化）関数算出部８３は、輝度分布率算出部７における全映像レベル領域に応じたゲイン制御を受ける。各算出部８１〜８３で算出された関数（ゲイン制御値）は、輝度変調ゲインＭＩＸ部８４に入力され、重み付け加算され、その結果が、輝度変調用ゲイン算出部９に出力される。輝度変調ゲインＭＩＸ部８４は、重み係数セレクタ８５＿１〜８５＿３と重み付け乗算部８６＿１〜８６＿３と、加算部８７によって構成される。重み係数セレクタ８５＿１〜８５＿３は、ユーザが設定するＭＩＸ比か、輝度分布率算出部７における解析結果に基づくＭＩＸ比かを選んで、重み付け乗算部８６＿１〜８６＿３に供給する。重み付け乗算部８６＿１〜８６＿３の出力は、加算部８７で合計され、必要に応じて正規化されて、輝度変調用ゲイン算出部９に出力される。
【０１１８】
ＭＩＸ比は、ユーザによって設定されるか、または、輝度分布率算出部７における解析結果に基づいて調整される。輝度分布率算出部７の解析結果に基づく場合には、例えば、低／中間映像レベル分布率が大きければ、小ガンマ補正関数算出部８１から出力される関数（ゲイン制御値）のＭＩＸ比を大きくする。中間映像レベル分布率が大きければ、Ｓカーブ補正ゲイン制御関数算出部８２から出力される関数（ゲイン制御値）のＭＩＸ比を大きくする。全映像レベル領域にヒストグラムが分散しているときには、ヒストグラムイコライゼイション（平坦化）関数算出部８３から出力される関数（ゲイン制御値）のＭＩＸ比を大きくする。
【０１１９】
以上のように、輝度分布率算出部７の解析結果に基づく重み付け加算処理（ＭＩＸ処理）を行なうことにより、映像入力信号の絵柄に応じて適応的に視感度を向上することができる。
【０１２０】
〔実施形態２〕＜トータル制御ゲイン＝ピークＡＣＬ制御関数×輝度変調用関数＞
図１５は、実施形態２に係る画像処理装置の構成例を示すブロック図である。
【０１２１】
実施形態２に係る画像処理装置１００には、図３に示される比較例２と同様に、映像信号が入力され、接続される液晶などの表示パネル９０に供給する映像出力信号と、表示パネル９０に付属するバックライト制御部９１に供給するバックライト制御信号とを、それぞれ算出して出力する。また、画像処理装置１００は、比較例２と同様に、ピーク値検出部３、ピークＡＣＬ制御ゲイン算出部４、輝度変調部１、バックライト制御ゲイン算出部１０及びゲイン変換部１１を備える。比較例２が輝度変調部１の後段に固定ガンマ補正部１８を備えるのに対し、実施形態２に係る画像処理装置１００は、ヒストグラム検出部２、固定ガンマ特性設定部１９、輝度変調用ゲイン算出部９及びトータル制御ゲイン算出部５を備える。
【０１２２】
ヒストグラム検出部２は、入力される映像信号の輝度値についての頻度分布を求める。ピーク値検出部３は、１画面（１フレーム）の画素が持つ映像レベルの中で最も高い輝度（ピーク値）を検出する。ピークＡＣＬ制御ゲイン算出部４は、検出されたピーク値に応じたゲイン処理であるピークＡＣＬ制御ゲインを算出して輝度変調部１に供給する。一方、バックライト制御ゲイン算出部１０は、ゲイン変換部１１に対して、ピーク値検出部３で検出されたピーク値に応じたゲイン処理を実行させる。これにより、基本的な動作は、比較例１と同様のピークＡＣＬ制御となる。比較例２と同様のピーク値検出部３を設け、ヒストグラム検出部２を省略してもよい。
【０１２３】
固定ガンマ特性設定部１９にはユーザ設定のガンマ特性が設定される。輝度変調用ゲイン算出部９は、設定されたガンマ特性に従った輝度変調用ゲインを算出する。トータル制御ゲイン算出部５では、ピークＡＣＬ制御ゲイン算出部４と輝度変調用ゲイン算出部９の２つの処理から得られた２つの変調ゲイン値を乗じて、予めトータルゲイン値を算出する。輝度変調部１では、このトータルゲイン値を使用して輝度変調を行う。
【０１２４】
ピークＡＣＬ制御によるゲイン値に対して、明るさ向上の為の固定ガンマ特性も加味して輝度変調部１に入力される為、視感度上の明るさを向上することができる。また、輝度変調処理が１回で済む為、比較例２における２回の輝度変調処理と比較して階調性能が劣化しない。輝度変調処理は映像信号における画素単位の処理となり、昨今においては、フルハイビジョン（１９２０×１０８０）等の高解像度な映像信号が当たり前となっている。よって、輝度変調処理には高速な処理性能が求められている為、通常では１次元ルックアップテーブル（１Ｄ−ＬＵＴ）等のハードウェアによる処理がなされている。しかし、大規模なハードウェア処理はコストが掛かるという課題がある為、一般的には８ｂｉｔ程度での処理に制限されている。このように８ｂｉｔ程度に制限された状態で、２段階等の複数回処理と、予め２つの変調ゲインをトータルゲインとして算出した上で１回で行う処理とを比較すると、図１６、図１７に示すように１回で行う処理の方が階調劣化を抑えることができる。図１６は、画像処理装置１００の入出力特性の例を示すグラフであり、図１７は、そのときの、映像出力信号における誤差特性を示すグラフである。図１６には、横軸に映像入力、縦軸に映像出力が、それぞれ階調レベルによって示される。それぞれは２５６階調（８ｂｉｔ）であり、横軸には２５６階調のうちの０〜６４が示され、縦軸にはそれに対応する０〜１２８が示される。円形のプロットが本実施形態２のように、１回にまとめて処理を行なった場合の入出力特性を示し、三角形のプロットは比較例２のように２回に分けて処理を行なった場合の入出力特性を示す。図１７には、横軸に映像入力の階調レベルが、縦軸にはそのときの映像出力における、理想特性に対しての誤差が示される。円形のプロットが本実施形態２のように１回にまとめて処理を行なった場合の誤差特性を示し、三角形のプロットは比較例２のように２回に分けて処理を行なった場合の誤差特性を示す。比較例２のように２回に分けて処理を行なった場合の誤差が±１ＬＳＢであるのに対し、本実施形態２のように１回にまとめて処理を行なった場合の誤差は±０．５ＬＳＢに抑えられている。この結果、人間が画面表示を視聴した時に、夕焼け画像等の徐々に輝度が変化するグラデーション部において、ソラリゼーション等の輝度段差ノイズとして認識されずに、輝度変化が連続した綺麗なグラデーション画像として視聴することができる。
【０１２５】
本実施形態２ではトータルでの変調ゲインを予め求めるのだが、これについては１画面（毎フレーム）に付き、各階調レベルに対して１つの演算を実行すれば良いので、例えば８ｂｉｔの映像信号に対して輝度変調を行う場合には２５６回の演算で済み、ソフトウェアで実装する場合、処理時間の性能に対する制約が少ない。またハードウェアで実装する場合にも、トータル制御ゲイン算出部のみを１６ｂｉｔ程度に高精度化すれば良いので、映像信号経路全体を１６ｂｉｔ化することと比較すると、大規模化によるコスト影響が少ない。これらにより、本実施形態２は実装面でも非常に有効な手法である。
【０１２６】
本実施形態２を適用可能な表示部のバックライト構造であるが、単一光源のみでなく、複数光源の制御システム構造についても対象となり、複数光源によりローカルエリア単位でガンマ補正が制御可能である場合には、ローカルエリア単位でガンマ特性を個別に設定することになる。
【０１２７】
また本実施形態２は、特に車載機器への搭載に効果がある。車載機器は、画面視認性の悪い昼もしくは野外等の明るい外光環境下で視聴される為、視認上の明るさ向上効果を必要とし、ＥＶ（Electrical Vehicle）／ＨＶ（Hybrid Vehicle）などのバッテリー駆動等の自動車では消費電力の削減効果が必要とされるからである。高画質表示が重要であるＤＴＶ等の機器の視聴においては、本来のガンマ特性である２．２乗等の輝度リニアリティ再現が重要である。しかし、車載環境での視聴において輝度リニアリティの再現は重要でない為、小ガンマ特性もしくはＳカーブ特性によるガンマ処理でも実使用上の問題はなく、むしろ明るさ向上効果を得ることの方が重要となる。
【０１２８】
〔実施形態３〕＜黒レベル補正＞
図１８は、実施形態３に係る画像処理装置の構成例を示すブロック図である。
【０１２９】
実施形態３に係る画像処理装置１００には、実施形態１と同様に、映像信号が入力され、接続される液晶などの表示パネル９０に供給する映像出力信号と、表示パネル９０に付属するバックライト制御部９１に供給するバックライト制御信号とを、それぞれ算出して出力する。また、画像処理装置１００は、実施形態１と同様に、輝度変調部１、ヒストグラム検出部２、ピーク値検出部３、ピークＡＣＬ制御ゲイン算出部４、ヒストグラム変調部６、輝度分布率算出部７、絵柄適応ガンマ算出部８、輝度変調用ゲイン算出部９及びトータル制御ゲイン算出部５、バックライト制御ゲイン算出部１０及びゲイン変換部１１を備える。実施形態３に係る画像処理装置１００は、さらに、ボトム値検出部１２、黒レベル補正制御ゲイン算出部１３及び乗算部１４を備える。実施形態１に示される画像処理装置１００と共通の構成については、機能等も同様であるので、説明を省略する。
【０１３０】
ボトム値検出部１２は、映像信号において最も低い（暗い）値であるボトム値を検出する。ピーク値検出と同様に、ヒストグラム検出部で検出されたヒストグラムを映像レベルの低い方から順次累積し、設定した値に到達した映像レベルをボトム値とする方法を採用することができる。例えば、１画面（１フレーム）内の総画素数を１００％とした場合に、ヒストグラムの累積値がその３％に達した映像レベルをボトム値として検出する。ボトム値を検出する為にヒストグラム検出結果を使用しないで直接検出する方法は、ノイズが多い画像等で生じる数画素のみが特異に低いレベルとして突出して現れる場合に検出安定度が極端に悪くなる。これに対してヒストグラムの累積値からピーク値を算出する方法では適切な検出安定度が保たれる。
【０１３１】
黒レベル補正制御ゲイン算出部１３では、このボトム値に応じたゲインを算出する。図１９は、黒レベル補正についての説明図である。横軸は入力映像レベル、縦軸は出力映像レベルであり、それぞれフルスケールを１００％としたときの相対値（％）で示される。入力映像レベルが２０％以上の映像レベル領域にのみ画素を持つとき、即ち、ボトム値が２０％であるときに、この入力映像レベルの２０％〜４０％の範囲（元のレンジ）を出力映像レベルの０％〜４０％の範囲に拡張する。これは２０％映像レベルが０％（黒）レベルに引き込まれていることを示し、このような補正は黒レベル補正もしくは、黒レベル伸長と呼ばれている。次段の乗算部では、ピークＡＣＬ制御ゲイン算出部から得られるゲイン値と黒レベル補正制御ゲイン算出部から得られるゲイン値を乗じる。
【０１３２】
低輝度側のみに着目すると、ピークＡＣＬ制御のみでは映像レベルが大きく（明るく）なってしまい、高コントラスト化の意味合いでは逆効果となる。ここでの高コントラスト化とは、明るい画像はより明るく、暗い画像はより暗くすることにより、人間の相対感度を高くすることを目的としている。上記のようにピークＡＣＬ制御に黒レベル補正の効果を乗じることにより、基本的には映像信号入力のピーク値及びボトム値がいかなる値であっても、常に映像信号出力が０％〜１００％の全ての映像レベルを使用するようになり、最も有効なダイナミックレンジの活用となる。この処理の後段で、実施形態１の絵柄に適応したガンマ補正処理を施すことにより、より効果的な高コントラスト化及び明るさ向上の効果を得ることができる。これに代えて、実施形態２の固定ガンマ特性処理を行なってもよい。
【０１３３】
〔実施形態４〕＜視感度上の明るさ向上分に基づく再調整＞
図２０は、実施形態４に係る画像処理装置の構成例を示すブロック図である。
【０１３４】
実施形態４に係る画像処理装置１００には、実施形態１と同様に、映像信号が入力され、接続される液晶などの表示パネル９０に供給する映像出力信号と、表示パネル９０に付属するバックライト制御部９１に供給するバックライト制御信号とを、それぞれ算出して出力する。また、画像処理装置１００は、実施形態１と同様に、輝度変調部１、ヒストグラム検出部２、ピーク値検出部３、ピークＡＣＬ制御ゲイン算出部４、ヒストグラム変調部６、輝度分布率算出部７、絵柄適応ガンマ算出部８、輝度変調用ゲイン算出部９及びトータル制御ゲイン算出部５、バックライト制御ゲイン算出部１０及びゲイン変換部１１を備える。実施形態４に係る画像処理装置１００は、実施形態３と同様に、さらに、ボトム値検出部１２、黒レベル補正制御ゲイン算出部１３及び乗算部１４を備える。実施形態４に係る画像処理装置１００は、さらに、視感度上の明るさ向上分評価部１５、バックライト制御ゲイン減算量算出部１６及び乗算部１７を備える。実施形態１と実施形態３に示される画像処理装置１００と共通の構成については、機能等も同様であるので、説明を省略する。
【０１３５】
視感度上の明るさ向上分算出部１５では、実施形態１〜３により得られた視感上の明るさ向上効果量を定量的に算出する。この算出にはガンマ補正による輝度変調によりＡＰＬなどの平均輝度レベルが増加した量を明るさ向上効果量として算出することが、最も簡易な方法として考えられる。また、より正確な明るさ向上効果量の算出方法として、カラーアピアランスモデルなど人間の視認度特性を考慮した「明るさ」、「色の濃さ」等の見え方を定量化するモデルが各種提案されており、それらから得た定量値をガンマ補正による輝度変調前後で比較し、その変化量を明るさ向上効果量として利用してもよい。バックライト制御ゲイン減算量算出部１６では、明るさ向上効果の定量値から、ピーク値検出部３で検出されたピーク値から得たバックライト輝度の減算量に対して、更にバックライト輝度を減算する量を決める。例えば、明るさ向上効果量が３０％と算出された場合には、バックライト輝度を更に３０％分暗くするように減算量が算出される。この場合には、視感上はバックライト制御補正をしない状態と同じ明るさを保持しながら、従来のバックライト制御以上にバックライト輝度を低減することができる。ただし、必ずしも全ての明るさ向上効果量をバックライト輝度の減算（消費電力を下げること）に振り分ける必要はない。上記の例で示すと、明るさ向上効果量が３０％と算出されたら、更なるバックライト輝度の減算量は１５％分に留め、明るさ向上効果分を１５％残すというように振り分ける利用方法も可能である。次段のバックライト制御ゲイン算出部１０から得られるゲイン値とバックライト制御ゲイン減算量算出部１６から得られる減算量を乗じる乗算部１７において、最終的なバックライト制御量が決められる。また、視感上の明るさ向上分の算出により、明るさの向上効果がない、もしくは逆に暗くなると算出された場合には、その情報を絵柄適応ガンマ制御ゲイン算出部９に伝えることにより、ガンマ補正及び更なるバックライト電力の低減を行わないといった利用も可能となる。
【０１３６】
図２０には、実施形態３と同様の黒レベル補正機能を備えた、画像処理装置１００が示されるが、この機能を省略してもよい。また、実施形態１と同様に、絵柄適応ガンマ補正機能を備えた、画像処理装置１００が示されるが、この機能に代えて、実施形態２に示されるようなユーザ設定によるガンマ補正機能に置き換えてもよい。
【０１３７】
本実施形態４の効果を以下に挙げる。液晶パネルを搭載する製品においては、各種のレイアウト上の設計制約が想定される。設計制約とは放熱スペースの確保やファン搭載等の放熱設計施策を取ることが困難であることを示す。この場合、液晶パネルを含むシステム消費電力の削減により発熱レベルを低減させ、設計制約に対応する必要がある。従来のバックライト制御システムでは本来の表示輝度を保持する特性を持つ為、映像のピーク（１００％）レベルを保持する映像信号が入力された場合には、基本的にはバックライト電力を削減することができない。しかし、視感上の明るさ向上効果量をバックライト輝度の低減分に振り分けることにより、映像のピーク（１００％）レベルを持つ信号が入力された場合にも、バックライト電力を削減することができる。これによりほぼ定常的に電力削減効果を得ることができ、システムの発熱量を抑えることが可能となり、小スペース化やファンレス等のレイアウト上の設計自由度の向上に貢献する。表示画面におけるピークレベル表示箇所の輝度については、何もしない場合と比較して低下してしまうが、ピークレベルを持つ信号を含むほとんどの映像信号において電力削減効果を得ることが可能となる。ＤＴＶやモバイル等の高画質表示が重要である機器における視聴においては、ピークレベル表示箇所の輝度再現は重要な性能であるが、レイアウト上での設計制約が特に厳しい車載環境等での視聴においては、ピークレベル部の表示輝度の再現は比較的重要ではなく実使用上の問題はない為、明るさ向上と電力削減という最も必要とされる効果を得ることの方が重要である。
【０１３８】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１３９】
例えば、各ブロック図に示される機能分割は、一例であって、同等の機能を統合し、或いは細分化した別の機能ブロックに変更してもよい。また、液晶の透過率とバックライトの輝度の積の調整に代えて、自己発光型の表示デバイスにおける電源電圧とＰＷＭ（Pulse Width Modulation）等の変調度の積の調整による画像処理方法または画像処理装置に変更してもよい。自己発光型の表示デバイスにおける電源電圧をバックライトに対応させ、ＰＷＭ変調度を液晶の透過率に対応させると、同一の要旨の技術思想を適用することができる。
【符号の説明】
【０１４０】
１  輝度変調部
２  ヒストグラム検出部
３  ピーク値検出部
４  ピークＡＣＬゲイン算出部
５  トータル制御ゲイン算出部
６  ヒストグラム変調部
７  頻度分布率算出部
８  絵柄適応ガンマ特性算出部
９  輝度変調用ゲイン算出部
１０  バックライト制御ゲイン算出部
１１  ゲイン変換部
１２  ボトム値検出部
１３  黒レベル補正制御ゲイン算出部
１４、１７  乗算部
１５  視感度上の明るさ向上分評価部
１６  バックライト制御ゲイン減算量算出部
１８  固定ガンマ補正部
１９  固定ガンマ特性設定部
２０  映像表示ユニット
３０  ＣＰＵ
３１  ＲＯＭ
３２  ＲＡＭ
３３  バックライト制御インターフェース（Ｉ／Ｆ）ユニット
３４  通信インターフェース（Ｉ／Ｆ）ユニット
３５  周辺ユニット
３６  バス
８０  個別輝度変調ゲイン算出部
８１  小ガンマ補正関数算出部
８２  Ｓカーブ補正ゲイン制御関数算出部
８３  ヒストグラム平坦化関数算出部
８４  輝度変調ゲインＭＩＸ部
８５  重み係数セレクタ
８６  重み付け乗算部
８７  加算部
９０  液晶パネル
９１  バックライト制御部
９２  外光センサ
９３  映像機器
１００  画像処理装置
【図１】
0006543442.tif 000002
【図２】
0006543442.tif 000003
【図３】
0006543442.tif 000004
【図４】
0006543442.tif 000005
【図５】
0006543442.tif 000006
【図６】
0006543442.tif 000007
【図７】
0006543442.tif 000008
【図８】
0006543442.tif 000009
【図９】
0006543442.tif 000010
【図１０】
0006543442.tif 000011
【図１１】
0006543442.tif 000012
【図１２】
0006543442.tif 000013
【図１３】
0006543442.tif 000014
【図１４】
0006543442.tif 000015
【図１５】
0006543442.tif 000016
【図１６】
0006543442.tif 000017
【図１７】
0006543442.tif 000018
【図１８】
0006543442.tif 000019
【図１９】
0006543442.tif 000020
【図２０】
0006543442.tif 000021