(57)【要約】【課題】理想的な状態と比較してダイナミックレンジが低下するような視聴環境であっても、暗部の黒浮きや明部の白飛びを低減した画像を提供する。【解決手段】本実施形態の画像処理装置は、接続される表示装置における外光の影響がない場合の表示特性を表す第１ガンマ特性に対して、処理対象画像の明るさ情報が暗いことを示すほど、前記第１ガンマ特性よりも明るさのレンジが狭い第２ガンマ特性が、第１ガンマ特性の明るさに近づく重み係数を設定し、前記明るさ情報が明るいほど、前記第２ガンマ特性が前記第１ガンマ特性の明るさの勾配に近づく重み係数を算出する重み算出部と、前記重み係数に基づいて決定される前記第２ガンマ特性に基づいてガンマ変換関数を算出するガンマ算出部と、前記ガンマ変換関数を用いて前記処理対象画像の画素値の変換を行う変換部と、を有する。【選択図】  図１０
2014126782.tif 000002
【特許請求の範囲】
【請求項１】
接続される表示装置における外光の影響がない場合の表示特性を表す第１ガンマ特性に対して、処理対象画像の明るさ情報が暗いことを示すほど、前記第１ガンマ特性よりも明るさのレンジが狭い第２ガンマ特性が、第１ガンマ特性の明るさに近づく重み係数を設定し、前記明るさ情報が明るいほど、前記第２ガンマ特性が前記第１ガンマ特性の明るさの勾配に近づく重み係数を算出する重み算出部と、
前記重み係数に基づいて決定される前記第２ガンマ特性に基づいてガンマ変換関数を算出するガンマ算出部と、
前記ガンマ変換関数を用いて前記処理対象画像の画素値の変換を行う変換部と、
を有する画像処理装置。
【請求項２】
前記重み算出部は、前記表示装置における黒浮き量が大きいほど、第１ガンマ特性の明るさに近づける重み係数λを算出する請求項１記載の画像処理装置。
【請求項３】
前記重み算出部は、前記表示装置における最大値である第１ピーク輝度と駆動する際の第２ピーク輝度との差が大きいほど、第１ガンマ特性の明るさの勾配に近づける重み係数λを算出する請求項１〜２のいずれか１項に記載の画像処理装置。
【請求項４】
前記処理対象画像を複数の領域に分割する分割部をさらに有し、
前記重み算出部は、前記領域ごとに重み係数を設定し、
前記ガンマ算出部は、前記領域ごとのガンマ変換関数を算出する
請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
外光の明るさを検出する検出部をさらに備え、
前記重み算出部は、前記外光の明るさに応じた黒浮き量を算出し、前記黒浮き量が大きいほど、第１ガンマ特性の明るさに近づける重み係数λを設定し、前記表示装置における最大値である第１ピーク輝度と前記外光の明るさに応じて設定された駆動する際の第２ピーク輝度との差が大きいほど、第１ガンマ特性の明るさの勾配に近づける重み係数λを算出する請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
画像を表示面に表示する表示部と、
前記表示面に入射する外光の明るさを検出する検出部と、
前記外光の明るさを用いて、前記表示部に前記画像を表示する際のピーク輝度を算出する設定部と、
前記表示部における外光の影響がない場合の表示特性を表す第１ガンマ特性に対して、処理対象画像の明るさ情報が暗いことを示すほど、前記検出部が検出した外光の明るさの場合の第２ガンマ特性が、第１ガンマ特性の明るさに近づく重み係数を設定し、前記明るさ情報が明るいほど、前記第２ガンマ特性が前記第１ガンマ特性の明るさの勾配に近づく重み係数を算出する重み算出部と、
前記重み係数に基づいて決定される前記第２ガンマ特性に基づいてガンマ変換関数を算出するガンマ算出部と、
前記ガンマ変換関数を用いて前記処理対象画像の画素値の変換を行う変換部と、
を有する画像表示装置。
【請求項７】
画像を投映面に投映する投映部と、
前記投映面に入射する外光の明るさを検出する検出部と、
前記外光の明るさを用いて、前記投映部に前記画像を表示する際のピーク輝度を算出する設定部と、
前記投映部における外光の影響がない場合の表示特性を表す第１ガンマ特性に対して、処理対象画像の明るさ情報が暗いことを示すほど、前記検出部が検出した外光の明るさの場合の第２ガンマ特性が、第１ガンマ特性の明るさに近づく重み係数を設定し、前記明るさ情報が明るいほど、前記第２ガンマ特性が前記第１ガンマ特性の明るさの勾配に近づく重み係数を算出する重み算出部と、
前記重み係数に基づいて決定される前記第２ガンマ特性に基づいてガンマ変換関数を算出するガンマ算出部と、
前記ガンマ変換関数を用いて前記処理対象画像の画素値の変換を行う変換部と、
を有する画像表示装置。
【請求項８】
前記検出部がカメラであることを特徴とする請求項７記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、暗部の黒浮きや明部の白飛びを低減した画像を提供する画像処理装置及び画像表示装置に関する。
【背景技術】
【０００２】
例えば省電力化を目的として、表示装置のピーク輝度を減少させる技術が知られている。しかし、ピーク輝度を減少させると表示装置のダイナミックレンジが低下する。ピーク輝度を低下させることで、画像内の暗部と明部との間の輝度差が縮まるためである。
【０００３】
そこで、画像全体に対するガンマ信号と、局所領域毎のガンマ信号を求め、画像を変換する技術が開示されている。これによって、画面全体のピーク輝度が低く設定された時であっても階調つぶれと局所領域ごとの輝度ムラが抑制された画像を表示することができる。一方、外光反射により黒浮きが増加する表示装置では、前記ピーク輝度の低下に加え、暗部の黒浮きによってさらにダイナミックレンジが低下する。これに対して従来法を適用しても、画像暗部のコントラストの低下を免れないという課題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３２６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本実施形態が解決しようとする課題は、理想的な状態と比較してダイナミックレンジが低下するような視聴環境であっても、暗部の黒浮きや明部の白飛びを低減した画像を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本実施形態は、接続される表示装置における外光の影響がない場合の表示特性を表す第１ガンマ特性に対して、処理対象画像の明るさ情報が暗いことを示すほど、前記第１ガンマ特性よりも明るさのレンジが狭い第２ガンマ特性が、第１ガンマ特性の明るさに近づく重み係数を設定し、前記明るさ情報が明るいほど、前記第２ガンマ特性が前記第１ガンマ特性の明るさの勾配に近づく重み係数を算出する重み算出部と、前記重み係数に基づいて決定される前記第２ガンマ特性に基づいてガンマ変換関数を算出するガンマ算出部と、前記ガンマ変換関数を用いて前記処理対象画像の画素値の変換を行う変換部と、を有する画像処理装置を提供する。
【発明の効果】
【０００７】
本実施形態によれば、理想的な状態と比較してダイナミックレンジが低下するような視聴環境であっても、暗部の黒浮きや明部の白飛びを低減した画像を提供することである。できる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理装置１００を示す図。
【図２】第１の実施形態の画像処理装置１００の動作を説明する図。
【図３】第１ガンマ特性と第２ガンマ特性の概念を示す図。
【図４】本実施形態によって算出されるガンマ変換関数の例を示す図。
【図５】第２の実施形態の画像処理装置２００を示す図。
【図６】第２の実施形態の画像処理装置２００の動作を説明する図。
【図７】第３の実施形態の画像処理装置３００を示す図。
【図８】第３の実施形態の画像処理装置３００の動作を説明する図。
【図９】第４の実施形態の画像表示装置４００を示す図。
【図１０】第５の実施形態の画像表示装置５００を示す図。
【発明を実施するための形態】
【０００９】
本発明の実施形態について説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
【００１０】
（第１の実施形態）
図１は、本実施形態の画像処理装置１００を示す図である。画像処理装置１００は、重み算出部１０、ガンマ算出部１１、変換部１２を有する。本実施形態の画像処理装置１００は、入力画像信号を出力画像信号に変換し出力する。画像処理装置１００の後段には表示装置（図示しない）が接続される。表示装置は、受け取った出力画像信号を表示する。表示装置は、ディスプレイや、プロジェクタのいずれであっても構わない。ディスプレイの場合、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、又は、その他のディスプレイのいずれであっても構わない。  
本実施形態は、処理対象の入力画像信号の形式がＩｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  ＵｎｉｏｎのＹＣｂＣｒ伝送規格に従った例について述べる。ＹＣｂＣｒ伝送規格では各画素は画素値として輝度成分、赤緑成分、青黄成分の３チャンネルの信号を有する。以下の説明では、画面内の位置（ｕ、ｖ）の画素値のうち輝度成分をｘ（ｕ、ｖ）と記載する。なお、入力画像信号の形式は、ＹＵＶ、ＲＧＢ、ＨＳＶ等、ＹＣｂＣｒ系以外の他の表色系の表現であってもよい。また、本実施の形態では、各画素の色のダイナミックレンジは、８ビット（０〜２５５）で表現されているものとして説明するが、８ビットに限られない。入力画像信号は、あらゆる機器または媒体から入力される画像であって構わない。例えば、入力画像信号は、ＨＤＤなどの記録媒体から、ネットワークを介して接続された外部装置から、又はＴＶなどの放送波から入力される。
【００１１】
重み算出部１０は、画像の明るさ情報を算出する。重み算出部１０は、算出された明るさ情報を用いて、接続される表示装置の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配のどちらに近づけるかを示す重み係数λを算出する。第１ガンマ特性とは、表示装置に表示された画像を理想的な環境で視聴した際の表示特性を示す。理想的な環境とは、暗室内に代表されるような、外部の環境光の影響を受けない環境を示す。第２ガンマ特性とは、表示装置に表示する画像を、実際に想定される視聴環境で視聴した場合を加味した表示特性を示す。想定される視聴環境は、実際に照度センサ等で外部の環境光をリアルタイムに観察して想定される視聴環境でも構わない。または、センサを用いずにあらかじめ想定し定められた視聴環境であっても構わない。それらの視聴環境に応じて、第２ガンマ特性を定める。重み係数λによる処理については後述する。
【００１２】
重み算出部１０は、重み係数λをガンマ算出部１１に送る。  
ガンマ算出部１１は、重み係数λと入力画像信号の画素値とを用いて、接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数を算出し、変換部１２に送る。  
変換部１２は、入力画像信号の画素値をガンマ変換関数に応じて変換し、出力画像信号を求める。
【００１３】
次に、各部の動作を説明する。図２は、画像表示装置１００の動作を示す図である。  
重み算出部１０は、入力画像信号を受け取る（Ｓ１０１）、画像の明るさ情報を算出し（Ｓ１０２）、該明るさ情報を用いて、接続される表示装置の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配のどちらに近づけるかを示す重み係数λを算出し、ガンマ算出部１１に送る（Ｓ１０３）。
【００１４】
ステップＳ１０２において、明るさ情報とは、入力画像信号から得られる明るさと相関する少なくとも一つ以上の情報を表す。たとえば、明るさ情報は、画像信号内の領域に含まれる複数画素の画素値の、平均値、最大値、最小値、中央値、パーセンタイル値などであることが望ましい。その他の統計演算によって算出されたもので会って構わない。また、1枚の画像だけではなく、シーケンシャル動画像のように時間的に連続する複数枚の画像から算出されても良い。さらに、空間的に離れた領域において、異なる明るさ情報を算出してもよい。
【００１５】
ステップＳ１０３において、前記明るさ情報を用いて、接続される表示装置の第２ガンマ特性を、第１ガンマ特性の明るさと明るさの勾配のどちらに近づけるかを示す重み係数を算出する。
【００１６】
図３は、接続される表示装置の第１ガンマ特性と第２ガンマ特性との関係を示した図である。図３において、Ｇ１は接続される表示装置の第１ガンマ特性である。これは、全ての画素値間で連続的に明るさが変化し、かつ、明るさの比が高い、すなわち、コントラストが高い状態である。接続された表示装置で表現可能な明るさのレンジはＤＲ１となる。
【００１７】
一方、一般的な表示装置は、周囲光の反射によって黒浮きが生じることや、デバイスの特性でピーク輝度が理想よりも低くなることで、表現可能な明るさのレンジが狭くなることが知られている。なお、ピーク輝度とは、１００％レベルの映像信号に対するディスプレイの画面輝度である。そのように狭くなった明るさのレンジがＤＲ２であり、接続される表示装置で表示される画像の明るさはＤＲ２の範囲となる。 
この時、Ｇ１（実線）は接続される表示装置において、入力画像信号をそのまま表示した場合の第２ガンマである。一方Ｇ２（二重線）は、第２ガンマの明るさを第１ガンマの明るさに近づけることを重視した場合（明るさ重視）の第２ガンマである。また、Ｇ３（破線）は、第２ガンマの明るさの勾配を第１ガンマの明るさの勾配に近づけることを重視した場合（明るさの勾配重視）の第２ガンマである。今、Ｇ２、Ｇ３の低階調部（画像の暗部領域）の画質について注目すると、Ｇ２はＧ１に比べて暗部の黒浮きが低減されたコントラストの高い画像が出力され、Ｇ３はＧ１に比べて階調性が良い画像が出力される。
【００１８】
画像処理装置１００における重み算出部１０は、前述したＧ２、Ｇ３のような第２ガンマを達成するガンマ変換関数をガンマ算出部１１で算出するために、前述した明るさ情報を用いて重み係数λを算出する。具体的には、明るさ情報が暗いことを示すほど明るさ重視にするようλを設定し、明るさ情報が明るいことを示すほど明るさの勾配重視にするようλを設定する。これにより、明るさ情報が暗いほど出力される画像のコントラストが高まり、明るさ情報が明るいほど出力される画像の階調性が高まるような画像が表示される。
【００１９】
以上のように、ステップＳ１０１〜Ｓ１０３によれば、入力画像信号の明るさ情報に応じて重み係数λを出力することで、出力される画像においてコントラストと階調性の画質を制御するための制御信号を、ガンマ算出部に送付することができる。
【００２０】
ガンマ算出部１１は、画像内に存在する画素の画素値から画素値ヒストグラムＨを算出する（Ｓ１０４）。第１の実施形態におけるステップＳ１０４では、ヒストグラムＨは各画素の画素値の最大値であるｘｍａｘ個のビンを用意することが望ましい。
【００２１】
重み係数λとヒストグラムＨとを用いて接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌ(ｘ)を算出し、変換部１２に送る（Ｓ１０５）。  
ガンマ変換関数Ｌ(ｘ)は次式により算出する。  
【数１】
2014126782.tif 000003
【００２２】
式（１）のｘは入力映像信号の画素値である。Ｅ（ｘ）は画素値がｘの際のガンマ変換関数Ｌ(ｘ)の評価値を示す。Ｒ（ｘ） は前述した接続される表示装置の第１ガンマにおける画素値ｘの明るさ、ｒ（ｘ） は前述した接続される表示装置の第２ガンマにおける画素値ｘの明るさを示す。λは、前記重み係数である。ｗα（ｘ）、ｗα（ｘ）は、後述するヒストグラムＨにおける階調ｘの重みである。式（１）の第１項は第１ガンマと第２ガンマの明るさに関する二乗誤差を表す。式（１）の第２項は第１ガンマの明るさの勾配と第２ガンマの明るさの勾配とに関する二乗誤差を表す。本実施形態では、重み係数λとヒストグラムＨとに応じて、Ｅ（ｘ）が最小となるような画素値xの変換関数をガンマ変換関数Ｌ(ｘ)として算出する。
【００２３】
本実施形態のおけるガンマ変換関数Ｌ(ｘ)の算出方法は、ｘｍａｘ＝２５６として、まず０階調と２５６階調の内分点である１２８階調に対する出力階調Ｌ（ｘ０１）を求め、続いて０階調と１２８階調の内分点である６４階調、及び、１２９階調と２５６階調の内分点である１９２階調の出力階調Ｌ（ｘ１１）、Ｌ（ｘ１３）を求める。以下、全ての画素値が決まるまで上記処理を繰り返して行う。ここでは、繰り返し処理の階層番号をｌ、入出力階調の位置を示す番号をｐとし、各階層の入力階調をｘｌｐと表すこととする。
【００２４】
今、入力階調ｘｉｐ−１、ｘｉｐ＋１を内分する点ｘｌｐの出力階調Ｌ（ｘｌｐ）を求めることを考える。このとき、ヒストグラムＨを階調ｘｉｐ−１〜ｘｉｐの頻度と、階調ｘｉｐ〜ｘｉｐ＋１の頻度の二つの部分ヒストグラムで表すことで、階調ｘｉｐ−１〜ｘｉｐ＋１に対する重みｗα（ｘ）、ｗβ（ｘ）が次式により算出される。
【数２】
2014126782.tif 000004
【００２５】
この時、Ｈ（ｉ）は画素値ｉの出現頻度を表す。
【００２６】
図４に、前記重み係数λが明るさの勾配重視（λ＝０．０）の場合の式（１）（２）によって算出されるガンマ変換関数Ｌ(ｘ)の一例を示す。グラフは、横軸に画素値を、縦軸の実線が出現頻度を示し、縦軸の破線が算出されたガンマ変換関数Ｌ(ｘ)の出力特性を示している。図４から、ガンマ変換関数Ｌ(ｘ)は出現頻度の高い階調において明るさの勾配が強くなっていることが分かる。これは、式（１）において前記重み係数λが明るさの勾配重視（λ＝０．０）の場合、第２項の明るさの勾配の誤差を最小化するようにガンマ変換関数Ｌ（ｘ）が算出されるためである。また、図示は省略するが、重み係数λが明るさ重視（λ＝１．０）の場合は、算出されるガンマ変換関数Ｌ(ｘ)は出現頻度の高い階調において明るさが強くなる。これは、式（１）において前記重み係数λが明るさ重視（λ＝１．０）の場合、第１項の明るさの誤差を最小化するようにガンマ変換関数Ｌ（ｘ）が算出されるためである。
【００２７】
以上のように、ステップＳ１０４〜Ｓ１０５によれば、重み係数λと入力画像信号の画素値とを用いて、接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数が算出される。この時、ステップＳ１０１〜Ｓ１０３によって重み係数λが入力画像信号の明るさ情報に応じて出力されてくるので、入力画像信号の明るさ情報に応じて適切にコントラストと階調性の画質を改善するガンマ変換関数が、ステップＳ１０４〜Ｓ１０５によって出力される。
【００２８】
変換部１２は、入力画像信号の画素値を、ガンマ変換関数Ｌ(ｘ)を用いて変換し、出力画像信号を求める。本実施形態では、入力映像信号の水平画素位置ｕ、垂直画素位置ｖに対する輝度成分の画素値ｘ（ｕ、ｖ）を階調変換した映像信号ｆ（ｕ、ｖ）は次式によって算出する（Ｓ１０６）。  
【数３】
2014126782.tif 000005
【００２９】
画像内の前画素を変換したかを判定する（Ｓ１０７）。変換を行っていない場合（Ｓ１０７、Ｎｏ）、ステップＳ１０８に進む。まだ変換されていない画素を選択しステップＳ１０６に戻る（Ｓ１０８）。変換を行っている場合（Ｓ１０７、Ｙｅｓ）、ステップＳ１０９に進む。  
最後に、出力画像信号を出力する （Ｓ１０９）
以上のように、本実施形態の画像処理装置１００によれば、接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌ(ｘ)を重み係数λとヒストグラムＨとを用いて算出する。それによって、画像の明るさ情報が暗く重み係数λが明るさ重視に設定された場合には画像のコントラストが向上し、画像の明るさ情報が明るく重み係数λが明るさの勾配重視に設定された場合に画像の階調性が向上する。接続される表示装置における外光の影響がない場合の表示特性を表す第１ガンマ特性と、ピーク輝度の低下や暗部の黒浮きを踏まえた実際の視聴環境における表示特性を表す第２のガンマ特性とを用いて、ピーク輝度が不足する画像明部と黒浮きが生じる画像暗部の双方において、それぞれに最適な局所領域ガンマを算出することが可能となる。これにより、接続された表示装置の第２ガンマが第１ガンマよりも狭い場合でも、画像の明るさ情報に応じて適切にコントラストや階調性が高くなる効果が得られる。
【００３０】
（第２の実施形態）  
図５は、本実施形態の画像処理装置２００を示す図である。画像処理装置２００は、ピーク輝度算出部２０、黒浮き量算出部２１、重み算出部２２、ガンマ算出部２３変換部２４を有する。  
ピーク輝度算出部２０は、接続される表示装置における理想的なピークである第１ピーク輝度と、実際に設定可能なピーク輝度である第２ピーク輝度とを算出し、重み算出部２２とガンマ算出部２３に送る。
【００３１】
黒浮き量算出部２１は、接続される表示装置における表示面の黒浮き量を算出し、重み算出部２２に送る。  
重み算出部２２は、画像の明るさ情報を算出し、明るさ情報と第１ピーク輝度と第２ピーク輝度と黒浮き量とを用いて、接続される表示装置の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配のどちらに近づけるかを示す重み係数λを、算出しガンマ算出部２３に送る。
【００３２】
ガンマ算出部２３は、重み係数λと第１ピーク輝度と第２ピーク輝度と入力画像信号の画素値とを用いて、接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数を算出し、変換部２４に送る。  
変換部２４は、入力画像信号の画素値をガンマ変換関数に応じて変換し、画像信号を出力する。
【００３３】
次に、各部２０〜２４の動作を説明する。図６は画像表示装置２００の動作を示す図である。ステップＳ２０１〜Ｓ２０２、Ｓ２０６〜Ｓ２０９は、第２の実施形態におけるステップＳ２０１〜Ｓ２０２、及び、Ｓ２０６〜Ｓ２０９と同様であるため説明は省略する。
【００３４】
ピーク輝度算出部２０は、接続される表示装置における理想的なピークである第１ピーク輝度ＰＬと実際に設定可能なピーク輝度である第２ピーク輝度ｐｌとを算出し、重み算出部２２に送る（ステップＳ２１０）。
【００３５】
ＰＬは、接続される表示装置における理想的なピーク輝度である。接続される表示装置がＬＣＤのような直視型である場合、ＬＥＤなどの光源を設定可能な最大の明るさに設定した時に表示面上で表現可能な最大輝度とすることが望ましい。また、接続される表示装置がプロジェクタのような投映型である場合、ランプなどの光源を設定可能な最大の明るさに設定した時に投映面上で表現可能な最大輝度とすることが望ましい。
【００３６】
ｐｌは、接続される表示装置における実際に設定可能なピーク輝度である。一般的な表示装置は、発熱や消費電力の点から、実際に表示する際には第１ピーク輝度よりも低いピーク輝度を設定して利用することが多い。実際に表示装置において設定されるピーク輝度をｐｌとして設定することが望ましい。ｐｌは、画像処理装置に接続されている外部装置、及び、ユーザ設定によって設定されてもかまわない。また、例えば光センサが検出した値などからの入力によって設定されても構わない。
【００３７】
以上、ステップＳ２１０のように実際に接続される表示装置のピーク輝度を適切に設定することにより、後段のガンマ算出部において第１ガンマ特性と第２ガンマ特性とに基づくガンマ変換関数の精度が向上し、算出されるガンマ変換関数によって実現される出力画像の階調性とコントラストがより向上するという効果がある。
【００３８】
黒浮き量算出部２１は、接続される表示装置における表示面の黒浮き量ＲＦを算出し、重み算出部２２に送る（ステップＳ２１１）。黒浮き量とは、黒を表示した際に実際に視聴される映像と理想的な黒との間の差異を示す。  
この時、黒浮き量ＲＦは、接続される表示装置に合わせてあらかじめ設定されることが想定される。例えば接続される表示装置がＬＣＤのような直視型である場合、液晶パネルのコントラストに応じた黒浮き量が設定されることが望ましい。その際に、バックライトの明るさを考慮することが望ましい。
【００３９】
また、黒浮き量ＲＦは、接続される表示装置の視聴環境の情報を用いて設定されてもかまわない。一般的に、接続される表示装置がＬＣＤのような直視型である場合、表示面に入射する外光が明るくなることで黒浮き量が増加する。また、接続される表示装置がプロジェクタのような投映型である場合、投映面に入射する外光が明るくなることで黒浮き量が大きく増加する。これらのような状況の場合、表示面、または、投映面に入射する外光強度を光センサやカメラを用いて取得し、その強度に応じて黒浮き量ＲＦを増減させることが望ましい。
【００４０】
このようにステップＳ２１１のようにすることで、接続される表示装置のデバイス特性や視聴環境の外光の明るさに応じた黒浮き量を設定することが可能となる。
【００４１】
重み算出部２２は、画像の明るさ情報を算出し（ステップＳ２０２）、明るさ情報と第１ピーク輝度と第２ピーク輝度と黒浮き量とを用いて、接続される表示装置の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配のどちらに近づけるかを示す重み係数λを算出し、ガンマ算出部２３に送る（ステップＳ２０３）。
【００４２】
この時、第１ピーク輝度ＰＬと第２ピーク輝度ｐｌの差が大きく明るさ情報が明るいほど、より明るさの勾配重視にするようλを設定する。これは、第１ピーク輝度ＰＬと第２ピーク輝度ｐｌの差が大きい時、明るい画像の階調性を高めるためには、接続される表示装置の第２ガンマ特性を第１ガンマ特性の明るさの勾配に近づける必要があるためである。
【００４３】
また、黒浮き量が大きく明るさ情報が暗いことを示すほど、より明るさ重視にするようλを設定する。これは、黒浮き量が大きい時に、暗い画像の黒浮きを抑えるためには、接続される表示装置の第２ガンマ特性を第１ガンマ特性の明るさに近づける必要があるためである。
【００４４】
ガンマ算出部２３は、画像内の画素の画素値から画素値ヒストグラムＨを算出する（Ｓ
２０４）。第２の実施形態におけるステップＳ２０４では、ヒストグラムＨは各画素の画素値の最大値であるｘｍａｘ個のビンを用意することが望ましい。
【００４５】
第１ピーク輝度ＰＬと、第２ピーク輝度ｐｌとヒストグラムＨと重み係数λとを用いて、接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌ(ｘ)を算出し、変換部３４に出力する（Ｓ２０５）。
【００４６】
ガンマ変換関数Ｌ(ｘ)は次式により算出する。
【数４】
2014126782.tif 000006
【００４７】
式（４）のｘは入力映像信号の画素値、ＰＬは前述した第１ピーク輝度、ｐｌは接続される表示装置で実際に設定される第２ピーク輝度である。Ｅ（ｘ）は理想的なピーク輝度がＰＬである場合に、第２ピーク輝度がｐｌの際の画素値がｘである時のガンマ変換関数Ｌ(ｘ)の評価値を示す。Ｒ（ｘ、ＰＬ） は前述した接続される表示装置の第１ガンマにおける画素値ｘの明るさ、ｒ（ｘ、ｐｌ） は前述した接続される表示装置の各領域の第２ガンマにおける画素値ｘの明るさを示す。λは、前記重み係数である。ｗα（ｘ）、ｗα（ｘ）は、第一の実施例に示したヒストグラムＨにおける階調ｘの重みである。式（４）の第１項は第１ガンマと第２ガンマの明るさに関する二乗誤差を表す。本実施形態では、評価値Ｅ（ｘ）が最小になる場合のＬ(ｘ)をガンマ変換関数として出力する（Ｓ２０５）。出力階調Ｌ(ｘ)の具体的な算出方法は、第１の実施形態と同様であるので説明は省略する。
【００４８】
以上のように、本実施形態のステップＳ２０２〜Ｓ２０５、Ｓ２１０〜Ｓ２１１によれば、設定された第１ピーク輝度と第２ピーク輝度とを用いて接続される表示装置の各領域の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌ(ｘ)を出力することで、接続される表示装置や視聴環境が様々に変わった場合でも適切にコントラストと階調性を高めた画像を生成する効果がある。
【００４９】
（第３の実施形態）  
図７は、本実施形態の画像処理装置３００を示す図である。画像処理装置３００は、領域分割部３０、ピーク輝度算出部３１、黒浮き量算出部３２、重み算出部３３、ガンマ算出部３４、変換部３５を有する。ピーク輝度算出部３１、黒浮き量算出部３２は、第２の実施形態の画像処理装置のピーク輝度算出部２０、黒浮き量算出部２１と同様の構成であるため説明を省略する。
【００５０】
領域分割部３０は、入力画像を少なくとも１画素以上の画素を含む２つ以上の複数の領域に区分し、重み算出部３３とガンマ算出部３４に出力する。  
ガンマ算出部３４は、領域分割部３０から出力された複数の領域ごとの入力画像信号の画素の画素値と、重み算出部３３から出力された複数の重み係数λとを用いて、接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数を複数算出し、変換部３４に出力する。
【００５１】
変換部３４は、ガンマ算出部３３から出力された複数のガンマ変換関数を用いて、入力画像信号の画素値を変換し、画像信号を出力する。
【００５２】
次に、各部の動作を説明する。図８は、画像表示装置３００の動作を示す図である。図８において、ステップＳ３０７〜Ｓ３１２は、第２の実施形態の画像処理装置のステップＳ２０６〜Ｓ２１１と同様の構成であるため説明は省略する。
【００５３】
領域分割部３０は、入力画像を受け取り（Ｓ３０１）、入力画像を少なくとも１画素以上の画素を含む２つ以上の複数の領域に区分し、重み算出部２１とガンマ算出部３４に出力する（Ｓ３０２）。
【００５４】
本実施形態では、入力映像信号をｍ×ｎ個の領域に分割する。領域の形状は様々に想定され得る。本実施形態では、水平方向にｍ分割、垂直方向にｎ分割した矩形の領域を想定する。なお、該領域は、人物やオブジェクトごとにクラスタリングした非線形形状の領域であっても構わない。
【００５５】
重み算出部３３は、領域分割部３０より出力されたｍ×ｎの領域ごとに画像の明るさ情報を算出し（Ｓ３０３）、該複数の領域ごとの明るさ情報を用いて、接続される表示装置における各領域の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配のどちらに近づけるかを示す重み係数λｍｎを算出し、ガンマ算出部３４に出力する（Ｓ３０４）。
【００５６】
ステップＳ３０３において、明るさ情報とは、入力画像信号の各領域から得られる明るさと相関する少なくとも一つ以上の情報を表す。明るさ情報は、画像信号内の各領域の1画素以上の領域にわたる複数画素の画素値を用いて、それらの平均、最大、最小、中央値、パーセンタイルなどといった統計演算によって算出されることが望ましい。また、1枚の画像だけではなく、シーケンシャル動画像のように時間的に連続する複数枚の画像から算出されても良い。さらに、空間的に離れた領域において、異なる明るさ情報を算出してもよい。
【００５７】
以上のように、ステップＳ３０１〜Ｓ３０４によれば、入力画像信号の各領域の明るさ情報に応じた重み係数λｍｎを出力する。これにより、前述した第１の実施形態の画像処理装置に比べて、領域ごとの局所的なコントラストと階調性をより細かく制御できる効果がある。
【００５８】
ガンマ算出部３４は、領域分割部３０より出力されたｍ×ｎの領域に存在する画素の画素値から画素値ヒストグラムＨｍｎを算出する（Ｓ３０５）。第２の実施形態におけるステップＳ３０５では、ヒストグラムＨは各画素の画素値の最大値であるｘｍａｘ個のビンを用意することが望ましい。
【００５９】
重み算出部３３より出力された重み係数λｍｎと該ヒストグラムＨｍｎとを用いて接続される表示装置における第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌｍｎ（x）を算出し、変換部３５に送る（Ｓ３０６）。  
ガンマ変換関数Ｌｍｎ（x）は次式により算出する。
【数５】
2014126782.tif 000007
【００６０】
式（４）のｘは入力映像信号の画素値である。Ｅｍｎ（ｘ）は画素値がｘの際のガンマ変換関数Ｌｍｎ(x)の評価値を示す。Ｒ（ｘ） は接続される表示装置の第１ガンマにおける画素値ｘの明るさ、ｒ（ｘ） は前述した接続される表示装置の各領域の第２ガンマにおける画素値ｘの明るさを示す。λは、前記重み係数である。ｗｍｎα（ｘ）、ｗｍｎα（ｘ）は、後述するヒストグラムＨｍｎにおける階調ｘの重みである。式（４）の第１項は第１ガンマと第２ガンマの明るさに関する二乗誤差を表す。式（４）の第１項は第１ガンマの明るさの勾配と第２ガンマの明るさの勾配とに関する二乗誤差を表す。本実施形態では、重み係数λｍｎとヒストグラムＨｍｎとに応じて、各階調ｘにおいてＥｍｎ（ｘ）が最小となるようなガンマ変換関数Ｌｍｎ(x)を算出する。
【００６１】
本実施形態のおけるガンマ変換関数Ｌｍｎ（ｘ）の算出方法は、ｘｍａｘ＝２５６として、まず０階調と２５６階調の内分点である１２８階調に対する出力階調Ｌｍｎ（ｘ０１）を求め、続いて０階調と１２８階調の内分点である６４階調、及び、１２９階調と２５６階調の内分点である１９２階調の出力階調Ｌｍｎ（ｘ１１）、Ｌｍｎ（ｘ１３）を求める。以下、全ての画素値が決まるまで上記処理を繰り返して行う。ここでは、繰り返し処理の階層番号をｌ、入出力階調の位置を示す番号をｐとし、各階層の入力階調をｘｌｐと表すこととする。
【００６２】
今、入力階調ｘｉｐ−１、ｘｉｐ＋１を内分する点ｘｌｐの出力階調Ｌｍｎ（ｘｌｐ）を求めることを考える。このとき、ヒストグラムＨを階調ｘｉｐ−１〜ｘｉｐの頻度と、階調ｘｉｐ〜ｘｉｐ＋１の頻度の二つの部分ヒストグラムで表すことで、階調ｘｉｐ−１〜ｘｉｐ＋１に対する重みｗｍｎα（ｘ）、ｗｍｎβ（ｘ）が次式により算出される。
【数６】
2014126782.tif 000008
【００６３】
この時、Ｈｍｎ（ｉ）は画素値ｉの出現頻度を表す。
【００６４】
以上のように、ステップＳ３０５〜Ｓ３０６によれば、重み係数λと入力画像信号の画素値とを用いて、接続される表示装置における各領域の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数が算出される。この時、ステップＳ３０１〜Ｓ３０４によって重み係数λｍｎが入力画像信号の各領域の明るさ情報に応じて出力されるので、ステップＳ３０５〜Ｓ３０６によって入力画像信号の各領域の明るさ情報に応じて適切にコントラストと階調性の画質を改善するガンマ変換関数が出力される。
【００６５】
変換部３５は、入力画像信号の各画素の画素値を、画素が所属する領域のガンマ変換関数Ｌｍｎ（ｘ）を用いて変換し、画像信号ｆを出力する。本実施形態では、入力映像信号の水平画素位置ｕ、垂直画素位置ｖに対する輝度成分の画素値ｘ（ｕ、ｖ）を階調変換した映像信号ｆ（ｕ、ｖ）は次式によって算出する（Ｓ３０７）。
【数７】
2014126782.tif 000009
【００６６】
画像内の前画素を変換したかを判定する（Ｓ３０８）。変換を行っていない場合（Ｓ３０８、Ｎｏ）、ステップＳ３０９に進む。まだ変換されていない画素を選択しステップＳ３０７に戻る（Ｓ３０９）。変換を行っている場合（Ｓ３０７、Ｙｅｓ）、ステップＳ３１０に進む。
【００６７】
最後に、出力画像信号を出力する （Ｓ３１０）
以上のように、本実施形態の画像処理装置３００によれば、接続される表示装置における各領域の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌｍｎ（ｘ）を各領域の重み係数λｍｎと各領域のヒストグラムＨｍｎとを用いて算出することで、画像の局所領域の明るさ情報が暗く重み係数λｍｎが明るさ重視に設定された場合には局所領域の画像のコントラストが向上し、画像の局所領域の明るさ情報が明るく重み係数λｍｎが明るさの勾配重視に設定された場合に画像の局所領域の階調性が向上する。これにより、接続された表示装置の第２ガンマが第１ガンマよりも狭い場合でも、画像の各領域の明るさ情報に応じて適切にコントラストや階調性が高くなる効果が得られる。
【００６８】
（第４の実施形態）  
図９は、第４の実施形態の画像表示装置４００を示す図である。  
画像表示装置４００は、光センサ４０、領域分割部４１、ピーク輝度算出部４２、黒浮き量算出部４３、重み算出部４４、ガンマ算出部４５、変換部４６、表示部４７を有する。領域分割部４１、重み算出部４４は第３の実施形態の領域分割部３０、重み算出部３３と同様の構成であるため説明を省略する。
【００６９】
光センサ４０は、表示装置に入射する外光の明るさを算出し、ピーク輝度算出部４２と黒浮き算出部４３に出力する。  
ピーク輝度算出部４２は、外光の明るさを用いて、画像表示装置４００における理想的なピークである第１ピーク輝度と、実際に設定可能なピーク輝度である第２ピーク輝度とを算出し、重み算出部４４とガンマ算出部４５に送る。一般的に、表示画像の明るさ感を維持するためには、外光の明るさが明るくなるほど、表示装置の第２ピーク輝度を高くする必要がある。そのため、本実施形態のピーク輝度算出部４２は、外光の明るさが明るくなるほど、第２ピーク輝度を高く算出するよう動作する。
【００７０】
黒浮き量算出部４３は、外光の明るさを用いて、画像表示装置４００における表示面の黒浮き量を算出し、重み算出部４４に出力する。一般的に、外光の明るさが明るくなるほど、表示面での外光反射が増えるため黒浮き量も大きくなる。そのため、本実施形態の黒浮き量算出部４３は、外光の明るさが明るくなるほど、黒浮き量を高く算出するよう動作する。
【００７１】
ガンマ算出部４５は、領域分割部４１から出力された複数の領域ごとの画素の画素値と、重み算出部４４から出力された複数の重み係数λｍｎと、輝度設定部から出力された第１ピーク輝度とを用いて、画像表示装置４００の各領域の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌｍｎ（ｘ）を算出し、変換部４６に出力する。  
変換部４６は、入力画像信号の画素値をガンマ変換関数に応じて変換し、画像信号を表示部４７に出力する。  
表示部５７は、画像信号を表示する。  
以上のように、第４の実施形態によれば、表示装置に入射する外光の明るさに応じてピーク輝度と黒浮き量を動的に算出し、その状況に応じた重み係数を算出する事で、表示装置の視聴環境が様々に変わった場合でも適切にコントラストと階調性を高めた画像を表示することが可能となる。
【００７２】
（第５の実施形態）  
図１０は、第５の実施形態の画像表示装置５００を示す図である。  
画像表示装置５００は、カメラ５０、領域分割部５１、ピーク輝度算出部５２、黒浮き量算出部５３、重み算出部５４、ガンマ算出部５５、変換部５６、投映部５７を有する。領域分割部５１、ピーク輝度算出部５２、黒浮き量算出部５３、重み算出部５４、ガンマ算出部５５、変換部５６、表示部５７は、第４の実施形態の領域分割部４１、ピーク輝度算出部４２、黒浮き量算出部４３、重み算出部４４、ガンマ算出部４５、変換部４６、表示部４７と同様の構成であるため説明を省略する。
【００７３】
カメラ５０は、投映装置が映像を映す投映面の光景を撮影し、撮影された映像から投映面に入射する外光の明るさを算出し、ピーク輝度算出５２と黒浮き量算出部５３とに出力する。外光の明るさＥは次式によって算出する。  
【数８】
2014126782.tif 000010
【００７４】
ここで、xmaxは投映装置で表現可能な最大画素値、xminは投映装置で表現可能な最小画素値、Ｃ（）は投映装置５００による階調xの投映像をカメラ５０で撮影した際のカメラの出力画像である。すなわち、全白投映像と全黒投映像の撮影像の差分を、投映面に入射する外光の明るさとして算出する。
【００７５】
ピーク輝度算出部５２は、外光の明るさＥを用いて、画像表示装置５００における理想的なピークである第１ピーク輝度と、実際に設定可能なピーク輝度である第２ピーク輝度とを算出し、重み算出部５４とガンマ算出部５５に送る。一般的に、投映画像の明るさ感を維持するためには、外光の明るさが明るくなるほど、投映装置の第２ピーク輝度を高くする必要がある。そのため、本実施形態のピーク輝度算出部４２は、外光の明るさが明るくなるほど、第２ピーク輝度を高く算出するよう動作する。
【００７６】
黒浮き量算出部５３は、外光の明るさＥを用いて、画像表示装置５００における投映面の黒浮き量を算出し、重み算出部５４に出力する。一般的に、外光の明るさが明るくなるほど、投映面での外光反射が増えるため黒浮き量も大きくなる。そのため、本実施形態の黒浮き量算出部５３は、外光の明るさが明るくなるほど、黒浮き量を高く算出するよう動作する。
【００７７】
ガンマ算出部５５は、領域分割部５１から出力された複数の領域ごとの画素の画素値と、重み算出部５４から出力された複数の重み係数と、輝度設定部から出力された第１ピーク輝度とを用いて、画像表示装置５００の各領域の第２ガンマ特性を第１ガンマ特性の明るさと明るさの勾配とに近づけるためのガンマ変換関数Ｌｍｎ（ｘ）を算出し、変換部５６に出力する。  
変換部５６は、入力画像信号の画素値をガンマ変換関数に応じて変換し、画像信号を投映部５７に出力する。  
投映部５７は、画像を投映面に投映する。
【００７８】
以上のように、第４の実施形態によれば、投映面に入射する外光の明るさに応じてピーク輝度と黒浮き量を動的に推定し、その状況に応じた重み係数を算出する事で、投映面の環境が様々に変わった場合でも適切にコントラストと階調性を高めた画像を投映することが可能となる。
【００７９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８０】
画像処理装置１００，２００，３００
画像表示装置４００
画像表示装置５００
重み算出部１０，２２，３３，４４，５４
ガンマ算出部１１，２３，３４，４５，５５
変換部１２，２４，３５，４６，５６
ピーク輝度算出部２０，３１，５２
黒浮き量算出部２１，３２，４３，５３
領域分割部３０，４１，５１
光センサ４０，表示部４７，カメラ５０，投映部５７
【図１】
2014126782.tif 000011
【図２】
2014126782.tif 000012
【図３】
2014126782.tif 000013
【図４】
2014126782.tif 000014
【図５】
2014126782.tif 000015
【図６】
2014126782.tif 000016
【図７】
2014126782.tif 000017
【図８】
2014126782.tif 000018
【図９】
2014126782.tif 000019
【図１０】
2014126782.tif 000020