(57)【要約】【課題】表示時の各種要因に応じた最適なダイナミックレンジ圧縮処理を行うことが可能な画像処理装置及び画像表示装置を提供すること。【解決手段】画像データを補正処理する画像処理装置１を次のように構成する。すなわち、画像処理装置１に、画像データを再生表示する際の表示条件を示す表示条件情報に基づいて、画像データを構成する各画素の画素値を補正する為の補正閾値を算出する輝度補正閾値算出部１０と、画像データに平滑化処理を施す画像輝度値平滑化部１２と、平滑化処理された画像データを構成する各画素のうち、画素値が補正閾値未満である補正対象画素の画素値を、補正閾値と同じ値に変換する為の補正係数を算出する輝度補正係数算出部１６と、補正対象画素の画素値と、補正対象画素に対応する補正係数と、を乗算して出力画像データを生成する輝度補正係数乗算部２０と、を具備させる。【選択図】図１
2011081034.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データを補正処理する画像処理装置であって、
ディスプレイの反射輝度に基づいて輝度補正閾値を算出する補正閾値算出部と、
画像データの画素のうち前記補正閾値算出部によって算出された輝度補正閾値未満の輝度値を有する画素に対して前記輝度補正閾値以上の値となるよう輝度値を補正する補正部とを具備することを特徴とする画像処理装置。
【請求項２】
前記補正閾値算出部は、画像データの画素のうち前記補正閾値算出部によって算出された輝度補正閾値未満であって所定の閾値以上の輝度値を有する画素に対して前記輝度補正閾値以上の値となるよう輝度値を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力された画像データを補正処理する画像処理装置であって、
前記画像データを再生表示する際の表示条件を示す表示条件情報に基づいて、前記画像データを構成する各画素の画素値を補正する為の補正閾値を算出する補正閾値算出部と、
画像データを構成する各画素のうち、画素値が前記補正閾値未満である補正対象画素の画素値を、前記補正閾値以上の値に変換する為の補正係数を算出する補正係数算出部と、
前記補正対象画素の画素値と、前記補正対象画素に対応する補正係数と、を乗算して出力画像データを生成する補正部と、
を具備することを特徴とする画像処理装置。
【請求項４】
前記補正部により生成された前記出力画像データは、表示パネルと、該表示パネルを照射するバックライトと、を備える表示手段に出力され、
前記画像処理装置は、
前記表示手段が備える前記バックライトの輝度を示す輝度データを取得する輝度データ取得部と、
前記表示手段が置かれた環境の照度を検出して照度データを生成する照度センサと、前記表示パネルのパネル反射率を示すパネル反射率データを保持するパネル反射率記憶部と、
を備え、
前記表示条件情報は、前記輝度データ、前記照度データ、及び前記パネル反射率データである
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記入力された画像データを構成する各画素について、画素値を前記補正閾値に基づいて制限する処理を施すクリップ処理部を含み、
前記平滑化部は、前記クリップ処理部により処理を施された画像データに平滑化処理を施す
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
入力された画像データを補正処理して表示する画像表示装置であって、
前記画像データを再生表示する際の表示条件を示す表示条件情報に基づいて、前記画像データを構成する各画素の画素値を補正する為の補正閾値を算出する補正閾値算出部と、
前記画像データに平滑化処理を施す平滑化部と、
前記平滑化部により平滑化処理を施された画像データを構成する各画素のうち、画素値が前記補正閾値未満である補正対象画素の画素値を、前記補正閾値と同じ値に変換する為の補正係数を算出する補正係数算出部と、
前記補正対象画素の画素値と、前記補正対象画素に対応する補正係数と、を乗算して出力画像データを生成する補正部と、
前記補正部により生成された出力画像データを表示する表示部と、
を具備することを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像データを補正処理する画像処理装置及び画像表示装置に関する。
【背景技術】
【０００２】
従来より、撮影画像に対してダイナミックレンジ圧縮処理を施すデジタルカメラが知られている。これに関連する技術としては、例えば特許文献１に次のような技術が開示されている。
【０００３】
すなわち、特許文献１には、被写体を撮影するための撮像装置であって、撮影された画像を第１の画像モードと第２の画像モードとで処理可能な処理手段と、撮影された画像のダイナミックレンジを、高品質に圧縮処理する第１のダイナミックレンジ圧縮手段と、高速に圧縮処理する第２のダイナミックレンジ圧縮手段と、前記第１の画像モードにおいては前記第１のダイナミックレンジ圧縮手段を選択し、前記第２の画像モードにおいては前記第２のダイナミックレンジ圧縮手段を選択する圧縮処理選択手段とを備えたことを特徴とする撮像装置が開示されている。
【０００４】
この特許文献１に開示されている技術によれば、撮影画像の記録時に被写体における明部についてダイナミックレンジ圧縮処理を行って暗部の階調を品質向上させ、明暗の差が大きな被写体を、或る程度適切に記録することができる。
【０００５】
また、特許文献１に開示されている技術によれば、ディスプレイにプレビュー画像を表示させる際に、当該プレビュー画像と前記ダイナミックレンジ圧縮処理を施されて記録された撮影画像との差異を小さくする為に、所定のダイナミックレンジ圧縮処理を施した撮影画像をプレビュー画像としてディスプレイに表示させる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１８０７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、画像データを適切に記録・表示する為には、人間の視覚のダイナミックレンジと、撮像素子やディスプレイのダイナミックレンジと、の間に非常に大きな差があることを鑑みて、ダイナミックレンジ圧縮処理を行わなければならない。
【０００８】
さらに言えば、人間の視覚のダイナミックレンジは、例えばディスプレイ面における外光反射に応じて変化する。また、ディスプレイのバックライトの輝度、及びディスプレイが置かれている環境の照度も、当然ながら人間の視覚のダイナミックレンジに影響を与えている。
【０００９】
従って、ディスプレイに表示された画像は、その表示時の各種要因によっては、視認性が大きく低下してしまう（当該画像を構成する各画素間の階調差を視覚的に認識することが困難になる）。換言すれば、ダイナミックレンジ圧縮処理による効果を得ることができない場合がある。
【００１０】
具体的には、例えばディスプレイに表示された画像の輝度がディスプレイ面（パネル面）での反射輝度を下回った場合、当該画像は階調が潰れて見える為、視認性が大幅に低下する。
【００１１】
つまり、表示させる画像についてダイナミックレンジ圧縮処理を行う場合には、表示時の各種要因に応じた最適なダイナミックレンジ圧縮処理を行う必要がある。
【００１２】
なお、特許文献１に開示されている技術では、このような課題を考慮していない。
【００１３】
本発明は、前記の事情に鑑みて為されたものであり、表示時の各種要因に応じた最適なダイナミックレンジ圧縮処理を行うことが可能な画像処理装置及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記の目的を達成するために、本発明の第１の態様に係る画像処理装置は、入力された画像データを補正処理する画像処理装置であって、ディスプレイの反射輝度に基づいて輝度補正閾値を算出する補正閾値算出部と、画像データの画素のうち前記補正閾値算出部によって算出された輝度補正閾値未満の輝度値を有する画素に対して前記輝度補正閾値以上の値となるよう輝度値を補正する補正部と
を具備することを特徴とする。
【００１５】
前記の目的を達成するために、本発明の第２の態様に係る画像表示装置は、
入力された画像データを補正処理して表示する画像表示装置であって、
前記画像データを再生表示する際の表示条件を示す表示条件情報に基づいて、前記画像データを構成する各画素の画素値を補正する為の補正閾値を算出する補正閾値算出部と、
前記画像データに平滑化処理を施す平滑化部と、
前記平滑化部により平滑化処理を施された画像データを構成する各画素のうち、画素値が前記補正閾値未満である補正対象画素の画素値を、前記補正閾値と同じ値に変換する為の補正係数を算出する補正係数算出部と、
前記補正対象画素の画素値と、前記補正対象画素に対応する補正係数と、を乗算して出力画像データを生成する補正部と、
前記補正部により生成された出力画像データを表示する表示部と、
を具備することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、表示時の各種要因に応じた最適なダイナミックレンジ圧縮処理を行うことが可能な画像処理装置及び画像表示装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置の一構成例を示す図。
【図２】本発明の一実施形態に係る画像処理装置によるダイナミックレンジ圧縮処理のフローチャートを示す図。
【図３Ａ】入力画像データの一例を示す図。
【図３Ｂ】クリップ画像データの一例を示す図。
【図３Ｃ】平滑化画像データの一例を示す図。
【図４】イメージ化した輝度補正係数の一例を示す図。
【図５】輝度補正係数特性の一例を示す図。
【図６】出力画像データの一例を示す図。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態に係る画像処理装置及び画像表示装置について説明する。
【００１９】
図１は、本一実施形態に係る画像処理装置を具備する画像表示装置の一構成例を示す図である。図１に示すように、画像表示装置は、本一実施形態に係る画像処理装置１と、画像処理装置１に画像データを入力する画像データ入力部１００と、画像表示装置全体を統括的に制御する制御部１１０と、画像処理装置１から出力された画像データを表示する表示部１２０と、を具備する。
【００２０】
前記画像処理装置１は、入力画像バッファ２と、バックライト４と、照度センサ６と、パネル反射率記憶部８と、輝度補正閾値算出部１０と、画像輝度値平滑化部１２と、平滑化画像バッファ１４と、輝度補正係数算出部１６と、輝度補正係数バッファ１８と、輝度補正係数乗算部２０と、出力画像バッファ２２と、を有する。
【００２１】
前記入力画像バッファ２は、画像データ入力部１００から入力された画像データを記憶する。
【００２２】
前記バックライト４は、例えば透過型或いは半透過型の液晶ディスプレイから成る表示部１２０を、その背面側から照射する発光部材である。このバックライト４は、その発光輝度を示す輝度データを生成して、輝度補正閾値算出部１０に出力する。なお、携帯電話機等に代表されるモバイル機器には、液晶ディスプレイが搭載されることが多く、液晶ディスプレイは通常バックライトを必要とする。以降、液晶ディスプレイを、単にディスプレイと略称する。
【００２３】
前記照度センサ６は、当該画像処理装置１（或いは当該画像処理装置を具備する画像表示装置）の周囲の環境の明るさを検出し、該検出結果を照度データとして輝度補正閾値算出部１０に出力する。
【００２４】
前記パネル反射率記憶部８は、当該画像処理装置１により処理された画像データを表示するディスプレイのパネル反射率を示すパネル反射率データを記憶する。
【００２５】
前記輝度補正閾値算出部１０は、バックライト４から出力された輝度データと、照度センサ６から出力された照度データと、パネル反射率記憶部８から出力されたパネル反射率データと、に基づいて、輝度補正閾値を算出する。具体的には、この輝度補正閾値算出部１０は、照度データとパネル反射率データとに基づいてディスプレイにおけるパネル表面の反射輝度を算出し、このパネル表面の反射輝度とバックライト４の輝度データとに基づいて輝度補正閾値を算出する。なお、輝度補正閾値の算出方法は、後に詳述する。
【００２６】
前記画像輝度値平滑化部１２は、後述するクリッピング処理及び平滑化処理を、画像データに対して施す。
【００２７】
前記平滑化画像バッファ１４は、画像輝度値平滑化部１２から出力された画像データを記憶する。
【００２８】
前記輝度補正係数算出部１６は、平滑化画像バッファ１４に記憶された画像データを構成する画素を順次取り出し、後述する輝度補正係数を算出して輝度補正係数バッファ１８に出力する。この輝度補正係数とは、画像データを構成する画素の画素値（本例においては輝度値を意味する；以降同様）が前記輝度補正閾値未満の値である場合には、当該画素の画素値を前記輝度補正閾値と同じ値に変換する為の乗算係数である。なお、平滑化画像バッファ１４から取り出した画素の画素値が前記輝度補正閾値以上の場合には、当該画素についての輝度補正係数を１とする。
【００２９】
前記輝度補正係数バッファ１８は、輝度補正係数算出部１６から出力された輝度補正係数を記憶する。
【００３０】
前記輝度補正係数乗算部２０は、入力画像バッファ２に記憶された画像データを構成する画素を順次取り出し、且つ、該画素に対応する画素の輝度補正係数を輝度補正係数バッファ１８から順次取り出し、当該画素について、画素値と輝度補正係数とを乗算して出力画像バッファ２２に出力する。
【００３１】
以下、本一実施形態に係る画像処理装置によるダイナミックレンジ圧縮処理について説明する。図２は、本一実施形態に係る画像処理装置によるダイナミックレンジ圧縮処理のフローチャートを示す図である。同図に示すように、本処理は、“輝度補正係数算出に係る処理Ａ（ステップＳ１〜ステップＳ５）”と、“出力画像データ生成に係る処理Ｂ（ステップＳ６〜ステップＳ７）”と、に大別される。
【００３２】
まず、輝度補正閾値算出部１０は、照度データとパネル反射率データとを乗算して算出したディスプレイにおけるパネル表面の反射輝度と、バックライト４の輝度データと、に基づいて、輝度補正閾値を算出する（ステップＳ１）。
【００３３】
具体的には、前記ディスプレイについて、例えばパネル表面の反射輝度を１４［ｃｄ］とし、バックライト４の輝度を３００［ｃｄ］とし、ガンマ値を２．２とし、階調表現能力を８Ｂｉｔ（最大階調２５５）と想定した場合、輝度補正閾値は、
【数１】
2011081034.tif 000003
【００３４】
として算出することができる。なお、この輝度補正閾値（上限）ＴｈＭＡｘの値は、反射輝度に相当する画素値でもある。
【００３５】
ここで、前記（式１）は、一般化すると、
ＴｈＭａｘ＝最大階調×(反射輝度÷バックライト輝度)＾(1÷ガンマ値)…(式１)´
と表される。
【００３６】
続いて、画像輝度値平滑化部１２は、入力画像バッファ２から画像データ（図３Ａに示す入力画像データ）を構成する画素の画素値を取り出し、該画素値を輝度補正閾値（上限）ＴｈＭＡｘに基づいて次式によってクリップ処理し、（輝度補正閾値（上限）ＴｈＭａｘの値よりも大きい画素値を、当該輝度補正閾値（上限）ＴｈＭａｘの値に制限し）、図３Ｂに示すクリップ画像データを生成する。
【数２】
2011081034.tif 000004
【００３７】
ここで、ｉｎ［ｉ，ｊ］は入力画像データを構成する各画素の画素値を示し、Ｃｌｉｐ［ｉ，ｊ］はクリップ画像データを構成する各画素の画素値を示している。
【００３８】
なお、このクリップ処理は必須の処理ではない。しかしながら、このクリップ処理を行うことにより、輝度の補正が必要な画素の近傍に明るい画素（輝度が大きい画素）が存在する場合に、後述する平滑化処理後における“当該輝度の補正が必要な画素”の画素値が不用意に高くなってしまうことを防止することができる。
【００３９】
さらに、画像輝度値平滑化部１２は、クリップ適像データを次式によって平滑化処理し、図３Ｃに示す平滑化画像データを生成して平滑化画像バッファ１４に出力する（ステップＳ２）。
【数３】
2011081034.tif 000005
【００４０】
ここで、Ｂｌｕｒ［ｉ，ｊ］は平滑化画像データを構成する各画素の画素値であり、ｆ（ｘ、ｙ）はガウス関数である。
【００４１】
なお、本例ではｆ（ｘ，ｙ）を正規分布関数としているが、平滑化処理可能であれば他の形状の関数であっても勿論よい。
【００４２】
ところで、制御部１１０は、当該画像処理装置１に入力された画像データを構成する全画素についてステップＳ１及びステップＳ２における処理を行ったか否かを判断する（ステップＳ３）。このステップＳ３をＮＯに分岐する場合は、前記ステップＳ２に戻る。
【００４３】
このステップＳ３をＹＥＳに分岐する場合、輝度補正係数算出部１６は、平滑化画像データを構成する各画素の画素値（Ｂｌｕｒ［ｉ，ｊ］）と、輝度補正閾値（上限）ＴｈＭａｘと、輝度補正閾値（下限）ＴｈＭｉｎと、に基づいて、次式によって各画素の輝度補正係数ａ［ｉ，ｊ］を算出し（ステップＳ４）、輝度補正係数バッファ１８に出力する。
【数４】
2011081034.tif 000006
【００４４】
なお、輝度補正閾値（下限）ＴｈＭｉｎの値は、雑音成分の伸張を抑える為の閾値であり、入力画像データの品質に応じて予め決定しておく。具体的には、本一実施形態に係る画像処理装置または画像表示装置を例えばカメラにおけるプレビュー表示に適用する場合、カメラ系（撮像系）で混入するノイズは敢えて見えるように輝度補正閾値（下限）ＴｈＭｉｎを設定することも考えられるし、例えば動画クリップのような圧縮画像に適用する場合、符号化ノイズを見えないように当該輝度補正閾値（下限）ＴｈＭｉｎを高めにすることも考えられる。つまり、輝度補正閾値（下限）ＴｈＭｉｎの値は、その用途や圧縮率等によって適宜設定する必要がある。さらに圧縮率についても、2次加工されている画像に適用する場合には様々な圧縮歪みが混入していることを鑑みると、輝度補正閾値（下限）ＴｈＭｉｎを１つの数式によって表現することは現状では困難であり、実際には例えば目視等によって調整する方法等によって算出することになる。
【００４５】
このようにして算出された輝度補正係数ａ［ｉ，ｊ］は、以降の処理において出力画像データを算出する為の係数として用いられるが、イメージ化すると例えば図４に示すように表される。
【００４６】
ここで、前記（式５）で算出される輝度補正係数ａ［ｉ，ｊ］は、図５に示す特性（補正係数特性）を有する。後述するステップＳ６においては、図５に示す補正係数特性に基づいて、入力画像データを構成する各画素の画素値を変換して、出力画像データを構成する各画素の画素値を算出する。
【００４７】
ところで、制御部１１０は、平滑化画像データを構成する全画素についてステップＳ４における処理を行ったか否かを判断する（ステップＳ５）。このステップＳ５をＮＯに分岐する場合は、前記ステップＳ４に戻る。
【００４８】
このステップＳ５をＹＥＳに分岐する場合、輝度補正係数乗算部２０は、入力画像バッファから２から入力画像データを構成する画素の画素値を順次取り出し、且つ、該画素に対応する輝度補正係数を輝度補正係数バッファ１８から取り出し、それらを次式で示すように乗算し、出力画像データを構成する各画素の画素値ｏｕｔ［ｉ，ｊ］を生成して出力画像バッファ２２に出力する（ステップＳ６）。
【数５】
2011081034.tif 000007
【００４９】
そして、制御部１１０は、入力画像データを構成する全画素についてステップＳ６における処理を行ったか否かを判断する（ステップＳ７）。このステップＳ７をＮＯに分岐する場合は、前記ステップＳ６に戻る。他方、このステップＳ７をＹＥＳに分岐する場合は、当該画像処理を終了する。このとき、出力画像データ（図６参照）を構成する全画素の画素値が算出され、出力画像バッファ２２に格納されている。
【００５０】
以上、説明の便宜上、モノクロの画像データを想定して本一実施形態に係る画像処理装置によるダイナミックレンジ圧縮処理について説明したが、カラーの画像データについても適用できることは勿論である。以下、上述した一連のダイナミックレンジ圧縮処理をカラーの画像データに適用する場合の一例を説明する。なお、説明の重複を避ける為、相違点のみを説明する。
【００５１】
カラー表示における１画素は、周知の通りＲＧＢの３画素により構成されている。従って、カラー画像データを構成する各画素の画素値を算出する場合は、ＲＧＢの各画素の最大値をとる、或いは、ＲＧＢの各画素の平均値をとる、等の方法により各画素の画素値を算出すればよい。その他の処理においては、このようにして算出した画素値を利用して、
上述した処理をＲＧＢの各画素に適用すればよい。
【００５２】
具体的には、入力画像データを構成する各画素の画素値ｉｎ［ｉ，ｊ］を構成するＲＧＢそれぞれの画素の画素値をｉｎ［ｉ，ｊ］.Ｒ、ｉｎ［ｉ，ｊ］.Ｇ、ｉｎ［ｉ，ｊ］.Ｂとすると、上述した（式２）を次式に置き換える。
【数６】
2011081034.tif 000008
【００５３】
さらに、上述した（式６）を次式に置き換える。
【数７】
2011081034.tif 000009
【００５４】
なお、上述したようにＲＧＢ各画素の最大値をとって画素値を算出する方法は、表示画像が原色に近い色である場合にはより有効な方法となる。
【００５５】
以上説明したように、本一実施形態によれば、表示時の各種要因に応じた最適なダイナミックレンジ圧縮処理を行うことが可能な画像処理装置及び画像表示装置を提供することができる。具体的には、例えば次のような効果を得ることができる。
【００５６】
・視聴環境の明るさに応じて変化するディスプレイの光学的なダイナミックレンジに合わせてダイナミックレンジ圧縮処理の圧縮特性を変更することで、効果的なダイナミックレンジ圧縮処理を実現した。
【００５７】
・ディスプレイに表示される画像の輝度を、ディスプレイのパネル表面の反射輝度を上回るように補正処理する。すなわち、画像データにおいて前記反射輝度以下となる画素を抽出し、前記反射輝度以上になるように明るさを補正処理することで、視聴環境に応じた最適なダイナミックレンジ圧縮処理が実現した。
【００５８】
・ダイナミックレンジ圧縮処理の最終目的をディスプレイの階調表現能力に合わせることとする従来の技術と比較して、外光要因が大きい環境においても階調潰れ等が生じにくく、良好な画像表示が可能となる。このことは、携帯電話機等に代表されるモバイル機器にとっては特に格別な効果であると言える。
【００５９】
・視聴環境に応じたダイナミックレンジ圧縮処理を行う為、従来の技術を用いた場合には表示時にディスプレイのパネルの反射輝度よりも暗い為に視認性が悪くなってしまう画像データを、最適に明るく変換して表示することができる。
【００６０】
・画像データを表示させるディスプレイのダイナミックレンジだけでなく、外光により変動する鑑賞者のダイナミックレンジにも基づいて、画像データの補正処理を行う為、ディ
スプレイ及び鑑賞環境の双方に基づいた最適な表示画像を生成することができる。
【００６１】
・従来の画像処理装置が備えているγ補正を行う為の回路をそのまま利用して上述した処理を行うことができる。従って、本一実施形態によれば構造の複雑化を招かない。
【００６２】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。
【００６３】
さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００６４】
１…画像処理装置、２…入力画像バッファ、４…バックライト、６…照度センサ、８…パネル反射率記憶部、１０…輝度補正閾値算出部、１２…画像輝度値平滑化部、１４…平滑化画像バッファ、１６…輝度補正係数算出部、１８…輝度補正係数バッファ、２０…輝度補正係数乗算部、２２…出力画像バッファ、１００…画像データ入力部、１１０…制御部、１２０…表示部。
【図１】
2011081034.tif 000010
【図２】
2011081034.tif 000011
【図３Ａ】
2011081034.tif 000012
【図３Ｂ】
2011081034.tif 000013
【図３Ｃ】
2011081034.tif 000014
【図４】
2011081034.tif 000015
【図５】
2011081034.tif 000016
【図６】
2011081034.tif 000017