(57)【要約】【課題】シーンに応じて、副作用なく高いコントラスト補正効果を得ることができるようにする。【解決手段】輝度信号から第一の輝度ゲインマップを生成するとともに、前記輝度信号を縮小した輝度縮小信号から第二の輝度ゲインマップを生成する。一方で、赤外信号から第一の赤外ゲインマップを生成するとともに、前記赤外信号を縮小した赤外縮小信号から第二の赤外ゲインマップを生成する。そして、被写体情報に基づいて、前記第一の輝度ゲインマップと前記第二の輝度ゲインマップとの第一の合成比率、および前記第一の赤外ゲインマップと前記第二の赤外ゲインマップとの第二の合成比率を算出して、その合成比率でそれぞれ合成し、ゲイン処理を行うためのゲインマップを生成する。【選択図】図２
2020182163.tif 000002
【特許請求の範囲】
【請求項１】
画像データに係る輝度信号および赤外信号を取得する取得手段と、
前記輝度信号から第一の輝度ゲインマップを生成するとともに、前記輝度信号を縮小した輝度縮小信号から第二の輝度ゲインマップを生成する第一の生成手段と、
前記赤外信号から第一の赤外ゲインマップを生成するとともに、前記赤外信号を縮小した赤外縮小信号から第二の赤外ゲインマップを生成する第二の生成手段と、
前記画像データの被写体情報に基づいて、前記第一の輝度ゲインマップと前記第二の輝度ゲインマップとの第一の合成比率、および前記第一の赤外ゲインマップと前記第二の赤外ゲインマップとの第二の合成比率を算出する算出手段と、
前記算出手段によって算出された第一及び第二の合成比率に基づき、前記画像データに対してゲイン処理を行うためのゲインマップを生成する第三の生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体情報は、前記画像データの撮影モードに係る情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影モードが人物撮影を目的としたモードである場合に、前記算出手段は、前記第二の輝度ゲインマップの合成比率を高めるように前記第一の合成比率を算出するとともに、前記第二の赤外ゲインマップの合成比率を高めるように前記第二の合成比率を算出し、
前記第三の生成手段は、前記第一の合成比率で合成されたゲインマップの符号を反転することによって前記ゲイン処理を行うためのゲインマップを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮影モードが風景撮影を目的としたモードである場合に、前記算出手段は、前記第一の輝度ゲインマップの合成比率を高めるように前記第一の合成比率を算出するとともに、前記第一の赤外ゲインマップの合成比率を高めるように前記第二の合成比率を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記撮影モードが人物撮影を目的としたモードおよび風景撮影を目的としたモード以外のモードである場合に、前記第三の生成手段は、前記算出手段によって算出された第一の合成比率に基づいて前記第一の輝度ゲインマップと前記第二の輝度ゲインマップとを合成したゲインマップを、前記ゲイン処理を行うためのゲインマップとして生成することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記取得手段は、赤外信号用フィルタを備えた撮像素子を介して前記赤外信号を取得することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、赤外素子を介して前記赤外信号を取得することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項８】
画像データに係る輝度信号および赤外信号を取得する取得工程と、
前記輝度信号から第一の輝度ゲインマップを生成するとともに、前記輝度信号を縮小した輝度縮小信号から第二の輝度ゲインマップを生成する第一の生成工程と、
前記赤外信号から第一の赤外ゲインマップを生成するとともに、前記赤外信号を縮小した赤外縮小信号から第二の赤外ゲインマップを生成する第二の生成工程と、
前記画像データの被写体情報に基づいて、前記第一の輝度ゲインマップと前記第二の輝度ゲインマップとの第一の合成比率、および前記第一の赤外ゲインマップと前記第二の赤外ゲインマップとの第二の合成比率を算出する算出工程と、
前記算出工程において算出された第一及び第二の合成比率に基づき、前記画像データに対してゲイン処理を行うためのゲインマップを生成する第三の生成工程と、
を備えることを特徴とする画像処理方法。
【請求項９】
画像データに係る輝度信号および赤外信号を取得する取得工程と、
前記輝度信号から第一の輝度ゲインマップを生成するとともに、前記輝度信号を縮小した輝度縮小信号から第二の輝度ゲインマップを生成する第一の生成工程と、
前記赤外信号から第一の赤外ゲインマップを生成するとともに、前記赤外信号を縮小した赤外縮小信号から第二の赤外ゲインマップを生成する第二の生成工程と、
前記画像データの被写体情報に基づいて、前記第一の輝度ゲインマップと前記第二の輝度ゲインマップとの第一の合成比率、および前記第一の赤外ゲインマップと前記第二の赤外ゲインマップとの第二の合成比率を算出する算出工程と、
前記算出工程において算出された第一及び第二の合成比率に基づき、前記画像データに対してゲイン処理を行うためのゲインマップを生成する第三の生成工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、局所的に画像のコントラストを向上させるために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、部分毎に異なるゲインをかけて局所的に画像のコントラストを向上させるローカルトーンマッピングという技術が知られている。このような技術として、特許文献１には、入力画像の画素値に対して解像度変換を繰り返すことによって複数段階の画素値を生成し、入力画像の画素値と段階毎の画素値との差分に基づき、段階毎に入力画像の画素値を補正する技術が開示されている。この技術によれば、その補正された画素値を有する段階毎の解像度の画像データの、各解像度に応じた高周波成分を利用して、入力画像の画素値が強調された画像を生成することができるとしている。
【０００３】
また、特許文献２には、デジタル画像を生成するように働く画素と、主に前記デジタル画像の少なくとも１つの領域上の少なくとも２つの色の間の相対鮮鋭度を測定するように働く他の画素とを利用して、画像の鮮鋭度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−６８３３０号公報
【特許文献２】特開２０１５−１９３７８号公報
【特許文献３】特開２００６−２３７７３７号公報
【特許文献４】特開２０１８−１２９６０９号公報
【特許文献５】特開２０１４−１５４１０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の処理は、入力画像の波長を考慮した処理を行っていないため、例えば針葉樹の葉のように可視光領域の信号が少ない被写体の場合には十分なコントラスト向上効果を与えることができないことがある。また、人の肌におけるシミのような特定領域のみのコントラストを低下する美肌処理に応用すると、シミ以外の被写体に美肌処理が適用されるため、シミ以外の部分がぼやける副作用が発生することがある。
【０００６】
特許文献２に記載の処理は、デジタル画像を生成するために働く画素の少なくとも２つの色の相対鮮鋭度の差が小さい場合、つまり２つの色の焦点位置の差が小さい場合は、画像の鮮鋭度を向上することができない。
【０００７】
本発明は前述の問題点に鑑み、シーンに応じて、適切かつ高いコントラスト補正効果を得ることができるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、画像データに係る輝度信号および赤外信号を取得する取得手段と、前記輝度信号から第一の輝度ゲインマップを生成するとともに、前記輝度信号を縮小した輝度縮小信号から第二の輝度ゲインマップを生成する第一の生成手段と、前記赤外信号から第一の赤外ゲインマップを生成するとともに、前記赤外信号を縮小した赤外縮小信号から第二の赤外ゲインマップを生成する第二の生成手段と、前記画像データの被写体情報に基づいて、前記第一の輝度ゲインマップと前記第二の輝度ゲインマップとの第一の合成比率、および前記第一の赤外ゲインマップと前記第二の赤外ゲインマップとの第二の合成比率を算出する算出手段と、前記算出手段によって算出された第一及び第二の合成比率に基づき、前記画像データに対してゲイン処理を行うためのゲインマップを生成する第三の生成手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、シーンに応じて、適切かつ高いコントラスト補正効果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における画像処理装置の内部構成例を示すブロック図である。
【図２】ローカルコントラスト調整部の詳細な構成例を示すブロック図である。
【図３】ゲインマップの補正処理の詳細な手順の一例を示すフローチャートである。
【図４】ゲインマップを説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態について説明する。
【００１２】
（画像処理装置１００の基本構成）
図１は、本実施形態における画像処理装置１００の内部構成例を示すブロック図である。本実施形態では、画像処理装置の一例としてデジタルカメラに適用する例について説明する。
画像処理装置１００において、絞り、レンズ等の光学系１０１により撮像素子１０２上に被写体光が結像され、光電変換されて電気信号となって撮像素子１０２から出力される。撮像素子１０２は、例えば、一般的な原色カラーフィルタに加えて赤外信号用フィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）、の各バンドに対応する色プレーンを撮影する。赤外信号用フィルタは８５０ｎｍ近傍に透過主波長帯を持ち、ＩＲ（赤外）のバンドに対応する色プレーンを撮影する。
【００１３】
単板カラー撮像素子では、この色フィルタと赤外信号用フィルタとが画素毎にモザイク状に空間的に配列されており、各画素が単一の色プレーンにおける強度を得るので、撮像素子１０２からは色モザイク画像が出力されることになる。Ａ／Ｄ変換部１０３は、撮像素子１０２により得られた電気信号をデジタル形式の画像データに変換し、現像処理部１０４に出力する。本実施形態では、この時点で１２ｂｉｔの画像データが画素毎に生成される。
【００１４】
現像処理部１０４は、画像データに対して、画素補間処理、輝度信号処理、及び色信号処理などの一連の現像処理を行う。本実施形態では、画素補間処理によって、画像データの各画素に対するＲ、Ｇ、Ｂ、ＩＲの情報が取得される。赤外受光画素を有した撮像素子からＲ、Ｇ、Ｂ、ＩＲの情報を取得する方法については、例えば特許文献３に記載されているような公知の技術を用いる。現像処理部１０４は、Ｒ、Ｇ、Ｂの色空間を８ｂｉｔの輝度（Ｙ）データ、色差（Ｕ、Ｖ）データの色空間に変換し、ＹＵＶデータとして出力する。また、ＩＲについては８ｂｉｔに変換し、赤外信号として出力する。
【００１５】
赤外情報取得部１１２は、画像データの各画素に対する赤外情報（赤外信号）を取得する。本実施形態では、赤外情報取得部１１２は、現像処理部１０４から出力される被写体の赤外信号を赤外情報として取得する。但し、本実施形態はこれに限定されるものではなく、例えば、撮影画像を取得するための撮像素子とは別に赤外素子を設け、その赤外素子を利用するなどにより、Ａ／Ｄ変換部１０３から出力される画像データを用いずに赤外信号を取得しても構わない。
【００１６】
ローカルコントラスト調整部１０５は、現像処理部１０４から出力される画像データに対して、後述するローカルコントラスト調整処理を施す。なお、ローカルコントラスト調整部１０５の詳細な構成については後述する。
【００１７】
信号処理部１０６は、ローカルコントラスト調整処理がなされた画像データに対して、リサイズ処理などを行い、出力部１０７へ供給する。出力部１０７は、画像データをＨＤＭＩ（登録商標）などの出力インタフェースへ出力したり、半導体メモリカードなどの記録メディアへ記録したり、画像処理装置１００の表示装置（図示せず）へ出力したりする。
【００１８】
ＵＩ部１０９は、スイッチ、ボタン、表示装置（図示せず）に設けられたタッチパネルなどの入力機器であり、ユーザによる指示などの外部からの操作は、ＵＩ部１０９を介して画像処理装置１００へ入力される。
【００１９】
制御部１１０は、バス１０８を介して各部を制御し、また適宜必要な演算処理を行う。また、制御部１１０は、ＵＩ部１０９を介した入力信号を受けて演算を行ったり、各部を制御したりする。
【００２０】
メモリ１１１は、各処理部で用いられる画像データや、絞り値、シャッタースピード、撮影モード、ＩＳＯ感度、ホワイトバランスゲイン値、ｓ−ＲＧＢなどの色域の設定などの撮影時情報を記憶する。記憶されている撮影時情報は、制御部１１０の指示によって適宜読み出され、被写体情報として使用される。図１に示す各構成要素は、バス１０８を介して互いに通信可能に接続されている。
【００２１】
（ローカルコントラスト調整処理の詳細）
以下、図２を参照して、本実施形態に係る画像処理装置１００においてローカルコントラスト調整処理を行うための詳細な構成について説明する。本実施形態では、画像データを用いて生成したゲインマップと赤外信号を用いて生成した赤外ゲインマップとを被写体情報に応じて補正することで、副作用なく高いコントラスト補正効果を画像データに与えるゲインマップを生成する。ここで、ゲインマップとは、図４に示すように、画面の位置に応じて適用するゲインが決められた画像を指す。
【００２２】
本実施形態のローカルコントラスト調整部１０５は、入力された画像データに対しゲイン処理を行い、処理後の画像データを出力する。なお、本実施形態のローカルコントラスト調整処理で入出力する画像データは輝度信号によって構成される。
【００２３】
図２は、ローカルコントラスト調整部１０５の詳細な構成例を示すブロック図である。
縮小画像生成部２０２は、入力信号（輝度信号）に対して縮小処理を行って低周波成分の輝度縮小信号を生成する。赤外縮小画像生成部２０６は、赤外情報取得部１１２から入力された赤外信号に対して縮小処理を行って低周波成分の赤外縮小信号を生成する。縮小処理の方法については、バイリニア法を用いた縮小処理など一般的な方法を用いる。
【００２４】
第一のゲイン変換部２０１は、輝度信号に対して第一の階調特性を適用することで第一の輝度ゲインマップを生成する。第二のゲイン変換部２０３は、輝度縮小信号に対して第一の階調特性を適用することで第二の輝度ゲインマップを生成する。第一の赤外ゲイン変換部２０５は、赤外信号に対して第一の階調特性を適用することで第一の赤外ゲインマップを生成する。第二の赤外ゲイン変換部２０７は、赤外縮小信号に対して第一の階調特性を適用することで第二の赤外ゲインマップを生成する。入力信号からゲインマップを生成する方法については、特許文献４に記載のような、本来階調処理で適用したい特性に対し、単調増加となっている部分を一律単調減少に変換した第一の階調特性を適用する公知の手法を用いる。
【００２５】
階層ゲインマップ合成部２０４は、第一の輝度ゲインマップと第二の輝度ゲインマップとを合成することで輝度合成ゲインマップを生成する。赤外階層ゲインマップ合成部２０８は、第一の赤外ゲインマップと第二の赤外ゲインマップとを合成することで赤外合成ゲインマップを生成する。合成ゲインマップの生成方法については、例えば特許文献５に記載のような、画像サイズの大きいゲインマップのゲイン信号と画像サイズの小さいゲインマップのゲイン信号とをゲインの信号差に応じて加重加算する公知の手法を用いる。
【００２６】
コントラスト補正判定部２１１は、制御部１１０から入力された被写体情報を用いて第一の輝度ゲインマップと第二の輝度ゲインマップとの合成比率を算出し、階層ゲインマップ合成部２０４に出力する。また、コントラスト補正判定部２１１は、第一の赤外ゲインマップと第二の赤外ゲインマップとの合成比率も算出し、赤外階層ゲインマップ合成部２０８に出力する。さらに、コントラスト補正判定部２１１は、ゲインマップ補正比率を算出し、ゲインマップ補正部２０９に出力する。
【００２７】
ゲインマップ補正部２０９は、コントラスト補正判定部２１１からゲインマップ補正比率、赤外階層ゲインマップ合成部２０８から赤外合成ゲインマップ、階層ゲインマップ合成部２０４から輝度合成ゲインマップを入力する。そして、ゲインマップ補正部２０９は、ゲインマップ補正比率および赤外合成ゲインマップを用いて、輝度合成ゲインマップを補正する。
ゲイン処理部２１０は、補正された輝度合成ゲインマップを用いて、入力された画像データに対してゲイン処理を行い、画像データを出力する。
【００２８】
次に、本実施形態のゲインマップの補正処理について、図３のフローチャートを用いて説明する。
図３は、ゲインマップの補正処理の詳細な手順の一例を示すフローチャートである。なお、本フローチャートの各動作は、制御部１１０、あるいは制御部１１０の指示により各部で行われる。
ステップＳ３０１では、階層ゲインマップ合成部２０４は、第一の輝度ゲインマップと第二の輝度ゲインマップとをそれぞれ第一のゲイン変換部２０１、第二のゲイン変換部２０３から入力する。
【００２９】
ステップＳ３０２では、赤外階層ゲインマップ合成部２０８は、第一の赤外ゲインマップと第二の赤外ゲインマップとをそれぞれ第一の赤外ゲイン変換部２０５、第二の赤外ゲイン変換部２０７から入力する。
ステップＳ３０３では、コントラスト補正判定部２１１は、制御部１１０から被写体情報を入力する。本実施形態では、例えば、被写体情報として、撮影時のカメラの撮影モードの情報を用いる。
【００３０】
ステップＳ３０４では、コントラスト補正判定部２１１は、被写体情報を用いて美肌処理の要否を判定する。例えば、カメラの撮影モードがポートレートモードなどの人物撮影を目的としたモードである場合は、美肌処理が必要であると判定し、ステップＳ３０５に進む。一方、美肌処理が不要である場合には、ステップＳ３０６に進む。
【００３１】
ステップＳ３０５では、まず、コントラスト補正判定部２１１は、美肌処理用のゲインマップを生成するために必要な情報を生成する。本実施形態における美肌処理の目的は人の肌に生じたシミの低減である。ここで、シミには２つの特徴がある。以下、シミに関する２つの特徴に基づき、ステップＳ３０５でゲインマップを生成する手順について説明する。
【００３２】
１つ目の特徴は、ポートレート画像における美肌処理で低減すべきシミは、低周波成分を多く含むことである。撮影画角に占める人物の顔を小さくすれば、その人物の肌のシミは撮像素子の数画素に収まり、シミが高周波成分のみで構成される場合はある。ところが、この場合は画角に対する顔やシミが小さいため、シミが気になる可能性はなく、そもそもシミの低減処理を行う必要がない。
【００３３】
したがって、ローカルコントラスト調整によってシミを低減するためには、輝度縮小画像から生成された第二の輝度ゲインマップを用いれば良い。つまり、コントラスト補正判定部２１１は、第一の輝度ゲインマップの加算比率を０、第二の輝度ゲインマップの加算比率を美肌強度×αとする合成比率を算出する。なお、本実施形態における美肌強度は、ボートレートモードなら３（弱め）、美肌モードまたは自撮りモードなら５（強め）と撮影モードによって決定されるが、例えばユーザがＵＩ部１０９から設定できるようにしても良い。一方で係数αは、撮像素子１０２から入力された画像信号の特性や現像処理部１０４の内容に応じて美肌処理を調整するための調整係数である。
【００３４】
ステップＳ３０５においては、さらに階層ゲインマップ合成部２０４は、コントラスト補正判定部２１１から合成比率を入力し、入力された合成比率に従って輝度合成ゲインマップを生成し、ゲインマップ補正部２０９に出力する。また、コントラスト補正判定部２１１は、輝度合成ゲインマップの符号を反転するような制御信号をゲインマップ補正部２０９に出力する。
【００３５】
２つ目の特徴は、波長の長い赤外信号は、肌の表面近くにあるシミを撮像しにくいため、赤外信号にシミの成分がほとんど含まれないことである。輝度信号の低周波成分にはシミ以外の信号も含まれているため、輝度合成ゲインマップの符号を反転したゲインマップを用いてローカルコントラスト補正を行うと、シミと一緒に目・鼻・口など被写体の顔の特徴を示す信号のコントラストも失われてしまう。一方、赤外信号の低周波成分にはシミを除いた被写体の顔の特徴を示す信号だけが存在する。
【００３６】
そこで、本実施形態では、輝度合成ゲインマップを反転させたゲインマップによって低下する被写体の顔の特徴を示す信号のコントラストを、赤外信号を用いて向上させるようにする。具体的に、コントラスト補正判定部２１１は、第一の赤外ゲインマップの加算比率を０、第二の赤外ゲインマップの加算比率を美肌強度×βとする合成比率を算出する。ここで、係数βは撮像素子１０２から入力された画像信号の特性、赤外信号の特性、および現像処理部１０４の内容に応じて美肌処理を調整するための調整係数である。
【００３７】
ステップＳ３０５においては、さらに赤外階層ゲインマップ合成部２０８は、コントラスト補正判定部２１１から合成比率を入力し、入力された合成比率に従って赤外合成ゲインマップを生成し、ゲインマップ補正部２０９に出力する。コントラスト補正判定部２１１は、赤外合成ゲインマップを輝度合成ゲインマップに加算するような制御信号をゲインマップ補正部２０９に出力する。ゲインマップ補正部２０９は、制御信号に従って輝度合成ゲインマップを赤外合成ゲインマップで補正したゲインマップを生成する。
【００３８】
以上のようにステップＳ３０５で生成されたゲインマップを用いてゲイン処理を行うことで、目・鼻・口など被写体の特徴を示す信号のコントラストを低下させることなく、肌のシミを低減することができる。
【００３９】
ステップＳ３０６では、コントラスト補正判定部２１１は、被写体情報を用いて針葉樹処理の要否を判定する。例えば、カメラの撮影モードが風景モードなどの風景撮影を目的としたモードである場合は、針葉樹処理が必要であると判定し、ステップＳ３０７に進む。一方、針葉樹処理が不要である場合には、ステップＳ３０８に進む。
【００４０】
ステップＳ３０７では、まず、コントラスト補正判定部２１１は、針葉樹処理用のゲインマップを生成するために必要な情報を生成する。本実施形態における針葉樹処理の目的は針葉樹の解像感を向上することである。ここで、針葉樹には２つの特徴があり、１つ目は、針葉樹は高周波成分を多く含むことであり、２つ目は、針葉樹は暗い緑であるため出力される輝度信号が小さいが、赤外成分を多く反射するため、出力される赤外信号は大きいことである。
【００４１】
したがって、ローカルコントラスト調整によって針葉樹の解像感を向上するためには、赤外信号から生成された第一の赤外ゲインマップを用いれば良い。つまり、コントラスト補正判定部２１１は、第一の赤外ゲインマップの加算比率をγ、第二の赤外ゲインマップの加算比率を０とする合成比率を算出する。ここで、係数γは撮像素子１０２から入力された画像信号の特性、赤外信号の特性、および現像処理部１０４の内容に応じて針葉樹処理を調整するための調整係数である。
【００４２】
ステップＳ３０７においては、さらに赤外階層ゲインマップ合成部２０８は、コントラスト補正判定部２１１から合成比率を入力し、入力された合成比率に従って赤外合成ゲインマップを生成し、ゲインマップ補正部２０９に出力する。
【００４３】
また、風景撮影を目的としたモードが選択されているため、針葉樹以外の被写体についても高周波成分のコントラストを向上させる必要がある。したがって、輝度信号から生成された第一の輝度ゲインマップを用いれば良い。つまり、コントラスト補正判定部２１１は、第一の輝度ゲインマップの加算比率をθ、第二の輝度ゲインマップの加算比率を０とする合成比率を算出する。ここで、係数θは撮像素子１０２から入力された画像信号の特性と現像処理部１０４の内容とに応じて風景用のローカルコントラスト処理を調整するための調整係数である。
【００４４】
ステップＳ３０７においては、さらに階層ゲインマップ合成部２０４は、コントラスト補正判定部２１１から合成比率を入力し、入力された合成比率に従って輝度合成ゲインマップを生成し、ゲインマップ補正部２０９に出力する。コントラスト補正判定部２１１は、赤外合成ゲインマップを輝度合成ゲインマップに加算するような制御信号をゲインマップ補正部２０９に出力する。ゲインマップ補正部２０９は、制御信号に従って輝度合成ゲインマップを赤外合成ゲインマップで補正したゲインマップを生成する。
【００４５】
以上のようにステップＳ３０７で生成されたゲインマップを用いてゲイン処理を行うことで、針葉樹の解像感を向上させることができる。
【００４６】
ステップＳ３０８では、人物撮影を目的としたモードおよび風景撮影を目的としたモード以外のモードであり、美肌処理および針葉樹処理のいずれも必要としない。そのため、コントラスト補正判定部２１１は、幅広いシーンに適した汎用的なゲインマップを生成するために必要な情報を生成する。この場合は赤外情報を用いる必要がないため、コントラスト補正判定部２１１は、第一の赤外ゲインマップの加算比率および第二の赤外ゲインマップの加算比率をいずれも０とする合成比率を生成する。一方で、輝度階層ゲインマップの合成比率については任意の値を算出する。
【００４７】
階層ゲインマップ合成部２０４は、コントラスト補正判定部２１１から合成比率を入力し、入力された合成比率に従って輝度合成ゲインマップを生成し、ゲインマップ補正部２０９に出力する。コントラスト補正判定部２１１は、赤外合成ゲインマップを加算しないような制御信号をゲインマップ補正部２０９に出力する。ゲインマップ補正部２０９は、制御信号に従って輝度合成ゲインマップをそのままゲインマップとして採用する。
【００４８】
以上のようにステップＳ３０８で生成されたゲインマップを用いてゲイン処理を行うことで、幅広いシーンに適したローカルコントラスト補正を行うことができる。
【００４９】
ステップＳ３０９では、ゲインマップ補正部２０９は、生成したゲインマップを、ゲイン処理部２１０に出力する。
【００５０】
以上のように本実施形態によれば、被写体情報に応じて、輝度信号と赤外信号とをそれぞれ周波数帯域ごとに制御し、ローカルコントラスト調整を行うようにした。これにより、輝度信号だけを用いたコントラスト補正処理では得られないコントラスト補正効果が得られる。また、輝度信号だけを用いたコントラスト補正処理よりも副作用を抑えたコントラスト補正を行うことができる。
本実施形態でローカルコントラスト調整の方法としてゲインマップを生成、合成する方法を用いたが、領域ごとの階調補正量が特定できれば、必ずしもゲインマップを用いる必要はない。
【００５１】
本実施形態でローカルコントラスト調整部１０５の各構成についても説明したが、各ブロックの動作は専用の回路を用いて実現してもよく、ソフトウェアで実現するようにしてもよい。つまり、ローカルコントラスト調整部１０５の各動作の一部あるいは全部がソフトウェア処理で実装されていても良い。また、図１に示す画像処理装置１００におけるその他のブロックについても、同様にその一部あるいは全部がソフトウェア処理で実装されていても良い。
【００５２】
（その他の実施形態）
前述の実施形態では、画像処理装置の一例としてデジタルカメラについて説明した。一方で、スキャナ等の撮像系を有する画像処理装置であってもよく、画像データを処理できる画像処理装置であれば特に実施の形態は限定されない。すなわち、画像処理装置としては、パーソナルコンピュータ等の情報処理装置であってもよいし、携帯型の情報端末、プリンタ等の画像形成装置などでもよい。
【００５３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５４】
１０４  現像処理部
１１２  赤外情報取得部
２０１  第一のゲイン変換部
２０３  第二のゲイン変換部
２０５  第一の赤外ゲイン変換部
２０７  第二の赤外ゲイン変換部
２０９  ゲインマップ補正部
２１１  コントラスト補正判定部
【図１】
2020182163.tif 000003
【図２】
2020182163.tif 000004
【図３】
2020182163.tif 000005
【図４】
2020182163.tif 000006