(57)【特許請求の範囲】
【請求項１】
露出が各々異なる複数の画像のデータが合成された結果得られる合成画像のデータが、所定の色空間において規定される輝度成分からなる第１の画像のデータと、少なくとも彩度に係るその他の成分からなる第２の画像のデータとに分離されている場合、前記第１の画像のデータを、その位置毎に強調量が調整された第１強調量を用いてコントラストを強調する第１の強調手段と、
前記第２の画像のデータについて、所定の第２の強調量を用いて全体的に彩度を強調する全体強調手段と、
前記全体強調手段によって彩度が強調された第２の画像データを、その位置毎に前記第１強調量に連動して強調量が調整された第３強調量を用いて更に彩度を強調する第２の強調手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記露出が各々異なる複数の画像のデータの少なくとも一つから顔画像領域を検出する画像領域検出手段を更に備え、
前記第１の強調手段は、前記画像領域検出手段によって顔画像領域が検出されると、前記所定の第１強調量より少ない第４強調量を用いて前記第１の画像のデータのコントラストを強調し、
前記第２の強調手段は、前記第１の強調手段の前記第４強調量に連動して強調量が調整された第５強調量を用いて、前記第２の画像のデータの彩度を強調することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の強調手段は前記第１の画像のデータにおける前記顔画像領域周辺部分のコントラストを強調することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の強調手段は前記第２の画像のデータにおける前記顔画像領域周辺部分の彩度を強調することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータを、
露出が各々異なる複数の画像のデータが合成された結果得られる合成画像のデータが、所定の色空間において規定される輝度成分からなる第１の画像のデータと、少なくとも彩度に係るその他の成分からなる第２の画像のデータとに分離されている場合、前記第１の画像のデータを、その位置毎に強調量が調整された第１強調量を用いてコントラストを強調する第１の強調手段、
前記第２の画像のデータについて、所定の第２の強調量を用いて全体的に彩度を強調する全体強調手段、
前記全体強調手段によって彩度が強調された第２の画像データを、その位置毎に前記第１強調量に連動して強調量が調整された第３強調量を用いて更に彩度を強調する第２の強調手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及びプログラムに関し、特に、画像のダイナミックレンジの補正技術に関する。
【背景技術】
【０００２】
近年、撮像等により得られた画像の鑑賞に対する品質を向上させる目的で、当該画像のデータに対して各種画像処理が施されるようになっている。
このような画像処理の一種として、ハイダイナミックレンジ合成が知られている（特許文献１参照）。ハイダイナミックレンジ合成とは、夫々露出値を異ならせた略同一画角の複数の画像のデータを画素加算合成することで、幅広いダイナミックレンジを表現する画像のデータを生成する画像処理をいう。
なお、以下、特段の説明が無い場合、このような合成処理を加えた画像を、「ハイダイナミックレンジ合成画像（Ｈｉｇｈ  Ｄｉｎａｍｉｃ  Ｒａｎｇｅ合成画像）」、又は、「ＨＤＲ合成画像」と呼ぶ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４５５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の合成処理は撮像時の画角の再現性を高めることがその目的であるため、その目的外で過度に色空間の各パラメータを調整し、且つ、現実感を失わせないような画像を得たい場合、その撮像画像をベースとし新たな描画処理を実行しなければならないという問題がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、撮像画像に基づいて、過度に色空間の各パラメータを調整し、且つ、現実感を失わせないような画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明は、露出が各々異なる複数の画像のデータが合成された結果得られる合成画像のデータが、所定の色空間において規定される輝度成分からなる第１の画像のデータと、少なくとも彩度に係るその他の成分からなる第２の画像のデータとに分離されている場合、前記第１の画像のデータを、その位置毎に強調量が調整された第１強調量を用いてコントラストを強調する第１の強調手段と、前記第２の画像のデータについて、所定の第２の強調量を用いて全体的に彩度を強調する全体強調手段と、 前記全体強調手段によって彩度が強調された第２の画像データを、その位置毎に前記第１強調量に連動して強調量が調整された第３強調量を用いて更に彩度を強調する第２の強調手段と、を備える。
【０００９】
また、請求項２に記載の発明は、請求項１記載の発明において、前記露出が各々異なる複数の画像のデータの少なくとも一つから顔画像領域を検出する画像領域検出手段を更に備え、前記第１の強調手段は、前記画像領域検出手段によって顔画像領域が検出されると、前記所定の第１強調量より少ない第４強調量を用いて前記第１の画像のデータのコントラストを強調し、前記第２の強調手段は、前記第１の強調手段の前記第４強調量に連動して強調量が調整された第５強調量を用いて、前記第２の画像のデータの彩度を強調する。
【００１０】
また、請求項３に記載の発明は、請求項２に記載の発明において、前記第１の強調手段は前記第１の画像のデータにおける前記顔画像領域周辺部分のコントラストを強調する。
【００１１】
また、請求項４に記載の発明は、請求項２又は３に記載の発明において、前記第２の強調手段は前記第２の画像のデータにおける前記顔画像領域周辺部分の彩度を強調する。
【００１２】
また、上記目的達成のため、請求項５に記載の発明は、画像のデータに対して画像処理を施す画像処理装置を制御するコンピュータを、露出が各々異なる複数の画像のデータが合成された結果得られる合成画像のデータが、所定の色空間において規定される輝度成分からなる第１の画像のデータと、少なくとも彩度に係るその他の成分からなる第２の画像のデータとに分離されている場合、前記第１の画像のデータを、その位置毎に強調量が調整された第１強調量を用いてコントラストを強調する第１の強調手段、前記第２の画像のデータについて、所定の第２の強調量を用いて全体的に彩度を強調する全体強調手段、前記全体強調手段によって彩度が強調された第２の画像データを、その位置毎に前記第１強調量に連動して強調量が調整された第３強調量を用いて更に彩度を強調する第２の強調手段、として機能させる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る撮像装置の回路構成図である。
【図２】本発明における画像加工処理を実行する機能についての機能的構成を示す機能ブロック図である。
【図３】図２の画像処理装置が実行する画像加工処理の流れの一例を示すフローチャートである。
【図４】図２の画像処理装置の合成部による具体的な処理結果を示している図である。
【図５】図２の画像処理装置の強調画像生成部が実行するＹ成分強調処理の流れの一例を示すフローチャートである。
【図６】図５のＹ成分強調処理で用いるＹ調整量を設定するテーブルの一例を示している図である。
【図７】図２の画像処理装置の強調画像生成部が実行するＵＶ成分強調処理の流れの一例を示すフローチャートである。
【図８】図７のＵＶ成分強調処理で用いるＵＶ調整量を設定するテーブルの一例を示している図である。
【図９】図３の画像加工処理の対象となる画像のデータの一例を示す図である。
【図１０】図９の各データを用いて図３の画像加工処理が実行された結果得られる、強調後ＹＵＶ画像のデータの一例を示している図である。
【図１１】本発明の画像処理装置の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１５】
図１は、本発明の一実施形態に係る画像処理装置を備える撮像装置の回路構成図である。
この撮像装置は、撮像部１と、駆動制御部２と、ＣＤＳ／ＡＤＣ３と、キー入力部４と、表示部５と、画像記録部６と、プログラムメモリ７と、ＲＡＭ８と、制御部９と、画像処理部１０と、を備えている。
キー入力部４は、撮影者の記録指示を検出するためのシャッターキー４１を備えている。画像処理部１０は、本発明の特徴的構成に対応する合成部１１を備えている。これらはバスラインを介して接続されている。
【００１６】
同図において、撮像部１は、ＣＭＯＳ等のイメージセンサと、このイメージセンサ上に設けられたＲＧＢのカラーフィルタと、駆動制御部２からの制御により、光の強度を電荷の蓄積として一定時間保持し、ＣＤＳ／ＡＤＣ３にアナログの撮像信号としてこれらを出力するドライバと、を内蔵する。
そして、撮像部１は、シャッターキー４１、制御部９、駆動制御部２を経由した撮影者の撮影指示を検出することで、露光条件（シャッタースピード、若しくは絞り値）を変えながら、露出アンダー、適正露出、露出オーバーを含む複数の画像（カラー画像）を取得する。
ＣＤＳ／ＡＤＣ３は、撮像部１から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路である。ＣＤＳ／ＡＤＣ３は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）と、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）と、を含むように構成されている。
なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部２からの指示に基いて実行される。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の画像を取得しても、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによる複数の条件の異なる画像を生成することができる。
【００１７】
キー入力部４は、上述のシャッターキー４１の他、本発明に係る画像の取得や記録を目的とする撮影モードへの切換、表示の切換等を検出するための各種キーを備えている。
表示部５は、画像加工処理（後述する）が施された画像を表示する機能を有する。
画像記録部６は、本発明に係る画像加工処理（後述する）が実行された後、ＪＰＥＧ方式で符号化された画像データ（画像ファイル）を記憶格納する。
プログラムメモリ７は、制御部９、画像処理部１０にて実行されるプログラムを記憶し、必要に応じて制御部９が読み出す。
ＲＡＭ８は、各種処理により発生する処理中のデータを一時的に保持する機能を有する。制御部９は撮像装置全体の処理動作を制御する。
画像処理部１０は、画像データの符号化／復号化処理の他、本発明に係る画像加工処理（後述する）を実行するための合成部１１を備えている。
【００１８】
次に画像加工処理を実行する機能について、図２の機能ブロック図を用いて説明する。
本実施形態で詳述する画像加工処理とは、処理対象となる画像同士を画素加算合成し、更に、その合成後、コントラストや鮮やかさ（彩度）を強調させる処理をいう。
また上記合成処理においては、撮像部１、ＣＤＳ／ＡＤＣ３を経て、露光条件（シャッタースピード、絞り値、若しくは、ゲイン調整値）を変えながら連写されて取得された複数の画像について、これらの画像のデータの各々が、ＹＵＶ色空間で規定される輝度成分を示す輝度信号（Ｙ）と、それ以外の成分、具体的には色差成分のうち青色の色差信号（Ｃｂ：“Ｂ−Ｙ”、以下単に“Ｕ”と称する。）と、同色差成分のうち赤色の色差信号（Ｃｒ：“Ｒ−Ｙ”以下単に“Ｖ”と称する。）との３要素の成分のうち、Ｙ成分（輝度成分）とＵＶ成分（各色差成分）とに分離され、この分離後の複数のＹ成分について画素加算合成され、また分離後の複数のＵＶ成分についても個別に画素加算合成される。
また、上記の合成処理により生成されたＨＤＲ合成画像のデータの輝度信号（Ｙ）と、青色成分の色差信号（Ｕ）と、赤色成分の色差信号（Ｖ）との３要素の成分のうち、Ｙ成分についてはコントラストを強調する処理を、ＵＶ成分については彩度（鮮やかさ）を強調する処理をそれぞれ個別に実行する。このような処理の結果、過度に色空間の各パラメータが調整されていても現実感を失わせないようなＨＤＲ合成画像のデータが得られる、という効果を奏することが可能になる。
特に、上記の処理では、単純に画像全体が一律にコントラストや彩度について強調されるのではなく、画素単位で適応的に設定された強調量を用いて、画素単位に強調される。これにより、当該効果がより顕著なものとなる。
【００１９】
図２の例では、画像処理装置は、合成部１１と、画像生成部１２と、ノイズ低減部１３と、を備えている。
【００２０】
本実施形態では、露出条件が各々異なる複数の画像のデータとして、図２に示すように、適正露出値の画像（以下、「適正露出値画像」と呼ぶ）、適正露出値を超えた露出値の画像（以下、「露出値オーバー画像」と呼ぶ）、及び適正露出値未満の露出値の画像（以下、「露出値アンダー画像」と呼ぶ）の各データが合成部１１に入力される。
ここで、適正な露出値とは、必ずしも撮像時の条件として適正な露出値であることを意味せず、露出値オーバー画像及び露出値アンダー画像の各々を撮像した時に用いた２つの露出値の間の中間的な露出値を意味する。
【００２１】
合成部１１は、適正露出値画像、露出値オーバー画像、及び露出値アンダー画像の各データを画素加算合成することによって、ＨＤＲ合成画像のデータを生成する。
【００２２】
なお、合成部１１が実行する合成処理の種類は、特に限定されないが、従来のＨＤＲ合成画像のデータを生成するための合成処理と比較して、ダイナミックレンジ拡大効果を強めにした合成処理を採用するとよい。
また、その効果を強める手法も、特に限定されず、例えば、撮影時に露出値アンダーと露出値オーバー差（振り幅）を大きくする、合成枚数を増やす、その他色味等のゲインパラメータを変更する等の手法を採用することができる。
【００２３】
本実施形態では、合成部１１は、合成処理として、次のような一連の処理を実行するものとする。
【００２４】
即ち、本実施形態では、図示はしないが、適正露出値画像のデータから分離されたＹ成分（以下、「適正露出値Ｙ画像のデータ」と呼ぶ）及びＵＶ成分（以下、「適正露出値ＵＶ画像のデータ」と呼ぶ）の各々が個別に合成部１１に入力される。
同様に、露出値オーバー画像のデータから分離されたＹ成分（以下、「露出値オーバーＹ画像のデータ」と呼ぶ）及びＵＶ成分（以下、「露出値オーバーＵＶ画像のデータ」と呼ぶ）の各々が個別に合成部１１に入力される。
また、露出値アンダー画像のデータから分離されたＹ成分（以下、「露出値アンダーＹ画像のデータ」と呼ぶ）及びＵＶ成分（以下、「露出値アンダーＵＶ画像のデータ」と呼ぶ）の各々が個別に合成部１１に入力される。
【００２５】
合成部１１は、適正露出値Ｙ画像、露出値オーバーＹ画像、及び露出値アンダーＹ画像の各のデータを画素加算合成することによって、合成画像のデータを生成する。このようにして生成される合成画像のデータを、以下、「ＨＤＲ合成Ｙ画像のデータ」と呼び、ＨＤＲ合成Ｙ画像のデータが生成される一連の処理を、以下、「Ｙ成分合成処理」と呼ぶ。このようなＹ成分合成処理により生成された合成Ｙ画像のデータは、白飛びや黒つぶれがなく、かつ広いダイナミックレンジを持ったＹ成分となる。
【００２６】
一方、合成部１１は、適正露出値ＵＶ画像、露出値オーバーＵＶ画像、及び露出値アンダーＵＶ画像の各データを画素加算合成することによって、合成画像のデータを生成する。このようにして生成される合成画像のデータを、以下、「ＨＤＲ合成ＵＶ画像のデータ」と呼び、ＨＤＲ合成ＵＶ画像のデータが生成される一連の処理を、以下、「ＵＶ成分合成処理」と呼ぶ。
【００２７】
ここで、本実施形態では、Ｙ成分合成処理において、適正露出値Ｙ画像、露出値オーバーＹ画像、及び露出値アンダーＹ画像の各々のデータは、所定の合成比率に従って画素加算合成される。
合成比率とは、２以上の画像のデータが画素加算合成される場合、各々の画像のデータの混合の割合をいう。例えば、適正露出値Ｙ画像、露出値オーバーＹ画像、及び露出値アンダーＹ画像の各々のデータの合成比率の各々が、７０％、３０％、０％の各々である場合には、適正露出値Ｙ画像のデータの７０％と、露出値オーバーＹ画像のデータの３０％とが混合された結果得られるデータが、合成Ｙ画像のデータになる。
なお、露出値アンダーＹ画像のデータを合成に用いない場合は、混合比率は０％にする。
一方、ＵＶ成分合成処理においても、適正露出値ＵＶ画像、露出値オーバーＵＶ画像、及び露出値アンダーＵＶ画像の各々のデータは、所定の合成比率に従って画素加算合成される。
ここで、ＵＶ成分合成処理に用いられる合成比率は、Ｙ成分合成処理に用いられる合成比率と独立に設定されてもよいが、本実施形態では、Ｙ成分合成処理に用いられる合成比率がそのまま用いられる。
このように、輝度（コントラスト）が調整されたＨＤＲ合成Ｙ画像のデータのみならず、彩度が調整されたＨＤＲ合成ＵＶ画像のデータも得られる。従って、これらをあわせたＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。
【００２８】
このようにして、合成部１１からは、Ｙ成分合成処理によって生成されたＨＤＲ合成Ｙ画像のデータと、ＵＶ成分合成処理によって生成されたＨＤＲ合成ＵＶ画像のデータとの組が、ＨＤＲ合成画像のデータとして出力される。
【００２９】
画像生成部１２は、合成部１１から出力されるＨＤＲ合成画像のデータのうち、ＨＤＲ合成Ｙ画像のデータに対してはコントラストの強調処理を、ＨＤＲ合成ＵＶ画像のデータに対しては彩度の強調処理を、それぞれ個別に施す。
ここで、ＨＤＲ合成Ｙ画像のデータに対して施すコントラストの強調処理を、以下、「Ｙ成分強調処理」と呼ぶ。一方、ＨＤＲ合成ＵＶ画像のデータに対して施す彩度の強調処理を、以下、「ＵＶ成分強調処理」と呼ぶ。
画像生成部１２には、Ｙ成分強調処理を実行するＹ強調部３１と、ＵＶ成分強調処理を実行するＵＶ強調部３２とが設けられている。
【００３０】
Ｙ強調部３１は、Ｙ成分強調処理として、ＨＤＲ合成Ｙ画像のデータに対して、２種類の周波数帯域（例えば低域及び中域）でアンシャープマスク処理をそれぞれ施すことによって、局所的にコントラストを強調する。
２種類の周波数帯域（例えば低域及び中域）でアンシャープマスク処理をそれぞれ施す際には、ＨＤＲ合成Ｙ画像のデータの平滑化が行われる。
このような平滑化のために用いるフィルタは、特に限定されず、通常のＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）を採用してもよいが、エッジ保存型のεフィルタやバイラテラルフィルタを採用すると好適である。局所的にコントラスト成分を強調する際に発生するアンダーシュートやオーバーシュートを低減させることができるからである。
このようなＹ強調部３１による一連の処理を、以下、「Ｙ成分強調処理」と呼ぶ。
Ｙ強調部３１は、Ｙ成分強調処理を実行すべく、合成Ｙ画像取得部４１と、εフィルタ部４２Ａ，４２Ｂと、コントラスト成分作成部４３Ａ，４３Ｂと、コントラスト合成部４４と、Ｙ成分コントラスト強調部４５と、を備えている。ただし、これらのＹ強調部３１の各要素の機能等については、後述する図３のフローチャートを参照したＹ成分強調処理の流れの説明の際に適宜説明する。
【００３１】
ＵＶ強調部３２は、ＵＶ成分強調処理として、ＨＤＲ合成ＵＶ画像のデータに対して、所定のゲイン（以下、「ＵＶゲイン」と呼ぶ）を強調量として用いて、彩度を強調する処理を実行する。
この場合の彩度を強調する処理は、全体強調処理と部分強調処理との２種類に大別される。
全体強調処理とは、画像全体の印象を派手にするように、彩度を強調する処理をいう。
部分強調処理とは、Ｙ成分強調処理用の強調量と連動させた強調量を用いて、彩度を強調する処理をいう。
なお、以下、Ｙ成分強調処理用の強調量を、「コントラスト強調量」と呼ぶ。一方、ＵＶ成分強調処理用の強調量、即ちＵＶゲインを用いる強調量を、「彩度強調量」と呼ぶ。彩度強調量は、さらに、全体強調処理で用いられる強調量と、部分強調処理で用いられる強調量とに大別され、前者を、以下、「全体彩度強調量」と呼び、後者を、以下、「部分彩度強調量」と呼ぶ。
この場合、コントラスト強調量と部分彩度強調量とが連動することになる。これにより、コントラスト強調部分の色のりが向上し、立体感が生まれた画像を得ることが可能になる。
このようなＵＶ強調部３２による一連の処理を、以下、「ＵＶ成分強調処理」と呼ぶ。
ＵＶ強調部３２は、ＵＶ成分強調処理を実行すべく、合成ＵＶ画像取得部５１と、ＵＶゲイン全体彩度強調部５２と、コントラスト強調量取得部５３と、ＵＶゲイン部分彩度強調部５４と、を備えている。ただし、これらのＵＶ強調部３２の各要素の機能等については、後述する図３のフローチャートを参照したＵＶ成分強調処理の流れの説明の際に適宜説明する。
【００３２】
このようなＹ強調部３１及びＵＶ強調部３２が設けられた画像生成部１２にはまた、強調後ＹＵＶ画像取得部３３が設けられている。
強調後ＹＵＶ画像取得部３３は、Ｙ強調部３１によりＹ成分強調処理が施されたＨＤＲ合成Ｙ画像のデータと、ＵＶ強調部３２によりＵＶ成分強調処理が施されたＨＤＲ合成ＵＶ画像のデータとの組み合わせ（以下、「強調後ＹＵＶ画像のデータ」と呼ぶ）を取得する。
強調後ＹＵＶ画像取得部３３により取得された強調後ＹＵＶ画像のデータは、ノイズ低減部１３に供給される。
【００３３】
ノイズ低減部１３は、強調後ＹＵＶ画像のデータに対して、ノイズを低減させる任意の処理（以下、「ノイズ低減処理」と呼ぶ）を施す。
これにより、画像生成部１２の強調処理により発生したノイズやトーンジャンプを改善させることができる。また、この場合、ノイズ低減のレベルを意図的に強めることで、光沢感のある画像を得ることができる。
【００３４】
次に、図３のフローチャートを参照して、このような機能的構成を有する図２の画像処理装置が実行する画像加工処理について説明する。
図３は、画像加工処理の流れの一例を示すフローチャートである。
【００３５】
ステップＳ１において、合成部１１は、露出値が各々異なる複数の画像のデータを取得する。
ステップＳ２において、合成部１１は、露出値が各々異なる複数の画像のデータを画素加算合成することによって、ＨＤＲ合成画像のデータを生成する。
具体的には、本実施形態では、適正露出値画像、露出値オーバー画像、及び露出値アンダー画像の各データが、ステップＳ１の処理で取得されて、ステップＳ２の処理で画素加算合成されることによって、ＨＤＲ合成画像のデータが生成される。
【００３６】
図４は、合成部１１によるステップＳ１及びＳ２の具体的な処理結果を示している。
図４（Ａ）は、ステップＳ１の処理で取得される露出値アンダーＹ画像のデータの一例を示している。
図４（Ｂ）は、ステップＳ１の処理で取得される適正露出値Ｙ画像のデータの一例を示している。
図４（Ｃ）は、ステップＳ１の処理で取得される露出値オーバーＹ画像のデータの一例を示している。
図４（Ｄ）は、図４（Ａ）乃至図４（Ｂ）の各データがステップＳ２の処理で画素加算合成された結果得られる、ＨＤＲ合成画像のデータの一例を示している。
図４（Ｅ）は、図４（Ａ）乃至図４（Ｂ）の各データがステップＳ２の処理で画素加算合成された結果得られる、ＨＤＲ合成画像のデータの一例であって、図４（Ｄ）よりも合成の効果を強くした場合の例を示している。
上述したように、合成の効果を強くすることによって、過度に色空間の各パラメータが調整されていても現実感を失わせないようなＨＤＲ合成画像を得るという効果が顕著なものになる。そこで、本実施形態では、図４（Ｄ）と図４（Ｅ）のＨＤＲ合成画像のデータのうち、図４（Ｅ）のＨＤＲ合成画像のデータが処理対象として、画像生成部１２に与えられて、図３のステップＳ３以降の処理が実行されるものとする。
【００３７】
ステップＳ３において、画像生成部１２のＹ強調部３１は、ステップＳ２の処理で生成されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成Ｙ画像のデータに対してＹ成分強調処理を施す。
ステップＳ４において、画像生成部１２のＵＶ強調部３２は、ステップＳ２の処理で生成されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成ＵＶ画像のデータに対してＵＶ成分強調処理を施す。
なお、ステップＳ３のＹ成分強調処理の詳細については図５のフローチャートを参照して、ステップＳ４のＵＶ成分強調処理の詳細については図７のフローチャートを参照して、それぞれ個別に後述する。
ステップＳ５において、強調後ＹＵＶ画像取得部３３は、ステップＳ３のＹ成分強調処理が施されたＨＤＲ合成Ｙ画像のデータと、ステップＳ４のＵＶ成分強調処理が施されたＨＤＲ合成ＵＶ画像のデータとの組み合わせを、強調後ＹＵＶ画像のデータとして取得する。
【００３８】
ステップＳ６において、ノイズ低減部１３は、ステップＳ５の処理で取得された強調後ＹＵＶ画像のデータに対して、ノイズ低減処理を施す。
ノイズ低減処理が施された強調後ＹＵＶ画像のデータが、ノイズ低減部１３から外部に出力されると、画像加工処理は終了となる。
【００３９】
次に、このような画像加工処理のうち、ステップＳ３のＹ成分強調処理と、ステップＳ４のＵＶ成分強調処理との各々の詳細について、その順番で個別に説明する。
【００４０】
はじめに、図５のフローチャートを参照して、ステップＳ３のＹ成分強調処理の詳細について説明する。
図５は、Ｙ成分強調処理の流れの一例を示すフローチャートである。
【００４１】
ステップＳ２１において、図２のＹ強調部３１の合成Ｙ画像取得部４１は、合成部１１から出力されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成Ｙ画像のデータを取得する。
【００４２】
ステップＳ２２において、Ｙ強調部３１は、ＨＤＲ合成Ｙ画像の各々を構成する画素のうち、所定の位置（座標）に配置された画素を、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）として設定する。
ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）が、εフィルタ部４２Ａ，４３Ａ及びコントラスト成分作成部４３Ａ，４３Ｂの各々に供給されると、処理はステップＳ２３に進む。
【００４３】
ステップＳ２３において、εフィルタ部４２Ａ，４３Ａ及びコントラスト成分作成部４３Ａ，４３Ｂは、ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）から、２種類の周波数（中域及び低域）の各々のεフィルタを用いて、注目画素の２種類のコントラスト成分を作成する。
本実施形態では、２種類のコントラスト成分のうち一方の種類は、フィルタサイズが小さめの中域強調のεフィルタが用いられて生成される。そこで、このような種類のコントラスト成分を、以下、「中域用コントラスト成分」と呼ぶ。
一方、２種類のコントラスト成分のうち他方の種類は、フィルタサイズが大きめの低域強調のεフィルタが用いられて生成される。そこで、このような種類のコントラスト成分を、以下、「低域用コントラスト成分」と呼ぶ。
【００４４】
本実施形態では、中域用コントラスト成分は、εフィルタ部４２Ａ及びコントラスト成分作成部４３Ａにより、次のような一連の処理が実行されることで生成される。
即ち、εフィルタ部４２Ａは、ＨＤＲ合成Ｙ画像の注目画素のデータに対して中域強調のεフィルタをかけて、その結果得られるデータ（以下、「εフィルタ後データ」と呼ぶ）をコントラスト成分作成部４３Ａに供給する。
コントラスト成分作成部４３Ａは、ＨＤＲ合成Ｙ画像の注目画素のデータと、注目画素のεフィルタ後データとの差分を取ることによって、注目画素の中域用コントラスト成分を作成する。即ち、次の式（１）が演算されることで、注目画素の中域用コントラスト成分が作成される。
Y_contrast_1  ＝  Y_HDR  −  Y_ε_1      ・・・（１）
式（１）において、Y_contrast_1は、注目画素の中域用コントラスト成分を示している。Y_HDRは、ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）を示している。Y_ε_1は、中域用のεフィルタを用いて生成された、注目画素のεフィルタ後データを示している。
【００４５】
一方、本実施形態では、低域用コントラスト成分は、εフィルタ部４２Ｂ及びコントラスト成分作成部４３Ｂにより、次のような一連の処理が実行されることで生成される。
即ち、εフィルタ部４２Ｂは、ＨＤＲ合成Ｙ画像の注目画素のデータに対して低域強調のεフィルタをかけて、その結果得られるεフィルタ後データをコントラスト成分作成部４３Ｂに供給する。
コントラスト成分作成部４３Ｂは、ＨＤＲ合成Ｙ画像の注目画素のデータと、注目画素のεフィルタ後データとの差分を取ることによって、注目画素の低域用コントラスト成分を作成する。即ち、次の式（２）が演算されることで、注目画素の低域用コントラスト成分が作成される。
Y_contrast_2  ＝  Y_HDR  −  Y_ε_2      ・・・（２）
式（２）において、Y_contrast_2は、注目画素の低域用コントラスト成分を示している。Y_HDRは、式（１）と同様に、ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）を示している。Y_ε_2は、低域用のεフィルタを用いて生成された、注目画素のεフィルタ後データを示している。
【００４６】
このようにして生成された注目画素の２種類のコントラスト成分、即ち、コントラスト成分作成部４３Ａにより生成された注目画素の中域用コントラスト成分と、コントラスト成分作成部４３Ｂにより生成された注目画素の低域用コントラスト成分とは、コントラスト合成部４４に供給される。これにより、処理は図５のステップＳ２４に進む。
【００４７】
ステップＳ２４において、コントラスト合成部４４は、注目画素の２種類のコントラスト成分、即ち、注目画素の中域用コントラスト成分及び低域用コントラスト成分を画素加算合成することで、注目画素の合成コントラスト成分を作成する。
即ち、次の式（３）が演算されることで、注目画素の合成コントラスト成分が作成される。
Y_contrast  ＝  Y_contrast_1  ＋  Y_contrast_2      ・・・（３）
式（３）において、Y_contrastは、注目画素の合成コントラスト成分を示している。Y_contrast_1は、上述の式（１）で演算された注目画素の中域用コントラスト成分を示している。Y_contrast_2は、上述の式（２）で演算された注目画素の低域用コントラスト成分を示している。
【００４８】
このようにしてコントラスト合成部４４により生成された注目画素の合成コントラスト成分は、Ｙ成分コントラスト強調部４５に供給される。これにより、処理は図５のステップＳ２５に進む。
【００４９】
ステップＳ２５において、Ｙ成分コントラスト強調部４５は、注目画素の合成コントラスト成分に対して、調節及び制限を施す。
【００５０】
具体的には、本実施形態では、注目画素の合成コントラスト成分に対する調節は、次の式（４）に従って行われる。
Y_contrast  ＝  Y_contrast  ×  (Y_gain_lev/100)  ×  (Y_adj_lev/100)
・・・（４）
式（４）において、左辺のY_contrastは、調節後の注目画素の合成コントラスト成分を示している。一方、右辺のY_contrastは、調節前の注目画素の合成コントラスト成分を示している。
また、式（４）において、Y_gain_levは、ＨＤＲ合成Ｙ画像のデータ全体に対して一律に設定されたゲイン（以下、「Ｙゲイン」と呼ぶ）のレベル（％）を示している。一方、Y_adj_levは、ＨＤＲ合成Ｙ画像の注目画素のデータに対して個別に設定された調整量（以下、「Ｙ調整量」と呼ぶ）のレベル（％）を示している。
【００５１】
図６は、Ｙ調整量Y_adj_levを設定するテーブルの一例を示している。
図６において、横軸は、ＨＤＲ合成Ｙ画像のデータ（画素値）Y_HDRを示し、縦軸は、Ｙ調整量Y_adj_lev（％）を示している。
図６に示すように、Ｙ調整量Y_adj_levは、ＨＤＲ合成Ｙ画像の各画素毎に、そのデータ（画素値）Y_HDRに応じて個別に設定されるものである。このため、注目画素として設定された画素毎に、そのデータ（画素値）Y_HDRに応じてＹ調整量Y_adj_levが適応的に変化し、その結果、合成コントラスト成分Y_contrastも画素毎に適応的に調節される。これにより、コントラスト強調による画素値の飽和による悪影響、例えば黒つぶれ、白飛び、色飽和等の悪影響を軽減させることができる。
【００５２】
また、本実施形態では、注目画素の合成コントラスト成分に対する制限は、注目画素の合成コントラスト成分が０未満のとき（If(Y_contrast  >  0)）、次の式（５）に従って行われ、それ以外のとき（Else）、次の式（６）に従って行われる。
Y_contrast  =  fMin(Y_contrast  ,  Y_contrast_max_lev)      ・・・（５）
Y_contrast  =  fMax(Y_contrast  ,  |Y_contrast_max_lev|)      ・・・（６）
式（５）と式（６）において、左辺のY_contrastは、制限後の注目画素の合成コントラスト成分を示している。一方、右辺のY_contrastは、制限前の注目画素の合成コントラスト成分を示している。
また、式（５）と式（６）において、Y_contrast_max_levは、合成コントラスト成分として予め設定された上限のレベルを示している。式（５）におけるfMin(α,β)は、αとβのうちの最小値を出力する関数を示している。一方、式（６）におけるfMax(α,β)は、αとβのうちの最大値を出力する関数を示している。
【００５３】
次に、図５のステップＳ２６において、Ｙ成分コントラスト強調部４５は、ＨＤＲ合成Ｙ画像の注目画素のデータに対して、ステップＳ２５の処理で調節及び制限が施された後の注目画素の合成コントラスト成分を加算する。
これにより、ＨＤＲ合成Ｙ画像の注目画素のデータに対して、ステップＳ２５の処理で調節及び制限が施された注目画素の合成コントラスト成分だけ、コントラストが強調されたことになる。
具体的には、次の式（７）が演算されることで、ＨＤＲ合成Ｙ画像の注目画素のデータに対してコントラストが強調されることになる。
Y_result  ＝  Y_HDR  ＋  Y_contrast      ・・・（７）
式（７）において、Y_resultは、コントラスト強調後の注目画素のデータ（コントラスト強調後の注目画素の画素値）を示している。一方、Y_HDRは、コントラスト強調前の注目画素のデータ（コントラスト強調前の注目画素の画素値）を示している。また、Y_contrastは、式（４）による調整並びに式（５）若しくは式（６）による制限が施された後の注目画素の合成コントラスト成分であって、コントラスト強調量を示している。
【００５４】
ステップＳ２７において、Ｙ強調部３１は、全ての画素を注目画素に設定したか否かを判定する。
ＨＤＲ合成Ｙ画像を構成する画素のうち、注目画素に未だ設定されていない画素が存在する場合、ステップＳ２７においてＮＯであると判定されて、処理はステップＳ２２に戻され、それ以降の処理が繰り返される。
即ち、ＨＤＲ合成Ｙ画像を構成する画素が注目画素として順次設定される毎に、ステップＳ２２乃至Ｓ２７のループ処理が繰り返し実行されて、注目画素して設定された画素のデータが、コントラストが強調されるように更新されていく。ただし、そのコントラストの強調度合は、上述の如く、注目画素して設定された画素の更新前のデータY_HDRの値に応じて適応的に可変する。
そして、最後の画素がステップＳ２２の処理で注目画素に設定されて、ステップＳ２３乃至Ｓ２６の処理が実行されると、ＨＤＲ合成Ｙ画像を構成する全画素が更新されたので（全画素の画素値が、上述の式（７）の値Y_resultに更新されたので）、次のステップＳ２７においてＹＥＳであると判定されて、Ｙ成分強調処理は終了となる。
【００５５】
これにより、図３の画像加工処理のうち、ステップＳ３のＹ成分強調処理が終了し、ステップＳ４のＵＶ成分強調処理が実行される。
そこで、以下、図７のフローチャートを参照して、ステップＳ４のＵＶ成分強調処理の詳細について説明する。
図７は、ＵＶ成分強調処理の流れの一例を示すフローチャートである。
【００５６】
ステップＳ４１において、図２のＵＶ強調部３２の合成ＵＶ画像取得部５１は、合成部１１から出力されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成ＵＶ画像のデータを取得する。
【００５７】
ステップＳ４２において、ＵＶ強調部３２は、ＨＤＲ合成ＵＶ画像の各々を構成する画素のうち、所定の位置（座標）に配置された画素を注目画素として設定する。
ここで、本実施形態では、ＵＶ強調部３２は、Ｙ強調部３２と非同期で実行しているが（後述するように同期で実行することも可）、説明の便宜上、ＨＤＲ合成ＵＶ画像の注目画素と同一位置（座標）に配置された、ＨＤＲ合成Ｙ画像内の画素を、以下、「ＨＤＲ合成Ｙ画像の注目画素」と呼ぶ。即ち、以下、ＨＤＲ合成ＵＶ画像の注目画素と、ＨＤＲ合成Ｙ画像の注目画素とは、同一位置（座標）の各々対応する画素であるものとして、以下の説明を行う。
【００５８】
ステップＳ４３において、ＵＶゲイン全体彩度強調部５２は、ＨＤＲ合成ＵＶ画像の注目画像のデータに対して、全体彩度強調量を用いた全体強調処理を施す。
具体的には本実施形態では、次の式（８）及び式（９）が演算されることで、ＨＤＲ合成ＵＶ画像の注目画像のデータに対して全体強調処理が施される。
U_HDR’  ＝  U_HDR  ×  UV_gain_lev_al/100      ・・・（８）
V_HDR’  ＝  V_HDR  ×  UV_gain_lev_al/100      ・・・（９）
式（８）において、U_HDR’は、全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。一方、U_HDRは、全体強調処理が施される前のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。
式（９）において、V_HDR’は、全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。一方、V_HDRは、全体強調処理が施される前のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。
式（８）と式（９）において、UV_gain_lev_alは、ＨＤＲ合成ＵＶ画像の全体に一律に設定された全体彩度強調量としての、ＵＶ全体ゲイン（％）を示している。
【００５９】
ステップＳ４４において、コントラスト強調量取得部５３は、Ｙ成分強調処理においてＨＤＲ合成Ｙ画像の注目画素に対して用いられたコントラスト強調量を取得する。
具体的には、次の式（１０）が演算されて、コントラスト強調量が取得される。
Y_emphasis_Lev = |Y_contrast|      ・・・（１０）
式（１０）において、左辺のY_emphasis_Levは、取得されたコントラスト強調量を示している。右辺のY_contrastは、上述の式（４）による調整並びに式（５）若しくは式（６）による制限が施された後の注目画素の合成コントラスト成分であって、上述の式（７）において、コントラスト強調前の注目画素のデータ（画素値Y_HDR）に加えられた補正量である。
【００６０】
ステップＳ４４において、ＵＶゲイン部分彩度強調部５４は、ステップＳ４２の処理で全体強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のデータに対して、ステップＳ４３の処理で取得されたコントラスト強調量に連動する部分彩度強調量を用いて、部分強調処理を施す。
【００６１】
具体的には本実施形態では、次の式（１１）が演算されることで、全体強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＵ成分値に対してさらに、部分強調処理が施される。
U_result  ＝  U_HDR’
＋  U_HDR×(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100
×UV_adj_lev/100        ・・・（１１）
式（１１）において、左辺のU_resultは、全体強調処理及び部分強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。
右辺のU_HDR’は、上述の式（８）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。U_HDR’は、上述の式（８）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。
UV_gain_lev_partは、ＵＶ部分ゲイン（％）を示している。Y_emphasis_levは、上述の式（１０）によって取得されたコントラスト強調量、即ち合成Ｙ画像の注目画素のデータに対してＹ成分強制処理が施された際に用いられたコントラスト強調量を示している。Y_contrast_max_levは、合成コントラスト成分として予め設定された上限のレベルを示している。
即ち、(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100が、コントラスト強調量と連動した部分彩度強調量（％）を示している。
UV_adj_levは、ＨＤＲ合成ＵＶ画像の注目画素のデータに対して個別に設定された調整量（以下、「ＵＶ調整量」と呼ぶ）のレベル（％）を示している。
【００６２】
図８は、ＵＶ調整量UV_adj_levを設定するテーブルの一例を示している。
図８において、横軸は、ＨＤＲ合成ＵＶ画像のデータ（画素値）UV_HDRを示し、縦軸は、ＵＶ調整量UV_adj_lev（％）を示している。
ただし、ＨＤＲ合成ＵＶ画像のデータUV_HDRは、本実施形態では、処理負荷軽減のため、式（１２）に示すように、Ｕ成分値U_HDRとＶ成分値V_HDRの各々の絶対値のうちの大きい方を採用する。
UV_HDR  ＝  fmax（｜U_HDR｜，｜V_HDR｜）      ・・・（１２）
式（１２）において、fmax（α，β）は、αとβのうちの最大値を出力する関数を示している。
図８に示すように、ＵＶ調整量UV_adj_levは、ＨＤＲ合成ＵＶ画像の各画素毎に、そのデータ（画素値）UV_HDRに応じて個別に設定されるものである。
このため、注目画素として設定された画素毎に、そのデータ（画素値）UV_HDRに応じてＵＶ調整量UV_adj_levが適応的に変化し、その結果、注目画像のＵ成分U_HDRに対する部分強調の度合も画素毎に適応的に調節される。これにより、彩度強調による画素値の飽和による悪影響、例えば黒つぶれ、白飛び、色飽和等の悪影響を軽減させることができる。
【００６３】
また、本実施形態では、次の式（１３）が演算されることで、全体強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＶ成分値に対してさらに、部分強調処理が施される。
V_result  ＝  V_HDR’  
＋  V_HDR×(UV_gain_lev_part×Y_emphasis_lev /Y_contrast_max_lev)/100
×  UV_adj_lev/100        ・・・（１３）
式（１２）において、左辺のV_resultは、全体強調処理及び部分強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。
右辺のV_HDR’は、上述の式（９）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。V_HDR’は、上述の式（９）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。
また、式（１３）においても、式（１１）と同様に、(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100が、コントラスト強調量と連動した部分彩度強調量（％）として用いられている。
また、式（１３）においても、式（１１）と同様に、図８のテーブルに従って設定されるＵＶ調整量UV_adj_levが用いられている。従って、上述したように、注目画素として設定された画素毎に、そのデータ（画素値）UV_HDRに応じてＵＶ調整量UV_adj_levが適応的に変化し、その結果、注目画像のＶ成分V_HDRに対する部分強調の度合も画素毎に適応的に調節される。これにより、彩度強調による画素値の飽和による悪影響、例えば黒つぶれ、白飛び、色飽和等の悪影響を軽減させることができる。
【００６４】
図７のステップＳ４６において、ＵＶ強調部３２は、全ての画素を注目画素に設定したか否かを判定する。
ＨＤＲ合成ＵＶ画像を構成する画素のうち、注目画素に未だ設定されていない画素が存在する場合、ステップＳ４６においてＮＯであると判定されて、処理はステップＳ４２に戻され、それ以降の処理が繰り返される。
即ち、ＨＤＲ合成ＵＶ画像を構成する画素が注目画素として順次設定される毎に、ステップＳ４２乃至Ｓ４６のループ処理が繰り返し実行されて、注目画素して設定された画素のデータが、彩度が強調されるように更新されていく。ただし、その彩度の強調度合は、上述の如く、コントラストの強調度合に連動し、かつ、注目画素して設定された画素の更新前のデータU_HDR及びV_HDRの値に応じて適応的に可変する。
そして、最後の画素がステップＳ４２の処理で注目画素に設定されて、ステップＳ４３乃至Ｓ４６の処理が実行されると、ＨＤＲ合成ＵＶ画像を構成する全画素が更新されたので（全画素の画素値が、上述の式（１１）の値U_result及び式（１３）の値V_resultに更新されたので）、次のステップＳ４６においてＹＥＳであると判定されて、ＵＶ成分強調処理は終了となる。
【００６５】
これにより、図３の画像加工処理のうち、ステップＳ４のＵＶ成分強調処理が終了し、処理はステップＳ５に進む。即ち、ステップＳ３のＹ成分強調処理が施されたＨＤＲ合成Ｙ画像のデータと、ステップＳ４のＵＶ成分強調処理が施されたＨＤＲ合成ＵＶ画像のデータとの組み合わせが、強調後ＹＵＶ画像のデータとして、強調後ＹＵＶ画像取得部３３によって取得される。
【００６６】
なお、以上説明した画像加工処理の流れは、例示に過ぎない。
例えば、上述の例では、ステップＳ３のＹ成分強調処理の後、ステップＳ４のＵＶ成分強調処理が実行されたが、これらの処理の順番は特に限定されない。ただし、ステップＳ４のＵＶ成分強調処理で、ステップＳ３のＹ成分強調処理で用いられたコントラスト強調量（式（１０）のコントラスト強調量Y_emphasis_lev）を取得できる必要がある。
また例えば、ステップＳ２乃至Ｓ６の処理は、上述の例では各ステップ内では画素を単位として、各ステップ間では画像を単位として実行されたが、上述の例に特に限定されない。例えば、注目画素又は当該注目画素を含むブロックに対して、ステップＳ２乃至Ｓ６の処理を連続して実行する処理を、画素又はブロック毎に繰り返し実行するようにしてもよい。
【００６７】
以上説明したように、ＨＤＲ合成画像のデータが、Ｙ成分からなるＨＤＲ合成Ｙ画像のデータと、ＵＶ成分からなるＨＤＲ合成ＵＶ画像のデータとに分離されている場合、図２のＹ強調部３１は、所定のコントラスト強調量を用いて、ＨＤＲ合成Ｙ画像のデータを強調する。一方、ＵＶ強調部３２は、Ｙ強調部３１のコントラスト強調量に連動して可変する彩度強調量を用いて、ＨＤＲ合成ＵＶ画像のデータを強調する。
これにより、過度に色空間の各パラメータが調整されていても現実感を失わせないようなＨＤＲ合成画像のデータが得られる、という効果を奏することが可能になる。
特に、Ｙ強調部３１が、ＨＤＲ合成Ｙ画像内の所定の位置（座標）の画素のデータを、位置毎に異なるコントラスト強調量を用いて強調し、ＵＶ強調部３２が、ＨＤＲ合成ＵＶ画像内の所定の位置（座標）の画素のデータを、当該位置（座標）と同一のＨＤＲ合成Ｙ画像内の位置用のコントラスト強調量に連動して可変する彩度強調量を用いて強調することによって、当該効果が顕著なものとなる。
このような効果は、図９と図１０を比較することで明確にわかる。
【００６８】
図９は、図３の画像加工処理の対象となる画像のデータの一例であって、図４（Ｅ）の例と同一のデータを示している。
図９（Ａ）は、ステップＳ２の処理の結果得られたＨＤＲ合成画像のデータの一例を示している。
図９（Ｂ）は、ステップＳ３のＹ成分強調処理において、図９（Ａ）のＨＤＲ合成画像のデータの全体に対して中域強調のεフィルタ（33×33のサイズ）をかけて、その結果得られる画像全体のεフィルタ後データ（図５のステップＳ２３参照）の一例を示している。
図９（Ｃ）は、ステップＳ３のＹ成分強調処理において、図９（Ａ）のＨＤＲ合成画像のデータの全体に対して低域強調のεフィルタ（129×129のサイズ）をかけて、その結果得られる画像全体のεフィルタ後データ（図５のステップＳ２３参照）の一例を示している。
図９（Ｄ）は、ステップＳ３のＹ成分強調処理において、図９（Ａ）乃至図９（Ｃ）の各データを用いて生成された画像全体のコントラスト成分（図５のステップＳ２４及びＳ２５参照）の一例を示している。
【００６９】
図１０は、図９の各データを用いて図３の画像加工処理が実行された結果得られる、強調後ＹＵＶ画像のデータの一例を示している。
なお、各パラメータとしては、次の値が用いられた。即ち、ＹゲインY_gain_levは１００％であった。ＵＶ全体ゲインはUV_gain_lev_allは１２５％であった。ＵＶ部分ゲインUV_gain_lev_partは１５０％であった。合成コントラスト成分として予め設定された上限のレベルY_contrast_max_levは３２（８ｂｉｔ階調で）であった。
図１０に示す強調後ＹＵＶ画像は、過度に色空間の各パラメータが調整されていても現実感を失わせないようなＨＤＲ合成画像になっていることがわかる。
【００７０】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７１】
例えば、上述した実施形態では、Ｙ強調部３１によるＹ成分強調処理において、アンシャープマスク処理を施す際の平滑化のために用いるフィルタは、εフィルタが採用された。
しかしながら、このようなフィルタは、上述の如く特にεフィルタに限定されず、例えば、局所的にコントラスト成分を強調する際に発生するアンダーシュートやオーバーシュートを意図的に出した画像を生成したい場合には、通常のＬＰＦを採用することもできる。
【００７２】
また例えば、上述した実施形態では、コントラストを強調するためのＹ成分強調処理においては、２種類の周波数（低域と中域）が採用されたが、特にこれに限定されず、３種類以上でもよい。例えば低域と中域に加えてさらに、高域を採用することで、高域を強調して、シャープネスを向上させることも可能になる。
【００７３】
なお、上述した実施形態では、部分強調処理において処理対象となる画像において顔画像領域が存在した場合を考慮していないが、公知の顔画像領域検出技術を用いて顔画像領域を検出させ、この検出された顔画像の存在を考慮し、強調量の少ない部分強調処理の制御を行ってもよい。このようにすると、過度な強調により顔（特に肌色領域）の色味や質感等と失わせるという問題を解消することができる。
【００７４】
より具体的には、顔画像領域を検出した場合にＹ画像に適用させるコントラスト強調量、及び、ＵＶ画像に適用させる彩度強調量を予め設定しておく。なお、これらの強調量はこれまでに説明したコントラスト強調量及び彩度強調量より少なく、詳細には８０パーセント程度に抑えられたものでよい。
【００７５】
そして、顔画像領域を検出すると、上述のステップＳ３〜ステップＳ４でコントラスト強調量と彩度強調量で部分強調処理された画像と、顔画像領域を検出した場合に適用されるコントラスト強調量と彩度強調量で部分強調処理された画像とを生成する。
さらに、これらの画像同士を画素単位でαブレンディングして合成画像を得る。この場合検出された顔画像領域とその周辺領域については、顔画像領域を検出した場合に適用されるコントラスト強調量と彩度強調量で部分強調処理された画像の比率が高くなるように合成し、それ以外の領域については上述のステップＳ３〜ステップＳ４でコントラスト強調量と彩度強調量で部分強調処理された画像の比率が高くなるように合成することができる。
【００７６】
また例えば、上述した実施形態では、露出値が各々異なる複数の画像のデータとして、３枚の画像のデータが画素加算合成されたが、合成対象の画像のデータ数は、特にこれに限定されない。即ち、本発明は、２枚以上の任意の数の画像のデータを画素加算合成する場合に広く適用することができる。
【００７７】
また、画像加工処理の対象となる各種画像のデータは、上述の各図に示される具体例に特に限定されない。例えば合成対象となる複数の画像のデータが撮像される際の露出値の設定は、上述の各図に示される具体例に限定されず、露出値が各々異なれば任意でよい。
また、上述の実施形態では特に言及しなかったが、露出値が各々異なる複数の画像のデータは、画素加算合成されることを考慮すると、位置ズレが予め補正されていると好適である。
【００７８】
また例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。
しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、デジタルフォトフレーム、パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【００７９】
換言すると、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００８０】
図１１は、上述した一連の処理をソフトウェアにより実行させる場合の、本発明が適用される画像処理装置のハードウェア構成を示すブロック図である。
【００８１】
図１１の例では、画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、バス２０４と、入出力インターフェース２０５と、入力部２０６と、出力部２０７と、記憶部２０８と、通信部２０９と、ドライブ２１０と、を備えている。
【００８２】
ＣＰＵ２０１は、ＲＯＭ２０２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ２０１は、記憶部２０８からＲＡＭ２０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ２０３にはまた、ＣＰＵ２０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００８３】
例えば本実施形態では、合成部１１乃至ノイズ低減部１３の機能を実現するプログラムが、ＲＯＭ２０２や記憶部２０８に記憶されている。従って、ＣＰＵ２０１が、これらのプログラムに従った処理を実行することで、合成部１１乃至ノイズ低減部１３の機能を実現することができる。
【００８４】
ＣＰＵ２０１、ＲＯＭ２０２、及びＲＡＭ２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、及び通信部２０９が接続されている。
【００８５】
入力部２０６は、各種釦等の操作部で構成され、ユーザの指示操作を受け付ける他、各種情報を入力する。
出力部２０７は、各種情報を出力する。例えば、出力部２０７には、図示せぬ表示部が設けられており、合成部１１の出力データにより表わされる合成画像が表示される。
記憶部２０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００８６】
入出力インターフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア２１１が適宜装着される。ドライブ２１０によってリムーバブルメディア２１１から読み出されたプログラムは、必要に応じて記憶部２０８にインストールされる。また、リムーバブルメディア２１１は、記憶部２０８に記憶されている画像データ等の各種データも、記憶部２０８と同様に記憶することができる。
【００８７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２１１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ２０２や記憶部２０８に含まれるハードディスク等で構成される。
【００８９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００９０】
１１・・・合成部、１２・・・画像生成部、１３・・・ノイズ低減部、３１・・・Ｙ強調部、３２・・・ＵＶ強調部、３３・・・強調後ＹＵＶ画像取得部、４１・・・合成Ｙ画像取得部、４２Ａ・・・εフィルタ部、４２Ｂ・・・εフィルタ部、４３Ａ・・・コントラスト成分作成部、４３Ｂ・・・コントラスト成分作成部、４４・・・コントラスト合成部、４５・・・Ｙ成分コントラスト強調部、５１・・・合成ＵＶ画像取得部、５２・・・ＵＶゲイン全体彩度強調部、５３・・・コントラスト強調量取得部、５４・・・ＵＶゲイン部分彩度強調部、２０１・・・ＣＰＵ、２０２・・・ＲＯＭ、２０３・・・ＲＡＭ、２０４・・・バス、２０５・・・入出力インターフェース、２０６・・・入力部、２０７・・・出力部、２０８・・・記憶部、２０９・・・通信部、２１０・・・ドライブ、２１１・・・リムーバブルメディア
【図１】
0005136665.tif 000002
【図２】
0005136665.tif 000003
【図３】
0005136665.tif 000004
【図５】
0005136665.tif 000005
【図６】
0005136665.tif 000006
【図７】
0005136665.tif 000007
【図８】
0005136665.tif 000008
【図１１】
0005136665.tif 000009
【図４】
0005136665.tif 000010
【図９】
0005136665.tif 000011
【図１０】
0005136665.tif 000012