(57)【要約】【課題】とくに顔を含む画像について、適切にコントラストを補正できるようにする。【解決手段】顔検出部５９が、撮影により取得した画像から顔を検出する。顔輝度算出部６０が顔の平均輝度を算出する。階調カーブ算出部６１が、画像が取り得る最大輝度、最適度および顔の平均輝度を不動点とし、不動点を基準とした画像のハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出する。階調処理部５３が、算出された階調カーブを用いて階調処理を行う。【選択図】図３
2009303111.tif 000002
【特許請求の範囲】
【請求項１】
撮影により取得された画像から顔を検出する顔検出手段と、
前記検出された顔の輝度近傍を不動点として、該不動点を基準とした前記画像のハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出する階調カーブ算出手段と、
前記階調カーブを用いた階調処理を含む画質補正処理を前記画像に対して施すことにより処理済み画像を生成する画像処理手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記階調カーブ算出手段は、前記検出された顔を含む顔領域の平均輝度を不動点とする階調カーブを算出する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画質補正処理が明るさ補正処理を含む場合、前記階調カーブ算出手段は、該明るさ補正後の前記顔の輝度近傍を不動点とした階調カーブを算出する手段であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記画質補正処理がγ処理を含む場合、前記階調カーブ算出手段は、該γ処理後の前記顔の輝度近傍を不動点とした階調カーブを算出する手段であることを特徴とする請求項請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記画像が低輝度撮影により取得されたものである場合、前記階調カーブ算出手段は、前記不動点よりもハイライト側を硬調化し、該不動点よりもシャドー側を軟調化するＳ字階調カーブを算出する手段であることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
【請求項６】
前記画質補正処理が色補正処理を含む場合、前記画像処理手段は、前記階調処理の後に前記画像の彩度を低くするよう前記色補正処理を行う手段であることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記画質補正処理がノイズ低減処理を含む場合、前記画像処理手段は、前記階調処理の後に前記画像のノイズをより低くするよう前記ノイズ低減処理を行う手段であることを特徴とする請求項５または６記載の画像処理装置。
【請求項８】
撮影により取得された画像から顔を検出し、
前記検出された顔の輝度近傍を不動点として、該不動点を基準とした前記画像のハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出し、
前記階調カーブを用いた階調処理を含む画質補正処理を前記画像に対して施すことにより処理済み画像を生成することを特徴とする画像処理方法。
【請求項９】
撮影により取得された画像から顔を検出する手順と、
前記検出された顔の輝度近傍を不動点として、該不動点を基準とした前記画像のハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出する手順と、
前記階調カーブを用いた階調処理を含む画質補正処理を前記画像に対して施すことにより処理済み画像を生成する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により取得された画像の階調を補正する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮影装置においては、取得した画像に対して、γ処理、階調処理、色補正処理、シャープネス処理およびノイズ低減処理等の画質を補正するための画像処理を施すことにより、画質を向上させることが行われている。例えば、カメラの測光値、測光コントラスト、フラッシュ発光の情報、カメラの露出条件等に基づいて、画像の階調特性を変更する手法が提案されている（特許文献１参照）。また、人物を含む画像については、顔を適切に補正することが望ましい。このため、画像のγを変化させることにより、顔の明るさを適切にするとともに背景の明るさも適切にする手法（特許文献２参照）、顔の明るさおよび画像全体の明るさに基づいて、顔の明るさを適切に仕上げるとともに、背景等の白跳びを防止する手法（特許文献３参照）、およびプレ撮影により取得した画像から顔を検出して、顔の明るさに基づいて露出を適正に設定する手法が提案されている（特許文献４参照）。
【０００３】
一方、撮影時の感度を自動で設定できるデジタルカメラが提案されている。このようなデジタルカメラにおいては、撮影環境の明るさを露出値（ＥＶ値）により算出し、露出値に応じてＩＳＯ感度を自動で設定して撮影を行うものである。このようなデジタルカメラを使用すれば、撮影者は自分でＩＳＯ感度を設定しなくても、撮影環境の明るさに応じた適切なＩＳＯ感度で撮影を行うことができる。
【特許文献１】特開２００３−２３４９５５号公報
【特許文献２】特開２００７−７４３２８号公報
【特許文献３】特開２００７−１２４６０４号公報
【特許文献４】特開２００７−２０１９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように感度を自動設定するデジタルカメラにおいて、例えば露出値で３ＥＶ以下となるような暗い撮影環境においてフラッシュを使用しない撮影を行うと、ＩＳＯ感度が１６００以上のように大きくなり、高感度にて撮影を行うこととなる。このような高感度撮影を行う場合においては、明るい撮影環境の場合のように光のコントラストが得られないため、全体的にコントラストが少ない画像が取得されることとなる。しかしながら、このようなコントラストが少ない画像に対してあらかじめ固定された階調カーブを用いて階調処理を施すと、全体的に硬調となり画像のメリハリが出てくるものの、とくに顔を含む場合には顔のコントラストがつきすぎてしまう。
【０００５】
本発明は上記事情に鑑みなされたものであり、とくに顔を含む画像について、適切にコントラストを補正できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、撮影により取得された画像から顔を検出する顔検出手段と、
前記検出された顔の輝度近傍を不動点として、前記画像の該不動点を基準としたハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出する階調カーブ算出手段と、
前記階調カーブを用いた階調処理を含む画質補正処理を前記画像に対して施すことにより処理済み画像を生成する画像処理手段とを備えたことを特徴とするものである。
【０００７】
「顔の輝度近傍」としては、検出した顔において特定された１つの画素の輝度であってもよく、検出された顔を含む顔領域の平均輝度あるいは中間輝度等、検出された顔を代表する輝度であってもよい。また、顔の輝度あるいは平均輝度等そのものの値のみならず、多少の誤差を含むものであってもよい。
【０００８】
また、本発明による画像処理装置においては、前記画質補正処理が明るさ補正処理を含む場合、前記階調カーブ算出手段を、該明るさ補正後の前記顔の輝度近傍を不動点とした階調カーブを算出する手段としてもよい。
【０００９】
また、本発明による画像処理装置においては、前記画質補正処理がγ処理を含む場合、前記
階調カーブ算出手段を、該γ処理後の前記顔の輝度近傍を不動点とした階調カーブを算出する手段としてもよい。
【００１０】
また、本発明による画像処理装置においては、前記画像が低輝度撮影により取得されたものである場合、前記階調カーブ算出手段を、前記不動点よりもハイライト側を硬調化し、該不動点よりもシャドー側を軟調化するＳ字階調カーブを算出する手段としてもよい。
【００１１】
「低輝度撮影」とは、撮影環境の明るさが露出値で５ＥＶ以下、好ましくは３ＥＶ以下となる撮影である。なお、オートにてＩＳＯ感度を設定する場合に、ＩＳＯ感度が１６００以上となるような撮影である。
【００１２】
また、本発明による画像処理装置においては、前記画質補正処理が色補正処理を含む場合、前記画像処理手段を、前記階調処理の後に前記画像の彩度を低くするよう前記色補正処理を行う手段としてもよい。
【００１３】
また、本発明による画像処理装置においては、前記画質補正処理がノイズ低減処理を含む場合、前記画像処理手段を、前記階調処理の後に前記画像のノイズをより低くするよう前記ノイズ低減処理を行う手段としてもよい。
【００１４】
本発明による画像処理方法は、撮影により取得された画像から顔を検出し、
前記検出された顔の輝度近傍を不動点として、前記画像の該不動点を基準としたハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出し、
前記階調カーブを用いた階調処理を含む画質補正処理を前記画像に対して施すことにより処理済み画像を生成することを特徴とするものである。
【００１５】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１６】
本発明によれば、撮影により取得された画像から顔を検出し、検出された顔の輝度近傍を不動点として、不動点を基準とした画像のハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出し、この階調カーブを用いた階調処理を含む画質補正処理を画像に対して施すようにしたため、階調処理により顔の明るさが変化することがなくなる。このため、顔の明るさを維持しつつ、顔以外の背景の部分を、階調カーブに応じた適切なコントラストを有するものとすることができる。
【００１７】
また、画質補正処理が明るさ補正処理を含む場合に、明るさ補正後の顔の輝度近傍を不動点とした階調カーブを算出することにより、好ましく補正された顔の明るさを維持しつつ、顔以外の背景の部分を階調カーブに応じた適切なコントラストを有するものとすることができる。
【００１８】
また、画質補正処理がγ処理を含む場合に、γ処理後の顔の輝度近傍を不動点とした階調カーブを算出することにより、好ましくγ処理された画像において、γ処理により補正された顔の明るさを維持しつつ、顔以外の背景の部分を階調カーブに応じた適切なコントラストを有するものとすることができる。
【００１９】
また、画像が低輝度撮影されたものである場合、不動点よりもハイライト側を硬調化し、不動点よりもシャドー側を軟調化するＳ字階調カーブを算出することにより、顔の明るさを維持しつつ、顔以外の背景の部分を階調カーブに応じたメリハリのある適切なコントラストを有するものとすることができる。
【００２０】
なお、このような階調処理を行うと、コントラストが高くなるものの、画像の彩度が強調されてしまう。このため、画質補正処理が色補正処理を含む場合に、階調処理の後に画像の彩度を低くするよう色補正処理を行うことにより、処理済み画像の彩度を適切なものとすることができる。
【００２１】
また、このような階調処理を行うと、コントラストが高くなるものの、画像に含まれるノイズが強調されてしまう。このため、画質補正処理がノイズ低減処理を含む場合に、階調処理の後にノイズをより低くするようノイズ低減処理を行うことにより、ノイズが低減された処理済み画像を得ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の実施形態について説明する。図１および図２は本発明の実施形態による画像処理装置を適用したデジタルカメラ１の外観を示す図である。図１および図２に示すように、このデジタルカメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。
【００２３】
レリーズボタン２は、２段階の押下により２種類の動作を指示できる構造となっている。例えば、自動露出調整機能（ＡＥ：Auto Exposure）、自動焦点調節機能（ＡＦ：Auto Focus）を利用した撮影では、デジタルカメラ１は、レリーズボタン２が軽く押下される第１の押下操作（半押しともいう）がなされたときに、露出調整、焦点合わせ等の撮影準備を行う。その状態で、レリーズボタン２が強く押下される第２の押下操作（全押しともいう）がなされると、デジタルカメラ１は露光を開始し、露光により得られた１画面分の画像データを記録メディアに記録する。
【００２４】
また、デジタルカメラ１の背面には、液晶等のモニタ５、撮影モード等の設定に利用されるモードダイヤル６、および各種操作ボタン８が備えられている。なお、本実施形態においては、撮影を行う撮影モード、記録メディアに記録された画像をモニタ５に再生する再生モードを設定可能とされている。
【００２５】
次いで、デジタルカメラ１の内部構成について説明する。図３は本発明の実施形態による画像処理装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。図３に示すように本実施形態による画像処理装置を適用したデジタルカメラ１は、撮像部１０を有する。
【００２６】
撮像部１０は、フォーカスレンズおよびズームレンズからなる撮影レンズ１２を有する。撮影レンズ１２は、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成される。レンズ駆動部１３はステッピングモータ等小型のモータで、ＣＣＤ１８から各機能別レンズのまでの距離が目的に適った距離となるように各機能別レンズの位置を調整する。
【００２７】
絞り１４は、複数の絞り羽根からなる。絞り駆動部１５は、ステッピングモータ等小型のモータで、ＡＥ処理部２９から出力される絞り値データに応じて、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。
【００２８】
シャッタ１６はメカニカルシャッタであり、シャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ処理部２９から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。
【００２９】
シャッタ１６の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、撮影レンズ１２等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直同期信号および水平同期信号に同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。
【００３０】
ＣＣＤ１８から読み出されたアナログ撮影信号は、アナログフロントエンド（ＡＦＥ）２０に入力される。ＡＦＥ２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００３１】
なお、ＡＧＣは、後述するようにＡＥ処理部２９が出力したＩＳＯ感度データに応じたゲインによりアナログ信号のゲインを調節する。
【００３２】
タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびＡＦＥ２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８からの電荷の読み出し、およびＡＦＥ２０の処理の同期をとっている。
【００３３】
また、デジタルカメラ１は撮影時において必要なときに発光されるフラッシュ２４を有する。
【００３４】
また、デジタルカメラ１は、ＡＦＥ２０が出力した画像データをデータバス４１を介して他の処理部に転送する画像入力コントローラ２５、および画像入力コントローラ２５から転送された画像データを一時記憶するフレームメモリ２６を備える。
【００３５】
フレームメモリ２６は、画像データに対して後述の各種処理を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。
【００３６】
表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ５に表示させたり、再生モード時に記録メディア３４に保存されている画像をモニタ５に表示させたりするためのものである。
【００３７】
ＡＦ処理部２８およびＡＥ処理部２９は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタン２が半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。
【００３８】
ＡＦ処理部２８は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
【００３９】
ＡＥ処理部２９は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づく露出値から絞り値、シャッタスピードおよびＩＳＯ感度を算出し、絞り値データ（Ａｖ値）、シャッタスピードデータ（Ｔｖ値）およびＩＳＯ感度データ（Ｓｖ値）を露出設定値として出力する（ＡＥ処理）。また、ＡＥ処理部２９は、露出値を画像処理部３１に出力する。
【００４０】
ＡＷＢ処理部３０は、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。
【００４１】
画像処理部３１は、本画像の画像データに対して、γ処理、階調処理、シャープネス補正処理、色補正処理、およびノイズ低減処理等の画質補正処理、各画素がＲＧＢそれぞれの信号値を有するように各画素の画素値を補間する補間処理、並びにＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、ＡＦＥ２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データにより表される画像である。
【００４２】
ここで、画質補正処理は、補間処理後に行ってもよく、補間処理の前に行ってもよい。本実施形態においては、補間処理後に画質補正処理を行うものとして説明する。
【００４３】
図４は画像処理部３１における画質補正処理を行う部分のブロック図である。図４に示すように画像処理部３１は、γ補正処理を行うγ処理部５１、明るさ補正処理を行う明るさ補正部５２、階調処理を行う階調処理部５３、色補正処理を行う色補正部５４、ノイズ低減処理を行うノイズ補正部５５およびシャープネス処理を行うシャープネス処理部５６を備える。また、各処理部において使用するパラメータを算出するために、処理前の画像Ｓ０を間引いて縮小画像を作成する間引き部５７、縮小画像から各処理部において処理を行う際に使用するパラメータを算出するパラメータ算出部５８、縮小画像から顔を検出する顔検出部５９、検出した顔の平均輝度を算出する顔輝度算出部６０、および階調処理部５３において使用する階調カーブを算出する階調カーブ算出部６１を備える。なお、明るさ補正部５２は、顔の明るさのみを補正するものであってもよい。
【００４４】
パラメータ算出部５８は、縮小画像の全画素の平均値、最高輝度、最低輝度、高周波成分等の特徴量を算出し、特徴量に基づいて、γ補正、明るさ補正、色補正、ノイズ補正およびシャープネス処理を行う際のパラメータを算出する。具体的には、γ補正量、明るさ補正量、色補正量、ノイズ補正量およびシャープネス処理の強調度をパラメータとして算出する。なお、これらのパラメータを算出する手法は公知の任意の手法を用いることができる。
【００４５】
また、後述するように、画像が低輝度撮影により取得されたものでない場合、およびフラッシュ２４を用いた撮影により取得されたものである場合、および低輝度撮影であっても撮影により取得した画像に顔が含まれない場合には、パラメータ算出部５８が、特徴量に基づいて階調カーブを階調処理のパラメータとして算出する。一方、画像が低輝度撮影でフラッシュ２４が使用されずに取得され、かつ撮影により取得した画像から顔が検出された場合には、後述するように階調カーブ算出部６１が階調カーブを算出する。
【００４６】
顔検出部５９は、テンプレートマッチングによる手法、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、縮小画像から顔を囲む矩形の領域（顔領域）を顔として検出する。なお、顔を検出する手法はこれに限定されるものではなく、例えば画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔として検出する手法、顔の輪郭形状をなす領域を顔として検出する手法等、任意の手法を用いることができる。また、画像に顔が複数含まれている場合には、顔検出部５９はすべての顔を検出する。そして、顔が検出された場合にのみ、検出された顔の位置を表す情報を顔輝度算出部６０に出力する。なお、画像から顔が検出されない場合には、顔検出部５９は、その旨の情報をパラメータ算出部５８に出力する。
【００４７】
顔輝度算出部６０は、明るさ補正後の画像について、縮小画像から検出された顔領域に対応する領域に含まれる画素の平均輝度Yf_aveを算出する。なお、顔が複数検出された場合は、すべての顔領域の平均輝度Yf_aveを算出する。
【００４８】
階調カーブ算出部６１は、縮小画像が取り得る最低輝度、最高輝度および顔領域の平均輝度Yf_aveを不動点としたＳ字階調カーブを算出する。例えば、縮小画像が８ビットの画像である場合、階調カーブの特性を規定する入力−出力平面において、（０，０）、（２５５，２５５）および（Yf_ave，Yf_ave）を不動点としたＳ字階調カーブを算出する。以下、階調カーブの算出について具体的に説明する。
【００４９】
図５は階調カーブの算出を説明するための図である。まず、階調カーブ算出部６１は、最低輝度（０，０）、最高輝度（２５５，２５５）および顔の平均輝度（Yf_ave，Yf_ave）を不動点に設定する。なお、図５においては、平均輝度Yf_aveの値は８０であるものとする。次いで、平均輝度Yf_aveの値に応じて、下記の式（１）、（２）により、ハイライト側の不動点およびシャドー側の不動点を決定するための、ハイライト側不動点の入力値Yin_hおよびシャドー側不動点の入力値Yin_dを算出する。式（１）、（２）により、入力値Yin_hは平均輝度Yf_aveと最高輝度２５５との中間値、入力値Yin_dは平均輝度Yf_aveと最低輝度０との中間値となる。
【００５０】
Yin_h＝Yf_ave＋（２５５−Yf_ave）／２    （１）
Yin_d＝Yf_ave／２                        （２）
さらに、階調カーブ算出部６１は、平均輝度Yf_aveの値に応じて、ハイライト側の不動点およびシャドー側の不動点を決定するための、ハイライト側不動点の出力値Yout_hおよびシャドー側不動点の出力値Yout_dを決定する。具体的には、図６に示すような、あらかじめ定められた、平均輝度Yf_aveの値の範囲に応じたハイライト側およびシャドー側不動点の出力値Yout_h、Yout_dの関係を参照して、ハイライト側およびシャドー側不動点の出力値Yout_h、Yout_dを決定する。なお、図６においては、平均輝度Yf_aveの区間の０〜４０は、０以上４０未満であることを示す。また、図６に示す関係は、テーブルとして内部メモリ３５に記憶されている。
【００５１】
そして、階調カーブ算出部６１は、ハイライト側の不動点（Yin_h，Yout_h）およびシャドー側の不動点（Yin_d，Yout_d）を設定し、最低輝度（０，０）、最高輝度（２５５，２５５）および顔の平均輝度（Yf_ave，Yf_ave）とともに５つの不動点を通るＳ字階調カーブを算出する。この際、Ｓ字階調カーブを算出する関数は、下記の式（３）に示すように多項式近似関数を用いればよい。
【００５２】
y=a(n)×x^n+a(n-1)×x^n-1+a(n-2)×x^n-2+…a1×x      （３）
なお、Yout_h＝Yin_hおよびYout_d＝Yin_dとなる場合、階調カーブはその区間は直線となる。
【００５３】
このように算出される階調カーブにより階調処理を行うと、とくに画像の明るさが暗く、コントラストに乏しい場合、コントラストを上げて画像にメリハリをつけることができることとなる。また、階調処理により顔の明るさは変更されないため、顔のコントラストが極端に高くなることもなくなる。
【００５４】
条件判定部６２は、ＡＥ処理部２９が算出した露出値に基づいて、画像が低輝度撮影により取得されたものであるか否かを判定する。また、フラッシュ２４を使用して取得されたものであるか否か、および顔検出部５９による顔の検出結果に基づいて、顔が含まれるか否かを判定する。そして、画像が低輝度撮影により取得され、フラッシュ２４が使用されず、さらに顔が含まれると判定された場合、その判定結果を第１の判定結果として、判定結果をパラメータ算出部５８、顔輝度算出部６０および階調カーブ算出部６１に出力する。なお、低輝度撮影か否かは、露出値が５ＥＶ以下、望ましくは３ＥＶ以下の場合に、低輝度撮影と判定することにより行う。一方、第１の判定結果以外の場合には、その判定結果を第２の判定結果として、判定結果をパラメータ算出部５８、顔輝度算出部６０および階調カーブ算出部６１に出力する。
【００５５】
圧縮／伸長処理部３２は、画像処理部３１によって処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。
【００５６】
メディア制御部３３は、不図示のメディアスロットルに着脱自在にセットされた記録メディア３４にアクセスして、画像ファイルの書き込みと読み込みの制御を行う。
【００５７】
内部メモリ３５は、デジタルカメラ１において設定される各種定数、上述した図６に示すテーブル、およびＣＰＵ４０が実行するプログラム等を記憶する。
【００５８】
ＣＰＵ４０は、操作ボタン８およびＡＦ処理部２８等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。
【００５９】
データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、画像データおよび各種指示等のやり取りを行う。
【００６０】
次いで、本実施形態において行われる処理について説明する。なお、本実施形態は本撮影により取得した画像に対して画質補正処理を施す点に特徴を有するため、以降の説明においては、本撮影により画像が取得された以降の処理についてのみ説明する。図７は本実施形態において行われる処理を示すフローチャートである。本撮影により画像が取得されるすなわち撮影により取得されたデジタルの画像がフレームメモリ２６に記憶され、さらに補間処理が施されると、間引き部５７が補間処理後の画像の画素を間引いて縮小画像を生成する（ステップＳＴ１）。そして、顔検出部５９が縮小画像から顔を検出する（ステップＳＴ２）。
【００６１】
一方、条件判定部６２は、画像が低輝度撮影により取得されたものであるか否か、およびフラッシュ２４を使用して取得されたものであるか否か、および顔が含まれるか否かを判定する（判定処理、ステップＳＴ３）。
【００６２】
判定結果が第１の判定結果である場合、パラメータ算出部５８は、γ補正、明るさ補正、色補正、ノイズ補正およびシャープネス処理のパラメータを算出する（第１のパラメータ算出、ステップＳＴ４）。そして、γ処理部５１がγ補正を行い（ステップＳＴ５）、明るさ補正部５２が画像の明るさを補正する（ステップＳＴ６）。
【００６３】
一方、顔輝度算出部６０が、明るさ補正後の画像に含まれる顔の平均輝度Yf_aveを算出し（ステップＳＴ７）、階調カーブ算出部６１が平均輝度Yf_aveを用いて、上述したように階調カーブを算出する（ステップＳＴ８）。
【００６４】
そして、階調処理部５３が、階調カーブ算出部６１が算出した階調カーブを用いて階調処理を行う（ステップＳＴ９）。そして、色補正部５４が色補正処理を行う（ステップＳＴ１０）。この際、色補正部５４は、パラメータ算出部５８が決定した色補正のパラメータをそのまま用いてもよいが、上述したように算出した階調カーブを用いた階調処理により画像の彩度が高くなるため、彩度を低下させるようにパラメータを修正して、色補正処理を行うことが好ましい。
【００６５】
さらに、ノイズ補正部５５がノイズ補正処理を行う（ステップＳＴ１１）。この際、ノイズ補正部５５は、パラメータ算出部５８が決定したノイズ補正のパラメータをそのまま用いてもよいが、上述したように算出した階調カーブを用いた階調処理により画像のノイズが強調されるため、より多くのノイズを低減するようにパラメータを修正して、ノイズ補正処理を行うことが好ましい。最後にシャープネス処理部５６がシャープネス処理を行い（ステップＳＴ１２）、処理済み画像Ｓ１を生成する。
【００６６】
一方、判定結果が、第２の判定結果である場合、パラメータ算出部５８は、γ補正、明るさ補正、色補正、ノイズ補正およびシャープネス処理のパラメータに加えて階調処理のパラメータを算出する（第２のパラメータ算出、ステップＳＴ１３）。そして、γ処理部５１、明るさ補正部５２、階調処理部５３、色補正部５４、ノイズ補正部５５およびシャープネス処理部５６が、パラメータ算出部５８が算出したパラメータにより処理を行い、処理済み画像Ｓ１を生成する（通常の画像処理、ステップＳＴ１４）。
【００６７】
処理済み画像Ｓ１は、ＹＣ処理が施された後圧縮／伸長処理部３２に入力され、圧縮／伸長処理部３２が処理済み画像Ｓ１の画像ファイルを生成し（ステップＳＴ１５）、次いでメディア制御部３３が画像ファイルを記録メディア３４に記録し（ステップＳＴ１６）、処理を終了する。
【００６８】
このように、本実施形態においては、検出された顔の平均輝度Yf_aveを不動点として、不動点を基準とした画像のハイライト側およびシャドー側の階調特性を変化させる階調カーブを算出し、この階調カーブを用いた階調処理を含む画質補正処理を画像に対して施すようにしたため、階調処理により顔の明るさが変更されることがなくなる。このため、顔の明るさを維持しつつ、背景を階調カーブに応じた適切なコントラストを有するものとすることができる。
【００６９】
とくに、顔の平均輝度Yf_aveよりもハイライト側を硬調化し、平均輝度Yf_aveよりもシャドー側を軟調化するＳ字階調カーブを算出しているため、顔の明るさを維持しつつ、背景を階調カーブに応じたメリハリのある適切なコントラストを有するものとすることができる。
【００７０】
また、γ処理および明るさ補正が行われた後の顔の平均輝度Yf_aveを不動点とした階調カーブを算出しているため、好ましく補正された画像のγおよび顔の明るさを維持しつつ、背景を階調カーブに応じた適切なコントラストを有するものとすることができる。
【００７１】
また、上述したように算出したＳ字階調カーブを用いて階調処理を行うと、コントラストが高くなるものの、画像の彩度が強調されてしまう。このため、画像の彩度を低くするよう色補正処理を行うことにより、処理済み画像Ｓ１の彩度を適切なものとすることができる。
【００７２】
また、上述したように算出したＳ字階調カーブを用いて階調処理を行うと、コントラストが高くなるものの、画像に含まれるノイズが強調されてしまう。このため、ノイズをより低くするようノイズ低減処理を行うことにより、ノイズが低減された処理済み画像Ｓ１を得ることができる。
【００７３】
なお、上記実施形態においては、画像が低輝度撮影により取得され、フラッシュ２４が使用されず、さらに顔が含まれると判定された場合に、階調カーブ算出部６１により階調カーブを算出しているが、このような条件を設けることなく、低輝度撮影か否かおよびフラッシュ２４を用いた撮影か否かに拘わらず、顔が検出された場合にのみ、階調カーブ算出部６１により階調カーブを算出するようにしてもよい。
【００７４】
また、上記実施形態においては、図５に示すように、平均輝度Yf_aveよりもハイライト側を硬調化し、平均輝度Yf_aveよりもシャドー側を軟調化するＳ字階調カーブを算出しているが、図８に示すように、平均輝度Yf_aveよりもハイライト側を軟調化し、平均輝度Yf_aveよりもシャドー側を硬調化するＳ字階調カーブ等、顔の平均輝度Yf_aveを不動点として、不動点を基準とした画像のハイライト側およびシャドー側の階調特性を変化させる階調カーブであれば、撮影者が所望とするように階調カーブを算出するようにしてもよい。
【００７５】
また、上記実施形態においては、検出した顔の平均輝度Yf_aveを不動点としているが、検出した顔において特定された１つの画素の輝度、あるいは検出された顔を含む顔領域の中間輝度等、他の値を不動点としてもよい。
【００７６】
また、上記実施形態においては、本発明による画像処理装置をデジタルカメラ１に適用しているが、画像処理装置を単独で用いるようにしてもよい。この場合、画像処理装置には、撮影により取得された画像および露出値等を入力するための、各種インターフェースが用いられることとなる。
【００７７】
また、上記実施形態においては、条件判定部６２が露出値に基づいて低輝度撮影か否かを判定しているが、ＡＥ処理部２９が算出したＩＳＯ感度に基づいて、低輝度撮影か否かを判定するようにしてもよい。この場合、ＩＳＯ感度で１６００以上の場合、低輝度撮影と判定するようにすればよい。
【００７８】
以上、本発明の実施形態について説明したが、コンピュータを、上記の画像処理部３１に対応する手段として機能させ、図７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施形態による画像処理装置を適用したデジタルカメラの外観を示す図（正面側）
【図２】本発明の実施形態による画像処理装置を適用したデジタルカメラの外観を示す図（背面側）
【図３】本発明の実施形態による画像処理装置を適用したデジタルカメラの内部構成を示す概略ブロック図
【図４】画像処理部における画質補正処理を行う部分のブロック図
【図５】階調カーブの算出を説明するための図
【図６】平均輝度Yf_aveの値に応じたハイライト側およびシャドー側不動点の出力値Yout_h、Yout_dの関係を示す図
【図７】本実施形態において行われる処理を示すフローチャート
【図８】階調カーブの他の例を示す図
【符号の説明】
【００８０】
１    デジタルカメラ
２    レリーズボタン
５    モニタ
１０    撮像部
３１    画像処理部
５１    γ処理部
５２    明るさ補正部
５３    階調処理部
５４    色補正部
５５    ノイズ補正部
５６    シャープネス処理部
５７    間引き部
５８    パラメータ算出部
５９    顔検出部
６０    顔輝度算出部
６１    階調カーブ算出部
６２    条件判定部
【図１】
2009303111.tif 000003
【図２】
2009303111.tif 000004
【図３】
2009303111.tif 000005
【図４】
2009303111.tif 000006
【図５】
2009303111.tif 000007
【図６】
2009303111.tif 000008
【図７】
2009303111.tif 000009
【図８】
2009303111.tif 000010