(57)【要約】【課題】  主要被写体が良好な状態となる画像を取得する。【解決手段】  入力画像に含まれる第１領域を抽出する領域検出手段と、入力画像を用いて、複数の特徴要素に基づく顕著度の分布を示す顕著性マップを生成するマップ生成手段と、領域検出手段により抽出された第１領域、及びマップ生成手段により生成された顕著性マップに基づいて、第１領域又は第１領域を除く第２領域の少なくとも一方に対して画像補正を行う画像補正手段と、を備えたことを特徴とする。【選択図】    図４
2014022826.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる第１領域を抽出する領域検出手段と、
前記入力画像を用いて、複数の特徴要素に基づく顕著度の分布を示す顕著性マップを生成するマップ生成手段と、
前記領域検出手段により抽出された前記第１領域、及び前記マップ生成手段により生成された前記顕著性マップに基づいて、前記第１領域又は該第１領域を除く第２領域の少なくとも一方に対して画像補正を行う画像補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像補正手段は、前記第１領域の顕著度が前記第２領域の顕著度より低くなる場合に前記第１領域に対して画像補正を施し、前記第１領域の顕著度を前記第２領域の顕著度より高くすることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像補正手段は、前記複数の特徴要素のうち、前記第２領域における顕著度が最も低い特徴要素に対する画像補正を前記第１領域に対して施すことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記画像補正手段は、前記複数の特徴要素のうち、前記第１領域における顕著度が最も低い特徴要素に対する画像補正を前記第１領域に対して施すことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記画像補正手段は、前記第２領域の顕著度が前記第１領域の顕著度より高くなる場合に前記第２領域に対して画像補正を施し、前記第２領域の顕著度を前記第１領域の顕著度より低くすることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記画像補正手段は、前記複数の特徴要素のうち、前記第２領域における顕著度が最も高い特徴要素に対する画像補正を前記第２領域に対して施すことを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記第２領域は、前記第１領域から所定範囲内の領域であることを特徴とする画像処理装置。
【請求項８】
請求項１から請求項６のいずれか1項に記載の画像処理装置において、
前記第２領域は、前記第１領域の顕著度よりも高い顕著度となる領域であることを特徴とする画像処理装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像処理装置において、
前記第１領域は、前記画像に含まれる主要被写体の領域であり、
前記領域検出手段は、前記画像を取得した際に焦点調節を行う際に用いた領域に基づいて、前記主要被写体の領域を前記第１領域として抽出することを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９のいずれか１項に記載の画像処理装置において、
前記画像補正手段により画像補正された画像を表示する表示手段を備えていることを特徴とする画像処理装置。
【請求項１１】
請求項１から請求項１０のいずれか1項に記載の画像処理装置において、
前記マップ生成手段により生成された前記顕著性マップと、前記画像補正手段により画像補正された画像とを関連付けて記憶する記憶手段を、さらに備えていることを特徴とする画像処理装置。
【請求項１２】
請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記複数の特徴要素のそれぞれに対して、前記画像補正手段における画像補正に対する優先順位を設定する設定手段を備え、
前記画像補正手段は、前記複数の特徴要素のうち、前記設定手段により設定された優先順位が高く設定された特徴要素から順に、前記画像補正を実行することを特徴とする画像処理装置。
【請求項１３】
請求項１に記載の画像処理装置において、
前記画像のシーンを判断する判断手段を備え、
前記領域検出手段は、前記判断手段により前記画像から複数の人物の集合写真のシーンであると判定されたときに、複数の人物の領域を前記第１領域として、それぞれ検出し、
前記画像補正手段は、前記第１領域毎の顕著度が所定範囲内に含まれるように、前記複数の人物の領域のそれぞれに対して画像補正を施すことを特徴とする画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置において、
前記領域検出手段は、前記複数の人物の領域の他に、該複数の人物を除く人物の領域を検出し、
前記画像補正手段は、前記複数の人物の領域の顕著度が前記複数の人物を除く人物の領域の顕著度よりも高くなるように、前記複数の人物の領域、又は前記複数の人物を除く人物の領域に対する画像補正を施すことを特徴とする画像処理装置。
【請求項１５】
請求項１に記載の画像処理装置において、
前記領域検出手段は、前記画像に含まれる複数の人物の領域を検出することが可能であり、
前記画像補正手段は、前記複数の人物の領域のうち、主要被写体となる人物の領域における顕著度が、他の人物の領域における顕著度よりも高くなるように、前記主要被写体となる人物の領域、又は前記他の人物の領域のいずれか一方に対して画像補正を施すことを特徴とする画像処理装置。
【請求項１６】
請求項１から請求項１５のいずれか１項に記載の画像処理装置と、
前記入力画像を取得する撮像素子と、を備えたことを特徴とする撮像装置。
【請求項１７】
入力画像に含まれる第１領域を抽出する領域検出工程と、
前記入力画像を用いて、複数の特徴要素に基づく顕著度の分布を示す顕著性マップを生成するマップ生成工程と、
前記領域検出工程により抽出された前記第１領域、及び前記マップ生成工程により生成された前記顕著性マップに基づいて、前記第１領域又は該第１領域を除く第２領域の少なくとも一方に対して画像補正を行う画像補正工程と、
をコンピュータに実行させることが可能な画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
顔検出処理や顔認識処理の結果を利用して、ＡＦ処理やＡＥ処理を実行する撮像装置が種々提案されている。これら処理を搭載した撮像装置においては、装置自体の処理能力や処理時間の制約を受けることで、顔検出処理や顔認識処理に時間がかかり、ユーザの意図するシャッタタイミングを逸するという不具合が生じることがある。このような不具合の発生を抑制するために、例えば人間の視覚を模した特徴抽出の結果をマップ化した顕著性マップを用いることが提案されている（特許文献１参照）。この顕著性マップを用いることで、上述した顔検出処理や顔認識処理を行わなくとも、画像内で人間の目に付きやすい顕著な領域を被写体として抽出することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３４３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この特許文献１においては、主要被写体や撮影対象における顕著性の度合い（顕著度）が高い値を示すことを前提にしている。しかしながら、画像を取得する際の撮影環境を考慮すると、撮影により得られる画像において主要被写体や撮影対象における顕著度が低くなる場合もあり、主要被写体が良好な状態となる画像が常に得られるとは言い難い。
【０００５】
本発明は、主要被写体が良好な状態となる画像を取得することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、入力画像に含まれる第１領域を抽出する領域検出手段と、前記入力画像を用いて、複数の特徴要素に基づく顕著度の分布を示す顕著性マップを生成するマップ生成手段と、前記領域検出手段により抽出された前記第１領域、及び前記マップ生成手段により生成された前記顕著性マップに基づいて、前記第１領域又は該第１領域を除く第２領域の少なくとも一方に対して画像補正を行う画像補正手段と、を備えたことを特徴とする。
【０００７】
また、前記画像補正手段は、前記第１領域の顕著度が前記第２領域の顕著度より低くなる場合に前記第１領域に対して画像補正を施し、前記第１領域の顕著度を前記第２領域の顕著度より高くするものである。
【０００８】
この場合、前記画像補正手段は、前記複数の特徴要素のうち、前記第２領域における顕著度が最も低い特徴要素に対する画像補正を前記第１領域に対して施すことが好ましい。また、この他に、前記画像補正手段は、前記複数の特徴要素のうち、前記第１領域における顕著度が最も低い特徴要素に対する画像補正を前記第１領域に対して施すことが好ましい。
【０００９】
また、前記画像補正手段は、前記第２領域の顕著度が前記第１領域の顕著度より高くなる場合に前記第２領域に対して画像補正を施し、前記第２領域の顕著度を前記第１領域の顕著度より低くするものである。
【００１０】
この場合、前記画像補正手段は、前記複数の特徴要素のうち、前記第２領域における顕著度が最も高い特徴要素に対する画像補正を前記第２領域に対して施すことが好ましい。
【００１１】
また、前記第２領域は、前記第１領域から所定範囲内の領域であることが好ましい。また、前記第２領域は、前記第１領域の顕著度よりも高い顕著度となる領域であることが好ましい。
【００１２】
また、前記第１領域は、前記画像に含まれる主要被写体の領域であり、
前記領域検出手段は、前記画像を取得した際に焦点調節を行う際に用いた領域に基づいて、前記主要被写体の領域を前記第１領域として抽出するものである。
【００１３】
また、前記画像補正手段により画像補正された画像を表示する表示手段を備えているものである。
【００１４】
また、前記マップ生成手段により生成された前記顕著性マップと、前記画像補正手段により画像補正された画像とを関連付けて記憶する記憶手段を、さらに備えているものである。
【００１５】
また、前記複数の特徴要素のそれぞれに対して、前記画像補正手段における画像補正に対する優先順位を設定する設定手段を備え、前記画像補正手段は、前記複数の特徴要素のうち、前記設定手段により設定された優先順位が高く設定された特徴要素から順に、前記画像補正を実行するものである。
【００１６】
また、前記画像のシーンを判断する判断手段を備え、前記領域検出手段は、前記判断手段により前記画像から複数の人物の集合写真のシーンであると判定されたときに、複数の人物の領域を前記第１領域として、それぞれ検出し、前記画像補正手段は、前記第１領域毎の顕著度が所定範囲内に含まれるように、前記複数の人物の領域のそれぞれに対して画像補正を施すものである。
【００１７】
この場合、前記領域検出手段は、前記複数の人物の領域の他に、該複数の人物を除く人物の領域を検出し、前記画像補正手段は、前記複数の人物の領域の顕著度が前記複数の人物を除く人物の領域の顕著度よりも高くなるように、前記複数の人物の領域、又は前記複数の人物を除く人物の領域に対する画像補正を施すことが好ましい。
【００１８】
また、前記領域検出手段は、前記画像に含まれる複数の人物の領域を検出することが可能であり、前記画像補正手段は、前記複数の人物の領域のうち、主要被写体となる人物の領域における顕著度が、他の人物の領域における顕著度よりも高くなるように、前記主要被写体となる人物の領域、又は前記他の人物の領域のいずれか一方に対して画像補正を施すものである。
【００１９】
また、本発明の撮像装置は、上述した画像処理装置と、前記入力画像を取得する撮像素子と、を備えたことを特徴とする。
【００２０】
また、本発明の画像処理プログラムは、入力画像に含まれる第１領域を抽出する領域検出工程と、前記入力画像を用いて、複数の特徴要素に基づく顕著度の分布を示す顕著性マップを生成するマップ生成工程と、前記領域検出工程により抽出された前記第１領域、及び前記マップ生成工程により生成された前記顕著性マップに基づいて、前記第１領域又は該第１領域を除く第２領域の少なくとも一方に対して画像補正を行う画像補正工程と、
をコンピュータに実行させることが可能なものである。
【発明の効果】
【００２１】
本発明によれば、主要被写体が良好な状態となる画像を取得することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明を用いた撮像装置の一例を示す機能ブロック図である。
【図２】データ処理回路の構成を示す機能ブロック図である。
【図３】マップ生成部の構成を示す機能ブロック図である。
【図４】撮像時における処理の流れを示すフローチャートである。
【図５】（Ａ）は、撮影面におけるＡＦエリアの配置状態を示す図、（Ｂ）は、灯台を背景にして人物を撮像するときに用いられるＡＦエリアを示す図、（Ｃ）は、人物の顔の領域と顕著度の比較する上で対象となる灯台の領域とが近接する場合を示す図である。
【図６】人物の顔の領域と顕著度の比較する上で対象となる灯台の領域とが離れた位置にある場合を示す図である。
【図７】集合写真の一例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について説明する。図１は、本実施形態の撮像装置の一例を示す機能ブロック図である。撮像装置１０は、撮像レンズ１５、撮像素子１６、操作部材１７、レンズ駆動回路１８、測光回路１９、ＣＰＵ２０、撮像素子駆動回路２１、信号処理回路２２、データ処理回路２３、液晶モニタ２４、圧縮伸長処理回路２５、表示出力回路２６、記憶媒体２７を備えている。
【００２４】
不図示の被写体の像は、撮像レンズ１５によって、撮像素子１６の撮像面上に結像される。撮像レンズ１５は、複数枚のレンズで構成され、操作部材１７の操作などに基づいて、レンズ駆動回路１８を介して、フォーカス、ズームなどの調整が可能な構成とされている。
【００２５】
撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像、及び動画像の撮像が可能な撮像素子であり、例えばＣＣＤイメージセンサ、又はＣＭＯＳイメージセンサから構成される。この撮像素子１６は、測光回路１９で得られた被写体の測光データに基づいて、ＣＰＵ２０の制御のもとで、撮像素子駆動回路２１によって駆動される。撮像素子１６により読み出された画像信号は、信号処理回路２２に入力される。
【００２６】
信号処理回路２２は、撮像素子１６により読み出された画像信号に対して、直流再生処理、Ａ／Ｄ変換処理、ホワイトバランス処理、γ変換処理などの信号処理を施し、画像データとしてデータ処理回路２３に出力する。
【００２７】
データ処理回路２３は、入力された画像データに対して、必要に応じて、液晶モニタ２４に表示を行うための解像度（画素数）変換処理を施して、表示出力回路２６に出力するとともに、前記画像データを圧縮伸長処理回路２５に出力する。表示出力回路２６は、データ処理回路２３から入力された画像データに所定の信号処理をほどこして、液晶モニタ２４に出力する。なお、表示出力回路２６は、さらに、ＣＰＵ２０の制御に基づいて、必要に応じて、データ処理回路２３から出力された画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、液晶モニタ２４には、被写体画像にオーバーレイ画像が重畳されて表示される。
【００２８】
圧縮伸長処理回路２５は、入力された画像データに対して圧縮処理を施し、記憶媒体２７に記憶する。液晶モニタ２４は、記憶媒体２７に圧縮して記憶された画像データに対応する画像を表示する。
【００２９】
なお、液晶モニタ２４は、記憶媒体２７に記憶されている画像データに対応する画像を再生画像として表示することもできる。ＣＰＵ２０は、記憶媒体２７に記憶された画像データを読み出して、圧縮伸長処理回路２５で復号化処理を施し、データ処理回路２３および表示出力回路２６を介して、液晶モニタ２４に供給する。
【００３０】
ＣＰＵ２０は、操作部材１７の一部を構成するレリーズボタンの操作に基づいて、撮像画面上に設定された領域（ＡＦエリア）の画像データを抽出し、該領域のコントラスト値（もしくは、該領域の高空間周波数成分量）を算出し、算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。
【００３１】
また、ＣＰＵ２０は、撮像レンズ１５を駆動し、順次得られる画像信号を画像内の被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、被写体毎の撮影距離情報を取得する。
【００３２】
なお、自動合焦動作として、コントラストＡＦ動作を例に挙げているが、これに限定される必要はなく、周知の瞳分割方式の位相差ＡＦ動作を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。
【００３３】
ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１８を介して撮像レンズ１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像データ、又は記憶媒体２７に記憶される画像データを、データ処理回路２３による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。
【００３４】
次に、データ処理回路２３の構成について説明する。図２に示すように、データ処理回路２３は、マップ生成部３１、被写体抽出部３２及び画像補正部３３を有している。上述したように、データ処理回路２３には、信号処理回路２２により信号処理が施された画像データが入力される。
【００３５】
マップ生成部３１は、入力される画像データに基づいて、輝度情報、色情報、エッジ情報などの特徴量を情報毎にまとめた特徴量マップを生成する。そして、マップ生成部３１は、生成された各情報の特徴量マップを用いて顕著性マップを生成する。なお、顕著性マップの生成時に用いる各情報は、上述した輝度情報、色情報、エッジ情報に限定されず、撮影画像中の被写体の動き情報など、他の情報を用いるものであってもよい。なお、マップ生成部３１の詳細については、後述する。
【００３６】
被写体抽出部３２は、ＡＦ動作時に用いられたＡＦエリアの位置情報を用いて、画像に含まれる主要被写体の領域（以下、主要被写体領域）を抽出する。例えば撮像を行う場合、主要被写体に焦点が合うようにＡＦ動作を行うのが一般的である。被写体抽出部３２は、ＡＦ動作時に用いたＡＦエリア内、及びＡＦエリアの近傍の領域における、同系色の色成分値（所定の範囲に含まれる色成分値）の領域を主要被写体領域として抽出する。なお、同系色の色成分値を有する領域を主要被写体領域として抽出することに併せて、例えばレベルセット法やスネーク法などの手法を用いて主要被写体領域を抽出することも可能である。この被写体抽出部３２により抽出された主要被写体領域に係る情報は、画像補正部３３に出力される。なお、被写体抽出部３２は、画像データを用いた被写体認識処理等により、主要被写体の領域を抽出する構成としてもよい。
【００３７】
画像補正部３３は、マップ生成部３１により生成された顕著性マップと、被写体抽出部３２により抽出された主要被写体領域とに基づいて、入力される画像データに対する画像補正処理を実行する。ここで、画像データに対して実行される画像補正処理としては、顕著性マップを生成する際に用いる情報についての補正処理、すなわち、輝度成分に対する補正処理、色成分に対する補正処理、或いは方向性エッジ成分に対する補正処理の少なくとも１つの補正処理が挙げられる。
【００３８】
輝度成分に対する補正処理としては、例えば、画像中の主要被写体領域に含まれる各画素の輝度を高くすることが挙げられる。詳細には、主要被写体領域に含まれる各画素の輝度が明るくなるように、画像データを増幅する。あるいは、主要被写体領域に含まれる画素の画素値に対して高域強調処理を施すことで、主要被写体領域におけるコントラストを強調する。なお、主要被写体領域に含まれる画素の画素値に対して高域強調処理を行う代わりに、主要被写体領域に含まれる画素の画素値に対するγ特性を変更した階調変換処理を行うことも可能である。さらに、主要被写体領域に含まれる画素の画素値に対する高域強調処理と、主要被写体領域に含まれる画素の画素値に対するγ特性を変更した階調変換処理とを併用することも可能である。このような処理を行うことで、後述のように元画像と、該画像にガウシアンフィルタ処理を施した低解像度画像との輝度差分値が大きくなる。この結果、画像中の主要被写体領域における輝度成分の顕著度が、他の領域における輝度成分の顕著度よりも高くなるように、画像データが補正される。
【００３９】
色成分に対する補正処理としては、画像中の主要被写体領域に含まれる各画素に対して、赤（Ｒ）色成分値と緑（Ｇ）色成分値との差分、又は青（Ｂ）色成分値と黄（Ｙ）色成分値との差分の少なくとも一方を増加させることが挙げられる。つまり、特定の色成分の彩度を大きくし、他の色成分の彩度を小さくする。これにより、画像中の主要被写体領域における色成分の顕著度が、他の領域における色成分の顕著度よりも高くなるように、画像データが補正される。
【００４０】
また、方向性エッジ成分に対する補正処理としては、画像中の主要被写体領域に含まれる方向性エッジ成分を大きくすることが挙げられる。詳細には、主要被写体領域に含まれる画素の画素値に対してハイパスフィルタ処理を行う。上述したように、エッジ情報抽出部４３は、例えば０度、４５度、９０度及び１３５度の方向に対するエッジ強度を画素の画素値とするエッジ画像データをそれぞれ生成している。このハイパスフィルタ処理においては、例えば０度、４５度、９０度及び１３５度の方向の少なくともいずれかの方向に対してのハイパスフィルタ処理を実行する。この結果、画像中の主要被写体領域における方向性エッジ成分の顕著度が、他の領域における方向性エッジ成分の顕著度よりも高くなるように、画像データが補正される。
【００４１】
次に、マップ生成部３１の構成について説明する。図３に示すように、マップ生成部３１は、輝度情報抽出部４１、色情報抽出部４２、エッジ情報抽出部４３、マップ合成部４４を有している。
【００４２】
上述したように、マップ生成部３１には、信号処理回路２２によって信号処理が施された画像データが入力される。なお、輝度情報抽出部４１、色情報抽出部４２、エッジ情報抽出部４３の各部には、画像データがそれぞれ入力される。
【００４３】
輝度情報抽出部４１は、入力された画像データに基づいて、各画素の画素値が輝度値からなる輝度画像データを生成する。輝度情報抽出部４１は、生成された輝度画像データを用いて、解像度が異なる複数の輝度画像データを生成する。輝度情報抽出部４１は、輝度画像データに対して、順次ガウシアンフィルタ処理を施すことで、例えばレベル１からレベル８までの８つの解像度の輝度画像データを生成する。なお、レベル１の輝度画像データは、入力された画像データと同一の解像度となるように設定される。そして、レベル２の輝度画像データ、レベル３の輝度画像データ，・・・・，レベル８の輝度画像データの順で、解像度が低く設定される。
【００４４】
これら解像度の異なる輝度画像データを生成した後、輝度情報抽出部４１は、生成された複数の輝度画像データのうち、例えばレベル１の輝度画像データ及びレベル２の輝度画像データなど、隣り合う２つのレベルの輝度画像データを選択し、選択した２つの輝度画像データの差分（以下、差分データ）を求める。なお、各輝度画像データの画素数がそれぞれ異なる場合には、輝度情報抽出部４１は、２つの輝度画像データのうち、解像度の低い輝度画像データの画素数が、解像度の高い輝度画像データの画素数となるように解像度の低い輝度画像データの画素数を変換し、差分データを求める。
【００４５】
輝度情報抽出部４１は、予め定めた数の差分データを生成した後、生成した差分データを、それぞれ正規化する。この正規化された差分データに基づいて、輝度情報マップを生成する。なお、生成された輝度情報マップは、マップ合成部４４に出力される。
【００４６】
色情報抽出部４２は、入力される画像データを用いて、赤（Ｒ）色成分値と緑（Ｇ）色成分値との差分からなるＲＧ差分画像データを生成する。そして、色情報抽出部４２は、生成されたＲＧ差分画像データを用いて、解像度が異なる複数のＲＧ差分画像データを生成する。これにより、輝度画像データと同様に、例えばレベル１からレベル８までの８つの解像度のＲＧ差分画像データが生成される。
【００４７】
色情報抽出部４２は、生成された複数のＲＧ差分画像データのうち、例えばレベル１のＲＧ差分画像データ及びレベル２のＲＧ差分画像データなど、隣り合う２つのレベルのＲＧ差分画像データを選択し、選択した２つのＲＧ差分画像データの差分（以下、差分データ）を求める。この場合も、複数のＲＧ差分画像データの画素数が、それぞれ異なる場合には、色情報抽出部４２は、２つのＲＧ差分画像データのうち、解像度の低いＲＧ差分画像データの画素数が、解像度の高いＲＧ差分画像データの画素数となるように解像度の低いＲＧ差分画像データ野が素数を変換する。色情報抽出部４２は、ＲＧ差分画像データから求めた差分データを正規化した後、赤（Ｒ）色成分値と緑（Ｇ）色成分値との差分に基づく色情報マップを生成する。
【００４８】
また、色情報抽出部４２は、入力される画像データを用いて、上述したＲＧ差分画像データの生成と同様の手法により、青（Ｂ）色成分値と黄（Ｙ）色成分値との差分からなるＢＹ差分画像データを生成する。そして、色情報抽出部４２は、ＲＧ差分画像データと同様の処理を行って、青（Ｂ）色成分値と黄（Ｙ）色成分値との差分に基づく色情報マップを生成する。この色情報抽出部４２により生成された各色情報マップは、マップ合成部４４に出力される。
【００４９】
エッジ情報抽出部４３は、入力される画像データに対してガボール・フィルタを用いたフィルタ処理を施す。このフィルタ処理により、例えば画面上で０度、４５度、９０度及び１３５度の方向に対するエッジ強度を画素の画素値とするエッジ画像データをそれぞれ生成する。エッジ情報抽出部４３は、生成されたエッジ画像データを用いて、解像度の異なる複数のエッジ画像データをさらに生成する。これにより、順次ガウシアンフィルタ処理を施すことで、レベル１からレベル８までの８つの解像度のエッジ画像データが生成される。エッジ情報抽出部４３は、生成された複数のエッジ画像データのうち、例えばレベル１のエッジ画像データ及びレベル２のエッジ画像データなど、隣り合う２つのレベルのエッジ画像データを選択し、選択した２つのエッジ画像データの差分（以下、差分データ）を求める。複数のエッジ画像データの画素数がそれぞれ異なる場合には、エッジ情報抽出部４３は、２つのエッジ画像データのうち、解像度の低いエッジ画像データの画素数が、解像度の高いエッジ画像データの画素数となるように解像度の低いエッジ画像データの画素数を変換する。エッジ情報抽出部４３は、エッジ画像データから求めた差分データを正規化した後、正規化された差分データに基づくエッジ情報マップを生成する。なお、エッジ情報抽出部４３は、上述した処理を、各方向のエッジ画像データ毎に実行する。これら生成されたエッジ情報マップは、マップ合成部４４に出力される。
【００５０】
マップ合成部４４は、入力される輝度情報マップ、色情報マップ、エッジ情報マップを合成することで、顕著性マップを生成する。この顕著性マップは、画像における各画素における顕著度の分布を示すマップとなる。
【００５１】
次に、画像補正処理の流れについて、図４のフローチャートに基づいて説明する。以下、主要被写体領域を主要被写体領域と称して説明する。
【００５２】
ステップＳ１０１は、スルー画像を取得する処理である。撮影モードが開始されると、ＣＰＵ２０は、撮像素子駆動回路２１を介して、撮像素子１６を制御する。これにより、撮像素子１６が所定時間間隔を空けて駆動される。これにより、スルー画像の元になる画像信号が取得される。この画像信号は、信号処理回路２２に出力される。信号処理回路２２は、入力される画像信号に対して、各種信号処理を実行する。これにより、スルー画像データが生成される。
【００５３】
ステップＳ１０２は、ＡＷＢ処理及びＡＥ処理を実行する処理である。ＣＰＵ２０は、測光回路１９で得られた被写体の測光データに基づいて、公知の露出演算やホワイトバランス調整処理を行う。
【００５４】
ステップＳ１０３は、ＡＦ処理である。ＣＰＵ２０は、レンズ駆動回路１８を介して、撮像レンズ１５を構成するフォーカシングレンズを移動させる。このフォーカシングレンズを移動させたときに得られる焦点評価値の最大値となる位置を求める。この焦点評価値は、撮影画面内に設けられたＡＦエリアのいずれかを用いて算出される。焦点評価値の算出の際に用いるＡＦエリアは、予めユーザが操作部材１７を操作して選択してもよいし、被写体認識などの手法により求めた被写体領域に対応したＡＦエリアを選択してもよい。
【００５５】
ステップＳ１０４は、顕著性マップを生成する処理である。信号処理回路２２により各種信号処理が施されたスルー画像データは、データ処理回路２３に入力される。データ処理回路２３は、入力されたスルー画像データを用いて、顕著性マップを生成する。
【００５６】
ステップＳ１０５は、被写体領域を抽出する処理である。データ処理回路２３は、入力されたスルー画像データ及びＡＦ動作時に用いたＡＦエリアの情報を用いて、被写体領域を抽出する。
【００５７】
ステップＳ１０６は、画像補正を行うか否かを判定する処理である。ＣＰＵ２０は、ステップＳ１０４にて生成された顕著性マップと、ステップＳ１０５にて抽出された被写体領域の位置情報とを参照し、スルー画像データに対して画像補正を行うか否かを判定する。
【００５８】
以下、スルー画像データに対して画像補正を行うか否かの判定は、画像中の主要被写体領域における顕著度と、画像中の他の領域における顕著度とを比較することで判定を行うものとする。なお、主要被写体領域における顕著度、及び画像中の他の領域における顕著度としては、例えば、各領域に含まれる各画素の顕著度の平均値を求めればよい。
【００５９】
ここで、画像中の他の領域としては、主要被写体を除く領域（背景領域）全体、或いは、主要被写体領域を除いた領域のうち顕著度が高い領域が挙げられる。ここで、主要被写体領域を除いた領域のうち顕著度が高い領域は、被写体領域に対して所定範囲内に位置する領域であればよく、主要被写体領域に隣接する領域でもよいし、主要被写体領域から離れた位置にある領域でもよい。
【００６０】
例えば主要被写体領域における顕著度が他の領域における顕著度よりも低い場合、ＣＰＵ２０は、画像補正を行う必要があると判定する。つまり、ＣＰＵ２０は、ステップＳ１０６の判定処理をＹｅｓとする。この場合、ステップＳ１０７に進む。
【００６１】
一方、主要被写体領域における顕著度が他の領域における顕著度よりも高くなる場合には、ＣＰＵ２０は、画像補正を行う必要がないと判定する。つまり、ＣＰＵ２０は、ステップＳ１０６の判定処理をＮｏとする。この場合、ステップＳ１０８に進む。
【００６２】
ステップＳ１０７は、画像補正を実行する処理である。データ処理回路２３は、ステップＳ１０４で生成された顕著性マップ、及びステップＳ１０５にて抽出された主要被写体領域に基づいて、スルー画像データに対する画像補正を行う。
【００６３】
ステップＳ１０８は、スルー画像を表示する処理である。画像補正の必要がない画像データや、画像補正処理を施した画像データは、表示出力回路２６に出力される。これを受けて、表示出力回路２６は、液晶モニタ２４に、入力された画像データに基づく画像を表示する。これにより、スルー画像が、液晶モニタ２４に表示される。
【００６４】
ステップＳ１０９は、レリーズボタンの半押し操作があるか否かを判定する処理である。なお、詳細は省略するが、レリーズボタンには、その半押し操作、及び全押し操作が行われたときに、オンとなるスイッチがそれぞれ設けられている。これらスイッチがオンとなる場合には、そのオンとなる信号（以下、操作信号）がＣＰＵ２０にそれぞれ入力される。ＣＰＵ２０は、レリーズボタンの半押し操作時の操作信号が入力されたか否かによって、レリーズボタンが半押し操作されたか否かを判定する。例えばレリーズボタンの半押し操作時の操作信号がＣＰＵ２０に入力された場合には、ＣＰＵ２０は、ステップＳ１０９の判定をＹｅｓとする。この場合、ステップＳ１１０に進む。一方、レリーズボタンの半押し操作時の操作信号がＣＰＵ２０に入力されない場合には、ＣＰＵ２０は、ステップＳ１０９の判定をＮｏとする。この場合、ステップＳ１０１に進み、ステップＳ１０１からステップＳ１０８の処理が再度実行される。
【００６５】
ステップＳ１１０は、レリーズボタンの全押し操作があるか否かを判定する処理である。上述したように、レリーズボタンには、その半押し操作、及び全押し操作が行われたときに、オンとなるスイッチがそれぞれ設けられている。ＣＰＵ２０は、レリーズボタンの全押し操作時の操作信号が入力されたか否かによって、レリーズボタンが全押し操作されたか否かを判定する。例えばレリーズボタンの全押し操作時の操作信号がＣＰＵ２０に入力された場合には、ＣＰＵ２０は、ステップＳ１１０の判定をＹｅｓとする。この場合、ステップＳ１１２に進む。一方、レリーズボタンの全押し操作時の操作信号がＣＰＵ２０に入力されない場合には、ＣＰＵ２０は、ステップＳ１１０の判定をＮｏとする。この場合、ステップＳ１１１に進む。
【００６６】
ステップＳ１１１は、レリーズボタンの操作が解除されたか否かを判定する処理である。ＣＰＵ２０は、レリーズボタンの半押し操作時の操作信号が入力されているか否かによって、レリーズボタンの操作が解除されたか否かを判定する。例えばレリーズボタンの半押し操作時の操作信号がＣＰＵ２０に入力されなくなった場合には、ＣＰＵ２０は、ステップＳ１１１の判定をＹｅｓとする。この場合、図４のフローチャートの処理が終了する。一方、レリーズボタンの半押し操作時の操作信号がＣＰＵ２０に入力されている場合には、ＣＰＵ２０は、ステップＳ１１１の判定をＮｏとする。この場合、ステップＳ１１０に戻る。
【００６７】
ステップＳ１１２は、スルー画像の撮影に続く本撮影の撮像処理である。ＣＰＵ２０は、ステップＳ１０８における露出演算で求められた撮像条件を用いて、撮像素子駆動回路２１を介して撮像素子１６を駆動する。これにより、撮像処理が実行される。この撮像処理により得られる画像信号は、信号処理回路２２に出力される。信号処理回路２２は、入力された画像信号に対して、直流再生処理、Ａ／Ｄ変換処理、γ変換処理などの信号処理を施す。これにより、撮像により得られた画像データ（本撮影画像データ）が生成される。
【００６８】
ステップＳ１１３は、顕著性マップを生成する処理である。データ処理回路２３は、信号処理回路２２から出力された本撮影画像データを用いて、顕著性マップを生成する。
【００６９】
ステップＳ１１４は、被写体領域を抽出する処理である。データ処理回路２３は、信号処理回路２２から出力された本撮影画像データを用いて、被写体領域を抽出する。このステップＳ１１２の処理は、ステップＳ１０３と同様の処理である。
【００７０】
ステップＳ１１５は、画像補正を行うか否かを判定する処理である。ＣＰＵ２０は、ステップＳ１１３にて生成された顕著性マップと、ステップＳ１１４にて抽出された主要被写体領域とを参照し、スルー画像データに対して画像補正を行うか否かを判定する。なお、このステップＳ１１５の判定処理は、ステップＳ１０４の判定処理と同一の処理からなる。例えば、画像補正を行う必要がある場合には、ＣＰＵ２０は、ステップＳ１１５の判定処理をＹｅｓとする。この場合、ステップＳ１１６に進む。一方、画像補正を行う必要がない場合には、ＣＰＵ２０は、ステップＳ１１５の判定処理をＮｏとする。この場合、ステップＳ１１７に進む。なお、ステップＳ１０４において、スルー画像データに対して、画像補正を行う必要があるか否かの判定を行っていることから、このステップＳ１１５における判定処理は、ステップＳ１０４の判定処理の結果を用いてもよい。
【００７１】
ステップＳ１１６は、画像補正処理である。このステップＳ１１３の処理は、ステップＳ１０４と同様の処理である。このステップＳ１１６の処理を実行することで、本撮影画像データに対する画像補正処理が実行される。
【００７２】
ステップＳ１１７は、画像補正された本撮影画像を表示する処理である。ステップＳ１１６にて画像補正処理が施された本撮影画像データは、表示出力回路２６に出力される。表示出力回路２６は、入力された本撮影画像データに基づく本撮影画像を液晶モニタ２４に表示する。
【００７３】
ステップＳ１１８は、画像補正された本撮影画像データを記憶するか否かを判定する処理である。ユーザは、液晶モニタ２４に表示された本撮影画像を確認し、操作部材１７を操作して、表示される本撮影画像データを記憶するか否かを選択する。上述したように、操作部材１７の操作に基づいた操作信号は、ＣＰＵ２０に入力される。操作部材１７の操作に基づいた操作信号が、液晶モニタ２４に表示された本撮影画像データを記憶することを示す信号であれば、ＣＰＵ２０は、ステップＳ１１８の判定をＹｅｓとする。この場合、ステップＳ１１９に進む。一方、操作部材１７の操作に基づいた操作信号が、液晶モニタ２４に表示された本撮影画像データを記憶しないことを示す信号であれば、ＣＰＵ２０は、ステップＳ１１８の判定をＮｏとする。この場合、図４のフローチャートの処理が終了する。
【００７４】
ステップＳ１１９は、画像を記憶する処理である。データ処理回路２３は、本撮影画像データを圧縮伸長処理回路２５に出力する。これを受けて、圧縮伸長処理回路２５は、入力された本撮影画像データに対して圧縮処理を施し、記憶媒体２７に記憶する。ここで、本撮影画像データは、ステップＳ１１３にて生成された顕著性マップが付帯情報として付帯された状態で、記憶媒体２７に記憶される。なお、ステップＳ１１５において画像補正処理が施された画像データに対しては、ステップＳ１１３において生成された顕著性マップと画像補正処理の情報とを付帯情報として本撮影画像データに付帯して記憶媒体２７に記憶させてもよいし、画像補正処理が施された画像データに基づいて再度顕著性マップを生成した後、新たに生成した顕著性マップを付帯情報として本撮影画像データに付帯して記憶させることも可能である。
【００７５】
以下、撮像面に対して複数のＡＦエリアが設けられる場合について考慮する。図５（Ａ）は、撮像画面５０に対して、横５個縦３個の計１５個のＡＦエリア５１乃至ＡＦエリア６５が設定される場合を示す。図５（Ｂ）に示すように、例えば灯台を背景にして人物を撮像した場合、撮像時には、ＡＦエリア５１乃至ＡＦエリア６５のうち、ＡＦエリア５８を用いてＡＦ動作が実行される。被写体領域の抽出処理は、撮像により得られた画像Ｉのうち、ＡＦエリア５８及びＡＦエリア５８の近傍の領域を対象として実行される。この被写体領域を抽出する処理により、例えば二点差線で示す矩形の領域６８が主要被写体領域として抽出される（図５（Ｃ）参照）。
【００７６】
その後、生成された顕著性マップを用いて、抽出された主要被写体領域を除く他の領域から顕著性が高い領域を検出する。図５においては、灯台を背景にして人物を撮像していることから、主要被写体領域を除く顕著性が高い被写体領域として、灯台の領域６９が求められる。図５（Ｃ）においては、人物の顔の領域６８に隣接して灯台の領域６９が存在する場合について示している。
【００７７】
このような場合、データ処理回路２３は、人物の顔の領域６８における顕著度と、灯台の領域６９における顕著度とをそれぞれ、顕著性マップに基づいて求める。
【００７８】
例えば、人物の顔の領域６８における輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度が、０．３，０．３，０．４の計１．０となる場合について説明する。また、灯台の領域６９における輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度が、０．５，０．５，０．１の計１．１となる場合について説明する。ここで、人物の顔の領域６８の顕著度の合計値（１．０）と、灯台の領域６９の顕著度の合計値（１．１）とを比較すると、人物の顔の領域６８の顕著度の合計値が灯台の領域６９の顕著度の合計値よりも低くなる。
このような場合には、人物の顔の領域６８における顕著度の合計値が灯台の領域６９における顕著度の合計値よりも高くなるように、人物の顔の領域６８に対する画像補正処理を実行する。なお、人物の顔の領域６８に対する画像補正処理においては、輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度の全ての顕著度の値が変更するように、それぞれの成分（特徴要素）に対する画像補正処理を実行してもよいし、上述したいずれかの顕著度の値が高くなるように画像補正処理を実行してもよい。
【００７９】
例えば輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度のいずれかの顕著度の値を変更する画像補正処理を実行する場合には、以下の第１から第３の処理のいずれかの処理が考えられる。
【００８０】
第１の処理としては、人物の顔の領域６８における輝度成分の顕著度、色成分の顕著度、或いは方向性エッジ成分の顕著度のうち、最も低い値となる顕著度の値が元の値よりも高くなるように人物の顔の領域６８に対する画像補正処理を実行する。図５（Ｃ）に示す画像Ｉでは、人物の顔の領域６８における輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度は、０．３，０．３，０．４となる。このような場合には、輝度成分の顕著度、色成分の顕著度のいずれか一方の顕著度が元の値よりも高くなるように、人物の顔の領域６８に対する画像補正処理を実行する。
【００８１】
なお、輝度成分の顕著度、色成分の顕著度のいずれか一方の顕著度が元の値よりも高くなるように、人物の顔の領域６８に対する画像補正処理を実行するとしているが、輝度成分の顕著度、色成分の顕著度の双方の顕著度が元の値よりも高くなるように人物の顔の領域６８に対する画像補正処理を実行してもよい。
【００８２】
第２の処理としては、人物の顔の領域６８における輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度のうち、最も高い値となる顕著度の値が元の値よりも高くなるように人物の顔の領域６８に対する画像補正処理を実行する。つまり、図５（Ｃ）に示す画像Ｉでは、方向性エッジ成分の顕著度が最も高い顕著度の値となる。このような場合には、方向性エッジ成分の顕著度が元の値よりも高くなるように人物の顔の領域６８に対する画像補正処理を実行する。上述したように、方向性エッジ成分は、０度、４５度、９０度、１３５度の４方向のエッジ成分が挙げられる。このため、画像補正処理により、方向性エッジ成分の顕著度を変更する場合には、これら４方向の成分のうち、少なくともいずれか１方向のエッジ成分の顕著度を変更すればよい。
【００８３】
また、第３の処理としては、灯台の領域６９における輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度のうち、最も低い値となる顕著度の成分に対する画像補正を、人物の顔の領域６８に施す。上述したように、図５（Ｃ）の画像Ｉにおいては、灯台の領域６９における輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度は、０．５，０．５，０．１となる。このような場合には、顕著度が最も低くなる方向性エッジ成分に対する画像補正を、人物の顔の領域６８に施す。
【００８４】
このような主要被写体領域に対して上述したいずれかの画像補正処理を施すことで、主要被写体領域の顕著度を他の領域の顕著度よりも高くなる。なお、顕著度は人間の目に付きやすさを示す指標であることから、このような画像補正を行うことでユーザの着目点を被写体領域に向けることが可能となる。言い換えれば、主要被写体が良好な状態となる画像を得ることが可能となる。
【００８５】
本実施形態では、スルー画像データ及び本撮影画像データのそれぞれに対して、顕著性マップを生成する処理、被写体領域を抽出する処理及び画像補正する処理を実行している。しかしながら、これら処理は、スルー画像データ及び本撮影画像データの双方に対して実行する必要はなく、スルー画像データ又は本撮影画像データの一方の画像データに対して実行することも可能である。
【００８６】
上述した処理をスルー画像データに対して実行する場合には、スルー画像データに対して実行された画像補正処理の情報を記憶しておき、本撮像時に得られる画像データに対して、記憶された画像補正処理の情報を加味したデータ処理を施すことも可能である。また、上述した処理をスルー画像データに対して実行する場合、スルー画像データのそれぞれに対して、これら処理を行う必要はなく、レリーズボタンの半押し操作が実行される直前に得られたスルー画像データに対してのみ実行する構成としてもよい。さらには、上述したスルー画像に対して行った処理を本撮影にて取得した動画像に施す構成としてもよい。
【００８７】
本実施形態では、画像補正処理が施された本撮影画像データを記憶する形態となっているが、これに限定される必要はなく、画像補正処理が施される前の本撮影画像データと、画像補正処理の処理内容に係る情報とを関連付けて記憶することも可能である。さらに、信号処理回路２２において一部信号処理が施されていない本撮影画像データ（所謂ＲＡＷデータ）に対して、信号処理回路２２、データ処理回路２３において実施される信号処理の処理（顕著性マップを生成する処理、被写体領域を抽出する処理及び画像補正する処理）に係る情報を付帯情報として記憶することも可能である。
【００８８】
本実施形態では、主要被写体領域における各顕著度の合計値（積算値）と、他の被写体領域の各顕著度の合計値とを比較しているが、これに限定される必要はなく、主要被写体領域における各顕著度の平均値と、他の被写体領域の平均値とを比較することも可能である。
【００８９】
本実施形態では、主要被写体領域における顕著度が他の領域の合計値よりも低くなる場合に、主要被写体領域における顕著度が他の領域の顕著度よりも高くなるように、主要被写体領域に対する画像補正を行っているが、これに限定される必要はなく、他の領域の顕著度が主要被写体領域の顕著度の合計値よりも低くなるように、他の領域に対する画像補正を行うことも可能である。この場合、他の領域の顕著度（例えば輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度）が元の値よりも低くなるように画像補正を行ってもよいし、輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度の少なくともいずれか１つの顕著度が、主要被写体領域の顕著度よりも低くなるように画像補正を行ってもよい。
【００９０】
例えば、輝度成分の顕著度を下げる場合には、その他の被写体領域に含まれる画素の画素値に対してローパスフィルタ処理を施すことで、その他の被写体領域におけるコントラストを低下させる。なお、その他の被写体領域に含まれる画素の画素値に対してローパスフィルタ処理を行う代わりに、その他の被写体領域に含まれる画素の画素値に対するγ特性を変更した階調変換処理を行うことも可能である。さらに、その他の被写体領域に含まれる画素の画素値に対するローパスフィルタ処理と、その他の被写体領域に含まれる画素の画素値に対するγ特性を変更した階調変換処理とを併用することも可能である。
【００９１】
また、色成分の顕著度を下げる場合には、赤（Ｒ）色成分値と緑（Ｇ）色成分値との差分、又は青（Ｂ）色成分値と黄（Ｙ）色成分値との差分のいずれか一方の差分を小さくするように、画像補正を行う。
【００９２】
また、方向性エッジ成分の顕著度を下げる場合には、その他の被写体領域に対してローパスフィルタ処理を施すことで対応することが可能となる。なお、方向性エッジ成分の顕著度を下げる場合には、０度、４５度、９０度、１３５度の４方向のエッジ成分のうち、少なくともいずれか１方向のエッジ成分の顕著度を変更するように画像補正を実行すればよい。
【００９３】
また、この他に、主要被写体領域の顕著度を高くする画像補正と、他の領域の顕著度を低くする画像補正との双方を並行して行うことも可能である。
【００９４】
本実施形態では、領域毎に顕著度毎の平均値を求め、求めた顕著度毎の平均値を合計した値を用いて、顕著度の比較を行っているが、これに限定される必要はなく、例えば各領域のそれぞれに対して、各顕著度の合計値の最大値を求め、求めた各顕著度の合計値の最大値を用いて顕著度の比較を行うことも可能である。
【００９５】
本実施形態では、主要被写体領域と、主要被写体領域から所定範囲内に含まれる領域のうち、顕著度の高い領域とを用いて顕著度の比較を行っているが、これに限定される必要はなく、主要被写体領域を除いた領域のうち、顕著度が高い被写体の領域としてもよい。図６に示すように、灯台を背景として人物を撮像した場合、人物の顔の領域７０と、灯台の領域７１とが離れた画像Ｉ’となる。このような場合には、主要被写体領域として人物の顔の領域７０が、顕著度の比較を行う領域として灯台の領域７１がそれぞれ抽出される。そして、これら領域７０，７１を用いて顕著度が比較された後、必要に応じて、画像補正処理が実行される。
【００９６】
本実施形態では、主要被写体領域における顕著度が、他の領域の顕著度よりも低くなる場合に、主要被写体領域に対して画像補正処理を行い、主要被写体領域における顕著度を、他の領域の顕著度よりも高くしている。しかしながら、実際に得られた画像データに対して施される画像補正処理の程度によっては、画像補正処理を施す前の元の画像との同一性が保てなくなるという問題がある。このため、画像補正処理にて補正される顕著度の補正量を制限してもよい。また、元の画像との同一性を保つために、輝度成分、色成分及び方向性エッジ成分の各成分に対して、画像補正処理を実行する際の優先順位を設定する。
【００９７】
例えば主要被写体領域における輝度成分の顕著度、色成分の顕著度、方向性エッジ成分の顕著度が、０．２，０．１，０．５となる場合について考慮する。この場合、顕著度の補正量の上限値を、例えば元の顕著度の値の２倍とする。また、画像補正処理において、色成分に対する画像補正処理の優先順位を第１順位とし、輝度成分に対する画像補正処理の優先順位を第２順位、方向性エッジ成分に対する画像補正処理の優先順位を第３順位にそれぞれ設定する。この場合、主要被写体の顕著度の合計値が０．８である。例えば顕著度の比較を上で対象となる被写体領域の顕著度の合計値が１．０となる場合には、主要被写体領域に対して画像補正処理が実行される。この場合、色成分に対する画像補正処理の優先順位が第１順位であることから、色成分に対する画像補正処理が最初に実行される。この色成分に対する画像補正処理を行うことで、色成分の顕著度が２倍（０．２）となる。その結果、主要被写体領域における輝度成分の顕著度、色成分の顕著度及び方向性エッジ成分の顕著度は、０．２，０．２，０．５となる。つまり、主要被写体領域の顕著度の合計値が０．９となる。
【００９８】
一方、他の領域の顕著度の合計値は１．０であり、主要被写体領域の顕著度の合計値（０．９）よりも高いので、再度画像補正処理が必要となる。輝度成分に対する画像補正処理の優先順位が第２順位に設定されているので、輝度成分に対する画像補正処理が次に実行される。その結果、主要被写体領域における輝度成分の顕著度、色成分の顕著度及び方向性エッジ成分の顕著度は、０．４，０．２，０．５となる。つまり、主要被写体領域の顕著度の合計値が１．１となる。輝度成分に対する画像補正処理を行うことで、主要被写体領域の顕著度の合計値が、他の領域の顕著度の合計値を超過するので、主要被写体領域に対する画像補正処理が終了する。なお、輝度成分に対する画像補正処理を行った後の被写体領域の顕著度の合計値が、他の領域の顕著度の合計値を超過しない場合には、方向性エッジ成分に対する画像補正処理が実施される。
【００９９】
この場合も、主要被写体領域に対して画像補正処理を実行し、主要被写体領域における顕著度の合計値を高く変更しているが、これに限定される必要はなく、顕著度の比較を行う上で対象となる主要被写体領域以外の被写体領域に対して画像補正処理を実行し、該被写体領域における顕著度の合計値を元の合計値よりも低く設定することも可能である。
【０１００】
上記の例で、輝度成分、色成分、方向性エッジ成分の各顕著度を変更するための、画像補正制限値として、個別に制限値が設定されていた場合には、主要被写体領域において、第１順位の例えば色成分の顕著度が大きくなる補正を色成分補正の制限値まで行った上で、各成分の顕著度の合計値を算出する。その上で、主要被写体の顕著度の合計値が、他の領域の顕著度より低い場合には、第２順位の例えば輝度成分について同様の補正を行う構成としてもよい。
【０１０１】
本実施形態では、撮像時のシーンについては考慮していないが、撮像時のシーンを考慮した上で画像補正処理を実行することも可能である。例えば集合写真を取得する場合、撮像範囲（画像）内には複数の人物が含まれている。この場合、複数の人物の顔の領域のそれぞれの焦点評価値を求め、求めた焦点評価値に基づいたＡＦ動作が行われる。つまり、複数の人物の顔のそれぞれがＡＦエリアとなる。この場合も、本実施形態と同様にして、各ＡＦエリアに含まれる、同系色の色成分値（所定の範囲に含まれる色成分値）の領域を主要被写体領域として抽出する。
【０１０２】
図７に示すように、画像Ｉ”から主要被写体領域として、人物の顔の領域（符号８１乃至符号９０に示す領域）が複数抽出された場合、ＣＰＵ２０は、撮像シーンを集合写真と判定する。この場合も、本実施形態と同様に、データ処理回路２３は、取り込まれた画像データを用いて顕著性マップを生成する。データ処理回路２３は、生成された顕著性マップに基づいて、抽出された複数の人物の顔の領域における顕著度をそれぞれ求める。データ処理回路２３は、複数の人物の顔の領域毎の顕著度が、その平均値に対して所定の範囲に含まれるか否かを判定する。データ処理回路２３は、複数の人物の顔の領域毎の顕著度が、その平均値に対して所定の範囲に含まれる場合には、画像データに対して画像補正を実行せずに終了する。一方、複数の人物の顔の領域の顕著度が、その平均値に対して所定の範囲から外れる場合には、顕著度が所定の範囲から外れる人物の顔の領域に対して画像補正処理を施し、該領域における顕著度が所定の範囲内に含まれるよう補正する。
【０１０３】
ところで、集合写真を撮像する際には、主要被写体である複数の人物の他に、通行人など主要被写体ではない人物が撮像範囲や取得された画像に含まれる場合がある。このような場合には、データ処理回路２３は、上述した被写体抽出処理に加えて、主要被写体である人物と、それ以外の人物とを識別する処理を実行する。なお、主要被写体である人物と、それ以外の人物とを識別する処理としては、検出される複数の人物の顔の領域のうち、大きさ（面積）が大きく異なる領域があるか否か、或いは、それぞれの領域の特徴量が大きく異なる領域があるか否か、または周波数成分の分布が異なる領域があるか否か、あるいは動きが他の人物と異なる人物があるかなど、適宜の方法が挙げられる。
【０１０４】
データ処理回路２３は、主要被写体である人物と、それ以外の人物とを識別する処理を行った後、抽出された被写体領域を主要被写体領域と、その他の被写体領域とに分類する。そして、データ処理回路２３は、主要被写体領域の顕著度と、その他の被写体領域の顕著度とを比較する。最後に、データ処理回路２３は、主要被写体領域の顕著度が、その他の被写体領域の顕著度よりも低い場合に、主要被写体領域に対する画像補正処理を実行し、主要被写体領域の顕著度をその他の被写体領域の顕著度よりも高くする。なお、データ処理回路２３は、その他の被写体領域に対して画像補正処理を実行して、その他の被写体領域の顕著度を主要被写体領域の顕著度よりも低くしてもよい。
【０１０５】
なお、集合写真を例に取り上げているが、これに限定される必要はなく、通常の撮像においても、複数の人物が撮像範囲に含まれる場合がある。このような場合であっても、主要被写体領域と、その他の被写体領域とのいずれか一方に識別し、いずれかの領域に対して画像補正処理を施すことで、主要被写体領域の顕著度を、その他の被写体領域の顕著度よりも高くすることができる。
【０１０６】
ここで、抽出される複数の被写体領域から主要被写体領域か否かを判定する場合、予め主要被写体である顔画像を登録しておき、抽出される複数の被写体領域に、該顔画像と特徴量が近似する被写体領域を主要被写体領域とする。そして、データ処理回路は、顕著性マップを用いて、主要被写体領域の顕著度と、その他の被写体領域の顕著度との比較を行う。この比較に基づいて、データ処理回路は画像補正を実行する。
【０１０７】
本実施形態では、撮像装置としているが、具体的には、デジタルカメラ、カメラ機能を備えた携帯型電話機に代表される携帯型端末機などが挙げられる。また、この他に、図１〜図３に示すデータ処理回路２３の各部の機能や、図４のフローチャートの機能を備えた画像処理装置であっても、本発明を適用することが可能である。さらに、撮像装置や画像処理装置の他に、デジタルカメラなどの撮像装置と、ＰＣとからなる撮像システムに適用することができる。
【０１０８】
例えば画像処理装置の場合には、入力される画像データに対して、顕著性マップを生成する処理、被写体領域を抽出する処理及び画像補正する処理を実行すればよい。なお。画像処理装置に入力される画像データは、信号処理が施された画像データであってもよいし、信号処理が施される前の画像データであってもよい。
【０１０９】
本実施形態では、撮像装置を例に取り上げているが、図１〜図３に示すデータ処理回路２３の各部の機能や、図４のフローチャートの機能をＰＣなどのコンピュータにて実行させることが可能な画像補正プログラムであってもよい。この画像補正プログラムは、メモリカード、磁気ディスク、光学ディスクなどのコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【０１１０】
１０…撮像装置、２０…ＣＰＵ、２２…信号処理回路、２３…データ処理回路、２４…液晶モニタ、２７…記憶媒体、３１…マップ生成部、３２…被写体抽出部、３３…画像補正部、４１…輝度情報抽出部、４２…色情報抽出部、４３…エッジ情報抽出部、４４…マップ合成部
【図１】
2014022826.tif 000003
【図２】
2014022826.tif 000004
【図３】
2014022826.tif 000005
【図４】
2014022826.tif 000006
【図５】
2014022826.tif 000007
【図６】
2014022826.tif 000008
【図７】
2014022826.tif 000009