(57)【要約】【課題】明るさの異なる複数の被写体人物が比較的近い距離に存在する撮影シーンを撮影する複数の画像に対して、同様の明るさ補正を安定的に施すことが可能な撮像装置およびそれに関連する技術を提供する。【解決手段】撮像装置は、複数のＡＦエリアにそれぞれ対応する各対象エリアから人物の顔領域をそれぞれ抽出し（ステップＳＰ１１）、抽出された各顔領域の輝度を算出する（ステップＳＰ１３）とともに、各顔領域に対応するＡＦエリアの被写体に関する距離情報をそれぞれ求める（ステップＳＰ１４）。また、当該撮像装置は、各顔領域に対応するＡＦエリアの距離情報に応じて各顔領域に対する重み付け係数を設定し（ステップＳＰ１５）、各顔領域の輝度と各顔領域の重み付け係数とに基づいて撮影画像の明るさを補正する（ステップＳＰ１９，ＳＰ２０）。【選択図】図４
2009239792.tif 000002
【特許請求の範囲】
【請求項１】
複数のＡＦエリアにそれぞれ対応する各対象エリアから人物の顔領域をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された各顔領域の輝度をそれぞれ算出する輝度算出手段と、
前記各顔領域に対応するＡＦエリアの被写体に関する距離情報をそれぞれ求める距離情報取得手段と、
前記各顔領域に対応するＡＦエリアの前記距離情報に応じて前記各顔領域に対する重み付け係数を設定し、前記各顔領域の輝度と前記各顔領域の重み付け係数とに基づいて前記撮影画像の明るさを補正する補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記抽出手段は、前記各対象エリア内の肌色領域を前記顔領域とみなして抽出することを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記抽出手段は、撮像画像内における輪郭情報に基づいて前記顔領域を抽出することを特徴とする撮像装置。
【請求項４】
請求項１に記載の撮像装置において、
前記補正手段は、
前記各顔領域の重み付け係数に応じて前記各顔領域の輝度を重み付け加算した値を基準輝度として算出し、
当該基準輝度に基づいて前記撮影画像の明るさを補正することを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記補正手段は、
前記各顔領域の輝度をそれぞれ目標輝度に近づけるための補正量をそれぞれ算出し、
前記各顔領域の補正量を前記各顔領域の重み付け係数に応じて重み付け加算した修正補正量を算出し、
前記修正補正量を用いて前記撮影画像の明るさを補正することを特徴とする撮像装置。
【請求項６】
複数のＡＦエリアにそれぞれ対応する各対象エリアから人物の顔領域をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された各顔領域の輝度をそれぞれ算出する輝度算出手段と、
前記各顔領域に対応するＡＦエリアの被写体に関する距離情報をそれぞれ求める距離情報取得手段と、
前記各顔領域に対応するＡＦエリアの前記距離情報に応じて前記各顔領域に対する重み付け係数を設定し、前記各顔領域の輝度と前記各顔領域の重み付け係数とに基づいて前記撮影画像の明るさを補正する補正手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
コンピュータに、
ａ）複数のＡＦエリアにそれぞれ対応する各対象エリアから人物の顔領域をそれぞれ抽出し、抽出された各顔領域の輝度をそれぞれ算出する手順と、
ｂ）前記各顔領域に対応するＡＦエリアの被写体に関する距離情報をそれぞれ求める手順と、
ｃ）前記各顔領域に対応するＡＦエリアの前記距離情報に応じて前記各顔領域に対する重み付け係数を設定し、前記各顔領域の輝度と前記各顔領域の重み付け係数とに基づいて前記撮影画像の明るさを補正する手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどの撮像装置およびそれに関連する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の普及に伴い、撮影画像中から人物の顔領域を検出し当該顔領域が適正な明るさとなるように当該撮影画像の明るさを調整する技術が存在する。
【０００３】
例えば、特許文献１においては、顔検知領域を決定する際に、複数のＡＦエリアのうち、対応する被写体距離が短いＡＦエリアほど、その優先度が高く設定される。そして、高順位の優先度を有するＡＦエリアに基づいて顔検出が行われる。さらに、選択されたＡＦエリアに対応する顔領域の画像の輝度分布に応じて、階調補正処理が行われる。
【０００４】
【特許文献１】特開２００５−２１５７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、明るさの異なる複数の被写体人物が互いに比較的近い距離に存在する撮影シーンに関して複数の画像を撮影する場合において、上記の技術を用いて明るさ補正を行うと、距離情報の若干の変動に応じて明るさの補正結果が複数の画像相互間で変動してしまうことがある。具体的には、いずれかの被写体が実際に若干移動したこと或いはＡＦの測距誤差が存在することなどに起因して、複数の被写体相互間の遠近関係が変動したと判定され、当該変動に応じて明るさの補正結果が複数の画像相互間で変動する。
【０００６】
例えば、図５のように、直射日光の下で比較的明るい右側の人物と、日傘の影で比較的暗い左側の人物とが存在する撮影シーンを想定する。この場合において、右側の人物が最も近い被写体であると判定される１枚目の画像では、比較的明るい人物を適正輝度に調整するために全体の輝度が比較的抑制される。一方、２枚目の画像においては、測距精度誤差あるいは人物の微小移動等に起因して、今度は左側の人物が最も近い被写体であると判定されるとする。この２枚目の画像では、比較的暗い人物を適正輝度に調整するために全体の輝度が比較的増加される。
【０００７】
このように、１枚目の画像と２枚目の画像とでは互いに異なる明るさ補正が施されてしまう。この結果、同様のシーンであるにもかかわらず複数の画像間で、明るさにばらつきが生じてしまう。
【０００８】
しかしながら、このようなばらつきは抑制されることが好ましい。特に連写撮影等における連続した複数枚の撮影画像間では、互いに同様の明るさ補正が施されることが好ましい。
【０００９】
そこで、明るさの異なる複数の被写体人物が比較的近い距離に存在する撮影シーンを撮影する複数の画像に対して、同様の明るさ補正を安定的に施すことが可能な撮像装置およびそれに関連する技術を提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、撮像装置または画像処理装置であって、複数のＡＦエリアにそれぞれ対応する各対象エリアから人物の顔領域をそれぞれ抽出する抽出手段と、前記抽出手段により抽出された各顔領域の輝度をそれぞれ算出する輝度算出手段と、前記各顔領域に対応するＡＦエリアの被写体に関する距離情報をそれぞれ求める距離情報取得手段と、前記各顔領域に対応するＡＦエリアの前記距離情報に応じて前記各顔領域に対する重み付け係数を設定し、前記各顔領域の輝度と前記各顔領域の重み付け係数とに基づいて前記撮影画像の明るさを補正する補正手段とを備えるものである。
【００１１】
本発明の第２の側面は、プログラムであって、コンピュータに、ａ）複数のＡＦエリアにそれぞれ対応する各対象エリアから人物の顔領域をそれぞれ抽出し、抽出された各顔領域の輝度をそれぞれ算出する手順と、ｂ）前記各顔領域に対応するＡＦエリアの被写体に関する距離情報をそれぞれ求める手順と、ｃ）前記各顔領域に対応するＡＦエリアの前記距離情報に応じて前記各顔領域に対する重み付け係数を設定し、前記各顔領域の輝度と前記各顔領域の重み付け係数とに基づいて前記撮影画像の明るさを補正する手順とを実行させるためのものである。
【発明の効果】
【００１２】
本発明によれば、明るさの異なる複数の被写体人物が比較的近い距離に存在する撮影シーンを撮影する複数の画像に対して、同様の明るさ補正を安定的に施すことが可能である。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態を図面に基づいて説明する。
【００１４】
＜１．第１実施形態＞
＜１−１．構成概要＞
図１および図２は、本発明の第１実施形態に係る撮像装置１の外観構成を示す図である。ここで、図１は、撮像装置１の正面外観図であり、図２は、撮像装置１の背面外観図である。この撮像装置１は、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。なお、撮像装置１は、後述のような画像処理を実行する画像処理装置であるとも表現される。
【００１５】
図１に示すように、撮像装置１は、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能である。
【００１６】
撮影レンズユニット３は、主として、鏡胴３６、ならびに、鏡胴３６の内部に設けられるレンズ群３７（図３参照）及び絞り等によって構成される。レンズ群３７（撮影光学系）には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。
【００１７】
カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。
【００１８】
また、カメラ本体部２は、その正面左上部にモード設定ダイヤル８２を備え、その正面右上部に制御値設定ダイヤル８６を備えている。モード設定ダイヤル８２を操作することによれば、カメラの各種モード（各種撮影モード（人物撮影モード、風景撮影モード、およびフルオート撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことが可能である。また、制御値設定ダイヤル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。
【００１９】
また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えばリチウムイオン電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード９０（図３参照）が着脱可能に収納される。
【００２０】
レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）との２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子５（後述）を用いて被写体像（被写体の光像）に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。
【００２１】
図２において、カメラ本体部２の背面略中央上部には、ファインダ窓（接眼窓）１０が設けられている。撮影者は、ファインダ窓１０を覗くことによって、撮影レンズユニット３から導かれた被写体の光像を視認して構図決定を行うことができる。すなわち、光学ファインダを用いて構図決めを行うことが可能である。
【００２２】
図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。背面モニタ１２は、撮影条件等を設定するためのメニュー画面を表示すること、および再生モードにおいてメモリカード９０に記録された撮影画像を再生表示することなどが可能である。
【００２３】
背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。
【００２４】
背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とを、それぞれ検出できるように構成されている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出できる。
【００２５】
背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。
【００２６】
＜１−２．機能ブロック＞
つぎに、図３を参照しながら、撮像装置１の機能の概要について説明する。図３は、撮像装置１の機能構成を示すブロック図である。
【００２７】
図３に示すように、撮像装置１は、操作部８０、全体制御部１０１、フォーカス制御部１２１、ミラー制御部１２２、シャッタ制御部１２３、タイミング制御回路１２４、およびデジタル信号処理回路５０等を備える。
【００２８】
操作部８０は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部８０に対するユーザーの入力操作に応答して、全体制御部１０１が各種動作を実現する。
【００２９】
全体制御部１０１は、マイクロコンピュータとして構成され、主にＣＰＵ、メモリ、及びＲＯＭ等を備える。全体制御部１０１は、ＲＯＭ（ＥＥＰＲＯＭ等）内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種の機能を実現する。
【００３０】
全体制御部１０１は、距離情報取得部２１と顔領域抽出部２２と輝度算出部２３と補正制御部２４とを含む各処理部を実現する。
【００３１】
距離情報取得部２１は、ＡＦモジュール２０、レンズ位置検出部３９およびフォーカス制御部１２１によって取得された情報等に基づいて、複数のＡＦエリア（合焦領域）ＦＲｉ（図６参照）における各被写体に関する距離情報をそれぞれ求める。
【００３２】
顔領域抽出部２２は、複数のＡＦエリアＦＲｉにそれぞれ対応する各対象エリアＱＲｉ（図６参照）から人物の顔領域ＨＦｉ（図９参照）をそれぞれ抽出する。
【００３３】
輝度算出部２３は、顔領域抽出部２２により抽出された複数の顔領域ＨＦｉのそれぞれの輝度を算出する。
【００３４】
補正制御部２４は、γ補正回路５５等と協働して、撮像画像の階調変換を行う。補正制御部２４は、複数の顔領域ＨＦｉに対応する各ＡＦエリアＦＲｉの距離情報に応じて各顔領域ＨＦｉのそれぞれの重み付け係数Ｗｉを設定し、各顔領域ＨＦｉの輝度と各顔領域ＨＦｉの重み付け係数Ｗｉとに基づいて撮影画像の明るさを補正する。
【００３５】
全体制御部１０１は、これらの処理部を用いて、撮影画像に対する輝度調整動作（後述）等を実現する。
【００３６】
また、全体制御部１０１は、ＡＦモジュール２０およびフォーカス制御部１２１等と協動して、フォーカスレンズの位置を制御する合焦制御動作を行う。全体制御部１０１は、ＡＦモジュール２０によって検出される被写体の合焦状態に応じて、フォーカス制御部１２１を用いてＡＦ動作を実現する。なお、ＡＦモジュール２０は、ミラー機構６を介して進入してきた光を用いて、位相差方式等の合焦状態検出手法により被写体の合焦状態を検出することが可能である。
【００３７】
フォーカス制御部１２１は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ１を駆動することによって、撮影レンズユニット３のレンズ群３７に含まれるフォーカスレンズを移動する。また、フォーカスレンズの位置は、撮影レンズユニット３のレンズ位置検出部３９によって検出され、フォーカスレンズの位置を示すデータが全体制御部１０１に送られる。このように、フォーカス制御部１２１および全体制御部１０１等は、フォーカスレンズの光軸方向の動きを制御する。
【００３８】
ミラー制御部１２２は、ミラー機構６が光路から退避した状態（ミラーアップ状態）とミラー機構６が光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。ミラー制御部１２２は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ２を駆動することによって、ミラーアップ状態とミラーダウン状態とを切り替える。
【００３９】
シャッタ制御部１２３は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ３を駆動することによって、シャッタ４の開閉を制御する。
【００４０】
タイミング制御回路１２４は、撮像素子５等に対するタイミング制御を行う。
【００４１】
撮像素子（ここではＣＣＤセンサ（単にＣＣＤとも称する））５は、光電変換作用により被写体の光像を電気的信号に変換して、本撮影画像に係る画像信号（記録用の画像信号）を生成する。撮像素子５は、記録画像取得用の撮像素子であるとも表現される。
【００４２】
撮像素子５は、タイミング制御回路１２４から入力される駆動制御信号（蓄積開始信号および蓄積終了信号）に応答して、受光面に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。また、撮像素子５は、タイミング制御回路１２４から入力される読出制御信号に応答して、当該画像信号を信号処理部５１へ出力する。また、タイミング制御回路１２４からのタイミング信号（同期信号）は、信号処理部５１及びＡ／Ｄ（アナログ／デジタル）変換回路５２にも入力される。
【００４３】
撮像素子５で取得された画像信号は、信号処理部５１において所定のアナログ信号処理が施され、当該アナログ信号処理後の画像信号はＡ／Ｄ変換回路５２によってデジタル画像データ（画像データ）に変換される。この画像データは、デジタル信号処理回路５０に入力される。
【００４４】
デジタル信号処理回路５０は、Ａ／Ｄ変換回路５２から入力される画像データに対してデジタル信号処理を行い、撮像画像に係る画像データを生成する。デジタル信号処理回路５０は、黒レベル補正回路５３、ホワイトバランス（ＷＢ）回路５４、γ補正回路５５及び画像メモリ５６を備える。
【００４５】
黒レベル補正回路５３は、Ａ／Ｄ変換回路５２が出力した画像データを構成する各画素データの黒レベルを基準の黒レベルに補正する。ＷＢ回路５４は、画像のホワイトバランス調整を行う。γ補正回路５５は、撮像画像の階調変換を行う。画像メモリ５６は、生成された画像データを一時的に記憶するための、高速アクセス可能な画像メモリであり、複数フレーム分の画像データを記憶可能な容量を有する。
【００４６】
本撮影時には、画像メモリ５６に一時記憶される画像データは、全体制御部１０１において適宜画像処理（圧縮処理等を含む）が施された後、カードＩ／Ｆ１３２を介してメモリカード９０に記憶される。
【００４７】
また、画像メモリ５６に一時記憶される画像データは、全体制御部１０１によって適宜ＶＲＡＭ１３１に転送され、背面モニタ１２に画像データに基づく画像が表示される。これによって、撮影画像を確認するための確認表示（アフタービュー）、および撮影済みの画像を再生する再生表示等が実現される。
【００４８】
＜１−３．撮影動作＞
図４を参照しながら、撮像装置１の動作について説明する。図４は、撮像装置１の撮影動作直後における動作を示すフローチャートである。
【００４９】
操作者によってレリーズボタン１１が全押し状態Ｓ２にまで押下されて撮影指令が付与されると、撮像装置１は、シャッタ４を所定の露光時間にわたって開放し、被写体に関する画像データを撮像素子５を用いて取得する。そして、撮像装置１は、当該画像データに対して次述するような輝度（明るさ）調整処理（γ補正）等を施す。この結果、輝度調整動作等が施された画像データが、本撮影画像として生成され、メモリカード９０に記録される。以下では、撮像素子５により取得された露光画像（画像データ）が画像メモリ５６に一時的に読み出された状態からメモリカード９０に記録されるまでの動作について、輝度調整動作（画像処理動作）に関連する動作を中心に説明する。
【００５０】
ここでは、図５に示されるような撮影シーンを想定する。この撮影シーンにおいては、右側の人物は直射日光の下で比較的明るい輝度状態を有しており、一方、左側の人物は日傘の影で比較的暗い輝度状態を有している。また、左側の人物と右側の人物とは互いに比較的近い距離に存在する。すなわち、この撮影シーンにおいては、明るさの異なる複数の被写体人物が比較的近い距離に存在する。
【００５１】
この実施形態においては、以下のような動作を実行することによって、図５のような撮影シーンに関する複数の撮影画像を連続的に撮影する状況（例えば連写）において、当該複数の撮影画像に対して同様の明るさ補正を安定的に施すことが可能である。
【００５２】
ステップＳＰ１１においては、ＡＦモジュール２０に設けられた各ＡＦエリア（合焦領域）ＦＲｉ（ここでは４個のＡＦエリアＦＲ１〜ＦＲ４（図６参照））に関連して、人物の顔領域ＨＦｉの抽出処理が施される。なお、ステップＳＰ１１〜ＳＰ１８の処理は、複数のＡＦエリアＦＲｉについて順次施される。具体的には、まず、複数のＡＦエリアＦＲｉのうち、最初のＡＦエリア（例えばＦＲ１）が処理対象のＡＦエリアとして選択される。
【００５３】
ステップＳＰ１１における顔領域の抽出処理は、各ＡＦエリアＦＲｉを拡大した対象エリアＱＲｉ（すなわち、ＡＦエリアＦＲｉおよびその周辺エリア）を抽出対象領域（探索対象領域とも称する）として設定して実行される。
【００５４】
各対象エリアＱＲｉは、対応する各ＡＦエリアＦＲｉを中心とする所定の大きさのエリアである。例えば、図６に示すように、ＡＦエリアＦＲ１には対象エリアＱＲ１が対応し、ＡＦエリアＦＲ２には対象エリアＱＲ２が対応する。また、ＡＦエリアＦＲ３，ＦＲ４に対しては、対象エリアＱＲ３が対応する。
【００５５】
各対象エリアＱＲ（ＱＲ１〜ＱＲ４）としては、図７に示される複数のブロック（区分領域）Ｂｊ（次述）のうち、横方向に１２個および縦方向に１６個配置された合計１９２個のブロックに対応するエリアが選択される。なお、図７は、画像Ｇ１における複数のブロックＢｊを示す図である。画面Ｇ１は、横方向に４０個および縦方向に３０個に区分されている。この結果、画像Ｇ１は、合計１２００個の小領域（ブロック）Ｂｊに区分されている。
【００５６】
次に、選択されたＡＦエリアに対応する各対象エリアＱＲに関して、人物の顔領域の抽出処理が実行される。具体的には、各ブロックＢｊの肌色情報に基づいて顔領域が抽出される。より詳細には、各対象エリアＱＲ内の肌色ブロックが顔領域（人物領域）であるととみなされて抽出される。また、各ブロックＢｊが肌色ブロック（その色が肌色に分類されるブロック）であるか否かは次のようにして判定される。
【００５７】
具体的には、まず、当該ブロックＢｊ内の各画素のＲＧＢ成分の画素値が、輝度値Ｙと色成分Ｃｒ，Ｃｂとに変換される。
【００５８】
そして、当該ブロックＢｊ内の各画素の変換後の色成分（Ｃｒ，Ｃｂ）が、図８に示されるように、Ｃｒ−Ｃｂ空間（色空間）において肌色を表す所定の範囲ＥＡ（肌色エリアないし肌色空間とも称する）内に存在する場合には、当該画素は肌色画素であると判定される。
【００５９】
さらに、当該ブロックＢｊにおいて、このような肌色画素が所定の割合（例えば８割）を超える場合には、当該ブロックＢｊの色が肌色であると判定され、当該ブロックＢｊは「肌色ブロック」であると判定される。なお、これに限定されず、ブロックＢｊ内の１つ又は複数の代表画素の色によって当該ブロックＢｊの色を決定するようにしてもよい。また、抽出された肌色ブロックＢｊは、色空間内の肌色空間ＥＡにその色が属するブロックである、とも表現される。
【００６０】
ここにおいて、抽出された肌色ブロックＢｊは、人物の顔領域（人物領域）に属する領域であるとみなされ、肌色ブロックＢｊの集合領域が人物の顔領域ＨＦであるとして抽出される。換言すれば、各対象エリアＱＲ内の肌色ブロックＢｊ（肌色領域）が顔領域ＨＦとみなされて抽出される。
【００６１】
図９は、抽出された顔領域ＨＦｉ（ＨＦ１，ＨＦ２）を示す図である。図９においては、例えば、対象エリアＱＲ１から顔領域ＨＦ１が抽出されている。また、対象エリアＱＲ２から顔領域ＨＦ２が抽出されている。
【００６２】
以上のようにして、或るＡＦエリアＦＲｉ（例えばＦＲ１）に対応する対象エリアＱＲｉ（例えばＱＲ１）から人物の顔領域ＨＦｉが抽出されると、ステップＳＰ１２からステップＳＰ１３に進む。
【００６３】
ステップＳＰ１３では、抽出された顔領域ＨＦｉの輝度ＹＳｉが算出される。具体的には、顔領域ＨＦｉに含まれる複数の肌色ブロックＢｊの平均輝度（肌色平均輝度）が顔領域ＨＦｉの輝度ＹＳｉとして算出される。
【００６４】
また、ステップＳＰ１４では、或るＡＦエリアＦＲｉにおける被写体に関する距離情報が取得される。換言すれば、各顔領域ＨＧｉに対応するＡＦエリアＦＲｉの被写体に関する距離情報がそれぞれ求められる。
【００６５】
ここでは当該距離情報として、各ＡＦエリアＦＲｉにおけるデフォーカス量ΔＤｉ（次述）を取得するものとする。具体的には、各ＡＦエリアＦＲｉにおける被写体を合焦状態にする（フォーカスレンズの）仮想的なレンズ位置（合焦レンズ位置とも称する）が求められ、各ＡＦエリアＦＲｉの合焦レンズ位置と実際のレンズ位置とのずれ量（詳細にはその絶対値）が、各ＡＦエリアＦＲｉのデフォーカス量ΔＤｉとして算出される。合焦しているＡＦエリアのデフォーカス量は０（ゼロ）である。
【００６６】
なお、デフォーカス量ΔＤｉは、レンズ位置ｘと被写体距離Ｌとの関係を表すデータテーブル等に基づいて、撮像装置１から被写体までの距離Ｌに換算可能である。具体的には、実際のレンズ位置からデフォーカス量ΔＤｉを加算（あるいは減算）したレンズ位置に対応する被写体距離Ｌが、当該データテーブルに基づいて算出され得る。
【００６７】
次のステップＳＰ１５では、各顔領域ＨＦの重み付けがそれぞれ算出される。
【００６８】
具体的には、例えば式（１）に基づいて、各ＡＦエリアＦＲｉの重み付け係数Ｗｉが算出される。
【００６９】
【数１】
2009239792.tif 000003
【００７０】
ただし、ΔＤｉ＞Ｄmaxのときには、Ｗｉ＝０、とする。
【００７１】
ここで、値ΔＤｉはＡＦエリアＦＲｉのデフォーカス量であり、値Ｄmaxは所定値である。
【００７２】
図１０は、式（１）の関係を示すグラフである。図１０に示されるように、デフォーカス量ΔＤｉが大きくなるにつれて、重み付け係数Ｗｉは徐々に小さくなっていく。そして、デフォーカス量ΔＤｉが値Ｄmax以上になると、重み付け係数Ｗｉは０（ゼロ）になる。
【００７３】
例えば、値Ｄmaxが２０００（マイクロメートル）と定められる場合において、ＡＦエリアＦＲ１のデフォーカス量ΔＤ１が０（ゼロ）であり、ＡＦエリアＦＲ２のデフォーカス量ΔＤ２が１００（マイクロメートル）であるとする。このときには、式（１）に基づいて、ＡＦエリアＦＲ１の重み付け係数Ｗ１は、１．０であるとして算出され（Ｗ１＝１．０）、ＡＦエリアＦＲ２の重み付け係数Ｗ２は、０．９５であるとして算出される（Ｗ２＝０．９５）。
【００７４】
また、所定値Ｄmaxは、例えば次のようにして定められればよい。
【００７５】
一般的に合焦ＡＦエリアの被写体から大きく離れた距離に存在する被写体は、主要な被写体でないことが多い。そして、主要でない被写体に関する輝度情報は、明るさ補正に反映されないことが好ましい。
【００７６】
そこで、ここでは、明るさ補正に反映させるべき被写体に関するデフォーカス量の最大値として値Ｄmaxを定める。換言すれば、合焦している被写体から距離Ｘmaxよりも大きく離れた被写体に関する輝度情報を明るさ補正に反映させないものとする。
【００７７】
具体的には、距離Ｘmaxと被写体倍率（被写体倍率）βとを用いて、式（２）に基づいて値Ｄmaxを定めればよい。
【００７８】
【数２】
2009239792.tif 000004
【００７９】
なお、この式（２）は、デフォーカス量ΔＤｉと被写体倍率βと合焦被写体からの距離Ｘとの関係を示す式（３）に基づいて算出される（図１１参照）。また、被写体倍率βは、撮像装置１の焦点距離ｆと撮像装置１から合焦被写体までの距離Ｌとの比（β＝ｆ／Ｌ）として表現される。
【００８０】
【数３】
2009239792.tif 000005
【００８１】
例えば、Ｘmax＝５（メートル)、β＝１／５０、とすると、式（２）に基づいて、値Ｄmaxは、Ｄmax＝５×（１／５０）×（１／５０）＝０．００２（メートル）＝２０００（マイクロメートル）として算出されて定められる。
【００８２】
これにより、例えばＡＦエリアＦＲ３，ＦＲ４の被写体が値Ｘmaxよりも遠い距離（例えば無限遠）に存在する場合には、当該ＡＦエリアＦＲ３，ＦＲ４に対応する対象エリアＱＲ３，ＱＲ４に関する顔領域が仮に存在するとしても、当該顔領域の輝度は明るさ補正処理に影響を及ぼさない。
【００８３】
一方、ステップＳＰ１１で肌色ブロックが全く検出されない場合には、ステップＳＰ１２からステップＳＰ１６に進む。
【００８４】
ステップＳＰ１６では、ステップＳＰ１３とは異なり、顔領域の平均輝度（肌色平均輝度）ＹＳｉが０（ゼロ）に設定される。また、ステップＳＰ１７では、ステップＳＰ１５とは異なり、重み付け係数Ｗｉが０（ゼロ）に設定される。
【００８５】
以上のような動作（ステップＳＰ１１〜ＳＰ１７）が或るＡＦエリアＦＲｉ（例えばＦＲ１）に関して終了すると、ステップＳＰ１８に進む。
【００８６】
ステップＳＰ１８においては、全てのＡＦエリアについて上記の動作（ステップＳＰ１１〜ＳＰ１７）が終了したか否かが判定される。上記の動作が未だ実行されていないＡＦエリアが残存している場合には、別のＡＦエリアＦＲｉ（例えばＦＲ２等）に関して上記のような処理が同様に実行される。そして、全てのＡＦエリアについて上記の動作が終了すると、複数の顔領域ＨＦｉの輝度ＹＳｉと複数の顔領域ＨＦｉの重み付け係数Ｗｉとが算出された状態で、ステップＳＰ１９に進む。
【００８７】
ステップＳＰ１９では、各顔領域ＨＦｉの重み付け係数Ｗｉに応じて各顔領域ＨＦｉの輝度ＹＳｉを重み付け加算した値ＹＳが算出される。この値ＹＳは、次のステップＳＰ２０における明るさ補正において基準輝度として利用される。このような値ＹＳが基準輝度として利用されることによれば、合焦しているＡＦエリア周辺の顔領域の輝度だけでなく、他のＡＦエリア（特にそのデフォーカス量ΔＤｉが比較的小さなＡＦエリア）周辺の顔領域の輝度をも適切に反映させて明るさ補正を行うことができる。
【００８８】
基準輝度ＹＳは、例えば、ステップＳＰ１３で取得された輝度ＹＳｉとステップＳＰ１５で取得された重み付け係数Ｗｉとを用いて、式（４）に基づいて定められる。
【００８９】
【数４】
2009239792.tif 000006
【００９０】
そして、ステップＳＰ２０では、基準輝度ＹＳに基づいて撮影画像Ｇ１の明るさが補正される。
【００９１】
具体的には、基準輝度ＹＳが適正輝度となるように撮影画像Ｇ１の明るさが補正される。より詳細には、基準輝度ＹＳを目標値ＹＴに近づけるγ（ガンマ）補正曲線が採用され、当該γ補正曲線に基づくγ補正が施される。
【００９２】
図１２は、異なる補正量ＧＣを有する複数のγ補正曲線を示す図である。「＋３０」、「＋５０」、「＋７０」は画像全体の輝度（明るさ）を増加させる曲線であり、「−３０」、「−５０」、「−７０」は画像全体の輝度（明るさ）を減少させる曲線である。また、正負の符号の後の数値が大きくなるにつれて、その曲線による補正の程度が大きくなることを示している。
【００９３】
例えば、基準輝度ＹＳ（値７０）を目標値ＹＴ（値１２０）にするためには、平均値を約５０増加させる（「＋５０」）γ補正曲線（ＧＣ＝＋５０）が採用され、当該γ補正曲線に基づくγ補正が施される。
【００９４】
この実施形態においては、以上のように基準輝度ＹＳに基づいて撮影画像の明るさが補正される。
【００９５】
ここにおいて、図５の撮影シーンに関して複数の画像を連続的に撮影する場合（例えば連写等）において、測距精度誤差あるいは人物の微小移動等に起因して、１枚目の画像では右側の人物が最も近い被写体であると判定され、２枚目の画像では左側の人物が最も近い被写体であると判定されるものとする。
【００９６】
また、比較例として、単純に最も近距離の人物に対応する顔領域の輝度に基づいて画像の明るさを調整する技術を仮に想定する。
【００９７】
このような比較例においては、１枚目の画像においては、比較的明るい人物を適正輝度に調整するために全体の輝度が比較的抑制され、一方、２枚目の画像では、比較的暗い人物を適正輝度に調整するために全体の輝度が比較的増加される。このため、１枚目の画像と２枚目の画像とでは互いに異なる明るさ補正が施されてしまう。すなわち、同様のシーンであるにもかかわらず複数の画像間で、明るさにばらつきが生じてしまう。
【００９８】
これに対して、上記の実施形態によれば、最も近距離の人物に対応する顔領域の輝度のみに基づいて画像の明るさが調整されるのではなく、複数の顔領域の輝度ＹＳｉが各重み付け係数Ｗｉに基づいて反映された輝度ＹＳに基づいて画像Ｇ１の明るさが補正される。
【００９９】
例えば、２枚目の画像において左側の人物が最も近い被写体であると判定されたとしても、２枚目の画像における右側の人物に関するデフォーカス量ΔＤｉ（ΔＤ２）は、１枚目の画像における左側の人物に関するデフォーカス量ΔＤｉ（ΔＤ１）とほぼ同程度である。そのため、１枚目の撮影画像と２枚目の撮影画像との双方において、同様の基準輝度ＹＳが算出され且つ同様の明るさ補正が施される。
【０１００】
すなわち、明るさの異なる複数の被写体人物が比較的近い距離に存在する撮影シーンに関して、複数の画像を連続的に撮影する場合（例えば連写等）であっても、複数の画像の相互間で明るさにばらつきが生じることを抑制して、同様の明るさ補正を安定的に施すことが可能である。
【０１０１】
＜２．第２実施形態＞
第２実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。
【０１０２】
上記第１実施形態においては、各顔領域ＨＦｉの重み付け係数Ｗｉに応じて各顔領域ＨＦｉの輝度ＹＳｉを重み付け加算した値を基準輝度ＹＳとして算出し、当該基準輝度ＹＳに基づいて撮影画像の明るさを補正する場合を例示した。
【０１０３】
一方、この第２実施形態においては、各顔領域ＨＦｉの輝度ＹＳｉをそれぞれ目標輝度ＹＴに近づけるための各補正量ＧＣｉをまず算出する。そして、各顔領域ＨＦｉの補正量ＧＣｉを各顔領域ＨＦｉの重み付け係数Ｗｉに応じて加算した修正補正量ＧＭを算出し、修正補正量ＧＭを用いて撮影画像の明るさを補正する。
【０１０４】
図１３は、第２実施形態に係る動作を示すフローチャートである。図１３に示すように、ステップＳＰ３１，ＳＰ３５，ＳＰ３９の処理に関しては第１実施形態と相違するが、それ以外に関しては第１実施形態と同様である。
【０１０５】
このうち、ステップＳＰ３１は、ステップＳＰ１３の次に実行される。
【０１０６】
ステップＳＰ３１においては、或る顔領域ＨＦｉについてステップＳＰ１３で算出された輝度（肌色平均輝度）ＹＳｉに基づいて、顔領域ＨＦｉに関する明るさ補正の補正量ＧＣｉが決定される。具体的には、顔領域ＨＦｉの輝度ＹＳｉを目標輝度ＹＴに近づけるための各補正量ＧＣｉが算出される。例えば、目標値ＹＴが値１２０である場合に、輝度ＹＳｉが値９０であるとすると、値＋３０が補正量ＧＣｉとして決定される。あるいは、輝度ＹＳｉが値１７０であるときには、補正量ＧＣｉとして値−５０が決定される。
【０１０７】
また、ステップＳＰ３５において、補正量ＧＣｉが０（ゼロ）に設定される。すなわち、対象エリアＱＲ内に肌色領域が存在しない場合には補正量ＧＣｉが０に設定される。
【０１０８】
また、ステップＳＰ３９においては、修正補正量ＧＭが算出される。この修正補正量ＧＭは、複数の顔領域ＨＦｉの各補正量ＧＣｉを複数の顔領域ＨＦｉの各重み付けに応じて加算した値として算出される。具体的には、ステップＳＰ３１で取得された各補正量ＧＣｉとステップＳＰ１５で取得された重み付け係数Ｗｉとを用いて、式（５）に基づいて定められる。
【０１０９】
【数５】
2009239792.tif 000007
【０１１０】
そして、この修正補正量ＧＭを用いて撮影画像Ｇ１の明るさが補正される。具体的には、この修正補正量ＧＭに対応するγ（ガンマ）補正曲線が採用され、当該γ補正曲線に基づくγ補正が施される。
【０１１１】
この第２実施形態においては、以上のように修正補正量ＧＭに基づいて撮影画像の明るさが補正される。このような態様によっても、第１実施形態と同様に、明るさの異なる複数の被写体人物が比較的近い距離に存在する撮影シーンを撮影する複数の画像に対して、同様の明るさ補正を安定的に施すことが可能である。
【０１１２】
＜３．第３実施形態＞
上記第１実施形態および第２実施形態においては、肌色情報に基づいて顔領域ＨＦを抽出する場合を例示したが、これに限定されない。例えば、画像における輪郭情報に基づいて、人物の顔領域ＨＦを抽出するようにしてもよい。第３実施形態においては、このような変形例について説明する。以下では、第１実施形態との相違点を中心に説明する。
【０１１３】
図１４は、第３実施形態に係る動作を示すフローチャートである。図１４に示すように、ステップＳＰ４１，ＳＰ４２，ＳＰ４３，ＳＰ４６の処理に関しては第１実施形態と相違するが、それ以外に関しては第１実施形態と同様である。
【０１１４】
ステップＳＰ４１においては、撮影画像における輪郭情報に基づいて、人物の顔領域ＨＦを抽出する。
【０１１５】
具体的には、まず、エッジ抽出フィルタ（例えばソーベル（Sobel）フィルタ）を用いて画像Ｇ１に対してエッジ抽出処理を施して画像Ｇ１ｂ（図１５参照）を得る。そして、この画像Ｇ１ｂにおけるＡＦエリアＦＲｉ周辺のエリアＱＲｉを対象として、予め準備されたテンプレート画像とのパターンマッチング処理を行う。このパターンマッチング処理においては、図１６のようなテンプレート画像ＴＭ１，ＴＭ２，ＴＭ３等が用いられる。図１６には、その大きさが互いに異なる３つのテンプレート画像ＴＭ１，ＴＭ２，ＴＭ３が示されている。各テンプレート画像は、略楕円形状を有するエッジ画像である。これらのテンプレート画像を用いることによって、画像における輪郭情報に基づき人間の顔領域を抽出する。
【０１１６】
また、ここでは、より正確に顔領域であるか否かを判別するために、抽出された顔領域（より詳細には顔領域の候補）のうち、領域内の所定の基準位置に目に相当する部分および／または口に相当する部分が存在するものを最終的な顔領域として抽出する（図１７参照）。なお、図１７においては、抽出された顔領域が斜線領域で示されている。
【０１１７】
また、ステップＳＰ４２では、対象エリアＱＲに顔領域が存在するか否かに応じて分岐処理が行われる。対象エリアＱＲに顔領域が存在する場合にはステップＳＰ４３に進み、対象エリアＱＲに顔領域が存在しない場合にはステップＳＰ４６に進む。
【０１１８】
ステップＳＰ４３では、抽出された顔領域ＨＦｉの輝度ＹＳｉが算出される。具体的には、顔領域ＨＦｉの輪郭内に含まれる複数のブロックＢｊの平均輝度が顔領域ＨＦｉの輝度ＹＳｉとして算出される。なお、ステップＳＰ４３においては、検出した略楕円形状の顔領域のうち下側半分の領域内に含まれる複数のブロックＢｊの平均輝度を顔領域ＨＦｉの輝度ＹＳｉとして算出するようにしてもよい。これによれば、頭髪部分の影響を低減することが可能である。
【０１１９】
一方、ステップＳＰ４６では、顔領域の平均輝度ＹＳｉが０（ゼロ）に設定される。
【０１２０】
その他のステップにおいては、第１実施形態と同様の動作が実行される。
【０１２１】
このような態様によっても、第１実施形態と同様に、明るさの異なる複数の被写体人物が比較的近い距離に存在する撮影シーンを撮影する複数の画像に対して、同様の明るさ補正を安定的に施すことが可能である。
【０１２２】
＜４．その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１２３】
例えば、上記第３実施形態の思想を第２実施形態に適用するようにしてもよい。具体的には、画像における輪郭情報に基づいて人物の顔領域ＨＦを抽出し、抽出された顔領域ＨＦに関する補正量ＧＣｉを求め、さらに式（５）を用いることによって各補正量ＧＣｉに対する重み付けを行って、最終的な明るさ補正量（修正補正量）ＧＭを求めるようにしてもよい。
【０１２４】
また、上記各実施形態等においては、撮像装置１において記録用の撮影画像（本撮影画像）を得る際の画像処理技術に対して本発明の思想を適用する場合を例示したが、これに限定されない。例えば、撮像装置１によって取得された撮影画像に対して、パーソナルコンピュータ等のコンピュータを用いて画像処理を行う場合に本発明の思想を適用するようにしてもよい。具体的には、パーソナルコンピュータにおいて上記の機能を実現するプログラムを実行し、撮像装置１によって取得された撮影画像の明るさを補正するようにしてもよい。なお、この際、各ＡＦエリアに関するデフォーカス量ΔＤｉ等の情報を撮影画像に付随して格納しておき、当該デフォーカス量ΔＤｉ等の情報を用いて上記と同様の動作を実行するようにすればよい。
【０１２５】
また、上記各実施形態等においては、記録用の静止画像（撮影画像）を得る際の画像処理技術に本発明の思想を適用する場合を例示したが、これに限定されない。例えば、ライブビュー画像などの動画像（撮影画像）を得る際の画像処理技術に本発明の思想を適用するようにしてもよい。
【図面の簡単な説明】
【０１２６】
【図１】撮像装置の正面外観図である。
【図２】撮像装置の背面外観図である。
【図３】撮像装置の機能構成を示すブロック図である。
【図４】撮像装置の撮影動作直後における動作を示すフローチャートである。
【図５】或る撮影シーンを示す図である。
【図６】ＡＦエリア等を示す図である。
【図７】撮影画像を区分した複数のブロックを示す図である。
【図８】Ｃｒ−Ｃｂ空間における肌色エリアを示す図である。
【図９】抽出された顔領域を示す図である。
【図１０】デフォーカス量と重み付け係数との関係を示す図である。
【図１１】合焦被写体からの距離などを示す図である。
【図１２】複数のγ補正曲線を示す図である。
【図１３】第２実施形態に係る動作を示すフローチャートである。
【図１４】第３実施形態に係る動作を示すフローチャートである。
【図１５】エッジ画像を示す図である。
【図１６】テンプレート画像を示す図である。
【図１７】抽出された顔領域を示す図である。
【符号の説明】
【０１２７】
１  撮像装置
Ｂｊ  ブロック
Ｃｒ，Ｃｂ  色成分
ＥＡ  肌色空間
ＦＲ１〜ＦＲ４  ＡＦエリア
Ｇ１  撮影画像
Ｇ１ｂ  エッジ抽出画像
ＧＣ，ＧＣｉ  補正量
ＧＭ  修正補正量
ＨＦ，ＨＦｉ  顔領域
ＱＲ，ＱＲｉ  対象エリア
Ｗｉ  重み付け係数
ＹＳ  基準輝度
ＹＳｉ  平均輝度
ＹＴ  目標輝度
【図１】
2009239792.tif 000008
【図２】
2009239792.tif 000009
【図３】
2009239792.tif 000010
【図４】
2009239792.tif 000011
【図５】
2009239792.tif 000012
【図６】
2009239792.tif 000013
【図７】
2009239792.tif 000014
【図８】
2009239792.tif 000015
【図９】
2009239792.tif 000016
【図１０】
2009239792.tif 000017
【図１１】
2009239792.tif 000018
【図１２】
2009239792.tif 000019
【図１３】
2009239792.tif 000020
【図１４】
2009239792.tif 000021
【図１５】
2009239792.tif 000022
【図１６】
2009239792.tif 000023
【図１７】
2009239792.tif 000024