(57)【要約】【課題】撮影者の意図に沿うように、被写界深度を自動制御する。【解決手段】撮影画像から顔を検出し、検出された顔の位置、大きさ又は向きに応じて絞りの開度を制御することにより被写界深度を自動制御する。例えば、顔の位置が中央付近にあるとき、顔の大きさが大きいとき、或いは、顔の向きが正面向きであるとき、顔に対する撮影者の注目度合いが高いと推測し、顔にピントを合わせて背景をぼかすべく被写界深度を浅くする。一方、顔の位置が端付近にあるとき、顔の大きさが小さいとき、或いは、顔の向きが横向きであるとき、撮影者は顔だけでなく背景にも注目していると推測し、顔と背景の双方にピントを合わせるべく被写界深度を深くする。【選択図】図１７
2008233470.tif 000002
【特許請求の範囲】
【請求項１】
絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御装置において、
前記撮像素子の出力信号に基づく撮影画像から顔を検出する顔検出手段を備え、
前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記開度を調節する
ことを特徴とする絞り制御装置。
【請求項２】
前記位置が前記撮影画像上の第１位置にあるときに前記開度が比較的大きくなり且つ前記位置が前記撮影画像上の第２位置にあるときに前記開度が比較的小さくなるように、前記開度を調節し、
前記第１位置は、前記第２位置よりも、前記撮影画像の中心位置に近い
ことを特徴とする請求項１に記載の絞り制御装置。
【請求項３】
前記大きさが比較的大きいときに前記開度が比較的大きくなり且つ前記大きさが比較的小さいときに前記開度が比較的小さくなるように、前記開度を調節する
ことを特徴とする請求項１または請求項２に記載の絞り制御装置。
【請求項４】
前記顔検出手段は、前記撮影画像に含まれる顔の前記向きが正面向きであるか横向きであるかを区別して検出可能であり、
前記向きが正面向きであるときに前記開度が比較的大きくなり且つ前記向きが横向きであるときに前記開度が比較的小さくなるように、前記開度を調節する
ことを特徴とする請求項１〜請求項３の何れかに記載の絞り制御装置。
【請求項５】
前記顔検出手段は、前記撮影画像内で走査される判定領域内の画像と所定の基準顔画像との類似度を評価することによって、前記撮影画像から顔を検出し、
当該絞り制御装置は、更に前記類似度をも考慮して前記開度を調節する
ことを特徴とする請求項１〜請求項４の何れかに記載の絞り制御装置。
【請求項６】
前記類似度が比較的高いときに前記開度が比較的大きくなり且つ前記類似度が比較的低いときに前記開度が比較的小さくなるように、前記開度を調節する
ことを特徴とする請求項５に記載の絞り制御装置。
【請求項７】
撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出手段と、
前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理手段と、を備え、
前記ぼかし処理手段は、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定し、
前記一部領域と前記顔領域が互いに重なり合わないように前記位置に基づいて前記一部領域は設定される
ことを特徴とする画像処理装置。
【請求項８】
請求項１〜請求項６の何れかに記載の絞り制御装置、絞り及び撮像素子を備えた
ことを特徴とする撮像装置。
【請求項９】
請求項７に記載の画像処理装置及び撮像素子を備えた
ことを特徴とする撮像装置。
【請求項１０】
絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御方法において、
前記撮像素子の出力信号に基づく撮影画像から顔を検出し、
前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記開度を調節する
ことを特徴とする絞り制御方法。
【請求項１１】
撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出ステップと、
前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理ステップと、を備え、
前記ぼかし処理ステップでは、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定し、
前記一部領域と前記顔領域が互いに重なり合わないように前記位置に基づいて前記一部領域は設定される
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における絞りを自動制御する絞り制御装置及び絞り制御方法に関する。また、本発明は、撮影画像に対する画像処理を行う画像処理装置及び画像処理方法に関する。また、本発明は、撮像装置に関する。
【背景技術】
【０００２】
一般的に、カメラの光学系における絞りを絞るとピントの合う範囲が広がり、開放すると該範囲が狭くなる。被写体側の、ピントの合う範囲を被写界深度という。被写界深度の深さを利用した効果的な画像を得るための撮影方法として、近景にピントを合わせて遠景をぼかしたい場合は絞りを開放して（即ち絞り値を小さくして）被写界深度を浅くし（図１７（ａ）参照）、近景と遠景の両方にピントを合わせたい場合は絞りを絞って（即ち絞り値を大きくして）被写界深度を深くする（図１７（ｃ）参照）、という撮影方法がある。
【０００３】
カメラに対する知識の深いユーザは、このような撮影方法を用いて特殊な演出効果を得ることができる。しかしながら、上記の撮影方法は誰にでも容易に使えるものではなく、多くのユーザはそのような知識を有していないのが実情である。仮に、特別な操作を要することなく、上記のような特殊な演出効果を得ることができれば、撮影者の意図の沿った効果的な画像を提供することが可能となる。
【０００４】
尚、下記特許文献１には、顔検出結果を利用して絞り（被写界深度）を調整する技術が開示されている。
【０００５】
【特許文献１】特開２００３−３４４８９１号公報
【特許文献２】特開２００３−３１９２４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで本発明は、特別な操作を要することなく撮影者の意図に沿った画像の取得に寄与する絞り制御装置及び絞り制御方法、画像処理装置及び画像処理方法、並びに、撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る絞り制御装置は、絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御装置において、前記撮像素子の出力信号に基づく撮影画像から顔を検出する顔検出手段を備え、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記開度を調節することを特徴とする。
【０００８】
撮影画像に含まれる顔の位置、大きさ又は向きを参照すれば、顔に対する撮影者の注目度合いを推定可能である。そこで、顔の位置、大きさ又は向きを参照して絞りの開度を調整する。これにより、撮影状況に応じて被写界深度が自動調整され、特別な操作を要することなく撮影者の意図に沿った画像を取得することが可能となる。
【０００９】
具体的には例えば、前記位置が前記撮影画像上の第１位置にあるときに前記開度が比較的大きくなり且つ前記位置が前記撮影画像上の第２位置にあるときに前記開度が比較的小さくなるように、前記開度を調節し、前記第１位置は、前記第２位置よりも、前記撮影画像の中心位置に近い。
【００１０】
また具体的には例えば、前記大きさが比較的大きいときに前記開度が比較的大きくなり且つ前記大きさが比較的小さいときに前記開度が比較的小さくなるように、前記開度を調節する。
【００１１】
また具体的には例えば、前記顔検出手段は、前記撮影画像に含まれる顔の前記向きが正面向きであるか横向きであるかを区別して検出可能であり、前記向きが正面向きであるときに前記開度が比較的大きくなり且つ前記向きが横向きであるときに前記開度が比較的小さくなるように、前記開度を調節する。
【００１２】
また例えば、前記顔検出手段は、前記撮影画像内で走査される判定領域内の画像と所定の基準顔画像との類似度を評価することによって、前記撮影画像から顔を検出し、当該絞り制御装置は、更に前記類似度をも考慮して前記開度を調節する。
【００１３】
そして例えば、前記類似度が比較的高いときに前記開度が比較的大きくなり且つ前記類似度が比較的低いときに前記開度が比較的小さくなるように、前記開度を調節する。
【００１４】
また、本発明に係る画像処理装置は、撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出手段と、前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理手段と、を備え、前記ぼかし処理手段は、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定し、前記一部領域と前記顔領域が互いに重なり合わないように前記位置に基づいて前記一部領域は設定されることを特徴とする。
【００１５】
顔領域を含まない一部領域内の画像（通常、背景画像）をぼかすことにより、特殊な演出効果を得ることができる。一方、撮影画像に含まれる顔の位置、大きさ又は向きを参照すれば、顔に対する撮影者の注目度合いを推定可能であり、撮影者がそのような演出効果を望むか否かを推定可能である。そこで、顔の位置、大きさ又は向きを参照してぼかし画像処理の実行可否を決定する。これにより、特別な操作を要することなく撮影者の意図に沿った画像を取得することが可能となる。
【００１６】
また、本発明に係る撮像装置は、上記の何れかに記載の絞り制御装置、絞り及び撮像素子を備えている。
【００１７】
また、本発明に係る撮像装置は、上記の画像処理装置及び撮像素子を備えている。
【００１８】
また、本発明に係る絞り制御方法は、絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御方法において、前記撮像素子の出力信号に基づく撮影画像から顔を検出し、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記開度を調節することを特徴とする。
【００１９】
また、本発明に係る画像処理方法は、撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出ステップと、前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理ステップと、を備え、前記ぼかし処理ステップでは、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定し、前記一部領域と前記顔領域が互いに重なり合わないように前記位置に基づいて前記一部領域は設定されることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、特別な操作を要することなく撮影者の意図に沿った画像の取得に寄与する絞り制御装置及び絞り制御方法、画像処理装置及び画像処理方法、並びに、撮像装置を提供することができる。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２３】
図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、静止画及び動画を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画のみを撮影可能なデジタルスチルカメラであってもよい。
【００２４】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
【００２５】
まず、撮像装置１及び撮像装置１を構成する各部位の、基本的な機能について説明する。
【００２６】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。
【００２７】
ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。
【００２８】
メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。
【００２９】
図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。
【００３０】
図２の撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。
【００３１】
ドライバ３４は、ＣＰＵ２３からのレンズ制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、ＣＰＵ２３からの絞り制御信号に基づいて絞り３２の開度を制御する。
【００３２】
絞り３２は、絞り３２の開口部の大きさを制御することによって撮像素子３３の受光量及び被写界深度を制御する開口絞りであり、絞り３２の開度とは、その開口部の大きさを表す。絞り３２の開度を表す値は「絞り値」と呼ばれる。絞り３２の開度が小さくなるに従って、絞り値は大きくなると共に撮像素子３３の受光量は減少し且つ被写界深度は深くなる。逆に、絞り３２の開度が大きくなるに従って、絞り値は小さくなると共に撮像素子３３の受光量は増加し且つ被写界深度は浅くなる。
【００３３】
被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２の開口部を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００３４】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００３５】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。
【００３６】
映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」又は「フレーム画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。映像信号処理部１３にて生成された映像信号は、圧縮処理部１６と映像出力回路２０に送られる。
【００３７】
図１のマイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。
【００３８】
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。
【００３９】
録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。
【００４０】
撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００４１】
撮影モードでは、所定のフレーム周期（例えば、１／６０秒）にて順次撮影が行われる。撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。再度、録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。
【００４２】
また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。
【００４３】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、録画ボタン２６ａ又はシャッタボタン２６ｂの押下の有無に関わらず、撮像部１１による撮影画像の取得及び映像信号処理１３による映像信号の生成が逐次行われており、所謂プレビューを行うべく、その映像信号は映像出力回路２０に送られる。
【００４４】
映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。
【００４５】
また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００４６】
本実施形態に係る撮像装置１は、静止画撮影時に適用可能な特徴的な絞り制御機能或いはそれに関連する機能を備える。この種の機能を実現する具体例として、以下に第１〜第４実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用することが可能である。尚、以下の説明は、特に記述しない限り、撮影モードにおける動作を説明したものである。
【００４７】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図３は、上述の絞り制御機能を実現する主要部位のブロック図である。顔検出部４１、ＡＥ評価部４２及びＡＦ評価部４３は、図１の映像信号処理部１３にて実現される。
【００４８】
顔検出部４１は、順次得られるフレーム画像の中から人物の顔を検出して、顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部４１は何れの手法をも採用可能である。
【００４９】
図４に、顔検出部４１の内部ブロック図の例を示す。図４の顔検出部４１は、画像縮小部５１、顔検出処理部５２及び顔辞書メモリ５３を有する。
【００５０】
画像縮小部５１は、フレーム画像の画像サイズを一定の割合で縮小することによってフレーム画像の縮小画像を生成可能である。画像縮小部５１は、フレーム画像そのもの又はフレーム画像の縮小画像を検出対象画像として顔検出処理部５２に供給する。
【００５１】
顔検出処理部５２は、検出対象画像内に存在する顔を検出する。図５を参照して、顔検出処理部５２による顔検出の手法を説明する。
【００５２】
図５（ａ）において、符号１００は検出対象画像を表し、符号１１０は顔検出用の判定領域を表す。顔検出を行う際、判定領域を検出対象画像の左上隅に配置した状態を初期状態とし、検出対象画像内において、判定領域を１画素ずつ左から右に水平方向に走査させる。判定領域が検出対象画像の右端に到達したら、判定領域を下方向に１画素ずらし、再度、水平方向の走査を行う。このように、判定領域を水平方向及び垂直方向に走査しながら、判定領域内に顔が存在しているかを逐次検出する。
【００５３】
１種類のサイズの判定領域にて大きさの異なる顔を検出することができるように、フレーム画像の画像サイズは適宜縮小される。具体的には、フレーム画像を縮小することによって検出対象画像を生成する際の縮小率を段階的に変更し、フレーム画像及び各縮小率にて生成された縮小画像を検出対象画像として顔検出処理部５２に供給する。
【００５４】
図５（ｂ）及び（ｃ）における符号１０１及び１０２は、縮小によって得られた検出対象画像であり、図５（ａ）の検出対象画像１００がフレーム画像であるとした場合、図５（ｂ）及び（ｃ）に示される検出対象画像１０１及び１０２は、フレーム画像の縮小画像に相当する。
【００５５】
判定領域１１０のサイズは、何れの検出対象画像（１００、１０１及び１０２）に対しても同じである。具体的には例えば、判定領域１１０のサイズは、２４×２４画素に設定される。但し、以下、説明及び図示の簡略化上、判定領域１１０のサイズは、８×８画素であるものとする。
【００５６】
上述の如く判定領域は走査されるが、或る検出対象画像内において判定領域が或る特定の位置に存在する状態に着目し、その判定領域内に顔が存在しているか否かを判断する手法について説明する。図６は、この手法の動作手順を表すフローチャートである。図６におけるステップＳ１〜Ｓ５の各処理は、顔検出処理部５２によって実行される。
【００５７】
ステップＳ１において、判定領域内の画像に対して４種類の微分フィルタの夫々を適用してエッジ強調処理を施すことにより、４つの第１エッジ強調画像（４方向の第１エッジ強調画像）を生成する。４種類の微分フィルタとして、例えば図７（ａ）〜（ｄ）に示すような、水平方向、垂直方向、右斜め上方向及び左斜め上方向に対応する４方向のPrewitt型の微分フィルタ（エッジ検出オペレータ）を用いる。これらを適用して得られた各第１エッジ強調画像を、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第１エッジ強調画像と呼ぶ。また、それらを総称して、４方向の第１エッジ強調画像と呼ぶ。
【００５８】
図８に、各第１エッジ強調画像の例を示す。符号１２１、１２２、１２３及び１２４は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第１エッジ強調画像を表しており、図８には、各第１エッジ強調画像を形成する各画素の画素値の一部が示されている。
【００５９】
次に、ステップＳ２において、４方向の第１エッジ強調画像間で対応する画素ごとに画素値が最大のものを特定し、最大の画素値のみをそのまま残すと共に最大以外の画素値をゼロとすることにより、４方向の第２エッジ強調画像を生成する。図８において、符号１３１、１３２、１３３及び１３４は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第２エッジ強調画像を表しており、図８には、各第２エッジ強調画像を形成する各画素の画素値の一部が示されている。
【００６０】
例えば、第１エッジ強調画像内の或る特定画素位置に対する、第１エッジ強調画像１２１、１２２、１２３及び１２４の画素値が夫々１０、４、６及び３である場合、第２エッジ強調画像１３１、１３２、１３３及び１３４の該特定画素位置における画素値は、夫々、１０、０、０及び０となる（図８参照）。
【００６１】
次に、ステップＳ３において、４方向の第２エッジ強調画像の夫々に対して平滑化処理を施し、平滑化処理後の４方向の第２エッジ強調画像を４方向の特徴画像とする。図９（ａ）〜（ｄ）に、生成された４方向の特徴画像、即ち、水平方向、垂直方向、右斜め上方向及び左斜め上方向の特徴画像を示す（画素値の図示を省略）。尚、平滑化処理を行うことなく、４方向の第２エッジ強調画像そのものを４方向の特徴画像とするようにしてもよい。
【００６２】
４方向の特徴画像の夫々において、画素位置は特徴画像内の座標（ｘ，ｙ）にて特定される。ｘ及びｙは、各特徴画像における水平座標及び垂直座標を表し、今の例の場合、ｘ及びｙは、夫々、０以上且つ７以下の各整数をとる。また、特徴画像の種類を、ｑにて表現する。ｑは、０以上３以下の各整数をとり、ｑ＝０、１、２及び３の特徴画像は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の特徴画像を意味する。各特徴画像における画素を、特徴画素と呼ぶ。
【００６３】
図４の顔辞書メモリ５３には、特徴画像のサイズに適応した重みテーブル（換言すれば、判定領域のサイズに適応した重みテーブル）が格納されている。重みテーブルは、教師サンプルとしての大量の顔画像を元に予め作成され、顔辞書メモリ５３に格納される。図１０に、判定領域のサイズを８×８画素とした場合における重みテーブルの内容例を示す。重みテーブルには、特徴画素ごとに、特徴画素の画素値に対応した重みが格納されている。重みは、顔らしさを表す値であり、この重みをスコアと呼ぶことにする。
【００６４】
また、変数ｑ、ｘ及びｙを、１つの変数ｎに集約して考える。４×８×８＝２５６より、変数ｎは、０以上且つ２５５以下の各整数をとるものとする。変数ｎの値は、変数ｑ、ｘ及びｙが定まれば一意に定まる。４方向の特徴画像における各特徴画素（全特徴画素数は２５６個）を、変数ｎを用いてＦ（ｎ）で表し、特徴画素Ｆ（ｎ）における画素値（図１０の横方向に対応）をｉ（ｎ）にて表す。スコアも変数ｎに依存して特定されるため、スコアをｗ（ｎ）にて表すものとする。例えば、ｑ＝ｘ＝ｙ＝０がｎ＝０に対応すると仮定した場合、水平方向の特徴画像（ｑ＝０に対応）の画素位置（０，０）の画素値は、特徴画素Ｆ（０）の画素値ｉ（０）と合致する。スコアｗ（０）は、重みテーブルに基づき、画素値ｉ（０）にて特定される。この画素値ｉ（０）が３であるとしたとき、スコアｗ（０）は、図１０の例では３５となる。画素値ｉ（ｎ）は判定領域内の画像が顔画像（即ち、顔を表す画像）であるか否かを識別するために有効な特徴量と呼ぶことができる。
【００６５】
このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００６６】
図４の顔辞書メモリ５３には、図１０に示されるような重みテーブルが複数個、格納されている。その複数の重みテーブルには、人物の顔を正面から見た正面顔に対応する第１の重みテーブルと、人物の顔を横から見た横顔に対応する第２の重みテーブルと、が含まれる。第１の重みテーブルは、学習処理を介して得た正面顔を表す基準顔画像をデータ化したものであり、第２の重みテーブルは、学習処理を介して得た横顔を表す基準顔画像をデータ化したものである。
【００６７】
図６のステップＳ３の処理に続くステップＳ４では、第１の重みテーブルによって表される基準顔画像と判定領域内の画像との類似度Ｓ1と、第２の重みテーブルによって表される基準顔画像と判定領域内の画像との類似度Ｓ2と、を算出する。
【００６８】
尚、横顔には、右向きの横顔と左向きの横顔が存在するが、右と左の差異は本実施例の処理にとって特に有意な差異ではないため、説明の簡略化上、横顔は１種類であるものとする。実際には、第２の重みテーブルとして右向き横顔用の重みテーブル及び左向き横顔用の重みテーブルを用意し、各重みテーブルに対する類似度、即ち右向き横顔に対応する類似度と左向き横顔に対応する類似度を算出する。そして、それらの２つの類似度の内、大きい方の類似度を類似度Ｓ2として取り扱えばよい。
【００６９】
類似度Ｓ1は、４方向の特徴画像における各画素値ｉ（ｎ）に対応する、第１の重みテーブルから抽出されたスコアｗ（ｎ）の総和（スコアｗ（０）〜ｗ（２５５）の総和）である。この総和は、第１の重みテーブルによって表される正面顔の基準顔画像と判定領域内の画像との類似度を表すことになる。
類似度Ｓ2は、４方向の特徴画像における各画素値ｉ（ｎ）に対応する、第２の重みテーブルから抽出されたスコアｗ（ｎ）の総和（スコアｗ（０）〜ｗ（２５５）の総和）である。この総和は、第２の重みテーブルによって表される横顔の基準顔画像と判定領域内の画像との類似度を表すことになる。
各重みテーブルは、判定領域内の画像から類似度を導出するための顔辞書データと呼ぶことができる。
【００７０】
そして、図６のステップＳ５において、類似度Ｓ1及びＳ2に基づき顔判定を行う。具体的には、Ｓ1＞Ｓ2且つＳ1＞ＳTH、が成立する時、判定領域内に正面顔、即ち、正面向きの顔が含まれていると判断する。一方、Ｓ2＞Ｓ1且つＳ2＞ＳTH、が成立する時、判定領域内に横顔、即ち、横向きの顔が含まれていると判断する。Ｓ1＜ＳTH且つＳ2＜ＳTH、が成立するときは判定領域に顔は含まれていないと判断する。
【００７１】
判定領域内の画像が正面顔の基準顔画像に類似しているほど類似度Ｓ1が比較的大きな値をとるように、上記の第１の重みテーブルは、学習処理を介して設定されている。同様に、判定領域内の画像が横顔の基準顔画像に類似しているほど類似度Ｓ2が比較的大きな値をとるように、上記の第２の重みテーブルは、学習処理を介して設定されている。このため、上述の処理によって、判定領域内に顔が含まれているか否かを検出することができると共に含まれている顔の向きをも検出することができる。
【００７２】
顔検出処理部５２は、１つのフレーム画像内に１以上の顔が存在すると判断したとき、顔検出情報を作成する。作成された顔検出情報は、ＣＰＵ２３に伝達される（図３参照）。顔が存在していないと判断された場合は、その旨を表す情報がＣＰＵ２３に伝達される。第１実施例では、１つのフレーム画像内に１つの顔が存在すると判断された場合を想定する。
【００７３】
図１１は、顔検出情報の概要を示している。顔検出情報には、検出された顔の位置を特定する顔位置情報及び検出された顔の大きさを特定する顔サイズ情報が含まれる。判定領域内に顔が含まれていると判断されたとき、その判定領域に対応する領域が顔領域としてフレーム画像から抽出される。顔の位置及び大きさは、抽出された顔領域の位置及び大きさにて表される。従って、ここにおける顔の位置及び大きさは、フレーム画像上における顔の位置及び大きさである。
【００７４】
図１２（ａ）の如く、フレーム画像と一致する検出対象画像１００において、判定領域内に顔が存在すると判断された場合は、その顔を含む判定領域そのものが顔領域１５０とされる。一方、図１２（ｂ）の如く、フレーム画像の縮小画像に相当する検出対象画像１０２において、判定領域１６０内に顔が存在すると判断された場合は、図１２（ａ）の如く、フレーム画像（検出対象画像１００）上における該判定領域１６０の対応領域が顔領域１５１とされる。
【００７５】
今、図１３に示す如く、１つのフレーム画像２００から１つの顔領域２０１が抽出された場合を考える。顔領域２０１は矩形領域であり、フレーム画像２００上における顔領域２０１の中心座標を（ｘc，ｙc）とする。そして、顔領域２０１の対角線上の２頂点の座標を（ｘl，ｙl）及び（ｘr，ｙr）とする。
【００７６】
この場合、顔検出情報にて特定される顔の位置は、中心座標（ｘc，ｙc）＝（（ｘr−ｘl）／２，（ｙr−ｙl）／２）にて表され、顔検出情報にて特定される顔の大きさは、顔領域２０１の面線（即ち、（ｘr−ｘl）×（ｙr−ｙl））にて表される。尚、顔の大きさを、顔領域２０１の対角線長（即ち、（（ｘr−ｘl）2＋（ｙr−ｙl）2）の平方根）、又は、顔領域２０１を形成する２辺の長さの合計（即ち、（ｘr−ｘl）＋（ｙr−ｙl））にて表すようにしても良い。
【００７７】
図１１に示す如く、顔検出情報には、更に、検出された顔の向きを特定する顔向き情報及び検出された顔についての類似度を特定する顔検出信頼度情報が含まれる。顔向き情報によって、顔領域２０１に含まれる顔の向きが正面向きであるのか横向きであるのかが特定される。顔検出信頼度情報は、顔検出の信頼度を表している。顔領域２０１に含まれる顔の向きが正面向きであると判断された場合、顔検出信頼度情報にて特定される類似度は正面顔に対応する上述の類似度Ｓ1とされ、顔領域２０１に含まれる顔の向きが横向きであると判断された場合、顔検出信頼度情報にて特定される類似度は横顔に対応する上述の類似度Ｓ2とされる。
【００７８】
顔検出部４１による、上述の、顔を検出する処理及び顔検出情報を生成する処理をまとめて「顔検出処理」とよぶ。
【００７９】
次に、図３のＡＥ評価部４２の機能について説明する。ＡＥ評価部４２は、フレーム画像の明るさに応じたＡＥ評価値を算出する。ＡＥ評価値は、フレーム画像ごとに算出され、算出された各ＡＥ評価値は順次ＣＰＵ２３に伝達される。例えば、フレーム画像内の所定領域をＡＥ評価領域とし、そのＡＥ評価領域内の各画素の輝度値の平均値をＡＥ評価値とする。
【００８０】
ＡＦ評価部４３は、フレーム画像内に設けられたＡＦ評価領域（焦点評価領域）内の画像のコントラスト量に応じたＡＦ評価値（焦点評価値）を算出する。ＡＦ評価値は、フレーム画像ごとに算出され、算出された各ＡＦ評価値は順次ＣＰＵ２３に伝達される。
【００８１】
図１４に、ＡＦ評価部４３の内部ブロック図を示す。ＡＦ評価部４３は、抽出部６１、ＨＰＦ（ハイパスフィルタ）６２及び積算部６３を含む。抽出部６１は、フレーム画像内に定義されたＡＦ評価領域内の輝度信号をフレーム画像の映像信号から抽出する。ＨＰＦ６２は、抽出部６１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。積算部６３は、ＨＰＦ６２によって抽出された高域周波数成分の絶対値を積算することにより、ＡＦ評価領域内の画像のコントラスト量に応じたＡＦ評価値を求める。ＡＦ評価値は、該コントラスト量に概ね比例し、該コントラスト量が増大するにつれて増大する。
【００８２】
次に、図１５を参照して、図３の各部位の動作の流れを説明する。図１５は、この動作の流れを表すフローチャートである。
【００８３】
まず、撮像装置１の撮影モードでは、ステップＳ１０にて通常露出制御が行われる。通常露出制御では、例えば各フレーム画像の全体領域がＡＥ評価領域とされ、ＡＥ評価値が一定値付近に保たれるように、ＣＰＵ２３が図２のドライバ３４を介して絞り３２の開度を調節することにより、受光量（画像の明るさ）を制御する。尚、絞り３２の開度の他、必要に応じて、図２の撮像素子３３の露光時間及び図１のＡＦＥ１２における信号増幅の増幅度も制御される。
【００８４】
ステップＳ１０に続くステップＳ１１では、ＣＰＵ２３が、図１のシャッタボタン２６ｂが半押しされたか否かを判断する。シャッタボタン２６ｂは、半押し（ファーストレリーズ）と全押し（セカンドレリーズ）の２段階操作が可能となっている。ユーザがシャッタボタン２６ｂに圧力を付加するとまず半押しの状態となり、更に圧力を付加すると全押しの状態となる。シャッタボタン２６ｂが半押しされていない時はステップＳ１０に戻って通常露出制御が繰り返される。一方、シャッタボタン２６ｂが半押しされている場合は、ステップＳ１２に移行して、顔検出部４１が顔検出処理を行って、現在のフレーム画像内に顔が存在しているか否かを判断する。
【００８５】
そして、顔が存在していない場合は、その旨がＣＰＵ２３に伝達されてステップＳ２０に移行する。一方、顔が存在していると判断された場合は、ステップＳ１３にて、上述の如くフレーム画像から顔領域が抽出されると共に顔検出情報（図１１参照）が作成される。顔検出情報は、ＣＰＵ２３に伝達される。
【００８６】
ステップＳ１３に続くステップＳ１４では、ＣＰＵ２３が、与えられた顔検出情報に基づいて、目標の被写界深度を設定する。具体的には、顔だけでなく背景にもピントが合うように被写界深度を比較的深くするか、或いは、顔にピントを合わせつつ背景がぼけるように被写界深度を比較的浅くするかを選択設定する。
【００８７】
被写界深度の設定は、以下の指針に基づいて行われる。この指針を図１６の表にまとめる。図１６に、被写界深度の深さに対応する絞り値の大きさ及び開度の大きさも併せて示す。
【００８８】
顔の位置がフレーム画像の中央付近に位置している場合、撮影者は人物の顔に特に注目していると推定される。従って、その場合は、被写界深度が比較的浅くなるようにする。逆に、顔の位置がフレーム画像の端付近に位置している場合、撮影者は背景をも重視していると推定される。従って、その場合は、被写界深度が比較的深くなるようにする。
【００８９】
フレーム画像上の顔の大きさが比較的大きい場合、撮影者は人物の顔に特に注目していると推定される。従って、その場合は、被写界深度が比較的浅くなるようにする。逆に、フレーム画像上の顔の大きさが比較的小さい場合、撮影者は背景をも重視していると推定される。従って、その場合は、被写界深度が比較的深くなるようにする。
【００９０】
フレーム画像上の顔の向きが正面向きである場合、撮影者は人物の顔に特に注目していると推定される。従って、その場合は、被写界深度が比較的浅くなるようにする。逆に、フレーム画像上の顔の向きが横向きである場合、撮影者は背景をも重視していると推定される（撮影者が注意を向けているのは顔だけでないと推定される）。従って、その場合は、被写界深度が比較的深くなるようにする。
【００９１】
検出された顔についての類似度が比較的高い場合（即ち、顔検出の信頼性が比較的高い場合）、フレーム画像内に顔が存在している可能性が高い。一方、類似度が比較的低い場合は、顔検出が誤検出であって、実際にはフレーム画像内に顔が存在していない可能性も低くない。上述の如く、検出された顔の位置等に応じて撮影者の意図に合致した被写界深度設定を行うのであるが、顔検出が誤検出であったならば、そのような設定はかえって撮影者の意図に反しかねない。よって、類似度が比較的高い場合は被写界深度が比較的浅くなるようにし、類似度が比較的低い場合は被写界深度が比較的深くなるようにする。
【００９２】
上述の指針に従って被写界深度設定がなされたフレーム画像の例を図１７（ａ）〜（ｃ）に示す。図１７（ａ）の例では、顔が画像の中央付近に位置している。また、顔の大きさが比較的大きい。従って、被写界深度が比較的浅くされ（絞り値が比較的小さくされ）、顔にピントがあう一方で背景がぼける。図１７（ｃ）の例では、顔が画像の端付近に位置している。また、顔の大きさが比較的小さい。従って、被写界深度が比較的深くされ（絞り値が比較的大きくされ）、顔にも背景にもピントがあわせられる。図１７（ｂ）は、図１７（ａ）と（ｃ）の中間状態に対応している。
【００９３】
実際には、顔の位置に対応する位置評価値ＰA、顔の大きさに対応する大きさ評価値ＳA、顔の向きに対応する向き評価値ＦA、及び、類似度に対応する信頼性評価値ＲAを導入し、それらを加重加算することによって得られる被写界深度評価値αに基づいて目標の被写界深度を決定する。ＰA、ＳA、ＦA及びＲAは、顔検出情報に基づいて定められる。また、ＰA、ＳA、ＦA及びＲAの夫々は、図１８（ａ）〜（ｄ）に示す如く、最大値として正の値をとり、最小値として負の値をとる。
【００９４】
位置評価値ＰAは、検出された顔の位置（即ち、顔領域の中心）とフレーム画像の中心との距離に応じた評価値である。図１８（ａ）に示す如く、位置評価値ＰAは、その距離が短いほど大きな値をとり、その距離が長いほど小さな値をとる。その距離の可変範囲において、位置評価値ＰAは正の所定値から負の所定値までの間の値をとる。
大きさ評価値ＳAは、検出された顔の大きさに応じた評価値である。図１８（ｂ）に示す如く、大きさ評価値ＳAは、その顔の大きさが大きいほど大きな値をとり、小さいほど小さな値をとる。顔の大きさの可変範囲において、大きさ評価値ＳAは負の所定値から正の所定値までの間の値をとる。
向き評価値ＦAは、検出された顔の向きに応じた評価値である。図１８（ｃ）に示す如く、向き評価値ＦAは、検出された顔の向きが正面向きである場合に正の所定値をとり、横向きである場合に負の所定値をとる。
信頼性評価値ＲAは、検出された顔についての類似度に応じた評価値である。図１８（ｄ）に示す如く、信頼性評価値ＲAは、その類似度が高いほど大きな値をとり、低いほど小さな値をとる。顔検出情報にて特定される類似度の可変範囲において、信頼性評価値ＲAは負の所定値から正の所定値までの間の値をとる。
【００９５】
被写界深度評価値αは、下記式（１）に従って算出される。ここで、ｋA1〜ｋA4は、加重加算における重み係数である。ｋA1〜ｋA4は、夫々、０より大きな所定値をとる。但し、重み係数ｋA1〜ｋA4の内、１つ以上の任意の重み係数を０とすることも可能である。０の重み係数に対応する評価値は、被写界深度評価値αに反映されないことになる。被写界深度評価値αに対する寄与度は、ＰA、ＳA、ＦA、ＲAの順番で低くなるようにするとよい。従って、１つ以上の重み係数を０とする場合、重み係数を０にする優先順位は、ｋA4が最も高く、ｋA3が２番目に高く、ｋA2が３番目に高い。ｋA1は、常に０より大きくすることが望ましい（但し、ｋA1＝０、とすることも可能ではある）。
α＝ｋA1・ＰA＋ｋA2・ＳA＋ｋA3・ＦA＋ｋA4・ＲA            ・・・（１）
【００９６】
そして、図１５のステップＳ１４において、α≧０の場合は目標の被写界深度を比較的浅くすると決定し、α＜０の場合は目標の被写界深度を比較的深くすると決定する。その後、ステップＳ１５に移行する。
【００９７】
ステップＳ１５では、ステップＳ１４にて決定された目標の被写界深度に基づいて、設定されるべき目標の絞り値を算出する。上述したように、図２のフォーカスレンズ３１は光軸方向に移動可能である。図２のフォーカスレンズ３１の光軸方向の位置を、以下、「レンズ位置」という。尚、ＣＰＵ２３は、レンズ位置を検出する位置検出器（不図示）の検出結果に基づいて、レンズ位置を認識可能となっている。フォーカスレンズ３１は、至近端から無限端まで移動可能である。至近端及び無限端は、フォーカスレンズ３１の全移動範囲における両端を表し、レンズ位置が至近端から無限端に向かうにつれて、ピントの合う被写体と撮像装置１との距離が大きくなる。
【００９８】
ステップＳ１５では、次々と得られる各フレーム画像に対して顔領域に対応するＡＦ評価領域（以下、顔ＡＦ評価領域という）と背景領域に対応するＡＦ評価領域（以下、背景ＡＦ評価領域という）を設定し、レンズ位置を所定間隔で光軸方向に移動させながら、顔ＡＦ評価領域に対するＡＦ評価値（以下、顔ＡＦ評価値という）と背景ＡＦ評価領域に対するＡＦ評価値（以下、背景ＡＦ評価値という）を次々と求める。図１９に、これによって得られる、レンズ位置と顔ＡＦ評価値との関係を表す曲線３００及びレンズ位置と背景ＡＦ評価値との関係を表す曲線３０１を示す。
【００９９】
図２０に、顔ＡＦ評価値等の算出元となる１つのフレーム画像３１０を示す。符号３１１で付された矩形領域が顔ＡＦ評価領域であり、符号３１２で付された矩形領域が背景ＡＦ評価領域である。顔ＡＦ評価領域３１１は、ステップＳ１３にて抽出された顔領域に内包される矩形領域、或いは、その顔領域と同じとされる。背景ＡＦ評価領域３１２は、その顔領域と重なり合わないフレーム画像３１０内の領域（例えば、所定矩形領域）とされる。顔ＡＦ評価領域３１１と背景ＡＦ評価領域３１２の画像サイズは例えば同じとされる。
【０１００】
図１９の曲線３００及び３０１に示す如く、或るレンズ位置において、顔ＡＦ評価値と背景ＡＦ評価値の夫々は最大値をとる。顔ＡＦ評価値に最大値を与えるレンズ位置をＬ1で表し、背景ＡＦ評価値に最大値を与えるレンズ位置をＬ2で表す。尚、ＡＦ評価値に関する最大値を極大値と読み替えることもできる。また、実空間において、顔ＡＦ評価領域に対応する顔と撮像装置１との間の距離Ｄ1（即ち、顔の被写体距離）は、背景ＡＦ評価領域に対応する背景と撮像装置１との間の距離Ｄ2（即ち、背景の被写体距離）よりも短い。レンズ位置をＬ1にすれば顔ＡＦ評価領域内に収まる被写体（顔）に完全にピントが合い、レンズ位置をＬ2にすれば背景ＡＦ評価領域内に収まる被写体（背景）に完全にピントが合う。
【０１０１】
レンズ位置Ｌ1及びＬ2とレンズ位置に応じて定まる光学系３５（図２）の焦点距離ｆから、距離Ｄ1及びＤ2は求まる。ステップＳ１５において、ＣＰＵ２３は、曲線３００及び３０１を描く顔ＡＦ評価値及び背景ＡＦ評価値から特定されるレンズ位置Ｌ1及びＬ2に基づいて、顔と背景の距離ＤFB（＝Ｄ2−Ｄ1）を求める。そして、距離ＤFBに基づいて、目標の被写界深度を達成するための絞り値を算出する。
【０１０２】
一般に、被写界深度は、以下の式（２ａ）及び（２ｂ）にて求められる。また、式（２ｃ）が成立する。ＤFは後端の被写界深度であり、ＤNは前端の被写界深度である。全体の被写界深度は、図２１（ａ）に示す如く、後端の被写界深度ＤFと前端の被写界深度ＤNを合わせたものである。特定距離の被写体に完全にピントが合うようにレンズ位置を設定した状態において、後端の被写界深度ＤFは、その特定距離（合焦位置）を基準とした撮像装置１に遠い側の被写界深度に相当し、前端の被写界深度ＤNは、その特定距離（合焦位置）を基準とした撮像装置１に近い側の被写界深度に相当する。
【０１０３】
ＤF＝ｓ・（Ｈ−ｆ）／（Ｈ−ｓ）              ・・・（２ａ）
ＤN＝ｓ・（Ｈ−ｆ）／（Ｈ＋ｓ−２ｆ）        ・・・（２ｂ）
Ｈ＝ｆ2／Ｆ・ｃ                              ・・・（２ｃ）
【０１０４】
上記の式において、ｓは被写体距離を表し、Ｈは過焦点距離を表し、Ｆは絞り値を表し、ｃは予め設定される許容錯乱円の直径（許容されるボケの直径）を表す。ｆは、上述したように焦点距離である。
【０１０５】
具体的には、ステップＳ１５において、顔にピントが合うようにしつつ、ステップＳ１４にて設定された目標の被写界深度に応じて絞り値Ｆを求める。
【０１０６】
つまり、図１５のステップＳ１４においてα≧０が成立し目標の被写界深度を比較的浅くすると決定された場合は、後端の被写界深度ＤFに「顔と背景までの距離ＤFBよりも短い距離」を代入して式（２ａ）に基づき過焦点距離Ｈを求め、求めたＨを式（２ｃ）に代入することにより絞り値Ｆを求める。即ち、図２１（ｂ）に示す如く、顔を基準としてピントを合わせた時の被写界深度内に背景が収まらないように絞り値Ｆを求める。
【０１０７】
一方、ステップＳ１４においてα＜０が成立し目標の被写界深度を比較的深くすると決定された場合は、後端の被写界深度ＤFに「顔と背景までの距離ＤFBよりも長い距離」を代入して式（２ａ）に基づき過焦点距離Ｈを求め、求めたＨを式（２ｃ）に代入することにより絞り値Ｆを求める。即ち、図２１（ｃ）に示す如く、顔を基準としてピントを合わせた時の被写界深度内に背景が収まるように絞り値Ｆを求める。
【０１０８】
過焦点距離Ｈ及び絞り値Ｆを求める際、レンズ位置をＬ1とすることを前提にして、顔までの距離Ｄ1を被写体距離ｓとして式（２ａ）に代入すると共にレンズ位置Ｌ1に対応する焦点距離をｆとして式（２ａ）及び（２ｃ）に代入する。
【０１０９】
尚、絞り値Ｆを求める際、被写体距離ｓとして距離Ｄ1以外の距離を代入することも可能である。但し、この場合でも、ステップＳ１４において目標の被写界深度を比較的浅くすると決定されている場合には被写界深度内に背景が収まらないように絞り値Ｆを求め、目標の被写界深度を比較的深くすると決定されている場合には被写界深度内に背景が収まるように絞り値Ｆを求める。勿論、双方の場合において、顔が被写界深度内に収まるように絞り値Ｆは求められる。この場合は、上記式（２ａ）及び（２ｃ）に加え、式（２ｂ）も利用して絞り値Ｆを求めればよい。
【０１１０】
ステップＳ１５にて絞り値（Ｆ）が求まった後、その絞り値（Ｆ）に従った開度になるようにＣＰＵ２３は図２の絞り３２の開度を制御する。そして、ステップＳ１６に移行する。ステップＳ１６では、求められた絞り値（Ｆ）に従った最適な露出制御を行う。
【０１１１】
具体的には、図３のＡＥ評価部４２が、最新のフレーム画像の全体領域をＡＥ評価領域とした場合におけるＡＥ評価値ＷAEと、そのフレーム画像における顔領域（又は顔領域に内包される矩形領域）をＡＥ評価領域とした場合におけるＡＥ評価値ＦAEと、を求める。
【０１１２】
更に、顔の位置に対応する位置評価値ＰB、顔の大きさに対応する大きさ評価値ＳB、顔の向きに対応する向き評価値ＦB、及び、類似度に対応する信頼性評価値ＲBを導入し、それらを加算することによって係数βを求める。ＰB、ＳB、ＦB及びＲBは、夫々、顔検出情報に基づいて定められ、図２２（ａ）〜（ｄ）に示す如く、０以上の値をとる。
【０１１３】
位置評価値ＰBは、検出された顔の位置（即ち、顔領域の中心）とフレーム画像の中心との距離に応じた評価値である。図２２（ａ）に示す如く、位置評価値ＰBは、その距離が短いほど大きな値をとり、その距離が長いほど小さな値をとる。
大きさ評価値ＳBは、検出された顔の大きさに応じた評価値である。図２２（ｂ）に示す如く、大きさ評価値ＳBは、その顔の大きさが大きいほど大きな値をとり、小さいほど小さな値をとる。
向き評価値ＦBは、検出された顔の向きに応じた評価値である。図２２（ｃ）に示す如く、向き評価値ＦBは、検出された顔の向きが正面向きである場合に所定の第１の値をとり、横向きである場合に第１の値よりも小さな所定の第２の値をとる。
信頼性評価値ＲBは、検出された顔についての類似度に応じた評価値である。図２２（ｄ）に示す如く、信頼性評価値ＲBは、その類似度が高いほど大きな値をとり、低いほど小さな値をとる。
【０１１４】
係数βは、下記式（３）に従って算出される。但し、０≦β≦１、が成立するように、各評価値ＰB、ＳB、ＦB及びＲBは導出される。係数ｋB1〜ｋB4は、例えば、全て１とされる。但し、係数ｋB1〜ｋB4の内、１つ以上の任意の係数を０とすることも可能である。０の係数に対応する評価値は、係数βに反映されないことになる。係数βに対する寄与度は、例えば、ＰB、ＳB、ＦB、ＲBの順番で低くなるようにする。従って、係数ｋB1〜ｋB4の内、１つ以上の係数を０とする場合、係数を０にする優先順位は、ｋB4が最も高く、ｋB3が２番目に高く、ｋB2が３番目に高い。ｋB1≠０であることが望ましい（但し、ｋB1＝０とすることも可能ではある）。
β＝ｋB1・ＰB＋ｋB2・ＳB＋ｋB3・ＦB＋ｋB4・ＲB            ・・・（３）
【０１１５】
ステップＳ１６における露出制御では、絞り値がステップＳ１５で定められているため、図２の撮像素子３３の露光時間と図１のＡＦＥ１２における増幅度が、制御対象となる。即ち、絞り値優先の露出制御が行われる。具体的には、式（３）で求めた係数βを用いたＡＥ評価値ＷAEとＦAEの加重加算値γが明るさ目標値に一致するように、それらの制御対象がＣＰＵ２３によって制御される。加重加算値γは式（４）にて表され、明るさ目標値は、最適な画像明るさを得るために定められる所定値である。これにより、例えば顔が画像中央付近に位置していれば、γに対する顔のＡＥ評価値ＦAEの寄与度が高まり、より顔に着目した露出制御が行われる。
γ＝β×ＦAE＋（１−β）×ＷAE                            ・・・（４）
【０１１６】
ステップＳ１６の露出制御の後、ステップＳ１７にて、シャッタボタン２６ｂが全押しされたかが確認される。全押しされていない場合はステップＳ１７の処理が繰り返されるが、全押しされた場合はステップ１８にて静止画の撮影が行われる。この静止画の露光を開始する前に、実際のレンズ位置がＬ1（図１９参照）となり且つ実際の絞り値がステップＳ１５で算出された絞り値（Ｆ）となるように、ＣＰＵ２３によって、フォーカスレンズ３１の位置及び絞り３２の開度が制御される。また、この静止画の撮影時における露光時間及びＡＦＥ１２における増幅度は、ステップＳ１６での露出制御に従う。得られた静止画を表す画像データは、図１の圧縮処理部１６を介してメモリカード１８に格納される。
【０１１７】
一方、ステップＳ１２にて顔が存在していないと判断された場合に移行するステップＳ２０では、フレーム画像内の所定領域をＡＦ評価領域とし、ＡＦ評価値が最大となるようにレンズ位置を駆動するオートフォーカス制御を行うと共に、通常露出制御を行う。通常露出制御では、絞り値、図２の撮像素子３３の露光時間及び図１のＡＦＥ１２における増幅度が制御対象となる。そして、フレーム画像の全体領域がＡＥ評価領域とされ、最新のフレーム画像のＡＥ評価値（即ち、画像全体の輝度平均）が上述の明るさ目標値と一致するように、制御対象（絞り値、露光時間及び増幅度）を制御する。ステップＳ２０における通常露出制御の後、ステップＳ１７に移行し、シャッタボタン２６ｂが全押しされた場合はステップＳ１８にて静止画の撮影が行われる。得られた静止画を表す画像データは、図１の圧縮処理部１６を介してメモリカード１８に格納される。
【０１１８】
上述の如く、画像上の顔の位置等に基づいて、顔又は背景に対する撮影者の注目度合いを推定し、背景を被写界深度内に含めるか否かを決定する。そして、その決定内容に従って絞り値（絞り３２の開度）を制御するようにする。これにより、撮影者の意図に合致した、被写界深度の制御による演出効果を特別な操作無しに得ることが可能となる。
【０１１９】
尚、上述の説明からも明らかであるが、以下のことが言える。
顔検出情報にて特定される顔の位置以外の他の条件を固定した状態において、顔の位置が、フレーム画像上の第１位置にあるとき被写界深度評価値αは比較的大きくなり且つフレーム画像上の第２位置にあるとき被写界深度評価値αは比較的小さくなる。ここで、第１位置は、第２位置よりもフレーム画像の中心位置に近い。上述のステップＳ１４及びＳ１５の処理内容から理解されるように、顔の位置が相違しても他の条件に依存して結果的に目標の絞り値（目標の被写界深度）は変化しないこともあるが、顔の位置が第１位置にあることに由来する比較的大きなαは、絞り値を比較的小さくする（絞り３２の開度を比較的大きくする）方向に作用し、顔の位置が第２位置にあることに由来する比較的小さなαは、絞り値を比較的大きくする（絞り３２の開度を比較的小さくする）方向に作用する。
【０１２０】
顔の大きさが相違した場合、顔の向きが相違した場合、顔検出における類似度が相違した場合についても、同様のことが言える。
【０１２１】
＜＜第２実施例＞＞
上述の例では、上記式（２ａ）〜（２ｃ）に基づき、制御されるべき目標の絞り値を導出して実際の絞り値を調整した。但し、この絞り値の調整手法として他の手法を用いることも可能である。この絞り値の調整手法法の変形例として、第２実施例を説明する。第２実施例における絞り値の調整手法を、第１実施例におけるステップＳ１５（図１５参照）にて実施することを想定して、第２実施例の以下の説明を行う。第１実施例に記載した内容は、矛盾なき限り、第２実施例にも適用される。第２実施例に係る絞り制御機能を実現する主要部位のブロック図は、図３のそれと同じである。
【０１２２】
第２実施例に係る絞り値の調整手法の手順を、図２３を参照して説明する。図２３は、この手順を表すフローチャートである。この調整手法を第１実施例に適用する場合、図２３のステップＳ３１〜Ｓ３４の各処理が図１５のステップＳ１４とＳ１６の間に実施される。適宜、図１４及び図２０をも参照する。
【０１２３】
図１４のＡＦ評価部４３におけるＨＰＦ６２のカットオフ周波数を、高カットオフ周波数と低カットオフ周波数との間で可変設定できるようにしておく。高カットオフ周波数の方が、低カットオフ周波数よりも周波数が高い。
【０１２４】
そして、ステップＳ３１において、ＨＰＦ６２のカットオフ周波数として高カットオフ周波数を採用した状態で、レンズ位置を所定間隔で光軸方向に移動させながら、図２０の顔ＡＦ評価領域３１１に対する顔ＡＦ評価値と背景ＡＦ評価領域３１２に対する背景ＡＦ評価値を次々と求める。同様に、ＨＰＦ６２のカットオフ周波数として低カットオフ周波数を採用した状態で、レンズ位置を所定間隔で光軸方向に移動させながら、図２０の顔ＡＦ評価領域３１１に対する顔ＡＦ評価値と背景ＡＦ評価領域３１２に対する背景ＡＦ評価値を次々と求める。
【０１２５】
ステップＳ３１にて求められた結果を図２４に示す。図２４において、曲線４０１、４０２、４０３及び４０４は、夫々、高カットオフ周波数に対応するレンズ位置と顔ＡＦ評価値との関係、低カットオフ周波数に対応するレンズ位置と顔ＡＦ評価値との関係、高カットオフ周波数に対応するレンズ位置と背景ＡＦ評価値との関係、及び、低カットオフ周波数に対応するレンズ位置と背景ＡＦ評価値との関係を表す。曲線４０１〜４０４は、実際の絞り値が或る特定の絞り値にある状態における各関係を表す。
【０１２６】
各カットオフ周波数に関し、図２４に示す如く、或るレンズ位置において顔ＡＦ評価値と背景ＡＦ評価値の夫々は最大値をとる。高カットオフ周波数の顔ＡＦ評価値に最大値を与えるレンズ位置はＬ1である。低カットオフ周波数におけるそれも、概ねＬ1となる。カットオフ周波数に関わらず、背景ＡＦ評価値に最大値を与えるレンズ位置は、レンズ位置Ｌ1よりも無限端側のＬ2に位置する。尚、図２４に示す各曲線（４０１及び４０３）は、図１９に示すそれら（３００及び３０１）と随分相違しているが、その相違は、説明及び図示の便宜を図るために生じたものに過ぎない。尚、ＡＦ評価値に関する最大値を極大値と読み替えることもできる。
【０１２７】
レンズ位置をＬ1とした場合における、高カットオフ周波数の顔ＡＦ評価値及び背景ＡＦ評価値を夫々ＱH1及びＱH2とする。レンズ位置をＬ1とした場合における、低カットオフ周波数の顔ＡＦ評価値及び背景ＡＦ評価値を夫々ＱL1及びＱL2とする。高カットオフ周波数の方が、低カットオフ周波数よりも周波数が高いため、必然的に、ＱL1≧ＱH1且つＱL2≧ＱH2が成立する。
【０１２８】
ステップＳ３１に続くステップＳ３２（図２３参照）では、ＣＰＵ２３が、顔についての比ＱL1／ＱH1と背景についての比ＱL2／ＱH2を求める。そして、ステップＳ３３において、ＣＰＵ２３は、ＱL1／ＱH1とＱL2／ＱH2とを対比し、その対比結果が図１５のステップＳ１４で定められた目標の被写界深度に従ったものであるかを判断する。そして、その判断結果に応じて絞り値の調整が行われる（ステップＳ３４）。
【０１２９】
図１５のステップＳ１４にて目標の被写界深度を比較的浅くすると決定された場合は、顔にピントを合わせつつ背景をぼかしたい訳であるから、顔についての比ＱL1／ＱH1よりも背景についての比ＱL2／ＱH2が或る程度大きくなることを目指して絞り値を調整する。一方、図１５のステップＳ１４にて目標の被写界深度を比較的深くすると決定された場合は、顔にも背景にもピントを合わせたい訳であるから、顔についての比ＱL1／ＱH1と背景についての比ＱL2／ＱH2が概ね同等になることを目指して絞り値を調整する。
【０１３０】
より具体的には例えば、図１５のステップＳ１４にて目標の被写界深度を比較的浅くすると決定された場合は、第１の不等式：「ＴＨR2≧（ＱL2／ＱH2−ＱL1／ＱH1）≧ＴＨR1」が成立するかを判断する。そして、第１の不等式が成立しない場合は、その第１の不等式が成立するように絞り値を調整してからステップＳ３１に戻り、上述のステップＳ３１以降の処理を繰り返す。例えば、（ＱL2／ＱH2−ＱL1／ＱH1）＜ＴＨR1、である場合は、絞り値を所定量減少させてから（実際の絞り３２の開度を所定量増加させてから）ステップＳ３１に戻る。一方、第１の不等式が成立する場合は、目標の被写界深度が達成されたとして図２３の処理を終え、その後、第１実施例で述べた図１５のステップＳ１６以降の各処理を行う。尚、ＴＨR1及びＴＨR2は、ＴＨR1＜ＴＨR2を満たす所定の正の閾値である。また、第１の不等式を「（ＱL2／ＱH2−ＱL1／ＱH1）≧ＴＨR1」に置換しても良い。
【０１３１】
他方、図１５のステップＳ１４にて目標の被写界深度を比較的深くすると決定された場合は、第２の不等式：「ＴＨR4≦（ＱL2／ＱH2−ＱL1／ＱH1）≦ＴＨR3」が成立するかを判断する。そして、第２の不等式が成立しない場合は、その第２の不等式が成立するように絞り値を調整してからステップＳ３１に戻り、上述のステップＳ３１以降の処理を繰り返す。例えば、（ＱL2／ＱH2−ＱL1／ＱH1）＞ＴＨR3、である場合は、絞り値を所定量増加させてから（実際の絞り３２の開度を所定量減少させてから）ステップＳ３１に戻る。一方、第２の不等式が成立する場合は、目標の被写界深度が達成されたとして図２３の処理を終え、その後、第１実施例で述べた図１５のステップＳ１６以降の各処理を行う。尚、ＴＨR3及びＴＨR4は、ＴＨR3＞ＴＨR4を満たす所定の正の閾値である。また、第２の不等式を「（ＱL2／ＱH2−ＱL1／ＱH1）≦ＴＨR3」に置換しても良い。
【０１３２】
レンズ位置をＬ1としている状態（即ち、顔にピントを合わせている状態）において、背景がぼけているとき、背景ＡＦ評価領域内の画像に高域周波数成分は殆ど存在しなくなるため、低カットオフ周波数の背景ＡＦ評価値はある程度の大きさを有する一方で高カットオフ周波数の背景ＡＦ評価値は随分小さくなる。一方、背景にもピントが合っているとき、低カットオフ周波数でも高カットオフ周波数でも背景ＡＦ評価値はある程度の大きさを有する。つまり、上述の比によって、背景のぼけ具合を推定可能である。このため、上述のような処理によって、第１実施例と同様の作用をもたらす目標の被写界深度を達成することが可能となる。
【０１３３】
＜＜第３実施例＞＞
次に、第３実施例について説明する。上述の第１及び第２実施例では、１つのフレーム画像から１つの顔が検出される場合を想定した。第３実施例では、１つのフレーム画像から複数の顔が検出された場合を想定する。第３実施例に係る絞り制御機能を実現する主要部位のブロック図は、図３のそれと同じである。
【０１３４】
図２５を参照して、第３実施例に係る絞り制御機能の実現動作を説明する。図２５は、この動作の流れを表すフローチャートである。本実施例（図２５）におけるステップＳ１０、Ｓ１１及びＳ１６〜Ｓ１８の各処理は、第１実施例（図１５）におけるそれらと同様である。
【０１３５】
まず、撮像装置１の撮影モードにおいて、ステップＳ１０にて通常露出制御が行われる。ステップＳ１０に続くステップＳ１１では、図１のシャッタボタン２６ｂが半押しされたか否かが判断される。シャッタボタン２６ｂが半押しされていない時はステップＳ１０に戻って通常露出制御が繰り返される。シャッタボタン２６ｂが半押しされている場合は、ステップＳ４１に移行して、顔検出部４１が顔検出処理を行って、現在のフレーム画像内に複数の顔が存在しているかを判断する。
【０１３６】
そして、フレーム画像内に顔が１つしか存在していないと判断された時、或いは、顔が全く存在していないと判断された時の動作は、第１又は第２実施例に係るそれと同様である。以下、フレーム画像内に複数の顔が存在している場合の動作について説明する。この場合、ステップＳ４２にて、フレーム画像から複数の顔に対応する複数の顔領域を抽出する。今、図２６に示す如く、フレーム画像内に６つの顔が存在している場合を想定する。そして、６つの顔に対応して、６つの顔領域５０１〜５０６が抽出されたとする。顔検出部４１は、各顔に対応する顔検出情報（図１１参照）を作成してＣＰＵ２３に伝達する。
【０１３７】
その後、ステップＳ４３に移行し、ＣＰＵ２３は、６つの顔領域５０１〜５０６の中から１つの顔領域を選択する。選択された１つの顔領域を選択顔領域とも呼ぶ。この選択の手法例として、以下に第１〜第６選択手法を例示する。
【０１３８】
まず第１選択手法を説明する。第１選択手法並びに後述する第２及び第３選択手法では、６つの顔領域５０１〜５０６の夫々に対して個別に、第１実施例で説明した被写界深度評価値（α）が算出される。個々の被写界深度評価値の算出法は、第１実施例で述べたものと同様である。そして、顔領域５０１〜５０６に対応する６つの被写界深度評価値の内、最大の被写界深度評価値を特定し、その最大の被写界深度評価値に対応する顔領域を選択顔領域とする。
【０１３９】
一方、第２選択手法では、顔領域５０１〜５０６に対応する６つの被写界深度評価値の内、最小の被写界深度評価値を特定し、その最小の被写界深度評価値に対応する顔領域を選択顔領域とする。
【０１４０】
また、第３選択手法では、顔領域５０１〜５０６に対応する６つの被写界深度評価値の内、中間の値を有する被写界深度評価値を特定し、その中間の値を有する被写界深度評価値に対応する顔領域を選択顔領域とする。尚、偶数個の顔領域が抽出された場合、中間の値を略中間の値と読み替えればよい。即ち、本実施例の如く６つの顔領域５０１〜５０６が抽出された場合、６つの被写界深度評価値の内、３番目又は４番目に大きい被写界深度評価値に対応する顔領域を選択顔領域とすればよい。
【０１４１】
次に第４選択手法を説明する。第４選択手法並びに後述する第５及び第６選択手法では、まず、図１９の曲線３００を描くようなレンズ位置と顔ＡＦ評価値との関係を各顔領域に対して求めて、各顔に対する被写体距離を求める。
【０１４２】
即ち、次々と得られる各フレーム画像に対して６つの顔領域５０１〜５０６に対応する６つの顔ＡＦ評価領域を設定し、レンズ位置を所定間隔で光軸方向に移動させながら、各顔ＡＦ評価領域に対する顔ＡＦ評価値を次々と求める。図２７に、これによって得られる、レンズ位置と顔ＡＦ評価値との関係を表す曲線５１１〜５１６を示す。曲線５１１〜５１６は、夫々、顔領域５０１〜５０６に対応する該関係である。
【０１４３】
今、顔領域５０１の顔ＡＦ評価値に最大値を与えるレンズ位置をＬ11とする。同様に、顔領域５０２、５０３、５０４、５０５、５０６の顔ＡＦ評価値に最大値を与えるレンズ位置を、夫々、Ｌ12、Ｌ13、Ｌ14、Ｌ15、Ｌ16とする。そして、Ｌ11、Ｌ12、Ｌ13、Ｌ14、Ｌ15、Ｌ16の順番で、レンズ位置が至近端から無限端側に遷移すると仮定する。つまり、６つの顔の内、顔領域５０１に対応する顔の被写体距離が最も短く、顔領域５０６に対応する顔の被写体距離が最も長いと仮定する。
【０１４４】
第４選択手法並びに後述する第５及び第６選択手法では、レンズ位置Ｌ11、Ｌ12、Ｌ13、Ｌ14、Ｌ15及びＬ16にて特定される各顔の被写体距離に基づいて、選択顔領域を設定する。第４選択手法では、６つの顔の内、最も被写体距離が短い顔についての顔領域を選択顔領域とする。上記の仮定の下では、顔領域５０１が選択顔領域とされる。
【０１４５】
一方、第５選択手法では、６つの顔の内、最も被写体距離が長い顔についての顔領域を選択顔領域とする。上記の仮定の下では、顔領域５０６が選択顔領域とされる。
【０１４６】
また、第６選択手法では、６つの顔の内、被写体距離が中間となる顔についての顔領域を選択顔領域とする。尚、偶数個の顔領域が抽出された場合、中間を略中間と読み替えればよい。即ち、本実施例の如く６つの顔領域５０１〜５０６が抽出された場合、上記の仮定の下では、顔領域５０３又は５０４が選択顔領域とされる。
【０１４７】
ステップＳ４３にて１つの顔領域が選択された後、ステップＳ４４に移行する。以下、顔領域５０１が選択顔領域とされた場合を想定する。ステップＳ４４以降の動作は、基本的に第１実施例におけるそれと同様である。但し、絞り値の調整手法として、第２実施例に記載の手法を適用しても良い。
【０１４８】
即ち、ステップＳ４４では、選択された顔領域についての顔検出情報に基づいて、第１実施例と同様に被写界深度評価値（α）が算出され、その被写界深度評価値（α）に基づいて目標の被写界深度が設定される。尚、ステップＳ４３の処理の段階にて被写界深度評価値が既に算出されている場合は、ステップＳ４４にて改めてそれを算出する必要はない。
【０１４９】
そして、続くステップＳ４５において、第１実施例と同様、目標の被写界深度に基づいて設定されるべき目標の絞り値を算出し、その目標の絞り値に従った開度になるようにＣＰＵ２３は図２の絞り３２の開度を制御する。但し、上記の第４選択手法の説明で述べたように顔領域５０１〜５０６の各被写体距離を算出し、各被写体距離に基づいて６つの顔の全てが被写界深度内に収まるように絞り値を設定するようにする。この際、レンズ位置は、選択顔領域としての顔領域５０１に最適な位置（即ち、Ｌ11）とする。
【０１５０】
この後、ステップＳ１６に移行し、求められた絞り値に従った最適な露出制御を行い、シャッタボタン２６ｂが全押しされたならば（ステップＳ１７）、ステップ１８にて静止画の撮影が行われる。この際、この静止画の露光を開始する前に、実際のレンズ位置がＬ11となり且つ実際の絞り値がステップＳ４５で算出された絞り値となるように、ＣＰＵ２３によって、フォーカスレンズ３１の位置及び絞り３２の開度が制御される。また、この静止画の撮影時における露光時間及びＡＦＥ１２における増幅度は、ステップＳ１６での露出制御に従う。得られた静止画を表す画像データは、図１の圧縮処理部１６を介してメモリカード１８に格納される。
【０１５１】
尚、撮影モードには、人物の撮影に適したポートレートモードと、風景の撮影に適した風景モードと、それらのどちらにも属さないオートモードと、が含まれている。図１の操作部２６に対する操作によって、ポートレートモード、風景モード及びオートモードの何れのモードにて撮影を行うかを設定することができる。
【０１５２】
一方、ステップＳ４３において、第１又は第４選択手法を採用した場合、顔により着目したピント合わせが実行されることになり、第２又は第５選択手法を採用した場合、背景により着目したピント合わせが実行されることになる。従って例えば、ポートレートモードが設定されている場合は上述の第１又は第４選択手法を採用し、風景モードが設定されている場合は上述の第２又は第５選択手法を採用し、オートモードが設定されている場合は上述の第３又は第６選択手法を採用して選択顔領域を定めるようにするとよい。
【０１５３】
＜＜第４実施例＞＞
ところで、上述の第１〜第３実施例は、撮像装置１の周辺照度が或る程度確保されており、絞り３２を絞ったとしても所望の画像明るさが得られる状態を想定している。仮に、周辺照度が低く、絞り３２を絞ると映像信号のＳ／Ｎ比（信号対雑音比）が悪くなりすぎると判断される場合は、第１〜第３実施例にて述べた処理を行わず、以下に述べる処理を行うことも可能である。この処理を説明する実施例として第４実施例を説明する。
【０１５４】
図２８は、第４実施例に係る上記処理を実現する主要部位のブロック図である。図２８におけるＣＰＵ２３、顔検出部４１、ＡＥ評価部４２及びＡＦ評価部４３は、第１実施例（図３）に係るそれらと同様のものである。ＮＲ処理部４４は、図１の映像信号処理部１３に含まれている。
【０１５５】
ＮＲ処理部４４は、ＡＦＥ１２の出力信号に基づくフレーム画像の映像信号に対してノイズ低減処理（以下、ＮＲ処理という）を施し、ＮＲ処理後の映像信号を出力する。ＮＲ処理として、具体的には例えば平滑化処理を行う。そして、ＮＲ処理部４４は、ＣＰＵ２３の制御の下、ＮＲ処理として比較的ノイズ低減効果が小さい弱ＮＲ処理と比較的ノイズ低減効果が大きい強ＮＲ処理とを実行可能となっている。
【０１５６】
弱ＮＲ処理の実行時には、例えば、画像のぼけが生じにくいように、エッジ保存フィルタ等の非線形フィルタを用いた平滑化処理を、指定された画像の映像信号に対して施す。
【０１５７】
一方、強ＮＲ処理の実行時には、例えば、画像を積極的にぼかすべく、図２９（ａ）に示すような移動平均フィルタや図２９（ｂ）に示すような加重平均フィルタを用いた平滑化処理を、指定された画像の映像信号に対して施す。図示の簡略化上、図２９（ａ）及び（ｂ）に示されたフィルタのサイズは３×３となっているが、強ＮＲ処理に用いるフィルタのサイズは、３×３以外であっても良い。
【０１５８】
今、撮影モードにおいて、シャッタボタン２６ｂが半押しされ且つ半押し後のフレーム画像から１つの顔領域が抽出されたとする。そうすると、第１実施例と同様、その顔領域についての顔検出情報が生成され、その顔検出情報に基づき被写界深度評価値αが算出されて目標の被写界深度が決定される（図１５のステップＳ１０〜Ｓ１４参照）。そして、この場合において、周辺照度が低く、絞り３２を絞ると映像信号のＳ／Ｎ比が悪くなりすぎると判断されたとする。
【０１５９】
この場合、ＣＰＵ２３は、目標の被写界深度の如何に関わらず、絞り３２が開放されるように（絞り３２の開度が最大となるように）図２のドライバ３４を制御する。その上で、図２の撮像素子３３の露光時間及び図１のＡＦＥ１２における増幅度を制御対象として、露出制御を行う。即ち、最新のフレーム画像のＡＥ評価値（即ち、画像全体の輝度平均）が所定の明るさ目標値になるように、制御対象（露光時間及び増幅度）を制御する。
【０１６０】
この場合において、α≧０が成立して目標の被写界深度を比較的浅くすると決定された場合は、ＮＲ処理部４４にて背景ぼかし処理が行われるように、ＣＰＵ２３はＮＲ処理部４４を制御する。背景ぼかし処理とは、顔領域を含む弱ＮＲ対象領域内の画像に対して弱ＮＲ処理を施す一方でそれ以外の強ＮＲ対象領域の画像に対して強ＮＲ処理を施す画像処理である。他方、α＜０が成立して目標の被写界深度を比較的深くすると決定された場合は、背景ぼかし処理は行われない（例えば、フレーム画像の全体領域に対して弱ＮＲ処理が施される）。
【０１６１】
図３０（ａ）を参照して、１つのフレーム画像６００の全体領域を弱ＮＲ対象領域と強ＮＲ対象領域に領域分割する手法を説明する。フレーム画像６００内において、符号６０１が付された矩形領域は抽出された顔領域である。今、顔領域６０１の顔における両目間の中心から口の中心に向かう方向を下方向と定義する。顔検出ができるならば、必然的に、顔検出部４１内で該下方向を特定可能である。そうすると、フレーム画像６００において、通常、顔領域６０１の下方向には人物の胴体や腕などが描画されるはずである。そこで、ＣＰＵ２３は、顔検出部４１からの上記下方向を特定する情報を参照しつつ、フレーム画像６００内における顔領域６０１の位置から人物の胴体等の描画領域を推定する。図３０（ａ）において、符号６０２が付された矩形領域は、この推定された描画領域を表している。この描画領域６０２と顔領域６０１の合成領域を弱ＮＲ対象領域とし、フレーム画像６００の全体領域から弱ＮＲ対象領域を除いた領域を強ＮＲ対象領域とする。
【０１６２】
そして、ＮＲ処理部４４は、上述の背景ぼかし処理を実現すべく、フレーム画像の弱ＮＲ対象領域内の各画素の映像信号に対して例えばエッジ保存フィルタを用いた平滑化処理を行い、且つ、フレーム画像の強ＮＲ対象領域内の各画素の映像信号に対して例えば移動平均フィルタを用いた平滑化処理を行う。そして、各平滑化処理後の映像信号を出力する。そうすると、背景の画像部分がぼかされ、結果的に、図１７（ａ）に示されるような画像が得られることになる。シャッタボタン２６ｂが全押しされた場合は各平滑化処理後の映像信号が、静止画撮影指示に従って取得されるべき静止画の画像データとして、図１の圧縮処理部１６を介してメモリカード１８に格納される。
【０１６３】
本実施例によれば、低照度時でも、撮影者の意図に合致した演出効果を特別な操作無しに得ることが可能となる。
【０１６４】
尚、背景ぼかし処理において、弱ＮＲ対象領域内の画像に対して平滑化処理等のノイズ低減処理を全く行わず、強ＮＲ対象領域内の画像に対してのみ平滑化処理等のノイズ低減処理を行うようにしてもよい。また、強ＮＲ処理は、画像をぼかすための画像処理（信号処理）であり、その画像処理を行う際におけるＮＲ処理部４４はぼかし処理部として機能する。
【０１６５】
また、半押し後のフレーム画像から複数の顔領域が抽出された場合は、第３実施例に記載の手法が適用される。即ち、第３実施例と同様、複数の顔領域から１つの顔領域を選択し、選択した顔領域の顔検出情報に基づいて被写界深度評価値αを算出して目標の被写界深度を決定する。そして、背景ぼかし処理を行う場合は、フレーム画像の全体領域において、その複数の顔領域を含む領域を弱ＮＲ対象領域とし、それ以外の領域を強ＮＲ対象対象領域とすればよい。この場合でも、各顔領域に対応する各人物の胴体等の描画領域も弱ＮＲ対象領域に含めると良い。
【０１６６】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１６７】
［注釈１］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図３又は図２８に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。図３又は図２８に示される各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１６８】
［注釈２］
例えば、図３に示される各部位によって絞り制御装置が形成される。この絞り制御装置に、図２のドライバ３４が含まれていると考えても構わない。また例えば、図２８に示される各部位によって画像処理装置が形成される。
【図面の簡単な説明】
【０１６９】
【図１】発明の実施の形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部１１の内部ブロック図である。
【図３】本発明の第１実施例に係る絞り制御機能を実現する主要部位のブロック図である。
【図４】図３の顔検出部の内部ブロック図である。
【図５】図４の顔検出処理部に与えられる検出対象画像内において判定領域が走査される様子を表す図である。
【図６】図４の顔検出処理部による顔検出処理の動作手順を表すフローチャートである。
【図７】判定領域内の画像から４方向の第１エッジ強調画像を生成する際に用いる微分フィルタを表す図である。
【図８】判定領域内の画像から生成される、４方向の第１エッジ強調画像と４方向の第２エッジ強調画像を表す図である。
【図９】判定領域内の画像から生成される４方向の特徴画像を表す図である。
【図１０】図４の顔辞書メモリに格納される重みテーブルの内容例を表す図である。
【図１１】図４の顔検出処理部にて生成される顔検出情報を示す図である。
【図１２】フレーム画像から抽出される顔領域を説明するための図である。
【図１３】フレーム画像から抽出される顔領域の座標情報を示す図である・
【図１４】図３のＡＦ評価部の内部ブロック図である。
【図１５】本発明の第１実施例に係り、図３の各部位の動作の流れを表すフローチャートである。
【図１６】フレーム画像内の顔の位置等と、設定される目標の被写界深度等と、の関係を示す図である。
【図１７】各絞り値に対応したフレーム画像を表す図である。
【図１８】目標の被写界深度を設定するための各評価値が顔検出情報に依存する様子を示す図である。
【図１９】顔ＡＦ評価値とフォーカスレンズ位置との関係及び背景ＡＦ評価値とフォーカスレンズ位置との関係を表す図である。
【図２０】図１９の顔ＡＦ評価値及び背景ＡＦ評価値に対応する顔ＡＦ評価領域及び背景ＡＦ評価領域を表す図である。
【図２１】被写界深度を説明するための図（ａ）と、設定される被写界深度と顔及び背景との関係を示す図（ｂ）（ｃ）である。
【図２２】露出制御を行うための各評価値が顔検出情報に依存する様子を示す図である。
【図２３】本発明の第２実施例に係る絞り値の調整手法の処理手順を示すフローチャートである。
【図２４】本発明の第２実施例に係る絞り値の調整手法を説明するための図である。
【図２５】本発明の第３実施例に係り、図３の各部位の動作の流れを表すフローチャートである。
【図２６】１つのフレーム画像から複数の顔領域が抽出される様子を示す図である。
【図２７】図２６の各顔領域に対する顔ＡＦ評価値とフォーカスレンズ位置との関係を表す図である。
【図２８】本発明の第４実施例に係る背景ぼかし処理を実現する主要部位のブロック図である。
【図２９】図２８のＮＲ処理部にて用いられるフィルタの例を示す図である。
【図３０】本発明の第４実施例に係り、フレーム画像が領域分割される様子を示す図である。
【符号の説明】
【０１７０】
１  撮像装置
１１  撮像部
１３  映像信号処理部
２３  ＣＰＵ
３１  フォーカスレンズ
３２  絞り
３３  撮像素子
３４  ドライバ
４１  顔検出部
４２  ＡＥ評価部
４３  ＡＦ評価部
４４  ＮＲ処理部
５１  画像縮小部
５２  顔検出処理部
５３  顔辞書メモリ
【図１】
2008233470.tif 000003
【図２】
2008233470.tif 000004
【図３】
2008233470.tif 000005
【図４】
2008233470.tif 000006
【図５】
2008233470.tif 000007
【図６】
2008233470.tif 000008
【図７】
2008233470.tif 000009
【図８】
2008233470.tif 000010
【図９】
2008233470.tif 000011
【図１０】
2008233470.tif 000012
【図１１】
2008233470.tif 000013
【図１２】
2008233470.tif 000014
【図１３】
2008233470.tif 000015
【図１４】
2008233470.tif 000016
【図１５】
2008233470.tif 000017
【図１６】
2008233470.tif 000018
【図１８】
2008233470.tif 000019
【図１９】
2008233470.tif 000020
【図２１】
2008233470.tif 000021
【図２２】
2008233470.tif 000022
【図２３】
2008233470.tif 000023
【図２４】
2008233470.tif 000024
【図２５】
2008233470.tif 000025
【図２７】
2008233470.tif 000026
【図２８】
2008233470.tif 000027
【図２９】
2008233470.tif 000028
【図３０】
2008233470.tif 000029
【図１７】
2008233470.tif 000030
【図２０】
2008233470.tif 000031
【図２６】
2008233470.tif 000032