(57)【特許請求の範囲】
【請求項１】
画像から特定被写体の検出を行う被写体抽出装置であって、
前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、
前記合焦評価手段の評価結果に基づいて前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、
前記合焦評価領域の評価結果に基づいて前記特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、
前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、
を備え、
前記被写体抽出手段は、前記特定被写体の抽出処理にあたって、画素間引き処理を行うように構成され、
前記処理内容変更手段は、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記画素間引き処理における間引き数を減少させていくことを特徴とする被写体抽出装置。
【請求項２】
画像から特定被写体の検出を行う被写体抽出装置であって、
前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、
前記合焦評価手段の評価結果に基づいて前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、
前記合焦評価領域の評価結果に基づいて前記特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、
前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、
を備え、
前記被写体抽出手段は、前記特定被写体の抽出処理にあたって、ブロック分割処理を行うように構成され、
前記処理内容変更手段は、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記ブロック分割処理におけるブロック分割数を増加させていくことを特徴とする被写体抽出装置。
【請求項３】
画像から特定被写体の検出を行う被写体抽出装置であって、
前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、
前記合焦評価手段の評価結果に基づいて前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、
前記合焦評価領域の評価結果に基づいて前記特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、
前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、
を備え、
前記処理内容変更手段は、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記特定被写体の抽出処理の実行頻度を増加させることを特徴とする被写体抽出装置。
【請求項４】
請求項１乃至３のいずれかに記載の被写体抽出装置において、
前記被写体抽出手段は、色判定処理において、前記画像の肌色判別を行うことによって前記特定被写体を抽出することを特徴とする被写体抽出装置。
【請求項５】
請求項１乃至４のいずれかに記載の被写体抽出装置において、
前記被写体抽出手段によって抽出される前記特定被写体の領域と前記合焦評価領域とが一致しない場合に、前記合焦評価領域を前記特定被写体の領域に設定変更する手段、
をさらに備える被写体抽出装置。
【請求項６】
撮影レンズを介して画像を撮影する撮影装置であって、
前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、
前記合焦評価手段の評価結果に基づいて前記撮影レンズを駆動することにより、前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、
前記合焦評価領域の評価結果に基づいて特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、
前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、
前記被写体抽出手段で抽出される前記特定被写体の領域を前記合焦評価領域として設定する手段と、
を備え、
前記被写体抽出手段は、前記特定被写体の抽出処理にあたって、画素間引き処理を行うように構成され、
前記処理内容変更手段は、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記画素間引き処理における間引き数を減少させていくことを特徴とする撮影装置。
【請求項７】
撮影レンズを介して画像を撮影する撮影装置であって、
前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、
前記合焦評価手段の評価結果に基づいて前記撮影レンズを駆動することにより、前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、
前記合焦評価領域の評価結果に基づいて特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、
前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、
前記被写体抽出手段で抽出される前記特定被写体の領域を前記合焦評価領域として設定する手段と、
を備え、
前記被写体抽出手段は、前記特定被写体の抽出処理にあたって、ブロック分割処理を行うように構成され、
前記処理内容変更手段は、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記ブロック分割処理におけるブロック分割数を増加させていくことを特徴とする撮影装置。
【請求項８】
撮影レンズを介して画像を撮影する撮影装置であって、
前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、
前記合焦評価手段の評価結果に基づいて前記撮影レンズを駆動することにより、前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、
前記合焦評価領域の評価結果に基づいて特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、
前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、
前記被写体抽出手段で抽出される前記特定被写体の領域を前記合焦評価領域として設定する手段と、
を備え、
前記処理内容変更手段は、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記特定被写体の抽出処理の実行頻度を増加させることを特徴とする撮影装置。
【請求項９】
請求項６乃至８のいずれかに記載の撮影装置において、
前記被写体抽出手段が前記特定被写体を抽出した際に、前記特定被写体の領域と前記合焦評価領域とが一致する場合に、本撮影を行うための撮影動作を許可する手段、
をさらに備える撮影装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像から特定被写体を抽出する被写体抽出技術に関する。
【０００２】
【従来の技術】
従来のカメラ等において自動合焦制御（オートフォーカス制御）を行う場合、画面のどの領域で焦点検出を行うかは予め決められていた。例えば、画像の中央に設定された合焦評価領域で自動焦点検出を行ったり、複数の合焦評価領域のうちから最も被写体距離の近い領域を特定し、その領域で自動焦点検出を行っている。
【０００３】
また、画像処理の技術分野では、画像から人物像を検出する技術が提案されている。かかる技術での人物像抽出処理では、常に高精度に人物像の検出を行うことを主眼としているため、対象となる画像がどのような状態の画像であっても、常に高精度に人物像を検出するための処理が行われる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の自動合焦制御においては、予め決められた画面中の領域で自動焦点検出を行うだけであるため、その領域中にユーザの意図する主被写体が含まれていない場合には、ユーザの意図とは異なった領域で焦点検出が行われることとなり、その結果ユーザが撮影したかった主被写体がぼけた画像で撮影されるという問題があった。
【０００５】
また、画像処理の分野で提案されている人物像検出技術を適用して、画像から人物を検出し、その人物像を主被写体と特定して焦点検出を行うことも考えられるが、どのような画像であっても同様の人物像抽出処理を行うとすると、処理時間が長くなるという問題が発生する。また、その反面、処理効率を重視して粗雑な人物抽出処理を行うと正確な人物検出を行うことが出来なくなるという問題が発生する。
【０００６】
特に、電子カメラ等の撮影装置において、主被写体を検出し、その主被写体が適切に合焦状態となった状態で撮影動作を行うように実現する場合、主被写体を抽出する処理を効率化するだけでなく、同時に正確性を向上させることも望まれる。
【０００７】
そこで、この発明は、上記課題に鑑みてなされたものであって、処理効率が向上するとともに、正確に主被写体を抽出することの可能な被写体抽出装置を提供することを目的とし、また、そのような被写体抽出技術の適用された撮影装置を提供することをも目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、画像から特定被写体の検出を行う被写体抽出装置であって、前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、前記合焦評価手段の評価結果に基づいて前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、前記合焦評価領域の評価結果に基づいて前記特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、を備え、前記被写体抽出手段が、前記特定被写体の抽出処理にあたって、画素間引き処理を行うように構成され、前記処理内容変更手段が、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記画素間引き処理における間引き数を減少させていくことを特徴としている。
【０００９】
請求項２に記載の発明は、画像から特定被写体の検出を行う被写体抽出装置であって、前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、前記合焦評価手段の評価結果に基づいて前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、前記合焦評価領域の評価結果に基づいて前記特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、を備え、前記被写体抽出手段が、前記特定被写体の抽出処理にあたって、ブロック分割処理を行うように構成され、前記処理内容変更手段が、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記ブロック分割処理におけるブロック分割数を増加させていくことを特徴としている。
【００１１】
請求項３に記載の発明は、画像から特定被写体の検出を行う被写体抽出装置であって、前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、前記合焦評価手段の評価結果に基づいて前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、前記合焦評価領域の評価結果に基づいて前記特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、を備え、前記処理内容変更手段が、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記特定被写体の抽出処理の実行頻度を増加させることを特徴としている。
【００１２】
請求項４に記載の発明は、請求項１乃至３のいずれかに記載の被写体抽出装置において、前記被写体抽出手段が、色判定処理において、前記画像の肌色判別を行うことによって前記特定被写体を抽出することを特徴としている。
【００１３】
請求項５に記載の発明は、請求項１乃至４のいずれかに記載の被写体抽出装置において、前記被写体抽出手段によって抽出される前記特定被写体の領域と前記合焦評価領域とが一致しない場合に、前記合焦評価領域を前記特定被写体の領域に設定変更する手段、をさらに備えている。
【００１４】
請求項６に記載の発明は、撮影レンズを介して画像を撮影する撮影装置であって、前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、前記合焦評価手段の評価結果に基づいて前記撮影レンズを駆動することにより、前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、前記合焦評価領域の評価結果に基づいて特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、前記被写体抽出手段で抽出される前記特定被写体の領域を前記合焦評価領域として設定する手段と、を備え、前記被写体抽出手段が、前記特定被写体の抽出処理にあたって、画素間引き処理を行うように構成され、前記処理内容変更手段が、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記画素間引き処理における間引き数を減少させていくことを特徴としている。
【００１５】
請求項７に記載の発明は、撮影レンズを介して画像を撮影する撮影装置であって、前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、前記合焦評価手段の評価結果に基づいて前記撮影レンズを駆動することにより、前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、前記合焦評価領域の評価結果に基づいて特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、前記被写体抽出手段で抽出される前記特定被写体の領域を前記合焦評価領域として設定する手段と、を備え、前記被写体抽出手段が、前記特定被写体の抽出処理にあたって、ブロック分割処理を行うように構成され、前記処理内容変更手段が、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記ブロック分割処理におけるブロック分割数を増加させていくことを特徴としている。
【００１７】
請求項８に記載の発明は、撮影レンズを介して画像を撮影する撮影装置であって、前記画像における合焦評価領域の合焦状態を評価する合焦評価手段と、前記合焦評価手段の評価結果に基づいて前記撮影レンズを駆動することにより、前記合焦評価領域に含まれる被写体像が合焦状態となるように制御する合焦制御手段と、前記合焦評価領域の評価結果に基づいて特定被写体の抽出処理を行う際の処理内容を変更する処理内容変更手段と、前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、前記被写体抽出手段で抽出される前記特定被写体の領域を前記合焦評価領域として設定する手段と、を備え、前記処理内容変更手段が、前記合焦制御手段の制御によって前記被写体像が合焦状態に近づくにつれて、前記特定被写体の抽出処理の実行頻度を増加させることを特徴としている。
請求項９に記載の発明は、請求項６乃至８のいずれかに記載の撮影装置において、前記被写体抽出手段が前記特定被写体を抽出した際に、前記特定被写体の領域と前記合焦評価領域とが一致する場合に、本撮影を行うための撮影動作を許可する手段、をさらに備えている。
【００１８】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照しつつ詳細に説明する。なお、以下においてはデジタルカメラを例に挙げて説明することとする。
【００１９】
＜１．第１の実施の形態＞
まず、第１の実施の形態について説明する。図１はこの発明にかかる撮影装置の一例としてのデジタルカメラ１を示す斜視図である。図１に示すように、デジタルカメラ１の前面側には、撮影レンズ１１とファインダ窓２とが設けられている。撮影レンズ１１の内側には撮影レンズ１１を介して入射する被写体像を光電変換して画像データ（画素ごとの画素データの配列からなるデータ）を生成するための撮像手段としてＣＣＤ撮像素子３０が設けられている。
【００２０】
撮影レンズ１１には光軸方向に沿って移動可能なフォーカシングレンズが含まれており、フォーカシングレンズを駆動することにより、ＣＣＤ撮像素子３０に結像される画像の合焦状態を可変することができるように構成されている。
【００２１】
また、デジタルカメラ１の上面側には、シャッタボタン８と、カメラ状態表示器１３と、設定キー１４とが配置されている。シャッタボタン８は被写体の撮影を行うときにユーザが押し込み操作するボタンであり、半押し状態と全押し状態との２段階を検知することができるように構成される。カメラ状態表示器１３は例えばセグメント表示タイプの液晶表示器によって構成され、デジタルカメラ１における現在の設定内容等をユーザに示すために設けられている。また、設定キー１４は、被写体に応じた撮影モードの選択設定や、自動合焦制御時にどのような合焦制御を行うかを設定するためのキースイッチである。
【００２２】
また、デジタルカメラ１の側面部には画像データを記録するための記録メディア９を装着する装着部１５が形成されており、メモリカード等のような交換可能な記録メディア９を装着することができる。
【００２３】
なお、図１における図示は省略するが、デジタルカメラ１の背面側には、ＣＣＤ撮像素子３０で撮影された画像等を表示するための液晶表示部が設けられる。
【００２４】
図２はデジタルカメラ１の内部構成を示すブロック図である。なお、図２において実線矢印は制御信号の流れを示しており、斜線地矢印は画像信号の流れを示している。
【００２５】
図２に示すように、デジタルカメラ１は、被写体を撮影する際の撮影機能を実現する撮影機能部２０と、合焦制御時に主被写体（特定被写体）を検出してその主被写体が合焦状態となるような制御を行う主被写体合焦制御部４０と、撮影レンズ１１に含まれるフォーカシングレンズ１２を駆動してＣＣＤ撮像素子３０に結像される画像の合焦状態を変更するレンズ駆動部５０と、上述のシャッタボタン８及び設定キー１４を含む操作部１６と、操作部１６の操作内容に応じて撮影機能部２０及び主被写体合焦制御部４０を制御する全体制御部１８とを備えて構成される。
【００２６】
撮影機能部２０は、撮影レンズ１１、ＣＣＤ撮像素子３０、ＣＣＤ撮像素子３０からの画像データを一時的に格納するための画像メモリ３１、画像メモリ３１から得られる画像データに対して画像圧縮等の所定の画像処理を行う画像処理部３２、画像処理部３２において画像表示用の画像処理が施された表示用画像を表示する液晶表示部３３、及び、画像処理部３２において画像記録用の画像処理が施された撮影画像を記録する記録メディア９を備えて構成される。
【００２７】
撮影機能部２０は、全体制御部１８の制御によって、本撮影前にライブビュー画像を液晶表示部３３に表示させるためのライブビュー動作と、シャッタボタン８が全押しされたときに記録メディア９に記録するための画像撮影を行う本撮影動作とを行うように構成される。また、液晶表示部３３がオフ状態であったとしても、少なくとも合焦制御時にはＣＣＤ撮像素子３０による撮影動作が行われる。
【００２８】
また、主被写体合焦制御部４０は、画像全体における合焦状態を評価するための合焦評価領域を設定する合焦評価領域設定部４１、画像メモリ３１から画像データを取り込み、合焦評価領域設定部４１から指定される合焦評価領域の部分画像データから合焦状態を評価するための評価値を求める合焦評価部４２、合焦評価部４２で求められる評価値に基づいてレンズ駆動部５０に駆動信号を与え、合焦評価領域の被写体像を合焦状態に導く合焦制御部４３、合焦評価部４２で求められる評価値に基づいて合焦評価領域における被写体像のぼけ量を求め、そのぼけ量に応じて被写体抽出部４５における設定状態を変更する処理内容変更部４４、及び、画像メモリ３１から画像データを取り込み、処理内容変更部４４から設定される処理内容に基づいて主被写体（特定被写体）の抽出処理を行う被写体抽出部４５、を備えて構成される。
【００２９】
全体制御部１８は、例えばシャッタボタン８が半押し状態にされたときに主被写体が適切な合焦状態となるように主被写体合焦制御部４０を機能させ、全押し状態にされたときに撮影機能部２０において本撮影動作を行うように制御する。また、全体制御部１８は本撮影前にはライブビュー動作として撮影機能部２０において逐次画像撮影を行わせ、逐次更新される画像を液晶表示部３３に表示させたり、主被写体合焦制御部４０に与えるように制御する。
【００３０】
レンズ駆動部５０は合焦制御動作時に合焦制御部４３から与えられる駆動信号に基づいてフォーカシングレンズ１２を遠側から近側に向けて所定ピッチで移動させ、ＣＣＤ撮像素子３０に結像される画像の合焦状態を変化させる。そして、主被写体合焦制御部４０において主被写体が合焦状態となるレンズ位置が特定され、合焦制御部４３よりそのレンズ位置が指定された場合には、レンズ駆動部５０はその指定されたレンズ位置にフォーカシングレンズ１２を移動させて主被写体が合焦した状態の画像をＣＣＤ撮像素子３０に結像させる。
【００３１】
図３はデジタルカメラ１に予め設定される合焦評価領域の初期状態を示す図である。図３に示すように、合焦評価領域設定部４１には、合焦評価領域の初期状態として、画像メモリ３１から取得する画像Ｇ１のほぼ中央部分に合焦評価領域ＦＲ１が設定されており、主被写体合焦制御部４０が機能して最初の合焦評価を行う際には、合焦評価領域設定部４１は図３に示す合焦評価領域ＦＲ１の位置及びサイズを合焦評価部４２に指示する。
【００３２】
合焦評価部４２は、画像メモリ３１から画像Ｇ１を取得し、そのうちから合焦評価領域ＦＲ１についての画像成分を抽出する。そして、合焦評価領域ＦＲ１の画像成分の合焦状態を評価するための評価値を求める。評価値の算出方法には、いくつかの方法がある。例えば、第１の方法として、合焦評価領域ＦＲ１に含まれる画像成分をバンドパスフィルタに通し、それによって抽出される画像信号の高周波成分の強度を評価値とする方法があり、また、第２の方法として、合焦評価領域ＦＲ１に含まれる画像成分の隣接画素間での輝度値の差分値を求め、その差分値を合焦評価領域ＦＲ１内で累積した値を評価値とする方法がある。また、第３の方法として、合焦評価領域ＦＲ１に含まれる画像成分に対して微分フィルタ等を用いたエッジ抽出処理を施し、その結果抽出されるエッジの幅（ぼけ幅）を評価値とする方法もある。
【００３３】
第１及び第２の方法は、被写体を撮影した場合、画像がぼけている状態では高周波成分のレベルは小さく、また隣接画素間の輝度差の累積値も小さなものとなるのに対し、焦点が合ってくる（合焦状態に近づく）にしたがって高周波成分のレベルは大きく、また隣接画素間の輝度差の累積値も大きなものとなることを検出する方法である。
【００３４】
このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第１及び第２の方法で得られる評価値は、図４に示すように変化する。フォーカシングレンズ１２を移動させつつ、各レンズ位置で撮影された画像から評価値を求めると、図４に示すように評価値が変化し、レンズ位置ＰＸで評価値が最大値を示す。このため、フォーカシングレンズ１２をレンズ位置ＰＸに移動させれば、合焦評価領域ＦＲ１に含まれる画像成分が合焦状態になると判明し、合焦制御部４３がフォーカシングレンズ１２をレンズ位置ＰＸに移動させて合焦状態を実現する。
【００３５】
一方、第３の方法は、被写体を撮影した場合、画像がぼけている状態ではエッジ幅は大きくなるのに対し、焦点が合ってくるにしたがってエッジ幅が小さくなることを検出する方法である。このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第３の方法で得られる評価値は、合焦位置で最小値を示すこととなり、合焦制御部４３がその最小値を示すレンズ位置にフォーカシングレンズ１２を移動させて合焦状態を実現する。
【００３６】
なお、合焦評価部４２において適用される評価値の算出方法は、上記第１乃至第３の方法のいずれを採用してもよく、またその他の算出方法を採用してもよい。
【００３７】
ところで、合焦評価領域ＦＲ１が画像Ｇ１に対して常に固定された領域に設定されると、上述したようにその合焦評価領域ＦＲ１中にユーザの意図する主被写体が含まれていない場合には、ユーザの意図とは異なった領域で焦点検出が行われることとなり、その結果ユーザが撮影したかった主被写体がぼけた画像で撮影される。
【００３８】
図５は主被写体となる人物が画像の端に存在する場合であって、固定された合焦評価領域で合焦制御を行った場合の撮影画像を示す図である。図５に示すように、主被写体となる人物が画像の端の部分に存在する場合、画像の中央部分の合焦評価領域で合焦制御を行うと、背景部分が合焦状態となり、主被写体がぼけてしまうという現象が発生する。
【００３９】
これに対し、図６は主被写体となる人物が画像の端に存在する場合にユーザが撮影を意図する画像を示す図である。図６に示すように、主被写体となる人物が画像の端に存在する場合であっても、主被写体である人物が合焦状態として撮影が行われることが望まれる。
【００４０】
そのため、この実施の形態のデジタルカメラ１では、被写体抽出部４５が画像メモリ３１から画像を取得してその画像のうちから主被写体を抽出する処理を行う。そして、合焦評価領域設定部４１が主被写体であると判断された画像部分に合焦評価領域を変更設定し、合焦評価部４２はその主被写体が含まれる合焦評価領域について評価値の算出を行う。すなわち、合焦評価領域が、初期状態の領域から主被写体として認識された画像領域に修正され、その主被写体の被写体像が合焦状態となるように合焦制御が行われる。
【００４１】
これにより、本撮影動作が行われると、主被写体が合焦状態となった適切な画像が撮影されることになる。
【００４２】
また、被写体抽出部４５においては、画像の肌色成分を抽出してその肌色成分が分布する領域を主被写体領域として認識するような被写体抽出処理が行われる。このため、主被写体がぼけた状態の場合は、例えば背景部分の色が人物の顔部分に影響し、正確な被写体抽出処理を行うことは困難である。そこで、この実施の形態では、画像又は主被写体のぼけ量に応じた被写体抽出処理を行うように構成される。つまり、画像又は主被写体がぼけた状態にあるときには比較的粗雑な被写体抽出処理を行って効率的に主被写体を抽出するようにし、主被写体が合焦状態に近づくと緻密な被写体抽出処理を行って高精度な被写体抽出処理を行うのである。
【００４３】
合焦評価部４２は各レンズ位置で算出する評価値を処理内容変更部４４に与え、処理内容変更部４４は被写体抽出部４５における被写体抽出処理の処理内容を画像又は主被写体のぼけ量に応じて決定する。そして、被写体抽出部４５は、ぼけ量に応じて決定された処理内容に基づいて、画像メモリ３１から得られる画像から主被写体の抽出処理を行う。
【００４４】
これにより、画像又は主被写体がぼけた状態のときは効率的に主被写体を抽出することができ、主被写体が合焦状態に近づくと高精度に主被写体を抽出することができる。
【００４５】
以下、この実施の形態におけるデジタルカメラ１の処理手順について説明する。図７乃至図９は、第１の実施の形態におけるデジタルカメラ１の処理手順を示すフローチャートであり、特に図７及び図８はシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示しており、また、図９は被写体抽出処理の詳細な処理手順を示している。
【００４６】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ１０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。このとき、全体制御部１８は主被写体合焦制御部４０によってフォーカシングレンズ１２を最も遠側に移動させるとともに、撮影機能部２０を制御してフォーカシングレンズ１２が最も遠側に移動した状態で画像撮影を行わせる。
【００４７】
そして、合焦評価部４２は画像メモリ３１に格納された画像を取り込み（ステップＳ１０２）、評価値の算出処理を行う（ステップＳ１０３）。このとき、合焦評価領域設定部４１は、画像Ｇ１の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１を評価値算出対象の合焦評価領域とすべきことを合焦評価部４２に対して指示する。合焦評価部４２では、ほぼ画面中央に設定される合焦評価領域ＦＲ１（図３参照）に含まれる画像成分に基づいて評価値の算出が行われ、算出された評価値は合焦制御部４３及び処理内容変更４４に与えられる。
【００４８】
そして処理内容変更部４４及び被写体抽出部４５が機能し、被写体抽出処理が行われる（ステップＳ１０４）。
【００４９】
図９のフローチャートを参照する。被写体抽出処理（ステップＳ１０４）に進むと、まず、処理内容変更部４４は評価値から合焦評価領域のぼけ量を算出する（ステップＳ２０１）。ぼけ量とは、合焦評価領域の画像成分がぼけた状態のときに大きな値を示し、合焦評価領域の画像成分が合焦状態に近づくにつれて次第に小さな値をとるようになる量である。評価値を算出する際に、上述した第１及び第２の方法を採用する場合には、例えば評価値の逆数をぼけ量として定義してもよいし、その他の値をぼけ量として定義してもよい。また、上述の第３の方法を評価値算出方法として採用する場合には算出された評価値そのものをぼけ量としてもよい。
【００５０】
被写体抽出部４５は、主被写体を抽出する処理の前処理として画素間引き処理とブロック分割処理とを行い、実際に主被写体を抽出する処理として色判定処理と形状判定処理とを行うように構成されている。そして処理内容変更部４４は、画素間引き処理における画素間引き数、ブロック分割処理におけるブロック分割数、及び、形状判定処理における形状判定基準を、合焦評価領域のぼけ量に応じて変更する。
【００５１】
まず、処理内容変更部４４は、合焦評価領域のぼけ量に応じて画素間引き数を設定する（ステップＳ２０２）。図１０は、ぼけ量と画素間引き数との関係を示す図である。図１０に示すように、ぼけ量と画素間引き数との関係はぼけ量に比例して画素間引き数が増加するように設定されている。つまり、ぼけ量が小さく、合焦評価領域の画像成分が比較的合焦状態に近い場合には、画素間引き数は小さな値に設定され、ぼけ量が大きく、合焦評価領域の画像成分がぼけた状態にある場合には、画素間引き数は大きな値に設定される。
【００５２】
そしてステップＳ２０２においては、さらに処理内容変更部４４で設定される画素間引き数が被写体抽出部４５に指示され、その指示された画素間引き数に基づいて、被写体抽出部４５が画像メモリ３１から得られる画像に対して画素間引き処理を実行する。
【００５３】
図１１は画素間引き処理の概念を示す図である。図１１に示すように、ぼけ量が大きいときには、画素間引き数が大きな値に設定されるので、画像Ｇ１から間引かれる画素数が多くなり、画像サイズの小さな画像Ｇ２が得られる。これに対し、ぼけ量が小さいとき（すなわち、合焦状態に近い状態にあるとき）には、画素間引き数が小さな値に設定されるので、画像Ｇ１から間引かれる画素数が少なくなり、画像サイズの比較的大きな画像Ｇ３が得られる。
【００５４】
このように被写体抽出部４５において、肌色判定処理等の主被写体を抽出する処理を行う前に処理対象となる画像の画像サイズを変更しておくことで、合焦評価領域の画像成分がぼけた状態にあるときには、効率的に主被写体の抽出を行うことが可能になる一方、合焦評価領域の画像成分が合焦状態に近い状態にあるときには、正確に主被写体の抽出を行うことが可能になる。
【００５５】
次に、処理内容変更部４４は、合焦評価領域のぼけ量に応じてブロック分割数を設定する（ステップＳ２０３）。図１２は、ぼけ量とブロック分割数との関係を示す図である。図１２に示すように、ぼけ量とブロック分割数との関係はぼけ量に比例して画素間引き数が減少するように設定されている。つまり、ぼけ量が小さく、合焦評価領域の画像成分が比較的合焦状態に近い場合には、ブロック分割数は大きな値に設定され、ぼけ量が大きく、合焦評価領域の画像成分がぼけた状態にある場合には、ブロック分割数は小さな値に設定される。
【００５６】
そしてステップＳ２０３においては、さらに処理内容変更部４４で設定されるブロック分割数が被写体抽出部４５に指示され、その指示されたブロック分割数に基づいて、被写体抽出部４５が画素間引き処理によって画像サイズの変更された画像に対してブロック分割処理を実行する。
【００５７】
図１３及び図１４はブロック分割処理の概念を示す図であり、図１３はぼけ量が大きい場合を示しており、図１４はぼけ量が小さい場合、すなわち合焦評価領域の画像成分が合焦状態に近い場合を示している。
【００５８】
図１３及び図１４に示すように、ぼけ量が大きいときには、被写体抽出部４５において比較的少ない数のブロックが生成されるようにブロック分割処理が行われ、ぼけ量が小さいとき（すなわち、合焦状態に近い状態にあるとき）には、被写体抽出部４５において比較的多く数のブロックが生成されるようにブロック分割処理が行われる。
【００５９】
このように被写体抽出部４５において、肌色判定処理等の主被写体を抽出する処理を行う前に処理対象となる画像をブロック分割しておくことで、後述するグループ化処理（ステップＳ２０７）以降の処理においてブロック単位で処理を行うことが可能となり、処理の効率化を図ることができる。特に、合焦評価領域の画像成分がぼけた状態にあるときに、ブロック分割数を少なくすることで効率的に主被写体の抽出を行うことが可能になる一方、合焦評価領域の画像成分が合焦状態に近い状態にあるときにはブロック分割数を増加させて正確に主被写体の抽出を行うことが可能になる。
【００６０】
次に、処理内容変更部４４は、合焦評価領域のぼけ量に応じて形状判定基準を設定する（ステップＳ２０４）。例えば、この実施の形態において被写体抽出部４５は、肌色ブロックの集合体が、人物の顔形状に類似した形状を有しているか否かを判断するように構成されている。具体的には、形状判定基準となる基準形状の縦横比を設定し、肌色ブロックの集合体がその縦横比の範囲内に収まっているか否かを判断し、収まっている場合には、その肌色ブロックの集合体を主被写体として特定する。そのため、処理内容変更部４４は、合焦評価領域のぼけ量に応じて形状判定基準となる縦横比を設定し、それを被写体抽出部４５に指示する。なお、ここでの縦横比とは、肌色ブロックの集合体の横方向の分布長さを１としたときの縦方向の分布長さの比をいう。
【００６１】
図１５は、ぼけ量と縦横比との関係を示す図である。図１５に示すように、ぼけ量と縦横比との関係はぼけ量に比例して縦横比が増加するように設定されている。つまり、ぼけ量が小さく、合焦評価領域の画像成分が比較的合焦状態に近い場合には、ブロックの集合体の横方向の分布長さを１としたときの縦方向の分布長さの比が小さくなるように設定されるのに対し、ぼけ量が大きく、合焦評価領域の画像成分がぼけた状態にある場合には、ブロックの集合体の横方向の分布長さを１としたときの縦方向の分布長さの比が大きくなるように設定される。
【００６２】
なお、人物の顔形状を主被写体として特定する場合、縦横比の最小値は、縦：横＝１．５：１程度とすることが好ましく、また、その最大値は、縦：横＝２：１程度とすることが好ましい。このように設定することで、合焦評価領域の画像成分が比較的ぼけた状態にあるときでも、被写体抽出部４５において精度は低いがある程度の顔形状の判定を行うことができるとともに、合焦評価領域の画像成分が合焦状態に近い状態にあるときには、高精度に顔形状の判定を行うことができる。
【００６３】
上記のように、ぼけ量に応じて縦横比を変更することは、すなわち顔形状として認識するための基準形状を変更することとなり、縦横比を小さくすることは形状判定基準を厳しくすることに相当する。そして、合焦評価領域の画像成分が合焦状態に近い状態にあるときには、形状判定基準を厳しく設定することにより、高精度に主被写体を特定することができるようになる。
【００６４】
次に、ステップＳ２０５に進み、被写体抽出部４５は画素間引き処理された画像から肌色画素を抽出する肌色画素抽出処理を行う。換言すれば、この肌色画素抽出処理は色判定処理を行うことである。肌色画素抽出処理においては、画素データのＲＧＢ値から輝度の影響を受けない色度ｕ’，ｖ’を算出し、色度ｕ’，ｖ’が「ＣＩＥ  １９７６  ＵＣＳ色度図」の特定領域内にあるか否かで肌色画素の抽出が行われる。なお、ある画素のＲＧＢ値から色度ｕ’，ｖ’を算出する際には、以下の数１及び数２の式で算出することができる。
【００６５】
【数１】
0003760846.tif 000002
【００６６】
【数２】
0003760846.tif 000003
【００６７】
図１６は、「ＣＩＥ  １９７６  ＵＣＳ色度図」の簡略図である。図１６において領域ＲＨは予め計測等によって設定される肌色領域である。このため、上記数１及び数２の式によって求められる色度ｕ’，ｖ’を次の条件式にあてはめれば各画素が肌色画素であるか否かを判定することができる。
【００６８】
【数３】
0003760846.tif 000004
【００６９】
【数４】
0003760846.tif 000005
【００７０】
すなわち、上記数１の式によって算出される色度ｕ’が上記数３の条件式を満たし、かつ、上記数２の式によって算出される色度ｖ’が上記数４の条件式を満たす場合には、当該画素は肌色画素であることが判明する。そしてＵＣＳ色度図を利用して肌色画素を特定することにより、輝度値の影響を受けることがなく、正確に肌色画素の特定を行うことが可能になるとともに、ＲＧＢ値から色度ｕ’，ｖ’への変換が比較的簡単な演算であるため、効率的に演算処理を行うことも可能である。
【００７１】
なお、図１６においては一例として肌色領域ＲＨが四角形の領域として定義される場合を例示したが、例えばＵＣＳ色度図のｕ’ｖ’空間において台形や段円形の肌色領域を設定するようにしてもよい。
【００７２】
そして、この肌色画素抽出処理を画素ごとに行う場合、上述したように合焦評価領域の画像成分がぼけた状態にあるときには、画像サイズが小さく画素数が比較的少ないので、迅速に肌色画素の抽出処理を行うことが可能である。これに対し、合焦評価領域の画像成分が合焦状態に近い状態にあるときには、画像サイズが大きく画素数が比較的多いので、サンプル数が増加し、正確に被写体抽出を行うことが可能になる。
【００７３】
次に、ステップＳ２０６に進み、被写体抽出部４５は肌色ブロック抽出処理を行う。ここではステップＳ２０３のブロック分割処理によって分割された個々のブロックごとに肌色画素が所定割合以上含まれているか否かを判断し、所定割合以上肌色画素が含まれている場合に当該ブロックを肌色ブロックとして特定する。これに対し、１個のブロック中に含まれる肌色画素数が所定割合未満である場合には、そのブロックは肌色ブロックとしては抽出されず、主被写体を構成するものでないと判断される。
【００７４】
このように肌色ブロックを抽出し、以後の処理をブロック単位で実行していくことにより、画素単位で処理を進めていく場合に比べて処理速度の高速化を図ることができる。特にデジタルカメラ１の場合にはシャッタボタン８が半押し状態とされると、シャッタチャンスを逃さないためにも迅速に主被写体を合焦状態に導くことが求められるため、上記のようなブロック単位ごとの処理とすることは重要な意義を有する。また同時に、所定割合の肌色画素が存在するブロックを肌色ブロックとするため、肌色ブロックの信頼性を高めることにもなる。
【００７５】
また、合焦評価領域の画像成分がぼけた状態にあるときには、ブロック分割数は比較的少なく、その結果肌色ブロックとして特定されるブロックも少なくなるので、以後の処理を効率的に行うことが可能である。ただし、その反面、合焦評価領域の画像成分がぼけた状態にある場合には、後の形状判定処理において正確な主被写体の検出処理を行うことが困難になるとともに、被写体倍率が小さい（すなわち、画像中に主被写体が小さく写っている）と、肌色ブロックとして認識されず、主被写体を良好に抽出することができなくなる場合がある。
【００７６】
これに対し、合焦評価領域の画像成分が合焦状態に近い状態にあるときには、ブロック分割数は比較的多く、その結果肌色ブロックとして特定されるブロック数も多くなるので、以後の形状判定等の処理においてより正確に主被写体を抽出することが可能になる。また、被写体倍率が小さい（すなわち、画像中に主被写体が小さく写っている）場合でも、ブロック数が多いので、主被写体を複数のブロックがカバーすることとなるので、肌色ブロックを良好に認識することができ、主被写体を正確に抽出することが可能になる。
【００７７】
次に、ステップＳ２０７に進み、被写体抽出部４５は肌色ブロックとして特定されたブロックのグループ化処理を行う。グループ化とは、縦方向又は横方向に連続して分布する肌色ブロックを連結して肌色ブロックの集合体を形成させる処理である。このため、１個の肌色ブロックが他の肌色ブロックに接することなく孤立して存在する場合には、当該肌色ブロックはグループ化処理によって肌色ブロックの集合体形成から排除される。換言すれば、このグループ化処理により、主被写体としてありえないような小さな肌色ブロックは、主被写体を構成しないものとして取り扱われる。
【００７８】
また、ここでは、グループ化処理によって形成される肌色ブロックの集合体のグループ情報も生成される。グループ情報とは、肌色ブロックの集合体ごとに生成され、集合体を構成する縦方向及び横方向のブロック数とその集合体の重心位置とを含む情報である。このグループ情報は、後に行われる形状判定処理（ステップＳ２０８）及び顔の特定処理（ステップＳ２０９）において用いられる。
【００７９】
次に、ステップＳ２０８に進み、被写体抽出部４５はステップＳ２０７のグループ化処理によって形成された肌色ブロック集合体の形状判定処理を行う。一般に、画像から肌色グループ集合体を求めると、人物の肌部分だけが抽出される訳ではなく、事実上肌色を示す壁や樹木肌等の人物の肌以外の物体も肌色グループ集合体を形成し得る。また人物の手や足も肌色グループ集合体を形成し得る。そこで、この実施の形態では、被写体抽出部４５においてさらに形状判定処理を行うことで、人物の顔形状に近い形状分布をしている肌色グループ集合体を主被写体として認識するように実現されている。
【００８０】
ここでの形状判定処理は、ステップＳ２０４で設定された縦横比の範囲内に肌色ブロックの集合体が含まれるか否かを判断することにより行われる。具体的には、ステップＳ２０７で生成されたグループ情報に含まれる縦方向及び横方向のブロック数を取得し、肌色ブロック集合体の縦方向及び横方向の縦横比（Ｍ：１）を求める。そしてステップＳ２０４で設定された縦横比がＫ：１である場合、Ｍ≦Ｋの関係が成立すれば、当該肌色ブロック集合体は人物の顔部分を撮影した画像成分であると判断する。
【００８１】
なお、Ｍ≦Ｋの関係だけでは、横方向一列状に分布する肌色ブロック集合体も人物の顔部分であると判断されるので、そのような事態を避けるために、Ｍの値に下限値Ｌを設定してもよい。すなわち、Ｌ≦Ｍ≦Ｋの関係が成立すれば当該肌色ブロック集合体は人物の顔部分を撮影した画像成分であると判断するようにしてもよい。
【００８２】
図１７は、形状判定処理（ステップＳ２０８）において主被写体であると認識される領域を示す図である。なお、図１７では、主被写体であると認識される領域を黒塗りで示している。図１７に示すように、被写体抽出部４５が形状判定処理を行うことにより、人物の顔部分が含まれるブロックが主被写体の領域であるものとして特定されることになる。
【００８３】
次に、ステップＳ２０９に進み、被写体抽出部４５は形状判定処理によって複数の主被写体が特定された場合に、そのうちから一の主被写体を特定するために顔の特定処理、すなわち主被写体の特定処理を行う。被写体抽出部４５には予め画面に対する重み付け係数が設定されており、主被写体として特定された肌色ブロック集合体の重心位置に基づいて当該肌色ブロック集合体についての重み付け係数を特定する。
【００８４】
図１８は画面に対する重み付け係数の一例を示す図である。図１８に示すように画面Ｇ５が複数の領域に分割されており、各領域にその領域の重み付け係数が定義されている。なお、画面Ｇ５のサイズは、画素間引き数に応じて変化し、画素間引き処理後の画像Ｇ１，Ｇ２（図１１参照）の画像サイズと一致するように調整される。そして、肌色ブロック集合体の重心位置が画面Ｇ５のどの位置に位置するかを特定し、その特定結果に基づいて重み付け係数を特定する。例えば、図１７において、主被写体として特定された黒塗りの肌色ブロック集合体について考えると、その重心位置は図１８において位置Ｐ１にあるため、重み付け係数は「１０」と特定される。そして、被写体抽出部４５は、当該肌色ブロック集合体の面積（例えば、肌色ブロック集合体を構成するブロック数）と、特定された重み付け係数の積を算出し、肌色ブロック集合体の主被写体適合値（主被写体らしさを示す値）とする。そして、複数の肌色ブロック集合体のそれぞれについて主被写体適合値を算出すると、各主被写体適合値を比較し、最大値を示す肌色ブロック集合体を主被写体となる人物の顔部分であると認定する。
【００８５】
このように、複数の主被写体が特定された場合には、画面の中央寄りに主被写体がフレーミングされるであろうとの前提にたって、画面上の位置に対する重み付け係数を用いて主被写体適合値を求めることにより、一の主被写体を正確に特定することができる。また、小さく写っている物体よりも大きく写っている物体の方が主被写体である可能性が高いため、重み付け係数を用いた計算を行う際には、肌色ブロック集合体の面積を考慮に入れることにより、正確に主被写体を特定することが可能になる。
【００８６】
なお、最大値を示す主被写体適合値から所定範囲内の値を示す複数の主被写体適合値を採用してもよい。この場合、主被写体領域として複数の領域が特定されることになるので、いわゆるマルチエリアの合焦制御を適用することになる。
【００８７】
以上のようにして主被写体が特定されると、被写体抽出部４５は全体制御部１８に対して主被写体領域を指示することにより、主被写体領域が液晶表示部３３にも表示されることになる（ステップＳ２１０）。これにより、ユーザは、画像のどの部分が主被写体と認識され、合焦制御がなされるかを容易に把握することができる。また、被写体抽出部４５は、上記のような処理を行うことによって特定した主被写体領域を合焦評価領域設定部４１に指示する。
【００８８】
図７のフローチャートに戻り、ステップＳ１０４の被写体抽出処理が終了すると、ステップＳ１０５に進み、合焦評価領域設定部４１は合焦評価部４２が評価値を算出するための合焦評価領域を被写体抽出部４５によって指示された被写体領域に設定変更する。この結果、合焦評価部４２において次回の評価値算出が行われる際には、主被写体の画像成分について評価値算出を行うことが可能になる。
【００８９】
次に合焦制御部４３によって所定ピッチでのフォーカシングレンズ１２のレンズ駆動が行われ（ステップＳ１０６）、そのレンズ位置での画像取り込みが行われて（ステップＳ１０７）、合焦評価部４２による評価値算出処理が行われる（ステップＳ１０８）。ステップＳ１０８において合焦評価部４２は、ステップＳ１０５の合焦評価領域の変更設定処理で設定された合焦評価領域の画像成分に基づいて評価値を算出する。
【００９０】
以後、評価値が最大値（又は最小値）を示すまでステップＳ１０６〜Ｓ１０８の処理を繰り返し、評価値が最大値（又は最小値）を示すレンズ位置を特定することができた場合、すなわちステップＳ１０９において合焦評価領域の合焦状態が実現された場合に、図８のフローチャートに進む。
【００９１】
そして、合焦評価領域の合焦状態が実現された段階で再度被写体抽出処理を実行する（ステップＳ１１０）。ここでの被写体抽出処理（ステップＳ１１０）も、図９を参照して説明した上記ステップＳ１０４の被写体抽出処理と同様である。
【００９２】
ただし、ステップＳ１０４の段階では、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われるため、画素間引き数が大きく、ブロック分割数も少ない状態で被写体抽出処理が行われる。そしてまた、形状判定基準も厳しい状態ではないため、効率的に主被写体であると推定される領域は特定されるが、その精度は低い。そのため、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われ、それによって特定された主被写体領域が合焦状態と判定されたとしても、その合焦評価領域には実際の主被写体が含まれていない可能性がある。
【００９３】
そのため、この実施の形態ではステップＳ１１０において再度被写体抽出処理を行うこととしている。そしてステップＳ１１０の段階では、合焦評価領域の画像成分が合焦状態であると判断された状態であるため、被写体抽出処理において、画素間引き数が小さく、かつ、ブロック分割数が多い状態で被写体抽出処理が行われる。そしてまた、形状判定基準も厳しい状態となるため、主被写体領域を高精度に特定することが可能である。
【００９４】
そして被写体抽出処理（ステップＳ１１０）が行われて、信頼性の高い主被写体領域が特定されると、被写体抽出部４５は前回同様に合焦評価領域設定部４１に対して特定された主被写体領域を指示する。
【００９５】
これにより、合焦評価領域設定部４１は、ステップＳ１０８において採用されていた合焦評価領域と、ステップＳ１１０の被写体抽出処理において特定された被写体領域とが一致するか否かを判断する（ステップＳ１１１）。つまり、この処理は、ステップＳ１０６〜Ｓ１０８の繰り返し処理で評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。その結果、合焦評価領域と、特定された主被写体領域とが一致しない場合には、ステップＳ１０５（図７）に戻り、合焦評価領域設定部４１は合焦評価領域を、ステップＳ１１０の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になり、ステップＳ１０６以降の処理が行われる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ１１２（図８）に進む。
【００９６】
合焦評価領域設定部４１が、合焦評価領域と、特定された主被写体領域とが一致すると判断した場合には、全体制御部１８に対して本撮影動作の許可を行う（ステップＳ１１２）。
【００９７】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する。デジタルカメラ１ではシャッタボタン８の全押し状態が本撮影動作の条件となっているため、シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ１０２（図７）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。
【００９８】
また、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ１１４）、画像処理部３２において所定の画像処理（ステップＳ１１５）を行った後、記録メディア９への記録処理（ステップＳ１１６）が行われる。
【００９９】
以上で、シャッタボタン８が半押し状態とされてから本撮影動作が完了するまでのデジタルカメラ１の処理手順が終了することとなり、本撮影動作においては、主被写体が画像のどの部分に存在する場合であってもその主被写体を合焦状態として撮影することが可能である。
【０１００】
そして、この実施の形態のデジタルカメラ１においては、被写体抽出装置としても機能する主被写体合焦制御部４０が、合焦評価領域の評価結果に基づいて主被写体（特定被写体）の抽出処理を行う際の処理内容を変更し、その処理内容に基づいて画像のうちから主被写体の抽出処理を行うように構成されているため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、被写体抽出の信頼性を重視した処理内容を設定することができる。
【０１０１】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、この実施の形態においても、装置構成については第１の実施の形態で説明したものと同様である（図２等参照）。
【０１０２】
上記第１の実施の形態では、合焦制御部４３が所定ピッチでフォーカシングレンズ１２を段階的に駆動させつつ、合焦評価部４２において各レンズ位置での評価値が算出されるが、被写体抽出処理が実行されるのは、フォーカシングレンズ１２を段階的に駆動させる前と合焦評価領域が合焦状態に達した後である。そのため、フォーカシングレンズ１２を段階的に駆動させる前に実行される被写体抽出処理によって実際には主被写体と全く異なる被写体が主被写体であると特定されていた場合には、その被写体が含まれる合焦評価領域を合焦状態に導くための動作が無駄になる。
【０１０３】
このため、この実施の形態では、フォーカシングレンズ１２を段階的に移動させる最中にも、被写体抽出処理を実行することにより、無駄な動作を省いてさらに効率的に主被写体を正確に合焦状態に導く形態について説明する。
【０１０４】
図１９及び図２０は、第２の実施の形態におけるデジタルカメラ１の処理手順を示すフローチャートであり、特にシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示している。
【０１０５】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ３０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。
【０１０６】
そして合焦制御部４３がレンズ駆動部５０を制御してフォーカシングレンズ１２を最も遠側に移動させる（ステップＳ３０２）。なお、ステップＳ３０２の処理が次回以降実行される場合には、合焦制御部４３がフォーカシングレンズ１２を近側方向に所定ピッチ分移動させる制御動作を行うことになる。
【０１０７】
次に、合焦評価領域の設定処理が行われる（ステップＳ３０３）。合焦評価領域設定部４１は、被写体抽出部４５から主被写体領域が指定されている場合はその指定された主被写体領域を合焦評価領域に設定する。ただし、シャッタボタン８が半押し状態にされてから最初にステップＳ３０３の処理が行われる際には、未だ被写体抽出処理（ステップＳ３０８）は実行されていない。このため、未だ被写体抽出部４５から主被写体領域が指定されていない場合、合焦評価領域設定部４１は画像の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１（図３参照）を評価値算出対象の合焦評価領域として設定する。これに対し、既に被写体抽出処理が何回か実行されている場合には、合焦評価領域設定部４１は前回指定された最新の主被写体領域を評価値算出対象の合焦評価領域として設定する。そして、合焦評価領域設定部４１は合焦評価領域を合焦評価部４２に対して指示する。
【０１０８】
なお、撮影モードとして例えばスナップモードやポートレートモード等のような人物を撮影するためのモードが選択設定されている場合には、シャッタボタン８が半押し状態とされたときに、被写体抽出処理を１回行っておくようにしてもよい。そのような処理手順とすれば、ステップＳ３０３の合焦評価領域の設定処理を行う際には、常に主被写体と推定される領域を合焦評価領域として設定することが可能である。
【０１０９】
そして、全体制御部１８はフォーカシングレンズ１２が現在のレンズ位置にあるときに撮影機能部２０における撮影動作を行わせる。そして、合焦評価部４２は画像メモリ３１に格納された画像を取り込み（ステップＳ３０４）、評価値の算出処理を行う（ステップＳ３０５）。このとき、合焦評価部４２は、ステップＳ３０３において合焦評価領域設定部４１から指定された合焦評価領域の画像成分に基づいて評価値の算出を行い、その結果算出された評価値は合焦制御部４３及び処理内容変更４４に与えられる。
【０１１０】
そして処理内容変更部４４は、被写体抽出処理を実行するか否かの判定を行う（ステップＳ３０６）。この実施の形態では、フォーカシングレンズ１２を所定ピッチで段階的に移動させる際に、各レンズ位置で被写体抽出処理を実行することができるように構成されるが、所定ピッチでのレンズ駆動ごとに毎回被写体抽出処理を実行するように構成すると、主被写体を合焦状態に導くまでに長時間を要することになる。そのため、この実施の形態の処理内容変更部４４は、被写体抽出部４５における処理内容を変更する機能だけでなく、被写体抽出部４５にける被写体抽出処理の実行頻度を調整する機能をも備える。
【０１１１】
処理内容変更部４４が被写体抽出処理の実行頻度を調整する方法には、いくつかの方法がある。まず、第１に、所定ピッチでのフォーカシングレンズ１２のレンズ駆動が所定回数行われるごとに被写体抽出処理を１回実行する方法がある。これにより、レンズ駆動が行われる度に毎回被写体抽出処理が行われることを回避することができるので、効率的な合焦動作を実現することができる。
【０１１２】
また、第２に、合焦評価部４２で求められる評価値を参酌して合焦評価領域の画像成分が合焦状態に近づくにつれて被写体抽出処理の実行頻度を増加させる方法がある。例えば、評価値が合焦位置で最大値を示す場合には、評価値が第１の閾値未満の場合はレンズ駆動が１０回行われるごとに１回被写体抽出処理を実行し、第１の閾値以上第２の閾値未満の場合はレンズ駆動が５回行われるごとに１回被写体抽出処理を実行し、第２の閾値以上の場合はレンズ駆動が２回行われるごとに１回被写体抽出処理を実行するというように、合焦評価部４２における評価結果に基づいて被写体抽出処理の実行頻度を調整するのである。このように構成することにより、合焦評価領域の画像成分が合焦状態に近づくにつれて、主被写体を抽出するための処理が増加する。合焦評価領域の画像成分が合焦状態に近い場合には比較的高精度に主被写体の特定が行われるので、この第２の方法は、主被写体を合焦状態に導くためには効果的な方法となる。
【０１１３】
ただし、処理内容変更部４４が被写体抽出処理の実行頻度を調整する方法は、上記第１又は第２の方法に限定されるものではなく、他の方法を採用してもよい。また、主被写体合焦制御部４０における処理速度が十分に速い場合には、レンズ駆動後の毎回の画像取り込み時に被写体抽出処理を実行するようにしてもよい。
【０１１４】
そして、処理内容変更部４４がレンズ駆動回数をカウントして被写体抽出処理を実行すると判定した場合には、ステップＳ３０８の被写体抽出処理に進む。これに対し、被写体抽出処理を実行しないと判断した場合には、被写体抽出処理（ステップＳ３０８）をスキップさせて合焦判定を行う処理、すなわちステップＳ３１０（図２０のフローチャート）に進むことになる。
【０１１５】
この実施の形態においても、被写体抽出処理（ステップＳ３０８）の詳細は、図９に示すフローチャートと同様である。したがって、合焦評価領域がぼけた状態にあるときは処理効率を重視した被写体抽出処理が行われ、合焦評価領域が合焦状態に近づくにつれて被写体抽出処理によって特定される主被写体の信頼性が向上することになる。
【０１１６】
そして被写体抽出処理（ステップＳ３０８）において主被写体の領域が特定されるとその主被写体領域が被写体抽出部４５から合焦評価領域設定部４１に伝えられる。
【０１１７】
ステップＳ３０９に進み、合焦評価領域設定部４１は、それまでの合焦評価領域と、被写体抽出処理によって特定された主被写体領域とを比較し、両者が一致するか否かを判断する。この処理は、それまで評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。そして、一致しない場合には、ステップＳ３０３に戻り、合焦評価領域設定部４１は以後の合焦評価領域を、ステップＳ３０８の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、前回よりも信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ３１０（図２０）に進む。
【０１１８】
そして合焦制御部４３は、図４に示すような評価値が最大値（又は最小値）を示すレンズ位置ＰＸを特定することができたか否か、すなわち、合焦評価領域の合焦状態が実現されたか否かを判断する。ここで、未だ合焦評価領域の合焦状態が実現されていないと判断された場合には、ステップＳ３０２（図１９）に戻って所定ピッチでのレンズ駆動、評価値算出処理等を繰り返す。その結果、最終的に合焦評価領域の合焦状態が実現された場合には、ステップＳ３１１に進み、全体制御部１８に対して本撮影動作の許可を行う。
【０１１９】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する（ステップＳ３１２）。シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ３０２（図１９）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。なお、このとき、合焦制御部４３は合焦制御を最初から行うことが必要になるので、フォーカシングレンズ１２を最も遠側の位置に移動させることになる。
【０１２０】
これに対し、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ３１３）、画像処理部３２において所定の画像処理（ステップＳ３１４）を行った後、記録メディア９への記録処理（ステップＳ３１５）が行われる。
【０１２１】
以上で、第２の実施の形態のデジタルカメラ１において、シャッタボタン８が半押し状態とされてから本撮影動作が完了するまでの処理手順が終了することとなり、本撮影動作においては、主被写体が画像のどの部分に存在する場合であってもその主被写体を合焦状態として撮影することが可能である。
【０１２２】
そして、この実施の形態のデジタルカメラ１においても、被写体抽出装置としても機能する主被写体合焦制御部４０が、合焦評価領域の評価結果に基づいて主被写体（特定被写体）の抽出処理を行う際の処理内容を変更し、その処理内容に基づいて画像のうちから主被写体の抽出処理を行うように構成されているため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、被写体抽出の信頼性を重視した処理内容を設定することができる。その結果、効率的かつ正確に主被写体を抽出して主被写体の合焦状態を実現することが可能になる。
【０１２３】
また、この実施の形態のデジタルカメラ１では、合焦動作を行うためのレンズ駆動段階でも被写体抽出処理が実行されるように構成されているので、主被写体でない部分を評価対象として合焦動作を進められることが回避されるので、さらに効率的な合焦動作が実現される。
【０１２４】
さらに、合焦評価領域の画像成分が合焦状態に近づくにつれて、被写体抽出処理の実行頻度が増加するように構成することで、より正確に主被写体を抽出することができ、その信頼性の高い主被写体を迅速に合焦状態に導くことが可能になる。
【０１２５】
＜３．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１２６】
例えば、上記説明におけるデジタルカメラには、デジタルスチルカメラとデジタルビデオカメラの双方が含まれる。また、撮影装置の一例としてデジタルカメラ１を例示して述べたが、この発明はデジタルカメラ以外の撮影装置に対しても適用することが可能である。
【０１２７】
また、上記説明においては、いわゆる山登り方式等と呼ばれるような合焦制御を行う場合について述べたが、アクティブ方式や位相差方式等と呼ばれる自動焦点検出方式、さらに複数の測距エリアで測距を行う自動焦点検出方式等の制御方式であっても、この発明を適用することは可能である。
【０１２８】
また、上記説明においては、合焦動作を開始させるタイミングがシャッタボタン８の半押し後である場合について述べたが、それに限定されるものではなく、例えば、ライブビュー画像の表示を行っている状態においても上述した合焦動作を行うようにしてもよい。
【０１２９】
また、上記説明においては、画素間引き数、ブロック分割数、及び形状判定基準と、合焦評価領域のぼけ量とは連続的な関係を示すものであったが、ぼけ量の変化に対して、画素間引き数、ブロック分割数、及び形状判定基準のそれぞれが段階的に変化するようにしてもよい。
【０１３０】
また、上記説明においては、主被写体（すなわち特定被写体）が人物の顔部分である場合について述べた。これは、一般的に写真撮影を行う場合、人物を被写体として撮影することが多いことに鑑みたものであるが、この発明の本質としては、主被写体は人物の顔部分であることに限定されるものではない。このため、主被写体を構成する色成分や形状等に関する情報をユーザが自由に設定入力することができるようにすれば、ユーザが意図する主被写体を適切に特定することが可能になる。また、撮影モードとしてスナップモードやポートレートモード等のような人物を被写体とするモードが選択されている場合に、上述したような人物の顔部分を主被写体として抽出するための処理を行うように構成することも可能である。また逆に、人物の顔部分の抽出によって被写体が風景であることを判別したり、主被写体の肌色ブロック集合体の面積によってスナップやポートレート等であることを判別したりすることができるので、オートシーン判別を行うことが可能である。
【０１３１】
さらに、上記説明においては、被写体抽出処理が主被写体を合焦状態に導くために行われる場合について説明したが、被写体抽出処理の結果によって画像中から主被写体領域が特定されることに鑑みれば、被写体抽出処理を自動合焦制御のために実行するだけでなく、主被写体領域の画像成分に対して特別な画像処理を施すために実行することも可能である。つまり、上述した被写体抽出技術は、主被写体を合焦状態に導くために適用されるものに限定されるものではない。
【０１３２】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、合焦評価領域に含まれる被写体像が合焦状態に近づくにつれて、特定被写体の抽出処理における、画素間引き処理の間引き数を減少させていくように構成されるため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、特定被写体抽出の信頼性を重視した処理内容を設定することができる。また、合焦評価領域のぼけ量に応じて特定被写体の抽出処理の処理内容が変化させることができる。そして、合焦評価領域が合焦状態に近づけば特定被写体を抽出するためのサンプル数が増加するので、高精度に特定被写体の抽出を行うことができる。逆に、合焦評価領域がぼけている場合はサンプル数が少ないので、迅速に特定被写体の抽出処理を行うことができる。その結果、効率的かつ正確に特定被写体を抽出することが可能になる。
【０１３３】
請求項２に記載の発明によれば、合焦評価領域に含まれる被写体像が合焦状態に近づくにつれて、特定被写体の抽出処理における、ブロック分割処理のブロック分割数を増加させていくように構成されるため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、特定被写体抽出の信頼性を重視した処理内容を設定することができる。また、合焦評価領域のぼけ量に応じて特定被写体の抽出処理の処理内容が変化させることができる。そして、合焦評価領域が合焦状態に近づけば特定被写体を抽出するためのブロック数が増加するので、高精度に特定被写体の抽出を行うことができる。逆に、合焦評価領域がぼけている場合はブロック数が少ないので、迅速に特定被写体の抽出処理を行うことができる。その結果、効率的かつ正確に特定被写体を抽出することが可能になる。
【０１３５】
請求項３に記載の発明によれば、合焦評価領域に含まれる被写体像が合焦状態に近づくにつれて、特定被写体の抽出処理の実行頻度を増加させるため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、特定被写体抽出の信頼性を重視した処理内容を設定することができる。つまり、合焦状態に近づくにつれて、高精度な特定被写体の抽出が可能になる。その結果、効率的かつ正確に特定被写体を抽出することが可能になる。
【０１３６】
請求項４に記載の発明によれば、画像の肌色判別を行うことによって特定被写体を抽出するため、人物が被写体である場合に、その人物像を特定被写体として抽出することが可能である。
【０１３７】
請求項５に記載の発明によれば、特定被写体の抽出処理によって抽出される特定被写体の領域と合焦評価領域とが一致しない場合に、合焦評価領域を特定被写体の領域に設定変更するように構成されるため、特定被写体の合焦状態を適切に評価することが可能である。
【０１３８】
請求項６に記載の発明によれば、合焦評価領域に含まれる被写体像が合焦状態に近づくにつれて、画素間引き処理の間引き数を減少させるように、特定被写体の抽出処理を行う際の処理内容を変更し、その変更された処理内容に基づいて画像のうちから特定被写体の抽出処理を行い、それによって抽出される特定被写体の領域を合焦評価領域として設定するように構成されるため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、特定被写体抽出の信頼性を重視した処理内容を設定することができる。その結果、効率的かつ正確に特定被写体を特定してその特定被写体を合焦状態に導くことができる。
【０１３９】
請求項７に記載の発明によれば、合焦評価領域に含まれる被写体像が合焦状態に近づくにつれて、ブロック分割処理のブロック分割数を増加させていくように、特定被写体の抽出処理を行う際の処理内容を変更し、その変更された処理内容に基づいて画像のうちから特定被写体の抽出処理を行い、それによって抽出される特定被写体の領域を合焦評価領域として設定するように構成されるため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、特定被写体抽出の信頼性を重視した処理内容を設定することができる。その結果、効率的かつ正確に特定被写体を特定してその特定被写体を合焦状態に導くことができる。
【０１４１】
請求項８に記載の発明によれば、合焦評価領域に含まれる被写体像が合焦状態に近づくにつれて、特定被写体の抽出処理の実行頻度を増加させていくように、特定被写体の抽出処理を行う際の処理内容を変更し、その変更された処理内容に基づいて画像のうちから特定被写体の抽出処理を行い、それによって抽出される特定被写体の領域を合焦評価領域として設定するように構成されるため、合焦評価領域の画像成分がぼけている場合には、処理効率を重視した処理内容を設定することができ、また、合焦評価領域の画像成分が合焦状態に近い状態にある場合には、特定被写体抽出の信頼性を重視した処理内容を設定することができる。その結果、効率的かつ正確に特定被写体を特定してその特定被写体を合焦状態に導くことができる。
請求項９に記載の発明によれば、特定被写体を抽出した際に、特定被写体の領域と合焦評価領域とが一致する場合に、本撮影を行うための撮影動作を許可するため、特定被写体の合焦状態が評価された状態で適切に本撮影動作を行うことが可能になる。
【図面の簡単な説明】
【図１】撮影装置の一例としてのデジタルカメラを示す斜視図である。
【図２】デジタルカメラの内部構成を示すブロック図である。
【図３】デジタルカメラに予め設定される合焦評価領域の初期状態を示す図である。
【図４】レンズ位置に対する評価値変化の一例を示す図である。
【図５】固定された合焦評価領域で合焦制御を行った場合の撮影画像を示す図である。
【図６】ユーザが撮影を意図する画像を示す図である。
【図７】第１の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図８】第１の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図９】被写体抽出処理の詳細な処理手順を示すフローチャートである。
【図１０】ぼけ量と画素間引き数との関係を示す図である。
【図１１】画素間引き処理の概念を示す図である。
【図１２】ぼけ量とブロック分割数との関係を示す図である。
【図１３】ぼけ量が大きい場合のブロック分割処理の概念を示す図である。
【図１４】ぼけ量が小さい場合のブロック分割処理の概念を示す図である。
【図１５】ぼけ量と、形状判定基準である縦横比との関係を示す図である。
【図１６】ＣＩＥ  １９７６  ＵＣＳ色度図の簡略図である。
【図１７】形状判定処理において主被写体であると認識される領域を示す図である。
【図１８】画面に対する重み付け係数の一例を示す図である。
【図１９】第２の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図２０】第２の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【符号の説明】
１  デジタルカメラ（撮影装置）
８  シャッタボタン
１１  撮影レンズ
１２  フォーカシングレンズ
１８  全体制御部
２０  撮影機能部
３０  ＣＣＤ撮像素子
３１  画像メモリ
４０  主被写体合焦制御部（被写体抽出装置）
４１  合焦評価領域設定部
４２  合焦評価部
４３  合焦制御部
４４  処理内容変更部
４５  被写体抽出部
５０  レンズ駆動部
【図１】
0003760846.tif 000006
【図２】
0003760846.tif 000007
【図３】
0003760846.tif 000008
【図４】
0003760846.tif 000009
【図５】
0003760846.tif 000010
【図６】
0003760846.tif 000011
【図７】
0003760846.tif 000012
【図８】
0003760846.tif 000013
【図９】
0003760846.tif 000014
【図１０】
0003760846.tif 000015
【図１１】
0003760846.tif 000016
【図１２】
0003760846.tif 000017
【図１３】
0003760846.tif 000018
【図１４】
0003760846.tif 000019
【図１５】
0003760846.tif 000020
【図１６】
0003760846.tif 000021
【図１７】
0003760846.tif 000022
【図１８】
0003760846.tif 000023
【図１９】
0003760846.tif 000024
【図２０】
0003760846.tif 000025