(57)【特許請求の範囲】
【請求項１】
画像から特定被写体の検出を行う被写体抽出装置であって、
本撮影動作時の被写体倍率に応じて、前記特定被写体の抽出処理を行う際の前記画像に対する処理内容を変更する処理内容変更手段と、
前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、
を備える被写体抽出装置。
【請求項２】
請求項１に記載の被写体抽出装置において、
前記被写体抽出手段は、前記特定被写体の抽出処理にあたって、画素間引き処理、又は、ブロック分割処理を行うように構成され、
前記処理内容変更手段は、前記画素間引き処理における間引き数、又は、前記ブロック分割処理におけるブロック分割数を前記被写体倍率に応じて変更することを特徴とする被写体抽出装置。
【請求項３】
請求項２に記載の被写体抽出装置において、
前記処理内容変更手段は、前記被写体倍率が小さくなるにつれて、前記間引き数を減少させ、又は前記ブロック分割数を増加させることにより、前記処理内容の変更を行うことを特徴とする被写体抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像から特定被写体を抽出する被写体抽出技術に関する。
【０００２】
【従来の技術】
従来のカメラ等において自動合焦制御（オートフォーカス制御）を行う場合、画面のどの領域で焦点検出を行うかは予め決められていた。例えば、画像の中央に設定された合焦評価領域で自動焦点検出を行ったり、複数の合焦評価領域のうちから最も被写体距離の近い領域を特定し、その領域で自動焦点検出を行っている。
【０００３】
また、画像処理の技術分野では、画像から人物像を検出する技術が提案されている。かかる技術での人物像抽出処理では、常に高精度に人物像の検出を行うことを主眼としているため、対象となる画像がどのような状態の画像であっても、常に高精度に人物像を検出するための処理が行われる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の自動合焦制御においては、予め決められた画面中の領域で自動焦点検出を行うだけであるため、その領域中にユーザの意図する主被写体が含まれていない場合には、ユーザの意図とは異なった領域で焦点検出が行われることとなり、その結果ユーザが撮影したかった主被写体がぼけた画像で撮影されるという問題があった。
【０００５】
また、画像処理の分野で提案されている人物像検出技術を適用して、画像から人物を検出し、その人物像を主被写体と特定して焦点検出を行うことも考えられるが、どのような画像であっても同様に全画面の情報を用いて人物像抽出処理を行うとすると、処理時間が長くなるという問題が発生する。また、その反面、処理効率を重視して粗雑な人物抽出処理を行うと正確な人物検出を行うことが出来なくなるという問題が発生する。
【０００６】
特に、電子カメラ等の撮影装置において、主被写体を検出し、その主被写体が適切に合焦状態となった状態で撮影動作を行うように実現する場合、主被写体を抽出する処理を効率化するだけでなく、同時に正確性を向上させることも望まれる。
【０００７】
そこで、この発明は、上記課題に鑑みてなされたものであって、処理効率が向上するとともに、正確に主被写体を抽出することの可能な被写体抽出装置を提供することを目的とし、また、そのような被写体抽出技術の適用された撮影装置を提供することをも目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、画像から特定被写体の検出を行う被写体抽出装置であって、本撮影動作時の被写体倍率に応じて、前記特定被写体の抽出処理を行う際の前記画像に対する処理内容を変更する処理内容変更手段と、前記処理内容に基づいて前記画像のうちから前記特定被写体の抽出処理を行う被写体抽出手段と、を備えている。
【０００９】
請求項２に記載の発明は、請求項１に記載の被写体抽出装置において、前記被写体抽出手段は、前記特定被写体の抽出処理にあたって、画素間引き処理、又は、ブロック分割処理を行うように構成され、前記処理内容変更手段は、前記画素間引き処理における間引き数、又は、前記ブロック分割処理におけるブロック分割数を前記被写体倍率に応じて変更することを特徴としている。
【００１０】
請求項３に記載の発明は、請求項２に記載の被写体抽出装置において、前記処理内容変更手段は、前記被写体倍率が小さくなるにつれて、前記間引き数を減少させ、又は前記ブロック分割数を増加させることにより、前記処理内容の変更を行うことを特徴としている。
【００１８】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照しつつ詳細に説明する。なお、以下においてはデジタルカメラを例に挙げて説明することとする。
【００１９】
＜１．第１の実施の形態＞
まず、第１の実施の形態について説明する。図１はこの発明にかかる撮影装置の一例としてのデジタルカメラ１を示す斜視図である。図１に示すように、デジタルカメラ１の前面側には、撮影レンズ１１とファインダ窓２とが設けられている。撮影レンズ１１の内側には撮影レンズ１１を介して入射する被写体像を光電変換して画像データ（画素ごとの画素データの配列からなるデータ）を生成するための撮像手段としてＣＣＤ撮像素子３０が設けられている。
【００２０】
撮影レンズ１１には光軸方向に沿って移動可能なフォーカシングレンズが含まれており、フォーカシングレンズを駆動することにより、ＣＣＤ撮像素子３０に結像される画像の合焦状態を可変することができるように構成されている。
【００２１】
また、デジタルカメラ１の上面側には、シャッタボタン８と、カメラ状態表示器１３と、設定キー１４とが配置されている。シャッタボタン８は被写体の撮影を行うときにユーザが押し込み操作するボタンであり、半押し状態と全押し状態との２段階を検知することができるように構成される。カメラ状態表示器１３は例えばセグメント表示タイプの液晶表示器によって構成され、デジタルカメラ１における現在の設定内容等をユーザに示すために設けられている。また、設定キー１４は、被写体に応じた撮影モードの選択設定等を行うためのキースイッチである。
【００２２】
また、デジタルカメラ１の側面部には本撮影動作によって生成される画像データを記録するための記録メディア９を装着する装着部１５が形成されており、メモリカード等のような交換可能な記録メディア９を装着することができる。
【００２３】
なお、図１における図示は省略するが、デジタルカメラ１の背面側には、ＣＣＤ撮像素子３０で撮影された画像等を表示するための液晶表示部が設けられる。
【００２４】
図２はデジタルカメラ１の内部構成を示すブロック図である。なお、図２において実線矢印は制御信号の流れを示しており、斜線地矢印は画像信号の流れを示している。
【００２５】
図２に示すように、デジタルカメラ１は、被写体を撮影する際の撮影機能を実現する撮影機能部２０と、合焦制御時に主被写体（特定被写体）を検出してその主被写体が合焦状態となるような制御を行う主被写体合焦制御部４０と、撮影レンズ１１に含まれるフォーカシングレンズ１２を駆動してＣＣＤ撮像素子３０に結像される画像の合焦状態を変更するレンズ駆動部５０と、上述のシャッタボタン８及び設定キー１４を含む操作部１６と、操作部１６の操作内容に応じて撮影機能部２０及び主被写体合焦制御部４０を制御する全体制御部１８とを備えて構成される。
【００２６】
撮影機能部２０は、撮影レンズ１１、ＣＣＤ撮像素子３０、ＣＣＤ撮像素子３０からの画像データを一時的に格納するための画像メモリ３１、画像メモリ３１から得られる画像データに対して画像圧縮等の所定の画像処理を行う画像処理部３２、画像処理部３２において画像表示用の画像処理が施された表示用画像を表示する液晶表示部３３、及び、画像処理部３２において画像記録用の画像処理が施された撮影画像を記録する記録メディア９を備えて構成される。
【００２７】
撮影機能部２０は、全体制御部１８の制御によって、本撮影前にライブビュー画像を液晶表示部３３に表示させるためのライブビュー動作と、シャッタボタン８が全押しされたときに記録メディア９に記録するための画像撮影を行う本撮影動作とを行うように構成される。また、液晶表示部３３がオフ状態であったとしても、少なくとも合焦制御時にはＣＣＤ撮像素子３０による撮影動作が行われる。
【００２８】
また、主被写体合焦制御部４０は、画像全体における合焦状態を評価するための合焦評価領域を設定する合焦評価領域設定部４１、画像メモリ３１から画像データを取り込み、合焦評価領域設定部４１から指定される合焦評価領域の部分画像データから合焦状態を評価するための評価値を求める合焦評価部４２、合焦評価部４２で求められる評価値に基づいてレンズ駆動部５０に駆動信号を与え、合焦評価領域の被写体像を合焦状態に導く合焦制御部４３、被写体倍率に応じて被写体抽出部４５における設定状態を変更する処理内容変更部４４、及び、画像メモリ３１から画像データを取り込み、処理内容変更部４４から設定される処理内容に基づいて主被写体（特定被写体）の抽出処理を行う被写体抽出部４５、を備えて構成される。
【００２９】
全体制御部１８は、例えばシャッタボタン８が半押し状態にされたときに主被写体が適切な合焦状態となるように主被写体合焦制御部４０を機能させ、全押し状態にされたときに撮影機能部２０において本撮影動作を行うように制御する。また、全体制御部１８は本撮影前にはライブビュー動作として撮影機能部２０において逐次画像撮影を行わせ、逐次更新される画像を液晶表示部３３に表示させたり、主被写体合焦制御部４０に与えるように制御する。
【００３０】
レンズ駆動部５０は合焦制御動作時に合焦制御部４３から与えられる駆動信号に基づいてフォーカシングレンズ１２を遠側から近側に向けて所定ピッチで移動させ、ＣＣＤ撮像素子３０に結像される画像の合焦状態を変化させる。そして、主被写体合焦制御部４０において主被写体が合焦状態となるレンズ位置（合焦位置）が特定され、合焦制御部４３よりそのレンズ位置が指定された場合には、レンズ駆動部５０はその指定されたレンズ位置にフォーカシングレンズ１２を移動させて主被写体が合焦した状態の画像をＣＣＤ撮像素子３０に結像させる。
【００３１】
図３はデジタルカメラ１に予め設定される合焦評価領域の初期状態を示す図である。図３に示すように、合焦評価領域設定部４１には、合焦評価領域の初期状態として、画像メモリ３１から取得する画像Ｇ１のほぼ中央部分に合焦評価領域ＦＲ１が設定されており、主被写体合焦制御部４０が機能して最初の合焦評価を行う際には、合焦評価領域設定部４１は図３に示す合焦評価領域ＦＲ１の位置及びサイズを合焦評価部４２に指示する。
【００３２】
合焦評価部４２は、画像メモリ３１から画像Ｇ１を取得し、そのうちから合焦評価領域ＦＲ１についての画像成分を抽出する。そして、合焦評価領域ＦＲ１の画像成分の合焦状態を評価するための評価値を求める。評価値の算出方法には、いくつかの方法がある。例えば、第１の方法として、合焦評価領域ＦＲ１に含まれる画像成分をバンドパスフィルタに通し、それによって抽出される画像信号の高周波成分の強度を評価値とする方法があり、また、第２の方法として、合焦評価領域ＦＲ１に含まれる画像成分の隣接画素間での輝度値の差分値を求め、その差分値を合焦評価領域ＦＲ１内で累積した値を評価値とする方法がある。また、第３の方法として、合焦評価領域ＦＲ１に含まれる画像成分に対して微分フィルタ等を用いたエッジ抽出処理を施し、その結果抽出されるエッジの幅（ぼけ幅）を評価値とする方法もある。
【００３３】
第１及び第２の方法は、被写体を撮影した場合、画像がぼけている状態では高周波成分のレベルは小さく、また隣接画素間の輝度差の累積値も小さなものとなるのに対し、焦点が合ってくる（合焦状態に近づく）にしたがって高周波成分のレベルは大きく、また隣接画素間の輝度差の累積値も大きなものとなることを検出する方法である。
【００３４】
このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第１及び第２の方法で得られる評価値は、図４に示すように変化する。フォーカシングレンズ１２を移動させつつ、各レンズ位置で撮影された画像から評価値を求めると、図４に示すように評価値が変化し、レンズ位置ＰＸで評価値が最大値を示す。このため、フォーカシングレンズ１２をレンズ位置ＰＸに移動させれば、合焦評価領域ＦＲ１に含まれる画像成分が合焦状態になると判明し、合焦制御部４３がフォーカシングレンズ１２をレンズ位置ＰＸに移動させて合焦状態を実現する。
【００３５】
一方、第３の方法は、被写体を撮影した場合、画像がぼけている状態ではエッジ幅は大きくなるのに対し、焦点が合ってくるにしたがってエッジ幅が小さくなることを検出する方法である。このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第３の方法で得られる評価値は、合焦位置で最小値を示すこととなり、合焦制御部４３がその最小値を示すレンズ位置にフォーカシングレンズ１２を移動させて合焦状態を実現する。
【００３６】
なお、合焦評価部４２において適用される評価値の算出方法は、上記第１乃至第３の方法のいずれを採用してもよく、またその他の算出方法を採用してもよい。ところで、合焦評価領域ＦＲ１が画像Ｇ１に対して常に固定された領域に設定されると、上述したようにその合焦評価領域ＦＲ１中にユーザの意図する主被写体が含まれていない場合には、ユーザの意図とは異なった領域で焦点検出が行われることとなり、その結果ユーザが撮影したかった主被写体がぼけた画像で撮影される。
【００３７】
そのため、この実施の形態のデジタルカメラ１では、被写体抽出部４５が画像メモリ３１から画像を取得してその画像のうちから主被写体を抽出する処理を行う。そして、合焦評価領域設定部４１が主被写体であると判断された画像部分に合焦評価領域を変更設定し、合焦評価部４２はその主被写体が含まれる合焦評価領域について評価値の算出を行う。すなわち、合焦評価領域が、初期状態の領域から主被写体として認識された画像領域に修正され、その主被写体の被写体像が合焦状態となるように合焦制御が行われる。
【００３８】
これにより、本撮影動作が行われると、主被写体が合焦状態となった適切な画像が撮影されることになる。
【００３９】
しかし、撮影時の被写体倍率が異なると、画像に含まれる主被写体のサイズが変化するため、主被写体を良好に検出することができなくなる場合がある。例えば、被写体倍率が小さい場合には、一般的に画像に含まれる主被写体のサイズは小さくなり、緻密な被写体抽出処理を行わないと、良好に主被写体を検出することができない。一方、被写体倍率が大きい場合には、一般的に画像に含まれる主被写体のサイズは大きくなるため、比較的粗雑な被写体抽出処理を行ったとしても、良好に主被写体を検出することは可能である。
【００４０】
図５は被写体倍率が小さい場合の撮影画像を示す図である。図５に示すように、被写体倍率が小さい場合、画像全体に占める主被写体（この実施の形態では人物の顔部分）のサイズが小さくなる。このため、画像を構成する複数の画素のうち、多くの画素を評価しなければ、主被写体を精度良く検出することができない。
【００４１】
これに対し、図６は被写体倍率が大きい場合の撮影画像を示す図である。図６に示すように、被写体倍率が大きい場合、画像全体に占める主被写体のサイズが大きくなる。このため、画像を構成する複数の画素のうち、比較的少ない画素を評価するだけでも主被写体を精度良く検出することが可能である。
【００４２】
そのため、この実施の形態では、被写体倍率が小さい場合には、比較的緻密な被写体抽出処理を行うことで主被写体を高精度に特定するように構成され、被写体倍率が大きい場合には、比較的粗雑な被写体抽出処理を行うことで主被写体を抽出するための処理効率を向上させるように構成される。すなわち、被写体倍率に応じた被写体抽出処理を行うように構成されるのである。
【００４３】
具体的には、処理内容変更部４４は、合焦制御部４３からフォーカシングレンズ１２のレンズ位置に関する情報、及び合焦評価領域の合焦状態に関する情報を入力し、全体制御部１８から撮影レンズ１１の焦点距離情報及び撮影モード情報を入力する。そして、処理内容変更部４４は、それらの情報に基づいて被写体倍率を求め、その被写体倍率に応じて被写体抽出部４５における処理内容を決定する。
【００４４】
被写体抽出部４５においては、画像の肌色成分を抽出してその肌色成分が分布する領域を主被写体領域として認識するような被写体抽出処理が行われるが、処理内容変更部４４はこのときの評価対象とする画素数を被写体倍率に応じて変化させる。また、被写体抽出部４５においては、画像のブロック分割を行って肌色ブロックが集合した状態の形状判定を行うことで被写体抽出処理が行われるが、処理内容変更部４４はそのときの評価対象とするブロック数を被写体倍率に応じて変化させたり、また、形状判定における形状判定基準を被写体倍率に応じて変化させる。つまり、被写体倍率が大きな状態にあるときには比較的粗雑な被写体抽出処理を行って効率的に主被写体を抽出するように設定変更し、被写体倍率が小さな状態にあるときには緻密な被写体抽出処理を行って高精度な被写体抽出処理を行うように設定変更するのである。そして、被写体抽出部４５は、被写体倍率に応じて決定された処理内容に基づいて、画像メモリ３１から得られる画像から主被写体の抽出処理を行う。
【００４５】
これにより、被写体倍率が比較的大きいときは効率的に主被写体を抽出することができ、被写体倍率が比較的小さいときは高精度に主被写体を抽出することができる。なお、被写体倍率が小さいときは精細な被写体抽出処理が行われるので被写体倍率が大きいときに比べて処理効率は低下するが、被写体倍率が大きいときには処理効率が向上するので、いかなる場合にも同様の精細な被写体抽出処理を行う場合に比して、デジタルカメラ１の全体的な処理効率が向上することは明らかである。
【００４６】
以下、この実施の形態におけるデジタルカメラ１の処理手順について説明する。図７乃至図１０は、第１の実施の形態におけるデジタルカメラ１の処理手順を示すフローチャートであり、特に図７及び図８はシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示しており、また、図９及び図１０は被写体抽出処理の詳細な処理手順を示しており、そのうち図１０は特に被写体倍率検出処理の詳細な処理手順を示している。
【００４７】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ１０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。このとき、全体制御部１８は主被写体合焦制御部４０によってフォーカシングレンズ１２を最も遠側に移動させるとともに、撮影機能部２０を制御してフォーカシングレンズ１２が最も遠側に移動した状態で画像撮影を行わせる。
【００４８】
そして、主被写体合焦制御部４０は画像メモリ３１に格納された画像を取り込み（ステップＳ１０２）、評価値の算出処理を行う（ステップＳ１０３）。このとき、合焦評価領域設定部４１は、画像Ｇ１の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１を評価値算出対象の合焦評価領域とすべきことを合焦評価部４２に対して指示する。合焦評価部４２では、ほぼ画面中央に設定される合焦評価領域ＦＲ１（図３参照）に含まれる画像成分に基づいて評価値の算出が行われ、算出された評価値は合焦制御部４３に与えられる。
【００４９】
そして処理内容変更部４４及び被写体抽出部４５が機能し、被写体抽出処理が行われる（ステップＳ１０４）。
【００５０】
図９のフローチャートを参照する。被写体抽出処理（ステップＳ１０４）に進むと、まず、処理内容変更部４４は被写体倍率検出処理を行う（ステップＳ４０１）。
【００５１】
図１０のフローチャートを参照する。被写体倍率検出処理（ステップＳ４０１）に進むと、処理内容変更部４４は、まず、合焦制御部４３から合焦評価領域の合焦状態に関する情報を入力し、合焦評価領域の合焦状態が実現されているか否かを判断する（ステップＳ４２０）。ただし、このときの合焦評価領域の合焦状態は、完全な合焦状態である必要はなく、例えば図４に示す評価値がある閾値以上を示していれば、ステップＳ４２０の判断においてＹＥＳと判断される。
【００５２】
そして合焦評価領域の合焦状態が実現されている場合はステップＳ４２１に進み、処理内容変更部４４は合焦制御部４３から現在のフォーカシングレンズ１２のレンズ位置に関する情報を入力し、それによってフォーカシングレンズ１２のレンズ位置を検出する（ステップＳ４２１）。
【００５３】
次にステップＳ４２２に進み、処理内容変更部４４は全体制御部１８から撮影レンズ１１の焦点距離に関する情報を入力し、それによって撮影レンズ１１の焦点距離を検出する。なお、撮影レンズ１１がズームレンズ等の焦点距離可変である場合は、その時点で設定されている焦点距離が検出されることになる。
【００５４】
そして処理内容変更部４４は被写体倍率の算出処理を行う（ステップＳ４２３）。一般に被写体倍率βは、フォーカシングレンズ１２のレンズ位置ｘ及び撮影レンズ１１の焦点距離ｆから、以下の式によって求めることができる。
【００５５】
【数１】
0004053764.tif 000002
【００５６】
ところが、上記数１の式によって被写体倍率βが適切に求められるのは、合焦評価領域がほぼ合焦状態にある場合である。すなわち、上記数１の式におけるフォーカシングレンズ１２のレンズ位置ｘは合焦状態におけるレンズ位置である。ところが、最初に被写体抽出処理が実行されるときには、未だ合焦評価領域は合焦状態にあるとは言えず、むしろ合焦位置から遠く離れたレンズ位置にフォーカシングレンズ１２が位置する場合が多いと考えられる。そのような場合には、処理内容変更部４４が合焦制御部４３から入力するフォーカシングレンズ１２のレンズ位置を上記数１の式に代入して演算を行ったとしても、それによって求められる被写体倍率βは正確なものではない。
【００５７】
そこで、この実施の形態では、ステップＳ４２０において合焦評価領域の合焦状態が実現されているか否かを処理内容変更部４４が判定し、ほぼ合焦状態が実現されていると判断した場合には、ステップＳ４２１，Ｓ４２２，Ｓ４２３の処理を行うことで、数１の式による演算を行い、被写体倍率βを正確に求めるように構成される。一方、ステップＳ４２０において処理内容変更部４４が合焦評価領域の合焦状態が実現されていないと判断した場合には、厳密な被写体距離を求めることができないので、ステップＳ４２４，Ｓ４２５，Ｓ４２６の処理によって被写体距離を推定するための処理に進むことになる。
【００５８】
デジタルカメラ１には複数の撮影モードが用意されており、ユーザは撮影前に撮影シーンに応じて複数の撮影モードのうちから所望する撮影モードを設定キー１４より選択設定する。その選択設定された撮影モードに関する撮影モード情報は全体制御部１８より、処理内容変更部４４に与えられ、処理内容変更部４４はその撮影モード情報に応じて被写体倍率を推定する。
【００５９】
例えば、撮影モードには、ポートレートモード、スナップモード、風景モード等がある。このうちポートレートモードは人物像を画面中に所定サイズ以上で撮影するモードである。
【００６０】
このため、処理内容変更部４４は、撮影モードがポートレートモードの場合には被写体倍率が比較的大きいと考えられるため、被写体倍率を所定値ＭＡに設定する。これに対し、他の撮影モードの場合には人物像は画面中に比較的小さいサイズで含まれると考えられるため、被写体倍率を所定値ＭＢに設定する。なお、所定値ＭＡ，ＭＢの関係はＭＡ＞ＭＢである。
【００６１】
このようにして被写体倍率が検出されると、図１０に示すフローチャートの処理手順を終了する。
【００６２】
なお、図１０の被写体倍率検出処理では、合焦評価領域の合焦状態が実現されていない場合に撮影モードから被写体倍率の推定を行う例を示したが、デジタルカメラ１においてアクティブ方式や位相差方式等の自動焦点検出機構が設けられている場合には、それらの機能によって被写体距離を検知することができるので、その被写体距離を用いて被写体倍率を算出するようにしてもよい。この場合、被写体倍率βは、撮影レンズ１１の焦点距離ｆ及び被写体距離ｄから、
【００６３】
【数２】
0004053764.tif 000003
【００６４】
の式によって求めることができる。
【００６５】
次に、図９のフローチャートのステップＳ４０２に進む。
【００６６】
被写体抽出部４５は、主被写体を抽出する処理の前処理として画素間引き処理とブロック分割処理とを行い、実際に主被写体を抽出する処理として色判定処理と形状判定処理とを行うように構成されている。そして処理内容変更部４４は、画素間引き処理における画素間引き数、ブロック分割処理におけるブロック分割数、及び、形状判定処理における形状判定基準を、ステップＳ４０１で求められた被写体倍率に応じて変更する。
【００６７】
まず、処理内容変更部４４は、被写体倍率に応じて画素間引き数を設定する（ステップＳ４０２）。図１１は、被写体倍率と画素間引き数との関係を示す図である。図１１に示すように、被写体倍率と画素間引き数との関係は被写体倍率の増加に比例して画素間引き数が増加するように設定されている。つまり、被写体倍率が小さく、画像中に占める主被写体の画像成分が比較的小さく写っている場合には、画素間引き数は小さな値に設定される。逆に、被写体倍率が大きく、画像中に占める主被写体の画像成分が比較的大きく写っている場合には、画素間引き数は大きな値に設定される。
【００６８】
そしてステップＳ４０２においては、さらに処理内容変更部４４で設定される画素間引き数が被写体抽出部４５に指示され、その指示された画素間引き数に基づいて、被写体抽出部４５が画像メモリ３１から得られる画像に対して画素間引き処理を実行する。
【００６９】
図１２は画素間引き処理の概念を示す図である。図１２に示すように、被写体倍率が大きいときには、画素間引き数が大きな値に設定されるので、画像Ｇ１（画像メモリ３１から得られるオリジナル画像）から間引かれる画素数が多くなり、画像サイズの比較的小さな画像Ｇ２が得られる。これに対し、被写体倍率が小さいときには、画素間引き数が小さな値に設定されるので、画像Ｇ１から間引かれる画素数が少なくなり、画像サイズの比較的大きな画像Ｇ３が得られる。
【００７０】
このように被写体抽出部４５において、肌色判定処理等の主被写体を抽出する処理を行う前に処理対象となる画像の画像サイズを変更しておくことで、被写体倍率が大きい状態にあるときには、効率的に主被写体の抽出を行うことが可能になる一方、被写体倍率が小さい状態にあるときには、正確に主被写体の抽出を行うことが可能になる。
【００７１】
次に、処理内容変更部４４は、被写体倍率に応じてブロック分割数を設定する（ステップＳ４０３）。図１３は、被写体倍率とブロック分割数との関係を示す図である。図１３に示すように、被写体倍率とブロック分割数との関係は被写体倍率に比例してブロック分割数が減少するように設定されている。つまり、被写体倍率が小さく、画像中に占める主被写体の画像成分が比較的小さく写っている場合には、ブロック分割数は大きな値に設定される。逆に、被写体倍率が大きく、画像中に占める主被写体の画像成分が比較的大きく写っている場合には、ブロック分割数は小さな値に設定される。
【００７２】
そしてステップＳ４０３においては、さらに処理内容変更部４４で設定されるブロック分割数が被写体抽出部４５に指示され、その指示されたブロック分割数に基づいて、被写体抽出部４５が画素間引き処理によって画像サイズの変更された画像に対してブロック分割処理を実行する。
【００７３】
図１４及び図１５はブロック分割処理の概念を示す図であり、図１４は被写体倍率が大きい場合を示しており、図１５は被写体倍率が小さい場合、すなわち画像中の主被写体が占める割合が小さい場合を示している。
【００７４】
図１４及び図１５に示すように、被写体倍率が大きいときには、被写体抽出部４５において比較的少ない数のブロックが生成されるようにブロック分割処理が行われ、被写体倍率が小さいときには、被写体抽出部４５において比較的多く数のブロックが生成されるようにブロック分割処理が行われる。
【００７５】
このように被写体抽出部４５において、肌色判定処理等の主被写体を抽出する処理を行う前に処理対象となる画像をブロック分割しておくことで、後述するグループ化処理（ステップＳ４０７）以降の処理においてブロック単位で処理を行うことが可能となり、処理の効率化を図ることができる。特に、被写体倍率が比較的大きい状態にあるときに、ブロック分割数を少なくすることで効率的に主被写体の抽出を行うことが可能になる一方、被写体倍率が比較的小さい状態にあるときにはブロック分割数を増加させて正確に主被写体の抽出を行うことが可能になる。
【００７６】
次に、処理内容変更部４４は、被写体倍率に応じて形状判定基準を設定する（ステップＳ４０４）。例えば、この実施の形態において被写体抽出部４５は、肌色ブロックの集合体が、人物の顔形状に類似した形状を有しているか否かを判断するように構成されている。具体的には、形状判定基準となる基準形状の縦横比を設定し、肌色ブロックの集合体がその縦横比の範囲内に収まっているか否かを判断し、収まっている場合には、その肌色ブロックの集合体を主被写体として特定する。そのため、処理内容変更部４４は、被写体倍率に応じて形状判定基準となる縦横比を設定し、それを被写体抽出部４５に指示する。なお、ここでの縦横比とは、肌色ブロックの集合体の横方向の分布長さを１としたときの縦方向の分布長さの比をいう。
【００７７】
図１６は、被写体倍率と縦横比との関係を示す図である。図１６に示すように、被写体倍率と縦横比との関係は被写体倍率に比例して縦横比が増加するように設定されている。つまり、被写体倍率が小さい場合には、ブロックの集合体の横方向の分布長さを１としたときの縦方向の分布長さの比が小さくなるように設定されるのに対し、被写体倍率が大きい場合には、ブロックの集合体の横方向の分布長さを１としたときの縦方向の分布長さの比が大きくなるように設定される。
【００７８】
なお、人物の顔形状を主被写体として特定する場合、縦横比の最小値は、縦：横＝１．５：１程度とすることが好ましく、また、その最大値は、縦：横＝２：１程度とすることが好ましい。このように設定することで、被写体倍率が比較的小さい状態にあるときでも、被写体抽出部４５において顔形状の判定を行うことができるとともに、被写体倍率が大きい状態にあるときでも顔形状の判定を行うことができる。
【００７９】
なお、被写体倍率にかかわらず、常に一定の判定基準を適用して顔形状の判定を行うように構成してもよい。
【００８０】
次に、ステップＳ４０５に進み、被写体抽出部４５は画素間引き処理された画像から肌色画素を抽出する肌色画素抽出処理を行う。換言すれば、この肌色画素抽出処理は色判定処理を行うことである。肌色画素抽出処理においては、画素データのＲＧＢ値から輝度の影響を受けない色度ｕ’，ｖ’を算出し、色度ｕ’，ｖ’が「ＣＩＥ  １９７６  ＵＣＳ色度図」の特定領域内にあるか否かで肌色画素の抽出が行われる。なお、ある画素のＲＧＢ値から色度ｕ’，ｖ’を算出する際には、以下の数３及び数４の式で算出することができる。
【００８１】
【数３】
0004053764.tif 000004
【００８２】
【数４】
0004053764.tif 000005
【００８３】
図１７は、「ＣＩＥ  １９７６  ＵＣＳ色度図」の簡略図である。図１７において領域ＲＨは予め計測等によって設定される肌色領域である。このため、上記数３及び数４の式によって求められる色度ｕ’，ｖ’を次の条件式にあてはめれば各画素が肌色画素であるか否かを判定することができる。
【００８４】
【数５】
0004053764.tif 000006
【００８５】
【数６】
0004053764.tif 000007
【００８６】
すなわち、上記数３の式によって算出される色度ｕ’が上記数５の条件式を満たし、かつ、上記数４の式によって算出される色度ｖ’が上記数６の条件式を満たす場合には、当該画素は肌色画素であることが判明する。そしてＵＣＳ色度図を利用して肌色画素を特定することにより、輝度値の影響を受けることがなく、正確に肌色画素の特定を行うことが可能になるとともに、ＲＧＢ値から色度ｕ’，ｖ’への変換が比較的簡単な演算であるため、効率的に演算処理を行うことも可能である。
【００８７】
なお、図１７においては一例として肌色領域ＲＨが四角形の領域として定義される場合を例示したが、例えばＵＣＳ色度図のｕ’ｖ’空間において台形や楕円形の肌色領域を設定するようにしてもよい。
【００８８】
そして、この肌色画素抽出処理を画素ごとに行う場合、上述したように被写体倍率が大きい状態にあるときには、画像サイズが小さく画素数が比較的少ないので、迅速に肌色画素の抽出処理を行うことが可能である。これに対し、被写体倍率が小さい状態にあるときには、画像サイズが大きく画素数が比較的多いので、サンプル数が増加し、正確に被写体抽出を行うことが可能になる。
【００８９】
次に、ステップＳ４０６に進み、被写体抽出部４５は肌色ブロック抽出処理を行う。ここではステップＳ４０３のブロック分割処理によって分割された個々のブロックごとに肌色画素が所定割合以上含まれているか否かを判断し、所定割合以上肌色画素が含まれている場合に当該ブロックを肌色ブロックとして特定する。これに対し、１個のブロック中に含まれる肌色画素数が所定割合未満である場合には、そのブロックは肌色ブロックとしては抽出されず、主被写体を構成するものでないと判断される。
【００９０】
このように肌色ブロックを抽出し、以後の処理をブロック単位で実行していくことにより、画素単位で処理を進めていく場合に比べて処理速度の高速化を図ることができる。特にデジタルカメラ１の場合にはシャッタボタン８が半押し状態とされると、シャッタチャンスを逃さないためにも迅速に主被写体を合焦状態に導くことが求められるため、上記のようなブロック単位ごとの処理とすることは重要な意義を有する。また同時に、所定割合の肌色画素が存在するブロックを肌色ブロックとするため、肌色ブロックの信頼性を高めることにもなる。
【００９１】
また、被写体倍率が大きい状態にあるときには、ブロック分割数は比較的少なく、その結果肌色ブロックとして特定されるブロックも少なくなるので、以後の処理をさらに効率的に行うことが可能である。
【００９２】
これに対し、被写体倍率が小さい状態にあるときには、ブロック分割数は比較的多く、その結果肌色ブロックとして特定されるブロック数も多くなるので、以後の形状判定等の処理においても正確に主被写体を抽出することが可能になる。すなわち、被写体倍率が小さい場合（画像中に主被写体が小さく写っている場合）でも、ブロック数が多いので、主被写体を複数のブロックがカバーすることとなるので、肌色ブロックを良好に認識することができ、主被写体を正確に抽出することが可能になるのである。
【００９３】
次に、ステップＳ４０７に進み、被写体抽出部４５は肌色ブロックとして特定されたブロックのグループ化処理を行う。グループ化とは、縦方向又は横方向に連続して分布する肌色ブロックを連結して肌色ブロックの集合体を形成させる処理である。このため、１個の肌色ブロックが他の肌色ブロックに接することなく孤立して存在する場合には、当該肌色ブロックはグループ化処理によって肌色ブロックの集合体形成から排除される。換言すれば、このグループ化処理により、主被写体としてありえないような小さな肌色ブロックは、主被写体を構成しないものとして取り扱われる。
【００９４】
また、ここでは、グループ化処理によって形成される肌色ブロックの集合体のグループ情報も生成される。グループ情報とは、肌色ブロックの集合体ごとに生成され、集合体を構成する縦方向及び横方向のブロック数とその集合体の重心位置とを含む情報である。このグループ情報は、後に行われる形状判定処理（ステップＳ４０８）及び顔の特定処理（ステップＳ４０９）において用いられる。
【００９５】
次に、ステップＳ４０８に進み、被写体抽出部４５はステップＳ４０７のグループ化処理によって形成された肌色ブロック集合体の形状判定処理を行う。一般に、画像から肌色ブロック集合体を求めると、人物の肌部分だけが抽出される訳ではなく、事実上肌色を示す壁や樹木肌等の人物の肌以外の物体も肌色ブロック集合体を形成し得る。また人物の手や足も肌色ブロック集合体を形成し得る。そこで、この実施の形態では、被写体抽出部４５においてさらに形状判定処理を行うことで、人物の顔形状に近い形状分布をしている肌色グループ集合体を主被写体として認識するように実現されている。
【００９６】
ここでの形状判定処理は、ステップＳ４０４で設定された縦横比の範囲内に肌色ブロックの集合体が含まれるか否かを判断することにより行われる。具体的には、ステップＳ４０７で生成されたグループ情報に含まれる縦方向及び横方向のブロック数を取得し、肌色ブロック集合体の縦方向及び横方向の縦横比（Ｍ：１）を求める。そしてステップＳ４０４で設定された縦横比がＫ：１である場合、Ｍ≦Ｋの関係が成立すれば、当該肌色ブロック集合体は人物の顔部分を撮影した画像成分であると判断する。
【００９７】
なお、Ｍ≦Ｋの関係だけでは、横方向一列状に分布する肌色ブロック集合体も人物の顔部分であると判断されるので、そのような事態を避けるために、Ｍの値に下限値Ｌを設定してもよい。すなわち、Ｌ≦Ｍ≦Ｋの関係が成立すれば当該肌色ブロック集合体は人物の顔部分を撮影した画像成分であると判断するようにしてもよい。
【００９８】
図１８は、形状判定処理（ステップＳ４０８）において主被写体であると認識される領域を示す図である。なお、図１８では、主被写体であると認識される領域を黒塗りで示している。図１８に示すように、被写体抽出部４５が形状判定処理を行うことにより、人物の顔部分が含まれるブロックが主被写体の領域であるものとして特定されることになる。
【００９９】
次に、ステップＳ４０９に進み、被写体抽出部４５は形状判定処理によって複数の主被写体が特定された場合に、そのうちから一の主被写体を特定するために顔の特定処理、すなわち主被写体の特定処理を行う。被写体抽出部４５には予め画面に対する重み付け係数が設定されており、主被写体として特定された肌色ブロック集合体の重心位置に基づいて当該肌色ブロック集合体についての重み付け係数を特定する。
【０１００】
図１９は画面に対する重み付け係数の一例を示す図である。図１９に示すように画面Ｇ５が複数の領域に分割されており、各領域にその領域の重み付け係数が定義されている。なお、画面Ｇ５のサイズは、画素間引き数に応じて変化し、画素間引き処理後の画像Ｇ２，Ｇ３（図１２参照）の画像サイズと一致するように調整される。そして、肌色ブロック集合体の重心位置が画面Ｇ５のどの位置に位置するかを特定し、その特定結果に基づいて重み付け係数を特定する。例えば、図１８において、主被写体として特定された黒塗りの肌色ブロック集合体について考えると、その重心位置は図１９において位置Ｐ１にあるため、重み付け係数は「１０」と特定される。そして、被写体抽出部４５は、当該肌色ブロック集合体の面積（例えば、肌色ブロック集合体を構成するブロック数）と、特定された重み付け係数の積を算出し、肌色ブロック集合体の主被写体適合値（主被写体らしさを示す値）とする。そして、複数の肌色ブロック集合体のそれぞれについて主被写体適合値を算出すると、各主被写体適合値を比較し、最大値を示す肌色ブロック集合体を主被写体となる人物の顔部分であると認定する。
【０１０１】
このように、複数の主被写体が特定された場合には、画面の中央寄りに主被写体がフレーミングされるであろうとの前提にたって、画面上の位置に対する重み付け係数を用いて主被写体適合値を求めることにより、一の主被写体を正確に特定することができる。また、小さく写っている物体よりも大きく写っている物体の方が主被写体である可能性が高いため、重み付け係数を用いた計算を行う際には、肌色ブロック集合体の面積を考慮に入れることにより、正確に主被写体を特定することが可能になる。
【０１０２】
なお、最大値を示す主被写体適合値から所定範囲内の値を示す複数の主被写体適合値を採用してもよい。この場合、主被写体領域として複数の領域が特定されることになるので、いわゆるマルチエリアの合焦制御を適用することになる。
【０１０３】
以上のようにして主被写体が特定されると、被写体抽出部４５は全体制御部１８に対して主被写体領域を指示することにより、全体制御部１８が液晶表示部３３の表示状態を更新し、主被写体領域が液晶表示部３３にも表示されることになる（ステップＳ４１０）。例えば、特定された主被写体領域を赤線枠で囲むような表示が行われる。これにより、ユーザは、画像のどの部分が主被写体と認識され、合焦制御がなされるかを容易に把握することができる。また、被写体抽出部４５は、上記のような処理を行うことによって特定した主被写体領域を合焦評価領域設定部４１に指示する。
【０１０４】
図７のフローチャートに戻り、ステップＳ１０４の被写体抽出処理が終了すると、ステップＳ１０５に進む。そして合焦評価領域設定部４１は合焦評価部４２が評価値を算出するための合焦評価領域を被写体抽出部４５によって指示された被写体領域に設定変更する。この結果、合焦評価部４２において次回の評価値算出が行われる際には、主被写体の画像成分について評価値算出を行うことが可能になる。
【０１０５】
次に合焦制御部４３によって所定ピッチでのフォーカシングレンズ１２のレンズ駆動が行われ（ステップＳ１０６）、そのレンズ位置での画像取り込みが行われて（ステップＳ１０７）、合焦評価部４２による評価値算出処理が行われる（ステップＳ１０８）。ステップＳ１０８において合焦評価部４２は、ステップＳ１０５の合焦評価領域の変更設定処理で設定された合焦評価領域の画像成分に基づいて評価値を算出する。
【０１０６】
以後、評価値が最大値（又は最小値）を示すまでステップＳ１０６〜Ｓ１０８の処理を繰り返し、評価値が最大値（又は最小値）を示すレンズ位置を特定することができた場合、すなわちステップＳ１０９において合焦評価領域の合焦状態が実現された場合に、図８のフローチャートに進む。
【０１０７】
そして、合焦評価領域の合焦状態が実現された段階で再度被写体抽出処理を実行する（ステップＳ１１０）。ここでの被写体抽出処理（ステップＳ１１０）も、図９及び図１０を参照して説明した上記ステップＳ１０４の被写体抽出処理と同様である。
【０１０８】
ただし、ステップＳ１０４の段階では、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われるため、実際のフォーカシングレンズ１２のレンズ位置を用いた演算処理によって被写体倍率が正確に求められた訳ではなく、撮影モードによって被写体倍率を推定した状態で被写体抽出処理が実行されるので、その精度は低い。そのため、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われ、それによって特定された主被写体領域が合焦状態と判定されたとしても、その合焦評価領域には実際の主被写体が含まれていない可能性がある。
【０１０９】
そのため、この実施の形態ではステップＳ１１０において再度被写体抽出処理を行うこととしている。そしてステップＳ１１０の段階では、合焦評価領域の画像成分が合焦状態であると判断された状態であるため、実際のフォーカシングレンズ１２のレンズ位置に基づく演算処理によって正確な被写体倍率が求められ、かつ、その正確な被写体倍率に基づいた被写体抽出処理が実行されるので、主被写体領域を高精度に特定することが可能である。
【０１１０】
そして被写体抽出処理（ステップＳ１１０）が行われて、信頼性の高い主被写体領域が特定されると、被写体抽出部４５は前回同様に合焦評価領域設定部４１に対して特定された主被写体領域を指示する。
【０１１１】
これにより、合焦評価領域設定部４１は、ステップＳ１０８において採用されていた合焦評価領域と、ステップＳ１１０の被写体抽出処理において特定された被写体領域とが一致するか否かを判断する（ステップＳ１１１）。つまり、この処理は、ステップＳ１０６〜Ｓ１０８の繰り返し処理で評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。その結果、合焦評価領域と、特定された主被写体領域とが一致しない場合には、ステップＳ１０５（図７）に戻り、合焦評価領域設定部４１は合焦評価領域を、ステップＳ１１０の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になり、ステップＳ１０６以降の処理が行われる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ１１２（図８）に進む。
【０１１２】
合焦評価領域設定部４１が、合焦評価領域と、特定された主被写体領域とが一致すると判断した場合には、全体制御部１８に対して本撮影動作の許可を行う（ステップＳ１１２）。
【０１１３】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する。デジタルカメラ１ではシャッタボタン８の全押し状態が本撮影動作の条件となっているため、シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ１０２（図７）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。
【０１１４】
また、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ１１４）、画像処理部３２において所定の画像処理（ステップＳ１１５）を行った後、記録メディア９への記録処理（ステップＳ１１６）が行われる。
【０１１５】
以上で、シャッタボタン８が半押し状態とされてから本撮影動作が完了するまでのデジタルカメラ１の処理手順が終了することとなり、本撮影動作においては、主被写体が画像のどの部分に存在する場合であってもその主被写体を合焦状態として撮影することが可能である。
【０１１６】
そして、この実施の形態のデジタルカメラ１においては、被写体抽出装置としても機能する主被写体合焦制御部４０が、被写体倍率や撮影モード等の撮影条件に応じて、主被写体の抽出処理を行う際の処理内容を変更し、その処理内容に基づいて画像のうちから主被写体の抽出処理を行うように構成されているため、画像中における主被写体の占める割合が大きい場合には、処理効率を重視した処理内容を設定することができ、また、画像中における主被写体の占める割合が小さい場合には、被写体抽出の信頼性を重視した処理内容を設定することができる。
【０１１７】
その結果、全体的な処理効率が向上するとともに、画像に対していかなる状態で主被写体が含まれていても正確に主被写体を抽出することが可能になる。
【０１１８】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、この実施の形態においても、装置構成については第１の実施の形態で説明したものと同様である（図２等参照）。
【０１１９】
上記第１の実施の形態では、合焦制御部４３が所定ピッチでフォーカシングレンズ１２を段階的に駆動させつつ、合焦評価部４２において各レンズ位置での評価値が算出されるが、被写体抽出処理が実行されるのは、フォーカシングレンズ１２を段階的に駆動させる前と合焦評価領域が合焦状態に達した後である。そのため、フォーカシングレンズ１２を段階的に駆動させる前に実行される被写体抽出処理（ステップＳ１０４）によって実際には主被写体と全く異なる被写体が主被写体であると特定されていた場合には、その被写体が含まれる合焦評価領域を合焦状態に導くための動作が無駄になる。
【０１２０】
このため、この実施の形態では、フォーカシングレンズ１２を段階的に移動させる最中にも、被写体抽出処理を実行することにより、無駄な動作を省いてさらに効率的に主被写体を正確に合焦状態に導く形態について説明する。
【０１２１】
図２０及び図２１は、第２の実施の形態におけるデジタルカメラ１の処理手順を示すフローチャートであり、特にシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示している。
【０１２２】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ３０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。
【０１２３】
そして合焦制御部４３がレンズ駆動部５０を制御してフォーカシングレンズ１２を最も遠側に移動させる（ステップＳ３０２）。なお、ステップＳ３０２の処理が次回以降実行される場合には、合焦制御部４３がフォーカシングレンズ１２を近側方向に所定ピッチ分移動させる制御動作を行うことになる。
【０１２４】
次に、合焦評価領域の設定処理が行われる（ステップＳ３０３）。合焦評価領域設定部４１は、被写体抽出部４５から主被写体領域が指定されている場合はその指定された主被写体領域を合焦評価領域に設定する。ただし、シャッタボタン８が半押し状態にされてから最初にステップＳ３０３の処理が行われる際には、未だ被写体抽出処理（ステップＳ３０８）は実行されていない。このため、未だ被写体抽出部４５から主被写体領域が指定されていない場合、合焦評価領域設定部４１は画像の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１（図３参照）を評価値算出対象の合焦評価領域として設定する。これに対し、既に被写体抽出処理が何回か実行されている場合には、合焦評価領域設定部４１は前回指定された最新の主被写体領域を評価値算出対象の合焦評価領域として設定する。そして、合焦評価領域設定部４１は合焦評価領域を合焦評価部４２に対して指示する。
【０１２５】
そして、全体制御部１８はフォーカシングレンズ１２が現在のレンズ位置にあるときに撮影機能部２０における撮影動作を行わせる。そして、合焦評価部４２は画像メモリ３１に格納された画像を取り込み（ステップＳ３０４）、評価値の算出処理を行う（ステップＳ３０５）。このとき、合焦評価部４２は、ステップＳ３０３において合焦評価領域設定部４１から指定された合焦評価領域の画像成分に基づいて評価値の算出を行い、その結果算出された評価値は合焦制御部４３に与えられる。
【０１２６】
そして処理内容変更部４４は、被写体抽出処理を実行するか否かの判定を行う（ステップＳ３０６）。この実施の形態では、フォーカシングレンズ１２を所定ピッチで段階的に移動させる際に、各レンズ位置で被写体抽出処理を実行することができるように構成されるが、所定ピッチでのレンズ駆動ごとに毎回被写体抽出処理を実行するように構成すると、主被写体を合焦状態に導くまでに長時間を要することになる。そのため、この実施の形態の処理内容変更部４４は、被写体抽出部４５における処理内容を変更する機能だけでなく、被写体抽出部４５における被写体抽出処理の実行頻度を調整する機能をも備える。
【０１２７】
処理内容変更部４４が被写体抽出処理の実行頻度を調整する方法には、いくつかの方法がある。まず、第１に、所定ピッチでのフォーカシングレンズ１２のレンズ駆動が所定回数行われるごとに被写体抽出処理を１回実行する方法がある。これにより、レンズ駆動が行われる度に毎回被写体抽出処理が行われることを回避することができるので、効率的な合焦動作を実現することができる。
【０１２８】
また、第２に、合焦評価部４２で求められる評価値を参酌して合焦評価領域の画像成分が合焦状態に近づくにつれて被写体抽出処理の実行頻度を増加させる方法がある。例えば、評価値が合焦位置で最大値を示す場合には、評価値が第１の閾値未満の場合はレンズ駆動が１０回行われるごとに１回被写体抽出処理を実行し、第１の閾値以上第２の閾値未満の場合はレンズ駆動が５回行われるごとに１回被写体抽出処理を実行し、第２の閾値以上の場合はレンズ駆動が２回行われるごとに１回被写体抽出処理を実行するというように、合焦評価部４２における評価結果に基づいて被写体抽出処理の実行頻度を調整するのである。このように構成することにより、合焦評価領域の画像成分が合焦状態に近づくにつれて、主被写体を抽出するための処理が増加する。合焦評価領域の画像成分が合焦状態に近い場合には比較的高精度に主被写体の特定が行われるので、この第２の方法は、主被写体を合焦状態に導くためには効果的な方法となる。
【０１２９】
ただし、処理内容変更部４４が被写体抽出処理の実行頻度を調整する方法は、上記第１又は第２の方法に限定されるものではなく、他の方法を採用してもよい。また、主被写体合焦制御部４０における処理速度が十分に速い場合には、レンズ駆動後の毎回の画像取り込み時に被写体抽出処理を実行するようにしてもよい。
【０１３０】
そして、処理内容変更部４４がレンズ駆動回数をカウントして被写体抽出処理を実行すると判定した場合には、ステップＳ３０８の被写体抽出処理に進む。これに対し、被写体抽出処理を実行しないと判断した場合には、被写体抽出処理（ステップＳ３０８）をスキップさせて合焦判定を行う処理、すなわちステップＳ３１０（図２１のフローチャート）に進むことになる。
【０１３１】
この実施の形態においても、被写体抽出処理（ステップＳ３０８）の詳細は、図９及び図１０に示すフローチャートと同様である。したがって、被写体倍率が比較的大きな状態にあるときは処理効率を重視した被写体抽出処理が行われ、被写体倍率が比較的小さな状態にあるときには被写体抽出処理によって特定される主被写体の信頼性を向上させるために、高精度な被写体抽出処理が実行されることになる。
【０１３２】
そして被写体抽出処理（ステップＳ３０８）において主被写体の領域が特定されるとその主被写体領域が被写体抽出部４５から合焦評価領域設定部４１に伝えられる。
【０１３３】
ステップＳ３０９に進み、合焦評価領域設定部４１は、それまでの合焦評価領域と、被写体抽出処理によって特定された主被写体領域とを比較し、両者が一致するか否かを判断する。この処理は、それまで評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。そして、一致しない場合には、ステップＳ３０３に戻り、合焦評価領域設定部４１は以後の合焦評価領域を、ステップＳ３０８の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、前回よりも信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ３１０（図２１）に進む。
【０１３４】
そして合焦制御部４３は、図４に示すような評価値が最大値（又は最小値）を示すレンズ位置ＰＸを特定することができたか否か、すなわち、合焦評価領域の合焦状態が実現されたか否かを判断する。ここで、未だ合焦評価領域の合焦状態が実現されていないと判断された場合には、ステップＳ３０２（図２０）に戻って所定ピッチでのレンズ駆動、評価値算出処理等を繰り返す。その結果、最終的に合焦評価領域の合焦状態が実現された場合には、ステップＳ３１１に進み、全体制御部１８に対して本撮影動作の許可を行う。
【０１３５】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する（ステップＳ３１２）。シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ３０２（図２０）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。なお、このとき、合焦制御部４３は合焦制御を最初から行うことが必要になるので、フォーカシングレンズ１２を最も遠側の位置に移動させることになる。
【０１３６】
これに対し、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ３１３）、画像処理部３２において所定の画像処理（ステップＳ３１４）を行った後、記録メディア９への記録処理（ステップＳ３１５）が行われる。
【０１３７】
以上で、第２の実施の形態のデジタルカメラ１において、シャッタボタン８が半押し状態とされてから本撮影動作が完了するまでの処理手順が終了することとなり、本撮影動作においては、主被写体が画像のどの部分に存在する場合であってもその主被写体を合焦状態として撮影することが可能である。
【０１３８】
そして、この実施の形態のデジタルカメラ１においても、被写体抽出装置としても機能する主被写体合焦制御部４０が、被写体倍率や撮影モード等の撮影条件に応じて、主被写体の抽出処理を行う際の処理内容を変更し、その処理内容に基づいて画像のうちから主被写体の抽出処理を行うように構成されているため、画像中における主被写体の占める割合が大きい場合には、処理効率を重視した処理内容を設定することができ、また、画像中における主被写体の占める割合が小さい場合には、被写体抽出の信頼性を重視した処理内容を設定することができる。
【０１３９】
その結果、全体的な処理効率が向上するとともに、画像に対していかなる状態で主被写体が含まれていても正確に主被写体を抽出することが可能になる。
【０１４０】
また、この実施の形態のデジタルカメラ１では、合焦動作を行うためのレンズ駆動段階でも被写体抽出処理が実行されるように構成されているので、主被写体でない部分を評価対象として合焦動作を進められることが回避されるので、さらに効率的な合焦動作が実現される。
【０１４１】
さらに、合焦評価領域の画像成分が合焦状態に近づくにつれて、被写体抽出処理の実行頻度が増加するように構成することで、より正確に主被写体を抽出することができ、その信頼性の高い主被写体を迅速に合焦状態に導くことが可能になる。
【０１４２】
＜３．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１４３】
例えば、上記説明におけるデジタルカメラには、デジタルスチルカメラとデジタルビデオカメラの双方が含まれる。また、撮影装置の一例としてデジタルカメラ１を例示して述べたが、この発明はデジタルカメラ以外の撮影装置に対しても適用することが可能である。
【０１４４】
また、上記説明においては、いわゆる山登り方式等と呼ばれるような合焦制御を行う場合について述べたが、アクティブ方式や位相差方式等と呼ばれる自動焦点検出方式、さらに複数の測距エリアで測距を行う自動焦点検出方式等の制御方式であっても、この発明を適用することは可能である。
【０１４５】
また、上記説明においては、合焦動作を開始させるタイミングがシャッタボタン８の半押し後である場合について述べたが、それに限定されるものではなく、例えば、ライブビュー画像の表示を行っている状態においても上述した合焦動作を行うようにしてもよい。
【０１４６】
また、上記説明においては、画素間引き数、ブロック分割数、及び形状判定基準と、被写体倍率とは連続的な関係を示すものであったが、被写体倍率の変化に対して、画素間引き数、ブロック分割数、及び形状判定基準のそれぞれが段階的に変化するようにしてもよい。
【０１４７】
また、上記説明においては、主被写体（すなわち特定被写体）が人物の顔部分である場合について述べた。これは、一般的に写真撮影を行う場合、人物を被写体として撮影することが多いことに鑑みたものであるが、この発明の本質としては、主被写体は人物の顔部分であることに限定されるものではない。このため、主被写体を構成する色成分や形状等に関する情報をユーザが自由に設定入力することができるようにすれば、ユーザが意図する主被写体を適切に特定することが可能になる。
【０１４８】
さらに、上記説明においては、被写体抽出処理が主被写体を合焦状態に導くために行われる場合について説明したが、被写体抽出処理の結果によって画像中から主被写体領域が特定されることに鑑みれば、被写体抽出処理を自動合焦制御のために実行するだけでなく、主被写体領域の画像成分に対して特別な画像処理を施すために実行することも可能である。つまり、上述した被写体抽出技術は、主被写体を合焦状態に導くために適用されるものに限定されるものではない。
【０１４９】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、本撮影動作時の被写体倍率に応じて、特定被写体の抽出処理を行う際の前記画像に対する処理内容を変更し、その処理内容に基づいて画像のうちから特定被写体の抽出処理を行うように構成されるため、画像中における特定被写体の占める割合が大きい場合には、処理効率を重視した処理内容を設定することができ、また、画像中における特定被写体の占める割合が小さい場合には、被写体抽出の信頼性を重視した処理内容を設定することができる。その結果、全体的な処理効率が向上するとともに、画像に対していかなる状態で特定被写体が含まれていても正確に特定被写体を抽出することが可能になる。
【０１５０】
請求項２に記載の発明は、特定被写体の抽出処理にあたって、画素間引き処理、又は、ブロック分割処理を行うように構成されており、画素間引き処理における間引き数、又は、ブロック分割処理におけるブロック分割数を被写体倍率に応じて変更するため、被写体倍率に応じて処理対象となる画像サイズやブロック数を調整することができ、特定被写体の抽出処理における処理効率を向上させたり、抽出される特定被写体の信頼性を向上させることが可能になる。
【０１５１】
請求項３に記載の発明は、被写体倍率が小さくなるにつれて、間引き数を減少させ、又はブロック分割数を増加させることにより、処理内容の変更を行うため、画像中における特定被写体の占める割合が小さくなると、特定被写体の抽出処理が高精細な処理内容となり、抽出される特定被写体の信頼性を向上させることができる。
【図面の簡単な説明】
【図１】撮影装置の一例としてのデジタルカメラを示す斜視図である。
【図２】デジタルカメラの内部構成を示すブロック図である。
【図３】デジタルカメラに予め設定される合焦評価領域の初期状態を示す図である。
【図４】レンズ位置に対する評価値変化の一例を示す図である。
【図５】被写体倍率が小さい場合の撮影画像を示す図である。
【図６】被写体倍率が大きい場合の撮影画像を示す図である。
【図７】第１の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図８】第１の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図９】被写体抽出処理の詳細な処理手順を示すフローチャートである。
【図１０】被写体倍率検出処理の詳細な処理手順を示すフローチャートである。
【図１１】被写体倍率と画素間引き数との関係を示す図である。
【図１２】画素間引き処理の概念を示す図である。
【図１３】被写体倍率とブロック分割数との関係を示す図である。
【図１４】被写体倍率が大きい場合のブロック分割処理の概念を示す図である。
【図１５】被写体倍率が小さい場合のブロック分割処理の概念を示す図である。
【図１６】被写体倍率と、形状判定基準である縦横比との関係を示す図である。
【図１７】ＣＩＥ  １９７６  ＵＣＳ色度図の簡略図である。
【図１８】形状判定処理において主被写体であると認識される領域を示す図である。
【図１９】画面に対する重み付け係数の一例を示す図である。
【図２０】第２の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【図２１】第２の実施の形態におけるデジタルカメラの処理手順を示すフローチャートである。
【符号の説明】
１  デジタルカメラ（撮影装置）
８  シャッタボタン
１１  撮影レンズ
１２  フォーカシングレンズ
１８  全体制御部
２０  撮影機能部
３０  ＣＣＤ撮像素子
３１  画像メモリ
４０  主被写体合焦制御部（被写体抽出装置）
４１  合焦評価領域設定部
４２  合焦評価部
４３  合焦制御部
４４  処理内容変更部
４５  被写体抽出部
５０  レンズ駆動部
【図１】
0004053764.tif 000008
【図２】
0004053764.tif 000009
【図３】
0004053764.tif 000010
【図４】
0004053764.tif 000011
【図５】
0004053764.tif 000012
【図６】
0004053764.tif 000013
【図７】
0004053764.tif 000014
【図８】
0004053764.tif 000015
【図９】
0004053764.tif 000016
【図１０】
0004053764.tif 000017
【図１１】
0004053764.tif 000018
【図１２】
0004053764.tif 000019
【図１３】
0004053764.tif 000020
【図１４】
0004053764.tif 000021
【図１５】
0004053764.tif 000022
【図１６】
0004053764.tif 000023
【図１７】
0004053764.tif 000024
【図１８】
0004053764.tif 000025
【図１９】
0004053764.tif 000026
【図２０】
0004053764.tif 000027
【図２１】
0004053764.tif 000028