(57)【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記画像データ内にある顔を検出する顔検出手段と、
前記付随被写体に応じて前記顔検出手段を制御する制御手段と、
を備え、
前記顔検出手段は、顔の特徴データと所定値以上で一致する顔を検出し、
前記制御手段は、前記付随被写体から所定の距離以内の領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げるように前記顔検出手段を制御することを特徴とする撮像装置。
【請求項２】
被写体を撮像する撮像手段と、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、
前記画像データ内にある顔を検出する顔検出手段と、
前記付随被写体に応じて前記顔検出手段を制御する制御手段と、
を備え、
前記顔検出手段は、顔の特徴データと所定値以上で一致する顔を検出し、前記制御手段は、前記付随被写体から所定の距離以内の領域における顔検出の前記所定値を、前記所定の距離以上離れた領域における顔検出の前記所定値よりも下げるように前記顔検出手段を制御することを特徴とする撮像装置。
【請求項３】
前記顔検出手段により検出された顔が複数ある場合は、該検出された全ての顔、若しくは、検出された顔のうち、前記付随被写体から最も近い顔を特定する特定手段を備えたことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、
前記付随被写体を有する顔を検出させるように前記顔検出手段を制御することを特徴とする請求項１または２に記載の撮像装置。  
【請求項５】
任意の付随被写体を設定する付随被写体設定手段を備え、
前記付随被写体検出手段は、
前記設定された付随被写体を検出することを特徴とする請求項１乃至４何れかに記載の撮像装置。
【請求項６】
前記付随被写体は、
眼鏡、帽子、鞄、服の色のうち少なくとも１つ以上であることを特徴とする請求項１乃至５何れかに記載の撮像装置。
【請求項７】
被写体を撮像する撮像手段を備えた撮像装置のコンピュータを、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段、
前記画像データ内にある顔を検出する顔検出手段、
前記付随被写体に応じて前記顔検出手段を制御する制御手段、
として機能させるとともに、
前記制御手段としての機能は、前記付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げるように前記顔検出手段を制御する手段としての機能を含むことを特徴とするプログラム。
【請求項８】
被写体を撮像する撮像手段を備えた撮像装置のコンピュータを、
前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段、
前記画像データ内にある顔を検出する顔検出手段、
前記付随被写体に応じて前記顔検出処理を制御する制御手段、
として機能させるとともに、
前記制御手段としての機能は、前記付随被写体から所定の距離以内の領域における顔検出の前記所定値を、前記所定の距離以上離れた領域における顔検出の前記所定値よりも下げるように前記顔検出処理を制御する手段としての機能を含むことを特徴とするプログラム。  
【請求項９】
撮像された画像データ内にある付随被写体を検出する工程と、
前記画像データから、前記付随被写体に応じて顔の特徴データと所定値以上で一致する顔を検出する工程と、
前記付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げる工程とを含むことを特徴とする撮像方法。
【請求項１０】
撮像された画像データ内にある付随被写体を検出する工程と、
前記画像データから、前記付随被写体に応じて顔の特徴データと所定値以上で一致する顔を検出する工程と、
前記付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも下げる工程とを含むことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びそのプログラムに係り、詳しくは、顔検出機能を有した撮像装置及びそのプログラムに関する。
【背景技術】
【０００２】
撮像装置においては、撮像された画像データから顔の特徴点を抽出し、予め登録してある顔データとの一致度合に基づいて顔を検出するという技術がある（特許文献１）。
【０００３】
【特許文献１】公開特許公報  特開平６−２５９５３４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術によれば、画像データ内に複数の人物がいる場合は、撮影したいメイン被写体となる人以外の顔までも検出してしまい、メイン被写体の顔を特定することは難しかった。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、メイン被写体の顔を特定することができる撮像装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明は、被写体を撮像する撮像手段と、前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、前記画像データ内にある顔を検出する顔検出手段と、前記付随被写体に応じて前記顔検出手段を制御する制御手段と、を備え、前記顔検出手段は、顔の特徴データと所定値以上で一致する顔を検出し、前記制御手段は、前記付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げるように前記顔検出手段を制御することを特徴とする撮像装置を提供するものである。
【０００７】
また、請求項２記載の発明は、被写体を撮像する撮像手段と、前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段と、前記画像データ内にある顔を検出する顔検出手段と、前記付随被写体に応じて前記顔検出手段を制御する制御手段と、を備え、前記顔検出手段は、顔の特徴データと所定値以上で一致する顔を検出し、前記制御手段は、前記付随被写体検出手段により検出された付随被写体から所定の距離以内の領域における顔検出の前記所定値を、前記所定の距離以上離れた領域における顔検出の前記所定値よりも下げるように前記顔検出手段を制御することを特徴とする撮像装置を提供するものである。
【０００８】
また、請求項３記載の発明は、前記顔検出手段により検出された顔が複数ある場合は、該検出された全ての顔、若しくは、検出された顔のうち、前記付随被写体から最も近い顔を特定する特定手段を備えたことを特徴とする請求項１または２に記載の撮像装置を提供するものである。
【０００９】
また、請求項４記載の発明は、前記制御手段は、前記付随被写体を有する顔を検出させるように前記顔検出手段を制御することを特徴とする請求項１または２に記載の撮像装置を提供するものである。
【００１０】
また、請求項５記載の発明は、前記制御手段は、前記付随被写体を有する顔を検出させるように前記顔検出手段を制御することを特徴とする請求項１または２に記載の撮像装置を提供するものである。
【００１１】
また、請求項６記載の発明は、前記付随被写体は、眼鏡、帽子、鞄、服の色のうち少なくとも１つ以上であることを特徴とする請求項１乃至５何れかに記載の撮像装置を提供するものである。
【００１２】
また、請求項７記載の発明は、被写体を撮像する撮像手段を備えた撮像装置のコンピュータを、前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段、前記画像データ内にある顔を検出する顔検出手段、前記付随被写体に応じて前記顔検出手段を制御する制御手段、として機能させるとともに、前記制御手段としての機能は、前記付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げるように前記顔検出手段を制御する手段としての機能を含むことを特徴とするプログラムを提供するものである。
【００１３】
また、請求項８記載の発明は、被写体を撮像する撮像手段を備えた撮像装置のコンピュータを、前記撮像手段により得られた画像データ内にある付随被写体を検出する付随被写体検出手段、前記画像データ内にある顔を検出する顔検出手段、前記付随被写体に応じて前記顔検出処理を制御する制御手段、として機能させるとともに、前記制御手段としての機能は、前記付随被写体から所定の距離以内の領域における顔検出の前記所定値を、前記所定の距離以上離れた領域における顔検出の前記所定値よりも下げるように前記顔検出処理を制御する手段としての機能を含むことを特徴とするプログラムを提供するものである。
【００１４】
また、請求項９記載の発明は、撮像された画像データ内にある付随被写体を検出する工程と、前記画像データから、前記付随被写体に応じて顔の特徴データと所定値以上で一致する顔を検出する工程と、前記付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも上げる工程とを含むことを特徴とする撮像方法を提供するものである。
【００１５】
また、請求項１０記載の発明は、撮像された画像データ内にある付随被写体を検出する工程と、前記画像データから、前記付随被写体に応じて顔の特徴データと所定値以上で一致する顔を検出する工程と、前記付随被写体から所定の距離以上離れた領域における顔検出の前記所定値を、前記所定の距離以内の領域における顔検出の前記所定値よりも下げる工程とを含むことを特徴とする撮像方法を提供するものである。
【発明の効果】
【００２０】
本発明によれば、メイン被写体の顔を特定することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［実施の形態］
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮像レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、垂直ドライバ６、ＴＧ（timing generator）７、ユニット回路８、ＤＭＡコントローラ（以下、ＤＭＡという）９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、ＤＭＡ１４、画像生成部１５、ＤＭＡ１６、ＤＭＡ１７、表示部１８、ＤＭＡ１９、圧縮伸張部２０、ＤＭＡ２１、フラッシュメモリ２２、顔検出部２３、付随被写体検出部２４、バス２５を備えている。
【００２２】
撮像レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮像レンズ２には、レンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ（図示略）と、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ（図示略）とから構成されている。
【００２３】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞りとは、ＣＣＤ５に入射される光の量を制御する機構のことをいう。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。
【００２４】
ＣＣＤ５は、垂直ドライバ６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。この垂直ドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０によって制御される。また、ＣＣＤ５は電子シャッタとしての機能を有し、この電子シャッタは、垂直ドライバ６、ＴＧ７を介してＣＰＵ１０を介して制御される。
【００２５】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５によって得られた撮像信号はユニット回路８を経た後、ＤＭＡ９によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ１３）に記憶される。
【００２６】
ＣＰＵ１０は、ＡＥ処理、ＡＦ処理、記録処理、表示処理などを行う機能を有すると共に、デジタルカメラ１の各部を制御するワンチップマイコンである。
特に、ＣＰＵ１０は、後述する付随被写体検出部２４によって検出された付随被写体に基づいて後述する顔検出部２３を制御する制御部１０１を有する。なお、この制御部１０１は、付随被写体検出部２４も制御する機能を有する。
【００２７】
キー入力部１１は、半押し操作、全押し操作可能なシャッタボタン、モード切替キー、付随項目指定キー、十字キー、ＳＥＴキー、メニューキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０がデジタルカメラ1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。
【００２８】
ＤＲＡＭ１３は、ＣＣＤ５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとしても使用される。
【００２９】
ＤＭＡ１４は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部１５に出力するものである。
画像生成部１５は、ＤＭＡ１４から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を施す部分である。
ＤＭＡ１６は、画像生成部１５で画像処理が施された輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。
【００３０】
ＤＭＡ１７は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部１８に出力するものである。
表示部１８は、カラーＬＣＤとその駆動回路を含み、ＤＭＡ１７から出力された画像データの画像を表示させる。
【００３１】
ＤＭＡ１９は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部２０に出力したり、圧縮伸張部２０により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部２０は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ２１は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ２２に記録させたり、フラッシュメモリ２２に記録された圧縮画像データをバッファメモリに記憶させるものである。
【００３２】
顔検出部２３は、撮像された画像データ内にある顔領域を検出する顔検出処理を行うものである。この顔検出処理は周知技術なので詳しくは説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ）と画像データとを比較照合することにより、所定値以上で該顔の特徴データと一致する領域を顔であると検出する。
【００３３】
付随被写体検出部２４は、撮像された画像データ内にある付随被写体（たとえば、眼鏡、帽子、鞄、服の色）の領域を検出する付随被写体検出処理を行うものである。眼鏡、帽子、鞄を検出する場合は、予め記録されている眼鏡の特徴データ、帽子の特徴データ、鞄の特徴データと撮像されたフレーム画像データを比較照合することにより、所定の閾値以上で該特徴データと一致する領域を該付随被写体であると検出する。服の色を検出する場合は、服の色として設定された色を有する領域を検出する。なお、設定された色と全く同一の色を有する領域を検出する必要はなく、所定の閾値以上で一致する色の領域を検出するようにしてもよい。
【００３４】
Ｂ．デジタルカメラ１の動作について
以下、本実施の形態におけるデジタルカメラ１の動作を図２のフローチャートにしたがって説明する。
【００３５】
ユーザのキー入力部１１のモード切替キーの操作により撮影モードに設定されると、ＣＰＵ１０は、所定のフレームレートでＣＣＤ５による被写体の撮像を開始させ、画像生成部１５によって順次生成されてバッファメモリ（ＤＲＡＭ１３）に記憶された輝度色差信号のフレーム画像データを表示部２０に表示させていく、といういわゆるスルー画像表示を開始する（ステップＳ１）。
【００３６】
次いで、ＣＰＵ１０は、ユーザによって付随項目指定キーが操作されたか否かを判断する（ステップＳ２）。この判断は、付随項目指定キーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００３７】
ステップＳ２で、付随項目指定キーの操作が行われていないと判断するとステップＳ５に進み、ステップＳ２で、付随項目指定キーの操作が行われたと判断すると、ＣＰＵ１０は、付随項目が指定されたか否かを判断する（ステップＳ３）。
【００３８】
このとき、ＣＰＵ１０は、付随項目指定キーの操作が行われると、付随項目を指定するための画面を表示させる。ここでは、付随項目としては、眼鏡、帽子、鞄、服の色などがあり、ユーザが十字キー及びＳＥＴキー等の操作をすることにより、これらの項目のうち１つ以上の項目を指定することができる。この服の色の指定は、複数の色（たとえば、カラーバー等）を表示させ、該表示された色の中から任意の色を指定することができる。
【００３９】
ここで、図３（Ａ）は、スルー画像表示されている画像の様子の一例を示す図である。
図３（Ａ）を見ると、被写体である人２１、人２２、人２３、人２４が撮像されているのがわかる。ここで、人２１の胴体に青、人２２の胴体に緑、人２３の胴体に赤、人２４の胴体に黒と表示がされているが、これは着ている服の色を便宜上示したものである。
【００４０】
ここで、ユーザはメイン被写体となる人の顔を検出して欲しいが、単に顔検出処理を行うと、すべての人（人２１〜２４）の顔を検出しかねない。
したがって、ユーザは、検出して欲しい人が身につけているアイテム（眼鏡や帽子、鞄）や、検出して欲しい人が着ている服の色を付随項目として指定する。
ここでは、人２３の顔を検出してほしいので、付随項目として服の色「赤」のみを指定したものとする。
【００４１】
ステップＳ３で、付随項目が指定されていないと判断すると、指定されたと判断するまでステップＳ３に留まり、付随項目が指定されたと判断すると、ＣＰＵ１０は、該指定された付随項目を付随被写体として設定して（ステップＳ４）、ステップＳ５に進む。このとき、ＣＰＵ１０の制御部１０１は、該設定した付随被写体を検出するように付随被写体検出部２４を制御する。ここで、既に付随被写体が設定されている場合は設定の変更を行い、該変更後の付随被写体を検出するように付随被写体検出部２４を制御する。なお、ここでは、服の色「赤」が付随項目として指定されたので、赤い服が付随被写体として設定されることになる。
【００４２】
ステップＳ５に進むと、ＣＰＵ１０は、ユーザによってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ５で、シャッタボタンが半押しされていないと判断するとステップＳ２に戻り、ステップＳ５で、シャッタボタンが半押しされたと判断すると、ＣＰＵ１０は、付随被写体が設定されているか否かを判断する（ステップＳ６）。
【００４３】
ステップＳ６で、付随被写体が設定されていると判断すると、ＣＰＵ１０は、付随被写体検出部２４に、ＣＣＤ５により撮像され直近にバッファメモリに記憶されたフレーム画像データを出力し、付随被写体検出部２４に、該フレーム画像データに対して該設定された付随被写体の検出処理を行わせる（ステップＳ７）。つまり、直近に撮像され、バッファメモリに記憶されたフレーム画像データ内にある該設定された付随被写体を検出する。付随被写体検出部２４は、付随被写体を検出すると、該検出した付随被写体の領域を示す情報（付随被写体領域情報）をＣＰＵ１０に出力する。付随被写体領域情報とは、画角内における付随被写体の領域の位置、大きさを示す情報のことをいう。これにより、設定された付随被写体を検出することができる。
【００４４】
次いで、ＣＰＵ１０は、付随被写体検出処理により付随被写体が検出されたか否かを判断する（ステップＳ８）。この判断は、付随被写体検出部２４から付随被写体領域情報が送られてきたか否かにより判断する。
ステップＳ８で、付随被写体が検出されていないと判断するとステップＳ７に戻り、ステップＳ８で、付随被写体が検出されたと判断すると、ＣＰＵ１０の制御部１０１は、該検出された付随被写体に応じて、顔検出部２３による顔検出を制御する（ステップＳ９）。この顔検出の制御は、検出された付随被写体に近い顔を検出するように制御する。具体的には、検出された付随被写体から所定距離以上離れた領域（検出された付随被写体から所定範囲以外にある領域）に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くする。これにより、検出された付随被写体から所定距離以上離れた領域にある顔は検出され難くなり、相対的に、この所定距離以上離れた領域にある顔よりも付随被写体から所定距離内にある顔が検出され易くなり、メイン被写体の顔を特定することができる。ここで、この所定値とは言うまでもないが、顔の特徴データと所定値以上で一致する領域が顔であると検出する、この所定値のことである。
なお、顔が検出されない場合は、所定距離を徐々に長くするようにしてもよいし、所定距離内の領域に対する顔検出の所定値を下げていくようにしてもよい。
【００４５】
次いで、ＣＰＵ１０は、ステップＳ７で付随被写体検出部２４に出力した直近に撮像されたフレーム画像データ及び付随被写体領域情報を顔検出部２３に出力し、顔検出部２３に、該制御した顔検出で、該フレーム画像データ内にある顔を検出させる（ステップＳ１０）。つまり、該検出された付随被写体領域に近い顔を検出させる。顔検出部２３は、顔を検出すると、該検出した顔の領域を示す情報（顔領域情報）をＣＰＵ１０に出力する。顔領域情報とは、画角内における顔の領域の位置、大きさを示す情報のことをいう。
【００４６】
次いで、ＣＰＵ１０は、顔検出処理により顔が検出されたか否かの判断を行う（ステップＳ１１）。この判断は、顔検出部２３から顔領域情報が送られてきたか否かにより判断する。
ステップＳ１１で、顔が検出されていないと判断するとステップＳ７に戻り、ステップＳ１１で、顔が検出されたと判断するとステップＳ１４に進む。
【００４７】
一方、ステップＳ６で、付随被写体が設定されていないと判断すると、ＣＰＵ１０は、顔検出部２３に、ＣＣＤ５により撮像され直近にバッファメモリに記憶されたフレーム画像データを出力し、顔検出部２３に、該フレーム画像データに対して検出処理を行わせる（ステップＳ１２）。つまり、フレーム画像データ内にある顔を検出させる。ここで、ステップＳ９のように顔検出の制御を特に行っていないので、単に、画像データの全領域に対して、若しくは、画像データの所定の領域（たとえば、画角の中央領域）に対して顔検出処理を行う。顔検出部２３は、顔を検出すると、該検出した顔の領域を示す情報（顔領域情報）をＣＰＵ１０に出力する。
【００４８】
次いで、ＣＰＵ１０は、顔検出処理により顔が検出されたか否かの判断を行う（ステップＳ１３）。この判断は、顔検出部２３から顔領域情報が送られてきたか否かにより判断する。
ステップＳ１３で、顔が検出されていないと判断するとステップＳ１２に戻り、ステップＳ１３で、顔が検出されたと判断するとステップＳ１４に進む。
【００４９】
ステップＳ１４に進むと、ＣＰＵ１０は、該検出された顔をメイン被写体であると特定し、該特定した顔（顔検出部２３から送られてきた顔領域情報）に基づいて顔検出枠をスルー画像上に重ねて表示させる。つまり、該検出された（特定された）顔領域の位置に顔検出枠を表示させる。
図３（Ｂ）は、付随被写体として、服の色「赤」が設定されたときに、検出された顔（特定された顔）に基づいて表示された顔検出枠の様子を示す図である。
図３（Ｂ）を見るとわかるように、赤い服を着た人２３の顔に顔検出枠３１が表示されているのがわかる。つまり、人２３の顔のみが検出され特定されたことがわかる。
【００５０】
次いで、ＣＰＵ１０は、該特定された顔に対してＡＥ処理、ＡＦ処理を行う（ステップＳ１５）。このＡＥ処理は、特定された顔の領域の輝度信号に基づいて、該顔が適正露出量となるように、シャッタ速度、絞り値を算出して設定する。
【００５１】
また、このＡＦ処理は、レンズ駆動ブロック３に制御信号を送ることによりフォーカスレンズを駆動範囲内で移動させ、レンズ位置におけるＣＣＤ５により撮像された画像データの特定された顔領域のＡＦ評価値を算出し、ＡＦ評価値が最も高くなるレンズ位置にフォーカスレンズを移動させて、ピントを合わせるというものである。このＡＦ評価値はＡＦエリアの高周波成分に基づいて算出され、ＡＦ評価値が高いほどピントが合っているレンズ位置ということになる。なお、複数の顔が検出され特定されている場合は、特定された全ての顔に基づいてＡＥ処理を行うとともに、該特定された全ての顔にピントが合うようにＡＦ処理を行う。
【００５２】
次いで、ＣＰＵ１０は、ユーザによってシャッタボタンが全押しされたか否かを判断する（ステップＳ１６）。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ１６で、シャッタボタンが全押しされていないと判断すると、ＣＰＵ１０は、シャッタボタンの半押しが解除されたか否かを判断する（ステップＳ１７）。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてこなくなったか否かにより判断する。
【００５３】
ステップＳ１７で、シャッタボタンの半押しが解除されたと判断するとステップＳ２に戻り、ステップＳ１７で、シャッタボタンの半押しが解除されていないと判断するとステップＳ１６に戻る。
ステップＳ１６で、シャッタボタンが全押しされたと判断すると、ＣＰＵ１０は、静止画撮影記録処理を行う（ステップＳ１７）。つまり、ステップＳ１５で設定されたシャッタ速度、絞り値で、ＣＣＤ５に露光させ、該ＣＣＤ５に蓄積された全画素の電荷信号（画像データ）を読み出し、画像生成部１５によって生成され、圧縮伸長部２０で圧縮された画像データを、ＤＭＡ２１を介してフラッシュメモリ２２に記録する。
【００５４】
以上のように、実施の形態においては、付随被写体を検出し、該検出された付随被写体に基づいて、顔を検出して特定するようにしたので、画各内に複数人いる場合であっても、検出したいメイン被写体の人の顔を迅速に特定することができる。
【００５５】
［変形例］
上記実施の形態は、以下のような変形例も可能である。
【００５６】
（０１）上記実施の形態においては、付随項目を眼鏡、帽子、鞄、服の色とし、指定された付随項目を付随被写体として設定するようにしたが、付随項目、設定される付随被写体は、眼鏡、帽子、鞄、服の色に限られず、たとえば、マスク、ネックレス、イヤリング、時計等であってもよく、要は人が身につけるものであり、外形上視認することができるものであればよい。
【００５７】
（０２）上記実施の形態においては、検出された付随被写体に近い顔を検出し、該検出された顔を特定するようにしたが、付随被写体に近い顔が複数検出された場合は、該付随被写体に最も近い顔のみを特定するようにしてもよい。
【００５８】
（０３）上記実施の形態においては、１つの付随被写体を設定して顔検出を行う場合について説明したが、複数の付随被写体が設定された場合（たとえば、眼鏡、服の色が付随被写体として設定された場合）は、設定された各付随被写体毎に近い顔をそれぞれ検出し、該検出された顔を全て特定するようにしてもよいし、設定された各付随被写体に近い顔をそれぞれ検出し、該検出された顔のうち、該設定された全ての付随被写体に最も近い顔を１つ特定するようにしてもよい。つまり、設定された各付随被写体に基づいてａｎｄ条件で顔を特定するようにしてもよいし、ｏｒ条件で顔を特定するようにしてもよい。
【００５９】
（０４）また、上記実施の形態においては、１つの付随被写体を設定して顔検出を行う場合について説明したが、同一の付随項目を複数指定することができ、該指定された複数の同一の付随項目を付随被写体として設定することができるようにしてもよい。たとえば、複数の服の色を付随被写体として設定することができるようにしてもよいし、眼鏡や鞄を付随被写体として複数設定することができるようにしてもよい。
このとき、該指定された複数の同一の付随項目を付随被写体として設定した場合は、該設定された各同一の付随被写体毎に近い顔をそれぞれ検出し、該検出された顔を全て特定するようにしてもよいし、該設定された各同一の付随被写体毎に近い顔をそれぞれ検出し、該検出された顔のうち、該設定された全ての付随被写体に最も近い顔を１つ特定するようにしてもよい。
【００６０】
（０５）また、上記実施の形態においては、ステップＳ９で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしたが、検出される付随被写体から所定距離以内にある領域に対してのみ顔検出を行わせることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしてもよい。
この場合、検出された付随被写体から所定距離以上離れた領域に対しては、顔検出処理を行なわないため、上記実施の形態よりも検出処理を軽くすることができ、メイン被写体の顔を迅速に特定することができる。また、顔が検出されない場合は、顔が検出されるまで徐々に所定距離を長くするようにしてもよい。
【００６１】
（０６）また、上記実施の形態においては、ステップＳ９で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしたが、逆に検出される付随被写体から所定距離以内にある領域に対する顔検出の所定値を下げることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしてもよい。これにより、顔検出の所定値を下げることで少しぐらい顔が隠れている等、検出しにくい顔でも、顔を検出しやすくすることができると同時に、顔検出の所定値を下げる範囲を付随被写体から所定距離以内に制限することによりメイン被写体となる人以外の顔については検出しやすくしないことでメイン被写体の顔を特定することができる。
また、顔が検出されない場合は、顔が検出されるまで顔検出の所定値を下げる所定距離の範囲を徐々に長くしていくようにしてもよいし、顔が検出されるまで顔検出の所定値を徐々に下げていくようにしてもよい。
【００６２】
（０７）また、上記実施の形態においては、ステップＳ９で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしたが、検出される付随被写体から所定距離内にある領域に対する顔検出能力を所定距離以上離れた領域に対する顔検出能力よりも高くする、あるいは所定距離以上離れた領域に対する顔検出の特徴データ量を所定距離内にある領域に対する顔検出能力よりも低くすることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしてもよい。この顔検出能力を異ならせる方法としては、検索する目、鼻、口や顔の輪郭等の特徴データ量、顔サイズの比較数、顔回転角度の比較数を異ならせる方法がある。
これにより、メイン被写体の顔が横を向いている場合等であってもメイン被写体の顔を検出して特定することができる。また、この場合、一部の領域についてだけ顔検出能力を上げればよく、あるいは一部の領域以外の領域の顔検出能力を下げることができるので、上記実施の形態よりも顔検出処理の負荷を軽減させることが可能になる。
【００６３】
（０８）また、上記実施の形態においては、ステップＳ９で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしたが、検出される付随被写体に対応した所定の範囲の領域内の顔を検出させることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしてもよい。
この顔検出方法は、付随被写体として帽子が設定された場合に特に有効である。例えば、帽子を検出すると、該帽子に対応した所定の範囲内（帽子から下方向にある所定の範囲）にある顔を検出するようにしてもよい。この場合の顔検出処理は、検出された付随被写体と隣接した顔との境目をエッジ検出によって検出し、検出された境目に基づいて顔を検出する方法がある。また、顔検出されない場合は、検出されるまで所定の範囲を徐々に広げていくようにしてもよい。これにより、メイン被写体の顔を迅速に特定することができる。
なお、帽子以外の付随項目が付随被写体として設定された場合であっても適用可能なことは言うまでもない。また、この所定の範囲をスルー画像表示上に表示させるようにしてもよい。
【００６４】
（０９）また、上記実施の形態においては、ステップＳ９で、検出される付随被写体から所定距離以上離れた領域に対する顔検出の所定値を所定距離以内にある領域に対する顔検出の所定値よりも高くすることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしたが、該検出される付随被写体を含む顔を検出させることにより、検出される付随被写体に近い顔を検出するように顔検出部２３を制御するようにしてもよい。この場合は、眼鏡やマスク等の顔に身につける付随項目が付随被写体として設定された場合に限られる。これにより、検出したい人の顔を的確に検出することができる。
【００６５】
（１０）また、ステップＳ９の顔検出部２３の制御を、上記実施の形態及び上記変形例（０５）〜（０９）を任意に組み合わせるようにしてもよい。例えば、設定された付随被写体毎に顔検出の制御を異ならせるようにし、眼鏡と帽子が付随被写体として設定された場合は、眼鏡の場合は該眼鏡を含む顔を検出し、帽子の場合は、帽子から所定の範囲の領域内の顔を検出する。
【００６６】
（１１）また、上記実施の形態においては、シャッタボタン半押し後に、付随被写体検出処理、顔検出処理を行うようにしたが、シャッタボタン半押し前のスルー画像表示中に、付随被写体検出処理、顔検出処理を行い、シャッタボタンが半押しされると、直近に検出された顔検出処理により検出された顔に対してＡＥ処理、ＡＦ処理を直ちに行うようにしてもよい。
【００６７】
（１２）また、上記実施の形態においては、シャッタボタンの半押し前のスルー画像表示中に、付随被写体の設定を行うようにしたが、設定モード等において予め付随被写体の設定を行うようにしてもよい。この場合は、撮影モードに設定されると、ステップＳ１でスルー画像表示を開始するとそのままステップＳ５に進み、シャッタボタンが半押しされるまでステップＳ５に留まる。
【００６８】
（１３）また、上記実施の形態においては、検出された顔に基づいて、顔検出枠の表示、ＡＥ処理、ＡＦ処理を行うようにしたが、検出された顔に基づいて他の処理を行うようにしてもよい。この他の処理とは、たとえば、顔が検出されると自動撮影を行う等がある。
【００６９】
（１４）また、上記実施の形態において、付随被写体検出処理により検出されない場合は、付随被写体検出の閾値を徐々に下げていくようにしてもよい。
【００７０】
（１５）また、上記実施の形態においては、検出された付随被写体に基づいて顔検出処理を行うようにしたが、顔検出処理を検出された付随被写体に基づかないで行うようにしてもよい。つまり、付随被写体検出処理、顔検出処理をそれぞれ独立に別個に行うようにしてもよい。これによっても、メイン被写体の顔を特定することができる。
そして、顔検出処理により検出された顔のうち、付随被写体検出処理により検出された被写体と所定の条件を満たす顔を特定し、該特定した顔に基づいて、顔検出枠の表示、ＡＥ処理、ＡＦ処理等の処理を行うようにしてもよい。
【００７１】
この所定の条件とは、検出された付随被写体に最も近い顔であってもよいし、検出された付随被写体から所定距離内にある顔であってもよいし、検出された付随被写体を含む顔であってもよい。また、検出された付随被写体に最も近い顔であってもよい。
ここで、付随被写体を服の色「赤」とした場合に、たとえば、図３（Ａ）に示すような被写体を撮像している場合は、人２１〜人２４の顔が全て検出されるが、服の色「赤」に最も近い顔は人２３の顔であるので、該人２３の顔が特定されることになる。
【００７２】
（１６）また、上記変形例（１５）において、まず、顔検出処理を行い、検出された顔に基づいて付随被写体検出処理を行うようにしてもよい。この場合は、付随被写体検出処理により付随被写体が検出された場合は、該付随被写体の検出元となった顔を特定し、該特定した顔に基づいて、顔検出枠の表示、ＡＥ処理、ＡＦ処理等の処理を行うようにしてもよい。これによって、メイン被写体を特定することができる。
【００７３】
この検出された顔に基づく付随被写体検出処理とは、検出された顔に近い設定された付随被写体を検出する。この検出された顔に近い設定された付随被写体の検出としては、検出された顔から所定距離以上離れた領域に対する付随被写体検出の閾値を所定距離内にある領域に対する付随被写体検出の閾値よりも高くするようにしてもよいし、検出された顔から所定距離内にある領域に対する付随被写体検出の閾値を所定距離以上離れた領域に対する付随被写体検出の閾値よりも下げるようにしてもよいし、検出された顔から所定距離内にある付随被写体の検出能力を他の領域の検出能力よりも高くするようにしてもよいし、検出された顔から所定距離内にある付随被写体のみを検出するようにしてもよいし、検出された顔内にある該設定された付随被写体を検出するようにしてもよいし、該検出された顔の所定の範囲の領域内にある該設定された付随被写体を検出するようにしてもよい。つまり、上記実施の形態で説明した、顔検出処理を行い、検出された顔に基づく付随被写体検出処理と、逆の処理を行うようにすればよい。
【００７４】
この検出された顔に近い設定された付随被写体を検出した場合は、該検出された付随被写体の検出元となった顔（該検出された付随被写体に近い顔）を特定し、該特定した顔に基づいてＡＦ処理等の所定の処理を行うようにする。
【００７５】
（１７）また、上記変形例（０１）乃至（１６）を矛盾しない範囲で任意に組み合わせた態様であってもよい。
【００７６】
（１８）また、本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
要は、長い露光時間で撮像されたフレーム画像データを記録し、短い露光時間で撮像されたフレーム画像データを画像評価に用いるものであればよい。
【００７７】
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像することができる機器であれば適用可能である。
【図面の簡単な説明】
【００７８】
【図１】本実施の形態のデジタルカメラのブロック図である。
【図２】本実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図３】スルー画像表示されている画像の様子の一例、及び、付随被写体として、服の色「赤」が設定されたときに、検出された顔に基づいて表示された顔検出枠の様子を示す図である。
【符号の説明】
【００７９】
１      デジタルカメラ
２      撮像レンズ
３      レンズ駆動ブロック
４      絞り
５      ＣＣＤ
６      垂直ドライバ
７      ＴＧ
８      ユニット回路
９      ＤＭＡ
１０    ＣＰＵ
１１    キー入力部
１２    メモリ
１３    ＤＲＡＭ
１４    ＤＭＡ
１５    画像生成部
１６    ＤＭＡ
１７    ＤＭＡ
１８    表示部
１９    ＤＭＡ
２０    圧縮伸張部
２１    ＤＭＡ
２２    フラッシュメモリ
２３    顔検出部
２４    ＡＦ制御部
２５    バス
【図１】
0005029350.tif 000002
【図２】
0005029350.tif 000003
【図３】
0005029350.tif 000004