(57)【要約】【構成】  被写界像は、イメージセンサ２０から繰り返し出力される。ＣＰＵ３２は、イメージセンサ２０から出力される被写界像が撮像面を向く顔の画像を有するか否かを、シャッタボタン５２の半押しに先立って繰り返し判別する。判別結果を含む顔検出履歴は、ＣＰＵ３２によって顔検出履歴テーブルｔｂｌ１上に作成される。ＣＰＵ３２は、シャッタボタン５２が半押しされたとき、顔検出履歴テーブルｔｂｌ１に記述された顔検出履歴に基づいて顔画像位置を決定する。フォーカスなどの撮像条件は、決定された顔画像位置に注目して調整される。【効果】  顔画像に注目した撮像条件の良好な調整が可能となる。【選択図】  図１
2008187412.tif 000002
【特許請求の範囲】
【請求項１】
被写界像を繰り返し出力する撮像手段、
前記撮像手段から出力される被写界像が特定条件を満足する特徴画像を有するか否かを条件調整に先立って繰り返し判別する第１判別手段、
前記第１判別手段の判別結果を含む画像情報を作成する作成手段、
条件調整指示が発行されたとき前記作成手段によって作成された画像情報に基づいて特徴画像位置を決定する決定手段、および
前記決定手段によって決定された特徴画像位置に注目して撮像条件を調整する調整手段を備える、電子カメラ。
【請求項２】
前記作成手段によって作成された最新の画像情報が既定条件を満足するかを判別する第２判別手段をさらに備え、
前記決定手段は、前記第２判別手段の判別結果が肯定的であるとき前記作成手段によって作成された最新の画像情報に基づいて前記特徴画像位置を決定する第１位置決定手段、および前記第２判別手段の判別結果が否定的であるとき前記作成手段によって作成された他の画像情報に基づいて前記特徴画像位置を決定する第２位置決定手段を含む、請求項１記載の電子カメラ。
【請求項３】
前記第２位置決定手段によって注目される他の画像情報は前記既定条件を満足する画像情報である、請求項２記載の電子カメラ。
【請求項４】
前記既定条件は前記第１判別手段の判別結果が肯定的であるという条件を含む、請求項２または３記載の電子カメラ。
【請求項５】
前記作成手段は前記第１判別手段の判別結果が肯定的であるとき前記特徴画像の色を示す色情報を前記画像情報の要素として作成する色情報作成手段を含み、
前記既定条件は前記色情報が示す色が既定色範囲に属するという条件をさらに含む、請求項４記載の電子カメラ。
【請求項６】
前記作成手段は前記第１判別手段の判別結果が肯定的であるとき前記特徴画像の位置を示す位置情報を前記画像情報の要素として作成する位置情報作成手段を含む、請求項１ないし５のいずれかに記載の電子カメラ。
【請求項７】
前記特徴画像は人物の顔画像であり、前記特定条件は前記人物の顔が特定方向を向いているという方向条件を含む、請求項１ないし６のいずれかに記載の電子カメラ。
【請求項８】
前記顔画像に対応する顔までの距離および前記顔画像の色がポートレート条件を満足するときシーンをポートレートシーンとして決定するシーン決定手段をさらに備える、請求項７記載の電子カメラ。
【請求項９】
前記調整手段によって調整される撮像条件はフォーカスを含む、請求項１ないし８のいずれかに記載の電子カメラ。
【請求項１０】
前記第１判別手段はパターン認識を利用して判別処理を実行する、請求項１ないし９のいずれかに記載の電子カメラ。
【請求項１１】
前記作成手段は前記画像情報をテーブル上に履歴として作成する、請求項１または１０記載の電子カメラ。
【請求項１２】
被写界像を繰り返し出力する撮像手段を備える電子カメラのプロセサに、
前記撮像手段から出力される被写界像が特定条件を満足する特徴画像を有するか否かを条件調整に先立って繰り返し判別する第１判別ステップ、
前記第１判別ステップの判別結果を含む画像情報を作成する作成ステップ、
条件調整指示が発行されたとき前記作成ステップによって作成された画像情報に基づいて特徴画像位置を決定する決定ステップ、および
前記決定ステップによって決定された特徴画像位置に注目して撮像条件を調整する調整ステップを実行させるための、撮像制御プログラム。
【請求項１３】
被写界像を繰り返し出力する撮像手段を備える電子カメラの撮像制御方法であって、
前記撮像手段から出力される被写界像が特定条件を満足する特徴画像を有するか否かを条件調整に先立って繰り返し判別する第１判別ステップ、
前記第１判別ステップの判別結果を含む画像情報を作成する作成ステップ、
条件調整指示が発行されたとき前記作成ステップによって作成された画像情報に基づいて特徴画像位置を決定する決定ステップ、および
前記決定ステップによって決定された特徴画像位置に注目して撮像条件を調整する調整ステップを備える、撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特にたとえば人物の顔のような特徴部分に注目して撮像条件を調整する、電子カメラに関する。
【背景技術】
【０００２】
従来のこの種のカメラの一例が、特許文献１に開示されている。この従来技術によれば、撮影画像内の人物の顔のサイズが、合焦位置情報および画角情報に基づいて特定される。人物の顔を検出する処理は、特定されたサイズで規定される枠と、ユーザ固有のカスタマイズ情報などが収められたデータベースとを利用して実行される。撮影画像は、顔画像に対する各種補正処理を経てメモリカードに記録される。
【特許文献１】特開２００６−２５２３８号公報［H04N 5/232, G06T 7/00, H04N 5/ 225, G02B 7/28, G03B 13/36］
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来技術では、人物の顔が横を向いたり下を向いたりしたときに顔検出処理に失敗し、良好な画像が得られない可能性がある。
【０００４】
それゆえに、この発明の主たる目的は、特徴画像を重視して撮像条件を良好に調整することができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００５】
請求項１の発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、被写界像を繰り返し出力する撮像手段(14)、撮像手段から出力される被写界像が特定条件を満足する特徴画像を有するか否かを条件調整に先立って繰り返し判別する第１判別手段(S11, S13)、第１判別手段の判別結果を含む画像情報を作成する作成手段(S15, S17, S19)、条件調整指示が発行されたとき作成手段によって作成された画像情報に基づいて特徴画像位置を決定する決定手段(S65, S79)、および決定手段によって決定された特徴画像位置に注目して撮像条件を調整する調整手段(S35, S39)を備える。
【０００６】
被写界像は、撮像手段から繰り返し出力される。第１判別手段は、撮像手段から出力される被写界像が特定条件を満足する特徴画像を有するか否かを、条件調整に先立って繰り返し判別する。第１判別手段の判別結果を含む画像情報は、作成手段によって作成される。決定手段は、条件調整指示が発行されたとき、作成手段によって作成された画像情報に基づいて特徴画像位置を決定する。撮像条件は、決定手段によって決定された特徴画像位置に注目して、調整手段によって調整される。
【０００７】
このように、被写界像が特定条件を満足する特徴画像を有するか否かは、条件調整に先立って繰り返し判別される。条件調整指示が発行されると、これらの判別結果を含む画像情報に基づいて特徴画像位置が決定される。つまり、最新の判別結果が否定的であっても、他のいずれかの判別結果が肯定的であれば、特徴画像位置が決定される。これによって、特徴画像に注目した撮像条件の良好な調整が可能となる。
【０００８】
請求項２の発明に従う電子カメラは、請求項１に従属し、作成手段によって作成された最新の画像情報が既定条件を満足するかを判別する第２判別手段(S63)をさらに備え、決定手段は、第２判別手段の判別結果が肯定的であるとき作成手段によって作成された最新の画像情報に基づいて特徴画像位置を決定する第１位置決定手段(S65)、および第２判別手段の判別結果が否定的であるとき作成手段によって作成された他の画像情報に基づいて特徴画像位置を決定する第２位置決定手段(S79)を含む。
【０００９】
請求項３の発明に従う電子カメラは、請求項２に従属し、第２位置決定手段によって注目される他の画像情報は既定条件を満足する画像情報である。
【００１０】
請求項４の発明に従う電子カメラは、請求項２または３に従属し、既定条件は第１判別手段の判別結果が肯定的であるという条件を含む。
【００１１】
請求項５の発明に従う電子カメラは、請求項４に従属し、作成手段は第１判別手段の判別結果が肯定的であるとき特徴画像の色を示す色情報を画像情報の要素として作成する色情報作成手段(S133)を含み、既定条件は色情報が示す色が既定色範囲に属するという条件をさらに含む。
【００１２】
請求項６の発明に従う電子カメラは、請求項１ないし５のいずれかに従属し、作成手段は第１判別手段の判別結果が肯定的であるとき特徴画像の位置を示す位置情報を画像情報の要素として作成する位置情報作成手段(S17)を含む。
【００１３】
請求項７の発明に従う電子カメラは、請求項１ないし６のいずれかに従属し、特徴画像は人物の顔画像であり、特定条件は人物の顔が特定方向を向いているという方向条件を含む。
【００１４】
請求項８の発明に従う電子カメラは、請求項７に従属し、顔画像に対応する顔および顔画像の色がポートレート条件を満足するときシーンをポートレートシーンとして決定するシーン決定手段(S93)をさらに備える。
【００１５】
請求項９の発明に従う電子カメラは、請求項１ないし８のいずれかに従属し、調整手段によって調整される撮像条件はフォーカスを含む。
【００１６】
請求項１０の発明に従う電子カメラは、請求項１ないし９のいずれかに従属し、第１判別手段はパターン認識を利用して判別処理を実行する。
【００１７】
請求項１１の発明に従う電子カメラは、請求項１ないし１０のいずれかに従属し、作成手段は画像情報をテーブル上に履歴として作成する。
【００１８】
請求項１２の発明に従う撮像制御プログラムは、被写界像を繰り返し出力する撮像手段(14)を備える電子カメラ(10)のプロセサ(36)に、撮像手段から出力される被写界像が特定条件を満足する特徴画像を有するか否かを条件調整に先立って繰り返し判別する第１判別ステップ(S11, S13)、第１判別ステップの判別結果を含む画像情報を作成する作成ステップ(S15, S17, S19)、条件調整指示が発行されたとき作成ステップによって作成された画像情報に基づいて特徴画像位置を決定する決定ステップ(S65, S79)、および決定ステップによって決定された特徴画像位置に注目して撮像条件を調整する調整ステップ(S35, S39)を実行させるための、撮像制御プログラムである。
【００１９】
請求項１発明と同様、特徴画像に注目した撮像条件の良好な調整が可能となる。
【００２０】
請求項１３の発明に従う撮像制御方法は、被写界像を繰り返し出力する撮像手段(14)を備える電子カメラ(10)の撮像制御方法であって、撮像手段から出力される被写界像が特定条件を満足する特徴画像を有するか否かを条件調整に先立って繰り返し判別する第１判別ステップ(S11, S13)、第１判別ステップの判別結果を含む画像情報を作成する作成ステップ(S15, S17, S19)、条件調整指示が発行されたとき作成ステップによって作成された画像情報に基づいて特徴画像位置を決定する決定ステップ(S65, S79)、および決定ステップによって決定された特徴画像位置に注目して撮像条件を調整する調整ステップ(S35, S39)を備える。
【００２１】
請求項１発明と同様、特徴画像に注目した撮像条件の良好な調整が可能となる。
【発明の効果】
【００２２】
この発明によれば、被写界像が特定条件を満足する特徴画像を有するか否かは、条件調整に先立って繰り返し判別される。条件調整指示が発行されると、これらの判別結果を含む画像情報に基づいて特徴画像位置が決定される。つまり、最新の判別結果が否定的であっても、他のいずれかの判別結果が肯定的であれば、特徴画像位置が決定される。これによって、特徴画像に注目した撮像条件の良好な調整が可能となる。
【００２３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２４】
図１を参照して、この実施例のディジタルカメラ１０は、ズームレンズ１２，フォーカスレンズ１４，絞り機構１６およびシャッタ機構１８を含む。被写界の光学像は、これらの部材を介してイメージセンサ２０の撮像面に入射する。撮像面はＲ(Red)，Ｇ(Green)およびＢ(Blue)の色要素がモザイク状に配列された色フィルタ（図示せず）によって覆われており、光電変換によって生成される生画像信号の各画素は、Ｒ，ＧまたはＢの色情報を有する。
【００２５】
電源が投入されると、ＣＰＵ３２は、被写界のリアルタイム動画像（スルー画像）をモニタ４２に表示するべく、ＴＧ（Timing Generator）３０にプリ露光および間引き読み出しの繰り返しを命令し、ズーム回路３４のズーム倍率をスルー画像用の初期倍率に設定する。ＴＧ３０は、１／３０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答してイメージセンサ２０にプリ露光を施し、かつこれによって生成された生画像信号の一部をラスタ走査態様で読み出す。これによって、Ｒ，Ｇ，Ｒ，Ｇ，…のラインおよびＧ，Ｂ，Ｇ，Ｂ…のラインが交互に含まれる低解像度の生画像信号が、１／３０秒に１フレームの割合でイメージセンサ２０から出力される。
【００２６】
イメージセンサ２０から出力された各フレームの生画像信号は、ＣＤＳ／ＡＧＣ回路２２によってノイズ除去およびレベル調整を施される。Ａ／Ｄ変換器２４は、ＣＤＳ／ＡＧＣ回路２２から出力された生画像信号をディジタル信号である生画像データに変換する。電源が投入された当初、スイッチＳＷ１は端子Ｔ１と接続され、Ａ／Ｄ変換器２４から出力された生画像データはスイッチＳＷ１を介して信号処理回路２６に入力される。
【００２７】
信号処理回路２６は、図２に示すように構成される。生画像データを形成する各画素はＲ，ＧおよびＢのいずれか１つの色情報しか持たないため、まず色分離回路２６ａによって各画素が不足する色情報が補間される。白バランス調整回路２６ｂは色分離回路２６ａから出力された補間画像データに白バランス調整を施す。白バランス調整が施された補間画像データは、ＹＵＶ変換回路２６ｃによってＹＵＶデータに変換される。生成されたＹＵＶデータは、Ｙ：Ｕ：Ｖ＝４：２：２の比率を有する。
【００２８】
白バランス調整回路２６ｂから出力された補間画像データは積分回路２６ｄにも入力され、ＹＵＶ変換回路２６ｃから出力されたＹＵＶデータを形成するＹデータもまた積分回路２６ｅに与えられる。図３を参照して、被写界（画面）は、垂直方向および水平方向の各々において１６分割され、画面上には２５６個のブロックが形成されている。各ブロックには、垂直位置番号ｉ（＝０〜１５）および水平位置番号ｊ（＝０〜１５）が割り当てられる。
【００２９】
積分回路２６ｄは、補間画像データを形成するＲデータ，ＧデータおよびＢデータの各々をブロック毎に積分し、積分回路２６ｅは、Ｙデータをブロック毎に積分する。これによって、Ｒデータに関する２５６個の積分値ｒ（ｉ，ｊ），Ｇデータに関する２５６個の積分値ｇ（ｉ，ｊ）およびＢデータに関する２５６個の積分値ｂ（ｉ，ｊ）が積分回路２６ｄから１フレーム期間毎に出力され、Ｙデータに関する２５６個の積分値ｙ（ｉ，ｊ）が積分回路２６ｅから１フレーム期間毎に出力される。
【００３０】
ＹＵＶ変換回路２６ｃから出力されたＹデータは、ＨＰＦ２６ｆにも与えられる。ＨＰＦ２６ｆは、与えられたＹデータの高域周波数成分を抽出し、抽出された高域周波数成分を積分回路２６ｇに与える。積分回路２６ｇは、与えられた高域周波数成分のうちＣＰＵ３２によって設定されたＡＦエリアに属する高周波成分を１フレーム期間毎に積分する。これによって、フォーカス評価値ｆｃｓが１フレーム期間毎に積分回路２６ｇから出力される。
【００３１】
図１に戻って、信号処理回路２６から出力されたＹＵＶデータは、ズーム回路３４で設定倍率に従うズーム処理を施された後、メモリ制御回路３６によってＳＤＲＡＭ３８の表示画像エリア３８ａ（図４参照）に書き込まれる。表示画像エリア３８ａに格納されたＹＵＶデータは、水平６４０画素×垂直４８０ラインの解像度を有する。ビデオエンコーダ４０は、このようなＹＵＶデータをメモリ制御回路３６を通して表示画像エリア３８ａから読み出し、読み出されたＹＵＶデータをコンポジットビデオ信号にエンコードする。エンコードされたコンポジットビデオ信号はモニタ４２に与えられ、この結果、スルー画像がモニタ画面に表示される。
【００３２】
図２に示す積分回路２６ｅから出力された２５６個の積分値ｙ（ｉ，ｊ）は、ＣＰＵ３２によって取り込まれ、レジスタｒｇｓｔ１に設定される。積分値ｙ（ｉ，ｊ）は１フレーム期間毎に生成されるため、レジスタｒｇｓｔ１の設定値は１フレーム期間毎に更新される。ＣＰＵ３２は、レジスタｒｇｓｔ１に設定された積分値ｙ（ｉ，ｊ）に基づいて、ＴＧ３０に設定されたプリ露光期間を調整する。この結果、モニタ画面に表示されたスルー画像の明るさが適度に調整される。
【００３３】
ズームボタン５４が操作されると、対応する状態信号がシステムコントローラ５０からＣＰＵ３２に与えられる。ＣＰＵ３２はドライバ２８ａを制御し、これによってズームレンズ１２が光軸方向に移動する。ズームレンズ１２がテレ端に到達してもなおズームボタン５４が操作され続けた場合、ＣＰＵ３２は、ズーム回路３４の設定倍率を増大させる。
モニタ４２に表示されたスルー画像の倍率は、ズームボタン５４の操作に応答して変化する。
【００３４】
シャッタボタン５２が非操作状態にあるとき、ＣＰＵ３２は、図５に示す顔検出履歴テーブルｔｂｌ１に顔検出履歴を記述する履歴作成処理を実行する。まず、表示画像エリア３８ａに格納されたＹＵＶデータに注目したパターン認識処理が実行される。パターン認識処理は、人物の目，鼻，口に相当する辞書データを注目するＹＵＶデータと照合する処理であり、これによって被写界像から人物の顔画像が検出される。
【００３５】
ただし、人物の顔の向きは、図６（Ａ）〜図６（Ｆ）に示すように様々な方向を向く。この実施例のパターン認識処理では、図６（Ａ）または図６（Ｆ）に示す顔は認識できるが、図６（Ｂ）〜図（Ｅ）の各々に示す顔は認識できない。つまり、被写界内の人物が図７（Ｂ）に示す姿勢をとる場合はパターン認識に成功するが、被写界内の人物が図７（Ａ），図７（Ｃ）または図７（Ｄ）に示す姿勢をとる場合はパターン認識に失敗する。
【００３６】
パターン認識に成功すれば、“顔あり”を示す顔情報と顔画像を囲む矩形枠ＦＲＭ（図７（Ｂ）参照）の対角座標を示す位置情報とが顔検出履歴テーブルｔｂｌ１の指定コラムに登録される。パターン認識に失敗すれば、“顔なし”を示す顔情報が顔検出履歴テーブルｔｂｌ１の指定コラムに登録される。
【００３７】
パターン認識処理に用いられる辞書データ（パターンデータ）を記憶する容量には限界があり、人物の顔の場合、全ての顔の大きさや向きに対応した辞書データを記憶することは困難である。また、辞書データのデータ量が増大すると、パターン認識処理に時間がかかり、操作性が低下する。かかる理由から、人物の顔が被写界内に存在する場合でも、この顔の認識に失敗することがある。
【００３８】
図６（Ａ）または図６（Ｆ）に示すように顔がほぼ正面（撮像面）を向いていれば、つまり顔の向きが特定方向であれば、パターン認識に成功する。これに対して、図６（Ｂ）〜図６（Ｅ）に示すように顔が横や下を向いていれば、つまり顔の向きが特定方向と異なれば、パターン認識に失敗する。換言すれば、図６（Ａ）または図６（Ｆ）は人物の顔が方向条件を満足する場合であり、図６（Ｂ）〜図６（Ｅ）は人物の顔が方向条件を満足しない場合である。
【００３９】
なお、この実施例では、大きな顔も小さな顔も認識できるように互いに異なる大きさの顔に対応したデータを辞書データとして記憶しており、かかる理由から矩形枠ＦＲＭの対角座標を示す位置情報を顔検出履歴テーブルｔｂｌ１に登録するようにしている。対角座標に代えて、矩形枠ＦＲＭの中心座標と矩形枠ＦＲＭの水平サイズおよび垂直サイズを位置情報として登録してもよい。また、認識すべき顔の大きさが１つであれば、矩形枠ＦＲＭを形成する四隅の１つの座標または矩形枠ＦＲＭの中心座標を位置情報として登録すればよい。
【００４０】
図５から分かるように、顔検出履歴テーブルｔｂｌ１はＣｍａｘ＋１個のコラムを有し、指定コラムは循環的に更新される。また、上述のパターン認識処理は３フレーム期間（＝１／１０秒）毎に実行される。したがって、顔検出履歴テーブルｔｂｌ１には、シャッタボタン５２が操作される前の（Ｃｍａｘ＋１）／１０秒間に作成されたＣｍａｘ＋１個の顔検出履歴が記述される。
【００４１】
シャッタボタン５２が半押しされると、ＣＰＵ３２は、顔検出履歴テーブルｔｂｌ１に記述された顔検出履歴に基づいて顔位置を決定する。より詳しくは、最新の顔検出履歴（シャッタボタン５２が半押しされた時点の顔検出履歴）の顔情報が“顔あり”を示していれば、最新の顔検出履歴の位置情報によって示される位置が顔位置として決定される。一方、最新の顔検出履歴の顔情報が“顔なし”を示していれば、他のＣｍａｘ個の顔検出履歴の中から“顔あり”を示す顔情報を含む最新の顔検出履歴が検索される。検索に成功すると、発見された顔検出履歴の位置情報によって示される位置が顔位置として決定される。
【００４２】
フォーカス調整は、決定された顔位置に注目して実行される。つまり、決定された顔位置を囲う矩形枠に相当するＡＦエリアが図２に示す積分回路２６ｇに設定され、積分回路２６ｇから出力されたフォーカス評価値ｆｃｓを参照した山登りＡＦ処理が実行される。フォーカスレンズ１４はドライバ２８ｂによって光軸方向に移動し、フォーカスはＡＦエリアに属する主要被写体つまり人物の顔に合わせられる。
【００４３】
なお、顔位置を決定できなかったときは、被写界の中央位置を覆うＡＦエリアが図２に示す積分回路２６ｇに設定され、中央位置の被写体にフォーカスが合わせられる。
【００４４】
顔位置が決定され、フォーカスが人物の顔に合わせられた場合、この人物の顔がポートレート条件を満足するか否かが確認される。ポートレート条件としては、被写界の輝度が閾値（＝６ＥＶ）以上であること、ＡＦエリアに属する被写体（人物の顔）までの距離が既定範囲（＝１ｍ〜２ｍ）に属すること、およびＡＦエリアに属する被写体の色が肌色であることが課せられる。このようなポートレート条件が満足されると、被写界シーンはポートレートシーンとして確定する。これに対して、ポートレート条件が満足されなければ、被写界シーンは“不定”として確定する。
【００４５】
なお、顔位置を決定できず、フォーカスが中央の被写体に合わせられた場合は、他のシーン条件を満足するか否かが確認される。被写界シーンは風景シーンまたは夜景シーンに確定するか、あるいは“不定”として確定する。
【００４６】
こうして被写界シーンが確定すると、確定した被写界シーンに応じたＡＥ処理が実行される。ポートレートシーンに確定すると、ＣＰＵ３２は、背景がぼけるようにプログラム線図を補正し、人物の肌色の変化が抑えられるように白バランス調整ゲインを補正する。これによって、撮影モードがポートレートモードとなる。風景シーンに確定すると、ＣＰＵ３２は、遠景が鮮明に撮影されるようにプログラム線図を補正し、空色が映えるように白バランス調整ゲインを補正する。これによって、撮影モードが風景モードとなる。夜景シーンに確定すると、ＣＰＵ３２は、イルミネーションが際立つようにプログラム線図を補正する。これによって、撮影モードが夜景モードとなる。
【００４７】
いずれのシーンに確定しても、プログラム線図が補正される。このため、被写界シーンが確定した後、ＣＰＵ３２は、積分回路２６ｅから出力された積分値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ）およびｂ（ｉ，ｊ）ならびに積分回路２６ｅから出力された積分値ｙ（ｉ，ｊ）をレジスタｒｇｓｔ２に取り込み、レジスタｒｇｓｔ２に設定された積分値ｙ（ｉ，ｊ）と補正されたプログラム線図とに基づいてＡＥ処理を実行する。これによって、絞り量および露光時間が正確に調整される。
【００４８】
ＡＥ処理が完了した後にシャッタボタン５２が全押しされると、対応する状態信号がシステムコントローラ５０からＣＰＵ３２に与えられる。ＣＰＵ３２は、撮影処理を実行する。具体的には、ＣＰＵ３２は、本露光をＴＧ３０に命令し、ＴＧ３０による本露光が完了した時点でドライバ２８ｄによってシャッタ機構１６を駆動する。シャッタ機構１６の駆動によって、イメージセンサ２０への入射光が遮断される。ＣＰＵ３２はまた、本露光によって得られた１フレーム分の生画像信号をイメージセンサ２０から出力するべく、ＴＧ３０に全画素読み出しを命令する。これによって、高解像度の生画像信号がインタレーススキャン方式でイメージセンサ２０から読み出される。
【００４９】
読み出された生画像信号はＣＤＳ／ＡＧＣ回路２２およびＡ／Ｄ変換器２４で上述と同様の処理を施され、これによって生成された生画像データはメモリ制御回路３６によってＳＤＲＡＭ３８の生画像エリア３８ｂ（図４参照）に書き込まれる。この生画像データはインタレーススキャン信号であるため、生画像エリア３８ｂの前半に奇数フィールド信号が格納され、生画像エリア３８ｂの後半に偶数フィールド信号が格納される。つまり、生画像エリア３８ｂの中に、奇数フィールドエリアおよび偶数フィールドエリアが形成される。
【００５０】
生画像エリア３８ｂへの書き込みが完了した後、メモリ制御回路３６は、当該生画像データを奇数フィールドエリアおよび偶数フィールドエリアから１ライン毎に交互に読み出す。これによって、インタレーススキャンデータがプログレッシブスキャンデータに変換される。スイッチＳＷ１は、シャッタボタン５２が全押しされた時点で端子Ｔ２と接続される。このため、メモリ制御回路３６によって読み出された生画像データは、スイッチＳＷ１を介して信号処理回路２６に与えられる。信号処理回路２６では、色分離，白バランス調整およびＹＵＶ変換の一連の処理が実行され、これによって高解像度のＹＵＶデータが生成される。
【００５１】
ズーム回路３４のズーム倍率は、シャッタボタン５４が全押しされた時点でフリーズ画像用の倍率に設定される。このため、信号処理回路２６から出力されたＹＵＶデータは設定倍率に従う縮小ズーム処理を施され、ズーム回路３４から出力されたＹＵＶデータはメモリ制御回路３６によって図４に示す表示画像エリア３８ａに書き込まれる。これ以降はスルー画像を表示するときと同じ処理が行われ、これによってシャッタボタン５２が操作された時点のフリーズ画像がモニタ４２に表示される。
【００５２】
信号処理回路２６から出力されたＹＵＶデータはまた、そのままメモリ制御回路３６に与えられ、ＳＤＲＡＭ３８の主画像エリア３８ｃ（図４参照）に書き込まれる。主画像エリア３８ｃに格納されたＹＵＶデータはその後、メモリ制御回路３６によってＪＰＥＧコーデック４４に与えられる。ＪＰＥＧコーデック４４は、与えられたＹＵＶデータをＪＰＥＧフォーマットに従って圧縮し、圧縮ＹＵＶデータつまりＪＰＥＧデータを生成する。生成されたＪＰＥＧデータは、メモリ制御回路３６によってＳＤＲＡＭ３８のＪＰＥＧエリア３８ｄ（図４参照）に書き込まれる。
【００５３】
こうして撮影処理が完了すると、ＣＰＵ３２は、記録処理を実行する。具体的には、ＣＰＵ３２は、メモリ制御回路３６を介してＳＤＲＡＭ３８にアクセスし、ＪＰＥＥＧデータをＪＰＥＧエリア３８ｄから読み出す。ＣＰＵ３２はさらに、読み出されたＪＰＥＧデータは、ファイル形式で記録媒体４８に記録される。なお、記録媒体４８は着脱自在であり、記録媒体４８へのアクセスはＩ／Ｆ４６を介して行われる。
【００５４】
ＣＰＵ３２は、電源が投入されたとき図８に示す履歴作成処理を実行し、さらにシャッタボタン５２が半押しされたとき図９〜図１１に示すタスク処理を実行する。なお、これらの処理に対応する制御プログラムは、フラッシュメモリ５６に記憶される。
【００５５】
図８を参照して、ステップＳ１では図５に示す顔検出履歴テーブルｔｂｌ１上のコラムの１つを指定するための変数Ｍを“０”に設定する。ステップＳ３では垂直同期信号Ｖｓｙｎｃが３回発生したか否かを判別し、ステップＳ５ではシャッタボタン５２が半押しされたか否かを判別する。ステップＳ３でＹＥＳであればステップＳ１１以降の処理に進む。これに対して、シャッタボタン５２が半押しされると、ステップＳ５からステップＳ７に進み、図９〜図１１に示すタスク処理を実行し履歴作成処理を終了する。その後、シャッタボタン５２が全押しされれば、若しくはされていれば撮影処理と記録処理を行い、その後履歴作成処理を再開する。また、シャッタボタン５２の半押しが解除されると履歴作成処理を再開する。
【００５６】
ステップＳ１１では、被写界像から人物の顔画像を検出するべく、人物の目，鼻，口に注目したパターン認識処理を実行する。この処理では、図４に示す表示画像エリア３８ａに格納されたＹＵＶデータが参照される。ステップＳ１３では、パターン認識に成功したか否か（被写界に人物の顔が存在するか否か）を判別する。ここでＮＯであれば、ステップＳ１９で“顔なし”を示す顔情報を顔検出履歴テーブルｔｂｌ１のコラムＭに記述し、その後にステップＳ２１に進む。ステップＳ１３でＹＥＳであれば、ステップＳ１５で“顔あり”を示す顔情報をコラムＭに記述し、ステップＳ１７で顔が属する矩形枠ＦＲＭの対角座標（左上ＸＹ座標，右下ＸＹ座標）をコラムＭに記述し、その後にステップＳ２１に進む。
【００５７】
ステップＳ２１では、変数Ｍをインクリメントする。ただし、インクリメントされた変数Ｍが最大コラム番号Ｃｍａｘを上回るときは、変数Ｍを“０”に戻す。こうして、変数Ｍが循環的に更新される。ステップＳ２１の処理が完了すると、ステップＳ３に戻る。
【００５８】
図９を参照して、ステップＳ３１では顔位置決定処理を実行する。顔位置決定処理は顔検出履歴テーブルｔｂｌ１を参照して実行され、顔位置が決定されればフラグＦｆａｃｅが“１”に設定される一方、顔位置が決定されなければフラグＦｆａｃｅが“０”に設定される。ステップＳ３３では、このようなフラグＦｆａｃｅの状態を判別する。Ｆｆａｃｅ＝１であればステップＳ３５で顔認識用のＡＦ設定を行い、Ｆｆａｃｅ＝０であればステップＳ３７で通常のＡＦ設定を行う。図２に示す積分回路２６ｇに設定されるＡＦエリアは、ステップＳ３５の処理が実行されたとき顔位置に合わせられる一方、ステップＳ３７の処理が実行されたとき中央位置に合わせられる。ステップＳ３９では、設定されたＡＦエリアに属する被写体に合焦するようＡＦ処理を実行する。ステップＳ３５の処理が実行されたとき、フォーカスは人物の顔に合わせられる。  
【００５９】
ステップＳ４１ではＡＦ処理に成功したか否か（フォーカスレンズ１４が合焦位置に設定されたか否か）を判別し、ＮＯであればそのままステップＳ４９に進む一方、ＹＥＳであればステップＳ４３〜Ｓ４７の処理を経てステップＳ４９に進む。ステップＳ４３では、フラグＦｆａｃｅの状態を再度判別する。Ｆｆａｃｅ＝１であればステップＳ４５でポートレート条件確認処理を実行し、Ｆｆａｃｅ＝０であればステップＳ４７でその他のモード条件確認処理を実行する。
【００６０】
ステップＳ４９では、図２に示す積分回路２６ｄおよび２６ｅから出力された積分値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ）およびｙ（ｉ，ｊ）をレジスタｒｇｓｔ２に取り込む。ステップＳ５１では、取り込まれた積分値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ）およびｂ（ｉ，ｊ）に基づいて風景用の空色検出を実行する。ステップＳ５３では、取り込まれた積分値ｙ（ｉ，ｊ）に基づいて夜景用の高低輝度検出を実行する。ステップＳ５１で検出された空色は被写界シーンが風景シーンに確定したときに参照され、ステップＳ５３で検出された高低輝度は被写界シーンが夜景シーンに確定したときに参照される。ステップＳ５３の処理が完了すると、ステップＳ５５で顔検出履歴テーブルｔｂｌ１をクリアする。ステップＳ５７では確定した被写界シーンに対応するＡＥ処理を実行し、その後にタスク処理を終了する。
【００６１】
図９に示すステップＳ３１の顔位置決定処理は、図１０に示すサブルーチンに従って実行される。まずステップＳ６１で、シャッタボタン５２が半押しされた時点で注目されていたコラム番号（＝Ｍ）を変数Ｎに設定する。ステップＳ６３では、コラムＮの顔検出履歴を形成する顔情報が“顔あり”であるか否かを判別する。ＹＥＳであればステップ６５に進み、コラムＮの位置情報によって定義される位置を顔位置として決定する。ステップＳ６７ではフラグＦｆａｃｅを“１”に設定し、その後上階層のルーチンに復帰する。
【００６２】
ステップＳ６３でＮＯであれば、ステップＳ６９で変数Ｎを変数Ｎｉｎｉｔに退避させ、ステップＳ７１で変数Ｎをディクリメントする。ただし、ディクリメントされた変数Ｎが“−１”であれば変数Ｎは最大コラム番号Ｃｍａｘに変更される。ステップＳ７３では、更新された変数Ｎが変数Ｎｉｎｉｔに等しいか否かを判別し、ＮＯであればステップＳ７７で上述のステップＳ６３と同様の処理を実行する。
【００６３】
ステップＳ７７でＮＯであればステップＳ７１に戻る一方、ＹＥＳであればステップＳ７９〜Ｓ８０で上述のステップＳ６５〜Ｓ６７と同様の処理を実行してから上階層のルーチンに復帰する。ステップＳ７３でＹＥＳと判断されたときは、顔検出履歴テーブル３６ｔに登録された顔情報はすべて“顔なし”を示すとみなし、ステップＳ７５でフラグＦｆａｃｅを“０”に設定してから上階層のルーチンに復帰する。
【００６４】
図９に示すステップＳ４５のポートレート条件確認処理は、図１１に示すサブルーチンに従って実行される。まずステップＳ８１で、レジスタｒｇｓｔ１に設定された積分値ｙ（ｉ，ｊ）に基づいて被写界の輝度を検出する。ステップＳ８３では、取得された輝度が閾値（＝６ＥＶ）以上であるか否かを判別し、ＮＯであればステップＳ９５で被写界シーンを“不定”に確定させる一方、ＹＥＳであればステップＳ８５に進む。
【００６５】
ステップＳ８５では、決定された顔位置に属する被写体（人物の顔）までの距離をフォーカスレンズ１４の合焦位置に基づいて算出し、ステップＳ８７では算出された距離が既定範囲内（１ｍ〜２ｍ）に属するか否かを判別する。ここでＮＯであればステップＳ９５に進む一方、ＹＥＳであればステップＳ８９に進む。
【００６６】
ステップＳ８９では、決定された顔位置に属する被写体（人物の顔）の色が肌色である可能性を判別するべく、肌色判別処理を実行する。この結果、注目する被写体の色が肌色である可能性が算出される。ステップＳ９１では算出された可能性が閾値ＴＨを上回るか否かを判別し、ＮＯであればステップＳ９５に進む一方、ＹＥＳであればステップＳ９３で被写界シーンをポートレートシーンに確定させる。ステップＳ９３またはＳ９５の処理が完了すると、上階層のルーチンに復帰する。
【００６７】
肌色判別処理は、図１２に示すサブルーチンに従って実行される。ステップＳ１０１では、顔位置に相当する矩形枠ＦＲＭのサイズに基づいて探索画素ステップを算出する。探索画素は、算出された探索画素ステップ（画素数）おきに指定される。ステップＳ１０３では肌色を有する画素をカウントするための変数ＣＮＴを“０”に設定し、ステップＳ１０５では垂直方向の画素数をカウントするための変数Ｖを“０”に設定し、そしてステップＳ１０７では水平方向の画素数をカウントするための変数Ｈを“０”に設定する。
【００６８】
ステップＳ１０９では、ステップＳ１０１で算出された探索画素ステップと変数ＨおよびＶとに基づいて探索画素のアドレスを算出し、ステップＳ１１１では、算出されたアドレスから１画素分のＹＵＶデータを読み出す。ステップＳ１１３では、読み出されたＹＵＶデータによって再現される色が肌色の範囲に属するか否かを判別し、ＮＯであればそのままステップＳ１１７に進む一方、ＹＥＳであればステップＳ１１５で変数ＣＮＴをインクリメントしてからステップＳ１１７に進む。
【００６９】
ステップＳ１１７では変数Ｈをインクリメントし、ステップＳ１１９ではインクリメントされた変数Ｈが既定の最大値Ｈｍａｘを上回るか否かを判別する。ここでＮＯであればステップＳ１０９に戻る一方、ＹＥＳであればステップＳ１２１で変数Ｖをインクリメントする。ステップＳ１２３ではインクリメントされた変数Ｖが既定の最大値Ｖｍａｘを上回るか否かを判別し、ＮＯであればステップＳ１０７に戻る一方、ＹＥＳであればステップＳ１２５に進む。ステップＳ１２５では注目する矩形枠ＦＲＭに属する色が肌色である可能性を変数ＣＮＴに基づいて算出し、算出処理が完了すると上階層のルーチンに復帰する。
【００７０】
以上の説明から分かるように、被写界像は、イメージセンサ２０から繰り返し出力される。ＣＰＵ３２は、イメージセンサ２０から出力される被写界像が撮像面を向く顔の画像（特定条件を満足する特徴画像）を有するか否かを、シャッタボタン５２の半押し（条件調整指示）に先立って繰り返し判別する(S11, S13)。判別結果を含む顔検出履歴（画像情報）は、ＣＰＵ３２によって顔検出履歴テーブルｔｂｌ１上に作成される(S15, S17, S19)。ＣＰＵ３２は、シャッタボタン５２が半押しされたとき、顔検出履歴テーブルｔｂｌ１に記述された顔検出履歴に基づいて顔画像位置を決定する。フォーカスなどの撮像条件は、決定された顔画像位置に注目して調整される(S35, S39)。
【００７１】
このように、被写界像が撮像面を向く顔の画像を有するか否かは、シャッタボタン３２の半押しに先立って繰り返し判別される。シャッタボタン３２が半押しされると、これらの判別結果を含む顔検出履歴に基づいて顔画像位置が決定される。つまり、最新の判別結果が否定的であっても、他のいずれかの判別結果が肯定的であれば、顔画像位置が決定される。これによって、顔画像に注目した撮像条件の良好な調整が可能となる。
【００７２】
なお、この実施例では、顔検出履歴を形成する情報は、“顔あり”または“顔なし”を示す顔情報と顔画像を囲う矩形枠ＦＲＭの位置情報であるが、顔の色情報（アジア系の肌の色／アングロサクソン系の肌の色／アフリカ系の肌の色）をこれに追加するようにしてもよい。この場合、顔検出履歴テーブルｔｂｌ１は図１３に示すように構成する必要がある。さらに、図１４に示すステップＳ１３１およびＳ１３３を図８に示すステップＳ１７とステップＳ２１との間に挿入し、図１０に示すステップＳ６３の判別処理と並行して図１５に示すステップＳ１４１の判別処理を実行し、図１０に示すステップＳ７７の判別処理の後に図１６に示すステップＳ１４３の判別処理を実行する必要がある。
【００７３】
図１４を参照して、ステップＳ１３１では顔画像の色が上述の３つの色のいずれであるかが判別される。ステップＳ１３３では判別された色を示す色情報がコラムＭに記述される。図１５を参照して、ステップＳ６３でＹＥＳであればコラムＮの色情報がアジア系の肌の色であるか否かがステップＳ１４１で判別され、ＮＯであればステップＳ６９に進む一方、ＹＥＳであればステップＳ６５に進む。図１６を参照して、ステップＳ７７でＹＥＳであればコラムＮの色情報がアジア系の肌の色であるか否かがステップＳ１４３で判別され、ＮＯであればステップＳ７１に戻る一方、ＹＥＳであればステップＳ７９に進む。これによって、アジア系の顔を撮影するときの顔認識の精度を向上させることができる。
【００７４】
なお、アングロサクソン系の顔を撮影するときの顔認識の精度を向上させたいときは、コラムＮの色情報がアングロサクソン系の肌の色であるか否かをステップＳ１４１およびＳ１４３で判別するようにすればよく、アフリカ系の顔を撮影するときの顔認識の精度を向上させたいときは、コラムＮの色情報がアフリカ系の肌の色であるか否かをステップＳ１４１およびＳ１４３で判別するようにすればよい。
【００７５】
また、この実施例では、“顔あり”を示す顔情報を含む最新の顔検出履歴が検出されたとき、この顔検出履歴を形成する位置情報が示す位置を顔位置として決定するようにしておるが、“顔あり”を連続して示す複数（たとえば８個）の顔検出履歴が検出されたときに、これらの顔検出履歴内の位置情報が示す位置の平均位置を顔位置として決定するようにしてもよい。この場合、図１０に示すステップＳ７７およびＳ７９の間に図１７に示すステップＳ１５１およびＳ１５３を追加する必要がある。
【００７６】
図１０を参照して、ステップＳ７７でＹＥＳであれば、コラムＮに先行する７個のコラムの顔情報が全て“顔あり”を示すか否かを判別する。ここでＮＯであればステップＳ７９に進む一方、ＹＥＳであればステップＳ１５３に進む。ステップＳ１５３では、コラムＮおよびこれに先行する７個のコラムの位置情報によって示される８個の位置の平均位置を顔位置として決定する。ステップＳ１５３の処理が完了すると、ステップＳ８０に進む。これによって、顔位置の決定動作がより安定する。
【００７７】
なお、この実施例では、人物の顔画像を特徴画像とするようにしているが、犬や猫のような動物の画像を特徴画像としたり、スポーツで用いるボールの画像を特徴画像とするようにしてもよい。
【００７８】
また、この実施例では、図８に示すステップＳ１１のパターン認識処理をシャッタボタン５２の半押しに先立って実行するようにしているが、パターン認識処理はシャッタボタン５２が半押しされた後に実行するようにしてもよく、この場合、シャッタボタン５２が全押しされるまでの間、履歴作成処理を継続すると共に顔位置決定処理を定期的に実行することにより、シャッタボタン５２が半押しされた後でも顔位置の変動に対応させることが可能となる。
【図面の簡単な説明】
【００７９】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】図１実施例に適用される信号処理回路の構成の一例を示すブロック図である。
【図３】被写界に割り当てられる複数のブロックを示す図解図である。
【図４】図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図５】図１実施例に適用される顔検出履歴テーブルの一例を示す図解図である。
【図６】（Ａ）はパターン認識できる顔の向きの一例を示す図解図であり、（Ｂ）パターン認識できない顔の向きの一例を示す図解図であり、（Ｃ）はパターン認識できない顔の向きの他の一例を示す図解図であり、（Ｄ）はパターン認識できない顔の向きのその他の一例を示す図解図であり、（Ｅ）はパターン認識できない顔の向きのさらにその他の一例を示す図解図であり、そして（Ｆ）はパターン認識できる顔の向きの他の一例を示す図解図である。
【図７】（Ａ）は被写界像の一例を示す図解図であり、（Ｂ）は被写界像の他の一例を示す図解図であり、（Ｃ）は被写界像のその他の一例を示す図解図であり、そして（Ｄ）は被写界像のさらにその他の一例を示す図解図である。
【図８】図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図９】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１０】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１１】図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１２】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】この発明の他の実施例に適用される顔履歴検出テーブルの一例を示すフロー図である。
【図１４】この発明の他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】この発明の他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】この発明の他の実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】この発明の他の実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【符号の説明】
【００８０】
１０  …ディジタルカメラ
２０  …イメージセンサ
２６  …信号処理回路
３２  …ＣＰＵ
３６  …メモリ制御回路
３８  …ＳＤＲＡＭ
４２  …モニタ
【図１】
2008187412.tif 000003
【図２】
2008187412.tif 000004
【図３】
2008187412.tif 000005
【図４】
2008187412.tif 000006
【図５】
2008187412.tif 000007
【図６】
2008187412.tif 000008
【図７】
2008187412.tif 000009
【図８】
2008187412.tif 000010
【図９】
2008187412.tif 000011
【図１０】
2008187412.tif 000012
【図１１】
2008187412.tif 000013
【図１２】
2008187412.tif 000014
【図１３】
2008187412.tif 000015
【図１４】
2008187412.tif 000016
【図１５】
2008187412.tif 000017
【図１６】
2008187412.tif 000018
【図１７】
2008187412.tif 000019