(57)【要約】【課題】本発明は、顔認識した領域をＡＦ、ＡＥ、又はＡＷＢの用途で用いる場合において被写体を適切な設定条件下で撮影させる画像記録装置及び画像記録処理方法を提供することを目的とする。【解決手段】撮影モードにおいて、撮像手段を通じて被写体画像を取り込み、この被写体画像に対して逐次顔認識処理を施すことにより上記画像中の顔の領域を追跡する顔領域追跡し、追跡されている顔の領域の画像中の位置を示す情報を履歴としてメモリに保持する。そしてユーザがレリーズ釦を操作すると、履歴保持していた情報に基づいて、被写体画像上の顔の移動先の位置を推定演算し、該推定演算により得た顔の推定位置においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理の内の少なくとも一つの処理を行い、それから撮像手段に記録用の被写体画像を取り込ませる構成とする。【選択図】      図１
2009077321.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を通じて被写体画像を取り込み、ユーザからの本番撮影を指示する入力信号を検出した場合に前記被写体画像を記録する画像記録装置であって、
前記被写体画像に対して逐次顔認識処理を施すことにより前記被写体画像中の顔の領域を追跡する顔領域追跡手段と、
前記顔領域追跡手段により追跡されている顔の領域の、前記被写体画像中の位置を示す情報を履歴保持する履歴保持手段と、
前記ユーザからの本番撮影を指示する入力信号を検出した場合に、前記履歴保持手段にある位置を示す情報に基づいて、前記撮像手段により取り込まれてくる被写体画像上の顔の移動先の位置を推定演算し、該推定演算により得た顔の推定位置においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理の内の少なくとも一つの処理を行い、それから前記撮像手段に記録用の被写体画像を取り込ませる制御手段と、
を有することを特徴とする画像記録装置。
【請求項２】
前記制御手段は、
前記ユーザからの本番撮影を指示する入力信号を検出した場合に、前記履歴保持手段にある位置を示す情報に基づいて、前記撮像手段により取り込まれてくる被写体画像上の顔の移動先の位置を推定演算し、前記推定演算により得た顔の推定位置が前記記録用の被写体画像の範囲内に収まるか否かを判定し、前記記録用の被写体画像の範囲から外れる場合に警告情報を出力手段に出力させる、
ことを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記制御手段は、
前記ユーザからの本番撮影を指示する入力信号を検出した場合に、前記履歴保持手段にある位置を示す情報に基づいて、前記撮像手段により取り込まれてくる被写体画像上の顔の移動先の位置を推定演算し、前記推定演算により得た顔の推定位置が前記記録用の被写体画像の範囲内に収まるか否かを判定し、前記記録用の被写体画像の範囲から外れる場合にズームを広角側に移動し、前記推定演算により得た顔の推定位置においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理の内の少なくとも一つの処理を行い、それから前記撮像手段に記録用の被写体画像を取り込ませる、
ことを特徴とする請求項１に記載の画像記録装置。
【請求項４】
前記制御手段は、前記ユーザからの本番撮影を指示する入力信号を検出した場合に、更に、前記履歴保持手段にある位置を示す情報に基づいて前記顔の移動速度を計算してシャッタースピードを調節する、
ことを特徴とする請求項１乃至３の内の何れか一つに記載の画像記録装置。
【請求項５】
撮像手段を通じて取り込んだ被写体画像を記録媒体に記録するときの画像記録処理方法であって、
前記被写体画像に対して逐次顔認識処理を施すことにより前記被写体画像中の顔の領域を追跡すると共に、該顔の領域の、前記被写体画像中の位置を示す情報を一時記憶部で履歴保持し、
前記ユーザからの本番撮影を指示する入力があるまで待機し、
前記入力を検出した場合に、
前記一時記憶部で履歴保持している前記位置を示す情報に基づいて、前記撮像手段により取り込まれてくる前記被写体画像上の顔の移動先の位置を推定演算し、
前記推定演算により得た顔の推定位置においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理の内の少なくとも一つの処理を行い、
前記撮像手段を通じて被写体画像を取り込んで前記記録媒体に記録する、
ことを特徴とする画像記録処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラを代表とする、オートフォーカス（ＡＦ）機能を備えた画像記録装置及び画像記録処理方法に関する。
【背景技術】
【０００２】
従来から電子カメラにはオートフォーカス（ＡＦ）機能が一般的に備えられている。ＡＦ機能を備えた電子カメラでは、ＣＣＤ等を備えた撮像手段から取り込まれた被写体画像の測距領域、例えばファインダ画像における中央部の部分領域等、をコントラスト検出方式により測距し、フォーカスレンズの合焦距離を自動調節する。上記の測距領域として、ファインダ画像における中央部の部分領域の他に、マニュアル操作によりファインダ画像上の複数の位置から一つを選択して定めたりすることを可能にしたものもある。
【０００３】
最近の電子カメラにおいては、更に顔検出機能をもたせたものがある。この電子カメラでは、例えばレリーズ釦を半押しすることにより開始される撮影準備処理において、撮像手段から取り込まれてくる被写体画像（この段階では間引き被写体画像）の全領域に対して顔認識処理を施す。そして顔として認識された領域があると被写体画像を分割した分割画面の内からその領域に対応する領域を測距領域として選択し、それからＡＦ処理を行う。（例えば、特許文献１等参照）。
【０００４】
上記の顔認識処理は公知の方法で行われている。例を挙げると次の如くである。
先ず一つ目の方法では、被写体画像から肌色領域の輪郭を色に基づいて抽出して、顔の輪郭テンプレートとのマッチング度を測ることによりそれが顔であることを認識する。二つ目の方法としては、目の候補領域を求めて目のテンプレートとのマッチング度を測ることにより認識する。三つ目の方法としては、顔の候補領域を二次元フーリエ変換して得た特徴量と、顔のテンプレート画像を二次元フーリエ変換して得た特徴量とに基づいて認識する。
また上記のＡＦ処理はコントラスト検出方式を用いる等して行う。コントラスト検出方式を用いるＡＦ処理においては、フォーカスレンズを前後移動させながら、決定した測距領域の画像のコントラストが最大になる位置にフォーカスレンズの合焦距離を調節する。
【０００５】
【特許文献１】特開２００６−２２７０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した顔認識処理は、電子カメラの処理の中でも負荷の大きい処理である。
そのため、特許文献１に示されているような、顔認識機能を用いてＡＦ処理を行う電子カメラでは、撮影準備処理において顔認識処理を行わせていても、レリーズ釦を半押しから全押しに移行する等して電子カメラに撮影本番を指示したときのカメラ設定（特に顔領域を測距領域とした設定）は適切なものではない。顔認識処理には時間がかかるので、撮影本番を指示した時点の構図とその時点に設定されている測距領域の抽出に使用した顔認識処理用の被写体画像の構図とはタイムラグがある。設定されている測距領域をそのまま使用すると、その時点に取り込んだ被写体画像中のその測距領域に顔がない恐れもある。例えば、電子カメラの位置を固定した状態で、動いている人を撮影するような状況においては、被写体の顔の位置は時間の経過と共に移動している。その場合には、先に定めた測距領域をそのまま使用するとその領域には顔ではなく背景等が写り込むこともあり、顔にピントが合っていないピンボケ画像がその後に記録用画像として取り込まれることになる。また、人の移動スピードによっては顔が記録用画像に収まらずにフレームアウトすることもある。
【０００７】
このように、従来の画像記録装置では、顔認識した領域をＡＦの用途で用いた場合に、顔認識処理の高負荷の影響により望ましくない撮影結果が得られるという問題があった。また、顔認識した領域を自動露出補正（ＡＥ）又はオートホワイトバランス（ＡＷＢ）の用途で用いた場合においても、顔認識処理の高負荷の影響により同様の問題が生じる。
【０００８】
そこで本発明は、顔認識した領域をＡＦ、ＡＥ、又はＡＷＢの用途で用いる場合において被写体をより適切な設定条件下で撮影させる画像記録装置及び画像記録処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像記録装置の態様の一つは、撮像手段を通じて被写体画像を取り込み、ユーザからの本番撮影を指示する入力信号を検出した場合に上記被写体画像を記録するものであって、上記被写体画像に対して逐次顔認識処理を施すことにより上記被写体画像中の顔の領域を追跡する顔領域追跡手段と、上記顔領域追跡手段により追跡されている顔の領域の、上記被写体画像中の位置を示す情報を履歴保持する履歴保持手段と、上記ユーザからの本番撮影を指示する入力信号を検出した場合に、上記履歴保持手段にある位置を示す情報に基づいて、上記撮像手段により取り込まれてくる被写体画像上の顔の移動先の位置を推定演算し、該推定演算により得た顔の推定位置においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理の内の少なくとも一つの処理を行い、それから上記撮像手段に記録用の被写体画像を取り込ませる制御手段と、を有するように構成する。
【００１０】
なお、上記制御手段は、上記ユーザからの本番撮影を指示する入力信号を検出した場合に、上記履歴保持手段にある位置を示す情報に基づいて、上記撮像手段により取り込まれてくる被写体画像上の顔の移動先の位置を推定演算し、上記推定演算により得た顔の推定位置が上記記録用の被写体画像の範囲内に収まるか否かを判定し、上記記録用の被写体画像の範囲から外れる場合に警告情報を出力手段に出力させる、ように構成することが好ましい。
【００１１】
また或いは、上記制御手段は、上記ユーザからの本番撮影を指示する入力信号を検出した場合に、上記履歴保持手段にある位置を示す情報に基づいて、上記撮像手段により取り込まれてくる被写体画像上の顔の移動先の位置を推定演算し、上記推定演算により得た顔の推定位置が上記記録用の被写体画像の範囲内に収まるか否かを判定し、上記記録用の被写体画像の範囲から外れる場合にズームを広角側に移動し、上記推定演算により得た顔の推定位置においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理の内の少なくとも一つの処理を行い、それから上記撮像手段に記録用の被写体画像を取り込ませる、ように構成することが好ましい。
【００１２】
また、上記の各構成においては、上記制御手段は、上記ユーザからの本番撮影を指示する入力信号を検出した場合に、更に、上記履歴保持手段にある位置を示す情報に基づいて上記顔の移動速度を計算してシャッタースピードを調節する、ように構成することがより望ましい。
【００１３】
本発明の画像記録処理方法の態様の一つは、撮像手段を通じて取り込んだ被写体画像を記録媒体に記録することを前提に、上記被写体画像に対して逐次顔認識処理を施すことにより上記被写体画像中の顔の領域を追跡すると共に、該顔の領域の、上記被写体画像中の位置を示す情報を一時記憶部で履歴保持し、上記ユーザからの本番撮影を指示する入力があるまで待機し、上記入力を検出した場合に、上記一時記憶部で履歴保持している上記位置を示す情報に基づいて、上記撮像手段により取り込まれてくる上記被写体画像上の顔の移動先の位置を推定演算し、上記推定演算により得た顔の推定位置においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理の内の少なくとも一つの処理を行い、上記撮像手段を通じて被写体画像を取り込んで上記記録媒体に記録する、ように処理を行わせる。
【発明の効果】
【００１４】
本発明では、処理負荷の軽い位置の推定演算により顔の移動先の位置を特定するようにした。そのため、ユーザからの本番撮影の入力信号を検出した後においても撮影は高速に行われ、ＡＦ、ＡＥ、又はＡＷＢの内の少なくも一つの処理を行う際に設定する領域（ＡＦにおいてはこれを測距領域と呼ぶ）に顔がより高い確率で位置するようになる。
その結果、顔の位置でＡＦ、ＡＥ、又はＡＷＢ処理を施した記録用画像の取り込みが可能になる等、被写体を適切な設定条件下で撮影することが可能になり、撮影ミスの回数も少なくすることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための形態を図を参照しながら詳細に説明する。
（第一の実施の形態）
図１は、本発明の画像記録装置の第一の実施の形態による電子カメラのブロック図である。
【００１６】
当該電子カメラ１は、フォーカスレンズ２、ズームレンズ３、レンズ駆動ブロック４、絞り機構５、ＣＣＤ６、垂直ドライバ７、ＴＧ（timing generator）８、ＣＤＳ／ＡＧＣ／ＡＤユニット回路９、信号処理部１０、ＣＰＵ１１、ＤＲＡＭ１２、ＲＯＭ１３、フラッシュメモリ１４、キー入力部１５、及び画像表示部１６を備えている。
【００１７】
フォーカスレンズ２及びズームレンズ３は、それぞれ、図示しないレンズ群から構成されている。レンズ駆動ブロック４は、フォーカスレンズ２を光軸方向に駆動するフォーカスモータ４０ａ、及びズームレンズ３を光軸方向に駆動するズームモータ４０ｂと、ＣＰＵ１１から送られる制御信号に従いフォーカスモータ４０ａ及びズームモータ４０ｂをそれぞれ駆動するモータドライバ４１ａ、４１ｂとから構成されている。
【００１８】
絞り機構５はＣＰＵ１１からの制御信号により図示しない絞りを調節する。
ＣＣＤ６は、多数の受光素子を２次元配置してなる撮像面を有し、フォーカスレンズ２、ズームレンズ３、及び図示しない絞りを介して上記撮像面に投影された被写体像を光電変換し、垂直ドライバ７の駆動により所定周期ごとに１フレーム分の撮像信号を出力する。垂直ドライバ７及びＣＤＳ／ＡＧＣ／ＡＤユニット回路９の動作タイミングは所定周波数のタイミング信号を生成するＴＧ８をＣＰＵ１１が制御することにより適切に調節がなされている。
【００１９】
ＣＤＳ／ＡＧＣ／ＡＤユニット回路９は、ＣＣＤ６から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。ＣＤＳ／ＡＧＣ／ＡＤユニット回路９を経たＣＣＤ６からの撮像信号は、デジタル信号として１フレームごとに信号処理部１０に送られる。
【００２０】
信号処理部１０は、カラープロセス回路およびＤＭＡコントローラ等を有し、ＣＤＳ／ＡＧＣ／ＡＤユニット回路９からの出力をカラープロセス処理等して得た１フレーム分の被写体画像としての輝度色差信号（ＹＣｂＣｒ）をＤＲＡＭ１２の指定領域にＤＭＡ（ダイレクトメモリーアクセス）転送し、展開すると共に、ＣＤＳ／ＡＧＣ／ＡＤユニット回路９からの出力をカラープロセス処理して得たＡＦ検出信号、ＡＥ検出信号、及びＡＷＢ検出信号をＣＰＵ１１に出力する。またその他に、欠陥画素補正、ガンマ補正、補間、変換、エッジ強調等の処理を施す回路等も有しており、ＣＤＳ／ＡＧＣ／ＡＤユニット回路９からの出力に対して適宜それらの処理も施す。また更に、ＪＰＥＧ圧縮伸張回路も有しており、ここではＣＰＵ１１の制御の下に、記録モードが選択されているときにレリーズ釦が全押しされる等した場合は、ＤＲＡＭ１２に展開された被写体画像（この場合は記録用画像）に対してＪＰＥＧ圧縮処理を施してその圧縮データをフラッシュメモリ１４へ転送する。また、再生モードが選択されている場合はフラッシュメモリ１４に保存記録されている圧縮データを読み出して伸張処理することにより記録用画像としての輝度色差信号を復調し、ＤＲＡＭ１２に展開する。
【００２１】
ＣＰＵ１１は、演算部や制御部等を備え、ＲＯＭ１３に記録された所定のプログラムやデータを適宜読み出して実行することにより、電子カメラ１の各部の制御及び、様々な撮影機能を実現する。ＣＰＵ１１は、更に不図示であるがクロック回路を搭載しており、日付、時刻の計時及びタイマーとしての機能も実現している。
ＲＯＭ１３には、ＣＰＵ１１が各部を制御する際に必要なプログラム、各種機能を実現するためのプログラム、及びそれぞれに必要なデータが記録されている。ここにはＣＰＵ１１における後述のＡＦ、ＡＥ、ＡＷＢの処理に必要なプログラムと各種データも記録されている。ＤＲＡＭ１２はデータを一時記憶する手段であり、信号処理部１０において生成した被写体画像（輝度色差信号）を保持するためのバッファ領域、ＣＰＵ１１において上記被写体画像から抽出された顔の位置情報を履歴保持するためのバッファ領域、及びＣＰＵ１１の作業領域等が割り当てられている。
【００２２】
また、フラッシュメモリは、着脱自在の記録媒体であり、記録用画像等の保存のために設けられている。
【００２３】
画像表示部１６は、カラーＬＣＤとその駆動回路等を含み、記録モードが選択されているときはＤＲＡＭ１２に展開されている被写体画像（間引き被写体画像又は記録用画像）をファインダ画像として動画表示又は静止画表示する。再生モードが選択されているときはフラッシュメモリ１４から読み出され伸張された記録画像をファインダ画像として表示する。また、ＬＣＤへ画像情報の表示を行う設定に後述のキー入力部１５からＣＰＵ１１に対して指定しておくと、ファインダ画像に対してＲＯＭに記録されている所定の画像情報を合成表示する。
【００２４】
キー入力部１５は、記録モードと再生モードの選択に使用されるモード切替釦、レリーズ釦、絞りやシャッタ速度を設定するための設定釦、ＬＣＤへの画像情報の表示／非表示を選択するための表示／非表示切替釦、ズーム倍率の変更に使用されるズーム釦等の各種の操作釦を含み、釦操作に応じた操作信号をＣＰＵ１１へ送る。また、操作釦は、所謂ハーフシャッタ機能を備えたものであり、撮影予告のための半押し操作と、本番撮影指示用の全押し操作が可能な構成である。
【００２５】
図２は、信号処理部１０のカラープロセス回路のブロック図である。
カラープロセス回路１００は、赤成分積分器１００１、緑成分積分器１００２、青成分積分器１００３、ＡＥ用積分器１００４、ＡＦ用フィルタ１００５、各種カウンタ１００６、ＡＷＢ回路１００７、及び信号合成回路１００８を備えている。
カラープロセス回路１００では、ＣＤＳ／ＡＧＣ／ＡＤユニット回路９のＡ／Ｄ変換器９０から出力された１フレーム分の被写体画像に対するＡＦ検出信号、ＡＥ検出信号、ＡＷＢ検出信号、及び輝度色差信号（ＹＣｂＣｒ）の生成処理等を行なう。
【００２６】
ＡＦ用フィルタ１００５では、上記被写体画像としての入力信号に対しハイパスフィルタ（ＨＰＦ）をかけて高周波信号を取り出してその積分値をＡＦ検出信号としてＣＰＵ１１に出力する。ＡＥ用積分器１００４では、上記入力信号を積分してその積分値をＡＥ検出信号としてＣＰＵ１１に出力する。
また、ＡＷＢ回路１００７では、赤成分積分器１００１、緑成分積分器１００２、及び青成分積分器１００３によって積分された各成分の積分値をＡＷＢ検出信号としてＣＰＵ１１に出力する。
【００２７】
カウンタ群１００６は、ＡＦウインドウサイズ制御用カウンタ、ＡＥウインドウサイズ制御用カウンタ、及びＡＷＢウインドウサイズ制御用カウンタを備えている。ＣＰＵ１１が検出したい領域をカウンタ群１００６に対して指定すると、ＡＦウインドウサイズ制御用カウンタ、ＡＥカウンタ、及びＡＷＢカウンタのカウントする画素のカウント値に基づいて上記ＡＦ用フィルタ１００５、ＡＥ用積分器１００４、及びＡＷＢ回路１００７において指定領域の画素に対する積分がなされ、各積分器１００４、１００５、１００７からＣＰＵ１１へその指定領域の積分値が出力される。
【００２８】
図３は、顔の位置情報を履歴保持する、ＤＲＡＭ１２内のバッファ領域のメモリ構成図である。
本例では、顔認識処理により顔として認識された領域を、その領域を包囲する矩形枠により位置を特定するものとし、矩形枠の四つ角の位置（右上ＸＹ位置、右下ＸＹ位置、左上ＸＹ位置、左下ＸＹ位置）を顔の位置情報として設定する。
【００２９】
当該バッファ領域１２０には、顔認識処理により顔を検出したときのシステム時間とそのときの顔の位置を示す四つ角の位置情報とを順次一定データ数分（１個からｍ（ｍは整数）個）に渡って記憶させることのできる領域（システム時間格納領域Ｔ及び位置情報格納領域ＸＹ１−ＸＹ４）を割り当てている。一定データ数分の情報が記憶されると古い情報から順次消去し新しい入力情報により置き換える構成のものであれば、少ないバッファメモリ領域で最新の情報から一定期間分の情報を常にバッファ領域に蓄えさせることができる。バッファ領域においてシステム時間とそのときの四つ角の位置情報とは同図において概念的に示したように紐付けされた塊の情報として記憶されており、バッファ領域への情報の書き込み、バッファ領域からの情報の読み出し、及び削除等の処理は、その塊を単位に行われる。これにより、本例では、顔認識処理により検出された顔の位置をバッファ領域においてシステム時間により履歴管理できるようにして保持している。
【００３０】
以下の実施例１から実施例４において、記録モードにおけるＣＰＵ１１の動作を説明する。
なお、以下の説明においては、ＣＰＵ１１は記録モードが選択されたことを検出すると顔検出処理に係るプログラムをＲＯＭ１３から読み出して実行し、顔の追跡を開始する設定になっているものとする。
【００３１】
（実施例１）
図４は、実施例１においての、ＣＰＵ１１による記録処理のフローチャートである。
先ず、ユーザのモード切替釦の操作により記録モードが選択されたことを検出すると顔追跡処理に入り（Ｓ１）、ＣＣＤ６を所定時間間隔で間引き駆動する（Ｓ２）。この処理により、一定時間被写体像がＣＣＤ６の撮像面において露光され、それの光電変換後の撮像信号が１フレーム分の間引き画像としてＣＤＳ／ＡＧＣ／ＡＤユニット回路９に順次出力される。
【００３２】
更に、ＣＤＳ／ＡＧＣ／ＡＤユニット回路９を所定のタイミングで駆動する（Ｓ３）。この処理により、ＣＣＤ６からの出力信号がＣＤＳ／ＡＧＣ／ＡＤユニット回路９の処理を通じて信号処理部１０に入り、信号処理部１０において上記１フレーム分の間引き画像として輝度色差信号が生成されると共にこの輝度色差信号がＤＲＡＭ１２に順次出力される。
【００３３】
信号処理部１０からＤＲＡＭ１２へ輝度色差信号が出力されると、ＣＰＵ１１はそれを検出し、画像表示部１６へＤＲＡＭ１２の輝度色差信号に基づく画像（ファインダ画像）を出力する（Ｓ４）。このとき、ユーザの表示／非表示切替釦の操作により表示が選択されている場合はＲＯＭ１３に記録されている所定の画像情報を合成したものを画像表示部１６へ出力する。この処理により、画像表示部１６のＬＣＤにおいて被写体の間引き画像が動画表示されるようになる。従って、ユーザはＬＣＤに表示された画像によって被写体のフレーミングを行うことができる。
【００３４】
次に、ＤＲＡＭ１２に一時記憶されている輝度色差信号に基づいて、被写体の顔領域の位置を検出するための顔認識処理を施す（Ｓ５）。この顔認識処理そのものは公知の方法によって行っている。ここでは、被写体画像から肌色領域の輪郭を色に基づいて抽出して、顔の輪郭テンプレートとのマッチング度を測ることによりそれが顔であることを認識する方法（詳しくは特開２００６−２２７０８０号公報等参照）を使って行い、顔として認識された領域があるとその領域を包囲する矩形の枠の２次元座標情報を顔領域として生成する。この矩形の枠は、予め複数用意したものから最適なものを選択しても良いし、顔の領域を包囲する最小の矩形の枠を生成しても良い。これらの処理は取り込まれてきた被写体画像の全てに対して逐次行っても良いが、通常は処理負荷が大きいので、一定フレームおき或いは前の顔認識処理が終了するたびに逐次行うようにする。
【００３５】
続いて、その矩形枠の四つ角の座標を顔の位置情報として、このときにクロック回路が計時するシステム時間と共にＤＲＡＭ１２内のバッファ領域（図３のバッファ領域１２０）に書き込む（Ｓ６）。
【００３６】
以上の処理が終了すると、続いて、レリーズ全押しの入力（ユーザからの本番撮影を指示する入力信号）があったかどうかを判定する（Ｓ７）。このときまでにレリーズ全押しの入力がなければＮＯと判定し、続いて他のモードへ切替える等の当該記録モードの終了があったかどうかを判定する（Ｓ８）。この判定処理においてもＮＯと判定すると、ステップＳ２からステップＳ７の処理を同様に繰り返す。つまり、ユーザによりレリーズ全押し又はモード切替等があるまでは、ＬＣＤ上に被写体の間引き画像を動画表示すると共に、顔の位置を追跡しながらＤＲＡＭ１２内のバッファ領域（図３のバッファ領域１２０）に顔の移動履歴を残す。通常は、撮影モードを選択してから構図を決め、それからレリーズ全押しを行うので、バッファ領域に顔の移動履歴は残される。つまり、電子カメラは、常に、移動履歴を残した後のユーザによるレリーズ全押しを待つ待機状態になっている。なお、ユーザが他のモードへ切替える等することにより当該ステップＳ８において記録モードの終了を検出した場合は、当該記録モードの処理を終了する。
【００３７】
一方、ステップＳ７の判定処理までにユーザによりレリーズ釦が全押しされた場合には、ステップＳ７においてＹＥＳと判定して、ステップＳ９に処理を移行する。
ステップＳ９においては位置予測計算処理を実行する。この処理では、ＤＲＡＭ１２のバッファ領域（図３のバッファ領域１２０）に記憶した顔の位置情報とそのときのシステム時間を共に抽出して、クロック回路が計時する現在のシステム時間から現在の顔の位置（推定位置）を推定演算する。
【００３８】
推定演算方法の具体例を図５に示す。
ここでは最も簡単な、２点の情報を使用した場合の推定演算方法を示す。
先ず、ｎ（ｎはｍ以下の整数）番目の四つ角の位置情報に基づいて矩形枠においての中心点の位置座標（Ｘn、Ｙn）を演算して求める（Ｓ９−１）。
次に、ｎ−１番目の四つ角の位置情報に基づいて矩形枠の中心点の位置座標（Ｘn-1、Ｙn-1）を演算して求める（Ｓ９−２）。
【００３９】
次に、ｎ番目の位置情報に対応するシステム時間Ｔnとｎ−１番目の位置情報に対応するシステム時間Ｔn-1との差Ｔｄを演算により求める（Ｓ９−３）。
次に、クロック回路が計時する現在のシステム時間を取得する（Ｓ９−４）。
次に、過去の移動量Ｄを演算して求める（Ｓ９−５）。
移動量Ｄは次式で求めることができる。
Ｄ＝√（Ｘn−Ｘn-1）2＋（Ｙn−Ｙn-1）2・・・（式１）
【００４０】
次に、過去の移動方向を求める（Ｓ９−６）。
移動方向を角度θで示すと、次式から求めることができる。
θ＝tan-1 （Ｙn−Ｙn-1／Ｘn−Ｘn-1）・・・（式２）
そして、以上の結果から、次式より現在の推定位置（Ｘｃ、Ｙｃ）を求める（Ｓ９−７）。
Ｘｃ＝Ｘn＋Ｄ×cosθ×（Ｔｃ−Ｔn）／Ｔｄ  ・・・（式３）
Ｙｃ＝Ｙn＋Ｄ×sinθ×（Ｔｃ−Ｔn）／Ｔｄ  ・・・（式４）
【００４１】
なお、上記システム時間Ｔn、Ｔn-1としては、バッファ領域に記憶したシステム時間から顔認識処理に係る時間を差し引いた残りの時間を使用することが好ましい。
また、ｎ番目の位置情報とｎ−１番目の位置情報は、履歴順に隣り合う二つの位置情報としても良いし、或いは履歴順に離れた二つの位置情報としても良い。
【００４２】
また、本例に示した推定演算方法は、一例として示したものである。よって、２点の位置情報に限定することなく、３点以上の位置情報、更に言えば全ての位置情報を利用して、所定のアルゴリズムを用いる等してより正確に現在の位置を予測するようにしても良い。ただし、処理が複雑になればなるほど、計算に時間がかかり、推定位置にその時間相当分の誤差が生じることになる。そのため、推定位置の正確さと上記誤差とのバランスを見て設定することが望ましい。
【００４３】
ここで、図４のフローチャートに戻り、ステップＳ９以降の処理を説明をする。
ステップＳ９において位置予測計算処理が終了すると、次に、予測計算結果の点（Ｘｃ、Ｙｃ）に対応する領域を測距領域に指定してオートフォーカスを行う（Ｓ１０）。この処理では、カウンタ１００６に対して上記予測計算結果の点（Ｘｃ、Ｙｃ）を含む所定の部分領域を測距領域として指定する信号を出力する。そして、ＡＦ用フィルタ１００５から出力される当該測距領域のＡＦ検出信号に基づいてコントラスト方式による山登り動作でオートフォーカスを行う。コントラスト方式による山登り動作では、ＣＰＵ１１は、制御信号をモータドライバ４１ａに出力してフォーカスレンズ２を所定方向に移動させ、移動前後のＡＦ用フィルタの出力値（焦点評価値）の大小を比較する。このとき移動後の焦点評価値が大きい場合はコントラストが高まる傾向であるとみなして、ＣＰＵ１１はフォーカスレンズ２を更に同一方向に移動させて同様の演算を行う。一方、移動後の焦点評価値が小さい場合はコントラストが低下する傾向であるとみなして、ＣＰＵ１１はフォーカスレンズ２を反対方向に移動させて同様の演算を行う。このような処理を繰り返すことでＣＰＵ１１は焦点評価値のピーク即ち合焦位置にフォーカス距離を調節する。
【００４４】
次に、ＡＥ用積分器１００４から出力される上記測距領域のＡＥ検出信号に基づいて所定のＡＥ演算を行い、演算結果を元にシャッタスピード及び絞りを決めて、ＴＧ８及び絞り機構５に調節用の制御信号を出力する（Ｓ１１）。
次に、ＡＷＢ回路１００７から出力される上記測距領域のＡＷＢ検出信号に基づいて所定のＡＷＢ演算を行い、この演算結果に基づき、例えば図１において不図示の信号線を介する等してＡＧＣを制御調節する（Ｓ１２）。
【００４５】
次に、ＡＦ、ＡＥ、及びＡＷＢの設定を固定すると共に、ＴＧ８及び信号処理部１０を制御して、ＣＣＤ６を本番撮影における設定で駆動する（Ｓ１３）。この処理により、一定時間被写体像がＣＣＤ６の撮像面において露光され、それの光電変換後の撮像信号が１フレーム分の記録用画像としてＣＤＳ／ＡＧＣ／ＡＤユニット回路９に順次出力される。
更に、ＣＤＳ／ＡＧＣ／ＡＤユニット回路９を所定のタイミングで駆動する（Ｓ１４）。この処理により、ＣＣＤ６からの出力信号がＣＤＳ／ＡＧＣ／ＡＤユニット回路９の処理を通じて信号処理部１０に入り、信号処理部１０において上記１フレーム分の記録用画像として輝度色差信号が生成されると共にこの輝度色差信号がＤＲＡＭ１２に出力される。
【００４６】
信号処理部１０からＤＲＡＭ１２への記録用画像の出力はＣＰＵ１１にて検出されているので、例えばユーザから保存指示の入力を検出する等した場合は、続いて、ＤＲＡＭ１２から記録用画像を読み出して信号処理部１０にてＪＰＥＧ圧縮処理を施させ（Ｓ１５）、この圧縮データをフラッシュメモリ１４へ転送して保存する（Ｓ１６）。
そして、ステップＳ１の処理に移行して、ステップＳ１から順番に同様の制御処理を繰り返し行う。
【００４７】
なお、実施例１の処理では、レリーズの半押しのステップを通り越して直ぐにレリーズ全押しにする場合について示しているため、記録モードへの切替後から顔の認識処理をはじめるようにしている。しかし、ユーザがレリーズ釦を半押しにすることにより電子カメラに本番撮影前の準備処理段階にあることを指示する設定のものであれば、レリーズ釦を半押しにしてから顔の認識処理を始めさせても良い。この場合、ユーザはレリーズ釦を半押しにしたままでＬＣＤのファインダ画像を確認し、撮影のタイミングでレリーズ釦を全押しして電子カメラに記録用画像の取り込みを指示するので、レリーズ釦を半押しにしてから顔の認識処理を始めさせても、準備処理段階の期間中に顔の移動履歴をバッファ領域に十分に残すことができる。
【００４８】
また、ステップＳ１からステップＳ６の間にユーザによりレリーズ釦が全押しされた場合、ステップＳ１からステップＳ６の処理を中断してステップＳ９の位置予測計算処理に移行するような処理フローとしても良い。この場合は、ステップＳ１からステップＳ６の処理を待たずにユーザのタイミングで記録用画像が作成されるようになる。
【００４９】
以上のように実施例１においては、処理負荷の軽い位置の推定演算により顔の移動先の位置を特定するようにした。そのため、ユーザからの本番撮影の入力信号を検出した後においても撮影は高速に行われ、ＡＦ、ＡＥ、及びＡＷＢの処理を行う際に設定する領域（ＡＦにおいてはこれを測距領域と呼ぶ）に顔がより高い確率で位置するようになる。
【００５０】
その結果、顔の位置でＡＦ、ＡＥ、又はＡＷＢ処理を施した記録用画像の取り込みが可能になる等、被写体を適切な設定条件下で撮影することが可能になり、撮影ミスの回数も少なくなる。
また、測距領域をＡＦ、ＡＥ、及びＡＷＢの内の少なくとも一つに用いた場合でも、一定の効果はある。例えばＡＦで用いた場合は顔において適切にピント調節が行われ、ＡＥで用いた場合は顔において適切に露出調節が行われ、ＡＷＢで用いた場合は顔において適切にホワイトバランス調節が行われる。
【００５１】
（実施例２）
実施例２では顔の推定位置がフレーム外に外れる場合を想定したＣＰＵ１１の処理例を示す。
図６は、実施例２においての、ＣＰＵ１１による記録処理のフローチャートである。
実施例２による記録処理のフローチャートは、実施例１による記録処理のフローチャートのステップＳ９とステップＳ１０との間に顔の領域が記録用の被写体画像内に納まるか否かの判定処理（ステップＳＡ１）及び分岐処理を更に付け足したものである。
実施例２においては上記分岐処理として警告表示処理（ステップＳＡ２）を採用している。
【００５２】
上記判定処理（ＳＡ１）では、記録用画像として取り込まれる範囲を示す境界情報（本例ではズーム倍率が固定されていることとし、境界情報は固定の位置情報の集合情報であるものとする）と、これと同じ座標系の、ステップＳ９の位置予測計算処理により生成した推定位置とを比較し、推定位置が取り込み範囲内にあるか否かを判定する。例えば、ＸＹ座標系の原点を中心とする矩形枠上の点を上記境界情報としてもち、図５に示す方法により推定位置として２次元座標情報（Ｘｃ、Ｙｃ）を得た場合においては、取り込み範囲のＸ方向の境界点を表す閾値ＸthよりもＸｃの絶対値が小さいか否かを判定する。同様に、取り込み範囲のＹ方向の境界点を表す閾値ＹthよりもＹｃの絶対値が小さいか否かを判定する。Ｘｃ及びＹｃ共に閾値より小さい場合は取り込み範囲内即ち記録用画像に顔が含まれると判定して続くステップＳ１０の実施例１にて説明済みのＡＦ処理以下を実行する。
【００５３】
これに対し、Ｘｃ及びＹｃの何れか一方が閾値以上の場合は取り込み範囲外即ち記録用画像に顔が含まれないと判定し、予めＲＯＭに記録した警告表示情報、例えば「顔が撮影されません」等の文字情報、を画像表示部１６（出力手段）へ転送して一定時間ＬＣＤ表示させ（ステップＳＡ２）、それから、ステップＳ１に戻り、実施例にて説明済みの露光処理以下を再び実行する。
【００５４】
このように実施例２では警告表示情報を出力するため、顔がフレームアウトした状態で撮影をすることも防止することができる。
【００５５】
（実施例３）
実施例３では実施例２の変形例を示す。
図７は、実施例３においての、ＣＰＵ１１による記録処理のフローチャートである。
実施例３による記録処理のフローチャートでは、上記分岐処理として光学ズーム移動処理（ステップＳＢ２）を採用している。
【００５６】
ステップＳＢ２の光学ズーム移動処理は、ステップＳＡ１において取り込み範囲外と判定した後の処理であり、ステップＳ９において計算された推定位置が取り込み範囲内に納まるように光学ズーム倍率を広角側に変更する。例えば、図５に示す方法により推定位置として２次元座標情報（Ｘｃ、Ｙｃ）を得るものでは、取り込み範囲のＸ方向及びＹ方向の境界を表す閾値（Ｘth、Ｙth）をズーム倍率に応じて変動することができるように、閾値（Ｘth、Ｙth）と各ズーム倍率との対応情報を予め生成し、それをＲＯＭ１３に比較情報として記録しておく。そして記録処理時の光学ズーム移動処理のステップＳＢ２において、現在設定されているズーム倍率よりも倍率が小さくなる側の閾値（Ｘth、Ｙth）と推定位置（Ｘｃ、Ｙｃ）とを比較していく。そして、推定位置（Ｘｃ、Ｙｃ）が閾値よりも小さくなったところが、推定位置（Ｘｃ、Ｙｃ）を取り込み範囲内に納める倍率なので、その光学倍率になるようにモータドライバ４０ａを制御し、ズームレンズ２を広角側へ移動する。
そして、その後は、続くステップＳ１０以下の処理を実行する。それにより、推定演算により得た顔の推定位置（Ｘｃ、Ｙｃ）においてＡＦ処理、ＡＥ処理、及びＡＷＢ処理が行われた記録用画像を取り込めるようになる。
【００５７】
このように実施例３では自動で光学レンズを広角側に移動させるため、フレームアウトした顔を記録用画像内に収めることも可能になる。
【００５８】
（実施例４）
実施例４では被写体となる人が取り込み範囲の中で動いている場合のピンボケを防止する処理について示す。
【００５９】
図８は、図４のステップＳ２からステップＳ８の処理の繰り返しによりバッファ領域に記憶させた顔の位置の履歴情報を用いて電子カメラのシャッタースピードを算出する場合のＣＰＵ１１による処理のフローチャートである。
ここでは、上記履歴情報の一例として図５に示す矩形枠の四つ角の位置情報（Ｘn、Ｙn）とシステム時間（Ｔn）を得た場合の処理を示している。
先ず、ｎ（ｎは整数）番目の四つ角の位置情報に基づいて矩形枠の中心点の位置座標（Ｘn、Ｙn）を演算して求める（ＳＣ−１）。
次に、ｎ−１番目の四つ角の位置情報に基づいて矩形枠の中心点の位置座標（Ｘn-1、Ｙn-1）を演算して求める（ＳＣ−２）。
次に、顔の移動距離Ｍを演算して求める（ＳＣ−３）。
移動量Ｍは次式で求めることができる。
Ｍ＝√（（Ｘn−Ｘn-1）2＋（Ｙn−Ｙn-1）2）・・・（式５）
次に、顔の移動速度を求める（ＳＣ−４）。
移動速度Ｖは、次式から求めることができる。
Ｖ＝Ｍ／（Ｔn−Ｔn-1）・・・（式６）
【００６０】
そして、以上の結果から、シャッタースピードを算出する（ＳＣ−５）。シャッタースピードの算出方法は、例えば、移動速度Ｖとシャッタースピード情報との対応情報を予め生成し、ＲＯＭ１３に記録しておく。そして、その対応情報を参照して式６の結果に対応するシャッタースピード情報を算出結果として得る。ＣＰＵ１１はこのシャッタースピード情報を基に制御信号をＴＧ８に出力してシャッタースピードを設定する。なお、この処理をＡＥ処理後に行う場合は、ＡＥ処理により得た露出値になるように絞りの設定を再度調節し直す。また、上記処理をＡＥ処理前に行う場合は、ＡＥ処理における露出補正をシャッタースピードを固定したまま絞り調節により行うようにする。このようにすることにより、以上の処理をステップＳ９からステップＳ１２の処理の間に行わせることができる。
【００６１】
以上の処理は、一例として示したものである。よって、２点の位置情報に限定することなく、３点以上の位置情報、更に言えば全ての位置情報を利用して、所定のアルゴリズムを用いる等してより正確に現在の速度を予測するようにしても良い。ただし、処理が複雑になればなるほど、計算に時間がかかり、推定位置にその時間相当分の誤差が生じることになる。そのため、推定位置の正確さと上記誤差とのバランスを見て設定することが望ましい。
【００６２】
このように実施例４ではシャッタースピードを調節するため、被写体である人が高速に動いている場合において顔のぶれをも防ぐことが可能になる。
【００６３】
なお、以上の実施形態及び各実施例では本発明の画像処理装置及び画像処理方法の一例を示したにすぎない。よって、上記構成や処理手順に限らず、適宜、その他の形態をとるようにしても良い。例えば、実施例１から実施例４を任意に組み合わせて構成しても良い。また或いは、信号処理部１０のカラープロセス処理においてハードウエアで生成するＡＦ検出信号、ＡＥ検出信号、ＡＷＢ検出信号をＣＰＵ１１においてソフト処理により生成するように構成しても良い。また或いは、ＣＰＵ１１におけるソフト処理による機能をハードウエアの構成で実現させても良い。
【図面の簡単な説明】
【００６４】
【図１】本発明の画像記録装置の第一の実施の形態による電子カメラのブロック図である。
【図２】信号処理部１０のカラープロセス回路のブロック図である。
【図３】顔の位置情報を履歴保持するバッファ領域のメモリ構成図である。
【図４】実施例１による記録処理のフローチャートである。
【図５】予測計算方法の具体例である。
【図６】実施例２による記録処理のフローチャートである。
【図７】実施例３による記録処理のフローチャートである。
【図８】電子カメラのシャッタースピードを算出する処理のフローチャートである。
【符号の説明】
【００６５】
１  電子カメラ
２  フォーカスレンズ
３  ズームレンズ
４  レンズ駆動ブロック
５  絞り機構
６  ＣＣＤ
７  垂直ドライバ
８  ＴＧ
９  ＣＤＳ／ＡＧＣ／ＡＤユニット回路
１０  信号処理部
１１  ＣＰＵ
１２  ＤＲＡＭ
１３  ＲＯＭ
１４  フラッシュメモリ
１５  キー入力部
１６  画像表示部
【図１】
2009077321.tif 000003
【図２】
2009077321.tif 000004
【図３】
2009077321.tif 000005
【図４】
2009077321.tif 000006
【図５】
2009077321.tif 000007
【図６】
2009077321.tif 000008
【図７】
2009077321.tif 000009
【図８】
2009077321.tif 000010