(57)【要約】【課題】ズーム動作中においても、構図内の人の顔を見失わずに検出し続ける。【解決手段】ステップＳ３で、画像信号の拡大縮小率を算出し、ステップＳ４で、拡大縮小率に基づき、ズーム動作中の現在の画像における顔検波枠の位置と大きさを線形予測する。ステップＳ５で、最大４Ｖ以前の顔検出情報（顔の位置と大きさ）に基づき、顔検波枠の補正量を算出し、ステップＳ６で、算出した補正量により、顔検波枠を仮補正する。ステップＳ７で、仮補正された顔検波枠が閾値を越えるか判定し、この判定結果に応じ、ステップＳ８で、補正量を修正する。そして、ステップＳ９で、顔検波枠を修正した補正量で顔検波枠を補正する。本発明は、デジタルビデオカメラに適用できる。【選択図】図４
2009055160.tif 000002
【特許請求の範囲】
【請求項１】
撮像する画像をユーザからのズーム操作に対応してズームインまたはズームアウトするズーム手段と、
撮像された画像上に設けられた検波枠に属する画像信号に基づいてフォーカス制御を行うフォーカス制御手段と、
撮像された画像上に前記検波枠を設け、前記ズーム手段によるズームインまたはズームアウトに対応し、前記検波枠の位置と大きさを変更する変更手段と
を含む撮像装置。
【請求項２】
前記変更手段は、前記ズーム操作前後の前記ズーム手段の焦点距離に基づき、前記検波枠の位置と大きさを変更する
請求項１に記載の撮像装置。
【請求項３】
撮像された画像上から人の顔を検出する検出手段をさらに含み、
前記変更手段は、検出された前記顔に基づいて、撮像された画像上に前記検波枠を設ける
請求項１に記載の撮像装置。
【請求項４】
前記変更手段は、撮像された画像上に設けた前記検波枠の位置と大きさを、検出された前記顔の動きベクトル、検出されたものが顔であることの信頼度、または、顔検出による遅延時間のうちの少なくとも１つに基づいて修正する
請求項１に記載の撮像装置。
【請求項５】
撮像する画像をユーザからのズーム操作に対応してズームインまたはズームアウトするズーム手段と、
撮像された画像上に設けられた検波枠に属する画像信号に基づいてフォーカス制御を行うフォーカス制御手段とを備える撮像装置の撮像方法において、
撮像された画像上に前記検波枠を設け、前記ズーム手段によるズームインまたはズームアウトに対応し、前記検波枠の位置と大きさを変更する
ステップを含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および撮像方法に関し、特に、被写体の顔を検出し、検出した顔に合焦させる場合に好適な撮像装置、および撮像方法に関する。
【背景技術】
【０００２】
従来、オートフォーカス機能を備えるデジタルスチルカメラおよびデジタルビデオカメラが存在する。また、従来、構図内から人の顔を検出し、検出した人の顔に合焦させたり、検出した顔を基準として画像の輝度を補正したり、ホワイトバランスを補正したりする技術が提案されている（例えば、特許文献１参照）。
【０００３】
さらに、上述した技術を適用したデジタルスチルカメラも出現している。
【０００４】
【特許文献１】特開２００５−３１８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した技術によれば、人の顔を検出できている限り、合焦状態を保つことができる。しかしながら、顔の検出にはある程度の処理時間が必要であるので、ズームレンズの焦点距離が変更されている（以下、ズーム動作中と称する）の場合、ズーム動作に追従して顔を検出し続けることは困難である。
【０００６】
すなわち、構図内の中心に顔がある場合には、ズーム動作によってその大きさが変化するし、構図内の中心以外の位置に顔がある場合、ズーム動作によって、顔の大きさだけでなく、その位置も変化してしまうので、継続的に顔の位置を検出することは困難である。さらに、ズーム動作時には手振れが発生し易いので、検出された顔の位置などが不安定になってしまう。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、ズーム動作中においても、構図内の人の顔を見失わずに検出し続けることを可能にするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面である撮像装置は、撮像する画像をユーザからのズーム操作に対応してズームインまたはズームアウトするズーム手段と、撮像された画像上に設けられた検波枠に属する画像信号に基づいてフォーカス制御を行うフォーカス制御手段と、撮像された画像上に前記検波枠を設け、前記ズーム手段によるズームインまたはズームアウトに対応し、前記検波枠の位置と大きさを変更する変更手段とを含む。
【０００９】
前記変更手段は、前記ズーム操作前後の前記ズーム手段の焦点距離に基づき、前記検波枠の位置と大きさを変更するようにすることができる。
【００１０】
本発明の一側面である撮像装置は、撮像された画像上から人の顔を検出する検出手段をさらに含むことができ、前記変更手段は、検出された前記顔に基づいて、撮像された画像上に前記検波枠を設けるようにすることができる。
【００１１】
前記変更手段は、撮像された画像上に設けた前記検波枠の位置と大きさを、検出された前記顔の動きベクトル、検出されたものが顔であることの信頼度、または、顔検出による遅延時間のうちの少なくとも１つに基づいて修正するようにすることができる。
【００１２】
本発明の一側面である撮像方法は、撮像する画像をユーザからのズーム操作に対応してズームインまたはズームアウトするズーム手段と、撮像された画像上に設けられた検波枠に属する画像信号に基づいてフォーカス制御を行うフォーカス制御手段とを備える撮像装置の撮像方法において、撮像された画像上に前記検波枠を設け、前記ズーム手段によるズームインまたはズームアウトに対応し、前記検波枠の位置と大きさを変更するステップを含む。
【００１３】
本発明の一側面においては、撮像された画像上に検波枠が設けられ、ズームインまたはズームアウトに対応し、検波枠の位置と大きさが変更される。
【発明の効果】
【００１４】
本発明の一側面によれば、検波枠に基づいてフォーカスを制御することができる。
【００１５】
また、本発明の一側面によれば、ズーム動作中においても、構図内の人の顔を見失わずに検出し続けることができる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１７】
本発明の一側面である撮像装置（例えば、図１のデジタルビデオカメラ１０）は、撮像する画像をユーザからのズーム操作に対応してズームインまたはズームアウトするズーム手段（例えば、図１の撮像レンズ１１）と、撮像された画像上に設けられた検波枠に属する画像信号に基づいてフォーカス制御を行うフォーカス制御手段（例えば、図１のモータドライバ２０）と、撮像された画像上に前記検波枠を設け、前記ズーム手段によるズームインまたはズームアウトに対応し、前記検波枠の位置と大きさを変更する変更手段（例えば、図１の制御部２３）とを含む。
【００１８】
本発明の一側面である撮像装置は、撮像された画像上から人の顔を検出する検出手段（例えば、図１の顔検出部２８）をさらに含む。
【００１９】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２０】
図１は、本発明の一実施の形態であるデジタルビデオカメラの構成例を示している。このデジタルビデオカメラ１０は、主に、被写体の光学像を撮像素子１２に集光する撮像レンズ１１、集光された光学像を電気的な画像信号に変換する撮像素子１２、所定のアナログ画像処理を行うアナログ信号処理部１３、画像信号をデジタル化するＡ／Ｄ変換部１４、および所定のデジタル画像処理を行うデジタル信号処理部１５から構成される。
【００２１】
また、デジタルビデオカメラ１０は、撮像した画像や各種の情報などを表示する液晶パネル１６、構図の決定に使用されるビューファインダ１７、および、撮像した画像信号が記録される記録デバイス１８から構成される。
【００２２】
さらに、デジタルビデオカメラ１０は、デジタルビデオカメラ１０の各部を制御する制御部２３、ユーザからの各種操作を受け付ける操作部２４、および、デジタル画像処理後の画像信号から人の顔を検出する顔検出部２８を備える。
【００２３】
撮像レンズ１１は、焦点距離を連続的に変更可能なズームレンズ、被写体にフォーカスを合わせるための移動されるフォーカスレンズ、絞りの径を変化させるアイリス、ＮＤフィルタを挿入するＮＤ機構、撮像時の手ぶれを補正するシフト防振式手ブレ補正レンズなどから構成されている。
【００２４】
撮像素子１２は、CCDあるいはCMOSによって構成され、集光された光学像を光電変換によってアナログの画像信号を生成してアナログ信号処理部１３に出力する。アナログ信号処理部１３は、撮像素子１２からの画像信号にノイズ除去などのアナログ画像処理を行い、Ａ／Ｄ変換部１４に出力する。
【００２５】
デジタル信号処理部１５は、Ａ／Ｄ変換部１４によってデジタル化される画像信号に、ガンマ補正などのデジタル画像処理を行う。
【００２６】
記録デバイス１８は、半導体メモリ、ディスク状記録媒体、テープ状記録媒体などの着脱可能な記録媒体に対して画像信号を記録する。
【００２７】
タイミングジェネレータ（ＴＧ）１９は、撮像素子１２に対して電荷の吐き出しタイミング（すなわち、画像信号の生成タイミング）を制御する。モータドライバ２０は、フォーカスレンズを駆動する駆動モータ２１、およびズームレンズを駆動するモータ２２を制御する。
【００２８】
操作部２４は、デジタルビデオカメラ１０の筐体に設けられたボタンやスイッチ、あるいは液晶パネル１６に重畳して設けられるタッチパネルなどからなり、ユーザからの録画の開始／停止操作、ズーム操作などを受け付け、対応する操作信号を制御部２３に出力する。
【００２９】
制御部２３は、内蔵するCPUがプログラムROM２６に格納されたプログラムを実行することによって、デジタルビデオカメラ１０による各種の処理を制御する。例えば、制御部２３は、顔検出部２８からの顔検出情報に基づき、検出された顔に合焦させるＡＦ処理、明るさの調節を行うＡＥ処理、ホワイトバランスを行うＷＢ処理などを行う。
【００３０】
また例えば、制御部２３は、従来の検波枠であるコアリング値を算出するための画面全体の全積分枠、中央の被写体を抽出する小枠、小枠で検波できない場合にサイズを拡大して検波するための中枠、および、背景を含む大枠の基本４つの検波枠がある。大、中、小の３つ検波枠の検波値は常に算出されている。これら大、中、小の３つの検波枠とは別に、顔を検出するための顔検波枠が設けられ、フォーカス制御などに利用される。さらに、顔以外の体の検波値を取得するため、顔検波枠の一部、または全域を含むような体検波枠を設けて、フォーカス制御に利用するようにしてもよい。
【００３１】
不揮発性メモリであるEEPROM２５には、画像信号、各種の補助情報、設定情報が格納される。プログラムROM２６には、制御部２３に内蔵されたCPUによって実行されるプログラムの他、各種の演算パラメータ等が格納される。RAM２７には、制御部２３に内蔵されたCPUによって実行されるプログラムや、そのプログラムの実行において適宜変化するパラメータ等が格納される。
【００３２】
顔検出部２８は、デジタル信号処理部１５から供給される画像信号の解析を行い、その内から人の顔を検出し、検出結果として顔検出情報を制御部２３に出力する。
【００３３】
具体的には、画像信号を異なる複数の縮小率で縮小した複数の縮小画像と、予め用意されている顔の輝度分布情報を示す複数のテンプレートとのマッチングによって人の顔を検出する。このテンプレートは、顔の３次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きが判定できる。縮小画像のある領域が、テンプレートにマッチした場合、その領域には顔が存在する判断されて、顔の位置が検出される。画像における顔の大きさは、実画像の縮小率から求めることができる。またマッチしたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。なお、顔検出部２８による顔検出は、現状では最大４Ｖ（４フレーム）程度の時間を要する。したがって、顔検出部２８から出力される顔検出情報は、対応する画像信号の入力に対して最大４Ｖ程度の遅延が生ずる。
【００３４】
なお、顔検出部２８において、顔の位置とサイズを検出する他、例えば、顔ＩＤ、顔の幅、顔の推定距離、被写体の重要度、画像内に存在する登場時間、登場時刻、登場頻度、年齢、性別、顔であることの確かさを示す信頼度、顔検出による遅延時間なども検出し、顔検出情報に含めて制御部２３に供給するようにしてもよい。
【００３５】
制御部２３では、顔検出情報に基づいて、被写体としての人の顔の位置と大きさを判定し、検出された顔全域、または一部が含まれるように、顔検波枠の位置と大きさを決定する。なお、顔検出情報の他、デジタルビデオカメラ１０の動作モード、ズームレンズの位置（焦点距離）、画像の明るさなどの現在のデジタルカメラ１０の状態も考慮して顔検波枠の位置とサイズを決定するようにしてもよい。
【００３６】
制御部２３は、ズーム動作中、ズーム操作後の画像信号に対応する顔検出情報は供給されるまでに最大４Ｖ程度遅延するので、これを待つことなく、ズーム操作が行われる直前の顔検波枠の位置と大きさ、ズーム操作による焦点距離の変動から現在の顔検波枠の位置と大きさを推定する。さらに、最大４Ｖほど遅延して供給される顔検出情報や動きベクトルを考慮して顔検波枠の位置と大きさを補正する。これにより、人の顔の位置と大きさに合わせて正確な顔検波枠を設定することが可能になる。
【００３７】
次に、デジタルビデオカメラ１０による、ズーム動作中に顔検波枠を追従させる処理（以下、顔検波枠追従処理と称する）について説明する。
【００３８】
この顔検波枠追従処理は、例えば、ズーム動作前の画像が、図２に示す状態、すなわち、人の顔が中央からずれた位置に存在している状態から、ズームイン動作が行われ、図３に示すように、顔の位置とサイズが変化することに追従し、顔を検出するための顔検波枠も、図２に示す状態から、図３に示す状態までズーム動作に合わせて変化させるための処理である。
【００３９】
顔検波枠追従処理のながれについて、図４のフローチャートを参照して説明する。
【００４０】
ステップＳ１において、制御部２３は、現在、ズーム動作中であるか否かを判定し、ズーム動作中であると判定するまで、処理をステップＳ２に進め、従来と同様の方法により、顔検波枠追従処理を行う。そして、ステップＳ１において、ズーム動作中であると判定された場合、処理をステップＳ３に進める。
【００４１】
ステップＳ３において、制御部２３は、ズーム操作が行われる直前のズーム位置（焦点距離）Zpoと、ズーム動作中の現在のズーム位置（焦点距離）Zpに基づき、画像信号の拡大縮小率magを算出する。
mag＝Zp／Zpo
【００４２】
ステップＳ４において、制御部２３は、ステップＳ３で算出した画像信号の拡大縮小率magに基づき、ズーム動作中の現在の画像における顔検波枠の位置と大きさを線形予測する。具体的には、ズーム操作が行われる直前の顔検波枠の４頂点の各座標ffpoに、拡大縮小率magを乗算して、ズーム動作中の現在の画像における顔検波枠の４頂点の各座標ffpを算出する。なお、画像の中心を座標系の原点とする。
ffp＝mag×ffpo
【００４３】
ステップＳ５において、制御部２３は、顔検出部２８から供給される、最大４Ｖ以前の画像信号に対応する顔検出情報（顔の位置と大きさ）に基づき、ステップＳ４で予測したズーム動作中の現在の画像における顔検波枠の位置とサイズの補正量adjを算出する。具体的には、顔検出情報に含まれる顔の位置と大きさから、現在の顔検波枠のずれを求め、顔情報の顔の位置・大きさ、顔の確かさ、何Ｖ遅延したかの情報などを基に、顔検波枠の修正量adj'を求める。
【００４４】
さらに、被写体である顔は静止しているわけではなく、ズーム動作中でも動くことが想定されるので、図５に示すように、顔の動き（動きベクトル）も考慮し、顔検波枠の修正量adj'を調整する。動きベクトルによる顔検波枠の修正量adj'の調整は、顔検波枠の各頂点修正量adj'に、動きベクトルの値mvに動きベクトルの反映率kmを乗算した値を加算することによって行われる。動きベクトルの反映率kmとは、予め設定された値、または現在の画像の明るさや顔情報の確かさなどによって変動するものとする。
adj＝adj'＋km×mv
【００４５】
ステップＳ６において、制御部２３は、ステップＳ４で予測したズーム動作中の現在の画像における顔検波枠の位置とサイズを、ステップＳ５で算出した顔検波枠の補正量adjで仮補正し、その位置と大きさを算出する。
【００４６】
ステップＳ７において、制御部２３は、ステップＳ６で仮補正された顔検波枠の位置と大きさが閾値を越えるか否かを判定し、閾値を越えると判定した場合、ステップＳ８において、補正後の顔検波枠の位置と大きさが閾値を越えないように、顔検波枠の補正量adjを修正する。なお、ステップＳ７で、閾値を越えないと判定された場合、ステップＳ８はスキップされる。
【００４７】
例えば、ズームイン操作などに対応して、仮補正後の顔検波枠の大きさが所定の最大値（閾値）よりも大きくなった場合、補正後の顔検波枠の大きさが当該最大値となるように、顔検波枠の補正量adjを修正する。あるいは、補正量adjを０として補正しないようにする。
【００４８】
また例えば、ズームアウト操作などに対応して、仮補正後の顔検波枠の大きさが所定の最小値（閾値）よりも小さくなった場合、補正後の顔検波枠の大きさが当該最小値となるように、顔検波枠の補正量adjを修正する。あるいは、補正量adjを０として補正しないようにする。
【００４９】
さらに例えば、ズームイン操作などに対応して、仮補正後の顔検波枠の一部が画像の所定の領域（検波可能領域）からはみ出してしまう場合、はみ出してしまう軸方向には位置と大きさの補正を行わない（はみ出してしまう軸方向の補正量adjを０とする）。あるいは、はみ出す直前の位置と大きさを復元するように修正する。
【００５０】
このように、追従している顔検波枠が、検波可能領域をはみ出した場合、顔検波枠は移動されずにその場に留まることになる。そして、顔検出によって顔が検出されている間はその場に留まり、顔が検波可能領域に戻れば追従して顔検波枠も再び移動されることになる。しかしながら、顔検波枠が検波可能領域を超え、顔検出が出来なくなった場合、顔検出によって検出された新たな顔を追従することになる。
【００５１】
ステップＳ９において、制御部２３は、ステップＳ５で算出した顔検波枠の補正量adj、または、さらにそれをステップＳ８で修正した結果を用いて、顔検波枠の位置と大きさを補正する。
【００５２】
ステップＳ１０において、制御部２３は、ズーム動作の方向（ズームインまたはズームアウト）に対応して顔検波枠の大きさを修正する。具体的には、主に、ズームイン時に検波枠の大きさを小さくする修正を行う。この後、ステップＳ１に戻り、それ以降の処理が繰り返されることになる。以上で、デジタルビデオカメラ１０による顔検波枠追従処理の説明を終了する。
【００５３】
以上に説明した顔検波枠追従処理によれば、ズーム動作中でも顔検波枠を的確に顔に合わせることが可能となる。したがって、ズーム動作があっても被写体（顔）を見失うことがなくなるので、常に顔に合焦させることが可能となる。
【００５４】
なお、本実施の形態においては、ズーム動作に顔検波枠を追従させるようにしたが、顔検波枠だけでなく、体検波枠、人全体の検波枠を追従させるようにしてもよい。
【００５５】
また、本発明は、デジタルビデオカメラの他、ズーム機能を有するデジタルスチルカメラなどの撮像装置にも適用することができる。
【００５６】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明を適用したデジタルビデオカメラの構成例を示すブロック図である。
【図２】ズーム動作前の画像の表示例を示す図である。
【図３】ズーム動作が開始された後の画像の表示例を示す図である。
【図４】顔検波枠追従処理を説明するフローチャートである。
【図５】ズーム動作が開始された後に顔が移動したときの画像の表示例を示す図である。
【符号の説明】
【００５８】
１０  デジタルビデオカメラ，  １１  撮像レンズ，  １２  撮像素子，  １３  アナログ信号処理部，  １４  A/D変換部，  １５  デジタル信号処理部，  ２０  モータドライブ，  ２３  制御部，  ２４  操作部，  ２８  顔検出部
【図１】
2009055160.tif 000003
【図２】
2009055160.tif 000004
【図３】
2009055160.tif 000005
【図４】
2009055160.tif 000006
【図５】
2009055160.tif 000007