(57)【要約】【課題】意図する被写体に対して合焦し続ける。【解決手段】被写体に合焦させ、合焦状態のフォーカスレンズ位置Ｆから当該被写体までの距離Dfを算出する。次に、被写体が移動する最大スピードVf_maxを想定し、単位時間（例えば、１秒間）に移動した当該被写体までの距離を仮定する。移動した当該被写体までの距離にそれぞれ対応するフォーカスレンズ位置を求め、これらの差に基づき、フォーカスレンズの遠(far)方向への最大駆動スピードVaf_max_farと、フォーカスレンズの至近(Near)方向への最大駆動スピードVaf_max_nearとを算出して、AF動作の追従スピードの最大値に設定する。本発明は、デジタルビデオカメラ、デジタルスチルカメラなどに適用できる。【選択図】図２
2009092747.tif 000002
【特許請求の範囲】
【請求項１】
オートフォーカス機能を有する撮像装置において、
撮像された画像上から被写体を検出する検出手段と、
検出された前記被写体に合焦させるためにフォーカスレンズを駆動させるフォーカス制御手段と、
検出された前記被写体の移動スピードを推定する推定手段と、
検出された前記被写体までの距離を取得する取得手段と、
推定された前記被写体の移動スピード、および取得された前記被写体までの距離に基づき、前記フォーカスレンズの駆動スピードの上限値を決定する決定手段と
を含む撮像装置。
【請求項２】
前記検出手段は、撮像された画像上から前記被写体の顔を検出する
請求項１に記載の撮像装置。
【請求項３】
前記取得手段は、検出された前記被写体までの距離を、撮像された画像上から検出された前記被写体の顔の大きさに基づいて取得する
請求項２に記載の撮像装置。
【請求項４】
前記取得手段は、検出された前記被写体までの距離を、前記フォーカスレンズの調整位置に基づいて取得する
請求項１に記載の撮像装置。
【請求項５】
前記決定手段は、前記フォーカスレンズの駆動スピードの至近方向の上限値を、遠方向の上限値よりも大きい値に決定する
請求項１に記載の撮像装置。
【請求項６】
前記推定手段は、検出された前記被写体の特徴を判定し、判定した前記被写体の前記特徴を、予め用意されたテーブルと参照することにより、前記被写体の移動スピードを推定する
請求項１に記載の撮像装置。
【請求項７】
撮像された画像上から被写体を検出する検出手段と、
検出された前記被写体に合焦させるためにフォーカスレンズを駆動させるフォーカス制御手段とを備え、
オートフォーカス機能を有する撮像装置の撮像方法において、
検出された前記被写体の移動スピードを推定し、
検出された前記被写体までの距離を取得し、
推定された前記被写体の移動スピード、および取得された前記被写体までの距離に基づき、前記フォーカスレンズの駆動スピードの上限値を決定する
ステップを含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および撮像方法に関し、特に、画像内から人の顔などの被写体を検出し、検出した被写体に自動的に合焦させる場合に好適な撮像装置、および撮像方法に関する。
【背景技術】
【０００２】
従来、オートフォーカス機能を有するデジタルカメラが多数存在する。
【０００３】
オートフォーカス機能を有するデジタルカメラでは、CCDなどの撮像素子によって生成された画像の中央に焦点検出エリアを設け、あるいは画像上に複数の焦点検出エリアを設け、焦点検出エリアの画像をハイパスフィルタに通すことによってコントラスト情報を抽出し、抽出したコントラスト情報を合焦評価値としてフォーカス制御を行っている。すなわち、デジタルカメラの焦点が被写体に合焦している場合、焦点検出エリアの画像のコントラストが急峻となることに基づき、コントラスト情報（合焦評価値）が最大となるようにフォーカスレンズを移動させることによりオートフォーカス機能を実現している。
【０００４】
ところで、一般的なカメラ撮影においては人を主要な被写体とすることが多い。しかしながら、主要な被写体として人は必ずしも構図内の焦点検出エリアに存在しているわけではない。
【０００５】
そこで、画像を解析して人の顔を検出し、検出した顔に焦点検出エリアを設けることにより、被写体（人の顔）が画像内のどこに存在していても、被写体に合焦させることができる技術が提案されている（例えば、特許文献１参照）。
【０００６】
しかしながら、実際には、人の顔はコントラストの変化が比較的少なく、顔のコントラスト情報に基づいてフォーカス制御することは困難である。そこで、検出した顔の輪郭を含むように焦点検出エリアを広げたり、検出した顔の下方に存在する首や肩までも含むように焦点検出エリアを広げたりして、被写体としての人に安定して合焦させる技術が提案されている（例えば、特許文献１参照）。
【０００７】
【特許文献１】特開２００３−１０７３３５号公報
【特許文献２】特開２００６−２２７０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、顔の輪郭などを含むように焦点検出エリアを設定する場合、顔を検出するために若干の処理時間を要するので、撮影者が急に撮影方向を変化させたり（急峻なパン、チルトなど）、あるいは被写体の人が素早く移動したりした場合、顔が存在するものとして設定された焦点検出エリアに顔が存在しないことがある。
【０００９】
このような場合、図１Ａに示すように、背景に強いコントラストの大きい物体（図１Ａの場合、ビルディング）が存在すると、その影響によって意図していない物体（図１Ａの場合、ビルディング）に合焦してしまうことが発生し得る。
【００１０】
あるいは、図１Ｂに示すように、追従対象の人の前を障害物（図１Ｂの場合、他の人）が一時的に通過したりすると、その影響によって意図していない障害物に合焦してしまうことが発生し得る。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、意図する被写体の背景にコントラストの大きい物体が存在したり、意図する被写体の前に障害物が出現したりしたとしても、その影響を受けることなく、意図する被写体に対して合焦し続けることを可能にするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面である撮像装置は、オートフォーカス機能を有する撮像装置において、撮像された画像上から被写体を検出する検出手段と、検出された前記被写体に合焦させるためにフォーカスレンズを駆動させるフォーカス制御手段と、検出された前記被写体の移動スピードを推定する推定手段と、検出された前記被写体までの距離を取得する取得手段と、推定された前記被写体の移動スピード、および取得された前記被写体までの距離に基づき、前記フォーカスレンズの駆動スピードの上限値を決定する決定手段とを含む。
【００１３】
前記検出手段は、撮像された画像上から前記被写体の顔を検出するようにすることができる。
【００１４】
前記取得手段は、検出された前記被写体までの距離を、撮像された画像上から検出された前記被写体の顔の大きさに基づいて取得するようにすることができる。
【００１５】
前記取得手段は、検出された前記被写体までの距離を、前記フォーカスレンズの調整位置に基づいて取得するようにすることができる。
【００１６】
前記決定手段は、前記フォーカスレンズの駆動スピードの至近方向の上限値を、遠方向の上限値よりも大きい値に決定するようにすることができる。
【００１７】
前記推定手段は、検出された前記被写体の特徴を判定し、判定した前記被写体の前記特徴を、予め用意されたテーブルと参照することにより、前記被写体の移動スピードを推定するようにすることができる。
【００１８】
本発明の一側面である撮像方法は、撮像された画像上から被写体を検出する検出手段と、検出された前記被写体に合焦させるためにフォーカスレンズを駆動させるフォーカス制御手段とを備え、オートフォーカス機能を有する撮像装置の撮像方法において、検出された前記被写体の移動スピードを推定し、検出された前記被写体までの距離を取得し、推定された前記被写体の移動スピード、および取得された前記被写体までの距離に基づき、前記フォーカスレンズの駆動スピードの上限値を決定するステップを含む。
【００１９】
本発明の一側面においては、検出された被写体の移動スピードが推定されるとともに被写体までの距離が取得され、推定された被写体の移動スピード、および取得された被写体までの距離に基づき、フォーカスレンズの駆動スピードの上限値が決定される。
【発明の効果】
【００２０】
本発明の一側面によれば、焦点検出エリアのコントラスト情報に基づいてフォーカスを制御することができる。
【００２１】
また、本発明の一側面によれば、意図する被写体の背景にコントラストの大きい物体が存在したり、意図する被写体の前に障害物が出現したりしたとしても、その影響を受けることなく、意図する被写体に対して合焦し続けることが可能となる。
【発明を実施するための最良の形態】
【００２２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２３】
本発明の一側面である撮像装置は、オートフォーカス機能を有する撮像装置（例えば、図１のデジタルビデオカメラ１０）において、撮像された画像上から被写体を検出する検出手段（例えば、図４の顔検出部５１）と、検出された前記被写体に合焦させるためにフォーカスレンズを駆動させるフォーカス制御手段（例えば、図４のフォーカス制御部５６）と、検出された前記被写体の移動スピードを推定する推定手段（例えば、図４の特徴判定部５２）と、検出された前記被写体までの距離を取得する取得手段（例えば、図４の距離算出部５３）と、推定された前記被写体の移動スピード、および取得された前記被写体までの距離に基づき、前記フォーカスレンズの駆動スピードの上限値を決定する決定手段（例えば、図４の追従スピード決定部５４）とを含む。
【００２４】
以下、本発明を適用した具体的な実施の形態について説明するが、その前に本発明の基本的な概要について説明する。
【００２５】
本発明は、意図する被写体に合焦した後において、フォーカスレンズを駆動するスピード（以下、AF動作の追従スピードと称する）を制限する（AF動作の追従スピードを減少させる）ことにより、意図する被写体の背景にコントラストの大きい物体が存在したり、意図する被写体の前に障害物が出現したりしたとしても、その影響を受けることなく、意図する被写体に対して合焦し続けるようにするものである。
【００２６】
このようなAF動作の追従スピードの制限は、意図する被写体となる人の移動速度には限界あり、また一般的な人物撮影においては、撮像装置と被写体となる人との相対速度はあまり大きくないので、AF動作の追従スピードを減少させても不都合はないと考えられることに基づいている。
【００２７】
具体的には、意図する被写体に合焦させ、合焦状態のフォーカスレンズ位置Ｆに基づいて当該被写体までの距離Dfを算出する（あるいは、合焦している被写体までの距離Dfを光学的に測定する）。次に、当該被写体が移動する最大スピードVf_maxを想定し、単位時間（例えば、１秒間）に移動した当該被写体までの距離を仮定する。そして、図２に示すような、撮像装置の光学系特性曲線（横軸はフォーカスレンズ位置、縦軸は合焦距離を示す）を参照し、移動した当該被写体までの距離にそれぞれ対応するフォーカスレンズ位置を求め、これらの差に基づき、フォーカスレンズの遠(far)方向への最大駆動スピードVaf_max_farと、フォーカスレンズの至近(Near)方向への最大駆動スピードVaf_max_nearとを算出して、AF動作の追従スピードの最大値に設定する。
【００２８】
なお、図２からも明らかなように、フォーカスレンズのFar側への最大駆動スピードと、フォーカスレンズのNear側への最大駆動スピードVaf_max_nearとはその値が異なり、フォーカスレンズのNear側への最大駆動スピードVaf_max_nearの方がその値が大きくなる。
【００２９】
次に、本発明の一実施の形態であるデジタルビデオカメラの構成例について、図３を参照して説明する。このデジタルビデオカメラ１０は、主に、被写体の光学像を撮像素子１２に集光する撮像レンズ１１、集光された光学像を電気的な画像信号に変換する撮像素子１２、所定のアナログ画像処理を行うアナログ信号処理部１３、画像信号をデジタル化するＡ／Ｄ変換部１４、および所定のデジタル画像処理を行うデジタル信号処理部１５から構成される。
【００３０】
また、デジタルビデオカメラ１０は、撮像した画像や各種の情報などを表示する液晶パネル１６、構図の決定に使用されるビューファインダ１７、および、撮像した画像信号が記録される記録デバイス１８から構成される。
【００３１】
さらに、デジタルビデオカメラ１０は、デジタルビデオカメラ１０の各部を制御する制御部２３、ユーザからの各種操作を受け付ける操作部２４、および、被写体までの距離を光学的に測定する測距センサ２８を備える。
【００３２】
撮像レンズ１１は、焦点距離を連続的に変更可能なズームレンズ、被写体に合焦するために移動されるフォーカスレンズ、絞りの径を変化させるアイリス、ＮＤフィルタを挿入するＮＤ機構、撮像時の手ぶれを補正するシフト防振式手ブレ補正レンズなどから構成されている。
【００３３】
撮像素子１２は、CCDあるいはCMOSによって構成され、集光された光学像を光電変換によってアナログの画像信号を生成してアナログ信号処理部１３に出力する。アナログ信号処理部１３は、撮像素子１２からの画像信号にノイズ除去などのアナログ画像処理を行い、Ａ／Ｄ変換部１４に出力する。
【００３４】
デジタル信号処理部１５は、Ａ／Ｄ変換部１４によってデジタル化される画像信号に、ガンマ補正などのデジタル画像処理を行う。
【００３５】
記録デバイス１８は、半導体メモリ、ディスク状記録媒体、テープ状記録媒体などの着脱可能な記録媒体に対して画像信号を記録する。
【００３６】
タイミングジェネレータ（ＴＧ）１９は、撮像素子１２に対して電荷の吐き出しタイミング（すなわち、画像信号の生成タイミング）を制御する。モータドライバ２０は、撮像レンズ１１に含まれるフォーカスレンズを駆動するモータ２１、およびズームレンズを駆動するモータ２２を制御する。
【００３７】
操作部２４は、デジタルビデオカメラ１０の筐体に設けられたボタンやスイッチ、あるいは液晶パネル１６に重畳して設けられるタッチパネルなどからなり、ユーザからの録画の開始／停止操作、ズーム操作などを受け付け、対応する操作信号を制御部２３に出力する。
【００３８】
制御部２３は、内蔵するCPUがプログラムROM２６に格納されたプログラムを実行することによって、デジタルビデオカメラ１０による各種の処理を制御する。
【００３９】
具体的には、例えば、制御部２３は、デジタル信号処理部１５から供給される画像から被写体となる人の顔を検出する顔検出処理、検出した顔に合焦させるAF処理、明るさの調節を行うAE処理、ホワイトバランスを行うWB処理などを行う。さらに、制御部２３は、AF動作の追従スピードを決定する追従スピード決定処理を行う。
【００４０】
不揮発性メモリであるEEPROM２５には、画像信号、各種の補助情報、設定情報が格納される。プログラムROM２６には、制御部２３に内蔵されたCPUによって実行されるプログラムの他、各種の演算パラメータ等が格納される。RAM２７には、制御部２３に内蔵されたCPUによって実行されるプログラムや、そのプログラムの実行において適宜変化するパラメータ等が格納される。
【００４１】
図４は、制御部２３がプログラムを実行することによって実現される、上述した各種の処理を行うための機能ブロック図を示している。
【００４２】
顔検出部５１は、デジタル信号処理部１５から供給される画像から被写体となる人の顔を検出し、その大きさ、位置、角度、および顔の画像を顔検出情報として出力する顔検出処理を行う。
【００４３】
画像から人の顔を検出するには、撮像された画像を異なる複数の縮小率で縮小した複数の縮小画像を生成し、予め用意した顔の輝度分布情報が記録されている複数のテンプレート群とマッチングすることにより実現できる。なお、テンプレート群には、顔を傾けた状態での輝度分布情報が記録されているテンプレートも含める。このテンプレートは、顔の３次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより、画像における顔の傾きが判定できる。また、縮小画像を徐々にずらしながらテンプレートとマッチングさせることにより、顔の位置が判定できる。さらに、マッチした縮小画像の縮小率から顔の大きさを求めることができる。なお、画像から人の顔を検出する方法には、特開２００４−１３３６３７に開示されている方法を適用してもよい。
【００４４】
なお、画像内から複数の顔が検出された場合、着目する被写体として、複数の顔のうちの１つをユーザが選択するようにするか、ユーザが予め設定した条件に合致するものを選択するようにするか、または顔検出部５１によって１つを選択するようにする。
【００４５】
ユーザが予め設定した条件とは、例えば、人種、選別、年齢などの優先順位を挙げることができる。
【００４６】
顔検出部５１が複数の顔のうちの１つを選択するには、例えば、各顔の大きさと画面中央からの距離を指標にする方法がある。すなわち、例えば、複数の顔のうち、その大きさが所定の閾値を越えるものを選抜し、選抜した顔のうちの最も大きい顔を選択するようにする。もっとも大きい顔が複数存在する場合、画像中央からの距離が最短の顔を選択するようにする。複数の顔のうち、その大きさが所定の閾値を越えるものが存在しない場合、画像中央からの距離が最短の顔を選択するようにする。
【００４７】
特徴判定部５２は、顔検出部５１からの顔検出情報に基づき、顔の特徴量を抽出し、抽出した特徴量に基づいて、被写体となる人の人種、性別、年齢、体格を判別する。さらに、これらの判別結果に基づいて被写体となる人の移動スピードを推定する。
【００４８】
距離算出部５３は、顔検出部５１により検出された顔までの距離を算出する（詳細は後述する）。なお、測距センサ２８によって測定された距離を採用するようにしてもよい。
【００４９】
追従スピード決定部５４は、距離算出部５３により算出された検出された顔までの距離と、特徴判定部５２により推定された被写体となる人の移動スピードに基づき、AF動作の追従スピードを決定する追従スピード決定処理を行う（詳細は後述する）。
【００５０】
合焦判定部５５は、デジタル信号処理部１５から供給される画像が合焦状態にあるか否かを判定する。具体的には、測距センサ２８によって算出された距離と、撮像レンズ１１などの現在の合焦距離との差が、被写界深度内にあれば合焦状態であると判定する。あるいは、検出された顔に焦点検出エリアを設定し、焦点検出エリアのコントラスト情報（合焦評価値）が最大となっている場合に合焦状態であると判定する。
【００５１】
フォーカス制御部５６は、合焦判定部５５による判定結果に基づき、フォーカスレンズを駆動するモータ２１を制御するモータドライバ２０を制御するが、その際、決定された追従スピードの最大値を越えないように従うように制御する。なお、フォーカス制御部５６は、追従スピードを制限する状態であるか否かを示す制限モードフラグを保持しており、制限モードフラグが有効である場合には追従スピードを制限し、制限モードフラグが無効である場合には追従スピードを制限しない。初期状態において、制限モードフラグは無効とされている。なお、制限モードフラグの有効／無効の切り替えについては後述する。
【００５２】
ここで、距離算出部５３による、顔検出部５１で検出された顔までの距離を算出する２種類の方法について説明する。
【００５３】
１種類目の方法では、顔検出部５１で検出された顔に合焦状態であると合焦判定部５５によって判定されたときのフォーカスレンズ位置Ｆを取得し、図５に示す撮像レンズ１１の特性曲線（横軸はフォーカスレンズ位置、縦軸は合焦距離を示す）に基づいて合焦距離Dfを算出し、顔までの距離とするようにする。
【００５４】
２種類目の方法では、検出された顔の大きさWFと、焦点距離ｆと、図６に示す光学系の基本的な物理法則とを用いて、次式（１）のように顔までの距離Dfを求めることもできる。
Df＝Wref×(f／Wi)×(Ww／Wf)                                      ・・・（１）
Wref：人の顔の大きさ標準値
Wi：撮像素子の大きさ
ｆ：焦点距離
Wf：顔の大きさ[ピクセル]（検出値）
Ww：顔検出に使用した全画像の大きさ[ピクセル]
【００５５】
ただし、図６に示された光学系の基本的な物理法則を用いた方法では、顔までの距離Dfに誤差が生じてしまう問題がある。すなわち、図７に示すように、合焦評価値が最大となるときのフォーカスレンズ位置Ｆ、想定される至近方向へのずれをΔFn、遠方向へのずれをΔFfとし、フォーカスレンズ位置（Ｆ−ΔFf）に対応する合焦距離Dffが最も遠方向に誤差が広がるときである。反対に、フォーカスレンズ位置（Ｆ＋ΔFn）に対応する合焦距離Dfnが最も至近方向に誤差が広がるときである。
【００５６】
なお、この誤差の要因は、被写界深度内に存在する全ての被写体は対して合焦するので、被写界深度が深いときには合焦評価値の変化が鈍り、合焦距離の分解能が低くなることと、フォーカスレンズの駆動単位以上の分解能が得られないことの２点である。
【００５７】
さらに、図６に示された光学系の基本的な物理法則を用いた方法では、顔の大きさを利用していることから、以下のような問題もある。すなわち、顔の大きさは、その人の人種、性別、年齢、体格などによってばらつきがあることと、顔検出に用いるテンプレートマッチングに能力の限界（実画像縮小率の分解能など）があることが挙げられる。
【００５８】
上述した１つ目の問題に対しては、顔大きさの標準値Wrefに適切な誤差範囲を持たせるような多次元テーブルデータを持つことによって対処できる。この多次元データテーブルは、図８に示すように、人種差、性別差、年齢差、体格差ごとにそれぞれ独立の次元でデータをもったテーブルの集合である。
【００５９】
特徴判定部５２において、顔のパーツ認識や個別認証の技術を用いることにより、人種判別、性別判別、年齢（年代でもよい）判別、体格判別も可能となり、それらの情報を組み合わせることで、誤差範囲を小さく見積もることができる。なお、人種、性別、年齢、および体格の全てを判別することは必須ではなく、これらのうちの１項目以上を判別できれば、誤差範囲を小さくすることができる。
【００６０】
図８の場合、人種別テーブルを用いて顔の大きさの標準値Wrefの誤差範囲（ばらつき）を求め、人種をパラメータとした性別テーブルで標準値Wrefの誤差範囲（ばらつき）を求め、人種と性別をパラメータとした年齢別テーブルで標準値Wrefの誤差範囲（ばらつき）を求め、さらに、人種と性別と年齢をパラメータとした体格別テーブルで標準値Wrefの誤差範囲（ばらつき）を求める。
【００６１】
上述した２つ目の問題に対しては、顔検出の誤差率のテーブルを持つことによって対処できる。顔検出の誤差は、人種、性別、年齢、体格などの拘わりなく独立して発生し得る問題である。テンプレートの数を増加させること、および縮小画像とテンプレートとのマッチングを確認する位置の数を増すことにより、顔検出の精度の向上は期待できるものの、限界がある。特に、顔が暗い場合には誤差が大きくなり、また顔の傾きが大きくなると誤差が大きくなる。
【００６２】
したがって、顔の検出誤差についても、そもそもの性能の限界、検出に不利となる明るさ、顔の傾きの３項目に対応する、顔検出の誤差率テーブルを用意しておく必要がある。また、検出された顔の大きさの誤差も考慮する必要がある。よって、この誤差率テーブルでは、顔の明るさ、顔の傾き、顔の大きさをパラメータとする。
【００６３】
上述した２つの問題に対するそれぞれの対処を統合すると、図９に示すような関係となる。
【００６４】
まず、検出された顔の大きさWfに対して、その顔の明るさ、傾き、大きさをパラメータとして、誤差として小さく判定してしまう時の顔の大きさWsmallと、誤差として大きく判定してしまう時の顔の大きさWbigを求める。
【００６５】
次に、顔の大きさの標準値Wrefのばらつきを求める。ずれなしの顔大きさの標準値をWref_default、想定される大きい方向へのずれをΔWref_big、小さい方向へのずれをΔWref_smallとする。
【００６６】
そして式（１）のWrefとWfに、
Wref＝Wref_default＋ΔWref_big
Wf＝Wsmall
を代入し、顔までの距離の遠方向の誤差が最も広がっているときの値Dffを算出する。
【００６７】
また、
Wref＝Wref_default−ΔWref_small
Wf＝Wbig
を代入し、顔までの距離の至近方向の誤差が最も広がっているときの値Dfnを算出する。
【００６８】
なお、検出された顔までの距離Dfを算出する２種類の方法を組み合わせて使用してよい。すなわち、１種類目の方法のように、合焦評価値が最大になっているフォーカスレンズ位置Ｆから距離Dfを推定する場合、特に広角側では被写界深度が深いことと、フォーカスレンズの駆動単位に対する合焦距離の分解能が低いことの影響を受け、正確な距離を推定することは困難である。
【００６９】
そこで、例えば、広角側では２種類目の方法を適用し、望遠側では１種類目の方法を適用するようにしてもよい。このように、２種類の方法を組み合わせて使用することにより、顔までの距離Dfをより精度よく算出することができる。
【００７０】
次に、追従スピード決定部５４による、AF動作の追従スピードを決定する追従スピード決定処理について説明する。
【００７１】
追従スピード決定処理では、図２を参照して概説したように、被写体が移動する最大スピードVf_maxを想定し、単位時間（例えば、１秒間）に移動した当該被写体までの距離を仮定し、仮定された当該被写体までの距離にそれぞれ対応するフォーカスレンズ位置を求め、これらの差に基づき、フォーカスレンズの遠(far)方向への最大駆動スピードVaf_max_farと、フォーカスレンズの至近(Near)方向への最大駆動スピードVaf_max_nearとを算出する。
【００７２】
なお、被写体が移動する最大スピードVf_maxは、図１０に示すように、被写体となる人に対して判定された人種、性別、年齢、および体格にそれぞれ対応して予め用意されているテーブルと、飛車値の動きが推定される撮影モード（スノーモード、スポーツレッスンモード、ポートレートなど）に対応して予め用意されているテーブルを参照して特徴判定部５２により決定（推定）される。
【００７３】
図２からも明らかであったように、撮像光学系の特性により、至近側の合焦距離の変化に対するフォーカスレンズの変化量は、遠側よりも大きいため、至近方向の制限スピードVaf_max_nearを、遠方向の制限スピードVaf_max_farより大きい値に設定する。
【００７４】
また、同様の理由より、顔までの距離の誤差を考慮する際、至近側に最もバラつきが多い状態に対応する合焦距離Dfnに基づいて、AFの追従スピードを計算するようにすれば、バラつきが発生し得る全ての範囲に対応することができる。
【００７５】
次に、制御部２３による、AF動作の追従スピードを制限する処理（追従スピード制限処理と称する）について、図１１のフローチャートを参照して説明する。
【００７６】
ステップＳ１において、フォーカス制御部５６は、自己が保持する制限モードフラグに基づき、AF動作の追従スピードを制限するか否かを判定し、制限しないと判定した場合、処理をステップＳ２に進める。反対に、制限すると判定した場合、処理をステップＳ７に進める。
【００７７】
この判定では、制限モードフラグが有効である場合、AF動作の追従スピードを制限すると判定され、制限モードフラグが無効である場合には、AF動作の追従スピードを制限しないと判定される。いまの場合、初期状態であるので、制限モードフラグは無効とされている。したがって、AF動作の追従スピードを制限しないと判定されて、処理はステップＳ２に進められる。
【００７８】
ステップＳ２において、フォーカス制御部５６は、撮像された画像から顔検出部５１によって顔が検出されたか否かを判定する。顔が検出されたと判定された場合、処理はステップＳ３に進められる。ステップＳ３において、フォーカス制御部５６は、検出された顔を追従対象（の被写体）に決定する。なお、複数の顔が検出された場合には、１つの顔を選択して追従対象に決定する。
【００７９】
ステップＳ４において、合焦判定部５５は、追従対象（検出された顔）に合焦しているか否かを判定して、判定結果をフォーカス制御部５６に通知する。ここで、合焦していると判定された場合、処理はステップＳ５に進められる。ステップＳ５において、フォーカス制御部５６は、保持する制限モードフラグを無効から有効に変更する。この後、処理はステップＳ１１に進められて、追従スピードの上限（至近側と遠側の最大スピード）が決定される。
【００８０】
ステップＳ１１の処理の詳細について、図１２のフローチャートを参照して説明する。
【００８１】
ステップＳ３１において、距離算出部５３は、追従対象までの距離Dfを得る（算出または測定する）。ステップＳ３２において、特徴判定部５２は、追従対象（となった顔の人物）に対する最大移動スピードを被写体が移動する最大スピードVf_maxを想定する。ステップＳ３３において、追従スピード決定部５４は、追従対象までの距離Dfと最大スピードVf_maxに基づき、フォーカスレンズの遠(far)方向への最大駆動スピードVaf_max_farと、フォーカスレンズの至近(Near)方向への最大駆動スピードVaf_max_nearを算出する。
【００８２】
この後、処理は図１１のステップＳ１２に進められてAF処理が行われる。そして、処理はステップＳ１に戻される。
【００８３】
なお、ステップＳ４において、追従対象に合焦していないと判定された場合、処理はステップＳ６に進められる。ステップＳ６において、フォーカス制御部５６は、AF追従スピードを制限せず、最も速いスピードに設定する。この後、処理はステップＳ１２に進められて、AF動作が行われる。
【００８４】
再びステップＳ１において、AF動作の追従スピードを制限するか否かが判定される。ここで、制限モードフラグが有効である場合、AF動作の追従スピードを制限すると判定されて処理はステップＳ７に進められる。
【００８５】
ステップＳ７において、顔検出部５１は、追従対象の認識（検出）できているか否かを判定し、判定結果をフォーカス制御部５６に通知する。追従対象の認識（検出）できていると判定された場合、処理はステップＳ８に進められる。
【００８６】
ステップＳ８において、フォーカス制御部５６は、現在の追従対象に対する認識カウント値を所定の最大値にリセットする。ここで、認識カウント値とは、追従対象が一時的に認識できなくなった場合においても、追従スピートの制限を直ちにやめることなく、最速に戻すまでの時間的余裕を持つために設けられた値である。
【００８７】
ステップＳ９において、合焦判定部５５は、追従対象に合焦しているか否かを判定し、判定結果をフォーカス制御部５６に通知する。追従対象に合焦していると判定された場合、処理はステップＳ１０に進められる。
【００８８】
ステップＳ１０において、フォーカス制御部５６は、現在の追従対象に対する合焦カウント値を所定の最大値にリセットする。ここで、合焦カウント値とは、追従対象に一時的に合焦できなくなった場合においても、直ちに追従スピートの制限をやめることなく、最速に戻すまでの時間的余裕を持つために設けられた値である。
【００８９】
この後、処理はステップＳ１１に進められ、追従対象までの最新の距離Dfと、最大スピードVf_maxに基づき、フォーカスレンズの遠(far)方向への最大駆動スピードVaf_max_farと、フォーカスレンズの至近(Near)方向への最大駆動スピードVaf_max_nearが更新される。
【００９０】
なお、ステップＳ７において、追従対象の認識（検出）できていないと判定された場合、処理はステップＳ１３に進められる。ステップＳ１３において、フォーカス制御部５６は、現在の追従対象に対する認識カウント値を１だけデクリメントする。そして、ステップＳ１４において、フォーカス制御部５６は、現在の追従対象に対する認識カウント値が０になったか否かを判定し、認識カウント値が０になっていない場合には処理をステップＳ１１に進める。
【００９１】
反対に、認識カウント値が０になった場合には、処理をステップＳ１５に進め、保持する制限モードフラグを有効から無効に変更する。この後、処理はステップＳ６に進められる。
【００９２】
また、ステップＳ９において、追従対象に合焦していないと判定された場合にも、処理はステップＳ１３に進められる。ステップＳ１３において、フォーカス制御部５６は、現在の追従対象に対する合焦カウント値を１だけデクリメントする。そして、ステップＳ１４において、フォーカス制御部５６は、現在の追従対象に対する合焦カウント値が０になったか否かを判定し、合焦カウント値が０になっていない場合には処理をステップＳ１１に進める。
【００９３】
反対に、合焦カウント値が０になった場合には、処理をステップＳ１５に進め、保持する制限モードフラグを有効から無効に変更する。この後、処理はステップＳ６に進められる。
【００９４】
そして、この追従スピード制限処理は、撮影が行われている間、繰り返し実行される。以上で、追従スピード制限処理の説明を終了する。
【００９５】
以上、説明したように、本発明を適用したデジタルビデオカメラ１０によれば、人の顔に追従するオートフォーカス動作を安定、かつ、正確に行うことができる。
【００９６】
なお、本実施の形態においては、人の顔を検出して合焦し追従するようにしたが、顔以外の部位を検出して合焦し追従するようにしてもよい。
【００９７】
また、本発明は、動画像の撮像に限らず、静止画像の撮像する場合にも適用することができる。
【００９８】
なお、本発明を適用したデジタルビデオカメラ１０によれば、画像内に複数の人が存在するような場合においても、意図する人に対して安定して合焦させることができる。
【００９９】
なお、本実施の形態においては、人の顔を検出して追従させるようにしたが、顔以外の部位を検出して追従させるようにしてもよい。
【０１００】
本発明は、デジタルビデオカメラの他、AF機能を有するデジタルスチルカメラなどの撮像装置にも適用することができる。
【０１０１】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１０２】
【図１】従来の問題点を説明するための図である。
【図２】光学系特性曲線を示す図である。
【図３】本発明を適用したデジタルビデオカメラの構成例を示すブロック図である。
【図４】図３の制御部によって実現される機能ブロックの構成例を示す図である。
【図５】撮像レンズの特性曲線を示す図である。
【図６】顔の大きさ、および焦点距離に基づいて、顔までの距離を求める方法を説明するための図である。
【図７】図６における顔までの距離の誤差を説明するための図である。
【図８】検出された顔の特徴に応じたばらつきテーブルの例を示す図である。
【図９】遠側と至近側の顔までの距離の誤差を示す図である。
【図１０】被写体の最大スピードを推定する処理を説明するための図である。
【図１１】追従スピード制限処理を説明するフローチャートである。
【図１２】追従スピード上限決定処理を説明するフローチャートである。
【符号の説明】
【０１０３】
１０  デジタルビデオカメラ，  １１  撮像レンズ，  １２  撮像素子，  １３  アナログ信号処理部，  １４  A/D変換部，  １５  デジタル信号処理部，  ２０  モータドライブ，  ２３  制御部，  ２４  操作部，  ２８  測距センサ，  ５１  顔検出部，  ５２  特徴判定部，  ５３  距離算出部，  ５４  追従スピード決定部，  ５５  合焦判定部，  ５６  フォーカス制御部
【図１】
2009092747.tif 000003
【図２】
2009092747.tif 000004
【図３】
2009092747.tif 000005
【図４】
2009092747.tif 000006
【図５】
2009092747.tif 000007
【図６】
2009092747.tif 000008
【図７】
2009092747.tif 000009
【図８】
2009092747.tif 000010
【図９】
2009092747.tif 000011
【図１０】
2009092747.tif 000012
【図１１】
2009092747.tif 000013
【図１２】
2009092747.tif 000014