(57)【要約】【課題】  顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行えるようにすること。【解決手段】  撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する顔検出部（１１６）と、対象物を表す領域が検出された場合に、対象物を含む領域を焦点検出領域として設定する設定手段（１１４）と、焦点検出領域の画像信号からＡＦ評価値を生成するＡＦ信号処理回路（１１３）と、ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段（１１４）と、撮像装置の傾きが変化しているかどうかを判定する判定手段（１１４）とを有し、前記設定手段は、対象物を表す領域が検出されず、且つ、傾きが変化していると判定された場合に、焦点検出領域を設定せず、対象物を表す領域が検出されず、且つ、傾きが変化していると判定されなかった場合に、すでに焦点検出領域が設定されていれば、該設定を保持する。【選択図】  図１
2010060657.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、
前記検出手段により前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定手段と、
前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、
前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段と、
前記撮像装置の傾きが変化しているかどうかを判定する判定手段とを有し、
前記設定手段は、前記検出手段により対象物を表す領域が検出されず、且つ、前記判定手段により傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持することを特徴とする焦点調節装置。
【請求項２】
前記ＡＦ評価値生成手段は、更に、前記画像の予め設定された領域の画像信号から高周波成分を取り出してＡＦ評価値を生成し、
前記設定手段により焦点検出領域が設定されている場合に、該設定された焦点検出領域の画像信号に基づいて生成されたＡＦ評価値と、前記画像の予め設定された領域の画像信号に基づいて生成されたＡＦ評価値とを加重加算して、前記焦点調節に用いるＡＦ評価値を生成し、
前記設定手段により焦点検出領域が設定されていない場合に、前記画像の予め設定された領域の画像信号に基づいて前記焦点調節に用いるＡＦ評価値を生成する
ことを特徴とする請求項１に記載の焦点調節装置。
【請求項３】
前記判定手段は、
前記撮像装置の傾きを検出する傾きセンサと、
前記傾きセンサによる検出結果に応じて、前記撮像装置の傾きの変化量を算出する算出手段と、
前記算出された傾きの変化量を予め設定された閾値と比較することで、傾きが変化しているかどうかを判断する判断手段と
を含むことを特徴とする請求項１または２に記載の焦点調節装置。
【請求項４】
前記撮像装置の撮影レンズの焦点距離を取得する焦点距離取得手段と、
前記焦点距離取得手段により取得した前記焦点距離に応じて、前記判断手段で用いられる閾値を設定する閾値設定手段と
を更に有することを特徴とする請求項３に記載の焦点調節装置。
【請求項５】
前記閾値設定手段は、前記焦点距離が長い場合に、短い場合よりも小さい値を閾値として設定することを特徴とする請求項４に記載の焦点調節装置。
【請求項６】
前記予め決められた対象物は、人の顔であることを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。
【請求項７】
撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、
前記検出工程で前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定工程と、
前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、
前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程と、
前記撮像装置の傾きが変化しているかどうかを判定する判定工程とを有し、
前記設定工程では、前記検出工程で対象物を表す領域が検出されず、且つ、前記判定工程で傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持することを特徴とする焦点調節方法。
【請求項８】
コンピュータに、請求項７に記載の焦点調節方法の各工程を実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、動画撮影時に得られる画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。
【背景技術】
【０００２】
ビデオカメラ等のオートフォーカス（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大となるフォーカスレンズの位置を探索するＴＶ−ＡＦ方式が主流である。
【０００３】
しかしながら、人物を撮影する場合において、主被写体である人物とその背景のコントラストの関係から、人物にピントが合わず、背景に合ってしまうという問題があった。
【０００４】
このような問題を解決するために、顔検出機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出エリアを設定し、焦点検出を行う撮像装置や（例えば、特許文献１参照）、人物の目を検出し、その目に基づいて焦点検出を行う撮像装置（例えば、特許文献２参照）が提案されている。
【０００５】
さらに、撮影時の被写体の動きやパンニング及びチルティング等のカメラワークによるカメラの動きがあるときは焦点検出のエリアを拡大して焦点検出を行う撮像装置（例えば、特許文献３参照）が提案されている。
【０００６】
【特許文献１】特開２００６−２２７０８０号公報
【特許文献２】特開２００１−２１５４０３号公報
【特許文献３】特開２００４−２１２５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、動画を撮影するビデオカメラにおいては、静止画を撮影する場合と異なり、常に人物が動いている可能性が高いため、人物の顔の認識が安定せずにＡＦが不安定となることがある。つまり、人物の顔が常に認識されるのであれば、人物の顔領域を焦点を検出する領域に指定して焦点調節を行えば、人物への合焦状態は安定する。しかし、例えば、人物が横を向いたり目を閉じてしまった場合など、被写体の絵柄が変化した場合や、撮影者が手ブレした場合などには顔を認識するのが難しい。このような、顔が認識されたりされなかったりする撮影条件の下では、焦点を検出する領域を顔の認識／非認識で変更すると、ＡＦ評価値信号も変動してしまい、安定した焦点調節を行うことができない。
【０００８】
また、動画撮影の場合、様々な被写体が画面内に出入りする。通常、撮影者は画面の中央に被写体を配置させるように撮影する場合が多いが、例えば、画面の端に別の顔が認識された場合にその顔に合焦してしまうと、撮影者が意図した被写体に合焦しなくなってしまうことがある。
【０００９】
さらに、被写体の移動や、パンニング等のカメラワークにより顔が検出されにくい場合もあり、顔検出の領域を拡大しても主被写体の動きには追従しないため、その領域から得られる動画撮影のＡＦ評価値信号は安定性を損なうことにもなる。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行えるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の焦点調節装置は、撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、前記検出手段により前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定手段と、前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段と、前記撮像装置の傾きが変化しているかどうかを判定する判定手段とを有し、前記設定手段は、前記検出手段により対象物を表す領域が検出されず、且つ、前記判定手段により傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持する。
【００１２】
また、本発明の焦点調節方法は、撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、前記検出工程で前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定工程と、前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程と、前記撮像装置の傾きが変化しているかどうかを判定する判定工程とを有し、前記設定工程では、前記検出工程で対象物を表す領域が検出されず、且つ、前記判定工程で傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持する。
【発明の効果】
【００１３】
本発明によれば、顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１５】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の画像を取得することのできる他の撮像装置にも適用することができる。
【００１６】
図１において、１００はビデオカメラ本体（以下、「ビデオカメラ」と呼ぶ。）、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。また、１０４は第２固定レンズ、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、「フォーカスレンズ」という。）である。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される（撮影レンズ）。
【００１７】
１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。１０７は撮像素子１０６の出力をサンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路である。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。
【００１８】
１０９はＬＣＤ等により構成されるモニタであり、カメラ信号処理回路１０８からの映像信号を表示する。１１５は記録部であり、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、ハードディスク、半導体メモリ等の記録媒体に記録する。
【００１９】
１１０は変倍レンズ１０２を移動させるためのズーム駆動源、１１１はフォーカスレンズ１０５を移動させるためのフォーカシング駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【００２０】
１１２はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域（焦点検出領域）の信号のみを通すＡＦゲートである。ＡＦ信号処理回路１１３（ＡＦ評価値生成手段）は、ＡＦゲート１１２を通過した信号から高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して、ＡＦ評価値信号を生成する。生成されたＡＦ評価値信号は、カメラ／ＡＦマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。
【００２１】
カメラ／ＡＦマイコン１１４（制御手段）は、ビデオカメラ１００全体の動作の制御を司るとともに、ＡＦ評価値信号に基づいて、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるフォーカス制御を行う。カメラ／ＡＦマイコン１１４は、フォーカス制御として、ＴＶ−ＡＦ方式でのフォーカス制御（以下、単にＴＶ−ＡＦという。）を行う。
【００２２】
顔検出部１１６は、画像信号に対して公知の顔認識処理を施し、撮影画面内の人物の顔領域を検出し、検出結果をカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、後述するようにして、送信された顔領域の検出結果に基づいて撮影画面内の顔領域を含む位置に焦点検出領域（顔枠）を設定し、ＡＦゲート１１２へ情報を送信する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、本願発明は顔認識処理により限定されるものではなく、どのような方法を用いても構わない。
【００２３】
傾きセンサ１１８は、ビデオカメラ１００による撮影時のカメラワークによって起こる装置の傾きを検出するものであり、一般的には加速度センサが用いられるが、傾きの検出が可能であれば、これに限るものではない。傾きセンサ１１８の出力である傾き信号は、増幅回路１１９にて所定量増幅された後、カメラ／ＡＦマイコン１１４へ入力され、ビデオカメラ１００の傾き状態判定に用いられる。
【００２４】
次に、カメラ／ＡＦマイコン１１４で行われる焦点調節制御（ＡＦ制御）について、図２〜図６を用いて説明する。なお、このＡＦ制御は、カメラ／ＡＦマイコン１１４内に格納されたコンピュータプログラムに従って実行される。
【００２５】
先ず、カメラ／ＡＦマイコン１１４内で実行されるＡＦ制御を、図２のフローチャートに従って説明する。
【００２６】
まず、ステップＳ２０１で処理が開始されると、ステップＳ２０２において顔検出部１１６により、得られた被写体画像に対して顔検出処理を行って、ステップＳ２０３に進む。なお、ステップＳ２０２の顔検出処理は、公知の方法を用いて行われる。そして、ステップＳ２０３では顔検出が成功したか否かを判断し、成功していればステップＳ２０４へ、失敗していればステップＳ３０１へ進む。
【００２７】
顔検出が成功した場合、ステップＳ２０４では焦点検出領域を特定するＡＦ枠として、顔を含む領域を特定する顔枠と、通常の焦点検出領域を特定する通常枠とを設定し、ステップＳ２０５へ進む。ステップＳ２０４で設定されたＡＦ枠の一例を図３に示す。ステップＳ２０５では、ステップＳ２０４で設定された顔枠及び通常枠内の画素から得られる画像信号から各々ＡＦ評価値を取得し、ステップＳ２０６へと進む。
【００２８】
次に、ステップＳ２０６では、画面内の所定座標からの距離に基づき顔検出領域の画面上の位置情報を取得し、ステップＳ２０７へ進む。なお、画面内の所定座標は、画面の中心座標でも構わないが、人物撮影をする場合を考えると、画角にもよるが人の顔は画面の中心より上側に来ることが多いため、画面の上部寄りの設定にするのが好ましい。
【００２９】
次に、ステップＳ２０７では、ステップＳ２０６で求められた顔枠の位置情報に基づき、画面上の位置に応じた所定比率をかけて、加重加算により顔枠のＡＦ評価値を再演算する。例えば、撮影中に画面の外側から人物が撮影画角内に入ってきたときなど、顔枠の位置が画面上の隅にある場合と、中心近傍にある場合とで、ＡＦ制御に用いる重みを変える。図４に位置が異なる複数の顔枠が設定されている場合の一例を示す。顔枠のＡＦ評価値の再演算が完了すると、ステップＳ２０８へ進む。
【００３０】
ステップＳ２０８では、ステップＳ２０７で再演算（加重加算）された顔枠のＡＦ評価値と、通常枠のＡＦ評価値を加算し、最終的なＡＦ評価値を算出し、ステップＳ２０９へと進む。
【００３１】
次に、ステップＳ２０９では、従来からあるＴＶ−ＡＦ方式の焦点調節処理を行ってから、ステップＳ２０２へ戻り、上述したＡＦ制御の処理を繰り返す。 ＴＶ−ＡＦ制御処理については、図５を参照して後述する。
【００３２】
次に、ステップＳ２０３で顔検出が失敗し、ステップＳ３０１に進んだ場合について説明する。
【００３３】
ステップＳ３０１は、傾きセンサ１１８によって検出されたビデオカメラ１００の傾き信号に基づく傾きの変化を検出する処理であり、撮影者のカメラワークによるビデオカメラ１００の傾きの変化を検出する処理である。なお、傾き変化検出処理の詳細については後述する。
【００３４】
次に、ステップＳ３０２では、ステップＳ３０１の傾き変化検出処理でビデオカメラ１００の傾きの変化が検出されたか否かを判定する。傾きの変化が検出されていないと判定されている場合はステップＳ２０４へ進み、ステップＳ２０３で顔検出が成功した場合と同じ処理を行うこととなる。ステップＳ３０１に進んだ時点で顔検出は失敗しているが、顔検出が成功した場合に設定されるＡＦ枠である顔枠はビデオカメラ１００の傾きの変化が検出されたと判定されるまでは保持する。このようにしてＡＦ評価値の変動を低減させることで、安定した合焦状態を維持する。
【００３５】
一方、ステップ３０２で傾きの変化が検出されていると判定された場合はステップ２１０に進み、ＡＦ枠として通常枠のみを設定する。このとき設定される通常枠には、通常枠内の中央位置に小枠を同時に設定する。
【００３６】
ステップＳ２１０で通常枠が設定されたので、ステップＳ２１１では通常枠のＡＦ評価値を取得し、ステップＳ２０８、ステップＳ２０９へと進み、ＴＶ−ＡＦ制御によって焦点調節処理が行われる。
【００３７】
次に、カメラ／ＡＦマイコン１１４によりステップＳ２０９で行われるＴＶ−ＡＦ方式のＡＦ制御について、図５を用いて説明する。
【００３８】
図５において、ステップＳ５０１でＴＶ−ＡＦ制御処理を開始すると、まず、フォーカスレンズ１０５を微小駆動し（ステップＳ５０２）、その微小駆動により合焦したか否かを判別する（ステップＳ５０３）。合焦していなければ、上記の微小駆動により合焦方向を判別できたか否かを判別する（ステップＳ５０４）。合焦方向を判別できなかった場合はステップＳ５０２に戻り、合焦方向を判別できた場合は、ステップＳ５０５に進んで、山登り駆動により、ＡＦ評価値が大きくなる方向へ高速でフォーカスレンズ１０５を移動させる。
【００３９】
次に、山登り駆動を行った結果、ＡＦ評価値がピークを越えたか否かを判別する（ステップＳ５０６）。ピークを越えていなければ、ステップＳ５０５に戻って山登り駆動を継続し、ピークを越えた場合は、山登り駆動中のＡＦ評価値のピークに戻すために、フォーカスレンズ１０５を逆方向に駆動する（ステップＳ５０７）。
【００４０】
そして、ＡＦ評価値がピークに戻ったか否かを判別する（ステップＳ５０８）。その結果、ピークに戻っていない場合は、ステップＳ５０７に戻り、ＡＦ評価値のピークに戻す動作を継続する。一方、ピークに戻った場合は、ステップＳ５０２に戻り、フォーカスレンズ１０５を微小駆動することにより、次の動画の合焦位置をサーチする。
【００４１】
一方、ステップＳ５０３にて、合焦したと判別された場合は、フォーカスレンズ１０５を停止し（ステップＳ５０９）、合焦した際のＡＦ評価値を記憶しておき（ステップＳ５１０）、再起動判定の処理部分に入る。ステップＳ５１０で格納した前回のＡＦ評価値とステップＳ５１１で取得した今回のＡＦ評価値とを比較し、所定レベル以上の差があれば、ＴＶ−ＡＦ制御を再起動する必要があると判定する（ステップＳ５１２）。
【００４２】
再起動する必要があると判定された場合は、ステップＳ５０２に戻り、微小駆動動作を再開する。一方、再起動する必要がないと判定された場合は、フォーカスレンズ１０５をそのまま停止した状態で維持し（ステップＳ５１３）、以後の処理に対応するため、ステップＳ５１１へ戻り、再起動判定処理を継続する。
【００４３】
このように、ＴＶ−ＡＦ方式は、再起動判定→微小駆動→山登り駆動→…→微小駆動→再起動判定を繰り返しながら、フォーカスレンズ１０５を駆動制御することにより、ＡＦ評価値を常に最大にするように制御する。図６は、ＡＦ評価値が最大となる点が合焦位置であることを示す図である。
【００４４】
次に、傾きセンサ１１８によって検出される傾き信号に基づくビデオカメラ１００の傾きの変化の検出について、図７から図９を用いて説明する。
【００４５】
図７はビデオカメラ１００の傾き検出を行う傾きセンサ１１８と、その増幅出力信号に基づいてカメラの傾きの変化状態を判断するための機能構成を説明するブロック図である。図７において、傾きセンサ１１８は、本第１の実施形態においては加速度センサで構成している。そして上述したように、増幅回路１１９は傾きセンサ１１８から出力された傾き信号を所定量増幅する。
【００４６】
次に、増幅回路１１９によって増幅された傾き信号はカメラ／ＡＦマイコン１１４に入力される。カメラ／ＡＦマイコン１１４では、アナログ出力をデジタル信号に変換するＡ／Ｄ変換器１２０ａを介し、デジタル信号に変換された傾き信号をメモリ１２０ｂに格納すると共に、変化量算出部１２０ｃに供給する。
【００４７】
変化量算出部１２０ｃでは、現在の傾き信号のデジタル値と、メモリに格納された前回の傾き信号のデジタル値との差分から、傾きセンサ１１８の出力電圧の変化量を算出する。傾きセンサ１１８の出力電圧は撮影者のカメラワークにより変化するため、傾きセンサ１１８の出力変化量から、どの程度ビデオカメラ１００の傾きが変化したかを判別することができる。
【００４８】
傾き角度算出部１２０ｄでは、変化量算出部１２０ｃで算出された傾きセンサ１１８の出力電圧の変化量を角度に換算する。この角度は、つまり、撮影者のカメラワークによるビデオカメラ１００の傾き角度の変化量である。
【００４９】
次に、傾き状態判定部１２０ｅにて、傾き角度算出部１２０ｄにより算出された傾き角度の変化量から、ビデオカメラ１００の角度の変化量が閾値を超過しているか否かを判定する。この判定の結果が、図２のステップＳ３０２で説明した顔検出の判断処理が一時的に不可能となった場合に採用されることになる。
【００５０】
なお、上記説明した構成の傾きセンサ１１８、増幅回路１１９、Ａ／Ｄ変換器１２０ａ、メモリ１２０ｂ、変化量算出部１２０ｃ、傾き角度算出部１２０ｂ、傾き状態判定部１２０ｅは、それぞれ、傾きを検出する検出軸分必要である。しかしながら、ここでは説明の簡略化のために、１系統分のみを図示し、その説明を代表しているものとする。また、傾きセンサ１１８は１軸の検出軸のセンサを複数個用いなくても、３軸検出可能なセンサを用いることで同様の構成を為すことが可能である。更に、本第１の実施形態では、ビデオカメラ１００の上下方向の傾きについて説明しているが、光軸を中心とする回転方向の傾きも同様に検出可能である。
【００５１】
次に、ビデオカメラ１００の傾きと、傾きセンサ１１８によって検出される傾き信号との関係を図８に示す。図８（ａ）において、中央に示すビデオカメラ１００の状態を通常撮影時の正位置とし、左に示すビデオカメラ１００は上に９０度、右に示すビデオカメラ１００は下に９０度傾いた状態を示している。
【００５２】
ビデオカメラ１００が、上述した図８（ａ）のような傾きとなっている場合の傾きセンサ１１８の出力特性の一例を表したものが図８（ｂ）である。図８（ｂ）において、縦軸は傾きセンサ１１８の出力電圧、横軸は傾きセンサ１１８の傾き、８０１はビデオカメラ１００の傾きに基づいた傾きセンサ１１８の出力を示している。ここで、傾きセンサ１１８の出力を増幅する増幅回路１１９のゲインを図示したセンサ出力の範囲内になるように設定している。
【００５３】
図８（ｂ）は、ビデオカメラ１００が正位置にある場合（図８（ａ）の中央、傾き０°）の傾きセンサ１１８の増幅出力であり、傾きセンサ１１８に供給する電源電圧Ｖｃｃの１／２のとなる。これに対し、図８（ａ）の左側に示すようにビデオカメラ１００を９０°（−９０°）回転して上に傾けると、傾きセンサ１１８の増幅出力は電源電圧Ｖｃｃと同じとなる。逆に図８（ａ）の右側に示すように９０°（＋９０°）回転して下に傾けると、傾きセンサ１１８の増幅出力は接地レベルＧｎｄとなる。−９０°から０°の間、また０°〜９０°の間の傾きにおいては、８０１が表すように、傾きセンサ１１８の出力は傾きに対して直線的に変化する。なお、この傾きセンサ１１８の出力特性は、傾きセンサ１１８の実装方向を逆にすると図８（ｂ）で示したものとは逆の出力特性となる。このような特性に基づいて、ビデオカメラ１００の傾きを検出し、傾き角度の算出および傾き状態の判定を行うことになる。また、本第１の実施形態ではビデオカメラ１００の上下方向の傾きについて説明しているが、光軸を中心とする回転方向の傾きも、傾きセンサ１１８の検出軸を合わせることで同様に検出可能である。
【００５４】
次に、カメラ／ＡＦマイコン１１４内で処理される傾き角度の算出および傾き状態の判定について図９のフローチャートを用いて説明する。
【００５５】
まずステップＳ９０１では、増幅回路１１９を経て増幅された傾きセンサ１１８の傾き信号をＡ／Ｄ変換処理をして取り込み、次のステップＳ９０２へ進む。
【００５６】
次に、ステップＳ９０２では、ステップＳ９０１で取り込んだ傾き信号のデジタル値を記憶し、ステップＳ９０３へ進む。ステップＳ９０３では、現在の傾き信号のデジタル値と、ステップＳ９０２で記憶した前回の傾き信号のデジタル値との変化量を算出して、ステップＳ９０４へ進む。これは、撮影者によるカメラワークによって傾きが変化するため、どの程度傾きが変化したかを算出するための処理である。
【００５７】
次に、ステップＳ９０４では、ステップＳ９０３で算出された傾き信号の変化量から、ビデオカメラ１００の傾きが何度変化したかを算出し、ステップＳ９０５へ進む。ここで行われる変化量から角度への換算は、図８（ｂ）で示したように、傾きセンサ１１８の出力電圧８０１を、例えば１０ｂｉｔの分解能分でＡ／Ｄ変換を行った場合の１ＬＳＢあたりの出力電圧が何度に相当するかを、テーブルデータ化しておくことで行う。
【００５８】
次のステップＳ９０５では、ステップＳ９０４で算出された傾き角度の変化が、予め設定しておいた閾値以上であるか否かを判断し、閾値以上であればステップＳ９０６へ進み、閾値未満であればステップＳ９０７へ進む。ここで用いる閾値としては、任意の角度（例えば５°以上等）を設定すればよく、更に、検討によって得られた値であれば、精度の向上が期待できる。
【００５９】
次に、ステップＳ９０６では、傾き状態判定部１２０ｅの判定結果が閾値以上のため、ビデオカメラ１００の傾きの変化が検出されている「傾き変化検出状態」と判定する。この場合、顔検出部１１６で顔を検出できなかった場合（図２のステップＳ２０３でＮＯ）に、ビデオカメラ１００が撮影者のカメラワークにより所定の角度以上、傾きが変化していると判定される（ステップＳ３０２でＹＥＳ）。そして、顔枠をすぐに解除するように情報を出力する。
【００６０】
一方、ステップＳ９０７では、傾き状態判定部１２０ｅの判定結果が閾値未満のため、ビデオカメラ１００の傾きの変化が検出されていない「傾き変化非検出状態」と判定する。この場合、顔検出部１１６で顔を検出できなかった場合（図２のステップＳ２０３でＮＯ）に、ビデオカメラ１００が撮影者のカメラワークにより所定の角度以上、傾きが変化していないと判定する（ステップＳ３０２でＮＯ）。そして、顔枠をそのまま保持するように情報を出力する。
【００６１】
次に前述した処理によって顔枠と通常枠の切り替えについて、図１０を用いて説明する。
【００６２】
図１０（ａ）、（ｂ）、（ｃ）は本第１の実施形態におけるビデオカメラ１００で撮影する時の、ＡＦ制御に用いる顔枠と通常枠の切り替え状態の遷移を表している。
【００６３】
まず、図１０（ａ）では、顔枠と通常枠をＡＦ制御に用いている撮影画面である。撮影中に、主被写体である人物が横を向いたりして、一時的に顔の検出が失敗した場合にすぐに顔枠のＡＦ評価値を不採用とするとＡＦの安定性が損なわれてしまう。そこで、ビデオカメラ１００が撮影者のカメラワークによって閾値を超過するような傾きのの変化を検出していなければ、図１０（ｂ）に示すように顔枠を保持してＡＦ制御を行う。
【００６４】
しかし、顔の検出が失敗し、更に撮影者のカメラワークによって閾値を超過する傾きの変化が検出されていれば、撮影画面が変わることになるので、図１０（ｃ）に示すように顔枠を解除して画面上から消し、通常枠でのＡＦ制御を行う。
【００６５】
以上説明したように本発明の第１の実施形態によれば、顔検出機能を用いた焦点調節制御において、特に動画撮影を行っている場合に、顔が一時的に検出されなくても、ビデオカメラの傾きが変化していないと判断されると、次のように制御される。即ち、それまでに検出されている顔領域の設定を継続保持して、顔領域のＡＦ評価値を焦点調節制御に用いる。これにより、撮影者が意図する主被写体に対して精度良く、安定した焦点調節を行うことが可能となった。
【００６６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００６７】
上述した第１の実施形態においては、顔検出部１１６が顔検出に失敗した場合に、傾きセンサ１１８からの傾き信号に基づき、傾き状態判定部１２０ｅがビデオカメラ１００の傾きの変化が所定の閾値以上であるかどうかを判断していた。そして、閾値未満の場合は、顔枠を保持してＡＦ制御を行うというものであったが、本発明の第２の実施形態においては、ビデオカメラ１００の焦点距離に応じて傾き角度の変化量の閾値を変更するようにしたものである。
【００６８】
本第２の実施形態に係るビデオカメラの構成は、第１の実施形態で図１を参照して説明したものと同様であるので、ここでは説明を省略する。また、本第２の実施形態におけるＡＦ制御処理も第１の実施形態で図２を参照して説明したものと同様であるが、ステップＳ３０１における傾き検出処理が、図９を参照して説明した第１の実施形態における処理とは異なる。従って、以下に、本第２の実施形態における傾き検出処理について、図１１を参照して説明する。なお、図１１において、図９と同様の処理については同じステップ番号を用いている。
【００６９】
まずステップＳ９０１では、増幅回路１１９を経て増幅された傾きセンサ１１８の傾き信号をＡ／Ｄ変換処理をして取り込み、次のステップＳ９０２へ進む。
【００７０】
次に、ステップＳ９０２では、ステップＳ９０１で取り込んだ傾き信号のデジタル値を記憶し、ステップＳ９０３へ進む。ステップＳ９０３では、現在の傾き信号のデジタル値と、ステップＳ９０２で記憶した前回の傾き信号のデジタル値との変化量を算出して、ステップＳ９０４へ進む。これは、撮影者によるカメラワークによって傾きが変化するため、どの程度傾きが変化したかを算出するための処理である。
【００７１】
次に、ステップＳ９０４では、ステップＳ９０３で算出された傾き信号の変化量から、ビデオカメラ１００の傾きが何度変化したかを算出し、ステップＳ１１０１へ進む。ここで行われる変化量から角度への換算は、図８（ｂ）で示したように、傾きセンサ１１８の出力電圧８０１を、例えば１０ｂｉｔの分解能分でＡ／Ｄ変換を行った場合の１ＬＳＢあたりの出力電圧が何度に相当するかを、テーブルデータ化しておくことで行う。
【００７２】
次に、ステップＳ１１０１では焦点距離を取得し（焦点距離取得）、焦点距離に応じて、傾き角度の変化量と比較するための閾値の設定を行う（閾値設定）。具体的には、テレ端での閾値が１°と設定されていた場合、焦点距離がワイド側になるにつれ、閾値が大きくなるように設定変更を行う。これは、傾きに対する撮像面上での被写体位置の移動量が焦点距離によって異なるためである。焦点距離に基づく閾値を設定した後、ステップＳ９０５へ進む。
【００７３】
次のステップＳ９０５では、ステップＳ９０４で算出された傾き角度の変化が、ステップＳ１１０１で設定された閾値以上であるか否かを判断し、閾値以上であればステップＳ９０６へ進み、閾値未満であればステップＳ９０７へ進む。
【００７４】
次に、ステップＳ９０６では、傾き状態判定部１２０ｅの判定結果が閾値以上のため、ビデオカメラ１００の傾きの変化が検出されている「傾き変化検出状態」と判定する。この場合、顔検出部１１６で顔を検出できなかった場合（図２のステップＳ２０３でＮＯ）に、ビデオカメラ１００が撮影者のカメラワークにより所定の角度以上、傾きが変化していると判定われる（ステップＳ３０２でＹＥＳ）。そして、顔枠をすぐに解除するように情報を出力する。
【００７５】
一方、ステップＳ９０７では、傾き状態判定部１２０ｅの判定結果が閾値未満のため、ビデオカメラ１００の傾きの変化が検出されていない「傾き変化非検出状態」と判定する。この場合、顔検出部１１６で顔を検出できなかった場合（図２のステップＳ２０３でＮＯ）に、ビデオカメラ１００が撮影者のカメラワークにより所定の角度以上、傾きが変化していないと判定する（ステップＳ３０２でＮＯ）。そして、顔枠をそのまま保持するように情報を出力する。
【００７６】
以上説明したように、本第２の実施形態によれば、焦点距離に応じて傾き角度の変化を比較する閾値を変えるため、第１の実施形態の効果に加えて、より精度良く安定した焦点調節を行うことができる。
【００７７】
なお、上述した実施の形態では、顔検出部１１６により人の顔を検出の対象物としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。
【００７８】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラなど）に適用してもよい。
【００７９】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８０】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施形態におけるビデオカメラの構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるＡＦ制御を説明するフローチャートである。
【図３】本発明の第１の実施形態におけるＡＦ枠として設定される顔枠と通常枠の設定例を示す図である。
【図４】本発明の第１の実施形態におけるＡＦ枠として設定される顔枠と通常枠の別の設定例を示す図である。
【図５】本発明の第１の実施形態におけるＴＶ−ＡＦ制御処理を示すフローチャートである。
【図６】ＴＶ−ＡＦ方式におけるオートフォーカスの原理を示す図である。
【図７】本発明の第１の実施形態における傾きセンサと、その増幅出力信号に基づきカメラの傾き状態を判断するための機能構成を説明するブロック図である。
【図８】本発明の第１の実施形態におけるビデオカメラの傾きと、傾きセンサによって検出される傾き信号との関係を示す図である。
【図９】本発明の第１の実施形態における傾き角度の算出および傾き状態の判定処理を説明するフローチャートである。
【図１０】本発明の第１の実施形態におけるフレーミングによる傾き変化の検出結果に基づく、ＡＦ枠として設定される顔枠と通常枠の設定状態の遷移を示す図である。
【図１１】本発明の第２の実施形態における傾き角度の算出および傾き状態の判定処理を説明するフローチャートである。
【符号の説明】
【００８２】
１００  ビデオカメラ
１０１  第１固定レンズ
１０２  変倍レンズ
１０３  絞り
１０４  第２固定レンズ
１０５  フォーカスレンズ
１０６  撮像素子
１０７  ＣＤＳ／ＡＧＣ回路
１０８  カメラ信号処理回路
１０９  モニタ
１１０  ズーム駆動源
１１１  フォーカシング駆動源
１１２  ＡＦゲート
１１３  ＡＦ信号処理回路
１１４  カメラ／ＡＦマイコン
１１５  記録部
１１６  顔検出部
１１８  傾きセンサ
１１９  増幅回路
【図１】
2010060657.tif 000003
【図２】
2010060657.tif 000004
【図３】
2010060657.tif 000005
【図４】
2010060657.tif 000006
【図５】
2010060657.tif 000007
【図６】
2010060657.tif 000008
【図７】
2010060657.tif 000009
【図８】
2010060657.tif 000010
【図９】
2010060657.tif 000011
【図１０】
2010060657.tif 000012
【図１１】
2010060657.tif 000013