(57)【要約】【課題】顔ＡＦと瞳ＡＦとの切り替わりの際においても、安定してかつ精度よく焦点調節を行う。【解決手段】カメラ制御部２１２は画像において顔領域を検出するとともに、顔領域に含まれる器官領域を検出し、さらに、顔領域および器官領域で像面位置を検出する。カメラ制御部は像面位置の履歴に基づいて将来の所定の時点における像面位置を予測像面位置として予測し、顔領域に係る予測像面位置と器官領域に係る予測像面位置とに応じて将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置にフォーカスレンズを駆動する。【選択図】図１０
2019101320.tif 000002
【特許請求の範囲】
【請求項１】
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出手段と、
前記第１の領域から所定の部位を第２の領域として検出する第２の検出手段と、
前記第１の領域および前記第２の領域において像面位置を検出する第３の検出手段と、
前記第３の検出手段によって検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測手段と、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御手段と、
を有することを特徴とする焦点調節装置。
【請求項２】
前記制御手段は、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択することを特徴とする請求項１に記載の焦点調節装置。
【請求項３】
前記制御手段は、前記差分が前記閾値以下の場合、前記第２の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択することを特徴とする請求項２に記載の焦点調節装置。
【請求項４】
前記制御手段は、前記閾値を、前記第１の領域の大きさ又は前記第２の領域の大きさによって決定することを特徴とする請求項２又は３に記載の焦点調節装置。
【請求項５】
前記制御手段は、前記閾値を、前記第１の領域における像面速度又は前記第２の領域における像面速度に応じて決定することを特徴とする請求項２又は３に記載の焦点調節装置。
【請求項６】
前記制御手段は、前記差分が閾値以下の期間が所定の時間継続すると、前記第２の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択することを特徴とする請求項３に記載の焦点調節装置。
【請求項７】
前記制御手段は、前記第２の領域における予測像面位置を前記将来の時点において焦点を合わせる予測像面位置として選択した際、前記第１の領域における予測像面位置と前記第２の領域における予測像面位置との差分をメモリに格納することを特徴とする請求項３又は６に記載の焦点調節装置。
【請求項８】
前記制御手段は、前記第１の領域における予測像面位置を前記将来の時点において焦点を合わせる予測像面位置として選択した際、前記メモリに格納した差分に基づいて、前記第２の領域における予測像面位置を予測することを特徴とする請求項７に記載の焦点調節装置。
【請求項９】
前記制御手段は、前記メモリに格納した差分に基づいて予測された前記第２の領域における予測像面位置に焦点を合わせることを特徴とする請求項８に記載の焦点調節装置。
【請求項１０】
前記第１の領域は顔領域であり、前記第２の領域は、前記顔領域に含まれる器官であることを特徴とする請求項１乃至９のいずれか１項に記載の焦点調節装置。
【請求項１１】
前記制御手段は、前記画像が表示される表示部に焦点調節を行うためのＡＦフレームを表示し、前記将来の時点において焦点を合わせる予測像面位置を選択した際、当該選択した予測像面位置に応じて前記ＡＦフレームを表示することを特徴とする請求項１乃至１０のいずれか１項に記載の焦点調節装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の焦点調節装置と、
前記フォーカスレンズを介して結像した光学像に応じた画像を出力する撮像手段と、
を有することを特徴とする撮像装置。
【請求項１３】
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置の制御方法であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出ステップと、
前記第１の領域から所定の部位を第２の領域として検出する第２の検出ステップと、
前記第１の領域および前記第２の領域において像面位置を検出する第３の検出ステップと、
前記第３の検出ステップで検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測ステップと、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御ステップと、
を有することを特徴とする制御方法。
【請求項１４】
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置で用いられる制御プログラムであって、
前記焦点調節装置が備えるコンピュータに、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出ステップと、
前記第１の領域から所定の部位を第２の領域として検出する第２の検出ステップと、
前記第１の領域および前記第２の領域において像面位置を検出する第３の検出ステップと、
前記第３の検出ステップで検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測ステップと、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点調節装置、その制御方法、およびプログラム、並びに撮像装置に関し、特に、電子スチルカメラなどの撮像装置に用いられる焦点調節装置に関する。
【背景技術】
【０００２】
近年、電子スチルカメラなどの撮像装置では、焦点調節の際に、例えば、被写体の顔を検出して、当該顔位置において自動的に焦点調節を行う顔ＡＦが行われている（特許文献１）。さらに、瞳にピントを合わせる場合も考慮して、瞳位置で自動的に焦点調節を行う瞳ＡＦが知られている（特許文献２）。
【０００３】
なお、デフォーカス量などに応じて、将来の像面位置を予測する撮像装置も知られている（特許文献３）。
【０００４】
ところで、瞳ＡＦにおいては、瞳の大きさを考慮して、瞳の位置に測距領域を設定するが、瞳ＡＦの場合は顔ＡＦに比べてその測距領域が小さい。このため、移動する被写体にレンズを追従させてピントを合わせる所謂サーボＡＦモードにおいて瞳ＡＦを行うと、焦点調節が不安定になる。よって、特許文献１又は２においては、サーボＡＦモードにおいては瞳ＡＦの使用を禁止するか又は顔の大きさおよび被写体の動き量に応じて瞳ＡＦを禁止するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１２３３０１号公報
【特許文献２】特開２０１２−１６３５８８号公報
【特許文献３】特開２００１−２１７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上述のように、瞳ＡＦを禁止するか又は顔の大きさなどの条件を厳しく設定すると、瞳ＡＦが使用可能な条件が限られてしまうことになる。さらに、顔又は瞳の大きさに応じて瞳ＡＦを許可するか否かを判定すると、動く被写体を撮影する際に顔ＡＦおよび瞳ＡＦが選択的に切り替わることがある。この場合、顔ＡＦから瞳ＡＦに切り替わると、測距領域の大きさが顔の大きさから瞳の大きさに変化するので、焦点調節動作が不安定になり易い。
【０００７】
そこで、本発明の目的は、顔ＡＦと瞳ＡＦとの切り替わりの際においても、安定してかつ精度よく焦点調節を行うことのできる焦点調節装置、その制御方法、およびプログラム、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明による焦点調節装置は、光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置であって、前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出手段と、前記第１の領域から所定の部位を第２の領域として検出する第２の検出手段と、前記第１の領域および前記第２の領域において像面位置を検出する第３の検出手段と、前記第３の検出手段によって検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測手段と、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、顔ＡＦと瞳ＡＦとの切り替わりの際においても、安定してしかも精度よく焦点調節を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態による焦点調節装置を備える撮像装置の一例を示すブロック図である。
【図２】図１に示すカメラに備えられた撮像素子の画素構成の一例を説明するための図である。
【図３】図１に示すカメラで行われる焦点調節処理の一例を説明するためのフローチャートである。
【図４】図３に示す焦点検出処理の一例を説明するためのフローチャートである。
【図５】図１に示す撮像素子の画素アレイ上における測距領域の一例を示す図である。
【図６】図５に示す測距領域に含まれる複数の画素から取得したＡＦ用信号の一例を説明するための図である。
【図７】図１に示すＡＦ信号処理部によって行われる相関演算の際のシフト量と相関量との関係を説明するための図である。
【図８】図１に示すＡＦ信号処理部で行われる像ずれ量の算出を説明するための図である。
【図９】図３に示す撮影前予測処理を説明するためのフローチャートである。
【図１０】図３に示す選択処理を説明するためのフローチャートである。
【図１１】図１に示す選択部で行われる差分閾値の決定手法の一例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の実施の形態による焦点調節装置の一例について図面を参照して説明する。
【００１２】
図１は、本発明の実施の形態による焦点調節装置を備える撮像装置の一例を示すブロック図である。
【００１３】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、レンズユニット１０はカメラ本体（撮像装置本体）２０に対して着脱可能である。そして、カメラ本体２０には、カメラ制御部２１２が備えられ、レンズユニット１０にはレンズ制御部１０６が備えられている。レンズ制御部１０６はレンズユニット全体の制御を統括する。カメラ制御部２１２はカメラ全体の制御を統括する。レンズ制御部１０６とカメラ制御部２１２とは、レンズマウント（図示せず）に備えられた通信端子を介して相互に通信可能である。
【００１４】
レンズユニット１０は、固定レンズ１０１、絞り１０２、およびフォーカスレンズ１０３を備えており、これら固定レンズ１０１、絞り１０２、およびフォーカスレンズ１０３は撮影光学系を構成する。絞り１０２は、絞り駆動部１０４によって駆動されて、後述する撮像素子２０１に対する入射光量を調節する。
【００１５】
フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって光軸に沿って駆動される。つまり、フォーカスレンズ１０３は光軸に沿って移動可能である。そして、フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。レンズ制御部１０６は絞り駆動部１０４およびフォーカスレンズ駆動部１０５を制御してそれぞれ絞り１０２の開口量およびフォーカスレンズ１０３の位置を決定する。
【００１６】
レンズ操作部１０７は、ユーザによって操作される。レンズ操作部１０７の操作に依って、例えば、ＡＦ（オートフォーカス）およびＭＦ（マニュアルフォーカス）モードの切り替えを行うことができる。さらに、レンズ操作部１０７の操作によって、ＭＦによるフォーカスレンズの位置調整、フォーカスレンズの動作範囲設定、手ブレ補正モードの設定などを行うことができる。つまり、レンズ操作部１０７によって、ユーザはレンズユニット１０の動作に関する設定を行うことができる。
【００１７】
レンズ操作部１０７が操作された場合には、レンズ制御部１０６は当該操作に応じてレンズユニット１０を制御する。また、レンズ制御部１０６は、カメラ制御部２１２から受信した制御命令および制御情報に応じて絞り駆動部１０４およびフォーカスレンズ駆動部１０５を制御する。そして、レンズ制御部１０６は、レンズユニット１０の制御に係るレンズ制御情報をカメラ制御部２１２に送る。
【００１８】
カメラ本体２０には、ＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子２０１が備えられている。前述の撮影光学系を介して光学像が撮像素子２０１の受光面に結像する。撮像素子２０１は、２次元マトリックス状に配列された複数の画素を備えており、画素の各々に備えられたフォトダイオード（ＰＤ）によって、光学像（つまり、入射光量）に応じた信号電荷を蓄積する。カメラ制御部２１２はタイミングジェネレータ２１４を制御して駆動パルスによって各ＰＤに蓄積された信号電荷を電圧信号として読み出す。
【００１９】
図示の例では、撮像素子２０１に備えられた画素の各々は、２つ（一対）のＰＤＡおよびＢと、これら一対のＰＤＡおよびＢに対応して配置された１つのマイクロレンズ（ＭＬ）とを有している。画素の各々において、入射する光学像がＭＬで分割されてＰＤＡおよびＢに入射する。これらＰＤＡおよびＢから後述するＡＦ用信号として一対の画素信号（Ａ信号およびＢ信号）が出力される。また、ＰＤＡおよびＢの出力を加算することによって、画像信号（Ａ＋Ｂ信号）を得ることができる。
【００２０】
複数の画素から出力されたＡ信号はＡ信号同士、Ｂ信号はＢ信号同士でそれぞれ合成されて、一対の像信号とされる。これら一対の像信号は撮像面位相差検出方式によるＡＦ（以下撮像面位相差ＡＦという）に用いられるＡＦ用信号（つまり、焦点検出用信号）である。ＡＦ信号処理部２０４は、当該一対の像信号について相関演算を行ってそのずれ量である位相差（以下像ずれ量という）を算出する。さらに、ＡＦ信号処理部２０４は像ずれ量から撮影光学系のデフォーカス量（およびデフォーカス方向）を求める。
【００２１】
図２は、図１に示すカメラに備えられた撮像素子の画素構成の一例を説明するための図である。そして、図２（ａ）は撮像面位相差ＡＦに対応していない画素構成を示す図であり、図２（ｂ）は撮像面位相差ＡＦに対応した画素構成を示す図である。
【００２２】
図２（ａ）に示す例では、画素配列にベイヤー配列が用いられており、１つの画素が１つのフォトダイオード（ＰＤ）を有している。そして、Ｒは赤のカラーフィルタを示し、Ｂは青のカラーフィルタを示す。また、ＧｒおよびＧｂは緑のカラーフィルタを示す。
【００２３】
図２（ｂ）に示す画素構成では、画素が水平方向に２分割された２つのＰＤＡおよびＰＤＢを有している（図２（ｂ）においては、ＰＤＡおよびＰＤＢはそれぞれＡおよびＢで示されている。なお、図２（ｂ）に示す画素の分割は一例に過ぎず、垂直方向に分割するか又は水平および垂直方向に２分割ずつ（計４分割）するようにしてもよい。また、撮像素子は互いに異なる分割方向に分割された複数種類の画素を有するようにしてもよい。
【００２４】
再び図１を参照して、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出されたＡＦ用信号および撮像用信号（画像信号）について、リセットノイズを除去するための相関二重サンプリングを行う。さらに、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２はゲイン調節およびＡＤ変換処理を行って、デジタルＡＦ用信号および画像データをそれぞれＡＦ信号処理部２０４および画像入力コントローラ２０３に出力する。
【００２５】
画像入力コントローラ２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２の出力である画像データを、バス２１を介してＳＤＲＡＭ２０９に格納する。ＳＤＲＡＭ２０９に格納された画像データは、バス２１を介して表示制御部２０５によって読み出されて、画像として表示部２０６に表示される。また、画像データを記録する録画モードにおいては、ＳＤＲＡＭ２０９に格納された画像データは記録媒体制御部２０７によって半導体メモリなどの記録媒体２０８に記録される。
【００２６】
ＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラムおよび処理プログラムが格納されるとともに、これらプログラムの実行に必要な各種データなどが格納されている。フラッシュＲＯＭ２１１には、ユーザによって設定されたカメラの動作に関する各種設定情報が格納される。
【００２７】
カメラ制御部２１２には、被写体検出部２１２１、器官検出部２１２２、ＡＦ制御部２１２３、予測部２１２４、記憶部２１２５、および選択部２１２６が備えられている。被写体検出部２１２１は、画像入力コントローラ２０３から入力された画像データに基づいて特定の被写体を検出して、画像データが示す画像における特定の被写体の位置を決定する。
【００２８】
さらに、被写体検出部２１２１は、画像入力コントローラ２０３から連続的に画像データを入力して、特定の被写体が移動した場合にはその移動先を判定して、特定の被写体を追従する。なお、特定の被写体とは、例えば、顔領域（顔検出領域とも呼ぶ）又はカメラ操作部２１３によって指定された位置に存在する被写体などである。
【００２９】
器官検出部２１２２は、被写体検出部２１２１で検出された顔被写体（顔領域又は顔検出領域と呼ぶ）において、目、鼻、および口などの器官（部位）を検出して、画像データが示す画像において当該器官の位置を決定する。後述するように、検出した特定の被写体の位置および大きさなどに関する情報は、主にＡＦを行う際の測距領域の設定に用いられる。
【００３０】
ＡＦ信号処理部２０４は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２の出力であるＡＦ用信号（一対の像信号）について相関演算を行って、一対の像信号における像ずれ量および信頼性を算出する。なお、信頼性は、後述する二像一致度と相関変化量の急峻度とを用いて算出される。さらに、ＡＦ信号処理部２０４は、画像において焦点検出およびＡＦを行うための領域である測距領域の位置およびその大きさを設定する。ＡＦ信号処理部２０４は、測距領域において求めた像ずれ量（検出量）および信頼性をカメラ制御部２１２に出力する。
【００３１】
カメラ制御部２１２において、ＡＦ制御部２１２３は、像ずれ量に応じたデフォーカス量に基づいて、レンズ制御部１０６に焦点位置を移動させるように指示する。さらにＡＦ制御部２１２３は、将来の像面位置を予測部２１２４を用いて予測して、光学像が予測した像面位置に結像されるためのフォーカスレンズ１０３の駆動量を求める。そして、ＡＦ制御部２１２３は当該駆動量に基づいてフォーカスレンズ１０３を駆動する指示をレンズ制御部１０６に送る。
【００３２】
記憶部２１２５は、撮影時刻に対応づけてデフォーカス量に基づいて算出された被写体像面位置をメモリ回路２１５に記憶する。選択部２１２６は、予測部２１２４によって求められた顔領域のデフォーカス量に応じた像面速度（顔像面速度）と、器官領域のデフォーカス量に応じた像面速度（器官像面速度）とを比較する。そして、選択部２１２６は、当該比較結果に応じて、顔像面予測位置および器官像面予測位置のいずれにフォーカスレンズ１０３を駆動するかを選択する。
【００３３】
カメラ制御部２１２は、カメラ全体の制御を司る。さらに、カメラ制御部２１２は、ユーザによるカメラ操作部２１３の操作に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、撮像処理、ＡＦ処理、および記録画像の再生処理などを実行する。また、カメラ制御部２１２は、レンズ制御部１０６に制御命令を送信するとともに、カメラ本体２０における各種情報をレンズ制御部１０６に送信する。そして、カメラ制御部２１２はレンズユニット１０における各種情報をレンズ制御部１０６から取得する。
【００３４】
なお、カメラ制御部２１２は、マイクロコンピュータによって構成され、ＲＯＭ２１０に記憶されたコンピュータプログラムを実行することによって、レンズユニット１０を含むカメラ全体の制御を司る。また、前述のように、カメラ制御部２１２は、ＡＦ信号処理部２０４によって求められた像ずれ量に基づいてデフォーカス量を算出して、当該デフォーカス量に基づいてレンズ制御部１０６によってフォーカスレンズ１０３を駆動制御する。
【００３５】
図３は、図１に示すカメラで行われる焦点調節処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、カメラ制御部２１２がコンピュータプログラムである撮像処理プログラムを実行することによって行われる。
【００３６】
カメラ制御部２１２は、カメラの設定およびカメラ操作部２１３からの入力に応じて焦点調節動作を行うか否かを判定する（ステップＳ３０１）。焦点調節動作を行わないと判定すると（ステップＳ３０１において、ＮＯ）、カメラ制御部２１２は待機する。一方、焦点調節動作を行うと判定すると（ステップＳ３０１において、ＹＥＳ）、カメラ制御部２１２は焦点検出処理を行う（ステップＳ３０２）。なお、焦点検出処理については後述する。
【００３７】
続いて、カメラ制御部２１２は、撮影前予測処理を行う（ステップＳ３０３）。撮影前予測処理においては、後述するように撮影開始スイッチがオン状態であれば、ステップＳ３０２に示す焦点検出処理における位相差検出時から撮像素子２０１による撮影時までの被写体の像面位置を予測部２１２４によって予測する。一方、撮影開始スイッチがオフ状態であれば、次の位相差検出時までの被写体の像面位置を予測部２１２４によって予測する。なお、予測方法については後述する。
【００３８】
次に、カメラ制御部２１２はステップＳ３０３の処理で得た顔像面速度および器官像面速度によって顔領域の像面位置と器官領域の像面位置とのいずれに合焦するようにフォーカスレンズ１０３を駆動するかを選択する（ステップＳ３０４）。なお、選択方法については後述する。
【００３９】
続いて、カメラ制御部２１２はステップＳ３０４の処理で選択した像面位置で合焦するためのフォーカスレンズ１０３の駆動量を算出して、当該駆動量をレンズ制御部１０６に送る（ステップＳ３０５）。
【００４０】
次に、カメラ制御部２１２は撮影開始スイッチがオンであるか否かを判定する（ステップＳ３０６）。撮影開始スイッチがオンであると（ステップＳ３０６において、ＹＥＳ）、カメラ制御部２１２は撮影を実行する（ステップＳ３０７）。ここでは、カメラ制御部２１２は撮影の結果得られた画像データをメモリ回路２１５に記憶する。そして、カメラ制御部２１２は、次の位相差検出時点における像面位置を予測部２１２４によって予測する（ステップＳ３０８）。カメラ制御部２１２は、予測の結果得られた像面位置（選択後の像面位置）で合焦するためのフォーカスレンズ１０３の駆動量を求めて、当該駆動量をレンズ制御部１０６に送る（ステップＳ３０９）。
【００４１】
続いて、カメラ制御部２１２は撮影準備スイッチがオフであるか否かを判定する（ステップＳ３１０）。そして、撮影準備スイッチがオンであると（ステップＳ３１０において、ＮＯ）、カメラ制御部２１２はステップＳ３０２の処理に戻る。一方、撮影準備スイッチがオフであると（ステップＳ３１０において、ＹＥＳ）、カメラ制御部２１２は焦点調節処理を終了する。
【００４２】
なお、撮影開始スイッチがオフであると（ステップＳ３０６において、ＮＯ）、カメラ制御部２１２はステップＳ３１０の処理に進む。
【００４３】
図４は、図３に示す焦点検出処理の一例を説明するためのフローチャートである。
【００４４】
カメラ制御部１２１の制御下で、ＡＦ信号処理部２０４は測距領域に含まれる複数の画素からＡＦ用信号として一対の像信号を取得する（ステップＳ４０１）。
【００４５】
図５は、図１に示す撮像素子の画素アレイ上における測距領域の一例を示す図である。
【００４６】
画素アレイ５０１上には、図示のように、測距領域５０２が設定される。測距領域５０２の両側に位置するシフト領域５０３は相関演算に必要な領域である。つまり、測距領域５０２とシフト領域５０３とを合わせた領域５０４が相関演算に必要な画素領域である。
【００４７】
図中ｐ、ｑ、ｓ、およびｔはそれぞれ、水平方向（ｘ軸方向）における座標を示し、ｐおよびｑはそれぞれ画素領域７０４の始点および終点のｘ座標を示す。また、ｓおよびｔはそれぞれ測距領域５０２の始点および終点のｘ座標を示す。
【００４８】
図６は、図５に示す測距領域５０２に含まれる複数の画素から取得したＡＦ用信号の一例を説明するための図である。そして、図６（ａ）はシフト前の一対の像信号を示す図であり、図６（ｂ）は一対の像信号をプラス方向にシフトした状態を示す図である。また、図６（ｃ）は一対の像信号をマイナス方向にシフトした状態を示す図である。
【００４９】
図６において、実線６０１は一対の像信号の一方（像信号Ａ）を示し、破線６０２は他方（像信号Ｂ）を示す。そして、図６（ａ）においては、シフト前の像信号ＡおよびＢがさめされており、図６（ｂ）には、像信号ＡおよびＢを図６（ａ）に示す状態からプラス方向にシフトした状態が示されている。そして、図６（ｃ）には、像信号ＡおよびＢを図６（ａ）に示す状態からマイナス方向にシフトした状態が示されている。
【００５０】
再び図４を参照して、ＡＦ信号処理部２０４は、一対の像信号を１画素（１ビット）ずつ相対的にシフトさせつつ、これら一対の像信号について相関量を算出する（ステップＳ４０２）。ここでは、ＡＦ信号処理部２０４は測距領域５０２に設定した複数の画素ライン（以下走査ラインという）の各々において、図６（ｂ）および図６（ｃ）に示すように像信号６０１および６０２の双方を矢印の方向に１ビットずつシフトする。これによって、ＡＦ信号処理部２０４は一対の像信号６０１および６０２の１ビット毎の相関量を算出して、これら相関量を加算平均することによって１つの平均相関量を求める。
【００５１】
なお、相関量を算出する際には、一対の像信号を１画素ずつ相対的にシフトさせるようにしたが、例えば、２画素ずつ相対的にシフトさせるなど複数の画素単位でシフトするようにしてもよい。さらには、走査ライン毎の相関量を加算平均することによって平均相関量を算出するようにしたが、例えば、まず走査ライン毎の一対の像信号について加算平均を行う。その後、加算平均した一対の像信号について相関量を求めるようにしてもよい。
【００５２】
いま、シフト量をｉ（ｉは１以上の整数）とし、最小シフト量をｐ−ｓとする。また、最大シフト量をｑ−ｔとし、ｘを測距領域５０２の開始座標とし、ｙを測距領域５０２の終了座標とする。この際、相関量ＣＯＲは以下の式（１）によって求めることができる。
【００５３】
【数１】
2019101320.tif 000003
【００５４】
図７は、図１に示すＡＦ信号処理部によって行われる相関演算の際のシフト量と相関量との関係を説明するための図である。そして、図７（ａ）はシフト量と相関量との関係を示す図であり、図７（ｂ）は相関変化量に応じて得られるよって像ぶれ量を示す図である。
【００５５】
図７（ａ）において、横軸はシフト量を示し、縦軸は相関量ＣＯＲを示す。シフト量に応じて変化する相関量７０１において、極値７０２および７０３の付近のうちより小さい相関量に対応するシフト量において、一対の像信号ＡおよびＢの一致度が最も高くなる。
【００５６】
ＡＦ信号処理部２０４は、ステップＳ４０２で求めた平均相関量に基づいて相関変化量を算出する（ステップＳ４０３）。例えば、ＡＦ信号処理部２０４は、図７（ａ）に示す相関量７０１における１シフトおきの相関量の差を相関変化量として算出する。
【００５７】
いま、図７（ａ）に示すように、相関量７０１において、シフト量をｉ、最小シフト量をｐ−ｓ、最大シフト量をｑ−ｔとすると、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。
【００５８】
【数２】
2019101320.tif 000004
【００５９】
図７（ｂ）に示す例では、相関量７０４において、シフト量（ｋ−２）とシフト量ｋとの差である相関変化量｜ΔＣＯＲ［ｋ−１］｜を求める例が示されている。さらに、シフト量（ｋ−１）とシフト量（Ｋ＋１）との差である相関変化量｜ΔＣＯＲ［ｋ］｜を求める例が示されている。なお、ｆｎｃ｜ｖ｜は相関量７０４の極小値である。
【００６０】
続いて、ＡＦ信号処理部２０４は、ステップＳ４０３で求めた相関変化量を用いて像ずれ量を算出する（ステップＳ４０４）。
【００６１】
図８は、図１に示すＡＦ信号処理部２０４で行われる像ずれ量の算出を説明するための図である。そして、図８（ａ）はシフト量と相関変化量との関係を示す図であり、図８（ｂ）は整数部分の算出を示す図である。
【００６２】
図８（ａ）には、シフト量ｉと相関変化量ΔＣＯＲとの関係が示されており、横軸はシフト量を示し、縦軸は相関変化量ΔＣＯＲを示す。シフト量に応じて変化する相関変化量８０１は、参照番号８０２および８０３で示す部分でプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号ＡおよびＢの一致度が最も高くなる。よって、ゼロクロスが得られるシフト量が像ずれ量となる。
【００６３】
図８（ｂ）には、図８（ａ）に参照番号８０２で示す部分が拡大して示されている。部分８０４は相関変化量８０１の一部分である。ゼロクロスが得られるシフト量（ｋ−１＋α）は、整数部分β（＝ｋ−１）と小数部分αとに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）によって算出することができる。
【００６４】
【数３】
2019101320.tif 000005
【００６５】
そして、整数部分βは、図８（ｂ）から以下の式（４）によって算出することができる。
【００６６】
β＝ｋ−１       （４）
つまり、αとβとの和から像ずれ量ＰＲＤを算出することができる。図８（ａ）に示す相関変化量ΔＣＯＲのゼロクロスが複数存在する場合には、相関変化量ΔＣＯＲの変化の急峻性が大きい方を第１のゼロクロスとする。この急峻性はＡＦの行い易さを示す指標であって、急峻性の値が大きい程、精度よくＡＦを行うことができる。急峻性ｍａｘｄｅｒは、以下の式（５）によって算出することができる。
【００６７】
【数４】
2019101320.tif 000006
【００６８】
図示の例では、相関変化量のゼロクロスが複数存在する場合には、その急峻性によって第１のゼロクロスを決定し、当該第１のゼロクロスを与えるシフト量を像ずれ量とする。
【００６９】
続いて、ＡＦ信号処理部２０４は、ステップＳ４０４の処理で求めた像ずれ量を用いてデフォーカス量を算出する（ステップＳ４０５）。そして、カメラ制御部２１２は当該デフォーカス量を焦点検出情報としてメモリ回路２１５に記憶する（ステップＳ４０６）。なお、ここでは、焦点検出領域におけるデフォーカス量の他に、像信号ＡおよびＢを得た時刻（撮影時刻）と像面速度とが焦点検出情報としてメモリ回路２１５に記憶される。その後、カメラ制御部２１２は焦点検出処理を終了する。
【００７０】
図９は、図３に示す撮影前予測処理を説明するためのフローチャートである。
【００７１】
撮影前予測処理では、過去の複数の像面位置とその撮影時刻の変化とに基づいて、将来の像面位置を予測する。なお、将来の像面位置の予測手法については、特許文献３に記載されているが、ここでは、統計演算によって予測を行う例について説明する。
【００７２】
カメラ制御部２１２において、予測部２１２４は、被写体検出部２１２１によって検出された顔領域において、ＡＦ信号処理部２０４によって検出された位相差に基づいてデフォーカス量を算出する（ステップＳ９０１）。そして、予測部２１２４は当該デフォーカス量に対応する像面位置とその撮影時刻を算出する（ステップＳ９０２）。一般に、撮像素子２０１から像信号が得られるまでにはある程度の電荷の蓄積時間を必要とする。このため、ここでは、蓄積開始時刻と終了時刻との中点を撮影時刻として、フォーカスレンズ１０３の相対的な繰り出し量にデフォーカス量を加算して、被写体の像面位置を求める。
【００７３】
その後、予測部２１２４は当該像面位置と撮影時刻との組を像面データとして、メモリ回路２１５に格納する（ステップＳ９０３）。メモリ回路２１５に格納された像面データに係るデータ構造はキューとなっている。よって、予め定められた数までは順にメモリ回路２１５に格納されるが、予め定められた数を超えると、最も古い像面データに最新の像面データが上書きされる。
【００７４】
続いて、予測部２１２４はメモリ回路２１５に格納された像面データの数が統計演算可能な数であるか否かを判定する。つまり、予測部２１２４はメモリ回路２１５に格納された像面データの数が統計演算に十分であるか否かを判定する（ステップＳ９０４）。
【００７５】
像面データの数が統計演算に十分である場合には（ステップＳ９０４において、ＹＥＳ）、予測部２１２４は統計演算によって予測式を決定する（ステップＳ９０５）。ステップＳ９０５における予測式の決定は特許文献３に記載されているので説明を省略するが、下記の式（６）に示すように、予測関数ｆ（ｔ）において重回帰分析によって係数α、β、およびγを統計的に決定する。なお、式（６）に示すｎは複数の代表的な動体予測撮影シーンのサンプルについて予測を行った際に、その予測誤差が最小となる値である。
【００７６】
ｆ（ｔ）＝α＋βｔ＋γｔｎ      （６）
続いて、予測部２１２４は、予測式を用いて、メモリ回路２１５に格納された像面データの履歴に応じて予め定められた将来時刻における像面位置を予測する。そして、予測部２１２４はフォーカスレンズ１０３を予測した像面位置に合焦するために必要なレンズ駆動量を求める（ステップＳ９０６）。その後、予測部２１２４は撮影前予測処理を終了する。
【００７７】
一方、像面データの数が統計演算に十分でない場合には（ステップＳ９０４において、ＮＯ）、予測部２１２４は統計演算によらず、前述のデフォーカス量に基づいてレンズ駆動量を算出する（ステップＳ９０７）。そして、予測部２１２４は撮影前予測処理を終了する。
【００７８】
なお、図９に示す処理は、器官検出部２１２２で検出された器官領域に対しても行われる。
【００７９】
図１０は、図３に示す選択処理を説明するためのフローチャートである。
【００８０】
カメラ制御部１２１において、選択部２１２６は、被写体検出部２１２１によって検出された顔領域の像面速度（顔像面速度）と器官検出部２１２２によって検出された器官領域の像面速度（器官像面速度）を取得する（ステップＳ１００１）。そして、選択部２１２６は顔領域の大きさを取得する（ステップＳ１００２）。
【００８１】
なお、以下の説明では、被写体検出部２１２１によって検出された顔領域の大きさを用いるが、器官検出部２１２２によって検出された器官領域の大きさを用いるようにしてもよい。
【００８２】
続いて、選択部２１２６は顔像面速度およびと顔領域の大きさに基づいて、顔像面速度の差分閾値Ｔｈを決定する（ステップＳ１００３）。
【００８３】
図１１は、図１に示す選択部で行われる差分閾値の決定手法の一例を説明するための図である。
【００８４】
選択部２１２６は、図１１に示す閾値決定テーブルを有している。当該閾値決定テーブルを用いて、選択部２１２６は差分閾値Ｔｈを顔サイズＳと顔像面速度Ｖとの組み合わせによって決定する。
【００８５】
図示の閾値決定テーブルでは、顔サイズＳは閾値（１）および（２）（（１）＜（２））によって規定され、像面速度Ｖは閾値ＩおよびII（Ｉ＞II）によって規定される。例えば、あるタイミングで取得した顔サイズ（顔領域の大きさ）Ｓ１がＳ１＜（１）で、顔像面速度Ｖ１はＶ１＜IIであるとする。この場合、図１１に示すように、Ｓ＜（１）とII＞Ｖの交点であるＣを差分閾値Ｔｈに決定する。なお、Ａ＞Ｂ＞Ｃ＞Ｄ＞Ｅとする。つまり、検出された顔領域の大きさが大きい程、予測された顔像面速度が小さい程、差分閾値Ｔｈは小さくなる。
【００８６】
続いて、選択部２１２６は顔像面速度と器官像面速度との差分が差分閾値Ｔｈ以下であるか否かを判定する（ステップＳ１００４）。差分が差分閾値Ｔｈ以下（閾値以下）である場合（ステップＳ１００４において、ＹＥＳ）、選択部２１２６は像面速度の差分が差分閾値Ｔｈ以下である回数をカウントする（ステップＳ１００５）。そして、選択部２１２６はその回数が所定の回数以上であるか否かを判定する（ステップＳ１００６）。
【００８７】
当該回数が所定の回数以上である場合（ステップＳ１００６において、ＹＥＳ）、選択部２１２６は器官検出領域で求められた像面位置にファーカスレンズ１０３を駆動することを選択する（ステップＳ１００７）。つまり、選択部２１２６は、像面速度の差分が閾値以下の期間が所定の時間継続すると、器官検出領域で求められた像面位置を、将来の時点において焦点を合わせる予測像面位置として選択する。そして、選択部２１２６は、顔検出領域で求められた像面位置と器官検出領域で求められた像面位置との差分（位置差分）を求める（ステップＳ１００８）。
【００８８】
続いて、選択部２１２６は、当該位置差分をメモリ回路２１５に格納する（ステップＳ１００９）。そして、選択部２１２６は選択処理を終了する。なお、位置差分は、直近の差分又は所定の期間において求められた位置差分の平均値などであけばよい。
【００８９】
上記の回数が所定の回数未満である場合（ステップＳ１００６において、ＮＯ）、選択部２１２６はメモリ回路２１５に格納された位置差分が存在するか否かを判定する（ステップＳ１０１０）。位置差分が存在する場合（ステップＳ１０１０において、ＹＥＳ）、選択部２１２６は顔領域の像面位置とメモリ回路２１５に格納された位置差分とを用いて、器官領域の像面位置に相当する予測像面位置を求める。そして、選択部２１２６は当該予測像面位置にフォーカスレンズ１０３を駆動することを選択する（ステップＳ１０１１）。その後、選択部２１２６は選択処理を終了する。
【００９０】
一方、位置差分が存在しない場合（ステップＳ１０１０において、ＮＯ）、選択部２１２６は顔領域で求めた像面位置にフォーカスレンズ１０３を駆動することを選択する（ステップＳ１０１２）。そして、選択部２１２６は選択処理を終了する。
【００９１】
なお、図示はしないが、カメラ制御部２１２は表示制御部２０５を制御して、表示部２０６に焦点調節を行うためのＡＦフレームを表示する。そして、カメラ制御部２１２は将来の時点において焦点を合わせる予測像面位置を選択した際には、当該選択した予測像面位置に応じてＡＦフレームを表示する。つまり、カメラ制御部２１２は、前述のようにして顔領域又は器官領域のいずれかを焦点調節を行う領域として選択して、当該選択した領域にＡＦフレームを位置づける。
【００９２】
このように、本発明の実施の形態では、顔領域および器官領域の像面速度を比較して、当該比較結果に基づいて顔領域および器官領域に係る像面予測位置のいずれにフォーカスレンズを駆動するかを選択する。これによって、安定的にしかも精度よく焦点調節を行うことができる。つまり、本発明の実施の形態では、顔ＡＦと瞳ＡＦとの切り替わりの際においても、安定してしかも精度よく焦点調節を行うことができる。
【００９３】
なお、図１において、少なくともＡＦ信号処理部２０４、カメラ制御部２１２、メモリ回路２１５、レンズ制御部１０６、およびフォーカスレンズ駆動部１０５が焦点調節装置を構成する。
【００９４】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９５】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を焦点調節装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを焦点調節装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００９６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９７】
１０  レンズユニット
１０３  フォーカスレンズ
１０６  レンズ制御部
２０  カメラ本体
２０１  撮像素子
２０４  ＡＦ信号処理部
２１２  カメラ制御部
２１２１  被写体検出部
２１３  カメラ操作部
２１５  メモリ回路
【図１】
2019101320.tif 000007
【図２】
2019101320.tif 000008
【図３】
2019101320.tif 000009
【図４】
2019101320.tif 000010
【図５】
2019101320.tif 000011
【図６】
2019101320.tif 000012
【図７】
2019101320.tif 000013
【図８】
2019101320.tif 000014
【図９】
2019101320.tif 000015
【図１０】
2019101320.tif 000016
【図１１】
2019101320.tif 000017