(57)【要約】【課題】  撮像領域の内、焦点検出が可能な領域が限られている場合に、焦点検出性能の低下を軽減すること。【解決手段】  対の焦点検出信号を得られるように信号を読み出す第１の読み出し制御と、画素ごとに電荷を加算して加算信号を読み出す第２の読み出し制御とを、切り替えて読み出し可能な撮像素子と、焦点検出領域を含む複数の光電変換部の複数の行のうち、第１の読み出し制御により読み出す行を設定する設定手段と、第１の読み出し制御により読み出された行のうち、一部の範囲から得られた対の焦点検出信号を用いて位相差方式による焦点状態の検出を行う焦点検出手段と、を有し、設定手段は、第１の焦点検出手段により検出された焦点状態の信頼度が第１の閾値より低い場合に、第１の読み出し制御により読み出す行を、前記第１の読み出し制御により読み出していない行に変更する。【選択図】  図１０
2017187726.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有し、前記複数の光電変換部から、対の焦点検出信号を得られるように信号を読み出す第１の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を加算して加算信号を読み出す第２の読み出し制御とを、切り替えて読み出し可能な撮像素子と、
予め決められた第１の焦点検出領域を含む前記第２の読み出し制御により読み出す複数の行のうち、前記第１の読み出し制御により読み出す行を設定する設定手段と、
前記第１の読み出し制御により読み出された行のうち、一部の範囲から得られた対の焦点検出信号を用いて位相差方式による焦点状態の検出を行う第１の焦点検出手段と、を有し、
前記設定手段は、予め決められた条件に基づいて、前記第１の読み出し制御により読み出す行の設定を変更することを特徴とする撮像装置。
【請求項２】
前記設定手段は、前記第１の焦点検出手段により検出された焦点状態の信頼度が予め決められた第１の閾値より低い場合に、前記第１の読み出し制御により読み出す行を、前記第１の読み出し制御により読み出ししていない行に設定を変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の焦点検出手段は、前記検出した焦点状態の信頼度が予め決められた第２の閾値より低い場合に、前記焦点状態の検出に用いる対の焦点検出信号を得る範囲を拡大し、
前記設定手段は、前記対の焦点検出信号を得る範囲を拡大した後に前記第１の焦点検出手段により検出された焦点状態の信頼度が前記第１の閾値より低い場合に、前記第１の読み出し制御により読み出す行を変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記設定手段は、前記第１の読み出し制御により読み出す行を、周期的に変更することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記設定手段は、予め決められた期間で前記撮像素子の予め決められた領域から信号を読み出し可能な範囲で、前記第１の読み出し制御により読み出す行を設定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記設定手段は、前記第１の焦点検出領域を含む前記複数の光電変換部の複数の行のうち、予め決められた数の行おきに前記第１の読み出し制御により読み出す行を設定することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記第１の焦点検出手段により検出された焦点状態に基づいて、フォーカスレンズの駆動量および駆動方向を決定する決定手段と、
予め決められた第２の焦点検出領域に含まれる前記複数の光電変換部から得られた加算信号に基づいて、コントラスト方式による焦点状態の検出を行う第２の焦点検出手段を更に有し、
前記決定手段は、前記設定手段により前記第１の読み出し制御により読み出す行を変更した後、前記第１の焦点検出手段により前記焦点状態の検出が終了するまで、前記第２の焦点検出手段により検出された焦点状態に基づいて、前記変更の前に前記第１の焦点検出手段により得られた焦点状態に応じて前記フォーカスレンズを駆動するか否かを決定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記決定手段は、前記設定手段により前記第１の読み出し制御により読み出す行を変更する時に、前記第２の焦点検出手段により検出された焦点状態の変動量が予め決められた閾値以内である場合に、前記変更の前に前記第１の焦点検出手段により得られた焦点状態に応じて前記フォーカスレンズを駆動すると決定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記決定手段は、前記設定手段により前記第１の読み出し制御により読み出す行を変更する時に、前記第２の焦点検出手段により検出された焦点状態の変動量が前記予め決められた閾値を超える場合に、前記フォーカスレンズの駆動を停止すると決定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第２の焦点検出領域は、前記変更の前に前記第１の焦点検出手段により前記焦点状態を検出していた領域を含むことを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記変更した後に前記第１の焦点検出手段により検出された焦点状態の信頼度が予め決められた第３の閾値以下の場合に、前記決定手段は、前記第２の焦点検出手段により得られた焦点状態に基づいて、前記フォーカスレンズの駆動量および駆動方向を決定することを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記フォーカスレンズを駆動中であって、前記第２の焦点検出手段により検出された焦点状態の変動量が予め決められた第４の閾値以内、且つ、前記変更の前に前記第１の焦点検出手段により得られた信頼度が予め決められた第５の閾値より高い焦点状態がある場合に、前記決定手段は、前記駆動方向の初期値として、当該第１の焦点検出手段により得られた焦点状態に基づいて、前記フォーカスレンズの方向を決定することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記第２の焦点検出手段により検出された焦点状態の変動量が予め決められた第６の閾値を超える場合に、前記決定手段は、前記駆動方向を決定するために、前記フォーカスレンズを予め決められた範囲で反復駆動すると決定することを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１４】
前記フォーカスレンズが停止中であって、前記変更の前に前記第１の焦点検出手段により得られた信頼度が予め決められた第７の閾値より高い焦点状態が無い場合に、前記決定手段は、前記駆動方向を決定するために、前記フォーカスレンズを予め決められた範囲で反復駆動すると決定することを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記決定手段は、前記変更の後に前記第１の焦点検出手段により検出された焦点状態の信頼度が前記第１の閾値より高くなった場合に、前記第１の焦点検出手段により得られた焦点状態に基づいて、前記フォーカスレンズの駆動量および駆動方向を決定することを特徴とする請求項１１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子の駆動方法であって、
設定手段が、予め決められた第１の焦点検出領域を含む前記複数の光電変換部の複数の行のうち、前記複数の光電変換部から、対の焦点検出信号を得られるように信号を読み出す第１の読み出し制御により読み出す行と、各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を加算して加算信号を読み出す第２の読み出し制御により読み出す行を、行単位で設定する設定工程と、
読み出し手段が、前記複数の光電変換部から、前記設定手段により設定された前記第１の読み出し制御と前記第２の読み出し制御とを、切り替えて読み出す読み出し工程と、
第１の焦点検出手段が、前記第１の読み出し制御により読み出された行のうち、一部の範囲から得られた対の焦点検出信号を用いて位相差方式による焦点状態の検出を行う第１の焦点検出工程と、を有し、
前記設定工程では、予め決められた条件に基づいて、前記第１の読み出し制御により読み出す行の設定を変更することを特徴とする撮像素子の駆動方法。
【請求項１７】
前記設定工程では、前記第１の焦点検出工程で検出された焦点状態の信頼度が予め決められた第１の閾値より低い場合に、前記第１の読み出し制御により読み出す行を、前記第１の読み出し制御により読み出ししていない行に設定を変更することを特徴とする請求項１６に記載の撮像素子の駆動方法。
【請求項１８】
前記第１の焦点検出手段が、前記検出した焦点状態の信頼度が予め決められた第２の閾値より低い場合に、前記焦点状態の検出に用いる対の焦点検出信号を得る範囲を拡大する拡大工程と、
前記設定手段が、前記対の焦点検出信号を得る範囲を拡大した後に前記第１の焦点検出工程で検出された焦点状態の信頼度が前記第１の閾値より低い場合に、前記第１の読み出し制御により読み出す行を変更することを特徴とする請求項１７に記載の撮像素子の駆動方法。
【請求項１９】
前記設定工程では、前記第１の読み出し制御により読み出す行を、周期的に変更することを特徴とする請求項１６に記載の撮像素子の駆動方法。
【請求項２０】
決定手段が、前記第１の焦点検出工程で検出された焦点状態に基づいて、フォーカスレンズの駆動量および駆動方向を決定する決定工程と、
第２の焦点検出手段が、予め決められた第２の焦点検出領域に含まれる前記複数の光電変換部から得られた加算信号に基づいて、コントラスト方式による焦点状態の検出を行う第２の焦点検出工程を更に含み、
前記決定工程では、前記設定工程で前記第１の読み出し制御により読み出す行を変更した後、前記第１の焦点検出工程で前記焦点状態の検出が終了するまで、前記第２の焦点検出工程で検出された焦点状態に基づいて、前記変更の前に前記第１の焦点検出工程で得られた焦点状態に応じて前記フォーカスレンズを駆動するか否かを決定することを特徴とする請求項１６乃至１９のいずれか１項に記載の撮像素子の駆動方法。
【請求項２１】
前記変更した後に前記第１の焦点検出工程で検出された焦点状態の信頼度が予め決められた第３の閾値以下の場合に、前記決定工程において、前記第２の焦点検出工程で得られた焦点状態に基づいて、前記フォーカスレンズの駆動量および駆動方向を決定することを特徴とする請求項２０に記載の撮像素子の駆動方法。
【請求項２２】
コンピュータに、請求項１６乃至２１のいずれか１項に記載の撮像素子の駆動方法の各工程を実行させるためのプログラム。
【請求項２３】
請求項２２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像素子の駆動方法に関し、更に詳しくは、撮像素子から得られた画像信号を用いて焦点検出を行う撮像装置および撮像素子の駆動方法に関する。
【背景技術】
【０００２】
撮像装置で行われる焦点検出方法の１つに、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。撮像面位相差方式の焦点検出においては、撮像素子に形成された焦点検出画素により、デフォーカス方向とデフォーカス量を同時に検出することが可能である。従って、画像信号のコントラスト状態に基づいて焦点検出を行う、いわゆるコントラスト方式と比較して、高速に焦点調節を行うことができる。また、撮像素子とは別に焦点検出用のセンサを用いる場合とは違い、撮像用と焦点検出用の光学系が同じであるため、視差（パララックス）の影響が無く、更には撮像装置の小型化にもつながる。
【０００３】
従来、撮像画素の間に焦点検出画素を離散的に配置する方法が提案されているが、以下のような課題があった。まず、撮像領域に対して焦点検出が可能な領域が固定位置となり限られるため、焦点検出領域の設定に制約ができる。また、焦点検出画素は画像を得る場合には欠陥画素扱いとなり、焦点検出画素の出力信号を周りの撮像画素の出力信号で補間する必要があるため、画質が低下する。そこで、特許文献１および２参照には、撮像素子上の全ての画素を２つ以上の独立して読み出し可能なフォトダイオードを用いて形成し、１つの画素が撮像機能と焦点検出機能を兼ね備えることで、撮像用の読み出しと同時に焦点検出を行う方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２５０９３１号公報
【特許文献２】特開２０１５−４３０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および特許文献２いずれの方法においても、近年の４Ｋ、８Ｋカメラなどのように高解像度化や、高速度撮影が可能なハイスピードカメラなどのようにフレームレートの高速化が進むにつれて、次のような課題が発生していた。即ち、所定時間で読み出せる焦点検出画素数に限りがあったり、読み出した焦点検出信号を用いて行う位相差方式の演算処理時間にも限りがあるため、撮像領域に対して一部の限られた領域のみでしか焦点検出ができないという制約が発生していた。
【０００６】
一般的なカメラでは、焦点検出枠は撮像領域に対して所定の割合の大きさで設定されるが、上記の制約により設定される焦点検出枠の大きさによっては、焦点検出枠内に焦点検出ができない領域が存在してしまう。この場合、例えば、焦点検出枠内に被写体が存在しても、焦点検出ができない領域に被写体があると、正しい焦点検出結果（デフォーカス方向とデフォーカス量）が得られず、意図した焦点調節ができないといった問題がある。また、焦点検出ができない領域に被写体がある場合に、むやみにレンズを動かし続けたり、レンズを止めたりしてしまうと、動画としての品位が落ちてしまうという問題もある。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、撮像領域の内、焦点検出が可能な領域が限られている場合に、焦点検出性能の低下を軽減することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有し、前記複数の光電変換部から、対の焦点検出信号を得られるように信号を読み出す第１の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を加算して加算信号を読み出す第２の読み出し制御とを、切り替えて読み出し可能な撮像素子と、予め決められた第１の焦点検出領域を含む前記第２の読み出し制御により読み出す複数の行のうち、前記第１の読み出し制御により読み出す行を設定する設定手段と、前記第１の読み出し制御により読み出された行のうち、一部の範囲から得られた対の焦点検出信号を用いて位相差方式による焦点状態の検出を行う第１の焦点検出手段と、を有し、前記設定手段は、予め決められた条件に基づいて、前記第１の読み出し制御により読み出す行の設定を変更する。
【発明の効果】
【０００９】
本発明によれば、撮像領域の内、焦点検出が可能な領域が限られている場合に、焦点検出性能の低下を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る撮像装置の概略構成図。
【図２】実施の形態における撮像素子の画素配列の概略図。
【図３】実施の形態における画素の概略平面図と概略断面図。
【図４】実施の形態における画素構造と瞳分割の概略説明図。
【図５】実施の形態における撮像光学系と撮像素子における瞳分割の概略説明図。
【図６】実施の形態における第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量との概略関係図。
【図７】第１の実施形態における撮像面位相差方式の焦点検出処理を示すフローチャート。
【図８】第１の実施形態における焦点検出領域の設定処理を示すフローチャート。
【図９】従来の撮像面位相差方式による焦点検出処理の課題を説明するための図。
【図１０】第１の実施形態における焦点検出領域の設定例を示す図。
【図１１】第１の実施形態における焦点検出領域の配置変更中のコントラストＡＦ制御について説明するための図。
【図１２】第２の実施形態におけるコントラスト方式による焦点検出処理を示すフローチャート。
【図１３】第２の実施形態における焦点検出領域の設定処理を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１２】
●全体構成
図１は、本実施形態における焦点調節装置を含むビデオカメラ（撮像装置）の構成を示す。なお、本実施形態では、後述するように、撮像素子から得られた位相差を有する信号に基づいて、撮像面位相差方式の焦点検出結果に応じて焦点検出領域を変更し、焦点調節動作を行うビデオカメラについて説明する。なお、本実施形態における撮像装置は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。
【００１３】
図１において、第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４、及びフォーカスコンペンセータレンズ１０５により、被写体からの光を結像するための撮像光学系が構成されている。変倍レンズ１０２は光軸方向に移動して変倍動作を行う。また、フォーカスコンペンセータレンズ（以下、フォーカスレンズ）１０５は変倍に伴う焦点面の移動を補正する機能と焦点調節機能とを兼ね備えている。
【００１４】
フォーカシング駆動部１１１は、焦点調節のためにフォーカスレンズ１０５を光軸方向に移動させるための駆動部であり、ステッピングモータ、ＤＣモータ、振動型モータ、及びボイスコイルモータ等のアクチュエータにより構成される。
【００１５】
撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子と周辺部とを備えて構成され、撮像光学系を通過した光が結像して形成された被写体像を光電変換して電気信号を出力する。なお、詳細は後述するが、本実施形態の撮像素子１０６は、２次元に配列された複数のマイクロレンズそれぞれに対して２つの光電変換部を備えている。そして、２つの光電変換部それぞれに対応する一対の焦点検出信号を生成可能に読み出す読み出し方法（第１の読み出し方法）と、２つの光電変換部の出力を加算した画素信号のみを読み出す読み出し方法（第２の読み出し方法）とにより駆動することができる。
【００１６】
位相差ＡＦ用画素読み出し設定部１１７は、撮像素子１０６の全画素のうち、行単位で第１の読み出し方法により読み出す画素群（あるいはライン）の設定を行う。これにより、撮影領域（撮像素子１０６の全画素）のうち、どの領域を位相差ＡＦ用に読み出すかを任意に指定することができる。
【００１７】
ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６の出力をサンプリングし、ゲインを調整する。カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、画像信号を生成する。モニタ１０９は、ＬＣＤ等により構成され、カメラ信号処理回路１０８からの画像信号に加え、撮像装置の撮影モードに関する情報や、設定された焦点検出領域の目安となる焦点検出枠（ＡＦ枠）等の各種情報を表示する。記録装置１１０は、カメラ信号処理回路１０８からの画像信号を、磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。
【００１８】
位相差ＡＦ用ゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７により画像処理され、第１の読み出し方法により読み出された画像信号のうち、後述する複数の焦点検出領域に対応する焦点検出信号を通す。位相差ＡＦ信号処理部１１３は、位相差ＡＦ用ゲート１１２を通過した一対の焦点検出信号を基に相関演算を行い、各焦点検出領域毎に、像ずれ量と信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。そして、算出した像ずれ量と信頼性情報をカメラマイコン１１４へ出力する。カメラマイコン１１４は、後述する位相差方式の焦点検出方法に基づいて、位相差ＡＦ信号処理部１１３にて算出された像ずれ量から、撮像面上での現在の焦点位置と合焦位置とのずれ量、いわゆるデフォーカス量を算出する。また、カメラマイコン１１４は、算出したデフォーカス量をフォーカスレンズ１０５の駆動量に変換し、フォーカシング駆動部１１１を制御してフォーカスレンズ１０５を駆動する。以下、上述した撮像面位相差方式のＡＦ制御を「位相差ＡＦ」と呼ぶ。
【００１９】
コントラストＡＦ用ゲート１１５は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、コントラスト方式のＡＦによる焦点検出に用いられる領域（コントラストＡＦ領域）の信号のみを後段のコントラストＡＦ信号処理部１１６に供給する。なお、コントラストＡＦ領域については、後述する。
【００２０】
コントラストＡＦ信号処理部１１６は、コントラストＡＦ用ゲート１１５から供給されるコントラストＡＦ領域の画像信号に対して、例えばフィルタを適用して予め定められた周波数帯域の成分を抽出し、コントラストＡＦ評価値を生成する。抽出するのは、コントラストＡＦ用ゲート１１５を通過した信号の、例えば高周波成分や、輝度レベルの最大値と最小値との差分（輝度差成分）等である。コントラストＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラストの程度）を表す値であるが、ピントが合った映像の鮮鋭度は高く、ぼけた映像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。生成されたコントラストＡＦ評価値は、カメラマイコン１１４に出力される。
【００２１】
カメラマイコン１１４は、コントラストＡＦ信号処理部１１６から与えられるコントラストＡＦ評価値に基づいて、フォーカシング駆動部１１１を制御してフォーカスレンズ１０５を駆動する。以下、上述したコントラスト方式のＡＦ制御を「コントラストＡＦ」と呼ぶ。
【００２２】
●撮像素子
図２は、本実施形態における撮像素子１０６の画素配列の概略を示す図である。図２は、本実施形態で撮像素子１０６として用いられる２次元ＣＭＯＳセンサの画素配列を、撮像画素の４列×４行の範囲で（焦点検出画素の配列としては８列×４行の範囲）で示したものである。
【００２３】
本実施形態において、画素群２００は２列×２行の画素からなる。そして、各画素群２００において、Ｒ（赤）の分光感度を有する画素２００Ｒが左上の位置に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下の位置に、Ｂ（青）の分光感度を有する画素２００Ｂが右下の位置に配置されている。さらに、各画素は、行列状に配された複数のマイクロレンズそれぞれに対して、２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。撮像素子１０６は、図２に示す４列×４行の撮像画素（８列×４行の焦点検出画素）からなる画素群２００を撮像面上に多数配置し、画素信号及び焦点検出信号の取得を可能としている。
【００２４】
図２に示す撮像素子１０６の１つの画素２００Ｇを、撮像素子１０６の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光面側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１及び３０２が形成される。光電変換部３０１及び３０２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。各画素には、マイクロレンズ３０５と、光電変換部３０１及び３０２との間に、カラーフィルタ３０６が形成される。また、必要に応じて、各焦点検出画素毎にカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略しても良い。
【００２５】
図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１，３０２で受光される。光電変換部３０１及び３０２では、光電変換により、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１０６の外部へ排出される。光電変換部３０１及び３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）(不図示）に転送され、電圧信号に変換されて出力される。
【００２６】
図３に示した本実施形態の画素構造と瞳分割との対応関係を図４を参照して説明する。図４は、図３（ａ）に示した第１の実施形態の画素構造のａ−ａ断面を＋ｙ側から見た断面図と撮像光学系の射出瞳面を示す図である。なお、図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。また、図４において、図３と同様の部分は同じ符号を付して示す。
【００２７】
図４に示すように、第１焦点検出画素２０１の第１の瞳部分領域４０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５によって概ね共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１の第１の瞳部分領域４０１は、瞳面上で＋Ｘ側に重心が偏心している。また、第２焦点検出画素２０２の第２の瞳部分領域４０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５によって、概ね共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２の第２の瞳部分領域４０２は、瞳面上で−Ｘ側に重心が偏心している。また、瞳領域４００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）とを合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００２８】
本実施形態の撮像素子１０６とマイクロレンズ３０５による瞳分割との対応関係の概略を図５に示す。射出瞳４１０の第１の瞳部分領域４０１と第２の瞳部分領域４０２の異なる瞳部分領域を通過した光束は、撮像素子１０６の各画素にそれぞれ異なる角度で入射し、２×１に分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。なお、本実施形態では、瞳領域が水平方向に２つに瞳分割されている例を示しているが、必要に応じて、垂直方向に瞳分割を行っても良い。
【００２９】
なお、本実施形態の撮像素子１０６は、それぞれの撮像画素が第１焦点検出画素２０１と第２焦点検出画素２０２から構成されているが、本発明はこれに限るものではない。必要に応じて、撮像光学系の第１の瞳部分領域４０１と第２の瞳部分領域４０２とを合わせた瞳領域を通過した光束を受光する撮像画素と、第１焦点検出画素２０１及び第２焦点検出画素２０２を個別の画素構成としてもよい。その場合、撮像画素による配列の一部に、第１焦点検出画素と第２焦点検出画素を部分的に配置する構成としても良い。
【００３０】
上述した構成を有する撮像素子１０６の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子１０６の各マイクロレンズに対応する画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の受光信号を加算することで、画像信号（加算信号）を生成することができる。
【００３１】
●デフォーカス量と像ずれ量の関係
次に、本実施形態の撮像素子１０６により取得される第１焦点検出信号と第２焦点検出信号の像ずれ量とデフォーカス量との関係について説明する。図６は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量との関係を示す図である。撮像面５００に本実施形態の撮像素子１０６が配置され、図４、図５と同様に、撮像光学系の射出瞳４１０が、第１の瞳部分領域４０１と第２の瞳部分領域４０２に２分割される。なお、図６において、図３〜図５と同様の部分には同じ符号を付して示す。
【００３２】
デフォーカス量ｄは、被写体の結像位置から撮像面５００までの距離を大きさ｜ｄ｜としたとき、被写体の結像位置が撮像面より被写体側にある前ピン状態を負（ｄ＜０）、撮像面５００より被写体の反対側にある後ピン状態を正（ｄ＞０）として定義される。被写体の結像位置が撮像面５００（合焦位置）にある焦点状態はｄ＝０である。図６で、被写体６０１は合焦状態（ｄ＝０）の例を示しており、被写体６０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。
【００３３】
前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、第１の瞳部分領域４０１を通過した被写体光は、一度、集光した後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面５００でボケた像となる。第２の瞳部分領域４０２を通過した被写体光についても同様であり、重心位置Ｇ２を中心として幅Γ２に広がったボケた像を形成する。ボケた像は、撮像素子１０６に配列された各画素を構成する第１焦点検出画素２０１および第２焦点検出画素２０２により受光され、第１焦点検出信号および第２焦点検出信号が生成される。よって、第１焦点検出信号および第２焦点検出信号は、撮像面５００上の重心位置Ｇ１およびＧ２に、被写体６０２が幅Γ１およびΓ２にボケた被写体像として記録される。被写体像のボケ幅Γ１，Γ２は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
【００３４】
このように、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。
【００３５】
●焦点検出
本実施形態では、上述した第１焦点検出信号と第２焦点検出信号の像ずれ量とデフォーカス量との関連性を用いて、位相差ＡＦを行う。位相差ＡＦでは、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。画像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関連性から、像ずれ量を検出デフォーカス量に変換して焦点検出を行う。
【００３６】
＜第１の実施形態＞
以下、上記構成を有する撮像装置を用いた本発明の第１の実施形態について説明する。
【００３７】
［撮像面位相差方式の課題］
ここで、第１の実施形態における撮像面位相差方式の課題について、図９を用いて説明する。図９（ａ）は、撮影領域９１に対する表示ＡＦ枠９２と、位相差ＡＦ用画素読み出し設定部１１７で設定される、第１の読み出し方法で読み出す領域９３ａ〜９３ｄとの関係を示している。焦点検出信号は水平１画素ラインを最小単位として読み出されるが、Ｓ／Ｎ向上のために垂直方向に加算処理したものを１ラインとして処理するものとし、以下では、領域９３ａ〜９３ｄそれぞれを焦点検出ラインと呼ぶ。
【００３８】
前述したように、４Ｋ、８Ｋカメラなどのように高解像度化や、フレームレートの高速化が進むにつれて、所定時間で読み出せる焦点検出ライン数に制約が出てくる。これは、一対の焦点検出信号を得るための第１の読み出し方法では、一般的に、次のような読み出し制御をするからである。即ち、まず、焦点検出用として、第１焦点検出画素２０１および第２焦点検出画素２０２のいずれか一方のみの読み出しを行う。次いで、撮影画像用として第１焦点検出画素２０１および第２焦点検出画素２０２の加算読み出しを行うか、または、第１焦点検出画素２０１および第２焦点検出画素２０２の他方のみの読み出しを行う。このように、１ラインについて２回の読み出しを行う必要が発生するため、読み出しに時間がかかり、１フレーム期間内で読み出せる焦点検出ライン数に制約ができてしまう。なお、加算読み出しを行った場合、第２焦点検出信号は、第１焦点検出画素２０１と第２焦点検出画素２０２を加算読み出しした信号と、第１焦点検出画素２０１のみの読み出し信号との差分から算出する。また、第１焦点検出画素２０１および第２焦点検出画素２０２からそれぞれ信号を読み出した場合は、読み出した信号を各マイクロレンズに対応する画素毎に加算して撮影画像用の信号を取得する。
【００３９】
一方、位相差ＡＦ信号処理部１１３での相関演算やカメラマイコン１１４でのデフォーカス量の算出処理は１ライン毎に行い、すべての焦点検出ラインで実施しなければならない。そのため、撮像素子１０６の全画素から第１および第２焦点検出信号を得られるように読み出せたとしても、１フレーム期間内で処理可能な焦点検出ライン数には限界がある。
【００４０】
図９（ｂ）は表示ＡＦ枠９２を大きく設定した場合の焦点検出ライン９３ａ〜９３ｄの配置を示している。上述したように、１フレーム期間で読み出しおよび処理可能な焦点検出ライン数には限界があるため、表示ＡＦ枠９２を大きくした場合、各焦点検出ライン９３ａ〜９３ｄの間隔を開ける構成がとられる。しかしながら、例えば、焦点検出ラインの間に被写体９４があるような場合には、正しい焦点検出ができない。
【００４１】
［焦点検出領域の決定方法］
第１の実施形態の撮像面位相差方式における焦点検出領域の設定処理について説明する。まず、以下の説明で用いる検出エリアフラグについて図１０を参照しながら説明する。
【００４２】
検出エリアフラグは焦点検出領域の設定状態に応じて４種類の状態を持ち、それぞれの状態に対応してフラグの数値が割り当てられている。４種類の状態とフラグの数値の関係は、１：通常状態、２：拡大状態、３：再配置期間中、４：再配置済み状態である。以下、図１０を用いてそれぞれの状態を説明する。なお、図１０において、図９と同様の構成には同じ参照番号を付す。
【００４３】
「１：通常状態」とは、図１０（ａ）に示すように表示ＡＦ枠９２に対して所定の大きさで焦点検出領域を設定した状態を表す。図９（ｂ）を参照して説明したように、焦点検出ライン数には制限があるため、表示ＡＦ枠９２全体に均等に焦点検出ラインが配置されるよう離散的な設定となっている。また、焦点検出領域９５ａ〜９５ｄは焦点検出ライン９３ａ〜９３ｄから読み出した焦点検出信号のうち、位相差ＡＦ信号処理部１１３での相関演算、およびカメラマイコン１１４でのデフォーカス量の算出処理を行う範囲を示している。従って、位相差ＡＦ用ゲート１１２は、この焦点検出領域９５ａ〜９５ｄに対応する画素から出力された信号を通す。第１の実施形態では、焦点検出領域９５ａ〜９５ｄは、位相差ＡＦ信号処理部１１３あるいはカメラマイコン１１４で設定する。なお、一般的にＡＦ制御では、遠近が競合するような被写体において背景などに焦点が合ってしまうという問題があるため、焦点検出領域は小さい方が好ましい。そのため、第１の実施形態では、通常状態として、表示ＡＦ枠９２に対して、焦点検出領域９５ａ〜９５ｄを水平方向に短く設定するものとして説明するが、これに限らず表示ＡＦ枠と同じ長さに設定してもよい。
【００４４】
「２：拡大状態」とは、図１０（ｂ）に示すように、表示ＡＦ枠９２に対して「１：通常状態」よりも大きい領域を焦点検出領域９５ａ’〜９５ｄ’として設定した状態を表す。第１の実施形態では、図示するように「１：通常状態」の焦点検出領域９５ａ〜９５ｄに対して、水平方向に広げた状態を「２：拡大状態」とする。位相差方式による焦点検出において、大デフォーカス状態（大ボケ状態）になると、第１および第２焦点検出信号の急峻度がなだらかになる。そのため、相関演算において第１および第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理でのシフト量が小さいと、２つの焦点検出信号の相関が取りにくくなり、信頼度の高いデフォーカス量が算出できない。そこで、特に大ボケ状態の場合に、焦点検出領域を瞳分割方向（第１の実施形態では水平方向）に拡大し、シフト量を大きくすることで、より正確にデフォーカス量を得ることが可能となる。また、表示ＡＦ枠９２内の焦点検出領域以外に被写体が存在する場合でも、水平方向に拡大することで被写体抜けの影響を軽減することができる。
【００４５】
「３：再配置期間中」とは、図１０（ｃ）に示すように、図１０（ａ）および図１０（ｂ）で設定している焦点検出領域と異なる領域に焦点検出領域９５ｅ〜９５ｇを再設定したが、デフォーカス検出結果が未だ出力されていない状態を表す。
【００４６】
「４：再配置済み状態」とは、再設定した焦点検出領域９５ｅ〜９５ｇでのデフォーカス検出結果が出力されている状態を表す。これが、第１の実施形態の特徴とするところであり、図１０（ａ）や図１０（ｂ）のように、被写体９４が焦点検出領域の隙間に入ってしまう場合には、正しくデフォーカス量を取得することができない。そこで、図１０（ｃ）のように、設定されていた焦点検出領域９５ａ’〜９５ｄ’の隙間を埋めるように焦点検出領域９５ｅ〜９５ｇを再配置し、新たな焦点検出領域９５ｅ〜９５ｇでデフォーカス演算を行うことで、上記課題を軽減する。
【００４７】
なお、「３：再配置期間中」と「４：再配置済み状態」とを区別する理由は、焦点検出領域を再設定してからデフォーカス検出結果が出力されるまで、相関量演算やデフォーカス算出処理の結果出力を待っている状態を判別するためである。
【００４８】
また、第１の実施形態では、焦点検出領域を通常状態から拡大状態（水平方向に拡大）に変更した場合には結果出力を待たず、拡大状態から再配置状態（垂直方向に再配置）した場合に結果出力を待つようにしている。しかしながら、水平方向に拡大した場合にも待つような構成としてもよい。
【００４９】
次に、図７を参照して、第１の実施形態における撮像面位相差方式の焦点検出処理について説明する。なお、図７の動作は、撮像素子１０６、位相差ＡＦ信号処理部１１３と、それらを制御するカメラマイコン１１４によって実行され、後述する図８の処理と動作周期を合わせて動作してもよいし、独立して速い周期で動作するようにしてもよい。
【００５０】
Ｓ１０１において、位相差ＡＦ信号処理部１１３は、位相差ＡＦに用いる第１および第２焦点検出信号を取得する。より具体的には、位相差ＡＦ用画素読み出し設定部１１７により後述するようにして設定された焦点検出ラインから読み出された第１および第２焦点検出信号のうち、位相差ＡＦ用ゲート１１２を通過した焦点検出領域の第１および第２焦点検出信号を取得する。
【００５１】
Ｓ１０２で、位相差ＡＦ信号処理部１１３は、第１焦点検出信号と第２焦点検出信号に、それぞれ列方向に画素加算処理を行い、信号のＳ／Ｎ比向上のための処理を実施し、さらに、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて画素加算処理と呼ぶ。
【００５２】
Ｓ１０３では、画素加算処理された第１焦点検出信号と第２焦点検出信号（輝度Ｙ信号）に、フィルタ処理を行う。例えば、大デフォーカス状態での焦点検出を行う場合は、フィルタ処理の通過帯域は低周波帯域を含むように構成する必要がある。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、フィルタ処理の通過帯域を調整しても良い。
【００５３】
Ｓ１０４では、フィルタ処理後の第１焦点検出信号と第２焦点検出信号（輝度Ｙ信号）を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する、相関演算を行う。この相関演算において、フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。また、このシフト処理におけるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、相関量（第１の評価値）ＣＯＲは、式（１）により算出される。
【００５４】
2017187726.tif 000003
シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ１番目の第２焦点検出信号Ｂ（ｋ−ｓ１）を対応させて減算し、シフト減算信号を生成する。そして、生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、各シフト量毎に、複数行に亘って加算しても良い。
【００５５】
Ｓ１０５では、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して、像ずれ量ｐ１とする。像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（撮像光学系）のＦ値、射出瞳距離に応じた第１の変換係数Ｋ１をかけて、デフォーカス量（Ｄｅｆ）を算出する。
【００５６】
Ｓ１０６では、Ｓ１０５で算出したデフォーカス量及びデフォーカス方向がどれだけ信頼できるのかを表す信頼性を算出する。なお、相関演算及びデフォーカス量の算出は各焦点検出領域毎に行われ、すべての焦点検出領域で実施されてから、処理を終了する。
【００５７】
次に、上述した検出エリアフラグを用いた焦点検出領域の設定処理について、図８を参照して説明する。
【００５８】
まず、Ｓ２０１において、カメラマイコン１１４はカメラのシーン変化を判断し、シーン変化があると判断した場合は、Ｓ２０２に処理を移行し、シーン変化がないと判断した場合はＳ２０４に処理を移行する。Ｓ２０１では、具体的には、パンニングがされたか否かや、撮影モードが変更されたか否かなどの状態の変化を判断する。
【００５９】
次に、Ｓ２０２では、焦点検出領域を図１０（ａ）に示す焦点検出領域９５ａ〜９５ｄにし、Ｓ２０３において、検出エリアフラグを「１：通常状態」に設定した後、Ｓ２０４に処理を移行する。
【００６０】
Ｓ２０４では、カメラマイコン１１４は検出エリアフラグが焦点検出領域の再配置期間中を示す「３：再配置期間中」か否かを判断する。検出エリアフラグが「３：再配置期間中」の場合は処理をＳ２０５に進め、「３：再配置期間中」でない場合には処理をＳ２１０に進める。
【００６１】
次に、Ｓ２０５において、カメラマイコン１１４は再配置後の焦点検出領域９５ｅ〜９５ｇで、図７を参照して上述したようにしてデフォーカス検出結果が出力されたか否かを判別する。出力された場合は処理をＳ２０７に進め、未だ出力されていない場合はＳ２０６に進める。
【００６２】
Ｓ２０６では、カメラマイコン１１４はコントラストＡＦ用ゲート１１５及びコントラストＡＦ信号処理部１１６を通過して出力されるコントラストＡＦ評価値を、前回出力されたコントラストＡＦ評価値と比較し、変化量が第１の閾値以内であるか否かを判断する。
【００６３】
ここで、Ｓ２０６で行われる処理について詳しく説明する。カメラマイコン１１４は、カメラの動作周期（フレームレートやシャッタースピード）に依存したタイミング（以下、「コントラストＡＦ評価値出力タイミング」と呼ぶ。）でコントラストＡＦ評価値を受信する。そして、受信したコントラストＡＦ評価値をカメラマイコン１１４内にある不図示のＲＡＭに履歴として格納する。カメラマイコン１１４は、受信した最新のコントラストＡＦ評価値と、ＲＡＭに格納された過去のコントラストＡＦ評価値とを比較する。比較の結果、「最新のコントラストＡＦ評価値−過去のコントラストＡＦ評価値＞０」の場合に、「変化量が第１の閾値以内である」と判断する。
【００６４】
また、さらに条件を加え、「第１の閾値＞最新のコントラストＡＦ評価値−過去のコントラストＡＦ評価値＞０」とし、第１の閾値以内のコントラストＡＦ評価値の変動がある場合のみ「変化量が第１の閾値以内である」と判断してもよい。
【００６５】
なお、上述した「過去のコントラストＡＦ評価値」は、前回のコントラストＡＦ評価値出力タイミングで出力されたコントラストＡＦ評価値でもよいし、所定回数前のコントラストＡＦ評価値出力タイミングで出力されたコントラストＡＦ評価値でもよい。さらに、過去の複数のコントラストＡＦ評価値を加算、平均、重み付け加算などして加工したコントラストＡＦ評価値でもよい。
【００６６】
Ｓ２０６において、変化量が第１の閾値以内である場合は処理をＳ２０９に進め、変化量が第１の閾値を超えている場合は処理をＳ２０８に進める。
【００６７】
Ｓ２０９では、焦点検出領域を再配置する前に出力されていた、信頼度の高いデフォーカス量を用いてフォーカスレンズ１０５を駆動する。具体的には、Ｓ２０９で、フォーカスレンズ１０５を駆動するために使用するデフォーカス量Ｄｅｆに、後述するＳ２１１においてバックアップしておいたデフォーカス量（Ｄｅｆ＿ｂｋ）を代入し、Ｓ２２０に処理を移行する。
【００６８】
一方、Ｓ２０８では、カメラマイコン１１４はフォーカシング駆動部１１１に対してフォーカスレンズ１０５を停止する指示を送り、処理を終了する。
【００６９】
ここで、上述したＳ２０６の判断およびＳ２０８、Ｓ２０９の処理が行われている状態の例を、図１１を参照して説明する。図１１は、「２：拡大状態」でＡＦ制御をしている状態で撮像面位相差方式によるデフォーカス量が検出できなくなり、「３：再配置期間中」となった場合のコントラストＡＦ評価値の変化を示す図である。横軸はフォーカスレンズ１０５のレンズ位置、縦軸はコントラストＡＦ評価値を表している。また、図中の×印は各レンズ位置において出力されたコントラストＡＦ評価値を表しており、×印を線でつなぎ、×と×の間のコントラストＡＦ評価値を仮想的に表現している。なお、本説明では、フォーカスレンズ１０５を一定速度で駆動しているものとし、これにより、横軸はレンズ位置を表すと同時に、時間も表していることになるため、ここではレンズ位置と時間をほぼ同等の意味で扱う。
【００７０】
図１１（ａ）は、「３：再配置期間中」に、コントラストＡＦ評価値の変動が第１の閾値以内である場合を示す図である。まず、「２：拡大状態」でレンズ位置Ｐ１において検出したデフォーカス量に基づいてフォーカスレンズ１０５を駆動する。レンズ駆動中は所定の間隔で、上述した撮像面位相差方式の焦点検出によりデフォーカス量を検出しながら合焦方向（図１１（ａ）では右方向）に向かって引き続きフォーカスレンズ１０５を駆動する。第１の実施形態においては、レンズ駆動中は上述したコントラストＡＦ評価値取得タイミングでコントラストＡＦ評価値を周期的に取得し、レンズ位置と対応付けながらコントラストＡＦ評価値を記憶していく。ここでは、デフォーカス量が求められているため、基本的にコントラストＡＦ評価値を用いずに、デフォーカス量に基づいてフォーカスレンズ１０５を駆動する。
【００７１】
次に、レンズ位置Ｐ２において、後述するように、デフォーカス量の信頼度が第２の閾値以下であると判定されたと仮定する。デフォーカス量の信頼度が低い場合は、上述したように焦点検出領域を再配置する。このように再配置した場合、再配置後の焦点検出領域に応じたデフォーカス量が所定期間出力されなくなる。ここでは、図１１（ａ）の「×印」の３回分だけ出力されず、４回目で出力されるものとする。なお、回数や期間は各システムや設定状態（フレームレートやシャッタースピード等）、その他の条件によって変わるため、３回に限定されるものではない。
【００７２】
タイミングＰ２では、最新のコントラストＡＦ評価値と、過去のコントラストＡＦ評価値との差分ａを計算する。図１１（ａ）に示す例では、第１の閾値＞差分ａ＞０とであるため、被写体が変わっていないと判断し、再配置前に信頼度の高かったデフォーカス量（Ｄｅｆ＿ｂｋ）に基づいてフォーカスレンズ１０５を制御する。
【００７３】
次に、タイミングＰ３において、前回（タイミングＰ２）取得したコントラストＡＦ評価値との差分ｂを計算する。図１１（ａ）に示す例では、第１の閾値＞差分ｂ＞０となっており、再び、再配置前に信頼度の高かったデフォーカス量（Ｄｅｆ＿ｂｋ）に基づいてフォーカスレンズ１０５を制御する。
【００７４】
以降、レンズ位置Ｐ４〜Ｐ６においても、前回取得したコントラストＡＦ評価値との差分ｃ〜差分ｅに基づいた同様の処理により、再配置前に信頼度の高かったデフォーカス量に基づいてフォーカスレンズ１０５を制御する。
【００７５】
以上の処理を行うことによって、焦点検出領域を再配置した場合に、再配置後の撮像面位相差方式によるデフォーカス量が出力されるまでの間も、コントラストＡＦ評価値を参考にしてフォーカスレンズを制御することができる。このように、被写体が変わっていないと判断できる場合は、フォーカスレンズを駆動し続けることによって動画としての品位を損なうことなく、フォーカスレンズを制御することができる。
【００７６】
図１１（ｂ）は「３：再配置期間中」に、コントラストＡＦ評価値の変動量が下がった（差分がマイナスとなる）場合を表す図である。なお、レンズ位置Ｐ２までは図１１（ａ）と同様であるため説明を省略する。
【００７７】
図１１（ｂ）に示す例では、タイミングＰ３において、コントラストＡＦ評価値が前回取得したコントラストＡＦ評価値よりも低い値となっており、前回のコントラストＡＦ評価値との差分ｆがマイナスの値となるため、被写体が変わったと判断する。従って、再配置前に信頼度の高かったデフォーカス量は、被写体が変わる前のデフォーカス量であるため、使用することは不適切である。そのため、再配置後のデフォーカス量が得られるまでフォーカスレンズ１０５を停止することで、無駄なフォーカスレンズ１０５の駆動による動画の品位低下を防ぐことができる。
【００７８】
なお、上述した説明では、コントラストＡＦ評価値の差分がマイナスの値となった場合に被写体が変わったと判断している。しかしながら、本発明はこれに限られるものではなく、コントラストＡＦ評価値へのノイズの影響を考慮し、所定の閾値Ｂ（マイナスの値）を設けて差分が閾値Ｂ以下となった場合に被写体が変わったと判断しても良い。
【００７９】
図１１（ｃ）は「３：再配置期間中」に、コントラストＡＦ評価値の変動が閾値以上である（急激に増加する）場合を示す図である。なお、レンズ位置Ｐ２までは図１１（ａ）と同様であるため説明を省略する。
【００８０】
図１１（ｃ）に示す例では、タイミングＰ３において、コントラストＡＦ評価値が前回取得したよりも極端に高い値となっており、前回のコントラストＡＦ評価値との差分ｇが第１の閾値を超える値となるため、被写体が変わったと判断する。従って、再配置前に信頼度の高かったデフォーカス量は被写体が変わる前の焦点検出結果であるため、使用することは不適切である。そのため、再配置後のデフォーカス量が得られるまでフォーカスレンズ１０５を停止することで、無駄なフォーカスレンズ１０５の駆動による動画の品位低下を防ぐことができる。
【００８１】
なお、上述した説明では、第１の閾値を固定値としているが、第１の閾値の値はフレームレートやシャッタースピード等、コントラストＡＦ評価値の取得タイミングが変わる条件で変更しても良いし、ズーム状態や明るさ状態などのカメラの状態で変更しても良い。
【００８２】
また、第１の実施形態では、被写体が変わったと判断した場合にフォーカスレンズ１０５を停止するようにしているが、フォーカスレンズ１０５の駆動速度を落とすように制御しても良い。
【００８３】
また、上述の説明では、タイミングＰ２よりも時間的に後のタイミングＰ３でコントラストＡＦ評価値が変動することを例に挙げて説明したが、タイミングＰ２でコントラストＡＦ評価値が変動した場合も上述と同様の制御により被写体が変わったと判断できる。
【００８４】
また、撮像面位相差方式によるデフォーカス量が出力されるタイミングが、コントラストＡＦ評価値が出力されるタイミングよりも遅いことを考慮すると、次の可能性が考えられる。即ち、タイミングＰ２で焦点検出ができなくなる場合は、タイミングＰ２よりも前のタイミングでコントラストＡＦ評価値が変動している可能性がある。従って、タイミングＰ２以降のコントラストＡＦ評価値のみで被写体が変わったかどうかを判断するのではなく、タイミングＰ２よりも前のタイミングで取得したコントラストＡＦ評価値を用いて被写体の変更を判断しても良い。
【００８５】
次に、上記コントラストＡＦ評価値を取得する領域（コントラストＡＦ領域）について説明する。
【００８６】
コントラストＡＦ領域は、図１０に示されている表示ＡＦ枠９２と略同じ領域に設定しても良いし、ＡＦ制御に使用しているデフォーカス量を検出した焦点検出ライン、及び水平の位置に応じて、表示ＡＦ枠９２よりも小さい領域に設定しても良い。このように、再配置前にデフォーカス量を検出していた付近にコントラストＡＦ領域を設定することで、再配置前の被写体と異なる被写体が表示ＡＦ枠９２に出入りした場合に、誤ってレンズ駆動を停止したり、駆動を継続してしまうといったことを軽減できる。
【００８７】
また、コントラストＡＦ領域を設定する際は、デフォーカス量を検出した焦点検出ラインと隣り合う再配置後の焦点検出ラインを含むようにコントラストＡＦ領域を設定する。例えば、再配置前に焦点検出領域９５ｂ´でデフォーカス量を検出している場合、コントラストＡＦ領域は少なくとも焦点検出領域９５ｅ及び９５ｆを含むように設定する。焦点検出領域９５ｅ及び９５ｆを含むように設定することで、焦点検出領域９５ｅや９５ｆに被写体が入ってきてからデフォーカス量を検出（算出）するまでのわずかなタイムラグによってレンズ制御を誤って停止したり、駆動を継続してしまうことを軽減できる。
【００８８】
以上の判断方法によって、「変化量が第１の閾値以内」である場合はコントラストＡＦ領域内の被写体が変わっておらず、離散的に配置された焦点検出領域の隙間に被写体が入り込んだと判断する。一方、「変化量が第１の閾値を超える」場合は、コントラストＡＦ領域内の被写体が変わっていると判断する。
【００８９】
図８の説明に戻り、Ｓ２０５において、再配置後の焦点検出領域でデフォーカス量が出力されたと判断された場合、Ｓ２０７において、検出エリアフラグを「４：再配置済み」に設定し、Ｓ２１０に処理を移行する。
【００９０】
Ｓ２１０では、カメラマイコン１１４は位相差ＡＦ信号処理部１１３から受信したデフォーカス量の信頼度が第２の閾値よりも高いか否かを判断する。第２の閾値よりも高いと判断した場合は、Ｓ２１１に処理を移行し、カメラマイコン１１４は受信したデフォーカス量を所定のＲＡＭに格納して（デフォーカス量（Ｄｅｆ＿ｂｋ））、処理をＳ２２０に移行する。
【００９１】
一方、Ｓ２１０において、デフォーカス量の信頼度が第２の閾値以下と判断した場合はＳ２１２に処理を移行する。Ｓ２１２では、カメラマイコン１１４は検出エリアフラグが「１：通常状態」、「２：拡大状態」、「４：再配置済み状態」の何れの状態であるのかを判定する。「１：通常状態」であると判定した場合は、Ｓ２１３に、「２：拡大状態」であると判定した場合はＳ２１４に、「４：再配置済み状態」であると判定した場合はＳ２１５に、それぞれ処理を移行する。
【００９２】
Ｓ２１３では、焦点検出領域を図１０（ｂ）に示す焦点検出領域９５ａ’〜９５ｄ’に変更してＳ２１６に処理を移行し、検出エリアフラグを「２：拡大状態」に変更した後、Ｓ２２０に処理を移行する。
【００９３】
Ｓ２１４では、焦点検出領域を図１０（ｃ）に示す焦点検出領域９５ｅ〜９５ｇに再配置してＳ２１７に処理を移行し、検出エリアフラグを「３：再配置期間中」に変更した後、Ｓ２２０に処理を移行する。
【００９４】
Ｓ２１５では、カメラマイコン１１４は、Ｓ１０６で算出されたデフォーカス方向の信頼度が第３の閾値よりも高いか否かを判断する。第３の閾値よりも高いと判断した場合はＳ２１８に処理を移行し、第３の閾値以下と判断した場合はＳ２１９に処理を移行する。
【００９５】
Ｓ２１８では、カメラマイコン１１４は信頼度が閾値よりも高いと判断されたデフォーカス方向にフォーカスレンズ１０５を駆動するように、フォーカシング駆動部１１１に方向情報を設定する。Ｓ２１９では、カメラマイコン１１４は受信したデフォーカス量は利用できないと判断し、フォーカスレンズ１０５を所定方向に駆動するように、フォーカシング駆動部１１１に方向情報を設定し、Ｓ２２０に処理を移行する。なお、所定方向に関する一例として、フォーカスレンズ１０５の至近端又は無限端のうち現在のレンズ位置に対して遠い方の端に向かうように方向を設定する。
【００９６】
Ｓ２２０では、上述した各処理に応じてフォーカスレンズ１０５を駆動する。
【００９７】
なお、第１の実施形態では、Ｓ２０１〜Ｓ２０３において、シーン変化があったと判断された場合に焦点検出領域を「１：通常状態」に戻すようにしているが、本発明はこれに限られるものではない。例えば、再配置済みの場合においても信頼度の高いデフォーカス量が得られなかった場合に、拡大状態（あるいは通常状態）に戻して再度焦点検出するようにしてもよい。また、通常状態（あるいは拡大状態）で信頼度の高いデフォーカス量が得られなかった場合に、焦点検出領域を拡大状態（あるいは通常状態）と再配置状態を周期的に切り替え、それぞれの焦点検出結果に基づいて焦点検出を行うような構成にしてもよい。
【００９８】
このような構成にすることで、焦点検出領域を再配置した状態において、カメラのブレや被写体の上下移動によって再び焦点検出ラインの隙間に被写体が入ってしまっても正しく焦点検出ができるため、さらに焦点検出性能の低下を軽減することが可能となる。ただし、カメラのブレや被写体の上下移動の周期と焦点検出領域の変更の周期が同じ場合に、焦点検出領域と被写体の位置が入れ違いになり、正しく焦点検出できない可能性がある。そのため、拡大状態（あるいは通常状態）と再配置状態を単純に交互に切り替えるのではなく、１周期の中で不均一となるように切り替えるようにすることが望ましい。
【００９９】
また、第１の実施形態では、焦点検出ラインをＡＦ枠に対して一定間隔をあけて離散的に設定する場合について説明してきたが、これに限らず、まとまった領域を設定してもよいし、間隔を可変にする構成としてもよい。
【０１００】
以上説明したように本第１の実施形態によれば、撮像領域に対して一部の限られた領域のみで焦点検出が可能な焦点調節装置において、予め設定された焦点検出領域から被写体が抜けることによる焦点検出性能の低下を軽減することができる。また、予め設定していた焦点検出領域とは異なる領域を設定したときに、新しく設定した領域における焦点検出結果の出力にタイムラグがある場合でも、レンズを動かし続けるべきか止めるべきかの判断を適切に行うことができる。
【０１０１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、撮像面位相差方式における焦点検出で信頼性のあるデフォーカス量を求められない場合に、焦点検出領域の拡大、焦点検出ラインの配置を変更して焦点検出を継続する処理について説明した。
【０１０２】
これに対し、第２の実施形態では、焦点検出領域の拡大、焦点検出ラインの配置変更を実施しても、デフォーカス量が得られない場合の処理として、コントラストＡＦを継続することを特徴としている。以下に、コントラストＡＦへの切り替えに関して説明する。
【０１０３】
ここではまず、第２の実施形態で実施されるコントラストＡＦに関して、図１２のフローチャートを用いて説明する。なお、図１２の処理は、撮像素子１０６、コントラストＡＦ信号処理部１１６と、それらを制御するカメラマイコン１１４によって実行される。
【０１０４】
まず、カメラマイコン１１４はＳ４０１において、第２の実施形態における後述する焦点検出領域の設定処理にて設定された駆動方向情報の有無を判定する。
【０１０５】
駆動方向情報がなければＳ４０２に進み、コントラストＡＦ用ゲート１１５及びコントラストＡＦ信号処理部１１６を通過して出力される、コントラストＡＦ領域内の画像信号に基づいて算出されたコントラストＡＦ評価値を取得する。
【０１０６】
次いでＳ４０３において、フォーカスレンズ１０５を予め決められた狭い範囲で反復駆動する微小駆動動作を行う。微小駆動動作を行いながらコントラストＡＦ評価値を検出し、コントラストＡＦ評価値が増加する方向を合焦方向とする。合焦方向が同一の状態が所定期間続くと、合焦方向を判定する。また合焦方向が同一エリアで所定回数往復する場合は、コントラストＡＦ評価値のピークが検出されたとして合焦判定する。Ｓ４０３の微小駆動動作は、Ｓ４０４で合焦方向が判定されるまで繰り返し行われる。
【０１０７】
Ｓ４０４で合焦方向が判定されると、引き続きＳ４０５で微小駆動動作における合焦判定を行う。Ｓ４０５で合焦判定されなかった場合は、Ｓ４０６に進み、山登り駆動動作を行う。
【０１０８】
山登り駆動では、Ｓ４０４で判定された合焦方向、もしくはＳ４０１で判定された焦点検出領域の設定処理での駆動方向情報に基づき、コントラストＡＦ評価値が大きくなる方向へ高速でフォーカスレンズ１０５を駆動させる。山登り駆動動作は、Ｓ４０７でコントラストＡＦ評価値のピークを越えたと判定されるまで繰り返し行われる。Ｓ４０８では、山登り駆動中のコントラストＡＦ評価値がピークとなるレンズ位置にフォーカスレンズ１０５を戻す。Ｓ４０９でピークに戻ったことが判定されるとＳ４０２に処理を戻し、再び微小駆動動作を行う。Ｓ４０９でピークのレンズ位置に戻っていないと判断された場合はＳ４０８へ戻り、ピークのレンズ位置に戻す動作を継続する。
【０１０９】
次に、Ｓ４１０からの合焦動作について説明する。Ｓ４１０ではコントラストＡＦ評価値を保持する。次にＳ４１１において、最新のコントラストＡＦ評価値を取得する。Ｓ４１２では、Ｓ４１０で保持したコントラストＡＦ評価値とＳ４１１で新たに取得したコントラストＡＦ評価値とを比較する。コントラストＡＦ評価値間の差が所定値以上あれば再起動と判定してＳ４０２に進み、微小駆動動作を再開する。Ｓ４１２で差が所定値より小さく、再起動と判定されなければＳ４１３へ進む。Ｓ４１３ではフォーカスレンズ１０５を停止し、Ｓ４１１へ戻り、再起動判定を継続する。
【０１１０】
次に、第２の実施形態における焦点検出領域の設定処理について、図１３のフローチャートを参照して説明する。なお、図１３において図８と同じ符号で示す処理は、図８と同じ処理を示しており、ここでは説明を割愛する。
【０１１１】
第２の実施形態では、焦点検出領域の拡大、および、焦点検出ラインの配置変更を実施しても、デフォーカス量が得られない場合にＳ５０２に処理が分岐し、コントラストＡＦへの切り替え処理が開始される。
【０１１２】
まずＳ５０２でフォーカスレンズ１０５が駆動中かを判定する。駆動中の場合はＳ５０３に処理を進め、駆動していなければ（停止状態）Ｓ５０７に処理を進める。
【０１１３】
Ｓ５０３では、コントラストＡＦ信号処理部１１６にて検出されたコントラストＡＦ評価値より、コントラストＡＦ評価値の変動量を監視し、変動量が第４の閾値以内の時は、被写体を正しく捉え続けていると判断して、処理をＳ５０４に進める。Ｓ５０４では、コントラストＡＦ信号処理部１１６でバックアップしたデフォーカス量（Ｄｅｆ＿ｂｋ）の信頼度を判定し、第５の閾値よりも信頼度が高いと判定されるとＳ５０５に進んで、位相差方式で前回判定された駆動方向に基づき駆動方向を設定する。前述したようにコントラストＡＦでは、この駆動方向を合焦方向の初期値として設定することで、合焦方向の判定処理をスキップして、合焦位置の検索に進むことができる。駆動方向が設定されるとＳ５１３に進み、コントラストＡＦの処理ルーチンを起動してコントラストＡＦ制御を開始する。
【０１１４】
一方、Ｓ５０３の判定で、コントラストＡＦ評価値の変動量が第４の閾値を超え、被写体を捉え続けられていないと判断した場合、およびＳ５０４でバックアップしたデフォーカス量（Ｄｅｆ＿ｂｋ）の信頼性が低いと判断された場合は、Ｓ５０６に進む。Ｓ５０６では、駆動方向の情報はクリアされ、これによってコントラストＡＦでは、微小駆動による合焦方向の判定から処理を開始することになる。
【０１１５】
次いでＳ５０２でフォーカスレンズが停止中と判定された場合について説明する。まず、Ｓ５０７でデフォーカス量のバックアップを確認する。バックアップが無い場合は位相差方式によるデフォーカス量の検出が全くできていないのでＳ５０９に進み、駆動方向をクリアする。駆動方向をクリアすることで、コントラストＡＦ制御の微小駆動による合焦方向の判定から処理を開始する。
【０１１６】
また、バックアップがある場合で、かつＳ５０８でコントラストＡＦ評価値に変化があったと判定された場合は、合焦状態から被写体が動いたと判断して、Ｓ５０９に進み駆動方向をクリアする。駆動方向をクリアすることでコントラストＡＦ制御の微小駆動による合焦方向の判定から処理を開始する。Ｓ５０８でコントラストＡＦ評価値に変化が無いと判定された場合は、合焦状態を維持し続けていると判断して、Ｓ５１０でフォーカスレンズ１０５の駆動を停止し、Ｓ５１１で駆動方向をクリアし、Ｓ５１２でコントラストＡＦを停止する。
【０１１７】
なお、コントラストＡＦ中にも位相差方式による焦点検出処理は継続して実施する。Ｓ２１０で位相差方式により計測されたデフォーカス量の信頼度が閾値以上と判定された場合はＳ２１１を経てＳ２２０に進み、位相差方式で計測されたデフォーカス量に基づきフォーカスレンズ１０５の合焦制御を実施する。また位相差方式での焦点調節処理の実施中は、Ｓ５０１でコントラストＡＦを停止する。
【０１１８】
また、Ｓ５０８の「コントラストＡＦ評価値の変化」は、前回のコントラストＡＦ評価値出力タイミングで出力されたコントラストＡＦ評価値からの変化でも良いし、所定回数前のコントラストＡＦ評価値からの変化でもよい。
【０１１９】
以上説明したように本第２の実施形態によれば、第１の実施形態と同様の効果に加えて、以下の効果を得ることができる。即ち、焦点検出領域の拡大、焦点検出ラインの配置変更を実施しても、位相差方式で焦点検出できない場合には、コントラストＡＦに切り替えてＡＦ制御を継続することで、焦点検出性能の低下を軽減することができる。
【０１２０】
（他の実施形態）
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１２１】
また、本発明はビデオカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、焦点調節装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「焦点調節装置」は、焦点調節機能を備えた任意の電子機器を包含することが意図されている。以上、本発明の好ましい実施形態について説明したが、本発明は上記実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１２２】
１０５：フォーカスコンペンセータレンズ、１０６：撮像素子、１１１：フォーカシング駆動部、１１２：位相差ＡＦ用ゲート、１１３：位相差ＡＦ信号処理部、１１４：カメラマイコン、１１５：コントラストＡＦ用ゲート、１１６：コントラストＡＦ信号処理部、１１７：位相差ＡＦ用画素読み出し設定部、２００：画素、３０５：マイクロレンズ
【図１】
2017187726.tif 000004
【図２】
2017187726.tif 000005
【図３】
2017187726.tif 000006
【図４】
2017187726.tif 000007
【図５】
2017187726.tif 000008
【図６】
2017187726.tif 000009
【図７】
2017187726.tif 000010
【図８】
2017187726.tif 000011
【図９】
2017187726.tif 000012
【図１０】
2017187726.tif 000013
【図１１】
2017187726.tif 000014
【図１２】
2017187726.tif 000015
【図１３】
2017187726.tif 000016