(57)【要約】      （修正有）【課題】瞳分割の分割数を増加させつつも画像のフレームレートの低下を抑制する、撮像面での焦点検出が可能な撮像装置を提供する。【解決手段】１つのマイクロレンズに対して複数の光電変換素子を備える画素が二次元的に配列された撮像素子から、撮影光学系の複数の瞳領域のうちの第１の個数の瞳領域に対応する光電変換素子からの信号と、複数の瞳領域のうちの全ての瞳領域に対応する光電変換素子からの信号を加算した信号とを第１のフレームレートで読み出す動作と、複数の瞳領域のうちの第１の個数とは異なる第２の個数の瞳領域に対応する光電変換素子からの信号と、複数の瞳領域のうちの全ての瞳領域に対応する光電変換素子からの信号を加算した信号とを第２のフレームレートで読み出す第２の読み出し動作とを切り替えて行うことを可能とし、撮像装置の状態に応じて、第１の読み出し動作を行わせるか、第２の読み出し動作を行わせるかを制御する。【選択図】図５
2018042223.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズに対して複数の光電変換素子を備える画素が二次元的に配列された撮像素子と、
前記撮像素子から、撮影光学系の複数の瞳領域のうちの第１の個数の瞳領域に対応する前記光電変換素子からの信号と、前記撮影光学系の複数の瞳領域のうちの全ての瞳領域に対応する前記光電変換素子からの信号を加算した信号とを第１のフレームレートで読み出す第１の読み出し動作と、前記撮像素子から、前記撮影光学系の複数の瞳領域のうちの第１の個数とは異なる第２の個数の瞳領域に対応する前記光電変換素子からの信号と、前記撮影光学系の複数の瞳領域のうちの全ての瞳領域に対応する前記光電変換素子からの信号を加算した信号とを第２のフレームレートで読み出す第２の読み出し動作とを切り替えて行うことが可能な読み出し手段と、
撮像装置の状態に応じて、前記読み出し手段に前記第１の読み出し動作を行わせるか、前記第２の読み出し動作を行わせるかを制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮影光学系の複数の瞳領域のうちの全ての瞳領域に対応する前記光電変換素子からの信号を加算した信号とは、前記撮像素子のそれぞれの画素について、前記１つのマイクロレンズに対応する複数の光電変換素子の信号を全て加算した信号であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の個数の瞳領域に対応する前記光電変換素子からの信号、及び前記第２の個数の瞳領域に対応する前記光電変換素子からの信号とは、それぞれの画素における複数の光電変換素子を複数のグループに分け、該複数のグループごとに光電変換素子の信号を加算して得られる信号であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１の読み出し動作で読み出された前記第１の個数の瞳領域に対応する前記光電変換素子からの信号に基づいて、前記第２の読み出し動作において前記複数の光電変換素子を複数のグループに分ける分け方を変更することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像装置がライブビュー動作を行い且つ焦点合わせのためのレンズ駆動を行わない場合に、前記制御手段は前記読み出し手段に前記第１の読み出し動作を行わせ、前記撮像装置がライブビュー動作を行い且つ焦点合わせのためのレンズ駆動を行う場合に、前記制御手段は前記読み出し手段に前記第２の読み出し動作を行わせることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第２のフレームレートの方が前記第１のフレームレートよりもフレームレートが高いことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第１の個数の瞳領域に対応する前記光電変換素子からの信号、または前記第２の個数の瞳領域に対応する前記光電変換素子からの信号から像ずれ量を検出する検出手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記像ずれ量を用いてレンズ駆動量を算出する算出手段をさらに備えることを特徴とする請求項７に記載の撮像装置。
【請求項９】
１つのマイクロレンズに対して複数の光電変換素子を備える画素が二次元的に配列された撮像素子を備える撮像装置を制御する方法であって、
前記撮像素子から、撮影光学系の複数の瞳領域のうちの第１の個数の瞳領域に対応する前記光電変換素子からの信号と、前記撮影光学系の複数の瞳領域のうちの全ての瞳領域に対応する前記光電変換素子からの信号を加算した信号とを第１のフレームレートで読み出す第１の読み出し動作と、前記撮像素子から、前記撮影光学系の複数の瞳領域のうちの第１の個数とは異なる第２の個数の瞳領域に対応する前記光電変換素子からの信号と、前記撮影光学系の複数の瞳領域のうちの全ての瞳領域に対応する前記光電変換素子からの信号を加算した信号とを第２のフレームレートで読み出す第２の読み出し動作とを切り替えて行う読み出し工程と、
撮像装置の状態に応じて、前記読み出し工程において前記第１の読み出し動作を行わせるか、前記第２の読み出し動作を行わせるかを制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１０】
請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像面での焦点検出が可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来より、１つのマイクロレンズに対して複数のフォトダイオードが配置された画素を有し、撮影光学系の瞳を分割する機能を有する撮像素子が知られている。このような撮像素子では、撮影光学系の異なる瞳領域を通過した視差のある被写体像を取得出来るため、撮像素子面において位相差方式の焦点検出（ＡＦ）が可能である。
【０００３】
このような撮像素子においては、焦点検出のためには、１つのマイクロレンズに対応するフォトダイオードのそれぞれから信号を取得し、通常の画像を得るためには、それらのフォトダイオードの信号を加算した信号を取得する必要がある。
【０００４】
特許文献１には、隣接するフォトダイオード同士をゲートで接続し、用途に合わせてフォトダイオードの信号を加算する場合と加算しない場合を制御する方法が開示されている。例えば、上下方向に隣接したフォトダイオード同士を接続して出力信号を加算することにより、左右方向に視差のある画像が得られる。同様に、左右方向に隣接したフォトダイオード同士を接続して出力信号を加算処理することにより、上下方向に視差のある画像が得られる。視差のある画像信号が得られることにより、撮影レンズのデフォーカス量の検出、立体像の生成、リフォーカスによるピント微調整などが可能になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０８２７２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮像装置で動画撮影やライブビュー撮影を行う際は、表示用の画像信号を用途に合ったフレームレートで取得する必要がある。撮影光学系を瞳分割した画素から表示用の画像信号を取得する場合、上記のように１つのマイクロレンズに対応する複数のフォトダイオードの全ての出力信号を加算処理した、視差のない画像信号が必要である。
【０００７】
また同じ画素構成で撮像面位相差ＡＦを行う場合、１つのマイクロレンズに対応する複数のフォトダイオードそれぞれから視差のある画像信号を取得して像ずれ量を検出する必要がある。この場合、瞳分割の分割数が増えるにしたがって、検出可能な位相シフト数や方向が増えるので、合焦精度の向上を図ることができる。その一方で、分割数が増えると、より多くの画素信号を読み出すことになるので、読み出し時間が増加してしまう。
【０００８】
画素信号の読み出し時間が長くなることは、フレームレートに対して制約となる。逆に、フレームレートが高速に設定出来ると、像ずれ量算出のサンプリングレートも高速になり、特に動きのある被写体に対する合焦精度や、ぼけ状態から被写体をサーチして最終合焦させるまでの合焦速度などを向上させることができる。そのため、瞳分割の分割数を増加させつつも、画像のフレームレートもある程度高速に確保できることが望まれる。
【０００９】
特許文献１では、撮像装置の構図（縦位置構図又は横位置構図）を判定し、その判定結果に応じてフォトダイオードの接続方向を切り替えることで、鑑賞可能な立体像を生成するために必要な視差のある画像信号を取得する方法が開示されている。しかしながら、画像信号の読み出し時間に制約がある場合の処理については言及されていない。
【００１０】
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像面での焦点検出が可能な撮像装置において、瞳分割の分割数を増加させつつも、画像のフレームレートの低下を抑制することである。
【課題を解決するための手段】
【００１１】
本発明に係わる撮像装置は、１つのマイクロレンズに対して複数の光電変換素子を備える画素が二次元的に配列された撮像素子と、前記撮像素子から、撮影光学系の複数の瞳領域のうちの第１の個数の瞳領域に対応する前記光電変換素子からの信号と、前記撮影光学系の複数の瞳領域のうちの全ての瞳領域に対応する前記光電変換素子からの信号を加算した信号とを第１のフレームレートで読み出す第１の読み出し動作と、前記撮像素子から、前記撮影光学系の複数の瞳領域のうちの第１の個数とは異なる第２の個数の瞳領域に対応する前記光電変換素子からの信号と、前記撮影光学系の複数の瞳領域のうちの全ての瞳領域に対応する前記光電変換素子からの信号を加算した信号とを第２のフレームレートで読み出す第２の読み出し動作とを切り替えて行うことが可能な読み出し手段と、撮像装置の状態に応じて、前記読み出し手段に前記第１の読み出し動作を行わせるか、前記第２の読み出し動作を行わせるかを制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像面での焦点検出が可能な撮像装置において、瞳分割の分割数を増加させつつも、画像のフレームレートの低下を抑制することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に共通する撮像装置の全体構成を示す概略図。
【図２】本発明の実施形態に共通する撮像素子の構成を示す図。
【図３】本発明の実施形態に共通する撮像素子の画素構造を示す図
【図４】本発明の実施形態に共通する撮像素子の読み出し方法のパターン例を示す図。
【図５】第１の実施形態におけるライブビュー撮影の動作を示すフローチャート。
【図６】第１の実施形態におけるライブビュー撮影の動作タイミングチャート。
【図７】第２の実施形態におけるライブビュー撮影の動作を示すフローチャート。
【図８】第２の実施形態におけるライブビュー撮影の動作タイミングチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１５】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、撮像素子１００は、撮影光学系１３０により結像された被写体像を電気信号に変換する。撮像素子１００は後述するＣＰＵ１０３等によって制御され、静止画または動画のための画像信号を取得する。アナログフロントエンド（ＡＦＥ）１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応したデジタル変換を行う。タイミング動作ジェネレータ（ＴＧ）１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２が配置されているが、これらは撮像素子に内蔵される構成であってもかまわない。
【００１６】
ＲＡＭ１０６は、ＡＦＥ１０１においてデジタル信号に変換された画像データや、後述する画像処理部１０８で処理された画像データを記憶する機能と、後述するＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。ＲＯＭ１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムを格納する。ここで、本実施形態では、Ｆｌａｓｈ−ＲＯＭを用いるが、これは一例であり、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。
【００１７】
ＣＰＵ１０３は、撮像装置を統括的に制御する。上述のように、ＣＰＵ１０３は撮像素子１００の各部を制御するためのプログラムを実行する。画像処理部１０８は、撮影された静止画または動画の補正・圧縮等の処理を行う。また、画像処理部１０８は、後述するＢ像データの生成機能や、静止画像、動画像の生成機能を備える。
【００１８】
オートフォーカス演算部（ＡＦ演算部）１０９は、焦点合わせ（ＡＦ）のために、焦点検出用データを用いて焦点検出を行う。フラッシュメモリ１１０は、静止画データ及び動画データを記録するための、着脱可能なメモリである。本実施形態では、記録媒体としてフラッシュメモリを用いているが、その他のデータ書き込み可能な不揮発性メモリ、ハードディスク等を用いてもよい。また、これらの記録媒体を内蔵した形態でもよい。操作部１０４は、撮影命令や撮影条件等の設定をＣＰＵ１０３に対して行う。表示部１０５は、撮影した静止画像や動画像およびメニュー等の表示を行う。
【００１９】
第１レンズ群１１６は、撮影光学系１３０の先端に配置され、光軸方向に進退可能に保持される。絞り１１７は、その開口径を調節することで撮影時の光量を調節する。第２レンズ群１１８は、絞り１１７と一体となって光軸方向に進退し、第１レンズ群１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ群（フォーカスレンズ）１１９は、光軸方向に進退することにより、撮影光学系１３０の焦点を調節する。
【００２０】
フォーカルプレーンシャッタ１１１は、静止画撮影時に露光秒時を調節する。本実施形態では、フォーカルプレーンシャッタ１１１により撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１２は、ＡＦ演算部１０９の出力に基づいてフォーカスアクチュエータ１１４を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口径を制御する。
【００２１】
次に、撮像素子１００の構成と画素信号の読み出し動作について、図２を参照して説明する。図２は、撮像素子１００の構成を示す図である。図２において、撮像素子１００は、画素が二次元的に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直選択回路１００ｄと、画素アレイ１００ａの画素の列を選択する水平選択回路１００ｃとを有する。また、撮像素子１００はさらに、画素アレイ１００ａの画素のうち、垂直選択回路１００ｄ及び水平選択回路１００ｃによって選択された画素の信号を読み出すための読み出し回路１００ｂを備える。垂直選択回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づいたＴＧ１０２から出力される読み出しパルスを、選択行において有効にする。読み出し回路１００ｂは列毎に設けられるとともにアンプとメモリを有し、選択行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平選択回路１００ｃによって列方向に順に選択され、アンプ１００ｅを介して外部に出力される。この動作を行数分繰り返し、全ての画素の信号を外部に出力する。
【００２２】
次に、図３を用いて撮像素子１００の画素構造について説明する。図３（ａ）において、マクロレンズ３００はマイクロレンズアレイを構成する。フォトダイオード（ＰＤ）３０１，３０２，３０３，３０４は光電変換を行う光電変換素子であり、後述するＡ像用光電変換部、Ｂ像用光電変換部、Ｃ像用光電変換部、Ｄ像用光電変換部を構成する。この４つのＰＤは、１つのＰＤが素子分離領域によって分離されて構成されている。また、ＰＤ４つに対して１つのマイクロレンズが上部に配置される。マイクロレンズ３００を共有している撮像領域を１画素とした場合、画素アレイ領域には、この画素が水平方向にｈ画素、垂直方向にｖ画素並んで配置されている。ＰＤ３０１，ＰＤ３０２，ＰＤ３０３，ＰＤ３０４で蓄積された信号は、前述した読み出し動作によって所定の読み出しパターンで外部に出力される。ＰＤ３０１，ＰＤ３０２，ＰＤ３０３，ＰＤ３０４には、後述する瞳分割構成により、互いに視差を持った別々の像が入射される。そして、ここではＰＤ３０１をＡ像用光電変換部、ＰＤ３０２をＢ像用光電変換部、ＰＤ３０３をＣ像用光電変換部、ＰＤ３０４をＤ像用光電変換部とする。
【００２３】
図３（ｂ）は、画素の瞳分割構成を示す図である。ＰＤ全体３１３は、素子分離領域３０９，３１０，３１１，３１２によって、前述したＰＤ３０１，ＰＤ３０２，ＰＤ３０３，ＰＤ３０４に分離されている。ＰＤ３０１，３０２，３０３，３０４の転送ゲート３０５，３０６，３０７，３０８は、画素信号の読み出し時にオン・オフが制御されることにより、ＰＤ３０１〜３０４の電荷をそれぞれ読み出し回路へ転送する。
【００２４】
次に、撮像素子１００の画素信号の読み出しパターンの例を図４に示す。図４（ａ）の読み出しパターンでは、ＰＤ３０１からの映像信号であるＡ像と、ＰＤ３０２からの映像信号であるＢ像と、ＰＤ３０３からの映像信号であるＣ像の３つ（第１の個数）と、ＰＤ３０１，３０２，３０３，３０４の信号を加算した（Ａ＋Ｂ＋Ｃ＋Ｄ）像が読み出される。以降、この読み出し方法を第１の読み出し方法と呼ぶ。なお、ここでは、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を表示用の画像としているが、表示用の画像には、Ａ像、Ｂ像、Ｃ像、Ｄ像の全てを読み出すことが必須ではない。例えば、（Ａ＋Ｂ＋Ｃ）像を表示用の画像としてもよい。この場合には、この（Ａ＋Ｂ＋Ｃ）像と、例えばＡ像、Ｂ像を読み出すことになる。つまり、Ｃ像は単独では読み出されず、Ｄ像は全く読み出されないこととなる。
【００２５】
図４（ｂ）の読み出しパターンでは、ＰＤ３０１，３０３の信号を加算したＡ＋Ｃ像である１つ（第２の個数）の信号と、ＰＤ３０１，３０２，３０３，３０４の信号を加算した（Ａ＋Ｂ＋Ｃ＋Ｄ）像が読み出される。以降、この読み出し方法を第２の読み出し方法と呼ぶ。
【００２６】
図４（ｃ）の読み出しパターンでは、ＰＤ３０１，３０２の信号を加算したＡ＋Ｂ像と、ＰＤ３０１，３０２，３０３，３０４の信号を加算した（Ａ＋Ｂ＋Ｃ＋Ｄ）像が読み出される。以降、この読み出し方法を第３の読み出し方法と呼ぶ。
【００２７】
次に、読み出された画素信号を用いた撮像面位相差ＡＦの手法について説明する。第１の読み出し方法で読み出された画像信号がＲＡＭ１０６に展開されていた場合、ＣＰＵ１０３はＲＡＭ１０６に格納されたＡ像、Ｂ像、Ｃ像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を画像処理部１０８に転送する。画像処理部１０８では（Ａ＋Ｂ＋Ｃ＋Ｄ）像からＡ像とＢ像とＣ像を減算してＤ像を生成する。生成されたＡ像、Ｂ像、Ｃ像、Ｄ像はＡＦ演算部１０９に転送され、ＡＦ演算部１０９は各像について相関演算を行う。Ａ像とＢ像、もしくはＣ像とＤ像の組み合わせ（グループ）からは左右方向の相関演算結果が取得出来る。Ａ像とＣ像、もしくはＢ像とＤ像の組み合わせ（グループ）からは上下方向の相関演算結果が取得できる。Ａ像とＤ像、もしくはＢ像とＣ像の組み合わせからは、斜め方向の相関演算が取得できる。
【００２８】
第２の読み出し方法で読み出された画像信号がＲＡＭ１０６に展開されていた場合、ＣＰＵ１０３はＲＡＭ１０６に格納された（Ａ＋Ｃ）像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を画像処理部１０８に転送する。画像処理部１０８では（Ａ＋Ｂ＋Ｃ＋Ｄ）像から（Ａ＋Ｃ）像を減算して（Ｂ＋Ｄ）像を生成する。生成された（Ａ＋Ｃ）像と（Ｂ＋Ｄ）像はＡＦ演算部１０９に転送され、ＡＦ演算部１０９は各像について相関演算を行う。（Ａ＋Ｃ）像と（Ｂ＋Ｄ）像の組み合わせからは横方向の相関演算結果が取得できる。
【００２９】
第３の読み出し方法で読み出された画像信号がＲＡＭ１０６に展開されていた場合、ＣＰＵ１０３はＲＡＭ１０６に格納された（Ａ＋Ｂ）像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を画像処理部１０８に転送する。画像処理部１０８では（Ａ＋Ｂ＋Ｃ＋Ｄ）像から（Ａ＋Ｂ）像を減算して（Ｃ＋Ｄ）像を生成する。生成された（Ａ＋Ｂ）像と（Ｃ＋Ｄ）像はＡＦ演算部１０９に転送され、ＡＦ演算部１０９は各像について相関演算を行う。（Ａ＋Ｂ）像と（Ｃ＋Ｄ）像の組み合わせからは上下方向の相関演算結果が取得できる。
【００３０】
ＣＰＵ１０３は相関演算結果に基づいて算出された像ずれ量を用いて、フォーカス駆動距離（第３レンズ群１１９の駆動距離）を算出し、フォーカス駆動回路１１２に送信する。フォーカス駆動回路１１２はフォーカス駆動距離に基づいてフォーカスアクチュエータ１１４を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行う。
【００３１】
次に、本実施形態における撮像面位相差ＡＦの動作について説明する。図５は、本実施形態におけるライブビュー動作時の撮像面位相差ＡＦの動作を示すフローチャートである。図６は、その時のタイミングチャートである。
【００３２】
まず、Ｓ５０１では、撮像素子１００の露光を行い、電荷の蓄積を行う。露光は、ＣＰＵ１０３がフォーカルプレーンシャッタ１１１を開状態のままにすることで行う。ＴＧ１０２により電荷リセットのタイミングと読み出し開始のタイミングを制御し、その間の期間だけ電荷の蓄積を行う。光量は絞りアクチュエータ１１５により制御される。
【００３３】
Ｓ５０２では、第１の読み出し方法により、Ａ像、Ｂ像、Ｃ像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を読み出し、それぞれＲＡＭ１０６に展開する。これは、図６の６０２で示すタイミングで行われる。Ｓ５０３では、ライブビュー画像を表示する。Ｓ５０２で読み出された（Ａ＋Ｂ＋Ｃ＋Ｄ）像を表示部１０５に表示する。
【００３４】
Ｓ５０４では、Ｓ５０２で読み出した画像信号を用いて、前述した撮像面位相差ＡＦの手法により、上下方向・左右方向・斜め方向の相関演算結果からフォーカス駆動距離を算出する。これは、図６の６０３で示すタイミングで行われる。
【００３５】
Ｓ５０５では、ＣＰＵ１０３が、操作部１０４で合焦開始操作がなされたか否かを判定する。本実施形態では、判定条件を合焦開始操作の有無としたが、合焦開始操作以外で判断しても構わない。Ｓ５０５で合焦開始操作がなされていた場合はＳ５０６に進む。合焦開始操作がなされていない場合はＳ５０１に戻り、ライブビュー撮影と撮像面位相差ＡＦを継続する。
【００３６】
Ｓ５０１〜Ｓ５０５では、図６の６０１で示すタイミングを開始タイミングとして、６０４で示すタイミングに至るまでの動作が繰り返し実行される。この繰り返しの間は、６０２で示すタイミングで読み出されたＡ像、Ｂ像、Ｃ像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を用いて、６０３で示すタイミングで、上下方向、左右方向、斜め方向の相関演算が繰り返し行われる。
【００３７】
Ｓ５０６では、Ｓ５０４で算出されたフォーカス駆動距離を用いて焦点調節を開始する。これにより、第３レンズ群１１９の進退駆動が始まる。Ｓ５０７では、ＴＧ１０２のタイミングを高速フレームレートのタイミングへ変更する。ここで、高速フレームレートに変更するのは、焦点検出のための信号の単位時間あたりのサンプリング回数を多くし、高速にＡＦを行うためである。そして、フレームレートを高速フレームレートに変更する場合、読み出し方法を、第１の読み出し方法から第１の読み出し方法よりも読み出し時間の短い第２の読み出し方法に変更する。
【００３８】
例として、フレームレートの変更前の第１の読み出し方法における各信号の読み出し時間が以下のような場合について説明する。
【００３９】
Ａ像⇒８ｍｓ、Ｂ像⇒８ｍｓ、Ｃ像⇒８ｍｓ
（Ａ＋Ｂ＋Ｃ＋Ｄ）像⇒８ｍｓ
上記のそれぞれの画像信号を撮像素子１００の全領域で読み出した場合、８ｍｓ＋８ｍｓ＋８ｍｓ＋８ｍｓの合計３２ｍｓの読み出し時間がかかる。この場合、１フレームの処理時間がこの時間よりも短くなるようなフレームレートに設定することは出来ない。本実施形態では、変更前のフレームレートを３０ｆｐｓ（１フレームの処理時間が約３３．３ｍｓ）とする。次に、画素信号の読み出し方法を第１の読み出し方法から第２の読み出し方法に変更して、高速フレームレートとすると、変更後の画像信号の読み出し時間は、次のようになる。
【００４０】
（Ａ＋Ｃ）像⇒８ｍｓ
（Ａ＋Ｂ＋Ｃ＋Ｄ）像⇒８ｍｓ
そのため、１フレームの読み出しに係る時間は、８ｍｓ＋８ｍｓ＝１６ｍｓとなる。本実施形態では、変更後の高速フレームレートを６０ｆｐｓ（１フレームの処理時間が約１６．６ｍｓ）とする。Ｓ５０６、Ｓ５０７における処理は、図６の６０４で示すタイミングで実行される。
【００４１】
Ｓ５０８では、Ｓ５０７で設定されたフレームレートに基づき撮像素子１００の電荷の蓄積を行う。Ｓ５０９では、第２の読み出し方法に従って（Ａ＋Ｃ）像と（Ａ＋Ｂ＋Ｃ＋Ｄ）像がそれぞれＲＡＭ１０６に展開される。これは、図６の６０５で示すタイミングで実行される。Ｓ５１０では、Ｓ５０９で読み出された（Ａ＋Ｂ＋Ｃ＋Ｄ）像を表示部１０５に表示する。
【００４２】
Ｓ５１１では、Ｓ５０９で読み出した視差のある画像信号を用いて、前述した撮像面位相差ＡＦの手法で横方向の相関演算を行い、フォーカス駆動距離（レンズ駆動量）を算出する。この処理は、図６の６０６で示すタイミングで実行される。
【００４３】
Ｓ５１２では、Ｓ５１１で算出したフォーカス駆動距離を用いて、進退駆動中の第３レンズ群１１９の駆動完了位置を修正することで焦点調節を行う。これは、図６の６０７で示すタイミングで実行される。Ｓ５１３では、ＣＰＵ１０３が合焦判定を行う。本実施形態では、第３レンズ群１１９の駆動の完了を判定条件とするが、その他の条件で判断しても構わない。Ｓ５１３において合焦判定が終了している場合は、Ｓ５１４に進む。合焦判定が終了してない場合はＳ５０８へ戻り、高速フレームレートでのライブビュー撮影と撮像面位相差ＡＦを継続する。
【００４４】
Ｓ５０８〜Ｓ５１３では、図６の６０４で示すタイミングを開始タイミングとして、６０８で示すタイミングに至るまでの動作が繰り返し実行される。この間は、６０５で示すタイミングで読み出された（Ａ＋Ｃ）像と（Ａ＋Ｂ＋Ｃ＋Ｄ）像を用いて、６０６で示すタイミングで横方向の相関演算のみが実行される。６０３で示すタイミングとは異なり、上下方向と斜め方向の相関演算結果は取得出来ない。ただし、６０７で示すタイミングでレンズ駆動目標の修正を高速に行っているため、左右方向で像ずれ量が検出可能な動きのある被写体に対しての合焦精度は向上する。
【００４５】
Ｓ５１４では、Ｓ５０７で変更されたフレームレート（６０ｆｐｓ）を変更前のフレームレート（３０ｆｐｓ）に戻す。Ｓ５１５では、ＣＰＵ１０３が操作部１０４で撮影終了操作がなされたか否かを判定する。本実施形態では、撮影終了の判定条件を撮影終了操作としたが、撮影終了操作以外の条件で判断しても構わない。撮影終了操作がなされていた場合はライブビュー撮影を終了する。撮影終了操作がなされていない場合は、Ｓ５０１に戻りライブビュー撮影と撮像面位相差ＡＦを継続する。Ｓ５１４およびＳ５１５の動作は、図６の６０８で示すタイミングで実行される。
【００４６】
第１の実施形態では、ライブビューの開始から合焦開始までの間は、上下方向・左右方向・斜め方向の相関演算結果が取得可能な第１の読み出し方法を実施する。合焦開始から合焦終了までの間は、左右方向の相関演算結果が取得可能で、より高速なフレームレートを設定可能な第２の読み出し方法に切り替える。上記の例では、第２の読み出し方法では、左右方向の相関演算のみを挙げているが、その代わりに、上下方向の相関演算結果が取得可能な第３の読み出し方法（Ａ＋Ｂ）像と（Ａ＋Ｂ＋Ｃ＋Ｄ）像）としてもよい。
【００４７】
以上説明したように、本実施形態によれば、瞳分割数が増加して画素信号の数が増えても、読み出しデータ量を抑制して高速なフレームレートを設定することで、相関演算結果を高速に取得でき、動く被写体への合焦精度低下を抑制することができる。また、レンズ駆動目標の修正を高速に行えるため、最終合焦までの速度低下を抑制しながら撮像面位相差ＡＦを高精度に行うことができる。
【００４８】
＜第２の実施形態＞
以下、本発明の第２の実施形態における撮像面位相差ＡＦの動作について説明する。図７は、第２の実施形態におけるライブビュー時の撮像面位相差ＡＦの動作を示すフローチャートである。図８は、その時のタイミングチャートである。
【００４９】
Ｓ７０１では、撮像素子１００の露光を行い、電荷の蓄積を行う。露光は、ＣＰＵ１０３がフォーカルプレーンシャッタ１１１を開状態のままにすることで行う。ＴＧ１０２により電荷リセットのタイミングと読み出し開始のタイミングを制御し、その間の期間だけ電荷の蓄積を行う。光量は絞りアクチュエータ１１５により制御される。
【００５０】
Ｓ７０２では、第１の読み出し方法により、Ａ像、Ｂ像、Ｃ像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を読み出し、それぞれＲＡＭ１０６に展開する。これは、図８の８０２で示すタイミングで行われる。Ｓ７０３では、ライブビュー画像を表示する。Ｓ７０２で読み出された（Ａ＋Ｂ＋Ｃ＋Ｄ）像を表示部１０５に表示する。
【００５１】
Ｓ７０４では、Ｓ７０２で読み出した画像信号を用いて、前述した撮像面位相差ＡＦの手法により、上下方向・左右方向・斜め方向の相関演算結果からフォーカス駆動距離を算出する。これは、図８の８０３で示したタイミングで行われる。
【００５２】
Ｓ７０５では、ＣＰＵ１０３が操作部１０４で合焦開始操作がなされたか否かを判定する。本実施形態では、判定条件を合焦開始操作としたが、合焦開始操作以外の条件で判定しても構わない。Ｓ７０５において合焦開始操作がなされていた場合はＳ７０６に進む。合焦開始操作がなされていない場合はＳ７０１に戻り、ライブビュー撮影と撮像面位相差ＡＦを継続する。
【００５３】
Ｓ７０１〜Ｓ７０５では、図８の８０１で示すタイミングを開始タイミングとして、８０４で示すタイミングに至るまでの動作が繰り返し実行される。この繰り返しの間は、Ａ像、Ｂ像、Ｃ像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を用いて、上下方向、左右方向、斜め方向の相関演算が繰り返し行われる。
【００５４】
Ｓ７０６では、Ｓ７０４で算出されたフォーカス駆動距離を用いて焦点調節を開始する。これにより、第３レンズ群１１９の進退駆動がはじまる。これは、図８の８０５で示すタイミングで実行される。
【００５５】
Ｓ７０７では、ＣＰＵ１０３が、Ｓ７０４で算出した相関演算の結果に基づいて、レンズ駆動後の撮像面位相差ＡＦで、斜め方向の相関演算結果を用いるか否かを判断する。例として、上下方向・左右方向の相関演算結果では像ずれ量の算出が正しく行えず、斜め方向の相関演算結果でのみ像ずれ量の算出が出来る場合などが挙げられるが、それ以外にも様々な条件を設定して構わない。斜め方向の相関演算結果を利用する場合はＳ７０８に進み、利用しない場合はＳ７１５に進む。Ｓ７０６及びＳ７０７は図８の８０４で示すタイミングで一度だけ実行される。
【００５６】
Ｓ７０８では、Ｓ７０１と同様の蓄積処理を行う。Ｓ７０９では、Ｓ７０２と同様の読み出し処理を行う。これは、図８の８０５で示すタイミングで行われる。Ｓ７１０では、Ｓ７０３と同様のライブビュー画像表示処理を行う。Ｓ７１１では、Ｓ７０９で読み出した画像信号を用いて、前述した撮像面位相差ＡＦの手法を用いて斜め方向の相関演算を行い、フォーカス駆動距離を算出する。これは、図８の８０６で示したタイミングで行われる。
【００５７】
Ｓ７１２では、Ｓ７１１で算出したフォーカス駆動距離を用いて、進退駆動中の第３レンズ群１１９の駆動完了位置を修正することで焦点調節を行う。これは、図８の８０７で示すタイミングで行われる。Ｓ７１３では、ＣＰＵ１０３が合焦判定を行う。本実施形態では第３レンズ群１１９の駆動の完了を判定条件とするが、それ以外の条件で判定しても構わない。Ｓ７１３において合焦判定が終了している場合はＳ７１４に進む。合焦判定が終了してない場合は、Ｓ７０８へ戻り、ライブビュー撮影と撮像面位相差ＡＦを継続する。
【００５８】
Ｓ７０８〜Ｓ７１３では、図８の８０４で示すタイミングを開始タイミングとして、８０８で示すタイミングに至るまでの動作が繰り返し実行される。この間は、８０５で示すタイミングで読み出されたＡ像、Ｂ像、Ｃ像、（Ａ＋Ｂ＋Ｃ＋Ｄ）像を用いて、８０６で示すタイミングで、上下方向、左右方向、斜め方向の相関演算結果が繰り返し実行される。第１の読み出し方法を実行するため、斜め方向の相関演算結果を用いて合焦させることが出来る。
【００５９】
Ｓ７１４では、ＣＰＵ１０３が操作部１０４で撮影終了操作がなされたか否かの判定を行う。本実施形態では、判定条件を撮影終了操作としたが、撮影終了操作以外にも様々な条件を設定して構わない。Ｓ７１４において撮影終了操作がなされていた場合はライブビュー撮影を終了する。撮影終了操作がなされていない場合はＳ７０１に戻り、ライブビュー撮影と撮像面位相差ＡＦを継続する。これは、図８の８０８で示すタイミングで実行される。
【００６０】
Ｓ７１５では、図５のＳ５０７と同様の処理を行って、フレームレートを３０ｆｐｓから６０ｆｐｓの高速フレームレートへ変更する。Ｓ７１６では、ＣＰＵ１０３が、Ｓ７０４で算出した相関演算に基づいて、レンズ駆動後の撮像面位相差ＡＦで左右方向の相関演算結果を用いるか否かを判断する。例として、上下方向の相関演算結果では像ずれ量の算出が正しく行えず、左右方向の相関演算結果で像ずれ量の算出が可能な場合などが挙げられるが、それ以外の条件で判定しても構わない。左右方向の相関演算結果を利用する場合はＳ７１７に進み、利用しない場合はＳ７２３に進む。Ｓ７１５及びＳ７１６の動作は、図８の８０４で示すタイミングで実行される。
【００６１】
Ｓ７１７では、Ｓ７１５で設定されたフレームレートに基づき撮像素子１００の電荷の蓄積を行う。Ｓ７１８では、第２の読み出し方法に従って（Ａ＋Ｃ）像と（Ａ＋Ｂ＋Ｃ＋Ｄ）像がそれぞれＲＡＭ１０６に展開される。これは、図８の８０９で示すタイミングで実行される。Ｓ７１９では、Ｓ７１８で読み出された（Ａ＋Ｂ＋Ｃ＋Ｄ）像を表示部１０５に表示する。
【００６２】
Ｓ７２０では、Ｓ７１８で読み出した視差のある画像信号を用いて、前述した撮像面位相差ＡＦの手法で横方向の相関演算を行い、フォーカス駆動距離を算出する。この処理は、図８の８１０で示すタイミングで実行される。
【００６３】
Ｓ７２１では、Ｓ７２０で算出したフォーカス駆動距離を用いて、進退駆動中の第３レンズ群１１９の駆動完了位置を修正することで焦点調節を行う。これは、図８の８１１で示すタイミングで実行される。Ｓ７２２では、ＣＰＵ１０３が合焦判定を行う。本実施形態では、第３レンズ群１１９の駆動の完了を判定条件とするが、それ以外にも様々な条件を設定して構わない。Ｓ７２２において合焦判定が終了している場合はＳ７２５に進む。合焦判定が終了してない場合はＳ７１６へ戻り、高速フレームレートでのライブビュー撮影と撮像面位相差ＡＦを継続する。
【００６４】
Ｓ７１６では、ＣＰＵ１０３は前述のＳ７０４の相関演算結果以外にも、Ｓ７２０で算出した相関演算結果に基づいて、左右方向の相関演算結果を用いるか否かを判断することも可能である。ここでは例として、８１２で示すタイミングで取得した演算結果に基づいて上下方向の相関演算結果を使うように切り替える。
【００６５】
Ｓ７２３では、Ｓ７１５で設定されたフレームレートに基づき撮像素子１００の電荷の蓄積を行う。Ｓ７２４では、第３の読み出し方法にしたがって（Ａ＋Ｂ）像と（Ａ＋Ｂ＋Ｃ＋Ｄ）像がそれぞれＲＡＭ１０６に展開される。これは、図８の８１３で示すタイミングで実行される。
【００６６】
Ｓ７１７〜Ｓ７２４では、図８の８０９で示すタイミングを開始タイミングとして、８１３で示すタイミングに至るまでの動作が繰り返し実行される。この間は、８０９で示すタイミングで読み出された（Ａ＋Ｃ）像と（Ａ＋Ｂ＋Ｃ＋Ｄ）像、もしくは８１３で示すタイミングで読み出された（Ａ＋Ｂ）像と（Ａ＋Ｂ＋Ｃ＋Ｄ）像を用いて、左右方向もしくは上下方向の相関演算が繰り返し実行される。第２の読み出し方法もしくは第３の読み出し方法を実行することで、高速なフレームレート設定が可能になり、レンズ駆動目標の修正を高速に行うことができる。
【００６７】
Ｓ７２５では、Ｓ７１５で変更されたフレームレートを変更前のフレームレートに戻し、Ｓ７１４に進む。これは、図８の８０８で示すタイミングで実行される。
【００６８】
第２の実施形態では、ライブビュー開始から合焦開始までの間、上下方向・左右方向・斜め方向の相関演算結果が取得出来る第１の読み出し方法を用い、そこで得られた相関演算結果に基づいて、合焦開始から合焦終了までの間の読み出し方法を判断する。斜め方向の相関演算結果を用いる場合は、第１の読み出し方法を継続する。上下・左右方向の相関演算結果を用いる場合は、より高速なフレームレート設定が可能な第２の読み出し方法もしくは第３の読み出し方法に切り替える。
【００６９】
以上説明したように、瞳分割数が増加して画素信号の数が増えても、可能な限り読み出しデータ量を抑制して高速なフレームレートを設定することで、相関演算結果を高速に取得でき、動く被写体への合焦精度低下を抑制することができる。また、レンズ駆動目標の修正を高速に行うことができるため、最終合焦までの速度低下を抑制しながら撮像面位相差ＡＦを行うことが出来る。
【００７０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７１】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７２】
１００：撮像素子、１０３：ＣＰＵ、１０４：操作部、１０５：表示部、１０８：画像処理部、１０９：ＡＦ演算部、１１１：シャッタ
【図１】
2018042223.tif 000003
【図２】
2018042223.tif 000004
【図３】
2018042223.tif 000005
【図４】
2018042223.tif 000006
【図５】
2018042223.tif 000007
【図６】
2018042223.tif 000008
【図７】
2018042223.tif 000009
【図８】
2018042223.tif 000010