(57)【要約】【課題】位相差方式の焦点検出性能を確保しながら、ライブビュー表示のための時間も確保することができる焦点検出装置及び焦点検出方法を提供すること。【解決手段】焦点検出装置は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を受光する複数の受光部が配置されている画素部を有する撮像素子２０８を備える。また、焦点検出装置は、表示画素信号に基づいて画像を表示するための処理をする画像処理回路２１４と、焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路２１８とを備える。撮像素子２０８は、第１の瞳分割方向に関する焦点検出画素信号が生成されるように撮像素子２０８を制御する第１の動作と、表示画素信号と第２の瞳分割方向に関する焦点検出画素信号とが生成されるように撮像素子２０８を制御する第２の動作とを繰り返して行う制御回路を備える。【選択図】図１
2019071590.tif 000002
【特許請求の範囲】
【請求項１】
１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有する撮像部と、
前記画素信号に基づいて生成される表示のための表示画素信号に基づいて画像を表示するための処理をする画像処理回路と、
前記画素信号に基づいて生成される焦点検出のための焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路と、
それぞれが前記画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御する制御回路と、
を具備し、
前記制御回路は、前記第１の動作においては前記第１の瞳分割方向に関する前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記第２の動作においては前記表示画素信号と前記第２の瞳分割方向に関する前記焦点検出画素信号とが生成されるように前記撮像部を制御する焦点検出装置。
【請求項２】
前記制御回路は、前記第１の動作においては前記第２の瞳分割方向に分割された前記受光部からの前記画素信号が加算され、前記第２の動作においては前記第１の瞳分割方向に分割された前記受光部からの前記画素信号が加算されるように前記撮像部を制御する請求項１に記載の焦点検出装置。
【請求項３】
前記制御回路は、前記第１の動作では、複数の前記画素部から出力される前記画素信号が前記第１の瞳分割方向については加算されずに、前記第２の瞳分割方向については加算されるように前記撮像部を制御する請求項１又は２に記載の焦点検出装置。
【請求項４】
前記制御回路は、前記第２の動作では、複数の前記画素部から出力される前記画素信号が前記第１の瞳分割方向及び前記第２の瞳分割方向の両方について加算されるように前記撮像部を制御する請求項１又は２に記載の焦点検出装置。
【請求項５】
前記制御回路は、前記第１の動作では、前記第２の瞳分割方向については一部の前記画素信号だけが読み出されるように前記撮像部を制御する請求項１又は２に記載の焦点検出装置。
【請求項６】
前記制御回路は、前記第１の動作に係るフレームレートが所定値よりも高速であるときに、前記第２の瞳分割方向について一部の前記画素信号だけが読み出されるように前記撮像部を制御する請求項５に記載の焦点検出装置。
【請求項７】
１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有する撮像部を用いた焦点検出方法であって、
前記画素信号に基づいて生成される表示のための表示画素信号に基づいて画像を表示するための処理をすることと、
前記画素信号に基づいて生成される焦点検出のための焦点検出画素信号に基づいて焦点検出のための処理をすることと、
それぞれが前記画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御することと、
を具備し、
前記撮像部を制御することは、前記第１の動作において前記第１の瞳分割方向に関する前記焦点検出画素信号が生成されるように前記撮像部を制御することと、前記第２の動作において前記表示画素信号と前記第２の瞳分割方向に関する前記焦点検出画素信号とが生成されるように前記撮像部を制御することとを含む焦点検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出装置及び焦点検出方法に関する。
【背景技術】
【０００２】
従来、撮像素子で生成された画素信号を利用して位相差方式の焦点検出を行う焦点検出装置が知られている。この種の焦点検出装置の中で、ライブビュー表示中にも焦点検出を行うことができるようにする焦点検出装置も知られている。例えば、特許文献１において提案されている撮像装置は、撮像素子上で位相差方式の焦点検出を行うために必要な行の露光時間をその他の行の露光時間と変えることで、画像の生成のために必要な画素信号と位相差方式の焦点検出を行うために必要な画素信号とを生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１６１９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の撮像装置は、撮像素子の行毎に露光時間を変えるものであり、基本的には、水平方向の位相差の検出を前提とした構成である。したがって、特許文献１の撮像装置の手法をそのまま用いても垂直方向の位相差の検出については時間がかかり易い。このため、焦点検出性能の確保のために水平方向と垂直方向の両方で位相差を検出しようとすると、連写中等ではライブビュー表示のための十分な時間を確保できなくなる可能性が生じる。
【０００５】
本発明は、前記の事情に鑑みてなされたものであり、位相差方式の焦点検出性能を確保しながら、ライブビュー表示のための時間も確保することができる焦点検出装置及び焦点検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の焦点検出装置は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有する撮像部と、前記画素信号に基づいて生成される表示のための表示画素信号に基づいて画像を表示するための処理をする画像処理回路と、前記画素信号に基づいて生成される焦点検出のための焦点検出画素信号に基づいて焦点検出のための処理をする焦点検出回路と、それぞれが前記画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御する制御回路とを具備し、前記制御回路は、前記第１の動作においては前記第１の瞳分割方向に関する前記焦点検出画素信号が生成されるように前記撮像部を制御し、前記第２の動作においては前記表示画素信号と前記第２の瞳分割方向に関する前記焦点検出画素信号とが生成されるように前記撮像部を制御する。
【０００７】
前記の目的を達成するために、本発明の第２の態様の焦点検出方法は、１個のマイクロレンズに対して撮像光学系の異なる射出瞳領域を通過するそれぞれの光束を光電変換して画素信号を生成するように第１の瞳分割方向及び前記第１の瞳分割方向と異なる第２の瞳分割方向に分割された複数の受光部が配置されている画素部を有する撮像部を用いた焦点検出方法であって、前記画素信号に基づいて生成される表示のための表示画素信号に基づいて画像を表示するための処理をすることと、前記画素信号に基づいて生成される焦点検出のための焦点検出画素信号に基づいて焦点検出のための処理をすることと、それぞれが前記画素信号の生成と読み出しとを含む第１の動作と第２の動作とを交互に行うように前記撮像部を制御することとを具備し、前記撮像部を制御することは、前記第１の動作において前記第１の瞳分割方向に関する前記焦点検出画素信号が生成されるように前記撮像部を制御することと、前記第２の動作において前記表示画素信号と前記第２の瞳分割方向に関する前記焦点検出画素信号とが生成されるように前記撮像部を制御することとを含む。
【発明の効果】
【０００８】
本発明によれば、位相差方式の焦点検出性能を確保しながら、ライブビュー表示のための時間も確保することができる焦点検出装置及び焦点検出方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の一実施形態に係る焦点検出装置を含む撮像装置の構成の一例を示すブロック図である。
【図２】図２は、一例の撮像素子の構成を示す図である。
【図３】図３は、画素部の詳細な構成を示す図である。
【図４Ａ】図４Ａは、画素を左右開口画素として取り扱うときの画素信号の加算について示した図である。
【図４Ｂ】図４Ｂは、画素を上下開口画素として取り扱うときの画素信号の加算について示した図である。
【図５Ａ】図５Ａは、実施形態に係る撮像装置の動作について示すフローチャートである。
【図５Ｂ】図５Ｂは、実施形態に係る撮像装置の動作について示すフローチャートである。
【図６】図６は、ＡＦ及びＬＶ表示のための撮像と読み出し処理について説明するためのタイミングチャートである。
【図７】図７は、第１の動作における画素加算の設定の例を示す図である。
【図８】図８は、第１の動作によってＤＲＡＭに記憶される画素データを示した図である。
【図９】図９は、第２の動作における画素加算の設定の例を示す図である。
【図１０】図１０は、第２の動作によってＤＲＡＭに記憶される画素データを示した図である。
【図１１】図１１は、ＡＦモードがシングルＡＦモードであるときの撮像装置の動作を示すフローチャートである。
【図１２】図１２は、画素信号の読み出しの変形例を示す図である。
【図１３】図１３は、図１２の読み出しによってＤＲＡＭに記憶される画素データを示した図である。
【図１４Ａ】図１４Ａは、変形例３について説明するための図である。
【図１４Ｂ】図１４Ｂは、変形例３について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の一実施形態に係る焦点検出装置を含む撮像装置の構成の一例を示すブロック図である。なお、図１中において、矢印付き実線はデータの流れを、矢印付き破線は制御信号の流れをそれぞれ示している。
【００１１】
図１に示すように、撮像装置１は、交換式レンズ１００と、カメラ本体２００とを有する。交換式レンズ１００は、カメラ本体２００に着脱できるように構成されている。交換式レンズ１００とカメラ本体２００とは、交換式レンズ１００がカメラ本体２００に装着されたときに、互いに通信できるように接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてもよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。
【００１２】
交換式レンズ１００は、撮像光学系１０２と、駆動部１０４と、レンズＣＰＵ１０６と、レンズ側記憶部１０８とを備える。ここで、交換式レンズ１００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、交換式レンズ１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【００１３】
撮像光学系１０２は、被写体からの光束をカメラ本体２００の撮像素子２０８に結像させるための光学系である。撮像光学系１０２は、フォーカスレンズ１０２１と、絞り１０２２とを有する。フォーカスレンズ１０２１は、光軸方向に移動することによって、撮像光学系１０２の焦点位置を調節できるように構成されている。
【００１４】
絞り１０２２は、フォーカスレンズ１０２１の光軸上に配置される。絞り１０２２の口径は可変である。絞り１０２２は、フォーカスレンズ１０２１を通過して撮像素子２０８に入射する被写体からの光束の量を調節する。駆動部１０４は、レンズＣＰＵ１０６から出力される制御信号に基づいて、フォーカスレンズ１０２１と絞り１０２２とを駆動する。ここで、撮像光学系１０２は、ズームレンズとして構成されていてもよい。この場合、駆動部１０４はズーム駆動も行う。
【００１５】
レンズＣＰＵ１０６は、インターフェイス（Ｉ／Ｆ）１１０を介してカメラ本体２００のＣＰＵ２１２との間で通信できるように構成されている。レンズＣＰＵ１０６は、カメラ本体２００のＣＰＵ２１２の制御に従って駆動部１０４を制御する。また、レンズＣＰＵ１０６は、Ｉ／Ｆ１１０を介して絞り１０２２の絞り値（Ｆ値）及びレンズ側記憶部１０８に記憶されているレンズ情報といった情報をＣＰＵ２１２に送信する。なお、レンズＣＰＵ１０６は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、レンズＣＰＵ１０６と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、レンズＣＰＵ１０６と同様の機能は、ソフトウェアによって実現されてもよい。
【００１６】
レンズ側記憶部１０８は、交換式レンズ１００に関するレンズ情報を記憶している。レンズ情報は、例えば撮像光学系１０２の焦点距離の情報や収差の情報を含む。
【００１７】
カメラ本体２００は、メカシャッター２０２と、駆動部２０４と、操作部２０６と、撮像素子２０８と、手振れ補正回路２１０と、ＣＰＵ２１２と、画像処理回路２１４と、画像圧縮展開部２１６と、焦点検出回路２１８と、露出制御回路２２０と、表示部２２２と、バス２２４と、ＤＲＡＭ２２６と、本体側記憶部２２８と、記録媒体２３０とを有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【００１８】
メカシャッター２０２は、開閉自在に構成され、撮像素子２０８への被写体からの光束の入射時間（撮像素子２０８の露光時間）を調節する。メカシャッター２０２としては、例えばフォーカルプレーンシャッターが採用される。駆動部２０４は、ＣＰＵ２１２からの制御信号に基づいてメカシャッター２０２を駆動する。
【００１９】
操作部２０６は、電源ボタン、レリーズボタン、動画ボタン、再生ボタン、メニューボタンといった各種の操作ボタン及びタッチパネル等の各種の操作部材を含む。この操作部２０６は、各種の操作部材の操作状態を検知し、検知結果を示す信号をＣＰＵ２１２に出力する。
【００２０】
撮像素子２０８は、撮像光学系１０２の光軸上であって、メカシャッター２０２の後方で、かつ、撮像光学系１０２によって被写体からの光束が結像される位置に配置されている。撮像素子２０８は、被写体を撮像して被写体に係る画素信号を生成する。撮像素子２０８については後で詳しく説明する。
【００２１】
手振れ補正回路２１０は、カメラ本体２００に発生した手振れが抑制されるように、撮像素子２０８をその受光面と平行な方向に移動させる。手振れに従って撮像素子２０８が移動されることにより、手振れに起因して画像データに発生する被写体像のぶれが抑制される。なお、手振れ補正回路は、交換式レンズ１００に設けられていてもよい。この場合の手振れ補正回路は、撮像光学系１０２に含まれる手振れ補正光学系を移動させるように構成される。
【００２２】
ＣＰＵ２１２は、本体側記憶部２２８に記憶されているプログラムに従ってカメラ本体２００の全体制御を行う。ＣＰＵ２１２は、例えば撮像素子２０８による撮像を制御する。また、ＣＰＵ２１２は、焦点検出回路２１８によって検出されたフォーカスレンズ１０２１の焦点状態に応じて、フォーカスレンズ１０２１を駆動するための制御信号をレンズＣＰＵ１０６に対して出力する。また、ＣＰＵ２１２は、露出制御回路２２０によって算出された露出設定値をレンズＣＰＵ１０６及び撮像素子２０８に対して出力する。ここで、ＣＰＵ２１２は、必ずしもＣＰＵとして構成されていなくてもよい。すなわち、ＣＰＵ２１２と同様の機能は、ＡＳＩＣ、ＦＰＧＡ等によって実現されてもよい。また、ＣＰＵ２１２と同様の機能は、ソフトウェアによって実現されてもよい。
【００２３】
画像処理回路２１４は、画素データに対して各種の画像処理を施す。例えば画像処理回路２１４は、静止画撮影の際には、静止画記録用の画像処理を施して静止画データを生成する。同様に、画像処理回路２１４は、動画撮影の際には、動画記録用の画像処理を施して動画データを生成する。さらに、画像処理回路２１４は、ライブビュー表示時には、表示用の画像処理を施して表示画像データを生成する。
【００２４】
画像圧縮展開部２１６は、画像データの記録時には、画像処理回路２１４で生成された画像データ（静止画データ又は動画データ）を圧縮する。また、画像データの再生時には、記録媒体２３０に圧縮状態で記録された画像データを伸張する。
【００２５】
焦点検出回路２１８は、撮像素子２０８から出力される焦点検出画素データを用いた公知の位相差方式によってフォーカスレンズ１０２１の焦点検出を行う。
【００２６】
測光部としての露出制御回路２２０は、撮像素子２０８の画素データに基づいて露出設定値を算出する。この露出制御回路２２０は、撮像素子２０８の画素データから被写体輝度を測定し、測定した被写体輝度から撮影時の被写体の輝度を適正値にするために必要な露出設定値を算出する。露出設定値は、絞り１０２２の開口量（絞り値）、撮像素子２０８の露光時間（シャッタースピード）を含む。
【００２７】
表示部２２２は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ本体２００の背面に配置される。この表示部２２２は、ＣＰＵ２１２の制御に従って画像を表示する。表示部２２２は、ライブビュー表示や記録済み画像の表示等に使用される。
【００２８】
バス２２４は、撮像素子２０８、ＣＰＵ２１２、画像処理回路２１４、画像圧縮展開部２１６、焦点検出回路２１８、露出制御回路２２０、表示部２２２、ＤＲＡＭ２２６、本体側記憶部２２８、記録媒体２３０に接続され、これらのブロックで発生した各種のデータを転送するための転送路として動作する。
【００２９】
ＤＲＡＭ２２６は、電気的に書き換えできるメモリであり、撮像素子２０８から出力される画素データ、静止画データ、動画データ、表示画像データ、ＣＰＵ２１２における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＳＤＲＡＭが用いられてもよい。
【００３０】
本体側記憶部２２８は、ＣＰＵ２１２で使用されるプログラム、カメラ本体２００の調整値等の各種データを記憶している。記録媒体２３０は、カメラ本体２００に内蔵されるか又は装填されるように構成されており、記録用の画像データを所定の形式の画像ファイルとして記録する。なお、ＤＲＡＭ２２６、本体側記憶部２２８及び記録媒体２３０は、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。
【００３１】
次に、撮像素子２０８について説明する。図２は、一例の撮像素子２０８の構成を示す図である。図２に示すように、撮像素子２０８は、入力回路３０１と、制御回路３０２と、画素部３０３と、垂直走査回路３０４と、アナログ処理回路３０５と、アナログデジタル変換（ＡＤＣ）処理回路３０６と、メモリ回路３０７と、水平走査回路３０８と、出力回路３０９とを有する。ここで、本実施形態における撮像部は、画素部３０３を有して構成されている。撮像部は、垂直走査回路３０４、アナログ処理回路３０５、ＡＤＣ処理回路３０６、メモリ回路３０７をさらに有していてもよい。また、アナログ処理回路３０５及びＡＤＣ処理回路３０６は、撮像素子２０８の外部に設けられていてもよい。
【００３２】
入力回路３０１は、ＣＰＵ２１２から撮像素子２０８の動作に係る制御信号を受け取って、制御回路３０２に入力する。この動作に係る制御信号は、同期信号（垂直同期信号及び水平同期信号）及び基準クロック並びに撮像素子２０８の動作設定の信号を含む。
【００３３】
制御回路３０２は、例えばＣＰＵ又はＡＳＩＣによって構成され、入力回路３０１から入力された制御信号に基づいて撮像素子２０８の各部の動作を制御する。
【００３４】
画素部３０３は、２次元状に複数配置され、入射光を光電変換して画素信号を生成する。図３は、画素部３０３の詳細な構成を示す図である。ここで、図３の左側は画素部３０３を正面から見た図を示し、図３の右側は画素部３０３を側面から見た図を示している。図３に示すように、画素部３０３は、マイクロレンズ３０３ａと、カラーフィルタ３０３ｂと、画素３０３ｃとを有している。
【００３５】
マイクロレンズ３０３ａは、撮像光学系１０２を通過した光束を対応する画素３０３ｃの受光部に集光させる。後で説明するように、１個の画素３０３ｃは、水平２個×垂直２個に瞳分割された４個の受光部によって構成されている。マイクロレンズ３０３ａは、撮像光学系１０２の異なる射出瞳領域を通過した光束を異なる受光部に集光させる。
【００３６】
カラーフィルタ３０３ｂは、例えば原色系のベイヤ配列のカラーフィルタである。原色系のベイヤ配列は、赤（Ｒ）フィルタ及び緑（Ｇｒ）フィルタを交互に配列した行と、青（Ｂ）フィルタ及び緑（Ｇｂ）フィルタを交互に配列した行とを列方向に交互に配置した配列である。図３に示すように、カラーフィルタ３０３ｂの１色は、１個の画素３０３ｃと対応している。したがって、画素３０３ｃを構成する４個の受光部には同じ色の光が入射する。なお、カラーフィルタ３０３ｂは、必ずしも原色系のベイヤ配列のカラーフィルタでなくてもよい。
【００３７】
画素３０３ｃは、第１の瞳分割方向である水平方向と第２の瞳分割方向である垂直方向とのそれぞれに分割して配置された４個の受光部ｌｔ、ｒｔ、ｌｂ、ｒｂによって構成されている。図では、「ｌｔ」、「ｒｔ」、「ｌｂ」、「ｒｂ」の表記は、カラーフィルタの色を表す「Ｒ」、「Ｇｒ」、「Ｇｂ」、「Ｂ」に添えて記されている。受光部ｌｔ、ｒｔ、ｌｂ、ｒｂは、被写体の同一の部分から射出された光束を受光する。受光部ｌｔ、ｒｔ、ｌｂ、ｒｂのそれぞれは例えばフォトダイオードによって構成され、受光した光束に応じて蓄積された電荷に基づく画素信号を出力する。ここで、受光部ｌｔは、射出された光束のうち、撮像光学系１０２の右下の射出瞳領域を通過した光束を受光する。受光部ｒｔは、射出された光束のうち、撮像光学系１０２の左下の射出瞳領域を通過した光束を受光する。受光部ｌｂは、射出された光束のうち、撮像光学系１０２の右上の射出瞳領域を通過した光束を受光する。受光部ｒｂは、射出された光束のうち、撮像光学系１０２の左上の射出瞳領域を通過した光束を受光する。
【００３８】
画素３０３ｃが４個の受光部ｌｔ、ｒｔ、ｌｂ、ｒｂに分割されている構造により、画素３０３ｃを位相差検出のための左右開口画素と上下開口画素の何れとしても扱うことができる。左右開口画素とは、撮像光学系の左側の射出瞳領域を通過した光束を受光する画素と撮像光学系の右側の射出瞳領域を通過した光束を受光する画素との対である。上下開口画素とは、撮像光学系の上側の射出瞳領域を通過した光束を受光する画素と撮像光学系の下側の射出瞳領域を通過した光束を受光する画素との対である。画素３０３ｃを左右開口画素と上下開口画素の何れとして扱うかは、制御回路３０２からの制御信号によって切り替えられる。
【００３９】
画素３０３ｃが左右開口画素として取り扱われるときには、制御回路３０２は、図４Ａの左側で示すようにして左半分の受光部である受光部ｌｔ（Ｒｌｔ、Ｇｒｌｔ、Ｇｂｌｔ、Ｂｌｔ）の画素信号と受光部ｌｂ（Ｒｌｂ、Ｇｒｌｂ、Ｇｂｌｂ、Ｂｌｂ）の画素信号とを加算（混合）して出力させるとともに、右半分の受光部である受光部ｒｔ（Ｒｒｔ、Ｇｒｒｔ、Ｇｂｒｔ、Ｂｒｔ）の画素信号と受光部ｒｂ（Ｒｒｂ、Ｇｒｒｂ、Ｇｂｒｂ、Ｂｒｂ）の画素信号とを加算して出力させる。これにより、図４Ａの右側で示すようにして、撮像光学系の右側の射出瞳領域を通過した光束の情報を有する左開口画素信号ｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と撮像光学系の左側の射出瞳領域を通過した光束の情報を有する右開口画素信号ｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）とがそれぞれ出力される。
【００４０】
画素３０３ｃが上下開口画素として取り扱われるときには、制御回路３０２は、図４Ｂの左側で示すようにして上半分の受光部である受光部ｌｔ（Ｒｌｔ、Ｇｒｌｔ、Ｇｂｌｔ、Ｂｌｔ）の画素信号と受光部ｒｔ（Ｒｒｔ、Ｇｒｒｔ、Ｇｂｒｔ、Ｂｒｔ）の画素信号とを加算（混合）して出力させるとともに、下半分の受光部である受光部ｌｂ（Ｒｌｂ、Ｇｒｌｂ、Ｇｂｌｂ、Ｂｌｂ）の画素信号と受光部ｒｂ（Ｒｒｂ、Ｇｒｒｂ、Ｇｂｒｂ、Ｂｒｂ）の画素信号とを加算して出力させる。これにより、図４Ｂの右側で示すようにして、撮像光学系の下側の射出瞳領域を通過した光束の情報を有する上開口画素信号ｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と撮像光学系の上側の射出瞳領域を通過した光束の情報を有する下開口画素信号ｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とがそれぞれ出力される。
【００４１】
さらに、本実施形態の画素部３０３は、異なる画素部３０３の間でも画素信号を加算して出力できるようにも構成されていてよい。例えば、画素部３０３は、水平方向又は垂直方向に存在する複数の左開口画素同士又は右開口同士の画素信号を加算して出力したり、水平方向又は垂直方向に存在する複数の上開口同士又は下開口画素同士の画素信号を加算して出力したりするように構成されていてもよい。画素信号の加算数は、例えば制御回路３０２によって設定される。画素信号を加算してから読み出すことにより、読み出し時間を短縮することができる。なお、読み出し時間に余裕があるときには、画素部３０３の間での画素信号の加算は行われなくてもよい。
【００４２】
垂直走査回路３０４は、制御回路３０２からの制御信号としての蓄積開始信号を受ける毎に１行ずつ画素部３０３の画素３０３ｃに蓄積された電荷をリセットしてから画素部３０３における電荷の蓄積を開始させる。また、垂直走査回路３０４は、制御回路３０２からの制御信号としての蓄積終了信号を受ける毎に１行ずつ画素部３０３の画素３０３ｃにおける電荷の蓄積を終了させ、蓄積された電荷を画素信号としてアナログ処理回路３０５に転送させる。
【００４３】
アナログ処理回路３０５は、画素部３０３から順次に転送された画素信号に対してアナログ処理をする。アナログ処理回路３０５は、例えば、画素信号をアナログ的に増幅するプリアンプ、画素信号からリセットノイズを除去する相関二重サンプリング（ＣＤＳ）処理回路等を含む。
【００４４】
ＡＤＣ処理回路３０６は、制御回路３０２からの制御信号に従ってアナログ処理回路３０５から出力された画素信号をデジタル信号である画素データに変換する。このＡＤＣ処理回路３０６は、例えばカラム型ＡＤＣ処理回路として構成されている。
【００４５】
メモリ回路３０７は、制御回路３０２からの制御信号に従ってＡＤＣ処理回路３０６から出力された画素データを一時的に記憶する。メモリ回路３０７は、揮発性メモリ等で構成されている。メモリ回路３０７は、画素データのデジタル加算を行うように構成されていてもよい。この場合、メモリ回路３０７は、ＡＤＣ処理回路３０６から出力される画素データの加算値を記憶するように構成される。
【００４６】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。
【００４７】
出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成する。また、出力回路３０９は、画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。
【００４８】
以下、本実施形態に係る撮像装置１の動作を説明する。図５Ａ及び図５Ｂは、本実施形態に係る撮像装置の動作について示すフローチャートである。ここで、図５Ａ及び図５Ｂは、撮像装置１のＡＦモードがコンティニュアスＡＦモードであるときの動作を示している。コンティニュアスＡＦモードは、動く被写体に対して適したＡＦモードであり、被写体に追従するようにピント合わせを続けるＡＦモードである。
【００４９】
図５Ａ及び図５Ｂの動作は、ユーザによる撮像装置１の電源のオン操作が検出されたときに開始される。電源のオン操作が検出されると、ステップＳ１０１において、ＣＰＵ２１２は、レリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。１ｓｔレリーズスイッチは、例えばユーザによるレリーズボタンの半押し操作に応答してオンの状態となるスイッチである。ステップＳ１０１において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０１において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１０２に移行する。
【００５０】
ステップＳ１０２において、ＣＰＵ２１２は、ライブビュー（ＬＶ）表示のための表示画素データの取り込みを行う。このとき、ＣＰＵ２１２は、メカシャッター２０２を全開状態とするように駆動部２０４に対して制御信号を出力するとともに、絞り１０２２を所定量（例えば開放絞り）だけ駆動するようにレンズＣＰＵ１０６に対して制御信号を出力する。その後、ＣＰＵ２１２は、撮像素子２０８に対して制御信号を出力して撮像素子２０８によるＬＶ表示のための撮像を開始させる。そして、ＬＶ表示のための撮像が完了する毎に、制御回路３０２は、画素部３０３からの画素信号の読み出しを開始させる。なお、画素信号の読み出しに際し、制御回路３０２は、画素部３０３の画素３０３ｃから出力される同一開口（同色）の画素信号を加算させるようにしてもよい。撮像素子２０８から出力された表示画素データは、ＤＲＡＭ２２６に記憶される。
【００５１】
ステップＳ１０３において、ＣＰＵ２１２はＬＶ表示を行う。このとき、ＣＰＵ２１２は、画像処理回路２１４に表示画像データを生成させる。これを受けて、画像処理回路２１４は、表示画素データに対して必要な処理を行って表示のための表示画像データを生成する。表示画像データは、同一の画素部３０３に属する受光部ｌｔ、ｒｔ、ｌｂ、ｒｂの画素データを加算平均することで得られる。ＣＰＵ２１２は、画像処理回路２１４で生成された表示画像データに基づいて表示部２２２にＬＶ画像を表示させる。その後、処理は、ステップＳ１２６に移行する。
【００５２】
ステップＳ１０４において、ＣＰＵ２１２は、オートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ステップＳ１０４のＡＦ及びＬＶ表示のための撮像と読み出し処理については後で詳しく説明する。ここでは、ＡＦのための撮像と読み出しによってＡＦのための焦点検出画素データがＤＲＡＭ２２６に記憶され、ＬＶのための撮像と読み出しによって表示のための表示画素データがＤＲＡＭ２２６に記憶されたものとして説明を続ける。
【００５３】
ステップＳ１０５において、ＣＰＵ２１２は、ＬＶ表示を行う。
【００５４】
ステップＳ１０６において、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データを用いて相関演算を行う。水平方向の位相差検出の場合の対をなす焦点検出画素データは左開口画素データｌと右開口画素データｒであり、垂直方向の位相差の検出の場合の対をなす焦点検出画素データは上開口画素データｔと下開口画素データｂである。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。信頼性判定は、例えば画素データから得られるコントラスト、相関演算の結果として算出される相関値に基づいて判定される。
【００５５】
ステップＳ１０７において、焦点検出回路２１８は、ピントずれ量演算を行う。すなわち、焦点検出回路２１８は、ステップＳ１０６における信頼性判定の結果、信頼性が高いと判定された焦点検出領域における２像間隔値（相関値の極値に対応した像ずれ量）からフォーカスレンズ１０２１の合焦位置に対するピントずれ量を算出する。その後、処理はステップＳ１０８に移行する。
【００５６】
ステップＳ１０８において、焦点検出回路２１８は、フォーカスレンズ１０２１の駆動に用いるフォーカスレンズ位置に対応する焦点検出領域を選択するためのエリア選択処理を行う。エリア選択処理の後、処理はステップＳ１０９に移行する。エリア選択処理は、例えば、最も近い被写体距離に対応した（すなわち最至近の）フォーカスレンズ位置に対応するピントずれ量を示す焦点検出領域を選択することで行われる。
【００５７】
ステップＳ１０９において、ＣＰＵ２１２は、フォーカスレンズ１０２１が合焦状態であるか否かを判定する。ステップＳ１０９における判定は、例えばエリア選択処理において選択された焦点検出領域におけるピントずれ量（現在のフォーカスレンズ位置と選択されたフォーカスレンズ位置との差に対応する）が予め定められた許容範囲内であるか否かを判定することによって行われる。ピントずれ量が許容範囲内であるときには合焦状態であると判定される。ステップＳ１０９において、フォーカスレンズ１０２１が合焦状態でないと判定されたときには処理はステップＳ１１０に移行する。ステップＳ１０９において、フォーカスレンズ１０２１が合焦状態であると判定されたときには処理はステップＳ１１１に移行する。
【００５８】
ステップＳ１１０において、ＣＰＵ２１２は、ステップＳ１０８において選択された焦点検出領域について算出されたフォーカスレンズ位置に応じてフォーカスレンズ１０２１が駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２１を駆動する。その後、処理は、ステップＳ１２６へ移行する。
【００５９】
ステップＳ１１１において、ＣＰＵ２１２は、ステップＳ１０４と同様のオートフォーカス（ＡＦ）及びＬＶ表示のための撮像と読み出しを行う。ここでは、ＡＦのための撮像と読み出しによって焦点検出画素データがＤＲＡＭ２２６に記憶され、ＬＶのための撮像と読み出しによって表示画素データがＤＲＡＭ２２６に記憶されたものとして説明を続ける。
【００６０】
ステップＳ１１２において、ＣＰＵ２１２は、ＬＶ表示を行う。
【００６１】
ステップＳ１１３において、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データを用いて相関演算を行う。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。ステップＳ１１４において、焦点検出回路２１８は、ピントずれ量演算を行う。ステップＳ１１５において、焦点検出回路２１８は、エリア選択処理を行う。
【００６２】
ステップＳ１１６において、焦点検出回路２１８は、焦点検出に係る情報を履歴情報として例えばＤＲＡＭ２２６に保存する。焦点検出に係る情報は、例えばステップＳ１１４で算出されたピントずれ量の情報及びステップＳ１１５で選択された焦点検出領域の情報を含む。
【００６３】
ステップＳ１１７において、ＣＰＵ２１２は、２ｎｄレリーズスイッチがオンされているか否かを判定する。２ｎｄレリーズスイッチは、例えばユーザによるレリーズボタンの全押し操作に応答してオンの状態となるスイッチである。ステップＳ１１７において、２ｎｄレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１１８に移行する。ステップＳ１１７において、２ｎｄレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１２０に移行する。
【００６４】
ステップＳ１１８において、ＣＰＵ２１２は、フォーカスレンズ１０２１が合焦状態であるか否かを判定する。ステップＳ１１８において、フォーカスレンズ１０２１が合焦状態でないと判定されたときには処理はステップＳ１１９に移行する。ステップＳ１１８において、フォーカスレンズ１０２１が合焦状態であると判定されたときには処理はステップＳ１２５に移行する。
【００６５】
ステップＳ１１９において、ＣＰＵ２１２は、ステップＳ１１５において選択された焦点検出領域について算出されたフォーカスレンズ位置に応じてフォーカスレンズ１０２１が駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２１を駆動する。その後、処理は、ステップＳ１２５に移行する。
【００６６】
ステップＳ１２０において、ＣＰＵ２１２は、焦点検出回路２１８よる動体予測演算を実行させる。これを受けて、焦点検出回路２１８は、動体予測演算を行う。動体予測演算は、ステップＳ１１６で記憶させておいた過去のピントずれ量演算の結果（フォーカスレンズ位置）の履歴から今回のフォーカスレンズ１０２１の駆動すべき位置を予測する処理である。
【００６７】
ステップＳ１２１において、ＣＰＵ２１２は、静止画取得のための撮像（本露光）を行うために、メカシャッター２０２の動作を開始させる。このメカシャッター２０２の動作は、本露光の前後のメカシャッター２０２の開閉動作と、本露光の後でライブビュー及びＡＦのための撮像を開始するためのメカシャッター２０２の全開動作とを含む。ＣＰＵ２１２は、まず、メカシャッター２０２を全閉状態とするように駆動部２０４の制御信号を切り替える。そして、ステップＳ１２３で本露光を行った後に、ＣＰＵ２１２は、メカシャッター２０２を全開状態とするように駆動部２０４を制御する。
【００６８】
ステップＳ１２２において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対してフォーカスレンズ１０２１及び絞り１０２２を同時駆動させるように指示して動作を開始させる。ここで、フォーカスレンズ１０２１の駆動位置は、ステップＳ１２０の動体予測演算において予測された位置である。また、絞り１０２２の開口量は、直前の測光演算によって測定された被写体輝度に基づいて算出された絞り値に応じた開口量である。
【００６９】
ステップＳ１２３において、ＣＰＵ２１２は、本露光を開始させる。本露光は、記録用の画像データを取得するための撮像である。本露光において、ＣＰＵ２１２は、撮像素子２０８の撮像を開始させる。露光期間の終了後、制御回路３０２は、撮像素子２０８の各受光部からの画素信号を読み出す。画素信号の読み出し後、ＣＰＵ２１２は、記録用の静止画データを生成するための処理を画像処理回路２１４に行わせる。これを受けて、画像処理回路２１４は、記録用の画像データの生成に必要な処理を行って記録用の静止画データを生成する。画像処理の完了後、ＣＰＵ２１２は、画像圧縮展開部２１６によって記録用の静止画データを圧縮する。圧縮の完了後、ＣＰＵ２１２は、圧縮された記録用の静止画データを画像ファイルとして記録媒体２３０に記録する。
【００７０】
ステップＳ１２４において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対して絞り１０２２を開放させるように指示する。
【００７１】
ステップＳ１２５において、ＣＰＵ２１２は、１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。ステップＳ１２５において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ１１１に戻る。ステップＳ１２５において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ１２６に移行する。
【００７２】
ステップＳ１２６おいて、ＣＰＵ２１２は、カメラ本体２００の電源をオフするか否かを判定する。例えば、ユーザの操作部２０６の操作によって電源のオフが指示された場合又は所定時間のユーザの操作部２０６の操作がない場合には電源をオフすると判定される。ステップＳ１２６において、カメラ本体２００の電源をオフしないと判定されたときには、処理はステップＳ１０１に戻る。ステップＳ１２６において、カメラ本体２００の電源をオフすると判定されたときには、処理は終了する。
【００７３】
次に、ステップＳ１０４及びステップＳ１１１の処理について説明する。図６は、ステップＳ１０４及びステップＳ１１１のＡＦ及びＬＶ表示のための撮像と読み出し処理について説明するためのタイミングチャートである。ここで、図６の「ＶＤ」は、制御回路３０２に入力される同期信号（垂直同期信号）のタイミングを示している。ＶＤ（１）はＡＦのための撮像と読み出しとを含む第１の動作のタイミングを示す垂直同期信号であり、ＶＤ（２）はＬＶ表示のための撮像と読み出しとを含む第２の動作のタイミングを示す垂直同期信号である。ＶＤ（１）とＶＤ（２）とは１フレームの間に１回ずつ制御回路３０２に入力される。この場合、ステップＳ１０４の処理は１フレーム毎に行われる。なお、１フレームの長さは、ＬＶ表示の画面の更新間隔及び連写時の連写間隔を示す連写速度等に応じて決められる。以下、第１の動作及び第２の動作のそれぞれについて詳しく説明する。
【００７４】
まず、第１の動作について説明する。図６のＡＦ（ｒｌ）で示す第１の動作は、第１の瞳分割方向に関する焦点検出画素信号の生成と読み出しのための動作である。第１の瞳分割方向は、例えば画素部３０３の水平方向である。第１の動作に先立って、制御回路３０２は、画素部３０３から左開口画素信号ｌ（Ｒｌ、Ｇｒｌ、Ｇｂｌ、Ｂｌ）と右開口画素信号ｒ（Ｒｒ、Ｇｒｒ、Ｇｂｒ、Ｂｒ）とが出力されるように画素部３０３の設定を切り替える。また、制御回路３０２は、画素信号の読み出し時間の短縮を図るために、画素部３０３の間の画素加算の設定を行う。図７は、第１の動作における画素加算の設定の例を示している。図７に示すように、第１の動作では、第１の瞳分割方向である水平方向については加算が行われずに、第２の瞳分割方向である垂直方向についてだけ加算が行われるように設定がされる。図７の例では、垂直方向に並ぶ同一開口（左開口同士又は右開口同士）の画素信号を６個ずつ加算するように設定されている。画素信号の加算数は例えばフレームレートに応じて適宜に設定される。
【００７５】
図７の設定により、画素信号の行数が６分の１に圧縮される。画素信号の行数が減ることにより、画素信号の読み出し時間は短縮される。一方で、画素信号の列数は変わらないので水平方向の位相差の検出精度は確保される。
【００７６】
図７のような設定の後、ＣＰＵ２１２は、撮像素子２０８に対して焦点検出画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度等に基づいて設定される。
【００７７】
ＣＰＵ２１２からの制御信号の入力を受けて、制御回路３０２は、画素部３０３の行毎に撮像（電荷の蓄積）を開始させる。そして、制御回路３０２は、垂直走査回路３０４を制御し、撮像が完了した行の画素部３０３から順次に画素信号を出力させる。
【００７８】
ここで、水平方向の位相差の検出は、例えばＧｒの左開口画素信号Ｇｒｌと右開口画素信号Ｇｒｒの対及びＧｂの左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対を用いて行われる。すなわち、Ｒの左開口画素信号Ｒｌと右開口画素信号Ｒｒの対及びＢの左開口画素信号Ｂｌと右開口画素信号Ｂｒの対は必ずしも読み出される必要はない。したがって、読み出しの際には、図８に示すようにして左開口画素信号Ｇｒｌと右開口画素信号Ｇｒｒの対及び左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対だけが詰めて読み出されてもよい。勿論、左開口画素信号Ｒｌと右開口画素信号Ｒｒの対及び左開口画素信号Ｇｂｌと右開口画素信号Ｇｂｒの対も併せて読み出されてもよい。
【００７９】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。前述したように、図７で示した加算は、メモリ回路３０７において行われてもよい。
【００８０】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。この画素データ列は、例えば図８に示すようにしてＤＲＡＭ２２６に記憶される。このようにして第１の動作は完了する。
【００８１】
第１の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている左開口画素データＧｒｌと右開口画素データＧｒｒの対及び左開口画素データＧｂｌと右開口画素データＧｂｒの対を用いて相関演算を行う。
【００８２】
次に、第２の動作について説明する。図６のＬＶ＋ＡＦ（ｔｂ）で示す第２の動作は、表示画素信号の生成と読み出し（ＬＶ）を主とした動作である。ただし、本実施形態では、第２の動作において第２の瞳分割方向に関する焦点検出画素信号の生成と読み出し（ＡＦ（ｔｂ））も行われる。第２の動作に先立って、制御回路３０２は、画素部３０３から上開口画素信号ｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と下開口画素信号ｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とが出力されるように画素部３０３の設定を切り替える。また、制御回路３０２は、画素信号の読み出し時間の短縮を図るために、画素部３０３の間の画素加算の設定を行う。図９は、第２の動作における画素加算の設定の例を示している。図９に示すように、第２の動作では、第１の瞳分割方向である水平方向及び第２の瞳分割方向である垂直方向の両方で加算が行われるように設定がされる。図９の例では、水平方向に並ぶ３個の同一開口（上開口同士又は下開口同士）の画素信号を加算するとともに、垂直方向に並ぶ３個の同一開口（上開口同士又は下開口同士）の画素信号を加算するように設定されている。図９の例では、２行目と３、４列目については加算が行われないように設定されている。これは、単に画素部３０３の行数及び列数が３の倍数でないために生じる余りである。
【００８３】
図９の設定により、画素信号の行数及び列数はそれぞれ約３分の１に圧縮される。画素信号の行数及び列数が減ることにより、画素信号の読み出し時間は短縮される。なお、画素信号の加算数はこれに限定されない。ただし、第２の動作では、画素信号の加算数が多くなると表示の際の画質は劣化する。また、垂直方向の画素信号の加算数が多くなると、垂直方向の位相差の検出精度も低下する。したがって、画素信号の加算数は、読み出し時間と表示の際の画質及び垂直方向の位相差の検出精度とのトレードオフによって適宜に決められることが望ましい。
【００８４】
図９のような設定の後、ＣＰＵ２１２は、撮像素子２０８に対して焦点検出画素信号を生成するために必要な露光時間での撮像を行うように制御信号を出力する。この露光時間は、被写体輝度等に基づいて設定される。
【００８５】
ＣＰＵ２１２からの制御信号の入力を受けて、制御回路３０２は、画素部３０３の行毎に撮像（電荷の蓄積）を開始させる。そして、制御回路３０２は、垂直走査回路３０４を制御し、撮像が完了した行の画素部３０３から順次に画素信号を出力させる。
【００８６】
画素部３０３から読み出された画素信号は、アナログ処理回路３０５においてアナログ処理される。アナログ処理された画素信号は、ＡＤＣ処理回路３０６においてデジタル信号である画素データに変換される。画素データは、メモリ回路３０７に記憶される。第２の動作では、表示画像データのためＲ、Ｇｒ、Ｇｂ、Ｂの画素信号が必要となる。このため、メモリ回路３０７には、上開口画素信号Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔと下開口画素信号Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂのそれぞれが詰められずに記憶される。
【００８７】
水平走査回路３０８は、制御回路３０２からの制御信号を受けてメモリ回路３０７に記憶されている画素データを列順で出力回路３０９に転送させる。出力回路３０９は、水平走査回路３０８によって転送された画素データを配列して画素データ列を生成し、生成した画素データ列をシリアル信号及び差動信号等の所定の出力信号形式に変換して出力する。この画素データ列は、例えば図１０に示すようにしてＤＲＡＭ２２６に記憶される。このようにして第２の動作は完了する。
【００８８】
第２の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ＬＶ表示に用いられる。前述したように、表示画像データは、同一の画素部３０３に属する受光部ｌｔ、ｒｔ、ｌｂ、ｒｂの画素データを加算平均することで得られる。したがって、画像処理回路２１４は、上開口画素データｔ（Ｒｔ、Ｇｒｔ、Ｇｂｔ、Ｂｔ）と下開口画素データｂ（Ｒｂ、Ｇｒｂ、Ｇｂｂ、Ｂｂ）とを加算平均して表示画像データを生成する。
【００８９】
また、第２の動作によってＤＲＡＭ２２６に記憶された画素データ列は、ピントずれ量算出のための相関演算に用いられる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている上開口画素データＧｒｔ及び下開口画素データＧｒｂの対を用いて相関演算を行う。また、焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている上開口画素データＧｂｔ及び下開口画素データＧｂｂの対を用いて相関演算を行う。すなわち、上下開口画素データＧｒｔ、Ｇｒｂ、Ｇｂｔ、Ｇｂｂは、ＤＲＡＭ２２６から２回読み出される。
【００９０】
以上説明したように本実施形態では、位相差ＡＦのための第１の動作において第１の瞳分割方向に関する焦点検出画素データが生成されるように画素信号の読み出しが行われる。また、ＬＶ表示のための第２の動作において読み出される表示画素データを第２の瞳分割方向に関する焦点検出画素データとしても使用できるように画素信号の読み出しが行われる。すなわち、本実施形態では、第２の瞳分割方向に関する位相差を検出することができるように画素部から上下開口の画素信号を出力させ、この上下開口の画素信号を用いてＬＶ表示のための表示画素データと第２の瞳分割方向に関するＡＦのための焦点検出画素データとが生成される。これにより、画素信号の読み出し時間を短縮しつつ、第１の瞳分割方向に関する位相差検出と第２の瞳分割方向に関する位相差検出の双方を行うことができる。このようにして、本実施形態では、位相差方式の焦点検出性能を確保しながら、ライブビュー表示のための時間も確保することができる。
【００９１】
また、本実施形態では同一開口の画素信号を加算してから読み出すことにより、画素信号の読み出し時間がさらに短縮される。このとき、第１の動作では、第１の瞳分割方向について同一開口の画素信号の加算をしないようにすることで水平方向の位相差検出性能を確保することができる。また、第２の動作では、第２の瞳分割方向についての同一開口の画素信号の加算数を減らすことで読み出し時間と垂直方向の位相差検出性能の両方を確保することができる。
【００９２】
［変形例１］
以下、本実施形態の変形例を説明する。図５Ａ及び図５Ｂで示した例は、撮像装置のＡＦモードがコンティニュアスＡＦモードであるときの動作を示している。前述した本実施形態の技術は、撮像装置のＡＦモードがコンティニュアスＡＦモードでないときであっても、ＬＶ表示とＡＦとが短い期間に繰り返されるときには適用され得る。例えば、本実施形態の技術は、撮像装置のＡＦモードがシングルＡＦモードにおいても適用され得る。シングルＡＦモードは、１ｓｔレリーズスイッチがオンされた後、被写体にピントが合うまでＡＦが行われ、合焦後はＡＦ動作を停止させるＡＦモードである。図１１は、ＡＦモードがシングルＡＦモードであるときの撮像装置１の動作を示すフローチャートである。なお、図１１において、図５Ａ及び図５Ｂと重複する部分については適宜に説明を省略する。
【００９３】
図１１の動作は、ユーザによる撮像装置１の電源のオン操作が検出されたときに開始される。電源のオン操作が検出されると、ステップＳ２０１において、ＣＰＵ２１２は、レリーズボタンの１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。ステップＳ２０１において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ２０４に移行する。ステップＳ２０１において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ２０２に移行する。
【００９４】
ステップＳ２０２において、ＣＰＵ２１２は、ライブビュー（ＬＶ）表示のための表示画素データの取り込みを行う。ステップＳ２０３において、ＣＰＵ２１２はＬＶ表示を行う。その後、処理は、ステップＳ２１８に移行する。
【００９５】
ステップＳ２０４において、ＣＰＵ２１２は、ＡＦ及びＬＶ表示のための撮像と読み出しを行う。ステップＳ２０４の処理については、前述した実施形態と同様にして行われる。ステップＳ２０５において、ＣＰＵ２１２は、ＬＶ表示を行う。
【００９６】
ステップＳ２０６において、ＣＰＵ２１２は、焦点検出回路２１８による焦点検出演算を実行させる。焦点検出回路２１８は、ＤＲＡＭ２２６に記憶されている焦点検出画素データのうちの対をなす焦点検出画素データを用いて相関演算を行う。相関演算の後、焦点検出回路２１８は、焦点検出の信頼性判定を行う。ステップＳ２０７において、焦点検出回路２１８は、ピントずれ量演算を行う。ステップＳ２０８において、焦点検出回路２１８は、エリア選択処理を行う。
【００９７】
ステップＳ２０９において、ＣＰＵ２１２は、フォーカスレンズ１０２１が合焦状態であるか否かを判定する。ステップＳ２０９において、フォーカスレンズ１０２１が合焦状態でないと判定されたときには処理はステップＳ２１０に移行する。ステップＳ２０９において、フォーカスレンズ１０２１が合焦状態であると判定されたときには処理はステップＳ２１１に移行する。
【００９８】
ステップＳ２１０において、ＣＰＵ２１２は、ステップＳ２０８において選択された焦点検出領域について算出されたフォーカスレンズ位置に応じてフォーカスレンズ１０２１が駆動されるよう、レンズＣＰＵ１０６に対して制御信号を出力する。レンズＣＰＵ１０６は、この制御信号を受けて、駆動部１０４を介してフォーカスレンズ１０２１を駆動する。その後、処理は、ステップＳ２１８へ移行する。
【００９９】
ステップＳ２１１において、ＣＰＵ２１２は、ＬＶ表示のための表示画素データの取り込みを行う。ステップＳ２１２において、ＣＰＵ２１２はＬＶ表示を行う。
【０１００】
ステップＳ２１３において、ＣＰＵ２１２は、２ｎｄレリーズスイッチがオンされているか否かを判定する。ステップＳ２１３において、２ｎｄレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ２１７に移行する。ステップＳ２１３において、２ｎｄレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ２１４に移行する。
【０１０１】
ステップＳ２１４において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対して絞り１０２２を駆動させるように指示して動作を開始させる。ここで、絞り１０２２の開口量は、直前の測光演算によって測定された被写体輝度に基づいて算出された絞り値に応じた開口量である。
【０１０２】
ステップＳ２１５において、ＣＰＵ２１２は、本露光を開始させる。本露光において、ＣＰＵ２１２は、予め決定された露光期間だけメカシャッター２０２を開閉させるように駆動部２０４を制御する。そして、ＣＰＵ２１２は、露光期間中に撮像素子２０８の撮像を開始させる。露光期間の終了後、制御回路３０２は、撮像素子２０８の各受光部からの画素信号を読み出す。画素信号の読み出し後、ＣＰＵ２１２は、記録用の静止画データを生成するための処理を画像処理回路２１４に行わせる。これを受けて、画像処理回路２１４は、記録用の画像データの生成に必要な処理を行って記録用の静止画データを生成する。画像処理の完了後、ＣＰＵ２１２は、画像圧縮展開部２１６によって記録用の静止画データを圧縮する。圧縮の完了後、ＣＰＵ２１２は、圧縮された記録用の静止画データを画像ファイルとして記録媒体２３０に記録する。
【０１０３】
ステップＳ２１６において、ＣＰＵ２１２は、レンズＣＰＵ１０６に対して絞り１０２２を開放させるように指示する。
【０１０４】
ステップＳ２１７において、ＣＰＵ２１２は、１ｓｔレリーズスイッチがオンの状態であるか否かを判定する。ステップＳ２１７において、１ｓｔレリーズスイッチがオンの状態であると判定されたときには、処理はステップＳ２１１に戻る。ステップＳ２１７において、１ｓｔレリーズスイッチがオンの状態でないと判定されたときには、処理はステップＳ２１８に移行する。
【０１０５】
ステップＳ２１８おいて、ＣＰＵ２１２は、カメラ本体２００の電源をオフするか否かを判定する。ステップＳ２１８において、カメラ本体２００の電源をオフしないと判定されたときには、処理はステップＳ２０１に戻る。ステップＳ２１８において、カメラ本体２００の電源をオフすると判定されたときには、処理は終了する。
【０１０６】
このように、シングルＡＦモードでは、１ｓｔレリーズスイッチがオンされてから被写体に対してピントが合うまでの間、ＬＶ表示とＡＦとが繰り返される。したがって、本実施形態の技術が有効である。
【０１０７】
［変形例２］
前述した第２の動作においては、表示画像データは、ＤＲＡＭ２２６に記憶されている同一の画素部３０３に属する受光部ｌｔ、ｒｔ、ｌｂ、ｒｂから読み出された上下開口画素データｔ、ｂを加算平均することによって生成される。これは、ＤＲＡＭ２２６に記憶されている上下開口画素データｔ、ｂを第２の瞳分割方向に関する焦点検出画素データとしても読み出せるようにするためである。
【０１０８】
これに対し、図１２に示すようにして例えば第２の瞳分割方向に関する位相差の検出に必要とならない上下開口画素信号ｔ及びｂ（図の「＋」で結ばれている画素信号）については加算し、第２の瞳分割方向に関する位相差の検出に必要となる上下開口画素信号ｔ及びｂ（図の「＋」で結ばれていない画素信号）についてだけ加算せずに画素部３０３から出力させるように撮像素子２０８が構成されていてもよい。この場合、ＤＲＡＭ２２６には、図１３に示すようにして画素データが記憶されることになる。このようにして画素部３０３において加算できるものを予め加算してしまうことで、ＤＲＡＭ２２６に記憶される画素データのデータ数は削減される。また、画像処理回路２１４における表示画像データの生成のための加算平均処理も省略される。一方で、第２の瞳分割方向に関する位相差の検出は適切に行われ得る。
【０１０９】
［変形例３］
第１の動作では、第２の瞳分割方向である垂直方向に並ぶ同一開口の画素信号を加算してから画素部３０３から出力させることによって読み出し時間の短縮を図っている。これに対し、画素信号を間引いて読み出すことでも読み出し時間は短縮され得る。例えば、連写速度等に応じて設定されるフレームレートが所定値よりも高速であるときには、図１４Ａに示すように５０％の行だけ画素信号が読み出され、フレームレートが所定値よりも低速であるときには、図１４Ｂに示すように１００％の行の画素信号が読み出されるといった処理を行うことができる。画素加算読み出しと間引き読み出しとは併用されてもよい。また、第１の動作に対する間引き読み出しだけではフレームレートの維持が困難である場合等では、第２の動作においても間引き読み出しが行われてもよい。
【０１１０】
［その他の変形例］
前述した実施形態では、第１の瞳分割方向を水平方向とし、第２の瞳分割方向を垂直方向としている。逆に、第１の瞳分割方向を垂直方向とし、第２の瞳分割方向を水平方向としてもよい。この場合、第１の動作においては上下開口画素信号が出力されるように画素部３０３の設定がなされるとともに、第２の動作においては左右開口画素信号が出力されるように画素部３０３の設定がなされる。
【０１１１】
また、前述した実施形態では、画素部３０３における画素加算の設定等は、撮像素子２０８の内部に設けられた制御回路３０２によって行われる。制御回路３０２は、撮像素子２０８の外部に設けられていてもよい。この場合、例えばＣＰＵ２１２が制御回路３０２と同じ処理を実行できるように構成されていてもよい。
【０１１２】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１１３】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１１４】
また、上述した実施形態による各処理は、コンピュータであるＣＰＵ２１２又は制御回路３０２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ２１２又は制御回路３０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【０１１５】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【０１１６】
１  撮像装置、１００  交換式レンズ、１０２  撮像光学系、１０４  駆動部、１０６  レンズＣＰＵ、１０８  レンズ側記憶部、１１０  インターフェイス（Ｉ／Ｆ）、２００  カメラ本体、２０２  メカシャッター、２０４  駆動部、２０６  操作部、２０８  撮像素子、２１０  手振れ補正回路、２１２  ＣＰＵ、２１４  画像処理回路、２１６  画像圧縮展開部、２１８  焦点検出回路、２２０  露出制御回路、２２２  表示部、２２４  バス、２２６  ＤＲＡＭ、２２８  本体側記憶部、２３０  記録媒体、３０１  入力回路、３０２  制御回路、３０３  画素部、３０３ａ  マイクロレンズ、３０３ｂ  カラーフィルタ、３０３ｃ  画素、３０４  垂直走査回路、３０５  アナログ処理回路、３０６  アナログデジタル変換（ＡＤＣ）処理回路、３０７  メモリ回路、３０８  水平走査回路、３０９  出力回路、１０２１  フォーカスレンズ、１０２２  絞り。
【図１】
2019071590.tif 000003
【図２】
2019071590.tif 000004
【図３】
2019071590.tif 000005
【図４Ａ】
2019071590.tif 000006
【図４Ｂ】
2019071590.tif 000007
【図５Ａ】
2019071590.tif 000008
【図５Ｂ】
2019071590.tif 000009
【図６】
2019071590.tif 000010
【図７】
2019071590.tif 000011
【図８】
2019071590.tif 000012
【図９】
2019071590.tif 000013
【図１０】
2019071590.tif 000014
【図１１】
2019071590.tif 000015
【図１２】
2019071590.tif 000016
【図１３】
2019071590.tif 000017
【図１４Ａ】
2019071590.tif 000018
【図１４Ｂ】
2019071590.tif 000019