(57)【要約】【課題】  撮像面位相差方式で焦点検出を行う場合に、焦点検出画素の蓄積時間を所望の蓄積時間で制御できるようにすること。【解決手段】  行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、焦点検出領域の列方向の移動量を検出する検出手段と、第１のパターンで画像作成用の信号を読み出す第１の行と、焦点検出領域を含む行のうち、第２のパターンで焦点検出用の一対の信号を読み出す第２の行と、を設定する設定手段と、予め決められたフレームレートで、第１の行の読み出し後に第２の行の読み出しを行うように制御する制御手段と、を有し、設定手段は、移動量が焦点検出領域の行数よりも少なく、第２の行の蓄積時間が閾値以上の場合に、第２のパターンの周期よりも大きい周期を有する第３のパターンで、フレーム間で異なる第２の行を読み出すように設定する。【選択図】  図１１
2018050267.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、
連続するフレーム間における焦点検出領域の列方向の読み出し方向への移動量を検出する検出手段と、
予め決められた第１のパターンで行を間引きながら、前記各マイクロレンズに対応する前記複数の光電変換部の信号を加算した加算信号を得る第１の読み出しを行う第１の行と、前記焦点検出領域を含む行のうち、前記第１の行を読み出さない第２のパターンで、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第２の読み出しを行う第２の行と、を設定する設定手段と、
前記設定手段による設定に応じて、予め決められたフレームレートで、各フレームにおいて前記第１の行の読み出し後に前記第２の行の読み出しを行うか、または、前記第２の行の読み出し後に前記第１の行の読み出しを行うように制御する制御手段と、を有し、
前記設定手段は、前記移動量が前記焦点検出領域の行数よりも少なく、前記第２の読み出しにおける蓄積時間が、前記移動量と前記第２のパターンの周期と前記フレームレートとに基づいて決められる閾値以上の場合に、前記第２のパターンの周期よりも大きい周期を有する第３のパターンで、フレーム間で異なる前記第２の行を読み出すように設定することを特徴とする撮像装置。
【請求項２】
前記移動量は、前記制御手段による読み出し方向の順方向を正、逆方向を負とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記閾値は、該閾値をｔｈ、前記移動量をＰ、前記蓄積時間が閾値未満の場合の前記第２のパターンの周期をＱ、前記フレームレートをＦ、前記第２の行の各行の読み出しに掛かる時間をＲとすると、
ｔｈ＝Ｆ−1−（Ｐ／Ｑ）×Ｒ
であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記焦点検出領域を指定する指定手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
予め決められた被写体を検出する被写体検出手段を更に有し、
前記焦点検出領域は、前記検出された被写体の領域に設定されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、
予め決められた第１のパターンで行を間引きながら、前記各マイクロレンズに対応する前記複数の光電変換部の信号を加算した加算信号を得る第１の読み出しを行う第１の行と、焦点検出領域を含む行のうち、前記第１の行を読み出さない第２のパターンで、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第２の読み出しを第１の蓄積時間により行う第２の行と、前記第２の読み出しを第２の蓄積時間により行う第３の行とを設定する設定手段と、
前記設定手段による設定に応じて、第１のフレームで、前記第１の行の読み出し後に前記第２の行の読み出しを行うか、または、前記第２の行の読み出し後に前記第１の行の読み出しを行うように制御し、第２のフレームで、前記第１の行の読み出し後に前記第３の行の読み出しを行うか、または、前記第３の行の読み出し後に前記第１の行の読み出しを行うように、予め決められたフレームレートで読み出し制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項７】
前記第１の蓄積時間と前記第２の蓄積時間は、互いに異なることを特徴とする請求項６に記載の撮像装置。
【請求項８】
静止画の撮影開始を検知する検知手段を更に有し、
前記撮像装置は、動画を撮影する動画モードにおいてフレームで焦点検出を連続して行う第１のＡＦモードと、撮影開始が検知されると焦点検出を開始する第２のＡＦモードとを含み、
前記検知手段より撮影開始が検知され、前記第１のＡＦモードから前記第２のＡＦモードに切り替った場合に、前記第１のＡＦモードの最終フレームの第２の読み出しを行わず、前記第２のＡＦモードの第２の読み出しの蓄積を優先させることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子の制御方法であって、
検出手段が、連続するフレーム間における焦点検出領域の列方向の読み出し方向への移動量を検出する検出工程と、
設定手段が、予め決められた第１のパターンで行を間引きながら、前記各マイクロレンズに対応する前記複数の光電変換部の信号を加算した加算信号を得る第１の読み出しを行う第１の行と、前記焦点検出領域を含む行のうち、前記第１の行を読み出さない第２のパターンで、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第２の読み出しを行う第２の行と、を設定する設定工程と、
制御手段が、前記設定工程おける設定に応じて、予め決められたフレームレートで、各フレームにおいて前記第１の行の読み出し後に前記第２の行の読み出しを行うか、または、前記第２の行の読み出し後に前記第１の行の読み出しを行うように制御する制御工程と、を有し、
前記設定工程では、前記移動量が前記焦点検出領域の行数よりも少なく、前記第２の読み出しにおける蓄積時間が、前記移動量と前記第２のパターンの周期と前記フレームレートとに基づいて決められる閾値以上の場合に、前記第２のパターンの周期よりも大きい周期を有する第３のパターンで、フレーム間で異なる前記第２の行を読み出すように設定することを特徴とする撮像素子の制御方法。
【請求項１０】
行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子の制御方法であって、
設定手段が、予め決められた第１のパターンで行を間引きながら、前記各マイクロレンズに対応する前記複数の光電変換部の信号を加算した加算信号を得る第１の読み出しを行う第１の行と、焦点検出領域を含む行のうち、前記第１の行を読み出さない第２のパターンで、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第２の読み出しを第１の蓄積時間により行う第２の行と、前記第２の読み出しを第２の蓄積時間により行う第３の行とを設定する設定工程と、
制御手段が、前記設定工程における設定に応じて、第１のフレームで、前記第１の行の読み出し後に前記第２の行の読み出しを行うか、または、前記第２の行の読み出し後に前記第１の行の読み出しを行うように制御し、第２のフレームで、前記第１の行の読み出し後に前記第３の行の読み出しを行うか、または、前記第３の行の読み出し後に前記第１の行の読み出しを行うように、予め決められたフレームレートで読み出し制御する制御工程と、
を有することを特徴とする撮像素子の制御方法。
【請求項１１】
コンピュータに、請求項９または１０に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素毎に複数の光電変換部を有する撮像素子を用いた撮像装置及び撮像素子の制御方法に関するものである。
【背景技術】
【０００２】
従来、デジタルスチルカメラやデジタルビデオカメラなどに用いられる撮像素子において、画像情報を得るために行列状に配置された複数の画素の中に、位相差検出方式による焦点検出が可能な焦点検出画素を配置した技術が提案されている。この技術は、撮像面位相差方式と呼ばれ、撮影レンズの異なる射出瞳を通過した光束を、焦点検出画素に配置された対となる複数の受光部で電気信号に変換して一対の像信号を取得し、取得した一対の像信号の像ずれ量を求めて焦点位置を検出する。これにより、撮影レンズのピントの方向とずれ量とを直接求めることができるので、ライブビューや、動画撮影時にも、高速な焦点検出が可能である。
【０００３】
特許文献１では、撮像素子において一対の受光部をマイクロレンズ毎に設け、各受光部の電気信号を独立に読み出して、各受光部毎の像信号を取得する方法が開示されている。また、先ず一方の受光部の電気信号を読み出し、その後に両方の受光部の電気信号をデジタル信号に変換する前に加算して読み出すことで、加算した信号を画像として使用できることも言及されている。
【０００４】
また、特許文献２では、焦点検出画素を持つ撮像素子において、画像作成用の画素行と焦点検出用の画素行とで、画素をリセットするタイミングを異ならせ、画像作成用の画素と焦点検出用の画素の蓄積時間を独立に制御する方法が提案されている。また、画像のフレームレートに応じて、読み出すことが可能な焦点検出画素の行数が制限を受けるため、焦点検出画素の読み出し領域を全体のうちの一部とし、フレーム単位で焦点検出画素の読み出し領域を切り換えることについても提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−８３４０７号公報
【特許文献２】特許第５３１９３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年のデジタルカメラでは、従来よりも高速なフレームレートが要求され、高画素化とともに読み出し時間の短縮が必要となっている。しかしながら、特許文献１に記載されているような像面位相差検出方式の焦点検出画素の読み出しは、焦点検出画素の読み出しを行わない場合に比べて、読み出しに時間がかかってしまい、高速なフレームレートでは使用できない場合がある。
【０００７】
特許文献２では、動画の取得時に画像作成用の画素と焦点検出用の画素それぞれのリセット走査と読み出し走査を毎フレームで繰り返すスリットローリング動作を行うと共に、焦点検出用の画素の読み出し領域を限定している。このようにすることで、高速なフレームレートに対応できるようにしている。
【０００８】
しかしながら、例えば、カメラユーザがＴＦＴやＥＶＦに表示された被写体に焦点検出枠を合わせてピントを合わせる際に、焦点検出枠の位置に応じた範囲のみ焦点検出用の読み出しを行うように考慮する必要がある。ここで、焦点検出画素の読み出し範囲が読み出し走査の順方向に移動している場合、移動前後で重複する行において、次のような問題が発生する。すなわち、移動前の焦点検出行の読み出しタイミングより、移動後の焦点検出行のリセットタイミングが先行してしまい、所望の蓄積時間制御ができない行が発生してしまうことがある。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、撮像面位相差方式で焦点検出を行う場合に、焦点検出画素の蓄積時間を所望の蓄積時間で制御できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、連続するフレーム間における焦点検出領域の列方向の読み出し方向への移動量を検出する検出手段と、予め決められた第１のパターンで行を間引きながら、前記各マイクロレンズに対応する前記複数の光電変換部の信号を加算した加算信号を得る第１の読み出しを行う第１の行と、前記焦点検出領域を含む行のうち、前記第１の行を読み出さない第２のパターンで、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第２の読み出しを行う第２の行と、を設定する設定手段と、前記設定手段による設定に応じて、予め決められたフレームレートで、各フレームにおいて前記第１の行の読み出し後に前記第２の行の読み出しを行うか、または、前記第２の行の読み出し後に前記第１の行の読み出しを行うように制御する制御手段と、を有し、前記設定手段は、前記移動量が前記焦点検出領域の行数よりも少なく、前記第２の読み出しにおける蓄積時間が、前記移動量と前記第２のパターンの周期と前記フレームレートとに基づいて決められる閾値以上の場合に、前記第２のパターンの周期よりも大きい周期を有する第３のパターンで、フレーム間で異なる前記第２の行を読み出すように設定する。
【発明の効果】
【００１１】
本発明によれば、撮像面位相差方式で焦点検出を行う場合に、焦点検出画素の蓄積時間を所望の蓄積時間で制御することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態における撮像装置の概略構成を示すブロック図。
【図２】第１の実施形態における撮像素子の構成を示す概略図。
【図３】第１の実施形態における各画素の等価回路図。
【図４】第１の実施形態における画素の断面構成図。
【図５】第１の実施形態における画像作成用の画素信号を読み出す制御を示すタイミングチャート。
【図６】第１の実施形態における焦点検出用の画素信号を読み出す制御を示すタイミングチャート。
【図７】第１の実施形態における撮像素子のリセット走査及び読み出し走査を説明する図。
【図８】図７に示すリセット走査及び読み出し走査における問題点を説明するための図。
【図９】第１の実施形態における焦点検出行の移動量に対する蓄積時間の条件を説明するための図。
【図１０】第１の実施形態における撮像装置のＡＦモードごとの焦点検出行の設定処理を示すフローチャート。
【図１１】第１の実施形態における顔追尾ＡＦモードでの画像作成用及び焦点検出用のリセット走査及び読み出し走査を説明する図。
【図１２】第１の実施形態におけるワンショットＡＦモードでの画像作成用及び焦点検出用のリセット走査及び読み出し走査を説明する図。
【図１３】第１の実施形態における多点ＡＦモードでの画像作成用及び焦点検出用のリセット走査及び読み出し走査を説明する図。
【図１４】第１の実施形態における多点ＡＦモードでの画像作成用及び焦点検出用の別のリセット走査及び読み出し走査を説明する図。
【図１５】第２の実施形態における顔追尾ＡＦモードでの画像作成用及び焦点検出用のリセット走査及び読み出し走査を説明する図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１４】
＜第１の実施形態＞
図１を参照して、本発明の第１の実施形態における撮像装置の概略構成について説明する。図１に示すように、本実施形態の撮像装置は、主にカメラ本体１０００と、交換レンズタイプの撮影レンズ２０００により構成されている。
【００１５】
カメラ本体１０００は、撮像素子１１００、カメラ制御部１４００、信号処理部１５００、操作部１９００、電子ビューファインダ（ＥＶＦ）１９４０、ＴＦＴ液晶などの表示部１９５０を有する。また、撮影レンズ２０００は、集光レンズ２１００、絞り２２００、フォーカスレンズ２３００、レンズ制御部２４００を有し、レンズ制御部は、レンズ通信端子１３１０を介してカメラ制御部１４００と通信する。
【００１６】
ユーザが操作部１９００の不図示のＡＦ開始ボタンＳＷ１、撮影開始ボタンＳＷ２を操作することで、カメラ制御部１４００及びレンズ制御部２４００は、ＡＦ動作、撮影動作などを行うことができる。
【００１７】
操作部１９００には、メニューボタン及びコントロールボタンがあり、メニュー画面を表示部１９５０に表示させ、後述する撮影モードや、ＡＦモードを選択することができる。さらに、表示部１９５０は、タッチパネルディスプレイで構成され、操作部１９００と同様に、ＡＦ動作や撮影動作の指示を行うことができる。
【００１８】
また、撮像素子１１００はカメラ制御部１４００により制御され、出力される画像信号は、信号処理部１５００で現像処理されて、フルカラー画像が作成される。信号処理部１５００は、現像処理のため、ＣＰＵ及びＲＡＭなどを構成部品としてもつ。作成されたフルカラー画像は、ＥＶＦ１９４０や表示部１９５０にリアルタイム表示したり、記録メディア１９１０に画像データとして記録される。
【００１９】
図２は、撮像素子１１００の構成図である。多数の画素１１２０が、フルカラー画像を得るための有効画素部１１１０と、補正に使用する光学的黒画素（ＯＢ画素）からなる垂直ＯＢ画素部１１１１及び水平ＯＢ画素部１１１２に、図に示されるように行列状に配置されている。
【００２０】
有効画素部１１１０は、フルカラー画像を得るためにＲ、Ｇ、Ｂのカラーフィルタが、一例として、ベイヤー配列として知られる順序で並んで配置されている。図中のＧｒ画素及びＧｂ画素は同じＧのフィルタであるが、Ｒ画素の水平方向隣接のＧ画素をＧｒ画素と呼び、Ｂ画素の水平方向隣接のＧ画素をＧｂ画素と呼ぶ。
【００２１】
ＯＢ画素は、後述するフォトダイオードがアルミ配線などにより遮光された画素のことである。なお、垂直ＯＢ画素部１１１１には、フォトダイオード（光電変換部）を有さない画素を混在させることもある。
【００２２】
また、撮像素子１１００は、画素１１２０と列ＡＤ部１１４１を接続するための垂直出力線１１４０及び信号増幅部１１４４を有する。その他に、ランプ信号生成部１１４２、カウンタ１１４３、タイミング制御部１１５０、垂直読出制御部１１６０、水平転送部１１７０、デジタル信号処理部１１８０を含む。
【００２３】
ここで、画素１１２０の構成について、図３を参照して説明する。本実施形態における画素１１２０は、第１のフォトダイオード（ＰＤ）１１２１ａ、第２のフォトダイオード（ＰＤ）１１２１ｂ、第１の転送トランジスタ（Ｔｒ）１１２２ａ、第２の転送トランジスタ（Ｔｒ）１１２２ｂを有する。更に、フローティングディフュージョン（ＦＤ）容量１１２３、リセットトランジスタ（Ｔｒ）１１２４、画素アンプ１１２５、行選択トランジスタ（Ｔｒ）１１２６を含む。制御信号ｐＴＸＡ，ｐＴＸＢ、ＦＤリセット信号ｐＲＥＳ、及び行選択信号ｐＳＥＬにより、本実施形態での撮像信号の読み出し制御を行う。ＦＤ容量１１２３と画素アンプ１１２５は、第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂで共有する。これにより、第１の転送Ｔｒ１１２２ａと第２の転送Ｔｒ１１２２ｂの開閉制御だけで、各フォトダイオード（光電変換部）の信号を独立に読むことも、両方の信号をＦＤ容量１１２３で加算して読むこともできる。
【００２４】
第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂは、第１の転送Ｔｒ１１２２ａと第２の転送Ｔｒ１１２２ｂを開けた状態でリセット電圧に接続することでリセットでき、リセット状態が解除されると、受けた光量に比例して電荷を蓄積する。その電荷をＦＤ容量１１２３に転送すると、ＦＤ容量１１２３の電圧がフォトダイオードに入射した光の強度に依存して変化する。そして、ＦＤ容量１１２３の電圧を垂直出力線１１４０を通して、信号増幅部１１４４で増幅し、増幅された電圧を列ＡＤ部１１４１でデジタル信号に変換して読み出す。
【００２５】
ランプ信号生成部１１４２は、カウンタ１１４３からカウント値を受け取り、カウント値に応じた電圧値を出力する。カウンタ１１４３は、タイミング制御部１１５０からの一定周期のクロックに同期してカウントアップしていくカウンタであり、タイミング制御部１１５０からの制御によりカウンタ１１４３をリセットすることができる。
【００２６】
列ＡＤ部１１４１は、内部にコンパレータを有し、ランプ信号生成部１１４２から出力される電圧と、信号増幅部１１４４の出力電圧を比較し、一致したタイミングのカウント値をデジタル値として出力する。また、列ＡＤ部１１４１はメモリを有し、上述のカウント値を記憶し、水平転送部１１７０に信号を伝送するまでの期間、保持することができる。
【００２７】
画素１１２０の信号の読み出しでは、一度ＦＤ容量１１２３をリセット電圧に接続した後、フローティング状態にあるＦＤ容量１１２３の電圧値であるＮ信号を読み出す。次に第１のＰＤ１１２１ａ及び／または第２のＰＤ１１２１ｂをＦＤ容量１１２３に接続した後の電圧値であるＳ信号を読み出す。Ｎ信号とＳ信号は列ＡＤ部１１４１で別々にラッチされ、水平転送部１１７０が各列の列ＡＤ部１１４１のＮ信号とＳ信号をデジタル信号処理部１１８０に転送する。デジタル信号処理部１１８０においてＳ信号からＮ信号を減算処理（Ｓ−Ｎ）し、Ｓ信号に含まれていた回路起因のノイズをキャンセルする。
【００２８】
前述のＡＤ変換までの一連の制御は、タイミング制御部１１５０が垂直読出制御部１１６０を管理することで、画素の一行ごとに順次行い、最終的に２次元の光信号を取得する。また、垂直読出制御部１１６０では、後述するように読み出す行として全行を選択したり、特定の周期の行だけ選択することができる。
【００２９】
蓄積時間はユーザが操作部１９００を通じて任意の時間を設定するか、カメラ制御部１４００が前回の撮影結果に基づいて自動で制御することで決定され、カメラ制御部１４００からタイミング制御部１１５０にその内容が通信される。タイミング制御部１１５０は、第１のＰＤ１１２１ａ及び第２のＰＤ１１２１ｂの電荷のリセット動作から信号読み出し動作までの時間が蓄積時間となるように、垂直読出制御部１１６０を制御する。
【００３０】
図４は本実施形態における画素の構造を説明する断面構成図である。各画素の前面にはカラーフィルタ１２００と、マイクロレンズ１１９０を配置する。マイクロレンズ１１９０は、画素１１２０に入射してきた光を効率的にフォトダイオードに集めるために用いられる。カラーフィルタ１２００は、各画素毎にＲ、Ｇ、Ｂのいずれかの光を通すものを置く。
【００３１】
図４（ａ）は、図の上方からの光束がマイクロレンズ１１９０とカラーフィルタ１２００を通過して第１のＰＤ１１２１ａに入射する様子を、また、図４（ｂ）は、図の上方からの光束が第２のＰＤ１１２１ｂに入射する様子を示している。第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂは、撮影レンズ２０００から入射する光束のうち、それぞれが分割されたおおよそ半分の光束を信号に変える。つまり、撮影レンズ２０００が形成する射出瞳の領域のうち、第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂとで、異なる領域を通過した光の信号を取得することができる。
【００３２】
撮像素子１１００全体で見ると、第１のＰＤ１１２１ａから得られた画像信号と第２のＰＤ１１２１ｂから得られた画像信号は、取り込んだ光束に応じて射出瞳の分割方向に相対的にシフトしたものとなる。このようにして得られた一対の画像信号は、撮影レンズ２０００のピントの状態に応じてシフト量が変化し、ピントが合った状態ではシフト量がゼロとなる。このように、一対の画像信号に相関演算を用いた公知の手法を用いて、シフト量を検出することで、ピントずれ（デフォーカス）量を求めることができる。
【００３３】
なお、本実施形態では、撮影レンズ２０００の射出瞳を分割して一対の画像信号を得るために、１つのマイクロレンズに対して、２つのフォトダイオードを設ける構成を示したが、射出瞳を分割する他の方法を用いてもよい。
【００３４】
また、１つのマイクロレンズに対して、３つ以上のフォトダイオードを設け、撮影レンズ２０００が形成する射出瞳の異なる領域の光束を取り込んだ複数の画像信号を取得する構成であってもよい。
【００３５】
さらに、第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂの信号をＦＤ容量１１２３で加算して読み出すことで、撮影レンズ２０００が形成する射出瞳を通過した全光束を取り込んだ画像信号を得ることができる。この場合、射出瞳の半光束の信号を別々に読み出してから信号を加算する方式よりも、ノイズの少ない画像が得られるため、撮影時にライブビュー表示したり、あるいは記録するのに適している。
【００３６】
その他にも、第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂのどちらか一方の電荷を読み出してから、残る一方のフォトダイオードの電荷をＦＤ容量１１２３に接続して加算することで、半光束の画像と全光束の画像を得ることができる。この場合、全光束の画像から、半光束の画像を減算することで、焦点検出に必要な一対の半光束の画像を得ることができる。このようにすることで、ノイズの少ない画像と焦点検出に必要な一対の画像を得ることができる。
【００３７】
なお、これ以降では、表示や記録用途の画像生成に用いる制御や画素等を「画像作成用」とし、焦点検出用途に用いる制御や画素等を「焦点検出用」と区別して呼ぶ。
【００３８】
図５は、第１の実施形態における画像作成用の画素信号（加算信号）を読み出す制御について説明するタイミングチャートである。画像作成用には、第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂをＦＤ容量１１２３で加算して読み出す。また、いわゆるスリットローリング動作として公知であるように、撮像素子１１００上の画素に対して、行単位で順次リセット制御と読み出し制御を行う。
【００３９】
図５は、行選択信号ｐＳＥＬがアサートされた行のリセット制御及び読み出し制御を示している。なお、どの行に対して行選択信号ｐＳＥＬをアサートするかの制御は、垂直読出制御部１１６０が行う。
【００４０】
まず、行単位で順次電荷のリセット動作を行う。前フレームの読み出しが終了した時点ではＦＤリセット信号ｐＲＥＳがアサートされており、ＦＤ容量１１２３がリセット状態にある。時刻ｔｒｅｓ１でＦＤリセット信号ｐＲＥＳをネゲートし、ＦＤ容量１１２３のリセットを解除する。
【００４１】
次に、現フレームの読み出し時間から電荷蓄積時間に基づいて逆算した時刻ｔｒｅｓ２で制御信号ｐＴＸＡ，ｐＴＸＢ、ＦＤリセット信号ｐＲＥＳをアサートし、第１のＰＤ１１２１ａ、第２のＰＤ１１２１ｂ、ＦＤ容量１１２３の電荷をリセットする。電荷のリセットを完了する時刻ｔｒｅｓ３で制御信号ｐＴＸＡ，ｐＴＸＢ、ＦＤリセット信号ｐＲＥＳをネゲートし、電荷蓄積を開始する。そして、蓄積期間中に画素に照射された光信号が信号電荷として第１のＰＤ１１２１ａ、第２のＰＤ１１２１ｂ内にそれぞれ蓄積されてゆく。時刻ｔｒｅｓ４で電荷蓄積中にＦＤリセット信号ｐＲＥＳをアサートしてＦＤ容量１１２３の電圧を固定しておくことで、ノイズの原因となり得る意図しない電圧変動を抑える。
【００４２】
所定の蓄積時間をおいた後に、時刻ｔｒｄ１で行選択信号ｐＳＥＬをアサートすることで読み出し行を選択し、以下の手順で読み出し動作を行う。まず、時刻ｔｒｄ２でＦＤリセット信号ｐＲＥＳをネゲートし、画素アンプ１１２５で増幅したＦＤ容量１１２３の電圧を垂直出力線１１４０及び信号増幅部１１４４を介して列ＡＤ部１１４１に入力する。
【００４３】
時刻ｔｒｄ３でカウンタ値をゼロにしてカウントを開始し、カウント値に応じて所定のステップ量の電圧を増加した電圧信号をランプ入力として、コンパレータの片側の入力とする。時刻ｔｒｄ４で、コンパレータの両方の入力が一致し、コンパレータ出力がＨｉｇｈになると同時に、その時点のカウンタ値を、列ＡＤ部１１４１内のＮメモリに記憶する。このときのカウント値をＮ信号と呼ぶ。時刻ｔｒｄ５でカウンタをリセットする。
【００４４】
次に時刻ｔｒｄ６で制御信号ｐＴＸＡ，ｐＴＸＢをアサートし、第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂの電荷をＦＤ容量１１２３に転送する。転送完了後の時刻ｔｒｄ７で制御信号ｐＴＸＡ，ｐＴＸＢをネゲートする。さらにＦＤ容量１１２３の電圧（加算信号）は、画素アンプ１１２５で増幅され、垂直出力線１１４０及び信号増幅部１１４４を介して列ＡＤ部１１４１に入力される。
【００４５】
時刻ｔｒｄ８でカウンタを開始し、列ＡＤ部１１４１に入力された電圧とランプ入力の電圧が一致する時刻ｔｒｄ９のカウント値を、列ＡＤ部１１４１内のＳメモリに記憶する。このカウント値をＳ信号と呼ぶ。時刻ｔｒｄ１０でカウンタをリセットする。
【００４６】
水平転送部１１７０は各列ＡＤ部１１４１内のＮメモリに記憶されたＮ信号とＳメモリに記憶されたＳ信号を、列毎にデジタル信号処理部１１８０に転送する。デジタル信号処理部１１８０は、転送されたＳ信号からＮ信号を減算処理（Ｓ−Ｎ）することで、Ｓ信号に含まれていた回路起因のノイズをキャンセルし、画像を生成する画素信号を出力する。
【００４７】
時刻ｔｒｄ１１で列ＡＤ部１１４１内のＮメモリに記憶されたＮ信号とＳメモリに記憶されたＳ信号の水平転送部１１７０への転送が完了すると、列ＡＤ部１１４１内のＮメモリとＳメモリの情報をリセットする。
【００４８】
時刻ｔｒｄ１２で、ＦＤリセット信号ｐＲＥＳをアサートし、ＦＤ容量１１２３の電圧を固定し、時刻ｔｒｄ１３で行選択信号ｐＳＥＬをネゲートして、選択された行の読み出し動作が完了する。
【００４９】
図６は、第１の実施形態における焦点検出用の視差を有する一対の画素信号を読み出す制御について説明するタイミングチャートである。本実施形態では、焦点検出用には、画像作成用の読み出し制御と異なり、第１のＰＤ１１２１ａと第２のＰＤ１１２１ｂをそれぞれ別に読み出す。なお、説明のため、第１のＰＤ１１２１ａの信号をＡ像、第２のＰＤ１１２１ｂの信号をＢ像と呼ぶこととする。なお、リセット動作中のパルスの制御は、前述した画像作成用の制御と同じであるため、ここでは説明を省略する。
【００５０】
リセットの完了から所定の蓄積時間をおいた後に、時刻ｔｒｄａ１で行選択信号ｐＳＥＬをアサートすることで読み出し行を選択し、以下の手順でＡ像の読み出し動作を行う。まず、時刻ｔｒｄａ２でＦＤリセット信号ｐＲＥＳをネゲートし、画素アンプ１１２５で増幅したＦＤ容量１１２３の電圧を垂直出力線１１４０及び信号増幅部１１４４を介して列ＡＤ部１１４１に入力する。
【００５１】
時刻ｔｒｄａ３でカウンタ値をゼロにしてカウントを開始し、カウント値に応じて所定のステップ量の電圧を増加した電圧信号をランプ入力として、コンパレータの片側の入力とする。時刻ｔｒｄａ４で、コンパレータの両方の入力が一致し、コンパレータ出力がＨｉｇｈになると同時に、その時点のカウンタ値を、列ＡＤ部１１４１内のＮメモリに記憶する。このときのカウント値をＮ信号と呼ぶ。時刻ｔｒｄａ５でカウンタをリセットする。
【００５２】
次に時刻ｔｒｄａ６で制御信号ｐＴＸＡのみをアサートし、第１のＰＤ１１２１ａの電荷をＦＤ容量１１２３に転送する。転送完了後の時刻ｔｒｄａ７で制御信号ｐＴＸＡをネゲートする。さらにＦＤ容量１１２３の電圧は、画素アンプ１１２５で増幅され、垂直出力線１１４０及び信号増幅部１１４４を介して列ＡＤ部１１４１に入力される。
【００５３】
時刻ｔｒｄａ８でカウンタを開始し、列ＡＤ部１１４１に入力された電圧とランプ入力の電圧が一致する時刻ｔｒｄａ９のカウント値を、列ＡＤ部１１４１内のＳメモリに記憶する。このカウント値をＡ像Ｓ信号と呼ぶ。これにより、第１のＰＤ１１２１ａの電荷に応じたデジタル信号を得ることができる。時刻ｔｒｄａ１０でカウンタをリセットする。
【００５４】
水平転送部１１７０は各列ＡＤ部１１４１内のＮメモリに記憶されたＮ信号とＳメモリに記憶されたＡ像Ｓ信号を列毎にデジタル信号処理部１１８０に転送する。デジタル信号処理部１１８０は、Ａ像Ｓ信号からＮ信号を減算処理（Ｓ−Ｎ）することで、Ａ像Ｓ信号に含まれていた回路起因のノイズをキャンセルし、焦点検出に用いるＡ像信号を生成する。
【００５５】
時刻ｔｒｄａ１１で列ＡＤ部１１４１内のＮメモリに記憶されたＮ信号とＳメモリに記憶されたＡ像Ｓ信号の水平転送部１１７０への転送が完了すると、列ＡＤ部１１４１内のＮメモリとＳメモリの情報をリセットする。
【００５６】
次に、時刻ｔｒｄａ１２で、ＦＤリセット信号ｐＲＥＳをアサートし、ＦＤ容量１１２３の電圧を固定し、時刻ｔｒｄａ１３で行選択信号ｐＳＥＬをネゲートする。
【００５７】
その後、再度時刻ｔｒｄｂ１で行選択信号ｐＳＥＬをアサートし、以下の手順でＢ像の読み出し動作を行う。時刻ｔｒｄｂ２でＦＤリセット信号ｐＲＥＳをネゲートし、画素アンプ１１２５で増幅したＦＤ容量１１２３の電圧を垂直出力線１１４０及び信号増幅部１１４４を介して列ＡＤ部１１４１に入力する。
【００５８】
時刻ｔｒｄｂ３でカウンタ値をゼロにしてカウントを開始し、カウント値に応じて所定のステップ量の電圧を増加した電圧信号をランプ入力として、コンパレータの片側の入力とする。時刻ｔｒｄｂ４で、コンパレータの両方の入力が一致し、コンパレータ出力がＨｉｇｈになると同時に、その時点のカウンタ値を、列ＡＤ部１１４１内のＮメモリに記憶する。このときのカウント値をＮ信号と呼ぶ。時刻ｔｒｄｂ５でカウンタをリセットする。
【００５９】
次に時刻ｔｒｄｂ６で制御信号ｐＴＸＢのみをアサートし、第２のＰＤ１１２１ｂの電荷をＦＤ容量１１２３に転送する。転送完了後の時刻ｔｒｄｂ７で制御信号ｐＴＸＢをネゲートする。さらにＦＤ容量１１２３の電圧は、画素アンプ１１２５で増幅され、垂直出力線１１４０及び信号増幅部１１４４を介して列ＡＤ部１１４１に入力される。
【００６０】
時刻ｔｒｄｂ８でカウンタを開始し、列ＡＤ部１１４１に入力された電圧とランプ入力の電圧が一致する時刻ｔｒｄｂ９のカウント値をＳメモリに記憶する。このカウント値をＢ像Ｓ信号と呼ぶ。これにより、第２のＰＤ１１２１ｂの電荷に応じたデジタル信号を得ることができる。時刻ｔｒｄｂ１０でカウンタをリセットする。
【００６１】
水平転送部１１７０は各列ＡＤ部１１４１内のＮメモリに記憶されたＮ信号とＳメモリに記憶されたＢ像Ｓ信号を列毎にデジタル信号処理部１１８０に転送する。デジタル信号処理部１１８０は、Ｂ像Ｓ信号からＮ信号を減算処理（Ｓ−Ｎ）することで、Ｂ像Ｓ信号に含まれていた回路起因のノイズをキャンセルし、焦点検出に用いるＢ像信号を生成する。
【００６２】
時刻ｔｒｄｂ１１で列ＡＤ部１１４１内のＮメモリに記憶されたＮ信号とＳメモリに記憶されたＢ像Ｓ信号の水平転送部１１７０への転送が完了すると、列ＡＤ部１１４１内のＮメモリとＳメモリの情報をリセットする。
【００６３】
次に、時刻ｔｒｄｂ１２で、ＦＤリセット信号ｐＲＥＳをアサートし、ＦＤ容量１１２３の電圧を固定し、時刻ｔｒｄｂ１３で行選択信号ｐＳＥＬをネゲートする。
【００６４】
上述したように、本第１の実施形態では、Ａ像の読み出しとＢ像の読み出しには、それぞれ１行分の読み出し時間をかける。
【００６５】
なお、上記例では、Ａ像とＢ像をそれぞれ読み出す場合について説明したが、Ａ像とＡ＋Ｂ像を読み出して、Ａ＋Ｂ像からＡ像を差分することによりＢ像を取得するようにしても良い。
【００６６】
本実施形態の撮像装置では、撮影モードとして、解像度の高い画像を得るために撮像素子１１００の全行を画像作成用に読み出す静止画モードと、所定のフレームレートで画像作成用の読み出しを３行周期（第１のパターン）に行う動画モードを備える。動画モードでは、画像作成用に読み出しを行っていない行から焦点検出用の読み出しを行う。画像作成用の読み出しと焦点検出用の読み出しを異なる行で行うことにより、それぞれの読み出しで別々に蓄積時間を設定することができる。
【００６７】
動画モードで駆動している際には、読み出した画像作成用の画素信号から信号処理で画像を作成した信号を、撮像装置の表示部１９５０にライブビュー表示する。さらにライブビュー表示中の画像に対して、矩形の焦点検出枠を重畳表示することで、ユーザに焦点を検出する範囲を知らせる。焦点検出枠の位置は、ユーザーがコントロ―ルボタンやタッチパネルディスプレイで操作して指定することができる。
【００６８】
また、撮像装置の信号処理部１５００は顔認識機能（被写体検出手段）を有し、人間の顔と認識された被写体の表示画面内の位置を認識することができる。顔認識機能は一般に公開されたプログラムなど、公知の手段により実現することができ、本発明では、画像における特定の被写体の大きさや位置を認識する手段であればよい。また、被写体は人間の顔でなくても良く、予め決めておいた被写体を検出してもよい。
【００６９】
撮像装置は操作部１９００のメニューボタンにより、メニュー画面から、顔認識機能のオンオフを切り替えることができる。顔認識機能をオンにした場合、顔認識機能が表示画像内に人間の顔を認識すると、その位置に前述の焦点検出枠を移動する。
【００７０】
本実施形態の撮像装置は、前述の焦点検出用の読み出し制御を焦点検出枠（焦点検出領域）に対応する範囲の画素に限定し、１フレームの読み出しにかかる時間を短縮することで、高速なフレームレートでも画像を作成しながら焦点検出用の信号を得る。
【００７１】
図７は、第１の実施形態の動画モードにおいて画像信号を得るために、横軸を時間軸として、撮像素子１１００の各行で図５と図６で説明した画像作成用のリセット及び読み出しと焦点検出用のリセット及び読み出しを行うタイミングを模式的に示している。なお、図中の（  ）内に示したＶ０などは、図２の有効画素部１１１０の各行に対応する。なお、図２は紙面の都合上、Ｖ０〜Ｖ７行目までを記載しているが、一般には、数千行を超える行で構成されている。また、第１の実施形態の動作を端的に表すために、図７では、撮像素子１１００はＶ０〜Ｖ３９の４０行分の有効画素を有するものとし、垂直ＯＢ画素部１１１１の読み出しに関しては省略する。
【００７２】
各フレームの読み出し開始は、撮像素子１１００にカメラ制御部１４００から入力される同期信号に同期して、Ｖ０行目から行う。図７に矢印で示すように、画像作成用の読み出しをすべて行った後に、焦点検出用の読み出しを行う。つまり、焦点検出枠（焦点検出領域）が画像の上部にある場合、Ｖ０→Ｖ３→Ｖ６→…→Ｖ３６、Ｖ３９の画像作成用の読み出しの次に、焦点検出用の先頭の読み出しであるＶ２の読み出しを行い、続いて、Ｖ５→Ｖ８→Ｖ１１→…→Ｖ２０を読み出す。
【００７３】
画像作成用の読み出し行と焦点検出用の読み出し行を区別せずに、Ｖ０からＶ３９までを順に読み出した場合、フレームの上部と下部とで画像作成用の蓄積時刻の差が大きくなり、動く被写体の場合、歪みが大きくなってしまう。これに対し、本実施形態の順序で読み出すことで、画像作成用の先頭行から最後の行の読み出しまでに掛かる時間が短くなり、フレームの上部と下部で生じる被写体の歪みが軽減される。
【００７４】
タイミング制御部１１５０は、読み出しの開始行と終了行と読み出し行周期を保持するレジスタを有する。フレーム毎にカメラ制御部１４００からタイミング制御部１１５０に先頭の行番号と読み出し行周期が通知され、レジスタに記憶される。そして、タイミング制御部１１５０がレジスタに記憶された先頭の行番号から読み出し行周期だけ増加するカウント値を垂直読出制御部１１６０に送り、そのカウント値に対応した行の画素に対して、図５と図６に記載の読み出し動作を行う。
【００７５】
また、カメラ制御部１４００から電気パルス信号を入力することで、０フレーム目では、図５で示した画像作成用のリセット動作を開始して、Ｖ０行から順にＶ０→Ｖ３→Ｖ６→…→Ｖ３９まで行う。この画像作成用のリセット動作の開始を決める電気パルス信号を、画像作成行シャッタ信号と呼ぶ。さらに、カメラ制御部１４００から電気パルス信号を入力することで、図６で示した焦点検出用のリセット動作を、Ｖ０行から順にＶ２→Ｖ５→Ｖ８→…→Ｖ２０まで行う。この焦点検出用のリセット動作の開始を決める電気パルス信号を、焦点検出行シャッタ信号と呼ぶ。
【００７６】
リセット動作は、読み出し動作と同様にタイミング制御部１１５０が先頭の行番号から読み出し行周期だけ増加するカウント値を垂直読出制御部１１６０に送り、そのカウント値に対応した行の画素に対して図５と図６に記載のリセット動作を行う。このように制御することで、撮像素子１１００の各行で、リセット動作から読み出し動作までの期間にフォトダイオードで受光した光を電荷に変換して蓄積する。
【００７７】
図７は、焦点検出枠が読み出しの順方向（Ｖ０→Ｖ３９方向）に移動する場合の前後のフレームを示している。つまり、１フレーム目でＶ２→Ｖ５→Ｖ８→Ｖ１１→Ｖ１４→Ｖ１７→Ｖ２０で焦点検出用の読み出しを行った後、焦点検出枠の移動に伴って２フレーム目でＶ１１→Ｖ１４→Ｖ１７→Ｖ２３→Ｖ２６→Ｖ２９で焦点検出用の読み出しを行っている。
【００７８】
図８は、焦点検出用の蓄積時間が長い場合を示す。このとき、焦点検出行のＶ１１、Ｖ１４、Ｖ１７、Ｖ２０が、焦点検出枠の移動前の読み出しに移動後のリセットが先行してしまい、該当する行では意図した蓄積時間の信号が得られず、所望の信号量が得られない。この現象は、焦点検出行の蓄積時間がフレームレートの周期と同等程度に長秒蓄積であり、かつ焦点検出用の読み出し行の選択が読み出しの順方向に移動した場合に、移動の前後で重複する行でのみ発生する。
【００７９】
例えば、屋内などの暗い状況下において、焦点検出用の読み出しの蓄積時間を長く設定し、顔追尾ＡＦで焦点検出枠が毎フレーム移動し続けているようなケースにおいて、所望の信号量が得られず、狙った被写体に対して正しく合焦できなくなる。
【００８０】
図９は、焦点検出枠が１フレーム目と２フレーム目で変更された場合の焦点検出用の行のリセット動作を示す模式図である。図９の横軸は同期信号からの時刻であり、縦軸は撮像素子１１００の読み出し行である。１フレーム目と２フレーム目で焦点検出用の行の蓄積時間が同じ場合、図９に示すように２フレーム目のリセット動作は、１フレーム目のリセット動作を下方向に平行移動したものとなる。
【００８１】
ここで、１フレームでの焦点検出行の移動量をＰ、焦点検出用の読み出し行周期をＱ、１行の読み出しに掛かる時間をＲとする。なお、１フレームでの焦点検出行の移動の方向（列方向）が読み出しの順方向（Ｖ０→Ｖ３９方向）の場合にはＰを正の値とし、読み出しの逆方向（Ｖ３９→Ｖ０方向）の場合にはＰを負の値とする。このとき、フレーム間で重複する行の焦点検出画素の蓄積時間のずれ量Ｓは、下記の式（１）により表すことができる。
Ｓ＝（Ｐ／Ｑ）×Ｒ      …（１）
さらに、撮像装置のフレームレートをＦとしたときに、１フレーム目の読み出し動作を２フレーム目のリセット動作が先行しないようにするためには、蓄積時間は下記式（２）により示される閾値ｔｈよりも短かくなければならない。
ｔｈ＝Ｆ−1−Ｓ      …（２）
ここで、閾値ｔｈは、式（１）より、焦点検出行の移動量Ｐに依存する。ただし、１フレーム間の焦点検出行の移動量Ｐが、１フレームの焦点検出行数Ｕよりも大きい場合、１フレーム目と２フレーム目の焦点検出行が重複することが無くなる。つまり、下記式（３）が満たされる場合には、式（２）の条件を満たす必要はない。
Ｐ ＞ Ｕ      …（３）
【００８２】
また、撮像装置は、後述する用途に応じた複数のオートフォーカス（ＡＦ）モードを持つ。ＡＦモードは、撮像装置の操作部１９００にあるメニューボタンや表示部１９５０のタッチパネルディスプレイなどから適宜選択する。
【００８３】
複数のＡＦモードのうち、顔追尾ＡＦモードは、動画モードで駆動しているときに、ＡＦ動作を継続的に行い、焦点検出枠内の被写体に毎フレーム合焦させ続けるために用いられる。ワンショットＡＦモードは、動画モードで駆動してライブビュー表示を行っている時に操作部１９００の撮影ボタンを半押しされたことで、静止画の撮影開始を検知した時に行われる。撮影ボタンを半押しに応じてＡＦ駆動を開始し、その時点の焦点検出枠内の被写体に合焦した後に静止画モードで撮影するために用いられる。また、顔追尾ＡＦモード時に撮影ボタンの半押し操作が行われた際も、ワンショットＡＦモードに即座に切換える。このように、ワンショットＡＦモードは、動画モードに優先して実施される。
【００８４】
多点ＡＦモードは、動画モードで駆動し、画面の広い範囲に、離散的に焦点検出枠を複数配置し、各焦点検出枠のピント状態を把握し、画面の広い範囲でピントを合わせるように駆動する。多点ＡＦモード時に撮影ボタンの半押し操作が行われた際も、ワンショットＡＦモードに即座に切換える。
【００８５】
図１０は、これらのＡＦモードのそれぞれで、焦点検出用の読み出しにおいて次のフレームのリセット動作が現フレームの読み出し動作を先行してしまうことを回避するための本第１の実施形態における焦点検出行の設定処理を示すフローチャートである。図１０に示す処理は、各フレームの先頭、及び、撮影ボタンの半押し操作でＡＦモードが切り換えられた時に行われる。
【００８６】
まず、Ｓ１００においてＡＦモードの種類を判定し、顔追尾ＡＦモードであると判定されると、Ｓ２００の処理に進む。Ｓ２００では、式（３）で示した１フレームでの焦点検出行の移動量のチェックを行う。１フレームでの焦点検出行の移動量Ｐが、１フレームでの焦点検出行数Ｕより大きい場合、Ｓ４００の処理に進み、移動量Ｐが焦点検出行数Ｕ以下の場合、Ｓ３００に進む。
【００８７】
Ｓ３００では、焦点検出用の蓄積時間の判定を行う。焦点検出用の蓄積時間が式（２）で示した閾値ｔｈ未満の場合はＳ４００の処理に進み、閾値ｔｈ以上の場合はＳ５００の処理に進む。Ｓ４００は後述する顔追尾ＡＦモードの焦点検出用の読み出しを予め決められたｎ行周期（ここでは式（１）の周期Ｑ）にする処理である。
【００８８】
一方、Ｓ５００では、焦点検出用の読み出しをｍ行周期にして、後述する開始行位相シフトをする処理を行う。開始行位相シフトとは、ｍ行周期で読み出しているときに、画像作成用の読み出しの開始行を基点として、焦点検出用の読み出しの開始行を
ｉ＋ｎ×ｊ＋ｍ×ｋ  （ｉ＝１、２、…ｎ−１）
（ｊは、０以上で、ｍ／ｎを超えない整数）
（ｋ＝整数）
を満たす行の中から、１つ前のフレームと、同じｉとｊの組み合わせ（ｉ、ｊ）で焦点検出用の読み出し行を選択しないように制御することである。
【００８９】
たとえば、ｍ＝６行周期のとき、ｉ＝２、ｊ＝０、ｋ＝０とし、Ｖ２→Ｖ８→Ｖ１４→・・・と読む場合と、ｉ＝２、ｊ＝１、ｋ＝０とし、Ｖ５→Ｖ１１→Ｖ１７を読む場合を、前後のフレームで切換える制御を行う（第３のパターン）。このＳ５００の処理により、焦点検出用の読み出しを読み出しの順方向に移動した場合に、移動前のフレームでの焦点検出用の読み出しを、移動後のフレームの焦点検出用のリセット動作が先行してしまうことを回避することができる。
【００９０】
Ｓ４００またはＳ５００の処理により、顔追尾ＡＦモードとされたときの焦点検出行の設定処理を終了する。そして、ここでの設定に基づいて、後述する焦点検出用の読み出し制御を行い、ＡＦ駆動をする。
【００９１】
一方、Ｓ１００でワンショットＡＦモードと判定されると、Ｓ３４０の処理に進む。Ｓ３４０では、ＡＦモードの切り替えが行われたかどうかを判定する。ＡＦモードが前の状態と変わっていた場合にはＳ３５０の処理に進み、ＡＦモードが前の状態と一致している場合は、Ｓ４００の処理に進む。
【００９２】
Ｓ３５０において、次のフレームでの焦点検出用の読み出しをしない設定に変更し、Ｓ３６０の処理に進む。Ｓ３６０では、画像作成用でない行の画素を一括リセットし、Ｓ４００に進む。Ｓ４００では、焦点検出用の読み出し行をｎ行周期にする。
【００９３】
上記のＳ３５０、Ｓ３６０の処理により、前のＡＦモードによる焦点検出行の読み出し動作がキャンセルされ、前フレームの状態によらず、現フレームからｎ行周期で読み出しを開始できるようにする。また、Ｓ３４０の処理でワンショットＡＦモードが継続した場合にも、ｎ行周期の焦点検出読み出しを連続して行うことができる。
【００９４】
Ｓ４００の処理で、ワンショットＡＦモードと判定されたときの焦点検出行の設定処理を終了する。そして、ここでの設定に基づいて、後述するワンショットＡＦモードの焦点検出用の読み出し制御を行い、ＡＦ駆動をする。
【００９５】
また、Ｓ１００で多点ＡＦモードと判定されると、Ｓ６００の処理に進む。Ｓ６００は焦点検出用の読み出し行を固定パターン読み出しにする。多点ＡＦモードは、画面全体で焦点検出を行うために、複数の焦点検出枠を互いに重ならないように配置する。焦点検出を行える範囲と、焦点検出枠の密度を効率良く配置するため、単一の読み出し周期ではなく、予めプログラムされたパターンで読み出しを行う。
【００９６】
Ｓ６００の処理で、多点ＡＦモードと判定されたときの焦点検出行の設定処理を終了する。そして、ここでの設定に基づいて、後述する多点ＡＦモードの焦点検出用の読み出し制御を行い、ＡＦ駆動をする。
【００９７】
次に、図１０のフローチャートで説明した各ＡＦモードでの撮像素子１１００のリセット動作及び読み出し動作について、順に説明する。
【００９８】
図１１は、顔追尾ＡＦモードで駆動しているときに、横軸を時間軸として、撮像素子１１００の各行で図５と図６で説明した画像作成用のリセット及び読み出しと、焦点検出用のリセット及び読み出しを行うタイミングを模式的に示す図である。
【００９９】
１フレーム目は、その前のフレームから焦点検出用の蓄積時間がフレームレートの周期に対して短い設定であり、３行周期でＶ２→Ｖ５→Ｖ８→Ｖ１１→Ｖ１４→Ｖ１７→Ｖ２０（第２のパターン）を順に読み出す。
【０１００】
ここで、１フレーム目において、焦点検出用の蓄積時間を前述の問題が起きうる長秒蓄積時間への変更指示が、カメラ制御部１４００から通知されたものとする。この場合、２フレーム目では、焦点検出用の蓄積時間の変更をせず、焦点検出行の周期を６行周期（または、３×ｋ行周期、ｋは２以上の整数）としてＶ２→Ｖ８→Ｖ１４→Ｖ２０（第３のパターン）を順に読み出す。３フレーム目で、実際に長秒蓄積を開始する。次に３フレーム目では、２フレーム目と焦点検出行の開始行の位相を変更し、６行周期でＶ５→Ｖ１１→Ｖ１７→Ｖ２３（第３のパターン）を順に読み出す。２フレーム目と３フレーム目のような焦点検出行の読み出しを６行周期で、開始行の位相をずらす制御を交互に繰り返すことで、その次のフレームより、焦点検出枠が読み出しの順方向に移動しても、蓄積時間によらず移動前後で重複する行が発生しなくなる。
【０１０１】
このような制御を実現する方法について、図１１を用いてさらに説明を加える。タイミング制御部１１５０は、焦点検出リセット行選択レジスタと焦点検出読出行選択レジスタをもつ。
【０１０２】
焦点検出リセット行選択レジスタは、焦点検出行シャッタ信号に同期して設定内容が反映されるレジスタである。焦点検出リセット行選択レジスタは、ダブルバッファとなっており、事前にカメラ制御部１４００から設定内容を通信しておくことができる。また、焦点検出リセット行選択レジスタには、開始行と終了行と読み出し行周期の情報が保持されており、垂直読出制御部１１６０において、図６に記載のリセットのタイミングパルスを開始行から読み出し行周期だけ行を飛ばして順に走査していく。そして、垂直読出制御部１１６０は、次の選択行がレジスタの終了行設定以内であれば走査を継続し、設定より大きい場合に行の選択を終了するように動作する。
【０１０３】
０フレーム目において、焦点検出リセット行選択レジスタに「Ｖ２開始〜Ｖ２０終了、３周期」となるように、事前に設定内容をカメラ制御部１４００からタイミング制御部１１５０に通信しておく。これにより、０フレーム目の焦点検出行シャッタ信号に同期して反映される。垂直読出制御部１１６０は、焦点検出リセット行選択レジスタに従って、Ｖ２→Ｖ５→Ｖ８→Ｖ１１→Ｖ１４→Ｖ１７→Ｖ２０の順に、図６に記載のリセットのタイミングパルスで走査して、１フレーム目に読み出す画素の蓄積を開始する。
【０１０４】
焦点検出用の読み出しを行う行の設定は、同期信号に同期してそのフレームでの焦点検出読出行選択レジスタの設定内容が反映される。焦点検出読出行選択レジスタは、ダブルバッファとなっており、事前にカメラ制御部１４００から設定内容を通信しておくことができる。焦点検出読出行選択レジスタは、開始行と終了行と読出行周期の情報を保持しており、前回のリセット行と同じ行を選択するように設定する。そして、垂直読出制御部１１６０は、次の選択行がレジスタの終了行設定以内であれば走査を継続し、設定より大きい場合に行の選択を終了するように動作する。
【０１０５】
１フレーム目の同期信号で、焦点検出読出行選択レジスタに「Ｖ２開始〜Ｖ２０終了、３行周期」が反映されるように、事前にカメラ制御部１４００からタイミング制御部１１５０に設定内容を通信しておく。垂直読出制御部１１６０は、１フレーム目の同期信号で画像作成行の読み出しを行い、その後に焦点検出読出行選択レジスタに従って、Ｖ２→Ｖ５→Ｖ８→Ｖ１１→Ｖ１４→Ｖ１７→Ｖ２０の順に図６に記載の読み出しのタイミングパルスで走査していく。
【０１０６】
さらに、１フレーム目の焦点検出行シャッタ信号で、焦点検出リセット行選択レジスタに「Ｖ２開始〜Ｖ２０終了、６行周期」が反映されるように事前に設定内容をカメラ制御部１４００からタイミング制御部１１５０に通信しておく。１フレーム目の焦点検出行シャッタ信号でリセット動作を走査させ、２フレーム目に読み出す画素の蓄積を開始する。
【０１０７】
２フレーム目の同期信号で、焦点検出読出行選択レジスタに「Ｖ２開始〜Ｖ２０終了、６行周期」が反映されるように、事前に設定内容をカメラ制御部１４００からタイミング制御部１１５０に通信しておく。２フレーム目の同期信号で画像作成行の読み出しを行い、その後に該当する焦点検出行の読み出しを行う。
【０１０８】
さらに、２フレーム目の焦点検出行シャッタ信号で、焦点検出リセット行選択レジスタに「Ｖ５開始〜Ｖ２３終了、６行周期」が反映されるように、事前に設定内容をカメラ制御部１４００からタイミング制御部１１５０に通信しておく。２フレーム目の焦点検出行シャッタ信号でリセット動作を走査させ、３フレーム目に読み出す画素の蓄積を開始する。
【０１０９】
３フレーム目の同期信号で、焦点検出読出行選択レジスタには「Ｖ５開始〜Ｖ２３終了、６行周期」が反映されるように事前に設定内容をカメラ制御部１４００からタイミング制御部１１５０に通信しておく。３フレーム目の同期信号で画像作成行の読み出しを行い、その後に該当する焦点検出行の読み出しを行う。
【０１１０】
このように制御することで、顔追尾ＡＦモードにおいて、２フレーム目の焦点検出行の読み出しは、同じく２フレーム目の期間中に行う３フレーム目の画素の蓄積開始の影響を受けずに、所望の蓄積時間の信号を得ることができる。
【０１１１】
図１２は、ワンショットＡＦモードで駆動しているときに、横軸を時間軸として、撮像素子１１００の各行で図５と図６で説明した画像作成用のリセット及び読み出しと、焦点検出用のリセット及び読み出しを行うタイミングを模式的に示す図である。
【０１１２】
図１２において、０フレーム以前は、上述した顔追尾ＡＦモードで駆動している状態であり、０フレーム目にユーザにより撮影ボタンが半押しされ、カメラ制御部１４００でＡＦモードをワンショットＡＦモードに切換えているものとする。
【０１１３】
ＡＦモードの変更が行われた次のフレームである１フレーム目では、焦点検出行シャッタ信号と同時に画像作成非選択行一括リセット信号がアサートされる。また、ＡＦモードが切り換えられたときに、１フレーム目の同期信号で焦点検出読出行レジスタを「読み出さない」が反映されるように、カメラ制御部１４００からタイミング制御部１１５０に事前に通信しておく。こうすることで、１フレーム目で焦点検出行の読み出し動作が行われなくなる。
【０１１４】
画像作成非選択行一括リセット信号は、画像作成用の読み出しに使われていない行に対して、同タイミングで一括のリセット動作を行うために用いられ、画像作成行でない行に対して、図６に記載のリセット動作が同時に行われる。なお、図１２では不図示であるが、Ｖ１、Ｖ４、Ｖ７、…の行も読み出し行ではないので、同時にリセットされている。
【０１１５】
このように、０フレーム目から蓄積されていた画素をリセットし、１フレーム目の読み出しを行わないことで、２フレーム目より任意の蓄積時間を設定して焦点検出用の信号を得ることができる。
【０１１６】
また、２フレーム目では、焦点検出用の読み出し行の周期に関しても任意に選択することができ、３行周期で焦点検出用の読み出しを行うことで、小さい被写体にもピントを合わせることが可能となる。
【０１１７】
ワンショットＡＦ動作は、２フレーム目の信号で行うが、撮影ボタンの半押しが継続されている期間は、焦点検出枠の位置を固定し、同じ読み出し動作を合焦するまで継続することもできる。
【０１１８】
図１３は、多点ＡＦモードで駆動しているときに、横軸を時間軸として、撮像素子１１００の各行で図５と図６で説明した画像作成用のリセット及び読み出しと、焦点検出用のリセット及び読み出しを行うタイミングを模式的に示した図である。
【０１１９】
各フレームの読み出し開始は、撮像素子１１００に外部のカメラ制御部１４００から入力される同期信号に同期してＶ０行から行う。図中に矢印で示しているように、画像作成用の読み出しをすべて行った後に、焦点検出用の読み出しを行う。
【０１２０】
多点ＡＦモードでは、本実施形態では、焦点検出用の読み出し行をＶ２→Ｖ５→Ｖ８と、Ｖ１７→Ｖ２０→Ｖ２３と、Ｖ３２→Ｖ３５→Ｖ３８の３つのグループに分ける。Ｖ２→Ｖ５→Ｖ８が画面上側の焦点検出を担い、同様にＶ１７→Ｖ２０→Ｖ２３は画面中央、Ｖ３２→Ｖ３５→Ｖ３８は画面下側の焦点検出をそれぞれ担当する。
【０１２１】
焦点検出読出行選択レジスタには「読み出しパターン１」を示す情報を設定し、タイミング制御部１１５０が読み出しパターン１として予めプログラミングされた動作として、行選択動作を行うことで実現できる。このような読み出しをすることにより、離散的ではあるが、毎フレーム同じ読み出し行の選択でありながら、画面全体の焦点検出を行うことができる。
【０１２２】
リセット動作については、焦点検出リセット行選択レジスタに「リセットパターン１を設定し、焦点検出行シャッタに同期して、タイミング制御部１１５０が予めプログラミングされた動作を実行する。
【０１２３】
多点ＡＦモードにおいては、焦点検出枠に応じて焦点検出用の読み出し行を変更する必要がなく、焦点検出用の読み出しの周期と位相を蓄積時間に応じて変更しなくてもよい。
【０１２４】
また、多点ＡＦモードの別の例として、画面全体の所定位置に割り当てられた複数の焦点検出枠を複数フレームに分けて順次読み出す方法もある。図１４にその場合の多点ＡＦモードの駆動の一例を表す模式図を示す。図１３に示す例と異なり、焦点検出用の読み出し行のＶ２→Ｖ５→Ｖ８と、Ｖ１７→Ｖ２０→Ｖ２３と、Ｖ３２→Ｖ３５→Ｖ３８のグループの読み出しを、それぞれ１フレーム目、２フレーム目、３フレーム目で行う。このように複数フレームに分けて焦点検出用の読み出しを行うことで、１フレーム当たりの読み出しにかかる時間を抑えつつ、画面全体から焦点検出読み出しを行うことができる。
【０１２５】
多点ＡＦモードの駆動の例として挙げた図１３及び図１４のいずれの場合においても、予め決めておいた焦点検出用の読み出しを繰り返せばよく、焦点検出用の読み出しの周期と位相を蓄積時間に応じて変更しなくてもよい。
【０１２６】
多点ＡＦモードから、撮影ボタンの半押しなどの所定の操作から、即座に焦点検出枠の被写体に合焦させるワンショットＡＦモードに切り替えてもよい。その場合、多点ＡＦモードとは別にワンショットＡＦモード用の焦点検出枠を持つ。ワンショットＡＦモードへの切換とともに、多点モードの最終フレームの読み出しを行わずに、切り替え直後の最初の焦点検出行シャッタ信号に同期して画像作成非選択行を一括リセットする。しかる後にワンショットＡＦモード用の焦点検出枠に応じたリセット動作と読み出し動作を行うことで、即座に所望の蓄積時間でワンショットＡＦを行うことができる。
【０１２７】
上述の通り第１の実施形態によれば、焦点検出で使用するフレームで、所望の蓄積時間の信号を得ることができる。
【０１２８】
＜第２の実施形態＞
次に、図１５を参照して、本発明の第２の実施形態について説明する。第２の実施形態において、図１５は、次のように図１１に示す顔検出ＡＦモード時の動作を変形した例である。また、第２の実施形態では、タイミング制御部１１５０は、焦点検出リセット行選択レジスタ（１）と焦点検出リセット行選択レジスタ（２）、及び、焦点検出読出行選択レジスタ（１）と焦点検出読出行選択レジスタ（２）を持つ。これら以外の装置構成及び処理は、上述した第１の実施形態と同様であるため、説明を省略する。
【０１２９】
なお、撮像素子１１００は焦点検出リセット行選択レジスタ（１）に対応した焦点検出行シャッタ信号（１）と焦点検出リセット行選択レジスタ（２）に対応した焦点検出行シャッタ信号（２）を外部のカメラ制御部１４００より受けられる構成をもつ。
【０１３０】
第２の実施形態によれば、２つの焦点検出行シャッタ信号により、フレーム間で読み出し行の位相をずらした焦点検出画素の蓄積時間をフレームレートの周期以上で動作させることができる。
【０１３１】
図１５では、３フレーム分のリセット及び読み出し動作を模式的に示している。１フレーム目は、その前のフレームから焦点検出用の蓄積時間がフレームレートの周期に対して短い設定で、３行周期でＶ２→Ｖ５→Ｖ８→Ｖ１１→Ｖ１４→Ｖ１７→Ｖ２０を順に読み出している。
【０１３２】
１フレーム目において、焦点検出用の蓄積時間をフレームレートの周期以上の長秒蓄積設定への変更指示が通知されたとき、２フレーム目は１フレーム目と同じ蓄積時間となるようにリセット制御を行う。そして、３フレーム目でフレームレートの周期以上の蓄積となるようにリセット制御を行う。そして、２フレーム目では焦点検出行を６行周期でＶ８→Ｖ１４→Ｖ２０→Ｖ２６を順に読み出す。３フレーム目で、１フレーム目から蓄積を開始していたＶ１１→Ｖ１７→Ｖ２３→Ｖ２９の画素を読み出すことで、フレームレートの周期以上の光を蓄積した信号を得る。
【０１３３】
なお、図１５には記載していないが、３フレーム目で、４フレーム目の蓄積を開始させるリセット動作を行っておくことで、４フレーム目でもフレームレートの周期以上の光を蓄積した信号を得ることができる。
【０１３４】
このような制御を実現する方法について、図１５を用いてさらに説明する。焦点検出リセット行選択レジスタ（１）は、焦点検出行シャッタ信号（１）に同期して内容を更新するレジスタである。焦点検出リセット行選択レジスタ（２）は、焦点検出行シャッタ信号（２）に同期して内容を更新するレジスタである。焦点検出リセット行選択レジスタ（１）及び焦点検出リセット行選択レジスタ（２）はダブルバッファとなっており、事前にカメラ制御部１４００から設定内容を通信しておくことができる。
【０１３５】
焦点検出リセット行選択レジスタ（１）及び焦点検出リセット行選択レジスタ（２）には、開始行と終了行と読み出し行周期の情報が保持されている。これらの情報から、垂直読出制御部１１６０は、図６に記載のリセット動作のタイミングパルスを生成する。
【０１３６】
また、焦点検出読出行選択レジスタ（１）及び焦点検出読出行選択レジスタ（２）は、同期信号に同期して内容を更新するレジスタである。焦点検出読出行選択レジスタ（１）及び焦点検出読出行選択レジスタ（２）はダブルバッファとなっており、事前にカメラ制御部１４００から設定内容を通信しておくことができる。
【０１３７】
焦点検出読出行選択レジスタ（１）及び焦点検出読出行選択レジスタ（２）には、開始行と終了行と読み出し行周期の情報が保持されており、これらの情報から、垂直読出制御部１１６０は、図６に記載の読み出し動作のタイミングパルスを生成する。
【０１３８】
０フレーム目において、焦点検出リセット行選択レジスタ（１）に「Ｖ２開始〜Ｖ２０終了、６行周期」と設定し、Ｖ２→Ｖ８→Ｖ１４→Ｖ２０に対してリセット動作を順に行う。また、０フレーム目において、焦点検出リセット行選択レジスタ（２）に「Ｖ５開始〜Ｖ１７終了、６行周期」と設定し、Ｖ５→Ｖ１１→Ｖ１７に対してリセット動作を順に行う。
【０１３９】
垂直読出制御部１１６０において、焦点検出リセット行選択レジスタ（１）の開始行から終了行まで、読み出し行周期だけ飛ばして順に図６記載のリセットのタイミングパルスで走査していく。同様に、焦点検出リセット行選択レジスタ（２）の開始行から終了行まで、読み出し行周期だけ行を飛ばして順に図６に記載のリセットのタイミングパルスで走査していく。
【０１４０】
次に１フレーム目の同期信号で１フレーム目の焦点検出読出行選択レジスタ（１）、焦点検出読出行選択レジスタ（２）の設定内容が反映されるように、事前にカメラ制御部１４００からタイミング制御部１１５０に設定内容を通しておく。
【０１４１】
焦点検出読出行選択レジスタ（１）及び焦点検出読出行選択レジスタ（２）には、開始行と終了行と読み出し行周期の情報が保持されており、前回のリセット行と同じ行が選択するように設定する。したがって、焦点検出読出行選択レジスタ（１）には、「Ｖ２開始〜Ｖ２０終了、６行周期」となるように設定をしておき、焦点検出読出行選択レジスタ（２）には、「Ｖ５開始〜Ｖ１７終了、６行周期」となるように設定をしておく。そして、垂直読出制御部１１６０において、焦点検出画素の読み出しを開始行から読み出し行周期だけ行を飛ばして順に図６記載の読み出しのタイミングパルスで走査していく。
【０１４２】
また、図１５の１フレーム目のように、焦点検出読出行選択レジスタ（１）と焦点検出読出行選択レジスタ（２）が両方とも設定されている場合は、垂直読出制御部１１６０で２つのレジスタが示す選択行のＯＲを取り、行番号の小さい順に走査する。そして、次の選択行がレジスタの終了行設定以内であれば走査を継続し、設定より大きい場合に行の選択を終了するように動作する。
【０１４３】
さらに、１フレーム目の焦点検出行シャッタ信号で、Ｖ１１→Ｖ１７→Ｖ２３→Ｖ２９を選択するように、焦点検出リセット行選択レジスタ（１）に「Ｖ１１開始〜Ｖ２９終了、６行周期」となるように設定しておく。そして、焦点検出行シャッタ信号（１）でリセット動作を走査させる。
【０１４４】
同様に、１フレーム目の焦点検出行シャッタ信号で、Ｖ８→Ｖ１４→Ｖ２０→Ｖ２６を選択するように、焦点検出リセット行選択レジスタ（２）に「Ｖ８開始〜Ｖ２６終了、６行周期」となるように設定しておく。そして、焦点検出行シャッタ信号（２）でリセット動作を走査させる。
【０１４５】
２フレーム目の同期信号で、焦点検出読出行選択レジスタ（１）に「読み出さない」設定が反映されるように事前にカメラ制御部１４００からタイミング制御部１１５０に設定内容を通信しておく。２フレーム目の同期信号で焦点検出読出行選択レジスタ（２）に「Ｖ８開始〜Ｖ２６終了、６行周期」が反映されるように事前にカメラ制御部１４００からタイミング制御部１１５０に設定内容を通信しておく。
【０１４６】
２フレーム目の同期信号で、画像作成行の読み出しを行い、その後に該当する焦点検出行の読み出しを行う。
【０１４７】
このようにすることで、焦点検出リセット行選択レジスタ（１）に対応した画素の蓄積を継続したまま、焦点検出リセット行選択レジスタ（２）に対応した画素の読み出しを行うことができる。
【０１４８】
３フレーム目の同期信号で、焦点検出読出行選択レジスタ（１）に「Ｖ１１開始〜Ｖ２９終了、６行周期」の設定が反映されるように事前にカメラ制御部１４００からタイミング制御部１１５０に設定内容を通信しておく。また、３フレーム目の同期信号で、焦点検出読出行選択レジスタ（２）に「読み出さない」設定が反映されるように事前にカメラ制御部１４００からタイミング制御部１１５０に設定内容を通信しておく。３フレーム目の同期信号で、画像作成行の読み出しを行い、その後に該当する焦点検出行の読み出しを行う。
【０１４９】
３フレーム目で読み出すＶ１１→Ｖ１７→Ｖ２３→Ｖ２９は、１フレーム目に蓄積を開始した画素であり、フレームレートの周期以上の蓄積時間の信号を得ることができる。
【０１５０】
上記の通り本第３の実施形態によれば、焦点検出行の読み出しを６行周期で開始行の位相をずらす制御を交互に繰り返し、各読み出し位相ごとに蓄積を開始するタイミングを決定する。これにより、フレームレートの周期以上の蓄積時間が扱えるようになる。
【０１５１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１５２】
例えば、上記第１及び第２の実施形態では、画像作成用の読み出しを３行周期、焦点検出用の読み出しを６行周期で行う場合について説明したが、これに限るものでは無い。例えば、画像作成用の読み出しを２行周期、焦点検出用の読み出しを４行周期としたり、画像作成用の読み出しを２行読みだして２行間引く、といった予め決められたパターンで読み出しを行う場合にも、本願発明を適用することが可能である。すなわち、画像作成用と焦点検出用とで、読み出す行が重複していなければよい。
【０１５３】
また、上記第１及び第２の実施形態では、画像作成行の読み出しを行い、その後に該当する焦点検出行の読み出しをすることを示したが、焦点検出行の読み出しを行った後に、画像作成行の読み出しを行う構成を採ってもよい。
【０１５４】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１５５】
１１００：撮像素子、１１２０：画素、１１２１ａ：第１のフォトダイオード、１１２１ｂ：第２のフォトダイオード、１１５０：タイミング制御部、１１６０：垂直読出制御部、１１９０：マイクロレンズ、１４００：カメラ制御部、１９００：操作部、
【図１】
2018050267.tif 000003
【図２】
2018050267.tif 000004
【図３】
2018050267.tif 000005
【図４】
2018050267.tif 000006
【図５】
2018050267.tif 000007
【図６】
2018050267.tif 000008
【図７】
2018050267.tif 000009
【図８】
2018050267.tif 000010
【図９】
2018050267.tif 000011
【図１０】
2018050267.tif 000012
【図１１】
2018050267.tif 000013
【図１２】
2018050267.tif 000014
【図１３】
2018050267.tif 000015
【図１４】
2018050267.tif 000016
【図１５】
2018050267.tif 000017