(57)【要約】      （修正有）【課題】瞳分割方式の焦点検出が可能な撮像素子を用い、ノイズが抑制された良好な画像を得ることができる撮像装置を提供する。【解決手段】各々が複数のフォトダイオードを有する画素が２次元状に複数配列された撮像素子において、焦点検出処理用の信号６０３及び出力画像用の信号６０１を読み出す第１の読み出しモードと、焦点検出処理用の信号を読み出さずに出力画像用の信号６００、６０２を読み出す第２の読み出しモードのいずれかのモードで撮像素子を駆動制御し、撮像素子の列方向において複数画素の信号を混合して読み出す場合に、第１の読み出しモードと第２の読み出しモードとで、混合して読み出す画素数を異ならせる。これにより、出力画像の列方向の画素数が減ることを防ぎ、ノイズが抑制された良好な画像を得る。【選択図】図６
2017092605.tif 000002
【特許請求の範囲】
【請求項１】
各々が複数の光電変換素子を有する画素が２次元状に複数配列された撮像素子と、
前記撮像素子からの信号を基に焦点検出処理を行う処理手段と、
前記撮像素子から焦点検出処理用の信号及び出力画像用の信号を読み出す第１の読み出しモードと、前記撮像素子から前記焦点検出処理用の信号を読み出さずに前記出力画像用の信号を読み出す第２の読み出しモードのいずれかのモードで前記撮像素子を駆動制御する制御手段とを有し、
前記制御手段は、前記撮像素子から列方向において複数画素の出力信号を混合して読み出す場合に、前記第１の読み出しモードと前記第２の読み出しモードとで出力信号を混合して読み出す画素数を異ならせるように制御することを特徴とする撮像装置。
【請求項２】
前記第２の読み出しモードで出力信号を混合して読み出す画素数が、前記第１の読み出しモードで出力信号を混合して読み出す画素数より多いことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段は、前記画素の信号を出力する列出力線に同時に接続する画素数を制御することで出力信号を混合して読み出す画素数を制御することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記制御手段は、複数の画素のフローティングディフュージョン部同士を接続するスイッチを制御することで出力信号を混合して読み出す画素数を制御することを特徴とする請求項１又は２記載の撮像装置。
【請求項５】
第１の読み出しモードでは、前記出力画像用の信号を読み出す画素と前記焦点検出処理用の信号を読み出す画素とをフレーム内で異ならせることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
第１の読み出しモードから第２の読み出しモードに移行する場合、前記第２の読み出しモードでの最初の前記出力画像用の信号の読み出しは、前記第１の読み出しモードで出力信号を混合して読み出す画素数と同じ画素数の出力信号を混合して読み出すことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記第１の読み出しモードでの最後の前記焦点検出処理用の信号の読み出しが終わる前に、前記第２の読み出しモードでの最初の前記出力画像用の信号を読み出す画素のリセットが行われる場合、前記第２の読み出しモードでの最初の前記出力画像用の信号を前記第１の読み出しモードで出力信号を混合して読み出す画素数と同じ画素数の出力信号を混合して読み出すことを特徴とする請求項６記載の撮像装置。
【請求項８】
被写体を撮影した画像の空間周波数を測定する被写体解析手段を有し、
前記制御手段は、前記被写体解析手段による結果に基づいて前記第１の読み出しモードで出力信号を混合して読み出す画素数を変更することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
被写体を撮影した画像の空間周波数が高い場合、前記第１の読み出しモードで出力信号を混合して読み出す画素数を増やすことを特徴とする請求項８記載の撮像装置。
【請求項１０】
各々が複数の光電変換素子を有する画素が２次元状に複数配列された撮像素子を備える撮像装置の制御方法であって、
前記撮像素子からの信号を基に焦点検出処理を行う処理工程と、
前記撮像素子から焦点検出処理用の信号及び出力画像用の信号を読み出す第１の読み出しモードと、前記撮像素子から前記焦点検出処理用の信号を読み出さずに前記出力画像用の信号を読み出す第２の読み出しモードのいずれかのモードで前記撮像素子を駆動制御する制御工程とを有し、
前記制御工程での制御は、前記撮像素子から列方向において複数画素の出力信号を混合して読み出す場合に、前記第１の読み出しモードと前記第２の読み出しモードとで出力信号を混合して読み出す画素数を異ならせる制御を含むことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラ等に用いられる撮像素子において、瞳分割方式の焦点検出が可能な技術が開示されている。例えば特許文献１には、撮像素子の１つの画素に２つのフォトダイオードを有し、各フォトダイオードが１つのマイクロレンズによって撮像レンズの異なる瞳領域を通過した光を受光する構成が開示されている。この構成では、２つのフォトダイオードからの出力信号を比較することで撮像レンズでの焦点検出が可能となり、また、２つのフォトダイオードからの出力信号を混合することで撮影画像の信号を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１２４９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述した瞳分割方式の焦点検出が可能な撮像素子から信号を読み出す際に、自動焦点検出（オートフォーカス、ＡＦ）のための信号を読み出す場合と自動焦点検出のための信号を読み出さない場合とで、信号読み出し方法を異ならせることが考えられる。例えば、自動焦点検出用の信号を読み出さずに通常撮像用の信号のみを読み出す場合には、撮像素子からの画像信号の読み出し速度を上げるために垂直方向（列方向）における複数画素の出力信号を混合して読み出す。また、自動焦点検出用の信号と通常撮像用の信号の両方を読み出す場合には、列方向における複数画素の出力信号を混合せずに読み出すことが考えられる。しかし、この信号読み出し方法では、列方向において混合して読み出される画素数が減ることになるため、空間周波数の高い画像でモアレ等のノイズが発生する可能性がある。
【０００５】
本発明の目的は、瞳分割方式の焦点検出が可能な撮像素子を用い、ノイズが抑制された良好な画像を得ることができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、各々が複数の光電変換素子を有する画素が２次元状に複数配列された撮像素子と、前記撮像素子からの信号を基に焦点検出処理を行う処理手段と、前記撮像素子から前記焦点検出処理用の信号及び出力画像用の信号を読み出す第１の読み出しモードと、前記撮像素子から前記焦点検出処理用の信号を読み出さずに前記出力画像用の信号を読み出す第２の読み出しモードのいずれかのモードで前記撮像素子を駆動制御する制御手段とを有し、前記制御手段は、前記撮像素子から列方向において複数画素の出力信号を混合して読み出す場合に、前記第１の読み出しモードと前記第２の読み出しモードとで出力信号を混合して読み出す画素数を異ならせるように制御することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、焦点検出処理を行わないときには、出力画像用の信号の読み出しにおいて出力信号を混合する列方向の画素数を増加させることができ、出力信号を混合する列方向の画素数が減ることを防ぎノイズが抑制された良好な画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態による撮像装置の構成例を示す図である。
【図２】本実施形態における撮像素子の構成例を示す図である。
【図３】本実施形態における撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。
【図４】本実施形態における画素の等価回路図である。
【図５】第１の実施形態における行選択による垂直画素混合を説明する図である。
【図６】第１の実施形態におけるＡＦ用読み出しの有無に応じた状態を示す図である。
【図７】第１の実施形態におけるＡＦ用の信号の読み出し位置の例を示す図である。
【図８】第１の実施形態における垂直３／３混合での信号読み出し時の駆動例を示すタイミングチャートである。
【図９】第１の実施形態における垂直２／３混合での信号読み出し時の駆動例を示すタイミングチャートである。
【図１０】第１の実施形態におけるＡＦ用の信号読み出し時の駆動例を示すタイミングチャートである。
【図１１】第１の実施形態における撮像装置の動作例を示すフローチャートである。
【図１２】第１の実施形態におけるＦＤ混合が可能な画素の等価回路図である。
【図１３】第１の実施形態におけるＦＤ混合の例を示すタイミングチャートである。
【図１４】第２の実施形態におけるＡＦ用の信号読み出しありからＡＦ用の信号読み出しなしに移行する例を説明する図である。
【図１５】第２の実施形態におけるＡＦ用の信号読み出しありからＡＦ用の信号読み出しなしに移行する他の例を説明する図である。
【図１６】第２の実施形態におけるＡＦ用の信号読み出しありからＡＦ用の信号読み出しなしに移行する他の例を説明する図である。
【図１７】第２の実施形態における撮像装置の動作例を示すフローチャートである。
【図１８】第３の実施形態における被写体の例を示す図である。
【図１９】第３の実施形態における撮像装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
（第１の実施形態）
図１は、本発明の一実施形態による撮像装置の構成例を示すブロック図である。続いて各ブロックについて説明する。
【００１１】
まず、撮像装置１００について説明する。シャッター１２は撮像素子１４００に入る光量を制御する。撮像素子１４００は光学像を電気信号に変換する。光学ファインダ１０４は、ミラー１３０が光軸上にあるときにレンズや絞り等の光学系を介して入射した入射光をミラー１３１により結像して、ユーザーが撮影する静止画の構図を確認することが可能である。
【００１２】
アナログフロントエンド回路１７００は撮像素子１４００から出力されるアナログ信号をデジタル信号に変換するアナログ／デジタル変換器（Ａ／Ｄ変換器）を内蔵する。タイミングジェネレータ（以下、ＴＧ）１８００はそれぞれ撮像素子やＡ／Ｄ変換器にクロック信号や制御信号を供給する。
【００１３】
液晶モニター１２００は、ライブビュー画像の表示や撮影した静止画像の表示が可能である。システム制御回路（例えば、ＣＰＵ：Central Processing Unit）５０は画像処理を含む撮像装置１００全体を制御する。
【００１４】
シャッタースイッチ６１は２段階になっていて、ユーザーが１段目まで浅く押すことを半押しといい、２段目まで深く押すことを全押しという。シャッタースイッチ６１が半押しされると、システム制御回路５０が検知して自動焦点検出（オートフォーカス、ＡＦ：Auto Focus）処理や、撮影前の状態における自動露出機構によるシャッター速度と絞り数値の設定が行われる。さらにシャッタースイッチ６１が全押しされると、シャッター１２が動作し撮影動作が実施される。
【００１５】
ライブビュー動作のスタート・ストップスイッチ６２は、ユーザーからスタート指示されたら撮像素子１４００によって得られる画像を連続して液晶モニター１２００に表示させるライブビュー動作を行う。ライブビュー表示中にシャッタースイッチ６１が半押し状態になった場合、撮像素子１４００の焦点検出用出力信号を用いたオートフォーカス処理が行われる。
【００１６】
ＩＳＯ感度設定スイッチ６３は、ユーザーの指示に従いシステム制御回路５０が撮像装置１００の光の量に対する感度を設定する。電源スイッチ６４は、ユーザーの指示に従いシステム制御回路５０が撮像装置１００の電源オン、電源オフの切り替えを行う。また、撮像装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
【００１７】
揮発性メモリ（例えばＲＡＭ：Random Access Memory）７０は画像データを一時的に記録する。また、揮発性メモリ７０は、システム制御回路５０のワークメモリとしての機能も有する。不揮発性メモリ（例えばＲＯＭ：Read Only Memory）７１は、システム制御回路５０が動作を行う際のプログラムを格納している。
【００１８】
画像処理部７２は静止画の補正・圧縮等の処理を行う。オートフォーカス演算部７３はオートフォーカス処理用に、焦点距離検出用の信号から後述するレンズ３１０の位置変更量を計算する。被写体解析部７４は被写体の空間周波数を測定する。
【００１９】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等から構成されている。さらに電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。電源部８６はアルカリ電池やリチウム電池等の一次電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等から成り、コネクタ８２及び８４を介して電源制御部８０と接続される。
【００２０】
記録媒体２００とのインターフェース９０は、コネクタ９２を介してメモリーカードやハードディスク等の記録媒体２００と接続される。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、撮像装置１００とのインターフェース２０２を有する。
【００２１】
レンズユニット３００は、レンズ３１０、絞り３１２、レンズマウント３１６を備える。レンズマウント３１６は、撮像装置１００のレンズマウント１０６と接続される。レンズ制御部３２０は、コネクタ３２２を介して撮像装置１００側のコネクタ１２２と電気的に接続される。レンズ制御部３２０はコネクタ３２２、１２２を介して、撮像装置１００からの信号を受ける。撮像装置１００からの信号によりレンズ３１０の光軸上での位置を変更しフォーカスを制御する。同じようにレンズ制御部３２０は画像処理装置１００からの信号を受け、絞り３１２の口径の大きさを制御する。なお、１２０はレンズユニット３００と電気信号で通信するためのインターフェースである。
【００２２】
図２は、撮像素子１４００の構成例を示す図である。画素部２０８には、画素（単位画素）２０５が、マトリクス状（２次元状）に複数配列されており、垂直方向（列方向）の並びを「列」と呼び、水平方向（行方向）の並びを「行」と呼ぶ。垂直走査回路２０４は、選択行を読み出すための行選択と電荷の読み出しに必要な信号を各画素の回路に各行毎に出力する。
【００２３】
画素部２０８の各画素２０５は、対応する列の垂直出力線（列出力線）４１０に接続されている。垂直出力線４１０に出力された信号は、各垂直出力線４１０につながっている列ゲインアンプ２０６及び列回路２０７を介して水平走査回路２０３に出力される。水平走査回路２０３は１行分の信号出力を水平方向に順次出力する。
【００２４】
図３は、撮影レンズの射出瞳３０７から出た光束が単位画素に入射する概念図である。単位画素２０５は、マイクロレンズ３０４、カラーフィルタ３０５、第１のフォトダイオード３０６Ａ及び第２のフォトダイオード３０６Ｂを有する。すなわち、画素部２０８の２次元状に配置された複数の画素２０５のそれぞれは、１つのマイクロレンズ内に含まれた複数のフォトダイオード（光電変換素子）３０６Ａ、３０６Ｂを有する。
【００２５】
マイクロレンズ３０４を有する画素に対して、射出瞳から出た光束の中心を光軸３０３とする。射出瞳を通過した光は、光軸３０３を中心として単位画素２０５に入射する。図３に示すように撮影レンズの射出瞳の一部領域である瞳領域３０１を通過する光束はマイクロレンズ３０４を通して、第１のフォトダイオード３０６Ａで受光される。撮影レンズの射出瞳の一部領域である瞳領域３０２を通過する光束はマイクロレンズ３０４を通して、第２のフォトダイオード３０６Ｂで受光される。このように、フォトダイオード３０６Ａと３０６Ｂは、それぞれ撮影レンズの射出瞳の別々の領域の光を受光している。したがって、フォトダイオード３０６Ａと３０６Ｂの信号を比較することで位相差の検知が可能となる。
【００２６】
ここで、第１のフォトダイオード３０６Ａから得られる信号をＡ像信号と定義し、第２のフォトダイオード３０６Ｂから得られる信号をＢ像信号と定義する。Ａ像信号とＢ像信号を混合した信号はＡ＋Ｂ像信号とし、このＡ＋Ｂ像信号は撮影画像（出力画像）に用いることができる。
【００２７】
図４に画素（単位画素）２０５の等価回路図を示す。第１のフォトダイオード３０６Ａにて発生及び蓄積された電荷は、転送制御信号４０１により転送スイッチ４０５Ａを制御することでフローティングディフュージョン部（以後ＦＤ）４０７に転送される。また、第２のフォトダイオード３０６Ｂにて発生及び蓄積された電荷は、転送制御信号４０２により転送スイッチ４０５Ｂを制御することでＦＤ４０７に転送される。すなわち、画素２０５が有するフォトダイオード３０６Ａ、３０６Ｂには、フォトダイオード毎（光電変換素子毎）に転送スイッチ４０５Ａ、４０５Ｂが設けられている。
【００２８】
ソースフォロアアンプ４０８はＦＤ４０７に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。ソースフォロアアンプ４０８の出力は、行選択制御信号４０４により行選択スイッチ４０９を制御することで垂直出力線４１０へ接続される。ＦＤ４０７に蓄積されている不要電荷をリセットする場合にはリセット制御信号４０３によりリセットスイッチ４０６を制御する。さらにフォトダイオード３０６Ａ、３０６Ｂのリセットをする際には、リセットスイッチ４０６とともに、転送制御信号４０１、４０２により転送スイッチ４０５Ａ、４０５Ｂをそれぞれ制御してリセットを実行する。
【００２９】
転送制御信号４０１、４０２、リセット制御信号４０３、及び行選択制御信号４０４は、垂直走査回路２０４につながっており、各行にそれぞれの制御信号が供給される。また、転送制御信号４０１、４０２、リセット制御信号４０３、及び行選択制御信号４０４は、システム制御回路５０がＴＧ１８００を介して垂直走査回路２０４を制御して出力する。
【００３０】
ここで、焦点検出処理での相関演算には、Ａ像信号とＢ像信号との両方の信号が必要である。本例では、通常撮像用（出力画像用）の信号の読み出しではＡ＋Ｂ像信号を、ＡＦ用（焦点検出処理用）の信号の読み出しではＡ像信号、Ｂ像信号を別々に読み出す方式を説明する。なお、システム制御回路５０は、オートフォーカス演算部７４を制御してＡ像信号及びＢ像信号から演算した結果を基にレンズ制御部３２０を制御してフォーカスを制御する。
【００３１】
図５は、本実施形態における行選択による垂直画素混合を説明する図である。図５では、垂直走査回路２０４が垂直の所定画素を混合するときの動作を示している。図５においては、説明の便宜上、画素（単位画素）２０５と行選択スイッチ４０９とを分けて図示しており、画素２０５＿ｉ、行選択スイッチ４０９＿ｉ（ｉは自然数）が、それぞれｉ行目の画素２０５、行選択スイッチ４０９である。なお、以下では、画素２０５を垂直出力線（列出力線）４１０に接続する行選択スイッチ４０９を複数、オン状態（導通状態）にすることにより複数の画素からの信号が略混合平均される方式を例に説明する。
【００３２】
図５（ａ）は、垂直方向における３つの画素の信号を混合するときの動作例を示している。図５（ａ）に示すように、行選択スイッチ４０９＿１、４０９＿３、４０９＿５が選択され、１、３、５行目の画素２０５の信号が垂直出力線（列出力線）４１０に出力されて略混合平均され出力される。なお、このときの重心は３行目になるが、次の混合画素は４、６、８行目を混合した画像（重心は６行目）で、３行おきの画像出力になるので今後の表記として分子に混合画素数、分母に出力行間隔数を示す。例えば、図５（ａ）に示した例の場合、混合画素数が３つで、出力行間隔数が３行であるので、垂直３／３混合と表記する。
【００３３】
図５（ｂ）は、垂直方向における２つの画素の信号を混合するときの動作例を示している。図５（ｂ）に示すように、行選択スイッチ４０９＿１、４０９＿３が選択され、１、３行目の画素２０５の信号が垂直出力線（列出力線）４１０に出力されて略混合平均され出力される。図５（ａ）に示した例と比較すると、５行目の画素の信号は混合していないが、次の画像出力は４、６行目の混合出力、その次の画像出力は７、９行目の混合出力となり、出力行間隔数は３行となるので垂直２／３混合となる。
【００３４】
図５（ｃ）は、垂直方向における画素の信号の混合なしの読み出し例を示している。図５（ｃ）に示す例では、行選択スイッチ４０９＿５が選択され、５行目の画素の信号が垂直出力線（列出力線）４１０に出力される。図５（ｂ）に示したようにして垂直２／３画素混合で通常撮像用の信号を読み出すと、残りの１／３画素は信号が読み出されない。そのため、図５（ｂ）に示したような信号の読み出し走査が全行分終わってから図５（ｃ）に示したような信号の読み出しを続けて行うことが可能である。すなわち、同じフレーム内で、垂直２／３画素混合で通常撮像用の信号を読み出し、異なる画素からＡＦ用の信号の読み出しを行うことが可能である。
【００３５】
図６は、ＡＦ用の信号の読み出しありとＡＦ用の信号の読み出しなしにおける状態を示す図である。ｔ軸により時間の遷移を示し、上部にライブビュー読み出し時のデータを示している。後述するＡＦ用の読み出しデータも合わせて記載している。通常画像垂直混合数は、通常撮像用（出力画像用）の信号の読み出しでの垂直画素混合方法を示している。ＡＦ用読み出し有無は、ＡＦ用の読み出しの有無、及びＡＦ用の読み出しがあるときの読み出しタイミングについて示している。
【００３６】
データ６００は、垂直３／３混合で通常撮像用の読み出しを行ったものであり、しばらくその垂直３／３混合の状態６０４が続く。このときＡＦ用の読み出しがない状態６０７となる。その後、シャッターボタン６１が半押しされるとＡＦ処理のための動作が要求される。
【００３７】
ＡＦ処理のための動作が要求されると、通常撮像用の読み出しが、例えば垂直３／３混合から垂直２／３混合に変わる。データ６０１は、垂直２／３混合で通常撮像用の読み出しを行ったものであり、通常撮像用の読み出しで読み出されていない画素からＡＦ用の読み出しが通常撮像用の読み出しを行った後に行われる（後読み出し）。読み出したＡＦ用のデータは６０３となる。ＡＦ用の後読み出し６０８をＡＦ処理が終わるまで続ける。
【００３８】
ＡＦ処理が終わると、通常撮像用の読み出しが、例えば垂直２／３混合から垂直３／３混合に戻る。データ６０２は、垂直３／３混合で通常撮像用の読み出しを行ったものであり、しばらくその垂直３／３混合の状態６０６が続く。また、ＡＦ用の読み出しがない状態６０９となる。なお、ＡＦ処理が終わったとき、通常撮像用の画素のリセットとＡＦ用の画素の読み出しのタイミングによっては、直後のフレームではなく１フレーム後に通常撮像用の読み出し方法を戻すこともある。このときには、図６にデータ６１０で示すようにＡＦ処理が終わっても、その次の１フレームは垂直２／３混合で通常撮像用の読み出しが行われ、その後に垂直３／３混合で通常撮像用の読み出しが行われるようになる。ＡＦ処理が終わって通常撮影用の読み出しを行うときの詳細動作は、第２の実施形態で示す。
【００３９】
図７は、図６に示したＡＦ用の読み出しのときの各信号の読み出し位置の例を示す図である。図７（ａ）を参照して、まずＡＦ用の信号の読み出し領域が画素部２０８の上部にあるときの例を説明する。撮像素子１４００の画素部２０８のうち、遮光されたオプティカルブラック部７００があり、有効画素部は７０１である。有効画素部７０１のうち、垂直２／３混合で通常撮像用の信号を読み出す領域を７０２とする。通常撮像用の信号を読み出していない領域のうち、塗りつぶされた領域７０３の部分の信号をＡＦ用に読み出す。通常撮像用の信号を読み出していない領域のうち、塗りつぶされていない領域７０４はそのまま信号が読み出されない領域となる。
【００４０】
図７（ｂ）には、ＡＦ用の信号の読み出し領域が画素部２０８の中央にあるときの例を示している。通常撮像用の信号を読み出していない領域のうち、塗りつぶされた領域７０３が図７（ａ）に示した例と比較して中央部分に集まっている。なお、ＡＦ用の信号を読み出す領域は測距点に応じて変更することが考えられる。
【００４１】
次に、図８〜図１０を参照して、通常撮像用の信号及びＡＦ用の信号の読み出し時における駆動例を説明する。図８及び図９は、通常撮像用の信号の読み出し時における駆動例を示すタイミングチャートであり、図１０は、ＡＦ用の信号の読み出し時における駆動例を示すタイミングチャートである。本実施形態において、撮像素子１４００では相関２重サンプリングで読み出すため、ＦＤのリセット後の信号を読み出す。
【００４２】
なお、図８〜図１０において、４０６＿ｉはｉ行目の画素２０５のリセットスイッチの状態を示している。また、４０５Ａ＿ｉはｉ行目の画素２０５の第１のフォトダイオード３０６Ａに接続された転送スイッチの状態を示しており、４０５Ｂ＿ｉはｉ行目の画素２０５の第２のフォトダイオード３０６Ｂに接続された転送スイッチの状態を示している。４０９＿ｉはｉ行目の画素２０５の行選択スイッチの状態を示している。ここでは、リセットスイッチ４０６＿ｉは、ローレベルのときにオン状態（導通状態）となり、ハイレベルのときにオフ状態（非導通状態）となるものとする。また、転送スイッチ４０５Ａ＿ｉ、４０５Ｂ＿ｉ及び行選択スイッチ４０９＿ｉは、ハイレベルのときにオン状態（導通状態）となり、ローレベルのときにオフ状態（非導通状態）となるものとする。
【００４３】
図８には、垂直３／３混合で通常撮像用の信号の読み出しを行うときのタイミングチャートを示している。まず、タイミングＴ８００では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿１、４０６＿３、４０６＿５をオン状態にして１、３、５行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ８０１では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１、４０９＿３、４０９＿５を選択（オン状態に）する。これにより、１、３、５行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００４４】
タイミングＴ８０２では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ａ＿１、４０５Ａ＿３、４０５Ａ＿５と転送スイッチ４０５Ｂ＿１、４０５Ｂ＿３、４０５Ｂ＿５を同時にオン状態にする。これにより、１、３、５行目の画素２０５のＦＤ４０７の信号がＡ＋Ｂ像信号になるように、１、３、５行目の画素２０５において、フォトダイオード３０６Ａ、３０６Ｂにそれぞれ蓄積された電荷がＦＤ４０７に転送される。
【００４５】
このとき、行選択スイッチ４０９＿１、４０９＿３、４０９＿５は選択（オン状態に）されたままであるので、垂直出力線（列出力線）４１０を介してＡ＋Ｂ像信号の略混合平均された信号が列回路２０７に送られる。読み出されたＡ＋Ｂ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。出力後、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１、４０９＿３、４０９＿５の選択を解除し、オフ状態にする。
【００４６】
タイミングＴ８０３では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿４、４０６＿６、４０６＿８をオン状態にして４、６、８行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ８０４では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿４、４０９＿６、４０９＿８を選択（オン状態に）する。これにより、４、６、８行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００４７】
タイミングＴ８０５では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ａ＿４、４０５Ａ＿６、４０５Ａ＿８と転送スイッチ４０５Ｂ＿４、４０５Ｂ＿６、４０５Ｂ＿８を同時にオン状態にする。これにより、４、６、８行目の画素２０５のＦＤ４０７の信号がＡ＋Ｂ像信号になるように、４、６、８行目の画素２０５において、フォトダイオード３０６Ａ、３０６Ｂにそれぞれ蓄積された電荷がＦＤ４０７に転送される。
【００４８】
このとき、行選択スイッチ４０９＿４、４０９＿６、４０９＿８は選択（オン状態に）されたままであるので、垂直出力線（列出力線）４１０を介してＡ＋Ｂ像信号の略混合平均された信号が列回路２０７に送られる。読み出されたＡ＋Ｂ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。出力後、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿４、４０９＿６、４０９＿８の選択を解除し、オフ状態にする。
【００４９】
タイミングＴ８０６では、システム制御回路５０がＴＧ１８００を介して、すべては図示していないがリセットスイッチ４０６＿７、４０６＿９、４０６＿１１をオン状態にして７、９、１１行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ８０７では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿７、４０９＿９、４０９＿１１を選択（オン状態に）する。これにより、７、９、１１行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００５０】
タイミングＴ８０８では、システム制御回路５０がＴＧ１８００を介して、すべては図示していないが転送スイッチ４０５Ａ＿７、４０５Ａ＿９、４０５Ａ＿１１と転送スイッチ４０５Ｂ＿７、４０５Ｂ＿９、４０５Ｂ＿１１を同時にオン状態にする。これにより、７、９、１１行目の画素２０５のＦＤ４０７の信号がＡ＋Ｂ像信号になるように、７、９、１１行目の画素２０５において、フォトダイオード３０６Ａ、３０６Ｂにそれぞれ蓄積された電荷がＦＤ４０７に転送される。
【００５１】
このとき、行選択スイッチ４０９＿７、４０９＿９、４０９＿１１は選択（オン状態に）されたままであるので、垂直出力線（列出力線）４１０を介してＡ＋Ｂ像信号の略混合平均された信号が列回路２０７に送られる。読み出されたＡ＋Ｂ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。出力後、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿７、４０９＿９、４０９＿１１の選択を解除し、オフ状態にする。
この処理をライブビュー動作で画像表示を行うために信号を読み出す行数分実施する。
【００５２】
図９には、垂直２／３混合で通常撮像用の信号の読み出しを行うときのタイミングチャートを示している。まず、タイミングＴ９００では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿１、４０６＿３をオン状態にして１、３行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ９０１では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１、４０９＿３を選択（オン状態に）する。これにより、１、３行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００５３】
タイミングＴ９０２では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ａ＿１、４０５Ａ＿３と転送スイッチ４０５Ｂ＿１、４０５Ｂ＿３を同時にオン状態にする。これにより、１、３行目の画素２０５のＦＤ４０７の信号がＡ＋Ｂ像信号になるように、１、３行目の画素２０５において、フォトダイオード３０６Ａ、３０６Ｂにそれぞれ蓄積された電荷がＦＤ４０７に転送される。
【００５４】
このとき、行選択スイッチ４０９＿１、４０９＿３は選択（オン状態に）されたままであるので、垂直出力線（列出力線）４１０を介してＡ＋Ｂ像信号の略混合平均された信号が列回路２０７に送られる。読み出されたＡ＋Ｂ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。出力後、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１、４０９＿３の選択を解除し、オフ状態にする。
【００５５】
タイミングＴ９０３では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿４、４０６＿６をオン状態にして４、６行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ９０４では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿４、４０９＿６を選択（オン状態に）する。これにより、４、６行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００５６】
タイミングＴ９０５では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ａ＿４、４０５Ａ＿６と転送スイッチ４０５Ｂ＿４、４０５Ｂ＿６を同時にオン状態にする。これにより、４、６行目の画素２０５のＦＤ４０７の信号がＡ＋Ｂ像信号になるように、４、６行目の画素２０５において、フォトダイオード３０６Ａ、３０６Ｂにそれぞれ蓄積された電荷がＦＤ４０７に転送される。
【００５７】
このとき、行選択スイッチ４０９＿４、４０９＿６は選択（オン状態に）されたままであるので、垂直出力線（列出力線）４１０を介してＡ＋Ｂ像信号の略混合平均された信号が列回路２０７に送られる。読み出されたＡ＋Ｂ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。出力後、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿４、４０９＿６の選択を解除し、オフ状態にする。
【００５８】
タイミングＴ９０６では、システム制御回路５０がＴＧ１８００を介して、すべては図示していないがリセットスイッチ４０６＿７、４０６＿９をオン状態にして７、９行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ９０７では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿７、４０９＿９を選択（オン状態に）する。これにより、７、９行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００５９】
タイミングＴ９０８では、システム制御回路５０がＴＧ１８００を介して、すべては図示していないが転送スイッチ４０５Ａ＿７、４０５Ａ＿９と転送スイッチ４０５Ｂ＿７、４０５Ｂ＿９を同時にオン状態にする。これにより、７、９行目の画素２０５のＦＤ４０７の信号がＡ＋Ｂ像信号になるように、７、９行目の画素２０５において、フォトダイオード３０６Ａ、３０６Ｂにそれぞれ蓄積された電荷がＦＤ４０７に転送される。
【００６０】
このとき、行選択スイッチ４０９＿７、４０９＿９は選択（オン状態に）されたままであるので、垂直出力線（列出力線）４１０を介してＡ＋Ｂ像信号の略混合平均された信号が列回路２０７に送られる。読み出されたＡ＋Ｂ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。出力後、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿７、４０９＿９の選択を解除し、オフ状態にする。
この処理をライブビュー動作で画像表示を行うために信号を読み出す行数分実施する。
【００６１】
図１０には、ＡＦ用の信号の読み出しを行うときのタイミングチャートを示している。タイミングＴ１０００では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿５をオン状態にして５行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ１００１では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿５を選択（オン状態に）する。これにより、５行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００６２】
タイミングＴ１００２では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ａ＿５をオン状態にして、５行目の画素２０５において、第１のフォトダイオード３０６Ａに蓄積された電荷（Ａ像信号）をＦＤ４０７に転送する。行選択スイッチ４０９＿５は選択（オン状態に）されたままであるのでＡ像信号が列回路２０７に送られる。読み出されたＡ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。その後、行選択スイッチ４０９＿５を解除（オフ状態に）する。
【００６３】
タイミングＴ１００３では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿５をオン状態にして再度５行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ１００４では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿５を選択（オン状態に）する。これにより、５行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００６４】
タイミングＴ１００５では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ｂ＿５をオン状態にして、５行目の画素２０５において、第２のフォトダイオード３０６Ｂに蓄積された電荷（Ｂ像信号）をＦＤ４０７に転送する。行選択スイッチ４０９＿５は選択（オン状態に）されたままであるのでＢ像信号が列回路２０７に送られる。読み出されたＢ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。その後、行選択スイッチ４０９＿５を解除（オフ状態に）する。
【００６５】
タイミングＴ１００６では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿８をオン状態にして８行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ１００７では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿８を選択（オン状態に）する。これにより、８行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００６６】
タイミングＴ１００８では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ａ＿８をオン状態にして、８行目の画素２０５において、第１のフォトダイオード３０６Ａに蓄積された電荷（Ａ像信号）をＦＤ４０７に転送する。行選択スイッチ４０９＿８は選択（オン状態に）されたままであるのでＡ像信号が列回路２０７に送られる。読み出されたＡ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。その後、行選択スイッチ４０９＿８を解除（オフ状態に）する。
【００６７】
タイミングＴ１００９では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿８をオン状態にして再度８行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ１０１０では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿８を選択（オン状態に）する。これにより、８行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００６８】
タイミングＴ１０１１では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ｂ＿８をオン状態にして、８行目の画素２０５において、第２のフォトダイオード３０６Ｂに蓄積された電荷（Ｂ像信号）をＦＤ４０７に転送する。行選択スイッチ４０９＿８は選択（オン状態に）されたままであるのでＢ像信号が列回路２０７に送られる。読み出されたＢ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。その後、行選択スイッチ４０９＿５を解除（オフ状態に）する。
【００６９】
タイミングＴ１０１２では、システム制御回路５０がＴＧ１８００を介して、図示していないリセットスイッチ４０６＿１１をオン状態にして１１行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ１０１３では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１１を選択（オン状態に）する。これにより、１１行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００７０】
タイミングＴ１０１４では、システム制御回路５０がＴＧ１８００を介して、図示していない転送スイッチ４０５Ａ＿１１をオン状態にし、１１行目の画素２０５において第１のフォトダイオード３０６Ａに蓄積された電荷（Ａ像信号）をＦＤ４０７に転送する。行選択スイッチ４０９＿１１は選択（オン状態に）されたままであるのでＡ像信号が列回路２０７に送られる。読み出されたＡ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。その後、行選択スイッチ４０９＿１１を解除（オフ状態に）する。
【００７１】
タイミングＴ１０１５では、システム制御回路５０がＴＧ１８００を介して、図示していないリセットスイッチ４０６＿１１をオン状態にして再度１１行目の画素２０５のＦＤ４０７をリセットする。タイミングＴ１０１６では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１１を選択（オン状態に）する。これにより、１１行目の画素２０５においてリセット信号が読み出され、列回路２０７に記憶される。
【００７２】
タイミングＴ１０１７では、システム制御回路５０がＴＧ１８００を介して、図示していない転送スイッチ４０５Ｂ＿１１をオン状態にし、１１行目の画素２０５において第２のフォトダイオード３０６Ｂに蓄積された電荷（Ｂ像信号）をＦＤ４０７に転送する。行選択スイッチ４０９＿１１は選択（オン状態に）されたままであるのでＢ像信号が列回路２０７に送られる。読み出されたＢ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。その後、行選択スイッチ４０９＿１１を解除（オフ状態に）する。
この処理をＡＦ用の信号を読み出す行数分繰り返す。
【００７３】
図１１は、本実施形態における撮像装置の動作例を示すフローチャートである。ステップＳ１１００にて、システム制御回路５０は、ライブビュー動作における信号の読み出しにおいて、ＡＦ用の信号の読み出し要求があるか否かを判断する。
【００７４】
システム制御回路５０は、ＡＦ用の信号の読み出し要求があると判断した場合、通常撮像用（出力画像用）の信号の読み出しとＡＦ用（焦点検出処理用）の信号の読み出しとの両方を行う第１の読み出しモードで信号読み出しを行うよう駆動制御する。そして、ステップＳ１１０３にて、システム制御回路５０は、垂直２／３混合で通常撮像用の信号の読み出しを行うように駆動制御する。この制御に応じて、撮像素子１４００において垂直２／３混合での通常撮像用の信号の読み出しが行われる。その後、ステップＳ１１０４にて、システム制御回路５０は、ＡＦ用の信号の読み出しを行うように駆動制御し、撮像素子１４００においてＡＦ用の信号の読み出しが行われる。ＡＦ用の信号の読み出しが終わると、ステップＳ１１０２へ進む。
【００７５】
また、システム制御回路５０は、ＡＦ用の信号の読み出し要求がないと判断した場合、通常撮像用（出力画像用）の信号の読み出しを行いＡＦ用（焦点検出処理用）の信号の読み出しを行わない第２の読み出しモードで信号読み出しを行うよう駆動制御する。そして、ステップＳ１１０１にて、システム制御回路５０は、垂直３／３混合で通常撮像用の信号の読み出しを行うように駆動制御する。この制御に応じて、撮像素子１４００において垂直３／３混合での通常撮像用の信号の読み出しが行われる。その後、ステップＳ１１０２へ進む。
【００７６】
ステップＳ１１０２にて、システム制御回路５０は、ライブビュー動作が終了か否かを判断する。ライブビュー動作が終了していないとシステム制御回路５０が判断した場合、ステップＳ１１００に戻って再度ＡＦ用の信号の読み出し要求があるか否かを判断する。一方、ライブビュー動作が終了したとシステム制御回路５０が判断した場合、動作を終了する。
【００７７】
このように、ＡＦ用の信号の読み出しがあるかないかによって、通常撮像用の信号の読み出しにおいて垂直混合する画素数を切り替える。前述した例では、ＡＦ用の信号の読み出しがある場合には垂直２／３混合で通常撮像用の信号の読み出しを行い、ＡＦ用の信号の読み出しがない場合には垂直３／３混合で通常撮像用の信号の読み出しを行う。これにより、瞳分割方式の焦点検出が可能な撮像素子を用いてＡＦ処理を可能にしつつ、ＡＦ処理を行わないときには、通常撮像用の信号の読み出しにおいて垂直混合する画素数を増加させることができる。したがって、通常撮像用の信号の読み出しで画素混合される画素数が減少することを抑制でき、空間周波数の高い画像であってもモアレ等のノイズの発生を抑えノイズが抑制された良好な画像を得ることができる。
【００７８】
なお、前述した説明では、複数の行選択スイッチ４０９をオン状態にし複数の画素２０５を垂直出力線（列出力線）４１０を介して接続することで、複数画素の信号を混合する例を示したが、本発明はこれに限定されるものではない。例えば、以下に説明するように、複数の画素２０５のＦＤ４０７同士を接続することで混合を行うようにしてもよい。
【００７９】
図１２は、画素２０５のフローティングディフュージョン部同士（ＦＤ同士）を接続することで信号混合を行う撮像素子１４００を説明するための図である。図１２には、ＦＤ同士を接続して混合を実現するための構成を、１、３、５行目の画素２０５＿１、２０５＿３、２０５＿５を例に示している。画素２０５＿１、２０５＿３、２０５＿５のＦＤ４０７のノード同士が、ＦＤ混合スイッチ１２０１、１２０２を介して接続されている。画素混合を行う場合には、このスイッチ１２０１、１２０２をオン状態（導通状態）にすることで混合が実現される。なお、図１２に示す各画素２０５においては、リセットスイッチ４０６、ＦＤ４０７、及びソースフォロアアンプ４０８以外の構成要素は図示を省略しているが、図４に示した画素２０５と同様に構成されている。
【００８０】
図１３は、画素２０５のＦＤ同士を接続することで信号混合を行う撮像素子１４００において、垂直３／３混合で信号の読み出しを行うときのタイミングチャートを示す図である。なお、図１３においては、図１２に示した構成を例に動作を示している。
【００８１】
まず、タイミングＴ１３００では、システム制御回路５０がＴＧ１８００を介してリセットスイッチ４０６＿１、４０６＿３、４０６＿５をオン状態にして１、３、５行目の画素２０５のＦＤ４０７をリセットする。なお、このときすでにＦＤ混合スイッチ１２０１、１２０２はオン状態になっている。タイミングＴ１３０１では、リセット後のＦＤ４０７の信号を読み出すために、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１を選択（オン状態に）し、読み出されたリセット信号が列回路２０７に記憶される。
【００８２】
タイミングＴ１３０２では、システム制御回路５０がＴＧ１８００を介して転送スイッチ４０５Ａ＿１、４０５Ａ＿３、４０５Ａ＿５と転送スイッチ４０５Ｂ＿１、４０５Ｂ＿３、４０５Ｂ＿５を同時にオン状態にする。これにより、１、３、５行目の画素２０５のＦＤ４０７の信号がＡ＋Ｂ像信号になるように、１、３、５行目の画素２０５において、フォトダイオード３０６Ａ、３０６Ｂにそれぞれ蓄積された電荷がＦＤ４０７に転送される。
【００８３】
このとき、行選択スイッチ４０９＿１は選択（オン状態に）されたままであるので、ＦＤ混合によって略混合平均されたＡ＋Ｂ像信号が列回路２０７に送られる。読み出されたＡ＋Ｂ像信号は、先に読み出され列回路２０７に記憶されていたリセット信号を減算して撮像素子１４００から出力される。出力後、システム制御回路５０がＴＧ１８００を介して行選択スイッチ４０９＿１の選択を解除し、オフ状態にする。
【００８４】
図１３においては、垂直３／３混合で信号の読み出しを行う場合を一例として示したが、ＦＤ混合スイッチ１２０１、１２０２を制御することにより、垂直２／３混合での信号の読み出しやＡＦ用の信号の読み出しを行うことが可能である。例えば、ＦＤ混合スイッチ１２０１、１２０２をともにオン状態にすることで垂直３／３混合での通常撮像用の信号の読み出しを行うことができる。また、例えばＦＤ混合スイッチ１２０１をオン状態にし、ＦＤ混合スイッチ１２０２をオフ状態にすることで、垂直２／３混合での通常撮像用の信号の読み出し、及びＡＦ用の信号の読み出しを行うことができる。
【００８５】
以上のように、画素の信号を垂直混合する際にＦＤ同士を接続しＦＤ混合で行っても、行選択による略混合と略同じ機能を実現することができる。したがって、前述した行選択による混合と同様に、通常撮像用の信号の読み出しで画素混合される画素数が減少することを抑制でき、空間周波数の高い画像であってもモアレ等のノイズの発生を抑えノイズが抑制された良好な画像を得ることができる。
【００８６】
（第２の実施形態）
第２の実施形態では、ＡＦ用の信号の読み出しありからＡＦ用の信号の読み出しなしに移行するときの信号の読み出しの状態について説明する。図１４では、通常撮像画像のシャッター秒時が所定の時間より長い場合の移行の様子を示している。図１４においては、ｔ軸により時間の遷移を示しており、ＡＦ用の信号の読み出しの有無、垂直同期信号（ＶＤ）のタイミング、及び信号の読み出し又はリセットの走査ラインを示している（後述する図１５及び図１６においても同様）。システム制御回路５０がＴＧ１８００を介して撮像素子１４００の信号の読み出し及び画素リセットの走査を実施する。
【００８７】
ＡＦ用の信号の読み出しを通常撮像用の信号の読み出し後に行うＡＦ後読み出し中の最後のフレームであるＮフレーム目では、ＡＦ用の画素リセット走査１４０８がＡＦ用の信号の蓄積時間に応じたタイミングで開始される。通常撮像用の信号の読み出し１４０１は、垂直２／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。通常撮像用の信号の読み出し１４０１の走査が終わった直後に、ＡＦ用の信号の読み出し１４０９の走査が開始される。
【００８８】
また、Ｎフレーム目では、（Ｎ＋１）フレーム目の通常撮像用の信号の読み出し１４０３のための画素リセット走査１４０２が、垂直２／３混合で通常撮像用の信号の読み出しを行う画素に対して、シャッター秒時に応じたタイミングで開始される。図１４では、ＡＦ用の信号の読み出し走査１４０９の終了タイミングよりも通常撮像用の画素リセット走査１４０２の開始が早い場合を示している。この場合には、ＡＦ用の信号の読み出しを妨げないように、画素リセット走査１４０２が垂直２／３混合で通常撮像用の信号が読み出される画素に対して行われる必要がある。
【００８９】
ＡＦ読み出しがない最初のフレームである（Ｎ＋１）フレーム目では、通常撮像用の信号の読み出し１４０３は、垂直２／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。（Ｎ＋２）フレーム目の通常撮像用の信号の読み出し１４０５のための画素リセット走査１４０４は、垂直３／３混合でシャッター秒時に応じたタイミングで開始される。
【００９０】
次に、（Ｎ＋２）フレーム目では、通常撮像用の信号の読み出し１４０５は、垂直３／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。（Ｎ＋３）フレーム目の通常撮像用の信号の読み出し１４０７のための画素リセット走査１４０６は、垂直３／３混合でシャッター秒時に応じたタイミングで開始される。次に、（Ｎ＋３）フレーム目では、通常撮像用の信号の読み出し１４０７は、垂直３／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。
【００９１】
図１５では、通常撮像画像のシャッター秒時が所定の時間より短い場合の移行の様子を示している。システム制御回路５０がＴＧ１８００を介して、撮像素子１４００の信号の読み出し及び画素リセットの走査を実施する。
【００９２】
ＡＦ用の信号の読み出しを通常撮像用の信号の読み出し後に行うＡＦ後読み出し中の最後のフレームであるＮフレーム目では、ＡＦ用の画素リセット走査１５０８がＡＦ用の信号の蓄積時間に応じたタイミングで開始される。通常撮像用の信号の読み出し１５０１は、垂直２／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。通常撮像用の信号の読み出し１５０１の走査が終わった直後に、ＡＦ用の信号の読み出し１５０９の走査が開始される。
【００９３】
また、Ｎフレーム目では、（Ｎ＋１）フレーム目の通常撮像用の信号の読み出し１５０３のための画素リセット走査１５０２が、垂直３／３混合で通常撮像用の信号の読み出しを行う画素に対して、シャッター秒時に応じたタイミングで開始される。図１５では、ＡＦ用の信号の読み出し走査１５０９の終了タイミングよりも通常撮像用の画素リセット走査１５０２の開始が遅いため、画素リセット走査１５０２は、ＡＦ用の信号の読み出し１５０９に影響を及ぼさないので垂直３／３混合で行うことができる。
【００９４】
ＡＦ読み出しがない最初のフレームである（Ｎ＋１）フレーム目では、通常撮像用の信号の読み出し１５０３は、垂直３／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。（Ｎ＋２）フレーム目の通常撮像用の信号の読み出し１５０５にための画素リセット走査１５０４は、垂直３／３混合でシャッター秒時に応じたタイミングで開始される。
【００９５】
次に、（Ｎ＋２）フレーム目では、通常撮像用の信号の読み出し１５０５は、垂直３／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。（Ｎ＋３）フレーム目の通常撮像用の信号の読み出し１５０７のための画素リセット走査１５０６は、垂直３／３混合でシャッター秒時に応じたタイミングで開始される。次に、（Ｎ＋３）フレーム目では、通常撮像用の信号の読み出し１５０７は、垂直３／３混合で行われ、垂直同期信号（ＶＤ）がアサートされた直後に走査が開始される。
【００９６】
図１６では、ＡＦ用の信号を通常撮像用の信号より先に読み出す（ＡＦ先読み出し）例を示している。ＡＦ先読み出しでは、ＡＦ用の信号の読み出し後に通常撮像用の信号の読み出しを行う。
【００９７】
Ｎフレーム目では、垂直同期信号（ＶＤ）がアサートされた直後にＡＦ用の信号の読み出し１６００の走査が開始される。ＡＦ用の信号の読み出し１６００の走査終了後に、垂直２／３混合で通常撮像用の信号の読み出し１６０３の走査が開始される。その後、（Ｎ＋１）フレーム目の通常撮像用の信号の読み出し１６０５のための画素リセット走査１６０４が、垂直２／３混合で通常撮像用の信号の読み出しを行う画素に対して、シャッター秒時に応じたタイミングで開始される。また、（Ｎ＋１）フレーム目のＡＦ用の信号の読み出し１６０２のための画素リセット走査１６０１が、ＡＦ用の信号の蓄積時間に応じたタイミングで開始される。
【００９８】
（Ｎ＋１）フレーム目では、垂直同期信号（ＶＤ）がアサートされた直後にＡＦ用の信号の読み出し１６０２の走査が開始される。ＡＦ用の信号の読み出し１６０２の走査終了後に、垂直２／３混合で通常撮像用の信号の読み出し１６０５の走査が開始される。その後、（Ｎ＋２）フレーム目の通常撮像用の信号の読み出し１６０７のための画素リセット走査１６０６が、垂直３／３混合でシャッター秒時に応じたタイミングで開始される。
【００９９】
（Ｎ＋２）フレーム目では、（Ｎ＋１）フレームにおける垂直同期信号（ＶＤ）の立下りから通常撮像用の信号の読み出し走査１６０５の開始までと同じ時間、（Ｎ＋２）フレーム目でも待って、通常撮像用の信号の読み出し１６０７の走査を開始する。その後、（Ｎ＋３）フレーム目の通常撮像用の信号の読み出し１６０９のための画素リセット走査１６０８が、垂直３／３混合でシャッター秒時に応じたタイミングで開始される。（Ｎ＋３）フレーム目では、（Ｎ＋２）フレームにおける垂直同期信号（ＶＤ）の立下りから通常撮像用の信号の読み出し走査１６０７の開始までと同じ時間、（Ｎ＋３）フレーム目でも待って、通常撮像用の信号の読み出し１６０９の走査を開始する。
【０１００】
図１７では、ＡＦ用の信号の読み出しありからＡＦ用の信号の読み出しなしに切り替えるときのフローチャートを示している。ＡＦ用の信号の読み出しありの最終フレームにおいて、システム制御回路５０は、ＡＦ用の信号の読み出しが通常撮像用の信号の読み出しよりも先に行われるか否かを判断する（Ｓ１７００）。システム制御回路５０は、通常撮像用の信号の読み出し後にＡＦ用の信号の読み出しが行われると判断した場合、通常撮像画像のシャッター秒時が所定の時間よりも短いか否かを判断する（Ｓ１７０１）。
【０１０１】
システム制御回路５０は、通常撮像画像のシャッター秒時が所定の時間よりも短くないと判断した場合、通常撮像用のリセット走査が最後のＡＦ用の信号の読み出しを妨げるので、通常撮像用リセットを垂直２／３混合で走査する（Ｓ１７０４）。その後、垂直２／３混合で通常撮像用の信号の読み出しを行う（Ｓ１７０５）。その後、すなわちＡＦ用の信号の読み出しありからＡＦ用の信号の読み出しなしに移行するときの最初のフレームの次のフレームで、垂直３／３混合による信号の読み出しに移行する。
【０１０２】
一方、システム制御回路５０は、ＡＦ用の信号の読み出し後に通常撮像用の信号の読み出しが行われると判断した場合、又は通常撮像画像のシャッター秒時が所定の時間よりも短いと判断した場合、ステップＳ１７０２へ進む。そして、ＡＦ用の信号の読み出しありからＡＦ用の信号の読み出しなしへの切り替え直後から、通常撮像用のリセット走査を垂直３／３混合で実施し（Ｓ１７０２）、その後、通常撮像用の読み出し走査も垂直３／３混合で実施する（Ｓ１７０３）。
【０１０３】
第２の実施形態では、ＡＦ用の信号の読み出しありからＡＦ用の信号の読み出しなしへの切り替え時における通常撮像用の信号の読み出しでの垂直混合の遷移を説明した。このように第２の実施形態によれば、ＡＦ用の信号の読み出し及び通常撮像用の信号の読み出しともに、それぞれの処理を妨げることなく、無駄なく信号の読み出しが可能になる。
【０１０４】
（第３の実施形態）
第３の実施形態では、ＡＦ用の信号の読み出しを行わないときにライブビュー動作中に垂直３／３混合で信号を読み出すか、垂直２／３混合で信号を読み出すかを、被写体に応じて選択する例を示す。
【０１０５】
図１８では、被写体の例とそのレベルを列方向に平均化した垂直写像を示している。図１８（ａ）は自然の風景を撮影しているものであり、垂直写像もなだらかに変化している。図１８（ｂ）は建物の中を被写体として撮影したものであり、窓にあるブラインドが非常に細い線となって太陽光の入射があるところとないところの部分の写像が狭い空間内で大きな変化をしていることが分かる。
【０１０６】
図１８（ａ）に示した例のような被写体では、垂直３／３混合での信号の読み出しによるメリットが大きく得られない可能性がある。対照的に、図１８（ｂ）に示した例のように空間周波数が高い被写体においては、第１の実施形態において示した垂直３／３混合での信号の読み出しによるメリットが得られる。
【０１０７】
そのため、本実施形態では、システム制御回路５０が画像の空間周波数を解析し、その解析結果に基づいて垂直混合する画素数の設定を切り替える。なお、空間周波数の解析は、離散コサイン変換（ＤＣＴ）等を用いて行う。空間周波数が低くても、効果が得られそうな場合には、垂直３／３混合での信号の読み出しを実施してもよい。また、画像に異なる効果が得られる場合、逆に空間周波数が高くても垂直２／３混合での信号の読み出しを行うようにしてもよい。
【０１０８】
図１９は、被写体に応じて垂直混合する画素数を切り替え可能な撮像装置の動作例を示すフローチャートである。ＬＶ動作を開始したら、まず、通常撮像用の信号の読み出しとして垂直２／３混合で信号の読み出しを実施する（Ｓ１９００）。次に、システム制御回路５０は、ライブビュー動作における信号の読み出しにおいて、ＡＦ用の信号の読み出し要求があるか否かを判断する（Ｓ１９０１）。
【０１０９】
システム制御回路５０は、ＡＦ用の信号の読み出し要求があると判断した場合、通常撮像用（出力画像用）の信号の読み出しとＡＦ用（焦点検出処理用）の信号の読み出しとの両方を行う第１の読み出しモードで信号読み出しを行うよう駆動制御する。システム制御回路５０は、垂直２／３混合で通常撮像用の信号の読み出しを行うように駆動制御し、垂直２／３混合での通常撮像用の信号の読み出しが行われる（Ｓ１９０５）。その後、システム制御回路５０は、ＡＦ用の信号の読み出しを行うように駆動制御し、ＡＦ用の信号の読み出しが行われる（Ｓ１９０６）。ＡＦ用の信号の読み出しが終わると、ステップＳ１９０７へ進む。
【０１１０】
システム制御回路５０は、ＡＦ用の信号の読み出し要求がないと判断した場合、通常撮像用（出力画像用）の信号の読み出しを行いＡＦ用（焦点検出処理用）の信号の読み出しを行わない第２の読み出しモードで信号読み出しを行うよう駆動制御する。次に、システム制御回路５０は、最初に読んだ通常撮像用の画像の垂直空間周波数を確認する（Ｓ１９０２）。
【０１１１】
システム制御回路５０は、空間周波数が所定値よりも高いと判断した場合、垂直３／３混合で通常撮像用の信号の読み出しを行うように駆動制御し、垂直３／３混合での通常撮像用の信号の読み出しが行われる（Ｓ１９０３）。一方、システム制御回路５０は、空間周波数が所定値よりも高くないと判断した場合、垂直２／３混合で通常撮像用の信号の読み出しを行うように駆動制御し、垂直２／３混合での通常撮像用の信号の読み出しが行われる（Ｓ１９０４）。ステップＳ１９０３、Ｓ１９０４での通常撮像用の信号の読み出しが終わると、ステップＳ１９０７へ進む。
【０１１２】
続いて、システム制御回路５０は、ライブビュー動作が終了か否かを判断する（Ｓ１９０７）。ライブビュー動作が終了していないとシステム制御回路５０が判断した場合、ステップＳ１９０１に戻って再度ＡＦ用の信号の読み出し要求があるか否かを判断する。一方、ライブビュー動作が終了したとシステム制御回路５０が判断した場合、動作を終了する。
【０１１３】
第３の実施形態では、被写体の空間周波数を解析し、解析で得られた結果に応じて、ＡＦ用の信号の読み出しを行わないときの通常撮像用の信号読み出しの垂直混合する画素数を変更する例を示した。このようにすれば、必要に応じて最適な読み出し方法が選択可能であり、モアレ等のノイズが抑制された良好な画像を得ることができる。
【０１１４】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１１５】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１６】
１００：撮像装置  ２００：記録媒体  ３００：レンズユニット  ５０：システム制御回路  ６１：シャッタースイッチ  ７２：画像処理部  ７３：オートフォーカス演算部  ７４：被写体解析部  ３１０：レンズ  ３２０：レンズ制御部  １２００：液晶モニター  １４００：撮像素子  １８００：タイミングジェネレータ（ＴＧ）  ２０３：水平走査回路  ２０４：垂直走査回路  ２０５：画素  ２０６：列ゲインアンプ  ２０７：列回路  ２０８：画素部  ３０４：マイクロレンズ  ３０６Ａ、３０６Ｂ：フォトダイオード（光電変換素子）  ４０５Ａ、４０５Ｂ：転送スイッチ  ４０６：リセットスイッチ  ４０７：フローティングディフュージョン部（ＦＤ）  ４０８：ソースフォロアアンプ  ４０９：行選択スイッチ  ４１０：垂直出力線（列出力線）
【図１】
2017092605.tif 000003
【図２】
2017092605.tif 000004
【図３】
2017092605.tif 000005
【図４】
2017092605.tif 000006
【図５】
2017092605.tif 000007
【図６】
2017092605.tif 000008
【図７】
2017092605.tif 000009
【図８】
2017092605.tif 000010
【図９】
2017092605.tif 000011
【図１０】
2017092605.tif 000012
【図１１】
2017092605.tif 000013
【図１２】
2017092605.tif 000014
【図１３】
2017092605.tif 000015
【図１４】
2017092605.tif 000016
【図１５】
2017092605.tif 000017
【図１６】
2017092605.tif 000018
【図１７】
2017092605.tif 000019
【図１８】
2017092605.tif 000020
【図１９】
2017092605.tif 000021