(57)【要約】      （修正有）【課題】画素混合を伴う撮影モード時において、焦点検出および撮影画像として双方の画像出力を行う際、画質を損なわず且つ省電力化とした読み出しを可能とした撮像装置を提供する。【解決手段】一つのマイクロレンズを共有する少なくとも２つ以上の光電変換部を有する単位画素部を行列方向に複数備え、単位画素部内において、光電変換部からの電荷を混合することなく出力させる第一の画素出力手段と、単位画素部内において、光電変換部からの電荷を混合して出力させる第二の画素出力手段と、単位画素部からの画素出力が読み出される垂直線毎に構成される列回路内にて画素出力を増幅可能な増幅回路と、増幅回路の入力側にて、異なる垂直線に読み出された単位画素部からの画素出力を、混合処理する第一画素出力混合回路と、異なる列回路内の増幅回路から出力される列回路出力を混合処理する第二画素出力混合回路を有する撮像素子を備える。【選択図】図１
2018014656.tif 000002
【特許請求の範囲】
【請求項１】
一つのマイクロレンズ（１１１２）を共有する少なくとも２つ以上の光電変換部（２０１Ａ，２０１Ｂ）を有する単位画素部（２００）を行列方向に複数備え、
前記単位画素部内において、前記光電変換部からの電荷を混合することなく出力させる第一の画素出力手段と、
前記単位画素部内において、前記光電変換部からの電荷を混合して出力させる第二の画素出力手段と、
前記単位画素部からの画素出力が読み出される垂直線（１０２）毎に構成される列回路（３００）内にて画素出力を増幅可能な増幅回路（１１０）と、
増幅回路の入力側にて、前記異なる垂直線に読み出された前記単位画素部からの画素出力を、混合処理する第一画素出力混合回路（１１１）と、
前記異なる列回路内の増幅回路から出力される列回路出力を混合処理する第二画素出力混合回路（１１２）を有する撮像素子（１００３）と、
前記撮像素子からの画素出力に基づいて、焦点検出の為の演算処理および撮影画像の生成を行う画像処理部（１００６）を備えた撮像装置（１０００）であって、
前記第一の画素出力手段による画素出力は、前記第一画素出力混合回路（１１１）にて混合処理を行うとともに焦点検出の為に用いられ、
前記第二の画素出力手段による画素出力は、前記第二画素出力混合回路（１１２）にて混合処理を行うとともに、撮影画像の生成の為に用いられることを特徴とする撮像装置。
【請求項２】
前記第一画素出力混合回路（１１１）は、前記垂直線（１０２）毎に、前記単位画素の画素出力を保持する保持手段（３０５、３０６、３０７）を備え、
前記一つの列回路（３００）内の増幅回路（１１０）の入力側にて、前記異なる垂直線に読み出された前記単位画素（２００）の画素出力を保持手段（３０５、３０６、３０７）に入力可能とする接続手段（３０４、３１２）にて接続することにより、異なる垂直出力線間での前記単位画素の画素出力の混合処理を行い、
第二画素出力混合回路（１１２）は、前記列回路（３００）毎に、前記列回路出力を保持する保持手段（３１３、３１４）を備えるとともに、前記増幅回路（１１０）の出力側にて、前記異なる列回路間にて、前記列回路出力が保持された保持手段（３１３、３１４）を接続することにより混合処理を行うことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳ撮像素子などを用いた撮像装置に関し、特にその制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置に用いられるCMOS撮像素子については、静止画、動画の双方の読み出しに対応しているものが一般的となっている。
【０００３】
撮像素子からの画素出力として、静止画では高精細な画質とするため撮像素子の画素出力を全て読み出し、動画では各動画フォーマットの画素数に応じて必要情報量に画素数を低減化する画素出力混合処理の技術が開示されている。
【０００４】
特許文献１には、画素列毎に有する一つの列アンプの入力端にて、画素出力が保持される保持容量を、異なる画素列も含めて一つの列アンプに接続することで、画素出力がアナログ的に混合処理されるよう構成されたものが開示されている。
【０００５】
特許文献２には、画素列毎に有する列アンプの出力端にて、列アンプによって増幅処理された画素出力が保持される保持容量を、画素出力の混合を行う異なる画素列の保持容量とで接続することで、アナログ的に画素出力の混合処理が行われるよう構成されたものが開示されている。また、撮像素子には、撮影画像の生成だけでなく、瞳分割方式による撮像面位相差オートフォーカス（以下ＡＦ）機能を有するものが知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１４３１６号公報
【特許文献２】特開２００５−１３０３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の特許文献１に開示された従来技術では、混合する画素列に対して、一つのアンプで混合処理を行うため、不使用となる画素列のアンプを休止状態とすることで消費電力の低減が可能となる。
【０００８】
この場合、列アンプ入力前で発生するランダムノイズについては、混合する画素列数をｎ個とすると1/√ｎ倍の低減効果が得られるが、列アンプで発生するランダムノイズの低減効果は得られない。
【０００９】
特許文献２では、列アンプ部の成分を含めて画素出力の混合処理によるノイズ低減効果は得られるが、読み出し中は列アンプを休止する事ができないため消費電力を低減することができない。
【００１０】
特に、上述の瞳分割方式による撮像面位相差ＡＦ機能を有する撮像素子においては、画素混合した撮影画像の画質は損なわず、十分なＡＦ性能が期待でき、また省電力化した読み出しが望まれる。
【００１１】
そこで、本発明の目的は、動画撮影など画素混合を伴う撮影モード時において、焦点検出および撮影画像として双方の画像出力を行う際、画質を損なわず且つ省電力化とした読み出しを可能とした撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明に係る撮像装置は、
一つのマイクロレンズを共有する少なくとも２つ以上の光電変換部を有する単位画素部を行列方向に複数備え、
前記単位画素部内において、前記光電変換部からの電荷を混合することなく出力させる第一の画素出力手段と、前記単位画素部内において、前記光電変換部からの電荷を混合して出力させる第二の画素出力手段と、
前記単位画素部からの画素出力が読み出される垂直線毎に構成される列回路内にて画素出力を増幅可能な増幅回路と、前記増幅回路の入力側にて、前記異なる垂直線に読み出された前記単位画素部からの画素出力を混合処理する第一画素出力混合回路と、前記異なる列回路内の増幅回路から出力される列回路出力を混合処理する第二画素出力混合回路を有する撮像素子と、
前記撮像素子からの画素出力に基づいて、焦点検出の為の演算処理および撮影画像の生成を行う画像処理部を備える撮像装置であって、
前記第一の画素出力手段による画素出力は、前記第一画素出力混合回路にて混合処理を行うとともに焦点検出の為に用いられ、
前記第二の画素出力手段による画素出力は、前記第二画素出力混合回路にて混合処理を行うとともに、撮影画像の生成の為に用いられることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画素出力を焦点検出に用いる場合、単位画素内の光電変換部からの電荷を混合することなく出力し、一つの列アンプにて画素混合することによって混合処理時における省電力化ができ、また、撮影画像に用いる場合、単位画素内の光電変換部からの電荷を混合させた後出力し、列回路間で出力を画素混合させることによって混合処理による画質の劣化をなくした撮像装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る撮像素子の構成を示すブロック図。
【図２】本発明の実施形態に係る撮像素子の単位画素の構成図
【図３】本発明の実施形態に係る撮像素子の読み出し回路を説明する図
【図４】本発明の実施形態に係る撮像素子の第一画素出力混合回路による信号読み出し動作例を示すタイミングチャート
【図５】本発明の実施形態に係る撮像素子の第二画素出力混合回路による信号読み出し動作例を示すタイミングチャート
【図６】本発明の実施形態に係る撮像装置の全体ブロック図
【図７】本発明の実施形態における撮像素子の構成を説明する図
【図８】本発明の実施形態における撮影素子の画素領域における撮影画像と撮像面位相差ＡＦの駆動動作の選択行を示す図
【図９】本発明の実施形態における撮像素子の第二画素出力混合回路による信号読み出し動作の変形例を示すタイミングチャート
【発明を実施するための形態】
【００１５】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１６】
［実施例１］
以下、図６を参照して、本発明の実施例による、撮像装置１０００について説明する。
【００１７】
図６は本発明の代表的な実施形態を示す撮像装置１０００のブロック図である。
【００１８】
図６において、撮像装置１０００の撮影光学系は、撮影レンズ１００１、レンズ絞り１００２を備える。この撮影光学系で結像された被写体像は、マイクロレンズアレイ１１１１を有する撮像素子１００３で受光される。撮影レンズ１００１を通過した光は撮影レンズ１００１の焦点位置近傍に結像する。
【００１９】
マイクロレンズアレイ１１１１は、複数のマイクロレンズ１１１２から構成されており、撮影レンズ１００１の焦点位置近傍に配置されることで、撮影レンズ１００１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。
【００２０】
撮像素子１００３はＣＭＯＳイメージセンサである。１つのマイクロレンズ１１１２に対して複数の光電変換部が配置される後述する単位画素２００を有しており、マイクロレンズ１１１２で瞳領域ごとに分割して出射された光を分割情報を保ったまま受光し、データ処理可能な画像出力信号に変換する機能を有する。
【００２１】
１００４はアナログ信号処理回路（ＡＦＥ）、１００５はデジタル信号処理回路（ＤＦＥ）である。アナログ信号処理回路１００４は、撮像素子１００３から出力される画像出力信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１００５は、アナログ信号処理回路１００４から出力される画像出力信号に対して基準レベル調整等のデジタル画像処理を行う。
【００２２】
１００６は画像処理回路、１００７はメモリ回路、１００８は記録回路である。画像処理回路１００６はデジタル信号処理回路１００５からの画像出力信号に対して、補正処理や現像処理等を施す。また、画像出力信号から、後述するＡ像、Ｂ像の相関演算による撮像面位相差オートフォーカス（以下ＡＦ）演算や処理を行う。メモリ回路１００７および記録回路１００８は、画像処理回路１００６から出力された画像信号等の一時記憶や記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。
【００２３】
１００９は制御回路、１０１０は表示回路、１０１２は操作回路である。制御回路１００９は撮像素子１００３や画像処理回路１００６等の撮像装置全体を統括的に駆動・制御する。また、画像処理回路１００６にて得られたＡＦ演算結果を用いて、撮影レンズ１００１のフォーカス駆動および制御を行う。
【００２４】
表示回路１０１０は撮影後の画像やライブビュー画像、各種設定画面等を表示する。操作回路１０１２は撮像装置１０００に備え付けられた撮影モードスイッチ１０１１等の設定信号を受け付け、制御回路１００９に対してユーザーの命令を反映する。１０１１は撮影モード設定スイッチであり、該スイッチを操作することにより、静止画、動画等の撮影モードの設定を行う。なお、撮影モード設定スイッチ１０１１により動画モードが選択された際には、後述する焦点検出を行うための撮像面位相差ＡＦ用および撮影画像用として画素出力がなされ、画素混合による読み出しが行われる。
【００２５】
次に、本実施形態の撮像素子１００３の画素配置について説明する。
【００２６】
図７は撮像素子１００３を図６の光軸Ｚ方向から見た画素配置である。ここでは、マイクロレンズ１１１２を共有する光電変換部２０１Ａ，２０１Ｂからなる１画素を単位画素２００として定義し、その単位画素２００が行列状に配列されている。本例では４行８列の計３２個として図示するが、実際は数百万、数千万個にて構成されている。また各単位画素２００上には赤（Ｒ）緑（Ｇ）青（Ｂ）のカラーフィルタがベイヤ配列にて配されている。
【００２７】
続いて、図１を参照して、撮像素子１００３の全体構成について説明する。
【００２８】
図１は本発明の実施形態を示す撮像素子１００３の構成を示すブロック図である。なお、単位画素２００それぞれに記載されている文字及び数字は、画素の色とアドレスを示し、例えばＧ０１はＧ画素０行1列目を示すものである。
【００２９】
各単位画素２００の出力は、各列の垂直線１０２に接続される。なお、垂直線１０２に続いて表記される記号数字は、（０）であれば画素列の０列目に接続される垂直線、（１）であれば画素列の１列目に接続される垂直線を示すものである。各垂直線１０２は、各々垂直線負荷となる電流源１０３が接続され、垂直走査回路１０８によって選択された画素出力が、接続先の読み出し回路１０４にて読み出される。
【００３０】
読み出し回路１０４は、垂直線毎に構成される列回路により垂直走査回路１０８によって選択された画素出力を読み出す。読み出し回路１０４では各列からの画素出力を増幅する増幅回路１１０と、増幅回路１１０の入力側において各列からの画素出力を混合処理する第一画素出力混合回路１１１と、増幅回路１１０の出力側において画素出力を混合処理する第二画素出力混合回路１１２を有している。
【００３１】
なお、第一画素出力混合回路１１１と第二画素出力混合回路１１２を、後述するように撮影画像用途と撮像面位相差ＡＦ用途で選択駆動制御することで、画質と電力の観点から好適な画素出力の混合処理を行うことが可能となる。
【００３２】
読み出し回路１０４で読み出された画素出力は、水平走査回路１０５の駆動により各列の読み出しスイッチ１１３、１１４が順次オンされることで水平出力線１０６へ順次出力される。ここで読み出される画素出力は、画素出力のノイズ信号および光信号であり、出力アンプ回路１０７にて、ノイズ信号および光信号の差分をとって画像信号を生成し、撮像素子の外部に順次出力する。
【００３３】
垂直走査回路１０８は、各行ごとに接続される信号線１０９（Ｐｓｅｌ、Ｐｒｅｓ、ＰｔｘＡ、ＰｔｘＢ）を介して行選択・駆動を行う。同図において信号線１０９は、先頭行となる０行目、１行目しか記載していないが、実際には各行に配線されている。
【００３４】
図２は撮像素子１００３の単位画素２００を示す図である。
【００３５】
単位画素２００は、光電変換部であるフォトダイオード(以下ＰＤ)ＰＤ２０１Ａ、ＰＤ２０１Ｂを有しており、行方向にて配置される。ＰＤ２０１Ａ，ＰＤ２０１Ｂは撮影レンズによって結像された光学像を受けて電荷を発生し蓄積する。ＰＤ２０１Ａには転送スイッチ２０２Ａが接続され、ＰＤ２０１Ｂには転送スイッチ２０２Ｂが接続される。ＰＤ２０１Ａ、ＰＤ２０１Ｂで発生した電荷は、それぞれ転送スイッチ２０２Ａ、２０２Ｂを介して共通のフローティングディフュージョン（以下、ＦＤ）ＦＤ２０４に転送され、一時的に保存される。
【００３６】
また、転送スイッチ２０２Ａ、２０２ＢおよびＦＤ１０４は、ＰＤ２０１Ａ、ＰＤ２０１Ｂで発生した電荷を混合する電荷混合部として機能させることができ、転送スイッチ２０２Ａ、２０２Ｂを同時選択することで、ＰＤ２０１Ａ、ＰＤ２０１Ｂで発生した電荷を、ＦＤ２０４にて混合することができる。ＦＤ２０４はリセットスイッチ２０３とソースフォロワアンプ（以下、ＳＦ）２０５と接続している。更にＳＦ２０５は選択スイッチ２０６と接続している。
【００３７】
ＦＤ２０４に転送された電荷は、選択スイッチ２０６がオンされると、ソースフォロワアンプを形成する増幅ＭＯＳトランジスタ（ＳＦ）２０５を介して電荷に対応した電圧としてＳＦ２０５から出力される。リセットスイッチ２０３とＳＦ２０５のドレインは基準電位ＶＤＤを共有している。リセットスイッチ２０３は、ＦＤ２０４の電位、及び転送スイッチ２０２Ａを介してＰＤ２０１Ａ、転送スイッチ２０２Ｂを介してＰＤ２０１Ｂの電位をＶＤＤにリセットする。
【００３８】
選択スイッチ２０６は、行単位で制御され、選択された行のＳＦ２０５から出力された画素出力をＶｏｕｔより垂直線１０２に出力する。転送スイッチ２０２Ａは信号ＰｔｘＡ、転送スイッチ２０２Ｂは信号ＰｔｘＢ、リセットスイッチ２０３は信号Ｐｒｅｓ、選択スイッチ２０６は信号Ｐｓｅｌによって、それぞれ制御され、上記の各信号は信号線１０９により各々供給され、垂直走査回路１０８によって制御される。
【００３９】
なお、単位画素２００からの出力としては、第一の画素出力手段と第二の画素出力手段があり、第一の画素出力手段として、後述する撮像面位相差ＡＦ用途の読み出し時には、信号ＰｔｘＡによりＰＤ２０１ＡからＡ像信号として、信号ＰｔｘＢによりＰＤ２０１ＢからＢ像信号として、各々の電荷が画素出力するよう制御される。このＡ像信号とＢ像信号に対して公知の相関演算等を行い、像ずれ量（瞳分割位相差）を検出することで、撮像面位相差ＡＦが可能となる。
【００４０】
また、第二の出力手段として、撮影画像用途の読み出し時には、信号ＰｔｘＡと信号Ｐｔｘｂを同時オンすることにより、単位画素２００内にてＰＤ２０１ＡとＰＤ２０１Ｂの電荷が混合されて、一つの単位画素として出力されるよう制御される。
【００４１】
続いて、読み出し回路１０４の説明を行う。ここでは、代表として図３に示した水平方向の３画素を混合処理する構成の説明を行う。
【００４２】
本例では、画素１列に対して垂直線および列回路が１つとなる構成を例にして説明する。なお、同行の隣接する同色３画素となる３列分が画素混合されるものとする。読み出し回路１０４は、接続される垂直線毎に列回路３００を有している。ここでの説明は、１列の回路構成については垂直線１０２（０）が接続される列回路３００について行い、画素混合については、垂直線１０２（０）、１０２（２）、１０２（４）が接続される３列の列回路の組み合わせによる画素混合を例にして説明を行う。
【００４３】
また、０行目における読み出しでは、垂直線１０２（０）からＲ００、垂直線１０２（２）からＲ０２、垂直線１０２（４）からＲ０４のＲ画素となる３列３画素が画素混合される。また、垂直線１０２（３）からＧ０３、垂直線１０２から（５）Ｇ０５、垂直線１０２（７）からＧ０７のＧ画素となる３列３画素が画素混合されるものとなる。垂直線１０２（１）については、画素混合の開始列の組合せにより、ここでは画素混合が行われないものとする。また本例では、混合処理により画素出力が平均化されるよう制御される。
【００４４】
３０５、３０６、３０７はクランプ容量である。クランプ容量３０５はスイッチ３０１、クランプ容量３０６はスイッチ３０２、クランプ容量３０７はスイッチ３０３に各々に接続されており、スイッチ３０１は信号Ｐｃ1、スイッチ３０２は信号Ｐｃ２、スイッチ３０３は信号Ｐｃ３にて制御される。
【００４５】
なお、他の垂直線からの画素出力が入力可能となる垂直線１０２（２）に接続される列回路３００については、スイッチ３０２は信号Ｐｃ４にて制御される。
【００４６】
同様に他の垂直線からの出力が接続可能となる列回路３００については、信号Ｐｃ４にて制御される。
【００４７】
スイッチ３０４は第一画素出力混合処理の動作時にて、混合信号Ｐａｄｄ１で制御される画素混合させるためのスイッチであり、垂直線１０２（０）を、垂直線（２）のクランプ容量３０５に結線させるスイッチである。スイッチ３１２は第一画素出力混合処理の動作時にて、混合信号Ｐａｄｄ１で制御される画素混合させるためのスイッチであり、垂直線１０２（４）を、垂直線（２）のクランプ容量３０７に結線させるスイッチである。
【００４８】
制御信号Ｐｗ１は、垂直線（０）、垂直線（４）が接続される列回路のオペアンプ３１０への電源供給を制御する信号であり、未使用となるオペアンプ３１０への電源供給を停止することで省電力を実現させるものである。制御信号Ｐｗ２は、垂直線（２）が接続される列回路のオペアンプ３１０への電源供給を制御する信号である。上記構成３０１〜３０７、３１２が第一画素出力混合回路１１１となるものである。
【００４９】
３１０はオペアンプ、３０８はフィードバック容量である。また、フィードバック容量３０８と、クランプ容量３０５、３０６、３０７との容量比により、オペアンプ３１０とで構成される反転増幅回路のゲインが決まる。３１１はフィードバック容量の両端をショートさせるためのスイッチであり、リセット信号Ｐｃ０ｒで制御される。上記構成３０８〜３１１が増幅回路１１０となるものである。
【００５０】
３１３、３１４は増幅回路１１１の出力信号電圧を保持するための容量であり、３１５、３１６は容量３１３および３１４への書き込みを制御するスイッチである。スイッチ３１５は信号Ｐｃｔｎで制御され、スイッチ３１６は信号Ｐｃｔｓで制御される。３１７、３１８、３１９、３２０は第二画素出力混合処理の動作時にて、列回路間での出力により画素混合するためのスイッチであり、いずれも混合信号Ｐａｄｄ２にて制御される。
【００５１】
３１７、３１８は、列回路間での各容量３１４を接続するスイッチ、３１９、３２０は、列回路間での各容量３１３を接続するスイッチであり、本例では、垂直線１０２（０）、垂直線１０２（２）、垂直線１０２（４）に接続される列回路の３列間の容量を接続させることで容量に保持されている信号を混合させるものである。上記構成３１３〜３１６、３１７〜３２０が第二画素出力混合回路となるものである。
【００５２】
なお、上述した列回路３００は、３０１〜３０４、３０５〜３１６から構成されるものであり、第一画素混合回路１１１、増幅回路１００、第二画素混合回路１１２における１列分の回路にて構成されるものである。
【００５３】
図４、図５のタイミングチャートを用いて、本実施例の画素出力の混合処理を行う撮影モードの動作を詳細に説明する。
【００５４】
図４は第一画素出力混合回路１１１での混合処理の一例を示すタイミングチャートである。
【００５５】
本例では、第一画素出力混合回路１１１による混合処理は、画素混合を伴う動画モードにおいて、撮像面位相差ＡＦを行うために、単位画素２００からＡ像またはＢ像を出力する際に行われ、単位画素２００は第一の画素出力手段により、画素出力がなされる。
なお、単位画素２００からの画素出力は、同一行において、ＰＤ２０１Ａから出力後にＰＤ２０１Ｂから出力されるよう駆動制御される。
【００５６】
ここでは、説明を簡略化するために既に単位画素２００内のＰＤ２０１Ａ，ＰＤ２０１Ｂの蓄積が行われているものとし、一例としてｎ行目のＲ００、Ｒ０２、Ｒ０４画素が撮像面位相差ＡＦのため読み出され、混合処理される場合について説明する。
【００５７】
まず、画素混合が行われる３列について、画素混合および画素混合以後の画素出力の信号処理は３列内の１列分のみを用いて行うため、使用される１列のオペアンプは動作可能状態とし、未使用の２列のオペアンプは停止状態とする。時刻ｔ０にて、読み出し回路１０４において、制御信号Ｐｗ２をオンとして使用される１列のオペアンプは可動状態、また制御信号Ｐｗ１をオフとして未使用となる他の２列のオペアンプを休止状態とする。
【００５８】
同時刻ｔ０にて、ＰＤ２０１Ａ、ＰＤ２０１Ｂからの光信号電荷の読み出しに先立って、ｎ行目のリセットスイッチ２０３のゲート信号Ｐｒｅｓ（ｎ）がハイレベルとなる。これによって、ｎ行目のＳＦ２０５のゲートがリセット電源電圧にリセットされる。
【００５９】
時刻ｔ２にて、リセットスイッチ２０３のゲート信号Ｐｒｅｓ（ｎ）がローレベルに復帰し、クランプスイッチ３１１のゲート信号Ｐｃ０ｒがハイレベルになった後、時刻ｔ３にて、選択スイッチ２０５のゲート信号Ｐｓｅｌ（ｎ）がハイレベルとなる。これによって、リセットノイズが重畳されたリセット（ノイズ）信号が垂直線１０２に読み出され、各列のクランプ容量にクランプされることになる。
【００６０】
また、時刻ｔ１にて、信号Ｐｃ４、混合信号Ｐａｄｄ１がハイレベルになり、画素混合先となる垂直線のクランプ容量３０６、クランプ容量３０５、クランプ容量３０７が選択される。一例として、垂直線１０２（２）に接続される列回路の一つのオペアンプ３１０の入力端にて、垂直線１０２（０）からＲ００画素、垂直線１０２（２）からＲ０２画素、垂直線１０２（４）からＲ０４画素の画素出力の３画素分が入力されることになる。ここで、一つの増幅回路の入力端にて画素出力の混合処理が行われ、第一画素出力混合回路にて画素混合されることになる。
【００６１】
時刻ｔ５にて、クランプスイッチのゲート信号Ｐｃ０ｒがローレベルに復帰した後、ノイズ信号がアンプ３１０に入力される。また、ノイズ信号側転送スイッチのゲート信号Ｐｃｔｎがハイレベルとなり、各列に設けられたノイズ保持容量となる容量３１３にノイズ信号が書き込まれて保持される。この際、Ｐｗ２にて可動状態とされたオペアンプ３１０の入力端にて、混合、平均化されて、増幅回路にて増幅されたノイズ信号が、正しいノイズ信号として保持されることになる。
【００６２】
時刻ｔ７にて、ノイズ信号側転送スイッチのゲート信号Ｐｃｔｎがローレベル、転送スイッチ２０２Ａのゲート信号ＰｔｘＡ（ｎ）がハイレベルとなり、ＰＤ２０１Ａに蓄積されていた光信号電荷が、ＦＤ２０４およびＳＦ２０５のゲートに転送されると同時にＶｏｕｔより垂直線１０２に読み出される。同時に信号Ｐｃｔｓがハイレベルとなり、各列に設けられた信号保持容量となる容量３１４に、リセット信号からの変化分（光信号）が書き込まれて保持される。
【００６３】
時刻ｔ９にて、転送スイッチ２０２Ａのゲート信号ＰｔｘＡ（ｎ）がローレベルに復帰した後、時刻ｔ１０にて、画素出力側転送スイッチのゲート信号Ｐｃｔｓがローレベルとなる。
【００６４】
ここで保持される光信号は、上述したリセット信号同様に、混合、平均化され増幅回路にて増幅された光信号となる。なお、この際、Ｐｗ２にて可動状態とされたオペアンプの入力端にて、混合、平均化され、増幅回路にて増幅された光信号のみが、正しい光信号として保持されることになる。ここまでの動作で、ｎ行目におけるＡ像となるノイズ信号および光信号の混合出力が、それぞれの列に接続されたノイズ保持容量３１３、信号保持容量３１４に保持されることになる。
【００６５】
この後、Ａ像の出力を行う為、以下の公知の水平信号走査を行う。ｔ１3にて、水平走査回路１０５から信号Ｐｈが各列に順次供給され、各列の水平転送スイッチゲートが順次ハイレベルとなる。なお、ここで供給される信号Ｐｈは、混合処理された画素出力がされる列回路が対象となり、読み出される列回路からの出力に対して３列に１列の割合で供給がなされることになる。
【００６６】
例えば、垂直線１０２（０）、垂直線１０２（２）、垂直線１０２（４）から画素混合出力させる際、信号Ｐｈは、垂直線１０２（２）が接続される列回路に供給される。
【００６７】
信号保持容量３１３、３１４に保持されていた信号電圧は、順次水平出力線１０６に読み出され、出力アンプ１０７で差分処理されて出力端子より順次出力される。以上によりｎ行目のＡ像の読み出しが行われることになる。Ａ像の読み出しが完了後、同ｎ行目におけるＢ像の読み出しが開始される。Ｂ像の読み出しについては、同一行のＡ像読み出し後に行われるため、Ｐｗ２はハイレベルのまま画素混合に使用されるオペアンプは可動状態としておく。
【００６８】
また、混合信号Ｐａｄｄ１およびＰｃ４もハイレベルのまま、他の垂直線からの画素出力を一つのオペアンプの入力端にて混合処理できる状態として読み出し動作が開始される。なお、読み出す分割画素のフォトダイオードがＰＤ２０１ＡからＰＤ２０１Ｂへ変わり、それに応じて転送スイッチ２０２Ａが２０２Ｂへ、信号ＰｔｘＡからＰｔｘＢに変わるだけとなるため、動作自体はＡ像の読み出しと同一となるため割愛する。
【００６９】
以上で、ｎ行目のＡ像およびＢ像となる画素混合された画素出力の読み出しが完了する。
【００７０】
ここで読み出されたＡ像、Ｂ像は色毎にて画素混合された画素出力となり、ｎ行目ではＲ画素またはＧ画素のＡ像、Ｂ像として各々読み出される。なお、読み出されたＡ像、Ｂ像は、画像処理回路１００６により、各色にて相関演算が実施される。ここで算出された像ずれ量を元にフォーカス制御が行われる。
【００７１】
以上のＡ像、Ｂ像となる画素出力の混合処理による読み出し駆動については、画素３列の信号に対して使用する増幅回路のオペアンプは１列分とすることができるため、未使用となる２列の増幅回路のオペアンプへの給電を停止して電力を低減化することが可能となる。また、画素混合による増幅回路のノイズ低減はできないが、Ａ像、Ｂ像の画素出力は、相関演算時において公知のフィルタ処理、補間演算等によりカバーされるため、十分な精度を満たすことが可能である。
【００７２】
図５は第二画素出力混合回路１１２での混合処理の一例を示すタイミングチャートである。
【００７３】
本例では、第二画素出力混合回路１１２による混合処理は、画素混合を伴う動画モードにおいて、垂直線毎に構成される列回路単位にて行われ、撮像画像として画素出力を出力する際に行われる。また、単位画素２００内にてＰＤ２０１Ａ，ＰＤ２０１Ｂの各光電変換部の電荷が混合されて一つの単位画素として出力され、単位画素２００は第二の画素出力手段により、画素出力がなされる。この画素出力が列回路単位にて列回路出力として混合処理されることになる。
【００７４】
ここでは、説明を簡略化するために既に単位画素２００内のＰＤ２０１Ａ，ＰＤ２０１Ｂの蓄積が行われているものとし、一例としてｎ行目のＲ００、Ｒ０２、Ｒ０４画素が撮影画像ために読み出され、混合処理される場合について説明する。
【００７５】
まず、ｔ１００において、オペアンプ３１０の電源供給を行うスイッチ３０８について、信号Ｐｗ１、Ｐｗ２をオンとして、全列のオペアンプ３１０に給電を行い動作可能状態とする。同時刻ｔ１００にて、ＰＤ２０１ＡおよびＰＤ２０１Ｂからの光信号電荷の読み出しに先立って、ｎ行目のリセットスイッチ２０３のゲート信号Ｐｒｅｓ（ｎ）がハイレベルとなる。これによって、ｎ行目のＳＦ２０５のゲートがリセット電源電圧にリセットされる。
【００７６】
時刻ｔ１０２にて、セットスイッチ２０３のゲート信号Ｐｒｅｓ（ｎ）がローレベルに復帰し、クランプスイッチ３１１のゲート信号Ｐｃ０ｒがハイレベルになった後、時刻ｔ１０３にて、選択スイッチ２０５のゲート信号Ｐｓｅｌ（ｎ）がハイレベルとなる。これによって、リセットノイズが重畳されたリセット信号（ノイズ信号）が垂直線１０２に読み出され、各列のクランプ容量にクランプされることになる。
【００７７】
また、時刻ｔ１０１にて、信号Ｐｃ１、信号Ｐｃ２、信号Ｐｃ３、信号Ｐｃ４がハイレベルになり、列回路３００に対する全てのクランプ容量３０５、３０６、３０７が選択される。各列のオペアンプ３１０についても、全て駆動されることになる。
【００７８】
時刻ｔ１０５にて、クランプスイッチのゲート信号Ｐｃ０ｒがローレベルに復帰した後、ノイズ信号側転送スイッチのゲート信号Ｐｃｔｎがハイレベルとなり、各列に設けられたノイズ保持容量となる容量３１３にノイズ信号が書き込まれて保持される。
【００７９】
時刻ｔ１０７にて、ノイズ信号側転送スイッチのゲート信号Ｐｃｔｎがローレベル、転送スイッチ２０２Ａのゲート信号ＰｔｘＡ（ｎ）および転送スイッチ２０２Ｂのゲート信号ＰｔｘＢ（ｎ）がハイレベルとなり、ＰＤ２０１Ａ、ＰＤ２０１Ｂの双方に蓄積されていた光信号電荷が、ＦＤ２０４およびＳＦ２０５のゲートに転送され、単位画素２００にて電荷が混合される。また同時にＶｏｕｔより垂直線１０２に読み出される。同時刻ｔ１０７にて、信号Ｐｃｔｓがハイレベルとなり、各列に設けられた信号保持容量となる容量３１４に、リセット信号からの変化分（光信号）が書き込まれて保持される。
【００８０】
時刻ｔ１０９にて、転送スイッチ２０２Ａのゲート信号ＰｔｘＡ（ｎ）、転送スイッチ２０２Ｂのゲート信号ＰｔｘＢ（ｎ）がローレベルに復帰した後、時刻ｔ１１０にて、画素出力側転送スイッチのゲート信号Ｐｃｔｓがローレベルとなる。
【００８１】
ここまでの動作で、ｎ行目の1行分の単位画素のノイズ信号および光信号がそれぞれの列に接続されたノイズ保持容量３１３、信号保持容量３１４に保持される。ｔ１１１にて、混合信号Ｐａｄｄ２がハイレベルとなり、スイッチ３１７、スイッチ３１８により垂直線１０２（０）、垂直線１０２（２）、垂直線１０２（４）に接続される各列回路３００について、各３列の信号保持容量３１４の片側が短絡される。これにより信号保持容量３１４に保持されていた各光信号が混合され平均化される。
【００８２】
また同時にスイッチ３１９、スイッチ３２０により垂直線１０２（０）、垂直線１０２（２）、垂直線１０２（４）に接続される各列回路３００について、各３列のノイズ保持容量３１３の片側が短絡される。これによりノイズ保持容量３１３に保持されていた各ノイズ信号が混合され平均化される。
【００８３】
ｔ１１３にて混合信号Ｐａｄｄ２がローレベルに復帰した後、撮影画像の画素出力を行う為、以下の公知の水平信号走査を行う。ｔ１１3にて、水平走査回路１０５から信号Ｐｈが各列に順次供給され、各列の水平転送スイッチゲートが順次ハイレベルとなる。なお、ここで供給される信号Ｐｈは、混合処理されて出力する列回路３００に対するものとなり、３列に１列の割合で供給がなされることになる。例えば、垂直線１０２（０）、垂直線１０２（２）、垂直線１０２（４）から画素混合出力させる際、信号Ｐｈは、垂直線１０２（２）が接続される列回路３００に供給される。
【００８４】
信号保持容量３１３、３１４に保持されていた電圧は、順次水平出力線１０６に読み出され、出力アンプ１０７で差分処理されて出力端子より順次出力される。以上によりｎ行目の撮影画像の読み出しが行われることになる。
【００８５】
以上で1行分の単位画素の読み出しが完了するが、以下同様に垂直走査回路１０８からの信号によって、行単位にて単位画素の信号が順次読み出されることにより、全画素分の読み出しが完了する。なお、以上の画素出力の混合処理による読み出し駆動では、増幅回路についても混合される列回路の数分が使用されるため、全ての増幅回路が駆動される分、消費電力は必要となるが、撮影画像としては、画素混合する列回路数分の増幅回路も含めたランダムノイズの低減効果が得られることになり、混合処理によって画質を劣化すること無く好適なものとすることができる。
【００８６】
図８は画素混合を伴う動画モード時において、撮像素子１００３の画素領域における撮影画像および撮像面位相差ＡＦとして読み出される選択行の一例を示す図である。各行に記した「撮影」は撮影画像として読み出される行を、「ＡＦ」は撮像面位相差ＡＦにて読み出される行を示すものである。
【００８７】
本例では、上から４行は撮影画像として、続く２行は撮像面位相差ＡＦとして同割合にて画素領域の最終行まで繰り返し選択がなされるようになっている。また、上述したように撮像面位相差ＡＦとしては第一の画素出力手段により、撮影画像としては第二の画素出力手段により単位画素２００から画素出力がなされることになる。
【００８８】
撮影時におけるｌフレームの読み出しは、撮影画像として選択された行の全ての読み出しが行われた後に、上述した割合で上位行から順に撮像面位相差ＡＦの選択がされて読み出しが行われるものである。
【００８９】
同時に、画素混合についても、撮影画像と撮像面位相差ＡＦの選択に応じて、上述した図６、図７のタイミングチャートに従い、第二画素混合回路と第一混合回路の選択がされて、読み出される。
【００９０】
なお、本例での動画モードにおける各行の読み出しについては、各動画モードのフォーマットの画素数に合わせるよう、予め撮影画像用として読み出される行は決まっている。
【００９１】
本例では、撮影画像としては、６行に２行の割合にて間引きかれて残った４行が、撮影画像の生成に用いられ、撮影画像用として使用されず間引かれていた行が、撮像面位相差ＡＦ用として読み出されたとしても、撮影画像としては画質への影響はない。
【００９２】
このように、画素混合を伴う動画モード時において、撮像面位相差ＡＦとして読み出す際には、第一の画素出力手段により読み出された画素出力を、第一画素混合回路により混合処理における使用する列アンプが削減された省電力化した読み出しとし、撮影画像を読み出す際には、第二の画素出力手段により読み出された画素出力を、第二画素混合回路によって、画質劣化を無くした画質優先とした読み出しにすることで、撮影画像と撮像面位相差ＡＦの双方にて読み出しを行う撮影に関して、画質を損なわず省電力化とした混合処理による読み出しが可能となる。
【００９３】
［変形例］
なお、上述にて撮像面位相差ＡＦとして画素出力を読み出す際、単位画素２００からＰＤ２０１Ａ、ＰＤ２０１Ｂの個々の出力をＡ像、Ｂ像として、読み出して、各々混合処理を行わせて相関演算から焦点位置情報を得るようにしているが、これに限るものでない。
【００９４】
図９は図４に示した混合処理のタイミングチャートの変形例であり、図４のタイミングチャートに対して、Ａ像を読み出した後は、そのままＡ像とＢ像を同時に単位画素内で電荷混合して読み出す動作のタイミングチャートである。
【００９５】
ｔ０からｔ１７までのＡ像読み出しまでは同じであり、Ａ像を読み出した後のｔ１８からは、Ｐｓｅｌ（ｎ）はハイレベルのまま同行選択とし、Ｐｒｅｓ（ｎ）、Ｐｃ０ｒ（ｎ）、Ｐｃｔｎ（ｎ）はローレベルとしてノイズ信号はそのまま、ｔ２５からｔ２７までＰｔｘＡ（ｎ）をＰｔｘＢ（ｎ）と同時選択して単位画素内での電荷の混合による読み出しを行うようにものとなっている。
【００９６】
このように、Ａ像と、単位画素内でＡ像とＢ像が混合されたＡ＋Ｂ像を読み出してから、各々画素混合を行ったのち、画像処理回路等にてＡ＋Ｂ像からＡ像を減算してＢ像を生成し、このＡ像とＢ像による相関演算から、撮像面位相差ＡＦとして焦点位置情報を得るようにしてもよい。
【００９７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９８】
１０４  読み出し回路、１１０  増幅回路、１１１  第一画素出力混合回路、
１１２  第二画素出力混合回路、１００２  撮像素子
【図１】
2018014656.tif 000003
【図２】
2018014656.tif 000004
【図３】
2018014656.tif 000005
【図４】
2018014656.tif 000006
【図５】
2018014656.tif 000007
【図６】
2018014656.tif 000008
【図７】
2018014656.tif 000009
【図８】
2018014656.tif 000010
【図９】
2018014656.tif 000011