(57)【要約】【課題】位相差検出機能を有する撮像装置において位相差検出精度を向上することを目的とする。【解決手段】１つのマイクロレンズに対して複数の光電変換素子を有し、前記マイクロレンズが二次元状に配列される撮像手段（１０５）を制御する制御装置であって、互いに異なる複数の方向での位相差を検出できるように前記複数の光電変換素子の信号の読み出しを制御する制御手段（１０６，１１０）を有し、前記制御手段は、前記複数の光電変換素子のうち一部の光電変換素子の信号と、前記一部の光電変換素子に対して前記複数の方向のうち第１の方向に配置される別の光電変換素子の信号と、を混合させて読み出した後に、前記混合された信号と、前記複数の方向のうち前記第１の方向と異なる第２の方向に配置される別の光電変換素子の信号と、を混合させて読み出すように制御する。【選択図】  図３
2016131346.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズに対して複数の光電変換素子を有し、前記マイクロレンズが二次元状に配列される撮像手段を制御する制御装置であって、
互いに異なる複数の方向での位相差を検出できるように前記複数の光電変換素子の信号の読み出しを制御する制御手段を有し、
前記制御手段は、
前記複数の光電変換素子のうち一部の光電変換素子の信号と、前記一部の光電変換素子に対して前記複数の方向のうち第１の方向に配置される別の光電変換素子の信号と、を混合させて読み出した後に、
前記混合された信号と、前記複数の方向のうち前記第１の方向と異なる第２の方向に配置される別の光電変換素子の信号と、を混合させて読み出すように制御することを特徴とする制御装置。
【請求項２】
前記制御手段は、
前記複数の光電変換素子のうち第１光電変換素子の第１信号と、前記第１光電変換素子に対して前記複数の方向のうち第１の方向に配置される第２光電変換素子の第２信号と、を混合させ、
前記第１信号と前記第２信号が混合された第１混合信号と、前記複数の方向のうち前記第１の方向と異なる第２の方向に配置される第３光電変換素子の第３信号および第４光電変換素子の第４信号と、を混合させることを特徴とする請求項１に記載の制御装置。
【請求項３】
前記撮像手段は、
前記第１信号を保持する第１保持容量と、
前記第１混合信号を保持する第２保持容量と、
前記第１混合信号と前記第３信号と前記第４信号が混合された第２混合信号を保持する第３保持容量と、を有することを特徴とする請求項２に記載の制御装置。
【請求項４】
前記第１信号と、前記第１混合信号から前記第１信号を減算して得られる第１減算信号と、に基づいて前記第１の方向での前記位相差を検出し、
前記第１混合信号と、前記第１混合信号と前記第３信号と前記第４信号が混合された第２混合信号から前記第１混合信号を減算して得られる第２減算信号と、に基づいて前記第２の方向での前記位相差を検出する位相差検出手段を有することを特徴とする請求項２または３に記載の制御装置。
【請求項５】
前記制御手段は、
前記複数の光電変換素子のうち第１光電変換素子の第１信号と、前記第１光電変換素子とは別の第２光電変換素子の第２信号および第３光電変換素子の第３信号と、を混合させ、
前記第１信号と前記第２信号と前記第３信号が混合された第１混合信号と、前記第１光電変換素子に対して前記複数の方向のうち第１の方向に配置される第４光電変換素子の第４信号と、を混合させ、
前記第１混合信号と前記第４信号が混合された第２混合信号と、前記複数の方向のうち前記第１の方向と異なる第２の方向に配置される第５光電変換素子の第５信号および第６光電変換素子の第６信号と、を混合させることを特徴とする請求項１に記載の制御装置。
【請求項６】
前記撮像手段は、
前記第１信号を保持する第１保持容量と、
前記第１混合信号を保持する第２保持容量と、
前記第２混合信号を保持する第３保持容量と、
前記第２混合信号と前記第５信号と前記第６信号が混合された第３混合信号を保持する第４保持容量と、を有することを特徴とする請求項５に記載の制御装置。
【請求項７】
前記第１信号と、前記第２混合信号から前記第１混合信号を減算して得られる第１減算信号と、に基づいて前記第１の方向での前記位相差を検出し、
前記第１混合信号から前記第１信号を減算して得られる第２減算信号と、前記第２混合信号と前記第５信号と前記第６信号が混合された第３混合信号から前記第２混合信号を減算して得られる第３減算信号と、に基づいて前記第２の方向での前記位相差を検出する位相差検出手段を有することを特徴とする請求項５または６に記載の制御装置。
【請求項８】
前記位相差検出手段は、
前記第１混合信号と、前記第３混合信号から前記第１混合信号を減算して得られる第４減算信号と、に基づいて前記複数の方向のうち前記第１の方向および前記第２の方向と異なる第３の方向での前記位相差を検出し、
前記第２混合信号から前記第１信号を減算して得られる第５減算信号と、前記第３混合信号から前記第５減算信号を減算して得られる第６減算信号と、に基づいて前記複数の方向のうち前記第１の方向と前記第２の方向と前記第３の方向と異なる第４の方向での前記位相差を検出することを特徴とする請求項７に記載の制御装置。
【請求項９】
１つのマイクロレンズに対して複数の光電変換素子を有し、前記マイクロレンズが二次元状に配列される撮像手段と、
請求項１ないし８のいずれか１項に記載の制御装置と、を有することを特徴とする撮像装置。
【請求項１０】
１つのマイクロレンズに対して複数の光電変換素子を有し、前記マイクロレンズが二次元状に配列される撮像手段を、互いに異なる複数の方向での位相差を検出できるように、読み出し制御する制御方法であって、
前記複数の光電変換素子のうち一部の光電変換素子の信号と、前記一部の光電変換素子に対して前記複数の光電変換素子のうち第１の方向に配置される別の光電変換素子の信号とを混合させた第１混合信号を読み出した後に、前記第１混合信号と、前記複数の方向のうち前記第１の方向と異なる第２の方向に配置される別の光電変換素子の信号と、を混合させた第２混合信号を読み出すように制御する読出ステップと、
前記第１混合信号と前記第２混合信号に基づいて、互いに異なる複数の方向の位相差を算出する算出ステップと、を有する、
ことを特徴とする制御方法。
【請求項１１】
前記読出ステップにおいて、さらに前記複数の光電変換素子のうち前記第２混合信号に対応する光電変換素子を除く光電変換素子の信号を前記第２混合信号に混合した第３混合信号を取得し、
前記算出ステップにおいて、前記第１混合信号と前記第２混合信号と前記第３混合信号に基づいて、互いに異なる第１の方向と第２の方向と第３の方向と第４の方向の位相差を算出することを特徴とする請求項１０に記載の制御方法。
【請求項１２】
請求項１０または１１に記載の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１３】
コンピュータに、請求項１０または１１に記載の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置に関し、特に撮像装置内の撮像手段を制御する制御装置に関する。
【背景技術】
【０００２】
特許文献１には、焦点検出用の情報取得用画素を、画像信号取得のための画像取得用画素として兼用できるものが提案されている。この技術によれば、情報取得用画素を水平、垂直方向に４分割し、画像取得時には４分割された領域の信号をすべて混合することで画像信号を得ることができる。また、焦点調節時には、４分割された領域の内、水平または垂直方向の２領域の信号を混合することで、画素内を瞳分割し、位相差方式の焦点調節用信号として取得することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２５１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された構成では、焦点調節時に、４分割された領域の内、縦または横に２分割された領域を混合処理して読み出す。そのため、例えば、横に２分割した場合、合焦対象となる主被写体が水平線や浅い角度の斜め線の時に、位相差が出にくく、主被写体に対して、最適な位相差方式の焦点調節が行えないことがある。
【０００５】
そこで、本発明は、上記課題を鑑み、位相差検出の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての制御装置は、１つのマイクロレンズに対して複数の光電変換素子を有し、前記マイクロレンズが二次元状に配列される撮像手段を制御する制御装置であって、互いに異なる複数の方向での位相差を検出できるように前記複数の光電変換素子の信号の読み出しを制御する制御手段を有し、前記制御手段は、前記複数の光電変換素子のうち一部の光電変換素子の信号と、前記一部の光電変換素子に対して前記複数の方向のうち第１の方向に配置される別の光電変換素子の信号と、を混合させて読み出した後に、前記混合された信号と、前記複数の方向のうち前記第１の方向と異なる第２の方向に配置される別の光電変換素子の信号と、を混合させて読み出すように制御することを特徴とする。
【０００７】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００８】
本発明によれば、位相差検出の精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像素子の１画素の構成を示す概略図である。
【図３】本発明の第１の実施形態に係る画素信号の生成の概要を模式的に示した図である。
【図４】本発明の第１の実施形態に係る位相差検出の方向を説明する図である。
【図５】位相差の原理を説明する図である。
【図６】焦点検出の際の像信号の例を示す図である。
【図７】位相差評価値算出方法を説明するための図である。
【図８】本発明の第１の実施形態に係る画素信号の読み出しのフローチャートである。
【図９】本発明の第１の実施形態に係る撮像装置の回路図である。
【図１０】本発明の第１の実施形態に係る撮像装置のタイミング図である。
【図１１】本発明の第２の実施形態に係る撮像素子の１画素の構成を示す概略図である。
【図１２】本発明の第２の実施形態に係る画素信号の生成の概要を模式的に示した図である。
【図１３】本発明の第２の実施形態に係る位相差検出の方向を説明する図である。
【図１４】本発明の第２の実施形態に係る画素信号の読み出しのフローチャートである。
【図１５】本発明の第２の実施形態に係る撮像装置の回路図である。
【図１６】本発明の第２の実施形態に係る撮像装置のタイミング図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１１】
図１は、本発明の実施形態にかかわる撮像装置の概略構成を示すブロック図である。
【００１２】
図１において、１０１は撮影レンズである。なお、図１では、撮影レンズ１０１を１つのレンズとして表しているが、実際にはフォーカスレンズやズームレンズ、絞り等が含まれる。１０２は全体制御回路１１０による制御に基づいて、撮影レンズ１０１のフォーカスやズーム、絞りを制御するレンズ駆動部である。メカニカルシャッタ１０３は、撮像素子１０５への光を露光／遮光する。シャッタ駆動部１０４は、撮影時にメカニカルシャッタ１０３を駆動して、被写体の光を一定期間撮像素子１０５に露光させる。
【００１３】
撮像素子１０５は、光信号を電気信号に変換する固体撮像素子である。
【００１４】
タイミング発生部１０６は、全体制御回路１１０による制御に基づいて撮像素子１０５を駆動させる。全体制御回路１１０の制御に基づいて、撮像素子１０５の撮影時蓄積時間や画素の間引き読み出し、混合読み出し等の読み出し方法を変更することができる。このように、タイミング発生部１０６および全体制御回路１１０は、撮像素子１０５（撮像手段）を制御する制御手段（制御装置）としての機能を有する。
【００１５】
撮像素子１０５から出力された画像信号は、画像処理回路１０７に入力される。
【００１６】
画像処理回路１０７は、位相差検出回路１０８を含んでいる。位相差検出回路１０８では、撮像素子１０５から出力された画像信号から、位相差情報を算出することができる。位相差算出方法の詳細については、後ほど説明する。
【００１７】
また、画像処理回路１０７では、画像信号のゲイン変更を行う。画像処理回路１０７は、画像信号をデジタル変換するとともにガンマ処理、ホワイトバランス処理などの各種信号処理を行う信号処理部として機能する。この際、画像信号をメモリ部１０９との間で書き込み／読み出し処理している。また、画像処理回路１０７の出力はＬＣＤ１１１（表示部）にて表示することも可能となっている。
【００１８】
画像処理回路１０７で画像処理が施された画像データは、画像変換回路１１２を介して圧縮され、メモリカード１１３に書き込まれ、記録される。画像変換回路１１２は、画像処理回路１０７からの画像データを圧縮してメモリカード１１３へ出力する機能と、メモリカード１１３より読み出した画像データを伸長して画像処理回路１０７へ出力する機能を有している装置である。
【００１９】
全体制御回路１１０は、撮像装置全体の制御を行う。また、全体制御回路１１０は、画像処理回路１０７にて処理された信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。
【００２０】
また、操作部１１４は、例えば、レリーズボタンやモード切り換えダイヤルなど、撮影者が撮像装置に指示を入力するための入力部であり、入力内容は全体制御回路１１０に通知される。
【００２１】
また外部Ｉ／Ｆ（インターフェース）部１１５は、外部ＰＣ等と通信を行う為のインターフェースである。
【００２２】
図２は撮像素子１０５が有する複数の画素２１０のうちの１つの画素２１０の構成を概略的に示している。図２に示す、１つの画素２１０は、１つのマイクロレンズ２２０を有する。また、１つの画素２１０は、複数の光電変換素子を有する。このように、１つの画素２１０は、１つのマイクロレンズ２２０と、複数の光電変換素子を有している。換言すれば、撮像素子１０５は、二次元状に配列された複数のマイクロレンズ（レンズアレイ）を有し、各マイクロレンズ（すなわち、１つのマイクロレンズ）に対して複数の光電変換素子を有する。図２では、1つのマイクロレンズ２２０に対し、左上の光電変換素子２０１Ａと右上の光電変換素子２０１Ｂと左下の光電変換素子２０１Ｃと右下の光電変換素子２０１Ｄの４つの光電変換素子を有している。そして、撮像素子１０５の撮像領域には、このような画素２１０が水平垂直方向に複数配置されている。
【００２３】
次に、本実施例における画素信号の生成の概要と位相差算出の特徴について図３、図４を用いて説明する。
【００２４】
図３は本実施例の画素信号の生成の概要を模式的に示したものである。
【００２５】
ブロックＡ〜Ｄはそれぞれ、光電変換素子２０１Ａ〜２０１Ｄの画素信号を模式的に示したものである。複数のブロックが接する（結合された）ブロックは混合信号を示している。なお、ここでいう混合は、光電変換素子２０１Ａ〜２０１Ｄの画素信号を加算する場合や、加算平均する場合、所定の比率で合成する場合などが含まれる。
【００２６】
図３の左にまとめたブロックＡとブロックＡＢとブロックＡＢＣＤは、固体撮像素子１０５から読み出した画素信号を示している。ここで、ブロックＡとブロックＡＢとブロックＡＢＣＤの各信号は、順次読み出される。画素信号の読み出し方法の詳細については後ほど説明する。
【００２７】
本実施例では、図２の画素２１０のうち、左上の光電変換素子２０１Ａの信号のみの読み出しと、上２つの光電変換素子２０１Ａと２０１Ｂの混合信号の読み出しと、すべての光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの混合信号の読み出しを行う。これらの画素信号を用いて演算をすることで、図３の右にまとめた各画素信号を生成することができる。
【００２８】
つまり、光電変換素子２０１Ａと２０１Ｂの混合信号から光電変換素子２０１Ａの画素信号を減算することで、光電変換素子２０１Ｂに相当する画素信号を生成することができる。さらに光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの混合信号から光電変換素子２０１Ａと２０１Ｂの信号を減算することで光電変換素子２０１Ｃと２０１Ｄの混合信号に相当する信号を生成することができる。したがって、最終的には、図３のブロックＡとしての、光電変換素子２０１Ａの画素信号（のみ）を生成することができる。また、図３のブロックＢとしての、光電変換素子２０１Ｂの画素信号（のみ）を生成することができる。また、図３のブロックＡＢとしての、光電変換素子２０１Ａと２０１Ｂの混合信号を生成することができる。また、図３のブロックＣＤとしての、光電変換素子２０１Ｃと２０１Ｄの混合信号を生成することができる。また、図３のブロックＡＢＣＤとしての、光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの混合信号を生成することができる。つまり、本実施例によれば、計５種類の画素信号を生成することができる。
【００２９】
次に、図４を用いて、本実施例における位相差検出の特徴について説明する。
【００３０】
図４（ａ）で示すように、光電変換素子２０１Ａと２０１Ｂは左右方向（水平方向）に配置されている。したがって、光電変換素子２０１Ａの信号と光電変換素子２０１Ｂの画素信号を用いることで、水平方向の位相差を検出することができる。また、図４（ｂ）で示すように、光電変換素子２０１Ａ、２０１Ｂと光電変換素子２０１Ｃ、２０１Ｄは上下方向（垂直方向）に配置されている。したがって、光電変換素子２０１Ａと２０１Ｂの混合信号と光電変換素子２０１Ｃと２０１Ｄの混合信号から垂直方向の位相差を検出することができる。
【００３１】
本実施例では、多分割された光電変換素子の画素信号を演算することによって生成した信号を用いることで、複数の異なる方向の位相差情報を同時に撮像した信号を用いて算出することができる。また、読み出し方法の工夫により、読み出し時間の短縮や、読み出した信号のノイズの低減を図れる。
【００３２】
また、光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの混合信号は表示用画像の生成時に用いられる。
【００３３】
ここで、読み出した（取得した）画像信号に基づく位相差の算出方法について図５、図６を用いて説明する。図５は、図２の画素２１０のＳ−Ｓ´間の断面を含む、水平方向の３画素分の断面を模式的に示した図である。５０１は、像側から見た撮像レンズの射出瞳を示したものである。合焦時の撮像レンズの結像面５０６から射出瞳５０１までの距離を射出瞳位置と呼び、図示していないレンズの絞りよりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などによりその位置は変化する。また、当然ながら絞りの径によって射出瞳の大きさは変化する。５０４、５０５は図２のマイクロレンズ２２０と同じマイクロレンズ５０７によって射出瞳位置に投影された第１光電変換素子２０１Ａ及び、第２光電変換素子２０１Ｂの射出瞳である。第１光電変換素子２０１Ａへは、射出瞳５０５を通る光束５０３が入るように設計され、第２光電変換素子２０１Ｂへは、射出瞳５０４を通る光束５０２が入るように設計される。また、撮像素子１０５を構成する他の分割画素についても同様に設計されており、各分割画素の第１光電変換素子２０１Ａからは、撮像レンズの射出瞳５０１のうち右側の５０５の領域で見た像が得られる。同様に、各分割画素の第２光電変換素子２０１Ｂからは、撮像レンズの射出瞳５０１のうち左側の５０４の領域で見た像が得られる。光束５０２によって撮像素子１０５上で得られる像をＢ像、光束５０３によって撮像素子１０５上で得られる像をＡ像とすると、非合焦の時には画像信号上に視差を含んだ信号が得られる。上記では、光電変換素子２０１Ａと２０１Ｂについて説明したが、光電変換素子２０１Ｃ、２０１Ｄについても同様である。
【００３４】
この特性を生かして、位相差検出を行う。上述した光束５０３によって撮像素子１０５上で得られるＡ像、光束５０２によって撮像素子１０５上で得られるＢ像を用いて、像間の相関データを演算することで位相差を検出できる。
【００３５】
図６は点光源を結像したときの像データを示し、横軸は画素位置、縦軸は出力を表している。また、実線がＡ像、破線がＢ像を示している。図６（ａ）は合焦状態におけるＡ像とＢ像のデータであり、合焦状態の場合はＡ像とＢ像が重なる。一方、図６（ｂ）は非合焦状態におけるＡ像とＢ像のデータであり、非合焦状態の場合はＡ像とＢ像は位相差を有し、画素位置がずれている。このずれ量６０１を算出することで合焦状態からどの程度ずれているかが求められる。これにより、当該画像の距離情報を求めることが出来る。
【００３６】
次に、図７を用いて焦点検出の位相差評価値について説明する。
【００３７】
ここで位相差評価値は、２像の一致度で表し、２像の一致度が良い場合は一般的に焦点検出結果の評価値が高い。そこで、本実施例では複数の焦点検出結果がある場合には、評価値の高い情報を優先的に使用する。
【００３８】
図７（ａ）は評価値が高い場合のＡ像、Ｂ像の例であり、図７（ｂ）は評価値が低い場合のＡ像、Ｂ像の例である。
【００３９】
以下、一致度の算出方法である。
【００４０】
まず、図７（ａ）、（ｂ）ともにＡ像とＢ像の信号値のピークを重ねる。次に、図７（ａ）、（ｂ）のピークであるｐ、ｑ、ｒの画素位置での画素信号の差分の合計を算出する。
【００４１】
ｐの画素位置のＡ像の信号値をＰ、Ｂ像の信号値をＰ´とすると、ｐの画素位置のＡ像とＢ像の信号値Ｐｓの差分の絶対値は、
Ｐｓ＝｜Ｐ−Ｐ´｜・・・（i）
となる。
【００４２】
図７で示す通り、２像の一致度が高いほどＰとＰ´の差分値は小さくなる。
【００４３】
同様に、ｑの画素位置のＡ像の信号値をＱ、Ｂ像の信号値をＱ´とすると、ｑの画素位置のＡ像とＢ像の信号値Ｑｓの差分の絶対値は、
Ｑｓ＝｜Ｑ−Ｑ´｜・・・（ii）
となる。
【００４４】
同様に、ｒの画素位置のＡ像の信号値をＲ、Ｂ像の信号値をＲ´とすると、ｒの画素位置のＡ像とＢ像の信号値Ｒｓの差分の絶対値は、
Ｒｓ＝｜Ｒ−Ｒ´｜・・・（iii）
となる。
【００４５】
上記式（i）、式（ii）、式（iii）で算出した各画素位置での差分の合計値をＡ像のピーク信号値Ｑで正規化した値Ｔは、
Ｔ＝（Ｐｓ＋Ｑｓ＋Ｒｓ）／Ｑ・・・（iｖ）
となる。
【００４６】
２像の一致度が高いほど、数値Ｔは小さくなるため、本実施例では式（ｉｖ）の数値Ｔが小さいほど、一致度が高く焦点検出の位相差評価値が高いと言える。
【００４７】
上述した通り、本実施例においては、異なる方向の位相差を同時に撮像された信号を用いて算出することができるため、算出された複数の位相差評価値のうち、より高い評価値を採用することでより正確なフォーカス動作を行うことができる。また、読み出し方法の工夫により、読み出し時間の短縮や、読み出した信号のノイズの低減を図れる。
【００４８】
図８を用いて、本実施例におけるフォーカス情報生成の方法について説明する。
【００４９】
図８は、画素信号の読み出しからフォーカス情報の生成までの手順を示すフローチャートである。
【００５０】
まず、撮像素子１０５に光が入射して画素２１０に信号が蓄積されると、ステップＳ８０１で信号の読み出しを行う。本実施例での読み出す画素信号は、上述した通り、光電変換素子２０１Ａの画素信号（第１信号）、光電変換素子２０１Ａと２０１Ｂの混合信号（第１混合信号）、光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの混合信号（第２混合信号）である。これら第１信号と第１混合信号と第２混合信号は順次読み出される（取得される）。
【００５１】
次にステップＳ８０２で画面内における位相差検出エリアＮの設定を行う。位相差検出エリアを指定することで、画面の全領域で位相差検出を行うよりも大幅に処理時間を短縮することができる。
【００５２】
次にステップＳ８０３でエリアＮの水平方向の位相差の算出を行う。本実施例では、上述したように、光電変換素子２０１Ａの画素信号（第１信号）と光電変換素子２０１Ｂの画素信号（第１減算信号）を用いて水平方向（第１の方向）の位相差の算出を行う。
【００５３】
次にステップＳ８０４でエリアＮの垂直方向の位相差の算出を行う。本実施例では、上述したように、光電変換素子２０１Ａと２０１Ｂの混合信号（第１混合信号）と光電変換素子２０１Ｃと２０１Ｄの混合信号（第２減算信号）を用いて垂直方向（第１の方向と異なる第２の方向）の位相差の算出を行う。
【００５４】
次にステップＳ８０５でエリアＮの水平方向の位相差評価値を算出する。位相差評価値の算出方法については、上述しているため説明は省略する。
【００５５】
次にステップＳ８０６でエリアＮの垂直方向の位相差評価値を算出する。
【００５６】
次にステップＳ８０７では、水平方向の位相差の評価値と垂直方向の位相差の評価値のどちらの評価値が高いかを判断する。評価値の算出法については上述しているため説明は省略する。
【００５７】
ステップＳ８０７で、水平方向の位相差評価値が高い場合には、ステップＳ８０８に進み、ステップＳ８０３の位相差算出結果を用いて、フォーカス情報の生成を行う。
【００５８】
ステップＳ８０９で、垂直方向の位相差信頼性が高い場合には、ステップＳ８０９に進み、ステップＳ８０４の位相差算出結果を用いて、フォーカス情報の生成を行う。
【００５９】
最後に、ステップＳ８１０で、ステップＳ８０１で読みだした光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの混合信号（第２混合信号）を用いて、表示用画像の生成を行う。
【００６０】
次に、図９と図１０を用いて、画素信号の読み出しの詳細について説明する。
【００６１】
図９は本実施例の撮像装置の等価回路図である。撮像素子１０５の画素２１０は、複数の光電変換素子を有し、第１光電変換素子２０１Ａ、第２光電変換素子２０１Ｂ、第３光電変換素子２０１Ｃ、第４光電変換素子２０１Ｄを有する。光電変換素子としてはフォトダイオードを用いることができる。
【００６２】
転送トランジスタ９０２Ａ、９０２Ｂ、９０２Ｃ、９０２Ｄは複数の光電変換素子の各々に対応して設けられ、対応する光電変換素子の信号を増幅部の入力ノード９０３に転送する。複数の画素２１０の各々に対応して配された複数のマイクロレンズを有するレンズアレイ（不図示）が光電変換素子の上部に配される。レンズアレイの各マイクロレンズは同一画素の複数の光電変換素子に集光する。各画素に含まれる複数の光電変換素子は、図２のように異なる位置に配される。
【００６３】
増幅部９０４は入力ノード９０３に転送された信号を増幅して共通出力線９０７へ出力する。増幅部９０４にはＭＯＳトランジスタを用いることができる。増幅部９０４のドレインと電源が接続されている。
【００６４】
リセットトランジスタ９０５は増幅部の入力ノード９０３にリセット電圧を供給する。リセットトランジスタ９０５も同様にドレインと電源が接続されている。
【００６５】
選択トランジスタ９０６は増幅部９０４と共通出力線９０７との間の電気的導通を制御する。
【００６６】
共通出力線９０７には電流源９０８が電気的に接続される。電流源９０８は増幅部９０４にバイアス電流を供給し、増幅部９０４と電流源９０８とでソースフォロアを構成する。
【００６７】
転送トランジスタ９０２Ａ、９０２Ｂ、９０２Ｃ、９０２Ｄ、リセットトランジスタ９０５、選択トランジスタ９０６のゲートには、それぞれ駆動線９０９Ａ、９０９Ｂ、９０９Ｃ、９０９Ｄ、駆動線９１０、駆動線９１１が接続される。それぞれのゲートには垂直走査回路９１２からの駆動パルスが、行ごとに順次に供給される。
【００６８】
列回路９４４は共通出力線９０７に接続し、共通出力線９０７からの信号を受ける。列回路９４４で処理された信号は水平走査回路９１４により順次出力アンプ９１５に出力され外部へ出力される。
【００６９】
列回路９４４の主たる動作は共通出力線９０７の信号を入力容量９１６の容量値及びフィードバック容量９１７の容量値とで決まるゲインで反転増幅する。更には仮想接地動作も可能であり、入力容量９１６を用いたクランプ動作によりＣＤＳ（相関２重サンプリング）動作を行なうことが可能である。
【００７０】
次に、列回路９４４の具体的な回路の一例を説明する。入力容量９１６は第１ノードが共通出力線９０７に電気的に接続され、第２ノードが演算増幅器９１９の反転入力ノードに電気的に接続される。フィードバック容量９１７の第１ノードは、演算増幅器９１９の反転入力ノード及び入力容量９１６の第２ノードに電気的に接続される。フィードバック容量９１７の第２ノードは演算増幅器９１９の出力ノードに電気的に接続される。
【００７１】
スイッチ９１８は演算増幅器９１９の反転入力ノードと出力ノードとの間のフィードバック経路に、両者の電気的接続を制御するために設けられる。フィードバック容量９１７とスイッチ９１８とは並列に設けられる。
【００７２】
電源９２０は基準電圧ＶＲＥＦを演算増幅器９１９の非反転入力ノードに供給する。保持容量９２１〜９２６は演算増幅器９１９からの出力を保持する容量である。スイッチ９２７〜９３２は保持容量９２１〜９２６と演算増幅器９１９との間の電気経路に設けられ、演算増幅器９１９の出力ノードと、保持容量９２１〜９２６との電気的導通を制御する。スイッチ９３３〜９３８は水平走査回路９１４からの信号を受けて、保持容量９２１〜９２６で保持された信号を水平出力線９３９、９４０へ出力させる。出力アンプ９１５は水平出力線９３９、９４０に出力された信号の差分を取り外部へ出力する。
【００７３】
駆動パルスＰＣ０Ｒはスイッチ９１８へ供給される。駆動パルスＰＴＮはスイッチ９２８、９３０、９３２へ供給される。駆動パルスＰＴＳ（Ａ）はスイッチ９３１へ供給される。駆動パルスＰＴＳ（Ａ＋Ｂ）はスイッチ９２９へ供給される。駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）はスイッチ９２７へ供給される。
【００７４】
次に図９の撮像装置の駆動について図１０を用いて説明する。いずれの駆動パルスもハイレベルのパルスでトランジスタやスイッチが導通状態になる。
【００７５】
まず時刻Ｔ＝ｔ１において、駆動線９０９Ａ、９０９Ｂ、９０９Ｃ、９０９Ｄに供給される駆動パルスＰＴＸＡ、ＰＴＸＢ、ＰＴＸＣ、ＰＴＸＤがハイレベルとなる。この時、駆動線９１０に供給される駆動パルスＰＲＥＳがハイレベルであるため、光電変換素子２０１Ａ、２０１Ｂ、２０１Ｃ、２０１Ｄがリセットされる。
【００７６】
次にＴ＝ｔ２において、駆動パルスＰＴＸＡ、ＰＴＸＢ、ＰＴＸＣ、ＰＴＸＤがローレベルとなる。このタイミングで光電変換素子２０１Ａ、２０１Ｂ、２０１Ｃ、２０１Ｄでの電荷蓄積期間が開始する。駆動パルスＰＲＥＳはハイレベルを維持しているため、増幅部９０４の入力ノード９０３のリセット動作は継続している。
【００７７】
所定期間蓄積を行った後に各行ごとに順次共通出力線９０７への信号の読み出しを行う。
【００７８】
時刻Ｔ＝ｔ３において、選択トランジスタ９０６の駆動線９１１に供給される駆動パルスＰＳＥＬがハイレベルとなり、選択トランジスタ９０６が導通する。これにより増幅部９０４の入力ノードの電位に応じた信号が共通出力線９０７に出力される。
【００７９】
時刻Ｔ＝ｔ４でリセットトランジスタ９０５の駆動線９１０に供給される駆動パルスＰＲＥＳをローレベルとすることにより増幅部９０４の入力ノード９０３のリセット動作を解除する。そしてリセット信号レベルを共通出力線９０７へ読み出し、列回路９４４に入力する。この時、列回路９４４は演算増幅器９１９が仮想接地状態となっている。具体的には駆動パルスＰＣＯＲがハイレベルとなりスイッチ９１８が導通状態である。演算増幅器９１９はＶＲＥＦの出力をバッファする状態でありこの状態で入力容量９１６にリセット信号レベルが供給される。
【００８０】
次にＴ＝ｔ５において駆動パルスＰＣＯＲをローレベルとし、Ｔ＝ｔ６において駆動パルスＰＴＮをローレベルからハイレベルへ切り替え、スイッチ９２８、９３０、９３２を導通状態とする。Ｔ＝ｔ７で駆動パルスＰＴＮをハイレベルからローレベルへと切り替え、スイッチ９２８、９３０、９３２を非導通状態とする。この動作により略ＶＲＥＦの出力が保持容量９２２，９２４、９２６へ供給され、その後保持容量９２２、９２４、９２６と演算増幅器９１９の出力ノードとが非導通となる。
【００８１】
引き続きＴ＝ｔ８において、駆動パルスＰＴＸＡをハイレベルとし光電変換素子２０１Ａの光電荷を増幅部９０４の入力ノード９０３へ転送し、Ｔ＝ｔ９において駆動パルスＰＴＸＡをローレベルとする。この動作により光電変換素子２０１Ａの光電荷が入力ノード９０３へ転送される。これにより光電荷に基づく信号が増幅部９０４、共通出力線９０７を介して列回路９４４へ供給される。この動作により、共通出力線に焦点検出用の信号を生じさせることができる。換言すれば、複数の光電変換素子のうち一部の光電変換素子（第１光電変換素子２０１Ａ）の信号（第１信号）が生成され、列回路９４４へ供給される。
【００８２】
列回路９４４では入力容量９１６の容量値Ｃ０、フィードバック容量９１７の容量値ＣＦの比率で電圧変化に反転ゲインが掛け合された値が出力される。具体的には共通出力線９０７の電圧変化をΔＶ（Ａ）（負）、演算増幅器９１９の出力をＶ（Ａ）とすると、
Ｖ（Ａ）＝ＶＲＥＦ＋ΔＶ（Ａ）×（−Ｃ０／ＣＦ）  式（１）
となる。
【００８３】
次にＴ＝ｔ１０において、駆動パルスＰＴＳＡをローレベルからハイレベルへ切り替えスイッチ９３１を導通させる。Ｔ＝ｔ１１において駆動パルスＰＴＳＡをハイレベルからローレベルへと切り替え、スイッチ９３１を非導通とする。この動作により保持容量９２５に信号を保持する。このように、保持容量９２５は、光電変換素子２０１Ａ（第１光電変換素子）の信号（第１信号）を保持する第１保持容量として機能する。
【００８４】
ひきつづきＴ＝ｔ１２において、駆動パルスＰＴＸＡとＰＴＸＢをハイレベルとし光電変換素子２０１Ａと２０１Ｂの光電荷を増幅部９０４の入力ノード９０３へ転送し、Ｔ＝ｔ１３において駆動パルスＰＴＸＡとＰＴＸＢをローレベルとする。この動作により光電変換素子２０１Ａと２０１Ｂの双方の光電荷を同時に入力ノード９０３へ転送することができる。換言すれば、この動作により、複数の光電変換素子のうち一部の光電変換素子（２０１Ａ）の信号と、該一部の光電変換素子とは別の光電変換素子（２０１Ｂ）の信号と、を混合することができる。言い換えれば、複数の光電変換素子のうち第１信号に対応する光電変換素子（２０１Ａ）を除く光電変換素子（２０１Ｂ）の信号を第１信号に混合して第１混合信号を生成している。より具体的には、第１光電変換素子２０１Ａの信号（第１信号）と、第１光電変換素子２０１Ａに対して複数ある方向のうち水平方向（第１の方向）に配置される第２光電変換素子２０１Ｂの信号（第２信号）と、を混合して第１混合信号を生成している。なお、ここでの混合は、後述するように、撮像素子から読み出した信号を演算することによって生成した信号を用いる。これにより、互いに異なる複数の方向での位相差（情報）を同時に撮像された信号を用いて検出（算出）できるように混合（制御）される。特に、複数の光電変換素子からの信号が混合された混合信号を演算処理（減算処理）した後で、互いに異なる複数の方向での位相差を検出（算出）できるように混合（制御）される。
【００８５】
増幅部９０４の入力ノード９０３へ転送された電荷は光電変換素子２０１Ａの電荷のみを転送した際と同様に列回路９４４へ供給される。共通出力線９０７の電位変化をΔＶ（Ａ＋Ｂ）（負）、演算増幅器９１９の出力電位をＶ（Ａ＋Ｂ）とすると
Ｖ（Ａ＋Ｂ）＝ＶＲＥＦ＋ΔＶ（Ａ＋Ｂ）×（−Ｃ０／ＣＦ）  式（２）
となる。
【００８６】
そして容量ＣＴＳ（Ａ＋Ｂ）とＣＴＮの差電圧である、
Ｖ（Ａ＋Ｂ）−ＶＲＥＦ＝ΔＶ（Ａ＋Ｂ）×（−Ｃ０／ＣＦ）  式（３）
を得ることができる。これは画素に含まれる２つの光電変換素子の信号を混合して得られたもの（第１混合信号）に相当する。
【００８７】
また、保持容量９２５と９２６の電位差である、
Ｖ（Ａ）−ＶＲＥＦ＝ΔＶＡ×（−Ｃ０／ＣＦ）  式（４）
を得ることで、光電変換素子２０１Ａのみの信号（第１信号）を得ることができる。光電変換素子２０１Ａによって得られる信号は集光された撮影レンズの瞳の一部を透過する光束の情報に相当する。
【００８８】
Ｔ＝ｔ１４において、駆動パルスＰＴＳ（Ａ＋Ｂ）をローレベルからハイレベルへ切り替え、スイッチ９２９を導通させる。そしてＴ＝ｔ１５において駆動パルスＰＴＳ（Ａ＋Ｂ）をハイレベルからローレベルへと切り替え、スイッチ９２９を非導通とする。この動作により演算増幅器９１９の出力ノードの電位Ｖ（Ａ＋Ｂ）を保持容量９２３へ書き込むことができる。このように、保持容量９２３は、第１信号と第２信号が混合された第１混合信号を保持する第２保持容量として機能する。
【００８９】
ひきつづきＴ＝ｔ１６において、駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣとＰＴＸＤをハイレベルとし光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの光電荷を増幅部９０４の入力ノード９０３へ転送する。換言すれば、複数の光電変換素子のうち一部の光電変換素子（２０１Ａおよび２０１Ｂ）の信号と、該一部の光電変換素子とは別の光電変換素子（２０１Ｃおよび２０１Ｄ）の信号と、を混合する。もう少し言えば、第１混合信号と、第１光電変換素子２０１Ａに対して垂直方向（第１の方向と異なる第２の方向）に配置される第３光電変換素子２０１Ｃの信号（第３信号）および第４光電変換素子２０１Ｄの信号（第４信号）と、を混合させている。言い換えれば、複数の光電変換素子のうち第１混合信号に対応する光電変換素子（２０１Ａおよび２０１Ｂ）を除く光電変換素子（２０１Ｃおよび２０１Ｄ）の信号を第１混合信号に混合して第２混合信号を生成している。なお、ここでの混合は、後述するように、撮像素子から読み出した信号を演算することによって生成した信号を用いる。これにより、互いに異なる複数の方向での位相差（情報）を同時に撮像された信号を用いて検出（算出）できるように混合（制御）される。特に、複数の光電変換素子からの信号が混合された混合信号を演算処理した後で、互いに異なる複数の方向での位相差を検出（算出）できるように混合（制御）される。その後、Ｔ＝ｔ１７において駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣとＰＴＸＤをローレベルとする。この動作により光電変換素子２０１Ａ、２０１Ｂ、２０１Ｃ、２０１Ｄの光電荷を同時に入力ノード９０３へ転送することができ、共通出力線に画像形成用の信号を生じさせることができる。光電変換素子２０１Ａの信号を転送してから、光電変換素子２０１Ａ、２０１Ｂ、２０１Ｃ、２０１Ｄの光電荷を同時に入力ノード９０３へ転送するまでの間に増幅部９０４の入力ノード９０３はリセットされない。
【００９０】
増幅部９０４の入力ノード９０３へ転送された電荷は光電変換素子２０１Ａの電荷のみを転送した際と同様に列回路９４４へ供給される。共通出力線９０７の電位変化をΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）（負）、演算増幅器９１９の出力電位をＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）とすると、
Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ）＝ＶＲＥＦ＋ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ）  式（６）
となる。
【００９１】
Ｔ＝ｔ１８において、駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）をローレベルからハイレベルへ切り替え、スイッチ９２７を導通させる。そしてＴ＝ｔ１９において駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）をハイレベルからローレベルへと切り替え、スイッチ９２７を非導通とする。この動作により演算増幅器９１９の出力ノードの電位Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ）を保持容量９２１へ書き込むことができる。このように、保持容量９２１は、第１混合信号と第３信号と第４信号が混合された第２混合信号を保持する第３保持容量として機能する。
【００９２】
そして、容量ＣＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）とＣＴＮの差電圧である、
Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ）−ＶＲＥＦ＝ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ）  式（７）
を得ることができる。これは画素に含まれる４つの光電変換素子の信号を混合して得られたもの（第２混合信号）に相当し、画素に含まれる複数の光電変換素子で撮像をする際の１画素に相当する信号が得られる。この信号は、表示用画像生成時の信号として用いられる。
【００９３】
時刻Ｔ＝ｔ２０において、選択トランジスタ９０６の駆動線９１１に供給される駆動パルスＰＳＥＬがローレベルとなり、選択トランジスタ９０６が非導通となる。これにより増幅部９０４の信号が出力されなくなる。
【００９４】
次にＴ＝ｔ２１で駆動パルスＰＲＥＳをハイレベルとし、リセット部９０５を導通させ、入力ノード９０３の電位をリセットする。
【００９５】
保持容量９２１〜９２６に保持された信号はＴ＝ｔ２２以降にパルスＰＨに同期した駆動パルス９４１、９４２、９４３が順次導通することで読み出される。
【００９６】
以上のような動作で、光電変換素子２０１Ａのみの信号（第１信号）、光電変換素子２０１Ａと２０１Ｂの混合後の信号（第１混合信号）、光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの混合後の信号（第２混合信号）の３つの画素信号が得られる。
【００９７】
次に信号処理部において、上記式（３）の光電変換素子２０１Ａと光電変換素子２０１Ｂの信号を混合して得られたもの（第１混合信号）と式（４）の光電変換素子２０１Ａの信号を得られたもの（第１信号）の差、すなわち、
（ΔＶ（Ａ＋Ｂ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ａ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ）−ΔＶ（Ａ））×（−Ｃ０／ＣＦ）  
＝（ΔＶ（Ｂ））×（−Ｃ０／ＣＦ）  式（５）
を得ることにより光電変換素子２０１Ｂのみの信号に相当する信号（第１減算信号）を得ることができる。光電変換素子２０１Ｂによって得られる信号は集光された撮影レンズの瞳の一部を透過する光束の情報となる。そのため、位相差検出回路１０８は、光電変換素子２０１Ａ、２０１Ｂの２つの光束の情報から水平方向の位相差検出を行なうことができる。すなわち、位相差検出回路１０８は、第１信号と、第１混合信号から第１信号を減算して得られる第１減算信号と、に基づいて水平方向での位相差を検出する位相差検出手段として機能する。
【００９８】
さらに式（７）の光電変換素子２０１Ａと２０１Ｂと２０１Ｃと２０１Ｄの信号を混合して得られたもの（第２混合信号）と、式（３）の光電変換素子２０１Ａと光電変換素子２０１Ｂの信号を混合して得られたもの（第１混合信号）との差、すなわち、
（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ａ＋Ｂ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）−ΔＶ（Ａ＋Ｂ））×（−Ｃ０／ＣＦ）
＝（ΔＶ（Ｃ＋Ｄ））×（−Ｃ０／ＣＦ）  式（８）
を得ることにより光電変換素子２０１Ｃおよび２０１Ｄのみの信号に相当する信号（第２減算信号）を得ることができる。第２減算信号は、画素に含まれる光電変換素子２０１Ｃと２０１Ｄの信号を混合して得られたものに相当する。
【００９９】
光電変換素子２０１Ｃと２０１Ｄの混合によって得られる信号は集光された撮影レンズの瞳の一部を透過する光束の情報となる。そのため、位相差検出回路１０８は、光電変換素子２０１Ａと２０１Ｂの混合信号と光電変換素子２０１Ｃと２０１Ｄの混合信号の２つの光束の情報から垂直方向の位相差検出を行なうことができる。すなわち、位相差検出回路１０８は、第１混合信号と、第２混合信号から第１混合信号を減算して得られる第２減算信号と、に基づいて垂直方向での位相差を検出する位相差検出手段として機能する。
【０１００】
以上説明した通り、本実施例では、多分割された光電変換素子の画素信号を演算することによって生成した信号を用いることで、複数の異なる方向の位相差情報を同時に撮像された信号を用いて算出することができる。
【実施例２】
【０１０１】
実施例１では、１つの画素に４つの光電変換素子を有する撮像素子について説明した。しかし、実施例１では、水平方向の位相差と垂直方向の位相差の算出を行うため、縦線や横線を多く含む被写体には効果的であったが、斜め線を多く含む被写体においては、精度よく位相差検出を行うことができなかった。
【０１０２】
そこで、本実施例では、画素の分割数をさらに増やし、１つの画素に６つの光電変換素子を有する撮像素子を用いることで、水平、垂直だけでなく、斜め方向の位相差も算出することができ、より多様な被写体においても位相差検出精度を向上させることができる。すなわち、本実施例では、実施例１における水平方向および垂直方向（第１の方向および第２の方向）の位相差に加え、斜め方向（第３の方向および第４の方向）の位相差も算出することができるため、位相差検出精度を向上させることができる。
【０１０３】
図１、図５、図６、図７に加えて、図１１から図１７を参照して、本発明の第２の実施例について説明する。
【０１０４】
なお、本実施例では、図１の撮像装置の基本的な動作および図５から図７の位相差検出の原理と位相差評価値算出方法については第１の実施例と同様であるので、説明を省略する。また、図９と図１４で同じ符号を用いたものについては、同じ機能を有するものとする。
【０１０５】
図１１は撮像素子１０５が有する複数の画素のうちの１つの画素２１０の構成を概略的に示している。図１１に示す、１つの画素２１０は、１つのマイクロレンズ１１２０を有する。また、１つの画素２１０は、複数の光電変換素子を有する。このように、１つの画素２１０は、１つのマイクロレンズ１１２０と、複数の光電変換素子を有している。換言すれば、撮像素子１０５は、二次元状に配列された複数のマイクロレンズ（レンズアレイ）を有し、各マイクロレンズ（すなわち、１つのマイクロレンズ）に対して複数の光電変換素子を有する。図１１では、最上部の光電変換素子１１０１Ａと右上の光電変換素子１１０１Ｂと右下の光電変換素子１１０１Ｃと最下部の光電変換素子１１０１Ｄと左下の光電変換素子１１０１ｅと左上の光電変換素子１１０１ｆの６つの光電変換素子を有している。
【０１０６】
次に、本実施例における画素信号の生成の概要と位相差算出の特徴について図１２、図１３を用いて説明する。
【０１０７】
図１２は本実施例の画素信号の生成の概要を模式的に示したものである。
【０１０８】
ブロックＡ〜Ｆはそれぞれ、光電変換素子１１０１Ａ〜１１０１Ｆの画素信号を模式的に示したものである。接するブロックは混合信号を示している。
【０１０９】
図１２の左にまとめたブロックＡとブロックＡＢＣとブロックＡＢＣＤとブロックＡＢＣＤＥＦは、固体撮像素子１０５から読み出した画素信号を示している。画素信号の読み出し方法の詳細については後ほど説明する。
【０１１０】
本実施例では、図１１の画素のうち、最上部の光電変換素子１１０１Ａ（第１の光電変換素子）の信号（第１信号）のみの読み出しを行う。また、最上部と右上と右下の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）の読み出しを行う。また、最上部と右上と右下と最下部の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第２混合信号）の読み出しを行う。また、すべての光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第３混合信号）の読み出しを行う。これらの画素信号を用いて演算をすることで、図１２の右にまとめた各画素信号を生成することができる。
【０１１１】
つまり、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）から光電変換素子１１０１Ａの画素信号（第１信号）を減算する。そうすることで、光電変換素子１１０１Ｂと１１０１Ｃの混合信号に相当する画素信号（第２減算信号）を生成することができる。さらに光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第２混合信号）から光電変換素子１１０１Ａの信号（第１信号）を減算する。そうすることで、光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号に相当する信号（第５減算信号）を生成することができる。さらに光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第２混合信号）から光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）を減算する。そうすることで、光電変換素子１１０１Ｄに相当する信号（第１減算信号）を生成することができる。さらに、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第３混合信号）から光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）を減算する。そうすることで、光電変換素子１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第４減算信号）に相当する信号を生成することができる。さらに光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第３混合信号）から光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第５減算信号）を減算する。そうすることで、光電変換素子１１０１Ａと１１０１Ｅと１１０１Ｆの混合信号に相当する信号（第６減算信号）を生成することができる。さらに光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第３混合信号）から光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第２混合信号）を減算する。そうすることで、光電変換素子１１０１Ｅと１１０１Ｆの混合信号に相当する信号（第３減算信号）を生成することができる。
【０１１２】
したがって、最終的には、光電変換素子１１０１Ａ（のみ）の画素信号（第１信号）を生成することができる。また、光電変換素子１１０１Ｂと１１０１Ｃの混合信号（第２減算信号）を生成することができる。また、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）を生成することができる。また、光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第５減算信号）を生成することができる。また、光電変換素子１１０１Ｄ（のみ）の画素信号（第１減算信号）を生成することができる。また、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第２混合信号）を生成することができる。また、光電変換素子１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第４減算信号）を生成することができる。また、光電変換素子１１０１Ａと１１０１Ｅと１１０１Ｆの混合信号（第６減算信号）を生成することができる。また、光電変換素子１１０１Ｅと１１０１Ｆの混合信号（第３減算信号）を生成することができる。また、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第３混合信号）を生成することができる。つまり、本実施例によれば、計１０種類の信号を生成することができる。
【０１１３】
次に、図１３を用いて、本実施例における位相差検出の特徴について説明する。
【０１１４】
図１３（ａ）で示すように、光電変換素子１１０１Ｂ、１１０１Ｃと光電変換素子１１０１Ｅ、１１０１Ｆは左右方向（水平方向）に配置されている。したがって、光電変換素子１１０１Ｂと１１０１Ｃの混合信号と光電変換素子１１０１Ｅと１１０１Ｆの混合信号を用いることで、水平方向（第２の方向）の位相差を検出することができる。また、図１３（ｂ）で示すように、光電変換素子１１０１Ａと光電変換素子１１０１Ｄは上下方向（垂直方向）に配置されている。したがって、光電変換素子１１０１Ａの画素信号と光電変換素子１１０１Ｄの画素信号を用いることで、垂直方向（第１の方向）の位相差を検出することができる。さらに、図１３（ｃ）では光電変換素子１１０１Ａ、１１０１Ｂ、１１０１Ｃは右上に配置され、光電変換素子１１０１Ｄ、１１０１Ｅ、１１０１Ｆは左下に配置されている。したがって、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号と光電変換素子１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号を用いることで、斜め方向（第３の方向）の位相差を検出することができる。図１３（ｄ）では光電変換素子１１０１Ｂ、１１０１Ｃ、１１０１Ｄは右下に配置され、光電変換素子１１０１Ａ、１１０１Ｅ、１１０１Ｆは左上に配置されている。したがって、光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号と光電変換素子１１０１Ａと１１０１Ｅと１１０１Ｆの混合信号を用いることで、図１３（ｃ）と異なる斜め方向（第４の方向）の位相差を検出することができる。
【０１１５】
上述した通り、本実施例においては、異なる方向の位相差を同時に撮像された信号を用いて算出することができるため、算出された複数の位相差評価値のうち、より高い評価値を採用することでより正確なフォーカス動作を行うことができる。また、読み出し方法の工夫により、読み出し時間の短縮や、読み出した信号のノイズの低減を図れる。
【０１１６】
図１４を用いて、本実施例におけるフォーカス情報生成の方法について説明する。
【０１１７】
図１４は、画素信号の読み出しからフォーカス情報の生成までの手順を示すフローチャートである。
【０１１８】
まず、撮像素子１０５に光が入射して画素２１０に信号が蓄積されると、ステップＳ１４０１で信号の読み出しを行う。本実施例での読み出す画素信号は、上述した通り４種類ある。ここでは、１種類目として、光電変換素子１１０１Ａの画素信号（第１信号）を読み出す。また、２種類目として、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）を読み出す。また、３種類目として、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第２混合信号）を読み出す。また、４種類目として、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第３混合信号）を読み出す。なお、これら第１信号と第１混合信号と第２混合信号と第３混合信号は順次読み出される（取得される）。
【０１１９】
次にステップＳ１４０２で画面内における位相差検出エリアＮの設定を行う。位相差検出エリアを指定することで、画面の全領域で位相差検出を行うよりも大幅に処理時間を短縮することができる。
【０１２０】
次にステップＳ１４０３でエリアＮの水平方向（第２の方向）の位相差の算出を行う。本実施例では、上述したように、光電変換素子１１０１Ｂと１１０１Ｃの混合信号と光電変換素子１１０１Ｅと１１０１Ｆの混合信号を用いて水平方向の位相差の算出を行う。
【０１２１】
次にステップＳ１４０４でエリアＮの垂直方向（第１の方向）の位相差の算出を行う。本実施例では、上述したように、光電変換素子１１０１Ａの画素信号と光電変換素子１１０１Ｄの画素信号を用いて垂直方向の位相差の算出を行う。
【０１２２】
次にステップＳ１４０５でエリアＮの右斜め上方向（第３の方向）の位相差の算出を行う。本実施例では、上述したように、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号と光電変換素子１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号を用いて右斜め上方向の位相差の算出を行う。
【０１２３】
次にステップＳ１４０６でエリアＮの左斜め上方向（第４の方向）の位相差の算出を行う。本実施例では、上述したように、光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号と光電変換素子１１０１Ａと１１０１Ｅと１１０１Ｆの混合信号を用いて左斜め上方向の位相差の算出を行う。
【０１２４】
次にステップＳ１４０７でエリアＮの水平方向の位相差評価値を算出する。位相差評価値の算出方法については、上述しているため説明は省略する。
【０１２５】
次にステップＳ１４０８でエリアＮの垂直方向の位相差評価値を算出する。
【０１２６】
次にステップＳ１４０９でエリアＮの右斜め上方向の位相差評価値を算出する。
【０１２７】
次にステップＳ１４１０でエリアＮの左斜め上方向の位相差評価値を算出する。
【０１２８】
次にステップＳ１４１１では、４方向の位相差の評価値のどの評価値が最も高いかを判断する。位相差評価値の算出方法については実施例１と同様であるため説明は省略する。
【０１２９】
ステップＳ１４１２で、ステップＳ１４１１で最も評価値が高いと判断された方向の位相差算出結果を用いて、フォーカス情報の生成を行う。
【０１３０】
最後に、ステップＳ１４１３で、ステップＳ１４０１で読みだした光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号（第３混合信号）を用いて、表示用画像の生成を行う。
【０１３１】
次に、図１５と図１６を用いて、画素信号の読み出しの詳細について説明する。
【０１３２】
図１５は本実施例の撮像装置の等価回路図である。撮像素子１０５の画素２１０は、複数の光電変換素子を有し、第１光電変換素子１１０１Ａ、第２光電変換素子１１０１Ｂ、第３光電変換素子１１０１Ｃ、第４光電変換素子１１０１Ｄ、第５光電変換素子１１０１Ｅ、第６光電変換素子１１０１Ｆを有する。光電変換素子としてはフォトダイオードを用いることができる。
【０１３３】
転送トランジスタ１５０２Ａ、１５０２Ｂ、１５０２Ｃ、１５０２Ｄ、１５０２Ｅ、１５０２Ｆは複数の光電変換素子の各々に対応して設けられ、対応する光電変換素子の信号を増幅部の入力ノード９０３に転送する。複数の画素２１０の各々に対応して配された複数のマイクロレンズを有するレンズアレイ（不図示）が光電変換素子の上部に配される。レンズアレイの各マイクロレンズは同一画素の複数の光電変換素子に集光する。各画素に含まれる複数の光電変換素子は、図１１のように異なる位置に配される。
【０１３４】
増幅部９０４は入力ノード９０３に転送された信号を増幅して共通出力線９０７へ出力する。増幅部９０４にはＭＯＳトランジスタを用いることができる。増幅部９０４のドレインと電源が接続されている。
【０１３５】
リセットトランジスタ９０５は増幅部の入力ノード９０３にリセット電圧を供給する。リセットトランジスタ９０５も同様にドレインと電源が接続されている。
【０１３６】
選択トランジスタ９０６は増幅部９０４と共通出力線９０７との間の電気的導通を制御する。
【０１３７】
共通出力線９０７には電流源９０８が電気的に接続される。電流源９０８は増幅部９０４にバイアス電流を供給し、増幅部９０４と電流源９０８とでソースフォロアを構成する。
【０１３８】
転送トランジスタ１５０２Ａ、１５０２Ｂ、１５０２Ｃ、１５０２Ｄ、１５０２Ｅ、１５０２Ｆのゲートには、それぞれ駆動線１５０３Ａ、１５０３Ｂ、１５０３Ｃ、１５０３Ｄ、１５０３Ｅ、１５０３Ｆが接続される。また、リセットトランジスタ９０５、選択トランジスタ９０６のゲートには、それぞれ駆動線９１０、駆動線９１１が接続される。それぞれのゲートには垂直走査回路９１２からの駆動パルスが、行ごとに順次に供給される。
【０１３９】
列回路９４４は共通出力線９０７に接続し、共通出力線９０７からの信号を受ける。列回路９４４で処理された信号は水平走査回路９１４により順次出力アンプ９１５に出力され外部へ出力される。
【０１４０】
列回路９４４の主たる動作は共通出力線９０７の信号を入力容量９１６の容量値及びフィードバック容量９１７の容量値とで決まるゲインで反転増幅する。更には仮想接地動作も可能であり、入力容量９１６を用いたクランプ動作によりＣＤＳ（相関２重サンプリング）動作を行なうことが可能である。
【０１４１】
次に、列回路９４４の具体的な回路の一例を説明する。入力容量９１６は第１ノードが共通出力線９０７に電気的に接続され、第２ノードが演算増幅器９１９の反転入力ノードに電気的に接続される。フィードバック容量９１７の第１ノードは、演算増幅器９１９の反転入力ノード及び入力容量の第２ノードに電気的に接続される。フィードバック容量９１７の第２ノードは演算増幅器９１９の出力ノードに電気的に接続される。
【０１４２】
スイッチ９１８は演算増幅器９１９の反転入力ノードと出力ノードとの間のフィードバック経路に、両者の電気的接続を制御するために設けられる。フィードバック容量９１７とスイッチ９１８とは並列に設けられる。
【０１４３】
電源９２０は基準電圧ＶＲＥＦを演算増幅器９１９の非反転入力ノードに供給する。保持容量１５０４〜１５１１は演算増幅器９１９からの出力を保持する容量である。スイッチ１５１２〜１５１９は保持容量１５０４〜１５１１と演算増幅器９１９との間の電気経路に設けられ、演算増幅器９１９の出力ノードと、保持容量１５０４〜１５１１との電気的導通を制御する。スイッチ１５２０〜１５２７は水平走査回路９１４からの信号を受けて、保持容量１５０４〜１５１１で保持された信号を水平出力線９３９、９４０へ出力させる。出力アンプ９１５は水平出力線９３９、９４０に出力された信号の差分を取り外部へ出力する。
【０１４４】
駆動パルスＰＣ０Ｒはスイッチ９１８へ供給される。駆動パルスＰＴＮはスイッチ１５１３、１５１５、１５１７、１５１９へ供給される。駆動パルスＰＴＳ（Ａ）はスイッチ１５１８へ供給される。駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ）はスイッチ１５１６へ供給される。駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）はスイッチ１５１４へ供給される。駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）はスイッチ１５１２へ供給される。
【０１４５】
次に図１５の撮像装置の駆動について図１６を用いて説明する。いずれの駆動パルスもハイレベルのパルスでトランジスタやスイッチが導通状態になる。
【０１４６】
まず時刻Ｔ＝ｔ１において、駆動線１５０３Ａ、１５０３Ｂ、１５０３Ｃ、１５０３Ｄ１５０３Ｅ、１５０３Ｆに供給される駆動パルスＰＴＸＡ、ＰＴＸＢ、ＰＴＸＣ、ＰＴＸＤ、ＰＴＸＥ、ＰＴＸＦがハイレベルとなる。この時、駆動線９１０に供給される駆動パルスＰＲＥＳがハイレベルであるため、光電変換素子１１０１Ａ、１１０１Ｂ、１１０１Ｃ、１１０１Ｄ、１１０１Ｅ、１１０１Ｆがリセットされる。
【０１４７】
次にＴ＝ｔ２において、駆動パルスＰＴＸＡ、ＰＴＸＢ、ＰＴＸＣ、ＰＴＸＤ、ＰＴＸＥ、ＰＴＸＦがローレベルとなる。このタイミングで光電変換素子１１０１Ａ、１１０１Ｂ、１１０１Ｃ、１１０１Ｄ、１１０１Ｅ、１１０１Ｆでの電荷蓄積期間が開始する。駆動パルスＰＲＥＳはハイレベルを維持しているため、増幅部９０４の入力ノード９０３のリセット動作は継続している。
【０１４８】
所定期間蓄積を行った後に各行ごとに順次共通出力線９０７への信号の読み出しを行う。
【０１４９】
時刻Ｔ＝ｔ３において、選択トランジスタ９０６の駆動線９１１に供給される駆動パルスＰＳＥＬがハイレベルとなり、選択トランジスタ９０６が導通する。これにより増幅部９０４の入力ノードの電位に応じた信号が共通出力線９０７に出力される。
【０１５０】
時刻Ｔ＝ｔ４でリセットトランジスタ９０５の駆動線９１０に供給される駆動パルスＰＲＥＳをローレベルとすることにより増幅部９０４の入力ノード９０３のリセット動作を解除する。そしてリセット信号レベルを共通出力線９０７へ読み出し、列回路９４４に入力する。この時、列回路９４４は演算増幅器９１９が仮想接地状態となっている。具体的には駆動パルスＰＣＯＲがハイレベルとなりスイッチ９１８が導通状態である。演算増幅器９１９はＶＲＥＦの出力をバッファする状態でありこの状態で入力容量９１６にリセット信号レベルが供給される。
【０１５１】
次にＴ＝ｔ５において駆動パルスＰＣＯＲをローレベルとし、Ｔ＝ｔ６において駆動パルスＰＴＮをローレベルからハイレベルへ切り替え、スイッチ１５１３、１５１５、１５１７、１５１９を導通状態とする。Ｔ＝ｔ７で駆動パルスＰＴＮをハイレベルからローレベルへと切り替え、スイッチ１５１３、１５１５、１５１７、１５１９を非導通状態とする。この動作により略ＶＲＥＦの出力が保持容量１５０５、１５０７、１５０９、１５１１へ供給され、その後保持容量１５０５、１５０７、１５０９、１５１１と演算増幅器９１９の出力ノードとが非導通となる。
【０１５２】
引き続きＴ＝ｔ８において、駆動パルスＰＴＸＡをハイレベルとし光電変換素子１１０１Ａの光電荷を増幅部９０４の入力ノード９０３へ転送し、Ｔ＝ｔ９において駆動パルスＰＴＸＡをローレベルとする。この動作により光電変換素子１１０１Ａの光電荷が入力ノード９０３へ転送される。これにより光電荷に基づく信号が増幅部９０４、共通出力線９０７を介して列回路９４４へ供給される。この動作により、共通出力線に焦点検出用の信号を生じさせることができる。換言すれば、複数の光電変換素子のうち一部の光電変換素子（第１光電変換素子１１０１Ａ）の信号（第１信号）が生成され、列回路９４４へ供給される。
【０１５３】
列回路９４４では入力容量９１６の容量値Ｃ０、フィードバック容量９１７の容量値ＣＦの比率で電圧変化に反転ゲインが掛け合された値が出力される。具体的には共通出力線９０７の電圧変化をΔＶ（Ａ）（負）、演算増幅器９１９の出力をＶ（Ａ）とすると、
Ｖ（Ａ）＝ＶＲＥＦ＋ΔＶ（Ａ）×（−Ｃ０／ＣＦ）  式（９）
となる。
【０１５４】
次にＴ＝ｔ１０において、駆動パルスＰＴＳＡをローレベルからハイレベルへ切り替えスイッチ１５１８を導通させる。Ｔ＝ｔ１１において駆動パルスＰＴＳＡをハイレベルからローレベルへと切り替え、スイッチ１５１８を非導通とする。この動作により保持容量１５１０に信号を保持する。このように、保持容量１５１０は、光電変換素子１１０１Ａ（第１光電変換素子）の信号（第１信号）を保持する第１保持容量として機能する。
【０１５５】
ひきつづきＴ＝ｔ１２において、駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣをハイレベルとし光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの光電荷を増幅部９０４の入力ノード９０３へ転送する。そして、Ｔ＝ｔ１３において駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣをローレベルとする。この動作により光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの光電荷を同時に入力ノード９０３へ転送することができる。換言すれば、複数の光電変換素子のうち一部の光電変換素子の信号と、該一部の光電変換素子とは別の光電変換素子の信号と、を混合する。具体的には、第１光電変換素子１１０１Ａの信号（第１信号）と、第１光電変換素子とは別の第２光電変換素子１１０１Ｂの信号（第２信号）および第３光電変換素子１１０１Ｃの信号（第３信号）と、を混合している。言い換えれば、複数の光電変換素子のうち第１信号に対応する光電変換素子（１１０１Ａ）を除く光電変換素子（１１０１Ｂおよび１１０１Ｃ）の信号を第１信号に混合して第１混合信号を生成している。なお、ここでの混合は、後述するように、撮像素子から読み出した信号を演算することによって生成した信号を用いる。これにより、互いに異なる複数の方向での位相差（情報）を同時に撮像された信号を用いて検出（算出）できるように混合（制御）される。特に、複数の光電変換素子からの信号が混合された混合信号を演算処理した後で、互いに異なる複数の方向での位相差を検出（算出）できるように混合（制御）される。
【０１５６】
増幅部９０４の入力ノード９０３へ転送された電荷は光電変換素子１１０１Ａの電荷のみを転送した際と同様に列回路９４４へ供給される。共通出力線９０７の電位変化をΔＶ（Ａ＋Ｂ＋Ｃ）（負）、演算増幅器９１９の出力電位をＶ（Ａ＋Ｂ＋Ｃ）とすると、
Ｖ（Ａ＋Ｂ＋Ｃ）＝ＶＲＥＦ＋ΔＶ（Ａ＋Ｂ＋Ｃ）×（−Ｃ０／ＣＦ）  式（１０）
となる。
【０１５７】
そして、容量ＣＴＳ（Ａ＋Ｂ＋Ｃ）とＣＴＮの差電圧である、
Ｖ（Ａ＋Ｂ＋Ｃ）−ＶＲＥＦ＝ΔＶ（Ａ＋Ｂ＋Ｃ）×（−Ｃ０／ＣＦ）  式（１１）
を得ることができる。これは画素に含まれる３つの光電変換素子の信号を混合して得られたもの（第１混合信号）に相当する。
【０１５８】
また、保持容量１５１０と１５１１の電位差である、
Ｖ（Ａ）−ＶＲＥＦ＝ΔＶＡ×（−Ｃ０／ＣＦ）  式（１２）
を得ることで、光電変換素子１１０１Ａのみの信号（第１信号）を得ることができる。光電変換素子１１０１Ａによって得られる信号は集光された撮影レンズの瞳の一部を透過する光束の情報に相当する。
【０１５９】
Ｔ＝ｔ１４において、駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ）をローレベルからハイレベルへ切り替え、スイッチ１５１６を導通させる。そしてＴ＝ｔ１５において駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ）をハイレベルからローレベルへと切り替え、スイッチ１５１６を非導通とする。この動作により演算増幅器９１９の出力ノードの電位Ｖ（Ａ＋Ｂ＋Ｃ）を保持容量１５０８へ書き込むことができる。このように、保持容量１５０８は、第１信号と第２信号と第３信号が混合された第１混合信号を保持する第２保持容量として機能する。
【０１６０】
ひきつづきＴ＝ｔ１６において、駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣとＰＴＸＤをハイレベルとし光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの光電荷を増幅部９０４の入力ノード９０３へ転送する。そして、Ｔ＝ｔ１７において駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣとＰＴＸＤをローレベルとする。この動作により光電変換素子１１０１Ａ、１１０１Ｂ、１１０１Ｃ、１１０１Ｄの光電荷を同時に入力ノード９０３へ転送することができる。換言すれば、複数の光電変換素子のうち一部の光電変換素子の信号と、複数の光電変換素子のうち一部の光電変換素子とは別の光電変換素子の信号と、を混合する。具体的には、第１混合信号と、第１光電変換素子１１０１Ａに対して垂直方向に配置される第４光電変換素子１１０１Ｄの信号（第４信号）と、を混合している。言い換えれば、複数の光電変換素子のうち第１混合信号に対応する光電変換素子（１１０１Ａ〜Ｃ）を除く光電変換素子（１１０１Ｄ）の信号を第１混合信号に混合して第２混合信号を生成している。なお、ここでの混合は、後述するように、撮像素子から読み出した信号を演算することによって生成した信号を用いる。これにより、互いに異なる複数の方向での位相差（情報）を同時に撮像された信号を用いて検出（算出）できるように混合（制御）される。特に、複数の光電変換素子からの信号が混合された混合信号を演算処理した後で、互いに異なる複数の方向での位相差を検出（算出）できるように混合（制御）される。
【０１６１】
増幅部９０４の入力ノード９０３へ転送された電荷は光電変換素子１１０１Ａの電荷のみを転送した際と同様に列回路９４４へ供給される。共通出力線９０７の電位変化をΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）（負）、演算増幅器９１９の出力電位をＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）とすると、
Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ）＝ＶＲＥＦ＋ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ）  式（１３）
となる。
【０１６２】
Ｔ＝ｔ１８において、駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）をローレベルからハイレベルへ切り替え、スイッチ１５１４を導通させる。そしてＴ＝ｔ１９において駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）をハイレベルからローレベルへと切り替え、スイッチ１５１４を非導通とする。この動作により演算増幅器９１９の出力ノードの電位Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ）を保持容量１５０６へ書き込むことができる。このように、保持容量１５０６は、第１混合信号と第４信号が混合された第２混合信号を保持する第３保持容量として機能する。
【０１６３】
そして、容量ＣＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ）とＣＴＮの差電圧である、
Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ）−ＶＲＥＦ＝ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ）  式（１４）
を得ることができる。これは画素に含まれる４つの光電変換素子の信号を混合して得られたもの（第２混合信号）に相当する。
【０１６４】
ひきつづきＴ＝ｔ２０において、駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣとＰＴＸＤとＰＴＸＥとＰＴＸＦをハイレベルとする。これにより、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの光電荷を増幅部９０４の入力ノード９０３へ転送する。そして、Ｔ＝ｔ２１において駆動パルスＰＴＸＡとＰＴＸＢとＰＴＸＣとＰＴＸＤとＰＴＸＥとＰＴＸＦをローレベルとする。この動作により光電変換素子１１０１Ａ、１１０１Ｂ、１１０１Ｃ、１１０１Ｄ、１１０１Ｅ、１１０１Ｆの光電荷を同時に入力ノード９０３へ転送することができ、共通出力線に画像形成用の信号を生じさせることができる。換言すれば、複数の光電変換素子のうち一部の光電変換素子の信号と、複数の光電変換素子のうち一部の光電変換素子とは別の光電変換素子の信号と、を混合する。具体的には、第２混合信号と、第１光電変換素子１１０１Ａに対して水平方向に配置される第５光電変換素子１１０１Ｅの信号（第５信号）および第６光電変換素子１１０１Ｆの信号（第６信号）と、を混合している。言い換えれば、複数の光電変換素子のうち第２混合信号に対応する光電変換素子（１１０１Ａ〜Ｄ）を除く光電変換素子（１１０１Ｅおよび１１０１Ｆ）の信号を第２混合信号に混合して第３混合信号を生成している。なお、ここでの混合は、後述するように、撮像素子から読み出した信号を演算することによって生成した信号を用いる。これにより、互いに異なる複数の方向での位相差（情報）を同時に撮像された信号を用いて検出（算出）できるように混合（制御）される。特に、複数の光電変換素子からの信号が混合された混合信号を演算処理した後で、互いに異なる複数の方向での位相差を検出（算出）できるように混合（制御）される。
【０１６５】
増幅部９０４の入力ノード９０３へ転送された電荷は光電変換素子１１０１Ａの電荷のみを転送した際と同様に列回路９４４へ供給される。共通出力線９０７の電位変化をΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）（負）、演算増幅器９１９の出力電位をＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）とすると、
Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）＝ＶＲＥＦ＋ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）×（−Ｃ０／ＣＦ）  式（１５）
となる。
【０１６６】
Ｔ＝ｔ２２において、駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）をローレベルからハイレベルへ切り替え、スイッチ１５１２を導通させる。そしてＴ＝ｔ２３において駆動パルスＰＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）をハイレベルからローレベルへと切り替え、スイッチ１５１２を非導通とする。この動作により演算増幅器９１９の出力ノードの電位Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）を保持容量１５０４へ書き込むことができる。このように、保持容量１５０４は、第２混合信号と第５信号と第６信号が混合された第３混合信号を保持する第４保持容量として機能する。
【０１６７】
そして、容量ＣＴＳ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）とＣＴＮの差電圧である、
Ｖ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）−ＶＲＥＦ＝ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）×（−Ｃ０／ＣＦ）  式（１６）
を得ることができる。これは画素に含まれる６つの光電変換素子の信号を混合して得られたもの（第３混合信号）に相当し、画素に含まれる複数の光電変換素子で撮像をする際の１画素に相当する信号が得られる。この信号は、表示用画像生成時の信号として用いられる。
【０１６８】
時刻Ｔ＝ｔ２４において、選択トランジスタ９０６の駆動線９１１に供給される駆動パルスＰＳＥＬがローレベルとなり、選択トランジスタ９０６が非導通となる。これにより増幅部９０４の信号が出力されなくなる。
【０１６９】
次にＴ＝ｔ２５で駆動パルスＰＲＥＳをハイレベルとし、リセット部９０５を導通させ、入力ノード９０３の電位をリセットする。
【０１７０】
保持容量１５０４〜１５１１に保持された信号はＴ＝ｔ２６以降にパルスＰＨに同期した駆動パルス１５２８、１５２９、１５３０、１５３１が順次導通することで読み出される。
【０１７１】
以上のような動作で、光電変換素子１１０１Ａのみの信号（第１信号）が得られる。また、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合後の信号（第１混合信号）が得られる。また、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合後の信号（第２混合信号）が得られる。また、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄと１１０１Ｅと１１０１Ｆの混合後の信号（第３混合信号）が得られる。
【０１７２】
次に信号処理部において、上記式（１１）の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの信号を混合して得られたもの（第１混合信号）と式（１２）の光電変換素子１１０１Ａの信号を得られたもの（第１信号）の差、すなわち、
（ΔＶ（Ａ＋Ｂ＋Ｃ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ａ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ＋Ｃ）−ΔＶ（Ａ））×（−Ｃ０／ＣＦ）
＝（ΔＶ（Ｂ＋Ｃ））×（−Ｃ０／ＣＦ）  式（１７）
を得ることにより光電変換素子１１０１Ｂと１１０１Ｃの混合信号に相当する信号（第２減算信号）を得ることができる。
【０１７３】
さらに式（１３）の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの信号を混合して得られたもの（第２混合信号）と、式（１２）の光電変換素子１１０１Ａの信号（第１信号）との差、すなわち、
（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ａ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）−ΔＶ（Ａ））×（−Ｃ０／ＣＦ）  
＝（ΔＶ（Ｂ＋Ｃ＋Ｄ））×（−Ｃ０／ＣＦ）  式（１８）
を得ることにより光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄのみの信号に相当する信号（第５減算信号）を得ることができる。第５減算信号は、画素２１０に含まれる光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの信号を混合して得られたものに相当する。
【０１７４】
さらに式（１３）の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの信号を混合して得られたもの（第２混合信号）と、式（１１）の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）との差、すなわち、
（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ａ＋Ｂ＋Ｃ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）−ΔＶ（Ａ＋Ｂ＋Ｃ））×（−Ｃ０／ＣＦ）  
＝（ΔＶ（Ｄ））×（−Ｃ０／ＣＦ）  式（１９）
を得ることにより光電変換素子１１０１Ｄのみの信号に相当する信号（第１減算信号）を得ることができる。第１減算信号は、画素２１０に含まれる光電変換素子１１０１Ｄの信号に相当する。そのため、位相差検出回路１０８は、光電変換素子１１０１Ａと光電変換素子１１０１Ｄの２つの光束の情報から垂直方向の位相差検出を行なうことができる。換言すれば、位相差検出回路１０８は、第１信号と第１減算信号とに基づいて垂直方向（第１の方向）での位相差を検出する位相差検出手段として機能する。
【０１７５】
さらに式（１５）の光電変換素子１１０１Ａ〜Ｆの信号を混合して得られたもの（第３混合信号）と、式（１１）の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号（第１混合信号）との差、すなわち、
（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ａ＋Ｂ＋Ｃ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）−ΔＶ（Ａ＋Ｂ＋Ｃ））×（−Ｃ０／ＣＦ）  
＝（ΔＶ（Ｄ＋Ｅ＋Ｆ））×（−Ｃ０／ＣＦ）  式（２０）
を得ることにより光電変換素子１１０１Ｄと１１０１Ｅと１１０１Ｆのみの信号に相当する信号（第４減算信号）を得ることができる。第４減算信号は、画素２１０に含まれる光電変換素子１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号に相当する。そのため、位相差検出回路１０８は、光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃの混合信号と光電変換素子１１０１Ｄと１１０１Ｅと１１０１Ｆの混合信号の２つの光束の情報から右斜め上方向の位相差検出を行なうことができる。換言すれば、位相差検出回路１０８は、第１混合信号と第４減算信号とに基づいて複数ある方向のうち垂直方向（第１の方向）および水平方向（第２の方向）と異なる第３の方向での位相差を検出する位相差検出手段として機能する。
【０１７６】
さらに式（１５）の光電変換素子１１０１Ａ〜Ｆの信号を混合して得られたもの（第３混合信号）と、式（１８）の光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第５減算信号）との差、すなわち、
（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）−ΔＶ（Ｂ＋Ｃ＋Ｄ））×（−Ｃ０／ＣＦ）  
＝（ΔＶ（Ａ＋Ｅ＋Ｆ））×（−Ｃ０／ＣＦ）  式（２１）
を得ることにより光電変換素子１１０１Ａと１１０１Ｅと１１０１Ｆのみの信号に相当する信号（第６減算信号）を得ることができる。第６減算信号は、画素２１０に含まれる光電変換素子１１０１Ａと１１０１Ｅと１１０１Ｆの混合信号に相当する。そのため、位相差検出回路１０８は、光電変換素子１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号と光電変換素子１１０１Ａと１１０１Ｅと１１０１Ｆの混合信号の２つの光束の情報から左斜め上方向の位相差検出を行なうことができる。換言すれば、位相差検出回路１０８は、第５減算信号と第６減算信号とに基づいて複数ある方向のうち垂直方向（第１の方向）と水平方向（第２の方向）と右斜め上方向（第３の方向）と異なる第４の方向での位相差を検出する位相差検出手段として機能する。
【０１７７】
さらに式（１５）の光電変換素子１１０１Ａ〜Ｆの信号を混合して得られたもの（第３混合信号）と、式（１３）の光電変換素子１１０１Ａと１１０１Ｂと１１０１Ｃと１１０１Ｄの混合信号（第２混合信号）との差、すなわち、
（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）×（−Ｃ０／ＣＦ））−（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ）×（−Ｃ０／ＣＦ））
＝（ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ）−ΔＶ（Ａ＋Ｂ＋Ｃ＋Ｄ））×（−Ｃ０／ＣＦ）  
＝（ΔＶ（Ｅ＋Ｆ））×（−Ｃ０／ＣＦ）  式（２１）
を得ることにより光電変換素子１１０１Ｅと１１０１Ｆのみの信号に相当する信号（第３減算信号）を得ることができる。第３減算信号は、画素２１０に含まれる光電変換素子１１０１Ｅと１１０１Ｆの混合信号に相当する。そのため、位相差検出回路１０８は、光電変換素子１１０１Ｂと１１０１Ｃの混合信号と光電変換素子１１０１Ｅと１１０１Ｆの混合信号の２つの光束の情報から水平方向の位相差検出を行なうことができる。換言すれば、位相差検出回路１０８は、第２減算信号と第３減算信号とに基づいて複数ある方向のうち垂直方向（第１の方向）と異なる水平方向（第２の方向）での位相差を検出する位相差検出手段として機能する。
【０１７８】
上記演算により、図１５を用いて説明した各画素信号を生成することができ、水平方向、垂直方向、斜め方向の位相差の算出を行うことができ、より精度の高い位相差検出を行うことができる。
【０１７９】
このように、本実施例によれば、多分割された光電変換素子の画素信号の演算によって生成した信号を用いて複数の方向の位相差情報を同時に撮像された信号を用いて算出することで、位相差検出の精度を向上させることができる。また、読み出し方法の工夫により、読み出し時間の短縮や、読み出した信号のノイズの低減を図れる。
【０１８０】
以上、本発明の実施形態について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１８１】
例えば、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【０１８２】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。
【０１８３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【０１８４】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【産業上の利用可能性】
【０１８５】
本発明の制御装置は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【０１８６】
１０５    撮像素子
１０６    タイミング発生部
１１０    全体制御回路
【図１】
2016131346.tif 000003
【図２】
2016131346.tif 000004
【図３】
2016131346.tif 000005
【図４】
2016131346.tif 000006
【図５】
2016131346.tif 000007
【図６】
2016131346.tif 000008
【図７】
2016131346.tif 000009
【図８】
2016131346.tif 000010
【図９】
2016131346.tif 000011
【図１０】
2016131346.tif 000012
【図１１】
2016131346.tif 000013
【図１２】
2016131346.tif 000014
【図１３】
2016131346.tif 000015
【図１４】
2016131346.tif 000016
【図１５】
2016131346.tif 000017
【図１６】
2016131346.tif 000018