(57)【特許請求の範囲】
【請求項１】
光を電荷に変換する第１及び第２の単位画素を有する撮像素子と、
被写体に対して光を投射する発光装置と、
１フレーム期間内に前記第１及び第２の単位画素の信号の蓄積及び読み出しを行うように前記撮像素子を駆動する駆動手段と、
前記第１の単位画素の出力信号を用いて瞳分割位相差検出方式による被写体の焦点検出を行う第１の焦点検出手段と、
前記第２の単位画素の出力信号を用いて前記発光装置により前記被写体に光を投射してから前記第２の単位画素により反射光を受光するまでの時間に基づくＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式による被写体の焦点検出を行う第２の焦点検出手段と、
前記第１の単位画素及び前記第２の単位画素の出力信号を用いて撮影画像を生成する生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記生成手段は、前記第１の焦点検出手段により被写体の焦点検出を行う場合に、前記第１の単位画素及び前記第２の単位画素の出力信号を用いて撮影画像を生成し、前記第２の焦点検出手段により被写体の焦点検出を行う場合に、前記第２の単位画素の出力信号を用いずに前記第１の単位画素の出力信号を用いて撮影画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の焦点検出手段が、前記発光装置が光を投射しない場合の前記第１の単位画素の出力信号を基にした被写体の焦点検出後、前記第１の単位画素の出力信号に応じて、前記第１の焦点検出手段及び前記第２の焦点検出手段のいずれかにより被写体の焦点検出を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
さらに、撮影条件に応じて前記第１の焦点検出手段を用いて焦点検出を行う第１のモードと、前記第２の焦点検出手段を用いて焦点検出を行う第２のモードのいずれかを選択する制御手段を有することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記被写体の輝度に応じて前記第１のモードと前記第２のモードのいずれかを選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、前記被写体の輝度が第１の閾値よりも高い場合に前記第１のモードを選択して前記被写体の焦点検出を行い、前記被写体の輝度が前記第１の閾値よりも低い場合に前記第２のモードを選択して前記被写体の焦点検出を行うように制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記被写体までの距離が第２の閾値よりも遠い場合に前記第１のモードを選択して前記被写体の焦点検出を行い、前記被写体までの距離が第２の閾値よりも近い場合に前記第２のモードを選択して前記被写体の焦点検出を行うように制御することを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記第１の単位画素は、単一のマイクロレンズを共有する複数の光電変換部を有し、
前記第１の焦点検出手段は、前記複数の光電変換部の信号を基に被写体の焦点検出を行うことを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記第２の焦点検出手段は、前記発光装置が投射する光と、前記第２の単位画素が受光した光との位相差を基に被写体の焦点検出を行うことを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第２の単位画素は、１つの光電変換部を有することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第２の単位画素は、単一のマイクロレンズを共有する複数の光電変換部を備えることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１の単位画素と前記第２の単位画素とは、各々の駆動方法が異なることを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
複数の前記第１の単位画素が並ぶ第１の行と、複数の前記第２の単位画素が並ぶ第２の行を有することを特徴とする請求項１〜１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記第２の焦点検出手段により被写体の焦点検出を行う場合には、前記第１の単位画素の電荷蓄積期間と前記第２の単位画素の電荷蓄積期間は異なることを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記撮像素子は、光を電荷に変換する第３の単位画素を有し、
前記駆動手段は、１フレーム期間内に前記第１乃至第３の単位画素の信号の蓄積及び読み出しを行うように前記撮像素子を駆動し、
前記生成手段は、前記第１乃至第３の単位画素の出力信号を用いて撮影画像を生成し、
前記第１の焦点検出手段及び前記第２の焦点検出手段は、前記第３の単位画素の出力信号を用いずに被写体の焦点検出を行うことを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１６】
前記第２の焦点検出手段により被写体の焦点検出を行う場合、前記第１の単位画素の電荷蓄積期間と前記第２の単位画素の電荷蓄積期間と前記第３の単位画素の電荷蓄積期間は異なることを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記第２の単位画素の電荷蓄積期間は、前記発光装置が光を投射する期間を含むことを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記第３の単位画素の電荷蓄積期間は、前記発光装置が光を投射する期間を含まないことを特徴とする請求項１６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向や距離情報をも取得可能な撮像装置が知られている。
【０００３】
特許文献１では、撮像装置において、瞳分割方式の焦点検出が可能な技術が開示されている。特許文献１では、１つの画素は２つのフォトダイオードを有しており（以下、これらを分割画素という）、各フォトダイオードは１つのマイクロレンズによって撮影レンズの異なる瞳を通過した光を受光する。したがって、２つのフォトダイオードからの出力信号波形を比較することで、瞳分割位相差ＡＦや距離検出用画像の取得が可能となる。また、２つのフォトダイオードからの出力信号を加算することで、通常の撮像画像を得ることができる。
【０００４】
また、特許文献２では、撮像装置において、いわゆる光走行時間法、あるいはＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式の焦点検出が可能な技術が開示されている。特許文献２には、１つの画素は１つのフォトダイオードに対して２つのフローティングディフュージョンと２つの転送スイッチを有している。そして、投射光のパルスタイミングに同期し、２つの転送スイッチを交互に開閉させることで、反射光により発生した電荷を１つのフォトダイオードから２つのフローティングディフュージョンへ配分する。その電荷の配分比から被写体までの距離を推定することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１２４９８４号公報
【特許文献２】国際公開第２００７／０２６７７７号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、瞳分割方式の焦点検出は、被写体の明暗を用いたコントラスト方式等に比べて、焦点検出の高速化が可能であるが、被写界深度が深い状況や、また画像周辺部など、光学的な諸条件によっては瞳分割位相差が得られにくい。そのため、瞳分割方式の焦点検出は、良好な焦点検出や距離検出用画像の取得を行うことが難しい場合がある。一方で、光走行時間法では、画素単位で距離情報の取得が可能であるが、遠距離被写体に対して投射光が届かない場合や反射率の低い被写体に対して測定が困難である。
【０００７】
本発明の目的は、状況に応じた適切な焦点検出を行うことができる撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、光を電荷に変換する第１及び第２の単位画素を有する撮像素子と、被写体に対して光を投射する発光装置と、１フレーム期間内に前記第１及び第２の単位画素の信号の蓄積及び読み出しを行うように前記撮像素子を駆動する駆動手段と、前記第１の単位画素の出力信号を用いて瞳分割位相差検出方式による被写体の焦点検出を行う第１の焦点検出手段と、前記第２の単位画素の出力信号を用いて前記発光装置により前記被写体に光を投射してから前記第２の単位画素により反射光を受光するまでの時間に基づくＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式による被写体の焦点検出を行う第２の焦点検出手段と、前記第１の単位画素及び前記第２の単位画素の出力信号を用いて撮影画像を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００９】
光学的な諸条件に応じた適切な焦点検出を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成例を示すブロック図である。
【図２】第１の実施形態における撮像素子の画素配置図である。
【図３】撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。
【図４】第１の実施形態における単位画素内の構成例を示す模式図である。
【図５】位相差検出用単位画素内の構成例を示す回路図である。
【図６】ＴＯＦ焦点検出用単位画素内の構成例を示す回路図である。
【図７】第１の実施形態における撮像素子の読み出し回路を説明する図である。
【図８】位相差検出用画素の駆動方法を示すタイミングチャートである。
【図９】ＴＯＦ焦点検出用画素の第１の駆動方法のタイミングチャートである。
【図１０】ＴＯＦ焦点検出用画素の第２の駆動方法のタイミングチャートである。
【図１１】ＴＯＦ方式に係るパルスタイミングを説明する模式図である。
【図１２】撮像動作を説明するフローチャートである。
【図１３】第１の焦点検出駆動方法を説明する読み出しタイミングチャートである。
【図１４】第２の焦点検出駆動方法を説明する読み出しタイミングチャートである。
【図１５】第２の実施形態における撮像素子の画素配置図である。
【図１６】第２の実施形態における単位画素内の構成例を示す模式図である。
【図１７】通常の撮像用単位画素内の構成例を示す回路図である。
【図１８】第２の実施形態における撮像素子の読み出し回路を説明する図である。
【図１９】通常の撮像画素の駆動方法を示すタイミングチャートである。
【図２０】第１の焦点検出駆動方法を説明する読み出しタイミングチャートである。
【図２１】第２の焦点検出駆動方法を説明する読み出しタイミングチャートである。
【図２２】第３の実施形態における撮像素子の画素配置図である。
【図２３】第３の実施形態における単位画素内の構成例を示す模式図である。
【図２４】第３の実施形態における単位画素内の構成例を示す回路図である。
【図２５】第３の実施形態における撮像素子の読み出し回路を説明する図である。
【図２６】位相差検出用画素の駆動方法を示すタイミングチャートである。
【図２７】ＴＯＦ焦点検出用画素の駆動方法を示すタイミングチャートである。
【図２８】通常の撮像画素の駆動方法を示すタイミングチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置１００の構成例を示すブロック図である。撮影レンズ１０１を通過した光は、レンズ絞り２０４を介して、撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は、複数のマイクロレンズ１０２０を有し、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域毎に分割して出射する。撮像素子１０３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像素子であり、１つのマイクロレンズ１０２０に対して複数の画素が対応するように配置される。撮像素子１０３は、マイクロレンズ１０２０で瞳領域毎に分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する。
【００１２】
アナログ信号処理回路（ＡＦＥ）１０４は、撮像素子１０３から出力される画像信号に対して、相関二重サンプリング処理、信号増幅、基準レベル調整、アナログ／デジタル変換処理等を行う。デジタル信号処理回路（ＤＦＥ）１０５は、アナログ信号処理回路１０４から出力される画像信号に対して、基準レベル調整等のデジタル画像処理を行う。
【００１３】
画像処理回路１０６は、デジタル信号処理回路１０５から出力された画像信号に対して、後述するＡ像及びＢ像の相関演算や焦点検出、また所定の画像処理や欠陥補正等を施す。メモリ回路１０７及び記録回路１０８は、画像処理回路１０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。
【００１４】
制御回路１０９は、撮影レンズ１０１、撮像素子１０３、画像処理回路１０６、操作回路１１０、表示回路１１１及び発光装置１１２等の撮像装置全体を統括的に駆動・制御する。操作回路１１０は、撮像装置１００に備え付けられた操作部材からの信号を入力し、制御回路１０９に対してユーザーの命令を出力する。表示回路１１１は、撮影後の画像やライブビュー画像、各種設定画面等を表示する。発光装置１１２は、制御回路１０９からの信号ＰＬＩＧＨＴ（図８〜図１１）に応じて、被写体に対して光を投射する。
【００１５】
次に、撮影レンズ１０１、マイクロレンズアレイ１０２及び撮像素子１０３の関係と、画素の定義、及び瞳分割方式による焦点検出の原理を説明する。
【００１６】
図２は、撮像素子１０３及びマイクロレンズ１０２０を図１の光軸Ｚ方向から観察した図である。本実施形態では、１つのマイクロレンズ１０２０に対して１つの単位画素２００が設けられる。図２においては、撮像素子１０３は、８×８＝６４個の単位画素２００を有する。各単位画素２００は、それぞれＸ座標とＹ座標のアドレスを（Ｘ，Ｙ）と表記する。単位画素２００は、光を電荷に変換する。ここで、Ｙ座標が０、１、２、４、５、６の６行に配置されている単位画素２００は、１つのマイクロレンズ１０２０に対して２個の分割画素２０１Ａ及び２０１Ｂを有する。分割画素２０１Ａ及び２０１Ｂは、Ｘ軸方向に並ぶ。また、Ｙ座標が３、６の２行に配置されている単位画素２００は、１つのマイクロレンズ１０２０に対して１つの画素を有する。２つの分割画素２０１Ａ及び２０１Ｂで構成される６行の単位画素２００は、瞳分割位相差検出方式の焦点検出に使用され、１つの画素で構成される２行の単位画素２００は、ＴＯＦ方式焦点検出に使用される。
【００１７】
図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して単位画素２００で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図である。瞳領域２０２及び２０３は、撮影レンズ１０１の射出瞳領域を表す。瞳領域２０２及び２０３を通過した光は、光軸Ｚを中心として単位画素２００に入射する。瞳領域２０２を通過する光束はマイクロレンズ１０２０を通して分割画素２０１Ａで受光され、瞳領域２０３を通過する光束はマイクロレンズ１０２０を通して分割画素２０１Ｂで受光される。したがって、分割画素２０１Ａ及び２０１Ｂは、それぞれ撮影レンズ１０１の異なる瞳領域２０２及び２０３の光を受光している。
【００１８】
複数の単位画素２００内の分割画素２０１Ａの出力信号群で構成した被写体像をＡ像とする。同様に、複数の単位画素２００内の分割画素２０１Ｂの出力信号群で構成した被写体像をＢ像とする。
【００１９】
画像処理回路１０６は、Ａ像及びＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに、画像処理回路１０６は、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画像内の任意の被写体位置に対応した焦点位置を算出することができる。制御回路１０９は、ここで算出された焦点位置を基に撮影レンズ１０１のフォーカスを制御することで瞳分割位相差ＡＦが可能となる。また、画像処理回路１０６は、Ａ像信号とＢ像信号との加算をＡ＋Ｂ像信号とすることで、このＡ＋Ｂ像信号を通常の撮影画像に用いることができる。
【００２０】
図５は、図２のＹ座標が０、１、２、４、５、６の単位画素２００の構成例を示す回路図であり、瞳分割位相差検出方式の焦点検出に使用される第１の単位画素２００を示す。Ｙ座標が０、１、２、４、５、６の行は、それぞれ、複数の図５の第１の単位画素２００が並ぶ行である。第１の単位画素２００は、第１のフォトダイオード３０１Ａ及び第２のフォトダイオード３０１Ｂを有する。第１のフォトダイオード３０１Ａは分割画素２０１Ａに対応し、第２のフォトダイオード３０１Ｂは分割画素２０１Ｂに対応する。第１のフォトダイオード３０１Ａには転送スイッチ３０２Ａが接続され、第２のフォトダイオード３０１Ｂには転送スイッチ３０２Ｂが接続される。転送スイッチ３０２Ａにはフローティングディフュージョン３０３Ａが接続され、転送スイッチ３０２Ｂにはフローティングディフュージョン３０３Ｂが接続される。フローティングディフュージョン３０３Ａにはリセットスイッチ３０４Ａ及びソースフォロアアンプ３０５Ａが接続される。フローティングディフュージョン３０３Ｂにはリセットスイッチ３０４Ｂ及びソースフォロアアンプ３０５Ｂが接続される。ソースフォロアアンプ３０５Ａにはセレクトスイッチ３０６Ａが接続される。ソースフォロアアンプ３０５Ｂにはセレクトスイッチ３０６Ｂが接続される。リセットスイッチ３０４Ａと３０４Ｂ及びソースフォロアアンプ３０５Ａと３０５Ｂのドレインは、基準電位（ＶＤＤ）ノード３０８に接続される。
【００２１】
フォトダイオード３０１Ａ及び３０１Ｂは、同一のマイクロレンズ１０２０を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ３０２Ａは、転送パルス信号ＰＴＸＡに応じて、第１のフォトダイオード３０１Ａで発生した電荷をフローティングディフュージョン３０３Ａに転送する。転送スイッチ３０２Ｂは、転送パルス信号ＰＴＸＢに応じて、第２のフォトダイオード３０１Ｂで発生した電荷をフローティングディフュージョン３０３Ｂに転送する。フローティングディフュージョン３０３Ａ及び３０３Ｂは、電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。
【００２２】
リセットスイッチ３０４Ａは、リセットパルス信号ＰＲＥＳに応じて、フローティングディフュージョン３０３Ａの電位を基準電位ノード３０８の電位にリセットする。リセットスイッチ３０４Ｂは、リセットパルス信号ＰＲＥＳに応じて、フローティングディフュージョン３０３Ｂの電位を基準電位ノード３０８の電位にリセットする。ソースフォロアアンプ３０５Ａは、ＭＯＳトランジスタと基準電位ノード３０８からなるソースフォロア回路であり、フローティングディフュージョン３０３Ａに保持した電荷に基づく電圧を増幅して、画素信号として出力する。ソースフォロアアンプ３０５Ｂは、ＭＯＳトランジスタと基準電位ノード３０８からなるソースフォロア回路であり、フローティングディフュージョン３０３Ｂに保持した電荷に基づく電圧を増幅して、画素信号として出力する。
【００２３】
セレクトスイッチ３０６Ａは、セレクトパルス信号ＰＳＥＬに応じて、ソースフォロアアンプ３０５Ａで増幅された画素信号を垂直出力線３０７Ａに出力する。セレクトスイッチ３０６Ｂは、セレクトパルス信号ＰＳＥＬに応じて、ソースフォロアアンプ３０５Ｂで増幅された画素信号を垂直出力線３０７Ｂに出力する。垂直出力線３０７Ａ及び３０７Ｂは、図７のように、同じ列の複数の単位画素２００で共有される。
【００２４】
図６は、図２のＹ座標が３、６の単位画素２００の構成例を示す回路図であり、ＴＯＦ方式の焦点検出に使用される第２の単位画素２００を示す。Ｙ座標が３、６の行は、複数の図６の第２の単位画素２００が並ぶ行である。第２の単位画素２００は、１つのフォトダイオード３０１を有する。フォトダイオード３０１は、画素に対応する。フォトダイオード３０１には２つの転送スイッチ３０２Ｃ及び３０２Ｄが接続される。転送スイッチ３０２Ｃにはフローティングディフュージョン３０３Ｃが接続される。転送スイッチ３０２Ｄにはフローティングディフュージョン３０３Ｄが接続される。フローティングディフュージョン３０３Ｃにはリセットスイッチ３０４Ｃ及びソースフォロアアンプ３０５Ｃが接続される。フローティングディフュージョン３０３Ｄにはリセットスイッチ３０４Ｄ及びソースフォロアアンプ３０５Ｄが接続される。ソースフォロアアンプ３０５Ｃにはセレクトスイッチ３０６Ｃが接続される。ソースフォロアアンプ３０５Ｄにはセレクトスイッチ３０６Ｄが接続される。リセットスイッチ３０４Ｃと３０４Ｄ及びソースフォロアアンプ３０５Ｃと３０５Ｄのドレインは、基準電位（ＶＤＤ）ノード３０８に接続される。
【００２５】
フォトダイオード３０１は、マイクロレンズ１０２０を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ３０２Ｃは、転送パルス信号ＰＴＸＣに応じて、フォトダイオード３０１で発生した電荷をフローティングディフュージョン３０３Ｃに転送する。転送スイッチ３０２Ｄは、転送パルス信号ＰＴＸＤに応じて、フォトダイオード３０１で発生した電荷をフローティングディフュージョン３０３Ｄに転送する。フローティングディフュージョン３０３Ｃ及び３０３Ｄは、電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。
【００２６】
リセットスイッチ３０４Ｃは、リセットパルス信号ＰＲＥＳに応じて、フローティングディフュージョン３０３Ｃの電位を基準電位ノード３０８の電位にリセットする。リセットスイッチ３０４Ｄは、リセットパルス信号ＰＲＥＳに応じて、フローティングディフュージョン３０３Ｄの電位を基準電位ノード３０８の電位にリセットする。ソースフォロアアンプ３０５Ｃは、ＭＯＳトランジスタと基準電位ノード３０８からなるソースフォロア回路であり、フローティングディフュージョン３０３Ｃに保持した電荷に基づく電圧を増幅して、画素信号として出力する。ソースフォロアアンプ３０５Ｄは、ＭＯＳトランジスタと基準電位ノード３０８からなるソースフォロア回路であり、フローティングディフュージョン３０３Ｄに保持した電荷に基づく電圧を増幅して、画素信号として出力する。
【００２７】
セレクトスイッチ３０６Ｃは、セレクトパルス信号ＰＳＥＬに応じて、ソースフォロアアンプ３０５Ｃで増幅された画素信号を垂直出力線３０７Ａに出力する。セレクトスイッチ３０６Ｄは、セレクトパルス信号ＰＳＥＬに応じて、ソースフォロアアンプ３０５Ｄで増幅された画素信号を垂直出力線３０７Ｂに出力する。垂直出力線３０７Ａ及び３０７Ｂは、図７のように、同じ列の複数の単位画素２００で共有される。
【００２８】
図４（ａ）は、図５に対応し、図２のＹ座標が０、１、２、４、５、６の単位画素２００のレイアウト図であり、瞳分割位相差検出方式の焦点検出に使用される第１の単位画素２００を示す。第１の単位画素２００は、単一のマイクロレンズ１０２０を共有する第１のフォトダイオード３０１Ａ及び第２のフォトダイオード３０１Ｂを有する。第１のフォトダイオード３０１Ａは、転送スイッチ３０２Ａに接続される。第２のフォトダイオード３０１Ｂは、転送スイッチ３０２Ｂに接続される。転送スイッチ３０２Ａは、フローティングディフュージョン３０３Ａに接続される。転送スイッチ３０２Ｂは、フローティングディフュージョン３０３Ｂに接続される。
【００２９】
図４（ｂ）は、図６に対応し、図２のＹ座標が３、６の単位画素２００のレイアウト図であり、ＴＯＦ方式の焦点検出に使用される単位画素２００を示す。１つのマイクロレンズ１０２０に対して、フォトダイオード３０１が設けられる。フォトダイオード３０１の両端には、２つの転送スイッチ３０２Ｃ及び３０２Ｄが接続される。転送スイッチ３０２Ｃは、フローティングディフュージョン３０３Ｃに接続される。転送スイッチ３０２Ｄは、フローティングディフュージョン３０３Ｄに接続される。
【００３０】
図７は、撮像素子１０３、垂直シフトレジスタ４０１、列回路４０３、水平シフトレジスタ４０４及び出力アンプ４０７の構成例を示す図である。撮像素子１０３では、複数の単位画素２００が行列状に配置されている。なお、図７においては、４行３列の計１２個の単位画素２００を図示するが、実際は、撮像素子１０３は数百万〜数千万の単位画素２００を有する。また、単位画素２００は、ベイヤー配列に従って並べられ、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが設けられる。ここでは、発光装置１１２の投射光として用いられる赤外光や、より反射光の受光効率を上げることを目的として、赤外フィルタや透明フィルタを形成した画素を配置してもよい。垂直シフトレジスタ４０１は、各行の単位画素２００に接続される信号線４０２を介して、単位画素２００の行を選択・駆動する。単位画素２００のフローティングディフュージョン３０３Ａ〜３０３Ｄで変換された信号は、それぞれ垂直出力線３０７Ａ及び３０７Ｂを通り、列回路４０３に入力される。列回路４０３で処理された信号は、水平シフトレジスタ４０４により、水平出力線４０５及び４０６を通り、出力アンプ４０７に転送される。
【００３１】
続いて、列回路４０３の構成を説明する。クランプ容量４０８は、垂直出力線３０７Ａ又は３０７Ｂに接続される。フィードバック容量４０９は、オペアンプ４１０の出力端子及び入力端子間に接続される。基準電圧ノード４１１は、基準電圧をオペアンプ４１０に供給する。スイッチ４１２は、リセット信号ＰＣ０Ｒに応じて、フィードバック容量４０９の両端をショートさせるためのスイッチである。容量４１３及び４１４は、電圧を保持するための容量である。スイッチ４１５は、信号ＰＴＳに応じて、オペアンプ４１０の出力電圧を容量４１３へ書き込む。スイッチ４１６は、信号ＰＴＮに応じて、オペアンプ４１０の出力電圧を容量４１４へ書き込む。スイッチ４１７は、水平シフトレジスタ４０４からの信号ＰＨＳに応じて、容量４１３の電圧を水平出力線４０５に転送する。スイッチ４１８は、水平シフトレジスタ４０４からの信号ＰＨＮに応じて、容量４１４の電圧を水平出力線４０６に転送する。出力アンプ４０７は、水平出力線４０５及び４０６の電圧の差分を出力する。
【００３２】
図８は、撮像装置の第１の駆動方法を示すタイミングチャートである。第１の駆動方法は、通常撮影及び瞳分割位相差検出方式の焦点検出における画素信号読み出しを行うための駆動方法である。通常撮影では、画像信号を生成する。瞳分割位相差検出方式の焦点検出では、瞳分割位相差検出方式の焦点検出を行う。第１の駆動方法では、２つのフォトダイオード３０１Ａ及び３０１Ｂで発生した電荷をそれぞれ２つのフローティングディフュージョン３０３Ａ及び３０３Ｂで読み出す。
【００３３】
始めに、期間ＨＢＬＫにおいて、時刻ｔ０では、信号ＰＲＥＳがハイレベルであり、リセットスイッチ３０４Ａ及び３０４Ｂがオンし、フローティングディフュージョン３０３Ａ及び３０３Ｂがリセットされる。時刻ｔ１では、信号ＰＴＸＡ及びＰＴＸＢがハイレベルとなり、転送スイッチ３０２Ａ及び３０２Ｂがオンし、フォトダイオード３０１Ａ及び３０１Ｂがリセットされる。時刻ｔ２では、信号ＰＴＸＡ及びＰＴＸＢがローレベルになり、転送スイッチ３０２Ａ及び３０２Ｂがオフし、フォトダイオード３０１Ａ及び３０１Ｂの電荷蓄積期間が開始する。フォトダイオード３０１Ａ及び３０１Ｂは、光電変換により電荷を生成する。
【００３４】
その後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ａ及び３０６Ｂがオンし、ソースフォロアアンプ３０５Ａ及び３０５Ｂが動作状態となる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ａ及び３０４Ｂがオフし、フローティングディフュージョン３０３Ａ及び３０３Ｂのリセットが解除される。ソースフォロアアンプ３０５Ａ及び３０５Ｂは、それぞれ、フローティングディフュージョン３０３Ａ及び３０３Ｂの電荷に基づく電圧をリセット信号レベル（ノイズ成分）として、垂直出力線３０７Ａ及び３０７Ｂを介して列回路４０３に出力する。時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０のリセット状態を解除する。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号がリセット信号レベルとして容量４１４に書き込む。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。
【００３５】
次に、時刻ｔ８では、信号ＰＴＸＡ及びＰＴＸＢがハイレベルになり、転送スイッチ３０２Ａ及び３０２Ｂがオンする。すると、フォトダイオード３０１Ａ及び３０１Ｂに蓄積された電荷は、それぞれ、フローティングディフュージョン３０３Ａ及び３０３Ｂに転送される。時刻ｔ１０では、信号ＰＴＸＡ及びＰＴＸＢがローレベルになり、転送スイッチ３０２Ａ及び３０２Ｂがオフし、フォトダイオード３０１Ａ及び３０１Ｂからフローティングディフュージョン３０３Ａ及び３０３Ｂへの電荷転送が終了する。すなわち、フォトダイオード３０１Ａ及び３０１Ｂの電荷蓄積期間が終了する。ソースフォロアアンプ３０５Ａ及び３０５Ｂは、それぞれ、フローティングディフュージョン３０３Ａ及び３０３Ｂの電荷に応じた電圧を光信号レベル（光成分＋ノイズ成分）として、垂直出力線３０７Ａ及び３０７Ｂを介して列回路４０３に出力する。時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号を光信号レベルとして、容量４１３に書き込む。オペアンプ４１０は、クランプ容量４０８及びフィードバック容量４０９の比に応じた反転ゲインで増幅出力する。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ａ及び３０４Ｂがオンし、フローティングディフュージョン３０３Ａ及び３０３Ｂがリセット状態になる。
【００３６】
次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、水平シフトレジスタ４０４は、各列の列回路４０３毎に順次、ハイレベルパルスの信号ＰＨＳ及びＰＨＮを出力する。すると、各列の列回路４０３のスイッチ４１７及び４１８は、順次オンし、各列の列回路４０３の容量４１３及び４１４に保持された信号はそれぞれ水平出力線４０５及び４０６に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を差動信号レベル（光成分）として出力する。
【００３７】
この後、通常撮影の場合、画像処理回路１０６は、フォトダイオード３０１Ａ及び３０１Ｂの電荷に基づく信号を加算して撮影画像としてもよい。一方、瞳分割位相差検出方式の焦点検出の場合は、画像処理回路１０６は、前述したＡ像及びＢ像に対する相関演算を施し、距離情報を取得する。また、この場合も、距離情報取得後に、画像処理回路１０６は、Ａ像とＢ像の信号を加算してもよい。
【００３８】
図９は、撮像装置の第２の駆動方法を示すタイミングチャートである。第２の駆動方法は、図６の単位画素２００に対し、発光装置１１２による発光を用いず、通常撮影の画素信号読み出しを行うための駆動方法である。第２の駆動方法では、１つのフォトダイオード３０１で発生した電荷を２つのフローティングディフュージョン３０３Ｃ及び３０３Ｄに転送する。
【００３９】
始めに、期間ＨＢＬＫにおいて、時刻ｔ０では、信号ＰＲＥＳがハイレベルであり、リセットスイッチ３０４Ｃ及び３０４Ｄがオンし、フローティングディフュージョン３０３Ｃ及び３０３Ｄがリセットされる。時刻ｔ１では、信号ＰＴＸＣ及びＰＴＸＤがハイレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄがオンし、フォトダイオード３０１がリセットされる。時刻ｔ２では、信号ＰＴＸＣ及びＰＴＸＤがローレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄがオフし、フォトダイオード３０１の電荷蓄積が開始される。
【００４０】
その後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ｃ及び３０６Ｄがオンし、ソースフォロアアンプ３０５Ｃ及び３０５Ｄが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ｃ及び３０４Ｄがオフし、フローティングディフュージョン３０３Ｃ及び３０３Ｄのリセットが解除される。ソースフォロアアンプ３０５Ｃ及び３０５Ｄは、それぞれ、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく電圧をリセット信号レベル（ノイズ成分）として、垂直出力線３０７Ａ及び３０７Ｂを介して列回路４０３に出力する。時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０のリセット状態が解除される。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号がリセット信号レベルとして容量４１４に書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。
【００４１】
次に、時刻ｔ８では、信号ＰＴＸＣ及びＰＴＸＤがハイレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄがオンし、フォトダイオード３０１に蓄積された電荷がフローティングディフュージョン３０３Ｃ及び３０３Ｄに転送される。時刻ｔ１０では、信号ＰＴＸＣ及びＰＴＸＤがローレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄがオフし、フォトダイオード３０１からフローティングディフュージョン３０３Ｃ及び３０３Ｄへの電荷転送が終了する。ソースフォロアアンプ３０５Ｃ及び３０５Ｄは、それぞれ、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく電圧を光信号レベル（光成分＋ノイズ成分）として、垂直出力線３０７Ａ及び３０７Ｂを介して列回路４０３に出力する。時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号が光信号レベルとして容量４１３に書き込まれる。オペアンプ４１０は、クランプ容量４０８及びフィードバック容量４０９の比に応じた反転ゲインで増幅出力する。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ｃ及び３０４Ｄがオンし、フローティングディフュージョン３０３Ｃ及び３０３Ｄがリセット状態になる。
【００４２】
次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、水平シフトレジスタ４０４は、各列の列回路４０３毎に順次、ハイレベルパルスの信号ＰＨＳ及びＰＨＮを出力する。すると、各列の列回路４０３のスイッチ４１７及び４１８は、順次オンし、各列の列回路４０３の容量４１３及び４１４に保持された信号はそれぞれ水平出力線４０５及び４０６に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を差動信号レベル（光成分）として出力する。
【００４３】
この後、通常撮影の場合、画像処理回路１０６は、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく信号を加算して撮影画像として使用する。
【００４４】
図１０は、撮像装置の第３の駆動方法を示すタイミングチャートである。第３の駆動方法は、ＴＯＦ方式の焦点検出における画素信号読み出しを行うための駆動方法である。第３の駆動方法では、１つのフォトダイオード３０１で発生した電荷を２つのフローティングディフュージョン３０３Ｃ及び３０３Ｄに転送する。
【００４５】
始めに、期間ＨＢＬＫにおいて、時刻ｔ０では、信号ＰＲＥＳがハイレベルであり、リセットスイッチ３０４Ｃ及び３０４Ｄがオンし、フローティングディフュージョン３０３Ｃ及び３０３Ｄがリセットされる。時刻ｔ１では、信号ＰＴＸＣ及びＰＴＸＤがハイレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄがオンし、フォトダイオード３０１がリセットされる。時刻ｔ２では、信号ＰＴＸＣ及びＰＴＸＤがローレベルになり、転送スイッチ３０２Ｃ及び３０２Ｄがオフし、フォトダイオード３０１の電荷蓄積が開始する。
【００４６】
その後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ｃ及び３０６Ｄがオンし、ソースフォロアアンプ３０５Ｃ及び３０５Ｄが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ｃ及び３０４Ｄがオフし、フローティングディフュージョン３０３Ｃ及び３０３Ｄのリセットが解除される。ソースフォロアアンプ３０５Ｃ及び３０５Ｄは、それぞれ、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく電圧をリセット信号レベル（ノイズ成分）として、垂直出力線３０７Ａ及び３０７Ｂを介して列回路４０３に出力する。時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０のリセット状態が解除される。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号がリセット信号レベルとして容量４１４に書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。
【００４７】
次に、時刻ｔ８では、信号ＰＴＸＣがハイレベルになり、転送スイッチ３０２Ｃがオンし、フォトダイオード３０１に蓄積された電荷がフローティングディフュージョン３０３Ｃに転送開始する。その後、時刻ｔ９では、信号ＰＬＩＧＨＴがハイレベルになり、発光装置１１２はパルス光の投射を開始する。時刻ｔ１０では、信号ＰＴＸＣがローレベルになり、それと同時に信号ＰＴＸＤがハイレベルになる。すると、転送スイッチ３０２Ｃがオフし、フォトダイオード３０１からフローティングディフュージョン３０３Ｃへの電荷転送が終了し、転送スイッチ３０２Ｄがオンし、フォトダイオード３０１からフローティングディフュージョン３０３Ｄへの電荷転送が開始する。時刻ｔ１１では、信号ＰＬＩＧＨＴがローレベルになり、発光装置１１２はパルス光の投射を終了する。時刻ｔ１２では、信号ＰＴＸＤがローレベルになり、転送スイッチ３０２Ｄがオフし、フォトダイオード３０１からフローティングディフュージョン３０３Ｄへの電荷転送が終了する。
【００４８】
ソースフォロアアンプ３０５Ｃ及び３０５Ｄは、それぞれ、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく電圧を光信号レベル（光成分＋ノイズ成分）として、垂直出力線３０７Ａ及び３０７Ｂを介して列回路４０３に出力する。時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号が光信号レベルとして容量４１３に書き込まれる。オペアンプ４１０は、クランプ容量４０８及びフィードバック容量４０９の比に応じた反転ゲインで増幅出力する。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ｃ及び３０４Ｄがオンし、フローティングディフュージョン３０３Ｃ及び３０３Ｄがリセット状態になる。
【００４９】
次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、水平シフトレジスタ４０４は、各列の列回路４０３毎に順次、ハイレベルパルスの信号ＰＨＳ及びＰＨＮを出力する。すると、各列の列回路４０３のスイッチ４１７及び４１８は、順次オンし、各列の列回路４０３の容量４１３及び４１４に保持された信号はそれぞれ水平出力線４０５及び４０６に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を差動信号レベル（光成分）として出力する。
【００５０】
この後、画像処理回路１０６は、後述するようにフローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく信号の比を基に反射光の投射光に対する遅延時間を算出し、被写体までの距離を取得する。また、画像処理回路１０６は、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく信号を加算してもよい。
【００５１】
ところで、図８の瞳分割位相差方式では光学的な諸条件によって位相差検出が難しい場合が考えられる。そこで、図１０のＴＯＦ方式による焦点検出を行う。図１１は、図１０のタイミングチャートの一部を示すものであり、ＴＯＦ方式の焦点検出の原理を説明する図である。
【００５２】
時刻ｔ８では、信号ＰＴＸＣがハイレベルになり、転送スイッチ３０２Ｃがオンし、フォトダイオード３０１に蓄積された電荷がフローティングディフュージョン３０３Ｃに転送開始する。その後、時刻ｔ９では、信号ＰＬＩＧＨＴがハイレベルになり、発光装置１１２はパルス光の投射を開始する。時刻ｔ１０では、信号ＰＴＸＣがローレベルになり、それと同時に信号ＰＴＸＤがハイレベルになる。すると、転送スイッチ３０２Ｃがオフし、フォトダイオード３０１からフローティングディフュージョン３０３Ｃへの電荷転送が終了し、転送スイッチ３０２Ｄがオンし、フォトダイオード３０１からフローティングディフュージョン３０３Ｄへの電荷転送が開始する。時刻ｔ１１では、信号ＰＬＩＧＨＴがローレベルになり、発光装置１１２はパルス光の投射を終了する。時刻ｔ１２では、信号ＰＴＸＤがローレベルになり、転送スイッチ３０２Ｄがオフし、フォトダイオード３０１からフローティングディフュージョン３０３Ｄへの電荷転送が終了する。
【００５３】
ここで、信号ＰＴＸＣによる転送スイッチ３０２Ｃのオン時間と信号ＰＴＸＤによる転送スイッチ３０２Ｄのオン時間は等しい。発光装置１１２が投射するパルス光は、被写体に対して反射する。撮像装置から被写体までの距離がゼロならば、反射光は信号ＰＬＩＧＨＴによるパルス光の投射期間と同期間に受光され、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく信号は同じになる。
【００５４】
しかし、撮像装置から被写体までの距離がゼロでない場合、図１１のように、反射光は、信号ＰＬＩＧＨＴによるパルス光の投射期間に対して、（ｔ９’−ｔ９）分だけ遅れて受光される。その結果、フローティングディフュージョン３０３Ｃは（ｔ１０−ｔ９’）の期間に受光した反射光に応じた電荷を蓄積し、フローティングディフュージョン３０３Ｄは（ｔ１１’−ｔ１０）の期間に受光した反射光に応じた電荷を蓄積することになる。フローティングディフュージョン３０３Ｃ及び３０３Ｄの蓄積電荷量に偏りが生じる。画像処理回路１０６は、発光装置１１２が投射する光と、図６の単位画素２００が受光した光との位相差を基に被写体までの距離を演算する。すなわち、画像処理回路１０６は、フローティングディフュージョン３０３Ｃ及び３０３Ｄの電荷に基づく信号の比を基に反射光の投射光に対する遅延時間を推定することができ、その遅延時間と光速との積を基に被写体までの距離を算出することができる。
【００５５】
以上を踏まえ、撮像装置の撮像動作について、図１２に示すフローチャートを用いて説明する。ステップＳ８０１では、制御回路１０９は、ユーザーによる操作回路１１０の操作に応じて又は自動的に、静止画撮影、動画撮影等のモード設定、感度、絞り値などの撮影条件設定を行う。
【００５６】
ステップＳ８０２では、制御回路１０９は、被写体の輝度が第１の閾値よりも高いか否かの判定を行う。被写体の輝度が第１の閾値よりも高い場合は、ステップＳ８０４に進む。被写体の輝度が第１の閾値よりも低い場合はステップＳ８０３に進む。
【００５７】
ステップＳ８０３では、制御回路１０９は、前のフレームにおける焦点検出結果である被写体までの距離が第２の閾値より近いか否かの判定を行う。被写体までの距離が第２の閾値よりも近い場合は、ステップＳ８０５に進む。被写体までの距離が第２の閾値よりも遠い場合は、ステップＳ８０４に進む。
【００５８】
ステップＳ８０４では、図５の単位画素２００は、発光装置１１２による発光を伴わない図８の第１の駆動方法（瞳分割位相差検出方式焦点検出）により信号を読み出し、図６の単位画素２００は、図９の第２の駆動方法により信号を読み出す。その後、ステップＳ８０６に進む。
【００５９】
ステップＳ８０５では、図５の単位画素２００は、図８の第１の駆動方法により信号を読み出し、図６の単位画素２００は、発光装置１１２による発光を伴う図１０の第３の駆動方法（ＴＯＦ方式焦点検出）により信号を読み出す。その後、ステップＳ８０６に進む。
【００６０】
ステップＳ８０６では、画像処理回路１０６は、ステップＳ８０４の信号を基に、瞳分割位相差検出方式により被写体までの距離を算出し、ステップＳ８０５の信号を基に、ＴＯＦ方式により被写体までの距離を算出する。具体的には、ステップＳ８０４を通過した場合、画像処理回路１０６の第１の焦点検出部は、ステップＳ８０４の発光装置１１２が光を投射しないで図５の単位画素２００の出力信号を基に被写体までの距離に関する情報を取得（演算）する。ステップＳ８０５を通過した場合、画像処理回路１０６の第２の焦点検出部は、ステップＳ８０５の発光装置１１２が光を投射して図６の単位画素２００の出力信号を基に被写体までの距離に関する情報を取得（演算）する。
【００６１】
また、画像処理回路１０６は、ステップＳ８０４又はＳ８０５で読み出された画像信号に対し、所定の画像処理を施し、画像信号をメモリ回路１０７、記録回路１０８、及び表示回路１１１に出力する。
【００６２】
ステップＳ８０７では、制御回路１０９は、撮影終了の有無を判定する。継続ならばステップＳ８０８に進み、終了ならば一連の動作を終了する。
【００６３】
ステップＳ８０８では、制御回路１０９は、ステップＳ８０６で得られた被写体までの距離を基にレンズ駆動量を算出する。ステップＳ８０９では、制御回路１０９は、算出されたレンズ駆動量を基に撮影レンズ１０１を駆動することでフォーカス駆動を行う。その後、ステップＳ８０１に戻り、上記動作を繰り返す。
【００６４】
なお、最初のフレームにおいて、ステップＳ８０２及びＳ８０３の判定ができない場合には、ステップＳ８０１の後、ステップＳ８０４に進む。すなわち、図１２の１回目の処理では、ステップＳ８０１からステップＳ８０４に進む。その後の２回目の処理では、１回目の図５の単位画素２００の出力を基に、ステップＳ８０２及びＳ８０３の判定を行う。すなわち、２回目以降の処理では、前フレームの単位画素２００の出力信号を基に、ステップＳ８０２及びＳ８０３の判定を行う。なお、ステップＳ８０２の判定は、測光部により測定された輝度を基に判定してもよい。
【００６５】
次に、撮像素子１０３の読み出しのタイミングについて図１３及び図１４を用いて説明する。図１３は、図１２のステップＳ８０４の第１及び第２の駆動方法を説明する読み出しタイミングチャートである。図１３において、点線で区切られた期間Ｈ００〜Ｈ１５は、それぞれ各行の読み出し期間を表すものである。また、表記の画素アドレスは、図２を用いて説明した画素配置のアドレスと同じものである。本実施形態においては、各行を順番に読み出すローリング方式による読み出しを行う。読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図５の単位画素２００の行を、Ｙ座標アドレスが小さい順に６行読み出し、続けて、ＴＯＦ方式の焦点検出が可能な図６の単位画素２００の行を、Ｙ座標アドレスが小さい順に２行読み出す。この時、例えば、単位画素（０，０）が信号を蓄積する期間はＨ００〜Ｈ０７の期間であり、単位画素（０，３）が信号を蓄積する期間はＨ０６〜Ｈ１３の期間となる。
【００６６】
図１４は、図１２のステップＳ８０５の第１及び第３の駆動方法を説明する読み出しタイミングチャートである。図１４においても、図１３と同様に、読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図５の単位画素２００の行を、Ｙ座標アドレスが小さい順に６行読み出す。続けて、ＴＯＦ方式の焦点検出が可能な図６の単位画素２００の行を、Ｙ座標アドレスが小さい順に２行読み出す。
【００６７】
また、ＴＯＦ方式の焦点検出に使用する発光装置１１２による発光を、信号ＰＬＩＧＨＴに従い、Ｈ０５，Ｈ０６，Ｈ１３，Ｈ１４の期間に行う。この時、例えば、瞳分割位相差検出方式の焦点検出が可能な図５の単位画素２００の行の単位画素（０，０）が電荷を蓄積する期間はＨ００〜Ｈ０７の期間である。
【００６８】
一方、ＴＯＦ方式の焦点検出が可能な図６の単位画素２００の行の単位画素（０，３）が電荷を蓄積する期間は、図１３ではＨ０６〜Ｈ１３の期間であった。図１４においては、発光装置１１２による発光の被写体からの反射光以外の外光の影響を極力抑えるため、期間Ｈ１３の発光の直前の期間Ｈ１２において、フォトダイオード３０１の信号のリセットを行うことにより、電荷蓄積期間はＨ１３のみとする。
【００６９】
瞳分割位相差検出方式の焦点検出が可能な図５の単位画素２００の電荷蓄積期間と、ＴＯＦ方式の焦点検出が可能な図６の単位画素２００の電荷蓄積期間は、相互に異なる。ＴＯＦ方式の焦点検出が可能な図６の単位画素２００の電荷蓄積期間は、発光装置１１２が光を投射する期間を含む。
【００７０】
以上のようにして、撮像素子１０３は、瞳分割位相差方式による焦点検出とＴＯＦ方式による焦点検出の両方を行うことが可能であり、一方の焦点検出方式での焦点検出が困難な場合でも、もう一方の焦点検出方式の焦点検出結果を用いることが可能となる。これにより、撮影環境や被写体の状態によらず、適切な焦点検出を行うことが可能となる。
【００７１】
なお、上記説明では、距離を算出する画素をカラーフィルタの区別なく行ったが、投射光の色、例えば赤外光などに合わせて赤外フィルタの画素のみを用いてもよいし、より光を取り込むために透明フィルタやＧフィルタの画素を用いてもよい。
【００７２】
（第２の実施形態）
次に、本発明の第２の実施形態による撮像装置について説明する。第１の実施形態では全ての単位画素２００が焦点検出可能な単位画素であるのに対し、第２の実施形態では撮像専用の単位画素を混在させる。
【００７３】
図１５は、図２と同様に、撮像素子１０３及びマイクロレンズ１０２０を図１の光軸Ｚ方向から観察した図である。撮像素子１０３は、８×８＝６４個の単位画素２００を有する。各単位画素２００は、それぞれＸ座標とＹ座標のアドレスをもって、（Ｘ，Ｙ）と表記する。ここで、本実施形態においては、Ｙ座標が０、４の２行に配置されている単位画素２００は、１つのマイクロレンズ１０２０に対して２つの分割画素２０１Ａ及び２０１Ｂが設けられる。また、Ｙ座標が１、２、３、５、６、７の６行に配置されている単位画素２００は、１つのマイクロレンズ１０２０に対して１つの画素が設けられる。２つの分割画素２０１Ａ及び２０１Ｂで構成される単位画素２００は、瞳分割位相差検出方式の焦点検出に使用される。１つの画素で構成される単位画素２００のうち、Ｙ座標が３、７の単位画素２００は、ＴＯＦ方式の焦点検出に使用され、Ｙ座標が１、２、５、６の単位画素２００は、焦点検出には使用されず、撮像にのみ使用される。
【００７４】
Ｙ座標が０、４の単位画素２００は、図５の構成を有する。Ｙ座標が３、７の単位画素２００は、図６の構成を有する。
【００７５】
図１７は、図１５のＹ座標が１、２、５、６の単位画素２００の構成例を示す回路図である。単位画素２００は、１つのフォトダイオード３０１を有する。フォトダイオード３０１には、転送スイッチ３０２Ｅが接続される。転送スイッチ３０２Ｅには、フローティングディフュージョン３０３Ｅが接続される。フローティングディフュージョン３０３Ｅには、リセットスイッチ３０４Ｅ及びソースフォロアアンプ３０５Ｅが接続される。ソースフォロアアンプ３０５Ｅには、セレクトスイッチ３０６Ｅが接続される。リセットスイッチ３０４Ｅ及びソースフォロアアンプ３０５Ｅのドレインは、基準電位（ＶＤＤ）ノード３０８に接続される。
【００７６】
フォトダイオード３０１は、マイクロレンズ１０２０を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ３０２Ｅは、転送パルス信号ＰＴＸＥに応じて、フォトダイオード３０１で発生した電荷をフローティングディフュージョン３０３Ｅに転送する。フローティングディフュージョン３０３Ｅは、電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。
【００７７】
リセットスイッチ３０４Ｅは、リセットパルス信号ＰＲＥＳに応じて、フローティングディフュージョン３０３Ｅの電位を基準電位ノード３０８の電位にリセットする。ソースフォロアアンプ３０５Ｅは、ＭＯＳトランジスタと基準電位ＶＤＤ３０８からなるソースフォロア回路であり、フローティングディフュージョン３０３Ｅに保持した電荷に基づく電圧を増幅して、画素信号として出力する。
セレクトスイッチ３０６Ｅは、セレクトパルス信号ＰＳＥＬに応じて、ソースフォロアアンプ３０５Ｅで増幅された画素信号を垂直出力線３０７Ａに出力する。垂直出力線３０７Ａは、同じ列の複数の単位画素２００で共有される。
【００７８】
図１６（ａ）は、図１５のＹ座標が０、４の単位画素２００（図５）のレイアウト図であり、図４（ａ）と同じである。図１６（ｂ）は、図１５のＹ座標が３、７の単位画素２００（図６）のレイアウト図であり、図４（ｂ）と同じである。図１６（ａ）の単位画素２００は第１の単位画素２００であり、図１６（ｂ）の単位画素２００は第２の単位画素２００である。
【００７９】
図１６（ｃ）は、図１５のＹ座標が１、２、５、６の単位画素２００（図１７）のレイアウト図である。フォトダイオード３０１は、転送スイッチ３０２Ｅに接続される。転送スイッチ３０２Ｅは、フローティングディフュージョン３０３Ｅに接続される。図１６（ｃ）の単位画素２００は、第３の単位画素２００である。
【００８０】
図１８は、撮像素子１０３、垂直シフトレジスタ４０１、列回路４０３、水平シフトレジスタ４０４及び出力アンプ４０７の構成例を示す図である。本実施形態（図１８）が第１の実施形態（図７）と異なる点を説明する。撮像素子１０３は、複数の単位画素２００が行列状に配置されている。単位画素２００内のフローティングディフュージョン３０３Ａ〜３０３Ｅの電荷に基づく信号は、垂直出力線３０７Ａ又は３０７Ｂを通り、列回路４０３に入力される。列回路４０３で処理された信号は、水平シフトレジスタ４０４により、水平出力線４０５及び４０６を通り、出力アンプ４０７に転送される。
【００８１】
次に、単位画素２００からの信号読み出しの読み出しタイミングを説明する。但し、図１６（ａ）の単位画素２００及び図１６（ｂ）の単位画素２００からの信号読み出しのタイミングについては、図８、図９、図１０を用いて説明した第１の実施形態の駆動タイミングと同一であるため、説明を省略する。
【００８２】
図１９は、撮像装置の第４の駆動方法を示すタイミングチャートである。第４の駆動方法は、図１６（ｃ）及び図１７の単位画素２００からの画素信号読み出しを行うための駆動方法である。始めに、期間ＨＢＬＫにおいて、時刻ｔ０では、信号ＰＲＥＳがハイレベルであり、リセットスイッチ３０４Ｅがオンし、フローティングディフュージョン３０３Ｅがリセットされる。時刻ｔ１では、信号ＰＴＸＥがハイレベルになり、転送スイッチ３０２Ｅがオンし、フォトダイオード３０１がリセットされる。時刻ｔ２では、信号ＰＴＸＥがローレベルになり、転送スイッチ３０２Ｅがオフし、フォトダイオード３０１の電荷蓄積期間が開始する。
【００８３】
その後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ｅがオンし、ソースフォロアアンプ３０５Ｅが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ｅがオフし、フローティングディフュージョン３０３Ｅのリセットが解除される。ソースフォロアアンプ３０５Ｅは、フローティングディフュージョン３０３Ｅの電荷に基づく電圧をリセット信号レベル（ノイズ成分）として、垂直出力線３０７Ａを介して列回路４０３に出力する。時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０のリセット状態が解除される。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号がリセット信号レベルとして容量４１４に書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。
【００８４】
次に、時刻ｔ８では、信号ＰＴＸＥがハイレベルになり、転送スイッチ３０２Ｅがオンし、フォトダイオード３０１に蓄積された電荷がフローティングディフュージョン３０３Ｅに転送される。時刻ｔ１０では、信号ＰＴＸＥがローレベルになり、転送スイッチ３０２Ｅがオフし、フォトダイオード３０１からフローティングディフュージョン３０３Ｅへの電荷転送が終了する。すなわち、フォトダイオード３０１の電荷蓄積期間が終了する。ソースフォロアアンプ３０５Ｅは、フローティングディフュージョン３０３Ｅの電荷に基づく電圧を光信号レベル（光成分＋ノイズ成分）として、垂直出力線３０７Ａを介して列回路４０３に出力する。時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号が光信号レベルとして容量４１３に書き込まれる。オペアンプ４１０は、クランプ容量４０８及びフィードバック容量４０９の比に応じた反転ゲインで増幅出力する。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、フローティングディフュージョン３０３Ｅがリセット状態になる。
【００８５】
次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、水平シフトレジスタ４０４は、各列の列回路４０３毎に順次、ハイレベルパルスの信号ＰＨＳ及びＰＨＮを出力する。すると、各列の列回路４０３のスイッチ４１７及び４１８は、順次オンし、各列の列回路４０３の容量４１３及び４１４に保持された信号はそれぞれ水平出力線４０５及び４０６に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を差動信号レベル（光成分）として出力する。
【００８６】
その後、画像処理回路１０６は、フローティングディフュージョン３０３Ｅの電荷に基づく信号を撮影画像として使用する。画像処理回路１０６は、信号を加算してもよい。
【００８７】
画像処理回路１０６は、図１６（ｃ）の単位画素２００の出力信号を用いずに、第１の実施形態と同様に、図１６（ａ）の単位画素２００又は図１６（ｂ）の単位画素２００の出力信号を基に被写体までの距離を演算する。図１６（ｃ）の単位画素２００の出力信号は、画像信号を形成するために用いられる。
【００８８】
次に、撮像素子１０３の読み出しのタイミングについて図２０及び図２１を用いて説明する。図２０は、図１２のステップＳ８０４の駆動方法を説明する読み出しタイミングチャートである。図１６（ａ）の単位画素２００は図８の第１の駆動方法により駆動され、図１６（ｂ）の単位画素２００は図９の第２の駆動方法により駆動され、図１６（ｃ）の単位画素２００は図１９の第４の駆動方法により駆動される。
【００８９】
図２０において、点線で区切られた期間Ｈ００〜Ｈ１５は、それぞれ各行の読み出し期間を表すものである。また、表記の画素アドレスは、図１５を用いて説明した画素配置のアドレスと同じものである。本実施形態においては、各行を順番に読み出すローリング方式による読み出しを行う。読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図１６（ａ）の単位画素２００の行を、Ｙ座標アドレスが小さい順に２行読み出す。続けて、通常の撮像にのみ使用される図１６（ｃ）の単位画素２００の行を、Ｙ座標アドレスが小さい順に４行読み出し、続けて、ＴＯＦ方式の焦点検出が可能な図１６（ｂ）の単位画素２００の行を、Ｙ座標アドレスが小さい順に２行読み出す。この時、例えば、単位画素（０，０）が電荷を蓄積する期間はＨ００〜Ｈ０７の期間であり、単位画素（０，１）が電荷を蓄積する期間はＨ０２〜Ｈ０９の期間であり、単位画素（０，３）が電荷を蓄積する期間はＨ０６〜Ｈ１３の期間となる。
【００９０】
図２１は、図１２のステップＳ８０５の駆動方法を説明する読み出しタイミングチャートである。図１６（ａ）の単位画素２００は図８の第１の駆動方法により駆動され、図１６（ｂ）の単位画素２００は図１０の第３の駆動方法により駆動され、図１６（ｃ）の単位画素２００は図１９の第４の駆動方法により駆動される。
【００９１】
図２１においても、図２０と同様に、読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図１６（ａ）の単位画素２００の行を、Ｙ座標アドレスが小さい順に２行読み出す。続けて、通常の撮像にのみ使用される図１６（ｃ）の単位画素２００の行を、Ｙ座標アドレスが小さい順に４行読み出し、続けて、ＴＯＦ方式の焦点検出が可能な図１６（ｂ）の単位画素２００の行を、Ｙ座標アドレスが小さい順に２行読み出す。また、ＴＯＦ方式の焦点検出に使用する発光装置１１２による発光を、信号ＰＬＩＧＨＴに従い、Ｈ０５，Ｈ０６，Ｈ１３，Ｈ１４の期間に行う。この時、例えば、瞳分割位相差検出方式の焦点検出が可能な図１６（ａ）の単位画素２００の行の単位画素（０，０）が電荷を蓄積する期間はＨ００〜Ｈ０７の期間である。
【００９２】
一方、ＴＯＦ方式の焦点検出が可能な図１６（ｂ）の単位画素２００の行の単位画素（０，３）が電荷を蓄積する期間は、図２０ではＨ０６〜Ｈ１３の期間であった。図２１では、発光装置１１２による発光の被写体からの反射光以外の外光の影響を極力抑えることが望ましいため、期間Ｈ１３の発光の直前の期間Ｈ１２において、フォトダイオード３０１の電荷のリセットを行うことにより、電荷蓄積期間はＨ１３のみとする。
【００９３】
また、通常の撮像にのみ使用される図１６（ｃ）の単位画素（０，１）が電荷を蓄積する期間は、図２０ではＨ０２〜Ｈ０９の期間であった。図２１では、発光装置１１２による発光の被写体からの反射光の画像への写りこみは極力抑えることが望ましい。そのため、期間Ｈ０６に行われる発光装置１１２による発光の直後にフォトダイオード３０１の電荷のリセットを行うことにより、電荷蓄積期間はＨ０７〜Ｈ０９のみとする。
【００９４】
瞳分割位相差検出方式の焦点検出が可能な図１６（ａ）の単位画素２００の電荷蓄積期間と、ＴＯＦ方式の焦点検出が可能な図１６（ｂ）の単位画素２００の電荷蓄積期間と、通常の撮像にのみ使用される図１６（ｃ）の単位画素２００の電荷蓄積期間は異なる。ＴＯＦ方式の焦点検出が可能な図１６（ｂ）の単位画素２００の電荷蓄積期間は、発光装置１１２が光を投射する期間を含む。通常の撮像にのみ使用される図１６（ｃ）の単位画素２００の電荷蓄積期間は、発光装置１１２が光を投射する期間を含まない。
【００９５】
以上のように、図１６（ａ）の単位画素２００の行、図１６（ｃ）の単位画素２００の行、図１６（ｂ）の単位画素２００の行について、それぞれ異なるタイミングでフォトダイオード３０１の電荷のリセットを行う。これにより、異なる方式の距離測定の精度向上及び適切な撮像画像取得を同時に行うことができる。
【００９６】
（第３の実施形態）
次に、本発明の第３の実施形態による撮像装置について説明する。第３の実施形態は、焦点検出方式に依らず、すべての単位画素２００の構成が同じであり、単位画素２００の駆動方法を異ならせることで、複数の焦点検出方式を実現するものである。
【００９７】
図２２は、撮像素子１０３及びマイクロレンズ１０２０を図１の光軸Ｚ方向から観察した図である。１つのマイクロレンズ１０２０に対応して、１つの単位画素２００が設けられる。撮像素子１０３は、８×８＝６４個の単位画素２００を有する。各単位画素２００は、それぞれＸ座標とＹ座標のアドレスをもって、（Ｘ，Ｙ）と表記する。すべての単位画素２００は、相互に、構成が同じであり、１つのマイクロレンズ１０２０に対して２つの分割画素２０１Ａ及び２０１Ｂを有する。２つの分割画素２０１Ａ及び２０１Ｂで構成される単位画素２００は、各行毎に、通常の撮像、瞳分割位相差検出方式の焦点検出、ＴＯＦ方式の焦点検出のいずれかに使用される。
【００９８】
図２４は、単位画素２００の構成例を示す回路図である。単位画素２００は、第１のフォトダイオード３０１Ｆ及び第２のフォトダイオード３０１Ｇを有する。第１のフォトダイオード３０１Ｆには、２つの転送スイッチ３０２Ｆ及び３０２Ｈが接続される。第２のフォトダイオード３０２Ｇには、２つの転送スイッチ３０２Ｇ及び３０２Ｊが接続される。転送スイッチ３０２Ｆ、３０２Ｇ、３０２Ｈ、３０２Ｊには、それぞれ、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊが接続される。フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊには、それぞれ、リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊとソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊが接続される。ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊには、それぞれ、セレクトスイッチ３０６Ｆ、３０６Ｇ、３０６Ｈ、３０６Ｊが接続される。リセットスイッチ３０４Ｆと３０４Ｇ及びソースフォロアアンプ３０５Ｆと３０５Ｇのドレインは、基準電位（ＶＤＤ）ノード３０８を共有している。リセットスイッチ３０４Ｈと３０４Ｊ及びソースフォロアアンプ３０５Ｈと３０５Ｊのドレインは、基準電位ノード３０８を共有している。
【００９９】
フォトダイオード３０１Ｆ及び３０１Ｇは、同一のマイクロレンズ１０２０を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ３０２Ｆは、転送パルス信号ＰＴＸＦに応じて、フォトダイオード３０１Ｆで発生した電荷をフローティングディフュージョン３０３Ｆに転送する。転送スイッチ３０２Ｈは、転送パルス信号ＰＴＸＨに応じて、フォトダイオード３０１Ｆで発生した電荷をフローティングディフュージョン３０３Ｈに転送する。転送スイッチ３０２Ｇは、転送パルス信号ＰＴＸＧに応じて、フォトダイオード３０１Ｇで発生した電荷をフローティングディフュージョン３０３Ｇに転送する。転送スイッチ３０２Ｊは、転送パルス信号ＰＴＸＪに応じて、フォトダイオード３０１Ｇで発生した電荷をフローティングディフュージョン３０３Ｊに転送する。フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊは、電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部である。
【０１００】
リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊは、それぞれ、リセットパルス信号ＰＲＥＳに応じて、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊの電位を基準電位ノード３０８の電位にリセットする。ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊは、それぞれ、ＭＯＳトランジスタと基準電位ＶＤＤ３０８からなるソースフォロア回路である。ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊは、それぞれ、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊに保持した電荷に基づく電圧を増幅して、画素信号として出力する。
【０１０１】
セレクトスイッチ３０６Ｆ、３０６Ｇ、３０６Ｈ、３０６Ｊは、セレクトパルス信号ＰＳＥＬに応じて、ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊで増幅された画素信号を垂直出力線３０７Ｆ、３０７Ｇ、３０７Ｈ、３０７Ｊに出力する。垂直出力線３０７Ｆ、３０７Ｇ、３０７Ｈ、３０７Ｊは、図２５に示すように、同じの列の複数の単位画素２００で共有される。
【０１０２】
図２３は、単位画素２００のレイアウト図である。フォトダイオード３０１Ｆの両端には、２つの転送スイッチ３０２Ｆ及び３０２Ｈが接続される。転送スイッチ３０２Ｆはフローティングディフュージョン３０３Ｆに接続され、転送スイッチ３０２Ｈはフローティングディフュージョン３０３Ｈに接続される。フォトダイオード３０１Ｇの両端には、２つの転送スイッチ３０２Ｇ及び３０２Ｊが接続される。転送スイッチ３０２Ｇはフローティングディフュージョン３０３Ｇに接続され、転送スイッチ３０２Ｊはフローティングディフュージョン３０３Ｊに接続される。
【０１０３】
図２５は、撮像素子１０３、垂直シフトレジスタ４０１、列回路４０３、水平シフトレジスタ４０４及び出力アンプ４０７の構成例を示す図である。本実施形態（図２５）が第１の実施形態（図７）と同様の構成要素については、説明を省略する。撮像素子１０３は、複数の単位画素２００が行列状に配置されている。単位画素２００内のフローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊでの電荷に基づく信号は、それぞれ、垂直出力線３０７Ｆ、３０７Ｇ、３０７Ｈ、３０７Ｊを通り、列回路４０３に入力される。列回路４０３で処理された信号は、水平シフトレジスタ４０４により、水平出力線４０５及び４０６を通り、出力アンプ４０７に転送される。
【０１０４】
図２６は、図８に対応し、撮像装置の第１の駆動方法を示すタイミングチャートである。第１の駆動方法は、通常撮影及び瞳分割位相差検出方式焦点検出における画素信号読み出しを行うための駆動方法である。第１の駆動方法では、２つのフォトダイオード３０１Ｆ及び３０１Ｇで発生した電荷をそれぞれフローティングディフュージョン３０３Ｆ及び３０３Ｇに転送する。
【０１０５】
始めに、期間ＨＢＬＫにおいて、時刻ｔ０では、信号ＰＲＥＳがハイレベルであり、リセットスイッチ３０４Ｆ及び３０４Ｇがオンし、フローティングディフュージョン３０３Ｆ及び３０３Ｇがリセットされる。時刻ｔ１では、信号ＰＴＸＦ及びＰＴＸＧがハイレベルになり、転送スイッチ３０２Ｆ及び３０２Ｇがオンし、フォトダイオード３０１Ｆ及び３０１Ｇがリセットされる。時刻ｔ２では、信号ＰＴＸＦ及びＰＴＸＧがローレベルになり、転送スイッチ３０２Ｆ及び３０２Ｇがオフし、フォトダイオード３０１Ｆ及び３０１Ｇの電荷蓄積が開始する。ここで、リセットのためにオン／オフする転送スイッチは、電荷蓄積後に、電荷転送に用いるものに限らず、この例では信号ＰＴＸＨ及びＰＴＸＪによる転送スイッチ３０２Ｈ及び３０２Ｊを使用してもよい。
【０１０６】
その後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ｆ及び３０６Ｇがオンし、ソースフォロアアンプ３０５Ｆ及び３０５Ｇが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ｆ及び３０４Ｇがオフし、フローティングディフュージョン３０３Ｆ及び３０３Ｇのリセットが解除される。ソースフォロアアンプ３０５Ｆ及び３０５Ｇは、それぞれ、フローティングディフュージョン３０３Ｆ及び３０３Ｇの電荷に基づく電圧をリセット信号レベル（ノイズ成分）として、垂直出力線３０７Ｆ及び３０７Ｇを介して列回路４０３に出力する。時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０のリセット状態が解除される。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号がリセット信号レベルとして容量４１４に書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。
【０１０７】
次に、時刻ｔ８では、信号ＰＴＸＦ及びＰＴＸＧがハイレベルになり、転送スイッチ３０２Ｆ及び３０２Ｇがオンし、フォトダイオード３０１Ｆ及び３０１Ｇに蓄積された電荷がフローティングディフュージョン３０３Ｆ及び３０３Ｇにそれぞれ転送される。時刻ｔ１０では、信号ＰＴＸＦ及びＰＴＸＧがローレベルになり、転送スイッチ３０２Ｆ及び３０２Ｇがオフし、フォトダイオード３０１Ｆ及び３０１Ｇからフローティングディフュージョン３０３Ｆ及び３０３Ｇへの電荷転送が終了する。ソースフォロアアンプ３０５Ｆ及び３０５Ｇは、それぞれ、フローティングディフュージョン３０３Ｆ及び３０３Ｇ電荷に基づく電圧を光信号レベル（光成分＋ノイズ成分）として、垂直出力線３０７Ｆ及び３０７Ｇを介して列回路４０３に出力する。時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号が光信号レベルとして容量４１３に書き込まれる。オペアンプ４１０は、クランプ容量４０８及びフィードバック容量４０９の比に応じた反転ゲインで増幅出力する。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ｆ及び３０４Ｇがオンし、フローティングディフュージョン３０３Ｆ及び３０３Ｇがリセット状態になる。
【０１０８】
次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、水平シフトレジスタ４０４は、各列の列回路４０３毎に順次、ハイレベルパルスの信号ＰＨＳ及びＰＨＮを出力する。すると、各列の列回路４０３のスイッチ４１７及び４１８は、順次オンし、各列の列回路４０３の容量４１３及び４１４に保持された信号はそれぞれ水平出力線４０５及び４０６に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を差動信号レベル（光成分）として出力する。
【０１０９】
この後、通常撮影として駆動される場合、画像処理回路１０６は、フォトダイオード３０１Ｆ及び３０１Ｇの電荷に基づく信号を加算して撮影画像としてもよい。一方、瞳分割位相差検出の場合、画像処理回路１０６は、前述したＡ像及びＢ像に対する相関演算を施し、距離情報を取得する。また、この場合も、画像処理回路１０６は、距離情報取得後に、Ａ像及びＢ像の信号を加算してもよい。
【０１１０】
なお、図２６のタイミングチャートでは、Ｆ及びＧの組み合わせを用いたが、Ｆ及びＪまたはＧ及びＨといった組み合わせを用いることもできる。それは、水平転送や後段の処理回路等の仕様に応じて適宜決められる。
【０１１１】
図２７は、図１０に対応し、撮像装置の第３の駆動方法を示すタイミングチャートである。第３の駆動方法は、ＴＯＦ方式焦点検出における画素信号読み出しを行うための駆動方法である。第３の駆動方法では、フォトダイオード３０１Ｆに加えて、フォトダイオード３０１Ｇも同時に使用して読み出す。
【０１１２】
始めに、期間ＨＢＬＫにおいて、時刻ｔ０では、信号ＰＲＥＳがハイレベルであり、リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊがオンし、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊがリセットされる。時刻ｔ１では、信号ＰＴＸＦ、ＰＴＸＧ、ＰＴＸＨ、ＰＴＸＪがハイレベルになり、転送スイッチ３０２Ｆ、３０２Ｇ、３０２Ｈ、３０２Ｊがオンし、フォトダイオード３０１Ｆ及び３０１Ｇがリセットされる。時刻ｔ２では、信号ＰＴＸＦ、ＰＴＸＧ、ＰＴＸＨ、ＰＴＸＪがローレベルになり、転送スイッチ３０２Ｆ、３０２Ｇ、３０２Ｈ、３０２Ｊがオフし、フォトダイオード３０１Ｆ及び３０１Ｇの電荷蓄積が開始する。
【０１１３】
その後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ｆ、３０６Ｇ、３０６Ｈ、３０６Ｊがオンし、ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊがオフし、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊのリセットが解除される。ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊは、それぞれ、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊの電荷に基づく電圧をリセット信号レベル（ノイズ成分）として、列回路４０３に出力する。その電圧は、垂直出力線３０７Ｆ、３０７Ｇ、３０７Ｈ、３０７Ｊを介して、列回路４０３に出力される。時刻ｔ５では、信号ＰＣ０Ｒがローレベルになり、スイッチ４１２がオフし、オペアンプ４１０のリセット状態が解除される。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号がリセット信号レベルとして容量４１４に書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。
【０１１４】
次に、時刻ｔ８では、信号ＰＴＸＦ及びＰＴＸＧがハイレベルになり、転送スイッチ３０２Ｆ及び３０２Ｇがオンし、フォトダイオード３０１Ｆ及び３０１Ｇに蓄積された電荷がフローティングディフュージョン３０３Ｆ及び３０３Ｇに転送開始する。その後、時刻ｔ９では、信号ＰＬＩＧＨＴがハイレベルになり、発光装置１１２はパルス光の投射を開始する。時刻ｔ１０では、信号ＰＴＸＦ及びＰＴＸＧがローレベルになり、信号ＰＴＸＨ及びＰＴＸＪがハイレベルになり、転送スイッチ３０２Ｆ及び３０２Ｇがオフし、転送スイッチ３０２Ｈ及び３０２Ｊがオンする。すると、フォトダイオード３０１Ｆ及び３０１Ｇからフローティングディフュージョン３０３Ｆ及び３０３Ｇへの電荷転送が終了し、フォトダイオード３０１Ｆ及び３０１Ｇからフローティングディフュージョン３０３Ｈ及び３０３Ｊへの電荷転送が開始する。時刻ｔ１１では、信号ＰＬＩＧＨＴがローレベルになり、発光装置１１２はパルス光の投射を終了する。時刻ｔ１２では、信号ＰＴＸＨ及びＰＴＸＪがローレベルになり、転送スイッチ３０２Ｈ及び３０２Ｊがオフし、フォトダイオード３０１Ｆ及び３０１Ｇからフローティングディフュージョン３０３Ｈ及び３０３Ｊへの電荷転送が終了する。
【０１１５】
ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊは、それぞれ、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊの電荷に基づく電圧を光信号レベル（光成分＋ノイズ成分）として、列回路４０３に出力する。その電圧は、垂直出力線３０７Ｆ、３０７Ｇ、３０７Ｈ、３０７Ｊを介して、列回路４０３に出力される。時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号が光信号レベルとして容量４１３に書き込まれる。オペアンプ４１０は、クランプ容量４０８及びフィードバック容量４０９の比に応じた反転ゲインで増幅出力する。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊがオンし、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊがリセット状態になる。
【０１１６】
次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、水平シフトレジスタ４０４は、各列の列回路４０３毎に順次、ハイレベルパルスの信号ＰＨＳ及びＰＨＮを出力する。すると、各列の列回路４０３のスイッチ４１７及び４１８は、順次オンし、各列の列回路４０３の容量４１３及び４１４に保持された信号はそれぞれ水平出力線４０５及び４０６に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を差動信号レベル（光成分）として出力する。
【０１１７】
図２８は、図１９に対応し、撮像装置の第４の駆動方法を示すタイミングチャートである。第４の駆動方法は、通常の撮像にのみ使用される単位画素２００からの画素信号読み出しを行うための駆動方法である。
【０１１８】
始めに、期間ＨＢＬＫにおいて、時刻ｔ０では、信号ＰＲＥＳがハイレベルであり、リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊがオンし、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊがリセットされる。時刻ｔ１では、信号ＰＴＸＦ、ＰＴＸＧ、ＰＴＸＨ、ＰＴＸＪがハイレベルになり、転送スイッチ３０２Ｆ、３０２Ｇ、３０２Ｈ、３０２Ｊがオンし、フォトダイオード３０１Ｆ、３０１Ｇがリセットされる。時刻ｔ２では、信号ＰＴＸＦ、ＰＴＸＧ、ＰＴＸＨ、ＰＴＸＪがローレベルになり、転送スイッチ３０２Ｆ、３０２Ｇ、３０２Ｈ、３０２Ｊがオフし、フォトダイオード３０１Ｆ、３０１Ｇの電荷蓄積が開始する。
【０１１９】
その後、時刻ｔ３では、信号ＰＳＥＬがハイレベルになり、セレクトスイッチ３０６Ｆ、３０６Ｇ、３０６Ｈ、３０６Ｊがオンし、ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊが動作状態になる。時刻ｔ４では、信号ＰＲＥＳがローレベルになり、リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊがオフし、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊのリセットが解除される。ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊは、それぞれ、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊの電荷に基づく電圧をリセット信号レベル（ノイズ成分）として、列回路４０３に出力する。その電圧は、垂直出力線３０７Ｆ、３０７Ｇ、３０７Ｈ、３０７Ｊを介して、列回路４０３に出力される。時刻ｔ５では、信号ＰＣ０Ｒがローレベルであり、スイッチ４１２がオフし、オペアンプ４１０のリセット状態が解除される。時刻ｔ６では、信号ＰＴＮがハイレベルになり、スイッチ４１６がオンし、オペアンプ４１０の出力信号がリセット信号レベルとして容量４１４に書き込まれる。時刻ｔ７では、信号ＰＴＮがローレベルになり、スイッチ４１６がオフし、容量４１４への書き込みが終了する。
【０１２０】
次に、時刻ｔ８では、信号ＰＴＸＦ、ＰＴＸＧ、ＰＴＸＨ、ＰＴＸＪがハイレベルになり、転送スイッチ３０２Ｆ、３０２Ｇ、３０２Ｈ、３０２Ｊがオンする。すると、フォトダイオード３０１Ｆ、３０１Ｇに蓄積された電荷がフローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊに転送される。時刻ｔ１０では、信号ＰＴＸＦ、ＰＴＸＧ、ＰＴＸＨ、ＰＴＸＪがローレベルになり、転送スイッチ３０２Ｆ、３０２Ｇ、３０２Ｈ、３０２Ｊがオフする。すると、フォトダイオード３０１Ｆ、３０１Ｇからフローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊへの電荷転送が終了する。ソースフォロアアンプ３０５Ｆ、３０５Ｇ、３０５Ｈ、３０５Ｊは、それぞれ、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊの電荷に基づく電圧を光信号レベル（光成分＋ノイズ成分）として、列回路４０３に出力する。その電圧は、垂直出力線３０７Ｆ、３０７Ｇ、３０７Ｈ、３０７Ｊを介して、列回路４０３に出力される。時刻ｔ１３では、信号ＰＴＳがハイレベルになり、スイッチ４１５がオンし、オペアンプ４１０の出力信号が光信号レベルとして容量４１３に書き込まれる。オペアンプ４１０は、クランプ容量４０８及びフィードバック容量４０９の比に応じた反転ゲインで増幅出力する。時刻ｔ１４では、信号ＰＴＳがローレベルになり、スイッチ４１５がオフし、容量４１３への書き込みが終了する。その後、時刻ｔ１５では、信号ＰＲＥＳがハイレベルになり、リセットスイッチ３０４Ｆ、３０４Ｇ、３０４Ｈ、３０４Ｊがオンし、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊがリセット状態になる。
【０１２１】
次に、期間ＨＳＲにおいて、時刻ｔ１６〜ｔ１７では、水平シフトレジスタ４０４は、各列の列回路４０３毎に順次、ハイレベルパルスの信号ＰＨＳ及びＰＨＮを出力する。すると、各列の列回路４０３のスイッチ４１７及び４１８は、順次オンし、各列の列回路４０３の容量４１３及び４１４に保持された信号はそれぞれ水平出力線４０５及び４０６に出力される。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分を差動信号レベル（光成分）として出力する。
【０１２２】
この後、通常撮影として駆動するために、画像処理回路１０６は、フローティングディフュージョン３０３Ｆ、３０３Ｇ、３０３Ｈ、３０３Ｊの電荷に基づく信号を加算して撮影画像として使用する。
【０１２３】
以上のように、本実施形態では、単位画素２００が全て同一の構成でありながら、単位画素２００からの信号読み出し駆動方法を変える。これにより、瞳分割位相差検出方式の焦点検出を行う単位画素の行、通常の撮像にのみ使用される単位画素の行、ＴＯＦ方式の焦点検出を行う単位画素の行のいずれかの駆動方法を各行毎に選択することが可能となる。１つの撮像素子１０３を用いて複数の焦点検出方式を自由に実現可能とする。これにより、撮影環境や被写体の状態によらず、適切な焦点検出を行うことができる。
【０１２４】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１２５】
１００  撮像装置、１０３  撮像素子、１０６  画像処理回路、１１２  発光装置、２００  単位画素
【図１】
0006452354.tif 000002
【図２】
0006452354.tif 000003
【図３】
0006452354.tif 000004
【図４】
0006452354.tif 000005
【図５】
0006452354.tif 000006
【図６】
0006452354.tif 000007
【図７】
0006452354.tif 000008
【図８】
0006452354.tif 000009
【図９】
0006452354.tif 000010
【図１０】
0006452354.tif 000011
【図１１】
0006452354.tif 000012
【図１２】
0006452354.tif 000013
【図１３】
0006452354.tif 000014
【図１４】
0006452354.tif 000015
【図１５】
0006452354.tif 000016
【図１６】
0006452354.tif 000017
【図１７】
0006452354.tif 000018
【図１８】
0006452354.tif 000019
【図１９】
0006452354.tif 000020
【図２０】
0006452354.tif 000021
【図２１】
0006452354.tif 000022
【図２２】
0006452354.tif 000023
【図２３】
0006452354.tif 000024
【図２４】
0006452354.tif 000025
【図２５】
0006452354.tif 000026
【図２６】
0006452354.tif 000027
【図２７】
0006452354.tif 000028
【図２８】
0006452354.tif 000029