(57)【要約】【課題】画素ごとに１ｂｉｔ型ＡＤ変換器とカウンタとを有する撮像装置において、回路規模と消費電力の増加を抑制する。【解決手段】１つのマイクロレンズと、光の入射を受けてパルス信号を発生する少なくとも１つの受光部とを有する単位画素が複数配列された撮像素子を備える撮像装置であって、単位画素が、複数の受光部のパルス信号をカウントすることが可能なカウント手段を有する。【選択図】  図１
2020127122.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズと、光の入射を受けてパルス信号を発生する少なくとも１つの受光部とを有する単位画素が複数配列された撮像素子を備える撮像装置であって、
前記単位画素が、
複数の前記受光部のパルス信号をカウントすることが可能なカウント手段を有することを特徴とする撮像装置。
【請求項２】
前記カウント手段は、前記単位画素に配置された複数の受光部のうちの全ての受光部のパルス信号をカウントする第１のカウンタを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記カウント手段は、前記単位画素に配置された複数の受光部のうちの一部の受光部のパルス信号をカウントする第２のカウンタをさらに有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第１のカウンタにおいてカウントしたカウント値から、前記第２のカウンタにおいてカウントしたカウント値を減算する減算手段をさらに備えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１のカウンタにおいてカウントしたカウント値から記録、表示用の画像を生成する画像生成手段をさらに備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第２のカウンタにおいてカウントしたカウント値と、前記減算手段において得られたカウント値とを用いて焦点検出を行う焦点検出手段をさらに備えることを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記単位画素は、２つの受光部を有し、前記第１のカウンタは前記２つの受光部のパルス信号をカウントし、前記第２のカウンタは前記２つの受光部のうちいずれか一方のパルス信号をカウントすることを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記単位画素は、４つの受光部を有し、前記第１のカウンタは前記４つの受光部のパルス信号をカウントし、前記第２のカウンタは、前記４つの受光部のうちのいずれか２つのパルス信号をカウントすることを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
【請求項９】
前記第２のカウンタは焦点検出を行う領域に位置する前記単位画素のみに配置されていることを特徴とする請求項３乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記カウント手段は、複数の前記受光部にそれぞれ対応する第３のカウンタと、該第３のカウンタのカウント値を加算する加算手段とを有することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記カウント手段は、前記加算手段に複数の前記受光部のうちのいずれの受光部に対応する前記第３のカウンタのカウント値を入力するかを選択する選択手段をさらに有することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記選択手段は、撮像モードに応じて、前記加算手段に複数の前記受光部のうちのいずれの受光部に対応する前記第３のカウンタのカウント値を入力するかを選択することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮像モードは、撮像素子の駆動モード、あるいは撮像素子からの焦点検出画像の読み出しモード、撮像画像の読み出しモードであることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記選択手段は、前記加算手段に、隣接する同色の単位画素の受光部に対応する前記第３のカウンタのカウント値を入力することを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１５】
前記選択手段は、前記加算手段に、ゼロ値を入力することを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１６】
前記カウント手段は、複数の前記受光部のパルス信号をカウントする第１のカウンタ部と、複数の前記受光部のうちの一部の受光部のパルス信号をカウントする第２のカウンタ部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項１７】
前記第１のカウンタ部は、第１の比較器と第１のカウンタとを有し、前記第２のカウンタ部は、第２の比較器と第２のカウンタとを有することを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記第１のカウンタと前記第２のカウンタの両方の信号を出力する第１のモードと、前記第１のカウンタのみの信号を出力する第２のモードとを有することを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
前記第１のカウンタのビット長が前記第２のカウンタのビット長より長いことを特徴とする請求項１７または１８に記載の撮像装置。
【請求項２０】
前記第１のカウンタの出力信号と前記第２のカウンタの出力信号を加算する信号処理部をさらに備えることを特徴とする請求項１７乃至１９のいずれか１項に記載の撮像装置。
【請求項２１】
前記第２のモードでは、第２のカウンタ部に対応する受光部、前記第２の比較器、前記第２のカウンタのうちの少なくとも一つを停止させることを特徴とする請求項１８に記載の撮像装置。
【請求項２２】
前記第１のカウンタと前記第２のカウンタとを接続し、前記第１及び第２のカウンタの合計のビット数の信号を出力する第３のモードをさらに備えることを特徴とする請求項１７乃至２１のいずれか１項に記載の撮像装置。
【請求項２３】
前記第１のモードは、非画素混合モードであり、前記第２のモードは画素混合モードであることを特徴とする請求項１８に記載の撮像装置。
【請求項２４】
前記第１のカウンタの出力信号から前記第２のカウンタの出力信号を減算する信号処理手段をさらに備えることを特徴とする請求項１７乃至２３のいずれか１項に記載の撮像装置。
【請求項２５】
前記第１のカウンタ部に対応する受光部からの信号が前記第１のカウンタ部でカウントされる時刻と、前記第２のカウンタ部に対応する受光部からの信号が前記第１及び第２のカウンタ部でカウントされる時刻が異なるようにタイミングを制御するタイミング制御手段をさらに備えることを特徴とする請求項１６乃至２４のいずれか１項に記載の撮像装置。
【請求項２６】
前記受光部と前記第１及び第２の比較器とはそれぞれ異なる第１の基板と第２の基板に配置されていることを特徴とする請求項１７乃至２４のいずれか１項に記載の撮像装置。
【請求項２７】
前記受光部は、アバランシェフォトダイオードであることを特徴とする請求項１乃至２６のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において受光素子の信号を加算する技術に関するものである。
【背景技術】
【０００２】
従来より、撮像装置のＡＦ（オートフォーカス）方式として１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により、瞳分割像を取得し、得られた２つの瞳分割像の位相差を求めて焦点検出を行う技術が知られている。
【０００３】
例えば、特許文献１では瞳分離した像から位相差を求めて焦点検出を行うと同時に、同一マイクロレンズに対応した画素を全て加算して１つの画素として取り扱うことが開示されている。これにより従来の撮像素子配列と同じになるように信号を取り出し、従来の信号処理技術により観賞用の画像を作成する。
【０００４】
さらに特許文献２では、このような撮像素子の信号読み出し方法として、第１の動作で瞳分割されたフォトダイオード２画素のうち第１画素信号を読み出し、第２の動作でリセットせずに第２画素を加算して読み出すことが開示されている。そして、第２画素信号は加算信号から第１画素信号を減算して求める。なお、設定された焦点検出領域のみ第１画素信号と第２画素信号の両方を読み出し、それ以外は第２画素信号のみを読み出すように必要最小限のデータを伝送することが可能であることも開示されている。これにより、高解像度、高速連写、動画フレームレートの向上といった性能向上の要求に対応することもできる。
【０００５】
ところで、特許文献３では、画素毎に１ｂｉｔ型ＡＤ変換器とカウンタとを有する固体撮像素子が提案されている。受光素子の信号に対し画素毎にＡＤ変換を行うため、列毎にＡＤ変換を行う固体撮像素子の持つ走査線数とフレームレートのトレードオフを解消することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１３４３８９号公報
【特許文献２】特開２０１３−１０６１９４号公報
【特許文献３】特開２０１５−１７３４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献に開示された従来技術では、以下のような問題が発生する。
【０００８】
１ｂｉｔ型ＡＤ変換器とカウンタとを有する撮像装置において、特許文献２に開示されているように、設定された焦点検出領域のみ第１画素信号のカウント値と第２画素信号のカウント値の両方を読み出す場合を考える。この場合、設定された焦点検出領域以外の領域にも第１画素信号のカウンタと、第２画素信号のカウンタとを配置すると回路規模が増大する。また、設定された焦点検出領域以外の領域において、第１画素信号のカウンタと、第２画素信号のカウンタとを駆動させると消費電力が増大する。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、画素ごとに１ｂｉｔ型ＡＤ変換器とカウンタとを有する撮像装置において、回路規模と消費電力の増加を抑制することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、１つのマイクロレンズと、光の入射を受けてパルス信号を発生する少なくとも１つの受光部とを有する単位画素が複数配列された撮像素子を備える撮像装置であって、前記単位画素が、複数の前記受光部のパルス信号をカウントすることが可能なカウント手段を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画素ごとに１ｂｉｔ型ＡＤ変換器とカウンタとを有する撮像装置において、回路規模と消費電力の増加を抑制することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態の撮像装置における単位画素の構成を示す図。
【図２】本発明の第１の実施形態における画素部を示す図。
【図３Ａ】第１の実施形態における焦点検出用ラインの単位画素の動作を示すタイミングチャート。
【図３Ｂ】第１の実施形態における非焦点検出用ラインの単位画素の動作を示すタイミングチャート。
【図４】第１の実施形態における瞳分割方式による焦点検出の原理を説明する図。
【図５】第１の実施形態における固体撮像素子の構成を示す図。
【図６】第１の実施形態における撮像装置の構成を示す図。
【図７】第２の実施形態の撮像装置における単位画素の構成を示す図。
【図８】第２の実施形態における画素部を示す図。
【図９】第２の実施形態における非焦点検出用ラインの単位画素の動作を示すタイミングチャート。
【図１０】第２の実施形態における固体撮像素子の構成を示す図。
【図１１】第２の実施形態における撮像装置の構成を示す図。
【図１２】第３の実施形態における撮像装置の単位画素の構成を示す図。
【図１３】第３の実施形態における画素部を示す図。
【図１４Ａ】第３の実施形態における焦点検出用ラインの単位画素の動作を示すタイミングチャート。
【図１４Ｂ】第３の実施形態における非焦点検出用ラインの単位画素の動作を示すタイミングチャート。
【図１５】第３の実施形態における瞳分割方式を説明する図。
【図１６】第３の実施形態における固体撮像素子の構成を示す図。
【図１７】第３の実施形態における撮像装置の構成を示す図。
【図１８】第４の実施形態における単位画素の構成を示す図。
【図１９】第４の実施形態における撮像素子の上面図。
【図２０】第４の実施形態における単位画素の動作を示すタイミングチャート。
【図２１】撮影レンズの射出瞳から出た光束が単位画素に入射する概念図。
【図２２】第４の実施形態における撮像装置の構成を示すブロック図。
【図２３】第４の実施形態における撮像素子の駆動モードと読出しデータを示す図。
【図２４】第４の実施形態におけるセレクタの遷移の様子を示す図。
【図２５】第５の実施形態における単位画素の構成を示す図。
【図２６】第５の実施形態における撮像素子の上面図。
【図２７】第６の実施形態における撮像装置の構成を示す図。
【図２８】第６の実施形態における撮像素子の構成を示す図。
【図２９】第６の実施形態における単位画素の構成を示す図。
【図３０】ガイガーモードの遷移を説明する模式図。
【図３１】第６の実施形態における単位画素の構成を示す図。
【図３２】フォトン入射時のパルス波形とカウント数を示す模式図。
【図３３】第６の実施形態の変形例における単位画素の構成を示す図。
【図３４】第７の実施形態における単位画素の構成を示す図。
【図３５】第８の実施形態における単位画素の構成を示す図。
【図３６】第９の実施形態における単位画素の構成を示す図。
【図３７】第１０の実施形態における電圧駆動の例を示す図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１４】
（第１の実施形態）
図１は、本発明の第１の実施形態の撮像装置における単位画素１００の構成を示す回路図である。図１を参照して、固体撮像素子の構成要素である単位画素１００の構成について説明する。
【００１５】
単位画素１００は、固体撮像素子に複数配列され、アバランシェフォトダイオード（以下、ＡＰＤとする）１０１Ａ，１０１Ｂ、クエンチ抵抗１０２Ａ，１０２Ｂ、波形整形回路１０３Ａ，１０３Ｂ、ＯＲ回路１０４ＡＢ、カウンタ１０５Ａ，１０５ＡＢを備えて構成される。
【００１６】
単位画素１００では、同一のマイクロレンズに対して受光素子としてのＡＰＤ１０１が２つ配置されている。そして、詳細は後述するが、マイクロレンズを透過してＡＰＤ１０１Ａが受光した光子の数をカウンタ１０５Ａでカウントすることにより、射出瞳の異なる２つの領域のうちの片方の信号を得ることが可能である。
【００１７】
また、ＡＰＤ１０１ＡとＡＰＤ１０１Ｂが受光する光子の数をカウンタ１０５ＡＢでカウントすることにより、表示用、記録用の信号を得る（画像生成する）ことが可能である。また、カウンタ１０５ＡＢのカウント値から、カウンタＡのカウント値を後段の回路において減算することにより、射出瞳の異なる２つの領域のうちのもう片方の信号を得ることが可能である。
【００１８】
続いて、単位画素の各々の構成要素に関して詳細に説明する。ＡＰＤ１０１Ａ，１０１Ｂは、クエンチ抵抗１０２Ａ，１０２Ｂを介して逆バイアス電圧ＶＡＰＤと接続されており、光子が入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗１０２Ａ，１０２Ｂを介して排出される。波形整形回路１０３Ａ，１０３Ｂは、光子の入射に応じた電荷の生成、排出による電位の変化に対し増幅、エッジ検出を行うことにより、電圧パルス（パルス信号）を生成する。このようにＡＰＤ１０１、クエンチ抵抗１０２、波形整形回路１０３は、光子の入射の有無を電圧パルスに変換することにより、１ｂｉｔ型ＡＤ変換器として機能する。
【００１９】
カウンタ１０５Ａには波形整形回路１０３Ａの出力がＰＬＳ＿Ａとして入力される。カウンタ１０５ＡＢには、波形整形回路１０３Ａの出力であるＰＬＳ＿Ａと、波形整形回路１０３Ｂの出力であるＰＬＳ＿Ｂが、ＯＲ回路１０４ＡＢを介して、ＰＬＳ＿ＡＢとして入力される。
【００２０】
このような構成により、カウンタ１０５Ａでは、射出瞳の異なる領域の片方の信号を得ることが可能である。カウンタ１０５ＡＢでは、射出瞳の異なる領域の両方の信号を加算した、表示用、記録用の画像を得ることが可能である。
【００２１】
ここで、後の説明の便宜上、ＡＰＤ１０１Ａ及びクエンチ抵抗１０２Ａにより生成される波形をＡＰＤ＿Ａとし、ＡＰＤ１０１Ｂ及びクエンチ抵抗１０２Ｂにより生成される波形をＡＰＤ＿Ｂとする。また、波形整形回路１０３Ａの出力をＰＬＳ＿Ａとし、ＯＲ回路１０４ＡＢの出力をＰＬＳ＿ＡＢとする。
【００２２】
続いて図２、図３Ａ、図３Ｂを参照して、単位画素１００の焦点検出用ライン２０１と非焦点検出用ライン２０２の駆動方法について説明する。
【００２３】
図２は、撮像素子において、単位画素１００が行列状に多数配置された画素部２００を示す図であり、焦点検出用ライン２０１と非焦点検出用ライン２０２を示している。図３Ａは、焦点検出用ライン２０１の単位画素１００の駆動を示すタイミングチャートである。
【００２４】
図３Ａは、１つの単位画素１００における撮像駆動を示しており、この駆動を複数の単位画素１００において並列して行うことにより、光学像がデジタル信号に変換される。図中、ＣＮＴ＿ＲＳＴ、ＣＮＴ＿ＥＮ＿Ａ、ＣＮＴ＿ＥＮ＿ＡＢは駆動信号であり、カウンタ１０５Ａ，１０５ＡＢの制御を行う。
【００２５】
ＣＮＴ＿ＲＳＴはＨｉｇｈレベル（以下、“Ｈ”とする）になることにより、カウンタ１０５Ａ，１０５ＡＢのカウント値を０にリセットする。また、ＣＮＴ＿ＥＮ＿Ａが“Ｈ”となる期間のみ、カウンタ１０５Ａはパルス数をカウントする。また、ＣＮＴ＿ＥＮ＿ＡＢが“Ｈ”となる期間のみ、カウンタ１０５ＡＢはパルス数をカウントする。ＣＮＴ＿Ａ及びＣＮＴ＿ＡＢはカウンタ１０５Ａ，１０５ＡＢのカウント値を表す。図３Ａでは説明を分かりやすくするため、ＣＮＴ＿Ａは０〜７の８段階でカウント値を表現している。ＣＮＴ＿ＡＢはＰＬＳ＿ＡとＰＬＳ＿ＢをＯＲ回路１０４ＡＢで加算したＰＬＳ＿ＡＢで制御しているため、ＣＮＴ＿Ａの２倍の、０〜１５の１６段階でカウント値を表現している。
【００２６】
続いてタイミングに沿って、単位画素１００の駆動について説明する。タイミングｔ３００では、ＣＮＴ＿ＲＳＴが“Ｈ”となりカウンタ１０５Ａ，１０５ＡＢのカウント値が０にリセットされる。
【００２７】
タイミングｔ３０１では、ＣＮＴ＿ＲＳＴがＬｏｗレベル（以下、“Ｌ”とする）になり、カウンタ１０５Ａ，１０５ＡＢのリセットが終了する。同時にＣＮＴ＿ＥＮ＿Ａ、及び、ＣＮＴ＿ＥＮ＿ＡＢが“Ｈ”となりカウンタ１０５Ａ，１０５ＡＢの電圧パルスのカウントが有効となる。これによりＡＰＤ１０１Ａ，１０１Ｂに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
【００２８】
タイミングｔ３０２では、ＡＰＤ１０１Ａに光子が入射したことにより、アバランシェ増倍された電荷が発生しＡＰＤ＿Ａの電位が変化する。クエンチ抵抗１０２Ａを介して電荷を排出するので、ＡＰＤ＿Ａが再び一定の電位になるまで時間がかかる。波形整形回路１０３Ａでは、ＡＰＤ＿Ａの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ１０５Ａに入力されるとともに、ＯＲ回路１０４ＡＢを介してカウンタ１０５ＡＢにも入力され、カウンタ１０５Ａ、カウンタ１０５ＡＢのカウント値が１となる。
【００２９】
タイミングｔ３０２〜ｔ３０３で、波形整形回路１０３Ａで生成された電圧パルスはカウンタ１０５Ａ、及び、カウンタ１０５ＡＢでカウントされ、波形整形回路１０３Ｂで生成された電圧パルスはカウンタ１０５ＡＢでカウントされる。
【００３０】
タイミングｔ３０３で、ＣＮＴ＿ＥＮ＿Ａ、及び、ＣＮＴ＿ＥＮ＿ＡＢが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ１０５Ａ，１０５ＡＢのカウント値を出力Ａ、出力ＡＢとして単位画素１００外へと出力する。図３Ａに示す駆動により、撮像期間内にＡＰＤ１０１Ａ，１０１Ｂに入射した光子の個数のカウントを行う。その結果、カウンタ１０５Ａでは、射出瞳の異なる領域の片方の信号を得ることが可能である。また、カウンタ１０５ＡＢでカウントすることにより、射出瞳の異なる領域の両方の信号を得ることが可能であり、表示用、記録用の信号を得ることが可能である。
【００３１】
図３Ｂは、非焦点検出用ライン２０２の単位画素１００の駆動を示すタイミングチャートである。図３Ｂは１つの単位画素１００における撮像駆動を示しており、この駆動を複数の単位画素１００において並列して行うことにより、光学像がデジタル信号に変換される。
【００３２】
タイミングｔ３０４では、ＣＮＴ＿ＲＳＴが“Ｈ”となりカウンタ１０５ＡＢのカウント値が０にリセットされる。後述するように、非焦点検出用ラインにおいては、単位画素１００のカウンタＡはカウントする必要がない。そのため、カウンタＡは消費電力の低減のために、クロックＧａｔｉｎｇ等によりクロックがＯＦＦされており、ＣＮＴ＿ＲＳＴが“Ｈ”となるかならないかに関わらず、値「０」（ゼロ値）をホールドしている。
【００３３】
タイミングｔ３０５では、ＣＮＴ＿ＲＳＴが“Ｌ”となり、カウンタ１０５ＡＢのリセットが終了する。ここで、カウンタのリセットの後も、ＣＮＴ＿ＥＮ＿Ａは“Ｌ”のままであり、カウンタ１０５Ａは消費電力低減のためのクロックＧａｔｉｎｇ等によりカウント動作が無効のままである。一方、ＣＮＴ＿ＥＮ＿ＡＢは“Ｈ”となりカウンタ１０５ＡＢの電圧パルスのカウントが有効となる。これによりＡＰＤ１０１Ａ，１０１Ｂに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
【００３４】
タイミングｔ３０６では、ＡＰＤ１０１Ａに光子が入射したことにより、アバランシェ増倍された電荷が発生し、ＡＰＤ＿Ａの電位が変化する。クエンチ抵抗１０２Ａを介して電荷を排出するので、ＡＰＤ＿Ａが再び一定の電位になるまで時間がかかる。波形整形回路１０３Ａでは、ＡＰＤ＿Ａの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ１０５Ａに入力されるとともに、ＯＲ回路１０４ＡＢを介してカウンタ１０５ＡＢにも入力され、カウンタ１０５ＡＢのカウント値が１となる。カウンタ１０５Ａは消費電力低減のためのクロックＧａｔｉｎｇ等によりカウント動作が無効のままでありカウントアップは行われない。
【００３５】
タイミングｔ３０６〜ｔ３０７では、波形整形回路１０３Ａ、及び、波形整形回路１０３Ｂで生成された電圧パルスはカウンタ１０５ＡＢでカウントされる。タイミングｔ３０７では、ＣＮＴ＿ＥＮ＿ＡＢが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ１０５ＡＢのカウント値を出力ＡＢとして単位画素１００外へと出力する。
【００３６】
図３Ｂに示す駆動により、撮像期間内にＡＰＤ１０１Ａ，１０１Ｂに入射した光子の個数のカウントを行う。一方、カウンタ１０５Ａは、クロックＧａｔｉｎｇ等により動作しない。そのため、消費電力の低減を実現することが可能である。また、カウンタ１０５ＡＢでカウントすることにより表示用、記録用の信号を得ることができる。
【００３７】
続いて図４を参照して、本実施形態における瞳分割方式による焦点検出の原理について説明する。図４は、撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。前述したように、単位画素１００にはＡＰＤ１０１Ａ及びＡＰＤ１０１Ｂが配置されている。
【００３８】
図４に示すように、射出瞳４００から出た光束は、光軸ＯＡを中心として、マイクロレンズ４０１とカラーフィルタ４０２を通して単位画素１００に入射する。射出瞳４００から単位画素１００までの距離を瞳距離とする。射出瞳４００の一部の領域を示す瞳領域４０３Ａと瞳領域４０３Ｂを通過する光束は、それぞれＡＰＤ１０１ＡとＡＰＤ１０１Ｂに入射する。したがって、ＡＰＤ１０１ＡとＡＰＤ１０１Ｂは、それぞれ撮影レンズの射出瞳の異なる領域の光を受光している。これにより、ＡＰＤ１０１Ａの信号とＡＰＤ１０１Ｂの信号を比較することで、位相差の検知が可能となる。
【００３９】
続いて図５を用いて、本実施形態における固体撮像素子の構成について説明する。図５は、固体撮像素子５００の構成を示す回路図である。
【００４０】
固体撮像素子５００は、単位画素１００が行列状に多数配置された画素部２００と、出力制御回路５０１、信号処理回路５０２、タイミング制御回路５０３を備えて構成される。
【００４１】
出力制御回路５０１には、画素部２００に配置された単位画素１００の出力Ａ、出力ＡＢがそれぞれ入力され、信号処理回路５０２に出力する単位画素１００の信号を選択及び制御する。信号処理回路５０２は、焦点検出用ライン２０１については、単位画素１００の出力Ａと、出力ＡＢとを固体撮像素子４００の外部へ出力する。非焦点検出用ライン２０２については、カウンタ１０５ＡはクロックＧａｔｉｎｇ等により動作させずに、出力ＡＢのみ固体撮像素子４００の外部へ出力する。
【００４２】
タイミング制御回路５０３は、画素部２００に駆動信号を出力する他、出力制御回路５０１、信号処理回路５０２の駆動タイミングを制御する。カウンタ１０５Ａに関して、このような駆動とすることにより、消費電力を低減することが可能となる。
【００４３】
続いて、図６を参照して、固体撮像素子５００を用いた撮像装置の構成について説明する。
【００４４】
固体撮像素子５００は、撮影レンズ６０２により結像された光学像を電気信号に変換する。レンズ制御部６０１は全体制御演算部６０３の指示に応じて、撮影レンズ６０２に対してフォーカス駆動、及び絞り駆動を行う。
【００４５】
全体制御演算部６０３は、固体撮像素子５００の制御、固体撮像素子５００から出力された信号の補正及び現像を含む、撮像装置全体の制御を行う。更には、固体撮像素子５００内の画素部２００を焦点検出用ライン２０１として駆動させるか、消費電力を低減させるための、非焦点検出用ライン２０２として駆動させるかを決定する。
【００４６】
全体制御演算部６０３は、焦点検出用ライン２０１として駆動させた複数の単位画素１００の出力Ａの信号と、出力ＡＢから出力Ａを減算した信号とから位相差検出を行う。その検出結果に応じてレンズ制御部６０１にフォーカス駆動の制御量を通信する。
【００４７】
メモリ部６０４は画像データを一時的に保存し、表示部６０５は各種情報や撮影画像の表示を行う。操作部６０６は撮像装置の各種インターフェースであり、操作部６０６の信号を用いて、全体制御演算部６０３は各ブロックを制御する。記録部６０７は画像データの記録や読み出しを行うための、半導体メモリ等の着脱可能な記録部である。
【００４８】
このように、画素部２００内の単位画素１００において、焦点検出用ライン２０１については、カウンタ１０５Ａ、カウンタ１０５ＡＢを駆動させて、焦点検出に必要な画素値を取得する。その一方で、非焦点検出用ライン２０２においては、カウンタ１０５ＡをクロックＧａｔｉｎｇ等により動作させないことにより、消費電力を低減することが可能となる。
【００４９】
（第２の実施形態）
以下、本発明の第２の実施形態の撮像装置及びその駆動方法について説明する。なお、以下において、第１の実施形態と同一構成要素には同じ記号および符号を付しその説明を省略する。
【００５０】
図７を参照して、本実施形態における固体撮像素子の構成要素である単位画素７００の構成について説明する。図７は第２の実施形態における単位画素７００の構成を示す回路図である。
【００５１】
単位画素７００は、画素部２００の非焦点検出ライン８０２における画素の構成を示している。画素部２００の焦点検出ライン２０１における画素の構成は、図１に示した単位画素１００の構成で配置されている。
【００５２】
単位画素７００は、アバランシェフォトダイオード（以下、ＡＰＤとする）１０１Ａ，１０１Ｂ、クエンチ抵抗１０２Ａ，１０２Ｂ、波形整形回路１０３Ａ，１０３Ｂ、ＯＲ回路１０４ＡＢ、カウンタ１０５ＡＢを備えて構成されている。単位画素７００は、単位画素１００のようにカウンタ１０５Ａが配置されていないために、焦点検出用の画素としては使用できないが、より回路規模を小さく構成することができる。
【００５３】
続いて図８、図３Ａ、図９を参照して、単位画素７００からなる焦点検出用ライン２０１と非焦点検出用ライン８０２（図８参照）の駆動方法について説明する。
【００５４】
図８は、単位画素７００、及び、単位画素７００が行列状に多数配置された画素部８００を示しており、更には、焦点検出用ライン２０１は単位画素１００からなり、非焦点検出用ライン８０２は非焦点検出用画素７００からなることを示している。
【００５５】
図３Ａは、第１の実施形態と同じく、焦点検出用ライン２０１の単位画素１００の駆動を示すタイミングチャートである。図９は非焦点検出用ライン８０２の単位画素７００の駆動を示すタイミングチャートである。図９は１つの単位画素７００における撮像駆動を示しており、この駆動を複数の単位画素７００において並列して行うことにより、光学像をデジタル信号に変換する。
【００５６】
タイミングｔ９００では、ＣＮＴ＿ＲＳＴが“Ｈ”となりカウンタ１０５ＡＢのカウント値が０にリセットされる。
【００５７】
タイミングｔ９０１では、ＣＮＴ＿ＲＳＴが“Ｌ”となり、カウンタ１０５ＡＢのリセットが終了する。ＣＮＴ＿ＥＮ＿ＡＢは“Ｈ”となりカウンタ１０５ＡＢの電圧パルスのカウントが有効となる。これによりＡＰＤ１０１Ａ，１０１Ｂに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
【００５８】
タイミングｔ９０２では、ＡＰＤ１０１Ａに光子が入射したことによりアバランシェ増倍された電荷が発生し、ＡＰＤ＿Ａの電位が変化する。クエンチ抵抗１０２Ａを介して電荷を排出するので、ＡＰＤ＿Ａが再び一定の電位になるまで時間がかかる。波形整形回路１０３Ａでは、ＡＰＤ＿Ａの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはＯＲ回路１０４ＡＢを介してカウンタ１０５ＡＢに入力され、カウンタ１０５ＡＢのカウント値が１となる。タイミングｔ９０２〜ｔ９０３では、波形整形回路１０３Ａ、及び、波形整形回路１０３Ｂで生成された電圧パルスはカウンタ１０５ＡＢでカウントされる。タイミングｔ９０３で、ＣＮＴ＿ＥＮ＿ＡＢが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ１０５ＡＢのカウント値を出力ＡＢとして単位画素７００外へと出力する。
【００５９】
図９に示す駆動により、非焦点検出ライン８０２の単位画素７００において、撮像期間内にＡＰＤ１０１Ａ，１０１Ｂに入射した光子の個数のカウントを行う。また、図３Ａに示す駆動により、焦点検出ライン２０１の単位画素１００において、撮像期間内にＡＰＤ１０１Ａ，１０１Ｂに入射した光子の個数のカウントを行う。その結果、カウンタ１０５Ａでは、射出瞳の異なる領域の片方の信号を得ることが可能である。また、カウンタ１０５ＡＢでカウントすることにより表示用、記録用の信号を得ることが可能である。
【００６０】
このように、焦点検出ライン２０１にのみ、単位画素１００のように、カウンタＡ、及び、カウンタＡＢを配置して、非焦点検出ライン８０２には単位画素７００のように、カウンタＡを配置しない構成により、回路規模を低減させることが可能となる。一方、単位画素７００には、単位画素１００と同様に、カウンタ１０５ＡＢが配置されている。そのため、カウンタ１０５ＡＢでカウントすることにより表示用、記録用の信号を得ることが可能である。
【００６１】
続いて図１０を用いて、本実施形態における固体撮像素子の構成について説明する。図１０は本実施形態おける固体撮像素子１０００の構成を示す回路図である。
【００６２】
固体撮像素子１０００は、焦点検出ライン２０１には単位画素１００が行列状に多数配置され、非焦点検出ライン８０２には単位画素７００が配置されている。また、出力制御回路５０１、信号処理回路５０２、タイミング制御回路５０３を備えて構成される。
【００６３】
出力制御回路５０２には、画素部８００に配置された単位画素１００の出力Ａ、出力ＡＢがそれぞれ入力され、信号処理回路５０２に出力する単位画素１００、及び、単位画素７００の信号を選択及び制御する。信号処理回路５０２は、焦点検出用ライン２０１については、単位画素１００の出力Ａと、出力ＡＢとを固体撮像素子１０００の外部へ出力する。非焦点検出用ライン８０２については、出力ＡＢを固体撮像素子１０００の外部へ出力する。
【００６４】
タイミング制御回路５０３は、画素部８００に駆動信号を出力する他、出力制御回路５０１、信号処理回路５０２の駆動タイミングを制御する。固体撮像素子１０００に関して、このような画素の配置とすることにより、消費電力を低減することが可能となると共に、より回路規模の低減を図ることができる。
【００６５】
続いて、図１１を参照して、固体撮像素子１０００を用いた撮像装置の構成について説明する。
【００６６】
固体撮像素子１０００は、撮影レンズ６０２により結像された光学像を電気信号に変換する。レンズ制御部６０１は全体制御演算部１１０３の通信に応じて、撮影レンズ６０２に対してフォーカス駆動、及び絞り駆動を行う。
【００６７】
全体制御演算部１１０３は、固体撮像素子１０００の制御、固体撮像素子１０００から出力された信号の補正及び現像を含む、撮像装置全体の制御を行う。更には、固体撮像素子１０００内の画素部８００の焦点検出用ライン２０１と、回路規模の低減と消費電力の低減が実現された非焦点検出用ライン８０２とを駆動する。
【００６８】
全体制御演算部１１０３は、焦点検出用ライン２０１として駆動させた複数の単位画素１００の出力Ａの信号と、出力ＡＢから出力Ａを減算した信号とから位相差検出を行う。その検出結果に応じてレンズ制御部６０１にフォーカス駆動の制御量を通信する。
【００６９】
メモリ部６０４は画像データを一時的に保存し、表示部６０５は各種情報や撮影画像の表示を行う。操作部６０６は撮像装置の各種インターフェースであり、操作部６０６の信号を用いて、全体制御演算部１１０３は各ブロックを制御する。記録部６０７は画像データの記録や読み出しを行うための、半導体メモリ等の着脱可能な記録部である。
【００７０】
このように、画素部８００において、焦点検出用ライン２０１については、単位画素１００を配置して、カウンタ１０５Ａ、カウンタ１０５ＡＢを駆動させて、焦点検出に必要な画素値を取得する。一方で、非焦点検出用ライン８０２については、単位画素７００にカウンタＡ１０５を配置しないことにより、回路規模を低減でき、より消費電力を低減することが可能となる。
【００７１】
（第３の実施形態）
以下、本発明の第３の実施形態の撮像装置及びその駆動方法について説明する。なお、以下において、第１の実施形態と同一構成要素には同じ記号および符号を付しその説明を省略する。
【００７２】
図１２を参照して、本実施形態における固体撮像素子の構成要素である単位画素１２００の構成について説明する。図１２は第３の実施形態における単位画素１２００の構成を示す回路図である。
【００７３】
単位画素１２００は、アバランシェフォトダイオード（以下、ＡＰＤとする）１２０１Ａ，１２０１Ｂ，１２０１Ｃ，１２０１Ｄ、クエンチ抵抗１２０２Ａ，１２０２Ｂ，１２０２Ｃ，１２０２Ｄを備える。さらに、波形整形回路１２０３Ａ，１２０３Ｂ，１２０３Ｃ，１２０３Ｄ、ＯＲ回路１２０４ＡＢＣ、ＯＲ回路１２０４ＡＢＣＤ、カウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤ、セレクタＳＥＬ＿ＢＣも備える。
【００７４】
単位画素１２００には受光素子としてのＡＰＤ１２０１が４つ配置されている。そして、同一マイクロレンズを透過してＡＰＤ１２０１Ａが受光した光子数と、セレクタＳＥＬ＿ＢＣで選択されるＡＰＤ１２０１ＢもしくはＡＰＤ１２０１Ｃが受光した光子数とをカウンタ１２０５ＡＢＣでカウントする。これにより、射出瞳の異なる領域の片方の信号を得ることが可能である。
【００７５】
例えば、セレクタＳＥＬ＿ＢＣにより、ＡＰＤ１２０１Ｂが選択された場合、カウンタ１２０５ＡＢＣはＡＰＤ１２０１Ａと、ＡＰＤ１２０１Ｂとを加算した値をカウントする。一方で、例えば、セレクタＳＥＬ＿ＢＣにより、ＡＰＤ１２０１Ｃが選択された場合、カウンタ１２０５ＡＢＣはＡＰＤ１２０１Ａと、ＡＰＤ１２０１Ｃとを加算した値をカウントする。セレクタＳＥＬ＿ＢＣの制御については後述する。
【００７６】
また、ＡＰＤ１２０１Ａ、ＡＰＤ１２０１Ｂ、ＡＰＤ１２０１Ｃ、ＡＰＤ１２０１Ｄが受光する光子数をカウンタ１２０５ＡＢＣＤでカウントすることにより、表示用、記録用の信号を得ることが可能である。また、カウンタ１２０５ＡＢＣＤのカウント値から、カウンタ１２０５ＡＢＣのカウント値を後段の回路において減算することにより、射出瞳の異なる領域のもう片方の信号を得ることが可能である。
【００７７】
続いて各々の構成要素について詳細に説明する。ＡＰＤ１２０１Ａ，１２０１Ｂ，１２０１Ｃ，１２０１Ｄにはクエンチ抵抗１２０２Ａ，１２０２Ｂ，１２０２Ｃ，１２０２Ｄを介して逆バイアス電圧ＶＡＰＤが接続されており、光子が入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗１２０２Ａ，１２０２Ｂ，１２０２Ｃ，１２０２Ｄを介して排出される。波形整形回路１２０３Ａ，１２０３Ｂ，１２０３Ｃ，１２０３Ｄは、光子の入射に応じた電荷の生成、排出による電位の変化に対し増幅及びエッジ検出を行うことにより、電圧パルスを生成する。
【００７８】
このようにＡＰＤ１２０１、クエンチ抵抗１２０２、波形整形回路１２０３は、光子の入射の有無を電圧パルスに変換することにより、１ｂｉｔ型ＡＤ変換器として機能する。
【００７９】
カウンタ１２０５ＡＢＣには、波形整形回路１２０３Ａの出力であるＰＬＳ＿Ａと、波形整形回路１２０３Ｂの出力であるＰＬＳ＿Ｂ及び波形整形回路１２０３Ｃの出力であるＰＬＳ＿Ｃの一方とを加えたものが、ＰＬＳ＿ＡＢＣとして入力される。波形整形回路１２０３Ｂの出力であるＰＬＳ＿Ｂ、もしくは、波形整形回路１２０３Ｃの出力であるＰＬＳ＿Ｃのいずれが選択されるかは、焦点検出の方向により決定される。詳細は後述する。
【００８０】
カウンタ１２０５ＡＢＣＤには、波形整形回路１２０３Ａの出力であるＰＬＳ＿Ａと、波形整形回路１２０３Ｂの出力であるＰＬＳ＿Ｂと、波形整形回路１２０３Ｃの出力であるＰＬＳ＿Ｃと、波形整形回路１２０３Ｄの出力であるＰＬＳ＿Ｄとが、ＯＲ回路１２０４ＡＢＣＤを介して、ＰＬＳ＿ＡＢＣＤとして入力される。
【００８１】
このような構成により、カウンタ１２０５ＡＢＣでは、射出瞳の異なる領域のうちの片方の信号を得ることが可能である。カウンタ１２０５ＡＢＣＤでは、射出瞳の異なる領域の信号を加算した、表示用、記録用の画像を得ることが可能である。
【００８２】
ここで、説明を分かりやすくするために、ＡＰＤ１２０１Ａ及びクエンチ抵抗１２０２Ａにより生成される波形をＡＰＤ＿Ａとする。以下、同様に、ＡＰＤ１２０１Ａ及びクエンチ抵抗１２０２Ｂにより生成される波形をＡＰＤ＿Ｂとする。ＡＰＤ１２０１Ｃ及びクエンチ抵抗１２０２Ｃにより生成される波形をＡＰＤ＿Ｃとする。ＡＰＤ１２０１Ｄ及びクエンチ抵抗１２０２Ｄにより生成される波形をＡＰＤ＿Ｄとする。また、ＯＲ回路１２０４ＡＢＣの出力をＰＬＳ＿ＡＢＣ、ＯＲ回路１２０４ＡＢＣＤの出力をＰＬＳ＿ＡＢＣＤとする。また、ＡＰＤ１２０１Ａ〜１２０１Ｄ、クエンチ抵抗１２０２Ａ〜１２０２Ｄ、波形整形回路１２０３Ａ〜１２０３Ｄの構成要素をそれぞれまとめて、受光部１２０８Ａ〜１２０８Ｄとする。
【００８３】
続いて図１３、図１４Ａ、図１４Ｂを参照して、画素部１３００における焦点検出用ライン１３０１と非焦点検出用ライン１３０２の駆動方法について説明する。図１３は、撮像素子において、単位画素１２００が行列状に多数配置された画素部１３００を示しており、更には、焦点検出用ライン１３０１と非焦点検出用ライン１３０２を示している。
【００８４】
図１４Ａは、焦点検出用ライン１３０１の単位画素１２００の駆動を示すタイミングチャートである。本実施形態では、セレクタＳＥＬ＿ＢＣによりＡＰＤ１２０１Ｂが選択された場合、つまりカウンタ１０５ＡＢＣがＡＰＤ１２０１Ａと、ＡＰＤ１２０１Ｂとを加算した値をカウントする場合を示す。図１４Ａは１つの単位画素１２００における撮像駆動を示しており、この駆動を複数の単位画素１２００において並列して行うことにより、光学像をデジタル信号に変換する。
【００８５】
図１４Ａにおいて、ＣＮＴ＿ＲＳＴ、ＣＮＴ＿ＥＮ＿ＡＢＣ及び、ＣＮＴ＿ＥＮ＿ＡＢＣＤは駆動信号であり、カウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤの制御を行う。ＣＮＴ＿ＲＳＴは“Ｈ”になることにより、カウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤのカウント値を０にリセットする。また、ＣＮＴ＿ＥＮ＿ＡＢＣが“Ｈ”となる期間のみ、カウンタ１２０５ＡＢＣはパルス数をカウントする。また、ＣＮＴ＿ＥＮ＿ＡＢＣＤが“Ｈ”となる期間のみ、カウンタ１２０５ＡＢＣＤはパルス数をカウントする。ＣＮＴ＿ＡＢＣ及びＣＮＴ＿ＡＢＣＤはカウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤのカウント値を表す。
【００８６】
図１４Ａでは説明を分かりやすくするために、ＣＮＴ＿ＡＢＣはＰＬＳ＿Ａと、ＰＬＳ＿Ｂ及びＰＬＳ＿Ｃの一方とをＯＲ回路１２０４ＡＢＣで加算したＰＬＳ＿ＡＢＣで駆動しており、０〜７の８段階でカウント値を表現している。ＣＮＴ＿ＡＢＣＤはＰＬＳ＿Ａ、ＰＬＳ＿Ｂ、ＰＬＳ＿Ｃ、ＰＬＳ＿ＤをＯＲ回路１２０４ＡＢＣＤで加算したＰＬＳ＿ＡＢＣＤで制御しているため、ＣＮＴ＿Ａの２倍の、０〜１５の１６段階でカウント値を表現している。
【００８７】
続いて、単位画素１２００の駆動について説明する。
【００８８】
タイミングｔ１２００では、ＣＮＴ＿ＲＳＴが“Ｈ”となりカウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤのカウント値が０にリセットされる。
【００８９】
タイミングｔ１２０１では、ＣＮＴ＿ＲＳＴが“Ｌ”となり、カウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤのリセットが終了する。同時にＣＮＴ＿ＥＮ＿ＡＢＣ、及び、ＣＮＴ＿ＥＮ＿ＡＢＣＤが“Ｈ”となりカウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤの電圧パルスのカウントが有効となる。これによりＡＰＤ１２０１Ａ，１２０１Ｂ，１２０１Ｃ，１２０１Ｄに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
【００９０】
タイミングｔ１２０２では、ＡＰＤ１２０１Ａに光子が入射したことにより、アバランシェ増倍された電荷が発生しＡＰＤ＿Ａの電位が変化する。クエンチ抵抗１２０２Ａを介して電荷を排出するので、ＡＰＤ＿Ａが再び一定の電位になるまで時間がかかる。波形整形回路１２０３Ａでは、ＡＰＤ＿Ａの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ１２０５ＡＢＣに入力されるとともに、ＯＲ回路１２０４ＡＢＣＤを介してカウンタ１２０５ＡＢＣＤにも入力され、カウンタ１２０５ＡＢＣ、カウンタ１２０５ＡＢＣＤのカウント値が１となる。
【００９１】
本実施形態では、セレクタＳＥＬ＿ＢＣにより、ＡＰＤ１２０１Ｂが選択されているので、カウンタ１２０５ＡＢＣでは、ＡＰＤ１２０１Ａと、ＡＰＤ１２０１Ｂとを加算した値がカウントされる。
【００９２】
タイミングｔ１２０２〜ｔ１２０３で、波形整形回路１２０３Ａと、波形整形回路１２０３Ｂとで生成された電圧パルスは、カウンタ１２０５ＡＢＣでカウントされる。また、波形整形回路１２０３Ａ、波形整形回路１２０３Ｂ、波形整形回路１２０３Ｃ、波形整形回路１２０３Ｄで生成された電圧パルスは、カウンタ１２０５ＡＢＣＤでカウントされる。
【００９３】
タイミングｔ１２０３で、ＣＮＴ＿ＥＮ＿ＡＢＣ、及び、ＣＮＴ＿ＥＮ＿ＡＢＣＤが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ１２０５ＡＢＣ，１２０５ＡＢＣＤのカウント値を出力ＡＢＣ、出力ＡＢＣＤとして単位画素１２００外へと出力する。
【００９４】
図１４Ａに示す駆動により、撮像期間内にＡＰＤ１２０１Ａ，１２０１Ｂ，１２０１Ｃ，１２０１Ｄに入射した光子の個数のカウントを行う。その結果、カウンタ１２０５ＡＢＣでは、射出瞳の異なる領域のうちの片方の信号を得ることが可能である。また、カウンタ１２０５ＡＢＣＤでカウントすることにより表示用、記録用の信号を得ることが可能である。
【００９５】
図１４Ｂは、非焦点検出用ライン１３０２の単位画素１２００の駆動を示すタイミングチャートである。図１４Ｂは、１つの単位画素１２００における撮像駆動を示しており、この駆動を複数の単位画素１２００において並列して行うことにより、光学像をデジタル信号に変換する。
【００９６】
タイミングｔ１２０４では、ＣＮＴ＿ＲＳＴが“Ｈ”となりカウンタ１２０５ＡＢＣＤのカウント値が０にリセットされる。後述するように、非焦点検出用ラインにおいては、単位画素１２００のカウンタＡＢＣ１２０５はカウントする必要がない。そのため、カウンタＡＢＣ１２０５は消費電力低減のために、クロックＧａｔｉｎｇ等によりクロックがＯＦＦされており、ＣＮＴ＿ＲＳＴが“Ｈ”となるかならないかに関わらず、値「０」にホールドされている。
【００９７】
タイミングｔ１２０５では、ＣＮＴ＿ＲＳＴが“Ｌ”になり、カウンタ１２０５ＡＢＣＤのリセットが終了する。この後、ＣＮＴ＿ＥＮ＿ＡＢＣは“Ｌ”のままで、カウンタ１２０５ＡＢＣは消費電力低減のためのクロックＧａｔｉｎｇ等によりカウント動作が無効のままである。一方、ＣＮＴ＿ＥＮ＿ＡＢＣＤは“Ｈ”となりカウンタ１２０５ＡＢＣＤの電圧パルスのカウントが有効となる。これによりＡＰＤ１２０１Ａ，１２０１Ｂ，１２０１Ｃ，１２０１Ｄに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
【００９８】
タイミングｔ１２０６では、ＡＰＤ１２０１Ａに光子が入射したことにより、アバランシェ増倍された電荷が発生し、ＡＰＤ＿Ａの電位が変化する。クエンチ抵抗１２０２Ａを介して電荷を排出するので、ＡＰＤ＿Ａが再び一定の電位になるまで時間がかかる。波形整形回路１２０３Ａでは、ＡＰＤ＿Ａの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはＯＲ回路１２０４ＡＢＣを介してカウンタ１２０５ＡＢＣに入力されるとともに、ＯＲ回路１２０４ＡＢＣＤを介してカウンタ１２０５ＡＢＣＤにも入力され、カウンタ１２０５ＡＢＣＤのカウント値が１となる。カウンタ１２０５ＡＢＣは消費電力低減のためのクロックＧａｔｉｎｇ等によりカウント動作が無効のままでありカウントアップは行われない。
【００９９】
タイミングｔ１２０６〜ｔ１２０７で、波形整形回路１２０３Ａ、波形整形回路１２０３Ｂ、波形整形回路１２０３Ｃ、波形整形回路１２０３Ｄで生成された電圧パルスはカウンタ１２０５ＡＢＣＤでカウントされる。タイミングｔ１２０７で、ＣＮＴ＿ＥＮ＿ＡＢＣＤが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ１２０５ＡＢＣＤのカウント値を出力ＡＢＣＤとして単位画素１００外へと出力する。
【０１００】
図１４Ｂに示す駆動により、撮像期間内にＡＰＤ１２０１Ａ，１２０１Ｂ，１２０１Ｃ，１２０１Ｄに入射した光子の個数のカウントを行う。一方、カウンタ１２０５ＡＢＣは、クロックＧａｔｉｎｇ等により動作しない。そのため、消費電力の低減を実現することが可能である。また、カウンタ１２０５ＡＢＣＤでカウントすることにより表示用、記録用の信号を得ることが可能である。
【０１０１】
続いて図１５を参照して、本発明の第３の実施形態における単位画素１２００の構造について説明する。図１５は、第３の実施形態における単位画素１２００内の受光部１２０８の配置を示す図である。
【０１０２】
図１５に示すように、１つのマイクロレンズ１５００を透過する光が入射する領域を上下左右の４つに分割するように受光部１２０８Ａ〜１２０８Ｄが配置されている。このように配置することにより、瞳領域を縦方向に分離した信号と、横方向に分離した信号を得ることが可能となるので、縦方向，横方向の位相差を効果的に検出することができる。例えば、瞳領域を横方向のみに分離した撮像装置では、横方向のコントラスト変化が大きい縦線のような被写体に対しては精度良く撮像面位相差ＡＦを行うことができる。しかし、横方向のコントラスト変化が小さい横線のような被写体に対しては精度良く位相差ＡＦを行うことが難しい。一方、瞳領域を縦方向，横方向の両方に分離可能とした撮像装置では、被写体の変化の大きい方向に合わせて、撮像面位相差ＡＦに用いる信号を選択できるので、撮像面位相差ＡＦを高精度に行うことが可能な被写体条件が広くなる。より具体的には、受光部１２０８Ａ，１２０８Ｂの電圧パルスのカウント結果を加算した信号と、受光部１２０８Ｃ，１２０８Ｄの電圧パルスのカウント結果を加算した信号を比較することにより横線検出が可能である。一方、受光部１２０８Ａ，１２０８Ｃの電圧パルスのカウント結果を加算した信号と、受光部１２０８Ｂ，１２０８Ｄの電圧パルスのカウント結果を加算した信号を比較することにより縦線検出が可能である。
【０１０３】
続いて図１６を用いて、本実施形態における固体撮像素子の構成について説明する。図１６は、固体撮像素子１６００の構成を示す回路図である。
【０１０４】
固体撮像素子１６００は、単位画素１２００が行列状に多数配置された画素部１３００と、出力制御回路１６０１、信号処理回路１６０２、タイミング制御回路１６０３を備えて構成される。
【０１０５】
出力制御回路１６０１には、画素部１３００に配置された単位画素１２００の出力ＡＢＣ，出力ＡＢＣＤがそれぞれ入力され、信号処理回路１６０２に出力する単位画素１２００の信号を選択及び制御する。信号処理回路１６０２は、焦点検出用ライン１３０１については、単位画素１２００の出力ＡＢＣと、出力ＡＢＣＤとを固体撮像素子１６００の外部へ出力する。一方、非焦点検出用ラインについては、カウンタ１２０５ＡＢＣは、クロックＧａｔｉｎｇ等により動作させずに、出力ＡＢＣＤのみ固体撮像素子１６００の外部へ出力される。
【０１０６】
タイミング制御回路１６０３は、画素部１３００に駆動信号を出力する他、出力制御回路１６０１，信号処理回路１６０２の駆動タイミングを制御する。カウンタ１２０５ＡＢＣに関して、このような駆動とすることにより、消費電力を低減することが可能となる。
【０１０７】
続いて、図１７を参照して、固体撮像素子１６００を用いた撮像装置の構成について説明する。
【０１０８】
固体撮像素子１６００は、撮影レンズ６０２により結像された光学像を電気信号に変換する。レンズ制御部６０１は全体制御演算部１６０３の指示に応じて、撮影レンズ６０２に対してフォーカス駆動、及び絞り駆動を行う。
【０１０９】
全体制御演算部１６０３は、固体撮像素子１６００の制御、固体撮像素子１６００から出力された信号の補正及び現像を含む、撮像装置全体の制御を行う。更には、固体撮像素子１６００内の画素部１２００を焦点検出用ライン１３０１として駆動させるか、消費電力を低減させるための、非焦点検出用ライン１３０２として駆動させるかを決定する。また、画素部１２００内のＳＥＬ＿ＢＣを制御して、位相差検出を縦方向に行うか、横方向に行うかを決定する。
【０１１０】
全体制御演算部１６０３は、焦点検出用ライン１３０１として駆動させた複数の単位画素１２００の出力ＡＢＣの信号と、出力ＡＢＣＤから出力ＡＢＣを減算した信号とから位相差検出を行う。その検出結果に応じてレンズ制御部６０１にフォーカス駆動の制御量を通信する。
【０１１１】
メモリ部６０４は画像データを一時的に保存し、表示部６０５は各種情報や撮影画像の表示を行う。操作部６０６は撮像装置の各種インターフェースであり、操作部６０６の信号を用いて、全体制御演算部１６０３は各ブロックを制御する。記録部６０７は画像データの記録や読み出しを行うための、半導体メモリ等の着脱可能な記録部である。
【０１１２】
このように、画素部１３００内の単位画素１２００において、焦点検出用ライン１３０１においては、カウンタ１２０５ＡＢＣ、カウンタ１２０５ＡＢＣＤを駆動させて、焦点検出に必要な画素値を取得する。その一方で、非焦点検出用ライン１３０２においては、カウンタ１２０５ＡＢＣをクロックＧａｔｉｎｇ等により動作させないことにより、消費電力を低減することが可能となる。
【０１１３】
（第４の実施形態）
図１８は、本発明の第４の実施形態における単位画素２１００，２１１０の構成を示す回路図である。単位画素２１００，２１１０は、図１９に示すように、二次元状に配列されたマイクロレンズ２３０１下の１つの画素である。また、１つのマイクロレンズ２３０１下には１つのカラーフィルタが配置されており、左上をＲ画素としたＢａｙｅｒ配列を構成している。単位画素２１００は左上（０，０）のＲ画素、単位画素２１１０は単位画素２１００から２画素下（０，２）のＲ画素である。単位画素２１００，２１１０は、アバランシェフォトダイオード（以下、ＡＰＤとする）２１０１Ａ，２１０１Ｂ、クエンチ抵抗２１０２Ａ，２１０２Ｂ、波形整形回路２１０３Ａ，２１０３Ｂ、カウンタ２１０４Ａ，２１０４Ｂを備える。また、２つのカウンタのカウント値を加算する加算器２１０５，２１０８、加算器２１０５，２１０８の入力信号を選択するセレクタ２１０６，２１０７を備える。
【０１１４】
単位画素２１００，２１１０には、受光素子としてのＡＰＤ２１０１が２つ配置されており、同一マイクロレンズを透過した光をＡＰＤ２１０１Ａ，２１０１Ｂがそれぞれ受光することにより、射出瞳の異なる領域の信号を得ることが可能である。また、２つの受光素子の信号を加算器２１０５，２１０８により加算することで、撮像画像を生成する。
【０１１５】
続いて各々の構成要素に関して詳細に説明する。
【０１１６】
ＡＰＤ２１０１Ａ，２１０１Ｂは、クエンチ抵抗２１０２Ａ，２１０２Ｂを介して逆バイアス電圧ＶＡＰＤと接続されており、光子が入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗２１０２Ａ，２１０２Ｂを介して排出される。波形整形回路２１０３Ａ，２１０３Ｂは、光子の入射に応じた電荷の生成，排出による電位の変化に対し増幅及びエッジ検出を行うことにより、電圧パルスを生成する。このようにＡＰＤ２１０１、クエンチ抵抗２１０２、波形整形回路２１０３は、光子の入射の有無を電圧パルスに変換することにより、１ｂｉｔ型ＡＤ変換器として機能する。
【０１１７】
波形整形回路２１０３Ａ，２１０３Ｂの出力である電圧パルスは、それぞれカウンタ２１０４Ａ，２１０４Ｂに入力される。計数部としてのカウンタ２１０４Ａ，２１０４Ｂは、電圧パルスの計数を行う。カウンタ２１０４Ａ，２１０４Ｂは、単位画素に入力される駆動信号により、リセット及び計数のイネーブルが制御される。加算器２１０５はカウンタ２１０４Ａとセレクタ２１０６の出力の２つを入力値として加算を行う。加算器２１０８はカウンタ２１０４Ａとセレクタ２１０７の出力の２つを入力値として加算を行う。セレクタ２１０６は単位画素に入力される制御信号により、３つの入力のセレクトを行う。制御信号が“０”の時、カウンタ２１０４Ｂのカウント値がセレクトされ、“１”の時、単位画素２１１０のカウンタ２１０４Ａのカウント値がセレクトされ、“２”の時、「０」値がセレクトされる。
【０１１８】
すなわち、制御信号が“０”の時は、単位画素２１００の外部へは撮像画像が出力され、“１”の時は単位画素２１００のカウンタ２１０４Ａと単位画素２１１０のカウンタ２１０４Ａを加算した焦点検出用画素が出力される。また、制御信号が“２”の時は、単位画素２１００のカウンタ２１０４Ａのみの焦点検出用画素として計数結果が出力される。
【０１１９】
セレクタ２１０７は、単位画素に入力される制御信号により、２つの入力のセレクトを行う。制御信号が“０”の時、カウンタ２１０４Ｂがセレクトされ、“１”の時、「０」値がセレクトされる。すなわち、制御信号が“０”の時は単位画素２１１０の外部へは撮像画像が出力され、“１”の時は単位画素２１１０のカウンタ２１０４Ａのみの焦点検出用画素として計数結果が出力される。具体的な制御信号の遷移については後述する。
【０１２０】
また、以後の説明を分かりやすくするために、ＡＰＤ２１０１Ａ及びクエンチ抵抗２１０２Ａにより生成される波形をＡＰＤ＿Ａとし、ＡＰＤ２１０１Ｂ及びクエンチ抵抗２１０２Ｂにより生成される波形をＡＰＤ＿Ｂとする。また、波形整形回路２１０３Ａの出力をＰＬＳ＿Ａとし、波形整形回路２１０３Ｂの出力をＰＬＳ＿Ｂとする。
【０１２１】
図２０は、単位画素２１００，２１１０の駆動を示すタイミングチャートである。図２０は、１つの単位画素２１００，２１１０における撮像駆動とカウント値の推移を示しており、この駆動を複数の単位画素２１００，２１１０において並列して行うことにより、光学像をデジタル信号に変換する。
【０１２２】
図２０において、ＣＮＴ＿ＲＳＴ及びＣＮＴ＿ＥＮは駆動信号であり、カウンタ２１０４Ａ，２１０４Ｂの制御を行う。ＣＮＴ＿ＲＳＴは“Ｈ”になることにより、カウンタ２１０４Ａ，２１０４Ｂのカウント値を“０”にリセットする。また、ＣＮＴ＿ＥＮが“Ｈ”となる期間のみ、カウンタ２１０４Ａ，２１０４Ｂはパルス数をカウントする。ＣＮＴ＿Ａ及びＣＮＴ＿Ｂはカウンタ２１０４Ａ，２１０４Ｂのカウント値を表す。
【０１２３】
続いて、単位画素２１００，２１１０の駆動について説明する。
【０１２４】
タイミングｔ２２００では、ＣＮＴ＿ＲＳＴが“Ｈ”となりカウンタ２１０４Ａ，２１０４Ｂのカウント値が”０“にリセットされる。
【０１２５】
タイミングｔ２２０１では、ＣＮＴ＿ＲＳＴが“Ｌ”になり、カウンタ２１０４Ａ，２１０４Ｂのリセットが終了する。同時にＣＮＴ＿ＥＮが“Ｈ”となりカウンタ２１０４Ａ，２１０４Ｂの電圧パルスのカウントが有効となる。これによりＡＰＤ２１０１Ａ，２１０１Ｂに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
【０１２６】
タイミングｔ２２０２では、ＡＰＤ２１０１Ａに光子が入射したことにより、アバランシェ増倍された電荷が発生しＡＰＤ＿Ａの電位が変化する。クエンチ抵抗２１０２Ａを介して電荷を排出するので、ＡＰＤ＿Ａが再び一定の電位になるまで時間がかかる。波形整形回路２１０３Ａでは、ＡＰＤ＿Ａの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ２１０４Ａに入力され、カウンタ２１０４Ａのカウント値が“１”となる。タイミングｔ２２０２〜ｔ２２０３の間の期間では、波形整形回路２１０３Ａで生成された電圧パルスはカウンタ２１０４Ａでカウントされ、波形整形回路２１０３Ｂで生成された電圧パルスはカウンタ２１０４Ｂでカウントされる。
【０１２７】
タイミングｔ２２０３では、ＣＮＴ＿ＥＮが“Ｌ”となり、撮像期間が終了する。終了した際のカウンタ２１０４Ａ，２１０４Ｂのカウント値は加算器２１０５，２１０８を介して単位画素２１００，２１１０外へと出力される。あるいはセレクタ２１０６，２１０７に入力され、その後加算器２１０５，２１０８を介して単位画素２１００，２１１０外へと出力される。
【０１２８】
次に、図１９に戻って、本実施形態における撮像素子の構造について説明する。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ２３０１下を１つの画素と定義し、これを単位画素２１００，２１１０とする。また、１つのマイクロレンズ２３０１に対して複数の分割画素が対応するように配置されている。なお、本実施形態では単位画素２１００，２１１０には分割画素がＸ軸方向に２個配置されており、これらはそれぞれＡＰＤ２１０１Ａ，２１０１Ｂに対応する。
【０１２９】
続いて図２１を参照して、本実施形態における瞳分割方式による焦点検出の原理について説明する。図２１は、撮影レンズの射出瞳から出射した光束が単位画素に入射する様子を示す概念図である。前述したように、単位画素２１００にはＡＰＤ２１０１Ａ及びＡＰＤ２１０１Ｂが配置されている。
【０１３０】
図２１に示すように、射出瞳２４００から出射した光束は、光軸Ｚを中心として、マイクロレンズ２３０１とカラーフィルタ２４０１を通して単位画素２１００に入射する。射出瞳２４００の一部の領域を示す瞳領域２４０２Ａと瞳領域２４０２Ｂを通過する光束は、それぞれＡＰＤ２１０１ＡとＡＰＤ２１０１Ｂに入射する。したがって、ＡＰＤ２１０１ＡとＡＰＤ２１０１Ｂは、それぞれ撮影レンズの射出瞳の異なる領域の光を受光している。
【０１３１】
このように構成されるＡＰＤ２１０１Ａの信号をＸ軸方向に並ぶ複数の単位画素２１００から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様にＡＰＤ２１０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素２１００から取得し、これらの出力信号群で構成した被写体像をＢ像とする。得られたＡ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに像のずれ量に対して焦点位置と光学系から決まる変換係数を乗じることにより、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報に基づいて不図示のフォーカスレンズを制御することにより撮像面位相差ＡＦが可能となる。なお、Ａ像信号とＢ像信号との足し合わせをＡ＋Ｂ像信号とすることにより、このＡ＋Ｂ像信号を画像データに用いることが出来る。すなわち、Ａ像とＢ像が焦点検出用画素の信号であり、Ａ＋Ｂ像が撮像用画素の信号となる。
【０１３２】
図２２は、本実施形態の撮像装置の構成を示すブロック図である。
【０１３３】
図２２において、光学系２５０１は、ズームレンズ、絞り、フォーカスレンズのうち少なくとも１つから構成され、被写体像を結像させる。光学系駆動部２５０２は、後述するＡＦ制御部２５０８から出力されるフォーカス情報や、システム制御部２５０９の光学系駆動情報に応じて光学系２５０１を制御する。撮像素子２５０３は、被写体像を光電変換により電気信号に変換して、撮像画像または焦点検出用画像を出力する。撮像素子駆動部２５０４は、システム制御部２５０９からの撮像素子駆動指示情報に応じて、撮像素子２５０３を制御する。なお、撮像素子２５０３は、撮像素子駆動部２５０４から出力されるセレクタ２１０６，２１０７を制御するための制御信号によって撮像画像信号または焦点検出用画像信号を出力する。
【０１３４】
加算信号分離部２５０５には、撮像素子２５０３から出力される撮像用画素信号（Ａ＋Ｂ像）と焦点検出用画素信号（Ａ像）が入力される。ここでは撮像用画素信号（Ａ＋Ｂ像）から焦点検出用画素信号（Ａ像）を減算し、もう一方の焦点検出用画素信号（Ｂ像）を生成する。そして、２つの焦点検出用画素信号（Ａ像、Ｂ像）が位相差検出部２５０７に出力され、撮像用画素信号（Ａ＋Ｂ像）がカメラ信号処理部２５０６に出力される。なお、詳細な説明は省略するが、撮像素子２５０３からは撮像用画素信号（Ａ＋Ｂ像）、焦点検出用画素信号（Ａ像）のどちらかが順番に出力されるため、加算信号分離部２５０５は、減算するにあたって２つの像信号を待ち合わせるためのメモリを備えている。
【０１３５】
カメラ信号処理部２５０６は、加算信号分離部２５０５から得られた画像信号に対し、例えば、色変換処理、ホワイトバランス処理等の既知の画像処理を施す。カメラ信号処理部２５０６で各種画像処理が施された画像信号は、不図示の圧縮手段により圧縮符号化され、記録媒体に記録される。ここで記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてもよい。
【０１３６】
位相差検出部２５０７は、加算信号分離部２５０５から得られた２つの瞳分割像から、位相差検出を行うための位相差評価値を算出する。ＡＦ制御部２５０８は、位相差検出部２５０７から出力される位相差評価値に基づいて、光学系２５０１のフォーカス位置を制御するためのフォーカス情報を算出する。
【０１３７】
システム制御部２５０９は、撮像装置全体を制御する。そして、撮影シーンや撮影モード（撮像モード）などから得られる撮影情報に基づいて、光学系駆動部２５０２へズームや絞りなどの光学系の駆動情報を出力する。また、撮像素子駆動部２５０４へ露光時間や瞳分割像の信号の読み出し開始位置や読出し間隔など、撮像素子の駆動情報を出力する。
【０１３８】
図２３は、第４の実施形態における撮像素子２５０３の駆動モード別の読出し信号を示した図である。
【０１３９】
図２３（ａ）は、焦点検出用画素信号（Ａ像）を読み出さない駆動モードでの読出し信号を示した図である。読出し信号は画像信号（Ａ＋Ｂ像）のみであり、計４ラインを読み出す。なお、この駆動モードの場合は、撮像面位相差方式の焦点検出は実施せず、例えば既知のコントラスト方式での焦点検出を行う。
【０１４０】
図２３（ｂ）は、全ラインについて焦点検出画素信号（Ａ像）を読み出す駆動モードでの読出し信号を示した図である。４ライン分の焦点検出画素信号（Ａ像）と４ライン分の画像信号（Ａ＋Ｂ像）の計８ラインを読み出す。
【０１４１】
図２３（ｃ）は、焦点検出用画素信号（Ａ像）を間引きながら読み出す駆動モードでの読出し信号を示した図である。焦点検出用画素信号（Ａ像）を１ライン目と２ライン目のみ読み出して、３ライン目と４ライン目を読み出さないことにより、２ライン分の焦点検出用画素信号と４ライン分の画像信号（Ａ＋Ｂ像）の計６ラインを読み出す。
【０１４２】
上記の場合、図２３（ａ）は、読み出し量が最も少ない駆動モードであり、高フレームレートを実現する場合が想定される。図２３（ｂ）は、読み出し量が最も多い駆動モードであり、低フレームレートを実現する場合が想定される。図２３（ｃ）は、高フレームレートと低フレームレートの中間のフレームレートが想定される。
【０１４３】
次に、図２４を用いて図１８のセレクタ２１０６，２１０７の動作について説明する。図２４（ａ）、（ｂ）、（ｃ）で示したセレクタの値は、図２３（ａ）、（ｂ）、（ｃ）の駆動モードでの読出しにそれぞれ対応している。ＶＤはフレーム同期信号であり、フレーム同期信号ＶＤがＨになると、１フレーム分の露光期間が開始される。ＣＮＴ＿ＲＳＴはカウンタ２１０４のリセット信号であり、“Ｈ”になると、カウンタ２１０４がリセットされ、“Ｌ”になるとリセットが解除される。ＣＮＴ＿ＥＮ、ＰＬＳ＿Ａ、ＣＮＴ＿Ａは図２０と同様であるため、説明は省略する。水平同期信号ＨＤは読出し期間になると供給され、水平同期信号ＨＤが“Ｈ”になる毎に、画素領域の画素を１行ずつ順番に選択し、撮像素子２５０３の外部に信号が出力される。
【０１４４】
ここで、セレクタ２１０６、セレクタ２１０７について説明する。
【０１４５】
図２４（ａ）は、セレクタ２１０６，２１０７が“０”である場合を示し、図２３（ａ）のＡ＋Ｂ像しか読み出さない駆動モードに対応している。そのため、セレクタ２１０６，２１０７は“０”のままでカウンタ２１０４Ｂのカウント値を選択する。加算器２１０５，２１０８では、カウンタ２１０４Ａのカウント値とカウンタ２１０４Ｂのカウント値の加算を行い、Ａ＋Ｂ像を出力する。
【０１４６】
図２４（ｂ）は、セレクタ１０６が“２”、“０”、“２”、“０”を繰り返す場合を示し、図２３（ｂ）の駆動モードに対応している。具体的には、図２３（ｂ）では毎ラインＡ像とＡ＋Ｂ像を読み出す。セレクタ２１０６を“２”に設定することにより「０」値が選択される。加算器２１０５にはカウンタＡのカウント値と「０」値が入力され、加算器２１０５の出力はＡ像となる。一方、セレクタ２１０７は“１”、“０”、“１”、“０”を繰り返す。セレクタ２１０７を“１”に設定することにより「０」値が選択される。加算器２１０８にはカウンタＡのカウント値と「０」値が入力され、加算器１０８の出力はＡ像となる。なお、セレクタ２１０６，２１０７が共に“０”に設定されると、加算器２１０５と加算器２１０８は、カウンタ２１０４Ａのカウント値とカウンタ２１０４Ｂのカウント値の加算を行うこととなり、Ａ＋Ｂ像を出力する。
【０１４７】
図２４（ｃ）は、セレクタ２１０６が“１”、“０”、“１”、“０”を繰り返す場合を示し、図２３（ｃ）の駆動モードに対応している。具体的には、図２３（ｃ）ではＡ像が間引いて読み出される。セレクタ２１０６を“１”に設定することにより、垂直方向に２ライン離れた同色のＡ像が選択される。加算器２１０５にはカウンタ２１０４Ａのカウント値と垂直方向に２ライン離れた同色のカウンタ２１０４Ａのカウント値が入力され、加算器２１０５の出力はＡ＋Ａ像となる。セレクタ２１０７は“０”のままでカウンタ２１０４Ｂのカウント値を選択する。加算器２１０８にはカウンタＡのカウント値とカウンタＢのカウント値が入力され、加算器２１０８の出力はＡ＋Ｂ像となる。
【０１４８】
図２４（ｃ）では隣接した同色のＡ像同士を加算しているため、信号の強度として約２倍となる。一方でランダムノイズに関しては２倍にならないため、Ｓ／Ｎ比は向上する。更に、１ライン目では３ライン目のＡ像を加算したＡ像、２ライン目では４ライン目のＡ像を加算したＡ像が読み出されるため、３ライン目、４ライン目に高コントラストの信号があってもその信号は１ライン目、２ライン目のＡ像に混ざる。すなわち、低コントラストの位置のみを読出してしまうような被写体抜けが防止される。
【０１４９】
以上説明したように、本実施形態の撮像装置では、撮像素子２５０３の駆動モードに応じて単位画素内の加算器の入力をセレクタで切り替えている。これにより、必要最小限の焦点検出用画素の読出しを行い、システム負荷の軽減を図ると同時に、焦点検出精度を向上させることが可能となる。
【０１５０】
（第５の実施形態）
図２５は、本発明の第５の実施形態における単位画素２８００，２８１３の構成を示す回路図である。単位画素２８００，２８１３は、図２６に示すように二次元状に配列されたマイクロレンズ２３０２下の１つの画素である。また、１つのマイクロレンズ２３０２下には１つのカラーフィルタが配置され、左上をＲ画素としたＢａｙｅｒ配列を構成している。単位画素２８００は左上（０，０）のＲ画素、単位画素２８１３は単位画素２８００から２画素下（０，２）のＲ画素である。単位画素２８００，２８１３は、それぞれＡＰＤ２８０１Ａ，２８０１Ｂ，２８０１Ｃ，２８０１Ｄ、クエンチ抵抗２８０２Ａ，２８０２Ｂ，２８０２Ｃ，２８０２Ｄを備える。また、波形整形回路２８０３Ａ，２８０３Ｂ，２８０３Ｃ，２８０３Ｄ、カウンタ２８０４Ａ，２８０４Ｂ，２８０４Ｃ，２８０４Ｄ、４つのカウント値を加算する加算器２８０５，２８１２を備える。さらに、加算器２８０５，２８１２の入力信号を選択するセレクタ２８０６，２８０７，２８０８，２８０９，２８１０，２８１１を備える。
【０１５１】
単位画素２８００，２８１３には、受光素子としてのＡＰＤ２８０１が４つ配置されており、同一マイクロレンズを透過した光をＡＰＤ２８０１Ａ，２８０１Ｂ，２８０１Ｃ，２８０１Ｄがそれぞれ受光する。これにより、射出瞳の異なる領域の信号を得ることが可能である。また、４つの受光素子の信号を加算器２８０５，２８１２により加算することにより、撮像用画像を生成する。ＡＰＤ、クエンチ抵抗、波形整形回路、カウンタに関しては第４の実施形態と同様であるため、説明を省略する。
【０１５２】
セレクタ２８０６は、単位画素２８００に入力される制御信号１により、３つの入力のセレクトを行う。制御信号が“０”の場合、カウンタ２８０４Ｂのカウント値がセレクトされ、“１”の場合、単位画素２８１３のカウンタ２８０４Ｃのカウント値がセレクトされ、“２”の場合、「０」値がセレクトされる。
【０１５３】
セレクタ２８０７は、単位画素２８００に入力される制御信号２により、３つの入力のセレクトを行う。制御信号が“０”の場合、カウンタ２８０４Ｃのカウント値がセレクトされ、“１”の場合、単位画素２８１３のカウンタ２８０４Ｂのカウント値がセレクトされ、“２”の場合、「０」値がセレクトされる。
【０１５４】
セレクタ２８０８は、単位画素２８００に入力される制御信号３により、３つの入力のセレクトを行う。制御信号が“０”の場合、カウンタ２８０４Ｄのカウント値がセレクトされ、“１”の場合、単位画素２８１３のカウンタ２８０４Ａのカウント値がセレクトされ、“２”の場合、「０」値がセレクトされる。
【０１５５】
セレクタ２８０９は、単位画素２８１３に入力される制御信号１により、２つの入力のセレクトを行う。制御信号が“０”の場合、カウンタ２８０４Ｂのカウント値がセレクトされ、“１”の場合、「０」値がセレクトされる。
【０１５６】
セレクタ２８１０は、単位画素２８１３に入力される制御信号２により、２つの入力のセレクトを行う。制御信号が“０”の場合、カウンタ２８０４Ｃのカウント値がセレクトされ、“１”の場合、「０」値がセレクトされる。
【０１５７】
セレクタ２８１１は、単位画素２８１３に入力される制御信号３により、２つの入力のセレクトを行う。制御信号が“０”の場合、カウンタ２８０４Ｄのカウント値がセレクトされ、“１”の場合、「０」値がセレクトされる。
【０１５８】
ここで、セレクタ２８０６からセレクタ２８１１の全てに制御信号“０”が入力されたとする。この場合、加算器２８０５の入力は、単位画素２８００のカウンタ２８０４Ａ、カウンタ２８０４Ｂ、カウンタ２８０４Ｃ、カウンタ２８０４Ｄのカウント値となり、加算した結果、Ａ＋Ｂ＋Ｃ＋Ｄ像が生成される。加算器２８１２も同様に、入力は単位画素２８１３のカウンタ２８０４Ａ、カウンタ２８０４Ｂ、カウンタ２８０４Ｃ、カウンタ２８０４Ｄのカウント値となり、加算した結果、Ａ＋Ｂ＋Ｃ＋Ｄ像が生成される。前述したように４つの受光素子の信号を全て加算することにより、撮像用画素信号が生成されるため、Ａ＋Ｂ＋Ｃ＋Ｄ像は撮像用画素信号となる。
【０１５９】
次に、セレクタ２８０６を“２”、セレクタ２８０７を“０”、セレクタ２８０８を“２”、セレクタ２８０９を“１”、セレクタ２８１０を“０”、セレクタ２８１１を“１”と設定した場合について説明する。この場合、加算器２８０５の入力は、単位画素２８００のカウンタ２８０４Ａとカウンタ２８０４Ｃのみのカウント値となり、加算した結果、Ａ＋Ｃ像が生成される。加算器２８１２も同様に、入力は単位画素２８１３のカウンタ２８０４Ａ、カウンタ２８０４Ｃのカウント値となり、加算した結果、Ａ＋Ｃ像が生成される。
【０１６０】
撮像素子２５０３から出力される撮像用画素信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と焦点検出用画素信号（Ａ＋Ｃ像）が加算信号分離部２５０５に入力される。加算信号分離部２５０５によって、撮像用画素信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）から焦点検出用画素信号（Ａ＋Ｃ像）を減算し、もう一方の焦点検出用画素信号（Ｂ＋Ｄ像）を生成する。２つの焦点検出用画素信号（Ａ＋Ｃ像、Ｂ＋Ｄ像）を位相差検出部２５０７に入力し、水平方向に瞳分割された２つの瞳分割像から位相差検出を行うための位相差評価値を算出する。
【０１６１】
また、セレクタ２８０６を“０”、セレクタ２８０７を“２”、セレクタ２８０８を“２”、セレクタ２８０９を“０”、セレクタ２８１０を“１”、セレクタ２８１１を“１”と設定した場合について説明する。この場合、加算器２８０５の入力は、単位画素２８００のカウンタ２８０４Ａとカウンタ２８０４Ｂのみのカウント値となり、加算した結果、Ａ＋Ｂ像が生成される。加算器２８１２も同様に、入力は単位画素２８１３のカウンタ２８０４Ａ、カウンタ２８０４Ｂのカウント値となり、加算した結果、Ａ＋Ｂ像が生成される。
【０１６２】
こちらも加算信号分離部２５０５によって、撮像用画素信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）から焦点検出用画素信号（Ａ＋Ｂ像）を減算し、もう一方の焦点検出用画素信号（Ｃ＋Ｄ像）を生成する。２つの焦点検出用画素信号（Ａ＋Ｂ像、Ｃ＋Ｄ像）を位相差検出部２５０７に入力し、垂直方向に瞳分割された２つの瞳分割像から位相差検出を行うための位相差評価値を算出する。
【０１６３】
さらに、セレクタ２８０６を“１”、セレクタ２８０７を“０”、セレクタ２８０８を“１”と設定した場合について説明する。この場合、加算器２８０５の入力は単位画素２８００のカウンタ２８０４Ａとカウンタ２８０４Ｃ、単位画素２８１３のカウンタ２８０４Ａとカウンタ２８０４Ｃのカウント値となる。そして、加算した結果、単位画素２８００の（Ａ＋Ｃ像）＋単位画素２８１３の（Ａ＋Ｃ像）となる。このようにセレクタを制御することにより、第４の実施形態と同様に、隣接した同色のＡ＋Ｃ像同士を加算することができ、信号の強度として約２倍となる。一方でランダムノイズに関しては２倍にならないため、Ｓ／Ｎ比は向上する。
【０１６４】
さらに、１ライン目では３ライン目のＡ＋Ｃ像を加算したＡ＋Ｃ像、２ライン目では４ライン目のＡ＋Ｃ像を加算したＡ＋Ｃ像が読み出される。そのため、３ライン目、４ライン目に高コントラストの信号があってもその信号は１ライン目、２ライン目のＡ＋Ｃ像に混ざる。すなわち、低コントラストの位置のみを読出してしまうことによる被写体抜けを防止することができる。
【０１６５】
図２６に戻って、本実施形態における撮像素子の構造について説明する。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ２３０２下を１つの画素と定義し、これを単位画素２８００，２８１３とする。また、１つのマイクロレンズ２３０２に対して複数の分割画素が対応するように配置されている。なお、本実施形態では単位画素２８００，２８１３には分割画素がＸ軸方向に２個、Ｙ軸方向に２個配置されており、これらはそれぞれＡＰＤ２８０１Ａ，２８０１Ｂ，２８０１Ｃ，２８０１Ｄに対応する。
【０１６６】
１画素が４つの受光素子の信号に分かれているため、撮像素子２５０３の駆動モードに応じて単位画素内の加算器の入力をセレクタで切り替えることにより、水平方向、垂直方向の位相差検出を行うことも可能となる。
【０１６７】
以上説明したように、本実施形態の撮像装置は、撮像素子２５０３の駆動モードに応じて単位画素内の加算器の入力をセレクタで切り替える。これにより、必要最小限の焦点検出用画素の読出しを行い、システム負荷の軽減を図ると同時に、焦点検出精度を向上させることが可能となる。
【０１６８】
（第６の実施形態）
以下、本発明の第６の実施形態について説明する。図２７は、本発明の第６の実施形態に係わる撮像装置３１００の構成を示すブロック図である。
【０１６９】
図２７において、レンズ部３１０１は、被写体の光学像を撮像素子３１０３に結像させる。レンズ部３１０１は、レンズ駆動回路３１０２によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像素子３１０３は、レンズ部３１０１により結像された被写体像を光電変換して画像信号を出力する。画像処理回路３１０４は、撮像素子３１０３から出力される画像信号に各種の補正処理や現像処理を行うとともに、データ圧縮のための演算等を行う。タイミング発生回路３１０５は、撮像素子３１０３に各種タイミング信号を出力して駆動する。制御回路３１０６は、様々な演算などを行い、撮像装置全体の制御と監視を行う。メモリ３１０７は画像データを一時的に記憶し、制御回路３１０６の作業領域としても使用される。記録回路３１０８は、半導体メモリ等の着脱可能な記録媒体に記録または記録媒体から読み出しを行うための回路である。操作回路３１０９は、ユーザーからの命令を受け付け、それを制御回路３１０６に伝達する。表示回路３１１０は、各種情報や撮影画像を表示する。
【０１７０】
次に、図２８は、第６の実施形態における撮像素子３１０３の構成を示す図である。撮像素子３１０３はセンサ基板３２０１と回路基板３２０２を備える積層構造である。なお、同様の機能を備えるならば積層構造に限らず単層構造の素子であってもよい。
【０１７１】
センサ基板３２０１には、単位画素３２０３が行列方向に配置された画素アレイが形成される。この単位画素３２０３には、色分離のためそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが配置されている。また入射光の集光効率を向上させるための不図示のマイクロレンズも配置されている。なお、単位画素３２０３の詳細な回路構成については後述する。
【０１７２】
回路基板３２０２は、計数部３４０２、信号処理回路３２０５、基板メモリ３２０６を備えて構成される。計数部３４０２はセンサ基板３２０１の単位画素毎にバンプ等で電気的に接続され、単位画素３２０３を駆動する制御信号を出力すると共に、画素からのバッファ出力を受信する。計数部３４０２は、対応する単位画素毎に、あるしきい値Ｖｔｈによりフォトンの有無を判定する比較器３３０４及びカウンタ３３０５を備え（図２９参照）、入射されたフォトンに応じて出力されるパルス数を計測する。計数部３４０２で計測されたカウント値は、信号処理回路３２０５によって各種演算処理や外部出力処理が行われる。また基板メモリ３２０６はＤＲＡＭ等の揮発性メモリであり、計数部３４０２からの信号を信号処理回路３２０５で処理する際に一時的にデータを保持する等の目的で用いられる。
【０１７３】
次に、図２９は、センサ基板３２０１に形成される単位画素３２０３の等価回路図である。本実施形態では、アバランシェフォトダイオードを用いた構成を例として説明するが、画素単位でＡＤ変換を実現する形式としてはこれに限定されるものではない。
【０１７４】
単位画素３２０３は、クエンチ抵抗３３０１、アバランシェフォトダイオード（以下、ＡＰＤ）３３０２、バッファ３３０３を備えて構成される。ＡＰＤ３３０２には、クエンチ抵抗を介して電圧ＨＶＤＤによる逆バイアス電圧が印加される。このとき電圧ＨＶＤＤは、ＡＰＤをガイガーモードにするための降伏電圧以上となるように設定される。バッファ３３０３の出力は計数部３４０２内の比較器３３０４により基準電圧と比較され、比較結果がカウンタ３３０５に入力される。
【０１７５】
ここで図３０を用いてフォトン入射時の単位画素３２０３の動作について説明する。図３０はＡＰＤの電流電圧特性を示している。本実施形態では、ＡＰＤ３３０２のカソードは降伏電圧を超える電圧ＨＶＤＤに接続され、ＡＰＤ３３０２はガイガーモードとなる。ここでＡＰＤ３３０２にフォトンが入射すると、ＡＰＤ３３０２ではアバランシェ増幅による大電流（光電流）が流れる（動作Ａ）。この電流が流れると同時にクエンチ抵抗３３０１によって電圧降下が発生し、ＡＰＤ３３０２に印加される電圧が降伏電圧未満となり、アバランシェ増幅が止まる（動作Ｂ）。アバランシェ増幅が止まると、ＡＰＤ３３０２のカソードは再び電圧ＨＶＤＤによりチャージされ、ガイガーモードに戻る（動作Ｃ）。動作Ａ〜Ｃによるバッファ入力端の電圧変化はバッファ３３０３によってパルス整形され、較器３３０４、カウンタ３３０５によって計測される。これを繰り返すことによりＡＰＤ３３０２に入射したフォトンの数を計測することが可能となる。
【０１７６】
図３１は、第６の実施形態における回路構成を示す模式図である。図３１は、ベイヤー配列されたセンサ基板３２０１の同色の単位画素３２０３を２画素混合する組み合わせにおける接続パターンを示している。
【０１７７】
ここで、クエンチ抵抗３３０１Ａ、３３０１Ｂ、ＡＰＤ３３０２Ａ、３３０２Ｂは、図２９と同様であり、バッファ３３０３は図示を省略している。計数部３４０２Ａは第１の画素に対応する計数部（比較器及びカウンタからなるカウンタ部）であり、計数部３４０２Ｂは第２の画素に対応する計数部である。ここで計数部３４０２Ａには第１の画素からの信号に加え、第２の画素からの信号がＯＲ回路３４０１を介して接続されている。なお、計数部３４０２ＡはＮ＋１ビット（ビット長）のカウンタを備え、計数部３４０２ＢはＮビット（ビット長）のカウンタを備える。これは、計数部３４０２Ａは２画素分の信号をカウントするためである。Ｎは撮像装置に求められる階調性によって決定され、一般的には例えば１４や１２などである。
【０１７８】
続いて、図３２を用いて各画素から出力されるパルスとカウントとの関係について説明する。図３２は、横軸を時間としてフォトン入射時のパルス波形と計数部３４０２Ａ、３４０２Ｂでカウントされるカウント数を示す模式図である。
【０１７９】
ここで図３２（ａ）は、第１の画素に光子イベントＡ，Ｃ，Ｅが入射した場合を表す。また、図３２（ｂ）は第２の画素に光子イベントＢ，Ｄが入射した場合を表す。それぞれのイベントは、比較器のしきい値Ｖｔｈを超えるパルスが出力される程度のアバランシェ増幅を発生させ、それぞれのパルスは時間分解されているとする。
【０１８０】
まず第１の画素においては、第１の画素による光子イベントＡ，Ｃ，Ｅと第２の画素による光子イベントＢ，ＤがＯＲによって全てカウントされ、この例では５カウントとして出力される。一方、第２の画素においては、第２の画素による光子イベントＢ，Ｄのみがカウントされ、この例では２カウントとして出力される。
【０１８１】
上記構成における各画素の信号出力を以下のように表現するものとする。まず第１の画素においては、第１の画素による光子イベントと第２の画素による光子イベントがＯＲによって全てカウントされる。この時のカウントをＡ＋Ｂと置く。一方、第２の画素においては、第２の画素による光子イベントのみがカウントされる。この時のカウントをＢと置く。このように、本実施形態では、ＯＲ回路を介して他の画素のパルスをカウントすることにより、画素混合（Ａ＋Ｂ）を第１の画素で実現している。さらに、画素混合出力を得ることのみを目的とするならば、計数部３４０２Ａのみでカウント動作を行えばよいため、計数部３４０２Ｂを非動作（停止：パワーセーブ）とすることにより消費電力を削減することができる。
【０１８２】
ここで、本実施形態の形式ではなく通常のＮビットの画素で画素混合する場合を考える。この場合、第１の画素（Ｎビット）と第２の画素（Ｎビット）の両者を出力して画素混合するため、Ｎ＋Ｎ＝２Ｎビットのデータ転送が必要になる。一方、本形態ではＮ＋１ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
【０１８３】
なお、計数部３４０２Ａとともに計数部３４０２Ｂを動作させ、第１の画素カウント（Ａ＋Ｂ）から第２の画素カウント（Ｂ）を減算することにより、画素混合しない第１の画素のカウント（Ａ＋Ｂ―Ｂ＝Ａ）を算出することも可能である。撮像装置においては、前述の画素混合出力（画素混合モード）は主に動画モードで用いられ、画素混合しない信号出力（非画素混合モード）は主に静止画モードで用いられる。
【０１８４】
さらには、第１の画素と第２の画素が一つのマイクロレンズを共有したいわゆる複画素構造においても本実施形態を適用することができる。本発明の主題から離れるため詳細は省略するが、複画素構造は撮像面位相差ＡＦを実現するための構造である。例えば前述の画素混合出力は撮像面位相差ＡＦを行わない通常撮影モードに適用される。また前述の画素混合しない信号出力は瞳分割された各画素の信号を分離して読み出すことができるため、主にＡＦモード（焦点検出画像の読み出しモード）で用いられる。
【０１８５】
以上のように、本実施形態によれば、画素単位でＡＤ変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することが可能となる。
【０１８６】
（第６の実施形態の変形例）
図３３は、第６の実施形態の変形例を示す図である。図３３は、ベイヤー配列されたセンサ基板３２０１の同色の単位画素３２０３を２画素混合する組み合わせにおける接続パターンを示している。
【０１８７】
第６の実施形態を示す図３１との違いは、ＡＰＤ３３０２Ａ及びＡＰＤ３３０２ＢとＯＲ回路３４０１との間にそれぞれ切り離しスイッチ３４０４，３４０３を設け、ＡＰＤ３３０２Ｂと計数部３４０２Ｂとの間に切り離しスイッチ３４０５を設けた点である。
【０１８８】
この構成において、切り離しスイッチ３４０３をオフにすることにより、画素混合しない通常の信号読み出しが可能となる。また、切り離しスイッチ３４０５をオフとし、計数部３４０２Ｂ（Ｎビット）のカウンタを計数部３４０２Ａのカウンタ（Ｎ＋１ビット）に接続する。このように計数部３４０２Ａのカウンタと計数部３４０２Ｂのカウンタとを接続して単一のカウンタ（合計のビット数：２Ｎ＋１ビット）として機能させることにより、撮像素子のダイナミックレンジ（ＡＤ飽和）を拡大させることが可能となる。
【０１８９】
（第７の実施形態）
図３４は、本発明の第７の実施形態における回路構成を示す模式図である。図３４は、ベイヤー配列されたセンサ基板３２０１の同色の単位画素３２０３を３画素混合する組み合わせにおける接続パターンを示している。
【０１９０】
計数部３５０２Ａは、第１の画素に対応する計数部（比較器及びカウンタ）であり、計数部３５０２Ｂ，３５０２Ｃは、それぞれ第２、第３の画素に対応する計数部である。計数部３５０２Ａには、第１の画素からの信号に加え、第２、第３の画素からの信号がＯＲ回路３５０１を介して接続されている。なお、計数部３５０２ＡはＮ＋２ビットのカウンタを備える。また計数部３５０２Ｂ，３５０２ＣはＮビットのカウンタを備える。これは、計数部３５０２Ａは３画素分の信号をカウントするためである。
【０１９１】
上記構成における各画素の信号出力を以下のように表現するものとする。まず第１の画素においては、第１の画素による光子イベントと第２、第３の画素による光子イベントがＯＲによって全てカウントされる。この時のカウントをＡ＋Ｂ＋Ｃと置く。一方、第２の画素においては、第２の画素による光子イベントのみがカウントされる。この時のカウントをＢと置く。同様に第３の画素のカウントをＣと置く。このように、本実施形態では、ＯＲ回路を介して他の画素のパルスをカウントすることにより、画素混合（Ａ＋Ｂ＋Ｃ）を第１の画素で実現している。さらに、画素混合出力を得ることのみを目的とするならば、計数部３５０２Ａのみでカウント動作を行えばよいため、計数部３５０２Ｂ，３５０２Ｃを非動作（パワーセーブ）とすることにより消費電力を削減することができる。
【０１９２】
ここで、本実施形態の形式ではなく通常のＮビットの画素で画素混合する場合を考える。この場合、第１の画素（Ｎビット）と第２、第３の画素（Ｎビット）の全てを出力して画素混合するため、Ｎ＋Ｎ＋Ｎ＝３Ｎビットのデータ転送が必要になる。一方、本実施形態ではＮ＋２ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
【０１９３】
なお、計数部３５０２Ａとともに計数部３５０２Ｂ、３５０２Ｃを動作させ、第１の画素カウント（Ａ＋Ｂ＋Ｃ）から第２、第３の画素カウント（Ｂ、Ｃ）を減算することにより、画素混合しない第１の画素のカウント（Ａ＋Ｂ＋Ｃ―Ｂ−Ｃ＝Ａ）を算出することも可能である。
【０１９４】
さらには、計数部３５０２Ａとともに混合重心となる計数部３５０２Ｂを動作させ、第１の画素カウント（Ａ＋Ｂ＋Ｃ）に第２の画素カウント（Ｂ）を加算することにより、重みづけ画素混合信号（Ａ＋Ｂ＋Ｃ＋Ｂ＝Ａ＋２Ｂ＋Ｃ）を算出することも可能である。この場合は、第１から第３の画素すべてを出力してから重みづけ画素混合信号を生成するのに対して、計数部３５０２Ｃの消費電力とデータ転送量を削減できる。
【０１９５】
重みづけ加算の他の形態としては、混合重心となる第２の画素のＨＶＤＤを第１、第３の画素のＨＶＤＤより高くし、フォトンの検出確率を増大させる方法を用いてもよい。またＯＲ回路３５０１の論理しきい値や、計数部内の比較器の判定しきい値を第２の画素と第１、第３の画素で変更できる構成としてもよい。
【０１９６】
以上のように、第７の実施形態によれば、画素単位でＡＤ変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することが可能となる。
【０１９７】
（第８の実施形態）
図３５は、第８の実施形態における撮像素子の回路構成を示す図である。図３５は、ベイヤー配列されたセンサ基板３２０１の同色の単位画素３２０３を、２画素または３画素混合する組み合わせにおける接続パターンを示している。
【０１９８】
計数部３６０２Ａは、第１の画素に対応する計数部（比較器及びカウンタ）であり、計数部３６０２Ｂ，３６０２Ｃは、それぞれ第２、第３の画素に対応する計数部である。計数部３６０２Ａには第１の画素からの信号に加え、第２の画素からの信号がＯＲ回路３６０１Ａを介して接続されている。計数部３６０２Ｂには、第２の画素からの信号に加え、第３の画素からの信号がＯＲ回路３６０１Ｂを介して接続されている。なお、計数部３６０２Ａ，３６０２ＢはＮ＋１ビットのカウンタを備える。また計数部３６０２ＣはＮビットのカウンタを備える。これは、計数部３６０２Ａ，３６０２Ｂは２画素分の信号をカウントするためである。
【０１９９】
上記構成における各画素の信号出力を以下のように表現するものとする。まず第１の画素においては、第１の画素による光子イベントと第２の画素による光子イベントがＯＲによって全てカウントされる。この時のカウントをＡ＋Ｂと置く。一方、第２の画素においては、第２の画素による光子イベントと第３の画素による光子イベントがＯＲによって全てカウントされる。この時のカウントをＢ＋Ｃと置く。一方、第３の画素においては、第３の画素による光子イベントのみがカウントされる。この時のカウントをＣと置く。
【０２００】
このように、本実施形態では、ＯＲ回路を介して他の画素のパルスをカウントすることにより、画素混合（Ａ＋ＢまたはＢ＋Ｃ）を第１または第２の画素で実現している。さらに、画素混合出力（Ａ＋Ｂ）を得ることのみを目的とするならば、計数部３６０２Ａのみでカウント動作を行えばよいため、計数部３６０２Ｂ，３６０２Ｃを非動作（パワーセーブ）とすることにより消費電力を削減することができる。また画素混合出力（Ｂ＋Ｃ）を得ることのみを目的とするならば、計数部３６０２Ｂのみでカウント動作を行えばよいため、計数部３６０２Ａ，３６０２Ｃを非動作（パワーセーブ）とすることにより消費電力を削減することができる。
【０２０１】
なお、計数部３６０２Ａとともに計数部３６０２Ｂ，３６０２Ｃを動作させ、第２の画素カウント（Ｂ＋Ｃ）から第３の画素カウント（Ｃ）を減算することにより、画素混合しない第２の画素のカウント（Ｂ＋Ｃ−Ｃ＝Ｂ）を算出することも可能である。続けて画素混合しない第１の画素のカウント（Ａ＋Ｂ−Ｂ＝Ａ）を算出することも可能である。
【０２０２】
さらには、計数部３６０２Ａとともに混合重心となる計数部３６０２Ｂを動作させ、第１の画素カウント（Ａ＋Ｂ）に第２の画素カウント（Ｂ＋Ｃ）を加算することにより、重みづけ画素混合信号（Ａ＋Ｂ＋Ｂ＋Ｃ＝Ａ＋２Ｂ＋Ｃ）を算出することも可能である。この場合は、第１から第３の画素すべてを出力してから重みづけ画素混合信号を生成するのに対して、計数部３６０２Ｃの消費電力とデータ転送量を削減できる。
【０２０３】
ここで、本実施形態の形式ではなく通常のＮビットの画素で画素混合する場合を考える。この時、第１、第２の画素（Ｎビット）と第３の画素（Ｎビット）の全てを出力して画素混合するため、Ｎ＋Ｎ＋Ｎ＝３Ｎビットのデータ転送が必要になる。一方、本実施形態では画素混合出力（Ａ＋Ｂ）または画素混合出力（Ｂ＋Ｃ）の場合はＮ＋１ビット、画素混合出力（Ａ＋２Ｂ＋Ｃ）の場合はＮ＋１＋Ｎ＋１＝２Ｎ＋２ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
【０２０４】
以上のように、第８の実施形態によれば、画素単位でＡＤ変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することが可能となる。
【０２０５】
（第９の実施形態）
図３６は、本発明の第９の実施形態における撮像素子の回路構成を示す図である。図３６は、ベイヤー配列されたセンサ基板３２０１の同色の単位画素３２０３を２画素または３画素混合する組み合わせにおける接続パターンを示している。
【０２０６】
カウンタ３７０２Ａは、第１の画素に対応する計数部（比較器及びカウンタ）であり、計数部３７０２Ｂ，３７０２Ｃは、それぞれ第２、第３の画素に対応する計数部である。計数部３７０２Ａには第１の画素からの信号に加え、第２の画素からの信号がＯＲ回路３７０１Ａを介して接続されている。計数部３７０２Ｃには第３の画素からの信号に加え、第２の画素からの信号がＯＲ回路３７０１Ｃを介して接続されている。なお、計数部３７０２Ａ，３７０２Ｃは、Ｎ＋１ビットのカウンタを備える。また計数部３７０２ＢはＮビットのカウンタを備える。これは、計数部３７０２Ａ，３７０２Ｃは２画素分の信号をカウントするためである。
【０２０７】
上記構成における各画素の信号出力を以下のように表現するものとする。まず第１の画素においては、第１の画素による光子イベントと第２の画素による光子イベントがＯＲによって全てカウントされる。この時のカウントをＡ＋Ｂと置く。第２の画素においては、第２の画素による光子イベントのみがカウントされる。この時のカウントをＢと置く。さらに、第３の画素においては、第３の画素による光子イベントと第２の画素による光子イベントがＯＲによって全てカウントされる。この時のカウントをＢ＋Ｃと置く。
【０２０８】
このように、本実施形態では、ＯＲ回路を介して他の画素のパルスをカウントすることで、画素混合（Ａ＋ＢまたはＢ＋Ｃ）を第１または第３の画素で実現している。さらに、画素混合出力（Ａ＋Ｂ）を得ることのみを目的とするならば、計数部３７０２Ａのみでカウント動作を行えばよいため、計数部３７０２Ｂ，３７０２Ｃを非動作（パワーセーブ）とすることで消費電力を削減することができる。また画素混合出力（Ｂ＋Ｃ）を得ることのみを目的とするならば、計数部３７０２Ｃのみでカウント動作を行えばよいため、計数部３７０２Ａ，３７０２Ｂを非動作（パワーセーブ）とすることにより、消費電力を削減することができる。
【０２０９】
なお、計数部３７０２Ａとともに計数部３７０２Ｂ，３７０２Ｃを動作させ、第１の画素カウント（Ａ＋Ｂ）から第２の画素カウント（Ｂ）を減算することにより、画素混合しない第１の画素のカウント（Ａ＋Ｂ−Ｂ＝Ａ）を算出することも可能である。同様に画素混合しない第３の画素のカウント（Ｂ＋Ｃ−Ｂ＝Ｃ）を算出することも可能である。さらには、計数部３７０２Ａとともに計数部３７０２Ｃを動作させ、第１の画素カウント（Ａ＋Ｂ）に第３の画素カウント（Ｂ＋Ｃ）を加算することにより、重みづけ画素混合信号（Ａ＋Ｂ＋Ｂ＋Ｃ＝Ａ＋２Ｂ＋Ｃ）を算出することも可能である。この場合は、第１から第３の画素全てを出力してから重みづけ画素混合信号を生成するのに対して、計数部３７０２Ｂの消費電力とデータ転送量を削減することができる。
【０２１０】
ここで、本実施形態の形式ではなく通常のＮビットの画素で画素混合する場合を考える。この場合、第１、第３の画素（それぞれＮビット）と第２の画素（Ｎビット）の全てを出力して画素混合するため、Ｎ＋Ｎ＋Ｎ＝３Ｎビットのデータ転送が必要になる。一方、本実施形態では、画素混合出力（Ａ＋Ｂ）または画素混合出力（Ｂ＋Ｃ）の場合はＮ＋１ビット、画素混合出力（Ａ＋２Ｂ＋Ｃ）の場合はＮ＋１＋Ｎ＋１＝２Ｎ＋２ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
【０２１１】
以上のように、第９の実施形態によれば、画素単位でＡＤ変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することができる。
【０２１２】
（第１０の実施形態）
図３７は、本発明の第１０の実施形態における電圧ＨＶＤＤの供給方法を示す模式図である。図３７は、第６の実施形態の第１の画素に供給するＨＶＤＤ１と第２の画素に供給するＨＶＤＤ２の単位蓄積時間当たりの変化を示している。
【０２１３】
この例では、一つの単位蓄積時間をＴｖ＝１／１２８ｓとしており、この時間内にＡＰＤ３３０２Ａ，３３０２Ｂに入射したフォトンの数を計数する。例えば、フレームレート１２０ｆｐｓ相当の動画像を出力する場合はこの蓄積時間を最大蓄積時間として順次読み出しを継続する。なお、蓄積時間は最大蓄積時間の範囲内で任意に決められる。
【０２１４】
ところで、第６の実施形態での課題は、ＡＰＤ３３０２Ａ，３３０２Ｂに同時刻にフォトンが入射すると計数部３４０２Ａでパルスの分離ができず、二つのカウントが一つしか計数されないことである。
【０２１５】
この課題を解決するために、本実施形態では、ＡＰＤに降伏電圧以上の逆バイアス電圧をパルス状に印加するＧＧＭ（Ｇａｔｅｄ  Ｇｅｉｇｅｒ  Ｍｏｄｅ）方式を、ＡＰＤ３３０２Ａ，３３０２Ｂに半位相ずらして適用している。ＧＧＭ方式は逆バイアス電圧を印加するゲート周期を例えば１０ｎｓ、振幅１Ｖ以上で２値にＡＣ変調させ、パルスを時間分解する技術である。この逆バイアス電圧は最大では降伏電圧以上であり、最小では降伏電圧以下となる。
【０２１６】
ＨＶＤＤが降伏電圧以上でなければフォトンが入射しても計数可能なパルスは出力されないため、電圧変調によりＡＰＤ３３０２Ａ，３３０２Ｂの計数可能時刻を規定することができる。このようにＧＧＭ方式の位相をずらして各画素に適用することにより、入射したフォトンを時間分解するだけでなく、第１と第２の画素で排他計測することが可能となる。
【０２１７】
なお、第１と第２の画素で位相をずらす構成はＨＶＤＤのゲーティングのみに限られず、切り離しスイッチ３４０４，３４０５のオンオフやイネーブル回路を設けて時刻差をつける構成等でも構わない。
【０２１８】
また、上記の実施形態では、２画素混合、３画素混合について説明したが、本発明は、２画素混合、３画素混合に限定されるものではない。
【０２１９】
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【０２２０】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【０２２１】
１００：単位画素、１０１Ａ，１０１Ｂ：アバランシェフォトダイオード（ＡＰＤ）、１０２Ａ，１０２Ｂ：クエンチ抵抗、１０３Ａ，１０３Ｂ：波形整形回路、１０４ＡＢ：ＯＲ回路、１０５Ａ，１０５ＡＢ：カウンタ
【図１】
2020127122.tif 000003
【図２】
2020127122.tif 000004
【図３Ａ】
2020127122.tif 000005
【図３Ｂ】
2020127122.tif 000006
【図４】
2020127122.tif 000007
【図５】
2020127122.tif 000008
【図６】
2020127122.tif 000009
【図７】
2020127122.tif 000010
【図８】
2020127122.tif 000011
【図９】
2020127122.tif 000012
【図１０】
2020127122.tif 000013
【図１１】
2020127122.tif 000014
【図１２】
2020127122.tif 000015
【図１３】
2020127122.tif 000016
【図１４Ａ】
2020127122.tif 000017
【図１４Ｂ】
2020127122.tif 000018
【図１５】
2020127122.tif 000019
【図１６】
2020127122.tif 000020
【図１７】
2020127122.tif 000021
【図１８】
2020127122.tif 000022
【図１９】
2020127122.tif 000023
【図２０】
2020127122.tif 000024
【図２１】
2020127122.tif 000025
【図２２】
2020127122.tif 000026
【図２３】
2020127122.tif 000027
【図２４】
2020127122.tif 000028
【図２５】
2020127122.tif 000029
【図２６】
2020127122.tif 000030
【図２７】
2020127122.tif 000031
【図２８】
2020127122.tif 000032
【図２９】
2020127122.tif 000033
【図３０】
2020127122.tif 000034
【図３１】
2020127122.tif 000035
【図３２】
2020127122.tif 000036
【図３３】
2020127122.tif 000037
【図３４】
2020127122.tif 000038
【図３５】
2020127122.tif 000039
【図３６】
2020127122.tif 000040
【図３７】
2020127122.tif 000041