(57)【要約】【課題】簡単な構成でフィルタを適用した画像を生成可能な撮像素子を提供すること。【解決手段】単一フォトンの入射を検出可能な光電変換部を備える画素を複数有する撮像素子である。撮像素子は、光電変換部の出力信号に含まれるパルスをカウントするカウンタを有する。カウンタは、複数の光電変換部の出力信号の第１の期間に含まれるパルス、もしくは１つの光電変換部の出力信号の第１の期間および第２の期間に含まれるパルスをカウントし、画素値とする。【選択図】図３
2019161551.tif 000002
【特許請求の範囲】
【請求項１】
単一フォトンの入射を検出可能な光電変換部を備える画素を複数有する撮像素子であって、
前記光電変換部の出力信号に含まれるパルスをカウントするカウンタを有し、
前記カウンタで、複数の光電変換部の出力信号の第１の期間に含まれるパルス、もしくは１つの光電変換部の出力信号の第１の期間および第２の期間に含まれるパルスをカウントすることにより、カウント値を画素値として出力することを特徴とする撮像素子。
【請求項２】
前記カウント値を、空間方向もしくは時間方向にフィルタを適用した画素値として出力することを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記撮像素子は複数の光電変換部の出力信号の論理和信号を生成するＯＲ回路を有し、
前記カウンタは、前記論理和信号に含まれるパルスをカウントすることにより、ローパスフィルタを適用した画素値を出力することを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記ＯＲ回路に入力する複数の光電変換部の出力信号の１つ以上を分周する分周器をさらに有し、出力信号によって分周比を異ならせることにより、出力信号に付与する重みを異ならせることを特徴とする請求項３に記載の撮像素子。
【請求項５】
前記カウンタは、複数の光電変換部の出力信号に含まれるパルスの数の差をカウントすることにより、ハイパスフィルタもしくはエッジ検出フィルタを適用した画素値を出力することを特徴とする請求項２から請求項４のいずれか１項に記載の撮像素子。
【請求項６】
前記カウンタに複数の光電変換部の出力信号を入力するか、１つの光電変換部の出力信号を入力するかを切り替えるスイッチをさらに有することを特徴とする請求項１から請求項５のいずれか１項に記載の撮像素子。
【請求項７】
前記スイッチは、前記撮像素子の外部から供給される制御信号によって制御可能であることを特徴とする請求項６に記載の撮像素子。
【請求項８】
前記カウンタは、１つの光電変換部の出力信号について、前記第１の期間に含まれるパルスの数と、前記第２の期間に含まれるパルスの数との差をカウントすることにより、カウント値を、時間方向にフィルタを適用した画素値として出力することを特徴とする請求項２に記載の撮像素子。
【請求項９】
前記第２の期間は前記第１の期間と同じ長さであることを特徴とする請求項８に記載の撮像素子。
【請求項１０】
前記カウンタはアップダウンカウンタであり、前記第１の期間および前記第２の期間の一方でアップカウントし、他方でダウンカウントすることにより、前記差をカウントすることを特徴とする請求項８または請求項９に記載の撮像素子。
【請求項１１】
前記撮像素子は複数の基板を有する積層構造を有し、前記光電変換部は第１の基板に、前記カウンタは第２の基板に設けられることを特徴とする請求項１から請求項１０のいずれか１項に記載の撮像素子。
【請求項１２】
前記第１の基板で複数の光電変換部の出力信号を多重化して前記第２の基板に転送することを特徴とする請求項１１に記載の撮像素子。
【請求項１３】
前記第２の基板では、前記多重化された出力信号を光電変換部ごとの出力信号に分離することを特徴とする請求項１２に記載の撮像素子。
【請求項１４】
前記第２の基板では、前記多重化された出力信号を分離しないことを特徴とする請求項１２に記載の撮像素子。
【請求項１５】
１つのマイクロレンズを水平方向に隣接する第１の光電変換部および第２の光電変換部が共有する構成である場合、
前記第１の光電変換部および前記第２の光電変換部の出力信号を多重化した第１の多重化信号と、
前記第１の光電変換部および前記第２の光電変換部と垂直方向に隣接し、かつ水平方向に隣接する第３の光電変換部および第４の光電変換部の出力信号を多重化した第２の多重化信号と、
前記第１の光電変換部および前記第３の光電変換部、もしくは前記第２の光電変換部および前記第４の光電変換部の出力信号を多重化した第３の多重化信号と、
を前記第１の基板から前記第２の基板に転送することを特徴とする請求項１２から請求項１４のいずれか１項に記載の撮像素子。
【請求項１６】
１つのマイクロレンズを水平方向に隣接する第１の光電変換部および第２の光電変換部が共有する構成である場合、
前記第１の光電変換部および前記第２の光電変換部の出力信号を多重化した多重化信号と、
前記第１の光電変換部および前記第２の光電変換部の一方の出力信号と、
を前記第１の基板から前記第２の基板に転送することを特徴とする請求項１２から請求項１４のいずれか１項に記載の撮像素子。
【請求項１７】
前記複数の光電変換部の出力信号のそれぞれは、他の出力信号とパルスの期間が重複しないことを特徴とする請求項１から請求項１６のいずれか１項に記載の撮像素子。
【請求項１８】
前記複数の光電変換部のそれぞれが、単一フォトンの入射によって出力信号に電圧変化が発生する期間内で異なる期間にパルスを含んだ出力信号を生成することを特徴とする請求項１７に記載の撮像素子。
【請求項１９】
前記出力信号の前記期間内に含まれるパルスの数を光電変換部によって異ならせることにより、光電変換部の出力信号に重み付けを行うことを特徴とする請求項１８に記載の撮像素子。
【請求項２０】
前記光電変換部は、光電変換素子と、該光電変換素子の出力信号と比較信号とを比較して前記パルスを生成する比較回路とを有し、
前記比較信号が所定の周期で電圧が変化する信号である、
ことを特徴とする請求項１に記載の撮像素子。
【請求項２１】
前記比較信号により、前記光電変換部に単一フォトンが入射した際に前記光電変換部の出力信号に含まれるパルスの数を２以上とすることを特徴とする請求項２０に記載の撮像素子。
【請求項２２】
請求項１から請求項２１のいずれか１項に記載の撮像素子を有することを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子およびそれを有する電子機器に関する。
【背景技術】
【０００２】
アバランシェフォトダイオード(APD)は、降伏電圧（ブレークダウン電圧）以上の逆電圧を印加した状態（ガイガーモード）で動作させると、アバランシェ増倍が発生するという特性を有する。この性質を利用して、ＡＰＤをガイガーモードで動作させて単一フォトンを検出可能とした受光素子がＳＰＡＤ(Single Photon Avalanche Diode)である。
【０００３】
特許文献１では、複数のＳＰＡＤを２次元配置した光検出器を用い、光の飛行時間(TOF:Time Of Flight)に基づいて距離を計測するシステムが開示されている。特許文献１には、複数のＳＰＡＤから出力された各パルス信号を単純加算することにより、フォトンの検出精度を高める構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２―６００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的にデジタルカメラでは、撮像素子とは別個の演算回路が用いて、ノイズ低減やエッジ検出などを目的としたフィルタを撮像画像に適用している。ＳＰＡＤを二次元配置した撮像素子を用いる場合にも、同様のフィルタを撮像画像に適用することが必要となる。しかし、特許文献１に記載された構成では、個々のパルス信号に重み付けをしたフィルタを適用することができない。また、加算によって得られるパルス信号にフィルタを適用する場合、フィルタを適用するための演算回路が必要となる。
【０００６】
本発明は、簡単な構成でフィルタを適用した画像を生成可能な撮像素子の提供を目的の１つとする。
【課題を解決するための手段】
【０００７】
上述の目的は、単一フォトンの入射を検出可能な光電変換部を備える画素を複数有する撮像素子であって、光電変換部の出力信号に含まれるパルスをカウントするカウンタを有し、カウンタで、複数の光電変換部の出力信号の第１の期間に含まれるパルス、もしくは１つの光電変換部の出力信号の第１の期間および第２の期間に含まれるパルスをカウントすることにより、カウント値を画素値として出力することを特徴とする撮像素子によって達成される。
【発明の効果】
【０００８】
本発明によれば、簡単な構成でフィルタを適用した画像を生成可能な撮像素子を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の例を示すブロック図
【図２】本発明の実施形態に係る撮像素子の構成例を示すブロック図
【図３】第１の実施形態に係る画素の等価回路図
【図４】第１の実施形態に係るフォトンのカウント動作の一例を示すタイミングチャート
【図５】第２の実施形態に係る画素の等価回路図
【図６】第２の実施形態に係るフォトンのカウント動作の一例を示すタイミングチャート
【図７】第１および第２の実施形態に係る画素の等価回路図
【図８】第３の実施形態に係る画素の等価回路図
【図９】第３の実施形態に係るフォトンのカウント動作の一例を示すタイミングチャート
【図１０】第４の実施形態に係る画素の等価回路図
【図１１】第４の実施形態に係るフォトンのカウント動作の一例を示すタイミングチャート
【図１２】第５の実施形態に係る画素の等価回路図
【図１３】第５の実施形態に係る画素の動作を示すタイミングチャート
【図１４】第５の実施形態に係る信号処理回路および撮像素子の構成図
【図１５】第６の実施形態に係る画素の動作を示すタイミングチャート
【図１６】第７の実施形態に係る画素の等価回路図
【図１７】第７の実施形態に係る画素の動作を示すタイミングチャート
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。なお、以下では本発明を撮像素子を有する電子機器の一例としてのデジタルカメラに適用した実施形態について説明するが、本発明は撮像素子を有しうる任意の電子機器に適用することができる。このような電子機器には撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。
【００１１】
●＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。デジタルカメラ１００は撮像素子１０１、光学系１０２、ＤＳＰ１０３、メモリ部１０４、ＣＰＵ１０５、表示部１０６、記録媒体１０７および操作部１０８から構成される。
【００１２】
光学系１０２はレンズ群および絞りを備え、被写体の光学像を撮像素子１０１の撮像面に形成する。また、光学系１０２は可動レンズや絞りを駆動する機構（例えばモータやアクチュエータ）を備える。絞りはメカニカルシャッタとして機能してもよい。
【００１３】
撮像素子１０１は、単一フォトンの入射を検出可能な光電変換部を備える画素を複数有し、光学系１０２が形成する光学像を、個々の光電変換部に入射したフォトンの数（デジタル値）に変換することができる。
【００１４】
ＤＳＰ(Digital Signal Processor)１０３は、撮像素子１０１が出力する画像データに対して様々な処理を適用する画像処理回路として機能するプロセッサである。主制御部として機能するＣＰＵ１０５は、デジタルカメラ１００の各部の動作を制御する。なお、ＤＳＰ１０３およびＣＰＵ１０５は、例えばメモリ部１０４に含まれる不揮発性メモリに記憶されているプログラムを、メモリ部１０４に含まれる揮発性メモリ（ワークメモリ）に読み込んで実行することにより、所定の動作を実現する。なお、ＣＰＵ１０５によってもＤＳＰ１０３と同様の処理を実現できるが、ＤＳＰ１０３は特定の信号処理に関してＣＰＵ１０５よりも高速に実行することができる。
【００１５】
表示部１０６は例えば液晶ディスプレイ（ＬＣＤ）であり、撮影された画像、デジタルカメラ１００の各種情報（撮影条件、各種設定値、バッテリー残量、残り記録枚数／時間など）、メニュー画面などのＧＵＩを表示する。
【００１６】
記録媒体１０７はＣＰＵ１０５によって読み書きが可能であり、撮影で得られた画像データの記録先として用いられる。記録媒体１０７は例えば着脱可能なメモリカードであってよい。
【００１７】
操作部１０８は、スイッチ、ボタン、ダイヤル、タッチパネルなど、デジタルカメラ１００が有する複数の入力デバイスの総称である。操作部１０８に対するユーザ操作はＣＰＵ１０５が検出可能である。操作部１０８には例えば電源スイッチ、シャッターボタン、メニューボタン、方向キー、決定ボタンなどが含まれる。なお、操作部１０８にタッチパネルが含まれる場合、通常、表示部１０６の表示とタッチパネルとの組み合わせにより特定の機能を有する入力デバイスが実現される。
【００１８】
なお、ＤＳＰ１０３は画像データから例えば自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）に用いる評価値を生成することができる。ＣＰＵ１０５はこれらの評価値に基づいて撮影条件（絞り値、シャッタースピード、撮影感度）を決定したり、光学系１０２が有するフォーカスレンズを駆動したりして、ＡＥやＡＦを実現することができる。ホワイトバランス調整、ガンマ補正、符号化および復号、被写体検出といった、一般的なデジタルカメラが備える機能については、特に説明しない限り、ＤＳＰ１０３およびＣＰＵ１０５の少なくとも一方がプログラムを実行することによって実現可能である。
【００１９】
図２は、撮像素子１０１の構成例を模式的に示す図である。撮像素子１０１は、画素アレイ２００、垂直選択回路２０２、スイッチ２０３、２０４、水平選択回路２０５、デジタル出力部２０６、タイミング発生回路（ＴＧ）２０７および制御部２０８を有する。
【００２０】
画素アレイ２００は、２次元状に配置された複数の画素２０１を有する。図２では模式的に３行×３列分の画素２０１しか示していないが、実際には数十万から数千万の画素２０１が配列されている。垂直選択回路２０２は画素２０１ごとに設けられたスイッチ２０３のオン、オフを、画素の１行単位で制御する。画素２０１に対応するスイッチ２０３をオンにすることを、その画素２０１を選択するという。
【００２１】
水平選択回路２０５は、画素２０１の一列ごとに設けられた垂直信号線に接続されたスイッチ２０４のオン、オフを制御する。スイッチ２０３がオン状態の行に含まれる複数の画素２０１のうち、スイッチ２０４がオン状態の垂直信号線に接続されている１つの画素２０１から信号を読み出すことができる。読み出された信号は、デジタル出力部２０６によってＡ／Ｄ変換され、画素データとして撮像素子１０１の外部に出力される。
制御部２０８は、画素２０１に制御信号を供給する。
【００２２】
ＴＧ２０７はＣＰＵ１０５の制御に従い、垂直選択回路２０２、水平選択回路２０５および制御部２０８に制御信号を供給し、画素２０１の動作および、画素２０１からの信号読み出し動作を制御する。
【００２３】
以下、２次元状に配置された画素２０１のうち、ｎ（ｎは１以上の整数）行目に配置された１つの画素２０１（画素２０１ｎと表記する）の動作制御について説明する。画素２０１ｎを構成する構成要素や、画素２０１ｎに関する信号についてもｎを付記する。
【００２４】
図３は、画素２０１ｎの等価回路図である。画素２０１ｎは、光電変換部である受光部３００ｎと、ＯＲ回路３０４ｎと、カウンタ回路３０５ｎと、スイッチ３０６ｎとを備える。なお、図３では、便宜上、画素２０１ｎと同じ構成を有するｎ―１行目の画素２０１ｎ―１の構成要素のうち、受光部３００ｎ―１も図示している。
【００２５】
受光部３００ｎは、光電変換素子であるフォトダイオード３０１ｎと、クエンチ抵抗３０２ｎと、反転バッファ３０３ｎとを含んで構成される。本実施形態において、フォトダイオード３０１ｎはアバランシェフォトダイオード（ＡＰＤ）である。フォトダイオード３０１ｎにはクエンチ抵抗３０２ｎを介して降伏電圧以上のバイアス電圧Ｖｂｉａｓが印加されており、したがってフォトダイオード３０１ｎはガイガーモードで動作する。フォトダイオード３０１ｎにフォトンが入射すると、アバランシェ増倍によって大きな光電流が流れ、クエンチ抵抗３０２ｎで電圧降下が発生する。これにより、フォトダイオード３０１ｎに印加されるバイアス電圧Ｖｂｉａｓが低下し、バイアス電圧Ｖｂｉａｓが降伏電圧まで降下するとアバランシェ増倍は停止する。その結果、光電流が流れなくなり、フォトダイオード３０１ｎには再びバイアス電圧Ｖｂｉａｓが印加される状態に戻る。なお、クエンチ抵抗３０２ｎはフォトダイオード３０１ｎのアバランシェ増倍を停止するための抵抗素子である。ここで、クエンチ抵抗３０２ｎはトランジスタの抵抗成分を利用してもよい。
【００２６】
反転バッファ３０３ｎは、クエンチ抵抗３０２ｎで発生した電圧変化をパルス信号として出力する。このようにして、フォトダイオード３０１ｎにフォトンが入射すると、反転バッファ３０３ｎから１つのパルス信号を出力させることができる。ここで、受光部３００ｎから出力されるパルス信号をＰＬＳｎ、受光部３００ｎ―１から出力されるパルス信号をＰＬＳｎ―１とする。
【００２７】
ＯＲ回路３０４ｎには受光部３００ｎ、３００ｎ―１から出力されるパルス信号が入力される。ＯＲ回路３０４ｎは２つの入力信号の論理和信号を出力する。論理和信号はカウンタ回路３０５ｎに入力される。
【００２８】
カウンタ回路３０５ｎはＯＲ回路３０４ｎから出力される論理和信号が有するパルス数をカウントする。カウンタ回路３０５ｎでカウントした値（以降、カウント値）は、垂直信号線およびスイッチ２０４を通じてデジタル出力部２０６ｎに供給される。受光部３００ｎ―１とＯＲ回路３０４との間に設けられるスイッチ３０６ｎは、制御部２０８の制御信号によってオン・オフが制御される。つまり、スイッチ３０６ｎは撮像素子１０１の外部から制御可能である。スイッチ３０６ｎがオフの場合、受光部３００ｎ―１から出力されるパルス信号はＯＲ回路３０４に入力されない。
【００２９】
次に２つの受光部３００ｎ、３００ｎ―１から出力されるパルス信号ＰＬＳｎ、ＰＬＳｎ―１がどのようにカウンタ回路３０５ｎに入力されるかを説明する。まず、制御部２０８によりスイッチ３０６ｎがオンされる。これにより、２つの受光部３００ｎ、３００ｎ―１から出力されるパルス信号ＰＬＳｎ、ＰＬＳｎ―１がＯＲ回路３０４ｎに入力される。
【００３０】
各画素２０１が有する受光部３００が出力するパルス信号は、自身が有するＯＲ回路３０４と、同じ列の１つ下の行の画素が有するＯＲ回路３０４（との間のスイッチ３０６）とに出力される。
【００３１】
ＯＲ回路３０４ｎは入力された２つのパルス信号ＰＬＳｎ、ＰＬＳｎ―１の論理和信号を生成し、カウンタ回路３０５ｎに出力する。そして、カウンタ回路３０５ｎは論理和信号に含まれるパルス数をカウントする。
【００３２】
このように、本実施形態では２つの受光部３００ｎ、３００ｎ―１から出力されるパルス信号ＰＬＳｎ、ＰＬＳｎ―１の論理和信号に含まれるパルスの数を１つのカウンタ回路３０５ｎでカウントする。よって、カウンタ回路３０５ｎのカウント値は、空間方向にフィルタを適用した画素値、より具体的には列方向（垂直方向）にローパスフィルタを適用した画素値に相当する。ここでは隣接する２つの画素について出力の論理和を得る構成について説明したが、隣接する３つ以上の画素について同様の構成としてもよい。論理和を得る出力（パルス信号）の数が増えるほどローパスフィルタの効果が強くなる。
【００３３】
次に、図３に示した画素２０１ｎのフォトンのカウント動作について説明する。図４は、図３に示した画素２０１ｎのフォトンのカウント動作の一例を示すタイミングチャートである。説明のため、図３のＯＲ回路３０４ｎが出力する論理和信号をＯＲｎと表記する。ここで、ＣＮＴ＿ＲＳＴとＣＮＴ＿ＥＮは制御部２０８から供給される、カウンタ回路３０５ｎの制御信号である。ＣＮＴ＿ＲＳＴがＨレベルとなるとカウンタ回路３０５ｎのカウント値がリセットされる。また、ＣＮＴ＿ＥＮがＨレベルの期間のみ、カウンタ回路３０５ｎは論理和信号のパルスを計数する。すなわち、ＣＮＴ＿ＥＮは露光時間を制御する信号である。
【００３４】
ＣＮＴ＿ＲＳＴを時刻ｔ４００でＬレベルからＨレベルにして、カウンタ回路３０５ｎのカウント値をリセットする。その後、時刻ｔ４０１でＣＮＴ＿ＲＳＴをＨレベルからＬレベルとする。
【００３５】
また、時刻ｔ４０１で受光部３００ｎ、３００ｎ―１にバイアス電圧Ｖｂｉａｓが供給され、フォトダイオード３０１ｎ、３０１ｎ―１には、降伏電圧以上のバイアス電圧が印加される。これにより、フォトダイオード３０１ｎ、３０１ｎ―１はガイガーモードで動作し、フォトンが入射するごとに出力信号ＰＬＳｎ、ＰＬＳｎ―１にパルスが発生する。また、時刻ｔ４０１でＣＮＴ＿ＥＮがＨレベルとなり、カウンタ回路３０５ｎはカウント動作を開始する。
【００３６】
時刻ｔ４０２において、受光部３００ｎ―１のフォトダイオード３０１ｎ―１にフォトンが入射したことにより、受光部３００ｎ―１の出力信号ＰＬＳｎ―１に矩形状のパルスが発生する。これにより、ＯＲ回路３０４ｎは出力信号ＰＬＳｎ―１由来のパルスを出力する。カウンタ回路３０５ｎはこのパルスをカウントし、カウント値が０から１になる。
【００３７】
時刻ｔ４０３において、受光部３００ｎのフォトダイオード３０１ｎにフォトンが入射したことにより、受光部３００ｎの出力信号ＰＬＳｎに矩形状のパルスが発生する。これにより、ＯＲ回路３０４ｎは出力信号ＰＬＳｎ由来のパルスを出力する。カウンタ回路３０５ｎはこのパルスをカウントし、カウント値が１から２になる。
【００３８】
時刻ｔ４０３以降、時刻ｔ４０４でＣＮＴ＿ＥＮがＬレベルになり撮影が終了するまで、受光部３００ｎ、３００ｎ―１にフォトンが入射するごとに出力信号ＰＬＳｎ、ＰＬＳｎ―１にパルスが発生する。個々のパルス信号はＯＲ回路３０４ｎを通じてカウンタ回路３０５ｎに供給され、パルス数がカウントされる。
【００３９】
時刻ｔ４０４で撮影が終了した後、カウンタ回路３０５ｎのカウント値は垂直選択回路２０２および水平選択回路２０５の制御によりデジタル出力部２０６に出力され、さらに撮像素子１０１の外部に出力される。
【００４０】
以上説明したように、本実施形態の撮像装置は、単一フォトンの検出が可能な画素（受光部）が複数配列された撮像素子を、複数の画素の出力の論理和を出力可能な構成とした。そして、複数の画素の出力の論理和を１つの画素の出力として用いることにより、簡単な構成でローパスフィルタを適用した画素出力を得ることができる。したがって、回路規模の増大を抑制しながら、ノイズを低減した画像を得ることができる。
【００４１】
なお、ローパスフィルタを適用しない場合には、論理和回路に入力する信号を１つにすればよい。具体的には、制御部２０８を通じて撮像素子１０１の外部からスイッチ３０６をオフすることで、カウンタ回路３０５は１つの受光部３００から出力されるパルスをカウントする。このように、撮影された画像に対してローパスフィルタを適用するか否かを撮像素子の外部から動的に制御可能である。例えばＣＰＵ１０５は、撮影感度が予め定められた閾値を超える場合にローパスフィルタを適用するよう、制御部２０８を通じてスイッチ３０６のオン、オフを制御することができる。なお、論理和回路で３入力以上の論理和を出力可能な場合、撮影感度が上昇するにつれ、段階的に論理和回路に入力する信号の数を増やすように構成して、ローパスフィルタの効果を強くしてもよい。撮影感度はＡＥ処理で決定されてもよいし、ユーザの設定値であってもよい。
【００４２】
●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では複数の画素の出力の論理和を求めることでローパスフィルタの効果を実現する構成であった。本実施形態では、２つの画素の出力の一方をアップダウンカウンタ回路のカウントアップ入力に、他方をカウントダウン入力に供給する構成により、ハイパス（微分）フィルタの効果を実現する。
【００４３】
本実施形態は撮像素子１０１の画素アレイ２００の構成以外、第１の実施形態と共通であってよい。そのため、以下では本実施形態における画素アレイ２００の構成および動作について説明する。
【００４４】
図５は、本実施形態における画素アレイ２００に２次元配置される画素２０１に相当する画素５００ｎの等価回路図である。第１の実施形態で説明した構成要素については図３と同じ参照数字を付し、重複する説明は省略する。第１の実施形態との構成上の違いは、ＯＲ回路３０４ｎおよびカウンタ回路３０５ｎの代わりに、アップダウンカウンタ回路５０１ｎが配置されている点である。なお、図５において、ｎ―１行の画素５００ｎ―１については、第１の実施形態と同様に受光部３００ｎ―１以外の構成を省略している。
【００４５】
アップダウンカウンタ回路５０１ｎは、アップカウント入力端子（以降、＋端子）に入力されたパルス数をアップ方向にカウントし、ダウンカウント入力端子（以降、―端子）に入力されたパルス数をダウン方向にカウントする。アップダウンカウンタ回路５０１ｎは対応する画素５００ｎの受光部３００ｎが出力するパルス数をアップカウントするように構成される。スイッチ５０２ｎは画素５００ｎと同じ水平位置で垂直方向に１行上の画素５００ｎ―１の受光部３００ｎ―１が出力するパルス信号をアップダウンカウンタ回路５０１ｎの―端子へ入力するかしないかを切り替える。スイッチ５０２ｎがオフの場合、アップダウンカウンタ回路５０１ｎは画素５００ｎの受光部３００ｎが出力するパルスの数のアップカウントのみを行う。スイッチ５０２ｎのオン・オフは制御部２０８から供給される制御信号によって制御される。
【００４６】
次に、各受光部３００ｎ、３００ｎ―１から信号がどのようにアップダウンカウンタ回路５０１ｎに入力されるかを説明する。まず、制御部２０８によりスイッチ５０２ｎがオンされる。受光部３００ｎ―１からの信号ＰＬＳｎ―１は、スイッチ５０２ｎを介してアップダウンカウンタ回路５０１の―端子に入力される。なお、信号ＰＬＳｎ―１は図示していないアップダウンカウンタ回路５０１ｎ―１の＋端子にも入力される。受光部３００ｎからの信号ＰＬＳｎはアップダウンカウンタ回路５０１ｎの＋端子に入力される。また、信号ＰＬＳｎは図示していないスイッチ５０２ｎ＋１を介してアップダウンカウンタ回路５０１ｎ＋１の―端子にも入力される。
【００４７】
アップダウンカウンタ回路５０１ｎは＋端子に入力されたパルス数をアップカウントし、―端子に入力されたパルス数をダウンカウントする。従って、アップダウンカウンタ回路５０１ｎで得られるカウント値は、２つの受光部３００ｎ、３００ｎ―１に入射したフォトン数の差である。これは、隣接する画素値の差を求めるハイパスフィルタを適用することに相当する。したがって、アップダウンカウンタ回路５０１ｎのカウント値は、受光部３００ｎの画素信号に対して被写体のエッジを検出するフィルタ（ハイパスフィルタ）を適用した画素値に相当する。
【００４８】
次に、図５に示した画素５００ｎのフォトンのカウント動作について説明する。図６は、図５に示した画素５００ｎのフォトンのカウント動作の一例を示すタイミングチャートである。ここでも、ＣＮＴ＿ＲＳＴとＣＮＴ＿ＥＮは制御部２０８から供給される。本実施形態では、ＣＮＴ＿ＲＳＴがＨレベルとなるとアップダウンカウンタ回路５０１ｎのカウント値が所定のオフセット値（＞０）にリセットされる。また、ＣＮＴ＿ＥＮがＨレベルの期間のみ、アップダウンカウンタ回路５０１ｎは入力パルスを計数する。すなわち、ＣＮＴ＿ＥＮは露光時間を制御する信号である。
【００４９】
ＣＮＴ＿ＲＳＴを時刻ｔ６００でＬレベルからＨレベルにして、アップダウンカウンタ回路５０１ｎのカウント値をリセットする。その後、時刻ｔ６０１でＣＮＴ＿ＲＳＴをＨレベルからＬレベルとする。
【００５０】
また、時刻ｔ６０１で受光部３００ｎ、３００ｎ―１にバイアス電圧Ｖｂｉａｓが供給され、フォトダイオード３０１ｎ、３０１ｎ―１には、降伏電圧以上のバイアス電圧が印加される。これにより、フォトダイオード３０１ｎ、３０１ｎ―１はガイガーモードで動作し、フォトンが入射するごとに出力信号ＰＬＳｎ、ＰＬＳｎ―１にパルスが発生する。また、時刻ｔ６０１でＣＮＴ＿ＥＮがＨレベルとなり、アップダウンカウンタ回路５０１ｎはカウント動作を開始する。
【００５１】
時刻ｔ６０２において、受光部３００ｎのフォトダイオード３０１ｎにフォトンが入射したことにより、受光部３００ｎの出力信号ＰＬＳｎに矩形状のパルスが発生する。出力信号ＰＬＳｎはアップダウンカウンタ回路５０１ｎの＋端子に入力されているため、アップダウンカウンタ回路５０１ｎはこのパルスをアップカウントし、カウント値がオフセット値＋１になる。
【００５２】
時刻ｔ６０３において、受光部３００ｎ―１のフォトダイオード３０１ｎ―１にフォトンが入射したことにより、受光部３００ｎ―１の出力信号ＰＬＳｎ―１に矩形状のパルスが発生する。これにより、アップダウンカウンタ回路５０１ｎはこのパルスをダウンカウントし、カウント値がオフセット値に戻る。
【００５３】
時刻ｔ６０３以降、時刻ｔ６０４でＣＮＴ＿ＥＮがＬレベルになり撮影が終了するまで、受光部３００ｎ、３００ｎ―１にフォトンが入射するごとに、出力信号ＰＬＳ、ＰＬＳｎ―１にパルスが発生する。個々のパルスはアップダウンカウンタ回路５０１ｎに供給され、パルス数の差がカウントされる。
【００５４】
時刻ｔ６０４で撮影が終了した後、アップダウンカウンタ回路５０１ｎのカウント値は、垂直選択回路２０２および水平選択回路２０５の制御によりデジタル出力部２０６に出力され、さらに撮像素子１０１の外部に出力される。
【００５５】
以上説明したように、本実施形態の撮像装置は、単一フォトンの検出が可能な画素（受光部）が複数配列された撮像素子を、複数の画素の出力の差を出力可能な構成とした。そして、複数の画素の出力の差を１つの画素の出力として用いることにより、簡単な構成でエッジ検出フィルタ（ハイパスフィルタ）を適用した画素出力を得ることができる。
【００５６】
なお、フィルタを適用しない場合には、アップダウンカウンタ回路５０１ｎに受光部３００ｎの出力信号だけを入力すればよい。具体的には、制御部２０８を通じてスイッチ５０２をオフする。このように、撮影された画像に対してエッジ検出フィルタを適用するか否かを撮像素子の外部から動的に制御することができる。例えば、撮影画像を外観検査に用いる場合にエッジ検出フィルタを適用するよう、ユーザ設定によってスイッチ５０２のオン、オフを決定することができる。
【００５７】
＜変形例＞
本実施形態は第１の実施形態と組み合わせて実施することもできる。図７はローパスフィルタとエッジ検出フィルタの２種類のフィルタを選択的に適用可能とした画素７００ｎの等価回路図である。既に説明した構成要素については図３および図５と同じ参照番号を付してある。本実施形態では、アップダウンカウンタ回路５０１ｎの＋入力の前段にＯＲ回路３０４ｎを配置するとともに、スイッチ７０１ｎ、７０２ｎを有している。本実施形態の画素７００ｎは図２の画素２０１に相当する。
【００５８】
スイッチ７０１ｎは受光部３００ｎ―１の出力信号の供給先を、ＯＲ回路３０４ｎまたはスイッチ７０２ｎとの間で切り替える。スイッチ７０２ｎはスイッチ７０１ｎを通じて供給される信号をアップダウンカウンタ回路５０１ｎの―端子へ入力するかしないかを切り替える。スイッチ７０１ｎ、７０２ｎはともに制御部２０８が供給する制御信号によって制御される。
【００５９】
画素７００ｎの信号にローパスフィルタを適用する場合、スイッチ７０１ｎを、受光部３００ｎ―１の出力信号をＯＲ回路３０４に供給するように切り替える。これにより、図３に示した等価回路図と同様の構成を実現できる。したがって、ローパスフィルタが適用された画素７００ｎの画素値が、アップダウンカウンタ回路５０１ｎのカウント値として得られる。この場合、スイッチ７０２ｎはオンでもオフでもよい。
【００６０】
また、画素７００ｎの信号にエッジ検出フィルタを適用する場合、スイッチ７０１ｎを、受光部３００ｎ―１の出力信号をスイッチ７０２ｎに供給するように切り替える。また、スイッチ７０２ｎをオンし、スイッチ７０１ｎとアップダウンカウンタ回路５０１ｎの―端子とを接続する。これにより、図５に示した等価回路図と同様の構成を実現できる。したがって、エッジ検出フィルタが適用された画素７００ｎの画素値が、アップダウンカウンタ回路５０１ｎのカウント値として得られる。
【００６１】
なお、スイッチ７０１ｎを、受光部３００ｎ―１の出力信号をスイッチ７０２ｎに供給するように切り替え、スイッチ７０２ｎをオフすることで、フィルタを適用しない画素７００ｎの画素値が、アップダウンカウンタ回路５０１ｎのカウント値として得られる。
【００６２】
このように、本変形例によれば、簡便な構成により、外部からの制御により、フィルタを適用しない画素値、ローパスフィルタを適用した画素値、およびエッジ検出フィルタを適用した画素値を、選択的に得ることができる。
【００６３】
●＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本実施形態では、３つの受光部の出力信号に対して重み付け（分周）した後、パルス数をカウントすることにより、重み付けのフィルタを適用した画素値を取得可能とした。本実施形態は撮像素子１０１の画素アレイ２００の構成以外、第１の実施形態と共通であってよい。そのため、以下では本実施形態における画素アレイ２００の構成および動作について説明する。
【００６４】
図８は、本実施形態における画素アレイ２００に２次元配置される画素２０１に相当する画素８００ｎの等価回路図である。第１の実施形態で説明した構成要素については図３と同じ参照数字を付し、重複する説明は省略する。本実施形態では、ＯＲ回路８０２ｎに１行下（ｎ＋１行）の画素８００ｎ＋１の出力信号ＰＬＳｎ＋１がさらに入力される。また、画素８００ｎ―１および画素８００ｎ＋１の出力信号にそれぞれ重み付けを行う分周器８０１ｎが設けられている。なお、図８において、ｎ―１行の画素８００ｎ―１およびｎ＋１行の画素８００ｎ＋１については、それぞれ、受光部３００ｎ―１および受光部３００ｎ＋１以外の構成を省略している。
【００６５】
２つの分周器８０１ｎはそれぞれ、受光部３００ｎ―１、３００ｎ＋１の出力信号に含まれるＨレベルのパルスを２分周（パルスの数を１／２に）し、分周したパルスをＯＲ回路８０２ｎに入力する。なお、分周器８０１ｎの分周比は２でなくてもよいし、出力信号ごとに異ならせてもよい。また、分周器８０１ｎの分周比が可変であってもよい。
【００６６】
ＯＲ回路８０２ｎが有する３つの入力端子のうち２つには分周器８０１ｎから、残り１つには受光部３００ｎからの信号が入力される。ＯＲ回路８０２ｎは３つの入力信号の論理和信号をカウンタ回路３０５ｎに入力する。２つのスイッチ８０３ｎは受光部３００ｎ―１、３００ｎ＋１の出力信号を分周器８０１ｎへ入力するかしないかを切り替える。スイッチ８０３ｎは制御部２０８からの制御信号によって制御される。
【００６７】
次に、各受光部３００ｎ―１、３００ｎ、３００ｎ＋１の出力信号がどのように重み付けされ、カウンタ回路３０５ｎに入力されるかを説明する。ここで、受光部３００ｎ―１の出力信号ＰＬＳｎ―１の分周出力をＤＩＶｎ―１、受光部３００ｎ＋１の出力信号ＰＬＳｎ＋１の分周出力をＤＩＶｎ＋１、ＯＲ回路８０２ｎの出力をＯＲｎとする。
【００６８】
まず、制御部２０８により２つのスイッチ８０３ｎがオンされる。これにより、２つの受光部３００ｎ―１、３００ｎ＋１の出力信号ＰＬＳｎ―１、ＰＬＳｎ＋１がそれぞれ対応する分周器８０１ｎに入力される。分周器８０１ｎは出力信号ＰＬＳｎ―１、ＰＬＳｎ＋１を２分周する。分周器８０１ｎは、出力信号ＰＬＳｎ―１、ＰＬＳｎ＋１に含まれるパルスの数を１／２に削減した信号ＤＩＶｎ―１、ＤＩＶｎ＋１を出力する。
【００６９】
したがって、スイッチ８０３ｎがいずれもオンの場合、ＯＲ回路８０２ｎには、信号ＤＩＶｎ―１、ＤＩＶｎ＋１と、受光部３００ｎの出力信号ＰＬＳｎとが入力される。なお各画素の受光部３００の出力信号は、上下に隣接する２つの画素の分周器（図８の例では画素８００ｎ―１、８０１ｎ＋１が有する分周器）にも入力される。
【００７０】
分周器８０１ｎを用いることにより、ＯＲ回路８０２ｎの３つの入力信号のうち、受光部３００ｎ―１および３００ｎ＋１の出力信号ＰＬＳｎ―１およびＰＬＳｎ＋１には、受光部３００ｎの出力信号ＰＬＳに対して１／２の重みが付与される。あるいは、出力信号ＰＬＳの重みは、出力信号ＰＬＳｎ―１およびＰＬＳｎ＋１の重みの２倍となる。ＯＲ回路８０２ｎは３つの入力信号の論理和信号ＯＲｎをカウンタ回路３０５ｎに入力する。そして、カウンタ回路３０５ｎは論理和信号ＯＲｎのパルス数をカウントする。
【００７１】
このように、分周器８０１ｎを用いることで、受光部３００の出力信号に重み付けすることができる。そのため、分周器８０１ｎの分周比を調整することにより、画像に適用するローパスフィルタの効果を調整することができる。
【００７２】
次に、図８に示した画素８００ｎのフォトンのカウント動作について説明する。図９は、図８に示した画素８００ｎのフォトンのカウント動作の一例を示すタイミングチャートである。ここで、ＣＮＴ＿ＲＳＴとＣＮＴ＿ＥＮは第１の実施形態と同様の信号であり、制御部２０８から供給される。本実施形態では、ＣＮＴ＿ＲＳＴがＨレベルとなるとアップダウンカウンタ回路５０１ｎのカウント値が０にリセットされ、ＣＮＴ＿ＥＮがＨレベルの期間のみ、カウンタ回路３０５ｎは入力パルスを計数する。すなわち、ＣＮＴ＿ＥＮは露光時間を制御する信号である。
【００７３】
ＣＮＴ＿ＲＳＴを時刻ｔ９００でＬレベルからＨレベルにして、アップダウンカウンタ回路５０１ｎのカウント値をリセットする。その後、時刻ｔ９０１でＣＮＴ＿ＲＳＴをＨレベルからＬレベルとする。
【００７４】
また、時刻ｔ９０１で受光部３００ｎ―１、３００ｎ、３００ｎ＋１にバイアス電圧Ｖｂｉａｓが供給され、フォトダイオード３０１ｎ―１、３０１ｎ、３０１ｎ＋１には、降伏電圧以上のバイアス電圧が印加される。これにより、フォトダイオード３０１ｎ―１、３０１ｎ、３０１ｎ＋１はガイガーモードで動作し、フォトンが入射するごとに出力信号ＰＬＳｎ＋１、ＰＬＳｎ、ＰＬＳｎ―１にパルスが発生する。また、時刻ｔ９０１でＣＮＴ＿ＥＮがＨレベルとなり、カウンタ回路３０５ｎはカウント動作を開始する。
【００７５】
時刻ｔ９０２において、受光部３００ｎ＋１のフォトダイオード３０１ｎ＋１にフォトンが入射したことにより、受光部３００ｎ＋１の出力信号ＰＬＳｎ＋１に矩形状のパルスが発生する。出力信号ＰＬＳｎ＋１は分周器８０１ｎに入力される。本実施形態の分周器８０１は、２ｍ（ｍは１以上の整数）番目のパルスを出力し、２ｍ―１番目のパルスは出力しないことにより、分周比２の分周を行う。そのため、この時点では分周器８０１ｎの出力信号ＤＩＶｎ＋１のレベルはＬレベルを維持する。他の受光部３００ｎおよび３００ｎ―１のフォトダイオード３０１ｎおよび３０１ｎ―１にはフォトンが入射していないため、ＯＲ回路８０２ｎの入力信号は全てＬレベルである。したがって、ＯＲ回路８０２ｎの出力信号ＯＲｎもＬレベルを維持し、カウンタ回路３０５ｎのカウント値も初期値（０）を維持する。
【００７６】
時刻ｔ９０３において、受光部３００ｎおよび３００ｎ―１のフォトダイオード３０１ｎおよび３０１ｎ―１にフォトンが入射したことにより、受光部３００ｎおよび３００ｎ―１の出力信号ＰＬＳｎおよびＰＬＳｎ―１に矩形状のパルスが発生する。受光部３００ｎ―１の出力信号ＰＬＳｎ―１は分周器８０１ｎに入力されるが、１番目のパルスであるため、出力信号ＤＩＶｎ―１はＬレベルを維持する。しかし、受光部３００ｎの出力信号ＰＬＳｎのパルスがＯＲ回路８０２ｎの出力信号ＯＲｎに反映されるため、カウンタ回路３０５ｎのカウント値が＋１される。
【００７７】
時刻ｔ９０４において、受光部３００ｎ―１のフォトダイオード３０１ｎ―１にフォトンが入射し、受光部３００ｎ―１の出力信号ＰＬＳｎ―１に矩形状のパルスが発生する。これは、受光部３００ｎ―１の出力信号ＰＬＳｎ―１に発生した２番目のパルスであるため、分周器８０１ｎは、出力信号ＤＩＶｎ―１にパルスを発生させる。このパルスがＯＲ回路８０２ｎの出力信号ＯＲｎに反映され、カウンタ回路３０５ｎのカウント値が＋１される。
【００７８】
時刻ｔ９０５において、受光部３００ｎ＋１のフォトダイオード３０１ｎ＋１にフォトンが入射し、受光部３００ｎ＋１の出力信号ＰＬＳｎ＋１に矩形状のパルスが発生する。これは、受光部３００ｎ＋１の出力信号ＰＬＳｎ＋１に発生した２番目のパルスであるため、分周器８０１ｎは、出力信号ＤＩＶｎ＋１にパルスを発生させる。このパルスがＯＲ回路８０２ｎの出力信号ＯＲｎに反映され、カウンタ回路３０５ｎのカウント値が＋１される。
【００７９】
時刻ｔ９０５以降、時刻ｔ９０６でＣＮＴ＿ＥＮがＬレベルになり撮影が終了するまで、受光部３００ｎ―１、３００ｎ、３００ｎ―１にフォトンが入射するごとに、出力信号ＰＬＳｎ―１、ＰＬＳ、ＰＬＳｎ＋１にパルスが発生する。出力信号ＰＬＳｎ―１およびＰＬＳｎ＋１のパルスは２個ごとに、出力信号ＰＬＳのパルスは１個ごとに論理和信号ＯＲｎに反映され、カウンタ回路３０５ｎでパルス数がカウントされる。
【００８０】
時刻ｔ９０６で撮影が終了した後、カウンタ回路３０５ｎのカウント値は、垂直選択回路２０２および水平選択回路２０５の制御によりデジタル出力部２０６に出力され、さらに撮像素子１０１の外部に出力される。
【００８１】
ここで、分周器８０１ｎによる重み付けを行った場合と行わない場合との違いについて述べる。重み付けを行った場合、時刻ｔ９０６におけるカウンタ回路３０５ｎのカウント値は図９に示すように７である。分周器８０１ｎによる重み付けを行わず、受光部３００ｎ―１およびｎ＋１の出力信号ＰＬＳｎ―１およびＰＬＳｎ＋１をそのままＯＲ回路８０２ｎに入力したとすると、時刻ｔ９０６におけるカウント値は１０となる。いずれの場合も受光部３００ｎの出力信号ＰＬＳには重み付けが行われず、時刻ｔ９０１からｔ９０６の間で出力信号ＰＬＳｎに発生した４つのパルスはそのままＯＲ回路８０２ｎに入力される。図９の例では、３つの受光部３００ｎ―１、３００ｎ、３００ｎ―１にフォトンが同時に入射していない。したがって、カウント値のうち、受光部３００ｎの出力信号ＰＬＳｎのパルスに起因するカウント値は４である。つまり、カウント値に占める受光部３００ｎの出力信号ＰＬＳｎの割合は、重み付けを行った場合には４／７、重み付けを行わない場合には４／１０となる。受光部３００ｎ―１およびｎ＋１の出力信号ＰＬＳｎ―１およびＰＬＳｎ＋１に、受光部３００ｎの出力信号ＰＬＳｎより低い重みを付与することにより、重み付けを行った場合にはカウント値に占める出力信号ＰＬＳｎの割合を高めることができる。
【００８２】
このように、本実施形態の撮像装置は、単一フォトンの検出が可能な画素（受光部）が複数配列された撮像素子を、複数の画素の出力の重み付け加算結果を出力可能な構成とした。そして、重み付け加算結果を１つの画素の出力として用いることにより、簡単な構成で、隣接画素値信号の重み付けを行ったローパスフィルタを適用した画素出力を得ることができる。重み付けにより被写体のエッジ情報を残しつつ、ノイズの影響を低減した良好な画質の画像信号（画像）を得ることができる。
なお、制御部２０８を通じてスイッチ８０３ｎをいずれもオフすることで、フィルタを適用しないようにすることも可能である。
【００８３】
●＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第１から第３の実施形態では、撮影前にスイッチのオン・オフを制御することにより、撮影された画像に対する空間フィルタの適用有無や適用するフィルタの種類を選択するものであった。本実施形態は、撮影中にスイッチのオン・オフを制御することにより、複数のフレームに跨がった（時間軸方向）のフィルタの適用に関する制御を実現する。
【００８４】
本実施形態は撮像素子１０１の画素アレイ２００の構成以外、第１の実施形態と共通であってよい。そのため、以下では本実施形態における画素アレイ２００の構成および動作について説明する。図１０は、本実施形態における画素アレイ２００に２次元配置される画素２０１に相当する画素１０００ｎの等価回路図である。第１または第２の実施形態で説明した構成要素については図３または図５と同じ参照数字を付し、重複する説明は省略する。
【００８５】
スイッチ１００１ｎ、１００２ｎは受光部３００ｎの出力信号を、アップダウンカウンタ回路５０１ｎの＋端子および―端子にどのように入力するか（あるいは入力しないか）を切り替える。スイッチ１００１ｎ、１００２ｎは制御部２０８からの制御信号によって制御される。スイッチ１００１ｎ、１００２ｎのオン、オフを撮影中に切り替えることにより、時間方向のフィルタを適用することができる。時間方向のフィルタを用いることにより、被写体の動きの有無を検出することができる。
【００８６】
次に、図１０に示した画素１０００ｎのフォトンのカウント動作について説明する。図１１は、画素１０００ｎのフォトンのカウント動作の一例を示すタイミングチャートである。なお、図１１では、制御部２０８から供給される、スイッチ１００１ｎ、１００２ｎのオン、オフを制御する信号をそれぞれＥＮ＿Ｕ、ＥＮ＿Ｄとする。ＣＮＴ＿ＲＳＴとＣＮＴ＿ＥＮは第１または第２の実施形態と同様の信号であり、制御部２０８から供給される。本実施形態では、ＣＮＴ＿ＲＳＴがＨレベルとなるとアップダウンカウンタ回路５０１ｎのカウント値が所定のオフセット値（＞０）にリセットされ、ＣＮＴ＿ＥＮがＨレベルの期間のみ、カウンタ回路３０５ｎは入力パルスを計数する。すなわち、ＣＮＴ＿ＥＮは露光時間を制御する信号である
【００８７】
ＣＮＴ＿ＲＳＴを時刻ｔ１１００でＬレベルからＨレベルにして、アップダウンカウンタ回路５０１ｎのカウント値をリセットし、オフセット値にする。その後、時刻ｔ１１０１でＣＮＴ＿ＲＳＴをＨレベルからＬレベルとする。
【００８８】
時刻ｔ１１０１で受光部３００ｎにバイアス電圧Ｖｂｉａｓが供給される。フォトダイオード３０１ｎには、降伏電圧以上のバイアス電圧が印加される。これにより、フォトダイオード３０１ｎはガイガーモードで動作し、フォトンが入射するごとに出力信号ＰＬＳにパルスが発生する。また、時刻ｔ１１０１でＣＮＴ＿ＥＮがＨレベルとなり、アップダウンカウンタ回路５０１ｎはカウント動作を開始する。
【００８９】
時刻ｔ１１０１ではまた、ＥＮ＿ＵをＨレベル（ＥＮ＿ＤはＬレベルのまま）とし、スイッチ１００１ｎをオン、スイッチ１００２ｎをオフにする。これにより、受光部３００ｎの出力信号ＰＬＳｎは、アップダウンカウンタ回路５０１の＋端子だけに入力される。
【００９０】
時刻ｔ１１０２において、受光部３００ｎのフォトダイオード３０１ｎにフォトンが入射したことにより、出力信号ＰＬＳｎにパルスが発生する。このパルスはスイッチ１００１ｎを介してアップダウンカウンタ回路５０１ｎの＋端子に入力され、アップダウンカウンタ回路５０１ｎはカウント値を１増加（＋１）させる。
【００９１】
時刻ｔ１１０２以降、時刻ｔ１１０３でＥＮ＿ＵがＬレベルになるまで、受光部３００ｎにフォトンが入射するごとに出力信号ＰＬＳｎにパルスが発生し、アップダウンカウンタ回路５０１ｎのカウント値が増加する。ここで、ＥＮ＿ＵをＨレベルにする期間（時刻ｔ１１０１から時刻ｔ１１０３まで）を第１の撮像期間Ｔ１とする。
【００９２】
時刻ｔ１１０３でＥＮ＿ＵをＬレベルにしてスイッチ１００１ｎをオフする。これにより、受光部３００の出力信号ＰＬＳｎがアップダウンカウンタ回路５０１ｎの＋端子に入力されなくなる。この時点では、ＥＮ＿ＤもＬレベルであるため、受光部３００の出力信号ＰＬＳｎはアップダウンカウンタ回路５０１ｎの―端子にも入力されない。
【００９３】
時刻ｔ１１０４において、ＥＮ＿ＤをＨレベルにし、スイッチ１００２ｎをオンにする。これにより、受光部３００の出力信号ＰＬＳｎがアップダウンカウンタ回路５０１ｎの―端子だけに入力されるようになる。
【００９４】
時刻ｔ１１０５において、受光部３００ｎのフォトダイオード３０１ｎにフォトンが入射したことにより、出力信号ＰＬＳｎにパルスが発生する。このパルスはスイッチ１００２ｎを介してアップダウンカウンタ回路５０１ｎの―端子に入力され、アップダウンカウンタ回路５０１ｎはカウント値を１減少（―１）させる。
【００９５】
時刻ｔ１１０５以降、時刻ｔ１１０６でＥＮ＿ＤがＬレベルになるまで、受光部３００ｎにフォトンが入射するごとに出力信号ＰＬＳｎにパルスが発生し、アップダウンカウンタ回路５０１ｎのカウント値が減少する。ここで、ＥＮ＿ＤをＨレベルにする期間（時刻ｔ１１０４から時刻ｔ１１０６まで）を第２の撮像期間Ｔ２とする。なお、制御部２０８は、第１の撮像期間Ｔ１と第２の撮像期間Ｔ２とが等しく（Ｔ１＝Ｔ２）なるように、ＥＮ＿ＵをＨレベルにする期間Ｔ１とＥＮ＿ＤをＨレベルにする期間Ｔ２とを制御する。
【００９６】
時刻ｔ１１０６でＥＮ＿ＤをＬレベルにするとスイッチ１００２ｎがオフされ、受光部３００ｎからのＰＬＳｎがアップダウンカウンタ回路５０１ｎの―端子に入力されなくなる。また、ＣＮＴ＿ＥＮをＬレベルとして、撮像を終了する。時刻ｔ１１０６で撮影が終了した後、画素１０００ｎのアップダウンカウンタ回路５０１ｎのカウント値は、垂直選択回路２０２および水平選択回路２０５の制御によりデジタル出力部２０６に出力され、そして撮像素子１０１の外部に出力される。
【００９７】
このように、２つの撮像期間におけるパルス数の差をカウントするように構成したので、時間方向にフィルタを適用した画像信号を取得することができる。例えば、第１の撮像期間Ｔ１と第２の撮像期間を動画撮影中の連続するフレームの撮影期間とした場合、フレーム間で変化のない領域では画素値に変化がないため、第２の撮像期間Ｔ２の終了時点におけるカウント値は初期値（オフセット値）となる。一方、フレーム間で変化があった領域については第２の撮像期間Ｔ２の終了時点におけるカウント値がオフセット値とは異なる値となる。つまり、ある画素のカウント値がオフセット値であるか否かにより、その画素における被写体の変化（例えば動き）の有無を検出することができる。
【００９８】
このように、本実施形態の撮像装置は、単一フォトンの検出が可能な画素（受光部）が複数配列された撮像素子を、時間軸方向における画素値の差を出力可能な構成とした。そのため、簡単な構成で、画像間の変化の有無を検出する時間軸方向のフィルタを適用することができる。なお、制御部２０８を通じてスイッチ１００２ｎを常にオフすることで、時間軸方向のフィルタを適用しないようにすることも可能である。したがって、例えば、監視カメラなどの常時稼働する機器に本実施形態の撮像装置を用いることで、容易に被写体の動きの有無を検出することが可能となる。
【００９９】
●＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。第１から第４の実施形態においては、パルス数をカウントするカウンタを各画素に設けた構成について説明した。一方で、回路規模の増大を抑制する観点からは、カウンタを個々の画素に設けない方が良い。例えば、カウンタを撮像素子の周辺回路として画素外に配置し、画素（受光部）の出力信号をカウンタに転送する構成が考えられる。また、撮像素子を積層構造として、第１の基板に画素アレイを、第２の基板にカウンタを配置し、シリコン貫通電極（Through-Silicon Via：ＴＳＶ）などを用いて第１の基板から第２の基板に画素（受光部）の出力信号を転送する構成も考えられる。しかし、前者の構成では、各画素から信号を転送する配線が必要となり、回路規模の増大や歩留まりの悪化などが想定される。
【０１００】
本実施形態は、第１から第４の実施形態に係る発明を実行可能で、かつ回路規模を抑制した構成の撮像素子を提供する。なお、本実施形態における「画素」は、第１から第４の実施形態における受光部に相当する。
【０１０１】
図１２は、本発明の第５の実施形態に係る撮像素子１０１の画素アレイ２００に含まれる画素１２００を含む画素回路の構成を説明する。先の実施形態で説明した構成については同様の参照番号を付してある
【０１０２】
画素１２００はアバランシェフォトダイオード（以下、単にフォトダイオードと呼ぶ）３０１、クエンチ抵抗３０２、比較回路１２０１を有する。図１２では２つの画素を１２００ｎと１２００ｎ＋１と表記し、画素１２００ｎの構成についてはｎを、画素１２００ｎ＋１の構成についてはｎ＋１を付して区別する。なお、いずれの画素についても当てはまる事項については、添字をつけないで表記する。
【０１０３】
比較回路１２０１は、フォトダイオード３０１の出力信号と、所定の比較信号Ｖｃｏｍｐとを比較し、比較結果を表す信号を出力する。なお、比較信号Ｖｃｏｍｐは後述する画素制御回路１２２１から供給される。本実施形態ではフォトダイオード３０１にフォトンが入射したことにより発生した電圧降下が閾値電圧Ｖｒｅｆを下回った際に、比較回路１２０１がＨレベルを出力する。ここで閾値電圧Ｖｒｅｆは、フォトンがフォトダイオード３０１に入射した際に発生するパルス信号を検出可能であるとともに、ＶＤＤのノイズや隣接画素からのクロストークを誤検出しない電圧に設定する。また、フォトンがフォトダイオード３０１に入射した際に発生するパルス信号を検出しない電圧Ｖｄｉｓに比較信号Ｖｃｏｍｐを設定することにより、比較回路１２０１の出力を無効とすることが可能である。
【０１０４】
図１２に示す例では、２つの画素１２００ｎ―１および１２００ｎが１つのＯＲ回路１２１０に入力されている。ＯＲ回路１２１０は、画素１２００ｎ―１、１２００ｎの出力信号のいずれかがＨレベルの場合はＨレベルを出力する。したがって、ＯＲ回路１２１０の出力信号は、画素１２００ｎ―１、１２００ｎの出力信号の多重化信号と言うことができる。
【０１０５】
次に、図１３に示すタイミングチャートを用いて、図１２に示した回路の動作について説明する。比較回路１２０１ｎ―１に入力される比較信号Ｖｃｏｍｐ（Ａ）は、周期ｔ［ｓ］で閾値電圧ＶｒｅｆとＶｄｉｓが繰り返される矩形波である。Ｖｃｏｍｐ（Ａ）が閾値電圧Ｖｒｅｆである期間に、フォトダイオード３０１ａにフォトンが入射し、パルス電圧ＶＡＰＤ（Ａ）が閾値電圧Ｖｒｅｆを下回ると、比較回路１２０１ｎ―１の出力Ｖｏｕｔ（Ａ）がＨレベルとなる。すなわち、比較回路１２０１ｎ―１のＨレベル出力がＯＲ回路１２１０に入力される期間は、Ｖｃｏｍｐ（Ａ）が閾値電圧Ｖｒｅｆである期間に制限される。
【０１０６】
Ｖｃｏｍｐ（Ａ）が電圧Ｖｄｉｓである期間は、フォトダイオード３０１の電圧ＶＡＰＤ（Ａ）の値によらず比較回路１２０１ｎ―１の出力はＬレベルである。すなわちＶｃｏｍｐ（Ａ）が電圧Ｖｄｉｓである期間はパルスが出力されない。ここで、周期ｔ［ｓ］中、閾値電圧ＶｒｅｆとなるＤｕｔｙ比は５０％以下である。より一般的には、１つのＯＲ回路１２１０に入力される画素１２００の数をＮ（Ｎは２以上の整数）とすると、Ｖｃｏｍ（Ａ）が閾値電圧ＶｒｅｆとなるＤｕｔｙ比は１／Ｎ以下とする。また、フォトダイオード３０１にフォトンが入射した際に電圧ＶＡＰＤに発生するパルス状の電圧変化が閾値電圧Ｖｒｅｆを下回る期間より周期ｔ［ｓ］を短い値に設定することで、フォトンの入射を取りこぼしなく検出することができる。
【０１０７】
図１３では、フォトダイオード３０１ｎ―１および３０１ｎに同時にフォトンが入射したときの動作を示している。本実施形態では１つのＯＲ回路１２１０を共有する２つの比較回路１２０１ｎ―１、１２０１ｎに入力する電圧Ｖｃｏｍｐ（Ａ）、Ｖｃｏｍｐ（Ｂ）の位相をシフトしている。具体的にはＶｃｏｍｐ（Ａ）、Ｖｃｏｍｐ（Ｂ）が同時に閾値電圧Ｖｒｅｆにならないように位相をずらしている。
【０１０８】
換言すれば、周期ｔ［ｓ］の１周期の期間内において、共通のＯＲ回路１２１０に接続される複数の画素１２００について、比較回路１２０１からパルスが有効に出力される期間が重複しないようにＶｃｏｍｐの位相を異ならせる。そうしないと、異なる画素１２００のフォトダイオード３０１に同時にフォトンが入射した際、それぞれのフォトダイオード３０１の出力信号に発生するパルスがまとまった１つのパルスとしてカウントされてしまうからである。
【０１０９】
本実施形態の構成によれば、たとえフォトダイオード３０１ｎ―１と３０１ｎとに同時にフォトンが入射した場合でも電圧ＶＡＰＤ（Ａ）とＶＡＰＤ（Ｂ）に発生するパルス状の電圧変化に基づくパルスが、異なる期間にＯＲ回路１２１０に入力される。そのため、ＯＲ回路１２１０の出力信号Ｖａｄｄには２個のパルスが含まれるようになり、実際に入射したフォトンの数が後段のカウンタ回路によって正しくカウントされる。
【０１１０】
次に図１４（ａ）を用いて、本実施形態における信号処理回路の構成例について説明する。信号処理回路１２２０は後述するように、撮像素子１０１を構成する複数の基板のうち、画素アレイが設けられない基板に設けられる。信号処理回路１２２０は、デマルチプレクサ（ＤＥＭＵＸ）１２２４と、パルスカウンタ１２２３ａ，１２２３ｂとを有する。デマルチプレクサ１２２４にはＯＲ回路１２１０の出力信号Ｖａｄｄが入力され、制御信号ＳＤＥＭＵＸに従って、Ｖａｄｄに含まれるパルスをパルスカウンタ１２２３ａ，１２２３ｂに振り分ける多重分離動作を行う。制御信号ＳＤＥＭＵＸは後述するデマルチプレクサ制御回路１２２２から供給される。
【０１１１】
制御信号ＳＤＥＭＵＸは、Ｖａｄｄに含まれる、画素１２００ｎ―１由来のパルスと、画素１２００ｎ由来のパルスを分離し、前者をパルスカウンタ１２２３ａに、後者をパルスカウンタ１２２３ｂに供給する。パルスカウンタ１２２３ａ，１２２３ｂは、デマルチプレクサ１２２４から供給される信号に含まれるパルスの数をカウントする。パルスカウンタ１２２３ａは画素１２００ｎ―１に入射したフォトンの数を、パルスカウンタ１２２３ｂは画素１２００ｎに入射したフォトンの数をそれぞれカウントする。パルスカウンタ１２２３ａ，１２２３ｂは制御部２０８から供給されるパルスカウンタ制御信号に従ってカウント値を信号処理回路１２２０の外部に出力し、カウント値をリセットする。
【０１１２】
次に、図１４（ｂ）を用いて、本実施形態に係る撮像素子１０１の構成例について説明する。撮像素子１０１は第１基板１０１Ａと第２基板１０１Ｂとが積層された構造を有する。第１基板１０１Ａと第２基板１０１Ｂとは例えばＴＳＶによって電気的に接続される。第１基板１０１Ａには複数の画素１２００が行列状に配列された画素アレイ２００が形成される。
【０１１３】
ここで、ＯＲ回路１２１０、画素制御回路１２２１は第１基板１０１Ａに含まれる。一方、第２基板１０１Ｂには、第１基板１０１Ａに設けられた複数のＯＲ回路１２１０に対応して設けられ、ＯＲ回路１２１０の出力信号Ｖａｄｄを受信する複数の信号処理回路１２２０と、デマルチプレクサ制御回路１２２２とを有する。
【０１１４】
デマルチプレクサ制御回路１２２２は第１基板の画素制御回路１２２１から制御信号ＳＤＥＭＵＸを受信する。そして、デマルチプレクサ制御回路１２２２は、第２基板１０１Ｂに設けられている複数の信号処理回路１２２０が有するデマルチプレクサ１２２４に対し、制御信号ＳＤＥＭＵＸを供給する。これにより個々の信号処理回路１２２０に含まれるデマルチプレクサ１２２４は、ＯＲ回路１２１０の出力信号Ｖａｄｄに含まれる、複数の画素１２００由来のパルスを、画素ごとのパルスに分離する。
【０１１５】
本実施形態では、２つの画素１２００の出力信号をＯＲ回路１２１０によって１系統の信号に多重化している。そのため、画素アレイ２００が設けられる第１基板１０１Ａと信号処理回路１２２０が設けられる第２基板１０１Ｂとを接続するためのビアやＴＳＶといった電極の数を半減させることができるため、回路規模を抑制可能である。なお、ビアやＴＳＶの数を半減させず、１つの画素を対応する信号処理回路１２２０と２つの経路で並列に接続することで、接続の信頼性を向上させてもよい。なお、撮像素子１０１を積層構造とすることは必須ではなく、信号処理回路１２２０やデマルチプレクサ制御回路１２２２を画素アレイの周辺回路として同じ基板上に設ける構成としてもよい。この場合も、ＯＲ回路１２１０による多重化によって画素と信号処理回路１２２０との間の配線を半減させることが可能であり、回路規模の抑制につながる。また、ＯＲ回路１２１０が多重化する信号の数（ＯＲ回路１２１０を共用する画素１２００の数）は３以上であってもよい。
【０１１６】
また、本実施形態では比較回路１２０１に対してフォトダイオード３０１の信号を入力する構成について説明した。しかし、フォトダイオード３０１の信号をカウンタに同期信号として入力する構成としてもよい。比較回路１２０１を制御する信号を同期信号として使用することで、カウンタ回路を同期カウンタで構成することも可能となる。
【０１１７】
●＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。第５の実施形態では、ＯＲ回路１２１０の出力信号をデマルチプレクサ１２２４で分離する構成であった。しかし、ＯＲ回路１２１０の出力をそのままパルスカウンタ１２２３に入力してパルス数をカウントする構成とすれば、ＯＲ回路１２１０を共有する画素１２００の加算信号を得ることができる。この場合、デマルチプレクサ１２２４はＯＲ回路１２１０の出力信号を分離せずにパルスカウンタ１２２３ａ，１２２３ｂの一方に供給する。
【０１１８】
従来、撮像素子の解像度（画素数）よりも低い解像度の画像を取得する方法として、加算読み出しまたは画素混合と呼ばれる方法が知られている。また、画像の解像感を高めたり色重心ずれを補正するために、画素信号の加重加算を行う場合もある。これらの加算処理をアナログ画素信号について行う場合に専用のアナログ回路が必要となるため、回路規模が増大する。一方、画素信号をデジタル化して加算処理する場合、計算処理が必要となる。本実施形態では、専用回路も計算処理も必要とせずに画素信号の加重加算を実現する構成について説明する。
【０１１９】
図１５は、図１２に示した構成の画素１２００ｎ―１、１２００ｎの信号を、２：１で加重加算して出力するためのタイミングチャートである。図１３と同様、ここでも画素１２００ｎ―１、１２００ｎのフォトダイオード３０１ｎ―１、３０１ｎに同時にフォトンが入射した場合について示している。基本的な動作は第５の実施形態で図１３に関して説明しているため、異なる点のみを説明する。本実施形態においても、「画素」は、第１から第４の実施形態における受光部に相当する。
【０１２０】
本実施形態では、比較回路１２０１へ入力する電圧Ｖｃｏｍｐが閾値電圧Ｖｒｅｆとなる回数を画素ごとに異ならせることによって、画素信号に異なる重み付けを行う。ここでは、画素１２００ｎ―１の信号に画素１２００ｎの信号の２倍の重みを付与するため、比較回路１２０１ｎ―１に入力するＶｃｏｍｐ（Ａ）が閾値電圧Ｖｒｅｆとなる期間を１周期あたり２回としている。一方で比較回路１２０１ｎへ入力する電圧Ｖｃｏｍｐ（Ｂ）が閾値電圧Ｖｒｅｆである期間は、１周期の間に１回のままとする。
【０１２１】
このように、フォトダイオード３０１で発生するパルス状の電圧変化を比較回路１２０１から出力可能な期間に、電圧Ｖｃｏｍｐが閾値電圧Ｖｒｅｆとなる回数を、付与する加重比率に応じて異ならせる。これにより、比較回路１２０１ｎ―１の出力信号Ｖｏｕｔ（Ａ）は、フォトダイオード３０１ｎ―１に入射する１つのフォトンあたり２つのパルスを含むようになる。一方、比較回路１２０１ｎの出力信号Ｖｏｕｔ（Ｂ）は、フォトダイオード３０１ｎに入射する１つのフォトンあたり１つのパルスを含む。これら出力信号Ｖｏｕｔ（Ａ）およびＶｏｕｔ（Ｂ）をＯＲ回路１２１０にそのまま入力することで、ＯＲ回路１２１０からは３つのパルスを含んだ出力信号ＯＲｎが得られる。
【０１２２】
信号処理回路１２２０の構成は第５の実施形態の図１４（ａ）で説明した通りでよく、信号処理回路１２２０の出力信号Ｖａｄｄはデマルチプレクサ１２２４に入力される。デマルチプレクサ１２２４はデマルチプレクサ制御回路１２２２が出力する分離信号ＳＤＥＭＵＸにより制御されるが、本実施形態では出力信号Ｖａｄｄの多重分離を行わず、そのままパルスカウンタ１２２３ａまたは１２２３ｂの一方に入力する。
【０１２３】
これによりパルスカウンタ１２２３はＶａｄｄに含まれる全てのパルスをカウントするため、加重加算された画素値がカウント値として得られる。なお、デマルチプレクサ制御回路１２２２は分離信号ＳＤＥＭＵＸを通して、デマルチプレクサ１２２４を動作させるモードと、動作をさせずないモード（加算モード）を切り替えてもよい。常に加算を行う場合にはデマルチプレクサ１２２４やデマルチプレクサ制御回路１２２２を省略してもよい。
【０１２４】
本実施形態によれば、フォトン１つの入射によって生じるパルス状の電圧変化から重みに応じた数のパルスを生成するように制御することにより、専用の回路や計算処理を必要とせずに、加重加算した画素信号を得ることができる。
【０１２５】
●＜第７の実施形態＞
次に、本発明の第７の実施形態について説明する。本実施形態に係る撮像素子は、複数のＡＰＤで１つのマイクロレンズを共有する構成とすることで、撮像信号とともに位相差ＡＦ用の信号も得ることが可能な撮像素子である。Ｎ個（Ｎは２以上の整数）のＡＰＤで１マイクロレンズを共有する構成では、通常の構成（１マイクロレンズあたり１つのＡＰＤ）に対し、必要なカウンタの数がＮ倍となる。本実施形態は、Ｎ個（Ｎは２以上の整数）のＡＰＤで１マイクロレンズを共有する構成の撮像素子において、必要なカウンタの数をＮ倍よりも少なくするものである。
【０１２６】
図１６は本実施形態に係る撮像素子の一例としての、１つのマイクロレンズを２つの画素で共有する構成の撮像素子の画素構成例を示す等価回路図である。画素１２００の構成は第５の実施形態と同等であるが、画素１２００ａ、１２００ｂで１つのマイクロレンズ１３ａｂを共有するため、対応する射出瞳の領域が異なる。また、同様に、画素１２００ｃ，１２００ｄで１つのマイクロレンズ１３ｃｄを共有している。本実施形態においても、「画素」は、第１から第４の実施形態における受光部に相当する。
【０１２７】
画素１２００ａと１２００ｃは、対応する射出瞳の領域が等しい。また、画素１２００ｂ，１２００ｄも、対応する射出瞳の領域が等しい。ＯＲ回路１２１０は、４つの画素の出力信号を加算する組み合わせに応じて３つ設けられている。ＯＲ回路１２１０ａｂはマイクロレンズ１３ａｂを共有する画素１２００ａ，１２００ｂの出力信号の論理和信号を出力する。ＯＲ回路１２１０ｃｄは、マイクロレンズ１３ｃｄを共有する画素１２００ｃ，１２００ｄの出力信号の論理和信号を出力する。一方、ＯＲ回路１２１０ａｃは、画素１２００ａ，１２００ｃの出力信号の論理和信号を出力する。
【０１２８】
次に、図１７のタイミングチャートを用いて、図１６に示した回路の動作について説明する。図１７は、フォトダイオード３０１ａ，３０１ｂ，３０１ｃ，３０１ｄに同時にフォトンが入射したときの動作を示している。
【０１２９】
ＯＲ回路１２１０ａｂを共有する比較回路１２０１ａ、１２０１ｂに入力する電圧Ｖｃｏｍｐ（Ａ）、Ｖｃｏｍｐ（Ｂ）は、第５の実施形態で図１３を用いて説明したように、同時に閾値電圧Ｖｒｅｆにならないように位相が制御されている。ＯＲ回路１２１０ｃｄを共有する比較回路１２０１ｃ、１２０１ｄに入力する電圧Ｖｃｏｍｐ（Ｃ）、Ｖｃｏｍｐ（Ｄ）についても同様に位相が制御されている。
【０１３０】
ＯＲ回路１２１０ａｂからは、マイクロレンズ１３ａｂを共有する画素１２００ａ，１０ｂの出力信号の論理和信号が、撮像信号Ｖｏｕｔ（Ａ＋Ｂ）として出力される。また、ＯＲ回路１２１０ｃｄからは、マイクロレンズ１３ｃｄを共有する画素１２００ｃ，１２００ｄの出力信号の論理和信号が、撮像信号Ｖｏｕｔ（Ｃ＋Ｄ）として出力される。
【０１３１】
ＯＲ回路１２１０ａｃを共有する比較回路１２０１ａ、１２０１ｃに入力する電圧Ｖｃｏｍｐ（Ａ）、Ｖｃｏｍｐ（Ｃ）についても、同時に閾値電圧Ｖｒｅｆとならないように位相が制御されている。ＯＲ回路１２１０ａｃからは、射出瞳内の同じ部分領域に対応する画素１２００ａ，１２００ｃの出力信号の論理和信号が、焦点検出用信号Ｖｏｕｔ（Ａ＋Ｃ）として出力される。
【０１３２】
ＯＲ回路１２１０ａｂ，１２１０ｃｄ，１２１０ａｃの出力信号は、それぞれ対応する信号処理回路１２２０に転送され、分離されることなく１つのパルスカウンタでカウントされる。位相差ＡＦには画素１２００ｃと１２００ｄの出力信号の論理和信号である焦点検出用信号Ｖｏｕｔ（Ｂ＋Ｄ）も必要である。本実施形態ではＶｏｕｔ（Ａ＋Ｂ）＋Ｖｏｕｔ（Ｃ＋Ｄ）―Ｖｏｕｔ（Ａ＋Ｃ）＝Ｖｏｕｔ（Ｂ＋Ｄ）という関係を用い、焦点検出用信号Ｖｏｕｔ（Ｂ＋Ｄ）を演算によって求める。
【０１３３】
なお、垂直方向に加算を行わない場合、画素１２００ａ，１２００ｂからはＶｏｕｔ（Ａ＋Ｂ）と、Ｖｏｕｔ（Ａ）およびＶｏｕｔ（Ｂ）の一方を出力するようにしてもよい。この場合、Ｖｏｕｔ（Ａ）およびＶｏｕｔ（Ｂ）の他方は、Ｖｏｕｔ（Ａ＋Ｂ）に含まれる第１のパルスの数と、Ｖｏｕｔ（Ａ）およびＶｏｕｔ（Ｂ）の一方に含まれる第２のパルスの数との差として演算により求めることができる。
【０１３４】
１対の焦点検出用信号のずれ量を求めるための相関演算を行う際、水平方向の解像度は検出可能な空間周波数への影響が大きいのに対し、垂直方向の解像度は影響が小さい。そのため、本実施形態においては、水平方向に並んだ２つの画素１２００で１つのマイクロレンズ１３を共有する構成において、垂直方向に隣接する２つの画素１２００の信号を加算して焦点検出用信号Ｖｏｕｔ（Ａ＋Ｃ）を求めている。加算によってノイズ低減効果が得られるため、低輝度な被写体に対しても精度よく焦点検出したい場合に特に有効である。なお、焦点検出用信号Ｖｏｕｔ（Ｂ＋Ｄ）を演算によって求める処理は、例えばＤＳＰ１０３で実行することができる。
【０１３５】
この場合、ＤＳＰ１０３は、撮像素子１０１からの出力Ｄｏｕｔのうち、撮像信号Ｖｏｕｔ（Ａ＋Ｂ），Ｖｏｕｔ（Ｃ＋Ｄ）と、焦点検出用信号Ｖｏｕｔ（Ａ＋Ｃ）を用いて焦点検出用信号Ｖｏｕｔ（Ｂ＋Ｄ）を算出する。そして、ＤＳＰ１０３は、１対の焦点検出用信号Ｖｏｕｔ（Ａ＋Ｃ），Ｖｏｕｔ（Ｂ＋Ｄ）のずれ量（位相差）を相関演算によって求め、ＣＰＵ１０５に通知する。ＣＰＵ１０５は、ずれ量を光学系１０２のデフォーカス量に変換し、デフォーカス量に基づいて光学系１０２が有するフォーカシングレンズを駆動することにより、位相差検出方式の自動焦点検出を行うことができる。
【０１３６】
このように、本実施形態では、単一フォトンの検出が可能な画素（受光部）が複数配列された撮像素子において、複数の画素が１つのマイクロレンズを共有する構成とした場合に、画像信号、焦点検出用信号とも、複数の画素信号を加算して出力する構成とした。それにより、必要なカウンタの数を画素の数より少なくすることができる。
【０１３７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３８】
３００…受光部、３０１…フォトダイオード、３０２…クエンチ抵抗、３０３…反転バッファ、３０４、８０２…ＯＲ回路、３０５…カウンタ回路、３０６、５０２、８０３、１００１、１００２…スイッチ、５０１…アップダウンカウンタ回路、８０１…分周器
【図１】
2019161551.tif 000003
【図２】
2019161551.tif 000004
【図３】
2019161551.tif 000005
【図４】
2019161551.tif 000006
【図５】
2019161551.tif 000007
【図６】
2019161551.tif 000008
【図７】
2019161551.tif 000009
【図８】
2019161551.tif 000010
【図９】
2019161551.tif 000011
【図１０】
2019161551.tif 000012
【図１１】
2019161551.tif 000013
【図１２】
2019161551.tif 000014
【図１３】
2019161551.tif 000015
【図１４】
2019161551.tif 000016
【図１５】
2019161551.tif 000017
【図１６】
2019161551.tif 000018
【図１７】
2019161551.tif 000019