(57)【要約】【課題】特殊な光学系を必要とせず、画像信号の生成時にノイズを増大させることがない符号化撮像法が可能な信号処理回路及び撮像素子を提供する。【解決手段】検出対象の電荷量に対応してパルスを発生するパルス発生回路と、前記パルスをカウントするカウンタ回路とを備えた、信号処理回路において、前記電荷量の検出動作を行う時間を、符号化パターンで制御することを特徴とする。例えば、カウンタ回路を符号化パターンで動作させる。又は、前記パルス発生回路を、前記電荷量に対応する電圧検出ノードと、リセット手段と、コンパレータとで構成し、前記コンパレータのしきい値を符号化パターンで制御する。【選択図】図１
2020077992.tif 000002
【特許請求の範囲】
【請求項１】
検出対象の電荷量に対応してパルスを発生するパルス発生回路と、
前記パルスをカウントするカウンタ回路とを備えた、信号処理回路において、
前記電荷量の検出動作を行う時間を、符号化パターンで制御することを特徴とする信号処理回路。
【請求項２】
請求項１に記載の信号処理回路において、
前記カウンタ回路を符号化パターンで動作させることを特徴とする信号処理回路。
【請求項３】
請求項１に記載の信号処理回路において、
前記パルス発生回路は、前記電荷量に対応する電圧検出ノードと、リセット手段と、前記電圧検出ノードの電圧としきい値電圧を比較するコンパレータとを備え、前記コンパレータの前記しきい値電圧を、符号化パターンで制御することを特徴とする信号処理回路。
【請求項４】
請求項１乃至３のいずれか一項に記載の信号処理回路を、各画素に設けた撮像素子。
【請求項５】
請求項４に記載の撮像素子において、
画素ごとに、又は、複数の画素をまとめたブロックごとに、前記符号化パターンを異ならせることを特徴とする撮像素子。
【請求項６】
請求項４に記載の撮像素子において、
前記信号処理回路を符号化パターンで制御する画素と、前記信号処理回路を常に動作状態とする画素とを、混在させたことを特徴とする撮像素子。
【請求項７】
請求項４乃至６のいずれか一項に記載の撮像素子において、
同じ符号化パターンで制御される画素を、列方向及び行方向に符号化パターンで配置したことを特徴とする撮像素子。
【請求項８】
請求項４乃至７のいずれか一項に記載の撮像素子において、
各画素を構成する回路要素を異なる基板に形成し、前記基板を３次元積層したことを特徴とする撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理回路及び撮像素子に関し、特に、撮像素子（イメージセンサ）の各画素において、光電変換した信号をＡ／Ｄ（アナログ／デジタル）変換する信号処理回路と、それを利用した撮像素子に関する。
【背景技術】
【０００２】
近年、コンピュテーショナルフォトグラフィの一分野として、符号化撮像法が研究されている。符号化撮像法は、従来のカメラで行われていた撮像のための光の一様な積分の代わりに、符号化した重みをつけた積分を行うことにより、従来不完全であった画像のぼけやぶれの復元を、より正確に実現しようとする撮像方法である（非特許文献１）。
【０００３】
積分の符号化を行う撮像方法のうち、時間軸に沿った符号化を符号化露光という。符号化露光を行うには、一般には撮像素子に入射する光を高速に透過・遮断する。そのためには照明を高速に明滅するか、高速動作が可能なシャッタを用いる。
【０００４】
図１０に、符号化露光法を実現するカメラシステムの一例を示す。図１０は、カメラレンズ（光学系）２と、撮像素子３と、画像処理回路４とを備える従来のカメラシステムに対して、液晶シャッタ等の高速シャッタ１をカメラレンズ２の前面に取り付けて光を透過・遮断するものである。シャッタのオン／オフ動作は周期性を有しない符号化パターンで動作させる。そして、得られた画像信号に対して、デコンボリューション等の操作を行う。これにより、画像の動きぼけやぶれの補正、ダイナミックレンジ拡大などが可能となる。
【０００５】
また、特殊な光学系を用いない方法として、撮像素子の画素に転送トランジスタやオーバーフロートランジスタを設けて、これらのゲートに与える信号パターンを符号化することで、蓄積中の電荷を転送・排出させて符号化露光を実現する方法も提案されている（特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−５５３２１号公報
【特許文献２】特開２０１８−１９３５３号公報
【非特許文献】
【０００７】
【非特許文献１】日浦慎作、「符号化撮像によるぶれ・ぼけの除去」、光学、（２０１１年）、４０巻１０号、ｐｐ．５２２−５２７
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、符号化露光を行うために、撮像素子への光の入射を制御する方法は、照明を高速に明滅するか、高速シャッタ等の素子をカメラレンズの前面に取り付けて光を透過・遮断する必要がある。したがって、光学系が特殊となり、システムが複雑化してしまうという問題がある。
【０００９】
また、撮像素子の蓄積電荷を符号化する従来の方法は、符号化に伴う複数回の高速な電荷転送・排出が必要であるため、トランジスタのオン／オフ動作に起因するｋＴＣノイズが増大してしまう問題がある。また、電荷の転送は回路の時定数に対応する時間を要するため、符号化の速度には限界があるという問題があった。
【００１０】
従って、上記のような問題点に鑑みてなされた本発明の目的は、特殊な光学系を必要とせず、画像信号の生成時にノイズを増大させることがない符号化撮像法が可能な信号処理回路及び撮像素子を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明に係る信号処理回路は、検出対象の電荷量に対応してパルスを発生するパルス発生回路と、前記パルスをカウントするカウンタ回路とを備えた、信号処理回路において、前記電荷量の検出動作を行う時間を、符号化パターンで制御することを特徴とする。
【００１２】
また、前記信号処理回路は、前記カウンタ回路を符号化パターンで動作させることが望ましい。
【００１３】
また、前記信号処理回路は、前記パルス発生回路は、前記電荷量に対応する電圧検出ノードと、リセット手段と、前記電圧検出ノードの電圧としきい値電圧を比較するコンパレータとを備え、前記コンパレータの前記しきい値電圧を、符号化パターンで制御することが望ましい。
【００１４】
上記課題を解決するために本発明に係る撮像素子は、前記信号処理回路を、各画素に設けたことを特徴とする。
【００１５】
また、前記撮像素子は、画素ごとに、又は、複数の画素をまとめたブロックごとに、前記符号化パターンを異ならせることが望ましい。
【００１６】
また、前記撮像素子は、前記信号処理回路を符号化パターンで制御する画素と、前記信号処理回路を常に動作状態とする画素とを、混在させることが望ましい。
【００１７】
また、前記撮像素子は、同じ符号化パターンで制御される画素を、列方向及び行方向に符号化パターンで配置することが望ましい。
【００１８】
また、前記撮像素子は、各画素を構成する回路要素を異なる基板に形成し、前記基板を３次元積層することが望ましい。
【発明の効果】
【００１９】
本発明における信号処理回路及び撮像素子によれば、特殊な光学系を必要とせず、画像信号の生成時にノイズを増大させることなく、符号化撮像法を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】信号処理回路の第１の実施例を説明するための回路図である。
【図２】フォトダイオード電圧とパルス出力のタイミングチャートである。
【図３】第１の実施例のカウンタ回路の例である。
【図４】カウンタ回路のイネーブル信号の符号化パターンの例である。
【図５】信号処理回路の第２の実施例を説明するための回路図である。
【図６】コンパレータのしきい値電圧の符号化パターンの例である。
【図７】フォトダイオード電圧とパルス出力としきい値電圧のタイミングチャートである。
【図８】撮像素子の符号化パターンによる画素配置の例である。
【図９】撮像素子を３次元構造で構成した例である。
【図１０】符号化露光法を実現する従来のカメラシステムの例である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について説明する。本発明は、信号処理回路の電荷量検出動作を行う時間を、符号化パターンで制御することにより、符号化露光を実現する。
【００２２】
（第１の実施例）
本発明の信号処理回路の第１の実施例を図１に示す。図１の信号処理回路は、撮像素子の１画素に対応しており、１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）を構成している。図１の信号処理回路とその動作を、以下に説明する。
【００２３】
第１の実施例の信号処理回路は、フォトダイオード（ＰＤ）１０の電圧検出ノード１１と、リセットトランジスタ（ＴR）２０と、インバータ回路（インバータ・チェーン）３０と、カウンタ回路４０とにより構成される。このうち、電圧検出ノード１１とリセットトランジスタ（ＴR）２０とインバータ回路３０は、光電変換された電荷量（検出対象の電荷量）に対応してパルスを発生するパルス発生回路を構成する。以下、各構成要素について説明する。
【００２４】
フォトダイオード（ＰＤ）１０は、光電変換素子として機能し、その電圧検出ノード１１は、光がフォトダイオード１０に入射することにより生成された電荷（又は光電流）により、電位（ＶPD）が変化する。なお、電圧検出ノード１１は、フォトダイオード（ＰＤ）１０の電極をそのまま利用することもできるが、電荷蓄積用のコンデンサ（図示せず）の電極を電圧検出ノード１１とし、光電変換によりフォトダイオード（ＰＤ）１０で生成された電荷をコンデンサに転送して、電圧検出をしてもよい。電圧検出ノード１１の電圧（ＶPD）は、インバータ回路３０に入力される。
【００２５】
リセットトランジスタ（ＴR）２０は、インバータ回路３０の出力電圧（ＶOUT）で制御され、オン（導通）することにより、電圧検出ノード１１（フォトダイオード１０の電極）にリセット電圧（ＶRST）を印加する。このように、リセットトランジスタ（ＴR）２０は、リセット手段として機能する。
【００２６】
インバータ回路３０は、反転回路であるインバータ（Ｉｎｖ１、Ｉｎｖ２，・・・Ｉｎｖ2n+1）が奇数段接続された多段反転回路である。各インバータは、例えばＣＭＯＳ（Complementary metal-oxide-semiconductor）インバータで構成される。フォトダイオード１０の電圧検出ノード１１の電位ＶPDが初段のインバータ（Ｉｎｖ１）に入力される。インバータチェーン３０の初段はインバータＩｎｖ１に代えて、コンパレータとしてもよい。インバータ回路３０の出力は、パルス発生回路の出力（ＶOUT）として、カウンタ回路４０に入力されるとともに、リセットトランジスタ２０のゲート電極に印加される。
【００２７】
カウンタ回路４０は、パルス発生回路の出力（ＶOUT）のパルス数をカウントし、１フレーム期間ごとに確定したビット値を読み出して、リセットされる。図１では、例えば１ｂｉｔカウンタ４１〜４８からなり、各カウンタ４１〜４８はパルスをカウントして各ビット値を出力する。１つのカウンタを経るとパルス数が半分になり、直列に接続して、ここでは８ビットのカウンタ回路４０を構成している。１ｂｉｔカウンタ４１〜４８のそれぞれは、例えば、フリップ・フロップ等で構成することができ、詳細は後述する。１ｂｉｔ目のカウンタ４１にはイネーブル信号ＥＮの端子が設けられており、ＥＮがＨｉｇｈレベルの時にはカウンタは動作するが、Ｌｏｗレベルの時には動作しないという制御を行う。なお、カウンタ回路４０は、１フレームに発生するパルス数に応じて、さらにカウンタを多段に設置してもよい。
【００２８】
次に、図１の撮像素子の信号処理回路の通常の動作を、図２のフォトダイオード電圧（電圧検出ノード電圧）とパルス出力のタイミングチャートを用いて説明する。
【００２９】
（１）フォトダイオード１０のリセットが解除された時点から説明する。すなわち、フォトダイオード１０の電圧検出ノード１１の電位ＶPDがリセット（ＶRST）された状態で、初段のインバータ（Ｉｎｖ１）の入力がＨｉｇｈで出力がＬｏｗ、２段目のインバータ（Ｉｎｖ２）の出力がＨｉｇｈ、最終段のインバータ（Ｉｎｖ2n+1）の出力、すなわちインバータ回路３０の出力（ＶOUT）がＬｏｗであり、リセットトランジスタ（ＴR）２０がオフ（ＯＦＦ）状態になっているとする。これは、図２のタイミングチャートの時間軸の最初の状態であり、これを初期化状態とする。
【００３０】
（２）フォトダイオード１０に光が入射すると、光電変換により生成した電子がフォトダイオード１０内に蓄積して、フォトダイオード１０の電極（電圧検出ノード）１１の電位が下がる。
【００３１】
（３）フォトダイオード１０の電圧検出ノード１１の電圧（ＶPD）が初段のインバータ（Ｉｎｖ１）の反転しきい値電圧（ＶTH）に達するとインバータ（Ｉｎｖ１）の出力がＨｉｇｈに反転する。インバータは奇数段（２ｎ＋１段）接続されており、順次出力が反転して伝達され、最終段のインバータ（Ｉｎｖ2n+1）の出力（インバータ回路３０の出力）、すなわち、パルス発生回路の出力（ＶOUT）がＨｉｇｈとなる。なお、インバータが１段ではなく２ｎ＋１段接続されているのは、複数段のインバータによる遅延を利用して、回路動作を安定化するためである。
【００３２】
（４）インバータ回路３０の出力（ＶOUT）がＨｉｇｈになると、リセットトランジスタ２０がオン（ＯＮ）状態になり、フォトダイオード１０の電極にリセット電圧（ＶRST）が印加され、フォトダイオード１０（及び電圧検出ノード１１）が再度リセットされる。
【００３３】
（５）フォトダイオード１０がリセットされると、初段のインバータ（Ｉｎｖ１）の入力がＨｉｇｈ、インバータ回路の出力（ＶOUT）がＬｏｗになり、（１）に戻る。こうして、出力（ＶOUT）にパルスが生じる。
【００３４】
（６）その後、上記（１）〜（５）が繰り返され、インバータ回路（インバータ・チェーン）３０の出力がＨｉｇｈとＬｏｗを繰り返す。したがって、インバータ回路３０（すなわち、パルス発生回路）から繰り返しパルスが出力される。フォトダイオード１０へ入射する光量が多ければ光電変換された電荷量が多くなり、フォトダイオード１０の電圧検出ノード１１の電位変化が速くなって、インバータ回路３０の反転タイミングが速くなる。したがって、画像の１フレーム期間内にパルス発生回路の出力（ＶOUT）には光量に比例した数のパルスが発生する。
【００３５】
カウンタ回路４０では、カウンタ動作時においてパルスを積算しており、１フレーム期間終了後に、カウンタ出力を読み出し、カウントをリセットする。
【００３６】
このように、１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）の信号処理回路は、フォトダイオード（ＰＤ）の直近でＡ／Ｄ変換を行うため信号伝達時の雑音の影響を受けにくく、また、入力可能な光量が、従来の固体撮像素子のようにフォトダイオード（ＰＤ）の蓄積容量で制限されないため、ダイナミックレンジが拡大できるなどの特長がある。
【００３７】
本発明は、符号化露光を実現するために、信号処理回路の電荷量の検出動作を行う時間を符号化パターンで制御するものであり、本実施例では、カウンタ回路４０を符号化パターンで動作させる。
【００３８】
図３にカウンタ回路４０の詳細を示す。１ｂｉｔ分のカウンタ４１〜４８は、Ｄフリップ・フロップ（Ｄ−ＦＦ）４１０〜４８０を用いたトグルフリップ・フロップとなっており、２ｂｉｔ目以降のカウンタについてはＱＢ端子をＤ端子に接続している。なお、Ｄ端子が入力、Ｑ端子が出力、ＱＢ端子が反転出力であり、ＣＬＫはクロック入力である。Ｄフリップ・フロップはクロックが加わった瞬間にＤ入力の値を読み込んでＱ端子に出力する。このカウンタ回路４０では、各Ｄ−ＦＦのＱ端子出力が各ｂｉｔの値となる。
【００３９】
１ｂｉｔ目のカウンタ４１では、イネーブル信号ＥＮとＱ端子出力の２つが排他的論理和ＸＯＲ４１１に入力され、ＸＯＲ４１１の出力がＤ−ＦＦ４１０のＤ端子に接続されている。ここでＸＯＲ４１１は、イネーブル信号ＥＮがＨｉｇｈレベルの時にはＱ端子の信号を反転して出力し、ＥＮがＬｏｗレベルの時にはＱ端子の信号をそのまま出力することになる。すると、イネーブル信号ＥＮがＨｉｇｈレベルの時には、トグル動作によるカウント動作をするが、ＥＮがＬｏｗレベルの時にはＱ端子とＤ端子の状態が変わらないため、カウント動作を行わない。すなわち、イネーブル信号ＥＮを制御信号とし、カウンタの動作をオン／オフすることができる。
【００４０】
なお、カウンタ４１の回路構成はこれに限られない。例えば、イネーブル信号ＥＮと反転出力であるＱＢ端子出力の２つを排他的論理和ＸＯＲ４１１に入力し、イネーブル信号ＥＮがＬｏｗレベルの時には、トグル動作によるカウント動作をし、Ｈｉｇｈレベルの時には停止するように構成してもよい。
【００４１】
図４に、イネーブル信号ＥＮに用いる符号化パターンの例を示す。符号化パターンは特定のパターンに限定されず、例えば、図４（ａ）、（ｂ）のように、符号化の要求により種々設定できる。符号化パターンは、例えば、Ｈｉｇｈの時間及びＬｏｗの時間が互いに異なる複数の矩形波からなり、入力画像における特定の周波数の信号が失われることがないように、周期的な矩形波などでないことが望ましい。Ｈｉｇｈレベルは回路の電源電圧（ＶDD）、Ｌｏｗレベルはグランド電圧（ＶSS）とすることができる。なお、図４の符号化パターンは１フレーム全体を示しており、図２と比較すると、時間方向に圧縮されて表現されている。イネーブル信号ＥＮがＨｉｇｈの１つの期間に、例えば数十個のパルスをカウントすることができる。
【００４２】
このカウンタ回路４０は、イネーブル信号ＥＮが符号化パターンで制御され、イネーブル信号ＥＮがＨｉｇｈレベルの時には、光電変換信号に基づくパルスをカウントし（露光量を計測し）、Ｌｏｗレベルの時には光電変換信号に基づくパルスをカウントしない（露光量を計測しない）という動作を行うから、露光量検出時間の符号化が実現できる。
【００４３】
本発明による符号化露光法では、フォトダイオードとインバータ回路で発生したパルスをカウンタで数えるか否かを制御しており、光電変換に関わる部分（例えばＶPD端子）には何の変更も加えていないため、ノイズを増大させることがない。カウンタというロジック回路の制御であるため高速動作が可能であり、自由な符号化パターンの設定が可能となる。
【００４４】
（第２の実施例）
図５に、本発明の信号処理回路の第２の実施例を示す。図５の信号処理回路は、撮像素子の１画素に対応しており、１ビット型Ａ／Ｄ変換回路（１ｂｉｔ ＡＤＣ）を構成している。図５の信号処理回路の電荷量検出動作を行う時間の符号化は、パルス発生回路の動作の符号化により実現している。信号処理回路とその動作を、以下に説明する。
【００４５】
第２の実施例の信号処理回路は、フォトダイオード（ＰＤ）１０の電圧検出ノード１１と、リセットトランジスタ（ＴR）２０と、コンパレータ（比較器：Ｃｏｍｐ）３１と、インバータ回路（インバータ・チェーン）３２と、カウンタ回路４０とを備える。このうち、電圧検出ノード１１とリセットトランジスタ（ＴR）２０とコンパレータ３１とインバータ回路３２は、光電変換された電荷量（検出対象の電荷量）に対応してパルスを発生するパルス発生回路を構成する。第２の実施例は、第１の実施例におけるインバータ回路３０が、コンパレータ３１とインバータ回路３２で構成されている点、及び、カウンタ回路４０が通常の（常に動作する）カウンタである点が、第１の実施例と異なっている。以下、各構成要素について説明するが、図１と同じ構成については説明を簡略化する。
【００４６】
フォトダイオード（ＰＤ）１０は、光電変換素子として機能し、その電圧検出ノード１１は、光がフォトダイオード１０に入射することにより生成された電荷（又は光電流）により、電位（ＶPD）が変化する。電圧検出ノード１１の電圧（ＶPD）は、コンパレータ（Ｃｏｍｐ）３１に入力される。
【００４７】
リセットトランジスタ（ＴR）２０は、インバータ回路３２の出力電圧（ＶOUT）で制御され、オン（導通）することにより、電圧検出ノード１１（フォトダイオード１０の電極）にリセット電圧（ＶRST）を印加する。リセットトランジスタ（ＴR）２０は、リセット手段として機能する。
【００４８】
コンパレータ（比較器：Ｃｏｍｐ）３１は、一方の入力（−入力）にフォトダイオード１０の電圧検出ノード１１の電圧（ＶPD）が入力され、他方の入力（＋入力）にしきい値電圧（ＶTH）が入力され、両者を比較する。コンパレータ（Ｃｏｍｐ）３１の出力は、電圧検出ノード１１の電圧（ＶPD）がしきい値電圧（ＶTH）よりも高いときはＬｏｗとなり、電圧検出ノード１１の電圧（ＶPD）が次第に低くなって、しきい値電圧（ＶTH）に達すると、Ｈｉｇｈに反転する。また、再び電圧検出ノード１１の電圧（ＶPD）がしきい値電圧（ＶTH）よりも高くなれば、出力はＬｏｗとなる。コンパレータ３１の出力信号はインバータ回路（インバータ・チェーン）３２に出力される。本実施例のコンパレータ３１のしきい値電圧（ＶTH）は符号化パターンで制御され、しきい値電圧（ＶTH）が低い電圧レベル（ＶEN）の時には出力の反転が生じる（パルスが発生する）が、高い電圧レベル（ＶDIS）の時には出力がＨｉｇｈに固定され、パルスの発生動作が停止する。したがって、コンパレータ３１のしきい値電圧（ＶTH）を制御信号とし、パルス発生回路の動作を制御することができる。
【００４９】
インバータ回路（インバータ・チェーン）３２は、反転回路であるインバータ（Ｉｎｖ１、Ｉｎｖ２，・・・Ｉｎｖ2n）が偶数段接続された多段回路である。インバータ・チェーン３２の初段のインバータ（Ｉｎｖ１）には、コンパレータ（Ｃｏｍｐ）３１の出力信号が入力される。最終段のインバータ（Ｉｎｖ2n）の出力は、パルス発生回路の出力（ＶOUT）として、カウンタ回路４０に出力されるとともに、リセットトランジスタ（ＴR）２０のゲートに入力される。このインバータ回路３２は偶数段のインバータが接続されているため、入力がＨｉｇｈであれば、出力もＨｉｇｈとなる。したがって、一種の遅延回路として機能し、パルス幅の調整や、パルス発生動作の安定化に寄与する。なお、インバータ回路３２は必須のものではなく、コンパレータ（Ｃｏｍｐ）３１のみでパルス発生動作を安定に制御することができれば、削除することもできる。
【００５０】
カウンタ回路４０は、パルス発生回路の出力（ＶOUT）のパルス数をカウントし、１フレーム期間ごとに確定したビット値を読み出して、リセットされる。例えば８ｂｉｔ（１ｂｉｔのカウンタ８個）からなり、各カウンタ４１〜４８はパルスをカウントしてビット値を出力する。なお、本実施例におけるカウンタ４１は、図３におけるカウンタ４２〜４８と同じ回路構成であり、通常のカウント動作を行う。
【００５１】
図５の信号処理回路の動作について、図６のしきい値電圧（ＶTH）の符号化パターンと、図７のフォトダイオード電圧（電圧検出ノード電圧）とパルス出力としきい値電圧のタイミングチャートを用いて説明する。
【００５２】
図６に、しきい値電圧（ＶTH）に用いる符号化パターンの例を示す。符号化パターンは特定のパターンに限定されず、例えば、図６（ａ）、（ｂ）のように、符号化の要求により種々設定できる。符号化パターンは、例えば、低い電圧レベル（ＶEN）の時間及び高い電圧レベル（ＶDIS）の時間が互いに異なる複数の矩形波からなり、周期的な矩形波は用いない。高い電圧レベル（ＶDIS）は電圧検出ノード１１のリセット電圧（ＶRST）以上の電圧であればよい（ＶDIS ≧ ＶRST）。また、低い電圧レベル（ＶEN）は電圧検出ノード１１のリセット電圧（ＶRST）より低い電圧であればよく（ＶEN ＜ ＶRST）、光電変換による信号電荷量とパルス発生頻度とが所望の関係となるように、適宜設定することができる。なお、図６の符号化パターンは１フレーム全体を示しており、図２と比較すると、時間方向に圧縮されて表現されている。
【００５３】
次に、パルス発生動作について説明する。パルス発生の仕組みは、基本的には、第１の実施例と同じである。
【００５４】
（１）図７のタイミングチャートのスタート時点は、フォトダイオード（ＰＤ）１０の電圧検出ノード１１の電位ＶPDがリセット電圧（ＶRST）であり、フォトダイオードのリセットが完了して、リセット解除された状態を示している。なお、このときのコンパレータ（Ｃｏｍｐ）３１のしきい値は、低い電圧レベル（ＶEN）である。コンパレータ（Ｃｏｍｐ）３１の一方の入力（−入力）に電圧ＶPDが入力され、他方の入力（＋入力）には、しきい値電圧（ＶEN）が入力される。このときＶPD（ＶRST）＞ＶENであるから、コンパレータ３１の出力はＬｏｗである。インバータ回路３２の入力がＬｏｗであるから、偶数段の最終段インバータ（Ｉｎｖ2n）の出力（インバータ回路３２の出力）、すなわちパルス発生回路の出力（ＶOUT）もＬｏｗであり、リセットトランジスタ（ＴR）２０はオフ（ＯＦＦ）状態になっている。
【００５５】
（２）フォトダイオード１０に光が入射すると、光電変換により生成した電荷（光電流）がフォトダイオード１０内に蓄積して、フォトダイオード１０の電極（電圧検出ノード）１１の電圧（ＶPD）が次第に低下する。
【００５６】
（３）フォトダイオード１０の電圧検出ノード１１の電圧（ＶPD）が、しきい値電圧（ＶEN）に達すると、コンパレータ（Ｃｏｍｐ）３１の出力がＨｉｇｈに反転する。この出力変化は偶数個のインバータの出力が順次反転して伝達され、最終段のインバータ（Ｉｎｖ2n）の出力（インバータ回路３２の出力）、すなわち、パルス発生回路の出力（ＶOUT）がＨｉｇｈとなる。
【００５７】
（４）パルス発生回路の出力（ＶOUT）がＨｉｇｈになると、リセットトランジスタ２０がオン（ＯＮ）状態になり、フォトダイオード１０の電極にリセット電圧（ＶRST）が印加され、フォトダイオード１０（及び電圧検出ノード１１）が再度リセットされる。
【００５８】
（５）フォトダイオード１０がリセットされると、コンパレータ（Ｃｏｍｐ）３１の一方の入力（−入力）の電圧ＶPDがリセット電圧（ＶRST）となり、コンパレータ３１の出力がＬｏｗに戻る。
【００５９】
（６）コンパレータ３１の出力変化は、偶数個のインバータ出力が順次反転して伝達され、最終段のインバータ（Ｉｎｖ2n）の出力、すなわち、パルス発生回路の出力（ＶOUT）がＬｏｗになり、（１）に戻る。このような過程を経て、出力（ＶOUT）にパルスが発生する。
【００６０】
（７）その後、時刻Ｔ１までは、上記の（１）〜（６）の過程が繰り返されて、パルスが複数発生し、カウンタ回路４０（カウンタ４１〜４８）により、パルス数がカウントされる。
【００６１】
（８）時刻Ｔ１において、コンパレータ（Ｃｏｍｐ）３１のしきい値が、高い電圧レベル（ＶDIS）となる。このとき、コンパレータ（Ｃｏｍｐ）３１の一方の入力（−入力）に電圧ＶPDが入力され、他方の入力（＋入力）には、しきい値電圧（ＶDIS）が入力される。電圧検出ノード１１の電位ＶPDは最大でもリセット電圧（ＶRST）までにしかならないから、常にＶDIS＞ＶPDであり、コンパレータ３１の出力はＨｉｇｈとなる。インバータ回路３２の入力がＨｉｇｈであるから、偶数段の最終段インバータ（Ｉｎｖ2n）の出力、すなわちパルス発生回路の出力（ＶOUT）もＨｉｇｈであり、リセットトランジスタ（ＴR）２０はオン（ＯＮ）状態となる。そして、電圧検出ノード１１の電圧ＶPDはリセット電圧（ＶRST）となるが、ＶDIS＞ＶRSTであるから、電圧ＶPDがリセット電圧（ＶRST）となってもコンパレータ３１の出力はＨｉｇｈであり、状態は変化しない。したがって、しきい値電圧（ＶTH）が、高い電圧レベル（ＶDIS）である期間は、この状態が保持され、出力（ＶOUT）が一定となってパルス発生が停止する。
【００６２】
（９）時刻Ｔ２において、コンパレータ（Ｃｏｍｐ）３１のしきい値が、低い電圧レベル（ＶEN）となる。このとき、電圧検出ノード１１の電位ＶPDがリセット電圧（ＶRST）であり、コンパレータ（Ｃｏｍｐ）３１の一方の入力（−入力）に電圧ＶPD（ＶRST）が入力され、他方の入力（＋入力）には、低いしきい値電圧（ＶEN）が入力される。ここでＶPD（ＶRST）＞ＶENであるから、コンパレータ３１の出力はＬｏｗとなる。インバータ回路３２の最終段インバータ（Ｉｎｖ2n）の出力、すなわちパルス発生回路の出力（ＶOUT）もＬｏｗとなり、リセットトランジスタ（ＴR）２０はオフ（ＯＦＦ）状態になっている。すなわち、最初の状態（１）に戻る。
【００６３】
（１０）その後は、コンパレータ（Ｃｏｍｐ）３１のしきい値が、低い電圧レベル（ＶEN）である期間は、上記の（１）〜（６）の過程が繰り返されて、パルスが複数発生し、カウンタ回路４０（カウンタ４１〜４８）により、パルス数がカウントされる。
【００６４】
このように、パルス発生回路（パルス発生期間）を符号化パターンで制御することにより、信号処理回路の電荷量の検出動作を行う時間を符号化パターンで制御でき、符号化露光を実現することができる。
【００６５】
本実施例による符号化露光法では、コンパレータのしきい値制御により、パルスを発生させるか否かを制御しており、光電変換に関わる部分（例えばVPD端子）には何の変更も加えていないため、ノイズを増大させることがない。電荷の転送には影響を与えないため高速動作が可能であり、自由な符号化パターンの設定が可能となる。
【００６６】
（第３の実施例）
第３の実施例として、第１又は第２の実施例で説明した信号処理回路を、各画素に設けた撮像素子を構成することができる。各画素において、信号処理回路により符号化露光を行うことで、撮像装置の符号化露光ができる。
【００６７】
本発明における信号処理回路は画素単位で独立に制御することが可能である。このことから、信号処理回路の制御信号（第１の実施例のイネーブル信号ＥＮ、第２の実施例のしきい値電圧ＶTH）は全画素同一としても良いし、複数の画素をまとめたブロックごと、あるいは画素ごとに異なる符号化パターンを与えても良い。
【００６８】
（第４の実施例）
第４の実施例としての撮像素子は、エリア（ブロックや画素）ごとに信号処理回路の制御信号の符号化パターンを変え、さらに、同じ制御信号（同じ符号化パターン）で制御される画素を符号化パターンで配置することで、時間的な符号化に加えて、空間的（平面的）な符号化を行う。
【００６９】
図８は、撮像素子の表面（光電変換層１１０）の例であり、画素の配置を示している。各四角形は一つの画素を示しており、一重枠の四角形は信号処理回路を第１の符号化パターンで制御する画素１１１であり、二重枠の四角形は信号処理回路を第２の符号化パターンで制御する画素１１２である。それぞれの画素は、列方向及び行方向に不規則な符号化パターンで配置される。２次元的な符号化パターンによる画素の配置は、これに限られない。また、２種類の符号化パターンに限られず、さらに多種類の符号化パターンで制御される画素を不規則に配置してもよい。
【００７０】
第４の実施例の撮像素子は、画素を符号化パターンで配置し、空間的な符号化を行うこととなるため、解像度を向上させるなどの効果が生じる。
【００７１】
（第５の実施例）
図８において、一方の画素１１１の信号処理回路を符号化パターンで制御し、他方の画素１１２の信号処理回路を常に動作状態（制御信号である第１の実施例のイネーブル信号ＥＮを常にＨｉｇｈ、第２の実施例のしきい値電圧ＶTHを常にＶEN）とすることで、通常の露光を行わせることができる。
【００７２】
通常の露光と符号化露光をした画素を混在させることで、全画素を符号化露光した時と比較して露光量を増加させ、感度を向上させることが可能となる。さらに、通常露光の画素と符号化露光の画素が符号化パターンで配置されているから、空間的な符号化を行うことができる。
【００７３】
（第６の実施例）
本発明の撮像素子は、エリア（ブロックや画素）ごとに信号処理回路の制御信号の符号化パターンを変えることができるが、そのためには、エリアごとに信号処理回路の制御信号（第１の実施例のイネーブル信号ＥＮ、第２の実施例のしきい値電圧ＶTH）を独立して与える必要がある。
【００７４】
エリアごとに制御信号の供給を変える場合には、制御信号のための配線及び回路をそれぞれ設ける必要があり、複数の配線による画素および素子面積の増大も懸念される。このため、撮像素子を３次元構造とする。
【００７５】
図９は、本発明の信号処理回路を用いた撮像素子の一実施例を示す図である。図９の撮像素子１００は、画素を構成する各回路要素を異なる基板に形成し、それを３次元積層したものである。
【００７６】
図９において、撮像素子１００は、光電変換層（受光層）１１０と、パルス発生回路層１２０と、カウンタ回路層１３０と、制御信号供給層１４０とから、構成されている。各層は、画素単位で分割されており（図では例えば１６分割）、分割されたそれぞれの区画は縦方向に接続され（接続配線は図示せず）、全体で撮像素子１００が構成されている。
【００７７】
すなわち、光電変換素子（フォトダイオード）１０を最上層の受光層１１０に形成し、リセット手段２０、インバータ回路３０又はコンパレータ３１を２層目のパルス発生回路層１２０に形成し、カウンタ回路４０をカウンタ回路層１３０に形成する。そして、制御信号供給回路（符号化パターンの発生回路）や走査回路等を最下層の制御信号供給層１４０に形成して、各回路を縦方向に接続し、例えば最下層１４０から出力を取り出すことができる。
【００７８】
このように、カウンタ回路や制御信号供給回路を１ｂｉｔ ＡＤＣとは別の基板に形成して３次元積層して、画素ごとに３次元的に配線することで、高精細な固体撮像素子を実現できる。
【００７９】
上記の実施の形態では、撮像素子の信号処理回路の構成と動作について説明したが、本発明はこれに限らず、信号処理方法として構成されてもよい。例えば、図５の回路図及び図７のタイミングチャートに従って、信号処理回路の電荷量検出動作を行う時間を、符号化パターンで制御する信号処理方法として構成されても良い。
【００８０】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００８１】
１      高速シャッタ
２      カメラレンズ
３      撮像素子
４      画像処理回路
１０    フォトダイオード
１１    電圧検出ノード
２０    リセットトランジスタ
３０    インバータ回路
３１    コンパレータ（比較器）
３２    インバータ回路
４０    カウンタ回路
４１〜４８  カウンタ
１００  固体撮像素子
１１０  光電変換層
１１１，１１２  画素
１２０  パルス発生回路層
１３０  カウンタ回路層
１４０  制御信号供給層
４１０，４２０，４８０  Ｄフリップ・フロップ
４１１  排他的論理和ＸＯＲ
【図１】
2020077992.tif 000003
【図２】
2020077992.tif 000004
【図３】
2020077992.tif 000005
【図４】
2020077992.tif 000006
【図５】
2020077992.tif 000007
【図６】
2020077992.tif 000008
【図７】
2020077992.tif 000009
【図８】
2020077992.tif 000010
【図９】
2020077992.tif 000011
【図１０】
2020077992.tif 000012