(57)【要約】【課題】組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供する。【解決手段】ＡＤ変換部２２０の比較器２２１は、読み出し部６０の制御の下、蓄積期間にフォトダイオードＰＤ１からＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、蓄積期間後の転送期間にＦＤ１に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、信号処理部７１０が、ＦＷＣ情報を適用して第１の比較処理に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理に応じた第２のＡＤ変換伝達曲線ＴＣ２を接合する合成処理を行う。【選択図】図１３
2019080107.tif 000002
【特許請求の範囲】
【請求項１】
光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う
固体撮像装置。
【請求項２】
前記信号処理部は、
前記合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ）情報を適用して前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線の接合ギャップを補正する
請求項１記載の固体撮像装置。
【請求項３】
適用される前記ＦＷＣ情報は、少なくとも前記第２の比較処理で得られるＦＷＣ情報である
請求項２記載の固体撮像装置。
【請求項４】
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとる線形のランプ状参照電圧であり、
前記信号処理部は、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整を行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項２または３記載の固体撮像装置。
【請求項５】
前記信号処理部は、
取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトして、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項４記載の固体撮像装置。
【請求項６】
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとらず、連続的に変化し得る変調されたランプ状参照電圧であり、
前記信号処理部は、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項２または３記載の固体撮像装置。
【請求項７】
前記信号処理部は、
取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項６記載の固体撮像装置。
【請求項８】
前記信号処理部は、
前記デジタルデジタル再変換を、ＡＤ変換コードをデジタル領域の画素ごとの前記ＦＷＣ情報に関連した補正係数を使用して行う
請求項７記載の固体撮像装置。
【請求項９】
前記変調されたランプ状参照電圧は、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成される
請求項６から８のいずれか一に記載の固体撮像装置。
【請求項１０】
前記変調されたランプ状参照電圧は、ランプ波形を変化させ、ＡＤ変換コードステップを線形にして生成される
請求項６から８のいずれか一に記載の固体撮像装置。
【請求項１１】
前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとる線形のランプ状参照電圧であり、
前記信号処理部は、
取得した接合部における前記第１の比較処理による前記第１のＡＤ変換伝達曲線の最小値を、取得した接合部における前記第２の比較処理による前記第２のＡＤ変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項２または３記載の固体撮像装置。
【請求項１２】
前記信号処理部は、
取得した接合部における前記第１の比較処理によるＡＤ変換コードの最小値を、取得した接合部における前記第２の比較処理によるＡＤ変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、前記第１のＡＤ変換伝達曲線と前記第２のＡＤ変換伝達曲線を接合する
請求項１１記載の固体撮像装置。
【請求項１３】
前記信号処理部は、
前記デジタルデジタル再変換を、ＡＤ変換コードをデジタル領域の画素ごとの前記ＦＷＣ情報に関連した補正係数を使用して行う
請求項１２記載の固体撮像装置。
【請求項１４】
前記ＦＷＣ情報は、
当該固体撮像装置が正規に稼働しているオンラインにおいて、前記第１の比較処理を行った後に、無変調のランプ状参照電圧を用いた簡易的な前記第２の比較処理を行った結果から測定される
請求項２から１３のいずれか一に記載の固体撮像装置。
【請求項１５】
前記ＦＷＣ情報は、
当該固体撮像装置が正規に稼働していないオフラインにおいて、前記各画素を駆動してあらかじめ測定された情報である
請求項２から１４のいずれか一に記載の固体撮像装置。
【請求項１６】
前記比較器は、前記第１の比較処理において、
前記オーバーフロー電荷の量に応じた時間に対応する前記第１の比較結果信号を出力し、
前記オーバーフロー電荷が前記光電変換素子から前記出力ノードに溢れ始める最大サンプリング時間における前記光電変換素子の信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルに対応可能である
請求項１から１５のいずれか一に記載の固体撮像装置。
【請求項１７】
前記蓄積期間は、
前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送素子が導通状態に切り替えられて前記転送期間が開始されるまでの期間であり、
前記第１の比較処理の期間は、
前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送期間が開始される前に、前記出力ノードがリセットレベルにリセットされるまでの期間であり、
前記第２の比較処理の期間は、
前記出力ノードがリセットレベルにリセットされた後の期間であって、前記転送期間後の期間を含む期間である
請求項１から１６のいずれか一に記載の固体撮像装置。
【請求項１８】
前記読み出し部は、
前記第１の比較処理と前記第２の比較処理を、照度に応じて選択的に行うように制御する
請求項１から１７のいずれか一に記載の固体撮像装置。
【請求項１９】
第１の基板と、
第２の基板と、を含み、
前記第１の基板と前記第２の基板は接続部を通して接続された積層構造を有し、
前記第１の基板には、
少なくとも、前記画素の前記光電変換素子、前記転送素子、前記出力ノード、および出力バッファ部が形成され、
前記第２の基板には、
少なくとも、前記比較器、前記メモリ部、および前記読み出し部の少なくとも一部が形成されている
請求項１から１８のいずれか一に記載の固体撮像装置。
【請求項２０】
光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含む
固体撮像装置の駆動方法であって、
前記画素の画素信号を読み出す場合、前記比較器において、
前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理を行い、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理を行い、
前記信号処理部において、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う
固体撮像装置の駆動方法。
【請求項２１】
固体撮像装置と、
前記固体撮像装置に被写体像を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、
前記信号処理部は、
前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置、固体撮像装置の駆動方法、および電子機器に関するものである。
【背景技術】
【０００２】
光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが実用に供されている。
ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
【０００３】
ＣＭＯＳイメージセンサは、画素毎にフォトダイオード（光電変換素子）および浮遊拡散層（ＦＤ：Floating Diffusion、フローティングディフュージョン)を有するＦＤアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列（カラム）出力方向へと読み出すような列並列出力型が主流である。
【０００４】
また、列並列出力型ＣＭＯＳイメージセンサの画素信号読み出し（出力）回路については実に様々なものが提案されている。
それらの中で、その最も進んだ回路のひとつが、列（カラム）毎にアナログ−デジタル変換器（ＡＤＣ（Analog digital converter)）を備え、画素信号をデジタル信号として取り出す回路である（たとえば特許文献１，２参照）。
【０００５】
この列並列ＡＤＣ搭載ＣＭＯＳイメージセンサ（カラムＡＤ方式ＣＭＯＳイメージセンサ）では、比較器（コンパレータ）はいわゆるＲＡＭＰ波と画素信号の比較をして、後段のカウンタでデジタルＣＤＳを行うことによりＡＤ変換を行う。
【０００６】
しかしながら、この種のＭＯＳイメージセンサは、信号の高速転送が可能であるが、グローバルシャッタ読み出しができないという不利益がある。
【０００７】
これに対して、各画素に比較器を含むＡＤＣ（さらにはメモリ部）を配置して、画素アレイ部中の全画素に対して同一のタイミングで露光開始と露光終了とを実行するグローバルシャッタをも実現可能にするデジタル画素（ピクセル）センサが提案されている（たとえば特許文献３，４参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２７８１３５号公報
【特許文献２】特開２００５−２９５３４６号公報
【特許文献３】ＵＳ ７１６４１１４ Ｂ２  ＦＩＧ、４
【特許文献４】ＵＳ ２０１０／０１８１４６４ Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところが、上述した従来のデジタル画素センサを備えたＣＭＯＳイメージセンサでは、グローバルシャッタ機能を実現することは可能であるが、たとえば蓄積期間にフォトダイオードから溢れ出る電荷をリアルタイムに利用していないことから、広ダイナミックレンジ化、高フレームレート化には限界がある。
【００１０】
また、ＣＭＯＳイメージセンサの重要な性能指標にランダムノイズがあり、主なランダムノイズ源として、画素とＡＤ変換器があることが知られている。
一般的には、ランダムノイズ低減手法として、トランジスタサイズを大きくすることでフリッカノイズ（flicker noise）を低減する、もしくは比較器出力に容量を付加し、帯域を落とすことでＣＤＳによるノイズのフィルタ効果を狙う方法が知られている。
しかし、それぞれの手法では、面積が増大する、容量増により比較器の反転遅延が悪化し、撮像素子のフレームレートが上げられないという不利益がある。
【００１１】
また、各画素に比較器を含むＡＤＣ（さらにはメモリ部）を配置することから、有効画素領域を最大限に拡大することは困難で、コストあたりの価値を最大限に高めることが困難である。
【００１２】
また、ダイナミックレンジを拡大させる方法としては、たとえば、イメージセンサの同一の画素から蓄積時間の異なる２種類の信号を読み出し、この２種類の信号を組み合わせて、ダイナミックレンジを拡大させる方法や、高感度の画素でダイナミックレンジの小さい信号と、低感度でダイナミックレンジを拡大した信号を組み合わせてダイナミックレンジを拡大させる方法などが知られている。
【００１３】
ところで、いずれの方法においても、組み合わせようとする(合成しようとする)複数の信号は、組み合わせ（信号の切り替え）を行う信号値の近傍において、それぞれ入射光量（照度）に対する出力電圧の直線性がほぼ同等に保たれている必要がある。
各々の信号はダイナミックレンジ（Ｄレンジ）を拡大するために光量（照度）に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ（ＡＤＣ）でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性（あるいは傾き）が同じに保たれるようにしている。
【００１４】
しかし、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になるという不利益がある。
【００１５】
本発明は、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
また、本発明は、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
【課題を解決するための手段】
【００１６】
本発明の第１の観点の固体撮像装置は、光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、前記画素は、蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、前記比較器は、前記読み出し部の制御の下、前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、前記信号処理部は、前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う。
【００１７】
本発明の第２の観点は、光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、前記画素は、蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含む固体撮像装置の駆動方法であって、前記画素の画素信号を読み出す場合、前記比較器において、前記読み出し部の制御の下、前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理を行い、前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理を行い、前記信号処理部において、前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う。
【００１８】
本発明の第３の観点の電子機器は、固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、光電変換を行う画素が配置された画素部と、前記画素部の前記画素から画素信号を読み出す読み出し部と、複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、前記画素は、蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、前記比較器は、前記読み出し部の制御の下、前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行い、前記信号処理部は、前記第１の比較処理に応じた第１のアナログデジタル（ＡＤ）変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線を接合する合成処理を行う。
【発明の効果】
【００１９】
本発明によれば、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能となる。
また、本発明によれば、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る固体撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る固体撮像装置の画素部のデジタル画素アレイの一例を示す図である。
【図３】本発明の第１の実施形態に係る固体撮像装置の画素の一例を示す回路図である。
【図４】本発明の第１の実施形態に係るデジタル画素の主要部である電荷蓄積転送系の構成例を示す簡略断面図およびオーバーフロー時のポテンシャル図である。
【図５】本実施形態に係る比較器の第１の比較処理を説明するための図である。
【図６】本実施形態に係る比較器の第１の比較処理を説明するための図であって、参照電圧の他のパターン例を説明するための図である。
【図７】本実施形態に係る比較器に種々の参照電圧を入力した場合の光時間変換の状態を示す図である。
【図８】本発明の第１の実施形態に係るデジタル画素における光応答カバレッジを示す図である。
【図９】本発明の第１の実施形態に係るメモリ部および出力回路の構成例を示す図である。
【図１０】本発明の第１の実施形態に係る固体撮像装置におけるフレーム読み出しシーケンスの一例を示す図である。
【図１１】本実施形態に係る固体撮像装置のＦＷＣ情報をオンラインで測定する第１の測定方法を説明するための図である。
【図１２】本実施形態に係る固体撮像装置のＦＷＣ情報をオフラインで測定する第２の測定方法を説明するための図である。
【図１３】本実施形態に係る固体撮像装置において参照電圧が線形(リニア)のランプ状参照電圧である場合の信号処理部における第１の合成処理方法を説明するため図である。
【図１４】変調された非線形のランプ状参照電圧を、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成する方法の一例を示す図である。
【図１５】本実施形態に係る固体撮像装置において参照電圧が変調された非線形のランプ状参照電圧である場合の信号処理部における第２の合成処理方法を説明するため図である。
【図１６】本実施形態に係る固体撮像装置において参照電圧が変調された非線形のランプ状参照電圧である場合の信号処理部における第２の合成処理方法を説明するため図であって、ＡＤ変換コードステップを含めて示す図である。
【図１７】本発明の実施形態に係るデジタルデジタル再変換処理の一例を示す図である。
【図１８】本発明の実施形態に係るデジタルデジタル再変換処理の他例であって、参照電圧が線形のランプ状参照電圧である場合にデジタルデジタル再変換処理を適用する信号処理部における第３の合成処理方法を説明するための図である。
【図１９】本実施形態に係る信号処理部の構成例を示す図である。
【図２０】図１９の信号処理部の動作概要を説明するためのフローチャートである。
【図２１】本第１の実施形態に係る固体撮像装置の積層構造について説明するための模式図である。
【図２２】本第１の実施形態に係る固体撮像装置の積層構造について説明するための簡略断面図である。
【図２３】本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するためのタイミングチャートである。
【図２４】本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するための動作シーケンスおよびポテンシャル遷移を示す図である。
【図２５】本発明の第２の実施形態に係る固体撮像装置を説明するための図であって、タイムスタンプＡＤＣモード動作とリニアＡＤＣモード動作の選択処理の一例を示す図である。
【図２６】本発明の第３の実施形態に係る固体撮像装置におけるフレーム読み出しシーケンスの一例を示す図である。
【図２７】本第３の実施形態に係る比較器に参照電圧を入力した場合の光時間変換の状態を示す図である。
【図２８】本第３の実施形態におけるデジタルコードと光変換による電荷量との関係を示す図である。
【図２９】本発明の第４の実施形態に係る固体撮像装置の画素の一例を示す回路図である。
【図３０】本発明の実施形態に係る固体撮像装置が適用される電子機器の構成の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る固体撮像装置の構成例を示すブロック図である。
本実施形態において、固体撮像装置１０は、たとえば画素としてデジタル画素(Digital Pixel)を含むＣＭＯＳイメージセンサにより構成される。
【００２３】
この固体撮像装置１０は、図１に示すように、撮像部としての画素部２０、垂直走査回路（行走査回路）３０、出力回路４０、タイミング制御回路５０、読み出し部６０、および信号処理部７１０を含むデジタルシグナルプロセッサ(ＤＳＰ : Digital Signal Processor)部７０を主構成要素として有している。
これらの構成要素のうち、たとえば垂直走査回路３０、出力回路４０、およびタイミング制御回路５０により画素信号の読み出し部６０が構成される。
【００２４】
本第１の実施形態において、固体撮像装置１０は、画素部２０において、デジタル画素として光電変換読み出し部、ＡＤ（アナログデジタル）変換部、およびメモリ部を含み、グローバルシャッタの動作機能を持つ、たとえば積層型のＣＭＯＳイメージセンサとして構成されている。
本第１の実施形態に係る固体撮像装置１０において、後で詳述するように、各デジタル画素ＤＰがＡＤ変換機能を有しており、ＡＤ変換部は、光電変換読み出し部により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器（コンパレータ）を有している。
比較器は、読み出し部６０の制御の下、蓄積期間に光電変換素子から出力ノード（フローティングディフュージョン）に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第１の比較結果信号を出力する第１の比較処理と、蓄積期間後の転送期間に出力ノードに転送された光電変換素子の蓄積電荷に応じた電圧信号に対するデジタル化した第２の比較結果信号を出力する第２の比較処理と、を行う。
【００２５】
そして、本第１の実施形態においては、ＤＳＰ部７０の信号処理部７１０において、大幅な広ダイナミックレンジ化を図るために第１の比較処理に応じた第１のＡＤ変換伝達曲線と第２の比較処理に応じた第２のＡＤ変換伝達曲線の合成処理を行う。
ただし、第１の比較処理と第２の比較処理は動作が不連続であり、２つのＡＤ変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では２つのＡＤ変換伝達曲線をフムース（滑らか）に接続することは難しい。
そこで、本第１の実施形態において、ＤＳＰ部７０の信号処理部７１０では、第１の比較処理に応じた第１のＡＤ変換伝達曲線信号と第２の比較処理に応じた第２のＡＤ変換伝達曲線信号の傾きを等しくするとともに、第２の比較処理に応じたＡＤ変換伝達曲線信号が飽和する手前すなわち直線性が保たれている領域（たとえば非飽和領域）において、この２種類の信号を合成することで２つのＡＤ変換伝達曲線をフムース（滑らか）に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
【００２６】
信号処理部７１０は、合成処理において、測定された画素のフルウェルキャパシティ（ＦＷＣ：Full Well Capacity）情報を適用して第１のＡＤ変換伝達曲線と第２のＡＤ変換伝達曲線の接合ギャップを補正する。
適用されるＦＷＣ情報は、少なくとも第２の比較処理で得られるＦＷＣ情報である。
具体的な合成処理については、後で詳述する。
【００２７】
なお、ＦＷＣ(フルウェルキャパシティ)とは、光電変換素子であるフォトダイオードＰＤが受光した光を電荷（たとえば電子）に変換して蓄積（収容）できる容量の上限のことである。
【００２８】
以下、固体撮像装置１０の各部の構成および機能の概要、特に、画素部２０およびデジタル画素の構成および機能、それらに関連した読み出し処理、画素部２０と読み出し部６０の積層構造、並びに、ＤＳＰ部７０の信号処理部７１０の２つのＡＤ変換伝達曲線の合成処理等について詳述する。
【００２９】
（画素部２０およびデジタル画素２００の構成）
図２は、本発明の第１の実施形態に係る固体撮像装置１０の画素部のデジタル画素アレイの一例を示す図である。
図３は、本発明の第１の実施形態に係る固体撮像装置１０の画素の一例を示す回路図である。
【００３０】
画素部２０は、図２に示すように、複数のデジタル画素２００がＮ行Ｍ列の行列状（マトリクス状）に配列されている。
なお、図２においては、図面の簡単化のため、９つのデジタル画素２００が３行３列の行列状（Ｍ＝３、Ｎ＝３のマトリクス状）に配置されている例が示されている。
【００３１】
本第１の実施形態に係るデジタル画素２００は、光電変換読み出し部（図２ではＰＤと表記）２１０、ＡＤ変換部（図２ではＡＤＣと表記）２２０、およびメモリ部（図２ではＭＥＭと表記）２３０を含んで構成されている。
本第１の実施形態の画素部２０は、後で詳述するように、第１の基板１１０と第２の基板１２０の積層型のＣＭＯＳイメージセンサとして構成されるが、本例では、図３に示すように、第１の基板１１０に光電変換読み出し部２１０が形成され、第２の基板１２０にＡＤ変換部２２０およびメモリ部２３０が形成されている。
【００３２】
デジタル画素２００の光電変換読み出し部２１０は、フォトダイオード（光電変換素子）と画素内アンプとを含んで構成される。
具体的には、この光電変換読み出し部２１０は、たとえば光電変換素子であるフォトダイオードＰＤ１を有する。
このフォトダイオードＰＤ１に対して、転送素子としての転送トランジスタＴＧ１−Ｔｒ、リセット素子としてのリセットトランジスタＲＳＴ１−Ｔｒ、ソースフォロワ素子としてのソースフォロワトランジスタＳＦ１−Ｔｒ、電流源素子としてのカレントトランジスタＩＣ１−Ｔｒ，出力ノードＮＤ１としてのフローティングディフュージョンＦＤ１，および読み出しノードＮＤ２をそれぞれ一つずつ有する。
このように、第１の実施形態に係るデジタル画素２００の光電変換読み出し部２１０は、転送トランジスタＴＧ１−Ｔｒ、リセットトランジスタＲＳＴ１−Ｔｒ、ソースフォロワトランジスタＳＦ１−Ｔｒ、およびカレントトランジスタＩＣ１−Ｔｒの４トランジスタ（４Ｔｒ）を含んで構成されている。
【００３３】
そして、本第１の実施形態においては、ソースフォロワトランジスタＳＦ１−Ｔｒ、カレントトランジスタＩＣ１−Ｔｒ、および読み出しノードＮＤ２を含んで出力バッファ部２１１が構成されている。
【００３４】
本第１の実施形態に係る光電変換読み出し部２１０は、出力バッファ部２１１の読み出しノードＮＤ２がＡＤ変換部２２０の入力部に接続されている。
光電変換読み出し部２１０は、出力ノードとしてのフローティングディフュージョンＦＤ１の電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号ＶＳＬをＡＤ変換部２２０に出力する。
【００３５】
より具体的には、光電変換読み出し部２１０は、ＡＤ変換部２２０の第１の比較処理期間ＰＣＭＰ１において、蓄積期間ＰＩに光電変換素子であるフォトダイオードＰＤ１から出力ノードとしてのフローティングディフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬを出力する。
【００３６】
さらに、光電変換読み出し部２１０は、ＡＤ変換部２２０の第２の比較処理期間ＰＣＭＰ２において、蓄積期間ＰＩ後の転送期間ＰＴに出力ノードとしてのフローティングディフュージョンＦＤ１に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号ＶＳＬを出力する。
光電変換読み出し部２１０は、第２の比較処理期間ＰＣＭＰ２において、画素信号としての読み出しリセット信号(信号電圧)（ＶＲＳＴ）および読み出し信号(信号電圧)（ＶＳＩＧ）をＡＤ変換部２２０に出力する。
【００３７】
フォトダイオードＰＤ１は、入射光量に応じた量の信号電荷（ここでは電子）を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷が正孔（ホール）であったり、各トランジスタがｐ型トランジスタであっても構わない。
また、本実施形態は、複数のフォトダイオードおよび転送トランジスタ間で、各トランジスタを共有している場合にも有効である。
【００３８】
各デジタル画素２００において、フォトダイオード（ＰＤ）としては、埋め込み型フォトダイオード（ＰＰＤ）が用いられる。
フォトダイオード（ＰＤ）を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷（暗電流）が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード（ＰＰＤ）では、フォトダイオード（ＰＤ）の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
【００３９】
光電変換読み出し部２１０の転送トランジスタＴＧ１−Ｔｒは、フォトダイオードＰＤ１とフローティングディフュージョンＦＤ１の間に接続され、制御線を通じてゲートに印加される制御信号ＴＧにより制御される。
転送トランジスタＴＧ１−Ｔｒは、制御信号ＴＧがハイ（Ｈ）レベルの転送期間ＰＴに選択されて導通状態となり、フォトダイオードＰＤ１で光電変換され蓄積された電荷（電子）をフローティングディフュージョンＦＤ１に転送する。
なお、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１が所定のリセット電位にリセットされた後、転送トランジスタＴＧ１−Ｔｒは、制御信号ＴＧがロー（Ｌ）レベルの非導通状態となり、フォトダイオードＰＤ１は蓄積期間ＰＩとなるが、このとき、入射する光の強度（量）が非常に高い場合、飽和電荷量を超えた電荷が転送トランジスタＴＧ１―Ｔｒ下のオーバーフローパスを通じてオーバーフロー電荷としてフローティングディフュージョンＦＤ１に溢れ出す。
【００４０】
リセットトランジスタＲＳＴ１−Ｔｒは、電源電圧ＶＤＤの電源線ＶｄｄとフローティングディフュージョンＦＤ１の間に接続され、制御線を通じてゲートに印加される制御信号ＲＳＴにより制御される。
リセットトランジスタＲＳＴ１−Ｔｒは、制御信号ＲＳＴがＨレベルのリセット期間に選択されて導通状態となり、フローティングディフュージョンＦＤ１を電源電圧ＶＤＤの電源線Ｖｄｄの電位にリセットする。
【００４１】
ソースフォロワ素子としてのソースフォロワトランジスタＳＦ１−Ｔｒは、ソースが読み出しノードＮＤ２に接続され、ドレイン側が電源線Ｖｄｄに接続され、ゲートがフローティングディフュージョンＦＤ１に接続されている。
読み出しノードＮＤ２と基準電位ＶＳＳ（たとえばＧＮＤ）の間に電流源素子としてのカレントトランジスタＩＣ１−Ｔｒのドレイン、ソースが接続されている。カレントトランジスタＩＣ１−Ｔｒのゲートは制御信号ＶＢＮＰＩＸの供給ラインに接続されている。
そして、読み出しノードＮＤ２とＡＤ変換部２２０の入力部間の信号線ＬＳＧＮ１は、電流源素子としてのカレントトランジスタＩＣ１−Ｔｒにより駆動される。
【００４２】
図４（Ａ）および（Ｂ）は、本発明の第１の実施形態に係るデジタル画素の主要部である電荷蓄積転送系の構成例を示す簡略断面図およびオーバーフロー時のポテンシャル図である。
【００４３】
各デジタル画素セルＰＸＬＣは、光Ｌが照射される第１基板面１１０１側（たとえば裏面側）と、この第１基板面１１０１側と対向する側の第２基板面１１０２側とを有する半導体基板（本例では第１の基板１１０）に形成され、分離層ＳＰＬにより分離されている。
そして、図４のデジタル画素セルＰＬＸＣは、光電変換読み出し部２１０を形成するフォトダイオードＰＤ１、転送トランジスタＴＧ１−Ｔｒ、フローティングディフュージョンＦＤ１、リセットトランジスタＲＳＴ１−Ｔｒ、分離層ＳＰＬ、さらには図示しないカラーフィルタ部およびマイクロレンズを含んで構成されている。
【００４４】
（フォトダイオードの構成）
フォトダイオードＰＤ１は、第１基板面１１０１側と、第１基板面１１０１側と対向する側の第２基板面１１０２側とを有する半導体基板に対して埋め込むように形成された第１導電型（本実施形態ではｎ型）半導体層（本実施形態ではｎ層）２１０１を含み、受光した光の光電変換機能および電荷蓄積機能を有するように形成されている。
フォトダイオードＰＤ１の基板の法線に直交する方向（Ｘ方向）における側部には第２の導電型（本実施形態ではｐ型）分離層ＳＰＬが形成されている。
【００４５】
このように、本実施形態では、各デジタル画素セルＰＸＬＣにおいて、フォトダイオード（ＰＤ）としては、埋め込み型フォトダイオード（ＰＰＤ）が用いられる。
フォトダイオード（ＰＤ）を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷（暗電流）が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード（ＰＰＤ）では、フォトダイオード（ＰＤ）の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
【００４６】
図４のフォトダイオードＰＤ１においては、ｎ層（第１導電型半導体層）２１０１が、基板１１０の法線方向（図中の直交座標系のＺ方向）に２層構造を持つように構成されている。
本例では、第１基板面１１０１側にｎ−層２１０２が形成され、このｎ−層２１０２の第２基板面１１０２側にｎ層２１０３が形成され、このｎ−層２１０３の第２基板面１１０２側にｐ＋層２１０４およびｐ層２１０５が形成されている。
また、ｎ−層２１０２の第１基板面１１０１側にｐ＋層２１０６が形成されている。
ｐ＋層２１０６は、フォトダイオードＰＤ１のみならず分離層ＳＰＬ、さらには他のデジタル画素セルＰＸＬＣにわたって一様に形成されている。
【００４７】
なお、このＰ＋層２１０６の光入射側には、カラーフィルタ部が形成され、さらに、カラーフィルタ部の光入射射側であって、フォトダイオードＰＤ１および分離層ＳＰＬの一部に対応するようにマイクロレンズが形成されている。
【００４８】
これらの構成は一例であり、単層構造であってもよく、また、３層、４層以上の積層構造であってもよい。
【００４９】
（Ｘ方向（列方向）における分離層の構成）
図４のＸ方向（列方向）におけるｐ型分離層ＳＰＬにおいては、フォトダイオードＰＤ１のｎ−層２１０２と接する側であって基板の法線に直交する方向（図中の直交座標系のＸ方向）の右側部に、第１のｐ層（第２導電型半導体層）２１０７が形成されている。
さらに、ｐ型分離層ＳＰＬにおいては、第１のｐ層２１０７のＸ方向の右側に、第２のｐ層（第２導電型半導体層）２１０８が、基板１１０の法線方向（図中の直交座標系のＺ方向）に２層構造を持つように構成されている。
本例では、第２のｐ層２１０８において、第１基板面１１０１側にｐ−層２１０９が形成され、このｐ−層２１０９の第２基板面１１０２側にｐ層２１１０が形成されている。
【００５０】
これらの構成は一例であり、単層構造であってもよく、また、３層、４層以上の積層構造であってもよい。
【００５１】
ｐ型分離層ＳＰＬの第１のｐ層２１０７および第２のｐ−層２１０９の第１の基板面１１０１側にはフォトダイオード２１１０と同様のｐ＋層２１０６が形成されている。
【００５２】
ｐ型分離層ＳＰＬの第１のｐ層２１０７の第２の基板面１１０２側の一部にかかりオーバーフローパスＯＶＰが形成されるように、ｎ層２１０３が延長するように形成されている。
そして、ｎ層２１０３の第２基板面１１０２側のｐ層２１０５上に、ゲート絶縁膜を介して転送トランジスタＴＧ１−Ｔｒのゲート電極２１１１が形成されている。
さらに、ｐ型分離層ＳＰＬの第１のｐ層２１０７の第２の基板面１１０２側にはフローティングディフュージョンＦＤ１となるｎ＋層２１１２が形成され、ｎ＋層２１１２に隣接してリセットトランジスタＲＳＴ１−Ｔｒのチャネル形成領域となるｐ層２１１３、ｐ層２１１３に隣接してｎ＋層２１１４が形成されている。
そして、ｐ層２１１３上に、ゲート絶縁膜を介してゲート電極２１１５が形成されている。
【００５３】
このような構造において、入射する光の強度（量）が非常に高い場合、飽和電荷量を超えた電荷が転送トランジスタＴＧ１―Ｔｒ下のオーバーフローパスＯＶＰを通じてオーバーフロー電荷としてフローティングディフュージョンＦＤ１に溢れ出す。
【００５４】
デジタル画素２００のＡＤ変換部２２０は、光電変換読み出し部２１０により出力されるアナログの電圧信号ＶＳＬを、所定の傾きを持たせて変化させたランプ波形または固定電圧の参照電圧ＶＲＥＦと比較して、デジタル信号に変換する機能を有する。
【００５５】
ＡＤ変換部２２０は、図３に示すように、比較器（ＣＯＭＰ）２２１、カウンタ（ＣＮＴ）２２２、入力側結合キャパシタＣ２２１、出力側の負荷キャパシタＣ２２２、およびリセットスイッチＳＷ−ＲＳＴを含んで構成されている。
【００５６】
比較器２２１は、第１の入力端子としての反転入力端子（−）に、光電変換読み出し部２１０の出力バッファ部２１１から信号線ＬＳＧＮ１に出力された電圧信号ＶＳＬが供給され、第２の入力端子としての非反転入力端子（＋）に参照電圧ＶＲＥＦが供給され、電圧信号ＶＳＴと参照電圧ＶＲＥＦとを比較し、デジタル化した比較結果信号ＳＣＭＰを出力する比較処理を行う．
【００５７】
比較器２２１は、第１の入力端子としての反転入力端子（−）に結合キャパシタＣ２２１が接続されており、第１の基板１１０側の光電変換読み出し部２１０の出力バッファ部２１１と第２の基板１１２０側のＡＤ変換部２２０の比較器２２１の入力部をＡＣ結合することにより、低ノイズ化を図り、低照度時に高ＳＮＲを実現可能なように構成されている。
【００５８】
また、比較器２２１は、出力端子と第１の入力端子としての反転入力端子（−）との間にリセットスイッチＳＷ−ＲＳＴが接続され、出力端子と基準電位ＶＳＳとの間に負荷キャパシタＣ２２２が接続されている。
【００５９】
基本的に、ＡＤ変換部２２０においては、光電変換読み出し部２１０の出力バッファ部２１１から信号線ＬＳＧＮ１に読み出されたアナログ信号（電位ＶＳＬ）は比較器２２１で参照電圧ＶＲＥＦ、たとえばある傾きを持った線形または非線形に変化するスロープ波形であるランプ信号ＲＡＭＰと比較される。
このとき、比較器２２１と同様に列毎に配置された、たとえばカウンタ２２２が動作しており、ランプ波形のあるランプ信号ＲＡＭＰとカウンタ値が一対一の対応を取りながら変化することで電圧信号ＶＳＬをデジタル信号に変換する。
基本的に、ＡＤ変換部２２０は、参照電圧ＶＲＥＦ（たとえばランプ信号ＲＡＭＰ）の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
そして、アナログ信号ＶＳＬとランプ信号ＲＡＭＰ（参照電圧ＶＲＥＦ）が交わったとき、比較器２２１の出力が反転し、カウンタ２２２の入力クロックを停止し、または、入力を停止していたクロックをカウンタ２２２に入力し、そのときのカウンタ２２２の値（データ）がメモリ部２３０に記憶されてＡＤ変換を完了させる。
以上のＡＤ変換期間終了後、各デジタル画素２００のメモリ部２３０に格納されたデータ（信号）は出力回路４０からＤＳＰ部７０に出力され、所定の信号処理により２次元画像が生成される。
【００６０】
（比較器２２１のおける第１の比較処理および第２の比較処理）
そして、本第１の実施形態のＡＤ変換部２２０の比較器２２１は、画素信号の読み出し期間に次の２つの第１の比較処理および第２の比較処理を行うように、読み出し部６０により駆動制御される。
【００６１】
第１の比較処理ＣＭＰＲ１において、比較器２２１は、読み出し部６０の制御の下、蓄積期間ＰＩに光電変換素子であるフォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬ１に対するデジタル化した第１の比較結果信号ＳＣＭＰ１を出力する。
なお、この第１の比較処理ＣＭＰＲ１の動作を、タイムスタンプＡＤＣ（ＴＳ−ＡＤＣ）モードの動作ともいう。
【００６２】
第２の比較処理ＣＭＰＲ２において、比較器２２１は、読み出し部６０の制御の下、蓄積期間ＰＩ後の転送期間ＰＴに出力ノードであるフローティングフュージョンＦＤ１に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号ＶＳＬ２（ＶＳＩＧ）に対するデジタル化した第２の比較結果信号ＳＣＭＰ２を出力する。
実際には、第２の比較処理ＣＭＰＲ２において、蓄積電荷に応じた電圧信号ＶＳＬ２（ＶＳＩＧ）に対するデジタル化の前に、リセット時のフローティングディフュージョンＦＤ１のリセット電圧に応じた電圧信号ＶＳＬ２（ＶＲＳＴ）に対するデジタル化を行う。
なお、この第２の比較処理ＣＭＰＲ２の動作を、リニアＡＤＣ（ＬＩＮ−ＡＤＣ）モードの動作ともいう。
【００６３】
なお、本実施形態において、基本的に、蓄積期間ＰＩは、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットレベルにリセットされてから、転送トランジスタＴＧ１−Ｔｒが導通状態に切り替えられて転送期間ＰＴが開始されるまでの期間である。
第１の比較処理ＣＭＰＲ１の期間ＰＣＭＰＲ１は、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットレベルにリセットされてから、転送期間ＰＴが開始される前に、フローティングディフュージョンＦＤ１がリセットレベルにリセットされるまでの期間である。
第２の比較処理ＣＭＰＲ２の期間ＰＣＭＰＲ２は、フローティングディフュージョンＦＤ１がリセットレベルにリセットされた後の期間であって、転送期間ＰＴ後の期間を含む期間である。
【００６４】
ここで、第１の比較処理ＣＭＰＲ１についてさらに詳述する。
図５は、本実施形態に係る比較器２２１の第１の比較処理ＣＭＰＲ１を説明するための図である。
図５において、横軸が時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
【００６５】
フローティングディフュージョンＦＤ１の電圧レベルＶＦＤは、リセットレベルのときが電荷量が最も少なく電圧レベルＶＦＤは最も高いレベルＶＦＤｉｎｉとなる。
一方、飽和状態のときが電荷量が多く、電圧レベルＶＦＤは低いレベルＶＦＤｓａｔとなる。
このような条件に従って、比較器２２１の参照電圧ＶＲＥＦ１を、飽和状態となる手前の非飽和状態時のレベルに固定した電圧ＶＲＥＦｓａｔに設定する、あるいはリセットレベル時の電圧レベルＶＲＥＦｒｓｔから電圧レベルＶＲＥＦｓａｔに至るランプ電圧ＶＲＥＦｒａｍｐに設定する。
【００６６】
第１の比較処理ＣＭＰＲ１のときに、このような参照電圧ＶＲＥＦ１がＶＲＥＦｓａｔまたはＶＲＥＦｒａｍｐに設定されると、図５に示すように、入射光の強度が高い高照度のときほど電荷量が多いため比較器２２１の出力がフリップ（反転）する時間が速い。
最も高い照度の例ＥＸＰ１の場合には、比較器２２１の出力が時刻ｔ１に直ちにフリップ（反転）する。
例ＥＸＰ１より低い照度の例ＥＸＰ２の場合には、比較器２２１の出力が時刻ｔ１より遅い時刻ｔ２にフリップ（反転）する。
例ＥＸＰ２より低い照度の例ＥＸＰ３の場合には、比較器２２１の出力が時刻ｔ２より遅い時刻ｔ３にフリップ（反転）する。
【００６７】
このように、比較器２２１は、第１の比較処理ＣＭＰＲ１において、蓄積期間ＰＩの所定期間にフォトダイオードＰＤ１からフローティングディフュージョンＦＤ１へのオーバーフロー電荷の量に応じた時間に対応する第１の比較結果信号ＳＣＭＰ１を出力する。
【００６８】
より具体的には、比較器２２１は、第１の比較処理ＣＭＰＲ１において、オーバーフロー電荷がフォトダイオードＰＤ１から出力ノードであるフローティングディフュージョンＦＤ１に溢れ始める最大サンプリング時間におけるフォトダイオードＰＤ１の所定の閾値に対応した信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルとの比較処理に対応可能である。
【００６９】
上述したように、タイムスタンプＡＤＣ（ＴＳ−ＡＤＣ）モードにおける光変換動作(Photo conversion operation)は、蓄積期間ＰＩにおいて、光―時間変換(Light to time conversion)を伴って実行される。
図５に示すように、非常に明るい光の下では、リセット活性化期間の直後に比較器２２１の出力状態が反転され、その光レベルは、以下の時間で説明される飽和信号（ウェル容量）に対応する。
【００７０】
（（ＦＤ飽和量×蓄積時間）／サンプリング期間）＋ＰＤ飽和量
たとえば、ＦＤ飽和：８Ｋｅ @ 150uV / e 〜ＦＤ容量の１．１ｆＦ、最小サンプリング時間：１５ｎｓｅｃ、蓄積時間：３ｍｓｅｃ：
であると仮定する。
【００７１】
このタイムスタンプＡＤＣ動作モードでは、上述したように、オーバーフロー電荷がフォトダイオードＰＤ１から出力ノードであるフローティングディフュージョンＦＤ１に溢れ始める最大サンプリング時間におけるフォトダイオードＰＤ１の所定の閾値に対応した信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルをカバーすることができる。
【００７２】
図６は、本実施形態に係る比較器２２１の第１の比較処理ＣＭＰＲ１を説明するための図であって、参照電圧の他のパターン例を説明するための図である。
【００７３】
参照電圧ＶＲＥＦは、図６中に（１）で示す所定の傾きを持たせて変化させたランプ波形（信号）ＲＡＭＰまたは図６中に（２）で示す固定電圧ＤＣであってもよく、また、図６中に（３）で示すログ（ｌｏｇ）や図６中に（４）で示す指数関数的な値をとる電圧信号あってもよい。
【００７４】
図７は、本実施形態に係る比較器に種々の参照電圧ＶＲＥＦを入力した場合の光時間変換の状態を示す図である。
図７において，横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。
【００７５】
図７は、適用される光の性質（適性）によるオーバーフロー電荷（信号）に対応する比較器２２１が反転するサンプリング時間を示している。
図７においては、さまざまな固定基準電圧ＤＣ１、ＤＣ２、ＤＣ３とランプ基準電圧ＶＲＡＭＰに対して反転するサンプリング時間を示している。ここでは、線形基準ランプが使用されている。
【００７６】
以上の飽和したオーバーフロー電荷に対する第１の比較処理ＣＭＰＲ１を行うタイムスタンプＡＤＣ（ＴＳ−ＡＤＣ）モードの動作が終了すると、フローティングディフュージョンＦＤ１と比較器２２１をリセットした後に、非飽和電荷に対する第２の比較処理ＣＭＰＲ２を行うリニアＡＤＣ（ＬＩＮ−ＡＤＣ）モードの動作に移行する。
【００７７】
図８は、本発明の第１の実施形態に係るデジタル画素における光応答カバレッジを示す図である。
図８において、ＴＣ１がタイムスタンプＡＤＣモード動作による信号（ＡＤ変換伝達曲線）を示し、ＴＣ２がリニアＡＤＣモード動作による信号（ＡＤ変換伝達曲線）を示している。
【００７８】
タイムスタンプＡＤＣモードは，非常に明るい光に対する光応答を有することができることから、リニアＡＤＣモードは暗いレベルからの光応答を有することができる。たとえば、１２０ｄＢのダイナミックレンジ性能を実現することができる。
たとえば、上述したように、光変換範囲の飽和信号は９００Ｋｅである。
リニアＡＤＣモードは、ＡＤＣを適用した通常の読み出しモード動作のため、２ｅのノイズレベルから８ＫｅのフォトダイオードＰＤ１とフローティングディフュージョンＦＤ１の飽和までカバーすることがでる。
リニアＡＤＣモードのカバレッジは、追加のスイッチと容量で３０Ｋｅに拡張することができる。
【００７９】
図８は、第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の合成処理が理想的に行われ、両曲線ＴＣ１、ＴＣ２の接合部(接合領域)で接合ギャップがなくスムーズな切り替え（接続）が行われる場合を示している。
【００８０】
しかし、実際には、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になり得る。
そこで、本実施形態においては、後で詳述するように、ＤＳＰ部７０の信号処理部７１０で、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、組み合わせようとする複数の信号のスムーズな切り替え（接続）が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化を実現している。
【００８１】
図９は、本発明の第１の実施形態に係るメモリ部および出力回路の構成例を示す図である。
【００８２】
比較器２２１において、第１の比較処理ＣＭＰＲ１によりフローティングディフュージョンＦＤ１のオーバーフロー電荷に応じた電圧信号がデジタル化された第１の比較結果信号ＳＣＭＰ１、および、第２の比較処理ＣＭＰＲ２によりフォトダイオードＰＤ１の蓄積電荷がデジタル化された第２の比較結果信号ＳＣＭＰ２は、関連付けられてメモリ２３１，２３２にデジタルデータとして記憶される。
メモリ部２３０はＳＲＡＭやＤＲＡＭにより構成され、デジタル変換された信号が供給され、フォトコンバージョン符号に対応し、画素アレイ周辺の出力回路４０の外部ＩＯバッファ４１により読み出すことができる。
【００８３】
図１０は、本発明の第１の実施形態に係る固体撮像装置１０におけるフレーム読み出しシーケンスの一例を示す図である。
ここで、固体撮像装置１０におけるフレーム読み出し方式の一例について説明する。
図１０において、ＴＳはタイムスタンプＡＤＣの処理期間を示し、ＬｉｎはリニアＡＤＣの処理期間を示している。
【００８４】
上述したように、オーバーフロー電荷は蓄積期間ＰＩ中にフローティングディフュージョンＦＤ１に蓄積される。タイムスタンプＡＤＣモードは蓄積時間ＰＩ中に動作する。
実際には、タイムスタンプＡＤＣモードは、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間に動作する。
タイムスタンプＡＤＣモードの動作が終了すると、リニアＡＤＣモードに遷移し、フローティングディフュージョンＦＤ１のリセット時の信号（ＶＲＳＴ）を読み出してデジタル信号をメモリ部２３０に格納するように変換する。
さらに蓄積期間ＰＩの終了後、リニアＡＤＣモードではフォトダイオードＰＤ１の蓄積電荷に応じた信号（ＶＳＩＧ）を読み取ってデジタル信号をメモリ部２３０に格納するように変換する。
読み出されたフレームは、メモリノードからのデジタル信号データの読み出しによって実行され、そのようなＭＩＰＩデータフォーマットを有する、たとえば出力回路４０のＩＯバッファ４１（図９）を介して固体撮像装置１０（イメージセンサ）のＤＳＰ部７０に外部に送られる。この動作は、全画素（ピクセル）アレイに対してグローバルに実行することができる。
【００８５】
また、画素部２０において、全画素同時にリセットトランジスタＲＳＴ１−Ｔｒと転送トランジスタＴＧ１−Ｔｒを使ってフォトダイオードＰＤ１をリセットすることで、全画素同時並列的に露光を開始する。また、所定の露光期間（蓄積帰還ＰＩ）が終了した後、転送トランジスタＴＧ１−Ｔｒを使って光電変換読み出し部からの出力信号をＡＤ変換部２２０、メモリ部２３０でサンプリングすることで、全画素同時並列的に露光を終了する。これにより、完全なシャッタ動作を電子的に実現する。
【００８６】
垂直走査回路３０は、タイミング制御回路５０の制御に応じてシャッタ行および読み出し行において行走査制御線を通してデジタル画素２００の光電変換読み出し部２１０の駆動を行う。
垂直走査回路３０は、タイミング制御回路５０の制御に応じて、各デジタル画素２００の比較器２２１に対して、第１の比較処理ＣＭＰＲ１、第２の比較処理ＣＭＰＲ２に準じて設定される参照電圧ＶＲＥＦ１，ＶＲＥＦ２を供給する。
また、垂直走査回路３０は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードＰＤに蓄積された電荷をリセットするシャッタ行の行アドレスの行選択信号を出力する。
【００８７】
出力回路４０は、たとえば図９に示すように、画素部２０の各デジタル画素２００のメモリ出力に対応して配置されたＩＯバッファ４１を含み、各デジタル画素２００から読み出されるデジタルデータをＤＳＰ部７０に出力する。
【００８８】
タイミング制御回路５０は、画素部２０、垂直走査回路３０、出力回路４０等の信号処理に必要なタイミング信号を生成する。
【００８９】
本第１の実施形態において、読み出し部６０は、たとえばグローバルシャッタモード時に、デジタル画素２００からの画素信号の読み出し制御を行う。
【００９０】
ＤＳＰ部７０では、入力されたデジタル信号に対して相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、黒補正、デジタルゲイン等の画像信号処理が施された後、たとえばＳＬＶＳインタフェース部において出力型式に適合させて出力される。 
【００９１】
（第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２の合成処理）
本第１の実施形態においては、ＤＳＰ部７０の信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
【００９２】
すなわち、本第１の実施形態においては、ＤＳＰ部７０の信号処理部７１０において、大幅な広ダイナミックレンジ化を図るために第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２を接合する合成処理を行う。
ただし、第１の比較処理と第２の比較処理は動作が不連続であり、２つのＡＤ変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では２つのＡＤ変換伝達曲線をフムース（滑らか）に接続することは難しい。
そこで、本第１の実施形態において、ＤＳＰ部７０の信号処理部７１０では、第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の傾きを略等しくするとともに、第２の比較処理ＣＭＰＲ２に応じたＡＤ変換伝達曲線ＴＣ２が飽和する手前すなわち直線性が保たれている領域（非飽和領域）において、この２種類の信号を合成することで２つのＡＤ変換伝達曲線をフムース（滑らか）に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
【００９３】
信号処理部７１０は、合成処理において、測定された画素のＦＷＣ（フルウェルキャパシティ：Full Well Capacity）情報を適用して第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する。
適用されるＦＷＣ情報は、少なくとも第２の比較処理で得られるＦＷＣ情報である。
【００９４】
（ＦＷＣ情報の測定方法）
ＦＷＣ情報を測定する方法としては、オンラインで測定する第１の測定方法と、オフラインで測定する第２の測定方法がある。
オンラインとは、固体撮像装置が正規に稼働しているときを含み、オフラインとは固体撮像装置が正規に稼働していない、たとえば出荷前のときを含む。
【００９５】
（オンラインで測定する第１の測定方法）
図１１は、本実施形態に係る固体撮像装置のＦＷＣ情報をオンラインで測定する第１の測定方法を説明するための図である。
【００９６】
第１の比較処理ＣＭＰＲ１であるタイムスタンプＡＤＣ（ＴＳ−ＡＤＣ）モード動作期間中に、比較器２２１の出力が反転することは、すでに光電変換素子であるフォトダイオードＰＤ１の蓄積電荷が満杯で、フォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１にオーバーフロー電荷が溢れ出る状態にあることを意味する。
そこで、ＦＷＣ情報を得るために、行ごとにタイムスタンプＡＤＣ（ＴＳ−ＡＤＣ）モード動作終了後に、アナログＣＤＳで簡易的に短い第２の比較処理ＣＭＰＲ２である疑似的なリニアＡＤＣ（ＬＩＮ−ＡＤＣ）モード動作を、無変調で行う。
たとえば、参照電圧ＶＲＥＦ２であるランプ電圧の上方の１／４あるいは１／８の部分のみを導通させる。
ここでは、フォトダイオードＰＤ１のＦＷＣ情報のみを取得できればいいことからこの方法で十分である。
【００９７】
このように、第１の測定方法では、固体撮像装置１０が正規に稼働しているオンラインにおいて、ＦＷＣ情報は、第１の比較処理ＣＭＰＲ１であるタイムスタンプＡＤＣ（ＴＳ−ＡＤＣ）モード動作を行った後に、無変調のランプ状参照電圧を用いた簡易的な第２の比較処理であるリニアＡＤＣ（ＬＩＮ−ＡＤＣ）モード動作を行った結果から測定（取得）される。
【００９８】
（オフラインで測定する第２の測定方法）
図１２（Ａ）〜（Ｃ）は、本実施形態に係る固体撮像装置のＦＷＣ情報をオフラインで測定する第２の測定方法を説明するための図である。
【００９９】
たとえば出荷前に、全画素において、まず、図１２（Ａ）に示すように、制御信号ＴＧ、ＲＳＴをＬレベルに保持して、転送トランジスタＴＧ１−ＴｒおよびリセットトランジスタＲＳＴ１−Ｔｒを非導通状態（オフ状態）に保持した状態で、電源電圧ＶＤＤをＬレベルに相当するレベルまで下げて、フォトダイオードＰＤ１に電荷を蓄積（充電）させる。
次に、図１２（Ｂ）に示すように、電源電圧ＶＤＤをもとの駆動レベルに戻し、リセットトランジスタＲＳＴ１−Ｔｒをオン、オフさせてフローティングディフュージョンＦＤ１をクリア（リセット）させるとともに、フォトダイオードＰＤ１の余分な電荷を排出させる。
そして、図１２（Ｃ）に示すように、転送トランジスタＴＧ１−Ｔｒを導通状態（オン状態）にして、フォトダイオードＰＤ１の電荷をフローティングディフュージョンＦＤ１に転送させ、その読み出し信号をアナログおよび、または、デジタルＣＤＳでリニアＡＤＣ（ＬＩＮ−ＡＤＣ）モード動作を、変調して行う。
【０１００】
このように、第２の測定方法では、固体撮像装置１０が正規に稼働していないオフラインにおいて、ＦＷＣ情報は、各画素を駆動してあらかじめ測定される。
なお、このオフラインで測定する第２の測定方法において、複数回測定し平均化することで、読み出し雑音を低減することができ、高精度なＦＷＣ測定を実現することも可能である。
【０１０１】
信号処理部７１０は、測定されたＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する合成処理を行う。
この合成処理方法は、基本的に、比較器２２１に供給される参照電圧ＶＲＥＦが線形(リニア)のランプ状参照電圧ＶＲＥＦ−ＬＲである場合と、変調されたランプ状参照電圧ＶＲＥＦ−ＭＲである場合で異なる。
【０１０２】
線形(リニア)のランプ状参照電圧ＶＲＥＦ−ＬＲとは、第１の比較処理ＣＭＰＲ１であるタイムスタンプＡＤＣモード動作時および第２の比較処理ＣＭＰＲ２であるリニアＡＤＣモード動作時における比較器２２１の入力レンジを通して、ステップサイズ（ｍＶ／ＬＳＢ）が単一の値をとる線形のランプ状の電圧信号である。
変調されたランプ状参照電圧ＶＲＥＦ−ＭＲとは、ステップサイズ（ｍＶ／ＬＳＢ）が単一の値をとらず、連続的に変化し得る変調された非線形のランプ状の電圧信号である。
【０１０３】
以下に、信号処理部７１０における合成処理方法として、参照電圧ＶＲＥＦが線形(リニア)のランプ状参照電圧ＶＲＥＦ−ＬＲである場合と、変調されたランプ状参照電圧ＶＲＥＦ−ＭＲである場合に分けて、３つの第１の合成処理方法、第２の合成処理方法、および第３の合成処理方法を説明する。
【０１０４】
（第１の合成処理方法）
まず、参照電圧が線形(リニア)のランプ状参照電圧ＶＲＥＦ−ＬＲである場合の信号処理部７１０における第１の合成処理方法を説明する。
【０１０５】
図１３は、本実施形態に係る固体撮像装置１０において参照電圧が線形(リニア)のランプ状参照電圧ＶＲＥＦ−ＬＲである場合の信号処理部７１０における第１の合成処理方法を説明するため図である。
図１３において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
【０１０６】
図１３は、画素ＰＸＬＣ−Ａの第１のＡＤ変換伝達曲線ＴＣ１Ａと第２のＡＤ変換伝達曲線ＴＣ２Ａを接合して合成する場合と、画素ＰＸＬＣ−Ｂの第１のＡＤ変換伝達曲線ＴＣ１Ｂと第２のＡＤ変換伝達曲線ＴＣ２Ｂを接合して合成する場合を並列的に示している。
図１３において、Ａは画素ＰＸＬＣ−Ａの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ａの最大ＡＤ変換コードを示し、Ａ´は画素ＰＸＬＣ−Ａの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ａの最小ＡＤ変換コードを示している。
図１３において、Ｂは画素ＰＸＬＣ−Ｂの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ｂの最大ＡＤ変換コードを示し、Ｂ´は画素ＰＸＬＣ−Ｂの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ｂの最小ＡＤ変換コードを示している。
【０１０７】
参照電圧が線形(リニア)のランプ状参照電圧ＶＲＥＦ−ＬＲである場合、信号処理部７１０は、接合部でＡＤ変換コードを取得する。具体的には、ＬＩＮ−ＡＤＣモード時の第２のＡＤ変換伝達曲線ＴＣ２の最大ＡＤ変換コードＡ、ＢとＴＳ−ＡＤＣモード時の第１のＡＤ変換伝達曲線ＴＣ１の最小ＡＤ変換コードＡ´、Ｂ´を取得する。
そして、ＴＳ−ＡＤＣモード時の最小ＡＤ変換コードＡ´、Ｂ´をＬＩＮ−ＡＤＣモード時の最大ＡＤ変換コードＡ，Ｂにシフトする。
この場合、ステップサイズは変わらないので、オフセットを調整するだけで滑らかな接合（接続）が実現される。
【０１０８】
図１３に示すように、各画素ＰＸＬＣのＦＷＣは約２０％変化する。したがって、ＴＳ−ＡＤＣモード時では一定の最大値をとることはできない。そこで、すべての画素ＰＸＬＣにわたってＬＩＮ−ＡＤＣモードのＡＤ変換コードを基準とする。
図１３において、ＡＤ変換コードＡとＢ間のＦＷＣの変動は、最小ＡＤ変換コードＡ´、Ｂ´の開始点として識別される必要がある。
そして、上述したように、ＴＳ−ＡＤＣモード時の最小ＡＤ変換コードＡ´、Ｂ´をＬＩＮ−ＡＤＣモード時の最大ＡＤ変換コードＡ，Ｂにシフトする。
これにより、２つの第２のＡＤ変換伝達曲線ＴＣ２Ａと第１のＡＤ変換伝達曲線ＴＣ１Ａ，第２のＡＤ変換伝達曲線ＴＣ２Ｂと第１のＡＤ変換伝達曲線ＴＣ１Ｂがスムーズに（滑らかに）接合される。
【０１０９】
（第２の合成処理方法）
次に、参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明する。
【０１１０】
変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲを生成する方法は、次の２つの方法を挙げることができる。
第１の方法では、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成される。
第２の方法では、ランプ波形を変化させ、ＡＤ変換コードステップを線形にして生成される。
以下では、第１の方法を採用した場合を例に説明する。
【０１１１】
図１４は、変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲを、ランプ波形は線形で、ＡＤ変換コードステップを変調して生成する方法の一例を示す図である。
図１４の例では、ランプ波形は線形（ＬＲＡＭＰ）で、ＡＤ変換コード（ＡＤＣコード）ステップを、１ＬＳＢ、１／２ＬＳＢ、１／３ＬＳＢ、１／４ＬＳＢと変調して、変調されたＡＤ変換コード曲線（γ曲線）ＭＣＤＣを生成している。
【０１１２】
図１５は、本実施形態に係る固体撮像装置１０において参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明するため図である。
図１６は、本実施形態に係る固体撮像装置１０において参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲである場合の信号処理部７１０における第２の合成処理方法を説明するため図であって、ＡＤ変換コードステップを含めて示す図である。
図１５および図１６において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンＦＤ１の電圧レベルＶＦＤを示している。
【０１１３】
図１５および図１６においても図１３と同様に、画素ＰＸＬＣ−Ａの第１のＡＤ変換伝達曲線ＴＣ１Ａと第２のＡＤ変換伝達曲線ＴＣ２Ａを接合して合成する場合と、画素ＰＸＬＣ−Ｂの第１のＡＤ変換伝達曲線ＴＣ１Ｂと第２のＡＤ変換伝達曲線ＴＣ２Ｂを接合して合成する場合を並列的に示している。
図１５および図１６において、Ａは画素ＰＸＬＣ−Ａの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ａの最大ＡＤ変換コードを示し、Ａ´は画素ＰＸＬＣ−Ａの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ａの最小ＡＤ変換コードを示している。
図１５および図１６において、Ｂは画素ＰＸＬＣ−Ｂの接合部におけるＦＷＣ情報としての第２のＡＤ変換伝達曲線ＴＣ２Ｂの最大ＡＤ変換コードを示し、Ｂ´は画素ＰＸＬＣ−Ｂの接合部におけるＦＷＣ情報としての第１のＡＤ変換伝達曲線ＴＣ１Ｂの最小ＡＤ変換コードを示している。
【０１１４】
図１５および図１６において、領域Ｃは、ＬＩＮ−ＡＤＣフェーズの場合の画素ＰＸＬＣ−Ａの最小ＡＤ変換コードステップ領域である。
領域Ｃ´は、ＬＩＮ−ＡＤＣフェーズの場合、画素ＰＸＬＣ−Ｂの最低のＡＤ変換コードステップ領域である。通常、領域ＣはＦＷＣの変動のために領域Ｃ´と等しくない。
領域Ｄは、ＴＳ−ＡＤＣフェーズに対する画素ＰＸＸＬ−Ａの高ＡＤ変換コードステップ領域であり、Ｄ´は画素ＰＸＬＣ−Ｂの高ＡＤ変換コードステップ領域である。通常、ＤはＤ´と等しくない。
【０１１５】
参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲである場合、ステップサイズ（ｍＶ／ＬＳＢ）は単一ではなく、連続的に変化する可能性がある。
したがって、オフセットの調整は、滑らかな接合を可能にするほど十分ではなく、そのゲインすなわちステップサイズも調整する必要がある。
この非線形利得補正は、デジタル−デジタル再変換（ＤＤＣ：Digital to Digital Re-Conversion）によって行われる。
【０１１６】
すなわち、参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲである場合、オフセットだけでなく、ＡＤ変換のコードステップも異なる。したがって、滑らかな接合を実現するためには、オフセットだけでなく、ＡＤ変換のコードステップも修正する必要がある。
【０１１７】
図１７は、本発明の実施形態に係るデジタルデジタル再変換処理の一例を示す図である。
【０１１８】
各画素のＦＷＣがわかっている場合、ＡＤ変換コードをデジタル領域の画素ごとの補正係数を使用して正確に再変換して、目的のＡＤ変換コードステップに一致させることができる。
このＤＤＣ補正は、基本的に変調されたランプ状電圧の場合に必要であり、実際にはＨＤＲイメージセンサのＡＤＣ解像度数を減らすために使用される。
【０１１９】
図１６および図１７の例では、所望の（理想の）ＡＤ変換コードステップは、接合部近傍領域における第２のＡＤ変換伝達曲線ＴＣ２において、２２ｍＶ／ＬＳＢ．２３ｍＶ／ＬＳＢ，２４ｍＶ／ＬＳＢとステップアップし、切り替え位置（またはタイミング）Ｐ２で、第１のＡＤ変換伝達曲線ＴＣ１において、２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢに切り替え、以降、２６ｍＶ／ＬＳＢとステップアップする形態である。
【０１２０】
画素ＰＸＬＣ−ＡのＡＤ変換コードステップは、接合部近傍領域における第２のＡＤ変換伝達曲線ＴＣ２Ａにおいて、２２ｍＶ／ＬＳＢ．２３ｍＶ／ＬＳＢ，２４ｍＶ／ＬＳＢとステップアップし、切り替え位置Ｐ２より手前の位置Ｐ１で、２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢに切り替え、以降、第１のＡＤ変換伝達曲線ＴＣ１Ａにおいて、位置Ｐ４で、２６ｍＶ／ＬＳＢとステップアップする形態であり、スムーズな接合領域とはなっていない。
【０１２１】
そこで、画素ＰＸＬＣ−Ａに関してデジタルデジタル再変換処理（ＤＤＣ）で非線形ゲイン補正が行われる。
２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢへの切り替え位置をＰ１からＰ２にシフトさせ、また、２５ｍＶ／ＬＳＢから２６ｍＶ／ＬＳＢへの切り替えを位置Ｐ４ではなく位置Ｐ５とする非線形ゲイン補正を行う。
【０１２２】
画素ＰＸＬＣ−ＢのＡＤ変換コードステップは、接合部近傍領域における第２のＡＤ変換伝達曲線ＴＣ２Ｂにおいて、２２ｍＶ／ＬＳＢ．２３ｍＶ／ＬＳＢ，２４ｍＶ／ＬＳＢとステップアップし、切り替え位置Ｐ２より後の位置Ｐ３で、第１のＡＤ変換伝達曲線ＴＣ１Ｂにおいて、２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢに切り替え、以降、位置Ｐ６で，２６ｍＶ／ＬＳＢとステップアップする形態であり、スムーズな接合領域とはなっていない。
【０１２３】
そこで、画素ＰＸＬＣ−Ｂに関してデジタルデジタル再変換処理（ＤＤＣ）で非線形ゲイン補正が行われる。
２４ｍＶ／ＬＳＢから２５ｍＶ／ＬＳＢへの切り替え位置をＰ３からＰ２にシフトさせ、また、２５ｍＶ／ＬＳＢから２６ｍＶ／ＬＳＢへの切り替えを位置Ｐ６ではなく位置Ｐ４とする非線形ゲイン補正を行う。
【０１２４】
以上のように、参照電圧が変調された非線形のランプ状参照電圧ＶＲＥＦ−ＭＲである場合、信号処理部７１０は、次のような信号処理を行う。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１の最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムーズに接合する。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１によるＡＤ変換コードの最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２によるＡＤ変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する。
また、信号処理部７１０は、デジタルデジタル再変換において、ＡＤ変換コードをデジタル領域の画素ごとのＦＷＣ情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
【０１２５】
（第３の合成処理方法）
次に、参照電圧が線形のランプ状参照電圧ＶＲＥＦ−ＬＲである場合にデジタルデジタル再変換処理を適用する信号処理部７１０における第３の合成処理方法を説明する。
【０１２６】
図１８は、本発明の実施形態に係るデジタルデジタル再変換処理の他例であって、参照電圧が線形のランプ状参照電圧ＶＲＥＦ−ＬＲである場合にデジタルデジタル再変換処理を適用する信号処理部７１０における第３の合成処理方法を説明するための図である。
【０１２７】
上述したデジタルデジタル再変換（ＤＤＣ）技術は、ＬＩＮ−ＡＤＣ領域にも適用することができる。
図１８の例の場合、ＬＩＮ−ＡＤＣ領域では、コードステップは１ｍＶ／ＬＳＢのリニアランプで、ＴＳ−ＡＤＣ領域も４ｍＶ／ＬＳＢのリニアランプである。
デジタルデジタル再変換処理（ＤＤＣ）を１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１と、第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２に適用して、ＡＤＣ分解能を圧縮することができる。
【０１２８】
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１による第１のＡＤ変換伝達曲線ＴＣ１の最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２による第２のＡＤ変換伝達曲線ＴＣ２の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムーズに接合する。
信号処理部７１０は、取得した接合部における第１の比較処理ＣＭＰＲ１によるＡＤ変換コードの最小値を、取得した接合部における第２の比較処理ＣＭＰＲ２によるＡＤ変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のＡＤ変換コードを所望の伝達曲線に合わせて再変換することにより、第１のＡＤ変換伝達曲線ＴＣ１と第２のＡＤ変換伝達曲線ＴＣ２をスムースに接合する。
また、信号処理部７１０は、デジタルデジタル再変換において、ＡＤ変換コードをデジタル領域の画素ごとのＦＷＣ情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
【０１２９】
上記した第１の合成処理方法、第２の合成処理方法、第３の合成処理方法を適用することにより、ＦＷＣの大きな変動にかかわらず、デジタル領域のＡＤ変換コードを所望の全伝達曲線に合わせて再変換することにより、２つのＡＤ変換伝達曲線の境界での滑らかな接合を実現することができる。
【０１３０】
図１９は、本実施形態に係る信号処理部７１０の構成例を示す図である。
図２０は、図１９の信号処理部７１０の動作概要を説明するためのフローチャートである。
【０１３１】
図１９の信号処理部７１０は、加算器（減算器）７１１，７１２、乗算器７１３、オフセット補正テーブル７１４、ＦＷＣ登録テーブル７１５、デジタルデジタル再変換（ＤＤＣ）係数生成部７１６、制御部７１７、水平（Ｈ）カウンタ７１８、および垂直（Ｖ）カウンタ７１９を含んで構成されている。
【０１３２】
まず、加算器７１１において、オフセット補正テーブル７１４を参照して画素データＰＸＤからオフセットを減算する（ステップＳＴ１）。
ＤＤＣ係数は、Ｈ、Ｖ情報を使用するＦＷＣ登録テーブル７１５の情報を用いてＤＤＣ係数生成部７１６によって生成される（ステップＳＴ２）。この場合、ＬＩＮ−ＡＤＣデータであるかＴＳ−ＡＤＣデータであるかによって生成される。
次に、乗算器７１３においてオフセット補正された画素データに係数が乗算されてＡＤ変換伝達曲線が補正される（ステップＳＴ３）。
その後に、加算器７１２においてオフセットが加算され（ステップＳＴ４）、２つのＡＤ変換伝達曲線の接合境界で滑らかに接合された画像データが出力される。
【０１３３】
（固体撮像装置１０の積層構造）
次に、本第１の実施形態に係る固体撮像装置１０の積層構造について説明する。
【０１３４】
図２１（Ａ）および（Ｂ）は、本第１の実施形態に係る固体撮像装置１０の積層構造について説明するための模式図である。
図２２は、本第１の実施形態に係る固体撮像装置１０の積層構造について説明するための簡略断面図である。
【０１３５】
本第１の実施形態に係る固体撮像装置１０は、第１の基板（上基板）１１０と第２の基板（下基板）１２０の積層構造を有する。
固体撮像装置１０は、たとえばウェハレベルで貼り合わせた後、ダイシングで切り出した積層構造の撮像装置として形成される。
本例では、第１の基板１１０と第２の基板１２０が積層された構造を有する。
【０１３６】
第１の基板１１０には、その中央部を中心として画素部２０の各デジタル画素２００の光電変換読み出し部２１０が形成されている。
第１の基板１１０の光Ｌが入射側である第１面１１１側にフォトダイオードＰＤが形成され、その光入射側にマイクロレンズＭＣＬやカラーフィルタが形成されている。
第１の基板１１０の第２面側に転送トランジスタＴＧ１−Ｔｒ，リセットトランジスタＲＳＴ１−Ｔｒ，ソースフォロワトランジスタＳＦ１−Ｔｒ，カレントトランジスタＩＣ１−Ｔｒが形成されている
【０１３７】
このように、本第１の実施形態においては、第１の基板１１０には、基本的に、デジタル画素２００の光電変換読み出し部２１０が行列状に形成されている。
【０１３８】
第２の基板１２０には、各デジタル画素２００のＡＤ変換部２２０、メモリ部２３０がマトリクス状に形成されている。
また、第２の基板１２０には、垂直走査回路３０、出力回路４０、およびタイミング制御回路５０も形成されてもよい。
【０１３９】
このような積層構造において、第１の基板１１０の各光電変換読み出し部２１０の読み出しノードＮＤ２と第２の基板１２０の各デジタル画素２００の比較器２２１の反転入力端子（−）とが、たとえば図３に示すように、それぞれ信号線ＬＳＧＮ１、マイクロバンプＢＭＰやビア（Ｄｉｅ−ｔｏ−Ｄｉｅ  Ｖｉａ）等を用いて電気的な接続が行われている。
また、本実施形態においては第１の基板１１０の各光電変換読み出し部２１０の読み出しノードＮＤ２と第２の基板１２０の各デジタル画素２００の比較器２２１の反転入力端子（−）とが、結合キャパシタＣ２２１によりＡＣ結合されている。
【０１４０】
（固体撮像装置１０の読み出し動作）
以上、固体撮像装置１０の各部の特徴的な構成および機能について説明した。
次に、本第１の実施形態に係る固体撮像装置１０のデジタル画素２００の画素信号の基本的な読み出し動作等について説明する。
【０１４１】
図２３は、本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するためのタイミングチャートである。
図２４（Ａ）〜（Ｄ）は、本第１の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するための動作シーケンスおよびポテンシャル遷移を示す図である。
【０１４２】
まず、読み出し動作を開始するに当たって、図２３および図２４（Ａ）に示すように、各デジタル画素２００のフォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１をリセットするグローバルリセットが行われる。
グローバルリセットにおいては、全画素同時にリセットトランジスタＲＳＴ１−Ｔｒと転送トランジスタＴＧ１−Ｔｒが所定期間導通状態に保持されて、フォトダイオードＰＤ１およびフローティングディフュージョンＦＤ１がリセットされる。そして、全画素同時にリセットトランジスタＲＳＴ１−Ｔｒと転送トランジスタＴＧ１−Ｔｒが非導通状態に切り替えられて、全画素同時並列的に露光、すなわち電荷の蓄積が開始される。
【０１４３】
そして、図２３および図２４（Ｂ）に示すように、オーバーフロー電荷に対するタイムスタンプ（ＴＳ）ＡＤＣモードの動作が開始される。
オーバーフロー電荷は蓄積期間ＰＩ中にフローティングディフュージョンＦＤ１に蓄積される。タイムスタンプＡＤＣモードは蓄積時間ＰＩ中、具体的には、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間に動作する。
【０１４４】
タイムスタンプ（ＴＳ）ＡＤＣモードにおいては、光電変換読み出し部２１０において、ＡＤ変換部２２０の第１の比較処理期間ＰＣＭＰ１に対応して、蓄積期間ＰＩにフォトダイオードＰＤ１から出力ノードとしてのフローティングディフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬ１が出力される。
そして、ＡＤ変換部２２０の比較器２２１において、第１の比較処理ＣＭＰＲ１が行われる。比較器２２１では、読み出し部６０の制御の下、蓄積期間ＰＩ中であって、フローティングディフュージョンＦＤ１がリセットされるまでの期間にフォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号ＶＳＬ１に対するデジタル化した第１の比較結果信号ＳＣＭＰ１が出力され、第１の比較結果信号ＳＣＭＰ１に応じたデジタルデータがメモリ部２３０のメモリ２３１に格納される。
【０１４５】
次に、図２３および図２４（Ｃ）に示すように、オーバーフロー電荷に対するタイムスタンプ（ＴＳ）ＡＤＣモードの動作が終了し、リニアＡＤＣモードに遷移し、フローティングディフュージョンＦＤ１のリセット期間ＰＲ２に移行する。
リセット期間ＰＲ２においては、リセットトランジスタＲＳＴ１−Ｔｒが所定期間導通状態に保持されて、フローティングディフュージョンＦＤ１がリセットされる。フローティングディフュージョンＦＤ１のリセット時の信号（ＶＲＳＴ）を読み出してデジタル信号がメモリ部２３０のメモリ２３２に格納される。
そして、リセットトランジスタＲＳＴ１−Ｔｒが非導通状態に切り替えられる。この場合、蓄積期間ＰＩは継続される。
【０１４６】
次に、図２３および図２４（Ｄ）に示すように、蓄積期間ＰＩが終了し、転送期間ＰＴに移行する。
転送期間ＰＴにおいては、転送トランジスタＴＧ１−Ｔｒが所定期間導通状態に保持されて、フォトダイオードＰＤ１の蓄積電荷がフローティングディフュージョンＦＤ１に転送される。
【０１４７】
リニア（Ｌｉｎ，ＬＩＮ）ＡＤＣモードにおいては、光電変換読み出し部２１０において、ＡＤ変換部２２０の第２の比較処理期間ＰＣＭＰ２に対応して、蓄積期間ＰＩ終了後に、フォトダイオードＰＤ１から出力ノードとしてのフローティングディフュージョンＦＤ１に転送された蓄積電荷に応じた電圧信号ＶＳＬ２が出力される。
そして、ＡＤ変換部２２０の比較器２２１において、第２の比較処理ＣＭＰＲ２が行われる。比較器２２１では、読み出し部６０の制御の下、蓄積期間ＰＩ後に、フォトダイオードＰＤ１から出力ノードであるフローティングフュージョンＦＤ１に転送された蓄積電荷に応じた電圧信号ＶＳＬ２に対するデジタル化した第２の比較結果信号ＳＣＭＰ２が出力され、第２の比較結果信号ＳＣＭＰ２に応じたデジタルデータがメモリ部２３０のメモリ２３２に格納される。
【０１４８】
メモリ部２３０に読み出された信号は、メモリノードからのデジタル信号データの読み出しによって実行され、そのようなＭＩＰＩデータフォーマットを有する、たとえば出力回路４０のＩＯバッファ４１を介して固体撮像装置１０（イメージセンサ）のＤＳＰ部７０に送られる。この動作は、全画素（ピクセル）アレイに対してグローバルに実行される。
【０１４９】
ＤＳＰ部７０では、入力されたデジタル信号に対してＣＤＳ、黒補正、デジタルゲイン等の画像信号処理が施された後、たとえばＳＬＶＳインタフェース部において出力型式に適合させて出力される。 
このときＤＳＰ部７０では、信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号が生成される。
【０１５０】
以上説明したように、本第１の実施形態によれば、固体撮像装置１０は、画素部２０において、デジタル画素として光電変換読み出し部２１０、ＡＤ変換部２２０、およびメモリ部２３０を含み、グローバルシャッタの動作機能を持つ、たとえば積層型のＣＭＯＳイメージセンサとして構成されている。
本第１の実施形態に係る固体撮像装置１０において、各デジタル画素２００がＡＤ変換機能を有しており、ＡＤ変換部２２０は、光電変換読み出し部２１０により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器２２１を有している。
そして、比較器２２１は、読み出し部６０の制御の下、蓄積期間にフォトダイオードＰＤ１から出力ノード（フローティングディフュージョン）ＦＤ１に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第１の比較結果信号ＳＣＭＰ１を出力する第１の比較処理ＣＭＰＲ１と、蓄積期間後の転送期間にフローティングノードＦＤ１（出力ノード）に転送されたフォトダイオードＰＤ１の蓄積電荷に応じた電圧信号に対するデジタル化した第２の比較結果信号ＳＣＭＰ２を出力する第２の比較処理ＣＭＰＲ２と、を行う。
そして、ＤＳＰ部７０の信号処理部７１０が、測定された画素のＦＷＣ情報を適用して第１の比較処理ＣＭＰＲ１に応じた第１のＡＤ変換伝達曲線ＴＣ１と第２の比較処理ＣＭＰＲ２に応じた第２のＡＤ変換伝達曲線ＴＣ２の接合ギャップを補正する合成処理を行って、２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
【０１５１】
したがって、本第１の実施形態の固体撮像装置１０によれば、蓄積期間にフォトダイオードから溢れ出る電荷をリアルタイムに利用し、組み合わせようとする複数の信号のスムーズな切り替え（接続）を可能とすることから、画像劣化を抑止しつつ実質的に大幅な広ダイナミックレンジ化、高フレームレート化を実現することが可能となる。
また、本発明によれば、実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
【０１５２】
また、本第１の実施形態の固体撮像装置１０によれば、ＦＷＣの大きな変動にかかわらず、デジタル領域のＡＤ変換コードを所望の全伝達曲線に合わせて再変換することにより、２つのＡＤ変換伝達曲線の境界での滑らかな接合を実現することができる。
【０１５３】
また、本第１の実施形態の固体撮像装置１０によれば、構成の複雑化を防止しつつ、レイアウト上の面積効率の低下を防止することができる。
【０１５４】
また、本第１の実施形態に係る固体撮像装置１０は、第１の基板（上基板）１１０と第２の基板（下基板）１２０の積層構造を有する。
したがって、本第１の実施形態において、第１の基板１１０側を、基本的に、ＮＭＯＳ系の素子だけで形成すること、および、画素アレイにより有効画素領域を最大限に拡大することにより、コストあたりの価値を最大限に高めることができる。
【０１５５】
（第２の実施形態）
図２５は、本発明の第２の実施形態に係る固体撮像装置を説明するための図であって、タイムスタンプＡＤＣモード動作とリニアＡＤＣモード動作の選択処理の一例を示す図である。
【０１５６】
本第２の実施形態に係る固体撮像装置１０Ａが、上述した第１の実施形態に係る固体撮像装置１０と異なる点は、次のとおりである。
第１の実施形態に係る固体撮像装置１０では、タイムスタン（ＴＳ）ＡＤＣモード動作とリニア（Ｌｉｎ）ＡＤＣモード動作が連続して行われる。
【０１５７】
これに対して、本第２の実施形態に係る固体撮像装置１０Ａでは、照度に応じてタイムスタンプ（ＴＳ）ＡＤＣモード動作とリニア（Ｌｉｎ）ＡＤＣモード動作を選択的に行うことができる。
【０１５８】
図２５の例では、通常の照度である場合（ＳＴ１１）、タイムスタンプＡＤＣモード動作とリニアＡＤＣモード動作が連続して行う（ＳＴ１２）。
通常の照度ではなく、非常に（極めて）高照度の場合（ＳＴ１１、ＳＴ１３）、フォトダイオードＰＤ１から電荷がフローティングディフュージョンＦＤ１にオーバーフローする確率が高いことから、タイムスタンプＡＤＣモード動作のみを行う（ＳＴ１４）、
通常の照度ではなく、非常に（極めて）高照度でもなく、非常に（極めて）低照度の場合（ＳＴ１１、ＳＴ１３、ＳＴ１５）、フォトダイオードＰＤ１から電荷がフローティングディフュージョンＦＤ１にオーバーフローする確率がきわめて低いことから、リニアＡＤＣモード動作のみを行う（ＳＴ１６）。
【０１５９】
本第２の実施形態によれば、上述した第１の実施形態の効果と同様の効果を得ることができることはもとより、読み出し処理の高速化、低消費電力化を図ることが可能となる。
【０１６０】
（第３の実施形態）
図２６は、本発明の第３の実施形態に係る固体撮像装置１０Ｂにおけるフレーム読み出しシーケンスの一例を示す図である。
図２７は、本第３の実施形態に係る比較器に参照電圧を入力した場合の光時間変換の状態を示す図である。
図２７において，横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。なお、ここでのオーバーフロー信号とは、転送トランジスタＴＧ１−Ｔｒを導通状態にしてフォトダイオードＰＤ１に電荷をためない条件（非オーバーフロー）にして見積もったものである。
図２７は、適用される光の性質（適性）による非オーバーフロー電荷（信号）に対応する比較器２２１が反転するサンプリング時間を示している。
図２８（Ａ）および（Ｂ）は、本第３の実施形態におけるデジタルコードと光変換による電荷量との関係を示す図である。図２８（Ａ）はリニアのランプ信号を用いた場合の特性を、図２８（Ｂ）はログ信号を用いた場合の特性を示している。
【０１６１】
本第３の実施形態において、読み出し部６０は、比較器２２１に対して、蓄積期間にフォトダイオードＰＤ１から出力ノードであるフローティングディフュージョンＦＤ１に溢れ出ない場合であっても、第１の比較処理ＣＭＰＲ１により、電荷に応じた電圧信号ＶＳＬに対するデジタル化した第１の比較結果信号ＳＣＭＰ１を出力するように制御する。
【０１６２】
本第３の実施形態において、良好な変換処理を実現でき、場合によっては８６ｄＢのダイナミックレンジ性能を実現することができる。
【０１６３】
（第４の実施形態）
図２９は、本発明の第４の実施形態に係る固体撮像装置の画素の構成例を示す図である。
【０１６４】
本第４の実施形態に係る固体撮像装置１０Ｃが、上述した第１の実施形態に係る固体撮像装置１０と異なる点は、次のとおりである。
本第４の実施形態に係る固体撮像装置１０Ｂでは、電流源としてのカレントトランジスタＩＣ１−Ｔｒが第１の基板１１０側ではなく、たとえば第２の基板１２０側のＡＤ変換部２２０の入力側に配置されている。
【０１６５】
本第４の実施形態によれば、上述した第１の実施形態の効果と同様の効果を得ることができる。
【０１６６】
以上説明した固体撮像装置１０，１０Ａ，１０Ｂ，１０Ｃは、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。
【０１６７】
図３０は、本発明の実施形態に係る固体撮像装置が適用されるカメラシステムを搭載し
た電子機器の構成の一例を示す図である。
【０１６８】
本電子機器３００は、図３０に示すように、本実施形態に係る固体撮像装置１０が適用可能なＣＭＯＳイメージセンサ３１０を有する。
さらに、電子機器３００は、このＣＭＯＳイメージセンサ３１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）２２０を有する。
電子機器２００は、ＣＭＯＳイメージセンサ３１０の出力信号を処理する信号処理回路(ＰＲＣ)３３０を有する。
【０１６９】
信号処理回路３３０は、ＣＭＯＳイメージセンサ３１０の出力信号に対して所定の信号処理を施す。
信号処理回路３３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
【０１７０】
上述したように、ＣＭＯＳイメージセンサ３１０として、前述した固体撮像装置１０，１０Ａ，１０Ｂを搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。
【符号の説明】
【０１７１】
１０，１０Ａ，１０Ｂ，１０Ｃ・・・固体撮像装置、２０・・・画素部、ＰＤ１・・・フォトダイオード、ＴＧ１−Ｔｒ・・・転送トランジスタ、ＲＳＴ１−Ｔｒ・・・リセットトランジスタ、ＳＦ１−Ｔｒ・・・ソースフォロワトランジスタ、ＩＣ１−Ｔｒ・・・カレントトランジスタ、ＦＤ１・・・フローティングディフュージョン、２００・・・デジタル画素、２１０・・・光電変換読み出し部、２１１・・・出力バッファ部、２２０・・・ＡＤ変換部、２２１・・・比較器、２２２・・・カウンタ、２３０・・・メモリ部、３０・・・垂直走査回路、４０・・・出力回路、５０・・・タイミング制御回路、６０・・・読み出し部、７０・・・ＤＳＰ部、７０・・・信号処理部、３００・・・電子機器、３１０・・・ＣＭＯＳイメージセンサ、３２０・・・光学系、３３０・・・信号処理回路（ＰＲＣ）。
【図１】
2019080107.tif 000003
【図２】
2019080107.tif 000004
【図３】
2019080107.tif 000005
【図４】
2019080107.tif 000006
【図５】
2019080107.tif 000007
【図６】
2019080107.tif 000008
【図７】
2019080107.tif 000009
【図８】
2019080107.tif 000010
【図９】
2019080107.tif 000011
【図１０】
2019080107.tif 000012
【図１１】
2019080107.tif 000013
【図１２】
2019080107.tif 000014
【図１３】
2019080107.tif 000015
【図１４】
2019080107.tif 000016
【図１５】
2019080107.tif 000017
【図１６】
2019080107.tif 000018
【図１７】
2019080107.tif 000019
【図１８】
2019080107.tif 000020
【図１９】
2019080107.tif 000021
【図２０】
2019080107.tif 000022
【図２１】
2019080107.tif 000023
【図２２】
2019080107.tif 000024
【図２３】
2019080107.tif 000025
【図２４】
2019080107.tif 000026
【図２５】
2019080107.tif 000027
【図２６】
2019080107.tif 000028
【図２７】
2019080107.tif 000029
【図２８】
2019080107.tif 000030
【図２９】
2019080107.tif 000031
【図３０】
2019080107.tif 000032
【手続補正書】
【提出日】平成29年11月15日(2017.11.15)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2019080107.tif 000033
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2019080107.tif 000034
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2019080107.tif 000035
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2019080107.tif 000036
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2019080107.tif 000037
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2019080107.tif 000038
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2019080107.tif 000039
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2019080107.tif 000040
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2019080107.tif 000041
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2019080107.tif 000042
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2019080107.tif 000043
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2019080107.tif 000044
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正の内容】
【図１９】
2019080107.tif 000045
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2019080107.tif 000046
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図２５
【補正方法】変更
【補正の内容】
【図２５】
2019080107.tif 000047
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図２９
【補正方法】変更
【補正の内容】
【図２９】
2019080107.tif 000048