(57)【要約】【課題】フレーム差分を出力できるようにする。【解決手段】固体撮像素子の各画素は、ｎフレーム目では、光電変換素子で生成された電荷をメモリに転送して保持し、ｎ＋１フレーム目において、メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に光電変換素子で生成された電荷に応じた第２の画素信号を順次出力する。固体撮像素子のAD変換部は、ｎ＋１フレーム目において、第１の画素信号と第２の画素信号とでカウント値のアップダウン方向を切り替えて、第１の画素信号と第２の画素信号のAD変換を連続して行う。本技術は、例えば、固体撮像素子に適用できる。【選択図】図４
2014060573.tif 000002
【特許請求の範囲】
【請求項１】
受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、
前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部と
を備え、
前記画素は、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、
前記AD変換部は、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う
固体撮像素子。
【請求項２】
前記AD変換部は、
ランプ波形の基準信号と、前記画素から出力された前記画素信号を比較して得られる差信号を出力する比較器と、
前記差信号が所定のレベルである期間をカウントするカウンタと
を備え、
前記カウンタは、前記第２の画素信号に対応する前記差信号のカウントを、前記第１の画素信号に対応する前記差信号のカウント値から開始する
請求項１に記載の固体撮像素子。
【請求項３】
前記第１の画素信号と前記第２の画素信号の差分の前記カウント値に基づいて、被写体の変化の有無を判定する信号処理回路をさらに備える
請求項１に記載の固体撮像素子。
【請求項４】
受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、
前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部と
を備える固体撮像素子の
前記画素が、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、
前記AD変換部が、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う
ステップを含む制御方法。
【請求項５】
受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、
前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部と
を備え、
前記画素は、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、
前記AD変換部は、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う
固体撮像素子を備える
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像素子、制御方法、および電子機器に関し、特に、フレーム差分を出力できるようにする固体撮像素子、制御方法、および電子機器に関する。
【背景技術】
【０００２】
監視装置等において画像の変化を検出する場合、いま撮像して得られた画像と、その前に撮像して得られた画像との差分であるフレーム差分を用いる方法が知られている。このフレーム差分の処理は、一般に、イメージセンサの後段に設けられた画像処理回路で行われる。
【０００３】
イメージセンサの解像度を上げるため、多画素化が進むと、単一画像データのサイズが増加し、画像処理に要する負荷が増大する。したがって、フレーム差分の処理も後段の画像処理回路ではなく、イメージセンサ内で行うことができれば、後段の画像処理回路の負荷を軽減することができる。
【０００４】
従来、差分出力を行うイメージセンサとしては、２次元配置された画素のｙ行目の画素と、ｙ＋１行目の画素の画素信号の差分を出力するようにしたイメージセンサが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３３４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、フレーム差分を出力できるイメージセンサはまだ実現されていない。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、フレーム差分を出力できるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の固体撮像素子は、受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部とを備え、前記画素は、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、前記AD変換部は、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う。
【０００９】
本技術の第２の側面の制御方法は、受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部とを備える固体撮像素子の前記画素が、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、前記AD変換部が、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行うステップを含む。
【００１０】
本技術の第３の側面の電子機器は、受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部とを備え、前記画素は、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、前記AD変換部は、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う固体撮像素子を備える。
【００１１】
本技術の第１乃至第３の側面においては、受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部とを備え、前記画素において、ｎフレーム目では、前記光電変換素子で生成された電荷が前記メモリに転送されて保持され、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号が順次出力され、前記AD変換部では、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換が連続して行われる。
【発明の効果】
【００１２】
本技術の第１乃至第３の側面によれば、フレーム差分を出力することができる。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用したCMOSイメージセンサの一実施の形態の構成例を示すブロック図である。
【図２】画素とADCの詳細構成について説明する図である。
【図３】図１のCMOSイメージセンサの動画像モードにおける駆動を説明するタイミングチャートである。
【図４】図１のCMOSイメージセンサのフレーム差分出力モードにおける駆動を説明するタイミングチャートである。
【図５】ｎフレーム目のフォトダイオード読み出し動作の詳細を示すタイミングチャートである。
【図６】ｎ＋１フレーム目のフォトダイオード読み出し動作の詳細を示すタイミングチャートである。
【図７】被写体に変化がない場合の蓄積電荷量を概念的に示した図である。
【図８】被写体に変化がない場合のAD変換処理動作を説明する図である。
【図９】被写体に変化がある場合の蓄積電荷量を概念的に示した図である。
【図１０】被写体に変化がある場合のAD変換処理動作を説明する図である。
【図１１】フレーム差分出力モードにおける出力イメージを説明する図である。
【図１２】被写体変化の有無の判定処理について説明する図である。
【図１３】表面照射型として製造した場合のシリコン基板の概略断面構造を示している。
【図１４】裏面照射型として製造した場合のシリコン基板の概略断面構造を示している。
【図１５】積層型のイメージセンサを説明する図である。
【図１６】積層型として製造した場合のシリコン基板の概略断面構造を示している。
【図１７】積層型として製造した場合のシリコン基板の概略断面構造を示している。
【図１８】本技術を適用した電子機器の一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
［CMOSイメージセンサの構成例］
図１は、本技術を適用したCMOSイメージセンサ（固体撮像素子）の一実施の形態の構成例を示している。
【００１５】
図１のCMOSイメージセンサ１１は、タイミング制御部１２、垂直走査回路１３、画素アレイ部１４、定電流源回路部１５、参照信号生成部１６、カラムAD変換部１７、水平走査回路１８、水平出力線１９、および出力部２０から構成される。
【００１６】
タイミング制御部１２は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を垂直走査回路１３および水平走査回路１８に供給する。例えば、タイミング制御部１２は、画素２１のシャッタ動作や読み出し動作のタイミング信号を垂直走査回路１３および水平走査回路１８に供給する。また、図示は省略されているが、タイミング制御部１２は、所定の動作に必要なクロック信号やタイミング信号を、参照信号生成部１６、カラムAD変換部１７などにも供給する。
【００１７】
垂直走査回路１３は、画素アレイ部１４の垂直方向に並ぶ画素２１に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。
【００１８】
画素アレイ部１４には、複数の画素２１が２次元アレイ状（行列状）に配置されている。
【００１９】
２次元アレイ状に配置されている複数の画素２１は、水平信号線２２により、行単位で垂直走査回路１３と接続されている。換言すれば、画素アレイ部１４内の同一行に配置されている複数の画素２１は、同じ一本の水平信号線２２で、垂直走査回路１３と接続されている。
【００２０】
また、２次元アレイ状に配置されている複数の画素２１は、垂直信号線２３により、列単位で水平走査回路１８と接続されている。換言すれば、画素アレイ部１４内の同一列に配置されている複数の画素２１は、同じ一本の垂直信号線２３で、水平走査回路１８と接続されている。
【００２１】
画素アレイ部１４内の各画素２１は、水平信号線２２を介して垂直走査回路１３から供給される信号に従って、内部に蓄積された電荷に応じた画素信号を、垂直信号線２３に出力する。画素２１の詳細な構成については、図２を参照して後述する。
【００２２】
定電流源回路部１５は複数の負荷MOS２４を有し、一本の垂直信号線２３に一つの負荷MOS２４が接続されている。負荷MOS２４は、ゲートにバイアス電圧が印加され、ソースが接地されており、垂直信号線２３を介して接続される画素２１内のトランジスタとソースフォロワ回路を構成する。
【００２３】
参照信号生成部１６は、DAC（Digital to Analog Converter）１６aを有して構成されており、タイミング制御部１２からのクロック信号に応じて、ランプ（RAMP）波形の基準信号を生成して、カラムAD変換部１７に供給する。
【００２４】
カラムAD変換部１７には、画素アレイ部１４の列ごとに一つとなる複数のADC(Analog-Digital Converter)２５を有している。したがって、一本の垂直信号線２３には、複数の画素２１と、一個の負荷MOS２４及びADC２５が接続されている。
【００２５】
ADC２５は、同じ列の画素２１から垂直信号線２３を介して供給される画素信号を、CDS(Correlated Double Sampling；相関２重サンプリング)処理し、さらにAD変換処理する。
【００２６】
ADC２５それぞれは、AD変換後の画素データを一時的に記憶し、水平走査回路１８の制御に従って、水平出力線１９に出力する。
【００２７】
水平走査回路１８は、複数のADC２５に記憶されている画素データを、順次、所定のタイミングで水平出力線１９に出力させる。
【００２８】
水平出力線１９は出力部２０と接続されており、各ADC２５から出力された画素データは、出力部２０からCMOSイメージセンサ１１の外部へ出力される。
【００２９】
なお、出力部２０の前段には、信号処理回路２１を設け、水平出力線１９を介して入力される画素データに対して、補正処理等の所定の信号処理を行った処理後のデータを出力部２０から出力するようにしてもよい。
【００３０】
以上のように構成されるCMOSイメージセンサ１１は、CDS処理とAD変換処理を行うADC２５が垂直列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
【００３１】
［画素２１とADC２５の詳細構成例］
次に、図２を参照して、画素２１とADC２５の詳細構成について説明する。
【００３２】
図２は、一本の垂直信号線２３に接続されている画素アレイ部１４内の一つの画素２１と、定電流源回路部１５の負荷MOS２４、および、カラムAD変換部１７のADC２５を示している。
【００３３】
画素２１は、光電変換素子としてのフォトダイオード３１、第１読み出しトランジスタ３２、画素メモリ３３、第２読み出しトランジスタ３４、FD(フローティングディフュージョン)３５、リセットトランジスタ３６、増幅トランジスタ３７、及び選択トランジスタ３８を有する。
【００３４】
フォトダイオード３１は、受光量に応じた電荷（信号電荷）を生成し、蓄積する。第１読み出しトランジスタ３２は、転送信号TG１によりオンされたとき、フォトダイオード３１で生成された電荷を読み出し、画素メモリ３３に転送する。画素メモリ３３は、フォトダイオード３１から読み出された電荷を保持する。
【００３５】
第２読み出しトランジスタ３４は、転送信号TG２によりオンされたとき、画素メモリ３３に保持された電荷を読み出し、FD３５に転送する。なお、第１読み出しトランジスタ３２と第２読み出しトランジスタ３４が同時にオンすることで、フォトダイオード３１で生成された電荷を、直接、FD３５に転送することができる。
【００３６】
FD３５は、フォトダイオード３１または画素メモリ３３から読み出された電荷を保持する。リセットトランジスタ３６は、リセット信号RSTによりオンされたとき、FD３５の電位をリセットする。増幅トランジスタ３７は、FD３５の電位に応じた画素信号を出力する。選択トランジスタ３８は、選択信号SELにより画素２１が選択されたときオンされ、画素２１の画素信号を、垂直信号線２３を介してADC２５に出力する。これらの各トランジスタの動作は、水平信号線２２（図１）を介して垂直走査回路１３から供給される信号により制御される。
【００３７】
ADC２５は、容量素子（キャパシタ）４１および４２、コンパレータ（比較器）４３、並びに、アップダウンカウンタ（U/D CNT）４４で構成される。
【００３８】
画素２１から出力された画素信号は、垂直信号線２３を介して、ADC２５の容量素子４１に入力される。一方、容量素子４２には、参照信号生成部１６のDAC１６aから、時間が経過するにつれてレベル（電圧）が傾斜状に変化する、いわゆるランプ（RAMP）波形の基準信号が入力される。
【００３９】
なお、容量素子４１および４２は、コンパレータ４３において基準信号および画素信号のAC成分のみで比較することができるように、基準信号および画素信号のDC成分を除去するためのものである。
【００４０】
コンパレータ（比較器）４３は、画素信号と基準信号とを比較して得られる差信号をアップダウンカウンタ４４に出力する。例えば、基準信号が画素信号より大である場合にはHi(High)の差信号がアップダウンカウンタ４４に供給され、基準信号が画素信号より小である場合にはLo(Low)の差信号がアップダウンカウンタ４４に供給される。
【００４１】
アップダウンカウンタ(U/D カウンタ)４４は、P相（Preset Phase）AD変換期間で、Hiの差信号が供給されている間だけダウンカウントするとともに、D相（Data Phase）AD変換期間で、Hiの差信号が供給されている間だけアップカウントする。そして、アップダウンカウンタ４４は、P相AD変換期間のダウンカウント値と、D相AD変換期間のアップカウント値との加算結果を、CDS処理およびAD変換処理後の画素データとして出力する。なお、後述するように、P相AD変換期間でアップカウントし、D相AD変換期間でダウンカウントする場合もある。
【００４２】
［動画像モードの説明］
次に、図３を参照して、CMOSイメージセンサ１１が動画像モードとして動作するときに実行される駆動方法について説明する。
【００４３】
動画像モードでは、画素アレイ部１４内の全ての画素２１の露光期間が一致するように、各画素２１の受光（露光）が制御される。
【００４４】
具体的には、図３に示されるように、画素アレイ部１４の全ての行の各画素２１が、同時に受光（露光）を開始する。そして、一定期間経過後、転送信号TG１により、第１読み出しトランジスタ３２がオンされ、フォトダイオード３１で生成された電荷が、一斉に、画素メモリ３３に転送される。
【００４５】
次に、垂直走査回路１３は、転送信号TG２を制御して、画素２１の第２読み出しトランジスタ３４を、所定の順序で、行単位に順次オンさせる。例えば、垂直走査回路１３は、画素アレイ部１４の第ｐ行目から順番に、順次、第２読み出しトランジスタ３４をオンさせる。第２読み出しトランジスタ３４がオンされると、画素メモリ３３で保持されていた電荷が読み出され、垂直信号線２３を介してADC２５に出力される。
【００４６】
ADC２５に供給された、蓄積電荷に対応する画素信号は、次のようにCDS処理およびAD変換処理される。アップダウンカウンタ４４は、P相AD変換期間では、Hiの差信号が供給されている間だけダウンカウントし、D相AD変換期間では、Hiの差信号が供給されている間だけアップカウントする。P相AD変換期間は、画素のばらつき成分であるリセット成分ΔVを測定する期間であり、D相AD変換期間は、（信号成分Vsig＋リセット成分ΔV）を測定する期間である。P相AD変換期間におけるカウント値とD相AD変換期間におけるカウント値を合わせた値が、蓄積電荷に対応する画素信号をAD変換した値となる。P相AD変換期間におけるカウント値とD相AD変換期間におけるカウント値を合わせると、（信号成分Vsig＋リセット成分ΔV）−（リセット成分ΔV）により、信号成分Vsigのみを求めることができ、CDS処理と同時にAD変換処理を行うことができる。
【００４７】
AD変換処理された画素データは、ADC２５のアップダウンカウンタ４４から出力部２０へ出力される。
【００４８】
以上のように、動画像モードでは、画素メモリ３３に電荷を保持することで、全画素２１で露光期間を一致させることを可能にした、いわゆるグローバルシャッタ方式により、被写体画像が撮像され、各画素２１の画素データが出力される。
【００４９】
［フレーム差分出力モードの説明］
次に、CMOSイメージセンサ１１が特別に備えるフレーム差分出力モードの駆動方法について説明する。
【００５０】
図４は、フレーム差分出力モードにおける駆動を説明するタイミングチャートを示している。
【００５１】
フレーム差分出力モードにおいては、CMOSイメージセンサ１１は、連続する２フレームの画素データの差分を、２フレーム間隔で出力する。
【００５２】
具体的には、CMOSイメージセンサ１１は、図４に示すように、ｎフレーム目（ｎ＞１）においては、ｎ−１フレーム目でフォトダイオード３１で生成された電荷を画素メモリ３３に転送する動作を、画素アレイ部１４内の各行に対して順番に行う。そして、次のｎ＋１フレーム目において、CMOSイメージセンサ１１は、ｎフレーム目で画素メモリ３３に転送した電荷をADC２５に出力する動作と、ｎフレーム目の画素メモリ３３転送後にフォトダイオード３１で生成された電荷をADC２５に出力する動作を、画素アレイ部１４内の各行に対して順番に行う。
【００５３】
ADC２５は、ｎ＋１フレーム目において、画素メモリ３３から読み出された電荷と、フォトダイオード３１から読み出された電荷のAD変換処理を連続して行う。ｎフレーム目では、画素２１で生成された電荷はADC２５には出力されないので、CDS処理もAD変換処理も実行されない。
【００５４】
ｎ−１フレーム目に電荷の蓄積を開始してから、ｎフレーム目に画素メモリ３３に転送されるまでの蓄積時間（露光期間）と、画素メモリ３３転送後から、ｎ＋１フレーム目でフォトダイオード３１蓄積電荷を転送するまでの蓄積時間（露光期間）は、同一である。また、各フレームにおける各行の蓄積時間も同一である。
【００５５】
［ｎフレーム目のフォトダイオード読み出し動作］
図５は、ｎフレーム目のｐ行（ｐ≧１）の画素２１における、フォトダイオード３１に蓄積された電荷を画素メモリ３３に転送する動作の詳細を示すタイミングチャートである。
【００５６】
ｎフレーム目において、ｐ行の画素２１の読み出しタイミングになると、垂直走査回路により転送信号TG１が所定期間Hiとされ、第１読み出しトランジスタ３２がオン（On）される。これにより、フォトダイオード３１に蓄積されていた電荷が、画素メモリ３３に転送される。
【００５７】
ｎフレーム目のｐ行の水平走査期間（１H）において、選択信号SEL、リセット信号RST、及び、転送信号TG２は、いずれもLoであり、選択トランジスタ３８、リセットトランジスタ３６、及び、第２読み出しトランジスタ３４は、いずれもオフとなっている。
【００５８】
［ｎ＋１フレーム目のフォトダイオード読み出し動作］
図６は、ｎ＋１フレーム目のｐ行の画素２１における、画素メモリ３３の電荷を読み出す動作と、画素メモリ３３転送後にフォトダイオード３１に蓄積された電荷を読み出す動作の詳細を示すタイミングチャートである。
【００５９】
ｎ＋１フレーム目において、ｐ行の水平走査期間（１H）となると、Hiの選択信号SELが選択トランジスタ３８に供給され、選択トランジスタ３８が、ｐ行の水平走査期間中、オンとされる。
【００６０】
ｐ行の水平走査期間（１H）において、選択トランジスタ３８がオンされた後、初めに、リセット信号RSTが所定期間Hiとされ、リセットトランジスタ３６がオンされて、FD３５の電位がリセットされる。
【００６１】
その後、転送信号TG２が所定期間Hiとされ、第２読み出しトランジスタ３４がオンされる。これにより、画素メモリ３３に保持されていた電荷が、垂直信号線２３を介してADC２５に出力される。
【００６２】
次に、再度、リセット信号RSTが所定期間Hiとされ、リセットトランジスタ３６がオンされて、FD３５の電位がリセットされる。
【００６３】
その後、転送信号TG1と転送信号TG２が同時にHiとされ、第１読み出しトランジスタ３２と第２読み出しトランジスタ３４が同時にオンされる。これにより、ｎフレーム目の画素メモリ３３転送以降フォトダイオード３１に蓄積されていた電荷が、垂直信号線２３を介してADC２５に出力される。
【００６４】
フレーム差分出力モードでは、以上のようなｎフレームとｎ＋１フレームの２フレームの動作が、繰り返し実行される。
【００６５】
［被写体に変化がない場合の蓄積電荷量の説明］
図７は、被写体に変化がない場合に、ｐ行の画素メモリ３３とフォトダイオード３１に蓄積される電荷量を概念的に示した図である。
【００６６】
ｎ−１フレーム目にフォトダイオード３１で生成された電荷は、ｎフレーム目の第１読み出しトランジスタ３２オンにより、画素メモリ３３に転送される。
【００６７】
フォトダイオード３１では、ｎフレーム目の第１読み出しトランジスタ３２オン以降、ｎ＋１フレーム目に第１読み出しトランジスタ３２と第２読み出しトランジスタ３４が同時にオンされてADC２５に出力されるまで、再度、受光量に応じた電荷が生成されて蓄積される。
【００６８】
被写体に変化がない場合には、画素メモリ３３で保持されている電荷量と、ｎ＋１フレーム目にフォトダイオード３１から読み出される電荷量は、同一となる。
【００６９】
図８は、ｎ＋１フレーム目のｐ行の水平走査期間におけるADC２５のAD変換処理動作を示している。
【００７０】
図８では、図６で示したｐ行の駆動動作に対応させて、ADC２５のコンパレータ４３に入力される基準信号RAMP及び画素信号VSLと、アップダウンカウンタ４４のカウント動作が図示されている。
【００７１】
ｎ＋１フレーム目のｐ行の水平走査期間において、ADC２５は、画素メモリ３３に保持されていた電荷がｎ−１フレーム目の画素信号VSLとして入力されてくる１回目の画素読み出し時と、フォトダイオード３１から読み出された電荷がｎフレーム目の画素信号VSLとして入力されてくる２回目の画素読み出し時のそれぞれに対して、動画像モードと同様のAD変換処理を行う。このとき、ADC２５のアップダウンカウンタ４４は、１回目のAD変換処理と、２回目のAD変換処理とで、カウントのアップダウン方向（ダウンカウント／アップカウントの順序）を切り替える。
【００７２】
すなわち、図８に示されるように、画素メモリ３３に保持されていた電荷がｎ−１フレーム目の画素信号VSLとして入力されてくる１回目の画素読み出し時においては、アップダウンカウンタ４４は、P相AD変換期間ではHiの差信号が供給されている間だけダウンカウントし、D相AD変換期間ではHiの差信号が供給されている間だけアップカウントする。
【００７３】
１回目のP相ダウンカウントのカウント値と、D相アップカウントのカウント値を比較すると、画素メモリ３３に保持されていた電荷量に相当する数だけD相アップカウントのカウント数が多くなる。その結果、１回目のD相AD変換期間終了後のアップダウンカウンタ４４のカウント値（ｎ−１フレーム目の出力値）は、正の値となる。
【００７４】
そして、フォトダイオード３１から読み出された電荷がｎフレーム目の画素信号VSLとして入力されてくる２回目の画素読み出し時においては、アップダウンカウンタ４４は、１回目のD相AD変換期間終了後のカウント値からカウントを開始し、P相AD変換期間ではHiの差信号が供給されている間だけアップカウントし、D相AD変換期間ではHiの差信号が供給されている間だけダウンカウントする。
【００７５】
２回目のP相アップカウントのカウント値と、D相ダウンカウントのカウント値を比較すると、フォトダイオード３１から読み出された電荷量に相当する数だけD相ダウンカウントのカウント数が多くなる。ｎ−１フレーム目とｎフレーム目とで、被写体に変化がない場合、２回目のD相ダウンカウントのカウント増加分は、１回目のP相アップカウントのカウント増加分に等しい。したがって、１回目のD相アップカウントのアップ量と、２回目のD相ダウンカウントのダウン量とが相殺されて、２回目のD相AD変換期間終了後のアップダウンカウンタ４４のカウント値はゼロなる。したがって、ADC２５は、ｎ−１フレーム目の画素信号VSLと、ｎフレーム目の画素信号VSLの差分としてゼロを出力することができる。
【００７６】
［被写体に変化がある場合の蓄積電荷量の説明］
次に、被写体に変化がある場合、具体的には、ｎフレーム目の被写体の明るさがｎ−１フレーム目より暗くなる場合について説明する。
【００７７】
図９は、図７と同様に、被写体に変化がある場合に、画素メモリ３３とフォトダイオード３１に蓄積される電荷量を概念的に示した図である。
【００７８】
ｎフレーム目の被写体の明るさがｎ−１フレーム目より暗くなる場合には、ｎ＋１フレーム目にフォトダイオード３１から読み出される電荷量は、画素メモリ３３で保持されている電荷量よりも少なくなる。
【００７９】
図１０は、図８と同様に、被写体に変化がある場合のｎ＋１フレーム目のｐ行の水平走査期間のADC２５のAD変換処理動作を示している。
【００８０】
画素メモリ３３に保持されていた電荷がｎ−１フレーム目の画素信号VSLとして入力されてくる１回目の画素読み出し時の動作は、上述した図８における場合と同様である。したがって、１回目のD相AD変換期間終了後のアップダウンカウンタ４４のカウント値（ｎ−１フレーム目の出力値）は、正の値となる。
【００８１】
一方、ｎフレーム目の被写体の明るさはｎ−１フレーム目よりも暗いので、フォトダイオード３１から読み出された電荷がｎフレーム目の画素信号VSLとして入力されてくる２回目の画素読み出し時のD相ダウンカウントのカウント数は、１回目のD相アップカウントのカウント数よりも少なくなる。
【００８２】
換言すれば、１回目のD相アップカウントのアップ量は、２回目のD相ダウンカウントのダウン量よりも多いので、２回目のD相AD変換期間終了後のアップダウンカウンタ４４のカウント値は正の値となる。したがって、ｎフレーム目の被写体の明るさがｎ−１フレーム目よりも暗い場合、ADC２５は、ｎ−１フレーム目の画素信号VSLと、ｎフレーム目の画素信号VSLの差分として正の値を出力することができる。
【００８３】
以上のように、フレーム差分出力モードでは、CMOSイメージセンサ１１は、連続する２フレーム（ｎ−１フレーム目とｎフレーム目）の画素信号VSLの差分であるフレーム差分を出力することができる。
【００８４】
なお、上述した例では、CMOSイメージセンサ１１は、画素メモリ３３に保持されていた電荷を読み出す１回目の画素読み出し時においては、ダウンカウント（P相AD変換期間）−アップカウント（D相AD変換期間）の順で実行し、フォトダイオード３１から電荷を読み出す２回目の画素読み出し時においては、アップカウント（P相AD変換期間）−ダウンカウント（D相AD変換期間）の順で実行した。
【００８５】
しかし、２回の画素読み出しにより、フレーム間の画素値の差分が得られればよいので、ダウンカウント／アップカウントの順番は逆でもよい。すなわち、１回目の画素読み出し時においては、アップカウント（P相AD変換期間）−ダウンカウント（D相AD変換期間）の順で実行し、２回目の画素読み出し時においては、ダウンカウント（P相AD変換期間）−アップカウント（D相AD変換期間）の順で実行してもよい。この場合、差分としてのカウント値の符号は上述した例と逆になる。
【００８６】
［フレーム差分出力モードの出力イメージ］
図１１は、フレーム差分出力モードにおけるCMOSイメージセンサ１１の出力イメージを説明する図である。
【００８７】
図１１上段は、図７及び図８に示したような、ｎ−１フレーム目とｎフレーム目とで被写体に変化がない場合の出力イメージを示し、図１１下段は、図９及び図１０に示したような、ｎ−１フレーム目とｎフレーム目とで被写体に変化がある場合の出力イメージを示している。
【００８８】
なお、図１１の出力イメージを示した画像では、負の値を表現するため、フレーム差分がゼロとなる画素を白と黒の中間色（グレー）の濃度で表し、フレーム差分が負の値となる画素を暗い（黒の）濃度で表し、フレーム差分が正の値となる画素を明るい（白の）濃度で表している。
【００８９】
図１２は、連続する２フレームで被写体に変化がない場合とある場合で、フレーム差分の出力値の頻度分布を計算した結果を示している。
【００９０】
図１２上段の頻度分布は、被写体に変化がない場合のフレーム差分出力値の頻度分布を示しており、図１２下段の頻度分布は、被写体に変化がある場合のフレーム差分出力値の頻度分布を示している。
【００９１】
被写体に変化がない場合には、図１２に示すように、各画素の差分出力値は０付近のみに集合する。一方、被写体に変化がある場合には、各画素の差分出力値は、フレーム間の差分が少ない画素に対応する０付近と、フレーム間の差分が大きい画素に対応する０以外の所定の値付近の少なくとも２つに集合する。
【００９２】
そこで、差分出力値の閾値Thを設定し、差分出力値の分布を閾値Thに基づいて判定することで、被写体の変化の有無を判定することができる。すなわち、差分出力値が、図１２において影を付して示される、-Th以下またはTh以上の範囲内に存在する場合には、被写体に変化ありと判定し、-Th以下またはTh以上の範囲内に存在しない場合には、被写体に変化なしと判定することができる。
【００９３】
このような差分出力値の頻度分布の計算および変化の有無の判定の処理は、CMOSイメージセンサ１１の出力部２０の後段にDSP(Digital Signal Processor)などの信号処理回路を設け、実行させることができる。あるいは、図１において破線で示したように、出力部２０の前段に信号処理回路２１を設け、そこで実行させることもできる。
【００９４】
CMOSイメージセンサ１１は、被写体変化の有無の判定結果に基づいて、動画像モードによる駆動と、フレーム差分出力モードによる駆動を切り替えるような制御が可能である。例えば、CMOSイメージセンサ１１は、通常はフレーム差分出力モードによる差分出力を行い、差分出力結果に基づいて被写体に変化があると判定されたときから一定期間、動画像モードによる撮像を行うというような駆動の切り替え制御を行うことができる。このような用法は防犯カメラ（監視カメラ）に好適である。
【００９５】
CMOSイメージセンサ１１内の信号処理回路２１で、差分出力値の頻度分布の計算および変化の有無の判定の処理を行う場合には、被写体変化の有りまたは無しを示す状態信号や、被写体変化の有り／無しの切り替わりを表す信号を、出力部２０から出力するなどしてもよい。
【００９６】
以上のように、本技術が適用されたCMOSイメージセンサ１１によれば、連続する２フレームの画素値の差分をイメージセンサ内で算出して出力することができる。従来、フレーム差分を算出するためには、イメージセンサの後段で、撮像画像を保持して差分計算をする必要があったが、CMOSイメージセンサ１１を用いることで、後段での信号処理の負荷を軽減することができる。
【００９７】
［表面照射型のCMOSイメージセンサ１１の断面構造］
上述したCMOSイメージセンサ１１は、表面照射型のイメージセンサとして製造することもできるし、裏面照射型のイメージセンサとして製造することもできる。
【００９８】
図１３は、CMOSイメージセンサ１１を表面照射型として製造した場合のシリコン基板（半導体基板）の概略断面構造を示している。
【００９９】
CMOSイメージセンサ１１が表面照射型である場合、図１３Aに示されるように、シリコン基板６１の上側に、カラーフィルタ、オンチップレンズ等からなる上層６２が形成される。そして、シリコン基板６１の中の上層６２に近い側にメタル配線層７１が形成され、その下側に、画素領域７２とロジック回路７３が形成される。
【０１００】
画素領域７２には、図１３Bに示されるように、フォトダイオード３１と、第１読み出しトランジスタ３２、第２読み出しトランジスタ３４などの制御回路が形成され、ロジック回路７３には、コンパレータ４３、アップダウンカウンタ４４、DAC１６aなどが形成される。
【０１０１】
［裏面照射型のCMOSイメージセンサ１１の断面構造］
図１４は、CMOSイメージセンサ１１を裏面照射型として製造した場合のシリコン基板の概略断面構造を示している。
【０１０２】
CMOSイメージセンサ１１が裏面照射型である場合、図１４Aに示されるように、支持基板８０の上に、シリコン基板６１と上層６２が形成される。この支持基板８０には、回路は形成されない。
【０１０３】
裏面照射型では、メタル配線層７１が支持基板８０側に形成され、メタル配線層７１と上層６２の間に、画素領域７２およびロジック回路７３が形成される。図１４Bに示される画素領域７２およびロジック回路７３の構成は、表面照射型における場合と同様である。
【０１０４】
［積層型のCMOSイメージセンサ１１の第１の断面構造］
CMOSイメージセンサ１１は、上述した表面照射型または裏面照射型の他、積層型のCMOSイメージセンサとして製造することもできる。
【０１０５】
上述した裏面照射型のCMOSイメージセンサ１１は、図１５Aに示すように、支持基板８０の上にシリコン基板６１を積層し、一つのシリコン基板６１上に画素領域７２とロジック回路７３を形成するものである。
【０１０６】
これに対して、積層型のCMOSイメージセンサは、例えば、図１５Bに示されるように、支持基板８０の代わりに、ロジック回路７３が形成された第１シリコン基板８１を用い、その上に画素領域７２が形成された第２シリコン基板８２を貼り合わせて構成される。積層型のCMOSイメージセンサの詳細な構成については、例えば、特開２０１０−２４５５０６号公報、特開２０１１−９６８５１号公報などに開示されている。
【０１０７】
図１６は、CMOSイメージセンサ１１を積層型として製造した場合のシリコン基板の第１の概略断面構造を示している。
【０１０８】
積層型の第１の構成では、上述したこれまでのメタル配線層７１が、図１６Aに示されるように、下側の第１シリコン基板８１のメタル配線層７１Aと、上側の第２シリコン基板８２のメタル配線層７１Bに分かれて形成される。そして、下側の第１シリコン基板８１には、メタル配線層７１Aの下層にロジック回路７３が形成され、上側の第２シリコン基板８２には、メタル配線層７１Bの上層に画素領域７２が形成される。
【０１０９】
第１シリコン基板８１または第２シリコン基板８２に形成されている画素領域７２およびロジック回路７３の構成は、表面照射型および裏面照射型における場合と同様である。
【０１１０】
［積層型のCMOSイメージセンサ１１の第２の断面構造］
図１７は、CMOSイメージセンサ１１を積層型として製造した場合のシリコン基板の第２の概略断面構造を示している。
【０１１１】
下側の第１シリコン基板８１にメタル配線層７１Aが形成され、上側の第２シリコン基板８２にメタル配線層７１Bが形成される点、および、上側の第２シリコン基板８２に画素領域７２が形成される点は、図１６Aに示した第１の構成と同様である。
【０１１２】
一方、第２の構成では、下側の第１シリコン基板８１のみに形成されていたロジック回路７３が、下側の第１シリコン基板８１のロジック回路７３Aと、上側の第２シリコン基板８２のロジック回路７３Bに分かれて形成される点が、上述した第１の構成と異なる。
【０１１３】
第１シリコン基板８１側のロジック回路７３Aには、図１７Bに示すように、アップダウンカウンタ４４などのデジタル系の回路を形成し、第２シリコン基板８２側のロジック回路７３Bには、コンパレータ４３などのアナログ系の回路を形成するように分けることができる。
【０１１４】
［電子機器への適用例］
上述したCMOSイメージセンサ１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１１５】
図１８は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【０１１６】
図１８に示される撮像装置１０１は、光学系１０２、シャッタ装置１０３、固体撮像素子１０４、制御回路１０５、信号処理回路１０６、モニタ１０７、およびメモリ１０８を備えて構成され、静止画像および動画像を撮像可能である。
【０１１７】
光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子１０４に導き、固体撮像素子１０４の受光面に結像させる。
【０１１８】
シャッタ装置１０３は、光学系１０２および固体撮像素子１０４の間に配置され、制御回路１０５の制御に従って、固体撮像素子１０４への光照射期間および遮光期間を制御する。
【０１１９】
固体撮像素子１０４は、上述したCMOSイメージセンサ１１により構成される。固体撮像素子１０４は、光学系１０２およびシャッタ装置１０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子１０４に蓄積された信号電荷は、制御回路１０５から供給される駆動信号（タイミング信号）に従って転送される。固体撮像素子１０４は、それ単体でワンチップとして構成されてもよいし、光学系１０２ないし信号処理回路１０６などと一緒にパッケージングされたカメラモジュールの一部として構成されてもよい。
【０１２０】
制御回路１０５は、固体撮像素子１０４の転送動作、および、シャッタ装置１０３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子１０４およびシャッタ装置１０３を駆動する。
【０１２１】
信号処理回路１０６は、固体撮像素子１０４から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０７に供給されて表示されたり、メモリ１０８に供給されて記憶（記録）されたりする。
【０１２２】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２３】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【０１２４】
なお、本技術は以下のような構成も取ることができる。
（１）
受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、
前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部と
を備え、
前記画素は、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、
前記AD変換部は、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う
固体撮像素子。
（２）
前記AD変換部は、
ランプ波形の基準信号と、前記画素から出力された前記画素信号を比較して得られる差信号を出力する比較器と、
前記差信号が所定のレベルである期間をカウントするカウンタと
を備え、
前記カウンタは、前記第２の画素信号に対応する前記差信号のカウントを、前記第１の画素信号に対応する前記差信号のカウント値から開始する
前記（１）に記載の固体撮像素子。
（３）
前記第１の画素信号と前記第２の画素信号の差分の前記カウント値に基づいて、被写体の変化の有無を判定する信号処理回路をさらに備える
前記（１）または（２）に記載の固体撮像素子。
（４）
受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、
前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部と
を備える固体撮像素子の
前記画素が、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、
前記AD変換部が、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う
制御方法。
（５）
受光量に応じた電荷を生成する光電変換素子と、前記光電変換素子で生成された電荷を保持するメモリを少なくとも有する画素が複数配置された画素アレイ部と、
前記画素から出力される前記電荷に応じた画素信号をカウント値に変換することによりAD変換するAD変換部と
を備え、
前記画素は、ｎフレーム目では、前記光電変換素子で生成された電荷を前記メモリに転送して保持し、ｎ＋１フレーム目において、前記メモリに保持されている電荷に応じた第１の画素信号と、メモリ転送後に前記光電変換素子で生成された電荷に応じた第２の画素信号を順次出力し、
前記AD変換部は、ｎ＋１フレーム目において、前記第１の画素信号と前記第２の画素信号とで前記カウント値のアップダウン方向を切り替えて、前記第１の画素信号と前記第２の画素信号のAD変換を連続して行う
固体撮像素子を備える
電子機器。
【符号の説明】
【０１２５】
１１  CMOSイメージセンサ，  １４  画素アレイ部，  １７  カラムAD変換部，  ２１  画素，  ２５  ADC，  ３１  フォトダイオード，  ３２  第１読み出しトランジスタ，  ３３  画素メモリ，  ３４  第２読み出しトランジスタ，  ３５  FD(フローティングディフュージョン)，  ３６  リセットトランジスタ，  ３７  増幅トランジスタ，  ３８  選択トランジスタ，  ４３  コンパレータ（比較器），  ４４  アップダウンカウンタ，  １０１  撮像装置，  １０４  固体撮像素子
【図１】
2014060573.tif 000003
【図２】
2014060573.tif 000004
【図３】
2014060573.tif 000005
【図４】
2014060573.tif 000006
【図５】
2014060573.tif 000007
【図６】
2014060573.tif 000008
【図７】
2014060573.tif 000009
【図８】
2014060573.tif 000010
【図９】
2014060573.tif 000011
【図１０】
2014060573.tif 000012
【図１１】
2014060573.tif 000013
【図１２】
2014060573.tif 000014
【図１３】
2014060573.tif 000015
【図１４】
2014060573.tif 000016
【図１５】
2014060573.tif 000017
【図１６】
2014060573.tif 000018
【図１７】
2014060573.tif 000019
【図１８】
2014060573.tif 000020