(57)【要約】【課題】短時間の露光時間で撮像された画像データと、長時間の露光時間で撮像された画像データとでは、露光のタイミングが相違し、合成後の画像は、動く被写体を正確に撮像したものとはならない。【解決手段】ＡＤ変換器２００は、複数の同一の長さの撮像期間の各々において画素から出力されたアナログデータをデジタルデータに変換するデジタル変換部２０１と、複数の撮像期間で得られるデジタルデータを積算する積算部２０２とを備える。【選択図】図１
2019114862.tif 000002
【特許請求の範囲】
【請求項１】
複数の同一の長さの撮像期間の各々において画素から出力されたアナログデータをデジタルデータに変換するデジタル変換部と、
複数の撮像期間で得られる前記デジタルデータを積算する積算部とを備えたＡＤ変換器。
【請求項２】
前記積算部から出力される積算値と、前記積算値を前記複数の撮像期間の総数で除算して得られる平均値とに基づいて、合成データを生成する合成部を備えた、請求項１記載のＡＤ変換器。
【請求項３】
前記デジタル変換部は、ｎビットのデジタル値を出力し、
前記複数の撮像期間の総数は、２mであり、
前記積算部から出力される（ｎ＋ｍ）ビットのデータのうちの下位のｎビットで表される第１のデータを出力する第１の演算部と、
前記積算部から出力される（ｎ＋ｍ）ビットのデータのうちの上位のｎビットで表される第２のデータを出力する第２の演算部と、
前記第１のデータと、前記第２のデータとに基づいて合成データを生成する合成データ生成部とを備え、ただし、ｎおよびｍは自然数である、請求項１記載のＡＤ変換器。
【請求項４】
前記合成データ生成部は、前記第１のデータと前記第２のデータとを重み付き加算する、請求項３記載のＡＤ変換器。
【請求項５】
前記合成データ生成部は、前記重み付き加算の結果のうちの下位のｎビットを出力する、請求項４記載のＡＤ変換器。
【請求項６】
前記積算部から出力される積算値と、前記積算値を前記複数の撮像期間の総数で除算して得られる平均値と、前記積算値を前記複数の撮像期間の総数よりも小さな数で除算して得られる中間値とに基づいて、合成データを生成する合成部を備えた、請求項１記載のＡＤ変換器。
【請求項７】
前記デジタル変換部は、ｎビットのデジタル値を出力し、
前記複数の撮像期間の総数は、２mであり、
前記積算部から出力される（ｎ＋ｍ）ビットのデータのうちの下位のｎビットで表させる第１のデータを出力する第１の演算部と、
前記積算部から出力される（ｎ＋ｍ）ビットのデータのうちの上位のｎビットで表される第２のデータを出力する第２の演算部と、
前記積算部から出力される（ｎ＋ｍ）ビットのデータのうちの第（ｋ＋１）ビット〜第（ｋ＋ｎ）ビットのｎビットで表される第３のデータを出力する第３の演算部と、
前記第１のデータと、前記第２のデータと、前記第３のデータとに基づいて合成データを生成する合成データ生成部とを備え、ただし、ｎ、ｍ、ｋは自然数であり、ｋ＜ｍである、請求項１記載のＡＤ変換器。
【請求項８】
前記合成データ生成部は、前記第１のデータと前記第２のデータと前記第３のデータとを重み付き加算する、請求項７記載のＡＤ変換器。
【請求項９】
前記合成データ生成部は、前記重み付き加算の結果のうちの下位のｎビットを出力する、請求項８記載のＡＤ変換器。
【請求項１０】
光電変換により信号を出力する複数の画素が行列状に配置された画素アレイと、
各々が、前記画素アレイの複数の列のうちのいずれかの列に対応して設けられ、前記画素アレイの選択行から読み出された画素の電圧信号をデジタル信号に変換する複数のコラムＡＤＣとを備え、
前記コラムＡＤＣは、
請求項１〜９のいずれか１項に記載のＡＤ変換器を含む、固体撮像素子。
【請求項１１】
前記撮像期間は、ブランキング期間と、前記画素内のフォトダイオードが前記光電変換し、前記光電変換で発生した電荷の量を表わすアナログ信号を前記コラムＡＤＣへ転送する露光および転送期間と、前記コラムＡＤＣにおいて前記アナログ信号を前記デジタル信号へ変換する変換期間とを含み、
第ｉ回目の撮像期間の変換期間が終了するタイミングよりも前のタイミングで、第（ｉ＋１）回目の撮像期間の変換期間が開始される、請求項１０記載の固体撮像素子。
【請求項１２】
前記固体撮像素子は、グローバルシャッタ方式によって、撮像が行われる、請求項１０記載の固体撮像素子。
【請求項１３】
前記撮像期間は、ブランキング期間と、前記画素内のフォトダイオードが前記光電変換し、前記光電変換で発生した電荷を前記画素内の容量素子へ転送する第１の期間と、前記容量素子から前記コラムＡＤＣへアナログ信号を転送する第２の転送期間と、前記コラムＡＤＣにおいて前記アナログ信号を前記デジタル信号へ変換する変換期間とを含み、
第ｉ回目の撮像期間の変換期間が終了するタイミングよりも前のタイミングで、第（ｉ＋１）回目の撮像期間の変換期間が開始される、請求項１２記載の固体撮像素子。
【請求項１４】
複数の同一の長さの撮像期間の各々で得られたアナログデータをデジタルの画素値に変換して出力することによって複数個の画像を出力する固体撮像素子と、
複数個の画像の各画素の値を積算した値の画素を有する積算画像を生成する積算部とを備えた、撮像装置。
【請求項１５】
前記積算画像と、前記積算画像の画素の値を前記複数の撮像期間の総数で除算した値を有する画素からなる平均画像とに基づいて、合成画像を生成する合成部を備えた、請求項１４記載の撮像装置。
【請求項１６】
前記積算画像と、前記積算画像の画素の値を前記複数の撮像期間の総数で除算した値を有する画素からなる平均画像と、前記積算画像の画素の値を前記複数の撮像期間の総数よりも小さな数で除算した値を有する画素からなる中間画像とに基づいて、合成画像を生成する合成部を備えた、請求項１４記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ＡＤ変換器、固体撮像素子および撮像装置に関し、たとえば、監視カメラに好適に利用できるものである。
【背景技術】
【０００２】
ＨＤＲ（High Dynamic Range：ハイダイナミックレンジ）画像を得るための技術として、短時間の露光時間で撮像された画像データと、長時間の露光時間で撮像された画像データとを合成する方法が知られている（たとえば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１４６５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１において、短時間の露光時間で撮像された画像データと、長時間の露光時間で撮像された画像データとでは、露光のタイミングが相違する。その結果、合成後の画像は、動く被写体を正確に撮像したものとはならない。
【０００５】
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００６】
一実施形態のＡＤ変換器は、複数の同一の長さの撮像期間の各々において画素から出力されたアナログデータをデジタルデータに変換し、複数の撮像期間で得られるデジタルデータを積算する。
【発明の効果】
【０００７】
一実施形態によれば、動く被写体を正確に撮像し、高いダイナミックレンジを得ることができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態のＡＤ変換器２５０の構成を表わす図である。
【図２】固体撮像素子１００の構成を表わす図である。
【図３】画素１およびコラムＡＤＣ２２の構成を示す図である。
【図４】第２の実施形態における、ブランキング期間ＴＡ、露光および転送期間ＴＢ、変換期間ＴＣにおける処理内容を説明するための図である。
【図５】第２の実施形態における複数の撮像期間のタイミングを表わす図である。
【図６】第２の実施形態の照度と出力との関係を表わす図である。
【図７】参考例の固体撮像素子における複数の撮像期間のタイミングを表わす図である。
【図８】参考例の照度と出力との関係を表わす図である。
【図９】第３の実施形態の画素１およびコラムＡＤＣ１２２の構成を示す図である。
【図１０】第３の実施形態における複数の撮像期間のタイミングを表わす図である。
【図１１】第３の実施形態の照度と出力との関係を表わす図である。
【図１２】参考例の合成データと第３の実施形態の合成データにおける照度とＳＮＲの関係を表わす図である。
【図１３】第３の実施形態の変形例１の固体撮像素子２００の構成を表わす図である。
【図１４】第３の実施形態の変形例１の複数の撮像期間のタイミングを表わす図である。
【図１５】第３の実施形態の変形例３の照度と出力との関係を表わす図である。
【図１６】第３の実施形態の変形例５の画素６９６の構成を表わす図である。
【図１７】第３の実施形態の変形例５における、ブランキング期間ＴＡ、露光および転送期間ＴＢ、変換期間ＴＣにおける処理内容を説明するための図である。
【図１８】第４の実施形態の画素１９２の構成を表わす図である。
【図１９】第４の実施形態における、ブランキング期間ＴＡ、露光および第１の転送期間ＴＢ、第２の転送期間ＴＣ１、変換期間ＴＣ２における処理内容を説明するための図である。
【図２０】第４の実施形態の複数の撮像期間のタイミングを表わす図である。
【図２１】第４の実施形態の変形例１の複数の撮像期間のタイミングを表わす図である。
【図２２】第４の実施形態の変形例２の画素６９７の構成を表わす図である。
【図２３】第４の実施形態の変形例２における、ブランキング期間ＴＡ、露光および第１の転送期間ＴＢ、第２の転送期間ＴＣ１、変換期間ＴＣ２における処理内容を説明するための図である。
【図２４】第４の実施形態の変形例３の画素６９８の構成を表わす図である。
【図２５】第４の実施形態の変形例３における、ブランキング期間ＴＡ、露光および第１の転送期間ＴＢ、第２の転送期間ＴＣ１、変換期間ＴＣ２における処理内容を説明するための図である。
【図２６】第５の実施形態の画素１およびコラムＡＤＣ３２２の構成を表わす図である。
【図２７】第５の実施形態の照度と出力との関係を表わす図である。
【図２８】第５の実施形態の変形例３の照度と出力との関係を表わす図である。
【図２９】第６の実施形態の撮像装置３００の構成を表わす図である。
【図３０】第７の実施形態の撮像装置４００の構成を表わす図である。
【図３１】第８の実施形態の撮像装置５００の構成を表わす図である。
【図３２】第９の実施形態の撮像装置６００の構成を表わす図である。
【発明を実施するための形態】
【０００９】
以下、実施の形態について、図面を参照して説明する。
［第１の実施形態］
図１は、第１の実施形態のＡＤ変換器２５０の構成を表わす図である。
【００１０】
ＡＤ変換器２５０は、デジタル変換部２０１と、積算部２０２とを備える。
デジタル変換部２０１は、複数の同一の長さの撮像期間の各々において画素から出力されたアナログデータをデジタルデータに変換する。
【００１１】
積算部２０２は、複数の撮像期間で得られるデジタルデータを積算する。
本実施の形態によれば、複数の撮像期間で得られるデジタルデータを積算するので、動く被写体を正確に撮像し、かつ高いダイナミックレンジを得ることができる。
【００１２】
［第２の実施形態］
図２は、固体撮像素子１００の構成を表わす図である。
【００１３】
固体撮像素子１００は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、単一の半導体チップで構成されている。固体撮像素子１００は、画素アレイ１１３、垂直走査回路１１１、画素信号読出し線ＶＥＬ、コラムＡＤＣ（Analog to Digital Converter）ユニット１１５、水平走査回路１１７、デジタル信号処理器１１４、タイミング生成回路１１２、およびバイアス電圧生成回路１１８を含む。
【００１４】
画素アレイ１１３は、行列状に配置された複数の画素１を備える。画素１は、受光量に応じた量の電荷を蓄積する。画素信号読出し線ＶＥＬは、垂直方向に配線され、画素１と接続される。
【００１５】
タイミング生成回路１１２は、画素アレイ１１３およびコラムＡＤＣユニット１１５内の回路の動作タイミングを制御するタイミング信号ＴＭを生成して、画素アレイ１１３およびコラムＡＤＣユニット１１５へ出力する。
【００１６】
バイアス電圧生成回路１１８は、各種のバイアス電圧を生成して、コラムＤＣユニット１１５へ供給する。
【００１７】
垂直走査回路１１１によって選択された行の画素から読み出された電圧信号は、コラムＡＤＣユニット１１５内のコラムＡＤＣ２２−１〜２２−Ｘによってデジタル変換される。Ｘは、画素アレイ１１３の列の数である。水平走査回路１１７が列毎に配置されたコラムＡＤＣ２２−ｉ（ｉ＝１〜Ｘ）を順次選択することで、デジタル変換された画素信号はデジタル信号処理器１１４に読み出され、その後、固体撮像素子１００から出力される。
【００１８】
図３は、画素１およびコラムＡＤＣ２２の構成を示す図である。図３では、画素アレイ１１３におけるｎ行目の１つの列の画素１が示されている。
【００１９】
画素１は、フォトダイオードＰＤ、転送トランジスタＭＴ、リセットトランジスタＭＲ、増幅トランジスタＭＡ、および選択トランジスタＭＳを含む。
【００２０】
フォトダイオードＰＤは、入射光を光電変換して、入射光の光量に応じた量の電荷を記憶する光電変換素子である。
【００２１】
フローティングディフュージョンＦＤは、フォトダイオードＰＤに蓄積された電荷に対応する電圧を生成する。転送トランジスタＭＴは、フォトダイオードＰＤとフローティングディフュージョンＦＤとの間に接続される。
【００２２】
転送トランジスタＭＴは、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴのゲートは、転送制御線ＴＣＬを通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸを受ける（ｎ行目の転送トランジスタＭＴは、転送制御信号ＴＸ［ｎ］を受ける）。転送トランジスタＭＴは、転送制御信号ＴＸがハイレベルになるとフォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される。
【００２３】
リセットトランジスタＭＲは、ＮチャネルＭＯＳトランジスタで構成される。リセットトランジスタＭＲは、電圧ＶＤＤを伝送する電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続される。リセットトランジスタＭＲのゲートは、リセット制御線ＲＳＬを通じて、タイミング生成回路１１２から出力されるリセット信号ＲＳＴを受ける（ｎ行目のリセットトランジスタＭＲは、リセット信号ＲＳＴ［ｎ］を受ける）。リセットトランジスタＭＲは、リセット信号ＲＳＴがハイレベルになると、フローティングディフュージョンＦＤの電圧を電源ラインＬＶＤＤの電圧ＶＤＤにリセットする。
【００２４】
増幅トランジスタＭＡは、ＮチャネルＭＯＳトランジスタで構成される。増幅トランジスタＭＡは、フローティングディフュージョンＦＤに接続されるゲートと、電源ラインＬＶＤＤに接続されるドレインと、ソースとを有する。
【００２５】
選択トランジスタＭＳは、ＮチャネルＭＯＳトランジスタで構成される。選択トランジスタＭＳは、増幅トランジスタＭＡのソースと、画素信号読出し線ＶＥＬの間に接続される。選択トランジスタＭＳのゲートは、選択信号線ＳＬを通じて、タイミング生成回路１１２から出力される選択信号ＳＥＬを受ける（ｎ行目の選択トランジスタＭＳは、選択信号ＳＥＬ［ｎ］を受ける）。
【００２６】
コラムＡＤＣ２２は、電流源２と、ダークレベル保持回路３と、減算器２１と、ＡＤ変換器１０３とを備える。
【００２７】
ＡＤ変換器１０３は、積分型ＡＤ変換器である。ＡＤ変換器１０３は、デジタル変換部５１と、積算部１７１とを備える。デジタル変換部５１は、ランプ信号生成回路５と、比較器４と、カウンタ７と、ラッチ回路６とを備える。積算部１７１は、加算回路９と、メモリ１９とを備える。
【００２８】
電流源２は、画素１と接続され、画素１に電流を供給する。
ダークレベル保持回路３は、画素１から送られるダークレベルの信号をサンプリングして保持する。ダークレベルの信号は、フローティングディフュージョンＦＤの電圧がＶＤＤにリセットされた後、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される前において、画素１から出力される信号である。
【００２９】
減算器２１は、画素１から出力される画素信号からダークレベル保持回路３に保持されているダークレベルの信号を減算する。画素信号は、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送された後に、画素１から出力される信号である。このような画素信号とダークレベルの信号との差分を用いる相関二重サンプリングによって、リセットノイズが除去される。
【００３０】
ランプ信号生成回路５は、鋸波状のランプ信号ＲＡＭＰを発生する。ランプ信号生成回路５は、変換期間において、所定の振幅範囲ＶＡ（０以上、ＭＡＸ１以下）で基準クロックＣＬＫの立ち上がりエッジのタイミングで、ランプ信号ＲＡＭＰの大きさを所定量ΔＶだけ減少させる。振幅範囲ＶＡは、カウンタ７のビット数に応じた範囲である。ランプ信号ＲＡＭＰは、時間とともに最大電圧ＭＡＸ１から最小電圧（＝０）まで階段状に小さくなる。ランプ信号生成回路５は、タイミング生成回路１１２から出力されるタイミング信号ＴＭに従って、ランプ信号ＲＡＭＰの最大電圧ＭＡＸ１からの低下を開始する。
【００３１】
カウンタ７は、変換期間において、基準クロックＣＬＫの立ち上がりエッジのタイミングで、カウンタ値をインクリメントする。カウンタ７は、カウンタ値をラッチ回路６へ出力する。カウンタ７は、タイミング生成回路１１２から出力されるタイミング信号ＴＭに従って、カウント値を０にリセットし、カウントアップを開始する。
【００３２】
カウンタ７は、ｎビットカウンタである。ランプ信号ＲＡＭＰの減少期間に、カウンタ７は、０から２n−１までカウンタ値を増加させる。ランプ信号ＲＡＭＰの減少期間の開始時に、カウンタ７の値は０である。ランプ信号ＲＡＭＰの減少期間の終了時に、カウンタ７の値は２n−１である。カウンタ７のカウンタ値の更新は、ランプ信号ＲＡＭＰの変化は、いずれも基準クロックＣＬＫに同期する。したがって、ランプ信号ＲＡＭＰの大きさの変化に同期して、カウンタ値が更新される。ｎ＝１０の場合、カウンタ値は、０〜１０２３の範囲となる。
【００３３】
比較器４は、変換期間において、減算器２１から送られる画素信号とダークレベル信号との差分信号と、参照信号ＲＡＭＰとの大きさとを比較する。比較器４は、減算器２１から送られる信号の大きさが、参照信号ＲＡＭＰの大きさよりも大きいときには、ハイレベルの信号を出力する。比較器４は、減算器２１から送られる信号の大きさが、参照信号ＲＡＭＰの大きさと等しいとき、および小さいときに、ローレベルの信号を出力する。
【００３４】
ラッチ回路６は、比較器４から出力される信号のレベルがハイレベルからローレベルに変化したときにカウンタ７から出力されるカウンタ値を取り込んで保持する。
【００３５】
１画素について、１回の撮像期間において、１つのデジタルデータが得られる。
撮像期間は、ブランキング期間ＴＡと、露光および転送期間ＴＢと、変換期間ＴＣとからなる。
【００３６】
ブランキング期間ＴＡは、露光および転送期間ＴＢの長さを調節するとともに、画素１の電荷をリセットするための期間である。
【００３７】
露光および転送期間ＴＢは、画素１内のフォトダイオードＰＤが光電変換し、光電変換で発生した電荷の量を表わすアナログ信号をコラムＡＤＣ２２へ転送する期間である。
【００３８】
変換期間ＴＣは、コラムＡＤＣ２２が、アナログデータである画素信号をデジタルデータに変換する期間である。
【００３９】
図４は、第２の実施形態における、ブランキング期間ＴＡ、露光および転送期間ＴＢ、変換期間ＴＣにおける処理内容を説明するための図である。
【００４０】
ブランキング期間ＴＡにおいて、以下が実行される。
転送制御信号ＴＸによって、フォトダイオードＰＤが光電変換することによって発生した電子がフローティングディフュージョンＦＤに転送されると同時に、リセット信号ＲＳＴによって、フローティングディフュージョンＦＤの電位がリセットされる。
【００４１】
露光および転送期間ＴＢにおいて、以下が実行される。
選択信号ＳＥＬによって画素１が選択される。
【００４２】
その後、リセット信号ＲＳＴによって、フローティングディフュージョンＦＤの電位がリセットされる。
【００４３】
また、フォトダイオードＰＤで発生した電子が伝送されていない状態でのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬに与えられる電圧が、画素１からのダークレベルの信号として、ダークレベル保持回路３に保持される。露光および転送期間ＴＢの長さは、後述の参考例の短時間露光データの露光および転送期間ＴＢ２の長さと同一の値に設定することができる。
【００４４】
転送制御信号ＴＸによって、フォトダイオードＰＤが光電変換することによって発生した電子がフローティングディフュージョンＦＤに転送される。このときのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬに与えられる電圧が、画素１からの画素信号として画素１から出力される信号である。減算器２１は、画素信号とダークレベル保持回路３に保持されたダークレベルの信号との差分を算出し、比較器４に送る。
【００４５】
変換期間ＴＣにおいて以下が実行される。
タイミング生成回路１１２から出力されるタイミング信号ＴＭに従って、ランプ信号生成回路５は、ランプ信号ＲＡＭＰの生成を開始し、カウンタ７は、カウントアップを開始する。
【００４６】
ランプ信号生成回路５は、開始電圧を最大電圧ＭＡＸ１とし、終了電圧を最小電圧（＝０）とし、基準クロックＣＬＫの立ち上がりエッジのタイミングで、所定量ΔＶ小さくなるランプ信号ＲＡＭＰを生成する。
【００４７】
カウンタ７は、０〜１０２３の範囲で、基準クロックＣＬＫの立ち上がりエッジのタイミングで、カウンタ値をインクリメントする。
【００４８】
比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさよりも大きいときには、ハイレベルの信号を出力する。比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさと等しいとき、および小さいときに、ローレベルの信号を出力する。
【００４９】
ラッチ回路６は、比較器４から出力される信号のレベルがハイレベルからローレベルに変化したときにカウンタ７から出力されるカウンタ値を取り込んで保持する。
【００５０】
本実施の形態では、１画素について、複数回の撮像期間を有し、複数のデジタルデータが得られる。
【００５１】
図５は、第２の実施形態における複数の撮像期間のタイミングを表わす図である。
図５に示すように、Ｍ（＝２m）回の撮像期間が設けられる。すべての行で、共通のコラムＡＤＣを用いて、画素１からのアナログデータが読み出され、デジタルデータに変換されることを考慮して、行ごとに撮像期間がずれている。コラムＡＤＣ２２−１〜２２−Ｘは、同時に同一のタイミングで動作するので、同一の行では、撮像期間は同じである。また、Ｍ回の撮像期間のタイミングが調整されている。より具体的には、第（ｉ＋１）回目の撮像期間の変換期間ＴＣの開始するタイミングｔ２（つまり、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミング）が、第ｉ回目の撮像期間の変換期間ＴＣが終了するタイミングｔ１（つまり、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミング）よりも後になるように撮像期間が設定される。
【００５２】
デジタル変換部５１は、入力されるアナログデータを参照信号であるランプ信号ＲＡＭＰと比較することによって、アナログデータをｎビットのデジタルデータに変換する。デジタル変換部５１は、１回の撮像期間において、１つのｎビットのデジタルデータを出力する。２m回の撮像期間において、２m個のｎビットのデジタル信号が出力される。
【００５３】
積算部１７１は、２m個のｎビットのデジタル信号を積算する。
加算回路９は、メモリ１９を用いて、デジタル変換部５１から出力される２m個のｎビットのデジタルデータを積算することによって、（ｎ＋ｍ）ビットのデジタルデータを出力する。たとえば、ｍ＝２のときには、デジタル変換部５１から出力される４個のｎビットのデータが出力されるので、積算後に加算回路９から出力されるデータのビット数は（ｎ＋２）ビットとなる。
【００５４】
メモリ１９は、画素アレイ１１３の各行の加算結果を格納するための領域を有する。
加算回路９は、加算するごとに加算結果をメモリ１９に格納する。加算回路９は、新たに送られる第ｉ行のデジタルデータと、メモリ１９内の第ｉ行の加算結果とを加算することによって得られる新たな加算結果でメモリ１９内の第ｉ行の加算結果を更新する。
【００５５】
デジタル変換部５１による複数回のデジタルデータへの変換結果が積算部１７１によって、積算されることによって、ＳＮＲが改善されるとともに、ダイナミックレンジを広げることができる。
【００５６】
図６は、第２の実施形態の照度と出力との関係を表わす図である。
画素１に入力される照度に対して、デジタル変換部５１がｎビットを出力するのに対して、積算部１７１は、（ｎ＋ｍ）ビットを出力することができる。これによって、ダイナミックレンジを上げることができる。
【００５７】
以上のように、本実施の形態によれば、複数の撮像期間で得られるデジタルデータを積算するので、動く被写体を正確に撮像し、かつ高いダイナミックレンジを得ることができる。
【００５８】
［第３の実施形態］
（参考例）
図７は、参考例の固体撮像素子における複数の撮像期間のタイミングを表わす図である。
【００５９】
図７に示すように、参考例の固体撮像素子は、第１の撮像期間と第２の撮像期間とを有する。
【００６０】
第１の撮像期間の露光および転送期間ＴＢ１は、第２の撮像期間の露光および転送期間ＴＢ２よりも長い。第１の撮像期間でデジタル変換部５１から出力されるデジタルデータを長時間露光データとよび、第２の撮像期間でデジタル変換部５１から出力されるデジタルデータを短時間露光データと呼ぶ。
【００６１】
参考例では、固体撮像素子は、長時間露光データと短時間露光データとを合成して、合成したデータを出力する。
【００６２】
図８は、参考例の照度と出力との関係を表わす図である。
図８に示すように、長時間露光データは、短時間露光データよりも、同じ照度に対して、発生する電子数が多いため、デジタル変換部５１から出力されるデジタルデータの大きさ（出力）が大きくなる。長時間露光データは、低い照度で飽和する。デジタル変換部５１の出力ビット数がｎビットとすると、飽和するとは、出力が２n−１に達することをいう。一方、短時間露光データは、低い照度で飽和せず、高い照度側のレンジが広い。短時間露光データが飽和する照度は、長時間露光データが飽和する照度よりも、（ｔｂ１／ｔｂ２）倍となる。ｔｂ１は、露光および転送期間ＴＢ１の長さでる。ｔｂ２は、露光および転送期間ＴＢ２の長さである。
【００６３】
長時間露光データが飽和するまでは、長時間露光データが合成データとして出力される。長時間露光データが飽和してからは、長時間露光データの最大値（２n−１）と短時間露光データとの加算値に一定値を減算した値が合成データとして出力される。ここで、一定値とは、長時間露光データが飽和に達したときの短時間露光データの値である。その結果、合成データのダイナミックレンジは、長時間露光データのダイナミックレンジよりも、２０ｌｏｇ（ｔｂ１／ｔｂ２）［ｄｂ］倍に広がる。たとえば、ｔｂ１／ｔｂ２＝１００のときには、４０［ｄＢ］分ダイナミックレンジが広がる。
【００６４】
また、光ショットノイズのみを考えた場合は、ＳＮＲは発生電子数の平方根となることが知られている。つまり、長時間露光データは、ＳＮＲが高いが、短時間露光データは、ＳＮＲが低いという側面もある。
【００６５】
固体撮像素子は、短時間露光データと長時間露光データとを合成する。図８に示すように、低い照度では、長時間露光データを用い、高い照度では、短時間露光データと長時間露光データとを合成する。これによって、ダイナミックレンジを広くし、かつＳＮＲを高くすることができる。
【００６６】
しかしながら、参考例では、以下のような問題が生じる。
図８に示すように、第１の撮像期間の露光および転送期間ＴＢ１と第２の撮像期間の露光および転送期間ＴＢ２のタイミングが異なっているので、露光および転送期間ＴＢ１と露光および転送期間ＴＢ２の間において、動く被写体に対してずれが生じるという問題（第１の問題）がある。このため、短時間露光データと長時間露光データとを合成したときにずれによる問題が生じてしまう。具体的には、残像のような現象が発生したり、実際の色と異なる偽色などが発生する。
【００６７】
また、露光および転送期間ＴＢ２は露光および転送期間ＴＢ１よりも短いため、露光および転送期間ＴＢ２では発生電子数が少ない。そのため、短時間露光データを使用する場合に、ＳＮＲが悪いという問題（第２の問題）がある。
【００６８】
さらに、より広いダイナミックレンジを取るにはＴＢ１とＴＢ２の時間の比を大きくとる必要があるため、ＴＢ２を短くしなければならない場合がある。一般的な蛍光灯またはＬＥＤなどは、ある周期Ｔで点滅しており、ＴＢ２が周期Ｔよりも短くなる場合がある。このような場合には、フリッカと呼ばれる点滅現象が生じたり、電光掲示板の文字が消えたり、ローリングシャッタ方式では、垂直走査方向に濃淡が現れ、縞々の画像となってしまうことがある（第３の問題）。
【００６９】
参考例の固体撮像素子は、露光および転送期間が短い撮像期間と、露光および転送期間が長い撮像期間とを有した。これに対して、第３の実施形態の固体撮像素子は、露光および転送期間が短い複数の撮像期間を有する。撮像期間の個数を２m個とする。
【００７０】
図９は、第３の実施形態の画素１およびコラムＡＤＣ１２２の構成を示す図である。
図１０は、第３の実施形態における複数の撮像期間のタイミングを表わす図である。
【００７１】
図１０に示すように、Ｍ（＝２m）回の撮像期間が設けられる。各撮像期間は、ブランキング期間ＴＡ、露光および転送期間ＴＢ、変換期間ＴＣからなる。
【００７２】
第３の実施形態のコラムＡＤＣ１２２が、第２の実施形態のコラムＡＤＣ２２と相違する点は、第３の実施形態のコラムＡＤＣ１２２が、合成部８１を備える点である。
【００７３】
積算部１７１は、第２の実施形態と同様に、デジタル変換部５１から出力される２m個のｎビットのデジタルデータを積算することによって、（ｎ＋ｍ）ビットのデジタルデータを積算値として出力する。ｎ、ｍは自然数である。
【００７４】
合成部８１は、積算部５９から出力される（ｎ＋ｍ）ビットの積算値と、積算値を複数の撮像期間の総数（２m）で除算して得られる平均値とに基づいて、合成データを生成する。
【００７５】
より具体的には、合成部８１は、第１の演算部３０と、第２の演算部３１と、合成データ生成部３５とを備える。
【００７６】
第１の演算部３０は、積算部１７１から出力される（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｍビットを削除することによって、下位ｎビットで表される第１のデータを出力する。つまり、第１のデータは、デジタル変換部５１から出力されるｎビットのデジタルデータの（ｎ＋ｍ）ビットの積算値の下位ｎビットデータを表わす。第１のデータは、（ＴＢ×２m）の露光時間を有する参考例の長時間露光データに対応する。上位ｍビットを削除したのは、この後の処理に利用されないためである。
【００７７】
第２の演算部３１は、積算部１７１から出力される（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｎビットで表される第２のデータを出力する。第２のデータは、積算値を撮像期間の総数（２m）で除算した値に相当する。第２のデータは、デジタル変換部５１から出力されるｎビットのデジタルデータの平均値を表わす。第２のデータは、参考例の短時間露光データに対応する。
【００７８】
合成データ生成部３５は、第１の演算部３０から出力されるｎビットの第１のデータＤ１と、第２の演算部３１から出力されるｎビットの第２のデータＤ２とに基づいて、ｎビットの合成データを生成する。合成データをｎビットとするのは、図示しない画像処理部などにおいて、ｎビットのデータを用いて処理を行なうためである。
【００７９】
たとえば、合成データ生成部３５は、式（１）に示すように、第１のデータＤ１と第２のデータＤ２とを重み付き加算して、加算結果Ｒ１の下位ｎビットを合成データとして出力する。
【００８０】
Ｒ１＝Ｋ１×Ｄ１＋Ｋ２×Ｄ２−α…（１）
ただし、Ｋ１、Ｋ２は係数である。αはバイアスである。Ｋ１、Ｋ２、αの値は、Ｄ１またはＤ２の値に応じて変わるものとしてもよい。
【００８１】
図１１は、第３の実施形態の照度と出力との関係を表わす図である。
図１１に示すように、第１のデータは、長時間露光データとして機能し、第２のデータは、短時間露光データとして機能する。第１のデータは、ダイナミックレンジが狭く、低い照度で飽和する。第２のデータは、ダイナミックレンジが広い。この場合、同一照度でのＳＮＲは、第１のデータと第２のデータとで同じになる。
【００８２】
図１１に示すように、合成データ生成部３５は、低い照度（０≦照度＜Ｌ１）のとき、すなわち第１のデータＤ１が０以上飽和点（２n−１）未満のときには、式（１）のＫ２およびαを０として、式（１）を計算する。
【００８３】
合成データ生成部３５は、高い照度（Ｌ１≦照度≦Ｌ３）のとき、すなわち第１のデータＤ１が飽和点（２n−１）以上のときには、式（１）に従って、重み付き加算する。ただし、第１のデータＤ１は、固定値（２n−１）である。αは、照度Ｌ１での第２のデータＤ２の値Ｓ１に係数Ｋ２を乗じた値である。
【００８４】
これによって、ダイナミックレンジを広くし、かつＳＮＲを高くすることができる。
本実施の形態では、参考例のような問題点を回避できる。
【００８５】
このように構成すれば、第１のデータが得られる撮像期間と第２のデータが得られる撮像期間は、同じであるため、参考例の第１の問題である長秒露光データ（第１のデータ）と短秒露光データ（第２のデータ）における被写体のずれが生じない。
【００８６】
第２の問題であるＳＮＲの悪化についても、改善される。図１２は、参考例の合成データと第３の実施形態の合成データにおける照度とＳＮＲの関係を表わす図である。第３の実施形態では、照度が上がるにつれてＳＮＲも上がる特性を得ることができる。その理由は、１回の撮像のＳＮＲは発生電子数の平方根になるが、Ｎ回積算すると信号成分はＮ倍されるが、ノイズ成分はランダム成分であれば√Ｎ倍になるためＳＮＲも√Ｎ倍になるからである。光ショットノイズは、ランダムノイズであるためこの原理が成り立つ。
【００８７】
第３の問題であるフリッカ等の問題も改善される。なぜなら、第２のデータが、複数回の撮像期間で得られるデータの平均となるため、ノイズ成分が除去できるからである。
【００８８】
［第３の実施形態の変形例１］
図１３は、第３の実施形態の変形例１の固体撮像素子２００の構成を表わす図である。
【００８９】
この固体撮像素子２００が、第２の実施形態の固体撮像素子１００と相違する点は、コラムＡＤＣユニット２１５が、第１行〜Ｌ行の画素用のコラムＡＤＣ２２ａ−１〜２２ａ−Ｘと、第（Ｌ＋１）行〜第Ｐ行の画素用のコラムＡＤＣ２２ｂ−１〜２２ｂ−Ｘとを備える点である。ただし、Ｐは、行数であり、ＬはＰ／２である。
【００９０】
垂直走査回路１１１によって選択された第１行〜第Ｌ行の画素から読み出された電圧信号は、コラムＡＤＣユニット１１５内のコラムＡＤＣ２２ａ−１〜２２ａ−Ｘによってデジタル変換される。Ｘは、画素アレイ１１３の列の数である。垂直走査回路１１１によって選択された第（Ｌ＋１）行〜第Ｐ行の画素から読み出された電圧信号は、コラムＡＤＣユニット１１５内のコラムＡＤＣ２２ｂ−１〜２２ｂ−Ｘによってデジタル変換される。コラムＡＤＣ２２ａ−１〜２２ａ−Ｘと、コラムＡＤＣ２２ｂ−１〜２２ｂ−Ｘとは、同時に動作可能である。
【００９１】
水平走査回路１１７が列毎に配置されたコラムＡＤＣ２２ａ−ｉ、２２ｂ−ｉ（ｉ＝１〜Ｘ）を順次選択することで、デジタル変換された画素信号はデジタル信号処理器１１４に読み出され、その後、固体撮像素子１００から出力される。
【００９２】
図１４は、第３の実施形態の変形例１の複数の撮像期間のタイミングを表わす図である。
【００９３】
図１４に示すように、コラムＡＤＣ２２ａ−１〜２２ａ−Ｘと、コラムＡＤＣ２２ｂ−１〜２２ｂ−Ｘとが同時に動作するので、画素アレイ１１２内の第ｎ行（１≦ｎ≦Ｌ）の画素の信号と第（Ｌ＋ｎ）行の画素の信号を並列に読出すことができるため、撮像期間の間隔を小さくすることができる。
【００９４】
より具体的には、第（ｉ＋１）回目の変換期間ＴＣの開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣが終了するタイミングｔ１よりも前になるように撮像期間が設定される。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【００９５】
これによって、複数回の撮像期間を設けても、時間的なロスを抑えることができるので、フレームレートの減少を防ぐことができる。
【００９６】
上記において、コラムＡＤＣユニット２１５が、２つに分割されるものとしたが、分割数を増やすほど、時間を短縮することができる。
【００９７】
［第３の実施形態の変形例２］
合成データ生成部３５は、加算結果のすべてのビットを合成データとして出力するものとしてもよい。
【００９８】
［第３の実施形態の変形例３］
合成データ生成部３５は、第１の演算部３０から出力されるｎビットの第１のデータＤ１と、第２の演算部３１から出力されるｎビットの第２のデータＤ２とを加算して、加算結果のすべてのビットを合成データとして出力するものとしてもよい。
【００９９】
図１５は、第３の実施形態の変形例３の照度と出力との関係を表わす図である。
図１５に示すように、合成データ生成部３５は、低い照度（０≦照度＜Ｌ１）のとき、すなわち第１のデータＤ１が０以上かつ飽和点（２n−１）未満のときには、第１のデータＤ１を合成データとして出力する。
【０１００】
合成データ生成部３５は、高い照度（Ｌ１≦照度≦Ｌ３）のとき、すなわち第１のデータＤ１が飽和点（２n−１）以上のときには、式（２）に従って、加算を実行する。ただし、第１のデータＤ１は、固定値（２n−１）である。αは、照度Ｌ１における第２のデータＤ２の値Ｓ１である。
【０１０１】
Ｒ１＝Ｄ１＋Ｄ２−α…（２）
［第３の実施形態の変形例４］
合成データ生成部３５は、積算部１７１から出力される（ｎ＋ｍ）ビットのデジタルデータと、ｎビットの第２のデータＤ２とを加算、または重み付き加算して、加算結果のすべてのビットを合成データとして出力することとしてもよい。あるいは、合成データ生成部３５は、加算結果の下位ｎビットを合成データとして出力することとしてもよい。
【０１０２】
[第３の実施形態の変形例５］
図１６は、第３の実施形態の変形例５の画素６９６の構成を表わす図である。
【０１０３】
画素６９６は、フォトダイオードＰＤ、転送トランジスタＭＴ、リセットトランジスタＭＲ、増幅トランジスタＭＡ、選択トランジスタＭＳ１，ＭＳ２を含む。
【０１０４】
フォトダイオードＰＤは、入射光の光量に応じた量の電荷（ここでは電子）に光電変換して記憶する光電変換素子である。
【０１０５】
フローティングディフュージョンＦＤは、フォトダイオードＰＤに蓄積された電荷に対応する電圧を生成する。転送トランジスタＭＴは、フォトダイオードＰＤとフローティングディフュージョンＦＤとの間に接続される。
【０１０６】
転送トランジスタＭＴは、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴのゲートは、転送制御線ＴＣＬを通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸを受ける。ｎ行目の転送トランジスタＭＴは、転送制御信号ＴＸ［ｎ］を受ける。転送トランジスタＭＴは、転送制御信号ＴＸがハイレベルになるとフォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される。
【０１０７】
リセットトランジスタＭＲは、ＮチャネルＭＯＳトランジスタで構成される。リセットトランジスタＭＲは、増幅トランジスタＭＡとフローティングディフュージョンＦＤとの間に接続される。リセットトランジスタＭＲのゲートは、リセット制御線ＲＳＬを通じて、タイミング生成回路１１２から出力されるリセット信号ＲＳＴを受ける。ｎ行目のリセットトランジスタＭＲは、リセット信号ＲＳＴ［ｎ］を受ける。リセットトランジスタＭＲは、リセット信号ＲＳＴがハイレベルになると、フローティングディフュージョンＦＤの電圧を増幅トランジスタＭＡのドレイン端子に送る。
【０１０８】
増幅トランジスタＭＡは、ＮチャネルＭＯＳトランジスタで構成される。増幅トランジスタＭＡは、フローティングディフュージョンＦＤに接続されるゲートと、選択トランジスタＭＳ１に接続されるドレインと、ソースとを有する。
【０１０９】
選択トランジスタＭＳ１は、ＮチャネルＭＯＳトランジスタで構成される。選択トランジスタＭＳ１は、増幅トランジスタＭＡのソースと、画素信号読出し線ＶＥＬ１の間に接続される。選択トランジスタＭＳ１のゲートは、選択信号線を通じて、タイミング生成回路１１２から出力される選択信号ＳＥＬ１を受ける。ｎ行目の選択トランジスタＭＳ１は、選択信号ＳＥＬ１［ｎ］を受ける。
【０１１０】
選択トランジスタＭＳ２は、ＮチャネルＭＯＳトランジスタで構成される。選択トランジスタＭＳ２は、増幅トランジスタＭＡのソースと、画素信号読出し線ＶＥＬ２の間に接続される。選択トランジスタＭＳ２のゲートは、選択信号線を通じて、タイミング生成回路１１２から出力される選択信号ＳＥＬ２を受ける。ｎ行目の選択トランジスタＭＳ２は、選択信号ＳＥＬ２［ｎ］を受ける。
【０１１１】
図１７は、第３の実施形態の変形例５における、ブランキング期間ＴＡ、露光および転送期間ＴＢ、変換期間ＴＣにおける処理内容を説明するための図である。
【０１１２】
ブランキング期間ＴＡにおいて、以下が実行される。
転送制御信号ＴＸによって、フォトダイオードＰＤが光電変換することによって発生した電子がフローティングディフュージョンＦＤに転送されると同時に、リセット信号ＲＳＴによって、フローティングディフュージョンＦＤの電位がリセットされる。
【０１１３】
露光および転送期間ＴＢにおいて、以下が実行される。
選択信号ＳＥＬ１およびＳＥＬ２によって画素６９６が選択される。フォトダイオードＰＤが光電変換する。奇数フレームに対しては、選択信号ＳＥＬ１がオンとなり、偶数フレームに対しては、選択信号ＳＥＬ２がオンとなる。
【０１１４】
その後、リセット信号ＲＳＴによって、フローティングディフュージョンＦＤの電位がリセットされる。
【０１１５】
また、フォトダイオードＰＤで発生した電子が伝送されていない状態でのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬ１、ＶＥＬ２に与えられる電圧が、画素６９６からのダークレベルの信号として、ダークレベル保持回路３に保持される。露光および転送期間ＴＢの長さは、後述の参考例の短時間露光データの露光および転送期間ＴＢ２の長さと同一の値に設定することができる。
【０１１６】
転送制御信号ＴＸによって、フォトダイオードＰＤが光電変換することによって発生した電子がフローティングディフュージョンＦＤに転送される。このときのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬ１またはＶＥＬ２に与えられる電圧が、画素６９６からの画素信号として画素６９６から出力される信号である。減算器２１は、画素信号とダークレベル保持回路３に保持されたダークレベルの信号との差分を算出し、比較器４に送る。
【０１１７】
変換期間ＴＣにおいて以下が実行される。
タイミング生成回路１１２から出力されるタイミング信号ＴＭに従って、ランプ信号生成回路５は、ランプ信号ＲＡＭＰの生成を開始し、カウンタ７は、カウントアップを開始する。
【０１１８】
ランプ信号生成回路５は、開始電圧を最大電圧ＭＡＸ１とし、終了電圧を最小電圧（＝０）とし、基準クロックＣＬＫの立ち上がりエッジのタイミングで、所定量ΔＶ小さくなるランプ信号ＲＡＭＰを生成する。
【０１１９】
カウンタ７は、０〜１０２３の範囲で、基準クロックＣＬＫの立ち上がりエッジのタイミングで、カウンタ値をインクリメントする。
【０１２０】
比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさよりも大きいときには、ハイレベルの信号を出力する。比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさと等しいとき、および小さいときに、ローレベルの信号を出力する。
【０１２１】
ラッチ回路６は、比較器４から出力される信号のレベルがハイレベルからローレベルに変化したときにカウンタ７から出力されるカウンタ値を取り込んで保持する。
【０１２２】
［第４の実施形態］
図１８は、第４の実施形態の画素１９２の構成を表わす図である。
【０１２３】
画素１９２は、フォトダイオードＰＤ、転送トランジスタＭＴ１，ＭＴ２、容量素子ＣＡ、リセットトランジスタＭＲ、増幅トランジスタＭＡ、および選択トランジスタＭＳを含む。
【０１２４】
フォトダイオードＰＤは、入射光の光量に応じた量の電荷（ここでは電子）に光電変換して記憶する光電変換素子である。
【０１２５】
フローティングディフュージョンＦＤは、フォトダイオードＰＤに蓄積された電荷に対応する電圧を生成する。
【０１２６】
転送トランジスタＭＴ１は、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴ１のゲートは、転送制御線ＴＣＬ１を通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸ１を受ける。転送トランジスタＭＴ１は、すべての行に共通の転送制御信号ＴＸ１を受ける。転送トランジスタＭＴ１によって、転送制御信号ＴＸ１がハイレベルになるとフォトダイオードＰＤに蓄積された電荷が容量素子ＣＡに転送される。
【０１２７】
容量素子ＣＡは、画素１９２から出力されるアナログデータの大きさを表わす電位を保持する。
【０１２８】
転送トランジスタＭＴ２は、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴ２のゲートは、転送制御線ＴＣＬ２を通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸ２を受ける。ｎ行目の転送トランジスタＭＴ２は、転送制御信号ＴＸ２［ｎ］を受ける。転送トランジスタＭＴ２によって、転送制御信号ＴＸ２がハイレベルになると容量素子ＣＡの電荷が、フローティングディフュージョンＦＤに転送される。
【０１２９】
リセットトランジスタＭＲは、増幅トランジスタＭＡとフローティングディフュージョンＦＤとの間に接続される。リセットトランジスタＭＲのゲートは、リセット制御線ＲＳＬを通じて、タイミング生成回路１１２から出力されるリセット信号ＲＳＴを受ける。ｎ行目のリセットトランジスタＭＲは、リセット信号ＲＳＴ［ｎ］を受ける。リセットトランジスタＭＲは、リセット信号ＲＳＴがハイレベルになると、フローティングディフュージョンＦＤの電圧を増幅トランジスタＭＡのドレイン端子に送る。
【０１３０】
増幅トランジスタＭＡは、ＮチャネルＭＯＳトランジスタで構成される。増幅トランジスタＭＡは、フローティングディフュージョンＦＤに接続されるゲートと、選択トランジスタＭＳに接続されるドレインと、ソースとを有する。
【０１３１】
選択トランジスタＭＳは、ＮチャネルＭＯＳトランジスタで構成される。選択トランジスタＭＳは、増幅トランジスタＭＡのソースと、画素信号読出し線ＶＥＬの間に接続される。選択トランジスタＭＳのゲートは、選択信号線ＳＬを通じて、タイミング生成回路１１２から出力される選択信号ＳＥＬを受ける。ｎ行目の選択トランジスタＭＳは、選択信号ＳＥＬ［ｎ］を受ける。
【０１３２】
本実施の形態の画素１９２およびコラムＡＤＣ１２２は、画素アレイ１１３の全画素の露光および第１の転送期間が同じあるグローバルシャッタ方式に対応したものである。本実施の形態の撮像期間は、ブランキング期間ＴＡと、露光および第１の転送期間ＴＢと、第２の転送期間ＴＣ１と、変換期間ＴＣ２とからなる。
【０１３３】
ブランキング期間ＴＡは、露光および第１の転送期間ＴＢの長さを調節するとともに、画素の電荷をリセットするための期間である。
【０１３４】
露光および第１の転送期間ＴＢは、画素１９２内のフォトダイオードＰＤが光電変換し、光電変換で発生した電荷を画素１９２内の容量素子ＣＡへ転送する期間である。
【０１３５】
第２の転送期間ＴＣ１は、容量素子ＣＡの電荷の量を示す画素信号であるアナログ信号をコラムＡＤＣ１２２に転送する期間である。
【０１３６】
変換期間ＴＣ２は、コラムＡＤＣ１２２が、アナログデータである画素信号をデジタルデータに変換する期間である。
【０１３７】
ブランキング期間ＴＡ、露光および第１の転送期間ＴＢは、画素アレイ１１３のすべての行で共通である。第２の転送期間ＴＣ１、および変換期間ＴＣ２は、画素アレイ１１３の行ごとに相違する。
【０１３８】
図１９は、第４の実施形態における、ブランキング期間ＴＡ、露光および第１の転送期間ＴＢ、第２の転送期間ＴＣ１、変換期間ＴＣ２における処理内容を説明するための図である。
【０１３９】
ブランキング期間ＴＡにおいて、以下が実行される。
フォトダイオードＰＤが光電変換することによって発生した電子が、転送制御信号ＴＸ１および転送制御信号ＴＸ２によって、すべての行のフローティングディフュージョンＦＤに転送されると同時に、リセット信号ＲＳＴによって、すべての行のフローティングディフュージョンＦＤの電位がリセットされる。
【０１４０】
露光および第１の転送期間ＴＢにおいて、以下が実行される。
すべの行の画素１９２のフォトダイオードＰＤが光電変換する。
【０１４１】
すべての行に共通の転送制御信号ＴＸ１によって、フォトダイオードＰＤが光電変換することによって発生した電子がすべての行の容量素子ＣＡに蓄積される。
【０１４２】
行ごとの第２の転送期間ＴＣ１において、以下が実行される。
行ごとの選択信号ＳＥＬによって画素１９２が選択される。
【０１４３】
その後、行ごとのリセット信号ＲＳＴによって、フローティングディフュージョンＦＤの電位がリセットされる。
【０１４４】
また、フォトダイオードＰＤで発生した電子が伝送されていない状態でのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬに与えられる電圧が、画素１９２からのダークレベルの信号として、ダークレベル保持回路３に保持される。
【０１４５】
行ごとの転送制御信号ＴＸ２によって、容量素子ＣＡの電荷がフローティングディフュージョンＦＤに転送される。このときのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬに与えられる電圧が、画素１９２からの画素信号として画素１９２から出力される信号である。減算器２１は、画素信号とダークレベル保持回路３に保持されたダークレベルの信号との差分を算出し、比較器４に送る。
【０１４６】
行ごとの変換期間ＴＣ２において、以下が実行される。
タイミング生成回路１１２から出力されるタイミング信号ＴＭに従って、ランプ信号生成回路５は、ランプ信号ＲＡＭＰの生成を開始し、カウンタ７は、カウントアップを開始する。
【０１４７】
ランプ信号生成回路５は、開始電圧を最大電圧ＭＡＸ１とし、終了電圧を最小電圧（＝０）とし、基準クロックＣＬＫの立ち上がりエッジのタイミングで、所定量ΔＶ小さくなるランプ信号ＲＡＭＰを生成する。
【０１４８】
カウンタ７は、０〜１０２３の範囲で、基準クロックＣＬＫの立ち上がりエッジのタイミングで、カウンタ値をインクリメントする。
【０１４９】
比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさよりも大きいときには、ハイレベルの信号を出力する。比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさと等しいとき、および小さいときに、ローレベルの信号を出力する。
【０１５０】
ラッチ回路６は、比較器４から出力される信号のレベルがハイレベルからローレベルに変化したときにカウンタ７から出力されるカウンタ値を取り込んで保持する。
【０１５１】
図２０は、第４の実施形態の複数の撮像期間のタイミングを表わす図である。
図２０に示すように、Ｍ（＝２m）回の撮像期間が設けられる。画素１９２の画素信号は、画素１９２内の容量素子ＣＡに蓄積されるので、すべての行のブランキング期間ＴＡと、露光および第１の期間ＴＢとを同一にすることができる。すべての列のコラムＡＤＣ２２−１〜２２−Ｘが同時に動作するので、全画素において、ブランキング期間ＴＡと、露光および第１の期間ＴＢとを同一にすることができる。
【０１５２】
第２の転送期間ＴＣ１および変換期間ＴＣ２は、１つのコラムＡＤＣ１２２にすべての行の画素の信号をデジタルデータに変換するため、行ごとにタイミングがずれている。
【０１５３】
本実施の形態によれば、連続して撮像が可能になり、時間の短縮が行える。これにより、フレームレートを減少させることなく、複数の撮像期間で得られるデータを利用することができる。
【０１５４】
［第４の実施形態の変形例１］
図２１は、第４の実施形態の変形例１の複数の撮像期間のタイミングを表わす図である。
【０１５５】
第（ｉ＋１）回目の撮像期間の変換期間ＴＣ２の開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣ２が終了するタイミングｔ１よりも前になるように撮像期間が設定される。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【０１５６】
これによって、複数回の撮像期間を設けても、時間的なロスを抑えることができるので、フレームレートの減少を防ぐことができる。
【０１５７】
［第４の実施形態の変形例２］
図２２は、第４の実施形態の変形例２の画素６９７の構成を表わす図である。
【０１５８】
画素６９７は、フォトダイオードＰＤ、転送トランジスタＭＴ１１，ＭＴ２１，ＭＴ１２，ＭＴ２２、容量素子ＣＡ１，ＣＡ２、リセットトランジスタＭＰＲ，ＭＲ、増幅トランジスタＭＡ、および選択トランジスタＭＳを含む。
【０１５９】
フォトダイオードＰＤは、入射光の光量に応じた量の電荷（ここでは電子）に光電変換して記憶する光電変換素子である。
【０１６０】
フローティングディフュージョンＦＤは、フォトダイオードＰＤに蓄積された電荷に対応する電圧を生成する。転送トランジスタＭＴは、フォトダイオードＰＤとフローティングディフュージョンＦＤとの間に接続される。
【０１６１】
リセットトランジスタＭＰＲは、増幅トランジスタＭＡとフォトダイオードＰＤの出力との間に接続される。リセットトランジスタＭＰＲのゲートは、リセット制御線ＰＤ＿ＲＳＬを通じて、タイミング生成回路１１２から出力されるすべての行に共通のリセット信号ＰＤ＿ＲＳＴを受ける。リセットトランジスタＭＰＲは、リセット信号ＰＤ＿ＲＳＴがハイレベルになると、フォトダイオードＰＤの出力を増幅トランジスタＭＲおよびリセットトランジスタＭＲと接続させる。
【０１６２】
転送トランジスタＭＴ１１は、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴ１１のゲートは、転送制御線ＴＣＬ１１を通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸ１１を受ける。転送トランジスタＭＴ１１は、すべての行に共通の転送制御信号ＴＸ１１を受ける。転送トランジスタＭＴ１１によって、転送制御信号ＴＸ１１がハイレベルになるとフォトダイオードＰＤに蓄積された電荷が容量素子ＣＡ１に転送される。
【０１６３】
転送トランジスタＭＴ２１は、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴ２１のゲートは、転送制御線ＴＣＬ２１を通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸ２１を受ける。ｎ行目の転送トランジスタＭＴ２１は、転送制御信号ＴＸ２１［ｎ］を受ける。転送トランジスタＭＴ２１によって、転送制御信号ＴＸ２１がハイレベルになると容量素子ＣＡ１の電荷が、フローティングディフュージョンＦＤに転送される。
【０１６４】
転送トランジスタＭＴ１２は、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴ１２のゲートは、転送制御線ＴＣＬ１２を通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸ１２を受ける。転送トランジスタＭＴ１２は、すべての行に共通の転送制御信号ＴＸ１２を受ける。転送トランジスタＭＴ１２によって、転送制御信号ＴＸ１２がハイレベルになるとフォトダイオードＰＤに蓄積された電荷が容量素子ＣＡ２に転送される。
【０１６５】
転送トランジスタＭＴ２２は、ＮチャネルＭＯＳトランジスタで構成される。転送トランジスタＭＴ２２のゲートは、転送制御線ＴＣＬ２２を通じて、タイミング生成回路１１２から出力される転送制御信号ＴＸ２２を受ける。ｎ行目の転送トランジスタＭＴ２２は、転送制御信号ＴＸ２２［ｎ］を受ける。転送トランジスタＭＴ２２によって、転送制御信号ＴＸ２２がハイレベルになると容量素子ＣＡ２の電荷が、フローティングディフュージョンＦＤに転送される。
【０１６６】
リセットトランジスタＭＲは、増幅トランジスタＭＡとフローティングディフュージョンＦＤとの間に接続される。リセットトランジスタＭＲのゲートは、リセット制御線ＲＳＬを通じて、タイミング生成回路１１２から出力されるリセット信号ＲＳＴを受ける。ｎ行目のリセットトランジスタＭＲは、リセット信号ＲＳＴ［ｎ］を受ける。リセットトランジスタＭＲは、リセット信号ＲＳＴがハイレベルになると、フローティングディフュージョンＦＤの電圧を増幅トランジスタＭＡのドレイン端子に送る。
【０１６７】
増幅トランジスタＭＡは、ＮチャネルＭＯＳトランジスタで構成される。増幅トランジスタＭＡは、フローティングディフュージョンＦＤに接続されるゲートと、選択トランジスタＭＳに接続されるドレインと、ソースとを有する。
【０１６８】
選択トランジスタＭＳは、ＮチャネルＭＯＳトランジスタで構成される。選択トランジスタＭＳは、増幅トランジスタＭＡのソースと、画素信号読出し線ＶＥＬの間に接続される。選択トランジスタＭＳのゲートは、選択信号線ＳＬを通じて、タイミング生成回路１１２から出力される選択信号ＳＥＬを受ける。ｎ行目の選択トランジスタＭＳは、選択信号ＳＥＬ［ｎ］を受ける。
【０１６９】
図２３は、第４の実施形態の変形例２における、ブランキング期間ＴＡ、露光および第１の転送期間ＴＢ、第２の転送期間ＴＣ１、変換期間ＴＣ２における処理内容を説明するための図である。
【０１７０】
ブランキング期間ＴＡにおいて、以下が実行される。
フォトダイオードＰＤが光電変換することによって発生した電子が、転送制御信号ＴＸ１１、ＴＸ１２、ＴＸ２１、ＴＸ２２によって、すべての行の容量素子ＣＡ１，ＣＡ２に転送されると同時に、リセット信号ＰＤ＿ＲＳＴによって、すべての行の容量素子ＣＡ１，ＣＡ２の電荷がリセットされる。
【０１７１】
露光および第１の転送期間ＴＢにおいて、以下が実行される。
すべての行の画素６９７のフォトダイオードＰＤが光電変換する。
【０１７２】
すべての行に共通の転送制御信号ＴＸ１１、ＴＸ１２によって、フォトダイオードＰＤが光電変換することによって発生した電子がすべての行の容量素子ＣＡ１、ＣＡ２に蓄積される。奇数フレームに対しては、転送制御信号ＴＸ１１がオンとなり、偶数フレームに対しては、転送制御信号ＴＸ１２がオンとなる。
【０１７３】
行ごとの第２の転送期間ＴＣ１において、以下が実行される。
行ごとの選択信号ＳＥＬによって画素６９７が選択される。
【０１７４】
その後、行ごとのリセット信号ＲＳＴによって、フローティングディフュージョンＦＤの電位がリセットされる。
【０１７５】
また、フォトダイオードＰＤで発生した電子が伝送されていない状態でのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬ１、ＶＥＬ２に与えられる電圧が、画素６９７からのダークレベルの信号として、ダークレベル保持回路３に保持される。
【０１７６】
行ごとの転送制御信号ＴＸ２１、ＴＸ２２によって、容量素子ＣＡ１、ＣＡ２の電荷がフローティングディフュージョンＦＤに転送される。奇数フレームに対しては、転送制御信号ＴＸ２１がオンとなり、偶数フレームに対しては、転送制御信号ＴＸ２２がオンとなる。このときのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬ１、ＶＥＬ２に与えられる電圧が、画素６９７からの画素信号として画素６９７から出力される信号である。減算器２１は、画素信号とダークレベル保持回路３に保持されたダークレベルの信号との差分を算出し、比較器４に送る。
【０１７７】
行ごとの変換期間ＴＣ２において、以下が実行される。
タイミング生成回路１１２から出力されるタイミング信号ＴＭに従って、ランプ信号生成回路５は、ランプ信号ＲＡＭＰの生成を開始し、カウンタ７は、カウントアップを開始する。
【０１７８】
ランプ信号生成回路５は、開始電圧を最大電圧ＭＡＸ１とし、終了電圧を最小電圧（＝０）とし、基準クロックＣＬＫの立ち上がりエッジのタイミングで、所定量ΔＶ小さくなるランプ信号ＲＡＭＰを生成する。
【０１７９】
カウンタ７は、０〜１０２３の範囲で、基準クロックＣＬＫの立ち上がりエッジのタイミングで、カウンタ値をインクリメントする。
【０１８０】
比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさよりも大きいときには、ハイレベルの信号を出力する。比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさと等しいとき、および小さいときに、ローレベルの信号を出力する。
【０１８１】
ラッチ回路６は、比較器４から出力される信号のレベルがハイレベルからローレベルに変化したときにカウンタ７から出力されるカウンタ値を取り込んで保持する。
【０１８２】
［第４の実施形態の変形例３］
図２４は、第４の実施形態の変形例３の画素６９８の構成を表わす図である。
【０１８３】
画素６９８は、フォトダイオードＰＤ、転送トランジスタＭＴ１１，ＭＴ２１，ＭＴ１２，ＭＴ２２、容量素子ＣＡ１，ＣＡ２、リセットトランジスタＭＰＲ，ＭＲ、増幅トランジスタＭＡ、および選択トランジスタＭＳ１，ＭＳ２を含む。
【０１８４】
フォトダイオードＰＤ、転送トランジスタＭＴ１１，ＭＴ２１，ＭＴ１２，ＭＴ２２、容量素子ＣＡ１，ＣＡ２、およびリセットトランジスタＭＰＲ，ＭＲは、第４の実施形態の変形例２と同じなので、説明を繰り返さない。
【０１８５】
増幅トランジスタＭＡは、ＮチャネルＭＯＳトランジスタで構成される。増幅トランジスタＭＡは、フローティングディフュージョンＦＤに接続されるゲートと、選択トランジスタＭＳ１およびＭＳ２に接続されるドレインと、ソースとを有する。
【０１８６】
選択トランジスタＭＳ１は、ＮチャネルＭＯＳトランジスタで構成される。選択トランジスタＭＳ１は、増幅トランジスタＭＡのソースと、画素信号読出し線ＶＥＬ１の間に接続される。選択トランジスタＭＳ１のゲートは、選択信号線ＳＬ１を通じて、タイミング生成回路１１２から出力される選択信号ＳＥＬ１を受ける。ｎ行目の選択トランジスタＭＳは、選択信号ＳＥＬ１［ｎ］を受ける。
【０１８７】
選択トランジスタＭＳ２は、ＮチャネルＭＯＳトランジスタで構成される。選択トランジスタＭＳ２は、増幅トランジスタＭＡのソースと、画素信号読出し線ＶＥＬ２の間に接続される。選択トランジスタＭＳ２のゲートは、選択信号線ＳＬ２を通じて、タイミング生成回路１１２から出力される選択信号ＳＥＬ２を受ける。ｎ行目の選択トランジスタＭＳは、選択信号ＳＥＬ２［ｎ］を受ける。
【０１８８】
図２５は、第４の実施形態の変形例３における、ブランキング期間ＴＡ、露光および第１の転送期間ＴＢ、第２の転送期間ＴＣ１、変換期間ＴＣ２における処理内容を説明するための図である。
【０１８９】
ブランキング期間ＴＡにおいて、以下が実行される。
フォトダイオードＰＤが光電変換することによって発生した電子が、転送制御信号ＴＸ１１、ＴＸ１２、ＴＸ２１、ＴＸ２２によって、すべての行の容量素子ＣＡ１，ＣＡ２に転送されると同時に、リセット信号ＰＤ＿ＲＳＴによって、すべての行の容量素子ＣＡ１，ＣＡ２の電荷がリセットされる。
【０１９０】
露光および第１の転送期間ＴＢにおいて、以下が実行される。
すべの行の画素６９８のフォトダイオードＰＤが光電変換する。
【０１９１】
すべての行に共通の転送制御信号ＴＸ１１、ＴＸ１２によって、フォトダイオードＰＤが光電変換することによって発生した電子がすべての行の容量素子ＣＡ１、ＣＡ２に蓄積される。奇数フレームに対しては、転送制御信号ＴＸ１１がオンとなり、偶数フレームに対しては、転送制御信号ＴＸ１２がオンとなる。
【０１９２】
行ごとの第２の転送期間ＴＣ２において、以下が実行される。
行ごとの選択信号ＳＥＬ１、ＳＥＬ２によって画素６９８が選択される。奇数フレームに対しては、選択信号ＳＥＬ１がオンとなり、偶数フレームに対しては、選択信号ＳＥＬ２がオンとなる。
【０１９３】
その後、行ごとのリセット信号ＲＳＴによって、フローティングディフュージョンＦＤの電位がリセットされる。
【０１９４】
また、フォトダイオードＰＤで発生した電子が伝送されていない状態でのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬ１、ＶＥＬ２に与えられる電圧が、画素６９８からのダークレベルの信号として、ダークレベル保持回路３に保持される。
【０１９５】
行ごとの転送制御信号ＴＸ２１、ＴＸ２２によって、容量素子ＣＡ１、ＣＡ２の電荷がフローティングディフュージョンＦＤに転送される。奇数フレームに対しては、転送制御信号ＴＸ２１がオンとなり、偶数フレームに対しては、転送制御信号ＴＸ２２がオンとなる。このときのフローティングディフュージョンＦＤの電位に基づいて画素信号読出し線ＶＥＬ１、ＶＥＬ２に与えられる電圧が、画素６９８からの画素信号として画素６９８から出力される信号である。減算器２１は、画素信号とダークレベル保持回路３に保持されたダークレベルの信号との差分を算出し、比較器４に送る。
【０１９６】
行ごとの変換期間ＴＣ２において、以下が実行される。
タイミング生成回路１１２から出力されるタイミング信号ＴＭに従って、ランプ信号生成回路５は、ランプ信号ＲＡＭＰの生成を開始し、カウンタ７は、カウントアップを開始する。
【０１９７】
ランプ信号生成回路５は、開始電圧を最大電圧ＭＡＸ１とし、終了電圧を最小電圧（＝０）とし、基準クロックＣＬＫの立ち上がりエッジのタイミングで、所定量ΔＶ小さくなるランプ信号ＲＡＭＰを生成する。
【０１９８】
カウンタ７は、０〜１０２３の範囲で、基準クロックＣＬＫの立ち上がりエッジのタイミングで、カウンタ値をインクリメントする。
【０１９９】
比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさよりも大きいときには、ハイレベルの信号を出力する。比較器４は、減算器２１から送られるアナログデータの大きさが、参照信号ＲＡＭＰの大きさと等しいとき、および小さいときに、ローレベルの信号を出力する。
【０２００】
ラッチ回路６は、比較器４から出力される信号のレベルがハイレベルからローレベルに変化したときにカウンタ７から出力されるカウンタ値を取り込んで保持する。
【０２０１】
［第５の実施形態］
図２６は、第５の実施形態の画素１およびコラムＡＤＣ３２２の構成を表わす図である。
【０２０２】
第５の実施形態のコラムＡＤＣ３２２が、第３の実施形態のコラムＡＤＣ１２２と相違する点は、第５の実施形態のコラムＡＤＣ３２２が、第３の実施形態の合成部８１と異なる合成部８２を備える点である。
【０２０３】
第５の実施形態の撮像期間の長さおよびタイミングは、第３の実施形態と同様である。
すなわち、Ｍ（＝２m）回の撮像期間が設けられる。各撮像期間は、ブランキング期間ＴＡと、露光および転送期間ＴＢと、変換期間ＴＣとからなる。
【０２０４】
積算部１７１は、第３の実施形態と同様に、デジタル変換部５１から出力される２m個のｎビットのデジタルデータを積算することによって、（ｎ＋ｍ）ビットのデジタルデータを積算値として出力する。
【０２０５】
合成部８２は、積算部５９から出力される（ｎ＋ｍ）ビットの積算値と、積算値を複数の撮像期間の総数（２m）で除算して得られる平均値と、積算値を複数の撮像期間の総数よりも小さな数（２k）で除算して得られる中間値とに基づいて、合成データを生成する。ｎ、ｍは自然数である。
【０２０６】
より具体的には、合成部８２は、第１の演算部３０と、第２の演算部３１と、第３の演算部３２と、合成データ生成部３８とを備える。
【０２０７】
第１の演算部３０は、第３の実施形態と同様に、積算部１７１から出力される（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｍビットを削除することによって、下位ｎビットで表される第１のデータを出力する。つまり、第１のデータは、デジタル変換部５１から出力されるｎビットのデジタルデータの（ｎ＋ｍ）ビットの積算値の下位ｎビットデータを表わす。
【０２０８】
第２の演算部３１は、第３の実施形態と同様に、積算部１７１から出力される（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｎビットで表される第２のデータを出力する。第２のデータは、積算値を撮像期間の総数（２m）で除算した値に相当する。第２のデータは、デジタル変換部５１から出力されるｎビットのデジタルデータの平均値を表わす。
【０２０９】
第３の演算部３２は、積算部１７１から出力される（ｎ＋ｍ）ビットのデジタルデータ（積算値）のうち第（ｋ＋１）ビット〜第（ｋ＋ｎ）ビットのｎビットで表される第３のデータを出力する。第３のデータは、積算値を撮像期間の総数（２m）よりも小さな数（２k）で除算した値に相当する。第３のデータは、参考例の短時間露光データの撮像期間と長時間露光データの撮像期間の中間の撮像期間の露光データに対応する。ｋは自然数であり、ｋ＜ｍである。
【０２１０】
合成データ生成部３８は、第１の演算部３０から出力されるｎビットの第１のデータＤ１と、第２の演算部３１から出力されるｎビットの第２のデータＤ２と、第３の演算部３２から出力されるｎビットの第３のデータＤ３とに基づいて、ｎビットの合成データを生成する。
【０２１１】
たとえば、合成データ生成部３８は、式（３）に示すように、第１のデータＤ１と第２のデータＤ２と第３のデータＤ３とを重み付き加算して、加算結果Ｒ２の下位ｎビットを合成データとして出力する。
【０２１２】
Ｒ２＝Ｋ１×Ｄ１＋Ｋ２×Ｄ２＋Ｋ３×Ｄ３−α…（３）
ただし、Ｋ１、Ｋ２、Ｋ３は係数である。αは、バイアスである。Ｋ１、Ｋ２、Ｋ３、αの値は、Ｄ１、Ｄ２、Ｄ３の値に応じて変わるものとしてもよい。
【０２１３】
図２７は、第５の実施形態の照度と出力との関係を表わす図である。
図２７に示すように、第１のデータは、長時間露光データとして機能し、第２のデータは、短時間露光データとして機能する。第１のデータは、ダイナミックレンジが狭く、低い照度で飽和する。第２のデータは、ダイナミックレンジが広い。第３のデータのダイナミックレンジは、第１のデータのダイナミックレンジと第２のデータのダイナミックレンジの中間である。この場合、同一照度でのＳＮＲは、第１〜第３のデータで同じとなる。
【０２１４】
図２７に示すように、合成データ生成部３８は、低い照度（０≦照度＜Ｌ１）のとき、すなわち第１のデータＤ１が０以上飽和点（２n−１）未満のときには、式（３）のＫ２Ｋ３、およびαを０として、式（３）に従って、重み付き加算する。
【０２１５】
合成データ生成部３８は、中間の照度（Ｌ１≦照度＜Ｌ２）のとき、すなわち、第１のデータＤ１が飽和点（２n−１）以上、かつ第３のデータＤ３が照度Ｌ２での値Ｓｂ未満のときには、式（３）のＫ３を０とする。第１のデータＤ１は、固定値（２n−１）であり、αはＳａ×Ｋ３である。Ｓａは、第３のデータＤ３の照度Ｌ１での値である。
【０２１６】
合成データ生成部３８は、高い照度（Ｌ２≦照度≦Ｌ３）のとき、すなわち第１のデータＤ１が飽和点（２n−１）以上、かつ第３のデータＤ３が照度Ｌ２での値Ｓｂ以上のときには、式（３）に従って、重み付き加算する。ただし、第１のデータＤ１は、固定値（２n−１）である。第３のデータＤ３は、照度Ｌ２での値Ｓｂである。αはＳｃ×Ｋ２である。Ｓｃは、第２のデータＤ２の照度Ｌ２での値である。
【０２１７】
以上のように、本実施の形態によれば、ダイナミックレンジの細かな制御が可能となる。
【０２１８】
［第５の実施形態の変形例１］
第３の実施形態の変形例１と同様に、コラムＡＤＣユニット２１５が、第１行〜Ｌ行の画素用のコラムＡＤＣ２２ａ−１〜２２ａ−Ｘと、第（Ｌ＋１）行〜第Ｐ行の画素用のコラムＡＤＣ２２ｂ−１〜２２ｂ−Ｘとを備えて、第１行〜Ｌ行の画素の信号と第（Ｌ＋１）行〜第Ｐ行の画素の信号を並列に読出すようにして、撮像期間の間隔を小さくすることができる。
【０２１９】
より具体的には、第（ｉ＋１）回目の撮像期間の変換期間ＴＣの開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣが終了するタイミングｔ１よりも前になるように撮像期間が設定されるものとすることができる。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【０２２０】
［第５の実施形態の変形例２］
合成データ生成部３８は、加算結果のすべてのビットを合成データとして出力するものとしてもよい。
【０２２１】
［第５の実施形態の変形例３］
合成データ生成部３８は、第１の演算部３０から出力されるｎビットの第１のデータＤ１と、第２の演算部３１から出力されるｎビットの第２のデータＤ２と、第３の演算部３２から出力されるｎビットの第３のデータＤ３とを加算して、加算結果のすべてのビットを合成データとして出力するものとしてもよい。
【０２２２】
図２８は、第５の実施形態の変形例３の照度と出力との関係を表わす図である。
図２８に示すように、合成データ生成部３８は、低い照度（０≦照度＜Ｌ１）のとき、すなわち第１のデータＤ１が０以上かつ飽和点（２n−１）未満のときには、第１のデータＤ１を合成データとして出力する。
【０２２３】
合成データ生成部３８は、中間の照度（Ｌ１≦照度＜Ｌ２）のとき、すなわち、第１のデータＤ１が飽和点（２n−１）、かつ第３のデータＤ３が照度Ｌ２での値Ｓｂ未満のときには、式（４）に従って、加算する。ただし、第１のデータＤ１は、固定値（２n−１）である。αは、照度Ｌ１における第３のデータＤ３の値である。
【０２２４】
Ｒ２＝Ｄ１＋Ｄ３−α…（４）
合成データ生成部３８は、高い照度（Ｌ２≦照度≦Ｌ３）のとき、すなわち第１のデータＤ１が飽和点（２n−１）以上、かつ第３のデータＤ３が照度Ｌ２での値Ｓｂ以上のときには、式（５）に従って、重み付き加算する。ただし、第１のデータＤ１は、固定値（２n−１）である。第３のデータＤ３は、照度Ｌ２での値Ｓｂである。βは、照度Ｌ２における第２のデータＤ２の値である。
【０２２５】
Ｒ＝Ｄ１＋Ｄ２＋Ｄ３-β…（５）
［第５の実施形態の変形例４］
合成データ生成部は、積算部１７１から出力される（ｎ＋ｍ）ビットのデジタルデータと、ｎビットの第２のデータＤ２と、ｎビットの第３のデータＤ３とを加算、または重み付き加算して、加算結果のすべてのビットを合成データとして出力することとしてもよい。あるいは、合成データ生成部３８は、加算結果の下位ｎビットを合成データとして出力することとしてもよい。
【０２２６】
［第５の実施形態の変形例５］
第４の実施形態と同様に、画素アレイ１１３の全画素の露光および第１の転送期間ＴＢが同じあるグローバルシャッタ方式に対応したものであるものとしてもよい。
【０２２７】
［第５の実施形態の変形例６］
第４の実施形態の変形例と同様に、以下のようにして撮像期間の間隔を短縮するものとしてよい。すなわち、第（ｉ＋１）回目の撮像期間の変換期間ＴＣ２の開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣ２が終了するタイミングｔ１よりも前になるように撮像期間が設定されるものとしてもよい。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【０２２８】
［第６の実施形態］
図２９は、第６の実施形態の撮像装置３００の構成を表わす図である。
【０２２９】
撮像装置３００は、固体撮像素子１００と、画像処理部５４１と、表示部５０６と、記憶部５０７とを備える。
【０２３０】
固体撮像素子１００は、第１〜第５のいずれかの実施形態で説明した固体撮像素子である。
【０２３１】
画像処理部５４１は、画像処理用ＤＳＰ（Digital Signal Processor）等により構成され、固体撮像素子１００から出力されるデジタル画像データに対して画像処理を行なう。
【０２３２】
表示部５０６は、画像データを表示する。
記憶部５０７は、画像データを記憶する。
【０２３３】
本実施の形態の撮像装置によれば、第１〜第５の実施形態と同様の効果が得られる。
［第７の実施形態］
図３０は、第７の実施形態の撮像装置４００の構成を表わす図である。
【０２３４】
撮像装置４００は、固体撮像素子５０１と、積算部５０２と、画像処理部５４１と、表示部５０６と、記憶部５０７とを備える。
【０２３５】
固体撮像素子５０１は、第１の実施形態で説明した固体撮像素子１００のコラムＡＤＣ２２から積算部１７１を除いた構成を有する。
【０２３６】
固体撮像素子５０１は、複数の同一の長さの撮像期間の各々で得られたアナログデータをデジタルの画素値に変換して出力することによって複数個の画像を出力する。
【０２３７】
積算部５０２は、複数個の画像の各画素の値を積算した値の画素を有する積算画像を生成する。
【０２３８】
本実施の形態の撮像装置によれば、第１および第２の実施形態で説明した効果と同様の効果が得られる。
【０２３９】
［第８の実施形態］
図３１は、第８の実施形態の撮像装置５００の構成を表わす図である。
【０２４０】
第８の実施形態の撮像装置５００が第７の実施形態の撮像装置４００と相違する点は、第８の実施形態の撮像装置５００は、さらに合成部５５５を備える。
【０２４１】
合成部５５５は、積算部５０２から出力される積算画像と、積算画像の画素の値を複数の撮像期間の総数で除算した値を有する画素からなる平均画像とに基づいて、合成画像を生成する。
【０２４２】
合成部５５５は、第１の演算部５０３と、第２の演算部５０４と、合成データ生成部５０５とを備える。
【０２４３】
第１の演算部５０３は、積算部１７１から出力される積算画像の各画素の値である（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｍビットを削除することによって、下位ｎビットで表される第１のデータを生成する。第１の演算部５０３は、第１のデータを画素値とする画素からなる第１の画像を生成する。
【０２４４】
第２の演算部５０４は、積算部１７１から出力される積算画像の各画素の値である（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｎビットで表される第２のデータを生成する。第２の演算部５０４は、第２のデータを画素値とする画素からなる第２の画像を生成する。
【０２４５】
合成データ生成部５０５は、第１の演算部５０３から出力される第１の画像と、第２の演算部５０４から出力される第２の画像とに基づいて、ｎビットの画素からなる合成画像を生成する。
【０２４６】
たとえば、合成データ生成部５０５は、第１の画像の画素の値と第２の画像の画素の値とを重み付き加算して、加算結果の下位ｎビットを画素値とする合成画像を生成する。
【０２４７】
本実施の形態の撮像装置によれば、第３の実施形態で説明した効果と同様の効果が得られる。
【０２４８】
なお、第３の実施形態の変形例１と同様に、以下のようにして撮像期間の間隔を短縮するものとしてもよい。すなわち、第（ｉ＋１）回目の撮像期間の変換期間ＴＣの開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣが終了するタイミングｔ１よりも前になるように撮像期間が設定される。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【０２４９】
また、第４の実施形態と同様に、画素アレイ１１３の全画素の露光および第１の転送期間ＴＢが同じあるグローバルシャッタ方式に対応したものであるものとしてもよい。
【０２５０】
この場合には、第４の実施形態の変形例と同様に、以下のようにして撮像期間の間隔を短縮するものとしてよい。すなわち、第（ｉ＋１）回目の撮像期間の変換期間ＴＣ２の開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣ２が終了するタイミングｔ１よりも前になるように撮像期間が設定されるものとしてもよい。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【０２５１】
［第９の実施形態］
図３２は、第９の実施形態の撮像装置６００の構成を表わす図である。
【０２５２】
第９の実施形態の撮像装置６００が第７の実施形態の撮像装置４００と相違する点は、  第９の実施形態の撮像装置６００は、さらに合成部６５５を備える。
【０２５３】
合成部６５５は、積算部５０２から出力される積算画像と、積算画像の画素の値を複数の撮像期間の総数で除算した値を有する画素からなる平均画像と、積算画像の画素の値を複数の撮像期間の総数よりも小さな数で除算した値を有する画素からなる中間画像とに基づいて、合成画像を生成する。
【０２５４】
合成部６５５は、第１の演算部５０３と、第２の演算部５０４と、第３の演算部６０２と、合成データ生成部６０５とを備える。
【０２５５】
第１の演算部５０３は、第８の実施形態と同様に、積算部１７１から出力される積算画像の各画素の値である（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｍビットを削除することによって、下位ｎビットで表される第１のデータを生成する。第１の演算部５０３は、第１のデータを画素値とする画素からなる第１の画像を生成する。
【０２５６】
第２の演算部５０４は、第８の実施形態と同様に、積算部１７１から出力される積算画像の各画素の値である（ｎ＋ｍ）ビットのデジタルデータ（積算値）の上位ｎビットで表される第２のデータを生成する。第２の演算部５０４は、第２のデータを画素値とする画素からなる第２の画像を生成する。
【０２５７】
第３の演算部６０２は、積算部１７１から出力される積算画像の各画素の値である（ｎ＋ｍ）ビットのデジタルデータ（積算値）の第（ｋ＋１）ビット〜第（ｋ＋ｎ）ビットのｎビットで表される第３のデータを生成する。第３の演算部６０２は、第３のデータを画素値とする画素からなる第３の画像を生成する。
【０２５８】
合成データ生成部６０５は、第１の演算部５０３から出力される第１の画像と、第２の演算部５０４から出力される第２の画像と、第３の演算部６０２から出力される第３の画像とに基づいて、ｎビットの画素からなる合成画像を生成する。
【０２５９】
たとえば、合成データ生成部６０５は、第１の画像の画素の値と第２の画像の画素の値と第３の画像の画素の値とを重み付き加算して、加算結果の下位ｎビットを画素値とする合成画像を生成する。
【０２６０】
本実施の形態の撮像装置によれば、第５の実施形態で説明した効果と同様の効果が得られる。
【０２６１】
なお、第５の実施形態の変形例１と同様に、撮像期間の間隔を短縮するものとしてもよい。すなわち、第（ｉ＋１）回目の撮像期間の変換期間ＴＣの開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣが終了するタイミングｔ１よりも前になるように撮像期間が設定されるものとすることができる。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【０２６２】
また、第４の実施形態と同様に、画素アレイ１１３の全画素の露光および第１の転送期間ＴＢが同じあるグローバルシャッタ方式に対応したものであるものとしてもよい。
【０２６３】
この場合には、第４の実施形態の変形例と同様に、以下のようにして撮像期間の間隔を短縮するものとしてよい。すなわち、第（ｉ＋１）回目の撮像期間の変換期間ＴＣ２の開始するタイミングｔ２が、第ｉ回目の撮像期間の変換期間ＴＣ２が終了するタイミングｔ１よりも前になるように撮像期間が設定されるものとしてもよい。タイミングｔ２は、第（ｉ＋１）回目の撮像期間の最初の行のデータのＡＤ変換のタイミングである。タイミングｔ１は、第ｉ回目の撮像期間の最後の行のデータのＡＤ変換のタイミングである。
【０２６４】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【符号の説明】
【０２６５】
１，１９２，６９６，６９７，６９８  画素、２  電流源、３  ダークレベル保持回路、４  比較器、５  ランプ信号生成回路、６  ラッチ回路、７  カウンタ、９  加算回路、１９  メモリ、２１  減算器、２２，２２−１〜２２−Ｘ，２２ａ−１〜２２ａ−Ｘ，２２ｂ−１〜２２ｂ−Ｘ，１２２，３２２  コラムＡＤＣ、３０，５０３  第１の演算部、３１，５０４  第２の演算部、３２，６０２  第３の演算部、３５，３８，５０５，６０５  合成データ生成部、５１  デジタル変換部、８１，８２，５５５，６５５  合成部、１００，２００，５０１  固体撮像素子、１１１  垂直走査回路、１１２  タイミング生成回路、１１３  画素アレイ、１１４  デジタル信号処理器、１１５，２１５  コラムＡＤＣユニット、１１７  水平走査回路、１１８  バイアス電圧生成回路、１０３，２０３，２５０，３０３  ＡＤ変換器、２０１  デジタル変換部、３００，４００，５００，６００  撮像装置、１７１，２０２，５０２  積算部、５０６  表示部、５０７  記憶部、５４１  画像処理部、ＣＡ  容量素子、ＦＤ  フローティングディフュージョン、ＰＤ  フォトダイオード、ＭＴ，ＭＴ１，ＭＴ２，ＭＴ１１，ＭＴ１２，ＭＴ２１，ＭＴ２２  転送トランジスタ、ＭＰＲ，ＭＲ  リセットトランジスタ、ＭＡ  増幅トランジスタ、ＭＳ，ＭＳ１，ＭＳ２  選択トランジスタ。
【図１】
2019114862.tif 000003
【図２】
2019114862.tif 000004
【図３】
2019114862.tif 000005
【図４】
2019114862.tif 000006
【図５】
2019114862.tif 000007
【図６】
2019114862.tif 000008
【図７】
2019114862.tif 000009
【図８】
2019114862.tif 000010
【図９】
2019114862.tif 000011
【図１０】
2019114862.tif 000012
【図１１】
2019114862.tif 000013
【図１２】
2019114862.tif 000014
【図１３】
2019114862.tif 000015
【図１４】
2019114862.tif 000016
【図１５】
2019114862.tif 000017
【図１６】
2019114862.tif 000018
【図１７】
2019114862.tif 000019
【図１８】
2019114862.tif 000020
【図１９】
2019114862.tif 000021
【図２０】
2019114862.tif 000022
【図２１】
2019114862.tif 000023
【図２２】
2019114862.tif 000024
【図２３】
2019114862.tif 000025
【図２４】
2019114862.tif 000026
【図２５】
2019114862.tif 000027
【図２６】
2019114862.tif 000028
【図２７】
2019114862.tif 000029
【図２８】
2019114862.tif 000030
【図２９】
2019114862.tif 000031
【図３０】
2019114862.tif 000032
【図３１】
2019114862.tif 000033
【図３２】
2019114862.tif 000034