(57)【要約】【課題】偽色や残像の発生が抑制されたダイナミックレンジの広い画像を簡単な構成で容易に生成できるようにする。【解決手段】画素アレイ部１１には、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置する。垂直走査部１２は、信号電荷の読み出しを行う単位画素をラインごとに選択する。信号処理部１３は、画素アレイ部の各列に対して単一に配されており、単位画素から読み出した信号電荷に応じた画素信号を生成する。水平走査部１４は、信号処理部を順次選択して信号読み出しを行い、ライン単位で画像信号を出力する。走査制御部１５は、垂直走査部１２の動作を制御して、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、水平走査部から露光期間が異なる画像の画像信号をライン単位で順番に出力させる。【選択図】        図１
2010279016.tif 000002
【特許請求の範囲】
【請求項１】
光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部と、
前記信号電荷の読み出しを行う前記単位画素を、ラインごとに選択する垂直走査部と、
前記画素アレイ部の各列に対して単一に配されて、前記単位画素から読み出された信号電荷に応じた画素信号の生成を行う信号処理部と、
前記信号処理部を順に選択して前記画素信号の読み出しを行い、ライン単位で画像信号の出力を行う水平走査部と、
前記垂直走査部と前記水平走査部の動作を制御する走査制御部を備え、
前記走査制御部は、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、前記水平走査部から前記露光期間が異なる画像の画像信号をライン単位で順番に出力させる固体撮像素子。
【請求項２】
前記走査制御部は、前記異なる露光期間のラインの選択として、前記走査順の位置から前記異なる露光期間に応じて離れた位置のラインを選択する
請求項１記載の固体撮像素子。
【請求項３】
前記走査制御部は、前記選択されたラインの信号電荷の読み出し動作を、該読み出された信号電荷の露光期間とは異なる露光期間の露光開始のためのリセット動作とする
請求項２記載の固体撮像素子。
【請求項４】
前記走査制御部は、フレーム期間内に複数の露光期間を設けて、前記複数の露光期間をそれぞれ異なる長さに設定した
請求項３記載の固体撮像素子。
【請求項５】
前記走査制御部は、前記フレーム期間内で複数の露光期間の組み合わせを連続して繰り返す
請求項４記載の固体撮像素子。
【請求項６】
前記走査制御部は、前記複数の露光期間の長さを調整可能とする
請求項４記載の固体撮像素子。
【請求項７】
前記走査制御部は、垂直走査方向のライン選択において、蓄積された信号電荷の吐き出しを行うラインを設定することで、前記露光期間の長さを調整する
請求項６記載の固体撮像素子。
【請求項８】
前記走査制御部は、被写体の明るさに応じて前記露光期間の長さを調整する
請求項７記載の固体撮像素子。
【請求項９】
前記走査制御部は、前記複数の露光期間のなかで、期間が長い露光期間を調整する
請求項８記載の固体撮像素子。
【請求項１０】
前記複数の露光期間は、露光期間の長い順に設定した
請求項４記載の固体撮像素子。
【請求項１１】
前記走査制御部は、前記露光期間の設定において、前記単位画素に中間電圧を与えて一部の信号電荷のリセットを行う操作を少なくとも一つ以上設定した
請求項２記載の固体撮像素子。
【請求項１２】
前記走査制御部は、前記信号電荷のリセット後に蓄積された信号電荷を読み出す第１の信号電荷読み出しと、前記中間電圧を与えて一部の信号電荷のリセット後に蓄積された信号電荷を読み出す第２の信号電荷読み出しとを組み合わせて行い、前記第２の信号電荷読出を行ったあとに前記第１の信号電荷読み出しを行う
請求項１１記載の固体撮像素子。
【請求項１３】
光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部と、
前記信号電荷の読み出しを行う前記単位画素を、ラインごとに選択する垂直走査部と、
前記画素アレイ部の各列に対して単一に配されて、前記単位画素から読み出された信号電荷に応じて画素信号の生成処理を行う信号処理部と、
前記信号処理部を順次選択して前記画素信号の読み出しを行い、ライン単位で画像信号の出力を行う水平走査部と、
前記垂直走査部と前記水平走査部の動作を制御する走査制御部を備える固体撮像素子の駆動方法であって、
前記走査制御部は、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、前記水平走査部から前記露光期間が異なる画像の画像信号をライン単位で順番に出力させる工程を有する固体撮像素子の駆動方法。
【請求項１４】
光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部と、
前記信号電荷の読み出しを行う前記単位画素を、ラインごとに選択する垂直走査部と、
前記画素アレイ部の各列に対して単一に配されて、前記単位画素から読み出された信号電荷に応じた画素信号の生成を行う信号処理部と、
前記信号処理部を順に選択して前記画素信号の読み出しを行い、ライン単位で画像信号の出力を行う水平走査部と、
前記垂直走査部と前記水平走査部の動作を制御する走査制御部と、
前記水平走査部から出力された画像信号のタイミング調整を行う画像信号調整部と、
前記画像信号調整部から出力された複数の画像信号を合成してダイナミックレンジを拡張する信号合成部を備え、
前記走査制御部は、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、前記水平走査部から前記露光期間が異なる画像の画像信号をライン単位で順番に出力させて、
前記画像信号調整部は、前記水平走査部から出力された画像信号を前記露光時間ごとに分離して、露光期間ごとの画像信号をタイミングを一致させて出力する撮像装置。
【請求項１５】
前記画像信号調整部は、メモリを用いて構成されており、該メモリへの画像信号の書き込みと書き込まれた画像信号の読み出しを制御して、前記水平走査部から出力された画像信号を、タイミングを一致させた露光期間ごとの画像信号として出力する
請求項１４記載の撮像装置。
【請求項１６】
前記走査制御部は、フレーム期間内に複数の露光期間を連続させて繰り返し設定し、
前記画像信号調整部は、露光期間ごとに前記フレーム期間内の複数の画像信号から１つの画像信号を算出して、算出した露光期間ごとの画像信号をタイミングを一致させて出力する
請求項１４記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、固体撮像素子とその駆動方法および撮像装置に関する。詳しくは、複数の露光期間の画像信号を用いてダイナミックレンジの拡張を行う際に、偽色や残像の発生を抑制できるようにする。
【背景技術】
【０００２】
従来、監視用途などに利用される撮像装置では、逆光シーンの撮像や、屋内、屋外の同時撮像などにおいて、暗部から明部まで画像が破たんすることなく表示できる広ダイナミックレンジの特性が要求されている。この広ダイナミックレンジ特性を実現するため、長時間露光用と短時間露光用のグループに分割され所定のフレーム期間内において異なる露光期間の蓄積電荷を読み出し可能とすることが行われている。
【０００３】
図２６は、従来の動作を示している。従来の動作では、固体撮像素子例えばＣＭＯＳイメージセンサにおいて、長時間露光期間と短期間露光期間を設けて、一方の露光期間の画像読み出しが完了したのち、他方の露光期間の画像読み出しを行う。
【０００４】
図２６の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を示している。また、図２６の（Ｂ）は、ライン(ｎ)の画素についての動作、図２６の（Ｃ）は、ライン(ｎ＋１)の画素についての動作、図２６の（Ｄ）は、画像信号を示している。長時間露光と短時間露光を行う２回露光方式では、１ビデオフレーム期間Ｔｆに画素を２回掃引することにより、長時間露光による信号と短時間露光による信号の２つの画像信号を読み出す。例えば長時間露光期間Ｔｌを１ビデオフレーム期間Ｔｆの半分としたとき、時点ｔ90から蓄積された信号電荷は時点ｔ91で読み出される。また、１ビデオフレーム期間Ｔｆから長時間露光期間Ｔｌと短時間露光期間Ｔｓを減算した期間が経過した時点でいわゆるシャッター動作を行う。
【０００５】
すなわち、時点ｔ91から期間Ｔｎ（Ｔｎ＝Ｔｆ−Ｔｌ−Ｔｓ）が経過した時点ｔ92で、蓄積された信号電荷に対し一旦リセットをかけてシャッター動作を行う。その後、時点ｔ92から短時間露光期間Ｔｓが経過した時点ｔ93において蓄積された信号電荷が読み出される。また、このようなライン読み出し動作は、１ライン目の画素から順次行われるので、図２６の（Ｂ），（Ｃ）に示すようにライン(ｎ)に続けてライン(ｎ＋１)の信号が読み出される。したがって、固体撮像素子からの出力は、図２６の（Ｄ）に示すように、１ビデオフレーム期間Ｔｆの半分の周期で長時間露光と短時間露光のそれぞれ１画面分のデータが交互に出力される。
【０００６】
図２７は、従来の動作において、信号電荷の読み出しが行われるラインを示している。信号電荷の読み出しを１ライン目の画素から順次行うと、時点ｔ91では図２７の（Ａ）に示すように、ライン(ｎ)の画素において長時間露光で蓄積された信号電荷の読み出しが行われる。また、時点ｔ93では図２７の（Ｂ）に示すように、ライン(ｎ)の画素において短時間露光で蓄積された信号電荷の読み出しが行われる。また、ライン(ｓ)の画素でシャッター動作が行われるとき、ライン(ｓ)は、図２７の（Ｂ）に示すように、ライン(ｎ)に対して、掃引にかかる時間が短時間露光期間Ｔｓに相当する分だけ先行した位置となる。すなわちＴｓ＝（ｓ−ｎ）×Ｔｈを満たすようにシャッター動作が行われるライン(ｓ)の画素が設定される。なお、「Ｔｈ」は１水平期間である。
【０００７】
また、特許文献１の発明では、フレーム期間内において長時間露光と短時間露光を行う場合、短時間露光の蓄積を行うための信号電荷のリセットにおいて、中間電圧を設定して一部の信号電荷の吐き出しを行う。このように、中間電圧を設定して一部の信号電荷の吐き出しを行い、輝度の低い被写体部分に対しては、短時間露光のための信号電荷のリセットが行われても、蓄積された電荷の吐き出しを行うことなく、露光期間の長い画像信号を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−９９１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、長時間露光期間と短期間露光期間を設けて、一方の露光期間の画像読み出しが完了したのち、他方の露光期間の画像読み出しを行うと、画像の読み出しの時間差によって、長時間露光と短時間露光の画像における動被写体の同時性が失われてしまう。
【００１０】
例えば、図２６に示すように、長時間露光の画像と短時間露光の画像とで（期間Ｔｎ＋短時間露光期間Ｔｓ）の時間差が生じているため、この時間差の間に動く被写体が存在すると、長時間露光の画像と短時間露光の画像の同時性が失われる。長時間露光の画像と短期間露光の画像を合成した場合、動被写体に対して偽色と呼ばれる現象が発生するという問題点が生じる。つまり、固体撮像素子に設けられたカラーフィルタにより区別される赤，緑，青の画素ごとに、長時間露光の信号と短時間露光の信号の選択において異なる信号が選択された場合、各色信号の間で同時性が失われて、色成分比が実際の被写体からはずれてしまう。
【００１１】
このため、カメラ信号処理でデモザイク処理を行うと、本来ありえない色が生成されてしまう。これらの偽色は、背景と動被写体の輝度差が大きい場合に動被写体のエッジに顕著に現れ画質劣化の原因となる。
【００１２】
また、露光期間の設定を３回以上に設定した場合、短時間露光期間の設定が２回以上となるため、高速に動く被写体を撮影すると、２回シャッターを切ることと等価になる。このため、各画像を合成すると残像（ゴースト）として被写体の輪郭が残ってしまうという問題がある。
【００１３】
そこで、この発明では、偽色や残像の発生が抑制されたダイナミックレンジの広い画像を簡単な構成で容易に生成することが可能な固体撮像素子と、その駆動方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
この発明の第１の側面は、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部と、前記信号電荷の読み出しを行う前記単位画素を、ラインごとに選択する垂直走査部と、前記画素アレイ部の各列に対して単一に配されて、前記単位画素から読み出された信号電荷に応じた画素信号の生成を行う信号処理部と、前記信号処理部を順に選択して前記画素信号の読み出しを行い、ライン単位で画像信号の出力を行う水平走査部と、前記垂直走査部と前記水平走査部の動作を制御する走査制御部を備え、前記走査制御部は、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、前記水平走査部から前記露光期間が異なる画像の画像信号をライン単位で順番に出力させる固体撮像素子にある。
【００１５】
この発明においては、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部において、信号電荷の読み出しを行う単位画素がラインごとに選択されて、各単位画素から読み出された信号電荷に応じた画素信号が、画素アレイ部の各列に対して単一に配された信号処理部で生成される。さらに、信号処理部で生成された画素信号がライン単位の画像信号として出力される。ここで、垂直走査方向のライン選択において、走査順に選択されるライン間に、走査順の位置から異なる露光期間に応じて離れた位置のラインを選択して、この選択されたラインの信号電荷の読み出し動作を、この読み出された信号電荷の露光期間とは異なる露光期間の露光開始のためのリセット動作として、水平走査部から露光期間が異なる画像の画像信号をライン単位で順番に出力させる。また、露光期間の設定において、単位画素に中間電圧を与えて一部の信号電荷のリセットを行う操作が少なくとも一つ以上設定して、信号電荷のリセット後に蓄積された信号電荷を読み出す第１の信号電荷読み出しと、中間電圧を与えて一部の信号電荷のリセット後に蓄積された信号電荷を読み出す第２の信号電荷読み出しとを組み合わせて行い、第２の信号電荷読出を行ったあとに第１の信号電荷読み出しを行うことで、露光時間の異なる画像の画像信号が出力される。また、露光期間の設定では、被写体の明るさに応じて露光期間が調整される。例えば、複数の露光期間のなかで期間の最も長い露光期間が、被写体の明るいときに短くされる。
【００１６】
この発明の第２の側面は、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部と、前記信号電荷の読み出しを行う前記単位画素を、ラインごとに選択する垂直走査部と、前記画素アレイ部の各列に対して単一に配されて、前記単位画素から読み出された信号電荷に応じて画素信号の生成処理を行う信号処理部と、前記信号処理部を順次選択して前記画素信号の読み出しを行い、ライン単位で画像信号の出力を行う水平走査部と、前記垂直走査部と前記水平走査部の動作を制御する走査制御部を備える固体撮像素子の駆動方法であって、前記走査制御部は、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、前記水平走査部から前記露光期間が異なる画像の画像信号をライン単位で順番に出力させる工程を有する固体撮像素子の駆動方法にある。
【００１７】
また、この発明の第３の側面は、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部と、前記信号電荷の読み出しを行う前記単位画素を、ラインごとに選択する垂直走査部と、前記画素アレイ部の各列に対して単一に配されて、前記単位画素から読み出された信号電荷に応じた画素信号の生成を行う信号処理部と、前記信号処理部を順に選択して前記画素信号の読み出しを行い、ライン単位で画像信号の出力を行う水平走査部と、前記垂直走査部と前記水平走査部の動作を制御する走査制御部と、前記水平走査部から出力された画像信号のタイミング調整を行う画像信号調整部と、前記画像信号調整部から出力された複数の画像信号を合成してダイナミックレンジを拡張する信号合成部を備え、前記走査制御部は、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、前記水平走査部から前記露光期間が異なる画像の画像信号をライン単位で順番に出力させて、前記画像信号調整部は、前記水平走査部から出力された画像信号を前記露光時間ごとに分離して、露光期間ごとの画像信号を、タイミングを一致させて出力する撮像装置にある。
【００１８】
この発明においては、水平走査部から露光期間が異なる画像の画像信号がライン単位で順番に出力される。画像信号調整部は、例えばメモリへの画像信号の書き込みと書き込まれた画像信号の読み出しを制御して、水平走査部から出力された画像信号がタイミングを一致させた露光期間ごとの画像信号として信号合成部に出力される。また、走査制御部でフレーム期間内に複数の露光期間が連続させて繰り返し設定されるとき、画像信号調整部では、露光期間ごとにフレーム期間内の複数の画像信号から１つの画像信号が算出されて、算出した露光期間ごとの画像信号が一致したタイミングで信号合成部に出力される。
【発明の効果】
【００１９】
この発明によれば、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部において、信号電荷の読み出しを行う単位画素がラインごとに選択されて、各単位画素から読み出された信号電荷に応じた画素信号が、画素アレイ部の各列に対して単一に配された信号処理部で生成される。さらに、信号処理部で生成された画素信号がライン単位の画像信号として出力される。また、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、水平走査部から露光期間が異なる画像の画像信号がライン単位で順番に出力される。
【００２０】
したがって、例えば長時間露光期間と短期間露光期間を設けたとき、一方の露光期間の画像読み出しが完了する前に、他方の露光期間の画像読み出しを行うことができるので、長時間露光の画像と短期間露光の画像との時間差を少なくすることが可能となり、偽色や残像の発生が抑制されたダイナミックレンジの広い画像信号を簡単な構成で容易に生成することができる。
【図面の簡単な説明】
【００２１】
【図１】固体撮像素子の構成例を示す図である。
【図２】単位画素の回路構成例を示す図である。
【図３】撮像装置の構成例を示す図である。
【図４】画素信号読み出し時の各信号線のタイミングを示す図である。
【図５】第１の実施の形態の動作を説明するための図である。
【図６】時点ｔ2におけるライン位置を示す図である。
【図７】画像信号の処理動作を説明するための図である。
【図８】合成処理を説明するための図である。
【図９】第２の実施の形態の動作を説明するための図である。
【図１０】時点ｔ14におけるライン位置を示す図である。
【図１１】第３の実施の形態の動作を説明するための図である。
【図１２】時点ｔ23におけるライン位置を示す図である。
【図１３】第４の実施の形態の動作を説明するための図である。
【図１４】時点ｔ35におけるライン位置を示す図である。
【図１５】第４の実施の形態の他の動作を説明するための図である。
【図１６】画像信号調整部の他の構成を示す図である。
【図１７】第５の実施の形態の動作を説明するための図である。
【図１８】第６の実施の形態の動作を説明するための図である。
【図１９】時点ｔ54におけるライン位置を示す図である。
【図２０】第７の実施の形態の動作を説明するための図である。
【図２１】時点ｔ66におけるライン位置を示す図である。
【図２２】第８の実施の形態の動作を説明するための図である。
【図２３】時点ｔ74におけるライン位置を示す図である。
【図２４】第９の実施の形態の動作を説明するための図である。
【図２５】時点ｔ88におけるライン位置を示す図である。
【図２６】従来の動作を説明するための図である。
【図２７】従来の動作において、信号電荷の読み出しが行われるラインを示す図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．第７の実施の形態
８．第８の実施の形態
９．第９の実施の形態
１０．第１０の実施の形態
【００２３】
＜１．第１の実施の形態＞
［固体撮像素子の構成］
図１は、本発明の固体撮像素子、例えばＣＭＯＳイメージセンサの構成例を示す図である。固体撮像素子１０は、光電変換素子を含む単位画素（以下、単に「画素」と記す場合もある）２０が行列状（マトリクス状）に２次元配置されてなる画素アレイ部１１を有する。また、固体撮像素子１０は、画素アレイ部１１の周辺回路として、例えば、垂直走査部１２、カラム信号処理部１３、水平走査部１４、走査制御部１５を有する構成となっている。
【００２４】
画素アレイ部１１には、単位画素２０が行列状に２次元配置されている。単位画素２０は、列ごとに垂直信号線１１１が配線され、ラインごとに駆動制御線、例えば転送制御線１１２とリセット制御線１１３および選択制御線１１４が配線されている。
【００２５】
図２に、単位画素２０の回路構成例を示す。単位画素２０は、光電変換素子、例えばフォトダイオード２１に加えて、例えば転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の４つのトランジスタを有する画素構成となっている。
【００２６】
転送トランジスタ２２は、フォトダイオード２１のカソード電極と電荷電圧変換部であるＦＤ（フローティングディフュージョン）部２６との間に接続されている。また、転送トランジスタ２２のゲート電極は、転送制御線１１２に接続されている。転送トランジスタ２２は、フォトダイオード２１で光電変換が行われたことにより蓄積された信号電荷を、ゲート電極（制御電極）に転送パルスＴＲＳが与えられることによってＦＤ部２６に転送する。
【００２７】
リセットトランジスタ２３は、画素電源ＶDDにドレイン電極が、ＦＤ部２６にソース電極がそれぞれ接続されている。また、リセットトランジスタ２３のゲート電極は、リセット制御線１１３に接続されている。リセットトランジスタ２３は、フォトダイオード２１からＦＤ部２６への信号電荷の転送に先立って、ゲート電極にリセットパルスＲＳＴが与えられることによってＦＤ部２６の電位を所定電位にリセットする。
【００２８】
増幅トランジスタ２４は、ＦＤ部２６にゲート電極が、画素電源ＶDDにドレイン電極がそれぞれ接続されている。増幅トランジスタ２４は、リセットトランジスタ２３によってリセットされたあとのＦＤ部２６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ２４は、転送トランジスタ２２によって信号電荷が転送されたあとのＦＤ部２６の電位を信号レベルとして出力する。
【００２９】
選択トランジスタ２５は、例えば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線１１１にそれぞれ接続されている。また、選択トランジスタ２５のゲート電極は、選択制御線１１４に接続されている。選択トランジスタ２５は、ゲート電極に選択パルスＳＥＬが与えられることによってオン状態となり、単位画素２０を選択状態として増幅トランジスタ２４から出力される電気信号を垂直信号線１１１に出力する。
【００３０】
なお、選択トランジスタ２５については、画素電源ＶDDと増幅トランジスタ２４のドレイン電極との間に接続した構成を採ることも可能である。また、画素回路としては、上述した４トランジスタの構成に限られるものではなく、選択トランジスタ２５を省略し、増幅トランジスタ２４を選択トランジスタ２５として兼用する３トランジスタの構成であってもよい。さらに、増幅トランジスタ２４を複数の単位画素間で共有する構成などであってもよい。
【００３１】
図１に戻り、垂直走査部１２は、ライン選択回路１２１とドライバ回路１２２を備えている。ライン選択回路は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。ライン選択回路１２１は、走査制御部１５の制御のもと、画素アレイ部１１の各単位画素２０をライン単位で垂直走査するための転送パルスＴＲＳ、リセットパルスＲＳＴおよび選択パルスＳＥＬ等の画素駆動パルスを発生する。
【００３２】
ドライバ回路１２２は、ライン選択回路１２１による垂直走査に同期して、単位画素２０の各トランジスタ２２，２３，２５をＯＮ／ＯＦＦするための所定電圧とされた転送パルスＴＲＳ、リセットパルスＲＳＴおよび選択パルスＳＥＬを単位画素２０に供給する。また、ドライバ回路１２２は、垂直走査に同期して、単位画素２０の各トランジスタ２２，２３，２５をＯＮ／ＯＦＦするための電圧の中間的な電圧（以下、「中間電圧」と記述する）の転送パルスＴＲＳを単位画素２０に供給する処理も可能とされている。
【００３３】
カラム信号処理部１３は、画素アレイ部１１の各列に対して単一に配されている。カラム信号処理部１３は、垂直走査によって選択された読み出しラインの各単位画素２０から垂直信号線１１１を通して出力される電気信号に対して所定の信号処理を行い、単位画素２０から読み出された信号電荷に応じた画素信号を生成して一時的に保持する。例えば、カラム信号処理部１３は、信号処理としてＣＤＳ(Correlated Double Sampling：相関二重サンプリング)処理を行い、リセットノイズや増幅トランジスタ２４の閾値ばらつき等の画素固有の固定パターンノイズを低減させる。また、カラム信号処理部１３は、アナログ信号をデジタル信号に変換するＡＤ変換処理等も行う。
【００３４】
水平走査部１４は、カラム選択回路１４１と信号読み出し回路１４２を備えている。カラム選択回路１４１は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。カラム選択回路１４１は、画素アレイ部１１の画素列ごとの水平走査を行い、信号処理部１３に一時的に保持されている画素信号を、水平走査順に信号読み出し回路１４２で読み出させる。
【００３５】
信号読み出し回路１４２は、水平選択スイッチ等によって構成されており、カラム信号処理部１３に一時的に保持されている画素信号を、カラム選択回路１４１による水平走査によって画素列ごとに順次読み出して、ライン単位で画像信号の出力を行う。
【００３６】
走査制御部１５は、垂直走査部１２や水平走査部１４の動作を制御して、画素アレイ部１１の単位画素２０をライン単位で垂直方向に走査する、また垂直走査によって読み出された各画素の信号を水平走査によって出力させる。また、複数の露光期間を設けて各露光期間の画像信号を出力するとき、走査制御部１５は、垂直走査部１２における走査方向のライン選択に、走査順の位置からシフトしたラインの選択を含める。このように走査順の位置からシフトしたラインの選択を含めることで、水平走査部１４から露光期間ごとの画像の画像信号をライン単位で順番に出力させる。例えば、長時間露光と短時間露光の２つの露光期間を設けて各露光期間の画像信号を出力するとき、走査制御部１５は、垂直走査部１２における走査方向のライン選択に、走査順の位置から短時間露光期間に応じてシフトしたラインの選択を含める。このように、露光期間に応じてシフトしたラインの選択を含めることで、水平走査部１４から露光期間ごとの画像の画像信号をライン単位で交互に出力させる。
【００３７】
［撮像装置の構成］
図３は、撮像装置の構成例を示している。撮像装置５０は、固体撮像素子１０、画像信号調整部５１ａ、合成処理部５２、カメラ信号処理部５３、制御部５４を備えている。
【００３８】
画像信号調整部５１ａは、固体撮像素子１０の水平走査部１４から出力された画像信号を露光時間ごとに分離して、露光期間ごとの画像信号のタイミングを一致させて出力する。画像信号調整部５１ａは、メモリ例えばフレームメモリやラインメモリまたはＦＩＦＯ等を用いて構成されている。画像信号調整部５１ａは、メモリへの画像データの書き込みや読み出しを制御して、例えば長時間露光と短時間露光の画像信号のタイミングを一致させて合成処理部５２に出力する。
【００３９】
合成処理部５２は、短時間露光の画像信号（以下「短時間露光信号」という）と長時間露光の画像信号（以下「長時間露光信号」という）を合成することで、ダイナミックレンジの拡張された画像信号を生成して、カメラ信号処理部５３に出力する。
【００４０】
カメラ信号処理部５３は、合成処理部５２から供給された画像信号を用いて種々のカメラ信号処理を行う。例えば、カメラ信号処理部５３は、ホワイトバランス調整やデモザイク処理、画質調整などの信号処理を行う。
【００４１】
制御部５４は、ユーザ操作等に応じて制御信号を生成して撮像装置５０の各部に供給することで、撮像装置５０がユーザ操作に応じた動作となるように制御する。また、制御部５４は、固体撮像素子１０を制御して、例えば長時間露光の画像と短時間露光の画像の画像信号を生成させる。
【００４２】
［第１の実施の形態の動作］
次に、第１の実施の形態の動作について説明する。信号電荷の読み出しは、走査方向のライン選択に、走査順の位置からシフトしたラインの選択を含めることで、長時間露光が完了した１ライン分の画素と短時間露光が完了した１ライン分の画素の読み出しを交互に行う。また、走査順の位置から異なる露光期間に応じて離れた位置のラインを選択して、選択されたラインの信号電荷の読み出し動作が、読み出された信号電荷の露光期間とは異なる露光期間の露光開始のためのリセット動作を兼ねるようにする。
【００４３】
図４は、信号電荷読み出し時の各信号線のタイミングを示している。図４の（Ａ）は選択パルスＳＥＬ_nを示している。選択パルスＳＥＬ_nは、ライン(ｎ)の画素を選択する選択信号である。図４の（Ｂ）は、選択パルスＳＥＬ_n+1を示している。選択パルスＳＥＬ_n+1は、ライン(ｎ＋１)の画素を選択する選択信号である。図４の（Ｅ）は選択パルスＳＥＬ_sを示している。選択パルスＳＥＬ_sは、ライン(ｓ)の画素を選択する選択信号である。なお、ライン(ｓ)は、走査順の位置からシフトしたラインである。図４の（Ｃ）は、リセットパルスＲＳＴ_nを示している。リセットパルスＲＳＴ_nは、ライン(ｎ)の画素におけるＦＤ部２６の電位を所定電位にリセットする信号である。図４の（Ｄ）は、転送パルスＴＲＳ_nを示している。転送パルスＴＲＳ_nは、ライン(ｎ)の画素において、蓄積された信号電荷をＦＤ部２６に転送する信号である。
【００４４】
ここで、選択パルスＳＥＬ_nがハイレベル「Ｈ」とされたとき、ライン(ｎ)の画素が選択されて、リセットパルスＲＳＴ_nハイレベル「Ｈ」とされたとき、ライン(ｎ)の画素におけるＦＤ部２６が所定電位にリセットされる。その後、所定の露光期間が経過したとき、転送パルスＴＲＳ_nがハイレベル「Ｈ」とされて、ライン(ｎ)の画素で所定の露光期間中に蓄積された電荷がＦＤ部２６に転送される。
【００４５】
このようにライン(ｎ)の画素が駆動されると、図４の（Ｆ）に示す信号ＳＩＧがカラム信号処理部１３に供給されることになる。
【００４６】
カラム信号処理部１３は、ＦＤ部２６がリセットされたときの電気信号と、ＦＤ部２６に対して露光期間中に蓄積された電荷が転送されたときの信号の差分演算を行うことにより、画素間の固定ばらつきノイズを除去した画素信号を生成して一時保持する。この保持されている画素信号が、水平走査部１４で行われる水平走査によって順次読み出されて画像信号の出力が行われる。
【００４７】
また、ライン(ｎ)の画素に続いて、露光期間に応じてシフトされた位置であるライン(ｓ)の画素についても同様な処理が行われる。したがって、水平走査部１４からの画像信号ＤＳは、図４の（Ｇ）に示すようにライン(ｎ)の画素信号が出力されたのちライン(ｓ)の画素信号が出力される。また、ライン(ｓ)の画素に続いてライン(ｎ＋１)の画素、ライン(ｎ＋１)の画素に続いてライン(ｓ＋１)の画素についても同様な処理が行われる。以下、同様な処理が繰り返されて、長時間露光の画像と短時間露光の画像が１ラインごとに交互に出力される。
【００４８】
図５は、第１の実施の形態の動作を説明するための図である。走査制御部１５は、１ビデオフレーム期間内に複数の露光期間を設けて、複数の露光期間をそれぞれ異なる長さに設定する。走査制御部１５は、例えば１ビデオフレーム期間内に長時間露光と短時間露光の２つの露光期間を期間の長い順に設ける。また、固体撮像素子１０において、長時間露光画像と短時間露光画像の読み出しは、１ラインごとに交互に行うようにする。
【００４９】
図５の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を示している。また、図５の（Ｂ）は、ライン(ｎ)の画素についての動作、図５の（Ｃ）は、ライン(ｎ＋１)の画素についての動作、図５の（Ｄ）は、ライン(ｓ)の画素についての動作を示している。さらに、図５の（Ｅ）は、ライン(ｓ＋１)の画素についての動作、図５の（Ｆ）は、画像信号ＤＳを示している。なお、図５の（Ａ）において、破線は高輝度部を示しており、実線は低輝度部を示している。また、Ｑｓａｔは画素の飽和レベルを示している。
【００５０】
ライン(ｎ)の画素において、図５の（Ａ），（Ｂ）に示すように、長時間露光で蓄積された信号電荷の読み出しは、時点ｔ0から長時間露光期間Ｔｌが経過した時点ｔ1で行う。また、短時間露光期間Ｔｓを「Ｔｓ＝Ｔｆ−Ｔｌ」に設定して、短時間露光で蓄積された信号電荷の読み出しは、時点ｔ0である長時間露光の開始から１フレーム期間が経過した時点ｔ2で行う。
【００５１】
ライン(ｎ)の画素において、短時間露光の信号電荷を読み出したあとに、長時間露光の信号電荷が読み出されるラインの画素をライン(ｓ)の画素とする。さらに、ライン(ｓ)の画素における長時間露光の信号電荷の読み出し後に、ライン(ｎ＋１)の画素における短時間露光の信号電荷の読み出しを行う。また、ライン(ｎ＋１)の画素における短時間露光の信号電荷の読み出し後に、ライン(ｓ＋１)の画素における長時間露光の信号電荷の読み出しを行う。このように信号電荷の読み出しを行うと、ライン(ｎ)，ライン(ｎ＋１)，ライン(ｓ)，ライン(ｓ＋１)の各画素については、図５の（Ｂ）〜（Ｅ）に示すタイミングで信号電荷の読み出しが行われる。
【００５２】
このように、ライン(ｎ)の画素において、短時間露光期間Ｔｓで蓄積された信号電荷を読み出したあと、ライン(ｎ＋１)の画素において短時間露光期間Ｔｓで蓄積された信号電荷を読み出す前に、走査順の位置からシフトしたライン(ｓ)の選択を含める。このように、走査順の位置からシフトしたラインの選択を含めることで、長時間露光期間Ｔｌで蓄積された信号電荷を読み出すことができる。したがって、固体撮像素子１０から出力される画像信号ＤＳは、図５の（Ｆ）に示すように、長時間露光が完了した１ライン分の画像信号と短時間露光が完了した１ライン分の画像信号が交互に出力された信号となる。また、長時間露光の画像信号と短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【００５３】
図６は、時点ｔ2におけるライン位置を示している。時点ｔ2では、ライン(ｎ)の画素が選択されて短時間露光の信号電荷の読み出しが行われる。また、時点ｔ2において、ライン(ｎ)から「Ｔｓ＝２×（ｓ−ｎ）×Ｔｈ」となる位置のラインは、長時間露光が完了するラインに対応する。したがって、露光期間に応じてシフトした位置をライン(ｓ)に設定すれば、ライン(ｎ)で短時間露光の信号電荷の読み出しが行われた次に、ライン(ｓ)で長時間露光の信号電荷の読み出しを行うことができる。また、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。
【００５４】
このように信号電荷の読み出しを行うと、短時間露光画像の読み出しと、長時間露光画像の読み出しの時間差は、図５の（Ｆ）に示すように短時間露光期間Ｔｓと一致することになる。したがって、従来の方法、すなわち長時間露光期間Ｔｌを１ビデオフレーム期間Ｔｆの半分である期間として、長時間露光期間Ｔｌで蓄積された信号電荷を読み出したあとに期間Ｔｎが経過してシャッター動作を行い、短時間露光期間Ｔｓが経過したときに、短時間露光で蓄積された信号電荷の読み出しを行う方法に比べて、時間差を少なくできる。
【００５５】
また、信号電荷の読み出しを行うラインの選択を制御するだけで時間差を少なくできるので、例えば、長時間露光の電気信号を処理するカラム信号処理部と、短時間露光の電気信号を処理するカラム信号処理部を別個に設ける必要がない。したがって、画素アレイ部１１の画素列ごとカラム信号処理部を設けた従来の固体撮像素子において、信号電荷の読み出しを行うラインの選択動作を変更するだけで対応可能であることから、固体撮像素子を安価に提供できる。
【００５６】
図７は、固体撮像素子１０から出力された画像信号ＤＳの処理動作を示している。なお、図７では、画像信号調整部５１ａが例えば２つのラインメモリ５１１ａ，５１１ｂを用いて構成されている。
【００５７】
図７の（Ａ）はラインメモリ５１１ａの書き込み動作を示している。また、図７の（Ｂ）はラインメモリ５１１ｂの書き込み動作、図７の（Ｃ）はラインメモリ５１１ａの読み出し動作、図７の（Ｄ）はラインメモリ５１１ｂの読み出し動作を示している。
【００５８】
画像信号調整部５１ａは、画像信号ＤＳから長時間露光の画像信号（長時間露光信号）を順次選択して図７の（Ａ）に示すようにラインメモリ５１１ａに書き込む。また、画像信号調整部５１ａは、画像信号ＤＳから短時間露光の画像信号（短時間露光信号）を順次選択して図７の（Ｂ）に示すようにラインメモリ５１１ｂに書き込む。
【００５９】
画像信号調整部５１ａは、ラインメモリ５１１ｂに書き込まれた短時間露光信号を、図７の（Ｄ）に示すように、書き込みから所定時間ｔｄの経過後に読み出す。なお、所定時間ｔｄとは、ラインメモリ５１１ａ，５１１ｂで画像信号の書き込みを行ったとき、この書き込みを行った画像信号が読み出し可能となるまでの時間以上の時間である。
【００６０】
また、図５から明らかなように、短時間露光信号は、長時間露光信号に対して短時間露光期間Ｔｓだけ遅延している。したがって、画像信号調整部５１ａは、ラインメモリ５１１ａに書き込まれた長時間露光信号を、図７の（Ｃ）に示すように、書き込みから「短時間露光期間Ｔｓ＋所定時間ｔｄ」の経過後に読み出す。
【００６１】
このように、画像信号調整部５１ａは、露光期間の設定に基づいて、メモリへの画像信号の書き込みと書き込まれた画像信号の読み出しを制御することで、長時間露光信号と短時間露光信号のタイミングを一致させて合成処理部５２に供給できる。なお、露光期間の設定状態を示す情報は、画像信号ＤＳと共に固体撮像素子１０から供給してもよく、また、制御部５４から供給するものとしてもよい。
【００６２】
合成処理部５２は、長時間露光信号と短時間露光信号をビデオフレームごとに合成して、ダイナミックレンジの広い画像信号を生成する。図８は、合成処理を説明するための図である。図８の（Ａ）は長時間露光における被写体の輝度と出力の関係、図８の（Ｂ）は短時間露光における被写体の輝度と出力の関係を示している。
【００６３】
長時間露光では露光期間が長いことから、被写体の輝度が低くても画像信号が飽和しやすい。また、短時間露光では露光期間が短いことから、被写体の輝度が高くても画像信号が飽和しにくい。したがって、合成処理部５２は、画素ごとに、例えば長時間露光信号（輝度値）と予め設定されている閾値を比較して、長時間露光信号が閾値を超えるとき、長時間露光信号に換えて短時間露光信号を用いる。ここで、長時間露光信号と短時間露光信号は、輝度と信号レベルが一致していない。このため、短時間露光信号を長時間露光に対応する信号レベルに変換してから用いるようにする。例えば、露光比「Ｔｌ（長時間露光期間）／Ｔｓ（短時間露光期間）」を短時間露光信号に乗算して、長時間露光に対応する信号ベルに変換してから用いるようにする。なお、図８の（Ｂ）において、破線は、長時間露光に対応する信号レベルに変換したときにおける被写体の輝度と出力の関係を示している。
【００６４】
図８の（Ｃ）は、合成処理が行われた場合における被写体の輝度と出力の関係を示している。合成処理部５２は、長時間露光信号が閾値Ｄｔｈ以下であるとき長時間露光信号を用いる。また、合成処理部５２は、長時間露光信号が閾値Ｄｔｈを超えるとき、短時間露光信号を長時間露光に対応する信号レベルに変換して用いる。このような合成処理を行うと、図８の（Ｃ）の実線で示すようにダイナミックレンジの広い画像信号を得ることができる。
【００６５】
以上のような手法を用いれば、短時間露光と長時間露光の画像の読み出しの時間差を短時間露光期間Ｔｓと一致させて、従来の時間（例えばＴｆ／２）に比べて小さくすることができる。一般的に短時間露光期間と長時間露光期間の比率は１０〜１００倍程度になるので、１ビデオフレーム期間を１／３０秒とした場合、その時間差は１／３００秒〜１／３０００秒となる。この場合、動被写体のエッジ部などに現れる偽色エリアの幅は従来例１の１／１０から１／１００まで抑えることができるので、偽色の発生エリアを大幅に低減することが可能となる。また、時間差内で固体撮像素子１０の撮像面上での１画素ピッチサイズ分を移動しない速度の被写体では実質的に偽色現象は発生しない。したがって、時間差を少なくできるので、被写体の動きが速くても偽色現象が発生しないようにできる。また、同様な理屈から残像の影響も低減することができる。さらに、長時間露光期間も１ビデオフレーム期間の約９０％〜９９％を使用することができ、通常の固体撮像素子とほとんど変わらない感度の長時間露光画像を得ることが可能となる。
【００６６】
＜２．第２の実施の形態＞
第１の実施の形態では長時間露光信号と短時間露光信号から、ダイナミックレンジの広い画像信号を生成する場合について説明したが、ダイナミックレンジの広い画像信号の生成で用いる画像信号は、長時間露光信号と短時間露光信号２つに限られない。次に、第２の実施の形態として、２つよりも多くの画像信号例えば露光期間の長さが異なる４つの画像信号を用いてダイナミックレンジの広い画像信号を生成する場合について説明する。なお、第２の実施の形態において、固体撮像素子１０は第１の実施の形態の場合と同様に構成する。また、撮像装置５０の画像信号調整部５１ａでは、合成する４つの画像信号のタイミングを一致させて合成処理部５２に供給する。
【００６７】
［第２の実施の形態の動作］
次に、第２の実施の形態の動作について説明する。走査制御部１５は、垂直走査部１２における走査方向のライン選択に、走査順の位置から各露光期間に応じてシフトしたラインの選択を含めることで、水平走査部１４から露光期間ごとの画像信号をライン単位で順番に出力させる。長さの異なる４つの露光期間は、長時間露光期間Ｔｌと３つの短時間露光期間Ｔｓ1〜Ｔｓ3として露光期間の長さ順に設定する。例えば、露光期間の長さは「Ｔｌ＞Ｔｓ3＞Ｔｓ2＞Ｔｓ1，Ｔｆ＝Ｔｌ＋Ｔｓ1＋Ｔｓ2＋Ｔｓ3」とする。
【００６８】
図９は、第２の実施の形態の動作を説明するための図である。図９の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を示している。また、図９の（Ｂ）は、ライン(ｎ)の画素についての動作、図９の（Ｃ）は、ライン(ｍ)の画素についての動作を示している。また、図９の（Ｄ）は、ライン(ｋ)の画素についての動作、図９の（Ｅ）は、ライン(ｓ)の画素についての動作、図９の（Ｆ）は、画像信号ＤＳを示している。なお、図９の（Ａ）において、破線は高輝度部を示しており、実線は低輝度部を示している。また、Ｑｓａｔは画素の飽和レベルを示している。
【００６９】
例えばライン(ｎ)の画素において、図９の（Ａ）,（Ｂ）に示すように、長時間露光期間Ｔｌで蓄積された信号電荷の読み出しは、時点ｔ10から長時間露光期間Ｔｌが経過した時点ｔ11で行う。短時間露光期間Ｔｓ3で蓄積された信号電荷の読み出しは、時点ｔ11から短時間露光期間Ｔｓ3が経過した時点ｔ12で行う。短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しは、時点ｔ12から短時間露光期間Ｔｓ2が経過した時点ｔ13で行う。また、短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しは、時点ｔ13から短時間露光期間Ｔｓ1が経過した時点ｔ14で行う。
【００７０】
さらに、ライン(ｎ)の画素において、短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出したあとに、短時間露光期間Ｔｓ2で蓄積された信号電荷が読み出されるラインの画素をライン(ｍ)の画素とする。また、短時間露光期間Ｔｓ2で蓄積された信号電荷を読み出したあとに、短時間露光期間Ｔｓ3で蓄積された信号電荷が読み出されるラインの画素をライン(ｋ)の画素とする。また、短時間露光期間Ｔｓ3で蓄積された信号電荷を読み出したあとに、長時間露光期間Ｔｌで蓄積された信号電荷が読み出されるラインの画素をライン(ｓ)の画素とする。
【００７１】
このように信号電荷の読み出しを行うと、ライン(ｎ)，(ｍ)，(ｋ)，(ｓ)の各画素については、図９の（Ｂ）〜（Ｅ）に示すタイミングで読み出しが行われる。すなわち、ライン(ｎ)の画素において、短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出したあと、ライン(ｎ＋１)の画素において短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出す前に、走査順の位置からシフトしたライン(ｍ)，(ｋ)，(ｓ)の選択を含める。このようにライン選択を行うことで、短時間露光期間Ｔｓ2で蓄積された信号電荷、短時間露光期間Ｔｓ3で蓄積された信号電荷、長時間露光期間Ｔｌで蓄積された信号電荷を読み出すことができる。
【００７２】
したがって、固体撮像素子１０から出力される画像信号ＤＳは、図９の（Ｆ）に示すように、短時間露光期間Ｔｓ1〜Ｔｓ3，長時間露光期間Ｔｌの順に各露光期間が完了した１ライン分の画像が順次出力された信号となる。また、長時間露光の画像信号と各短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【００７３】
図１０は、時点ｔ14におけるライン位置を示している。時点ｔ14では、ライン(ｎ)の画素が選択されて短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しが行われる。また、図１０では、ライン(ｎ)での画素における信号電荷の読み出しの次に短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しが行われるライン(ｍ)の画素を示している。また、図１０では、ライン(ｍ)の画素における信号電荷の読み出しの次に短時間露光期間Ｔｓ3で蓄積された信号電荷の読み出しが行われるライン(ｋ)の画素を示している。さらに、図１０では、ライン(ｋ)の画素における信号電荷の読み出しの次に長時間露光期間Ｔｌで蓄積された信号電荷の読み出しが行われるライン(ｓ)の画素を示している。
【００７４】
ライン(ｍ)，ライン(ｋ)，ライン(ｓ)の画素は、以下のように設定すれば、短時間露光期間Ｔｓ1〜Ｔｓ3，長時間露光期間Ｔｌの順に各露光期間で蓄積された信号電荷の読み出しを順次行うことができる。また、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。
【００７５】
ここで、短時間露光期間を複数設けたことにより１ビデオフレーム期間における露光期間がＧ個となる場合、式（１）を満たすように短時間露光期間Ｔｓを設定する。
【００７６】
Ｔｓ＝（Ｇ×Ｎ＋（Ｇ−１））×Ｔｈ    ・・・（１）
なお、式（１）において「Ｎ＝０，１，２，・・・」である。
【００７７】
図９に示すように３つの短時間露光期間と１つの長時間露光期間を設ける場合、１ビデオフレーム期間における露光期間は４つであることから「Ｇ＝４」とする。また、「Ｎ」を所望の値として短時間露光期間Ｔｓを設定する。さらに、「Ｎ」が設定されたことに応じて、ライン(ｎ)に対するライン(ｍ)，ライン(ｍ)に対するライン(ｋ)，ライン(ｋ)に対するライン(ｓ)を決定する。
【００７８】
ここで、短時間露光期間Ｔｓの間隔を有する２つのラインは、ライン数の減算値から「１」を減算した値が「Ｎ」となるように設定する。すなわち、ライン(ｎ)に対するライン(ｍ)は、「ｍ−ｎ−１」の値が短時間露光期間Ｔｓ1を設定したときの「Ｎ」の値となるように設定する。ライン(ｍ)に対するライン(ｋ)は、「ｋ−ｍ−１」の値が短時間露光期間Ｔｓ2を設定したときの「Ｎ」の値となるように設定する。ライン(ｋ)に対するライン(ｓ)は、「ｓ−ｋ−１」の値が短時間露光期間Ｔｓ3を設定したときの「Ｎ」の値となるように設定する。
【００７９】
例えば、「Ｎ＝０」として短時間露光期間Ｔｓ1を「３Ｔh」、「Ｎ＝１」として短時間露光期間Ｔｓ2を「７Ｔh」、「Ｎ＝２」として短時間露光期間Ｔｓ3を「１１Ｔh」とする。この場合、ライン(ｍ)はライン(ｎ＋１)、ライン(ｋ)はライン(ｎ＋３)、ライン(ｓ)はライン(ｎ＋６)となる。
【００８０】
ここで、ライン(ｎ)から短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しを行い、次にライン(ｍ＝ｎ＋１)から短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しを行う。次にライン(ｋ＝ｎ＋３)から短時間露光期間Ｔｓ3で蓄積された信号電荷の読み出しを行い、次にライン(ｓ＝ｎ＋６)から長時間露光期間Ｔｌで蓄積された信号電荷の読み出しを行う。その後、短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しを行ったライン(ｎ)の次のライン(ｎ＋１)から信号電荷を読み出す。このとき、ライン(ｎ＋１)は、短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しから「３Ｔh」が経過した状態であるので、短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しを行うことができる。すなわち、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。
【００８１】
また、ライン(ｎ＋２)から短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しを行い、次にライン(ｍ＋２)から信号電荷を読み出す。このとき、ライン(ｍ＋２)は、短時間露光期間Ｔｓ3で蓄積された信号電荷の読み出しから「７Ｔh」が経過した状態であるので、短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しを行うことができる。すなわち、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。
【００８２】
さらに、ライン(ｎ＋３)から短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しを行い、次にライン(ｍ＋３)から短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しを行い、さらに、ライン(ｋ＋３)から信号電荷を読み出す。このとき、ライン(ｋ＋３)は、長時間露光期間Ｔｌで蓄積された信号電荷の読み出しから「１１Ｔh」が経過した状態であるので、短時間露光期間Ｔｓ3で蓄積された信号電荷の読み出しを行うことができる。すなわち、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。
【００８３】
このようにライン(ｎ)，(ｍ)，(ｋ)，（ｓ）を設定すれば、図９の（Ｆ）に示すように、短時間露光期間Ｔｓ1〜Ｔｓ3および長時間露光期間Ｔｌの画像信号をラインごとに順次出力することができる。また、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。さらに、このように信号電荷の読み出しを行うと、短時間露光期間Ｔｓ1〜Ｔｓ3，長時間露光期間Ｔｌの画像読み出しの時間差は、各露光期間と一致することになる。したがって、従来の方法に比べて時間差を少なくできる。
【００８４】
撮像装置５０の画像信号調整部５１ａは、４つの露光期間を設定して各露光期間の画像信号を用いてダイナミックレンジの広い画像信号を生成する場合、各露光期間の画像信号のタイミングを一致させて合成処理部５２に供給する。例えば撮像装置５０の画像信号調整部５１ａは、４つのラインメモリを用いて画像信号のタイミングを一致させて、合成処理部５２に供給する。
【００８５】
合成処理部５２は、長さの異なる４つの露光期間の各画像信号をビデオフレームごとに合成して、ダイナミックレンジの広い画像信号を生成する。なお画像信号の合成では、上述のように閾値や露光比を用いて被写体の輝度が高いときには露光期間の短い画像信号、被写体の輝度が低いときには露光期間の長い画像信号を用いるようにする。
【００８６】
このように、４つの画像信号を合成する場合の露光比を、例えば長時間露光側を基準として、１０倍、１００倍、１０００倍とした場合、長時間露光と短時間露光の画像の読み出しの時間差は１／３００秒程度となる。したがって、従来に比べて時間差を圧倒的に少なくできる。一方で、長時間露光期間も１ビデオフレーム期間の約９０％を確保することができる。なお、図９では、長時間の露光から順に短い露光期間の設定を設けているが、この順番は適宜入れ替えることが可能である。
【００８７】
＜３．第３の実施の形態＞
次に、短時間露光の蓄積を行うための信号電荷のリセットにおいて、単位画素に中間電圧を与えて一部の信号電荷のリセットを行う操作を少なくとも一つ以上設定することで、輝度が低い被写体については、短時間露光のリセットの影響を受けることなく、露光期間を１ビデオフレーム期間とする場合について説明する。第３の実施の形態では、信号電荷のリセット後に蓄積された長時間露光の信号電荷の読み出しと、中間電圧を与えて一部の信号電荷のリセット後に蓄積された短時間露光の信号電荷の読み出しとを組み合わせて行う。また、短時間露光の信号電荷の読出を行ったあとに長時間露光の信号電荷の読み出しを行う。なお、第３の実施の形態において、固体撮像素子１０と撮像装置５０の画像信号調整部５１ａは第１の実施の形態の場合と同様に構成する。
【００８８】
［第３の実施の形態の動作］
次に、第３の実施の形態の動作について説明する。信号電荷の読み出しは、第１および第２の実施の形態と同様に、走査方向のライン選択に、走査順の位置からシフトしたラインの選択を含めることで、長時間露光が完了した１ライン分の画素と短時間露光が完了した１ライン分の画素の読み出しを交互に行う。また、露光期間に応じてシフト量を設定して、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようにする。
【００８９】
図１１は、第３の実施の形態の動作を説明するための図である。図１１の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を、低輝度部と高輝度部について示している。また、図１１の（Ｂ）は、ライン(ｎ)の画素についての動作、図１１の（Ｃ）は、ライン(ｎ＋１)の画素についての動作、図１１の（Ｄ）は、ライン(ｓ)の画素についての動作を示している。さらに、図１１の（Ｅ）は、ライン(ｓ＋１)の画素についての動作、図１１の（Ｆ）は、画像信号ＤＳを示している。なお、図１１の（Ａ）において、破線は高輝度部を示しており、実線は低輝度部を示している。また、Ｑｓａｔは画素の飽和レベルを示しており、Ｑｍｉｄは、画素の飽和レベルＱｓａｔと中間電圧との差を示している。
【００９０】
例えばライン(ｎ)の画素において、図１１の（Ａ），（Ｂ）に示すように、長時間露光で蓄積された信号電荷の読み出しは、時点ｔ20から長時間露光期間Ｔｌ（Ｔｌ＝Ｔｆ）が経過した時点ｔ23で行う。また、短時間露光期間Ｔｓと時間差Ｔｒを設定して、短時間露光で蓄積された信号電荷の読み出しは、長時間露光で蓄積された信号電荷の読み出しよりも時間差Ｔｒだけ早い時点ｔ22で行う。したがって、短時間露光の蓄積を行うための信号電荷のリセットは、時点ｔ22よりも短時間露光期間Ｔｓだけ早い時点ｔ21で行う。このように、複数の露光期間の設定の順番として、一部の信号電荷の読み出しを行い、その後に全ての信号電荷の読み出しを行う。
【００９１】
さらに、ライン(ｎ)の画素において、長時間露光の信号電荷を読み出したあとに、短時間露光の信号電荷が読み出されるラインの画素をライン(ｓ)の画素とする。さらに、ライン(ｓ)の画素における短時間露光の信号電荷の読み出し後に、ライン(ｎ＋１)の画素における長時間露光の信号電荷の読み出しを行う。また、ライン(ｎ＋１)の画素における長時間露光の信号電荷の読み出し後に、ライン(ｓ＋１)の画素における短時間露光の信号電荷の読み出しを行う。このように信号電荷の読み出しを行うと、ライン(ｎ)，ライン(ｎ＋１)，ライン(ｓ)，ライン(ｓ＋１)の各画素については、図１１の（Ｂ）〜（Ｅ）に示すタイミングで信号電荷の読み出しが行われる。また、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。
【００９２】
したがって、固体撮像素子１０からの画像信号ＤＳは、図１１の（Ｆ）に示すように、長時間露光が完了した１ライン分の画像と短時間露光が完了した１ライン分の画像が交互に読み出される。また、長時間露光の画像信号と短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【００９３】
このように信号電荷の読み出しを行うと、短時間露光で蓄積された信号電荷の読み出しと、長時間露光で蓄積された信号電荷の読み出しの時間差は、時間差Ｔｒとなる。したがって、時間差Ｔｒを小さくすれば、長時間露光の画像と短時間露光の画像との時間差を少なくできる。
【００９４】
図１２は、時点ｔ23におけるライン位置を示している。時点ｔ23では、ライン(ｎ)の画素が選択されて長時間露光で蓄積された信号電荷の読み出しが行われる。また、図１２では、ライン(ｎ)の画素における信号電荷の読み出しの次に短時間露光で蓄積された信号電荷の読み出しが行われるライン(ｓ)の画素と、リセットが行われたタイミングに対応する行をシャッターライン(ｓｈ)として示している。
【００９５】
このような設定にすると、時間差Ｔｒを小さくすることで、長時間露光の画像と短時間露光の画像との時間差を少なくできるので、第１の実施の形態と同様に偽色、残像現象が発生するエリアを小さくすることができる。
【００９６】
なお、時間差Ｔｒが小さくなると、リセットが行われるタイミングが長時間露光で蓄積された信号電荷の読み出しタイミングに近づく。ここで、リセットでは単位画素に中間電圧を与えて一部の信号電荷の吐き出しが行われるので、被写体の輝度が低くないと長時間露光で蓄積された電荷が吐き出されてしまう。すなわち、長時間露光が受け持つ信号電荷の最大値が減少してしまい、短時間露光画像が用いられる場合が増加する。また、短時間露光画像の画像信号を露光比で増幅するとノイズ成分も増幅されて、長時間露光画像に比べてＳ／Ｎが悪化する。よって、時間差Ｔｒは、画質の劣化が顕著とならないように設定する。また、図１１では、中間電圧を一つのレベルとしたが、中間電圧を複数設けるようにしたり、中間電圧を切り換え可能としてもよい。
【００９７】
このような動作を行えば、長時間露光期間を１ビデオフレーム期間とすることができる。したがって、低照度シーンにおける感度を高めることが可能となり、Ｓ／Ｎの高い高画質な画像を取得することが可能になる。また、高照度シーンにおいては、飽和の少ない画像を取得できる。また、低照度と高照度の混在するコントラストの高いシーンにおいても、低照度部分では高Ｓ／Ｎを維持したまま高照度部分の飽和を回避することができる。さらに、短時間露光の読み出しと長時間露光の読み出しの時刻差を小さくすることにより、偽色、残像の発生を低減することが可能となる。
【００９８】
＜４．第４の実施の形態＞
第４の実施の形態では、短時間露光の蓄積を行うための信号電荷のリセットにおいて、一部の信号電荷の吐き出しのみを行い、短時間露光として例えば長さが異なる３つの短時間露光期間を設けた場合について説明する。なお、第４の実施の形態において、固体撮像素子１０は第１の実施の形態の場合と同様に構成する。また、撮像装置５０の画像信号調整部５１ａでは、合成する４つの画像の画像信号を同期させて合成処理部５２に供給する。なお、各短時間露光において、短時間露光の蓄積を行うための信号電荷のリセットでは同一レベルで信号電荷の吐き出しのみを行う場合について以下の説明を行う。
【００９９】
［第４の実施の形態の動作］
次に、第４の実施の形態の動作について説明する。走査制御部１５は、垂直走査部１２における走査方向のライン選択に、走査順の位置から各露光期間に応じてシフトしたラインの選択を含めることで、水平走査部１４から露光期間ごとの画像信号をライン単位で順番に出力させる。長さの異なる４つの露光期間は、長時間露光期間Ｔｌと３つの短時間露光期間Ｔｓ1〜Ｔｓ3として露光期間の長さ順に設定する。例えば、露光期間の長さは「Ｔｓ3＜Ｔｓ2＜Ｔｓ1，Ｔｆ＞Ｔｒ＋Ｔｓ1＋Ｔｓ2＋Ｔｓ3」とする。また、長時間露光期間Ｔｌは「Ｔｌ＝Ｔｆ」とする。
【０１００】
図１３は、第４の実施の形態の動作を説明するための図である。図１３の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を示している。また、図１３の（Ｂ）は、ライン(ｎ)の画素についての動作、図１３の（Ｃ）は、ライン(ｎ＋１)の画素についての動作、図１３の（Ｄ）は、ライン(ｍ)の画素についての動作を示している。さらに、図１３の（Ｅ）は、ライン(ｋ)の画素についての動作、図１３の（Ｆ）は、ライン(ｓ)の画素についての動作、図１３の（Ｇ）は、画像信号ＤＳを示している。
【０１０１】
例えばライン(ｎ)の画素において、図１３の（Ａ），（Ｂ）に示すように、長時間露光期間Ｔｌで蓄積された信号電荷の読み出しは、時点ｔ30から長時間露光期間Ｔｌが経過した時点ｔ35で行う。短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しは、長時間露光で蓄積された信号電荷の読み出しよりも時間差Ｔｒだけ早い時点ｔ34で行う。また、短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しは、時点ｔ34よりも短時間露光期間Ｔｓ1だけ早い時点ｔ33で行う。短時間露光期間Ｔｓ3で蓄積された信号電荷の読み出しは、時点ｔ33よりも短時間露光期間Ｔｓ2だけ早い時点ｔ32で行う。また、時点ｔ32よりも短時間露光期間Ｔｓ3だけ早い時点ｔ31で信号電荷のリセットを行う。このように、複数の露光期間の設定の順番として、一部の信号電荷の読み出しを行い、その後に全ての信号電荷の読み出しを行う。
【０１０２】
さらに、ライン(ｎ)の画素において、長時間露光期間Ｔｌで蓄積された信号電荷を読み出したあとに、短時間露光期間Ｔｓ1で蓄積された信号電荷が読み出されるラインの画素をライン(ｍ)の画素としてライン(ｍ)の画素から信号電荷を読み出す。また、短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出したあとに、短時間露光期間Ｔｓ2で蓄積された信号電荷が読み出されるラインの画素をライン(ｋ)の画素としてライン(ｋ)の画素から信号電荷を読み出す。また、短時間露光期間Ｔｓ2で蓄積された信号電荷を読み出したあとに、短時間露光期間Ｔｓ3で蓄積された信号電荷が読み出されるラインの画素をライン(ｓ)の画素としてライン(ｓ)の画素から信号電荷を読み出す。また、短時間露光期間Ｔｓ3で蓄積された信号電荷を読み出したあとに、長時間露光期間Ｔｌで蓄積された信号電荷が読み出されるラインの画素をライン(ｎ＋１)の画素としてライン(ｎ＋１)の画素から信号電荷を読み出す。
【０１０３】
このように信号電荷の読み出しを行うと、ライン(ｎ)，ライン(ｍ)，ライン(ｋ)，ライン(ｓ)の各画素については、図１３の（Ｂ）〜（Ｆ）に示すタイミングで信号電荷の読み出しが行われる。したがって、固体撮像素子１０から出力される画像信号ＤＳは、図１３の（Ｇ）に示すように、短時間露光期間Ｔｓ1〜Ｔｓ3，長時間露光期間Ｔｌの順に各露光期間が完了した１ライン分の画像が順次出力された信号となる。また、長時間露光の画像信号と各短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【０１０４】
ここで、ライン(ｍ)，ライン(ｋ)，ライン(ｓ)の画素は、図９，１０を用いた説明のように設定する。図１４は、時点ｔ35におけるライン位置を示している。ライン(ｎ)に対するライン(ｍ)は、「ｍ−ｎ−１」の値が時間差Ｔｒを設定したときの「Ｎ」の値となるように設定する。ライン(ｍ)に対するライン(ｋ)は、「ｋ−ｍ−１」の値が短時間露光期間Ｔｓ1を設定したときの「Ｎ」の値となるように設定する。ライン(ｋ)に対するライン(ｓ)は、「ｓ−ｋ−１」の値が短時間露光期間Ｔｓ2を設定したときの「Ｎ」の値となるように設定する。ライン(ｓ)に対するシャッターライン(ｓｈ)は、「ｓｈ−ｓ−１」の値が短時間露光期間Ｔｓ3を設定したときの「Ｎ」の値となるように設定する。なお、シャッターライン(ｓｈ)は、リセットが行われたラインであり、リセットによって一部の信号電荷の吐き出しが行われる。
【０１０５】
このようにライン(ｎ)，(ｍ)，(ｋ)，(ｓ)，シャッターライン(ｓｈ)を設定すれば、短時間露光期間Ｔｓ1〜Ｔｓ3および長時間露光期間Ｔｌで露光が行われたラインごとの画像信号を図１３の（Ｆ）に示すように、順次出力することができる。
【０１０６】
撮像装置５０の画像信号調整部５１ａは、長さの異なる４つの露光期間を設定して、各露光期間の画像信号を用いてダイナミックレンジの広い画像信号を生成する場合、例えば４つのラインメモリを用いて、４つの画像信号のタイミングを一致させて合成処理部５２に供給させる。
【０１０７】
合成処理部５２は、長さの異なる４つの露光期間の各画像信号をビデオフレームごとに合成して、ダイナミックレンジの広い画像信号を生成する。なお画像信号の合成では、上述のように閾値や露光比を用いて被写体の輝度が高いときには露光期間の短い画像信号、被写体の輝度が低いときには露光期間の長い画像信号を用いるようにする。
【０１０８】
このようにすれば、第３の実施の形態と同様に、長時間露光期間を１ビデオフレーム期間とすることができる。したがって、暗部感度を高めることが可能となり、なお且つ、短時間露光の読み出しと長時間露光の読み出しの時刻差を小さくすることにより、偽色、残像の発生を低減することが可能となる。さらに、ダイナミックレンジの広い画像信号を得ることができる。
【０１０９】
なお、図１３では、短い露光期間から長い露光期間へと短時間露光期間を順に時間方向に設けているが、この順番は適宜入れ替えることが可能である。図１５は、信号電荷のリセットで一部の信号電荷の吐き出しのみを行う場合、長時間露光画像と複数の短時間露光画像の他の読み出し動作を示している。なお、図１５では、露光期間が最も長い短時間露光期間から露光期間順に時間方向に露光期間が最も短い短時間露光期間まで設けた場合を示している。この場合にも、長時間露光期間を１ビデオフレーム期間とすることができるので、暗部感度を高めることが可能となる。また、短時間露光の読み出しと長時間露光の読み出しの時刻差を小さくすることにより、偽色、残像の発生を低減することが可能となる。
【０１１０】
＜５．第５の実施の形態＞
次に、長時間露光と短時間露光の露光期間に時刻差を少なくして、動被写体における偽色や残像の発生を抑制する実施の形態について説明する。
【０１１１】
第５の実施の形態では、短時間露光の画像と長時間露光の画像をそれぞれ異なる掃引操作で読み出す場合、１ビデオフレーム期間内で短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返す。このように、短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返すことで、長時間露光と短時間露光の露光期間における時刻差を少なくする。
【０１１２】
１ビデオフレーム期間内で連続する短時間露光と長時間露光の掃引の組み合わせを複数回繰り返す場合、図３に示す撮像装置の画像信号調整部は、１ビデオフレーム期間内の複数回の長時間露光の画像信号を用いて演算を行い、１ビデオフレーム期間において１つの撮像画像の画像信号を生成する。また、画像信号調整部は、１ビデオフレーム期間内の複数回の短時間露光の画像信号を用いて演算を行い、１ビデオフレーム期間において１つの撮像画像の画像信号を生成する。さらに、画像信号調整部は、演算後の長時間露光の画像信号と短時間露光の画像信号を、タイミングを一致させて合成処理部に出力する。
【０１１３】
図１６は、画像信号調整部の他の構成として、１ビデオフレーム期間内で連続する短時間露光と長時間露光の掃引の組み合わせを例えば２回繰り返すときの構成を示している。画像信号調整部５１ｂは、フレームメモリ５１１-L1，５１１-L2，５１１-S1，５１１-S2、長時間露光信号調整部５１２、短時間露光信号調整部５１３を有している。
【０１１４】
フレームメモリ５１１-L1は、１ビデオフレーム期間内の１回目の長時間露光信号を記憶するメモリである。フレームメモリ５１１-S1は、１ビデオフレーム期間内の１回目の短時間露光信号を記憶するメモリである。また、フレームメモリ５１１-L2は、１ビデオフレーム期間内の２回目の長時間露光信号を記憶するメモリである。フレームメモリ５１１-S2は、１ビデオフレーム期間内の２回目の短時間露光信号を記憶するメモリである。
【０１１５】
長時間露光信号調整部５１２は、フレームメモリ５１１-L1，５１１-L2に記憶されている長時間露光の画像信号から、１ビデオフレーム期間における１つの長時間露光の撮像画像の画像信号を生成する。長時間露光信号調整部５１２は、例えば画素ごとにフレームメモリ５１１-L1に記憶されている長時間露光の画像信号とフレームメモリ５１１-L2に記憶されている長時間露光の画像信号との加算値を算出する。長時間露光信号調整部５１２は、算出した加算値を１ビデオフレーム期間における長時間露光の画像信号とする。
【０１１６】
短時間露光信号調整部５１３は、フレームメモリ５１１-S1，５１１-S2に記憶されている短時間露光の画像信号から、１ビデオフレーム期間における１つの短時間露光の撮像画像の画像信号を生成する。短時間露光信号調整部５１３は、例えば画素ごとにフレームメモリ５１１-S1に記憶されている短時間露光の画像信号とフレームメモリ５１１-S2に記憶されている短時間露光の画像信号との加算値を算出する。短時間露光信号調整部５１３は、算出した加算値を１ビデオフレーム期間における短時間露光の画像信号とする。
【０１１７】
さらに、長時間露光信号調整部５１２と短時間露光信号調整部５１３は、１ビデオフレーム期間における長時間露光の画像信号と短時間露光の画像信号のタイミングを一致させて合成処理部５２に出力する。なお、長時間露光信号調整部５１２と短時間露光信号調整部５１３は加算処理を行うことで、１ビデオフレーム期間における画像信号を算出した。しかし、長時間露光信号調整部５１２は、画素ごとに１ビデオフレーム期間内の長時間露光の画像信号を平均化して１ビデオフレーム期間における長時間露光の画像信号としてもよい。また、短時間露光信号調整部５１３は、画素ごとに１ビデオフレーム期間内の短時間露光の画像信号を平均化して１ビデオフレーム期間における短時間露光の画像信号としてもよい。なお、第５の実施の形態において、固体撮像素子１０は第１の実施の形態の場合と同様に構成する。
【０１１８】
［第５の実施の形態の動作］
次に、第５の実施の形態の動作について説明する。図１７は、第５の実施の形態の動作を示している。
【０１１９】
図１７の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を示している。また、図１７の（Ｂ）は、ライン(ｎ)の画素についての動作、図１７の（Ｃ）は、ライン(ｎ＋１)の画素についての動作、図１７の（Ｄ）は、ライン(ｎ＋２)の画素についての動作、図１７の（Ｅ）は、ライン(ｎ＋３)の画素についての動作、図１７の（Ｆ）は、画像信号を示している。
【０１２０】
第５の実施の形態では、長時間露光と短時間露光のそれぞれの掃引操作を２倍に速めることで、１ビデオフレーム期間Ｔｆ内に短時間露光と長時間露光の掃引の組み合わせを連続して２回行う。この場合、短時間露光と長時間露光の掃引の１回目の組み合わせは、１ビデオフレーム期間Ｔｆの半分の期間Ｔ1で行い、短時間露光と長時間露光の掃引の２回目の組み合わせは、１ビデオフレーム期間Ｔｆの半分の期間Ｔ2で行う。ここで、例えば１回目と２回目の長時間露光期間Ｔｌ1，Ｔｌ2を１ビデオフレーム期間Ｔｆの（１／４）の期間としたとき、長時間露光期間Ｔｌ1で蓄積された信号電荷の読み出しは、時点ｔ40から長時間露光期間Ｔｌ1が経過した時点ｔ41で行う。また、短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しは、時点ｔ40から１ビデオフレーム期間Ｔｆの半分の期間Ｔ1が経過した時点ｔ43で行う。また、短時間露光の蓄積を行うための信号電荷のリセットは、時点ｔ43よりも短時間露光期間Ｔｓ1だけ早い時点ｔ42で行う。
【０１２１】
同様に、長時間露光期間Ｔｌ2で蓄積された信号電荷の読み出しは、時点ｔ43から長時間露光期間Ｔｌ2が経過した時点ｔ44で行う。また、短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しは、時点ｔ43から１ビデオフレーム期間Ｔｆの半分の期間Ｔ2が経過した時点ｔ46で行う。また、短時間露光の蓄積を行うための信号電荷のリセットは、時点ｔ46よりも短時間露光期間Ｔｓ2だけ早い時点ｔ45で行う。
【０１２２】
このようなライン読み出し動作を１ライン目の画素から順次行うと、図１７の（Ｂ）〜（Ｅ）に示すようにライン(ｎ)に続けてライン(ｎ＋１)〜（ｎ＋３）の信号が読み出される。したがって、固体撮像素子からの出力は、図１７の（Ｆ）に示すように、１ビデオフレーム期間Ｔｆで長時間露光と短時間露光のそれぞれ１画面分のデータが交互に２回出力される。
【０１２３】
１ビデオフレーム期間内で１回目に読み出された長時間露光の画像信号はフレームメモリ５１１-L1、短時間露光の画像信号はフレームメモリ５１１-S1にそれぞれ記憶される。また、１ビデオフレーム期間内で２回目に読み出された長時間露光の画像信号はフレームメモリ５１１-L2、短時間露光の画像信号はフレームメモリ５１１-S2にそれぞれ記憶される。
【０１２４】
フレームメモリ５１１-L1，５１１-L2に記憶された長時間露光の画像信号は長時間露光信号調整部５１２に供給されて、１ビデオフレーム期間における１つの長時間露光の撮像画像の画像信号が算出される。またフレームメモリ５１１-S1，５１１-S2に記憶された短時間露光の画像信号は短時間露光信号調整部５１３に供給されて、１ビデオフレーム期間における１つの短時間露光の撮像画像の画像信号が算出される。さらに、長時間露光信号調整部５１２で算出された画像信号と短時間露光信号調整部５１３で算出された画像信号は、タイミングが一致されて合成処理部５２に出力されて、広ダイナミックレンジ画像生成のための処理が行われる。
【０１２５】
このように、１ビデオフレーム期間内で短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返すと、長時間露光と短時間露光の露光期間における時刻差を少なくできることから、動被写体における偽色や残像の発生をさらに抑制することができる。
【０１２６】
例えば、１ビデオフレーム期間内の期間Ｔ1と期間Ｔ2を跨いで被写体が動き、期間Ｔ1では動被写体の画像信号が得られ、期間Ｔ2では背景の画像信号が得られるような画像領域について考える。この場合、従来の方法では、期間Ｔ1で長時間露光、期間Ｔ2で短時間露光が行われることから、長時間露光では動被写体の画像信号、短時間露光では背景の画像信号が得られることになる。このため、カメラ信号処理でデモザイク処理を行うと偽色を生じてしまうおそれがある。しかし、１ビデオフレーム期間内で短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返すことで、長時間露光と短時間露光の露光期間における時刻差を少なくできる。したがって、期間Ｔ1で長時間露光と短時間露光、期間Ｔ2で長時間露光と短時間露光が行われて、長時間露光の画像信号と短時間露光の画像信号がそれぞれを画像信号処理部５１ａで例えば加算あるいは平均化される。このため、期間Ｔ1と期間Ｔ2を跨いで被写体が動きを生じても、それに起因する偽色の発生を軽減できるようになる。なお、第６の実施の形態において、固体撮像素子１０と撮像装置５０の画像信号調整部５１ｂは第５の実施の形態の場合と同様に構成する。
【０１２７】
＜６．第６の実施の形態＞
次に、第１の実施の形態における長時間露光信号の読み出しと短時間露光信号の読み出しの組み合わせを１ビデオフレーム期間内で複数回繰り返すことで、動被写体における偽色や残像の発生をさらに抑制できることを、第６の実施の形態として説明する。
【０１２８】
［第６の実施の形態の動作］
図１８は、第６の実施の形態の動作を説明するための図である。固体撮像素子１０において、長時間露光画像と短時間露光画像の読み出しは、１ラインごとに交互に行うようにする。
【０１２９】
図１８の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を示している。また、図１８の（Ｂ）は、ライン(ｎ)の画素についての動作、図１８の（Ｃ）は、ライン(ｍ)の画素についての動作、図１８の（Ｄ）は、ライン(ｋ)の画素についての動作を示している。さらに、図１８の（Ｅ）は、ライン(ｊ)の画素についての動作、図１８の（Ｆ）は、ライン(ｈ)の画素についての動作、図１８の（Ｇ）は、画像信号ＤＳを示している。なお、図１８の（Ａ）において、破線は高輝度部を示しており、実線は低輝度部を示している。また、Ｑｓａｔは画素の飽和レベルを示している。
【０１３０】
ライン(ｎ)の画素において、図１８の（Ａ），（Ｂ）に示すように、長時間露光で蓄積された信号電荷の読み出しは、時点ｔ50から長時間露光期間Ｔｌ1が経過した時点ｔ51で行う。また、短時間露光期間Ｔｓ1を設定して、短時間露光で蓄積された信号電荷の読み出しは、時点ｔ50である長時間露光の開始から長時間露光期間Ｔｌ1および短時間露光期間Ｔｓ1が経過した時点ｔ52で行う。さらに、時点ｔ52から長時間露光期間Ｔｌ2が経過した時点ｔ53で、長時間露光で蓄積された信号電荷の読み出しを行う。また、短時間露光期間Ｔｓ2を設定して、時点ｔ52である長時間露光の開始から長時間露光期間Ｔｌ2および短時間露光期間Ｔｓ2が経過した時点ｔ54で、短時間露光で蓄積された信号電荷の読み出しを行う。なお、時点ｔ50から時点ｔ54までの期間は、１ビデオフレーム期間Ｔｆとする。時点ｔ50から時点ｔ52までの期間と時点ｔ52から時点ｔ54までの期間は等しくする。
【０１３１】
ここで、ライン(ｎ)の画素において、短時間露光期間Ｔｓ2で蓄積された信号電荷を読み出したあとに、長時間露光期間Ｔｌ2で蓄積された信号電荷が読み出されるラインの画素をライン(ｋ)の画素とする。さらに、ライン(ｋ)の画素における長時間露光の信号電荷の読み出し後に、短時間露光期間Ｔｓ1で蓄積された信号電荷が読み出されるラインの画素をライン(ｊ)の画素とする。また、ライン(ｊ)の画素における短時間露光の信号電荷の読み出し後に、長時間露光期間Ｔｌ1で蓄積された信号電荷が読み出されるラインの画素をライン(ｈ)の画素とする。このように信号電荷の読み出しを行うと、ライン(ｎ)，ライン(ｋ)，ライン(ｊ)，ライン(ｈ)の各画素については、図１８の（Ｂ）〜（Ｆ）に示すタイミングで信号電荷の読み出しが行われる。
【０１３２】
このように、ライン(ｎ)の画素において、短時間露光期間Ｔｓ2で蓄積された信号電荷を読み出したあと、ライン(ｍ)の画素において短時間露光期間Ｔｓ2で蓄積された信号電荷を読み出す前に、走査順の位置からシフトしたライン(ｋ)（ｊ）（ｈ）の選択を含める。すなわち、走査順の位置からシフトしたラインの選択を含めることで、長時間露光期間Ｔｌ1，Ｔｌ2で蓄積された信号電荷、および短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出すことができる。したがって、固体撮像素子１０から出力される画像信号ＤＳは、図１８の（Ｇ）に示すように、１回目と２回目の長時間露光が完了した１ライン分の画像信号と１回目と２回目の短時間露光が完了した１ライン分の画像信号が交互に出力された信号となる。また、長時間露光の画像信号と短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【０１３３】
図１９は、時点ｔ54におけるライン位置を示している。時点ｔ54では、ライン(ｎ)の画素が選択されて短時間露光の信号電荷の読み出しが行われる。また、時点ｔ54において、露光期間に応じてシフトした位置をライン(ｍ)（ｋ）（ｊ）（ｈ）を設定すれば、ライン(ｎ)で２回目の短時間露光の信号電荷の読み出しが行われた次に、２回目の長時間露光の信号電荷、１回目の短時間露光の信号電荷、１回目の長時間露光の信号電荷の読み出しを行うことができる。また、信号電荷の読み出し動作が、次の露光開始におけるリセット動作を兼ねるようになる。
【０１３４】
このように信号電荷の読み出しを行うと、短時間露光の画像と長時間露光の画像との時間差を、第１の実施の形態に比べて少なくできる。また、第６の実施の形態では、１ビデオフレーム期間における長時間露光の終了が時点ｔ53となり、第１の実施の形態よりも遅くなるため、第６の実施の形態では、第１の実施の形態に比べて長い期間の画像平均が得られる。したがって、第６の実施の形態では、第１の実施の形態に比べて偽色の発生をさらに抑制できる。また、第６の実施の形態では、短時間露光期間以外は全て長時間露光の期間に充てられるので、第５の実施の形態よりも暗部感度の劣化を防ぐことが可能となる。
【０１３５】
＜７．第７の実施の形態＞
ところで、上述の第５の実施の形態および第６の実施の形態では、１ビデオフレーム期間内で短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返すことで、長時間露光の画像と短時間露光の画像との時刻差を少なくしている。しかし、時間差を少なくする方法は、第５の実施の形態および第６の実施の形態に限られない。すなわち、長時間露光と短時間露光を含めたトータルの露光期間を短くすれば、長時間露光の画像と短時間露光の画像との時刻差をさらに短くできる。また、この時間差を少なくすることで動きぼけを抑制することが可能となる。
【０１３６】
第７の実施の形態では、長時間露光と短時間露光との間に無効期間を設けることなく、１ビデオフレーム期間内で短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返す。また、垂直走査方向のライン選択において、蓄積された信号電荷の吐き出しを行うラインを設定することで、すなわちシャッター動作を設けることで、長時間露光と短時間露光を含めたトータルの露光期間を短くする。なお、第７の実施の形態において、固体撮像素子１０と撮像装置５０の画像信号調整部５１ｂは第５の実施の形態の場合と同様に構成する。
【０１３７】
［第７の実施の形態の動作］
図２０は、第７の実施の形態の動作を説明するための図である。固体撮像素子１０において、長時間露光画像と短時間露光画像の読み出しは、１ラインごとに交互に行うようにする。
【０１３８】
図２０の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を示している。また、図２０の（Ｂ）は、ライン(ｎ)の画素についての動作、図２０の（Ｃ）は、ライン(ｍ)の画素についての動作、図２０の（Ｄ）は、ライン(ｋ)の画素についての動作を示している。さらに、図２０の（Ｅ）（Ｆ）（Ｇ）は、ライン(ｊ)(ｈ)(ｇ)の画素についての動作、図２０の（Ｈ）は、画像信号ＤＳを示している。なお、図２０の（Ａ）において、破線は高輝度部を示しており、実線は低輝度部を示している。また、Ｑｓａｔは画素の飽和レベルを示している。
【０１３９】
ライン(ｎ)の画素において、図２０の（Ａ）に示すように、時点ｔ60から期間Ｔｕが経過した時点ｔ61でシャッター動作を行い、長時間露光で蓄積された信号電荷の読み出しは、時点ｔ61から長時間露光期間Ｔｌ1が経過した時点ｔ62で行う。また、時点ｔ62に続けて短時間露光期間Ｔｓ1を設定して、短時間露光で蓄積された信号電荷の読み出しは、時点ｔ62から短時間露光期間Ｔｓ1が経過した時点ｔ63で行う。さらに、時点ｔ63に続けて長時間露光期間Ｔｌ2を設定して、２回目の長時間露光で蓄積された信号電荷の読み出しは、時点ｔ63から長時間露光期間Ｔｌ2が経過した時点ｔ64で行う。また、時点ｔ64に続けて短時間露光期間Ｔｓ2を設定して、２回目の短時間露光で蓄積された信号電荷の読み出しは、時点ｔ64から短時間露光期間Ｔｓ2が経過した時点ｔ65で行う。
【０１４０】
ここで、ライン(ｍ)の画素において、短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出したあとに、長時間露光期間Ｔｌ1で蓄積された信号電荷が読み出されるラインの画素をライン(ｊ)の画素とする。さらに、ライン(ｊ)の画素における長時間露光の信号電荷の読み出し後に、短時間露光期間Ｔｓ2で蓄積された信号電荷が読み出されるラインの画素をライン(ｈ)の画素とする。また、ライン(ｈ)の画素における短時間露光の信号電荷の読み出し後に、長時間露光期間Ｔｌ2で蓄積された信号電荷が読み出されるラインの画素をライン(ｇ)の画素とする。このように信号電荷の読み出しを行うと、ライン(ｋ)，ライン(ｊ)，ライン(ｈ)，ライン(ｇ)の各画素については、図２０の（Ｃ）〜（Ｇ）に示すタイミングで信号電荷の読み出しが行われる。
【０１４１】
このように、ライン(ｍ)の画素において、短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出したあと、ライン(ｋ)の画素において短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出す前に、走査順の位置からシフトしたライン(ｊ)，(ｈ)，(ｇ)の選択を含める。すなわち、走査順の位置からシフトしたラインの選択を含めることで、長時間露光期間Ｔｌ1で蓄積された信号電荷、短時間露光期間Ｔｓ2で蓄積された信号電荷、長時間露光期間Ｔｌ2で蓄積された信号電荷を読み出すことができる。したがって、固体撮像素子１０から出力される画像信号ＤＳは、図２０の（Ｈ）に示すように、１回目と２回目の長時間露光が完了した１ライン分の画像信号と１回目と２回目の短時間露光が完了した１ライン分の画像信号が交互に出力された信号となる。また、長時間露光の画像信号と短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【０１４２】
図２１は、時点ｔ66におけるライン位置を示している。時点ｔ66では、ライン(ｍ)の画素が選択されて短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しが行われる。また、図２１では、ライン(ｍ)での画素における信号電荷の読み出しの次に長時間露光期間Ｔｌ1で蓄積された信号電荷の読み出しが行われるライン(ｊ)の画素を示している。また、図２１では、ライン(ｊ)の画素における信号電荷の読み出しの次に短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しが行われるライン(ｈ)の画素を示している。さらに、図２１では、ライン(ｈ)の画素における信号電荷の読み出しの次に長時間露光期間Ｔｌ2蓄積された信号電荷の読み出しが行われるライン(ｇ)の画素を示している。
【０１４３】
ライン(ｊ)，ライン(ｈ)，ライン(ｇ)の画素は、短時間露光期間Ｔｓ1，Ｔ2および長時間露光期間Ｔｌ1，Ｔｌ2に応じて設定すれば、図２１の（Ｈ）に示すように、短時間露光期間Ｔｓ1，Ｔ2および長時間露光期間Ｔｌ1，Ｔｌ2の画像信号をラインごとに順次出力することができる。さらに、長時間露光と短時間露光の間に無効期間を設けることなく信号電荷の読み出しを行うときに、長時間露光期間および／または短時間露光期間を短くすることで、短時間露光の画像と長時間露光の画像との時間差をさらに少なくできる。このため、偽色の発生レベルをさらに抑制できる。
【０１４４】
なお、シャッター動作を設けることにより長時間露光期間を短くすると暗部感度が低下することになるが、これは、通常のカメラのシャッター動作と露光期間の間の関係と同様であり、動きぼけの回避と感度のトレードオフで適切な設定が選択されれば良い。また、第７の実施の形態では、長時間露光を先に行い、長時間露光の開始時にシャッター動作を設けた例を示したが、短時間露光を先に行い短時間露光の開始時にシャッター動作を行うようにしても良い。
【０１４５】
＜８．第８の実施の形態＞
次に、短時間露光の蓄積を行うための信号電荷のリセットにおいて、単位画素に中間電圧を与えて一部の信号電荷の吐き出しのみを行う場合、露光期間を１ビデオフレーム期間よりも短くして、短時間露光の画像と長時間露光の画像との時間差を少なくする第８の実施の形態について説明する。なお、第８の実施の形態において、固体撮像素子１０と撮像装置５０の画像信号調整部５１ｂは第５の実施の形態の場合と同様に構成する。
【０１４６】
［第８の実施の形態の動作］
信号電荷の読み出しは、第３の実施の形態と同様に、走査方向のライン選択に、走査順の位置からシフトしたラインの選択を含めることで、長時間露光が完了した１ライン分の画素と短時間露光が完了した１ライン分の画素の読み出しを交互に行う。
【０１４７】
図２２は、第８の実施の形態の動作を説明するための図である。図２２の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を、低輝度部と高輝度部について示している。また、図２２の（Ｂ）は、ライン(ｎ)の画素についての動作、図２２の（Ｃ）は、ライン(ｎ＋１)の画素についての動作、図２２の（Ｄ）は、ライン(ｓ)の画素についての動作を示している。さらに、図２２の（Ｅ）は、ライン(ｓ＋１)の画素についての動作、図２２の（Ｆ）は、画像信号ＤＳを示している。なお、図２２の（Ａ）において、破線は高輝度部を示しており、実線は低輝度部を示している。また、Ｑｓａｔは画素の飽和レベルを示しており、Ｑｍｉｄは、画素の飽和レベルＱｓａｔと中間電圧との差を示している。
【０１４８】
例えばライン(ｎ)の画素において、図２２の（Ａ），（Ｂ）に示すように、時点ｔ70から期間Ｔｕ0が経過した時点ｔ71でシャッター動作を行い、長時間露光で蓄積された信号電荷の読み出しは、時点ｔ71から長時間露光期間Ｔｌ1が経過した時点ｔ72で行う。また、短時間露光期間Ｔｓと時間差Ｔｒを設定して、短時間露光で蓄積された信号電荷の読み出しは、長時間露光で蓄積された信号電荷の読み出しよりも時間差Ｔｒだけ早い時点ｔ73で読行う。したがって、短時間露光の蓄積を行うための信号電荷のリセットは、時点ｔ73よりも短時間露光期間Ｔｓだけ早い時点ｔ72（時点ｔ71から期間Ｔｕ1が経過した時点）で行う。このように、複数の露光期間の設定の順番として、一部の信号電荷の読み出しを行い、その後に全ての信号電荷の読み出しを行う。
【０１４９】
さらに、ライン(ｎ)の画素において、長時間露光の信号電荷を読み出したあとに、短時間露光の信号電荷が読み出されるラインの画素をライン(ｓ)の画素とする。さらに、ライン(ｓ)の画素における短時間露光の信号電荷の読み出し後に、ライン(ｎ＋１)の画素における長時間露光の信号電荷の読み出しを行う。また、ライン(ｎ＋１)の画素における長時間露光の信号電荷の読み出し後に、ライン(ｓ＋１)の画素における短時間露光の信号電荷の読み出しを行う。このように信号電荷の読み出しを行うと、ライン(ｎ)，ライン(ｎ＋１)，ライン(ｓ)，ライン(ｓ＋１)の各画素については、図２２の（Ｂ）〜（Ｅ）に示すタイミングで信号電荷の読み出しが行われる。
【０１５０】
したがって、固体撮像素子１０からの画像信号ＤＳは、図２２の（Ｆ）に示すように、長時間露光が完了した１ライン分の画像と短時間露光が完了した１ライン分の画像が交互に読み出される。また、長時間露光の画像信号と短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【０１５１】
このように信号電荷の読み出しを行うと、短時間露光の画像と長時間露光の画像との時間差をさらに少なくできる。
【０１５２】
図２３は、時点ｔ74におけるライン位置を示している。時点ｔ74では、ライン(ｎ)の画素が選択されて長時間露光で蓄積された信号電荷の読み出しが行われる。また、図２３では、ライン(ｎ)の画素における信号電荷の読み出しの次に短時間露光で蓄積された信号電荷の読み出しが行われるライン(ｓ)の画素と、リセットが行われたタイミングに対応する行をシャッターライン(ｓｈ0)（ｓｈ1）として示している。
【０１５３】
このように、露光期間を１ビデオフレーム期間よりも短くすれば、短時間露光の画像と長時間露光の画像との時間差をさらに少なくできる。したがって、露光期間が１ビデオフレーム期間とされている場合に比べて、偽色や残像現象の発生を少なくできる。
【０１５４】
＜９．第９の実施の形態＞
さらに、第８の実施の形態に示す信号電荷の読出動作を１フレーム期間内で複数回連続して行えば、第８の実施の形態よりも短時間露光の画像と長時間露光の画像との時間差をさらに少なくできる。第９の実施の形態では、第８の実施の形態に示す信号電荷の読出動作を１フレーム期間に連続して２回行う場合を示している。なお、第９の実施の形態において、固体撮像素子１０と撮像装置５０の画像信号調整部５１ｂは第５の実施の形態の場合と同様に構成する。
【０１５５】
［第９の実施の形態の動作］
信号電荷の読み出しは、第８の実施の形態と同様に、走査方向のライン選択に、走査順の位置からシフトしたラインの選択を含めることで、長時間露光が完了した１ライン分の画素と短時間露光が完了した１ライン分の画素の読み出しを交互に行う。
【０１５６】
図２４は、第９の実施の形態の動作を説明するための図である。図２４の（Ａ）は、ライン(ｎ)の画素において、フォトダイオードに蓄積されている信号電荷の時間変化を、低輝度部と高輝度部について示している。また、図２４の（Ｂ）は、ライン(ｎ)の画素についての動作、図２４の（Ｃ）は、ライン(ｍ)の画素についての動作、図２４の（Ｄ）は、ライン(ｋ)の画素についての動作を示している。さらに、図２４の（Ｅ），（Ｆ）は、ライン(ｊ)（ｈ）の画素についての動作、図２４の（Ｇ）は、画像信号ＤＳを示している。なお、図２４の（Ａ）において、破線は高輝度部を示しており、実線は低輝度部を示している。また、Ｑｓａｔは画素の飽和レベルを示しており、Ｑｍｉｄは、画素の飽和レベルＱｓａｔと中間電圧との差を示している。
【０１５７】
例えばライン(ｎ)の画素において、図２４の（Ａ），（Ｂ）に示すように、時点ｔ80から期間Ｔｕ0が経過した時点ｔ81でシャッター動作を行い、長時間露光で蓄積された信号電荷の読み出しは、時点ｔ81から長時間露光期間Ｔｌ1が経過した時点ｔ84で行う。短時間露光期間Ｔｓ1と時間差Ｔｒを設定して、短時間露光で蓄積された信号電荷の読み出しは、長時間露光で蓄積された信号電荷の読み出しよりも時間差Ｔｒだけ早い時点ｔ83で行う。したがって、短時間露光の蓄積を行うための信号電荷のリセットは、時点ｔ83よりも短時間露光期間Ｔｓ1だけ早い時点ｔ82（時点ｔ81から期間Ｔｕ1が経過した時点）で行う。
【０１５８】
次に、２回目の長時間露光で蓄積された信号電荷の読み出しは、時点ｔ84から長時間露光期間Ｔｌ2が経過した時点ｔ87で行う。また、短時間露光期間Ｔｓ2を設定して、２回目の短時間露光で蓄積された信号電荷の読み出しは、長時間露光で蓄積された信号電荷の読み出しよりも時間差Ｔｒだけ早い時点ｔ86で行う。したがって、短時間露光の蓄積を行うための信号電荷のリセットは、時点ｔ86よりも短時間露光期間Ｔｓ2だけ早い時点ｔ85（時点ｔ84から期間Ｔｕ1が経過した時点）で行う。このように、複数の露光期間の設定順序番として、一部の信号電荷の読み出しを行い、その後に全ての信号電荷の読み出しを行う。
【０１５９】
さらに、ライン(ｍ)の画素において、短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出したあとに、長時間露光期間Ｔｌ2で蓄積された信号電荷が読み出されるラインの画素をライン(ｊ)の画素とする。また、ライン(ｊ)の画素における長時間露光の信号電荷の読み出し後に、短時間露光期間Ｔｓ2で蓄積された信号電荷の読み出しを行うラインの画素をライン(ｈ)の画素とする。さらに。短時間露光期間Ｔｓ2の信号電荷を読み出したあとに、長時間露光期間Ｔｌ1で蓄積された信号電荷が読み出されるラインの画素をライン(ｍ)の画素とする。このように信号電荷の読み出しを行うと、ライン(ｍ)，ライン(ｊ)，ライン(ｈ)の各画素については、図２４の（Ｃ）〜（Ｆ）に示すタイミングで信号電荷の読み出しが行われる。
【０１６０】
このように、ライン(ｍ)の画素において、短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出したあと、ライン(ｋ)の画素において短時間露光期間Ｔｓ1で蓄積された信号電荷を読み出す前に、走査順の位置からシフトしたライン(ｊ)，(ｈ)，(ｍ)の選択を含める。すなわち、走査順の位置からシフトしたラインの選択を含めることで、長時間露光期間Ｔｌ1で蓄積された信号電荷、短時間露光期間Ｔｓ2で蓄積された信号電荷、長時間露光期間Ｔｌ2で蓄積された信号電荷を読み出すことができる。したがって、固体撮像素子１０から出力される画像信号ＤＳは、図２４の（Ｇ）に示すように、１回目と２回目の長時間露光が完了した１ライン分の画像信号と１回目と２回目の短時間露光が完了した１ライン分の画像信号が交互に出力された信号となる。また、長時間露光の画像信号と短時間露光の画像信号は、それぞれ垂直走査方向の順序にライン単位で出力される。
【０１６１】
図２５は、時点ｔ88におけるライン位置を示している。時点ｔ88では、ライン(ｍ)の画素が選択されて短時間露光期間Ｔｓ1で蓄積された信号電荷の読み出しが行われる。また、図２５では、ライン(ｍ)の画素における信号電荷の読み出しのあとに信号電荷の読み出しが行われるライン(ｋ)（ｊ）の画素と、リセットが行われたタイミングに対応する行をシャッターライン(ｓｈ0)(ｓｈ1)として示している。
【０１６２】
このように、短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返すことで、短時間露光の画像と長時間露光の画像との時間差をさらに少なくできる。したがって、第８の実施の形態に比べて、偽色や残像現象の発生を抑制できる。
【０１６３】
＜１０．第１０の実施の形態＞
さらに、上述の実施の形態のいずれか１つを用いて撮像動作を行う場合に限らず、複数の実施の形態を組み合わせて行うようにしてもよい。例えば、被写体の明るさを検出して、被写体が暗いときは、第６の実施の形態の動作を行う。また、被写体が明るいときには、第７の実施の形態のように、１回目の長時間露光の前に期間Ｔｕ0を設けて露光期間を調整するようにしてもよい。また、被写体の明るさに応じて、期間Ｔｕ0や長時間露光期間Ｔｌ1，Ｔｌ2、短時間露光期間Ｔｓ1，Ｔｓ2の長さを調整するようにしてもよい。ここで、被写体が明るくなるに伴い、期間Ｔｕ0を長くすれば、長時間露光の画像と短時間露光の画像との時間差を少なくできる。したがって、被写体が明るいとき、長時間露光の画像と短時間露光の画像との時間差が少なくなり動きぼけを軽減できる。
【０１６４】
また、被写体が明るくなるに伴い、長時間露光期間Ｔｌ1，Ｔｌ2を短くしてもよい。長時間露光期間は、被写体が暗くても適正な明るさの撮像画像を生成できるように設けた期間である。したがって、被写体が明るいときは、長時間露光期間を短くしても被写体が適正な明るさとされた撮像画像を得ることができる。また、被写体が非常に明るいときは、短時間露光期間Ｔｓ1，Ｔｓ2も短くしてもよい。短時間露光期間は、被写体が明るくても適正な明るさの撮像画像を生成するために設けた期間である。したがって、被写体が非常に明るいときは、短時間露光期間を短くすれば、被写体が適正な明るさとされた撮像画像を得ることができるようになる。また、長時間露光期間および／または短時間露光期間を短くすることで長時間露光の画像と短時間露光の画像との時間差が少なくなることから動きぼけを軽減できる。
【０１６５】
なお、被写体の明るさの検出は、例えば固体撮像素子１０から出力された画像信号を処理して撮像画像の輝度レベルを検出すればよい。また、撮像装置に被写体の明るさを検出するセンサを設けて、センサからの検出信号に基づき撮像動作を制御するようにしてもよい。
【０１６６】
以上のように、垂直走査方向のライン選択において、走査順に選択されるライン間に、選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、露光期間が異なる画像の画像信号をライン単位で順番に出力させる。このようにすれば、長時間露光の画像と短期間露光の画像との時間差を少なくすることが可能となり、偽色や残像の発生が抑制されたダイナミックレンジの広い画像信号を簡単な構成で容易に生成することができる。また、１ビデオフレーム期間内で短時間露光と長時間露光の掃引の組み合わせを連続して複数回繰り返したり、長時間露光期間および／または短時間露光期間を短くすることで、長時間露光と短時間露光の露光期間における時刻差をさらに少なくできる。したがって、偽色や残像の発生をさらに抑制することができる。
【０１６７】
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、１ビデオフレーム期間における長時間露光と短時間露光を、３回以上設けるようにしてもよい。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１６８】
この発明の固体撮像素子と駆動方法および撮像装置では、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に２次元配置された画素アレイ部において、信号電荷の読み出しを行う単位画素がラインごとに選択されて、各単位画素から読み出された信号電荷に応じた画素信号が、画素アレイ部の各列に対して単一に配された信号処理部で生成される。さらに、信号処理部で生成された画素信号がライン単位の画像信号として出力される。また、垂直走査方向のライン選択において、走査順に選択されるライン間に、該選択されるラインの露光期間とは異なる露光期間のラインの選択を行い、水平走査部から露光期間が異なる画像の画像信号がライン単位で順番に出力される。
【０１６９】
このため、例えば長時間露光期間と短期間露光期間を設けたとき、一方の露光期間の画像読み出しが完了する前に、他方の露光期間の画像読み出しを行うことができるので、長時間露光の画像と短期間露光の画像との時間差を少なくすることが可能となり、偽色や残像の発生が抑制されたダイナミックレンジの広い画像信号を簡単な構成で容易に生成することができる。したがって、例えば監視用途などのように、広ダイナミックレンジが要求される撮像装置等に好適である。
【符号の説明】
【０１７０】
１０・・・固体撮像素子、１１・・・画素アレイ部、１２・・・垂直走査部、１３・・・カラム信号処理部、１４・・・水平走査部、１５・・・走査制御部、２０・・・単位画素、２１・・・フォトダイオード、２２・・・転送トランジスタ、２３・・・リセットトランジスタ、２４・・・増幅トランジスタ、２５・・・選択トランジスタ、２６・・・ＦＤ部、５０・・・撮像装置、５１ａ，５１ｂ・・・画像信号調整部、５２・・・合成処理部、５３・・・カメラ信号処理部、５４・・・制御部、１１１・・・垂直信号線、１１２・・・転送制御線、１１３・・・リセット制御線、１１４・・・選択制御線、１２１・・・ライン選択回路、１２２・・・ドライバ回路、１４１・・・カラム選択回路、１４２・・・信号読み出し回路、５１１ａ，５１１ｂ・・・ラインメモリ、５１１-L1，５１１-L2，５１１-S1，５１１-S2・・・フレームメモリ、５１２・・・長時間露光信号調整部、５１３・・・短時間露光信号調整部
【図１】
2010279016.tif 000003
【図２】
2010279016.tif 000004
【図３】
2010279016.tif 000005
【図４】
2010279016.tif 000006
【図５】
2010279016.tif 000007
【図６】
2010279016.tif 000008
【図７】
2010279016.tif 000009
【図８】
2010279016.tif 000010
【図９】
2010279016.tif 000011
【図１０】
2010279016.tif 000012
【図１１】
2010279016.tif 000013
【図１２】
2010279016.tif 000014
【図１３】
2010279016.tif 000015
【図１４】
2010279016.tif 000016
【図１５】
2010279016.tif 000017
【図１６】
2010279016.tif 000018
【図１７】
2010279016.tif 000019
【図１８】
2010279016.tif 000020
【図１９】
2010279016.tif 000021
【図２０】
2010279016.tif 000022
【図２１】
2010279016.tif 000023
【図２２】
2010279016.tif 000024
【図２３】
2010279016.tif 000025
【図２４】
2010279016.tif 000026
【図２５】
2010279016.tif 000027
【図２６】
2010279016.tif 000028
【図２７】
2010279016.tif 000029