(57)【特許請求の範囲】
【請求項１】
第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の前記画素ごとに、前記長蓄画素に蓄積された電荷が飽和していない場合、前記長蓄画素の画素値をダイナミックレンジが拡大された画素値とし、前記長蓄画素に蓄積された電荷が飽和している場合、前記第１の露光時間に対する前記第２の露光時間の割合を乗算した前記短蓄画素の画素値を前記ダイナミックレンジが拡大された画素値とすることにより、前記画素の画素値のダイナミックレンジを拡大する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部により前記ダイナミックレンジが拡大された画素値を積算した積算値を画素数で除算して得られる平均値を、照度値として生成して出力する積算部と
を備える固体撮像素子。
【請求項２】
前記短蓄画素に蓄積された前記電荷のアナログ信号に対してA/D変換処理を行い、その電荷に対応するデジタル値である画素値を生成する短蓄変換部と、
前記長蓄画素に蓄積された前記電荷のアナログ信号に対してA/D変換処理を行い、その電荷に対応するデジタル値である画素値を生成する長蓄変換部と
をさらに備え、
前記広ダイナミックレンジ化部は、前記画素ごとに、前記短蓄変換部により生成された前記画素値と前記長蓄変換部により生成された前記画素値とに基づいて、前記画素値のダイナミックレンジを拡大する
ように構成された
請求項１に記載の固体撮像素子。
【請求項３】
前記短蓄画素に蓄積された前記電荷のアナログ信号と前記長蓄画素に蓄積された前記電荷のアナログ信号に対してA/D変換処理を行い、その電荷に対応する画素値を生成する変換部と、
前記変換部により生成された前記短蓄画素の画素値と前記長蓄画素の画素値の一方を記憶する記憶部と
をさらに備え、
前記広ダイナミックレンジ化部は、前記画素ごとに、前記変換部により変換され、前記記憶部に記憶されない前記画素値と、前記記憶部により記憶された前記画素値とに基づいて、前記画素値のダイナミックレンジを拡大する
ように構成された
請求項１に記載の固体撮像素子。
【請求項４】
前記積算部により生成された前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記第１の露光時間および前記第２の露光時間のペアを、所定のペアの倍数から選択する選択部
をさらに備え、
前記短蓄画素は、前記選択部により選択された前記ペアの前記第１の露光時間に入射された光の量に応じた電荷を蓄積し、
前記長蓄画素は、前記選択部により選択された前記ペアの前記第２の露光時間に入射された光の量に応じた電荷を蓄積する
ように構成された
請求項１に記載の固体撮像素子。
【請求項５】
前記短蓄画素と前記長蓄画素は、行単位で規則的に配列される
ように構成された
請求項１に記載の固体撮像素子。
【請求項６】
前記短蓄画素と前記長蓄画素は、それぞれ、Ｌ字型の画素群として規則的に配列される
ように構成された
請求項１に記載の固体撮像素子。
【請求項７】
第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の前記画素ごとに、前記長蓄画素に蓄積された電荷が飽和していない場合、前記長蓄画素の画素値をダイナミックレンジが拡大された画素値とし、前記長蓄画素に蓄積された電荷が飽和している場合、前記第１の露光時間に対する前記第２の露光時間の割合を乗算した前記短蓄画素の画素値を前記ダイナミックレンジが拡大された画素値とすることにより、前記画素の画素値のダイナミックレンジを拡大する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部により前記ダイナミックレンジが拡大された画素値を積算した積算値を画素数で除算して得られる平均値を、照度値として生成して出力する積算部と
を備える電子機器。
【請求項８】
第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の、全ての前記短蓄画素の画素値に第１のゲインを乗算した乗算値か、または、全ての前記長蓄画素の画素値に第２のゲインを乗算した乗算値を生成する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部によりダイナミックレンジが拡大された前記乗算値に対して、前記第１の露光時間と前記第２の露光時間のペアに対応する第３のゲインを乗算した値を照度値として生成して出力する乗算部と、
前記乗算部により生成された前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記ペアを、所定のペアの倍数から選択する選択部と
を備える固体撮像素子。
【請求項９】
前選択部は、前記照度値が閾値以上である場合、倍率の小さい前記所定のペアの倍数を選択し、前記照度値が前記閾値より小さい場合、倍率の大きい前記所定のペアの倍数を選択する
ように構成された
請求項８に記載の固体撮像素子。
【請求項１０】
前記選択部は、前記倍率の小さい所定のペアの倍数が選択されている場合の前記閾値を、前記倍率の大きい所定のペアの倍数が選択されている場合の前記閾値に比べて小さくする
ように構成された
請求項９に記載の固体撮像素子。
【請求項１１】
前記短蓄画素と前記長蓄画素は、行単位で規則的に配列される
ように構成された
請求項８に記載の固体撮像素子。
【請求項１２】
前記短蓄画素と前記長蓄画素は、それぞれ、Ｌ字型の画素群として規則的に配列される
ように構成された
請求項８に記載の固体撮像素子。
【請求項１３】
第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の、全ての前記短蓄画素の画素値に第１のゲインを乗算した乗算値か、または、全ての前記長蓄画素の画素値に第２のゲインを乗算した乗算値を生成する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部によりダイナミックレンジが拡大された前記乗算値に対して、前記第１の露光時間と前記第２の露光時間のペアに対応する第３のゲインを乗算した値を照度値として生成して出力する乗算部と、
前記乗算部により生成された前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記ペアを、所定のペアの倍数から選択する選択部と
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、固体撮像素子および電子機器に関し、特に、照度値のリニアリティを改善することができるようにした固体撮像素子および電子機器に関する。
【背景技術】
【０００２】
一般的に、イメージセンサの出力数とADC(Analog Digital Converter)分解能は、それぞれ、数Mから数10M出力，10ビットである。これに対して、照度計の出力数とADC分解能は、それぞれ、1出力，16ビットである。従って、イメージセンサを照度計に用いる場合、出力値の加算と広ダイナミックレンジ化が必要となる(例えば、特許文献１参照)。【０００３】
従って、照度計に用いられるイメージセンサ（以下、照度用イメージセンサという）では、一般的に、１フレームあたり複数回露光が行われる。【０００４】
具体的には、照度用イメージセンサは、まず、比較的長い露光時間で撮像を行い、得られた長蓄画像の各画素値を積算して長蓄値を生成する。その後、照度用イメージセンサは、比較的短い露光時間で撮像を行い、得られた短蓄画像の各画素値を積算して短蓄値を生成する。そして、照度用イメージセンサは、短蓄画像の露光時間に対する長蓄画像の露光時間の割合をゲインとして短蓄値に乗算する。照度用イメージセンサは、長蓄画像の撮像時の全画素における蓄積電荷の飽和の有無に基づいて、ゲイン乗算後の短蓄値または長蓄値を照度値として選択する。これにより、照度値のダイナミックレンジが拡大する。【０００５】
しかしながら、長蓄画像の撮像時に一部の画素においてのみ蓄積電荷が飽和している場合、長蓄値が照度値として選択されるため、照度値のリニアリティが劣化する。また、短蓄値にはゲインが乗算されるので、画素値にA/D変換等によるノイズが発生する場合、ゲイン乗算後の短蓄値のノイズが長蓄値に比べて大きくなり、長蓄値からゲイン乗算後の短蓄値への切り替え時、照度値のリニアリティが劣化する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２２１６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように、照度用イメージセンサでは、照度値のリニアリティが劣化する場合があった。【０００８】
本開示は、このような状況に鑑みてなされたものであり、照度値のリニアリティを改善することができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の固体撮像素子は、第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の前記画素ごとに、前記長蓄画素に蓄積された電荷が飽和していない場合、前記長蓄画素の画素値をダイナミックレンジが拡大された画素値とし、前記長蓄画素に蓄積された電荷が飽和している場合、前記第１の露光時間に対する前記第２の露光時間の割合を乗算した前記短蓄画素の画素値を前記ダイナミックレンジが拡大された画素値とすることにより、前記画素の画素値のダイナミックレンジを拡大する広ダイナミックレンジ化部と、前記広ダイナミックレンジ化部により前記ダイナミックレンジが拡大された画素値を積算した積算値を画素数で除算して得られる平均値を、照度値として生成して出力する積算部とを備える固体撮像素子である。
【００１０】
本開示の第１の側面の電子機器は、本開示の第１の側面の固体撮像素子に対応する。【００１１】
本開示の第１の側面においては、第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の前記画素ごとに、前記長蓄画素に蓄積された電荷が飽和していない場合、前記長蓄画素の画素値がダイナミックレンジが拡大された画素値とされ、前記長蓄画素に蓄積された電荷が飽和している場合、前記第１の露光時間に対する前記第２の露光時間の割合を乗算した前記短蓄画素の画素値が前記ダイナミックレンジが拡大された画素値とされることにより、前記画素の画素値のダイナミックレンジが拡大され、前記ダイナミックレンジが拡大された画素値を積算した積算値を画素数で除算して得られる平均値が、照度値として生成して出力される。
【００１２】
本開示の第２の側面の固体撮像素子は、第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の、全ての前記短蓄画素の画素値に第１のゲインを乗算した乗算値か、または、全ての前記長蓄画素の画素値に第２のゲインを乗算した乗算値を生成する広ダイナミックレンジ化部と、前記広ダイナミックレンジ化部によりダイナミックレンジが拡大された前記乗算値に対して、前記第１の露光時間と前記第２の露光時間のペアに対応する第３のゲインを乗算した値を照度値として生成して出力する乗算部と、前記乗算部により生成された前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記ペアを、所定のペアの倍数から選択する選択部とを備える固体撮像素子である。
【００１３】
本開示の第２の側面の電子機器は、本開示の第２の側面の固体撮像素子に対応する。【００１４】
本開示の第２の側面においては、第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とを含む露光時間の異なる複数の画素の、全ての前記短蓄画素の画素値に第１のゲインを乗算した乗算値か、または、全ての前記長蓄画素の画素値に第２のゲインを乗算した乗算値が生成され、ダイナミックレンジが拡大された前記乗算値に対して、前記第１の露光時間と前記第２の露光時間のペアに対応する第３のゲインを乗算した値が照度値として生成して出力され、前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記ペアが、所定のペアの倍数から選択される。
【発明の効果】
【００１５】
本開示によれば、照度値を生成することができる。また、本開示によれば、照度値のリニアリティを改善することができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】複数回露光イメージセンサの長蓄画像と短蓄画像の露光を説明する図である。
【図２】複数回露光イメージセンサにおける照度値算出部の構成例を示す図である。
【図３】図２のセレクタにより出力される照度値を説明する図である。
【図４】照度値のリニアリティの劣化について説明する図である。
【図５】照度値のリニアリティの劣化について説明する図である。
【図６】照度値のリニアリティの他の劣化について説明する図である。
【図７】本開示を適用した固体撮像素子としてのCMOSイメージセンサの第１実施の形態の第１の構成例を示す図である。
【図８】図７の短蓄画素と長蓄画素の構成例を示す図である。
【図９】広ダイナミックレンジ化部と積算部の構成例を示す図である。
【図１０】図７のCMOSイメージセンサから出力される照度値を説明する図である。
【図１１】図７のCMOSイメージセンサの照度値算出処理を説明するフローチャートである。
【図１２】本開示を適用した固体撮像素子としてのCMOSイメージセンサの第１実施の形態の第２の構成例を示す図である。
【図１３】図１２のCMOSイメージセンサの照度値算出処理を説明するフローチャートである。
【図１４】本開示を適用した固体撮像素子としてのCMOSイメージセンサの第２実施の形態の構成例を示すブロック図である。
【図１５】図１４の判定部における閾値を説明する図である。
【図１６】図１４のCMOSイメージセンサの照度値算出処理を説明するフローチャートである。
【図１７】本開示を適用した固体撮像素子としてのCMOSイメージセンサの第３実施の形態の構成例を示すブロック図である。
【図１８】画素アレイ部の短蓄画素と長蓄画素の他の構成例を示す図である。
【図１９】本開示を適用した電子機器としての照度計の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜本開示の前提＞
（１フレームあたり複数回露光を行う照度用イメージセンサの露光の説明）
図１は、１フレームあたり複数回露光を行う照度用イメージセンサ(以下、複数回露光イメージセンサという)の長蓄画像と短蓄画像の露光を説明する図である。
【００１９】
図１のグラフにおいて、横軸は、時刻を表し、縦軸は、複数回露光イメージセンサの画素アレイ部の各行の先頭からの行数を表している。
【００２０】
図１に示すように、複数回露光イメージセンサは、フレーム単位で、長蓄画像と短蓄画像の撮像を順に行う。図１の例では、複数回露光イメージセンサは、長蓄画像、短蓄画像の順に撮像を行う。
【００２１】
また、図１の例では、長蓄画像の露光時間は、短蓄画像の露光時間の６４倍である。即ち、長蓄画像の各画素の蓄積電荷を行単位でリセット（長蓄シャッタ）してから行単位で読み出す（長蓄リードする）までの時間は、短蓄画像の各画素の蓄積電荷を行単位でリセット（短蓄シャッタ）してから行単位で読み出す（短蓄リードする）までの時間の６４倍である。
【００２２】
（複数回露光イメージセンサの照度値算出部の構成例）
図２は、複数回露光イメージセンサにおける、長蓄画像および短蓄画像から照度値を算出する照度値算出部の構成例を示す図である。
【００２３】
図２の照度値算出部１０は、加算部１１、レジスタ１２、乗算部１３、飽和検出部１４、加算部１５、レジスタ１６、乗算部１７、およびセレクタ１８により構成される。
【００２４】
加算部１１には、図１に示した露光時間で撮像された長蓄画像の各画素値が順に入力される。加算部１１は、入力された画素値と、レジスタ１２に保持されている画素値とを加算する。加算部１１は、加算値をレジスタ１２に供給する。レジスタ１２は、加算部１１から供給される加算値を保持する。レジスタ１２は、保持されている加算値を加算部１１に供給する。以上により、加算部１１に入力された長蓄画像の画素値が順に積算される。長蓄画像の全ての画素値が積算されると、レジスタ１２に保持されている加算値は乗算部１３に供給される。
【００２５】
乗算部１３は、レジスタ１２から供給される加算値にゲインとして１を乗算する。乗算部１３は、乗算値を飽和検出部１４とセレクタ１８に供給する。
【００２６】
飽和検出部１４は、例えば、長蓄画像の画素値の最大値を全画素分積算した値付近の値を閾値とし、その閾値と、乗算部１３から供給される乗算値とを比較する。飽和検出部１４は、乗算値が閾値より小さい場合、飽和の有無を表す飽和信号として飽和の無しを表す０を生成する。一方、乗算値が閾値以上である場合、飽和検出部１４は、飽和信号として飽和の有りを表す１を生成する。飽和検出部１４は、飽和信号をセレクタ１８に供給する。
【００２７】
加算部１５には、図１に示した露光時間で撮像された短蓄画像の各画素値が順に入力される。加算部１５は、入力された画素値と、レジスタ１６に保持されている画素値とを加算する。加算部１５は、加算値をレジスタ１６に供給する。レジスタ１６は、加算部１５から供給される加算値を保持する。レジスタ１６は、保持されている加算値を加算部１５に供給する。以上により、加算部１５に入力された短蓄画像の画素値が順に積算される。短蓄画像の全ての画素値が積算されると、レジスタ１６に保持されている加算値は乗算部１７に供給される。
【００２８】
乗算部１７は、レジスタ１６から供給される加算値にゲインとして６４を乗算する。乗算部１７は、乗算値をセレクタ１８に供給する。
【００２９】
セレクタ１８は、飽和検出部１４から供給される飽和信号が０である場合、乗算部１３から供給される乗算値を選択し、複数回露光イメージセンサの画素数で除算する。セレクタ１８は、これにより生成される画素値の平均値を照度値として出力する。一方、飽和信号が１である場合、セレクタ１８は、乗算部１７から供給される乗算値を選択し、複数回露光イメージセンサの画素数で除算する。セレクタ１８は、これにより生成される画素値の平均値を照度値として出力する。以上により、画像単位で照度値の広ダイナミックレンジ化が行われる。
【００３０】
図２に示したように、照度値算出部１０は、画素値を積算するため、１回目の露光時の画像(図１の例では長蓄画像)を記憶するフレームメモリを備える必要がない。
【００３１】
（照度値の説明）
図３は、図２のセレクタ１８により出力される照度値を説明する図である。
【００３２】
図３において、横軸は、複数回露光イメージセンサの各画素に入射される光（以下、入射光という）の照度を表し、縦軸は、セレクタ１８から出力される照度値または各画素の画素値を表している。図３の例では、各画素の入射光の照度は同一であり、各画素の画素値も同一であるものとする。
【００３３】
図３に示すように、長蓄画像の撮像時に全画素の蓄積電荷が飽和しない場合、セレクタ１８は、SNR(signal-noise ratio)が高い長蓄画像の画素値の平均値を照度値として出力する。また、長蓄画像の撮像時に全画素の蓄積電荷が飽和した場合、セレクタ１８は、ダイナミックレンジを拡大するため、短蓄画像の画素値の平均値を照度値として出力する。これにより、照度値のダイナミックレンジは６４倍になる。従って、例えば、画素値のビット数が１０ビットである場合、照度値のビット数は１６ビットとなる。
【００３４】
(照度値のリニアリティの劣化の説明)
次に、図４および図５を参照して、図２のセレクタ１８から出力される照度値のリニアリティの劣化について説明する。
【００３５】
図４は、撮像時に一部の画素群においてのみ蓄積電荷が飽和した長蓄画像の例を示す図である。
【００３６】
図４において、濃度が濃いほど画素値が小さいことを表している。図４の例では、長蓄画像３０の左下の領域３１に対応する画素群においてのみ蓄積電荷が飽和し、領域３１の画素値が入射光の照度によらず最大値となっている。
【００３７】
この場合、長蓄画像３０の撮像時に全画素の蓄積電荷が飽和していないので、セレクタ１８は、長蓄画像の乗算値を選択する。しかしながら、蓄積電荷の飽和により、領域３１の画素値は入射光の照度に比例しない。従って、図５に示すように、照度値５１のリニアリティは、入射光の照度に比例する理想的な照度値５２のリニアリティに比べて劣化する。なお、図５において、横軸は、入射光の照度を表し、縦軸は、照度値を表している。
【００３８】
(照度値のリニアリティの他の劣化の説明)
次に、図６を参照して、照度値のリニアリティの他の劣化について説明する。
【００３９】
図６において、横軸は、各画素の入射光の照度を表し、縦軸は、照度値または各画素の画素値を表している。図６の例では、各画素の入射光の照度は同一であり、各画素の画素値も同一であるものとする。また、長蓄画像の乗算値が960LSB以上である場合、飽和信号が１にされ、960LSBより小さい場合、飽和信号が０にされる。
【００４０】
各画素の蓄積電荷に対応するデジタル値である画素値には、各画素の蓄積電荷のアナログ信号である撮像信号をA/D変換するカラムADC内のノイズ等のリニアリティ劣化要因が含まれる。複数回露光イメージセンサにおいては、全ての画素の画素値が積算されるため、カラムADC内のノイズ以外の画素ごとに異なるノイズは打ち消され、そのノイズによる誤差は小さい。しかしながら、カラムADC内のノイズ等の各画素で一様に発生するノイズは、画素値の積算により増加するため、そのノイズによる誤差は大きい。
【００４１】
例えば、カラムADC内のノイズ等による画素値の誤差が±1LSBである場合、図６に示すように、ゲインが１である長蓄画像の乗算値の平均値の誤差は±1LSBである。しかしながら、ゲインが64である短蓄画像の乗算値の平均値の誤差は±64LSBである。従って、セレクタ１８の選択の切り替わり時、即ち飽和信号の切り替わり時、照度値の誤差が大きく変化し、リニアリティが劣化する。
【００４２】
即ち、セレクタ１８の選択の切り替わり時、長蓄画像の乗算値の平均値の誤差は、960LSB±1LSBの範囲でばらつく。一方、短蓄画像の画素値は15LSB±1LSBの範囲でばらつくが、ゲインとして64が乗算されるため、短蓄画像の乗算値の平均値は、960LSB±64LSBの範囲でばらつく。従って、セレクタ１８の選択の切り替わり時、照度値が960LSB±1LSBの範囲から960LSB±64LSBの範囲に変化し、照度値のリニアリティが劣化する。
【００４３】
このリニアリティの劣化は、短蓄画像と長蓄画像の露光比を下げることにより改善するが、短蓄画像と長蓄画像の露光比を下げると、照度値のダイナミックレンジは小さくなる。即ち、複数回露光イメージセンサでは、照度値のリニアリティの改善と照度値のダイナミックレンジの拡大にトレードオフの関係がある。
【００４４】
＜第１実施の形態＞
（CMOSイメージセンサの第１実施の形態の第１の構成例）
図７は、本開示を適用した固体撮像素子としてのCMOSイメージセンサの第１実施の形態の第１の構成例を示す図である。
【００４５】
CMOSイメージセンサ１００は、DAC（Digital Analog Converter）１１０、画素アレイ部１１１、垂直駆動部１１２、カラムADC１１３−１および１１３−２、水平駆動部１１４−１および１１４−２、システム制御部１１５、画素駆動線１１６、垂直信号線１１７−１および１１７−２、広ダイナミックレンジ化部１１８、および積算部１１９により構成される。
【００４６】
DAC１１０、画素アレイ部１１１、垂直駆動部１１２、カラムADC１１３−１および１１３−２、水平駆動部１１４−１および１１４−２、システム制御部１１５、画素駆動線１１６、垂直信号線１１７−１および１１７−２、広ダイナミックレンジ化部１１８、および積算部１１９は、図示せぬ半導体基板に形成されている。
【００４７】
なお、CMOSイメージセンサ１００は、広ダイナミックレンジ化部１１８および積算部１１９を含まず、広ダイナミックレンジ化部１１８および積算部１１９は、例えば、CMOSイメージセンサ１００とは別の基板にDSP(Digital Signal Processor)等の外部信号処理部として設けられるようにしてもよい。
【００４８】
CMOSイメージセンサ１００は、被写体の画像を撮像し、その画像の照度値を出力する。
【００４９】
具体的には、DAC１１０は、所定のデジタル値に対してA/D変換を行い、カラムADC１１３−１および１１３−２によるA/D変換後の10ビットのデジタル値に対応する基準電圧を、デジタル値の1から順に生成する。DAC１１０は、生成された基準電圧をカラムADC１１３−１および１１３−２に供給する。
【００５０】
画素アレイ部１１１には、露光時間の短い短蓄画素１３１Ａと露光時間の長い長蓄画素１３１Ｂにより構成される画素１３１が行列状に２次元配置される。短蓄画素１３１Ａと長蓄画素１３１Ｂは、露光時間に入射光の光量（照度）に応じた電荷量の電荷を発生して内部に蓄積する光電変換素子としてのフォトダイオードを有する。長蓄画素１３１Ｂの露光時間は、短蓄画素１３１Ａの露光時間の64倍である。
【００５１】
画素アレイ部１１１の短蓄画素１３１Ａと長蓄画素１３１Ｂは、行単位で規則的に配列される。具体的には、各行に対して交互に同一の数だけ短蓄画素１３１Ａと長蓄画素１３１Ｂが配置される。図７の例では、画素アレイ部１１１に４行９列の短蓄画素１３１Ａと長蓄画素１３１Ｂが配置されているが、短蓄画素１３１Ａと長蓄画素１３１Ｂの数は、これに限定されない。
【００５２】
画素アレイ部１１１には、短蓄画素１３１Ａと長蓄画素１３１Ｂに対して行ごとに画素駆動線１１６が図の左右方向（行方向）に形成され、列ごとに垂直信号線１１７が図の上下方向（列方向）に形成される。画素駆動線１１６の一端は、垂直駆動部１１２の各行の短蓄画素１３１Ａまたは長蓄画素１３１Ｂに対応した図示せぬ出力端に接続されている。
【００５３】
垂直駆動部１１２は、シフトレジスタやアドレスデコーダなどによって構成される。垂直駆動部１１２は、画素アレイ部１１１の短蓄画素１３１Ａと長蓄画素１３１Ｂを行単位で駆動する画素駆動部である。この垂直駆動部１１２の具体的な構成について図示は省略するが、垂直駆動部１１２は、読み出し走査系および掃き出し走査系の２つの走査系を有する構成となっている。
【００５４】
読み出し走査系は、短蓄画素１３１Ａと長蓄画素１３１Ｂのそれぞれに蓄積された電荷のアナログ信号を同時に撮像信号として行単位で上から順に読み出すように、短蓄画素１３１Ａの各行と長蓄画素１３１Ｂの各行をそれぞれ上から順に選択する。読み出し走査系は、選択行の画素駆動線１１６と接続する出力端から転送パルスを出力する。
【００５５】
掃き出し走査系は、短蓄画素１３１Ａと長蓄画素１３１Ｂのフォトダイオードから不要な電荷を掃き出す(リセットする)ために、読み出し系の走査よりも露光時間分だけ先行して、各行の画素駆動線１１６と接続する出力端から制御パルスを出力する。この掃き出し走査系による走査により、いわゆる電子シャッタ動作が、短蓄画素１３１Ａと長蓄画素１３１Ｂのそれぞれに対して行ごとに順に行われる。ここで、電子シャッタ動作とは、フォトダイオードの電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことをいう。
【００５６】
垂直駆動部１１２の読み出し走査系によって選択された行の短蓄画素１３１Ａから出力される撮像信号は、垂直信号線１１７−１の各々を通してカラムADC１１３−１に供給される。また、垂直駆動部１１２の読み出し走査系によって選択された行の長蓄画素１３１Ｂから出力される撮像信号は、垂直信号線１１７−２の各々を通してカラムADC１１３−２に供給される。
【００５７】
カラムADC１１３−１は、画素アレイ部１１１の列ごとに、コンパレータ１４１とカウンタ１４２を有する。カラムADC１１３−１は、短蓄変換部として機能し、選択行の短蓄画素１３１Ａから垂直信号線１１７−１を通して出力される撮像信号に対して、A/D変換処理を行う。
【００５８】
具体的には、コンパレータ１４１には、垂直信号線１１７−１を通して選択行の各画素の撮像信号が入力されるとともに、DAC１１０から基準電圧が入力される。コンパレータ１４１は、撮像信号と基準電圧を比較し、撮像信号が基準電圧より大きい場合、カウンタ１４２に信号を入力する。カウンタ１４２は、コンパレータ１４１から信号が入力されたとき、カウント値をインクリメントする。なお、カウンタ１４２の初期値は０である。
【００５９】
カラムADC１１３−１は、以上のような処理を基準電圧が入力されるたびに行う。これにより、カウント値は、各画素の撮像信号に対応する10ビットのデジタル値となる。カウンタ１４２は、10ビットのデジタル値の全てに対応する基準電圧が入力された後、保持している10ビットのカウント値を画素値として水平駆動部１１４−１に供給し、カウント値を初期値にリセットする。
【００６０】
水平駆動部１１４−１は、シフトレジスタやアドレスデコーダなどによって構成され、カラムADC１１３−１のカウンタ１４２を左の列から順番に選択する。この水平駆動部１１４−１による選択走査により、カラムADC１１３−１のカウンタ１４２から出力された短蓄画素１３１Ａの画素値が左の列から順番に広ダイナミックレンジ化部１１８に出力される。
【００６１】
カラムADC１１３−２は、画素アレイ部１１１の列ごとに、コンパレータ１５１とカウンタ１５２を有する。カラムADC１１３−２は、長蓄変換部として機能し、選択行の長蓄画素１３１Ｂから垂直信号線１１７−２を通して出力される撮像信号に対して、カラムADC１１３−１と同様にA/D変換処理を行う。カラムADC１１３−２のカウンタ１５２は、A/D変換処理の結果得られる10ビットの画素値を水平駆動部１１４−２に供給し、カウント値を初期値にリセットする。
【００６２】
水平駆動部１１４−２は、シフトレジスタやアドレスデコーダなどによって構成され、水平駆動部１１４−１と同時に、カラムADC１１３−２のカウンタ１５２を左の列から順番に選択する。この水平駆動部１１４−２による選択走査により、短蓄画素１３１Ａの画素値と同時に、カラムADC１１３−２のカウンタ１５２から出力された長蓄画素１３１Ｂの画素値が左の列から順番に広ダイナミックレンジ化部１１８に出力される。
【００６３】
システム制御部１１５は、各種のタイミング信号を生成するタイミングジェネレータ等によって構成される。システム制御部１１５は、タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部１１２、カラムADC１１３−１および１１３−２、および水平駆動部１１４−１および１１４−２を制御する。
【００６４】
広ダイナミックレンジ化部１１８は、水平駆動部１１４−１から供給される短蓄画素１３１Ａの10ビットの画素値に対して、ゲインとして短蓄画素１３１Ａの露光時間に対する長蓄画素１３１Ｂの露光時間の割合である64を乗算し、16ビットの乗算値を得る。広ダイナミックレンジ化部１１８は、水平駆動部１１４−２から供給される長蓄画素１３１Ｂの画素値に基づいて、その長蓄画素１３１Ｂのフォトダイオードの蓄積電荷が飽和しているかどうかを判定する。
【００６５】
広ダイナミックレンジ化部１１８は、判定結果に基づいて、16ビットの短蓄画素１３１Ａの乗算値または10ビットの長蓄画素１３１Ｂの画素値を選択する。これにより、画素単位で画素値の広ダイナミックレンジ化が行われる。広ダイナミックレンジ化部１１８は、選択された16ビットの短蓄画素１３１Ａの乗算値または10ビットの長蓄画素１３１Ｂの画素値を、積算部１１９に供給する。
【００６６】
積算部１１９は、広ダイナミックレンジ化部１１８から供給される16ビットの短蓄画素１３１Ａの乗算値または10ビットの長蓄画素１３１Ｂの画素値を、短蓄画素１３１Ａ（長蓄画素１３１Ｂ）の数だけ積算する。積算部１１９は、その結果得られる積算値を短蓄画素１３１Ａ（長蓄画素１３１Ｂ）の数で除算し、その結果得られる16ビットの平均値を照度値として出力する。
【００６７】
（短蓄画素１３１Ａと長蓄画素１３１Ｂの構成例）
図８は、図７の短蓄画素１３１Ａと長蓄画素１３１Ｂの構成例を示す図である。
【００６８】
図８において、白色の正方形が長蓄画素１３１Ｂを表し、灰色の正方形が短蓄画素１３１Ａを表す。
【００６９】
図８に示すように、短蓄画素１３１Ａと長蓄画素１３１Ｂは、例えば、ベイヤ配列の画素である。即ち、短蓄画素１３１Ａと長蓄画素１３１Ｂは、４つのサブ画素１６１乃至１６４により構成される。左上のサブ画素１６１には、表面に赤色（Ｒ）のカラーフィルタが形成され、サブ画素１６１のフォトダイオードは、入射光のうちの赤色の光を蓄積する。右上のサブ画素１６２と左下のサブ画素１６３には、表面に緑色（Ｇ）のカラーフィルタが形成され、サブ画素１６２およびサブ画素１６３のフォトダイオードは、入射光のうちの緑色の光を蓄積する。右下のサブ画素１６４には、表面に青色（Ｂ）のカラーフィルタが形成され、サブ画素１６４のフォトダイオードは、入射光のうちの青色の光を蓄積する。
【００７０】
なお、本明細書では、短蓄画素１３１Ａ（長蓄画素１３１Ｂ）のサブ画素１６１乃至１６４を総称して短蓄画素１３１Ａ(長蓄画素１３１Ｂ)という。また、サブ画素１６１乃至１６４の画素値、撮像信号を総称して、短蓄画素１３１Ａ（長蓄画素１３１Ｂ）の画素値、撮像信号という。
【００７１】
（広ダイナミックレンジ化部１１８と積算部１１９の構成例）
図９は、広ダイナミックレンジ化部１１８と積算部１１９の構成例を示す図である。
【００７２】
図９の広ダイナミックレンジ化部１１８は、乗算部１７１、飽和検出部１７２、およびセレクタ１７３により構成される。
【００７３】
広ダイナミックレンジ化部１１８の乗算部１７１は、水平駆動部１１４−１から供給される短蓄画素１３１Ａの画素値に対してゲインとして64を乗算し、乗算値をセレクタ１７３に供給する。
【００７４】
飽和検出部１７２は、水平駆動部１１４−２から供給される長蓄画素１３１Ｂの画素値と、長蓄画素１３１Ｂの画素値の最大値とを比較し、その長蓄画素１３１Ｂのフォトダイオードの蓄積電荷が飽和しているかどうかを判定する。飽和検出部１７２は、判定結果を表す飽和信号をセレクタ１７３に供給する。
【００７５】
セレクタ１７３は、飽和検出部１７２から供給される飽和信号に基づいて、乗算部１７１から供給される乗算値、または、水平駆動部１１４−２から供給される長蓄画素１３１Ｂの画素値を選択する。ここで、画素アレイ部１１１の配列は図８に示すようになっており、短蓄画素１３１Ａと長蓄画素１３１Ｂは、それぞれ、上の行の左の列から順に読み出される。従って、セレクタ１７３に入力される短蓄画素１３１Ａの乗算値と長蓄画素１３１Ｂの画素値に対応する色は同一である。セレクタ１７３は、選択された短蓄画素１３１Ａの乗算値または長蓄画素１３１Ｂの画素値を積算部１１９に供給する。
【００７６】
積算部１１９は、加算部１８１とレジスタ１８２により構成される。積算部１１９の加算部１８１は、セレクタ１７３から供給される短蓄画素１３１Ａの乗算値または長蓄画素１３１Ｂの画素値と、レジスタ１８２から供給される加算値とを加算する。加算部１８１は、加算値をレジスタ１８２に供給する。
【００７７】
レジスタ１８２は、加算部１８１から供給される加算値を保持する。レジスタ１８２は、加算部１８１による加算時に、保持している加算値を加算部１８１に供給する。短蓄画素１３１Ａの乗算値または長蓄画素１３１Ｂの画素値が、画素アレイ部１１１に配置される短蓄画素１３１Ａ（長蓄画素１３１Ｂ）の数だけ加算された場合、レジスタ１８２は、保持している加算値を短蓄画素１３１Ａ（長蓄画素１３１Ｂ）の数で除算した平均値を照度値として出力する。
【００７８】
（照度値の説明）
図１０は、CMOSイメージセンサ１００から出力される照度値を説明する図である。
【００７９】
なお、図１０の例では、画素アレイ部１１１の長蓄画素１３１Ｂにより撮像される長蓄画像が、図４に示したように一部の長蓄画素１３１Ｂにおいてのみ蓄積電荷が飽和した長蓄画像３０である。
【００８０】
この場合、図５で説明したように、図２の照度値算出部１０を備える複数回露光イメージセンサから出力される照度値５１のリニアリティは、理想的な照度値５２のリニアリティに比べて劣化する。
【００８１】
これに対して、CMOSイメージセンサ１００では、長蓄画素１３１Ｂごとに蓄積電荷の飽和の有無が判定される。従って、蓄積電荷が飽和している長蓄画素１３１Ｂに対応する領域３１の広ダイナミックレンジ化後の画素値として、蓄積電荷が飽和していない短蓄画素１３１Ａの積算値が選択される。これにより、照度値の算出に用いられる領域３１の広ダイナミックレンジ化後の画素値が入射光の照度に比例する。
【００８２】
その結果、図１０に示すように、CMOSイメージセンサ１００から出力される照度値１９１のリニアリティは、照度値５１のリニアリティに比べて改善し、理想的な照度値５２のリニアリティに近くなる。
【００８３】
また、複数回露光イメージセンサにおいて、画素ごとに蓄積電荷の飽和の有無を判定する場合、最初の露光時の画像を保持するフレームメモリが必要である。しかしながら、CMOSイメージセンサ１００は、短蓄画素１３１Ａと長蓄画素１３１Ｂの画素値を同時に取得するため、フレームメモリを備える必要はない。従って、CMOSイメージセンサ１００によれば、面積や消費電力を増加させずに、照度値のリニアリティを改善することができる。
【００８４】
（CMOSイメージセンサ１００の処理の説明）
図１１は、図７のCMOSイメージセンサ１００の照度値算出処理を説明するフローチャートである。この照度値算出処理は、フレーム単位で行われる。
【００８５】
図１１のステップＳ１１において、長蓄画素１３１Ｂは、垂直駆動部１１２の掃き出し走査系から画素駆動線１１６を介して供給される制御パルスに応じて、読み出し系の走査よりも露光時間分だけ先行して、電子シャッタ動作を行単位で行う。
【００８６】
ステップＳ１２において、短蓄画素１３１Ａは、垂直駆動部１１２の掃き出し走査系から画素駆動線１１６を介して供給される制御パルスに応じて、読み出し系の走査よりも露光時間分だけ先行して、電子シャッタ動作を行単位で行う。
【００８７】
ステップＳ１３において、垂直駆動部１１２の読み出し走査系は、短蓄画素１３１Ａと長蓄画素１３１Ｂとの行を選択する。なお、最初のステップＳ１３の処理では、読み出し走査系は、短蓄画素１３１Ａと長蓄画素１３１Ｂそれぞれの最も上の行を選択する。読み出し走査系は、選択行の画素駆動線１１６と接続する出力端から転送パルスを出力する。
【００８８】
ステップＳ１４において、選択行の短蓄画素１３１Ａは、画素駆動線１１６により供給される転送パルスに応じて撮像信号を読み出し、垂直信号線１１７−１を介してカラムADC１１３−１に供給する。それと同時に、選択行の長蓄画素１３１Ｂは、画素駆動線１１６により供給される転送パルスに応じて撮像信号を読み出し、垂直信号線１１７−２を介してカラムADC１１３−２に供給する。
【００８９】
ステップＳ１５において、カラムADC１１３−１とカラムADC１１３−２は、入力される撮像信号に対してA/D変換処理を行う。カラムADC１１３−１は、A/D変換処理の結果得られる画素値を水平駆動部１１４−１に供給する。カラムADC１１３−２は、A/D変換処理の結果得られる画素値を水平駆動部１１４−２に供給する。
【００９０】
ステップＳ１６において、水平駆動部１１４−１は、カラムADC１１３−１のカウンタ１４２の列を選択する。また、水平駆動部１１４−２は、カラムADC１１３−２のカウンタ１５２の列を選択する。なお、ステップＳ１５の処理の直後のステップＳ１６の処理では、水平駆動部１１４−１と水平駆動部１１４−２は、最も左の列を選択する。
【００９１】
ステップＳ１７において、水平駆動部１１４−１は、選択列のカウンタ１４２から出力される短蓄画素１３１Ａの画素値を広ダイナミックレンジ化部１１８に出力する。また、水平駆動部１１４−２は、選択列のカウンタ１５２から出力される長蓄画素１３１Ｂの画素値を広ダイナミックレンジ化部１１８に出力する。
【００９２】
ステップＳ１８において、広ダイナミックレンジ化部１１８の乗算部１７１（図９）は、水平駆動部１１４−１から供給される短蓄画素１３１Ａの画素値に対してゲインとして64を乗算し、乗算値をセレクタ１７３に供給する。
【００９３】
ステップＳ１９において、飽和検出部１７２は、水平駆動部１１４−２から供給される長蓄画素１３１Ｂの画素値と、長蓄画素１３１Ｂの画素値の最大値とに基づいて、その長蓄画素１３１Ｂのフォトダイオードの蓄積電荷が飽和しているかどうかを判定する。
【００９４】
具体的には、長蓄画素１３１Ｂの画素値が長蓄画素１３１Ｂの画素値の最大値より小さい場合、飽和検出部１７２は、その長蓄画素１３１Ｂのフォトダイオードの蓄積電荷が飽和していないと判定する。一方、長蓄画素１３１Ｂの画素値が長蓄画素１３１Ｂの画素値の最大値である場合、飽和検出部１７２は、その長蓄画素１３１Ｂのフォトダイオードの蓄積電荷が飽和していると判定する。
【００９５】
ステップＳ１９で長蓄画素１３１Ｂのフォトダイオードの蓄積電荷が飽和していると判定された場合、飽和検出部１７２は、飽和の有りを表す１を飽和信号として生成し、セレクタ１７３に供給する。そして、ステップＳ２０において、セレクタ１７３は、飽和検出部１７２から供給される飽和信号としての１に基づいて、乗算部１７１から供給される短蓄画素１３１Ａの乗算値を選択し、積算部１１９に供給する。そして処理はステップＳ２２に進む。
【００９６】
一方、ステップＳ１９で長蓄画素１３１Ｂのフォトダイオードの蓄積電荷が飽和していないと判定された場合、飽和検出部１７２は、飽和の無しを表す０を飽和信号として生成し、セレクタ１７３に供給する。そして、ステップＳ２１において、セレクタ１７３は、飽和検出部１７２から供給される飽和信号としての０に基づいて、水平駆動部１１４−２から供給される長蓄画素１３１Ｂの画素値を選択し、積算部１１９に供給する。そして処理はステップＳ２２に進む。
【００９７】
ステップＳ２２において、積算部１１９の加算部１８１（図９）は、セレクタ１７３により選択された短蓄画素１３１Ａの乗算値または長蓄画素１３１Ｂの画素値と、レジスタ１８２から供給される加算値とを加算する。加算部１８１は、加算値をレジスタ１８２に供給する。
【００９８】
ステップＳ２３において、レジスタ１８２は、加算部１８１から供給される加算値を保持する。この加算値は、次のステップＳ２２の処理においてセレクタ１７３により選択された短蓄画素１３１Ａの乗算値または長蓄画素１３１Ｂの画素値と加算される。
【００９９】
ステップＳ２４において、水平駆動部１１４−１と水平駆動部１１４−２は、ステップＳ１６の処理で画素アレイ部１１１の短蓄画素１３１Ａと長蓄画素１３１Ｂの全ての列を選択したかどうかを判定する。
【０１００】
ステップＳ２４でまだ全ての列を選択していないと判定された場合、処理はステップＳ１６に戻り、直前のステップＳ１６の処理で選択された列の右の列が選択される。そして、全ての列が選択されるまで、ステップＳ１７乃至Ｓ２４の処理が繰り返される。
【０１０１】
一方、ステップＳ２４で全ての列を選択したと判定された場合、ステップＳ２５において、垂直駆動部１１２の読み出し走査系は、画素アレイ部１１１の短蓄画素１３１Ａと長蓄画素１３１Ｂの全ての行を選択したかどうかを判定する。
【０１０２】
ステップＳ２５でまだ全ての行を選択していないと判定された場合、処理はステップＳ１３に戻り、直前のステップＳ１３の処理で選択された行の下の列が選択される。そして、全ての行が選択されるまで、ステップＳ１４乃至Ｓ２５の処理が繰り返される。
【０１０３】
一方、ステップＳ２５で全ての行を選択したと判定された場合、ステップＳ２６において、レジスタ１８２は、保持している加算値を短蓄画素１３１Ａ（長蓄画素１３１Ｂ）の数で除算した平均値を照度値として出力する。そして処理は終了する。
【０１０４】
以上のように、図７のイメージセンサ１００は、露光時間の異なる画素値に基づいて、画素ごとに画素値のダイナミックレンジを拡大し、ダイナミックレンジが拡大された画素値を積算して照度値を生成する。従って、照度値のリニアリティを改善することができる。
【０１０５】
また、イメージセンサ１００は、短蓄画素１３１Ａと長蓄画素１３１Ｂを別々に設けるので、露光時間の異なる画素値を同時に取得することができる。従って、いずれか一方の露光時間の画像を保持するフレームメモリを設けずに、画素ごとに画素値のダイナミックレンジを拡大することができる。よって、面積や消費電力を増加させずに、照度値のリニアリティを改善することができる。
【０１０６】
（CMOSイメージセンサの第１実施の形態の第２の構成例）
図１２は、本開示を適用した固体撮像素子としてのCMOSイメージセンサの第１実施の形態の第２の構成例を示す図である。
【０１０７】
図１２に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０８】
図１２のCMOSイメージセンサ２００の構成は、垂直駆動部１１２、カラムADC１１３−１および１１３−２、水平駆動部１１４−１および１１４−２、システム制御部１１５、垂直信号線１１７−１および１１７−２の代わりに、垂直駆動部２０１、カラムADC２０２、水平駆動部２０３、システム制御部２０５、垂直信号線２０６が設けられる点、および、ラインメモリ２０４が新たに設けられる点が、図７のCMOSイメージセンサ１００の構成と異なる。
【０１０９】
CMOSイメージセンサ２００では、カラムADC１１３−１および１１３−２と、水平駆動部１１４−１および１１４−２が、それぞれ、共通化される。
【０１１０】
具体的には、CMOSイメージセンサ２００の垂直駆動部２０１は、図７の垂直駆動部１１２と同様に、シフトレジスタやアドレスデコーダなどによって構成される。垂直駆動部２０１は、画素アレイ部１１１の短蓄画素１３１Ａと長蓄画素１３１Ｂを行単位で駆動する画素駆動部である。この垂直駆動部２０１の具体的な構成について図示は省略するが、垂直駆動部２０１は、読み出し走査系および掃き出し走査系の２つの走査系を有する構成となっている。
【０１１１】
読み出し走査系は、短蓄画素１３１Ａと長蓄画素１３１Ｂのそれぞれに蓄積された電荷のアナログ信号の撮像信号としての行単位の読み出しが交互に行われるように、短蓄画素１３１Ａの各行と長蓄画素１３１Ｂの各行を上から順に交互に選択する。読み出し走査系は、選択行の画素駆動線１１６と接続する出力端から転送パルスを出力する。垂直駆動部２０１の掃き出し走査系は、垂直駆動部１１２の掃き出し走査系と同様である。
【０１１２】
垂直駆動部２０１の読み出し走査系によって選択された行の短蓄画素１３１Ａまたは長蓄画素１３１Ｂから出力される撮像信号は、垂直信号線２０６の各々を通してカラムADC２０２に供給される。
【０１１３】
カラムADC２０２は、図７のカラムADC１１３−１や１１３−２と同様に、画素アレイ部１１１の列ごとに、コンパレータ２２１とカウンタ２２２を有する。カラムADC２０２は、変換部として機能し、選択行の短蓄画素１３１Ａまたは長蓄画素１３１Ｂから垂直信号線２０６を通して出力される撮像信号に対するA/D変換処理を行う。カラムADC２０２は、A/D変換処理の結果得られる10ビットの画素値を水平駆動部２０３に供給する。
【０１１４】
水平駆動部２０３は、図７の水平駆動部１１４−１や１１４−２と同様に、シフトレジスタやアドレスデコーダなどによって構成される。水平駆動部２０３は、カラムADC２０２のカウンタ２２２を左の列から順番に選択する。この水平駆動部２０３による選択走査により、カラムADC２０２のカウンタ２２２から出力された短蓄画素１３１Ａの画素値が左の列から順番にラインメモリ２０４に出力される。また、カラムADC２０２のカウンタ２２２から出力された長蓄画素１３１Ｂの画素値が左の列から順番に広ダイナミックレンジ化部１１８に出力される。
【０１１５】
ラインメモリ２０４は、記憶部として機能し、水平駆動部２０３から順番に供給される短蓄画素１３１Ａの画素値を１行分保持する。ラインメモリ２０４は、保持されている短蓄画素１３１Ａの画素値を古いものから順に読み出し、水平駆動部２０３からの長蓄画素１３１Ｂの画素値の出力と同時に広ダイナミックレンジ化部１１８に出力する。
【０１１６】
システム制御部２０５は、各種のタイミング信号を生成するタイミングジェネレータ等によって構成される。システム制御部２０５は、タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部２０１、カラムADC２０２、および水平駆動部２０３を制御する。
【０１１７】
（CMOSイメージセンサ２００の処理の説明）
図１３は、図１２のCMOSイメージセンサ２００の照度値算出処理を説明するフローチャートである。この照度値算出処理の説明は、フレーム単位で行われる。
【０１１８】
図１３のステップＳ４０およびＳ４１の処理は、図１１のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。
【０１１９】
ステップＳ４２において、垂直駆動部２０１の読み出し走査系は、短蓄画素１３１Ａの行を選択する。なお、最初のステップＳ４２の処理では、読み出し走査系は、短蓄画素１３１Ａの最も上の行を選択する。読み出し走査系は、選択行の画素駆動線１１６と接続する出力端から転送パルスを出力する。
【０１２０】
ステップＳ４３において、選択行の短蓄画素１３１Ａは、画素駆動線１１６により供給される転送パルスに応じて撮像信号を読み出し、垂直信号線２０６を介してカラムADC２０２に供給する。
【０１２１】
ステップＳ４４において、カラムADC２０２は、選択行の短蓄画素１３１Ａから供給される撮像信号に対してA/D変換処理を行い、A/D変換処理の結果得られる画素値を水平駆動部２０３に供給する。
【０１２２】
ステップＳ４５において、水平駆動部２０３は、カラムADC２０２のカウンタ２２２の列を選択する。なお、ステップＳ４４の処理の直後のステップＳ４５の処理では、水平駆動部２０３は、最も左の列を選択する。
【０１２３】
ステップＳ４６において、水平駆動部２０３は、選択列のカウンタ２２２から出力される短蓄画素１３１Ａの画素値をラインメモリ２０４に出力し、保持させる。
【０１２４】
ステップＳ４７において、水平駆動部２０３は、短蓄画素１３１Ａの全ての列を選択したかどうかを判定する。ステップＳ４７でまだ短蓄画素１３１Ａの全ての列を選択していないと判定された場合、処理はステップＳ４５に戻り、直前のステップＳ４５で選択された列の右の列が選択される。そして、全ての列が選択されるまで、ステップＳ４６およびＳ４７の処理が繰り返される。
【０１２５】
一方、ステップＳ４７で短蓄画素１３１Ａの全ての列を選択したと判定された場合、ステップＳ４８において、垂直駆動部２０１の読み出し走査系は、長蓄画素１３１Ｂの行を選択する。なお、最初のステップＳ４８の処理では、読み出し走査系は、長蓄画素１３１Ｂの最も上の行を選択する。読み出し走査系は、選択行の画素駆動線１１６と接続する出力端から転送パルスを出力する。
【０１２６】
ステップＳ４９において、選択行の長蓄画素１３１Ｂは、画素駆動線１１６により供給される転送パルスに応じて撮像信号を読み出し、垂直信号線２０６を介してカラムADC２０２に供給する。
【０１２７】
ステップＳ５０において、カラムADC２０２は、選択行の長蓄画素１３１Ｂから供給される撮像信号に対してA/D変換処理を行い、A/D変換処理の結果得られる画素値を水平駆動部２０３に供給する。
【０１２８】
ステップＳ５１において、水平駆動部２０３は、カラムADC２０２のカウンタ２２２の列を選択する。なお、ステップＳ５０の処理の直後のステップＳ５１の処理では、水平駆動部２０３は、最も左の列を選択する。
【０１２９】
ステップＳ５２において、水平駆動部２０３は、選択列のカウンタ２２２から出力される選択列の長蓄画素１３１Ｂの画素値を広ダイナミックレンジ化部１１８に出力する。それと同時に、ラインメモリ２０４は、その長蓄画素１３１Ｂの列と同一の列、即ち選択列の短蓄画素１３１Ａの画素値を読み出し、広ダイナミックレンジ化部１１８に出力する。
【０１３０】
ステップＳ５３乃至Ｓ５９の処理は、図１１のステップＳ１８乃至Ｓ２４の処理と同様であるので、説明は省略する。
【０１３１】
ステップＳ５９でまだ全ての列を選択していないと判定された場合、処理はステップＳ５１に戻り、直前のステップＳ５１の処理で選択された列の右の列が選択される。そして、全ての列が選択されるまで、ステップＳ５２乃至Ｓ５９の処理が繰り返される。
【０１３２】
一方、ステップＳ５９で全ての列を選択したと判定された場合、処理はステップＳ６０に進む。ステップＳ６０およびＳ６１の処理は、図１１のステップＳ２５およびＳ２６の処理と同様であるので、説明は省略する。ステップＳ６１の処理後、処理は終了する。
【０１３３】
以上のように、図１２のCMOSイメージセンサ２００は、ラインメモリ２０４を設けることにより、短蓄画素１３１Ａと長蓄画素１３１Ｂの間でカラムADCと水平駆動部を共有する。従って、回路規模を削減することができる。
【０１３４】
なお、CMOSイメージセンサ１００とCMOSイメージセンサ２００は、画素１３１ごとに画素値のダイナミックレンジを拡大するのではなく、複数の画素１３１ごとに画素値のダイナミックレンジを拡大するようにしてもよい。この場合、複数の長蓄画素１３１Ｂの画素値の積算値に基づいて、複数の長蓄画素１３１Ｂにおける蓄積電荷の飽和が判定され、その判定結果に基づいて、複数の画素１３１ごとに短蓄画素１３１Ａの乗算値と長蓄画素１３１Ｂの画素値が選択される。
【０１３５】
＜第２実施の形態＞
（CMOSイメージセンサの第２実施の形態の構成例）
図１４は、本開示を適用した固体撮像素子としてのCMOSイメージセンサの第２実施の形態の構成例を示すブロック図である。
【０１３６】
図１４に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１３７】
図１４のCMOSイメージセンサ３００の構成は、垂直駆動部１１２の代わりに垂直駆動部３０１が設けられる点、広ダイナミックレンジ化部１１８と積算部１１９が設けられない点、および、新たに照度値算出部３０２、乗算部３０３−１および３０３−２、セレクタ３０４、判定部３０５、レジスタ３０６、メモリ３０７、乗算部３０８−１および３０８−２、並びにセレクタ３０９が設けられる点が、図７のCMOSイメージセンサ１００の構成と異なる。
【０１３８】
なお、照度値算出部３０２、乗算部３０３−１および３０３−２、セレクタ３０４、判定部３０５、レジスタ３０６、メモリ３０７、乗算部３０８−１および３０８−２、並びにセレクタ３０９は、CMOSイメージセンサ３００に含まれず、例えば、CMOSイメージセンサ３００とは別の基板にDSP等の外部信号処理部として設けられるようにしてもよい。
【０１３９】
CMOSイメージセンサ３００は、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比が1:16であり、前のフレームの照度値に基づいて、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間のペアを選択する。
【０１４０】
具体的には、CMOSイメージセンサ３００の垂直駆動部３０１は、図７の垂直駆動部１１２と同様に、シフトレジスタやアドレスデコーダなどによって構成される。垂直駆動部３０１は、画素アレイ部１１１の短蓄画素１３１Ａと長蓄画素１３１Ｂを行単位で駆動する画素駆動部である。この垂直駆動部３０１の具体的な構成について図示は省略するが、垂直駆動部３０１は、読み出し走査系および掃き出し走査系の２つの走査系を有する構成となっている。
【０１４１】
読み出し走査系は、図７の垂直駆動部１１２の読み出し走査系と同様に構成される。掃き出し走査系は、セレクタ３０９から短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間のペアを取得する。掃き出し走査系は、短蓄画素１３１Ａのフォトダイオードから不要な電荷を掃き出すために、読み出し系の走査よりも取得された短蓄画素１３１Ａの露光時間分だけ先行して、短蓄画素１３１Ａの各行の画素駆動線１１６と接続する出力端から制御パルスを出力する。この掃き出し走査系による走査により、いわゆる電子シャッタ動作が短蓄画素１３１Ａの行ごとに順に行われる。
【０１４２】
また、掃き出し走査系は、長蓄画素１３１Ｂのフォトダイオードから不要な電荷を掃き出すために、読み出し系の走査よりも取得された長蓄画素１３１Ｂの露光時間分だけ先行して、長蓄画素１３１Ｂの各行の画素駆動線１１６と接続する出力端から制御パルスを出力する。この掃き出し走査系による走査により、いわゆる電子シャッタ動作が長蓄画素１３１Ｂの行ごとに順に行われる。
【０１４３】
垂直駆動部３０１の読み出し走査系によって選択された行の短蓄画素１３１Ａから出力される撮像信号は、垂直信号線１１７−１の各々を通してカラムADC１１３−１に供給される。また、垂直駆動部３０１の読み出し走査系によって選択された行の長蓄画素１３１Ｂから出力される撮像信号は、垂直信号線１１７−２の各々を通してカラムADC１１３−２に供給される。
【０１４４】
照度値算出部３０２は、広ダイナミックレンジ化部として機能し、図２の照度値算出部１０と同様に構成される。但し、CMOSイメージセンサ３００の短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比は1:16であるため、照度値算出部３０２の乗算部のゲインは1と16である。これにより、照度値のビット数は、画素値のビット数である10ビットから14ビットに拡大される。照度値算出部３０２は、照度値として算出された、短蓄画素１３１Ａの加算値に対して16を乗算した乗算値または長蓄画素１３１Ｂの加算値に対して1を乗算した乗算値を、乗算部３０３−１および３０３−２に供給する。
【０１４５】
乗算部３０３−１は、照度値算出部３０２から供給される14ビットの照度値に対して、ゲインとして4を乗算し、16ビットの乗算値をセレクタ３０４に供給する。乗算部３０３−２は、照度値算出部３０２から供給される14ビットの照度値に対して、ゲインとして1を乗算し、14ビットの乗算値をセレクタ３０４に供給する。
【０１４６】
セレクタ３０４は、レジスタ３０６から出力される照度の高低を表す照度モード信号に基づいて、乗算部３０３−１から供給される16ビットの照度値または乗算部３０３−２から供給される14ビットの照度値を選択する。セレクタ３０４は、選択された照度値を判定部３０５に出力するとともに、出力する。これにより、判定部３０５から出力される照度値のビット数（ダイナミックレンジ）は16ビットとなる。
【０１４７】
判定部３０５は、セレクタ３０４から供給される照度値と閾値を比較し、照度値の高低を判定する。判定部３０５は、その判定結果を表す照度モード信号をレジスタ３０６に供給する。なお、照度モード信号は、照度値が高いことを表す場合１であり、照度値が低いことを表す場合０である。
【０１４８】
レジスタ３０６は、判定部３０５から供給される照度モード信号を保持する。また、レジスタ３０６は、保持している照度モード信号をセレクタ３０４とセレクタ３０９に供給する。
【０１４９】
メモリ３０７は、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間のペアを保持する。ここでは、メモリ３０７は、時間Ｔの1倍を短蓄画素１３１Ａの露光時間とし、時間Ｔの16倍を長蓄画素１３１Ｂの露光時間とするペアを保持する。メモリ３０７は、保持しているペアを乗算部３０８−１および３０８−２に供給する。
【０１５０】
乗算部３０８−１は、メモリ３０７から供給されるペアに対して、ゲインとして1を乗算する。乗算部３０８−１は、乗算の結果得られる、時間Ｔを短蓄画素１３１Ａの露光時間とし、時間Ｔの16倍を長蓄画素１３１Ｂの露光時間とするペアを、セレクタ３０９に供給する。
【０１５１】
乗算部３０８−２は、メモリ３０７から供給されるペアに対して、ゲインとして4を乗算する。乗算部３０８−２は、乗算の結果得られる、時間Ｔの4倍を短蓄画素１３１Ａの露光時間とし、時間Ｔの64倍を長蓄画素１３１Ｂの露光時間とするペアを、セレクタ３０９に供給する。
【０１５２】
セレクタ３０９は、選択部として機能し、レジスタ３０６から供給される照度モード信号に基づいて、乗算部３０８−１または乗算部３０８−２から供給されるペアを選択する。具体的には、照度モード信号が１である場合、即ち照度が高い場合、乗算部３０８−１から供給される倍率の小さいペアを選択する。一方、照度モード信号が０である場合、即ち照度が低い場合、乗算部３０８−２から供給される倍率の大きいペアを選択する。
【０１５３】
ここで、セレクタ３０４は、照度モード信号が１である場合、ゲインが露光時間のペアの倍数と同一の4である乗算部３０３−１からの照度値を選択する。また、照度モード信号が０である場合、セレクタ３０４は、ゲインが露光時間のペアの倍数と同一の1である乗算部３０３−２からの照度値を選択する。従って、照度モード信号によらず、照度値に対応する露光時間は同一となる。セレクタ３０９は、選択された短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間のペアを垂直駆動部３０１に供給する。
【０１５４】
以上のように、CMOSイメージセンサ３００では、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比が1:16であるので、短蓄画素１３１Ａの画素値のゲインは16となる。従って、カラムADC１１３−１内のノイズ等による照度値の誤差は16倍にしかならず、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比が1:64である場合に比べて、照度値の誤差は少ない。その結果、照度値の算出に用いる長蓄画素１３１Ｂの乗算値と短蓄画素１３１Ａの乗算値の切り替わり時の照度値のリニアリティが改善する。
【０１５５】
例えば、図６で説明したように、カラムADC１１３−１および１１３−２内のノイズ等による画素値の誤差が±1LSBである場合、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比が1:64であると、照度値の算出に用いる値の切り替わり時、照度値の誤差は±1LSBから±64LSBに変化する。しかしながら、CMOSイメージセンサ３００では、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比が1:16であるため、照度値の誤差の変化は±1LSBから±16LSBまでで済む。
【０１５６】
（判定部３０５における閾値の説明）
図１５は、図１４の判定部３０５における閾値を説明する図である。
【０１５７】
なお、図１５において横軸は時刻(time)を表している。
【０１５８】
図１５に示すように、判定部３０５における閾値はヒステリシスを有している。即ち、照度モード信号が１から０に変化する場合の閾値であるＨＬ閾値が、照度モード信号が０から１に変化する場合の閾値であるＬＨ閾値より小さくなっている。
【０１５９】
従って、図１５に示すように、例えば、時刻t1のフレームの照度値がＬＨ閾値より大きい場合、そのフレームの照度モード信号は1となる。次に、時刻t2（t2>t1）のフレームの照度値がＬＨ閾値より小さく、ＨＬ閾値より大きい場合、そのフレームの照度モード信号は１のままにされる。次に、時刻t3（t3>t2）のフレームの照度値がＨＬ閾値より小さい場合、そのフレームの照度モード信号は０に変更される。次に、時刻t4（t4>t3）のフレームの照度値がＬＨ閾値より小さく、ＨＬ閾値より大きい場合、そのフレームの照度モード信号は０のままにされる。次に、時刻t5（t5>t4）のフレームの照度値がＬＨ閾値より大きい場合、そのフレームの照度モード信号は１に変更される。次に、時刻t6（t6>t5）のフレームの照度値がＬＨ閾値より大きい場合、そのフレームの照度モード信号は１のままにされる。
【０１６０】
このように、判定部３０５における閾値はヒステリシスを有しているため、照度信号がＨＬ閾値以上ＬＨ閾値以下である場合、照度モード信号は維持される。従って、照度モード信号の切り替えが頻繁に発生することを防止することができる。
【０１６１】
（CMOSイメージセンサ３００の処理の説明）
図１６は、図１４のCMOSイメージセンサ３００の照度値算出処理を説明するフローチャートである。この照度値算出処理は、フレーム単位で行われる。
【０１６２】
図１６のステップＳ８０において、長蓄画素１３１Ｂは、画素駆動線１１６を介して供給される制御パルスに応じて、読み出し系の走査よりもセレクタ３０９から出力された長蓄画素１３１Ｂの露光時間分だけ先行して、電子シャッタ動作を行単位で行う。
【０１６３】
ステップＳ８１において、短蓄画素１３１Ａは、画素駆動線１１６を介して供給される制御パルスに応じて、読み出し系の走査よりもセレクタ３０９から出力された短蓄画素１３１Ａの露光時間分だけ先行して、電子シャッタ動作を行単位で行う。
【０１６４】
ステップＳ８２において、短蓄画素１３１Ａと長蓄画素１３１Ｂは、画素駆動線１１６を介して供給される転送パルスに応じて撮像信号の読み出しを行単位で同時に行う。短蓄画素１３１Ａは、読み出された撮像信号をカラムADC１１３−１に供給し、長蓄画素１３１Ｂは、読み出された撮像信号をカラムADC１１３−２に供給する。
【０１６５】
ステップＳ８３において、カラムADC１１３−１とカラムADC１１３−２は、入力される撮像信号に対してA/D変換処理を行う。カラムADC１１３−１は、A/D変換処理の結果得られる画素値を水平駆動部１１４−１に供給する。カラムADC１１３−２は、A/D変換処理の結果得られる画素値を水平駆動部１１４−２に供給する。
【０１６６】
ステップＳ８４において、水平駆動部１１４−１は、カウンタ１４２から出力される短蓄画素１３１Ａの画素値を列単位で照度値算出部３０２に出力する。また、水平駆動部１１４−２は、カウンタ１５２から出力される長蓄画素１３１Ｂの画素値を列単位で照度値算出部３０２に出力する。
【０１６７】
ステップＳ８５において、照度値算出部３０２は、水平駆動部１１４−１および水平駆動部１１４−２から供給される10ビットの画素値に基づいて、14ビットの照度値を算出する。照度値算出部３０２は、算出された14ビットの照度値を乗算部３０３−１と乗算部３０３−２に供給する。
【０１６８】
ステップＳ８６において、乗算部３０３−１は、照度値算出部３０２から供給される14ビットの照度値に対して、ゲインとして4を乗算し、16ビットの乗算値をセレクタ３０４に供給する。乗算部３０３−２は、照度値算出部３０２から供給される14ビットの照度値に対して、ゲインとして1を乗算し、14ビットの乗算値をセレクタ３０４に供給する。
【０１６９】
ステップＳ８７において、セレクタ３０４は、レジスタ３０６から出力される照度モード信号が１であるかどうかを判定する。ステップＳ８７で照度モード信号が１であると判定された場合、処理はステップＳ８８に進む。
【０１７０】
ステップＳ８８において、セレクタ３０４は、乗算部３０３−１から供給される4倍された16ビットの照度値を選択し、処理をステップＳ９０に進める。
【０１７１】
一方、ステップＳ８７で照度モード信号が０であると判定された場合、ステップＳ８９において、セレクタ３０４は、乗算部３０３−２から供給される1倍された14ビットの照度値を選択する。そして、処理はステップＳ９０に進む。
【０１７２】
ステップＳ９０において、セレクタ３０４は、選択された照度値を出力するとともに、判定部３０５に供給する。
【０１７３】
ステップＳ９１において、判定部３０５は、処理対象のフレームの１つ前のフレームの照度モード信号が１であるかどうかを判定する。なお、例えば、照度モード信号の初期値は１であり、処理対象のフレームが先頭のフレームである場合、ステップＳ９１の処理では、照度モード信号が１であると判定される。
【０１７４】
ステップＳ９１で処理対象のフレームの１つ前のフレームの照度モード信号が１であると判定された場合、ステップＳ９２において、判定部３０５は、セレクタ３０４から供給される照度値がＨＬ閾値より小さいかどうかを判定する。
【０１７５】
ステップＳ９２で照度値がＨＬ閾値より小さいと判定された場合、ステップＳ９３において、判定部３０５は、照度値が低いと判定し、照度モード信号を０に変更する。そして、判定部３０５は、変更後の照度モード信号をレジスタ３０６に供給し、保持させる。ステップＳ９３の処理後、処理はステップＳ９６に進む。
【０１７６】
一方、ステップＳ９２で照度値がＨＬ閾値以上であると判定された場合、判定部３０５は、照度値が高いと判定し、照度モード信号を１のままにする。そして、判定部３０５は、照度モード信号をレジスタ３０６に供給し、保持させる。処理はステップＳ９６に進む。
【０１７７】
また、ステップＳ９１で処理対象のフレームの１つ前のフレームの照度モード信号が１ではないと判定された場合、ステップＳ９４において、判定部３０５は、セレクタ３０４から供給される照度値がＬＨ閾値より大きいかどうかを判定する。
【０１７８】
ステップＳ９４で照度値がＬＨ閾値より大きいと判定された場合、ステップＳ９５において、判定部３０５は、照度値が高いと判定し、照度モード信号を１に変更する。そして、判定部３０５は、変更後の照度モード信号をレジスタ３０６に供給し、保持させる。ステップＳ９５の処理後、処理はステップＳ９６に進む。
【０１７９】
一方、ステップＳ９４で照度値がＬＨ閾値以下であると判定された場合、判定部３０５は、照度値が低いと判定し、照度モード信号を０のままにする。そして、判定部３０５は、照度モード信号をレジスタ３０６に供給し、保持させる。処理はステップＳ９６に進む。
【０１８０】
レジスタ３０６に保持された照度モード信号はセレクタ３０４に供給され、現在の処理対象のフレームの次のフレームが新たに処理対象のフレームとされたときのステップＳ８７の処理に用いられる。また、レジスタ３０６に保持された照度モード信号は、セレクタ３０９に供給され、直後のステップＳ９６の処理に用いられる。
【０１８１】
ステップＳ９６において、セレクタ３０９は、レジスタ３０６から供給される照度モード信号が１であるかどうかを判定する。ステップＳ９６で照度モード信号が１であると判定された場合、処理はステップＳ９７に進む。
【０１８２】
ステップＳ９７において、セレクタ３０９は、乗算部３０８−１から供給される、時間Ｔを短蓄画素１３１Ａの露光時間とし、時間Ｔの１６倍を長蓄画素１３１Ｂの露光時間とするペアを選択し、垂直駆動部３０１に供給する。
【０１８３】
一方、ステップＳ９６で照度モード信号が１ではないと判定された場合、処理はステップＳ９８に進む。ステップＳ９８において、セレクタ３０９は、乗算部３０８−２から供給される、時間Ｔの4倍を短蓄画素１３１Ａの露光時間とし、時間Ｔの６４倍を長蓄画素１３１Ｂの露光時間とするペアを選択し、垂直駆動部３０１に供給する。
【０１８４】
ステップＳ９７またはステップＳ９８の処理で垂直駆動部３０１に供給されるペアは、現在の処理対象のフレームの次のフレームが新たに処理対象のフレームとされたときのステップＳ８０およびステップＳ８１の処理の露光時間とされる。ステップＳ９７またはステップＳ９８の処理後、処理は終了する。
【０１８５】
以上のように、図１４のCMOSイメージセンサ３００は、前のフレームの照度値に基づいて、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間のペアを選択する。従って、CMOSイメージセンサ３００は、照度値の広ダイナミックレンジ化に伴う短蓄画素１３１Ａと長蓄画素１３１Ｂの露光比を小さくすることができる。
【０１８６】
即ち、照度値のビット数を10ビットから16ビットに広ダイナミックレンジ化する際、通常、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光比は1:64にする必要がある。しかしながら、CMOSイメージセンサ３００は、照度値に基づいて、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間として、Tと16T、または、4Tと64Tのいずれかを選択する。これにより、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光比を1:16としながら、照度値のダイナミックレンジを10ビットから16ビットに拡大することができる。
【０１８７】
その結果、カラムADC１１３−１のノイズ等による短蓄画素１３１Ａの乗算値の誤差が、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光比が1:64である場合に比べて小さくなり、照度値のリニアリティが改善する。
【０１８８】
なお、CMOSイメージセンサ３００では、照度値が高低の２段階に分類されたが、３以上の段階に分類されるようにしてもよい。
【０１８９】
この場合、例えば、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比を変更せずに、露光時間のペアに対して４より大きいゲインを乗算する乗算部をさらに設けることにより、照度値のダイナミックレンジをより拡大することができる。
【０１９０】
また、長蓄画素１３１Ｂの最大の露光時間を変更せずに、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比を1:16より小さくする(例えば、1:8にする)ことにより、広ダイナミックレンジを維持したまま、カラムADC１１３−１のノイズ等による誤差を小さくすることもできる。その結果、照度値のリニアリティがより改善する。
【０１９１】
さらに、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間の比、および、長蓄画素１３１Ｂの最大の露光時間を変更せずに、露光時間のペアに対して４より小さいゲインを乗算する乗算部をさらに設けることにより、より照度値に適したペアを選択することができる。その結果、照度値のリニアリティがより改善する。
【０１９２】
＜第３実施の形態＞
（CMOSイメージセンサの第３実施の形態の構成例）
図１７は、本開示を適用した固体撮像素子としてのCMOSイメージセンサの第３実施の形態の構成例を示すブロック図である。
【０１９３】
図１７に示す構成のうち、図７および図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９４】
図１７のCMOSイメージセンサ４００の構成は、照度値算出部３０２の代わりに広ダイナミックレンジ化部４０１と積算部１１９が設けられる点が、図１４のCMOSイメージセンサ３００の構成と異なる。
【０１９５】
なお、広ダイナミックレンジ化部４０１、積算部１１９、乗算部３０３−１および３０３−２、セレクタ３０４、判定部３０５、レジスタ３０６、メモリ３０７、乗算部３０８−１および３０８−２、並びにセレクタ３０９はCMOSイメージセンサ４００に含まれず、例えば、CMOSイメージセンサ４００とは別の基板にDSP等の外部信号処理部として設けられるようにしてもよい。
【０１９６】
CMOSイメージセンサ４００は、第１実施の形態と第２実施の形態を組み合わせたものである。即ち、CMOSイメージセンサ４００は、前のフレームの照度値に基づいて短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間のペアを選択し、画素ごとに画素値を広ダイナミック化する。
【０１９７】
具体的には、CMOSイメージセンサ４００の広ダイナミックレンジ化部４０１は、乗算部１７１のゲインが16であることを除いて、図９の広ダイナミックレンジ化部１１８と同様に構成される。広ダイナミックレンジ化部４０１は、長蓄画素１３１Ｂの画素値に基づいて長蓄画素１３１Ｂの蓄積電荷の飽和の有無を判定する。そして、広ダイナミックレンジ化部４０１は、判定結果に基づいて、16倍された短蓄画素１３１Ａの画素値または長蓄画素１３１Ｂの画素値を選択し、積算部１１９に供給する。
【０１９８】
なお、図示は省略するが、CMOSイメージセンサ４００の照度値算出処理では、図１６のステップＳ８２乃至Ｓ８５の処理に代えて図１３のステップＳ４２乃至Ｓ６１の処理が行われる。
【０１９９】
以上のように、図１７のCMOSイメージセンサ４００は、露光時間の異なる画素値に基づいて、画素ごとに画素値のダイナミックレンジを拡大し、ダイナミックレンジが拡大された画素値を積算して照度値を生成する。従って、一部の長蓄画素１３１Ｂで蓄積電荷が飽和する場合の照度値のリニアリティを改善することができる。
【０２００】
また、CMOSイメージセンサ４００は、前のフレームの照度値に基づいて、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光時間のペアを選択することにより、照度値の広ダイナミックレンジ化に伴う短蓄画素１３１Ａと長蓄画素１３１Ｂの露光比を小さくすることができる。その結果、長蓄画素１３１Ｂの画素値の誤差と短蓄画素１３１Ａの乗算値の誤差の違いによる照度値のリニアリティの劣化を改善することができる。
【０２０１】
＜画素アレイ部１１１の他の構成例＞
図１８は、画素アレイ部１１１の短蓄画素と長蓄画素の他の構成例を示す図である。
【０２０２】
図１８において、白色の正方形が長蓄画素を表し、灰色の正方形が短蓄画素を表す。
【０２０３】
上述した説明の画素アレイ部１１１では、短蓄画素１３１Ａと長蓄画素１３１Ｂが行単位で規則的に配置されたが、図１８では、各色の短蓄画素４５１Ａのサブ画素と長蓄画素４５１Ｂのサブ画素が空間的に均一になるよう配置される。
【０２０４】
具体的には、図１８の例では、短蓄画素４５１Ａと長蓄画素４５１Ｂは、水平方向(行方向)に緑色（Ｇ）のサブ画素４６１、赤色（Ｒ）のサブ画素４６２、および緑色（Ｇ）のサブ画素４６３が並び、サブ画素４６１と垂直方向(列方向)に青色（Ｂ）のサブ画素４６４が隣接されることにより形成される。即ち、短蓄画素４５１Ａと長蓄画素４５１Ｂは、それぞれ、４つのサブ画素４６１乃至４６４からなるＬ字型のサブ画素群である。
【０２０５】
短蓄画素４５１Ａと長蓄画素４５１Ｂは、向かい合うように配置されることにより、１つの長方形状の画素４５０を構成する。図１８の画素アレイ部１１１では、このような画素４５０が規則的に配列される。即ち、短蓄画素４５１Ａと長蓄画素４５１Ｂは、それぞれ、規則的に配列される。図１８の配列は、均一露光配列といわれる。
【０２０６】
＜第４実施の形態の構成例＞
（電子機器の一実施の形態の構成例）
図１９は、本開示を適用した電子機器としての照度計の構成例を示すブロック図である。
【０２０７】
図１９の照度計５００は、光学部５０１、固体撮像素子５０２、ＤＳＰ回路５０３、メモリ５０４、表示部５０５、操作部５０６、および電源部５０７からなる。ＤＳＰ回路５０３、メモリ５０４、表示部５０５、操作部５０６、および電源部５０７は、バスライン５０８を介して相互に接続されている。
【０２０８】
光学部５０１は、レンズ群などからなり、被写体からの入射光（像光）を取り込んで固体撮像素子５０２の撮像面上に結像させる。固体撮像素子５０２は、上述した第１乃至第３実施の形態のCMOSイメージセンサの一部からなる。固体撮像素子５０２は、光学部５０１によって撮像面上に結像された入射光の光量に対応する画素値をＤＳＰ回路５０３に供給する。
【０２０９】
ＤＳＰ回路５０３は、上述した第１乃至第３実施の形態のCMOSイメージセンサの固体撮像素子５０２を形成する部分以外からなる。ＤＳＰ回路５０３は、固体撮像素子５０２から供給される画素値に基づいて照度値を算出する。ＤＳＰ回路５０３は、算出された照度値をメモリ５０４に供給するとともに、表示部５０５に供給する。
【０２１０】
メモリ５０４は、フラッシュメモリ等からなり、ＤＳＰ回路５０３から供給される照度値を記憶する。
【０２１１】
表示部５０５は、例えば、液晶パネル等のパネル型表示装置からなり、ＤＳＰ回路５０３から供給される照度値を表示する。
【０２１２】
操作部５０６は、ユーザによる操作の下に、照度計５００が持つ様々な機能について操作指令を発する。電源部５０７は、電源を、ＤＳＰ回路５０３、メモリ５０４、表示部５０５、および操作部５０６に対して適宜供給する。
【０２１３】
なお、上述した第１乃至第３実施の形態のCMOSイメージセンサはワンチップとして形成された形態であってもよいし、光学部等を含めてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
【０２１４】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２１５】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１６】
例えば、短蓄画素１３１Ａと長蓄画素１３１Ｂの露光比は、上述した例に限定されず、画素値と照度値のビット数(ダイナミックレンジ)に応じて決定することができる。また、画素値の積算は、デジタル加算ではなく、アナログ加算により行ってもよい。
【０２１７】
さらに、CMOSイメージセンサ３００や４００において、CMOSイメージセンサ２００と同様にカラムADC１１３−１および１１３−２と、水平駆動部１１４−１および１１４−２を共通化してもよい。
【０２１８】
本開示は、以下のような構成もとることができる。
【０２１９】
（１）
複数の画素の露光時間の異なる画素値に基づいて、前記画素ごとに前記画素値のダイナミックレンジを拡大する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部によりダイナミックレンジが拡大された前記画素値を積算し、照度値を生成する積算部と
を備える固体撮像素子。
（２）
前記画素は、第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とからなり、
前記広ダイナミックレンジ化部は、前記画素ごとに、その画素を構成する前記短蓄画素に蓄積された前記電荷に対応する画素値と、前記長蓄画素に蓄積された前記電荷に対応する画素値とに基づいて、前記画素値のダイナミックレンジを拡大する
ように構成された
前記（１）に記載の固体撮像素子。
（３）
前記広ダイナミックレンジ化部は、前記画素ごとに、前記長蓄画素に蓄積された電荷が飽和していない場合、前記長蓄画素の画素値を前記ダイナミックレンジが拡大された画素値とし、前記長蓄画素に蓄積された電荷が飽和している場合、前記第１の露光時間に対する前記第２の露光時間の割合を乗算した前記短蓄画素の画素値を前記ダイナミックレンジが拡大された画素値とする
ように構成された
前記（２）に記載の固体撮像素子。
（４）
前記短蓄画素に蓄積された前記電荷のアナログ信号に対してA/D変換処理を行い、その電荷に対応するデジタル値である画素値を生成する短蓄変換部と、
前記長蓄画素に蓄積された前記電荷のアナログ信号に対してA/D変換処理を行い、その電荷に対応するデジタル値である画素値を生成する長蓄変換部と
をさらに備え、
前記広ダイナミックレンジ化部は、前記画素ごとに、前記短蓄変換部により生成された前記画素値と前記長蓄変換部により生成された前記画素値とに基づいて、前記画素値のダイナミックレンジを拡大する
ように構成された
前記（２）または（３）に記載の固体撮像素子。
（５）
前記短蓄画素に蓄積された前記電荷のアナログ信号と前記長蓄画素に蓄積された前記電荷のアナログ信号に対してA/D変換処理を行い、その電荷に対応する画素値を生成する変換部と、
前記変換部により生成された前記短蓄画素の画素値と前記長蓄画素の画素値の一方を記憶する記憶部と
をさらに備え、
前記画素選択部は、前記画素ごとに、前記変換部により変換され、前記記憶部に記憶されない前記画素値と、前記記憶部により記憶された前記画素値とに基づいて、前記画素値のダイナミックレンジを拡大する
ように構成された
前記（２）または（３）に記載の固体撮像素子。
（６）
前記積算部により生成された前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記第１の露光時間および前記第２の露光時間のペアを、所定のペアの倍数から選択する選択部
をさらに備え、
前記短蓄画素は、前記選択部により選択された前記ペアの前記第１の露光時間に入射された光の量に応じた電荷を蓄積し、
前記長蓄画素は、前記選択部により選択された前記ペアの前記第２の露光時間に入射された光の量に応じた電荷を蓄積する
ように構成された
前記（２）乃至（５）のいずれかに記載の固体撮像素子。
（７）
前記短蓄画素と前記長蓄画素は、行単位で規則的に配列される
ように構成された
前記（１）乃至（６）のいずれかに記載の固体撮像素子。
（８）
前記短蓄画素と前記長蓄画素は、それぞれ、Ｌ字型の画素群として規則的に配列される
ように構成された
前記（１）乃至（７）のいずれかに記載の固体撮像素子。
（９）
複数の画素の露光時間の異なる画素値に基づいて、前記画素ごとに前記画素値のダイナミックレンジを拡大する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部によりダイナミックレンジが拡大された前記画素値を積算し、照度値を生成する積算部と
を備える電子機器。
（１０）
複数の画素の第１の露光時間の画素値と第２の露光時間の画素値に基づいて、前記複数の画素の画素値の積算値のダイナミックレンジを拡大する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部によりダイナミックレンジが拡大された前記積算値に対して、前記第１の露光時間と前記第２の露光時間のペアに対応するゲインを乗算した値を照度値として生成する乗算部と、
前記乗算部により生成された前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記ペアを、所定のペアの倍数から選択する選択部と
を備える固体撮像素子。
（１１）
前選択部は、前記照度値が閾値以上である場合、倍率の小さい前記所定のペアの倍数を選択し、前記照度値が前記閾値より小さい場合、倍率の大きい前記所定のペアの倍数を選択する
ように構成された
前記（１０）に記載の固体撮像素子。
（１２）
前記選択部は、前記倍率の小さい所定のペアの倍数が選択されている場合の前記閾値を、前記倍率の大きい所定のペアの倍数が選択されている場合の前記閾値に比べて小さくする
ように構成された
前記（１１）に記載の固体撮像素子。
（１３）
前記画素は、前記第１の露光時間に入射された光の量に応じた電荷を蓄積する短蓄画素と、前記第１の露光時間より長い前記第２の露光時間に入射された光の量に応じた電荷を蓄積する長蓄画素とからなり、
前記広ダイナミックレンジ化部は、前記複数の画素の前記短蓄画素に蓄積された前記電荷に対応する画素値と、前記長蓄画素に蓄積された前記電荷に対応する画素値とに基づいて、前記積算値のダイナミックレンジを拡大する
ように構成された
前記（１０）乃至（１２）のいずれかに記載の固体撮像素子。
（１４）
前記短蓄画素と前記長蓄画素は、行単位で規則的に配列される
ように構成された
前記（１３）に記載の固体撮像素子。
（１５）
前記短蓄画素と前記長蓄画素は、それぞれ、Ｌ字型の画素群として規則的に配列される
ように構成された
前記（１３）に記載の固体撮像素子。
（１６）
複数の画素の第１の露光時間の画素値と第２の露光時間の画素値に基づいて、前記複数の画素の画素値の積算値のダイナミックレンジを拡大する広ダイナミックレンジ化部と、
前記広ダイナミックレンジ化部によりダイナミックレンジが拡大された前記積算値に対して、前記第１の露光時間と前記第２の露光時間のペアに対応するゲインを乗算した値を照度値として生成する乗算部と、
前記乗算部により生成された前記照度値に基づいて、その照度値に対応するフレームの次のフレームの前記ペアを、所定のペアの倍数から選択する選択部と
を備える電子機器。
【符号の説明】
【０２２０】
１００  CMOSイメージセンサ，  １１３−１，１１３−２  カラムADC，  １１８  広ダイナミックレンジ化部，  １１９  積算部，  １３１  画素，  １３１Ａ  短蓄画素，  １３１Ｂ  長蓄画素，  ２００  CMOSイメージセンサ，  ２０２  カラムADC，  ３００  CMOSイメージセンサ，  ３０２  照度値算出部，  ３０３−１，３０３−２  乗算部，  ３０９  セレクタ，  ４５１Ａ  短蓄画素，  ４５１Ｂ  長蓄画素，  ５００  照度計，  ５０２  固体撮像素子，  ５０３  ＤＳＰ回路
【図１】
0006546531.tif 000002
【図２】
0006546531.tif 000003
【図３】
0006546531.tif 000004
【図４】
0006546531.tif 000005
【図５】
0006546531.tif 000006
【図６】
0006546531.tif 000007
【図７】
0006546531.tif 000008
【図８】
0006546531.tif 000009
【図９】
0006546531.tif 000010
【図１０】
0006546531.tif 000011
【図１１】
0006546531.tif 000012
【図１２】
0006546531.tif 000013
【図１３】
0006546531.tif 000014
【図１４】
0006546531.tif 000015
【図１５】
0006546531.tif 000016
【図１６】
0006546531.tif 000017
【図１７】
0006546531.tif 000018
【図１８】
0006546531.tif 000019
【図１９】
0006546531.tif 000020