(57)【要約】【課題】これまでのＣＭＯＳイメージセンサはダイナミックレンジが狭いため、明るい部分と暗い部分とが同時に存在している場合には、良好な撮像を行うことができなかった。【解決手段】イメージセンサの画素部から長時間の蓄積による低照度信号と、短時間の蓄積による中照度信号と、超短時間の蓄積による高照度信号とを取り出すことにより、高照度における光電荷の飽和を防止してダイナミックレンジを広げることができる。また、複数の短時間蓄積信号のそれぞれ異なる蓄積時間の組み合わせからなる広ダイナミックレンジ撮像条件を動的に変更することにより、さらにダイナミックレンジの適応的制御が行える。【選択図】      図１２
2004363666.tif 000002
【特許請求の範囲】
【請求項１】
イメージアレイセンサと、前記イメージアレイセンサに長時間蓄積された光電荷による信号を全画素に対してフレーム周期の１／２よりも短時間に集中読み出しを行う手段と、各画素毎の信号に関し、フレーム周期から長時間蓄積期間を差し引いた残余期間の全部またはその一部を利用してｎ回（ｎは１以上の整数）の短時間蓄積を行う手段と、前記長時間蓄積された光電荷による信号の全画素短時間集中読み出し完了後に第１番目の短時間蓄積の光電荷による信号を全画素に対してフレーム周期の１／２よりも短時間に集中読み出しを行う手段と、ｎが２以上の場合に、同様にｉ番目（ｉ＝１，…，ｐ−１；ｐは整数であり、かつｐ≦ｎ）の短時間蓄積の光電荷による信号の全画素短時間集中読み出し完了後に、ｉ＋１番目の短時間蓄積の光電荷による信号を全画素に対してフレーム周期の１／２よりも短時間に集中読み出しを行う手段と、前記長時間蓄積の光電荷による信号および前記ｉ番目（ｉ＝１，…，ｐ）の短時間蓄積の光電荷による信号を合成する手段とからなる広ダイナミックレンジイメージセンサ。
【請求項２】
さらに、垂直走査開始信号との時間差が外部から制御可能なリセット信号により前記短時間蓄積の光電荷の初期化を行い、任意時間の短時間蓄積を可能とするリセット手段を備えてなる請求項１記載の広ダイナミックレンジイメージセンサ。
【請求項３】
さらに、長時間蓄積信号がその線形範囲を超えて飽和しているかどうかを判定し、飽和している場合には短時間蓄積信号の読み出しを行い、飽和していない場合には読み出しを行わないという適応的制御手段を備えてなる請求項１記載の広ダイナミックレンジイメージセンサ。
【請求項４】
前記適応的制御手段は、さらに、ｉ番目の短時間蓄積信号がその線形範囲を超えて飽和しているかどうかを判定し、飽和している場合にはｉ＋１番目の短時間蓄積信号の読み出しを行い、飽和していない場合には読み出しを行わないものである請求項３記載の広ダイナミックレンジイメージセンサ。
【請求項５】
さらに、それ以前に取得した長時間蓄積信号及び短時間蓄積信号が飽和しているかどうかを表すオーバーフロー信号作成手段と、短時間蓄積信号の振幅の最大値が設定したしきい値よりも小さいかどうかを表すアンダーフロー信号作成手段と、前記オーバーフロー信号および前記アンダーフロー信号を用いて短時間蓄積信号の数及びそれぞれの蓄積時間の組み合わせを動的に変更する手段とを備えてなる請求項１記載の広ダイナミックレンジイメージセンサ。
【請求項６】
前記オーバーフロー信号作成手段は、各蓄積信号が飽和しているかどうかを、複数画素におけるしきい値を越えている画素の数により判定して信号作成するものであり、前記アンダーフロー信号作成手段は、その振幅の最大値が設定したしきい値よりも小さいかどうかを、複数画素におけるしきい値を越えている画素の数により判定して信号作成するものである請求項５記載の広ダイナミックレンジイメージセンサ。
【請求項７】
前記アンダーフロー信号作成手段は、それ以前に取得した短時間蓄積信号に対して得たヒストグラムの平均値が、設定したしきい値よりも小さいかどうかを判定して信号作成するものである請求項５記載の広ダイナミックレンジイメージセンサ。
【請求項８】
さらに、既に読み出した長時間蓄積による映像信号または短時間蓄積による映像ごとのヒストグラムを求める手段と、そのヒストグラムの平均値が、あるしきい値以下の場合には高いゲインに設定し、また高ゲインに設定して読み出した信号に対しては、ヒストグラムの平均値が別に設けたしきい値を越えている場合には、低いゲインの設定に戻すゲイン可変の増幅器をカラムに備えてなる請求項１記載の広ダイナミックレンジイメージセンサ。
【請求項９】
さらに、信号を短時間に高速に読み出すために、並列に信号の水平転送を行う複数の読み出し回路をカラムに設けてなる請求項１乃至５記載の広ダイナミックレンジイメージセンサ。
【請求項１０】
さらに、並列に信号の水平転送を行うために、カラーフィルタの画素成分毎に分けた画素成分毎の読み出し回路をカラムに設けてなる請求項１乃至５記載の広ダイナミックレンジイメージセンサ。
【請求項１１】
イメージアレイセンサと、前記イメージアレイセンサから長時間蓄積信号を得る手段と、前記イメージアレイセンサから複数種類の短時間蓄積信号を得る手段と、既に画像メモリに書き込まれた信号を読み出して、それが設定したしきい値を越える場合には、演算を施したイメージセンサからの読み出し信号を画像メモリの対応する画素位置において上書きをするという動作を、前記長時間蓄積信号と複数種類の短時間蓄積信号とを蓄積時間の長い順に読み出した映像信号に対して繰り返し行うことにより合成する手段とを備えてなる広ダイナミックレンジイメージセンサ。
【請求項１２】
イメージアレイセンサと、前記イメージアレイセンサから長時間蓄積信号を得る手段と、前記イメージアレイセンサから複数種類の短時間蓄積信号を得る手段と、蓄積時間の種類を表すために蓄積時間の長い信号から短い信号に向かって順次増加するようにゾーン番号を割り当てる手段と、前記長時間蓄積信号と複数種類の短時間蓄積信号のうちいずれか１つを、前記ゾーン番号とともに記憶する画像メモリと、前記イメージアレイセンサから読み出した長時間蓄積信号が飽和していない場合にはゾーン番号をそのまま書き込むとともに長時間蓄積信号を画像メモリに書き込み、飽和している場合にはゾーン番号を１つ大きな値にして書き込む第１の書き込み制御手段と、次に書き込むべき短時間蓄積信号のゾーン番号と、既に前記画像メモリに記憶されたゾーン番号とを比較し、既に記憶されている画像信号が飽和していると判断した場合には、次に書き込むべき短時間蓄積信号を新画像信号として前記画像メモリに書き込み、飽和していないと判断した場合には、画像信号及びゾーン番号の更新を行わない第２の書き込み制御手段とを備えてなる広ダイナミックレンジイメージセンサ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、イメージセンサにおけるダイナミックレンジの拡大に関するものである。
【０００２】
【従来の技術】
非常に明るい部分と暗い部分が同時に存在している場合でも良好に撮像を行うことができる広いダイナミックレンジを持ったイメージセンサの従来技術は数多く存在する。  ＣＭＯＳイメージセンサ上でダイナミックレンジを高照度側へ拡大する処理として多くの方式が存在する。
これには（１）特開平７−２７４０７２号で提示されている、画素回路内に比較器と係数器を配置して、フォトダイオードが外部から設定したしきい値に達するまでのクロック数を計測する方式、（２）特開２０００−２５３３２０号で提示されている、画素回路内に比較器と係数器を配置して、一フレーム期間内にフォトダイオードが、外部から設定したしきい値に達した回数を計測する方式、（３）特開２００１−１６９１８４号ならびに（４）特開２００１−１８６４１４号に提示されている、４トランジスタ型画素回路において、フォトダイオードのブルーミング電荷を１垂直期間より十分短い期間、フローティングディフュージョンに蓄積する方式、ならびに信号レベルとリセットレベルの差分と、信号検出部で一垂直期間より十分短い期間蓄積した信号分から求める方式、（５）Ｙｉｂｉｎｇ  （Ｍｉｃｈｅｌｌｅ）  Ｗａｎｇ他によってｔｈｅ  ２００１  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ  ａｎｄ  Ａｄｖａｎｃｅｄ  Ｉｍａｇｅ  Ｓｅｎｓｏｒｓ，  ｐｐ１３７−１４０で発表された”Ａ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ＣＭＯＳ  ＡＰＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ”で説明されているような、４トランジスタ型画素回路のフローティングディフュージョンを、高照度用の感度の低い光電変換素子として利用する方式、（６）米国特許公報６１７５３８３号、６３６９７３７号、２００２／００２７６０６号および、ＩＥＥＥ  Ｊｏｕｒｎａｌ  ｏｆ  Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ，  Ｖｏｌ．３５，  Ｎｏ．５の”１０００００−Ｐｉｘｅｌ，  １２０−ｄＢ  Ｉｍａｇｅｒ  ｉｎ  ＴＦＡ  Ｔｅｃｈｎｏｌｏｇｙ”に記載されている、蓄積時間と読み出し信号レベルから浮動小数点表現により画素値を求める方式、（７）特開２０００−８３１９８ならびに特開２００２−７７７３３で提示されている、入射光量に対して対数的に信号電圧が変化する対数圧縮型画素回路を利用する方式、（８）ＣＭＯＳイメージセンサにおいて、ｎ行目の信号読みだしを行う際に、Δだけずれた行の信号の読みだしも行うことで、長時間蓄積信号と短時間蓄積信号を獲得し、これらを合成して広ダイナミックレンジ化を図る方式（ＵＳ  Ｐａｔｅｎｔ  ６１１５０６５）、などがある。
【０００３】
【特許文献１】特開平７−２７４０７２号公報
【特許文献２】特開２０００−２５３３２０号公報
【特許文献３】特開２００１−１６９１８４号公報
【特許文献４】特開２００１−１８６４１４号公報
【特許文献５】米国特許第６１７５３８３号明細書
【特許文献６】米国特許第６３６９７３７号明細書
【特許文献７】米国特許第２００２／００２７６０６号明細書
【特許文献８】特開２０００−８３１９８号公報
【特許文献９】特開２００２−７７７３３号公報
【特許文献１０】米国特許第６１１５０６５号明細書
【非特許文献１】Ｙｉｂｉｎｇ  （Ｍｉｃｈｅｌｌｅ）  Ｗａｎｇ  ｅｔｃ．  ”Ａ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ＣＭＯＳ  ＡＰＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ”，  ｔｈｅ  ２００１  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ  ａｎｄ  Ａｄｖａｎｃｅｄ  Ｉｍａｇｅ  Ｓｅｎｓｏｒｓ，  ｐｐ１３７−１４０
【非特許文献２】”１０００００−Ｐｉｘｅｌ，  １２０−ｄＢ  Ｉｍａｇｅｒ  ｉｎ  ＴＦＡ  Ｔｅｃｈｎｏｌｏｇｙ”ＩＥＥＥ  Ｊｏｕｒｎａｌ  ｏｆ  Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ，  Ｖｏｌ．３５，  Ｎｏ．５
【０００４】
【発明が解決しようとする課題】
一般的なＣＭＯＳイメージセンサの信号蓄積と信号読みだしタイミングを図１（ａ）に、バースト読みだし（集中読みだし）を行うＣＭＯＳイメージセンサの信号蓄積及び読みだしタイミングを図（ｂ）に示す。これは垂直方向の画素数が５画素の場合であり、垂直ブランキング期間は考慮していない。
【０００５】
一般的なＣＭＯＳイメージセンサの場合には、垂直方向の画素数がＮＶの場合、１フレームの時間ＴＦをＮＶで割った時間をかけて１水平ライン分の信号の読みだしを行い、すべての画素からの信号読みだしを１フレームの時間をかけて読み出す。
これに対して、バースト読みだしでは、１水平ラインの信号の読みだし時間を短くし、すべての画素からの信号読みだしを集中的に短時間に行う。このような読みだし方をすると、信号を高速に読み出さなければならないため、消費電力が大きくなるなどの問題があるが、信号電荷の蓄積開始時点のタイミングのずれが、比較的従来の方法に比べて少ないため、動きの大きい対象物を撮像したときのひずみが比較的小さいという利点がある。
【０００６】
従来の技術の（８）は、図１（ａ）の読みだし方法に基づき、長時間蓄積を行ったｎ行目の信号読みだしを行う際に、その行から既に読み出した方向にΔ行だけずれた行の信号の読み出しも行うことによって、Δ×ＴＨ（１水平ラインの読みだし時間）に相当する短時間蓄積の信号をも読みだし、それらを合成することで、広ダイナミックレンジのイメージセンサを実現しようとするものである。
しかしながら、このような読みだし方向では、動きの大きい対象物を撮像したときに、動きひずみが大きいという問題がある。また、最も短時間の蓄積時間は、Δ＝１の場合であり、これ以下にはできないため、拡大できるダイナミックレンジの最大値がこれによって制限されてしまう。また、長時間蓄積の信号と短時間蓄積の信号の読みだしを同時並行で行うので、例えば長時間蓄積を行った全画素の情報から、短時間蓄積と読みだしを行うかどうかをリアルタイムに判断したりする適応的な処理はできない。
【０００７】
【発明の概要】
本発明は、信号のバースト読みだし（集中読みだし）に基づく広ダイナミックレンジイメージセンサに関するものであり、かつ、アダプティブマルチプルサンプリング方式についても提案する。
本発明は、イメージセンサから長時間蓄積を行った信号を高速にバースト読み出しし、その後、短時間蓄積を行った信号をバースト読み出しする。さらにその後、より短時間の蓄積を行った信号をバースト読み出しする。必要であれば、これらをさらに繰り返す。これらの蓄積時間の異なる信号を読み出して合成することで広ダイナミックレンジ化をはかったイメージセンサである。
さらに、バースト読み出しにより、長時間蓄積、短時間蓄積の画像情報がフレーム単位で得られることを利用し、信号の最大値、飽和しているかどうか、ヒストグラムの情報を元に、読み出し回路の利得と、短時間蓄積、極短時間蓄積とバースト読み出しを行うかどうか、またそれらの蓄積時間をリアルタイムに判断しながら設定し、最適のダイナミックレンジに設定しながら撮像を行うことができる適応ダイナミックレンジイメージセンサである。
【０００８】
【実施例】
本発明は、従来技術の問題を解決する特徴を備えた広ダイナミックレンジイメージセンサを提供するものである。まず、本発明は、図１の（ｂ）に示すバースト読みだしに基づいている。これに基づき、長時間蓄積、短時間蓄積、より短時間の蓄積といった複数の蓄積時間による信号を読みだし、合成することで広ダイナミックレンジイメージセンサを実現する。本発明による広ダイナミックレンジイメージセンサの信号の蓄積と読みだしのタイミング図を図２に示す。この例では、垂直方向の画素数が５画素の場合を示している。長時間蓄積を行った信号を読み出すトータルの時間をＴＲとする。各画素毎に関しフレーム周期から長時間蓄積を行った時間を差し引いた時間の全部、あるいは、その一部の時間、信号蓄積を行った信号を短時間蓄積信号とし、同じＴＲの時間をかけて読み出す。また、残された時間の一部を用いて、さらに、より短時間の蓄積を行い、同じＴＲの時間をかけて読み出す。さらに短時間の蓄積を行った信号読み出しを行う場合も同様であり、このようにして複数の蓄積時間の信号を読み出すことができる。
長時間蓄積の信号を短時間で集中読み出し後に、短時間蓄積信号の読み出しを行うためには、全画素に対する集中読み出しの時間は、長くともフレーム周期の１／２以下でなければならない。実際の構成としては、フレーム周期の１／４または１／６が実用的価値が高いと考えられる。例えば、フレーム周期の１／４の場合には、２種類までの短時間蓄積、フレーム周期の１／６の場合には、３種類までの短時間蓄積を行うのが適しており、この範囲内で短時間蓄積を行うかどうかと、短時間蓄積の時間を適応的に変化させながら、広ダイナミックレンジの画像の撮像を行うことができる。
【０００９】
いま、短時間蓄積信号のバースト読みだし数を、ＮＳとする。図２の例では、短時間蓄積とより短時間蓄積の信号の２回バースト読みだしするので、ＮＳ＝２である。また、長時間信号蓄積時間ＴＡＬと、ＴＲの比、つまり、ＴＡＬ／ＴＲをＮＲとする。フレーム周期をＴＦとして
次式の関係がある。
【数１】
2004363666.tif 000003
【００１０】
ｍ回（ｍ種類）の短時間信号蓄積を行う場合を考え、ｍ回目の信号蓄積時間をＴＡＳ（ｍ）とする。その最長の値を、ＴＡＳＭＡＸ（ｍ）とする。図２より、ＴＡＳＭＡＸ（ｍ）＝ＴＲである。その蓄積時間はこれを最大値として任意に選ぶことができる。ただし、その制御を容易にするため、以下のように蓄積時間を設定する。
【００１１】
垂直方向の画素数をＮＶとすると、１水平ラインを読み出す時間ＴＨは、垂直ブランキング期間をＴＢとして、
【数２】
2004363666.tif 000004
である。ＴＢを、ＴＨの整数倍にえらび、ＴＢ＝ＮＢ×ＴＨとする。これを用いて短時間蓄積時間を以下のように選ぶ。
ＴＡＳ（ｍ）＝ｎＴＨ
ここで、ｎは整数であり、０≦ｎ≦ＮＶ＋ＮＢである。この方法により可能な最短の蓄積時間を、ＴＡＳＭＩＮ（ｍ）とすると、これはｎ＝１の場合であり、
ＴＡＳＭＩＮ（ｍ）＝ＴＨとなる。
これより、長時間蓄積を１フレーム周期にわたり行う一般的なイメージセンサに対する最大のダイナミックレンジ拡大率は、ＴＦ／ＴＡＳＭＩＮ（ｍ）であり、以下のようになる。
【数３】
2004363666.tif 000005
【００１２】
例えば、ＮＳ＝３，ＮＲ＝４，ＮＶ＋ＮＢ＝４８４の場合、３３８８倍、すなわち約７１ｄＢまでの拡大が可能である。同じ計算を、従来技術の（８）に対して行うと、従来技術では、ダイナミックレンジの拡大率は、垂直画素数倍つまり、ＮＶであるので、４８０倍、すなわち約５４ｄＢである。本発明の方が、ダイナミックレンジ拡大に対して有利であることがわかる。
【００１３】
次に、このような原理に基づく広ダイナミックレンジイメージセンサの回路構成について説明する。図３に、そのブロック図を示す。
また、図３において、ＮＶ＝４，ＮＢ＝１，ＮＳ＝２の場合の制御信号のタイミングを図４に示す。ＴＡＳ（１）＝ＴＲとし、ＴＡＳ（２）＝２ＴＨとしている。
長時間蓄積を行った信号に対して、最初のＴＲの期間にバースト読みだしを行う。この期間を用いて、短時間（ＴＡＳ（１）の時間）蓄積を行い、次のＴＲの期間にバースト読みだしを行う。この期間の一部を用いてより短時間（ＴＡＳ（２）の時間）蓄積を行い、次のＴＲの期間にバースト読みだしを行う。
【００１４】
このような動作を行わせるために、垂直シフトレジスタ（図３では、Ｄの記号でかいたフリップフロップのチェーン）に与える２つのトリガ信号（ＶＴＲＧ１，  ＶＴＲＧ２）を図４に示したように与える。ＶＴＲＧ１は、バースト読みだしのためのトリガであり、ＶＴＲＧ２は、ＴＲよりも短い時間蓄積を行うためのリセット信号を発生するために専用に設けた垂直シフトレジスタに与えるトリガ信号である。図４に示したようなタイミングでＶＴＲＧ２を与えることで、ＴＡＳ（２）＝ＴＨ＋ＴＢ＝２ＴＨとなる。
【００１５】
バースト読みだしでは、読みだし速度が高速になるため、消費電力が増大する可能性がある。特にＡ／Ｄ変換器の消費電力が増大する。しかし、１フレーム周期の中で読みだしを行っている時間以外は、読みだし回路及びＡ／Ｄ変換器は動作させる必要がないので、投入電力をカットして低消費電力化を図ることができる。具体的には、例えば通常動作のための電流値から、スタンバイ時には、電流を１／１０程度にしぼった電流値を設定することで、回路を不安定にすることなく、スタンバイ時の電力を大きく低減することができる。
【００１６】
また、読みだし速度が高速になるために、１つの読みだし回路だけでは動作速度がおいつかなくなる場合があり、その場合は、図５に示すように、読みだし回路を２系統、あるいは図６のように４系統設ける方法も考えられる。カラーフィルタを用いた単板式カラーイメージセンサの場合、例えばベイヤー配列の原色フィルタのＲ，Ｂ，Ｇ１，Ｇ２成分を４系統の読み出し回路にそれぞれ読み出して、並列に水平読み出しを行うことができる。この場合、４つの読み出し回路の特性のずれの補正を、色信号に対する処理を行う際に同時に行うことができ、無駄がない。図６中のＡＤＣはＡ／Ｄ変換器である。
【００１７】
なお、以上は、３トランジスタ画素回路の場合を示しているが、画素内電荷転送を用いた４トランジスタ画素回路など、他の画像回路を用いることも可能である。例えば、４トランジスタの画素回路の場合には、図４，図５においてＶＴＲＧ２によって、リセット信号だけでなく、電荷転送の制御信号についても発生するようにすればよい。
【００１８】
このようなバースト読みだしによる広ダイナミックレンジイメージセンサでは、動きひずみを少なくすることと、広ダイナミックレンジ画像が得られるという２点を両立できるため、車載用など、撮像対象の動きが大きく、広ダイナミックレンジが必要な応用に適する。
この方式のもう１つの利点は、長時間蓄積、短時間蓄積の画像を独立して得ることができるので、長時間蓄積により得た画像情報を元にして短時間蓄積撮像の条件設定、あるいは短時間蓄積撮像が必要かどうかの判断をリアルタイムに行うことができることである。
【００１９】
バースト読みだしでは、全画素の信号を完全に読み終わってから、次の短時間蓄積の読みだしを行うかどうか、またそのための画素部の電荷の初期化動作を行うかどうかを決定することができる。このことを利用すると、撮像している対象にあわせて最適なダイナミックレンジにリアルタイムに設定しながら撮像することができる。つまり、適応的ダイナミックレンジ撮像が可能である。
【００２０】
図７に、撮像条件の異なる１０の状態と、それぞれにおいて得られるダイナミックレンジの値をしめす。Ｓ０は、長時間信号蓄積と読みだしのみを行う場合であり、各状態におけるダイナミックレンジは、このときのダイナミックレンジを基準として取ってある。ＬＳは長時間蓄積信号、ＳＡ１，ＳＡ２，ＳＡ３は短時間蓄積信号を意味しているが、図７の中の値は、ＳＡ１についてはＬＡに対する、ＳＡ２はＳＡ１に対する、またＳＡ３はＳＡ２に対する蓄積時間の比を表している。なお、短時間蓄積信号を読み出すと、その分長時間蓄積の時間がその分短くなり、その分感度が低下するので、その効果をダイナミックレンジの計算に入れている。また、長時間信号に対してのみ、イメージセンサのカラムでＧ＝４のゲインで増幅する場合についても示している。Ｇ＝１の場合のダイナミックレンジＤ０＝６６ｄＢ、Ｇ＝４の場合のダイナミックレンジＤ０’＝６０ｄＢとすると、最大（状態Ｓ９の場合）でそれぞれ１２３ｄＢ，  ２９ｄＢまで拡大可能である。
【００２１】
図７において、短時間蓄積を２回まで行う場合、すなわちＳ０からＳ６までを用いる場合について、ダイナミックレンジをリアルタイムに最適値に設定しながら撮像する場合の状態遷移図を図８に示す。これは、長時間蓄積信号及び１回目、２回目の短時間蓄積信号が、扱える最大振幅を超えているかどうかを表すオーバーフローフラグＯＦ０，ＯＦ１，ＯＦ２また、１回目及び２回目の短時間蓄積信号の最大値が、扱える最大振幅と比べて十分小さいかどうかを表す、アンダーフローフラグＵＦ１，ＵＦ２を用いて、撮像条件を動的に設定する。
図８に、動的ダイナミックレンジ設定のための処理のブロック図を示す。まずオーバーフローフラグについては、Ａ／Ｄ変換器（ＡＤＣ）の出力Ｙに対して、設定したしきい値Ｔ１と比較し、Ｔ１を越えている画素の数をカウンタで計数する。これをＮ（Ｙ，Ｔ１）とし、これが、設定したしきい値Ｔ３以上であれば、オーバーフローフラグを１にする。式で表せば、
【数４】
2004363666.tif 000006
となる。ここで、ＯＦｉのｉは、ｉ＝０，１，２をとり、ＯＦ１，ＯＦ２，ＯＦ３は、それぞれ長時間蓄積信号，１回目の短時間蓄積信号，２回目の短時間蓄積信号に対するオーバーフローフラグである。
【００２２】
また、アンダーフローフラグについては、ＡＤＣの出力Ｙに対して、設定したしきい値Ｔ２と比較し、Ｔ２を越えている画素の数をカウンタで計数する。これをＮ（Ｙ，Ｔ２）とし、これが、設定したしきい値Ｔ３以下であれば、アンダーフローフラグを１にする。式で表せば、
【数５】
2004363666.tif 000007
となる。ここで、ＵＦｉのｉは、ｉ＝１，２をとり、ＵＦ１，ＵＦ２は、それぞれ１回目の短時間蓄積信号、２回目の短時間蓄積信号に対するＹから判断した、アンダーフローフラグである。
これらのフラグを用いて、図８の状態遷移図のように、ダイナミックレンジを適応的に変化させながら、信号がほぼ飽和しない最適の条件での撮像を行うことができる。
特にバースト読みだしでは、例えば、全体に照度の低い状態で長時間蓄積信号だけで撮像を続けている状態から、急に明るくなったとしても、長時間蓄積信号が飽和しているかどうかを判断し、直後に短時間蓄積信号の読みだし状態に移行することができ、飽和をさせないで画像を取得することができる。
なお、このような広ダイナミックレンジの撮像条件がフレーム毎に頻繁に変化することにより、ちらつきを感じる等問題が生じる場合には、式（１）や式（２）の中に示した条件が、何フレームかにわたって継続して起こった場合にのみ、オーバーフロー、アンダーフローのフラグを発生させたり、実際の状態遷移を、フレーム毎に行うのではなく、複数フレームに対して１回だけ行うようにする。
【００２３】
また、イメージセンサのカラムにおいてノイズキャンセルを行いながら、小さいゲインと大きなゲインを切り替えることで、低照度において低雑音で信号の読みだしノイズを低くすることで、低照度側へのダイナミックレンジ拡大が可能である。ゲインを１倍と４倍で切り替えるカラムノイズキャンセル回路の例を図１０に示す。反転増幅器を用いたスイッチトキャパシタ型のノイズキャンセル回路であり、Ｇａｉｎ入力に１が与えられると入力側に接続される容量が４Ｃになり、反転増幅器の入出力間に接続される容量Ｃとの比により４倍の増幅がなされる。Ｇａｉｎ入力に０が与えられると入力の３Ｃが切り離され、容量比は１になるため、１倍の増幅がなされる。また、この回路は入力に画素からのリセットレベルと信号レベルが交互に与えられる。  図３に示すような３トランジスタの画素回路の場合は、先に信号レベルが与えられ、そのとき、図１０のφ１で制御されるスイッチをオンにしておき、入力の容量に信号レベルをサンプルする。その後、φ１で制御されるスイッチをオフにし、入力にリセットレベルを与えることで、入力レベルとリセットレベルの差が増幅されて出力され、ノイズキャンセル動作がなされる。なお、埋め込みフォトダイオードを用いて画素内部で電荷転送を行う４トランジスタの場合は、先にリセットレベルが与えられ、その後信号レベルが与えられる点が異なるだけで、同様に適用可能である。
【００２４】
４倍のゲインの設定は、長時間蓄積信号の読みだし、短時間蓄積信号の読みだしどちらに対しても用いることができるが、特に低照度領域の感度を向上する意味では長時間蓄積信号に対して適用するのが有効である。長時間蓄積信号に対して、ゲインを１倍と４倍で切り替える方法としては、１フレーム前の長時間蓄積信号を全画素読みだして得た信号から計算したヒストグラムを用いるのが有効である。そのための処理回路の構成を図９に示す。その方法について説明する。ＡＤＣの出力Ｙに対し、Ｎ階調の画像をＭ個の領域に分割する。まず、ｉ＝０，…，Ｍ−１に対して、ヒストグラムＨ（ｉ）を初期化する。すなわち、
Ｈ（ｉ）＝０  （ｉ＝０，…，Ｍ−１）
全ての画素出力に対して、以下を実行する。
（ｉ＝０，…，Ｍ−１）に対し、
【数６】
2004363666.tif 000008
ここで［ｘ］は、ｘの小数点以下を切り捨てた整数を意味する。このようにして得たヒストグラムの平均値を計算する。
【数７】
2004363666.tif 000009
これを用いて、カラム増幅器のゲインを図１１に示すような状態遷移図に従い、ゲインをフレーム単位で設定する。
【００２５】
これは、以下の様な動作をする。現在のカラム増幅器のゲインＧを１として、ヒストグラムの平均値があるしきい値ＴＬよりも小さければ、カラム増幅器のゲインＧを４にし、ＴＬ以上であれば、Ｇ＝１のままとする。これは、新しいフレームの画像の読みだしを行う以前に設定を完了しておく。そのフレームに対して同様にヒストグラムの平均値を計算し、それが、べつのしきい値ＴＨよりも小さければ、Ｇ＝４のままとする。もしＴＨを超えていたら、Ｇ＝１に戻す。なお、図９においては、Ｇ＝１の場合は、Ｇ１を１に設定し、Ｇ＝４の場合にはＧ４を１に設定する。この２つの制御信号が、図１０のカラムノイズキャンセルアンプのゲインを設定するためのＲＳフリップフロップに与えられ、Ｇ１とＧ４がともに０の場合には設定状態を保持する。
このようにすることで、１つ前のフレームの輝度分布を見ながら、次のフレームの画像信号の読みだしのゲインを最適にコントロールすることができる。この場合、あるフレームから急激に明るくなった場合には、Ｇ＝４に設定することで、長時間蓄積信号が飽和するかもしれない。しかし、その場合には短時間蓄積信号を読み出すことで飽和した画素信号を短時間蓄積信号で置き換えることができる。
【００２６】
このようにカラム増幅器のゲインを可変にするのは、長時間蓄積を行った信号だけに対して行うこともできるが、短時間蓄積の信号に対しても同様に行ってもよい。また、次のフレームの長時間蓄積信号の読みだしの際のカラム増幅器のゲインを決めるためのヒストグラムとして、現フレームの長時間蓄積信号から求める方法と、短時間蓄積信号から求める方法の両方が考えられる。
また、このようなゲインの設定の変更をフレーム毎に行うとちらつきを感じるなどの問題がある場合には、図１１の状態遷移のための条件判定を、複数フレームにわたって満たされた場合にのみ行うようにしたり、複数フレームに対して１回だけ行うように状態遷移の頻度を低くすることも考えられる。
【００２７】
上記のようにして求めた短時間蓄積信号に対するヒストグラムの平均値は、カラムの増幅器のゲインの設定だけでなく、適応的ダイナミックレンジ設定のためにも用いることができる。この場合、式（２）において、次式のように変更する。
【数８】
2004363666.tif 000010
ここで、
【数９】
2004363666.tif 000011
は、輝度信号Ｙに対して求めたヒストグラムの平均値を意味する。これが、設定したしきい値ＴＬ以下であるかどうかでアンダーフローフラグを発生する。
次に、フレームメモリを節約しながら、長時間蓄積信号と複数種類の短時間蓄積信号をメモリに効率よく書き込み、またメモリから読み出すことで、ディジタル化された映像信号の周波数を低くして出力するための方法について説明する。ここでは、長時間蓄積信号と３種類の短時間蓄積信号をイメージセンサから読み出す場合について説明する。
【００２８】
まず、全体のフルスケールＦＳに対し、各領域の配分の比率を決める。長時間蓄積信号、及び３つの短時間蓄積信号を、図７に示した記号ＬＡ，ＳＡ１，ＳＡ２，ＳＡ３で表し、それらの蓄積時間それぞれを、ＴＬ，ＴＳ１，ＴＳ２，ＴＳ３とする。またＴＬ  ＞ＴＳ１  ＞ＴＳ２  ＞ＴＳ３とする。
それらに対する配分割合をＦＬ，ＦＳ１，ＦＳ２，ＦＳ３とする。ここで、
ＦＳ＝ＦＬ＋ＦＳ１＋ＦＳ２＋ＦＳ３
である。
なお、各蓄積信号に対するＦＳとしては、図１２に示したように、完全に飽和するレベルではなく、それよりもやや低い値に設定する。
まず長時間蓄積信号ＬＡの出力Ｙに対して、メモリに書き込む出力ＺＯＵＴを、次式のように定める。
ＺＯＵＴ＝ＡＬ×Ｙ
ここで、ＡＬ＝ＦＬ／ＦＳであり、長時間蓄積信号に対するゲイン定数である。つまり、まず長時間蓄積信号に一定のゲインをかけたものを出力の候補とする。
【００２９】
次に、最初の短時間蓄積信号ＳＡ１の出力Ｙと、メモリに記憶された値ＺＭに対して、メモリに書き込む出力ＺＯＵＴを、次式のように定める。
【数１０】
2004363666.tif 000012
ここで、
【数１１】
2004363666.tif 000013
及び
【数１２】
2004363666.tif 000014
は、１番目の短時間蓄積信号に対するゲイン定数及びオフセットである。これは、もし、メモリに書き込まれた値がＦＬを越えていなければ、長時間蓄積信号をメモリに再び書き込み、越えていれば短時間蓄積信号で置き換えることを意味する。このとき、２つの領域を連続的につなぐため、Ｙからオフセットを引いたものにゲインをかけ、ＦＬだけシフトする。
【００３０】
同様に、２番目の短時間蓄積信号ＳＡ２の出力Ｙと、メモリに記憶された値ＺＭに対して、メモリに書き込む出力ＺＯＵＴを、次式のように定める。
【数１３】
2004363666.tif 000015
ここで、
【数１４】
2004363666.tif 000016
及び
【数１５】
2004363666.tif 000017
は、２番目の短時間蓄積信号に対するゲイン定数及びオフセットである。
【００３１】
さらに、３番目の短時間蓄積信号ＳＡ３の出力Ｙに対しても同様に、
【数１６】
2004363666.tif 000018
ここで、
【数１７】
2004363666.tif 000019
及び
【数１８】
2004363666.tif 000020
は、３番目の短時間蓄積信号に対するゲイン定数及びオフセットである。
【００３２】
以上の処理により、入射光量Ｐｏに対する出力の応答特性は、図１２のようになる。このような処理を行うための処理回路の構成を図１３に示す。
このようにすることで、ダイナミックレンジを圧縮した信号をリアルタイムに計算しながら、メモリに格納することができる。図中のレジスタ１，２，３は、（１），（２），（３），（４）の順に、長時間蓄積信号、１番目、２番目、２番目の短時間蓄積信号に対して枠内に書かれた値を出力する。比較器は、入力Ａ，Ｂに対して、出力Ｃとして次式のような値を出力する。
【数１９】
2004363666.tif 000021
また、マルチプレクサは、制御入力、つまり比較器の出力Ｃが１ならば、Ａ側を、Ｃ＝０ならば、Ｂ側を選択する。
【００３３】
図１３では、フレームメモリを２枚用いて、ディジタル出力の速度を、イメージセンサの画素クロック周波数にあわせている。その動作を図１４（ａ）に示す。図中、ＬＡは、長時間蓄積信号、ＳＡ１，ＳＡ２，ＳＡ３は短時間蓄積信号のメモリへの書き込みの期間を意味し、このとき、対応する画素信号に対してフレームメモリに既に書き込まれた信号をレジスタ４にまず読み出し、その演算結果を再びフレームメモリの同じ画素信号に対して書き込む動作を行う。フレームメモリから外部への出力は、１フレームの時間をかけて行う。２枚のフレームメモリに対して、偶数フレームと奇数フレームを表す制御信号ＯＤとＥＶを用いて、図１４（ａ）のように切り替えを行うことで、イメージセンサとの間の書き込み・読み出し動作とメモリからの外部への出力を相補的に行うことで、フレームメモリから外部への出力を１フレームかけて読み出すことを可能にしている。
【００３４】
なお、フレームメモリを１枚だけ用いて、出力を高速に出力することも可能であり、この場合、図１４（ｂ）のように、イメージセンサが長時間信号の蓄積動作を行っており、信号が出力されない期間を用いて、フレームメモリから読み出して出力する。
【００３５】
また、このような広ダイナミックレンジ画像に合成を行わないで、原信号とその蓄積時間を表すゾーン番号を画像メモリに格納することも可能である。その場合の処理のブロック図を図１５に示す。
まずＡ／Ｄ変換器として、Ｎビットとし、そのフルスケールを越えている場合１、越えていない場合０の値をとる飽和フラグＤｓを出力する機能を有するものとする。ゾーンを表す２ビットのコードにＤｓの値を加算したコードを、イメージセンサの出力Ｙと併せてメモリに書き込む。最初の長時間蓄積信号については、Ｙの値とゾーンコード（００）にＤｓを加算したコードをメモリに書き込む。比較器のＡ入力には（００）が与えられるのでマルチプレクサは常に、センサ出力側（Ａ側）を選択する。次に、最初の短時間蓄積信号については、レジスタ１の値と、メモリに記憶された長時間蓄積信号のゾーンコードを比較する。
【００３６】
このとき、長時間蓄積信号が飽和していれば、（０１）が読み出されるので、比較器が、式（３）で与えられる動作をするとすれば、比較出力Ｃは１になり、マルチプレクサによりセンサ出力側が選択されて、メモリの値が更新される。もし、長時間蓄積信号が飽和していなければ、（００）が読み出され、（０１）と比較される結果、Ｃ＝０となり、マルチプレクサにより、メモリ出力側が選択されるので、同じ値が再び書き込まれて、メモリ記憶値の更新がなされず、長時間蓄積信号が記憶されたままとなる。
【００３７】
２番目の短時間蓄積信号、３番目の短時間蓄積信号についても同様である。ただし、３番目の短時間蓄積信号の読み出しに対しては、Ｄｓの値は常に０としておく。これよりもより短時間の蓄積信号を読み出さないので、飽和しているどうかの情報は必要ない。もし、２番目の短時間蓄積信号が飽和していれば、メモリから読み出されたゾーンコードは（１１）であるので、センサ出力側が選択され、メモリの値が更新される。
図１５の場合、Ａ／Ｄ変換された原信号をそのまま記憶できる利点がある。ただし、広ダイナミックレンジ画像として表示するためには、後に図１２に示したような変換処理が必要である。
【００３８】
なお、メモリに記憶された蓄積信号が飽和していない場合には、マルチプレクサによりメモリ出力側を選択して同じ値を書き込むと説明したが、この場合には書き込み動作自体を行わないようにしてもよいことは明らかである。
【００３９】
【発明の効果】
以上述べた構成により、以下の効果が得られる。
（１）  高速に読み出すことで、全画素のシャッタタイミングを従来のＣＭＯＳイメージセンサのローリングシャッタに比べて軽減される。このため、動物体を撮像した際の歪が軽減されるため、車載用にも適する。
（２）  画素部の構成にはなんら制約がない。このため、高感度のＣＭＯＳイメージセンサデバイスが利用可能。これによって、低照度領域にもダイナミックレンジ拡大が可能。
（３）  高速に読み出すことで、その後の信号処理を即座に開始することができる。そのため、リアルタイム処理が要求される車載用に適する。
（４）  カラムにゲインを一斉に、多段階で変更するアンプを用いる。これによって、機械的なアイリス制御を一切用いずに感度範囲を可変にすることができる。夜間の使用のために、ゲインを大きくして感度アップしても、もともと広いダイナミックレンジを持っているので、十分な広いダイナミックレンジを確保できる。昼間から夜間までの広い照度条件で使用される車載用として適する。
（５）  長時間蓄積、短時間蓄積、極短時間蓄積の信号をバースト読み出しすることで、ダイナミックレンジを適応的に切り替える広ダイナミックレンジイメージセンサが実現できる。
【図面の簡単な説明】
【図１】一般的なＣＭＯＳイメージセンサの信号蓄積と読みだしのタイミングと、バースト読みだしにおける信号蓄積と読みだしのタイミング（垂直画素数５の場合、ＬＡ：信号蓄積期間、ＬＲ：信号読み出し期間）
【図２】信号の蓄積と、読み出しのタイミング（垂直画素数５の場合、ＬＡ：長時間蓄積信号蓄積期間、ＳＡ：短時間蓄積信号蓄積期間、ＶＳＡ：極短時間蓄積信号蓄積期間、ＬＲ：長時間蓄積信号読み出し期間、ＳＲ：短時間蓄積信号読み出し期間、ＶＳＲ：極短時間蓄積信号読み出し期間、数字は、イメージアレイの対応する行番号）
【図３】広ダイナミックレンジイメージセンサのブロック図
【図４】垂直画素数が４画素の場合の制御信号タイミング
【図５】読みだし回路を２系統もつ場合の構成
【図６】原色フィルタの４成分を並列に出力する場合の広ダイナミックレンジイメージセンサの構成
【図７】各状態における撮像条件とダイナミックレンジの例（ＮＳ＝３，ＮＲ＝３，ＮＶ＝４８０の場合、ＬＡ，ＳＡ１，ＳＡ２，ＳＡ３はそれぞれ長時間蓄積時間，１回目，２回目，３回目の蓄積時間である。ＴＦはフレーム周期）
【図８】適応的ダイナミックレンジ設定のための状態遷移図の例
【図９】ダイナミックレンジを適応的に変化させる処理回路のブロック図
【図１０】１倍と４倍のゲインを選択できるカラムノイズキャンセル回路
【図１１】ゲイン設定のための状態遷移図
【図１２】長時間蓄積信号ＬＡ及び３種類の短時間蓄積信号（ＳＡ１，  ＳＡ２，  ＳＡ３）を用いた非線形応答特性の合成
【図１３】図１２の変換特性を得るための処理のブロック図
【図１４】メモリへの書き込み及び読み出しの動作
【図１５】映像信号と蓄積時間を表すゾーン番号を書き込む場合の処理ブロック図
【符号の説明】
Ｓ  ：読み出し制御信号
Ｒ  ：リセット制御信号
ＬＡ：長時間蓄積信号蓄積期間
ＳＡ：短時間蓄積信号蓄積期間
ＶＳＡ：極短時間蓄積信号蓄積期間
ＬＲ：長時間蓄積信号読み出し期間
ＳＲ：短時間蓄積信号読み出し期間
ＶＳＲ：極短時間蓄積信号読み出し期間
ＡＤＣ：Ａ／Ｄ変換器
【図１】
2004363666.tif 000022
【図２】
2004363666.tif 000023
【図３】
2004363666.tif 000024
【図４】
2004363666.tif 000025
【図５】
2004363666.tif 000026
【図６】
2004363666.tif 000027
【図７】
2004363666.tif 000028
【図８】
2004363666.tif 000029
【図９】
2004363666.tif 000030
【図１０】
2004363666.tif 000031
【図１１】
2004363666.tif 000032
【図１２】
2004363666.tif 000033
【図１３】
2004363666.tif 000034
【図１４】
2004363666.tif 000035
【図１５】
2004363666.tif 000036