(57)【要約】【課題】  ワイドダイナミックレンジの特性が十分にいかされ、また、視覚的に違和感のない画像が表示されるイメージセンサの出力補正装置を提供する。【解決手段】  イメージセンサ１１から出力される各フレームでの各画素のセンサ信号のうちの最小値を検出する最小値検出手段４２と、各フレームでの各画素のセンサ信号のうちの最大値を検出する最大値検出手段４１と、その検出された各フレームでの各画素のセンサ信号のうちの最小値が予め定められた最小値変換関数を用いて表示手段の輝度の下限値になるように演算する下限値演算手段４５と、検出された各フレームでの各画素のセンサ信号のうちの最小値と最大値までの出力幅が表示手段における輝度の下限値から表示手段のとりうる上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段４８とを備えた。【選択図】    図６        
2005323073.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサから出力される各フレームでの各画素のうちのセンサ信号の最小値を検出する最小値検出手段と、
前記各フレームでの各画素の前記センサ信号のうちの最大値を検出する最大値検出手段と、
その検出された前記各フレームでの各画素の前記センサ信号のうちの前記最小値が予め定められた最小値変換関数を用いて表示手段の輝度の下限値になるように演算する下限値演算手段と、
検出された前記各フレームでの各画素の前記センサ信号のうちの前記最小値と前記最大値までの出力幅が前記表示手段における輝度の前記下限値から前記表示手段のとりうる輝度の上限値までの幅になるように前記センサ信号のゲイン調整を行うゲイン調整手段とを備えたことを特徴とするイメージセンサの出力補正装置。
【請求項２】
イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値を検出する最小値検出手段と、
前記各フレームでの各画素の前記センサ信号のうちの最大値を検出する最大値検出手段と、
その検出された前記各フレームでの各画素の前記センサ信号のうちの前記最小値が予め定められた最小値変換関数を用いて表示手段の輝度の下限値になるように演算する下限値演算手段と、
その検出された前記各フレームでの各画素の前記センサ信号のうちの前記最大値が予め定められた最大値変換関数を用いて前記表示手段の輝度の上限値になるように演算する上限値演算手段と、
検出された前記各フレームでの各画素の前記センサ信号のうちの前記最小値と前記最大値までの出力幅が前記表示手段における輝度の前記下限値から前記上限値までの幅になるように前記センサ信号のゲイン調整を行うゲイン調整手段とを備えたことを特徴とするイメージセンサの出力補正装置。
【請求項３】
イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値を検出する最小値検出手段と、
前記各フレームでの各画素の前記センサ信号のうちの最大値を検出する最大値検出手段と、
その検出された前記各フレームでの各画素の前記センサ信号のうちの前記最小値が予め定められた最小値変換関数を用いて表示手段の輝度の下限値になるように演算する下限値演算手段と、
前記最大値が前記最大値と前記最小値の差に基づいた予め定められた関数を用いて前記表示手段の上限値になるように演算する上限値演算手段と、
検出された前記各フレームでの各画素の前記センサ信号のうちの前記最小値と前記最大値までの出力幅が前記表示手段における輝度の前記下限値から前記上限値までの幅になるように前記センサ信号のゲイン調整を行うゲイン調整手段とを備えたことを特徴とするイメージセンサの出力補正装置。
【請求項４】
イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値を検出する最小値検出手段と、
前記各フレームでの各画素の前記センサ信号のうちの最大値を検出する最大値検出手段と、
その検出された前記各フレームでの各画素の前記センサ信号の前記最小値が予め定められた最小値変換関数を用いて表示領域の輝度の下限値になるように演算する下限値演算手段と、
前記最大値と前記下限値演算手段によって演算された前記下限値を変換したときの値との差に基づいた予め定められた関数により前記最大値が前記表示手段の上限値になるように演算する上限値演算手段と、
検出された前記各フレームでの各画素の前記センサ信号のうちの前記最小値と前記最大値までの出力幅が前記表示手段における輝度の前記下限値から前記上限値までの幅になるように前記センサ信号のゲイン調整を行うゲイン調整手段とを備えたことを特徴とするイメージセンサの出力補正装置。
【請求項５】
前記最小値変換関数は、前記表示手段の前記輝度の下限値が前記各フレームでの各画素の前記センサ信号のうちの前記最小値に対して単調増加する関数であることを特徴とする請求項１〜４のいずれか１項に記載のイメージセンサの出力補正装置。
【請求項６】
前記最大値変換関数は、前記表示手段の前記輝度の上限値が前記各フレームでの各画素の前記センサ信号のうちの前記最大値に対して単調増加する関数であることを特徴とする請求項２記載のイメージセンサの出力補正装置。
【請求項７】
複数の画素を１次元もしくは２次元に配置して構成された固体撮像素子において、
各画素の光電変換素子に流れる光電流を対数的な電圧に変換して出力することを特徴とする固体撮像素子において利用されることを特徴とする請求項１〜６のいずれか１項に記載のイメージセンサの出力補正装置。
【請求項８】
光を電気信号に変換するためのフォトダイオードと、フォトダイオードの寄生容量Ｃの電荷を充放電するためのトランジスタと、
電圧変化を増幅するためのトランジスタと、
画素を選択するためのトランジスタとからなる画素構成を有したＭＯＳ型固体撮像素子において利用されることを特徴とする請求項１〜６のいずれか１項に記載のイメージセンサの出力補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサの出力補正装置に関し、特に、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮像画像を画面に写し出す表示領域に即するように補正するイメージセンサの出力補正装置に関する。
【背景技術】
【０００２】
図２３は、従来のＭＯＳ型のイメージセンサの１画素分の光センサ回路である。光センサ回路１００は、フォトダイオードＰＤとトランジスタＱ１とトランジスタＱ２とトランジスタＱ３と抵抗Ｒからなる。そして、フォトダイオードＰＤのアノードは、トランジスタＱ１のソース端子Ｓに接続され、カソードは接地されている。また、フォトダイオードＰＤのアノードとトランジスタＱ１の接続線に設けられた端子Ａは、トランジスタＱ２のゲート端子に接続されている。トランジスタＱ２のソースは、接地され、ドレイン端子はトランジスタＱ３のソース端子に接続され、トランジスタＱ３のドレイン端子は、抵抗Ｒを介して端子１０１に接続されている。トランジスタＱ３のドレイン端子と抵抗の接続線からセンサ信号Ｖが出力される。また、符号Ｃは、フォトダイオードＰＤの寄生容量である。
【０００３】
フォトダイオードＰＤは、入射光Ｌｓの光量に応じた光電流を生ずる光電変換素子である。トランジスタＱ１は、フォトダイオードＰＤに流れる光電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換させる。トランジスタＱ２は、その電圧信号Ｖｐｄを増幅する。トランジスタＱ３は、読み出し信号Ｖｓのパルスタイミングでもってセンサ信号Ｖを出力する。これにより、対数出力特性をもたせてダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようにしている。
【０００４】
上記のような光センサ回路１００を１画素分として有するイメージセンサでは、端子１０２に電圧ＶＤを印加し、トランジスタＱ１のゲートＧに適当なゲート電圧ＶＧを印加する。そして、各画素の光センサ回路におけるフォトダイオードＰＤに十分な光量をもって入射光Ｌｓが当たっているときには、フォトダイオードＰＤには大きな光電流が流れる。それにより、トランジスタＱ１に適当なゲート電圧を印加しているとき、十分なソース−ドレイン電流が流れる。そのため、そのトランジスタＱ１のソース−ドレイン間の抵抗値もさほど大きくないことから、トランジスタＱ１のソース−ドレイン間の抵抗値とフォトダイオードの寄生容量Ｃで決まる時定数は小さく、応答速度は十分速い。それにより、イメージセンサとして残像を生ずることがないような十分な応答速度をもって光信号の検出を行わせることができる。
【０００５】
しかし、フォトダイオードＰＤの入射光Ｌｓの光量が少ない場合には、フォトダイオードＰＤで生じる光電流が小さい。そのため、トランジスタＱ１が上記と同じゲート電圧でもソース−ドレイン間に流れる電流が小さくなる。通常、この光センサ回路では、トランジスタＱ１のゲート端子に印加するゲート電圧をソース−ドレイン電流が１桁小さくなるとそのソース−ドレイン間の抵抗値が１桁大きくなるように動作するように設定されている。そのため、ソース−ドレイン電流が小さくなるとトランジスタＱ１のソース−ドレイン間の抵抗値が増大し、フォトダイオードＰＤの寄生容量Ｃとソース−ドレイン間の抵抗値で定まる時定数が大きくなってその寄生容量Ｃに蓄積された電荷を放電するのに時間がかかるようになる。そのため、入射光Ｌｓの光量が少なくなるにしたがって、残像が長時間にわたって観測されることになる。
【０００６】
図２４は、フォトダイオードＰＤに生ずる光電流が１０−１０Ａから１０−１５Ａまで急激に変化した場合の端子Ａに生ずる電圧信号Ｖｐｄの変化特性を示している。図２４において、横軸は、時間を示し、縦軸は、電圧信号Ｖｐｄを示す。曲線Ｃ１０は、光量が大きいときで、光電流が１×１０−１０Ａのときの電圧信号の時間変化を示す。電圧信号Ｖｐｄはほぼ時間的に一定である。曲線Ｃ１１は、光電流が１×１０−１１Ａのときの電圧信号の時間変化を示す。また、Ｃ１２は、光電流が１×１０−１２Ａのときの電圧信号の時間変化、曲線Ｃ１３は、光電流が１×１０−１４Ａのときの電圧信号の時間変化、曲線Ｃ１４は光電流が１×１０−１５Ａのときの電圧信号の時間変化を示す。光電流が少なくなるほど、電圧信号が時間とともに増加するような変化をすることが分かる。
【０００７】
また、図２４で分かるように、フォトダイオードＰＤへの入射光Ｌｓの光量が少なく光電流が１０−１２Ａ程度以下では、１／３０秒で飽和しないことが分かる。それゆえ、例えば、１／３０秒ごとにセンサ信号Ｖを出力させるようにする場合、その時間内では電圧信号Ｖｐｄが飽和しない状態で、センサ信号Ｖを出力させてしまうことになる。
【０００８】
図２５は、トランジスタＱ３のゲート端子に読み出し信号Ｖｓを印加するパルスタイミングと増幅用のトランジスタＱ２によって反転増幅された電圧信号Ｖｐｄ’の変化を示す。読み出し信号Ｖｓは、時間ｔ１，ｔ２，・・、ｔｎに時間間隔Δｔで印加する。フォトダイオードの入射光Ｌｓの光量が少ないときの光電流に応じた電圧信号Ｖｐｄの飽和時間は長い。そのため、図２５に示すような読み出し信号Ｖｓのパルスタイミングでセンサ信号Ｖの読み出しを行うと、当初ほど大きなレベルの出力が残像となってあらわれる。
【０００９】
そのため、従来では、撮影時の入射光量に応じてフォトダイオードＰＤに流れる光電流をＭＯＳ型トランジスタを用いて弱反転状態で対数出力特性をもって電圧信号に変換するようにした光センサ回路を画素単位として、複数の画素をマトリクス状に配設したイメージセンサにあっては、撮影に先がけて各光センサ回路におけるトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影時の定常値よりも低く設定する。それにより、フォトダイオードＰＤの寄生容量Ｃに蓄積された残留電荷を排出して初期化する。そして、フォトダイオードＰＤに生じる光電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている。（特許文献１参照）。
【００１０】
図２６は、フォトダイオードＰＤに生じる光電流とセンサ信号Ｖの関係を示すグラフである。このような光センサ回路にあっては、図２６に示すように、入射光量に応じてフォトダイオードＰＤに流れる光電流が多いときには対数出力特性を示すが、光電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００１１】
このような光センサ回路を画素に用いたイメージセンサを車両に搭載して、車両の自動走行の制御のために走行中の道路前方の白線検出を行わせるような場合に、昼夜にわたる撮影や、暗いトンネル内からトンネル出口の明るい部分または明るいトンネル入り口からトンネル内の暗い部分を撮影するような苛酷な条件下でも、広いダイナミックレンジをもって路面に対して白線をコントラスト良く写し出すことができるようになる。
【００１２】
しかし、このような対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示装置の輝度の表示可能上限値と表示可能下限値から形成される表示可能輝度幅よりも狭いと、ワイドダイナミックレンジの特性が十分にいかされなくなってしまう。
【００１３】
図２７は、そのときの、表示画面に表示される像のセンサ信号と表示画面の輝度の関係を示す図である。横軸は、センサ信号を示し、縦軸は、表示装置の輝度を示す。Ｄｍｉｎは、表示可能下限値と示し、Ｄｍａｘは表示可能上限値を示す。曲線Ｃ１００は、センサ信号と表示装置の輝度の関係を示すグラフである。センサ信号の最小値Ｖｍｉｎから最大値Ｖｍａｘまでの範囲は、表示画面の輝度幅の一部しか使用しないことになることが分かる。
【００１４】
画素構成によるイメージセンサ、特に対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示装置の表示可能輝度幅よりも狭いと、ワイドダイナミックレンジの特性が十分にいかされなくなってしまうことが問題点である。
【００１５】
そこで、特許文献２では、イメージセンサの出力補正装置が開示されている。その文献でのイメージセンサの出力補正装置では、イメージセンサから出力される各フレームの各画素のセンサ信号のうちの最小値および最大値を検出する手段と、その検出されたセンサ信号の最小値が表示装置の輝度の下限値になるようにセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値から最大値までの出力幅が表示装置における輝度の最大幅または所定幅になるようにセンサ信号のゲイン調整を行う手段とによって構成されている。
【００１６】
上記の装置では、表示装置であるＣＲＴや液晶ディスプレイ画面の明暗の表示領域に合わせ、イメージセンサの出力を補正する装置である。これは、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正することで、ダイナミックレンジの広い特性をもったイメージセンサによる撮影画像を充分に生かしたコントラストの良い画像を画面に表示させる技術である。
【００１７】
しかしながら、従来技術の装置では、イメージセンサからの出力信号が画面の最大表示可能輝度幅にあわせて補正されるため、例えば、撮影画像の最低出力が比較的明るい画素信号であった場合、その比較的明るい画素信号を画面の暗い表示領域に合わせるため、視覚的に違和感のある画像が表示されてしまうという問題点があった。
【特許文献１】特開２０００−３２９６１６号公報
【特許文献１】特開２００３−３２３６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明の課題は、画素構成によるイメージセンサ、特に対数出力特性をもった光センサ回路を画素に用いたイメージセンサにおいて、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示装置の表示可能輝度幅よりも狭いと、ワイドダイナミックレンジの特性が十分にいかされなくなってしまうという問題点を解消するものである。また、本発明の課題は視覚的に違和感のある画像が表示されてしまうという問題点を解消することにある。
【００１９】
本発明の目的は、上記の課題に鑑み、ワイドダイナミックレンジの特性が十分にいかされ、また、視覚的に違和感のない画像が表示されるイメージセンサの出力補正装置を提供することにある。
【課題を解決するための手段】
【００２０】
本発明に係るイメージセンサの出力補正装置は、上記の目的を達成するために、次のように構成される。
【００２１】
第１のイメージセンサの出力補正装置（請求項１に対応）は、イメージセンサから出力される各フレームでの各画素のうちのセンサ信号の最小値を検出する最小値検出手段と、各フレームでの各画素のセンサ信号のうちの最大値を検出する最大値検出手段と、その検出された各フレームでの各画素のセンサ信号のうちの最小値が予め定められた最小値変換関数を用いて表示手段の輝度の下限値になるように演算する下限値演算手段と、検出された各フレームでの各画素のセンサ信号のうちの最小値と最大値までの出力幅が表示手段における輝度の下限値から表示手段のとりうる輝度の上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段とを備えたことで特徴づけられる。
【００２２】
第２のイメージセンサの出力補正装置（請求項２に対応）は、イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値を検出する最小値検出手段と、各フレームでの各画素のセンサ信号のうちの最大値を検出する最大値検出手段と、その検出された各フレームでの各画素のセンサ信号のうちの最小値が予め定められた最小値変換関数を用いて表示手段の輝度の下限値になるように演算する下限値演算手段と、その検出された各フレームでの各画素のセンサ信号のうちの最大値が予め定められた最大値変換関数を用いて表示手段の輝度の上限値になるように演算する上限値演算手段と、検出された各フレームでの各画素のセンサ信号のうちの最小値と最大値までの出力幅が表示手段における輝度の下限値から上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段とを備えたことで特徴づけられる。
【００２３】
第３のイメージセンサの出力補正装置（請求項３に対応）は、イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値を検出する最小値検出手段と、各フレームでの各画素のセンサ信号のうちの最大値を検出する最大値検出手段と、その検出された各フレームでの各画素のセンサ信号のうちの最小値が予め定められた最小値変換関数を用いて表示手段の輝度の下限値になるように演算する下限値演算手段と、最大値が最大値と最小値の差に基づいた予め定められた関数を用いて表示手段の上限値になるように演算する上限値演算手段と、検出された各フレームでの各画素のセンサ信号のうちの最小値と最大値までの出力幅が表示手段における輝度の下限値から上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段とを備えたことで特徴づけられる。
【００２４】
第４のイメージセンサの出力補正装置（請求項４に対応）は、イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値を検出する最小値検出手段と、各フレームでの各画素のセンサ信号のうちの最大値を検出する最大値検出手段と、その検出された各フレームでの各画素のセンサ信号の最小値が予め定められた最小値変換関数を用いて表示領域の輝度の下限値になるように演算する下限値演算手段と、最大値と下限値演算手段によって演算された下限値を変換したときの値との差に基づいた予め定められた関数により最大値が表示手段の上限値になるように演算する上限値演算手段と、検出された各フレームでの各画素のセンサ信号のうちの最小値と最大値までの出力幅が表示手段における輝度の下限値から上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段とを備えたことで特徴づけられる。
【００２５】
第５のイメージセンサの出力補正装置（請求項５に対応）は、上記の構成において、好ましくは、最小値変換関数は、表示手段の輝度の下限値が各フレームでの各画素のセンサ信号のうちの最小値に対して単調増加する関数であることで特徴づけられる。
【００２６】
第６のイメージセンサの出力補正装置（請求項６に対応）は、上記の構成において、好ましくは、最大値変換関数は、表示手段の輝度の上限値が各フレームでの各画素のセンサ信号のうちの最大値に対して単調増加する関数であることで特徴づけられる。
【００２７】
第７のイメージセンサの出力補正装置（請求項７に対応）は、上記の構成において、好ましくは、複数の画素を１次元もしくは２次元に配置して構成された固体撮像素子において、各画素の光電変換素子に流れる光電流を対数的な電圧に変換して出力することを特徴とする固体撮像素子において利用されることで特徴づけられる。
【００２８】
第８のイメージセンサの出力補正装置（請求項８に対応）は、上記の構成において、好ましくは、光を電気信号に変換するためのフォトダイオードと、フォトダイオードの寄生容量Ｃの電荷を充放電するためのトランジスタと、電圧変化を増幅するためのトランジスタと、画素を選択するためのトランジスタとからなる画素構成を有したＭＯＳ型固体撮像素子において利用されることで特徴づけられる。
【発明の効果】
【００２９】
本発明によれば、イメージセンサによる撮像画像の明暗をある程度保ちながら画面の表示可能輝度幅に合わせて補正を行うため、イメージセンサのダイナミックレンジの広さを生かし、さらに、違和感のない画面表示が可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。
【００３１】
図１を参照して本発明の第１の実施形態に係るイメージセンサの出力補正装置を説明する。図１は、イメージセンサの出力補正装置の基本部分を示すブロック図である。このイメージセンサの出力補正装置１０は、像を撮影するイメージセンサ１１からの信号を補正する信号補正部１２とその信号補正部１２で補正した信号を表示部で表示するための信号に増幅する自動利得制御部（ＡＧＣ）１３とを備え、ＡＧＣ１３によって増幅し、変換した信号は画像を表示する表示部１４に送られる。
【００３２】
まず、イメージセンサ１１について説明する。イメージセンサ１１は、基本的に、前述した図２３に示す光センサ回路１００を画素単位に用いている。
【００３３】
そして、その光センサ回路１００にあって、撮影に先がけて、対数特性変換用のトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影時の定常値よりも低く設定して、フォトダイオードの寄生容量Ｃに蓄積された電荷を排出して初期化するようにしている。
【００３４】
図２は、そのときの光センサ回路１００における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光信号検出のタイミングを示している。トランジスタＱ１のドレイン電圧ＶＤを定常値（ハイレベルＨ）から低い電圧（ローレベルＬ）に切り換える所定時間ｔｍとしては、例えば１画素分の読み出し速度が１００ｎｓｅｃ程度の場合に５μｓｅｃ程度に設定される。図中、Ｔはフォトダイオードの寄生容量Ｃの蓄積期間を示しており、その蓄積期間Ｔは１／３０ｓｅｃ程度としている。
【００３５】
このようなものにあって、初期化時にＭＯＳトランジスタＱ１のドレイン電圧ＶＤがローレベルＬに切り換えられると、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がトランジスタＱ１のしきい値よりも大きければトランジスタＱ１が低抵抗状態になる。それにより、そのときのソース側の電位がドレイン電圧ＶＤと同じになり（実際にはしきい値分の電位差が残る）、フォトダイオードの接合容量Ｃが放電状態になる。
【００３６】
そして、ｔｍ時間の経過後にそのドレイン電圧ＶＤが定常のハイレベルＨに切り換えられて光信号の検出が行われると、ソース側の電位がドレイン電圧ＶＤよりも低くなって、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がしきい値よりも大きければＭＯＳトランジスタＱ１が低抵抗状態になり、フォトダイオードの接合容量Ｃが充電状態になる。
【００３７】
このように光信号の検出に先がけてフォトダイオードの接合容量Ｃを放電させて初期化したのちにその接合容量Ｃを充電させるようにすると、その初期化のタイミングから一定の時間経過した時点での出力電圧（フォトダイオードの端子電圧）Ｖｐｄは入射光Ｌｓの光量に応じた値となる。すなわち、初期化後には入射光Ｌｓの光量の変化に追随した一定の時定数による放電特性が得られるようになる。
【００３８】
その際、長時間放置すればドレイン電圧ＶＤからトランジスタＱ１を通して供給される電流とフォトダイオードを流れる電流とは同じになるが、前に残った電荷がなければ常に同じ放電特性が得られるので残像が生ずることがなくなる。
【００３９】
したがって、初期化してから一定の時間を定めて光信号を検出するようにすれば、入射光Ｌｓの光量に応じた残像のないセンサ信号Ｖを得ることができるようになる。
【００４０】
図３は、このような光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画素のセンサ信号の時系列的な読み出し走査を行わせるようにしたイメージセンサの具体的な構成例を示している。
【００４１】
そのイメージセンサ１１は、その基本的な構成が、例えばＤ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路２１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群２３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画素のセンサ信号Ｖが時系列的に読み出されるようになっている。これらの画素Ｄ１１〜Ｄ４４のからの１回分の信号が１フレームとなる。図中、２４は各画素におけるトランジスタＱ１のゲート電圧ＶＧ用電源であり、２６はドレイン電圧ＶＤ用電源である。
【００４２】
そして、そのイメージセンサ１１にあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素のトランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切り換え回路２５が設けられている。
【００４３】
このように構成されたイメージセンサ１１の動作について、図４に示す各部信号のタイムチャートとともに、以下説明をする。
【００４４】
まず、画素列選択信号ＬＳ１がハイレベルＨになると、それに対応するＤ１１，Ｄ１２，Ｄ１３，Ｄ１４からなる第１の画素列が選択される。そして、ＬＳ１がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のセンサ信号Ｖｏが順次読み出される。
【００４５】
次いで、画素列選択信号ＬＳ１がローレベルＬになった時点で次のＬＳ２がハイレベルＨになると、それに対応するＤ２１，Ｄ２２，Ｄ２３，Ｄ２４からなる第２の画素列が選択される。そして、ＬＳ２がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のセンサ信号Ｖが順次読み出される。
【００４６】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４が連続的にハイレベルＨになって各対応する第３および第４の画素列が順次選択され、ＬＳ３およびＬＳ４がそれぞれハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ３１，Ｄ３２，Ｄ３４およびＤ４１，Ｄ４２，Ｄ４３，Ｄ４４のセンサ信号Ｖが順次読み出される。ここまでの読み出しで１フレーム分の読み出しとなる。
【００４７】
また、画素列選択信号ＬＳ１がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第１の画素列における各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号の読み出しにそなえる。
【００４８】
次いで、画素列選択信号ＬＳ２がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第２の画素列における各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号の読み出しにそなえる。
【００４９】
以下同様に、画素列選択信号ＬＳ３３およびＬＳ４がそれぞれＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第３および第４の画素列にそれぞれ対応するドレイン電圧ＶＤ３をローレベルＬに切り換えて各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号の読み出しにそなえる。
【００５０】
なお、ここでは画素列選択信号ＬＳＸ（Ｘ＝１〜４）がＴ１期間後にローレベルＬに立ち下がった時点でドレイン電圧ＶＤＸをローレベルＬに切り換えて初期化を行わせるようにしているが、その初期化のタイミングは画素列選択信号ＬＳＸがローレベルＬ状態にある画素列選択の休止期間Ｔ４中であればよい。
【００５１】
次に、出力補正装置１０について詳細に説明する。
【００５２】
図５は、本発明の第１の実施形態に係るイメージセンサの出力補正装置での、イメージセンサのある１フレームの各画素で検出されるセンサ信号とそれらのセンサ信号に対する表示画面上での輝度の関係を示す図である。図５Ａは、ＡＧＣ部を通す前の信号により表示部１４に表示したときのセンサ信号に対する表示画面での輝度の関係を示し、図５Ｂは、本実施形態でのＡＧＣ部を通したときのセンサ信号に対する表示画面での輝度の関係を示すグラフである。図５Ａに示すように、１フレーム内の画素のうちの最小のセンサ信号をＶｍｉｎとし、最大のセンサ信号をＶｍａｘとするとき、Ｖｍｉｎに対応して表示画面の輝度の最小値がＤｍｉｎであり、Ｖｍａｘに対応して表示画面の輝度の最大値はＤｍａｘとなる。これらの値は、表示部１４で表示できる最小の輝度である最小可能輝度Ｄｐｍｉｎと表示部で表示できる最大の輝度である最大可能輝度Ｄｐｍａｘの範囲内のほんの一部分となり、ワイドダイナミックレンジの特性が充分にいかされない。そこで、本発明では、図５Ｂに示すように、１フレームでのセンサ信号の最小値Ｖｍｉｎとセンサ信号の最大値で形成される表示部の輝度の範囲が表示部のとりうる輝度の表示可能輝度範囲を有効に利用されるようにしている。また、センサ信号の最小値が変化したときに表示画面での最小の輝度も変化するようにしている。そのため、イメージセンサ１１から出力する各センサ信号のうちの最小値Ｖｍｉｎは、関数ｆｍｉｎにより変換し、最小輝度になるような信号に変換する。このとき、好ましくは、関数として単調増加関数を用いるようにすると良い。また、１フレーム内の各画素のうちで最大のセンサ信号Ｖｍａｘは、最大可能輝度Ｄｐｍａｘになるように信号を出力する。このようにして、センサ信号はオフセットおよびゲイン調整を行わせるようにしている。
【００５３】
そのため、本発明の第１の実施形態に係るイメージセンサの出力補正装置１０は、イメージセンサ１１から出力される各フレームでの各画素のセンサ信号のうちの最小値Ｖｍｉｎを検出する最小値検出部と、各フレームでの各画素のセンサ信号のうちの最大値Ｖｍａｘを検出する最大値検出部と、その検出された各フレームでの各画素のセンサ信号のうちの最小値Ｖｍｉｎが予め定められた最小値変換関数ｆｍｉｎを用いて表示部の輝度の下限値Ｄｆｍｉｎになるように演算する下限値演算部と、検出された各フレームでの各画素のセンサ信号のうちの最小値Ｖｍｉｎと最大値Ｖｍａｘまでの出力幅が表示部における輝度の下限値から表示部のとりうる輝度の上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整部とを備えたものである。
【００５４】
図６は、本発明の第１の実施形態に係るイメージセンサの出力補正装置の具体的な一構成例を示している。
【００５５】
イメージセンサの出力補正装置１０は、イメージセンサ１１からの信号を温度に基づいてオフセット補正する温特加減算部３１と、画素の特性ばらつきから補正する加減算部３２と、ばらつきからゲイン補正する乗算部３３と、温度によるゲイン補正をする温特乗算部３４からなる信号補正部１２と、最大値検出部４１、最小値検出部４２、ローパスフィルタ４３，４４、ルックアップ用メモリ４５、加減算部４６とローパスフィルタ４７とルックアップ用メモリ４８と加減算部４９と乗算部５０からなる自動利得制御部（ＡＧＣ）１３から構成されている。  
【００５６】
最大検出部４１は、イメージセンサ１１から出力され信号補正部１２により補正された各フレームでの各画素のセンサ信号Ｖ’のうちの最大値Ｖｍａｘを検出する。最小値検出部４２は、各フレームでの各画素の補正されたセンサ信号Ｖ’のうちの最小値Ｖｍｉｎを検出する。ローパスフィルタ４３は、検出された最大値Ｖｍａｘの数フレーム分を記憶して急峻な変化を吸収して平均化する。ローパスフィルタ４４は検出された最小値Ｖｍｉｎの数フレーム分を記憶して急峻な変化を吸収して平均化する。ルックアップ用のメモリ４５は、記憶された所定のテーブルに基づいて変換した信号Ｖｆｍｉｎを出力する。これは、下限値演算部を構成する。加減算部４９は、補正されたセンサ信号Ｖ’から変換された最小値信号Ｖｆｍｉｎを減ずることによって補正されたセンサ信号Ｖ’のオフセットを行わせる。加減算部４６は、その変換された最小値Ｖｆｍｉｎから平均化された最大値Ｖｍａｘ’までの出力幅ＶＷを求める。ローパスフィルタ４７は、その求められたセンサ信号の出力幅ＶＷを平均化する。ルックアップ用のメモリ４８は、その平均化されたセンサ信号の出力幅ＶＷ’に応じた所定のゲイン補正値Ｇを読み出す。乗算部５０はオフセット補正されたセンサ信号Ｖｏにその読み出されたゲイン補正値Ｇを乗ずることによってゲイン調整を行う。加減算部４６とローパスフィルタ４７とルックアップ用のメモリ４８と乗算部５０によりゲイン調整部を構成している。Ｖｏａは、補正されたセンサ信号Ｖ’のオフセットおよびゲイン調整された補正信号を示している。
【００５７】
ローパスフィルタ４３，４４および４７としては、ＦＩＲフィルタ、ＩＩＲフィルタまたは移動平均フィルタなどが用いられる。ローパスフィルタ４７は、特にこれを設けなくともよい。
【００５８】
ルックアップ用のメモリ４５には、予めセンサ信号の最小値に応じて、その最小値が所定の関数にしたがって変換を行うための最小値変換関数ｆｍｉｎの特性がテーブル設定されている。
【００５９】
図７，８は所定の関数（最小値変換関数）に従った変換テーブルを示す。横軸はセンサ信号の最小値を示し、縦軸は、下限値を示す。単調増加する関数である。図７では、横軸が入力（この場合、最小値）であり、縦軸は、出力である。曲線Ｃ１０がその入力に対する出力の関係を示す関数のグラフである。出力は、入力に対して傾きが１より小さい直線である。また、図８では、曲線Ｃ１１が関数のグラフである。出力は、入力に対して、増加率が１より小さな値から、入力の増加で徐々に減少する増加関数である。
【００６０】
ルックアップ用のメモリ４８には、予めセンサ信号の出力幅ＶＷ’に応じて、その出力幅ＶＷ’が表示部の輝度の下限値から上限値にわたるようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００６１】
図９は、本発明の第１の実施形態に係るイメージセンサの出力補正回路１２における処理のフローチャートである。
【００６２】
イメージセンサ１１からの信号が出力補正装置１０に入力されたら、信号補正回路１２により温度補正とばらつき補正がなされ補正信号Ｖ’が出力される（ステップＳ１１）。補正信号Ｖ’は、ＡＧＣ部１３の最大値検出部４１で最大値Ｖｍａｘが検出される（ステップＳ１２）。また、最小値検出部４２で最小値Ｖｍｉｎが検出される（ステップＳ１３）。ローパスフィルタ４４を通過した最小値信号Ｖｍｉｎ’は、ルックアップ用のメモリ４５で検索し、最小値を変換し変換された信号Ｖｆｍｉｎが出力される（ステップＳ１４）。ローパスフィルタ４３を通過した最大値信号Ｖｍａｘ’から変換された最小値信号Ｖｆｍｉｎが加減算部４６で減算され（ステップＳ１５）、ローパスフィルタ４７を通過して、ルックアップ用のメモリ４８で検索された値でゲイン補正値Ｇが乗算部５０に出力される（ステップＳ１６）。また、変換された最小値Ｖｆｍｉｎは加減算部４９において信号Ｖ’から減算し、その信号Ｖｏが乗算部５０に出力される（ステップＳ１７）。その信号Ｖｏが、ゲイン補正値Ｇと乗算され、出力信号Ｖｏａとなり表示部に送られる（ステップＳ１８）
【００６３】
図１０は、上記のような処理により表示される画像の信号を示す図である。横軸は、センサ信号の最小値を示し、縦軸は、輝度信号である。曲線Ｃ２０は、輝度信号の最小値を示す曲線であり、曲線Ｃ２１は、最大輝度を示す。最小値の変化に対して下限値も変化することが分かる。
【００６４】
このように、イメージセンサによる撮像画像の明暗をある程度保ちながら画面の表示領域に合わせて補正を行うため、イメージセンサのダイナミックレンジの広さを生かし、さらに、違和感のない画面表示が可能となる。
【００６５】
次に、本発明の第２実施形態に係るイメージセンサの出力補正装置について説明する。
【００６６】
図１１は、本発明の第２の実施形態に係るイメージセンサの出力補正装置での、イメージセンサの１フレームの各画素で検出されるセンサ信号とそれらのセンサ信号に対する表示画面上での輝度の関係を示す図である。図１１Ａは、ＡＧＣ部を通す前の信号により表示部に表示したときのセンサ信号に対する表示画面での輝度の関係を示し、図１１Ｂは、本実施形態でのＡＧＣ部を通したときのセンサ信号に対する表示画面での輝度の関係を示すグラフである。図１１Ａに示すように、１フレーム内の画素のうちの最小のセンサ信号をＶｍｉｎとし、最大のセンサ信号をＶｍａｘとするとき、Ｖｍｉｎに対応して表示画面の輝度の最小値がＤｍｉｎであり、Ｖｍａｘに対応して表示画面の輝度の最大値はＤｍａｘとなる。これらの値は、表示部で表示できる最小の輝度である最小可能輝度Ｄｐｍｉｎと表示部で表示できる最大の輝度である最大可能輝度Ｄｐｍａｘの範囲内のほんの一部分となり、ワイドダイナミックレンジの特性が充分にいかされない。そこで、本発明では、図１１Ｂに示すように、１フレームでのセンサ信号の最小値Ｖｍｉｎとセンサ信号の最大値で形成される表示部の輝度の範囲が表示部のとりうる輝度の表示可能輝度範囲を有効に利用されるようにしている。また、センサ信号の最小値Ｖｍｉｎが変化したときに表示画面での最小の輝度も変化するようにしている。そのため、イメージセンサから出力する各センサ信号のうちの最小値Ｖｍｉｎは、関数ｆｍｉｎにより変換し、最小輝度になるような信号に変換する。このとき、好ましくは、関数として単調増加関数を用いるようにすると良い。また、１フレーム内の各画素のうちで最大のセンサ信号は、表示画面での最大の輝度も変化するようにしている。そのため、イメージセンサから出力する各センサ信号のうちの最大値は、関数ｆｍａｘにより変換し、最大輝度になるような信号に変換する。このようにして、センサ信号はオフセットおよびゲイン調整を行わせるようにしている。
【００６７】
そのため、本発明の第２の実施形態によるイメージセンサの出力補正装置は、イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値Ｖｍｉｎを検出する最小値検出部と、各フレームでの各画素のうちのセンサ信号の最大値Ｖｍａｘを検出する最大値検出部と、その検出された各フレームでの各画素のセンサ信号のうちの最小値Ｖｍｉｎが予め定められた最小値変換関数ｆｍｉｎを用いて表示部の輝度の下限値Ｄｍｉｎになるように演算する下限値演算部と、その検出された各フレームでの各画素のセンサ信号のうちの最大値Ｖｍａｘが予め定められた最大値変換関数ｆｍａｘを用いて表示部の輝度の上限値Ｄｍａｘになるように演算する上限値演算部と、検出された各フレームでの各画素のセンサ信号の最小値Ｖｍｉｎと最大値Ｖｍａｘまでの出力幅が表示部における輝度の下限値から上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段とを備えている。
【００６８】
図１２は、本発明の第２の実施形態によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００６９】
ここでは、ルックアップ用のメモリ６０を設けた以外は第１の実施形態と同様なので、同一の要素には同一の符号を付し説明を省略する。
【００７０】
ルックアップ用のメモリ６０には、予めセンサ信号の最大値に応じて、その最大値が所定の関数にしたがって変換を行うための最大値変換関数の特性がテーブル設定されている。そして、これが上限値演算部を構成している。
【００７１】
図１３は、出力補正回路１２における処理のフローチャートである。
【００７２】
イメージセンサ１１からの信号が出力補正装置１０に入力されたら、信号補正回路１２により温度補正とばらつき補正がなされ補正信号Ｖ’が出力される（ステップＳ２１）。補正信号Ｖ’は、ＡＧＣ部１３の最大値検出部４１で最大値Ｖｍａｘが検出される（ステップＳ２２）。また、最小値検出部４２で最小値Ｖｍｉｎが検出される（ステップＳ２３）。ローパスフィルタ４３を通過した最大値信号は、ルックアップ用のメモリ６０で検索し、最大値Ｖｍａｘを変換し変換された信号Ｖｆｍａｘが出力される（ステップＳ２４）。ローパスフィルタ４４を通過した最小値信号は、ルックアップ用のメモリ４５で検索し、最小値を変換し変換された信号Ｖｆｍｉｎが出力される（ステップＳ２５）。加減算部４６において変換された最大値信号Ｖｆｍａｘから変換された最小値信号Ｖｆｍｉｎが減算され（ステップＳ２６）、ローパスフィルタ４７を通過して、ルックアップ用のメモリ４８で検索された値でゲイン補正値Ｇが乗算部に出力される（ステップＳ２７）。また、変換された最小値は加減算部４９において信号Ｖ’から減算し、その信号が乗算部５０に出力される（ステップＳ２８）。その信号が、ゲイン補正値Ｇと乗算され、出力信号Ｖｏａとなり表示部に送られる（ステップＳ２９）
【００７３】
図１４は、上記のような処理により表示される画像の信号を示す図である。横軸は、センサ信号の最小値を示し、縦軸は、輝度信号である。曲線Ｃ２０は、輝度信号の最小値を示す曲線であり、曲線Ｃ２１は、最大輝度を示す。最小値の変化にしたがって最小輝度も変化し、また、最大値の変化にしたがって最大輝度も変化することが分かる。
【００７４】
このように、イメージセンサによる撮像画像の明暗をある程度保ちながら画面の表示領域に合わせて補正を行うため、イメージセンサのダイナミックレンジの広さを生かし、さらに、違和感のない画面表示が可能となる。
【００７５】
次に、本発明の第３の実施形態に係るイメージセンサの出力補正装置について説明する。
【００７６】
図１５は、本発明の第３に実施形態に係るイメージセンサの出力補正装置での、イメージセンサの１フレームの各画素で検出されるセンサ信号とそれらのセンサ信号に対する表示画面上での輝度の関係を示す図である。図１５Ａは、ＡＧＣ部を通す前の信号により表示部に表示したときのセンサ信号に対する表示画面での輝度の関係を示し、図１５Ｂは、本実施形態でのＡＧＣ部を通したときのセンサ信号に対する表示画面での輝度の関係を示すグラフである。図１５Ａに示すように、１フレーム内の画素のうちの最小のセンサ信号をＶｍｉｎとし、最大のセンサ信号をＶｍａｘとするとき、Ｖｍｉｎに対応して表示画面の輝度の最小値がＤｍｉｎであり、Ｖｍａｘに対応して表示画面の輝度の最大値はＤｍａｘとなる。これらの値は、表示部で表示できる最小の輝度である最小可能輝度Ｄｐｍｉｎと表示部で表示できる最大の輝度である最大可能輝度Ｄｐｍａｘの範囲内のほんの一部分となり、ワイドダイナミックレンジの特性が充分にいかされない。そこで、本発明では、図１５Ｂに示すように、１フレームでのセンサ信号の最小値Ｖｍｉｎとセンサ信号の最大値で形成される表示部の輝度の範囲が表示部のとりうる輝度の表示可能輝度範囲を有効に利用されるようにしている。また、センサ信号の最小値が変化したときに表示画面での最小の輝度も変化するようにしている。そのため、イメージセンサから出力する各センサ信号のうちの最小値は、関数ｆｍｉｎにより変換し、最小輝度になるような信号に変換する。このとき、好ましくは、関数として単調増加関数を用いるようにすると良い。また、１フレーム内の各画素のうちで最大のセンサ信号は、表示画面での最大の輝度も変化するようにしている。そのため、イメージセンサから出力する各センサ信号のうちの最大値は、最大値と最小値の差に対応して変化させる関数ｆｃａｌにより変換し、最大輝度になるような信号に変換する。このようにして、センサ信号はオフセットおよびゲイン調整を行わせるようにしている。
【００７７】
そのため、イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値Ｖｍｉｎを検出する最小値検出部と、各フレームでの各画素のうちのセンサ信号の最大値Ｖｍａｘを検出する最大値検出部と、その検出された各フレームでの各画素のセンサ信号の最小値Ｖｍｉｎが予め定められた最小値変換関数ｆｍｉｎを用いて表示部の輝度の下限値Ｄｍｉｎになるように演算する下限値演算部と、最大値Ｖｍａｘが最大値Ｖｍａｘと最小値Ｖｍｉｎの差に基づいた関数ｆｃａｌを用いて表示部の輝度の上限値になるように演算する上限値演算部と、検出された各フレームでの各画素のセンサ信号のうちの最小値と最大値までの出力幅が表示部における輝度の下限値から上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段とを備えた
【００７８】
図１６は、本発明の第３の実施形態によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００７９】
ここでは、加減算部６１とルックアップ用のメモリ６２を設けた以外は第１の実施形態と同様なので、同一の要素には同一の符号を付し説明を省略する。
【００８０】
加減算部６１は、最大値検出部４１によって検出され、ローパスフィルタ４３を通過した最大値信号から最小値検出部４２によって検出され、ローパスフィルタ４４を通過した最小値信号を減算して出力する。
【００８１】
ルックアップ用のメモリ６２には、予めセンサ信号の最大値と最小値の差に応じて、その最大値が所定の関数にしたがって変換を行うための変換関数ｆｃａｌの特性がテーブル設定されている。そして、これらにより、上限値演算部を構成している。
【００８２】
図１７は、出力補正回路１２における処理のフローを示している。
【００８３】
イメージセンサ１１からの信号が出力補正装置１０に入力されたら、信号補正回路１２により温度補正とばらつき補正がなされ補正信号Ｖ’が出力される（ステップＳ３１）。補正信号Ｖ’は、ＡＧＣ部１３の最大値検出部４１で最大値Ｖｍａｘが検出される（ステップＳ３２）。また、最小値検出部で最小値Ｖｍｉｎが検出される（ステップＳ３３）。最大値検出部４１によって検出され、ローパスフィルタ４３を通過した最大値信号から最小値検出部４２によって検出され、ローパスフィルタ４４を通過した最小値信号を加減算部６１おいて減算して出力する（ステップＳ３４）。ルックアップ用のメモリ６２において、予めセンサ信号の最大値と最小値の差に応じて、その最大値が所定の関数にしたがって変換を行うための変換関数ｆｃａｌの特性が設定されたテーブルによって最大値が変換される（ステップＳ３５）。ローパスフィルタ４４を通過した最小値信号は、ルックアップ用のメモリ４５で検索し、最小値を変換し変換された信号が出力される（ステップＳ３６）。変換された最大値信号から変換された最小値信号が減算され（ステップＳ３７）、ローパスフィルタ４７を通過して、ルックアップ用のメモリ４８で検索された値でゲイン補正値Ｇが乗算部５０に出力される（ステップＳ３８）。また、変換された最小値は信号Ｖ’から加減算部４９において減算し、その信号が乗算部５０に出力される（ステップＳ３９）。その信号が、ゲイン補正値Ｇと乗算され、出力信号となり表示部に送られる（ステップＳ４０）
【００８４】
このように、イメージセンサによる撮像画像の明暗をある程度保ちながら画面の表示領域に合わせて補正を行うため、イメージセンサのダイナミックレンジの広さを生かし、さらに、違和感のない画面表示が可能となる。
【００８５】
次に、本発明の第４の実施形態に係るイメージセンサの出力補正装置を説明する。
【００８６】
図１８は、本発明の第４の実施形態に係るイメージセンサの出力補正装置での、イメージセンサの１フレームの各画素で検出されるセンサ信号とそれらのセンサ信号に対する表示画面上での輝度の関係を示す図である。図１８Ａは、ＡＧＣ部を通す前の信号により表示部に表示したときのセンサ信号に対する表示画面での輝度の関係を示し、図１８Ｂは、本実施形態でのＡＧＣ部を通したときのセンサ信号に対する表示画面での輝度の関係を示すグラフである。図１８Ａに示すように、１フレーム内の画素のうちの最小のセンサ信号をＶｍｉｎとし、最大のセンサ信号をＶｍａｘとするとき、Ｖｍｉｎに対応して表示画面の輝度の最小値がＤｍｉｎであり、Ｖｍａｘに対応して表示画面の輝度の最大値はＤｍａｘとなる。これらの値は、表示部で表示できる最小の輝度である最小可能輝度Ｄｐｍｉｎと表示部で表示できる最大の輝度である最大可能輝度Ｄｐｍａｘの範囲内のほんの一部分となり、ワイドダイナミックレンジの特性が充分にいかされない。そこで、本発明では、図１８Ｂに示すように、１フレームでのセンサ信号の最小値Ｖｍｉｎとセンサ信号の最大値で形成される表示部の輝度の範囲が表示部のとりうる輝度の表示可能輝度範囲を有効に利用されるようにしている。また、センサ信号の最小値が変化したときに表示画面での最小の輝度も変化するようにしている。そのため、イメージセンサから出力する各センサ信号のうちの最小値は、関数ｆｍｉｎにより変換し、最小輝度になるような信号に変換する。このとき、好ましくは、関数として単調増加関数を用いるようにすると良い。また、１フレーム内の各画素のうちで最大のセンサ信号は、表示画面での最大の輝度も変化するようにしている。そのため、イメージセンサから出力する各センサ信号のうちの最大値は、最大値と変換された最小値の差に対応して変化する関数ｆｃａｌにより変換し、最大輝度になるような信号に変換する。このようにして、センサ信号はオフセットおよびゲイン調整を行わせるようにしている。
【００８７】
そのため、本発明の第４の実施形態によるイメージセンサの出力補正装置は、イメージセンサから出力される各フレームでの各画素のセンサ信号のうちの最小値Ｖｍｉｎを検出する最小値検出部と、各フレームでの各画素のセンサ信号のうちの最大値Ｖｍａｘを検出する最大値検出部と、その検出された各フレームでの各画素のセンサ信号のうちの最小値が予め定められた最小値変換関数ｆｍｉｎを用いて表示部の輝度の下限値になるように演算する下限値演算部と、最大値と下限値演算部によって演算された下限値を変換したときの値との差に基づいた関数ｆｃａｌにより最大値が表示部の上限値になるように演算する上限値演算部と、検出された各画素のセンサ信号の最小値と最大値までの出力幅が表示部における輝度の下限値から上限値までの幅になるようにセンサ信号のゲイン調整を行うゲイン調整手段とを備えた。
【００８８】
図１９は、本発明の第４の実施形態によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００８９】
ここでは、加減算部６３とルックアップ用のメモリ６４を設けた以外は第１の実施形態と同様なので、同一の要素には同一の符号を付し説明を省略する。
【００９０】
加減算部６３は、最大値検出部４１によって検出され、ローパスフィルタ４３を通過した最大値信号から最小値検出部４２によって検出され、ローパスフィルタ４４を通過し、ルックアップ用メモリ４５によって変換された最小値信号を減算して出力する。
【００９１】
ルックアップ用のメモリ６４には、予めセンサ信号の最大値と最小値の差に応じて、その最大値が所定の関数にしたがって変換を行うための変換関数ｆｃａｌの特性がテーブル設定されている。そして、これらにより上限値演算部を構成している。
【００９２】
図２０は、出力補正回路１２における処理のフローチャートを示している。
【００９３】
イメージセンサからの信号が出力補正装置に入力されたら、信号補正回路により温度補正とばらつき補正がなされ補正信号Ｖ’が出力される（ステップＳ４１）。補正信号Ｖ’は、ＡＧＣ部の最大値検出部で最大値Ｖｍａｘが検出される（ステップＳ４２）。また、最小値検出部で最小値Ｖｍｉｎが検出される（ステップＳ４３）。最小値信号は、ルックアップ用のメモリで検索し、最小値を変換し変換された信号Ｖｆｍｉｎが出力される（ステップＳ４４）。最大値検出部４１によって検出され、ローパスフィルタ４３を通過した最大値信号からルックアップ用のメモリ４５によって変換された最小値信号を加減算部６３おいて減算して出力する（ステップＳ４５）。ルックアップ用のメモリ６４において、予めセンサ信号の最大値と変換された最小値の差に応じて、その最大値が所定の関数にしたがって変換を行うための変換関数ｆｃａｌの特性が設定されたテーブルによって最大値が変換される（ステップＳ４６）。変換された最大値信号から変換された最小値信号が減算され（ステップＳ４７）、ローパスフィルタを通過して、ルックアップ用のメモリで検索された値でゲイン補正値Ｇが乗算部に出力される（ステップＳ４８）。また、変換された最小値は信号から減算し、その信号が乗算部に出力される（ステップＳ４９）。その信号が、ゲイン補正値Ｇと乗算され、出力信号となり表示部に送られる（ステップＳ５０）。
【００９４】
このように、イメージセンサによる撮像画像の明暗をある程度保ちながら画面の表示領域に合わせて補正を行うため、イメージセンサのダイナミックレンジの広さを生かし、さらに、違和感のない画面表示が可能となる。
【００９５】
次に本発明の第５の実施形態に係るイメージセンサの出力補正装置を説明する。
【００９６】
図２１は、本発明の第５の実施形態によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００９７】
ここでは、映像メモリ６５を設けた以外は第１の実施形態と同様なので、同一の要素には同一の符号を付し説明を省略する。
【００９８】
映像メモリ６５は、イメージセンサ１１からの１フレーム分の信号を記憶する。
【００９９】
図２２は、出力補正回路１２における処理のフローチャートを示している。
【０１００】
イメージセンサからの信号の１フレーム分がまず、映像メモリ６５に記憶される（ステップＳ５１）。その映像メモリ６５に記憶された信号が出力補正装置に出力され、信号補正回路１２により温度補正とばらつき補正がなされ補正信号が出力される（ステップＳ５２）。補正信号は、ＡＧＣ部１３の最大値検出部４１で最大値が検出される（ステップＳ５３）。また、最小値検出部４２で最小値が検出される（ステップＳ５４）。ローパスフィルタ４４を通過した最小値信号は、ルックアップ用のメモリ４５で検索し、最小値を変換し変換された信号が出力される（ステップＳ５５）。ローパスフィルタ４３を通過した最大値信号から変換された最小値信号が減算され（ステップＳ５６）、ローパスフィルタ４７を通過して、ルックアップ用のメモリ４８で検索された値でゲイン補正値Ｇが乗算部５０に出力される（ステップＳ５７）。また、変換された最小値は信号から減算し、その信号が乗算部５０に出力される（ステップＳ５８）。その信号が、ゲイン補正値Ｇと乗算され、出力信号となり表示部に送られる（ステップＳ５９）
【０１０１】
このように、イメージセンサによる撮像画像の明暗をある程度保ちながら画面の表示領域に合わせて補正を行うため、イメージセンサのダイナミックレンジの広さを生かし、さらに、違和感のない画面表示が可能となる。
【産業上の利用可能性】
【０１０２】
本発明は、イメージセンサの出力補正装置に利用される。
【図面の簡単な説明】
【０１０３】
【図１】本発明に係るイメージセンサの出力補正装置の基本部分を示すブロック図である。
【図２】光センサ回路における各部信号のタイムチャートである。
【図３】イメージセンサの具体的な構成例である。
【図４】イメージセンサの動作を説明する各部信号のタイムチャートである。
【図５】本発明でのイメージセンサのセンサ信号と表示画面上の輝度の関係を示す図である。
【図６】本発明のイメージセンサの出力補正装置の具体的な構成例である。
【図７】最小値変換関数に従った変換テーブルを示すグラフである。
【図８】最小値変換関数に従った変換テーブルを示すグラフである。
【図９】第１の実施形態に係るイメージセンサの出力補正回路における処理のフローチャートである。
【図１０】センサ信号に対する表示部で表示される画像の信号の関係を示す図である。
【図１１】本発明でのイメージセンサのセンサ信号と表示画面上の輝度の関係を示す図である。
【図１２】本発明のイメージセンサの出力補正装置の具体的な構成例である。
【図１３】第２の実施形態に係るイメージセンサの出力補正回路における処理のフローチャートである。
【図１４】センサ信号に対する表示部で表示される画像の信号の関係を示す図である。
【図１５】本発明でのイメージセンサのセンサ信号と表示画面上の輝度の関係を示す図である。
【図１６】本発明のイメージセンサの出力補正装置の具体的な構成例である。
【図１７】第３の実施形態に係るイメージセンサの出力補正回路における処理のフローチャートである。
【図１８】本発明でのイメージセンサのセンサ信号と表示画面上の輝度の関係を示す図である。
【図１９】本発明のイメージセンサの出力補正装置の具体的な構成例である。
【図２０】第４の実施形態に係るイメージセンサの出力補正回路における処理のフローチャートである。
【図２１】本発明のイメージセンサの出力補正装置の具体的な構成例である。
【図２２】第４の実施形態に係るイメージセンサの出力補正回路における処理のフローチャートである。
【図２３】従来のＭＯＳ型のイメージセンサの１画素分の光センサ回路である。
【図２４】光電流に対する電圧信号Ｖｐｄの変化特性を表すグラフである。
【図２５】読み出し信号Ｖｓを印加するパルスタイミングと反転増幅された電圧信号Ｖｐｄ’の時間変化を示すグラフである。
【図２６】フォトダイオードに生じる光電流とセンサ信号の関係を示すグラフである。
【図２７】表示画面に表示される像の光電流と表示画面の輝度の関係を示す図である。
【符号の説明】
【０１０４】
１０          イメージセンサの出力補正装置
１１          イメージセンサ
１２          信号補正部
１３          自動利得制御部（ＡＧＣ）
１４          表示部
２１          画素列選択回路
２２          画素選択回路
２３          スイッチ群
２４          ゲート電圧ＶＧ用電源
２５          電圧切換回路
２６          ドレイン電圧ＶＤ用電源
３１          温特加減算部
３２          加減算部
３３          乗算部
３４          温特乗算部
４１          最大値検出部
４２          最小値検出部
４３，４４    ローパスフィルタ
４５          ルックアップ用のメモリ
４６          加減算部
４７          ローパスフィルタ
４８          ルックアップ用のメモリ
４９          加減算部
５０          乗算部
【図１】
2005323073.tif 000003
【図２】
2005323073.tif 000004
【図３】
2005323073.tif 000005
【図４】
2005323073.tif 000006
【図５】
2005323073.tif 000007
【図６】
2005323073.tif 000008
【図７】
2005323073.tif 000009
【図８】
2005323073.tif 000010
【図９】
2005323073.tif 000011
【図１０】
2005323073.tif 000012
【図１１】
2005323073.tif 000013
【図１２】
2005323073.tif 000014
【図１３】
2005323073.tif 000015
【図１４】
2005323073.tif 000016
【図１５】
2005323073.tif 000017
【図１６】
2005323073.tif 000018
【図１７】
2005323073.tif 000019
【図１８】
2005323073.tif 000020
【図１９】
2005323073.tif 000021
【図２０】
2005323073.tif 000022
【図２１】
2005323073.tif 000023
【図２２】
2005323073.tif 000024
【図２３】
2005323073.tif 000025
【図２４】
2005323073.tif 000026
【図２５】
2005323073.tif 000027
【図２６】
2005323073.tif 000028
【図２７】
2005323073.tif 000029