(57)【要約】対数特性をもち、残像の発生を抑制するための初期化手段を有する光センサ回路を画素単位に用いたイメージセンサ７によって高速事象を撮影し、その撮影した画像のデータをメモリ２０に記憶し、そのメモリ２０から読み出した画像のデータにもとづいてイメージセンサ７における各画素出力のバラツキを補正装置１８によって補正する処理を行って、その補正されたデータにもとづいて画像を表示装置２２に表示する構成とすることにより、高速事象に追従した速度で記憶を行わせながら、その高速度に追従させることなく、通常の処理速度をもってイメージセンサにおける各画素出力のバラツキ補正を行わせることができる。
2003026282.tif 000002
【特許請求の範囲】
【請求項１】
光検知時の入射光量に応じて光電変換素子に流れるセンサ電流をトランジスタのオーバフロードレイン動作による弱反転状態で対数特性をもって電圧信号に変換して、その変換した電圧信号に応じたセンサ出力を生ずるとともに、光検知に先がけて前記トランジスタのドレイン電圧を一時的に定常よりも低い値に切り換えて、前記光電変換素子の寄生容量に蓄積された電荷を放電させて初期化するようにした光センサ回路を画素単位に用いたイメージセンサと、そのイメージセンサによって撮影された画像のデータを高速度で記憶するメモリと、そのメモリから読み出した画像のデータにもとづいてイメージセンサにおける各画素のセンサ出力のバラツキを補正する補正回路と、その補正されたデータにもとづいて画像を表示する表示装置とによって構成された高速事象撮影装置。
【請求項２】
イメージセンサによって撮影された画像のデータを表示装置の表示フレームの速度に合せて記憶するメモリを設け、そのメモリから読み出した画像のデータにもとづいてイメージセンサにおける各画素のセンサ出力のバラツキを補正したうえで、その補正されたデータにもとづいて表示装置に画像を表示する手段を設けたことを特徴とする請求項１の記載による高速事象撮影装置。
【発明の詳細な説明】
技術分野
本発明は、高速事象を撮影した画像のデータをメモリに記憶したうえで、その記憶データにもとづいて画像を再生するようにした高速事象撮影装置に関する。
背景技術
一般に、発生が突発的で、前もって最適な撮影条件を設定しておくことができないような高速事象をカメラによって撮影しようとする場合、通常のカメラによるのでは自動絞りが追従しきれず、そのため撮影した画像がぼやけてしまい、また残像による尾引きが顕著になっている。
そのため、従来では、高速事象の撮影に最適なように、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサが開発されている。
そのイメージセンサとしては、その１画素分の光センサ回路が、第１図に示すように、入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、そのフォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換するトランジスタＱ１と、その変換された電圧信号Ｖｐｄを増幅するトランジスタＱ２と、画信号読出し信号Ｖｓのパルスタイミングでもって画信号を出力するトランジスタＱ３とによって構成され、ダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようになっている。そして、トランジスタＱ１のドレイン電圧ＶＤを所定時間だけ定常値よりも低く設定することにより、フォトダイオードＰＤの寄生容量に蓄積された電荷を放電させて初期化させることにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている（特開２０００−３２９６１６号公報参照）。
このようなイメージセンサにあっては、各画素の構成上からくる出力特性のバラツキおよび温度特性のバラツキに起因して、各画素の出力特性が不揃いなものになっており、そのままでは撮影時に暗時および明時の画像データを得ることができないため、各画素の出力特性のバラツキを補正する必要があるものになっている。
そのイメージセンサにおける各画素の出力特性のバラツキの補正としては、通常、予め各画素の出力のバラツキ状態を測定して、それが所定の出力値になるような補正値を求めて記憶しておき、実際に撮影したときの各画素の出力をその補正値を用いて演算処理によって補正することになる。
しかして、このようなイメージセンサによって高速事象を撮影した画像のデータを高速記憶が可能なメモリに一時蓄積したうえで、後で事象解析のためにメモリからデータを読み出して画像を表示装置に表示するような場合に、イメージセンサにおける各画素の出力特性のバラツキの補正を行わせた画像データをメモリに記憶させるのでは、その補正を高速で行わせる必要があるが、そのような高速事象に追従してイメージセンサの出力補正を行わせるような補正回路を実現するのが困難になっている。
このように、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって高速事象を撮影した画像のデータを高速度で記憶するメモリに一時蓄積したうえで、その蓄積されたデータを読み出して画像を表示装置に表示させるに際して、各画素の出力特性のバラツキの補正を行わせた画像データをメモリに記憶させるのでは、高速事象に追従したイメージセンサの出力補正を行わせることが困難になってしまうという問題がある。
また、そのイメージセンサによる撮影中の高速事象の画像を表示装置に表示して撮影状況をモニタするような場合に、イメージセンサによる撮影画像のフレーム速度が早すぎて、そのままでは表示フレームの速度が遅い表示装置に表示させることができないという問題がある。
発明の開示
本発明は、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって高速事象を撮影した画像のデータを高速度で記憶するメモリに一時蓄積したうえで、その蓄積されたデータを読み出して画像を表示装置に表示させるに際して、イメージセンサの出力補正を容易に実現できるようにするべく、イメージセンサによって撮影された画像のデータを直接メモリに蓄積したうえで、そのメモリから読み出した画像のデータにもとづいてイメージセンサにおける各画素のセンサ出力のバラツキを補正する処理を行って、その補正されたデータにもとづいて画像の表示を行わせるようにしている。
また、本発明による高速事象撮影装置にあっては、イメージセンサによって撮影された画像のデータを表示装置の表示フレームの速度に合せて記憶するメモリを別途設け、そのメモリから読み出した画像のデータにもとづいてイメージセンサにおける各画素のセンサ出力のバラツキを補正したうえで、その補正されたデータにもとづいてイメージセンサによる撮影中の高速事象の画像を表示装置にモニタ表示させることができるようにしている。
発明を実施するための最良の形態
本発明による高速事象撮影装置に用いられるイメージセンサは、基本的に前述した図１に光センサ回路を画素単位に用いている。
第２図は、その光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光検知のタイミングを、ＴはフォトダイオードＰＤの寄生容量Ｃの蓄積期間をそれぞれ示している。
その光センサ回路にあっては、第３図に示すように、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
第４図は、第１図に示す光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画信号の時系列的な読出し走査を行わせるとともに、各画信号の読出し走査に応じた適切なタイミングをもって各画素の初期化を行わせるように構築したときのイメージセンサの一構成例を示している。
ここでは、例えば、イメージセンサの基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。
そして、このようなイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
第５図は、このように構成されたイメージセンサの動作時における各部信号のタイムチャートを示している。
以上は、前述した従来のイメージセンサと全く同じ構成である。
このように構成されたイメージセンサにあっては、各画素における入射光量に応じたセンサ電流に対する電圧変換は対数変換用のトランジスタＱ１のサブスレッショルド領域の特性を利用して行われるが、そのサブスレッショルド値は画素毎に異なるために、各画素のセンサ出力にバラツキを生じてしまう。また、各画素にあっては、対数変換された電圧信号を高インピーダンスで受けて出力する必要があることから増幅用トランジスタＱ２を設けているが、そのトランジスタＱ２の特性の不揃いも各画素のセンサ出力のバラツキの要因となっている。
また、このようなイメージセンサにあっては、各画素におけるトランジスタの温度特性の不揃いに起因して、各画素の出力特性にバラツキを生ずるものとなっている。
第６図は、このようなイメージセンサにおける各画素の構成上からくる出力特性のバラツキによるオフセット補正およびゲイン補正を行わせるための基本的な構成を示している。
それは、イメージセンサ７および各画素の画信号を時系列的に読み出すための駆動制御を行うＥＣＵ８と、イメージセンサ７から時系列的に出力する画信号Ｖｏをデジタル信号に変換するＡＤ変換器９と、予め各画素の特性に応じたオフセット補正値ＯＦＳおよびゲイン補正のための乗数ＭＬＴが設定されており、ＥＣＵ８から与えられる画信号読出し時における画素のアドレス（Ｘ，Ｙ）の信号ＡＤＤＲＥＳＳに応じて所定のオフセット補正値ＯＦＳおよび乗数ＭＬＴを読み出すメモリ１０と、そのメモリ１０から読み出されたオフセット補正値ＯＦＳおよび乗数ＭＬＴにもとづいてデジタル信号に変換された画信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１１とによって構成されている。
第８図は、３つの画素の構成上からくる各画信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値Ｈに応じたセンサ電流の値Ｉｍは各画素の画信号Ａ，Ｂ，Ｃが非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
ここでは、基本的に、このような非対数応答領域ＷＡにおける各画信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画信号の出力特性の傾きがそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるものである。各画素のパラメータとして、それぞれの各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
第７図は、出力補正回路１１における処理のフローを示している。
メモリ１０には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１１１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第９図に示すように、各画素の画信号Ａ，Ｂ，Ｃにおける非対数応答領域ＷＡの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１がしきい値Ｈ以上であるか否かを判断して、しきい値Ｈ以上であれば、すなわち画信号ＤＳ１が対数応答領域ＷＢにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ＋（画信号ＤＳ１−Ｈ）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２として出力する。
このような各画素の画信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、第１０図に示すように、対数応答領域ＷＢの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１がしきい値Ｈよりも小さければ、すなわち画信号ＤＳ１が非対数応答領域ＷＡにあれば、そのままオフセット補正された画信号ＤＳ１を出力補正されたデジタル画信号ＤＳ２として出力する。
第１１図は、各画素の温度特性のバラツキによるオフセット補正およびゲイン補正を行わせるための基本的な構成を示している。
それは、イメージセンサ７およびその雰囲気温度を検出する内蔵の温度センサ１２と、イメージセンサ７から各画素の画信号Ｖｏを時系列的に読み出すとともに、温度センサ１２による温度検出信号ＴＳを所定のタイミングで読み出すための制御を行うＥＣＵ８と、イメージセンサ７から時系列的に出力する画信号Ｖｏをデジタル信号に変換するＡＤ変換器９と、温度センサ１２からの温度検出信号ＴＳをデジタル信号に変換するＡＤ変換器１３と、予め各画素の温度特性に応じたオフセット補正値Ｔ−ＯＦＳおよびゲイン補正のための乗数Ｔ−ＭＬＴが設定されており、デジタル変換された温度検出信号ＤＴＳに応じて所定のオフセット補正値Ｔ−ＯＦＳおよび乗数Ｔ−ＭＬＴを読み出すメモリ１４と、そのメモリ１４から読み出されたオフセット補正値Ｔ−ＯＦＳおよび乗数Ｔ−ＭＬＴにもとづいてデジタル信号に変換された画信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１５とによって構成されている。
第１３図は、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値ＴＨに応じたセンサ電流の値Ｉｔｍは温度ＴＡ，ＴＢ，ＴＣに応じた各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
ここでは、基本的に、このような非対数応答領域ＷＡにおける各画信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画信号の出力特性の傾きがそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるようにするものである。各画素のパラメータとして、それぞれの温度ＴＡ，ＴＢ，ＴＣに応じた各画信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
第１２図は、出力補正回路１５における処理のフローを示している。
メモリ１４には、センサ電流がＩｔｍの値のときに画素出力がＴＨとなるようなオフセット補正値Ｔ−ＯＦＳが設定されている。そして、オフセット補正部１５１において、そのオフセット補正値Ｔ−ＯＦＳを用いた加減算処理をなすことによって各画素の各デジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第１４図に示すように、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の非対数応答領域ＷＡの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１′にもとづき、ゲイン補正部１５２において、しきい値ＴＨ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１′がしきい値ＴＨ以上か否かを判断して、しきい値ＴＨ以上であれば、メモリ１４から読み出されたゲイン補正のための所定の乗数Ｔ−ＭＬＴを用いて、
出力←ＴＨ＋（画信号ＤＳ１−ＴＨ）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２′として出力する。
このような各画素の温度ＴＡ，ＴＢ，ＴＣに応じた各画信号のゲイン補正が行われた結果、第１５図に示すように、対数応答領域ＷＢの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１′がしきい値ＴＨよりも小さければ、そのままオフセット補正された画信号ＤＳ１′を出力補正されたデジタル画信号ＤＳ２′として出力する。
イメージセンサにおける各画素の出力のバラツキの補正としては、イメージセンサにおける各画素の構成上からくる出力特性のバラツキおよび各画素の温度特性のバラツキの両方の影響が抑制された画信号が得られるように、以上説明した各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正と、温度特性のバラツキのオフセット補正およびゲイン補正とを行わせるようにする必要がある。
その場合、各画素の構成上からくる出力特性のバラツキと温度特性のバラツキとの両方の影響を受けた画信号の補正を行わせるに際して、例えば、先に第７図に示す処理によって各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正をなしたうえで、続けて第１２図に示す処理によって温度特性のバラツキのオフセット補正およびゲイン補正を行わせるようにすると、温度による変化分を適正化することなく画信号の補正が行われてしまうことになる。
すなわち、第１６図に示すように、各画素の構成上からくる出力特性のバラツキのオフセット補正とゲイン補正をＨレベルを境として行わせるに際して、図中点線で示すように、温度による画信号のオフセットがない場合には問題ないが、図中実線で示すように、温度による画信号のオフセットがある場合にはＨレベルが固定のために補正の切換点がａからａ′点に移行してしまい、正規とは異なった補正が行われてしまう。ここでは、温度変化によって出力特性が下方向にシフトした例を示しており、Ｈレベルが非対数応答領域ＷＡと対数応答領域ＷＢとの境目から上方にずれてしまっている。
このような問題を解決するため、各画素の構成上からくる出力特性のバラツキを補正するに先立って、Ｈレベルを非対数応答領域ＷＡと対数応答領域ＷＢとの境目に合せるために、温度特性のバラツキによるオフセット補正を行わせるようにしている。
同様の問題は、先に温度特性のバラツキの補正を行わせてから、あとで各画素の構成上からくる出力特性のバラツキを補正する場合にも生ずることになる。したがって、この場合には、温度特性のバラツキを補正するに先立って、ＴＨレベルを非対数応答領域ＷＡと対数応答領域ＷＢとの境目に合せるために、各画素の構成上からくる出力特性のバラツキによるオフセット補正を行わせるようにしている。
第１７図は、温度特性のバラツキのオフセット補正を行ったのち、各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、温度特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。図中、１６は第７図に示す各画素の出力特性のバラツキのオフセット補正およびゲイン補正を行う処理ブロックと同じものであり、１７は第１２図に示す温度特性のバラツキのオフセット補正およびゲイン補正を行う処理ブロックと同じものである。
この場合には、イメージセンサ７から出力されてデジタル化された画信号ＤＳが温度特性のバラツキの補正を行う処理ブロック１７側のオフセット補正部１５１に与えられ、そこで画信号ＤＳの温度特性のバラツキのオフセット補正が行われることによって、出力特性のバラツキの補正を行わせる際のＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ１１が処理ブロック１６に与えられて、そこで出力特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１６においてオフセット補正およびゲイン補正された画信号ＤＳ１２が処理ブロック１７側のゲイン補正部１５２に与えられて、そこで温度特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ１３が得られることになる。
第１８図は、各画素の構成上からくる出力特性のバラツキのオフセット補正を行ったのち、温度特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、出力特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合は、イメージセンサ７から出力されてデジタル化された画信号ＤＳが出力特性のバラツキの補正を行う処理ブロック１６側のオフセット補正部１１１に与えられ、そこで画信号ＤＳの出力特性のバラツキのオフセット補正が行われることによって、温度特性のバラツキの補正を行わせる際のＴＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ２１が処理ブロック１７に与えられて、そこで温度特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１７においてオフセット補正およびゲイン補正された画信号ＤＳ２２が処理ブロック１６側のゲイン補正部１１２に与えられて、そこで出力特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ２３が得られることになる。
第２０図は、３つの画素の構成上からくる各画信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の他の例を示している。
第１９図は、その場合の出力補正回路１１における処理のフローを示している。
メモリ１０には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１１１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第２１図に示すように、各画素の画信号Ａ，Ｂ，Ｃにおける対数応答領域ＷＢの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以げの非対数応答領域ＷＡに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１がしきい値Ｈ以下であるか否かを判断して、しきい値Ｈ以下であれば、すなわち画信号ＤＳ１が非対数応答領域ＷＡにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ−（Ｈ−画信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２として出力する。
このような各画素の画信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、第２２図に示すように、非対数応答領域ＷＡの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１がしきい値Ｈよりも大きければ、すなわち画信号ＤＳ１が対数応答領域ＷＢにあれば、そのままオフセット補正された画信号ＤＳ１を出力補正されたデジタル画信号ＤＳ２として出力する。
第２４図は、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の出力特性のバラツキ状態の他の例を示している。
ここでは、基本的に、このような対数応答領域ＷＢにおける各画信号の出力特性の傾きがほぼ同一で、非対数応答領域ＷＡにおける各画信号の出力特性の形状がそれぞれ異なる場合におけるイメージセンサの出力補正を行わせるようにしている。
第２３図は、その場合の出力補正回路１５における処理のフローを示している。
メモリ１４には、センサ電流がＩｔｍの値のときに画素出力がＴＨとなるようなオフセット補正値Ｔ−ＯＦＳが設定されている。そして、オフセット補正部１５１において、そのオフセット補正値Ｔ−ＯＦＳを用いた加減算処理をなすことによって各画素の各デジタル信号に変換された画信号ＤＳのオフセット補正を行わせると、第２５図に示すように、温度ＴＡ，ＴＢ，ＴＣに応じた各画信号の対数応答領域ＷＢの特性が一致するようになる。
次に、そのオフセット補正された画信号ＤＳ１′にもとづき、ゲイン補正部１５２において、しきい値ＴＨ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
具体的には、オフセット補正された画信号ＤＳ１′がしきい値ＴＨ以下か否かを判断して、しきい値ＴＨ以下であれば、メモリ１４から読み出されたゲイン補正のための所定の乗数Ｔ−ＭＬＴを用いて、
出力←ＴＨ−（ＴＨ−画信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたデジタル画信号ＤＳ２′として出力する。
このような温度ＴＡ，ＴＢ，ＴＣに応じた各画信号のゲイン補正が行われた結果、第２６図に示すように、非対数応答領域ＷＡの特性が一致するようになる。
また、その際、オフセット補正された画信号ＤＳ１′がしきい値ＴＨよりも大きければ、そのままオフセット補正された画信号ＤＳ１′を出力補正されたデジタル画信号ＤＳ２′として出力する。
第２７図は、温度特性のバラツキのオフセット補正を行ったのち、各画素の構成上からくる出力特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、温度特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合には、イメージセンサ７から出力されてデジタル化された画信号ＤＳが温度特性のバラツキの補正を行う処理ブロック１７側のオフセット補正部１５１に与えられ、そこで画信号ＤＳの温度特性のバラツキのオフセット補正が行われることによって、出力特性のバラツキの補正を行わせる際のＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ１１が処理ブロック１６に与えられて、そこで出力特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１６においてオフセット補正およびゲイン補正された画信号ＤＳ１２が処理ブロック１７側のゲイン補正部１５２に与えられて、そこで温度特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ１３が得られることになる。
第２８図は、各画素の構成上からくる出力特性のバラツキのオフセット補正を行ったのち、温度特性のバラツキのオフセット補正およびゲイン補正を行ったうえで、出力特性のバラツキのゲイン補正を行わせるようにしたときの処理のフローを示している。
この場合は、イメージセンサ７から出力されてデジタル化された画信号ＤＳが出力特性のバラツキの補正を行う処理ブロック１６側のオフセット補正部１１１に与えられ、そこで画信号ＤＳの出力特性のバラツキのオフセット補正が行われることによって、温度特性のバラツキの補正を行わせる際のＴＨレベルの合せ込みが行われる。そして、そのオフセット補正された画信号ＤＳ２１が処理ブロック１７に与えられて、そこで温度特性のバラツキのオフセット補正およびゲイン補正が適正に行われる。次いで、処理ブロック１７においてオフセット補正およびゲイン補正された画信号ＤＳ２２が処理ブロック１６側のゲイン補正部１１２に与えられて、そこで出力特性のバラツキのゲイン補正が行われて、最終的に出力特性のバラツキおよび温度特性のバラツキの補正がなされた画信号ＤＳ２３が得られることになる。
本発明による高速事象撮影装置にあっては、このような各画素の出力特性のバラツキを補正するようにしたイメージセンサによって高速事象を撮影した画像のデータを高速記憶が可能なメモリに一時蓄積したうえで、後で事象解析のためにメモリからデータを読み出して画像を表示装置に表示させるようにしている。
その場合、第２９図に示すように、イメージセンサ７から時系列的に出力する画信号をＡＤ変換器９によってデジタル信号に変換したうえで、補正装置１８において各画素の出力特性のバラツキを補正した画信号をメモリコントローラ１９の制御下でフレームメモリ（またはバッファメモリ）２０に順次記憶していくことによって撮影画像の録画を行わせるような構成にするのでは、補正装置１８における処理を高速事象に追従して高速で行わせる必要があるものになってしまう。ここで、補正装置１８は、第６図および第１１図の構成におけるイメージセンサ７およびＡＤ変換器９を除いた部分の構成からなっている。
そのため、特に本発明では、第３０図に示すように、イメージセンサ７によって撮影した画像の画信号を何ら補正することなくそのままフレームメモリ２０に記憶させるようにしている。そして、メモリコントローラ１９の制御下においてフレームメモリ２０からその記憶した画信号を読み出して画像を再生する際に、補正装置１８によりフレームメモリ２０から順次読み出される各画素の画信号のバラツキを補正したうえで、信号変換器２１によりビデオ信号に変換して表示装置２２に撮影画像を映し出すようにしている。図中、２３は、外部からの録画、再生のスイッチ指令ＳＣに応じて、メモリコントローラ１９に画信号の記憶、読出しの切り換えの制御信号を与える録画／再生制御回路である。
したがって、このような構成をとることによって、イメージセンサ７によって撮影した画像の記録を高速事象に追従して行わせることができる。そして、そのイメージセンサ７における各画素の出力のバラツキの補正を、記録画像の再生時に、表示装置２２における画像表示のフレーム速度に応じてフレームメモリ２０ら読み出される画信号にもとづいて、撮影時の非常な高速度に追従させることなく、通常の処理速度をもって行わせることができるようになる。
その際、例えば、自動車の衝突試験にあって、イメージセンサ７によって自動車の衝突の瞬間を撮影するような場合、１ｍｓｅｃ当り６０〜８０フレームの高速度で撮影して録画する。そして、その録画された画像を、表示装置２２における画像表示のフレーム速度（１／３０秒または１／６０秒）に応じてフレームメモリ２０から読み出して再生する。
第３１図は、本発明による高速事象撮影装置の他の実施例を示している。
イメージセンサ７による高速度撮影の録画中には、その撮影のフレーム速度が表示装置２２における表示速度と異なっているので、そのままでは表示装置２２の画面に映し出すことができないものになっている。
そのため、ここでは、録画／再生制御回路２３の制御下において、イメージセンサ７によって撮影された画像のデータを表示装置２２における画像表示のフレーム速度に応じて記憶する表示用のメモリ２４を別途に設けて、そのメモリ２４から読み出した撮影画像のデータを補正装置１８に与えて補正したうえで、高速録画中の画像を表示装置２２に映し出すことができるようにしている。
表示用のメモリ２４には、所定のタイミングをもって間引くように抽出されたフレームの画信号が更新的に記憶される。そして、この場合にあっても、撮影時の非常な高速度に追従させることなく、補正装置１４において通常の処理速度をもって画信号の補正を行わせることができるようになる。その際、イメージセンサ７の撮影画像のフレーム速度が画像表示のフレーム速度の倍数でない場合には、最も表示フレーム速度に近くなるようなタイミングをもって抽出したフレームの画信号をメモリ２４に記憶するようにする。
したがって、高速録画中の画像を表示装置２２に同時に映し出すことによって、高速事象の撮影状態をリアルタイムで監視することができるようになる。
なお、表示用のメモリ２４を別途に設けることなく、フレームメモリ２０の一部に画像表示のフレーム速度に応じて画信号を記憶するエリアを設けるようにすることも可能である。
また、第３２図は、スイッチ操作によって表示装置２２における画像表示のフレーム速度が１／３０秒および１／６０秒に選択的に切り換えることができる場合に、１／３０秒のフレーム速度用の画信号を記憶するメモリ２４１と、１／６０秒のフレーム速度用の画信号を記憶するメモリ２４２とを並設して、表示装置２２からのフレーム速度の選択信号に応じて切換回路２５によってメモリ選択用のスイッチＳＷ１，ＳＷ２を適宜切り換えるようにしている。なお、各メモリ２４１，２４２への画信号の書込みのタイミングは、表示装置２２からのフレーム速度の選択信号に応じて、録画／再生制御回路２３の制御下において行われることになる。
産業上の利用の可能性
このように、本発明による高速事象撮影装置によれば、ダイナミックレンジが広く、残像の発生を抑制したＭＯＳ型の光センサ回路を画素単位に用いたイメージセンサによって高速事象を撮影し、その撮影した画像のデータをメモリに記憶することにより録画して、再生時に、メモリから読み出した画像のデータにもとづいてイメージセンサにおける各画素出力のバラツキを補正する処理を行って、その補正されたデータにもとづいて画像の表示を行わせるようにしているので、高速事象に追従した速度で録画を行わせながら、その非常な高速度に追従させることなく、通常の処理速度をもってイメージセンサの出力補正を容易に行わせることができ、高速事象の撮影に有利となる。
また、本発明による高速事象撮影装置にあっては、イメージセンサによって撮影された画像のデータを表示装置の表示フレームの速度に合せて記憶するメモリを別途設け、そのメモリから読み出した画像のデータにもとづいてイメージセンサの出力補正をなしたうえで、その補正されたデータにもとづいて表示装置に画像を表示させるようにしているので、イメージセンサによる撮影中の高速事象の画像をモニタ表示させるのに有利となる。
【図面の簡単な説明】
第１図は、本発明による高速事象撮影装置に用いられるイメージセンサの１画素分の光センサ回路を示す電気回路図である。
第２図は、その光センサ回路における各部信号のタイムチャートである。
第３図は、その光センサ回路におけるセンサ電流に対する画信号の出力特性を示す図である。
第４図は、イメージセンサの基本的な構成例を示すブロック図である。
第５図は、その基本的な構成例におけるイメージセンサの各部信号のタイムチャートである。
第６図は、イメージセンサの出力のバラツキを補正する補正装置の一構成例を示すブロック図である。
第７図は、その補正装置における処理のフローの一例を示す図である。
第８図は、イメージセンサにおける各画素の構成上からくる画信号の出力特性のバラツキ状態の一例を示す特性図である。
第９図は、第８図に示す出力特性をもった各画素の画信号をオフセット補正した結果を示す特性図である。
第１０図は、第８図に示す出力特性をもった各画素の画信号をオフセット補正およびゲイン補正した結果を示す特性図である。
第１１図は、イメージセンサの出力の温度によるバラツキを補正するようにした補正装置の他の構成例を示すブロック図である。
第１２図は、その他の構成例による補正装置における処理のフローの一例を示す図である。
第１３図は、イメージセンサにおける各画素の温度変化による画信号の出力特性のバラツキ状態の一例を示す特性図である。
第１４図は、第１３図に示す出力特性をもった各画素の画信号を温度によるオフセット補正した結果を示す特性図である。
第１５図は、第１３図に示す出力特性をもった各画素の画信号を温度によるオフセット補正およびゲイン補正した結果を示す特性図である。
第１６図は、温度によるオフセットのない画信号の出力特性と、温度によるオフセットの影響を受けたときの画信号の出力特性とを示す特性図である。
第１７図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの一例を示す図である。
第１８図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの他の例を示す図である。
第１９図は、第６図の補正装置における処理のフローの他の例を示す図である。
第２０図は、イメージセンサにおける各画素の構成上からくる画信号の出力特性のバラツキ状態の他の例を示す特性図である。
第２１図は、第２０図に示す出力特性をもった各画素の画信号をオフセット補正した結果を示す特性図である。
第２２図は、第２０図に示す出力特性をもった各画素の画信号をオフセット補正およびゲイン補正した結果を示す特性図である。
第２３図は、第１１図に示す補正装置における処理のフローの他の例を示す図である。
第２４図は、イメージセンサにおける各画素の温度変化による画信号の出力特性のバラツキ状態の他の例を示す特性図である。
第２５図は、第２４図に示す出力特性をもった各画素の画信号を温度によるオフセット補正した結果を示す特性図である。
第２６図は、第２４図に示す出力特性をもった各画素の画信号を温度によるオフセット補正およびゲイン補正した結果を示す特性図である。
第２７図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローの他の例を示す図である。
第２８図は、イメージセンサにおける各画素の出力のバラツキおよび温度によるバラツキを補正するようにした補正装置における処理のフローのさらに他の例を示す図である。
第２９図は、高速事象撮影装置の一般的な構成を示すブロック図である。
第３０図は、本発明による高速事象撮影装置の一構成例を示すブロック図である。
第３１図は、本発明による高速事象撮影装置の他の構成例を示すブロック図である。
第３２図は、本発明による高速事象撮影装置のさらに他の構成例を示すブロック図である。
【図１】
2003026282.tif 000003
【図２】
2003026282.tif 000004
【図３】
2003026282.tif 000005
【図４】
2003026282.tif 000006
【図５】
2003026282.tif 000007
【図６】
2003026282.tif 000008
【図７】
2003026282.tif 000009
【図８】
2003026282.tif 000010
【図９】
2003026282.tif 000011
【図１０】
2003026282.tif 000012
【図１１】
2003026282.tif 000013
【図１２】
2003026282.tif 000014
【図１３】
2003026282.tif 000015
【図１４】
2003026282.tif 000016
【図１５】
2003026282.tif 000017
【図１６】
2003026282.tif 000018
【図１７】
2003026282.tif 000019
【図１８】
2003026282.tif 000020
【図１９】
2003026282.tif 000021
【図２０】
2003026282.tif 000022
【図２１】
2003026282.tif 000023
【図２２】
2003026282.tif 000024
【図２３】
2003026282.tif 000025
【図２４】
2003026282.tif 000026
【図２５】
2003026282.tif 000027
【図２６】
2003026282.tif 000028
【図２７】
2003026282.tif 000029
【図２８】
2003026282.tif 000030
【図２９】
2003026282.tif 000031
【図３０】
2003026282.tif 000032
【図３１】
2003026282.tif 000033
【図３２】
2003026282.tif 000034
【国際調査報告】
2003026282.tif 000035
2003026282.tif 000036
2003026282.tif 000037