(57)【要約】【目的】撮像装置の光学系の汚れを簡単かつ確実にリアルタイムで検知できるようにする。【構成】被写体を光学系を通してイメージセンサによって撮影し、その撮影した画像を画面に写し出すようにした撮像装置にあって、イメージセンサから出力する画像データの入出力特性の変換テーブルを用いて明るさの変化を強調する処理手段を設けて、その処理によって光学系の汚れが強調された画像を画面に写し出すことによって光学系の汚れを検知する。【選択図】　　　図６
2004005328.tif 000002
【特許請求の範囲】
【請求項１】
被写体を光学系を通してイメージセンサによって撮影し、その撮影した画像を画面に写し出すようにした撮像装置にあって、イメージセンサから出力する画像データの入出力特性の変換テーブルを用いて明るさの変化を強調する処理手段を設けて、その処理によって光学系の汚れが強調された画像を画面に写し出すことによって光学系の汚れを検知するようにしたことを特徴とする光学系の汚れ検知装置。
【請求項２】
イメージセンサの各画素における輝度領域を連続的に複数に分割して、その各分割された輝度領域における明るさの変化を強調するようにしたことを特徴とする請求項１の記載による光学系の汚れ検知装置。
【請求項３】
被写体とレンズとの間に拡散板を設けたときのイメージセンサから出力する画像データにもとづいて、変換テーブルを用いた明るさの変化を強調する処理を行うようにしたことを特徴とする請求項１の記載による光学系の汚れ検知装置。
【請求項４】
イメージセンサが対数出力特性を有していることを特徴とする請求項１の記載による光学系の汚れ検知装置。
【請求項５】
光検知時の入射光量に応じて光電変換素子に流れるセンサ電流を弱反転状態で動作するトランジスタによって対数特性をもって電圧信号に変換して、その変換された電圧信号に応じた出力を生ずるようにした光センサ回路をイメージセンサの画素に用いたことを特徴とする請求項４の記載による光学系の汚れ検知装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、被写体をレンズやフィルタなどの光学系を通してイメージセンサによって撮影した画像を画面に写し出すようにした撮像装置における光学系の汚れを検知する光学系の汚れ検知装置に関する。
【０００２】
【従来の技術】
従来、ダイナミックレンジを広げるために、直線出力に加えて対数出力も含めて撮影画像のデータを出力するイメージセンサがある（特開平１０−９００５８号公報および特開平５−３３５５４６号公報参照）。
【０００３】
また、従来、画素を構成する光センサ回路におけるトランジスタのサブスレッショルド領域の特性を利用して対数出力特性をもたせるようにしたイメージセンサがある（特開平５−２１９４４３号公報および特開平７−４６４８１号公報参照）。
【０００４】
さらに、光センサ回路におけるトランジスタのサブスレッショルド領域の特性を利用して対数出力特性をもたせるようにしたイメージセンサで問題となる容量性残像を抑制するようにしたものが開発されている（特開２０００−３２９６１６号公報参照）。
【０００５】
このような対数出力特性をもたせることによって広いダイナミックレンジを得ることができるようにしたイメージセンサによれば、例えば、トンネル内からトンネル出口部分を撮影する場合、室内から屋外を撮影する場合、あるいはレーザ溶接の高輝度のスポット部分とその周辺の部分を撮影する場合など、特に明るい部分と暗い部分とが同時に存在する被写体を撮影するのに適している。
【０００６】
しかし、対数出力特性をもたせることによってダイナミックレンジを広げるようにしたイメージセンサによれば、暗いところから明るいところまで網羅できる反面、輝度が対数圧縮されているのでコントラストが低下して、撮影画像からレンズやフィルタなどの光学系の汚れを検知しにくいものになっている。
【０００７】
その際、撮影に際してレンズやフィルタなどの光学系に指紋や水分、ゴミなどの付着によって汚れていると、撮影した画像の光学系の汚れに対応する部位が白いもやがかかったような状態になる。屋外で液晶画面に画像を写し出しながら撮影を行うような場合に、まわりが明るいために画面に写し出された画像中における部分的な白いもや状のものを発見することができず、後でその撮影画像を見直したときにはじめて光学系の汚れに気付くことが多い。
【０００８】
画像を規則性をもたせた輝度分布をもって表示して知覚的評価を行うに場合に、デジタルデータでキャプチャーして解析する方法があるが、この方法では処理に時間を要してリアルタイムで変化する撮影画像の解析を行わせることができない。
【０００９】
また、従来、通常のＣＣＤカメラにあって、被写体を部分的に連続して撮影した画像をプロセッサが順次取り込んで、画像処理によって被写体に存在する欠陥を検出するに際して、前回取り込んだ画像と今回取り込んだ画像とを比較して、両画像の同一箇所に欠陥がある場合に、それをレンズ汚れとして判定するようにしたものが開発されている（特開平６−１４８０８３号公報参照）。
【００１０】
【発明が解決しようとする課題】
解決しようとする問題点は、対数出力特性をもったイメージセンサではコントラストが低下して、撮影画像から光学系の汚れを検知しにくいものになっていることである。
【００１１】
また、被写体を部分的に連続して撮影した画像をプロセッサが順次取り込んで、前回取り込んだ画像と今回取り込んだ画像とを比較して光学系の汚れの有無を検知するのでは、そのための特別な装置を必要とし、その処理も煩雑なものになってしまうとともに、リアルタイムで光学系の汚れを検知することができないという問題がある。
【００１２】
【課題を解決するための手段】
本発明は、被写体を光学系を通してイメージセンサによって撮影し、その撮影した画像を画面に写し出すようにした撮像装置にあって、光学系の汚れを簡単かつ確実に、リアルタイムで検知することができるようにするべく、イメージセンサから出力する画像データの入出力特性の変換テーブルを用いて明るさの変化を強調する処理手段を設けて、その処理によって光学系の汚れが強調された画像を画面に写し出すことによって光学系の汚れを検知するようにしている。
【００１３】
【実施例】
図１は、イメージセンサの画素に用いられる光センサ回路の一構成例を示している。
【００１４】
その光センサ回路は、光検知時における入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、そのフォトダイオードＰＤに流れるセンサ電流をサブスレッショルド領域の特性を利用した弱反転状態で対数特性をもって電圧信号Ｖｐｄに変換するトランジスタＱ１と、その変換された電圧信号Ｖｐｄを増幅するトランジスタＱ２と、読出し信号Ｖｓのパルスタイミングでもって、基準抵抗Ｒを介して規定電圧Ｖｃｃが印加されたバイアス回路を介してセンサ信号Ｖｏを出力するトランジスタＱ３とによって構成され、ダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようになっている。そして、光検知に先がけてトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ定常値よりも低く設定して、フォトダイオードＰＤの寄生容量Ｃに蓄積された残留電荷を放電させて初期化することにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている。この光センサ回路自体は、公知のものである（特開２０００−３２９６１６号公報参照）。
【００１５】
図２は、その光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２はセンサ信号Ｖｏの出力タイミングを、Ｔは光検知時の寄生容量Ｃにおける電荷蓄積期間をそれぞれ示している。
【００１６】
図３は、その光センサ回路における入射光量に応じたセンサ電流に対するセンサ信号Ｖｏの出力特性を示している。それは、フォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示し、センサ電流が少ないときには寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示している。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００１７】
図４は、このような光センサ回路を画素単位として、画素をマトリクス状に複数配設して、Ｘ−Ｙアドレス走査方式によって各画素のセンサ信号の時系列的な読出しを行わせるようにしたイメージセンサの構成例を示している。
【００１８】
そのイメージセンサは、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、図示しないＥＣＵの制御下において、各１ライン分の画素列をＹ方向走査を行う画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、Ｘ方向走査を行う画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ回路３における各対応するアナログスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって、その選択された画素列における各画素のセンサ信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はそのドレイン電圧ＶＤ用電源である。また、５はトランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路である。
【００１９】
図５は、このように構成されたイメージセンサにおいて、画素列選択回路１および画素選択回路２によって、各画素Ｄ１１〜Ｄ４４のセンサ信号Ｖｏの読出しを順次に行わせるようにしたときの各部信号のタイムチャートを示している。
【００２０】
このようなイメージセンサでは、前述したように、各画素のセンサ回路の出力特性に非対数応答領域ＷＢがあるために、低輝度時に対数特性が失われてダイナミックレンジが低下してしまうので、その非対数応答領域ＷＢの出力を対数特性に変換する手段を設けて、全領域にわたって対数特性が得られるようにしている。
【００２１】
具体的には、図６に示すように、レンズ８を通して被写体をイメージセンサ９によって撮影した画像をディスプレイ１３の画面に写し出すようにした撮像装置にあって、イメージセンサ９から時系列的に出力する各画素のセンサ信号ＶｏをＡＤ変換器１０によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリ１１を用いて、非対数応答領域ＷＡの出力が対数特性になるようにしている。そして、ルックアップ用のメモリ１１によって全領域にわたって対数特性になるように補正された信号がＤＡ変換器１２によってアナログによるセンサ信号Ｖｏ′に変換されて、ディスプレイ１３の画面に低輝度から高輝度までの全領域にわたってダイナミックレンジの広い画像が写し出される。
【００２２】
図７は、イメージセンサ９における各画素のセンサ信号Ｖｏを、その非対数応答領域ＷＡの出力が対数特性になるように、低輝度から高輝度までの全領域にわたって対数特性となるように変換したときのセンサ信号Ｖｏ′の特性を示している。
【００２３】
そして、特に本発明では、このようなイメージセンサを用いて、光学系を通して被写体を撮影した画像をディスプレイの画面に写し出すようにした撮像装置にあって、イメージセンサから出力する画像データの入出力特性の変換テーブルを用いて明るさの変化（コントラスト）を強調する処理手段を設けて、その処理によって光学系の汚れが強調された画像を画面に写し出すことによって光学系の汚れを検知することができるようにしている。
【００２４】
一画面内で被写体の輝度に対するイメージセンにおける各画素のセンサ信号Ｖｏの出力頻度をとったときに明確な分布があり、その出力の分布に光学系の汚れの検出対象が含まれる場合には、その分布部分についてのみ光学系の汚れ検出の処理を行えばよい。
【００２５】
本発明では、イメージセンサから出力する画像データの入出力特性の変換テーブルを用いて画像の明るい部分と暗い部分とのコントラストを強調するような変換処理を行うことで、光学系の汚れをきたしている部分をきわだたせるようにしている。
【００２６】
その際、特に本発明では、低輝度から高輝度までの全輝度領域を所定のしきい値をもって連続的に複数に分割して、その各分割された輝度領域におけるコントラストを強調する処理を行わせることにより、地図の等高線のような頻度分布を作成することができる。
【００２７】
具体的には、図６に示す撮像装置の構成にあって、イメージセンサ９から時系列的に出力する各画素のセンサ信号ＶｏをＡＤ変換器１０によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリ１１の変換テーブルを切り換えて、各画素の輝度領域を所定のしきい値をもって連続的に複数に分割して、その各分割された輝度領域における明るさの変化（コントラスト）を強調する処理を行わせるようにする。
【００２８】
図８は、各画素の輝度領域を所定のしきい値をもって連続的に複数に分割して、その各分割された輝度領域における明るさの変化（コントラスト）を強調するように処理したときのセンサ信号Ｖｏ″の特性例を示している。
【００２９】
しかして、ルックアップ用メモリ１１によって変換された信号をＤＡ変換器１２によってアナログ変換したセンサ信号Ｖｏ″にもとづいて画面表示を行わせることにより、光学系の汚れが強調された画像が写し出されることになる。
【００３０】
その際、特にレンズ８の前に、入射光を一定の強さの光に変換するフィルタとして機能する拡散板７を設けることにより、図９に示すように、例えばレンズ８の汚れ部分Ｋがきわだった画像を写し出すことができるようになる。
【００３１】
その際、拡散板７を特に設けることなく、一様な輝度をもった壁や車体などを撮影した画像を処理するようにしてもよい。
【００３２】
光学系の汚れの検出モード時におけるルックアップ用のメモリ１１の変換テーブルの切り換えは、それを手動によって切り換えるようにしても、またモード切換えの入力指示に応じて撮像装置全体の制御を行うＥＣＵの制御下で切り換えるようにしてもよい。
【００３３】
【発明の効果】
以上、本発明は、被写体を光学系を通してイメージセンサによって撮影し、その撮影した画像を画面に写し出すようにした撮像装置にあって、イメージセンサから出力する画像データの入出力特性の変換テーブルを用いて明るさの変化を強調する処理手段を設けて、その処理によって光学系の汚れが強調された画像を画面に写し出すことによって光学系の汚れを検知するようにしたもので、光学系の汚れを簡単かつ確実にリアルタイムで検知することができるという利点を有している。
【図面の簡単な説明】
【図１】イメージセンサの画素に用いられる光センサ回路の構成例を示す電気回路図である。
【図２】その光センサ回路における各部信号のタイムチャートである。
【図３】その光センサ回路における入射光量に応じたセンサ電流に対するセンサ信号の出力特性を示す図である。
【図４】光センサ回路を画素に用いたイメージセンサの一構成例を示すブロック図である。
【図５】そのイメージセンサにおける各画素のセンサ信号を順次に読み出すときの各部信号のタイムチャートである。
【図６】本発明による光学系の汚れ検知装置の一実施例を示すブロック構成図である。
【図７】イメージセンサにおける画素の出力を、低輝度から高輝度までの全領域にわたって対数特性となるように変換したときのセンサ信号の特性を示す図である。
【図８】イメージセンサにおける画素の輝度領域を連続的に複数に分割して、その各分割された輝度領域における明るさの変化を強調するように処理したときのセンサ信号の特性を示す図である。
【図９】拡散板を設けることによってレンズの汚れ部分がきわだった画像の一例を示す図である。
【符号の説明】
７　拡散板
８　レンズ
９　イメージセンサ
１０　ＡＤ変換器
１１　ルックアップ用メモリ（変換テーブル）
１２　ＤＡ変換器
１３　ディスプレイ
【図１】
2004005328.tif 000003
【図２】
2004005328.tif 000004
【図３】
2004005328.tif 000005
【図４】
2004005328.tif 000006
【図５】
2004005328.tif 000007
【図６】
2004005328.tif 000008
【図７】
2004005328.tif 000009
【図８】
2004005328.tif 000010
【図９】
2004005328.tif 000011