(57)【要約】【課題】  黒レベルを補正する際、画像が黒く潰れないようにすること。【解決手段】  遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）を推定し、予め設定されるノイズ目標値（Ｔ１）にノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。そして、ノイズ平均値（Ｍ）がノイズ目標値（Ｔ２）となるような補正値を演算し、この補正値に対応する補正信号を用いてイメージセンサ１０の出力信号を補正する。【選択図】        図５
2006067011.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサの受光面の一部分に遮光部が設けられ、この遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値となるような補正値を演算し、この補正値に基づいて前記イメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
前記遮光領域に属する画素の画素値のバラツキの程度を示すノイズの大きさを推定するノイズ推定手段を備え、
前記補正手段は、前記ノイズ推定手段の推定したノイズの大きさに応じて、前記黒レベルの目標値を変更する目標値変更手段を備えることを特徴とする撮像装置。
【請求項２】
前記目標値変更手段は、前記黒レベルの目標値を少なくともノイズ標準偏差以上となるように変更することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記目標値変更手段は、前記黒レベルの目標値にノイズ標準偏差を加算した値を最終的な黒レベルの目標値として変更することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記ノイズ推定手段は、前記イメージセンサから出力される出力信号の出力ゲイン、及び、前記イメージセンサの周囲の温度の少なくとも一方に基づいてノイズの大きさを推定することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
従来、ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）等を用いたイメージセンサを備える撮像装置において、イメージセンサの一部分の領域を遮光するための遮光部を設けた撮像装置がある。
【０００３】
このような撮像装置では、遮光部によって遮光される遮光領域に属する画素の画素値に基づいて黒レベルの補正（以下、黒レベル制御）を行う。すなわち、この遮光領域は、遮光部によって外部からの光線が遮られるため、遮光領域に属する画素の画素値は黒レベルに対応する値を示す。
【０００４】
従って、黒レベル制御では、遮光領域に属する画素の平均的な画素値を示すノイズ平均値を求め、このノイズ平均値が予め設定される黒レベルの目標値を示すノイズ目標値となるような補正値を演算し、この補正値に基づいてイメージセンサからの出力信号を補正する。これにより、イメージセンサの出力信号の黒レベルが補正される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般に、イメージセンサに用いられるフォトダイオード（ＰＤ）等の受光素子の特性にはバラツキがあり、この特性上のバラツキは、画素毎の画素値のバラツキとして現れる。図６（ａ）は、横軸を画素位置、縦軸を画素値とした場合の画素値のバラツキの程度を示したものである。
【０００６】
この画素値のバラツキの程度を示すノイズ標準偏差（√Ｓ）は、イメージセンサの周囲の温度やイメージセンサから出力される出力信号の出力ゲインによって変動することが知られている。従って、黒レベル制御を実行する際には、ノイズ標準偏差（√Ｓ）の大きさを考慮する必要がある。
【０００７】
しかしながら、従来の黒レベル制御は、このノイズ標準偏差（√Ｓ）の大きさを考慮していない。従って、ノイズ標準偏差（√Ｓ）が大きい場合、図６（ｂ）に示すように、領域ＶＬの画素位置の画素値の情報が失われ、その結果、その画素位置の画像が黒く潰れてしまう。
【０００８】
本発明は、上記の問題を鑑みてなされたもので、黒レベルを補正する際、画像が黒く潰れないようにすることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するためになされた請求項１に記載の撮像装置は、イメージセンサの受光面の一部分に遮光部が設けられ、遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値となるような補正値を演算し、この補正値に基づいてイメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
遮光領域に属する画素の画素値のバラツキの程度を示すノイズの大きさ推定するノイズ推定手段を備え、
補正手段は、ノイズ推定手段の推定したノイズの大きさに応じて、黒レベルの目標値を変更する目標値変更手段を備えることを特徴とする。
【００１０】
本発明の撮像装置は、単に、遮光領域に属する画素の平均的な画素値を示すノイズ平均値が予め設定される黒レベルの目標値を示すノイズ目標値となるような補正値を演算し、この補正値に基づいてイメージセンサからの出力信号を補正するのではなく、ノイズの大きさを考慮して黒レベルの目標値を示すノイズ目標値を変更する変更手段を備えている。
【００１１】
このように、ノイズの大きさを考慮してノイズ目標値を変更することで、イメージセンサから出力される出力信号を補正しても、補正後の画像が黒く潰れないようにすることができる。
【００１２】
請求項２に記載の撮像装置によれば、目標値変更手段は、黒レベルの目標値を少なくともノイズ標準偏差以上となるように変更することを特徴とする。これにより、画素値の情報を失う画素位置を少なくすることができる。
【００１３】
なお、請求項３に記載のように、目標値変更手段は、黒レベルの目標値にノイズ標準偏差を加算した値を最終的な黒レベルの目標値として変更することが好ましい。すなわち、図５に示すように、予め設定されるノイズ目標値（Ｔ１）にノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。これにより、画素値の情報を失う画素位置が減少する。
【００１４】
請求項４に記載の撮像装置によれば、ノイズ推定手段は、イメージセンサから出力される出力信号の出力ゲイン、及び、イメージセンサの周囲の温度の少なくとも一方に基づいてノイズの大きさを推定することを特徴とする。
【００１５】
図３は、イメージセンサの周囲の温度、イメージセンサから出力される出力信号の出力ゲインに対する遮光領域に属する画素のノイズ分散値（Ｓ）との関係を示す図である。同図に示すように、一般に、イメージセンサの周囲の温度が低温である場合には、ノイズ分散値（Ｓ）は小さくなるもの、温度が上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。また、イメージセンサから出力される出力信号の出力ゲインが０[db]から上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。
【００１６】
このような傾向から、図３に示す温度や出力ゲインに対応するノイズ分散値（Ｓ）との関係を予め実験等によって求めておき、さらに、イメージセンサの周囲の温度を検出する温度検出手段（例えば、サーミスタ等）を設けて温度を検出するとともに、出力ゲインを検出し、この検出した温度と出力ゲインとを図３の関係に当てはめることで、遮光領域に属する画素のノイズの大きさ｛ノイズ分散値（Ｓ）｝を推定することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づいて本発明の好ましい実施形態について説明する。なお、本実施形態では、撮像装置は、車両の走行する車線を区画する白線を認識するために用いられる。そして、撮像装置は、認識した白線の位置に基づいて、車両が車線を逸脱しそうと判定した場合に警報を発する車線逸脱警報装置に適用される。
【００１８】
図１は、本実施形態における車線逸脱警報装置の構成を示すブロック図である。図１に示すように、車線逸脱警報装置は、カメラ１００、制御部２００、車線逸脱警報ＥＣＵ３００、及び警報部３１０から構成されている。
【００１９】
カメラ１００は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像するものである。なお、カメラ１００は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整される。
【００２０】
カメラ１００は、イメージセンサ、増幅部、Ａ／Ｄ変換部、及び制御部を内蔵しており、シャッタースピードやフレームレートを調整して画像を撮像した時、その画像の各画素の明るさを示すアナログ信号値がイメージセンサから出力され、このイメージセンサから出力される出力信号を所定のゲインで増幅し、Ａ／Ｄ変換部でデジタル値に変換して保持する。そして、カメラ１００は、その保持しているデジタル値(画素値)を、画像信号として、画像の各ラインごとに出力する。
【００２１】
制御部２００は、カメラ１００から出力された画像信号を処理することにより、白線の位置の認識を行うとともに、その認識した白線位置を車線逸脱警報ＥＣＵ３００に出力する。また、制御部２００は、上述したように、画像信号におけるターゲットの位置に基づいて、白線の認識処理を施すための画像処理エリアを設定する。さらに、制御部２００は、カメラ１００の露出制御を行う。
【００２２】
具体的には、制御部２００は、カメラ１００のシャータースピード及びフレームレート、さらに増幅部のゲインを調整することによってカメラ１００の露出量を制御する。制御部２００は、シャッタースピード、フレームレート及びゲインを調整するため、これらの調整指示値であるカメラ制御値をカメラ１００に出力する。
【００２３】
制御部２００は、画像インターフェース（Ｉ／Ｆ）２１０、ＣＰＵ２２０、通信Ｉ／Ｆ２３０、及びメモリ２４０を有する。画像Ｉ／Ｆ２３０は、カメラ１００から出力される画素値の位置情報等が入力され、その位置情報等をＣＰＵ２２０に伝達する。ＣＰＵ２２０は、画像Ｉ／Ｆ２３０によって伝達される位置情報に基づいて、画像の各ライン毎に出力される画素値が、いずれの画素位置に対応するものかを認識する。
【００２４】
そして、認識した画素位置に対応するように、カメラ１００から出力される画素値をメモリ２４０に記憶する。このようにして、メモリ２４０に、カメラ１００から出力される画像信号が保存される。
【００２５】
通信Ｉ／Ｆ２３０は、ＣＰＵ２２０と車線逸脱警報ＥＣＵ３００との間の通信を調整するものである。本実施形態では、ＣＰＵ２２０は、画像信号における白線の位置を認識して、この認識した白線位置を車線逸脱警報ＥＣＵ３００に送信する。
【００２６】
車線逸脱警報ＥＣＵ３００は、ＣＰＵ２２０から送信された白線位置に基づいて、自車が車線内から逸脱した（しそう）か否かを判定し、逸脱した（しそう）と判定した場合には、警報部３１０に対して、警報を発するように指示する。警報部３１０は、この指示を受けた場合に警報を発する。これにより、車両の乗員は、車線内から逸脱した（しそう）な状況を把握することができる。
【００２７】
なお、本実施形態で用いられるカメラ１００は、図２に示すイメージセンサ１０を備えている。このイメージセンサ１０の受光面の左右の端部には、遮光部が設けられており、この遮光部によって遮光領域１０ｂが形成される。同図に示すように、この遮光領域１０ｂは、画像として使用する画像領域１０ａを挟んで対向して形成される。
【００２８】
ここで、カメラ１００において実行される従来の黒レベル制御は、この左右の遮光領域１０ｂに属する画素の平均的な画素値を示すノイズ平均値（Ｍ）を求め、このノイズ平均値（Ｍ）が予め設定される黒レベルの目標値を示すノイズ目標値（Ｔ１）（例えば、２５６階調の場合には、通常８階調程度）となるような補正値を演算し、この補正値に基づいてイメージセンサ１０の出力信号の黒レベルを補正するものであった。
【００２９】
しかしながら、一般に、イメージセンサに用いられるフォトダイオード（ＰＤ）等の受光素子の特性にはバラツキがあり、この特性上のバラツキ及び温度によるノイズはゲインによって増幅され、画素毎の画素値のバラツキとして現れ、黒レベル制御に影響を及ぼすことがある。
【００３０】
図６（ａ）は、横軸を画素位置、縦軸を画素値とした場合の画素値のバラツキの程度を示したものである。この画素値のバラツキの程度を示すノイズ標準偏差（√Ｓ）は、イメージセンサの周囲の温度やイメージセンサから出力される出力信号の出力ゲインによって変動することが知られている。従って、黒レベル制御を実行する際には、ノイズ標準偏差（√Ｓ）の大きさを考慮する必要がある。
【００３１】
従来の黒レベル制御は、このノイズ標準偏差（√Ｓ）の大きさを考慮していないため、ノイズ標準偏差（√Ｓ）が大きい場合、図６（ｂ）に示すように、領域ＶＬの画素位置の画素値の情報を失うことになり、失われ、その結果、その画素位置の画像が黒く潰れてしまう。
【００３２】
そこで、本実施形態では、この黒レベル制御によって画像が黒く潰れないようにするため、遮光領域１０ｂに属する画素のノイズの大きさを推定し、この推定したノイズの大きさに応じてノイズ目標値を変更する。
【００３３】
すなわち、ノイズ目標値（Ｔ１）を少なくともノイズ標準偏差（√Ｓ）以上となるように変更することで、画素値の情報を失う画素位置を少なくすることができる。具体的には、図５に示すように、予め設定されるノイズ目標値（Ｔ１）にノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。これにより、画素値の情報を失う画素位置が減少する。その結果、イメージセンサから出力される出力信号を補正しても、補正後の画像が黒く潰れないようにすることができる。
【００３４】
なお、ノイズ標準偏差（√Ｓ）を導くためのノイズ分散値（Ｓ）は、イメージセンサから出力される出力信号の出力ゲイン、及び、イメージセンサの周囲の温度の少なくとも一方に基づいて推定することができる。
【００３５】
図３は、イメージセンサの周囲の温度、イメージセンサから出力される出力信号の出力ゲインに対する遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）との関係を示す図である。同図に示すように、一般に、イメージセンサの周囲の温度が低温である場合には、ノイズ分散値（Ｓ）は小さくなるもの、温度が上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。また、イメージセンサから出力される出力信号の出力ゲインが０[db]から上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。
【００３６】
このような傾向から、図３に示す温度や出力ゲインに対応するノイズ分散値（Ｓ）との関係を予め実験等によって求めておき、さらに、イメージセンサの周囲の温度を検出する温度検出手段（例えば、サーミスタ等）を設けて温度を検出するとともに、出力ゲインを検出し、この検出した温度と出力ゲインとを図３の関係に当てはめることで、遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）の推定が可能となる。
【００３７】
次に、カメラ１００における黒レベル制御の処理について、図４に示すフローチャートを用いて説明する。先ず、ステップ（以下、Ｓと記す）１０では、イメージセンサ１０の周囲の温度、及び出力信号の出力ゲインを取得する。
【００３８】
Ｓ２０では、Ｓ１０にて取得した温度と出力ゲインから、ノイズ分散値（Ｓ）を図３に示した関係に当てはめて推定する。Ｓ３０では、予め設定されるノイズ目標値（Ｔ１）に推定したノイズ分散値（Ｓ）から導かれるノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。
【００３９】
Ｓ４０では、ノイズ平均値（Ｍ）がＳ３０にて求めたノイズ目標値（Ｔ２）となるような補正値を演算する。Ｓ５０では、Ｓ４０にて演算した補正値に対応する補正信号を用いてイメージセンサ１０の出力信号を補正する。
【００４０】
このように、本実施形態のカメラ１０では、遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）を推定し、予め設定されるノイズ目標値（Ｔ１）にノイズ標準偏差（√Ｓ）を加算した値を最終的なノイズ目標値（Ｔ２）として変更する。そして、ノイズ平均値（Ｍ）がノイズ目標値（Ｔ２）となるような補正値を演算し、この補正値に対応する補正信号を用いてイメージセンサ１０の出力信号を補正する。
【００４１】
これにより、遮光領域１０ｂにおいて画素値の情報を失う画素位置が減少する。その結果、イメージセンサ１０から出力される出力信号を補正しても、補正後の画像が黒く潰れないようにすることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態に係る、撮像装置の全体構成を示すブロック図である。
【図２】イメージセンサ１０における画像領域１０ａと遮光領域１０ｂを示した図である。
【図３】イメージセンサ１０の周囲の温度、イメージセンサ１０から出力される出力信号の出力ゲインに対する遮光領域１０ｂにおける画素の画素値に含まれるノイズ分散値（Ｓ）との関係を示す図である。
【図４】本発明の実施形態に係る、黒レベル制御の処理の流れを示すフローチャートである。
【図５】ノイズ標準偏差（√Ｓ）を考慮して最終的なノイズ目標値（Ｔ２）を設定した場合の例を示す図である。
【図６】（ａ）は、横軸を画素位置、縦軸を画素値とした場合のノイズ標準偏差（√Ｓ）を示した図であり、（ｂ）は、ノイズ標準偏差（√Ｓ）が大きい場合に領域ＶＬの画素位置の画素値の情報が失われる場合を示した図である。
【符号の説明】
【００４３】
１０  イメージセンサ
１０ａ  画像領域
１０ｂ  遮光領域
１００  カメラ
２００  制御装置
３００  車線逸脱警報ＥＣＵ
３１０  警報部
【図１】
2006067011.tif 000003
【図２】
2006067011.tif 000004
【図３】
2006067011.tif 000005
【図４】
2006067011.tif 000006
【図５】
2006067011.tif 000007
【図６】
2006067011.tif 000008