(57)【要約】【課題】  イメージセンサの遮光領域に属する画素の平均的な画素値を精度良く求めること。【解決手段】  遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）を推定し、このノイズ分散値（Ｓ）が小さい程、遮光領域１０ｂに属する画素の平均的な画素値を求める際に用いるべき画素数が少なくなるように変更するとともに、その平均的な画素値を求める際に用いるべき画素位置を画像領域１０ａと遮光領域１０ｂとの境界により近い位置の画素から除外するように変更する。また、推定されるノイズ分散値（Ｓ）が大きい程、平均的な画素値を求める際に用いるべき画素数が多くなるように変更するとともに、平均的な画素値を求める際に用いるべき画素位置を上記境界からより離れた位置の画素から含むように変更する。【選択図】        図２
2006067010.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサの受光面の一部分に遮光部が設けられ、前記遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値に基づいて前記イメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
前記遮光領域に属する画素の画素値のバラツキの程度を示すノイズを推定するノイズ推定手段を備え、
前記補正手段は、前記ノイズ推定手段の推定したノイズの大きさに応じて、前記平均的な画素値を求める際に用いるべき前記遮光領域に属する画素の画素位置、及び画素数を変更する変更手段を備え、
前記変更手段は、前記平均的な画素値を求める際に用いるべき画素位置を変更する際、前記遮光部の設けられていない非遮光領域と前記遮光領域との境界からより離れた位置の画素が優先して用いるように変更することを特徴とする撮像装置。
【請求項２】
前記変更手段は、
前記ノイズが小さい程、前記平均的な画素値を求める際に用いるべき画素数が少なくなるように変更するとともに、前記平均的な画素値を求める際に用いるべき画素位置を前記境界により近い位置の画素から除外するように変更し、
前記ノイズが大きい程、前記平均的な画素値を求める際に用いるべき画素数が多くなるように変更するとともに、前記平均的な画素値を求める際に用いるべき画素位置を前記境界からより離れた位置の画素から含むように変更することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記ノイズ推定手段は、前記イメージセンサから出力される出力信号の出力ゲイン、及び、前記イメージセンサの周囲の温度の少なくとも一方に基づいて前記ノイズを推定することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
イメージセンサの受光面の一部分に遮光部が設けられ、前記遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値に基づいて前記イメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、
前記補正手段は、前記平均的な画素値を求める際の前記遮光領域に属する画素の画素位置として、前記遮光部の設けられていない非遮光領域と前記遮光領域との境界から最も離れた位置の画素を用いることを特徴とする撮像装置。
【請求項５】
前記遮光領域は、前記非遮光領域を挟んで対向して設けられることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
従来、ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）等を用いたイメージセンサを備える撮像装置において、イメージセンサの一部分の領域を遮光するための遮光部を設けた撮像装置がある。図５は、そのイメージセンサの断面を示しており、同図に示すように、イメージセンサの受光面の一部分に遮光部１１を設けている。
【０００３】
このような撮像装置では、遮光部１１によって遮光される遮光領域に属する画素の画素値に基づいて黒レベルの補正（以下、黒レベル制御）を行う。すなわち、この遮光領域は、遮光部１１によって外部からの光線が遮られるため、遮光領域に属する画素の画素値は黒レベルに対応する値を示す。
【０００４】
従って、黒レベル制御では、遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値となるような補正値を演算し、この補正値に基づいてイメージセンサからの出力信号を補正する。これにより、イメージセンサの出力信号の黒レベルが補正される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した、従来の黒レベル制御では、遮光領域に属する画素の平均的な画素値を精度良く求めることが重要であり、そのためには、遮光領域に属するより多くの画素数で求めることが好ましい。
【０００６】
しかしながら、遮光されていない非遮光領域に照射される光線が遮光領域に回り込む場合がある。すなわち、図５に示すように、イメージセンサの遮光部１１の裏側に外乱光となって回り込むことがある。このように、遮光領域に属する画素が外乱光の影響を受ける場合、より多くの画素数を用いると平均的な画素値を精度良く求めることができない。
【０００７】
本発明は、上記の問題を鑑みてなされたもので、イメージセンサの遮光領域に属する画素の平均的な画素値を精度良く求めることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するためになされた請求項１に記載の撮像装置は、イメージセンサの受光面の一部分に遮光部が設けられ、遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値に基づいてイメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、遮光領域に属する画素の画素値のバラツキの程度を示すノイズを推定するノイズ推定手段を備え、補正手段は、ノイズ推定手段の推定したノイズの大きさに応じて、平均的な画素値を求める際に用いるべき遮光領域に属する画素の画素位置、及び画素数を変更する変更手段を備え、変更手段は、平均的な画素値を求める際に用いるべき画素位置を変更する際、遮光部の設けられていない非遮光領域と遮光領域との境界からより離れた位置の画素が優先して用いるように変更することを特徴とする。
【０００９】
すなわち、遮光領域に回り込む外乱光は、非遮光領域との境界から離れるほど減衰することから、上記の境界からより離れた位置の画素を優先して用いることで、外乱光の影響を受け難くすることができる。
【００１０】
一方、イメージセンサに用いられるフォトダイオード（ＰＤ）等の受光素子の特性にはバラツキがあり、この特性上のバラツキが画素毎の画素値のバラツキとして現れる。そして、この画素値のバラツキの程度は、イメージセンサの周囲の温度やイメージセンサから出力される出力信号の出力ゲインによって変動することが知られている。
【００１１】
そのため、遮光領域に属する画素の平均的な画素値を求める際、ノイズが大きい場合に上記の境界からより離れた位置のより少ない画素数で求めると、画素毎のバラツキの影響を受けた画素値となり、良い精度が得られない。
【００１２】
従って、本発明では、ノイズの大きさに応じて平均的な画素値を求める際に用いるべき遮光領域に属する画素の画素位置、及び画素数を変更し、遮光部の設けられていない非遮光領域と遮光領域との境界からより離れた位置の画素を優先して用いるようにする。
【００１３】
これにより、遮光領域に属する平均的な画素値を精度良く求めることができる。その結果、精度良く求めた平均的な画素値に基づいて補正値が求められるため、その補正値を用いてイメージセンサからの出力信号を精度良く補正することが可能となる。
【００１４】
請求項２に記載の撮像装置によれば、変更手段は、
ノイズが小さい程、平均的な画素値を求める際に用いるべき画素数が少なくなるように変更するとともに、平均的な画素値を求める際に用いるべき画素位置を境界により近い位置の画素から除外するように変更し、
ノイズが大きい程、平均的な画素値を求める際に用いるべき画素数が多くなるように変更するとともに、平均的な画素値を求める際に用いるべき画素位置を境界からより離れた位置の画素から含むように変更することを特徴とする。
【００１５】
ノイズが小さいと推定される場合、イメージセンサの画素毎の画素値のバラツキは小さい。従って、平均的な画素値を求める際に用いるべき画素数が少なくなるように変更するとともに、平均的な画素値を求める際に用いるべき画素位置を上記境界により近い位置の画素から除外するように変更することで、上記平均的な画素値を精度良く求めることができる。
【００１６】
また、ノイズが大きいと推定される場合、イメージセンサの画素毎の画素値のバラツキは大きい。従って、平均的な画素値を求める際に用いるべき画素数が多くなるように変更するとともに、平均的な画素値を求める際に用いるべき画素位置を上記境界からより離れた位置の画素から含むように変更することで、上記平均的な画素値を精度良く求めることができる。
【００１７】
請求項３に記載の撮像装置によれば、ノイズ推定手段は、イメージセンサから出力される出力信号の出力ゲイン、及び、イメージセンサの周囲の温度の少なくとも一方に基づいてノイズを推定することを特徴とする。
【００１８】
図３は、イメージセンサの周囲の温度、イメージセンサから出力される出力信号の出力ゲインに対する遮光領域に属する画素の画素値のバラツキの程度を示すノイズ分散値（Ｓ）との関係を示す図である。同図に示すように、一般に、イメージセンサの周囲の温度が低温である場合には、ノイズ分散値（Ｓ）は小さくなるもの、温度が上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。また、イメージセンサから出力される出力信号の出力ゲインが０[db]から上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。
【００１９】
このような傾向から、図３に示す温度や出力ゲインに対応するノイズ分散値（Ｓ）との関係を予め実験等によって求めておき、さらに、イメージセンサの周囲の温度を検出する温度検出手段（例えば、サーミスタ等）を設けて温度を検出するとともに、出力ゲインを検出し、この検出した温度と出力ゲインとを図３の関係に当てはめることで、遮光領域に属する画素のノイズ分散値（Ｓ）を推定することができる。
【００２０】
請求項４に記載の撮像装置は、イメージセンサの受光面の一部分に遮光部が設けられ、遮光部によって遮光される遮光領域に属する画素の平均的な画素値を求め、この平均的な画素値に基づいてイメージセンサから出力される出力信号を補正する補正手段を備える撮像装置であって、補正手段は、平均的な画素値を求める際の遮光領域に属する画素の画素位置として、遮光部の設けられていない非遮光領域と遮光領域との境界から最も離れた位置の画素を用いることを特徴とする。
【００２１】
すなわち、画素値のバラツキの程度が小さいイメージセンサであれば、遮光領域から最も離れた場所に属する少ない画素数だけあっても、その領域に属する平均的な画素値を精度良く求めることができる。従って、遮光領域に回り込む外乱光の影響の受けにくい非遮光領域と遮光領域との境界から最も離れた画素を用いて、遮光領域に属する平均的な画素値を求めることで、その平均的な画素値が精度良く求まる。
【００２２】
請求項５に記載の撮像手段によれば、遮光領域は、非遮光領域を挟んで対向して設けられることを特徴とする。例えば、図２に示すように、遮光領域１０ｂが非遮光領域としての画像領域１０ａを挟んで対向してイメージセンサ１０の受光面の左右に設けられる場合であっても、左右の遮光領域１０ｂに属する画素の画素値から上記の平均的な画素値を求めることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面に基づいて本発明の好ましい実施形態について説明する。なお、本実施形態では、撮像装置は、車両の走行する車線を区画する白線を認識するために用いられる。そして、撮像装置は、認識した白線の位置に基づいて、車両が車線を逸脱しそうと判定した場合に警報を発する車線逸脱警報装置に適用される。
【００２４】
図１は、本実施形態における車線逸脱警報装置の構成を示すブロック図である。図１に示すように、車線逸脱警報装置は、カメラ１００、制御部２００、車線逸脱警報ＥＣＵ３００、及び警報部３１０から構成されている。
【００２５】
カメラ１００は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像するものである。なお、カメラ１００は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整される。
【００２６】
カメラ１００は、イメージセンサ、増幅部、Ａ／Ｄ変換部、及び制御部を内蔵しており、シャッタースピードやフレームレートを調整して画像を撮像した時、その画像の各画素の明るさを示すアナログ信号値がイメージセンサから出力され、このイメージセンサから出力される出力信号を所定のゲインで増幅し、Ａ／Ｄ変換部でデジタル値に変換して保持する。そして、カメラ１００は、その保持している画素値を、画像信号として、画像の各ラインごとに出力する。
【００２７】
制御部２００は、カメラ１００から出力された画像信号を処理することにより、白線の位置の認識を行うとともに、その認識した白線位置を車線逸脱警報ＥＣＵ３００に出力する。また、制御部２００はカメラ１００の露出制御を行う。
【００２８】
具体的には、制御部２００は、カメラ１００のシャータースピード及びフレームレート、さらに増幅部のゲインを調整することによってカメラ１００の露出量を制御する。制御部２００は、シャッタースピード、フレームレート及びゲインを調整するため、これらの調整指示値であるカメラ制御値をカメラ１００に出力する。
【００２９】
制御部２００は、画像インターフェース（Ｉ／Ｆ）２１０、ＣＰＵ２２０、通信Ｉ／Ｆ２３０、及びメモリ２４０を有する。画像Ｉ／Ｆ２３０は、カメラ１００から出力される画素値の位置情報等が入力され、その位置情報等をＣＰＵ２２０に伝達する。ＣＰＵ２２０は、画像Ｉ／Ｆ２３０によって伝達される位置情報に基づいて、画像の各ライン毎に出力される画素値が、いずれの画素位置に対応するものかを認識する。
【００３０】
そして、認識した画素位置に対応するように、カメラ１００から出力される画素値をメモリ２４０に記憶する。このようにして、メモリ２４０に、カメラ１００から出力される画像信号が保存される。
【００３１】
通信Ｉ／Ｆ２３０は、ＣＰＵ２２０と車線逸脱警報ＥＣＵ３００との間の通信を調整するものである。本実施形態では、ＣＰＵ２２０は、画像信号における白線の位置を認識して、この認識した白線位置を車線逸脱警報ＥＣＵ３００に送信する。
【００３２】
車線逸脱警報ＥＣＵ３００は、ＣＰＵ２２０から送信された白線位置に基づいて、自車が車線内から逸脱した（しそう）か否かを判定し、逸脱した（しそう）と判定した場合には、警報部３１０に対して、警報を発するように指示する。警報部３１０は、この指示を受けた場合に警報を発する。これにより、車両の乗員は、車線内から逸脱した（しそう）な状況を把握することができる。
【００３３】
次に、本実施形態のカメラ１００の特徴部分について説明する。本実施形態で用いられるカメラ１００は、図２に示すイメージセンサ１０を備えている。このイメージセンサ１０の受光面の左右の端部には、図５で示した遮光部１１が設けられており、この遮光部１１によって遮光領域１０ｂが形成される。同図に示すように、この遮光領域１０ｂは、画像として使用する画像領域１０ａを左右に挟んで対向して形成される。
【００３４】
カメラ１００では、この左右の遮光領域１０ｂに属する画素の平均的な画素値を求め、この平均的な画素値が予め設定される黒レベルの目標値（例えば、２５６階調の場合には、通常８階調程度）となるような補正値を演算し、この補正値に基づいてイメージセンサ１０の出力信号の黒レベルを補正する黒レベル制御を行う。
【００３５】
この黒レベル制御では、左右の遮光領域１０ｂに属する画素の平均的な画素値を精度良く求めることが重要であり、そのためには、左右の遮光領域１０ｂに属するより多くの画素数で求めることが好ましい。
【００３６】
しかしながら、一部の光線が遮光領域１０ｂに回り込む場合がある。すなわち、図５に示すように、イメージセンサの受光面に照射される光線の一部が画像領域１０ａのレンズ１２から入射し、遮光部１１の裏側に外乱光となって回り込むことがある。このように、遮光領域１０ｂに属する画素が外乱光の影響を受ける場合、より多くの画素数を用いると平均的な画素値を精度良く求めることができない。
【００３７】
そこで、本実施形態では、この黒レベル制御において、左右の遮光領域１０ｂに属する画素の平均的な画素値を精度良く求めるために、イメージセンサ１０の画素毎の画素値のバラツキの程度を示すノイズの大きさに応じて、この平均的な画素値を求める際に用いるべき画素位置、及び画素数を変更し、平均的な画素値を求める際に用いるべき画素位置を変更する際には、遮光されていない画像領域１０ａと左右の遮光領域１０ｂとの境界からより離れた位置の画素が優先して用いるように変更する。
【００３８】
すなわち、遮光領域１０ｂに回り込む外乱光は、画像領域１０ａとの境界から離れるほど減衰することから、上記の境界からより離れた位置の画素を優先して用いることで、外乱光の影響を受け難くすることができる。
【００３９】
一方、イメージセンサ１０に用いられるフォトダイオード（ＰＤ）等の受光素子の特性にはバラツキがあり、この特性上のバラツキ及び温度によるノイズとそれらがゲインで増幅されたものが画素毎の画素値のバラツキとして現れる。そして、この画素値のバラツキの程度（ノイズ分散値）は、イメージセンサ１０の周囲の温度やイメージセンサから出力される出力信号の出力ゲインによって変動することが知られている。
【００４０】
図３は、イメージセンサの周囲の温度、イメージセンサから出力される出力信号の出力ゲインに対する遮光領域に属する画素のノイズ分散値（Ｓ）との関係を示す図である。同図に示すように、一般に、イメージセンサの周囲の温度が低温である場合には、ノイズ分散値（Ｓ）は小さくなるもの、温度が上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。また、イメージセンサから出力される出力信号の出力ゲインが０[db]から上昇するに従って、その分散値（Ｓ）は大きくなる傾向にある。
【００４１】
そのため、遮光領域に属する画素の平均的な画素値を求める際、ノイズ分散値（Ｓ）が大きい場合に上記の境界からより離れた位置のより少ない画素数で求めると、画素毎のバラツキの影響を受けた画素値となり、良い精度が得られない。
【００４２】
従って、本実施形態では、図３に示す温度や出力ゲインに対応するノイズ分散値（Ｓ）との関係を予め実験等によって求めておき、さらに、イメージセンサの周囲の温度を検出する温度検出手段（例えば、サーミスタ等）を設けて温度を検出するとともに、出力ゲインを検出し、この検出した温度と出力ゲインとを図３の関係に当てはめて、遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）を推定する。
【００４３】
そして、このノイズ分散値（Ｓ）の大きさに応じて平均的な画素値を求める際に用いるべき遮光領域１０ｂに属する画素の画素位置、及び画素数を変更し、画素位置に関して、遮光部の設けられていない非遮光領域としての画像領域１０ａと遮光領域１０ｂとの境界からより離れた位置の画素を優先して用いるようにする。
【００４４】
これにより、遮光領域１０ｂに属する平均的な画素値を精度良く求めることができる。その結果、精度良く求めた平均的な画素値に基づいて補正値が求められるため、その補正値を用いてイメージセンサ１０からの出力信号を精度良く補正することが可能となる。
【００４５】
次に、カメラ１００における黒レベル制御の処理について、図４に示すフローチャートを用いて説明する。先ず、ステップ（以下、Ｓと記す）１０では、イメージセンサ１０の周囲の温度、及び出力信号の出力ゲインを取得する。
【００４６】
Ｓ２０では、Ｓ１０にて取得した温度と出力ゲインから、ノイズ分散値（Ｓ）を図３に示した関係に当てはめて推定する。Ｓ３０では、推定したノイズ分散値（Ｓ）の大きさに応じて、左右の遮光領域１０ｂに属する画素の平均的な画素値を求める際に用いるべき画素位置と画素数を変更する。
【００４７】
具体的には、ノイズ分散値（Ｓ）が小さいと推定される場合、イメージセンサ１０の画素毎の画素値のバラツキは小さい。従って、ノイズ分散値（Ｓ）が小さい程、平均的な画素値を求める際に用いるべき画素数が少なくなるように変更するとともに、平均的な画素値を求める際に用いるべき画素位置を画像領域１０ａと遮光領域１０ｂとの境界により近い位置の画素から除外するように変更する。
【００４８】
また、ノイズ分散値（Ｓ）が大きいと推定される場合、イメージセンサ１０の画素毎の画素値のバラツキは大きい。従って、ノイズ分散値（Ｓ）が大きい程、平均的な画素値を求める際に用いるべき画素数が多くなるように変更するとともに、平均的な画素値を求める際に用いるべき画素位置を上記境界からより離れた位置の画素から含むように変更する。これにより、上記平均的な画素値を精度良く求めることができる。
【００４９】
Ｓ４０では、Ｓ３０にて求めた平均的な画素値と予め設定される黒レベルの目標値となるような補正値を演算する。Ｓ５０では、Ｓ４０にて演算した補正値に対応する補正信号を用いてイメージセンサ１０の出力信号を補正する。
【００５０】
このように、本実施形態のカメラ１０では、遮光領域１０ｂに属する画素のノイズ分散値（Ｓ）を推定し、このノイズ分散値の大きさに応じて平均的な画素値を求める際に用いるべき遮光領域に属する画素の画素位置、及び画素数を変更し、画素位置に関して、画像領域１０ａと遮光領域１０ｂとの境界からより離れた位置の画素を優先して用いるようにする。
【００５１】
これにより、遮光領域１０ｂに属する平均的な画素値を精度良く求めることができる。その結果、精度良く求めた平均的な画素値に基づいて補正値が求められるため、その補正値を用いてイメージセンサ１０からの出力信号を精度良く補正することが可能となる。
【００５２】
（変形例）
本実施形態は、推定したノイズ分散値（Ｓ）の大きさに応じて平均的な画素値を求める際に用いるべき遮光領域１０ｂに属する画素値の画素位置、及び画素数を変更するものであるが、ノイズ分散値（Ｓ）が元々小さいイメージセンサであれば、非遮光領域から最も離れた遮光領域に属する少ない画素数だけであっても、その領域に属する平均的な画素値を精度良く求めることができる。
【００５３】
従って、ノイズ分散値（Ｓ）が元々小さいイメージセンサを用いる場合には、遮光領域に回り込む外乱光の影響の受けにくい非遮光領域と遮光領域との境界から最も離れた画素を用いて、遮光領域に属する平均的な画素値を求める。
【００５４】
例えば、図２のように、遮光領域１０ｂが画像領域１０ａを左右に挟んで対向して形成される場合には、画像領域１０ａの右側の遮光領域１０ｂの最右端、又は／及び画像領域１０ａの左側の遮光領域１０ｂの最左端で、かつ、最上部から最下部までに属する画素のうち、少なくとも１つ以上の画素を用いて遮光領域１０ｂに属する平均的な画素値を求める。これにより、その平均的な画素値が精度良く求まる。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施形態に係る、撮像装置の全体構成を示すブロック図である。
【図２】イメージセンサ１０における画像領域１０ａと遮光領域１０ｂを示した図である。
【図３】イメージセンサ１０の周囲の温度、イメージセンサ１０から出力される出力信号の出力ゲインに対する遮光領域１０ｂにおける画素の画素値に含まれるノイズの分散値（Ｓ）との関係を示す図である。
【図４】本発明の実施形態に係る、黒レベル制御の処理の流れを示すフローチャートである。
【図５】イメージセンサの断面図である。
【符号の説明】
【００５６】
１０  イメージセンサ
１１  遮光部
１２  レンズ
１００  カメラ
２００  制御装置
３００  車線逸脱警報ＥＣＵ
３１０  警報部
【図１】
2006067010.tif 000003
【図２】
2006067010.tif 000004
【図３】
2006067010.tif 000005
【図４】
2006067010.tif 000006
【図５】
2006067010.tif 000007