(57)【要約】【課題】固定パターンノイズを、少ないメモリ資源で迅速に検出可能とする。【解決手段】画像解析装置の処理ユニットは、固定パターンノイズの発生する画素であるノイズ発生画素についての過去の学習結果に基づき、イメージセンサから取得した画像データを補正した後、これを二値画像データに変換し（Ｓ３１０）、更に、この二値画像データに対してラベリング処理（Ｓ３２０）を行う。そして、ラベリング処理の結果に基づき、二値画像データから、孤立した高輝度画素を抽出する（Ｓ３３０）。更に、抽出した孤立高輝度画素を一つ判定対象画素に選択し（Ｓ３５０）、判定対象画素に対応する周辺画素の補正前画像データにおける輝度を参照する（Ｓ３６０）。そして、周辺画素の輝度が全て閾値未満である場合には（Ｓ３７０でＹｅｓ）、判定対象画素を新たなノイズ発生画素として検出する（Ｓ３８０）。【選択図】図８
2013258596.tif 000002
【特許請求の範囲】
【請求項１】
入射光を分散させる光学素子（２５）を含む光学系（２１）と、
前記光学系を介して前方を撮影し、その撮影画像を表す画像データを生成するイメージセンサ（２７）と、
前記イメージセンサにより生成された前記画像データを構成する画素群の中から、基準値以上の輝度を示す高輝度画素を抽出する抽出手段（３０，Ｓ３１０〜Ｓ３３０）と、
前記抽出手段により抽出された前記高輝度画素毎に、この高輝度画素への入射光に対応する前記光学素子による分散光の受光成分を含む、前記画像データにおける当該高輝度画素の周辺領域の輝度に基づき、この高輝度画素が固定パターンノイズの発生するノイズ発生画素であるか否かを判定する判定手段（３０，Ｓ３５０〜Ｓ３８０，Ｓ４００）と、
を備えることを特徴とする撮像装置。
【請求項２】
前記抽出手段は、前記イメージセンサにより生成された前記画像データを構成する画素群の中から、前記基準値以上の輝度を示す高輝度画素であって、周囲の前記高輝度画素から孤立した高輝度画素を抽出する構成にされ、
前記判定手段は、前記抽出手段により抽出された前記孤立する高輝度画素毎に、この高輝度画素が前記ノイズ発生画素であるか否かを判定すること
を特徴とする請求項１記載の撮像装置。
【請求項３】
前記判定手段は、前記周辺領域の輝度と予め定められた閾値とを比較し、前記周辺領域の輝度が前記閾値未満であると、対応する前記高輝度画素が前記ノイズ発生画素であると判定すること
を特徴とする請求項１又は請求項２記載の撮像装置。
【請求項４】
前記判定手段は、前記周辺領域の輝度としての、前記周辺領域に属する複数画素の内、輝度が最大の画素の輝度、又は、前記周辺領域に属する複数画素の輝度の平均値若しくは合算値と、予め定められた閾値とを比較し、前記周辺領域の輝度が前記閾値未満であると、対応する前記高輝度画素が前記ノイズ発生画素であると判定すること
を特徴とする請求項１又は請求項２記載の撮像装置。
【請求項５】
前記イメージセンサにより生成される前記画像データにおける前記判定手段によって前記ノイズ発生画素であると判定された画素の夫々の輝度を、ノイズ成分を除去する方向に補正し、これによって前記画像データに対応する補正画像データを生成する補正手段（３０，Ｓ２４０）
を備えることを特徴とする請求項１〜請求項４のいずれか一項記載の撮像装置。
【請求項６】
前記判定手段により前記ノイズ発生画素であると判定された画素毎に、前記イメージセンサにより逐次生成される前記画像データにおける当該ノイズ発生画素の輝度のサンプルを、複数収集し、収集した前記サンプルの複数に基づき、このノイズ発生画素における輝度の補正量を決定する補正量決定手段（３０，Ｓ２３０，Ｓ３９０，Ｓ４１０）
を備え、
前記補正手段は、前記イメージセンサにより逐次生成される前記画像データにおける前記ノイズ発生画素の夫々の輝度を、前記補正量決定手段により当該ノイズ発生画素に対して決定された前記補正量、補正することにより、前記補正画像データを生成すること
を特徴とする請求項５記載の撮像装置。
【請求項７】
前記補正量決定手段は、前記ノイズ発生画素の夫々に関して、前記イメージセンサにより前記画像データが生成される毎に、この画像データにおける前記ノイズ発生画素の輝度を、前記サンプルとして収集し、最新のサンプルを含む前記収集したサンプルの複数に基づき、前記補正量を、逐次更新するように決定すること
を特徴とする請求項６記載の撮像装置。
【請求項８】
前記補正量決定手段は、前記ノイズ発生画素毎に、暗闇での撮影画像を表す前記画像データから収集した前記サンプルの複数における輝度の平均を、前記補正量に決定し、
前記補正手段は、前記画像データにおける前記ノイズ発生画素の夫々の輝度を、前記補正量決定手段により当該ノイズ発生画素に対して決定された前記補正量、減算する方向に補正することにより、前記補正画像データを生成すること
を特徴とする請求項６又は請求項７記載の撮像装置。
【請求項９】
前記補正手段により生成された前記補正画像データに基づいて、前記イメージセンサによる撮影方向に位置する車両灯火を検出する車両灯火検出手段（３０，ＰＲ２）
を備えることを特徴とする請求項５〜請求項８のいずれか一項記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、ＣＭＯＳイメージセンサ等で生成された画像データには、イメージセンサの製造過程で生じるバラツキが原因で固定パターンノイズ（ＦＰＮ）が発生することが知られている。固定パターンノイズの発生する画素では、その輝度が、受光に応じた輝度にノイズ量が加算された形態で表れる。
【０００３】
また、このようなノイズを除去可能な装置としては、複数の画像データを重畳して蓄積し、この蓄積データに含まれる空間高周波成分に基づいて、イメージセンサが生成した画像データから固定パターンノイズを除去する装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４０９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術によれば、複数の画像データを蓄積した結果に基づいて、固定パターンノイズの発生する画素を検出する手法を採用しているため、その画像データの蓄積に際してメモリ資源を多く必要とし、更には、迅速に固定パターンノイズを検出することができないといった問題があった。
【０００６】
本発明は、こうした問題に鑑みなされたものであり、固定パターンノイズを、少ないメモリ資源で迅速に検出可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するためになされた本発明の撮像装置は、入射光を分散させる光学素子を含む光学系と、イメージセンサと、抽出手段と、判定手段と、を備える。イメージセンサは、光学系を介して前方を撮影し、その撮影画像を表す画像データを生成する。抽出手段は、イメージセンサにより生成された画像データを構成する画素群の中から、基準値以上の輝度を示す高輝度画素を抽出する。
【０００８】
判定手段は、この抽出手段により抽出された高輝度画素毎に、この高輝度画素が固定パターンノイズの発生するノイズ発生画素であるか否かを判定する。具体的には、画像データにおける上記高輝度画素の周辺領域であって、この高輝度画素への入射光に対応する分散光の受光成分を含む当該高輝度画素の周辺領域の輝度に基づき、この高輝度画素が固定パターンノイズの発生するノイズ発生画素であるか否かを判定する。
【０００９】
夜間等においては、イメージセンサにより生成された画像データにおける光源の撮影された領域に、高輝度画素が現れる。一方、光源の撮影された領域でなくても、固定パターンノイズの発生している領域には、高輝度画素が現れる。但し、光源の撮影された画素の周辺領域には、光学素子により生じた光源からの入射光に対応する分散光成分が現れる。一方、固定パターンノイズの発生している画素の周辺領域において、分散光成分は基本的に現れない。
【００１０】
本発明は、このような現象を利用して、高輝度画素が固定パターンノイズの発生するノイズ発生画素であるか否かを判定する。このような判定手法によれば、複数の画像データを蓄積した結果に基づかなくとも、ノイズ発生画素を適切に検出することができる。従って、本発明によれば、固定パターンノイズを、少ないメモリ資源で迅速に検出することができる。
【００１１】
具体的に、抽出手段は、イメージセンサにより生成された画像データを構成する画素群の中から、基準値以上の輝度を示す高輝度画素であって、周囲の高輝度画素から孤立した高輝度画素を抽出する構成にすることができる。そして、判定手段は、抽出手段により抽出された孤立する高輝度画素毎に、この高輝度画素が固定パターンノイズの発生するノイズ発生画素であるか否かを判定する構成にすることができる。
【００１２】
高輝度画素が固定パターンノイズである場合には、その高輝度画素が周囲の高輝度画素から孤立しているのが通常であるので、このように判定を行えば、効率的に、ノイズ発生画素を検出することができる。
【００１３】
また、判定手段は、周辺領域の輝度と予め定められた閾値とを比較し、周辺領域の輝度が閾値未満であると、対応する高輝度画素がノイズ発生画素であると判定することができる。周辺領域に属する画素が複数存在する場合、周辺領域の輝度としては、例えば、周辺領域に属する複数画素の輝度平均若しくは合算値、又は、周辺領域に属する複数画素の内、輝度が最大の画素の輝度を採用することができる。
【００１４】
この他、上記撮像装置には、イメージセンサにより生成される画像データにおける判定手段によってノイズ発生画素であると判定された画素の夫々の輝度を、ノイズ成分を除去する方向に補正し、これによって補正画像データを生成する補正手段を設けることができる。この撮像装置によれば、補正手段により生成された補正画像データに基づく画像解析を行うことができ、例えば、固定パターンノイズによる影響を抑えて前方に位置する物体（光源等）を高精度に検出することができる。
【００１５】
また、上記補正手段を設ける場合、撮像装置には、判定手段によりノイズ発生画素であると判定された画素毎に、イメージセンサにより逐次生成される画像データにおける当該ノイズ発生画素の輝度のサンプルを、複数収集し、収集したサンプルの複数に基づき、このノイズ発生画素における輝度の補正量を決定する補正量決定手段を更に設けることができる。そして、補正手段は、イメージセンサにより逐次生成される画像データにおけるノイズ発生画素の夫々の輝度を、補正量決定手段により当該ノイズ発生画素に対して決定された補正量、補正することにより、補正画像データを生成する構成にすることができる。このように撮像装置を構成すれば、良好に画像データからノイズ成分を除去することができる。
【００１６】
また、上記撮像装置には、補正手段により生成された補正画像データに基づいて、イメージセンサによる撮影方向に位置する車両灯火を検出する車両灯火検出手段を設けることができる。この撮像装置によれば、固定パターンノイズを車両灯火として誤って検出してしまうのを抑えることができ、高精度に車両灯火を検出することができる。
【図面の簡単な説明】
【００１７】
【図１】車両制御システム１の構成を表すブロック図である。
【図２】処理ユニット３０がフレーム毎に実行する処理を説明した図である。
【図３】光学ローパスフィルタ２５による光の分散パターンを説明した図である。
【図４】固定パターンノイズが発生している場合の輝度の分布を示した図である。
【図５】処理ユニット３０が実行するノイズ除去学習処理を表すフローチャートである。
【図６】処理ユニット３０が実行するノイズ除去処理を表すフローチャートである。
【図７】ＥＥＰＲＯＭ３７が記憶するノイズマップの構成を示した図である。
【図８】処理ユニット３０が実行するノイズ学習処理を表すフローチャートである。
【図９】判定対象画素と周辺画素との対応関係を示した図である。
【発明を実施するための形態】
【００１８】
以下に本発明の実施例について、図面と共に説明する。
本実施例の車両制御システム１は、車両に搭載されるシステムであり、画像解析装置１０と、車両制御装置９０と、を備え、画像解析装置１０と車両制御装置９０とが互いに車内ネットワークを通じて双方向通信可能に接続されたものである。
【００１９】
画像解析装置１０は、車載カメラ２０を備え、車載カメラ２０により生成された自車両前方の撮影画像を表す画像データを解析して、前方物体を検出するものである。画像解析装置１０は、この検出結果を、車内ネットワークを通じて車両制御装置９０に送信する。
【００２０】
車両制御装置９０は、画像解析装置１０から受信した前方物体の検出結果に基づき、車両制御を行う。例えば、車両制御装置９０は、画像解析装置１０から得られた上記検出結果に基づき、前方車両との車間距離を確保する車間制御を行う。この他、夜間には、前照灯からのビーム照射角度を、前方車両の有無に応じて切り替える制御を行う。
【００２１】
詳述すると、画像解析装置１０は、自車両前方を撮影する車載カメラ２０の他に、処理ユニット３０と、通信ユニット４０とを備える。通信ユニット４０は、車内ネットワークを通じて車両制御装置９０と双方向通信可能なインタフェースである。
【００２２】
車載カメラ２０は、光学系２１と、光学系２１を介して外部から入射される光を受光し、その受光量に応じた輝度を示す画像データを生成するイメージセンサ２７とを備える。
光学系２１は、レンズ２３及び光学ローパスフィルタ（ＯＬＰＦ）２５を備え、外部からの入射光を、高い空間周波数成分を除去しつつ、イメージセンサ２７に入力する。光学ローパスフィルタ２５は、周知のように複屈折板を備え、外部からの入射光に対応する分散光を複屈折により生成することで、高い空間周波数成分をカットする。
【００２３】
また、イメージセンサ２７は、カラーイメージセンサであり、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のフィルタが交互に配列されたカラーフィルタ２７Ａを備える。このイメージセンサ２７は、例えば、ＣＭＯＳイメージセンサにより構成される。但し、イメージセンサ２７は、ＣＣＤイメージセンサにより構成されてもよい。
【００２４】
このイメージセンサ２７は、処理ユニット３０に制御されて、光学ローパスフィルタ２５及びカラーフィルタ２７Ａを介して入射した光の受光量に対応した各画素の輝度を示すカラー画像データを、自車両前方の撮影画像を表す上記画像データとして周期的に生成する。そして、生成した各画像データを処理ユニット３０に入力する。
【００２５】
また、処理ユニット３０は、画像解析装置１０を統括制御すると共に、車載カメラ２０から得られる画像データの夫々を解析して、車や人、標識などの前方物体を検出するものである。この処理ユニット３０は、ＣＰＵ３１、ＲＯＭ３３、ＲＡＭ３５、及び、電気的にデータ書換可能な不揮発性メモリとしてのＥＥＰＲＯＭ３７を備えたマイクロコンピュータにより構成され、ＲＯＭ３３に格納されたプログラムに従う処理をＣＰＵ３１にて実行することにより、各種機能を実現する。
【００２６】
具体的に、処理ユニット３０は、車載カメラ２０を制御することにより、車載カメラ２０に周期的に自車両前方の撮影画像を表す上記画像データを生成させ、各画像データ（フレームデータ）を車載カメラ２０から取得する。そして、図２に示すように、１フレーム毎に、この画像データを処理対象とするノイズ除去学習処理ＰＲ１及び物体検出処理ＰＲ２を実行する。これにより、車載カメラ２０から取得した画像データに対してノイズ成分を除去する補正を行った後、この補正後の画像データとしての補正画像データを解析して、画像データに映る前方物体を検出する。
【００２７】
詳述すると、ノイズ除去学習処理ＰＲ１は、固定パターンノイズの発生する画素であるノイズ発生画素の輝度の履歴データに基づき、車載カメラ２０から得られた画像データを補正することにより、ノイズ成分を除去した上記補正画像データを生成するノイズ除去処理を含む。更に、このノイズ除去学習処理ＰＲ１は、補正画像データから高輝度画素を抽出し、抽出した高輝度画素の周辺領域に位置する画素の輝度を参照することにより、この高輝度画素が、固定パターンノイズの発生するノイズ発生画素であるか否かを判定するノイズ学習処理を含む。
【００２８】
物体検出処理ＰＲ２は、このノイズ除去処理にて生成された補正画像データを、周知の技法で解析して、画像データに移る前方物体を検出し、この検出結果を、通信ユニット４０を通じて車両制御装置９０に送信する処理である。例えば、処理ユニット３０は、夜間における物体検出処理ＰＲ２として、補正画像データからテールライト等の車両灯火を検出する車両灯火検出処理を実行する。
【００２９】
ここで、固定パターンノイズの発生するノイズ発生画素の判別原理について説明する。本実施例では、外部からの入射光であれば光学ローパスフィルタ２５により分散光が生じる現象を利用して、ノイズ発生画素を判別する。
【００３０】
本実施例の車載カメラ２０によれば、光学ローパスフィルタ２５が外部からの入射光を分散させる。このため、図３に示すように、イメージセンサ２７における画素ＰＡに向けて外部からの光が入射される場合、この入射光は、光学ローパスフィルタ２５により４つに分散されて、その分散光が画素ＰＡ、ＰＢ、ＰＣ、ＰＤに入射される。
【００３１】
但し、イメージセンサ２７には、図３中段に示すように、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のフィルタが交互に配列されたカラーフィルタ２７Ａが設けられている。即ち、光学ローパスフィルタ２５からの分散光を受光するイメージセンサ２７の画素ＰＡ、ＰＢ、ＰＣ、ＰＤの間では、図３下段に数字で示すように、分散光に含まれる色成分とフィルタ色との対応関係が異なる結果として、異なる輝度が観測される。
【００３２】
従って、周囲の暗い夜間での撮影により生成された画像データには、光源が映る画素領域の特に、光源の発光色に対応する画素ＰＡに高い輝度を示す画素が現れ、その周辺領域に、この画素ＰＡへの入射光に対応する分散光の受光によりゼロではない輝度を示す画素ＰＢ，ＰＣ，ＰＤが現れる。例えば、光源が赤色成分を多く含む車両のテールライトである場合には、赤（Ｒ）のフィルタが設けられた画素ＰＡに、高輝度画素が現れ、その周辺領域に、低い輝度を示す画素ＰＢ，ＰＣ，ＰＤが現れる。
【００３３】
一方、この画像データに固定パターンノイズが含まれる場合には、図４に示すように固定パターンノイズの発生する画素ＰＥが、上記光源からの入射光と同様に高い輝度を示すが、その周辺領域の画素ＰＦ，ＰＧ，ＰＨの輝度は、光源に近い画素でない限り、ゼロ又は略ゼロを示す。
【００３４】
本実施例によれば、このような現象を利用して、夜間において車載カメラ２０により生成された画像データ（厳密には補正画像データ）から高輝度画素を抽出し、抽出した高輝度画素の周辺領域に位置する画素の輝度を指標に、この高輝度画素が光源であるのか、それとも固定パターンノイズであるのかを判定し、これによって、固定パターンノイズの発生する画素であるノイズ発生画素を学習する。
【００３５】
続いて、処理ユニット３０が実行するノイズ除去学習処理ＰＲ１を、図５に示すフローチャート等に基づいて詳細に説明する。
ノイズ除去学習処理ＰＲ１を実行すると、処理ユニット３０は、イメージセンサ２７から最新の画像データを取得し（Ｓ１１０）、取得した画像データに対して図６に示すノイズ除去処理を実行する（Ｓ１２０）。そして、ノイズ除去処理では、図７に示すようなＥＥＰＲＯＭ３７が記憶するノイズマップを参照し、ノイズマップにレコードが登録されているノイズ発生画素の夫々に対し、ノイズ成分を除去する補正処理（Ｓ２４０）を行う。
【００３６】
具体的に、ノイズ除去処理を開始すると、処理ユニット３０は、ノイズマップにレコードが登録されている全てのノイズ発生画素に対し、ノイズ成分を除去する補正処理（Ｓ２４０）を行ったか否かを判断する（Ｓ２１０）。
【００３７】
ＥＥＰＲＯＭ３７が記憶するノイズマップは、イメージセンサ２７により生成される画像データの画素群の内、固定パターンノイズが発生していると判定された画素であるノイズ発生画素毎に、位置座標データ及び輝度履歴データからなるレコードを有するものである。位置座標データは、このノイズ発生画素の画像データにおける位置座標を表すデータである。一方、輝度履歴データは、これまでに車載カメラ２０にて生成された夜間の撮影画像を表す画像データにおいて、このノイズ発生画素が示した輝度を記録したものである。
【００３８】
Ｓ２１０において、このノイズマップにレコードが登録されている全ノイズ発生画素に対し、ノイズ成分を除去する補正処理を行ったと判断すると（Ｓ２１０でＹｅｓ）、処理ユニット３０は、当該ノイズ除去処理を終了する。一方、否定判断すると（Ｓ２１０でＮｏ）、ノイズ成分を除去していない未処理のノイズ発生画素を一つ処理対象画素として選択する（Ｓ２２０）。
【００３９】
そして、選択した処理対象画素のレコードが有する輝度履歴データに基づき、処理対象画素に対する補正量として、処理対象画素が過去に示した輝度の平均値ＸＡを算出し（Ｓ２３０）、今回取得した画像データにおける処理対象画素の輝度Ｘを、Ｓ２３０で算出した平均値ＸＡだけ減算した値（Ｘ−ＸＡ）に補正する（Ｓ２４０）。その後、Ｓ２１０に移行する。
【００４０】
即ち、ノイズ除去処理では、ノイズマップにレコードが登録されているノイズ発生画素毎に、今回イメージセンサ２７から取得した画像データにおけるノイズ発生画素の輝度を、このノイズ発生画素における過去の輝度の平均値ＸＡだけ減算した値に補正することにより、この画像データからノイズ成分を除去した補正画像データを生成する。その後、当該ノイズ除去処理を終了する。
【００４１】
処理ユニット３０は、このノイズ除去処理を終了すると、Ｓ１３０に移行し、現時刻が夜間であるか否かを判断し、夜間ではないと判断すると（Ｓ１３０でＮｏ）、ノイズ学習処理（Ｓ１４０）を実行せずに、当該ノイズ除去学習処理ＰＲ１を終了する。一方、夜間であると判断すると（Ｓ１３０でＹｅｓ）、図８に示すノイズ学習処理を実行した後に（Ｓ１４０）、当該ノイズ除去学習処理ＰＲ１を終了する。
【００４２】
尚、夜間であるか否かの判断は、補正画像データが示す全画素の輝度の合計や平均値が閾値未満であるか否かの判断により実現することができる。補正画像データが示す全画素の輝度の合計又は平均値が、夜間判定用に予め定められた閾値未満である場合には、現時刻が夜間であると判断し、閾値以上である場合には、夜間ではないと判断するといった具合である。
【００４３】
Ｓ１４０においてノイズ学習処理を開始すると、処理ユニット３０は、Ｓ１２０にて生成された補正画像データを二値化してなる二値画像データを生成する（Ｓ３１０）。即ち、補正画像データにおける各画素の値を、当該画素の値（輝度）が基準値以上である場合には、値１に変換し、基準値未満である場合には、値０に変換して、各画素が値１又は０を採る二値画像データを生成する。
【００４４】
その後、処理ユニット３０は、上記生成した二値画像データに対してラベリング処理を実行する（Ｓ３２０）。ここでいうラベリング処理とは、二値画像データにおいて、隣接する値１の画素群に同じラベルを付加することにより、これらの画素群を、一つの高輝度エリアとしてグループ化する処理のことを示す。ここでは、色の区別なく、隣接する値１の画素群に対して同じラベルを付加することにより、グループ化を行ってもよいし、色毎に、その色の画素群の中で、隣接する値１の画素群に対して同じラベルを付加することにより、グループ化を行ってもよい。また、「隣接する」画素としては、左右に隣接する画素、及び、上下に隣接する画素、及び、斜めに隣接する画素を挙げることができる。要するに、Ｓ３２０では、左右及び上下及び斜めのいずれかの方向に連続する値「１」の画素群を一つの高輝度エリアとしてグループ化する。
【００４５】
そして、同じラベルの付された画素数をカウントすることにより、画素数が１のラベルに対応する画素を、孤立高輝度画素として抽出する（Ｓ３３０）。上述した処理により、孤立高輝度画素としては、補正画像データにおいて基準値以上の輝度を示す高輝度画素であって、周囲の高輝度画素から孤立した画素が抽出される。
【００４６】
その後、処理ユニット３０は、Ｓ３３０で抽出された孤立高輝度画素の全てについて、この画素が固定パターンノイズの発生するノイズ発生画素であるか否かの判定を行ったか否かを判断し（Ｓ３４０）、行っていないと判断すると（Ｓ３４０でＮｏ）、Ｓ３５０に移行して、未判定の孤立高輝度画素を、一つ判定対象画素として選択する。
【００４７】
そして、この判定対象画素の周辺領域に属する画素であって、判定対象画素への入射光に対応する光学ローパスフィルタ２５による分散光の受光成分を含む画素である周辺画素の補正前画像データにおける輝度を参照し（Ｓ３６０）、周辺画素の輝度が、全て閾値未満であるか否かを判断する（Ｓ３７０）。補正前画像データとは、イメージセンサ２７から取得したＳ１２０によるノイズ除去前の画像データのことである。
【００４８】
図３に示す例によれば、画素ＰＡへの入射光が画素ＰＡ，ＰＢ，ＰＣ，ＰＤに分散する。従って、光学ローパスフィルタ２５による入射光の分散パターンがこのような形態を採る場合、Ｓ３７０では、図９に示すように、判定対象画素Ｐ０を基準に、周辺画素として、光学ローパスフィルタ２５による入射光の分散方向に位置する画素Ｐ１，Ｐ２，Ｐ３の輝度を参照する。図３に示す画素ＰＡが判定対象画素である場合には、周辺画素として、画素ＰＢ，ＰＣ，ＰＤの輝度を参照するといった具合である。Ｓ３７０で用いるノイズ発生画素判定用の閾値としては、二値化に用いる上記基準値よりも十分小さい値が定められる。この閾値については、設計者が、試験等に基づいて、ノイズ発生画素判定にふさわしい値に定めることができる。
【００４９】
そして、周辺画素の輝度が、全て閾値未満であると判断すると（Ｓ３７０でＹｅｓ）、処理ユニット３０は、判定対象画素が固定パターンノイズの発生するノイズ発生画素であると判定し（Ｓ３８０）、その画素の位置座標データ及び輝度履歴データを構成要素とする上述のレコードを、ＥＥＰＲＯＭ３７が記憶するノイズマップに登録する（Ｓ３９０）。具体的に、輝度履歴データには、二値画像データの元画像データとして車載カメラ２０から取得した補正前画像データにおける該当画素の輝度を記録する。その後、Ｓ３４０に移行する。
【００５０】
一方、周辺画素群に、閾値以上の輝度を示す画素が存在する場合には、Ｓ３７０において否定判断して（Ｓ３７０でＮｏ）、判定対象画素が固定パターンノイズの発生するノイズ発生画素ではないと判定する（Ｓ４００）。そして、Ｓ３９０の処理を実行することなく、Ｓ３４０に移行する。
【００５１】
処理ユニット３０は、このようにして、二値画像データから抽出された孤立高輝度画素の一つ一つについて、Ｓ３５０以降の処理を実行し、当該孤立高輝度画素がノイズ発生画素であると判定した場合には、この画素についてのレコードをノイズマップに登録する。
【００５２】
そして、全ての孤立高輝度画素について上記判定を行ったと判断すると（Ｓ３４０でＹｅｓ）、処理ユニット３０は、Ｓ４１０に移行して、ノイズマップにおける各輝度履歴データを更新する処理を実行する（Ｓ４１０）。具体的に、Ｓ４１０では、ノイズマップにレコードが登録されているノイズ発生画素であって、今回新規にレコードが登録されたノイズ発生画素以外のノイズ発生画素の夫々について、今回車載カメラ２０から取得した補正前の画像データにおける当該ノイズ発生画素の輝度を特定し、このノイズ発生画素の輝度履歴データに、当該特定した輝度を記録する。その後、ノイズ学習処理を終了する。
【００５３】
この輝度履歴データの更新より、ノイズマップが有するノイズ発生画素毎のレコードには、車載カメラ２０にて生成された夜間の撮影画像を表す画像データにおいて、このノイズ発生画素が示した輝度の情報が蓄積される。この蓄積により、Ｓ２３０では、ノイズ発生画素で発生するノイズ量に対応する補正量が、輝度の平均値ＸＡといった形式で算出されることになる。
【００５４】
以上、本実施例の車両制御システム１について説明したが、本実施例の画像解析装置１０によれば、イメージセンサ２７が、光学ローパスフィルタ２５を含む光学系２１を介して前方を撮影し、その撮影画像を表す画像データを生成する。そして、処理ユニット３０が、イメージセンサ２７により生成された上記画像データに対応する補正画像データを構成する画素群の中から、基準値以上の輝度を示す高輝度画素であって、周囲の高輝度画素から孤立した画素である孤立高輝度画素を抽出する（Ｓ３１０〜Ｓ３３０）。
【００５５】
そして、処理ユニット３０が、外部からの入射光については、光学ローパスフィルタ２５により分散される現象を利用して、抽出された孤立高輝度画素毎に、この孤立高輝度画素への入射光に対応する分散光の受光成分を含む当該孤立高輝度画素の周辺領域の輝度に基づき、この孤立高輝度画素が固定パターンノイズの発生するノイズ発生画素であるか否かを判定する（Ｓ３４０〜Ｓ４００）。具体的には、孤立高輝度画素の周辺領域に属する各画素の輝度と閾値とを比較し、全ての画素の輝度が閾値未満であると、対応する孤立高輝度画素がノイズ発生画素であると判定する。換言すれば、周辺領域に属する複数の周辺画素の内、輝度が最大の画素の輝度が閾値未満であると、対応する孤立高輝度画素がノイズ発生画素であると判定する。
【００５６】
従って、本実施例によれば、従来のように、複数の画像データを蓄積した結果に基づかなくとも、ノイズ発生画素を適切且つ迅速に検出することができる。また、ノイズ発生画素の検出に、画像データの蓄積が不要であるため、ノイズ発生画素を、少ないメモリ資源で検出することができる。
【００５７】
そして、本実施例によれば、精度良く迅速にノイズ発生画素を検出可能であるため、車載カメラ２０から得られる画像データから適切に固定パターンノイズを除去し、補正画像データを生成することができる。補正前の画像データによれば、例えば、遠方に位置する前方車両のテールライトのような点光源、及び、固定パターンノイズが、夫々孤立した高輝度画素として画像データに現れるが、本実施例によれば、固定パターンノイズにより高輝度となった画素の輝度を適切に補正することができるので、固定パターンノイズを、テールライト等を間違えて検出しなくて済む。
【００５８】
従って、本実施例によれば、車両灯火検出処理等の物体検出処理ＰＲ２を高精度に行うことができ、この検出結果に基づいて、正確な車両制御を実行することができる。
特に、本実施例によれば、ノイズ学習処理によりノイズ発生画素であると判定された画素毎に、イメージセンサ２７により逐次生成される画像データにおける当該ノイズ発生画素の輝度を、ノイズ発生画素の補正量を算出するためのサンプルとして、輝度履歴データに記録し（Ｓ４１０）、この輝度履歴データに記録した夜間における輝度の平均値ＸＡを補正量として算出する（Ｓ２３０）。そして、この補正量（平均値ＸＡ）分、イメージセンサ２７から取得した画像データにおける対応画素の輝度を減算して補正することにより、補正画像データを生成する。
【００５９】
従って、本実施例によれば、経時変化し得るノイズ量に適切に対応して、イメージセンサ２７により生成された画像データからノイズ成分を除去することができる。結果、本実施例によれば、固定パターンノイズの影響を抑えて、物体検出処理ＰＲ２を高精度に行うことができる。
【００６０】
尚、上述しなかったが、平均値ＸＡとしては、重み付け平均を採用することができる。即ち、輝度履歴データに記録されている輝度のうちの最新の輝度の重み付けを大きくし、古い輝度の観測値ほど重み付けを小さくして、輝度の重み付け平均値ＸＡを算出し、この重み付け平均値ＸＡ分、イメージセンサ２７から取得した画像データにおける対応画素の輝度を減算して補正することにより、補正画像データを生成することも可能である。
【００６１】
また、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。例えば、上記実施例では、Ｓ３７０において、周辺画素の輝度が全て閾値未満であるか否かを判断することにより、判定対象画素がノイズ発生画素であるか否かを判定するようにしたが、Ｓ３７０では、周辺画素の輝度の平均値や合算値が閾値未満であるか否かを判断することにより、判定対象画素がノイズ発生画素であるか否かを判定するようにしてもよい。
【００６２】
また、本実施例によれば、図３に示すように、外部からの入射光が光学ローパスフィルタ２５により４つの分散光に分離される例について説明したが、光学ローパスフィルタとしては、入射光を二つの分散光に分離するものを用いてもよい。例えば、一つの画素ＰＡへの入射光が、２つに分離されて、その分散光が画素ＰＡ、ＰＢ（又は画素ＰＡ，ＰＣ）に入射されるような光学ローパスフィルタを用いてもよい。この場合には、判定対象画素に対応する周辺画素は、複数ではなく一つになる。
【００６３】
また、本実施例によれば、輝度履歴データに、過去観測された輝度を記録して、記録された輝度から平均値ＸＡを算出するようにしたが、輝度履歴データには、例えば、輝度のサンプル数と輝度の合算値とを記録するようにしてもよい。このような情報を輝度履歴データに登録すれば、過去に観測された輝度の全てを記録しておかなくても、合算値をサンプル数で除算することにより、平均値ＸＡを求めることができ、ノイズ除去に必要なメモリ資源を一層抑えることができるといった利点がある。
【００６４】
この他、Ｓ３７０での閾値は、判定対象画素の輝度も加味した閾値に設定されてもよい。即ち、判定対象画素の輝度と周辺画素の輝度との差に応じた判定結果となるように、閾値を設定してもよい。
【００６５】
最後に対応関係について説明する。画像解析装置１０は、撮像装置の一例に対応し、光学ローパスフィルタ２５は、入射光を分散させる光学素子の一例に対応する。また、処理ユニット３０が実行するＳ３１０〜Ｓ３３０は、抽出手段によって実現される処理の一例に対応し、処理ユニット３０が実行するＳ３５０〜Ｓ３８０，Ｓ４００は、判定手段によって実現される処理の一例に対応する。
【００６６】
この他、処理ユニット３０が実行するＳ２４０は、補正手段によって実現される処理の一例に対応し、処理ユニット３０が実行するＳ２３０，Ｓ３９０，Ｓ４１０は、補正量決定手段によって実現される処理の一例に対応し、処理ユニット３０が実行する物体検出処理（車両灯火検出処理）ＰＲ２は、車両灯火検出手段によって実現される処理の一例に対応する。
【符号の説明】
【００６７】
１…車両制御システム、１０…画像解析装置、２０…車載カメラ、２１…光学系、２５…光学ローパスフィルタ、２７…イメージセンサ、２７Ａ…カラーフィルタ、３０…処理ユニット、３１…ＣＰＵ、３３…ＲＯＭ、３５…ＲＡＭ、３７…ＥＥＰＲＯＭ、４０…通信ユニット、９０…車両制御装置
【図１】
2013258596.tif 000003
【図２】
2013258596.tif 000004
【図３】
2013258596.tif 000005
【図４】
2013258596.tif 000006
【図５】
2013258596.tif 000007
【図６】
2013258596.tif 000008
【図７】
2013258596.tif 000009
【図８】
2013258596.tif 000010
【図９】
2013258596.tif 000011