(57)【要約】【課題】車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる装置を提供する。【解決手段】車両環境認識装置１０によれば、色付きの原画像において車両１の前方道路に相当する基準領域Ｓを構成する画素のＲＧＢ値の平均値を当該基準領域Ｓの実空間における標準的な色、すなわち、道路の標準的な色を表わすＲＧＢ値に一致させるような補正係数が算出される。そして、色補正画像から指定色を有する領域が抽出されることにより、標準的な光照射状態において指定色またはこれに近い色を有する領域が高精度で抽出されうる。【選択図】  図４
2010044445.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像装置と、
前記撮像装置により撮像された色付きの原画像の基準領域における画素値の平均値を算出し、前記平均値に乗じられることにより前記平均値が実空間における前記基準領域の標準的な色を表わす画素値に一致するような補正係数を算出し、かつ、前記原画像を構成する各画素の画素値に前記補正係数を乗ずることにより色補正画像を生成する第１処理部と、
前記第１処理部により生成された前記色補正画像から指定色を有する領域を抽出する第２処理部とを備えていることを特徴とする車両環境認識装置。
【請求項２】
請求項１記載の車両環境認識装置において、
前記第１処理部が前記原画像を平滑化することにより平滑化画像を生成し、前記基準領域を構成する画素の前記原画像における画素値と前記平滑化画像における画素値との偏差を算出した上で、前記偏差の大きさが指定値を超える画素を前記基準領域から除外した上で前記平均値を算出することを特徴とする車両環境認識装置。
【請求項３】
請求項１記載の車両環境認識装置において、
前記第１処理部が前記車両周辺の道路に相当する前記基準領域における画素値の平均値を算出することを特徴とする車両環境認識装置。
【請求項４】
請求項１記載の車両環境認識装置において、
前記第２処理部が前記指定色として白色または黄色を有する領域を前記色補正画像から抽出することにより、当該領域により構成されるレーンマークを認識することを特徴とする車両環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺における環境を認識する装置に関する。
【背景技術】
【０００２】
車載カメラを通じて得られたカラー画像に基づき、車両が走行している道路に設けられている白線または黄色線等のレーンマークを認識するための技術が提案されている（特許文献１参照）。具体的には、まずカラー画像において道路領域に相当する各画素のＲＧＢ平均値に基づいてこの道路領域の明度値が算出される。さらに、この明度値からＲＧＢ平均値が減じられることにより、道路領域の色成分が算出される。そして、この道路領域における色成分に基づき、各画素のＲＧＢ値が補正される。これにより、有彩色の道路等またはヘッドライト等の影響が排除されて白色のレーンマークおよび黄色のレーンマークが識別されうる。
【特許文献１】特開２００６−２０９２０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、車両周囲における光の強弱および光の色具合等の光照射状態に応じて、車両が走行している道路に設けられている白線または黄線が赤みまたは青みを帯びた色として認識される等、実際の色とは異なる色が認識される可能性がある。これにより、白線または黄線等のレーンマークの認識精度が低下する可能性がある。
【０００４】
そこで、本発明は、車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１発明の車両環境認識装置は、車両の周辺を撮像する撮像装置と、前記撮像装置により撮像された色付きの原画像の基準領域における画素値の平均値を算出し、前記平均値に乗じられることにより前記平均値が実空間における前記基準領域の標準的な色を表わす画素値に一致するような補正係数を算出し、かつ、前記原画像を構成する各画素の画素値に前記補正係数を乗ずることにより色補正画像を生成する第１処理部と、前記第１処理部により生成された前記色補正画像から指定色を有する領域を抽出する第２処理部とを備えていることを特徴とする。
【０００６】
第１発明の車両環境認識装置によれば、色付きの原画像の基準領域を構成する画素の画素値の平均値を実空間における当該基準領域の標準的な色を表わす画素値に一致させるような補正係数が算出される。この補正係数は、基準領域の実空間における標準的な色、すなわち、標準的な光照射状態における色から、基準領域の原画像における色がさまざまな光照射状態に応じてどの程度相違しているかを表わす指標となる。したがって、補正係数が原画像を構成する各画素の画素値に乗じられることにより、標準的な光照射状態において撮像装置により撮像された原画像の色を現出させた色補正画像が生成されうる。そして、色補正画像から指定色を有する領域が抽出されることにより、標準的な光照射状態において指定色またはこれに近い色を有する領域が高精度で抽出されうる。このように車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。
【０００７】
第２発明の車両環境認識装置は、第１発明の車両環境認識装置において、前記第１処理部が前記原画像を平滑化することにより平滑化画像を生成し、前記基準領域を構成する画素の前記原画像における画素値と前記平滑化画像における画素値との偏差を算出した上で、前記偏差の大きさが指定値を超える画素を前記基準領域から除外した上で前記平均値を算出することを特徴とする。
【０００８】
第２発明の車両環境認識装置によれば、原画像が平滑化されることにより、原画像において近接する画素間の不規則な画素値の変化の影響が軽減または排除される。このため、原画像における画素値と平滑化画像における画素値との偏差が指定値を超える程度に各画像における画素値が異なるような画素、すなわち、周囲と比較して著しく不規則な画素値を有する画素がノイズとして基準領域から除去される。したがって、ノイズ除去後の基準領域を対象として前記のように補正係数が算出され、かつ、原画像が補正係数に基づいて補正されて色補正画像が生成されることにより、車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。
【０００９】
第３発明の車両環境認識装置は、第１発明の車両環境認識装置において、前記第１処理部が前記車両周辺の道路に相当する前記基準領域における画素値の平均値を算出することを特徴とする。
【００１０】
第３発明の車両環境認識装置によれば、道路の標準的な色を基準として原画像の色または画素値が補正されることにより色補正画像が生成される。そして、前記のように車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。
【００１１】
第４発明の車両環境認識装置は、第１発明の車両環境認識装置において、前記第２処理部が前記指定色として白色または黄色を有する領域を前記色補正画像から抽出することにより、当該領域により構成されるレーンマークを認識することを特徴とする。
【００１２】
第４発明の車両環境認識装置によれば、前記のように車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。このため、標準的な光照射状態において白色または黄色を有するレーンマークの存在が高精度で認識されうる。
【発明を実施するための最良の形態】
【００１３】
本発明の車両環境認識装置の実施形態について説明する。まず、車両環境認識装置の構成について説明する。図１および図２に示されている車両環境認識装置１０は車両（四輪自動車）１に搭載されているＥＣＵ（電子制御ユニット）により構成されている。ＥＣＵは、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ回路、Ａ／Ｄ変換回路およびこれらを接続するバスライン等により構成されている。車両１の先端中央部を原点Ｏとし、車両１の右方向、下方向および前方向のそれぞれを＋Ｘ方向、＋Ｙ方向および＋Ｚ方向のそれぞれとする実空間座標系が定義されている。車両環境認識装置１０はＣＣＤカメラまたはＣＭＯＳカラーイメージセンサ等のカメラ（撮像装置）Ｃを備えている。カメラＣは車両１の進行方向前方を撮像範囲とし、車両１の前方道路を含む画像を撮像する。カメラＣは車両１の横幅方向の中心線上に位置するように配置されている。
【００１４】
車両環境認識装置１０は第１処理部１１と、第２処理部１２とを備えている。各処理部はたとえばメモリと、このメモリからプログラムを読み出して担当演算処理を実行する演算処理装置（ＣＰＵ）とにより構成されている。第１処理部１１はカメラＣにより撮像されたカラー原画像から基準領域を抽出し、この基準領域における画素値の平均値を算出する。第１処理部１１は算出平均値が実空間における基準領域の標準的な色を表わす画素値に一致するような補正係数を算出する。第１処理部１１は原画像を構成する各画素の画素値に補正係数を乗ずることにより色補正画像を生成する。第２処理部１２は第１処理部１１により生成された色補正画像から指定色を有する領域を抽出する。
【００１５】
車両１には図２に示されているように車両制御装置１００と、車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３等のセンサと、操舵装置１１０と、制動装置１２０とがさらに搭載されている。車両制御装置１００は車両環境認識装置１０を構成するＥＣＵと同一のまたは異なるＥＣＵにより構成されている。車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。操舵装置１１０はステアリングホイールの操作により駆動される前輪操舵機構をアクチュエータにより駆動するように構成されている。なお、操舵装置１１０により前輪駆動機構に代えてまたは加えて後輪操舵機構が駆動されてもよい。車両制御装置１００は車両環境認識装置１０による認識結果等に基づき、操舵装置１１０および制動装置１２０のうち一方または両方の動作を制御することにより車両１の挙動を制御する。
【００１６】
前記構成の車両環境認識装置１０の機能について説明する。まずカメラＣから画像信号が車両環境認識装置１０に入力されることにより第１処理部１１によりカラー原画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）に示されているように、車両１の前方の様子を示す原画像が取得される。横ｍ画素、縦ｎ画素を有する原画像を構成する各画素ｐij（ｉ＝０〜ｍ−１，ｊ＝０〜ｎ−１）のＲＧＢ値（画素値）（Ｒij，Ｇij，Ｂij）が記憶装置またはメモリに保存される。
【００１７】
また、第１処理部１１は原画像を平滑化する（図３／Ｓ００４）。これにより、たとえば図４（ｂ）に示されているような平滑化画像が生成される。平滑化用のカーネルとしては高さ１〜３画素程度であり、かつ、幅１０〜２００画素程度のカーネルが採用される。カーネルの幅は実空間において車両１から遠くなるほど、すなわち、画像において上に位置するほど狭くなるように設定される。なお、ＲＧＢ値のほか、Ｌ*ａ*ｂ*、ＣＭＹ、ＣＭＹＫ、ＣＭＫ、ＨＳＶ、ＨＬＳ等のさまざまな表色系における画素値に基づいて補正係数が算出等されてもよい。たとえば、原画像から生成される輝度画像および彩度画像のうち一方または両方が平滑化されてもよい。各画素ｐijの輝度ＹijはたとえばそのＲＧＢ値（Ｒij，Ｇij，Ｂij）に基づき、関係式（１）にしたがって算出される。各画素ｐijの彩度ＳijはたとえばそのＲＧＢ値の最大値Ｍａｘijおよび最小値Ｍｉｎijに基づき、関係式（２）にしたがって算出される。
【００１８】
Ｙij＝αＲij＋βＧij＋γＢij  ‥（１）
【００１９】
Ｓij＝（Ｍａｘij−Ｍｉｎij）／Ｍａｘij  ‥（２）
【００２０】
また、第１処理部１１は基準領域Ｓを構成する各画素ｐijの原画像における画素値および平滑化画像における画素値の偏差εijを算出する（図３／Ｓ００８）。たとえば、図４（ａ）および（ｂ）に太枠で囲まれているように画像下部において車両１の前方道路を包含し、原画像において底辺の上側に頂角を示す頂点が位置する二等辺三角形状の画像領域が基準領域Ｓとして設定されている。なお、基準領域Ｓが車両１の前方道路を包含していれば、その形状は三角形状のほか円形状、楕円形状、矩形状等、さまざまな形状であってもよい。
【００２１】
さらに、第１処理部１１は各画素ｐijについて偏差εijが指定値以下であるか否かを判定する（図３／Ｓ０１０）。第１処理部１１は偏差εijの大きさが指定値以下であると判定した場合（図３／Ｓ０１０‥ＹＥＳ）、該当画素ｐijを平均値算出の対象に含ませる（図３／Ｓ０１２）。一方、第１処理部１１は偏差εijが指定値を超えていると判定した場合（図３／Ｓ０１０‥ＮＯ）、該当画素ｐijを平均値算出対象から除外する（図３／Ｓ０１４）。
【００２２】
その上で第１処理部１１は原画像における対象画素のＲＧＢ値（画素値）の平均値（Ｒ^，Ｇ^，Ｂ^）を算出する（図３／Ｓ０１６）。具体的には、各画素ｐijのＲＧＢ値（Ｒij，Ｇij，Ｂij）および対象画素数Ｎに基づき、関係式（３）にしたがって当該平均値（Ｒ^，Ｇ^，Ｂ^）が算出される。「Σ」は対象画素についての和を表わしている。
【００２３】
Ｒ^＝ΣＲij／Ｎ，Ｇ^＝ΣＧij／Ｎ，Ｂ^＝ΣＢij／Ｎ  ‥（３）
【００２４】
さらに、第１処理部１１は平均値（Ｒ^，Ｇ^，Ｂ^）が道路の標準的な色、すなわち、標準的な光照射状態における道路の色を表わすＲＧＢ値（Ｒ0，Ｇ0，Ｂ0）に一致するように補正係数（ｃr，ｃg，ｃb）を算出する（図３／Ｓ０１８）。
【００２５】
そして、第１処理部１１は原画像を構成する各画素ｐijのＲＧＢ値に補正係数を乗じることにより、各画素ｐijが当該乗算結果としてのＲＧＢ値（ｃr・Ｒij，ｃg・Ｇij，ｃb・Ｂij）を有する色補正画像を生成する（図３／Ｓ０２０）。これにより、たとえば図４（ｃ）に示されているような色補正画像が生成される。
【００２６】
続いて、第２処理部１２が第１処理部１１により生成された色補正画像から指定色を有する領域を抽出する（図３／Ｓ０２２）。具体的には、白色に相当するＲＧＢ値を有する白色画素により構成される白色領域と、黄色に相当するＲＧＢ値を有する黄色画素により構成される黄色領域とが抽出される。そして、実空間（図１参照）において所定のＸ座標範囲に存在し、Ｘ方向およびＺ方向について所定範囲内のサイズを有する等、外形または位置等に関する該当条件を満たす白色領域が白線（白色レーンマーク）として認識される、同様に外形および位置に関する該当条件を満たす黄色領域が黄線（黄色レーンマーク）として認識される。これにより、たとえば図４（ｃ）に示されているように車両１の前方左側において白色レーンマークの存在が認識され、かつ、前方右側において黄色レーンマークの存在が認識される。なお、白色および黄色のほか、青色または赤色等のさまざまな色が指定色として設定され、当該指定色を有する領域が抽出されてもよい。
【００２７】
さらに、この認識結果が車両環境認識装置１０から車両制御装置１００に出力される。これに応じて、車両制御装置１００により一対のレーンマークにより左右が画定される走行帯が決定され、かつ、車両１がこの走行帯からはみ出さないように必要に応じて操舵装置１１０および制動装置１２０のうち一方または両方の動作が制御される。
【００２８】
前記機能を発揮する車両環境認識装置１０によれば、原画像が平滑化されることにより、原画像において近接する画素間の不規則な画素値の変化の影響が軽減または排除される（図３／Ｓ００４）。このため、原画像における画素値と平滑化画像における画素値との偏差が指定値を超える程度に各画像における画素値が異なるような画素、すなわち、周囲と比較して著しく不規則な画素値を有する画素がノイズとして基準領域から除去される。たとえば、図４（ａ）に示されている原画像において道路にできた溝Ｎ１およびひび割れＮ２に該当する画素の画素値は、図４（ｂ）に示されている平滑化画像において著しく異なるので、補正係数算出に際して考慮されない（図３／Ｓ０１４参照）。
【００２９】
色付きの原画像において車両１の前方道路に相当する基準領域Ｓを構成する画素のＲＧＢ値の平均値を当該基準領域Ｓの実空間における標準的な色、すなわち、道路の標準的な色を表わすＲＧＢ値に一致させるような補正係数が算出される（関係式（４）、図３／Ｓ０１８参照）。この補正係数は、基準領域Ｓの実空間における標準的な色、すなわち、標準的な光照射状態における色から、基準領域Ｓの原画像における色がさまざまな光照射状態に応じてどの程度相違しているかを表わす指標となる。したがって、補正係数が原画像を構成する各画素の画素値に乗じられることにより、標準的な光照射状態においてカメラＣにより撮像された原画像の色を現出させた色補正画像が生成されうる。そして、色補正画像から指定色を有する領域が抽出されることにより、標準的な光照射状態において指定色またはこれに近い色を有する領域が高精度で抽出されうる。このように車両１の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。特に、ノイズ除去後の基準領域を対象として前記のように補正係数が算出され、かつ、原画像が補正係数に基づいて補正されて色補正画像が生成されることにより、車両の周囲における光照射状態の相違の影響を軽減または解消して、色認識精度の向上を図ることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の車両環境認識装置の構成説明図
【図２】本発明の車両環境認識装置の構成説明図
【図３】レーンマーク認識処理の手順を表わすフローチャート
【図４】原画像、平滑化画像および色補正画像に関する説明図
【符号の説明】
【００３１】
１‥車両、１０‥車両環境認識装置、１１‥第１処理部、１２‥第２処理部、Ｃ‥カメラ（撮像装置）
【図１】
2010044445.tif 000003
【図２】
2010044445.tif 000004
【図３】
2010044445.tif 000005
【図４】
2010044445.tif 000006
【手続補正書】
【提出日】平成21年2月16日(2009.2.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
【図１】本発明の車両環境認識装置が搭載されている車両の構成説明図
【図２】本発明の車両環境認識装置の構成説明図
【図３】レーンマーク認識処理の手順を表わすフローチャート
【図４】原画像、平滑化画像および色補正画像に関する説明図
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2010044445.tif 000007
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2010044445.tif 000008