(57)【要約】【課題】  カメラ画像による情報分析の信頼性を向上させる。【解決手段】  自車前方を撮像する撮像手段３により撮像された画像の中で、前方車両または道路白線または標識を含む注目領域とそれ以外の非注目領域とを設定し、撮像手段３により撮像された画像の中の注目領域と非注目領域における輝度情報を検出する。そして、注目領域と非注目領域の輝度情報に基づいて画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定する。【選択図】  図１ 
2005135308.tif 000002
【特許請求の範囲】
【請求項１】
自車前方を撮像する撮像手段と、
前記撮像手段により撮像された画像の中で、前方車両または道路白線または標識を含む領域（以下、注目領域という）とそれ以外の領域（以下、非注目領域という）とを設定する領域設定手段と、
前記撮像手段により撮像された画像の中の前記注目領域と前記非注目領域における輝度情報を検出する輝度情報検出手段と、
前記輝度情報検出手段により検出された前記注目領域と前記非注目領域の輝度情報に基づいて、画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定する画像処理判定手段とを備えることを特徴とする車両用画像処理装置。
【請求項２】
自車前方の障害物を検出する障害物検出手段と、
自車前方を撮像する撮像手段と、
前記撮像手段により撮像された画像の中で、前記障害物検出手段により障害物が検出された領域（以下、注目領域という）とそれ以外の領域（以下、非注目領域という）とを設定する領域設定手段と、
前記撮像手段により撮像された画像の中の前記注目領域と前記非注目領域における輝度情報を検出する輝度情報検出手段と、
前記輝度情報検出手段により検出された前記注目領域と前記非注目領域の輝度情報に基づいて、画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定する画像処理判定手段とを備えることを特徴とする車両用画像処理装置。
【請求項３】
請求項１または請求項２に記載の車両用画像処理装置において、
前記輝度情報検出手段は、前記撮像手段により撮像された画像の中の前記注目領域と前記非注目領域における輝度値の分散とその履歴のバラツキとを検出し、
前記画像処理判定手段は、前記注目領域と前記非注目領域における輝度値の分散とその履歴のバラツキとを比較して画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定することを特徴とする車両用画像処理装置。
【請求項４】
請求項３に記載の車両用画像処理装置において、
前記画像処理判定手段は、画像処理が困難な部分が画像中の局所的な部分か画像全体かに基づいて、画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定することを特徴とする車両用画像処理装置。
【請求項５】
請求項４に記載の車両用画像処理装置において、
前記領域設定手段は、前記画像処理判定手段により画像処理が困難な部分が画像中の局所的な部分であるとされた場合には前記注目領域を画像中の上方へ移動させ、
前記輝度情報検出手段は、前記撮像手段により撮像された画像の中の新しい前記注目領域と前記非注目領域の輝度値の分散とその履歴のバラツキとを検出し、
前記画像処理判定手段は、前記輝度情報検出手段により検出された新しい前記注目領域と前記非注目領域の輝度値の分散とその履歴のバラツキとに基づいて、画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定することを特徴とする車両用画像処理装置。
【請求項６】
請求項４または請求項５に記載の車両用画像処理装置において、
前記画像処理判定手段は、前記注目領域における輝度値の分散が所定値より小さく、かつ、前記非注目領域における輝度値の分散が所定値より大きいか、または、前記非注目領域における輝度値の分散の履歴のバラツキが所定値より大きい場合には、画像処理が困難な部分が画像中の局所的な部分であるとし、画像処理による自車前方の状況分析が可能な走行環境にあると判定することを特徴とする車両用画像処理装置。
【請求項７】
請求項４または請求項５に記載の車両用画像処理装置において、
前記画像処理判定手段は、前記注目領域における輝度値の分散が所定値より小さいか、または、前記注目領域における輝度値の分散の履歴のバラツキが所定値より大きく、かつ、前記非注目領域における輝度値の分散が所定値より小さい場合には、画像処理が困難な部分が画像全体であるとし、画像処理による自車前方の状況分析が困難な走行環境にあると判定することを特徴とする車両用画像処理装置。
【請求項８】
請求項４または請求項５に記載の車両用画像処理装置において、
前記画像処理判定手段は、前記注目領域における輝度値の分散の履歴のバラツキが所定値より大きく、かつ、前記非注目領域における輝度値の分散が所定値より大きい場合には、画像処理が困難な部分が画像中の局所的な部分であるとし、画像処理による自車前方の状況分析が可能な走行環境にあると判定することを特徴とする車両用画像処理装置。
【請求項９】
請求項４または請求項５に記載の車両用画像処理装置において、
前記画像処理判定手段は、前記注目領域と前記非注目領域における輝度値の分散の履歴のバラツキが所定値より大きい場合には、画像処理が困難な部分が画像全体であるとし、画像処理による自車前方の状況分析が困難な走行環境にあると判定することを特徴とする車両用画像処理装置。
【請求項１０】
撮像手段により撮像した車両周囲の撮像画像を領域設定手段により特定の情報を含む注目領域とそれ以外の非注目領域とに分割し、輝度情報検出手段により前記各領域の輝度情報を検出するとともに、画像処理判定手段により前記輝度情報に基づいて前記注目領域と前記非注目領域の画像処理による分析の困難度を判定することを特徴とする車両用画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより撮像した画像を処理して前方車両や道路白線を認識する車両用画像処理装置に関する。
【背景技術】
【０００２】
路側のインフラ構造物にカメラとミリ波レーダーとを設置し、カメラの画像処理により路側の標識を認識できるが車両を認識できない場合には降雪などの走行環境にあると判断し、ミリ波レーダーを使って車両を検知するようにした車両検出装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００１−０８４４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、自動車にカメラを搭載した場合には、路側のインフラ構造物に設置したカメラの画像とは異なり、路側標識の位置が不定であるため車載カメラの画像処理により標識を検知することは容易ではなく、標識を検知できない場合や標識がない地域を走行する場合には、走行環境の判断が困難になるという問題がある。
【課題を解決するための手段】
【０００５】
本発明は、自車前方を撮像する撮像手段により撮像された画像の中で、前方車両または道路白線または標識を含む領域（注目領域）とそれ以外の領域（非注目領域）とを設定し、撮像手段により撮像された画像の中の注目領域と非注目領域における輝度情報を検出する。そして、注目領域と非注目領域の輝度情報に基づいて画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定する。
また、本発明は、自車前方を撮像する撮像手段により撮像された画像の中で、自車前方の障害物を検出する障害物検出手段により障害物が検出された領域（注目領域）とそれ以外の領域（非注目領域）とを設定し、撮像手段により撮像された画像の中の注目領域と非注目領域における輝度情報を検出する。そして、注目領域と非注目領域の輝度情報に基づいて画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定する。
さらに、本発明は、撮像手段により撮像した車両周囲の撮像画像を領域設定手段により特定の情報を含む注目領域とそれ以外の非注目領域とに分割し、輝度情報検出手段により前記各領域の輝度情報を検出するとともに、画像処理判定手段により前記輝度情報に基づいて前記注目領域と前記非注目領域の画像処理による分析の困難度を判定する。
【発明の効果】
【０００６】
本発明によれば、カメラ画像を処理して自車前方の状況分析を行うことが困難な走行環境にあるかどうか正確に判定でき、カメラ画像による情報分析の信頼性を向上させることができる。
【発明を実施するための最良の形態】
【０００７】
図１に一実施の形態の構成を示す。レーザーレーダー１はスキャンニング式のレーザーレーダーであり、車両前部に設置されて車両前方の所定範囲をレーザー光で走査する。レーダー処理装置２は、レーザーレーダー１で走査した結果から前方車両を含む物体を抽出する。このレーダー処理装置２では、各物体に対して自車両を原点とする二次元（車間距離方向と車幅方向）座標値の算出と物体の幅（大きさ）の算出とを行う。
【０００８】
カメラ３はプログレッシブスキャン式３ＣＣＤカメラであり、車室内のフロントウインドウ上部中央に設置されて自車前方の状況を高速に撮像する。画像処理装置４は、カメラ３により撮像した画像の中のレーダー処理装置２で捕捉した物体の座標付近を注目領域として画像処理し、自車両のピッチング変動などによりレーダー１で検知物体を見失った場合にもカメラ画像により物体を検知し続ける。
【０００９】
外界認識装置５は外界の状況を認識する。外界認識装置５にはレーダー処理装置２と画像処理装置４の他に、従動車輪の回転により車速を検出する車速検出装置６と操舵角を検出する操舵角検出装置７が接続され、レーダー処理装置２で検知した各物体位置と画像処理装置４で追跡している物体位置とを選択して自車両にとって障害物であるか否かを正確に判断し、判断結果を自動ブレーキ制御装置８へ出力する。自動ブレーキ制御装置８は負圧ブレーキブースター９に駆動信号を出力し、前後輪に制動力を発生させる。
【００１０】
レーダー処理装置２、画像処理装置４、外界認識装置５、自動ブレーキ制御装置８はそれぞれマイクロコンピューターと各種アクチュエーターの駆動回路を備え、互いに通信回路を介して情報の授受を行う。
【００１１】
図２は、外界認識装置５で実行されるカメラ画像処理による障害物の検知性能低下判定プログラムを示すフローチャートである。このフローチャートにより、一実施の形態の動作を説明する。外界認識装置５はこのカメラ検知性能低下判定プログラムを所定時間間隔、例えば５０msecごとに実行する。
【００１２】
ステップ２０１において、レーザーレーダー１とレーダー処理装置２により検知した物体の位置を（rPx_z0[i]，rPy_z0[i]）として読み込む。ここで、添え字ｘは横方向（車幅方向）の物体位置であって、添え字ｙは縦方向（車間距離方向）の物体位置である。また、ｉは各検知物体のＩＤ番号を示す０以上の整数であり、z0は今回の値を示し、z1は１サンプリング周期（１００msec）前の値を示す。ステップ２０２では、カメラ３から今回のサンプリング時の撮像結果の画像を読み込む。
【００１３】
ステップ２０３では、ステップ２０１で検知した物体の中から最も注目する物体を１つ選択する。具体的な方法としては、各検知物体の横位置の絶対値が所定値より小さい、すなわち自車両正面に近い物体を複数個選択し、その中で最も縦位置が小さい、すなわち最も自車両に接近している物体を選択する。そして、その物体のＩＤ番号をslctとする。横位置の条件を満足する物体が存在しない場合にはslct＝−１とする。なお、最も注目する物体は自車前方の車両の他に、道路標識であってもよい。
【００１４】
続くステップ２０４では、自車両正面に近く、かつ最も自車両に接近している物体が存在したか否かを確認する。ＩＤ番号slctが負で最も注目する物体が存在しない場合はステップ２２４へ進み、ＩＤ番号slctが正で最も注目する物体が存在する場合はステップ２０５へ進む。
【００１５】
自車両正面に近く、かつ最も自車両に接近している物体、つまり前方車両や道路標識などの最も注目する物体が存在する場合には、ステップ２０５で次式により注目物体の位置をカメラ画像内の領域に座標変換し、この領域を注目領域とする。
disp_obj_YA＝y0＋（focusV・CAM_h2／rPy_z0[slct]），
disp_obj_YB＝y0＋（focusV・CAM_h／rPy_z0[slct]），
disp_obj_XL＝x0＋（focusH／rPy_z0[slct]・rPx_z0[slct]）
−（focusH・width／rPy_z0[slct]），
disp_obj_XR＝x0＋（focusH／rPy_z0[slct]・rPx_z0[slct]）
＋（focusH・width／rPy_z0[slct]）    ・・・（１）
（１）式において、disp_obj_**は画像処理を行う矩形領域の端っこの座標値であって、disp_obj_YAは矩形の上側、disp_obj_YBは矩形の下側、disp_obj_XLは矩形の左側、disp_obj_XRは矩形の右側の画像座標を表している。また、y0は消失点の縦座標[pix；画素数]を表し、x0は消失点の横座標[pix]を表す。これらの座標x0、y0はカメラ３の取り付け位置と向きで決まるパラメーターである。focusVは画素換算したカメラ３の鉛直方向の焦点距離[pix]であり、focusHは画素換算したカメラ３の水平方向の焦点距離[pix]である。focusVとfocusHはカメラ３の画角と受光素子の解像度で決まるパラメーターであり、受光面が正方格子である場合にはfocusV＝focusHである。CAM_hはカメラ３の取り付け高さ（単位はメートル）であり、CAM_h2はCAM_hから障害物候補として考慮すべき物体の高さobj_H（単位はメートル）を減算した値である。
【００１６】
widthは次式により求めることができる。
width＝focusH／rPy_z0[slct]・｛（Rw[slct]＋Rx_vari＋Rw_vari）／２｝・・・（２）
（２）式において、Rw[i]はレーザーレーダー１で検知した物体群におけるＩＤ番号ｉの物体の幅であって、Rx_variはレーザーレーダー１の横位置に関する検知精度（標準偏差[ｍ]）であり、Rw_variはレーザーレーダー１の幅に関する検知精度（標準偏差[ｍ]）である。
【００１７】
なお、この一実施の形態ではスキャンニング式のレーザーレーダー１を用いたため、検知物体の幅を得ることができるが、悪天候に強いミリ波レーダーや非常に安価なマルチビーム式のレーザーレーダーの場合には、検知物体の幅を得ることができない。この場合は、レーダーの横方向位置の検知精度（標準偏差[ｍ]）と障害物として考慮すべき物体の最大幅との和で決まる幅[ｍ]の半分の値を画素換算し、その値[pix]を（２）式の代わりに用いればよい。
【００１８】
ステップ２０６では次式により非注目領域を画面上に定義する。
negligible_area_YA＝func_bigger（disp_obj_YB，y_upper_bottom），
negligible_area_YB＝y_lower_bottom，
negligible_area_XL＝x_left_hand，
negligible_area_XR＝x_right_hand        ・・・（３）
（３）式において、func_bigger（a1，a2）はａ１とａ２を比較して大きい方の値を選択する関数である。このため、所定値y_upper_bottomよりdisp_obj_YBの方が画面下側（＝大きい値）に位置する場合はnegligible_aera_YA＝disp_obj_YBとなる。また、y_lower_bottomとは画面上に写る道路領域（自車両のボンネットが写らない領域）の中で最も下に位置する鉛直座標値のことである。さらに、x_left_handとx_right_handは自車線幅の間隔よりも狭い所定の間隔を有する水平座標値である。これは白線を含まないように設定する。つまり、路面の模様は一様という前提が白線を含むと成立しないため、非注目領域内に白線が含まれると後述の輝度値の分散が正しく機能しない。
【００１９】
ステップ２０７では、ステップ２０５で設定した注目領域について、輝度値の分散を算出する。この一実施の形態では分かり易さの観点から標準偏差として算出する。
notable_bright_V_z0＝√｛（region〔X_left，Y_top〕−ａ）２
＋（region〔X_left＋１，Y_top〕−ａ）２
＋  ・・・
＋（region〔X_right，Y_btm〕−ａ）２｝／TotalPix
ａ＝（region〔X_left，Y_top〕
＋region〔X_left＋１，Y_top〕
＋  ・・・
＋region〔X_right，Y_btm〕）／TotalPix    ・・・（４）
（４）式において、region〔Ｘ，Ｙ〕はステップ２０５で求めた注目領域を指しており、ＸとＹはその領域内の座標値を表す。つまり、注目領域における輝度値の分散を算出する場合では、X_left＝disp_obj_XL、Y_top＝disp_obj_YA、X_right＝disp_obj_XR、Y_btm＝disp_obj_YBとなって、領域内部の左上から右下までの輝度の平均ａを求めて標準偏差notable_brigh_V_z0を算出する。また、TotalPixは演算する領域の全画素数（面積）である。さらに、_z0は今回のサンプリング周期における輝度値の分散であることを表し、_znはｎサンプリング過去の周期における輝度値の分散を表す。
【００２０】
ステップ２０８では、ステップ２０６で設定した非注目領域においてステップ２０７と同様に輝度値の分散を求め、これをnegligble_bright_V_z0とする。
【００２１】
次に、ステップ２０９で、ステップ２０７で求めた注目領域における輝度値の分散の履歴から時間的なバラツキを算出する。
notable_bright_VV＝√｛（notable_bright_V_z0−av）２
＋（notable_bright_V_z1−av）２
＋  ・・・
＋（notable_bright_V_zTC−av）２｝／（TC＋１）
av＝（notable_bright_V_z0
＋notable_bright_V_z1
＋  ・・・
＋notable_bright_V_zTC）／（TC＋１）    ・・・（５）
（５）式において、ＴＣとは所定の整数であって、考慮したい過去の履歴の時間をサンプリング周期で除算することにより求まる。
【００２２】
ステップ２１０では、ステップ２０８で求めた非注目領域における輝度値の分散の履歴から時間的なバラツキを算出し、これをnegligible_bright_VVとする。
【００２３】
ステップ２１１において、ステップ２０７からステップ２１０で求めた各領域の輝度値の分散とその履歴の時間的なバラツキを比較し、次の条件１と条件２のどちらかを満足すればステップ２１２へ進み、そうでなければステップ２１３へ進む。
条件１；notable_bright_V_z0＜Th_ntb_v1  かつ  negligible_bright_V_z0＞Th_ngl_v1
条件２；notable_bright_V_z0＜Th_ntb_v1  かつ  negligible_bright_VV＞Th_ngl_vv
・・・（６）
（６）式において、Th_ntb_v1は注目領域の輝度値の分散が小さいことを判定するためのしきい値であり、Th_ngl_v1は非注目領域の輝度値の分散が大きいことを判定するためのしきい値である。さらに、Th_ngl_vvは非注目領域の輝度値の分散の履歴のバラツキが多い、すなわち輝度値の分散の履歴が不安定であることを判定するためのしきい値である。
【００２４】
ステップ２１２では、今回のサンプリングにおける画像処理の困難さの度合いdiagnosis_state_z0に３を設定する。また、画像処理の困難さの状態camera_state1_z0からcamera_state4_z0を平滑する。
diagnosis_state_z0＝３
camera_state1_z0＝fg1 camera_state_z1＋０
camera_state2_z0＝fg2 camera_state_z2＋０
camera_state3_z0＝fg3 camera_state_z3＋（１−fg3）
camera_state4_z0＝fg4 camera_state_z4＋０    ・・・（７）
（７）式において、fg1〜fg4は各困難さに関する忘却係数を意味する１未満の正数である。
【００２５】
つまり、注目領域における輝度値の分散が所定値より小さく、かつ、非注目領域における輝度値の分散が所定値より大きい（条件１）と、注目領域における輝度値の分散が所定値より小さく、かつ、非注目領域における輝度値の分散の履歴のバラツキが所定値より大きく不安定な（条件２）のいずれかが成立したときはステップ２１１からステップ２１２へ進み、今回のサンプリングにおける画像処理の困難さの度合いdiagnosis_state_z0に画像処理困難な状態３を設定する。詳細を後述するが、この場合にはカメラ画像処理による自車前方の状況分析の性能低下原因が画像中の局所的な部分、すなわち注目領域にあると判定する。これにより、カメラ画像処理が困難な原因を正しく把握することができる。
【００２６】
ステップ２１３では、ステップ２０７からステップ２１０で求めた各領域の輝度値の分散とその履歴の時間的なバラツキを比較し、次の条件３と条件４のどちらかを満足すればステップ２１４へ進み、そうでなければステップ２１５へ進む。
条件３；notable_bright_V_z0＜Th_ntb_v1  かつ  negligible_bright_V_z0＜Th_ngl_v2
条件４；notable_bright_VV＞Th_ntb_vv  かつ  negligible_bright_V_z0＜Th_ngl_v2
・・・（８）
（８）式において、Th_ngl_v2は非注目領域の輝度値の分散が小さいことを判定するためのしきい値であり、Th_ntb_vvは注目領域の輝度値の分散の履歴のバラツキが多い、すなわち輝度値の分散の履歴が不安定なことを判定するためのしきい値である。
【００２７】
ステップ２１４では、今回のサンプリングにおける画像処理自体の困難さの度合いdiagnosis_state_z0に１を設定する。また、画像処理の困難さの状態camera_state1_z0からcamera_state4_z0を平滑する。
diagnosis_state_z0＝１
camera_state1_z0＝fg1 camera_state1_z1＋（１−fg1）
camera_state2_z0＝fg2 camera_state2_z1＋０
camera_state3_z0＝fg3 camera_state3_z1＋０
camera_state4_z0＝fg4 camera_state4_z1＋０    ・・・（９）
【００２８】
つまり、注目領域における輝度値の分散が所定値より小さく、かつ、非注目領域における輝度値の分散が所定値より小さい（条件３）と、注目領域における輝度値の分散の履歴のバラツキが所定値より大きく不安定で、かつ、非注目領域における輝度値の分散が所定値より小さい（条件４）のいずれかが成立したときはステップ２１３からステップ２１４へ進み、今回のサンプリングにおける画像処理の困難さの度合いdiagnosis_state_z0に画像処理困難な状態１を設定する。詳細を後述するが、この場合にはカメラ画像処理による自車前方の状況分析の性能低下原因が画像全体、すなわち注目領域と非注目領域の両方にあると判定する。これにより、カメラ画像処理が困難な原因を正しく把握することができる。
【００２９】
ステップ２１５では、ステップ２０７からステップ２１０で求めた各領域の輝度値の分散とその履歴の時間的なバラツキを比較する。ここで、次の条件５を満足すればステップ２１６へ進み、そうでなければステップ２１７へ進む。
条件５；notable_bright_VV＞Th_ntb_vv  かつ  negligible_bright_V_z0＞Th_ngl_v1
・・・（１０）
【００３０】
ステップ２１６では、今回のサンプリングにおける画像処理自体の困難さの度合いdiagnosis_state_z0に２を設定する。また、画像処理の困難さの状態camera_state1_z0からcamera_state4_z0を平滑する。
diagnosis_state_z0＝２
camera_state1_z0＝fg1 camera_state1_z1＋０
camera_state2_z0＝fg2 camera_state2_z1＋（１−fg2）
camera_state3_z0＝fg3 camera_state3_z1＋０
camera_state4_z0＝fg4 camera_state4_z1＋０    ・・・（１１）
【００３１】
つまり、注目領域における輝度値の分散の履歴のバラツキが所定値より大きくが不安定で、かつ非注目領域における輝度値の分散が所定値より大きい（条件５）が成立したときはステップ２１５からステップ２１６へ進み、今回のサンプリングにおける画像処理の困難さの度合いdiagnosis_state_z0に画像処理困難な状態２を設定する。詳細を後述するが、この場合にはカメラ画像処理による自車前方の状況分析の性能低下原因が画像中の局所的な部分、すなわち注目領域にあると判定する。これにより、カメラ画像処理が困難な原因を正しく把握することができる。
【００３２】
ステップ２１７では、ステップ２０７からステップ２１０で求めた各領域の輝度値の分散とその履歴の時間的なバラツキを比較する。ここで、次の条件６を満たせばステップ２１８へ進み、そうでなければステップステップ２１９へ進む。
条件６；notable_bright_VV＞Th_ntb_vv  かつ  negligible_bright_VV＞Th_ngl_vv
・・・（１２）
【００３３】
ステップ２１８では、今回のサンプリングにおける画像処理自体の困難さの度合いdiagnosis_state_z0に４を設定する。また、画像処理の困難さの状態camera_state1_z0からcamera_state4_z0を平滑する。そして、ステップ２２０へ進む。
diagnosis_state_z0＝４
camera_state1_z0＝fg1 camera_state1_z1＋０
camera_state2_z0＝fg2 camera_state2_z1＋０
camera_state3_z0＝fg3 camera_state3_z1＋０
camera_state4_z0＝fg4 camera_state4_z1＋（１−fg4）    ・・・（１３）
【００３４】
つまり、注目領域における輝度値の分散の履歴が不安定で、かつ、非注目領域における輝度値の分散の履歴が不安定な（条件６）が成立したときはステップ２１７からステップ２１８へ進み、今回のサンプリングにおける画像処理の困難さの度合いdiagnosis_state_z0に画像処理困難な状態４を設定する。詳細を後述するが、この場合にはカメラ画像処理による自車前方の状況分析の性能低下原因が画像全体、すなわち注目領域と非注目領域の両方にあると判定する。これにより、カメラ画像処理が困難な原因を正しく把握することができる。
【００３５】
ステップ２１９では、今回のサンプリングにおける画像処理自体の困難さの度合いdiagnosis_state_z0に０を設定する。また、画像処理の困難さの状態camera_state1_z0からcamera_state4_z0を平滑する。そしてステップ２２０へ進む。
diagnosis_state_z0＝０
camera_state1_z0＝fg1 camera_state1_z1＋０
camera_state2_z0＝fg2 camera_state2_z1＋０
camera_state3_z0＝fg3 camera_state3_z1＋０
camera_state4_z0＝fg4 camera_state4_z1＋０    ・・・（１４）
【００３６】
ステップ２２０では、各画像処理の困難さの状態camera_state1_z0からcamera_state4_z0を比較して、所定値以上のものを選択する。ここで、選択された状態がcamera_state2_z0あるいはcamera_state3_z0の場合には、ステップ２２１へ進み、選択された状態がcamera_state1_z0あるいはcamera_state4_z0の場合にはステップ２２２へ進み、所定値以上となる画像処理の困難さの状態が一つも存在しない場合にはステップ２２３へ進む。
【００３７】
ステップ２２１では、カメラ画像処理による自車前方の状況分析の性能低下原因がカメラ画像中の局所的な部分、すなわち外界の前方車両や道路標識などの注目物体に対応する注目領域にあると判断する。注目領域に対応する外界の注目物体周辺では、例えば前方車両の後輪で巻上がる雪やスプラッシュなどがあり、これらの原因により画像処理による情報分析の性能が低下していると考えることができる。そこで、この一実施の形態では注目領域を画面の上方に移動して設定し直す。これにより前方車両の後輪で巻上がる雪やスプラッシュの映像を注目領域から除外することができ、注目領域における映像が安定して輝度値の分散も小さくなる。注目領域の再設定後、ステップ２２４へ進む。
【００３８】
ステップ２２２では、カメラ画像処理による自車前方の状況分析の性能低下原因が画像全体、すなわち外界全体にあると判断する。つまり、降雨や降雪により画像処理による情報分析の性能が低下していると考えることができる。そこで、この一実施の形態ではカメラ画像処理による自車前方の状況分析結果を用いず、レーザーレーダー１とレーダー処理装置２による自車前方の障害物検知結果を用いる。具体的には、後段のフュージョン処理系へ、カメラ３で検知する先行車位置情報よりもレーダー１で検知する位置情報の信頼性を向上、すなわちレーダー１を重視するように働きかける情報を送信する。その後、ステップ２２４へ進む。
【００３９】
一方、ステップ２２３では、カメラ画像処理が困難な状態ではなく、カメラ画像処理による自車前方の状況分析において性能低下はないと判断する。この場合は、後段のフュージョン処理系へ、カメラ３で検知する先行車の位置情報が信頼できることを知らせる信号を送信する。その後、ステップ２２４へ進む。
【００４０】
ステップ２２４では輝度値の分散やその履歴などの過去値を更新して終了する。
【００４１】
このように、カメラ画像を処理して自車前方の状況分析を行うことが困難な走行環境にあるかどうかを判断し、カメラ画像処理による情報分析が困難な場合には、その画像処理による情報分析の性能低下原因が撮像画像の局所的なものか全体的なものかを把握する。そして、性能低下原因が画像の局所的な部分にあると考えられる場合には、レーダー１で検知した先行車のトラッキングに関する注目領域を再設定する。これにより、カメラ画像処理による情報分析が困難な走行環境にある場合でも、そのような走行環境の影響を抑制してカメラ画像処理による情報分析を可能にすることができる。また、後段でレーダーによる検知位置とカメラ画像処理による検知位置とを統合する場合には、レーダーとカメラの信頼性に関する情報を提供することができる。
【００４２】
以上説明したように、一実施の形態によれば自車前方を撮像するカメラ３により撮像された画像の中で、自車前方の障害物を検出するレーダー１により障害物が検出された注目領域とそれ以外の非注目領域とを設定し、カメラ３により撮像された画像の中の注目領域と非注目領域における輝度情報を検出する。そして、注目領域と非注目領域の輝度情報に基づいて画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定するようにしたので、非注目領域の背景の輝度の濃淡と対比して注目領域の前方車両、道路標識、道路白線などの輝度の濃淡を把握することができ、カメラ画像を処理して自車前方の状況分析を行うことが困難な走行環境にあるかどうかを正確に判定できる。そして、カメラ画像による情報分析の信頼性を向上させることができる。
【００４３】
また、一実施の形態によればカメラ３により撮像された画像の中の注目領域と非注目領域における輝度値の分散とその履歴のバラツキとを検出し、注目領域と非注目領域における輝度値の分散とその履歴のバラツキとを比較して画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定するようにしたので、輝度値の分散とその履歴のバラツキの大きさから定量的にカメラ画像処理による自車前方の状況分析が困難な走行環境にあるかどうかを正確に判定できる。
【００４４】
さらに、一実施の形態によれば画像処理が困難な部分が画像中の局所的な部分か画像全体かに基づいて、画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定するようにしたので、画像処理が困難な原因を正しく把握することができる。
【００４５】
さらにまた、一実施の形態によれば画像処理が困難な部分が画像中の局所的な部分であるとされた場合に注目領域を画像中の上方へ移動させ、カメラ３により撮像された画像の中の新しい注目領域と非注目領域の輝度値の分散とその履歴のバラツキとを検出し、新しい前記注目領域と前記非注目領域の輝度値の分散とその履歴のバラツキとに基づいて画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定するようにしたので、例えば前方車両の後部からスプラッシュや雪の巻き上げが生じても、カメラ画像処理による自車先方の状況分析をあきらめずに、自車前方の障害物を検知できる可能性を高くすることができる。
【００４６】
上述した一実施の形態ではレーザーレーダー１を車両前部に設置し、カメラ３を車室内のフロントウインドウ上部中央に設置する例を示した。降雨や降雪などの悪い走行環境下でもフロントウインドウはワイパーにより払拭することができるので、カメラ３のレンズに水滴や雪が付着して撮像性能が低下する心配はないが、レーダー１は車両前部の車室外に設置されるため、水滴や雪、あるいはゴミが付着しやすく、したがって、レーダー１の方が走行環境に影響を受けやすい。一実施の形態によればカメラ画像による情報分析の信頼性が向上するので、レーダー１とカメラ３の車両用統合システムの信頼性をさらに向上させることができる。
【００４７】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ３が撮像手段を、外界認識装置５が領域設定手段、輝度情報検出手段および画像処理判定手段を、レーダー１が障害物検出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【００４８】
なお、上述した一実施の形態ではレーダー１とカメラ３の統合システムにおいて、そのカメラ画像処理の困難さを把握する方法を説明したが、カメラ単独のシステムの場合でもステップ２０５の注目領域の設定時に、レーダーの情報を用いずに画像処理でトラッキング中の物体の座標値を用いるなどの変更を行うだけでよい。なお、画像処理によるトラッキング対象には自車前方の車両、道路の白線、道路標識などがあり、カメラ画像をエッジ抽出処理などにより検出することができ、カメラ画像の中でこれらのものが含まれる領域を注目領域とする。これにより、上述した一実施の形態と同様な効果が得られる。
【図面の簡単な説明】
【００４９】
【図１】一実施の形態の構成を示す図である。
【図２】カメラの検知性能低下判定プログラムを示すフローチャートである。
【符号の説明】
【００５０】
１  レーザーレーダー
２  レーダー処理装置
３  カメラ
４  画像処理装置
５  外界認識装置
６  車速検出装置
７  操舵角検出装置
８  自動ブレーキ制御装置
９  負圧ブレーキブースター
【図１】
2005135308.tif 000003
【図２】
2005135308.tif 000004