(57)【要約】【課題】先行車両のブレーキ操作を外的環境の変化にもかかわらず確実に判定可能な先行車両のブレーキ操作判定装置、並びに、この装置を用いることにより制御精度に優れた車間距離制御装置を提供すること。【解決手段】撮像要素が出力する画像信号から先行車両に関する車両画像を抽出し（Ｓ１０）、レーダー情報に基づいてブレーキ操作中と判定したブレーキ操作時車両画像及びブレーキ操作中でないと判定した場合の非ブレーキ時車両画像とを抽出して記憶し、今回抽出した車両画像とこれら二種類の記憶画像とを比較し（Ｓ４０）、比較結果によりブレーキランプ点灯の有無を判定する（Ｓ４０、Ｓ４１）。【選択図】図４
2004130969.tif 000002
【特許請求の範囲】
【請求項１】
自車を基準とする先行車両の位置及び相対速度を検出する測距要素、
車両前方を撮像する撮像要素、
前記測距要素の出力に基づいて前記先行車両のブレーキ操作の有無を判定するブレーキ操作判定要素、及び、
前記撮像要素が出力する画像信号から前記先行車両に関する車両画像を抽出し、前記ブレーキ操作判定要素がブレーキ操作中と判定した場合の前記車両画像であるブレーキ操作時車両画像と、前記ブレーキ操作判定要素がブレーキ操作中でないと判定した場合の前記車両画像である非ブレーキ時車両画像とを保持し、抽出された前記車両画像を前記ブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることにより前記先行車両のブレーキランプ点灯の有無を判定するブレーキランプ点灯判定要素、
を備えることを特徴とする先行車両のブレーキ操作判定装置。
【請求項２】
請求項１記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記車両画像が前記非ブレーキ時車両画像よりも前記ブレーキ操作時車両画像に類似する場合にブレーキランプ点灯と判定することを特徴とする先行車両のブレーキ操作判定装置。
【請求項３】
請求項１又は２記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像を順次更新するとともに、最新の前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像と前記車両画像との比較によりブレーキランプ点灯の有無を判定することを特徴とする先行車両のブレーキ操作判定装置。
【請求項４】
請求項３記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像が所定の異常画像であると判定する場合に前記更新を行わないことを特徴とする先行車両のブレーキ操作判定装置。
【請求項５】
請求項１乃至４のいずれか記載の先行車両のブレーキ操作判定装置において、
前記ブレーキランプ点灯判定要素は、
前記車両画像が所定の異常画像であると判定する場合に前記先行車両のブレーキ操作の有無の判定を中断することを特徴とする先行車両のブレーキ操作判定装置。
【請求項６】
請求項１乃至５のいずれか記載の先行車両のブレーキ操作判定装置のブレーキ操作判定結果に基づいて自車を制御して車間距離の短縮を抑止する車間距離制御要素を有することを特徴とする車間距離制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、先行車両のブレーキ操作判定装置及びそれを用いた車間距離制御装置に関する。
【０００２】
【従来の技術】
従来より、レーダ装置等の測距センサを用いて、先行車との距離や相対速度に基づいて、車間距離を保持するように自動的に車速を制御するアダプティブクルーズコントロールシステム（ＡＣＣ）が既に実用化されている。
【０００３】
この従来のＡＣＣでは、先行車がブレーキ操作によって減速すると、それにより生じる自車と先行車との間の相対速度や相対加速度（減速Ｇ）から先行草の減速を検出して自車の減速制御を指令していた。
【０００４】
ただし、この制御では、先行車両の減速により先行車両との間の相対速度が実際に減少した後、この減少を認識して自車速度の減少を指令して車間距離を元の状態に回復するため、先行車両の減速から自車の減速までの間に時間遅延が生じてしまうという問題があった。
【０００５】
この遅延問題を改善するために、下記の特許文献１は、車両前方の撮像画像から先行車のブレーキランプの点灯を検出したら先行車両のブレーキ操作と判定して、ただちに自車の減速を指令することをにより、上記時間遅延を解消することを提案している。
【０００６】
【特許文献１】特開平９−２６７６８６号公報
【０００７】
しかしながら、上記した公報の時間遅延解消技術では、撮像した前方画像中から赤色領域の明度情報を抽出することによりブレーキランプの点灯を検出していたため、ナトリウムランプなどの照明光の影響やカメラの色再現性の影響によりブレーキランプの点灯の検出精度が低下するという問題や、ブレーキランプに類似する偽の赤色領域が前方撮像画像中に生じた場合に誤判定が生じる可能性があった。
【０００８】
このため、上記特許文献１のような色分離手法を用いることなく、ブレーキランプの点灯の検出を行う技術が、下記の特許文献２に提案されている。
【０００９】
【特許文献２】特開平１１ー３９５９７号公報
【００１０】
この特許文献２では、先行車両画像からそのテールランプ検出領域を設定し、このテールランプ検出領域の輝度変化あるいは面積変化に基づいて、ブレーキランプの点灯を検出している。
【００１１】
しかしながら、テールランプ検出領域の輝度（明度）増加又は面積増加によりテールランプの点灯を判断するので、太陽光等の影響によって車両後面全体又はその所定領域の反射光量が大きい場合、テールランプ検出領域の検出精度やその輝度又は面積増加の検出精度が低下するという問題があった。
【００１２】
【発明が解決しようとする課題】
すなわち、上記した各特許文献では、検出したブレーキランプ領域又はテールランプ領域の画像状態があらかじめ定められたしきい値状態を超えたかどうかにより、ブレーキランプの点灯の有無を判定していたので、判定精度に対する刻々変化する外的条件の変化の影響が大きいという問題があった。
【００１３】
本発明は上記問題を鑑みなされたものであり、先行車両のブレーキ操作を外的環境の変化にもかかわらず確実に判定可能な先行車両のブレーキ操作判定装置、並びに、この装置を用いることにより制御精度に優れた車間距離制御装置を提供することをその目的としている。
【００１４】
【課題を解決するための手段】
請求項１記載の先行車両のブレーキ操作判定装置は、自車を基準とする先行車両の位置及び相対速度を検出する測距要素、車両前方を撮像する撮像要素、前記測距要素の出力に基づいて前記先行車両のブレーキ操作の有無を判定するブレーキ操作判定要素、及び、前記撮像要素が出力する画像信号から前記先行車両に関する車両画像を抽出し、前記ブレーキ操作判定要素がブレーキ操作中と判定した場合の前記車両画像であるブレーキ操作時車両画像と、前記ブレーキ操作判定要素がブレーキ操作中でないと判定した場合の前記車両画像である非ブレーキ時車両画像とを保持し、前記車両画像抽出要素が抽出した前記車両画像を前記ブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることにより前記先行車両のブレーキランプ点灯の有無を判定するブレーキランプ点灯判定要素を備えることを特徴としている。
【００１５】
すなわち、この発明は、現在抽出した車両画像とあらかじめ保持する検出したブレーキ操作時車両画像と非ブレーキ時車両画像との比較により先行車両のブレーキ操作の有無を判定する。このようにすれば、外的環境の変化がブレーキ操作時車両画像にも非ブレーキ時車両画像にも作用するため、外的環境の変化、たとえば先行車両の後面に太陽光やナトリウムランプ光が強く照射されたりする場合などにおいても従来より精度よくブレーキランプの点灯を判別することができる。
【００１６】
なお、車両画像、ブレーキ操作時車両画像及び非ブレーキ時車両画像としては、後部から撮像した先行車両の全体領域としてもよく、そのブレーキランプ領域を含む一部画像領域としてもよい。
【００１７】
請求項１記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記車両画像が前記非ブレーキ時車両画像よりも前記ブレーキ操作時車両画像に類似する場合に前記先行車両のブレーキ操作と判定する。これにより、簡単な処理により確実にブレーキランプの点灯を判定することができる。
【００１８】
画像の類似の判定は、たとえばブレーキランプと見なす画像領域の形状の類似性を採用しても良く、その輝度（明度）の類似性を採用してもよい。ブレーキランプとみなす画像領域の抽出は、車両後面の所定位置、所定形状の画像領域をブレーキランプとみなすことができる他、ブレーキランプの点灯、消灯に相当する輝度変化や色度変化が生じた画像領域をブレーキランプに相当する画像領域と判定することができる。
【００１９】
請求項１又は２記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像を順次更新するとともに、最新の前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像と前記車両画像との比較により前記先行車両のブレーキ操作の有無を判定する。これにより、現在の車両画像に近似する直近のブレーキ操作時車両画像及び非ブレーキ時車両画像を現在の車両画像と比較することができるので、現在の車両画像に対する外的環境の影響を良好に軽減することができる。
【００２０】
請求項３記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記ブレーキ操作時車両画像及び前記非ブレーキ時車両画像が所定の異常画像であると判定する場合に前記更新を行わない。つまり、外的環境の異常により異常な車両画像が生じた場合にそれをブレーキ操作時車両画像又は非ブレーキ時車両画像として保持しない。これにりより、一時的に発生する外的環境の異常によるブレーキ操作時車両画像又は非ブレーキ時車両画像の保持を回避することができる。
【００２１】
なお、上記した異常画像としては、たとえば他車両などから先行車両の後面にヘッドライト光が突然入射した場合などの車両画像などがある。
【００２２】
請求項１乃至４のいずれか記載の先行車両のブレーキ操作判定装置の好適態様において、前記ブレーキランプ点灯判定要素は、前記車両画像が所定の異常画像であると判定する場合に前記先行車両のブレーキ操作の有無の判定を中断することを特徴としている。これにより、一時的な強力光が車両後面に照射された場合など撮像し、抽出した車両画像自体がブレーキランプの点灯の有無判別に効果的でない異常画像となった場合には、車両画像によるブレーキ操作判定を行わないので、その誤判定確率を低減して、判定精度を向上することができる。
【００２３】
請求項６記載の車間距離制御装置は、請求項１乃至５のいずれか記載の先行車両のブレーキ操作判定装置のブレーキ操作判定結果に基づいて自車を制御して車間距離の短縮を抑止する車間距離制御要素を有するので、先行車両の減速に確実かつレスポンス良く反応して車間距離を維持することができる。
【００２４】
【発明の実施の形態】
（実施例１）
本発明の先行車両のブレーキ操作判定装置を用いる車間距離制御装置の好適な実施態様を以下に説明する。この車間距離制御装置のブロック図を図１に示す。
【００２５】
この車間距離制御装置は、レーダ（測距要素）１０、カメラ（撮像要素）２０、ビデオ信号処理部（ブレーキ操作判定要素、ブレーキランプ点灯判定要素）２１、車間距離制御部（車間距離制御要素）３０を有しており、図２に示すように車両に装備されて車両前方状態を検出する。
【００２６】
レーダ１０は、所定波長の電磁波を前方に出力し、前方の障害物からの反射波に基づいて、自車の前端中央を原点（０、０）とした場合の障害物の座標位置（Ｘ、Ｚ）及び自車に対するその相対速度（Ｖｘ、Ｖｚ）を演算して、ビデオ信号処理部２１及び演算制御部３０に出力する。ここで、図３に示すように、Ｘは自身の左右方向の座標点、Ｚは自身の前後方向の座標点、Ｖｘは左右方向の相対速度、Ｖｚは前後方向の相対速度である。レーダ１０の機構、動作の詳細は本発明の要旨ではなく、かつ、既に公知技術として良く知られているので説明を省略する。
【００２７】
カメラ２０は、車両前方の映像を撮像し、得た二次元画像をビデオ信号処理部２１にフレーム順次出力するエリアイメージセンサからなる。カメラ２０はモノクロカメラとされるが、赤色フィルタを装備したモノクロカメラとしてもよい。
【００２８】
ビデオ信号処理部２１は、カメラ２０から出力された二次元画像信号から車両画像を抽出し、抽出した車両画像に基づいてブレーキランプの点灯の有無を判定する。また、ビデオ信号処理部２１は、レーダ１０から出力される障害物の相対速度に基づいて先行車両のブレーキ操作の有無を判定し、ブレーキ操作中と判定した場合の車両画像であるブレーキ操作時車両画像を保持し、ブレーキ操作中でないと判定した場合の車両画像である非ブレーキ時車両画像を保持し、車両画像をこれらブレーキ操作時車両画像及び非ブレーキ時車両画像と比べることによりブレーキランプの点灯の有無を判定する。
【００２９】
車間距離制御部３０は、レーダ１０から送られてきた障害物の位置（相対距離）、相対速度、ビデオ信号処理部２１から送られてきた車両画像の位置、大きさ、ブレーキランプ点灯の有無に基づいて、車間制御すべき対象物体を選択するとともに対象物体との距離、相対速度、ブレーキＯＮ／ＯＦＦ信号に基づいて、車間距離を一定に保つように、図示しないアクセル、ブレーキ、自動変速装置に指令を出し、車間制御を行う。特に、ブレーキランプ点灯を判定した場合には自車のブレーキ制御開始を早めることで，安心感の高い制御を可能とする。
【００３０】
ビデオ信号処理部２１の制御を図４に示すフローチャートを参照して説明する。
【００３１】
まず、Ｓｌ０にて、図６のように入力画像から先行車の画像（車両画像）を抽出する。先行車の画像の抽出は、エッジ検出やパターン認識を使って行うが、本発明の要旨ではないので詳細な詳細を省略する。次に、Ｓ２０にて、ブレーキ操作別（ＯＮ／ＯＦＦ）の画像を記憶する。この処理を図５に示すフローチャートを参照して説明する。
【００３２】
Ｓ２１にて、レーダ１０から、先行車画像に対応する障害物の位置（Ｘ、Ｚ）、相対速度（Ｖｘ、Ｖｚ）を受け取り、Ｓ２２にて、相対加速度Ｖｚと車間制御装置３０から得た自車速ＶＯに基づいて、先行車の加速度α０を算出する。ここで、加速度は、増速側を正、減速側を負とする。図３に障害物の位置を示す二次元座標系を示す。
【００３３】
更に詳しく説明すると、まず自車速ＶＯの時間変化から自車加速度α１を算出する。すなわち、α１＝ＶＯ／ｄｔである。次に、相対速度Ｖｚの時間変化から、相対加速度α２を算出する。すなわち、α２＝Ｖｚ／ｄｔである。次に、自車加速度α１と相対加速度α２とから先行車の加速度α０を算出する。すなわち、α０＝α１＋α２である。
【００３４】
次に、先行車の加速度α０から先行車の状態を判定する（Ｓ２３）。具体的に説明すると、加速度α０が正のとき（ここでは０．０１Ｇ以上とする）には先行車はブレーキ操作はしていないと判断し、Ｓ２５にて現在の車両画像をブレーキ非操作時車両画像として記憶する。これにより、図７に示すブレーキランプが消灯した画像が記憶される。また、先行車の大減速時（加速度α０が負で、絶対値大、ここでは、−０．３Ｇ以下とする）には先行車がブレーキ操作中と判定して現在の車両画像をブレーキ操作時車両画像として記憶する（Ｓ２４）。これにより、図８に示すように、ブレーキランプが点灯した画像が記憶される。これ以外の加速度α０に対しては、ブレーキ操作の有無が明確でないとして車両画像の更新を行わず、前回記憶したブレーキ操作時車両画像及びブレーキ非操作時車両画像をそのまま保持する。これにより、一旦、ブレーキ操作時画像、ブレーキ非操作時画像が記憶されると、それぞれの画像は、記憶されつづけることになる。ここで、新たにＳ２３の加速度
α０が正または大減速の条件を満たす時、それぞれの画像は更新される。
【００３５】
なお、Ｓ１０にて先行車の画像が抽出できない場合には、抽出できるまでＳ２０への進行を中断し、更にこの抽出できない状態が所定時間以上続く場合には、先行車は車両前方から除外されたとして上記記憶中のブレーキ操作時車両画像及びブレーキ非操作時車両画像をクリアする。更に、旧の先行車に代わって新しい先行車がでてきたと判定した場合にも、旧の先行車に対する前記記憶情報を破棄し、新しい先行車に対するブレーキ非操作時車両画像及びブレーキ操作時車両画像を記憶するものとする。
【００３６】
次に、Ｓ３０にて、現在の先行車の画像（車両画像）と前記記憶画像を比較して、ブレーキランプが点灯されたかどうかを判定する。具体的に説明すると、まず、現在の先行車の画像とブレーキ操作時車両画像（記憶画像１）及びブレーキ非操作時車両画像（記憶画像２）を相対的に拡縮させてサイズを一致させ、その後、先行車に相当する画像領域の各画素ごとに先行車画像と記憶画像の輝度差の絶対値を求め、それらの総和を算出する。先行車画像の座標（ｕ，ｖ）における輝度Ｉ０（ｕ，ｖ）（図９参照）、記憶画像１の座標（ｕ，ｖ）における輝度をＩ１（ｕ，ｖ）、記憶画像２の座標（ｕ，ｖ）における輝度をＩ２（ｕ，ｖ）とする。つまり、各記憶画像ごとの輝度差絶対値総和をＤＩＦ１、ＤＩＦ２とすると、
ＤＩＦ１＝Σ｜Ｉ０（ｕ，ｖ）−Ｉ１（ｕ，ｖ）｜
ＤＩＦ２＝Σ｜Ｉ０（ｕ，ｖ）−Ｉ２（ｕ，ｖ）｜
となる。ただし、｜Ｉ０（ｕ，ｖ）−Ｉ１（ｕ，ｖ）｜は、先行車画像と記憶画像１との画素間輝度差の絶対値であり、｜Ｉ０（ｕ，ｖ）−Ｉ２（ｕ，ｖ）｜は、先行車画像と記憶画像２との画素間輝度差の絶対値である。次に、ＤＩＦ１とＤＩＦ２とを比較し、ＤｌＦ１の方が小さければ先行車画像は記憶画像１に近いと判定してＳ４０ヘ、ＤＩＦ２の方が小さければ先行車画像は記憶画像２に近いと判定してＳ４１ヘ移行する。Ｓ４０ではブレーキランプ点灯と判定し、Ｓ４１ではブレーキランプ消灯と判定する。なお、記憶画像１もしくは２が記憶されていないときは、Ｓ４２に進んでブレーキランプの判定不可とする。
【００３７】
以上の処理は、カメラ２０からフレーム画像が入力されるたびになされる。これにより、ブレーキＯＮ時の記憶画像とブレーキＯＦＦ時の記憶画像とが保持されている先行車に対して、ブレーキランプの点灯、消灯の判定をブレーキランプの形状、大きさ、取り付け位置に依らず、高精度に行うことができる。
【００３８】
（変形態様）
記憶画像１、２としては、直前の複数回の記憶画像の平均値とすることができる。また、先行車画像と記憶画像１、２とをそれぞれ同一画像サイズとするために、カメラ２０のズーム処理を行っても良い。
【００３９】
また、現在の先行車までの距離、前記記憶画像１、２を検出したときの先行車までの距離をそれぞれ記憶しておき、これらの比率に応じて又は、上記現在の先行車画像を同じにするために、同―距離の画像を記憶するようにしてもよい。
【００４０】
更に、車両の後面全体ではなく、ブレーキランプを含む所定の画像領域を切り出して車両画像及び記憶画像としてもよい。
【００４１】
（実施例２）
この実施例では、車両画像（先行車画像）としてブレーキランプの画像領域を抽出し、その光学情報に基づいて点灯の有無を判定する。
【００４２】
ビデオ信号処理部２１の制御を図１０に示すフローチャートを参照して説明する。
【００４３】
Ｓ２０までは、実施例１と同じである。Ｓ２１’にてブレーキランプに相当する画像領域を今回抽出した先行車画像、各記憶画像１、２から抽出し、拡大縮小により各画像のサイズを一致させる。
【００４４】
次に、ブレーキランプに相当する画像領域の抽出は、たとえば、各画素ごとに記憶画像１、２との差分を演算する。記憶画像１、２が図７と図８に等しいとすれば、差分画像は図１１のようになる。差分画像を所定の閾値で二値化することにより、図１２に示すようにブレーキランプに相当する画像領域を得ることができる。このブレーキランプ相当画像領域において、記憶画像１と記憶画像２に対してそれぞれ平均輝度を算出し、それぞれブレーキランプ部平均輝度記憶値１、２として記憶する。
【００４５】
次に、Ｓ３０’にて、現在の先行車画像のブレーキランプが点灯中か否かを判定する。詳しく説明すると、記憶するブレーキランプ画像を拡縮して現在の先行車画像のそれと同じサイズにする。次に、現在の先行車画像のブレーキランプ画像の平均輝度を算出して、それをブレーキランプ部平均輝度記憶値１、２と比較し、それに基づいて実施例１と同様にブレーキランプ点灯の有無を判定する。
【００４６】
この実施例によれば、ブレーキランプ点灯、消灯の判定を、ブレーキランプ画像のみで行うため、車両全体の画像を使う場合に比べて、明るさ変化等の外乱に強くなる。また、この場合においても、ブレーキランプの形状、大きさ、取り付け位置に依らず、ブレーキランプ点灯の有無を良好に判定することができる。
（変形態様）
他の変形態様を以下に説明する。
【００４７】
ステップＳ１０において記憶すべき先行車画像（車両画像）があらかじめ記憶する所定形状又は所定平均輝度範囲に範囲にない場合、それを異常画像であると判定して、記憶画像の更新を行わない。これにより、外的環境の異常によるブレーキ操作時車両画像又は非ブレーキ時車両画像（ブレーキ非操作時車両画像）の記憶を回避することができ、一時的な異常車両画像によるブレーキ操作判定を回避することができる。
【図面の簡単な説明】
【図１】実施例１の車間距離制御装置のブロック図である。
【図２】図１の装置における車両前方状態検出状態を示す説明図である。
【図３】車両前方二次元空間の座標系を示す説明図である。
【図４】ビデオ信号処理部の制御を示すフローチャートである。
【図５】画像記憶処理を示すフローチャートである。
【図６】実施例１において抽出する先行車画像（車両画像）を示す図である。
【図７】ブレーキランプが消灯した画像を示す図である。
【図８】ブレーキランプが点灯した画像を示す図である。
【図９】先行車画像の所定座標位置の輝度状態を示す図である。
【図１０】実施例２のビデオ信号処理部の制御を示すフローチャートである。
【図１１】記憶画像１、２の差分画像を示す図である。
【図１２】差分画像の二値画像を示す図である。
【符号の説明】
１０　レーダ（測距要素）
２０　カメラ（撮像要素）
２１　車間距離制御部（車間距離制御要素）
３０　ビデオ信号処理部（ブレーキ操作判定要素、ブレーキランプ点灯判定要素）
【図１】
2004130969.tif 000003
【図２】
2004130969.tif 000004
【図３】
2004130969.tif 000005
【図４】
2004130969.tif 000006
【図５】
2004130969.tif 000007
【図６】
2004130969.tif 000008
【図７】
2004130969.tif 000009
【図８】
2004130969.tif 000010
【図９】
2004130969.tif 000011
【図１０】
2004130969.tif 000012
【図１１】
2004130969.tif 000013
【図１２】
2004130969.tif 000014