(57)【特許請求の範囲】
【請求項１】
自車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された画像中から特定の対象を検出する検出手段とを備える検出装置と、
前記検出手段により検出された前記特定の対象の情報に基づいて自車両に対する運転支援制御を行う運転支援装置と、
を備える運転支援システムにおいて、
前記検出手段による前記特定の対象の検出に用いられた有効なデータの数を計数する計数手段と、
前記撮像手段により撮像された画像に基づいて撮像環境が悪化しているか否かを判定し、前記撮像環境の悪化の程度を３段階に分けて評価する撮像環境判定手段と、
前記撮像環境判定手段により前記撮像環境の悪化の程度が最も悪い段階であると評価された場合、または、前記撮像環境の悪化の程度が中間の段階であると評価された場合であって且つ前記計数手段により計数される前記有効なデータの数が予め設定された閾値未満である場合に、前記運転支援装置による自車両に対する前記運転支援制御を一時停止する制御手段と、
を備え、
前記撮像環境判定手段は、前記撮像環境が悪化していると判定したフレームではカウント数を増加させ、前記撮像環境が悪化していると判定しなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数に第１閾値と前記第１閾値よりも大きな値に設定される第２閾値とを設け、前記カウンタのカウント数が前記第１閾値未満の場合に前記撮像環境の悪化の程度が最も改善されている段階であると評価し、前記カウンタのカウント数が前記第１閾値以上で前記第２閾値未満の場合に前記撮像環境の悪化の程度が中間の段階であると評価し、前記カウンタのカウント数が前記第２閾値以上の場合に前記撮像環境の悪化の程度が最も悪い段階であると評価し、
前記運転支援装置は、自車両に対する前記運転支援制御が一時停止された場合に、自車両のドライバに対して前記運転支援制御が停止されたことを報知し、
前記制御手段は、前記撮像環境判定手段により前記撮像環境の悪化の程度が最も改善されている段階であると評価された場合、または、前記撮像環境の悪化の程度が中間の段階であると評価された場合であって且つ前記計数手段により計数される前記有効なデータの数が予め設定された閾値以上である場合に、前記自車両に対する前記運転支援制御の一時停止を解除することを特徴とする運転支援システム。
【請求項２】
前記特定の対象は、先行車両であり、
前記運転支援装置は、前記検出手段により検出された前記先行車両の情報に基づいて自車両に対して前記先行車両に追従するように制御する先行車追従制御を行うことを特徴とする請求項１に記載の運転支援システム。
【請求項３】
前記有効なデータの数に関する前記閾値は、自車両から前記先行車両までの距離が長くなるほど小さな値になるように設定されることを特徴とする請求項２に記載の運転支援システム。
【請求項４】
前記特定の対象は、自車両の左右の車線であり、
前記運転支援装置は、前記検出手段により検出された前記車線の情報に基づいて自車両に対して前記車線に追従するように制御する車線追従制御を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の運転支援システム。
【請求項５】
前記撮像手段は、一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオカメラであり、
前記検出手段は、前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけて形成された距離画像に基づいて、前記撮像手段により撮像された画像中から特定の対象を検出し、
前記撮像環境判定手段は、前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する画素の数の所定の割合以上存在するフレームに対し、前記撮像環境が悪化していると判定することを特徴とする請求項１から請求項４のいずれか一項に記載の運転支援システム。
【請求項６】
前記撮像手段は、一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオカメラであり、
前記検出手段は、
前記基準画像または前記基準画像に所定の前処理が施されて形成された画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像または前記比較画像に前記所定の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第１視差をそれぞれ対応づけて第１距離画像を形成する第１ステレオマッチング手段と、
前記基準画像に前記前処理とは異なる別の前処理が施されて形成された画像を前記所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像に前記別の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第２視差をそれぞれ対応づけて第２距離画像を形成する第２ステレオマッチング手段と、を備え、
前記撮像環境判定手段は、前記第１距離画像および前記第２距離画像の対応する画素ブロックの前記第１視差および前記第２視差を比較して、それらの差の絶対値が所定の閾値以上である画素ブロックが所定個数以上存在するフレームに対し、前記撮像環境が悪化していると判定することを特徴とする請求項１から請求項５のいずれか一項に記載の運転支援システム。
【請求項７】
前記撮像手段は、一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオカメラであり、
前記検出手段は、前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけて形成された距離画像に基づいて、前記撮像手段により撮像された画像中から特定の対象を検出し、
前記撮像環境判定手段は、前記画像における中央上部に画像の水平方向に延在する長方形状の監視領域を設定して当該監視領域の輝度平均値を算出し、前記監視領域において画像の垂直方向の各画素対の輝度差を算出して所定値以上の輝度差を有する画素対の数をエッジ数として算出し、前記輝度平均値が所定の第１判定値よりも大きく、且つ、前記エッジ数が所定の第２判定値よりも小さいフレームに対し、前記撮像環境が悪化していると判定することを特徴とする請求項１から請求項６のいずれか一項に記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援システムに係り、特に、撮像環境が悪化している場合に運転支援制御の一時停止を行う運転支援システムに関する。
【背景技術】
【０００２】
近年、自車両に搭載したカメラ等の撮像手段により撮像された画像に対して画像処理を行い、自車両の前方を走行する先行車両を検出し、それに基づいて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール（Adaptive Cruise Control。以下ＡＣＣと略称する）制御を行うＡＣＣ装置が開発されている。また、撮像された画像の画像処理により、自車両の左右の車線を検出して、自車両を車線に追従して走行するように制御する車線追従制御機能を備えた車線追従制御装置が開発されている。なお、本発明では、追い越し禁止線等の道路中央線や車両通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線という。
【０００３】
ＡＣＣ装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルやブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ＡＣＣ装置で用いられる先行車両の情報は、先行車両を的確に検出できる状況において検出されたものであることが求められる。
【０００４】
また、車線追従制御装置では、自車両が左右の車線から逸脱せずに、車線に追従して走行するように、自車両のステアリング操作を自動的に行う制御が行われる。そのため、車線追従制御装置で用いられる車線の情報は、車線を的確に検出できる状況において検出されたものであることが求められる。
【０００５】
ところで、例えば図２４に示すような逆光の撮像環境下では、撮像手段により撮像された画像ＴO中に太陽Ｓｕの強い光によるフレア（flare。レンズフレア、ハレーション等とも言う。）Ｆｌや筋状のスミア（smear。白飛び等とも言う。）Ｓｍが発生する場合がある。このような撮像環境で撮像された画像ＴO等に対するステレオマッチング処理等の画像処理を行うと、周囲の画像領域よりも極端に明るいフレアＦｌやスミアＳｍの影響で、先行車両Ｖahや図示を省略する車線を検出できなくなる場合がある。
【０００６】
また、例えば図２５（Ａ）、（Ｂ）に例示されるステレオカメラで撮像された基準画像ＴOや比較画像ＴCのように、片方のカメラにだけ逆光が入射するなどして、一対の画像ＴO、ＴCの明るさのバランスが崩れた状態で撮像される場合がある。そして、このような撮像環境でも、同様に、先行車両Ｖahや図示を省略する車線を検出できなくなる場合がある。
【０００７】
そして、先行車両Ｖahが検出できなくなった（すなわちロストした）状態で例えばＡＣＣ装置を作動させ続けると、自車両が先行車両Ｖahに向かって接近して行って追突するなど、非常に危険な状況となる。また、車線が検出できなくなった状態で例えば車線追従制御を継続すると、自車両が勝手に車線を逸脱するなど、やはり危険な状況となる。
【０００８】
このような事態の発生を回避するため、特許文献１に記載の発明では、基準画像ＴOと比較画像ＴCとの位置的に対応する各画像領域の全体的な輝度（例えば輝度値の平均値等）を比較して、それらが大きく異なる場合にフェール判定を行うことが提案されている。これは、まさに図２５（Ａ）、（Ｂ）に示したように、基準画像ＴOと比較画像ＴCの明るさのバランスが崩れたような場合に対応するものである。
【０００９】
また、特許文献２に記載の発明では、カメラの露光量が大きい場合に、対象が数フレームの間安定して撮像されないような場合に、フレアＦｌやスミアＳｍ等の誤認識の可能性があるとして排除することが提案されている。また、撮像された画像の全画素の輝度値、或いは画像中に設定した監視領域内の各画素の輝度値を監視して、輝度値が飽和した状態或いはそれに近い状態になっている画素がある場合にスミアの発生を判定する装置が開発されている（例えば特許文献３〜６等参照）。
【特許文献１】特開２００２−３７４５２４号公報
【特許文献２】特開２００７−９６６８４号公報
【特許文献３】特開２０００−２０７５６３号公報
【特許文献４】特開２００１−２８７４５号公報
【特許文献５】特開２００１−４３３７７号公報
【特許文献６】特開２００２−２２４３９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、これらの特許文献に記載の発明では、フレアＦｌやスミアＳｍの影響や一対の画像の明るさのバランスが崩れるなどして撮像環境が悪化した場合には、画像認識性能が低下せずに先行車両Ｖahや車線を十分的確に検出できる状態であっても、先行車追従制御や車線追従制御等の運転支援制御が自動的に一時停止されてしまう。
【００１１】
しかし、撮像環境が悪化してもその悪化の程度が深刻な状況ではなく、しかも画像認識性能が低下せずに先行車両Ｖahや車線を十分的確に検出できているのであれば、その情報を有効に活用することが好ましく、画像認識性能が限界に達して先行車両Ｖahや車線を的確に検出できない状態になるまで運転支援制御を継続する方が好ましい。
【００１２】
本発明は、このような事情に鑑みてなされたものであり、撮像環境の悪化の程度に応じて画像認識性能が限界に達した時点で運転支援制御を的確に一時停止することが可能な運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記の問題を解決するために、第１の発明は、
自車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された画像中から特定の対象を検出する検出手段とを備える検出装置と、
前記検出手段により検出された前記特定の対象の情報に基づいて自車両に対する運転支援制御を行う運転支援装置と、
を備える運転支援システムにおいて、
前記検出手段による前記特定の対象の検出に用いられた有効なデータの数を計数する計数手段と、
前記撮像手段により撮像された画像に基づいて撮像環境が悪化しているか否かを判定し、前記撮像環境の悪化の程度を３段階に分けて評価する撮像環境判定手段と、
前記撮像環境判定手段により前記撮像環境の悪化の程度が最も悪い段階であると評価された場合、または、前記撮像環境の悪化の程度が中間の段階であると評価された場合であって且つ前記計数手段により計数される前記有効なデータの数が予め設定された閾値未満である場合に、前記運転支援装置による自車両に対する前記運転支援制御を一時停止する制御手段と、
を備え、
前記撮像環境判定手段は、前記撮像環境が悪化していると判定したフレームではカウント数を増加させ、前記撮像環境が悪化していると判定しなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数に第１閾値と前記第１閾値よりも大きな値に設定される第２閾値とを設け、前記カウンタのカウント数が前記第１閾値未満の場合に前記撮像環境の悪化の程度が最も改善されている段階であると評価し、前記カウンタのカウント数が前記第１閾値以上で前記第２閾値未満の場合に前記撮像環境の悪化の程度が中間の段階であると評価し、前記カウンタのカウント数が前記第２閾値以上の場合に前記撮像環境の悪化の程度が最も悪い段階であると評価し、
前記運転支援装置は、自車両に対する前記運転支援制御が一時停止された場合に、自車両のドライバに対して前記運転支援制御が停止されたことを報知し、
前記制御手段は、前記撮像環境判定手段により前記撮像環境の悪化の程度が最も改善されている段階であると評価された場合、または、前記撮像環境の悪化の程度が中間の段階であると評価された場合であって且つ前記計数手段により計数される前記有効なデータの数が予め設定された閾値以上である場合に、前記自車両に対する前記運転支援制御の一時停止を解除することを特徴とする。
【００１７】
第２の発明は、第１の発明の運転支援システムにおいて、
前記特定の対象は、先行車両であり、
前記運転支援装置は、前記検出手段により検出された前記先行車両の情報に基づいて自車両に対して前記先行車両に追従するように制御する先行車追従制御を行うことを特徴とする。
【００１８】
第３の発明は、第２の発明の運転支援システムにおいて、前記有効なデータの数に関する前記閾値は、自車両から前記先行車両までの距離が長くなるほど小さな値になるように設定されることを特徴とする。
【００１９】
第４の発明は、第１から第３のいずれかの発明の運転支援システムにおいて、
前記特定の対象は、自車両の左右の車線であり、
前記運転支援装置は、前記検出手段により検出された前記車線の情報に基づいて自車両に対して前記車線に追従するように制御する車線追従制御を行うことを特徴とする。
【００２０】
第５の発明は、第１から第４のいずれかの発明の運転支援システムにおいて、
前記撮像手段は、一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオカメラであり、
前記検出手段は、前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけて形成された距離画像に基づいて、前記撮像手段により撮像された画像中から特定の対象を検出し、
前記撮像環境判定手段は、前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する画素の数の所定の割合以上存在するフレームに対し、前記撮像環境が悪化していると判定することを特徴とする。
【００２１】
第６の発明は、第１から第５のいずれかの発明の運転支援システムにおいて、
前記撮像手段は、一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオカメラであり、
前記検出手段は、
前記基準画像または前記基準画像に所定の前処理が施されて形成された画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像または前記比較画像に前記所定の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第１視差をそれぞれ対応づけて第１距離画像を形成する第１ステレオマッチング手段と、
前記基準画像に前記前処理とは異なる別の前処理が施されて形成された画像を前記所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像に前記別の前処理が施されて形成された画像とのステレオマッチング処理を行い、前記各画素ブロックに算出した第２視差をそれぞれ対応づけて第２距離画像を形成する第２ステレオマッチング手段と、を備え、
前記撮像環境判定手段は、前記第１距離画像および前記第２距離画像の対応する画素ブロックの前記第１視差および前記第２視差を比較して、それらの差の絶対値が所定の閾値以上である画素ブロックが所定個数以上存在するフレームに対し、前記撮像環境が悪化していると判定することを特徴とする。
【００２２】
第７の発明は、第１から第６のいずれかの発明の運転支援システムにおいて、
前記撮像手段は、一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオカメラであり、
前記検出手段は、前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけて形成された距離画像に基づいて、前記撮像手段により撮像された画像中から特定の対象を検出し、
前記撮像環境判定手段は、前記画像における中央上部に画像の水平方向に延在する長方形状の監視領域を設定して当該監視領域の輝度平均値を算出し、前記監視領域において画像の垂直方向の各画素対の輝度差を算出して所定値以上の輝度差を有する画素対の数をエッジ数として算出し、前記輝度平均値が所定の第１判定値よりも大きく、且つ、前記エッジ数が所定の第２判定値よりも小さいフレームに対し、前記撮像環境が悪化していると判定することを特徴とする。
【発明の効果】
【００２３】
第１の発明によれば、検出装置の検出手段による特定の対象の検出に用いられた有効なデータの数と、撮像手段により撮像された画像に基づいて撮像環境が悪化しているか否かを判定して撮像環境の悪化の程度を３段階に分けて評価した段階の情報に基づいて、運転支援装置による自車両に対する運転支援制御を一時停止するように構成した。
【００２４】
そのため、撮像環境が明らかに悪化した場合に運転支援制御を即座に一時停止することが可能となるとともに、撮像環境が悪化してもその悪化の程度が深刻な状況ではなく、撮像環境の悪化の程度が上記の最も悪い段階と最も改善されている段階の中間の段階である状態では、特定の対象の検出に用いられた有効なデータの数を監視して、有効なデータの数が十分に得られている間は運転支援制御を一時停止せずに的確に継続し、画像認識性能が限界に達して有効なデータの数が十分に得られなくなった時点で運転支援制御を的確に一時停止させることが可能となる。
【００２５】
また第１の発明によれば、前記の効果に加え、自車両のドライバが例えば先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両に追突する等の事態が生じる可能性がある。そこで、運転支援装置の制御手段が自車両に対する運転支援制御を一時停止した場合に、ドライバに対して例えば音声を発声させたり画面上に表示させたりランプを点灯させるなどして運転支援制御が一時停止されたことをドライバに報知することで、ドライバの注意を喚起することが可能となり、上記のような事態の発生を回避することが可能となる。
【００２６】
また第１の発明によれば、前記の効果に加え、撮像環境が明らかに改善されている状況において運転支援制御の一時停止を即座に解除することが可能となるとともに、撮像環境が悪化していてもその悪化の程度が深刻な状況ではなく、撮像環境の悪化の程度が上記の最も悪い段階と最も改善されている段階の中間の段階である状態では、特定の対象の検出に用いられた有効なデータの数を監視して、有効なデータの数が十分に得られていない間は運転支援制御の一時停止を解除せずに的確に継続し、画像認識性能が回復して有効なデータの数が十分に得られるようになった時点で運転支援制御の一時停止を的確に解除することが可能となる。
【００２７】
また第１の発明によれば、撮像環境が悪化していると判定したフレームでカウント数を増加させ、撮像環境が悪化していると判定しなかったフレームではカウント数を減少させて、カウント数に応じて撮像環境の悪化の程度を段階的に評価することで、撮像環境の悪化の程度が最も改善されている段階、中間の段階、最も悪い段階の３段階に容易に評価分けすることが可能となる。
【００２８】
また、それとともに、撮像環境が悪化していると判定したフレームの頻度が高くなるとカウント数が増加していき、頻度が低くなるとカウント数が減少していくため、カウント数を用いることで、撮像環境の悪化の程度が悪化しているか改善されているかを的確に表現することが可能となり、撮像環境の悪化の程度を段階的に明確に評価分けすることが可能となる。そのため、前記の効果がより的確に発揮される。
【００２９】
第２の発明によれば、特定の対象が先行車両であり、運転支援装置により先行車両の情報に基づいて自車両に対して先行車両に追従するように制御する先行車追従制御が行われる運転支援システムにおいても、前記発明の効果が的確に発揮される。
【００３０】
第３の発明によれば、特定の対象が先行車両である場合には、自車両から先行車両までの距離が長くなるほど画像中に撮像される先行車両の大きさは小さくなっていき、先行車両に対応する画像領域の全データ数が少なくなる。そのため、それにあわせて自車両から先行車両までの距離が長くなるほど先行車両の検出に用いられた有効なデータの数の閾値が小さな値になるように設定することで、先行車両の検出において有効なデータ数が得られているか否かの判定を的確に行うことが可能となり、前記各発明の効果が的確に発揮される。
【００３１】
第４の発明によれば、特定の対象が自車両の左右の車線であり、運転支援装置により車線の情報に基づいて自車両に対して車線に追従するように制御する車線追従制御が行われる運転支援システムにおいても、前記各発明の効果が的確に発揮される。
【００３２】
第５の発明によれば、距離画像上で無限遠を含む遠方距離に相当する視差を与えるスミアが画像中に発生しているか否かを的確に把握することが可能となる。そのため、それに基づいて撮像環境が悪化しているか否かを的確に判定することが可能となり、前記各発明の効果が的確に発揮される。
【００３３】
第６の発明によれば、第１距離画像と第２距離画像の対応する画素ブロックの第１視差と第２視差を比較することで、それらの差の絶対値が所定の閾値以上である画素ブロックでミスマッチングが発生していることを的確に検出することが可能となる。そのため、ミスマッチングが多発しているか否かを的確に把握して、それに基づいて撮像環境が悪化しているか否かを的確に判定することが可能となり、前記各発明の効果が的確に発揮される。
【００３４】
第７の発明によれば、画像の中央上部に設けた監視領域における輝度平均値と画素対の数をエッジ数とを監視することで、霧や吹雪等による視界不良や、カメラのレンズや自車両のフロントガラスの曇りや汚れ等に起因する撮像環境の悪化を的確に検出することが可能となる。そのため、それらに起因して撮像環境が悪化しているか否かを的確に判定することが可能となり、前記各発明の効果が的確に発揮される。
【発明を実施するための最良の形態】
【００３５】
以下、本発明に係る運転支援システムの実施の形態について、図面を参照して説明する。
【００３６】
なお、以下では、特定の対象として撮像手段で撮像された画像中から先行車両を検出し、運転支援制御として自車両を検出された先行車両に追従するように制御する先行車追従制御を行う場合について説明する。
【００３７】
［全体構成］
本実施形態に係る運転支援システム１は、図１に示すように、検出装置２と、運転支援装置である先行車追従制御装置３と、報知装置４とで構成されている。
【００３８】
［検出装置］
本実施形態に係る検出装置２は、図２に示すように、撮像手段２１、変換手段２２、検出手段２９等で構成されている。また、検出装置２は、２系統の画像処理手段２５ａ、２５ｂを備えている。
【００３９】
なお、撮像手段２１や変換手段２２、画像補正部２３、画像データメモリ２４、第１、第２画像処理手段２５ａ、２５ｂの構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【００４０】
撮像手段２１は、本実施形態では、互いに同期が取られたＣＣＤ（Charge Coupled Device）イメージセンサがそれぞれ内蔵され例えばフロントガラスの車内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ２１ａおよびサブカメラ２１ｂからなるステレオカメラが用いられている。
【００４１】
メインカメラ２１ａおよびサブカメラ２１ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に自車両の周囲の環境を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２１ａは図３に例示される基準画像ＴOの画像データを出力し、運転者から遠い側に配置されたサブカメラ２１ｂは図示を省略する比較画像ＴCの画像データを出力するようになっている。
【００４２】
メインカメラ２１ａとサブカメラ２１ｂから出力された基準画像ＴOと比較画像ＴCの画像データは、それぞれ変換手段２２であるＡ／Ｄコンバータ２２ａ、２２ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部２３で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ２４に送信されて格納されるとともに、第１画像処理手段２５ａおよび第２画像処理手段２５ｂに送信されるようになっている。
【００４３】
第１画像処理手段２５ａは、イメージプロセッサ等からなる第１ステレオマッチング手段２６ａと第１距離データメモリ２７ａとを備えている。
【００４４】
なお、本実施形態では、第１画像処理手段２５ａでは、基準画像ＴOや比較画像ＴCに前処理を施さず、基準画像ＴOや比較画像ＴCに対して直接ステレオマッチング処理を行う場合について説明する。しかし、後述する第２画像処理手段２５ｂの場合と同様に、第１画像処理手段２５ａにおいても基準画像ＴOや比較画像ＴCに対して前処理が施されて形成された２つの画像に対してステレオマッチング処理を行うように構成することも可能である。その場合、第１画像処理手段２５ａと第２画像処理手段２５ｂには互いに異なる前処理の手法で前処理された２つの画像がそれぞれ入力される。
【００４５】
第１ステレオマッチング手段２６ａでは、図４に示すように、基準画像ＴO上に例えば３×３画素や４×４画素等の所定の画素数の画素ブロックＰＢOを設定し、画素ブロックＰＢOに対応する比較画像ＴC中のエピポーララインＥＰＬ上の画素ブロックＰＢOと同形の各画素ブロックＰＢCについて下記（１）式に従って当該画素ブロックＰＢOとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の画素ブロックＰＢCを特定するようになっている。
【００４６】
【数１】
0005172422.tif 000002
【００４７】
なお、ｐ１s,tは画素ブロックＰＢO中の各画素の輝度値を表し、ｐ２s,tは画素ブロックＰＢC中の各画素の輝度値を表す。また、上記の総和は、画素ブロックＰＢOや画素ブロックＰＢCが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。
【００４８】
また、本実施形態では、上記のようにＳＡＤ値を用いるように構成されているが、この他にも、例えば画素ブロックＰＢO中の各画素の輝度値ｐ１s,tと画素ブロックＰＢC中の各画素の輝度値ｐ２s,tとの差の二乗和に基づいてステレオマッチング処理を行うように構成することも可能である。また、画素ブロックＰＢOと画素ブロックＰＢCとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って算出される差異に基づいてステレオマッチング処理を行うように構成することも可能である。
【００４９】
第１ステレオマッチング手段２６ａは、このようにして基準画像ＴOの各画素ブロックＰＢOについて、特定した画素ブロックＰＢCの比較画像ＴC上の位置と当該画素ブロックＰＢOの基準画像ＴO上の位置から第１視差ｄｐ１を算出するようになっている。本実施形態では、第１ステレオマッチング手段２６ａは、例えば図３に例示する基準画像ＴOの各画素ブロックＰＢOに上記のようにして算出した第１視差ｄｐ１をそれぞれ対応づけるようになっている。
【００５０】
以下、第１視差ｄｐ１が各画素ブロックＰＢOにそれぞれ対応づけられた基準画像ＴOを第１距離画像ＴZ１という。例えば図３の基準画像ＴOの各画素ブロックＰＢOに第１視差ｄｐ１がそれぞれ対応づけられて形成された第１距離画像ＴZ１は図５に示すような画像となる。
【００５１】
なお、一対のメインカメラ２１ａとサブカメラ２１ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ１，Ｙ１，Ｚ１）と、上記の第１視差ｄｐ１および第１距離画像ＴZ１上の点（ｉ１，ｊ１）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により１対１に対応づけられる。
Ｘ１＝ＣＤ／２＋Ｚ１×ＰＷ×（ｉ１−ＩＶ）    …（２）
Ｙ１＝ＣＨ＋Ｚ１×ＰＷ×（ｊ１−ＪＶ）    …（３）
Ｚ１＝ＣＤ／（ＰＷ×（ｄｐ１−ＤＰ））    …（４）
【００５２】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の第１距離画像ＴZ１上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００５３】
このように、第１視差ｄｐ１と第１距離Ｚ１とは１対１に対応づけられるものであるため、第１ステレオマッチング手段２６ａにおいて、算出した第１視差ｄｐ１を上記（４）式に従って第１距離Ｚ１に変換し、基準画像ＴOの各画素ブロックＰＢOに変換した第１距離Ｚ１を割り当てて第１距離画像ＴZ１を形成するように構成することも可能である。
【００５４】
第１ステレオマッチング手段２６ａは、上記のようにして形成した第１距離画像ＴZ１の情報を第１距離データメモリ２７ａに送信して格納させるとともに、検出手段２９に送信するようになっている。
【００５５】
一方、第２画像処理手段２５ｂには、前処理手段２８（図２参照）で基準画像ＴOと比較画像ＴCに対してそれぞれ所定の前処理が施されて形成された２つの画像が入力されるようになっている。本実施形態では、前処理手段２８では、所定の前処理として基準画像ＴOと比較画像ＴCに対してエッジ検出処理を行って基準エッジ画像と比較エッジ画像を形成するようになっている。なお、前処理手段２８において行われる前処理として、エッジ検出処理以外の他の処理を行うように構成することも可能である。
【００５６】
本実施形態では、画像補正部２３からずれやノイズの除去等の画像補正が行われた基準画像ＴOや比較画像ＴCの各画素の輝度値ｐ１i,j、ｐ２i,jのデータが基準画像ＴOや比較画像ＴCの水平ライン、すなわち１画素幅のエピポーララインごとに順々に出力されて、前処理手段２８にそれぞれ入力されてくるようになっている。なお、輝度値ｐ１i,j、ｐ２i,jは基準画像ＴOおよび比較画像ＴC上の座標（ｉ，ｊ）における画素の各輝度値を表す。
【００５７】
前処理手段２８は、基準画像ＴOや比較画像ＴCの水平ラインごとに入力されてくる各画素の輝度値ｐ１i,j、ｐ２i,jのデータに対して、１次編微分オペレータ（−１／０／＋１）（正確には１次編微分オペレータ（−０．５／０／＋０．５）の２倍の値のオペレータ）のフィルタをかけてエッジ検出処理を行うようになっている。
【００５８】
すなわち、前処理手段２８は、基準画像ＴOの水平ラインごとに入力されてくる各画素の輝度値ｐ１i,jのデータに対して下記（５）式に示すエッジ検出処理を行って、算出されるエッジ値ｐ３i,jを座標（ｉ，ｊ）における画素の輝度値とする基準エッジ画像ＴＥOを形成する。
ｐ３i,j＝−ｐ１i-1,j＋ｐ１i+1,j    …（５）
【００５９】
また、前処理手段２８は、比較画像ＴCの水平ラインごとに入力されてくる各画素の輝度値ｐ２i,jのデータに対して下記（６）式に示すエッジ検出処理を行って、算出されるエッジ値ｐ４i,jを座標（ｉ，ｊ）における画素の輝度値とする比較エッジ画像ＴＥCを形成するようになっている。
ｐ４i,j＝−ｐ２i-1,j＋ｐ２i+1,j    …（６）
【００６０】
なお、メインカメラ２１ａとサブカメラ２１ｂで前述した図２５（Ａ）、（Ｂ）に示したような基準画像ＴOと比較画像ＴCが撮像されるシーンでは、この前処理手段２８のエッジ検出処理により、図６（Ａ）、（Ｂ）に示すような基準エッジ画像ＴＥOおよび比較エッジ画像ＴＥCが得られる。
【００６１】
前処理手段２８は、このようにして輝度値（エッジ値）ｐ３i,j、ｐ４i,jを有する各画素からなる基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとをそれぞれ形成して、第２画像処理手段２５ｂに送信するようになっている。
【００６２】
第２画像処理手段２５ｂは、上記の第１画像処理手段２５ａと同様に構成されており、第２画像処理手段２５ｂの第２ステレオマッチング手段２６ｂにおいても、図４に示した手法でステレオマッチング処理が行われるようになっている。ただし、ステレオマッチング処理の対象は基準エッジ画像ＴＥOと比較エッジ画像ＴＥCである。そして、第２ステレオマッチング手段２６ｂは、第１ステレオマッチング手段２６ａと同様にして基準エッジ画像ＴＥO上の画素ブロックごとに第２視差ｄｐ２を算出し、基準エッジ画像ＴＥOの各画素ブロックに、算出した第２視差ｄｐ２を対応づけて第２距離画像ＴZ２を形成するようになっている。
【００６３】
なお、基準エッジ画像ＴＥOの各画素ブロックは、第１ステレオマッチング手段２６ａにおける基準画像ＴO上の各画素ブロックＰＢOと同じ画素位置に設定されるため、第２距離画像ＴZ２は、基準画像ＴOの各画素ブロックＰＢOに算出した各第２視差ｄｐ２を対応づけて形成されると表現することも可能である。
【００６４】
また、上記と同様に原点やＸ軸方向、Ｙ軸方向、Ｚ軸方向を設定し、第２視差ｄｐ２から算出される実空間上の点の座標を（Ｘ２，Ｙ２，Ｚ２）とした場合、それと第２視差ｄｐ２および第２距離画像ＴZ２上の点（ｉ２，ｊ２）とは、三角測量の原理に基づき下記（７）〜（９）式で表される座標変換により１対１に対応づけられる。なお、式中のＣＤ等は上記と同様である。
Ｘ２＝ＣＤ／２＋Ｚ２×ＰＷ×（ｉ２−ＩＶ）    …（７）
Ｙ２＝ＣＨ＋Ｚ２×ＰＷ×（ｊ２−ＪＶ）    …（８）
Ｚ２＝ＣＤ／（ＰＷ×（ｄｐ２−ＤＰ））    …（９）
【００６５】
さらに、第２視差ｄｐ２と第２距離Ｚ２とが１対１に対応づけられるものであるため、第２ステレオマッチング手段２６ｂにおいて、算出した第２視差ｄｐ２を上記（９）式に従って第２距離Ｚ２に変換し、基準エッジ画像ＴＥO（基準画像ＴO）の各画素ブロックＰＢOに、変換した第２距離Ｚ２を対応づけて第２距離画像ＴZ２を形成するように構成することも可能である。
【００６６】
第２ステレオマッチング手段２６ｂは、上記のようにして形成した第２距離画像ＴZ２の情報を第２距離データメモリ２７ｂに送信して格納させるとともに、検出手段２９に送信するようになっている。
【００６７】
検出手段２９（図２参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、検出手段２９には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【００６８】
検出手段２９は、物体検出手段２９Ａと、先行車両検出手段２９Ｂと、計数手段２９Ｃと、撮像環境判定手段２９Ｄとを備えており、さらに図示しないメモリを備えている。
【００６９】
物体検出手段２９Ａは、本実施形態では、第１距離画像ＴZ１に基づいて基準画像ＴO中に撮像された物体を検出するようになっているが、例えば、第２距離画像ＴZ２に基づいて基準画像ＴO中に物体を検出するように構成することも可能である。また、物体検出手段２９Ａを、例えば第１距離画像ＴZ１と第２距離画像ＴZ２に基づいてそれぞれ物体を検出し、それらの検出結果のうち、良好な検出結果を出力するように構成することも可能である。
【００７０】
なお、本実施形態では、物体検出手段２９Ａは、本願出願人により先に提出された特開平１０−２８３４６１号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、簡単にその構成について説明する。
【００７１】
物体検出手段２９Ａは、例えば図５に示したように形成された第１距離画像ＴZ１を第１距離データメモリ２７ａから読み出して、まず、図７に示すように第１距離画像ＴZ１を所定の画素幅で縦方向に延びる短冊状の区分Ｄｎに分割する。そして、各区分Ｄｎごとに図８に示すようなヒストグラムＨｎを作成し、各区分Ｄｎに属する各第１視差ｄｐ１を当該視差ｄｐ１が属する区分ＤｎのヒストグラムＨｎに投票する。そして、度数Ｆｎが最大の階級の階級値をその区分Ｄｎにおける物体の視差ｄｐｎとする。これを第１距離画像ＴZ１の全区分Ｄｎについて行うようになっている。
【００７２】
物体検出手段２９Ａは、続いて、各区分Ｄｎごとに得られた視差ｄｐｎを上記（４）式のｄｐ１に代入して、視差ｄｐｎに対応する各区分Ｄｎごとの実空間上の第１距離Ｚ１を算出してその区分Ｄｎの距離Ｚｎとし、図９に示すように実空間上にプロットし、図１０に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。
【００７３】
本実施形態では、物体検出手段２９Ａは、各グループに属する各点を図１１に示すようにそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。
【００７４】
そして、物体検出手段２９Ａは、図１１の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。
【００７５】
また、物体検出手段２９Ａは、このようにして検出した各物体を図１２に示すように基準画像ＴO上で矩形状の枠線で包囲するようにして検出するようになっている。物体検出手段２９Ａは、このようにして検出した各物体の情報をメモリに保存するとともに、必要に応じて外部に出力するようになっている。
【００７６】
先行車両検出手段２９Ｂは、図１３に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。
【００７７】
自車両Ａの走行軌跡Ｌestは、センサ類Ｑから送信されてくる自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて下記（１０）式または下記（１１）、（１２）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ    …（１０）
Ｒｅ＝（１＋Ａsf・Ｖ２）・（Ｌwb／δ）    …（１１）
Ｃua＝１／Ｒｅ    …（１２）
【００７８】
そして、先行車両検出手段２９Ｂは、自車両Ａの進行路Ｒest上に存在する物体の中で自車両Ａに最も近接する物体を自車両Ａの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図１２や図１３では、車両Ｏ３が先行車両Ｖahとして検出される。
【００７９】
先行車両検出手段２９Ｂは、このようにして検出した先行車両Ｖahの自車両からの距離Ｚやその他必要な情報をメモリに保存するとともに、後述する先行車追従制御装置３に送信するようになっている。
【００８０】
なお、本実施形態では、先行車両検出手段２９Ｂは、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段２９Ｂは、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【００８１】
計数手段２９Ｃ（図２参照）は、検出手段２９の先行車両検出手段２９Ｂにおける特定の対象である先行車両Ｖahの検出に用いられた有効なデータの数を計数するようになっている。
【００８２】
具体的には、計数手段２９Ｃは、本実施形態では、検出した先行車両Ｖahを包囲するように基準画像ＴO上に設定された枠線Ｆｒを、上記の物体検出や先行車両検出に用いた図１４に例示するような第１距離画像ＴZ１の同じ画素位置にあてはめて、枠線Ｆｒ内の先行車両Ｖahを表す第１視差ｄｐ１が対応づけられた画素ブロックＰＢOの数を計数するようになっている。
【００８３】
計数手段２９Ｃは、上記のようにして計数した有効なデータ数すなわち先行車両Ｖahを表す第１視差ｄｐ１が対応づけられた画素ブロックＰＢOの数をメモリに保存するとともに、後述する先行車追従制御装置３に送信するようになっている。
【００８４】
撮像環境判定手段２９Ｄ（図２参照）は、以下の要領で、撮像手段２１により撮像された基準画像ＴO等から形成された第１距離画像ＴZ１および第２距離画像ＴZ２に基づいて撮像環境が悪化しているか否かを判定し、さらに撮像環境の悪化の程度を３段階に分けて評価するようになっている。
【００８５】
本実施形態では、撮像環境判定手段２９Ｄは、撮像環境が悪化しているか否かを判定する基準として、第１距離画像ＴZ１と第２距離画像ＴZ２の第１視差ｄｐ１と第２視差ｄｐ２とを比較してミスマッチングが発生しているか否かを判定し、ミスマッチングがある程度発生していれば撮像環境が悪化していると判定するようになっている。
【００８６】
具体的には、撮像環境判定手段２９Ｄは、まず、図１５に示すように、第１距離データメモリ２７ａから第１距離画像ＴZ１の情報を読み出し、第２距離データメモリ２７ｂから第２距離画像ＴZ２の情報を読み出して、第１距離画像ＴZ１および第２距離画像ＴZ２の対応する画素ブロックＰＢOの第１視差ｄｐ１および第２視差ｄｐ２を比較するようになっている。
【００８７】
そして、撮像環境判定手段２９Ｄは、同じ画素位置の画素ブロックＰＢOの第１視差ｄｐ１と第２視差ｄｐ２との差の絶対値が所定の閾値Δｄｐth以上である場合、すなわち、
｜ｄｐ１−ｄｐ２｜≧Δｄｐth    …（１３）
を満たす場合に、当該画素ブロックＰＢOでミスマッチングが発生していると判定するようになっている。
【００８８】
この閾値Δｄｐthは、上記（４）式や上記（９）式に従って第１視差ｄｐ１と第２視差ｄｐ２をそれぞれ第１距離Ｚ１と第２距離Ｚ２とに変換した場合に、その差、すなわち実空間上の距離の差が明らかに存在すると考えられる値に設定される。距離の差が明らかに存在すると考えられる値は第１距離Ｚ１や第２距離Ｚ２自体の値によっても変わり得るから、本実施形態では、第１距離Ｚ１や第２距離Ｚ２の値が１０ｍ程度の値である場合は例えば５ｍ、第１距離Ｚ１や第２距離Ｚ２の値が１００ｍ程度の値である場合は例えば２０ｍのように、閾値Δｄｐthは、第１距離Ｚ１等の値が大きくなるに従って大きくなるように設定されている。
【００８９】
そして、撮像環境判定手段２９Ｄは、上記のようにして、第１距離画像ＴZ１上と第２距離画像ＴZ２上の同じ画素位置の各画素ブロックＰＢOについてミスマッチングが発生しているか否かを判定し、ミスマッチングが発生していると判定した画素ブロックＰＢOの数をカウントしていく。そして、そのような画素ブロックＰＢOの数が所定個数以上見出した場合に、撮像環境が悪化していると判定するようになっている。
【００９０】
なお、上記の各画素ブロックＰＢOごとのミスマッチング判定は、第１距離画像ＴZ１と第２距離画像ＴZ２のそれぞれ全画像領域について行うように構成してもよいが、各距離画像には多数の画素ブロックＰＢOが属していて判定処理に時間がかかるうえ、各距離画像の上方の領域の方は空や先行車両Ｖahのさらに前方の風景が撮像されていてミスマッチングを生じ易いが、そのような部分でミスマッチングを生じても先行車両Ｖahの検出にはさほど影響がない。
【００９１】
そのため、本実施形態では、撮像環境判定手段２９Ｄは、第１距離画像ＴZ１や第２距離画像ＴZ２の全画素ブロックＰＢOのうち、先行車両Ｖah等が検出される第１距離画像ＴZ１や第２距離画像ＴZ２の縦方向の中央部分に設定される図示を省略する所定の画像領域に属する画素ブロックＰＢOに対して、上記のようなミスマッチング判定を行うようになっている。
【００９２】
撮像環境判定手段２９Ｄは、このようにして、各フレーム（すなわち各サンプリング周期）ごとに１回ずつ、撮像環境が悪化していると判定し、或いは撮像環境は悪化していないと判定するようになっている。
【００９３】
また、撮像環境判定手段２９Ｄは、図示しないカウンタを備えており、本実施形態では、図１６に示すように、撮像環境が悪化していると判定したフレームではカウンタのカウント数Ｃを増加させ、撮像環境が悪化していないと判定したフレームではカウンタのカウント数Ｃを減少させるようにして、撮像環境の悪化状況の履歴を監視するようになっている。
【００９４】
また、本実施形態では、このカウンタのカウント数Ｃに、第１閾値Ｃth１およびそれよりも大きな値に設定される第２閾値Ｃth２が設定されている。
【００９５】
そして、撮像環境判定手段２９Ｄは、カウンタのカウント数Ｃが、
（１）第１閾値Ｃth１未満の場合には、撮像環境の悪化の程度が最も改善されている段階αであると評価し、
（２）第１閾値Ｃth１以上で第２閾値Ｃth２未満の場合には、撮像環境の悪化の程度が中間の段階βであると評価し、
（３）第２閾値Ｃth２以上の場合には、撮像環境の悪化の程度が最も悪い段階γであると評価して、
撮像環境の悪化の程度を３段階に分けて評価するようになっている。
【００９６】
なお、図１６では、第１閾値Ｃth１がカウンタのカウント数Ｃで２、第２閾値Ｃth２がカウント数Ｃで１０に設定されている場合が示されているが、第１閾値Ｃth１および第２閾値Ｃth２は適宜の値に設定される。
【００９７】
撮像環境判定手段２９Ｄは、上記のようにして評価した撮像環境の悪化の程度の段階α〜γのいずれかを、後述する先行車追従制御装置３に送信するようになっている。
【００９８】
［先行車追従制御装置］
本実施形態における運転支援装置である先行車追従制御装置３（図１参照）は、検出装置２の検出手段２９で検出され送信されてくる先行車両Ｖahの情報に基づいて、運転支援制御として、自車両に対して先行車両Ｖahに追従するように制御する先行車追従制御を行うようになっている。
【００９９】
先行車追従制御装置３は、マイクロコンピュータ等からなる制御手段３１と、制御手段３１からの指示に基づいて自車両のアクセルスロットルやブレーキ機構等を操作するアクチュエータ等からなる応動部３２等で構成されており、さらに図示しないメモリを備えている。
【０１００】
先行車追従制御装置３の制御手段３１は、検出装置２の先行車両検出手段２９Ｂから先行車両Ｖahの自車両からの距離Ｚの情報等が送信されてくると、それに基づいて応動部３２を指示して自車両を先行車両Ｖahに追従させるようになっている。その際、自車両と先行車両Ｖahとが走行中であれば、先行車両Ｖahとの車間距離を保つ状態で自車両を先行車両Ｖahに追従させ、先行車両Ｖahが停止した場合には、先行車両Ｖahの後方の先行車両Ｖahから所定の距離だけ離れた位置で自車両を停止させる。
【０１０１】
制御手段３１は、このように、検出装置２の先行車両検出手段２９Ｂから送信されてくる先行車両Ｖahの情報に基づいて、自車両に対して、上記の処理を含む公知の先行車追従制御を行うようになっている。
【０１０２】
また、制御手段３１は、検出装置２の計数手段２９Ｃから送信されてくる先行車両Ｖahの検出に用いられた有効なデータ数と、撮像環境判定手段２９Ｄから送信されてくる撮像環境の悪化の程度の段階α〜γに基づいて、先行車追従制御装置３による自車両に対する先行車追従制御を一時停止し、或いは先行車追従制御の一時停止を解除するようになっている。
【０１０３】
本実施形態では、基本的に、制御手段３１は、撮像環境判定手段２９Ｄから送信されてきた撮像環境の悪化の程度が最も悪い段階である段階γ（図１６参照）である場合には、計数手段２９Ｃから送信されてくる先行車両Ｖahの検出に用いられた有効なデータ数にかかわらず、先行車追従制御装置３による自車両に対する先行車追従制御を一時停止するようになっている。
【０１０４】
また、制御手段３１は、撮像環境判定手段２９Ｄから送信されてきた撮像環境の悪化の程度が最も改善されている段階である段階αである場合には、計数手段２９Ｃから送信されてくる先行車両Ｖahの検出に用いられた有効なデータ数にかかわらず、自車両に対する先行車追従制御の一時停止を解除するようになっている。
【０１０５】
一方、制御手段３１は、撮像環境判定手段２９Ｄから送信されてきた撮像環境の悪化の程度が中間の段階である段階βである場合には、計数手段２９Ｃから送信されてくる先行車両Ｖahの検出に用いられた有効なデータ数Ｎを参照するようになっている。
【０１０６】
そして、自車両に対する先行車追従制御が継続されている状態（すなわち一時停止されていない状態）で、撮像環境の悪化の程度が中間の段階である段階βである場合、制御手段３１は、計数手段２９Ｃから送信されてくる前記有効なデータの数Ｎが予め設定された閾値Ｎth以上であれば先行車追従制御を継続するが、閾値Ｎth未満である場合には自車両に対する先行車追従制御を一時停止するようになっている。
【０１０７】
また、自車両に対する先行車追従制御が一時停止されている状態で、撮像環境の悪化の程度が中間の段階である段階βである場合、制御手段３１は、計数手段２９Ｃから送信されてくる前記有効なデータの数Ｎが予め設定された閾値Ｎth未満であれば先行車追従制御の一時停止を継続するが、閾値Ｎth以上である場合には自車両に対する先行車追従制御の一時停止を解除するようになっている。
【０１０８】
なお、先行車両Ｖahの検出に用いられた有効なデータの数Ｎは、図１４に示したように、先行車両Ｖahを包囲するように基準画像ＴO上に設定された枠線Ｆｒ内の、先行車両Ｖahを表す第１視差ｄｐ１が対応づけられた画素ブロックＰＢOの数である。また、先行車両Ｖahを包囲する枠線Ｆｒは、先行車両Ｖahの自車両からの距離Ｚが長くなるほど（すなわち遠くなるほど）小さくなるから、枠線Ｆｒに属する全画素ブロックＰＢOの数は少なくなる。
【０１０９】
そこで、上記の有効なデータの数Ｎに関する閾値Ｎthは、自車両から先行車両Ｖahまでの距離Ｚが長くなるほど小さな値になるように設定されるようになっている。本実施形態では、この距離Ｚと閾値Ｎthとを対応づけるテーブルが予めメモリに保存されており、制御手段３１は、検出装置２の先行車両検出手段２９Ｂから距離Ｚの情報が送信されてくると、そのテーブルを参照して閾値Ｎthを決定するようになっている。
【０１１０】
以上の制御手段３１における先行車追従制御の一時停止の開始や解除の基準を概念的に表すと図１７に示すように分類される。なお、本実施形態では、有効なデータの数Ｎに関して、先行車追従制御を一時停止する閾値と、先行車追従制御の一時停止を解除する閾値とを同じ値Ｎthに設定する場合について説明したが、これらの閾値を異なる値に設定するように構成することも可能である。
【０１１１】
ところで、自車両のドライバが、先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両Ｖahに追突する等の事態が生じる可能性がある。そのため、本実施形態では、先行車追従制御装置３の制御手段３１は、自車両に対する先行車追従制御を一時停止した場合には、例えば報知装置４の図示しないスピーカから音声を発声させたり図示しない画面上に表示させたり或いは図示しない所定のランプを点灯させるなどして、先行車追従制御が一時停止されたことをドライバに報知するようになっている。
【０１１２】
［作用］
次に、本実施形態に係る運転支援システム１の作用について説明する。
【０１１３】
検出装置２では、メインカメラ２１ａとサブカメラ２１ｂ等で構成される撮像手段２１で自車両の周囲の環境が撮像され、出力された基準画像ＴOおよび比較画像ＴCに基づいて、第１画像処理手段２５ａの第１ステレオマッチング手段２６ａで、基準画像ＴOの各画素ブロックＰＢOについてそれぞれ第１視差ｄｐ１が算出されて、第１距離画像ＴZ１が形成される。
【０１１４】
また、出力された基準画像ＴOおよび比較画像ＴCは、前処理手段２８でそれぞれ例えばエッジ検出処理が行われて基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとが形成され、それらの基準エッジ画像ＴＥOおよび比較エッジ画像ＴＥCに基づいて、第２画像処理手段２５ｂの第２ステレオマッチング手段２６ｂで、基準エッジ画像ＴＥOの各画素ブロックについてそれぞれ第２視差ｄｐ２が算出されて、第２距離画像ＴZ２が形成される。
【０１１５】
そして、ステレオマッチング処理により得られた第１距離画像ＴZ１等に基づいて、検出手段２９の物体検出手段２９Ａと先行車両検出手段２９Ｂで、基準画像ＴO中から物体や先行車両Ｖahが検出される。物体検出手段２９Ａを第１距離画像ＴZ１と第２距離画像ＴZ２に基づいてそれぞれ物体を検出するように構成する場合には、それらの検出結果のうち、良好な検出結果が出力される。
【０１１６】
この物体検出や先行車両検出は、ミスマッチングの発生の有無にかかわらず常時行われ、それらの情報が先行車追従制御装置３の制御手段３１や必要に応じて他のＥＣＵ等の装置に常時送信される。
【０１１７】
計数手段２９Ｃは、第１距離画像ＴZ１にあてはめた枠線Ｆｒ内で、先行車両Ｖahの検出に用いられた有効なデータ（画素ブロックＰＢO）の数Ｎを計数して、先行車追従制御装置３の制御手段３１に送信する。
【０１１８】
また、撮像環境判定手段２９Ｄは、第１距離画像ＴZ１と第２距離画像ＴZ２のそれぞれ縦方向の中央部分の画像領域に属する第１距離画像ＴZ１上と第２距離画像ＴZ２上の同じ画素位置の画素ブロックＰＢOの第１視差ｄｐ１と第２視差ｄｐ２とを比較し、それらの値の差の絶対値が、前述した距離に応じて変化する所定の閾値Δｄｐth以上であれば、その画素ブロックＰＢOでミスマッチングが発生していると判定する。この場合、第１距離画像ＴZ１と第２距離画像ＴZ２のいずれでミスマッチングを生じているかは検出しない。
【０１１９】
撮像環境判定手段２９Ｄは、この判定処理を、上記の第１距離画像ＴZ１と第２距離画像ＴZ２の画像領域に属する全ての画素ブロックＰＢOについて行い、ミスマッチングが発生していると判定した画素ブロックＰＢOの数をカウントし、所定個数以上見出した場合に撮像環境が悪化していると判定する。
【０１２０】
このように、本実施形態では、第１距離画像ＴZ１や第２距離画像ＴZ２で、許容される数の画素ブロックＰＢOでミスマッチングが発生していても、即座に撮像環境が悪化していると判定されることはなく、許容される範囲を越える数の画素ブロックＰＢOでミスマッチングが発生している場合に撮像環境が悪化していると判定される。別の言い方をすれば、ミスマッチングが発生する画素ブロックＰＢOの数として許容される限界の数が前記所定個数として設定される。
【０１２１】
また、本実施形態では、撮像環境判定手段２９Ｄは、このような撮像環境の悪化の程度を、上記のようにして撮像環境が悪化していると判定される頻度の観点から定義づける。そして、図１６に示したフレームごとに増減するカウンタのカウント数Ｃに基づいて撮像環境の悪化状況の履歴を監視し、撮像環境が悪化していると判定される頻度が多くなり、カウント数Ｃが大きくなるに従って、撮像環境の悪化の程度を、最も改善されている段階αから、中間の段階β、最も悪い段階γへと引き上げるようにして、撮像環境の悪化の程度を３段階に分けて評価する。
【０１２２】
また、逆に、撮像環境が悪化していると判定される頻度が減少していき、カウント数Ｃが小さくなるに従って、撮像環境の悪化の程度を、最も悪い段階γから、中間の段階β、最も改善されている段階αへと引き下げるようにして評価する。そして、撮像環境判定手段２９Ｄは、フレームごとに、評価結果である撮像環境の悪化の程度の段階が段階α〜γのいずれであるかを先行車追従制御装置３の制御手段３１に送信する。
【０１２３】
一方、運転支援装置である先行車追従制御装置３（図１参照）の側では、検出装置２の検出手段２９で検出され送信されてくる先行車両Ｖahの情報に基づいて、制御手段３１からの指示により応動部３２が自車両のアクセルスロットルやブレーキ機構等を操作して自車両に対して先行車両Ｖahに追従するように制御する先行車追従制御を行う。
【０１２４】
また、先行車追従制御装置３の制御手段３１は、検出装置２の計数手段２９Ｃから送信されてくる先行車両Ｖahの検出に用いられた有効なデータ数と、撮像環境判定手段２９Ｄから送信されてくる撮像環境の悪化の程度の段階α〜γに基づいて、図１７に示したような基準に従って、先行車追従制御を一時停止させたり、その一時停止を解除したりする。
【０１２５】
この基準によれば、検出装置２の撮像環境判定手段２９Ｄにおける前記カウンタのカウント数Ｃが大きく累積し、撮像環境の悪化の程度が最も悪い段階γと評価されるような撮像環境が明らかに悪化した場合には、先行車追従制御が即座に一時停止される。
【０１２６】
本実施形態では、撮像環境が悪化した原因が、画像中に発生するフレアＦｌやスミアＳｍ（図２４参照）の影響であるのか、一対の画像の明るさのバランスが崩れた（図２５（Ａ）、（Ｂ）参照）ためであるかはわからず、第１ステレオマッチング手段２６ａや第２ステレオマッチング手段２６ｂで算出される第１距離画像ＴZ１および第２距離画像ＴZ２のいずれでミスマッチングを生じているかも検知しないが、いずれにせよ、ステレオマッチング処理においてミスマッチングが多発するような撮像環境であることはわかる。
【０１２７】
このようなミスマッチングが多発するような撮像環境が複数のフレームで続くということは撮像環境が非常に良くない状況であると判断できる。そして、このようなミスマッチングが多発すると、例えば先行車両Ｖahの自車両からの距離Ｚを算出してもその距離Ｚの信頼性が乏しく、算出された当該距離Ｚに従って先行車追従制御を継続すると、先行車両Ｖahに追突したり、安定的に走行している先行車両Ｖahの後方で自車両が不必要に加速したり減速したりする事態を生じてしまう。
【０１２８】
そのため、検出装置２の撮像環境判定手段２９Ｄにおける前記カウンタのカウント数Ｃが大きく累積し、撮像環境の悪化の程度が最も悪い段階γと評価されるような撮像環境が明らかに悪化した場合に、先行車追従制御を即座に一時停止する方が、自車両の安全走行や安定走行に資する結果となる。
【０１２９】
しかし、その場合、自車両のドライバが、先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両Ｖahに追突する等の事態が生じる可能性があるため、例えば報知装置４を介して先行車追従制御が一時停止されたことをドライバに報知することが好ましい。
【０１３０】
また、上記の基準によれば、検出装置２の撮像環境判定手段２９Ｄにおける前記カウンタのカウント数Ｃが０またはそれに近い値であり、撮像環境の悪化の程度が最も改善されている段階αと評価されるような撮像環境が明らかに改善されている状況においては、先行車追従制御の一時停止が即座に解除される。これは、撮像環境が良好な状況である場合には、撮像環境の悪化による先行車追従制御の一時停止を行う必要がないからである。
【０１３１】
確かに、撮像環境が良好であっても、すなわちミスマッチングが生じない或いは生じてもごく小規模でしかないような場合であっても、例えば先行車両Ｖah等を検出できずにロストする場合がある。しかし、それは、先行車両Ｖahの背面等に明確な構造がなかったり、先行車両Ｖahの明るさとその周囲の明るさが非常に近い明るさであったりするためにステレオマッチングがうまく行えない等、撮像環境の悪化とは別の原因で生じているものである。そのため、少なくとも撮像環境の悪化の観点から言えば、撮像環境が明らかに改善されたのであれば、それによる先行車追従制御の一時停止は解除されるべきである。
【０１３２】
さらに、上記の基準によれば、自車両に対する先行車追従制御が継続されている状態（すなわち一時停止されていない状態）で、撮像環境の悪化の程度が中間の段階である段階βである場合、計数手段２９Ｃから送信されてくる有効なデータの数Ｎが閾値Ｎth以上であれば先行車追従制御を継続するが、閾値Ｎth未満である場合には自車両に対する先行車追従制御を一時停止する。
【０１３３】
また、逆に、自車両に対する先行車追従制御が一時停止されている状態で、撮像環境の悪化の程度が中間の段階である段階βである場合に、計数手段２９Ｃから送信されてくる有効なデータの数Ｎが閾値Ｎth未満であれば先行車追従制御の一時停止を継続するが、閾値Ｎth以上である場合には自車両に対する先行車追従制御の一時停止を解除する。
【０１３４】
ミスマッチングが発生していて撮像環境が悪化しているが、その悪化の程度が深刻な状況ではない状態、すなわち撮像環境の悪化の程度が中間の段階である段階βである状態で、画像認識性能が低下せずに先行車両Ｖahを十分的確に検出できているのであれば、その情報を有効に活用し、先行車両Ｖahを検出して先行車追従制御を有効に行うことができる。しかし、撮像環境の悪化の程度が深刻な状況ではない状態でも、画像認識性能が低下して先行車両Ｖahを的確に検出できないのであれば、先行車追従制御を一時停止する方がよい。
【０１３５】
そこで、上記のようにミスマッチングが発生していて撮像環境が悪化しているがその悪化の程度が深刻な状況ではない状態（段階β）では、本実施形態のように、画像認識性能が限界に達し、検出装置２の先行車両検出手段２９Ｂにおける先行車両Ｖahの検出に用いる有効なデータの数Ｎが十分に得られなくなるまで、先行車追従制御を一時停止せず継続することが望ましい。また、先行車追従制御が一時停止されている状態で画像認識性能が回復すれば、先行車追従制御の一時停止を解除することが望ましい。
【０１３６】
［効果］
以上のように、本実施形態に係る運転支援システム１によれば、検出装置２の検出手段２９（先行車両検出手段２９Ｂ）による特定の対象（先行車両Ｖah）の検出に用いられた有効なデータの数Ｎと、撮像手段２１により撮像された基準画像ＴOおよび比較画像ＴCから得られた第１視差ｄｐ１と第２視差ｄｐ２に基づいて撮像環境が悪化しているか否かを判定して撮像環境の悪化の程度を３段階に分けて評価した段階α〜γの情報に基づいて、運転支援装置（先行車追従制御装置３）による自車両に対する運転支援制御（先行車追従制御）を一時停止したり、一時停止を解除するように構成した。
【０１３７】
そのため、撮像環境が明らかに悪化した場合（段階γ）には運転支援制御を即座に一時停止し、撮像環境が明らかに改善されている状況（段階α）においては運転支援制御の一時停止を即座に解除することが可能となる。
【０１３８】
また、それとともに、撮像環境が悪化してもその悪化の程度が深刻な状況ではなく、撮像環境の悪化の程度が上記の最も悪い段階γと最も改善されている段階αの中間の段階βである状態では、検出装置２の検出手段２９による特定の対象の検出に用いられた有効なデータの数Ｎを監視して、画像認識性能が限界に達し、有効なデータの数Ｎが十分に得られなくなるまで、運転支援制御を一時停止せず継続させることが可能となる。また、運転支援制御が一時停止されている状態で画像認識性能が回復した場合には、運転支援制御の一時停止を解除することが可能となる。
【０１３９】
このように、本実施形態に係る運転支援システム１によれば、撮像環境の悪化の程度に応じて画像認識性能が限界に達した時点で運転支援制御を的確に一時停止させ、運転支援制御が一時停止されている状態では、画像認識性能が回復した時点で運転支援制御の一時停止を的確に解除することが可能となる。
【０１４０】
［変形例］
なお、上記の実施形態では、運転支援制御を一時停止させ、或いは運転支援制御の一時停止を解除する制御手段３１を運転支援装置３側に設ける場合について説明したが、例えば、制御手段３１を検出装置２の検出手段２９のコンピュータ内に構成し、制御手段３１から運転支援装置３に運転支援制御の停止や停止の解除を指示する信号を送信するように構成することも可能である。
【０１４１】
また、上記の実施形態では、撮像環境判定手段２９Ｄを検出装置２内に構成し、撮像手段２１により撮像された画像ＴO、ＴCに基づいて撮像環境が悪化しているか否かを判定する処理と、撮像環境の悪化の程度を３段階に分けて評価する処理とを検出装置２の検出手段２９内で行うように構成する場合について説明したが、例えば、前者の処理を検出装置２内で行い、撮像環境が悪化していると判定した場合に運転支援装置３側に信号を送信し、運転支援装置３の例えば制御手段３１でその信号を計数してカウント数Ｃを増減させて、制御手段３１等で撮像環境の悪化の程度を３段階に分けて評価するように構成することも可能である。
【０１４２】
さらに、上記の実施形態では、検出装置２で検出する特定の対象が先行車両Ｖahであり、運転支援装置である先行車追従制御装置３で自車両に対して先行車追従制御を行う場合について説明したが、この他にも、例えば検出装置２で検出する特定の対象を自車両の左右の車線とし、運転支援装置で自車両に対して車線追従制御を行う場合にも本発明を適用することができる。
【０１４３】
この場合、運転支援システムは、図１における先行車追従制御装置３の代わりに運転支援装置として車線追従制御装置３を備え、車線追従制御装置３の制御手段３１は、検出手段２により検出された車線の情報に基づいて、例えばステアリングサーボ機能を有する制御システムを備える応動部３２を指示してステアリングホイールに操舵トルクを与えるなどして自車両に対して車線に追従するように制御するように構成される。
【０１４４】
また、検出装置２は、車線を検出するための車線検出手段を備えるように構成される。そして、車線検出手段では、例えば、画像データメモリ２４（図２参照）から図３に示した基準画像ＴOのデータを読み出して、図１８に示すように、基準画像ＴOを用いて、その１画素幅の水平ラインｊ上を例えば基準画像ＴOの中央から左右方向に探索し、輝度値が隣接する画素の輝度値から設定された閾値以上に大きく変化する画素を車線候補点ｃｌ、ｃｒとして検出する。
【０１４５】
そして、基準画像ＴO上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点ｃｌ、ｃｒを検出していく。その際、車線検出手段は、例えば第１距離データメモリ２７ａから第１視差ｄｐ１の情報を読み出して、検出した車線候補点ｃｌ、ｃｒにおける第１視差ｄｐ１等に基づいて当該車線候補点ｃｌ、ｃｒが道路面上にないと判断した場合には当該車線候補点ｃｌ、ｃｒを車線候補点から除外する。そして、残った車線候補点ｃｌ、ｃｒのうち、自車両に近い側の車線候補点ｃｌ、ｃｒに基づいて車線をハフ変換等により直線で近似して自車両の左右にそれぞれ検出する。
【０１４６】
その際、直線との整合性が取れない車線候補点ｃｌ、ｃｒを除外するなどして検出の信頼性を向上させながら、自車両の一方の側（例えば右側）に複数の車線が検出される場合には自車両の他方（例えば左側）に検出した車線との整合性がある車線や前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の左右にそれぞれ直線を選別する。
【０１４７】
このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点ｃｌ、ｃｒを選別して結ぶことで、図１９に示すように自車両の左側および右側にそれぞれ車線Ｌｌ、Ｌｒを検出するようになっている。なお、以上の車線検出手段の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に車線認識装置等として詳述されており、詳細な説明はそれらの公報を参照されたい。
【０１４８】
この場合の運転支援システムにおいては、撮像環境が悪化しているか否かを判定し、撮像環境の悪化の程度を３段階に分けて評価する撮像環境判定手段における処理は、上記の実施形態における撮像環境判定手段２９Ｄと同様にして行うことができる。
【０１４９】
また、計数手段における特定の対象（車線ＬＬ、ＬＲ）の検出に用いられた有効なデータの数の計数の対象は、この場合、例えば、車線ＬＬ、ＬＲをそれぞれ特定するために用いられた左右それぞれの車線候補点ｃｌ、ｃｒの数として定義することができる。その場合、有効なデータの数に関して予め設定される閾値として、例えば検出された車線ＬＬ、ＬＲの各位置等の情報がそれぞれ信頼できるに足る情報であることを保証する数が設定され、有効なデータ数がその数以上であれば画像認識性能はまだ限界に達していないと判断でき、有効なデータ数がその数を下回れば画像認識性能が限界を越えたと判断できるような数が設定される。
【０１５０】
また、有効なデータの数の計数の対象を、例えば、検出することができた車線ＬＬ、ＬＲの自車両の位置からの実空間上の長さとして定義することも可能である。その場合、有効なデータの数に関して予め設定される閾値として、例えば自車両の位置からの長さとして５０ｍ等の長さが設定され、検出された車線ＬＬ、ＬＲの長さが５０ｍ等以上であれば画像認識性能はまだ限界に達していないと判断され、検出された車線ＬＬ、ＬＲの長さが５０ｍ等に達しないようであれば画像認識性能が限界を越えたと判断される。
【０１５１】
一方、上記の実施形態では、基準画像ＴOおよび比較画像ＴCに対して異なる前処理の仕方（前処理を行わない場合を含む。）で第１距離画像ＴZ１と第２距離画像ＴZ２を形成し、第１距離画像ＴZ１と第２距離画像ＴZ２の対応する画素ブロックＰＢOの第１視差ｄｐ１と第２視差ｄｐ２とを比較して、それらの差の絶対値が所定の閾値Δｄｐth以上である画素ブロックＰＢOが所定個数以上存在する場合に、撮像環境が悪化していると判定する場合について説明した。この場合、撮像環境が悪化した原因が、画像中に発生するフレアＦｌやスミアＳｍ（図２４参照）の影響であるのか、一対の画像の明るさのバランスが崩れた（図２５（Ａ）、（Ｂ）参照）ためであるかは問わない。
【０１５２】
しかし、例えば、画像中にスミアＳｍが発生していることを端的に検出して、それに基づいて撮像環境が悪化していることを判定するように構成することも可能である。なお、これは、上記の実施形態に代えて行ってもよく、或いは上記の実施形態と併行して行うように構成することも可能である。
【０１５３】
このスミアＳｍを検出して撮像環境の悪化を判定する構成では、下記に述べるように、基準画像ＴOと比較画像ＴCとそれらから形成される距離画像があれば十分である。そのため、上記の実施形態と併行して行う場合には、例えば第１画像処理手段２５ａにより形成された第１距離画像ＴZ１の第１視差ｄｐ１が用いられるように構成される。
【０１５４】
以下の説明では、画像処理手段を１系統のみ有する検出装置を用いる場合について説明する。なお、上記の実施形態と同様の機能を有する装置や手段等については同じ符号を付して説明する。また、以下では、検出装置２の検出手段２９の先行車両検出手段２９Ｂにより特定の対象として先行車両Ｖahを検出し、運転支援装置として、先行車両Ｖahの情報に基づいて自車両に対して先行車両Ｖahに追従するように制御する先行車追従制御を行う先行車追従制御装置３を備える場合について説明するが、前述したように、自車両の左右に車線を検出し、自車両に対して車線に追従するように制御する車線追従制御を行う場合にも適用される。
【０１５５】
この場合の運転支援システムの全体構成は、図１に示した上記の実施形態に係る運転支援システム１と同様である。
【０１５６】
検出装置２は、図２０に示すように、撮像手段２１、変換手段２２、検出手段２９等で構成されており、撮像手段２１から検出手段２９の計数手段２９Ｃまでの構成も図２に示した上記の実施形態に係る検出装置２と同様である。ただし、この場合、図２に示した前処理手段２８は不要である。
【０１５７】
撮像環境判定手段２９Ｅは、この場合、図８に示した検出手段２９の物体検出手段２９Ａにおける距離画像ＴZ（上記の実施形態における第１距離画像ＴZ１と同じ。）を分割する各区分Ｄｎに属する各画素ブロックＰＢOの視差ｄｐ（上記の実施形態における第１視差ｄｐ１と同じ。）の、ヒストグラムＨｎへの投票状況を監視し、当該ヒストグラムＨｎにおける無限遠を含む遠方距離に相当する視差ｄｐの投票数を監視するように構成される。
【０１５８】
これは、スミアＳｍ（図２４参照）は画像ＴOを上から下まで貫くように発生し、スミアＳｍが太陽Ｓｕの逆光等を反映するものであることから、ステレオマッチング処理を行った場合、スミアＳｍの部分では自車両から太陽Ｓｕまでの距離、すなわち事実上の無限遠を含む遠方距離に相当する視差ｄｐが算出されるという知見に基づくものである。
【０１５９】
また、例えば太陽光を反射するなどして白く輝く柱状の物体がスミアＳｍと同様に画像ＴOを上から下まで貫くように撮像されることがあるが、このような物体に対するステレオマッチング処理では物体に実際の位置に対応する無限遠を含む遠方距離ではない有限の距離に対応する視差ｄｐが算出されるため、画像ＴO上に同様に上から下まで貫くように現れても、その視差ｄｐを監視することで、物体とスミアＳｍとを明確に区別することができる。
【０１６０】
また、自車両から無限遠を含む遠方距離に相当する視差ｄｐの値とは、上記（４）式の左辺の距離Ｚ１に無限大∞を代入し、第１視差ｄｐ１を視差ｄｐとして変形すると、
∞＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ））
ｄｐ−ＤＰ＝ＣＤ／（ＰＷ×∞）＝０
すなわち、
ｄｐ＝ＤＰ
となることからも分かるように、消失点視差ＤＰやそれに近い値のことである。
【０１６１】
このことから、本実施形態では、ステレオマッチング処理により算出された視差ｄｐの値に、無限遠を含む遠方距離に対応する遠方視差閾値を設け、遠方視差閾値を例えば無限遠に対応する視差ＤＰに近い値であるＤＰ＋１に設定し、視差ｄｐが遠方視差閾値であるＤＰ＋１以下である画素ブロックＰＢOを、無限遠を含む遠方距離に対応する視差ｄｐの値が算出された画素ブロックＰＢOとして検出するようになっている。
【０１６２】
なお、前述したように、基準画像ＴOの各画素ブロックＰＢOにそれぞれ距離Ｚの情報を対応づけて距離画像ＴZを形成する場合には、無限遠を含む遠方距離を規定する距離Ｚの閾値として遠方距離閾値を設定し、距離Ｚが遠方距離閾値以上である画素ブロックＰＢOを、無限遠を含む遠方距離に対応する距離Ｚの値が算出された画素ブロックＰＢOとして検出するように構成する。この場合、遠方距離閾値は、例えば前述した遠方視差閾値として設定される視差ＤＰ＋１に対応する距離の値が設定される。
【０１６３】
具体的には、撮像環境判定手段２９Ｅは、上記のように視差ｄｐの投票が行われる各ヒストグラムＨｎにおける投票状況を監視し、図２１に示すように、ヒストグラムＨｎにおいて視差ｄｐの値がＤＰ＋１以下の範囲の視差ｄｐの投票数を監視して、当該範囲の視差ｄｐの投票数の合計値が所定の閾値以上になった場合に、当該ヒストグラムＨｎに対応する距離画像ＴZ上の区分Ｄｎをスミア候補とする。
【０１６４】
なお、遠方視差閾値や遠方距離閾値をどのような値に設定するか、或いは投票数の合計値に関する上記の所定の閾値をどのような値に設定するかは、検出装置２の撮像手段２１のＣＣＤイメージセンサ等の性能等に依存するため、適宜、適切な値がそれぞれ設定される。
【０１６５】
続いて、撮像環境判定手段２９Ｅは、上記の条件が満たされてスミア候補とされた距離画像ＴZの当該区分Ｄｎと同じ基準画像ＴO上の領域に画素列に設定する。距離画像ＴZ上の区分Ｄｎが縦方向に延在する４画素幅の画素列であれば、図２２に示すように、基準画像ＴOの同じ位置に４画素幅の画素列Ｄｎをあてはめて設定する。なお、図２２では、１画素幅が実際より大きく表現されている。
【０１６６】
ここで、４画素幅の画素列Ｄｎ全体を対象としてスミアＳｍが発生しているか否かの判定を行うように構成することも可能である。しかし、４画素幅の画素列Ｄｎを形成する１画素幅の画素列の１列だけスミアＳｍが発生する場合もあり得る。そこで、撮像環境判定手段２９Ｅは、４画素幅の画素列Ｄｎに含まれる１画素幅の各画素列Ｄｎ１〜Ｄｎ４（図２２参照）についてスミアＳｍが発生しているか否かの判定を行う。
【０１６７】
具体的には、撮像環境判定手段２９Ｅは、１画素幅の各画素列Ｄｎ１〜Ｄｎ４について、それぞれ画素列の各画素の輝度値ｐ１i,jの探索を行い、所定の輝度値以上の輝度値を有する高輝度の画素の数が、当該１画素幅の画素列に属する全画素数の所定の割合以上存在するか否かを検出する。ここで、基準画像ＴOの各画素の輝度値ｐ１i,jが０〜２５５のグレースケールで設定される場合には、上記の所定の輝度値は例えば輝度値の飽和状態に近い２４０等の高い値に設定される。また、上記の所定の割合は例えば７５％等に設定される。
【０１６８】
そして、撮像環境判定手段２９Ｅは、４画素幅の画素列Ｄｎ中の１画素幅の各画素列Ｄｎ１〜Ｄｎ４のうち、少なくとも１列の画素列で上記の条件が満たされる場合に、スミアＳｍが発生していると判定する。
【０１６９】
なお、基準画像ＴOの上方部分には、自車両前方の車両等よりもさらに高い位置にある物体が撮像されるため、基準画像ＴOの上方部分の基準画素ブロックＰＢOでは、スミアＳｍが発生していない場合でも、ステレオマッチング処理により視差ｄｐとして無限遠を含む遠方距離に相当する視差が算出される場合がある。
【０１７０】
そこで、このような基準画像ＴOの上方部分の悪影響を回避するために、基準画像ＴOにあてはめて設定した画素列Ｄｎや１画素幅の各画素列Ｄｎ１〜Ｄｎ４の領域のうち、それらの画素列の基準画像ＴOにおける下端の画素から上方に所定個数（縦方向の全画素数の例えば８０％に相当する個数）の画素について高輝度値の画素の探索を行うように構成することも可能である。その場合、例えば２４０等の値に設定される輝度値以上の輝度値を有する画素の数が、例えば９０％以上存在する場合にスミアＳｍが発生していると判定される。
【０１７１】
撮像環境判定手段２９Ｅは、スミアＳｍの発生の有無を判定すると、上記の実施形態の場合（図１６参照）と同様に、スミアＳｍが発生し撮像環境が悪化していると判定したフレームではカウンタのカウント数Ｃを増加させ、スミアＳｍは発生しておらず撮像環境が悪化していないと判定したフレームではカウンタのカウント数Ｃを減少させるようにして、撮像環境の悪化状況の履歴を監視する。そして、カウンタのカウント数Ｃに応じて、さらに撮像環境の悪化の程度を３段階α〜γに分けて評価する。
【０１７２】
このように構成すれば、先行車追従制御装置３の制御手段３１が、検出装置２の検出手段２９（先行車両検出手段２９Ｂ）による特定の対象（先行車両Ｖah）の検出に用いられた有効なデータの数Ｎと、撮像環境判定手段２９Ｅから送信されてくる撮像環境の悪化の程度（段階α〜γ）の情報に基づいて、運転支援装置（先行車追従制御装置３）による自車両に対する運転支援制御（先行車追従制御）を的確に一時停止し、或いは先行車追従制御の一時停止を的確に解除することが可能となる。
【０１７３】
また、撮像環境の悪化の程度が中間の段階βでは、画像認識性能が限界に達した時点で運転支援制御（先行車追従制御）を的確に一時停止させ、運転支援制御（先行車追従制御）が一時停止されている状態では、画像認識性能が回復した時点で運転支援制御（先行車追従制御）の一時停止を的確に解除することが可能となる。
【０１７４】
さらにまた、霧や吹雪等による視界不良や、カメラのレンズや自車両のフロントガラスの曇りや汚れ等に起因する撮像環境の悪化を検出する技術が開示されているが、その技術を本発明に応用するように構成することも可能である。当該技術については、本願出願人により先に提出された例えば特開２００１−２８７４６号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【０１７５】
なお、当該技術を応用した下記の手法を、上記の実施形態や、画像中のスミアＳｍの発生を検出して行う上記の変形例に代えて行ってもよく、或いはそれらと併行して行うように構成することも可能である。
【０１７６】
この場合の運転支援システムの全体構成も、図１に示した上記の実施形態に係る運転支援システム１と同様である。また、検出装置２は、図２０に示した構成と同様に構成することができる。
【０１７７】
撮像環境判定手段２９Ｅは、この場合、画像データメモリ２４から基準画像ＴOのデータを読み出して、図２３に示すように、基準画像ＴOにおける中央上部に基準画像ＴOの水平方向に延在する長方形状の監視領域Ｒを設定する。そして、監視領域Ｒに属する画素の輝度値ｐ１i,jの平均値すなわち輝度平均値を算出して、輝度平均値が所定の第１判定値よりも大きいか否かを判定する。
【０１７８】
これは、霧や吹雪等による視界不良や、カメラのレンズや自車両のフロントガラスの曇りや汚れ等に起因して撮像された基準画像ＴO等に画像ぼけが発生している状況では、通常、画像の全体的な輝度が大きくなる傾向があることによる。従って、第１判定値として、そのような画像ぼけが生じているか否かを適切に判別できる比較的高輝度の値が適宜設定される。
【０１７９】
また、撮像環境判定手段２９Ｅは、監視領域Ｒに属する各画素において基準画像ＴOの垂直方向の各画素対の輝度値ｐ１i,jの差すなわち輝度差を算出して、所定値以上の輝度差を有する画素対の数をエッジ数として算出して、エッジ数が所定の第２判定値よりも小さいか否かを判定する。
【０１８０】
これは、基準画像ＴOにおける中央上部に監視領域Ｒを設定した場合、通常、監視領域Ｒには先行車両Ｖahや他の種々の物体が撮像されており、画像ぼけが発生していなければ隣接する画素の輝度値ｐ１i,jが急激に変化する箇所（エッジ部）が存在するが、画像ぼけが生じているとその輝度値ｐ１i,jの変化が緩やかになる傾向があることによる。従って、所定値として、そのような画像ぼけが生じている場合と生じていない場合の輝度差を適切に判別できる比較的大きな値が適宜設定される。
【０１８１】
また、画像ぼけが生じていない場合にはそのようなエッジ部が監視領域Ｒ内に多数見出されるが、画像ぼけが生じている場合にはエッジ部の数は減る。従って、第２判定値として、そのような画像ぼけが生じているか否かを適切に判別できるエッジ部の数が適宜設定される。
【０１８２】
そして、撮像環境判定手段２９Ｅは、輝度平均値が上記の第１判定値よりも大きく、且つ、エッジ数が上記の第２判定値よりも小さい場合に、撮像環境が悪化していると判定する。
【０１８３】
これ以降の処理は上記の場合と同様であり、撮像環境判定手段２９Ｅは、撮像環境が悪化していると判定したフレームではカウンタのカウント数Ｃを増加させ、撮像環境が悪化していないと判定したフレームではカウンタのカウント数Ｃを減少させるようにして、撮像環境の悪化状況の履歴を監視する。そして、カウンタのカウント数Ｃに応じて、さらに撮像環境の悪化の程度を３段階α〜γに分けて評価する。
【０１８４】
このように構成すれば、先行車追従制御装置３の制御手段３１が、検出装置２の検出手段２９（先行車両検出手段２９Ｂ）による特定の対象（先行車両Ｖah）の検出に用いられた有効なデータの数Ｎと、撮像環境判定手段２９Ｅから送信されてくる撮像環境の悪化の程度（段階α〜γ）の情報に基づいて、運転支援装置（先行車追従制御装置３）による自車両に対する運転支援制御（先行車追従制御）を的確に一時停止し、或いは先行車追従制御の一時停止を的確に解除することが可能となる。
【０１８５】
また、撮像環境の悪化の程度が中間の段階βでは、画像認識性能が限界に達した時点で運転支援制御（先行車追従制御）を的確に一時停止させ、運転支援制御（先行車追従制御）が一時停止されている状態では、画像認識性能が回復した時点で運転支援制御（先行車追従制御）の一時停止を的確に解除することが可能となる。
【図面の簡単な説明】
【０１８６】
【図１】本実施形態に係る運転支援システムの全体構成を示す図である。
【図２】本実施形態に係る検出装置の構成を示すブロック図である。
【図３】基準画像の一例を示す図である。
【図４】ステレオマッチング処理の手法を説明する図である。
【図５】図３の基準画像等に基づいて形成された第１距離画像を示す図である。
【図６】（Ａ）図２５（Ａ）の基準画像から得られる基準エッジ画像を示す写真であり、（Ｂ）図２５（Ｂ）の比較画像から得られる比較エッジ画像を示す写真である。
【図７】距離画像を分割する短冊状の区分を説明する図である。
【図８】図７の各区分ごとに作成されるヒストグラムを説明する図である。
【図９】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図１０】図９の各点がグループ化されて形成される各グループを表す図である。
【図１１】図１０の各グループの各点を直線近似して検出された物体の例を表す図である。
【図１２】基準画像上に枠線で包囲されて検出された各物体を表す図である。
【図１３】実空間上の自車両の走行軌跡、進行路および先行車両を示す図である。
【図１４】基準画像上に設定された枠線を第１距離画像の同じ画素位置にあてはめた状態を説明する図である。
【図１５】ミスマッチング判定手段における第１視差と第２視差の比較の手法を説明する図である。
【図１６】カウンタのカウント数のフレームごとの増減および閾値を表すグラフである。
【図１７】制御手段における先行車追従制御の一時停止の開始や解除の基準を概念的に表す図である。
【図１８】基準画像上での車線候補点の検出の手法を説明する図である。
【図１９】基準画像上に検出された左右の車線を示す図である。
【図２０】変形例における検出装置の構成を示すブロック図である。
【図２１】スミアが発生している場合のヒストグラムへの投票状況の一例を表す図である。
【図２２】基準画像にあてはめられて設定された画素列を説明する図である。
【図２３】基準画像における中央上部に設定された監視領域を説明する図である。
【図２４】フレアやスミアが発生している画像の一例を示す図である。
【図２５】（Ａ）基準画像の一例を示す写真であり、（Ｂ）（Ａ）の基準画像より全体的に暗く撮像された比較画像を示す写真である。
【符号の説明】
【０１８７】
１  運転支援システム
２  検出装置
３  先行車追従制御装置（運転支援装置）
２１  撮像手段
２１ａ、２１ｂ  一対のカメラ（メインカメラ、サブカメラ）
２６ａ  第１ステレオマッチング手段
２６ｂ  第２ステレオマッチング手段
２９  検出手段
２９Ｂ  先行車両検出手段
２９Ｃ  計数手段
２９Ｄ、２９Ｅ  撮像環境判定手段
３１  制御手段
Ａ  自車両
Ｃ  カウント数
Ｃth１  第１閾値
Ｃth２  第２閾値
Ｄｎ、Ｄｎ１〜Ｄｎ４  画素列
ｄｐ  視差
ｄｐ１  第１視差
ｄｐ２  第２視差
ＬＬ、ＬＲ  車線
Ｎ  有効なデータの数
Ｎth  閾値
ＰＢO  画素ブロック
ｐ１i,j  輝度値
Ｒ  監視領域
ＴC  比較画像
ＴO  基準画像（画像）
ＴＥC  比較画像に前処理が施された画像（比較エッジ画像）
ＴＥO  基準画像に前処理が施された画像（基準エッジ画像）
ＴZ  距離画像
ＴZ１  第１距離画像
ＴZ２  第２距離画像
Ｖah  先行車両（特定の対象）
Ｚ  距離
α  撮像環境の悪化の程度が最も改善されている段階
β  撮像環境の悪化の程度が中間の段階
γ  撮像環境の悪化の程度が最も悪い段階
Δｄｐth  閾値
【図１】
0005172422.tif 000003
【図２】
0005172422.tif 000004
【図３】
0005172422.tif 000005
【図４】
0005172422.tif 000006
【図５】
0005172422.tif 000007
【図７】
0005172422.tif 000008
【図８】
0005172422.tif 000009
【図９】
0005172422.tif 000010
【図１０】
0005172422.tif 000011
【図１１】
0005172422.tif 000012
【図１２】
0005172422.tif 000013
【図１３】
0005172422.tif 000014
【図１５】
0005172422.tif 000015
【図１６】
0005172422.tif 000016
【図１７】
0005172422.tif 000017
【図１８】
0005172422.tif 000018
【図１９】
0005172422.tif 000019
【図２０】
0005172422.tif 000020
【図２１】
0005172422.tif 000021
【図２２】
0005172422.tif 000022
【図２３】
0005172422.tif 000023
【図２４】
0005172422.tif 000024
【図６】
0005172422.tif 000025
【図１４】
0005172422.tif 000026
【図２５】
0005172422.tif 000027