(57)【特許請求の範囲】
【請求項１】
撮像部と、前記撮像部からの画像の濃度を認識する画像認識部と、前記画像認識部の認識結果に基づいて露出値を制御する露出値制御部とを有する画像処理装置において、
前記露出値制御部は、前記露出値を自動制御している露出値自動制御期間中に、露出値を最大露出値とする最大露出値期間および最小露出値とする最小露出値期間を挿入し、
前記画像認識部は、
前記露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が前記最小露出値期間に撮像された画像においても検出された場合、または、当該異常状態が前記最大露出値期間に撮像された画像においても検出された場合に、当該異常状態が撮像に不適切な環境に起因するものではなく、前記撮像部の異常に起因するものであると判定することを特徴とする画像処理装置。
【請求項２】
前記露出値制御部は、前記露出値自動制御期間、前記最大露出値期間および前記最小露出値期間を同一の時間をもって所定の順番にしたがって行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記露出値制御部は、前記露出値自動制御期間が、前記最大露出値期間および前記最小露出値期間よりも長くなるよう制御することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮像部と、前記撮像部からの画像の濃度を認識する画像認識部と、前記画像認識部の認識結果に基づいて露出値を制御する露出値制御部とを有する画像処理装置において、
前記露出値制御部は、前記露出値を自動制御している露出値自動制御期間中に、露出値を最大露出値とする最大露出値期間および最小露出値とする最小露出値期間を挿入し、
前記画像認識部は、
前記露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が前記最小露出値期間に撮像された画像においても検出され、かつ、次の前記最小露出値期間に撮像された画像においても検出された場合、または、当該異常状態が前記最大露出値期間に撮像された画像においても検出され、かつ、次の前記最大露出値期間に撮像された画像においても検出された場合に、当該異常状態が前記撮像部の異常に起因するものであると判定し、
前記露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が前記最小露出値期間に撮像された画像においても検出されたものの次の前記最小露出値期間に撮像された画像においては検出されなかった場合、または、当該異常状態が前記最大露出値期間に撮像された画像においても検出されたものの次の前記最大露出値期間に撮像された画像においては検出されなかった場合に、当該異常状態が撮像に不適切な環境に起因するものであると判定することを特徴とする画像処理装置。
【請求項５】
前記画像認識部は、
前記露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が前記最小露出値期間に撮像された画像においても検出された場合、または、当該異常状態が前記最大露出値期間に撮像された画像においても検出された場合に、撮像環境を変化させたうえで撮像することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
車両周辺の画像を撮影、もしくは車両周辺を撮影した画像を外部の装置から受信し、当該画像の濃度を認識する画像認識手段と、
前記画像認識手段によって認識された画像の濃度分布に基づいて撮影時における露出値を制御するとともに、露出値を自動制御している露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と
を備え、
前記画像認識手段は、
前記露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が前記最小露出値期間に撮像された画像においても検出された場合、または、当該異常状態が前記最大露出値期間に撮像された画像においても検出された場合に、当該異常状態が撮像に不適切な環境に起因するものではなく、前記撮像部の異常に起因するものであると判定することを特徴とする画像処理装置。
【請求項７】
撮像部からの画像の濃度を認識し、当該認識結果に基づいて撮影時における露出値を制御するとともに、露出値を自動制御している露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、前記露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が前記最小露出値期間に撮像された画像においても検出された場合、または、当該異常状態が前記最大露出値期間に撮像された画像においても検出された場合に、当該異常状態が撮像に不適切な環境に起因するものではなく、前記撮像部の異常に起因するものであると判定する画像処理装置と、
前記画像処理装置が処理を施した画像情報を取得する画像情報取得手段と、
前記画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、
前記画像処理装置が使用する撮像部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作内容を変更する支援動作変更手段と
を備えたことを特徴とする運転支援装置。
【請求項８】
撮像部が撮像した画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像の濃度分布に基づいて撮影時における露出値を制御するとともに、露出値を自動制御している露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と、
前記露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が前記最小露出値期間に撮像された画像においても検出された場合、または、当該異常状態が前記最大露出値期間に撮像された画像においても検出された場合に、当該異常状態が撮像に不適切な環境に起因するものではなく、前記撮像部の異常に起因するものであると判定する故障判定手段と
前記画像を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と
を備えたことを特徴とする運転支援装置。
【請求項９】
請求項１、４または６に記載の画像処理装置と、
前記画像処理装置が処理を施した画像情報を取得する画像情報取得手段と、
少なくとも前記画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、
前記画像処理装置が使用する撮像部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作内容を変更する支援動作変更手段と、
を備えたことを特徴とする運転支援システム。
【請求項１０】
前記画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途のうち少なくともいずれか一つに基づいて前記最大露出期間および最小露出期間の挿入タイミングおよび／または挿入間隔を設定して送信するタイミング設定手段
をさらに備えたことを特徴とする請求項９に記載の運転支援システム。
【請求項１１】
前記タイミング設定手段は、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度、のいずれかを少なくとも用いて前記挿入タイミングおよび／または挿入間隔を設定することを特徴とする請求項１０に記載の運転支援システム。
【請求項１２】
前記支援手段は、車線の逸脱を防止するレーンキーピング支援、車間距離の調節を支援する車間距離調節支援、車両の衝突事故を回避する衝突回避支援、衝突事故発生時の損傷を軽減する衝突緩和支援、駐車動作を簡易化する駐車支援、のいずれかを少なくとも実行することを特徴とする請求項９、１０または１１に記載の運転支援システム。
【請求項１３】
前記支援動作変更手段は、前記撮像部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作を中止することを特徴とする請求項９〜１２のいずれか一つに記載の運転支援システム。
【請求項１４】
前記支援手段は、車両の動作制御による支援を実行し、前記支援動作変更手段は、前記撮像部に異常が発生したことを示す通知を受けた場合に、他の検知手段を前記画像処理手段の代替手段として用いて前記支援手段を動作させることを特徴とする請求項９〜１３のいずれか一つに記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、運転支援装置および運転支援システムに関し、特に画像処理のできない画像が撮像された場合の原因が撮像手段の異常または環境が撮像に不適切な状態にあるのかを短時間で判断することができる画像処理装置、この画像処理装置を利用する運転支援装置および運転支援システムに関するものである。
【背景技術】
【０００２】
近年、車両の走行にかかる各種情報を撮像し、車両事故の防止、車両走行や車両駐車のアシストを行う技術の開発が進められている。車両走行にかかる各種情報は、車両にカメラ等の撮像装置を装着することによって取得し、このカメラ等で撮像された画像を演算、加工処理することによって車両事故を防止するための情報等を得ている。カメラを自動車等の車両に装着する場合、カメラは太陽光の影響を受けるため、光源の状況が常に変化する。このため、カメラのシャッタースピードや絞り等の制御が光源の状況変化に追いつかない場合が生じることがある。また、シャッタースピードや絞り等の制御範囲では対応できない白飛びや黒つぶれが生じる場合がある。
【０００３】
このような、光源の状況変化にカメラの制御が追いつかない場合やカメラの制御範囲では対応できない白飛びや黒つぶれの場合は、撮像した画像信号の処理ができないため「カメラによって得られた画像を異常状態で撮像した画像であって画像処理のできないもの」と判断する必要がある。異常状態で画像を撮像した場合であってもカメラが故障していない場合は、所定時間の経過後に正常状態の画像を撮像することができるが、カメラが故障している場合等は、所定時間の経過後であっても正常状態の画像を撮像することはできない。このため、白飛びや黒つぶれの画像を撮像した場合はカメラが故障しているか否かの判断を行う必要がある。
【０００４】
また、車両は高速で走行したり、方向転換を行うため、カメラの光源の状況も高速で変化する。したがって、カメラで撮像された画像の情報処理も高速で行う必要があり、前述の異常状態で撮像した画像に対してもこの異常状態が一時的な環境の変化によるものであるのか、カメラ自体の故障によるものであるかを速く判断して車両の運転者に通知する必要がある。
【０００５】
特許文献１に記載のビデオカメラ用露出制御装置は、入力された被写体画像の輝度信号が、予め設定されたクリップレベル以上である場合、被写体画像の輝度信号を同一輝度信号にする高輝度クリップ回路を設けている。高輝度クリップ回路は、逆光シーンで適正な測光情報をえるため低クリップレベルと逆光シーン以外の撮影シーンで適正な測光情報を得るための高クリップレベルとの間でクリップレベルを変更している。そして、高輝度クリップ回路を通過した輝度情報からの測光情報に基づいてアイリスを制御している。また、低クリップレベルと高クリップレベルとの間でクリップレベルを変更する場合には、クリップレベルを徐々にまたは所定の時間遅れをもたせて変更している。
【０００６】
【特許文献１】特開平５−１２２６００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術によれば、予め設定されたクリップレベル以上の輝度信号を同一輝度信号にして逆光シーンでの適正な測光情報を得ることはできるが、予め設定されたクリップレベル以上の輝度信号が一時的な環境の変化によるものであるのか、ビデオカメラ自体の故障によるものであるかを判断することはできないといった問題があった。
【０００８】
本発明は、上記に鑑みてなされたものであって、画像処理のできない画像が撮像された場合の原因が撮像手段の異常または環境が撮像に不適切な状態にあるのかを短時間で判断することができる画像処理装置、これを利用する運転支援装置および運転支援システムを得ることを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明は、撮像部（図２に示すカメラ１１に対応する）と、前記撮像部からの画像の濃度を認識する画像認識部（図２に示す画像認識部１２に対応する）と、前記画像認識部の認識結果に基づいて露出値を制御する露出値制御部（図２に示す露出値制御部１３に対応する）とを有する画像処理装置（図２に示す画像処理装置１に対応する）において、前記露出値制御部は、前記露出値を自動制御している露出値自動制御期間中（図７−１に示す通常露出値画像Ａ１〜Ａ４に対応する）に、露出値を最大露出値とする最大露出値期間（図７−１に示す最大露出値画像Ｂ１〜Ｂ３に対応する）および最小露出値とする最小露出値期間（図７−１に示す最小露出値画像Ｃ１〜Ｃ３に対応する）を挿入し、前記画像認識部は、その認識結果に応じて、撮像手段の異常または環境が撮像に不適切な状態にあることを判断することを特徴とする。
【００１０】
本発明によれば、露出値制御部が、露出値自動制御期間中に、最大露出値期間および最小露出値期間を挿入し、画像認識部が、撮像手段の異常または環境が撮像に不適切な状態にあることを判断しているので、露出値制御期間中に画像を撮像しながら、撮像手段の異常または環境が撮像に不適切な状態にあることを判断できる。
【００１１】
また、本発明は、前記露出値制御部は、露出値自動制御期間、最大露出値期間および最小露出値期間を同一の時間をもって所定の順番にしたがって行うことを特徴とする。
【００１２】
本発明によれば、露出値制御部は、露出値自動制御期間、最大露出値期間および最小露出値期間を同一の時間をもって所定の順番にしたがって行っているので、露出値自動制御期間の撮像と同一の時間間隔で最大露出値、最小露出値の撮像を行うことができる。
【００１３】
また、本発明は、前記露出値制御部は、露出値自動制御期間が、最大露出値期間および最小露出値期間よりも長くなるよう制御することを特徴とする。
【００１４】
本発明によれば露出値制御部は、露出値自動制御期間が、最大露出値期間および最小露出値期間よりも長くなるよう制御しているので、露出値自動制御期間の撮像が、最大露出値期間および最小露出値期間の撮像よりも長くなる。
【００１５】
また、本発明は、前記画像認識部は、前記露出値自動制御期間に撮像された画像に擬似信号であるスミアまたはゴーストが発生していることを認識した場合であって、前記最小露出値期間に撮像された画像にスミアまたはゴーストが発生していないことを認識した場合は、前記露出値自動制御期間における露出値が不適切であると判断することを特徴とする。
【００１６】
本発明によれば画像認識部は、最小露出値期間に撮像された画像にスミアまたはゴーストが発生していないことを認識した場合に、露出値自動制御期間における露出値が不適切であると判断するので、露出最小値で撮像した画像にスミアやゴーストが発生しているか否かを判断するだけで画像を撮像した露出値が不適切であるか否かの判断を容易に行うことができる。
【００１７】
また、本発明は、前記画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合または最大露出値期間に撮像された画像が白飛び状態である場合に、撮像手段の異常または環境が撮像に不適切な状態にあると判断することを特徴とする。
【００１８】
本発明によれば画像認識部は、画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合または最小露出値期間に撮像された画像が白飛び状態である場合に、撮像手段の異常または環境が撮像に不適切な状態にあると判断をするので、最大露出値期間に撮像された画像が黒つぶれ状態であること、最大露出値期間に撮像された画像が白飛び状態であることを認識するだけで、撮像手段の異常または環境が撮像に不適切な状態にあるか否かの判断を容易に行うことができる。
【００１９】
また、本発明は、前記画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合は、露出値を最大にして撮像される画像が黒つぶれ状態にならないように撮像環境を変えた後、最大露出値期間に撮像された画像が黒つぶれ状態である場合は撮像手段の異常であると判断し、黒つぶれ状態でない場合は環境が撮像に不適切な状態にあると判断することを特徴とする。
【００２０】
本発明によれば画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合は、撮像環境を変えた後、最大露出値期間に撮像された画像が黒つぶれ状態である場合は撮像手段の異常であると判断し、黒つぶれ状態でない場合は環境が撮像に不適切な状態にあると判断しているため、最大露出値期間における２回の撮像によって撮像手段の異常を判断することができる。
【００２１】
また、本発明は、前記露出値を最大にして撮像される画像が黒つぶれ状態にならないような撮像環境は、前記撮像手段が所定の光源を撮像する撮像環境であることを特徴とする。
【００２２】
本発明によれば、露出値を最大にして撮像される画像が黒つぶれ状態にならないような撮像環境は、撮像手段が所定の光源を撮像する撮像環境であるため、所定の光源を撮像するだけで、撮像手段の異常を判断することができる。
【００２３】
また、本発明は、前記画像認識部は、最小露出値期間に撮像された画像が白飛び状態である場合は、露出値を最小にして撮像される画像が白飛び状態にならないように撮像環境を変えた後、最小露出値期間に撮像された画像が白飛び状態である場合は撮像手段の異常であると判断し、白飛び状態でない場合は環境が撮像に不適切な状態にあると判断することを特徴とする。
【００２４】
本発明によれば画像認識部は、最小露出値期間に撮像された画像が白飛び状態である場合は、撮像環境を変えた後、最小露出値期間に撮像された画像が白飛び状態である場合は撮像手段の異常であると判断し、白飛び状態でない場合は環境が撮像に不適切な状態にあると判断しているため、最小露出値期間における２回の撮像によって撮像手段の異常を判断することができる。
【００２５】
また、本発明は、前記露出値を最小にして撮像される画像が白飛び状態にならないような撮像環境は、前記撮像手段に光源を入れないで撮像する撮像環境であることを特徴とする。
【００２６】
本発明によれば露出値制御部は、露出値を最小にして撮像される画像が白飛び状態にならないような撮像環境は、撮像手段に光源を入れないで撮像する撮像環境であるため、光源を入れないよう撮像するだけで、撮像手段の異常を判断することができる。
【００２７】
また、本発明は、前記画像認識部は、前記撮像手段による撮影が奇数段目と偶数段目の２回の走査に分けて行うインターレース方式である場合は、１回の走査で得た画像によって濃度認識を行うことを特徴とする。
【００２８】
本発明によれば画像認識部は、撮像手段がインターレース方式で撮像して、１回の走査で得た画像によって濃度認識を行うので、画像の濃度認識が終わるまでの時間を短縮することができる。
【００２９】
また、本発明は、前記画像認識部は、前記インターレース方式である場合、１回目の走査で得た画像によって黒つぶれ状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断することを特徴とする。
【００３０】
本発明によれば画像認識部は、撮像がインターレース方式である場合に、１回目の走査で得た画像によって黒つぶれ状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、黒つぶれ状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる。
【００３１】
また、本発明は、前記画像認識部は、前記インターレース方式である場合、１回目の走査で得た画像によって白飛び状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断することを特徴とする。
【００３２】
本発明によれば画像認識部は、撮像がインターレース方式である場合に、１回目の走査で得た画像によって白飛び状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、白飛び状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる。
【００３３】
また、本発明は、前記画像認識部において撮像手段が異常であると判断した場合は、前記撮像手段が異常であることを通知する通知部を備えることを特徴とする。
【００３４】
本発明によれば、前記撮像手段が異常であることを通知する通知部を備えるので、撮像手段の異常時に画像処理装置の使用者が撮像手段の異常を知ることができる。
【００３５】
また、本発明は、車両周辺の画像を撮影、もしくは車両周辺を撮影した画像を外部の装置から受信する画像取得手段と、前記画像取得手段が取得した画像の濃度分布に基づいて撮影時における露出値を制御するとともに、当該露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と、前記露出値自動制御期間、前記最大露出期間および／または前記最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する判定手段と、を備えたことを特徴とする。
【００３６】
本発明によれば画像処理装置は、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する。
【００３７】
また、本発明は、前記露出制御手段による前記最大露出期間および前記最小露出期間の挿入タイミングおよび／または挿入間隔を変更制御するタイミング変更部をさらに備えたことを特徴とする。
【００３８】
本発明によれば画像処理装置は、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御する。
【００３９】
また、本発明は、自車両の車両状態、自車両周辺の周辺状況、撮影画像の使用用途のうち少なくともいずれか一つに基づいて前記タイミング変更部による変更制御の内容を設定するタイミング設定部をさらに備えたこと特徴とする。
【００４０】
本発明によれば画像処理装置は、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、自車両の車両状態、自車両周辺の周辺状況、撮影画像の使用用途などに対応して最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御する。
【００４１】
また、本発明は、前記判定手段による判定結果を、外部の車両制御装置に出力する出力手段をさらに備えたことを特徴とする。
【００４２】
本発明によれば画像処理装置は、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定し、外部の車両制御装置に出力する。
【００４３】
また、本発明は、画像処理装置が処理を施した画像情報を取得する画像情報取得手段と、少なくとも前記画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、前記画像処理装置が使用する撮影部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作内容を変更する支援動作変更手段と、を備えたことを特徴とする。
【００４４】
本発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更する。
【００４５】
また、本発明は、画像の濃度分布に基づく露出自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出期間を挿入し、当該最大露出期間および最小露出期間に撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途のうち少なくともいずれか一つに基づいて前記最大露出期間および最小露出期間の挿入タイミングおよび／または挿入間隔を設定して送信するタイミング設定手段をさらに備えたことを特徴とする。
【００４６】
本発明によれば運転支援装置は、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信する。
【００４７】
また、本発明は、前記タイミング設定手段は、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度、のいずれかを少なくとも用いて前記挿入タイミングおよび／または挿入間隔を設定することを特徴とする。
【００４８】
本発明によれば運転支援装置は、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信する。
【００４９】
また、本発明は、前記支援手段は、車線の逸脱を防止するレーンキーピング支援、車間距離の調節を支援する車間距離調節支援、車両の衝突事故を回避する衝突回避支援、衝突事故発生時の損傷を軽減する衝突緩和支援、駐車動作を簡易化する駐車支援、のいずれかを少なくとも実行することを特徴とする。
【００５０】
本発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いてレーンキーピング支援、車間距離調節支援、衝突回避支援、衝突緩和支援、駐車支援などの支援を行うとともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更する。
【００５１】
また、本発明は、前記支援動作変更手段は、前記撮影部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作を中止することを特徴とする。
【００５２】
本発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援動作を中止する。
【００５３】
また、本発明は、前記支援手段は車両の動作制御による支援を実行し、前記支援動作変更手段は、前記撮影部に異常が発生したことを示す通知を受けた場合に、他の検知手段を前記画像処理手段の代替手段として用いて前記支援手段を動作させることを特徴とする。
【００５４】
本発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、他の検知手段を代替手段として支援動作を行う。
【００５５】
また、本発明は、撮影部が撮影した画像を取得する画像取得手段と、前記画像取得手段が取得した画像の濃度分布に基づいて撮影時における露出値を制御するとともに、当該露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と、前記露出値自動制御期間、前記最大露出期間および／または前記最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する判定手段と、少なくとも前記画像を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、を備えたことを特徴とする。
【００５６】
本発明によれば運転支援システムは、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定するとともに、画像を利用した車両走行の支援を行う。
【発明の効果】
【００５７】
本発明によれば、露出値制御期間中に画像を撮像しながら、撮像手段の異常または環境が撮像に不適切な状態にあることを判断できるので、撮像された画像が画面処理のできない画像であっても画像の撮像に適した撮像環境になれば画面処理のできる画像の撮像ができるのか、カメラが故障していて画像の撮像に適した撮像環境になっても画面処理のできる画像の撮像ができないのかを判断することができるという効果を奏する。
【００５８】
また、本発明によれば、露出値自動制御期間の撮像と同一の時間間隔で最大露出値、最小露出値の撮像を行うことができるので、露出値自動制御期間の撮像によって通常の画像を撮像する時間間隔と同一の時間間隔で、撮像手段の異常または環境が撮像に不適切な状態にあることを判断できる画像処理装置を得ることができるという効果を奏する。
【００５９】
また、本発明によれば、露出値自動制御期間の撮像が、最大露出値期間および最小露出値期間の撮像よりも長くなるため、露出値自動制御期間の撮像と同一の時間間隔で最大露出値、最小露出値の撮像を行う場合よりも、露出値自動制御期間の撮像によって得られる画像が多くなり、画面処理に用いることができる画像の撮像が多くなる画像処理装置を得ることができるという効果を奏する。
【００６０】
また、本発明によれば、最小露出値期間に撮像した画像にスミアやゴーストが発生しているか否かを判断するだけで画像を撮像した露出値が不適切であるか否かの判断を容易に行うことができ、露出値自動制御期間における露出値を適切な値に制御すれば、露出値自動制御期間にスミアやゴーストが発生しない画像を撮像できる。したがって、撮像環境が変化することを待たなくても画像の撮像を行い続けることができると判断のできる画像処理装置を得ることができるというという効果を奏する。
【００６１】
また、本発明によれば、最大露出値期間に撮像された画像が黒つぶれ状態であること、最大露出値期間に撮像された画像が白飛び状態であることを認識するだけで、撮像手段の異常または環境が撮像に不適切な状態にあるか否かの判断を容易に行うことができる画像処理装置を得ることができるという効果を奏する。
【００６２】
また、本発明によれば、最大露出値期間における２回の撮像によって撮像手段の異常を判断することができるので、撮像手段の異常を短時間で判断することができる画像処理装置を得ることができるという効果を奏する。
【００６３】
また、本発明によれば、所定の光源を撮像するだけで、撮像手段の異常を判断することができるので、簡易な構成で撮像手段の異常を判断することができる画像処理装置を得ることができるという効果を奏する。
【００６４】
また、本発明によれば、最小露出値期間における２回の撮像によって撮像手段の異常を判断することができるので、撮像手段の異常を短時間で判断することができる画像処理装置を得ることができるという効果を奏する。
【００６５】
また、本発明によれば、光源を入れないよう撮像するだけで、撮像手段の異常を判断することができるので、簡易な構成で撮像手段の異常を判断することができる画像処理装置を得ることができるという効果を奏する。
【００６６】
また、本発明によれば、インターレース方式で撮像した画像のうち、１回の走査で得た画像によって濃度認識を行うので、画像の濃度認識が終わるまでの時間を短縮することができる画像処理装置を得ることができるという効果を奏する。
【００６７】
また、本発明によれば、撮像がインターレース方式である場合に、１回目の走査で得た画像によって黒つぶれ状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、黒つぶれ状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる画像処理装置を得ることができるという効果を奏する。
【００６８】
また、本発明によれば、撮像がインターレース方式である場合に、１回目の走査で得た画像によって白飛び状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、白飛び状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる画像処理装置を得ることができるという効果を奏する。
【００６９】
また、本発明によれば、撮像手段の異常時に画像処理装置の使用者が撮像手段の異常を知ることができるので、撮像手段の異常に対して迅速に対応することが可能な画像処理装置を得ることができるという効果を奏する。
【００７０】
また、本発明によれば、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定するので、撮像手段の異常検知を迅速に実行可能な画像処理装置を得ることができるという効果を奏する。
【００７１】
また、本発明によれば、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御するので、撮像手段の異常検知を任意のタイミングと間隔で実行可能な画像処理装置を得ることができるという効果を奏する。
【００７２】
また、本発明によれば、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、自車両の車両状態、自車両周辺の周辺状況、撮影画像の使用用途などに対応して最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御するので、撮像手段の異常検知を状況に適応したタイミングと間隔で実行可能な画像処理装置を得ることができるという効果を奏する。
【００７３】
また、本発明によれば、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定し、外部の車両制御装置に出力するので、撮像手段の異常検知を迅速に実行し、他の装置に通知可能な画像処理装置を得ることができるという効果を奏する。
【００７４】
また、本発明によれば、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更するので、撮像手段に異常が生じた場合であっても誤動作を確実に防止可能な運転支援装置を得ることができるという効果を奏する。
【００７５】
また、本発明によれば、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信するので、必要なタイミングおよび間隔で画像処理装置に撮像手段の異常検知を実行させる運転支援装置を得ることができるという効果を奏する。
【００７６】
また、本発明によれば、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信するので、必要なタイミングおよび間隔で画像処理装置に撮像手段の異常検知を実行させる運転支援装置を得ることができるという効果を奏する。
【００７７】
また、本発明によれば、画像処理装置が処理を施した画像情報を用いてレーンキーピング支援、車間距離調節支援、衝突回避支援、衝突緩和支援、駐車支援などの支援を行うとともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更するので、撮像手段に異常が生じた場合であっても誤動作を確実に防止可能な運転支援装置を得ることができるという効果を奏する。
【００７８】
また、本発明によれば、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援動作を中止するので、撮像手段に異常が生じた場合に確実に支援動作中止可能な運転支援装置を得ることができるという効果を奏する。
【００７９】
また、本発明によれば、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、他の検知手段を代替手段として支援動作を行うので、撮像手段に異常が生じた場合であっても代替手段によって支援を継続可能な運転支援装置を得ることができるという効果を奏する。
【００８０】
また、本発明によれば、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定するとともに、画像を利用した車両走行の支援を行うので、撮像手段の異常検知を迅速に実行可能な運転支援システムを得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００８１】
以下に添付図面を参照し、この発明に係る画像処理装置、運転支援装置および運転支援システムの好適な実施例について説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００８２】
まず、本実施例１における画像処理装置の概要構成について説明する。図１は、本発明の実施例１である画像処理装置の概要構成を示す概要構成図である。同図に示すように、露出値制御部１３はカメラ１１の露出値を予め設定しておいた所定の周期に従って、通常露出値、露出最大値、露出最小値で制御する。ここでの露出値は、露出時間によって決められるものであり、露出時間が長い場合に露出値が大きくなり、露出時間が短い場合に露出値が小さくなるものとする。露出時間はシャッタースピードによって決まるものであり、段階的に制御できるものとする。例えば、シャッタースピードは１／６０秒、１／１２０秒、１／２４０秒のように段階的に制御する。したがって、露出値も段階的に制御されるものとする。なお、露出値は絞りによって制御するようにしてもよい。
【００８３】
ここで、通常露出値は、直前に撮像された画像の露出値よりも画像の露出値が最適値に近づくよう露出値を随時変更しながら設定制御される露出値をいう。露出最大値は、カメラ１１において制御可能な露出値の最大値をいい、露出最小値は、カメラ１１において制御可能な露出値の最小値をいう。例えば、露出値制御部１３を、１００ｍｓｅｃ毎に通常露出値、露出最大値、露出最小値の順番で制御して露出値を変更する。露出最大値とは露出時間を最も長く設定した状態を表し、露出最大値で撮像すると後述する白飛び状態が起こりやすい。一方、露出最小値とは露出時間を最も短く設定した状態を表し、露出最小値で撮像すると後述する黒つぶれ状態が起こりやすい。
【００８４】
画像認識部１２は、カメラ１１から供給される画像と、この画像をカメラ１１において撮像した際のカメラ１１の露出値とから、カメラ１１において撮像した画像が、明るい部分の濃度階調が失われた白飛び、カメラ１１の撮像画面に高輝度のスポット光が入った場合にカメラ１１の画面上に明るい縦方向の帯が発生するスミア、暗い部分の濃度階調が失われた黒つぶれ等であるか否かの判定を行う。また、このときカメラ１１の故障が発生しているか否かの判定も行う。
【００８５】
そして、カメラ１１において撮像した画像が白飛び、スミア、黒つぶれであると判定した場合には、このような画像の撮像が一時的な環境の変化によるものであるのか、カメラ１１自体の故障によるものであるかを判断する。
【００８６】
例えば、通常露出値で得られた画像が白飛びであった場合、この後に所定の条件下であって露出最小値で得られた画像が白飛びをしている否かを確認する。そして、露出最小値で得られた画像が白飛びをしている場合には、カメラ１１の故障と判定する。
【００８７】
一方、通常露出値で得られた画像が黒つぶれであった場合、この後に所定の条件下であって露出最大値で得られた画像が黒つぶれをしている否かを確認する。そして、露出最大値で得られた画像が黒つぶれをしている場合には、カメラ１１の故障と判定する。なお、ここでの白飛び、黒つぶれは画像の濃度階調と濃度階調毎の画面上の画素数に基づいて判断するものとする。
【００８８】
図２は、本発明の実施例１である画像処理装置の構成を示す図である。同図に示すように画像処理装置１は、カメラ１１、画像認識部１２、露出値制御部１３、モニタ１４、故障判定部１５および報知部１６からなる。なお、本発明の目的を達成するためには、必ずしもモニタ１４と報知部１６は必要なく、画像認識部での演算結果や判定結果を出力するものがあればよい。カメラ１１は、所定の露出値で車両の前方や後方等の所定の方向を撮像し、撮像した画像を画像データとして画像認識部１２に供給する。
【００８９】
画像認識部１２は、故障判定部１５を備え、カメラ１１、露出値制御部１３、モニタ１４、報知部１６と接続されている。画像認識部１２は、カメラ１１からの画像データを演算処理してモニタ１４に供給するとともに、カメラ１１から供給される画像の階調と階調毎の画面上の画素数を求める。そして、画像の階調毎の画素数および露出値制御部１３から供給される露出値の情報に基づいて、カメラ１１から供給される画像が白飛び、スミア、黒つぶれであるか否かの判定を行う。
【００９０】
故障判定部１５は、画像の階調毎の画素数および露出値制御部１３から供給される露出値の情報に基づいて、カメラ１１が故障しているか否かの判定を行う。露出値制御部１３は、予め設定しておいた所定の周期でカメラ１１の露出値を制御する。このときの露出値は、通常露出値、露出最大値、露出最小値にする場合の３通りの露出値を所定の周期に従って変更するよう制御する。
【００９１】
モニタ１４は、画像認識部１２で演算処理された画像データを画像として表示させる。報知部１６は、故障判定部１５でカメラ１１の故障であると判定された場合に、画像処理装置１の使用者にカメラ１１が故障していることを警告ランプ、警告音、警告表示等によって通知する。なお、本実施例１においては、モニタ１４と報知部１６を別々の構成としてが、モニタ１４が報知部１６を備える構成としてもよい。
【００９２】
次に、図２に示した画像認識部において認識される画像の階調と各階調における画素数の関係について説明する。図３〜５は、濃度ヒストグラムを示した図である。濃度ヒストグラムは画像の輝度分布を表すものである。横軸は画像データをデジタル変換したときの明るさを示す濃度の階調であり、例えば０（黒）〜２５５（白）で表される。縦軸は、その濃度を示す画素数を示している。
【００９３】
図３は、画像が明るすぎる場合の濃度ヒストグラムの一例を示す図である。例えば、逆光の場合やカメラ１１の露出値が適正な値よりも大きい場合は濃度の高い画素数が多くなる。例えば、濃度２０１以上の画素数の全体の画素数に占める割合が所定値以上である場合の画像を白飛びであると判断する。また、画像の全体濃度の平均値によって、画像が白飛びであるか否かの判断をしてもよい。例えば、画像の全体濃度の平均値が２０１以上のとき白飛びであると判断する。
【００９４】
画像にスミアが発生した場合の画像の濃度について説明する。画像を垂直方向の直線で分割することによって画像の水平方向の位置が同じ画素を１つのブロックとし、ブロック毎の画素の濃度の合計値を求める。例えば、画像の水平方向に３００画素が並んでいる場合、画像を垂直方向の直線によって３００等分して３００個のブロックに分割する。そして、各ブロック内の画素の濃度の合計値を求める。
【００９５】
図４は、画像に発生したスミアの検出を説明するための図である。図４において、横軸は画像の水平方向の位置を示し、縦軸はブロック毎の各画素の濃度の合計値を示している。図４において濃度ピークが存在するか否かを判断し、濃度ピークが存在する場合は、これを第１ピークとして抽出する。第１ピークの両側±ｎ画素分（ｎは所定の自然数）の位置に濃度ピークが存在するか否かを判断し、濃度ピークが存在する場合はこれを第２ピークとして抽出する。そして、第１ピークの濃度の合計値と第２ピークの濃度の合計値の差の絶対値が所定値以上である場合、第１ピークと第２ピークのうち濃度の合計値の大きい方をスミアと判断する。
【００９６】
図５は、画像が暗すぎる場合の濃度ヒストグラムの一例である。例えば、光源の全く無い場合やカメラ１１の露出値が適正な値よりも小さい場合は濃度の低い画素数が多くなる。例えば濃度５１未満の画素数の全体の画素数に占める割合が所定値以上である場合の画像を黒つぶれであると判断する。また、画像の全体濃度の平均値によって、画像が黒つぶれであるか否かの判断をしてもよい。例えば、画像の全体濃度の平均値が５１以下のときは黒つぶれであると判断する。
【００９７】
図６は、露出バランスが良い場合の濃度ヒストグラムの一例である。光源に対するカメラ１１の露出値を適正な値で撮像した場合は濃度の高い画素数と濃度の低い画素数の割合が偏ることなく分布する。
【００９８】
次に、露出値制御部１３での露出値の制御手順について説明する。図７−１は、カメラ１１を通常露出値制御で撮像する場合を説明するための図であり、図７−２は、カメラ１１を通常露出値、露出最大値、露出最小値の順番で制御して撮像する場合を説明するための図である。露出値制御部１３は所定の時間間隔で露出値を変更するよう制御する。ここでは、３３ｍｓｅｃに１回の割合でカメラ１１が１つの画像を撮像し、画像認識部１２が画像の濃度を認識するのに１００ｍｓｅｃを要する場合について説明する。
【００９９】
図７−１においては、３３ｍｓｅｃ毎に通常露出値での画像（以下、通常露出値画像という）を撮像し（１秒間に３０枚の画像を撮像）、１００ｍｓｅｃ毎に撮像された画像の濃度を認識している場合を示している。画像認識が行われる毎に露出値を直前に撮像された画像の露出値よりも最適値に近づくよう変更している。ここでは、画像の濃度を認識するのに１００ｍｓｅｃを要しているため、画像の露出値を変更するのに１００ｍｓｅｃ遅延することとなる。
【０１００】
通常露出値画像Ａ１は画像認識Ｘ１に示す間に濃度認識され、通常露出値画像Ａ２は画像認識Ｘ２に示す間に濃度認識されている。以下、同様に通常露出値画像Ａ３は画像認識Ｘ３に示す間に濃度認識され、通常露出値画像Ａ４は画像認識Ｘ４に示す間に濃度認識され、通常露出値画像Ａ５は画像認識Ｘ５に示す間に濃度認識されている。
【０１０１】
画像認識Ｘ１によって通常露出値画像Ａ１の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ５を撮像する。また、画像認識Ｘ２によって通常露出値画像Ａ２の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ６を撮像する。さらに、画像認識Ｘ３によって通常露出値画像Ａ３の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ７を撮像する。以下、同様に画像の濃度認識をすると、この濃度認識に基づいてカメラ１１の露出値が最適値に近づくよう変更して通常露出値画像を撮像する動作を繰り返す。
【０１０２】
ここでは撮像した通常露出値画像Ａ１の濃度分布が画像認識Ｘ１で暗い濃度に偏っていると判断した場合を示している。このため、通常露出値画像Ａ５においては通常露出値画像Ａ１〜Ａ４よりも露出値が１段階高くなるよう変更して撮像している。
【０１０３】
さらに、撮像した通常露出値画像Ａ２の濃度分布が画像認識Ｘ２で暗い濃度に偏っていると判断した場合を示している。このため、通常露出値画像Ａ６においては通常露出値画像Ａ５よりも露出値が１段階高くなるよう変更して撮像している。
【０１０４】
さらに、撮像した通常露出値画像Ａ３の濃度分布が画像認識Ｘ３で暗い濃度に偏っていると判断した場合を示している。このような画像の濃度分布が暗い濃度に偏っていると判断した場合であっても、通常露出値画像Ａ５が最大の露出値で撮像されているため、通常露出値画像Ａ６は通常露出値画像Ａ５と同じ最大の露出値で撮像する。
【０１０５】
このように、撮像した画像の濃度分布が暗い濃度に偏っていると判断された場合は、所定の段階ずつ露出値を大きくするよう変更している。そして、カメラ１１の故障により出力される画像が黒つぶれ状態の場合であっても、このような段階的な露出値の変更が行われる。このため、カメラ１１が故障している場合であっても、通常露出値画像Ａ１を撮像した後、通常露出値画像Ａ６を撮像するまでは露出の最大値で撮像されることはない。
【０１０６】
さらに、通常露出値画像Ａ１を撮像した後も所定時間の間、露出の最大値で撮像を続けるとともに、この間に撮像された画像の濃度分布から画像が黒つぶれであると判断され続けなければカメラ１１が故障していることを検出できない。
【０１０７】
さらに、画像が黒つぶれしているものの画像の黒つぶれが環境の変化による一時的なものであり、所定の時間経過後には画像処理装置１が復帰するものと予測できるのか、カメラ１１の故障によって所定の時間経過後であっても画像処理装置１は復帰しないのかの判定も困難である。
【０１０８】
なお、画像認識部１２によって画像の濃度分布が明るい濃度に偏っていると判断された場合は、次の撮像の露出値を１段階低く変更する。また、画像認識部１２によって画像の濃度分布が適切であると判断された場合は、次の撮像の露出値を変更させない。
【０１０９】
図７−２は、３３ｍｓｅｃ毎に通常露出値画像、露出最大値での画像（以下、最大露出値画像という）、露出最小値での画像（以下、最小露出値画像という）を順番に撮像し、１００ｍｓｅｃ毎に通常露出値画像の濃度を認識している場合を示している。
【０１１０】
通常露出値画像の画像認識が行われる毎に通常露出値を、直前に撮像された通常露出値画像の通常露出値よりも最適値に近づくよう変更している。ここでは、３３ｍｓｅｃ毎に通常露出値画像、最大露出値画像、最小露出値画像を順番に撮像し、画像の濃度を認識するのに１００ｍｓｅｃを要しているため、画像の露出値を変更するのに１６７ｍｓｅｃ遅延することとなる。
【０１１１】
通常露出値画像Ａ１は画像認識Ｘ１に示す間に濃度認識され、通常露出値画像Ａ２は画像認識Ｘ２に示す間に濃度認識され、通常露出値画像Ａ３は画像認識Ｘ３に示す間に濃度認識されている。以下、同様に通常露出値画像は画像の撮像後１００ｍｓｅｃ間で濃度認識されるものとする。
【０１１２】
画像認識Ｘ１によって通常露出値画像Ａ１の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ３を撮像する。また、画像認識Ｘ２によって通常露出値画像Ａ２の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ４を撮像する。さらに、画像認識Ｘ３によって通常露出値画像Ａ３の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ５（図示せず）を撮像する。以下、同様に通常露出値画像の濃度認識をすると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像を撮像する動作を繰り返すものとする。
【０１１３】
また、通常露出値画像Ａ１の後に最大露出値画像Ｂ１、最小露出値画像Ｃ１を撮像している。さらに、通常露出値画像Ａ２の後に最大露出値画像Ｂ２、最小露出値画像Ｃ２を撮像している。
【０１１４】
最大露出値画像Ｂ１は、画像認識Ｙ１に示す間に濃度認識され、最大露出値画像Ｂ２は画像認識Ｙ２に示す間に濃度認識され、最大露出値画像Ｂ３は画像認識Ｙ３に示す間に濃度認識されている。以下、同様に最大露出値画像は最大露出値画像の撮像後１００ｍｓｅｃ間で濃度認識されるものとする。
【０１１５】
また、最小露出値画像Ｃ１は画像認識Ｚ１に示す間に濃度認識され、最小露出値画像Ｃ２は画像認識Ｚ２に示す間に濃度認識されている。以下、同様に最小露出値画像は最小露出値画像の撮像後１００ｍｓｅｃ間で濃度認識されるものとする。
【０１１６】
画像認識Ｙ１による最大露出値画像Ｂ１と画像認識Ｙ２による最大露出値画像Ｂ２の濃度を認識し、この濃度認識に基づいてカメラ１１の故障を判定する。以下、同様に最大露出値画像の濃度を２回認識することによってカメラ１１の故障を判定するものとする。
【０１１７】
ここでは撮像した通常露出値画像Ａ１の濃度分布が画像認識Ｘ１で暗い濃度に偏っていると判断した場合を示している。このため、通常露出値画像Ａ３においては通常露出値画像Ａ１，Ａ２よりも露出値が１段階高くなるよう変更して撮像している。
【０１１８】
露出値が小さく設定されていたために通常露出値画像Ａ１が黒つぶれ状態の画像となった場合であっても、最大露出値画像Ｂ１が黒つぶれ状態でなければ通常露出値画像Ａ２を撮像する際に通常露出値を最適化することによって黒つぶれ状態でない画像を撮像できるため画像処理装置１は以後通常露出値を変更しながら撮像するとともに露出最大値、露出最小値の順番で撮像する通常の動作を続けることとなる。このように１回目の最大露出値画像Ｂ１によって、露出値を最適化すれば黒つぶれ状態でない画像を撮像できるか否かを判定する（以下、黒つぶれ判定という）。なお、撮像された画像が黒つぶれ状態であるか否かの判定精度を上げるため、最大露出値画像を複数枚撮像した後、黒つぶれ判定をしてもよい。
【０１１９】
一方、露出値が最大で撮像される最大露出値画像Ｂ１が黒つぶれ状態である場合は、カメラ１１によって制御可能な露出値では撮像できない撮像に不適切な環境下（以下、限界環境下という）であるか、カメラ１１が故障しているかのいずれかであると判断する。
【０１２０】
限界環境下であるか、カメラ１１が故障しているかのいずれかであると判断した場合、次の最大露出値画像Ｂ２によって両者どちらが原因であるかを判断する（以下、故障判定という）。ここで、限界環境下であるかカメラ１１の故障であるかを区別する方法としては、例えばどれだけ暗い環境下であってもカメラ１１が露出最大値である場合は画像が黒つぶれしないで撮像できる光源をカメラ１１の前に搭載しておく。
【０１２１】
そして、次の最大露出値画像である最大露出値画像Ｂ２を撮像する際に、この光源を撮像する。露出最大値でこの光源を黒つぶれ状態でなく撮像できた場合は限界環境下であると判断し、露出最大値であってもこの光源が黒つぶれ状態で撮像される場合はカメラ１１の故障であると判断する。
【０１２２】
なお、カメラ１１の前に光源を搭載する場合に限られず車両が搭載しているヘッドライトによる明るさを濃度認識できた場合は、限界環境下であると判断し、車両が搭載しているヘッドライトによる明るさを濃度認識できない場合はカメラ１１の故障であると判断してもよい。
【０１２３】
さらに、車両が走行している時間帯（昼と夜等）、車両の走行している環境（雨、雪、霧、トンネル内等）の情報を考慮して限界環境下であるかカメラ１１の故障かを判断してもよい。なお、カメラ１１の故障であるか否かの判定精度を上げるため、最大露出値画像を複数枚撮像した後、限界環境下であるかカメラ１１の故障であるかを判断してもよい。
【０１２４】
限界環境下であると判断された場合は、カメラ１１によって制御可能な露出値の範囲内で撮像できるような撮像環境に変化するのを待つこととなる。一方、カメラ１１の故障による撮像であると判断された場合は、画像処理装置１はカメラ１１の故障を報知部１６によって画像処理装置１の使用者に通知する。なお、限界環境下であることを報知部１６によって画像処理装置１の使用者に通知してもよい。
【０１２５】
このように、通常露出値画像Ａ１が黒つぶれ状態の画像であった場合であっても、通常露出値画像Ａ１を撮像した後、最大露出値画像Ｂ１を撮像しているため、黒つぶれ状態が露出値が小さいために引き起こされたものであるか否かの判断をすることができる。
【０１２６】
さらに、どれだけ暗い環境下であってもカメラ１１が露出最大値である場合は黒つぶれしないで撮像できるきる光源をカメラ１１の前に搭載し、最大露出値画像Ｂ２を撮像する際にこの光源を撮像しているので、最大露出値画像Ｂ１が黒つぶれ状態の画像であってもカメラ１１の故障が原因であるか否かの判定を行うことができる。
【０１２７】
つぎに、画像認識Ｚ１による最小露出値画像Ｃ１と画像認識Ｚ２による最小露出値画像Ｃ２の濃度を認識し、この濃度認識に基づいてカメラ１１の故障を判定する。以下、同様に最小露出値画像の濃度を２回認識することによってカメラ１１の故障を判定するものとする。
【０１２８】
露出値が大きく設定されていたために通常露出値画像Ａ１が白飛び状態の画像となった場合であっても、最小露出値画像Ｃ１が白飛び状態でなければ通常露出値画像Ａ２を撮像する際の通常露出値を最適化することによって白飛び状態でない画像を撮像できるため画像処理装置１は以後通常露出値を変更しながら撮像するとともに露出最大値、露出最小値の順番で撮像する通常の動作を続けることとなる。このように１回目の最小露出値画像Ｃ１によって、露出値を最適化すれば白飛び状態でない画像を撮像できるか否かを判定する（以下、白飛び判定という）。なお、撮像された画像が白飛び状態であるか否かの判定精度を上げるため、最小露出値画像を複数枚撮像した後、白飛び判定をしてもよい。
【０１２９】
一方、露出値が最大で撮像される最小露出値画像Ｃ１が白飛び状態である場合は、限界環境下であるか、カメラ１１が故障しているかのいずれかであると判断する。限界環境下であるか、カメラ１１が故障しているかのいずれかであると判断した場合、次の最小露出値画像Ｃ２によって故障判定を行う。
【０１３０】
ここで、限界環境下であるかカメラ１１の故障であるかを区別する方法としては、例えば露出値を限りなく０秒に近づけることや、カメラ１１の前方を黒い板等によって遮断して外部からの光が一切入らないようにすることによって逆光等の明るい環境下であってもカメラ１１が露出最小値である場合は画像が白飛びしないで撮像できる状態を設定できるようにしておく。
【０１３１】
そして、次の最小露出値画像である最小露出値画像Ｃ２を撮像する際に、逆光等によっても白飛びしないで撮像できる状態で撮像する。露出最小値でこの光源を白飛び状態でなく撮像できた場合は限界環境下であると判断し、露出最小値であってもこの設定による撮像が白飛び状態で撮像される場合はカメラ１１の故障であると判断する。
【０１３２】
さらに、車両が走行している時間帯（昼と夜等）、車両の走行している環境（雨、雪、霧、トンネル内等）の情報を考慮して限界環境下であるかカメラ１１の故障かを判断してもよい。なお、カメラ１１の故障であるか否かの判定精度を上げるため、最小露出値画像を複数枚撮像した後、限界環境下であるかカメラ１１の故障であるかを判断してもよい。
【０１３３】
限界環境下であると判断された場合は、カメラ１１によって制御可能な露出値の範囲内で撮像できるような撮像環境に変化するのを待つこととなる。一方、カメラ１１の故障による撮像であると判断された場合は、画像処理装置１はカメラ１１の故障を報知部１６によって画像処理装置１の使用者に通知する。
【０１３４】
このように、通常露出値画像Ａ１が白飛び状態の画像であった場合であっても、通常露出値画像Ａ１を撮像した後、最小露出値画像Ｃ１を撮像しているため、白飛び状態が露出値が小さいために引き起こされたものであるか否かの判断をすることができる。
【０１３５】
さらに、どれだけ明るい環境下であってもカメラ１１が露出最小値である場合は白飛びしないで撮像できる状態で最小露出値画像Ｃ２を撮像しているので、最小露出値画像Ｃ１が白飛び状態の画像であってもカメラ１１の故障が原因であるか否かの判定を行うことができる。
【０１３６】
また、通常露出値画像Ａ１においてスミアやゴーストが発生していると判断された場合も、最小露出値画像Ｃ１が白飛び状態の画像でなければ、露出値を最適化することによってスミアやゴーストが発生しないような画像を撮像できるため画像処理装置１は以後の動作をそのまま続けることとなる。
【０１３７】
なお、最小露出値画像Ｃ１においてもスミアやゴーストが発生する場合は、限界環境下またはカメラ１１の故障であると判断される。そして、最小露出値画像Ｃ２の撮像によってカメラ１１の故障であるか否かの判定を行う。なお、スミアやゴーストが発生した画像はスミア等が道路上の白線等と間違って認識される場合があるため、画像処理装置１からの画像データを演算処理することによって車を誘導する装置等においてはスミア等が発生した画像を用いないこととする。
【０１３８】
次に、図２に示した画像処理装置の処理動作について説明する。図８は、画像処理装置の処理動作を示すフローチャートである。露出値制御部１３においてカメラ１１の露出値が通常露出値となるよう制御し、カメラ１１は通常の露出値で画像を撮像して通常露出値画像を得る（ステップＳ１００）。撮像された通常露出値画像は、画像認識部１２において濃度認識される。
【０１３９】
つぎに、露出値制御部１３においてはカメラ１１の露出値が最大露出値となるよう制御し、カメラ１１は最大の露出値で画像を撮像して最大露出値画像を得る（ステップＳ１１０）。撮像された最大露出値画像は、画像認識部１２において濃度認識される。
【０１４０】
つぎに、露出値制御部１３においてはカメラ１１の露出値が最小露出値となるよう制御し、カメラ１１は最小の露出値で画像を撮像して最小露出値画像を得る（ステップＳ１２０）。撮像された最小露出値画像は、画像認識部１２において濃度認識される。
【０１４１】
その後、同様に露出値制御部１３において、通常露出値、露出最大値、露出最小値の順番で露出値を制御する。そして、カメラ１１は通常露出値画像、最大露出値画像、最小露出値画像の順番で画像を撮像する。
【０１４２】
図９−１は、通常露出値画像を撮像するための通常露出値を変更する手順を示すフローチャートである。カメラ１１で撮像された通常露出値画像は、画像認識部１２において濃度認識される（ステップＳ２００）。そして、この濃度認識に基づいて、通常露出値画像が撮像された通常露出値が小さいと判断された場合は（ステップＳ２１０、Ｙｅｓ）、この画像の濃度認識後、次に通常露出値画像を撮像する際に、通常露出値を１段階大きくして通常露出値画像を撮像する（ステップＳ２２０）。
【０１４３】
一方、濃度認識に基づいて、通常露出値画像が撮像された通常露出値が大きいと判断された場合は（ステップＳ２３０、Ｙｅｓ）、この画像の濃度認識後、次に通常露出値画像を撮像する際に、通常露出値を１段階小さくして通常露出値画像を撮像する（ステップＳ２４０）。また、濃度認識に基づいて、通常露出値画像が撮像された通常露出値が適切であると判断された場合は、次に通常露出値画像を撮像する際に、露出値の変更をせず通常露出値画像を撮像する（ステップＳ２５０）。
【０１４４】
図９−２は、最大露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである。カメラ１１で撮像された最大露出値画像は、画像認識部１２において濃度認識される。そして、濃度認識に基づいて最大露出値画像が黒つぶれしているか否かの黒つぶれ判定をする（ステップＳ３００）。最大露出値画像が黒つぶれしていると判定された場合は（ステップＳ３１０、Ｙｅｓ）、この画像の濃度認識後、次に最大露出値画像を撮像する際に、カメラ１１の故障判定を行う（ステップＳ３２０）。一方、ステップＳ３１０において、最大露出値画像が黒つぶれしていないと判定された場合は、この画像の濃度認識後、次に最大露出値画像を撮像する際にも同様の黒つぶれ判定を行うこととなる。なお、カメラ１１の故障判定は、カメラ１１の前方に装着しておいた光源等を撮像することによって行う。
【０１４５】
カメラ１１の故障判定においてカメラ１１の故障ではないと判定された場合は（ステップＳ３３０、Ｎｏ）、限界環境下による撮像であったため次に露出最大値で撮像する際に、カメラ１１の前方に装着しておいた光源等を撮像しないで撮像対象を撮像した最大露出値画像が黒つぶれしているか否かの黒つぶれ判定をする。一方、カメラ１１の故障判定においてカメラ１１の故障であると判定された場合は（ステップＳ３３０、Ｙｅｓ）、報知部１６によって画像処理装置の使用者にカメラ１１が故障していることを通知する（ステップＳ３４０）。
【０１４６】
図９−３は、最小露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである。カメラ１１で撮像された最小露出値画像は、画像認識部１２において濃度認識される。そして、濃度認識に基づいて最小露出値画像が白飛びしているか否かの白飛び判定をする（ステップＳ４００）。最小露出値画像が白飛びしていると判定された場合は（ステップＳ４１０、Ｙｅｓ）、この画像の濃度認識後、次に最小露出値画像を撮像する際に、カメラ１１の故障判定を行う（ステップＳ４２０）。一方、ステップＳ４１０において、最小露出値画像が白飛びしていないと判定された場合は、この画像の濃度認識後、次に最小露出値画像を撮像する際にも同様の白飛び判定を行うこととなる。なお、カメラ１１の故障判定は、カメラ１１に外部からの光源等が入らない状態で撮像することによって行う。
【０１４７】
カメラ１１の故障判定においてカメラ１１の故障ではないと判定された場合は（ステップＳ４３０、Ｎｏ）、限界環境下による撮像であったため次に露出最小値で撮像する際に、カメラ１１に光源等が入らない状態でなく撮像対象を撮像した最小露出値画像が白飛びしているか否かの白飛び判定をする。一方、カメラ１１の故障判定においてカメラ１１の故障であると判定された場合は（ステップＳ４３０、Ｙｅｓ）、報知部１６によって画像処理装置の使用者にカメラ１１が故障していることを通知する（ステップＳ４４０）。
【０１４８】
なお、本実施例１においては、画像を撮像した後に画像の濃度認識を行っているが、１回の撮像や画面表示を奇数段目と偶数段目の２回の走査に分けて行うインターレース方式である場合、１回のみの走査で得た画像で濃度認識やカメラ１１の故障判定を行ってもよい。例えば、１回目の走査が奇数段目の走査であり、２回目の走査が偶数段目の走査である場合、１回目の走査で得た画像で濃度認識を行う。これによって、画像の濃度認識が終わるまでの時間が短縮されることとなる。
【０１４９】
また、露出最大値で撮像する場合、１回目の走査で得た画像で黒つぶれ判定をし、２回目の走査で得た画像でカメラ１１の故障判定を行うといったように１回目の撮像と２回目の撮像で撮像環境を変更してもよい。同様に、露出最小値で撮像する場合においても、１回目の走査で得た画像で白飛び判定をし、２回目の走査で得た画像でカメラ１１の故障判定を行うといったように１回目の撮像と２回目の撮像で撮像環境を変更してもよい。
【０１５０】
なお、本実施例１においては、３３ｍｓｅｃに１回の割合でカメラ１１が１つの画像を撮像する場合について説明したが、カメラ１１が画像を撮像する間隔は３３ｍｓｅｃに１回の割合に限られず、これよりも長い時間間隔や短い時間間隔で画像を撮像するようにしてもよい。また、画像認識部１２が画像の濃度を認識するのに１００ｍｓｅｃを要する場合について説明したが、画像認識部１２が画像の濃度を認識するのに要する時間は１００ｍｓｅｃに限られず、画像の濃度を認識するのに要する時間がこれよりも短い場合や長い場合であってもよい。画像の濃度を認識するのに要する時間がこれよりも短い場合は、画像を撮像してから通常露出値の変更をするまでの遅延時間が短くなる。
【０１５１】
なお、本実施例１においては、通常露出値画像、最大露出値画像、最小露出値画像の順番で画像を撮像することとしたが、撮像する順番はこの順番に限られず、例えば通常露出値画像、最小露出値画像、最大露出値画像の順番で撮像してもよい。
【０１５２】
また、本実施例１においては、通常露出値画像、最大露出値画像、最小露出値画像の撮像間隔を時間的に等間隔で撮像することとしたが、撮像間隔は時間的に等間隔である場合に限られない。例えば、通常露出値画像を１０枚等の複数枚撮像した後、最大露出値画像と最小露出値画像を１枚撮像するようにしてもよい。これにより、撮像間隔が時間的に等間隔である場合よりも、通常露出値画像を多く撮像できるため通常露出値画像の画像濃度の認識精度が向上する。したがって、撮像された画像の演算処理に用いる画像データが多くなる。
【０１５３】
なお、本実施例１においては、黒つぶれ判定や白飛び判定を行った後、限界環境下であるかカメラ１１の故障であるかの故障判定をしたが、限界環境下であるかカメラ１１の故障であるかの故障判定をした後、限界環境下であると判断された場合に黒つぶれ判定や白飛び判定を行ってもよい。
【０１５４】
なお、本実施例１においては、通常露出値画像、最大露出値画像、最小露出値画像の順番で画像を撮像することとしたが、通常露出値画像の濃度が所定値に収まらないような状況が所定回数続いた場合のみ最大露出値画像と最小露出値画像を撮像して黒つぶれ判定、白飛び判定、カメラ１１の故障判定を行うようにしてもよい。
【０１５５】
このように実施例１によれば、通常露出値画像を撮像した後、最大露出値画像、最小露出値画像を撮像しているので、画像の撮像環境が変わりやすい状況であっても黒つぶれ判定、白飛び判定、環境限界下であるかの判定、カメラ１１の故障であるかの判定を短時間で行うことができる。
【実施例２】
【０１５６】
本実施例２では、本発明にかかる画像処理装置を運転支援システムに組み込む場合の構成について説明する。まず、実施例１では通常露出値、露出最大値、露出最小値の３通りの露出値を所定の周期で切替えていたが、本実施例２では、最大露出値や最小露出値へ切替えるタイミングや間隔を可変制御可能としている。
【０１５７】
この本実施例２にかかる画像処理装置２の構成を図１０に示す。同図に示すように、画像処理装置２は、その内部に故障判定タイミング変更部２１を備えている。この故障判定タイミング変更部２１は、外部からの制御信号を受けて露出値制御部２３の動作、すなわち、通常露出値、露出最大値、露出最小値の切替動作を制御する。さらに、故障タイミング変更部２１は、どのタイミングで露出最大値および露出最小値を挿入したかを画像認識部２２に通知する。
【０１５８】
そして、画像認識部２２は、故障判定タイミング変更２１からの通知をもとに、取得した画像を故障判定部１５による故障判定に使用する。また、画像処理部２２は、通常露出値で撮影した画像に対して所定の画像処理を施して外部に出力するとともに、故障判定部１５による判定結果を外部に出力する。
【０１５９】
その他の構成および動作は、図２に示した画像処理装置１と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。
【０１６０】
つぎに、本発明にかかる画像処理装置を組み込んだ運転支援システムの構成例を図１１に示す。同図に示す運転支援システムでは、画像処理装置に対応する画像処理ＥＣＵ（Electrical Control Unit）３は、外部のカメラ３１が撮影した画像を取得し、画像処理と故障判定をおこなって制御ＥＣＵ４に出力するとともに、制御ＥＣＵ４からの制御信号を受けて露出最大値や露出最小値の切替動作を制御する。
【０１６１】
制御ＥＣＵ４は、各種情報を取得し、車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する運転支援装置として機能する。具体的には、制御ＥＣＵ４は、画像処理ＥＣＵ３に加え、レーザレーダ３２、超音波センサ３３、車速センサ３４などの検知手段や、運転者への情報提供を行う情報提供系５および車両の動作制御を行う動作制御系６と接続する。
【０１６２】
情報提供系５は、ディスプレイ５１やスピーカ５２を含む。この情報提供系５は、ナビゲーションシステムやカーオーディオシステムなど、他の車載システムと共用することが好適である。
【０１６３】
また、動作制御系６は、ハンドルの動作を制御するハンドル制御アクチュエータ６１、スロットル開度を制御するスロットル制御アクチュエータ、ブレーキの動作を制御するブレーキ制御アクチュエータ６３、シートベルトの巻き上げ機構を制御するシートベルト制御アクチュエータ６４などを含む。
【０１６４】
制御ＥＣＵ４は、その内部に支援処理部４１、支援動作変更部４２、故障判定タイミング設定部４３を有する。支援処理部４１は、各種情報から状況判断し、支援処理を実行する処理を行う。
【０１６５】
具体的には、支援処理部４１は、レーンキーピング支援、車間距離調節支援、衝突回避支援、衝突緩和支援、駐車支援などの支援を実行する。ここで、レーンキーピング支援とは、画像認識によって路上の白線を識別し、車線逸脱の危険がある場合に情報提供系５を用いた運転者への通知や、動作制御系６（特にハンドル制御アクチュエータ６１など）を用いた動作制御を実行することで、自車両の車線逸脱を防止する支援処理である。
【０１６６】
また、車間距離調節支援とは、画像処理やレーザレーダ３２の出力から先行車両との車間距離を測定し、車間距離が適切な範囲となるように情報提供系５を用いた通知や、動作制御系６（特にスロットル制御アクチュエータ６２など）を用いた動作制御を実行することで、車間距離の調節を支援する支援処理である。
【０１６７】
同様に、衝突回避支援は、画像処理やレーザレーダ３２、超音波センサ３３の出力から衝突事故の危険を検知し、運転者への通知や回避動作（ブレーキ制御アクチュエータ６３などの自動操作）を実行することで衝突事故の回避を支援する処理である。
【０１６８】
また、衝突緩和支援は、画像処理やレーザレーダ３２、超音波センサ３３の出力から衝突事故の発生を予測し、ブレーキ制御アクチュエータ６３による減速やシートベルト制御アクチュエータ６４によるシートベルトの事前巻上げ、エアバッグの事前展開などによって事故の衝撃を緩和する支援を行う処理である。
【０１６９】
さらに、駐車支援は、画像処理や超音波センサ３３の出力から駐車スペースの状態を判定し、報提供系５を用いた運転者への通知や、動作制御系６（特にハンドル制御アクチュエータ６１など）を用いた動作制御を実行することで、駐車動作を簡易化する支援処理である。
【０１７０】
支援動作変更部４２は、画像処理ＥＣＵ３がカメラ３１における故障発生を通知した場合に、支援処理部４１による支援処理の動作内容を変更する処理を行う。具体的には、各支援処における通知（情報提供系５を用いた情報提供支援）については、カメラ３１の故障によって画像処理を利用した情報提供が不可能であることを通知する。
【０１７１】
一方、各支援処理における動作制御については、動作制御による支援自体を中止するか、他のセンサ（例えばレーダセンサ３２や超音波センサ３３）によって画像処理の代替が可能であるならば、これらの代替機能を用いた動作制御に切替える。
【０１７２】
故障判定タイミング設定部４３は、自車両の車両状態、自車両周辺の周辺状況、画像情報の使用用途に基づいて、故障判定のタイミングを設定し、画像処理ＥＣＵ３に送信する処理を行う。
【０１７３】
ここで、自車両の車両状態は、車速センサ３４などのセンサや動作制御系６から取得することができる。また、自車両周辺の周辺状況は、レーザレーダ３２や超音波センサ３３、画像処理ＥＣＵ３の出力から判断することができる。さらに、画像情報の使用用途は、提供する支援処理や使用するアクチュエータなどによって変化する。
【０１７４】
そして、故障判定タイミング設定部４３は、カメラ３１の異常状態を早期に検出する必要がある場合には、故障判定のタイミング、すなわち、露出最大値および露出最小値の挿入タイミングを早め、また、挿入間隔（故障判定の間隔）を短く設定する。一方、異常状態の検出を早期に検出する必要性が小さい場合には、故障判定のタイミング遅く設定し、また、故障判定の間隔を長く設定する。
【０１７５】
例えば、情報提供による処理を行なう場合には、異常状態を早期に検出する必要性が比較的小さいので、故障判定のタイミングを遅く、間隔を長く設定する。その一方で、衝突回避支援や衝突緩和支援など、動作制御が緊急に必要となる支援では、かかる支援を高速かつ正確に実施するためにカメラ３１の異常状態を早期に検出することが必要となるので、故障判定の挿入タイミングを早く、間隔を短く設定する。
【０１７６】
このように画像の使用用途が動作制御である場合には、その動作制御に使用するアクチュエータの応答時間が大きく影響する。例えば、衝突緩和支援において衝突の発生を予測し、シートベルト制御アクチュエータ６４がシートベルトの事前巻上げを行なう場合、図１２に示すように、現時点から衝突予測時点までの全体時間がＴｍであるとすると、アクチュエータ（ここではシートベルト制御アクチュエータ６４）の動作を衝突予測時点までに完了する必要がある。
【０１７７】
このアクチュエータの応答所要時間が「Ｔａ」であるならば、画像処理とカメラ３１の故障判定に使用可能な時間は「Ｔｂ＝Ｔｍ−Ｔａ」となる。そこで、故障判定タイミング設定部４３は、カメラ３１の異常状態の検出が使用可能時間「Ｔｂ」内に収まるように故障判定のタイミングと間隔を設定する。
【０１７８】
そして、アクチュエータ応答速度Ｔａはアクチュエータごとに異なるので、故障判定タイミング設定部４３は、使用するアクチュエータの種類に応じて故障判定のタイミングと間隔を変更することとなる。
【０１７９】
また、全体時間「Ｔｍ」、すなわち動作完了までにどれだけの時間的な余裕があるかは、自車両の状態や周辺状況によって変化する。例えば、車間距離調節支援では、先行車両と自車両との車間距離が小さいほど全体時間「Ｔｍ」が短くなる。車間距離調節支援に使用するアクチュエータの応答速度は変わらないので、使用可能時間「Ｔｂ」が短くなり、故障判定のタイミングを早く、間隔を短く設定することが必要となる。
【０１８０】
同様に、車速センサ３４によって測定された自車両の走行速度が大きいほど、全体時間「Ｔｍ」が短くなる。そのため、使用可能時間「Ｔｂ」が短くなり、故障判定のタイミングを早く、間隔を短く設定することが必要となる。
【０１８１】
上述してきたように、本実施例２にかかる画像処理装置（画像処理ＥＣＵ）、運転支援装置（運転支援ＥＣＵ）および運転支援システムでは、車両状態や周辺状況、画像情報の使用用途に適応し、最大露出値や最小露出値へ切替えるタイミングや間隔を可変制御してカメラの故障判定を行なっている。
【０１８２】
そのため、カメラに故障が発生した場合であっても、運転支援システムにおける誤動作の発生を確実に防止し、安定して動作する信頼性の高い運転支援システムを得ることができる。
【０１８３】
なお、本実施例２における運転支援システムは、本発明の適用の一例であり、適宜構成を変更して実施することのできるものである。たとえば、本実施例２では車両状態や周辺状況、画像情報の使用用途を判定して故障判定のタイミングを設定する故障判定タイミング設定部を運転支援装置である制御ＥＣＵ４に持たせているが、この故障判定タイミング設定部を画像処理ＥＣＵ３に持たせる構成としてもよいし、画像処理ＥＣＵ３と制御ＥＣＵ４とを一体化した構成としてもよい。
【産業上の利用可能性】
【０１８４】
以上のように、本発明にかかる画像処理装置は、画像を撮像する環境が不適切な環境であることやカメラが故障していることを短時間で判断できる画像処理装置に適しており、信頼性の高い運転支援装置および運転支援システムの実現に寄与することができる。
【図面の簡単な説明】
【０１８５】
【図１】実施例１にかかる画像処理装置の概要構成を示す概要構成図である。
【図２】図１に示した画像処理装置の構成を示す図である。
【図３】画像が明るすぎる場合の濃度ヒストグラムの一例を示す図である。
【図４】画像に発生したスミアの検出を説明するための図である。
【図５】画像が暗すぎる場合の濃度ヒストグラムの一例を示す図である。
【図６】露出バランスが良い場合の濃度ヒストグラムの一例を示す図である。
【図７−１】カメラを通常露出値で撮像する場合を説明するための図である。
【図７−２】カメラ１１を通常の露出値、露出最大値、露出最小値の順番で制御して撮像する場合を説明するための図である。
【図８】画像処理装置の処理動作を示すフローチャートである。
【図９−１】通常露出値画像を撮像するための露出値を変更する手順を示すフローチャートである。
【図９−２】最大露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである
【図９−３】最小露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである。
【図１０】実施例２にかかる画像処理装置の構成を示す構成図である。
【図１１】実施例２にかかる運転支援システムの概要構成を示す概要構成図である。
【図１２】故障判定タイミングの設定について説明する説明図である。
【符号の説明】
【０１８６】
１，２  画像処理装置
３  画像処理ＥＣＵ
４  制御ＥＣＵ
５  情報提供系
６  動作制御系
１１，３１  カメラ
１２，２２  画像認識部
１３，２３  露出値制御部
１４  モニタ
１５  故障判定部
１６  報知部
２１  故障判定タイミング変更部
３２  レーザレーダ
３３  超音波センサ
３４  車速センサ
４１  支援処理部
４２  支援動作変更部
４３  故障判定タイミング設定部
５１  ディスプレイ
５２  スピーカ
６１  ハンドル制御アクチュエータ
６２  スロットル制御アクチュエータ
６３  ブレーキ制御アクチュエータ
６４  シートベルト制御アクチュエータ
Ａ１〜Ａ７  通常露出値画像
Ｂ１〜Ｂ３  最大露出値画像
Ｃ１〜Ｃ３  最小露出値画像
Ｘ１〜Ｘ５，Ｙ１〜Ｙ３，Ｚ１，Ｚ２  画像認識
Ｔａ  使用可能時間
Ｔｂ  アクチュエータ応答所要時間
Ｔｍ  全体時間
【図１】
0004738778.tif 000002
【図２】
0004738778.tif 000003
【図３】
0004738778.tif 000004
【図４】
0004738778.tif 000005
【図５】
0004738778.tif 000006
【図６】
0004738778.tif 000007
【図７−１】
0004738778.tif 000008
【図７−２】
0004738778.tif 000009
【図８】
0004738778.tif 000010
【図９−１】
0004738778.tif 000011
【図９−２】
0004738778.tif 000012
【図９−３】
0004738778.tif 000013
【図１０】
0004738778.tif 000014
【図１１】
0004738778.tif 000015
【図１２】
0004738778.tif 000016