(57)【特許請求の範囲】
【請求項１】
車載カメラにより撮像された撮像画像に基づいて、車外監視を行う車外監視装置であって、撮像画像のフェールと判定された状態が所定期間継続された場合にフェールセーフを行うとともに、フェースセーフの介入中にフェールセーフの解除条件を具備したときにフェール判定を解除するようにした車外監視装置において、
前記フェールセーフの解除条件は、前記車載カメラにより撮像された撮像画像に基づいて白線を認識し、該白線認識の信頼性が高いほど解除するまでの所定時間を短く設定することを特徴とするフェールセーフ機能を有する車外監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、弱逆光等の光の影響により、撮像された画像に異常が生じた場合に、フェールセーフを行う車外監視装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した車載カメラを用いた車外監視装置が注目されている。この装置は、車載カメラにより撮像された画像に基づいて、走行環境（例えば、自車輌から先行車までの距離等）を認識し、必要に応じて、ドライバーに注意を喚起したり、シフトダウン等の車輌制御を行う。例えば、ステレオ法による距離計測技術を用いて走行状況の認識を行う場合、一対の撮像画像におけるある対象物の位置的な差（視差）を求め、三角測量の原理を用いて、先行車までの距離（距離情報）を算出する。
【０００３】
このような車外監視装置を実用化するにあたっては、監視装置の安全動作を保証するために、フェールセーフ機能を設ける必要がある。この類の装置で検出すべきフェールの一つとして、太陽から車載カメラに直接弱い光が射し込み、先行車が認識不能になるような撮像状況（弱逆光状況）が挙げられる。
【０００４】
例えば、図１４に示すような車輌前方の撮像画像について考える。弱逆光状況においては、図１５に示すように、輝度が飽和したリング状の領域（以下、「逆光円」という）が、撮像画像の一部（同図左側）に発生する。このような逆光円が画像中に生じると、その画像領域およびその付近における画素の輝度が飽和レベルに達してしまうため、正しい画像情報を得ることができなくなってしまう。その結果、その領域内に先行車等が存在していたとしても、それが逆光円によりマスクされてしまうため、正常な車外監視が困難になる。さらに、逆光円のエッジ（境界部分）は、水平方向の隣接画素間の輝度変化が大きいので、そのエッジ部において誤った距離情報が算出されてしまうことがある。
【０００５】
図１６は、図１４のような画像を有するステレオ画像（基準画像と比較画像）から得られる距離情報を示した図である。同図において、黒点で示した部分は、画像の水平方向において互いに隣接した画素間の輝度変化が大きい部分であり、この部分が距離情報（奥行き）を有している。逆光円が発生したエリア内は、大半の画素の輝度が飽和レベルに達しているため、算出されるべき距離データが算出されない（ロスト状態）。また、逆光円のエッジ部分では、水平方向の輝度変化が大きいため、誤った距離データが算出されてしまう。車外監視装置の安全性を高い次元で確保するという観点でいえば、弱逆光により正しい距離画像が得られないような状況では、監視制御を一時的に中断させるフェールセーフを行う必要がある。
【０００６】
【発明が解決しようとする課題】
このように、従来、車外監視装置の実用化において不可欠なフェールセーフ機能が確立されておらず、車外監視の信頼性を高い次元で確保するための課題が残されていた。
【０００７】
そこで、本発明の目的は、弱逆光等の光の影響により、撮像画像に異常が生じた場合に、そのような画像異常を正確に検出することにより、確実なフェールセーフを行い得る車外監視装置を提供することである。
【０００８】
また、本発明の別の目的は、フェールセーフに関するハンチングを防止して、適切なフェールセーフを行うことである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するために、本発明は、車載カメラにより撮像された撮像画像に基づいて、車外監視を行う車外監視装置であって、撮像画像のフェールと判定された状態が所定期間継続された場合にフェールセーフを行うとともに、フェースセーフの介入中にフェールセーフの解除条件を具備したときにフェール判定を解除するようにした車外監視装置を提供する。フェールセーフの解除条件は、車載カメラにより撮像された撮像画像に基づいて白線を認識し、この白線認識の信頼性が高いほど解除するまでの所定時間を短く設定する。
【００１４】
【発明の実施の形態】
図１は、本実施形態に係る車外監視装置のブロック図である。ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２は、自動車等の車輌の車幅方向において所定の間隔（カメラ基線長に相当）で取り付けられており、車輌前方の景色を撮像する。メインカメラ１（右カメラ）は、ステレオ処理を行う際に必要な基準画像を撮像し、サブカメラ２（左カメラ）は、比較画像を撮像する。一対のカメラ１，２が互いに同期している状態において、カメラ１，２から出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、256階調のグレースケール）に変換される。このようにしてデジタル化された画像は、画像補正部５により、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差が存在するため、それに起因したずれが左右の画像に存在している。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。画像補正部５において補正された１フレーム相当のステレオ画像（基準画像と比較画像）の輝度データは、元画像メモリ８に格納される。
【００１５】
ステレオ画像処理部６は、画像補正部５において補正された輝度データに基づき、距離データ（対象物毎の視差）を算出する。この距離データは、ステレオ画像における同一対象物の位置的なずれ（視差）に相当し、その対象物までの実際の距離は、三角測量の原理を用いて視差から一意に特定される。このようにして算出された１フレーム相当の距離データが距離データメモリ７に格納される。
【００１６】
マイクロコンピュータ９での処理を機能的に捉えた場合、マイクロコンピュータ９は、道路認識部１０、立体物認識部１１、フェール判定部１２、および処理部１３を有する。元画像メモリ８および距離データメモリ７に格納された各データに基づき、道路認識部１０は、自車輌前方の道路形状を認識し、立体物認識部１１は、自車輌前方の立体物（走行車）を認識する。そして、処理部１３は、これらの認識部１０，１１からの情報に基づき、ドライバーへの警報が必要と判断する場合、表示装置やスピーカー等の警報装置１９を介してドライバーに対して注意を促す。また、処理部１３は、必要に応じて、各種制御部１４〜１８を制御する。例えば、ＡＴ（自動変速機）制御部１４に対して、シフトダウンの実行を指示したり、エンジン制御部１８に対して、エンジンの出力低下を指示する。また、アンチロックブレーキシステム（ＡＢＳ）制御部１５、トラクションコントロールシステム（ＴＣＳ）制御部１６、或いは、各車輪のトルク配分や回転数を制御する車輌挙動制御部１７に対して、適切な車輌制御を指示してもよい。
【００１７】
さらに、フェール判定部１２は、元画像メモリ８に格納された輝度データと距離データメモリ７に格納された距離データとに基づいて、弱逆光状況の検出とフェール判定とを行う。フェールと判定されている間、すなわち、後述するフェールフラグＮＧが「１」の間は、監視精度の低下に伴う誤動作等を防ぐために、車輌制御や警報制御が一時的に中断される（フェールセーフ）。
【００１８】
図２および図３は、弱逆光判定ルーチンのフローチャートである。フェール判定部１２は、このルーチンは所定間隔（例えば100ms毎のサイクル）で繰り返し実行する。このルーチンの具体的な処理の流れを説明する前に、フェールセーフの介入条件について説明する。ステップ１からステップ６までに規定された各条件は、本実施形態におけるフェールセーフの介入条件である。この介入条件を具備する場合は、撮像画像中に弱逆光が生じていると判断し、ステップ１２以降の手順に進む。一方、いずれかのステップにおいて否定判定された場合は、フェールセーフ介入すべき撮像状況ではないと判断し、ステップ７以降の手順に進む。
【００１９】
後述する説明から分かるように、フェール判定部１２は、「介入条件」および「解除条件」を判定し、判定結果に応じてカウンタを適宜インクリメント／デクリメントする。ここで、「介入条件」は、フェールセーフを行うべき弱逆光状況になったか否かの判定条件に相当し、この条件を具備する場合にカウンタのインクリメントが開始される。フェールセーフは、「介入条件」を具備するだけでは実行されず、カウンタの値が所定値に到達した時点で実行される。また、「解除条件」は、カウンタのインクリメントを中断するか否かの判定条件に相当する。さらに、本実施形態においては、「介入条件」を具備することにより開始されたカウンタのインクリメントは、「介入条件」を具備しない撮像状況に変わったとしても「解除条件」を具備しない限り継続されるようにしている。
【００２０】
なお、本実施形態では、フェールセーフの介入条件の一例として、以下の６つの判定条件を挙げているが、これらの一つ以上を適宜組み合わせて介入条件を規定してもよく、それ以外の条件を追加してもよい。
【００２１】
［第１の判定条件］先行車が認識されていないこと、すなわち、先行車との車間距離が算出されていないこと（ステップ１）
本実施形態に係るフェールセーフの目的は、本来存在するはずの先行車をロストしてしまうような逆光状況においてフェールセーフを行うことである。したがって、逆光円が生じていても先行車が認識されている状況では、フェールセーフを行う必要はない。そこで、先行車が認識されていないことをフェールセーフ介入の前提条件としている。ただし、自車輌前方に先行車が存在しない走行状況であってもこの判定条件を具備する。そこで、ステップ１の条件を具備する場合には、弱逆光状況にあるか否かをさらに判定するためにステップ２に進む。
【００２２】
ここで、ステップ１での判定対象となる車間距離は、ステレオ法による距離計測技術と画像認識技術とを併用することにより算出される。概略的に説明すると、まず、自車輌前方の道路の三次元的な形状を示す車線モデルを算出する。撮像画像に映し出された左右の車線（白線）は、道路面の輝度よりも高輝度で、かつ、道路面との境界において輝度エッジを有する領域として抽出される。このようにして抽出された車線に関する視差を、例えば4×4画素の画素ブロック単位で算出する。車線が映し出されている一画素ブロックに関して、撮像画像中の二次元的な位置と視差とが特定できれば、周知の座標変換式より、その車線部分の三次元的な位置（距離を含む）を算出することができる。つぎに、算出された車線の三次元的な分布を所定の区間（セグメント）毎に直線で近似し、各直線を折れ線状に連結することにより、車線モデルが算出される。自車輌前方の先行車は、左右の車線モデルで挟まれた領域（すなわち道路面）上に存在する立体物として認識され、その車間距離は、その立体物の視差より算出される。なお、以上の点に関する詳細については、本出願人の先願である特願平１１−２６９５７８号（道路認識手法について開示）または特開平５−２６５５４７号公報（先行車認識手法について開示）を参照されたい。
【００２３】
［第２の判定条件］シャッタースピードａが判定値以下であること（ステップ２）
先行車をロストするような逆光状況においては、通常状況よりもシャッタースピードが速くなる傾向がある。このような特性に鑑み、適正な判定値（例えば、2000[μsec]）を予め設定しておき、シャッタースピードａがこの判定値以下になることをフェールセーフ介入の条件としている。ただし、真夏等のように日差しが強い走行状況では、通常の状況でもシャッタースピードが著しく速くなることがある（例えば200[μsec]以下）。そこで、ステップ１およびステップ２の判定条件を具備する場合には、弱逆光状況にあるか否かをさらに判定するためにステップ３に進む。
【００２４】
［第３の判定条件］上部輝度飽和率ＬＲ1が下部輝度飽和率ＬＲ2よりも大きいこと（ステップ３）
先行車をロストするような逆光状況では、画像上部に逆光円が発生するため、画像上部の一部が輝度飽和状態となる傾向がある。そこで、図４に示すように、基準画像の上方および下方に上部エリア、下部エリアをそれぞれ設定し、上部輝度飽和率ＬＲ1が下部輝度飽和率ＬＲ2よりも大きいことをフェールセーフ介入の条件としている。ここで、輝度飽和率ＬＲ1，ＬＲ2は、そのエリア内のトータル画素数に対して、輝度飽和状態（例えば輝度値が240以上）に達した画素数が占める割合をいう。ただし、晴天時や陸橋上等のように遮蔽物が存在しない走行状況では、逆光円が生じていないにも拘わらず、この条件を具備してしまうことがある。そこで、ステップ１からステップ３までの判定条件を具備する場合には、弱逆光状況にあるか否かをさらに判定するためにステップ４に進む。
【００２５】
なお、輝度飽和率ＬＲ1，ＬＲ2の値は走行状況によって大きく変動する傾向があり、通常走行時においても、下部輝度飽和率ＬＲ2はほぼ０になることも多い。このような理由により、本実施形態では、各輝度飽和率ＬＲ1，ＬＲ2に関する判定値は設定しない。
【００２６】
［第４の判定条件］先行車エリアの輝度エッジ数ＥＮが判定値よりも小さいこと（ステップ４）
先行車をロストするような逆光状況では、逆光円が存在する画像領域の輝度エッジ数ＥＮが著しく低下する傾向がある。ここで、輝度エッジ数ＥＮとは、画像の水平方向における隣接画素対の輝度変化量が所定値以上のものの数をいう。本実施形態では、図５に示すように、基準画像の上部中央部分（走行時に先行車が映し出されるであろう画像領域）に先行車エリアを設定し、このエリア内の輝度エッジ数ＥＮが適切に設定された判定値よりも小さいことをフェールセーフ介入の条件としている。ただし、夜間、トンネル、霧、煙、雪道等の走行時には、この条件を具備してしまうことがある。そこで、ステップ１からステップ４までの判定条件を具備する場合には、弱逆光状況にあるか否かをさらに判定するためにステップ５に進む。
【００２７】
なお、輝度エッジ数ＥＮの代わりに、先行車エリア内の距離データの算出数を用いてもよい。ステレオマッチングの特性上、輝度エッジ数と距離データの算出数との間には大きな相関があり、基本的に、輝度エッジ数が多いほど、算出される距離データ数も多くなるからである。
【００２８】
［第５の判定条件］シャッタースピードａにより正規化された輝度分布特性パラメータが判定条件を具備すること（ステップ５）
まず、図６に示すように、画像の水平方向に配列された複数の縦短冊状の監視エリアＮiを基準画像の上部に設定する。画像の上部に関しエリアＮiを設定した理由は、弱逆光時における輝度状態の特徴は画像上部に強く出現するからである。この監視エリアＮiは、撮像画像の水平方向における輝度分布特性を評価するために設けられたものである。一例として、基準画像のサイズが縦200画素で横512画素である場合、基準画像を水平方向に16画素ずつ分割していく。これにより、200×16画素サイズの監視エリアＮiが32個設定される。
【００２９】
つぎに、監視エリアＮi毎に輝度和Ａiが算出される。ある監視エリアＮiにおける輝度和Ａiは、その監視エリアＮi内において均一に分布するサンプル画素の輝度を加算した値（加算値の平均値であってもよい）として算出することができる。一例として、水平／垂直方向ともに4画素ごとにサンプルを抽出し、各サンプルの輝度を加算した値を輝度和Ａiとする。監視エリアＮi内において均一に分布するようなサンプルを用いれば、その監視エリアＮiの全体的な輝度状態を、少ない演算量で適切に算出することができる。なお、演算量を考慮しないのであれば、監視エリアＮi内に含まれる全画素を演算対象として輝度和Ａiを算出してもよい。このようにして算出された32個の輝度和Ａiの分布特性は、画像の水平方向（横方向）の分布特性に相当する。
【００３０】
そして、輝度和Ａiに関する輝度分布特性を示すパラメータ（輝度分布特性値）をシャッタースピードａで正規化する。この輝度分布特性値として、例えば、輝度和Ａiのばらつきの程度を示す輝度和分散ＶＡＲを用いる場合、シャッタースピードａにより正規化された輝度和分散ＶＡＲ'（以下、「正規化輝度和分散」という）は下式に基づき算出される。ここで、ａはシャッタースピード、ｎは監視エリアＡiの数（ｎ＝32）、そしてＡaveは輝度和Ａiの平均値である。
【数１】
ＶＡＲ'＝ＶＡＲ／ａ
ＶＡＲ2＝｛（Ａ1−Ａave）2＋（Ａ2−Ａave）2＋ ・・・ ＋（Ａn−Ａave）2｝／ｎ＝Σ（Ａi2）／ｎ−（ΣＡi／ｎ）2
【００３１】
輝度分布特性パラメータとして正規化輝度和分散ＶＡＲ'を用いる場合、正規化輝度和分散ＶＡＲ'が適切に設定された判定値よりも大きいことがフェールセーフ介入の条件となる。
【００３２】
また、輝度分布特性パラメータとして、輝度和Ａiの最大値（ピーク）を示す輝度和最大値Ａmaxを用いてもよい。この場合、シャッタースピードａにより正規化された輝度和最大値Ａmax'（＝Ａmax／ａ）（以下、「正規化輝度和最大値」という）が適切に設定された判定値よりも大きいことがフェールセーフ介入の条件となる。なお、正規化輝度和分散ＶＡＲ'が判定値より大きく、かつ、正規化輝度和最大値Ａmax'も判定値より大きいことをフェールセーフ介入の条件としてもよい。
【００３３】
正規化輝度和分散ＶＡＲ'および正規化輝度和最大値Ａmax'が弱逆光判定に有効な理由を、図７および図８を参照して説明する。図７は、正規化されていない輝度分布特性パラメータ（輝度和分散ＶＡＲ、輝度和最大値Ａmax）の計測特性図である。この特性は、実際の走行実験により得られた計測結果である。計測開始後、約300秒から約340秒までが弱逆光状況である。輝度和最大値Ａmaxに関する計測結果から分かるように、大半の時間において輝度和最大値Ａmaxが一定の範囲内に収まっているため、この計測結果を見る限り、弱逆光に関する顕著な傾向を見出すことは困難である。一方、輝度和分散ＶＡＲについて見た場合、計測開始後270秒付近において特徴的なピークが発生しているが、このピークは弱逆光とは無関係に生じたものである。したがって、この輝度和分散ＶＡＲの計測結果を見る限り、弱逆光時における顕著な傾向を見出すことは困難である。
【００３４】
これに対して、図８は、シャッタースピードａで正規化した輝度分布特性パラメータ（正規化輝度和分散ＶＡＲ'、正規化輝度和最大値Ａmax'）の特性図である。この特性より、弱逆光状況では、正規化輝度和最大値Ａmax'および正規化輝度分散ＶＡＲ'の値が著しく増大するという顕著な傾向を見出すことができる。このことから、これらのパラメータＶＡＲ'，Ａmax'が弱逆光状態の検出に有効なことが分かる。
【００３５】
以上のような理由により、輝度分布特性パラメータＡmax，ＶＡＲがシャッタースピードａの関数であることを考慮して、これをシャッタースピードａで正規化したパラメータＡmax'，ＶＡＲ'を弱逆光判定の判定パラメータとして用いる。そして、パラメータＡmax'，ＶＡＲ'が判定値よりも大きくなることをフェールセーフ介入の条件とすれば、フェールセーフ介入に関する判定精度の一層の向上を図ることができる。ただし、晴天時の昼間等では、シャッタースピードは総じて速くなる傾向があるため、ステップ１からステップ５までの判定条件を具備する場合には、弱逆光状況にあるか否かをさらに判定するためにステップ６に進む。
【００３６】
［第６の判定条件］輝度モーメントを輝度総和で割った値が判定値以下であること（ステップ６）
このステップ６では、図６に示した監視エリアＮi毎の輝度和Ａiの分布状態が、ステップ５とは別の観点より評価される。図９は、通常状況における輝度和Ａiの分布特性図である。ここで、同図（ａ）は、高速道路の入り口のように、画像上部全体に空が映し出されているような走行状況における分布特性の一例を示している。また、同図（ｂ）は、画像中央に積雪していない道路面が映し出されており、かつ、それ以外の地表部分が積雪している走行状況における分布特性の一例を示したものである。これに対して、図１０は、弱逆光状況における輝度和Ａiの分布特性図である。弱逆光状況では、高輝度部分が画像の水平方向における一カ所（逆光円に相当する部分）に集中する傾向がある。同図（ａ）は、そのような高輝度部分が中央に存在する場合の分布特性を示しており、同図（ｂ）は、それが右側に存在する場合の分布特性を示している。
【００３７】
このステップ６では、図９に示した分布特性を示す正常状況と図１０に示した分布特性を有する弱逆光状況とを区別することが目的である。そのために、下式で表される「輝度重心ＬＣ」、「輝度モーメントＬＭ」という概念を導入する。ステップ５の場合と同様に、ｉは画像左端を基準とした監視エリアＮiの番号（0〜31）であり、Ａiはｉ番目の監視エリアＮiの輝度和Ａiである。
【数２】
ＬＣ＝Σ（ｉ×Ａｉ）／ΣＡi
ＬＭ＝Σ（｜ｉ−ＬＣ｜×Ａi）
【００３８】
ここで、「輝度重心」とは、水平方向の各輝度和Ａiが一点に集中したと考えた場合におけるその点の水平位置をいい、輝度和Ａiと水平位置ｉとの積の総和を輝度和Ａiの総和で割った値である。例えば、図１１（ａ）に示すように、すべての輝度和Ａiが同じ値である場合、輝度重心ＬＣは0から31の中間である15.5となる。また、同図（ｂ）に示すように、Ａ0からＡ15が0で、Ａ16からＡ31が一定値（≠0）である場合、輝度重心ＬＣは23.5となる。
【００３９】
また、「輝度モーメント」とは、輝度重心ＬＣから水平位置ｉまでの距離に輝度和Ａiを乗じた値の総和をいい、輝度重心ＬＣを基準とした水平方向の輝度和Ａiの分布状態を示す。輝度和Ａiが全体的に小さい場合、または、輝度重心ＬＣ近傍に輝度が集中している場合に、輝度モーメントＬＭは小さな値となる。
【００４０】
そして、下式に示すように、輝度モーメントＬＣを輝度総和ΣＡiで割った値、すなわち、輝度総和ΣＡiにより正規化された輝度モーメントＬＭ'（以下、「正規化輝度モーメント」という）を算出する。
【数３】
0004925498.tif 000002
【００４１】
図１１（ａ）のような分布特性を有する通常走行時には、輝度が水平方向に全体的に分布しているので、輝度モーメントＬＭは大きくなる傾向がある。逆に、図１１（ｃ）のような分布特性を有する逆光時には、輝度が輝度重心ＬＣ付近に集中する傾向があるため、輝度モーメントＬＭは小さくなる傾向がある。しかしながら、逆光時であっても、画像全体が明るい場合には輝度モーメントＬＭが大きくなるため、通常走行時との区別が困難な場合がある。そこで、輝度モーメントＬＭを輝度和Ａiの総和で割ることにより、輝度の分布状態のみに依存した正規化輝度モーメントＬＭ'を用いる。図９および図１０のケースについて考えると、正規化輝度モーメントＬＭ'は、図９の分布特性では大きくなる傾向があり、図１０の分布特性では小さくなる傾向がある。そこで、正規化輝度モーメントＬＭ'を適切に設定された判定値と比較することにより、図１０の特性を示す弱逆光状況を検出することができる。
【００４２】
なお、下式で示すように、上記の数式３を変形して、輝度和Ａiの重みを大きくして輝度和Ａiの分布状態を評価してもよい。
【数４】
ＬＭ'＝Σ（｜ｉ−ＬＣ｜×Ａi2）／ΣＡi
ＬＣ＝Σ（ｉ×Ａｉ2）／ΣＡi
【００４３】
図２に示したステップ１からステップ６までに規定されたすべての条件を具備する場合、すなわち、フェールセーフの介入条件を具備する場合には、弱逆光状況であると判断され、カウントフラグＦcntが「１」にセットされる（ステップ１２）。カウントフラグＦcntは、カウンタＫが下限値０に到達した場合に「０」にリセットされ、カウンタＫがインクリメント／デクリメントされている状態では（Ｋ≠０）、「１」に設定されている。
【００４４】
続くステップ１３において、カウンタＫにカウントアップ値αがインクリメントされる。このカウンタＫは、図１２のフェール判定ルーチンに示すように、フェールセーフを実行すべきか否かを判定するためのものである。弱逆光判定ルーチンにおけるカウンタＫのインクリメントにより、カウンタＫが上限値Ｋlimに到達した場合には、ステップ３０の判断を経て、フェールフラグＮＧが「１」がセットされる（ステップ３１）。一方、カウンタＫが下限値０に到達した場合には、ステップ３０，３２の判断を経て、カウントフラグＦcnt、フェールフラグＮＧが「０」にリセットされる（ステップ３３，３４）。
【００４５】
また、カウンタＫが下限値０から上限値Ｋlimの範囲内においては、ステップ３０，３２の判断を経て、カウントフラグＦcnt、フェールフラグＮＧの指示内容の変更を行うことなく処理を終了する。したがって、フェールセールにより車外監視制御が中断されている状態では（ＮＧ＝「１」）、カウンタＫがデクリメントされて下限値０に到達しない限り、車外監視制御は再開されない（フェールセーフは解除されない）。一方、車外監視制御が行われている状態では（ＮＧ＝「０」）、カウンタＫがインクリメントされて上限値Ｋlimに到達しない限り、フェールセーフは行われない（車外監視制御が継続される）。
【００４６】
このように、フェールセーフの介入条件を具備するような走行状況になった場合には、カウンタＫのインクリメントが開始される。そして、このような走行状況が所定時間（この時間は上限値Ｋlimとカウントアップ量αによって決定される）継続した場合に、フェールフラグＮＧが「１」にセットされ、フェールセーフの実行が指示される。これにより、車外監視制御が一時的に中断されるため、弱逆光状況下における監視制御の信頼性低下を防止することができる。
【００４７】
なお、カウントアップ量αの値は、図１３に示すカウントアップ量設定ルーチンにより決定され、具体的には、距離分散と左右カメラの輝度差とに応じて設定される（ステップ２０）。一般に、逆光状況では、カメラに直接太陽光が入っているため、算出距離のばらつきが正常状況時よりも大きくなる傾向がある。そこで、画像の所定エリア（例えば、画像の垂直方向に延在するエリア）内における距離分散を求め、この分散が大きい場合にはカウントアップ量αを大きく設定する。また、逆光状況では、正常状況時よりも左右のカメラの輝度差が大きくなる傾向があるため、カウントアップ量αを大きく設定する。
【００４８】
つぎに、フェールセーフの介入条件を具備しない場合、すなわち、図２に示したステップ１からステップ６までに規定された各条件を一つでも具備しない場合は、弱逆光状況ではないと判断される。この場合は、図３に示したステップ７に進み、カウントフラグＦcntが「０」であるか否か、すなわち、カウンタＫがインクリメント／デクリメントされている状態であるか否かが判断される。ステップ７において否定判定された場合（Ｋ＝０）、それ以降の処理を行うことなく本ルーチンを終了する。
【００４９】
このように、弱逆光が生じていない正常な走行状況であり、かつ、カウントＫが下限値０に到達している場合、フェールフラグＮＧは「０」であるから、車外監視制御が継続される。
【００５０】
一方、フェールセーフの介入条件を具備しないが、カウントＫが下限値０でない場合、ステップ７における肯定判定を経て、ステップ８に進む。ステップ８からステップ１０は、カウンタＫのカウントアップまたはカウントダウンのどちらを行うかを判定するフェールセーフの解除条件を規定しており、この解除条件を具備する場合にはカウントダウンが行われ、解除条件を具備しない場合にはカウントアップが行われる。なお、この解除条件は上述した介入条件と比べて緩和された条件となっている。その理由は、フェールセーフの解除条件を介入条件よりも緩和することで、先行車のロストと捕捉とが繰り返される状況下におけるフェールセーフのハンチングの発生を防止するためである。
【００５１】
フェールセーフの解除条件として、まず、シャッタースピードａが3000[μsec]以下であるか否かが判断される（ステップ８）。このステップ８において否定判定された場合、すなわち、フェールセーフの解除条件を具備する場合には、ステップ１１に進み、カウンタＫからカウントダウン値βがデクリメントされる。
【００５２】
一方、ステップ８において肯定判定された場合は、ステップ９に進み、上述した輝度和分散ＶＡＲが判定値以上であるか否かが判断される。強い逆光状況では、スミヤまたは逆光円により画像に輝度飽和部分が出現する反面、暗転する部分も出現する。そのため、逆光状況では輝度和分散ＶＡＲは大きくなる傾向がある。しかしながら、輝度和分散ＶＡＲは、このような逆光状況時のみ大きくなるわけではない。例えば、太陽光の強い快晴時には、日の当たっている部分と日陰とのコントラストが強くなるため、輝度和分散ＶＡＲが大きくなる傾向にある。特に、道路面上にガードレールや街路樹等の陰がある場合、輝度和分散ＶＡＲは大きくなりやすい。このような傾向から、正規化輝度和分散ＶＡＲ'よりも弱逆光との関連性が低い輝度和分散ＶＡＲを用い、フェールセーフの解除条件を介入条件よりも緩和することにより、上述したハンチングの発生を防止する。このステップ９において肯定判定された場合、すなわち、フェールセーフの解除条件を具備しない場合には、ステップ１３に進み、カウンタＫのカウントアップが行われる。
【００５３】
一方、ステップ９において否定判定された場合は、さらに、白線信頼度が低いか否かが判断される（ステップ１０）。弱逆光状況であっても、道路面部分は正常に映し出されており、白線（車線）認識の信頼性はそれほど低下していないことも多い。そこで、白線認識の信頼性をフェールセーフの解除条件とすることにより、上述したハンチングの発生を防止することができる。白線の信頼性が低下している場合には、ステップ１３に進み、カウントＫのカウントアップが行われる。これに対して、白線の信頼性が低下していない場合、すなわち、フェールセーフの解除条件を具備する場合には、ステップ１１に進み、カウンタＫのカウントダウンが行われる。
【００５４】
なお、白線の信頼性の算出手法については、本出願人の先願である特願平１１−２６９５７８号公報に開示されている。概略的には、ある撮像画像から検出された白線の信頼性は、その白線に起因した輝度エッジ数、従前の撮像画像において検出された白線位置との関係（連続性）、左右の白線の平行性等に基づいて算出される。基本的には、輝度エッジ数が多いほど、従前の白線位置との連続性が高いほど、または、検出された左右の白線が平行であるほど、白線の信頼性は高くなる。
【００５５】
以上の説明から分かるように、フェールセーフの解除条件（カウンタＫのカウントダウン条件）をまとめると以下のようになる。
［解除条件］
１．シャッタースピードａが3000[μsec]よりも大きいこと
２．シャッタースピードａが3000[μsec]以下の場合には、輝度和分散ＶＡＲが判定値よりも小さく、かつ、白線信頼度が低くないこと
【００５６】
このように、本実施形態では、輝度分布特性パラメータ、輝度エッジ数、上下の輝度飽和率、輝度モーメント等をモニタリングし、これらのパラメータに基づき、弱逆光状況の検出を行っている。これにより、弱逆光状況においてフェールセーフを適切に行うことができるため、車外監視装置の安全性をより高い次元で確保することが可能となる。
【００５７】
特に、本実施形態では、画像を分割して画像の垂直方向に延在する長方形状（縦短冊状）の監視領域を複数設定し、画像の水平方向（横方向）の輝度分布特性値（輝度和分散ＶＡＲや輝度和最大値Ａmax）を求め、この値をシャッタースピードａにより正規化している。これにより、弱逆光との関連性が高いパラメータ（正規化輝度和分散ＶＡＲ'や正規化輝度和最大値Ａmax'）を得ることができる。そして、このような正規化されたパラメータＶＡＲ'，Ａmax'を用いてフェールセーフの介入条件を設定すれば、正規化していない輝度分布特性パラメータＶＡＲ，Ａmaxを用いる場合よりも、弱逆光状況の検出精度の向上を図ることができる。
【００５８】
また、上述したように、フェールセーフの解除条件を、弱逆光状況の特徴を忠実に規定した介入条件よりも緩やかな条件（弱逆光以外の状況も含みうる条件）に設定している。これにより、先行車等のロストと捕捉とが繰り返される状況下におけるフェールセーフのハンチングの発生を抑制できるため、ドライバーに違和感を与えるような車輌制御や警報を防止することができる。
【００５９】
特に、本実施形態では、フェールセーフの介入条件として正規化された輝度分布特性値ＶＡＲ'，Ａmax'を用いているのに対して、フェールセーフの解除条件では、別個のパラメータである輝度分布特性値ＶＡＲ，Ａmax（正規化されていない）を用いている。また、フェールセーフの解除条件で用いられている白線信頼度は、フェールセーフの介入条件では用いられていない。このように、フェールセーフの介入条件と解除条件とで異なるパラメータを用いれば、同一パラメータの判定値を変えるといった一般的な手法と比べて、実際の走行状況に的確に合致するような条件設定をフレキシブルに行うことができる。
【００６０】
さらに、本実施形態では、左右カメラの輝度差や算出距離の分散等を考慮して、カウントアップ量αの値を調整している。これにより、フェールセーフの介入条件を具備した時点からフェールセーフ実行までの判定継続時間を可変に設定することができるので、実際の状況に応じた判定継続時間でフェールセーフを行うことができる。
【００６１】
なお、本実施形態では、フェールセーフを行う状況として、画像に逆光円が生じている弱逆光状況を例に説明した。弱逆光状況は、本発明に係る検出手法を適用することにより最も有効に検出し得る典型例であるが、それ以外の光学的な影響を受けた画像（例えば、スミアの発生等）に適用することも可能である。
【００６２】
【発明の効果】
このように、本発明では、光学的な影響などによって、撮像された画像に異常が生じた場合であっても、そのような画像異常を正確に検出することができる。したがって、撮像画像に異常が生じたとしても、それに的確に応答してフェールセーフを行えるため、車外監視装置の安全性をより高い次元で確保することが可能となる。
【００６３】
また、フェールセーフの介入条件と解除条件とで異なるパラメータを用いることにより、実際の状況に的確に合致するような条件設定をフレキシブルに行うことができる。
【図面の簡単な説明】
【図１】本実施形態に係る車外監視装置のブロック図
【図２】弱逆光判定ルーチンのフローチャート
【図３】弱逆光判定ルーチンのフローチャート
【図４】上部エリアおよび下部エリアの説明図
【図５】先行車エリアの説明図
【図６】監視エリアの説明図
【図７】輝度分布特性パラメータの計測特性図
【図８】正規化された輝度分布特性パラメータの特性図
【図９】通常状況における輝度和の分布特性図
【図１０】弱逆光状況における輝度和の分布特性図
【図１１】輝度重心の説明図
【図１２】フェール判定ルーチンのフローチャート
【図１３】カウントアップ量設定ルーチンのフローチャート
【図１４】正常な画像の一例を示した図
【図１５】逆光円が発生した異常画像の一例を示した図
【図１６】逆光円により誤った距離情報を含む距離画像を示した図
【符号の説明】
１  メインカメラ、            ２  サブカメラ、
３，４  Ａ／Ｄコンバータ、    ５  画像補正部、
６  ステレオ画像処理部、      ７  距離データメモリ、
８  元画像メモリ、            ９  マイクロコンピュータ、
１０  道路認識部、            １１  立体物認識部、
１２  フェール判定部、        １３  処理部、
１４  ＡＴ制御部、            １５  ＡＢＳ制御部、
１６  ＴＣＳ制御部、          １７  トルクバランス制御部、
１８  エンジン制御部、        １９  警報装置
【図１】
0004925498.tif 000003
【図２】
0004925498.tif 000004
【図３】
0004925498.tif 000005
【図４】
0004925498.tif 000006
【図５】
0004925498.tif 000007
【図６】
0004925498.tif 000008
【図７】
0004925498.tif 000009
【図８】
0004925498.tif 000010
【図９】
0004925498.tif 000011
【図１０】
0004925498.tif 000012
【図１１】
0004925498.tif 000013
【図１２】
0004925498.tif 000014
【図１３】
0004925498.tif 000015
【図１４】
0004925498.tif 000016
【図１５】
0004925498.tif 000017
【図１６】
0004925498.tif 000018