(57)【要約】【課題】本発明は前方を走行する車両を検出する車両検出システムに関し、車両を確実に検出できる車両検出システムを提供することを目的とする。【解決手段】本発明は、車両を検出する車両検出システムであって、画像を撮影する撮像手段と、撮像手段により撮像された画像から車両の影の候補を抽出する影抽出手段と、撮像手段により撮像された画像から車両のテールランプを抽出するテールランプ抽出手段と、影抽出手段で抽出した車両の影の候補からテールランプ抽出手段で抽出したテールランプに基づいて車両の影を特定し、車両の影に基づいて車両を検出する車両検出手段とを有することを特徴とする。【選択図】図１
2008287367.tif 000002
【特許請求の範囲】
【請求項１】
車両を検出する車両検出システムであって、
画像を撮影する撮像手段と、
前記撮像手段により撮像された画像から車両の影の候補を抽出する影抽出手段と、
前記撮像手段により撮像された画像から車両のテールランプを抽出するテールランプ抽出手段と、
前記影抽出手段で抽出された車両の影の候補から前記テールランプ抽出手段で抽出されたテールランプの位置に基づいて車両の影を特定し、車両の影に基づいて車両を検出する車両検出手段とを有する車両検出システム。
【請求項２】
前記テールランプ抽出手段は、前記テールランプの色成分を抽出し、抽出された色成分の画素の塊のうち略平行に配置された画素の塊を前記テールランプとして抽出する請求項１記載の車両検出システム。
【請求項３】
前記テールランプ抽出手段は、前記影抽出手段で抽出された影の候補の上側を探索する請求項２記載の車両検出システム。
【請求項４】
前記テールランプ抽出手段は、前記影抽出手段で抽出された影の候補の上側の該影の候補の横幅の半分までの領域を探索する請求項３記載の車両検出システム。
【請求項５】
前記テールランプ抽出手段は、抽出されたテールランプ候補のうち、最も下側のテールランプの候補をテールランプとして認識する請求項１乃至４のいずれか一項記載の車両検出システム。
【請求項６】
前記撮像手段は、カラー画像を撮像しており、
前記テールランプ抽出手段は、前記撮像手段で撮像されたカラー画像のＲ成分及びＧ成分に基づいてテールランプを抽出する請求項１乃至５のいずれか一項記載の車両検出システム。
【請求項７】
前記車両検出手段は、前記影抽出手段で複数の影の候補が抽出された場合に、前記複数の影の候補のうち上側近傍に前記テールランプ抽出手段によりテールランプが抽出された影の候補を、前記車両の影として特定する請求項１乃至６のいずれか一項記載の車両検出システム。
【請求項８】
前記車両検出手段は、特定した車両の影の位置情報を保持しており、前記影抽出手段で抽出した車両の影及び特定された車両の影の位置情報並びに前記テールランプ抽出手段で抽出したテールランプの位置に基づいて前記車両の影を検出する請求項１乃至６のいずれか一項記載の車両検出システム。
【請求項９】
前記撮像手段は、単眼カメラである請求項１乃至８のいずれか一項記載の車両検出システム。
【請求項１０】
前記撮像手段で撮像された画像から白線を抽出する白線抽出手段を有し、
前記影抽出手段は、前記白線抽出手段で抽出された白線に応じた範囲について影の探索を行う請求項１乃至９のいずれか一項記載の車両検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両検出システムに係り、特に、前方を走行する車両を検出する車両検出システムに関する。
【背景技術】
【０００２】
先進安全運転支援システムとして最近車両に搭載されているオートクルーズコントロール（ＡＣＣ）機能では先行車両の検出や距離測定が不可欠である。このようなシステムに適用される車両検出や距離測定には、主に、マイクロ波レーダが使われる。しかし、レーダのみでは前方の詳細な状況把握が困難なため、カメラ画像を使って前方の車両を検出する車両検出システムなどが併用されるのが現状である。カメラ画像を使った前方車両検出システムでは通常ステレオカメラが使われており、ステレオカメラで撮像された画像からそれぞれ車両のバンパーのエッジ等を抽出して、ステレオカメラで撮像された２つのカメラ画像の対応付け処理を行っている。
【０００３】
ステレオカメラ画像を使った車両検出システムでは、２つの画像を処理し、相互に対応付ける処理を行う必要があるため、処理時間が大きく、高速なＣＰＵなどを用いなければならず、コストがかさむなどの問題点があった。
【０００４】
一方、車両を撮像した画像は、車両下の影は明度が非常に低く、バラつきがないという特徴がある。しかし、これまで画像処理において、車両の一部でない影は雑音除去の対象であった。トンネル内、曇り時や夜間においては難しいとされており、車両抽出の要素としては注目されていなかった。
【０００５】
そこで、上記特徴に着目して、車両内に設置したカメラにより撮影した画像から前方車両の影部分を抽出することによる前方車両検出システムが提案されている（例えば、非特許文献１参照）。これらの車両検出方法は、影の明度が低いことに着目し、画像内の明度の低い画素をカウントして影とそれ以外を判別する閾値を見つける。車両の影を用いた車両検出方法は、少ない計算コストで影検出をすることができ、かつ、昼夜を問わず実行することができる。
【非特許文献１】西本至孝，泉隆：影抽出に基づく車両検出について，電気学会ITS研究会，ITS-06-14，pp.7-12(2006-06)．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかるに、従来の車両下の影を用いた車両検出処理では、例えば、横断歩道など路面にマーカーが描かれている場所においては車両下の影が無くなってしまうため、検出精度が低下する。また、夜間における検出精度がやや下がる傾向にある。さらに、カーブや交差点における先行車両の挙動に対して未検出が発生することがあるなどの課題があった。
【０００７】
本発明は上記の点に鑑みてなされたもので、車両を確実に検出できる車両検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、車両を検出する車両検出システムであって、画像を撮影する撮像手段と、撮像手段により撮像された画像から車両の影の候補を抽出する影抽出手段と、撮像手段により撮像された画像から車両のテールランプを抽出するテールランプ抽出手段と、影抽出手段で抽出した車両の影の候補からテールランプ抽出手段で抽出したテールランプの位置に基づいて車両の影を特定し、車両の影に基づいて車両を検出する車両検出手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、車両の検出に、車両下の影と車両のテールランプとを併用することにより、車両に影が検出し難い状況においても車両を確実に検出することができる。
【発明を実施するための最良の形態】
【００１０】
図１は本発明の一実施例のシステム構成図を示す。
【００１１】
本実施例の車両検出システム１００は、撮像装置１１１、インタフェース１１２、処理装置１１３、記憶装置１１４、制御対象装置１１５から構成されている。
【００１２】
撮像装置１１１は、１つのビデオカメラから構成されており、搭載車両前方のカラー画像を、画角を固定した状態で撮像する。インタフェース１１２は、撮像装置１１１と処理装置１１３とのインタフェース、及び、処理装置１１３と制御対象装置１１５とのインタフェースをとっており、撮像装置１１１で撮像されたカラー画像を処理装置１１３に取り込むとともに、処理装置１１３での車両検出結果を制御対象装置１１５に通知する。
【００１３】
処理装置１１３は、記憶装置１１４に記憶された車両検出プログラムを実行して、撮像装置１１１で撮像されたカラー画像から前方の車両を検出する。
【００１４】
記憶装置１１４は、メモリ、ＨＤＤなどから構成されており、車両検出プログラムがインストールされるとともに、処理装置１１３の作業用記憶領域として用いられる。
【００１５】
次に処理装置１１３で実行される車両検出プログラムについて説明する。
【００１６】
図２は処理装置１１３で実行される車両検出プログラムのフローチャートを示す。
【００１７】
処理装置１１３は、車両検出プログラムが起動されると、ステップＳ１−１で撮像装置１１１から動画像を取り込む。処理装置１１３は、ステップＳ１−２で取り込んだ動画像から１フレームの画像を読み出す。
【００１８】
次に処理装置１１３は、ステップＳ１−３で読み出した１フレームの画像から白線を抽出する。次に処理装置１１３は、ステップＳ１−４で抽出された白線により設定される領域を探索して、前方車両の影を抽出する。
【００１９】
次に処理装置１１３は、ステップＳ１−５で抽出された影に基づいて設定される領域を探索して、前方車両のテールランプを抽出する。
【００２０】
処理装置１１３は、ステップＳ１−６で前方車両の影、及び、テールランプから前方車両を検出する。
【００２１】
以上により、前方に存在する車両を比較的簡単な処理で、確実に検出することができる。なお、上記処理は、汎用コンピュータでも３０ｍｓ以下の処理で済み、リアルタイム性も十分に満足できる。
【００２２】
次に、上記のステップＳ１−３の白線抽出処理、ステップＳ１−４の影抽出処理、ステップＳ１−５のテールランプ抽出処理の各処理について説明する。
【００２３】
図３は白線抽出処理のフローチャートを示す。
【００２４】
処理装置１１３は、ステップＳ２−１でカラー画像を読み込み、ステップＳ２−２でカラー画像から白線及び黄線を抽出し易い輝度値画像を抽出する。
【００２５】
次に処理装置１１３は、ステップＳ２−３で輝度値画像からエッジを抽出する。処理装置１１３は、ステップＳ２−４で抽出したエッジから白線を抽出する。
【００２６】
ステップＳ２−４の白線抽出処理では、自車両が走行している車線を認識するため、車線の左右の白線を検出する。その中で演算量を抑えるため、簡易な走査となるように、撮像画像を下から順次に走査していき、白線と思われる画素を見つけたら、そこから上側に向かって近傍のみを走査をしていく。白線と思われる画素がある程度連結していたら、それを白線とみなし、さらに、そこから上側を近傍走査していき、連結画素があれば、それらも白線と見なしていく。これにより曲線にも対応することができる。この方法を左右の白線について行う。また、現在の情報より前の５フレーム分のログを取り、白線が見つからない場合や、交差点においての未抽出・誤抽出の救済措置を行う。追い越し禁止の黄色い線についても同様である。
【００２７】
図４はステップＳ２−４のフローチャートを示す。
【００２８】
処理装置１１３は、まず、ステップＳ３−１〜Ｓ３−３で最終探索ラインlast、状態フラグflag、カウント値count、ミスカウント値misscountに「０」をセットする。なお、最終探索ラインlastは、探索したライン数を示す値である。状態フラグflagは、走査の状態を示すフラグで、最上端を走査したとき「１」、最上端まで走査されていない状態のときに「２」、ミスカウント値misscountが「５」になったとき、すなわち、５ライン白線が検出できないときに「３」にセットされる。
【００２９】
次に、処理装置１１３は、ステップＳ３−４で、まず、画像の最下端を走査する。処理装置１１３は、ステップＳ３−５で走査結果、白線の対象となる画素があると、ステップＳ３−６で白線の対象となる画素があるライン数を示すカウント値countを「＋１」する。
【００３０】
次に、処理装置１１３は、ステップＳ３−７で上側のラインの近傍を探索する。処理装置１１３は、探索の結果、ステップＳ３−８で白線の対象となる画素があれば、ステップＳ３−９で白線の対象となる画素があるライン数を示すカウント値countを「＋１」する。
【００３１】
また、処理装置１１３は、探索の結果、ステップＳ３−８で白線の対象となる画素がなければ、ステップＳ３−１０で白線の対象となる画素がないライン数を示すミスカウント値misscountを「＋１」する。
【００３２】
次に処理装置１１３は、ステップＳ３−１１でカウント値countが「１０」に達したか、否かを判定する。処理装置１１３は、ステップＳ３−１１でカウント値countが「１０」であれば、ステップＳ３−１２で白線描画処理を実行し、白線描画を行う。
【００３３】
処理装置１１３は、ステップＳ３−１３で走査したラインが最上端か、否かを判定する。ステップＳ３−１３で走査したラインが最上端のラインであると判定されると、ステップＳ３−１４でフラグflagに「１」をセットする。また、ステップＳ３−１３で最上端ラインでない場合には、ステップＳ３−１５でフラグflagを「２」にセットする。
【００３４】
また、処理装置１１３は、ステップＳ３−１１で処理装置１１３は、ステップＳ３−１１でカウント値countが「１０」に達していない場合には、ステップＳ３−１６で走査したラインが最上端か否かを判定する。処理装置１１３は、ステップＳ３−１６で走査したラインが最上端である場合には、ステップＳ３−１７で状態フラグflagを「１」にセットする。
【００３５】
また、処理装置１１３は、ステップＳ３−１６で走査したラインが最上端でない場合には、ステップＳ３−１８でミスカウント値misscountが「５」に達したか、否かを判定する。処理装置１１３は、ステップＳ３−１８でミスカウント値misscountが「５」に達すると、白線が抽出できない状態であると判断して、ステップＳ３−１９で状態フラグflagを「３」にセットする。なお、処理装置１１３は、ステップＳ３−１８でミスカウント値misscountが「５」に達していない場合には、状態フラグflagは設定しない。
【００３６】
次に、処理装置１１３は、ステップＳ３−２０で状態フラグflagが「１」か否かを判定する。処理装置１１３は、ステップＳ３−２０で状態フラグflagが「１」の場合には、ステップＳ３−２４で終点座標last!＝topか否か、すなわち、終点まで白線が引かれているか否かを判定する。処理装置１１３は、ステップＳ３−２４で終点まで白線が引かれている場合には、ステップＳ３−２５で更に、傾きから白線を引き、ステップＳ３−２６でログに保存する。
【００３７】
処理装置１１３は、ステップＳ３−２０で状態フラグflagが「１」でない場合には、ステップＳ３−２１で状態フラグflagが「２」あるいは「３」か判定する。処理装置１１３は、ステップＳ３−２１で状態フラグflagが「２」あるいは「３」ではない場合、すなわち、状態フラグflagが「１」、「２」、「３」のいずれにも当てはならない場合には、ステップＳ３−２２で１ライン上に移動して、ステップ３−７に戻って処理を続ける。また、処理装置１１３は、ステップＳ３−２１で状態フラグflagが「２」あるいは「３」の場合には、ステップＳ３−２３でデータを初期化した後、ステップＳ３−２９で走査ラインを１ライン上に移動して、ステップＳ３−２に戻って走査を行う。
【００３８】
また、処理装置１１３は、ステップＳ３−５で白線の対象となる対象画素が存在しない場合には、次にステップＳ３−２７で最上端の走査か否かを判定する。処理装置１１３は、ステップＳ３−２７で最上端の走査でない場合には、ステップＳ３−２８でデータを初期化し、ステップＳ３−２９で走査ラインを１ライン上に移動して、ステップＳ３−２に戻って走査を行う。
【００３９】
また、処理装置１１３はステップＳ３−２７で走査ラインが最上端の走査である場合には、ステップＳ３−２４に移行してステップＳ３−２４〜Ｓ３−２６の処理を行う。
【００４０】
ここで、ステップＳ３−１２の白線描画処理について説明する。
【００４１】
図５はステップＳ３−１２のフローチャートを示す。
【００４２】
処理装置１１３は、ステップＳ４−１で傾きを求め、ステップＳ４−２で終点座標lastが「０」か否かを判定する。
【００４３】
処理装置１１３は、ステップＳ４−２で終点座標lastが「０」でなければ、ステップＳ４−３で始点から終点まで求めた傾きを利用して、直線を引き、白線を描画し、ステップＳ４−４で描画した白線の座標をログ保存するとともに、ステップＳ４−５で終点座標をlastに保存する。
【００４４】
次に、処理装置１１３は、ステップＳ４−６で上側近傍を走査し、ステップＳ４−７で白線の対象となる画素があるか否かを判定する。処理装置１１３は、ステップＳ４−７で白線の対象となる画素が存在する場合には、ステップＳ４−８で白線を検知し、ステップＳ４−９でその座標をログ保存する。
【００４５】
処理装置１１３は、ステップＳ４−１０で最上端の走査か否かを判定する。処理装置１１３は、ステップＳ４−１０で最上端の走査した場合には、ステップＳ４−１２で状態フラグflagに「１」をセットする。処理装置１１３は、ステップＳ４−１０で最上端の走査したものではない場合には、ステップＳ４−１１で最終座標lastに保存する。
【００４６】
また、処理装置１１３は、ステップＳ４−２で最終座標lastが「０」でない場合には、ステップＳ４−１３で傾きから最終座標を求め、ステップＳ４−１４で傾きから求めた最終座標と最終座標lastとして設定された最終座標とが一致するか否かを判定する。処理装置１１３は、ステップＳ４−１４で傾きから求めた最終座標と最終座標lastとして設定された最終座標とが一致する場合には、ステップＳ４−１５で最終座標lastを終点する直線により白線を描画し、ステップＳ４−４に移行する。
【００４７】
処理装置１１３は、ステップＳ４−１４で傾きから求めた最終座標と最終座標lastとして設定された最終座標とが一致しない場合には、ステップＳ４−１６で取得した座標を破棄する。
【００４８】
次に処理装置１１３は、ステップＳ４−１７で最上端を走査したものか否かを判定する。処理装置１１３は、ステップＳ４−１７で最上端を走査したものではない場合には、ステップＳ４−１８で状態フラグflagに「２」をセットする。また、処理装置１１３は、ステップＳ４−１７で最上端を走査した場合には、ステップＳ４−１９で状態フラグflagに「１」をセットする。
【００４９】
さらに、処理装置１１３は、ステップＳ４−７で白線の対象となる画素がない場合には、ステップＳ４−２０で最上端を走査したものか否かを判定する。処理装置１１３は、ステップＳ４−２０で最上端を走査したときにはステップＳ４−２１で状態フラグflagに「２」をセットする。また、処理装置１１３は、ステップＳ４−２０で最上端を走査したものではない場合、ステップＳ４−１２で状態フラグflagに「１」をセットする。
【００５０】
以上により白線が描画される。
【００５１】
次にステップＳ１−３の影抽出処理について説明する。
【００５２】
影抽出処理は、白線を抽出後、前方車両を検出するのに自車両走行車線以外は必要ないので、その領域内のみに施される。影は明度が非常に低いことから、２値化の閾値は白線内の輝度値「０」の画素から数えていき、規定の画素数に達したところで閾値を決定する。これにより車両の影候補を抽出する。
【００５３】
夜間は周りも明度が低くなるので雑音が多くなり、誤抽出が多発する。その対策として、車両下の影は横に広がって存在する特徴があるので、画像を各行ごとに走査していき、影と思われる画素が多い行は、画素同士を繋ぐ処理をする。これにより、抽出したい影を正確に求めることができる。連結成分に同じラベルを付けるラベリング処理の後、その面積の小さすぎる塊、大きすぎる塊は対象外とみなし、そのラベルを消去する。すなわち、1行ごとに対象画素を数え、１行の合計画素数が車両の横幅に対して十分存在すれば、その付近に車両下の影があると判断し、それらの始点画素から終点画素までを影とみなして補完する。十分に存在しない場合、影ではないとしてその行の画素をすべて除去する。
【００５４】
図６は影抽出処理の概略フローチャートを示す。
【００５５】
処理装置１１３は、まず、ステップＳ５−１で影を探索する領域を限定する。次に、処理装置１１３は、ステップＳ５−２で限定した領域の画像を２値化する。
【００５６】
次に、処理装置１１３は、ステップＳ５−３で２値化した画像を補完する。次に、処理装置１１３は、ステップＳ５−４で補完した２値化画像をラベリングする。このとき、前方の車両の影の他に、側方の車両の影や車両以外の影が車両の影の候補として抽出される。
【００５７】
次に、処理装置１１３は、ステップＳ５−５でラベリングされた２値化画像から塊が小さい部位をノイズと判断して、除去する。次に処理装置１１３は、ステップＳ５−６でノイズを除去された２値化画像で残った影を注目する前方の車両の影として抽出する。
【００５８】
次にステップＳ５−３〜Ｓ５−６の処理について説明する。
【００５９】
図７はステップＳ５−４の詳細フローチャートを示す。
【００６０】
まず、処理装置１１３は、ステップＳ６−１で白線内を走査した保存する。次に、処理装置１１３は、まず、ステップＳ６−２で上限輝度ａを「０」にセットする。次に、処理装置１１３は、ステップＳ６−３で輝度が０〜ａとなる画素の画素数をカウントする。
【００６１】
処理装置１１３は、ステップＳ６−４で輝度が０〜ａの合計画素数が合計画素規定値に達したか否かが判定される。
【００６２】
処理装置１１３は、ステップＳ６−４で輝度が０〜ａの合計画素数が合計画素規定値に達していなければ、ステップＳ６−５で上限輝度ａを（ａ＋１）にし、ステップＳ６−３に戻って処理を続ける。
【００６３】
また、処理装置１１３は、ステップＳ６−４で輝度が０〜ａの合計画素数が合計画素規定値に達していれば、ステップＳ６−６でその時の輝度ａを閾値に設定する。次に、処理装置１１３は、ステップＳ６−７で、設定された閾値ａに基づいて読み込んだ画像を２値化する。
【００６４】
次に、処理装置１１３は、ステップＳ６−８で２値化した画像の影の画素、すなわち、２値化によって「０」とされた画素を各行毎にカウントする。このときの各行毎のカウント値をＣ１とする。処理装置１１３は、ステップＳ６−９でカウント値Ｃ１が一定値Ｃ0より大きいか否か、すなわち、横幅に対して影となる画素が多く存在するか否かを判定する。
【００６５】
処理装置１１３は、ステップＳ６−９で横幅に対して影となる画素が多く存在する場合には、ステップＳ６−１０で影となる画素を結び車両の影としてラベリングする。また、処理装置１１３は、ステップＳ６−９で横幅に対して影となる画素が少ない場合には、ノイズと見なし、ステップＳ６−１１で影として抽出された画素を車両の影から除外する。
【００６６】
以上により前方車両の影のみを確実に抽出することができる。
【００６７】
次にテールランプ抽出処理について説明する。
【００６８】
車両影の上にはテールランプが存在するはずである。よって、影とテールランプを併用して追跡処理を行うことにより、確実に車両を追跡することが可能となる。
【００６９】
追跡の際に中心点座標の上側を走査し、テールランプが存在すれば、その影が車両下の影であると判断できる。これにより無駄な追跡処理を回避することができ、交差点における追跡処理も可能になる。
【００７０】
なお、テールランプの抽出処理は、ログが十分取れている場合と、いない場合とで処理を変更している。ログを十分に取得していない場合には、影抽出における各ラベル塊の上側にテールランプが存在するか調べる。走査範囲はラベルの上側、(ラベルの横幅÷２)分までとする。テールランプの下にあるラベルが車両下の影であるとする。そして影ラベルの位置情報（Ｙ座標）をログに保存する。
【００７１】
また、ログを十分に取得している場合には、ログと、現在取得したラベルの上にテールランプが存在するか調べる。画像下ほど自車両により近いので、テールランプが見つかった一番下のラベルを車両下の影であるとみなす。現在取得したラベルが採用されればその情報をログに格納し、ログを利用したならばログ情報は変わらないのでログに格納しない。
【００７２】
なお、色によるテールランプの抽出は、実画像分析結果からＲＧＢ表色系のＧ成分とＲ成分を利用し、また、そこで得られた画素塊の平行性を調べることによりテールランプを抽出する。
【００７３】
最後に、車両影部分が視覚的に見えるようグルーピング処理を施し画素塊領域を長方形で囲む。グルーピングでは複数のグループが抽出されることがある。これは誤抽出となってしまうので、グループが複数見つかった場合、それらのグループの上側を走査しテールランプが存在するかどうかでグループを１つに決定している。
【００７４】
図８はテールランプ抽出処理のフローチャートを示す。
【００７５】
まず、処理装置１１３は、ステップＳ７−１、Ｓ７−２で撮像した画像からＧ成分、Ｒ成分を抽出する。
【００７６】
処理装置１１３は、ステップＳ７−３でＧ画像とＲ画像とのＡＮＤ画像を作成し、ステップＳ７−４で作成したＡＮＤ画像から高輝度部分を抽出してラベリングする。なお、ラベリングとは、２値化した各画素にラベルを付加することにより、特定の領域を抽出できるようにする処理である。ラベリング処理により、連結している画素に同じラベルを付加することで複数の領域をグループとして分類することができる。これによって、テールランプを確実に抽出できる。
【００７７】
処理装置１１３は、ステップＳ７−５でラベリングされた画像からノイズを除去する。
【００７８】
処理装置１１３は、ステップＳ７−６でラベリングされた部分相互の平行性を検出する。次に、処理装置１１３は、ステップＳ７−７で検出された平行性に基づいてテールランプを抽出する。
【００７９】
ここで、ステップＳ７−７のテールランプ抽出処理について説明する。
【００８０】
図９はステップＳ７−７のテールランプ抽出処理のフローチャートを示す。
【００８１】
処理装置１１３は、ステップＳ８−１でラベルを探索し、ステップＳ８−２でラベルが複数存在するか否かを判定する。処理装置１１３は、ステップＳ８−２でラベルが複数存在する場合には、ステップＳ８−３で各ラベルのログが取得されているか否かを判定する。
【００８２】
処理装置１１３は、ステップＳ８−３でログが取得されていれば、ステップＳ８−４でラベル、ログの両方の上側の領域を探索し、テールランプ候補を抽出する。また、処理装置１１３は、ステップＳ８−３で、各ラベルでログが取得されていなければ、ステップＳ８−５でラベルの上側の領域のみを探索し、テールランプ候補を抽出する。
【００８３】
処理装置１１３は、ステップＳ８−２でラベルが複数存在しなければ、ステップＳ８−６でラベルが存在するか否かを判定する。処理装置１１３は、ステップＳ８−６でラベルが存在する、すなわち、ラベルが一つのみ存在すれば、ステップＳ８−７でログが取得されているか否かを判定する。ログ、ラベル両方の上側の領域を探索し、テールランプ候補を抽出する。処理装置１１３は、ステップＳ８−７でラベルのログが取得されていなければ、ステップＳ８−９でラベルの上側の領域のみを探索し、テールランプ候補を抽出する。
【００８４】
なお、処理装置１１３は、ステップＳ８−６でラベルが存在しなければ、ステップＳ８−１０で前方に車両はないと判断して処理を終了する。
【００８５】
また、処理装置１１３は、ステップＳ８−４、Ｓ８−５、Ｓ８−６、Ｓ８−９でテールランプ候補が抽出されると、ステップＳ８−１１で抽出されたテールランプ候補が複数あるか否かを判定する。
【００８６】
処理装置１１３は、ステップＳ８−１１で複数の候補があれば、ステップＳ８−１２で複数の候補のうち最も下側のテールランプの候補を抽出すべきテールランプとして採用する。処理装置１１３は、ステップＳ８−１３でテールランプ抽出時にログを利用したか否かを判定する。
【００８７】
処理装置１１３は、ステップＳ８−１３でログを利用していれば、そのまま、処理を終了する。また、処理装置１１３は、ステップＳ８−１３でログを利用していなければ、ステップＳ８−１４で抽出したラベルをログとして、処理を終了する。
【００８８】
また、処理装置１１３は、ステップＳ８−１１でテールランプの候補となるラベルまたは、ログが複数存在しなければ、ステップＳ８−１５でテールランプの候補があるか否かを判定する。
【００８９】
処理装置１１３は、ステップＳ８−１５でテールランプの候補が一つあれば、ステップＳ８−１６で一つのテールランプ候補を抽出すべきテールランプとして採用し、ステップＳ８−１４で抽出したラベルをログとして、処理を終了する。
【００９０】
また、処理装置１１３は、ステップＳ８−１５でテールランプ候補がなければ、ステップＳ８−１１で前方に車両はないと判断して処理を終了する。
【００９１】
以上により、テールランプを順次に追跡し、抽出することが可能となる。
【００９２】
次に、ステップＳ７−１〜Ｓ７−３の処理について説明する。
【００９３】
図１０はステップＳ７−１〜Ｓ７−４のフローチャートを示す。
【００９４】
図１０においてステップＳ９−１〜Ｓ９−５はステップＳ７−１のＧ成分判定処理に相当し、ステップＳ９−５〜Ｓ９−１０はステップＳ７−２のＲ成分判定処理に相当する。さらに、ステップＳ９−１１〜Ｓ９−１２はステップＳ９−１１、Ｓ９−１２に相当する。
【００９５】
処理装置１１３は、ステップＳ９−１でＧ成分ｇに「０」をセットする。処理装置１１３は、ステップＳ９−２で０〜ｇの画素数を計数する。処理装置１１３は、ステップＳ９−３で計数した画素数が規定値か否かを判断する。
【００９６】
処理装置１１３は、ステップＳ９−３で合計画素数が規定値に達していなければ、ステップＳ９−４でｇの値を「ｇ＋１」に設定し、ステップＳ９−２に戻って処理を続ける。
【００９７】
処理装置１１３は、ステップＳ９−３で合計画素数が規定値に達していれば、ステップＳ９−５でそのときのｇの値を閾値に設定する。
【００９８】
以上により、Ｇ成分の閾値が設定される。
【００９９】
処理装置１１３は、ステップＳ９−６でＲ成分ｒに「０」をセットする。処理装置１１３は、ステップＳ９−７で０〜ｒの画素数を計数する。処理装置１１３は、ステップＳ９−８で計数した画素数が規定値か否かを判断する。
【０１００】
処理装置１１３は、ステップＳ９−８で合計画素数が規定値に達していなければ、ステップＳ９−９でｒの値を「ｒ＋１」に設定し、ステップＳ９−７に戻って処理を続ける。
【０１０１】
処理装置１１３は、ステップＳ９−８で合計画素数が規定値に達していれば、ステップＳ９−１０でそのときのｒの値を閾値に設定する。
【０１０２】
次に、処理装置１１３は、ステップＳ９−１１で原画像をｇ閾値、ｒ閾値の各々で２値化する。処理装置１１３は、ステップＳ９−１２で２つの２値化画像のＡＮＤをとる。
【０１０３】
以上によりテールランプの候補を抽出することができる。
【０１０４】
次に、上記車両検出システム１００を搭載した車両を走行させて、前方の車両を検出した実験の結果について説明する。
【０１０５】
図１１乃至図１３は本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。図１１（Ａ）〜（Ｃ）、図１２（Ａ）〜（Ｄ）、図１３（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図１１（Ｄ）〜（Ｆ）、図１２（Ｅ）〜（Ｈ）、図１３（Ｅ）〜（Ｈ）は図１１（Ａ）〜（Ｃ）、図１２（Ａ）〜（Ｄ）、図１３（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された影の領域Ａ及び車線Ｌ１、Ｌ２を重ねた画像を示す。
【０１０６】
図１１乃至図１３に示すように本実施例の車両検出処理によれば、トンネル内においても前方の車両Ｍの下部に形成される車両Ｍの影の領域Ａを確実に取得し、かつ、追跡できていることがわかる。
【０１０７】
図１４乃至図１６は本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。なお、図１４（Ａ）〜（Ｃ）、図１５（Ａ）〜（Ｄ）、図１６（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図１４（Ｄ）〜（Ｆ）、図１５（Ｅ）〜（Ｈ）、図１６（Ｅ）〜（Ｈ）は図１４（Ａ）〜（Ｃ）、図１５（Ａ）〜（Ｄ）、図１６（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された影の領域Ａ及び車線Ｌ１、Ｌ２を重ねた画像を示す。
【０１０８】
図１４乃至図１６に示すように本実施例の車両検出処理によれば、昼間の一般道においても前方を走行する車両Ｍの影の領域Ａを確実に抽出できていることがわかる。
【０１０９】
図１７乃至図１９は本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。なお、図１７（Ａ）〜（Ｃ）、図１８（Ａ）〜（Ｄ）、図１９（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図１７（Ｄ）〜（Ｆ）、図１８（Ｅ）〜（Ｈ）、図１９（Ｅ）〜（Ｈ）は図１７（Ａ）〜（Ｃ）、図１８（Ａ）〜（Ｄ）、図１９（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された影の領域Ａ及び車線Ｌ１、Ｌ２を重ねた画像を示す。
【０１１０】
図１７乃至図１９に示すように本実施例の車両検出処理によれば、夜間の一般道においても前方を走行する車両Ｍの影の領域Ａを確実に抽出できていることがわかる。
【０１１１】
図２０乃至図２５は本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。なお、図２０（Ａ）〜（Ｃ）、図２１（Ａ）〜（Ｄ）、図２２（Ａ）〜（Ｄ）、図２３（Ａ）〜（Ｄ）、図２４（Ａ）〜（Ｄ）、図２５（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図２０（Ｄ）〜（Ｆ）、図２１（Ｅ）〜（Ｈ）、図２２（Ｅ）〜（Ｈ）、図２３（Ｅ）〜（Ｈ）、図２４（Ｅ）〜（Ｈ）、図２５（Ｅ）〜（Ｈ）は図２０（Ａ）〜（Ｃ）、図２１（Ａ）〜（Ｄ）、図２２（Ａ）〜（Ｄ）、図２３（Ａ）〜（Ｄ）、図２４（Ａ）〜（Ｄ）、図２５（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された車両Ｍ１、Ｍ２の影の領域Ａ１、Ａ２及び車線Ｌ１、Ｌ２を重ねた画像を示す。
【０１１２】
図２０乃至図２５に示すように本実施例の車両検出処理によれば、夜間の交差点においても前方を走行する車両Ｍ１、Ｍ２の影の領域Ａ１、Ａ２を確実に抽出できていることがわかる。
【０１１３】
また、直前の車両Ｍ１が交差点で左折し、検出範囲から逸脱した場合であっても、車両Ｍ１が左折し、検出範囲から逸脱した後に、前方の車両Ｍ２の影の領域Ａ２を確実に取得できることがわかる。
【０１１４】
このように、本実施例によれば、影の補完処理や白線・影の情報をログ保存する処理の追加により、影の塊をより正確に抽出できる。
【０１１５】
また、影候補を抽出した場合、その上にあるテールランプ情報を利用することにより、影サイズを適正なサイズに補正できるとともに、テールランプがない場合には不要な影として効果的に除去できる。なお、テールランプ抽出処理には、影塊画素の上側を探索するのみなので、処理時間はわずかで済む。
【０１１６】
連続フレーム情報の利用等により、前方の車両対象が変わった場合にも即座にその対象を変更できる。特に横断歩道や交差点による誤検出が減少し、また未抽出はなくなり、非常に良好な実験結果が得られる。
【０１１７】
なお、上記、車両の下影を用いた前方車両検出率は夜間時の一般道（直線道路直進、横断歩道有道路直進、交差点有道路直進それぞれ１００フレームの３００フレーム実験）で９６％、テールランプを併用した場合は９９％と高い抽出率が得られた。
【０１１８】
また、汎用コンピュータ、例えば、ＣＰＵ:Ｐｅｎｔｉｕｍ4（商標）、２．５ＧＨｚ、５１２Ｍｂｙｔｅを用いて、実施例の車両検出処理を１フレーム行うのに必要な処理時間は、約３０ｍｓであり、１秒間で３０フレーム以上のビデオレートで処理できることになる。すなわち、リアルタイムで動作させることが可能となる。
【０１１９】
また、本実施例では、撮像装置１１１を単眼カメラ構成としているので、カメラ設置位置がフレキシブルになる。また、ステレオカメラ構成にした場合に比べて、複雑な処理を必要としないので画像処理における処理量が少なくて済む。
【０１２０】
なお、本実施例では撮像装置１１１を単眼構成としたが、ステレオカメラ構成にすれば、さらに精度ならびに信頼性向上が期待できる。
【０１２１】
なお、本発明は上記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形例が考えられることは言うまでもない。
【図面の簡単な説明】
【０１２２】
【図１】本発明の一実施例のシステム構成図である。
【図２】処理装置１１３で実行される車両検出プログラムのフローチャートである。
【図３】白線抽出処理のフローチャートである。
【図４】ステップＳ２−４のフローチャートである。
【図５】ステップＳ３−１２のフローチャートである。
【図６】影抽出処理の概略フローチャートである。
【図７】ステップＳ５−４の詳細フローチャートである。
【図８】テールランプ抽出処理のフローチャートである。
【図９】ステップＳ７−７のテールランプ抽出処理のフローチャートである。
【図１０】ステップＳ７−１〜Ｓ７−４のフローチャートである。
【図１１】本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。
【図１２】本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。
【図１３】本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。
【図１４】本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。
【図１５】本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。
【図１６】本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。
【図１７】本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。
【図１８】本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。
【図１９】本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。
【図２０】本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。
【図２１】本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。
【図２２】本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。
【図２３】本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。
【図２４】本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。
【図２５】本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。
【符号の説明】
【０１２３】
１００  車両検出システム、１１１  撮像装置、１１２  インタフェース
１１３  処理装置、１１４  記憶装置、１１５  制御対象装置
【図１】
2008287367.tif 000003
【図２】
2008287367.tif 000004
【図３】
2008287367.tif 000005
【図４】
2008287367.tif 000006
【図５】
2008287367.tif 000007
【図６】
2008287367.tif 000008
【図７】
2008287367.tif 000009
【図８】
2008287367.tif 000010
【図９】
2008287367.tif 000011
【図１０】
2008287367.tif 000012
【図１１】
2008287367.tif 000013
【図１２】
2008287367.tif 000014
【図１３】
2008287367.tif 000015
【図１４】
2008287367.tif 000016
【図１５】
2008287367.tif 000017
【図１６】
2008287367.tif 000018
【図１７】
2008287367.tif 000019
【図１８】
2008287367.tif 000020
【図１９】
2008287367.tif 000021
【図２０】
2008287367.tif 000022
【図２１】
2008287367.tif 000023
【図２２】
2008287367.tif 000024
【図２３】
2008287367.tif 000025
【図２４】
2008287367.tif 000026
【図２５】
2008287367.tif 000027