(57)【要約】【課題】停止線の路面標示部を正確に検出することができる。【解決手段】移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する停止線検出装置において、走行している走行路面領域から他の走行路面領域へ分岐する分岐箇所に設けられ、走行路面領域と走行路面領域外とを区画する構造物と、路面幅方向に延びた長尺帯状の路面標示部とを、撮像画像から検出し、検出した構造物の位置から所定距離だけ離れた位置に存在する路面標示部を停止線の路面標示部として検出する。【選択図】図３
2014238693.tif 000002
【特許請求の範囲】
【請求項１】
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する停止線検出装置において、
移動体が走行している走行路面領域から他の走行路面領域へ分岐する分岐箇所に設けられ、走行路面領域と走行路面領域外とを区画する構造物と、路面幅方向に延びた長尺帯状の路面標示部とを、前記撮像画像から検出し、検出した前記構造物の位置から所定距離だけ離れた位置に存在する前記路面標示部を停止線の路面標示部として検出することを特徴とする停止線検出装置。
【請求項２】
請求項１記載の停止線検出装置において、
複数の撮像手段により移動体の走行方向を撮像して得られる複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を左右方向に複数分割して得られる各列領域内における視差値の頻度分布を示す縦方向視差ヒストグラム情報を生成し、生成した縦方向視差ヒストグラム情報に基づいて、前記構造物を検出することを特徴とする停止線検出装置。
【請求項３】
請求項１記載の停止線検出装置において、
前記撮像画像から移動体の走行路面領域を検出し、走行路面領域内で前記構造物の位置から所定距離だけ離れた位置に存在する前記路面標示部を停止線の路面標示部として検出することを特徴とする停止線検出装置。
【請求項４】
請求項３記載の停止線検出装置において、
複数の撮像手段により移動体の走行方向を撮像して得られる複数の撮像画像から生成される視差画像情報に基づいて、前記撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す横方向視差ヒストグラム情報を生成し、生成した横方向視差ヒストグラム情報に基づいて、前記走行路面領域を検出することを特徴とする停止線検出装置。
【請求項５】
請求項１記載の停止線検出装置において、
前記所定距離は、複数の撮像手段により移動体の走行方向を撮像して得られる複数の撮像画像に基づいて生成される視差画像情報に基づいて算出することを特徴とする停止線検出装置。
【請求項６】
請求項１記載の停止線検出装置において、
前記停止線の路面標示部は、少なくとも、路面幅方向における所定の路面方向幅又は該路面幅方向に対し直交する移動体走行方向における所定の走行方向幅を有すること特徴とする停止線検出装置。
【請求項７】
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する停止線検出装置において、
移動体が走行している走行路面領域内の高さ成分を有する物の画像と、路面幅方向に延びた長尺帯状の路面標示部の画像とを、前記撮像画像から検出し、走行路面領域内の高さ成分を有する物の画像以外における路面標示部の画像の中で、路面幅方向における所定の路面方向幅を有する路面標示部を停止線の路面標示部として検出することを特徴とする停止線検出装置。
【請求項８】
移動体周囲を撮像領域として撮像し、複数の撮像手段により得られた複数の撮像画像から、走行路面上に存在する停止線の路面標示部を検出する停止線検出手段と、該停止線検出手段の検出結果に基づいて移動体に搭載された機器を制御する移動体制御手段とを備えた移動体制御装置において、
前記停止線検出手段として、請求項１〜７のいずれかに記載の物体検出装置を用いたことを特徴とする移動体制御装置。
【請求項９】
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する工程をコンピュータによって実行させる停止線検出用プログラムにおいて、
移動体が走行している走行路面領域から他の走行路面領域へ分岐する分岐箇所に設けられ、走行路面領域と走行路面領域外とを区画する構造物と、路面幅方向に延びた長尺帯状の路面標示部とを、前記撮像画像から検出し、検出した前記構造物の位置から所定距離だけ離れた位置に存在する前記路面標示部を停止線の路面標示部として検出する工程をコンピュータによって実行させることを特徴とする停止線検出用プログラム。
【請求項１０】
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する工程をコンピュータによって実行させる停止線検出用プログラムにおいて、
移動体が走行している走行路面領域内の高さ成分を有する物の画像と、路面幅方向に延びた長尺帯状の路面標示部の画像とを、前記撮像画像から検出し、走行路面領域内の高さ成分を有する物の画像以外における路面標示部の画像の中で、路面幅方向における所定の路面方向幅を有する路面標示部を停止線の路面標示部として検出する工程をコンピュータによって実行させることを特徴とする停止線検出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面上に形成されている停止線の路面標示を検出する停止線検出装置、該停止線検出装置を搭載して移動体の走行を制御する移動体制御装置、及び停止線検出用プログラムに関するものである。
【背景技術】
【０００２】
近年、移動体である車両の安全性を向上させるために車両に搭載されるＡＣＣ（Adaptive Cruise Control）等の運転支援システムの多様化に伴い、画像の認識装置が多く使われるようになっている。ＩＴＳ（Intelligent Transport System：高度道路交通システム）においては、走行中に多くのシステムが画像認識処理を行っている。交差点や横断歩道の手前の路面上に形成されている停止線の路面標示を検出する技術が、特許文献１に記載されている。
【０００３】
特許文献１の停止線検出装置では、複数の車両通行帯を有する車道における交差点に進入する手前から自車両の走行方向を撮像する。撮像画像から検出した進行方向別区分の路面標示部に基づいて停止線の路面標示部を検出する。交差点に向かって走行すると、走行している車両通行帯の路面上に、進行方向別区分の路面標示部が最初に見てくる。この進行方向別区分の路面標示部は、車両通行帯毎の交差点通過後の進行方向を示す矢印表示の路面標示部である。進行方向別区分の路面標示部を通過し、更に交差点に向かって走行すると、停止線の路面標示部、自転車通行専用帯の路面標示部が順に見えてくる。停止線の路面標示部及び自転車通行専用帯の路面標示部は、路面幅方向に延びた長尺帯状の白線であり特徴的な形状を有していない。また、路面幅方向に直交する方向である走行方向における各幅の差が小さく、撮像画像から、互いを区別することが難しい。これらのため、撮像画像から、自転車通行専用帯の路面標示部と区別して停止線の路面標示部を検出することは難しい。一方、上記進行方向別区分の路面標示部の矢印表示は特徴的な形状を有しており、進行方向別区分の路面標示部は比較的容易に検出することができる。進行方向別区分の路面標示部の位置から、交差点に向かって所定の距離だけ離れた位置に、停止線の路面標示部が形成されていることがわかっている。撮像画像から進行方向別区分の路面標示部を検出し、その検出した進行方向別区分の路面標示部の位置から所定の距離離れた位置にあるか否かにより、自転車通行専用帯の路面標示部と区別して停止線の路面標示部を検出できる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の停止線検出装置では、以下により、停止線の路面標示部を正確に検出することは難しい。一般に、走行路面上に形成されている路面標示部は、塗装により形成されている。この路面標示部のうち、進行方向別区分の路面標示部は、車両の運転手に対し、走行している車両通行帯の交差点通過後の進行方向が見やすいように、車両通行帯内全体に形成されている。走行していた車両通行帯の進行方向別区分の矢印方向が交差点通過後の走行したい走行方向と異なっていた場合、走行したい方向の他の車両通行帯へ走行変更を行う。この場合、車両は車両通行帯を跨って走行することになり進行方向別区分の路面標示部の上を走行する頻度が高くなり、車両のタイヤが進行方向別区分の路面標示部の塗装部分の上を通過し易い。この結果、進行方向別区分の路面標示部の塗装部分は削りとられやすく、進行方向別区分の路面標示部の表示は、徐々に薄れてくる。このような走行路面上を撮像した撮像画像には、進行方向別区分の路面標示部がぼやけて写ってしまう。撮像画像から進行方向別区分の路面標示部を高い精度で検出することは難しい。また、撮像画像には、走行路面上に走行している車両のエッジ画像が車両の輪郭を示す枠として写っており、停止線の路面標示部のエッジ画像も停止線の輪郭を示す枠として写っている。このため、撮像画像から抽出した枠線が、車両の輪郭線であるのか、停止線の輪郭線であるのかを区別できない。撮像画像から停止線の路面標示部を高精度で検出することは難しい。
【０００５】
上記特許文献１には、この停止線検出装置の技術を用いたナビゲーションシステムも記載されている。このナビゲーションシステムでは、上述の停止線検出の技術を用いている。地物として交差点に設けられた進行方向別区分の路面標示部から停止線の路面標示部を検出し、路面上の停止線を通過したときの自車両の現在位置を検出する。その自車両の現在位置に基づく地図を表示させるとともに自車両の現在位置を表示地図上に表示させている。上記のように自車両の現在位置を誤検知すると、地図や地図上の自車両の位置を誤って表示してしまう。上記特許文献１の停止線検出装置は、上記ナビゲーションシステムにおける自車両の位置表示の補正に限らず他のシステムに適用可能であるが、自車両の現在位置を誤ると適用可能な他のシステムにおいても不具合を生じてしまう。
【０００６】
本発明は以上の問題点に鑑みなされたものであり、その目的は、停止線の路面標示部を正確に検出することができる停止線検出装置、移動体制御装置及び停止線検出用プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１の発明は、移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する停止線検出装置において、移動体が走行している走行路面領域から他の走行路面領域へ分岐する分岐箇所に設けられ、走行路面領域と走行路面領域外とを区画する構造物と、路面幅方向に延びた長尺帯状の路面標示部とを、前記撮像画像から検出し、検出した前記構造物の位置から所定距離だけ離れた位置に存在する前記路面標示部を停止線の路面標示部として検出することを特徴とするものである。
【発明の効果】
【０００８】
本発明によれば、停止線の路面標示部を正確に検出することができる停止線検出装置、移動体制御装置及び停止線検出用プログラムを提供できる。
【図面の簡単な説明】
【０００９】
【図１】移動体制御システムの概略構成を示す模式図である。
【図２】本実施形態の停止線検出装置を含む構成を示すブロック図である。
【図３】本実施形態の停止線検出装置を含む機能ブロック図である。
【図４】左右輝度画像及び視差画像の例を示す図である。
【図５】（ａ）は視差画像の視差値分布の一例を示す説明図、（ｂ）は同図（ａ）の視差画像の横方向領域ごとの視差値頻度分布のＶ−Ｍａｐを示す説明図である。
【図６】（ａ）は視差画像の視差値分布の一例を示す説明図、（ｂ）は同図（ａ）の視差画像の縦方向領域ごとの視差値頻度分布のＵ−Ｍａｐを示す説明図、（ｃ）は視差値頻度分布の一番高い行を値とするＵ−Ｈｅｉｇｈｔ−Ｍａｐを示す説明図、（ｄ）は視差値頻度分布の一番低い行を値とするＵ−Ｌｏｗ−Ｍａｐを示す説明図である。
【図７】（ａ）は輝度画像の一例を示す説明図、（ｂ）はＵ−Ｍａｐを示す説明図、（ｃ）はＵ−Ｌｏｗ−Ｍａｐを示す説明図、（ｄ）はＵ−Ｈｅｉｇｈｔ−Ｍａｐを示す説明図である。
【図８】本実施形態の停止線検出処理フローを示すフローチャートである。
【図９】（ａ）は輝度画像の一例を示す説明図、（ｂ）はＶ−Ｍａｐを示す説明図、（ｃ）はＵ−Ｍａｐを示す説明図、（ｄ）はＶ−Ｍａｐ上で路面認識を示す説明図、（ｅ）は修正済みＵ−Ｍａｐを示す説明図、（ｆ）はＵ−Ｌｏｗ−Ｍａｐを示す説明図、（ｇ）はＵ−Ｈｅｉｇｈｔ−Ｍａｐを示す説明図、（ｈ）は修正済み輝度画像を示す説明図、（ｉ）は停止線認識表示を含めた輝度画像を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る停止線検出装置を、移動体制御システムに用いる一実施形態について説明する。
図１は移動体制御システムの概略構成を示す模式図である。同図に示す移動体制御システムにおいて、移動体である自車両１００の進行方向前方を撮像領域として撮像する撮像手段を有する撮像ユニット１０１を備えている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０３のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、撮像領域内に存在する路面上の停止線の路面標示部を検出する。画像解析ユニット１０２の検出結果は、車両走行制御ユニット１０４に送られる。車両走行制御ユニット１０４では、画像解析ユニット１０２が検出した停止線の路面標示部の検出結果に基づいて、例えば以下のような制御を行う。前方の信号機が赤信号のとき運転手がブレーキペダルを操作して停止しようとしない場合に、自車両１００の運転者へ停止を促す警告を報知したり、ブレーキを自動的に操作制御するなどの走行支援制御を行ったりする。
【００１１】
図２は、本実施形態の停止線検出装置を含む構成を示すブロック図である。本実施形態の停止線検出装置は、視差マップの生成や停止線検出処理を行うＭＰＵ（Micro Processing Unit）１４に相当する。左右平行に取り付けた２台のカメラ１１、１２により撮像されたステレオ画像がＦＰＧＡ（Field Programmable Gate Array）１３に供給され、２台のカメラ１１、１２で取得したステレオ画像から視差データが高速に算出される。ＭＰＵ（Micro Processing Unit）１４は、視差マップの生成や停止線検出処理を行う。フレームバッファ１５には、撮影画像や視差データ、検出結果画像が記憶される。メモリ１６には、検出処理に用いるためのカメラ１１、１２からの路面高さ差分特徴量、停止線幅特徴量及び停止線位置特徴量を明記したデータが記憶されている。画像表示部１７は、停止線検出結果やカメラ画像を表示する。２台のカメラ１１、１２はそれぞれ車両の前方を撮像して、左輝度画像及び左輝度画像をＦＰＧＡ１３に供給する。ＦＰＧＡ１３では、左右輝度画像のステレオ画像に基づいて視差値を有する視差画像を生成してフレームバッファ１５に供給する。フレームバッファ１５は、各カメラ１１、１２によって撮像された左右輝度画像、ＦＰＧＡ１３によって生成された視差画像、停止線検出結果を記憶する。ＭＰＵ１４では、フレームバッファ１５から供給する左右輝度画像及び視差画像、メモリ１６に記憶されている路面高さ差分特徴量、停止線幅特徴量及び停止線位置特徴量に基づいて停止線の路面標示を検出する。その検出結果画像をフレームバッファ１５に記憶させるとともに、画像表示部１７に表示する。
【００１２】
図３は本実施形態の停止線検出装置を含む機能ブロック図である。本実施形態の停止線検出装置１０は、ＭＰＵ１４等によって実現される。同図において、ステレオ画像取得部２１は、図２のような２台のカメラ１１、１２からステレオ画像を取得する。視差画像生成部２２は、図４に示すように、取得したステレオ画像間で相互に対する部分画像をステレオマッチング処理し、部分画像間の視差で構成される視差画像を生成する。視差画像生成部２２でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できない。このため、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するので、この推定誤差を減少させるＥＥＣ（推定誤差補正）などを用いてもよい。左右の輝度画像及び視差画像の例を図４に示す。
【００１３】
特徴量記憶部２３は、路面高さ差分特徴量、停止線幅特徴量及び停止線位置特徴量が記憶されている。路面高さ差分特徴量は、縁石などの構造物と、縁石などの構造物以外の物体と、路面上に形成されている道路情報の路面標示部を判別するための高さ情報として利用する。構造物は、走行路面領域と走行路面領域外とを区画する境界部である縁石などである。物体は、例えば走行路面領域外であればビルなどの建築物、走行路面領域内であれば車両や歩行者である。停止線幅特徴量は、路面標示部が停止線であるかどうかを判別するための、道路の路面幅方向の幅情報として利用する。停止線位置特徴量は、交差点の分岐箇所にある縁石やガードレールから停止線の路面標示部までの距離であり、路面上に形成されている路面標示部が停止線の路面標示部であるかどうかを判別するための距離情報として利用する。
【００１４】
視差マップ生成部２４は、視差画像上の視差データのヒストグラムとして、後述する４つの視差マップを生成する。ここでいう視差マップとは、視差画像上の視差値分布を示すものをいう。検出処理演算部２５は、視差マップと輝度画像とから、停止線検出処理を行う。本実施形態の停止線検出装置１０は、視差マップ生成部２４と検出処理演算部２５とを含んで構成されている。検出結果表示部２６は、検出結果の画像を表示する。なお、縁石やガードレールなどの防護柵以外の境界部としては、車道（走行路面領域）と歩道（走行路面領域外）を区画する構造物であればよい。
【００１５】
ここで、本実施形態で生成する視差マップは、Ｖ−Ｍａｐ（横方向視差ヒストグラム情報）、Ｕ−Ｍａｐ（縦方向視差ヒストグラム情報）、Ｕ−Ｌｏｗ−Ｍａｐ及びＵ−Ｈｅｉｇｈｔ−Ｍａｐである。図３の視差画像生成部２２によって視差画像生成処理を行ったら、視差マップ生成部２４において、Ｖ−Ｍａｐを生成するＶ−Ｍａｐ生成処理を実行する。視差画像データに含まれる各視差画素データは、視差画像上の左右方向位置のｘ方向位置と、視差画像上の上下方向位置のｙ方向位置と、視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した二次元座標情報（ｄ，ｙ）を、横方向視差ヒストグラム情報として生成する。
【００１６】
三次元座標情報（ｄ，ｙ，ｆ）からなる三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させた横方向視差ヒストグラム情報を、Ｖ−Ｍａｐと呼ぶ。具体的に説明すると、視差マップ生成部２４は、撮像画像から複数分割して得られる視差画像の各横方向領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報がＶ−Ｍａｐである。一例として各横方向領域の幅は１画素分である。図５（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、視差マップ生成部２４では、横方向領域ごとの各視差値の所定の頻度閾値を越えるデータの個数の分布である視差値頻度分布を計算し、これをＶ−Ｍａｐとして出力する。つまり、各横方向領域の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像での上下方向位置）をとりＸ軸に視差値ｄをとった二次元直交座標系上に表すことで、図５（ｂ）に示すようなＶ−Ｍａｐを得ることができる。このＶ−Ｍａｐは、頻度ｆに応じた画素値をもつ画素が上記二次元直交座標系上に分布した画像として表現することもできる。
【００１７】
また、視差マップ生成部２４において、Ｕ−Ｍａｐを生成するＵ−Ｍａｐ生成処理、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐを生成するＵ−Ｈｅｉｇｈｔ−Ｍａｐ生成処理、Ｕ−Ｌｏｗ−Ｍａｐを生成するＵ−Ｌｏｗ−Ｍａｐ生成処理を実行する。各視差画素データ（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｘ，ｄ，ｆ）に変換したものを縦方向視差ヒストグラム情報として生成する。又は、この三次元座標情報（ｘ，ｄ，ｆ）から所定の頻度閾値を超える情報に限定した二次元座標情報（ｘ，ｄ）を、縦方向視差ヒストグラム情報として生成する。
【００１８】
また、図６（ｂ）に示すように、三次元座標情報（ｘ，ｄ，ｆ）からなる三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させた縦方向視差ヒストグラム情報を、Ｕ−Ｍａｐと呼ぶ。具体的に説明すると、視差マップ生成部２４は、撮像画像から複数分割して得られる視差画像の各縦方向領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報がＵ−Ｍａｐである。一例として各縦方向領域の幅は１画素分である。
【００１９】
図６（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、視差マップ生成部２４では、縦方向領域ごとの各視差値の所定の頻度閾値を越えるデータの個数の分布である視差値頻度分布を計算し、これをＵ−Ｍａｐとして出力する。つまり、各縦方向領域の視差値頻度分布の情報を、Ｘ軸に視差画像上のｘ方向位置（撮像画像での左右方向位置）をとりＹ軸に視差値ｄをとった二次元直交座標系上に表すことで、図６（ｂ）に示すようなＵ−Ｍａｐを得ることができる。このＵ−Ｍａｐは、頻度ｆに応じた画素値をもつ画素が上記二次元直交座標系上に分布した画像として表現することもできる。
【００２０】
更に、図６（ａ）に示す視差値分布をもった視差画像データが入力されたとき、視差マップ生成部２４では、図６（ｃ）のようなＵ−Ｈｅｉｇｈｔ−Ｍａｐ及び図６（ｄ）のようなＵ−Ｌｏｗ−Ｍａｐを出力する。Ｕ−Ｈｅｉｇｈｔ−ＭａｐはＵ−Ｍａｐの視差データの最大高さマップであって、各視差値に対応するｙ座標が最も大きい行数がＵ−Ｈｅｉｇｈｔ−Ｍａｐの値になる。Ｕ−Ｌｏｗ−ＭａｐはＵ−Ｍａｐの視差データの最小高さマップであって、各視差値に対応するｙ座標が最も小さい行数がＵ−Ｌｏｗ−Ｍａｐの値になる。図７は、輝度画像と、Ｕ−Ｍａｐ、Ｕ−Ｌｏｗ−Ｍａｐ及びＵ−Ｈｅｉｇｈｔ−Ｍａｐとの各関係を示す図である。図７（ａ）に示す輝度画像に映し出されたビルや車両は、図７（ｂ）に示すＵ−Ｍａｐ上では高さ情報を含み、かつ直線近似された直線部で表示されている。図７（ｃ）に示すＵ−Ｌｏｗ−Ｍａｐには、路面領域の境界部（縁石やガードレールなどの構造物）の視差データが生成されている。図７（ｄ）に示すＵ−Ｈｅｉｇｈｔ−Ｍａｐには、輝度画像上でのビルや車両の視差データが生成されている。
【００２１】
次に、本実施形態の停止線検出装置における停止線検出処理について図８の処理フローに従って説明する。図９（ａ）〜図９（ｉ）は各処理における処理内容の画像を示す図である。
図８において、図３の検出処理演算部２５では、視差画像に基づき、図９（ｂ）に示すようなＶ−Ｍａｐ、図９（ｃ）に示すようなＵ−Ｍａｐの視差マップを生成する。図９（ｆ）に示すようなＵ−Ｌｏｗ−Ｍａｐ、及び図９（ｇ）に示すようなＵ−Ｈｅｉｇｈｔ−Ｍａｐの視差マップを生成する（ステップＳ１０１、Ｓ１０２）。図９（ｂ）のＶ−Ｍａｐにおいて、最小二乗法やハフ変換処理などによる直線近似処理を実施して線の近似を行うとともにノイズの除去を行う（ステップＳ１０３）。Ｕ−Ｍａｐにおいて、ノイズの除去及び線の近似を行う（ステップＳ１０４）。図９（ｄ）に示すようにＶ−Ｍａｐ上で路面領域を抽出する（ステップＳ１０５）。
【００２２】
次に、生成した４つの上記視差マップ（図９（ｂ）、（ｃ）、（ｆ）、（ｇ））と輝度画像（図９（ａ））とに対し、検出処理を行い停止線の路面標示部を検出する。Ｖ−Ｍａｐから抽出した線を路面として仮検出し、Ｕ−Ｍａｐから抽出した線の情報に基づき、図９（ｅ）に示すように、Ｕ−Ｍａｐから走行路面領域外における線やものの画像を除去する（ステップＳ１０６）。そして、Ｕ−Ｍａｐ上に残る線に対し、Ｕ−Ｌｏｗ−Ｍａｐ上とＵ−Ｈｅｉｇｈｔ−Ｍａｐ上での単純の高さ差分と視差データに基づき、実際の高さずれを求める。所定値の路面高さ差分特徴量と比べ、Ｕ−Ｍａｐ上の直線部を縁石等の構造物と物体と路面上標示とに分類する。具体的に説明すると、視差データに基づき距離情報が得られる。その距離と実際の高さずれとは三角関係があり、実際の高さずれと、Ｕ−Ｈｅｉｇｈｔ−ＭａｐやＵ−Ｌｏｗ−Ｍａｐとの高さ差分との間には正比例関係がある。この結果、視差データにより上記距離を計算し、この距離情報に基づき高さ差分を利用することで、実際の高さずれが計算できる。また、Ｕ−Ｍａｐ上の直線部を縁石等の構造物と物体と路面標示部に分類するためには、Ｖ−Ｍａｐ上で抽出した直線部に対し、実際の高さずれが路面高さ差分特徴量より小さいときに、その直線部を縁石等の構造物と認識して検出する。路面高さ差分特徴量より大きいときに、直線部をビルなどの物体と認識して検出する。そして、Ｖ−Ｍａｐ上で抽出された走行路面領域内の直線部に対し、実際の高さずれが路面高さ差分特徴量より小さいときは、路面標示部と認識して検出する。路面高さ差分特徴量より大きいときに、車両や歩行者などの物体と認識して検出する（ステップＳ１０７）。次に、Ｕ−Ｍａｐ上の路面標示における分岐箇所の端部の端点から路面標示部の端点までの距離を算出し、その距離と所定値の停止線幅特徴量とを比較して停止線以外の路面標示部と停止線の路面標示部とに分類する。具体的には、停止線幅特徴量より小さいときには、停止線以外の路面標示部と検出する。停止線幅特徴量より大きいときには、停止線の路面標示部と検出する（ステップＳ１０８）。そして、輝度画像から、Ｕ−Ｍａｐ上で検出した走行路面領域外のものの画像と、物体の画像と、停止線以外の路面標示部の画像とをそれぞれ除去する（ステップＳ１０９）。
【００２３】
次に、ステップＳ１０９で各画像が除去された輝度画像に対し検出処理を行い、図９（ｈ）に示すように直線部の情報を抽出し、抽出した直線部を路面標示部と検出する。更に、全ての路面標示部に対し、端点情報（Ｙ座標）をＶ−Ｍａｐ上で検出した路面情報と比べ、路面標示部ごとに距離を算出する。例えば、輝度画像上では路面標示部ごとの位置座標、及び交差点の分岐箇所における縁石など構造物の位置座標がわかる。視差画像上では、路面標示部が高さを略有していないので表示され難いが、交差点の分岐箇所における縁石などの構造物が高さを有しているので構造物は表示され易い。そして、縁石などの構造物からカメラまでの距離は視差データにより算出できる。これらにより、路面標示部における位置座標のＹ座標と同じ縁石などの構造物の視差データにより、その縁石などの構造物からカメラまでの距離を算出する。交差点の分岐箇所における縁石などの構造物からカメラまでの距離と、各路面標示部からカメラまでの距離との差（Ｌ１）を算出する。そして、交差点の分岐箇所における縁石などの構造物と、各路面標示部との間の走行方向の距離（Ｌ２）がそれぞれ求められる。ハフ変換により、端点をもつ線分として直線部を検出でき、この直線部の端点情報が得られる。輝度画像上で直線部を近似して全ての路面標示部として検出する。各路面標示部の端点座標（Ｙ座標）と同じ縁石などの構造物の各場所のＶ−Ｍａｐ上の視差情報における視差値をそれぞれ読み取り、各路面標示部の距離情報をそれぞれ算出する（ステップＳ１１０）。交差点の分岐箇所における縁石などの構造物と各路面標示部との間の各距離と、所定値の停止線位置特徴量とをそれぞれ比べ、停止線位置特徴量より小さいときに、その路面標示部を停止線として検出する。一方、停止線位置特徴量より大きいときに、その路面標示部を停止線以外の路面標示部として検出する（ステップＳ１１１）。
【００２４】
最後に、輝度画像上での位置関係に基づき、停止線状況を表示する。具体的には自車両の進行方向のどれくらい前に停止線があるという情報を提供する。例えば、図９（ｉ）に示すように、検出した停止線を例えば枠で囲んで表示する。図３の検出結果表示部２６は、カメラからの各種画像や検出結果画像（停止線を線と枠などで重畳表示した画像）をユーザが確認するため、画像として出力する機能を有する。
【００２５】
なお、図８に示す停止線検出処理フローでは、高さ情報に基づいて縁石と物体と路面標示部とを分類した上で、分類した路面標示部の停止線幅特徴量に基づいて路面標示部を抽出する。次に、路面標示部と、交差点の分岐箇所に設けられた縁石などの構造物との距離と、停止線位置特徴量とに基づいて、停止線の路面標示部を検出しているが、この処理の順番に限定する必要はない。また、高さ情報に基づいて縁石などの構造物と物体と路面標示部とを分類した上で、分類した路面標示部の停止線幅特徴量に基づいて停止線を検出してもよい。つまり、高さ情報に基づいて縁石などの構造物と物体とを区別して路面標示部を抽出でき、その路面標示部の路面幅方向の幅を停止線幅特徴量と比べることで停止線の路面標示部と検出する。更に、走行路面領域内の路面標示部における路面幅方向の幅を停止線幅特徴量と比べて路面標示部を抽出し、路面標示部と交差点の分岐箇所に設けられた縁石などの構造物との距離と、停止線位置特徴量とを比べることで停止線を検出することができる。
【００２６】
上述した実施形態の停止線検出装置における停止線検出処理では、路面高さ差分特徴量、停止線幅特徴量及び停止線位置特徴量に基づいて停止線の路面標示部を検出している。走行路面上には路面標示部や各種情報表示の塗装部が形成されている。それらの中に停止線の路面標示部とほぼ同じ幅の路面標示部や塗装部がなければ、上記停止線位置特徴量を用いずに路面高さ差分特徴量に基づいて高さ成分を有する物の画像を検出する。そして、その画像以外の路面標示部に対して停止線幅特徴量に基づいて停止線の路面標示部を特定できる。つまり、図８の停止線検出処理フローにおいてステップＳ１０１〜Ｓ１０９の各処理を行い、停止線の路面標示部とほぼ同じ幅の路面標示部や塗装部がなければ、ステップＳ１０９の処理を行ったときに、停止線の路面標示部を検出することができる。これにより、交差点周辺以外の走行路面領域でも停止線の路面標示部を高精度に検出することができる。
【００２７】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する停止線検出装置において、移動体が走行している走行路面領域から他の走行路面領域へ分岐する分岐箇所に設けられ、走行路面領域と走行路面領域外とを区画する構造物と、路面幅方向に延びた長尺帯状の路面標示部とを、前記撮像画像から検出し、検出した前記構造物の位置から所定距離だけ離れた位置に存在する前記路面標示部を停止線の路面標示部として検出する。
これによれば、上記実施形態について説明したように、道路には他の道路に分かれる分岐箇所である十字路やＴ字路などの交差点が存在する場合がある。十字路の交差点には多くの場合信号機があるが、Ｔ字路の交差点では信号機がある交差点と無い交差点とがある。十字路の交差点と、信号機のあるＴ字路の交差点の場合、交差点の直近手前の路面上には、信号機が赤のときに車両が停止する目印となる停止線の路面標示部が路面上に形成されている。信号機のないＴ字の交差点の場合、優先道路でない車道（走行路面領域）の路面には、優先道路との交差点手前に一時停止用の停止線の路面標示部が形成されている。また、走行路面領域と走行路面領域外とが存在する場合、一般に、走行路面領域と走行路面領域外とを区画するとともに走行している走行路面領域に沿っている境界部には、縁石やガードレールなどの構造物が設けられている。その構造物は、塗装により形成された路面標示部と異なり、車両の通行することが極端に少なく、車両のタイヤで削られることはほとんどないので、構造物の形状は変わらない。撮像画像には、構造物が常にはっきりと映し出される。この結果、撮像画像から構造物を正確に検出できる。これらにより、撮像画像から検出された構造物の位置から所定距離だけ離れた位置に存在する路面標示部を、停止線の路面標示部と正確に検出できる。この停止線検出の発明を、例えば運転支援システムに用いた場合において、停止線の路面標示部を正確に検出することで車両を自動で停止線に停止させることができ、運転手の運転負担を軽減できる。
（態様２）
（態様１）において、カメラ１１、１２などの複数の撮像手段により移動体の走行方向を撮像して得られる複数の撮像画像から視差画像生成部２２などによって生成される視差画像情報に基づいて、撮像画像を左右方向に複数分割して得られる各列領域内における視差値の頻度分布を示す縦方向視差ヒストグラム情報を視差マップ生成部２４などによって生成し、生成した縦方向視差ヒストグラム情報に基づいて、構造物を検出する。
これによれば、上記実施形態について説明したように、撮像画像上に存在するビル、車両、交差点の分岐箇所に設けられている縁石などの物体を高精度で区別して検出でき、停止線検出処理を短い処理時間で実行可能となる。
（態様３）
（態様１）において、視差マップ生成部２４などによって撮像画像から移動体の走行路面領域を検出し、検出処理演算部２５などによって走行路面領域内で構造物の位置から所定距離だけ離れた位置に存在する路面標示部を停止線の路面標示部として検出する。
これによれば、上記実施形態について説明したように、停止線の路面標示部は走行路面上に形成されており、走行路面領域を検出することで、走行路面領域以外の物体、例えば広告看板や行き先表示板を検出対象から削除できる。これにより、検出対象が減り、停止線検出処理を短い処理時間で実行可能となる。
（態様４）
（態様３）において、カメラ１１、１２など複数の撮像手段により移動体の走行方向を撮像して得られる複数の撮像画像から視差画像生成部２２などによって生成される視差画像情報に基づいて、撮像画像を上下方向に複数分割して得られる各行領域内における視差値の頻度分布を示す横方向視差ヒストグラム情報を視差マップ生成部２４などによって生成し、生成した横方向視差ヒストグラム情報に基づいて、走行路面領域を検出する。
これによれば、上記実施形態について説明したように、走行路面領域に対応する横方向視差ヒストグラム情報の部分は比較的狭い範囲に制限される。この範囲を適切に設定することによって走行路面領域に対応しない横方向視差ヒストグラム情報の部分と区別して、走行路面領域に対応する横方向視差ヒストグラム情報の部分を抽出する。走行路面領域を精度良く検出することで、走行路面領域外の物体を検出対象から確実に削除できる。これにより、停止線検出処理を短い処理時間で実行可能となる。
（態様５）
（態様１）において、所定距離は、複数の撮像手段により移動体の走行方向を撮像して得られる複数の撮像画像に基づいて生成される視差画像情報に基づいて算出する。
これによれば、上記実施形態について説明したように、視差画像生成部２２によって視差画像を生成する。この視差画像上の互いに対応する部分の視差値に基づいて所定距離を算出し、その所定距離に存在する路面標示部を正確に検出することができる。これにより、停止線の路面標示部を高精度に検出することができる。
（態様６）
（態様１）において、停止線の路面標示部は、少なくとも、路面幅方向の路面方向幅又は該路面幅方向に対し直交する移動体走行方向の走行方向幅を有する。
これによれば、上記実施形態について説明したように、停止線の路面標示部は、路面幅方向に延びた長尺帯状の路面標示部であり、路面幅方向の路面方向幅又は移動体走行方向の走行方向幅が道路構造令などの省令で規定されている。撮像画像から検出された構造物の位置から所定距離だけ離れた位置に存在する路面標示部のうち、規定幅を有しない路面標示部との区別が可能となる。これにより、停止線の路面標示部を高精度に検出することができる。
（態様７）
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する停止線検出装置において、移動体が走行している走行路面領域内の高さ成分を有する物の画像と、路面幅方向に延びた長尺帯状の路面標示部の画像とを、前記撮像画像から検出し、走行路面領域内の高さ成分を有する物の画像以外における路面標示部の画像の中で、路面幅方向における所定の路面方向幅を有する路面標示部を停止線の路面標示部として検出する。
これによれば、上記実施形態について説明したように、走行路面上には路面標示部や各種情報表示の塗装部がある。それらの中に停止線の路面標示部とほぼ同じ幅の路面標示部や塗装部がなければ、交差点周辺に存在する構造物の位置から所定距離に離れた位置に停止線があるという位置情報を考慮せずに、撮像画像から走行路面領域内の高さ成分を有する物の画像と路面標示部の画像とに基づいて停止線を検出できる。これにより、交差点周辺以外の走行路面領域内に存在する停止線の路面標示部を高精度に検出することができる。
（態様８）
移動体周囲を撮像領域として撮像し、複数の撮像手段により得られた複数の撮像画像から、走行路面上に存在する停止線の路面標示部を検出する停止線検出装置１０などの停止線検出手段と、該停止線検出手段の検出結果に基づいて移動体に搭載された機器を制御する移動体制御手段とを備えた車両走行制御ユニット１０４などの移動体制御装置において、停止線検出手段として、（態様１）〜（態様７）のいずれかの物体検出装置を用いたことを特徴とする。
これによれば、上記実施形態について説明したように、停止線の検出結果に基づいて、例えば前方の信号機が赤信号のとき運転手がブレーキペダルを操作しないような場合に、移動体である自車両の運転者へ停止を促す警告を報知したり、自車両のブレーキを自動的に操作制御するなどの走行支援制御を行ったりすることを高精度に実行できる。
（態様９）
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する工程をコンピュータによって実行させる停止線検出用プログラムにおいて、移動体が走行している走行路面領域から他の走行路面領域へ分岐する分岐箇所に設けられ、走行路面領域と走行路面領域外とを区画する構造物と、路面幅方向に延びた長尺帯状の路面標示部とを、前記撮像画像から検出し、検出した前記構造物の位置から所定距離だけ離れた位置に存在する前記路面標示部を停止線の路面標示部として検出する工程をコンピュータによって実行させる。
これによれば、上記実施形態について説明したように、停止線の路面標示部を正確に検出することができる。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
（態様１０）
移動体の走行方向を撮像した撮像画像に基づいて移動体の走行路面上に存在する停止線を検出する工程をコンピュータによって実行させる停止線検出用プログラムにおいて、
移動体が走行している走行路面領域内の高さ成分を有する物の画像と、路面幅方向に延びた長尺帯状の路面標示部の画像とを、前記撮像画像から検出し、走行路面領域内の高さ成分を有する物の画像以外における路面標示部の画像の中で、路面幅方向における所定の路面方向幅を有する路面標示部を停止線の路面標示部として検出する工程をコンピュータによって実行させる。
これによれば、上記実施形態について説明したように、停止線の路面標示部を正確に検出することができる。このプログラムは、態様９と同様に、配布、入手が可能である。
【符号の説明】
【００２８】
１０  停止線検出装置
１１  カメラ
１２  カメラ
１３  ＦＰＧＡ
１４  ＭＰＵ
１５  フレームバッファ
１６  メモリ
１７  画像表示部
２１  ステレオ画像取得部
２２  視差画像生成部
２３  特徴量記憶部
２４  視差マップ生成部
２５  検出処理演算部
２６  検出結果表示部
１００  自車両
１０１  撮像ユニット
１０２  画像解析ユニット
１０３  フロントガラス
１０４  車両走行制御ユニット
【先行技術文献】
【特許文献】
【００２９】
【特許文献１】特開２０１３−３０００７号公報
【図１】
2014238693.tif 000003
【図２】
2014238693.tif 000004
【図３】
2014238693.tif 000005
【図５】
2014238693.tif 000006
【図６】
2014238693.tif 000007
【図８】
2014238693.tif 000008
【図４】
2014238693.tif 000009
【図７】
2014238693.tif 000010
【図９】
2014238693.tif 000011