(57)【要約】【課題】  車両前方の画像に於ける走路の路端の対象物の像を検出して走路の範囲を認識する走路認識技術に於いて、対象物の像が局所的に途切れたり、検出できない場合でも、走路の範囲を連続的に画定できるようにする構成を提供すること。【解決手段】  本発明の走路認識装置は、画像内の対象物を認識して、それらの位置を決定し、対象物の像の輝度と位置に基づいて、対象物を、走路の路端に沿って実質的に共通の線上に位置していると推定される対象物の群毎に分類し、走路の中央に最も近い群の共通の線を走路の範囲を画定する路側線として認識する。対象物の群への分類処理に於いて、或る領域で、或る群に属する対象物が検出されない場合、別の群の対象物の位置から、別の領域に於けるその群と別の群との距離だけ変位した位置に、対象物が存在するものとして仮定する。【選択図】        図５
2016218539.tif 000002
【特許請求の範囲】
【請求項１】
車両前方の走路の範囲を画定する路側線を認識する走路認識装置であって、
前記車両の前方の前記走路を含む平面を撮像した画像に於いて認識された対象物の像から前記平面に於ける前記対象物の位置を決定する対象物位置決定手段と、
前記画像内に前記対象物の像が複数存在する場合に、前記複数の対象物を、前記対象物の像の輝度及び前記決定された位置に基づいて、前記走路の路端に沿って実質的に共通の線上に位置していると推定される対象物の群毎に分類する対象物分類手段と、
前記対象物の群のうち、前記走路の中央に最も近い群の前記対象物が実質的に位置している前記共通の線を前記走路の範囲を画定する路側線として認識する路側線認識手段と
を含み、
前記対象物分類手段が、前記平面上の前記車両からの前方方向の距離に応じて区分された領域毎に前記画像内に撮像された平面の前記車両に近い側の縁から前記車両に遠い側の縁へ向かって逐次的に前記対象物の群の各々に属する対象物の探索を実行し、前記探索に於いて、一の領域に於いて、それ以前に属する対象物の群が存在しない場合には、新たな対象物の群を設定し、探索された一つの前の領域に検出された一の対象物の群に属する対象物が検出されたときには、該検出された対象物を前記一の対象物の群に属するものとして分類し、一つ前の探索された領域に検出された一の対象物の群に属する対象物が検出されない場合に、他の対象物の群に属する対象物があったときには、前記一つの前の領域に於ける前記一の対象物の群の対象物の位置と前記他の対象物の群の対象物の位置との間の距離にて、前記一つの前の領域に於ける前記他の対象物の群の対象物の位置から前記一の対象物の群の対象物の位置への方向に、前記一の領域に於ける前記他の対象物の群に属する対象物の位置から変位した位置に、前記一の領域に於ける前記一の対象物の群の対象物が存在するものとして仮定するよう構成されている装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の車両の走路を認識する技術に係り、より詳細には、車両の走行中に車両前方の走路の路側に存在する立体物又は境界線などの対象物の像を検出して走路の範囲を認識する走路認識装置に係る。
【背景技術】
【０００２】
自動車等の車両の運転支援制御技術の分野に於いて、車両の走路の路端に沿った走行の支援のために、車両の走行中に、車載のレーダーセンサ、ビデオカメラなどの情報を用いて車両の走路の範囲を検出する構成が種々提案されている。例えば、特許文献１に於いては、車載レーダーセンサを用いて車両前方に存在する静止した複数の立体物を検出した後、所定のアルゴリズムに従って、車両の走路の路側に沿って並んだ複数の立体物を選択的に参照して、車両前方の走路の形状と幅とを認識する構成が提案されている。同公報の場合に、路端に沿って並んだ複数の立体物を選択するアルゴリズムに於いては、複数の立体物、例えば、ガードレールや支柱などが走路の路端に沿って並んでいるとの仮定の下、まず、車幅方向の距離が最も自車側に位置する立体物の横位置が抽出され、その立体物の横位置から所定距離だけ離れた範囲内に在って自車からの直接の距離が最も小さい立体物を起点に決定される。そして、かかる起点から距離が単調増加となる立体物を順次、同一のグループに属するものとして選択し（グルーピング）、それらの選択された立体物の位置を接続する線が走路の路端として認識されるようになっている。即ち、端的に述べれば、走路の路端に沿って並んでいるガードレールや支柱などの立体物の位置を検出し、その位置を結ぶ線によって走路の範囲を画定し、車両前方の走路の形状と幅とが把握されることとなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２４２９３７
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の如く走路の路端に沿ってガードレールや支柱などの静止した立体物（以下、「立体物」は、全て静止した「立体物」である。）が並んでいるとの仮定の下、検出された複数の立体物の位置を結ぶ線によって、走路の範囲を画定する手法の場合、図９（Ａ）の如く、路端に於いて、立体物ｓ（▲）の内側に道路境界線ｂＬ（実線）も存在する場合には、道路境界線ｂＬが走路の範囲の境界線ｅＬ（点線−以下、「路側線」と称する。）となるので、走路の範囲を正しく推定できていないということになる。そこで、画像センサを用いて道路境界線ｂＬを取得し、最も内側の線を「路側線」として認識するといった手法が考えられる。しかしながら、その場合には、道路境界線ｂＬの内側に立体物ｓ（▲）が存在する走路の場合（図９（Ｃ））には、やはり、「路側線」を正しく推定できていないこととなる。また、道路境界線ｂＬと立体物ｓの列のうちの内側に存在するものを「路側線」として認識するといった手法に於いては、道路境界線が途切れたりかすれたりした場合（図９（Ｂ））、或いは、立体物ｓの列が途切れた場合（図９（Ｃ））、即ち、走路の範囲を画定するために参照する道路境界線ｂＬ又は立体物ｓの列などの対象物の像が途中で途切れて検出できなくなった場合には、推定される路側線ｅＬが、図中白矢印にて示されている如く、不連続に走路の幅方向に変位する（“走路がばたつく”）といった不具合を生じてしまう場合がある。（その場合、推定される路側線ｅＬを追跡するように車両の走行を制御する構成に於いて、走行制御の作動の不連続的な変化を惹起し得ることとなる。）
【０００５】
かくして、本発明の一つの課題は、車両前方の走路の路端に沿って存在する立体物の列又は道路境界線などの対象物の像を検出して走路の範囲を認識又は検出する走路認識技術又は走路範囲検出技術に於いて、走路範囲を画定するために参照する対象物の像が途中で途切れる、或いは、局所的に検出できなくなった場合に於いても、走路の範囲を連続的に画定できるように、或いは、推定される走路の路側線を連続的に延在させるようにする構成を提供することである。
【課題を解決するための手段】
【０００６】
本発明によれば、上記の課題は、車両前方の走路の範囲を画定する路側線を認識する走路認識装置であって、
車両の前方の走路を含む平面を撮像した画像に於いて認識された対象物の像から前記の平面に於ける対象物の位置を決定する対象物位置決定手段と、
画像内に対象物の像が複数存在する場合に、複数の対象物を、対象物の像の輝度及び決定された位置に基づいて、走路の路端に沿って実質的に共通の線上に位置していると推定される対象物の群毎に分類する対象物分類手段と、
対象物の群のうち、走路の中央に最も近い群の対象物が実質的に位置している共通の線を走路の範囲を画定する路側線として認識する路側線認識手段と
を含み、
対象物分類手段が、平面上の車両からの前方方向の距離に応じて区分された領域毎に画像内に撮像された平面の車両に近い側の縁から車両に遠い側の縁へ向かって逐次的に対象物の群の各々に属する対象物の探索を実行し、探索に於いて、一の領域に於いて、それ以前に属する対象物の群が存在しない場合には、新たな対象物の群を設定し、探索された一つの前の領域に検出された一の対象物の群に属する対象物が検出されたときには、該検出された対象物を一の対象物の群に属するものとして分類し、一つ前の探索された領域に検出された一の対象物の群に属する対象物が検出されない場合に、他の対象物の群に属する対象物があったときには、一つの前の領域に於ける一の対象物の群の対象物の位置と他の対象物の群の対象物の位置との間の距離にて、一つ前の領域に於ける他の対象物の群の対象物の位置から一の対象物の群の対象物の位置への方向に、一の領域に於ける他の対象物の群に属する対象物の位置から変位した位置に、一の領域に於ける一の対象物の群の対象物が存在するものとして仮定するよう構成されている装置によって達成される。
【０００７】
上記の構成に於いて、「対象物」とは、典型的には、ガードレール、支柱、縁石などの立体物や道路境界線であってよい。「走路の路端に沿って実質的に共通の線上に位置していると推定される対象物の群」とは、図１（Ａ）、図３（Ａ）等に例示されている如く、走路の路端に沿って並んだ上記の如きガードレール、支柱、縁石などの立体物の列、或いは、路面に描かれている道路境界線が想定されている。「共通の線」とは、従って、立体物の列又は道路境界線が走路の路端に沿って描く線である。なお、「道路境界線」は、路面に一条の帯として描かれることが一般的であるが、画像に於いて像として表れる場合には、部分的にかすれたり、消えたりすることで、複数の像に分割される場合があること、そして、対象物分類手段に於いては、連続した道路境界線であっても、平面上の車両からの前方方向の距離に応じて区分された領域毎に、その延在方向と位置とが認識されることとなるので、本発明の装置に於いては、連続した道路境界線も、領域毎に分割された複数の対象物として取り扱われる。
【０００８】
上記の装置の基本的な構成に於いては、端的に述べれば、車両前方を撮影した画像に於いて対象物の像の位置が検出された後、それぞれの対象物が、走路の路端に沿って実質的に共通の線上に位置していると推定される対象物の群に分類される。この処理は、即ち、画像に於いて写った対象物を、上記の如き、走路の路端に沿って延在する立体物の列又は道路境界線毎に分類（グループ分け）することを意図した処理である。典型的には、車両前方の画像に於いて、走路の路端に沿って、走路の路端に沿って隔置された複数のガードレール、支柱、縁石などの立体物から成る列や、路面上の走路の左右両側に描かれる道路境界線（車道外側線、車線分離線）の像が写っていることが想定されるので、その場合には、画像に於いて、走路の路端に沿って延在する、複数の筋の、「対象物の群」が得られることとなる。そこで、本発明に於いては、それらの「対象物の群」のうち、最も内側の「対象物の群」、即ち、走路の中央に最も近い群の対象物の列が成す線が、「路側線」として認識されることとなる。
【０００９】
上記の走路の路端に沿って延在する「対象物の群」への各対象物の分類に関して、より具体的には、走路の路端に沿って並んだガードレール、支柱、縁石などの立体物の像については、輝度の特性が類似した像が走路の路端の像に沿って整列していると想定され、路面に描かれている道路境界線の像については、その輝度から抽出されるエッジ点が走路の路端の像に沿って整列していると想定される。そこで、まず、平面上の車両からの前方方向の距離に応じて区分された領域が設定され、最初の（車両に最も近い領域）に於いて、認識された対象物の全てについて、対応する対象物の群の設定が実行され、それに続く領域に於いては、領域内にて認識された各対象物は、それらの像の輝度及び決定された位置に基づいて、それ以前の領域にて設定された対象物の群のいずれかへ分類される。そして、この分類処理を画像内に撮像された平面の車両に近い側の縁から車両に遠い側の縁へ向かって、逐次的に、領域毎に実行することにより、車両に近い側の縁から車両に遠い側の縁までに亘って上記の如き「対象物の群」の“筋”が形成されることとなる。
【００１０】
しかしながら、上記の「対象物の群」への各対象物の分類処理の場合、既に触れた如く、立体物の列の途中で、部分的に、立体物が無くなっていたり、道路境界線がかすれるなどして、画像内で「対象物の群」が形成している筋に於いて対象物の像の欠落があると、その像の欠落のある領域以降に於いて、「対象物の群」への対象物の分類ができなくなり（対象物の像の欠落のある領域の次の領域に於いては、参照するその直前の領域に対象物が存在しないこととなり、かかる次の領域に於いて認識された対象物の分類先の群が存在しないこととなる。）、「対象物の群」が本来形成している筋が正確に検出されず、「対象物の群」の描く線に不連続な領域が生ずることとなる。そうすると、図９（Ｂ）、（Ｃ）に模式的に描かれている如く、「対象物の群」の成す線によって決定される「路側線」に不連続的な変位が生ずることとなってしまう。
【００１１】
この点に関し、上記の如く、画像に於いては、通常、複数の筋の「対象物の群」が存在し、また、これらの「対象物の群」は、互いに対して、ほぼ同じ間隔にて、即ち、略並行にて、走路の路端に沿って延在していることが期待される。そこで、本発明の装置に於いては、或る「対象物の群」に於いて、対象物の像の欠落がある場合、別の対象物の群の対象物の位置と、その（像の欠落がある）対象物の群と別の対象物の群とのそれまでの間隔とを用いて、欠落のあった対象物の補間が実行される。かかる補間処理は、具体的には、上記の如く、一つ前の探索された領域に検出された一の対象物の群に属する対象物が検出されない場合には、像の欠落がある対象物の群とは別の対象物の群（他の対象物の群）に属する対象物の位置から、一つ前の領域に於ける（像の欠落がある）対象物の群の対象物の位置と別の対象物の群の対象物の位置との間の距離だけ、一つ前の領域に於ける別の対象物の群の対象物の位置から（像の欠落がある）対象物の群の対象物の位置への方向へ変位した位置に、（像の欠落がある）対象物の群の対象物が存在するものとして仮定するという処理が実行される。そうすると、対象物の群の列に部分的な対象物の像の欠落があっても、その欠落のあった領域以降に於いて連続的に対象物の群への対象物の分類処理が実行でき、これにより、「対象物の群」の成す線に於ける不連続な領域の発生の防止が図られることとなる。
【発明の効果】
【００１２】
かくして、上記の本発明の構成に於いては、車両前方の画像に於ける立体物や道路境界線を検出して走路の範囲を画定する技術に於いて、画像内には、通常、複数の筋の対象物の像の列が、略並行にて、走路の路端に沿って延在しているという点に着目し、画像に於いて走路の路側線を画定するために参照する対象物の像の列に像の欠落があった場合には、欠落のない対象物の像の列の情報を用いて、像の欠落が補間されることとなる。かかる構成によれば、対象物の像の列を用いて画定される路側線に於いて不連続な部分の発生が防止され、“走路がばたつく”といった不具合を回避することが可能となる。
【００１３】
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】図１（Ａ）は、本発明による走路認識装置の実施形態が搭載される車両が走行している様子を模式的に表した図であり、車載カメラの撮影範囲を説明する図である。図１（Ｂ）は、本発明による走路認識装置の実施形態の構成をブロック図の形式にて表した図である。
【図２】図２は、本発明による走路認識装置の実施形態における立体物及び道路境界線の検出処理の作動をフローチャートの形式で表した図である。
【図３】図３（Ａ）は、本発明による走路認識装置の実施形態に於いて参照される車両前方の画像の模式図であり、図３（Ｂ）は、車両前方の画像内を領域に区分した図であり、図３（Ｃ）は、画像内にて設定された領域に対応する車両前方の平面に於ける領域とその平面内の立体物と道路境界線との位置を模式的に示した図である。図３（Ｄ）は、画像内の立体物像に対応する立体物の検出された位置を車両前方の平面に於いて示した図である。図３（Ｅ）は、画像内の道路境界線像のエッジ抽出処理に得られたエッジ点と領域毎にエッジ点を結ぶよう生成された線分を車両前方の平面に於いて示した図である。
【図４】図４は、本発明による走路認識装置の実施形態における立体物及び道路境界線のグループ化処理の作動をフローチャートの形式で表した図である。
【図５】図５（Ａ）は、図３（Ｃ）の領域Ｒ１に於ける立体物と道路境界線の線分とのグループの設定処理を説明する図である。図５（Ｂ）は、図３（Ｃ）の領域Ｒ２に於いて、図５（Ａ）にて設定された立体物グループと道路境界線グループとのそれぞれに分類される立体物と道路境界線の線分とを探索する処理を説明する図である。図５（Ｃ）は、図３（Ｃ）の領域Ｒ３に於いて、図５（Ａ）又は（Ｂ）にて設定された立体物グループと道路境界線グループとのそれぞれに分類される立体物と道路境界線の線分とを探索する処理を説明する図である。
【図６】図６（Ａ）は、図３（Ｃ）の領域Ｒ４に於いて、図５（Ａ）又は（Ｂ）にて設定された立体物グループと道路境界線グループとのそれぞれに分類される立体物と道路境界線の線分とを探索する処理を説明する図である。図６（Ｂ）は、グループ化処理後の立体物と道路境界線の線分のそれぞれの属するグループを表示する図である。
【図７】図７は、本発明による走路認識装置の実施形態における走路の画定処理の作動をフローチャートの形式で表した図である。
【図８】図８は、立体物と道路境界線の属するグループ毎に、立体物と道路境界線の線分の位置に対してフィッティングされた近似曲線を示す図である。
【図９】図９（Ａ）は、走路の路端に沿って、立体物の列と道路境界線とが延在している場合の車両前方の領域を撮像した画像の模式図である。図９（Ｂ）は、図９（Ａ）と同様の図であって、道路境界線の一部が欠落している状態の模式図である。図９（Ｃ）は、図９（Ａ）と同様の図であって、道路境界線の内側に立体物の列が存在する場合に、立体物の列の一部が欠落している状態の模式図である。
【符号の説明】
【００１５】
１０…車両
２０…カメラ
５０…走路認識装置
【発明を実施するための最良の形態】
【００１６】
以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。
【００１７】
装置の構成
本発明による走路認識装置は、通常の自動車等の車両に搭載されてよい。図１（Ａ）に模式的に描かれている如く、走路認識装置が搭載された車両１０に於いては、車両前方の走路を含む領域が含まれるように視野が設定されたカメラ２０等の画像センサが、車両１０のフロントガラス上部又は車両の前端等に配置され、これにより、路面の走路の路端近傍にて、その路端に沿ったガードレール、支柱、縁石（図示せず）、車道外側線、車線分離線等の道路境界線などが、図３（Ａ）の如く撮像される。そして、図１（Ｂ）に示されている如く、カメラ２０等の画像センサで得られた画像データが画像ＥＣＵ５０へ送信される。画像ＥＣＵ５０は、通常の形式の、双方向コモン・バスにより相互に連結されたＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有するマイクロコンピュータ及び駆動回路を含んでいてよい。画像ＥＣＵ５０は、画像データから走路の範囲を画定する路側線を決定し、その路側線に基づいて決定される走路の形状や幅などの走路情報が出力装置へ送信され表示され、或いは、任意の車両の運動制御部へ送信されて運転支援制御のための利用されることとなる。即ち、走路認識装置の各部の構成及び作動は、それぞれ、プログラムに従った画像ＥＣＵ５０（コンピュータ）５０の作動により実現されてよい。
【００１８】
走路認識装置の処理
本発明による走路認識装置に於いては、「発明の概要」の欄に於いて述べた如く、端的に述べれば、車両前方を撮影した画像に於いて認識又は検出されるガードレール、支柱、縁石などの立体物の像及び／又は道路境界線の像の位置及び／又は延在方向を検出した後、認識された立体物及び／又は道路境界線を走路の路端に沿って実質的に共通の線上に位置していると推定される対象物のグループにグループ分けし（「対象物の群に分類」）、更に、対象物のグループ毎に対象物の位置に対して曲線のフィッティングが実行される。そして、得られたフィッティング曲線のうち、最も内側の線が走路の「路側線」として決定されて、走路の範囲が画定されることとなる。かかる一連の処理のうち、対象物をグループに分類する際に、或る立体物の列又は道路境界線の像に部分的な欠落があった場合には、別のグループの対象物の位置の情報を用いて、部分的な欠落の補間が実行され、対象物のグループの描く線に於ける不連続な領域の発生の防止が図られ、これにより、結果として得られる路側線に於ける不連続的な変位の発生が回避される。
【００１９】
以下、本発明による走路認識装置の本実施形態に於ける処理作動について説明する。本実施形態の処理は、大別すると、（１）立体物及び道路境界線の検出処理、（２）立体物及び道路境界線のグループ化処理及び（３）走路の画定処理により構成される。
【００２０】
（１）立体物及び道路境界線の検出処理
図２のフローチャートを参照して、立体物及び道路境界線の検出処理に於いては、まず、車載カメラ２０から図３（Ａ）に模式的に描かれている如き車両前方の、立体物ｓの像、道路境界線ｂＬの像等を含む画像が取得され（ステップ１０）、画像の車両の走路を含む平面を分割して領域の設定が実行される（ステップ１２）。平面領域の分割、即ち、画像内領域の設定に於いては、図３（Ｂ）、（Ｃ）に例示されている如く、車両の走路を含む平面に於いて、車両の前方方向の距離に応じて、例えば、車両前方の平面が所定幅毎に分割されるように、画像内の各領域Ｒ１、Ｒ２〜が設定される（領域数は任意に設定されてよい。）。この点に関して、図１（Ａ）を参照して理解されるように、車載カメラ２０にて撮影される路面の範囲が固定され、画像内の画角が車両からの前方方向の距離に対応しているので、平面の各領域の境界は、画像内の画角によって設定可能である。
【００２１】
しかる後、任意の手法、例えば、ＳｆＭ（Structure  from  motion）法等、を用いて、画像内のガードレール、支柱、縁石などの立体物の像の認識又は検出とその位置の検出（ステップ１４）が実行される。なお、車載カメラがステレオカメラである場合には、ステレオ画像から任意の像が立体物の像であるかの判定を行って立体物の像が検出されてよい。図３（Ｃ）を参照して、立体物ｓの車両前方の平面に於ける位置は、上記の如く、画像内の立体物の画角（例えば、立体物の底部の画角）によって特定可能であり、図３（Ｄ）に於いて示されている如く、車両前方の平面の座標系に於ける座標点Ｐｓ（図中、×印にて示されている。）として検出されてよい。
【００２２】
次いで、道路境界線ｂＬの像の認識又は検出とその位置と延在方向を表す線分の生成（線分化）が実行される（ステップ１６）。道路境界線ｂＬの像の認識又は検出は、画像の輝度等に基づいて任意の手法にて実行可能である。そして、検出された道路境界線ｂＬの像に於いて、図３（Ｅ）に模式的に描かれている如く、その像の輝度等に基づきエッジ点Ｅｄの抽出がなされ、更に、ステップ１２にて設定された領域毎に、エッジ点を結ぶ線分Ｌｓが生成される。かかる線分Ｌｓは、例えば、ハフ変換を用いて生成されてよい。線分Ｌｓは、車両前方の平面の座標系に於ける座標点を結ぶ線により表されてよい。
【００２３】
（２）立体物及び道路境界線のグループ化処理
上記の如く、立体物ｓの位置の検出と道路境界線ｂＬの線分化が為されると、画像内の対象物である立体物及び道路境界線の線分を、走路の路端に沿って実質的に共通の線上に位置していると推定される対象物のグループ毎へ分類するグループ化処理が実行される。対象物のグループ化に於いては、端的に述べれば、初めに、車両に最も近い領域Ｒ１に於いて認識された対象物の各々について、それらの輝度と位置とに基づいて、それぞれのグループを設定した後、領域Ｒ２以降に於いて、設定された各グループに属する対象物、即ち、走路の路端に沿って実質的に共通の線上に位置していると推定される対象物の探索と各グループへの対象物の登録（グループへの関連付け）が実行される。その際、或る対象物のグループに属する対象物が検出されなかったときには、別のグループの対象物を用いて「補間」が実行されることとなる。
【００２４】
図４を参照して、立体物及び道路境界線のグループ化処理に於いては、具体的には、まず、既に触れた如く、ステップ１２にて設定された領域Ｒ１に於いて、その領域内の立体物ｓと道路境界線ｂＬの線分とがそれぞれ属する立体物グループと道路境界線グループとが生成される（ステップ２０）。図５（Ａ）は、かかる処理の例を模式的に示した図である。図示の例の場合、▲にて示された二つの立体物と●にて示された一つの立体物立体物と二本の線分とが存在する。この場合、二つの▲の立体物は、輝度及び／又は色相が近似し、横方向の位置の間隔が近いので、同一のグループｇｓ１に属するものとして登録される。一方、●の立体物は、▲の立体物と比較して、輝度及び／又は色相が異なり、位置も離れているので、別のグループｇｓ２に属するものとして登録される。また、二本の線分は、道路境界線であり、左右に離れて存在しているので、それぞれ、別々のグループｇＬ１、ｇＬ２に登録される。
【００２５】
かくして、領域Ｒ１での対象物のグループの生成が為されると、領域Ｒ１に続く領域Ｒ２、Ｒ３、Ｒ４〜に於いて、領域毎に、逐次的に、領域Ｒ１で生成されたグループと共通の、走路の路端に沿った線上に位置する対象物の探索が実行される（ステップ２２〜４０）。例えば、立体物がガードレールの支柱であるとすると、その支柱と列を成すガードレールの支柱が領域Ｒ２以降で探索される。また、道路境界線の線分のグループについては、最初のグループの線分に連続する線分が領域Ｒ２以降で探索される。
【００２６】
探索処理に於いては、具体的には、立体物については、領域Ｒ１にて生成された或る立体物グループに登録された立体物と比較して、輝度及び／又は色相との差が所定の閾値以下であり、その既に登録された立体物の横位置からの変位が所定の閾値以下であることをグループ化判定条件として、このグループ化判定条件を満たす立体物が、その立体物グループに属するものとして登録される。また、道路境界線の線分については、領域Ｒ１にて生成された或る道路境界線グループに登録された線分からの傾きが所定の閾値以下であり、その既に登録された線分の横位置からの変位が所定の閾値以下であることをグループ化判定条件として、このグループ化判定条件を満たす線分が、その道路境界線グループに属するものとして登録される。
【００２７】
実際の処理に於いては、例えば、領域Ｒ２では、まず、上記の一連のグループ化判定条件の閾値が設定される（ステップ２４）。なお、ステップ２４に於けるグループ化判定条件の閾値は、グループ毎に設定される。そして、領域Ｒ２内に存在する立体物の各々について、領域Ｒ１にて生成された立体物グループのいずれかのグループ化判定条件が満たされているか否かの判定が実行される。ここで、領域Ｒ２内に存在する立体物のうち、領域Ｒ１にて生成された立体物グループのいずれかのグループ化判定条件を満たすものは、その立体物グループに属するものとして登録される（ステップ２８）。領域Ｒ２内に存在する線分の各々についても同様に、領域Ｒ１にて生成された道路境界線グループのいずれかのグループ化判定条件が満たされているか否かの判定が実行され、領域Ｒ２内に存在する線分のうち、領域Ｒ１にて生成された道路境界線グループのいずれかのグループ化判定条件を満たすものは、その道路境界線グループに属するものとして登録される（ステップ３２）。なお、いずれのグループにも属さない立体物又は線分が発見された場合には、新規の立体物グループ又は道路境界線グループが生成される（ステップ３０、３４）。
【００２８】
図５（Ｂ）は、上記の処理の例を模式的に示した図であり、同図を参照して、図示の例の場合、領域Ｒ２内の▲の立体物と●の立体物とは、それぞれ、輝度／色相と横位置について、領域Ｒ１内にて生成されたグループｇｓ１、ｇｓ２のグループ化判定条件を満たすので、それぞれ、対応するグループに属するものとして登録される。また、領域Ｒ２内の右象限に存在する線分は、領域Ｒ１内にて生成された道路境界線グループｇＬ１の線分に対する傾きθと横変位Δｘとがグループ化判定条件を満たすので（領域Ｒ２内の点線は、領域Ｒ１での線分の位置を表す。以下、同様）、グループｇＬ１に属するものとして登録されることとなる。更に、領域Ｒ２内に於いては、領域Ｒ１にはなかった■にて表されている立体物の像が出現しているので、その■の立体物は、新規のグループｇｓ３として登録される。
【００２９】
ところで、同図に例示されている如く、例えば、領域Ｒ２に於いては、図中左側の象限の道路境界線の像が消失しており、線分が存在していない。そうすると、道路境界線グループｇＬ２に登録させる線分が欠落し、この場合、上記の如く、左側の象限の道路境界線の成す線が途中で中断されることとなる。この点に関し、領域Ｒ２の前の領域Ｒ１に於いては、道路境界線グループｇＬ２の対象物である線分と、領域Ｒ２内で対象物の見つかった立体物グループｇｓ１の対象物である立体物▲が存在する。そして、立体物グループｇｓ１の立体物の列と道路境界線グループｇＬ２の線分の列とは、走路の路端に沿って略並行に延在していると予想される。従って、領域Ｒ２内に於いて、領域Ｒ２内での立体物グループｇｓ１の立体物の位置から、領域Ｒ１に於ける立体物グループｇｓ１の立体物と道路境界線グループｇＬ２の線分との間の距離δｘだけ、道路境界線グループｇＬ２の方へ変位した位置に、道路境界線グループｇＬ２の線分ｇＬ２＊が存在していると仮定することができ、そうすると、次の領域Ｒ３に於けるグループ化処理に於いて、道路境界線グループｇＬ２について参照すべき対象物の位置が領域Ｒ２内に於いて存在し、道路境界線グループｇＬ２の対象物の探索の継続が可能となる。
【００３０】
そこで、既に触れた如く、本発明に於いては、探索している領域内で対象物の欠落のあったグループについては、同じ領域内で対象物の見つかったグループのその対象物を用いて、欠落した対象物の補間処理が実行される（ステップ３８）。かかる補間処理に於いては、上記に例示されている如く、対象物の欠落のなかったグループの対象物の位置から対象物の欠落のあったグループと対象物の欠落のなかったグループとの領域Ｒ１内に於ける距離だけ変位した部位に欠落のあったグループの対象物があるものと仮定して、その欠落のあったグループの対象物として登録が実行されることとなる。図示の例の領域Ｒ２の場合には、上記の如く、領域Ｒ２内のグループｇｓ１の対象物である▲の立体物からδｘだけ変位した位置に存在すると仮定されたｇＬ２＊が道路境界線グループｇＬ２の対象物として登録されることとなる。
【００３１】
上記の如く、領域Ｒ２の対象物のグループ化が完了すると、領域Ｒ３の対象物のグループ化が実行される（ステップ４０、ステップ２２）。その際、グループ化判定に於いては、領域Ｒ２内の立体物又は線分が利用される。また、閾値の設定（ステップ２４）が実行されるところ、上記の対象物の補間のあったグループのグループ化判定条件については、閾値による判定が相対的に緩和されるように、即ち、探索される対象物が、よりグループ化されやすくなるように閾値の設定が変更されてよい。これは、対象物の補間があった場合には、グループ化判定に使用される対象物が補間された対象物であるため、グループ化判定条件を厳しくすると、条件を満たす対象物が検出されない場合があるためである。
【００３２】
図５（Ｃ）は、上記の領域Ｒ３に於けるグループ化判定の処理の例を模式的に示した図であり、同図を参照して、図示の例の場合、立体物グループｇｓ１の▲の立体物と道路境界線グループｇＬ１の線分のグループ化判定条件を、それぞれ、満たす立体物と線分とは存在するので、これらは、それぞれ、対応するグループに登録される。一方、立体物グループｇｓ２、ｇｓ３と道路境界線グループｇＬ２に属する対象物が存在しないので、立体物グループｇｓ１の▲の立体物の位置から、その前の領域、即ち、領域Ｒ２内での、立体物グループｇｓ１からの立体物グループｇｓ２、ｇｓ３、道路境界線グループｇＬ２の距離（δ１２、δ１３、δｘだけ変位した部位に、それぞれの対象物を（一点鎖線にて描かれている如く）補間して配置し、それらの対象物がそれぞれのグループに登録されることとなる。
【００３３】
その後、次の領域がなくなるまで、上記の処理が反復して実行される。図６（Ａ）は、図５（Ｃ）の領域Ｒ３のグループ化の後に領域Ｒ４のグループ化をする例を示している。この場合の領域Ｒ４に於いては、立体物グループｇｓ１の▲の立体物と道路境界線グループｇＬ１、ｇＬ２の線分のグループ化判定条件を、それぞれ、満たす立体物と線分とは存在する。この点に関し、道路境界線グループｇＬ２の線分は、領域Ｒ２、３に於いて、線分の補間をしているために、登録されるべきグループが存在していることは、理解されるべきである。一方、立体物グループｇｓ２、ｇｓ３には、登録されるべき対象物が存在しないので、上記と同様の補間処理が実行されることとなる。
【００３４】
かくして、画像内の全ての領域についてグループ化処理が実行されると、画像内の全ての対象物がいずれかのグループに登録されるとともに、途中に対象物の欠落があったグループについては、欠落のあった部位に補間による対象物が登録された状態となる。図６（Ｂ）は、図３（Ｃ）〜図６（Ａ）の例に於けるグループ化された立体物と道路境界線の線分とを示している。図６（Ｂ）の例から理解される如く、対象物が途中で欠落しているグループ、例えば、グループｇＬ２の場合には、図中、一点鎖線にて描かれている如く、対象物の補間が行われ、これにより、画像に於いて、対象物のグループ化が、最初に出現した領域から最後の領域まで継続して実行できることとなる。なお、上記の補間処理は、立体物の像が欠落し、道路境界線の線分が存在しているときには、道路境界線の線分を用いて欠落した立体物の補間が為されてもよい。
【００３５】
（３）走路の画定処理
対象物のグループ化が完了すると、走路画定処理が実行される。図７を参照して、走路画定処理に於いては、具体的には、上記の対象物のグループ毎に、グループに登録された対象物（立体物又は線分）の位置に対して曲線フィッティングが実行され（ステップ５０）、図８に例示されている如く、各グループ内の立体物又は線分の列が描く曲線が生成される。曲線フィッティングは、任意の手法にて実行されてよい。ここで得られた立体物又は線分の列のフィッティング曲線は、走路の路端に沿って並んだ立体物の列又は走路の路端に沿って延在する道路境界線の描く曲線であることが期待される。
【００３６】
しかしながら、上記の如く、補間処理が行われたグループについては、画像内の実際の像が使用されていないので、補間による誤差が発生している可能性がある。そこで、各グループの曲線の路側線としての有効性の判定が実行される（ステップ５２）。各グループの曲線の有効性の判定に於いては、具体的には、まず、各グループの曲線の形状と位置を表すパラメータ、例えば、曲率、ヨー角等が算出される。そして、補間処理が行われたグループの曲線のうち、他のグループとのパラメータの差が大きいグループの曲線、例えば、曲率、ヨー角等との差の大きさが所定の閾値を超えるグループについては、補間処理に誤りがあったものとして、補間処理を行った領域以降の対象物が削除される。また、補間処理が行われたグループの曲線のうち、途中の領域から最後の領域まで補間処理を行ったグループについても、補間処理を行った領域に於ける信頼性が低いため、補間処理を行った領域以降の対象物が削除されてよい。なお、かかる対象物の削除を行ったグループについては、残りの対象物の位置情報のみを用いた曲線フィッティングにより曲線が修正されてよい（ステップ５４）。例えば、図８の例では、グループｇｓ２、ｇｓ３は、途中から最後の領域まで補間処理が実行されているので、保管処理が実行された部分が破棄される。
【００３７】
かくして、各グループの曲線の有効性の判定又は修正が為されると、車両の左右の各々に於いて、最も内側に位置する曲線、即ち、走路の中央に近い曲線が選択される（ステップ５６）。ここにおいて、選択された曲線が画像内の全領域を網羅しているときには（ステップ５８）、選択された曲線が走路の路側線として決定され、走路の範囲が画定されることとなる（ステップ６０）。例えば、図８の例では、グループｇＬ１、ｇＬ２の曲線が最も内側に位置し、全領域を網羅しているので、それらが路側線として採用される。一方、選択された曲線が画像内の全領域を網羅していないときには（ステップ５８）、網羅されていない領域に於いて最も内側に位置する曲線が選択され（ステップ６４）、選択されたグループの曲線の連結が行われる。かかる曲線の連結に於いては、曲線が不連続に変位しないようにシグモイド曲線等を用いて曲線が連結されるようになっていてよい。かかる連結された曲線が走路の路側線として決定され、走路の範囲が画定されることとなる（ステップ６０）。そして、走路の路側線が決定され、走路の範囲の画定が為されると、その情報が出力される（ステップ６２）。
【００３８】
かくして、上記の一連の処理によれば、画像に於いて走路の路側線を画定するために参照する対象物の像の列に像の欠落があった場合であっても、欠落した部分の補間を実行することにより、像の位置によって決定される路側線に於いて不連続な部分の発生が防止され、“走路がばたつく”といった不具合を回避することが可能となる。上記の一連の処理構成に於いて、最終的には、最も内側に位置するグループの曲線が路側線として選択されるが、走路の外側に位置する対象物についてもグループ化が必要であることは理解されるべきである。例えば、図８の例では、グループｇＬ２は、領域Ｒ２、Ｒ３に於いて、像の欠落が存在しているが、グループｇｓ１の対象物の位置を用いて像の欠落を補間しているので、全領域に亘って、不連続な変位のない、滑らかな路側線が描かれることとなる。
【００３９】
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。
【図１】
2016218539.tif 000003
【図２】
2016218539.tif 000004
【図３】
2016218539.tif 000005
【図４】
2016218539.tif 000006
【図５】
2016218539.tif 000007
【図６】
2016218539.tif 000008
【図７】
2016218539.tif 000009
【図８】
2016218539.tif 000010
【図９】
2016218539.tif 000011