(57)【特許請求の範囲】
【請求項１】
１台のカメラにより撮像され、水平方向及び垂直方向の２次元座標にマッピングされた車両前方の画像データから、道路の左側区分線のエッジ点である左エッジ点と右側区分線のエッジ点である右エッジ点を抽出するエッジ点抽出手段と、該エッジ点抽出手段により抽出された左エッジ点と右エッジ点の実空間位置を推定することで、道路の左側区分線と右側区分線の実空間位置を検出する実空間位置検出手段とを備えた道路形状認識装置において、
前記実空間位置検出手段は、前記２次元座標の垂直方向の座標が同一である左エッジ点と右エッジ点とを結ぶ線分である複数の道路線分を生成する道路線分生成手段と、
該道路線分生成手段により生成された複数の道路線分の中から、前記２次元座標の下方にある１本の道路線分を基準道路線分として選択し、前記カメラの視点から平坦で高さ０であると仮定した前記車両の走行平面に、該基準道路線分を逆射影変換して生成した線分の長さを実空間における道路幅と推定する道路幅推定手段と、
前記車両の前方の所定距離までの範囲において、前記基準道路線分よりも上側にある各道路線分ごとに、前記カメラの視点から前記走行平面への逆射影変換を行い、逆射影変換された道路線分と平行な線分であって、その左端が逆射影変換により生成された線分の左端と前記カメラの視点とを結ぶ線分上にあると共にその右端が逆射影変換により生成された線分の右端と前記カメラの視点とを結ぶ線分上にあり、且つその長さが前記道路幅推定手段により推定された道路幅と一致する線分を決定し、決定した線分の左端の位置を逆射影変換された道路線分を生成した左エッジ点の実空間位置と推定し、決定した線分の右端の位置を逆射影変換された道路線分を生成した右エッジ点の実空間位置と推定する近傍エッジ点位置推定手段と、
前記所定距離よりも遠方の範囲において、前記近傍エッジ点位置推定手段により推定された各道路線分の左エッジ点及び右エッジ点の実空間位置に基づいて近似した放物線によって決定した前記車両前方の曲面に、前記エッジ点抽出手段により抽出された左エッジ点及び右エッジ点を前記カメラの視点から逆射影変換した位置を該左エッジ点及び右エッジ点の実空間位置と推定する遠方エッジ点位置推定手段とを備えたことを特徴とする道路形状認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術の分野】
本発明は、画像処理により道路上の区分線の実空間位置を検出する道路形状認識装置に関し、特に遠方における区分線の実空間位置の検出精度を向上させた道路形状認識装置に関する。
【０００２】
【従来の技術】
従来より、カメラにより撮像した車両前方の画像から、道路上に描かれた車両の左右の区分線（道路区分線）の実空間位置を検出する道路形状認識装置が広く知られている。
【０００３】
かかる道路形状認識装置により道路の登坂や片勾配といった高さの変化のデータを得るためには、２台のカメラを使用し、それぞれの撮像画像データから、道路区分線の３次元座標（地表面の座標と地表からの高さの座標）を検出する必要がある。
【０００４】
しかし、このように２台のカメラを用いて道路区分線の３次元座標を検出するには、２台のカメラのそれぞれに対して画像データの入力回路やメモリが必要となるために装置構成が複雑になって装置コストが高くなると共に、２台のカメラによる撮像画像データから道路区分線の３次元座標を得るための複雑な演算処理が必要となり、処理時間が長くなってしまう。
【０００５】
そのため、一般には、図９ａに示すように、１台のカメラによる撮像画像から道路区分線のエッジ点ｅを抽出し、抽出したエッジ点の画像データｇを用いて道路区分線の実空間位置を検出することが行われている。具体的には、道路は平坦であると仮定して、各エッジ点ｅをカメラの視点Ｐから平坦な平面Ｈに逆射影変換した位置ｌ、ｒを実空間における道路区分線の位置であると推定して、白線の実空間位置を検出している。
【０００６】
しかし、図９ｂに示すように実際には登坂である道路ｃに対して、このように道路は平坦であると仮定して道路区分線の実空間位置を検出したときには、実際の道路区分線の実空間位置と検出された道路区分線の実空間位置との間に大きなずれが生じるという不都合があった。
【０００７】
【発明が解決しようとする課題】
本発明は上記不都合を解消し、１台のカメラを用いた道路形状認識装置において、道路区分線の実空間位置の検出精度を向上させた道路形状認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、１台のカメラにより撮像され、水平方向及び垂直方向の２次元座標にマッピングされた車両前方の画像データから、道路の左側区分線のエッジ点である左エッジ点と右側区分線のエッジ点である右エッジ点を抽出するエッジ点抽出手段と、該エッジ点抽出手段により抽出された左エッジ点と右エッジ点の実空間位置を推定することで、道路の左側区分線と右側区分線の実空間位置を検出する実空間位置検出手段とを備えた道路形状認識装置の改良に関する。
【０００９】
本発明における前記実空間位置検出手段は、前記２次元座標の垂直方向の座標が同一である左エッジ点と右エッジ点とを結ぶ線分である複数の道路線分を生成する道路線分生成手段と、該道路線分生成手段により生成された複数の道路線分の中から、前記２次元座標の下方にある１本の道路線分を基準道路線分として選択し、前記カメラの視点から平坦で高さ０であると仮定した前記車両の走行平面に、該基準道路線分を逆射影変換して生成した線分の長さを実空間における道路幅と推定する道路幅推定手段とを備える。
【００１０】
そして、前記実空間位置検出手段は、前記車両の前方の所定距離までの範囲においては、前記基準道路線分よりも上側にある各道路線分ごとに、前記カメラの視点から前記走行平面への逆射影変換を行い、逆射影変換された道路線分と平行な線分であって、その左端が逆射影変換により生成された線分の左端と前記カメラの視点とを結ぶ線分上にあると共にその右端が逆射影変換により生成された線分の右端と前記カメラの視点とを結ぶ線分上にあり、且つその長さが前記道路幅推定手段により推定された道路幅と一致する線分を決定し、決定した線分の左端の位置を逆射影変換された道路線分を生成した左エッジ点の実空間位置と推定し、決定した線分の右端の位置を逆射影変換された道路線分を生成した右エッジ点の実空間位置と推定する近傍エッジ点位置推定手段を備える。
【００１１】
更に、前記実空間位置検出手段は、前記所定距離よりも遠方の範囲において、前記近傍エッジ点位置推定手段により推定された各道路線分の左エッジ点及び前記右エッジ点の実空間位置に基づいて近似した放物線によって決定した前記車両前方の曲面に、前記エッジ点抽出手段により抽出された左エッジ点及び右エッジ点を前記カメラの視点から逆射影変換した位置を該左エッジ点及び右エッジ点の実空間位置と推定する遠方エッジ点位置推定手段とを備える。
【００１２】
本発明者らは、上記目的を達成するために各種検討を重ねた結果、前記実空間位置検出手段に、前記道路線分生成手段と前記道路幅推定手段と前記近傍エッジ点位置推定手段と前記遠方エッジ点位置推定手段とを備え、該近傍エッジ点位置推定手段及び該遠方エッジ点位置推定手段により推定された左エッジ点及び右エッジ点の実空間位置から道路区分線の位置を認識することで、道路区分線の実空間位置の検出精度が向上することを知見した。
【００１３】
そして、本発明によれば、上述した従来の２台のカメラを用いて道路区分線の実空間位置を検出する場合と比べて、簡易な演算処理で精度良く道路区分線の実空間位置を検出することができる。
【００１４】
【発明の実施の形態】
本発明の実施の形態の一例を図１〜図９を参照して説明する。図１は本発明の道路形状認識装置を用いたレーンキープアシストシステムの全体構成図、図２は本発明の道路形状認識装置において使用する座標系の説明図、図３，図４は本発明の道路区分線の実空間位置推定処理のフローチャート、図５は道路幅推定処理の説明図、図６は車両近傍におけるエッジ点の実空間位置推定処理の説明図、図７は車両遠方におけるエッジ点の実空間位置推定処理の説明図、図８は本発明の道路形状認識装置と従来の道路形状認識装置による、道路区分線の実空間位置の検出結果の比較図、図９は従来の道路形状認識装置によるエッジ点の実空間位置推定処理の説明図である。
【００１５】
尚、本発明は主として高速道路の走行を想定し、道路幅は一定であり、道路の水平曲線及び縦断（垂直）曲線は緩やかに変化することを前提として道路区分線の実空間位置を検出する。
【００１６】
図１を参照して、本発明の道路形状認識装置１は、エッジ点抽出手段２と実空間位置検出手段３とを有し、カメラ４、前処理部５、行動計画作成部６、及びアクチュエータ７と共に車両に搭載されて、該車両が走行車線内を走行するようにステアリング角度の補正を行うレーンキープアシストシステムを構成する。
【００１７】
カメラ４により取り込まれ、水平方向（ｘi ）と垂直方向（ｙi ）の２次元座標系にマッピングされた原画像データａに対しては、前処理部５によりノイズ除去等の前処理が行われる。
【００１８】
そして、前処理がなされた原画像データａから、エッジ点抽出手段２により右側の道路区分線のエッジ点（右エッジ点）と、左側の道路区分線のエッジ点（左エッジ点）とが抽出される。尚、エッジ点の抽出は前処理後の原画像データａに対して、各水平ライン毎に各画素の明度データを水平方向に走査し、明度データが明から暗、或いは暗から明に急激に変化する点を検出することで行われる。
【００１９】
実空間位置検出手段３は、道路線分生成手段８と、道路幅推定手段９と、近傍エッジ点位置推定手段１０と、遠方エッジ点位置推定手段１１とを備え、エッジ点抽出手段２によって得られたエッジ点データｇから、左エッジ点の実空間位置と右エッジ点の実空間位置とを推定することで、道路区分線の実空間位置を検出する。
【００２０】
そして、行動計画作成部６は、道路形状認識装置１によって検出された道路区分線の実空間位置に基づいて、実空間における車両の走行パターンを作成し、該走行パターンに応じてアクチュエータ７を介してステアリング角度を調節する。これにより、左側の道路区分線と右側の道路区分線の間を走行するように、車両の位置が制御される。
【００２１】
次に、図２は実空間位置検出手段３において使用される座標系の説明図である。図２ａを参照して、実空間における道路区分線の位置は、車両２０の中心真下（高さ０）の点を原点とし、車両２０の進行方向を正とするＸm 軸と、Ｘm 軸と直交し、車両２０の進行方向に向かって左手を正とするＹm 軸と、Ｘm −Ｙm 平面と直交して上空方向を正とするＺm 軸からなる、Ｘm −Ｙm −Ｚm の３次元座標系（以下、実空間座標系という）によって特定される。
【００２２】
また、図２ｂはカメラ４の座標系とエッジ点データｇの座標系との関係を示したものである。カメラ４の座標系は、カメラ４の視点Ｐを原点とし、カメラ４の視線方向に対して右手方向を正とするｘc 軸と、視線方向及びｘc 軸と直交して上方向を正とするｙc 軸と、視線軸であって視線方向を正とするｚc 軸とからなるｘc −ｙc −ｚc の３次元座標系（以下、カメラ座標系という）である。また、エッジ点データｇの座標系は、カメラ４からみたエッジ点画像ｇの左上を原点とし、右方向を正とするｘi 軸と、下方向を正とするｙi 軸とからなるｘi −ｙi の２次元座標系（以下、エッジ座標系という）である。
【００２３】
カメラ４の焦点距離ｆは既知であるので、エッジ点データｇにおける１画素の長さ（ｍｍ／ｄｏｔ）が定まる。そして、カメラ４の視点Ｐの実空間座標系における座標と、カメラ４の前後左右の傾きも既知であるため、カメラ座標系から実空間座標系への座標変換を行うことができる。
【００２４】
実空間位置検出手段３は、エッジ点データｇにおける各左エッジ点及び右エッジ点のエッジ座標系における座標をカメラ座標系の座標に変換し、変換した左エッジ点及び右エッジ点のカメラ座標系の座標を用いて、該左エッジ点及び右エッジ点をカメラ４の視点Ｐからエッジ点データｇの前方に逆射影変換することで、実空間における左エッジ点及び右エッジ点のカメラ座標系の座標を推定する。
【００２５】
そして、実空間位置検出手段３は、このようにして推定した実空間におけるカメラ座標系の左エッジ点と右エッジ点の座標を実空間座標系の座標に変換することで、実空間における道路の左側区分線と右側区分線の実空間座標系の座標を検出する。
【００２６】
以下、図３，図４に示したフローチャートに従って、実空間位置検出手段３によるエッジ点データｇの左エッジ点及び右エッジ点の実空間位置の検出処理について説明する。
【００２７】
図３を参照して、ＳＴＥＰ１で、実空間位置検出手段３に備えられた道路線分生成手段８は、図５ａに示すように、エッジ点データｇより、ｙi 座標が同一である左エッジ点と右エッジ点とを結んだ線分である道路線分Ｓ0 ，Ｓ1 , ・・・，Ｓn を生成する。
【００２８】
続くＳＴＥＰ２で、実空間位置検出手段３に備えられた道路幅推定手段９は、図５ａに示した道路線分Ｓ0 ，Ｓ1 ，・・・，Ｓn の中から、最も下側（車両側）にある道路線分Ｓ0 （図５ａのｙi ＝４００のライン上にある）を基準道路線分として選択する。尚、基準道路線分として選択するのは、必ずしも最も下側にある道路線分に限られず、場合によっては下から２番目の道路線分（Ｓ1 ）や、３番目の道路線分（Ｓ2 ）を基準道路線分としてもよい。
【００２９】
そして、ＳＴＥＰ３で、道路幅推定手段９は、図５ｂに示すように、カメラ４の視点Ｐから平坦で高さ０（Ｚm ＝０）であると想定した車両前方の平面Ｈに基準道路線分Ｓ0 を逆射影変換し、ＳＴＥＰ４で、該逆射影変換によって生成された線分ｕ0 の長さｗを、実空間における道路幅と推定する。
【００３０】
次のＳＴＥＰ５からＳＴＥＰ１０は、実空間位置検出手段３に備えられた近傍エッジ点位置推定手段１０による、車両近傍におけるエッジ点データｇの左エッジ点及び右エッジ点の実空間位置の推定処理である。
【００３１】
近傍エッジ点位置推定手段１０は、ＳＴＥＰ５でカウンタ変数ｉに１を代入し、ＳＴＥＰ６で道路線分Ｓi （ここではｉ＝１）を、図６に示すように、車両前方の平坦で高さ０（Ｚm ＝０）であると仮定した平面Ｈに逆射影変換する。そして、近傍エッジ点位置推定手段１０は、逆射影変換により生成された平面Ｈ上の線分ｕ1 と平行な線分であって、その左端がカメラ４の視点Ｐと線分ｕ1 の左端を結んだ線分ＪL 上にあると共にその右端がカメラ４の視点Ｐと線分ｕ1 の右端を結んだ線分ＪR 上にあり、且つその長さが道路幅推定手段９によって推定された道路幅ｗと等しい線分Ｕ1 を決定する。
【００３２】
近傍エッジ点位置推定手段１０は、このようにして決定した線分Ｕ1 の右端Ｒ1 を道路線分Ｓ1 の右エッジ点の実空間位置と推定し、線分Ｕ1 の左端Ｌ1 を道路線分Ｓ1 の左エッジ点の実空間位置と推定する。
【００３３】
近傍エッジ点位置推定手段１０は、続くＳＴＥＰ９でカウンタ変数ｉに１を加え、ＳＴＥＰ１０で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹm 軸から車両前方（Ｘm 軸正方向）に４０ｍ（本発明の所定距離に相当）以上離れているか否かを判定する。そして、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹm 軸から４０ｍ以上離れていないときは、ＳＴＥＰ６に分岐して次の道路線分に対してＳＴＥＰ６〜ＳＴＥＰ８の処理を行う。
【００３４】
このように、近傍エッジ点位置推定手段１０によりＳＴＥＰ６〜ＳＴＥＰ１０のループを実行することで、実空間座標系のＹm 軸から車両前方４０ｍまでの範囲でのエッジ点データｇの左エッジ点の実空間位置Ｌ1 ，Ｌ2 ，・・・と、右エッジ点の実空間位置Ｒ1 ，Ｒ2 ，・・・とが推定される。
【００３５】
一方、ＳＴＥＰ１０で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹm 軸から車両前方（Ｘm 軸正方向）に４０ｍ（本発明の所定距離に相当）以上離れていたときには、ＳＴＥＰ１１に進む。
【００３６】
ＳＴＥＰ１１〜ＳＴＥＰ１４は、遠方エッジ点位置推定手段１１によるエッジ点データｇの左エッジ点及び右エッジ点の実空間位置の推定処理である。遠方エッジ点位置推定手段１１は、ＳＴＥＰ１１で、図６に示すように、道路幅推定手段９と近傍エッジ点位置推定手段１０とにより推定されたエッジ点データｇの左エッジ点の実空間位置Ｌ0 ，Ｌ1 ，Ｌ2 ，・・・から高さ方向（Ｘm −Ｚm 平面）で放物線ｆ1 を近似し、エッジ点データｇの右エッジ点の実空間位置Ｒ0 , Ｒ1 ，Ｒ2,・・・から高さ方向（Ｘm −Ｚm 平面）で放物線ｆ2 を近似する。そして、図７に示すように左端の形状をｆ1 で近似し、右端の形状をｆ2 で近似した曲面Ｋを決定する。
【００３７】
次に、遠方エッジ点位置推定手段１１は、ＳＴＥＰ１２〜ＳＴＥＰ１４で、図７に示すように、近傍エッジ点位置推定手段１０により実空間位置の推定がなされた、エッジ点データｇにおける道路線分よりも上側（エッジ点座標系のｙi 軸の原点側）にある各道路線分Ｓi の左エッジ点及び右エッジ点に対して、カメラ４の視点Ｐから曲面Ｋへの逆射影変換を行い、逆射影された点ｌi とｒi を道路線分Ｓi の左エッジ点及び右エッジ点の実空間位置と推定する。
【００３８】
このようにして、エッジ点画像ｇの各左エッジ点及び右エッジ点の実空間位置を推定し、推定結果から道路区分線の実空間位置を検出したところ、図９ａに示した、走行面が平坦であると仮定して逆射影変換を行ってエッジ点の実空間位置を推定した従来の道路形状認識装置に比べて、図８に示すように、道路区分線の実空間位置の検出精度が著しく向上することが確認できた。
【００３９】
図８は、車両が、水平方向が２３０Ｒの右カーブ、垂直方向が２０００Ｒの上り坂、片勾配が１０％の右下がりである高速道路を走行中であることを想定して、図９ａに示した従来の道路形状認識装置と本発明の道路形状認識装置とにより、道路区分線の実空間位置を検出したときの、上空から見た（Ｘm −Ｙm 平面）道路区分線の位置を比較したものである。図中、▲１▼，▲２▼が実際の左右の道路区分線の位置、▲３▼，▲４▼が本発明の道路形状認識装置による左右の道路区分線の検出位置、▲５▼，▲６▼が従来の道路形状認識装置による左右の道路区分線の検出位置である。
【００４０】
図８から明らかなように、従来の道路形状認識装置では、前方３０ｍ付近から実際の道路区分線の実空間位置に対して検出位置がずれ始め、４０ｍより遠方になるにつれてずれ量が急激に増大している。これに対して、本発明の道路形状認識装置によれば、４０ｍ地点でのずれはほとんどなく、遠方においても実際の道路区分線の位置と、検出位置とのずれ量は微量に留まっている。
【００４１】
以上説明したように、本発明の道路形状認識装置によれば、１台のカメラを用いた道路区分線の実空間位置の検出精度を向上することができ、本発明の道路形状認識装置を用いることで、レーンキープアシストシステムの信頼性を向上させることができる。
【００４２】
また、本発明の道路形状認識装置における道路区分線検出の演算処理は、従来、道路区分線の３次元座標を検出するために行われていた、２台のカメラを用いた道路区分線検出の演算処理よりも簡単であるので、２台のカメラを用いた場合よりも短い処理時間で精度良く道路区分線の実空間位置を検出することができる。
【図面の簡単な説明】
【図１】本発明の道路形状認識装置を用いたレーンキープアシストシステムの全体構成図。
【図２】道路形状認識装置において使用する座標系の説明図。
【図３】道路区分線の実空間位置推定処理のフローチャート。
【図４】道路区分線の実空間位置推定処理のフローチャート。
【図５】道路幅推定方法の説明図。
【図６】車両近傍におけるエッジ点の実空間位置推定処理の説明図。
【図７】車両遠方におけるエッジ点の実空間位置推定処理の説明図。
【図８】本発明の道路形状認識装置と従来の道路形状認識装置による道路区分線の検出結果の比較図。
【図９】従来の道路形状認識装置によるエッジ点の実空間位置推定処理の説明図。
【符号の説明】
１…道路形状認識装置、２…エッジ点抽出手段、３…実空間位置検出手段、４…カメラ、５…前処理部、６…行動計画作成部、７…アクチュエータ、８…道路線分生成手段、９…道路幅推定手段、１０…近傍エッジ点位置推定手段、１１…遠方エッジ点位置推定手段
【図１】
0003977505.tif 000002
【図２】
0003977505.tif 000003
【図３】
0003977505.tif 000004
【図４】
0003977505.tif 000005
【図５】
0003977505.tif 000006
【図６】
0003977505.tif 000007
【図７】
0003977505.tif 000008
【図８】
0003977505.tif 000009
【図９】
0003977505.tif 000010