(57)【要約】【課題】道路分離線の検知方法及び装置並びに道路領域の検知方法及び装置を提供する。【解決手段】道路分離線の検知方法及び装置では、道路領域を含む視差図と対応のＶ−視差図とを取得し、Ｖ−視差図から順次隣接した複数の道路面となる複数の斜線分を順次検知し、複数の斜線分に対応する複数の道路分離線関心領域視差図を取得し、及び、道路分離線関心領域視差図から道路分離線を検知する。道路領域の検知方法及び装置では、道路領域を含むＶ−視差図を取得し、及び、Ｖ−視差図から順次隣接した複数の道路面となる複数の斜線分を順次検知する。【選択図】図２
2013134780.tif 000002
【特許請求の範囲】
【請求項１】
道路領域を含む視差図と、対応のＶ−視差図とを取得するステップと、
前記Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知するステップと、
前記複数の斜線分に対応する複数の道路分離線関心領域視差図を取得するステップと、
前記道路分離線関心領域視差図から道路分離線を検知するステップと、を含む、道路分離線検知方法。
【請求項２】
前記視差図から検知された各道路分離線に対し、
Ｕ−視差図から、前記視差図から検知された該道路分離線上の点に対応する複数の点を取得し、取得された前記複数の点が非水平線且つ非垂直線の１斜線上に位置するものか否かを判断し、
取得された前記複数の点が前記１斜線上に位置するものでないと、該道路分離線を除去する、請求項１に記載の道路分離線検知方法。
【請求項３】
前記Ｖ−視差図から、視差の降順及びＶ値の降順に従って、前記複数の斜線分を順次検知するステップは、
視差最大で且つＶ値最大の箇所からスタートし、第１の道路面となる第１の斜線分を検知する第１のステップと、
前記第１の斜線分の所在する水平領域の上方で且つ隣り合う領域から、第２の道路面となる第２の斜線分を検知する第２のステップと、
前記第２の斜線分を前記第１の斜線分に置き換えて、斜線分が検出されなくなるまでに、前記第２のステップの処理を繰り返す第３のステップと、を含む、請求項１に記載の道路分離線検知方法。
【請求項４】
前記Ｖ−視差図から、前記第１の道路面となる前記第１の斜線分を検知するステップにおいて、
ハフ変換により、全ての斜線分を検出し、
検出された前記全ての斜線分から、通過点が最多となる斜線分と、視差最大となる斜線分と、長さ最長となる斜線分とのうちのいずれかを選択して前記第１の斜線分とする、請求項３に記載の道路分離線検知方法。
【請求項５】
前記視差図は車両の前のシーンの左図及び右図から算出されたものであり、前記Ｖ−視差図から前記第１の道路面となる前記第１の斜線分を検知するステップにおいて、
下記式
【数２】
2013134780.tif 000004
（式中、hは、前記左図と前記右図を撮像した双眼カメラから路面までの高さであり、bは、前記双眼カメラの左右のカメラの中心点の距離であり、θは、画像面と前記路面の夾角であり、fは、前記双眼カメラの焦点距離であり、Δは、斜線分上の点の視差であり、Vは、前記斜線分上の点に対応するＶ座標値であり）
を満たす点を検出することで、前記第１の斜線分が得られる、請求項３に記載の道路分離線検知方法。
【請求項６】
前記複数の斜線分を検知する前に、前記Ｖ−視差図から、長さが所定の閾値を超えた垂直な縦線を削除する、請求項１に記載の道路分離線検知方法。
【請求項７】
前記視差図における任意の道路分離線関心領域のＶ軸上の長さが所定の閾値を超えた場合は、高さ方向に沿って該道路分離線関心領域を分割し、分割後の新たな道路分離線関心領域が得られる、請求項１に記載の道路分離線検知方法。
【請求項８】
検知された前記道路分離線の傾斜度が所定範囲内にない場合は、前記道路分離線を除去する、請求項１に記載の道路分離線検知方法。
【請求項９】
道路領域を含むＶ−視差図を取得するステップと、
前記Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知するステップと、を含む、道路領域検知方法。
【請求項１０】
道路領域を含む視差図と、対応のＶ−視差図とを取得する視差図・Ｖ−視差図取得部と、
前記Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知する道路面検知部と、
前記複数の斜線分に対応する複数の道路分離線関心領域視差図を取得する道路分離線関心領域視差図取得部と、
前記道路分離線関心領域視差図から道路分離線を検知する道路分離線検知部と、を有する、道路分離線検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路検知及び物体検知に関し、より詳細には、道路分離線の検知方法及び装置、並びに道路領域検知の方法及び装置に関する。
【背景技術】
【０００２】
運転支援システムの応用が益々普及している。道路や車道検知及び警告システム（Lane/Road  detection  warning,  LDW/RDW）は、運転支援システムのサブシステムであるが、該システムによると、衝突防止や、より正確な運転方向決め等が可能になる。LDW/RDWシステムにおいて、道路や車道の検知は、非常に重要なものであり、道路情報を把握してこそはじめて、例えば警告等の更なる処理が可能になる。通常、道路や車道の検知は、道路分離線の検知により行われる。
【０００３】
路面は、環境と地形により、平面ではなく、通常、上り坂や下り坂のような斜面となっているものが多い。例えば、中国の山地都市の重慶市には、多くの高低差のある山道があり、香港や日本の東京都等の都市にも、平坦でない道路が多い。また、多くの近郊地区の道路も平坦ではない。
【０００４】
従来のステレオビジョンを用いた主な方法は、いずれも平坦な路面を仮定しているため、斜面の道路分離線の正確な検知は不可能である。
【０００５】
米国特許公開第2006/0239509  A1号明細書には、光の照度と片側の画像の距離により、道路分離線の候補点を検知し、該道路分離線の候補点により、ハフ変換を行うことで、道路分離線を検知する道路分離線識別装置が開示されている。該特許公開においては、光の照度の範囲による道路関心領域の検知を行っているが、光の照度と距離とにより候補道路分離線を選択すると、輝度に比較的敏感であるという問題がある。
【０００６】
道路分離線は、路肩、白線、フェンスや、他の道路領域及び車道を表す標識物などがある。
【０００７】
「Real  Time  Obstacle  Detection  in  Stereovision  on  Non  Flat  Road  Geometry  Through  “V-disparity”  Representation,  Labayrade,  R.;  Aubert,  D.;  Tarel,  J.-P,  IEEE  Intelligent  Vehicles  Symposium  2002,  pp646-651,  Vol.2」には、Ｖ−視差図からＫ個の最高ハフ変換値を有する線を検出する方法が提案されている。該Ｋ個の線のうち、最高累計階調値を有する線が道路マッピングとして選択され、これにより、道路関心領域が得られる。それから、該道路関心領域から、ハフ変換により道路分離線が検出されることになる。
【０００８】
米国特許第7,346,190  B2号明細書には、３次元座標を道路横断方向に沿って２次元座標に投影するとともに、道路横断方向に沿ったヒストグラムを生成し、該ヒストグラムによる道路分離線決めを行う道路分離線検知方法が開示されている。しかし、この方法は、例えば、斜面等の道路高さが異なる道路には適さない。
【０００９】
なお、従来の道路検知は、単色画像や偏光画像による検知が大半であるが、道路のエッジが不鮮明な画像や、例えば、斜面が存在する複雑な環境の場合の道路検知は、優れた効果が得られない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、従来技術における前記問題を鑑みてなされたものである。本発明は、非平坦道路の検知を目的とする。本発明は、道路分離線の検知を他の目的とする。
【課題を解決するための手段】
【００１１】
本発明の一側面によれば、道路分離線検知方法が提供される。この道路分離線検知方法は、道路領域を含む視差図と、対応のＶ−視差図とを取得するステップと、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接する複数の道路面となる複数の斜線分を順次検知するステップと、複数の斜線分に対応する複数の道路分離線関心領域視差図を取得するステップと、道路分離線関心領域視差図から道路分離線を検知するステップと、を含む。
【００１２】
前記道路分離線の検知方法は、視差図から検知された各道路分離線に対し、Ｕ−視差図から、視差図から検知された該道路分離線上の点に対応する点を取得し、これらの点が非水平線且つ非垂直線の１斜線上に位置するか否かを判断し、これらの点が１斜線上に位置するものでないと、該道路分離線を除去するステップを更に含む。
【００１３】
前記道路分離線検知方法は、前記複数の斜線分の検知前に、Ｖ−視差図から、長さが所定の閾値を超えた垂直な縦線を削除するステップを更に含む。
【００１４】
本発明の他の側面によれば、道路領域検知方法が提供される。この道路領域検知方法は、道路領域を含むＶ−視差図を取得するステップと、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接する複数の道路面となる複数の斜線分を順次検知するステップと、を含む。
【００１５】
本発明の他の側面によれば、道路分離線検知装置が提供される。この道路分離線検知装置は、道路領域を含む視差図と、対応のＶ−視差図とを取得する視差図・Ｖ−視差図取得部と、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接する複数の道路面となる複数の斜線分を順次検知する道路面検知部と、複数の斜線分に対応する複数の道路分離線関心領域視差図を取得する道路分離線関心領域視差図取得部と、道路分離線関心領域視差図から道路分離線を検知する道路分離線検知部と、を含む。
【００１６】
本発明の他の側面によれば、道路領域検知装置が提供される。この道路領域検知装置は、道路領域を含むＶ−視差図を取得するＶ−視差図取得部と、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接する複数の道路面となる複数の斜線分を順次検知する道路面検知部と、を含む。
【００１７】
本発明の実施例における道路分離線の検知方法及び装置によれば、Ｖ−視差図を用いて複数の斜線分を順次検知することで、順次隣接した複数の道路面を得るため、より迅速且つ正確な非平坦路面の適合（フィット（fit））を行うことが可能になる。
【００１８】
Ｕ−視差図を用いて道路分離線の検知結果の検証を行うことにより、検知精度を一層向上することができる。
【００１９】
また、本発明の他の実施例において、Ｖ−視差図における縦線の検知及び削除を行うことで、障害物の除去を行い、検知速度及び精度の更なる向上が可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の応用環境の例としての車載システムを示した略図である。
【図２】本発明の１実施例による道路分離線検知方法のフローチャートである。
【図３】車上に双眼カメラを搭載した場合のシステム動作図である。
【図４】双眼カメラで撮影された左図と右図を例示した図である。
【図５】左右画像及び算出により得られた対応の視差図である。
【図６】視差図からＶ−視差図を取得する算出図である。
【図７】視差図からＵ−視差図を取得する算出図である。
【図８】本発明の１実施例による、Ｖ−視差図から非平坦路面に適合する複数の斜線分を検知するフローチャートである。
【図９】車輌の前のシーンを撮像するための各変数の意味を表す図である。
【図１０】検出された第１の斜線及び該斜線に対応する平坦道路領域の略図である。
【図１１】相対水平路面を検出後に、信頼点を見つけ、隣接する傾斜路面領域をさらに取得するプロセスを示す図である。
【図１２】本発明の１実施例による、Ｖ−視差図から検出された斜線分の、視差図における道路分離線関心領域への還元を示す図である。
【図１３】傾斜度による道路分離線のフィルタリング前後の比較図である。
【図１４】本発明の第２実施例による道路分離線検知方法のフローチャートである。
【図１５】視差図における道路分離線のＵ−視差図における投影並びに道路分離線の検証及びフィルタリング結果を示した図である。
【図１６】本発明の第３実施例による道路分離線検知方法のフローチャートである。
【図１７】本発明の１実施例による、Ｖ−視差図からの縦線の検知及び削除のフローチャートである。
【図１８】Ｖ−視差図から検出された縦線及び縦線削除後の結果を示す図である。
【図１９】本発明の１実施例による道路分離線検知装置のブロック図である。
【図２０】本発明の１実施例による道路面検知方法のフローチャートである。
【図２１】本発明の１実施例による道路面検知装置のブロック図である。
【図２２】本発明の実施例における道路領域及び/又は道路分離線の検知システム１０００のハードウェア配置の概念図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら具体的な実施例を述べ、本発明を詳細に説明する。なお、以下の順で説明を行うことにする。
【００２２】
１、本発明の思想の略述及び基本概念の説明
２、第１実施例
２．１、道路分離線検知のプロセス
２．２、視差図、Ｖ−視差図、及びＵ−視差図（選択可能）の取得
２．３、Ｖ−視差図における非平坦路面に適合する複数の斜線分の検知
２．４、視差図における道路分離線関心領域の取得
２．５、道路分離線関心領域中の道路分離線の検知
３、第２実施例
４、第３実施例
５、道路分離線検知装置
６、道路面（道路領域）検知方法
７、道路面（道路領域）検知装置
８、システムのハードウェア配置
９、まとめ
＜１、本発明の思想の略述及び基本概念の説明＞
詳細な説明を行う前に、先ず、当業者の本発明への容易な理解のために、本発明の思想を全体的に説明する。道路分離線を検知するためには、先ず、道路領域を決定する必要がある。Ｖ−視差図による平坦路面の検知は、当業者の常用手段である。具体的に言うと、Ｖ−視差図を、視差図の横向き投影（即ち、側面図）と理解することができる。１区間の平坦路面は、Ｖ−視差図において１個の斜線分として表れることから、本発明者は、非平坦路面を、複数区間の平坦路面からなるものとみなすることができ、Ｖ−視差図で複数区間を傾斜度の異なる斜線分に表せることができると見出した。類推すると、複数区間の平坦路面を用いて非平坦路面に適合することは、数学における複数の直線分による曲線の形成と同様のものとなる。これにより、Ｖ−視差図における複数の斜線分の検知から、非平坦道路領域を得ることができる。道路領域の決定後は、道路領域から道路分離線をさらに検知可能になる。
【００２３】
以下、理解し易くなるように、基本概念について説明する。
【００２４】
視差とは、実際に１基線の両端から同一の遠隔物体までそれぞれ直線を引いた場合に、該２つの直線からなる夾角を指している。通常は、一定距離にある２つの点から同一の目標を観察する場合に発生する方向差を指している。目標から見たときの２つの点間の夾角を、該２つの点の視差角と称し、２点間の距離を基線と称する。視差角と基線の長さが分かれば、目標と観測者間の距離が求められる。
【００２５】
視差図（disparity  map）は、任意の幅の画像を基準とし、サイズが該基準画像のサイズとなり、要素値が視差値となる画像である。視差図は、シーンの距離情報が含まれている。視差図は、双眼カメラで撮像された左画像と右画像から算出されてもよく、或いは、立体図における深度図から算出されてもよい。
【００２６】
通常の２次元視差図における点座標は、（ｕ、ｖ）で表され、ここで、ｕは、横座標、ｖは、縦座標であり、点（ｕ、ｖ）における画素の画素値は、ｄ（ｕ、ｖ）で表され、ｄ（ｕ、ｖ）は、点（ｕ、ｖ）における視差を表している。
【００２７】
理解の便宜を図るために、具体的に言うと、Ｖ−視差図は、視差図の側面図とみなし、Ｕ−視差図は、視差図の俯瞰図とみなすことができる。Ｖ−視差図やＵ−視差図は、視差図から求められる。Ｖ−視差図における任意の１点(d,v)の階調値は、対応視差図の縦座標vの行における視差値dとなる点の数である。Ｕ―視差図における任意の１点(u,d)の階調値は、対応視差図の横座標ｕの列における視差値ｄとなる点の数である。
【００２８】
＜２．実施例＞
＜２．１、道路分離線検知のプロセス＞
図１は、本発明への容易な理解のための、本発明の適用環境例となる車載システムの略図である。本発明のソフトウェアやハードウェアは、道路検知部として実現可能である。
【００２９】
図２は、本発明の１実施例による道路分離線検知方法２０００のフローチャートである。
【００３０】
ステップＳ２１００において、道路領域を含む視差図と、対応のＶ−視差図とを取得する。前述のように、双眼カメラ、多眼カメラ又はステレオカメラで撮像し、道路領域を含む視差図を算出することができ、視差図の変換により、Ｖ−視差図が得られ、或いは、ステレオカメラから深度図を取得し、深度図から視差図が得られ、視差図の変換により視差図の俯瞰図が得られる。視差図と、Ｖ−視差図との取得については、図３〜７を参照して後述する。
【００３１】
ステップＳ２２００において、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知する。詳細については、図８を参照して後述する。
【００３２】
本実施例においては、複数の斜線段を任意に検知するのではなく、視差の降順及びＶ値の降順に従って、複数の斜線分を順次検知する。これは、当業者に公知のように、視差と距離は逆数の関係にあるからである。ここで、距離とは、撮像カメラまでの距離を指している。双眼カメラが車に搭載された場合、視差画像中の車と最も近い距離にある路面は、車の水平面に平行しているものと見なされ、該路面を先に検知してから、逐次遠方への順（視差の降順）に、各路面を順次検知することが望ましい。Ｖ値は、高さを表し、よくある通常の座標系とは異なる。Ｖ−視差図において、Ｖ座標軸は、座標原点から下方へ延伸し、Ｖ値の降順による検知は、通常、路面が最低位置にあることから、低い方から高い方の順に検知を行うことを表している。このような検知順により、迅速且つ正確な路面検知が可能になり、高層ビルの屋上を路面と誤検知する問題を減らすことができる。１斜線分を開始路面としてランダムに選択し、順次展開していくと、該斜線分が道路面ではなく、樹木、高層ビル等の建築物である可能性がある。樹木や高層ビルも１つの斜線分として現れることがあるからである。
【００３３】
ステップＳ２３００においては、視差図から複数の斜線分に対応する複数の道路分離線関心領域を取得する。Ｖ−視差図から、複数の道路面を表す複数の斜線分を取得後は、該複数の斜線分を視差図に還元することができ、これにより、視差図から複数の道路分離線関心領域となる道路領域を取得することができる。詳細については、図１２を参照して後述する。
【００３４】
ステップＳ２４００においては、視差図における各道路分離線関心領域から、道路分離線を検知する。視差図における道路分離線は、斜線分の形式で現れることから、各道路分離線関心領域から斜線分を検出することで、道路分離線の検知を実現することができる。
【００３５】
<２．２、視差図、Ｖ−視差図、及びＵ−視差図（選択可能）の取得>
以下、図３〜７を参照して、本発明の１実施例における道路領域を含む視差図、Ｖ−視差図、及びＵ−視差図（選択可能）を取得する方法について説明する。
【００３６】
以下、双眼カメラによる視差図、Ｖ−視差図、及びＵ−視差図の取得について説明するが、本発明はこれに限られるものではなく、前述のように、多眼カメラ又はステレオカメラ等の特殊カメラで撮像し、道路領域を含む視差図を算出することができ、視差図を変換することで、Ｖ−視差図とＵ−視差図を得るか、立体図から深度図を取得し、該深度図から得られた視差図を変換して、Ｖ−視差図及びＵ−視差図を得てもよい。
【００３７】
＜２．３、Ｖ−視差図における非平坦路面に適合する複数の斜線分の検知＞
以下、Ｖ−視差図における、非平坦路面に適合するための複数の斜線分の検知について説明する。
【００３８】
図８は、本発明の１実施例による、Ｖ−視差図から非平坦路面に適合する複数の斜線分を検知するフローチャートである。
【００３９】
図８に示されたように、ステップＳ２２１０において、視差最大で且つＶ値最大の箇所からスタートし、第１の道路面となる第１の斜線分を検知する。Ｖ−視差図からは、ハフ変換により線を検出し、視差最大で且つＶ値最大の箇所からの第１の斜線分を第１道路面とすることができる。
【００４０】
代替的には、視差最大で且つＶ値最大の点から連続点を検索し、連続点から得られる第１の斜線分を第１道路面としてもよい。
【００４１】
さらに、代替的な手法として、ハフ変換により検出された線のフィルタリングにより斜線分が得られ、得られた斜線分から、通過点が最多となる斜線分と、視差最大となる斜線分と、長さ最長となる斜線分とのうちのいずれかを、第１の道路面となる第１の斜線分としてもよい。
【００４２】
前述のように、視差最大で且つＶ値最大の箇所からスタートして第１の斜線分を検索しているため、車に対して水平な道路面をより迅速且つ正確に検知することができる。以下、該車に対して水平な道路面を相対水平路面と称することもある。
【００４３】
なお、車輌の前のシーンを撮像するための撮像カメラの変数が得られると、下記式により、第１の斜線分を直接得ることができる。
【数１】
2013134780.tif 000003
【００４４】
（式中、hは、左図と右図を撮像した双眼カメラから路面までの高さであり、bは、双眼カメラの左右のカメラの中心点の距離であり、θは、画像平面と路面との夾角であり、fは、双眼カメラの焦点距離であり、Δは、斜線分上の点の視差であり、Vは、斜線分上の点に対応するＶ座標値である。）
【００４５】
図９は、車輌の前のシーンを撮像するための各変数の意味を表す図である。ここで、(XW,YW,ZW)は、世界座標系を表し、(xl,yl,zl)と(xr,yr,zr)は、それぞれ、左図と右図の像面座標系を表し、θは、画像面と路面との夾角である。当業者に公知のように、画像に対して、世界座標系(XW,YW,ZW)から左右のステレオカメラ座標系中の(U,V)への変換を行うとともに、視差を導き出すことができる。このような技術は、本発明の重点ではないため、詳細は割愛するが、文献「“A  complete  U-V-disparity  study  for  stereovision  based  3D  driving  environment  analysis”,  Zhencheng  Hu,Lamosa,  F.,Uchimura,  K.,  Fifth  International  Conference  on  3-D  Digital  Imaging  and  Modeling,  2005,  pp204-211」から詳細な内容を得ることもできる。
【００４６】
図１０は、検出された第１の斜線及び該斜線に対応する平坦道路領域の略図である。
【００４７】
ステップＳ２２２０において、第１の斜線分の所在する水平領域の上方で、且つ視差がより小さくなる隣り合う領域から、第２の道路面となる第２の斜線分を検知する。
【００４８】
例えば、所定数の信頼点を検出してから、線形適合を行うことで第２の斜線分を得ることができる。ここで、信頼点とは、道路上の点の可能性のある点を指している。ここでは、信頼点を、階調値が所定の閾値を超えたもので、任意の１垂直線上に位置せず、且つ視差値が第１の斜線分上の点の視差値未満になるものと定義することができる。
【００４９】
ここで、信頼点の階調値が所定の閾値よりも大きく設定するのは、ノイズ点を除去するためである。前述のように、V-視差図における１点(d,v)の階調値が視差図における対応の行v中の視差dとなる点の個数を表すため、視差図における１行上の各点の視差が近接すべきであることがわかる。即ち、同一の視差の点の数が多いということは、対応のＶ−視差図における点の階調度が大きいことを表している。一方、ノイズ点であれば、通常、ノイズ点は、無規則で数が少ないため、対応のＶ−視差図における点の階調値は小さくなる。
【００５０】
ここで、信頼点が任意の垂直線分に位置しないように設定するのは、Ｖ−視差図における垂直線分は、路面ではなく、木やビル等の可能性があるためである。
【００５１】
ここで、信頼点の視差値が第１の斜線分上の点の視差値未満になるように設定するのは、視差値の降順に従って信頼点の検索を行う必要があり、換言すると、車との距離の昇順に従って路面検知を行う必要があることを表している。
【００５２】
所定数の信頼点を用いて第２の斜線分を適合取得することから、信頼点の数は、少なくとも２となる。
【００５３】
本発明は、信頼点を検出することに基づく線形適合により取得する方法に限らず、隣接した領域内から斜線分を検索可能な方法（例えば、ハフ変換）であれば、いずれの方法も本発明に適用することができる。
【００５４】
ステップＳ２２３０において、第２の斜線分が検出されたか否かを判断し、検出されていない場合は、路面の斜線分の検知処理を終了し、該工程を完了する。
【００５５】
検出された場合は、ステップＳ２２４０に進み、第２の斜線分を第１の斜線分としてから、ステップＳ２２２０に戻り、次の第２の斜線分が検出されなくなるまでに、動作を繰り返す。
【００５６】
図１１は、相対水平路面を検出後に、信頼点を見つけ、隣接した傾斜路面領域をさらに取得する工程図である。ここで、図１１においては、（１）は、相対水平路面をマークしているＶ−視差図を示し、即ち、相対水平路面上で信頼点を検索することを示し、図（２）は、検出された依頼点を示し、図（３）は、例えば、線形回帰に基づく適合により得られた斜線分を示し、図（４）は、各路面がマークされたＶ−視差図を示している。
【００５７】
＜２．４、視差図における道路分離線関心領域の取得＞
Ｖ−視差図から複数の道路面を表す複数の斜線分を取得後は、該複数の斜線分を視差図に還元し、即ち、それに対応する視差図領域を検索する。ここでは、このような領域が道路分離線関心領域と称される。
【００５８】
道路分離線関心領域視差図を取得する一つの方法としては、Ｖ−視差図における各斜線分に対応する新たな道路分離線関心領域視差図を構成する方法がある。具体的な工程は、次の通りである。
【００５９】
Ｖ−視差図から検出された各斜線分に対し、各点の階調値をゼロに初期化した新規視差図(Img1)を生成する。斜線分上の各点（di,vi）に対しては、視差図から検出された行viにおける視差値diとなる点を検索する。これらの点を、（u1’,vi）,(u2’,vi),…と仮定すると、新規に生成された視差図(Img1)における点（u1’,vi）,  (x2’,vi),…に階調値diが設定されることになる。斜線分の全ての点に対しての処理が完了すると、道路分離線関心領域視差図であるImg1が得られる。
【００６０】
代替的に、Ｖ−視差図における各斜線分に対応する道路分離線関心領域視差図を取得する他の方法としては、斜線分の各点（di,vi）に対し、視差図における対応行を検索し、該行における視差図diとならない全ての点の視差をゼロに設定する。
【００６１】
図１２は、本発明の１実施例による、Ｖ−視差図から検出された斜線分の、視差図における道路分離線関心領域への還元を示す図である。ここで、左上の図が、Ｖ−視差図を表し、右上の図が視差図を表し、視差図におけるＶ−視差図と同一の行から同一の視差値の点を検索することで、左下の図の視差図における道路領域が得られ、右下の図が、視差図における相対水平路面となる道路分離線関心領域を表す。
【００６２】
ここで、１視差図から複数の道路分離線関心領域が得られてもよく、各道路分離線関心領域を対象とした単独の視差図が得られてもよい。
【００６３】
ここで、任意の道路分離線関心領域のＶ軸上の長さが所定の閾値を超えた場合は、高さ方向に該道路分離線関心領域を分割して、新規の道路分離線関心領域を取得することが好ましい。この手法は、以下の考えに基づくものである。即ち、１区間の実際の道路において、路面は平坦でも、例えば、左に曲がってから右に曲がる等、路面が曲がりくねっている可能性があるからである。この場合も、このような道路がＶ視差図において、比較的に長い斜線分になる可能性があるが、１斜線分として表れることになる。道路が曲がりくねったものであると、道路分離船も曲がりくねったものとなるため、視差図においてこのような道路分離線は１直線ではなく、曲がりくねった分離線となる。このため、高さ方向に該道路分離線関心領域を分割することで、新規の道路分離線関心領域が得られ、分割のステップ幅が適切である場合、新規の道路分離線関心領域中の道路分離線は、直線となる可能性がある。これにより、各新規道路分離線関心領域中の道路分離線を検知することで、湾曲した道路分離線に適合することができる。分割のステップ幅については、経験により設定してもよく、複数回の訓練・学習から得られてもよい。
【００６４】
＜２．５、道路分離線関心領域中の道路分離線の検知＞
得られた道路分離線関心領域視差図から、ハフ変換により、線を検知することができる。
【００６５】
画像は、車輌前のカメラから撮像されたもので、且つ車輌は路上にあるため、視差図における道路分離線の傾斜度は、所定範囲内にあるべきであり、よって、道路分離線の傾斜度により、道路分離線をフィルタリングすることができる。例えば、検出された道路分離線の傾斜度が所定範囲外の場合は、該道路分離線を除去することができる。
【００６６】
図１３は、傾斜度による道路分離線のフィルタリング前後の比較図である。ここで、左図は、ハフ変換を用いて道路分離線関心領域から検出した線であり、右図は、傾斜度による道路分離線のフィルタリング結果である。これにより、道路分離線の傾斜度に応じた道路分離線のフィルタリングを行うことで、多くのノイズをフィルタリングすることができ、より正確な道路分離線結果が得られることが分かる。
【００６７】
＜３、第２実施例＞
図１４は、本発明の第２実施例による道路分離線検知方法の工程２０００′のフローチャートである。
【００６８】
図１４に示された第２実施例における道路分離線検知工程２０００′と、図２に示された第１実施例における道路分離線検知工程２０００との相違点は、Ｕ−視差図により、検出された道路分離線の検証を行うステップＳ２５００が追加されたことにある。他のステップに関しては、図２における対応ステップ及び説明を参照することができ、ここでは重複の説明は割愛する。
【００６９】
道路分離線は、Ｕ−視差図の性質に基づき、Ｕ−視差図において斜線の形式で表れ、この特徴の詳細の説明は、文献「“A  complete  U-V-disparity  study  for  stereovision  based  3D  driving  environment  analysis”,  Zhencheng  Hu,Lamosa,  F.,Uchimura,  K.,  Fifth  International  Conference  on  3-D  Digital  Imaging  and  Modeling,  2005,  pp204-211」を参照することができる。この性質を用いて、検出後の道路分離線の検証及びフィルタを行うことができる。
【００７０】
このために、先ず、視差図から検出された道路分離線をＵ−視差図に投影する。これは、図７における視差図からＵ−視差図を算出する方法を用いて実施することができる。
【００７１】
具体的な実施方法としては、先ず、Ｕ−視差図における全ての点の階調値をゼロに初期化し、その後、視差図における１道路分離線上の点（ui,vi）に対し、階調値/視差値をdiと仮定すると、Ｕ−視差図における点（ui，di）には、例えば、２５０（値）のように、階調値が非ゼロの値が設定される。このような方法により、Ｕ−視差図における道路分離線に対応する点集合を得ることができる。
【００７２】
１道路分離線のＵ−視差図に投影された点集合を取得後は、該点集合が１斜線上に存在すると、例えば、このような直線がd=au+bであると、該検証対象の道路分離線を道路分離線と判断し、それ以外の場合は、該検証対象の道路分離線を除去する。
【００７３】
図１５は、視差図における道路分離線のＵ−視差図における投影、及び道路分離線の検証及びフィルタリング結果を示した図である。ここで、左上の図が、視差図及び該視差図から検出された道路分離線を表し、左下の図が、視差図における道路分離線のＵ−視差図における投影結果であり、右の図が、検証及びフィルタリング後のＵ−視差図における道路分離線を示している。
【００７４】
Ｕ−視差図における道路分離線は、斜線となる性質を用いて、検出後の道路分離線をさらにフィルタリング及び検証することで、検出の精度をより一層向上することができる。
【００７５】
＜４、第３実施例＞
図１６は、本発明の第３実施例による道路分離線検知方法のフローチャートである。
【００７６】
図１６に示された第３実施例における道路分離線検知工程２０００′′と、図２に示された第１実施例における道路分離線検知工程２０００との相違点は、Ｖ−視差図から複数の斜線分の検知前に、Ｖ−視差図から、長さが所定の閾値を超えた垂直な縦線を削除するステップＳ２１１０が追加されたことにある。他のステップに関しては、図２における対応ステップ及び説明を参照することができ、ここでは重複の説明は割愛する。
【００７７】
前述のように、Ｖ−視差図は、視差図の側面図と見なすことができるため、視差図における立ち状態の車、人、木等の障害物は、Ｖ−視差図において縦線の形式で表れるから、Ｖ−視差図における縦線を検知するとともに、該縦線を削除して障害物等のノイズを除去することで、以降の道路分離線のより迅速且つ正確な検知が可能になる。
【００７８】
図１７は、本発明の１実施例による、Ｖ−視差図からの縦線の検知及び削除のフローチャートである。
【００７９】
図１７に示されたように、Ｖ−視差図が入力され、ステップＳ２１１１において、第１の列から開始するように、列＝０と設定される。
【００８０】
ステップＳ２１１２において、該列から連続点を検出し、縦線を取得する。
【００８１】
ステップＳ２１１３において、縦線の長さが所定の閾値を超えた場合は、「ＹＥＳ」となり、ステップＳ２１１４に進み、「ＮＯ」の場合は、Ｓ２１１６に進む。
【００８２】
ステップＳ２１１４において、Ｖ−視差図から検出された縦線を削除し、ステップＳ２１１５に進む。
【００８３】
ステップＳ２１１５において、最後の列であるか否かを判断し、「ＹＥＳ」であると、工程を終了し、「ＮＯ」であると、ステップＳ２１１６に進む。
【００８４】
ステップＳ２１１６において、次の列に進んでから、ステップＳ２１１２に戻り、新規列からの縦線の検知及び削除を行う。
【００８５】
図１８は、Ｖ−視差図から検出された縦線及び縦線削除後の結果を示す図である。ここで、最左側の図が元Ｖ−視差図であり、中間の図が検出された縦線であり、最右の図が、該縦線を削除後の結果を示した図である。
【００８６】
＜５、道路分離線検知装置＞
図１９は、本発明の１実施例における道路分離線検知装置１９００のブロック図である。
【００８７】
図１９に示されたように、道路分離線検知装置１９００は、道路領域を含む視差図と、対応のＶ−視差図とを取得する視差図・Ｖ−視差図取得部１９１０と、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知する道路面検知部１９２０と、該複数の斜線分に対応する複数の道路分離線関心領域視差図を取得する道路分離線関心領域視差図取得部１９３０と、道路分離線関心領域視差図から道路分離線を検知する道路分離線検知部１９４０と、を有している。道路分離線検知装置１９００の各部の動作については、図２におけるフローチャート及び説明を参照することができ、ここでは、重複の説明は割愛する。
【００８８】
＜６、道路面検知方法＞
図２０は、本発明の１実施例による道路面検知方法のフローチャートである。
【００８９】
図２０に示されたように、ステップＳ３１０において、道路領域を含むＶ―視差図を取得する。該ステップの処理は、必ずしも道路領域を含む視差図を取得する必要がないこと以外は、図２におけるステップＳ２１００の処理と同様である。ここでも、同様に、先ず、左右画像から視差図を算出し、次に、視差図からＶ−視差図を算出することができるが、左右画像から直接Ｖ−視差図を算出することができる。或いは、立体図から深度図を取得し、該深度図から得られた視差図を変換して、Ｖ−視差図を得てもよい。或いは、立体図から深度図を取得し、次に、該深度図から直接Ｖ−視差図を算出してもよい。
【００９０】
ステップＳ３２０において、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知する。該ステップの処理は、図２におけるステップＳ２２００の処理と同様であるため、ここでは、重複の説明は割愛する。
【００９１】
Ｖ−視差図からの道路面領域の取得後は、このような道路面領域が、以降の動作のもととなってもよい。図２においては、視差図における対応の道路分離線関心領域からの道路分離線の検知を示しているが、これは、単なる応用例に過ぎず、対応のＵ−視差図中の対応の道路面領域からの道路分離線の直接検知でもよいことが推察できる。また、以降の処理は、道路分離線の検知に限らず、車輌の検知、フェンスの検知、路肩石の検知等でもよい。
【００９２】
＜７、システムのハードウェア配置＞
図２１は、本発明の１実施例による道路面検知装置４００のブロック図である。
【００９３】
道路面検知装置４００は、道路領域を含むＶ−視差図を取得するＶ−視差図取得部４１０と、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知する道路面検知部４２０とを有する。
【００９４】
道路面検知装置４００により得られた道路面領域は、以降の処理のもととなってもよい。図２においては、視差図における対応道路分離線関心領域からの道路分離線の検知を示しているが、これは、単なる応用例に過ぎず、対応のＵ−視差図中の対応の道路面領域からの道路分離線の直接検知でもよいことが推察できる。また、以降の処理は、道路分離線の検知に限らず、フェンスの検知、路肩石の検知、通行人の検知、又は車輌の検知等でもよい。
【００９５】
本実施例の道路面検知装置によると、非平坦路面の正確な検知が可能になる。
【００９６】
＜８、システムのハードウェア配置＞
本発明は、さらに、道路領域検知及び/又は道路分離線検知システムとして実施されてもよい。図２２は、本発明の実施例による、道路領域検知及び/又は道路分離線検知システム１０００のハードウェア配置の概念図である。
【００９７】
図２２に示されたように、道路領域検知及び/又は道路分離線検知システム１０００は、入力装置１１００と、処理装置１２００と、出力装置１３００と、記憶装置１４００と、を有する。
【００９８】
入力装置１１００は、外部から、処理対象となる、例えば、双眼カメラで撮像された左右画像や、ステレオカメラで撮像されたステレオビデオ等の画像を入力するための、例えば、キーボード、マウス、通信ネットワーク、及びこれに接続された遠隔入力装置等のようなものである。
【００９９】
処理装置１２００は、前述の本発明の実施例による道路領域検知及び/又は道路分離線検知方法や、道路領域検知及び/又は道路分離線検知装置を実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ（chip）等であり、インターネットのようなネットワーク（図示せず）に接続可能であり、処理工程の需要に応じたネットワークからの左右画像等のデータ取得等が可能なものである。
【０１００】
出力装置１３００は、外部へ前述の道路領域検知及び/又は道路分離線検知の実施工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク又はそれに接続された遠隔出力装置等のようなものである。
【０１０１】
記憶装置１４００は、揮発或いは不揮発形式にて、前記道路領域検知及び/又は道路分離線検知工程における画像、得られた結果、コマンド、及び中間データ等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、又は半導体メモリ等の各種揮発又は不揮発性メモリのようなものである。
【０１０２】
＜９．まとめ＞
以上、道路領域を含む視差図と、対応のＶ−視差図とを取得し、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知し、該複数の斜線分に対応する複数の道路分離線関心領域視差図を取得し、及び、道路分離線関心領域視差図から道路分離線を検知する道路分離線の検知方法及び装置を説明した。
【０１０３】
前記道路分離線検知方法及び装置においては、Ｖ−視差図を用いて、視差の降順及びＶ値の降順に従って、複数個の斜線分を順次検知することで、順次隣接した複数の道路面を得るため、より迅速且つ正確な非平坦路面の適合を行うことが可能になる。
【０１０４】
なお、本発明の他の実施例においては、Ｕ−視差図による道路分離線の検知結果の検証を行うことで、検知精度を一層向上することができる。
【０１０５】
なお、本発明のさらに他の実施例においては、Ｖ−視差図における縦線の検知及び削除を行うことで、障害物の除去を行い、検知速度及び精度の更なる向上が可能になる。
【０１０６】
以上では、さらに、道路領域を含む視差図と、対応のＶ−視差図とを取得し、Ｖ−視差図から、視差の降順及びＶ値の降順に従って、順次隣接した複数の道路面となる複数の斜線分を順次検知する道路面（道路領域）の検知方法及び装置を説明した。
【０１０７】
前記道路面検知方法及び装置によると、非平坦路面の迅速且つ正確な検知が可能になる。
【０１０８】
前述においては、視差図からのＶ−視差図及び/又はＵ−視差図の取得について述べたが、Ｖ−視差図及び/又はＵ−視差図についても、双眼カメラ、多眼カメラ、又はステレオカメラのような特殊カメラで撮像した左右画像から直接算出するか、或いは、立体図における深度図から直接算出されてもよい。
【０１０９】
前述の実施例においては、Ｖ−視差図からの道路面検出後に、視差図からの道路分離線の検知を行っているが、Ｕ−視差図から道路分離線を直接検出するか、視差図とＵ−視差図との両方から道路分離線を検知するとともに、両方の検知結果を統合して、最終検知結果を得てもよい。また、このような道路面情報により、視差画像ではない通常の画像からの画像識別方法を用いた道路分離線の検知を行ってもよい。
【０１１０】
なお、前述の実施例においては、検知のターゲットが道路分離線であるが、本発明はこれに限らず、検知された道路面領域から、例えば、路肩石、フェンス等のような道路分割用物体のみならず、道路上の通行人や車両等も検知することが可能になる。
【０１１１】
また、前述の実施例においては、ハフ変換による線の検知を行っているが、本発明は、これに限らず、例えば、線形適合方法のような、点により線を検知する方法であれば、いずれの方法も本発明に用いることができる。
【０１１２】
なお、前述の実施例においては、前方方向に車を運転し、双眼カメラで車輌の前のシーンを撮像した場合を意図しているが、本発明は、車をバックし、双眼カメラで後のシーンを撮像する場合にも同様に適用することができる。ただし、この場合は、車後方の路面検知となる。
【０１１３】
以上、具体的な実施例により、本発明の基本原理を説明したが、当業者が本発明の方法及び装置の全て又は任意のステップや各部を理解したうえ、任意の演算装置（プロセッサ及び記録媒体等を含む）や、演算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェア又はこれらの組合せで実現することが可能であり、また、当業者が、本発明の説明のもとで、基本プログラミング技能を用いて実現可能になることは、言うまでもない。
【０１１４】
このため、本発明の目的は、さらに、任意の演算装置上で１つのプログラムや１セット（複数）のプログラムを実行して実現できる。前記演算装置は、公知の汎用装置でよい。このため、本発明の目的は、単に前記方法や装置を実現するプログラムコードを含むプログラム製品を提供することでも実現することができる。換言すると、このようなプログラム製品によっても本発明を構成することができ、このようなプログラム製品を記憶した記憶媒体も本発明を構成することができる。もちろん、前記記録媒体は、任意の公知の記録媒体や将来開発し得る任意の記録媒体でもよい。
【０１１５】
ここで、本発明の装置及び方法において、各部や各ステップは、分解及び/或いは再組み合わせが可能であることは言うまでもない。このような分解及び/又は再組み合わせも、本発明と同等のものと見なされるべきである。なお、前記一連処理の実行ステップは、上述の説明順且つ時間順で行ってもよいが、必ずしも一定の時間順で行われる必要はなく、あるステップは、並行に或いは独立に行われてもよい。例えば、前述では、Ｖ−視差図における道路面となる斜線分を全て検出してから、斜線分に対応する道路分離線関心領域の道路分離線を検出しているが、１斜線分を検出してから、直ちに該斜線分に対応する道路分離線関心領域を取得し、該道路分離線関心領域における道路分離線を検知し、その後、次の隣接した斜線分を検知してもよく、或いは、次の隣接した斜線分の検知、当該斜線分に対応する道路分離線関心領域の取得、及び道路分離線の検知を平行に行ってもよい。
【０１１６】
本発明は、前述の具体的な実施例で保護範囲が制限されるものではなく、当業者は、設計要求や他のニーズに応じて、多種多様な補正、組み合わせ、サブ組み合わせ、又は代替が可能であることが理解できる。本発明の精神と原則を逸脱しない範囲内のいずれの補正、同等代替、改善等は、すべて本発明の保護範囲内のものとなる。
【図１】
2013134780.tif 000005
【図２】
2013134780.tif 000006
【図８】
2013134780.tif 000007
【図９】
2013134780.tif 000008
【図１４】
2013134780.tif 000009
【図１６】
2013134780.tif 000010
【図１７】
2013134780.tif 000011
【図１９】
2013134780.tif 000012
【図２０】
2013134780.tif 000013
【図２１】
2013134780.tif 000014
【図２２】
2013134780.tif 000015
【図３】
2013134780.tif 000016
【図４】
2013134780.tif 000017
【図５】
2013134780.tif 000018
【図６】
2013134780.tif 000019
【図７】
2013134780.tif 000020
【図１０】
2013134780.tif 000021
【図１１】
2013134780.tif 000022
【図１２】
2013134780.tif 000023
【図１３】
2013134780.tif 000024
【図１５】
2013134780.tif 000025
【図１８】
2013134780.tif 000026