(57)【要約】【課題】  白線と道路鋲などの種類の異なる車線に対応できる車線認識装置を低コストで実現する。【解決手段】  車線候補領域抽出部６は、車両より撮影した道路画像から車線候補となる車線候補領域を抽出する。２次元３次元変換部７は、車線候補領域に含まれる画素に対して、２次元の画像座標を３次元の座標に変換する。ヒストグラム作成部８は、３次元座標を、道路横断方向での座標系に投影して、道路横断方向のヒストグラムを作成する。車線判定部１６は、このヒストグラムの値に基づいて車線を決定する。【選択図】        図１
2005251106.tif 000002
【特許請求の範囲】
【請求項１】
車両より撮影した道路画像から車線候補となる車線候補領域を抽出する車線候補領域抽出部と、
前記車線候補領域に含まれる画素に対して、２次元の画像座標を３次元座標に変換する２次元３次元変換部と、
前記３次元座標を、道路横断方向での座標系に投影し、当該道路横断方向のヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムの値に基づいて車線を決定する車線判定部とを備えた車線認識装置。
【請求項２】
車線判定部は、
道路横断方向のヒストグラムに対する極大値となる位置を求める極大値位置抽出部と、
前記極大値位置に対応し、かつ、道路と平行に延びる直線を画像座標に変換して得られる車線候補線分と、画像における道路横断方向のライン毎の車線候補領域との交差の有無に基づいて、交差のある車線候補領域を車線情報として抽出する車線情報抽出部とを備えたことを特徴とする請求項１記載の車線認識装置。
【請求項３】
車線情報抽出部は、車線候補線分に対応する、ヒストグラムの度数値、交差する車線候補領域に基づく車線幅、車線位置、車線の傾き、２本の車線候補をペアとした場合の車線間距離および車線間の中心位置のうち、少なくとも一つ以上の情報を車線情報として抽出することを特徴とする請求項２記載の車線認識装置。
【請求項４】
車線判定部は、車線情報抽出部で得られる車線情報に関して、前回の車線認識処理で得られた車線に対する情報との一致度または予め設定したモデル値との一致度を算出すると共に、所定の重み付けを行って車線の信頼度を算出する信頼度算出部を含むことを特徴とする請求項３記載の車線認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自車の走行する車線を認識する車線認識装置に関するものである。
【背景技術】
【０００２】
従来の車線認識装置では、例えば特許文献１に示されるように、道路の白線を求める際に、ハフ変換を使用していた。また、従来では、このようなハフ変換を用いる方法以外に、例えば特許文献２に示されるように、通常の白線と道路鋲などの種類の異なる車線に対応するために、それぞれ別の処理方式を用意した車線認識装置があった。
【０００３】
【特許文献１】特開平１１−８５９９９号公報
【特許文献２】特開２００３−１２３０５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の車線認識装置のうち、ハフ変換を用いるものでは、処理の負荷が重いため高性能の処理装置が必要となる。従って、装置のコストが高くなるという問題があった。
【０００５】
また、白線と道路鋲のそれぞれに対して別の処理方式を用意したものでは、メモリ等のリソースが多く必要となり、このような方法の場合も車載用の装置としては望ましいものではなかった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、高性能の処理装置や多くのリソースを必要とすることなく、白線と道路鋲などの種類の異なる車線に対応できる車線認識装置を実現することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る車線認識装置は、車両より撮影した道路画像から車線候補となる車線候補領域を車線候補領域抽出部によって抽出し、この車線候補領域に含まれる画素に対して、２次元３次元変換部で２次元の画像座標を３次元の座標に変換すると共に、３次元座標を、ヒストグラム作成部によって道路横断方向での座標系に投影して、道路横断方向のヒストグラムを作成し、このヒストグラムの値に基づいて車線判定部で車線を決定するようにしたものである。
【発明の効果】
【０００８】
この発明の車線認識装置は、車線候補領域に含まれる画素を３次元の座標に変換して、道路横断方向での座標系に投影したヒストグラムを作成し、このヒストグラムの値に基づいて車線を決定するようにしたので、高性能の処理装置や多くのリソースを必要とすることなく、白線と道路鋲などの種類の異なる車線が混在する道路であっても車線認識を行うことができる装置が得られる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による車線認識装置を示す構成図である。
図２は、この発明の実施の形態１による車線認識装置の取り付け状態を示す説明図である。
【００１０】
これらの図において、車線認識装置１００は、撮像部１、撮像制御部２、フレームメモリ３、撮像パラメータ設定部４、処理領域設定部５、車線候補領域抽出部６、２次元３次元変換部７、ヒストグラム作成部８、極大値位置抽出部９、３次元２次元変換部１０、交差領域抽出部１１、車線位置算出部１２、信頼度算出部１３、車線決定部１４からなる。また、３次元２次元変換部１０〜車線位置算出部１２で車線情報抽出部１５が、極大値位置抽出部９〜車線決定部１４で車線判定部１６が構成されている。
【００１１】
また、本実施の形態の車線認識装置１００は、図２に示すように車両のフロントウインドウ内側の例えばルームミラーに一体となるよう取り付けられ、撮像部１によってフロントウインドウを通して自車の前方の路面を撮影するようになっている。
【００１２】
図１において、撮像部１は、例えばＣＣＤカメラ等からなる撮像部で、撮像制御部２からの制御に従って所定のフレーム間隔で自車の前方を撮影するものである。撮像制御部２は、撮像部１およびフレームメモリ３の制御を行うための制御部である。フレームメモリ３は、撮像部１の映像信号に基づくデジタルデータを１フレーム分蓄積するためのメモリである。
【００１３】
撮像パラメータ設定部４は、手入力または自動で与えられる撮像部１のカメラのカメラパラメータを設定する機能部である。即ち、カメラパラメータのうち、カメラ素子サイズ、画面サイズ、レンズ焦点距離、設置位置（高さ、横位置、奥行は０とする）は、カメラ設置時に確定しているため、これらの値は２次元３次元変換部７および３次元２次元変換部１０に予め設定されるようになっている。また、路面との俯角（俯角以外の傾きは０とする）は、基本的には、設置時に決まるが、走行時において路面の勾配が変わる場合にはそれに応じて更新する必要があるため、更新する値は、装置が決定した複数の車線の交点である消失点を求めることにより算出されるようになっている。即ち、撮像パラメータ設定部４は、走行時においては俯角の値を自動的に更新するよう構成されている。
【００１４】
処理領域設定部５は、車線認識の実施範囲となる処理領域を２次元画像上に設定する機能部であり、自車の前方の所定の範囲を処理領域として設定するための機能部である。
【００１５】
車線候補領域抽出部６は、フレームメモリ３で蓄積されている画像に対して処理領域設定部５で設定されている処理領域中から車線候補となる領域を抽出する機能部である。２次元３次元変換部７は、撮像パラメータ設定部４で設定されたカメラパラメータに基づいて車線候補領域抽出部６で抽出された２次元画像の車線候補領域を３次元に変換する機能部である。ヒストグラム作成部８は、２次元３次元変換部７で３次元変換されたデータに対して、道路横断方向の座標値に関するヒストグラムを作成する機能部である。
【００１６】
極大値位置抽出部９は、ヒストグラム作成部８で作成されたヒストグラムから極大値の位置を抽出する機能部である。３次元２次元変換部１０は、極大値位置抽出部９で求められた極大値位置に対する画面上での座標を求めるための３次元２次元変換を行う機能部である。交差領域抽出部１１は、各極大値位置に対する画面上の２地点を結んだ直線と交差する車線候補領域を道路横断方向のライン毎に求め、これを車線候補となる線分の構成要素として抽出する機能部である。
【００１７】
車線位置算出部１２は、交差領域抽出部１１で求めた交差領域に基づいて車線情報として、車線幅を求めると共に、車線の位置と傾きを求める機能部である。信頼度算出部１３は、車線位置算出部１２で求められた車線情報に基づき、前回の車線認識処理で得られた車線に対する情報との一致度または予め設定したモデル値との一致度を算出すると共に、所定の重み付けを行って車線の信頼度を算出する機能部である。車線決定部１４は、所定のしきい値以上でかつ最も信頼度の高い車線候補線分ペアを自車線として決定する機能部である。
【００１８】
このような極大値位置抽出部９〜車線決定部１４の構成により、車線判定部１６として、ヒストグラム作成部８で作成されたヒストグラムの値に基づいて車線を決定する機能を実現している。
【００１９】
また、３次元２次元変換部１０〜車線位置算出部１２の構成により、車線情報抽出部１５として、極大値位置抽出部９で求められた極大値位置に対応し、かつ、道路と平行に延びる直線を画像座標に変換して得られる車線候補線分と、画像における道路横断方向のライン毎の車線候補領域との交差の有無に基づいて、交差のある車線候補領域を車線情報として抽出すると共に、交差する車線候補領域に基づく車線幅、車線位置、車線の傾きのうち、少なくとも一つ以上の情報を車線情報として抽出する機能を実現している。
【００２０】
尚、上記の車線候補領域抽出部６〜車線決定部１４の構成はコンピュータで実現され、各機能部は、それぞれの機能に対応したソフトウェアと、これを実行するためのＣＰＵやメモリ等のハードウェアから構成されている。あるいは、各機能部はそれぞれ専用のハードウェアで構成されている。
【００２１】
次に、このように構成された車線認識装置の動作について説明する。
図３は、本実施の形態の車線認識装置の動作を示すフローチャートである。
先ず、撮像パラメータ設定部４により、２次元３次元変換部７および３次元２次元変換部１０に対してカメラパラメータの設定を行う（ステップＳＴ１）。このカメラパラメータの設定としては、上述したように、撮像部１のカメラ素子サイズや画面サイズ、レンズ焦点距離、設置位置（高さ。横位置、奥行きは０とする）は、カメラ設置時に確定しているので、これらの値は予め設定される。また、走行時において、路面の勾配が変わる場合にはそれに応じて撮像パラメータ設定部４により更新されるが、この路面との俯角の更新処理はフローチャート中では省略している。
【００２２】
また、処理領域設定部５によって車線認識の処理範囲を設定する（ステップＳＴ２）。この処理領域とは、撮像部１で撮影された２次元画像中の車線認識を行う範囲を設定するもので、後述する図５に示すように、撮像部１で得られる画像中の所定範囲となっている。
【００２３】
このようなカメラパラメータや処理領域が設定されている状態で、実際の車線認識処理が開始される。先ず、撮像部１によって自車の前方の路面を撮影した画像信号がフレームメモリ３に入力される（ステップＳＴ３）。
【００２４】
図４は、撮像部１で撮影された画像の一例を示す説明図である。
図示のように、本実施の形態では、自車の走行車線である白線２０ａや道路鋲２０ｂが混在する画面であっても以下に示すような同様の処理で車線認識を行う。このような画像が例えば１／３０秒間隔でフレームメモリ３から取り出され、車線認識処理が行われる。
【００２５】
次に、車線候補領域抽出部６は、フレームメモリ３から取り出された画像中における処理領域設定部５で設定されている処理領域から車線候補となる領域を抽出する（ステップＳＴ４）。即ち、車線候補となる領域としては、基本的に車線が路面上で、輝度のコントラストが高く、道路横断方向での幅が所定値以下であるという条件を満たすものを抽出する。具体的な抽出方法は、例えば、三菱電機技報、Vol.74、No.9 、pp.43-pp.46、2000年で掲載されているTHP(Top Hat Filter）などを利用する。
【００２６】
図５は、車線候補領域抽出の説明図である。
図中、黒色の部分が車線候補として抽出された部分であり、これらの部分は、図４の画像に対応したものである。また、矩形枠４１内が処理領域設定部５によって設定されている処理領域である。このような車線候補領域では、白線４０ａや道路鋲４０ｂの他、路面上のノイズ４０ｃも同時に抽出される。２次元３次元変換部７は、撮像パラメータ設定部４で設定されているパラメータに基づいて、これらの車線候補領域の全ての画素に対して２次元３次元変換を行い、３次元の道路座標を求める（ステップＳＴ５、ステップＳＴ６）。
【００２７】
図６は、３次元の道路座標の説明図である。
今、道路の横断方向をｘ方向、高さ方向をｙ方向、道路と平行な方向をｚ方向で表した場合、白線４０ａや道路鋲４０ｂの各画素の３次元座標は図示のようにｚ方向に平行な線分となる。尚、白線４０ａや道路鋲４０ｂおよびノイズ４０ｃは、道路面（ｙ＝０）であると仮定する。
【００２８】
このような３次元画像に対して、ヒストグラム作成部８は、各画素を道路横断方向での座標系に投影し、横断方向のヒストグラムを作成する（ステップＳＴ７）。次に、極大値位置抽出部９は、ヒストグラム作成部８によって作成されたヒストグラムから極大値である道路横断位置を全て抽出する（ステップＳＴ８、ステップＳＴ９）。
【００２９】
図７は、極大値の求め方の説明図である。
横軸を道路横断方向位置、縦軸を度数とするヒストグラムに対して、所定のしきい値を設定し、左（もしくは右）から順にヒストグラムをアクセスし、度数がしきい値を越えた位置から、再度しきい値以下になる位置までの範囲で、最も度数の大きい位置を極大値位置５０として抽出する。これを順に繰り返すことで、複数の極大値位置５０が求められる。
【００３０】
次に、求められた各極大値位置に対する２次元画面上での座標を、道路上奥行き方向の適当な２地点の座標（例えば、自車位置および自車位置から前方２０ｍ）を仮定して、３次元２次元変換部１０により求める（ステップＳＴ１０）。次に、交差領域抽出部１１は、各極大値位置に対する画面上の２地点を結んだ直線と交差する車線候補領域４０ａ，４０ｂ，４０ｃを道路横断方向の各ライン（フレームメモリ３上の走査ライン）毎に求めることで、車線候補となる線分の構成要素を抽出する（ステップＳＴ１１）。
【００３１】
図８は、交差領域抽出部１１の抽出結果の例を示す説明図である。
図中、車線候補線分６０は、上記の各極大値位置に対する画面上の２地点を結んだ直線である。そして、交差領域６１は、走査ライン毎の車線候補線分６０と交差する車線候補領域を示している。このように、ある直線と交差する車線候補領域のみを求めることで、それ以外の領域６２を車線候補線分６０の要素から除外することができる。
【００３２】
車線位置算出部１２は、各極大値に対する車線候補線分６０のそれぞれの交差領域６１の左右の端の座標の３次元座標を求め、その差の絶対値の平均を求めることで車線幅を求める（ステップＳＴ１２）。即ち、この車線幅は、白線や道路鋲といった１本の車線に対する幅方向の値である。
【００３３】
また、車線位置算出部１２は、極大値に対する車線候補線分６０のそれぞれの交差領域６１の中心位置の３次元座標を求め、得られる点列に対する近似直線を求めることで、候補となる車線の位置と傾きを決定する（ステップＳＴ１３、ステップＳＴ１４）。近似直線を求めるにあたっては、最小自乗法などを用いる。
【００３４】
更に、車線位置算出部１２は、ステップＳＴ１３で求めた車線の位置と、前回の車線認識処理にて求められている車線の位置との位置ずれ量を算出する（ステップＳＴ１５）。このようなステップＳＴ１０〜ステップＳＴ１５の処理を全ての車線候補線分に対して実施する（ステップＳＴ１６）。
【００３５】
次に、信頼度算出部１３は、車線位置算出部１２で求めた車線候補（近似直線）のうち、任意の２本を選択し（ステップＳＴ１７）、これらの距離である車線間距離を算出する（ステップＳＴ１８）。また、信頼度算出部１３は、前回の車線認識処理にて求められている車線位置との一致度の算出を、ステップＳＴ１５で求めた車線位置ずれ量に基づいて行う（ステップＳＴ１９）。更に、信頼度算出部１３は、予め設定されている車線モデルとの一致度を算出する（ステップＳＴ２０）。
【００３６】
車線モデルとの一致度の算出は、例えば、予め関数を用意しておき、この関数に対する出力値として行う。
図９は、車線幅に対する関数を示す説明図である。
図示の関数の例では、車線幅が、５ｃｍ未満や２５ｃｍより大きい場合は０．０、１０ｃｍから２０ｃｍの場合は１．０、その他の場合は関数値の値、例えば、８ｃｍの場合は、０．６の値が出力される。このような一致度の算出は、車線幅だけでなく、車線間距離に対しても同様に行う。
【００３７】
信頼度算出部１３は、以上のような任意の２本の車線候補に対する一致度の算出を行うと、これらの一致度に所定の重みを付けて加算する（ステップＳＴ２１）。ここで、加算する要素としては、上述した各車線モデルとの一致度や車線の傾きといった値である。
【００３８】
また、このステップにおける重み付けとは、例えば、前回車線との一致度を重視する場合は、この要素への重み付け値を大きくするといった処理であり、これは、車線認識装置の使用条件等に応じて予め設定されるものである。
【００３９】
次に、信頼度算出部１３は、ステップＳＴ２１で求めた加算値に基づいて、車線候補の信頼度を算出する（ステップＳＴ２２）。そして、信頼度算出部１３は、このようなステップＳＴ１７〜ステップＳＴ２２の処理を、全てのペアに対して実施する（ステップＳＴ２３）。
【００４０】
最後に、車線決定部１４は、信頼度の値が、所定のしきい値以上でかつ最も信頼度の高い車線候補のペアを自車線と決定する（ステップＳＴ２４）。１フレーム分の画像に対するこのような車線認識処理が終了すると、ステップＳＴ３に戻って、次のフレームに対する車線認識処理を行い、上述した処理が繰り返される。
【００４１】
尚、上記実施の形態において、車線位置算出部１２は、車線幅や車線位置および車線の傾きを算出するだけでなく、ヒストグラムにおける極大値の度数値や２本の車線候補をペアとした場合の車線間距離や車線間の中心位置を算出し、信頼度算出部１３は、これらの値も要素として信頼度を算出するよう構成してもよい。即ち、ヒストグラムにおいて車線位置の度数値はノイズ等に比べて高い値を示すことから、このような度数値を要素とすることができる。また、車線間の中心位置も同一車線上を走行している場合は、前回の中心位置と大きく異なることはないため、これも要素とすることができる。
【００４２】
また、上記実施の形態において、図２に示したように、車線認識装置１００として撮像部１やフレームメモリ３〜車線決定部１４といった画像処理部を一体の装置としたが、撮像部１と画像処理部とを別体の装置として設置するようにしてもよい。
【００４３】
また、上記実施の形態において、認識対象となる車線として白線や道路鋲の例を説明したが、これに限定されるものではなく、例えば、黄線等であっても同様に認識が可能である。また、撮像部１で得られる画像中に車線が含まれている状態であれば、例えば夜間であっても同様に車線認識を行うことができる。
【００４４】
以上のように、実施の形態１によれば、車両より撮影した道路画像から車線候補となる車線候補領域を抽出する車線候補領域抽出部と、車線候補領域に含まれる画素に対して、２次元の画像座標を３次元座標に変換する２次元３次元変換部と、３次元座標を、道路横断方向での座標系に投影し、道路横断方向のヒストグラムを作成するヒストグラム作成部と、ヒストグラムの値に基づいて車線を決定する車線判定部とを備えたので、高性能の処理装置や多くのリソースを必要とすることなく、白線と道路鋲などの種類の異なる車線が混在する道路であっても車線認識を行うことができる装置を低コストで得ることができる。
【００４５】
また、実施の形態１によれば、車線判定部は、道路横断方向のヒストグラムに対する極大値となる位置を求める極大値位置抽出部と、極大値位置に対応し、かつ、道路と平行に延びる直線を画像座標に変換して得られる車線候補線分と、画像における道路横断方向のライン毎の車線候補領域との交差の有無に基づいて、交差のある車線候補領域を車線情報として抽出する車線情報抽出部とを備えたので、画像中の全ての車線候補領域に対して認識処理を行う必要がないため、計算量が少なくて済み、処理の簡素化に寄与することができる。
【００４６】
また、実施の形態１によれば、車線情報抽出部は、車線候補線分に対応する、ヒストグラムの度数値、交差する車線候補領域に基づく車線幅、車線位置、車線の傾き、２本の車線候補をペアとした場合の車線間距離および車線間の中心位置のうち、少なくとも一つ以上の情報を車線情報として抽出するようにしたので、車線認識の性能向上を図ることができると共に、計算量が少なくて済み、更に処理の簡素化に寄与することができる。
【００４７】
また、実施の形態１によれば、車線判定部は、車線情報抽出部で得られる車線情報に関して、前回の車線認識処理で得られた車線に対する情報との一致度または予め設定したモデル値との一致度を算出すると共に、所定の重み付けを行って車線の信頼度を算出する信頼度算出部を含むようにしたので、更に車線認識の精度を向上させることができる。
【図面の簡単な説明】
【００４８】
【図１】この発明の実施の形態１による車線認識装置を示す構成図である。
【図２】この発明の実施の形態１による車線認識装置の取り付け状態を示す説明図である。
【図３】この発明の実施の形態１による車線認識装置の動作を示すフローチャートである。
【図４】この発明の実施の形態１による車線認識装置の撮像部で撮影された画像の一例を示す説明図である。
【図５】この発明の実施の形態１による車線認識装置の車線候補領域抽出の説明図である。
【図６】この発明の実施の形態１による車線認識装置の３次元の道路座標の説明図である。
【図７】この発明の実施の形態１による車線認識装置の極大値の求め方の説明図である。
【図８】この発明の実施の形態１による車線認識装置の交差領域抽出部の抽出結果の例を示す説明図である。
【図９】この発明の実施の形態１による車線認識装置の車線幅に対する関数を示す説明図である。
【符号の説明】
【００４９】
６  車線候補領域抽出部、７  ２次元３次元変換部、８  ヒストグラム作成部、１３  信頼度算出部、１５  車線情報抽出部、１６  車線判定部。
【図１】
2005251106.tif 000003
【図２】
2005251106.tif 000004
【図３】
2005251106.tif 000005
【図４】
2005251106.tif 000006
【図５】
2005251106.tif 000007
【図６】
2005251106.tif 000008
【図７】
2005251106.tif 000009
【図８】
2005251106.tif 000010
【図９】
2005251106.tif 000011