(57)【要約】【課題】  走行路上の白線の有無にかかわらず、走行路の境界を検出することができる走行路境界検出装置及び走行路境界検出方法を提供する。【解決手段】  車両が走行する走行路の画像を取得する画像取得手段１０１と、取得された走行路の画像を示す画像信号中のノイズを除去する前処理手段１０２と、ノイズ除去後走行路画像中の位置による濃淡差を示す勾配情報を算出する勾配算出手段１０３と、過去のある時点に取得された走行路の画像に基づいて算出された、走行路の境界を示す過去走行路境界点列を外部から取得する過去走行路境界点列取得手段１０４と、取得された過去走行路境界点列を含む所定の領域に２次元的に検索点を配置し、その検索点のうち、ノイズ除去後走行路画像の勾配情報、検索点間の相互配置情報、過去走行路境界点列から各検索点までの距離情報が反映される関数の値が最大となる走行路境界候補点列を算出する候補点列算出手段１０５とを備える。【選択図】  図１
2005165875.tif 000002
【特許請求の範囲】
【請求項１】
車両が走行する走行路の画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記走行路の画像を示す画像信号中のノイズを除去する前処理手段と、
前記前処理手段によって前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出する勾配算出手段と、
過去のある時点に前記画像取得手段によって取得された前記走行路の画像に基づいて算出された、前記走行路の境界を示す過去走行路境界点列を外部から取得する過去走行路境界点列取得手段と、
前記過去走行路境界点列取得手段によって取得された前記過去走行路境界点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記勾配算出手段によって算出された前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である走行路境界候補点列を算出する候補点列算出手段とを、
備える走行路境界検出装置。
【請求項２】
車両が走行する走行路の画像を取得するステップと、
取得された前記走行路の画像を示す画像信号中のノイズを除去するステップと、
前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出するステップと、
過去のある時点に取得された前記走行路の画像に基づいて算出された前記走行路の境界を示す過去走行路境界点列を外部から取得するステップと、
取得された前記過去走行路境界点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である走行路境界候補点列を算出するステップとを、
有する走行路境界検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の走行路の境界を検出する走行路境界検出装置及び走行路境界検出方法に関する。
【背景技術】
【０００２】
近年、車載カメラなどによって撮影された画像に基づいて車両の走行路の境界を検出し、その検出結果を車両の走行のための制御に用いる技術が開発されている。従来、車両の走行路の境界の検出は、走行路上にある白線に基づいて行われていた。具体的には、画像上の白線によって生じる暗から明、そして明から暗の変化、いわゆるペアエッジの点列を求めることによって車両の走行路の境界の検出を行っていた。このような走行路の境界の検出を行う技術が下記の特許文献１に開示されている。
【特許文献１】特開平８−２６１７５６号公報（段落００２７、００３１、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示されているような技術では、走行路上に白線が存在しない場合や、白線が存在したとしても白線が薄くほとんど白線が無いに等しい場合に走行路の境界を検出することができないという問題があった。
【０００４】
本発明は、上記問題を解決するためのものであり、走行路上の白線の有無にかかわらず、走行路の境界を検出することができる走行路境界検出装置及び走行路境界検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明によれば、車両が走行する走行路の画像を取得する画像取得手段と、前記画像取得手段によって取得された前記走行路の画像を示す画像信号中のノイズを除去する前処理手段と、前記前処理手段によって前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出する勾配算出手段と、過去のある時点に前記画像取得手段によって取得された前記走行路の画像に基づいて算出された、前記走行路の境界を示す過去走行路境界点列を外部から取得する過去走行路境界点列取得手段と、前記過去走行路境界点列取得手段によって取得された前記過去走行路境界点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記勾配算出手段によって算出された前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である走行路境界候補点列を算出する候補点列算出手段とを備える走行路境界検出装置が提供される。
【０００６】
また、本発明によれば、車両が走行する走行路の画像を取得するステップと、取得された前記走行路の画像を示す画像信号中のノイズを除去するステップと、前記ノイズが除去された前記走行路の画像である除去後走行路画像中の位置による濃淡差を示す勾配情報を算出するステップと、過去のある時点に取得された前記走行路の画像に基づいて算出された前記走行路の境界を示す過去走行路境界点列を外部から取得するステップと、取得された前記過去走行路境界点列を含む所定の領域に２次元的に検索点を配置し、配置された前記検索点のうち、前記除去後走行路画像の前記勾配情報、前記検索点間の相互配置情報、前記過去走行路境界点列から前記各検索点までの距離情報が反映される所定の関数の値が最大となるような前記検索点の列である走行路境界候補点列を算出するステップとを有する走行路境界検出方法が提供される。
【０００７】
本発明の走行路境界検出装置及び走行路境界検出方法は、上記構成を有し、走行路上の白線の有無にかかわらず、走行路の境界を検出することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について、図１から図８を用いて説明する。図１は、本発明の実施の形態に係る走行路境界検出装置の構成及び周辺機器を示す図である。図２は、本発明の実施の形態に係る走行路境界検出装置における車載カメラから撮影された走行路の画像を示す図である。図３は、本発明の実施の形態に係る走行路境界検出装置における勾配情報について説明するための図である。図４は、本発明の実施の形態に係る走行路境界検出装置における過去走行路境界点列を含む所定の領域に２次元的に配置された検索点を示す図である。図５は、本発明の実施の形態に係る走行路境界検出装置におけるＥｇの評価について説明するための図である。図６は、本発明の実施の形態に係る走行路境界検出装置におけるＥｃの評価について説明するための図である。図７は、本発明の実施の形態に係る走行路境界検出装置におけるＥｄの評価について説明するための図である。図８は、本発明の実施の形態に係る走行路境界検出装置における処理フローについて説明するための図である。
【０００９】
まず、本発明の実施の形態に係る走行路境界検出装置の構成について図１を用いて説明する。図１に示すように、走行路境界検出装置１００は、車載カメラ１０１、前処理部１０２、勾配算出部１０３、過去走行路境界点列取得部１０４、候補点列算出部１０５から構成されている。車載カメラ１０１は、車両が走行する走行路の画像を撮影する。撮影される走行路の画像は、例えば図２に示すようなものである。図２に示すように、車載カメラ１０１によって撮影された画像２００には、走行路２０１上を走行する車両２０２が写っている。この画像２００に基づいて走行路２０１の境界が検出される。ここで、走行路２０１の境界とは、例えば道路と非道路との境や、走行車線、すなわち走行レーンが複数ある場合の走行レーンの境を言う。なお、非道路とは、車両２０２が走行しない道路であって、例えば歩行レーンなどを言う。また、図２において、車両２０２は、四輪車のように描かれているが二輪車であっても構わない。
【００１０】
前処理部１０２は、車載カメラ１０１によって撮影された走行路２０１が写る画像２００を示す画像信号中のノイズを除去する。ここでノイズとは、例えば熱などの影響により車載カメラ１０１と不図示の撮像素子とで発生する雑音を言う。撮像素子とは、光を受けて電気信号に変換する電子部品を言う。勾配算出部１０３は、前処理部１０２によってノイズが除去された画像２００中の位置による濃淡差を示す勾配情報を算出する。勾配情報は、例えば図３に示すように画像２００の濃い側３００から薄い側３０１を指すベクトル情報である。過去走行路境界点列取得部１０４は、後述する初期検出部１０７又は推定器１０８から過去の走行路の境界を示す過去走行路境界点列を取得する。初期検出部１０７から取得する過去走行路境界点列とは、後述する候補点列算出部１０５によって走行路の境界の検出を新規に開始するときに用いられる初期の走行路境界点列であって、後述するＣＡＮＮＹエッジ検出部１０６及び初期検出部１０７によって求められるものを言う。ＣＡＮＮＹエッジ検出部１０６及び初期検出部１０７による過去走行路境界点列の算出については後述する。
【００１１】
一方、推定器１０８から取得する過去走行路境界点列とは、既に候補点列算出部１０５によって走行路の境界の検出が開始されているとき、候補点列算出部１０５によって算出された後述する前回の走行路境界候補点列に基づいて、推定器１０８が推定した走行路境界点列を言う。推定器１０８による過去走行路境界点列の算出については後述する。候補点列算出部１０５は、過去走行路境界点列取得部１０４によって取得された過去走行路境界点列を含む所定の領域に２次元的に検索点を配置し、配置された検索点のうち、勾配算出部１０３によって算出されたノイズ除去後の走行路画像の勾配情報と、検索点間の位置関係情報と、過去走行路境界点列から各検索点までの距離情報とを要素とする所定の関数の値が最大になるような検索点の列である走行路境界候補点列を算出する。ここで、２次元的に配置とは、例えばメッシュ状、格子状、放射線状に配置することを言う。具体的な例を図４に示す。図４に示すように、過去走行路境界点列４００の周囲に検索点を配置する。
【００１２】
前処理部１０２、勾配算出部１０３、過去走行路境界点列取得部１０４、候補点列算出部１０５は、例えばＣＰＵに相当する。なお、所定の領域とは、あらかじめ決められた規則に基づいて決められた領域を言い、走行路境界候補点列を算出できる程度の検索点を含む領域を言う。ここで、所定の関数について説明する。所定の関数Ｊ(ｓ)は下記の式（１）のように表される。
【００１３】
Ｊ(ｓ)＝Ｅｇ（ｓ）＋α×Ｅｃ（ｓ）＋β×Ｅｄ（ｓ）・・・（１）
【００１４】
Ｊ(ｓ)＞０である。ｓは走行路境界候補点列であり、Ｅｇは画像の勾配、Ｅｃは隣り合う検索点間の滑らかさ、Ｅｄは過去走行路境界点列４００からの距離を示し、α及びβは係数である。画像の勾配とは、上述した勾配情報を言う。Ｊ(ｓ)を構成するＥｇ、Ｅｃ、Ｅｄの評価の仕方について説明する。まず、Ｅｇの評価の仕方について図５を用いて説明する。Ｅｇの評価は、例えば勾配情報、すなわち勾配ベクトルの和の絶対値によって評価される。走行路境界候補点列ｓが図５（ａ）の場合には、各検索点における勾配ベクトルの和の絶対値は小さい。一方、図５（ｂ）の場合には、各検索点における勾配ベクトルの和の絶対値は大きい。図５（ｂ）のように、勾配ベクトルの和の絶対値が大きくなればＪ(ｓ)は大きくなるが、Ｅｃ及びＥｄとの関係があるため勾配ベクトルの和の絶対値が大きいものが採用されるとは限らない。
【００１５】
次に、Ｅｃの評価の仕方について図６を用いて説明する。Ｅｃの評価は、例えば走行路境界候補点列ｓの接線ベクトルの内積の和によって評価される。走行路境界候補点列ｓが図６（ａ）の場合には、接線ベクトルの内積の和が小さい。一方、図６（ｂ）の場合には、接線ベクトルの内積の和が大きい。ただし、この場合も上述したＥｇと同様、図６（ｂ）のような接線ベクトルの内積の和が大きいものが採用されるとは限らない。次に、Ｅｄの評価の仕方について図７を用いて説明する。Ｅｄの評価は、例えば過去走行路境界点列４００から走行路境界候補点列ｓの各検索点までの距離によって評価される。
【００１６】
走行路境界候補点列ｓが図７（ａ）の場合の過去走行路境界点列４００から走行路境界候補点列ｓの各検索点までの距離の和は、図７（ｂ）の場合の過去走行路境界点列４００から走行路境界候補点列ｓの各検索点までの距離の和より大きい。ただし、この場合も上述したＥｇ及びＥｃと同様、図７（ｂ）のような距離の和の小さいものが採用されるとは限らない。上述したＥｇ、Ｅｃ、Ｅｄの和に基づいて、候補点列算出部１０５は式（１）が最大となるように走行路境界候補点列ｓを検出する。ここで、α及びβには、Ｅｇ、Ｅｃ、Ｅｄのそれぞれの桁数が揃うようなものが選択される。
【００１７】
ここで、初期検出部１０７による過去走行路境界点列４００の算出について図１を用いて説明する。まず、図１に示すようにＣＡＮＮＹエッジ検出部１０６が勾配算出部１０３から勾配情報を取得する。ＣＡＮＮＹエッジ検出部１０６は、取得した勾配情報に基づいて、ゼロ交差を用いて走行路のエッジを検出する。初期検出部１０７は、ＣＡＮＮＹエッジ検出部１０６によって検出された走行路のエッジの情報から、Ｈｏｕｇｈ変換によって直線的な走行路を検出する。この検出された走行路上の点列が過去走行路境界点列４００に相当する。走行路上の点列は、例えばあらかじめ決められた間隔で取得される点の列である。なお、ＣＡＮＮＹエッジ検出部１０６によるエッジの検出やＨｏｕｇｈ変換による直線的な走行路の検出は、公知の技術として利用されている。
【００１８】
また、推定器１０８による過去走行路境界点列４００の算出について図１を用いて説明する。図１に示すように、まず推定器１０８は、候補点列算出部１０５によって算出された走行路境界候補点列を受け取る。推定器１０８は、受け取った走行路境界候補点列に基づいて、カルマンフィルターなどの推定手段を用い、上述した過去走行路境界点列４００を算出する。なお、カルマンフィルターを用いた走行路の境界算出に関しても公知の技術として利用されている。
【００１９】
次に、本発明の実施の形態に係る走行路境界検出装置１００における処理フローについて図８を用いて説明する。図８に示すように、車載カメラ１０１は、車両が走行する走行路を撮影し、撮影した画像を前処理部１０２へ引き渡す（ステップＳ８０１）。前処理部１０２は、車載カメラ１０１から引き渡された画像を示す画像信号中のノイズを除去し、勾配算出部１０３へ引き渡す（ステップＳ８０２）。勾配算出部１０３は、前処理部１０２から引き渡されたノイズが除去された画像の勾配情報を算出し、候補点列算出部１０５へ引き渡す（ステップＳ８０３）。候補点列算出部１０５は、過去走行路境界点列取得部１０４によって取得された過去走行路境界点列４００を含む所定の領域に２次元的に検索点を配置し、配置された検索点のうち、上述した式（１）の値が最大になるような検索点の列である走行路境界候補点列を算出する（ステップＳ８０４）。候補点列算出部１０５は、算出された走行路境界候補点列を推定器１０８へ引き渡す（ステップＳ８０５）。
【産業上の利用可能性】
【００２０】
本発明に係る走行路境界検出装置及び走行路境界検出方法は、走行路上の白線の有無にかかわらず、走行路の境界を検出することができるため、車両の走行路の境界を検出する走行路境界検出装置及び走行路境界検出方法などに有用である。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る走行路境界検出装置の構成及び周辺機器を示す図である。
【図２】本発明の実施の形態に係る走行路境界検出装置における車載カメラから撮影された走行路の画像を示す図である。
【図３】本発明の実施の形態に係る走行路境界検出装置における勾配情報について説明するための図である。
【図４】本発明の実施の形態に係る走行路境界検出装置における過去走行路境界点列を含む所定の領域に２次元的に配置された検索点を示す図である。
【図５】本発明の実施の形態に係る走行路境界検出装置におけるＥｇの評価について説明するための図である。
【図６】本発明の実施の形態に係る走行路境界検出装置におけるＥｃの評価について説明するための図である。
【図７】本発明の実施の形態に係る走行路境界検出装置におけるＥｄの評価について説明するための図である。
【図８】本発明の実施の形態に係る走行路境界検出装置における処理フローについて説明するための図である。
【符号の説明】
【００２２】
１００  走行路境界検出装置
１０１  車載カメラ（画像取得手段）
１０２  前処理部（前処理手段）
１０３  勾配算出部（勾配算出手段）
１０４  過去走行路境界点列取得部（過去走行路境界点列取得手段）
１０５  候補点列算出部（候補点列算出手段）
１０６  ＣＡＮＮＹエッジ検出部
１０７  初期検出部
１０８  推定器
２００  画像
２０１  走行路
２０２  車両
３００  画像の濃い側
３０１  画像の薄い側
４００  過去走行路境界点列
【図１】
2005165875.tif 000003
【図２】
2005165875.tif 000004
【図３】
2005165875.tif 000005
【図４】
2005165875.tif 000006
【図５】
2005165875.tif 000007
【図６】
2005165875.tif 000008
【図７】
2005165875.tif 000009
【図８】
2005165875.tif 000010