(57)【要約】車載カメラによる同一位置からの撮像履歴の有無にかかわらず車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる装置等を提供する。本発明の車両走行支援装置１０によれば、車載カメラ１２を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される。エッジ画像がハフ変換されることによりρ−θ空間（ハフ空間）において直線成分の指定投票値に対する投票数が評価される。ρ−θ空間において実空間における車両１の標準走行レーンを表わす指定領域における指定投票値の投票数が閾値以上であるか否かが判定されることにより、道路におけるレーンマーク認識阻害因子の有無が判定される。
2009116221.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、
前記画像において走査方向について輝度が閾値を超えて変化する線分をエッジとして抽出するエッジ抽出処理を実行することによりエッジ画像を生成する第１処理要素と、
前記第１処理要素により生成された前記エッジ画像にハフ変換処理を実行するとともに、前記ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の投票値を評価する第２処理要素と、
ρ−θ空間において実空間における前記車両の予測走行領域を表わす指定領域における、前記第２処理要素により評価された指定投票値の投票数が閾値以上であることを要件として、前記車両が走行中の道路におけるレーンマークの認識精度を低下させるレーンマーク認識阻害因子の有無を判定する第３処理要素とを備え、前記指定領域の境界が前記レーンマーク認識阻害因子が存在しない状態の道路について前記指定領域における前記指定投票値の投票数が前記閾値未満となるように設定されていることを特徴とする車両走行支援装置。
【請求項２】
請求項１記載の車両走行支援装置において、
前記第３処理要素が、ρ−θ空間においてρの値により定義される前記指定領域としての第１指定領域における前記指定投票値としての第１指定投票値の投票数が前記閾値としての第１閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする車両走行支援装置。
【請求項３】
請求項１記載の車両走行支援装置において、
前記第３処理要素がρ−θ空間においてθの値により定義される前記指定領域としての第２指定領域における前記指定投票値としての第２指定投票値の投票数が前記閾値としての第２閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする車両走行支援装置。
【請求項４】
請求項１記載の車両走行支援装置において、
前記第３処理要素により前記レーンマーク認識阻害因子が存在すると判定された場合にはレーンマークの認識処理の実行を保留または停止することを特徴とする車両走行支援装置。
【請求項５】
請求項１記載の車両走行支援装置において、
前記第３処理要素が前記レーンマーク認識阻害因子として積雪または道路わきに沿って延在する物体が存在すると判定することを特徴とする車両走行支援装置。
【請求項６】
撮像装置と、請求項１記載の車両走行支援装置とを備えていることを特徴とする車両。
【請求項７】
車両に搭載されているコンピュータを請求項１記載の車両走行支援装置として機能させることを特徴とする車両走行支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されている撮像装置を通じて得られた画像に基づいてこの車両の走行を支援する装置等に関する。
【背景技術】
【０００２】
カメラにより撮像された画像に基づき、この道路における積雪の有無を判定する技術が提案されている（日本国特開２００５−２７５６９１号公報および特開２００５−３０８４３７号公報参照）。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、前記技術によれば、道路の周辺にカメラが固定されており、このカメラによりあらかじめ撮像された画像または異なる時点において撮像された画像が存在することがこの道路における積雪有無の判定要件とされている。このため、車載カメラにより同じ位置から撮像された画像が存在しない、車両が初めて走行する、道路における積雪等、レーンマークの認識精度を低下させるレーンマーク認識阻害因子の有無を判定することは困難である。【０００４】
そこで、本発明は、車載カメラによる同一位置からの撮像履歴の有無にかかわらず、車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる装置等を提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
第１発明の車両走行支援装置は、車両に搭載されている撮像装置を通じて得られた前記車両の進行方向の状況を表わす画像に基づき、前記車両の走行環境を認識する車両走行支援装置であって、前記画像において走査方向について輝度が閾値を超えて変化する線分をエッジとして抽出するエッジ抽出処理を実行することによりエッジ画像を生成する第１処理要素と、前記第１処理要素により生成された前記エッジ画像にハフ変換処理を実行するとともに、前記ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の投票値を評価する第２処理要素と、ρ−θ空間において実空間における前記車両の予測走行領域を表わす指定領域における、前記第２処理要素により評価された指定投票値の投票数が閾値以上であることを要件として、前記車両が走行中の道路におけるレーンマークの認識精度を低下させるレーンマーク認識阻害因子の有無を判定する第３処理要素とを備え、前記指定領域の境界が前記レーンマーク認識阻害因子が存在しない状態の道路について前記指定領域における前記指定投票値の投票数が前記閾値未満となるように設定されていることを特徴とする。【０００６】
第１発明の車両走行支援装置によれば、撮像装置を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される。また、エッジ画像がハフ変換されることにより、ρ−θ空間（ハフ空間）において直線成分の指定投票値に対する投票数が評価される。そして、ρ−θ空間の指定領域における指定投票値の投票数が閾値以上であるか否かが判定されることにより、車両が走行中の道路におけるレーンマーク認識阻害因子の有無が判定される。これは、ρ−θ空間の指定領域は、車両の予測走行領域に相当しているので、予測走行領域におけるレーンマーク認識阻害因子の有無に応じて、指定領域における指定投票値の投票数が顕著に相違するからである。したがって、撮像装置による同一位置からの撮像履歴の有無にかかわらず、車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる。【０００７】
なお、本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。【０００８】
第２発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素が、ρ−θ空間においてρの値により定義される前記指定領域としての第１指定領域における前記指定投票値としての第１指定投票値の投票数が前記閾値としての第１閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする。【０００９】
第２発明の車両走行支援装置によれば、第１指定領域（＝ρの値により定義される指定領域）における指定投票値の投票数が第１閾値以上であるか否かが判定されることにより、車両が走行中の道路におけるレーンマーク認識阻害因子の有無が高精度で判定されうる。【００１０】
第３発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素が、ρ−θ空間においてθの値により定義される前記指定領域としての第２指定領域における前記指定投票値としての第２指定投票値の投票数が前記閾値としての第２閾値以上であることを要件として、前記車両が走行中の道路における前記レーンマーク認識阻害因子の有無を判定することを特徴とする。【００１１】
第３発明の車両走行支援装置によれば、第２指定領域（＝θの値により定義される指定領域）における指定投票値の投票数が第２閾値以上であるか否かが判定されることにより、車両が走行中の道路におけるレーンマーク認識阻害因子の有無が高精度で判定されうる。【００１２】
第４発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素により前記レーンマーク認識阻害因子が存在すると判定された場合にはレーンマークの認識処理の実行を保留または停止することを特徴とする。【００１３】
第４発明の車両走行支援装置によれば、レーンマークの認識精度が低くなる蓋然性が高い状況で、レーンマークの認識処理が実行または継続されることが回避されるので、レーンマークの誤認識に基づいて車両の挙動が制御される等の事態が回避される。【００１４】
第５発明の車両走行支援装置は、第１発明の車両走行支援装置において、前記第３処理要素が前記レーンマーク認識阻害因子として積雪または道路わきに沿って延在する物体が存在すると判定することを特徴とする。【００１５】
第５発明の車両走行支援装置によれば、車両が走行中の道路におけるレーンマーク認識阻害因子としての積雪または道路わきに沿って延在する物体の有無が高精度で判定されうる。【００１６】
第６発明の車両は、撮像装置と、第１発明の車両走行支援装置を備えていることを特徴とする。【００１７】
第６発明の車両によれば、車両走行支援装置により車両が走行中の道路におけるレーンマーク認識阻害因子の有無が高精度で認識されるので、当該認識結果に基づき車両の安全走行等の観点から車載機器の動作が適当に制御されうる。【００１８】
第７発明の走行支援プログラムは、車両に搭載されているコンピュータを第１発明の車両走行支援装置として機能させることを特徴とする。【００１９】
第７発明の走行支援プログラムによれば、車載のコンピュータを、車両が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で認識する車両走行支援装置として機能させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の車両の構成説明図である。
【図２】本発明の車両走行支援装置の構成説明図である。
【図３】本発明の車両走行支援装置の機能を示すフローチャートである。
【図４】無積雪時のエッジ抽出処理およびハフ変換処理に関する説明図である。
【図５】積雪時のエッジ抽出処理およびハフ変換処理に関する説明図である。
【図６】直線成分の投票値および投票数の関係に関する説明図である。
【図７】道路わきに沿って延在する茂みが存在しない状態での撮像画像およびエッジ抽出処理に関する説明図である。
【図８】道路わきに沿って延在する茂みが存在する状態での撮像画像およびエッジ抽出処理に関する説明図である。
【発明を実施するための最良の形態】
【００２１】
本発明の車両走行支援装置等の実施形態について図面を用いて説明する。【００２２】
図１および図２に示されている車両（四輪自動車）１には、ＣＣＤカメラや近赤外線カメラ等のカメラ（撮像装置）１２と、車両走行支援装置１０とが搭載されている。カメラ１２は車両１の前方の様子をフロントウィンドウ越しに撮像するように車内空間に取り付けられている。なお、カメラ１２の配置箇所は車両１のフロント部分等に適宜変更されてもよい。車両１には図２に示されているように車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６等のセンサと、操舵装置１４と、制動装置１６とがさらに搭載されている。車速センサ１２２、加速度センサ１２４およびヨーレートセンサ１２６のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。【００２３】
車両走行支援装置１０はコンピュータまたはＥＣＵ（電子制御ユニット）（ＣＰＵ，ＲＯＭ，ＲＡＭならびにＩ／Ｏ回路およびＡ／Ｄ変換回路等の電子回路等により構成されている。）により構成されている。車両走行支援装置１０にはカメラ１２および速度センサ１２２等からの出力信号が入力される。ＣＰＵにより「車両走行支援プログラム」がメモリから読み出され、かつ、読み出されたプログラムにしたがって後述する種々の処理が実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車両１に配信または放送され、車載コンピュータのＲＡＭ等の記憶装置に格納されてもよい。車両走行支援装置１０は操舵装置１４および制動装置１６のうち一方または両方の動作を制御することにより、車両１が走行領域から逸脱しないように車両１の走行を支援する走行支援制御を実行する。車両走行支援装置１０は第１処理要素１１０、第２処理要素１２０および第３処理要素１３０を備えている。第１処理要素１１０はカメラ１２を通じて得られた画像においてエッジを抽出または顕在化するエッジ抽出処理を実行することによりエッジ画像を生成する。第２処理要素１２０は第１処理要素１１０により生成されたエッジ画像にハフ変換処理を実行するとともに、ハフ変換処理の実行結果に基づいてρ−θ空間における直線成分の指定投票値に対する投票数を評価する。第３処理要素１３０はρ−θ空間において定義されている指定領域における、第２処理要素１２０により評価された指定投票値の投票数が閾値以上であることを要件として、車両１が走行中の道路におけるレーンマーク認識阻害因子の有無を判定する。ρ−θ空間の指定領域は、実空間における車両１の予測走行領域（たとえば、車両１の左右に一対のレーンマークが存在すると仮定した場合、当該一対のレーンマークに挟まれる領域の一部または全部）を表わしている。指定領域の境界はレーンマーク認識阻害因子が存在しない状態の道路について指定領域における指定投票値の投票数が閾値未満となるように設定されている。【００２４】
前記構成の車両１および車両走行支援装置１０の機能について説明する。【００２５】
まず、カメラ１２を通じて車両１の前方または走行方向の状況を表わすディジタル画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）または図５（ａ）に示されているような車両１の前方に延びる道路の画像が取得される。なお、図４（ａ）は積雪がない状態における撮像画像であり、図５（ａ）は積雪がある状態における撮像画像である。このほか、図７（ａ）または図８（ａ）に示されているような車両１の前方に延びる道路の画像が取得されうる。なお、図７（ａ）は道路わきに延在する茂みがない状態における撮像画像であり、図８（ａ）は道路わきに延在する茂みがある状態における撮像画像である。【００２６】
また、第１処理要素１１０により、ディジタル画像に対してエッジ抽出処理が実行されることにより、エッジが顕在化されたエッジ画像が生成される（図３／Ｓ００４）。たとえば、図４（ａ）および図５（ａ）のそれぞれに示されている画像に対してエッジ抽出処理が実行されることにより、図４（ｂ）および図５（ｂ）のそれぞれに示されているようにエッジ（白抜き部分）が抽出または顕在化されたエッジ画像が生成される。また、図７（ａ）および図８（ａ）のそれぞれに示されている画像に対してエッジ抽出処理が実行されることにより、図７（ｂ）および図８（ｂ）のそれぞれに示されているようにエッジ（白抜き部分）が抽出または顕在化されたエッジ画像が生成される。なお、エッジは一定の走査方向について輝度が閾値を超えて変化する点または画素により構成される線分を意味しており、特開２００５−３３２１０４号公報および特開２００６−０１２１９１号公報等に開示されている画像処理方法にしたがって認識されうる。【００２７】
さらに、第２処理要素１２０により第１処理要素１１０により生成されたエッジ画像に対してハフ変換処理が実行される（図３／Ｓ００６）。たとえば、図４（ｂ）および図５（ｂ）のそれぞれに示されているエッジ画像に対してハフ変換処理が実行されることにより、図４（ｃ）および図５（ｃ）のそれぞれに示されているように、ハフ変換されたエッジの直線成分がρ−θ空間の任意の座標に出現する頻度が投票値として評価される。また、図７（ｂ）および図８（ｂ）のそれぞれに示されているエッジ画像に対してハフ変換処理が実行されることによっても、図４（ｃ）および図５（ｃ）のそれぞれに示されているのと同様に、ハフ変換されたエッジの直線成分がρ−θ空間の任意の座標に出現する頻度が投票値として評価される。【００２８】
また、第２処理要素１２０により、ρ−θ空間において定義されている指定領域Ｓにおける投票値と、投票値が出現する頻度としての投票数との関係を表現するヒストグラムが生成される（図３／Ｓ００８）。これにより、たとえば図６に示されている閾値ライン（一点鎖線）よりも高投票値かつ多投票数側の第１投票領域Ｕ1および閾値ラインよりも低投票値かつ少投票数側の第２投票領域Ｕ2のうちいずれかに一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。指定領域Ｓとしては、図４（ｃ）および図５（ｃ）のそれぞれに示されている、ρの値により画定されている第１指定領域（一点鎖線で囲まれている）Ｓ1＝［ρ1，ρ2］と、θの値により画定されている第２指定領域（二点鎖線により囲まれている）Ｓ2＝［θ1，θ2］との重なり領域（斜線が付されている）Ｓ1∩Ｓ2が定義されている。図４（ｃ）および図５（ｃ）のそれぞれにおいて後述する第１指定領域Ｓ1および第２指定領域Ｓ2から外れた領域において投票値が高い一対の箇所があるが、これは主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている。なお、第１指定領域Ｓ1または第２指定領域Ｓ2が単独で指定領域Ｓとして定義されてもよい。また、指定領域Ｓの形状としては矩形状ではなく円形状、楕円形状、三角形状または台形状など、さまざまな形状が採用されてもよい。【００２９】
指定領域Ｓの境界値は、積雪または道路わきに沿って延在する茂み等のレーンマーク認識阻害因子が存在する状態の道路についてはこの指定領域Ｓにおける指定投票値が閾値以上となる一方、レーンマーク認識阻害因子が存在しない状態の道路についてこの指定領域Ｓにおける指定投票値の投票数が閾値未満となるように設定されている。【００３０】
具体的にはレーンマーク認識阻害因子が存在しない状態の道路については図４（ｃ）に示されているように第１指定領域Ｓ1において投票値が高い箇所が比較的少なくなる一方、レーンマーク認識阻害因子が存在する状態の道路については図５（ｃ）に示されているように第１指定領域Ｓ1において投票値が高い箇所が比較的多くなるように第１指定領域Ｓ1の下限値ρ1および上限値ρ2が設定されている。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第１指定領域Ｓ1の下限値ρ1および上限値ρ2が設定されている（たとえばρ1＝０，ρ2＝０．３ρmax）。ρ−θ空間における第１指定領域Ｓ1は、図４（ａ）、図５（ａ）、図７（ａ）および図８（ａ）のそれぞれに示されているカメラ１２の撮像画像における半円形状の第１画像領域Ｑ1を通過する直線（線分）に相当しており、ひいては、第１画像領域Ｑ1に相当する実空間領域（車両１の前側近傍領域）に相当している。【００３１】
同様に、レーンマーク認識阻害因子が存在しない状態の道路については図４（ｃ）に示されているように第２指定領域Ｓ2において投票値が高い箇所が比較的少なくなる一方、レーンマーク認識阻害因子が存在する状態の道路については図５（ｃ）に示されているように第２指定領域Ｓ2において投票値が高い箇所が比較的多くなるように第２指定領域Ｓ2の境界値θ1およびθ2が設定されている（たとえばθ＝π／６，θ＝５π／６）。すなわち、前記のように主に一対のレーンマークまたは轍などのエッジがハフ変換された結果を表わしている投票値が高い一対の箇所が包含されないように第２指定領域Ｓ2の境界値θ1およびθ2が設定されている。ρ−θ空間における第２指定領域Ｓ2は、図４（ａ）および図５（ａ）のそれぞれに示されているカメラ１２の撮像画像における三角形状の第２画像領域Ｑ2を通過する直線（線分）に相当しており、ひいては、第２画像領域Ｑ2に相当する実空間領域（左右一対のレーンマークが存在すると仮定した場合に当該一対のレーンマークの間に大部分が含まれる領域）に相当している。【００３２】
このため、レーンマーク認識阻害因子が存在する状態の道路では、図６に示されている閾値ラインよりも高投票値かつ多投票数側の第１投票領域Ｕ1に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。その一方、積雪がない状態の道路では、図６に示されている閾値ラインよりも高投票値かつ多投票数側の第２投票領域Ｕ2に一部または全部が包含されるように、投票値と投票数との関係を表わす曲線が描かれる。【００３３】
さらに、第３処理要素１３０により、指定投票値の投票数が閾値以下であるか否かを判定することにより、車両１が走行中の道路におけるレーンマーク認識阻害因子の有無が判定される（図３／Ｓ０１０）。たとえば、図６に示されている指定投票値における投票数Ｎ1が閾値Ｎth以上である場合には積雪があると判定される一方、投票数Ｎ2が閾値Ｎth未満である場合にはレーンマーク認識阻害因子が存在しないと判定される。なお、１つの指定投票値の投票数が閾値以上であるか否かに応じてではなく、複数の指定投票値のうちそれぞれの投票数が閾値以上であるか否かに応じてレーンマーク認識阻害因子の有無が判定されてもよい。【００３４】
そして、道路においてレーンマーク認識阻害因子が存在しないと判定された場合（図３／Ｓ０１４‥ＹＥＳ）、ハフ変換より抽出された直線成分が、レーンマークまたは轍を構成すると認識され、当該レーンマークまたは轍により左右が画定された走行領域が設定される（図３／Ｓ０１２）。その上で、操舵装置１４および制動装置１６のうち一方または両方の動作が制御されることにより、車両１が走行領域から逸脱しないように車両１の走行を支援する走行支援制御が実行される（図３／Ｓ０１４）。その一方、道路において積雪があると判定された場合（図３／Ｓ０１０‥ＮＯ）、走行領域の設定および走行支援制御が保留または停止される。すなわち、レーンマークの認識精度が低くなる蓋然性が高い状況で、レーンマークの認識処理が実行または継続されることが回避されるので、レーンマークの誤認識に基づいて車両の挙動が制御される等の事態が回避される。【００３５】
前記機能を発揮する車両走行支援装置１０によれば、カメラ（撮像装置）１２を通じて得られた画像においてエッジが抽出または顕在化されることによりエッジ画像が生成される（図３／Ｓ００４，図４（ｂ）、図５（ｂ）、図７（ｂ）および図８（ｂ）参照）。また、エッジ画像がハフ変換されることにより、ρ−θ空間（ハフ空間）の任意の点において直線成分の投票値が評価される（図３／Ｓ００６，図４（ｃ）および図５（ｃ）参照）。そして、ρ−θ空間の指定領域Ｓ（図４（ｃ）参照）における指定投票値の投票数が閾値以上であるか否かが判定されることにより、車両１が走行中の道路における積雪または道路わきに沿って延在する草木もしくは茂み等の物体などのレーンマーク認識阻害因子の有無が判定される（図３／Ｓ０１０，図６参照）。これは、ρ−θ空間の指定領域Ｓは、左右一対のレーンマーク等により画定される車両１の予測走行領域に相当しているので、この実空間領域におけるレーンマーク認識阻害因子の有無に応じて、指定領域における指定投票値の投票数が顕著に相違するからである。具体的には、前記のようにρ−θ空間における第１指定領域Ｓ1は、図４（ａ）に示されているカメラ１２の撮像画像における半円形状の第１画像領域Ｑ1を通過する直線（線分）に相当し、ひいては、第１画像領域Ｑ1に相当する実空間領域に相当している。また、ρ−θ空間における第２指定領域Ｓ2は、図４（ａ）に示されているカメラ１２の撮像画像における三角形状の第２画像領域Ｑ2を通過する直線（線分）に相当し、ひいては、第２画像領域Ｑ2に相当する実空間領域に相当している。したがって、カメラ１２による同一位置からの撮像履歴の有無にかかわらず、車両１が走行中の道路におけるレーンマーク認識阻害因子の有無を高精度で判定することができる。
【図１】
2009116221.tif 000003
【図２】
2009116221.tif 000004
【図３】
2009116221.tif 000005
【図４】
2009116221.tif 000006
【図５】
2009116221.tif 000007
【図６】
2009116221.tif 000008
【図７】
2009116221.tif 000009
【図８】
2009116221.tif 000010
【国際調査報告】
2009116221.tif 000011
2009116221.tif 000012