(57)【要約】【課題】左右の車線の認識バラツキを低減し、ドライバに違和感を与えることなく車線認識結果をドライバに提示する。【解決手段】白線認識部１１で認識した白線の認識信頼度を白線価部１２で評価し、左右の白線の一方の認識を完了したとき、他方の白線の認識状態を認識状態監視部１３で監視する。そして、他方の白線の認識が完了するまでの認識完了時間を推定し、推定した認識完了時間を監視時間と比較して白線認識結果の表示タイミングを調整することで、左右の白線の認識バラツキを低減し、ドライバの感覚に略一致した違和感のないタイミングでの表示とする。【選択図】図１
2017037472.tif 000002
【特許請求の範囲】
【請求項１】
車両が走行する道路の車線を認識する車線認識部を備え、車線認識結果をドライバに提示する車線認識装置であって、
前記車線認識部で認識した車線の認識信頼度を、車線認識処理における複数の特徴量に基づいて評価する車線評価部と、
左右の車線の一方の認識を前記認識信頼度の評価を経て完了したとき、他方の車線の認識状態を監視して車線認識結果をドライバに提示するタイミングを調整する認識状態監視部と
を備えることを特徴とする車線認識装置。
【請求項２】
前記認識状態監視部は、他方の車線の認識が完了するまでの認識完了時間を推定し、推定した認識完了時間を、一方の車線の認識を完了してからの経過時間に基づく監視時間と比較して車線認識結果をドライバに提示するタイミングを調整することを特徴とする請求項１記載の車線認識装置。
【請求項３】
前記認識完了時間が前記監視時間未満の場合、他方の車線の認識結果を待ってドライバに提示する車線の表示タイミングを決定し、前記認識完了時間が前記監視時間以上の場合には、他方の車線の認識結果を待たずに、既に認識済みの一方の車線のみを表示させてドライバに提示することを特徴とする請求項２記載の車線認識装置。
【請求項４】
前記認識完了時間を、前記複数の特徴量による信頼度評価用カウンタと閾値との差分に基づいて推定することを特徴とする請求項２又は３記載の車線認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両が走行する道路の車線を認識し、車線認識結果をドライバに提示する車線認識装置に関する。
【背景技術】
【０００２】
近年、自動車等の車両においては、カメラやレーダ装置等を搭載して車両周囲の走行環境を認識してドライバの運転操作を支援し、ドライバの負担を軽減する運転支援システムが開発、実用化されている。このような運転支援システムでは、自車両が走行する道路の車線を認識し、車線維持走行や車線逸脱防止のための操舵制御や警報を行っており、車線認識状態や支援制御の作動スタンバイ状態を画面表示や音声によってドライバに知らせるようにしている。
【０００３】
この場合、車線認識としては、道路上の白線を対象とすることが多く、例えば、特許文献１には、車両が走行する路面上の白線を認識する白線認識手段が白線を認識しているときには画面上の白線を塗り潰し表示し、白線認識手段が白線を認識していないときには画面上の白線は中抜き表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１２５９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、車線としての白線を認識する処理は、白線を認識するまでに一定の時間を要する。これは、認識した白線の信頼性を評価して雪等の白線以外の線模様を誤認識していないかチェックしているためである。
【０００６】
そのため、従来では、例えば、左右の白線の引かれ始める位置がずれているような場合や、片方の白線が消えかけている等して白線かどうかの判断がなかなかつかない場合には、左右の白線を認識するタイミングが異なってしまう。結果、ドライバには両側の白線が見えているにも拘わらず、左右の白線が表示されるタイミングがずれてしまうといった事態が生じ、ドライバに違和感を与えることになる。
【０００７】
本発明は上記事情に鑑みてなされたもので、左右の車線の認識バラツキを低減し、ドライバに違和感を与えることなく車線認識結果をドライバに提示することのできる車線認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様による車線認識装置は、車両が走行する道路の車線を認識する車線認識部を備え、車線認識結果をドライバに提示する車線認識装置であって、前記車線認識部で認識した車線の認識信頼度を、車線認識処理における複数の特徴量に基づいて評価する車線評価部と、左右の車線の一方の認識を前記認識信頼度の評価を経て完了したとき、他方の車線の認識状態を監視して車線認識結果をドライバに提示するタイミングを調整する認識状態監視部とを備えるものである。
【発明の効果】
【０００９】
本発明によれば、左右の車線の認識バラツキを低減し、ドライバに違和感を与えることなく車線認識結果をドライバに提示することができる。
【図面の簡単な説明】
【００１０】
【図１】車線認識装置の構成図
【図２】白線の表示状態の遷移を示す説明図
【図３】信頼度評価用カウンタの説明図
【図４】評価完了までの時間を示す説明図
【図５】評価状態の監視時間を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。図１において、符号１０は、自動車等の車両に搭載され、自車両が走行する道路の車線を認識する車線認識装置である。車線認識装置１０は、例えば、車線逸脱防止、車線維持、障害物の自動回避等のドライバに対する運転支援制御を行う運転支援システムの一部として構成され、運転支援システムを構成する複数の制御装置、例えば、エンジンを制御するエンジン制御装置２０、ブレーキを制御するブレーキ制御装置３０、操舵制御を行うステアリング制御装置４０等に車線認識結果を出力すると共に、表示装置１００等のＨＭＩ（Human Machine Interface）を介してドライバに認識した車線や自車両との位置関係等を提示する。
【００１２】
車線認識装置１０は、カメラで撮像した路面の画像やレーザレーダによる路面からの反射データに基づいて、自車両が走行する道路の車線を認識する。本実施の形態においては、車載のカメラ１によって撮像した画像に基づいて車線を認識する。カメラ１は、同一対象物を異なる視点から撮像する２台のカメラ１ａ，１ｂで構成されるステレオカメラである。２台のカメラ１ａ，１ｂは、ＣＣＤやＣＭＯＳ等の撮像素子を有するシャッタ同期のカメラで、例えば、車室内上部のフロントウィンドウ内側のルームミラー近傍に所定の基線長で配置されている。
【００１３】
カメラ１ａ，１ｂで撮像した左右一対のステレオ画像は、画像処理部２で処理される。画像処理部２は、ステレオマッチング処理により、左右画像の対応位置の画素ずれ量（視差）を求め、画素ずれ量を輝度データ等に変換して距離画像を生成する。距離画像上の点は、三角測量の原理から、自車両の車幅方向すなわち左右方向をＸ軸、車高方向をＹ軸、車長方向すなわち距離方向をＺ軸とする実空間上の点に座標変換され、車線認識装置１０、エンジン制御装置２０、ブレーキ制御装置３０、ステアリング制御装置５０等に送信される。
【００１４】
車線認識装置１０は、カメラ１ａ，１ｂで撮像した元画像と、画像処理部２からの距離データとに基づいて、道路の車線を認識し、車線の認識状態に応じた適切なタイミングで表示装置１００に出力して表示させる。このため、車線認識装置１０は、以下に説明するように、車線認識部としての白線認識部１１、車線評価部としての白線評価部１２、認識状態監視部１３を備えている。
【００１５】
白線認識部１１は、自車両が走行する道路の車線として道路上の白線を認識する。ここでの白線は、道路上に延在して車線を区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。また、白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１６】
具体的には、白線認識部１１は、画像から白線の候補となる点群を抽出し、その候補点を結ぶ直線や曲線を算出することで、或いは、予め用意した白線モデルの特性にマッチする画像の要素を抽出することで、白線を認識する。本実施の形態においては、画像平面における道路の幅方向の輝度変化を評価して白線の候補となる点群を抽出し、この白線候補の点群の時系列データを処理することで白線を認識する。
【００１７】
例えば、画像上に設定された白線検出領域内において、水平方向（車幅方向）に設定した複数の探索ライン上で輝度が所定以上変化するエッジの検出を行って探索ライン毎に１組の白線開始点及び白線終了点を検出し、白線開始点と白線終了点との間の中間の所定領域を、白線候補点として抽出する。そして、単位時間当たりの車両移動量に基づく白線候補点の空間座標位置の時系列データを処理して左右の白線を近似するモデルを算出し、このモデルにより、白線を認識する。白線の近似モデルとしては、ハフ変換によって求めた直線成分を連結した近似モデルや、２次式等の曲線で近似したモデルを用いることができる。
【００１８】
白線評価部１２は、白線候補点から求めた線成分が本当に白線（車線）を表しているものかどうかの認識信頼度の評価を行い、評価結果に基づいて白線を適正に認識したか否かを判断することで、誤認識による運転支援制御の不具合発生を未然に防止する。例えば、路面上に雪が積もっており、雪の轍や小山状の雪塊等、車両進行方向に所定区間に渡って存在する残雪帯がある場合、このような残雪帯のエッジによる線成分を白線と誤認識する可能性があり、運転支援制御に支障が生じる虞がある。
【００１９】
このため、白線評価部１２は、求めた線成分が白線か否かの認識信頼度を、画像から得られる複数の特徴量を用いて評価し、雪等の白線以外の線模様を誤認識していないかをチェックする。評価の対象とする特徴量としては、例えば、白線開始点から白線終了点までの領域の長さ（画素数）、エッジ強度、輝度、白線開始点の点群が線成分上にある割合、白線開始点の点群に対応する白線終了点の点群の割合、白線候補点の路面からの高さ等を用い、これらの特徴量が所定の閾値を満たした場合に、求めた線成分は適正に白線を認識したと判断する。
【００２０】
認識状態監視部１３は、白線認識部１１及び白線評価部１２による白線の認識状態を監視し、認識結果をドライバに提示するタイミングを調整する。本実施の形態においては、認識結果をドライバに提示するタイミングとして、認識結果を表示装置１００に表示する表示タイミングを調整する。
【００２１】
例えば、図２に示すように、道路の一方側に明確に白線とみなせる線分Ｌが存在し、もう一方の片側の線分Ｌ’は残雪等によって明確でない或いは白線ではないような状況を例に取って説明すると、自車両Ｃが線分Ｌ，Ｌ’の手前の位置Ｐ１にあり、線分Ｌ，Ｌ’を検出していない場合には、当然ながら、表示装置１００の画面Ｄ１には、白線は表示されない。
【００２２】
その後、自車両Ｃが進行して位置Ｐ２に達したとき、片側の線分Ｌを検出して、認識信頼度の評価を経て適正に白線を認識したと判断しても、画面Ｄ２のように、認識した片側の線分Ｌをすぐには表示せず、所定の時間だけ待機する。そして、所定の待機時間が経過する前に位置Ｐ３でもう一方の線分Ｌ’を検出して信頼度評価により適正に白線として認識されたとき、画面Ｄ３に示すように、左右の線分Ｌ，Ｌ’を白線として表示する。
【００２３】
このとき、従来では、画面Ｄ２’に示すように、位置Ｐ２でドライバに両側の線分Ｌ，Ｌ’が見えているにも拘わらず片側の線分Ｌのみが白線として表示され、位置Ｐ３になって初めて左右両側の線分Ｌ，Ｌ’が白線として表示されることになる。その結果、左右で認識バラツキが生じているような印象をドライバに与え、違和感を生じることになる。
【００２４】
これに対して、本実施の形態では、左右の一方の白線を認識信頼度の評価を経て認識完了したとき、他方の白線を認識するまで所定時間だけ待機する。その間に、他方の白線も認識すれば、左右同時に白線を認識したこととして左右同時に表示し、所定の待機時間が経過してしまった場合には、既に認識が完了している側のみ白線を表示する。これにより、左右の白線を表示する際に、左右で認識バラツキが生じているかのような印象をドライバに与えることがなく、違和感のない白線表示とすることができる。
【００２５】
この場合、本当に片側にしか白線が存在しない状況においても上述の処理を毎回行うと、処理が冗長となって認識率の低下を招くことになる。そのため、認識状態監視部１３では、左右の白線でそれぞれ反対側の認識状態を監視し、所定の監視時間内で白線として認識できる状態ならば、もう片方が認識するまで待って左右の白線を同時に表示する。一方、予めもう一方の白線がないこと、若しくは認識するまでに監視時間を超えて時間がかかることがわかった場合には、所定の時間待つことなく、片側のみ表示する。これにより、認識率の低下を最小限に抑えつつ左右白線の認識バラツキを軽減することができる。
【００２６】
このため、認識状態監視部１３では、認識信頼度の評価対象となる複数の特徴量Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，…に対して、図３に示すような信頼度評価用カウンタを導入する。そして、この信頼度評価用カウンタを用いて、認識信頼度の評価を経て認識が完了する（全ての特徴量が閾値を満たしたとき）までの認識完了時間Ｔ1を定義し、この認識完了時間Ｔ１を監視時間Ｔ2と比較して白線の表示タイミングを調整する。
【００２７】
具体的には、評価完了までの閾値と信頼度評価用カウンタとの差分から、各特徴量Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，…の評価が完了するまでの時間を推定し、その中で最も時間がかかる特徴量の時間を、白線の認識が完了するまでの認識完了時間Ｔ1とする。図３においては、特徴量Ｍ２についての時間が該当する。
【００２８】
この場合、一方の白線の認識が完了してからの経過時間ｔに対して、他方の側の白線の認識完了時間Ｔ1は、例えば図４の関係で示される。図４は、経過時間ｔが増加するに伴い、認識完了時間Ｔ1が小さくなることを示している。但し、認識完了時間Ｔ1は経過時間ｔに対して必ずしも単調的に減少するわけではなく、局所的には比例的に減少しない部分もある。
【００２９】
また、一方の白線を認識した場合に、他方の白線の認識状態を監視する監視時間Ｔ2は、一方の白線の認識を完了してからの経過時間ｔに応じて可変され、例えば、図５に示すような関係となる。図５は、監視時間Ｔ2の最大値を500msecとした場合の例であり、経過時間ｔが０のとき監視時間Ｔ2＝500msecで、経過時間ｔが500msecに達すると、監視時間Ｔ2は０すなわち待機終了となる。
【００３０】
認識状態監視部１３は、認識完了時間Ｔ1と監視時間Ｔ2とを比較し、両者の大小関係に基づいて、以下の（ａ），（ｂ）に示すように白線の表示タイミングを調整する。
（ａ）Ｔ1＜Ｔ2
認識完了時間Ｔ1が監視時間Ｔ2未満の場合には、もう一方の白線の認識評価完了間近であると判断し、その結果を待って白線の表示タイミングを決定する。
（ｂ）Ｔ1≧Ｔ2
認識完了時間Ｔ1が監視時間Ｔ2以上の場合、もう一方の白線の認識評価に時間がかかる、若しくはもう一方には白線は存在しないと判断し、その結果を待たずに、既に認識済みの片側の白線のみを表示する。
【００３１】
このように本実施の形態においては、左右の白線認識処理において、左右の車線の一方の認識を完了したとき、他方の車線の認識状態を監視して白線の認識結果をドライバに提示するタイミングを調整するため、左右白線の認識タイミングのバラツキを低減し、また、認識率の低下を最小限に抑えることができる。結果、車線認識結果の提示を、ドライバの感覚に略一致した違和感のないタイミングで行うことが可能となる。
【符号の説明】
【００３２】
１  カメラ
２  画像処理部
１０  車線認識装置
１１  白線認識部（車線認識部）
１２  白線評価部（車線評価部）
１３  認識状態監視部
１００  表示装置
Ｔ1  認識完了時間
Ｔ2  監視時間
【図１】
2017037472.tif 000003
【図２】
2017037472.tif 000004
【図４】
2017037472.tif 000005
【図５】
2017037472.tif 000006
【図３】
2017037472.tif 000007