(57)【要約】【課題】道路に描かれた区画線の画像認識において、認識対象の区画線と認識対象の区画線と紛らわしい非認識対象物とを的確に区別し、誤認識を抑制する。【解決手段】認識処理部１１は、車載カメラ２０によって撮像された画像から道路に描かれたペイント線の候補を認識し、認識されたペイント線の候補を過去の画像から認識された区画線につなげて区画線の候補である区画線候補を認識する。認識処理部１１は、認識された区画線候補の中から、車両の左側及び右側の直近にある区画線候補を自車区画線として特定する。認識処理部１１は、車両の左側及び右側の直近にある区画線候補が平行ではないと判断した場合、車両の左側及び右側の直近にある区画線候補のうち、車両が走行している車線の方向を推定し得る特定の基準情報で表される方向に対して差異が大きい方の区画線候補を、自車区画線から除外する。【選択図】図１
2019191741.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラ（２０）により撮像された画像の時系列から道路に描かれた区画線を認識する区画線認識装置（１０）であって、
前記画像に対する画像処理によって道路に描かれたペイント線の候補を認識し、認識されたペイント線の候補を、過去の画像から区画線と認識された線につなげて区画線の候補である区画線候補を認識するように構成された線認識部（１１，Ｓ１０２，Ｓ１０４）と、
前記線認識部により認識された区画線候補の中から、前記車両の左側及び右側の直近にある区画線候補を前記車両が走行している車線を区画する区画線である自車区画線として特定するように構成された区画線特定部（１１，Ｓ１０６）と、
前記車両が走行している車線の方向を推定し得る特定の基準情報を取得するように構成された基準取得部（１１，Ｓ３００，Ｓ３０６，Ｓ３０８）とを備え、
前記区画線特定部は、前記車両の左側及び右側の直近にある区画線候補が平行ではないと判断した場合、それらの区画線候補のうち前記基準取得部により取得された基準情報で表される方向に対して差異が大きい方の区画線候補を、前記自車区画線から除外するように構成されている、
区画線認識装置。
【請求項２】
前記車両が走行している道路の起伏状態を判定するように構成された起伏判定部（１１，Ｓ１００）を更に備え、
前記区画線特定部は、前記車両の左側及び右側の直近にある区画線候補が平行ではないと判断し、かつ、前記起伏判定部において道路が平坦であると判定された場合、それらの区画線候補のうち前記基準情報で表される方向に対して差異が大きい方の区画線候補を、前記自車区画線から除外するように構成されている、
請求項１に記載の区画線認識装置。
【請求項３】
前記基準取得部は、前記車両の走行軌跡を前記基準情報として取得するように構成されている、
請求項１又は請求項２に記載の区画線認識装置。
【請求項４】
前記基準取得部は、前記車両の左側及び右側の直近にある区画線候補の少なくとも一方と平行と判定される別の区画線候補を前記基準情報として取得するように構成され、
前記区画線特定部は、前記車両の左側及び右側の直近にある区画線候補が平行ではないと判断した場合、それらの区画線候補のうち前記基準情報の区画線候補と平行と判断されない方の区画線候補を前記自車区画線から除外するように構成されている、
請求項１に記載の区画線認識装置。
【請求項５】
前記区画線特定部は、前記車両の左側及び右側の直近にある区画線候補が平行ではないと判断した場合、前記基準情報の区画線候補と平行と判断されない方の区画線候補に代えて、前記基準情報の区画線候補を前記自車区画線として特定するように構成されている、
請求項４に記載の区画線認識装置。
【請求項６】
前記起伏判定部は、前記画像に写る前方車両の上下方向の動きに基づいて、道路の起伏状態を判定するように構成されている、
請求項２又は請求項２を引用する請求項３に記載の区画線認識装置。
【請求項７】
前記基準取得部は、前記車両が走行している車線に隣接する他の車線の区画線、又は道路の外側部に描かれている区画線に相当する区画線候補を前記基準情報として取得するように構成されている、
請求項４に記載の区画線認識装置。
【請求項８】
前記区画線特定部は、前記カメラにより撮像された画像を上視図に変換した画像に基づいて、前記車両の左側及び右側の直近にある区画線候補が平行であるか否かを判定するように構成されている、
請求項１ないし請求項７の何れか１項に記載の区画線認識装置。
【請求項９】
基準取得部は、複数種類の前記基準情報を取得するように構成されており、
前記区画線特定部は、前記車両の左側及び右側の直近にある区画線候補が平行ではないと判断した場合、それらの区画線候補のうち、方向が一致する前記基準情報が多い方の区画線候補を、前記自車区画線として優先的に適用し、他方を前記自車区画線から除外するように構成されている、
請求項１ないし請求項８の何れか１項に記載の区画線認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両が走行している道路に描かれた区画線を認識する区画線認識装置に関する。
【背景技術】
【０００２】
特許文献１には、車両が走行している道路の白線を認識する技術において、白線候補同士のコントラストの比率に基づいて、白線と消し線跡等のノイズとを区別し、誤認識を抑制する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１８６７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の先行技術においては、道路上のノイズが明瞭である場合、認識対象物と非認識対象物とのコントラストの比率が小さくなり、誤認識を抑制し難くなるといった問題がある。あるいは、従来、自車両が走行している車線から分岐する別の道路が接続しているシーンにおいて、自車両が走行している車線から分岐して描かれている別の白線を、自車両が走行している車線の白線と誤認識をし易いといった問題がある。
【０００５】
そこで、本開示の一局面は、認識対象の区画線と、認識対象の区画線と紛らわしい非認識対象物とを的確に区別し、誤認識を抑制するための技術を提供することが好ましい。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る区画線認識装置は、車両に搭載されたカメラ（２０）により撮像された画像の時系列から道路に描かれた区画線を認識するように構成されている。この区画線認識装置は、線認識部（１１，Ｓ１０２，Ｓ１０４）と、区画線特定部（１１，Ｓ１０６）と、基準取得部（１１，Ｓ３００，Ｓ３０６，Ｓ３０８）とを備える。なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【０００７】
線認識部は、画像に対する画像処理によって道路に描かれたペイント線の候補を認識し、認識されたペイント線の候補を過去の画像から認識された区画線につなげて区画線の候補である区画線候補を認識するように構成されている。区画線特定部は、線認識部により認識された区画線候補の中から、車両の左側及び右側の直近にある区画線候補を車両が走行している車線を区画する区画線である自車区画線として特定するように構成されている。基準取得部は、車両が走行している車線の方向を推定し得る特定の基準情報を取得するように構成されている。
【０００８】
そして、区画線特定部は、車両の左側及び右側の直近にある区画線候補が平行ではないと判断した場合、次のようにする。すなわち、区画線特定部は、車両の左側及び右側の直近にある区画線候補のうち基準取得部により取得された基準情報で表される方向に対して差異が大きい方の区画線候補を、自車区画線から除外する。
【０００９】
車両の左右両側において認識された区画線候補が平行でないと判断された場合、それらの区画線候補は、消し線跡や分岐線、路面の変色等を誤認識している可能性がある。そこで、本開示の区画線認識装置によれば、車線の方向を推定し得る基準情報を用いることで、誤認識の可能性がある区画線候補を認識の対象から除外することができる。このようにすることで、区画線と紛らわしいノイズや分岐線があるようなシーンにおいて、自車線の区画線に対する誤認識を抑制できる。
【図面の簡単な説明】
【００１０】
【図１】車載システムの構成を表すブロック図である。
【図２】車載カメラの撮像範囲を表す図である。
【図３】区画線と誤認識し得る事例を表す図である。
【図４】メイン処理の手順を表すフローチャートである。
【図５】区画線特定処理の手順を表すフローチャートである。
【図６】区画線特定処理による処理結果の一例を表す図である。
【図７】区画線再処理の手順を表すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の例示的な実施形態を図面に基づいて説明する。なお、本開示は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［車載システムの構成の説明］
本開示の実施形態である区画線認識装置１０を含む車載システムの構成について、図１を参照しながら説明する。この車載システムは、道路を走行する自動車に搭載されている。なお、この車載システムが搭載される車両を自車両と称する。図１に例示されるとおり、車載システムは、区画線認識装置１０と、この区画線認識装置１０に接続される車載カメラ２０、自車状態量検知部２１、及び運転支援制御部２２等の各部構成を備える。
【００１２】
区画線認識装置１０は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ、入出力インタフェース等を中心に構成された情報処理装置である。区画線認識装置１０は、例えば、コンピュータシステムとしての機能が集約されたマイクロコントローラ等により具現化される。区画線認識装置１０の機能は、ＣＰＵがＲＯＭや、半導体メモリ等の実体的な記録媒体に格納されたプログラムを実行することにより実現される。区画線認識装置１０を構成するマイクロコントローラの数は１つでも複数でもよい。
【００１３】
区画線認識装置１０は、機能の構成要素として認識処理部１１を備える。なお、区画線認識装置１０を構成する機能の構成要素を実現する手法は、ソフトウェアに限るものではなく、その一部又は全部の要素を論理回路やアナログ回路等を組合せたハードウェアを用いて実現してもよい。
【００１４】
認識処理部１１は、車載カメラ２０によって撮像される自車両前方の道路の画像から、道路上にペイント等によって描かれている区画線を認識する機能を有する。具体的には、認識処理部１１は、自車両が走行している車線の境界を示す区画線を認識し、認識された区画線の形状に基づいて自車線に関する道路形状を認識する機能を有する。なお、以下の説明において、自車両が走行している車線を自車線と称し、自車線の境界を表す区画線を自車区画線と称する。認識処理部１１が実行する各種処理の詳細な手順については、後述する。
【００１５】
車載カメラ２０は、自車両の前方の道路を含む領域を所定のフレームレートで連続的に撮像し、撮像された画像を区画線認識装置１０に入力する撮像装置である。車載カメラ２０の撮像範囲の一例を図２に示す。図２に例示されるとおり、車載カメラ２０は、自車両の前方における放射状の領域を撮像するように自車両に設置されている。
【００１６】
自車状態量検知部２１は、自車両の走行状態を表す各種情報を検知し、検知された情報を区画線認識装置１０に入力する。自車状態量検知部２１は、例えば、車速センサやジャイロセンサ、車高センサ等により具現化される。
【００１７】
運転支援制御部２２は、区画線認識装置１０により認識された区画線及び道路形状に関する情報に基づき、自車両の運転者に対する各種の運転支援を実行する制御装置である。本実施形態では、運転支援制御部２２が実行する運転支援として、車線逸脱警報機能や車線維持支援機能等を想定している。車線逸脱警報機能は、自車両が走行中の車線から逸脱する可能性があると判断した場合、警報等を出すことにより運転者に対して逸脱防止を促す機能である。車線維持支援機能は、自車両が車線から逸脱する可能性があると判断した場合、車線の中央付近を走行しやすいように操舵装置を自動的に制御する機能である。
【００１８】
運転支援制御部２２による車線逸脱警報機能や車線維持支援機能が的確に機能するためには、自車両の左右両側にある自車区画線を精度よく認識することが肝要となる。しかしながら、図３に例示されるように、カメラにより撮像された画像において、消し線跡や、自車線から分岐する別の車線に沿って描かれた分岐線、道路の補修跡や光の加減により路面の一部が線状に変色した部位といった、自車区画線と紛らわしい対象物が写る場合がある。そこで、区画線認識装置１０は、図３に例示されるような自車区画線と紛らわしい対象物を自車区画線と誤認識することを抑制するための処理を実行する。
【００１９】
［メイン処理の説明］
認識処理部１１が実行するメイン処理の手順について、図４のフローチャートを参照しながら説明する。このメイン処理は、所定の制御周期（例えば、車載カメラ２０のフレームレート）ごとに繰返し実行される。
【００２０】
Ｓ１００では、認識処理部１１は、車載カメラ２０によって撮像された画像に写る道路の起伏状態を判定する。具体的には、認識処理部１１は、複数の画像の時系列に写る他車両や特定の模様のオプティカルフローに基づいて導出される上下方向の動きに基づいて、道路の起伏の有無を判定する。また、認識処理部１１は、地図情報に含まれる道路の起伏に関する情報や、及び自車状態量検知部２１の車高センサやジャイロセンサによる検知情報に基づいて、道路の起伏の有無を判定してもよい。認識処理部１１は、道路の起伏の度合が所定の閾値以下である場合、平坦路シーンと判定する。
【００２１】
Ｓ１０２では、認識処理部１１は、車載カメラ２０によって撮像された画像の中から、画像処理により道路上に描かれたペイント線の候補を抽出する。具体的には、認識処理部１１は、公知の画像認識処理であるパターンマッチングや直線抽出ハフ変換処理等により、道路上のペイント線らしきものをペイント線の候補として抽出する。
【００２２】
Ｓ１０４では、認識処理部１１は、Ｓ１０２において認識されたペイント線の候補を、過去の画像から区画線と認識された線に接続して、区画線の候補となる線を作成する。具体的には、認識処理部１１は、過去の画像から認識された区画線と最も近い位置にあるペイント線の候補を、当該区画線の先につなげることで、過去に認識された区画線と連続する区画線の候補となる線を作成する。
【００２３】
Ｓ１０６では、認識処理部１１は、Ｓ１０４において作成された区画線の候補の中から自車両が走行している車線の境界を示す区画線である自車区画線を特定する、区画線特定処理を実行する。この区画線特定処理の詳細な手順については後述する。Ｓ１０８では、認識処理部１１は、Ｓ１０６において特定された自車区画線の形状に基づき、自車両が走行している車線の道路形状を推定する。そして、認識処理部１１は、道路形状の推定結果を表す情報を運転支援制御部２２に出力する。
【００２４】
［区画線特定処理の説明］
認識処理部１１が実行する区画線特定処理の手順について、図５のフローチャートを参照しながら説明する。この区画線特定処理は、上述のメイン処理（図４参照）のＳ１０６において実行される処理である。
【００２５】
Ｓ２００では、認識処理部１１は、メイン処理のＳ１０４において特定された区画線の候補のうち、自車両の左側及び右側直近にある２つの区画線の候補を自車区画線の候補として選択する。Ｓ２０２では、認識処理部１１は、Ｓ２００で選択された左右の自車区画線の候補が互いに平行であるか否かを判定する。具体的には、認識処理部１１は、図６の（１）の手順に例示されるように、自車区画線を含む道路の画像を鳥瞰変換により自車両の上方の視点からの上視図に変換し、変換された上視図に基づいて左右の自車区画線の候補の傾きを判定する。そして、認識処理部１１は、左右の自車区画線の傾きの差分が所定の閾値を超える場合、平行でないと判定する。
【００２６】
Ｓ２０４では、認識処理部１１は、Ｓ２０２の判定において左右の自車区画線の候補が平行と判定されたか否かに応じて処理を分岐する。左右の自車区画線の候補が非平行と判定された場合（Ｓ２０４：ＮＯ）、認識処理部１１は処理をＳ２０６に移す。一方、左右の自車区画線の候補が平行と判定された場合（Ｓ２０４：ＹＥＳ）、認識処理部１１はＳ２０６をスキップして区画線特定を終了する。
【００２７】
左右の自車区画線の候補が非平行と判定された場合に進むＳ２０６では、認識処理部１１は区画線再処理を実行する。区画線再処理は、図６の（２）の手順に例示されるように、非平行と判定された左右の自車区画線の候補のうち、誤認識の可能性のある区画線の候補を除外したり、他の区画線の候補を自車区画線として取り直す処理である。この区画線再処理の詳細な手順については後述する。
【００２８】
［区画線再処理の説明］
認識処理部１１が実行する区画線再処理の手順について、図７のフローチャートを参照しながら説明する。この区画線再処理は、上述の区画線特定処理（図５参照）のＳ２０６において実行される処理である。
【００２９】
Ｓ３００では、認識処理部１１は、画像内から認識された区画線の候補の中に、誤認識の可能性のある自車区画線の候補に代えて自車区画線として取り直すことが可能な他の区画線の候補が存在するか否かを判定する。具体的には、認識処理部１１は、非平行と判定された左右の自車区画線の候補の一方と平行と判定される他の区画線であって、従前に自車区画線として認識されていた位置と自車両を基準として左右方向の位置のずれが所定の閾値範囲内の区画線を、取り直し可能な区画線の候補として特定する。なお、Ｓ３００で特定される取り直し可能な区画線の候補が、本開示における基準情報の一部に相当する。
【００３０】
取り直し可能な区画線の候補が存在する場合（Ｓ３００：ＹＥＳ）、認識処理部１１は処理をＳ３０２に移す。Ｓ３０２では、認識処理部１１は、Ｓ３００で特定された取り直し可能な区画線の候補と、その区画線の候補と平行な自車区画線の候補とを、自車区画線として特定し、非平行な自車区画線の候補を認識の対象から除外する。
【００３１】
一方、Ｓ３００で取り直し可能な区画線の候補が存在しないと判定された場合（Ｓ３００：ＮＯ）、認識処理部１１は処理をＳ３０４に移す。Ｓ３０４では、認識処理部１１は、メイン処理のＳ１００における道路の起伏状態の判定結果に基づき、自車両が走行中の道路が平坦路シーンに該当するか否かを判定する。
【００３２】
道路が平坦路シーンに該当する場合（Ｓ３０４：ＹＥＳ）、認識処理部１１は処理をＳ３０６に移す。道路が平坦であるにも関わらず、左右の自車区画線の候補が非平行であるということは、どちらかの自車区画線の候補が車線に平行になっておらず誤認識である可能性が高い。そこでＳ３０６では、認識処理部１１は、左右の自車区画線の候補の方向と、自車線の方向を推定し得る特定の方向基準とを比較し、方向基準に対して傾きが大きい方の自車区画線の候補を除外し、他方の自車区画線の候補を自車区画線として特定する。Ｓ３０６で用いる方向基準は、例えば、自車状態量検知部２１により検知された車速及びヨーレートに基づいて算出した自車両の軌跡や回転半径等である。なお、Ｓ３０６で特定される方向基準が、本開示における基準情報の一部に相当する。
【００３３】
一方、Ｓ３０４で道路が平坦路シーンに該当しないと判定された場合（Ｓ３０４：ＮＯ）、認識処理部１１は処理をＳ３０８に移す。Ｓ３０８では、認識処理部１１は、自車線の方向を推定し得る基準となる周辺情報を取得する。例えば、認識処理部１１は、メイン処理のＳ１０４において特定された区画線の候補の中から、自車線に隣接する他の車線に設けられた区画線や、道路の外側部に描かれている車道外側線に相当する区画線の候補を周辺情報として取得する。あるいは、認識処理部１１は、車載カメラ２０により撮像された画像の時系列に写る他車両の走行軌跡を周辺情報として取得してもよい。なお、Ｓ３０８で取得される周辺情報が、本開示における基準情報の一部に相当する。
【００３４】
Ｓ３１０では、認識処理部１１は、Ｓ３０８の処理において取得された周辺情報があるか否かを判定する。周辺情報がある場合（Ｓ３１０：ＹＥＳ）、認識処理部１１は処理をＳ３１２に移す。Ｓ３１２では、認識処理部１１は、左右の自車区画線の候補の方向と、周辺情報が示す方向とを比較し、周辺情報が示す方向に対して傾きが大きい方の自車区画線の候補を認識の対象から除外し、他方の自車区画線の候補を自車区画線として特定する。一方、Ｓ３１０において周辺情報がないと判定された場合（Ｓ３１０：ＮＯ）、認識処理部１１は区画線再処理を終了する。
【００３５】
なお、Ｓ３０６及びＳ３１２において、複数種類の方向基準及び周辺情報を用いて、それらの方向基準及び周辺情報が示す方向とより多く一致する方の自車区画線の候補を優先的に採用し、一致が少ない方の自車区画線の候補を認識の対象から除外する構成であってもよい。
【００３６】
［効果］
実施形態の区画線認識装置１０によれば、以下の効果を奏する。
自車両の両側において認識された自車区画線の候補が平行でない場合、道路が平坦シーンであると判定されたことを条件に、自車両の軌跡等に基づく方向基準を用いることで、誤認識の可能性がある自車区画線の候補を認識の対象から除外することができる。あるいは、道路が平坦シーンに該当しない場合、画像から取得された周辺情報を用いることで、誤認識の可能性がある自車区画線の候補を認識の対象から除外することができる。
【００３７】
上述のように、道路が平坦シーンに該当するか否かに応じて処理を分けるのは、次のような理由による。道路が平坦シーンである場合、画像に写っている左右の自車区画線の候補は、互いに平行である可能性が高い。したがって、左右の自車区画線の候補における平行性が崩れている場合、誤認識をしている可能性が高いと判断できる。一方、道路が平坦シーンに該当しない場合、画像に写っている左右の自車区画線の候補が互いに平行になる可能性が低いため、平行性に基づく誤認識の判断が困難となる。そこで、道路が平坦シーンに該当しない場合には、同じ画像の中から取得された他の区画線等の周辺情報に基づく方向基準と比較することで、区画線と紛らわしいノイズや分岐線を的確に判別して自車区画線に対する誤認識を抑制することができる。
【００３８】
また、自車区画線の候補が平行でない場合であって、取り直し可能な他の区画線の候補がある場合、誤認識の可能性がある自車区画線の候補に代えて、取り直し可能な区画線を自車区画線として特定することができる。このようにすることで、誤認識を抑制してより確からしい区画線を自車区画線として特定することができる。
【００３９】
［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
認識処理部１１が実行するＳ１０２及びＳ１０４の処理が、線認識部としての処理に相当する。認識処理部１１が実行するＳ１０６の処理が、区画線特定部としての処理に相当する。認識処理部１１が実行するＳ３００、Ｓ３０６、及びＳ３０８の処理が、基準取得部としての処理に相当する。認識処理部１１が実行するＳ１００の処理が、起伏判定部としての処理に相当する。
【００４０】
［変形例］
上述の区画繊細処理（図７参照）のＳ３０６の処理において、次のようにして認識の対象から除外する自車区画線の候補を特定してもよい。すなわち、過去の画像から自車区画線と認識された線の形状に対して、形状の差異変化が大きい方の自車区画線の候補を認識の対象から除外する。ここでいう形状変化とは、例えば、進行方向に対する横位置、ヨー角、曲率、クロソイド曲線における曲率の変化の割合等の少なくとも何れかを含む。認識処理部１１は、それらの形状変化の著しい方の自車区画線の候補を除外し、他方の自車区画線の候補を自車区画線として特定する。
【００４１】
上記各実施形態における１つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を１つの構成要素に発揮させたりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が、本開示の実施形態である。
【００４２】
上述した区画線認識装置１０を構成要件とするシステム、区画線認識装置１０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の実体的な記録媒体、区画線認識方法等の種々の形態で本開示を実現することもできる。
【符号の説明】
【００４３】
１０…区画線認識装置、１１…認識処理部、２０…車載カメラ、２１…自車状態量検知部、２２…運転支援制御部。
【図１】
2019191741.tif 000003
【図２】
2019191741.tif 000004
【図３】
2019191741.tif 000005
【図４】
2019191741.tif 000006
【図５】
2019191741.tif 000007
【図６】
2019191741.tif 000008
【図７】
2019191741.tif 000009