(57)【要約】【課題】車両が走行する走行路を区画するレーンマークを適切に検出する技術を提供する。【解決手段】検出装置は、画像取得部Ｓ１００と、候補抽出部Ｓ１１０と、輝度判断部Ｓ１６０と、複数判断部Ｓ１９０と、認識部Ｓ２１０と、出力部Ｓ４０と、を備える。候補抽出部は、特徴点に基づいて撮影画像から区画線の候補である少なくとも１つの線候補を抽出する。輝度判断部は、少なくとも１つの線候補のそれぞれについて、線候補の輝度が予め定められた輝度閾値以上であるか否かを判断する。認識部は、線候補であって輝度が輝度閾値以上であると判断された複数の区画候補がある場合に、複数の区画候補のうち車両に最も近い区画候補走行区画線として認識する。【選択図】図７
2019020957.tif 000002
【特許請求の範囲】
【請求項１】
車両（７０）に搭載された検出装置（３０）であって、
前記車両に搭載された少なくとも１つのカメラ（１０）により撮影された画像であって前記車両が走行する道路である走行路が含まれる撮影画像を繰り返し取得するように構成された画像取得部（Ｓ１００）と、
前記撮影画像において隣接する画素の間で輝度が所定の変化閾値以上変化する点を表す特徴点に基づいて、前記撮影画像から車線を区画する区画線の候補である少なくとも１つの線候補を抽出するように構成された候補抽出部（Ｓ１１０）と、
前記線候補のそれぞれについて、前記線候補の輝度を取得し、前記線候補の輝度が予め定められた輝度閾値以上であるか否かを判断するように構成された輝度判断部（Ｓ１６０）と、
前記線候補であって前記輝度判断部によって前記線候補の輝度が前記輝度閾値以上と判断された区画候補が複数あるか否かを判断するように構成された複数判断部（Ｓ１９０）と、
前記複数判断部によって複数の前記区画候補があると判断された場合に、前記複数の区画候補のうち前記車両に最も近い区画候補を、前記車両が走行する車線を区画する区画線である走行区画線として認識するように構成された認識部（Ｓ２１０）と、
前記認識部による認識結果を出力する出力部（Ｓ４０）と、
を備える検出装置。
【請求項２】
請求項１に記載の検出装置であって、
前記認識部によって認識された前記走行区画線の輝度を表す走行区画線輝度を記憶部（４２）に記憶させるように構成された蓄積部（Ｓ２２０）と、
過去に前記蓄積部に蓄積されている前記走行区画線輝度である複数の過去輝度についての平均的な値である平均輝度を取得し、前記平均輝度に基づいて前記平均輝度よりも小さい値である参照値を算出し、前記参照値を新たな前記輝度閾値として前記蓄積部に蓄積し直す更新部（Ｓ２５０）と、を更に備え
前記輝度判断部は、前記蓄積部から前記輝度閾値を取得し、判断するように構成された
検出装置。
【請求項３】
請求項２に記載の検出装置であって、
前記車両周辺の走行路の明るさが所定の条件を満たすか否かを判断するように構成された環境判断部（Ｓ１４０、Ｓ２３０）、
を更に備える検出装置。
【請求項４】
請求項３に記載の検出装置であって、
前記更新部は、前記環境判断部（Ｓ２３０）によって前記車両周辺の走行路の明るさが前記所定の条件を満たすと判断された場合に、前記参照値を前記新たな輝度閾値として前記記憶部に記憶させることを中止するように構成された
検出装置。
【請求項５】
請求項３または請求項４のいずれか一項に記載の検出装置であって、
前記認識部は、前記環境判断部（Ｓ１４０）によって前記車両周辺の走行路の明るさが前記所定の条件を満たすと判断された場合に、前記候補抽出部によって抽出された全ての前記少なくとも１つの線候補のうち前記車両に最も近い線候補を前記走行区画線として認識するように構成された
検出装置。
【請求項６】
請求項３から請求項５のいずれか一項に記載の検出装置であって、
前記環境判断部は、前記車両周辺の走行路の明るさが、前記区画線の輝度と路面の輝度との差が所定の明閾値未満となる明るさであること、を前記所定の条件として、判断するように構成された
検出装置。
【請求項７】
請求項３から請求項６のいずれか一項に記載の検出装置であって、
前記環境判断部は、前記車両周辺の走行路の明るさが、低輝度領域の輝度と前記路面の輝度との差が所定の暗閾値未満となる明るさであること、を前記所定の条件として判断するように構成されており、
前記低輝度領域は、前記区画線と平行となるように前記路面上に位置する複数の線状の領域のそれぞれであって、前記路面よりも輝度が低い領域を表すこと、を特徴とする
検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像からレーンマークを認識する技術に関する。
【背景技術】
【０００２】
特許文献１には、車両に搭載されたカメラにより撮影された画像からレーンマークの候補となる複数の線候補が検出された場合には、複数の線候補のうち輝度が最も高い線候補をレーンマークとして認識する、という技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１９７８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、レーンマークには、例えば黄線等といった、白線よりも輝度の低い線が含まれ得る。発明者の詳細な検討の結果、特許文献１に記載の技術では、車両が走行する走行路を区画するレーンマークを検出する際、例えば白線及び黄線等といった輝度の異なる複数の線候補が検出された場合には、常に白線のみがレーンマークとして認識されるおそれがある、という課題が見出された。つまり、特許文献１に記載の技術では、車両が走行する走行路を区画するレーンマークを適切に検出できないおそれがある、という課題が見出された。
【０００５】
本開示の１つの局面は、車両が走行する走行路を区画するレーンマークを適切に検出する技術を提供する。
【課題を解決するための手段】
【０００６】
本開示の１つの局面は、車両（７０）に搭載された検出装置（３０）である。検出装置は、画像取得部（Ｓ１００）と、候補抽出部（Ｓ１１０）と、輝度判断部（Ｓ１６０）と、複数判断部（Ｓ１９０）と、認識部（Ｓ２１０）と、出力部（Ｓ４０）と、を備える。
【０００７】
画像取得部（Ｓ１００）は、車両に搭載された少なくとも１つのカメラにより撮影された画像であって車両が走行する道路である走行路が含まれる撮影画像を繰り返し取得するように構成されている。候補抽出部（Ｓ１１０）は、撮影画像において隣接する画素の間で輝度が所定の変化閾値以上変化する点を表す特徴点に基づいて、撮影画像から車線を区画する区画線の候補である少なくとも１つの線候補を抽出するように構成されている。
【０００８】
輝度判断部（Ｓ１６０）は、線候補のそれぞれについて、線候補の輝度を取得し、線候補の輝度が予め定められた輝度閾値以上であるか否かを判断するように構成されている。複数判断部（Ｓ１９０）は、線候補であって輝度判断部によって線候補の輝度が輝度閾値以上と判断された区画候補が複数あるか否かを判断するように構成されている。
【０００９】
認識部（Ｓ２１０）は、複数判断部によって複数の区画候補があると判断された場合に、複数の区画候補のうち車両に最も近い区画候補を、車両が走行する車線を区画する区画線である走行区画線として認識するように構成されている。出力部（Ｓ４０）は、認識部による認識結果を出力する。
【００１０】
このような構成によれば、複数の区画候補が検出された場合には、車両に最も近い区画候補を走行区画線として認識するので、区画線の輝度の違いによらず、走行区画線を適切に検出することができる。
【００１１】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１２】
【図１】運転支援システムの構成を示すブロック図。
【図２】カメラの配置位置の一例を示す説明図。
【図３】ＥＣＵの機能を示す説明図。
【図４】鳥瞰図画像の模式図。
【図５】図４の領域Ａにおける区画線及び補修跡の輝度を示す説明図。
【図６】検出処理のフローチャート。
【図７】認識処理のフローチャート。
【図８】輝度閾値を説明する説明図。
【図９】カメラの配置位置の他の例を示す説明図。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
［１−１．全体構成］
図１に示す本実施形態の運転支援システム１は、車両７０に搭載される。運転支援システム１は、車両７０の周囲を撮影した画像から道路の区画線を認識し、走行路パラメータを推定し、その推定された走行路パラメータに基づいて各種運転支援を実行する。なお、区画線とは、所謂レーンマーカのことであり、走行路の車線を区画するように路面に描かれた白線や黄線である。走行路とは、車両が走行する道路である。走行路パラメータとは、車両７０に対する走行路の状態および走行路の形状を表すものである。
【００１４】
運転支援システム１は、ＥＣＵ３０を備える。運転支援システム１は、カメラ１０と、センサ群２０と、車両制御装置５０と、を備えていてもよい。
カメラ１０は、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及びリアカメラ１４を備える。各カメラ１１〜１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いて構成され得る。
【００１５】
図２に示すように、フロントカメラ１１は、車両前方の路面が撮影範囲となるように、例えば、車両前端のバンパーに設置される。左サイドカメラ１２は、車両左側方の路面が撮影範囲となるように、例えば、左側のサイドミラーに設置される。右サイドカメラ１３は、車両右側方の路面が撮影範囲となるように、例えば、右側のサイドミラーに設置される。リアカメラ１４は、車両後方の路面が撮影範囲となるように、例えば、車両後端のバンパーに設置される。
【００１６】
各カメラ１１〜１４は、予め設定された時間間隔、例えば、数十ｍｓｅｃ間隔で繰り返し撮影し、カメラ画像をＥＣＵ３０へ出力する。
センサ群２０は、車両７０の挙動を測定するセンサである。具体的には、センサ群２０は、車両７０の車速を測定する車速センサ、及び車両７０のヨーレートを測定するヨーレートセンサ等を備える。なお、センサ群２０は、車両７０の位置を検出するＧＰＳセンサ、車両７０の周辺に存在する物標との距離や相対速度を検出するレーダセンサ、車両７０の周囲の明るさを検出する照度センサ等を備えていても良い。センサ群２０は、センサ値等といった検出結果をＥＣＵ３０へ出力する。
【００１７】
車両制御装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリを有すマイクロコンピュータを備える。車両制御装置５０は、ＥＣＵ３０から出力される区画線の認識結果に基づいて、車両７０が車線内を走行するように、車両７０の操舵や、ブレーキ、エンジン等を制御する。区画線の認識結果には、走行路パラメータが含まれ得る。
【００１８】
ＥＣＵ３０は、ＣＰＵ４１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ４２）と、を有するマイクロコンピュータを備える。ＥＣＵ３０の各種機能は、ＣＰＵ４１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ４２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、ＥＣＵ３０は、１つのマイクロコンピュータを備えていても良いし、複数のマイクロコンピュータを備えていても良い。
【００１９】
ＥＣＵ３０は、図３に示すように、ＣＰＵ４１がプログラムを実行することで実現される機能の構成として、入力処理部３１、合成処理部３２、認識処理部３３、及び出力処理部３４を備える。また、認識処理部３３は、出力部画像取得部、候補抽出部、輝度判断部、複数判断部、認識部、蓄積部、更新部、環境判断部及び出力部を備える。これらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
【００２０】
［１−２．撮影画像における走行路の特徴］
図４に、合成処理部３２により生成された鳥瞰図画像の模式図を示す。図の中央に破線で示す領域は、車両７０が存在する車両領域である。合成処理部３２は、４つのカメラ１１−１４で撮影されたカメラ画像を合成して鳥瞰図に変換し、車両領域を取り囲む鳥瞰図画像を生成する。図４に示す鳥瞰図画像では、走行路において、実線の黄線、及び実線の白線と、補修跡と、が存在している。
【００２１】
ここで、実線の黄線及び実線の白線は、区画線である。通常、白線の輝度は、黄線の輝度よりも大きくなる。従って、仮に、撮影画像において最も輝度の大きい区画線が走行区画線として常に検出されるとすると、黄線が走行区画線として検出されないおそれがある。なお、走行区画線とは、車両が走行する車線を区画する区画線を表す。
【００２２】
一方、補修跡は、路面の亀裂を補修した跡である。補修跡には、例えば、アスファルトの路面の亀裂をタールで補修した跡や、コンクリートの路面の亀裂をアスファルトで補修した跡等が含まれ得る。路面の亀裂は、特に北米等の雪の多い地域において、タイヤの圧迫を受けて区画線に沿って生じることが多く、補修跡は、区画線に沿った直線状になることが多い。
【００２３】
通常、補修跡の輝度は、白線及び黄線といった区画線の輝度よりも小さくなる。また、補修跡の輝度は、路面の輝度よりも小さくなる。また、一般に、撮影画像から抽出された特徴点にハフ変換等の処理を施して得られた直線が、区画線として認識される。ここでいう特徴点とは、エッジ点のことをいう。エッジ点とは、撮影画像において、隣接する画素の間で輝度が所定の閾値である変化閾値以上変化する点のことをいう。
【００２４】
従って、例えば図４及び図５示すように、区画線と略平行に延びる複数の補修跡が間に路面を挟んで位置しており、複数の補修跡の間隔が区画線の幅と略同様であるような場合、複数の補修跡に挟まれた路面が区画線として誤検出されるおそれがある。補修跡のように路面より輝度の低い部位が存在すると、この輝度の低い部分が路面として誤認識され、本来の路面が区画線として誤認識されるからである。
【００２５】
以下でいう低輝度領域とは、区画線と平行となるように路面上に位置する複数の線状の領域のそれぞれであって、互いに区画線の幅と同程度に離れており、路面よりも輝度が低い領域を表す。低輝度領域には、上述の補修跡が含まれ得る。また、低輝度領域には、上記路面の亀裂や、他にタイヤ痕等が含まれ得る。
【００２６】
なお、ここでいう平行とは、厳密な意味での平行に限るものではなく、上記と同様に誤認識されるおそれがあるのであれば、厳密に平行でなくてもよい。また、ここでいう線とは、厳密な意味での線に限るものではなく、上記と同様に誤認識されるおそれがあるのであれば、厳密に線でなくてもよい。また、ここでいう区画線の幅と同程度とは、厳密な意味での区画線と同じ幅に限るものではなく、上記と同様に誤認識されるおそれがあるのであれば、厳密に区画線と同じ幅でなくてもよい。
【００２７】
以下でいう非区画線領域とは、路面において複数の低輝度領域に挟まれた領域であって、区画線として誤認識されるおそれのある、区画線と略平行な領域をいう。
走行路の撮影画像においては、このような特徴がある。そこで、本実施形態では、ＥＣＵ３０は、後述する検出処理を実行することによって、区画線の輝度の違いによらず、走行区画線を適切に検出するように構成されている。またＥＣＵ３０は、検出処理を実行することによって、補修跡等による非区画線領域と区画線とを判別するように構成されている。
【００２８】
［２．処理］
［２−１．検出処理］
次に、ＥＣＵ３０が実行する検出処理について、図６のフローチャートを用いて説明する。検出処理は、上述した走行路の撮影画像における特徴に基づいて、走行区画線を認識して出力する処理手順を表す。本検出処理は、カメラ１１−１４の撮影時間間隔で、繰り返し実行される。
【００２９】
まず、ＥＣＵ３０は、ステップ（以下、Ｓと記載）１０では、カメラ１１−１４により撮影されたカメラ画像を取得し、取得したカメラ画像をサンプリングすることでデジタル信号に変換する。
【００３０】
ＥＣＵ３０は、Ｓ２０では、デジタル信号化された４つのカメラ画像を、予め設定された仮想視点から見た鳥瞰図に変換して合成し、車両７０の周囲を映した鳥瞰図画像を生成する。
【００３１】
ＥＣＵ３０は、Ｓ３０では、認識処理を実行することによって、ステップＳ２０で生成した鳥瞰図画像から走行区画線を認識する。認識処理の詳細については後述する。
ＥＣＵ３０は、Ｓ４０では、認識処理にて認識された走行区画線の走行路パラメータを推定する。そして、ＥＣＵ３０は、走行路パラメータを、走行区画線の認識結果として、車載ネットワークを介して車両制御装置５０へ出力する。走行路パラメータには、例えば、区画線の曲率、車線幅、車両７０の進行方向と区画線の接線方向とのなす角度等が含まれ得る。ＥＣＵ３０は、以上で本認識処理を終了する。
【００３２】
なお、上記実施形態において、Ｓ１０が入力処理部３１による処理に相当し、Ｓ２０が合成処理部３２による処理に相当し、Ｓ３０が認識処理部３３による処理に相当し、Ｓ４０が出力処理部３４による処理に相当する。
【００３３】
［２−２．認識処理］
次に、ＥＣＵ３０が検出処理のＳ３０にて実行する認識処理の処理手順について、図７のフローチャートを用いて説明する。
【００３４】
まず、Ｓ１００では、撮影画像を取得する。ここでいう撮影画像とは、車両７０に搭載された少なくとも１つのカメラ１０により撮影された画像であって走行路が含まれる画像である。具体的には、ＥＣＵ３０は、Ｓ２０にて生成された鳥瞰図画像を撮影画像として取得する。
【００３５】
ＥＣＵ３０は、Ｓ１１０では、撮影画像におけるエッジ点に基づいて、撮影画像から線候補を抽出する。線候補とは、車線を区画する区画線の候補である。エッジ点を抽出する際の変化閾値は、メモリ４２に予め記憶されている。
【００３６】
具体的には、ＥＣＵ３０は、Ｓ１００にて取得された鳥瞰図画像にｓｏｂｅｌフィルタ等を適用して、エッジ点を検出する。そして、ＥＣＵ３０は、検出されたエッジ点にハフ変換等を適用して直線を検出し、検出された直線を線候補として抽出する。なお、ＥＣＵ３０は、車両７０の左側及び右側において、それぞれ、線候補を抽出する。なお、抽出された線候補は、車両７０から所定範囲に存在する線候補を抽出するようにしても良い。具体的には、車両７０から所定範囲よりも外側に存在する線候補は、隣接する車線である蓋然性が高いため、そのような線候補については除外することで、処理負荷を低減することができる。
【００３７】
ＥＣＵ３０は、Ｓ１２０では、線候補の輝度を取得する。線候補の輝度とは、Ｓ１１０にて抽出された線候補の輝度値を表す。具体的には、ＥＣＵ３０は、鳥瞰図画像において、線候補に含まれる全ての画素について輝度値の平均値を算出し、該平均値を線候補の輝度として取得する。但し、線候補の輝度の算出方法は、これに限定されるものではない。ＥＣＵ３０は、線候補に含まれる任意の複数の画素について輝度値の平均値を算出し、該平均値を線候補の輝度として取得するように構成され得る。なお、ＥＣＵ３０は、車両７０の左側及び右側において、それぞれ、線候補が複数ある場合、複数の線候補のそれぞれについて、線候補の輝度を取得する。
【００３８】
ＥＣＵ３０は、Ｓ１３０では、輝度閾値を取得する。輝度閾値とは、予め定められた値であって、区画線と非区画線領域とを判別するために用いられる値である。輝度閾値は、後述するようにメモリ４２に記憶されている。
【００３９】
ＥＣＵ３０は、Ｓ１４０では、車両７０の周辺（以下、車両周辺）の走行路の明るさが所定の条件を満たすか否かを判断する。なお、ここでいう車両周辺の走行路の明るさには、車両７０の周辺の走行路そのものの明るさの他、車両７０の周辺における明るさ、が含まれ得る。以下では、車両周辺の走行路の明るさを、単に、走行路の明るさという。ＥＣＵ３０は、走行路の明るさが所定の条件を満たす場合に処理をＳ１５０へ移行させ、走行路の明るさが所定の条件を満たさない場合に処理をＳ１６０へ移行させる。
【００４０】
本Ｓ１４０は、後述するＳ１６０−Ｓ１８０、及びＳ２４０−Ｓ２５０を実行しない処理とするか否かを判断するための処理である。Ｓ１６０−Ｓ１８０の処理は、後述するように、線候補であってその輝度が輝度閾値未満である線候補を区画候補から除外するための処理である。Ｓ２４０−Ｓ２５０の処理は、後述するように、輝度閾値を更新するための処理である。
【００４１】
本実施形態では、走行路の明るさが、区画線の輝度と路面の輝度との差が所定の閾値（以下、明閾値）未満となる明るさであること（以下、明条件）、を上記所定の条件とする。例えば、快晴時におけるコンクリートの走行路が、走行路の明るさが明条件を満たす例として挙げられる。この場合、日光の影響により、路面の輝度が、白線や黄線といった区画線の輝度と同等の大きさを有するようになり得る。つまり、路面の輝度と、白線や黄線といった区画線の輝度との差が、明閾値未満となり得るのである。ここでいう明閾値とは、例えば０に近いような、路面の輝度や区画線の輝度に比べて十分に小さい値であり得る。
【００４２】
更に、本実施形態では、走行路の明るさが、上記低輝度領域の輝度と路面の輝度との差が所定の閾値（以下、暗閾値）未満となる明るさであること（以下、暗条件）、を上記所定の条件とする。例えば、夜間における走行路や、トンネル内における走行路等が、走行路の明るさが暗条件を満たす例として挙げられる。この場合、路面が、補修跡と同等の輝度を有するようになり得る。つまり、路面の輝度と、補修跡等といった低輝度領域の輝度との差が、暗閾値未満となり得るのである。ここでいう暗閾値とは、例えば０に近いような、路面の輝度や補修跡の輝度に比べて十分に小さい値であり得る。なお、上記明閾値及び上記暗閾値は、同じ値であっても良い。上記明閾値及び上記暗閾値は、実験等によって確認され得る。
【００４３】
具体的には、ＥＣＵ３０は、本ステップでは、Ｓ１３０にて取得した輝度閾値が所定の範囲内の値である場合に、走行路の明るさが所定の条件を満たしていないと判断する。換言すれば、図８に示すように、取得された輝度閾値が所定の上限閾値以上である場合、又は、取得された輝度閾値が上限閾値よりも小さい所定の下限閾値未満である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断される。
【００４４】
後述するように、輝度閾値は、過去に認識された走行区画線の輝度に基づく値に比例する値である。つまり、輝度閾値は、走行路の明るさが明条件を満たす程度に十分明るい場合は、大きい値になる。また、輝度閾値は、走行路の明るさが暗条件を満たす程度に十分暗い場合は、小さい値になる。
【００４５】
そこで、本ステップでは、ＥＣＵ３０は、輝度閾値が所定の範囲内であるか否かに基づいて、上記走行路の明るさが上記所定の条件を満たしているか否かを判断しているのである。つまり、輝度閾値が上限閾値以上である場合は、上記走行路の明るさが上記明条件を満たしていると判断される。すなわち、上記走行路の明るさが上記所定の条件を満たしていると判断される。また、輝度閾値が下限閾値未満である場合は、上記走行路の明るさが暗条件を満たしていると判断される。すなわち、上記走行路の明るさが上記所定の条件を満たしていると判断される。ここでいう所定の範囲を表すための上限閾値及び下限閾値は、実験等によって予め定められており、メモリ４２に記憶されている。
【００４６】
ＥＣＵ３０は、Ｓ１５０では、Ｓ１６０−Ｓ１８０の処理の例外として、Ｓ１１０にて検出された全ての線候補を後述する区画候補として設定する。そして、ＥＣＵ３０は、処理をＳ１９０へ移行させる。
【００４７】
ＥＣＵ３０は、Ｓ１６０では、線候補のそれぞれについて、線候補の輝度を取得し、線候補の輝度が輝度閾値以上であるか否かを判断する。ここで、ＥＣＵ３０は、線候補の輝度が輝度閾値以上である場合に処理をＳ１７０へ移行させる。そしてＳ１７０では、ＥＣＵ３０は、Ｓ１６０にて輝度閾値以上であると判断された線候補を区画候補として設定し、処理をＳ１８０へ移行させる。一方、ＥＣＵ３０は、線候補の輝度が輝度閾値未満である場合に処理をＳ１８０へ移行させる。
【００４８】
後述するように、輝度閾値は、過去に認識された走行区画線の輝度に基づく値に比例する値である。且つ、輝度閾値は、過去に認識された走行区画線の輝度に近い値であって、該過去に認識された走行区画線の輝度よりも小さい値である。
【００４９】
このため、図８に示すように、線候補の輝度が輝度閾値以上であるということは、より走行区画線らしい、ということを表している。つまり、区画候補とは、より走行区画線らしいもの、を表している。換言すれば、線候補の輝度が輝度閾値以上であるということは、非区画線領域ではないということを表している。Ｓ１６０の処理は、線候補の輝度を輝度閾値と比較することによって、複数の線候補の中から非区画線領域を判別するための処理である。
【００５０】
ＥＣＵ３０は、Ｓ１８０では、Ｓ１１０にて検出された全ての線候補のそれぞれについてＳ１６０の判断が実行されるまで、Ｓ１６０−Ｓ１８０の処理を繰り返す。ＥＣＵ３０は、Ｓ１１０にて検出された全ての線候補についてＳ１６０の判断が実行された場合に、処理をＳ１９０へ移行させる。
【００５１】
ＥＣＵ３０は、Ｓ１９０では、Ｓ１５０又はＳ１７０にて、複数の区画候補が設定されているか否かを判断する。ＥＣＵ３０は、１つの区画候補が設定されている場合に処理をＳ２００へ移行させ、複数の区画候補が設定されている場合に処理をＳ２１０へ移行させる。
【００５２】
ＥＣＵ３０は、Ｓ２００では、１つの区画候補が設定されている場合に、該区画候補を走行区画線として確定する。そして、ＥＣＵ３０は、処理をＳ２２０へ移行させる。
ＥＣＵ３０は、Ｓ２１０では、複数の区画候補が設定されている場合に、複数の区画候補のうち車両７０に最も近い区画候補を走行区画線として確定する。そして、ＥＣＵ３０は、処理をＳ２２０へ移行させる。なお、ＥＣＵ３０は、車両７０の右側及び左側のそれぞれにおいて、走行区画線を確定する。つまり、ＥＣＵ３０は、車両７０の走行路の左右の境界を表していると推定される一対の走行区画線を確定する。但し、これに限定されること無く、ＥＣＵ３０は、車両７０の右側及び左側の少なくとも一方において走行区画線を確定するように構成され得る。
【００５３】
ＥＣＵ３０は、Ｓ２２０では、走行区画線輝度をメモリ４２に記憶させる。走行区画線輝度とは、Ｓ２００又はＳ２１０にて確定された走行区画線の輝度である。具体的には、Ｓ１２０にて取得された線候補の輝度のうち、走行区画線として確定された線候補の輝度を、走行区画線輝度として用いる。
【００５４】
ＥＣＵ３０は、Ｓ２３０では、Ｓ１４０と同様に、上記走行路の明るさが上記所定の条件を満たすか否かを判断する。ＥＣＵ３０は、上記走行路の明るさが上記所定の条件を満たす場合に、本認識処理を終了させ、上記走行路の明るさが上記所定の条件を満たさない場合に、処理をＳ２４０へ移行させる。
【００５５】
但し、ＥＣＵ３０は、本ステップではＳ１４０と異なり、Ｓ２２０にてメモリ４２に記憶させた走行区画線輝度が、所定値以内である場合に、上記走行路の明るさが上記所定の条件を満たさないと判断する。具体的には、ＥＣＵ３０は、上記走行区画線輝度が、所定の第１の閾値以上である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断する。また、ＥＣＵ３０は、走行区画線輝度が第１の閾値よりも小さい第２の閾値未満である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断する。
【００５６】
第１の閾値及び第２の閾値は、実験等によって予め定められており、メモリ４２に記憶されている。なお、第１の閾値は上記上限閾値に対応する値であり、第２の閾値は上記下限閾値に対応する値である。
【００５７】
ＥＣＵ３０は、Ｓ２４０では、平均輝度を算出する。平均輝度とは、複数の過去輝度についての平均的な値である。過去輝度とは、過去にメモリ４２に蓄積されている走行区画線輝度である。ここでは、直近の過去の所定期間においてメモリ４２に蓄積された複数の過去輝度の平均値を平均輝度として算出する。
【００５８】
ＥＣＵ３０は、Ｓ２５０では、参照値を算出する。参照値とは、平均輝度に所定の倍数αを乗じた値である。倍数αは１未満の値であり、例えば、０．７〜０．８といった値に設定され得る。但し、これに限定されるものではなく、倍数αは、実験等に基づいて適宜設定され得る。そして、ＥＣＵ３０は、算出した参照値を新たな上記輝度閾値としてメモリ４２に記憶し直す。ＥＣＵ３０は、以上で本認識処理を終了する。
【００５９】
［３．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。
（３ａ）ＥＣＵ３０は、撮影画像を繰り返し取得し、Ｓ１１０では、撮影画像におけるエッジ点に基づいて、撮影画像から少なくとも１つの線候補を抽出する。ＥＣＵ３０は、Ｓ１６０では、少なくとも１つの線候補のそれぞれについて、線候補の輝度が輝度閾値以上であるか否かを判断し、線候補の輝度が輝度閾値以上であるものを区画候補として設定する。ＥＣＵ３０は、Ｓ２１０では、区画候補が複数ある場合に、車両７０に最も近い区画候補を走行区画線として認識する。ＥＣＵ３０は、Ｓ４０では、認識結果を出力する。
【００６０】
その結果、複数の区画候補が検出された場合には、車両７０に最も近い区画候補が走行区画線として特定されるので、区画線の輝度の違いによらず、走行区画線を適切に検出することができる。
【００６１】
また、線候補の輝度が輝度閾値未満であるものは区画候補として設定されないので、これにより、非区画線領域と区画線とを判別することができる。つまり、非区画線領域が区画候補として誤って抽出されることが抑制される。その結果、区画候補の中から走行区画線を適切に検出することができる。
【００６２】
（３ｂ）ＥＣＵ３０は、Ｓ２２０では、Ｓ２１０にて走行区画線が認識される毎に、走行区画線輝度をメモリ４２に記憶させる。ＥＣＵ３０は、Ｓ２５０にて走行区画線輝度がメモリ４２に記憶される毎に、複数の過去輝度についての平均的な値である平均輝度を算出し、平均輝度よりも小さい参照値を算出し、参照値を新たな輝度閾値としてメモリ４２に記憶し直す。ＥＣＵ３０は、Ｓ１６０では、このようにしてメモリ４２に記憶されている輝度閾値を取得し、該輝度閾値を用いて、判断を行う。
【００６３】
つまり、過去に認識された複数の走行区画線の輝度に基づいて輝度閾値が設定されるので、刻々と変化する車両７０周囲の環境の明るさの変化が反映された、適切な輝度閾値が設定される。また、輝度閾値が適切に設定されるので、補修跡等による非区画線領域が誤って区画候補として抽出されることが抑制される。その結果、走行区画線を適切に検出することができる。
【００６４】
（３ｃ）ＥＣＵ３０は、Ｓ１４０又はＳ２３０では、車両周辺の走行路の明るさが所定の条件を満たすか否かを判断するように構成されている。その結果、車両周辺の走行路の明るさに応じた処理が可能となる。
【００６５】
（３ｄ）ＥＣＵ３０は、Ｓ２５０では、Ｓ２３０によって上記走行路の明るさが上記所定の条件を満たすと判断された場合に、参照値を新たな輝度閾値としてメモリ４２に記憶させることを中止する。
【００６６】
つまり、例えば、明条件が満たされる場合であって太陽による照射光が強く走行路が非常に明るい場合や、暗条件が満たされる場合であってトンネル内や夜間において走行路が非常に暗い場合等には、参照値を用いて輝度閾値が更新されない。参照値は、上述のように、過去に認識された走行区画線の輝度に基づく値である。参照値は、上記走行路の明るさが明るいときには大きい値となり、上記走行路の明るさが暗いときには小さい値となる。
【００６７】
ここで、明条件が満たされる程度に走行路が明るい場合に参照値を用いて輝度閾値が更新されると、輝度閾値が通常における黄線の輝度よりも大きい値に設定されるおそれが生じる。一方、暗条件が満たされる程度に走行路が暗い場合に参照値を用いて輝度閾値が更新されると、輝度閾値が通常における補修跡等の低輝度領域の輝度よりも小さい値に設定されるおそれが生じる。前者の場合は黄線が区画候補として抽出されないおそれがある。後者の場合、低輝度領域が区画候補として抽出されるおそれがある。
【００６８】
本実施形態では、上記走行路の明るさが上記所定の条件を満たすと判断された場合に、参照値を用いて輝度閾値が更新されない。その結果、輝度閾値に基づいて、黄線が区画候補として抽出されないことを抑制することができる。また、輝度閾値に基づいて、低輝度領域が区画候補として抽出されることを抑制することができる。
【００６９】
（３ｅ）ＥＣＵ３０は、Ｓ２１０では、Ｓ１４０によって上記走行路の明るさが上記所定の条件を満たすと判断された場合に、Ｓ１１０によって抽出された少なくとも１つの線候補であって全ての線候補のうち、車両７０に最も近い線候補、を走行区画線として認識する。
【００７０】
つまり、上記走行路の明るさが上記所定の条件を満たすと判断された場合には、輝度閾値に基づく区画候補の抽出を行わず、全ての線候補のうち車両７０に最も近い線候補を走行区画線として認識する。上述のように、上記走行路の明るさが上記所定の条件を満たすと判断された場合には、輝度閾値が適切に設定されないので、区画候補が適切に抽出されないおそれがある。そこで、本実施形態では、このような場合に、区画候補を抽出することを中止する。その結果、区画候補に基づいて走行区画線が誤って認識されることが抑制される。
【００７１】
（３ｆ）ＥＣＵ３０は、Ｓ１４０又はＳ２３０では、上記走行路の明るさが、区画線の輝度と路面の輝度との差が所定の明閾値未満となる明るさであること、を上記所定の条件として、判断を行うように構成されている。
【００７２】
つまり、区画線の輝度と路面の輝度との差が明閾値未満となる場合に、例えば、区画候補の抽出を中止したり、輝度閾値の更新を中止したり、といった処理が可能となる。また、区画線の輝度と路面の輝度との差が明閾値未満となる場合に、認識結果の出力を中止する処理が可能となる。その結果、走行区画線の誤認識を抑制すことができる。また、誤った認識結果が出力されることを抑制することができる。
【００７３】
（３ｇ）ＥＣＵ３０は、Ｓ１４０又はＳ２３０では、上記走行路の明るさが、低輝度領域の輝度と路面の輝度との差が所定の暗閾値未満となる明るさであること、を上記所定の条件として、判断を行うように構成されている。
【００７４】
つまり、低輝度領域の輝度と路面の輝度との差が暗閾値未満となる場合に、例えば、区画候補の抽出を中止したり、輝度閾値の更新を中止したり、といった処理が可能となる。また、低輝度領域の輝度と路面の輝度との差が暗閾値未満となる場合に、認識結果の出力を中止する処理が可能となる。その結果、走行区画線の誤認識を抑制すことができる。また、誤った認識結果が出力されることを抑制することができる。
【００７５】
（３ｈ）ＥＣＵ３０は、Ｓ１４０では、輝度閾値が所定の上限閾値以上である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断する。また、ＥＣＵ３０は、Ｓ１４０では、輝度閾値が上限閾値よりも小さい所定の下限閾値未満である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断する。その結果、走行路の明るさを検出するために、照度センサ等の新たな構成を備えること無しに、上記走行路の明るさが上記所定の条件を満たしているか否かを簡易に判断することができる。
【００７６】
（３ｉ）ＥＣＵ３０は、Ｓ２３０では、走行区画線輝度が所定の第１の閾値以上である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断する。また、ＥＣＵ３０は、Ｓ２３０では、走行区画線輝度が第１の閾値よりも小さい第２の閾値未満である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断する。その結果、上記（３ｈ）と同様の効果が得られる。
【００７７】
なお、上記実施形態では、ＥＣＵ３０が検出装置に相当し、メモリ４２が記憶部に相当する。また、Ｓ４０が出力部による処理に相当し、Ｓ１００が画像取得部による処理に相当し、Ｓ１１０が候補抽出部による処理に相当し、Ｓ１４０及びＳ２３０が環境判断部による処理に相当し、Ｓ１６０が輝度判断部による処理に相当する。また、Ｓ１９０が複数判断部による処理に相当し、Ｓ２１０が認識部による処理に相当し、Ｓ２２０が蓄積部による処理に相当し、Ｓ２５０が更新部による処理に相当する。
【００７８】
また、鳥瞰図画像が撮影画像に相当し、エッジ点が特徴点に相当する。また、明条件及び暗条件のそれぞれが所定の条件に相当する。
［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００７９】
（４ａ）上記実施形態では、Ｓ１４０では輝度閾値が所定の範囲内であるか否かに基づいて、Ｓ２３０では走行区画線度が所定の範囲内であるか否かに基づいて、上記走行路の明るさが上記所定の条件を満たすか否かを判断していた。但し、これに限定されるものではない。
【００８０】
例えば、車両７０では、センサ群２０のセンサとして、周囲の明るさを検出する照度センサが搭載されていてもよい。ＥＣＵ３０は、照度センサのセンサ値が所定の第１の照度閾値以上である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断するように構成されても良い。また、ＥＣＵ３０は、照度センサのセンサ値が、第１の照度閾値よりも小さい値である第２の照度閾値未満である場合に、上記走行路の明るさが上記所定の条件を満たしていると判断するように構成されても良い。
【００８１】
また例えば、車両７０では、センサ群２０のセンサとして、ＧＰＳ装置が搭載されていても良く、地図データを記憶する地図データベースが搭載されていても良い。そして、ＥＣＵ３０は、ＧＰＳ装置の検出結果と地図データとに基づいて、車両７０の現在位置がトンネル内であると判断した場合に、上記走行路の明るさが上記所定の条件を満たしていると判断するように構成されても良い。
【００８２】
（４ｂ）上述のように、上記走行路の明るさが上記所定の条件を満たすと判断された場合には、輝度閾値が適切に設定されず、走行区画線が適切に確定されないおそれがある。そこで、ＥＣＵ３０は、Ｓ４０では、Ｓ１４０又はＳ２３０によって上記走行路の明るさが上記所定の条件を満たすと判断された場合に、認識結果の出力を中止するように構成されていても良い。その結果、誤った認識結果が出力されることを抑制することができる。また、誤った走行路パラメータに基づいて誤った車両制御が行われることを抑制することができる。
【００８３】
（４ｃ）上記実施形態では、ＥＣＵ３０は、カメラ１１−１４によるカメラ画像に基づいて生成された鳥瞰図画像を撮影画像として、該鳥瞰図画像から走行区画線を認識するように構成されていたが、撮影画像は鳥瞰図画像に限定されるものではない。例えば、図９に示すように、１つのカメラ１０が、車両７０の前方の路面を撮影するように車両に搭載されていても良い。具体的には、カメラ１０は、車両７０の中央前方側に取り付けられており、図９に示すように、車両７０の前方に向けて所定角度範囲で広がる領域を撮影するように構成されていてもよい。そして、ＥＣＵ３０は、上記実施形態と同様に、該カメラ１０によって撮影された撮影画像からエッジ点を検出し、エッジ点に基づいて、該撮影画像から走行区画線を認識するように構成されても良い。
【００８４】
（４ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００８５】
（４ｅ）上述したＥＣＵ３０、運転支援システム１の他、ＥＣＵ３０を機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、区画線検出方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【００８６】
１０  カメラ、３０  ＥＣＵ、４２  メモリ、７０  車両。
【図１】
2019020957.tif 000003
【図２】
2019020957.tif 000004
【図３】
2019020957.tif 000005
【図４】
2019020957.tif 000006
【図５】
2019020957.tif 000007
【図６】
2019020957.tif 000008
【図７】
2019020957.tif 000009
【図８】
2019020957.tif 000010
【図９】
2019020957.tif 000011