(57)【要約】      （修正有）【課題】車線境界線を正確に検出する方法を提供する。【解決手段】車線画像をフィルタリングすることによって車線画像中の候補車線境界線領域を決定する。決定した各候補車線境界線領域について中心点を抽出する。抽出した、各候補車線境界線領域の中心点に対して曲線フィッティングを実行することによって各候補車線境界線領域のフィッティング曲線を得る。各候補車線境界線領域のフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類する。分類結果に基づいて候補車線境界線領域をグループに分割し、第1の所定の条件を満たす2つのグループを目標グループとして決定する。決定した目標グループ中の候補車線境界線領域を車線境界線領域として認識する。【選択図】図２
2018037053.tif 000002
【特許請求の範囲】
【請求項１】
車線境界線を検出する方法であって、
車線画像をフィルタリングすることによって前記車線画像中の候補車線境界線領域を決定するステップと、
前記候補車線境界線領域のそれぞれについて中心点を抽出するステップであり、前記中心点が、前記候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含むステップと、
前記候補車線境界線領域のそれぞれの前記中心点に対して曲線フィッティングを実行することによって前記候補車線境界線領域のそれぞれのフィッティング曲線を得るステップと、
前記候補車線境界線領域のそれぞれの前記フィッティング曲線の傾き角に従って、前記候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップと、
前記分類の結果に基づいて前記候補車線境界線領域をグループに分割するステップであり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応するステップと、
前記グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、前記目標グループ中の候補車線境界線領域を車線境界線領域として認識するステップとを含み、
前記第1の所定の条件が、前記2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および前記2つのグループに対応する前記車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む、方法。
【請求項２】
第2の所定の条件を満たす2つの直線状候補車線境界線領域が、同じグループであり、
前記第2の所定の条件が、前記2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わず、前記2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であり、前記2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であることを含み、
前記直線状候補車線境界線領域の前記フィッティング線分が、前記直線状候補車線境界線領域の中心点に対して直線フィッティングを実行することによって得られる、請求項1に記載の方法。
【請求項３】
前記候補車線境界線領域のそれぞれについて中心点を抽出した後で、
前記候補車線境界線領域のそれぞれについて、前記中心点における有効画素の数を有効画素数として認識するステップと、
前記候補車線境界線領域のうち、所定の数しきい値（number threshold）より小さい有効画素数を有する候補車線境界線領域をフィルタリングによって除去し、前記候補車線境界線領域のうちの残りの候補車線境界線領域について、前記候補車線境界線領域のそれぞれの前記中心点に対して曲線フィッティングアクションを実行するステップと、をさらに含む、請求項1に記載の方法。
【請求項４】
前記候補車線境界線領域のそれぞれの前記中心点に対して曲線フィッティングを実行することによって前記候補車線境界線領域のそれぞれのフィッティング曲線を得るステップが、
前記候補車線境界線領域のそれぞれの前記中心点から複数の標定点を選択するステップであり、前記標定点が前記候補車線境界線領域のそれぞれの2つの端部の中心点を含むステップと、
前記候補車線境界線領域のそれぞれの前記標定点に対してフィッティングを実行することによって前記候補車線境界線領域のそれぞれの中の隣接する標定点の対の曲線方程式を得るステップと、
前記候補車線境界線領域のそれぞれの隣接する標定点の前記対の前記曲線方程式を用いて、前記候補車線境界線領域のそれぞれのフィッティング曲線を形成するステップとを含む、請求項1に記載の方法。
【請求項５】
前記候補車線境界線領域のそれぞれの前記中心点から前記複数の標定点を選択するステップが、
前記候補車線境界線領域のそれぞれの前記中心点の中に屈曲点があるかどうかを判定するステップであり、前記屈曲点が峰点または谷点であるステップと、
前記候補車線境界線領域のうちの1つの候補車線境界線領域の前記中心点の中に屈曲点がないことに応答して、前記標定点として前記1つの候補車線境界線領域から第1の目標点を選択するステップであり、前記1つの候補車線境界線領域内の隣接する第1の目標点の対の間の距離が互いに等しく、前記1つの候補車線境界線領域の前記第1の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点を含むステップと、
前記1つの候補車線境界線領域の前記中心点の中に屈曲点があることに応答して、前記標定点として前記1つの候補車線境界線領域から第2の目標点を選択するステップであり、前記1つの候補車線境界線領域の前記標定点である前記第2の目標点が、前記1つの候補車線境界線領域の2つの端部における前記中心点、および前記屈曲点を含み、前記1つの候補車線境界線領域の第1の端部における中心点と前記屈曲点の間に位置する隣接する2つの第2の目標点の間の距離が互いに等しく、前記1つの候補車線境界線領域の第2の端部における中心点と前記屈曲点の間に位置する隣接する2つの第2の目標点の間の距離が互いに等しいステップとを含む、請求項4に記載の方法。
【請求項６】
前記候補車線境界線領域のそれぞれの現実の長さを計算し、前記候補車線境界線領域のそれぞれの前記中心点の中に屈曲点があるかどうかを判定するステップであり、前記屈曲点が峰点または谷点であるステップと、
前記候補車線境界線領域のうち、その現実の長さが所定の長さ範囲内であり、その中心点が屈曲点を含まない候補車線境界線領域を、直線状候補車線境界線領域として認識し、前記候補車線境界線領域のうちの残りについて、前記候補車線境界線領域のそれぞれの前記フィッティング曲線の前記傾き角に従って、前記候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類する前記ステップを実行するステップとをさらに含む、請求項1に記載の方法。
【請求項７】
前記候補車線境界線領域のそれぞれの前記フィッティング曲線の前記傾き角に従って前記候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップが、
前記候補車線境界線領域のそれぞれの前記中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択するステップと、
前記候補車線境界線領域のそれぞれについて、前記第1のサンプリング点、前記第2のサンプリング点、および前記第3のサンプリング点における前記フィッティング曲線の傾き角を、第1の傾き角、第2の傾き角、および第3の傾き角として計算するステップと、
前記候補車線境界線領域のそれぞれの前記第1の傾き角、前記第2の傾き角、および前記第3の傾き角に基づいて、前記候補車線境界線領域のうち、第3の所定の条件または第4の所定の条件を満たす候補車線境界線領域を、曲線状候補車線境界線領域として認識し、前記候補車線境界線領域のうち、前記第3の所定の条件も前記第4の所定の条件も満たさない他の候補車線境界線領域を、直線状候補車線境界線領域として認識するステップとをさらに含み、
前記第3の所定の条件が、対応する候補車線境界線領域の前記第1の傾き角と前記第2の傾き角の間の差、および前記対応する候補車線境界線領域の前記第2の傾き角と前記第3の傾き角の間の差が、両方とも、第1の傾き角しきい値より大きいことであり、
前記第4の所定の条件が、前記対応する候補車線境界線領域の前記第1の傾き角と前記第2の傾き角の間の差が、前記第1の傾き角しきい値より小さく、前記対応する候補車線境界線領域の前記第2の傾き角と前記第3の傾き角の間の差が、第2の傾き角しきい値より大きいことである、請求項1に記載の方法。
【請求項８】
前記候補車線境界線領域のそれぞれの前記中心点から前記第1のサンプリング点、前記第2のサンプリング点、および前記第3のサンプリング点を選択するステップが、
前記候補車線境界線領域のそれぞれの前記中心点の中に屈曲点があるかどうかを判定するステップであり、前記屈曲点が峰点または谷点であるステップと、
前記候補車線境界線領域のうちの1つの候補車線境界線領域の前記中心点の中に屈曲点がないことに応答して、前記1つの候補車線境界線領域の前記第1のサンプリング点、前記第2のサンプリング点、および前記第3のサンプリング点として、前記1つの候補車線境界線領域から任意の3つの中心点を選択するステップと、
前記1つの候補車線境界線領域の前記中心点の中に屈曲点があることに応答して、前記1つの候補車線境界線領域内の前記屈曲点を前記1つの候補車線境界線領域の前記第2のサンプリング点として決定し、前記1つの候補車線境界線領域内の前記第2のサンプリング点の2つの側の2つの中心点を、前記1つの候補車線境界線領域の前記第1のサンプリング点および前記第3のサンプリング点として選択するステップとを含む、請求項7に記載の方法。
【請求項９】
前記候補車線境界線領域のそれぞれの前記中心点の中に前記屈曲点があるかどうかを判定するステップが、
前記候補車線境界線領域のそれぞれの前記中心点の中で、最大の水平座標を有する第3の目標点および最小の水平座標を有する第4の目標点を探索するステップと、
前記第3の目標点および前記第4の目標点が第5の所定の条件または第6の所定の条件を満たすことに応答して、対応する候補車線境界線領域の前記中心点の中に屈曲点があると判定するステップと、
前記第3の目標点および前記第4の目標点が前記第5の所定の条件も前記第6の所定の条件も満たさないことに応答して、前記対応する候補車線境界線領域の前記中心点の中に屈曲点がないと判定するステップとを含み、
前記第5の所定の条件が、前記第3の目標点が前記対応する候補車線境界線領域の中央にあり、前記第4の目標点が前記対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることであり、
前記第6の所定の条件が、前記第4の目標点が前記対応する候補車線境界線領域の中央にあり、前記第3の目標点が前記対応する候補車線境界線領域の前記2つの端部のうちのいずれか1つにあることである、請求項5、6、または8に記載の方法。
【請求項１０】
前記2つの直線状候補車線境界線領域の前記フィッティング線分の間の前記方向ずれが前記所定のずれ範囲内にあることが、前記2つの直線状候補車線境界線領域の前記フィッティング線分の狭角が第2の所定の狭角範囲内にあること、前記2つの直線状候補車線境界線領域の推定された現実の狭角が第3の所定の狭角範囲内にあること、および前記2つの直線状候補車線境界線領域の前記フィッティング線分の間のずれ距離が第3の所定の距離範囲内にあること、のうちの少なくとも1つを含み、
前記ずれ距離が、第1の交差点と第2の交差点の間の距離であり、前記第1の交差点および前記第2の交差点が、それぞれ、前記2つの候補車線境界線領域の前記フィッティング線分の延長線と水平中央線との交差点であり、前記2つの直線状候補車線境界線領域の垂直方向に最も近い中心点と前記水平中央線の間の距離が互いに等しい、請求項2に記載の方法。
【請求項１１】
前記第2の所定の条件が、前記2つの直線状候補車線境界線領域の前記フィッティング線分の前記狭角が第4の所定の狭角範囲内にある場合に、前記2つの直線状候補車線境界線領域の前記フィッティング線分の間の前記ずれ距離が第4の所定の距離範囲内であることをさらに含み、
前記第2の所定の狭角範囲が、前記第4の所定の狭角範囲より広く、前記第3の所定の距離範囲が、前記第4の所定の距離範囲より広い、請求項2に記載の方法。
【請求項１２】
前記目標グループ内の候補車線境界線領域を車線境界線領域として認識した後で、
前記目標グループ内の前記車線境界線領域に対してフィッティングを実行して、前記車線画像内の車線境界線を得るステップをさらに含み、
前記目標グループのそれぞれにおける前記車線境界線領域が、1本の車線境界線にフィッティングされる、請求項1に記載の方法。
【請求項１３】
車線境界線を検出する装置であって、
車線画像をフィルタリングすることによって前記車線画像中の候補車線境界線領域を決定するように構成されたフィルタリング部と、
前記候補車線境界線領域のそれぞれについて中心点を抽出するように構成された抽出部であり、前記中心点が、前記候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含む抽出部と、
前記候補車線境界線領域のそれぞれの前記中心点に対して曲線フィッティングを実行することによって前記候補車線境界線領域のそれぞれのフィッティング曲線を得るように構成された第1のフィッティング部と、
前記候補車線境界線領域のそれぞれの前記フィッティング曲線の傾き角に従って、前記候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するように構成された分類部と、
前記分類の結果に基づいて前記候補車線境界線領域をグループに分割するように構成されたグループ分け部であり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応するグループ分け部と、
前記グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、前記目標グループ中の候補車線境界線領域を車線境界線領域として認識するように構成された第1の認識部とを含み、
前記第1の所定の条件が、前記2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および前記2つのグループに対応する前記車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む、装置。
【請求項１４】
プロセッサと、メモリと、通信インタフェースと、バスシステムとを含む、車線境界線を検出するデバイスであって、
前記バスシステムが、前記デバイスのハードウェアを結合するように構成され、
前記通信インタフェースが、前記デバイスと少なくとも1つの他のデバイスとの間の通信接続を実施するように構成され、
前記メモリが、プログラム命令およびデータを記憶するように構成され、
前記プロセッサが、前記メモリに記憶された前記命令および前記データを読み取り、
車線画像をフィルタリングすることによって前記車線画像中の候補車線境界線領域を決定する動作と、
前記候補車線境界線領域のそれぞれについて中心点を抽出する動作であり、前記中心点が、前記候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含む動作と、
前記候補車線境界線領域のそれぞれの前記中心点に対して曲線フィッティングを実行することによって前記候補車線境界線領域のそれぞれのフィッティング曲線を得る動作と、
前記候補車線境界線領域のそれぞれの前記フィッティング曲線の傾き角に従って、前記候補車線境界線領域を直線状車線境界線領域および曲線状候補車線境界線領域として分類する動作と、
前記分類の結果に基づいて前記候補車線境界線領域をグループに分割する動作であり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応する動作と、
前記グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、前記目標グループ中の候補車線境界線領域を車線境界線領域として認識する動作とを実行するように構成され、
前記第1の所定の条件が、前記2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および前記2つのグループに対応する前記車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む、デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理の技術分野に関し、特に、車線境界線を検出する方法、装置、およびデバイスに関する。
【背景技術】
【０００２】
現在では、多くの車両が運転支援システムを備えている。いくつかの運転支援システムは、道路上の車線境界線を検出することによって、車両の車線情報を提供することができる。例えば、先進運転支援システム(ADAS)の重要な部分として、車両逸脱警報システムは、車両が走行している車線の情報を検出し、車両がその車線から逸脱したときに運転者に警報プロンプトを与えて、運転の安全性を保証することができる。
【０００３】
従来の技術では、車線画像をフィルタリングすることによって車線画像中の車線境界線領域を検出することができ、一般に、車線情報は、車線境界線によって識別することができる。しかし、発明者が行った研究によれば、フィルタリングによって得られる車線境界線領域は、一部は現実の車線境界線の領域であるが、一部はそうではない。すなわち、従来の技術で検出される車線境界線領域は、その全てが現実の車線境界線の領域であるわけではなく、検出された車線境界線領域は、現実の車線境界線に対応しないいくつかの雑音領域も含んでいる。したがって、従来の技術における車線境界線領域の検出は、確度が不十分であり、これにより車線情報の検出が不正確になり、それにより車両逸脱警報システムが正確に警報プロンプトを出すことができなくなる。
【発明の概要】
【課題を解決するための手段】
【０００４】
上記に鑑みて、本開示によれば、車線境界線を検出する方法、装置、およびデバイスを提供して、フィルタリングによって得られる車線境界線領域から現実の車線境界線に対応しない領域をフィルタリングによって除去して、車線境界線領域の検出および車線情報をより正確にすることによって、車両逸脱警報システムがより正確に警報プロンプトを出すことができるようにする。
【０００５】
第1の態様では、車線境界線を検出する方法であって、
車線画像をフィルタリングすることによって車線画像中の候補車線境界線領域を決定するステップと、
候補車線境界線領域のそれぞれについて中心点を抽出するステップであり、中心点が、候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含むステップと、
候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することによって候補車線境界線領域のそれぞれのフィッティング曲線を得るステップと、
候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップと、
分類の結果に基づいて候補車線境界線領域をグループに分割するステップであり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応するステップと、
グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、目標グループ中の候補車線境界線領域を車線境界線領域として認識するステップとを含み、
第1の所定の条件が、2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および2つのグループに対応する車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む、方法が提供される。
【０００６】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域は、同じグループであり、
第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わず、2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であり、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であることを含み、直線状候補車線境界線領域のフィッティング線分は、直線状候補車線境界線領域の中心点に対して直線フィッティングを実行することによって得られる。
【０００７】
任意選択で、候補車線境界線領域のそれぞれについて中心点を抽出した後で、この方法は、
候補車線境界線領域のそれぞれについて、中心点における有効画素の数を有効画素数として認識するステップと、
候補車線境界線領域のうち、所定の数しきい値（number threshold）より小さい有効画素数を有する候補車線境界線領域をフィルタリングによって除去し、候補車線境界線領域のうちの残りの候補車線境界線領域について、候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングアクションを実行するステップと、をさらに含む。
【０００８】
任意選択で、候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することによって候補車線境界線領域のそれぞれのフィッティング曲線を得るステップは、
候補車線境界線領域のそれぞれの中心点から複数の標定点を選択するステップであり、標定点が候補車線境界線領域のそれぞれの2つの端部の中心点を含むステップと、
候補車線境界線領域のそれぞれの標定点に対してフィッティングを実行することによって候補車線境界線領域のそれぞれの中の隣接する標定点の対の曲線方程式を得るステップと、
候補車線境界線領域のそれぞれの隣接する標定点の対の曲線方程式を用いて、候補車線境界線領域のそれぞれのフィッティング曲線を形成するステップとを含む。
【０００９】
任意選択で、候補車線境界線領域のそれぞれの中心点から複数の標定点を選択するステップは、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するステップであり、屈曲点が峰点または谷点であるステップと、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、標定点として前記1つの候補車線境界線領域から第1の目標点を選択するステップであり、前記1つの候補車線境界線領域内の隣接する第1の目標点の対の間の距離が互いに等しく、前記1つの候補車線境界線領域の第1の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点を含むステップと、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、標定点として前記1つの候補車線境界線領域から第2の目標点を選択するステップであり、前記1つの候補車線境界線領域の標定点である第2の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点、および屈曲点を含み、前記1つの候補車線境界線領域の第1の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しく、前記1つの候補車線境界線領域の第2の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しいステップとを含む。
【００１０】
任意選択で、この方法は、
候補車線境界線領域のそれぞれの現実の長さを計算し、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するステップであり、屈曲点が峰点または谷点であるステップと、
候補車線境界線領域のうち、その現実の長さが所定の長さ範囲内であり、その中心点が屈曲点を含まない候補車線境界線領域を、直線状候補車線境界線領域として認識し、候補車線境界線領域のうちの残りについて、候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップを実行するステップとをさらに含む。
【００１１】
任意選択で、候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップは、
候補車線境界線領域のそれぞれの中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択するステップと、
候補車線境界線領域のそれぞれについて、第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点におけるフィッティング曲線の傾き角を、第1の傾き角、第2の傾き角、および第3の傾き角として計算するステップと、
候補車線境界線領域のそれぞれの第1の傾き角、第2の傾き角、および第3の傾き角に基づいて、候補車線境界線領域のうち、第3の所定の条件または第4の所定の条件を満たす候補車線境界線領域を、曲線状候補車線境界線領域として認識し、候補車線境界線領域のうち、第3の所定の条件も第4の所定の条件も満たさない他の候補車線境界線領域を、直線状候補車線境界線領域として認識するステップとをさらに含み、
第3の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差、および対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、両方とも、第1の傾き角しきい値より大きいことであり、
第4の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差が、第1の傾き角しきい値より小さく、対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、第2の傾き角しきい値より大きいことである。
【００１２】
任意選択で、候補車線境界線領域のそれぞれの中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択するステップは、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するステップであり、屈曲点が峰点または谷点であるステップと、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、前記1つの候補車線境界線領域の第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点として、前記1つの候補車線境界線領域から任意の3つの中心点を選択するステップと、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、前記1つの候補車線境界線領域内の屈曲点を前記1つの候補車線境界線領域の第2のサンプリング点として決定し、前記1つの候補車線境界線領域内の第2のサンプリング点の2つの側の2つの中心点を、前記1つの候補車線境界線領域の第1のサンプリング点および第3のサンプリング点として選択するステップとを含む。
【００１３】
任意選択で、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するステップは、
候補車線境界線領域のそれぞれの中心点の中で、最大の水平座標を有する第3の目標点および最小の水平座標を有する第4の目標点を探索するステップと、
第3の目標点および第4の目標点が第5の所定の条件または第6の所定の条件を満たすことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点があると判定するステップと、
第3の目標点および第4の目標点が第5の所定の条件も第6の所定の条件も満たさないことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点がないと判定するステップとを含み、
第5の所定の条件は、第3の目標点が対応する候補車線境界線領域の中央にあり、第4の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることであり、
第6の所定の条件は、第4の目標点が対応する候補車線境界線領域の中央にあり、第3の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることである。
【００１４】
任意選択で、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内にあることは、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第2の所定の狭角範囲内にあること、2つの直線状候補車線境界線領域の推定された現実の狭角が第3の所定の狭角範囲内にあること、および2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第3の所定の距離範囲内にあること、のうちの少なくとも1つを含み、
ずれ距離は、第1の交差点と第2の交差点の間の距離であり、第1の交差点および第2の交差点は、それぞれ、2つの候補車線境界線領域のフィッティング線分の延長線と水平中央線との交差点であり、2つの直線状候補車線境界線領域の垂直方向に最も近い中心点と水平中央線の間の距離は、互いに等しい。
【００１５】
任意選択で、第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第4の所定の狭角範囲内にある場合に、2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第4の所定の距離範囲内であることをさらに含み、
第2の所定の狭角範囲は、第4の所定の狭角範囲より広く、第3の所定の距離範囲は、第4の所定の距離範囲より広い。
【００１６】
任意選択で、目標グループ内の候補車線境界線領域を車線境界線領域として認識した後で、この方法は、
目標グループ内の車線境界線領域に対してフィッティングを実行して、車線画像内の車線境界線を得るステップをさらに含み、
目標グループのそれぞれにおける車線境界線領域は、1本の車線境界線にフィッティングされる。
【００１７】
第2の態様では、車線境界線を検出する装置であって、
車線画像をフィルタリングすることによって車線画像中の候補車線境界線領域を決定するように構成されたフィルタリング部と、
候補車線境界線領域のそれぞれについて中心点を抽出するように構成された抽出部であり、中心点が、候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含む抽出部と、
候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することによって候補車線境界線領域のそれぞれのフィッティング曲線を得るように構成された第1のフィルタリング部と、
候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するように構成された分類部と、
分類結果に基づいて候補車線境界線領域をグループに分割するように構成されたグループ分け部であり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応するグループ分け部と、
グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、目標グループ中の候補車線境界線領域を車線境界線領域として認識するように構成された第1の認識部とを含み、
第1の所定の条件が、2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および2つのグループに対応する車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む、装置が提供される。
【００１８】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域は、同じグループであり、
第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わず、2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であり、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であることを含み、直線状候補車線境界線領域のフィッティング線分は、直線状候補車線境界線領域の中心点に対して直線フィッティングを実行することによって得られる。
【００１９】
任意選択で、この装置は、
候補車線境界線領域のそれぞれについて中心点を抽出した後で、候補車線境界線領域のそれぞれについて、中心点における有効画素の数を有効画素数として認識するように構成された第2の認識部と、
候補車線境界線領域のうち、所定の数しきい値より小さい有効画素数を有する候補車線境界線領域をフィルタリングによって除去し、候補車線境界線領域のうちの残りの候補車線境界線領域について、候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングアクションを実行するように構成されたフィルタリング部とをさらに含む。
【００２０】
任意選択で、第1のフィッティング部は、
候補車線境界線領域のそれぞれの中心点から複数の標定点を選択するように構成された第1の選択部であり、標定点が候補車線境界線領域のそれぞれの2つの端部の中心点を含む第1の選択部と、
候補車線境界線領域のそれぞれの標定点に対してフィッティングを実行することによって候補車線境界線領域のそれぞれの中の隣接する標定点の対の曲線方程式を得るように構成された第2のフィッティング部と、
候補車線境界線領域のそれぞれの隣接する標定点の対の曲線方程式を用いて、候補車線境界線領域のそれぞれのフィッティング曲線を形成するように構成された形成部とを含む。
【００２１】
任意選択で、第1の選択部は、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するように構成された判定部であり、屈曲点が峰点または谷点である判定部と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、標定点として前記1つの候補車線境界線領域から第1の目標点を選択するように構成された第2の選択部であり、前記1つの候補車線境界線領域内の隣接する第1の目標点の対の間の距離が互いに等しく、前記1つの候補車線境界線領域の第1の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点を含む第2の選択部と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、前記1つの候補車線境界線領域に屈曲点がある場合に標定点として前記1つの候補車線境界線領域から第2の目標点を選択するように構成された第3の選択部であり、前記1つの候補車線境界線領域の標定点である第2の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点および屈曲点を含み、前記1つの候補車線境界線領域の第1の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しく、前記1つの候補車線境界線領域の第2の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しい第3の選択部とを含む。
【００２２】
任意選択で、この装置は、
候補車線境界線領域のそれぞれの現実の長さを計算し、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するように構成された第1の計算部であり、屈曲点が峰点または谷点である第1の計算部と、
候補車線境界線領域のうち、その現実の長さが所定の長さ範囲内であり、その中心点が屈曲点を含まない候補車線境界線領域を、直線状候補車線境界線領域として認識し、候補車線境界線領域のうちの残りについて、候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップを実行するように構成された第3の認識部とをさらに含む。
【００２３】
任意選択で、分類部は、
候補車線境界線領域のそれぞれの中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択するように構成された第4の選択部であり、第1のサンプリング点と第2のサンプリング点の間の距離が第2のサンプリング点と第3のサンプリング点の間の距離と等しい第4の選択部と、
候補車線境界線領域のそれぞれについて、第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点におけるフィッティング曲線の傾き角を、第1の傾き角、第2の傾き角、および第3の傾き角として計算するように構成された第2の計算部と、
候補車線境界線領域のそれぞれの第1の傾き角、第2の傾き角、および第3の傾き角に基づいて、候補車線境界線領域のうち、第3の所定の条件または第4の所定の条件を満たす候補車線境界線領域を、曲線状候補車線境界線領域として認識し、候補車線境界線領域のうち、第3の所定の条件も第4の所定の条件も満たさない他の候補車線境界線領域を、直線状候補車線境界線領域として認識するように構成された第4の認識部とを含み、
第3の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差、および対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、両方とも、第1の傾き角しきい値より大きいことであり、
第4の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差が、第1の傾き角しきい値より小さく、対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、第2の傾き角しきい値より大きいことである。
【００２４】
任意選択で、第4の選択部は、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するように構成された判定部であり、屈曲点が峰点または谷点である判定部と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、前記1つの候補車線境界線領域の第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点として、前記1つの候補車線境界線領域から任意の3つの等間隔の中心点を選択するように構成された第5の選択部と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、前記1つの候補車線境界線領域内の屈曲点を前記1つの候補車線境界線領域の第2のサンプリング点として決定し、前記1つの候補車線境界線領域内の第2のサンプリング点の2つの側の中心点を、前記1つの候補車線境界線領域の第1のサンプリング点および第3のサンプリング点として選択するように構成された第6の選択部であり、第1のサンプリング点として選択された中心点から第2のサンプリング点までの距離が、第3のサンプリング点として選択された中心点から第2のサンプリング点までの距離と等しい第6の選択部とを含む。
【００２５】
任意選択で、判定部は、
候補車線境界線領域のそれぞれの中心点の中で、最大の水平座標を有する第3の目標点および最小の水平座標を有する第4の目標点を探索するように構成された探索部と、
第3の目標点および第4の目標点が第5の所定の条件または第6の所定の条件を満たすことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点があると判定するように構成された第1の判定部と、
第3の目標点および第4の目標点が第5の所定の条件も第6の所定の条件も満たさないことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点がないと判定するように構成された第2の判定部とを含み、
第5の所定の条件は、第3の目標点が対応する候補車線境界線領域の中央にあり、第4の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることであり、
第6の所定の条件は、第4の目標点が対応する候補車線境界線領域の中央にあり、第3の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることである。
【００２６】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内にあることは、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第2の所定の狭角範囲内にあること、2つの直線状候補車線境界線領域の推定された現実の狭角が第3の所定の狭角範囲内にあること、および2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第3の所定の距離範囲内にあること、のうちの少なくとも1つを含み、
ずれ距離は、第1の交差点と第2の交差点の間の距離であり、第1の交差点および第2の交差点は、それぞれ、2つの候補車線境界線領域のフィッティング線分の延長線と水平中央線との交差点であり、2つの直線状候補車線境界線領域の垂直方向に最も近い中心点と水平中央線の間の距離は、互いに等しい。
【００２７】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第4の所定の狭角範囲内にある場合に、2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第4の所定の距離範囲内であることをさらに含み、
第2の所定の狭角範囲は、第4の所定の狭角範囲より広く、第3の所定の距離範囲は、第4の所定の距離範囲より広い。
【００２８】
任意選択で、この装置は、
目標グループ内の候補車線境界線領域を車線境界線領域として認識した後で、目標グループ内の車線境界線領域に対してフィッティングを実行して、車線画像内の車線境界線を得るように構成された第3のフィッティング部をさらに含み、
ここで、目標グループのそれぞれにおける車線境界線領域は、1本の車線境界線にフィッティングされる。
【００２９】
第3の態様では、プロセッサと、メモリと、通信インタフェースと、バスシステムとを含む、車線境界線を検出するデバイスが提供される。
【００３０】
バスシステムは、デバイスのハードウェアを結合するように構成される。
【００３１】
通信インタフェースは、このデバイスと少なくとも1つの他のデバイスとの間の通信接続を実施するように構成される。
【００３２】
メモリは、プログラム命令およびデータを記憶するように構成される。
【００３３】
プロセッサは、メモリに記憶された命令およびデータを読み取り、
車線画像をフィルタリングすることによって車線画像中の候補車線境界線領域を決定する動作と、
候補車線境界線領域のそれぞれについて中心点を抽出する動作であり、中心点が、候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含む動作と、
候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することによって候補車線境界線領域のそれぞれのフィッティング曲線を得る動作と、
候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状車線境界線領域および曲線状候補車線境界線領域として分類する動作と、
分類の結果に基づいて候補車線境界線領域をグループに分割する動作であり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応する動作と、
前記グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、目標グループ中の候補車線境界線領域を車線境界線領域として認識する動作とを実行するように構成され、
第1の所定の条件は、2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および2つのグループに対応する車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む。
【００３４】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域は、同じグループであり、
第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わず、2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であり、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であることを含み、ここで、直線状候補車線境界線領域のフィッティング線分は、直線状候補車線境界線領域の中心点に対して直線フィッティングを実行することによって得られる。
【００３５】
任意選択で、候補車線境界線領域のそれぞれについて中心点を抽出した後で、プロセッサは、
候補車線境界線領域のそれぞれについて、中心点における有効画素の数を有効画素数として認識する動作と、
候補車線境界線領域のうち、所定の数しきい値より小さい有効画素数を有する候補車線境界線領域をフィルタリングによって除去し、候補車線境界線領域のうちの残りの候補車線境界線領域について、候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングアクションを実行する動作と、をさらに実行することができる。
【００３６】
任意選択で、プロセッサは、
候補車線境界線領域のそれぞれの中心点から複数の標定点を選択する動作であり、標定点が候補車線境界線領域のそれぞれの2つの端部の中心点を含む動作と、
候補車線境界線領域のそれぞれの標定点に対してフィッティングを実行することによって候補車線境界線領域のそれぞれの中の隣接する標定点の対の曲線方程式を得る動作と、
候補車線境界線領域のそれぞれの隣接する標定点の対の曲線方程式を用いて、候補車線境界線領域のそれぞれのフィッティング曲線を形成する動作とを実行することによって、
候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することにより候補車線境界線領域のそれぞれのフィッティング曲線を得ることができる。
【００３７】
任意選択で、プロセッサは、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定する動作であり、屈曲点が峰点または谷点である動作と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、標定点として前記1つの候補車線境界線領域から第1の目標点を選択する動作であり、前記1つの候補車線境界線領域内の隣接する第1の目標点の対の間の距離が互いに等しく、前記1つの候補車線境界線領域の第1の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点を含む動作と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、標定点として前記1つの候補車線境界線領域から第2の目標点を選択する動作であり、前記1つの候補車線境界線領域の標定点である第2の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点、および屈曲点を含み、前記1つの候補車線境界線領域の第1の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しく、前記1つの候補車線境界線領域の第2の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しい動作とを実行することによって、
候補車線境界線領域のそれぞれの中心点から複数の標定点を選択することができる。
【００３８】
任意選択で、プロセッサは、
候補車線境界線領域のそれぞれの現実の長さを計算し、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定する動作であり、屈曲点が峰点または谷点である動作と、
候補車線境界線領域のうち、その現実の長さが所定の長さ範囲内であり、その中心点が屈曲点を含まない候補車線境界線領域を、直線状候補車線境界線領域として認識し、候補車線境界線領域のうちの残りについて、候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップを実行する動作とをさらに実行することができる。
【００３９】
任意選択で、プロセッサは、
候補車線境界線領域のそれぞれの中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択する動作であり、第1のサンプリング点と第2のサンプリング点の間の距離が第2のサンプリング点と第3のサンプリング点の間の距離と等しい動作と、
候補車線境界線領域のそれぞれについて、第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点におけるフィッティング曲線の傾き角を、第1の傾き角、第2の傾き角、および第3の傾き角として計算する動作と、
候補車線境界線領域のそれぞれの第1の傾き角、第2の傾き角、および第3の傾き角に基づいて、候補車線境界線領域のうち、第3の所定の条件または第4の所定の条件を満たす候補車線境界線領域を、曲線状候補車線境界線領域として認識し、候補車線境界線領域のうち、第3の所定の条件も第4の所定の条件も満たさない他の候補車線境界線領域を、直線状候補車線境界線領域として認識する動作とを実行することによって、
候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類することができ、
第3の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差、および対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、両方とも、第1の傾き角しきい値より大きいことであり、
第4の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差が、第1の傾き角しきい値より小さく、対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、第2の傾き角しきい値より大きいことである。
【００４０】
任意選択で、プロセッサは、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定する動作であり、屈曲点が峰点または谷点である動作と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、前記1つの候補車線境界線領域の第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点として、前記1つの候補車線境界線領域から任意の3つの等間隔の中心点を選択する動作と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、前記1つの候補車線境界線領域内の屈曲点を前記1つの候補車線境界線領域の第2のサンプリング点として決定し、前記1つの候補車線境界線領域内の第2のサンプリング点の2つの側の2つの中心点を、前記1つの候補車線境界線領域の第1のサンプリング点および第3のサンプリング点として選択する動作であり、第1のサンプリング点として選択された中心点から第2のサンプリング点までの距離が、第3のサンプリング点として選択された中心点から第2のサンプリング点までの距離と等しい動作とを実行することによって、
候補車線境界線領域のそれぞれの中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択することができる。
【００４１】
任意選択で、プロセッサは、
候補車線境界線領域のそれぞれの中心点の中で、最大の水平座標を有する第3の目標点および最小の水平座標を有する第4の目標点を探索する動作と、
第3の目標点および第4の目標点が第5の所定の条件または第6の所定の条件を満たすことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点があると判定する動作と、
第3の目標点および第4の目標点が第5の所定の条件も第6の所定の条件も満たさないことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点がないと判定する動作と
を実行することによって、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定することができ、
第5の所定の条件は、第3の目標点が対応する候補車線境界線領域の中央にあり、第4の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることであり、
第6の所定の条件は、第4の目標点が対応する候補車線境界線領域の中央にあり、第3の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることである。
【００４２】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内にあることは、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第2の所定の狭角範囲内にあること、2つの直線状候補車線境界線領域の推定された現実の狭角が第3の所定の狭角範囲内にあること、および2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第3の所定の距離範囲内にあること、のうちの少なくとも1つを含み、
ずれ距離は、第1の交差点と第2の交差点の間の距離であり、第1の交差点および第2の交差点は、それぞれ、2つの候補車線境界線領域のフィッティング線分の延長線と水平中央線との交差点であり、2つの直線状候補車線境界線領域の垂直方向に最も近い中心点と水平中央線の間の距離は、互いに等しい。
【００４３】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第4の所定の狭角範囲内にある場合に、2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第4の所定の距離範囲内であることをさらに含み、
第2の所定の狭角範囲は、第4の所定の狭角範囲より広く、第3の所定の距離範囲は、第4の所定の距離範囲より広い。
【００４４】
任意選択で、目標グループ内の候補車線境界線領域を車線境界線領域として認識した後で、プロセッサは、
目標グループ内の車線境界線領域に対してフィッティングを実行して、車線画像内の車線境界線を得る動作をさらに実行することができ、
目標グループのそれぞれにおける車線境界線領域は、1本の車線境界線にフィッティングされる。
【００４５】
本開示では、車線画像をフィルタリングして、候補車線境界線領域としてフィルタリング済み領域を得る。これらの候補車線境界線領域を、候補車線境界線領域のフィッティング曲線に基づいて直線状候補車線境界線領域および曲線状候補車線境界線領域として分類し、分類結果に基づいてグループに分割する。ここで、各グループの候補車線境界線領域は、1本の車線境界線を形成する。互いに一致する車線境界線に対応するグループのうちの2つを、目標グループとして決定する。目標グループ内の候補車線境界線領域を、車線境界線領域として認識する。上記によれば、車線画像をフィルタリングすることによって候補車線境界線領域を得た後で、候補車線境界線領域のグループ分けおよびマッチングによって、現実の車線境界線に対応しない雑音領域を候補車線境界線領域から除去することができるので、候補車線境界線領域のうち、現実の車線境界線に対応する領域を車線境界線領域として認識することができ、これにより車線境界線領域の検出がより正確になり、したがって、車線情報の検出がより正確になり、これにより、車両逸脱警報システムが正確に警報プロンプトを出すことができるようになる。
【００４６】
本開示の実施形態による技術的解決策をより明瞭にすることができるように、実施形態の説明で使用される図面について、簡単に説明する。以下の説明の図面は、単に本発明のいくつかの実施形態を例示しているに過ぎないことは明らかである。当業者なら、これらの図面に基づいて他の図面を得ることができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の1実施形態による適用シナリオに関連するシステムを示す概略構成図である。
【図２】本発明の1実施形態による車線境界線を検出する方法を示す流れ図である。
【図３】本発明の1実施形態による車線画像内の候補車線境界線領域の一例を示す概略図である。
【図４】本発明の1実施形態による候補車線境界線領域の中心点で形成された線分の一例を示す概略図である。
【図５】本発明の別の実施形態による候補車線境界線領域の中心点で形成された線分の一例を示す概略図である。
【図６】本発明のさらに別の実施形態による候補車線境界線領域の中心点で形成された線分の一例を示す概略図である。
【図７】本発明の1実施形態による直線状候補車線境界線領域のグループ分けの一例を示す概略図である。
【図８】本発明の1実施形態による車線画像内の候補車線境界線領域のフィッティング線分の例示的な分布を示す概略図である。
【図９】本発明の1実施形態による例示的な画像座標径を示す概略図である。
【図１０】本発明の1実施形態による例示的なワールド座標系を示す概略図である。
【図１１】本発明の1実施形態による例示的な適用シナリオにおける車線画像を示す概略図である。
【図１２】本発明の1実施形態による例示的な適用シナリオにおける車線画像をフィルタリングすることによって得られるフィルタリング済み領域を示す概略図である。
【図１３】本発明の1実施形態による雑音領域の有効画素数フィルタリングによって得られるフィルタリング済み領域を示す概略図である。
【図１４】本発明の1実施形態による適用シナリオにおける候補車線境界線領域のグループ分けを示す概略図である。
【図１５】本発明の1実施形態による適用シナリオにおける認識された車線境界線領域を示す概略図である。
【図１６】本発明の1実施形態による適用シナリオにおける車線境界線が強調表示された車線画像を示す概略図である。
【図１７】本発明の1実施形態による車線境界線を検出する装置を示す概略構成図である。
【図１８】本発明の1実施形態による車線境界線を検出するデバイスを示す概略構成図である。
【発明を実施するための形態】
【００４８】
発明者が行った研究によれば、従来の技術では、車線画像中で車線境界線を検出するためには、車線画像をフィルタリングすることによって車線画像中のフィルタリング済み領域を得、このフィルタリング済み領域を車線画像中の車線境界線領域であると決定する。実際には、車線の周囲が複雑であるので、道路上にしばしば現れる縁石、柵、および水位標が、車線画像をフィルタリングする際にフィルタリング済み領域として得られることがある。したがって、車線画像をフィルタリングすることによって得られるフィルタリング済み領域は、現実の車線境界線の領域を含むだけでなく、他の物体の領域も含んでしまうことがある。従来の技術における車線境界線領域の検出は、確度が不十分であり、これにより車線情報の検出が不正確になり、それにより車両逸脱警報システムが正確に警報プロンプトを出すことができなくなることが分かる。
【００４９】
この問題を解決するために、本開示による実施形態では、車線画像をフィルタリングして、候補車線境界線領域としてフィルタリング済み領域を得る。候補車線境界線領域は、候補車線境界線領域のフィッティング曲線に従って直線状候補車線境界線領域および曲線状候補車線境界線領域に分類され、この分類結果に基づいてグループに分割される。ここで、各グループの候補車線境界線領域は、1本の車線境界線を形成する。互いに一致する車線境界線に対応するこれらのグループのうちの2つが、目標グループとして決定される。目標グループの候補車線境界線領域が、車線境界線領域として認識される。上記によれば、車線画像をフィルタリングすることによって候補車線境界線領域が得られた後で、候補車線境界線領域のグループ分けおよびマッチングによって、現実の車線境界線に対応しない雑音領域を候補車線境界線領域から除去することができるので、現実の車線境界線に対応する候補車線境界線領域内の領域を、車線境界線領域として認識することができるようになり、これにより、車線境界線領域の検出がより正確になり、したがって車線情報の検出もより正確になり、これにより車両逸脱警報システムが正確に警報プロンプトを出すことができるようになる。
【００５０】
例えば、本開示による実施形態は、図1に示すシステムに適用することができる。例えば、このシステムは、運転支援システムとすることができ、特に、例えば車線逸脱警報システムである。このシステムは、処理デバイス101、表示デバイス102、および撮影デバイス103を含む。このシステムでは、撮影デバイス103は、車線画像を取り込み、この車線画像を処理デバイス101に送信することができる。処理デバイス101は、この車線画像をフィルタリングすることによって、車線画像中の候補車線境界線領域を決定することができる。処理デバイス101は、各候補車線境界線領域について中心点を抽出することができる。ここで、これらの中心点は、各候補車線境界線領域の各行の2つの終端点の間の中央点を含む。その後、処理デバイス101は、各候補車線境界線領域の中心点に対して曲線フィッティングを実行することによって、各候補車線境界線領域のフィッティング曲線を得ることができる。次いで、処理デバイス101は、各候補車線境界線領域のフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域に分類することができる。処理デバイス101は、この分類結果に基づいて候補車線境界線領域をグループに分割することができ、ここで、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループの候補車線境界線領域は、同じ車線境界線に対応する。最後に、処理デバイス101は、これらのグループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、これらの目標グループの候補車線境界線領域を、車線境界線領域として認識することができる。処理デバイス101は、さらに、この車線境界線領域に基づいて車線境界線が強調表示された車線画像を生成し、この車線画像を表示デバイス102に送信して表示することができる。
【００５１】
第1の所定の条件は、2つのグループに対応する車線境界線どうしの間の距離が第1の所定の距離しきい値未満であること、および2つのグループに対応する車線境界線の狭角が第1の所定の狭角しきい値未満であることのうちの少なくとも1つを含み得る。
【００５２】
上記のシナリオは、本発明の実施形態による例示的なシナリオに過ぎず、本発明は上記のシナリオに限定されないことは理解されるであろう。
【００５３】
以下、本開示の実施形態による車線境界線を検出する方法、装置、およびデバイスの具体的な実施態様について、図面および実施形態に関連付けて詳細に説明する。
【００５４】
図2を参照すると、本発明の1実施形態による車線境界線を検出する方法を示す流れ図が示してある。本実施形態では、この方法は、例えば、以下のステップ201からステップ206を含むことができる。
【００５５】
ステップ201で、車線画像をフィルタリングすることによって、車線画像中の候補車線境界線領域を決定する。
【００５６】
実用的な実施態様では、得られた車線画像について、車線画像は、グレースケール画像に変換することができ、このグレースケール画像をフィルタリングし、得られたフィルタリング済み領域を、候補車線境界線領域として決定する。車線画像をフィルタリングすることによってフィルタリング済み領域を得ることは、任意の手段によって実施することができることは理解されるであろう。例えば、車線画像は、いくつかの従来の技術を用いてフィルタリングすることもできるが、これらの技術について、本実施形態のここでは重ねて説明しない。
【００５７】
ステップ202で、各候補車線境界線領域について中心点を抽出する。ここで、これらの中心点は、各候補車線境界線領域内の各行の2つの終端点の間の中央点を含む。
【００５８】
車線画像全体は、複数行の画素からなることは理解されるであろう。各候補車線境界線領域は、車線画像内の領域である。すなわち、各候補車線境界線領域は、実際には、車線画像内のいくつかの画素行を占める。候補車線境界線領域について、その候補車線境界線領域が占める各画素行には左終端点および右終端点があり、各行の左終端点と右終端点の間の中央点が、その候補車線境界線領域の中心点である。
【００５９】
例えば、図3に示す例示的な画像では、各四角形は、画像中の画素を表しており、点線の枠内の領域が、候補車線境界線領域である。候補車線境界線領域は、画素aから画素oを含む。画素a、d、g、j、およびmは、1行内に位置する。この行内では、左終端点はaであり、右終端点はmであり、これらの間の中央点はgである。画素b、e、h、k、およびnは、1行内に位置する。この行内では、左終端点はbであり、右終端点はnであり、これらの間の中央点はhである。画素c、f、i、l、およびoは、1行内に位置する。この行内では、左終端点はcであり、右終端点はoであり、これらの間の中央点はiである。したがって、この候補車線境界線領域の中心点は、g、h、およびiを含む。
【００６０】
現実の車線境界線領域は、一般にかなりの数の画素行を占め、非現実の車線境界線領域は、それほどの画素行を占めない可能性があり、中心点の数は、候補車線境界線領域が占める行数を表すことができることは理解されるであろう。したがって、各候補車線境界線領域について中心点を抽出した後、その後の処理を実行する前に、中心点がほとんどないいくつかの候補車線境界線領域をフィルタリングによって除去して、フィルタリングによって得られた候補車線境界線領域からいくつかの雑音領域をフィルタリングによって除去することができる。詳細には、本実施形態のいくつかの実施態様では、ステップ202の後で、この方法は、例えば、各候補車線境界線領域について、中心点の有効画素の数を有効画素数として認識するステップと、所定の範囲の数を超える有効画素数を有する候補車線境界線領域をフィルタリングによって除去し、残りの候補車線境界線領域に対してステップ203を実行するステップとをさらに含むことができる。この所定の範囲の数は、数しきい値とすることができ、候補車線境界線領域内の有効画素数がこの数しきい値より小さい場合には、この候補車線境界線領域をフィルタリングによって除去することができる。
【００６１】
ステップ203で、各候補車線境界線領域の中心点に対して曲線フィッティングを実行することにより、各候補車線境界線領域のフィッティング曲線を得る。
【００６２】
候補車線境界線領域について、任意の可能な実施態様によってその中心点に対して曲線フィッティングを実行して、その候補車線境界線領域のフィッティング曲線を得ることができる。
【００６３】
例えば、曲線フィッティングの具体例では、フィッティング曲線を候補車線境界線領域の形状により近づけることができるように、候補車線境界線領域の中心点からいくつかの標定点を選択することができ、それらの標定点に基づいて曲線フィッティングを実行することができる。詳細には、本実施形態のいくつかの実施態様では、ステップ203は、例えば、各候補車線境界線領域の中心点から複数の標定点を選択するステップであり、これらの標定点が、各候補車線境界線領域の2つの端部の中心点を含むステップと、3次スプライン補間によって各候補車線境界線領域の標定点に対してフィッティングを実行することによって各候補車線境界線領域の隣接する標定点の対の曲線方程式を得るステップと、各候補車線境界線領域の隣接する標定点の対の曲線方程式を用いて各候補車線境界線領域のフィッティング曲線を形成するステップとを含むことができる。各候補車線境界線領域の2つの端部とは、垂直方向の各候補車線境界線領域の2つの縁部であり、各候補車線境界線領域の2つの端部の中心点とは、垂直方向の各候補車線境界線領域の2つの縁部の中心点である。換言すれば、各候補車線境界線領域の全ての中心点のうち最大の垂直座標を有する中心点と最小の中心座標を有する中心点とが、各候補車線境界線領域の2つの端部の中心点である。
【００６４】
例えば、図4に示す例では、aとeの間の線分を、候補車線境界線領域の中心点によって形成される線分と見なすことができる。この候補車線境界線領域中の中心点a、b、c、d、およびeが標定点として選択されているとすると、標定点a、b、c、d、およびeに対して曲線フィッティングを実行することによって、aとbの間の線分の曲線方程式、bとcの間の線分の曲線方程式、cとdの間の線分の曲線方程式、およびdとeの間の線分の曲線方程式を得ることができ、この4つの線分の曲線方程式を結合することによって、すなわちこの候補車線境界線領域のフィッティング曲線を形成することによって、この候補車線境界線領域に対応する曲線方程式を形成することができる。ここでは、中心点aおよびcが、この候補車線境界線領域の2つの端部の中心点である。
【００６５】
フィッティングは、様々な形態の曲線を用いて、候補車線境界線領域の標定点に対して実行することができる。例えば、フィッティングは、数式1の3次方程式を用いて、候補車線境界線領域の標定点に対して実行することができる。
数式1:v=alu3+blu2+clu+dl
【００６６】
数式1は、候補車線境界線領域内の第1の線分の曲線方程式を表している。この曲線方程式において、vおよびuは、車線画像に基づいて構築された画像座標系内の垂直座標および水平座標であり、al、bl、cl、およびdlは、曲線方程式のパラメータである。
【００６７】
候補車線境界線領域の中心点の中に屈曲点がある場合には、その屈曲点の2つの側の候補車線境界線領域の部分は、かなり異なる形状を有し、異なるフィッティング曲線を用いて記述されるべきであることに留意されたい。屈曲点があるかどうかにかかわらずフィッティング曲線を適応性にすることができるようにするために、本実施形態のいくつかの実施態様では、候補車線境界線領域の中心点の中に屈曲点があるかどうかに応じて異なる方法で標定点を選択することができる。詳細には、各候補車線境界線領域の中心点から複数の標定点を選択するステップは、例えば、各候補車線境界線領域の中心点の中に屈曲点があるかどうかを判定するステップであり、この屈曲点が峰点または谷点であるステップと、候補車線境界線領域の中心点の中に屈曲点がないことに応答して、標定点として候補車線境界線領域から第1の目標点を選択するステップと、候補車線境界線領域の中心点の中に屈曲点があることに応答して、標定点として候補車線境界線領域から第2の目標点を選択するステップとを含むことができる。候補車線境界線領域内の隣接する第1の目標点の対の間の距離は、互いに等しく、候補車線境界線領域の第1の目標点は、候補車線境界線領域の2つの端部の中心点を含む。候補車線境界線領域の標定点である第2の目標点は、候補車線境界線領域の2つの端部の中心点および屈曲点を含み、候補車線境界線領域の第1の端部の中心点と屈曲点との間に位置する任意の隣接する2つの第2の目標点の間の距離は、互いに等しく、候補車線境界線領域の第2の端部の中心点と屈曲点との間の任意の隣接する2つの第2の目標点の間の距離は、互いに等しい。
【００６８】
例えば、図4に示す例では、aとeの間の線分を、候補車線境界線領域の中心点によって形成された線分と見なすことができる。この候補車線境界線領域の中心点には屈曲点がないので、a、b、c、d、およびeは、候補車線境界線領域の中心点から標定点として選択することができる、すなわち、第1の目標点は、a、b、c、d、およびeを含む。aとbの間の距離と、bとcの間の距離と、cとdの間の距離と、dとeの間の距離とは、等しい。図5に示す例では、a'とe'の間の線分を、候補車線境界線領域の中心点によって形成された線分と見なすことができ、この候補車線境界線領域の中心点には屈曲点c'があり、a'、b'、c'、d'、およびe'は、候補車線境界線領域の中心点から標定点として選択することができる、すなわち、第2の目標点は、a'、b'、c'、d'、およびe'を含む。ここで、a'は、候補車線境界線領域の第1の端部の中心点であり、e'は、候補車線境界線領域の第2の端部の中心点であり、a'とb'の間の距離と、b'とc'の間の距離とが等しく、c'とd'の間の距離と、d'とe'の間の距離とが等しい。
【００６９】
候補車線境界線領域の中心点の中で、屈曲点は、水平座標に対する峰点または谷点であることは理解されるであろう。詳細には、車線画像に基づいて構築された画像座標系において、候補車線境界線領域の中心点の中の水平座標の峰点および水平座標の谷点は、両方とも、その候補車線境界線領域の屈曲点である。候補車線境界線領域について、水平座標の峰点の2つの側の中心点の水平座標は、全て、水平座標の峰点の水平座標より小さく、水平座標の谷点の2つの側の中心点の水平座標は、全て、水平座標の谷点の水平座標より大きい。例えば、図5に示す例では、a'とe'の間の線分を、候補車線境界線領域の中心点によって形成される線分と見なすことができる。候補車線境界線領域の中心点の中で、c'が、水平座標の谷点である。別の例として、図6に示す例では、a''とe''の間の線分を、候補車線境界線領域の中心点によって形成される線分と見なすことができる。候補車線境界線領域の中心点の中で、c''が、水平座標の峰点である。
【００７０】
本実施形態では、候補車線境界線領域の中心点の中に屈曲点があるかどうかは、様々な実施態様によって判定することができる。例えば、本実施形態のいくつかの実施態様では、候補車線境界線領域内に屈曲点があるかどうかは、以下のように判定することができる。すなわち、候補車線境界線領域の中心点の中で、最大の水平座標を有する第3の目標点および最小の水平座標を有する第4の目標点を探索し、第3の目標点および第4の目標点が第5の所定の条件または第6の所定の条件を満たすのに応答して、候補車線境界線領域の中心点の中に屈曲点があると判定し、第3の目標点および第4の目標点が第5の所定の条件も第6の所定の条件も見なさないことに応答して、候補車線境界線領域の中心点の中に屈曲点がないと判定する。第5の所定の条件は、第3の目標点が、候補車線境界線領域の中央にあり、第4の目標点が、候補車線境界線領域の2つの端部のうちのいずれか1つにあることであり、第6の所定の条件は、第4の目標点が、候補車線境界線領域の中央にあり、第3の目標点が、候補車線境界線領域の2つの端部のうちのいずれか1つにあることである。本明細書における水平座標とは、上述の画像座標系における水平座標であることは理解されるであろう。
【００７１】
さらに詳細には、第5の所定の条件は、数式2および数式3によって表すことができる。
数式2:NumThre < lmax < N-NumThre
数式3:lmin ≦ NumThreまたはlmin ≧ N-NumThre
【００７２】
第6の所定の条件は、数式4および数式5によって表すことができる。
数式4:NumThre < lmin < N-NumThre、
数式5:lmax ≦ NumThreまたはlmax ≧ N-NumThre
【００７３】
Nは、候補車線境界線領域内の中心点の数を表し、NumThreは、所定の数しきい値を表し、lmaxは、候補車線境界線領域の中心点の中の第3の目標点の垂直続き番号を表し、lminは、候補車線境界線領域の中心点の中の第4の目標点の垂直続き番号を表す。例えば、車線画像に基づいて構築された画像座標系において、候補車線境界線領域の中心点が、垂直座標の小さい順にa、b、c、d、およびeであるとすると、aの垂直続き番号が1であり、bの垂直続き番号が2であり、bの垂直続き番号が3であり、dの垂直続き番号が4であり、eの垂直続き番号が5である。aが最大の水平座標を有する第3の目標点であり、cが最小の水平座標を有する第4の目標点であるとすると、lmaxは、aの垂直続き番号、すなわち1であり、lminは、cの垂直続き番号、すなわち3である。
【００７４】
候補車線境界線領域について、第3の目標点および第4の目標点が数式2および数式3の両方を満たす場合には、第3の目標点および第4の目標点は、第5の所定の条件を満たし、候補車線境界線領域の中心点の中に峰点がある。第3の目標点および第4の目標点が数式2および数式3のいずれか一方または両方を満たさない場合には、第3の目標点および第4の目標点は、第5の所定の条件を満たさず、候補車線境界線領域の中心点の中に峰点はない。同様に、第3の目標点および第4の目標点が数式4および数式5の両方を満たす場合には、第3の目標点および第4の目標点は、第6の所定の条件を満たし、候補車線境界線領域の中心点の中に谷点がある。第3の目標点および第4の目標点が数式4および数式5のいずれか一方または両方を満たさない場合には、第3の目標点および第4の目標点は、第6の所定の条件を満たさず、候補車線境界線領域の中心点の中に谷点はない。さらに、候補車線境界線領域の中心点の中に峰点または谷点がある場合には、その峰点または谷点は、屈曲点である。候補車線境界線領域の中心点の中に峰点または谷点がない場合には、候補車線境界線領域に屈曲点はない。
【００７５】
ステップ203で各候補車線境界線領域のフィッティング曲線を得た後で、ステップ204を実行して、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類することができる。すなわち、ステップ203で得られるフィッティング曲線を使用して、候補車線境界線領域の形状を分類する。候補車線境界線領域は、そのフィッティング曲線に基づいて、直線状候補車線境界線領域または曲線状候補車線境界線領域として認識することができる。
【００７６】
さらに、本実施形態のいくつかの実施態様では、ステップ204を実行する前に、例えば、候補車線境界線領域の現実の長さと、屈曲点があるかどうかとに基づいて、いくつかの直線状候補車線境界線領域を認識することもできる。このようにして、現実の長さが短く、屈曲点がない候補車線境界線領域の形状は、フィッティング曲線を用いて決定する必要がなくなる。したがって、フィッティング曲線を用いてその形状を決定する必要がある候補車線境界線領域の数が減少し、これにより、計算リソースの消費が低減される。詳細には、本実施形態による方法は、例えば、各候補車線境界線領域の現実の長さを計算するステップと、各候補車線境界線領域の中心点の中に屈曲点があるかどうかを判定するステップであり、この屈曲点が峰点または谷点であるステップと、その現実の長さが所定の長さ範囲内であり、かつその中心点が屈曲点を含まない候補車線境界線領域を、直線状候補車線境界線領域として認識するステップと、残りの候補車線境界線領域に対してステップ204を実行するステップとをさらに含むことができる。所定の長さ範囲は、長さしきい値で表すことができ、候補車線境界線領域の現実の長さがこの長さしきい値より短い場合には、その現実の長さは、所定の長さ範囲内にある。
【００７７】
ステップ204で、候補車線境界線領域を、各候補車線境界線領域のフィッティング曲線の傾き角に従って、直線状候補車線境界線領域および曲線状候補車線境界線領域として分類する。
【００７８】
候補車線境界線領域の形状が、その候補車線境界線領域が対応する車線境界線の形状に対応することは理解されるであろう。詳細には、候補車線境界線領域が直線状である場合には、その候補車線境界線領域に対応する車線境界線は、直線と見なすことができ、候補車線境界線領域が曲線状である場合には、その候補車線境界線領域に対応する車線は、曲線と見なすことができる。
【００７９】
候補車線境界線領域について、その候補車線境界線領域の形状は、そのフィッティング曲線の異なる位置における傾き角に従って決定することができる。例えば、本実施形態のいくつかの実施態様では、3つのサンプリング点を、候補車線境界線領域の中心点から選択することができ、その3つのサンプリング点におけるフィッティング曲線の傾き角を計算し、その3つのサンプリング点における傾き角に従ってその候補車線境界線領域の形状を決定することができる。詳細には、ステップ204は、例えば、各候補車線境界線領域の中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択するステップと、各候補車線境界線領域について、第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点におけるフィッティング曲線の傾き角を第1の傾き角、第2の傾き角、および第3の傾き角として計算するステップと、各候補車線境界線領域の第1の傾き角、第2の傾き角、および第3の傾き角に基づいて、これらの候補車線境界線領域のうち、第3の所定の条件または第4の所定の条件を満たす候補車線境界線領域を曲線状候補車線境界線領域として認識し、第3の所定の条件も第4の所定の条件も満たさない他の候補車線境界線領域を直線状候補車線境界線領域として認識するステップとを含むことができる。第3の所定の条件は、候補車線境界線領域の第1の傾き角と第2の傾き角の間の差、および候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、第1の傾き角しきい値より大きいことであり、第4の所定の条件は、候補車線境界線領域の第1の傾き角と第2の傾き角の間の差が第1の傾き角しきい値より小さく、候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が第2の傾き角しきい値より大きいことである。第1の傾き角しきい値は、第2の傾き角しきい値より小さい。第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点は、画像座標系内で垂直座標が大きい順に位置することができる、すなわち、第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点は、車両の現在位置に対して近い方から遠い方の順に位置している。
【００８０】
さらに詳細には、第1の傾き角、第2の傾き角、および第3の傾き角は、数式6に従って計算することができる。
数式6:θi = arctan ki、i = 0、1、2
ここで、θ0、θ1、およびθ2は、それぞれ第1の傾き角、第2の傾き角、および第3の傾き角を表し、k0、k1、およびk2は、それぞれ第1の傾き、第2の傾き、および第3の傾きを表す。第1の傾きは、第1のサンプリング点における候補車線境界線領域のフィッティング曲線の接線の傾きであり、第2の傾きは、第2のサンプリング点における候補車線境界線領域のフィッティング曲線の接線の傾きであり、第3の傾きは、第3のサンプリング点における候補車線境界線領域のフィッティング曲線の接線の傾きである。
【００８１】
さらに、第3の所定の条件は、数式7および数式8で表すことができる。
数式7:θ2-θ1 ≧ θthre1、およびθ1-θ0 ≧ θthre1
数式8:θ1-θ2 ≧ θthre1、およびθ0-θ1 ≧ θthre1
【００８２】
第4の所定の条件は、数式9および数式10で表すことができる。
数式9:0 ≦ θ1-θ0 ≦ θthre1、およびθ2-θ1 ≧ θthre2
数式10:0 ≦ θ0-θ1 ≦ θthre1、およびθ1-θ2 ≧ θthre2
【００８３】
θthre1は、第1の傾き角しきい値を表し、θthre2は、第2の傾き角しきい値を表し、θthre1は、θthre2より小さい。詳細には、θthre1は、例えば3°とすることができ、θthre2は、例えば8°とすることができる。
【００８４】
候補車線境界線領域について、候補車線境界線領域が数式7または数式8を満たす場合には、候補車線境界線領域は、第3の所定の条件を満たし、曲線状候補車線境界線領域であると決定することができる。同様に、候補車線境界線領域が数式9または数式10を満たす場合には、候補車線境界線領域は、第4の所定の条件を満たし、曲線状候補車線境界線領域として決定することができる。候補車線境界線領域が数式7、数式8、数式9、および数式10のいずれも満たさない場合には、候補車線境界線領域は、第3の所定の条件も第4の所定の条件も満たさず、直線状候補車線境界線領域として決定することができる。
【００８５】
候補車線境界線領域の中心点の中に屈曲点がある場合には、屈曲点の2つの側の候補車線境界線領域の部分は、かなり異なる形状を有する。したがって、屈曲点があるかどうかが、候補車線境界線領域の形状の決定に影響を及ぼす可能性がある。したがって、本実施形態のいくつかの実施態様では、サンプリング点は、候補車線境界線領域の中心点の中に屈曲点があるかどうかに応じて様々な方法で選択することができる。詳細には、各候補車線境界線領域の中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択するステップは、例えば、各候補車線境界線領域の中心点の中に屈曲点があるかどうかを判定するステップであり、この屈曲点が峰点または谷点であるステップと、候補車線境界線領域の中心点の中に屈曲点がないことに応答して、候補車線境界線領域の第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点として候補車線境界線領域から任意の3つの中心点を選択するステップと、候補車線境界線領域の中心点の中に屈曲点があることに応答して、候補車線境界線領域の屈曲点を候補車線境界線領域の第2のサンプリング点として決定し、候補車線境界線領域の第1のサンプリング点および第3のサンプリング点として候補車線境界線領域の第2のサンプリング点の2つの側の2つの中心点を選択するステップとを含むことができる。第1のサンプリング点および第3のサンプリング点は、例えば候補車線境界線領域の2つの端部の中心点とすることができる。
【００８６】
例えば、図4に示す例では、aとeの間の線分を、候補車線境界線領域の中心点によって形成された線分と見なすことができる。この候補車線境界線領域の中心点には屈曲点がないので、a、c、およびeは、候補車線境界線領域の中心点からサンプリング点として選択することができる、すなわち、aは第1のサンプリング点であり、cは第2のサンプリング点であり、eは第3のサンプリング点である。図5に示す例では、a'とe'の間の線分を、候補車線境界線領域の中心点によって形成された線分と見なすことができ、この候補車線境界線領域の中心点には屈曲点c'があるので、a'、c'、およびe'は、候補車線境界線領域の中心点からサンプリング点として選択することができる、すなわち、a'は第1のサンプリング点であり、c'は第2のサンプリング点であり、e'は第3のサンプリング点である。
【００８７】
さらに、屈曲点の導入、ならびに各候補車線境界線領域の中心点の中に屈曲点があるかどうかをどのようにして判定するかについては、本明細書では重ねて説明することはしないが、本実施形態のステップ203の詳細な説明を参照すればよい。
【００８８】
ステップ205で、分類結果に基づいて候補車線境界線領域をグループに分割する。ここで、曲線状候補車線境界線領域は、それぞれが単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループの候補車線境界線領域は、同じ車線境界線に対応する。
【００８９】
車線画像内の候補車線境界線領域は、候補車線境界線領域の形状に従って異なるグループに分割することができるので、異なる車線境界線に対応する候補車線境界線領域は、異なるグループに分割することができることは理解されるであろう。このようにして、各グループが1本の可能な車線境界線に対応し、同じグループの候補車線境界線領域は、同じ可能な車線境界線に対応し、異なるグループの候補車線境界線領域は、同じ車線境界線に対応しない。
【００９０】
実用的な実施態様では、車線画像内に曲線状候補車線境界線領域がある場合には、各候補車線境界線領域を単独で1つのグループに入れることができるので、各グループは、1つの曲線状候補車線境界線領域しか含まない。車線画像中の直線状候補車線境界線領域については、直線状候補車線境界線領域は、例えば第2の所定の条件に従ってグループに分割することができる。詳細には、第2の所定の条件を満たす2つの直線状候補車線境界線領域は、同じグループである。
【００９１】
第2の所定の条件は、2つの直線状候補車線境界線領域の間の位置関係および方向ずれを制限する条件とすることができる。詳細には、第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わず、2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であり、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であり、ここで、直線状候補車線境界線領域のフィッティング線分が、直線状候補車線境界線領域の中心点に対して直線フィッティングを実行することによって得られることを含むことができる。例えば、直線状候補車線境界線領域のフィッティング線分は、RANSAC(ランダムサンプルコンセンサス)の最小2乗アルゴリズムを用いて直線状候補車線境界線領域の中心点に対してフィッティング計算を実行することによって得ることができる。
【００９２】
第2の所定の条件においては、2つの直線状候補車線境界線領域の位置関係に対する制限は、ワールド座標系によって説明することができることは理解されるであろう。詳細には、2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わないことは、2つの直線状候補車線境界線領域の垂直座標の範囲が、現実世界に基づいて構築されたワールド座標系において互いに重なり合わないことを表すことができる。2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であることは、現実世界に基づいて構築されたワールド座標系において2つの直線状候補車線境界線領域の互いに最も近い2つの終端点どうしの間の距離が第2の所定の距離範囲内であることを表すことができる。
【００９３】
さらに詳細には、第2の所定の条件による位置関係に対する制限は、数式11および数式12によって表すことができる。
数式11:zS1 > zE0
数式12:MINBLANK < S < MAXBLANK
【００９４】
領域1および領域0は、第2の所定の条件に関わる2つの直線状候補車線境界線領域を表し、zS1は、ワールド座標系における領域1のフィッティング線分の始点の垂直座標を表し、zE0は、ワールド座標系における領域0のフィッティング線分の終点の垂直座標を表し、Sは、ワールド座標系における領域1のフィッティング線分の始点と領域0のフィッティング線分の間の距離を表し、MINBLANKは、最小距離しきい値を表し、MAXBLANKは、最大距離しきい値を表し、MINBLANKおよびMAXBLANKは、道路の車線の設計標準に従って決定することができる。
【００９５】
領域1は、2つの直線状候補車線境界線領域のうち車両の現在位置から遠い領域であり、領域0は、2つの直線状候補車線境界線領域のうち車両の現在位置に近い領域であることは理解されるであろう。フィッティング線分については、その始点は、そのフィッティング線分の2つの終端点のうち車両の現在位置に近い終端点であり、終点は、そのフィッティング線分の2つの終端点のうち車両の現在位置から遠い終端点である。すなわち、領域1のフィッティング線分の始点および領域0のフィッティング線分の終点は、実際には、垂直方向に互いに最も近い、領域1および領域0の2つの中心点である。
【００９６】
例えば、図7に示す例示的なグループ分けでは、線分「0」は、領域0のフィッティング線分として用いることができ、線分「1」は、領域1のフィッティング線分として用いることができる。E0は、領域0のフィッティング線分の終点を表し、S1は、領域1の始点を表し、E0およびS1は、2つの領域の垂直方向に最も近い2つの中心点であり、E0とS1の間の距離は、数式12のSとして用いることができ、ワールド座標系におけるE0およびS1の垂直座標は、数式11のzE0およびzS1として用いることができる。
【００９７】
第2の所定の条件において、2つの直線状候補車線境界線領域の方向ずれに対する制限は、多くの方法で説明することができることに留意されたい。例えば、いくつかの実施態様では、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であることは、以下の条件のうちの任意の1つまたは複数を含むことができる。
条件a:2つの直線状候補車線境界線領域のフィッティング線分の狭角が、第2の所定の狭角範囲内である。
条件b:2つの直線状候補車線境界線領域の推定された現実の狭角が、第3の所定の狭角範囲内である。
条件c:2つの直線状候補車線境界線領域のフィッティング線分どうしの間のずれ距離が、第3の所定の距離範囲内である。
【００９８】
条件aは、数式13によって表すことができる。
数式13:abs|α| < Threα、α = arctan(k1)-arctan(k0)
【００９９】
条件bは、数式14によって表すことができる。
数式14:abs|β| < Threβ、Threβ = 360×S/2πR
【０１００】
条件cは、数式15によって表すことができる。
数式15:abs|diff| < Thrediff
【０１０１】
領域1および0は、第2の所定の条件に関わる2つの直線状候補車線境界線領域を表し、αは、画像座標系における領域1のフィッティング線分と領域0のフィッティング線分の狭角を表し、k1は、領域1のフィッティング線分の傾きを表し、ｋ0は、領域0のフィッティング線分の傾きを表し、Threαは、第2の所定の狭角範囲を示す狭角しきい値を表し、βは、ワールド座標系における領域1のフィッティング線分と領域0のフィッティング線分の狭角(すなわち推定された現実の狭角)を表し、Sは、数式12のSと同じであり、Rは、所定の最小回転半径を表し、Threβは、第3の所定の狭角範囲を示す狭角しきい値を表し、diffは、領域1のフィッティング線分と領域0のフィッティング線分の間のずれ距離を表し、Thrediffは、第3の所定の距離範囲を示す距離しきい値を表す。例えば、Rは125mとすることができ、Thrediffは、0.25mとすることができ、Threαは、30°とすることができ、Threβは、例えばβに基づいて方程式Threβ=intβ+2によって決定することができる。
【０１０２】
ずれ距離は、第1の交差点と第2の交差点の間の距離である。第1の交差点および第2の交差点は、それぞれ、2つの直線状候補車線境界線領域のフィッティング線分の延長線と水平中央線との交差点であることは理解されるであろう。2つの直線状候補車線境界線領域の垂直方向に最も近い中心点から水平中央線までの距離は、等しい。
【０１０３】
例えば、図7に示す例では、線分「0」は、領域0のフィッティング線分として用いることができ、線分「1」は、領域1のフィッティング線分として用いることができる。E0は、領域0のフィッティング線分の終点を表し、S1は、領域1の始点を表し、E0およびS1は、2つの領域の垂直方向に最も近い2つの中心点である。E0と点線「V=Vmiddle」の間の距離は、S1と同点線の間の距離と等しい、すなわち、点線「V=Vmiddle」は、この2つの領域に対応する水平中央線である。点Aは、領域1のフィッティング線分の延長線と水平中央線の交差点、すなわち第1の交差点である。点Bは、領域0のフィッティング線分の延長線と水平中央線の交差点、すなわち第2の交差点である。したがって、点AとBの間の距離が、領域1のフィッティング線分と領域0のフィッティング線分の間のずれ距離である。
【０１０４】
ときには、車線画像内のいずれの車線境界線にも対応しないいくつかの領域があり、それらの領域のフィッティング線分が、車線境界線に対応する領域のフィッティング線分とほぼ平行である、すなわち近い傾きを有することもある。例えば、図8に示す例示的な候補車線境界線領域のフィッティング線分では、線分「1」および線分「2」は、同じ車線境界線に対応する車線境界線領域であり、線分「3」は、柵に対応する領域のフィッティング線分であるが、線分「3」は、線分「1」および線分「2」とほぼ平行であり、非常に近い傾きを有する。車線境界線に対応しない領域と車線境界線に対応する領域とが同じグループにグループ分けされることを防止するために、本実施形態のいくつかの実施態様では、第2の所定の条件が、例えば条件dをさらに含むこともできる。
【０１０５】
条件dは、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第4の所定の狭角範囲内である場合に、2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第4の所定の距離範囲内であり、ここで、第2の所定の狭角範囲が、第4の所定の狭角範囲より広く、第3の所定の距離範囲が、第4の所定の距離範囲より広い、というものである。
【０１０６】
詳細には、この条件は、数式16によって表現することができる。
数式16:if(abs|α| < Threα0){abs|diff| < Thrediff0}
【０１０７】
αおよびdiffについては、数式13から数式15の説明を参照されたい。Threα0は、第4の所定の狭角範囲を示す狭角しきい値を表し、Thrediffは、第4の所定の距離範囲を示す距離しきい値を表す。第2の所定の狭角範囲が第4の所定の狭角範囲より広くなるようにするためには、Threα0をThreαより小さくすればよく、第3の所定の距離範囲が第4の所定の距離範囲より広くなるようにするためには、Thrediff0をThrediffより小さくすればよい。
【０１０８】
車線画像内の任意の2つの直線状候補車線境界線領域について、この2つの直線状候補車線境界線領域が第2の所定の条件を満たす場合には、この2つの直線状候補車線境界線領域が同じ可能な車線境界線に対応し、同じグループに入れることができることに留意されたい。例えば、図7に示す例示的なグループ分けでは、各実線の線分は、直線状候補車線境界線領域のフィッティング線分を表す。線分「0」および線分「1」が第2の所定の条件を満たす場合には、線分「0」および線分「1」に対応する候補車線境界線領域は、同じグループにグループ分けされる。線分「1」および線分「2」が第2の所定の条件を満たさない場合には、線分「1」および線分「2」に対応する候補車線境界線領域は、異なるグループに分割される。線分「1」および線分「3」が第2の所定の条件を満たす場合には、線分「1」および線分「3」に対応する候補車線境界線領域は、同じグループにグループ分けされる。線分「0」および線分「1」が第2の所定の条件を満たし、線分「1」および線分「3」も第2の所定の条件を満たしていると、線分「0」および線分「3」が第2の所定の条件を満たしていなくても、線分「0」および線分「1」に対応する候補車線境界線領域が同じグループにグループ分けされ、線分「1」および線分「3」に対応する候補車線境界線領域も同じグループにグループ分けされるので、線分「0」および線分「3」は、実際には同じグループにグループ分けされることは理解されるであろう。すなわち、線分「0」、線分「1」、および線分「3」は、実際には同じグループにグループ分けされる。
【０１０９】
車線画像内に複数の直線状候補車線境界線領域があることが多いことは理解されるであろう。これらの直線状候補車線境界線領域は、特定の順序でグループに分割することができる。例えば、本実施形態のいくつかの実施態様では、車線画像内の全ての直線状候補車線境界線領域を、直線状候補車線境界線領域のフィッティング線分の始点が車両の現在位置に近い順に配列し、続き番号を割り当てることができる。その後、続き番号の小さい順に、2つずつ直線状候補車線境界線領域を選択して、それらが第2の所定の条件を満たすかどうかを判定する。2つの直線状候補車線境界線領域が第2の所定の条件を満たす場合には、その2つの直線状候補車線境界線領域を同じグループにグループ分けする。詳細には、ステップ205は、例えば、本実施形態によれば、以下の手順によって実施することができる。
ステップA。グループ分けされていない車線画像内の全ての直線状候補車線境界線領域について、直線状候補車線境界線領域のフィッティング線分の始点が車両の現在位置に近い順に、それらの直線状候補車線境界線領域を配列し、続き番号を割り当てる。
ステップB。i=0、およびj=i+1として、新たなグループを現在のグループとして確立し、続き番号iを有する直線状候補車線境界線領域をこの現在のグループに追加する。
ステップC。続き番号iおよびjを有する2つの直線状候補車線境界線領域が第2の所定の条件を満たすかどうかを判定し、第2の所定の条件が満たされる場合にはステップDに進み、第2の所定の条件が満たされない場合にはステップGに進む。
詳細には、2つの直線状候補車線境界線領域について数式11から数式16が満たされるかどうかを判定する。ここでは、数式11から数式16が満たされる場合に、2つの直線状候補車線境界線領域が第2の所定の条件を満たすと判定される。
ステップD。続き番号jを有する直線状候補車線境界線領域を、確認すべき領域として決定する。
ステップE。jがNに等しいかどうかを判定し、jがNに等しくない場合にはステップFに進み、jがNに等しい場合にはステップIに進む。
ここで、Nは、直線状候補車線境界線領域の総数を表す。
ステップF。続き番号j+1およびjを有する2つの直線状候補車線境界線領域が垂直方向に互いに重なり合うかどうかを判定し、続き番号j+1およびjを有する2つの直線状候補車線境界線領域が垂直方向に互いに重なり合う場合にはステップHに進み、続き番号j+1およびjを有する2つの直線状候補車線境界線領域が垂直方向に互いに重なり合わない場合にはステップIに進む。
ステップG。jがNに等しいかどうかを判定し、jがNに等しくない場合にはステップHに進み、jがNに等しい場合にはステップIに進む。
ステップH。i=i、およびj=j+1として、ステップCに戻る。
ステップI。現在確認すべき領域の数が0である場合には、直接ステップJに進み、現在確認すべき領域の数が1である場合には、それらの確認すべき領域を目標領域として決定した後でステップJに進み、それらの確認すべき領域を現在のグループに追加し、それらの現在確認すべき領域をレコードからクリアし、現在確認すべき領域の数が1より大きい場合には、それらの確認すべき領域の中心点の一様性、それらの確認すべき領域の2つの側の縁部点の間の傾きの差、およびフィルタリング済み領域の飽和度を総合的に分析した後でステップJに進み、それらの確認すべき領域から目標領域を選択し、目標領域を現在のグループに追加し、それらの現在確認すべき領域をレコードからクリアする。
ステップJ。jがNに等しいかどうかを判定し、jがNに等しくない場合にはステップKに進み、jがNに等しい場合にはステップLに進む。
ステップK。iを現在のグループの直線状候補車線境界線領域の最大の続き番号、およびj=j+1であるとして、ステップCに戻る。
ステップL。ステップAに戻り、車線画像中の全ての直線状候補車線境界線領域がグループに分割されるまで、上記のステップを繰返し実行する。
【０１１０】
ステップ206で、これらのグループのうちから第1の所定の条件を満たす2つを、目標グループとして決定し、目標グループの候補車線境界線領域を、車線境界線領域として認識する。
【０１１１】
第1の所定の条件は、2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および2つのグループに対応する車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含み得る。
【０１１２】
一方で、同じ車線の2本の車線境界線は一般に互いに平行であることは理解されるであろう。2つのグループに対応する車線境界線の狭角が第1の所定の狭角範囲内である場合には、この2つのグループに対応する車線境界線をほぼ平行と見なすことができることが分かる。他方、道路の設計標準により、車線の幅は、一般に特定の範囲内に制限される、すなわち、同じ車線の車線境界線どうしの距離は、特定の範囲内に制限される。したがって、2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内にある場合には、この2つのグループに対応する車線境界線が、車線距離要件を満たしていることが分かる。さらに、2つのグループに対応する車線境界線が狭角の範囲および距離の範囲に関する要件を満たす場合には、この2つのグループに対応する車線境界線は、現実の車線境界線と見なすことができ、この2つのグループの候補車線境界線領域は、現実の車線境界線領域である。
【０１１３】
本実施形態のいくつかの実施態様では、ステップ205で目標グループおよび車線境界線領域を決定した後で、目標グループの車線境界線領域に対してフィッティングを実行して、車線画像内の車線境界線を得ることができる。ここで、各目標グループの車線境界線領域は、1本の車線境界線にフィッティングされる。車線境界線領域のフィッティングは、例えば3次スプライン補間のアルゴリズムを用いて実施することができることは理解されるであろう。
【０１１４】
本実施形態による車線画像に基づいて構築される画像座標系は、平面車線画像内の平面座標系であり、その原点は、図9の座標系に示すように、例えば車線画像の左上隅に位置することができる。現実世界に基づいて構築されたワールド座標系は、車両が位置する3次元空間内の3次元座標系とすることができ、その原点は、例えば図10の座標系に示すように、カメラの中心から下ろした下向きの垂直線が地面と交差する位置とすることができる。
【０１１５】
本実施形態による画像処理プロセスを当業者がよりよく理解できるように、適用シナリオを例にとって、このプロセスについて説明している。この適用シナリオでは、車線画像は、図11に示すものであり、ステップ201でフィルタリングによって得られるフィルタリング済み領域の画像は、図12に示すものである。雑音領域に対して有効画素数フィルタリングを実行することによって得られるフィルタリング済み領域の画像は、図13に示すものであり、ステップ205でグループ分割によって得られる候補車線境界線領域のグループは、図14に示すものである。図14において、同じグレーレベルの領域は、同じグループに属している。ステップ206でマッチングによって得られる車線境界線領域は、図15に示すものであり、車線境界線領域に対してフィッティングを実行することによって得られる車線境界線は、図16に示すものである。
【０１１６】
本実施形態による方法では、車線画像をフィルタリングして、フィルタリング済み領域を候補車線境界線領域として得る。候補車線境界線領域は、候補車線境界線領域のフィッティング曲線に基づいて直線状候補車線境界線領域および曲線状候補車線境界線領域として分類され、その分類結果に基づいてグループ分割される。ここで、各グループの候補車線境界線領域は、1本の車線境界線を形成する。互いに一致する車線境界線に対応するこれらのグループのうちの2つが、目標グループとして決定される。目標グループの候補車線境界線領域が、車線境界線領域として認識される。上記によれば、車線画像をフィルタリングすることによって候補車線境界線領域が得られた後で、候補車線境界線領域のグループ分けおよびマッチングによって、現実の車線境界線に対応しない雑音領域を候補車線境界線領域から除去することができるので、現実の車線境界線に対応する候補車線境界線領域内の領域を、車線境界線領域として認識することができるようになり、これにより、車線境界線領域の検出がより正確になり、したがって車線情報の検出もより正確になり、これにより車両逸脱警報システムが正確に警報プロンプトを出すことができるようになる。
【０１１７】
図17を参照すると、本発明の1実施形態による車線境界線を検出する装置の概略構成図が示してある。本実施形態では、この装置は、例えば、
車線画像をフィルタリングすることによって車線画像中の候補車線境界線領域を決定するように構成されたフィルタリング部1701と、
候補車線境界線領域のそれぞれについて中心点を抽出するように構成された抽出部1702であり、中心点が、候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含む抽出部1702と、
候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することによって候補車線境界線領域のそれぞれのフィッティング曲線を得るように構成された第1のフィルタリング部1703と、
候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するように構成された分類部1704と、
分類結果に基づいて候補車線境界線領域をグループに分割するように構成されたグループ分け部1705であり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応するグループ分け部1705と、
グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、目標グループ中の候補車線境界線領域を車線境界線領域として認識するように構成された第1の認識部1706とを含むことができ、
ここで、第1の所定の条件は、2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および2つのグループに対応する車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む。
【０１１８】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域は、同じグループであり、
第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わず、2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であり、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であることを含み、直線状候補車線境界線領域のフィッティング線分は、直線状候補車線境界線領域の中心点に対して直線フィッティングを実行することによって得られる。
【０１１９】
任意選択で、この装置は、
候補車線境界線領域のそれぞれについて中心点を抽出した後で、候補車線境界線領域のそれぞれについて、中心点における有効画素の数を有効画素数として認識するように構成された第2の認識部と、
候補車線境界線領域のうち、所定の数しきい値より小さい有効画素数を有する候補車線境界線領域をフィルタリングによって除去し、候補車線境界線領域のうちの残りの候補車線境界線領域について、候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングアクションを実行するように構成されたフィルタリング部とをさらに含む。
【０１２０】
任意選択で、第1のフィッティング部1703は、
候補車線境界線領域のそれぞれの中心点から複数の標定点を選択するように構成された第1の選択部であり、標定点が候補車線境界線領域のそれぞれの2つの端部の中心点を含む第1の選択部と、
候補車線境界線領域のそれぞれの標定点に対してフィッティングを実行することによって候補車線境界線領域のそれぞれの中の隣接する標定点の対の曲線方程式を得るように構成された第2のフィッティング部と、
候補車線境界線領域のそれぞれの隣接する標定点の対の曲線方程式を用いて、候補車線境界線領域のそれぞれのフィッティング曲線を形成するように構成された形成部とを含む。
【０１２１】
任意選択で、第1の選択部は、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するように構成された判定部であり、屈曲点が峰点または谷点である判定部と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、標定点として前記1つの候補車線境界線領域から第1の目標点を選択するように構成された第2の選択部であり、前記1つの候補車線境界線領域内の隣接する第1の目標点の対の間の距離が互いに等しく、前記1つの候補車線境界線領域の第1の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点を含む第2の選択部と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、標定点として前記1つの候補車線境界線領域から第2の目標点を選択するように構成された第3の選択部であり、前記1つの候補車線境界線領域の標定点である第2の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点および屈曲点を含み、前記1つの候補車線境界線領域の第1の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しく、前記1つの候補車線境界線領域の第2の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しい第3の選択部とを含む。
【０１２２】
任意選択で、この装置は、
候補車線境界線領域のそれぞれの現実の長さを計算し、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するように構成された第1の計算部であり、屈曲点が峰点または谷点である第1の計算部と、
候補車線境界線領域のうち、その現実の長さが所定の長さ範囲内であり、その中心点が屈曲点を含まない候補車線境界線領域を、直線状候補車線境界線領域として認識し、候補車線境界線領域のうちの残りについて、候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップを実行するように構成された第3の認識部とをさらに含む。
【０１２３】
任意選択で、分類部1704は、
候補車線境界線領域のそれぞれの中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択するように構成された第4の選択部であり、第1のサンプリング点と第2のサンプリング点の間の距離が第2のサンプリング点と第3のサンプリング点の間の距離と等しい第4の選択部と、
候補車線境界線領域のそれぞれについて、第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点におけるフィッティング曲線の傾き角を、第1の傾き角、第2の傾き角、および第3の傾き角として計算するように構成された第2の計算部と、
候補車線境界線領域のそれぞれの第1の傾き角、第2の傾き角、および第3の傾き角に基づいて、候補車線境界線領域のうち、第3の所定の条件または第4の所定の条件を満たす候補車線境界線領域を、曲線状候補車線境界線領域として認識し、候補車線境界線領域のうち、第3の所定の条件も第4の所定の条件も満たさない他の候補車線境界線領域を、直線状候補車線境界線領域として認識するように構成された第4の認識部とを含み、
第3の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差、および対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、両方とも、第1の傾き角しきい値より大きいことであり、
第4の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差が、第1の傾き角しきい値より小さく、対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、第2の傾き角しきい値より大きいことである。
【０１２４】
任意選択で、第4の選択部は、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定するように構成された判定部であり、屈曲点が峰点または谷点である判定部と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、前記1つの候補車線境界線領域の第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点として、前記1つの候補車線境界線領域から任意の3つの中心点を選択するように構成された第5の選択部と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、前記1つの候補車線境界線領域内の屈曲点を前記1つの候補車線境界線領域の第2のサンプリング点として決定し、前記1つの候補車線境界線領域内の第2のサンプリング点の2つの側の2つの中心点を、前記1つの候補車線境界線領域の第1のサンプリング点および第3のサンプリング点として選択するように構成された第6の選択部であり、第1のサンプリング点として選択された中心点から第2のサンプリング点までの距離が、第3のサンプリング点として選択された中心点から第2のサンプリング点までの距離と等しい第6の選択部とを含む。
【０１２５】
任意選択で、判定部は、
候補車線境界線領域のそれぞれの中心点の中で、最大の水平座標を有する第3の目標点および最小の水平座標を有する第4の目標点を探索するように構成された探索部と、
第3の目標点および第4の目標点が第5の所定の条件または第6の所定の条件を満たすことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点があると判定するように構成された第1の判定部と、
第3の目標点および第4の目標点が第5の所定の条件も第6の所定の条件も満たさないことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点がないと判定するように構成された第2の判定部とを含み、
第5の所定の条件は、第3の目標点が対応する候補車線境界線領域の中央にあり、第4の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることであり、
第6の所定の条件は、第4の目標点が対応する候補車線境界線領域の中央にあり、第3の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることである。
【０１２６】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内にあることは、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第2の所定の狭角範囲内にあること、2つの直線状候補車線境界線領域の推定された現実の狭角が第3の所定の狭角範囲内にあること、および2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第3の所定の距離範囲内にあること、のうちの少なくとも1つを含み、
ずれ距離は、第1の交差点と第2の交差点の間の距離であり、第1の交差点および第2の交差点は、それぞれ、2つの候補車線境界線領域のフィッティング線分の延長線と水平中央線との交差点であり、2つの直線状候補車線境界線領域の垂直方向に最も近い中心点と水平中央線の間の距離は、互いに等しい。
【０１２７】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第4の所定の狭角範囲内にある場合に、2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第4の所定の距離範囲内であることをさらに含み、
第2の所定の狭角範囲は、第4の所定の狭角範囲より広く、第3の所定の距離範囲は、第4の所定の距離範囲より広い。
【０１２８】
任意選択で、この装置は、
目標グループ内の候補車線境界線領域を車線境界線領域として認識した後で、目標グループ内の車線境界線領域に対してフィッティングを実行して、車線画像内の車線境界線を得るように構成された第3のフィッティング部をさらに含み、
ここで、目標グループのそれぞれにおける車線境界線領域は、1本の車線境界線にフィッティングされる。
【０１２９】
本実施形態による装置では、車線画像をフィルタリングすることによって候補車線境界線領域を得た後で、候補車線境界線領域のグループ分けおよびマッチングによって、現実の車線境界線に対応しない雑音領域を候補車線境界線領域から除去することができるので、候補車線境界線領域のうち、現実の車線境界線に対応する領域を車線境界線領域として認識することができ、これにより車線境界線領域の検出がより正確になり、したがって、車線情報の検出がより正確になり、これにより、車両逸脱警報システムが正確に警報プロンプトを出すことができるようになる。
【０１３０】
図18を参照すると、本発明の1実施形態による車線境界線を検出するデバイスを示す概略構成図が示してある。本実施形態では、デバイス1800は、例えば、プロセッサ1801と、メモリ1802と、通信インタフェース1803と、バスシステム1804とを含むことができる。
【０１３１】
バスシステム1804は、デバイスのハードウェアを結合するように構成される。
【０１３２】
通信インタフェース1803は、このデバイスと少なくとも1つの他のデバイスとの間の通信接続を実施するように構成される。
【０１３３】
メモリ1802は、プログラム命令およびデータを記憶するように構成される。
【０１３４】
プロセッサ1801は、メモリに記憶された命令およびデータを読み取り、
車線画像をフィルタリングすることによって車線画像中の候補車線境界線領域を決定する動作と、
候補車線境界線領域のそれぞれについて中心点を抽出する動作であり、中心点が、候補車線境界線領域のそれぞれにおける各行の2つの終端点の間の中央点を含む動作と、
候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することによって候補車線境界線領域のそれぞれのフィッティング曲線を得る動作と、
候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状車線境界線領域および曲線状候補車線境界線領域として分類する動作と、
分類の結果に基づいて候補車線境界線領域をグループに分割する動作であり、曲線状候補車線境界線領域は、それぞれ単独で1つのグループを形成し、直線状候補車線境界線領域は、1つまたは複数で1つのグループを形成し、同じグループ内の候補車線境界線領域は、同じ車線境界線に対応する動作と、
前記グループのうちから第1の所定の条件を満たす2つを目標グループとして決定し、目標グループ中の候補車線境界線領域を車線境界線領域として認識する動作とを実行するように構成され、
第1の所定の条件は、2つのグループに対応する車線境界線の間の距離が第1の所定の距離範囲内であること、および2つのグループに対応する車線境界線の狭角が第1の所定の狭角範囲内であること、のうちの少なくとも1つを含む。
【０１３５】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域は、同じグループであり、
第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分が垂直方向に互いに重なり合わず、2つの直線状候補車線境界線領域の垂直方向に互いに最も近い中心点どうしの間の距離が第2の所定の距離範囲内であり、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内であることを含み、ここで、直線状候補車線境界線領域のフィッティング線分は、直線状候補車線境界線領域の中心点に対して直線フィッティングを実行することによって得られる。
【０１３６】
任意選択で、候補車線境界線領域のそれぞれについて中心点を抽出した後で、プロセッサ1801は、
候補車線境界線領域のそれぞれについて、中心点における有効画素の数を有効画素数として認識する動作と、
候補車線境界線領域のうち、所定の数しきい値より小さい有効画素数を有する候補車線境界線領域をフィルタリングによって除去し、候補車線境界線領域のうちの残りの候補車線境界線領域について、候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングアクションを実行する動作と、をさらに実行することができる。
【０１３７】
任意選択で、プロセッサ1801は、
候補車線境界線領域のそれぞれの中心点から複数の標定点を選択する動作であり、標定点が候補車線境界線領域のそれぞれの2つの端部の中心点を含む動作と、
候補車線境界線領域のそれぞれの標定点に対してフィッティングを実行することによって候補車線境界線領域のそれぞれの中の隣接する標定点の対の曲線方程式を得る動作と、
候補車線境界線領域のそれぞれの隣接する標定点の対の曲線方程式を用いて、候補車線境界線領域のそれぞれのフィッティング曲線を形成する動作とを実行することによって、
候補車線境界線領域のそれぞれの中心点に対して曲線フィッティングを実行することにより候補車線境界線領域のそれぞれのフィッティング曲線を得ることができる。
【０１３８】
任意選択で、プロセッサ1801は、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定する動作であり、屈曲点が峰点または谷点である動作と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、標定点として前記1つの候補車線境界線領域から第1の目標点を選択する動作であり、前記1つの候補車線境界線領域内の隣接する第1の目標点の対の間の距離が互いに等しく、前記1つの候補車線境界線領域の第1の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点を含む動作と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、標定点として前記1つの候補車線境界線領域から第2の目標点を選択する動作であり、前記1つの候補車線境界線領域の標定点である第2の目標点が、前記1つの候補車線境界線領域の2つの端部における中心点、および屈曲点を含み、前記1つの候補車線境界線領域の第1の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しく、前記1つの候補車線境界線領域の第2の端部における中心点と屈曲点の間に位置する任意の隣接する2つの第2の目標点の間の距離が互いに等しい動作とを実行することによって、
候補車線境界線領域のそれぞれの中心点から複数の標定点を選択することができる。
【０１３９】
任意選択で、プロセッサ1801は、
候補車線境界線領域のそれぞれの現実の長さを計算し、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定する動作であり、屈曲点が峰点または谷点である動作と、
候補車線境界線領域のうち、その現実の長さが所定の長さ範囲内であり、その中心点が屈曲点を含まない候補車線境界線領域を、直線状候補車線境界線領域として認識し、候補車線境界線領域のうちの残りについて、候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って、候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類するステップを実行する動作とをさらに実行することができる。
【０１４０】
任意選択で、プロセッサは、
候補車線境界線領域のそれぞれの中心点から第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択する動作であり、第1のサンプリング点と第2のサンプリング点の間の距離が第2のサンプリング点と第3のサンプリング点の間の距離と等しい動作と、
候補車線境界線領域のそれぞれについて、第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点におけるフィッティング曲線の傾き角を、第1の傾き角、第2の傾き角、および第3の傾き角として計算する動作と、
候補車線境界線領域のそれぞれの第1の傾き角、第2の傾き角、および第3の傾き角に基づいて、候補車線境界線領域のうち、第3の所定の条件または第4の所定の条件を満たす候補車線境界線領域を、曲線状候補車線境界線領域として認識し、候補車線境界線領域のうち、第3の所定の条件も第4の所定の条件も満たさない他の候補車線境界線領域を、直線状候補車線境界線領域として認識する動作とを実行することによって、
候補車線境界線領域のそれぞれのフィッティング曲線の傾き角に従って候補車線境界線領域を直線状候補車線境界線領域および曲線状候補車線境界線領域として分類することができ、
第3の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差、および対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、両方とも、第1の傾き角しきい値より大きいことであり、
第4の所定の条件は、対応する候補車線境界線領域の第1の傾き角と第2の傾き角の間の差が、第1の傾き角しきい値より小さく、対応する候補車線境界線領域の第2の傾き角と第3の傾き角の間の差が、第2の傾き角しきい値より大きいことである。
【０１４１】
任意選択で、プロセッサ1801は、
候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定する動作であり、屈曲点が峰点または谷点である動作と、
候補車線境界線領域のうちの1つの候補車線境界線領域の中心点の中に屈曲点がないことに応答して、前記1つの候補車線境界線領域の第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点として、前記1つの候補車線境界線領域から任意の3つの等間隔の中心点を選択する動作と、
前記1つの候補車線境界線領域の中心点の中に屈曲点があることに応答して、前記1つの候補車線境界線領域内の屈曲点を前記1つの候補車線境界線領域の第2のサンプリング点として決定し、前記1つの候補車線境界線領域内の第2のサンプリング点の2つの側の2つの中心点を、前記1つの候補車線境界線領域の第1のサンプリング点および第3のサンプリング点として選択する動作であり、第1のサンプリング点として選択された中心点から第2のサンプリング点までの距離が、第3のサンプリング点として選択された中心点から第2のサンプリング点までの距離と等しい動作とを実行することによって、
第1のサンプリング点、第2のサンプリング点、および第3のサンプリング点を選択することができる。
【０１４２】
任意選択で、プロセッサ1801は、
候補車線境界線領域のそれぞれの中心点の中で、最大の水平座標を有する第3の目標点および最小の水平座標を有する第4の目標点を探索する動作と、
第3の目標点および第4の目標点が第5の所定の条件または第6の所定の条件を満たすことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点があると判定する動作と、
第3の目標点および第4の目標点が第5の所定の条件も第6の所定の条件も満たさないことに応答して、対応する候補車線境界線領域の中心点の中に屈曲点がないと判定する動作と
を実行することによって、候補車線境界線領域のそれぞれの中心点の中に屈曲点があるかどうかを判定することができ、
第5の所定の条件は、第3の目標点が対応する候補車線境界線領域の中央にあり、第4の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることであり、
第6の所定の条件は、第4の目標点が対応する候補車線境界線領域の中央にあり、第3の目標点が対応する候補車線境界線領域の2つの端部のうちのいずれか1つにあることである。
【０１４３】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、2つの直線状候補車線境界線領域のフィッティング線分の間の方向ずれが所定のずれ範囲内にあることは、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第2の所定の狭角範囲内にあること、2つの直線状候補車線境界線領域の推定された現実の狭角が第3の所定の狭角範囲内にあること、および2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第3の所定の距離範囲内にあること、のうちの少なくとも1つを含み、
ずれ距離は、第1の交差点と第2の交差点の間の距離であり、第1の交差点および第2の交差点は、それぞれ、2つの候補車線境界線領域のフィッティング線分の延長線と水平中央線との交差点であり、2つの直線状候補車線境界線領域の垂直方向に最も近い中心点と水平中央線の間の距離は、互いに等しい。
【０１４４】
任意選択で、第2の所定の条件を満たす2つの直線状候補車線境界線領域が同じグループにある場合には、第2の所定の条件は、2つの直線状候補車線境界線領域のフィッティング線分の狭角が第4の所定の狭角範囲内にある場合に、2つの直線状候補車線境界線領域のフィッティング線分の間のずれ距離が第4の所定の距離範囲内であることをさらに含み、
第2の所定の狭角範囲は、第4の所定の狭角範囲より広く、第3の所定の距離範囲は、第4の所定の距離範囲より広い。
【０１４５】
任意選択で、目標グループ内の候補車線境界線領域を車線境界線領域として認識した後で、プロセッサ1801は、
目標グループ内の車線境界線領域に対してフィッティングを実行して、車線画像内の車線境界線を得る動作をさらに実行することができ、
目標グループのそれぞれにおける車線境界線領域は、1本の車線境界線にフィッティングされる。
【０１４６】
本実施形態によるデバイスでは、車線画像をフィルタリングすることによって候補車線境界線領域を得た後で、候補車線境界線領域のグループ分けおよびマッチングによって、現実の車線境界線に対応しない雑音領域を候補車線境界線領域から除去することができるので、候補車線境界線領域のうち、現実の車線境界線に対応する領域を車線境界線領域として認識することができ、これにより車線境界線領域の検出がより正確になり、したがって、車線情報の検出がより正確になり、これにより、車両逸脱警報システムが正確に警報プロンプトを出すことができるようになる。
【０１４７】
本開示による実施形態で言及される「第1の所定の条件」、「第1の目標点」、および「第1の所定の距離範囲」の「第1の」は、単に名称の識別子として使用されているものであり、順番が最初であることを表しているわけではない。この規則は、「第2の」および「第3の」にも当てはまる。
【０１４８】
上記の実施形態の説明によれば、当業者なら、上記の実施形態による方法のステップの全てまたは一部は、ソフトウェアにハードウェアプラットフォームを加えれば実施することができることを明白に理解することができる。このような理解に基づき、本開示による技術的解決策は、ソフトウェア製品の形態で実施することができ、コンピュータソフトウェア製品は、コンピュータデバイス(パーソナル・コンピュータ、サーバ、またはルータのようなネットワーク通信デバイスとすることができる)が上記の実施形態またはそれらの実施形態のいくつかの部分による方法を実施するためのいくつかの命令を含む、読取り専用メモリ(ROM)、RAM、ディスクまたはコンパクトディスクなどの記憶媒体に記憶することができる。
【０１４９】
本開示による実施形態について順番に説明したが、同じ、または同様の部分については互いを参照することができ、各実施形態は、他の実施形態との相違点を強調してある。特に、基本的にはシステムの実施形態と同様であることから、方法の実施形態およびデバイスの実施形態については簡単に説明してあるが、関連する部分については、システムの実施形態の説明を参照すればよい。上記のデバイスおよびシステムの実施形態は単なる例示に過ぎず、分離した構成要素として記載されているモジュールは、物理的に分離していても、そうでなくてもよく、モジュールとして表示されている構成要素も、物理的なモジュールであっても、そうでなくてもよい。すなわち、モジュールとして表示されている構成要素は、1箇所に配置されていても、複数のネットワークユニットに分散していてもよく、それらのモジュールの一部または全てを、実際の必要に応じて使用して、実施形態による技術的解決策の目的を達成することができる。当業者なら、いかなる創造的努力もなく、上記のことを理解し、実施することができる。
【０１５０】
上記の実施形態は、単なる本発明のいくつかの好ましい実施形態に過ぎず、本開示の範囲を限定することは意図していない。当業者なら本発明を逸脱することなく様々な改良および装飾を行うことができること、ならびにこれらの改良および装飾は本開示の範囲に含まれることに留意されたい。
【符号の説明】
【０１５１】
101  処理デバイス
102  表示デバイス
103  撮影デバイス
1701  フィルタリング部
1702  抽出部
1703  第1のフィッティング部
1704  分類部
1705  グループ分け部
1706  第1の認識部
1800  デバイス
1801  プロセッサ
1802  メモリ
1803  通信インタフェース
【図１】
2018037053.tif 000003
【図２】
2018037053.tif 000004
【図３】
2018037053.tif 000005
【図４】
2018037053.tif 000006
【図５】
2018037053.tif 000007
【図６】
2018037053.tif 000008
【図７】
2018037053.tif 000009
【図８】
2018037053.tif 000010
【図９】
2018037053.tif 000011
【図１０】
2018037053.tif 000012
【図１１】
2018037053.tif 000013
【図１２】
2018037053.tif 000014
【図１３】
2018037053.tif 000015
【図１４】
2018037053.tif 000016
【図１５】
2018037053.tif 000017
【図１６】
2018037053.tif 000018
【図１７】
2018037053.tif 000019
【図１８】
2018037053.tif 000020
【外国語明細書】
2018037053000001.pdf