(57)【要約】      （修正有）【課題】安定して車線を検出するためのシステム及び方法を提供する。【解決手段】画像捕捉デバイスにより捕捉される複数の画像を受信するステップと、受信された複数の画像を、複数の画像における関心領域（ＲｏＩ）を取得しかつＲｏＩ上の１つまたは複数のエッジ特徴を取得するために前処理するステップと、ＲｏＩの処理に基づいて、１つまたは複数のリッジ特徴を抽出するステップと、抽出されたリッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出するステップと、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、潜在的車線を検出するステップと、１つまたは複数のエッジ特徴上にマスクをかけて関連のエッジを取得するステップと、１つまたは複数の可能性のある車線境界線の抽出された関連のエッジに基づいて、かつフットポイントに基づいて、最終的な車線を検出するステップとを含む。【選択図】図３
2019139729.tif 000002
【特許請求の範囲】
【請求項１】
車線を検出するための方法であって、
コンピューティングデバイスにおいて、画像捕捉デバイスにより捕捉される複数の画像を受信するステップと、
前記コンピューティングデバイスにおいて、受信された前記複数の画像を、前記複数の画像における関心領域（ＲｏＩ）を取得し、かつ前記ＲｏＩ上の１つまたは複数のエッジ特徴を取得するために前処理するステップと、
前記コンピューティングデバイスにおいて、前記ＲｏＩの処理に基づいて、１つまたは複数のリッジ特徴を抽出するステップと、
前記コンピューティングデバイスにおいて、抽出された前記ＲｏＩの前記リッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出するステップと、
前記コンピューティングデバイスにおいて、前記１つまたは複数の可能性のある車線境界線の抽出された前記リッジ特徴および前記フットポイントに基づいて、潜在的車線を検出するステップと、
前記コンピューティングデバイスにおいて、前記１つまたは複数のエッジ特徴上にマスクをかけて関連のエッジを取得するステップであって、前記マスクは、前記潜在的車線に基づくステップと、
前記コンピューティングデバイスにおいて、前記１つまたは複数の可能性のある車線境界線の抽出された前記関連のエッジおよび前記フットポイントに基づいて、最終的な車線を検出するステップと、を含む、方法。
【請求項２】
前記複数の画像を前処理する前記ステップは、さらに、
前記複数の画像のうちの第１のセットをグレースケール化するステップと、
グレースケール化された前記第１の画像セットに基づいて、前記ＲｏＩを取得するステップと、
前記ＲｏＩを近傍領域、中間領域および遠距離領域に分割するステップと、
前記ＲｏＩをガウス平滑化するステップと、
エッジ検出技術に基づいて、前記ＲｏＩ上の前記１つまたは複数のエッジ特徴を取得するステップと、を含む、請求項１に記載の方法。
【請求項３】
前記可能性のある１つまたは複数の車線境界線の位置を示す前記フットポイントを検出する前記ステップは、さらに、
前記ＲｏＩを横方向へ少なくとも３つの領域に分割するステップと、
前記ＲｏＩの前記少なくとも３つの領域のうちの左側領域および右側領域における抽出された前記リッジ特徴の各々に線を当てはめるステップと、
前記ＲｏＩの前記左側領域および前記右側領域における前記線を検証するステップと、を含む、請求項１に記載の方法。
【請求項４】
前記潜在的車線を検出する前記ステップは、さらに、前記潜在的車線の左右の曲がりを捕捉するステップを含む、請求項１に記載の方法。
【請求項５】
前記潜在的な車線を検出する前記ステップは、さらに、
前記１つまたは複数の可能性のある車線境界線の前記フットポイント、および前記複数のセグメントのうちの少なくとも１つの隣接するセグメントにおける前記潜在的車線の検出評価に基づいて、前記ＲｏＩを複数のセグメントにセグメント化するステップと、
前記複数のセグメントの各々における抽出された前記リッジ特徴のログを保持することにより、前記複数のセグメントの各々における抽出された前記リッジ特徴を累積するステップと、
ラインフィッティング技術を実装することにより、前記複数のセグメントの各々における複数のリッジ特徴を線に関連づけるステップと、
セグメント検証技術を用いて、前記複数のセグメントの各々における前記複数のリッジ特徴に当てはめられた前記線を検証するステップと、
セグメント連結技術を実装することにより、前記複数のセグメントの各々における前記複数のリッジ特徴に関連づけられた前記線を隣接するセグメントの線と連結するステップと、
前記車線の左側および右側の各々について取得される連結された前記線セグメント間の距離ベースの線の検証を実行するステップと、
前記左側および前記右側の各々について取得される連結された前記線セグメントに曲線を当てはめて、前記潜在的車線の左右の曲がりを捕捉するステップと、を含む、請求項１に記載の方法。
【請求項６】
前記潜在的車線は、その左側および右側の何れかまたは双方に予め画定されたバッファ領域を生成するために検出され、かつ前記潜在的車線は、前記ＲｏＩの前記関連するエッジを抽出するための前記マスクとして作用する、請求項１に記載の方法。
【請求項７】
前記マスクは、動的なマスクであって、前記複数のリッジ特徴に基づく潜在的車線の変化に基づいて変わる、請求項１に記載の方法。
【請求項８】
抽出された前記関連するエッジに基づいて前記最終的な車線を検出する前記ステップは、さらに、
前記１つまたは複数の可能性のある車線境界線の前記フットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける前記最終的な車線の検出を評価することにより、前記ＲｏＩを複数のセグメントにセグメント化するステップと、
前記１つまたは複数の可能性のある車線境界線の内縁に対応する前記１つまたは複数のエッジ特徴を、前記複数のセグメントの各々における前記関連のエッジから分離するステップと、
ラインフィッティング技術を実装することにより、前記複数のセグメントの各々における複数の関連するエッジを線に関連づけるステップと、
セグメント検証技術を用いて、前記複数のセグメントの各々における関連するエッジに当てはめられる前記線を検証するステップと、
セグメント連結技術を実装することにより、前記複数のセグメントの各々における前記関連のエッジに関連づけられた前記線を隣接するセグメントの線と連結するステップと、
前記車線の前記左側および前記右側の各々について取得される連結された前記線セグメント間の距離ベースの線の検証を実行するステップと、
前記車線の前記左側および前記右側の各々について取得される連結された前記線セグメントに曲線を当てはめて、前記最終的な車線の左右の曲がりを捕捉するステップと、を含む、請求項１に記載の方法。
【請求項９】
前記方法は、さらに、前記検出された最終的な車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するステップを含む、請求項１に記載の方法。
【請求項１０】
車線検出システムであって、
最終的な車線を検出するように動作可能な１つまたは複数のルーチンを具現している非一時的記憶デバイスと、
前記非一時的記憶デバイスへ結合される１つまたは複数のプロセッサとを備え、前記１つまたは複数のルーチンは、
前記１つまたは複数のプロセッサにより実行されると、画像捕捉デバイスにより捕捉される複数の画像を受信し、かつ受信された前記複数の画像を、前記複数の画像における関心領域（ＲｏＩ）を取得しかつさらに前記ＲｏＩ上の１つまたは複数のエッジ特徴を取得するために前処理する画像前処理モジュールと、
前記１つまたは複数のプロセッサにより実行されると、前記ＲｏＩの処理に基づいて、１つまたは複数のリッジ特徴を抽出するリッジ特徴抽出モジュールと、
前記１つまたは複数のプロセッサにより実行されると、前記ＲｏＩの抽出された前記リッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出し、かつ前記１つまたは複数の可能性のある車線境界線の抽出された前記リッジ特徴および前記フットポイントに基づいて、潜在的車線を取得する潜在的車線検出モジュールと、
前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のエッジ特徴上にマスクをかけて関連のエッジを取得する関連エッジ検索モジュールであって、前記マスクは前記潜在的車線に基づく、関連エッジ検索モジュールと、
前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数の可能性のある車線境界線の抽出された前記関連のエッジおよび前記フットポイントに基づいて、前記最終的な車線を検出する最終車線検出モジュールと、を備える、システム。
【請求項１１】
前記画像前処理モジュールは、さらに、
前記複数の画像のうちの第１のセットをグレースケール化し、
グレースケール化された前記第１の画像セットに基づいて、前記ＲｏＩを取得し、
前記ＲｏＩを近傍領域、中間領域および遠距離領域に分割し、
前記ＲｏＩをガウス平滑化し、かつ、
エッジ検出技術に基づいて、前記ＲｏＩ上の前記１つまたは複数のエッジ特徴を取得するように構成される、請求項１０に記載のシステム。
【請求項１２】
前記潜在的車線検出モジュールは、
前記ＲｏＩを横方向へ少なくとも３つの領域に分割し、
線を前記ＲｏＩの前記少なくとも３つの領域の左側領域および右側領域における抽出された前記リッジ特徴の各々に当てはめ、かつ、
前記ＲｏＩの前記左側領域および前記右側領域における前記線を検証するように構成される、請求項１０に記載のシステム。
【請求項１３】
前記潜在的車線は、前記潜在的車線の左右の曲がりの捕捉に基づいて検出される、請求項１０に記載のシステム。
【請求項１４】
前記潜在的車線検出モジュールは、
前記１つまたは複数の可能性のある車線境界線の前記フットポイント、および少なくとも１つの隣接するセグメントにおける前記潜在的車線の検出評価に基づいて、前記ＲｏＩを複数のセグメントにセグメント化し、
前記複数のセグメントの各々における抽出された前記リッジ特徴のログを保持することにより、前記複数のセグメントの各々における抽出された前記リッジ特徴を累積し、
ラインフィッティング技術を実装することにより、前記複数のセグメントの各々における複数のリッジ特徴を線に関連づけ、
セグメント検証技術を用いて、前記複数のセグメントの各々における前記複数のリッジ特徴に当てはめられた前記線を検証し、
セグメント連結技術を実装することにより、前記複数のセグメントの各々における前記複数のリッジ特徴に関連づけられた前記線を隣接するセグメントの線と連結し、
前記車線の左側および右側の各々について取得される連結された前記線セグメント間の距離ベースの線の検証を実行し、かつ、
前記左側および前記右側の各々について取得される連結された前記線セグメントに曲線を当てはめて、前記潜在的車線の左右の曲がりを捕捉するように構成される、請求項１０に記載のシステム。
【請求項１５】
前記潜在的車線は、その左側および右側の何れかまたは双方に予め画定されたバッファ領域を生成するために検出され、かつ前記潜在的車線は、前記ＲｏＩの前記関連するエッジを抽出するための前記マスクとして作用する、請求項１０に記載のシステム。
【請求項１６】
前記マスクは、動的なマスクであって、前記複数のリッジ特徴に基づく潜在的車線の変化に基づいて変わる、請求項１０に記載のシステム。
【請求項１７】
前記最終車線検出モジュールは、
前記１つまたは複数の可能性のある車線境界線の前記フットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける前記最終的な車線の検出を評価することにより、前記ＲｏＩを複数のセグメントにセグメント化し、
前記１つまたは複数の可能性のある車線境界線の内縁に対応する前記１つまたは複数のエッジ特徴を、前記複数のセグメントの各々における前記関連のエッジから分離し、
ラインフィッティング技術を実装することにより、前記複数のセグメントの各々における複数の関連するエッジを線に関連づけ、
セグメント検証技術を用いて、前記複数のセグメントの各々における関連するエッジに当てはめられる前記線を検証し、
セグメント連結技術を実装することにより、前記複数のセグメントの各々における前記関連するエッジに関連づけられた前記線を隣接するセグメントの線と連結し、
前記車線の前記左側および前記右側の各々について取得される連結された前記線セグメント間の距離ベースの線の検証を実行し、かつ、
前記車線の前記左側および前記右側の各々について取得される連結された前記線セグメントに曲線を当てはめて、前記最終的な車線の左右の曲がりを捕捉するように構成される、請求項１０に記載のシステム。
【請求項１８】
前記システムは、さらに、検出された前記最終的な車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するように構成される、請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、オブジェクトを検出するための画像処理技術およびコンピュータビジョン技術を組み込むシステムおよび方法に関する。より具体的には、本開示は、道路の車線を検出するためのシステムおよび方法に関し、前記システムおよび方法は、検出された車線から車両が逸脱した場合に警告または表示を提供することができる。
【背景技術】
【０００２】
背景の記述は、本発明の理解に有用であり得る情報を含む。本明細書において提供する情報は何れも、本件でクレームする発明の先行技術であると、または関連するものであると認めるものではなく、また、具体的または暗示的に言及される刊行物も、先行技術であると認めるものではない。
【０００３】
現今のシナリオにおいて、交通安全は、世界中で重要な問題である。毎年、多くの死亡者を出す何千もの事故が報告されている。これらの事故の主な原因は、スピードの出し過ぎ、運転者の不注意、運転中の違反行為、不適切な車線変更、他である。ＪＰ  Ｒｅｓｅａｒｃｈ  Ｉｎｄｉａ  Ｐｖｔ．Ｌｔｄ．刊行の報告書によると、ムンバイ−プネ間高速道路上の事故のほぼ３０％が不適切な車線変更によるものであって、全ての原因のうちで最も高かった。
【０００４】
不適切な車線変更による事故を回避するために、車線逸脱検出システムは、輸送システムにおいて重要な役割を果たす。ある典型的な車線逸脱検出システムは、車線境界線に対する車両の位置を連続的に監視し、車両が車線から逸脱した場合にその運転者に警告する。カメラセンサが車線検出に対して低コストのソリューションを提供するにつれて、多くの自動車メーカは、車両にカメラを装備して、前方道路の画像をリアルタイムで捕捉している。捕捉された画像のノイズを低減するためには、ガウス平滑化、中央値フィルタリング、他等の様々な前処理技術が使用される。さらに、捕捉された画像において車線の縁を検出するために、勾配ベースの演算子、ヒストグラムベースのセグメンテーション、エッジリンキングおよびハフ変換、他の使用を含む様々なエッジ検出技術が使用される。しかしながら、これらの技術の大部分は、正確な車線検出を提供しない。さらに、これらの技術は、湾曲した道路の場合に有効な車線検出を提供しない。
【０００５】
従来の車線逸脱検出技術によっては、車線検出に、リッジ検出に続いてランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）法が使用される。リッジ特徴は、グレースケール画像における強度が所与の方向の極大に達するポイントにおいて形成される。車線境界線を検出するための特徴として、リッジがエッジより優れているとされるのは、このためである。車線の近傍領域では、リッジ特徴を確実に得ることができる。故に、所望される検出範囲が３０〜３５メートルまでであれば、車線検出は、リッジのみを用いて確実に行うことができる。また、リッジ検出技術は、直線道路および曲がった道路の双方のシナリオで、投影、擦り減って塞がった路面標識、変化する周囲照明条件、他の場合に信頼性の高い検出を提供する。しかしながら、リッジ検出技術は、車線の遠距離領域において一貫しかつ安定した検出を提供しない。また、曲がった車線を検出する場合、リッジ検出技術から入手される出力は、通過車両に起因して得られるもの等の何らかの誤った、または望ましくないリッジ特徴を考慮に入れることがあり、車線線分を誤って検出する原因となる。
【０００６】
エッジ特徴のみを使用することは、近傍領域ではエッジ特徴がリッジ特徴よりも相対的に信頼性が低いという理由で、信頼できるカーブ検出を産出し得ない。所与の関心領域（ＲｏＩ）についても、入手されるエッジ特徴の数は、リッジ特徴の数より相対的に多く、その結果、計算能力およびコストの要件が増加する。
【０００７】
したがって、リッジおよびエッジベースの検出技術の双方の利点を組み合わせて、真っ直ぐな車線ならびに曲がった車線の長い検出範囲に渡る正確で信頼性の高いかつ一貫した車線検出を可能にする車線検出システムおよび方法が必要とされている。さらに、車両が車線を逸脱した場合に、車両の運転者に警告を与えるシステムおよび方法が必要とされている。
【０００８】
本明細書に記載する刊行物は全て、個々の刊行物または特許出願が具体的かつ個々に参照により援用されると示されることと全く同様に、参照により援用される。援用する引例における用語の定義または使用が、本明細書で使用するその用語の定義と矛盾する、またはこれに反する場合、本明細書で使用するその用語の定義を適用し、引例におけるその用語の定義は適用されない。
【０００９】
実施形態によっては、本発明の所定の実施形態を記載および請求するために使用される、成分の量、濃度等の性質、反応条件、等々を表す数字は、場合によっては「約」という用語により修飾されるものとして理解されるべきである。したがって、実施形態によっては、明細書本文および添付の特許請求の範囲に記載される数値パラメータは、ある具体的な実施形態により取得されることが求められる所望の特性に依存して変わり得る近似値である。実施形態によっては、数値パラメータは、報告される有効桁の数に照らして、かつ通常の丸め技法を適用することによって解釈されるべきである。本発明の幾つかの実施形態の広い範囲を示す数値範囲およびパラメータが近似値であるにも関わらず、特定の実施形態に記載される数値は、実施可能な限り正確に報告されている。本発明の幾つかの実施形態において提示される数値は、その個々の試験測定値に見出される標準偏差から必然的に生じる所定の誤差を含み得る。
【００１０】
本明細書における記述および添付の特許請求の範囲を通して用いる「ある、１つの（不定冠詞ａ，ａｎ）」および「その（定冠詞ｔｈｅ）」の意味は、文脈上別段で明確な指摘のない限り、複数の言及を含む。また、本明細書において用いる「の中に（ｉｎ）」の意味は、文脈上別段で明確な指摘のない限り、「の中に（ｉｎ）」および「の上に（ｏｎ）」を含む。
【００１１】
本明細書における値範囲の記載は、単に、その範囲に含まれる別々の値の個々の言及を省略することを意図したものである。本明細書において別段の指摘のない限り、個々の値は、それが本明細書において個々に記載されているかのように組み込まれる。本明細書に記載する方法は全て、本明細書において別段の指摘のない限り、または文脈により別段の明らかな反駁のない限り、任意の適切な順序で実行されることが可能である。本明細書における所定の実施形態に関連して提供される任意の、および全ての例、または例示的な文言（例えば、「等」）の使用は、単に本発明をより良く示すためのものであって、別段で請求する発明の範囲を限定するものではない。本明細書における如何なる文言も、本発明の実施に不可欠である請求の範囲に記載されていない如何なる要素をも示すものとして解釈されるべきではない。
【００１２】
本明細書で開示する本発明の代替要素または代替実施形態のグルーピングは、限定として解釈されるべきではない。グループの各構成要素は、個々に、または、グループの他の構成要素または本明細書において見出される他の要素との任意の組合せで参照されかつ請求されることが可能である。あるグループの１つまたは複数の構成要素は、利便性および／または特許性を理由に、グループに包含されることも、グループから削除されることも可能である。このような包含または削除が生じた場合、明細書は、改変されたグループを含むものと見なされ、よって、添付の特許請求の範囲において使用される全てのグループの記述が充足される。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本開示の一般的な目的は、車線を検出するためのシステムおよび方法を提供することにある。
【００１４】
本発明の別の目的は、検出された車線から車両が逸脱した場合に、車両の運転者に警告するためのシステムおよび方法を提供することにある。
【００１５】
本発明の別の目的は、直線道路ならびに曲がった道路の車線を検出する車線検出システムおよび方法を提供することにある。
【００１６】
本発明の別の目的は、リッジ検出技術およびエッジ検出技術の双方の利点を組み合わせる車線検出システムおよび方法を提供することにある。
【００１７】
本発明のさらに別の目的は、車線を確実に、正確にかつ一貫して検出する車線検出システムおよび方法を提供することにある。
【００１８】
本発明のさらに別の目的は、信頼性の高い車線検出のための低コストのソリューションを提供することにある。
【課題を解決するための手段】
【００１９】
本開示は、検出された車線から車両が逸脱した場合に、車両の運転者に警告を提供することができる車線検出システムおよび方法に関する。本開示の一態様は、車線検出方法に関し、前記方法は、コンピューティングデバイスにおいて、画像捕捉デバイスにより捕捉される複数の画像を受信するステップと、前記コンピューティングデバイスにおいて、受信された複数の画像を、複数の画像における関心領域（ＲｏＩ）を取得しかつＲｏＩ上の１つまたは複数のエッジ特徴を取得するために前処理するステップと、前記コンピューティングデバイスにおいて、ＲｏＩの処理に基づいて、１つまたは複数のリッジ特徴を抽出するステップと、前記コンピューティングデバイスにおいて、抽出されたＲｏＩのリッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出するステップと、前記コンピューティングデバイスにおいて、１つまたは複数の可能性のある車線境界線の抽出されたリッジ特徴およびフットポイントに基づいて、潜在的車線を検出するステップと、前記コンピューティングデバイスにおいて、１つまたは複数のエッジ特徴上にマスクをかけて関連のエッジを取得／抽出するステップであって、前記マスクは、潜在的車線に基づくステップと、前記コンピューティングデバイスにおいて、１つまたは複数の可能性のある車線境界線の抽出された関連のエッジおよびフットポイントに基づいて、最終的な車線を検出するステップとを含む。
【００２０】
ある実施形態において、複数の画像を前処理する前記ステップは、さらに、複数の画像のうちの第１のセットをグレースケール化することと、グレースケール化された第１の画像セットに基づいて、ＲｏＩを取得することと、ＲｏＩを近傍領域、中間領域および遠距離領域に分割することと、ＲｏＩをガウス平滑化することと、エッジ検出技術に基づいて、ＲｏＩ上の１つまたは複数のエッジ特徴を取得することを含む。
【００２１】
ある実施形態において、可能性のある１つまたは複数の車線境界線の位置を示すフットポイントを検出する前記ステップは、さらに、ＲｏＩを横方向へ少なくとも３つの領域に分割するステップと、ＲｏＩの少なくとも３つの領域のうちの左側領域および右側領域における抽出されたリッジ特徴の各々に線を当てはめるステップと、ＲｏＩの左側領域および右側領域における線を検証するステップとを含む。
【００２２】
ある実施形態において、潜在的車線を検出する前記ステップは、さらに、潜在的車線の左右の曲がりを捕捉するステップを含む。
【００２３】
ある実施形態において、潜在的な車線を検出する前記ステップは、さらに、１つまたは複数の可能性のある車線境界線のフットポイント、および複数のセグメントのうちの少なくとも１つの隣接するセグメントにおける潜在的車線の検出評価に基づいて、ＲｏＩを複数のセグメントにセグメント化するステップと、複数のセグメントの各々における抽出されたリッジ特徴のログを保持することにより、複数のセグメントの各々における抽出されたリッジ特徴を累積するステップと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴を線に関連づけるステップと、セグメント検証技術を用いて、複数のセグメントの各々における複数のリッジ特徴に当てはめられた線を検証するステップと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴に関連づけられ／当てはめられた線を隣接するセグメントの線と連結するステップと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行するステップと、左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、潜在的車線の左右の曲がりを捕捉するステップとを含む。
【００２４】
ある実施形態において、抽出された関連のエッジに基づいて最終的な車線を検出する前記ステップは、さらに、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化するステップと、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離するステップと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけるステップと、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証するステップと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連のエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結するステップと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行するステップと、車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉するステップとを含む。
【００２５】
ある実施形態において、本方法は、さらに、検出された最終的な車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するステップを含む。
【００２６】
本開示の別の態様は、車線検出システムに関し、前記システムは、最終的な車線を検出するように動作可能な１つまたは複数のルーチンを具現している非一時的記憶デバイスと、非一時的記憶デバイスへ結合される１つまたは複数のプロセッサとを備え、前記１つまたは複数のルーチンは、１つまたは複数のプロセッサにより実行されると、画像捕捉デバイスにより捕捉される複数の画像を受信し、かつ受信された複数の画像を、複数の画像における関心領域（ＲｏＩ）を取得しかつさらにＲｏＩ上の１つまたは複数のエッジ特徴を取得するために前処理する画像前処理モジュールと、１つまたは複数のプロセッサにより実行されると、ＲｏＩの処理に基づいて、１つまたは複数のリッジ特徴を抽出するリッジ特徴抽出モジュールと、１つまたは複数のプロセッサにより実行されると、抽出されたＲｏＩのリッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出し、かつ１つまたは複数の可能性のある車線境界線の抽出されたリッジ特徴およびフットポイントに基づいて、潜在的車線を取得する潜在的車線検出モジュールと、１つまたは複数のプロセッサにより実行されると、１つまたは複数のエッジ特徴上にマスクをかけて関連のエッジを取得する関連エッジ検索モジュールであって、前記マスクは潜在的車線に基づく、関連エッジ検索モジュールと、１つまたは複数のプロセッサにより実行されると、１つまたは複数の可能性のある車線境界線の抽出された関連のエッジおよびフットポイントに基づいて、最終的な曲がった車線を検出する最終車線検出モジュールとを備える。
【００２７】
ある実施形態において、画像前処理モジュールは、さらに、複数の画像のうちの第１のセットをグレースケール化し、グレースケール化された第１の画像セットに基づいて、ＲｏＩを取得し、ＲｏＩを近傍領域、中間領域および遠距離領域に分割し、ＲｏＩをガウス平滑化し、かつエッジ検出技術に基づいて、ＲｏＩ上の１つまたは複数のエッジ特徴を取得するように構成される。
【００２８】
ある実施形態において、潜在的車線検出モジュールは、ＲｏＩを横方向へ少なくとも３つの領域に分割し、線をＲｏＩの少なくとも３つの領域の左側領域および右側領域における抽出されたリッジ特徴の各々に当てはめ、かつＲｏＩの左側領域および右側領域における線を検証するように構成される。
【００２９】
ある実施形態において、潜在的車線は、潜在的車線の左右の曲がりの捕捉に基づいて検出される。
【００３０】
ある実施形態において、潜在的車線検出モジュールは、１つまたは複数の可能性のある車線境界線のフットポイント、および少なくとも１つの隣接するセグメントにおける潜在的車線の検出評価に基づいて、ＲｏＩを複数のセグメントにセグメント化し、複数のセグメントの各々における抽出されたリッジ特徴のログを保持することにより、複数のセグメントの各々における抽出されたリッジ特徴を累積し、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴を線に関連づけ、セグメント検証技術を用いて、複数のセグメントの各々における複数のリッジ特徴に当てはめられた線を検証し、セグメント連結技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴に関連づけられ／当てはめられた線を隣接するセグメントの線と連結し、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行し、かつ左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、潜在的車線の左右の曲がりを捕捉するように構成される。
【００３１】
ある実施形態において、潜在的車線は、その左側および右側の何れかまたは双方に予め画定されたバッファ領域を生み出すために検出される。ある実施形態において、潜在的車線は、ＲｏＩの関連するエッジを抽出するためのマスクとして機能する。
【００３２】
ある実施形態において、マスクは、動的なマスクであって、複数のリッジ特徴に基づく潜在的車線の変化に基づいて変わる。
【００３３】
ある実施形態において、最終的湾曲車線検出モジュールは、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化し、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離し、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけ、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証し、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連するエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結し、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行し、かつ車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉するように構成される。
【００３４】
ある実施形態において、提案するシステムは、さらに、検出された最終的な車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するように構成される。
【００３５】
本発明の上述の、および他の目的、特徴、優位点、技術的および産業的意義は、添付の図面に関連して考察される、以下に提示する本発明の好ましい実施形態に関する詳細な説明を読めば、いっそう良く理解されるであろう。
【００３６】
添付の図面は、本開示のさらなる理解を提供するために包含されるものであって、本明細書に組み込まれかつその一部を構成する。図面は、本開示の例示的な実施形態を例示し、明細書本文と共に、本開示の原理を説明する働きをする。
【図面の簡単な説明】
【００３７】
【図１】本開示の一実施形態による、提案する車線検出システムの例示的なアーキテクチャを表したものである。
【００３８】
【図２】本開示の一実施形態による、提案する車線検出システムの様々なモジュールの例示的表現である。
【００３９】
【図３】本開示の一実施形態による、提案する車線検出方法の例示的なフローチャートを表したものである。
【００４０】
【図４】本開示の一実施形態による、潜在的車線の検出方法の例示的なフローチャートを表したものである。
【００４１】
【図５】本開示の一実施形態による、最終的な車線の検出方法の例示的なフローチャートを表したものである。
【００４２】
【図６Ａ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント作成、リッジ累積およびラインフィッティングの実装後の道路シナリオを表す例示的な写真である。
【図６Ｂ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント作成、リッジ累積およびラインフィッティングの実装後の道路シナリオを表す例示的な写真である。
【図６Ｃ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント作成、リッジ累積およびラインフィッティングの実装後の道路シナリオを表す例示的な写真である。
【図６Ｄ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント作成、リッジ累積およびラインフィッティングの実装後の道路シナリオを表す例示的な写真である。
【図６Ｅ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント作成、リッジ累積およびラインフィッティングの実装後の道路シナリオを表す例示的な写真である。
【００４３】
【図７Ａ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント検証、セグメント連結および距離ベースの線の検証の実装後の道路シナリオを表す例示的な写真である。
【図７Ｂ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント検証、セグメント連結および距離ベースの線の検証の実装後の道路シナリオを表す例示的な写真である。
【図７Ｃ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント検証、セグメント連結および距離ベースの線の検証の実装後の道路シナリオを表す例示的な写真である。
【図７Ｄ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント検証、セグメント連結および距離ベースの線の検証の実装後の道路シナリオを表す例示的な写真である。
【図７Ｅ】本開示の一実施形態による、潜在的車線の検出に向けたセグメント検証、セグメント連結および距離ベースの線の検証の実装後の道路シナリオを表す例示的な写真である。
【００４４】
【図８Ａ】本発明の一実施形態による、直線道路のリッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００４５】
【図８Ｂ】本発明の一実施形態による、僅かに曲がった道路のリッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００４６】
【図８Ｃ】本発明の一実施形態による、左へ急に曲がった道路のリッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００４７】
【図８Ｄ】本発明の一実施形態による、右へ急に曲がった道路のリッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００４８】
【図９Ａ】本開示の一実施形態による、第１の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図９Ｂ】本開示の一実施形態による、第１の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図９Ｃ】本開示の一実施形態による、第１の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図９Ｄ】本開示の一実施形態による、第１の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００４９】
【図１０Ａ】本開示の一実施形態による、第２の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１０Ｂ】本開示の一実施形態による、第２の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１０Ｃ】本開示の一実施形態による、第２の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１０Ｄ】本開示の一実施形態による、第２の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００５０】
【図１１Ａ】本開示の一実施形態による、僅かに右へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１１Ｂ】本開示の一実施形態による、僅かに右へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１１Ｃ】本開示の一実施形態による、僅かに右へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１１Ｄ】本開示の一実施形態による、僅かに右へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００５１】
【図１２Ａ】本開示の一実施形態による、僅かに左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１２Ｂ】本開示の一実施形態による、僅かに左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１２Ｃ】本開示の一実施形態による、僅かに左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１２Ｄ】本開示の一実施形態による、僅かに左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００５２】
【図１３Ａ】本開示の一実施形態による、第１の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１３Ｂ】本開示の一実施形態による、第１の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１３Ｃ】本開示の一実施形態による、第１の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１３Ｄ】本開示の一実施形態による、第１の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００５３】
【図１４Ａ】本開示の一実施形態による、第２の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１４Ｂ】本開示の一実施形態による、第２の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１４Ｃ】本開示の一実施形態による、第２の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１４Ｄ】本開示の一実施形態による、第２の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００５４】
【図１５Ａ】本開示の一実施形態による、第１の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１５Ｂ】本開示の一実施形態による、第１の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１５Ｃ】本開示の一実施形態による、第１の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１５Ｄ】本開示の一実施形態による、第１の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００５５】
【図１６Ａ】本開示の一実施形態による、第２の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１６Ｂ】本開示の一実施形態による、第２の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１６Ｃ】本開示の一実施形態による、第２の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【図１６Ｄ】本開示の一実施形態による、第２の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す例示的な写真である。
【００５６】
【図１７Ａ】本開示の一実施形態による、最終的な車線の検出に向けた、各々セグメント作成、動的なＲｏＩ選択、内縁のコピー、原点移動車線検出（ＯＳＬＤ）を用いるラインフィッティング、セグメント検証およびセグメント連結の実装後の道路シナリオを表す例示的な写真である。
【図１７Ｂ】本開示の一実施形態による、最終的な車線の検出に向けた、各々セグメント作成、動的なＲｏＩ選択、内縁のコピー、原点移動車線検出（ＯＳＬＤ）を用いるラインフィッティング、セグメント検証およびセグメント連結の実装後の道路シナリオを表す例示的な写真である。
【図１７Ｃ】本開示の一実施形態による、最終的な車線の検出に向けた、各々セグメント作成、動的なＲｏＩ選択、内縁のコピー、原点移動車線検出（ＯＳＬＤ）を用いるラインフィッティング、セグメント検証およびセグメント連結の実装後の道路シナリオを表す例示的な写真である。
【図１７Ｄ】本開示の一実施形態による、最終的な車線の検出に向けた、各々セグメント作成、動的なＲｏＩ選択、内縁のコピー、原点移動車線検出（ＯＳＬＤ）を用いるラインフィッティング、セグメント検証およびセグメント連結の実装後の道路シナリオを表す例示的な写真である。
【図１７Ｅ】本開示の一実施形態による、最終的な車線の検出に向けた、各々セグメント作成、動的なＲｏＩ選択、内縁のコピー、原点移動車線検出（ＯＳＬＤ）を用いるラインフィッティング、セグメント検証およびセグメント連結の実装後の道路シナリオを表す例示的な写真である。
【００５７】
【図１８Ａ】本開示の一実施形態による、直線道路のエッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００５８】
【図１８Ｂ】本開示の一実施形態による、僅かに左へ曲がった道路のエッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００５９】
【図１８Ｃ】本開示の一実施形態による、僅かに右へ曲がった道路のエッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００６０】
【図１８Ｄ】本開示の一実施形態による、急に右へ曲がった道路のエッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００６１】
【図１８Ｅ】本開示の一実施形態による、急に左へ曲がった道路のエッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００６２】
【図１９Ａ】本開示の一実施形態による、視界が悪い場合の、エッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【図１９Ｂ】本開示の一実施形態による、視界が悪い場合の、エッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【図１９Ｃ】本開示の一実施形態による、視界が悪い場合の、エッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【図１９Ｄ】本開示の一実施形態による、視界が悪い場合の、エッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。
【００６３】
【図２０Ａ】本開示の一実施形態による、直線道路の最終的に検出された車線を表す例示的な写真である。
【図２０Ｂ】本開示の一実施形態による、僅かに曲がった道路の最終的に検出された車線を表す例示的な写真である。
【図２０Ｃ】本開示の一実施形態による、急に左へ曲がった道路の最終的に検出された車線を表す例示的な写真である。
【図２０Ｄ】本開示の一実施形態による、急に右へ曲がった道路の最終的に検出された車線を表す例示的な写真である。
【００６４】
【図２１】本発明の実施形態を本開示の実施形態に従って利用することができる環境または手段としての例示的なコンピュータシステムを示す。
【発明を実施するための形態】
【００６５】
以下の説明では、本発明の実施形態を完全に理解できるように、多くの具体的詳細を記載する。本発明の実施形態が、これらの具体的詳細のうちの幾つかを用いることなく実施され得ることは、当業者に明らかであろう。
【００６６】
本発明の実施形態は、様々なステップを含み、以下、これらのステップについて説明する。これらのステップは、ハードウェアコンポーネントによって実行されても、機械実行可能命令において具現されてもよく、前記機械実行可能命令は、これらの命令によりプログラムされる汎用または専用プロセッサにステップを実行させるために使用されてもよい。あるいは、これらのステップは、ハードウェア、ソフトウェアおよびファームウェアの組合せによって、かつ／または人であるオペレータによって実行されてもよい。
【００６７】
本発明の実施形態は、媒体上に命令を実体的に具現する機械可読記憶媒体を包含し得るコンピュータ・プログラム・プロダクトとして提供されてもよく、前記命令は、プロセスを実行すべくコンピュータ（または他の電子デバイス）をプログラムするために使用されてもよい。機械可読媒体には、固定（ハード）ドライブ、磁気テープ、フロッピーディスケット、光ディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）および光磁気ディスク、ＲＯＭ、ＰＲＯＭ、ランダム・アクセス・メモリ（ＲＡＭ）、プログラム可能読取り専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）等の半導体メモリ、フラッシュメモリ、磁気または光学カード、または電子命令（例えば、ソフトウェアまたはファームウェア等のコンピュータ・プログラミング・コード）の記憶に適する他のタイプの媒体／機械可読媒体が含まれてもよいが、この限りではない。
【００６８】
本明細書に記述する様々な方法は、本発明によるコードを含む１つまたは複数の機械可読記憶媒体を、前記媒体内に含まれるコードを実行するための適切な標準コンピュータハードウェアと組み合わせることによって実施されてもよい。本発明の様々な実施形態を実施するための装置は、１つまたは複数のコンピュータ（または、単一のコンピュータ内の１つまたは複数のプロセッサ）と、本明細書に記述する様々な方法に従ってコード化されるコンピュータプログラムへのネットワークアクセスを含む、または有する記憶システムと、を含んでもよく、本発明の方法ステップは、コンピュータ・プログラム・プロダクトのモジュール、ルーチン、サブルーチンまたはサブパーツによって達成される可能性もある。
【００６９】
本明細書における記述および添付の特許請求の範囲を通して用いる「ある、１つの（不定冠詞ａ，ａｎ）」および「その（定冠詞ｔｈｅ）」の意味は、文脈上別段で明確な指摘のない限り、複数の言及を含む。また、本明細書において用いる「の中に（ｉｎ）」の意味は、文脈上別段で明確な指摘のない限り、「の中に（ｉｎ）」および「の上に（ｏｎ）」を含む。
【００７０】
本明細書に記載する方法は全て、本明細書において別段の指摘のない限り、または文脈により別段の明らかな反駁のない限り、任意の適切な順序で実行されることが可能である。本明細書における所定の実施形態に関連して提供される任意の、および全ての例、または例示的な文言（例えば、「等」）の使用は、単に本発明をより良く示すためのものであって、別段で請求する発明の範囲を限定するものではない。本明細書における如何なる文言も、本発明の実施に不可欠である請求の範囲に記載されていない如何なる要素をも示すものとして解釈されるべきではない。
【００７１】
本発明は、車両が車線から逸脱した場合に、車両の運転者に警告を提供することができる車線検出システムおよび方法に関する。本開示のシステムおよび方法は、運転者に車線逸脱を警報で知らせる、または運転者がうっかりと、または故意に車線を変更すると、または車線から外れると警報で知らせることにより、運転者が偶発的な車線変更に起因する事故の可能性を回避することを可能にする。提案するシステムおよび方法は、さらに、信頼性が高く、正確で一貫した車線検出技術を、直線道路および曲がった道路の双方のシナリオに対して提供する。提案するシステムおよび方法は、運転者の応答時間の改善を支援し、よって、偶発的な車線変更または交通違反行為に起因する事故の回避に役立つ。
【００７２】
本開示の一実施形態によれば、本開示のシステムおよび方法は、車線検出のための画像処理技術およびコンピュータビジョン技術を利用する。車両前方の車線の複数の画像は、車両の前側部分と共に構成されるカメラ、カムコーダ、コンピューティングデバイス、携帯電話、カメラセンサおよびこれらに類似するもの等の画像捕捉デバイスを用いて撮像される。例えば、画像捕捉デバイスは、車両のバックミラー・エンクロージャと共に構成されてもよい。捕捉された画像は、次に、車線上のリッジとも称される特徴点を検出するために処理される。検出されたリッジは、次に、車両が走行している車線の車線境界線を取得するために使用される。さらに、提案するシステムおよび方法は、リッジ検出技術をエッジ検出技術で補完することにより、またはエッジ検出技術をリッジ検出技術で補完することにより、急に曲がった車線の検出における限界を克服する。また、提案するシステムおよび方法は、連続的診断を実行して、車両が偶発的に車線を逸脱した場合に車両の運転者に通知する。
【００７３】
本開示の一実施形態によれば、本開示のシステムおよび方法は、長い検出範囲に渡る車線検出を提供する。車線の曲がりをより良く評価するためには、車線に対する車両の位置を決定することとは別に、より長い検出範囲が重要である。例えば、８０メートルまでの検出範囲は、自律型車両に、自律型車両前方の車線の曲がった区間、車線上の１つまたは複数のオブジェクトの存在、他についての関連情報を提供することができ、これにより、自律型車両は、適時の操縦を行うことができるようになる。車線の遠距離領域における標識は、はっきりと見えず、リッジ特徴がほとんど得られないことになる。しかしながら、車線の遠距離領域において取得されるそのエッジ特徴は、リッジ特徴より良質である。したがって、本開示は、リッジ特徴ベースの車線検出をエッジ特徴ベースの車線検出で補完することにより、車線の曲がった区間ならびに直線区間の長距離検出の達成を支援する。
【００７４】
ある実施形態において、リッジ特徴は、グレースケール画像の強度が所与の方向で極大に達する特徴点によって形成される。このような特徴点を識別し、かつこれらをリッジ特徴として収集するために、カスタマイズされた１−Ｄガウシアンフィルタが使用される。ガウシアンフィルタのカーネルサイズは、車線標識の幅に基づいて、例えばピクセル単位で選択される。
【００７５】
本発明の別の実施形態によれば、提案するシステムおよび方法は、画像処理技術を利用して、捕捉された画像を解釈し、かつ検出された車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せを、運転者、交通規制者および車両所有者を含む、但しこれらに限定されないユーザへ提供し、よって、検出された車線から車両が外れていくと、例えば車両の運転者に警告を与えて、運転者が適時な操縦ができるように、運転者に車線逸脱の適切な表示を提供することができる。ある実施形態では、車線逸脱を検出しかつ適宜運転者に警告するために、複数の捕捉画像に対して画像処理が実行される。
【００７６】
本発明のさらに別の実施形態によれば、この車線検出方法は、捕捉した画像を前処理することと、リッジ特徴ベースの検出技術に基づいて車線を検出することと、マスク生成により、かつエッジ特徴ベースの検出技術を用いて車線をさらに検出することにより、望ましくないエッジを除去することを含む。リッジ特徴ベースの検出技術のみを用いる従来の車線検出技術は、車線の遠距離領域において一貫しかつ安定した検出を提供しない。従って、車線の近傍領域ならびに遠距離領域の一貫しかつ安定した車線検出を提供するために、リッジ特徴ベースの検出技術を用いる車線検出は、エッジ特徴ベースの検出技術によってさらに補完される。
【００７７】
本開示のさらに別の態様によれば、六次ベジェ曲線フィッティング技術を用いて、リッジ特徴およびエッジ特徴が車線上に滑らかに当てはめられる。さらに、適切な検証スキームを用いて、車線の検出された直線区間または曲がった区間の信頼性が保証される。
【００７８】
本開示のさらに別の態様によれば、より長い検出範囲での信頼できる車線検出は、リッジ特徴ベースの検出技術をエッジ特徴ベースの検出技術で補完すること、またはエッジ特徴ベースの検出技術をリッジ特徴ベースの検出技術で補完することの何れかによって達成されることが可能である。
【００７９】
ある実施形態において、本発明の実装に使用される画像捕捉デバイスは、車両前方の車線の少なくとも一区間の画像を捕捉する車載前向きカメラとして選択されることが可能である。捕捉された画像に対しては、車線を検出するために画像処理が実行されてもよい。
【００８０】
本開示は、検出された車線から車両が逸脱した場合に、車両の運転者に警告を提供することができる車線検出システムおよび方法に関する。本開示の一態様は、車線検出方法に関し、前記方法は、コンピューティングデバイスにおいて、画像捕捉デバイスにより捕捉される複数の画像を受信するステップと、前記コンピューティングデバイスにおいて、受信された複数の画像を、複数の画像における関心領域（ＲｏＩ）を取得しかつＲｏＩ上の１つまたは複数のエッジ特徴を取得するために前処理するステップと、前記コンピューティングデバイスにおいて、ＲｏＩの処理に基づいて、１つまたは複数のリッジ特徴を抽出するステップと、前記コンピューティングデバイスにおいて、抽出されたＲｏＩのリッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出するステップと、前記コンピューティングデバイスにおいて、１つまたは複数の可能性のある車線境界線の抽出されたリッジ特徴およびフットポイントに基づいて、潜在的車線を検出するステップと、前記コンピューティングデバイスにおいて、１つまたは複数のエッジ特徴上にマスクをかけて関連のエッジを取得／抽出するステップであって、前記マスクは、潜在的車線に基づくステップと、前記コンピューティングデバイスにおいて、１つまたは複数の可能性のある車線境界線の抽出された関連のエッジおよびフットポイントに基づいて、最終的な車線を検出するステップとを含む。
【００８１】
ある実施形態において、複数の画像を前処理する前記ステップは、さらに、複数の画像のうちの第１のセットをグレースケール化することと、グレースケール化された第１の画像セットに基づいて、ＲｏＩを取得することと、ＲｏＩを近傍領域、中間領域および遠距離領域に分割することと、ＲｏＩをガウス平滑化することと、エッジ検出技術に基づいて、ＲｏＩ上の１つまたは複数のエッジ特徴を取得することを含む。
【００８２】
ある実施形態において、可能性のある１つまたは複数の車線境界線の位置を示すフットポイントを検出する前記ステップは、さらに、ＲｏＩを横方向へ少なくとも３つの領域に分割するステップと、ＲｏＩの少なくとも３つの領域のうちの左側領域および右側領域における抽出されたリッジ特徴の各々に線を当てはめるステップと、ＲｏＩの左側領域および右側領域における線を検証するステップとを含む。
【００８３】
ある実施形態において、潜在的車線を検出する前記ステップは、さらに、潜在的車線の左右の曲がりを捕捉するステップを含む。
【００８４】
ある実施形態において、潜在的な車線を検出する前記ステップは、さらに、１つまたは複数の可能性のある車線境界線のフットポイント、および複数のセグメントのうちの少なくとも１つの隣接するセグメントにおける潜在的車線の検出評価に基づいて、ＲｏＩを複数のセグメントにセグメント化するステップと、複数のセグメントの各々における抽出されたリッジ特徴のログを保持することにより、複数のセグメントの各々における抽出されたリッジ特徴を累積するステップと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴を線に関連づけるステップと、セグメント検証技術を用いて、複数のセグメントの各々における複数のリッジ特徴に当てはめられた線を検証するステップと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴に関連づけられ／当てはめられた線を隣接するセグメントの線と連結するステップと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行するステップと、左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、潜在的車線の左右の曲がりを捕捉するステップとを含む。
【００８５】
ある実施形態において、抽出された関連のエッジに基づいて最終的な車線を検出する前記ステップは、さらに、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化するステップと、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離するステップと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけるステップと、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証するステップと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連のエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結するステップと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行するステップと、車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉するステップとを含む。
【００８６】
ある実施形態において、本方法は、さらに、検出された最終的な車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するステップを含む。
【００８７】
本開示の別の態様は、車線検出システムに関し、前記システムは、最終的な車線を検出するように動作可能な１つまたは複数のルーチンを具現している非一時的記憶デバイスと、非一時的記憶デバイスへ結合される１つまたは複数のプロセッサとを含み、前記１つまたは複数のルーチンは、１つまたは複数のプロセッサにより実行されると、画像捕捉デバイスにより捕捉される複数の画像を受信し、かつ受信された複数の画像を、複数の画像における関心領域（ＲｏＩ）を取得しかつさらにＲｏＩ上の１つまたは複数のエッジ特徴を取得するために前処理する画像前処理モジュールと、１つまたは複数のプロセッサにより実行されると、ＲｏＩの処理に基づいて、１つまたは複数のリッジ特徴を抽出するリッジ特徴抽出モジュールと、１つまたは複数のプロセッサにより実行されると、抽出されたＲｏＩのリッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出し、かつ１つまたは複数の可能性のある車線境界線の抽出されたリッジ特徴およびフットポイントに基づいて、潜在的車線を取得する潜在的車線検出モジュールと、１つまたは複数のプロセッサにより実行されると、１つまたは複数のエッジ特徴上にマスクをかけて関連のエッジを取得する関連エッジ検索モジュールであって、前記マスクは、潜在的車線に基づく関連エッジ検索モジュールと、１つまたは複数のプロセッサにより実行されると、１つまたは複数の可能性のある車線境界線の抽出された関連のエッジおよびフットポイントに基づいて、最終的な曲がった車線を検出する最終車線検出モジュールとを備える。
【００８８】
ある実施形態において、画像前処理モジュールは、さらに、複数の画像のうちの第１のセットをグレースケール化し、グレースケール化された第１の画像セットに基づいて、ＲｏＩを取得し、ＲｏＩを近傍領域、中間領域および遠距離領域に分割し、ＲｏＩをガウス平滑化し、かつエッジ検出技術に基づいて、ＲｏＩ上の１つまたは複数のエッジ特徴を取得するように構成される。
【００８９】
ある実施形態において、潜在的車線検出モジュールは、ＲｏＩを横方向へ少なくとも３つの領域に分割し、線をＲｏＩの少なくとも３つの領域の左側領域および右側領域における抽出されたリッジ特徴の各々に当てはめ、かつＲｏＩの左側領域および右側領域における線を検証するように構成される。
【００９０】
ある実施形態において、潜在的車線は、潜在的車線の左右の曲がりの捕捉に基づいて検出される。
【００９１】
ある実施形態において、潜在的車線検出モジュールは、１つまたは複数の可能性のある車線境界線のフットポイント、および少なくとも１つの隣接するセグメントにおける潜在的車線の検出評価に基づいて、ＲｏＩを複数のセグメントにセグメント化し、複数のセグメントの各々における抽出されたリッジ特徴のログを保持することにより、複数のセグメントの各々における抽出されたリッジ特徴を累積し、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴を線に関連づけ、セグメント検証技術を用いて、複数のセグメントの各々における複数のリッジ特徴に当てはめられた線を検証し、セグメント連結技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴に関連づけられ／当てはめられた線を隣接するセグメントの線と連結し、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行し、かつ左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、潜在的車線の左右の曲がりを捕捉するように構成される。
【００９２】
ある実施形態において、潜在的車線は、その左側および右側の何れかまたは双方に予め画定されたバッファ領域を生み出すために検出される。ある実施形態において、潜在的車線は、ＲｏＩの関連するエッジを抽出するためのマスクとして機能する。
【００９３】
ある実施形態において、マスクは、動的なマスクであって、複数のリッジ特徴に基づく潜在的車線の変化に基づいて変わる。
【００９４】
ある実施形態において、最終的湾曲車線検出モジュールは、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化し、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離し、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけ、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証し、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連するエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結し、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行し、かつ車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉するように構成される。
【００９５】
ある実施形態において、提案するシステムは、さらに、検出された最終的な車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するように構成される。
【００９６】
図１は、本開示の一実施形態による、提案する車線検出システムの例示的なアーキテクチャを表したものである。提案する車線検出システム１０２（以後、システム１０２とも称する）は、画像処理技術およびコンピュータビジョン・ベースの技術を実装することにより、車線の直線区間ならびに曲がった区間を検出する。システム１０２は、ネットワーク１０６を介して、１つまたは複数のコンピューティングデバイス１０４−１、１０４−２、．．．、１０４−Ｎ（以後、個々に、かつ集合的にコンピューティングデバイス１０４と称する）と通信可能式に結合されることが可能である。ある実施形態において、システム１０２は、クラウド、サーバ、コンピューティングシステム、コンピューティングデバイス、ネットワークデバイスおよびこれらに類似するもの等のハードウェアコンポーネントおよびソフトウェアコンポーネントの何れかまたはこれらの組合せを用いて実装されることが可能である。さらに、システム１０２は、コンピューティングデバイス１０４と、ウェブサイトまたはコンピューティングデバイス１０６内に存在し得るアプリケーションを介して相互作用することができる。ある実装において、システム１０２は、ウェブサイト、またはＡｎｄｒｏｉｄ（商標）、ｉＯＳ（商標）およびこれらに類似するものを含む、但しこれらに限定されない任意のオペレーティングシステムにより構成されることが可能なアプリケーションによってアクセスされることが可能である。コンピューティングデバイス１０６の例には、車両、交通局、スマートカメラ、スマートフォン、ポータブルコンピュータ、パーソナル・デジタル・アシスタント、ハンドヘルドデバイスおよびこれらに類似するものに関連付けられるコンピューティングデバイスが含まれ得るが、この限りではない。ある実装において、コンピューティングデバイス１０４は、カメラセンサ、カムコーダ、携帯電話、パーソナル・デジタル・アシスタント（ＰＤＡ）およびこれらに類似するオブジェクトの画像を捕捉できるデバイス等の画像捕捉デバイスであることが可能である。
【００９７】
ネットワーク１０６は、無線ネットワーク、有線ネットワークまたはこれらの組合せであってもよい。ネットワーク１０６は、イントラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット、他等の異なるタイプのネットワークのうちの１つとして実装されることが可能である。ネットワーク１０６は、様々なプロトコル、例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、通信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、無線アプリケーションプロトコル（ＷＡＰ）、他を用いて互いに通信する異なるタイプのネットワークのアソシエーションを表す専用ネットワークまたは共有ネットワークの何れであってもよい。さらに、ネットワーク１０６は、ルータ、ブリッジ、サーバ、コンピューティングデバイス、ストレージデバイス、他を含む様々なネットワークデバイスを含んでもよい。
【００９８】
ある態様において、システム１０２は、カメラセンサ、カムコーダ、携帯電話、パーソナル・デジタル・アシスタント（ＰＤＡ）および類似デバイス等のコンピューティングデバイス１０４に具現されることが可能な画像捕捉デバイスによる道路の車線の複数の画像を受信する。ある実施形態において、画像捕捉デバイスは、道路の車線を走行する車両の前側部分に結合されることが可能である。例えば、画像捕捉デバイスは、車両前方の車線の複数の画像を捕捉できるように、車両のバックミラー・エンクロージャ・アセンブリに結合される前向きカメラであってもよい。
【００９９】
ある態様において、システム１０２は、受信される複数の画像を前処理して、複数の画像内の関心領域（ＲｏＩ）を捕捉しかつ／または取得し、かつ捕捉されたＲｏＩ上の１つまたは複数のエッジ特徴を取得する。ある実施形態において、システムは、複数の画像のうちの第１のセットをグレースケール化することにより、受信される複数の画像を処理し、グレースケール化された第１の画像セットに基づいて、ＲｏＩを取得し、ＲｏＩを近傍領域、中間領域および遠距離領域に分割し、ＲｏＩにガウス平滑化を行い、かつエッジ検出技術に基づいて、ＲｏＩ上の１つまたは複数のエッジ特徴を取得する。
【０１００】
ある態様において、システム１０２は、ＲｏＩの処理に基づいて１つまたは複数のリッジ特徴を抽出する。システム１０２は、抽出されたＲｏＩのリッジ特徴に基づいて１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出し、かつ１つまたは複数の可能性のある車線境界線の抽出されたリッジ特徴およびフットポイントに基づいて潜在的車線を取得する。ある実施形態において、潜在的車線は、潜在的車線の左右の曲がりの捕捉に基づいて検出されてもよい。
【０１０１】
ある実施形態において、提案するシステム１０２は、１つまたは複数の可能性のある車線境界線のフットポイント、および少なくとも１つの隣接するセグメントにおける潜在的車線の検出評価に基づいて、ＲｏＩを複数のセグメントにセグメント化することと、複数のセグメントの各々における抽出されたリッジ特徴のログを保持することにより、複数のセグメントの各々における抽出されたリッジ特徴を累積することと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴を線に関連づけることと、セグメント検証技術を用いて、複数のセグメントの各々における複数のリッジ特徴に当てはめられた線を検証することと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴に関連づけられ／当てはめられた線を隣接するセグメントの線と連結することと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行することと、左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、潜在的車線の左右の曲がりを捕捉すること、によって潜在的車線を検出する。
【０１０２】
ある実施形態において、システム１０２は、ＲｏＩを横方向へ少なくとも３つの領域に分割し、線をＲｏＩの少なくとも３つの領域の左側領域および右側領域における抽出されたリッジ特徴の各々に当てはめ、かつＲｏＩの左側領域および右側領域における線を検証することにより、可能性のある車線フットポイントを取得する。
【０１０３】
ある態様において、システム１０２は、１つまたは複数のエッジ特徴にマスクをかけることにより、関連するエッジを取得する。ある実施形態において、潜在的車線は、その左側および右側の何れかまたは双方に予め画定されたバッファ領域を生み出すために検出される。ある実施形態において、潜在的車線は、ＲｏＩの関連するエッジを抽出するためのマスクとして機能する。ある実施形態において、マスクは、動的なマスクであって、複数のリッジ特徴に基づく潜在的車線の変化に基づいて変わる。
【０１０４】
ある態様において、システム１０２は、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化することと、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離することと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけることと、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証することと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連のエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結することと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行することと、車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉することにより、抽出された関連するエッジに基づいて最終的な曲がった車線を検出する。
【０１０５】
ある実施形態において、システム１０２は、ユーザが車両の適時の操作を開始して、意図的でない車線変更に起因する事故を防止できるように、検出された最終的車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供する。ある例において、システム１０２は、検出された車線から車両が逸脱し始めた場合に、車両の運転者に警告することができる。
【０１０６】
図２は、本開示の一実施形態による、提案する車線検出システムの様々なモジュールの例示的表現である。システム１０２は、プロセッサ２０２と、プロセッサ２０２へ結合されるメモリ２０４と、インタフェース２０６とを備える。プロセッサ２０２は、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態マシン、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装されてもよい。他の機能の中でも、プロセッサ２０２は、メモリ２０４に記憶されるコンピュータ可読命令をフェッチして実行するように構成されてもよい。メモリ２０４は、例えば、揮発性メモリ（例えば、ＲＡＭ）および／または不揮発性メモリ（例えば、ＥＰＲＯＭ、フラッシュメモリ、他）を含む技術上知られる任意の非一時的コンピュータ可読媒体を含むことができる。
【０１０７】
インタフェース２０６は、システム１０２がコンピューティングデバイス１０４と相互作用できるようにする様々なソフトウェアおよびハードウェアインタフェース、例えば、ウェブインタフェース、グラフィカル・ユーザ・インタフェース、他を含んでもよい。インタフェース２０６は、例えばＬＡＮ、ケーブル、他である有線ネットワーク、およびＷＬＡＮ、セルラまたは衛星等の無線ネットワークを含む、広範なネットワークおよびプロトコルタイプ内での複数の通信を促進することができる。インタフェース２０６は、幾つかのデバイスを互いに、または別のサーバに接続するための１つまたは複数のポートを含んでもよい。
【０１０８】
ある実装において、システム１０２は、モジュール２０８およびデータ２１０を含むことができる。ある実施形態において、モジュール２０８およびデータ２１０は、メモリ２０４内に記憶されてもよい。ある実施例において、モジュール２０８は、とりわけ、特定のタスクを実行する、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネントおよびデータ構造を含むことができる。また、モジュール２０８は、信号プロセッサ、状態マシン、論理回路、および／または動作命令に基づいて信号を操作する他の任意のデバイスまたはコンポーネントとしても実装されてもよい。さらに、モジュール２０８は、１つまたは複数のハードウェアコンポーネントによって、処理ユニットにより実行されるコンピュータ可読命令によって、またはこれらの組合せによって実装されることが可能である。データ２１０は、とりわけ、モジュール２０８のうちの１つまたはそれ以上によってフェッチされ、処理され、受信されかつ生成されるデータを記憶するためのレポジトリとして機能することができる。
【０１０９】
ある実施形態において、モジュール２０８は、さらに、画像前処理モジュール２１２と、リッジ特徴抽出モジュール２１４と、潜在的車線検出モジュール２１６と、関連エッジ検索モジュール２１８と、最終車線検出モジュール２２０と、他のモジュール２２２とを備える。他のモジュール２２２は、システム１０２の様々な雑多な機能を実行してもよい。前述のこうしたモジュールが、単一のモジュールとして、または異なるモジュールの組合せとして表され得ることは、認識されると思われる。
【０１１０】
ある態様において、システム１０２の画像前処理モジュール２１２は、車両の前側部分に構成される画像捕捉デバイスによる車両前方の車線の複数の画像を検索／受信する。画像前処理モジュール２１２は、受信される複数の画像を処理して、複数の画像内のＲｏＩを取得し、かつさらに、ＲｏＩ上の１つまたは複数のエッジ特徴を捕捉する。
【０１１１】
ある実施形態において、画像前処理モジュール２１２は、複数の画像のうちの第１のセットをグレースケール化することと、グレースケール化された第１の画像セットに基づいて、ＲｏＩを取得することと、ＲｏＩを近傍領域、中間領域および遠距離領域に分割することと、ＲｏＩをガウス平滑化することと、エッジ検出技術に基づいて、ＲｏＩ上の１つまたは複数のエッジ特徴を取得することによって、受信される複数の画像を処理してもよい。
【０１１２】
ある例において、画像前処理モジュール２１２は、画像捕捉デバイスから１つまたは複数の入力画像を受信する。入力画像は、少なくとも１つのグレースケール画像を含むことができる。グレースケール画像の下側部分は、グレースケール画像のＲｏＩ部分のみを含むＲｏＩ画像として選択される。故に、フル解像度、例えば１２８０ｘ９６０、のグレースケール画像は、クロップされて、ＲｏＩのみを含む、即ちグレースケール画像の下側部分のみを含むより低い解像度、例えば１２８０ｘ４００、の別の画像が形成される。ある実施形態において、画像前処理モジュール２１２は、効率的な車線検出を可能にするために、グレースケール画像のＲｏＩのみが後続段に渡されることを保証する。
【０１１３】
ある実施形態において、画像前処理モジュール２１２は、信頼性の高い車線検出に使用されるべき１つまたは複数のエッジ特徴を取得するために、入力画像に対して所定の演算を実行してもよい。ＲｏＩ画像は、３つの領域、即ち、近傍、中間および遠距離領域に分割されてもよい。提案する実施形態において、遠距離領域は、ＲｏＩ画像の上部領域、例えば上部３０行に対応し、続く中間領域は、例えばＲｏＩ画像の中間の１３０行に、かつ近傍領域は、例えばＲｏＩ画像の下側の２４０行に対応する。ＲｏＩ画像の３つの領域、即ち、近傍、中間および遠距離領域は、各々、ガウス平滑化される。画像ノイズに対処するために、各領域における平滑化に、適切なブラー係数が使用される。
【０１１４】
ある実施形態では、ガウス平滑化画像内の１つまたは複数のエッジを検出するために、キャニーエッジ検出が使用される。各領域、即ち近傍、中間および遠距離領域、におけるキャニー演算子に適切な低い、かつ高い閾値を用いて、ＲｏＩ画像に渡るエッジ特徴が取得される。検出されたエッジ特徴は、次に、曲がった車線ならびに直線車線の区分的な車線検出を支援するために使用されることが可能である。
【０１１５】
ある実施形態において、エッジ特徴は、画像内のオブジェクトの構造推定に関連する特徴のうちの１つを含んでもよい。エッジは、概して、画像の複数の領域間の境界領域上に形成される。本開示の一実施形態によれば、画像前処理モジュール２１２によるエッジ特徴の検出は、区分的な車線検出を補助する。好ましくは、キャニーエッジ検出アルゴリズム、または、技術上知られるような、ソーベルエッジ検出器、プレウィットエッジ検出器、他を含む、但しこれらに限定されない他の任意の適切な検出アルゴリズムを用いて、ガウス平滑化画像から１つまたは複数のエッジ特徴を取得することができる。キャニーエッジ検出アルゴリズムでは、画像の平滑化後に、画像の輝度勾配が計算される。この後、非最大値抑制を行ってエッジ検出に対するスプリアス応答が除去され、二重閾値を適用して潜在的エッジが計算される。最後に、強いエッジに連結されない他の弱いエッジを全て抑制することにより、エッジ検出が行われる。
【０１１６】
ある態様において、リッジ特徴抽出モジュール２１４は、ＲｏＩの処理に基づいて１つまたは複数のリッジ特徴を抽出する。リッジ特徴抽出モジュール２１４は、抽出されたＲｏＩのリッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出する。
【０１１７】
ある態様において、潜在的車線検出モジュール２１６は、ＲｏＩを横方向へ少なくとも３つの領域に分割し、線をＲｏＩの少なくとも３つの領域の左側領域および右側領域における抽出されたリッジ特徴の各々に当てはめ、かつＲｏＩの左側領域および右側領域における線を検証することにより、可能性のある車線フットポイントを取得する。
【０１１８】
ある態様において、潜在的車線検出モジュール２１６は、１つまたは複数の可能性のある車線境界線のフットポイント、および少なくとも１つの隣接するセグメントにおける潜在的車線の検出評価に基づいて、ＲｏＩを複数のセグメントにセグメント化することと、複数のセグメントの各々における抽出されたリッジ特徴のログを保持することにより、複数のセグメントの各々における抽出されたリッジ特徴を累積することと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴を線に関連づけることと、セグメント検証技術を用いて、複数のセグメントの各々における複数のリッジ特徴に当てはめられた線を検証することと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴に関連づけられ／当てはめられた線を隣接するセグメントの線と連結することと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行することと、左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、潜在的車線の左右の曲がりを捕捉すること、によって１つまたは複数のリッジ特徴を抽出する。
【０１１９】
ある態様において、関連エッジ検索モジュール２１８は、１つまたは複数のエッジ特徴にマスクをかけることにより、関連するエッジを取得してもよい。ある実施形態において、潜在的車線は、その左側および右側の何れかまたは双方に予め画定されたバッファ領域を生み出すために検出される。ある実施形態において、潜在的車線は、ＲｏＩの関連するエッジを抽出するためのマスクとして機能する。ある実施形態において、マスクは、動的なマスクであって、複数のリッジ特徴に基づく潜在的車線の変化に基づいて変わる。
【０１２０】
ある態様において、最終車線検出モジュール２２０は、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化することと、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離することと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけることと、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証することと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連のエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結することと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行することと、車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉することにより、抽出された関連するエッジに基づいて最終的な曲がった車線を検出する。
【０１２１】
ある実施形態において、最終車線検出モジュール２２０は、ユーザが車両の適時の操作を開始して、意図的でない車線変更に起因する事故を防止できるように、検出された最終的車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するように構成される。例えば、最終車線検出モジュール２２０は、検出された車線から車両が逸脱していく場合に、車両の運転者に警告することができる。
【０１２２】
図３は、本開示の一実施形態による、提案する車線検出方法３００の例示的なフローチャートを表したものである。ある態様において、提案する方法３００は、画像捕捉デバイスにより捕捉された複数の画像を受信するためのステップ３０２を含む。ある実施形態において、画像捕捉デバイスは、車両前方の車線の複数の画像を捕捉するために、車両の前部分、例えば車両のフード、に構成されてもよい。ある実施形態において、画像捕捉デバイスは、カメラセンサ、カムコーダ、コンピューティングデバイス、ネットワークデバイス、携帯電話、ＰＤＡおよびこれらに類似するオブジェクトの画像を捕捉できるデバイスの何れか、またはこれらの組合せであることが可能である。
【０１２３】
ある態様において、方法３００は、受信される複数の画像を前処理して、複数の画像内のＲｏＩを取得し、かつさらに、ＲｏＩ上の１つまたは複数のエッジ特徴を取得するためのステップ３０４を含む。ある実施形態において、複数の画像を前処理するためのステップ３０４は、さらに、複数の画像のうちの第１のセットをグレースケール化することと、グレースケール化された第１の画像セットに基づいて、ＲｏＩを取得することと、ＲｏＩを近傍領域、中間領域および遠距離領域に分割することと、ＲｏＩをガウス平滑化することと、エッジ検出技術に基づいて、ＲｏＩ上の１つまたは複数のエッジ特徴を取得することを含んでもよい。
【０１２４】
ある態様において、方法３００は、ＲｏＩの処理に基づいて１つまたは複数のリッジ特徴を抽出するためのステップ３０６を含む。
【０１２５】
ある態様において、方法３００は、抽出されたＲｏＩのリッジ特徴に基づいて、１つまたは複数の可能性のある車線境界線のフットポイントの表示を検出するためのステップ３０８を含む。ある実施形態において、可能性のある１つまたは複数の車線境界線の位置を示すフットポイントを検出するためのステップ３０８は、さらに、ＲｏＩを横方向へ少なくとも３つの領域に分割するステップと、ＲｏＩの少なくとも３つの領域のうちの左側領域および右側領域における抽出されたリッジ特徴の各々に線を当てはめるステップと、ＲｏＩの左側領域および右側領域における線を検証するステップとを含む。
【０１２６】
ある態様において、方法３００は、１つまたは複数の可能性のある車線境界線の抽出されたリッジ特徴およびフットポイントに基づいて潜在的車線を検出するためのステップ３１０を含む。ある実施形態において、潜在的車線を検出するためのステップ３１０は、さらに、潜在的車線の左右の曲がりを捕捉するステップを含む。ある実施形態において、潜在的車線は、潜在的車線の左右の曲がりの捕捉に基づいて検出される。
【０１２７】
ある態様において、方法３００は、１つまたは複数のエッジ特徴にマスクをかけて関連するエッジを取得するためのステップ３１２を含み、前記マスクは、潜在的車線に基づく。ある実施形態において、潜在的車線は、その左側および右側の何れかまたは双方に予め画定されたバッファ領域を生み出すために検出される。潜在的車線は、ＲｏＩの関連するエッジを抽出するためのマスクとして機能する。ある実施形態において、マスクは、動的なマスクであって、複数のリッジ特徴に基づく潜在的車線の変化に基づいて変わる。
【０１２８】
ある態様において、方法３００は、抽出された関連するエッジに基づいて最終的な車線を検出するためのステップ３１４を含む。ある実装において、抽出された関連のエッジに基づいて最終的な車線を検出するステップ３１４は、さらに、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化するステップと、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離するステップと、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけるステップと、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証するステップと、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連のエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結するステップと、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行するステップと、車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉するステップとを含む。
【０１２９】
ある実施形態において、方法３００は、さらに、検出された最終的な車線の表示および少なくとも１つのパラメータの何れかまたはこれらの組合せをユーザへ提供するステップを含む。
【０１３０】
図４は、本開示の一実施形態による、潜在的車線の検出方法の例示的なフローチャートを表したものである。ある実施形態において、潜在的車線は、抽出されたリッジ特徴を用いて検出されてもよい。ある実施形態において、潜在的車線を検出するための方法４００は、１つまたは複数の可能性のある車線境界線のフットポイント、および複数のセグメントのうちの少なくとも１つの隣接するセグメントにおける潜在的車線の検出評価に基づいて、ＲｏＩを複数のセグメントにセグメント化するためのステップ４０２と、複数のセグメントの各々における抽出されたリッジ特徴のログを保持することにより、複数のセグメントの各々における抽出されたリッジ特徴を累積するためのステップ４０４と、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴を線に関連づけるためのステップ４０６と、セグメント検証技術を用いて、複数のセグメントの各々における複数のリッジ特徴に当てはめられた線を検証するためのステップ４０８と、セグメント連結技術を実装することにより、複数のセグメントの各々における複数のリッジ特徴に関連づけられ／当てはめられた線を隣接するセグメントの線と連結するためのステップ４１０と、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行するためのステップ４１２と、左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、潜在的車線の左右の曲がりを捕捉するためのステップ４１４とを含む。
【０１３１】
ある実施形態において、潜在的車線を検出するための方法４００のステップ４０２〜４１４は、下記として実装されてもよい。
【０１３２】
セグメントの作成：線形車線モデルのフットポイントを用いて、基本セグメントを画定する。線形車線モデルとは、車線の曲がった区間であっても線方程式によって近似できると仮定して達成される車線検出を指す。このような線形車線モデルを実装するために、画像前処理モジュール２１２から取得されるＲｏＩ画像を、横方向へ３つの領域−左、中央および右、に分割することができる。原点移動車線検出（ＯＳＬＤ）法を用いて、左右の領域に線を当てはめる。ＯＳＬＤ法は、最も多いリッジ点を含みかつ所定の勾配限度内の勾配値を有する線が検出された線として採用されることを保証する。こうして取得される左右の直線を、潜在的車線の検出を実装する前に検証する。
【０１３３】
ある実装では、フットポイントの各側の、例えば約１００ピクセルの領域を、最下部のセグメントを構成するＲｏＩとしてマーキングする。次に、こうして取得されたＲｏＩにおいて検出されるリッジは、ＯＳＬＤ法を用いて線を当てはめるために使用される。最新のＲｏＩにおいて取得される線の頂点は、次のＲｏＩを画定するための基準点として機能する。言い換えれば、各セグメントにおける線の頂点は、その上のＲｏＩを画定するための基点として作用する。下のセグメントにおける線の頂点に基づいて、その上のセグメントのＲｏＩが、左右の側に幾分かの固定オフセットを取ることによって画定される。類似のプロセスが続いて、全てのＲｏＩ（セグメントとも称する）が画定され、これにより、潜在的車線の検出が可能になる。提案する区分的な車線検出モデルでは、左右の車線が各々５つのセグメントを含む。最下のセグメントは、線形車線モデル出力を使用し、かつ車両に最も近いが、残りのセグメントは、画像前処理モジュール２１２から取得されるＲｏＩの中間領域から遠距離領域に及ぶ。
【０１３４】
リッジの累積：リッジを蓄積するステップは、（ｉ）リッジのコピー、および（ｉｉ）リッジ履歴の保持、という２つのステップで構成されてもよい。リッジのコピーでは、画像内に存在する全てのリッジ点の個々のセグメント境界及び座標が使用される。各セグメントの画定された限界に従って、ＲｏＩ内に存在するリッジは、さらなる使用のための構造体内にコピー／累積される。ある例では、各セグメントについて、過去数フレームにおいてそのセグメントについて取得されたリッジ点の履歴を保持することができる。これは、特定のフレームにリッジが存在しない場合でもセグメントの信頼性の高い線推定を達成するという目的で行われる。特定のフレームにおけるセグメントの一部または全てにリッジが存在しない一般的な理由の幾つかは、車線の断続線およびワイパに起因する閉塞である。提案する実装では、車線の移行が生じている間を除いて、リッジ履歴を保持することが検出を向上させることが分かっている。故に、履歴は、車線変更シナリオが検出される度にリセットされる。
【０１３５】
ＯＳＬＤを用いるラインフィッティング：ＯＳＬＤ技術を用いて、個々のセグメントのリッジに線を当てはめる。図６Ａ〜図６Ｅは、セグメント作成、リッジ累積およびラインフィッティングの実装後の異なる道路シナリオを表す例示的な写真である。本発明では、ラインフィッティングにＯＳＬＤ法を使用しているが、当業者であれば、線をセグメントの対応するリッジに当てはめるために、最小二乗法、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）、ハフ変換、他を含む、但しこれらに限定されない他の任意の適切なラインフィッティング技術を用いることができる。
【０１３６】
セグメントの検証：隣接するセグメントに当てはめられる線の突然の変動を回避するために、勾配ベースの検証技術を実装する。閾値の画定を容易にするために、検証技術は、前の線分と最新の線分の勾配値の差を用いる代わりに、前の線分と最新の線分との角度偏差をチェックすることを含む。故に、検証技術は、セグメント線の各々が配向される角度を単位度で計算することを含む。隣接するセグメントにおける線の配向間に許容される最大偏差は、閾値を用いて調整される。適用される閾値は、遠距離領域に対応するＲｏＩの許容される角度偏差が、近傍領域に対応するＲｏＩのそれより緩和されることを保証してもよい。角度差が指定された範囲内にあり、かつ比較される線が共に同一象限にあれば、最新のＲｏＩに当てはめられる線セグメントが有効であるとされる。
【０１３７】
ある実装では、最下セグメントにおいて取得される線を除いて、画定された角度閾値の違反は、取得されたセグメントラインが拒絶されることにつながり、その下のセグメントにおいて取得されたものと同じ勾配を有する線で置き換えられることになる。言い換えれば、各ＲｏＩにおいて取得される検証された線セグメントは、その上のＲｏＩの基準線として機能する。先に述べたような必要が生じれば、基準線は、次のＲｏＩへと拡張される。線形車線モデルから取得された、可能性のある車線境界線は、最下セグメントの基準線とされる。
【０１３８】
セグメントの連結：各セグメントにおけるリッジに当てはめられる線は、隣接する線セグメント間の連結性を保証しない場合がある。線セグメントの連結は、ある線セグメントのフットポイントを、その下の線セグメントの頂点に接合することによって保証される。フットポイントが修正される線セグメントの勾配値も、適宜更新される。しかしながら、セグメントの連結を保証する一方で勾配値が劇的に変化することを回避するために、この時点でセグメントの検証ステップが反復される。
【０１３９】
距離ベースの線の検証：この方法は、左右のセグメント・ライン・ポイントを、これらの間の実際の距離に基づいて検証するために使用される。実際の座標点は、対応するセグメント・ライン・ポイントから生成される。この技法を、全てのセグメント化されたＲｏＩ領域に適用する。対応する左右のセグメント・ライン・ポイント間の実際の距離を計算する。最終フレームの実際の距離の平均を考慮して、最新の点を検証する。ある特定のセグメントポイントの距離が、取得された平均距離より大きい、または小さい場合、セグメント・ライン・ポイント値を前のフレームで取得されたもので修正する。これは、車線セグメントポイントの突然の／スプリアスな変化を排除するために使用される。図７Ａ〜図７Ｅは、セグメント検証、セグメント連結および距離ベースの線の検証の実装後の異なる道路シナリオを表す例示的な写真である。
【０１４０】
ベジェ曲線フィッティング：ベジェ曲線方程式を用いて、左右のカーブポイントを計算する。制御点の集合Ｐ０〜Ｐｎによってベジェ曲線を画定し、ここで、ｎは、曲線の次数である。最初と最後の制御点は、常に曲線の端点である。ベジェ曲線は、幾つかの制御点で生成されてもよい。この事例では、車線の左側および右側について取得されるセグメント線に対応する６つの制御点を考察する。
【０１４１】
方程式は、二項式に基づいている。
2019139729.tif 000003
【０１４２】
ここで、ｎおよびｉは、二項係数である。
【０１４３】
６つの点を考察できることから、ｎ＝６、およびｉ＝０〜５である。
Ｂ（ｔ）＝（１−ｔ）５Ｐ０＋５ｔ（１−ｔ）４Ｐ１＋Ｐ２（１−ｔ）３１０ｔ２＋１０ｔ３（１−ｔ）２Ｐ３＋５ｔ４（１−ｔ）Ｐ４＋ｔ５Ｐ５
【０１４４】
ここで、０＜ｔ＜１である。
【０１４５】
ｔが０から１へ変わるにつれて、上述の式から、対応するカーブポイントが生成される。
【０１４６】
図８Ａ〜図８Ｄは、各々直線道路、僅かに曲がった道路、左へ急に曲がった道路および右へ急に曲がった道路のリッジ特徴を用いるベジェ曲線フィッティング実装後の道路シナリオを表す例示的な写真である。曲線フィッティングにベジェ曲線フィッティング法を用いているが、当業者には、多項式曲線フィッティング、Ｂ−スプライン曲線フィッティング、クロソイド曲線フィッティングおよびこれらに類似する曲線フィッティング技術等の、但しこれらに限定されない他の任意の曲線フィッティング技術を使用できることが認識されると思われる。
【０１４７】
ある実装では、抽出されたリッジ特徴ベースの潜在的車線を用いて、関連するエッジを抽出すべくＲｏＩをマスクする。リッジから取得されるカーブ出力では、遠距離領域における一貫しかつ安定した検出が不可能である。これは、遠距離領域において取得されるリッジ特徴点の数が限定的であるためである。また、リッジから取得される曲線出力も、幾つかの誤った、または望ましくないリッジ（通過する車両について得られるもの等）を考慮し得ることから、セグメント線が誤って検出されることになる。リッジ特徴を用いる提案する車線検出方法は、キャニーエッジを用いるエッジ特徴で補完される。キャニーエッジ検出は、最小限の変動で一貫した検出を行うように、中間領域および遠距離領域においても十分な量の特徴点の入手を促進する。しかしながら、キャニーエッジ検出技術でも、望ましくない特徴点、即ち近くの車両または近くの車線、ガードレール、他のエッジ、の量は増加する。提案する検出技術の処理時間を短縮するためには、これらの余分なエッジをなくす必要がある。マスクは、マスクの外にある特徴点を全て除去するために使用される。静的マスクは、急な曲がりを検出できないため、動的なマスクを用いて最も適切な特徴点を選択しかつ望ましくない特徴点を除去する。ある実装では、リッジを用いて生成されるカーブ出力が、左右両側に予め画定されたバッファ領域を有するマスク生成のベースとして使用される。この固定されたバッファ領域は、中間領域と遠距離領域とで異なる。これは、望ましくないエッジ特徴の排除を促進し、よって、システムが高速化され、かつさらなる処理のための最良の特徴点の選択が提供される。
【０１４８】
ある実施形態では、リッジ特徴を用いて生成されるカーブ出力に基づいて、カーブの左側および右側に予め画定されたバッファ領域を有する少なくとも１つの動的マスク画像が生成される。マスク画像と、受信される複数の画像を前処理する間に取得されるキャニーエッジ画像との間で、論理ＡＮＤ演算が実行される。このプロセスは、キャニーエッジ画像における望ましくない特徴点を除去するために使用される。有用なエッジ特徴点座標が、さらなる使用のためにエッジ特徴点の数とともに保存される。
【０１４９】
図９Ａ〜図９Ｄは、本開示の一実施形態による、第１の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。図１０Ａ〜図１０Ｄは、本開示の一実施形態による、第２の一般道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。図１１Ａ〜図１１Ｄは、本開示の一実施形態による、僅かに右へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。図１２Ａ〜図１２Ｄは、本開示の一実施形態による、僅かに左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。図１３Ａ〜図１３Ｄは、本開示の一実施形態による、第１の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。図１４Ａ〜図１４Ｄは、本開示の一実施形態による、第２の急に左へ曲がった道路シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。図１５Ａ〜図１５Ｄは、本開示の一実施形態による、第１の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。図１６Ａ〜図１６Ｄは、本開示の一実施形態による、第２の車線変更シナリオの動的なマスク作成を用いる特徴点の抽出を表す、各々、入力画像、キャニーエッジ画像、動的マスク画像および選択されたエッジ画像の例示的な写真である。
【０１５０】
本発明の一実施形態によれば、提案する区分的な車線検出技術は、リッジ特徴ならびにエッジ特徴の双方を用いて、車線の曲がった区間ならびに直線区間を検出する。ある実装において、リッジ特徴の抽出後に取得されるベジェ曲線は、関連するエッジを抽出するための入力画像としてさらに使用される。動的マスキングを適用した後に抽出されるエッジは、さらに、最終的な車線を検出するために使用される。
【０１５１】
図５は、本開示の一実施形態による、最終的な車線の検出方法の例示的なフローチャートを表したものである。ある実施形態において、最終的な車線は、抽出された関連するエッジを用いて検出される。ある実施形態において、最終的な車線を検出するための方法５００は、１つまたは複数の可能性のある車線境界線のフットポイントに基づいて、かつ少なくとも１つの隣接するセグメントにおける最終的な車線の検出を評価することにより、ＲｏＩを複数のセグメントにセグメント化するためのステップ５０２と、１つまたは複数の可能性のある車線境界線の内縁に対応する１つまたは複数のエッジ特徴を、複数のセグメントの各々における関連のエッジから分離するためのステップ５０４と、ラインフィッティング技術を実装することにより、複数のセグメントの各々における複数の関連するエッジを線に関連づけるためのステップ５０６と、セグメント検証技術を用いて、複数のセグメントの各々における複数の関連するエッジに当てはめられる線を検証するためのステップ５０８と、セグメント連結技術を実装することにより、複数のセグメントの各々における複数の関連のエッジに関連づけられ／当てはめられた線を隣接するセグメントの線と連結するためのステップ５１０と、車線の左側および右側の各々について取得される連結された線セグメント間の距離ベースの線の検証を実行するためのステップ５１２と、車線の左側および右側の各々について取得される連結された線セグメントに曲線を当てはめて、最終的な車線の左右の曲がりを捕捉するためのステップ５１４とを含む。
【０１５２】
ある実施形態において、最終的な車線を検出するための方法５００のステップ５０２〜５１４は、下記として実装されてもよい。
【０１５３】
セグメントの作成：検出されるべき車線を、複数のセグメント、例えば５つのセグメントに分割する。ある例示的な実装では、２つのセグメントが、遠距離領域における車線を検出するために専用され、３つのセグメントが、近傍領域および中間領域における車線を検出するために専用される。エッジ特徴を用いる車線検出は、急な曲がりにより良く適応すべくセグメントを画定するための動的なＲｏＩ選択を使用する。各セグメント線の信頼基準を、その線上に存在するエッジ特徴点の数を計算することによって取得する。この信頼基準は、セグメントの高さの百分率として画定される標準閾値と比較されると、各セグメントにおいて取得される線の追加的な検証ステップとして作用する。最も近いセグメントにおける有効なセグメント線は、近傍領域全体に及ばない場合がある。故に、最も近いセグメントにおける部分的にしか見えない線の信頼度をより良く推定するために、最も近いセグメントの高さは、固定サイズではなく、車線が見える部分と整合するように適応的に保たれる。
【０１５４】
動的なＲｏＩ選択：本発明の一実施形態によれば、リッジ特徴を用いて曲がった車線を検出する場合、セグメントは、下のセグメントにおける線の頂点を起点にして作成される。ＲｏＩのセグメントは、こうして取得される原点から幾分かの、例えば各側で約１００ピクセルの固定オフセットをとることによって画定される。エッジ特徴を用いる車線検出の場合、ＲｏＩのセグメントの選択は、適応的に行われる。ＲｏＩのセグメントは、下のセグメントにおける線の向きを発見し、次にこれを用いてその上のセグメントのＲｏＩの広がりを決定することによって画定される。下の線セグメントの角度がデカルト座標系の第１象限に存在すれば、その上のセグメントのＲｏＩは、下のセグメント線の頂点（以後、原点とも称する）よりさらに右へシフトされる。前記角度が第２象限に存在すれば、その上のセグメントのＲｏＩは、原点よりさらに左側へシフトされる。下のセグメントの線が直角に近い角度で配向されていれば、標準プロセス、即ち原点から左右方向へのＲｏＩの等距離の広がりが続く。
【０１５５】
内縁のコピー／蓄積：動的なＲｏＩ選択の適用後に取得されるエッジは、各セグメントにおけるラインフィッティングにエッジを使用する前に、さらに精緻化される。車線標識の幅が有限であることにより、各標識につき２セットのエッジ、一方は内縁に対応し、他方は外縁に対応する、が取得される。車線検出は、車線の内縁を確実に検出することを目的としていることから、便宜的に外縁を排除することができる。これにより、線を車線の内縁点に当てはめることができる。
【０１５６】
ＯＳＬＤ技術を用いるラインフィッティング：ＯＳＬＤ法を用いて、個々のセグメントに関連付けられるこれらのエッジに線を当てはめる。ＯＳＬＤ法は、最も多いエッジ点を含みかつ所定の勾配限度内の勾配値を有する線が検出された線として採用されることを保証する。
【０１５７】
セグメントの検証：リッジベースのカーブ出力に関して言及したセグメント検証方針とは別に、エッジベースのカーブ出力は、さらに幾つかのステップを含む。各セグメント線の信頼基準を、その線上に存在するエッジ特徴点の数を計算することによって取得する。この信頼基準は、セグメントの高さの百分率として画定される標準閾値と比較されると、各セグメントにおいて取得される線の追加的な検証ステップとして作用する。例えば閉塞に起因してエッジ特徴がない場合、または、例えばクラッタに起因してラインフィットが無効である場合は、前のフレームの線セグメントデータを使用して検出を保持する。例えば車線変更中に、前のフレームの線セグメントデータを利用できない場合、最新のＲｏＩにおける無効な線セグメントは、その下のセグメントにおいて取得された、既に検証されている勾配と同じ勾配を有する線に置き換えられる。
【０１５８】
基本セグメントの場合、エッジ点に当てはめられた線の向きは、線形車線モデルのそれと比較することによって検証される。この場合の角度閾値の違反は、最新の勾配値を基準線の勾配値で置き換えることを当然のこととする。線形車線モデルは、最下ＲｏＩの基準線として機能することから、このセグメントにおける線が無効であれば、線形車線モデル線は、最下ＲｏＩまで拡張する。
【０１５９】
特定のセグメントにおける画像の彩度、持続的閉塞、画像コントラストの不良、他に起因するエッジ特徴の連続的不在は、視認性が低いことを示す。検出が信頼できないものになり得るこのような事例は、検出範囲を縮小し、かつ運転者に適宜信頼度の低さについて警告を提供することにより対処される。したがって、出力曲線は、良好な信頼スコア（エッジ特徴計数）が取得されているところまでの線セグメントの詳細のみを用いてプロットされる。図１７Ａ〜図１７Ｅは、各々セグメント作成、動的なＲｏＩ選択、内縁のコピー、ＯＳＬＤを用いるラインフィッティング、セグメント検証およびセグメント連結の実装後の道路シナリオを表す例示的な写真である。
【０１６０】
ベジェ曲線フィッティング：本発明の一実施形態によれば、リッジを用いる曲線検出の後に、距離ベースの線の検証およびベジェ曲線フィッティングが続く。同様に、エッジを用いる曲線検出の後も、距離ベースの線の検証およびベジェ曲線フィッティングが続き、最終出力が生成される。図１８Ａ〜図１８Ｅは、各々直線道路、僅かに左へ曲がった道路、僅かに右へ曲がった道路、急に右へ曲がった道路および急に左へ曲がった道路のエッジ特徴を用いるベジェ曲線フィッティング実装後の異なる道路シナリオを表す例示的な写真である。図１９Ａ〜図１９Ｄは、本開示の一実施形態による、視界が悪い場合の、エッジ特徴を用いるベジェ曲線フィッティング実装後の異なる道路シナリオを表す例示的な写真である。
【０１６１】
図２０Ａ〜図２０Ｄは、本開示の一実施形態による、直線道路、僅かに曲がった道路、急に左へ曲がった道路および急に右へ曲がった道路の最終的に検出された車線を表す例示的な写真である。本発明の一実施形態によれば、最終車線検出モジュールは、関連するエッジに基づいて最終的な車線を検出し、検出された最終的な車線から車両が逸脱していくかどうかをさらに識別し得、かつ運転者に適宜警告を提供することができる。警告は、視覚的警告、音響警告、振動警告、またはこれらの任意の組合せまたは技術上知られる他のタイプの警告であってもよい。
【０１６２】
図２１は、本発明の実施形態を本開示の実施形態に従って利用することができる環境または手段としての例示的なコンピュータシステムを示す。図２１に示すように、コンピュータシステムは、外部記憶デバイス２１１０と、バス２１２０と、メインメモリ２１３０と、読取り専用メモリ２１４０と、大容量記憶デバイス２１５０と、通信ポート２１６０と、プロセッサ２１７０とを含む。当業者には、コンピュータシステムが複数のプロセッサおよび通信ポートを含み得ることが理解されるであろう。プロセッサ２１７０の例には、Ｉｎｔｅｌ（登録商標）のＩｔａｎｉｕｍ（登録商標）またはＩｔａｎｉｕｍ２プロセッサ、またはＡＭＤ（登録商標）のＯｐｔｅｒｏｎ（登録商標）またはＡｔｈｌｏｎ  ＭＰ（登録商標）プロセッサ、Ｍｏｔｏｒｏｌａ（登録商標）のプロセッサライン、チッププロセッサ上ＦｏｒｔｉＳＯＣ（商標）システムまたは他の未来のプロセッサが含まれるが、この限りではない。プロセッサ２１７０は、本発明の実施形態に関連付けられる様々なモジュールを含んでもよい。通信ポート２１６０は、モデムベースのダイアルアップ接続用のＲＳ−２３２ポート、１０／１００イーサネット（登録商標）ポート、銅またはファイバを用いるギガビットまたは１０ギガビットポート、シリアルポート、パラレルポート、または他の既存の、または未来のポートのうちの何れであってもよい。通信ポート２１６０は、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）またはコンピュータシステムが接続する任意のネットワーク等のネットワークに依存して選択されてもよい。
【０１６３】
メモリ２１３０は、ランダム・アクセス・メモリ（ＲＡＭ）または技術上一般的に知られる他の任意の動的記憶デバイスであってもよい。読取り専用メモリ２１４０は、例えば、プロセッサ２１７０の起動またはＢＩＯＳ命令といった静的情報を記憶するためのプログラム可能読取り専用メモリ（ＰＲＯＭ）チップである、但しこれに限定されない任意の静的記憶デバイスであってもよい。大容量記憶デバイス２１５０は、情報および／または命令を記憶するために使用することができる任意の現行または未来の大容量記憶ソリューションであってもよい。例示的な大容量記憶ソリューションには、例えばＳｅａｇａｔｅ（例えば、Ｓｅａｇａｔｅ  Ｂａｒｒａｃｕｄａ７１０２ファミリ）または日立（例えば、日立Ｄｅｓｋｓｔａｒ７Ｋ１０００）から入手可能なパラレル高度技術アタッチメント（ＰＡＴＡ）またはシリアル高度技術アタッチメント（ＳＡＴＡ）のハード・ディスク・ドライブまたはソリッド・ステート・ドライブ（内部または外部、例えばユニバーサル・シリアル・バス（ＵＳＢ）および／またはＦｉｒｅｗｉｒｅインタフェース）、例えばＤｏｔ  Ｈｉｌｌ  Ｓｙｓｔｅｍｓ社、ＬａＣｉｅ、Ｎｅｘｓａｎ  Ｔｅｃｈｎｏｌｏｇｉｅｓ社およびＥｎｈａｎｃｅ  Ｔｅｃｈｎｏｌｏｇｙ社を含む様々なベンダから入手可能な１つまたは複数の光ディスク、独立ディスクの冗長アレイ（ＲＡＩＤ）ストレージ、例えばディスクアレイ（例えば、ＳＡＴＡアレイ）が含まれるが、この限りではない。
【０１６４】
バス２１２０は、プロセッサ２１７０を他のメモリ、記憶および通信ブロックと通信可能式に結合する。バス２１２０は、例えば、拡張カード、ドライブおよび他のサブシステムを接続するための周辺機器コンポーネントインターコネクト（ＰＣＩ）／ＰＣＩ拡張（ＰＣＩ−Ｘ）バス、スモール・コンピュータ・システム・インタフェース（ＳＣＳＩ）、ＵＳＢまたはこれらに類似するもの、ならびにプロセッサ２１７０をソフトウェア・システムへ接続するフロント・サイド・バス（ＦＳＢ）等の他のバスであってもよい。
【０１６５】
場合により、コンピュータシステムとの直接的なオペレータ相互作用をサポートするために、例えばディスプレイ、キーボードおよびカーソル制御デバイスであるオペレータおよび管理インタフェースも、バス２１２０へ結合されてもよい。他のオペレータおよび管理インタフェースは、通信ポート２１６０を介して接続されるネットワーク接続を介して提供されることが可能である。外部記憶デバイス２１１０は、任意の種類の外付けのハードドライブ、フロッピードライブ、ＩＯＭＥＧＡ（登録商標）ジップドライブ、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−書き換え可能（ＣＤ−ＲＷ）、デジタル・ビデオ・ディスク−読取り専用メモリ（ＤＶＤ−ＲＯＭ）であってもよい。上述のコンポーネントは、単に様々な可能性を例示するためのものである。上述の例示的なコンピュータシステムは、如何なる場合も本開示の範囲を限定するものではない。
【０１６６】
本開示は、車線検出システムに関連して記述されているが、当業者には、車線検出のための本発明を、駐車区画の検出、横断歩道のような道路上の様々な標識、矢印標識、道路交通車線標識の検出、様々な線グラフの読取り、他等の、但しこれに限定されない他の様々な自動車用ならびに非自動車用アプリケーションにも使用できることが想定されるであろう。
【０１６７】
したがって、提案する本開示システムおよび方法は、直線道路および曲がった道路の双方のシナリオに対して信頼性の高い、正確で一貫した車線検出を提供する。さらに、提案するシステムおよび方法は、透視変換、ハフ変換、機械学習アプローチ、他のような計算集約的技術を使用しない。本発明は、車線検出を目的とするカメラベースの低コストソリューションを用いる。他の検出技術と比較して、距離ベースの線の検証は、車線セグメントの急な変化を排除することによって車線検出を向上させる。
【０１６８】
以上、本発明の様々な実施形態について説明したが、本発明の基本的範囲から逸脱することなく、本発明の他の、およびさらなる実施形態が考案されてもよい。本発明の範囲は、以下の特許請求の範囲によって決定される。本発明は、説明した実施形態、バージョンまたは実施例に限定されるものではなく、これらの実施形態、バージョンまたは実施例は、一般的な当業者に利用可能な情報および知識と組み合わせた場合に、一般的な当業者が本発明を利用できるように記載されたものである。
【０１６９】
［発明の利点］
本開示は、車線検出のためのシステムおよび方法を提供する。
【０１７０】
本開示は、検出された車線から車両が逸脱した場合に、車両の運転者に警告するためのシステムおよび方法を提供する。
【０１７１】
本開示は、直線道路ならびに曲がった道路の車線を検出する車線検出システムおよび方法を提供する。
【０１７２】
本開示は、リッジベースの検出技術およびエッジベースの検出技術の双方の利点を組み合わせる車線検出システムおよび方法を提供する。
【０１７３】
本開示は、車線を確実に、正確にかつ一貫して検出する車線検出システムおよび方法を提供する。
【０１７４】
本開示は、信頼性の高い車線検出のための低コストソリューションを提供する。
【図１】
2019139729.tif 000004
【図２】
2019139729.tif 000005
【図３】
2019139729.tif 000006
【図４】
2019139729.tif 000007
【図５】
2019139729.tif 000008
【図６Ａ】
2019139729.tif 000009
【図６Ｂ】
2019139729.tif 000010
【図６Ｃ】
2019139729.tif 000011
【図６Ｄ】
2019139729.tif 000012
【図６Ｅ】
2019139729.tif 000013
【図７Ａ】
2019139729.tif 000014
【図７Ｂ】
2019139729.tif 000015
【図７Ｃ】
2019139729.tif 000016
【図７Ｄ】
2019139729.tif 000017
【図７Ｅ】
2019139729.tif 000018
【図８Ａ】
2019139729.tif 000019
【図８Ｂ】
2019139729.tif 000020
【図８Ｃ】
2019139729.tif 000021
【図８Ｄ】
2019139729.tif 000022
【図９Ａ】
2019139729.tif 000023
【図９Ｂ】
2019139729.tif 000024
【図９Ｃ】
2019139729.tif 000025
【図９Ｄ】
2019139729.tif 000026
【図１０Ａ】
2019139729.tif 000027
【図１０Ｂ】
2019139729.tif 000028
【図１０Ｃ】
2019139729.tif 000029
【図１０Ｄ】
2019139729.tif 000030
【図１１Ａ】
2019139729.tif 000031
【図１１Ｂ】
2019139729.tif 000032
【図１１Ｃ】
2019139729.tif 000033
【図１１Ｄ】
2019139729.tif 000034
【図１２Ａ】
2019139729.tif 000035
【図１２Ｂ】
2019139729.tif 000036
【図１２Ｃ】
2019139729.tif 000037
【図１２Ｄ】
2019139729.tif 000038
【図１３Ａ】
2019139729.tif 000039
【図１３Ｂ】
2019139729.tif 000040
【図１３Ｃ】
2019139729.tif 000041
【図１３Ｄ】
2019139729.tif 000042
【図１４Ａ】
2019139729.tif 000043
【図１４Ｂ】
2019139729.tif 000044
【図１４Ｃ】
2019139729.tif 000045
【図１４Ｄ】
2019139729.tif 000046
【図１５Ａ】
2019139729.tif 000047
【図１５Ｂ】
2019139729.tif 000048
【図１５Ｃ】
2019139729.tif 000049
【図１５Ｄ】
2019139729.tif 000050
【図１６Ａ】
2019139729.tif 000051
【図１６Ｂ】
2019139729.tif 000052
【図１６Ｃ】
2019139729.tif 000053
【図１６Ｄ】
2019139729.tif 000054
【図１７Ａ】
2019139729.tif 000055
【図１７Ｂ】
2019139729.tif 000056
【図１７Ｃ】
2019139729.tif 000057
【図１７Ｄ】
2019139729.tif 000058
【図１７Ｅ】
2019139729.tif 000059
【図１８Ａ】
2019139729.tif 000060
【図１８Ｂ】
2019139729.tif 000061
【図１８Ｃ】
2019139729.tif 000062
【図１８Ｄ】
2019139729.tif 000063
【図１８Ｅ】
2019139729.tif 000064
【図１９Ａ】
2019139729.tif 000065
【図１９Ｂ】
2019139729.tif 000066
【図１９Ｃ】
2019139729.tif 000067
【図１９Ｄ】
2019139729.tif 000068
【図２０Ａ】
2019139729.tif 000069
【図２０Ｂ】
2019139729.tif 000070
【図２０Ｃ】
2019139729.tif 000071
【図２０Ｄ】
2019139729.tif 000072
【図２１】
2019139729.tif 000073
【外国語明細書】
2019139729000001.pdf