(57)【要約】【課題】道路標示を検知する方法、装置及びコンピュータ読み出し可能な記録媒体を提供する。【解決手段】前記方法は、検出待ち対象シーンの画像を取得するステップと、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得するステップと、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を算出するステップと、各画素点の消失点に寄与する貢献度に基づき、消失点を確定するステップと、確定された消失点に基づいて道路標示の検出結果を得るステップと、を含む。【選択図】図１
2019003614.tif 000002
【特許請求の範囲】
【請求項１】
検出待ち対象シーンを含む画像を取得するステップと、
ウェーブフィルターを用いて前記画像を処理して、前記画像の各画素点が前記ウェーブフィルターの各方向における応答値を取得するステップと、
各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を計算するステップと、
各画素点の消失点に寄与する貢献度に基づいて消失点を決定するステップと、
確定された消失点に基づいて、道路標示の検出結果を得るステップと、を含む、ことを特徴とする道路標示を検知する方法。
【請求項２】
前記各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を計算するステップは、
前記ウェーブフィルターの各方向に対して、各画素点の前記方向における応答値の関数を設けて、前記画素点が消失点に寄与する貢献度を示す貢献度関数とすることと、
各画素点の各方向における応答値を利用して、前記貢献度関数から前記画素点の消失点に寄与する貢献度を計算することと、を含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記貢献度関数はが、画素点の応答値、グレースケール特徴、連続性特徴及び高さ値の関数である、ことを特徴とする請求項２に記載の方法。
【請求項４】
前記各画素点の消失点に寄与する貢献度に基づいて消失点を決定するステップは、
各画素点に対して、初期値が0であるスコア変数を定義することと、
前記貢献度関数を利用して前記画素点の各方向における貢献度を計算ことと、
各方向について、各画素点と前記方向とで確定された直線上における各画素点に対して、そのスコア変数を前記各画素点で計算された貢献度に累加して、各画素点の合計スコアを得ることと、
合計スコアが最も高い画素点を決定して消失点とすることと、を含む、ことを特徴とする請求項２または３に記載の方法。
【請求項５】
前記確定された消失点に基づいて、道路標示の検出結果を得るステップは、
確定された消失点に基づき、前記消失点に寄与した画素点及び相応する方向を取得することと、
前記消失点に寄与した画素点及び相応する方向で確定された直線を取得して道路標示にすることと、を含む、ことを特徴とする請求項１に記載の方法。
【請求項６】
取得された前記消失点に寄与した画素点及び相応する方向にフィルタリングを行うことと、
フィルタリングされた画素点及び相応する方向で確定された直線を前記道路標示とすることと、を含む、ことを特徴とすることを特徴とする請求項５に記載の方法。
【請求項７】
前記ウェーブフィルターがガボアウェーブフィルターである、ことを特徴とする請求項１に記載の方法。
【請求項８】
前記各画素点が前記ウェーブフィルターの各方向における応答値を取得するステップは、0〜180°の全角度領域を所定数の角度区間に分割して、前記画像の各画素点の各角度区間における応答値を取得して、前記ウェーブフィルターの各方向における応答値にすること、を含む、ことを特徴とする請求項７に記載の方法。
【請求項９】
検出待ち対象シーンを含む画像を取得する画像取得部と、
ウェーブフィルターを用いて前記画像を処理して、前記画像の各画素点が前記ウェーブフィルターの各方向における応答値を取得する応答値取得部と、
各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を計算する計算部と、
各画素点の消失点に寄与する貢献度に基づいて消失点を決定する確定部と、
確定された消失点に基づいて、道路標示の検出結果を得る検出部と、を含むことを特徴とする道路標示を検知する装置。
【請求項１０】
メモリと、前記メモリに接続されるプロセッサーと、を含み、
前記メモリにコンピュータプログラムコマンドが格納されており、
前記コンピュータプログラムコマンドは、前記プロセッサーにより実行されるときに、前記プロセッサーに、請求項１〜８の任意の1項に記載の方法を実行させる、ことを特徴とする道路標示を検知するデバイス。
【請求項１１】
コンピュータに、請求項１〜８の任意の1項に記載の方法を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理分野に係り、より具体的には、消失点に基づき道路標示を検知する方法と装置及びコンピュータ読み出し可能な記録媒体に関する。
【背景技術】
【０００２】
画像処理分野では、道路標示の検知が先進運転補助システム（ADAS：Advanced  Driver  Assistant  System）の重要な部分である。白線、黄線などの車線、路肩の縁石、柵、中央分離帯等の道路標示、道路標識等と付属物の検出は、車両の道路における位置、車線数及び幅等の情報を提供できるだけでなく、ADASの車線逸脱警報(LDW)などの応用を実行するためにも使用される。
【０００３】
主に特徴ベースの方法とモデルベースの方法とに分類できる多くの道路標示検出方法が提案されている。通常、モデルベースの方法がより安定であり、現在常用的な方法もモデルの局所から全体までの検出処理に基づいている。
【０００４】
しかし、この局所から全体までの検出処理は点からモデルまでの処理であり、すなわち、大域最適ではなく、局所的な処理であって、点の特徴が不正確である場合、点処理から誤差を累積することが可能になり、最終的に誤検出の結果になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記に鑑み、消失点に基づき道路標示を検出する方法、装置およびコンピュータ読み出し可能な記録媒体を提案する。
【課題を解決するための手段】
【０００６】
本発明の一実施例に基づき道路標示を検出用の方法が提供され、前記方法は、検出待ち対象シーンの画像を取得するステップと、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得するステップと、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度（degree  of  contribution）を算出するステップと、各画素点の消失点に寄与する貢献度に基づき、消失点を確定するステップと、確定された消失点に基づいて道路標示の検出結果を得るステップと、を含む。
【０００７】
選択できるように、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を計算するステップは、前記ウェーブフィルターの各方向に対して、各画素点の前記方向における応答値の関数を設けて、前記画素点が消失点に寄与する貢献度を示す貢献度関数とすることと、各画素点の各方向における応答値を利用して、前記貢献度関数からその画素点の消失点に寄与する貢献度を計算することと、を含む。
【０００８】
選択できるように、前記貢献度関数が、画素点の応答値、グレースケール特徴、連続性特徴及び高さ値の関数である。
【０００９】
選択できるように、前記各画素点の消失点に寄与する貢献度に基づいて消失点を決定するステップは、各画素点に対して、初期値が0であるスコア変数を定義することと、前記貢献度関数を用いて前記画素点の各方向における貢献度を計算することと、各方向に対して、各画素点と前記方向とで確定された直線上における各画素点に対して、そのスコア変数を前記各画素点で計算された貢献度に累加して、各画素点の合計スコアを得ることと、合計スコアがもっとも高い画素点を確定して消失点にすることと、を含む。
【００１０】
選択できるように、前記確定された消失点に基づいて、道路標示の検出結果を得るステップは、確定された消失点に基づき、前記消失点に寄与した画素点及び相応する方向を取得することと、前記消失点に寄与した画素点及び相応する方向で確定された直線を取得して道路標示にすることと、を含む。
【００１１】
選択できるように、前記検知方法はさらに、取得された前記消失点に寄与した画素点及び相応する方向に対してフィルタリングを行い、かつフィルタリングされた画素点及び相応する方向で確定された直線を前記道路標示とすること、を含む。
【００１２】
選択できるように、前記ウェーブフィルターがガボアウェーブフィルターである。
【００１３】
選択できるように、前記各画素点が前記ウェーブフィルターの各方向における応答値を取得するステップは、0〜180°の全角度領域を所定数の角度区間に分割して、前記画像の各画素点の各角度区間における応答値を取得して、前記ウェーブフィルターの各方向における応答値にする。
【００１４】
本発明の他の実施例に基づき、道路標示を検出する装置が提供され、前記装置は、検出待ち対象シーンを含む画像を取得するように配置される画像取得部と、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得するように配置される応答値取得部と、各画素点の各方向における応答値に基づいて、前記画素点の消失点に寄与する貢献度を計算するように配置される計算部と、各画素点の消失点に寄与した貢献度に基づいて消失点を決定するように配置される確定部と、確定された消失点に基づいて道路標示の検出結果を得るように配置される検出部と、を含む。
【００１５】
本発明の他の実施例に基づき、道路標示を検出するデバイスが提供され、前記デバイスは、コンピュータプログラムコマンドが格納されるメモリーと、前記メモリーにカップリングするプロセッサーと、を含み、前記プロセッサーは、前記コンピュータプログラムコマンドに、検出待ち対象シーンの画像を取得する処理と、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得する処理と、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を算出する処理と、各画素点の消失点に寄与する貢献度に基づき、消失点を確定する処理と、確定された消失点に基づいて道路標示の検出結果を得処理と、を実行させる。
【００１６】
本発明の他の実施例に基づき、コンピュータ読み取り可能な記録媒体が提供され、前記コンピュータ読み取り可能な記録媒体はコンピュータプログラムを格納しており、前記コンピュータプログラムが前記コンピュータにより実行される時に、検出待ち対象シーンの画像を取得する処理と、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得する処理と、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を算出する処理と、各画素点の消失点に寄与する貢献度に基づき、消失点を確定する処理と、確定された消失点に基づいて道路標示の検出結果を得処理と、を実行させる。
【００１７】
本発明実施例に係る道路標示を検出する方法、装置及びコンピュータ読み出し可能な記録媒体に基づき、検出待ち対象シーンを含む画像を取得し、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得し、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度、即ち前記画素点が道路標示に属する貢献度を算出し、各画素点の貢献度に基づき消失点を確定し、確定された消失点に基づいて道路標示の検出結果を取得する。本発明実施例に基づく道路標示を検出する方法、装置及びコンピュータプログラムプロダクトは、画素点を元に画像全体に対して直接検出するので、取得されたのが大域最適の検知結果であり、誤差の累積を減少でき、検知結果をより正確にすることができる。
【００１８】
理解すべきなのは、前記の一般的な記述と以後の詳細な記述とはともに例示的なもので、かつ保護を要求する技術をさらに説明する意図である。
【図面の簡単な説明】
【００１９】
図示とあわせて本発明の実施例をより詳しく説明することによって、本発明の上記発明および目的、特徴、そして優位性がより明白になる。付図は本発明より発明された実施例をさらに理解するために用いられ、かつ明細書の一部になり、本発明の実施例とともに本発明を解釈して、本発明を制限するものではない。付図では、同じ番号は通常同じ部品またはステップを表す。
【図１】本発明の一実施例に基づき道路標示を検出用の方法の主なステップのフローチャートである。
【図２】本発明の他の実施例に基づき画素点が消失点に属する貢献度を計算するための方法の主なステップのフローチャートである。
【図３】本発明の他の実施例に基づき消失点を確定する例示方法の主なステップのフローチャートである。
【図４】消失点で交差される複数車線の例示図である。
【図５】本発明の他の実施例に基づき道路標示を検出するための手段の主要な配置ロック図である。
【図６】本発明の他の実施例に基づき道路標示を検出するためのデバイスの主要な配置ブロック図である。
【発明を実施するための形態】
【００２０】
本発明の目的、技術方案およびメリットをより明確にするために、以下、付図を参照して本発明に基づく例示的な実施例を詳細に説明する。言うまでもなく、説明される実施例は本発明の一部の実施例にすぎなく、本発明の全部の実施例ではない。本発明はここで説明される例示的な実施例に限定されないことを理解すべきである。本発明で説明する実施例に基づき、当業者は高度な技術をしない場合に得られたすべてのほかの実施例は本発明の保護範囲に入るべきである。
【００２１】
まず、本発明の主要な思想について簡単に説明する。
【００２２】
周知のように、理論では、平行な直線がすべて無限に遠く離れた点に消失する。しかし、実際の撮影画像では、平行な直線が画像面上に形成された像に、ただ1つの交差点があり、消失点と呼ばれている。したがって、車線等の複数の道路標示も1つの消失点で交差し、道路標示上に位置する画素点は、消失点に寄与する画素点である。消失点を確定できる場合、前記消失点に寄与するすべての画素点はともに道路標示に属する点ですべきになる。したがって、本発明は、消失点に基づいて道路標示を検出する方法を提案する。
【００２３】
以下、付図を参照して本発明の好適な実施例を詳細に説明する。
【００２４】
まず、本発明の実施例に係る道路標示を検出するための方法を図1参照して説明する。
【００２５】
この検出方法は、処理能力を有するいかなる電子デバイス、例えばコンピュータ、制御プラットフォーム（例えば、自動車内の制御センター）、サーバ等に適用することができる。本明細書に記載された道路標示は白線、黄線などの車線、路肩の縁石、柵、中央分離帯等を含むことができるが、それらに限定されない。
【００２６】
図1に示すように、ステップS110では、検出待ち対象シーンを含む画像を取得する。ビデオカメラによって検出待ちの対象シーンをリアルタイムに採集して初期画像を得ることができる。得られた初期画像はカラー画像、グレースケール画像、視差画像(奥行き画像)などであってもよい。1つの例では、車線を含む対象シーンのグレースケール画像が取得される。勿論、当業者にとって、以上のような画像タイプは例示のみであり、本発明実施例に係る道路標示を検出するための方法はこれに限定されるものではないことを理解できる。しかも、本明細書では車線を道路標示の例示として説明するが、本発明の方法で検出できる道路標示はこれに限定されるものではない。
【００２７】
選択可能に、取得された対象シーンの画像に対して、背景とノイズの影響を除去する前処理を行うことができる。例えば、上記グレースケール画像に対してSobelエッジ検出を行い、エッジ幅が一定の範囲内にある画素点を除去し、かつ孤立した画素点を除去することができる。勿論、これは単なる初期画像に対して前処理を行う1つの具体例であり、当分野に、画像分割法などの多くの周知された背景とノイズ干渉を除去する前処理方法が存している。
【００２８】
次に、ステップS120では、ウェーブフィルターを用いて前記画像を処理して、前記画像の各画素点が前記ウェーブフィルターの各方向における応答値を取得する。
【００２９】
一例では、ガボアウェーブフィルター(Gabor  Filter)を用いて前記画像を処理する。画像処理では、ガボアウェーブフィルターはエッジを抽出するための線形ウェーブフィルターである。空間領域では、二次元のガボアウェーブフィルターは、正弦波によって変調されるガウスカーネル関数である。ガボアウェーブフィルターのインパルス応答を正弦波(二次元ガボアウェーブフィルターにとっては正弦平面波である)にガウス関数を乗じたものとして定義することができる。掛け算の畳み込み（convolution）特性によって、ガボアウェーブフィルターのインパルス応答のフーリエ変換は、その調和関数のフーリエ変換とガウス関数のフーリエ変換との畳み込みである。前記ウェーブフィルターは、実数部と虚数部とから構成され、両者は互いに直交する。異なる周波数と異なる方向の一組のガボア関数は、画像特徴の抽出に用いられることができる。
【００３０】
2次元ガボア関数の数学式は以下である。
【００３１】
複素数で表す場合、
【数１】
2019003614.tif 000003
である。
【００３２】
実数部は、
【数２】
2019003614.tif 000004
である。
【００３３】
虚数部は、
【数３】
2019003614.tif 000005
である。
【００３４】
そこで、
【数４】
2019003614.tif 000006
である。
【００３５】
波長λ：その値は画素を単位として指定して、通常では2以上であるが、入力画像のサイズの五分の一を超えることができない。通常ではその逆数の周波数を用いて、周波数fが0.2以上である。
【００３６】
方向θ：前記パラメータは、ガボアカーネル関数の方向を指定し、その値は0〜360度までである。
【００３７】
位相シフトφ：その値の範囲は-180〜180度までである。ここで、0度と180度とはそれぞれ中心対称なcenter-on関数とcenter-off関数に対応し、-90度と90度とは反対称関数に対応する。
【００３８】
アスペクト比γ：空間のアスペクト比は、ガボア関数の形状の楕円率を決定する。γ＝1の場合、形状が円になる。γ<1の場合、形状が平行縞の方向に従って長く引っ張られる。
【００３９】
σ：ガウス関数の標準偏差である。
【００４０】
本発明の一例示では、全角度領域(0〜180度)を所定数N個の角度区間に均等に分けられ、前記N個の角度区間の角度方向をガボアウェーブフィルターのN個の方向とすることができる。ここで、Nは10、18などの180の約数であることができる。ここで、分割された各角度区間内の角度を角度区間範囲内の1つの角度、例えば、前記区間内の最小角度、または角度の中央値である角度で表すことができる。
【００４１】
ステップS110で取得された画像における各画素点について、上式(1)〜(3)によりそれらが分割された各角度区間内におけるガボアウェーブフィルターの応答値を計算して、前記画素点が前記ガボアウェーブフィルターの各方向における応答値とすることができる。理解されるように、本例示では、画像内の一つの画素点がガボアウェーブフィルターのある方向に対する応答値は前記画素点のその方向におけるエッジ特徴を表すことができる。
【００４２】
これによって、前記画像の各画素点が前記ガボアウェーブフィルターの各方向における応答値を得ることができる。
【００４３】
ステップS130では、ステップS120で取得された各画素点の各方向におけるウェーブフィルター応答値に基づき、前記画素点の消失点に寄与する貢献度（degree  of  contribution）を計算することができる。以上に述べたように、画像における複数の車線が1つの消失点に交差するので、車線上に位置するすべての画素点が前記消失点に寄与することになる。言い換えれば、画素点の消失点に寄与する貢献度が大きいほど、前記画素点が車線上に位置する可能性が高くなる。
【００４４】
図２は、本発明の1つの実施例に基づき画素点が消失点に寄与する貢献度を計算する方法の主なステップのフローチャートを示す。
【００４５】
図2に示すように、ステップS210では、前記ウェーブフィルターの各方向に対して、各画素点の前記方向におけるウェーブフィルター応答値の関数を設けて、前記画素点が消失点に寄与する貢献度を示す貢献度関数とする。
【００４６】
車線が画像において一定のエッジ特徴を有するため、そして、上述したガボアウェーブフィルターの各方向における応答値が各画素点のエッジ特性を反映できるので、画像内の各画素点の各方向におけるウェーブフィルター応答値を利用して前記画素点の消失点に寄与する貢献度を反映することができる。
【００４７】
よって、第1例示では、貢献度関数をf(response)として定義することができ、そのresponseは上記の画素点のガボアウェーブフィルター応答値である。前記変数は車線のエッジ特徴を反映できるので、その値が大きいほど、画素点が車線上に位置する可能性が大きくなり、画素点の消失点に寄与する貢献度も大きくなる。すなわち、貢献度関数の値f(response)が大きくなる。
【００４８】
エッジ特徴に加えて、車線が画像において通常に一定のグレースケール特徴、連続性特徴及び高さ特徴を有するため、第2の例示では、貢献度関数をf(response，gray，continuity，height)として定義することができる。
【００４９】
前記貢献度関数において、grayが画素点のグレースケール値または画素点近隣内のグレースケール平均値である。当業者にとっては、対象シーンのグレースケール画像から前記グレースケール値またはグレースケール平均値を取得することがとっても容易であり、ここで贅言をしない。前記変数は車線のグレースケール特徴を反映できるので、その値が大きいほど、画素点が車線上に位置する可能性が大きくなり、画素点の消失点に寄与する貢献度も大きくなる。すなわち、貢献度関数の値が大きくなる。
【００５０】
前記貢献度関数では、continuityが画素点の連続性であり、即ち、近隣に類似するエッジ方向を有する点の個数である。当業者にとっては、対象シーンのグレースケール画像から前記連続性特徴を取得することがとっても容易であり、ここで贅言をしない。前記変数は車線の連続性特徴を反映することができる。変数が大きいほど、画素点が車線上に位置する可能性が大きくなり、画素点の消失点に寄与する貢献度も大きくなり、すなわち、貢献度関数の値が大きくなる。
【００５１】
この貢献度関数では、heightが画素点の路面からの高さである。この変数は車線の深さ特徴を反映することができる。当業者にとっては、対象シーンの深さ（視差）画像から前記深さ特徴を取得することがとっても容易であり、ここで贅言をしない。車線がすべて路面にあるので、路面上方の画素点が車線に属する可能性はとっても低い。言い換えれば、前記変数値が大きいほど、画素点の路面からの高さが高くなり、車線に属する可能性も小さく、貢献度関数の値が小さくなるべきである。
【００５２】
上記パラメータと貢献度関数との関係に基づいて、貢献度関数を以下に表すことができる。
【００５３】
f(response，gray，continuity，height)＝response＊gray＊continuity／height  (4)
第3の例示では、上記のエッジ特徴、グレースケール特徴、連続性特徴及び高さ特徴のほかに、前記貢献度関数にいくつかの他のパラメータを加えることができる。例えば、各方向において消失点に寄与する画素点の数などである。
【００５４】
勿論、上記はこの貢献度関数のいくつかの具体的な実施例のみであり、本発明の実施形態に適用できる貢献度関数は、パラメータが貢献度値の大きさに対する影響さえ反映できれば、いくつかのパラメータを増加、減少、または交替してもよし、そして、他の形式の貢献度関数式を用いることもできる。
【００５５】
貢献度関数を設定した後、ステップS220において、画素点毎の各方向におけるウェーブフィルター応答値を利用して、前記貢献度関数からその画素点の消失点に寄与する貢献度を計算することができる。
【００５６】
図1に戻って、ステップS140では、算出された各画素点の消失点に寄与する貢献度に基づき消失点を決定する。
【００５７】
図３は本発明の1つの実施例に基づき消失点を確定する例示方法の主なステップのフローチャートである。図3に示すように、ステップS310において、各画素点に対して、初期値が0であるスコア変数を定義する。
【００５８】
ステップS320では、各方向における前記画素点の消失点に寄与する貢献度を取得する。前記貢献度は、上記ステップS220において設定された貢献度関数により計算した前記画素点の各方向における貢献度値であってもよい。
【００５９】
ステップS330では、各方向について、各画素点と前記方向とで確定された直線上における各画素点に対して、そのスコア変数を前記各画素点で計算された貢献度に累加して、各画素点の合計スコアを得た。
【００６０】
図４には消失点で交差される複数の車線の例示が示された。図4に示すように、3本の車線L1、L2、L3を概略的に示し、それらは消失点VPで交わり、画素点P11、P21、P31はそれぞれ車線L1、L2、L3上に位置する。簡素化するために、この例が下記の理想的な場合に対応すると仮定し、即ち、複数のウェーブフィルター方向に車線L1、L2、L3の方向と一致する方向が含まれるため、画素点P11、P21、P31は各自の車線L1、L2、L3の方向のみにおいて消失点に寄与でき、異なる車線L1、L2、L3の方向の他のウェーブフィルター方向では消失点に寄与しない。
【００６１】
この場合、L1車線に対して、その上の全ての画素点が消失点に寄与するので、その上にm個の画素点P11、P12、……、P1mがあり、各画素点P11、P12、……、P1mがL1方向において消失点に寄与する貢献度はそれぞれp11、p12、……、p1mであると仮定して、これらの画素点の車線L1以外の方向において消失点に寄与する貢献度が近似的に0であるため、各画素点P11、P12、……、P1mに対してスコアを計算する場合、各画素点とL1方向に対して算出された貢献度を累加すべきである。画素点P11を例にすれば、その合計スコアがp1＝p11＋p12＋……＋p1mであるべき。類似的に、車線L2上に位置するn個の画素点P21、P22、……、P2nが車線L2方向において消失点に寄与する貢献度はそれぞれp21、p22、……、p2nであると仮定すれば、画素点P21の合計スコアをp2＝p21＋p22＋……＋p2nとして計算し、かつ車線L3上に位置するq個の画素点P31、P32、……、P3qが車線L3方向において消失点に寄与する貢献度はそれぞれp31、p32、……、p3qであると仮定すれば、画素点P31の合計スコアをp3＝p31＋p32＋……＋p3qとして計算する。
【００６２】
理解できるように、図4に示した例示では、いずれの車線に位置しない画素点P4について、各方向において消失点に寄与することがなく、すなわち、その貢献度が0である。
【００６３】
画素点P0が消失点VPの位置にあると仮定する場合、画素点P0が必然的に同時に3本の車線L1、L2、L3上に位置し、即ち、画素点P0が車線L1、L2、L3の方向においてともに消失点に寄与するので、消失点VPの位置にある画素点P0の合計スコアがp0＝p1＋p2＋p3である。
【００６４】
したがって、消失点の位置にある画素点の合計スコアが最も高い。従って、図3に戻り、ステップS340では、合計スコアが最も高い画素点を決定して、消失点とする。
【００６５】
よって、消失点を決定する前記例示した方法に基づき、ステップS140において、算出された各画素点の消失点に寄与した貢献度に基づいて消失点を決定することができる。
【００６６】
なお、上記は、車線の方向と一致するウェーブフィルター方向が存在することを例として説明したが、実際の応用時に、設定された複数のウェーブフィルター方向と車線方向と完全に一致しない場合があり、この時、車線上にある画素点は車線方向に近づく一つ又は複数のウェーブフィルター方向において消失点に寄与する貢献度を有する可能性があるので、前記画素点の合計スコアは相変わらず各方向における貢献度の和である。勿論、ウェーブフィルターの方向を細かく分割することで、より理想的な計算結果を得ることができると同時に、より細かく分けられた方向はより大きな計算負荷を意味するので、実際の応用時に、当業者は実際のニーズに応じて、上記二者の間にトレードオフすることができる。
【００６７】
図1に戻って、次に、ステップS150では、確定された消失点に基づいて、道路標示の検出結果を得ることができる。
【００６８】
具体的には、第1の例示において、前記のステップS140に記載されたように、消失点は各画素点の消失点に寄与する貢献度で確定決定され、消失点を確定する同時に、確定された消失点に寄与したすべての画素点および相応する方向を取得できることになり、従って、前記消失点に寄与した画素点および相応する方向で確定された直線が道路標示に対応することになる。したがって、道路標示の検出結果を得ることができる。
【００６９】
選択できるように、第2の例示では、確定された消失点に寄与したすべての画素点及び相応する方向を取得した後、取得された消失点に寄与した画素点及び相応する方向に対してフィルタリングしてノイズを除去でき、かつフィルタリングされた画素点及び相応する方向で確定された直線を前記道路標示とすることができる。
【００７０】
本発明に適用するフィルタリング方法は当業者に周知され、例えば、直線上の点の数をフィルタリング、車線幅制約によってフィルタリングを行うなどがあり、本発明はこれに限定されない。
【００７１】
以上、本発明の実施例に基づき道路標示を検出するための方法を図1〜図4参照して説明した。この方法によれば、検出待ち対象シーンの画像における各画素点のウェーブフィルターの各方向における応答値を取得して、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を算出し、各画素点の消失点に寄与する貢献度に基づき、消失点を確定して、確定された消失点に基づいて道路標示の検出結果を得る。
【００７２】
この方法は、画像中の全ての画素点から消失点を検索することによって道路標示を検出する大域最適化処理を行うため、局所最適化処理に存在する誤差の累積状況を克服でき、検出結果をより正確にすることができる。
【００７３】
以下、本発明の1つの実施例に係る道路標示を検出するための装置を図5参照して説明する。
【００７４】
図５は本発明の1つの実施例に基づき道路標示を検出するための手段の主要な配置ロック図である。図5に示すように、前記実施例に係る道路標示を検出するための装置500は主に、検出待ち対象シーンを含む画像を取得するように配置される画像取得部510と、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得するように配置される応答値取得部520と、各画素点の各方向における応答値に基づいて、前記画素点の消失点に寄与する貢献度を計算するように配置される計算部530と、各画素点の消失点に寄与した貢献度に基づいて消失点を決定するように配置される確定部540と、確定された消失点に基づいて道路標示の検出結果を得るように配置される検出部550と、を含む。
【００７５】
一実施例では、応答値取得部520は、ガボアウェーブフィルターによって前記画像取得部510で取得られた画像を処理でき、0〜180°の全角度領域を所定数の角度区間に分割して、前記画像の各画素点の各角度区間における応答値を取得して、前記ウェーブフィルターの各方向における応答値にする。
【００７６】
一実施例では、前記計算部530はさらに、前記ウェーブフィルターの各方向に対して、各画素点の前記方向における応答値の関数を設けて、前記画素点が消失点に寄与する貢献度を示す貢献度関数とすることと、各画素点の各方向における応答値を利用して、前記貢献度関数からその画素点の消失点に寄与する貢献度を計算することと、を含む。
【００７７】
選択できるように、前記計算部530は、前記貢献度関数を画素点の応答値、グレースケール特徴、連続性特徴及び高さ値の関数として設定することができる。勿論、これは貢献度関数の例示のみであり、本発明の実施形態に適用できる貢献度関数は、パラメータが貢献度値の大きさに対する影響さえ反映できれば、いくつかのパラメータを増加、減少、または交替してもよし、そして、他の形式の貢献度関数式を用いることもできる。
【００７８】
一実施例では、前記確定部540はさらに、各画素点に対して、初期値が0であるスコア変数を定義することと、前記貢献度関数を用いて前記画素点の各方向における貢献度を計算することと、各方向に対して、各画素点と前記方向とで確定された直線上における各画素点に対して、そのスコア変数を計算された貢献度に累加して、各画素点の合計スコアを得ることと、合計スコアがもっとも高い画素点を確定して消失点にすることと、を含む。
【００７９】
一実施例では、前記検出部550はさらに、確定された消失点に基づき、前記消失点に寄与した画素点及び相応する方向を取得することと、前記消失点に寄与した画素点及び相応する方向で確定された直線を取得して道路標示にすることと、を含む。
【００８０】
選択できるように、前記装置500はさらに、取得された前記消失点に寄与した画素点及び相応する方向にフィルタリングするように配置されるフィルタリング部を含むことができる。前記検出部550は、フィルタリング処理後の画素点及び相応する方向で確定された直線を前記道路標示として検出することができる。
【００８１】
容易に理解できるように、この実施例の道路標示検出装置500内の応答値取得部520、計算部530、確定部540および検出部550は、装置500の中央プロセスユニット(CPU)によって配置されることができる。代替できるように、応答値取得部520、計算部530、確定部540および検出部550は、装置500の専用プロセスユニット（例えば特殊用途向け集積回路(ASIC)等）によって配置されることができる。すなわち、応答値取得部520、計算部530、確定部540および検出部550は、例えば、ハードウェア、ソフトウェア、ファームウェアおよびそれらの任意の実行可能な組合せによって配置されることができる。
【００８２】
勿論、簡略化のため、図5において、道路標示検出装置500と本発明と密接に関連するいくつかのコンポーネントのみが示された。いうまでもなく、前記道路標示検出装置はさらに、例えば、入力／出力手段、表示手段、通信手段等の他のモジュールを含むこともできる。勿論、前記道路標示検出装置は、揮発性または不揮発性の方法によって、上記処理過程に係る画像、データ、得られた結果、コマンド及び中間データなどを格納するように、格納デバイスを含むこともできる。前記記憶装置は、例えば、ランダムアクセスメモリー(RAM)、読み出し専用メモリー(ROM)、ハードディスク、または半導体メモリーなどの各種揮発性又は不揮発性メモリーを含むことができる。なお、図では、バス、入出力インターフェースなどのコンポーネントが省略されている。これに加えて、具体的な応用情況に応じて、道路標示検出装置500はさらに、任意の他の適切なコンポーネントを含むこともできる。
【００８３】
以下、本発明の他の実施例に係る道路標示を検出するための装置を図6参照して説明する。
【００８４】
図６は本発明の他の実施例に基づき道路標示を検出するためのデバイスの主要な配置ブロック図である。
【００８５】
図6に示すように、本実施例の道路標示を検出するための装置600は、主にメモリー610とプロセッサー620とを含み、これらのコンポーネントは、バスシステム630および／または他の形式の連結機構(図示せず)によって相互接続される。注意すべきことは、図6に示した装置600のコンポーネントと構造は例示的のみであり、制限されたものではない。必要に応じて、装置600はこのコンポーネントと構造を有することもできる。例えば、装置600はさらに、対象シーンの画像を採集するように、例えばカメラのような画像採集モジュールを有することもできる。
【００８６】
メモリー610は、1つまたは複数のコンピュータプログラムプロダクトを含むことができ、前記コンピュータプログラムプロダクトは、例えば、揮発性メモリーおよび／または不揮発性メモリーのような各種形式のコンピュータ読み出し可能な記録媒体を含むことができる。前記揮発性メモリーは例えばランダムアクセスメモリー（RAM）と／またはキャッシュメモリー（cache）などを含むことが可能である。前記不揮発性メモリーは例えば読み出し専用メモリー（ROM）、ハードディスク、フラッシュメモリーなどを含むことが可能である。前記コンピュータ読み出し可能な記録媒体において一つまたは複数のコンピュータプログラムコマンドをメモリーでき、プロセッサー602は前記プログラムコマンドを実行することで、所望の機能を実現する。
【００８７】
プロセッサー620は中央プロセスユニット（CPU）またはデータ処理能力と／またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリー610と結合してメモリー610内に記憶されたコンピュータプログラムコマンドを用いて以下の処理を実行でき、即ち、検出待ち対象シーンの画像を取得するステップと、ウェーブフィルターにより前記画像を処理して、前記画像の各画素点の前記ウェーブフィルターの各方向における応答値を取得するステップと、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を算出するステップと、各画素点の消失点に寄与する貢献度に基づき、消失点を確定するステップと、確定された消失点に基づいて道路標示の検出結果を得るステップと、である。
【００８８】
この他、本発明の実施例よりコンピュータ読み取り可能な記録媒体が提供され、前記コンピュータ読み取り可能な記録媒体はコンピュータプログラムを格納、前記コンピュータプログラムが前記コンピュータにより実行される時に、上記図1から図3に記載の道路標示の検知方法の任意の実施例を実行する。
【００８９】
以上、本発明の実施例に基づき道路標示を検出するための方法、装置及びコンピュータ読み出し可能な記録媒体を図1〜図6参照して説明した。
【００９０】
本発明によれば、検出待ち対象シーンの画像における各画素点のウェーブフィルターの各方向における応答値を取得して、各画素点の各方向における応答値に基づき、前記画素点の消失点に寄与する貢献度を算出し、各画素点の消失点に寄与する貢献度に基づき、消失点を確定して、確定された消失点に基づいて道路標示の検出結果を得る。画像中の全ての画素点から消失点を検索することによって道路標示を検出する大域最適化処理を行うため、局所最適化処理に存在する誤差の累積状況を克服でき、検出結果をより正確にすることができる。
【００９１】
説明しておきたいのは、本明細書において、用語の「包括」、「含む」或いはそれの如何なる変化体は排他的ではない包含をカバーする意味であるため、一連要素を含むプロセス、方法、物品または設備に、それらの要素のみならず、明確に挙げていなかったほかの要素も含み、或いは、このプロセス、方法、物品または設備が固有する要素も含む。さらなる限定がないかぎり、文言「１つの・・・を含む」より限定された要素は、前記要素を含むプロセス、方法、物品または設備にほかの同じ要素も存在することを排除するものではない。
【００９２】
しかも、ここで使用され、かつ請求項に使用されるのを含み、「少なくともひとつ」をはじめとした列挙に使われた「或いは」は分離の列挙を意味する。即ち、「Ａ、Ｂ或いはＣの少なくともひとつ」のような列挙はＡ或いはＢ或いはＣ、またはＡＢ或いはＡＣ或いはＢＣ、またはＡＢＣ（即ちＡとＢとＣ）を意味する。それに、「例示的」の用語は記述された例が最適またはほかの例よりも良いことを意味していない。
【００９３】
さらに指摘しておきたいのは、本明細書に記載された各部材または各ステップは分解と／或いは再度組合せが可能である。これらの分解と／あるいは再度組み合わせることは本発明と同等な方案として見なすべきである。かつ、上記の一連の処理のステップを実行する場合、説明された順番に従って時間順に行うことができるが、かならずしも時間順に従って実行する必要がない。あるステップは並行または互いに独立して実行ができる。
【００９４】
上記の実施形態の記載によると、当業者は明確に以下のことが分かる。即ち、本発明はソフトウェアによって必要なハードウェアプラットフォームにより実現でき、当然ながら、すべてハードウェアによって実施することも可能である。このような理解に基づき、本発明の技術方案の背景技術に対する貢献の全部または一部をソフトウェアプロダクトの形式で実現することも可能であり、前記コンピュータソフトウェアプロダクトは例えばROM／RAM、磁気ディスク、光ディスクなどの記録媒体に記憶でき、若干のコマンドを含んでコンピュータ装置（パーソナルコンピュータ、サーバ或いはネットワーク設備などでも可能）に本発明の各実施例または実施例のある部分に記載した方法を実行させる。
【００９５】
本発明の実施例において、ユニット／モジュールはソフトウェアによって実現できることから、各種類のプロセッサーに実行されやすくなる。例えば、一つのマークされた実行可能なコードモジュールはコンピュータコマンドの一つまたは複数の物理あるいはロジックブロックを含むことが可能である。例えば、それは対象、プロセスまたは関数として構築されることができる。それにしても、マークされたモジュールの実行可能なコードは物理的に一緒に位置する必要がなく、異なるビットに保存した異なるコマンドを含むことができる。これらのコマンドをロジック的に結合される場合、ユニット／モジュールを構成し、かつ前記ユニット／モジュールの所定目的を実現できる。
【００９６】
ユニット／モジュールがソフトウェアによって実現する時、既存ハードウェア技術のレベルを考慮して、ソフトウェアで実現できるユニット／モジュールに関しては、コストを考慮しない場合、当業者は相応するハードウェア回路を構築して相応する機能を実現させることが可能である。前記ハードウェア回路は常用な超大型集積回路（VLSI）またはゲートアレイおよびロジックチップ、トランジスタなどの既存半導体またはその他の素子を含む。モジュールはさらにプログラマブルハードウェア手段、例えばフィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジック装置などによって実現できる。
【００９７】
提供された上記の発明内容は当業者に本発明を作成または使用させることができる。これらの方案の各種の補正は当業者にとって自明であり、かつここで定義した一般原理は本発明の範囲を逸脱せずにほかに応用されることも可能である。したがって、本発明はここで示した方案に限定されるものではなく、ここで発明された原理と新規の特徴と一致する最も広い範囲に従うものである。
【図１】
2019003614.tif 000007
【図２】
2019003614.tif 000008
【図３】
2019003614.tif 000009
【図４】
2019003614.tif 000010
【図５】
2019003614.tif 000011
【図６】
2019003614.tif 000012