(57)【要約】【課題】本発明は、両エッジ制限に基づく多車線の検出方法とシステムを提供する。【解決手段】該方法は、車両前方画像を撮影してグレースケール画像を出力し、入力されたグレースケール画像内で路面領域の位置を決定し、前記路面領域に基づいて路面グレースケール値を計算し、グレースケール画像における算出された路面グレースケール値よりも大きい画素点の双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラムを計算し、前記複数角度分布ヒストグラムにおけるピーク値に対応する角度についてマッチングを行うことで、マッチング角度を取得し、マッチングした角度を用いて、対応する画素点に対して直線フィッティングを行い、フィッティングした直線を検出した車線として出力する。【選択図】図１
2014146326.tif 000002
【特許請求の範囲】
【請求項１】
車両前方の画像を撮影してグレースケール画像を出力し、
入力されたグレースケール画像内で路面領域の位置を決定し、前記路面領域に基づいて路面グレースケール値を計算し、
グレースケール画像における、算出された路面グレースケール値よりも大きい画素点の双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラムを計算し、
前記複数の角度分布ヒストグラムにおけるピーク値に対応する角度についてマッチングを行うことにより、マッチングした角度を取得し、
マッチングした角度を用いて、対応する画素点に対して直線フィッティングを行い、フィッティングした直線を検出した車線として出力する、両エッジの制限に基づく多車線の検出方法。
【請求項２】
前記グレースケール画像における、算出された路面グレースケール値よりも大きい画素点の双方向の水平エッジの角度分布ヒストグラムを計算するステップにおいて、
グレースケール画像内の関心領域を決定し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、０〜１８０度の水平エッジヒストグラムと１８０〜３６０度の水平エッジヒストグラムを計算する、請求項１に記載の多車線の検出方法。
【請求項３】
前記グレースケール画像における、算出された路面グレースケール値よりも大きい画素点の法線方向の角度分布ヒストグラムを計算するステップにおいて、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、該画素点の法線方向両側の画素点の差分値の０〜１８０度のグレースケール差分値ヒストグラムを計算する、請求項２に記載の多車線の検出方法。
【請求項４】
前記０〜１８０度の水平エッジヒストグラムを計算するステップにおいて、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、
各画素点の０〜３６０度のエッジ方向を計算し、
０〜１８０度における各エッジ方向角度に対して、エッジ方向角度ごとに全画素点の水平エッジ値を累計し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全画素点の０〜１８０度の水平エッジヒストグラムを生成する請求項２に記載の多車線の検出方法。
【請求項５】
前記１８０〜３６０度の水平エッジヒストグラムの計算ステップにおいて、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、
各画素点の０〜３６０度のエッジ方向を計算し、
１８０〜３６０度における各エッジ方向角度に対して、エッジ方向角度ごとに全画素点の水平エッジ値を累計し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全ての画素点の１８０〜３６０度の水平エッジヒストグラムを生成する、請求項２又は４に記載の多車線の検出方法。
【請求項６】
前記画素点の法線方向両側の画素点の差分値の０〜１８０度のグレースケール差分値ヒストグラムの計算ステップにおいて、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、
各画素点の０〜３６０度のエッジ方向を計算し、
各画素点に対して、エッジ方向に垂直な法線方向に沿って、各画素点の法線方向のグレースケール差分値を計算し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、０〜１８０度の各エッジ方向、及び１８０〜３６０度の各エッジ方向から１８０度を引いたエッジ方向について、同じエッジ方向を有する画素点の法線方向のグレースケール差分値を累計し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全画素点の０〜１８０度のグレースケール差分値ヒストグラムを生成する、請求項３に記載の多車線の検出方法。
【請求項７】
前記路面領域に基づいて路面グレースケール値を計算するステップにおいて、
前記路面領域内の全画素点のグレースケール値を統計し、前記路面領域のグレースケールヒストグラムを生成し、
前記グレースケールヒストグラムのピーク値に対応するグレースケール値を路面グレースケール値として取得する、請求項１乃至６のいずれかに記載の多車線の検出方法。
【請求項８】
前記複数の角度分布ヒストグラム内のピーク値に対応する角度についてマッチングを行うことにより、マッチング角度を取得するステップにおいて、
双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラム内の各ヒストグラムに対して、各ヒストグラムのピーク値を計算し、
各ヒストグラムのピーク値に対応する角度を取得し、
対応する角度の値を所定の誤差の範囲内でマッチングを行い、
マッチングした角度を出力する、請求項１乃至７のいずれかに記載の多車線の検出方法。
【請求項９】
前記マッチングした角度を用いて対応する画素点に対して直線フィッティングを行うステップにおいて、
各マッチングした角度に対して、マッチングした角度にエッジ方向が一番近い画素点のみを残し、
残した画素点に対して、ハフ変換を行い、マッチングした角度に最も近い線分を得る、請求項１乃至８のいずれかに記載の多車線の検出方法。
【請求項１０】
車両前方の画像を撮影してグレースケール画像を出力するグレースケール画像生成モジュールと、
入力されたグレースケール画像内で路面領域の位置を決定し、前記路面領域に基づいて路面グレースケール値を算出する路面グレースケール値計算モジュールと、
グレースケール画像における、算出された路面グレースケール値よりも大きい画素点の双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラムを計算する角度ヒストグラム生成モジュールと、
前記複数の角度分布ヒストグラムにおけるピーク値に対応する角度についてマッチングを行うことにより、マッチング角度を得る角度マッチングモジュールと、
マッチングした角度を用いて、対応する画素点に対して直線フィッティングを行い、フィッティングした直線を検出した車線として出力する直線フィッティングモジュールと、を含む、両エッジの制限に基づく多車線の検出システム。
【請求項１１】
前記角度ヒストグラム生成モジュールは、
グレースケール画像内の関心領域を決定し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、０〜１８０度の水平エッジヒストグラムと１８０〜３６０度の水平エッジヒストグラムを計算する、請求項１０に記載の多車線の検出システム。
【請求項１２】
前記角度ヒストグラム生成モジュールは、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、該画素点の法線方向両側の画素点の差分値の０〜１８０度のグレースケール差分値ヒストグラムを計算する、請求項１１に記載の多車線の検出システム。
【請求項１３】
前記角度ヒストグラム生成モジュールは、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、
各画素点の０〜３６０度のエッジ方向を計算し、
０〜１８０度における各エッジ方向角度に対して、エッジ方向角度ごとに全画素点の水平エッジ値を累計し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全画素点の０〜１８０度の水平エッジヒストグラムを生成する請求項１１に記載の多車線の検出システム。
【請求項１４】
前記角度ヒストグラム生成モジュールは、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、
各画素点の０〜３６０度のエッジ方向を計算し、
１８０〜３６０度における各エッジ方向角度に対して、エッジ方向角度ごとに全画素点の水平エッジ値を累計し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全ての画素点の１８０〜３６０度の水平エッジヒストグラムを生成する、請求項１１又は１３に記載の多車線の検出システム。
【請求項１５】
前記角度ヒストグラム生成モジュールは、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、
各画素点の０〜３６０度のエッジ方向を計算し、
各画素点に対して、エッジ方向に垂直な法線方向に沿って、各画素点の法線方向のグレースケール差分値を計算し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、０〜１８０度の各エッジ方向、及び１８０〜３６０度の各エッジ方向から１８０度を引いたエッジ方向について、同じエッジ方向を有する画素点の法線方向のグレースケール差分値を累計し、
前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全画素点の０〜１８０度のグレースケール差分値ヒストグラムを生成する、請求項１２に記載の多車線の検出システム。
【請求項１６】
前記路面グレースケール値計算モジュールは、
前記路面領域内の全画素点のグレースケール値を統計し、前記路面領域のグレースケールヒストグラムを生成し、
前記グレースケールヒストグラムのピーク値に対応するグレースケール値を路面グレースケール値として取得する、請求項１０乃至１５のいずれかに記載の多車線の検出システム。
【請求項１７】
前記角度マッチングモジュールは、
双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラム内の各ヒストグラムに対して、各ヒストグラムのピーク値を計算し、
各ヒストグラムのピーク値に対応する角度を取得し、
対応する角度の値を所定の誤差の範囲内でマッチングを行い、
マッチングした角度を出力する、請求項１０乃至１６のいずれかに記載の多車線の検出システム。
【請求項１８】
前記直線フィッティングモジュールは、
各マッチングした角度に対して、マッチングした角度にエッジ方向が一番近い画素点のみを残し、
残した画素点に対して、ハフ変換を行い、マッチングした角度に最も近い線分を得る、請求項１０乃至１７のいずれかに記載の多車線の検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検出方法に関するものであり、特に車両に用いる多車線検出方法と検出システムに関するものである。
【背景技術】
【０００２】
車両の応用が進むにつれ、人々は車両が更に多くの運転支援機能を備えることを期待するようになった。車両運転支援機能においては、道路上の各種対象物の識別が特に重要である。このような識別には、道路内の車線の識別も含まれている。近年、自動運転の問題が科学・工業分野でますます注目を集めるようになり、自動運転の基本構成要素の一つは車線の自動検出である。車線検出は通常、路面上の車線のエッジを検知することを指し、自動運転システムには十分に重要な意義がある。従来の車線検出アルゴリズムは、例えばハフ変換、直線近似、焼きなまし法に基づく曲線検出、関連性検出、逆透視マッピングなどの方法である。
【０００３】
米国特許第ＵＳ７６４６８９０Ｂ２号（特許文献１）は、車線のエッジの決定及び車線の距離分布に対応するエッジ幅の計算と距離分布に基づく車線検出の信頼度の計算から車線の位置を検出し、そこから撮影した画像内の車線の位置を検出する自動運転に用いる画像処理方法を提供した。しかし、この特許はまず車両の位置決定を行い、路面領域の画像を取得し、それから各レーンのエッジ強度分布を分析してエッジ点を取得し、最後に距離分布を計算して信頼度計算を行う必要があった。この過程は極めて煩雑であり、計算量が大きい。
【０００４】
米国特許第ＵＳ７５８３８１６Ｂ２号（特許文献２）も、車線検出方法「Ｄｅｖｉｃｅ  ｆｏｒ  ｄｅｔｅｃｔｉｎｇ  ａ  ｒｏａｄ  ｔｒａｖｅｌｉｎｇ  ｌａｎｅ  ｕｓｉｎｇ  ａｎ  ｅｄｇｅ  ｈｉｓｔｏｇｒａｍ」を開示している。この方法は、エッジ点検出からエッジヒストグラムを生成することによって、禁止標示線の決定、車線のエッジ検出、車線の位置決定から、運転道路を検出する。この特許は、水平エッジ画素点に基づく垂直エッジヒストグラムを生成し、垂直エッジヒストグラム内のプラスエッジとマイナスエッジの分布の組合せを分析するだけである。
【０００５】
また、先行技術「Ａ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｌａｎｅ−Ｄｅｐａｒｔｕｒｅ  Ｄｅｔｅｃｔｉｏｎ（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ８６，５２−７８（２００２））」（非特許文献１）も、特徴的な機械視覚システムに基づく路面上を走行する車両の車線離脱の推測を提供している。このシステムは、エッジ情報を使用してエッジ分布関数（ＥＤＦ）を定義し、エッジ方向角度のエッジ幅の値のヒストグラムに対応する。ＥＤＦがエッジ関連情報と車線関連情報を繋ぐ。この論文では、０から１８０度までのエッジ方向を計算し、エッジ分布ヒストグラムのピーク値に対応する角度を車線方向と認めている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の従来の車線検出方法は、通常、目の前の車線を検出することしか出来ず、様々なタイプの車線、特に三本線または水平破線などのような複雑な車線タイプを検出することはできない。複雑な車線タイプでは、車線のエッジ点を決定しいくいため、伝統的なハフ変換に基づく車線検出方法では正確に車線を検出することができない。従来のエッジ方向に基づく車線検出方法は、０から１８０度までのエッジ方向しか計算できず、ノイズの影響を受けやすい。
【０００７】
そこで、本発明は、ヒストグラム角度のマッチングから白線方向を得て、各画素点のエッジ方向に基づいて車線のエッジ点を選び出すことができる両エッジ制限方式による車線検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、一つの態様においては、車両前方の画像を撮影してグレースケール画像を出力し、入力されたグレースケール画像内で路面領域の位置を決定し、前記路面領域基づく路面グレースケール値を計算し、グレースケール画像内の算出された路面グレースケール値よりも大きい画素点の双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラムを計算し、前記の複数角度分布ヒストグラム内のピーク値に対応する角度についてマッチングを行い、そこからマッチング角度を得、マッチングした角度を用いて対応する画素点に対して直線フィッティングを行い、フィッティングした直線を検出した車線として出力する、両エッジの制限に基づく多車線の検出方法を提供する。
【０００９】
本発明の多車線検出方法では、前記グレースケール画像内の算出された路面グレースケール値よりも大きい画素点の双方向の水平エッジの角度分布ヒストグラムの計算ステップは、グレースケール画像内の関心領域を決定し、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、０から１８０度までの水平エッジヒストグラムと１８０から３６０度までの水平エッジヒストグラムを計算することを含む。
【００１０】
本発明の多車線検出方法では、前記グレースケール画像内の算出された路面グレースケール値よりも大きい画素点の法線方向の角度分布ヒストグラムの計算ステップは、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、該画素点の法線方向両側の画素点の差分値の０から１８０度までのグレースケール差分値ヒストグラムを計算することを含む。
【００１１】
本発明の多車線検出方法では、０から１８０度までの水平エッジヒストグラムの計算ステップは、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、各画素点の０から３６０度までのエッジ方向を計算し、０から１８０度内の各エッジ方向角度に対して、エッジ方向角度ごとに全画素点の水平エッジ値を累計し、そして前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全画素点の０から１８０度までの水平エッジヒストグラムを生成することを含む。
【００１２】
本発明の多車線検出方法では、前記１８０から３６０度までの水平エッジヒストグラムの計算ステップは、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、各画素点の０から３６０度までのエッジ方向を計算し、１８０から３６０度内の各エッジ方向角度に対して、エッジ方向角度ごとに全画素点の水平エッジ値を累計し、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全画素点の１８０から３６０度までの水平エッジヒストグラムを生成することを含む。
【００１３】
本発明の多車線検出方法では、前記画素点の法線方向両側の画素点の差分値の０から１８０度までのグレースケール差分値ヒストグラムの計算ステップは、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、ソーベルオペレータに基づいて水平エッジ値と垂直エッジ値を計算し、各画素点の０から３６０度までのエッジ方向を計算し、各画素点に対して、エッジ方向に垂直な法線方向に沿って、各画素点の法線方向のグレースケール差分値を計算し、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい画素点に対して、０から１８０度までの各エッジ方向、及び１８０から３６０度までの各エッジ方向から１８０度を引いたエッジ方向について、同じエッジ方向を有する画素点の法線方向のグレースケール差分値を累計し、前記関心領域内のグレースケール値が前記路面グレースケール値よりも大きい全画素点の０から１８０度までのグレースケール差分値ヒストグラムを生成することを含む。
【００１４】
本発明の多車線検出方法では、前記路面領域に基づく路面グレースケール値を計算するステップは、前記路面領域内の全画素点のグレースケール値を統計し、前記路面領域のグレースケールヒストグラムを生成し、前記グレースケールヒストグラムのピーク値に対応するグレースケール値を路面グレースケール値として取得することを含む。
【００１５】
本発明の多車線検出方法では、前記複数の角度分布ヒストグラム内のピーク値に対応する角度についてマッチングを行い、そこからマッチング角度を得るステップは、双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラム内の各ヒストグラムに対して、各ヒストグラムのピーク値を計算し、各ヒストグラムのピーク値に対応する角度を得、対応する角度の値を所定の誤差の範囲内でマッチングを行い、マッチングした角度を出力することを含む。
【００１６】
本発明の多車線検出方法では、前記マッチングした角度を用いて対応する画素点に対して直線フィッティングを行うステップは、各マッチングした角度に対して、マッチングした角度にエッジ方向が一番近い画素点のみを残し、残した画素点に対して、ハフ変換を行い、マッチングした角度に最も近い線分を得ることを含む。
【００１７】
本発明は別の態様において、車両前方の画像を撮影してグレースケール画像を出力するグレースケール画像生成モジュールと、入力されたグレースケール画像内で路面領域の位置を決定し、前記路面領域に基づく路面グレースケール値を計算する路面グレースケール値計算モジュールと、グレースケール画像内で算出された路面グレースケール値よりも大きい画素点の双方向の水平エッジの角度分布ヒストグラムと法線方向の角度分布ヒストグラムを計算する複数角度ヒストグラム生成モジュールと、前記複数の角度分布ヒストグラムのピーク値に対応する角度についてマッチングを行い、そこからマッチング角度を得る角度マッチングモジュールと、マッチングした角度を用いて対応する画素点に対して直線フィッティングを行い、フィッティングした直線を検出した車線として出力する直線フィッティングモジュールと、を含む、両エッジの制限に基づく多車線の検出システムを提供する。
【００１８】
本発明の多車線検出方法によると、１８０から３６０度までのエッジ方向を計算し、各角度方向のエッジ強度分布を分析してエッジ点及び角度マッチングを得ることで、より一層正確な車線方向を得ることができる。さらに本発明の多車線検出方法は、予め車両の位置を特定する必要がない。本発明は、プラスエッジ方向ヒストグラム、マイナスエッジ方向ヒストグラムとグレースケール差分値ヒストグラムのピーク値角度をマッチングすることにより、三つのヒストグラムのピーク値マッチングにより、より一層正確な車線の方向を得ることができる。
【図面の簡単な説明】
【００１９】
図面を組み合わせて検討した下記本発明の好適な実施例の詳細説明を閲読することで、本発明の上記及びその他の目標、特徴、長所と技術的、工業的重要性をより深く把握することができる。
【図１】本発明の多車線検出方法のフローチャートである。
【図２】本発明の実施例により路面グレースケール値を計算したフローチャートである。
【図３Ａ】選択した路面領域の二種類の状況の例示である。
【図３Ｂ】選択した路面領域の二種類の状況の例示である。
【図４Ａ】図３Ａ及び図３Ｂの路面領域に対応するグレースケール値ヒストグラムを計算した概念図である。
【図４Ｂ】図３Ａ及び図３Ｂの路面領域に対応するグレースケール値ヒストグラムを計算した概念図である。
【図５】本発明の実施例により画素点の三つの角度分布のヒストグラムを計算したフローチャートである。
【図６】関心ある領域を決定した実例の概念図である。
【図７Ａ】それぞれ本発明の方法により計算した三つの角度のヒストグラムである。
【図７Ｂ】それぞれ本発明の方法により計算した三つの角度のヒストグラムである。
【図７Ｃ】それぞれ本発明の方法により計算した三つの角度のヒストグラムである。
【図８】０から１８０度までの水平エッジヒストグラムの計算アルゴリズムフローチャートである。
【図９】１８０から３６０度までの水平エッジヒストグラムの計算アルゴリズムフローチャートである。
【図１０】０から１８０度までのグレースケール差分値ヒストグラムを計算するフローチャートである。
【図１１】画像内の白線角度を得るために三つのヒストグラムを用いてマッチングを行うフローチャート概念図である。
【図１２】図７Ａ−７Ｃの三つの角度のヒストグラムについて角度マッチングを行った後に生まれる結果の概念図である。
【図１３】本発明の実施例によりマッチングした角度に基づいて直線フィッティングを行うフローチャートである。
【図１４】本発明の実施例に基づいて直線フィッティングを行った後に得られる結果の実例の概念図である。
【発明を実施するための形態】
【００２０】
以下、図面を組み合わせて本発明の実施例を説明する。
【００２１】
図１は本発明の多車線検出方法のフローチャートである。本発明の方法は、通常、車両内に用いられ、車載コンピュータが前記の多車線検出方法を実行する。本発明が処理する画像は、車載カメラがリアルタイム撮影して取得する。具体的に述べると、本発明の多車線検出方法を開始するとき、車載カメラが車両前方の画像をリアルタイム撮影し、グレースケール画像に変換する。
【００２２】
そのため、本発明の多車線検出方法の第一ステップＳ１１では、入力されたグレースケール画像を受信する。車線の精確な検出を実現するため、まず現在入力されたグレースケール画像内から画像内の路面部分を決定する。ステップＳ１２では、路面のグレースケール値を計算し、路面のグレースケール値を出力する。図２は本発明の実施例により路面グレースケール値を計算したフローチャートである。Ｓ１１でグレースケール画像を入力された後、ステップＳ１２１で、入力されたグレースケール画像内の路面領域を決定する。経験によると、車載カメラが撮影する画像のうち、画像の下部に近いほど、路面部分の可能性が大きい。そのため、前記路面領域を決定するには、画像の下部の領域から選択する。該路面領域の幅は画像幅の約四分の三とし、五分の四または二分の一であってもよい。車載カメラのある車両と前方の車両の間には一定の距離があるため、選択されるこの路面領域は通常路面を含む領域であり、横断歩道を含んでもよい。そこで、選択した路面領域が路面になるようにするため、選択するとき、該路面領域の高さを、例えば１０画素点、１５画素点、または８画素点のような非常に小さい値にする。図３Ａと図３Ｂは、選択した路面領域の二種類の状況の例示である。図３Ａは、路面領域を決定するとき、路面だけを含み、図３Ｂは、路面領域を決定するとき、横断歩道領域も含んでいる。路面領域を決定した後、ステップＳ１２２で、決定した路面領域のグレースケール値ヒストグラムを計算する。図４Ａと図４Ｂは、図３Ａ、図３Ｂの路面領域に対応するグレースケール値ヒストグラムを計算した概念図である。図４Ａに示すように、選択された路面だけを含む路面領域については、図４Ａ右側のヒストグラム内のピーク値に対応するグレースケール値を路面グレースケール値とする。図４Ｂに示すように、選択された横断歩道を含む路面領域については、図４Ｂ右側のヒストグラム内に二つのピーク値があり、二つのピーク値に対応するグレースケール値のうち、小さいほうのグレースケール値が路面グレースケール値であり、大きいほうのグレースケール値が白線グレースケール値である。それから、ステップＳ１２３で、グレースケールヒストグラム内のピーク値を計算する。その後、ステップＳ１２４で、計算したピーク値に対応するグレースケール値を路面のグレースケール値として出力する。出力した路面のグレースケール値に基づいて、入力されたグレースケール画像内のどの画素点が路面に属し、どの画素点が路面に属さないかを決定する。こうすることで、その後の検出における計算量を減らす。
【００２３】
図１に戻り、ステップＳ１１で路面グレースケール値を得た後、ステップＳ１２で、路面上の画素点の三つの角度分布のヒストグラムを計算する。図５は本発明の実施例により画素点の三つの角度分布のヒストグラムを計算したフローチャートである。図５に示すように、まず、ステップＳ１３１で、上記計算したグレースケール画像と路面グレースケール値を受信する。続いて、ステップＳ１３２で、入力されたグレースケール画像内で関心ある領域（関心領域）を決定する。図６は、関心ある領域を決定した実例の概念図である。図６では、四角い白枠で決定した関心ある領域を表している。通常、前記関心ある領域は画像の下部に位置し、幅は画像の幅よりもわずかに小さく、例えば画像幅の七分の六、八分の七である。高さは画像の高さの三分の一または七分の三である。画像の上部は通常、空またはその他の非常に遠くの物体であり、本車両と前方車両の間には一定の距離があるため、選定した関心ある領域の大部分の領域は路面領域であり、白線（白線がある場合）を含んでいる可能性がある。
【００２４】
関心ある領域を決定した後、ステップＳ１３３−Ｓ１３５で、この関心ある領域内の各画素点の三つの角度値を計算して、三つの角度分布のヒストグラムを生成する。図７Ａ−７Ｃは、それぞれ本発明の方法により計算した三つの角度のヒストグラムである。
【００２５】
ステップＳ１３３で、各画素点の０から１８０度までの範囲の水平エッジヒストグラムを計算する。図８は、０から１８０度までの水平エッジヒストグラムの計算アルゴリズムフローチャートである。図８に示すように、ステップＳ１３３１で、入力されたグレースケール画像と算出した路面グレースケール値を得る。それから、ステップＳ１３３２で、グレースケール値が入力された路面グレースケール値よりも大きい全画素点について、ソーベルオペレータに基づいた水平エッジ検出と垂直エッジ検出を行い、残りの画素点の水平エッジと垂直エッジ値を０とする。これは、白線グレースケール値が路面グレースケール値よりも高く、グレースケール値が入力された路面グレースケール値よりも低い画素点が白線画素点でないためである。さらにこれら画素点はエッジヒストグラム計算のノイズであり、エッジヒストグラムの計算結果に影響を及ぼすため、これらのエッジ値を０とし、グレースケール値が路面グレースケール値よりも大きい画素点のエッジ値だけを計算することで計算効率を高めることができる。ステップＳ１３３２でグレースケール画像に対して簡易化処理を行った後、ステップＳ１３３３で、簡易化されたグレースケール画像内のエッジ値を非０にした画素点の０から３６０度範囲のエッジ方向を計算する。公式は以下のとおりである。
【数１】
2014146326.tif 000003
そのうち、ｖｅｒＥｄｇｅはステップＳ１３３２で検出した非０エッジ値の画素点の垂直エッジ強度で、ｈｏｒＥｄｇｅはステップＳ１３３２で検出した非０エッジ値の画素点の水平エッジ強度である。それから、ステップＳ１３３４で、０から１８０度までの各角度の画素点の水平エッジ強度、即ち同じ角度を有する画素点の強度値を累計し、図７Ａの０から１８０度までの水平エッジ分布ヒストグラムを得る。図７Ａに示すように、０から１８０度までの水平エッジヒストグラムにおいて、横座標は角度（０から１８０度）、縦座標は各角度の水平エッジ強度の累積値とする。
【００２６】
図５に戻り、ステップＳ１３４で、ステップＳ１３３と同じく、各画素点の１８０から３６０度の範囲の水平エッジヒストグラムを計算する。図９は、１８０から３６０度までの水平エッジヒストグラムの計算アルゴリズムフローチャートである。その中のＳ１３４１−１３４３は図８のステップＳ１３３１−Ｓ１３３３と全く同じであり、そのため、その説明は省略し、明細書を簡略化する。もちろん、計算を素早く、手順を簡略化するためである。ステップＳ１３４３では直接ステップＳ１３３３で計算した結果を使用し、直接ステップＳ１３４４での統計計算を始めてもよい。そのため、ステップＳ１３４４では、１８０から３６０度までの各角度の画素点の水平エッジ強度、即ち同じ角度を有する画素点の強度値を累計し、図７Ｂの１８０から３６０度の水平エッジ分布ヒストグラムを得る。図７Ｂに示すように、１８０から３６０度の水平エッジヒストグラムにおいて、横座標は角度（１８０から３６０度）、縦座標は各角度の水平エッジ強度の累計値とする。
【００２７】
図５に戻り、ステップＳ１３５では、画素点の０から１８０度までのグレースケール差分値ヒストグラムを計算する。図１０は、０から１８０度までのグレースケール差分値ヒストグラムを計算するフローチャートである。まず、ステップＳ１３５１で、入力されたグレースケール画像と計算した路面グレースケール値を得る。それから、ステップＳ１３５２  で、グレースケール値が入力された路面グレースケール値よりも大きい全画素点について、ソーベルオペレータに基づいた水平エッジ検出と垂直エッジ検出を行い、残りの画素点の水平エッジ値と垂直エッジ値を０とする。ステップＳ１３５３で、０から３６０度範囲のエッジ方向を計算する。以上のステップは基本的に図８について説明したステップＳ１３３１−Ｓ１３３３と同じである。その後、ステップＳ１３５４で、各画素点についてエッジ法線方向の両側にある画素点のグレースケール値の差分を計算する。エッジ値を非０にした画素点に対して、法線方向はエッジ方向に垂直な方向である。法線方向のグレースケール差分値は、法線方向の両側の画素点のグレースケール値の差である。白線エッジ画素点に対して、法線方向の一方側は白線画素点、もう一方の側は路面画素点で、グレースケール差分値は比較的大きい。それから、ステップＳ１３５５で、０から１８０度までの各角度の法線方向のグレースケール差分値を統計し、１８０から３６０度までのグレースケール差分値も１８０度を引かれた後、０から１８０度の区間に累計する。最後に、ステップＳ１３５６で、図７Ｃに示すように、０から１８０度までのグレースケール差分値ヒストグラムを得る。図７Ｃに示すように、０から１８０度までのグレースケール差分値ヒストグラムでは、横座標は角度（０から１８０度）、縦座標は各角度の法線方向のグレースケール差累計値とする。
【００２８】
図５に戻り、図５のステップＳ１３６、即ち図１のステップＳ１３で、図７Ａ−７Ｃの三つの角度分布のヒストグラムを出力する。
【００２９】
その後、ステップＳ１４で、角度を得るため三つのヒストグラムによりマッチングを行う。図１１は、画像内の白線角度を得るために三つのヒストグラムを用いてマッチングを行うフローチャート概念図である。図１１に示すように、ステップＳ１４１で、ステップＳ１３で出力した三つの角度のヒストグラムを受信する。その後、ステップＳ１４２で、各ヒストグラムのピーク値を計算する。それから、ステップＳ１４３で、ヒストグラムのピーク値に対応する角度を得る。続いて、ステップＳ１４４で、角度のマッチングを行う。白線エッジ点の水平エッジ値は、通常、その他の画素点よりも大きいため、白線の左エッジの全画素点のエッジ方向が一致しており、右エッジの全画素点のエッジ方向が一致し、且つ左エッジ画素点のエッジ方向とは相反している。０から１８０度までの水平エッジヒストグラムと１８０から３６０度までの水平エッジヒストグラムでは、白線の角度はヒストグラムピーク値に対応する角度の一つまたは複数である。同じ白線に対して、左右のエッジの角度の差分値は１８０度であり、そのためこの二つのヒストグラムはピーク値角度のマッチングを行い、さらに大きな白線角度を得ることができる。これが、本発明のいう両側エッジ制限である。前記二つのヒストグラムからマッチングで得た角度は、依然として路面のその他ラインの角度である可能性がある。この問題を解決するため、ステップＳ１３５４で述べているように、白線エッジ画素点の法線方向のグレースケール差分値が比較的大きいため、白線角度もグレースケール差分値ヒストグラムのピーク値に対応している。この三つのヒストグラムのマッチングを通じて、ヒストグラムから得られたピーク値は白線の角度と考えられる。いわゆるヒストグラムピーク値角度マッチングとは、即ち三つのヒストグラムのピーク値に対応する角度を比較することで、角度の差が一定範囲内、例えば３−５度の範囲内にある場合、その角度はヒストグラムマッチングの一つの結果角度となる。最後に、ステップＳ１４５で、マッチングした各角度を出力する。図１２は、図７Ａ−７Ｃの三つの角度のヒストグラムについて角度マッチングを行った後に生まれる結果の概念図である。ピーク値に対応する角度の差が０−５の範囲内にあるものいついて、マッチングと称することができる。
【００３０】
最後に、図１に戻り、ステップＳ１５で、マッチングした角度に基づいて直線フィッティングを行い、最終的な車線検出結果を得る。図１３は、本発明の実施例によりマッチングした角度に基づいて直線フィッティングを行うフローチャートである。図１３に示すように、Ｓ１５１で、ステップＳ１４  で入力されたグレースケール画像とマッチングした角度を受信する。それから、ステップＳ１５２で、各画素点のエッジ方向と入力されたマッチング角度についてマッチングを行う。画素点のエッジ方向値（水平または法線方向）と入力されたマッチング角度の差分値が非常に小さい場合、例えば差分値が０−５度以内の場合、この画素点はエッジライン上の画素点として残される。そうでない場合、画素点は残さない。続いて、ステップＳ１５３で、マッチングした全画素点を得、それからステップＳ１５４で、これらマッチングした画素点について、入力されたマッチング角度付近のハフ変換に基づく直線フィッティングを行う。このようなフィッティングは、本分野では良く知られた技術であるため、ここでは詳しく説明しない。最後に、ステップＳ１５５でフィッティングした直線結果を出力する。図１４は、本発明の実施例に基づいて直線フィッティングを行った後に得られる結果の実例の概念図である。
【００３１】
明細書で説明する一連の操作は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せを通じて実行する。ソフトウェアによってこの一連の操作を実行する場合、その中のコンピュータプログラムを専用ハードに内蔵したコンピュータ内のメモリにインストールし、コンピュータにこのコンピュータプログラムを実行させてもよい。またはコンピュータプログラムを様々なタイプの処理を行える汎用コンピュータにインストールし、コンピュータにこのコンピュータプログラムを実行させてもよい。
【００３２】
例えば、コンピュータプログラムを予め記憶媒体としてのハードディスクまたはＲＯＭ（リードオンリーメモリ）に保存してもよい。または、コンピュータプログラムをリムーバブル記憶媒体、例えばフロッピー(登録商標)ディスク、ＣＤ−ＲＯＭ（コンパクトディスクリードオンリーメモリ）、ＭＯ（光磁気ディスク）、ＤＶＤ（デジタルヴァーサタイルディスク）、磁気ディスク、または半導体メモリに一時保存または永久保存（記録）してもよい。このようなリムーバブル記憶媒体をパッケージソフトとして提供してもよい。
【００３３】
本発明は具体的な実施例を参考に詳細な説明を行っている。しかしながら、本発明の精神から離脱していない範囲内で、当業者が実施例に対して変更と交替を行うことができるのは明らかである。本発明は説明の形式で公開され、制限的に解釈されてはならない。本発明の趣旨を判断し、附帯するクレームを考慮すべきである。
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】米国特許第ＵＳ７６４６８９０Ｂ２号
【特許文献２】米国特許第ＵＳ７５８３８１６Ｂ２号
【非特許文献】
【００３５】
【非特許文献１】Ａ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｌａｎｅ−Ｄｅｐａｒｔｕｒｅ  Ｄｅｔｅｃｔｉｏｎ（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ８６，５２−７８（２００２））
【図１】
2014146326.tif 000004
【図２】
2014146326.tif 000005
【図３Ａ】
2014146326.tif 000006
【図３Ｂ】
2014146326.tif 000007
【図４Ａ】
2014146326.tif 000008
【図４Ｂ】
2014146326.tif 000009
【図５】
2014146326.tif 000010
【図６】
2014146326.tif 000011
【図７Ａ】
2014146326.tif 000012
【図７Ｂ】
2014146326.tif 000013
【図７Ｃ】
2014146326.tif 000014
【図８】
2014146326.tif 000015
【図９】
2014146326.tif 000016
【図１０】
2014146326.tif 000017
【図１１】
2014146326.tif 000018
【図１２】
2014146326.tif 000019
【図１３】
2014146326.tif 000020
【図１４】
2014146326.tif 000021