(57)【要約】【課題】交差点が存在してもより効果的に白線を検出することができる白線検出装置を提供すること。【解決手段】本発明による白線検出装置１は、車両の前方の路面を撮像する撮像手段２と、撮像された画像に基づいて交差点を検出する検出手段３ａと、路面の白線を検出する白線検出を行う白線検出手段３ｄ〜３ｆと、交差点が存在する場合に白線検出の直線近似領域探索に用いられる複数の閾値のうち少なくともいずれかの設定を行う設定手段３ｃを含むことを特徴とする。【選択図】図１
2014149636.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方の路面を撮像する撮像手段と、撮像された画像に基づいて交差点を検出する検出手段と、前記路面の白線を検出する白線検出を行う白線検出手段と、当該交差点が存在する場合に前記白線検出の直線近似領域探索に用いられる複数の閾値のうち少なくともいずれかの設定を行う設定手段を含むことを特徴とする白線検出装置。
【請求項２】
前記設定は前記場合において前記複数の閾値のうち少なくともいずれかの感度を低下させることであることを特徴とする請求項１に記載の白線検出装置。
【請求項３】
前記直線近似領域探索はエッジ線分ペアリングを含み、当該エッジ線分ペアリングに用いられる前記閾値については、前記設定手段は前記交差点よりも遠方側のエッジ点と前記車両までの遠方距離と、前記交差点よりも近傍側のエッジ点と前記車両までの近傍距離に基づいて低下させることを特徴とする請求項２に記載の白線検出装置。
【請求項４】
前記直線近似領域探索は白線境界選択を含み、当該白線境界選択に用いられる前記閾値については、前記設定手段は前記交差点の長さに基づいて増大させることを特徴とする請求項２又は３に記載の白線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗用車、トラック、バス等の車両に適用して、操舵支援や運転支援に供されて好適な白線検出装置に関するものである。
【背景技術】
【０００２】
車両の前方を撮像した画像から道路の白線を検出する装置としては、例えば特許文献１に記載のものがあり、この装置では画像から取得される二値化データと閾値との比較に基づいて白線を検出することが行われている。
【０００３】
特に補助線が存在する場合に、エッジ点群から演算される近似曲線を基準として候補点分類領域を設定した上で、候補点分量領域内に車幅方向外側のエッジ点がどの程度存在するかにより場合分けを行って不要なエッジ点を削除して、白線をより正確に検出することが特許文献１では提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０１４３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、このような装置においては、車両の遠方に位置する交差点の先に存在する、交差点の手前とは不連続な白線については適切に検出することができないという問題が生じる。
【０００６】
本発明は、上記問題に鑑み、交差点が存在してもより効果的に白線を検出することができる白線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の問題を解決するため、本発明に係る白線検出装置は、車両の前方の路面を撮像する撮像手段と、撮像された画像に基づいて交差点を検出する検出手段と、前記路面の白線を検出する白線検出を行う白線検出手段と、当該交差点が存在する場合に前記白線検出の直線近似領域探索に用いられる複数の閾値のうち少なくともいずれかの設定を行う設定手段を含むことを特徴とする。
【０００８】
ここで、前記設定は前記場合において前記複数の閾値のうち少なくともいずれかの感度を低下させることであることとしてもよい。また、前記直線近似領域探索はエッジ線分ペアリングを含み、当該エッジ線分ペアリングに用いられる前記閾値については、前記設定手段は前記交差点よりも遠方側のエッジ点と前記車両までの遠方距離と、前記交差点よりも近傍側のエッジ点と前記車両までの近傍距離に基づいて低下させることとしてもよい。さらに、前記直線近似領域探索は白線境界選択を含み、当該白線境界選択に用いられる前記閾値については、前記設定手段は前記交差点の長さに基づいて増大させることとしてもよい。
【発明の効果】
【０００９】
本発明によれば、車両前方における交差点の有無に係わらずより効率的に白線を検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施例１の白線検出装置１の一実施形態を示す模式ブロック図である。
【図２】実施例１の白線検出装置１に一実施形態における白線境界選択用の閾値の設定に用いるパラメータの態様を示す模式図である。
【図３】実施例１の白線検出装置１に一実施形態における白線境界選択用の閾値の設定態様を示す模式図である。
【図４】実施例１の白線検出装置１の制御内容を探索と白線パラメータ算出を含んで示すフローチャートである。
【図５】実施例１の白線検出装置１におけるエッジ検出の範囲拡大を従来技術との比較に基づいて示す模式図である。
【図６】実施例２の白線検出装置１の一実施形態におけるエッジ線分ペアリング用の閾値の設定に用いるパラメータの態様を示す模式図である。
【図７】実施例２の白線検出装置１の一実施形態におけるエッジ線分ペアリング用の閾値の設定態様を示す模式図である。
【図８】実施例２の白線検出装置１に一実施形態における白線境界選択用の閾値の設定に用いるパラメータの態様を示す模式図である。
【図９】実施例２の白線検出装置１に一実施形態における白線境界選択用の閾値の設定態様を示す模式図である。
【図１０】実施例２の白線検出装置１の制御内容を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について、添付図面を参照しながら説明する。
【実施例１】
【００１２】
本実施例１の白線検出装置１は、図１に示すように、車両に備えられて車両の前方の路面を撮像する前方カメラ２（撮像手段）と、前方カメラ２の撮像した画像を処理する画像ＥＣＵ３（Electronic Control Unit）により構成される。
【００１３】
画像ＥＣＵ３は、例えばＣＰＵ、ＲＯＭ、ＲＡＭおよびそれらを相互に接続するデータバスと入出力インターフェースから構成され、ＲＯＭに格納されたプログラムに従い、以下に述べるそれぞれの制御を行う。画像ＥＣＵ３は、検出手段３ａ、判定手段３ｂ、設定手段３ｃ、エッジ検出手段３ｄ、探索手段３ｅ、算出手段３ｆ（３ｄ〜３ｆは白線検出手段）として機能する。
【００１４】
検出手段３ａは前方カメラ２により車両から撮像された画像から、画像内に位置する路面上の複数のエッジ点を検出する。検出手段３ａが検出するエッジ点と車両との実距離や三次元角度を含む三次元位置は、エッジ点の画像上での位置から一般的な射影変換により求められる。なお、画像ＥＣＵ３は、路面の勾配や曲線の有無による補正は周知の手法により適宜実行する。判定手段３ｂは車両の前後方向に連続するエッジ点に所定距離以上の「途切れ」が存在する場合には、「交差点あり」と判定し、存在しない場合には「交差点なし」と判定する。
【００１５】
設定手段３ｃは、以下に述べる直線近似領域探索のための複数の閾値について交差点がない場合において白線の検出を適切に行えるデフォルト値を記憶しており、判定手段３ｂが「交差点あり」と判定する場合には、この閾値の感度を低下させる。つまり、このデフォルト値が「比の閾値」である場合には例えば１よりも小さい定数倍（例えば７０％程度）に低下させ、「差の閾値」である場合には１よりも大きい定数倍（例えば１３０％程度）に増大させる設定の変更を行う。また、設定手段３ｃは、判定手段３ｂが「交差点なし」と判定する場合には、閾値についてデフォルト値に復帰させる。
【００１６】
なお、画像内の車両の幅方向つまり横方向における輝度分布は路面に比べて白線がオフセットされて図２に示すように、上がりエッジｕｐ＿ｅｄｇｅと下がりエッジｄｏｗｎ＿ｅｄｇｅを一対（又は複数対）有する。交差点が存在しないつまり上述した「途切れ」が存在しない場合において、上がりエッジｕｐ＿ｅｄｇｅと下がりエッジｄｏｗｎ＿ｅｄｇｅにおける輝度の差に応じて白線と路面を区別できる範囲に、閾値のデフォルト値は設定されている。
【００１７】
ここで直線近似領域探索に用いる複数の閾値は、図２に示すエッジ線分ペアリングに用いる閾値と、図３に示す白線境界選択に用いる閾値の双方を含む。前者のエッジ線分ペアリングに用いる閾値は「比の閾値」であって、「エッジ強度比」と「エッジ点数比」と「信頼度比」と「平行度比」の四項目を含む。
【００１８】
エッジ強度比は、図２に示す上がりエッジラインｕｐ＿ｌｉｎｅが含む複数のエッジ点ｕｐ＿ｅｄｇｅの平均エッジ強度と、下がりエッジラインｄｏｗｎ＿ｌｉｎｅが含む複数のエッジ点ｄｏｗｎ＿ｅｄｇｅの平均エッジ強度の比である。エッジ点数比は上がりエッジラインｕｐ＿ｌｉｎｅが含むエッジ点数と下がりエッジラインｄｏｗｎ＿ｌｉｎｅが含むエッジ点数の比である。
【００１９】
信頼度比は上がりエッジラインｕｐ＿ｌｉｎｅのハフ変換得票数と下がりエッジラインｄｗｏｎ＿ｌｉｎｅのハフ変換得票数の比である。平行度比は上がりエッジラインｕｐ＿ｌｉｎｅの三次元傾きと下がりエッジラインｄｏｗｎ＿ｌｉｎｅの三次元傾きの比である。
【００２０】
白線境界選択に用いる閾値は「差の閾値」であって、図３に示す交差点よりも遠方側の遠方領域Ｆａｒにおける遠方白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｆａｒの含む近傍側のエッジ点ｂｏｔｔｏｍ＿ｆａｒと交差点よりも近傍側の近傍領域Ｎｅａｒにおける近傍白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｎｅａｒにおける遠方側のエッジ点ｔｏｐ＿ｎｅａｒとの間における「横位置連続性」と「傾き連続性」の二項目をまず含む。
【００２１】
さらに、白線境界選択に用いる閾値は、画像ＥＣＵ３の処理周期上の前回フレームと今回フレームとの遠方領域Ｆａｒと近傍領域Ｎｅａｒとの間における「横位置連続性」と「傾き連続性」の四項目をも含む。
【００２２】
つまり図３中カッコ内に示す前回フレームにおける近傍領域Ｎｅａｒにおける近傍白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｎｅａｒ＿ｐｒｅｖにおける遠方側のエッジ点ｔｏｐ＿ｎｅａｒ＿ｐｒｅｖの三次元横位置と、図３中に示す今回フレームの近傍白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｎｅａｒにおける遠方側のエッジ点ｔｏｐ＿ｎｅａｒとの三次元横位置の差が第一項目である。
【００２３】
また図３中カッコ内に示す前回フレームにおける遠方領域Ｆａｒにおける遠方白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｆａｒ＿ｐｒｅｖの含む近傍側のエッジ点ｂｏｔｔｏｍ＿ｆａｒ＿ｐｒｅｖの三次元横位置と、今回フレームの遠方白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｆａｒにおける近傍側のエッジ点ｂｏｔｔｏｍ＿ｆａｒとの三次元横位置の差が第二項目である。
【００２４】
また図３中カッコ内に示す前回フレームにおける近傍領域Ｎｅａｒにおける近傍白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｎｅａｒ＿ｐｒｅｖの三次元傾きと、図３に示す今回フレームにおける近傍領域Ｎｅａｒにおける近傍白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｎｅａｒの三次元傾きの差が第三項目である。
【００２５】
また図３中カッコ内に示す前回フレームにおける遠方領域Ｆａｒにおける遠方白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｆａｒ＿ｐｒｅｖの三次元傾きと、図３に示す今回フレームにおける遠方領域Ｆａｒにおける遠方白線境界候補ｍａｒｋｅｒｌｉｎｅ＿ｆａｒの三次元傾きの差が第四項目である。
【００２６】
続いて本実施例１の白線検出装置１の全体の制御内容を図４に示すフローチャートを用いて説明する。ステップＳ１に示すように、検出手段３ａは前方カメラ２の撮像した画像を取得し、ステップＳ２においてエッジ検出手段３ｄは上述した手法によりエッジ点を検出する。
【００２７】
ステップＳ３において、判定手段３ｂはエッジ点の「途切れ」の有無に基づいて「交差点あり？」であるか否かを判定し、肯定であればステップＳ４にすすみ、否定であればステップＳ５にすすむ。
【００２８】
ステップＳ４において、設定手段３ｃは上述した四項目の「比の閾値」と六項目の「差の閾値」の複数の閾値について少なくとも一項目（一項目から全項目のいずれでもよい）を低減する設定を行う。ステップＳ５において、設定手段３ｃは複数の閾値を全てデフォルト値に戻す処理を行う。
【００２９】
ステップＳ６からステップＳ７においては、「比の閾値」を用いて、ステップＳ８においては「差の閾値」を用いて、エッジ検出手段３ｄは処理を行う。つまり、ステップＳ６においてエッジ検出手段３ｄは、画像を水平方向に走査して、投影した路面平面上の直線近似領域として設定した範囲のエッジ点の群に対してエッジ線分を抽出して、ステップＳ７において、前回処理の前フレームの白線位置や上がり、下がりエッジ線分の幅から白線エッジ線分をペアリングして、ステップＳ８において、白線境界選択を実行する。
【００３０】
ステップＳ９において、探索手段３ｅは、前回処理の前フレームの白線位置から一定の範囲内に存在する直線近似領域の手前の近傍の白線エッジを抽出する。
【００３１】
ステップＳ１０において、探索手段３ｅは、ステップＳ６〜ステップＳ８で検出した白線エッジ群に対して、左右白線別々にクロソイドモデルを当てはめる。ステップＳ１１において、探索手段３ｅは、ステップＳ１０で推定したクロソイドを遠方に延長した直線近似領域の遠方側の遠方の白線エッジを検出する。
【００３２】
ステップＳ１２において、算出手段３ｆは、ステップＳ６〜ステップＳ８、ステップＳ９〜ステップＳ１１で検出した白線エッジ群に対して、左右白線別々にクロソイドモデルを当てはめて、白線を抽出する。
【００３３】
以上の制御により実行される本実施例１の白線検出装置１によれば、以下のような作用効果を得ることができる。つまり、図５（ａ）に示すように、前後方向二箇所の横断歩道で示される交差点よりも遠方のコントラストが低い白線について、図５（ｂ）に示すように従来技術では検出が困難であった所を、本実施例１では検出用の閾値の低減に基づいて検出することが可能となる。
【００３４】
上述した実施例１においては、交差点が存在する場合に複数項目の閾値について少なくともいずれかを一以下の固定された比にて低減する形態を示したが、交差点のパラメータに基づいて個別に設定することも可能である。以下それについての実施例２について述べる。
【実施例２】
【００３５】
本実施例２の白線検出装置１のハード構成は上述した実施例１の図１に示したものと同様であり、処理内容についても実施例１の図４に示したものとステップＳ４を除いて同様であるため、相違点を主に説明する。
【００３６】
図６に示すように、本実施例２ではエッジ線分ペアリングに用いる閾値については、設定手段３ｃは交差点よりも遠方側のエッジ点と車両までの遠方距離Ｚ＿ｆａｒ、又は、交差点よりも近傍側のエッジ点と車両までの近傍距離Ｚ＿ｎｅａｒに基づいて低下させる。
【００３７】
本実施例２では遠方距離Ｚ＿ｆａｒは検出されるエッジ点のうち最も遠方側のエッジ点と車両との距離とし、設定手段３ｃは、交差点よりも遠方側の遠方領域Ｆａｒにおいては、図２に関連して上述したエッジ線分ペアリングに用いる四項目の「比の閾値」を図７に示すマップを用いて設定する。つまり、遠方距離Ｚ＿ｆａｒが大きくなるほど「比の閾値」が小さくなるように設定される。なお、図７中においてＺ＿ｆａｒが大きくなるにつれて減少する線よりも上側で１以下の領域は輝度が低く三次元位置の精度も低い遠方領域Ｆａｒにおいて、この領域であれば上がりエッジと下がりエッジが対であるとみなされてエッジ線分ペアリングがなされる許容範囲である。
【００３８】
また、近傍距離Ｚ＿ｎｅａｒは検出されるエッジ点のうち最も遠方側のエッジ点と車両との距離とし、設定手段３ｃは、交差点よりも近傍側の近傍領域Ｎｅａｒにおいては、図３に関連して上述したエッジ線分ペアリングに用いる四項目の「比の閾値」を図７に示すマップを用いて設定する。つまり、近傍距離Ｚ＿ｎｅａｒが大きくなるほど「比の閾値」が小さくなるように設定される。
【００３９】
さらに本実施例２では、白線境界選択に用いる「差の閾値」についても、設定手段３ｃは図８に示す交差点の前後方向の長さＷに基づいて図９に示すマップを用いて低下させる。つまり長さＷが長くなるほど「差の閾値」は大きくなるように設定される。なお、図８中においてＷが大きくなるにつれて増加する線よりも下側で０以上の領域は輝度が低く三次元位置の精度も低い遠方領域Ｆａｒにおいて、交差点を挟んで近傍白線境界候補ｍａｒｋｅｒｌｉｎｅが前後に連続していると判定されて白線境界選択がなされる許容範囲とである。
【００４０】
本実施例２の白線検出装置１の閾値の設定についての処理内容について図１０に示すフローチャートを用いて説明する。図１０は図４のステップＳ４の詳細を示すサブルーチンに該当する。
【００４１】
ステップＳ４１に示すように、設定手段３ｃは交差点より遠方の遠方距離Ｚ＿ｆａｒと交差点より近傍の近傍距離Ｚ＿ｎｅａｒを検出し、ステップＳ４２において、遠方距離Ｚｆａｒと図７に示したマップに基づいて遠方領域Ｆａｒにおけるエッジ線分ペアリング用の「比の閾値」を設定する。加えて、ステップＳ４２において、設定手段３ｃは、近傍距離Ｚ＿ｎｅａｒと図７に示したマップに基づいて近傍領域Ｎｅａｒにおけるエッジ線分ペアリング用の「比の閾値」を設定する。
【００４２】
ステップＳ４３に示すように、設定手段３ｃは交差点の長さＷを検出し、ステップＳ４４において、長さＷと図９に示したマップに基づいて白線境界選択用の「差の閾値」を設定する。
【００４３】
以上の制御により実行される本実施例２の白線検出装置１によっても、実施例１と同様に以下のような作用効果を得ることができる。すなわち、図５（ａ）に示す、遠方のコントラストが低い白線のエッジについて、図５（ｂ）に示すように従来技術では検出が困難であった所を、本実施例２では検出することができる。
【００４４】
つまり実施例１においては、閾値の少なくともいずれか又は全部を一律に低減することとしていたところを、本実施例２では、エッジ線分ペアリング用の「比の閾値」については交差点より遠方又は近傍のそれぞれの領域に対応する車両との距離に基づいて低減し、白線境界選択用の「差の閾値」については交差点の長さに基づいて増大して、閾値の感度を低下させている。このため、閾値の感度の低減の仕方を用途に応じて最適化して、より検出の精度を高めることができる。
【００４５】
以上本発明の好ましい実施例について詳細に説明したが、本発明は上述した実施例に制限されることなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形および置換を加えることができる。
【産業上の利用可能性】
【００４６】
本発明の白線検出装置は、交差点が存在する場合でもより効果的に白線を検出でき、特に遠方のコントラストの低い白線を検出できるので、自動運転やより予測性の高い操舵支援（ＬＫＡ、ＬＤＷ）や衝突防止（ＰＣＳ）を考慮した、乗用車、トラック、バス等の様々な車両に適用して有益なものである。
【符号の説明】
【００４７】
１      白線検出装置
２      前方カメラ（撮像手段）
３      画像ＥＣＵ
３ａ    検出手段
３ｂ    判定手段
３ｃ    設定手段
３ｄ    エッジ検出手段（３ｄ〜３ｆ：白線検出手段）
３ｅ    探索手段
３ｆ    算出手段
【図１】
2014149636.tif 000003
【図２】
2014149636.tif 000004
【図３】
2014149636.tif 000005
【図４】
2014149636.tif 000006
【図５】
2014149636.tif 000007
【図６】
2014149636.tif 000008
【図７】
2014149636.tif 000009
【図８】
2014149636.tif 000010
【図９】
2014149636.tif 000011
【図１０】
2014149636.tif 000012