(57)【特許請求の範囲】
【請求項１】
車両が走行している車線の形状を表す第１の車線形状パラメータを記憶する記憶部と、
前記車両に搭載された撮像部により生成された、前記車両の周囲が写った画像上で前記車線の境界を表す車線区画線の候補となる区画線候補を検出する区画線候補検出部と、
前記区画線候補に基づいて前記車線の形状を表す第２の車線形状パラメータを算出する車線形状パラメータ算出部と、
前記区画線候補が表す前記車線区画線の位置を、前記車線の幅を拡大する方向へ変更するか否かにより前記車線の形状を表す複数のモデルを生成するモデル生成部と、
前記複数のモデルのうち、前記第１の車線形状パラメータが表す車線の形状と最も類似するモデルを特定するモデル特定部と、
前記第２の車線形状パラメータを前記特定されたモデルに対応する前記車線の形状を表すように補正し、補正された前記第２の車線形状パラメータを前記第１の車線形状パラメータとして前記記憶部に記憶する補正部と、
を有する車線検出装置。
【請求項２】
前記区画線候補検出部は、前記画像上でエッジ画素が連結されたエッジ線を複数検出し、前記複数のエッジ線のそれぞれを、前記車両の進路に沿って整列しているグループごとに分類し、前記車両の右側に相当する前記画像上の範囲内の前記グループのうちで前記車両に最も近い位置に相当するグループと、前記車両の左側に相当する前記画像上の範囲内の前記グループのうちで前記車両に最も近い位置に相当するグループとを、それぞれ前記区画線候補とする、請求項１に記載の車線検出装置。
【請求項３】
前記モデル特定部は、前記区画線候補に含まれる何れかの前記エッジ線を実空間に投影したときの長さが破線で表される前記車線区画線の一つのブロックよりも長い所定値以上である場合、前記最も類似するモデルによらずに当該区画線候補が前記車線区画線の位置を表すと判定し、
前記補正部は、前記区画線候補が表す前記車線区画線の位置に応じて前記第２の車線形状パラメータを補正する、請求項２に記載の車線検出装置。
【請求項４】
前記モデル特定部は、前記区画線候補が少なくとも２本の前記エッジ線を含み、前記少なくとも２本の前記エッジ線のそれぞれについて、当該エッジ線を実空間に投影したときの長さが破線で表される前記車線区画線の一つのブロックよりも短い所定値以下であり、かつ、過去一定期間において、前記区画線候補よりも前記車両から離れた位置に相当する前記画像上の第１の位置に前記グループが第１の所定回数以上検出され、かつ当該第１の位置において前記グループが第２の所定回数以上連続して検出に失敗していない場合、前記最も類似するモデルによらずに前記区画線候補が前記車線区画線よりも前記車線の内側に設けられる補助線の位置を表すと判定し、
前記補正部は、前記区画線候補が表す前記補助線の位置と前記車線区画線の位置との差に応じて前記第２の車線形状パラメータを補正する、請求項２に記載の車線検出装置。
【請求項５】
車両に搭載された撮像部により生成された、前記車両の周囲が写った画像上で前記車両が走行中の車線の境界を表す車線区画線の候補となる区画線候補を検出し、
前記区画線候補に基づいて前記車両が走行している車線の形状を表す車線形状パラメータを算出し、
前記区画線候補が表す前記車線区画線の位置を、前記車線の幅を拡大する方向へ変更するか否かにより前記車線の形状を表す複数のモデルを生成し、
前記複数のモデルのうち、過去に前記撮像部により生成された画像から求められた過去の車線形状パラメータにより表された前記車線の形状と最も類似するモデルを特定し、
前記車線形状パラメータを前記特定されたモデルに対応する前記車線の形状を表すように補正する、
ことを含む車線検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、車線を検出する車線検出装置及び車線検出方法に関する。
【背景技術】
【０００２】
車両のドライバの運転を支援するなどの目的で、車両に搭載されたカメラにより車両の周囲を撮影して得られる画像から、車両の周囲にある様々な物体または道路標示などを検出する技術が研究されている。
【０００３】
例えば、車両の周囲が写った画像から、車線境界線、車道中央線または車道外側線といった、車線または車道の境界を表す区画線を検出することで、自車両が走行中の車線を検出する技術が研究されている。その検出結果は、例えば、自車両が走行中の車線からはみ出したことを検知して、ドライバに警告するために利用される。なお、以下では、このような区画線を、便宜上、車線区画線と呼ぶ。
【０００４】
しかし、道路には、車線区画線と平行して、減速を促すための補助線が設けられることがある。このような補助線は、例えば、破線で描画される場合の車線区画線よりも、個々のブロックが短い破線（以下、短破線と呼ぶ）として描画される。補助線が設けられている場合には、道路の延伸方向に沿って複数の平行な線が存在することになる。そこで、そのような複数の線が存在する場合でも、車線区画線を検出できる技術が提案されている（例えば、特許文献１〜３を参照）。
【０００５】
例えば、特許文献１に開示された車両用画像処理装置は、エッジ抽出によって自車の走行する車線の片側に複数の道路区画線候補が検出された場合には、各候補のエッジ周期を比較して最も連続線に近い候補を道路区画線と判定する。
【０００６】
また、特許文献２に開示された車線変位補正システムは、認識された車線位置より算出される認識レーン幅に基づいて、少なくとも一つのレーン幅種を算出するとともに、レーン幅種の出現頻度に応じて主レーン幅を特定する。そしてこの車線変位補正システムは、両側の車線が認識された場合、認識レーン幅と、少なくとも一つのレーン幅種と、主レーン幅とに基づいて、主たる車線と補助車線との位置的関係を判断し、その判断結果に応じて車線位置を補正する。
【０００７】
さらに、特許文献３に開示された道路形状推定装置は、道路の路面を撮影した画像から複数のエッジ線を検出し、それらのエッジ線のうち一つ以上のエッジ線を連結して複合エッジ線を生成する。この道路形状推定装置は、道路の中央に最も近い内側複合エッジ線の情報に基づいて、路面を撮影したカメラの横方向オフセットと道路幅とを含む、道路の道路形状パラメータを求める。そしてこの道路形状推定装置は、内側複合エッジ線と、その内側複合エッジ線の外側に位置する外側複合エッジ線との距離に基づいて補正量を求め、横方向オフセット及び道路幅をその補正量を用いて補正する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−３１０５２２号公報
【特許文献２】特開２００２−１６３６４２号公報
【特許文献３】特開２０１３−１２０４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載の技術では、車線区画線を正確に特定するためには、画像上で車線区画線と補助線とが識別可能であり、かつ、車線区画線と補助線のエッジ周期の違いが識別可能であることが求められる。しかしながら、車両に搭載されるカメラの解像度が不十分な場合、画像上で車線区画線と補助線とが識別できないことがある。特に、車両に搭載されたカメラが広角カメラである場合、車両から離れた領域に対応する、画像上での範囲が小さくなるので、そのような領域に含まれる車線区画線と補助線とを識別することは困難である。
【００１０】
また、補助線は常に設けられるものではないので、補助線が設けられている車線と、補助線が設けられていない車線がある。一方、特許文献２に記載の技術では、レーン幅種の出現頻度を主レーン幅の特定に利用しているため、補助線の有無が切り替わることに対応できない。
【００１１】
さらに、実際の補助線は、摩耗などによってかすれていることがあり、このような場合、道路が写った画像上で補助線の検出が困難となる。また、補助線を形成するブロック同士が近接しているため、画像上で補助線が短破線ではなく実線のように見えることがある。このような場合、特許文献３に記載の技術では、補助線が内側複合線として検出されないことがあり、その結果として、車線区画線の位置が誤認識されるおそれがあった。
【００１２】
一つの側面では、本発明は、車両の周囲を撮影して得られる画像からその車両が走行中の車線を正確に検出できる車線検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
一つの実施形態によれば、車線検出装置が提供される。この車線検出装置は、車両が走行している車線の形状を表す第１の車線形状パラメータを記憶する記憶部と、車両に搭載された撮像部により生成された、車両の周囲が写った画像上で車線の境界を表す車線区画線の候補となる区画線候補を検出する区画線候補検出部と、区画線候補に基づいて車線の形状を表す第２の車線形状パラメータを算出する車線形状パラメータ算出部と、区画線候補が表す車線区画線の位置を、車線の幅を拡大する方向へ変更するか否かにより車線の形状を表す複数のモデルを生成するモデル生成部と、複数のモデルのうち、第１の車線形状パラメータが表す車線の形状と最も類似するモデルを特定するモデル特定部と、第２の車線形状パラメータを特定されたモデルに対応する車線の形状を表すように補正し、補正された第２の車線形状パラメータを第１の車線形状パラメータとして記憶部に記憶する補正部とを有する。
【発明の効果】
【００１４】
車両の周囲を撮影して得られる画像からその車両が走行中の車線を正確に検出できる。
【図面の簡単な説明】
【００１５】
【図１】（ａ）及び（ｂ）は、車線区画線及び補助線を検出することが困難な画像の一例を示す図である。
【図２】車線検出装置の一つの実施形態である運転支援装置が搭載された車両の構成図である。
【図３】一つの実施形態による運転支援装置の概略構成図である。
【図４】制御部の機能ブロック図である。
【図５】カメラにより得られる画像を模式的に示す図である。
【図６】（ａ）は、図５に示された画像から検出されたエッジ画素の一例を示す図であり、（ｂ）は、（ａ）に示されたエッジ画素が連結されたエッジ線の一例を示す図である。
【図７】（ａ）は、領域RR、RLの一例と、抽出されるエッジ線の一例を示す図であり、（ｂ）は、領域RR、RL内でノイズ以外のエッジ線の一例を示す図である。
【図８】図７（ｂ）に示されたエッジ線の例から求められた複合エッジ線の一例を示す図である。
【図９】多重線状態の遷移の一例を表す図である。
【図１０】車線形状を表すパラメータと、画像における車線の見え方のモデルとの関係を示す図である。
【図１１】車線形状のモデルの一例を示す図である。
【図１２】区画線候補判定処理の動作フローチャートである。
【図１３】車線検出処理を含む運転支援処理の動作フローチャートである。
【図１４】上記の各実施形態またはその変形例による車線検出装置の制御部の各部の機能を実現するコンピュータプログラムが動作することにより、車線検出装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１６】
以下、図を参照しつつ、車線検出装置について説明する。最初に、車線を正確に検出することが困難な画像の例について説明する。
【００１７】
図１（ａ）は、かすれた車線区画線及び補助線が写っている画像の一例を示す図である。画像１００では、車両の近傍において、車両が走行している車線の右側の車線区画線１０１及び補助線１０２がかすれており、画像１００上で車両近傍における車線区画線１０１及び補助線１０２の一部を識別することが困難となっている。さらに、車両の遠方では、画像１００上で補助線１０２の各ブロック及びブロック間の間隔が小さくなるために、各ブロックが連結しているように見える。その結果として、補助線１０２が、補助線に特有の短破線であることを識別することが困難となっている。
【００１８】
図１（ｂ）は、補助線のブロック間の間隔が狭いために、画像１１０において補助線１１１の各ブロックが繋がっているように見える。そのため、画像１１０において、補助線１１１が補助線か車線区画線かを正確に識別することが困難となっている。
【００１９】
このように、１枚の画像からは、車線区画線及び補助線を正確に検出することが困難であり、その結果として、車線を検出することが困難なことがある。そこでこの車線検出装置は、最新の画像から車線区画線の候補を検出し、その候補に基づいて車線の形状を表すモデルを複数作成する。そしてこの車線検出装置は、複数のモデルのうち、直前の画像取得時において検出された車線の形状と最も類似するモデルを特定し、特定したモデルで表された車線形状を、最新の画像取得時での車両に搭載されたカメラから見た車線形状とする。
【００２０】
図２は、車線検出装置の一つの実施形態である運転支援装置が搭載された車両の構成図である。
運転支援装置１は、車両１０に搭載され、カメラ２及びディスプレイ３と、ネットワーク４によって互いに接続されている。なお、図２では、説明の都合のため、車両１０の形状、サイズ及び運転支援装置１などの配置は、実際のものとは異なっている。
【００２１】
本実施形態では、運転支援装置１は、カメラ２により車両１０の前方を撮影して得られる画像から車両１０が走行中の車線を検出する。そして運転支援装置１は、車両１０がその車線からはみ出したときに、ディスプレイ３を介してドライバへ警告を発する。なお、運転支援装置１の詳細については後述する。
【００２２】
カメラ２は、撮像部の一例であり、例えば、車両１０の車室内に、車両１０の前方へ向けて配置され、車両１０の前方を表す画像を生成する。そのために、カメラ２は、２次元状に配置された複数の固体撮像素子を有するイメージセンサと、そのイメージセンサ上に車両１０の前方の像を結像する結像光学系を有する。
【００２３】
カメラ２は、例えば、一定の時間間隔（例えば1/30秒）ごとに、車両１０の前方の領域を撮影して、その前方の領域が表された画像を生成する。そしてカメラ２は、画像を生成する度に、その画像を、ネットワーク４を介して運転支援装置１へ送信する。
【００２４】
ディスプレイ３は、表示装置の一例であり、例えば、液晶ディスプレイとすることができる。ディスプレイ３は、車両１０の車室内に表示画面がドライバに向くように配置される。例えば、ディスプレイ３は、インストルメントパネル内に配置される。あるいは、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。そしてディスプレイ３は、運転支援装置１からネットワーク４を介して受信した情報などを表示する。
【００２５】
ネットワーク４は、車両１０に搭載された様々な装置間で通信するためのネットワークであり、例えば、コントロールエリアネットワーク（ＣＡＮ）に準じたネットワークとすることができる。
【００２６】
図３は、運転支援装置１の概略構成図である。運転支援装置１は、記憶部１１と、通信部１２と、制御部１３とを有する。
【００２７】
記憶部１１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部１１は、制御部１３で実行される各種コンピュータプログラム、例えば、車線検出を含む、運転支援処理のコンピュータプログラムを記憶する。さらに、記憶部１１は、運転支援処理で使用される各種のデータを記憶する。さらに、記憶部１１は、カメラ２により生成された画像を一定期間記憶してもよい。
【００２８】
通信部１２は、カメラ２、ディスプレイ３及び車両制御ユニット（図示せず）などとネットワーク４を通じて通信する通信インターフェース及びその制御回路を有する。そして通信部１２は、カメラ２からネットワーク４を介して受け取った画像を制御部１３へわたす。また通信部１２は、制御部１３から受け取った警告メッセージをディスプレイ３へ出力する。さらに、通信部１２は、車両１０の挙動（速度、加速度またはステアリングの回転角など）を検知する各種センサからの情報をネットワーク４を介して受け取って、制御部１３へわたしてもよい。
【００２９】
制御部１３は、一つまたは複数のプロセッサとその周辺回路を有し、車線検出処理を含む運転支援処理を実行する。
【００３０】
図４に、制御部１３の機能ブロック図を示す。図４に示すように、制御部１３は、区画線候補検出部２１と、線種判定部２２と、多重線状態更新部２３と、車線形状パラメータ算出部２４と、モデル生成部２５と、区画線候補判定部２６と、補正部２７と、逸脱判定部２８とを有する。制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、制御部１３が有するこれらの各部は、ファームウェアとして実装されてもよい。あるいはまた、制御部１３が有するこれらの各部は、専用の回路として実装されてもよい。なお、制御部１３が有するこれらの各部のうち、逸脱判定部２８以外の各部が車線検出処理に関連する。
【００３１】
区画線候補検出部２１は、カメラ２から運転支援装置１が画像を受け取る度に、その画像上に写っている車線区画線の候補である区画線候補を検出する。
【００３２】
図５は、カメラ２により得られる画像を模式的に示す図である。図５に示されるように、画像５００では、車線区画線５０１及び補助線５０２は、画像５００の垂直方向に沿っている。そして車線区画線５０１及び補助線５０２は、一般に、白色または黄色で道路上に描画されるので、周囲の路面よりも明るい。そのため、画像５００上で、車線区画線５０１の輪郭及び補助線５０２の輪郭は、画像上で水平方向に輝度差を持つエッジとなる。
【００３３】
そこで、区画線候補検出部２１は、例えば、特開２０１３−１２０４５８号公報に開示されている候補線決定処理と同様の処理を実行することで、区画線候補を検出する。具体的には、区画線候補検出部２１は、画像の各画素に対して、sobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを水平方向のエッジを検出するために適用して、エッジ強度を算出する。そして区画線候補検出部２１は、エッジ強度の絶対値が所定の閾値以上となる画素を、車線区画線または補助線の輪郭に相当する可能性があるエッジ画素として検出する。
【００３４】
エッジ画素が検出されると、区画線候補検出部２１は、各エッジ画素に対してラベリング処理を実行することで、エッジ画素が連続するエッジ線を求める。なお、区画線候補検出部２１は、検出されたエッジ画素の集合に対してハフ変換を適用することでエッジ線を検出してもよい。
【００３５】
図６（ａ）は、図５に示された画像５００から検出されたエッジ画素の一例を示す図であり、図６（ｂ）は、図６（ａ）に示されたエッジ画素が連結されたエッジ線の一例を示す図である。図６（ａ）に示されるように、各エッジ画素６１１は、車線区画線５０１または補助線５０２の輪郭に沿って検出される。そのため、図６（ｂ）に示されるように、各エッジ線６１２は、実線で描画された車線区画線全体、あるいは、破線で描画された車線区画線または補助線の一つのブロックの一辺に相当する線となる。なお、図６（ａ）では、説明の便宜上、個々のエッジ画素６１１が離れているように各エッジ画素６１１は表されているが、実際には、同一のエッジ線となる複数のエッジ画素は互いに隣接している。
【００３６】
区画線候補検出部２１は、検出されたエッジ線のうち、車線区画線または補助線と無関係なエッジ線を削除する。例えば、車両１０よりも右側に位置する車線区画線または補助線についての、車両１０が走行している車線の中央に近い方（以下では、便宜上、内側と呼ぶ）の輪郭では、その輪郭の右側の方が、その輪郭の左側よりも明るい。逆に、車両１０よりも左側に位置する車線区画線または補助線についての、車両１０が走行している車線の中央から遠い方の輪郭では、その輪郭の左側の方が、その輪郭の右側よりも明るい。また、本実施形態では、カメラ２は、車両１０の前方へ向けて取り付けられているので、カメラ２により得られる画像の右半分に、車両１０よりも右側に相当する領域が写り、その画像の左半分に、車両１０よりも左側に相当する領域が写っていると想定される。そこで、画像の右半分内に、車両１０が走行中の車線の右側の車線区画線または補助線が写っていると想定される領域RRが設定される。同様に、画像の左半分内に、車両１０が走行中の車線の左側の車線区画線または補助線が写っていると想定される領域RLが設定される。そして区画線候補検出部２１は、検出されたエッジ線のうち、領域RRに含まれ、かつ、エッジ線の右側に隣接する画素の輝度の平均値がエッジ線の左側に隣接する画素の輝度の平均値よりも高いエッジ線を抽出する。同様に、区画線候補検出部２１は、検出されたエッジ線のうち、領域RLに含まれ、かつ、エッジ線の左側に隣接する画素の輝度の平均値がエッジ線の右側に隣接する画素の輝度の平均値よりも高いエッジ線を抽出する。
【００３７】
エッジ線が車線区画線の輪郭である場合、そのエッジ線は、ある程度の長さを有する。同様に、エッジ線が補助線の輪郭である場合も、そのエッジ線は、ある程度の長さを有する。ただし、補助線は短破線で表されるので、エッジ線が補助線の輪郭である場合には、エッジ線が破線で表された車線区画線である場合よりも短いと想定される。
【００３８】
そこで、区画線候補検出部２１は、抽出したエッジ線のそれぞれについて、実空間での路面に沿った長さを調べ、その長さに応じて、そのエッジ線の種別を実線、破線、短破線、及びノイズの何れかに分類する。そして区画線候補検出部２１は、ノイズと分類された非常に短いエッジ線を除外する。
【００３９】
着目するエッジ線の長さLLは、そのエッジ線の上側端点の画像上での位置を(x1,y1)、下側端点の画像上での位置を(x2,y2)とすると、次式で表される。
【数１】
0006515704.tif 000002
ただし、Hは、路面からカメラ２までの高さを表し、fyは、水平方向及び垂直方向の画素サイズを考慮した、垂直方向に関するカメラ２の焦点距離を表す。また、pは、路面に対するカメラ２のピッチ角を表す。そして(cx,cy)は、画像の中心、すなわち、カメラ２の光軸方向に相当する画像上の画素の座標を表す。
【００４０】
区画線候補検出部２１は、抽出された各エッジ線について、そのエッジ線の長さLLに基づいて、例えば、以下のようにそのエッジ線を分類する。
長さLLが長実線長ThL1以上である場合：エッジ線種別＝長実線
長さLLが長実線長ThL1未満、かつ、実線長ThL2以上である場合：エッジ線種別＝実線
長さLLが実線長ThL2未満、かつ、破線長ThL3以上である場合：エッジ線種別＝破線
長さLLが破線長ThL3未満、かつ、短破線長ThL4以上である場合：エッジ線種別＝短破線
長さLLが短破線長ThL4未満である場合：エッジ線種別＝ノイズ
なお、ThL1〜ThL4はあらかじめ定められた閾値である。ThL1及びThL2は、車線区画線が破線で表される場合の一つのブロックの長さよりも長い値に設定される。また、ThL3は、車線区画線が破線で表される場合の一つのブロックの長さよりも短い値に設定される。例えば、ThL1=20m、ThL2=5.5m、ThL3=3.6m、ThL4=1mに設定される。なおエッジ線種別は、そのエッジが表す車線区画線または補助線に含まれる一つのブロックの長さに対応する。
【００４１】
図７（ａ）は、領域RR、RLの一例と、抽出されるエッジ線の一例を示す図である。また図７（ｂ）は、領域RR、RL内でノイズ以外のエッジ線の一例を示す図である。図７（ａ）に示されるように、画像７００の右半分において、車両１０の進行方向と略平行、かつ、車両１０よりも右側に相当する領域を含むように、領域RRが設定される。同様に、画像７００の左半分において、車両１０の進行方向と略平行、かつ、車両１０よりも左側に相当する領域を含むように、領域RLが設定される。そして検出されたエッジ線のうち、領域RRまたは領域RLに含まれるエッジ線７０１が抽出される。
【００４２】
また、図７（ｂ）に示されるように、画像７００において、領域RRまたはRLに含まれるエッジ線のうち、エッジ線種別がノイズでなく、かつ、そのエッジ線の内側よりも外側の輝度の方が高いエッジ線７０２が抽出される。
【００４３】
区画線候補検出部２１は、領域RR及びRLのそれぞれについて、抽出されたエッジ線を、同一の車線区画線または補助線に対応するように、車両１０の進行方向に沿って一列に整列しているエッジ線ごとにグループ化する。そして区画線候補検出部２１は、エッジ線のグループを、それぞれ、複合エッジ線とする。
【００４４】
本実施形態では、区画線候補検出部２１は、領域RR及びRLについて同様の処理を実行するので、以下では、領域RRについて行われる処理について説明する。区画線候補検出部２１は、領域RR内に含まれるエッジ線のうちの何れかを最初に着目するエッジ線とする。その際、区画線候補検出部２１は、下端が最も下側に位置するエッジ線、すなわち、車両１０に最も近いエッジ線を最初に着目するエッジ線とすることが好ましい。画像上では、車両１０に近い位置ほど大きく写るので、画像の下端に近いエッジ線ほど、車線区画線または補助線を正確に表している可能性が高いためである。
【００４５】
区画線候補検出部２１は、領域RR内のグループ化されていない他のエッジ線のそれぞれについて、そのエッジ線の下端側の端点と着目するエッジ線の上端側の端点間の路面上の奥行方向の距離差DZ及び奥行方向と直交する方向の距離差DXを算出する。例えば、区画線候補検出部２１は、次式に従って、距離差DZ及びDXを算出する。
【数２】
0006515704.tif 000003
ここで、cは、車線の曲率を表す。また、fxは、水平方向及び垂直方向の画素サイズを考慮した、水平方向に関するカメラ２の焦点距離を表す。
【００４６】
区画線候補検出部２１は、距離差DZが閾値ThDZ以下であり、かつ、距離差DXが閾値ThDX以下となるエッジ線を特定する。区画線候補検出部２１は、特定したエッジ線のエッジ線種別と着目するエッジ線のエッジ線種別が同一であるか、また、着目するエッジ線のエッジ線種別が短破線である場合、その特定したエッジ線を着目するエッジ線と同じグループに含める。そして区画線候補検出部２１は、その特定したエッジ線を次の着目するエッジ線とする。なお、閾値ThDZは、例えば、6mに設定され、閾値ThDXは、例えば、10cmに設定される。一方、区画線候補検出部２１は、着目するエッジ線と同じグループに他のエッジ線を含める上記の条件を満たすエッジ線が無ければ、着目するエッジ線を含むグループを一つの複合エッジ線とする。そして区画線候補検出部２１は、何れの複合エッジ線にも含まれていない他のエッジ線のなかの一つを次に着目するエッジ線とする。例えば、区画線候補検出部２１は、何れのグループにも分類されていない他のエッジ線のうち、下端が最も下側に位置するエッジ線を次に着目するエッジ線とする。そして区画線候補検出部２１は、その着目するエッジ線を含むグループを新たに作成して、上記と同様のグループ化処理を実行する。
【００４７】
区画線候補検出部２１は、何れのグループにも分類されていないエッジ線がなくなるまで、上記のグループ化処理を繰り返すことで、一以上の複合エッジ線を求める。また、区画線候補検出部２１は、各複合エッジ線について、その複合エッジ線に含まれるエッジ線のうちの最も長いエッジ線のエッジ線種別を、その複合エッジ線のエッジ線種別とする。あるいは、区画線候補検出部２１は、複合エッジ線に含まれるエッジ線のうちの最も下側、すなわち、車両１０に最も近いエッジ線のエッジ線種別を、その複合エッジ線のエッジ線種別としてもよい。
【００４８】
図８は、図７（ｂ）に示されたエッジ線の例から求められた複合エッジ線の一例を示す図である。この例では、領域RR内に二つの複合エッジ線８０１、８０２が求められる。また、領域RL内にも、二つの複合エッジ線８０３、８０４が求められる。
【００４９】
複合エッジ線が求められると、区画線候補検出部２１は、領域RR及びRLのそれぞれについて、最も内側に位置する複合エッジ線を、車線形状の推定に用いる区画線候補とする。例えば、図８に示された例では、複合エッジ線８０１と複合エッジ線８０３が区画線候補となる。区画線候補検出部２１は、例えば、領域RR及びRLのそれぞれについて、その領域内の各複合エッジ線について、その複合エッジ線内の最も下側のエッジ線の下端についての車両１０の進行方向と直交する方向（以下、水平方向と呼ぶ）の実空間での座標を算出する。そして区画線候補検出部２１は、領域RR及びRLのそれぞれについて、その座標が車両１０の中心に最も近い複合エッジ線を区画線候補とする。これにより、車両１０が走行中の車線についての車線区画線の外側に、隣接する車線の補助線が設けられている場合でも、その補助線が区画線候補に設定されることが抑制される。そのため、その隣接車線の補助線により車線の幅を誤認識することが抑制される。なお、複合エッジ線内で最も下側のエッジ線の下端の画像上の座標を(xs,ys)とすると、その下端の水平方向の実空間での座標Xsは、次式に従って算出される。
【数３】
0006515704.tif 000004
ただし、領域RR、すなわち、車両１０の右側の複合エッジ線についてはk=1であり、領域RL、すなわち、車両１０の左側の複合エッジ線についてはk=-1である。
【００５０】
上記のように、車両１０の右側と左側のそれぞれについて、複合エッジ線のうちの最も内側の複合エッジ線が区画線候補に設定される。一方、道路上に、車線区画線と別個に、減速標示といった補助線が設けられる場合、車線区画線よりも内側に補助線が存在する。そのため、画像において車線区画線と補助線の両方が識別可能に写っている場合、区画線候補よりも外側の複合エッジ線が本当の車線区画線を表していると想定される。
【００５１】
そこで、区画線候補検出部２１は、領域RR及びRLのそれぞれについて、区画線候補よりも、水平方向に沿って外側に、実空間で車線区画線または補助線一本分に相当する探索範囲を設定する。探索範囲[Xmin,Xmax]は、例えば、次式に従って設定される。
【数４】
0006515704.tif 000005
ここで、Mmin、Mmaxは、例えば、10cm、50cmに設定される。
【００５２】
区画線候補検出部２１は、車両１０の右側、すなわち、領域RRについて、その複合エッジ線に含まれる最も下側のエッジ線の下端の水平方向の座標が探索範囲に含まれる、区画線候補以外の複合エッジ線を抽出する。そして区画線候補検出部２１は、抽出した複合エッジ線のうちで、その下端の奥行方向の座標が最も車両１０に近い複合エッジ線を特定する。特定された複合エッジ線は、車線区画線の内側の輪郭を表している可能性が高い。そのため、区画線候補検出部２１は、特定した複合エッジ線を主区画線として、記憶部１１に記憶する。また、区画線候補検出部２１は、区画線候補に含まれる最も下側のエッジ線の下端の水平方向の座標と主区画線に含まれる最も下側のエッジ線の下端の水平方向の座標の差を補正量DXRとして記憶部１１に記憶する。さらに、区画線候補検出部２１は、主区画線の検出回数CSFRを１インクリメントするとともに、主区画線の検出に連続して失敗した数を表す主区画線ロスト回数CSRRを0にリセットする。なお、複合エッジ線に含まれる最も下側のエッジ線の下端の水平方向の座標が探索範囲内となる複合エッジ線が存在しない場合には、区画線候補検出部２１は、主区画線は無いと判断する。そして区画線候補検出部２１は、主区画線の検出に連続して失敗した数を表す主区画線ロスト回数CSRRを1インクリメントする。区画線候補検出部２１は、主区画線の検出回数CSFR及び主区画線ロスト回数CSRRを記憶部１１に記憶する。
【００５３】
区画線候補検出部２１は、車両１０の左側、すなわち、領域RLについても、同様に主区画線を特定する。そして区画線候補検出部２１は、車両１０の左側についての補正量DXL、主区画線の検出回数CSFL及び主区画線ロスト回数CSRLをそれぞれ更新し、記憶部１１に記憶する。
【００５４】
線種判定部２２は、車両１０の左右の区画線候補のそれぞれについて、その区画線候補の標示線種別を判定する。標示線種別は、区画線候補が検出された画像からの情報に基づく判定により、区画線候補が補助線か否かを表すものであり、区画線候補が車線区画線か補助線かの最終的な判断結果を表すものではない。標示線種別は、多重線状態の更新に利用される。本実施形態では、線種判定部２２は、着目する区画線候補の線種が短破線であり、かつ、その区画線候補に含まれるエッジ線の数Nが2以上である場合、着目する区画線候補の標示線種別は補助線であると判定する。また、線種判定部２２は、それ以外の場合、着目する区画候補線の標示線種別は通常線であると判定する。そして線種判定部２２は、各区画線候補について、その区画線候補が補助線か通常線かの判定結果を表すフラグを記憶部１１に記憶する。
【００５５】
表１は、区画線候補のエッジ線種別と区画線候補に含まれるエッジ線の数の組合せと、標示線種別との対応関係を示すテーブルである。
【表１】
0006515704.tif 000006
【００５６】
多重線状態更新部２３は、カメラ２から画像が得られる度に、車両１０の左右のそれぞれについて、車線区画線及び補助線の検出状態を表す多重線状態を更新する。
【００５７】
一般に、補助線は、ある程度の長さを持つ区間にわたって設けられるので、そのような区間を車両１０が走行している場合、連続して得られる複数の画像にわたって補助線が写ることが想定される。このような場合、理想的には、車両１０の左右のそれぞれについて、車線区画線と補助線とがカメラ２により撮影された画像に写るので、領域RR及びRLのそれぞれにおいて、複数の複合エッジ線が存在する、すなわち、画像から、多重線が検出される。しかし、実際には、摩耗などにより、補助線がかすれていることがある。このような場合には、車両１０が補助線が設けられた区間を走行していても、補助線が写った複数の画像の間に、補助線が写らない画像が得られることがある。そのため、直前までの画像において補助線が検出されており、かつ、最新の画像において補助線が検出されなかったとしても、実際に補助線が設けられた区間が終了したとは限らない。そこで、多重線状態更新部２３は、直近の１枚以上の画像における補助線の検出結果と、最新の画像における補助線の検出結果とに応じて、時系列的に多重線の検出状態の変化を記録できるように多重線状態を更新する。なお、以下では、車両１０の右側についての多重線状態の更新について説明するが、多重線状態更新部２３は、車両１０の左側についても同様の処理を行って多重線状態を更新する。
【００５８】
図９は、多重線状態の遷移の一例を表す図である。図９に示されるように、本実施形態では、多重線状態として、４種類の状態９０１〜９０４が定義される。状態９０１（多重線無し）は、多重線が無い状態を表す。状態９０２（発見）は、多重線が検出された状態を表す。また、状態９０３（安定）は、多重線が安定的に検出されている状態を表す。そして状態９０４（ロスト）は、一旦検出された多重線を検出し損ねた状態を表す。各状態から遷移可能な状態及び遷移する条件は予め定められている。例えば、状態９０１（多重線無し）からは状態９０２（発見）へ遷移可能となっている。また、状態９０２（発見）からは状態９０１（多重線無し）または状態９０３（安定）へ遷移可能となっている。同様に、状態９０３（安定）からは、状態９０２（発見）または状態９０４（ロスト）へ遷移可能となっている。そして状態９０４（ロスト）からは、状態９０１（多重線無し）へ遷移可能となっている。
【００５９】
状態９０１から状態９０２へ遷移する条件は、最新の画像において検出された区画線候補の標示線種別が補助線であることである。一方、状態９０１において、最新の画像において検出された区画線候補の標示線種別が通常線である場合、状態９０１が維持される。
【００６０】
また、状態９０２から状態９０１へ遷移する条件は、最新の画像において検出された区画線候補の標示線種別が通常線であることである。一方、状態９０２から状態９０３へ遷移する条件は、最新の画像において検出された区画線候補の標示線種別が補助線であり、かつ、その画像の時点での主区画線の検出回数CSFRが所定の回数閾値ThN1以上となることである。なお、回数閾値ThN1は、例えば、1〜5に設定される。これらの条件が満たされない場合、すなわち、最新の画像において検出された区画線候補の標示線種別が補助線であり、かつ、その画像の時点での主区画線の検出回数CSFRが回数閾値ThN1未満か主区画線が検出されていない場合、状態９０２が維持される。
【００６１】
また、状態９０３から状態９０２へ遷移する条件は、最新の画像において検出された区画線候補の標示線種別が補助線であり、かつ、主区画線ロスト回数CSRRが所定の閾値ThN2以上となることである。なお、閾値ThN2は、例えば、20〜60に設定される。一方、状態９０３から状態９０４へ遷移する条件は、最新の画像において検出された区画線候補の標示線種別が通常線であることである。これらの条件が満たされない場合、すなわち、最新の画像において検出された区画線候補の標示線種別が補助線であり、かつ、主区画線ロスト回数CSRRが閾値ThN2未満である場合、状態９０３が維持される。
【００６２】
さらに、状態９０４から状態９０３へ遷移する条件は、最新の画像において検出された区画線候補の標示線種別が補助線であることである。一方、状態９０４から状態９０１へ遷移する条件は、状態９０４が維持された回数が所定回数以上連続することである。なお、所定回数は、例えば、5〜15に設定される。状態９０４から状態９０１へ遷移する場合、多重線状態更新部２３は、検出回数CSFRを0にリセットする。これらの条件が満たされない場合、すなわち、最新の画像において検出された区画線候補の標示線種別が通常線であり、かつ、状態９０４が維持された回数が所定回数未満である場合、状態９０４が維持される。そして状態９０４が維持された回数が1インクリメントされる。
【００６３】
多重線状態更新部２３は、制御部１３がカメラ２から画像を取得する度に、その画像から検出された区画線候補の標示線種別などと直前の多重線状態とに基づき、図９に示された遷移図に従って、車両１０の左右それぞれについて、多重線状態を更新する。そして多重線状態更新部２３は、車両１０の左右それぞれについて、更新された多重線状態を表す情報を記憶部１１に記憶する。
【００６４】
車線形状パラメータ算出部２４は、制御部１３がカメラ２から画像を取得する度に、その画像について求められた区画線候補に基づいて、車両１０が走行している車線の形状を表す車線形状パラメータを算出する。
【００６５】
本実施形態では、車線形状パラメータ算出部２４は、車線形状を表すパラメータとして、車線幅W、道路曲率c、カメラ２から車両１０が走行中の車線の中心までの距離（以下、中心距離と呼ぶ）e、カメラ２の方位角t、及び、カメラ２の俯角pを算出する。
【００６６】
図１０は、車線形状を表すパラメータと、画像における車線の見え方のモデルとの関係を示す図である。図１０に示されるように、曲率半径R(=1/c)を持ち、幅Wの車線１０００が、路面からの高さH、車線１０００の中央からの距離eの位置にある原点Ｏに設けられ、方位角t及び俯角pの方向を向いたカメラ２により撮影された画像１００１に写っているとする。なお、図１０において、カメラ２の光軸方向がZcで表される。この場合、推定の対象となる道路上の区画線候補に対応する線と、画像上での位置(xi,yi)との関係を表すモデル式は、例えば次式で与えられる。
【数５】
0006515704.tif 000007
ただし、画像１００１の座標系では、水平座標xについて右向きを正とし、かつ、垂直座標ｙについて下向きを正とする。そして画像１００１の左上端画素を原点(0,0)とする。また、（５）式において、パラメータkは、車両１０の右側か左側かを表すパラメータであり、左側であればk=-1、右側であればk=1とする。
【００６７】
（５）式は非線形であるため、まず、車線形状パラメータ算出部２４は、車線形状のパラメータ(W,c,e,t,p)で（５）式を線形近似する。この線形近似式は次式で表される。
【数６】
0006515704.tif 000008
ここで、siは、(xi,yi)についての残差であり、(W0,c0,e0,t0,p0)は、それぞれ、(W,c,e,t,p)の初期値である。この初期値は、例えば、直前の画像取得時における車線形状のパラメータ値とすることができる。
【００６８】
車線形状パラメータ算出部２４は、得られた線形近似式に、各区画線候補に含まれる各エッジ線上のエッジ画素の座標(xLi,yLi)、(xRi,yRi)を代入して、最小二乗法でパラメータ解を求める。そして車線形状パラメータ算出部２４は、パラメータ解を次の初期値として同様にパラメータ解を求めるように、各パラメータについてのパラメータ解と初期値の差の絶対値である偏差(ΔW,Δc,Δe,Δt,Δp)が閾値以下になるまで処理を繰り返す。そして車線形状パラメータ算出部２４は、偏差(ΔW,Δc,Δe,Δt,Δp)が閾値以下となったときのパラメータ値(Wr,cr,er,tr,pr)を、車線形状のパラメータ(W,c,e,t,p)とする。
【００６９】
車線形状パラメータ算出部２４は、特開２０１３−１２０４５８号公報に開示されている道路状推定処理の手順と同様の手順を実行することで、この繰り返し演算を実行でき、車線形状のパラメータ(W,c,e,t,p)を求めることができる。あるいは、車線形状パラメータ算出部２４は、（５）式または（６）式に対して他の勾配法またはシミュレーティッドアニーリングといった他の最適化手法を適用することで、車線形状のパラメータ(W,c,e,t,p)を求めてもよい。車線形状パラメータ算出部２４は、車線形状のパラメータ(W,c,e,t,p)を記憶部１１に記憶する。
【００７０】
モデル生成部２５は、最新の画像について得られた車線形状のパラメータ(W,c,e,t,p)と補正量とに基づいて、区画線候補が表す車線区画線の位置を、車線の幅を拡大する方向へ変更するか否かにより車線の幅を車線形状を表すモデルを複数生成する。
【００７１】
図１１は、車線形状のモデルの一例を示す図である。本実施形態では、４種類のモデル１１０１〜１１０４が想定される。モデル１１０１は、左右の区画線候補１１１１、１１１２がともに車線区画線を表している場合に対応する。そのため、モデル１１０１では、左右の区画線候補がそれぞれ車線区画線とされる。
【００７２】
モデル１１０２は、車両１０の右側の区画線候補１１１２は車線区画線を表しているものの、車両１０の左側の区画線候補１１１１は補助線を表している場合に対応する。そのため、モデル１１０２では、車両１０の右側については区画線候補１１１２がそのまま車線区画線とされ、一方、車両１０の左側については、区画線候補１１１１から、車両１０の左側についての補正量だけ外側へ移動させた線１１２１が車線区画線とされる。
【００７３】
モデル１１０３は、車両１０の左側の区画線候補１１１１は車線区画線を表しているものの、車両１０の右側の区画線候補１１１２は補助線を表している場合に対応する。そのため、モデル１１０３では、車両１０の左側については区画線候補１１１１がそのまま車線区画線とされ、一方、車両１０の右側については、区画線候補１１１２から、車両１０の右側についての補正量だけ外側へ移動させた線１１２２が車線区画線とされる。
【００７４】
モデル１１０４は、左右の区画線候補１１１１、１１１２がともに補助線を表している場合に対応する。そのため、モデル１１０４では、車両１０の左右それぞれについて、区画線候補１１１１、１１１２から、車両１０の左側または右側についての補正量だけ外側へ移動させた線１１２１、１１２２が車線区画線とされる。
【００７５】
モデル生成部２５は、各モデルの車線形状のパラメータ(Wp(k),cp(k),ep(k),tp(k),pp(k))に、最新の画像について求められた車線形状のパラメータ(W,c,e,t,p)を代入する。なお、インデックスkは、モデルの種別を表すパラメータであり、k=1である場合、その車線形状のパラメータは、モデル１１０１（左右とも車線幅の拡大無し）を表す。同様に、k=2である場合、その車線形状のパラメータは、モデル１１０２（左側について車線幅を拡大）を表す。また、k=3である場合、その車線形状のパラメータは、モデル１１０３（右側について車線幅を拡大）を表す。そしてk=4である場合、その車線形状のパラメータは、モデル１１０４（左右とも車線幅を拡大）を表す。
【００７６】
モデル生成部２５は、モデル１１０２を作成するために、車線形状のパラメータ(Wp(2),cp(2),ep(2),tp(2),pp(2))のうち、車線幅Wp(2)及び中心距離ep(2)を次式に従って補正する。
【数７】
0006515704.tif 000009
ここで、LLは、車両１０の左側についての補正量である。
【００７７】
同様に、モデル生成部２５は、モデル１１０３を作成するために、車線形状のパラメータ(Wp(3),cp(3),ep(3),tp(3),pp(3))のうち、車線幅Wp(3)及び中心距離ep(3)を次式に従って補正する。
【数８】
0006515704.tif 000010
ここで、LRは、車両１０の左側についての補正量である。
【００７８】
また、モデル生成部２５は、モデル１１０４を作成するために、車線形状のパラメータ(Wp(4),cp(4),ep(4),tp(4),pp(4))のうち、車線幅Wp(4)及び中心距離ep(4)を次式に従って補正する。
【数９】
0006515704.tif 000011
【００７９】
なお、モデル生成部２５は、車両１０の右側についての補正量LRを、車両１０の右側についての多重線状態が「安定」または「ロスト」である場合には、その時点で記憶部１１に記憶されている補正量DXRとする。一方、車両１０の右側についての多重線状態が「発見」である場合には、モデル生成部２５は、補正量LRを予め設定されたオフセット値とする。同様に、モデル生成部２５は、車両１０の左側についての補正量LLを、車両１０の左側についての多重線状態が「安定」または「ロスト」である場合には、その時点で記憶部１１に記憶されている補正量DXLとする。一方、車両１０の左側についての多重線状態が「発見」である場合には、モデル生成部２５は、補正量LLを、予め設定されたオフセット値とする。このオフセット値は、例えば、補助線と車線区画線間の水平方向の位置の差の一般的な値、例えば、45cmに設定される。
【００８０】
モデル生成部２５は、各車線形状のモデルの車線形状パラメータを記憶部１１に記憶する。
【００８１】
区画線候補判定部２６は、車両１０の左右のそれぞれについて、最新の画像に基づいて求められた区画線候補のエッジ線種別と多重線状態とに基づいて区画線候補が車線区画線か補助線かを判定する。また、区画線候補判定部２６は、区画線候補のエッジ線種別と多重線状態とからは区画線候補が車線区画線か補助線かを判定できない場合、各車線形状のモデルのうち、直前の画像取得時における車線形状と最も類似するモデルを特定する。そして区画線候補判定部２６は、特定したモデルに基づいて区画線候補が車線区画線か補助線かを判定する。なお、区画線候補判定部２６は、モデル特定部の一例である。
【００８２】
図１２は、区画線候補判定部２６により実行される区画線候補判定処理の動作フローチャートである。区画線候補判定部２６は、カメラ２から制御部１３が画像を取得する度に、この動作フローチャートに従って左右の車線区画線を判定する。なお、この動作フローチャートでは、車両１０の右側の車線区画線の判定について説明するが、区画線候補判定部２６は、車両１０の左側についても同様の動作フローチャートに従って車線区画線を判定すればよい。その際には、以下の動作フローチャートにおける「右」は、「左」と読み替えられる。
【００８３】
区画線候補判定部２６は、区画線候補のエッジ線種別が長実線か否か判定する（ステップＳ１０１）。区画線候補のエッジ線種別が長実線であれば（ステップＳ１０１−Ｙｅｓ）、補助線にはそのような長い実線は無いので、区画線候補が車線区画線を表していると想定される。そこで区画線候補判定部２６は、区画線候補を車線区画線と判定する（ステップＳ１０２）。これにより、区画線候補判定部２は、車線区画線の位置を正確に推定できる。
【００８４】
一方、区画線候補のエッジ線種別が長実線でない場合（ステップＳ１０１−Ｎｏ）、区画線候補判定部２６は、区画線候補のエッジ線種別が短破線か否か判定する（ステップＳ１０３）。区画線候補のエッジ線種別が短破線である場合（ステップＳ１０３−Ｙｅｓ）、区画線候補判定部２６は、現時点における、車両１０の右側の多重線状態が「安定」か否か判定する（ステップＳ１０４）。多重線状態が「安定」である場合（ステップＳ１０４−Ｙｅｓ）、時系列的に連続して車両１０の右側に多重線が検出されているので、短破線である区画線候補は、車線区画線の内側の補助線を表していると想定される。そこで区画線候補判定部２６は、区画線候補を、車線区画線の内側に設けられた補助線と判定する（ステップＳ１０５）。これにより、区画線候補判定部２は、車線区画線の位置を正確に推定できる。
【００８５】
一方、多重線状態が「安定」でない場合（ステップＳ１０４−Ｎｏ）、区画線候補が短破線になっているのは、車線区画線がかすれていることに起因している可能性もある。また、ステップＳ１０３にて区画線候補のエッジ線種別が短破線でない場合も（ステップＳ１０３−Ｎｏ）、区画線候補判定部２６は、区画線候補のエッジ線種別からは、区画線候補が車線区画線か補助線かを特定できない。そこで区画線候補判定部２６は、前回の画像取得時における車線形状と、各車線形状のモデルとを比較する。そして区画線候補判定部２６は、各車線形状のモデルのうち、前回の画像取得時における車線形状に最も類似するモデルを特定する（ステップＳ１０６）。
【００８６】
区画線候補判定部２６は、前回の画像取得時における車線形状と最も類似するモデルが、右側について車線幅を拡大するモデル（図１１におけるモデル１１０３または１１０４）の何れか否か判定する（ステップＳ１０７）。前回の画像取得時における車線形状と最も類似するモデルが、右側について車線幅を拡大するモデルの何れかである場合（ステップＳ１０７−Ｙｅｓ）、区画線候補判定部２６は、区画線候補を車線区画線の内側に設けられた補助線と判定する（ステップＳ１０５）。
一方、前回の画像取得時における車線形状と最も類似するモデルが、右側について車線幅を拡大するモデルでない場合（ステップＳ１０７−Ｎｏ）、区画線候補判定部２６は、区画線候補を車線区画線と判定する（ステップＳ１０２）。
ステップＳ１０２またはＳ１０５の後、区画線候補判定部２６は、区画線候補判定処理を終了する。
【００８７】
なお、ステップＳ１０６において、区画線候補判定部２６は、例えば、前回の画像取得時における車線形状と各モデル間の類似度を、車両１０の左右の車線区画線の水平方向の誤差の和dfとして、次式に従って算出する。そして区画線候補判定部２６は、誤差の和dfが最小となるモデルを、前回の画像取得時における車線形状と最も類似するモデルとする。
【数１０】
0006515704.tif 000012
ここで、Wb、ebは、それぞれ、前回の画像取得時における車線幅及び中心距離である。
【００８８】
区画線候補判定部２６は、車両１０の左右のそれぞれについて、区画線候補の判定結果を補正部２７へ通知する。
【００８９】
補正部２７は、車両１０の左右のそれぞれについての区画線候補の判定結果に基づいて、最新の画像について得られた車線形状のパラメータ(W,c,e,t,p)のうち、車線幅W及び中心距離eを補正することで、車両１０の左右の車線区画線の位置をもとめる。これにより、補正された車線形状のパラメータ(W,c,e,t,p)が、最新の画像取得時における、カメラ２から見た車両１０が走行中の車線の形状を表すことができる。
【００９０】
補正部２７は、車両１０の左側の区画線候補が車線区画線を表している場合、左補正量KLを記憶部１１に記憶されている補正量DXLとする。一方、車両１０の左側の区画線候補が補助線を表している場合、左補正量KLを0とする。同様に、補正部２７は、車両１０の右側の区画線候補が車線区画線を表している場合、右補正量KRを記憶部１１に記憶されている補正量DXRとする。一方、車両１０の右側の区画線候補が補助線を表している場合、右補正量KRを0とする。
【００９１】
補正部２７は、次式に従って、車線幅W及び中心距離eを補正する。
【数１１】
0006515704.tif 000013
補正部２７は、補正後の車線幅W及び中心距離eを記憶部１１に記憶する。
【００９２】
逸脱判定部２８は、算出された車線形状のパラメータに基づいて、車両１０が車線から逸脱したか否かを判定する。例えば、逸脱判定部２８は、(W/2-|e|)が車両１０の横幅の1/2以下となった場合に、車両１０が車線から逸脱したと判定する。そして逸脱判定部２８は、車両１０が車線をはみ出しているか、あるいは車線をはみ出す可能性が有る場合、ディスプレイ３へ、その旨の警告メッセージを表示させる。あるいは、車両１０の車室内にスピーカ（図示せず）が配置されている場合、逸脱判定部２８は、スピーカに警報音を出力させてもよい。
【００９３】
図１３は、制御部１３により実行される、車線検出処理を含む運転支援処理の動作フローチャートである。制御部１３は、運転支援装置１がカメラ２から画像を受け取る度に、下記の動作フローチャートにしたがって運転支援処理を実行する。なお、下記のステップＳ２０１〜Ｓ２０９のうちのステップＳ２０１〜Ｓ２０８が車線検出処理に対応する。
【００９４】
区画線候補検出部２１は、画像上で、車両１０の左右の区画線候補を検出する（ステップＳ２０１）。さらに、区画線候補検出部２１は、区画線候補の外側に主区画線が存在するか否かを判定し、その判定結果に応じて、主区画線の検出回数(CSFR, CSFL)、主区画線ロスト回数(CSRR, CSRL)及び補正量(DXR,DXL)を更新する（ステップＳ２０２）。
【００９５】
線種判定部２２は、車両１０の左右の区画線候補のそれぞれについて、その区画線候補の標示線種別を判定する（ステップＳ２０３）。そして多重線状態更新部２３は、車両１０の左右のそれぞれについて、各区画線候補の標示線種別、主区画線の検出回数及び主区画線ロスト回数などに基づいて多重線状態を更新する（ステップＳ２０４）。
【００９６】
また、車線形状パラメータ算出部２４は、車両１０の左右の区画線候補に基づいて、車両１０が走行している道路の形状を表す車線形状パラメータ(W,c,e,t,p)を算出する（ステップＳ２０５）。そしてモデル生成部２５は、車線形状のパラメータ(W,c,e,t,p)と、車両１０の左右それぞれの多重線状態と、補正量とに基づいて、車線形状のモデルを複数生成する（ステップＳ２０６）。
【００９７】
区画線候補判定部２６は、車両１０の左右の区画線候補のエッジ線種別、多重線状態、各車線形状のモデル、及び直前の車線形状に基づいて、車両１０の左右の区画線候補が車線区画線及び補助線の何れかを表しているかを判定する（ステップＳ２０７）。そして補正部２７は、その判定結果に基づいて、車線形状のパラメータ(W,c,e,t,p)のうちの車線幅W及び中心距離eを補正する（ステップＳ２０８）。
【００９８】
逸脱判定部２８は、補正後の車線幅W及び中心距離eに基づいて、車両１０が走行中の車線から逸脱したか否かを判定し、その判定結果に応じた警告処理を実行する（ステップＳ２０９）。その後、制御部１３は、運転支援処理を終了する。
【００９９】
以上に説明してきたように、車線検出装置の一例である運転支援装置は、最新の画像から検出された区画線候補に基づいて、車線形状を表すモデルを複数生成する。そしてこの運転支援装置は、各モデルのうち、直前の画像取得時における車線形状に最も類似するモデルを特定し、そのモデルに基づいて、区画線候補の位置を必要に応じて補正することで、車線区画線の位置を求める。これにより、この運転支援装置は、車線区画線または補助線がかすれていたり、画像上で識別困難となる場合でも、車線を正確に検出できる。
【０１００】
上述した実施形態またはその変形例による車線検出装置は、運転支援装置に限定されず、様々な用途に利用される。例えば、車線検出装置は、ドライブレコーダにより記録された動画像を解析して、その動画像中に含まれる各画像に写っている車線を識別するといった用途に適用されてもよい。なお、この場合には、逸脱判定部については省略されてもよい。また、このような用途に適用される場合には、車両に搭載されるカメラは、車両の後方を向けて設置されていてもよい。また、車線検出装置は、例えば、そのような動画像の解析に利用されるコンピュータとして実現されてもよい。
【０１０１】
図１４は、上記の各実施形態またはその変形例による車線検出装置の制御部の各部の機能を実現するコンピュータプログラムが動作することにより、車線検出装置として動作するコンピュータの構成図である。
【０１０２】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１０３】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、ユーザの操作に応じて、車線検出処理の対象となる動画像を選択したり、あるいは、車線検出処理を開始させる操作信号をプロセッサ１０５へ出力する。
【０１０４】
通信インターフェース部１０２は、コンピュータ１００を、ドライブレコーダなどの動画像入力装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、High-Definition Multimedia Interface(HDMI)（登録商標）、またはUniversal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
【０１０５】
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、車線検出処理の対象となる動画像を取得し、その動画像をプロセッサ１０５へ渡す。
【０１０６】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、車線検出処理を実行するためのコンピュータプログラム、車線検出処理の対象となる動画像などを記憶する。
【０１０７】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、車線検出処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、車線検出処理の対象となる動画像を記憶媒体１０６から読み込んでもよい。
【０１０８】
プロセッサ１０５は、上記の各実施形態の何れかまたは変形例による車線検出処理用コンピュータプログラムを実行することにより、動画像に含まれる画像ごとに車線を検出する。そしてプロセッサ１０５は、その検出結果を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【０１０９】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【０１１０】
１    運転支援装置（車線検出装置）
２    カメラ
３    ディスプレイ
４    ネットワーク
１０    車両
１１    記憶部
１２    通信部
１３    制御部
２１    区画線候補検出部
２２    線種判定部
２３    多重線状態更新部
２４    車線形状パラメータ算出部
２５    モデル生成部
２６    区画線候補判定部
２７    補正部
２８    逸脱判定部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
0006515704.tif 000014
【図２】
0006515704.tif 000015
【図３】
0006515704.tif 000016
【図４】
0006515704.tif 000017
【図５】
0006515704.tif 000018
【図６】
0006515704.tif 000019
【図７】
0006515704.tif 000020
【図８】
0006515704.tif 000021
【図９】
0006515704.tif 000022
【図１０】
0006515704.tif 000023
【図１１】
0006515704.tif 000024
【図１２】
0006515704.tif 000025
【図１３】
0006515704.tif 000026
【図１４】
0006515704.tif 000027