(57)【特許請求の範囲】
【請求項１】
車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と前記道路の路面との境界線を認識する道路境界線認識装置であって、
前記道路を走行中の前記車両の前方における第ｎ１時点の第ｎ１撮像画像について前記境界線の候補である実境界線候補を抽出する実境界線候補抽出部と、
前記第ｎ１撮像画像の前記実境界線候補に重複せずに沿った仮想境界線候補を設定する仮想境界線候補設定部と、
前記第ｎ１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記第ｎ１撮像画像で認識される第ｎ１マーカーについて、前記車両の移動情報に基づいて、前記第ｎ１時点よりも後の第ｎ２時点の第ｎ２撮像画像における予測位置を予測する位置予測部と、
前記位置予測部により予測された前記第ｎ１マーカーの予測位置と、前記第ｎ２撮像画像から抽出された前記第ｎ１マーカーの抽出位置との比較に基づいて、前記実境界線候補及び前記仮想境界線候補のいずれかを前記境界線として認識する境界線認識部と、
を備えた道路境界線認識装置。
【請求項２】
前記実境界線候補抽出部は、第ｎ１時点よりも前の第ｎ−１時点の第ｎ−１撮像画像について前記境界線の候補である実境界線候補を抽出し、
前記位置予測部は、前記第ｎ−１撮像画像の前記実境界線候補を前記境界線であると仮定した場合において、前記第ｎ−１撮像画像で認識される第ｎ−１マーカーについて、前記車両の前記移動情報に基づいて、前記第ｎ−１時点と前記第ｎ１時点との間の第ｎ０時点の第ｎ０撮像画像における予測位置を予測し、
前記仮想境界線候補設定部は、前記位置予測部により予測された前記第ｎ−１マーカーの予測位置と、前記第ｎ０撮像画像から抽出された前記第ｎ−１マーカーの抽出位置とのずれ量が第１閾値を超えている場合に、前記第ｎ１撮像画像の前記実境界線候補に重複せずに沿った前記仮想境界線候補を設定する、請求項１に記載の道路境界線認識装置。
【請求項３】
前記第ｎ１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記位置予測部により予測された前記第ｎ１マーカーの予測位置と、前記第ｎ２撮像画像から抽出された前記第ｎ１マーカーの抽出位置とのずれ量が第２閾値以下の前記実境界線候補又は前記仮想境界線候補が無い場合は、
前記仮想境界線候補設定部は、前記第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について前記実境界線候補抽出部により抽出された前記実境界線候補に重複せずに沿い、前記第ｎ１撮像画像に設定した前記仮想境界線候補よりも数が多い前記仮想境界線候補を設定する、請求項１又は２に記載の道路境界線認識装置。
【請求項４】
前記第ｎ１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記位置予測部により予測された前記第ｎ１マーカーの予測位置と、前記第ｎ２撮像画像から抽出された前記第ｎ１マーカーの抽出位置とのずれ量が第３閾値以下の前記実境界線候補又は前記仮想境界線候補が無い場合は、
前記仮想境界線候補設定部は、前記第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について前記実境界線候補抽出部により抽出された前記実境界線候補に重複せずに沿い、前記第ｎ１撮像画像に設定した前記仮想境界線候補とは位置が異なる前記仮想境界線候補を設定する、請求項１〜３のいずれか１項に記載の道路境界線認識装置。
【請求項５】
車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と前記道路の路面との境界線を認識する道路境界線認識方法であって、
前記道路を走行中の前記車両の前方における第ｎ１時点の第ｎ１撮像画像について前記境界線の候補である実境界線候補を抽出する実境界線候補抽出工程と、
前記第ｎ１撮像画像の前記実境界線候補に重複せずに沿って隣接するように仮想境界線候補を設定する仮想境界線候補設定工程と、
前記第ｎ１撮像画像で第ｎ１マーカーを認識するマーカー認識工程と、
前記第ｎ１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記車両の移動情報に基づいて、前記第ｎ１時点より後の第ｎ２時点の第ｎ２撮像画像における前記第ｎ１マーカーの予測位置を予測する位置予測工程と、
前記第ｎ２撮像画像から前記第ｎ１マーカーの抽出位置を抽出する位置抽出工程と、
前記予測位置と前記抽出位置との比較に基づいて、前記実境界線候補及び前記仮想境界線候補のいずれかを前記境界線として認識する境界線認識工程と、
を含む道路境界線認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、道路境界線認識装置及び道路境界線認識方法に関する。
【背景技術】
【０００２】
走行車線からの車両の逸脱を防止するシステム等への適用を目的として、車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成するガードレール等の立体構造物と道路の路面との境界線を認識する技術が提案されている。例えば、特許文献１の装置では、車両前方の撮像時間ｔ１の撮像画像において消失点に向かって伸びる複数の線分が検出され、これらの線分はガードレールと路面との境界線候補に設定される。特許文献１の装置では、これらの境界線候補をガードレールと路面との境界線であると仮定したそれぞれの場合において、撮像時間ｔ１の後の撮像時間ｔ２の撮像画像におけるガードレールのポストの予測位置と、撮像時間ｔ２の撮像画像における当該ポストの実際の位置との比較に基づいて、境界線が認識される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１２／００６９１８５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１の装置においては、ガードレール等の立体構造物と道路の路面との境界線が、植木、自生植物及び土等の遮蔽物によって遮蔽されているために、現実の境界線を境界線候補として抽出することができない場合がある。このような場合は、現実の境界線から大きく乖離した境界線候補が誤って境界線と認識される恐れがある。
【０００５】
そこで本発明は、現実の境界線を境界線候補として抽出することができない場合であっても、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる道路境界線認識装置及び道路境界線認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面は、車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と道路の路面との境界線を認識する道路境界線認識装置であって、道路を走行中の車両の前方における第ｎ１時点の第ｎ１撮像画像について境界線の候補である実境界線候補を抽出する実境界線候補抽出部と、第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定する仮想境界線候補設定部と、第ｎ１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ１撮像画像で認識される第ｎ１マーカーについて、車両の移動情報に基づいて、第ｎ１時点よりも後の第ｎ２時点の第ｎ２撮像画像における予測位置を予測する位置予測部と、位置予測部により予測された第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかを境界線として認識する境界線認識部とを備えた道路境界線認識装置である。
【０００７】
この構成によれば、仮想境界線候補設定部により、第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。また、位置予測部により、第ｎ１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ１撮像画像で認識される第ｎ１マーカーについて、車両の移動情報に基づいて、第ｎ２撮像画像における予測位置が予測され、境界線認識部により、予測された第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかが境界線として認識される。そのため、立体構造物と道路の路面との現実の境界線が遮蔽物によって遮蔽されているために、現実の境界線そのものを撮像画像から直接に認識できず、実境界線候補上に現実の境界線が含まれていない場合であっても、仮想境界線候補が実境界線候補を補うことができるため、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる。
【０００８】
この場合、実境界線候補抽出部は、第ｎ１時点よりも前の第ｎ−１時点の第ｎ−１撮像画像について境界線の候補である実境界線候補を抽出し、位置予測部は、第ｎ−１撮像画像の実境界線候補を境界線であると仮定した場合において、第ｎ−１撮像画像で認識される第ｎ−１マーカーについて、車両の移動情報に基づいて、第ｎ−１時点と第ｎ１時点との間の第ｎ０時点の第ｎ０撮像画像における予測位置を予測し、仮想境界線候補設定部は、位置予測部により予測された第ｎ−１マーカーの予測位置と、第ｎ０撮像画像から抽出された第ｎ−１マーカーの抽出位置とのずれ量が第１閾値を超えている場合に、第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定することができる。
【０００９】
この構成によれば、第ｎ−１マーカーの予測位置と、第ｎ０撮像画像から抽出された第ｎ−１マーカーの抽出位置とのずれ量が第１閾値を超えている場合に、仮想境界線候補設定部によって、第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。このため、常に仮想境界線候補が設定される場合に比べて、道路境界線認識装置の演算負荷を低減することができる。
【００１０】
また、第ｎ１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部により予測された第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量が第２閾値以下の実境界線候補又は仮想境界線候補が無い場合は、仮想境界線候補設定部は、第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について実境界線候補抽出部により抽出された実境界線候補に重複せずに沿い、第ｎ１撮像画像に設定した仮想境界線候補よりも数が多い仮想境界線候補を設定することができる。
【００１１】
この構成によれば、第ｎ１マーカーの予測位置と抽出位置とのずれ量が第２閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の数を多くするので、第ｎ２時点の後の第ｎ３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。
【００１２】
また、第ｎ１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部により予測された第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量が第３閾値以下の実境界線候補又は仮想境界線候補が無い場合は、仮想境界線候補設定部は、第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について実境界線候補抽出部により抽出された実境界線候補に重複せずに沿い、第ｎ１撮像画像に設定した仮想境界線候補とは位置が異なる仮想境界線候補を設定することができる。
【００１３】
この構成によれば、第ｎ１マーカーの予測位置と抽出位置とのずれ量が第３閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の位置を変更するので、第ｎ２時点の後の第ｎ３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。
【００１４】
また、本発明の他の側面は、車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と道路の路面との境界線を認識する道路境界線認識方法であって、道路を走行中の車両の前方における第ｎ１時点の第ｎ１撮像画像について境界線の候補である実境界線候補を抽出する実境界線候補抽出工程と、第ｎ１撮像画像の実境界線候補に重複せずに沿って隣接するように仮想境界線候補を設定する仮想境界線候補設定工程と、第ｎ１撮像画像で第ｎ１マーカーを認識するマーカー認識工程と、第ｎ１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、車両の移動情報に基づいて、第ｎ１時点より後の第ｎ２時点の第ｎ２撮像画像における第ｎ１マーカーの予測位置を予測する位置予測工程と、第ｎ２撮像画像から第ｎ１マーカーの抽出位置を抽出する位置抽出工程と、予測位置と抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかを境界線として認識する境界線認識工程とを含む道路境界線認識方法である。
【発明の効果】
【００１５】
本発明の一側面及び他の側面によれば、現実の境界線を境界線候補として抽出することができない場合であっても、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態の道路境界線認識装置を示すブロック図である。
【図２】図１の道路境界線認識装置の動作を示すフローチャートである。
【図３】第ｎ１時点Ｔｎ１の第ｎ１撮像画像Ｆｎ１を示す図である。
【図４】図３の第ｎ１撮像画像Ｆｎ１にエッジ処理により実境界線候補Ｒ１〜Ｒ４を抽出した状態を示す図である。
【図５】図４の第ｎ１撮像画像Ｆｎ１に仮想境界線候補Ｖ１〜Ｖ３を設定した状態を示す図である。
【図６】図４の第ｎ１撮像画像Ｆｎ１について抽出された第ｎ１マーカーＭ（Ｔｎ１）を示す図である。
【図７】実境界線候補Ｒ２を境界線Ｂであると仮定した場合において、図６の第ｎ１マーカーＭ（Ｔｎ１）の第ｎ２時点Ｔｎ２の第ｎ２撮像画像Ｆｎ２での予測位置ｍＲ２（Ｔｎ２）を予測した状態を示す図である。
【図８】仮想境界線候補Ｖ２を境界線Ｂであると仮定した場合において、図６の第ｎ１マーカーＭ（Ｔｎ１）の第ｎ２時点Ｔｎ２の第ｎ２撮像画像Ｆｎ２での予測位置ｍＶ２（Ｔｎ２）を予測した状態を示す図である。
【図９】実境界線候補Ｒ３を境界線Ｂであると仮定した場合において、図６の第ｎ１マーカーＭ（Ｔｎ１）の第ｎ２時点Ｔｎ２の第ｎ２撮像画像Ｆｎ２での予測位置ｍＲ３（Ｔｎ２）を予測した状態を示す図である。
【図１０】第ｎ２時点Ｔｎ２の第ｎ２撮像画像Ｆｎ２を示す図である。
【図１１】図１２の第ｎ２撮像画像Ｆｎ２における第ｎ１マーカーＭ（Ｔｎ１）の抽出位置Ｍ（Ｔｎ２）を示す図である。
【図１２】予測位置ｍＲ２（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）との比較を示す図である。
【図１３】予測位置ｍＶ２（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）との比較を示す図である。
【図１４】予測位置ｍＲ３（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）との比較を示す図である。
【図１５】第２実施形態の道路境界線認識装置のメインフローを示すフローチャートである。
【図１６】図１５において予測位置と抽出位置とのずれ量が第１閾値を超えている場合の動作を示すフローチャートである。
【図１７】第３実施形態の道路境界線認識装置のメインフローを示すフローチャートである。
【図１８】図１７において予測位置と抽出位置とのずれ量が第２閾値を超えている場合の動作を示すフローチャートである。
【図１９】第４実施形態の道路境界線認識装置のメインフローを示すフローチャートである。
【図２０】図１９において予測位置と抽出位置とのずれ量が第３閾値を超えている場合の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の実施形態に係る道路境界線認識装置及び道路境界線認識方法について説明する。
【００１８】
（第１実施形態）
図１に示すように、第１実施形態に係る道路境界線認識装置１は、車載カメラ１１、車速センサ１２、ヨーレートセンサ１３、ＥＣＵ２０、ディスプレイ３１及びスピーカ３２を備えている。道路境界線認識装置１は、車載カメラ１１による撮像画像に基づいて車両が走行する道路の路端を形成するガードレール、縁石、中央分離帯及び壁等の立体構造物と道路の路面との境界線を認識する。
【００１９】
以下、境界線とは、車両が走行する道路の路端を形成するガードレール、縁石、中央分離帯及び壁等の立体構造物と道路の路面とを区画する線を意味する。境界線は、必ずしも塗装された線でなくともよい。境界線は、立体構造物の表面と道路の路面との交差によって、撮像画像中に線状或いは略線状に現れる形状である。境界線は、厳密な直線部でなくとも、凹部等の立体構造物と道路の路面と境界部であればよい。例えば、境界線は、立体構造物が複数のポストにより支持されたガードレールである場合は、ポストが設置された位置を繋げた線である。
【００２０】
道路境界線認識装置１は、例えば、走行車線からの車両の逸脱を防止するために、境界線と車両との距離を検出し、車両のドライバーに当該距離を表示する。また、道路境界線認識装置１は、認識した境界線と車両との距離が予め設定された閾値未満になったときに、車両のドライバーに必要な警報を報知する。なお、本実施形態においては、路面の走行車線を区画する白線の検出が主目的ではないが、境界線の検出後に、検出された境界線を利用して白線を検出してもよい。或いは、本実施形態においては、検出された境界線から所定量だけ車両の側に近接した白線を模擬した仮想的な区画線を設定し、当該区画線と車両との距離が予め設定された閾値未満となったときに、車両のドライバーに必要な警報を報知してもよい。
【００２１】
車載カメラ１１は、例えば、車両のフロントガラスの裏面に設けられた一つの撮像部を有する単眼カメラである。撮像部は、車両の前方を撮像する。車載カメラ１１は、車両の前方を任意の第ｎ１時点において第ｎ１撮像画像として撮像し、車両の前方を第ｎ１時点より後の任意の第ｎ２時点において第ｎ２撮像画像として撮像する。第ｎ１時点と第ｎ２時点との間隔は、例えば、５０ｍｓｅｃとすることができる。
【００２２】
車載カメラ１１は、同様にして、第ｎ１時点より前の第ｎ−１時点の第ｎ−１撮像画像を撮像し、第ｎ−１時点と第ｎ１時点との間の第ｎ０時点の第ｎ０撮像画像を撮像する。車載カメラ１１は、同様にして、第ｎ２時点より後の第ｎ３時点の第ｎ３撮像画像を撮像する。このようにして、車載カメラ１１は、任意の自然数ｋについて、第ｎ−ｋ時点，第ｎ−ｋ＋１時点，…第ｎ−１時点，第ｎ０時点，第ｎ１時点，第ｎ２時点，第ｎ３時点，…，第ｎｋ−１時点，第ｎｋ時点それぞれにおける第ｎ−ｋ撮像画像，第ｎ−ｋ＋１撮像画像，…第ｎ−１撮像画像，第ｎ０撮像画像，第ｎ１撮像画像，第ｎ２撮像画像，第ｎ３撮像画像，…，第ｎｋ−１撮像画像，第ｎｋ撮像画像を例えば、５０ｍｓｅｃの周期で撮像する。車載カメラ１１は、車両前方の撮像画像に関する情報をＥＣＵ２０へ送信する。車載カメラ１１は、モノクロカメラ及びカラーカメラのいずれでもよい。また、車載カメラ１１は、ステレオカメラでもよい。
【００２３】
車速センサ１２は、車両の速度を検出するためのセンサである。車速センサ１２としては、例えば、車両の車輪又は車輪と一体に回転する車軸等に対して設けられ、車輪の回転速度を信号として検出する車輪速センサが用いられる。車速センサ１２は、車輪の回転速度に応じた信号をＥＣＵ２０に送信する。
【００２４】
ヨーレートセンサ１３は、車両の重心の鉛直軸周りのヨーレート（回転角速度）を検出することにより、車両の向きを検出するためのセンサである。ヨーレートセンサ１３としては、例えばジャイロセンサを用いることができる。ヨーレートセンサ１３は、検出した車両のヨーレートに応じた信号を運転支援ＥＣＵ２へ出力する。
【００２５】
ＥＣＵ２０は、ＣＰＵ[Central  Processing  Unit]、ＲＯＭ[Read  Only  Memory]、ＲＡＭ[Random  Access  Memory]等を有する電子制御ユニットである。ＥＣＵ２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、ＥＣＵ２０のハードウェアが実境界線候補抽出部２１、仮想境界線候補設定部２２、位置予測部２３及び境界線認識部２４として機能する。ＥＣＵ２０は、複数のＥＣＵから構成されていてもよい。
【００２６】
実境界線候補抽出部２１は、道路を走行中の車両の前方における任意の第ｎ１時点の第ｎ１撮像画像について境界線の候補である実境界線候補を抽出する。実境界線候補とは、第ｎ１撮像画像について、画像処理を行うことにより、第ｎ１撮像画像から直接に抽出される境界線の候補である。上述したように、第ｎ１時点の第ｎ１撮像画像は、車載カメラ１１により撮像された撮像画像である。実境界線候補抽出部２１は、第ｎ１撮像画像について、例えばエッジ処理等の画像処理を行うことによって実境界線候補を抽出する。また、実境界線候補抽出部２１は、他の手法により実境界線候補を抽出してもよい。
【００２７】
仮想境界線候補設定部２２は、第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定する。仮想境界線候補とは、第ｎ１撮像画像から抽出された実境界線候補に沿って、例えば、予め設定された１〜数個のピクセル数毎に実境界線候補から距離をおいて位置するように設定された境界線の候補である。本実施形態では、後述する第２実施形態と異なり、常に第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。本実施形態では、全ての実境界線候補に仮想境界線候補が設定されなくともよい。また、一つの実境界線候補に複数の仮想境界線候補が設定されてもよい。
【００２８】
位置予測部２３は、第ｎ１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ１撮像画像で認識される第ｎ１マーカーについて、車両の移動情報に基づいて、第ｎ１時点よりも後の第ｎ２時点の第ｎ２撮像画像における予測位置を予測する。移動情報とは、車両の移動に関する情報であり、例えば、車両の速度、向き及びヨーレート等を意味する。本実施形態では、車両の速度は車速センサ１２により検出され、車両のヨーレートはヨーレートセンサ１３により検出される。実境界線候補及び仮想境界線候補を境界線であると仮定するとは、例えば、境界線であると仮定した実境界線候補又は仮想境界線候補で区画される第ｎ１撮像画像の領域の内で、車両から近い側の領域が道路の路面であると仮定し、車両から遠い側の領域が道路の路面から垂直或いは略垂直な面であると仮定することを意味する。
【００２９】
第ｎ１マーカーとは、例えば、第ｎ１撮像画像中の任意の位置を特定するための任意の画素群を意味する。第ｎ１マーカーには、例えば、ガードレールのポスト等から認識される第ｎ１撮像画像の縦方向に伸びる線分と、実境界線候補との交点の画素群を適用することができる。或いは、第ｎ１マーカーには、第ｎ１撮像画像中で認識が容易な任意の画素群を適用してもよい。第ｎ１マーカーの画素群には、例えば、縦４ピクセル×横４ピクセル、縦８ピクセル×横８ピクセル及び縦１６ピクセル×横１６ピクセルの正方配置された画素群等を適用することができる。画素群の特定には画素群に含まれる画素の輝度、明度、彩度、色相等を用いることができる。予測位置とは、第ｎ１時点の第ｎ１撮像画像で認識される第ｎ１マーカーについて、第ｎ１時点よりも後の第ｎ２時点の第ｎ２撮像画像中において予測される位置である。
【００３０】
位置予測部２３が第ｎ１マーカーの予測位置を予測する際には、位置予測部２３は、例えば、車両に対する車載カメラ１１の位置、角度等のパラメータから、第ｎ１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ１時点の第ｎ１撮像画像中の第ｎ１マーカーの三次元空間上の車両に対する位置を算出する。次に、位置予測部２３は、車両の移動情報に基づいて、第ｎ１時点より後の第ｎ２時点における第ｎ１マーカーの三次元空間上の車両に対する位置を算出する。最後に、位置予測部２３は、車両に対する車載カメラ１１の位置、角度等のパラメータに基づいて、第ｎ２時点における当該第ｎ１マーカーの三次元空間上の車両に対する位置から、第ｎ２時点の第ｎ２撮像画像中の第ｎ１マーカーの予測位置を予測する。これにより、位置予測部２３は、マーカーの予測位置を予測することができる。
【００３１】
境界線認識部２４は、後述するように、位置予測部２３により予測された第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかを境界線として認識する。抽出位置とは、第ｎ２撮像画像において、第ｎ１撮像画像で認識された第ｎ１マーカーに対応する画素群として抽出される第ｎ１マーカーの位置を意味する。
【００３２】
予測位置と抽出位置との比較に基づいて実境界線候補及び仮想境界線候補のいずれかを境界線として認識するとは、例えば、第ｎ１マーカーの予測位置と抽出位置とのずれ量が最小である実境界線候補及び仮想境界線候補のいずれかを境界線として認識することを意味する。或いは、予測位置と抽出位置との比較に基づいて実境界線候補及び仮想境界線候補のいずれかを境界線として認識するとは、例えば、第ｎ１マーカーの予測位置と抽出位置とのずれ量が予め設定された境界線を認識するための閾値以下の実境界線候補及び仮想境界線候補のいずれかを境界線として認識することを意味する。ずれ量とは、例えば、予測位置と抽出位置との最短距離、水平方向距離、垂直方向距離等を意味する。境界線を認識するための閾値は、固定値でも変動値でもよい。
【００３３】
境界線認識部２４は、認識した境界線の位置、境界線と車両との距離等の情報をディスプレイ３１により車両のドライバーに表示する。また、境界線認識部２４は、境界線と車両との距離が予め設定された閾値未満となったときは、スピーカ３２により車両のドライバーに警報を報知する。
【００３４】
本実施形態では、実境界線候補抽出部２１、仮想境界線候補設定部２２、位置予測部２３及び境界線認識部２４は、任意の自然数ｋについて、第ｎ−ｋ時点，第ｎ−ｋ＋１時点，…，第ｎ−１時点，第ｎ０時点，第ｎ１時点，第ｎ２時点，第ｎ３時点，…，第ｎｋ−１時点，第ｎｋ時点それぞれにおける第ｎ−ｋ撮像画像，第ｎ−ｋ＋１撮像画像，…，第ｎ−１撮像画像，第ｎ０撮像画像，第ｎ１撮像画像，第ｎ２撮像画像，第ｎ３撮像画像，…，第ｎｋ−１撮像画像，第ｎｋ撮像画像それぞれについての処理を繰り返し実行する。
【００３５】
尚、実境界線候補抽出部２１、仮想境界線候補設定部２２、位置予測部２３は、任意の自然数ｊについて、第ｎ−２ｊ＋１時点，…，第ｎ−１時点，第ｎ１時点，第ｎ３時点，…，第ｎ２ｊ＋１時点それぞれにおける第ｎ−２ｊ＋１撮像画像，…，第ｎ−１撮像画像，第ｎ１撮像画像，第ｎ３撮像画像，…，第ｎ２ｊ＋１撮像画像それぞれについての処理をおこなえばよく、必ずしも、第ｎ−２ｊ時点，…，第ｎ０時点，第ｎ２時点，…，第ｎ２ｊ時点それぞれにおける第ｎ−２ｊ撮像画像，…，第ｎ０撮像画像，第ｎ２撮像画像，…，第ｎ２ｊ撮像画像それぞれについての処理を行う必要は無い。
【００３６】
ディスプレイ３１は、ＥＣＵ２０の境界線認識部２４からの指令信号により、境界線認識部２４が認識した境界線の位置、境界線と車両との距離等の情報を車両のドライバーに表示する。スピーカ３２は、境界線と車両との距離が予め設定された閾値未満となったときは、境界線認識部２４からの指令信号により、車両のドライバーに警報を報知する。
【００３７】
以下、本実施形態の道路境界線認識装置１の動作について説明する。図２に示すように、第ｎ１撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における任意の第ｎ１時点の第ｎ１撮像画像が取得される（Ｓ１０１）。
【００３８】
第ｎ１撮像画像取得工程では、例えば、図３に示すような第ｎ１撮像画像Ｆｎ１が取得される。第ｎ１撮像画像Ｆｎ１には、車両が走行する道路１００の路面１０１と、道路１００の路端を形成する立体構造物であるガードレール１０４とが写っている。路面１０１には、道路１００の走行車線を区画する白線１０２が設けられている。ガードレール１０４は、路面１０１から垂直方向に直立した複数のポスト１０６により、支持されている。
【００３９】
第ｎ１撮像画像Ｆｎ１には、ガードレール１０４と路面１０１との境界線Ｂが写っている。境界線Ｂの一部は、植木、自生植物及び土等の遮蔽物１２０により遮蔽されている。第ｎ１撮像画像Ｆｎ１において、境界線Ｂ、白線１０２及びガードレール１０４の道路１００の進行方向に沿った輪郭線は、消失点ＶＰに向かって伸びている。消失点ＶＰとは、第ｎ１撮像画像Ｆｎ１において、遠近法により、現実の物体の輪郭線等では平行線になっている線が第ｎ１撮像画像Ｆｎ１内では平行ではない線であるように写される場合に、その線が交わる点である。
【００４０】
図２に示すように、第ｎ１実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ１時点の第ｎ１撮像画像Ｆｎ１について、境界線Ｂの候補である実境界線候補が抽出される（Ｓ１０２）。
【００４１】
第ｎ１実境界線候補抽出工程では、例えば、図４に示すように、境界線Ｂ、ガードレール１０４及び白線１０２の輪郭線であって、道路１００の進行方向に沿い、消失点ＶＰに向かって伸びる線分がエッジ処理により複数の実境界線候補Ｒ１〜Ｒ４として抽出される。エッジ処理においては、各線分について複数のエッジ点ｅが検出され、当該エッジ点ｅを通り、消失点ＶＰに向かって伸びる線分が実境界線候補Ｒ１〜Ｒ４として抽出される。消失点ＶＰを抽出する手法は、オプティカルフロー等の既知の種々の手法を適用することができる。
【００４２】
図４の例では、境界線Ｂは遮蔽物１２０により遮蔽されているために検出されるエッジ点ｅが少ない。そのため、境界線Ｂについては、実境界線候補は抽出されない。そこで、このように境界線Ｂが遮蔽物１２０により遮蔽されている場合を考慮し、本実施形態の道路境界線認識装置１では、常に以下の処理がなされる。
【００４３】
図２に示すように、第ｎ１仮想境界線候補設定工程として、道路境界線認識装置１の仮想境界線候補設定部２２により、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ１〜Ｒ４に重複せずに沿った仮想境界線候補が設定される（Ｓ１０３）。
【００４４】
第ｎ１仮想境界線候補設定工程では、例えば、図５に示すように、実境界線候補Ｒ１〜Ｒ４から第ｎ１撮像画像Ｆｎ１の周縁で１〜数ピクセルずつ距離を隔てて互いに重複せずに隣接し、且つ消失点ＶＰに向かって伸びる複数の仮想境界線候補Ｖ１〜Ｖ３が設定される。実境界線候補Ｒ１〜Ｒ４からの仮想境界線候補Ｖ１〜Ｖ３の距離は任意に変更することができる。図３の例では、仮想境界線候補Ｖ２は、境界線Ｂにほぼ一致する位置に設定される。
【００４５】
図２に示すように、マーカー認識工程として、道路境界線認識装置１の位置予測部２３により、第ｎ１撮像画像Ｆｎ１で第ｎ１マーカーが認識される（Ｓ１０４）。マーカー認識工程では、例えば、図６に示すように、第ｎ１時点Ｔｎ１の第ｎ１撮像画像Ｆｎ１における第ｎ１マーカーＭ（Ｔｎ１）として、ポスト１０６の垂直方向の輪郭線を含む線分と実境界線候補Ｒ１との交点にその中心が位置する正方形の領域の画素群が認識される。
【００４６】
このように、位置予測部２３は、第ｎ１撮像画像Ｆｎ１において認識し易く、第ｎ１撮像画像Ｆｎ１における位置を特定し易い任意の画素群を第ｎ１マーカーＭ（Ｔｎ１）として認識することができる。第ｎ１撮像画像Ｆｎ１において、第ｎ１マーカーＭ（Ｔｎ１）は、実境界線候補Ｒ１〜Ｒ４又は仮想境界線候補Ｖ１〜Ｖ３の位置で認識されてもよく、実境界線候補Ｒ１〜Ｒ４又は仮想境界線候補Ｖ１〜Ｖ３以外の位置で認識されてもよい。
【００４７】
後述するように、第ｎ１撮像画像Ｆｎ１において第ｎ１マーカーＭ（Ｔｎ１）が現実の路面１０１の位置で認識された場合には、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３が境界線であるとの仮定が実際には正しくなくとも、第ｎ１マーカーＭ（Ｔｎ１）の予測位置と抽出位置とが一致し、当該仮定が正しいか否かが判定できない場合がある。そのため、位置予測部２３は、例えば、第ｎ１撮像画像Ｆｎ１において可能な限り車両（路面１０１）から距離が遠いと思われる位置で第ｎ１マーカーＭ（Ｔｎ１）を認識することができる。或いは、例えば、図６の例に示すように、位置予測部２３は、第ｎ１撮像画像Ｆｎ１において車両（路面１０１）から距離が最も遠いと思われる位置にある実境界線候補Ｒ１上で第ｎ１マーカーＭ（Ｔｎ１）を認識することができる。
【００４８】
図２に示すように、位置予測工程として、道路境界線認識装置１の位置予測部２３により、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３を境界線であると仮定したそれぞれの場合において、車両の移動情報に基づいて、第ｎ１時点Ｔｎ１より後の第ｎ２時点Ｔｎ２の第ｎ２撮像画像における第ｎ１マーカーＭ（Ｔｎ１）の予測位置が予測される（Ｓ１０５）。
【００４９】
位置予測工程では、例えば、図７に示すように、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ２を境界線であると仮定した場合において、車両に対する車載カメラ１１の位置、角度等のパラメータから第ｎ１時点Ｔｎ１の第ｎ１撮像画像Ｆｎ１中の第ｎ１マーカーＭ（Ｔｎ１）の三次元空間上の車両に対する位置が算出される。
【００５０】
この場合、例えば、実境界線候補Ｒ２で区画される第ｎ１撮像画像Ｆｎ１の車両から近い側の領域は、路面１０１であると仮定される。一方、例えば、実境界線候補Ｒ２で区画される第ｎ１撮像画像Ｆｎ１の車両から遠い側の領域は、実境界線候補Ｒ２を交線として路面１０１と垂直に交差する平面であると仮定される。図７の例では、第ｎ１マーカーＭ（Ｔｎ１）は、実境界線候補Ｒ２を交線としつつ路面１０１と垂直に交差する平面上に存在すると仮定される。車両に対する車載カメラ１１の位置、角度等のパラメータから、実境界線候補Ｒ２を交線としつつ路面１０１と垂直に交差する平面及び当該平面上における第ｎ１マーカーＭ（Ｔｎ１）の三次元空間上の車両に対する位置を算出することができる。
【００５１】
次に、車速センサ１２及びヨーレートセンサ１３により検出された車両の移動情報に基づいて、位置予測部２３により、第ｎ１時点Ｔｎ１より後の第ｎ２時点Ｔｎ２における第ｎ１マーカーＭ（Ｔｎ１）の三次元空間上の車両に対する位置が算出される。最後に、位置予測部２３により、車両に対する車載カメラ１１の位置、角度等のパラメータに基づいて、第ｎ２時点Ｔｎ２における第ｎ１マーカーＭ（Ｔｎ１）の三次元空間上の車両に対する位置から、第ｎ２時点Ｔｎ２の第ｎ２撮像画像中の第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ２（Ｔｎ２）が予測される。これにより、位置予測部２３は、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ２を境界線であると仮定した場合において、第ｎ１マーカーＭＲ２（Ｔｎ１）の予測位置ｍＲ２（Ｔｎ２）を予測することができる。
【００５２】
同様にして、図８に示すように、第ｎ１撮像画像Ｆｎ１の仮想境界線候補Ｖ２を境界線であると仮定した場合において、第ｎ２時点Ｔｎ２の第ｎ２撮像画像における第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＶ２（Ｔｎ２）が予測される。また、同様にして、図９に示すように、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ３を境界線であると仮定した場合において、第ｎ２時点Ｔｎ２の第ｎ２撮像画像における第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ３（Ｔｎ２）が予測される。
【００５３】
図７に示すように、第ｎ１撮像画像Ｆｎ１において、現実の境界線Ｂよりも車両から遠い実境界線候補Ｒ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ２（Ｔｎ２）までの移動距離は現実の移動距離よりも長くなる。また、図８に示すように、第ｎ１撮像画像Ｆｎ１において、現実の境界線Ｂとほぼ一致する仮想境界線候補Ｖ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＶ２（Ｔｎ２）までの移動距離は現実の移動距離とほぼ一致する。また、図９に示すように、第ｎ１撮像画像Ｆｎ１において、現実の境界線Ｂよりも車両から近い実境界線候補Ｒ３がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ３（Ｔｎ２）までの移動距離は現実の移動距離よりも短くなる。
【００５４】
図２に示すように、第ｎ２撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における第ｎ１時点Ｔｎ１より後の任意の第ｎ２時点Ｔｎ２の第ｎ２撮像画像が取得される（Ｓ１０６）。第ｎ２撮像画像取得工程では、例えば、図１０に示すような第ｎ２撮像画像Ｆｎ２が取得される。図１０に示すように、第ｎ２時点Ｔｎ２の第ｎ２撮像画像Ｆｎ２では、第ｎ１時点Ｔｎ１の第ｎ１撮像画像Ｆｎ１に比べて、ポスト１０６や遮蔽物１２０が車両の手前側の位置に写っている。
【００５５】
図２及び図１１に示すように、第ｎ２実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ２時点Ｔｎ２の第ｎ２撮像画像Ｆｎ２について、境界線Ｂの候補である実境界線候補Ｒ１〜Ｒ４が、上述した第ｎ１実境界線候補抽出工程と同様にして抽出される（Ｓ１０７）。第ｎ２仮想境界線候補設定工程として、道路境界線認識装置１の仮想境界線候補設定部２２により、第ｎ２撮像画像Ｆｎ２の実境界線候補Ｒ１〜Ｒ４に沿って仮想境界線候補Ｖ１〜Ｖ３が、上述した第ｎ１仮想境界線候補設定工程と同様にして設定される（Ｓ１０８）。尚、上述したように、第ｎ２実境界線候補抽出工程及び第ｎ２仮想境界線候補設定工程は必須ではなく、省略することができる。
【００５６】
図２及び図１１に示すように、位置抽出工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ２撮像画像Ｆｎ２から第ｎ１マーカーＭ（Ｔｎ１）の抽出位置Ｍ（Ｔｎ２）が抽出される（Ｓ１０９）。抽出位置Ｍ（Ｔｎ２）の抽出は、第ｎ１マーカーＭ（Ｔｎ１）の画素群に対応する画素群を第ｎ２撮像画像Ｆｎ２から抽出することにより行われる。
【００５７】
第ｎ１マーカーＭ（Ｔｎ１）は、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ１上で認識されているため、第ｎ２撮像画像Ｆｎ２上の抽出位置Ｍ（Ｔｎ２）も実境界線候補Ｒ１上になると考えられる。そこで、第ｎ１マーカーＭ（Ｔｎ１）の画素群に対応する画素群を第ｎ２撮像画像Ｆｎ２から抽出するために、例えば、第ｎ２撮像画像Ｆｎ２上に実境界線候補Ｒ１に沿った領域が設定される。当該領域内において、マッチング処理により、第ｎ１マーカーＭ（Ｔｎ１）の画素群に対応する画素群を位置をずらしながら、当該位置における当該第ｎ１マーカーＭ（Ｔｎ１）の画素群に対応する画素群と第ｎ２撮像画像Ｆｎ２の画素群との相関値が算出される。当該相関値が最大となる第ｎ２撮像画像Ｆｎ２上の位置が、第ｎ１マーカーＭ（Ｔｎ１）の抽出位置Ｍ（Ｔｎ２）に決定される。
【００５８】
図２に示すように、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、予測位置ｍＲ２（Ｔｎ２），ｍＶ２（Ｔｎ２），ｍＲ３（Ｔｎ２）等と、抽出位置Ｍ（Ｔｎ２）との比較に基づいて、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３のいずれかが境界線Ｂとして認識される（Ｓ１１０）。
【００５９】
境界線認識工程では、例えば、図１２に示すように、実境界線候補Ｒ２が境界線であると仮定した場合における第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ２（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）とが比較される。上述したように、現実の境界線Ｂよりも車両から遠い実境界線候補Ｒ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ２（Ｔｎ２）までの移動距離は現実よりも長くなる。そのため、予測位置ｍＲ２（Ｔｎ２）は抽出位置Ｍ（Ｔｎ２）よりも、ずれ量ｇだけ車両の手前側となり、予測位置ｍＲ２（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）とは一致しない。
【００６０】
また、境界線認識工程では、例えば、図１３に示すように、仮想境界線候補Ｖ２が境界線であると仮定した場合における第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＶ２（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）とが比較される。上述したように、現実の境界線Ｂとほぼ一致する仮想境界線候補Ｖ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＶ２（Ｔｎ２）までの移動距離は現実とほぼ一致する。そのため、予測位置ｍＶ２（Ｔｎ２）は抽出位置Ｍ（Ｔｎ２）とはほぼ一致する。
【００６１】
また、境界線認識工程では、例えば、図１４に示すように、実境界線候補Ｒ３が境界線であると仮定した場合における第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ３（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）とが比較される。上述したように、現実の境界線Ｂよりも車両から近い実境界線候補Ｒ３がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＲ３（Ｔｎ２）までの移動距離は現実よりも短くなる。そのため、予測位置ｍＲ３（Ｔｎ２）は抽出位置Ｍ（Ｔｎ２）よりも、ずれ量ｇだけ車両の奥側となり、予測位置ｍＲ３（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）とは一致しない。
【００６２】
境界線認識工程では、境界線認識部２４は、例えば、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３を境界線であると仮定したそれぞれの場合において、予測位置ｍＶ２（Ｔｎ２）と抽出位置Ｍ（Ｔｎ２）とのずれ量ｇが最小である仮想境界線候補Ｖ２を境界線Ｂとして認識する。
【００６３】
尚、第ｎ１マーカーＭ（Ｔｎ１）が現実の路面１０１において認識された場合には、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３の中で第ｎ１マーカーＭ（Ｔｎ１）よりも車両から遠い側に位置する実境界線候補及び仮想境界線候補それぞれについては、それらの実境界線候補及び仮想境界線候補が境界線であるとの仮定が正しいか否かに関わらず、第ｎ１マーカーＭ（Ｔｎ１）の予測位置と抽出位置Ｍ（Ｔｎ２）とが一致し、ずれ量ｇが０となり、当該仮定が正しいか否かが判定できない。
【００６４】
このような場合には、境界線認識部２４は、例えば、実境界線候補及び仮想境界線候補のそれぞれが境界線であると仮定した場合にずれ量ｇが０となる実境界線候補及び仮想境界線候補のいずれかの中で、車両から最も近い実境界線候補又は仮想境界線候補を境界線Ｂとして認識することができる。
【００６５】
また、上記のように実境界線候補及び仮想境界線候補のそれぞれが境界線であると仮定した場合にずれ量ｇが０となる実境界線候補又は仮想境界線候補が複数ある場合や、ずれ量ｇが予め設定された境界線を認識するための閾値を超えている場合は、境界線認識部２４は、境界線Ｂを認識することが不可能である旨又は境界線Ｂの認識を保留する旨を出力してもよい。
【００６６】
上記のＳ１０１〜Ｓ１１０の処理は、道路境界線認識装置１により所定の周期で繰り返し実行される。そのため、任意の自然数ｋについて、第ｎ−ｋ時点，第ｎ−ｋ＋１時点，…，第ｎ−１時点，第ｎ０時点，第ｎ１時点，第ｎ２時点，第ｎ３時点，…，第ｎｋ−１時点，第ｎｋ時点それぞれにおける第ｎ−ｋ撮像画像，第ｎ−ｋ＋１撮像画像，…，第ｎ−１撮像画像，第ｎ０撮像画像，第ｎ１撮像画像，第ｎ２撮像画像，第ｎ３撮像画像，…，第ｎｋ−１撮像画像，第ｎｋ撮像画像それぞれについての処理が繰り返し実行される。
【００６７】
例えば、任意の自然数ｊについて、第ｎ−２ｊ＋１時点，…，第ｎ−１時点，第ｎ１時点，第ｎ３時点，…，第ｎ２ｊ＋１時点それぞれにおける第ｎ−２ｊ＋１撮像画像，…，第ｎ−１撮像画像，第ｎ１撮像画像，第ｎ３撮像画像，…，第ｎ２ｊ＋１撮像画像それぞれについて、上述した第ｎ１撮像画像取得工程、第ｎ１実境界線候補抽出工程、第ｎ１仮想境界線候補抽出工程、マーカー認識工程及び位置予測工程と同様の処理が実行され、第ｎ−２ｊ時点，…，第ｎ０時点，第ｎ２時点，…，第ｎ２ｊ時点それぞれにおける第ｎ−２ｊ撮像画像，…，第ｎ０撮像画像，第ｎ２撮像画像，…，第ｎ２ｊ撮像画像それぞれについて、上述した第ｎ２撮像画像取得工程、第ｎ２実境界線候補抽出工程、第ｎ２仮想境界線候補抽出工程、位置抽出工程及び境界線認識工程と同様の処理が実行されてもよい。
【００６８】
また、任意の自然数ｋについて、第ｎ−ｋ時点，第ｎ−ｋ＋１時点，…，第ｎ−１時点，第ｎ０時点，第ｎ１時点，第ｎ２時点，第ｎ３時点，…，第ｎｋ−１時点，第ｎｋ時点それぞれにおける第ｎ−ｋ撮像画像，第ｎ−ｋ＋１撮像画像，…，第ｎ−１撮像画像，第ｎ０撮像画像，第ｎ１撮像画像，第ｎ２撮像画像，第ｎ３撮像画像，…，第ｎｋ−１撮像画像，第ｎｋ撮像画像それぞれについて、上述した第ｎ１撮像画像取得工程、第ｎ１実境界線候補抽出工程、第ｎ１仮想境界線候補抽出工程、マーカー認識工程及び位置予測工程と同様の処理が実行されるとともに、これらの前の時点である第ｎ−ｋ−１時点，第ｎ−ｋ時点，…，第ｎ−２時点，第ｎ−１時点，第ｎ０時点，第ｎ１時点，第ｎ２時点，…，第ｎｋ−２時点，第ｎｋ−１時点それぞれにおける第ｎ−ｋ−１撮像画像，第ｎ−ｋ撮像画像，…，第ｎ−２撮像画像，第ｎ−１撮像画像，第ｎ０撮像画像，第ｎ１撮像画像，第ｎ２撮像画像，…，第ｎｋ−２撮像画像，第ｎｋ−１撮像画像それぞれについて実行されたマーカー認識工程及び位置予測工程の結果に基づいて、上述した第ｎ２撮像画像取得工程、第ｎ２実境界線候補抽出工程、第ｎ２仮想境界線候補抽出工程、位置抽出工程及び境界線認識工程と同様の処理が実行されてもよい。
【００６９】
本実施形態では、仮想境界線候補設定部２２により、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ２等に重複せずに沿った仮想境界線候補Ｖ２等が設定される。また、位置予測部２３により、第ｎ１撮像画像Ｆｎ１の実境界線候補Ｒ２等及び仮想境界線候補Ｖ２等を境界線であると仮定したそれぞれの場合において、第ｎ１撮像画像Ｆｎ１で認識される第ｎ１マーカーＭ（Ｔｎ１）について、車両の移動情報に基づいて、第ｎ２撮像画像Ｆｎ２における予測位置ｍＶ２（Ｔｎ２）が予測され、境界線認識部２４により、予測された第ｎ１マーカーＭ（Ｔｎ１）の予測位置ｍＶ２（Ｔｎ２）等と、第ｎ２撮像画像から抽出された第ｎ１マーカーＭ（Ｔｎ１）の抽出位置Ｍ（Ｔｎ２）との比較に基づいて、実境界線候補Ｒ２等及び仮想境界線候補Ｖ２等のいずれかが境界線Ｂとして認識される。そのため、立体構造物と道路の路面との現実の境界線が遮蔽物によって遮蔽されているために、現実の境界線そのものを撮像画像から直接に認識できず、実境界線候補上に現実の境界線が含まれていない場合であっても、仮想境界線候補が実境界線候補を補うことができるため、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる。
【００７０】
（第２実施形態）
以下、本発明の第２実施形態について説明する。本実施形態では、上記第１実施形態のように常に仮想境界線候補が設定されるのではなく、仮想境界線候補を設定する条件が規定されている。図１５に示すように、上記第１実施形態の第ｎ１撮像画像取得工程と同様に、第ｎ−１撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における第ｎ１時点よりも前の第ｎ−１時点の第ｎ−１撮像画像が取得される（Ｓ２０１）。
【００７１】
上記第１実施形態の第ｎ１実境界線候補抽出工程と同様に、第ｎ−１実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ１時点よりも前の第ｎ−１時点の第ｎ−１撮像画像について、境界線Ｂの候補である実境界線候補が抽出される（Ｓ２０２）。
【００７２】
上記第１実施形態と同様に、マーカー認識工程として、道路境界線認識装置１の位置予測部２３により、第ｎ−１撮像画像で第ｎ−１マーカーが認識される（Ｓ２０３）。上記第１実施形態と同様に、位置予測工程として、道路境界線認識装置１の位置予測部２３により、第ｎ−１撮像画像の実境界線候補を境界線であると仮定した場合において、車両の移動情報に基づいて、第ｎ−１撮像画像で認識される第ｎ−１マーカーの第ｎ−１時点と第ｎ１時点との間の第ｎ０時点の第ｎ０撮像画像における予測位置が予測される（Ｓ２０４）。本実施形態では、この時点では、まだ仮想境界線候補は設定されていないため、第ｎ−１撮像画像の仮想境界線候補を境界線であると仮定した場合における第ｎ−１マーカーの第ｎ０撮像画像における予測位置の予測は行われない。
【００７３】
上記第１実施形態の第ｎ２撮像画像取得工程と同様に、第ｎ０撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における第ｎ０時点の第ｎ０撮像画像が取得される（Ｓ２０５）。上記第１実施形態の第ｎ２実境界線候補抽出工程と同様に、第ｎ０実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ０時点の第ｎ０撮像画像について、境界線Ｂの候補である実境界線候補が抽出される（Ｓ２０６）。尚、上記第１実施形態と同様に、第ｎ０実境界線候補抽出工程は必須ではなく、省略することができる。
【００７４】
上記第１実施形態と同様に、位置抽出工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ０撮像画像の第ｎ−１マーカーの抽出位置が抽出される（Ｓ２０７）。本実施形態では、第ｎ−１マーカーの予測位置と第ｎ０撮像画像から抽出された第ｎ−１マーカーの抽出位置とのずれ量ｇが第１閾値以下である場合は（Ｓ２０８）、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、実境界線候補を境界線であると仮定した場合において、ずれ量ｇが第１閾値以下である実境界線候補の中で、ずれ量ｇが最小である実境界線候補が境界線として認識される（Ｓ２０９）。第１閾値は、固定値でも変動値でもよい。また、第１閾値は、上述した境界線を認識するための閾値と同じ値であっても、異なる値でもよい。
【００７５】
一方、本実施形態では、第ｎ−１マーカーの予測位置と第ｎ０撮像画像から抽出された第ｎ−１マーカーの抽出位置とのずれ量ｇが第１閾値を超えている場合は（Ｓ２０８）、図１６に示すように、上記第１実施形態の図２のＳ１０１〜Ｓ１１０と同様の第ｎ１撮像画像取得工程（Ｓ２１０）、第ｎ１実境界線候補抽出工程（Ｓ２１１）、第ｎ１仮想境界線候補抽出工程（Ｓ２１２）、マーカー認識工程（Ｓ２１３）、位置予測工程（Ｓ２１４）、第ｎ２撮像画像取得工程（Ｓ２１５）、第ｎ２実境界線候補抽出工程（Ｓ２１６）、第ｎ２仮想境界線候補抽出工程（Ｓ２１７）、位置抽出工程（Ｓ２１８）及び境界線認識工程（Ｓ２１９）が実行される。すなわち、仮想境界線候補設定部２２は、第ｎ−１マーカーの予測位置と第ｎ０撮像画像から抽出された第ｎ−１マーカーの抽出位置とのずれ量ｇが第１閾値を超えている場合に、第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定する。
【００７６】
本実施形態によれば、第ｎ−１マーカーの予測位置と、第ｎ０撮像画像から抽出された第ｎ−１マーカーの抽出位置とのずれ量ｇが第１閾値を超えている場合に、仮想境界線候補設定部２２によって、第ｎ１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。このため、常に仮想境界線候補が設定される場合に比べて、道路境界線認識装置１の演算負荷を低減することができる。
【００７７】
（第３実施形態）
以下、本発明の第３実施形態について説明する。本実施形態では、ずれ量ｇが予め設定された第２閾値を超えている場合には、設定される仮想境界線候補の数が増加させられる。図１７に示すように、上記第１実施形態の図２のＳ１０１〜Ｓ１０９と同様の第ｎ１撮像画像取得工程（Ｓ３０１）、第ｎ１実境界線候補抽出工程（Ｓ３０２）、第ｎ１仮想境界線候補抽出工程（Ｓ３０３）、マーカー認識工程（Ｓ３０４）、位置予測工程（Ｓ３０５）、第ｎ２撮像画像取得工程（Ｓ３０６）、第ｎ２実境界線候補抽出工程（Ｓ３０７）、第ｎ２仮想境界線候補抽出工程（Ｓ３０８）及び位置抽出工程（Ｓ３０９）が実行される。
【００７８】
実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ１マーカーの抽出位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量ｇが第２閾値以下の実境界線候補又は仮想境界線候補が有る場合には（Ｓ３１０）、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量ｇが境界線を認識するための閾値以下の実境界線候補及び仮想境界線候補のいずれかが境界線として認識される（Ｓ３１１）。尚、本実施形態では、第２閾値を上述した境界線を認識するための閾値と同じ値としているが、第２閾値は境界線を認識するための閾値と異なる値であってもよい。また、第２閾値は、固定値でも変動値でもよい。
【００７９】
一方、実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量ｇが第２閾値以下の実境界線候補又は仮想境界線候補が無い場合には（Ｓ３１０）、図１８に示すように、第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について、上記第１実施形態の図２のＳ１０１及びＳ１０２と同様の第ｎ３撮像画像取得工程（Ｓ３１２）及び第ｎ３実境界線候補抽出工程（Ｓ３１３）が実行される。
【００８０】
第ｎ３仮想境界線候補設定工程として、仮想境界線候補設定部２２により、第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について実境界線候補抽出部２１により抽出された実境界線候補に重複せずに沿い、第ｎ１仮想境界線候補抽出工程（Ｓ３０３）で第ｎ１撮像画像に設定した仮想境界線候補よりも数が多い仮想境界線候補が設定される（Ｓ３１４）。
【００８１】
その後は、第ｎ３撮像画像について、上記第１実施形態の図２のＳ１０４及びＳ１０５と同様のマーカー認識工程（Ｓ３１５）及び位置予測工程（Ｓ３１６）が実行される。また、第ｎ３時点よりも後の第ｎ４時点の第ｎ４撮像画像について、上記第１実施形態の図２のＳ１０６〜Ｓ１１０と同様の第ｎ４撮像画像取得工程（Ｓ３１７）、第ｎ４実境界線候補抽出工程（Ｓ３１８）、第ｎ４仮想境界線候補抽出工程（Ｓ３１９）、位置抽出工程（Ｓ３２０）及び境界線認識工程（Ｓ３２１）が実行される。
【００８２】
尚、本実施形態では、仮想境界線候補設定部２２は、任意の自然数ｍについて、第ｎ３時点、第ｎ７時点、第ｎ１０時点、…、第ｎ３（ｍ−１）＋４時点、第ｎ３ｍ＋４時点の第ｎ３撮像画像、第ｎ７撮像画像、第ｎ１０撮像画像、…、第ｎ３（ｍ−１）＋４撮像画像、第ｎ３ｍ＋４撮像画像について、上記の第ｎ３仮想境界線候補設定工程と同様の処理を行ない、設定する仮想境界線候補の数が任意の上限数に達するまでは、設定する仮想境界線候補の数を段階的に増加させてもよい。
【００８３】
本実施形態によれば、第ｎ１マーカーの予測位置と抽出位置とのずれ量ｇが第２閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の数を多くするので、第ｎ２時点の後の第ｎ３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。
【００８４】
（第４実施形態）
以下、本発明の第４実施形態について説明する。本実施形態では、ずれ量ｇが予め設定された第３閾値を超えている場合には、設定される仮想境界線候補の位置が変更させられる。図１９に示すように、上記第１実施形態の図２のＳ１０１〜Ｓ１０９と同様の第ｎ１撮像画像取得工程（Ｓ４０１）、第ｎ１実境界線候補抽出工程（Ｓ４０２）、第ｎ１仮想境界線候補抽出工程（Ｓ４０３）、マーカー認識工程（Ｓ４０４）、位置予測工程（Ｓ４０５）、第ｎ２撮像画像取得工程（Ｓ４０６）、第ｎ２実境界線候補抽出工程（Ｓ４０７）、第ｎ２仮想境界線候補抽出工程（Ｓ４０８）及び位置抽出工程（Ｓ４０９）が実行される。
【００８５】
実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ１マーカーの抽出位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量ｇが第３閾値以下の実境界線候補又は仮想境界線候補が有る場合には（Ｓ４１０）、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量ｇが第３閾値以下の実境界線候補及び仮想境界線候補のいずれかが境界線として認識される（Ｓ４１１）。尚、本実施形態では、第３閾値を上述した境界線を認識するための閾値と同じ値としているが、第３閾値は境界線を認識するための閾値と異なる値であってもよい。また、第３閾値は、固定値でも変動値でもよい。
【００８６】
一方、実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ１マーカーの予測位置と、第ｎ２撮像画像から抽出された第ｎ１マーカーの抽出位置とのずれ量ｇが第３閾値以下の実境界線候補又は仮想境界線候補が無い場合には（Ｓ４１０）、図２０に示すように、第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について、上記第１実施形態の図２のＳ１０１及びＳ１０２と同様の第ｎ３撮像画像取得工程（Ｓ４１２）及び第ｎ３実境界線候補抽出工程（Ｓ４１３）が実行される。
【００８７】
第ｎ３仮想境界線候補設定工程として、仮想境界線候補設定部２２により、第ｎ２時点よりも後の第ｎ３時点の第ｎ３撮像画像について実境界線候補抽出部２１により抽出された実境界線候補に重複せずに沿い、第ｎ１仮想境界線候補抽出工程（Ｓ４０３）で第ｎ１撮像画像に設定した仮想境界線候補とは位置が異なる仮想境界線候補が設定される（Ｓ４１４）。
【００８８】
その後は、第ｎ３撮像画像について、上記第１実施形態の図２のＳ１０４及びＳ１０５と同様のマーカー認識工程（Ｓ４１５）及び位置予測工程（Ｓ４１６）が実行される。また、第ｎ３時点よりも後の第ｎ４時点の第ｎ４撮像画像について、上記第１実施形態の図２のＳ１０６〜Ｓ１１０と同様の第ｎ４撮像画像取得工程（Ｓ４１７）、第ｎ４実境界線候補抽出工程（Ｓ４１８）、第ｎ４仮想境界線候補抽出工程（Ｓ４１９）、位置抽出工程（Ｓ４２０）及び境界線認識工程（Ｓ４２１）が実行される。
【００８９】
本実施形態によれば、第ｎ１マーカーの予測位置と抽出位置とのずれ量ｇが第３閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の位置を変更するので、第ｎ２時点の後の第ｎ３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。
【００９０】
尚、本発明の実施形態の道路境界線認識装置及び道路境界線認識方法は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上述した第２〜第４実施形態の中の２つの実施形態又は３つの実施形態は互いに組み合わせた態様で実施されてもよい。この場合において、上記第１閾値〜第３閾値はそれぞれ同じ値であっても異なる値であってもよい。
【符号の説明】
【００９１】
１…道路境界線認識装置、１１…車載カメラ、１２…車速センサ、１３…ヨーレートセンサ、２０…ＥＣＵ、２１…実境界線候補抽出部、２２…仮想境界線候補設定部、２３…位置予測部、２４…境界線認識部、３１…ディスプレイ、３２…スピーカ、１００…道路、１０１…路面、１０２…白線、１０４…ガードレール、１０６…ポスト、１２０…遮蔽物、Ｆｎ１…第ｎ１撮像画像、Ｆｎ２…第ｎ２撮像画像、ＶＰ…消失点、Ｂ…境界線、ｅ…エッジ点、Ｒ１，Ｒ２，Ｒ３，Ｒ４…実境界線候補、Ｖ１，Ｖ２，Ｖ３…仮想境界線候補、Ｍ（Ｔｎ１）…第ｎ１マーカー，ｍＲ２（Ｔｎ２），ｍＶ２（Ｔｎ２），ｍＲ３（Ｔｎ２）…予測位置、Ｍ（Ｔｎ２）…抽出位置、ｇ…ずれ量。
【図１】
0006314843.tif 000002
【図２】
0006314843.tif 000003
【図３】
0006314843.tif 000004
【図４】
0006314843.tif 000005
【図５】
0006314843.tif 000006
【図６】
0006314843.tif 000007
【図７】
0006314843.tif 000008
【図８】
0006314843.tif 000009
【図９】
0006314843.tif 000010
【図１０】
0006314843.tif 000011
【図１１】
0006314843.tif 000012
【図１２】
0006314843.tif 000013
【図１３】
0006314843.tif 000014
【図１４】
0006314843.tif 000015
【図１５】
0006314843.tif 000016
【図１６】
0006314843.tif 000017
【図１７】
0006314843.tif 000018
【図１８】
0006314843.tif 000019
【図１９】
0006314843.tif 000020
【図２０】
0006314843.tif 000021