(57)【特許請求の範囲】
【請求項１】
走行する車両で撮像した車外画像データを取得する画像データ取得部と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する候補領域検出部と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する路面領域設定部と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する輝度算出部と、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する候補領域評価部と、
を備え、
前記路面領域設定部は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する候補領域確認部と、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出し、算出した距離に基づいて、前記路面領域の設定位置を定めるとともに、前記路面領域の幅を決定する路面領域サイズ決定部と、
を有し、
前記路面領域サイズ決定部は、
算出した前記候補領域と前記他の候補領域との距離が予め定められた値よりも長い場合は前記路面領域の設定位置を前記候補領域と前記他の候補領域との間に定め、算出した前記候補領域と前記他の候補領域との距離が前記予め定められた値よりも短い場合は前記路面領域の設定位置を前記他の候補領域の車両側となる位置に定める
ことを特徴とする車線境界線抽出装置。
【請求項２】
走行する車両で撮像した車外画像データを取得する画像データ取得部と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する候補領域検出部と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する路面領域設定部と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する輝度算出部と、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する候補領域評価部と、
を備え、
前記路面領域設定部は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する候補領域確認部と、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出し、算出した距離に基づいて、前記路面領域の設定位置を定めるとともに、前記路面領域の幅を決定する路面領域サイズ決定部と、
を有し、
前記路面領域サイズ決定部は、
算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも長く、かつ第２の閾値よりも短い場合は、前記候補領域と前記他の候補領域との間に、幅が前記第１の閾値の路面領域を設定し、
算出した前記候補領域と前記他の候補領域との距離が前記第２の距離よりも長い場合は、前記候補領域と前記他の候補領域との間に、幅が前記第２の閾値の路面領域を設定し、
算出した前記候補領域と前記他の候補領域との距離が前記第１の閾値よりも短い場合は、前記他の候補領域の車両側となる位置に、幅が前記第２の閾値の路面領域を設定する
ことを特徴とする車線境界線抽出装置。
【請求項３】
前記路面領域設定部は、
前記候補領域が前記車両の進行方向に向かって前記車両の右方側及び左方側のいずれに位置するかを判定する左右位置判定部を有し、
前記候補領域の車両側となる位置に前記路面領域を設定する
ことを特徴とする請求項１または２に記載の車線境界線抽出装置。
【請求項４】
走行する車両で撮像した車外画像データを取得する処理と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する処理と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する処理と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する処理と、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する処理と、
を有し、
前記路面領域を設定する処理は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する処理と、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出する処理と、
算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも長い場合は前記路面領域の設定位置を前記候補領域と前記他の候補領域との間に定め、算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも短い場合は前記路面領域の設定位置を前記他の候補領域の車両側となる位置に定める処理と、
を有する
ことを特徴とする車線境界線抽出方法。
【請求項５】
走行する車両で撮像した車外画像データを取得する処理と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する処理と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する処理と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する処理と、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する処理と、
をコンピュータに実行させ、
前記路面領域を設定する処理は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する処理と、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出する処理と、
算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも長い場合は前記路面領域の設定位置を前記候補領域と前記他の候補領域との間に定め、算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも短い場合は前記路面領域の設定位置を前記他の候補領域の車両側となる位置に定める処理と、
を有する
ことを特徴とするプログラム。
【請求項６】
走行する車両で撮像した車外画像データを取得する処理と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する処理と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する処理と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する処理と、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する処理と、
を有し、
前記路面領域を設定する処理は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する処理と、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出し、算出した距離に基づいて、前記路面領域の設定位置を定めるとともに、前記路面領域の幅を決定する処理と、
を有し、
前記決定する処理は、
算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも長く、かつ第２の閾値よりも短い場合に、前記候補領域と前記他の候補領域との間に、幅が前記第１の閾値の路面領域を設定する処理と、
算出した前記候補領域と前記他の候補領域との距離が前記第２の距離よりも長い場合に、前記候補領域と前記他の候補領域との間に、幅が前記第２の閾値の路面領域を設定する処理と、
算出した前記候補領域と前記他の候補領域との距離が前記第１の閾値よりも短い場合に、前記他の候補領域の車両側となる位置に、幅が前記第２の閾値の路面領域を設定する処理と、
を有する
ことを特徴とする車線境界線抽出方法。
【請求項７】
走行する車両で撮像した車外画像データを取得する処理と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する処理と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する処理と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する処理と、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する処理と、
を有し、
前記路面領域を設定する処理は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する処理と、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出し、算出した距離に基づいて、前記路面領域の設定位置を定めるとともに、前記路面領域の幅を決定する処理と、
をコンピュータに実行させ、
前記決定する処理は、
算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも長く、かつ第２の閾値よりも短い場合に、前記候補領域と前記他の候補領域との間に、幅が前記第１の閾値の路面領域を設定する処理と、
算出した前記候補領域と前記他の候補領域との距離が前記第２の距離よりも長い場合に、前記候補領域と前記他の候補領域との間に、幅が前記第２の閾値の路面領域を設定する処理と、
算出した前記候補領域と前記他の候補領域との距離が前記第１の閾値よりも短い場合に、前記他の候補領域の車両側となる位置に、幅が前記第２の閾値の路面領域を設定する処理と、
を有する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車線境界線抽出装置、車線境界線抽出方法、及びプログラムに関する。
【背景技術】
【０００２】
車両に搭載される車線逸脱警報装置は、走行中の車両が、ドライバーの意図的な操作を伴わずに車線を逸脱しそうな場合に警報を発する。この車線逸脱警報装置では、車両と、車両の進行方向の車外画像から抽出した車線境界線との距離に基づいて、車両が車線から逸脱しそうか否かを判定する。
【０００３】
車外画像中の車線境界線は、車線境界線抽出装置（以下単に「抽出装置」ともいう。）により抽出される。
【０００４】
車線境界線抽出装置では、車外画像中の水平方向に並んだ画素列における輝度値の変化パターン等に基づいて車線境界線を抽出する。そのため、電線の影で挟まれた領域等、輝度値の変化パターンが車線境界線と同様であるものの車線境界線には該当しない領域を、車線境界線として抽出してしまうことがある。
【０００５】
このような車線境界線の誤抽出を防ぐため、車外画像から検出した車線境界線の候補領域と、車外画像における路面領域との輝度の差に基づいて、車線境界線に該当する候補領域を抽出する抽出装置が提案されている。
【０００６】
この種の抽出装置では、車両の進行方向に向かって車両の右方側に位置する候補領域と、左方側に位置する候補領域とを一組にし、その一組の候補領域で挟まれた領域に路面領域を設定している（例えば特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２４４４５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の抽出装置において、路面領域は、車両の右方側に位置する候補領域と左方側に位置する候補領域とで挟まれた領域に設定している。そのため、検出した候補領域が車両の右方側及び左方側のいずれか一方のみに存在する場合、路面領域を設定することができない。したがって、車線の片端側のみに車線境界線が存在する場合、上記の抽出装置では、その車線境界線に該当する候補領域を検出しても車線境界線として抽出することができない。
【０００９】
本発明は上述の問題点に鑑みてなされたものであり、本発明の１つの側面に係わる目的は、車外画像から車線境界線に該当する領域を抽出する際の抽出精度を向上させることである。
【課題を解決するための手段】
【００１０】
本発明の１つの態様である車線境界線抽出装置は、走行する車両で撮像した車外画像データを取得する車外画像取得部と、前記車外画像データの路面部分から車線境界線の候補領域を検出する候補領域検出部と、前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する路面領域設定部と、前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する輝度算出部と、前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する候補領域評価部と、を備える。
【発明の効果】
【００１１】
上述の態様によれば、車外画像から車線境界線に該当する領域を抽出する際の抽出精度が向上する。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る車線境界線抽出装置の構成を示す機能ブロック図である。
【図２】車線境界線の抽出処理の手順を示すフローチャートである。
【図３】図２の路面領域設定処理の手順を示すフローチャートである。
【図４】白線候補領域の検出方法を説明する模式図である。
【図５】従来の路面領域設定方法とその問題点を説明する模式図である。
【図６】第１の実施形態の路面領域設定方法における特徴の１つを説明する模式図である。
【図７】第１の実施形態の路面領域設定方法における別の特徴を説明する模式図である。
【図８】第１の実施形態の路面領域設定方法における更に別の特徴を説明する模式図である。
【図９】図３のステップＳ５０７の処理を説明する模式図である。
【図１０】図３のステップＳ５０９の処理を説明する模式図である。
【図１１】図３のステップＳ５１０の処理を説明する模式図である。
【図１２】本発明の第２の実施形態に係る車線逸脱警報システムの構成を示す機能ブロック図である。
【図１３】本発明の第３の実施形態に係る運転記録管理システムの構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の実施形態（実施例）を詳細に説明する。
【００１４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る車線境界線抽出装置の構成を示す機能ブロック図である。
【００１５】
図１に示すように、第１の実施形態の車線境界線抽出装置１は、車外画像取得部２と、白線候補領域検出部３と、路面領域設定部４と、輝度値算出部５と、白線候補領域評価部６と、抽出結果出力部７と、記憶部８と、を備える。
【００１６】
車外画像取得部２は、車外画像又は車外映像のデジタルデータ（以下まとめて「車外画像データ」という。）を取得する。車外画像取得部２で取得する車外画像データは、走行中の車両における車両進行方向側の車外を、路面が含まれるよう撮像したものである。
【００１７】
白線候補領域検出部３は、取得した車外画像データから車線境界線の候補領域（以下「白線候補領域」という。）を検出する。
【００１８】
路面領域設定部４は、車外画像データの路面部分に路面領域を設定する。路面領域は、白線候補領域の妥当性を評価するための領域であり、検出された白線候補領域ごとに設定する。この路面領域設定部４は、左右位置判定部４ａと、近傍白線候補領域確認部４ｂと、路面領域サイズ決定部４ｃと、を有する。左右位置判定部４ａは、検出した白線候補領域が車両進行方向に向かって車両の右方側及び左方側のいずれに位置するかを判定する。近傍白線候補領域確認部４ｂは、白線候補領域の隣接内側（車両側）に他の白線候補領域が存在するか否かを確認する。路面領域サイズ決定部４ｃは、近傍白線候補領域確認部４ｂによる確認結果に基づいて路面領域の位置及びサイズ（幅）を決定する。
【００１９】
輝度算出部５は、路面領域の代表輝度及び白線候補領域の代表輝度を算出する。この輝度算出部５は、路面領域内輝度算出部５ａと、白線候補領域内輝度算出部５ｂと、を有する。路面領域内輝度算出部５ａは、路面領域内の各画素の輝度値に基づいて、路面領域の代表輝度を算出する。白線候補領域内輝度算出部５ｂは、白線候補領域内の各画素の輝度値に基づいて、白線候補領域の代表輝度を算出する。
【００２０】
白線候補領域評価部６は、路面領域の代表輝度と白線候補領域の代表輝度との差に基づいて白線候補領域が車線境界線として相応しいか否かを評価し、車線境界線として相応しい白線候補領域のみを白線領域（車線境界線）として抽出する。
【００２１】
抽出結果出力部７は、抽出した白線領域の位置情報を含む白線領域データを車外画像データと対応付けし、車線境界線抽出装置１の外部に出力する。
【００２２】
記憶部８は、初期閾値８ａや過去の処理結果８ｂ等を記憶する。初期閾値８ａは、路面領域設定部４で行う処理や白線候補領域評価部６で行う処理で使用する閾値の初期値である。過去の処理結果８ｂは、すでに白線領域（車線境界線）の抽出が行われた車外画像データにおける白線領域の位置情報、路面領域の代表輝度、白線候補領域の代表輝度等を含むデータである。
【００２３】
図２は、車線境界線の抽出処理の手順を示すフローチャートである。図３は、図２の路面領域設定処理の手順を示すフローチャートである。
【００２４】
車線境界線抽出装置１において車外画像データから車線境界線（白線領域）を抽出する際には、図２に示すように、まず車外画像データを取得する（ステップＳ１）。車外画像データは、車外画像取得部２で取得する。なお、ステップＳ１で取得する車外画像データは、車両進行方向に向かって車両前方側の路面を含むものに限らず、車両進行方向に向かって車両後方側の路面を含ものであってもよい。
【００２５】
次に、車外画像データ内に白線候補領域があるか検索し（ステップＳ２）、白線候補領域を検出した場合には検出した白線候補領域の位置及び寸法を特定する。ステップＳ２の処理は、白線候補領域検出部３で行う。白線候補領域検出部３は、後述するように、車外画像データにおける車線境界線の特徴と同様の特徴を有する領域を、車線境界線であるか否かにかかわらず全て検出する。
【００２６】
ステップＳ２の処理の結果、白線候補領域が検出されなかった場合（ステップＳ３；ＮＯ）は、ステップＳ１で取得した車外画像データに対する抽出処理を終了する。
【００２７】
一方、ステップＳ２の処理の結果、白線候補領域が検出された場合（ステップＳ３；ＹＥＳ）は、検出された白線候補領域が車線境界線として相応しいかを検証する処理（ステップＳ４〜Ｓ１０）を行う。
【００２８】
白線候補領域が検出された場合（ステップＳ３；ＹＥＳ）、検出された白線候補領域の中から検証対象の白線候補領域を１つ選択する（ステップＳ４）。ステップＳ４の処理は、路面領域設定部４の左右位置判定部４ａで行う。検出された白線候補領域が１つの場合、左右位置判定部４ａは、自動的にその白線候補領域を選択する。一方、検出された白線候補領域が複数の場合、左右位置判定部４ａは、予め定められた選択ルールに従って白線候補領域を選択する。選択ルールとしては、車外画像データにおいて最も左側に位置する未検証の白線候補領域を選択すること等が挙げられる。
【００２９】
次に、選択した白線候補領域に対して路面領域を設定する路面領域設定処理を行う（ステップＳ５）。ステップＳ５の処理は、路面領域設定部４で行う。このステップＳ５の処理では、図３に示すように、まず選択した白線候補領域が車線の右側か左側かを判定する（ステップＳ５０１）。ステップＳ５０１の処理は、路面領域設定部４の左右位置判定部４ａで行う。左右位置判定部４ａは、車外画像データにおける白線候補領域の位置から、車外画像データを撮像した車両が走行する車線の右方側及び左方側のどちらに位置するかを判定する。
【００３０】
次に、選択した白線候補領域を、路面領域設定用の基準線に設定する（ステップＳ５０２）。ステップＳ５０２の処理は、左右位置判定部４ａ又は近傍白線候補領域確認部４ｂで行う。
【００３１】
次に、基準線の隣接内側に他の白線候補領域があるかを確認し（ステップＳ５０３）、他の白線候補領域が無い場合（ステップＳ５０３；ＮＯ）は、基準線の隣接内側に幅ＷＭＡＸの路面領域を設定する（ステップＳ５０４）。なお、第１の実施形態では、路面領域を矩形とし、路面領域の幅は、基準線の法線方向（車線の幅員方向）の寸法とする。また、幅ＷＭＡＸは、記憶部８に記憶させた初期閾値８ａの１つ（第２の閾値）である。ステップＳ５０３の判断は、近傍白線候補領域確認部４ｂで行い、ステップＳ５０４の処理は、路面領域サイズ決定部４ｃで行う。
【００３２】
一方、基準線の隣接内側に他の白線候補領域が有る場合（ステップＳ５０３；ＹＥＳ）は、次に、基準線と他の白線候補領域との距離Ｄを算出する（ステップＳ５０５）。そして、算出した距離Ｄと予め定めた第１の閾値ＷＭＩＮとを比較する（ステップＳ５０６）。距離Ｄが第１の閾値ＷＭＩＮ以下である場合（ステップＳ５０６；ＮＯ）は、基準線を隣接内側の他の白線候補領域に変更し（ステップＳ５０７）、ステップＳ５０３の判断に戻る。第１の閾値ＷＭＩＮは、記憶部８に記憶させた初期閾値８ａの１つであり、第２の閾値ＷＭＡＸよりも小さい正の値である。ステップＳ５０５〜Ｓ５０７の処理は、近傍白線候補領域確認部４ｂで行う。
【００３３】
また、距離Ｄが第１の閾値ＷＭＩＮよりも大きい場合（ステップＳ５０６；ＹＥＳ）は、次に、距離Ｄと予め定めた第２の閾値ＷＭＡＸとを比較する（ステップＳ５０８）。なお、第２の閾値ＷＭＡＸは、上記のように第１の閾値ＷＭＩＮよりも大きい値である。
【００３４】
距離Ｄが第２の閾値ＷＭＡＸよりも小さい場合（ステップＳ５０８；ＮＯ）は、基準線と他の白線候補領域との間に幅ＷＭＩＮの路面領域を設定する（ステップＳ５０９）。一方、距離Ｄが第２の閾値ＷＭＡＸ以上である場合（ステップＳ５０８；ＹＥＳ）は、基準線と他の白線候補領域との間に幅ＷＭＡＸの路面領域を設定する（ステップＳ５１０）。ステップＳ５０８の判断は、近傍白線候補領域確認部４ｂで行い、ステップＳ５０９及びＳ５１０の処理は、路面領域サイズ決定部４ｃで行う。
【００３５】
上記のステップＳ５０４、Ｓ５０９、又はＳ５１０の処理により路面領域を設定すると、図３に示した路面領域設定処理（すなわち図２のステップＳ５の処理）が終了する。
【００３６】
路面領域設定処理（ステップＳ５）が終了すると、図２に示したように、次に、設定した路面領域の輝度ＶＲを算出する（ステップＳ６）とともに、選択した白線候補領域の輝度ＶＬを算出する（ステップＳ７）。ステップＳ６の処理は、輝度算出部５の路面領域内輝度算出部５ａで行い、ステップＳ７の処理は、輝度算出部５の白線候補領域内輝度算出部５ｂで行う。
【００３７】
ステップＳ６の処理では、例えば路面領域内の画素の輝度値におけるノイズ成分を除去した後、輝度値の平均値を代表輝度（輝度ＶＲ）とする。なお、ステップＳ６の処理では、例えば路面領域内の画素についての輝度ヒストグラムを算出し、画素数が最も多い輝度を路面領域の代表輝度（輝度ＶＲ）としてもよい。一方、ステップＳ７の処理では、例えば撮像装置固有の輪郭強調フィルタの特性を考慮し、白線候補領域の輪郭から所定の画素数内側の領域での画素の平均輝度を代表輝度（輝度ＶＬ）として算出する。これらステップＳ６，Ｓ７の処理では、輝度値として、各画素の階調値を用いる。例えば、取得した車外画像がモノクロ２５６階調であれば、輝度の最も小さい黒の階調値が０、輝度の最も大きい白の階調値が２５５となり、各画素の階調値は０〜２５５のいずれかの数値になる。ステップＳ６，Ｓ７の処理では、各領域内の画素についての階調値の平均値、あるいはヒストグラムにおいて画素数が最も多い階調値を各領域の代表輝度とする。
【００３８】
次に、白色候補領域の輝度ＶＬと路面領域の輝度ＶＲとの差（ＶＬ−ＶＲ）を算出し、算出した差（ＶＬ−ＶＲ）と予め定めた第３の閾値ＴＨとを比較する（ステップＳ８）。第３の閾値ＴＨは、記憶部８に記憶させた初期閾値８ａの１つであり、路面の地肌に対して車線境界線が最低限持つべき輝度の差である。取得する車外画像がモノクロ２５６階調であり、路面がアスファルト舗装である場合、第３の閾値ＴＨは、例えば１５〜２０程度の値にする。算出した差（ＶＬ−ＶＲ）が第３の閾値ＴＨよりも大きい場合（ステップＳ８；ＹＥＳ）は、ステップＳ４で選択した白線候補領域を白線領域として抽出し保持する（ステップＳ９）。一方、算出した差（ＶＬ−ＶＲ）が第３の閾値ＴＨ以下である場合（ステップＳ８；ＮＯ）は、ステップＳ４で選択した白線候補領域を削除する（ステップＳ１０）。ステップＳ８〜Ｓ１０の処理は、白線候補領域評価部６で行う。このとき、白線候補領域評価部６は、ステップＳ９で抽出した白線領域の輝度データ及び路面領域の輝度データを、記憶部８に過去の処理結果８ｂとして記憶させる。
【００３９】
なお、第３の閾値ＴＨは、初期閾値８ａの１つとして記憶部８に記憶させた特定の値に限らず、過去の処理結果８ｂとして記憶させた白線領域の輝度データ及び路面領域の輝度データに基づいて算出した値を用いてもよい。その場合、第３の閾値ＴＨは、例えば白線領域の輝度データ及び路面領域の輝度データから輝度ヒストグラムを算出し、その輝度ヒストグラムに対して統計処理を行って算出する。
【００４０】
上記のようにステップＳ４で選択した白線候補領域に対してステップＳ５〜Ｓ１０の検証を行った後、未検証の白線候補領域が有る場合（ステップＳ１１；ＹＥＳ）は、ステップＳ４に戻り、未検証の白線候補領域に対する検証を行う。そして、全ての白線候補領域に対する検証が終了すると、ステップＳ１で取得した車外画像データについての車線境界線の抽出処理が終了する。こうして車線境界線の抽出処理が終了すると、車線境界線抽出装置１は、抽出した白線領域の位置情報を含む白線領域データと車外画像データとを対応付けし、抽出結果出力部７から車線境界線抽出装置１の外部に出力する。これにより、取得した車外画像データに対する車線境界線の抽出処理が終了する。
【００４１】
なお、車線境界線抽出装置１は、車外画像取得部２で車外画像データを取得すると、都度図２に示したステップＳ２〜Ｓ１１の処理を行う。
【００４２】
以下、図２及び図３に示した車線境界線抽出処理の具体例を、従来の抽出方法と対比しながら説明する。
【００４３】
図４は、白線候補領域の検出方法を説明する模式図である。なお、図４の（ａ）は、車外画像の一例であり、図４の（ｂ）は、図４の（ａ）に示した車外画像の画素列ＰＨにおける各画素の輝度値を示すグラフである。
【００４４】
車線境界線抽出装置１で取得する車外画像データは、上述のように、車両進行方向の車外を、路面が含まれるよう撮像した画像データである。図４の（ａ）に示すように、車外画像における路面部分の部分画像１００には、車両が走行している車線１０１、車線境界線（白線）１０２，１０４、及び車線外領域１０３，１０５が写っている。このような部分画像１００から白線候補領域を検出する際には、輝度の変化パターンを利用する。例えばアスファルト舗装された路面では、車線１０１や車線外領域１０３，１０５は路面（アスファルト）が露出している。一方、車線境界線１０２，１０４は、路面上に白色塗料等で設けている。そのため、部分画像１００における水平方向の画素列ＰＨについて、各画素の輝度値を調べると、図４の（ｂ）に示したように、車線境界線１０２，１０４と対応する区間の輝度値が、車線１０１及び車線外領域１０３，１０５の輝度値よりも大きくなる。したがって、部分画像１００における水平方向の中心位置（０）から部分画像１００の左端（−ＰＸ）に向かって各画素の輝度値を見ていくと、車線１０１と車線境界線１０２との境界で輝度値が急激に高くなり、車線境界線１０２と車線外領域１０３との境界で輝度値が急激に低くなる。同様に、部分画像１００における水平方向の中心位置（０）から部分画像１００の右端（ＰＸ）に向かって各画素の輝度値を見ていくと、車線１０１と車線境界線１０４との境界で輝度値が急激に高くなり、車線境界線１０４と車線外領域１０５との境界で輝度値が急激に低くなる。このことから、水平方向に並んだ画素における輝度値が局所的に高くなっている区間は、車線境界線である可能性が高いといえる。このため、図４の（ａ）に示した部分画像１００からは、車線境界線１０２，１０４がそれぞれ白線候補領域ＡＬ１，ＡＬ２として検出される。
【００４５】
また、部分画像１００における車線境界線１０２の幅は、実環境の路面上における車線境界線の幅（１５ｃｍ程度）や、部分画像１００を撮像した撮像装置の画角及び解像度等から算出することができる。そのため、水平方向に並んだ画素における輝度値が局所的に高くなっており、かつその高くなっている区間が車線境界線１０２の幅に近い場合は、車線境界線である可能性が非常に高いといえる。したがって、車線境界線抽出装置１（白線候補領域検出部３）では、例えば輝度値が局所的に高くなっており、かつ高くなっている区間が予め定めた車線境界線１０２の幅に近い領域を、全て白線候補領域として検出する。
【００４６】
より具体的には、例えば、まずLaplacian Of Gaussian（ＬＯＧ）フィルタ等を用いたエッジ検出処理により車線１０１と車線境界線１０２，１０４との境界等を算出し、算出したエッジ情報に対してラベリングを実施する。その後、線分の方向や形状等を考慮してノイズ成分を除去するとともに、連結処理を実施して車両の進行方向に連続している線素を抽出する。そして、抽出した線素で挟まれる領域のうち、上記の輝度の変化パターンや車線境界線１０２，１０４の幅等の条件を満たす領域を白線候補領域ＡＬ１，ＡＬ２として検出する。
【００４７】
こうして白線候補領域を検出したら、次に、白線候補領域が車線境界線として相応しいか否かを検証するため、路面領域を設定する。
【００４８】
図５は、従来の路面領域設定方法とその問題点を説明する模式図である。
検出した白線候補領域に対して路面領域を設定する場合、従来の設定方法では、図５に示すように、車線１０１の左方側に位置する白線候補領域ＡＬ１と、右方側に位置する白線候補領域ＡＬ２との間に１つの路面領域ＡＲを設定する。この際、図５に示した部分画像１００のように、車線１０１の全面が路面の地肌（例えばアスファルト）の露出した面であれば、路面領域ＡＲの輝度は、地肌の輝度と同一又はほぼ等しくなる。そのため、白線候補領域ＡＬ１と路面領域ＡＲとの輝度を比較した場合、及び白線候補領域ＡＬ２と路面領域との輝度を比較した場合に、いずれも輝度の差が大きくなり、白線候補領域ＡＬ１，ＡＬ２を車線境界線（白線領域）として相応しいと評価できる。
【００４９】
しかしながら、車線１０１には、例えば制限速度の数値等の道路標識（路面標示）を設けていることがある。道路標識は、車線境界線と同様の白色塗料等で設けてあるため、路面の地肌よりも輝度が高い。そのため、設定した路面領域ＡＲ内に道路標識があると、路面領域ＡＲの輝度が、地肌の輝度よりも高くなる。この場合、白線候補領域ＡＬ１，ＡＬ２と路面領域ＡＲとの輝度を比較すると、路面の地肌のみで算出した輝度で比較した場合に比べて輝度の差が小さくなる。そのため、白線候補領域ＡＬ１，ＡＬ２を車線境界線（白線領域）として相応しくないと評価してしまうおそれがある。
【００５０】
また、例えば白線候補領域ＡＬ１及びその近傍にのみ建物等の影がかかっている場合には、路面領域ＡＲ内に道路標識がなくても、白線候補領域ＡＬ１と路面領域ＡＲとの輝度の差が小さくなる。そのため、白線候補領域ＡＬ１を車線境界線（白線領域）として相応しくないと評価してしまうおそれがある。
【００５１】
更に、従来の設定方法では、車線１０１の左方側に位置する白線候補領域ＡＬ１と右方側に位置する白線候補領域ＡＬ２とを一組とし、この一組の白線候補領域ＡＬ１，ＡＬ２の間に１つの路面領域ＡＲを設定する。そのため、車線１０１の左方側及び右方側のいずれか一方にのみ車線境界線が存在する場合、路面領域を設定することができない。
【００５２】
これに対し、第１の実施形態の車線境界線抽出装置１では、上述のように、検出した白線候補領域ごとに、白線候補領域と対応付けした路面領域を設定する。
【００５３】
図６は、第１の実施形態の路面領域設定方法における特徴の１つを説明する模式図である。
【００５４】
第１の実施形態の路面領域設定方法では、図６に示すように、車線１０１の左方側に位置する白線候補領域ＡＬ１に対して路面領域ＡＲ１を設定するとともに、車線１０１の右方側に位置する白線候補領域ＡＲ２に対して路面領域ＡＲ２を設定する。この際、路面領域ＡＲ１，ＡＲ２は、それぞれ、対応付けする白線候補領域ＡＬ１，ＡＬ２の内側（車両側）に設定する。また、路面領域ＡＲ１，ＡＲ２は、車線１０１の道路標識が含まれないよう白線候補領域ＡＬ１，ＡＬ２の近傍に局所的に設定する。これにより、路面領域ＡＲ１，ＡＲ２の輝度が地肌の輝度よりも高くなることを防げ、白線候補領域ＡＬ１，ＡＬ２と路面領域ＡＲ１，ＡＲ２との輝度の差が小さくなることを防げる。また、例えば白線候補領域ＡＬ１に建物等の影がかかっている場合には、その影が路面領域ＡＲ１にもかかっていることが多い。そのため、影による輝度の低下が白線候補領域ＡＬ１及び路面領域ＡＲ１で生じ、白線候補領域ＡＬ１の輝度と路面領域ＡＲ１の輝度との相対的な差は維持される。したがって、影により白線候補領域ＡＬ１と路面領域ＡＲとの輝度の差が小さくなることを防げる。
【００５５】
このように、第１の実施形態の路面領域設定方法では、車線１０１の道路標識や影により白線候補領域ＡＬ１と路面領域ＡＲとの輝度の差が小さくなることを防げる。したがって、白線候補領域ＡＬ１，ＡＬ２を車線境界線（白線領域）として相応しくないと評価してしまうことを防げる。
【００５６】
また、白線候補領域ＡＬ１，ＡＬ２の内側（車両側）に路面領域ＡＲ１，ＡＲ２を設定することにより、車線外領域１０３，１０５が狭い場合でも、安定した輝度の算出が可能なサイズの路面領域ＡＲ１，ＡＲ２を設定することができる。
【００５７】
更に、図示は省略するが、白線候補領域ごとに路面領域を設定するため、例えば検出した白線候補領域が車線１０１の片端側のみにある場合でも、路面領域を設定し、車線境界線として相応しいか否かを評価できる。
【００５８】
図７は、第１の実施形態の路面領域設定方法における別の特徴を説明する模式図である。なお、図７の（ａ）は、車線境界線が無い車外画像の一例であり、図７の（ｂ）は、図７の（ａ）に示した車外画像の画素列ＰＨにおける各画素の輝度値を示すグラフである。また、図７の（ｂ）には、図７の（ａ）における中心位置（Ｏ）よりも右側の領域の輝度値のみを示している。
【００５９】
車両が走行する路面には、車線境界線が無いこともある。しかしながら、車線境界線が無い路面を含む車外画像を取得した場合、例えば図７の（ａ）に示すように、部分画像１００における車線１０１の端部に電線の影１０６，１０７が入り込んでいることがある。このように電線の影１０６，１０７が入り込んでいると、部分画像１００の画素列ＰＨにおける各画素の輝度値は、図７の（ｂ）に示したようになる。すなわち、電線の影１０６，１０７に該当する区間の輝度値が、路面の地肌の輝度値よりも小さくなる。そのため、輝度の変化パターン等に基づいて白線候補領域を検出すると、電線の影１０６，１０７で挟まれた領域が白線候補領域ＡＬ３として検出されることがある。このように、電線の影１０６，１０７で挟まれた領域を白線候補領域ＡＬ３として検出した場合、この白線候補領域ＡＬ３に対して路面領域ＡＲ３が設定される。このとき、白線候補領域ＡＬ３及び路面領域ＡＲ３はいずれも路面の地肌であるため、白線候補領域ＡＬ３及び路面領域ＡＲ３の輝度は同一又はほぼ等しくなる。そのため、白線候補領域ＡＬ３の輝度と路面領域ＡＲ３の輝度との差は０もしくは非常に小さな値になる。したがって、図２に示したように、白線候補領域の輝度と路面領域の輝度との差が予め定めた第３の閾値ＴＨよりも小さい場合には白線候補領域を削除することで、車線境界線として相応しくない白線候補領域ＡＬ３を削除できる。なお、第３の閾値ＴＨは、上記のような路面の地肌に該当する白線候補領域ＡＬ３を確実に削除でき、車線境界線に該当する白線候補領域を確実に抽出できる値であればよく、適宜変更可能である。
【００６０】
図８は、第１の実施形態の路面領域設定方法における更に別の特徴を説明する模式図である。なお、図８の（ａ）は、白線候補領域の隣接内側に他の白線候補領域が存在する車外画像の一例であり、図８の（ｂ）は、白線候補領域ＡＬ１と対応付ける路面領域の設定例である。
【００６１】
車両が走行する路面には、車線の片側に複数本の車線境界線（多重線）が引かれていることがある。すなわち、図８の（ａ）に示すように、取得した車外画像の部分画像１００において、車線１０１の左方側に、実線の車線境界線１０２及び破線の白線１０８が存在することがある。このような部分画像から白線候補領域を検出すると、車線境界線１０２に該当する白線候補領域ＡＬ１と、破線の白線１０８に該当する白線候補領域ＡＬ４とが検出される。このとき、白線候補領域ＡＬ１に対する路面領域ＡＲ１を、図８の（ａ）に示したように白線候補領域１の内側近傍に設定すると、破線の白線１０８における白線要素１０８ａが路面領域ＡＲ１内に含まれてしまう。そのため、路面領域ＡＲ１の輝度を算出したときに、路面の地肌の輝度よりも高くなってしまい、白線候補領域ＡＬ１と路面領域ＡＲ１との輝度の差が小さくなってしまう。
【００６２】
そこで、第１の実施形態の路面領域設定方法では、図８の（ｂ）に示したように、路面領域ＡＲ１の設定対象である白線候補領域ＡＬ１（基準線）の内側近傍に他の白線候補領域ＡＬ４がある場合、他の白線候補領域ＡＬ４よりも内側に路面領域ＡＲ１を設定する。すなわち、白線候補領域ＡＬ１に対する路面領域ＡＲ１は、他の白線候補領域ＡＬ４を含まない位置に設定する。これにより、路面領域ＡＲ１の輝度が地肌の輝度よりも高くなることを防げ、白線候補領域ＡＬ１を車線境界線（白線領域）として相応しくないと評価してしまうことを防げる。
【００６３】
なお、第１の実施形態の路面領域設定方法では、白線候補領域の内側に他の白線候補領域がある場合、図３に示したように、白線候補領域と他の白線候補領域との距離Ｄに応じて、白線候補領域に対する路面領域の設定位置及びサイズ（幅）を決める。
【００６４】
図９は、図３のステップＳ５０７の処理を説明する模式図である。なお、図９の（ａ）は、白線候補領域の距離Ｄが第１の閾値ＷＭＩＮよりも小さい部分画像１００の一例であり、図９の（ｂ）は、白線候補領域ＡＬ１に対して設定される路面領域ＡＲ１の一例である。
【００６５】
図３のステップＳ５０７の処理は、路面領域の設定対象である白線候補領域（基準線）と他の白線候補領域との距離Ｄが第１の閾値ＷＭＩＮ以下である場合（ステップＳ５０６；ＮＯ）に行われる。すなわち、部分画像１００における白線候補領域ＡＬ１と白線候補領域ＡＬ４との距離Ｄと、第１の閾値ＷＭＩＮとが、図９の（ａ）に示したような関係である場合に、ステップＳ５０７の処理が行われる。白線候補領域ＡＬ１の内側近傍に幅が第１の閾値ＷＭＩＮの矩形領域ＡＲ１ａを設定すると、矩形領域ＡＲ１ａ内に白線候補領域ＡＬ４が含まれる。ここで、矩形領域ＡＲ１ａの幅とする第１の閾値ＷＭＩＮは、路面領域の輝度を正しく算出でき、かつできるだけ小さい値、例えば実環境における車線境界線１０２と破線の白線１０８との距離である約１０ｃｍに相当する値にしておく。この場合、白線候補領域ＡＬ１の内側近傍に路面領域ＡＲ１を設定すると、路面領域ＡＲ１内に白線候補領域ＡＬ４が含まれるため、路面領域ＡＲ１の輝度を正しく算出することができない。そのため、白線候補領域ＡＬ１と白線候補領域ＡＬ４との距離Ｄが第１の閾値ＷＭＩＮよりも小さい場合は、路面領域ＡＲ１を設定するための基準線を白線候補領域ＡＬ４に変更する（ステップＳ５０７）。図９の（ａ）に示した部分画像１００では、白線候補領域ＡＬ４の内側に他の白線候補領域が存在しない。したがって、ステップＳ５０７の処理の行いステップＳ５０３に戻った後は、ステップＳ５０４の処理が行われる。すなわち、白線候補領域ＡＬ１と対応付ける路面領域ＡＲ１は、白線候補領域ＡＬ４を基準線として設定され、図９の（ｂ）に示すように、白線候補領域ＡＬ４の内側近傍に設定される。このとき、路面領域ＡＲ１の幅は、第２の閾値ＷＭＡＸにする。第２の閾値ＷＭＡＸは、路面領域の輝度をより正しく算出でき、かつ車線１０１の道路標識が含まれない程度の値、例えば第１の閾値ＷＭＩＮの数倍等、車線１０１の幅員方向の中心を越えない範囲の値にしておく。
【００６６】
また、図示は省略するが、白線候補領域ＡＬ４に対する路面領域を設定するときには、白線候補領域ＡＬ４の内側に他の白線候補領域が無いため、路面領域は白線候補領域ＡＬ４を基準線として設定される。この路面領域は、白線候補領域ＡＬ１に対する路面領域ＡＲ１と同じ位置及び同じサイズ（幅ＷＭＡＸ）に設定される。
【００６７】
図１０は、図３のステップＳ５０９の処理を説明する模式図である。なお、図１０の（ａ）は、白線候補領域の距離Ｄが第１の閾値ＷＭＩＮより大きく第２の閾値ＷＭＡＸより小さい部分画像１００の一例であり、図１０の（ｂ）は、白線候補領域ＡＬ１，ＡＬ４に対して設定される路面領域ＡＲ１，ＡＲ４の一例である。
【００６８】
図３のステップＳ５０９は、路面領域の設定対象である白線候補領域（基準線）と他の白線候補領域との距離Ｄが第１の閾値ＷＭＩＮより大きく（ステップＳ５０６；ＹＥＳ）、かつ距離Ｄが第２の閾値ＷＭＡＸより小さい（ステップＳ５０８；ＮＯ）場合に行われる。すなわち、部分画像１００における白線候補領域ＡＬ１と白線候補領域ＡＬ４との距離Ｄと、第１の閾値ＷＭＩＮ及び第２の閾値ＷＭＡＸとが、図１０の（ａ）に示した関係である場合に、ステップＳ５０９の処理が行われる。このとき、白線候補領域ＡＬ１の内側近傍に幅が第１の閾値ＷＭＩＮの矩形領域ＡＲ１ａを設定すると、矩形領域ＡＲ１ａ内に白線候補領域ＡＬ４が含まれない。第１の閾値ＷＭＩＮは、上述のように、路面領域の輝度を正しく算出でき、かつできるだけ小さい値（例えば実環境での約１０ｃｍに相当する値）にしてある。そのため、図１０の（ｂ）に示すように、白線候補領域ＡＬ１と白線候補領域ＡＬ４との間に設定可能な矩形領域ＡＲ１ａを、白線候補領域ＡＬ１に対する候補領域ＡＲ１とすることができる。これにより、候補領域ＡＲ１が白線候補領域ＡＬ１から離れた位置に設定されることを防ぎ、建物等の影により白線候補領域ＡＬ１と候補領域ＡＲ１との輝度の差が小さくなることを防げる。
【００６９】
また、白線候補領域ＡＬ４に対する路面領域ＡＲ４を設定するときには、白線候補領域ＡＬ４の内側に他の白線候補領域が無いため、路面領域ＡＲ４は白線候補領域ＡＬ４の内側近傍に設定される。この路面領域ＡＲ４は、上記のように輝度をより正しく算出するため、幅を第２の閾値ＷＭＡＸにする。
【００７０】
図１１は、図３のステップＳ５１０の処理を説明する模式図である。なお、図１１の（ａ）は、白線候補領域の距離Ｄが第２の閾値ＷＭＡＸ以上である部分画像１００の一例であり、図１１の（ｂ）は、白線候補領域ＡＬ１に対して設定される路面領域ＡＲ１の一例である。
【００７１】
図３のステップＳ５１０は、路面領域の設定対象である白線候補領域（基準線）と他の白線候補領域との距離Ｄが第２の閾値ＷＭＡＸ以上である場合（ステップＳ５０８；ＹＥＳ）に行われる。すなわち、部分画像１００における白線候補領域ＡＬ１と白線候補領域ＡＬ４との距離Ｄと、第１の閾値ＷＭＩＮ及び第２の閾値ＷＭＡＸとが、図１１の（ａ）に示した関係である場合に、ステップＳ５１０の処理が行われる。このとき、白線候補領域ＡＬ１の内側近傍に幅が第２の閾値ＷＭＡＸの路面領域ＡＲ１を設定しても、路面領域ＡＲ１内に他の白線候補領域は含まれない。そのため、図１１の（ｂ）に示すように、白線候補領域ＡＬ１と白線候補領域ＡＬ４との間に幅ＷＭＡＸの路面領域ＡＲ１を設定できる。これにより、候補領域ＡＲ１が白線候補領域ＡＬ１から離れた位置に設定されることを防ぎ、建物等の影により白線候補領域ＡＬ１と候補領域ＡＲ１との輝度の差が小さくなることを防げる。
【００７２】
また、白線候補領域ＡＬ４に対する路面領域ＡＲ４を設定するときには、白線候補領域ＡＬ４の内側に他の白線候補領域が無いため、路面領域ＡＲ４は白線候補領域ＡＬ４の内側近傍に設定される。この路面領域ＡＲ４も、上記のように輝度をより正しく算出するため、幅を第２の閾値ＷＭＡＸにする。
【００７３】
上述のように、第１の実施形態の車線境界線抽出装置及び抽出方法においては、検出した白線候補領域ごとに路面領域を設定するので、車両が走行している車線の片側のみに白線候補領域が存在する場合にも路面領域を設定することができる。そのため、車線の片側のみに白線候補領域が存在する場合でも、その白線候補領域が車両境界線として相応しいか否かを評価することができる。
【００７４】
また、白線候補領域の評価は、白線候補領域の輝度と路面領域の輝度との差が予め定めた第３の閾値ＴＨよりも大きいか否かで行う。白色候補領域が車線境界線（白線）に該当する場合、白線候補領域の輝度は路面領域の輝度よりも大きくなる。一方、白線候補領域が路面の地肌（例えば電線の影で挟まれた領域）である場合、白線候補領域の輝度は路面領域の輝度とほぼ等しくなる。したがって、白線候補領域の輝度と路面領域の輝度との差が第３の閾値ＴＨよりも大きい場合に、その白線候補領域が車線境界線として相応しいと評価することにより、車線の片側のみに存在する車線境界線を確実に抽出することができる。また、電線の影で挟まれた路面の地肌のような白線候補領域は車線境界線として相応しくないと評価されるので、削除することができる。したがって、第１の実施形態の車線境界線抽出装置によれば、車外画像データから車線境界線を精度よく抽出することができる。
【００７５】
更に、第１の実施形態の車線境界線抽出装置及び抽出方法においては、選択した白線候補領域に対する路面領域を設定する際に、他の候補領域が含まれないように設定する。そのため、輝度算出部５（路面領域内輝度算出部５ａ）で算出する路面領域の輝度が路面の地肌の輝度よりも大きくなることを防げる。したがって、車線境界線に該当する白線候補領域の輝度と路面領域の輝度との差が実際の差よりも小さくなることを防げ、車線境界線に該当する白線候補領域が削除されてしまう事態を防ぐことができる。
【００７６】
しかも、第１の実施形態の車線境界線抽出装置及び抽出方法においては、白線候補領域の内側近傍（車両側）に局所的に路面領域を設定する。白線候補領域の内側は、車両が走行する車線であるため、路面の地肌である領域が確実に存在している。また、車外画像における白線候補領域の内側は、白線候補領域の外側（車両側とは反対側）と比べて路面領域を設定可能な領域の面積が広い。そのため、白線候補領域の車両側に路面領域を設定することで、路面領域を、路面領域の輝度の信頼性を確保できるサイズ（幅）にすることができる。また、候補領域と他の候補領域との距離に基づいて、路面領域の設定位置を決めることにより、路面領域の輝度の信頼性を確保した状態で路面領域を白色候補領域の近傍に設定することができる。そのため、白色候補領域と路面領域との明るさ状態の差を小さくでき、例えば晴れた日に白線候補領域にのみ建物の影がかかり白線候補領域の輝度と路面領域の輝度との差が小さくなるような事態を防ぐことができる。したがって、天候や時間帯による車線境界線の抽出精度のばらつきを小さくできる。
【００７７】
なお、第１の実施形態では路面領域を矩形にしているが、路面領域の形状は、これに限らず、平行四辺形や台形等にしてもよい。その場合、各形状の路面領域における基準線の法線方向の寸法について第１の閾値ＷＭＩＮ及び第２の閾値ＷＭＡＸを設定し、図３に示した路面領域設定処理を行えばよい。
【００７８】
また、第１の実施形態では、図３に示したように、基準線（白線候補領域）と他の白線候補領域との距離Ｄに応じて、路面領域の幅を第１の閾値ＷＭＩＮ又は第２の閾値ＷＭＡＸに設定している。しかしながら、路面領域の幅は、これに限らず、第１の閾値ＷＭＩＮのみに固定してもよい。その場合、ステップＳ５０８〜Ｓ５１０の処理は基準線と他の白線候補領域との間に幅ＷＭＩＮの路面領域を設定する１つの処理に置き換え、ステップＳ５０４では基準線の隣接内側に幅ＷＭＩＮの路面領域を設定する。こうすることで、路面領域設定処理が簡素化され、処理時間が短縮される。
【００７９】
また、第１の実施形態の車線境界線抽出装置１は、図１に示したような車外画像取得部２、白線候補領域検出部３等の各機能ブロックと対応する機能を有するハードウェアを組み合わせて実現してもよいし、コンピュータにプログラムを実行させて実現してもよい。コンピュータにプログラムを実行させる場合には、図２及び図３に示した処理（命令）が記述されたプログラムを、光学ディスクやメモリカード等の可搬型記録媒体又はインターネット等のネットワークを通じてコンピュータに導入し、実行させればよい。
【００８０】
（第２の実施形態）
図１２は、本発明の第２の実施形態に係る車線逸脱警報システムの構成を示す機能ブロック図である。
【００８１】
第２の実施形態に係る車線逸脱警報システムは、車両に搭載され、走行中の車両がドライバーの意図的な操作を伴わずに車線を逸脱しそうな場合に警報を発するシステムである。この車線逸脱警報システムは、図１２に示すように、撮像装置９と、車線境界線抽出装置１と、及び車線逸脱警報装置１０とを備える。撮像装置９は、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたデジタルカメラであり、車両の進行方向前方側又は後方側の車外画像を撮像する。この撮像装置９には、ドライブレコーダーやカーナビゲーションシステムが備えるカメラを用いることができる。
【００８２】
車線境界線抽出装置１は、第１の実施形態で説明したように、車外画像取得部２と、白線候補領域検出部３と、路面領域設定部４と、輝度算出部５と、白線候補領域評価部６と、抽出結果出力部７と、記憶部８と、を備える。
【００８３】
車線逸脱警報装置１０は、白線距離確認部１０ａと、警報出力部１０ｂとを備える。白線距離確認部１０ａは、車線境界線抽出装置１により車外画像から抽出した車線境界線（白線領域）の位置情報等に基づいて、車線境界線と自車両との距離を確認する。警報出力部１０ｂは、車線境界線と自車両との距離が予め定めた閾値よりも近くなり、かつ方向指示器の操作等のドライバーによる意図的な操作が行われていない場合に、警報を発する。
【００８４】
このような車線逸脱警報システムにおいては、誤警報を防止する観点等から、車外画像の車線境界線を精度よく抽出することが望まれる。第２の実施形態の車線逸脱警報システムで用いる車線境界線抽出装置１は、第１の実施形態で説明したように車線境界線の抽出精度を向上させることができる。そのため、第２の実施形態の車線逸脱警報システムは、車線境界線（白線領域）の誤検出等による誤警報を低減することができ、信頼性が向上する。
【００８５】
なお、第２の実施形態で挙げた車線逸脱警報システムは、例えば、車両が車線を逸脱しそうになった場合に車両を車線内に戻す力を発生させる車線逸脱防止支援システムと連携する構成であってもよい。
【００８６】
（第３の実施形態）
図１３は、本発明の第３の実施形態に係る運転記録管理システムの構成を示す機能ブロック図である。
【００８７】
第３の実施形態に係る運転記録管理システムは、撮像装置で撮像し蓄積した車外画像をオフライン処理、すなわち車両に搭載された装置とは別の装置によって処理し、運転記録として管理するシステムである。この運転記録管理システムは、図１３に示すように、画像処理装置１１と、ディスプレイ１２と、データベース１３と、を備える。
【００８８】
画像処理装置１１は、車線境界線抽出装置１及び車線逸脱判定装置１４を備えた装置であり、例えばコンピュータにプログラムを実行させることで実現する。なお、第３の実施形態の車線境界線抽出装置１における車外画像取得部２は、記憶媒体１５に記憶させた車外画像データを読み出して取得する。記憶媒体１５は、例えばメモリカード等の半導体メモリ、又はドライブレコーダーやカーナビゲーションシステムが内蔵するハードディスクドライブ等である。例えば記憶媒体１５がメモリカードの場合、記憶媒体１５を画像処理装置１１の所定のスロットに挿入して車外画像データを読み出す。記憶媒体１５がドライブレコーダー等に内蔵されたハードディスクドライブの場合は、Universal Serial Bus（ＵＳＢ）ケーブル等を用いた有線通信、あるいはBluetooth（登録商標）等の近距離無線通信により車外画像データを読み出す。車線境界線抽出装置１は、記憶媒体１５から読み出した車外画像データを用い、図２及び図３に示した手順で車線境界線を抽出し出力する。
【００８９】
車線逸脱判定装置１４は、白線距離確認部１４ａと、画像編集部１４ｂとを備える。白線距離確認部１４ａは、車線境界線抽出装置１により車外画像から抽出した車線境界線（白線領域）の位置情報等に基づいて、車線境界線と車両との距離を確認する。画像編集部１４ｂは、車線境界線と車両との距離が予め定めた閾値よりも近くなったシーンがある場合に、車外画像における該当シーンに車線を逸脱しそうであることを示す情報を付加する。
【００９０】
ディスプレイ１２は、例えば液晶ディスプレイであり、画像処理装置１１において処理された車外画像データを表示する。
【００９１】
データベース１３は、画像処理装置１１における処理結果を蓄積する。
このような運転記録管理システムは、複数の車両で撮像した車外画像について、それぞれ車線境界線を抽出して車線を逸脱しそうなシーンがあるか否かを判定し、その判定結果をデータベースに蓄積することができる。そのため、第３の実施形態の運転記録管理システムは、例えば輸送業におけるドライバーの能力の評価等に用いることができる。
【００９２】
なお、第３の実施形態の運転記録管理システムは、図１３に示した構成に限らず、適宜変更可能であることはもちろんである。例えば輸送会社の各営業所に画像処理装置１１及びディスプレイ１２を設置し、それぞれの画像処理装置１１と輸送会社の管理センタに設置されたデータベース１３とをインターネット等のネットワークで接続してもよい。また、輸送会社の管理センタに画像処理装置１１、ディスプレイ１２、及びデータベース１３を設置し、輸送会社の各営業所に設置された端末（コンピュータ）と画像処理装置１１とをネットワークで接続してもよい。
【００９３】
なお、本発明は、以上に述べた実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は実施形態を取ることができる。
【００９４】
上述した各実施形態に関し、更に以下の付記を開示する。
（付記１）
走行する車両で撮像した車外画像データを取得する画像データ取得部と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する候補領域検出部と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する路面領域設定部と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する輝度算出部と、
前記候補領域の輝度と前記路面領域の輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する候補領域評価部と、を備える
ことを特徴とする車線境界線抽出装置。
（付記２）
前記路面領域設定部は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する候補領域確認部を有し、
前記他の候補領域を含まない路面領域を設定する
ことを特徴とする付記１に記載の車線境界線抽出装置。
（付記３）
前記路面領域設定部は、
前記候補領域が前記車両の進行方向に向かって前記車両の右方側及び左方側のいずれに位置するかを判定する左右位置判定部を有し、
前記候補領域の車両側となる位置に前記路面領域を設定する
ことを特徴とする付記２に記載の車線境界線抽出装置。
（付記４）
前記路面領域設定部は、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出し、算出した距離に基づいて、前記路面領域の設定位置を定めるとともに、前記路面領域の幅を決定する路面領域サイズ決定部を有する
ことを特徴とする付記２に記載の車線境界線抽出装置。
（付記５）
前記路面領域サイズ決定部は、
算出した前記候補領域と前記他の候補領域との距離が予め定められた値よりも長い場合は前記路面領域の設定位置を前記候補領域と前記他の候補領域との間に定め、前記候補領域と前記他の候補領域との距離が前記第１の閾値よりも短い場合は前記路面領域の設定位置を前記他の候補領域の車両側となる位置に定める
ことを特徴とする付記４に記載の車線境界線抽出装置。
（付記６）
前記路面領域サイズ決定部は、
算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも長く、かつ第２の閾値よりも短い場合は、前記候補領域と前記他の候補領域との間に、幅が前記第１の閾値の路面領域を設定し、
算出した前記候補領域と前記他の候補領域との距離が前記第２の距離よりも長い場合は、前記候補領域と前記他の候補領域との間に、幅が前記第２の閾値の路面領域を設定し、
算出した前記候補領域と前記他の候補領域との距離が前記第１の閾値よりも短い場合は、前記他の候補領域の車両側となる位置に、幅が前記第２の閾値の路面領域を設定する
ことを特徴とする付記４に記載の車線境界線抽出装置。
（付記７）
走行する車両で撮像した車外画像データを取得する処理と、
前記車外画像データの路面部分から車線境界線の候補領域を検出する処理と、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定する処理と、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出する処理と、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する処理と、を有する
ことを特徴とする車線境界線抽出方法。
（付記８）
前記路面領域を設定する処理は、
前記候補領域の近傍に他の候補領域が存在するか否かを確認する処理と、
前記候補領域の近傍に前記他の候補領域が存在する場合に、前記候補領域と前記他の候補領域との距離を算出する処理と、
算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも長い場合は前記路面領域の設定位置を前記候補領域と前記他の候補領域との間に定め、算出した前記候補領域と前記他の候補領域との距離が第１の閾値よりも短い場合は前記路面領域の設定位置を前記他の候補領域の車両側となる位置に定める処理と、を有する
ことを特徴とする付記７に記載の車線境界線抽出方法。
（付記９）
前記候補領域と前記他の候補領域との距離が前記第１の閾値よりも長く、かつ第２の閾値よりも短い場合は、前記路面領域の幅を前記第１の閾値にし、
前記候補領域と前記他の候補領域との距離が前記第１の閾値よりも短い場合、又は前記第２の閾値よりも長い場合は、前記路面領域の幅を前記第２の閾値にする
ことを特徴とする付記８に記載の車線境界線抽出方法。
（付記１０）
走行する車両で撮像した車外画像データを取得し、
前記車外画像データの路面部分から車線境界線の候補領域を検出し、
前記候補領域ごとに、前記候補領域と対応する路面領域を前記車外画像データの路面部分に設定し、
前記候補領域の代表輝度及び前記路面領域の代表輝度を算出し、
前記候補領域の代表輝度と前記路面領域の代表輝度との差が予め定めた閾値よりも大きい場合に、前記候補領域が車線境界線として相応しいと評価する処理を、
コンピュータに実行させるプログラム。
【符号の説明】
【００９５】
１  車線境界線抽出装置
２  車外画像取得部
３  白線候補領域検出部
４  路面領域設定部
４ａ  左右位置判定部
４ｂ  近傍白線候補領域確認部
４ｃ  路面領域サイズ決定部
５  輝度算出部
５ａ  路面領域内輝度算出部
５ｂ  白線候補領域内輝度算出部
６  白線候補領域評価部
７  抽出結果出力部
８  記憶部
９  撮像装置
１０  車線逸脱警報装置
１１  画像処理装置
１２  ディスプレイ
１３  データベース
１４  車線逸脱判定装置
１５  記憶媒体
【図１】
0006362442.tif 000002
【図２】
0006362442.tif 000003
【図３】
0006362442.tif 000004
【図４】
0006362442.tif 000005
【図５】
0006362442.tif 000006
【図６】
0006362442.tif 000007
【図７】
0006362442.tif 000008
【図８】
0006362442.tif 000009
【図９】
0006362442.tif 000010
【図１０】
0006362442.tif 000011
【図１１】
0006362442.tif 000012
【図１２】
0006362442.tif 000013
【図１３】
0006362442.tif 000014