(57)【特許請求の範囲】
【請求項１】
少なくとも以下のステップにより実行するように構成された装置を用いて、道路上の車両のために、ビデオ画像に基づいて車線逸脱を警告する方法であって、
画像処理手段が、ビデオイメージャから、車両の前方の道路の画像を受け取るステップと、
路面標識検出器が、前記画像内に、前記道路上の路面標識に対応する１つ以上の路面標識を検出するステップと、
特性分析モジュールが、前記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するステップと、
オフセット検出手段が、前記検出された路面標識に基づいて、該路面標識に相対的に前記車両の道路上の横方向のオフセットを検出するステップと、
車線逸脱検出器が、前記横方向のオフセットおよび前記評価の関数として、警告信号を発生させるステップとを有し、
前記画像内に１つ以上の路面標識を検出するステップは、さらに、前記路面標識検出器が、前記画像内に関心領域を決定し、この関心領域内に前記１つ以上の路面標識を検出するステップと、路面標識属性検出手段が、前記路面標識の属性を特定するステップとを含んでおり、
前記路面標識の属性を特定するステップは、さらに、前記路面標識属性検出手段が、前記検出された路面標識のタイプおよび数を特定するステップを含み、
前記検出された路面標識の外側の画像領域の特性を分析するステップでは、前記特性分析モジュールが、前記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、前記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、前記車両が安全に前記路面標識の外側の領域に進入することができると判断し、さらに、前記路面標識の外側における複数の画像特性を、前記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、前記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも２つの評価を行い、
前記警告信号を発生させるステップは、さらに、前記車線逸脱検出器が、前記横方向のオフセットおよび前記運転しやすさの評価に加えて、前記属性の関数として、警告信号を発生させるステップを含んでおり、
前記路面標識を検出するステップは、さらに、記号検出手段が、前記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手に知らせるステップを含むことを特徴とする方法。
【請求項２】
前記路面標識検出器が、前記検出された路面標識を追跡するステップをさらに含んでいる、請求項１に記載の方法。
【請求項３】
前記路面標識検出器が、前記検出された路面標識の妥当性に基づいて、該検出された路面標識の中から、１セットの路面標識を選択するステップをさらに含んでいる、請求項１に記載の方法。
【請求項４】
前記路面標識検出器が、前記選択された路面標識を追跡するステップをさらに含んでいる、請求項３に記載の方法。
【請求項５】
前記路面標識を検出するステップは、さらに、前記路面標識検出器が、前記画像内にクラッタを検出し、そのようなクラッタを、路面標識検出の考察から外すステップを含んでいる、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
ビデオイメージャから車両の前方の道路の画像を受け取るように構成されている画像処理手段と、
前記画像内に、前記道路上の路面標識に対応する１つ以上の路面標識を検出するように構成されている路面標識検出器と、
前記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するように構成されている特性分析モジュールと、
前記検出された路面標識に基づいて、該路面標識に相対的に前記車両の道路上の横方向のオフセットを検出するように構成されているオフセット検出手段と、
前記横方向のオフセットおよび前記評価の関数として、警告信号を発生させるように構成されている車線逸脱検出器とを備え、
前記路面標識検出器は、さらに、前記画像内に関心領域を決定し、該関心領域内に１つ以上の路面標識を検出するように構成されており、
前記特性分析モジュールは、前記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、前記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、車両が安全に前記路面標識の外側の領域に進入することができると判断し、さらに、前記路面標識の外側における複数の画像特性を、前記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、前記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも２つの分類を行うように構成されており、
前記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手により知らせる記号検出手段をさらに備えている、道路上の車両のための、ビデオ画像に基づいて車線逸脱を警告する装置。
【請求項７】
前記装置は、さらに、前記路面標識の属性を特定するように構成されている路面標識属性検出手段を備えており、
前記車線逸脱検出器は、さらに、前記横方向のオフセットおよび前記評価に加えて、前記属性の関数として、警告信号を発生させるように構成されている、請求項６に記載の装置。
【請求項８】
前記路面標識属性検出手段は、さらに、前記検出された路面標識のタイプおよび数を特定するように構成されている、請求項７に記載の装置。
【請求項９】
前記検出された路面標識を、１つ以上の道路画像フレームにおいて追跡するように構成されている追跡モジュールをさらに備えている、請求項６〜８のいずれか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車で用いられる、車道情景の画像処理方法および装置に関する。
【背景技術】
【０００２】
筋状すなわち実線タイプの車線区分線を検出するために、従来のいくつかのアプローチにおいては、自動車に搭載されたビデオカメラからの画像が用いられている。しかしながら、このようなアプローチでは、ボッツドッツと呼ばれる、まばらに配置されたドーム状の白い円盤を検出することができない。他の従来のアプローチは、車線区分線に対するカメラの距離およびヨー角、および車線区分線の曲率の決定に限定される。このようなアプローチでは、車線区分線以外の道路上の図形および物体を検出することができず、また１対の車線区分線（車両の左側および右側に１つずつの）のみを見出すことができるだけである。このようなアプローチにおいては、道路境界の位置特定は考慮されておらず、道路のそれ以上のいかなる特性分析もなされない。さらに別のアプローチにおいては、後に参照基準として用いるための、あらかじめ記憶された車線データが必要とされる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ディクマン（Dickmanns）著「An Integrated Spatio-Temporal Approach to Automatic Visual Guidance of Autonomous Vehicles（自律走行車の自動視覚的誘導に対する統合時空間アプローチ）」１９９０年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上述の問題を解決することができる、道路上の自動車のための、ビデオ画像に基づく車線逸脱警告方法および装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００５】
本発明による、道路上の車両のための、ビデオ画像に基づいて車線逸脱を警告する方法は、少なくとも以下のステップにより実行するように構成された装置を用いるものであって、
画像処理手段が、ビデオイメージャから、車両の前方の道路の画像を受け取るステップと、
路面標識検出器が、上記画像内に、上記道路上の路面標識に対応する１つ以上の路面標識を検出するステップと、
特性分析モジュールが、上記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、その画像領域の特性を分析するステップと、
オフセット検出手段が、上記検出された路面標識に基づいて、その路面標識に相対的に、車両の道路上の横方向のオフセットを検出するステップと、
車線逸脱検出器が、上記横方向のオフセットおよび上記評価の関数として、警告信号を発生させるステップとを有し、
上記画像内に１つ以上の路面標識を検出するステップは、さらに、上記路面標識検出器が、上記画像内に関心領域を決定し、この関心領域内に上記１つ以上の路面標識を検出するステップと、路面標識属性検出手段が、上記路面標識の属性を特定するステップとを含んでおり、
上記路面標識の属性を特定するステップは、さらに、上記路面標識属性検出手段が、上記検出された路面標識のタイプおよび数を特定するステップを含み、
上記検出された路面標識の外側の画像領域の特性を分析するステップでは、上記特性分析モジュールが、上記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、上記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、上記車両が安全に上記路面標識の外側の領域に進入することができると判断し、さらに、上記路面標識の外側における複数の画像特性を、上記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、上記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも２つの評価を行い、
上記警告信号を発生させるステップは、さらに、上記車線逸脱検出器が、上記横方向のオフセットおよび上記運転しやすさの評価に加えて、上記属性の関数として、警告信号を発生させるステップを含んでおり、
上記路面標識を検出するステップは、さらに、記号検出手段が、上記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手に知らせるステップを含んでいることを特徴とする。
また本発明による、道路上の車両のための、ビデオ画像に基づいて車線逸脱を警告する装置は、
ビデオイメージャから車両の前方の道路の画像を受け取るように構成されている画像処理手段と、
上記画像内に、上記道路上の路面標識に対応する１つ以上の路面標識を検出するように構成されている路面標識検出器と、
上記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するように構成されている特性分析モジュールと、
上記検出された路面標識に基づいて、該路面標識に相対的に上記車両の道路上の横方向のオフセットを検出するように構成されているオフセット検出手段と、
上記横方向のオフセットおよび上記評価の関数として、警告信号を発生させるように構成されている車線逸脱検出器とを備え、
上記路面標識検出器は、さらに、上記画像内に関心領域を決定し、該関心領域内に１つ以上の路面標識を検出するように構成されており、
上記特性分析モジュールは、上記路面標識の内側における複数の画像特性の組み合わせからなる特性ベクトルと、上記路面標識の外側における同じ複数の画像特性の組み合わせからなる特性ベクトルとの間に近似性がある場合、車両が安全に上記路面標識の外側の領域に進入することができると判断し、さらに、上記路面標識の外側における複数の画像特性を、上記画像領域のデータベースにおける画像特性と比較し、このデータベースに基づき、上記路面標識の外側における、安全な走行が可能なレベル、及び安全な走行が不可能なレベルを含む、少なくとも２つの分類を行うように構成されており、
上記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手により知らせる記号検出手段をさらに備えていることを特徴とする。
【０００６】
以下の説明、請求項、および添付図面を参照することによって、本発明のこれらおよびその他の特徴、態様、および利点をよりよく理解することができると思う。
【図面の簡単な説明】
【０００７】
【図１】車両に連結した、本発明の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出および車線逸脱防止装置の機能ブロック図である。
【図２】本発明の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出および車線逸脱防止プロセスのステップの全体的なフローチャートである。
【図３Ａ】車道上の路面標識に相対的に表わされたビデオカメラの位置の一例を示す平面図である。
【図３Ｂ】画像面中のピクセルと、ビデオカメラによって画像中のピクセルに投影されている、道路面上の対応点との関係の一例を示す図である。
【図３Ｃ】グレーレベル勾配および平均絶対偏差が画像のピクセルから抽出される、台形形状の関心領域（ＲＯＩ）を、ビデオ画像に重ね合わせて示す図である。
【図３Ｄ】道路面上の平行四辺形を示す図である。
【図３Ｅ】車線境界があらかじめ予想される場合の、道路面上の寸法で表わした、大まかな関心領域の一例を示す図である。
【図４Ａ】画像面と道路の前方距離との関係を説明するために、道路に相対的に表わしたビデオカメラの側面の一例を示す図である。
【図４Ｂ】道路の画像において、垂直方向ピクセルサイズＶｐと水平方向ピクセルサイズＨｐを有して、行ｒと列ｗに配置されたピクセルｐのアレイの一例を示す図である。
【図５】ビデオカメラの前方の、１つの路面標識上の道路位置の集合のうちの２点の一例を示す図である。
【図６】ディクマン（Dickmann）タイプの路面標識検出方法を示すグラフである。
【図７Ａ】道路上のタール帯の検出に用いられる測定方法を示す図である。
【図７Ｂ】道路上の記号を検出するための関心領域、および、記号の位置を表わす近位距離および遠位距離を示す図である。
【図８】道路上の記号を検出するための近位距離および遠位距離の時間挙動を示す図である。
【図９】破線タイプ路面標識モデルの、路面標識断片検出への適用の一例を示す図である。
【図１０】検出の不確実さの増加に応じて、ＲＯＩの横方向のサイズを拡張する一例を示す図である。
【図１１】道路画像中のクラッタ検出に用いられる関心領域を示す図である。
【図１２】道路画像中の降雪検出の一例を示す図である。
【図１３】道路画像中の反射光像検出の一例を示す図である。
【図１４Ａ】路面標識追跡の一例を示す図である。
【図１４Ｂ】路面標識追跡の別の一例を示す図である。
【図１５】路面標識長検出方法の一例を示す図である。
【図１６】単一画像フレームにおける路面標識長測定プロセスの一例を示す図である。
【図１７】路面標識の計数に応用される、ディクマン（Dickmann）タイプの標識ファインダを示す図である。
【図１８】路面標識のタイプを特定するための、標識ファインダの配置の一例を示す図である。
【図１９】画像領域の特性分析の一例を示す図である。
【図２０Ａ】道路画像中の、路面標識ではない検出物の識別の一例を示す図である。
【図２０Ｂ】道路画像中の路面標識ではない検出物の識別の一例を示すグラフである。
【図２１】道路境界の両側の領域の比較のために用いられる、平均絶対偏差（ＭＡＤ）計算の一例を示す図である。
【図２２】２つのグループの画像特性の近似性の計算の一例を示す図である。
【図２３】４つの画像特性の一例を示すグラフである。
【図２４】車両に連結した、本発明の別の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止装置の機能ブロック図である。
【図２５】図２４に示す装置によって実行される、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止プロセスのステップのフローチャートである。
【図２６】カーブした道路上の路面標識に適合するＲＯＩの一例を示す図である。
【発明を実施するための形態】
【０００８】
本発明は、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止の方法および装置を提供するものである。この装置の一実施形態においては、道路面上に直線部およびダッシュ部を含んでいる車線区分線を見出すために、自動車に搭載されたビデオカメラの前方の道路の画像を用いる装置である。車線区分線に相対的に測定された、道路上のビデオカメラ（車両）の位置を再現するために、画像中に見出された車線区分線の位置が、ビデオカメラの幾何学的配置情報と組み合わされる。再現されたビデオカメラの位置情報が、自動車の運転者の運転を支援するために用いられる。
【０００９】
ビデオカメラからの、実質的にリアルタイムの一連の画像フレームを用いることによって、この装置は、さらに車線区分線に加えて、道路上の他の図形および物体を検出する。道路境界の位置特定情報、および道路の特性分析が、道路境界に相対的な横方向位置（オフセット）の検出に用いられる。この装置は、例えば車線逸脱警告アプローチにおいて自動車の運転を助け、道路を進んでいく自動車をガイドするために、車道上の車両位置および道路特性に関する実質的にリアルタイムの情報を導き出す。
【００１０】
この装置は、道路面からの反射光の検出を実行し、道路境界検出において、そのような反射光の影響を抑制する（そのような反射光、またはタール帯（tar strip）のような他の物体が、道路境界の適切な検出を妨げる場合がある）。さらにこの装置は、相異なる種類の複数の路面標識を有する道路境界の検出、路面標識分類、種々の明暗調整、種々の天候の見分け、偽りの路面標識の排除などを行ってもよい。複数の車線に複数のラインが存在するときに、この装置は複数のラインを認識し、適切な車線区分線（一般に、横方向に、車両に最も近接している）を選択してもよい。さらにこの装置は、車線区分線が存在していないときに、道路を進んでいく自動車のガイドを助けるために、車線区分線情報ではなく、道路端情報を用いて、道路端を検出してもよい。
【００１１】
さらにこの装置は、断続的な路面標識（ボッツドッツおよびリフレクタなどの）の道路上の位置を特定し、それらの情報から、道路上の車両の位置を特定してもよい。画像から、路面標識候補（路面標識断片候補）情報が収集されれば、この装置は、必要に応じて、道路上の車両位置を検出するために、そのような情報を通じて多様な試みを行う。
【００１２】
図１は、ビデオカメラ１を、前方を向くようにマウントされた車両２に連結された、本発明の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止の装置１５の機能ブロック図である。ビデオカメラ１は、前方を向くように、車両２にマウントされている。ビデオカメラ１は、車両２の前方の道路（車線／車道）４の〔二次元（２−Ｄ）〕画像３を取得し、それらの画像を、道路特性分析、車線検出、および車線逸脱防止のために、コントローラ５に伝達する。行と列に配置されたピクセルのアレイとして二次元画像を作成するために、デジタル化されたビデオ入力信号をサンプリングするサンプラー１７を用いてもよい。
【００１３】
この例においては、コントローラ５は、車線境界検出装置６、車線逸脱検出装置９、カメラ較正モジュール１０、警告モジュール１１、および曲率測定モジュール１２を備えている。車線境界検出装置６は、道路特性分析によって画像３を処理し、道路４上の実際の路面標識８Ｌ、８Ｒをそれぞれ表わす路面標識画像フィーチャ７Ｌ、７Ｒの位置を、画像３内に追跡する。車線境界検出装置６は、画像３において、道路表面からの反射光像を検出し、路面標識画像フィーチャ７Ｌおよび７Ｒの検出への影響を減らす（抑制する）反射光像検出モジュール６ａを備えている。ビデオカメラ１に相対的に、路面標識８Ｌは道路の左側を表わしており、路面標識８Ｒは道路の右側を表わしている。路面標識画像フィーチャ７Ｌおよび７Ｒの位置およびヨー角（ビデオカメラ１の位置に相対的な）のデータが、車線境界検出装置６から車線逸脱検出装置９に供給される。車線境界検出装置６によって検出された車線区分線または道路境界に関する情報を用いて、曲率測定モジュール１２は道路の曲率を測定し、その情報を、車線逸脱検出装置９に供給する。車線逸脱検出装置９は、さらに、車両２から速度情報を受け取り、また較正データを受け取る（カメラ較正モジュール１０から供給することができる）。車線逸脱検出装置９は、路面標識８Ｌ、８Ｒに相対的に車両２の位置を特定するために、車両速度、車線区分線の位置、曲率情報、およびヨー角情報を、定期的に受け取ることが好ましい。路面標識８Ｌ、８Ｒには、車線区分線、道路境界などを含ませることができる。
【００１４】
車両速度情報、カメラ較正情報、路面標識画像フィーチャ７Ｌおよび７Ｒの追跡された画像フィーチャ位置に基づいて、コントローラ５は、車線逸脱検出装置９を用いて、車両２が道路４の適切な走行車線からはずれているか否かを特定する。車線逸脱または道路逸脱が差し迫っていることを車線逸脱検出装置９が検出した場合には、警告モジュール１１が起動される。具体的には、車線境界検出装置６は、画像３内で、道路境界または車線区分線を捜すべき位置を決定し、道路境界または車線区分線などの路面標識画像フィーチャ７Ｌ、７Ｒを、各画像３内に検出する。車線逸脱検出装置９は、検出されたそのような路面標識画像フィーチャ７Ｌ、７Ｒを、ビデオカメラの幾何学的配置情報に基づいた幾何学的変換によって、道路面上の位置に関連づけ、それによって、車線区分線または道路境界である実際の路面標識８Ｌ、８Ｒに相対的に、道路上のビデオカメラ（車両）の位置を再現する。車線逸脱検出装置９は、さらに、ビデオカメラ（車両）が道路境界または車線区分線に近づきすぎたときに、それを検出し、警告モジュール１１に通知する。
【００１５】
コントローラ５は、さらに、困難な状況において、車線区分線または道路境界の断片である可能性のある画像フィーチャによる多様な試みを用いて、車線区分線または道路境界を検出するように機能してもよい。コントローラ５は、さらに、画像中の、道路境界または路面標識でない画像フィーチャの排除、次の画像における道路境界または車線区分線の検出のための関心領域の予測、新しい、より適切な道路境界または車線区分線の検出、および、道路または車線からの逸脱が当然のものであることの決定を行うように機能してもよい。これらの補足的な機能を用いて、路面標識または境界の適切な検出能力を強化することによって、コントローラ５による誤った警報の発生を減らすことができる。
【００１６】
カメラ較正モジュール１０からの情報を用いて、車線境界検出装置６は、初期状態において、画像中に、車線区分線または境界の大まかな検出のための基本的関心領域を予測する。次に、車線境界検出装置６は、ビデオカメラ１から、画像フレーム（行と列に配置されたピクセル）を受け取り、画像中の行と列の位置で表わした、路面標識（車線区分線または道路境界）画像フィーチャ７Ｌ、７Ｒの位置を検出するために、画像中の関心領域内をチェックする。次いで、車線逸脱検出装置９は、画像３中に検出された路面標識画像フィーチャの行と列の位置を用いて、道路面上の対応する位置を特定する。このような対応する各位置は、ビデオカメラ１に対する路面標識８Ｌ、８Ｒの横方向のオフセットおよび前方距離を用いて表わされる。車線逸脱検出装置９は、路面標識の位置に相対的に、ビデオカメラ１（および車両２）の横方向の位置を特定する。横方向の位置が、路面標識の位置に接近しすぎている場合には、車線逸脱検出装置９は、それにしたがって、警告を発生させる。その後、コントローラ５は、次の画像フレームにおいて路面標識画像フィーチャを検出するための関心領域として、現在の画像において検出された路面標識画像フィーチャの位置を用いて、ビデオカメラからの次の画像フレームにおいて、路面標識検出（車線境界検出装置６による）および車両位置検出（車線逸脱検出装置９による）を繰り返す。
【００１７】
図２は、コントローラ５によって実行される、本発明の一実施形態による、全車線区分線検出および車線逸脱警告のプロセス２０のステップのフローチャートである。プロセス２０は、以下のステップを含んでいる。
ステップ２１：画像フレームを受け取る。
ステップ２２：路面標識８Ｌ、８Ｒ（例えば車線区分線、道路境界など）に対応する路面標識画像フィーチャ７Ｌ、７Ｒを検出するための関心領域（ＲＯＩ）を、画像内に決定する。
ステップ２３：関心領域内のピクセルから、路面標識画像フィーチャを検出する。
ステップ２４：路面標識の画像位置を、道路上の対応する位置に投影するための幾何学的変換を実行して、道路投影図を作成する。
ステップ２５：道路に投影された路面標識から、ビデオカメラの位置を見出す。
ステップ２６：ビデオカメラ／車両が、路面標識に接近しすぎているか否かを特定する。接近しすぎている場合には、ステップ２７に進む。そうでない場合には、ステップ２１に戻り、ビデオカメラから次の画像フレームを受け取って処理する。
ステップ２７：警告を発するか、または支援を与えて、ステップ２１に戻る。
【００１８】
コントローラ５によって実行されるプロセス２０の一実施形態は、以下の過程を含んでいる。
・  前方の道路の画像を受け取る。
・  利用可能な場合には以前の画像情報を用いて、路面標識または道路境界が存在すると予想される１つ以上の関心領域（ＲＯＩ）を、画像内に決定する。
・  いかなる望ましくない画像アーチファクト（例えば反射光、太陽光の筋、タール帯などの像）も識別して排除するために、各ＲＯＩにおいて、画像を行毎に処理する。
・  路面標識および道路境界の断片を検出するために、ＲＯＩ内を行毎に処理する。
・  破線タイプ路面標識（ダッシュとギャップで形成された路面標識）において、ダッシュ間のギャップ内に検出された標識断片を排除する。
・  標識／境界断片にフィルタ処理を施す（例えば、降雪などを表わす画像フィーチャを検出して排除する）。
・  各行の、残った標識断片を、車線区分線候補および道路境界候補にまとめる。
・  （行、列）座標を有する最終的な路面標識および路面標識断片を画像内に得るために、偽の標識を排除する（例えばタール帯、矢印、および記号を検出して排除する）。
・  重要な物体であるかもしれないので、路面標識の外側の物体を検出する。
・  画像における路面標識（路面標識画像フィーチャ）の点（行、列）を、ビデオカメラに相対的な、道路面上の対応する路面標識位置（前方距離、および横方向のオフセット）に投影する。
・  平滑化およびノイズ除去のために、この対応する路面標識位置データに、フィルタ処理を施す。
・  平滑化された路面標識位置データを、ビデオカメラ位置に関連づける。
・  ビデオカメラ（車両）が、道路境界または車線区分線に接近しすぎているかどうかを特定する。
・  ビデオカメラ（車両）が、車線区分線または道路境界に接近しすぎている場合には、車線区分線または道路境界の外側に存在する物体（例えば車線または道路をはずれることによってもたらされる危険の程度）、および路面標識のタイプおよび数の関数として、警告か支援かを選択する信号を発生させる。
・  道路面中の次の道路境界／路面標識を探すための画像位置すなわちＲＯＩを予測し、その予測の不確実さの程度を決定する。
・  装置は、探索モードと追跡モードと呼ばれる２つのモードを有する。探索モードにおいては、装置は、画像中に、路面標識が存在するであろう大まかな位置（すなわちＲＯＩ）をまだ確定しておらず、したがって、大きな画像エリア内で路面標識を捜す。追跡モードにおいては、装置は、現在の画像フレームの前に既に路面標識を見出しており、したがって、前とほぼ同じ画像エリアすなわちＲＯＩ内に、再び、路面標識が存在すると予想し、そのＲＯＩ内で路面標識を追跡する。１追跡は、ひとまとまりの位置測定である。あるひとまとまりの位置測定が終了し、別のひとまとまりの位置測定が開始するときに、新しい追跡が開始する。追跡が打ち切られた（例えば車両がある一定の距離を走行している間の数の画像中に、路面標識が検出されなかったために）ときに、装置は探索モードに戻り、路面標識を新たに探索するために、道路境界／路面標識を見出すための窓すなわちＲＯＩを、その最大寸法およびデフォルト位置に戻す。したがって、路面標識の位置を、前の画像において検出された路面標識に基づいて（頼って）予想する必要がない。
・  次の画像フレームが、困難な道路状況（例えば雨、雪）の画像であると予想される場合には、次の１つ以上の画像フレームにおいて、関心領域のサイズを縮小し、それによって、現在の路面標識を追跡し続ける（すなわち、新しい路面標識を追跡するのではなくて）ステップを含めて、その道路状況に対処する。
・  画像中のクラッタ（誤認を生み出す様々な源）をチェックする。クラッタが存在する場合には、クラッタが再び減少するまで、クラッタ中の検出物を受け入れないことで、クラッタに対処する。
・  日中であるか、夜間であるかをチェックする。必要であれば、次の画像フレームが処理される前に、一般的な照明条件に合うように、装置のパラメータ設定を切り換える。
・  検出された車線区分線または道路境界の情報を用いて、曲率測定モジュール１２によって、道路の曲率を測定し、曲率値を記憶する。
・  最後の画像フレームにおいて、どのくらいの間隔を置いて、かつどのくらいの長さで路面標識が検出されたかをチェックすることによって、検出された路面標識のタイプを特定する。
・  必要に応じて、検出された情報（例えば路面標識／道路境界に相対的な車両の位置、路面標識、車線、路面標識／道路境界の外側に検出された物体の数およびタイプ、道路の曲率など）を集めて出力する。
・  リアルタイムのカメラ較正を行い、初期のヨー角およびピッチ角の大きさを更新する。更新されたヨー角およびピッチ角は、画像内に検出された路面標識画像フィーチャの位置を、道路上の対応する位置に、より正確に投影するために用いられる。それによって、警告が、より正確になる。
・  前方の道路上の任意の文字やシンボルをチェックし、それらが、次の画像フレームにおいて、どこに現れるかを特定する。
・  反射光および太陽光の筋の像をチェックし、それらの位置、および次の画像フレームに対して予測されるそれらの位置を記憶する（これによって、次の画像フレームにおける、車線区分線の画像フレームの検出が改善される）。
・  破線タイプ路面標識が存在する場合には、ダッシュ−ギャップパターンを学習し、次の画像フレームに対して予測されるダッシュ−ギャップ位置を記憶する。
・  予測される次の寸法（道路面における）から、次の画像フレームにおける路面標識／道路境界のためのＲＯＩを、画像面内に決定する。
・  ビデオカメラ１から受け取った次の画像フレームにおいて、上記のステップを繰り返す。
【００１９】
図３Ａは、路面標識８Ｌ、８Ｒに相対的なビデオカメラ１の位置の平面図、および路面標識８Ｌ、８Ｒの寸法の一例を示している。当業者には、他のビデオカメラ配置および路面標識の寸法が可能であることは認識されることである。路面標識／道路境界検出プロセスのよりよい理解のために、図３Ｂに、画像面中のピクセルｐと、ビデオカメラ１を介してピクセルｐとして投影される、道路面上の対応する点Ｐとの間の関係を説明するための一例が示されている。道路４の画像３が、道路４の道路面４０上に重ね合わされている。画像３中の第１の行−列位置における第１のピクセルｐ1は、道路面上の第１の点Ｐ1に対応している。同様に、画像３中の第２の行−列位置における第２のピクセルｐ2は、道路面上の第２の点Ｐ2に対応している。画像位置（ｒ、ｗ）にあるピクセルｐ1から、道路面上の位置（ｘ、ｙ）にある点Ｐ1に幾何学的に変換（投影）するステップには、行座標ｒに基づいて縦方向座標ｘを見出し、列座標ｗに基づいて横方向座標ｙを見出すステップが含まれる。同様の変換が、点Ｐ2とピクセルｐ2に対しても適用される。
【００２０】
したがって、路面標識８Ｌおよび８Ｒ上の点Ｐ1およびＰ2が与えられると、ビデオカメラ１からそれぞれの点Ｐ1、Ｐ2までの距離（すなわち、ビデオカメラの前方の道路上の縦方向距離ｄ＝ｘ、および道路中心線からの横方向のオフセット距離ＬＯ＝ｙ）を、画像３中の路面標識画像フィーチャ７Ｌ、７Ｒ上の対応するピクセルｐ1およびｐ2の行−列位置（ｒ、ｗ）から特定することができる。図３Ｃは、画像３上に重ね合わされた、台形形状の関心領域（ＲＯＩ）を示している。ＲＯＩ内で、グレーレベル勾配、および任意選択に平均絶対偏差が、各ピクセルから抽出される。勾配値と平均絶対偏差とのどちらも、ピクセルのグループの特性であり、前者は、隣接し合うピクセル間のコントラストを表わしており、後者は、１つのグループにおける、中央値からの変分を表わしている。各台形（関心領域ＲＯＩ−Ｌ、ＲＯＩ−Ｒ）が、概ね、路面標識画像フィーチャ７Ｌ、７Ｒが存在すると予想される、画像３内の位置に置かれる。道路の画像３および車両速度が、車線境界検出装置への入力である。また、カメラ較正のための幾何学的配置（焦点距離、据え付け高さなど）は既知である。
【００２１】
図３Ｃに示すように、台形形状の関心領域（ＲＯＩ）すなわち窓が、画像３内に画定されている。ＲＯＩ内で、ピクセルのグレーレベル勾配および平均絶対偏差の特定が行われる。画像３中の台形形状の各ＲＯＩは、道路４上の平行四辺形に対応している（例えば関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒは、図３Ｄに示されている、道路４上に横方向に３〜４メートルの間隔を置いて配置された２つの平行四辺形１６０Ｌおよび１６０Ｒにそれぞれ対応しており、各平行四辺形は、例えば約０．７〜２．３メートルの幅および約１４メートルの長さを有しており、それらの下端１６２、上端１６４は、それぞれビデオカメラ１から約６メートル、約２０メートルの距離にある)。幅Ｗｔおよび高さＨｔで与えられる、画像中の各ＲＯＩのサイズは、路面標識画像フィーチャ７Ｌ、７Ｒの予想される位置における誤差を、その内部に受け入れることができるほどに十分に大きい。路面標識画像フィーチャ７Ｌ、７Ｒの大まかな位置がわからない場合には、関心領域（すなわち窓）の幅は、最大の大きさにされる。図３Ｅは、車線境界があらかじめ予想される場合の、大まかな関心領域の別の一例を示している（寸法は、対応する道路面における寸法で示している）。
【００２２】
別の一例において、各ＲＯＩは、最小路面標識幅の少なくとも４倍の幅（ただし、最大でも２．３メートルまでの幅）を有する、道路上の平行四辺形に対応している。幅の上限は、計算容量によって制約される。各ＲＯＩは、ビデオカメラの左側（または右側）約０．７メートルの位置から始まって、約３メートルの位置に至る道路４上の距離をカバーしている。すなわち、道路車線幅および車両幅の大部分をカバーしている。関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒの幅は、路面標識の探索モードにおいて最大であり、路面標識の追跡モードでは、より小さい。路面標識の追跡モードにおける幅は、画像内に、路面標識の横方向の位置を予測する際の不確実さの程度に依存する。関心領域は、初期状態において、道路の消失点ＶＰに関して対称に、画像内に配置されている。追跡モードにおいては、現在の画像フレームのＲＯＩ内に、路面標識または境界が検出されている。したがって、次の画像フレームのＲＯＩは、現在の画像フレームの路面標識または境界の位置に基づいて、次の画像フレームにおいて路面標識または境界が存在すると予想される領域に配置される。
【００２３】
実際の路面標識８Ｌ、８Ｒのサイズおよび周期性は、ビデオカメラの焦点距離ＦＬ、および道路４に対するビデオカメラの高さｈに基づいて、画像面２０１内の対応する路面標識画像フィーチャ７Ｌ、７Ｒのサイズおよび周期性に変換される（図４Ａ）。具体的には、ビデオカメラ１のピッチ角（傾斜角）α、ビデオカメラの高さｈ、道路４上の点２０３（Ｐ）までの、ビデオカメラの前方の道路上の縦方向距離ｄ＝ｘ、垂直方向ピクセルサイズＶｐ、焦点距離ＦＬ、および画像面内の行座標ｒ（光軸２０５に相対的に測った）の間の関係は、数１によって記述される。
【数１】
0005868586.tif 000002
【００２４】
さらに、行座標ｒおよび列座標ｗのピクセルｐ〔水平方向ピクセルサイズＨｐおよび垂直方向ピクセルサイズＶｐ（図４Ｂ)〕は、次のように、前方道路上の横方向座標ｙ（図３Ｂ）の点に投影される。
ｗ ＝ ｙ＊（ＦＬ2＋ｒ2＊Ｖｐ2）1/2／Ｈｐ＊（ｈ2＋ｄ2）-1/2    （２）
この式を書き換えると、次のようになる。
ｙ ＝ ｗ＊Ｈｐ＊（ｈ2＋ｄ2）1/2／（ＦＬ2＋ｒ2＊Ｖｐ2）1/2    （３）
【００２５】
列座標ｗおよび横方向座標ｙは、ビデオカメラ１の光軸、またはビデオカメラ１の光軸を前方道路上に垂直に投影した直線に相対的に測定される。ビデオカメラが、一定のヨー角で車両に搭載されているときには、列座標ｗおよび横方向座標ｙは、直線道路の消失点の横方向位置を基準にして測定される。
【００２６】
横方向座標ｙを最小路面標識幅にとると、その路面標識点までの距離が分かれば、ビデオカメラの前方の道路上の縦方向距離ｄが決定され、次に、最小路面標識幅内に存在するピクセル数に対応する列座標ｗが決定される。ピクセル数は、ビデオカメラの前方の道路上の縦方向距離ｄに応じて、したがって、画像面上では、それに対応する行座標ｒに応じて変化する。垂直方向ピクセルサイズと水平方向ピクセルサイズとは、互いに異なっていてもよい。
【００２７】
ピクセル数で表わされた、最小幅標識のサイズが決定されると、ピクセル数を単位とした適切な大きさでフィルタ処理することによって、より小さな（ピクセル数の少ない）画像フィーチャは、考察から外すことができる。ピクセル数で表わされた、路面標識の幅は、ビデオカメラから、その路面標識点までの距離に応じて変化することに注意されたい。遠近距離（ＰＤ）を変化させると、同一のサイズの路面標識８Ｌまたは８Ｒが、ビデオカメラから遠くなればなるほど、画像上では、相対的により少ないピクセルしか占めず、ビデオカメラに近くなればなるほど、相対的により多いピクセルを占める。言い換えると、一定の最小路面標識幅に対して、画像の頂近傍の行においては、画像の底近傍の行などにおけるよりも短いフィルタ長が用いられる。したがって、最小路面標識幅から計算されるフィルタ長は、画像中の行の位置に応じて変化する。路面標識幅が同じであっても、上方の行（道路上では遠方）においては、下方の行（道路上では近傍）におけるよりも短いフィルタ長が用いられる。路面標識画像フィーチャは、通常、各行において、１つ以上の断片（例えば各行において１つ以上のピクセル）から成っている。各行からの路面標識断片が、各画像における、全体としての路面標識および路面標識画像フィーチャ７Ｌ、７Ｒにまとめられる。
【００２８】
ビデオカメラは、その前方にある路面標識の画像を作成する。前方距離０（したがって、ビデオカメラの位置のすぐ右側および左側）において、路面標識に相対的に、ビデオカメラの横方向の位置を特定するために、曲線適合が用いられる。上記のステップによって、道路面に、点Ｐの２つの集合（１つは路面標識８Ｌ上、他の１つは路面標識８Ｒ上の）が与えられる。各集合は（ｘi、ｙi）で表わされる。図５は、一方の集合における２つの点ＡおよびＢの一例を示している。点Ａは、ビデオカメラ１の１８メートル前方の道路上の位置にあり、点Ｂは、ビデオカメラ１の１０メートル前方の道路上の位置にある。２つの点ＡとＢを結ぶ適合線分５０が、原点ｘ＝０、ｙ＝０（ゼロ距離）に位置するビデオカメラから縦方向に０メートルの距離の位置まで延長されている。すなわち、ビデオカメラの前方の路面標識上の点ＡとＢが適合線分５０によって結ばれて、路面標識が、ビデオカメラと縦方向に同じ位置（前方距離０、すなわちｙ軸上）まで逆投影されている。
【００２９】
図５の例は、各集合において２つ以上の点Ｐが利用可能であり、したがって、直線（一次曲線）以外に、より湾曲した（高次の）曲線を利用することができる、より一般的な逆投影の１つの特殊な場合である。この曲線としては、多くの可能性が存在するが、放物線（二次曲線）が、適合曲線として効果的に機能する。具体的には、点Ｐ（ｘi、ｙi）のセットに、最小二乗放物線適合が適用され、その曲線（放物線）が、ゼロ距離のビデオカメラの方向に向かって推定される。それによって、ビデオカメラに相対的な、路面標識の横方向の（ｙ軸上の）位置５２が与えられる。路面標識８Ｌ、８Ｒの各々における点Ｐ（ｘi、ｙi）の集合に対して、相異なる推定を行ってもよい。より正確な推定をするために、集合内の最近接点（例えば図５の点Ｂ）を、ビデオカメラ１にできるだけ近づくように選択するのが有利である。
【００３０】
したがって、画像３内のＲＯＩ（路面標識上の点Ｐに幾何学的に変換される、路面標識画像フィーチャのピクセルｐを検出するために用いられる）は、画像３の底にできるだけ近いことが好ましい。画像面で検出された、路面標識画像フィーチャのピクセルｐの集合が、道路面上の点（位置）に幾何学的に変換され、１つの曲線が、それらの点Ｐに適合されて、ビデオカメラと同じ縦方向位置まで推定され、道路上の路面標識に相対的なビデオカメラの横方向距離が特定される。例えば図５に示されているように、路面標識に相対的な、ビデオカメラ１の横方向距離は、ビデオカメラ１と同じ縦方向位置において、より遠い縦方向位置におけるよりも、相当に短くなる（場合によっては、短くなりすぎる）ことがある。
【００３１】
次に、一例において、ビデオカメラが路面標識に近づきすぎているか否かを特定するために、検出された路面標識に相対的に計算された横方向距離を、距離閾値と比較する。距離閾値は、通常、運転者または支援装置が反応するだけの時間、すなわち、車両を車線の中央に向かって戻して、路面標識から遠ざけるだけの時間をもてるように設定される。反応速度を考慮に入れると、次の条件が満足されたときに、警告を発してもよい。
路面標識との交差までに残されている時間 ＜ 時間閾値
【００３２】
一般的な人間の反応時間は１秒のオーダーであり、それはまた、時間閾値に対して概ね適切な値である。
【００３３】
路面標識または車線境界との交差までに残されている時間（ＴＬＣ）を特定するために、画像フレームｆにおける、ビデオカメラから路面標識までの距離が、連続した一連の画像フレームにおいて、数値的に微分される。それによって、画像フレームｆにおいて路面標識に向かうビデオカメラの速度は、次のように求められる。
路面標識に向かう速度（ｆ）＝〔距離（ｆ）−距離（ｆ−１）〕／画像フレーム期間
【００３４】
言い換えると、路面標識に向かう速度は、現在の画像フレームにおける距離から、その前の画像フレームにおける距離を差し引き、それを２つの測定間で費やした時間で割ったものに等しい。ノイズを除去するために、次のように、ローパスフィルタ処理を施してもよい。
平滑化速度(ｆ)=Ｆ＊平滑化速度(ｆ−１)＋(１.０−Ｆ)＊路面標識に向かう速度(ｆ)
【００３５】
一例として、Ｆの値は、約０．８または０．９であってもよい。画像フレームｆにおける、路面標識に対するＴＬＣ（ｆ）は、次の式によって特定される。
ＴＬＣ（ｆ） ＝ 路面標識までの距離（ｆ）／平滑化速度（ｆ）
【００３６】
そうすると、時間に基づく警告／支援ルールを、次のように表わすことができる。
ＴＬＣ（ｆ）＜時間閾値のとき、警告を発する。
【００３７】
車両が、既に路面標識と交差しているときでさえ、通常は、車線内に戻るための空間が残されており、警告が依然として有効であるから、そのようなときに警告を与えるような、別の警告起動ルールを用いてもよい。一般的に言えば、この場合の目的は、運転者が車線または道路に戻ることをタイムリーに支援するように警告を発することである。この警告は音響的なものであってもよいが、例えばハンドルの振動を介して伝達される、触覚的なもの（感覚的なもの）であってもよい。その支援は機械的であり、車線内に戻るように積極的に操舵するか、運転者が操舵するように促す。他の例も可能である。
【００３８】
警告または支援をどこで与えるべきかを決定するために、曲率測定モジュール１２からの曲率情報を用いるときに、より自然な感覚装置が形成される。多くの運転者は、自分の車両でカーブの内側を「カット」し、車両を、より直線的に運転することを可能にする。コントローラ５は、「カット」量を曲率に関連付け、カーブがきつくなればなるほど、「カット」量をより多くする。
【００３９】
路面標識８Ｒ、８Ｌのタイプが、起動される警告／支援の性質に影響を及ぼす。例えば単一の破線タイプ路面標識を交差するときよりも、二重の実線タイプ路面標識と交差するときに、より強い（例えばより大きく、より長く、より念入りな）警告／支援を与えてもよい。１セットのルールによって、路面標識のタイプと、起動される警告／支援の性質とが関連付けられる。路面標識のタイプは、どのくらいの頻度（一定の時間にわたる）で、かつどのくらいの長さ（単一の画像フレームにおいて）で、路面標識画像フィーチャが検出されるかをチェックすることによって特定される。
【００４０】
車線境界検出装置６は、よりよい警告／支援を与えるために、単一の画像における情報から複数の路面標識断片の画像フィーチャを検出することを試み、同一の画像において検出された複数の画像フィーチャを用いる（例えば最初に、最もコントラストの高い路面標識断片の画像フィーチャを用い、次に、最も明るい路面標識断片の画像フィーチャを用いるなど）ことによって、より念入りな検出を行ってもよい。低コントラストの場合（例えば曇天の日中）でさえ、車線区分線のほかに、他の路面標識も検出することによって、さらなる改善を達成することができることがある。低コントラストの場合には、車線境界検出装置６は、画像中のテクスチャ（平均絶対偏差を用いて測定される）の差を検出してもよい。現在の画像フレームにおいて路面標識が検出される尤もらしさが、１つまたはそれ以上前の画像フレームにおいて検出された路面標識の画像位置に比して予想されるずれの程度および画像位置の点からチェックされる。画像中に、個々の車線区分線／境界断片から組み立てられた車線区分線または境界が検出された場合には、車線境界検出装置６は、その車線区分線／境界の位置を出力する。
【００４１】
改善された路面標識検出スキームを、より単純な検出スキーム（例えば非特許文献１）と平行して実行してもよく、原則的に、そのようなより単純な検出スキームより優先してもよい。改善された路面標識検出スキームにおいて、路面標識が見出された場合には、より単純な検出スキームの出力を用いなくてもよい。
【００４２】
本発明によるプロセスの一例は、画像面内の路面標識の位置の予想から始めるステップと、路面標識画像フィーチャ７Ｌの予想される方向内にある各列のピクセルｐ（ｒ、ｗ）を合計するステップ（図６）と、それらのピクセル位置に対応する道路面上の点Ｐ（ｘ、ｙ）を表わす信号を強化するステップとを含んでいる。このプロセスは、この強化された信号において、暗から明および明から暗に遷移する路面標識エッジ候補を見出すステップと、同じ強化された信号において、エッジ対（対になって、暗から明および明から暗に遷移する）の存在を検査するステップと、エッジ対の間隔をチェックするステップとを含んでいる（路面標識は背景より明るく、幅において制約されている）。適切な間隔（例えば、ある範囲内の）を有するエッジ対の数が数えられる。そのようなエッジ対の数は、路面標識の数の目安になる。複数の路面標識が検出された場合には、最も近い路面標識が、路面標識とビデオカメラとの距離を測定する適切な路面標識として取り上げられる。
【００４３】
車線境界検出装置６は、さらに、適切に路面標識を表わさない画像フィーチャを排除するプロセスを実行してもよい。図７Ａの道路４を参照すると、そのような画像フィーチャの最も一般的なものは、通常は暗いタール帯８Ｔが、ビデオカメラ１の前方から入ってくる、低角度の日光によって明るくなる（「光る」）ことによるものである。第２の原因は、道路上の記号７Ｃ（例えば文字、矢印、横断歩道）である（図７Ｂ）。これらは、多くの場合、路面標識８Ｌ、８Ｒに平行であり、同じように見えることがある。車線境界検出装置６は、光っているタール帯８Ｔと記号７Ｃとのどちらも検出して、考察から外す。タール帯８Ｔは、車線区分線である路面標識８Ｌ、８Ｒよりも不規則な幅を有しがちであるという基準に基づいて、車線境界検出装置６は、タール帯を、路面標識としては排除する。さらに、タール帯８Ｔは、明るい背景からの明るい日光が前方にあるときしか光ることができない。それは検出可能である。
【００４４】
タール帯８Ｔの幅の変化が閾値より大きいか否かをチェックし、かつ全背景の明るさを測定することによって、タール帯８Ｔを路面標識８Ｌ、８Ｒであると誤って識別する確率が減る。車線境界検出装置６は、車線区分線候補画像フィーチャ（ピクセル）の処理、その幅と長さの測定、および画像輝度の処理を行う。上記の基準に基づいて、車線境界検出装置６は、車線区分線候補画像フィーチャ（ピクセル）が、路面標識８Ｌ、８Ｒを表わすものであるか、タール帯８Ｔを表わすものであるかを判定する。タール帯であると思われる車線区分線候補画像フィーチャは、その後、用いられない。タール帯８Ｔは、通常、車線区分線よりも大きな幅変動を有しており、したがって、この特性にしたがって、タール帯８Ｔを識別することができる。
【００４５】
記号７Ｃ（図７Ｂ）は、通常、車線区分線間に位置しており、したがって、記号関心領域ＲＯＩ−Ｃが、車線区分線間に配置される。道路の上端近傍に配置された記号関心領域ＲＯＩ−Ｃを用いて、記号７Ｃの存在が特定される。車両が前進するにつれて、画像の頂近傍から底に向かって下方に移動する記号が、記号関心領域ＲＯＩ−Ｃに入ったときに、記号関心領域ＲＯＩ−Ｃすなわち窓は、その記号を検出する。近位距離および遠位距離において記号７Ｃが追跡される。この近位距離と遠位距離との間の行で検出された全ての標識断片が無視される。
【００４６】
以下に述べるように、記号７Ｃが記号関心領域内で検出されると、その記号７Ｃは追跡される。図８を参照すると、追跡は、２つの量を介して行われる。１つは、記号関心領域内で記号が始まる位置（ビデオカメラに近い近位端）を表わす量、すなわち近位距離であり、他の１つは、記号関心領域内で記号が終わる位置（ビデオカメラから遠位端）を表わす量すなわち遠位距離である。記号は、相当の長さを有する場合があるので、これらの２つの量が必要である。次の画像フレームにおいて検出される記号は、１画像フレーム時間に車両速度を掛けた量に等しい距離だけ、車両（ビデオカメラ）に接近する。記号は、車両からずっと先まで延びており（例えば長い矢印がそうである）、したがって、記号関心領域において検出され続ける場合がある。記号関心領域の上端に記号が検出され続ける限り、記号関心領域内の記号の上端（遠位距離）は、ビデオカメラから記号関心領域の上端までの距離にとどまり、一方、近位距離は、１画像フレーム毎に、１画像フレーム時間に車両速度を掛けた量に等しい距離だけ減少する。記号が、記号関心領域ＲＯＩ−Ｃの上端に検出されなくなると、遠位距離も、１画像フレーム毎に、１画像フレーム時間に車両速度を掛けた量に等しい距離だけ減少する。
【００４７】
図８において、記号は、時刻ｔ0において、はじめて検出される。記号は、分析エリアである記号関心領域ＲＯＩ−Ｃ中に入るにつれて、より長い長さを現わし、時刻ｔ1においてはじめて、その全長（Ｌｎ＝Ｌ２−Ｌ１）を現わす。近位端は、常に車両に近づく。遠位端は、時刻ｔ1において、記号の上端がやっと見えるようになってはじめて、車両に近づくようになる。直線５４の傾きは、車両速度に一致する。近位距離と遠位距離との間の行における路面標識断片候補の検出は、全て排除される。
【００４８】
カルマンフィルタの予測機能によって、路面標識に近づきすぎたときに、運転者に警告を発する機能を損なうことなく、「偽りの好適な」標識を排除することが、一般に可能になる。カルマン予測は、いくつかの画像フレームにおいて、実際の測定を利用不可能な場合（恐らくは路面標識断片候補の排除によって）でさえ、空白を埋めて、有用な出力信号を生成することができるからである。
【００４９】
車線境界検出装置６は、さらに、破線タイプ路面標識のダッシュ間のギャップにおける検出を排除してもよい。画像内に見出された路面標識断片候補が、真の路面標識断片として容認されるには、破線タイプ路面標識モデルと一致しなければならない。ダッシュの位置の不確実さが考慮される。破線タイプ路面標識は、間にギャップを挟まれた、短い路面標識セグメント（ダッシュ）を含んでいる。ダッシュ−ギャップパターンの規則性を学習し、その規則性を、ギャップ内に存在する見せかけの路面標識断片を排除するために用いることができる。このプロセスは、車両速度情報に基づいて、複数の画像フレームからのダッシュ−ギャップパターンを互いに重ね合わせ、それによって、ダッシュ−ギャップパターンの学習サイクルを強化するステップを含んでいる。車両速度および予想されるダッシュ位置に基づいて、画像中のギャップ内の画像フィーチャの検出が放棄される。
【００５０】
放棄プロセスは、１つ先の画像フレームにおいてダッシュおよびギャップが存在するであろう位置を予測し、路面標識断片が存在するであろうと予測された（ある不確実さを許容しながら）位置にある路面標識断片だけを用いることによって遂行される。その結果、形を整えられた破線タイプ路面標識断片候補のセットが形成され、破線タイプ路面標識の真のパターンに、より信頼性をもって組み立てられる。ギャップ中の路面標識断片候補の排除は、一定時間にわたる、ダッシュの周期的な消失と再出によって認定される破線タイプ標識パターンが検出されてはじめて適用される。
【００５１】
ダッシュ−ギャップ予測（モデル）の適用の一例が、図９に示されている。画像から入ってくる路面標識構造１６９（左端に示されている）が、フィルタ１７１（中央に示されている）に通され、その結果、フィルタ処理された破線タイプ路面標識１７３（右端に示されている）が生成される。ブロック１７７は、道路上に見出された実際の破線タイプ路面標識の断片を表わしている。それらのうちのいくつかはノイズであるかもしれない。フィルタ処理プロセスを用いることによって、ダッシュ間のギャップと不確実領域１７５との両方内にある、画像中の路面標識に似た物体は、画像からの路面標識の構築に用いられない（曲線適合に用いられない）。路面標識の容認に、ある大きさの不確実さを許容しながら、ダッシュ間のギャップ内にある路面標識候補を排除する〔例えばそのような不確実さの程度は、予想される各ダッシュの位置の終端における０．５メートルの領域であってもよく、その領域の内部に見出される（ギャップにはみでない）路面標識断片候補は容認される〕。
【００５２】
車線境界検出装置６は、さらに、次の画像フレームにおけるＲＯＩを予測してもよい。これは、画像内に大きなデフォルトＲＯＩ（その内部に路面標識を検出する）を用いることによって達成される。大きな領域を用いることによって、車線区分線のように見えるが、そうではない物体を検出することが可能である。ＲＯＩのサイズを縮小し、前の検出に基づいて、路面標識が存在すると予想される位置にＲＯＩを配置することによって、誤った路面標識検出の発生を減らすことができる。次の画像フレームにおけるＲＯＩの位置を予測するために、直前のいくつかの路面標識検出を用いて、次の画像フレームにおける路面標識の測定位置を予測する。これは、カルマンフィルタ処理を用いて行うことができるが、アルファ−ベータフィルタ処理のような、より簡単なスキームを用いてもよい。カルマンフィルタの状態変数は、道路面データに最適適合する放物線の０次、１次、および２次の係数であり、横方向座標ｙすなわち横方向距離は、次のように表わされる。
横方向座標ｙ ＝ ０次の項 ＋ １次の項＊前方距離 ＋ ２次の項＊前方距離＊前方距離
【００５３】
カルマンフィルタ処理によって、多数の測定値の平滑化、次の画像における路面標識の位置の予測、および予測における不確実さの程度の算定が行われる。ＲＯＩの幅は、不確実さの程度に比例した大きさに設定されるが、常に、最小路面標識幅の少なくとも４倍に維持される。ＲＯＩが、そのもともとの幅の（１／１０）倍に縮小すると、誤った検出の確率が著しく減少し、同時に、計算時間が短くなる。
【００５４】
与えられた画像フレームにおいて、車線区分線または境界の位置のために利用可能な測定値がない場合には、カルマン予測が用いられる。測定値を利用不可能な状態が維持されると、その予測はより不確実になり、そのために、装置は、図１０の例に示されているように、ＲＯＩの幅を広げる。追跡が打ち切られると、関心領域の幅は広げられ、路面標識の位置の予測の不確実さが増していることを表わす。計算時間に制限されて、また、車線がおよそ６メートルより広くなり得ないために、関心領域の幅は、ある最大値までに制限される。関心領域の長さは調整されない。
【００５５】
カルマンフィルタの状態変数が道路面内にあるため、予測は、道路面内でなされる。道路上で予測された路面標識位置を、画像位置に変換するために、上述の、道路から画像への幾何学的変換が用いられる。関心領域は、画像３の予測された境界位置に関して対称的に配置される。画像フレームの臨界連続数において、路面標識位置の予測値が、実際の路面標識位置の測定値の代わりに用いられた（装置が「空の測定値状態で」動作した)場合には、装置は、再び、関心領域の幅を最大に戻す。この空状態は、２つの空状態量に関して監視される。その第１のものは、最後の実際の測定値が利用可能であったときから経過した画像フレーム数であり、第２のものは、最後の測定値が利用可能であったときから通過した距離（車両速度と累積画像フレーム時間との積）である。この２つの空状態量のどちらかが臨界値に達したとき、関心領域は、その最大幅にリセットされる。一般的なハイウェーの運転速度を仮定すると、空状態走行の臨界距離の一般的な値は、およそ２０メートルである。
【００５６】
カルマンフィルタは、装置が、同一の路面標識を連続して検出しているという十分な確実性がある場合にしか始動されない。これは、連続する一連の画像フレームをチェックし、それらの画像フレームの少なくとも一定のパーセンテージ（通常、６０％を超過する）において、路面標識が検出されたことを確認することによって行われる。３つの距離（例えばビデオカメラの前方、およそ６、９、１２メートルの位置）におけるデータが、カルマンフィルタに送られる。これらの距離は、Dickmannタイプの標識ファインダ（主として標識数を数えるために用いられる）が配置される位置でもある。容認可能な路面標識が見出された場合には、３つの距離における路面標識の位置が計算され、画像内に３つまでの（行、列）ピクセル位置が生み出される。これらのピクセルが、カルマンフィルタへの入力である。検出された路面標識が、３つの距離の全てをカバーするには短すぎる場合には、３つ未満のピクセル位置しか生成されない。
【００５７】
追跡（たどることができる、首尾一貫した路面標識または境界の）の開始を決定するためには、路面標識が、画像中のほぼ予想された位置に、十分頻繁に検出されなければならない。少なくとも１つの位置における検出が確認されると、装置は、その位置における追跡を開始し、カルマンフィルタを始動させる。追跡の第１段階は、通常、例えば１５メートルにわたる確認区間における追跡である。この確認区間の最後において有効な追跡として確認されるまで、この追跡は、警告または制御に利用されない。この第１段階において、装置は、最初の検出から予測される軌道内の、画像中の道路領域を調べる。装置は、検出された３つのピクセル位置の各々におけるさらなる検出を記憶する。この確認区間の通過中に、装置は、検出された３つのピクセル位置の各々における最少検出数を記憶する。この最少検出数は、通常、現在の車両速度で、３メートルの長さの路面標識を通り過ぎるときに観測される検出数である。
【００５８】
確認区間の通過中、路面標識位置は、車両の外縁の外側にとどまっていなければならない。追跡の確認区間の最後において、前述の条件の両方ともが満たされており（すなわち、路面標識は十分頻繁に、かつ連続する複数の画像フレームにおいて予想された位置に検出されており）、空状態量（距離および時間の）が臨界値を超過してしない場合には、装置は路面標識を追跡し続け、その路面標識に対する警告／支援の起動が有効にされる。空状態量のうちの１つが大きすぎる場合には、装置は、路面標識を追跡し続けることを中止し、その路面標識に対する探索モードに戻る。
【００５９】
路面標識の追跡中、装置は、最新の走行区間における各位置での検出の履歴を保存する。履歴が保存される走行区間の長さは、通常、１８メートルである。各画像フレーム時間において、画像フレーム内に検出がなかったとき、または、履歴間隔内の前述の３つのピクセル位置の全てにおける検出の合計が、ある限界値未満であったときには、その追跡において路面標識は見出されなかったと見なされ、空区間がインクリメントされる。空区間がある閾値を超過した場合には、装置は、この路面標識を追跡し続けることを中止し、その路面標識に対する探索モードに戻る。
【００６０】
したがって、カルマンフィルタを用いることによって、路面標識を探すべき画像内の位置を予測することができ、必要な画像評価領域の大きさを算出することができ、平滑化された出力信号が与えられ、未加工の入力信号を最大限に活用するための十分な特性を備えた、恐らく最適なメカニズムが与えられる。
【００６１】
車線区分線または道路境界を見出すことを困難にし得る多くの状況が存在する。車線境界検出装置６は、そのような困難な状況を感知し、そのような状況における装置性能を向上させる。道路画像中のクラッタは、多すぎる画像フィーチャ信号の検出をもたらす。特に、それらの信号のうちの２つが非常に類似している（例えば、強度がほぼ等しい、存在すると予測される場所が近接している、特性が類似している、など）場合には、正しい１つの信号の選択が困難になる場合がある。信号が急にあまりにも弱くなって、たどることができなくなったときに、第２の困難が生じる場合がある。特殊な第３の困難は、路面標識断片であるように見えて、路面標識を検出する際の考察から外されるべき降雪である。道路からの反射光は、道路上の長く白い筋のように見えるから、第４の困難は、路面標識のように見える、道路からの反射光である。そのために、そのような反射光を識別して、路面標識を検出する際の考察から、反射光を外さなければならない。
【００６２】
クラッタを含む画像を処理するために、クラッタ検出プロセスは、図１１に示されているように、近位検出位置と遠位検出位置（それぞれ画像の底と頂）とのほぼ中間位置に、画像幅のほぼ全体をカバーする特別の関心領域、すなわちクラッタ検出関心領域ＲＯＩ−ＣＤを配置するステップを含んでいる。各画像フレームにおける現在の路面標識の位置、および存在するかもしれないさらなる路面標識の位置を得るために、クラッタ検出関心領域ＲＯＩ−ＣＤからのデータが、Dickmannタイプの標識ファインダに供給される。そのような出力は、クラッタ（混乱を招く信号）、および、切り換えるべき、より近接して交互に並んでいる、持続性のあるトラック（標識断片）の検出に用いられる。このようなさらなる路面標識（クラッタ）は、装置に混乱をもたらす場合がある。それらのうちのほとんどは、位置を変更した（特に断続的に）ときに、明確な信号、すなわち、たどるべきトラックを形成することができない。その一例は、まれにしか存在しない（信憑性のある検出信号を与えるほどに十分に持続的でない）標識断片、または無秩序に存在する（首尾一貫した検出信号を与えるほどに互いに十分に近接していない）標識断片である。
【００６３】
そのために、車線境界検出装置６は、クラッタ検出関心領域ＲＯＩ−ＣＤからの検出信号をチェックし、クラッタの検出中に、次の３つのクラッタ量、すなわち、存在しているが現在は追跡されていない、追跡を混乱させる恐れのある標識検出信号の数、検出信号のタイミング周波数（例えば時々存在するが、有効なトラックを形成するのには断続的すぎる、またはまれにしか生じない、など）、および検出信号を発生させる画像フィーチャの位置の変動（大きな変動は、有効なトラックの形成にとって妨害になる）のうちの少なくとも１つを算出する。車線境界検出装置６のクラッタ検出機能によって、装置を混乱させる恐れがある、そのような信号の存在が探し出され、混乱したがって追跡ミスを生じさせ得る全ての検出が排除される。上述のクラッタ量の算出に基づいて、車線境界検出装置６は、標識検出信号の次のタイプの処理のうちの少なくとも１つを実行する。
クラッタ検出信号が存在しない場合の、追跡すべき信号の検出。
有効なトラックを与えないクラッタ検出信号が存在する場合の、追跡すべき信号の検出。
有効なトラックを形成する、他の検出信号が存在するが、その有効なトラックは、現在のトラックほど、横方向にビデオカメラに近くない（装置が警告起動のスイッチを入れてはいけない代替トラックである）場合の、追跡すべき信号の検出。
有効なトラックを形成する、他の検出信号が存在しており、その有効なトラックは、現在のトラックより、横方向にビデオカメラに近い（装置が警告起動のスイッチを入れるべき代替トラックである）場合の、追跡すべき信号の検出。
【００６４】
さらに、車線境界検出装置６の追跡機能によって、暗い影のように、画像の信号強度が急激に低下するかもしれない状況を検出し、別の、真正ではない信号を、代わりに用いることができる。例えば車線境界検出装置６は、特に暗い画像エリア（暗い区画）を、そのような画像エリアの輝度ヒストグラムを用いてチェックし、連続する複数の画像フレームにおいて、そのような暗い区画が車両速度で接近してきており、それは、その暗い区画が道路上の静止エリアであることを表わしていることを究明する。車両が、そのような暗い静止エリア（例えば静止している影）内に入る前に、車線境界検出装置６は、路面標識画像フィーチャ（検出信号）の一時的な消失または低下を補償する。そして、車両が、そのような暗い静止エリア内に入ると、車線境界検出装置６は、補償すべき検出信号が突然になくなるときを予測するために、対応する暗い画像区画のサイズが、いつ小さくなるかをチェックする。これによって、車線逸脱検出装置９は、暗い場所への入出に伴う、警告／支援の誤った起動を回避することができる。
【００６５】
暗い場所内にいるときに、誤った検出の可能性を減らすために、追跡窓（関心領域）は、相対的に狭く作られ、新しい追跡を開始することはできない。暗い画像区画の処理は、さらに、画像解像度に関するビデオカメラ（イメージャ）のタイプに依存する。暗い領域のコントラストを解像することができる、高ダイナミックレンジのビデオカメラでは、車線境界検出装置６は、相対的に高い解像度で、暗い影を処理することができる。暗い領域は何であるかを正確に特定するために、レンズ−イメージャ−車両照明装置のパラメタリゼーションを利用してもよい。
【００６６】
雪などの落下物が情景内に存在する場合には、そのような落下物に対応する画像フィーチャは、車線境界検出装置６および車線逸脱検出装置９による考察から外さなければならない。例えば降雪が、十分に低い温度でのみ生じる場合には、それを測定することができる。路面標識断片に似ているように見える白いフレークである降雪は、断続的標識断片検出信号を発生させる場合がある。それは、連結性分析で判定することができる。低温が検出された場合には、特に断続性が持続していると、装置は、互いにつながらないこれらの偽りの「路面標識断片」を排除することができる。
【００６７】
図１２には、路面標識断片候補の画像フィーチャ７Ｓ（「＋」記号）のうちの真の路面標識断片の画像フィーチャは、路面標識（破線タイプまたは実線タイプの）画像フィーチャ７Ｌ、７Ｒの近傍に密集しており、そうでない画像フィーチャは、路面標識画像フィーチャ７Ｌ、７Ｒと互いに分離している一例が示されている。車線境界検出装置６は、路面標識断片検出信号から、路面標識断片候補として識別されたが、実際には降雪片である可能性が高い、孤立したピクセルを排除するように機能する。したがって、検出の精度を向上させるために、破線タイプ路面標識と、実線タイプ路面標識とを適切に識別することが好ましい。
【００６８】
図１３のコントローラ５の実施形態では、車線境界検出装置６は、道路面からの反射光像（符号１９は、反射光像候補のピクセル輝度パターンを示している）を表わす画像フィーチャを、路面標識検出における考察から外す反射光像検出装置６ｂを備えている（図１３は、さらに、街灯１４、およびビデオカメラ１を搭載している車両２の前方の道路４上の別の車両７を示している)。上述のように、明るく、路面標識に似た垂直の筋のように見える反射光像は、車線区分線検出装置を混乱させる場合がある。反射光像検出装置６ｂは、画像３中の、高コントラストで横方向に暗−明−暗と遷移する、垂直に延びるピクセル輝度パターン１９を、反射光像候補としてチェックする。反射光像検出装置６ｂは、さらに、これらの高コントラストのピクセル輝度パターン１９の長さおよび幅をチェックし、広すぎるか、または短すぎるピクセル輝度パターンを排除する。反射光像検出装置６ｂは、路面標識検出分析に用いるべきではない画像部分（例えばピクセル輝度パターン１９）を識別する。反射光像はほぼ垂直であるから、これらの画像部分を、その列位置のみで記憶することが好都合である場合もあるが、反射光像候補とされた単独のピクセルが無視される可能性もある。あるいは、この反射光像検出装置６ｂを応用し、道路上の記号を表わす画像フィーチャを検出してこれを画像解析し、予め設定した警告を表す特定の記号や文字であることを認識した場合は、音声により該標識の存在を運転手に知らせるよう構成されていてもよい。
【００６９】
コントローラ５（車線境界検出装置６および車線逸脱検出装置９）は、さらに、１つの画像フレーム中に２つ以上の路面標識が検出されているような場合に、新しいか、または、より適切な路面標識が追跡されている（たどられている）か否かを判断する。例えば、ある路面標識が、現在追跡されている路面標識より頻繁に検出される場合には、コントローラ５は、どちらの路面標識を追跡すべきかを決定する。一般的に言うと、ビデオカメラに対して最も内側の（最も近接した）路面標識が、走行している車線を画定している路面標識である。コントローラ５が、現在追跡している路面標識より近接した路面標識を検出した場合には、コントローラ５は、そのより近接した路面標識の追跡に切り換えることができる。例えば現在追跡している、より古く、消えていく路面標識から切り換えるための新しい路面標識が加えられているときなどにも、異なる路面標識の追跡への切り換えが必要になる。
【００７０】
一例において、次の条件、すなわち、コントローラ５は、現在、路面標識をたどっていること、クラッタを含む検出信号は最小であること、新しい路面標識が、十分多くの画像フレームにおいて検出されていること、ＲＯＩが、複数の路面標識を含んでいなくても、複数の路面標識を含んでいても、新しい路面標識が、ビデオカメラに、より近接していること、新しい路面標識が、少なくとも一定の走行距離（例えば１５メートル）において検出されているか、または、現存の路面標識が、その一定の走行距離において検出されていないこと、新しい路面標識が、その一定の走行距離全体にわたって、現存の路面標識より頻繁に検出されていること、新しい路面標識は、ビデオカメラに近づきすぎていない（誤った警告が発せられないように）こと、新しい路面標識に対応する車線の幅は妥当であることという条件の全てが存在するときに、コントローラ５は、現存（現在）の路面標識の追跡から、新しい路面標識の追跡に切り換える。これらの条件（または他の条件）のいくつかの組み合わせを含む、他の追跡切り替え例も可能である。
【００７１】
さらに、新しい路面標識であるように見えているものが、実際には、ノイズの多い現在の路面標識であるということもあり得る。前述のように、路面標識が、ノイズの多いものであったり、見当たらなくなっていたりする場合には、次の画像フレームにおける路面標識の予測される位置に、大きな不確実さが生じることがある。この不確実領域は、容認領域またはゲートと呼ばれる。図１４Ａ、図１４Ｂは、連続する画像フレームにおいて検出される路面標識を追跡する２つの例を示している。図１４Ａの第１の例は、ノイズの少ないトラックにおける検出信号（路面標識候補のピクセルｐに対応する）を表わしている。ゲート６０（１つの画像フレームに対して１つのゲート）のサイズは相対的に小さく、実測値は予測値に近い。図１４Ｂの第２の例は、ノイズの多いトラックにおける検出信号を表わしている。ゲートのサイズは相対的に大きく、測定値は、最初の２つの画像フレームにおいて、ゲート６０内にあるだけである（３つの画像フレームにおける実測値は、予測値を中心としたゲート６０ａの外部にある）。測定値が、一貫してゲートの外部にある場合には、新しいトラックが開始していることがあり、上記の切り替えが行われる場合がある。測定値がゲートの外部に存在する、または路面標識（測定値）が存在しないという不満足な状況は、測定値に替えて予測値を用いて処理される。
【００７２】
車線逸脱検出装置９は、さらに、路面標識を越えること（または交差すること）によって、特定の重大な結果がもたらされる場合を規定する。その結果は、いくつかの場合において、他の場合より重大になる。一例において、路面標識を越えることが重大性をもつかどうかを決めるために３つのパラメータが用いられる。道路画像から検出される、それらのパラメータには、路面標識の数、路面標識のタイプ、および路面標識の外側に見えるものの分類が含まれる。交差してはいけないことを意味している路面標識（例えば二重で、実線で、恐らく黄色の線）には、単一の破線タイプ標識と交差する場合より強い警告を発するように規定してもよい。画像中の路面標識の外側の、複数の垂直のエッジを含んでいるエリアへの進入に対しては、より強い警告を発するように規定してもよい。３つのパラメータに応じて、運転者に与えられる警告または支援は変更される。
【００７３】
単一の画像フレームにおいて路面標識長を検出することによって、路面標識のタイプを特定してもよい。路面標識長は、路面標識のタイプを決定する基本量である。実線タイプ路面標識は、一般に長い。一方、破線タイプ路面標識のダッシュは、より短い長さを有する。さらに、ボッツドッツは、非常に短い。アセンブリプロセス（路面標識断片を適合直線または適合曲線でつなぐ）を用いて、路面標識を見出すことができる。路面標識は、ギャップ（例えば路面標識断片が存在しない場所）を挟まれることもある、ほとんどつながっている断片を有する。ほとんどつながっている断片を検出し、最小の長さを用いてギャップを記述することによって、そのようなアセンブリの、ビデオカメラからの最近位距離および最遠位距離を特定することができる。
【００７４】
破線タイプ路面標識のダッシュ間のギャップは、例えば少なくとも２メートルの長さを有する。実線タイプ路面標識のギャップ（欠落部）は、通常、より短く、最大でも例えば約０．５メートルにおよぶ程度である。ギャップは、路面標識の形成に寄与する路面標識断片が存在しない１つ以上の行から成っている。画像３の各行は、上述の幾何学的変換を用いて、ビデオカメラの幾何学的配置情報（据え付け高さ、ピッチ角など）から計算することができる、道路４のある長さすなわち区分域をカバーしている。一例として、図１５に示すように、路面標識を形成するために用いられた路面標識断片を含む行のリストを調べることによって、路面標識長を見出すことができる。路面標識を形成している個々のピクセル区分域を合計することによって、路面標識長が測定される。例えば０．５メートルまでのギャップは看過される。より長いギャップは、いずれも路面標識間のギャップである。
【００７５】
図１５は、Ａ、Ｂ、Ｃ、Ｅ、Ｆ、Ｈ、Ｉ、Ｊ、Ｋ、Ｏと表示された、一連の行を示している。直接に隣接している行Ａ、Ｂ、Ｃは、それらの内部に、路面標識断片を有している。次の行である行Ｄは、路面標識断片を有していない（ギャップである）。路面標識断片を有している行Ｅ、Ｆが、それに続いている。次いで、行Ｇで、別のギャップが続いている。最後に、行Ｈ、Ｉ、Ｊ、Ｋは、路面標識断片を有しており、行Ｏで、次の路面標識断片が続いている。
【００７６】
路面標識断片を欠いている行Ｄ、Ｇ、Ｌ、Ｍ、Ｎは、それらの行の各ピクセルがカバーしている（対応している）道路の長さに関して調べられる。例えば行Ｄは０．２メートルをカバーしており、行Ｇは０．４メートルをカバーしており、行Ｌ、Ｍ、Ｎは合わせて１．９メートルをカバーしている。行Ｄおよび行Ｇの長さは、臨界最大ギャップ値０．５メートル未満であるが、行Ｌ、Ｍ、Ｎを合わせた長さは、臨界最大ギャップ値０．５メートルを超過している。したがって、路面標識は、行Ａの下端から行Ｋの上端まで延在しており、その長さは、行Ａ〜Ｋがカバーしている道路上の各区分域の和で与えられる。０．５メートルの臨界最大ギャップ値より短い行ＤおよびＧは、それらの隣の行とつなげられて、路面標識に組み入れられる。路面標識断片の存在を検出するために、関心領域の全ての行が処理され、路面標識長（および始点と終点）を見出すために、上記のステップが適用される。
【００７７】
路面標識長が測定されてしまえば、車線境界検出装置６のクラシファイア機能によって、測定したばかりの路面標識のタイプが特定される。このクラシファイアは、その入力として路面標識長をとり、出力として路面標識タイプを発生させるルールに則っている。例えば４つの路面標識タイプ、すなわち、タイプ０＝路面標識なし、タイプ１＝ボッツドッツ、タイプ２＝破線タイプ路面標識、タイプ３＝実線タイプ路面標識があり得る。路面標識タイプの分類ルールの一例は、次のものを含んでいてもよい。
路面標識長＝０メートルであれば、路面標識タイプ＝タイプ０。
０メートル＜路面標識長≦０．５メートルであれば、路面標識タイプ＝タイプ１。
０．５メートル＜路面標識長≦３メートルであれば、路面標識タイプ＝タイプ２。
３メートル＜路面標識長であれば、路面標識タイプ＝タイプ３。
【００７８】
路面標識が、ＲＯＩ内で完全に見えるわけではなく、実際の長さより短く見えるかもしれないために、路面標識タイプのこれらの分類はあいまいになる場合がある。このために、走行の最後の、例えば２０メートルの間に得られる路面標識タイプの分類にフィルタ処理プロセスが適用され、路面標識タイプの最大値が選択され、単一画像フレームにおける最終的な路面標識タイプの分類が与えられる。例えば実線タイプ路面標識分類（すなわち路面標識タイプ＝タイプ３）が、最後の２０メートルにおいて、１回しか検出されなかったとしても、その路面標識タイプは、実線タイプ路面標識として分類される。図１６は、単一画像フレームにおける路面標識長測定のプロセス７０の一例を示している。プロセス７０は、次のステップを含んでいる。
ステップ７１：ＲＯＩ内の全ての路面標識断片を見出す。
ステップ７２：路面標識断片が存在する全ての行のリストを作成する。
ステップ７３：例えば０．５メートル未満の長さのギャップを看過して、最も長くつながっているセクションを見出す。
ステップ７４：最長のセクションの近位端および遠位端を得る。
ステップ７５：遠位端の位置と近位端の位置との間の差として、路面標識長を計算する。
ステップ７６：路面標識長を用いて、例えば４つのタイプ、すなわち、タイプ０＝路面標識なし、タイプ１＝ボッツドッツ、タイプ２＝破線タイプ路面標識、タイプ３＝実線タイプ（連続）路面標識に、路面標識タイプを分類する。
ステップ７７：最終的な路面標識タイプを得るために、走行の最後の例えば２０メートルの間に見出された路面標識タイプ（０、１、２、３）のうちの最大値のものを選出する。
【００７９】
路面標識タイプの一代替特定方法は、一定の時間内に、どのくらいの頻度で路面標識断片が検出されるかを特定する方法である。通常の大きさの関心領域ＲＯＩ−Ｌ、ＲＯＩ−Ｒのいずれかが、より小さな関心領域に分割され、この分割された関心領域で路面標識断片検出が行われる。一例において、路面標識断片の低頻度の検出（〜１％）はボッツドッツに伴うものであり、より高頻度の検出（１５％）は破線タイプ路面標識に伴うものであり、より一層高頻度の検出（６０％）は実線タイプ路面標識に伴うものである。
【００８０】
複数の路面標識は、一般に、破線タイプ路面標識と実線タイプ路面標識との組み合わせである。そのような組み合わせは、図１７の例に示されているように、複数の行からのピクセル値を合計し、合計することによってノイズが減少して、強化された検出信号を用いて路面標識を検出する、Dickmannタイプの標識ファインダによって検出することができる。合計されたピクセル値は処理され、閾値（例えば１〜２５５の範囲にあり、６〜２４の範囲にあることが好ましい）を超過する大きさを有する輝度勾配が特定される。次に、勾配のピーク（最大勾配）およびバレー（最小勾配）が特定され、ピークと、それに隣接するバレーとの位置が調べられて、それらの間の間隔が求められる。間隔が、行に対して許容されている最小間隔値と最大間隔値との間〔例えばセンチメートルで測って１〜１００ｃｍの間であり、７〜７０ｃｍの間であることが好ましい（このセンチメートルで測ったサイズは使用の前にピクセル数に変換される）〕にあるときには、そのピークとバレーは、路面標識を表わしているとして、１対化される（ピーク−バレー対すなわちＰ−Ｖ対、図１７参照）。したがって、１対化された、勾配のピーク−バレーの数は、画像３のＲＯＩ内に存在する路面標識の数である。
【００８１】
複数のDickmannタイプの標識ファインダを用いて、ビデオカメラに関して同じ側の、いくつかの距離において路面標識検出を行うことによって、路面標識の存在数に対する複数の測定をなすことができる。一例として、図１８を参照すると、ビデオカメラの１つの側部（１つのＲＯＩ）当たり３つの標識ファインダ８０が用いられている。標識ファインダ８０の各々は、地面を、縦方向に約１メートルだけカバーしている。いずれかの標識ファインダ８０が、ビデオカメラの１つの側部（例えば関心領域ＲＯＩ−Ｒ）において、標識断片間のギャップ（例えば破線タイプ路面標識のダッシュ間のギャップ）を検出し、他の標識ファインダよりも少ない路面標識数を計上することがあるかもしれない。見出された路面標識数のうちの最大のものが、与えられた画像３の、測定された側部に存在する路面標識数を表わすものとして選ばれる。
【００８２】
局所的に散在する勾配が、路面標識として検出されることがあり得る。そのために、検出された路面標識数が、フィルタ処理（時間平均）される。一例として、図１７を再度参照すると、与えられた画像フレームにおいて検出された路面標識（Ｐ−Ｖ対）の最大数がフィルタ処理される。例えば約２０メートルの車両走行に相当する画像フレーム数が、フィルタ長として用いられる。このフィルタ処理によって、検出された路面標識数が平均化され、最終的な検出路面標識数が特定される。
【００８３】
上述の路面標識の検出に加えて、図１９の例に示されているように、路面標識画像フィーチャ７Ｌ、７Ｒの内側と外側との画像フィーチャを比較し、特徴分析してもよい。路面標識を見出すために用いられた種々の量が、比較および特性分析のための入力すなわち特性値として用いられる。図１９は、２つの画像領域ＮＲおよびＢＢＲを示している。画像領域ＮＲは、ビデオカメラの近傍にあり、画像領域ＢＢＲは、識別された路面標識画像フィーチャ７Ｌの外側にある。
【００８４】
これらの画像領域は、いくつかの特性によって特性分析することができる。それらの特性には、平均輝度、サイズ、エッジの存在などを含めることができる。一例として、画像領域ＮＲおよびＢＢＲにおいて画像テクスチャを測定し、それらの画像領域における画像フィーチャを特定することによって、それらの画像領域におけるエッジの存在を明らかにすることができる。標識ファインダは、いくつかある量の中で特に、各行のピクセルの輝度の勾配を計算する。いくつかの勾配は、閾値（例えば１〜２５５の範囲にあり、６〜２４の範囲にあることが好ましい）を超過する大きさを有するかもしれない。これらの十分の大きさを有する勾配（ピークとバレー）間の間隔の広さに応じて、それらの間のエリアが、路面標識断片候補として容認されるか、または否認される。画像領域ＮＲおよびＢＢＲ内のこれらの十分の大きさを有する勾配(それら以外は、車線区分線断片候補または境界断片候補であると認定されない）の密度および中央値間隔を、路面標識画像フィーチャ７Ｌの外側／内側にあるものを分類するための特性として役立てることができる。一例において、密度は、横方向１メートル当たりの、十分の大きさを有する勾配の数として与えられる。中央値間隔は、列の数で与えられる。
【００８５】
路面標識画像フィーチャ７Ｌの外側／内側にあるものを分類するために用いることができる画像領域ＮＲおよびＢＢＲ内の他の１つの画像特性は、行位置の変化に伴う、十分の大きさを有する勾配間の中央値間隔の変動の仕方である。図２０Ａの画像３の例に示されているように、画像内の行が地平線に近づくにつれて、道路面内の路面標識および他の物体は、通常、その長さおよび幅が縮小したように見える。そのような物体における中央値間隔も、行が地平線に近くなるにつれて、狭くなるように見える。しかしながら、木８２のような道路面内にない物体においては、行が地平線に近づいても、その幅や間隔は狭くならないように見える。
【００８６】
図２０Ｂの例に示されているように、道路上のそのような物体に対応する画像フィーチャの特性を記述するために、十分の大きさを有する勾配の中央値間隔と、画像の行とを関連づける最小二乗直線が計算され、その傾きが記憶される。標識検出用のＲＯＩ（例えば画像領域ＮＲおよびＢＢＲ）の上端と下端との間の行が、そのような計算に用いられる。例えば行が地平線に近づいても、画像面とほぼ平行な樹幹は、その幅を一定に維持され、一方、道路面内の物体は、一般に、その幅を一定に維持されない。最小二乗適合直線の傾きがほぼ０であるということは、木のような、一定の幅（画像面において）の物体が存在することを指示している。車線逸脱検出装置９は、それを利用して、適切な警告／支援を発することができる。
【００８７】
行または領域の平均絶対偏差（ＭＡＤ）によって定められる別の画像特性を、画像領域ＮＲおよびＢＢＲにおける物体の検出に用いてもよい。道路などの滑らかな領域は、低いＭＡＤ値を有する傾向にあり、一方、木などの、より大きいテクスチャを有する領域は、より高いＭＡＤ値を有する。ＭＡＤは、平均値からの平均絶対偏差である。ｍ個のピクセルの輝度ｐiのグループに対する、輝度のＭＡＤは、数２のように表わすことができる。
【数２】
0005868586.tif 000003
ここで、ｉは、ｉ＝１、２、…、ｍであり、average(p)は、ｍ個のピクセルの輝度ｐiの平均値であり、和は、全てのｉにわたって行われる。
【００８８】
一例として、図２１に示すように、各行におけるビデオカメラの近傍のＭＡＤ値が特定され、次いで、同じ行において、ビデオカメラから横方向に外側にさらに離れた位置におけるＭＡＤ値が、検出された路面標識を越えて、ほぼ１車線幅（例えば１車線幅はほぼ３メートルであってもよい）だけ外側に延びる画像領域において特定される。２つのＭＡＤ値が、画像の各行に対して生成される。図２１は、路面標識または境界の内側と外側とにおけるＭＡＤ値の比較を示している。各行における内側ＭＡＤ値と外側ＭＡＤ値との比δが得られ、それらの比δが平均される。比δの値がほぼ１であれば、路面標識の外側の領域のテクスチャが、路面標識の内側の領域のテクスチャと同様であるということになる。この特性は、１つの値を生成するための入力として、２つの領域を必要とするから特異である。
【００８９】
そのために、この例においては、４つの画像特性が考察の対象とされる。第１の画像特性は、１メートル当たりの勾配密度であり、第２の画像特性は、列の数で表わされる、十分の勾配間の中央値間隔であり、第３の画像特性は、十分の大きさを有する勾配間の中央値間隔の行変化であり、第４の画像特性は、平均ＭＡＤ比である。このような画像領域特性は、いろいろに処理することができる。２つの例を、次に記す。
１．  ビデオカメラの近傍の領域（画像領域ＮＲ）における最初の３つの画像特性と、路面標識の外側（およそ１車線幅だけ外側までの）の画像領域ＢＢＲにおける同じ３つの画像特性とを比較し、第４の画像特性比較として、平均ＭＡＤ比を組み込む。これらの画像特性が、近似性に関して比較される。最初の３つの画像特性は、マンハッタン距離を用いて比較される。
２．  路面標識の外側の領域（画像領域ＢＢＲ）における最初の３つの画像特性および平均ＭＡＤ比とデータベースとを比較し、データベース内の、最も近似した画像特性を有するカテゴリーを特定する。
【００９０】
上記の第１の比較プロセスにおいては、路面標識の内側の画像領域における画像特性結果が、路面標識の内側の画像領域に対応する道路の運転しやすさを評価し、次いで、その評価に基づいた適切な警告／支援機能を起動するために、車線逸脱検出装置９によって用いられる。車両が通過可能なゾーン内を安全に前進する（例えば道路上を路面標識にしたがって）ように、車両が前進するにつれて、上述の画像特性の組み合わせがモニタされる。この画像特性の組み合わせ（特性ベクトル）と同じ特性ベクトルが、路面標識の外側の画像領域ＢＢＲのゾーンにおいても見出された場合には、その車両は、安全に画像領域ＢＢＲのゾーンに進入することができると予想することは合理的である。車両が前進するにつれて収集された安全な特性ベクトルを記憶することによって、装置は、安全なゾーンに関して累積的に学習する。
【００９１】
上記の第２の比較プロセスにおいては、画像領域ＢＢＲにおいて現在測定されている画像特性が、データベース中の代表的かつ典型的な画像特性と比較される。このデータベースは、少なくとも２つのカテゴリー（または評価）、すなわち、安全な走行が可能なレベル、および安全な走行が不可能なレベルを規定している。データベースは、走行可能であるかもしれないレベルすなわち中間安全レベルなどの、他のカテゴリーを含んでいてもよい。データベースは、これらの画像特性の全ての組み合わせを含んでおり、またそれらの組み合わせの各々に対して、安全度を割り振る。
【００９２】
車線逸脱検出装置９は、次のように、２つの比較を用いることができる。第１の比較が、ビデオカメラの近傍（画像領域ＮＲ）で測定された画像特性と、路面標識の外側（画像領域ＢＢＲ）で測定された画像特性との間に相当な差があることを示した場合には、第２の比較が行なわれる。最終結果として、路面標識の外側の領域（画像領域ＢＢＲ）に入ることがどれくらい安全かということが判定される。０．０〜１．０の間の値として与えられるこの判定に応じて、車線支援状況中に運転者に供給される警告または支援のレベル／タイプが調節される。
【００９３】
１つの特性ベクトルと、別の１つの特性ベクトルとの近似性が、次のように、それらの間のマンハッタン距離によって測定される。
マンハッタン距離 ＝ ｜f1_a − f1_b｜＋｜f2_a − f2_b｜＋｜f3_a − f3_b｜
ここで、f1_aは、グループａの第１の画像特性であり、f2_bは、グループｂの第２の画像特性であり、f3_bは、グループｂの第３の画像特性である。例えばグループａは、車両が安全に進入することができる、前方の直線道路からの３つの画像特性測定を含んでいてもよく、グループｂは、路面標識の外側の領域からの３つの画像特性測定を含んでいてもよい。グループａの前述の４つの画像特性のうちの最初の３つが、グループｂの対応する３つの画像特性に十分に近似している場合には、路面標識の外側の領域への進入は安全であろうと予想される。マンハッタン距離は、図２２におけるように、二次元のグラフで示すことができる。あるいはまた、グループａは、路面標識の外側の領域（画像領域ＢＢＲ）において測定された画像特性の平均であってもよく、グループｂは、例えば草やガードレールを表わす、データベース中の参照点であってもよい。グループａは、グラフ８５において、最も整った参照特性ベクトルと同じカテゴリーを割り当てられる。シンボル（数３）および（数４）は、それぞれ、グループａとグループｂとの間における第１の画像特性の差および第２の画像特性の差を表わしている。
【数３】
0005868586.tif 000004
【数４】
0005868586.tif 000005
【００９４】
マンハッタン距離が大きいということは、画像領域（グループ）間の画像特性の差が大きいということを表わす。マンハッタン距離の計算に先立って、画像特性は正規化される。この距離測定が、第１の比較において用いられる。また、実質的に同じであると見なしうる、２つの画像領域の画像特性に対して許容される最大差に対する閾値（例えば０〜１．４の範囲にあり、０．２〜０．６の範囲にあることが好ましい）が設定される。２つの画像領域が近似していると断定できるためには、第４の特性は、０．８〜１．２の範囲にある必要がある。
【００９５】
第１の比較によって、２つの画像領域が互いに相当に異なっていることが示された場合には、第２の比較が起動される。最も単純な形態として、画像特性値は、１セットのルールを適用される。それらの１セットのルールは、特性ベクトルの各組み合わせに、識別カテゴリーおよび安全度を割り振る。ルールの１つの例は、次のとおりである。１つの画像領域における、十分の大きさを有する勾配間の間隔が、画像の行の変化に対して十分に変化しない（行対中央値間隔のデータに対する適合直線の傾きを見出すことによってチェックされる）場合には、この画像領域は、走行可能な領域ではなく、危険度が高く１．０である。１つの画像領域において、横方向１メートル当たりの、十分の大きさを有する勾配の数が少なく、中央値間隔が小さい場合には、この画像領域の危険度は、かなり低いとされる。画像領域ＢＢＲにおけるＭＡＤ値が大きい場合には、危険度が高いとされる。上述のステップを、１つの画像領域の上述の４つの画像特性を受け取り、それに応答して、危険度（または安全度）に、０．０（全く危険でない）と１．０（極めて危険である）との間の値を与える４次元クラシファイアとして実行することができる。
【００９６】
図２３は、４つの画像特性の一例を、グラフで示している。第１の画像特性（＃１）は、５メートルの長さにわたる、十分の大きさを有する８個の勾配である、すなわち、１メートル当たり８／５個すなわち１．６個の十分の大きさを有する勾配からなる勾配密度である。第２の画像特性（＃２）は、隣り合う勾配間の距離の特性値である、全ての隣り合う勾配の対の間隔の中央値である。第３の画像特性（＃３）は、ＭＡＤの計算の仕方である。第４の画像特性（＃４）は、画像の行の関数としての、中央値間隔の近似的な変化（最小二乗適合直線を介して示される）の仕方である。それによって、路面標識の外側にあるものが道路面内にあるようであるか、それとも直立しているようであるかが判定される。さらなる画像特性として、画像領域内の平均勾配量を含ませてもよい。
【００９７】
図２４は、本発明によるコントローラ５の別の一実施形態を実行する装置１００の一例の機能ブロック図である。車線境界検出装置１０１は、前述のように車線区分線を検出する。記号検出装置１０２は、車線境界検出装置１０１を妨害する恐れがある標識をチェックし、それらの標識のそれぞれの両境界（内側および外側の）を特定する。これらの両境界の間に検出された画像フィーチャを、車線境界検出装置１０１は無視する。クラッタ検出装置１０３は、車線境界検出装置１０１を混乱させる恐れがある不規則な標識、過剰な標識、および一貫性のない標識をチェックし、必要な場合には、全ての検出を排除する。新標識検出器１０４は、追跡モジュール１０６が切り換えて、車両がたどることができる十分に持続的で、一貫性があり、より近接した路面標識をチェックする。
【００９８】
カメラ較正モジュール１０５は、ビデオカメラの内部および外部の幾何学的配置特性を分析する。内部の幾何学的配置には、焦点距離、ピクセルサイズなどの量が含まれ、一方、外部の幾何学的配置には、据え付け高さ、ピッチ角などが含まれる。追跡モジュール１０６は、ビデオカメラの各側部において１つずつ識別された路面標識の位置測定値を受け取り、それらを平滑化し、次の画像フレームにおける路面標識の位置を予測し、依然として予測をなすことが可能である（予測が、その信頼性を低下させすぎる前に、一定の不確定さの範囲内で適切である）か否かを判断する。車線逸脱検出装置１０７は、車両が路面標識に接近しすぎているか否かを判断する。そのための入力は、追跡モジュール１０６からの平滑化された位置測定値である。その出力は、警告するべきか否かについての判定である。
【００９９】
画像領域特性分析および比較装置１０８は、最初に、車両の前方の領域と、路面標識／境界の外側の、ほぼ１車線幅の領域とを比較し、両領域が、互いに近似した画像特性を有しているか否かを判断する。両領域が、互いに近似した画像特性を有している場合には、路面標識／境界の外側の領域に進入することは安全であり、過度に強い警告を発する必要はない。両領域が互いに異なる場合には、路面標識／境界の外側の領域の画像特性が、データベースと比較される。それによって、路面標識／境界の外側の領域が安全な領域、恐らく安全な領域、または安全でない領域に分類される。したがって、この分類は、起動される警告に影響を与える。起動される警告は、存在している路面標識の数およびタイプなどの、路面標識の属性によっても影響を受ける。二重の実線タイプ車線区分線は、単一の破線タイプ車線区分線の場合より強い警告の起動を引き起こす。ルールによって、画像領域分類と路面標識タイプとが組み合わされ、この組み合わせが、起動される警告の強さまたは性質に影響を及ぼす。路面標識のタイプ／数／長さ測定装置１０９は、路面標識自体が、車線からの逸脱が危険であることを示しているか否かを判断する。警告モジュール１１０は、適切な車線位置または道路位置を維持するように運転者に警告するか、または支援する。その入力は、路面標識および路面標識の外側の領域によって誘起または示唆される、警告および危険度に対する判定である。
【０１００】
図２５は、装置１００によって実行される、以下のステップを含むプロセス２００のフローチャートである。
ステップ２０１：道路の画像フレームを得る。
ステップ２０２：予想される路面標識位置の限界を、画像内にＲＯＩとして画定する。
ステップ２０３：画像アーチファクト（反射光、太陽光の筋）を排除する。
ステップ２０４：画像中のＲＯＩ内に路面標識断片を見出す。
ステップ２０５：ギャップ中の標識断片を排除する。
ステップ２０６：降雪標識断片を排除する。
ステップ２０７：検出から記号を排除する。
ステップ２０８：残っている路面標識断片を、路面標識に組み立てる。
ステップ２０９：検出からタール帯を排除する。
ステップ２１０：幾何学的変換によって、画像点を道路面に投影する。
ステップ２１１：クラッタを検出する。
ステップ２１２：道路面データにカルマンフィルタ処理を施す。
ステップ２１３：必要に応じてトラックを切り換える。
ステップ２１４：路面標識に相対的に、ビデオカメラ／車両の位置を特定する。
ステップ２１５：路面標識に接近しすぎているか？Ｙｅｓの場合にはステップ２１６に進み、そうでない場合にはステップ２０１に戻る。
ステップ２１６：状況に応じて、警告／支援を与える。
ステップ２１７：次の画像フレームにおける、車線区分線の次の位置を予測する。
ステップ２１８：次の画像フレームにおける困難な状況を予測する。
ステップ２１９：検出された路面標識に対する曲率補償を行なう。
ステップ２２０：車道および路面標識の特性を分析する。次いで、ステップ２０１に戻る。
【０１０１】
車道の情景は、夜間と日中において、互いに異なるように見える。この互いに異なる見え方は、具体的には、夜間における相対的に強いコントラスト、夜間における相対的に低い背景ノイズレベルなどとして現われる。車道の画像の分析のために、そのような情報を用いることができる。明るい情景には、イメージャの短露光時間および／または低利得が必要になる。暗い情景には、イメージャの長露光時間および／または高利得が必要になる。露光時間および利得の履歴（例えば１分間の長さの）を記憶することによって、相対的に低／高および短／長のそれぞれの設定のどちらに該当しているかを特定することができる。それによって、「わからない」ゾーンに対処することができる（すなわち、履歴が、一定の数を超過する、日中に関するイメージャの設定に当てはまれば、日中であり、一定の数を超過する、夜間に関するイメージャの設定に当てはまれば、夜間である）。
【０１０２】
十分な性能を得るためには、ビデオカメラを十分に較正することが望ましい。幾何学的変換方程式に用いられるビデオカメラに関連する量、すなわち、ビデオカメラの高さ、焦点距離、ピッチ角などが、重要な役割を果たす。較正によって、内的パラメータ（焦点距離、光軸位置などの、ビデオカメラ自体によって定まる、ビデオカメラに関するパラメータ）、および外的パラメータ（据え付け高さ、ピッチ角、車両中心線からの距離などの、ビデオカメラが搭載されている、車両上の位置に関係するパラメータ）の値が確定される。
【０１０３】
路面標識の位置／種類／数、路面標識の外側に存在するであろう物などに関する全ての測定情報を組み合わせて、道路の描写および特性分析を行うことができる。
【０１０４】
急カーブは、直線的な関心領域にも、直線的な路面標識にも適合しない。路面標識は、通常、ビデオカメラの近くにあるときに、よりよく検出される。したがって、可能であれば、関心領域がよりよくカーブにしたがい、ビデオカメラの近傍の路面標識断片を検出しやすくなるように、関心領域の位置および／または形状を選択することが有利である。図２６の例に示されているように、関心領域（例えば関心領域ＲＯＩ−Ｒ）を、カーブに良好に適合するように適切に配置することによって、相当に小さな曲率半径を有する路面標識でも、よりよく検出することができる。
【０１０５】
さらに、動作中のビデオカメラのピッチ角およびヨー角を学習するために、リアルタイム較正を用いることができる。この学習は、その入力として、消失点（直線道路の場合に、その両側部が、遠方で、一緒になるように見える点）の位置を用いる。一貫して横を向いている（向きがそれている）ビデオカメラには、平均して、やはり、一方の側部に位置している消失点が見える。上方または下方を向いているビデオカメラには、画像において、平均して、相対的に上方または下方に位置している消失点が見える。任意の与えられた画像フレームにおいて、道路の１つの路面標識または境界が見えるだけでよい。運転中に行われる学習が、警告および支援を起動される位置に影響を与え、それをより的確にする。
【０１０６】
上記のステップ／プロセスは、リアルタイムで実行することもできるし、記憶した像に対して実行することもできる。このプロセスは、前処理段を有する単一のＣＰＵ、または複数のＣＰＵ上で行うことができるし、また必要に応じて、両方を平行して用いて行うこともできる。さらに、当業者には公知のように、本発明による前述のアーキテクチャ例は、プロセッサによる実行のためのプログラム命令、ソフトウェアモジュール、論理回路、特定用途向け集積回路、ファームウエアなどの多くの方法で実行することができる。
本明細書では、本発明を、そのいくつかの好適なバージョンに関して、かなり詳細に説明している。しかしながら、他のバージョンも可能である。したがって、請求項の精神および範囲は、本明細書に含まれている好適なバージョンの記述に限定されるべきではない。
【符号の説明】
【０１０７】
１  ビデオカメラ
２  車両
３  画像
４  道路
５  コントローラ
６  車線境界検出装置
６ａ  反射光像検出モジュール
６ｂ  反射光像検出装置
７  別の車両
７Ｃ  記号
７Ｌ、７Ｒ  路面標識画像フィーチャ
７Ｓ  路面標識断片候補の画像フィーチャ
８Ｌ、８Ｒ  路面標識
８Ｔ  タール帯
９    車線逸脱検出装置
１０  カメラ較正モジュール
１１  警告モジュール
１２  曲率測定モジュール
１４  街灯
１５  装置
１７  サンプラー
１９  ピクセル輝度パターン
２０  プロセス
４０  道路面
５０  適合線分
５２  ビデオカメラに相対的な、路面標識の横方向の位置
５４  直線
６０、６０ａ  ゲート
７０  プロセス
８０  標識ファインダ
８２  木
８５  グラフ
１００  装置
１０１  車両境界検出システム
１０２  記号検出システム
１０３  クラッタ検出システム
１０４  新標識検出器
１０５  カメラ較正モジュール
１０７  車両逸脱検出システム
１０６  追跡モジュール
１０８  画像領域特性分析および比較装置
１０９  路面標識のタイプ／数／長さ測定装置
１１０  警告モジュール
１６０Ｌ、１６０Ｒ  平行四辺形
１６２  下端
１６４  上端
１６９  路面標識構造
１７１  フィルタ
１７３  フィルタ処理された破線タイプ路面標識
１７５  不確実領域
１７７  ブロック
２００  プロセス
２０１  画像面
２０３  点
２０５  光軸
ＢＢＲ、ＮＲ  画像領域
ｄ  ビデオカメラの前方の道路上の縦方向距離
ＦＬ  焦点距離
ｈ  ビデオカメラの高さ
Ｈｐ  水平方向ピクセルサイズ
Ｈｔ  高さ
ＬＯ  道路中心線からの横方向のオフセット距離
ｐ、ｐ1、ｐ2  ピクセル
Ｐ、Ｐ1、Ｐ2  点
ｒ  行座標
ＲＯＩ−Ｃ  記号関心領域
ＲＯＩ−ＣＤ  クラッタ検出関心領域
ＲＯＩ−Ｌ、ＲＯＩ−Ｒ  関心領域
ｔ0、ｔ1  時刻
Ｖｐ  垂直方向ピクセルサイズ
ＶＰ  消失点
ｗ  列座標
Ｗｔ  幅
ｘ  縦方向座標
ｙ  横方向座標
α  ピッチ角
【図１】
0005868586.tif 000006
【図２】
0005868586.tif 000007
【図３Ａ】
0005868586.tif 000008
【図３Ｂ】
0005868586.tif 000009
【図３Ｃ】
0005868586.tif 000010
【図３Ｄ】
0005868586.tif 000011
【図３Ｅ】
0005868586.tif 000012
【図４Ａ】
0005868586.tif 000013
【図４Ｂ】
0005868586.tif 000014
【図５】
0005868586.tif 000015
【図６】
0005868586.tif 000016
【図７Ａ】
0005868586.tif 000017
【図７Ｂ】
0005868586.tif 000018
【図８】
0005868586.tif 000019
【図９】
0005868586.tif 000020
【図１０】
0005868586.tif 000021
【図１１】
0005868586.tif 000022
【図１２】
0005868586.tif 000023
【図１３】
0005868586.tif 000024
【図１４Ａ】
0005868586.tif 000025
【図１４Ｂ】
0005868586.tif 000026
【図１５】
0005868586.tif 000027
【図１６】
0005868586.tif 000028
【図１７】
0005868586.tif 000029
【図１８】
0005868586.tif 000030
【図１９】
0005868586.tif 000031
【図２０Ａ】
0005868586.tif 000032
【図２０Ｂ】
0005868586.tif 000033
【図２１】
0005868586.tif 000034
【図２２】
0005868586.tif 000035
【図２３】
0005868586.tif 000036
【図２４】
0005868586.tif 000037
【図２５】
0005868586.tif 000038
【図２６】
0005868586.tif 000039