(57)【特許請求の範囲】
【請求項１】
自車の走行レーンを規定する白線画像を認識するため、その明暗変化をエッジとして抽出する白線認識装置であって、
前記画像の同一部分について水平方向及び垂直方向にエッジを抽出する水平・垂直オペレータ（３１）と、
前記水平方向及び前記垂直方向でそれぞれ抽出されたエッジを１対に組み合わせて、この組合せに少なくと１つのエッジが含まれる場合にエッジを抽出したと判断するエッジ抽出判断手段（３２）と、を備え、
前記エッジ抽出判断手段（３２）によりエッジと判断された２本のエッジ間隔が一定の場合には白線と認識することで画像中の傾斜白線を認識する白線認識装置において、
前記水平・垂直オペレータ（３１）は、前記画像の同一部分について水平方向及び垂直方向に、暗から明への変化を負エッジ、明から暗への変化を正エッジ、明暗のない変化をエッジ無しとし、各３つの状態のエッジを抽出するエッジ抽出手段であり、
前記エッジ抽出判断手段（３２）は、
前記エッジ抽出手段により抽出された水平方向及び垂直方向のエッジの組合せ状態を９値に分類して画像を識別する９値識別手段（３３）と、
走行レーンの左白線用の画像の９値を基に左白線の左右エッジを選択する左白線用左右エッジ選択手段（３４）と、
走行レーンの右白線用の画像の９値を基に右白線の左右エッジを選択する右白線用左右エッジ選択手段（３５）とを具備することを特徴とする、画像中の傾斜白線を認識する白線認識装置。
【請求項２】
前記エッジ抽出判断手段（３２）は、水平方向及び垂直方向の１つのエッジの状態を基に左右白線の左右エッジを選択する共有左右エッジ選択手段（３６）を更に備え、
前記白線の認識程度に応じて、前記共有左右エッジ選択手段と前記左白線用左右エッジ選択手段（３４）及び右白線用左右エッジ選択手段（３５）とを択一的に切り換えすることを特徴とする、請求項１に記載の画像中の傾斜白線を認識する白線認識装置。
【請求項３】
前記エッジ抽出判断手段（３２）は、水平方向及び垂直方向の１つのエッジの状態を基に左右白線の左右エッジを選択する共有左右エッジ選択手段（３６）を更に備え、
該共有左右エッジ選択手段（３６）は、走行レーンの上部の画像の９値を基に画面の遠距離領域のエッジを選択し、
前記左白線用左右エッジ選択手段（３４）及び右白線用左右エッジ選択手段（３５）は、走行レーンの上部の画像の９値を基に画面の近距離領域のエッジを選択することを特徴とする、請求項１に記載の画像中の傾斜白線を認識する白線認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自車の走行レーンからの逸脱や、走行レーン内の前方車両を検出したり認識するために自車の走行レーンを規定する画像中の白線を認識する白線認識装置に関し、特に傾斜白線の認識の精度向上を図る。
【０００２】
【従来の技術】
上記白線認識装置では、白線の特徴部抽出のために画像処理を行って白線の輪郭線のみを抽出するエッジ抽出という手法が用いられている。エッジ抽出の手法とは、画像データを基に、画素を「エッジの部分」と「そうでない部分」の２値に分類してエッジ画像を抽出することをいう。走行レーンのエッジ画像から白線を確実に認識するために、以下のようにして、白線の幅のエッジが抽出される。
【０００３】
図１０は走行レーンの白線幅の画像を示す図である。本図（ａ）の走行レーン白線画像の一部のａ部を本図（ｂ）に示すように、一例として、水平方向、左から右に、明るい部分から暗い部分に変化する部分を正エッジ（右エッジ）として抽出し、暗い部分から明るい部分に変化する部分を負エッジ（左エッジ）として抽出し、明暗の変化の無い部分をエッジ無しとして画素を３つ値に分類する。このようにして得たエッジ画像から幅のある白線の右エッジ及び左エッジが求められる。右エッジと左エッジとの間隔を法律で定められた白線幅と比較して一致すれば、これらの右エッジと左エッジとは走行レーンの白線と認識される。このようにして、３値に分類して得た白線幅は一定なので、他の物体のエッジと識別ができ、雑音に強い白線認識が実現できる。なお、白線幅は、図１０の立体図に示される走行レーンの白線を認識した後に、立体図を平面図に変換してから求めることができるが、この変換は、周知であるので、説明の簡単化のためにこれを省略する。
【０００４】
【発明が解決しようとする課題】
図１１は白線認識装置による白線の左エッジを示す図である。上記白線認識装置では、水平方向に、左から右に向かって画素を３値に分類したが、本図（ａ）、（ｂ）に示すように、白線が垂直線又はこれに近い場合には、左エッジの画素は連続するが、本図（ｃ）に示すように、白線が水平に近い場合には、左エッジの画素が飛び飛びの不連続になる。この場合、近くにノイズによる負エッジ（左エッジ）があるとそれを白線の左エッジと誤認する場合がある。すなわち、白線が傾き水平方向に傾きが大きくなると、白線の境界線にはエッジでない部分が多くなりノイズの影響を受けやすくなり、適切なエッジを抽出し難くなり、精度が高く、正確な認識処理の実現ができないとの問題がある。さらに、白線の傾きの大きさはカメラの画角、俯角により変化し、また、車両等へのカメラ設定高さによって変化するので、カメラの設置条件に困難が伴うとの問題がある。
【０００５】
したがって、本発明は、上記問題点に鑑み、白線の傾斜に対して適切なエッジを抽出することができる白線認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記問題点を解決するために、次の構成を有する画像中の傾斜白線を認識する白線認識装置を提供する。すなわち、自車の走行レーンを規定する白線画像を認識するため、その明暗変化をエッジとして抽出する白線認識装置に、前記画像の同一部分について水平方向及び垂直方向にエッジを抽出する水平・垂直オペレータと、前記水平方向及び前記垂直方向でそれぞれ抽出されたエッジを１対に組み合わせて、この組合せに少なくとも１つのエッジが含まれる場合にエッジを抽出したと判断するエッジ抽出判断手段とが設けられる。前記エッジ抽出判断手段によりエッジと判断された２本のエッジ間隔が一定の場合には白線と認識される。
【０００７】
前記水平・垂直オペレータは、前記画像の同一部分について水平方向及び垂直方向に、暗から明への変化を負エッジ、明から暗への変化を正エッジ、明暗のない変化をエッジ無しとし、各３つの状態のエッジを抽出するオペレータであり、前記エッジ抽出判断手段は、前記オペレータにより抽出された水平方向及び垂直方向のエッジの組合せ状態を９値に分類して画像を識別する９値識別手段と、走行レーンの左白線用の画像の９値を基に左白線の左右エッジを選択する左白線用左右エッジ選択手段と、走行レーンの右白線用の画像の９値を基に右白線の左右エッジを選択する右白線用左右エッジ選択手段とを具備するようにしてもよい。
【０００８】
前記エッジ抽出判断手段は、水平方向及び前記垂直方向の１つのエッジの状態を基に左右白線の左右エッジを選択する共有左右エッジ選択手段とを備え、前記白線の認識程度に応じて、前記共有左右エッジ選択手段と前記左白線用左右エッジ選択手段及び左白線用左右エッジ選択手段とを択一的に切り換えするようにしてもよい。
【０００９】
前記エッジ抽出判断手段は、水平方向及び前記垂直方向の１つのエッジの状態を基に左右白線の左右エッジを選択する共有左右エッジ選択手段とを備え、該共有左右エッジ選択手段は、走行レーンの上部の画像の９値を基に画面の遠距離領域のエッジを選択し、前記左白線用左右エッジ選択手段及び右白線用左右エッジ選択手段は、走行レーンの上部の画像の９値を基に画面の近距離領域のエッジを選択するようにしてもよい。
【００１０】
本発明の画像中の傾斜白線を認識する白線認識装置によれば、前記水平方向及び前記垂直方向でそれぞれ抽出されたエッジを１対に組み合わせて、この組合せに少なくとも１つのエッジが含まれる場合にエッジを抽出したと判断することにより、白線が傾き水平方向又は垂直方向に傾きが大きくなっても、白線の境界線にはエッジでない部分がなくなりノイズの影響を容易に受けなくなり、適切なエッジを抽出することが可能になる。そして、精度が高く、正確な認識処理の実現が可能となる。さらに、白線の傾きの大きさはカメラの画角、俯角により変化し、また、車両等へのカメラ設定高さによって変化しても、適切なエッジを抽出することができるので、カメラの設置条件によらず正確な認識処理を行えるようになった。
【００１１】
前記白線の認識程度に応じて、前記共有左右エッジ選択手段と前記左白線用左右エッジ選択手段及び右白線用左右エッジ選択手段とを択一的に切り換えることにより、画像雑音（孤立点）が多い場合にも対応できる。
前記共有左右エッジ選択手段は、走行レーンの上部の画像の９値を基に画面の遠距離領域のエッジを選択し、前記左白線用左右エッジ選択手段及び右白線用左右エッジ選択手段は、走行レーンの上部の画像の９値を基に画面の近距離領域のエッジを選択することにより、近距離領域での精度の高度化、正確化を図り、遠距離領域での処理時間の短縮を図ることが可能になる。
【００１２】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照して説明する。
図１は本発明の実施の形態に係る白線認識装置であって画像中の傾斜白線を認識するものを示す図である。
本図に示すように、白線認識装置は、車両に搭載され自車前方の道路状態を撮像するカメラ１と、カメラ１により捉えられた画像を画像処理して走行レーンの白線を求める車載画像処理装置１０とを具備する。
【００１３】
車載画像処理装置１０は画像メモリからなって画像データを記憶する画像記録部２と、画像データを特徴抽出されたエッジ画像に変換するエッジ抽出部３と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）  からなってエッジ画像に対して道路上の走行レーンの白線を認識する認識処理手段４とを具備する。
なお、前記画像記録部２はエッジ抽出部３の後にあってもよい。
【００１４】
ここで、エッジ抽出部３は、画像データの濃淡値の変化量の大きい部分をあるしきい値に基づき、分類して、エッジ画像を得る白線エッジ抽出部３０を有する。
図２は白線エッジ抽出部３０の構成を示す図である。本図に示すように、白線エッジ抽出部３０はＳｏｂｅｌオペレータ３１と、９値識別手段３３と、左右白線用の左右エッジ選択手段３４、３５とを有するエッジ抽出判断手段３２とを具備する。
【００１５】
図３はＳｏｂｅｌオペレータ３１を説明する図である。Ｓｏｂｅｌオペレータ３１は画像データの画素を分類するオペレータであり、本図（ａ）に示すものは垂直方向への方向性を持ったオペレータであり、本図（ｂ）に示すものは水平方向への方向性を持ったオペレータである。３×３の画素の輝度値に、本図に示すように、３×３のオペレータの値を乗算して、この結果を積算して、この積算値を基に３×３の画素の中心画素を、以下のように、分類する。
【００１６】
垂直方向への方向性を持ったオペレータでは、３×３の画素中の画面で明るい部分から暗い部分へ変化する場合には上記積算値は「正」となり、この画素で構成される画像を「正エッジ」といい、逆に暗い部分から明るい部分へ変化する場合には上記積算値は「負」となり、この画素で構成される画像を「負エッジ」といい、明るさの部分又は暗い部分に変化がない場合には上記積算値は「零」となり、この画素で構成される画像を「エッジ無し」という。このようにして、上記積算値により画素が３つに分類される。
【００１７】
同様に、水平方向への方向性を持ったＳｏｂｅｌオペレータにより、さらに画素が３つに分類される。このようにして、垂直方向、水平方向の双方で３×３＝９種類に画素を分類することが可能になる。
図４は９値識別手段３３を説明する図である。本図に示すように、９値識別手段３３は、Ｓｏｂｅｌオペレータ３１により分類された全画面の画素を０〜８の数字で識別する。具体的には、垂直方向のオペレータによる「負エッジ」に対して、水平方向のオペレータによる「負エッジ」、「エッジ無し」、「正エッジ」のそれぞれに対応する画素に「１」、「２」、「３」に識別番号が与えられる。そして、垂直方向のオペレータによる「エッジ無し」に対して、水平方向のオペレータによる「負エッジ」、「エッジ無し」、「正エッジ」のそれぞれに対応する画素に「４」、「０」、「５」に識別番号が割り与えられる。そして、垂直方向のオペレータによる「正エッジ」に対して、水平方向のオペレータによる「負エッジ」、「エッジ無し」、「正エッジ」のそれぞれに対応する画素に「６」、「７」、「８」に識別番号が割り与えられる。
【００１８】
図５は左右白線用の左右エッジ選択手段３４、３５を説明する図である。道路の車両の走行レーンは左右の２本の白線からなるが、左白線用の左右エッジ選択手段３４は、９値識別手段３３から左画面の９値を入力し、左の白線の左右エッジを決定するために識別番号を選択する。すなわち左エッジの場合には識別番号「１」、「２」、「３」、「４」が選択される。このため、垂直方向のオペレータが「負エッジ」でかつ水平方向のオペレータが「負エッジ」である画素の場合（識別番号１）には「左エッジ」となるが、垂直方向のオペレータが「エッジ無し」でも水平方向のオペレータが「負エッジ」である画素の場合（識別番号４）には「左エッジ」となり、水平方向のオペレータが「エッジ無し」でも垂直方向のオペレータが「負エッジ」である画素の場合（識別番号２）には「左エッジ」となる。
【００１９】
右エッジの場合には識別番号「５」、「６」、「７」、「８」が選択される。このため、垂直方向のオペレータが「正エッジ」でかつ水平方向のオペレータが「正エッジ」である画素の場合（識別番号８）には「右エッジ」となるが、垂直方向のオペレータが「エッジ無し」でも水平方向のオペレータが「正エッジ」である画素の場合（識別番号５）には「右エッジ」となり、水平方向のオペレータが「エッジ無し」でも垂直方向のオペレータが「正エッジ」である画素の場合（識別番号７）には「右エッジ」となる。
【００２０】
次に、右白線用の左右エッジ選択手段３５は、９値識別手段３３から右画面の９値を入力し、右の白線の左右エッジを決定するために識別番号を選択する。すなわち左エッジの場合には識別番号「４」、「６」、「７」、「８」が選択される。このため、垂直方向のオペレータが「正エッジ」でかつ水平方向のオペレータが「負エッジ」である画素の場合（識別番号６）には「左エッジ」となるが、垂直方向のオペレータが「エッジ無し」でも水平方向のオペレータが「負エッジ」である画素の場合（識別番号４）には「左エッジ」となり、水平方向のオペレータが「エッジ無し」でも垂直方向のオペレータが「正エッジ」である画素の場合（識別番号７）には「左エッジ」となる。
【００２１】
右エッジの場合には識別番号「１」、「２」、「３」、「５」が選択される。このため、垂直方向のオペレータが「負エッジ」でかつ水平方向のオペレータが「正エッジ」である画素の場合（識別番号３）には「右エッジ」となるが、垂直方向のオペレータが「エッジ無し」でも水平方向のオペレータが「正エッジ」である画素の場合（識別番号５）には「右エッジ」となり、水平方向のオペレータが「エッジ無し」でも垂直方向のオペレータが「負エッジ」である画素の場合（識別番号２）には「右エッジ」となる。
【００２２】
したがって、本実施の形態によれば、左白線の左エッジを一例として、垂直方向のオペレータによると、左白線が水平に近くなると、白線の左境界では「負エッジ」の画素に対して「エッジ無し」の画素が増加し、負エッジの画素が不連続になるが、この「エッジ無し」画素は水平方向のオペレータにより「負エッジ」の画素とされるので、白線の左境界で負エッジの画素の連続性が確保できる。
【００２３】
逆に、水平方向のオペレータによると、左白線が垂直に近くなると、白線の左境界では「負エッジ」の画素に対して「エッジ無し」の画素が増加し、負エッジの画素が不連続になるが、この「エッジ無し」画素は垂直方向のオペレータにより「負エッジ」の画素とされるので、白線の左境界で負エッジの画素の連続性が確保できる。このため、白線の傾斜に対して適切なエッジを抽出することができるので、カメラの画角、俯角、車両等へのカメラ設定高等の設置条件によっては、この方式を用いた方がより正確な認識を実現できる。
【００２４】
ところで、左白線用左右選択手段３４及び右白線用左右選択手段３５だけを用いると画像雑音（画像処理でいう孤立点）が多く存在するようになり、精度が高く、正確な認識処理が実現不可能になる。この不都合を、以下のようにして、防止する。
図６は白線エッジ抽出部３０の別の構成を示す図である。本図に示すように、前記左白線用左右選択手段３４及び前記右白線用左右選択手段３５に並列に共用左右エッジ選択手段３６を新たに設け、前者と後者とを認識処理手段４からの情報を基にスイッチ３７により切り換える。
【００２５】
図７は共用左右エッジ選択手段３６を説明する図である。共用左右エッジ選択手段３６は、９値識別手段３３から左画面の９値を入力し、道路の走行レーンの左右の２本の白線に共通に左右エッジを決定するために識別番号を選択する。すなわち左エッジの場合には、本図に示すように、識別番号「１」、「２」、「３」が選択され、右エッジの場合には、本図に示すように、識別番号「６」、「７」、「８」が選択される。詳細には、識別番号「１」、「２」の場合には左白線の左エッジを示し、識別番号「３」の場合には右白線の左エッジを示し、識別番号「７」、「８」の場合は左白線の右エッジを示し、識別番号「６」は右白線用のエッジを示す。
【００２６】
スイッチ３７の切り換えは、認識処理手段４では、９値識別手段３３の画面の９値分布を基に認識した結果、白線を認識できない場合に、左白線用左右選択手段３４及び右白線用左右選択手段３５から共用左右エッジ選択手段３６へ、又はこの逆へ行ってもよい。この場合、認識処理手段４では９値識別手段３３の前画面の９値の分布を用いてもよい。
【００２７】
図８は画面の領域分割と特徴抽出方式を説明する図である。本図に示すように、道路画面を上下に分け、すなわち、車両に近い近距離領域と車に遠い遠距離領域とに分けて、白線エッジ抽出部３０は、以下のように、エッジを抽出を行うようにしてもよい。
図９は白線エッジ抽出部３０の別の構成を示す図である。本図に示すように、左白線用左右選択手段３４は、９値識別手段３３の画面の近距離領域の値を用いて左白線の左右エッジを抽出し、右白線用左右選択手段３５は、９値識別手段３３の画面の近距離領域の値を用いて右白線の左右エッジを抽出し、共用左右エッジ選択手段３６は、９値識別手段３３の画面の遠距離領域の値を用いて左右白線の左右エッジを抽出する。認識処理手段４では、近距離領域で白線と認識されたエッジを基に遠距離領域でのエッジを追跡して白線として認識する。この場合、遠距離領域で白線が不連続の場合にはエッジを飛び越えて追跡を行う。このようにして近距離領域では、前述のように、右エッジと左エッジとの間隔を道路構造令で定めた白線幅と比較して一致すれば、これらの右エッジと左エッジとは走行レーンの白線と認識することが可能であるが、遠距離領域では、右エッジと左エッジとの間隔が徐々に小さくなりこの間隔の精度が得られなくなるので、上記追跡、飛び越し追跡により白線の認識を可能にする。
【００２８】
近距離領域では、左白線用左右選択手段３４及び右白線用左右選択手段３５を用いて精度が高く、正確な認識処理を行うが、遠距離領域では元来白線間隔の精度がそれほど高くないので白線認識の精度、正確性がそれほど求められないため構成が簡単な共用左右エッジ選択手段３６を用いてむしろ処理時間の短縮を図ることが可能になる。
【００２９】
なお、Ｓｏｂｅｌオペレータは一例であり、別のオペレータを使用してもよい。また白線の左エッジと右エッジを識別可能になるが、暗い部分から明るい部分への変化又はこの逆の変化と明暗の変化無しの２つに画素を分類し、白線の左右エッジを識別せずに単に白線エッジを求めるようにして高速化を測ってもよい。
【００３０】
【発明の効果】
以上説明したように本発明によれば、水平方向及び垂直方向でそれぞれ抽出されたエッジを１対に組み合わせて、この組合せに少なくと１つのエッジが含まれる場合にエッジを抽出したと判断するので、白線が傾き水平方向又は垂直方向に傾きが大きくなっても、白線の境界線にはエッジでない部分がなくなりノイズの影響を容易に受けなくなり、適切なエッジを抽出することが可能になる。そして、精度が高く、正確な認識処理の実現が可能となる。さらに、白線の傾きの大きさはカメラの画角、俯角により変化し、また、車両等へのカメラ設定高さによって変化しても、適切なエッジを抽出することができるので、カメラの設置条件に困難が伴うことが無くなった。白線の認識程度に応じて、共有左右エッジ選択手段と左白線用左右エッジ選択手段及び右白線用左右エッジ選択手段とを択一的に切り換えるので、画像雑音（孤立点）が多く存在するのを防止できる。共有左右エッジ選択手段は、走行レーンの上部の画像の９値を基に画面の遠距離領域のエッジを選択し、左白線用左右エッジ選択手段及び右白線用左右エッジ選択手段は、走行レーンの上部の画像の９値を基に画面の近距離領域のエッジを選択するので、近距離領域での精度の高度化、正確化を図り、遠距離領域での処理時間の短縮を図ることが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る白線認識装置であって画像中の傾斜白線を認識するものを示す図である。
【図２】白線エッジ抽出部３０の構成を示す図である。
【図３】Ｓｏｂｅｌオペレータ３１を説明する図である。
【図４】９値識別手段３３を説明する図である。
【図５】左右白線用の左右エッジ選択手段３４、３５を説明する図である。
【図６】白線エッジ抽出部３０の別の構成を示す図である。
【図７】共用左右エッジ選択手段３６を説明する図である。
【図８】画面の領域分割と特徴抽出方式を説明する図である。
【図９】白線エッジ抽出部３０の別の構成を示す図である。
【図１０】走行レーンの白線幅の画像を示す図である。
【図１１】白線認識装置による白線の左エッジを示す図である。
【符号の説明】
３１…水平・垂直オペレータ
３２…エッジ抽出判断手段
３３…９値識別手段
３４…左白線用左右エッジ選択手段
３５…左白線用左右エッジ選択手段
３６…共有左右エッジ選択手段
【図１】
0003553698.tif 000002
【図２】
0003553698.tif 000003
【図３】
0003553698.tif 000004
【図４】
0003553698.tif 000005
【図５】
0003553698.tif 000006
【図６】
0003553698.tif 000007
【図７】
0003553698.tif 000008
【図８】
0003553698.tif 000009
【図９】
0003553698.tif 000010
【図１０】
0003553698.tif 000011
【図１１】
0003553698.tif 000012