(57)【要約】【課題】この発明は、入力画像の輝度が飽和傾向にある場合に、白線候補点が検出されなくなるのを防ぐことができ、その結果、白線の検出性能が向上する。【解決手段】この発明は、白線候補点検出において、カメラの輪郭補正方式に応じて、エッジの正の極大点と、エッジの負の極小点のどちらか、あるいは、両方使うかを決定するものである。【選択図】      図１０
2005056322.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮像する撮像手段と、
この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、
この出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれで行われているかを設定する設定手段と、
上記出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、
この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、
上記設定手段により立上りエッジの強調が設定されている場合、上記第２の検出手段により得られる正の極大値により、白線候補点を検出し、上記設定手段により立下りエッジの強調が設定されている場合、上記第２の検出手段により得られる負の極小値により、白線候補点を検出し、上記設定手段により立上りエッジと立下りエッジの両方の強調が設定されている場合、上記第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、
この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、
この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、
を具備したことを特徴とする白線推定装置。
【請求項２】
車両に搭載され、映像を撮像する撮像手段と、
この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、
この出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれで行われているかを設定する設定手段と、
上記出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、
この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、
上記自車両に近い領域については、上記第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出し、上記自車両からはなれている領域については、上記設定手段により立上りエッジの強調が設定されている場合、上記第２の検出手段により得られる正の極大値により、白線候補点を検出し、上記設定手段により立下りエッジの強調が設定されている場合、上記第２の検出手段により得られる負の極小値により、白線候補点を検出し、上記設定手段により立上りエッジと立下りエッジの両方の強調が設定されている場合、上記第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、
この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、
この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、
を具備したことを特徴とする白線推定装置。
【請求項３】
白線を有する道路上を走行する車両に搭載され、映像を撮像する撮像手段と、
この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、
この出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、
この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、
この第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、
この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、
この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、
この第２の推定手段により輪郭補正が推定されず、上記撮像手段による撮像映像の道路面の輝度が飽和傾向にある場合に、上記第１の推定手段による白線の推定を無効とする無効手段と、
を具備したことを特徴とする白線推定装置。
【請求項４】
映像を撮像する撮像手段と、
この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、
この出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、
この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、
この第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、
この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、
この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する第１の推定手段と、
上記第４の検出手段により検出した白線候補の周辺の輝度から上記出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれにより行われているかを推定する第２の推定手段と、
を具備したことを特徴とする白線推定装置。
【請求項５】
白線を有する道路上を走行する車両に搭載され、映像を撮像する撮像手段と、
この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、
この出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、
この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、
この第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、
この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、
この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する第１の推定手段と、
上記第４の検出手段により検出した白線候補の周辺の輝度から上記出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれにより行われているかを推定する第２の推定手段と、
この第２の推定手段により輪郭補正が推定されず、上記撮像手段による撮像映像の道路面の輝度が飽和傾向にある場合に、上記第１の推定手段による白線の推定を無効とする無効手段と、
を具備したことを特徴とする白線推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、道路上を走行する車両に搭載されているカメラによる撮像映像から白線を推定する白線推定装置に関する。
【背景技術】
【０００２】
本発明の従来技術として、運転支援装置としての車線逸脱警報装置に用いられる道路上の白線を推定する白線推定装置について説明する。従来例としては、特許文献１、２、３が挙げられる。  
上記車線逸脱警報装置としては、カメラ等の画像撮影部、この撮像画像を処理する画像処理部、警報生成部によって構成されている。
【０００３】
画像処理部では、画像撮影部から得られる画像から、左右の白線を検出し、自車が走行中の車線を推定する。  
警報生成部では、車線境界の自車からの左右の距離を計算し、いずれかが閾値以下の場合、つまり、自車が車線境界に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。  
また、上記カメラには、輪郭補正回路が組み込まれている。輪郭補正回路は、受光素子から出力される画像について、輝度変化が大きな点を検出し、その点を強調する処理を行う回路である。図１に、輪郭補正の具体例を示す。図１（ａ）を受光素子の出力画像とすると、輪郭補正回路により、図１の（ｂ）、（ｃ）、（ｄ）のような画像が得られる。
【０００４】
図１（ｂ）は、画像を水平に左から右にスキャンした場合の立上りと立下りのエッジを共に強調する輪郭補正回路の出力例である。
【０００５】
以下、単に、立上り、立下りエッジといった場合には、画像を水平に左から右にスキャンした場合のエッジを表すものとする。
【０００６】
図１（ｃ）は、立下りエッジのみを強調する輪郭補正回路の出力例である。
【０００７】
図１（ｄ）は、立上りエッジのみを強調する輪郭補正回路の出力例である。
【０００８】
また、上記画像処理部には、白線検出装置が内蔵されている。
【０００９】
このような従来の白線検出回路では、輪郭補正が、立上り、立下りエッジのどちらか一方のみを、強調する方式である場合、または、両方共に強調しない方式である場合に、道路面の輝度が高くなると、白線が安定して検出できないことである。
【００１０】
図２（ａ）（ｂ）に、道路面の輝度が高い例を示す。
【００１１】
図２（ａ）は、受光素子の出力であり、図２（ｂ）は、立下りエッジのみを強調する輪郭補正回路の出力である。これは、昼の日差しが強い状況である。道路面の輝度が高くなり、白線と道路面との輝度差がほとんどない。図２（ｂ）からは、立下りのエッジのみしか安定して検出されない。従来の方法では、立上りと立下りのエッジが共に、安定して検出されることを前提としているため、白線が安定して検出されなくなる。
【特許文献１】特開平１０−２１４３２６号公報
【特許文献２】特開２００２−１７５５３５号公報
【特許文献３】特開２００２−１７５５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
この発明は、白線検出処理の性能が向上することができる白線推定装置を提供することを目的としている。
【課題を解決するための手段】
【００１３】
この発明の白線推定装置は、映像を撮像する撮像手段と、この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、この出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれで行われているかを設定する設定手段と、上記出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、上記設定手段により立上りエッジの強調が設定されている場合、上記第２の検出手段により得られる正の極大値により、白線候補点を検出し、上記設定手段により立下りエッジの強調が設定されている場合、上記第２の検出手段により得られる負の極小値により、白線候補点を検出し、上記設定手段により立上りエッジと立下りエッジの両方の強調が設定されている場合、上記第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段とを有する。
【００１４】
この発明の白線推定装置は、車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、この出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれで行われているかを設定する設定手段と、上記出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、上記自車両に近い領域については、上記第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出し、上記自車両からはなれている領域については、上記設定手段により立上りエッジの強調が設定されている場合、上記第２の検出手段により得られる正の極大値により、白線候補点を検出し、上記設定手段により立下りエッジの強調が設定されている場合、上記第２の検出手段により得られる負の極小値により、白線候補点を検出し、上記設定手段により立上りエッジと立下りエッジの両方の強調が設定されている場合、上記第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段とを有する。
【００１５】
この発明の白線推定装置は、白線を有する道路上を走行する車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、この出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、この第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する推定手段と、この第２の推定手段により輪郭補正が推定されず、上記撮像手段による撮像映像の道路面の輝度が飽和傾向にある場合に、上記第１の推定手段による白線の推定を無効とする無効手段と白線を有する道路上を走行する車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、この出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、この第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する第１の推定手段と、上記第４の検出手段により検出した白線候補の周辺の輝度から上記出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれにより行われているかを推定する第２の推定手段と、この第２の推定手段により輪郭補正が推定されず、上記撮像手段による撮像映像の道路面の輝度が飽和傾向にある場合に、上記第１の推定手段による白線の推定を無効とする無効手段とを有する。
【００１６】
この発明の白線推定装置は、映像を撮像する撮像手段と、この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、この出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、この第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、この第３の検出手段により検出した白線候補点から直線を検出する第４の検出手段と、この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する第１の推定手段と、上記第４の検出手段により検出した白線候補の周辺の輝度から上記出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれにより行われているかを推定する第２の推定手段とを有する。
【００１７】
この発明の白線推定装置は、白線を有する道路上を走行する車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像映像をスキャンニングする際に、少なくとも立上りエッジあるいは立下りエッジを強調して輪郭補正した画像信号を出力する出力手段と、この出力手段により出力された画像信号により、エッジ画像を検出する第１の検出手段と、この第１の検出手段により検出したエッジ画像の各エッジ値から正の極大値と負の極小値を検出する第２の検出手段と、この第２の検出手段により得られる正の極大値と負の極小値により、白線候補点を検出する第３の検出手段と、この第３の検出手段により検出した白線候補点から直線を検出することにより、白線候補を検出する第４の検出手段と、この第４の検出手段により検出した白線候補の確信度を求め、この白線候補の確信度が所定値以上の際に、この白線候補を白線と推定する第１の推定手段と、上記第４の検出手段により検出した白線候補の周辺の輝度から上記出力手段による輪郭補正が、立上りエッジの強調、立下りエッジの強調、立上りエッジと立下りエッジの両方の強調のいずれにより行われているかを推定する第２の推定手段と、この第２の推定手段により輪郭補正が推定されず、上記撮像手段による撮像映像の道路面の輝度が飽和傾向にある場合に、上記第１の推定手段による白線の推定を無効とする無効手段とを有する。
【発明の効果】
【００１８】
以上詳述したように、この発明によれば、白線検出処理の性能が向上することができる白線推定装置を提供できる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照してこの発明の実施形態に係わる車線逸脱警報装置を説明する。  
この車線逸脱警報装置としては、図３に示すように、カメラ等の画像撮影部１、この撮像画像を処理する画像処理部２、種々の設定がなされるユーザインターフェース３、警報生成部４によって構成されている。たとえば、白線検知による居眠り検知を行うものである。特に、駐車専用のカメラ（広角の）を用いて後付けで白線検知を行う場合の欠点を回避して、白線検知が行えるようにしたものである。
【００２０】
すなわち、画像撮影部１としては、図４のカメラＡまたはカメラＢのように、自車の前方または後方を撮影するように取り付けられたカメラを用いる。このようなカメラからは、図１（ａ）のような画像が得られる。図１の（ａ）は、自車線の左右の白線が入力画像中に存在する例を表している。
【００２１】
画像撮影部１は、図５に示すように、レンズ１１、受光素子１２、輪郭補正回路１３により構成されている。
【００２２】
輪郭補正回路１３は、受光素子１２から出力される画像について、輝度変化が大きな点を検出し、その点を強調する処理を行う回路である。図１に、輪郭補正の具体例を示す。図１（ａ）を受光素子の出力画像とすると、輪郭補正回路１３により、図１の（ｂ）、（ｃ）、（ｄ）のような画像が得られる。この輪郭補正回路１３はカメラの型番、メーカーにより異なり、コスト等により選択されるようになっている。
【００２３】
図１（ｂ）は、画像を水平に左から右にスキャンした場合の立上りエッジ（道路の暗いところの輝度から白線の明るいところの輝度に変化するところ：暗から明）と立下りのエッジ（白線の明るいところの輝度から道路の暗いところの輝度に変化するところ：明から暗）を共に強調する輪郭補正回路１３の出力例である。
【００２４】
以下、単に、立上り、立下りエッジといった場合には、画像を水平に左から右にスキャンした場合のエッジを表すものとする。
【００２５】
図１（ｃ）は、画像を水平に左から右にスキャンした場合の立下りエッジのみを強調する輪郭補正回路１３の出力例である。
【００２６】
図１（ｄ）は、画像を水平に左から右にスキャンした場合の立上りエッジのみを強調する輪郭補正回路１３の出力例である。
【００２７】
画像処理部２では、画像撮影部１から得られる画像とユーザインターフェース３の設定内容により、左右の白線を検出し、自車が走行中の車線を推定する。この処理の詳細については後述する。画像処理部２には、パラメータ記憶部２ａが設定され、種々のパラメータが設定されるようになっている。たとえば、ユーザインターフェース３により、輪郭補正回路１３により輪郭補正が、立下りエッジのみを強調、立上りエッジのみを強調、立下りエッジと立上りエッジの両方を強調により行われるか、立下りエッジと立上りエッジの両方の強調を行わないもののいずれかが設定され、この設定内容がパラメータ記憶部２ａに記憶されるようになっており、  
警報生成部４では、図６のような、車線境界に対する自車からの距離ＤＬと距離ＤＲを計算し、いずれかが閾値Ｔｄｓｔ以下の場合、つまり、自車が車線境界に、閾値で設定される距離Ｔｄｓｔよりも近付いた場合に、ドライバに警報を与える。
【００２８】
警報生成部４の処理の流れを図７に示す。距離ＤＬ、距離ＤＲの計算は、具体的には次のように行う。推定した左右の車線境界を、図８に示すような、入力画像のｘｙ座標系から、図９に示すような、自車を上から見たＸＺ座標系に変換する（ＳＴ１）。
【００２９】
カメラ中心から、左右の自車の端までの長さをそれぞれ、ＷＩＤＴＨ＿Ｌ、ＷＩＤＴＨ＿Ｒとし、また、ＸＺ座標系において、Ｚ軸と左右の車線境界との距離を、それぞれ、ＤＣ＿Ｌ、ＤＣ＿Ｒとした場合、ＤＬ＝ＤＣ＿Ｌ−ＷＩＤＴＨ＿Ｌ、ＤＲ＝ＤＣ＿Ｒ−ＷＩＤＴＨ＿Ｒのようにして、計算する（ＳＴ２）。座標系の変換式は、カメラパラメータから決定できる。
【００３０】
車線境界に対する自車からの距離ＤＬと距離ＤＲを計算し、いずれかが閾値Ｔｄｓｔ以下の場合、つまり、自車が車線境界に、閾値で設定される距離Ｔｄｓｔよりも近付いた場合に（ＳＴ３）、車線逸脱警報を生成し（ＳＴ４）、図示しない表示部による表示、あるいはブザーによる警報等によりドライバ（運転者）に警報を与える。
【００３１】
以下、画像処理部２の動作について詳細に説明する。図１０に画像処理部２の処理の流れを示す。画像入力処理（ＳＴ１１）は、カメラ１からの画像をＡ／Ｄ変換し、ある一定の時間間隔で入力する。画像入力処理では、カメラからの映像信号を一定時間間隔でデジタル化して画像として取り込む。
【００３２】
具体的には、時刻ｔ０、ｔ０＋δｔ（＝ｔ１）、ｔ０＋２δｔ（＝ｔ２）、…において画像を取り込む。ここで、ｔ０、δｔは、それぞれ、処理開始時刻および、画像を取り込む時間間隔とする。例えば、図１０に示すように、画像入力処理（ＳＴ１１）において、時刻ｔｉで画像を取り込んだ後、時間δｔの間に、前処理としてのエッジ検出処理（ＳＴ１２）、白線候補点検出処理（ＳＴ１３）、白線候補検出処理（ＳＴ１４）、車線推定処理（ＳＴ１５）、輪郭補正方式推定処理（ＳＴ１６）、推定車線の検証処理（ＳＴ１７）を行い、時刻ｔｉ＋δｔ＝ｔｉ＋１において再び、画像入力処理（ＳＴ１１）に進み、画像が取り込まれるというように、処理を繰り返す。以下では、時刻ｔｉにおいて、画像入力が行われ、デジタル化した入力画像Ｉｔｉ（ｘ，ｙ）が得られた場合の説明を行う。
【００３３】
前処理では、入力画像に平滑化フィルタ等のノイズ除去等の処理を行う。
【００３４】
すなわち、前処理としてのエッジ検出処理では、入力画像Ｉｔｉ（ｘ；ｙ）に対し、図１１のようなフィルタ演算を行うことにより、入力画像からエッジ画像Ｅｔｉ（ｘ；ｙ）を得る。式で表すと、
Ｅｔｉ（ｘ，ｙ）＝−Ｉｔｉ（ｘ−２ｙ）−２Ｉｔｉ（ｘ−１，ｙ）
＋２Ｉｔｉ（ｘ＋１，ｙ）＋Ｉｔｉ（ｘ＋２，ｙ）
ようになる。
【００３５】
白線候補点検出処理は、パラメータ記憶部２ａに記憶されている輪郭補正回路１３の輪郭補正の種類に応じた方法により、上記エッジ画像から白線候補点の検出を行うものである。
【００３６】
たとえば、輪郭補正が、立上りエッジのみを強調するものであった場合に、エッジの正の極大点から白線候補点を検出する。
【００３７】
また、輪郭補正が、立下りエッジのみを強調するものであった場合に、エッジの負の極小点から白線候補点を検出する。
【００３８】
また、輪郭補正が、立上りエッジと立下りエッジの両方を強調するものであった場合に、エッジの正の極大点とエッジの負の極小点の組から白線候補点を検出する。
【００３９】
上記白線候補点検出処理について、図１２に示すフローチャートを参照しつつ説明する。
【００４０】
まず、パラメータ記憶部２ａに記憶されている輪郭補正回路１３の輪郭補正が、立上りエッジのみを強調するものであった場合に（ＳＴ２０のＹＥＳ、ＳＴ２１のＹＥＳ）、エッジの正の極大点から白線候補点を検出する（ＳＴ２２、２３）。
【００４１】
また、パラメータ記憶部２ａに記憶されている輪郭補正回路１３の輪郭補正が、立下りエッジのみを強調するものであった場合に（ＳＴ２０のＹＥＳ、ＳＴ２１のＮＯ、ＳＴ２４のＹＥＳ）、エッジの負の極小点から白線候補点を検出する（ＳＴ２５、２６）。
【００４２】
また、パラメータ記憶部２ａに記憶されている輪郭補正回路１３の輪郭補正が、立上りエッジと立下りエッジの両方を強調するものであった場合に（ＳＴ２０のＹＥＳ、ＳＴ２１のＮＯ、ＳＴ２４のＮＯ）、あるいはパラメータ記憶部２ａに記憶されている輪郭補正回路１３の輪郭補正が、立上りエッジと立下りエッジの両方を強調しないものであった場合に（ＳＴ２０のＮＯ）、エッジの正の極大点とエッジの負の極小点の中点から白線候補点を検出する（ＳＴ２７、２８、２９）。
【００４３】
たとえば、輪郭補正が、立上りエッジと立下りエッジの両方を強調するものであった際の、白線候補点の検出について説明する。
【００４４】
すなわち、図１３の入力画像に対して、立上りエッジと立下りエッジの両方のエッジ検出を行うと、図１４（ａ）のようなエッジ画像が得られる。図１４（ａ）では、エッジ値の絶対値が大きい点を、黒で表している。
【００４５】
図１４（ａ）の直線Ｌに沿って、エッジの値を表したものを図１４（ｂ）に示す。図１４（ｂ）では、Ａ、Ａ’のように、左から右に道路面から白線に変わる点において、正の極大値を持つ。また、Ｂ、Ｂ’のように左から右に白線から道路面に変わる点において、負の極小値を持つ。そこで、エッジ画像Ｅｔｉ（ｘ，ｙ）を水平に左から右へスキャンし、左と右がそれぞれ、正の極大値、負の極小値の組であり、それらのｘ方向の距離が、白線の幅として適当なものを検出し、その中点を白線候補点とする。図１４（ａ）の直線Ｌ上の点は、ＡとＢ、および、Ａ’とＢ’が正の極大値と負の極小値の組として選択され、その中点が白線候補点となる。
【００４６】
白線候補検出処理では、白線候補点から直線を検出し、白線候補とする。これには、例えば、ハフ変換を用いる。まず、各白線候補点について、パラメータ平面に投票を行う。パラメータ平面の一点は、入力画像平面の一つの直線に対応する。具体的には、図１５のρθパラメータ平面の、一点（θ０，ρ０）は、図１６のような直線に対応する。図１６の直線は、原点から直線への垂線の長さをρ０、ｘ軸となす角度をθ０とする直線である。ｘｙ平面の白線候補点Ｐ（ｘｐ，ｙｐ）についての投票は、ρθパラメータ平面の曲線
ρ＝ｘｐ・ｃｏｓθ＋ｙｐ・ｓｉｎθ
に沿って行う。
【００４７】
次に、各白線候補点について投票後、ρθパラメータ平面でのピークを検出する。各ピークに対応する、ｘｙ平面上の直線を求め、白線候補とする。  
図１７の白線候補点から、白線候補を検出した結果を図１８に示す。ＬＣ１、ＬＣ２のような白線候補が検出される。
【００４８】
車線推定処理では、検出された白線候補から、自車が走行中の車線を推定する。この処理により得られる推定車線は、入力画像中の左右の直線の組として表される。まず、白線候補検出で得られた白線候補から、左右の白線候補の組を選択する。白線候補の組が、複数ある場合には、白線候補の組について、確信度を計算し、最も確信度が大きな白線候補の組を選択する。白線候補の組の確信度の簡単な例は、白線候補上にある白線候補点の数が考えられる。
【００４９】
また、確信度の計算に、白線候補点を検出する際に用いたエッジ画像の極大値および極小値の強度、白線候補周囲の輝度のコントラスト等から計算してもよい。
【００５０】
図１８からは、ＬＣ１、ＬＣ２が左右の白線の組として選択される。次に、得られた白線候補の組から時刻ｔｉの車線を推定する。簡単な方法としては、選択された白線候補をそのまま時刻ｔｉの推定車線として用いることが考えられる。また、カルマンフィルタを用いて、推定してもよい。
【００５１】
図１９に輪郭補正方式推定処理の流れを示す。
【００５２】
輪郭補正方式は、白線候補を検出したエッジの正の極大点と、負の極小点の周辺の輝度から推定する。
【００５３】
輪郭補正方式を推定済みの場合（ＳＴ３１のＹＥＳ）、および入力画像の輝度が飽和傾向にある場合には（ＳＴ３２のＹＥＳ）、輪郭補正方式の推定を行わない、これは、入力画像の輝度が飽和傾向にある場合には、白線と道路面の輝度差がなくなることが原因で、白線候補が正しく検出されなくなり、その結果、輪郭補正方式の推定も正しく行われない可能性があるからである。入力画像の輝度が飽和傾向にあるか否かは、入力画像の道路面に相当する固定の領域について、輝度の平均値を計算し、閾値Ｔｌより大きな場合に、飽和傾向にあると判定する。
【００５４】
輪郭補正回路１３が立上り、立下りエッジを共に強調する場合と、立上りエッジのみを強調する場合と、立下りエッジのみを強調する場合と、立上り、立下りエッジを共に強調しない場合について、白線周辺の輝度を示したものをそれぞれ、図２０、図２１、図２２、図２３に示す。図２０（ａ）、図２１（ａ）、図２２（ａ）、図２３（ａ）は、共に、輪郭補正回路１３の出力を表す。図２０（ａ）、図２１（ａ）、図２２（ａ）、図２３（ａ）の白線の周辺の輝度を表したものが、それぞれ、図２０（ｂ）、図２１（ｂ）、図２２（ｂ）、図２３（ｂ）である。
【００５５】
白線候補を検出した各エッジの正の極大点について、図２０（ｂ）のように、極大点から一定距離Ｄｘだけｘの負の方向に離れた点Ａを取り、
Ｉｔｉ（Ａ）−Ｉｔｉ（エッジの正の極大点）＞Ｔｄｉｆｆ（１）
を満たす、極大点の数をカウントする（ＳＴ３３）。ここで、Ｉｔｉ（Ａ）は、点Ａにおける画像の輝度値を表すものとする。また、Ｔｄｉｆｆは、正の閾値とする。白線候補を検出したエッジの正の極大点の内、条件を満たすものの割合が、Ｔｐｃｎｔ以上ある場合には（ＳＴ３４のＹＥＳ）、輪郭補正回路１３により立上りエッジが強調されると判定する（ＳＴ３５）。白線候補を検出したエッジの正の極大点の内、条件を満たすものの割合が、Ｔｐｃｎｔ以下の場合には（ＳＴ３４のＮＯ）、輪郭補正回路１３により立上りエッジが強調されないと判定する（ＳＴ３６）。上記カウントは、画像処理回路の内部メモリ等を用いて計数されるようになっている。
【００５６】
白線候補を検出した各エッジの負の極小点については、図２０（ｂ）のように、極小点から一定距離Ｄｘだけｘの正の方向に離れた点Ｂを取り
Ｉｔｉ（Ｂ）−Ｉｔｉ（エッジの負の極小点）＞Ｔｄｉｆｆ（２）
を満たす、極小点の数をカウントする（ＳＴ３７）。白線候補を検出したエッジの負の極小点の内、条件を満たすものの割合が、Ｔｐｃｎｔ以上ある場合には（ＳＴ３８のＹＥＳ）、輪郭補正回路１３により立下りエッジが強調されると判定する（ＳＴ３９）。白線候補を検出したエッジの負の極小点の内、条件を満たすものの割合が、Ｔｐｃｎｔ以下の場合には（ＳＴ３８のＮＯ）、輪郭補正回路１３により立下りエッジが強調されないと判定する（ＳＴ４０）。
【００５７】
図２０（ｂ）の場合には、Ｉｔｉ（エッジの正の極大点）がＩｔｉ（Ａ）よりも小さくなる。また、Ｉｔｉ（エッジの負の極小点）がＩｔｉ（Ｂ）よりも小さくなり、輪郭補正回路１３が、立上り、立下りエッジ共を強調すると判定される。
【００５８】
図２１（ｂ）の場合には、Ｉｔｉ（エッジの正の極大点）がＩｔｉ（Ａ）よりも小さくなる。また、Ｉｔｉ（エッジの負の極小点）とＩ（Ｂ）がほぼ同じになり、輪郭補正回路１３が、立上りエッジのみを強調すると判定される。
【００５９】
図２２（ｂ）の場合には、Ｉｔｉ（エッジの正の極大点）とＩ（Ａ）がほぼ同じになる。また、Ｉｔｉ（エッジの負の極小点）がＩｔｉ（Ｂ）よりも小さくなり、輪郭補正回路１３が、立上り、立下りエッジ共を強調すると判定される。
【００６０】
図２３（ｂ）の場合には、Ｉ（エッジの正の極大点）とＩ（Ａ）がほぼ同じになる。また、Ｉ（エッジの負の極小点）とＩ（Ｂ）がほぼ同じになり、輪郭補正回路１３が、立上り、立下りエッジを共に強調しないと判定される。
【００６１】
推定車線の検証の流れを、図２４に示す。
【００６２】
輪郭補正方式が未知であり（ＳＴ４１のＮＯ）、入力画像の道路面の輝度が飽和傾向にある場合には（ＳＴ４２のＹＥＳ）、白線のエッジが安定して検出されているか否かが分からないとして、推定車線を無効と判定する（ＳＴ４３）。また、輪郭補正回路１３により立上り、立下りのエッジが共に強調されず、入力画像の道路面の輝度が飽和傾向にある場合には（ＳＴ４４）、白線のエッジが安定して検出されていないとして、推定車線を無効と判定する（ＳＴ４３）。
【００６３】
上記の場合以外は、推定車線を有効とする。
【００６４】
すなわち、輪郭補正方式が未知であり（ＳＴ４１のＮＯ）、入力画像の道路面の輝度が飽和傾向にない場合には（ＳＴ４２のＮＯ）、白線のエッジが安定して検出されているとして、推定車線を有効と判定する（ＳＴ４５）。また、輪郭補正回路１３により立上り、立下りのエッジが共に強調されているか、立上り、立下りのエッジのいずれか一方が強調されているか（ＳＴ４６）、入力画像の道路面の輝度が飽和傾向にない場合には（ＳＴ４４のＮＯ）、白線のエッジが安定して検出されているとして、推定車線を有効と判定する（ＳＴ４５）。
【００６５】
図２５乃至図２８に、推定車線を有効とする場合と、無効にする場合の例を示す。
【００６６】
図２５は、推定車線を有効とする場合の入力画像であり、図２６は、図２５の輝度分布である。輪郭補正回路は立上りと立下りエッジが共に強調されていないが、道路面の輝度分布と白線の輝度分布が、十分離れていることがわかる。このような場合には安定して白線が検出される。推定車線の検証では、輪郭補正回路は立上りと立下りエッジが共に強調しないが、輝度分布から、入力画像の道路面の輝度が飽和傾向にないと判定され、この場合の推定車線は、有効であると判定される。
【００６７】
図２７は、推定車線を有効とする場合の入力画像であり、図２８は、図２７の輝度分布である。輪郭補正回路１３は立上りと立下りエッジが共に強調されておらず、道路面の輝度分布と白線の輝度分布が非常に近いことがわかる。このような場合には、白線が安定して検出されない。推定車線の検証では、輪郭補正回路１３は立上りと立下りエッジが共に強調せず、かつ、輝度分布から、入力画像の道路面の輝度が飽和傾向にあると判定され、この場合の推定車線は、無効であると判定される。
【００６８】
推定車線が無効と判定された場合には、警報生成部４では、警報生成の処理を中止し、ドライバに対して、車線逸脱警報システムが正常に動作していないことを報知する。
【００６９】
上記したように、白線候補点検出において、輪郭補正方式に応じて、エッジの正の極大点と、エッジの負の極小点のどちらか、あるいは、両方使うかを決定するものである。
【００７０】
これにより、入力画像の輝度が飽和傾向にある場合に、白線候補点が検出されなくなるのを防ぐことができ、その結果、白線の検出性能が向上する。
【００７１】
また、輪郭補正方式と入力画像の輝度分布から、推定車線が有効か無効かを判定し、推定車線の検証に対応するものである。
【００７２】
これにより、誤検出がする可能性が高い状況を検出でき、その場合には、白線検出処理の結果を無効と判定する。結果として、白線検出処理の性能が向上する。
【００７３】
また、輪郭補正方式を、白線候補の周辺の輝度から自動的に推定するものである。
【００７４】
これにより、カメラに応じた白線検出処理の調整が自動化できる。
【００７５】
すなわち、車線逸脱システムを、様々な種類の車両に搭載する場合には、カメラとして、既存のバックモニタのカメラを用いることが多い。このような状況では、バックモニタのカメラの機種としては、様々なものが想定される。したがって、カメラの輪郭補正方式も様々なものが想定され、それぞれに応じて白線検出処理を調整する必要がある。これに対し、カメラの輪郭補正方式が自動的に検出され、白線検出処理の調整を人手を介さず自動的に行えるようになる。
【００７６】
なお、他の実施例として、白線候補点検出処理を行う際に、自車両に近い領域と離れた領域とで、異なった処理を行うようにしても良い。
【００７７】
図２９に示すように、入力画像中の道路面では、消失点に近づく程、輝度が高くなる傾向があることが知られている。この傾向は、公開Ｐ２００１−２７３５０４号公報（これは、道路表面の輝度値は消失点に近いほど大きくなることを考慮して、輝度情報から道路領域を検出するものであり本発明とは直接には関連しない。）でも述べられている。そこで、図３０の太線で囲まれたような自車に近い領域では、輝度飽和の傾向が弱く、エッジの立上り、立下り共に安定して検出されるため、エッジの正の極大点と負の極小点の組から白線候補点検出を行う。その他の領域では、輪郭補正回路の処理方式に応じて検出を行う。図３１では、図１２のＳＴ２０とＳＴ２１との間に、点Ｐｉが自車に近い領域の点か否かを判断するステップ５０を挿入し、ＹＥＳの場合、ステップ２８へ進み、ＮＯの場合、ステップ２１へ進む。他の動作は同一なものとなっている。
【００７８】
この結果、白線候補点検出において、入力画像における自車に近い領域か否かで、エッジの正の極大点と、エッジの負の極小点のどちらか、あるいは、両方使うかを決定する。
【００７９】
これにより、入力画像中で、エッジが安定して検出される位置においては、立上り、立下りのエッジを共に用いて白線候補点を検出することになり、単独で用いるよりも更に、白線の検出性能が向上する。白線候補点の検出は、立上り、立下りのエッジが安定している場合には、共に用いる方が、偶然白線以外のエッジを検出する可能性が下がり、性能が向上する。
【図面の簡単な説明】
【００８０】
【図１】輪郭補正回路による出力画像の具体例を示す図。
【図２】輪郭補正回路による出力画像を示す図。
【図３】この発明の実施形態に係わる車線逸脱警報装置の概略構成を示すブロック図。
【図４】カメラの車載位置を説明するための図。
【図５】画像撮影部の概略構成を示すブロック図。
【図６】警報生成部により計算される車線境界に対する自車からの距離を説明するための図。
【図７】警報生成部の処理の流れを説明するための図。
【図８】入力画像のｘｙ座標系を説明するための図。
【図９】自車を上から見たＸＺ座標系を説明するための図。
【図１０】画像処理部の処理の流れを説明するための図。
【図１１】フィルタ演算の一例を示す図。
【図１２】白線候補点検出処理の流れを説明するための図。
【図１３】白線候補点検出処理の入力画像を示す図。
【図１４】エッジ検出によるエッジ画像の検出例と白線候補点の検出例を示す図。
【図１５】ρθパラメータ平面を示す図。
【図１６】ｘｙ平面とρθパラメータ平面との対応を示す図。
【図１７】白線候補点の検出例を示す図。
【図１８】白線候補の検出例を示す図。
【図１９】輪郭補正方式推定処理の流れを示す図。
【図２０】輪郭補正回路の出力例と白線周辺の輝度を示す図。
【図２１】輪郭補正回路の出力例と白線周辺の輝度を示す図。
【図２２】輪郭補正回路の出力例と白線周辺の輝度を示す図。
【図２３】輪郭補正回路の出力例と白線周辺の輝度を示す図。
【図２４】推定車線の検証の流れを示す図。
【図２５】推定車線を有効とする場合の入力画像を示す図。
【図２６】図２５の入力画像の輝度分布を示す図。
【図２７】推定車線を有効とする場合の入力画像を示す図。
【図２８】図２７の入力画像の輝度分布を示す図。
【図２９】入力画像中の道路面の輝度分布の傾向を示す図。
【図３０】立上りエッジと立下りのエッジの組から白線を検出する領域を示す図。
【図３１】白線候補点検出処理の流れを説明するための図。
【符号の説明】
【００８１】
１…画像撮影部  ２…画像処理部  ３…ユーザインターフェース  ４…警報生成部。
【図１】
2005056322.tif 000003
【図２】
2005056322.tif 000004
【図３】
2005056322.tif 000005
【図４】
2005056322.tif 000006
【図５】
2005056322.tif 000007
【図６】
2005056322.tif 000008
【図７】
2005056322.tif 000009
【図８】
2005056322.tif 000010
【図９】
2005056322.tif 000011
【図１０】
2005056322.tif 000012
【図１１】
2005056322.tif 000013
【図１２】
2005056322.tif 000014
【図１３】
2005056322.tif 000015
【図１４】
2005056322.tif 000016
【図１５】
2005056322.tif 000017
【図１６】
2005056322.tif 000018
【図１７】
2005056322.tif 000019
【図１８】
2005056322.tif 000020
【図１９】
2005056322.tif 000021
【図２０】
2005056322.tif 000022
【図２１】
2005056322.tif 000023
【図２２】
2005056322.tif 000024
【図２３】
2005056322.tif 000025
【図２４】
2005056322.tif 000026
【図２５】
2005056322.tif 000027
【図２６】
2005056322.tif 000028
【図２７】
2005056322.tif 000029
【図２８】
2005056322.tif 000030
【図２９】
2005056322.tif 000031
【図３０】
2005056322.tif 000032
【図３１】
2005056322.tif 000033