(57)【特許請求の範囲】
【請求項１】
自動車に搭載される車線監視システムであって、
前記自動車後方を撮影する車載カメラと、
前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を算出する近似直線算出手段と、
前記自動車がカーブを走行中でない場合に、前記近似直線算出手段が算出した直線を前記自動車前方の車線境界線として認識し、前記自動車がカーブを走行中である場合に、前記近似直線算出手段が算出した直線と、前記自動車上の所定の点を通る当該自動車の左右方向を向いた軸を対象軸として、線対象な直線を前記自動車前方の車線境界線として認識する車線認識手段とを有することを特徴とする車線監視システム。
【請求項２】
請求項１記載の車線監視システムであって、
前記自動車上の所定の点は、前記自動車の前後左右方向の中心点であることを特徴とする車線監視システム。
【請求項３】
請求項１または２記載の車線監視システムであって、
前記車線認識手段が認識した自動車前方の車線境界線に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を有することを特徴とする車線監視システム。
【請求項４】
自動車に搭載される車線監視システムにおいて、前記自動車後方を撮影する車載カメラが撮影した自動車後方の画像に基づいて、前記自動車前方の車線境界線を認識する車線境界線認識方法であって、
前記車線監視システムが、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を算出する近似直線算出ステップと、
前記車線監視システムが、前記自動車がカーブを走行中である場合に、前記近似直線算出ステップで算出した直線と、前記自動車上の所定の点を通る当該自動車の左右方向を向いた軸を対象軸として、線対象な直線を、前記自動車前方の車線境界線として認識する車線認識ステップとを有することを特徴とする車線境界線認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮影した自動車後方の画像に基づいて自動車前方の車線を認識する技術に関するものである。
【背景技術】
【０００２】
車載カメラで撮影した自動車後方の画像に基づいて自動車前方の車線を認識する技術としては、自動車が直進性を有する道路を走行している場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線（白線）を近似した直線として自動車前方の車線境界線を認識し、自動車がカーブを走行している場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円として自動車前方の車線境界線を認識する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７-２００１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動車がカーブを走行している場合に、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円として自動車前方の車線境界線を認識する上述の技術によれば、自動車後方の画像に含まれる車線境界線を円に近似するための比較的複雑で負荷の大きい処理を行う必要がある。
【０００５】
そこで、本発明は、自動車がカーブを走行している場合における、車載カメラで撮影した自動車後方の画像に基づいて行う自動車前方の車線認識の処理の負荷を軽減することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、自動車に搭載される車線監視システムに、前記自動車後方を撮影する車載カメラと、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を算出する近似直線算出手段と、前記自動車がカーブを走行中でない場合に、前記近似直線算出手段が算出した直線を前記自動車前方の車線境界線として認識し、前記自動車がカーブを走行中である場合に、前記近似直線算出手段が算出した直線と、前記自動車上の所定の点を通る当該自動車の左右方向を向いた軸を対象軸として、線対象な直線を前記自動車前方の車線境界線として認識する車線認識手段とを備えたものである。
【０００７】
ここで、前記自動車上の所定の点は、前記自動車の前後左右方向の中心点とすることが好ましい。
また、このような車線監視システムには、前記車線認識手段が認識した自動車前方の車線境界線に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を設けるようにしてもよい。
このような車線監視システムによれば、前記自動車がカーブを走行中である場合には、自動車後方の車線境界線を近似した直線と、前記自動車上の点を通る当該自動車の左右方向を向いた軸を対象軸として線対象な直線を求めるだけの、車線境界線を円に近似する場合に比べ、簡易、低負荷の処理によって自動車前方の白線を認識することができるようになる。
【発明の効果】
【０００８】
以上のように、本発明によれば、自動車がカーブを走行している場合における、車載カメラで撮影した自動車後方の画像に基づいて行う自動車前方の車線認識の処理の負荷を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る車載システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る車線監視処理を示すフローチャートである。
【図３】本発明の実施形態に係る車線監視処理の処理例を示す図である。
【図４】本発明の実施形態に係る車線監視処理の処理例を示す図である。
【図５】本発明の実施形態に係る車線監視処理の処理例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されるシステムであり、図１ｂに示すように自動車後部に配置され自動車後方を撮影する後方カメラ１と、後方カメラ１が撮影した画像フレームを格納するフレームメモリ２、車載監視装置３、車載監視装置３が作業に用いるワークメモリ４、スピーカ５、表示装置６などを備えている。
【００１１】
なお、図示は省略したが、後方カメラ１の撮影した映像は、後進して行う駐車の支援などにも用いられる。
次に、このような構成において車載監視装置３が行う車線監視処理について説明する。
図２に、この車線監視処理の手順を示す。
図示するように、この処理では、まず、後方カメラ１が後方を撮影した最新の画像フレームをフレームメモリ２から取得し（ステップ２０２）、画像フレームに写り込んでいる後方の白線上の特徴点の座標を算出する（ステップ２０４）。
ここで、このステップ２０４で行う画像フレームに写り込んでいる後方の白線上の特徴点の座標の算出は以下のように行う。
すなわち、図３ａに示すように、自動車の左右前後方向の中心Ｇを原点とし、自動車の右方向を正のＸ方向とし、自動車の後方向を正のＹ方向とするＸＹ座標系を設定し、後方カメラ１で撮影された図３ｂに示すような画像フレームに対して、ノイズ除去などの前処理を施した上で、輝度勾配などに基づいて画像フレームに写り込んでいる白線の領域３０１を抽出する。
【００１２】
そして、抽出した白線の領域３０１を、図３ｃに示すようにＸＹ座標系に射影変換する。そして、Ｙ方向について所定間隔毎に、ＸＹ座標系に射影変換した白線の領域３０２のＸ方向の中点に特徴点Ｐiを設定し、各特徴点ＰiのＸＹ座標系上の座標（ｘi,ｙi）を、後方の白線上の特徴点の座標として算出する。
【００１３】
さて、図２に戻り、以上のようにして特徴点の座標を算出したならば、各特徴点の座標に基づいて、図３ｄ、ｅに示すように、後方の白線を直線y=ax+bに近似する（ステップ２０６）。
この近似は、各特徴点の座標を直線上の座標として持つ直線として、最も尤もらしい直線を求めることにより行う。
より具体的には、この近似は、たとえば、最小自乗法によって、各特徴点Ｐiについて求めた、ｙi-（axi+b)の自乗の合計をEとして、Eを最小とするa、ｂを算出することにより、直線y=ax+bを求める。
そして、次に現在、自動車がカーブを走行中であるかどうかを判定する（ステップ２０８）。ここで、カーブを走行中であるかどうかの判定は任意の方法によって行うようにしてもよい。
すなわち、たとえば、ステップ２０６で求めた各特徴点Ｐiについて求めた、ｙi-（axi+b)の自乗の合計E、または、合計Eの過去所定期間の平均が所定値より小さい場合に、カーブを走行中でないと判定し、他の場合にカーブを走行中であると判定するようにしたり、最新の画像フレームもしくは過去所定期間内に撮影された画像フレームについて求めた、隣接する上述の特徴点を結ぶ直線の傾きが、自車からの前後方向の距離に関わらずにおよそ等しい場合にカーブを走行中でないと判定し、他の場合にカーブを走行中であると判定するようにしたり、自動車の左右方向の加速度や、自動車の操舵角を取得すると共に、当該加速度や操舵角が過去所定期間、所定値より大きい値で安定している場合に、カーブを走行中であると判定し、他の場合にカーブを走行中でないと判定するようにしたりしてよい。
【００１４】
さて、次に、自動車がカーブを走行中でなければ（ステップ２０８）、図４ａに示すように、ステップ２０６で求めた直線y=ax+bと同じ直線ｙ=ｆ(x)=cx+b(但し、c=a)を、自車前方の白線を表す直線として認識する（ステップ２１０）。
一方、自動車がカーブを走行中であれば（ステップ２０８）、図４ｂに示すように、ステップ２０６で求めた直線y=ax+bと、Ｘ軸を対称軸として線対称な直線ｙ=ｆ(x)=cx+b(但し、c=-a)を、自車前方の白線を表す直線として認識する（ステップ２１２）。
そして、図５に示す、自車前方の白線と自動車前方白線側(右側端）端Tとの距離Dを求める（ステップ２１４）。
すなわち、図５に示すように、自動車中心Ｇから自動車前端までのY方向の距離（自動車の全長の半分）をＬ、自動車中心Ｇから自動車白線側端までのX方向の距離（自動車の全幅の半分）をWとすれば、端T最寄りの白線上の点Ｋの座標は
Kx=D+Wとして、（Kx, -L）となる。
【００１５】
よって、点Kが、直線ｙ=ｆ(x)=cx+b上の点であることより、
-L=F(Kx）=cKx+b = c(D+W) +b
が成り立つので、これより自車前方の白線と自動車前方白線側(通常、右側）端Tとの距離Dを、
D= [(-L-b)/c]-Wとして求める。
【００１６】
そして、求めた自車前方の白線と自動車前方白線側端Ｔとの距離Dが、所定のしきい値Ｔｈより小さく、かつ、自動車が白線側に移動しているかどうかを調べ（ステップ２１６）、そうでなければステップ２０２からの処理に戻り、そうであれば自動車の走行中車線からの逸脱の発生を予測し、スピーカ５や表示装置６から、自動車の車線から逸脱を警告する出力をドライバに対して行った上で（ステップ２１８）、ステップ２０２からの処理に戻る。
【００１７】
ここで、ステップ２１６における、自動車が白線側に移動しているかどうかの判定は、たとえば、自車前方の白線を表す直線ｙ=ｆ(x)=cx+bの傾きが正、すなわち、 cが正である場合に、自動車が白線側に移動していると判定したり、求めた自車前方の白線と自動車前方白線側端Ｔとの距離Dが、前回距離Dを求めたときの距離Dの値より減少している場合に、自動車が白線側に移動していると判定することにより行うことができる。
【００１８】
以上、車載監視装置３が行う車線監視処理について説明した。
以上のように、本実施形態によれば、自動車がカーブを走行している場合には、後方の白線を近似した直線と、自車の中心を通る左右方向軸を対象軸として線対称な直線を求めるだけの簡易、低負荷の処理によって自車前方の白線を認識することができる。
なお、以上の実施形態は、自動車の右側の白線を検出する場合について示したが、自動車の左側の車線を検出する場合についても本実施形態は同様に適用可能である
また、以上では、便宜上、白線を認識対象とするものとして説明したが、本実施形態は、黄線その他の任意の車線境界線についても、同様に認識するものとすることができる。
【符号の説明】
【００１９】
１…後方カメラ、２…フレームメモリ、３…車載監視装置、４…ワークメモリ、５…スピーカ、６…表示装置。
【図１】
0005744698.tif 000002
【図２】
0005744698.tif 000003
【図３】
0005744698.tif 000004
【図４】
0005744698.tif 000005
【図５】
0005744698.tif 000006