(57)【特許請求の範囲】
【請求項１】
カメラから取り込んだ画像中のレーン情報を画像処理により検出するレーン検出装置であって、
取り込んだ画像データから所定の特徴量を検出する特徴量検出手段と、
検出した特徴量に基づいて画像中の特徴部を抽出してラベリングするラベリング手段と、
ラベリング結果を記憶する記憶手段と、
現在のラベリング結果を過去のラベリング結果と比較し、フレームの略同一位置でラベリング結果が一致するデータをノイズとしてデータから除去するノイズ除去手段と、
残るラベリング結果からレーン情報を検出する検出手段と、
を備えているレーン検出装置。
【請求項２】
前記ノイズ除去手段は、所定期間にわたってフレームの略同一位置に過去のラベリング結果と一致するデータがある場合に、そのデータをノイズと判定するものであって、前記所定期間を車速が高い場合には低い場合に比べて短くする請求項１記載のレーン検出装置。
【請求項３】
前記ノイズ除去手段は、前記所定期間内に所定周期で複数回のラベリング結果の比較を行う請求項２記載のレーン検出装置。
【請求項４】
前記ノイズ除去手段は、前記所定期間経過前のフレームにおけるラベリング結果との比較を行う請求項２記載のレーン検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は自動走行システムや駐車支援システムに適応可能な画像処理を用いたレーン検出装置に関する。
【０００２】
【従来の技術】
近年、道路等で走行レーンを示す白線等を画像処理によって検出し、認識結果を基にしてドライバーに対して各種の情報を提供したり、さらには、車両を自動走行させる際の制御にこの認識結果を用いるシステムが提案されている。
【０００３】
こうした白線認識の技術としては特開平１１−１９５１２７号公報に開示されている技術が知られている。同公報によれば、画像中のエッジを抽出し、抽出したエッジをラベリングして、その中から角度が対になるエッジを検出することで白線を精度良く認識できると記載されている。
【０００４】
【発明が解決しようとする課題】
こうした画像は車両の前部または後部に設置されたカメラにより取得されるが、カメラのレンズ前に雨滴や汚れがついていると、画像データ自体が劣化してしまうため、精度良く認識することが困難になる。
【０００５】
そこで本発明は、カメラのレンズ等に付着した雨滴や汚れなどによる画像データのノイズの影響を受けにくく、精度良い認識が可能なレーン検出装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明に係るレーン検出装置は、カメラから取り込んだ画像中のレーン情報を検出するレーン検出装置であって、(1)取り込んだ画像データから所定の特徴量を検出する特徴量検出手段と、(2)検出した特徴量に基づいて画像中の特徴部を抽出してラベリングするラベリング手段と、(3)ラベリング結果を記憶する記憶手段と、(4)現在のラベリング結果を過去のラベリング結果と比較し、フレームの略同一位置でラベリング結果が一致するデータをノイズとしてデータから除去するノイズ除去手段と、(5)ノイズを除去したラベリング結果からレーン情報を検出する検出手段と、を備えていることを特徴とする。
【０００７】
カメラのレンズに付着した雨滴や汚れ等は、レンズに対する移動速度は車両外の風景に比して小さく、画像のフレーム中ではほぼ静止状態にある。本発明では、このことを利用して過去のラベリング結果と現在のラベリング結果を比較し、フレームの略同一位置で一致しているデータをこれらの汚れ等のノイズと判定して除去することでレーン情報を正確に判定するものである。
【０００８】
このノイズ除去手段は、所定期間にわたってフレームの略同一位置に過去のラベリング結果と一致するデータがある場合に、そのデータをノイズと判定するものであって、この所定期間を車速が高い場合には低い場合に比べて短くすることが好ましい。
【０００９】
前述したようにノイズは画像のフレーム中でほぼ静止状態にある。したがって、所定期間にわたって、過去のラベリング結果と一致しているデータ、すなわち、静止しているデータがある場合はノイズと判定し得る。そして、車速が高い場合には、風景等の画像データはフレーム内をより高速で移動することとなるから、静止しているデータか否かの判定をより短時間で行うことが可能となる。
【００１０】
ラベリング結果の比較にあたっては、所定期間内に所定周期で複数回のラベリング結果の比較を行うか、所定期間経過前のフレームにおけるラベリング結果との比較を行えばよい。
【００１１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１２】
図１は本発明に係るレーン検出装置を車線逸脱警報装置に適用した場合の基本構成を示す概略構成図であり、図２はそのＣＣＤカメラ２の使用状態を説明する図である。
【００１３】
本発明に係るレーン検出装置は、図１に示されるようにＣＣＤカメラ２からの画像信号を受信して処理するレーン検出ＥＣＵ１からなり、内部には画像処理ＣＰＵ１０とメモリ１１を有する。すなわち、この画像処理ＣＰＵ１０が本発明に係る特徴量検出手段、ラベリング手段、ノイズ除去手段、レーン情報検出手段を内蔵されたプログラムにより兼ねることになる。このレーン検出ＥＣＵ１は、車線逸脱警報ＥＣＵ３に接続されて、相互に情報を送受し合う。車線逸脱警報ＥＣＵ３には、車両状態量として車速センサ４１、操舵角センサ４２、ヨーレートセンサ４３の各出力信号が入力される。車線逸脱警報ＥＣＵ３は車両状態量から車両の将来の軌跡を予想し、レーン検出ＥＣＵ１が検出したレーン位置と比較することで車両がレーンを逸脱すると判定した場合には図示していない警告灯、アラーム等を利用して運転者に注意を促すものである。
【００１４】
ＣＣＤカメラ２は車両５の車室前方中央に配置され、フロントガラス５０越しに車両前方の路面の画像を取得するものである。車両５が走行する路面６上の車線（レーン）６０は、左右の区画線（レーンマーク）６１Ｒと６１Ｌにより区画されている。
【００１５】
本発明に係るレーン検出装置の動作を図３〜図５を参照して説明する。図３は、この装置の動作を説明するフローチャートであり、図４、図５はＣＣＤカメラで取得した一連の生画像とそのラベリング結果を示している。
【００１６】
図３に示されるフローは、イグニッションスイッチがＯＮされてから、所定の間隔、例えばカメラの画像取得に合わせてレーン検出ＥＣＵ１内の画像処理ＣＰＵ１０において繰り返し実行される。
【００１７】
まず、ステップＳ１では、車線逸脱警報ＥＣＵ３を介して車速センサ４１、操舵角センサ４２、ヨーレートセンサ４３から車両状態量が読み込まれる。続いて、ステップＳ２では、ＣＣＤカメラ２から画像データが取り込まれる。
【００１８】
ステップＳ３では、取得した画像データ、例えば図４（ａ）〜（ｄ）に示されるような画像データから特徴量として画像の輪郭、すなわちエッジを検出する。これらの画像中には、レーンマーク６１Ｒ、６１Ｌと他車線を先行する他車両６２の他に、車両５の前部５ａ、フロントガラス５０上に付着した雨滴７１、７２が映っている。これらの輪郭をそれぞれ検出することになる。
【００１９】
そして、ステップＳ４では、検出したエッジを連結して線分化する。そのあと、ステップＳ５において検出された線分に番号付け、すなわちラベリングを行う。この画像データからのエッジ検出、線分化、ラベリングの手法については『画像工学ハンドブック』（樋渡涓二編、朝倉書店、１９８６年）の２４９〜２５６頁に記載されている。図４（ａ）〜（ｄ）に示される画像データからエッジを検出し、線分化してラベリングした状態を図５に示す。図中はラベリングしたナンバーをＬをつけて表している。すなわち、元画像中の雨滴７１、７２をそれぞれ１番、２番とし、レーンマーク６１Ｌが３番、車両前部５ａが４番、レーンマーク６１Ｒが５番、他車両６２が６番として番号付けされる。
【００２０】
ステップＳ６では、こうして、ラベリングした結果、つまり抽出した線分の形状、位置情報をメモリ１１に記憶しておく。
【００２１】
ステップＳ７〜Ｓ１１は、雨滴７１、７２のようなノイズを除去する工程である。例えば、図４（ｃ）、図５（ｃ）の時点における処理を考える。ここでは、１〜６番にラベリングされた線分Ｌ１〜Ｌ６が検出されている。これを１つずつ、１番から順に過去のラベリング結果、例えば、図５（ａ）、（ｂ）の時点のラベリング結果と比較していく。
【００２２】
具体的には、まず、ステップＳ７において、１番のデータＬ１を選択し、ステップＳ８で過去のデータでも略同一位置に同様の形状の線分データが存在するか否かを判定する。データＬ１は雨滴７１のデータであり、車両５のフロントガラス５０に付着して、ＣＣＤカメラ２と同様に車両５とともに移動していることから、画面内部での移動速度はほとんどない。そのため、過去のデータと一致すると判定され、ステップＳ９へと移行して、このデータはノイズとして除去される。
【００２３】
ここで、一致データありの判定は、所定の期間にわたって略同一位置に同様の形状の線分データが存在している場合を一致とみなす方法と所定時間前のデータと比較して略同一位置に同様の形状の線分データが存在している場合を一致とみなす方法の２種類がある。いずれの場合もステップＳ１で得られた車速、操舵角等のデータから車両の運動状態に応じて所定の期間の長さ、所定時間の間隔を変更することが好ましい。この変更は段階的であってもよく、特定の車速閾値以上か否かで切り替えるようにしてもよい。
【００２４】
車両が高速で移動している場合や操舵角が大きい場合には、画像中でのレーンマークの移動速度も速くなることから、一致判定に用いる過去のデータはごく直近のデータだけを用いても精度良く判定が可能である。一方、低速・小舵角で移動している場合には、画像中でのレーンマークの移動速度も遅くなることから、精度良い判定のためには一致判定に用いる過去のデータはある程度現在よりさかのぼった時点のデータを利用することが必要となる。
【００２５】
次のステップＳ１１では、最終ラベルのデータ（ここではＬ６）でない限り、ステップＳ１２へと移行し、ラベル番号を１つ追加して次のデータを選択してステップＳ８へと戻る。雨滴７２を表すデータＬ２や車両前部５ａを表すデータＬ４の場合も一致があるため、ステップＳ９でノイズとして除去される。この他、ＣＣＤカメラ２のレンズやフロントガラス５０の傷や付着した汚れ等も同様の手法で除去することが可能である。なお、車両前部５ａについてはその位置、形状が既知であることからステップＳ２の入力時点でこの部分を除外してエッジ検出等を行ってもよい。
【００２６】
一方、レーンマーク６１Ｌ、６１Ｒをそれぞれ表すデータＬ３、Ｌ５や他車両６２を表すデータＬ６の場合は位置の移動や形状の移動があるため、ステップＳ８では記憶データと一致がないと判定されてステップＳ１０へと移行する。そして、有効データとして次の処理のために残される。
【００２７】
こうして、有効データとして残されたデータＬ３、Ｌ５、Ｌ６のみについてステップＳ１３でレーンマークの検出処理を行うことにより、ノイズの影響を除去してレーンマーク６１Ｌ、６１Ｒを精度良く認識することができる。
【００２８】
なお、ノイズとして除外したデータが画像に占める領域が一定以上（例えば１０％以上）に多い場合にはカメラに付いた傷や汚れ等が多く、画像データの信頼性が欠けると判定してレーンマークの検出処理を行わずにその旨を運転者に警告することが好ましい。
【００２９】
以上の説明では、ＣＣＤカメラ２を車室前方中央に搭載した形態について説明したが、カメラの設置はこの位置に限られるものではなく、車室前方の別の位置に配置したカメラのほか車室内の後方に配置してリアウィンドウ越しに後方を撮影するカメラに対しても適用可能である。また車室外の車両前方や側方あるいは後方に配置し、いずれかの位置のレーンマークを撮影するカメラを用いても同様の手法でノイズのないレーンマーク検出を行うことが可能である。
【００３０】
また、レーンマークの検出のための情報としては特徴量としてエッジ抽出を行ったが、二値化等により特徴量を抽出してもよい。
【００３１】
ここでは、検出したレーンマーク情報を車線逸脱警報に用いる例を説明してきたが、車両の自動走行や駐車支援等にも用いることが可能である。
【００３２】
【発明の効果】
以上説明したように本発明によれば、雨滴や汚れ等のノイズはカメラとともに移動することを利用し、画像内で特徴量を抽出してラベリングしたデータのうち移動の少ないデータをノイズとして除去することでこれらのノイズを精度良く除去してレーンマークを確実に検出することが可能である。
【図面の簡単な説明】
【図１】本発明に係るレーン検出装置を用いた車線逸脱警報装置を示す概略図である。
【図２】図１の装置のＣＣＤカメラの使用状態を示す図である。
【図３】本発明に係るレーン検出装置の動作を説明するフローチャートである。
【図４】ＣＣＤカメラで取得する生画像変化の一例を示す図である。
【図５】図４のそれぞれの画像中のラベリング結果を示す図である。
【符号の説明】
１…レーン検出ＥＣＵ、２…ＣＣＤカメラ、３…車線逸脱警報ＥＣＵ、６…路面、１０…画像処理ＣＰＵ、１１…メモリ、４１…車速センサ、４２…操舵角センサ、４３…ヨーレートセンサ、５０…フロントガラス、６０…車線（レーン）、６１…区画線（レーンマーク）。
【図１】
0003655541.tif 000002
【図２】
0003655541.tif 000003
【図３】
0003655541.tif 000004
【図４】
0003655541.tif 000005
【図５】
0003655541.tif 000006