(57)【要約】  本発明は、以下のステップを包含する走行レーン認識の方法に関する：−  車両周辺部において少なくとも一枚の画像をカメラで撮影するステップ、−  少なくとも一枚の画像から走行ルートを認識するステップ、並びに、−  少なくとも一枚の画像から少なくとも一本の車線縁の推移を割出すために割出された走行ルートを考慮しながらストラクチャー認識を実施するステップ。【特許請求の範囲】
【請求項１】
以下のステップを包含する走行レーン認識の方法：
−  車両周辺部において少なくとも一枚の画像をカメラで撮影するステップ、
−  少なくとも一枚の画像から走行ルートを認識するステップ、
−  少なくとも一枚の画像から少なくとも一本の車線縁の推移を割出すために割出された走行ルートを考慮しながらストラクチャー認識を実施するステップ。
【請求項２】
カメラが、一台のステレオ・カメラであり、走行ルートの認識のために、画像内の車両前方のエリアの高さに関する情報が評価されることを特徴とする請求項１に記載の方法。
【請求項３】
カメラが、これにより車両周辺の一連の画像が撮影される一台のモノ・カメラであり、連続する画像間の変化から、少なくとも不動の車両周辺の空間的ストラクチャーが割出され、車両前方の車両周辺の空間的ストラクチャーの高さに関する情報が、走行ルートの認識のために評価されることを特徴とする請求項１に記載の方法。
【請求項４】
走行ルートの認識、及び／或いは、ストラクチャーの認識のために、以前の認識が考慮されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項５】
付加的に少なくとも一つの車載ダイナミクス・センサーのデータを、車両ルートの認識の際に考慮することを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項６】
付加的に少なくとも一つのレーダー、及び／或いは、ライダー・センサーのデータを、車両ルートの認識の際に考慮することを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項７】
少なくとも認識された走行ルートがある少なくとも一枚の画像の領域においてのみストラクチャー認識が実施されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項８】
ストラクチャー認識が、領域セグメント化に基づいていることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項９】
ストラクチャー認識が、画像、或いは、画像の一部を、典型的な車線縁のパターンと比較する相関関係分析に基づいていることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１０】
更なるステップとして、割り出された車線縁に関する情報の出力が設けられていることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１１】
レーンマーク認識手段からのレーンマークに関する情報が、走行レーン認識において考慮されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラを用いた走行レーンを認識するための方法に関する。
【背景技術】
【０００２】
自車両が走っているレーンの推移を車線マークから認識するカメラベースのドライバー・アシスタント・システム、例えば、車線逸脱警報（Ｌａｎｅ  ｄｅｐａｒｔｕｒｅ  ｗａｒｎｉｎｇ，ＬＤＷ）は、既に市場に定着しており、その際用は、特定の用途においては、既に法的に義務化されている。
【０００３】
レーン維持サポート・アシスタント・システムでは、更に、車両操舵への介入も可能になっている。これに関し、例えば、特許文献１は、サーボモーターによってサポートされたステアリング（所謂パワーステアリング）を有する車両のドライバー・アシスタント・システムの作動方法を開示している。ここでは、ＣＣＤカメラが車両周辺部を捉え、特に、走行レーンの推移を推定している。即ち、周辺データが、車両の移動データと比較され、これに基づいて、ドライバーによるステアリング操作に対するサポートが実施できるようになっている。
【０００４】
要するに、現行のドライバー・アシスタント・システムでは通常、自分のレーンと隣のレーンのマークの推移を認識し、これに基づいて、レーンマークに対する相対的な自車両のポジションが、推定されている。
【０００５】
特許文献２は、認識された走行レーンのレーンマークが、走行レーン認識の質が解るように表示手段に表示することができる走行レーン認識機能を有する表示手段を開示している。走行レーン認識の質（クオリティ）を、良、悪、不可能に分類することは、良質な、或いは、少なくとも悪質な認識に不可欠な例えば、光度コントラスト、色コントラストなどを定義することによって可能である。また、相当の距離に渡る区間において車線マークが中断しており、よって認識不可能、即ち、隣接する車線マークからの補外のみが可能である場合には、その区間用のレーンマークとしては、連続し、確実に認識された車線マークとは異なるレーンマークの表現が選択される。更には、道路の境界を示すための道路わきのポール（独語：Ｓｅｉｔｅｎｐｆｏｓｔｅｎ）など道路境界マークを、走行レーン認識において考慮することも、言うまでもなく可能である。
【０００６】
アウトバーン（ドイツの高速道路）や整備が行き届いたドイツ連邦道路（独語：Ｂｕｎｄｅｓｓｔｒａｓｓｅ）とは異なり、車線マークが無い、或いは、一部しか整備されていない道路も多い。例えば、多くの街道（独語：Ｌａｎｄｓｔｒａｓｓｅ）では、双方の走行レーンを区画するものとして道路中央のマークのみが施されている。即ち、両サイドの境界マークはなく、ドライバーは、ガイド・ポール（独語：Ｌｅｉｔｐｆｏｓｔｅｎ）や周辺の様子、要するに、道路舗装の側方端縁などを目印にしている。現行のレーン認識用のドライバー・アシスタント・システムは、マークが無いことを認識し、その機能を完全に停止する、或いは、存在しているマークのみを考慮する、乃至、走行レーンを表示する際に上記のごとく、走行レーン把握の質を考慮するモードに切り替わるようになっている。
【０００７】
しかしながら、ドライバー・アシスタント・システムに対する要求は、日々増しており、特に、緊急ブレーキアシスタント、回避アシスタントなど自律的安全機能を鑑みれば、未来のシステムは、マークの有無に係わらず走行レーンを認識できなければならない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】欧州特許第１４１４６９２号明細書
【特許文献２】ドイツ特許公開第１０２００５０３３６４１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
よって、本発明の課題は、車線マークが、不完全、或いは、欠如していても走行レーンを認識し、出力できる走行レーンを認識する方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明によれば、上記目的は、独立請求項に記載されている特徴によって達成される。本発明の更なる実施形態は、従属請求項から得られるが、各特徴を組み合わせること、更には各特徴の更なる形態も可能である。
【００１１】
本発明は、通常、カメラによれば、（車線マークの存在如何を問わず）車線縁は、認識可能である、該車線縁の位置から、走行レーンを推測できる、或いは、該車線縁の位置を、走行レーンの認識時に少なくとも考慮すると言うアイデアをベースにしている。
【００１２】
しかし実際は、車線の表面や車線縁は、様々であり、ユニバーサルな、車線・車線縁・パターンは、存在しないため、車線縁の検出は、新たなチャレンジである。
【００１３】
本発明に係る走行レーン認識の方法は、以下のステップを包含している：画像撮影、ルート認識、ストラクチャー認識。
【００１４】
該ルート認識は、第一ステップとして、得られた画像情報から車両前方のスペース（フリーな空間）を割出し、続く、画像情報から実際に車線縁を割出すストラクチャー認識を制御する役割を担っている。
【００１５】
次のステップであるストラクチャー認識では、割出されたルートを考慮しつつ車線縁の推移を割出すため、好ましくは、パターン認識方法が採用される。得られた車線縁の推移は、通常、走行レーンの縁に対応している。
【００１６】
本発明に係る方法は、車線縁の考慮により、走行レーン認識の稼働率と信頼性を高める長所を提供する。
【００１７】
好ましい実施形態によれば、ステレオ・カメラによって、車両周辺部の３Ｄ再現を作成し、これに基づき、走行ルートを割出すことができる。車線は、比較的平坦であると言う仮定に基づけば、３Ｄ情報において特定の閾値を用いて、一定の高さを超える領域をルートから除外できる。
【００１８】
代案としては、モノ・カメラによって撮影された画像シーケンスから、車両周辺部の空間的情報を得ることもできる。その例としては、画像情報の時間的変化（光学的流れ）から撮影されたシーンのストラクチャーを割出すことができる「Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ」（動きから三次元情報を得る）分野の方法を挙げることができる。
【００１９】
走行ルート認識やストラクチャー認識のステップに以前の認識結果を、フィルターをかけて、加重した（例えば、カルマン・フィルター）後に考慮することは好ましい。
【００２０】
この際、ルート認識は、車両ダイナミクス情報、即ち、車載バス（信号路）に存在している少なくとも一つの、車載ダイナミクス・センサー、例えば、速度、ヨーイング率、舵角センサーなどの、データによってもサポートされることが好ましい。
【００２１】
好ましい実施形態においては、ルート認識のために、更なる周辺センサーのデータを考慮する、例えば、カメラデータとレーダーセンサーやレーザーセンサーの３Ｄ情報を融合する。
【００２２】
本発明の好ましい実施形態では、認識された走行ルートが、ストラクチャー認識における画像分析のサーチ領域を制限できる。即ち、重要な画像領域に制限することによってリソースを有効に利用し、誤認識の確立も下げることができる。
【００２３】
好ましくは、少なくとも一枚の画像の少なくとも認識された走行ルートがある領域においてのみストラクチャー認識が実施される。これは、認識された３Ｄルートを、存在している画像情報に投影し、ストラクチャー認識のための作業領域を制限することによって実施できる。これにより、自分の走行レーンの境界を割出すために、例えば、割り出したルート内において、好ましくは、カラー情報を考慮した上で、領域セグメント化を実施することもできる。該領域セグメント化は、少なくとも車線と車線の横の領域（例えば、野原、縁石、砂など）を互いから区別することに役立っている。
【００２４】
尚、画像情報内における強度（密度）差から側方での車線表面（舗装）の終りを割出すエッジベースの方法も考え得る。
【００２５】
本発明の好ましい実施形態では、該ストラクチャー認識は、これのみが実施される、或いは、付加的に実施される、画像、或いは、画像の一部を、学習した典型的な車線縁のパターンと比較する相関関係分析に基づいている。即ち、相関関係ベースのアプローチは、車線の適切なテンプレート（ひな形）を存在している画像情報と比較し、一致、並びに、差異（不一致）から車線縁の存在を割出す代案とも言える。
【００２６】
好ましくは、更なるステップにおいて、割り出された車線縁、或いは、推定された走行レーンに関する情報が出力される。出力ステップでは、発見された車線縁に関する情報を、自らのシステムでの、或いは、他の装置での更なる処理に適した形にすることができる。
【００２７】
車線の推移が、モデルのパラメーター値として、例えば、クロソイドとして出力されることが好ましい。尚、オープンなポリゴン・チェーンを採用することも考え得る。推移は、３Ｄ座標（実空間）において示すことができることが理想的である。
【００２８】
本件記載の方法は、走行レーンをより包括的に表現するために、実用化されているマーク認識方法と好ましく組み合わせて使用することができる。
【００２９】
その際、例えば、存在している答えを適切に融合させ、処理する、或いは、例えば、認識された中央マークを、車線縁のサーチ領域を該マークの推移に合わせるなど、双方の方法で、互いに好ましく影響を与え合うことができる。
【００３０】
組合せにおいては、それぞれの結果を互いの妥当性検証に用いることも考え得る。これは、例えば、レーダー・システムによって推定された車線推移による妥当性検証など、原則的には、他のセンサーとの融合による方法としても考え得る。
【００３１】
以下、本発明に係る方法の一実施例を示す。
【発明を実施するための形態】
【００３２】
車両は、フロントガラスの内側に配置され、車両の周辺を捉えるモノ・カメラを装備している。そしてこのモノ・カメラによって、継続的に画像が撮影される。続いてこの画像シーケンスから、光学的な流れ（Ｏｐｔｉｃａｌ  ｆｌｏｗ）を用いて画像内容の空間的ストラクチャーが再現される。そして車両のルートを割出すため、空間的ストラクチャーから車両前方のスペースが認識される。この際、車両がその上に存在しているストラクチャーの鉛直方向の広がり（高さ）が分析される。こうして得られた凹凸プロファイルより、車両がその中を走行できるスペースの候補がどこなのかが求められる。尚、走行ルートは、車両前方の可能性のある全てのスペースに相当している。
【００３３】
画像内における車両ルートの位置は、例えば、領域セグメント化によって、狙いを定めてストラクチャーを認識するために、用いられる。領域セグメント化においては、車両ルートの範囲内の画像は、道路表面、隣接するエリア（例えば、野原など）、高くなっている部分など（例えば、ガイドレール、ポール、縁石など）にセグメント化される。このセグメント化には、例えば、輝度、色、寸法、及び／或いは、エッジなどの基準（クライテリア）も採用されることができる。
【００３４】
その結果、道路表面領域とそれに隣接する領域の境界として、車線縁が割出される。
【００３５】
そして、このように見つけられた車線縁の推移は、出力されることができる。例えば、画像内の車線縁の位置が、走行レーンマーク認識手段に伝達されれば、車線縁の近くのマークをより容易かつ迅速に検出できるようになる。他の例としては、車線縁の推移は、現実の座標値、或いは、クロソイドのパラメーター値として、ハンドリング・サポート手段の制御に伝達されることができる。
【国際調査報告】
2014526104.tif 000002
2014526104.tif 000003
2014526104.tif 000004
2014526104.tif 000005
2014526104.tif 000006
2014526104.tif 000007
2014526104.tif 000008
2014526104.tif 000009