(57)【要約】  本発明は、車載カメラの画像データを評価するための方法に関する。車載カメラの視野内のガラス上の雨滴は、画像データの評価の際に考慮される。【特許請求の範囲】
【請求項１】
車載カメラの視野内のガラス上の雨滴に関する情報を、画像データの評価の際に考慮することを特徴とする車載カメラの画像データを評価するための方法。
【請求項２】
光状況に関する情報を画像データの評価の際に考慮することを特徴とする請求項１に記載の方法。
【請求項３】
該情報が、車載カメラの画像データから割り出されることを特徴とする請求項１或いは２に記載の方法。
【請求項４】
画像データの評価の際に、画像データから、画像内のエッジを検出するための少なくとも一つの評価条件が、該情報に依存して変更されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項５】
画像データの評価の際に、該情報に依存してオブジェクトの分類が実施されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項６】
該情報から、画像データの評価の際に考慮される、画像データの質基準を割出すことを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項７】
車載カメラの視野内のガラス上の雨滴に関する情報から、押し波が認識され、これが、画像データの評価の際に考慮されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項８】
車載カメラの視野内のガラス上の雨滴に関する情報から、画像シーケンスの個々の画像においてワイパーが画像のある領域を覆っている可能性があることが、画像データの評価の際に考慮される、ことを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項９】
最低限の画像データの質基準が満たされなくなった時には、ドライバー・アシスタント機能が停止されることを特徴とする６から８のうち何れか一項に記載の方法。
【請求項１０】
画像データから割り出された質基準に依存して、車間調整クルーズコントロールの速度が制限されることを特徴とする６から９のうち何れか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に好ましくは、ドライバー・アシスタント・システムにおいて採用される車載カメラの画像データを評価する方法に関する。
【背景技術】
【０００２】
多くの車両で今日既に、ワイパーやライトを制御するために雨センサーや光センサーが搭載されている。そして、カメラをアシスタント・システムや快適機能のベースとして搭載している車両も増えてきているため、雨検出や光検出も、カメラによって実施するようになってきている。
【０００３】
特許文献１には、同時に自動車のドライバー・アシスタント機能にも用いるカメラによる雨検知が記載されている。雨検知には、フロントガラスの一部分を、カメラの画像センサーの部分領域上にフォーカスする二焦点光学系が採用されている。
【０００４】
特許文献２には、前を走る車や対向車と反射板を区別できる、ヘッドライトの自動ランプ制御をじっしするためのカメラをベースとするドライバー・アシスタント機能が、開示されている。これにより、前を走る車や対向車のドライバーにまぶしい思いをさせることを回避できるように、自車両のヘッドライトを自動的に制御できるようになる。
【０００５】
ヘッドライトの光の到達距離や分散は、前を走る車や対向車に合わせて設定できる。
【０００６】
しかしながら、カメラベースのドライバー・アシスタント機能の場合、雨や夜の暗闇など、カメラの撮影クオリティを有意に損ねる環境からの影響と言う問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際特許公開第２０１０／０７２１９８号明細書
【特許文献２】欧州特許第２０５７５８３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
よって、本発明の課題は、この問題を解決することにある。
【課題を解決するための手段】
【０００９】
本発明の基本となるアイデアは、雨センサーや光センサーからの情報を、車載カメラのデータからのアシスタント機能やオブジェクト認識機能を適応するために用いると言うことである。
【００１０】
ある本発明に係る、車載カメラの画像データを評価するための方法（言い換えれば、車載カメラをオブジェクト認識のために用いる方法）では、ガラス上の雨滴に関する情報、及び／或いは、車載カメラの視野内の認識された光の状況に関する情報を、画像データの評価の際に（言い換えれば、オブジェクトを認識する際に）考慮している。
【００１１】
雨滴に関する情報とは、特にその数と大きさであるが、請求されている発明では、雹、雪、氷の結晶、粉塵なども、雨滴として扱われる。
【００１２】
認識された光の状況に関する情報とは、特に周囲の明るさ（例えば、日中、夜、トンネル通過中など）であるが、ここの光源、例えば、街灯や車のランプなども認識された光の状況の構成要素で有り得る。
【００１３】
その長所は、画像データの評価、或いは、オブジェクトの認識が、雨滴、或いは、光の状況に関する情報を考慮することにより信頼性が高まることである。オブジェクトの認識信頼性を、より正確に推定できることから、難しいシチュエーションもカメラシステムによって解決されることができる。
【００１４】
ある好ましい実施形態によれば、画像データから情報（雨滴や光の状況）が割出される。即ち、車載カメラは、例えば、特許文献１に開示されているように、画像センサーの一部領域によって、雨センサー、及び／或いは、光センサーの役割も同時に果たしている。続いて、雨、及び／或いは、光の状況の認識は、ドライバー・アシスタント機能のための画像データ、或いは、オブジェクト認識の（更なる）評価の際に考慮される。
【００１５】
これにより、同一のカメラで天候状況／光状況を直接認識し、割出された視野状況を最適に推定できることから、雨、及び／或いは、光のカメラ機能に対する影響をより正しく推定できるようになる。
【００１６】
尚、画像データの評価の際に、画像データから、画像内のエッジを検出するための少なくとも一つの評価条件（例えば、閾値）を、該情報（車載カメラの視野内におけるフロントガラス上の雨滴、及び／或いは、認識された光状況）に応じて変更することができることは、好ましい。
【００１７】
認識された雨の強さから、例えば、カメラによって捉えられたエッジ（明暗や色の変化）への影響を推定できる。雨の場合、エッジ移行部（境界部分）は、ソフト、即ち、エッジのグラデーションは、雨が降っていない時よりも滑らかである。即ち、エッジベースの評価方法においても、閾値は、対応されるべきである。必要に応じて、天候状況毎に複数のパラメーターを設定し、認識された天候に応じてこれらを使用することも可能である。
【００１８】
特に好ましくは、該情報から、画像データの評価の際に考慮される、画像データの質基準を割出すこともできる。
【００１９】
また好ましくは、雨がある程度以上強い場合、即ち、センサーシグナルの質が、十分ではない、言い換えれば、画像データの質が、該質基準の最低値を下回った場合には、個々の、アシスタント機能を停止することも可能である。
【００２０】
好ましくは、速度調整を実施するためのアシスタント機能において、制御できる最高速度を制限する。特に好ましくは、強い雨の時には、車間調整クルーズコントロール（ＡＣＣ）は、高速走行時には、作動できないようにすると共に、このことを、ドライバーに報告するようにすることも考え得る。作動させる速度の上限、或いは、制御できる速度の上限は、画像データの質基準に基づいて実施されることが好ましい。
【００２１】
好ましい実施形態では、「ｂｌｏｃｋａｇｅ  ｄｅｔｅｃｔｉｏｎ」（ブロッケージ検出）を実施することもできる。雨が降っている場合、通常、ワイパーが作動している。ワイパーが、画像領域を覆うこともあり得る。このようなケースにおいて、画像シーケンスの連続する画像間におけるオブジェクトの追跡（オブジェクト・トラッキング）を、個々の画像が欠けても安定するように対策できる。即ち、幾つかの測定が欠けている場合でも、該オブジェクトが、複数のサイクルにおいて有効であると評価することができる。
【００２２】
オブジェクトを、ワイパーに押されて水が押し寄せてくる時には、画像シーケンスの幾枚かの画像において認識できないこともあり得るため、好ましくは、その水（以下：押し波）の検出も実施すべきである。押し波が認識された場合、既に、安全にスタートされた機能は、作動状態が保たれ、他の機能の開始は禁止されることが好ましい。
【００２３】
本発明の更なる好ましい実施形態は、従属請求項に記載されている。
【００２４】
以下、実施例によって、本発明をより詳しく説明する。
【発明を実施するための形態】
【００２５】
カメラによれば、例えば、車両の後部を認識し、分類できる。先ず、認識は、エッジベースで実施される。
【００２６】
第一ステップでは、画像内において本質的な特徴、例えば、バックライト、車の輪郭、或いは、車両の下の影などを探す。
【００２７】
雨の場合、通常、車の影はないため、例えば、ライトやエッジ認識に重点を置くことができる。
【００２８】
夜は、他の特徴を暗闇で見ることはほとんどできないため、ライト認識に更に重点を置くことができる。特に照明は、測定点の数と質を大きく左右する。
【００２９】
夜は、一般的にも、幾つかの機能の視程は、実質、ヘッドライトの到達距離に制限される。ここでは照明限界を、車両周辺部にある照明されていないオブジェクトを確実に認識できる認識限界として用いることができる。
【００３０】
続くステップでの認識された車両の分類においても、採用するパラメーターを、或いは、その実施を、天候状況に適応させることができる。即ち、様々な天候条件に合った専用の分類基準を採用することができる。
【００３１】
具体的には例えば、様々な天候状況に合った様々な分類アルゴリズムやパラメーターを開発することができる。ここでは、周辺の状況（雨／光）に対応して訓練された分類アルゴリズムが採用されている。
【００３２】
天候状況によっては、個別の認識アルゴリズムを停止し、他の認識アルゴリズムをより頼りにすることも可能である。
更には、カメラ、或いは、天候に依存するセンサー、例えば、ライダーやＰＭＤ  （Ｐｈｏｔｏｎｉｃ  Ｍｉｘｉｎｇ  Ｄｅｖｉｃｅ）から報告されたオブジェクトのシグナル・クオリティを、より正しく推定できる、即ち特に、雨状況や光状況の情報から画像データの質基準を割出すことができる。
【００３３】
エッジ認識や分類アルゴリズムの他、カラー情報の取得も適応させることができる。
【００３４】
即ち例えば、夜や雨天、ラインマークは、しかも本来の色（黄色／白色）に関係なく、明るいバックグラウンドに黒いラインとして写ることが多々ある。このことを知っていれば、ラインマーク認識を、より堅牢に設計することができる。
【００３５】
更には、引き出せる可能性がまだ残っているかもしれないカラー情報を得る試みとして、車両照明（ロービーム、ハイビーム、フォグライト）を作動させる／適応させることも可能であろう。好ましくは、まぶしくはないが適した色温度を有する特殊なランプを車両に取り付け、作動させることも可能である。
【００３６】
高度に自動化された走行では、ましてや自立した走行では、いかほど未来への（言い換えれば、走行方向の先までの）定義されたシグナル確実性を保証できるかということが重要になってくる。ここでは、高度に自動化されたシステムでは、車両速度を、状況に合わせる。よってこの場合、マニュアルに切り換え無ければよりスムーズ走ることはできない。
【国際調査報告】
2015510155.tif 000002
2015510155.tif 000003
2015510155.tif 000004
2015510155.tif 000005
2015510155.tif 000006
2015510155.tif 000007