(57)【要約】  本発明は、車両のフロントガラス上の雨滴を検出するための方法であって、少なくともフロントガラスの領域の画像が取り込まれ、少なくとも１つの対象物が取り込み画像から抽出されて、周辺光状態が決定される（Ｓ１２）方法に関する。対象物抽出の少なくとも２つの方法（Ｓ１４，Ｓ１８）のうちの少なくとも１つが周辺光状態に応じて行われる。また、本発明は、車両のフロントガラス上の雨滴を検出するためのカメラアセンブリに関する。
2014531641.tif 000002
【特許請求の範囲】
【請求項１】
車両のフロントガラス上の雨滴（２０）を検出するための方法であって、前記車において少なくともフロントガラスの領域の画像（１６，２４，２６）がカメラ（１２）によって取り込まれ、少なくとも１つの対象物が前記取り込み画像（１６，２４，２６）から抽出されて、周辺光状態が決定される（Ｓ１２）方法であって、
対象物抽出の少なくとも２つの方法（Ｓ１４，Ｓ１８）のうちの少なくとも１つが前記周辺光状態に応じて行われることを特徴とする方法。
【請求項２】
光源（１８）の数および／または光度が所定の閾値を下回る夜間またはトンネル周辺光状態で、その階調レベルが所定の閾値よりも低い対象物を検出することにより、対象物が前記取り込み画像（１６，２４，２６）から抽出される（Ｓ１４）ことを特徴とする請求項１に記載の方法。
【請求項３】
光源（１８）の数および／または光度が所定の閾値を上回る夜間またはトンネル周辺光状態で、その階調レベルが所定の閾値よりも高い対象物を検出することにより、対象物が前記取り込み画像（１６，２４，２６）から抽出されることを特徴とする請求項１または請求項２に記載の方法。
【請求項４】
その階調レベルが所定の閾値よりも低い対象物の暗い部分（３２）を検出し、且つ、その階調レベルが所定の閾値よりも高い対象物の明るい部分（３４）を検出することによって、昼間周辺光状態で前記取り込み画像（１６，２４，２６）から対象物が抽出され（Ｓ１４，Ｓ１８）、
前記対象物の暗い部分（３２）と明るい部分（３４）とがマージされる（Ｓ２０）ことを特徴とする請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記周辺光状態は、前記カメラ（１２）の手段（４４）によって決定されることを特徴とする請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記周辺光状態は、定量的にあるいは定性的に決定されることを特徴とする請求項１から５のいずれか一項に記載の方法。
【請求項７】
領域による前記取り込み画像（１６，２４，２６）の区分けおよび／またはエッジによる前記取り込み画像（１６，２４，２６）の区分けを用いて、対象物が抽出されることを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
抽出された対象物は、雨滴を検出するために分類される（Ｓ１６）ことを特徴とする請求項１から７のいずれか一項に記載の方法。
【請求項９】
車両のフロントガラス上の雨滴（２０）を検出するためのカメラアセンブリであって、
少なくともフロントガラスの領域の画像（１６，２４，２６）を取り込むためのカメラ（１２）と、
前記取り込み画像（１６，２４，２６）から少なくとも１つの対象物を抽出するように構成される処理手段（４２）と、
周辺光状態を決定するための手段（４４）と、
を備え、
前記処理手段（４２）は、対象物抽出の少なくとも２つの方法（Ｓ１４，Ｓ１８）のうちの少なくとも１つを前記周辺光状態に応じて行うように構成されることを特徴とするカメラアセンブリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のフロントガラス上の雨滴を検出するための方法であって、少なくともフロントガラスの領域の画像がカメラによって取り込まれる方法に関する。少なくとも１つの対象物は取り込み画像から抽出され、また、周辺光状態が決定される。また、本発明は、車両のフロントガラス上の雨滴を検出するためのカメラアセンブリに関する。
【背景技術】
【０００２】
自動車においては、単一のカメラまたは複数のカメラにより取り込まれる画像を使用する幾つかの運転支援システムが知られている。得られた画像は、例えばダッシュボードにあるスクリーン上での表示を可能にするために処理され得る、あるいは、特に危険の場合にドライバに警告するためにあるいは単にドライバの視認性を高めるためにフロントガラス上に投影されてもよい。また、画像は、車両のフロントガラス上の雨滴または霧を検出するために利用することもできる。そのような雨滴検出または霧検出は、車両の機能的なユニットの自動的な起動に関与し得る。例えば、雨が検出されれば、ドライバに警告することができ、制動補助システムを作動させることができ、フロントガラスワイパーを作動させることができ、および／または、ヘッドライトのスイッチを入れて作動させることができる。
【０００３】
米国特許第６８０６４８５号明細書は、周辺光状態に対応する絶対値を決定できる光学的な水分検出器について記載する。検出器は、水分収集面上の水分の存在を検出する光学的な水分センサを含む。
【０００４】
欧州特許第１０２５７０２号明細書は、ＣＭＯＳ撮像アレイまたはＣＣＤ撮像アレイなどの照明検出器を含む雨センサシステムについて記載する。周辺光のレベルに応じて、制御ユニットは、フロントガラス上の周辺光が低すぎてフロントガラス上に存在する雨滴を照明できないときに照明源をＯＮに切り換える。
【０００５】
従来技術から知られる方法およびカメラアセンブリは、フロントガラス上の雨滴を確実に検出することにおいて困難に直面してきた。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、フロントガラス上の雨滴を検出するための特に信頼できる方法およびカメラアセンブリをもたらすことである。
【課題を解決するための手段】
【０００７】
この目的は、請求項１の特徴を伴う方法によって、および、請求項９の特徴を伴うカメラアセンブリによって達成される。本発明の都合のよい更なる進展を伴う有利な実施形態が従属請求項に示される。
【０００８】
本発明によれば、フロントガラス上の雨滴を検出するための方法であって、少なくともフロントガラスの領域の画像がカメラによって取り込まれる。少なくとも１つの対象物が取り込み画像から抽出されて、周辺光状態が決定され、この場合、対象物抽出の少なくとも２つの方法のうちの少なくとも１つが周辺光状態に応じて行われる。これは、フロントガラス上の雨滴が照明状態に応じて幾つかの外観を有することができるという所見に基づく。その結果、−対象物抽出の異なる方法の間で−決定された照明状態に特に適合される少なくとも１つの方法を利用するために、周辺光状態を考慮する雨検出アルゴリズムが選択される。これは、方法を特に信頼できるものにするとともに、高速で効率的な雨滴検出をもたらす。
【０００９】
本発明の有利な実施形態では、夜間またはトンネル周辺光状態で、その階調レベルが所定の閾値よりも低い対象物を検出することにより、対象物が取り込み画像から抽出される。暗い夜間状態で、または、暗いトンネル内で、フロントガラス上の雨滴は、フロントガラスの領域の取り込み画像内において、画像の既に暗い背景よりも暗く見える。そのような暗夜間照明状態が存在するかどうかを決定するために、例えば光源の数および／または光度が所定の閾値を下回るかどうかを決定することにより、光源の数および／または光度を評価できる。そのような暗夜間照明状態で低い階調レベルを有する対象物のみが画像から抽出されれば、雨滴検出を高速で、確実に、および、効率的に行うことができる。
【００１０】
本発明の更なる有利な実施形態では、光源の数および／または光度が所定の閾値を上回る夜間またはトンネル周辺光状態で、その階調レベルが所定の閾値よりも高い対象物を検出することにより、対象物が取り込み画像から抽出される。これは、近い強力な光源が存在すれば、夜間に、取り込み画像中の雨滴が該雨滴の比較的暗い周囲よりも明るく見えるという所見に基づく。したがって、明瞭な夜間または明るいトンネル照明状態では、雨滴であってもよい対象物の検出のためには、比較的高い階調レベルを有する対象物を探せば十分である。そのため、対象物抽出の方法は、信頼できる高速の雨滴検出のためにそのような明瞭な夜間照明状態に適合される。
【００１１】
また、昼間周辺光状態で、対象物の暗い部分と対象物の明るい部分とを検出することによって対象物が取り込み画像から抽出されると、有利であることが分かってきた。この場合、対象物の暗い部分と明るい部分とがマージされる。暗い部分は、その階調レベルを所定の閾値と比較することによって検出することができ、また、明るい部分は、その階調レベルを他の更に高い所定の閾値と比較することによって検出することができる。明瞭な日中には、フロントガラス上の雨滴は、取り込み画像内で、明るい部分と暗い部分とを有する対象物として現れる。したがって、取り込み画像内で潜在的に雨滴を表す対象物の抽出は、明るいおよび暗い対象物抽出とその後のコントラストのあるゾーンのマージとによって行うことができる。ゾーンのこの融合では、測光的制約と幾何学的制約とが考慮される。対象物の暗い部分と明るい部分とをマージすることにより、昼間状態で取り込み画像内に存在するフロントガラス上の雨滴の特定の外観が適切に考慮される。
【００１２】
本発明の更なる好ましい実施形態では、周辺光状態がカメラの手段によって決定される。したがって、周辺光状態を推定できる他のセンサを設ける必要がない。むしろ、周辺光状態に関する情報は、取り込み画像を処理することによって得られる。したがって、フロントガラス上の雨滴の検出は、非常にコンパクトなカメラアセンブリによって行うことができる。
【００１３】
周辺光状態が定量的に決定されれば、周辺光状態の非常に正確な推定を得ることができる。また、これは、異なる照明状態間の非常に正確な差別化も可能にする。一方で、周辺光状態を定性的に決定することができる。これは、比較的簡単なカメラを使用できるようにする。あるいは、コンパレータなどの電子機器を利用して、昼間、夜間、または、薄明（トワイライト）周辺光状態が存在するかどうかを示すことができる。これは、対象物抽出の適切な方法の選択のために考慮に入れられるべき照明状態の決定を簡略化する。
【００１４】
本発明の更なる他の有利な実施形態では、領域による取り込み画像の区分けおよび／またはエッジによる取り込み画像の区分けを用いて対象物が抽出される。領域による区分けはモルフォロジー演算に基づくことができ、あるいは、領域またはセグメントの増大のみならずレベル設定方法も使用できる。エッジ検出のために、いわゆるスネークである動的輪郭モデルを利用できる。対象物のためのこれらの方法は、取り込み画像の解析において非常に効率的である。
【００１５】
最後に、雨滴を検出するために抽出された対象物を分類することが有利であることが分かってきた。抽出された対象物が雨滴であるか否かを決定するために、抽出された対象物のそれぞれに対してスコアレベルまたは信頼レベルを割り当てることができる。したがって、検出された雨滴を考慮に入れる適切な措置を講じることができる。
【００１６】
車両のフロントガラス上の雨滴を検出するように構成される本発明に係るカメラアセンブリは、少なくともフロントガラスの領域の画像を取り込むためのカメラと、取り込み画像から少なくとも１つの対象物を抽出するように構成される処理手段と、周辺光状態を決定するための手段とを備える。処理手段は、対象物抽出の少なくとも２つの方法のうちの少なくとも１つを周辺光状態に応じて行うように構成される。これにより、周辺光状態に関して対象物抽出方法が適切に選択されるため、処理手段は、フロントガラス上の雨滴を確実に検出することができる。
【００１７】
カメラは、人の眼が同様に感じやすい波長のスペクトル域で感度がよいことが好ましい。
【００１８】
雨滴を検出するための方法に関して与えられる好ましい実施形態およびその対応する利点は、本発明に係るカメラアセンブリに適用され、逆もまた同様である。
【００１９】
先の説明で言及された特徴および特徴組み合わせの全て、並びに、図の説明において以下で言及されるおよび／または図のみに示される特徴および特徴組み合わせは、それぞれに特定された組み合わせで使用できるだけでなく、本発明の範囲から逸脱することなく他の組み合わせでもあるいは単独でも使用できる。
【００２０】
本発明の更なる利点、特徴、および、詳細は、特許請求の範囲から、好ましい実施形態の以下の説明から、および、図面から明らかである。
【図面の簡単な説明】
【００２１】
【図１】周辺光状態にしたがって選択される対象物抽出方法を説明するためのフローチャートを示す。
【図２】比較的多くの明るい光源および雨滴を伴う明瞭な夜間画像であって、カメラにより取り込まれる画像内で雨滴がそれらの周囲よりも明るく見える夜間画像を示す。
【図３】暗い夜間の周辺光状態でカメラにより取り込まれる画像であって、雨滴がそれらの背景よりも暗い領域として見える画像を示す。
【図４】昼間状態で取り込まれた画像内のフロントガラス上の雨滴の出現を示す。
【図５】カメラアセンブリの処理手段による分離記述子の利用に基づく対象物分類の一例を示す。
【図６】車両のフロントガラス上の雨滴の検出を行うように構成されたカメラアセンブリを非常に概略的に示す。
【発明を実施するための形態】
【００２２】
車両のフロントガラス上の雨滴を検出するためのカメラアセンブリ１０（図６参照）は、車両に搭載して装着されたカメラ１２を備える。ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを含んでもよいカメラ１２は、車両のフロントガラスを見るように構成され、車両の車室内に設置される。フロントガラスは、カメラアセンブリ１０がフロントガラス上の雨滴を検出する場合には、ワイパーブレードを用いて拭き取られ得る。カメラ１２はフロントガラスの画像を取り込み、また、画像処理によって、フロントガラス上の対象物が雨滴であるか否かが決定される。
【００２３】
フロントガラス上の雨滴の検出のため、対象物抽出の適した方法を選択するべく周辺光状態が考慮に入れられる。図１では、雨滴検出のために行われる画像処理ステップが視覚化される。
【００２４】
画像前処理ステップＳ１０では、カメラ１２により取り込まれた画像が用意される。例えば、対象の領域が規定されて、ノイズフィルタが利用される。次のステップＳ１２では、周辺光状態が決定される。取り込み画像が処理されるときには、周辺光状態に応じて、対象物抽出の異なる方法が行われる。
【００２５】
第１の矢印１４は、ステップＳ１４における明瞭な夜間に対応する周辺光状態の決定時に高い階調レベルを有する対象物が抽出されることを示す。そのような明瞭な夜間状態を示す典型的な画像１６が図２に表される。そのような明瞭な夜間状態とは、比較的多数のあるいは比較的近い光源１８を伴う夜間周辺光状態のことである。街路照明、対向交通のヘッドライト、車両前方の交通のテールライト等のこれらの光源１８は、それらの周囲よりも明るい雨滴２０の外観を画像１６内にもたらす。したがって、ステップＳ１４では、後に、すなわち、ステップＳ１６において、雨滴としてあるいは雨滴でないとして分類される対象物を規定するためには、比較的高い階調レベルを有する対象物を抽出すれば足りる。
【００２６】
ステップＳ１２において、周辺光状態が暗い夜間に対応することが決定されれば、カメラ１２により取り込まれる画像に対して対象物抽出の他の方法が適用される。図１に矢印２２によって示されるように、ステップＳ１８では、カメラ１２により取り込まれる画像２４（図３参照）から対象物が抽出され、この場合、対象物は比較的低い階調レベルを有する。これは、限られた光源１８のみを伴う暗い夜間（図３参照）により、カメラ１２により取り込まれる画像２４内の雨滴２０がそれらの背景よりも暗く見えるからである。したがって、フロントガラス上の雨滴２０に対応し得る対象物を見つけるためには、非常に低い階調レベルを有する対象物の抽出を行えば足りる。これらの暗い対象物は後に分類される（ステップＳ１６参照）。
【００２７】
画像２６（図４参照）が昼間にカメラ１２により取り込まれたことをステップＳ１２における周辺光決定がもたらす場合には、対象物抽出の更なる他の方法が行われる。図１に矢印２８，３０によって示されるように、昼間状態では、低い階調レベルを有する対象物と高い階調レベルを有する対象物とが画像２６（図４参照）から抽出される。これは、昼間にフロントガラス上の雨滴２０が画像２６内で暗い部分３２と明るい部分３４とを有する領域として見えるという事実に起因する。暗い部分３２は、特に、明るい部分３４によって取り囲まれ得る（図４参照）。潜在的に雨滴２０に対応する対象物の暗い部分３２および明るい部分３４が抽出された後、コントラストのあるゾーンがマージされる。抽出された対象物の融合が行われるこのステップＳ２０は、昼間状態が存在するときにだけ実行される（図１参照）。雨滴２０を形成するための明るい成分と暗い成分とのマージ（図４参照）は、幾何学的制約と測光的制約とを考慮に入れる。融合（ステップＳ２０参照）によってもたらされる対象物は、その後、ステップＳ１６において分類される。
【００２８】
ステップＳ１６で行われるこの対象物分類は、対象物の形状、強度、テクスチャ、および／または、コンテキストを表してもよい多くの記述子に基づくことができる。形状記述子は、対象物の高さと幅との比率、対象物周長、対象物面積、対象物の真円度などを考慮することができる。強度記述子は、対象物の最大強度、対象物の最小強度、または、平均強度にしたがって対象物を分類してもよい。また、対象物内の赤色成分の平均強度を対象物の分類のために考慮に入れることができる。テクスチャ記述子は、モーメント、均一性、皺の多さ、累積勾配などにしたがって対象物を分類するために使用できる。また、対象物を分類するために有向勾配のヒストグラムを作り上げることができる。
【００２９】
図５は、２つの曲線３８，４０を伴うグラフ３６を示す。このグラフ３６においては、累積局所勾配が視覚化される。曲線３８は、対象物を真の雨滴２０として分類できるようにし、一方、曲線４０は、偽の雨滴としてあるいは雨滴でないとして分類されるべき対象物を示す。
【００３０】
画像処理中に行われる対象物分類（図１のステップＳ１６参照）では、コンテキスト記述子も利用できる。そのようなコンテキスト記述子は、車両速度および定量的または定性的な照明状態を考慮に入れてもよい。照明状態を定量化するために、対象の検出領域における全体的な強度平均を決定することができ、あるいは、対象の検出領域における強度の標準偏差を決定することができ、および／または、周辺光がルクスで示されてもよい。
【００３１】
定性的な照明状態決定は、昼間、薄明（トワイライト）、光源を伴わない夜間、および、光源を伴う夜間の間を区別してもよい。光源を伴わない夜間は、図１の矢印２２にしたがって、すなわち、暗夜周辺光状態にしたがって対象物抽出を行うことにつながり、一方、光源を伴う夜間の決定は、図１の矢印１４にしたがった対象物抽出の実行につながる。
【００３２】
対象物分類では、スコア値または信頼レベル値がそれぞれの抽出された対象物に割り当てられる。スコアまたは信頼レベルを精緻化する際には、各対象物の記述子およびコンテキストが考慮に入れられる。対象物分類は、監視学習マシン、例えばサポートベクターマシンによって行うことができる。
【００３３】
図６は、カメラ１２と、カメラアセンブリ１０の手段４４によって決定される周辺光状態を考慮に入れつつ取り込み画像１６，２４，２６（図２〜図４参照）から対象物を抽出するように構成される処理手段４２とを備えるカメラアセンブリ１０を概略的に示す。手段４４は、カメラ１２によって取り込まれる画像１６，２４，２６を処理するために利用されるソフトウェアであってもよい。これに代えてあるいはこれに加えて、カメラ１２の一部ではない周辺光状態を決定できる測定装置を利用することができる。処理手段４２がカメラ１２とは別個のものであってもよい。
【００３４】
雨滴検出ソフトウェアが周辺光状態に関する情報を得ると、取り込み画像１６，２４，２６中の雨滴の特定の出現に伴って利用されるべき抽出機能をこれらの照明状態に、例えば、昼間、トンネル、光源を伴う夜間、または、更なる光源を何ら伴わない夜間に適合させることができる。このようにして、カメラ１２によって行われるウインドシールド上の雨滴２０に潜在的に対応する対象物の抽出が周辺光状態に直接に関連付けられる。
【図１】
2014531641.tif 000003
【図２】
2014531641.tif 000004
【図３】
2014531641.tif 000005
【図４】
2014531641.tif 000006
【図５】
2014531641.tif 000007
【図６】
2014531641.tif 000008
【国際調査報告】
2014531641.tif 000009
2014531641.tif 000010
2014531641.tif 000011