(57)【要約】  本発明は、車載カメラシステムの画像データを基にした路面状態を分級する方法、並びに、それに対応した車載カメラシステムに関する。本方法は、以下のステップを有している：−車両外部の少なくとも一つの領域を描写できるように構成されている車載カメラシステムによって、画像データを提供するステップ（Ｓ１２）、但し、概領域は、少なくとも部分的に、概車両が走行している車線を包含している；−道路の少なくとも一点の見た目の違いを、カメラシステムの少なくとも二枚の画像において評価することにより路面の散乱的反射と鏡面的反射を区別するステップ（Ｓ１４）；但し、概画像は、異なった撮影視点から撮影されたものである；−概カメラシステムの少なくとも一枚の画像に、車両の少なくとも一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出すステップ（Ｓ１６）；−反射タイプと障害レベルの結果を考慮して以下の五つの路面状態クラスに、路面状態を分級するステップ（Ｓ１８）；ａ）乾燥した路面：反射タイプ：散乱的、障害無しｂ）普通に湿った路面：反射タイプ：鏡面的、障害有りｃ）非常に濡れた路面、ハイドロプレーニングリスク有り：反射タイプ：鏡面的、障害大いに有りｄ）雪が積もった路面：反射タイプ：散乱的、障害有りｅ）凍結した路面（アイスバーン）：反射タイプ：鏡面的、障害無し
2021517675.tif 000002
【特許請求の範囲】
【請求項１】
以下のステップを包含することを特徴とする路面状態と天候に基づく環境影響を認識し評価するための方法：
−車両外部の少なくとも一つの領域を描写できるように構成されている車載カメラシステムによって、画像データを提供するステップ（Ｓ１２）
但し、概領域は、少なくとも部分的に、概車両が走行している車線を包含している；
−道路の少なくとも一点の見た目の違いを、カメラシステムの少なくとも二枚の画像において評価することにより路面の散乱的反射と鏡面的反射を区別するステップ（Ｓ１４）；
但し、概画像は、異なった撮影視点から撮影されたものである；
−概カメラシステムの少なくとも一枚の画像に、車両の少なくとも一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出すステップ（Ｓ１６）；
−反射タイプと障害レベルの結果を考慮して以下の五つの路面状態クラスに、路面状態を分級するステップ（Ｓ１８）；
ａ）乾燥した路面：反射タイプ：散乱的、障害無し
ｂ）普通に湿った路面：反射タイプ：鏡面的、障害有り
ｃ）非常に濡れた路面、ハイドロプレーニングリスク有り：反射タイプ：鏡面的、障害大いに有り
ｄ）雪が積もった路面：反射タイプ：散乱的、障害有り
ｅ）凍結した路面（アイスバーン）：反射タイプ：鏡面的、障害無し
【請求項２】
車両の車輪の周りの空間の少なくとも一部を捕捉し、少なくとも一枚の少なくとも一領域に、車両の一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出すことを特徴とする請求項１に記載の方法。
【請求項３】
概車載カメラシステムが、第一側方カメラを包含していることを特徴とする請求項２に記載の方法。
【請求項４】
概車載カメラシステムが、概第一側方カメラから見て車両の反対側に配置された第二側方カメラを包含していることを特徴とする請求項３に記載の方法。
【請求項５】
概車載カメラシステムが、車載リアカメラを包含していることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項６】
概車載カメラシステムが、車載カフロントメラを包含していることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項７】
異なる視線方向、及び／或いは、視角を有する車載カメラシステムの異なる個別のカメラからの画像データが提供されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項８】
カメラ画像が、内容に応じて狙いを定めて様々に、反射タイプや障害を評価するために用いることができる複数の異なる特別な興味のある領域に、分類されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項９】
反射タイプや障害を評価するために、各々のカメラが、狙いを定めて様々に使用されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１０】
該車載カメラ・システムが、自車両（Ｅ）前方への捕捉領域（２，１ａ）を有しており、且つ、路面被覆物が、前方を走行している、前方を横切っている、或いは、前方から向かってくる車両のタイヤが、道路上を走る際に、巻き上げられたことにより生じた画像障害が、割り出されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項１１】
走行ダイナミクス、及び／或いは、他のセンサデータ、及び／或いは、車両のカメラベースではない他の周辺部センサの周辺情報、及び／或いは、天候情報が、路面状態の分級と天気に依存した環境影響を評価するための付加的な判断基準として用いられることを特徴とする請求項１から１０の何れか一項に記載の方法。
【請求項１２】
路面状態を分類するために、以下のステップを包含するトレーニング用抜き取りサンプルに基づいた機械的学習システムに基づいてトレーニングされることを特徴とする先行請求項のうち何れか一項に記載の方法：
−反射タイプの検出、及び／或いは、それを分級するステップ；
−障害レベルの検出、及び／或いは、その回帰。
【請求項１３】
反射タイプと障害レベルの路面状態クラスへの写像が、トレーニング用抜き取りサンプルによる機械的学習方法を用いて学習されることを特徴とする請求項１２に記載の方法。
【請求項１４】
少なくとも一枚のカメラ画像の少なくとも一つの領域から画像特徴を抽出し、回帰手段を用いて、障害レベルを、或いは、分級手段を用いて、反射タイプ、及び／或いは、路面状態を描写することを特徴とする請求項１０或いは１１の何れか一項に記載の方法。
【請求項１５】
トレーニング用抜き取りサンプルによって、一枚乃至複数枚のカメラ画像の一つの或いは複数の画像部分から路面状態への写像を学習するニューラルネットワークがトレーニングされることを特徴とする請求項１から１１の何れか一項に記載の方法。
【請求項１６】
少なくとも一台のカメラ、及び、一つの画像データ評価ユニットを包含する車載カメラシステムであって、以下を特徴とするシステム：
概カメラが、車両外部の少なくとも一つの領域を描写できるように構成されており、概領域が、概車両が走行している道路を、少なくともその一部を包含し、そのデータを画像データ評価ユニットに提供する；そして、
画像データ評価ユニットが、以下のようにコンフィグレーションされている：
路面の散乱的反射と鏡面的反射を、カメラシステムの少なくとも二枚の画像からなるシーケンスにおいて、道路の少なくとも一点の見た目の違いを評価することによって区別できる；
概カメラシステムの少なくとも一枚の画像に、車両の一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出す；そして、
反射タイプと障害レベルの結果を考慮して路面状態を、以下の五つの路面状態クラスに分級することができる：
ａ）乾燥した路面：反射タイプ：散乱的、障害無し
ｂ）普通に湿った路面：反射タイプ：鏡面的、障害有り
ｃ）非常に濡れた路面、ハイドロプレーニングリスク有り：反射タイプ：鏡面的、障害大いに有り
ｄ）雪が積もった路面：反射タイプ：散乱的、障害有り
ｅ）凍結した路面（アイスバーン）：反射タイプ：鏡面的、障害無し
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラシステムの画像データを基にした路面状態を分級する方法、並びに、それに対応した車載カメラシステムに関する。
【背景技術】
【０００２】
光学的画像認識の分野における技術的進歩により、車両の様々な場所に配置され、ドライバーの認識に相当する車両周辺領域を捕捉するカメラベースのドライバー・アシスタントシステムの使用が可能となった。このシステムの機能的範囲は、ハイビームの自動切り替えから制限速度の認識や表示のみならず、レーンからの逸脱や迫っている衝突に対する警告までをも網羅している。
【０００３】
今日、単なる前方捕捉から、全方位３６０°パノラマビュー、所謂、サラウンドビューシステムに至るまで、近代的車両では、様々なアプリケーションやドライバー・アシスタントシステムの色々な機能において、カメラが採用されている。スタンドアローン機能、或いは、レーダーやライダーセンサーとの組み合わせとしてのデジタル画像処理の主要な役割は、オブジェクトを認識し、分級し、画像部分内においてトレースすることである。一般的なオブジェクトとは、通常、乗用車、貨物自動車、二輪車など様々な車両や歩行者である。更に、カメラは、標識、走行レーンマーク、ガードレール、フリー空間、或いは、その他一般的なオブジェクトを認識する役割も果たしている。
【０００４】
オブジェクト・カテゴリーとインスタンスの自動学習と認識は、デジタル画像処理の重要な役割である。これには、様々な方法が、既知である。この様な課題を人間並みに果たせる非常に進歩した方法も近年できてきており、課題は、オブジェクトの大まかな認識ではなく、正確なローカリゼーションへと移行してきている。
【０００５】
現代的ドライバー・アシスタントの分野では、ビデオカメラをはじめとする様々なセンサ類が、車両周辺全体を、可能な限り正確、且つ、確実（堅牢）に捕捉するために、用いられている。このような周辺情報と、慣性センサ手段等により得られる車両の走行ダイナミクス情報とを組み合わせることにより、車両のその時点における車両状態や総合的な走行状況に関する優れた印象を得ることができる。これに基づき走行状況の危険度を割り出し、対応する走行情報／警告を出力するのみならず、ブレーキやハンドルを介して走行ダイナミクスに介入することも可能である。
【０００６】
しかしながら、今日に至るまで、摩擦係数や路面状況に関する情報は、ドライバー・アシスタントシステムに、提供されていない、或いは、それらの情報を、得ることができていないため、警告や介入の実施は、基本的に、タイヤと路面間のトラクション・ポテンシャルが高い乾燥した路面に基づいた仕様となっている。フリクション係数、摩擦トルク係数、付着力、摩擦率などとも呼ばれる摩擦係数は、道路表面と車両のタイヤの間の負荷に対して（例えば接線方向に）どれほどの力を最大伝達することができるかを示す数値であり、走行安全に大きく関与するものである。但し、摩擦係数を正確に割り出すには、路面状態に加え、タイヤの特性値も必要ではある。
【０００７】
ここから、ドライバーアシストシステムに対する本質的なチャレンジのみならず、自動化された走行も導き出されている。そして、ドライバーへの警告、或いは、事故を回避する、或いは、その程度を軽減するシステムによる介入は、本当に乾燥した路面においてぎりぎり事故が回避できる、或いは、事故の程度を許容できるものに軽減できる遅い時点にようやく実施される。濡れていたり、雪が積もっていたり、ましてや、凍結している場合には、路面のグリップは低く、事故を回避することはできず、事故の結果の低減においても、望まれる効果を得ることができない。
【０００８】
仮に、システムによって、路面状態を、それどころか、摩擦係数を割り出すことができれば、ドライバーへの警告やシステム介入を、より目的にかなった形で実施できる。そうすれば、事故を回避するドライバーアシストシステムの有効性を、有意に高めることができるであろう。そして、この様な路面状態の識別や摩擦係数の推定は、自動化された走行を実施するシステムにとって、根本的な前提条件である。
【０００９】
車載カメラを用いた画像に基づいた路面状態の割り出しは、例えば、ＷＯ  ２０１４／１２７７７７  Ａ２に開示されている。概方法では、道路表面の写像を包含する画像領域に、分級手段が、施される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】ＷＯ  ２０１６／１７７３７１  Ａ１
【特許文献２】ＷＯ  ２０１５／０７０８６１  Ａ１
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の課題は、改善されたカメラを基にした路面状態、場合によっては、発生している天候に依存する環境の影響の分級を提供することである。
【課題を解決するための手段】
【００１２】
この解決策の出発点は、カメラ画像データ内の道路表面の散乱的な反射と鏡面的な反射を区別することは、特定の路面状態に対して特徴的であると言う知見である。この様な方法は、ＷＯ  ２０１６／１７７３７１  Ａ１に記載されている。
【００１３】
特に、異なる画面角度を有する数台の車載カメラやカメラシステムの組み合わせの場合、デジタル画像処理と機械的学習により、先ずは、道路表面上の散乱的な反射と鏡面的な反射を、画像、乃至、画像の部分領域、乃至、画像シーケンスにおいて、区別することができる。一台のカメラであっても、例えば、車両が動くことにより、空間内の一点に対して異なる画面角度をもつため、異なる時点において、異なる画像角度を提供できる。更に、例えば、部分的に重なる捕捉領域を有する二台のカメラであれば、ある一時点において既に、重複領域内の空間内の一点に対して異なる画像角度を提供できる。
【００１４】
道路表面の状態に対する第二の本質的な特性は、自車両が、通過する時やそのタイヤがそれを踏んだこと、或いは、他の車両のタイヤがその上を転がったことによる路面被覆物（例えば、水や雪）の巻き上げに起因する画像内、乃至、画像の部分領域内、乃至、画像シーケンス内の障害の割り出しによっても、供給される。概路面被覆物は、その画像内における影響に関して評価されることができる。車両のタイヤによって、巻き上げられた路面被覆物の粒子は、画像内、乃至、画像の部分領域内、乃至、画像シーケンス内の異なるレベルの障害の原因となる。この様な方法は、ＷＯ  ２０１５／０７０８６１  Ａ１に記載されている。
【００１５】
双方の特徴は、互いに組み合わせることができ、組み合わせとして正確に定義された路面状態に帰属させることができる。これにより、カメラ画像のみを基にして、以下の五つの重要な路面状態の分類が、可能になる：
−乾燥した路面
−少量の水が残る湿った路面
−大量の水が溜まっている濡れた路面（ハイドロプレーニング・リスク）
−雪が積もった路面
−凍った路面
この分類は、以下の簡単な判断基準に基づいて実施される：
乾燥した路面：散乱的、タイヤによって障害は生じない
少量の水が残る湿った路面：多少障害のある鏡面的反射；
大量の水がたまっている濡れた路面（ハイドロプレーニング・リスク）：多大な障害のある鏡面的反射；
雪が積もった路面：障害のある散乱的反射；並びに、
凍った路面：障害のない鏡面的反射
湿った路面上の、水飛沫による障害は、好ましくは、明度、及び／或いは、コントラスト、及び／或いは、色彩の差異のみならず、障害のない画像、乃至、画像の障害のない部分領域、乃至、障害のない画像シーケンスと比較した場合のストラクチャの差異から認識可能である。
【００１６】
一方、雪は、好ましくは、明度、及び／或いは、コントラスト、及び／或いは、色彩の差異から認識可能である。巻き上げられた雪は、ストラクチャの差異のみを発生させる。
乾燥した路面では、障害のない散乱的反射が特徴的である。
凍った路面（アイスバーン／「Ｂｌａｃｋ  Ｉｃｅ」＝路面と区別がつかない氷）は、障害のない鏡面的反射が、特徴的である。
【００１７】
基本的に本方法は、それが、自車両や他の車両のタイヤによる巻き上げを捕捉するのに適している限り、一台のカメラに対しても採用できる。要するに、概カメラシステムは、それが、そこにおいて（それが発生した際に）障害を発見できる適切な捕捉領域を有し、且つ、反射の種類を割り出すことができるのであれば、一台のカメラから構成されていてもよい。
【００１８】
これは、例えば、好ましくは、前方の道路の少なくとも一部を捕捉し、路面被覆物を、前を走っている車両、或いは、概道路を横切っている車両、或いは、対向車が、路面被覆物の上をそのタイヤで走った際に、水飛沫や雪埃として巻き上げた時に、認識できる（単眼の）車載フロントカメラに当てはまる。
【００１９】
特に好ましくは、側方に配置されたカメラ、要するに例えば、自車両の車輪、或いは、自車両の車体側方、或いは、少なくとも概車輪を取り巻く領域に向けられたカメラが、画像データを作成する。言い換えれば、少なくとも一つの車輪、或いは、該車輪を取り巻くホイールハウス、或いは、車両の側方が、側方カメラの視野（英語：ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ−ＦＯＶ）内にある。これは、全景カメラシステム（サラウンドビューシステム）の第一側方カメラに当てはまる。評価される画像領域（英語：Ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ，ＲＯＩ）は、発生する水飛沫、或いは、巻き上げられた雪の効果が最も大きい前輪の周りの空間であることが好ましい。代案的、乃至、付加的には、（第二）ＲＯＩとしては、後輪の周りの空間を用いることができる。
【００２０】
言い換えれば、近くから観察されている車両の車輪が、その上を転がることによって巻き上げられた、概少なくとも一つの特別な興味のある領域（ＲＯＩ）内の障害の原因となる、路面被覆物によって起こる概少なくとも一つの特別な興味のある領域（ＲＯＩ）内の画像障害が割り出される。
【００２１】
好ましい発展形態によれば、車両の反対側の第二の側方に配置されたカメラのも、同様に第二の画像データを生成する。そうすることにより、例えば、双方の前輪、及び／或いは、後輪を「監視」することができる。
【００２２】
好ましくは、概車載カメラシステムは、車両の後方を捕捉するリアカメラも包含している。
【００２３】
好ましくは、異なる視線方向、及び／或いは、視角を有する車載カメラシステムの異なる個別のカメラからの画像データが提供される。これにより、路面の反射タイプを、堅牢に分類することができる。
【００２４】
また、障害レベルも、堅牢に割り出すことが可能である。
【００２５】
少なくとも、乃至、ちょうど四台の車両の前方、左、右、並びに、後方、及び、その周辺部を捕捉する（最大１８０°の画角の）広角レンズを有するカメラを備えたサラウンドビューカメラシステムは、反射タイプと障害の堅牢な検出に、好ましく、理想的な可能性を提供する。
【００２６】
尚、カメラ画像は、内容に応じて狙いを定めて様々に、反射タイプや障害を評価するために用いることができる複数の異なる特別な興味のある領域（ＲＯＩｓ）に、分類されることが好ましい。
【００２７】
各々のカメラは、反射タイプや障害を評価するために、狙いを定めて様々に使用されることが好ましい。例えば、一台の側方カメラは、車輪の領域の障害を評価するために用いられ、フロント乃至リアカメラは、反射タイプを割り出すために用いられることができる。
【００２８】
異なるカメラや画像領域の好ましい組み合わせの特に優れた長所としては、異なる画像、及び／或いは、領域において、車両の車輪に起因する路面被覆物の巻き上げによる障害を、重点的に探せることが、挙げられる。
【００２９】
この様な組み合わせは、結果全体を、有意に堅牢なものとし、情報の可用性を高める。
【００３０】
更なる好ましい形態は、一台乃至複数台のフロントカメラを、サラウンドビューシステムのカメラと組み合わせることである。フロントカメラは、前方の（離れた）周辺領域に対して、サラウンドビューカメラシステムの前方に向けられたサテライトカメラよりも改善された解像度（並びに、少ないひずみ）を提供できる。
【００３１】
走行ダイナミクス、及び／或いは、他のセンサデータ、及び／或いは、車両のカメラベースではない他の周辺部センサの周辺情報、及び／或いは、天候情報は、路面状態の分級と天気に依存した環境影響を評価するための付加的な判断基準として用いることができる。
【００３２】
路面状態を分類するために、第一の機械的学習方法は、第一のトレーニング用抜き取りサンプルに基づいて訓練されることが好ましい。第一機械的学習方法は、以下のステップを包含している：
−反射タイプの検出、及び／或いは、それを分級するステップ；並びに、
−障害レベルの検出、及び／或いは、その回帰。
【００３３】
ある好ましい実施形態によれば、反射タイプと障害レベルの路面状態クラスへの写像は、第二のトレーニング用抜き取りサンプルによる第二の機械的学習方法によって学習される。
【００３４】
好ましくは、少なくとも一枚のカメラ画像の少なくとも一つの領域から画像特徴を抽出し、オプションとして、それを中間的表象に移行させ、回帰手段を用いて、障害レベルを、或いは、分級手段を用いて、反射タイプ、及び／或いは、路面状態を描写する。
【００３５】
代案的に好ましくは、第三のトレーニング用抜き取りサンプルによって、一枚乃至複数枚のカメラ画像の一つの或いは複数の画像部分から路面状態への写像を学習するニューラルネットワークをトレーニングする。このＥ２Ｅ分級は、特に好ましくは、ディープラーニング法によって実施され、概ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）であることができる。
【００３６】
尚、走行ダイナミクスデータ及び／或いはセンサデータは、ニューラルネットワークの機械的学習法乃至トレーニング用の付加的なインプットとして用いられることが好ましい。
【００３７】
加えて本発明は、少なくとも一台のカメラと画像データ評価ユニットを包含する車載カメラシステムにも関する。
概カメラは、車両外部の少なくとも一つの領域を描写できるように構成（特に、配置され、制御）されているが、概領域は、概車両が走行している道路を、少なくともその一部を包含し、そのデータを画像データ評価ユニットに提供する。概画像データ評価ユニットは、道路の少なくとも一点の見た目の違いを、カメラシステムの異なった撮影視点から撮影された少なくとも二枚の画像において評価することにより路面の散乱的反射と鏡面的反射を区別できるように構成されている。
概画像データ評価ユニットは更に、カメラシステムの少なくとも一枚の画像に、車両の一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出す様にコンフィグレーションされている。概画像データ評価ユニットは、更に、反射タイプと障害レベルの結果を考慮して路面状態を、以下の五つの路面状態クラスに分級することができるようにコンフィグレーションされている：
ａ）乾燥した路面：反射タイプ：散乱的、障害無し
ｂ）普通に湿った路面：反射タイプ：鏡面的、障害有り
ｃ）非常に濡れた路面、ハイドロプレーニングリスク有り：反射タイプ：鏡面的、障害大いに有り
ｄ）雪が積もった路面：反射タイプ：散乱的、障害有り
ｅ）凍結した路面（アイスバーン）：反射タイプ：鏡面的、障害無し
特に、車載カメラシステムは、デジタル画像処理のアルゴリズムと機械的学習を用いて、乾燥した、濡れた、雪が積もった、凍った等と言った路面状態だけでなく、危険な状況、例えば、ハイドロプレーニングなどを堅牢に検知し、且つ、路面の反射タイプと障害レベルのクロス比較によって、堅牢に区別できるように設計されている。
【００３８】
概画像データ評価ユニットは、特に好ましくは、マイクロコントローラ乃至プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ／特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ／フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、関連する方法ステップを実施するためのソフトウェアを包含している。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。
【００３９】
概車載カメラシステムは、更に、ドライバーの情報のための、或いは、（部分的に、乃至、完全に）自動化的に走行している車両のための出力ユニットも包含している。
摩擦係数を評価するための計算ユニットは、車載カメラシステム、乃至、画像データ評価ユニット内に組み込まれていることができる。
【００４０】
本発明の更なる対象は、本発明に係る車載カメラシステムを装備した車両に関する。概車両は、好ましくは、車両の走行ダイナミクスに介入するための、車載カメラシステムによって割り出された路面状態に応じて制御されるアクチュエータを包含している。
【００４１】
以下、実施例と図を詳しく説明する。図の説明：
【図面の簡単な説明】
【００４２】
【図１】複数のカメラを備えた車載カメラシステムの様々な捕捉領域である。
【図２】フィッシュアイ画像を備えた四台のカメラから構成されたサラウンドビューカメラシステムの四枚の画像である。
【図３】非常に濡れた路面におけるタイヤの模式的描写である。
【図４】雨によって濡れている路面を通過する際の車両タイヤのバイナリ化された画像を模式的に示している。
【図５】右側側方の車載カメラの画像部分の三つの例であるが、それぞれ、異なる度合いに濡れている路面における障害レベルの等級毎の例である。
【図６】車載カメラ手段の模式的な描写を示している。
【図７】路面状態を認識し評価するための方法のステップの概略的なダイアグラムである。
【発明を実施するための形態】
【００４３】
図１は、第一車両（Ｅ）の中や外に配置されているカメラシステムの捕捉領域（１ａ−１ｄ，２，３）を示している。第一車両（Ｅ）の走行方向には、側方にずれて、第二車両（Ｆ）が、走行している。第一車両（Ｅ）のカメラシステムは、三つの異なるカメラシステム（１，２，３）、即ち、合わせることにより車の周り３６０°の捕捉を可能にする四つの個別の広角な捕捉領域を有するカメラセンサー（１ａ−１ｄ）を包含するサラウンドビューシステム（１）、前方に向けられた捕捉領域（２）を有するフロントカメラ、並びに、後方に向けられた捕捉領域（３）を有するリアカメラを包含している。
【００４４】
走行方向前方に向けられた捕捉領域（１ａ，２）を有するカメラ・センサーにより、前方を走行中の車両（Ｆ）、或いは、対向して走ってくる車両（図示せず）が、該路面を通過する時に、画像内、乃至、画像の一領域内に路面被覆物が存在している際に発生する障害を検出することができる。
【００４５】
路面被覆物の割り出しのための画像処理は、路面とタイヤの接触ゾーンがあるカメラ画像の一つの乃至複数の領域に制限されることが好ましい。
【００４６】
側方に向けられた捕捉領域（１ｂ，１ｃ）を有するカメラ・センサーによれば、自車両（Ｅ）のタイヤが該路面を通過する時に路面被覆物による画像内の障害を割り出すことが可能である。
【００４７】
この方法の長所は、前方或いは並行するレーンを走行している他車両（Ｆ）に頼ることなく、自車両（Ｅ）が原因の影響を、側方に向けられたセンサによって検知し、認識し、他車両（Ｆ）に依存することなく、リアルタイムに関連する路面被覆物を割り出せることである。既に現在、車両には、ドライバーに例えば鳥瞰的な「トップ・ビュー」として表示することのできるサラウンドビューを捕捉できる３６０°カメラ・センサーが、ますます搭載されるため、信頼性の高い路面被覆物の割り出しは、好ましく実施できる。
【００４８】
図２は、フィッシュアイ画像を備えた四台のカメラから構成されたサラウンドビューカメラシステムの四枚の画像を例示している。これら上（２０ａ）、左（２０ｂ）、右（２０ｃ）と下（２０ｄ）の画像は、図１に示されている前（１ａ）、左（１ｂ）、右（１ｃ）と後（１ｄ）方向の捕捉領域に対応している。特に、左（２０ｂ）と右（２０ｃ）の側方カメラの画像は、それぞれ、前輪と後輪を包含している。概対応する画像領域、乃至、ＲＯＩｓが、選択され、この領域内の路面被覆物に起因する画像障害のレベルを割り出す分級手段に送る。
【００４９】
図３は、ハイドロプレーニングリスクのある状況の模式的な描写を示している。ここでは、タイヤ３０と路面３５の接触が決定要素である。路面３５上の、水３７、即ち、路面被覆物は、斜線で示されている。タイヤ３０と路面３５との接触面は、三つの領域３１−３３に分割できる。車両が、即ち、タイヤ３０が、矢印で示した走行方向に動くと、タイヤには、先ず、該タイヤ３０と路面３５の間の水が楔状になってある接近ゾーン３１が形成される。この接近ゾーン３１は、移行ゾーン３２につながっている。移行ゾーン３２につながっている接触ゾーン３３の領域では、タイヤ３０は、路面３５と直接的に接触しており、これにより、相応のグリップ効果が達成されている。水嵩の増加、及び／或いは、速度の増加に伴い、接触ゾーン３３、即ち、タイヤ３０と路面３５との間の接触面積が、減少する。接触ゾーン３３の面積がゼロに近づくと、ハイドロプレーニングのリスクが迫っていることを意味する。よって、この状態が、ミクロ・ハイドロプレーニングと呼ばれている。接触ゾーン３３が、無くなる、即ち、タイヤ３０と路面３５の領域全体に水がある場合、ハイドロプレーニングが発生し、この状態にある間は、車両を、コントロール下に運転したり、制動したりすることはできない。
【００５０】
図４には、雨によって濡れている路面を通過する際の車両タイヤ３０を写したカメラ画像の白黒（倒立）画像が、示されている。該車両タイヤ３０は、ホイール（白、円形）上にあり、車両は、向かって左側に移動している。また、水に覆われたと面を通過する際に、タイヤによって押しのけられ、加速された水滴および水の軌跡４０（白い点と線）が、認識できる。濡れた道路を通過する時には、車両タイヤから水が飛び散っている。タイヤは、路面にある水を、高い面圧力によって全方向に押しのける。特に、そのタイヤに相当するより高い面圧力を有する乗用車よりもより多くの水を押しのけるトラックにおいて、この現象は顕著である。水の大半は、車両タイヤの走行方向に対して後ろと横に飛び散る。そしてこの現象が、上記の場所において車載カメラによって検出され、画像処理によって、飛び散っている水として認識されることにより、雨水層が、路面被覆物であると推定される。
【００５１】
雪のぬかるみが路面上に存在する場合も同様に、雪のぬかるみの飛散が形成され、検出、認識されることができる。
【００５２】
路面被覆物によっては、例えば、路面が濡れているのではなく湿っているだけの場合、且つ、道路表面が特定のストラクチャの場合には、通過時に水の飛散は見られず、代わりに、噴霧や飛沫、或いは、これらの双方が、形成される。新雪や粉雪に覆われた道路を通過する場合、車両の側方には、雪の巻き上げが形成され、車両後方には、雪のたなびきが広がる。
【００５３】
巻き上げられた路面被覆物は、どんなものであっても、車輪に近い画像領域に障害を引き起こすため、その障害のレベルを基に識別することができる。
【００５４】
図５は、濡れ方が異なった路面における一台の（右側）車載カメラの三つの画像部分例を示している。
【００５５】
図５ａは、車両側（下）に接する領域５１内の道路表面が写っており、そのストラクチャが、画像内において邪魔されることなく、認識可能な乾燥した路面を示している。
【００５６】
図５ｂは、道路表面の写像が、認識できる数個の水飛沫５２によって邪魔されている普通に湿った路面を示している。
【００５７】
図５ｃは、ハイドロプレーニングリスクが焦眉に迫っている非常に濡れた路面（図３参照）を示している。ここでは、水飛沫５３が激しく、この画像領域を深刻に邪魔しているために、道路表面は、ほとんど認識できない。
【００５８】
図６は、少なくとも一台のカメラ１０と画像データ評価ユニット６０を包含する車載カメラ手段の模式的な描写を示している。概画像データ評価ユニット６０は、反射タイプと障害レベルを割り出すことで、路面状態を分級することができる。概路面状態クラスは、車両アクチュエータ類６６、ドライバー警告手段、或いは、ドライバー・アシスタント機能制御ユニットに対して出力されることができる。
【００５９】
図７は、路面状態を認識し評価するための方法のステップの概略的なダイアグラムを示している。
【００６０】
ステップＳ１２では、画像データが、車載カメラシステムによって提供される。ステップＳ１４では、画像データに基づいて、道路表面乃至路面被覆物による反射が散乱的或いは鏡面的のいずれであるかが区別される。
【００６１】
ステップＳ１６では、画像領域内の障害のレベルが割り出される。ステップＳ１８では、ステップＳ１４とＳ１６の結果に基づいて路面状態が分級される。
【００６２】
オプションであるステップＳ２０では、路面状態クラスが出力される。
【００６３】
デジタル画像処理と機械的学習の方法：
有利な実施形態では、路面反射と水や雪と言った路面被覆物の起こり得る巻き上げとの関連から、乾燥した、濡れた、雪が積もった、凍った等と言った路面状態だけでなく、ハイドロプレーニングなど危険な状況を堅牢に検出することを目的として、デジタル画像処理と機械的学習のアルゴリズムが採用されている。この方法は、モノ、ステレオだけで無くサラウンドビューカメラ、並びに、これらの組み合わせのいずれにも適応させることができる。
【００６４】
一枚乃至複数枚のカメラ画像の予め定められた、或いは、例えば機械的学習によって自動的に割り出される一つ乃至複数の領域を基にしている。この際、画像領域が、反射タイプに関する情報のみならず、路面被覆物の巻き上げが有るか否かに関する情報も提供できること、或いは、複数の画像領域、及び／或いは、複数の画像領域を有する複数のカメラの組み合わせが、反射タイプに関する情報のみならず、概画像領域内での障害の原因となる路面被覆物の巻き上げが有るか否かに関する情報も提供できることが重要である。
【００６５】
路面反射を検出するために、一枚乃至複数枚のカメラ画像の一つ乃至複数の道路表面を描写する領域が用いられる。これは、ランタイムや精度の要求に応じて、セグメント化された部分領域や、特に好ましい実施形態では、推定された同形異義性を用いて、長方形の上視図（「Ｂｉｒｄ’ｓ−ｅｙｅ  ｖｉｅｗ」鳥瞰図）に転換された台形であることもできる。ＷＯ  ２０１６／１７７３７１  Ａ１にも記載されている如く、様々な路面反射タイプ（散乱的な反射や鏡面的な反射）を、例えば、経時的なコンテクストから割り出すことが可能である。
【００６６】
路面被覆物の巻き上げを検出するためには、一枚乃至複数枚のカメラ画像に、車両のタイヤ、及び／或いは、車体の側方の領域が、特に好ましい実施形態では、サラウンドビューカメラシステムの画像部分が、定められる。これにより、巻き上げを、限定された領域内において集中的に、車両周辺部からの妨害を受けることなく割り出すことが可能である。更には、機械的学習を用いて、（自車両だけでなく他の車両の）車両タイヤ、及び／或いは、タイヤ領域をシーン内から割り出すことも可能である。ここでは、求められている画像部分を提供する検出手段をトレーニングすることができる。
【００６７】
ここでは、概与えられている路面状態クラス内における分級は、中心的なアスペクトである。その基礎は、路面被覆物の巻き上げ起こり得る検出された画像部分と路面のその時点における反射タイプである。続いて、これらのデータは、トレーニング用抜き取りサンプルに基づいて、画像部分、反射タイプ、並びに、付加的情報から、定義された路面状態を学習する機械的学習システムに提供される。要するに、路面被覆物の巻き上げを記述する構造に基づいた特徴を抽出／学習する一方、これと反射タイプ、及び／或いは、付加的情報との適した組み合わせを推定するモデルが作られる。
【００６８】
【表１】
2021517675.tif 000003
【００６９】
更に、分級は、コンテクスト知識／付加的情報によってサポートされることができる。ここでは、車両の走行ダイナミクスデータや使用可能なセンサデータ（温度、湿度、雨センサ、ワイパーの作動など）も統合することが非常に適している。
【００７０】
フロントとサラウンドビューカメラシステムを用いたフィッシャー・ベクトル・エンコーディング提案されたメソッドは、インプットとして、判断に重要な領域を含み、且つ、不必要なバックグラウンドを排除した一枚乃至複数枚のカメラ画像を要求する。これは、周囲のインフラストラクチャや他の交通参加者による障害によって、概方法に悪影響を与え得るため重要である。
【００７１】
画像部分を大きく選択しすぎると、特に非常に小さなデータベースでは、決断が、望まれている路面被覆物巻き上げストラクチャによってではなく、偶然、個別の状況において発生するバックグラウンド現象を基に実施されてしまうこともあり得る。
【００７２】
ここでは、全トレーニング用画像のインプット画像領域から、密なグリッド上の、画像の一部が、エッジ・ヒストグラム（例えば、ＨＯＧ  「Ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ」やＬＢＰ  「Ｌｏｃａｌ  ｂｉｎａｒｙ  ｐａｔｔｅｒｎｓ」など）によって記述されるローカルな特徴が、抽出される。続いて、特徴全てから混合ガウス分布モデルが推定される。そして、一枚の個別画像が、高次の統計に基づいて、特徴ベクトルと混合分布モデルによって記述されるが、これが、所謂、「フィッシャー・ベクトル・エンコーディング」である。最後に、トレーニング全体の得られた画像表現を用いて、実行時、与えられた画像用の確率的クラス帰属性を与える線形分級手段を学習する。
【００７３】
尚、フロントカメラの二つの画像部分と、サラウンドビューカメラの複数の画像部分を用いる実施形態は、特に有利である。フロントカメラの第一画像領域は、道路上にある反射をタイプ分けするために用いられる。更なる大きな画像部分は、加えて、天候条件に関するものだけでなく、インフラストラクチャに起因する路面状態に関わる効果（例えば、雪に覆われた歩道や芝生が生えた路肩など）などグローバルな画像コンテクストも提供する。一方、サラウンドビューカメラの画像部分は、路面被覆物の巻き上げに関する情報を提供する。異なるカメラのこれらの画像部分の組み合わせは、フィッシャー・ベクトル・エンコーディング用のインプットとして用いられることができる。
【００７４】
このエンコーディングにより、巻き上げにおいて特徴的なストラクチャだけでなく、それと反射情報や付加的情報との関係も示されることができる。付加的に、これも路面状態の区別に役立つであろう、車両の前と側方の構造的特徴も捕捉することができる（雪で覆われた道路の走行レーン）。
【００７５】
概分級結果は、必要に応じて、個別画像からの推定を経時的に平滑化する後処理によって安定化させることもできる。代案的には、ヒステリシス性閾値メソッドにより、不確実な判断にフィルターをかけることもできる。
【００７６】
フロントとサラウンドビューカメラシステムを用いたディープラーニング：
フィッシャー・ベクトル・エンコーディング（上述参照）用の方法も含む典型的な機械的学習は、互いに独立して実施される複数のステップから構成されている。第一段階として、直接的に用いられる、或いは、中間的表象に以降される特徴が画像から抽出される。続いて、概特徴乃至中間的表象に基づいて、クラス判断を下す分級手段に学習させる。
【００７７】
一方、ディープラーニングでは、個々のステップは、明示的に実施されるのではなく、どちらかと言えば、徐々に深くしながら内潜的にニューラルネットワーク内で実施される。これは、俗にＥ２Ｅラーニングと呼ばれ、ここでは、一つのシステム内にある全パラメータが、互いに最適化される。これは、本件発明においては、フロントカメラとサラウンドビューカメラの画像部分乃至画像全体が、ニューラルネットワーク用のインプットとして用いられることを意味している。付加的に、反射タイプやセンサや走行ダイナミクスデータと言った付加的情報もインプットとして統合されることができる。そして、概ネットワークは、トレーニング用抜き取りサンプルにより、特徴抽出や中間的表象を明示的にモデル化することなく、トレーニングされる。要するに、インプットデータの帰属する路面状態への写像のみが学習される。
【図１】
2021517675.tif 000004
【図２】
2021517675.tif 000005
【図３】
2021517675.tif 000006
【図４】
2021517675.tif 000007
【図５ａ】
2021517675.tif 000008
【図５ｂ】
2021517675.tif 000009
【図５ｃ】
2021517675.tif 000010
【図６】
2021517675.tif 000011
【図７】
2021517675.tif 000012
【国際調査報告】
2021517675.tif 000013
2021517675.tif 000014
2021517675.tif 000015
2021517675.tif 000016
2021517675.tif 000017