(57)【要約】【課題】運転者支援システムを提供すること。【解決手段】運転者支援システムは、自車の周辺エリア内の他の車両を含む物体を検出するための及び検出された物体の画像データを提供するための少なくとも１つのセンサと、道路データを提供するデジタルマップデータベースと、道路上の自車の位置を検出するための位置検出デバイスと、自車の周辺エリアの環境モデルに関連する視覚情報をレンダリングするための表示ユニットと、を備える。レンダリングされる視覚情報は、画像データを含む前記少なくとも１つのセンサからのデータと、自車の検出位置と、デジタルマップデータと、に基づくものであり得る。本システムは、自車の周辺エリア内の少なくとも１つの他の車両の車両特徴を、前記センサによって取得されたデータに基づいて生成された前記他の車両の車両画像から判定し、及び、判定された車両特徴に従って情報を表示する、ように構成された画像分析ユニットを備える。【選択図】図１
2020053046.tif 000002
【特許請求の範囲】
【請求項１】
交通情報を自車の運転者に提供するための運転者支援システムであって、当該運転者支援システムは、
前記自車の周辺エリア内の他の車両を含む物体を検出するための、及び、前記検出された物体の画像データを提供するための、少なくとも１つのセンサと、
道路データを提供するデジタルマップデータベースと、
道路上の前記自車の位置を検出するための位置検出デバイスと、
前記少なくとも１つのセンサの画像データ、前記位置検出デバイスからの前記位置、及び前記デジタルマップデータに基づいて、前記自車の前記周辺エリアの環境モデルに関連する視覚情報をレンダリングするための表示ユニットと、
を備え、
前記システムは、前記自車の前記周辺エリア内の少なくとも１つの他の車両の車両特徴を、前記少なくとも１つのセンサによって取得された前記画像データに基づいて生成された前記少なくとも１つの他の車両の車両画像から判定し、及び、前記判定された車両特徴に基づいて情報を前記表示ユニットに表示する、ように構成されている画像分析ユニットを備える
ことを特徴とする前記運転者支援システム。
【請求項２】
前記画像分析ユニットは、前記他の車両の現在の運転状態に関連する車両特徴を判定するように構成されている、請求項１に記載の車両用運転者支援システム。
【請求項３】
前記画像分析ユニットは、前記画像データから、車両モデルデータベース内に記憶された３Ｄモデルデータと比較することによって、前記他の車両の車両ブランド、モデル種類、及び／または色に応じて、車両特徴を判定するように構成されている、請求項１に記載の車両用運転者支援システム。
【請求項４】
前記画像分析ユニットは、前記他の車両のブレーキライト状態及び／またはターニングライト状態及び／または運転ライト状態に応じて、車両特徴を判定するように構成されている、請求項３に記載の車両用運転者支援システム。
【請求項５】
別の車両から、前記自車の前記周辺エリア内の前記他の車の１つの前記車両特徴に関連する通信データを受信するための受信ユニットを備える、請求項１〜４の１項に記載の車両用運転者支援システム。
【請求項６】
前記センサは、カメラ、視覚センサ、及び／またはライダセンサである、請求項１〜５の１項に記載の車両用運転者支援システム。
【請求項７】
前記画像分析ユニットは、前記自車の前記周辺エリア内の他の車両に関連するデータを連続的に分析するように、前記分析されたデータから１または複数の車両特徴を連続的に判定するように、及び、前記判定された車両特徴を時間及び／または場所情報と一緒に記憶するように、構成されている、請求項１〜６の１項に記載の車両用運転者支援システム。
【請求項８】
前記画像分析ユニットは、静止物体の状態、特には、物体として前記自車の前記周辺エリア内における信号機の状態、を検出するように構成されている、請求項１〜７の１項に記載の車両用運転者支援システム。
【請求項９】
当該システムは、前記他の車両の検出位置と、前記他の車両の検出されたブレーキライト状態と、前記他の車両の信号機の検出状態と、の間の関係を分析するように、及び、前記表示ユニット上に前記分析の結果に関連する情報を出力するように、構成されている、請求項８に記載の車両用運転者支援システム。
【請求項１０】
前記表示ユニットは、ＡＤＡＳシステムの計器群またはヘッドアップディスプレイを備える、請求項１〜９の１項に記載の車両用運転者支援システム。
【請求項１１】
交通情報を車両の運転者に表示するための方法であって、
自車の周辺エリア内の少なくとも１つの他の車両の画像データを提供するステップと、
前記受信された画像データを分析するステップと、
前記分析の結果から車両特徴を判定するステップと、
前記判定された車両特徴に関連する情報を表示するステップと、
を含む、前記方法。
【請求項１２】
前記受信された画像データを分析するステップは、前記表示ユニット上に提供される前記画像内の物体を分類するために、ニューラルネットワークを適用するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記他の車両の位置を判定するステップと、
前記他の車両の前記運転状態に関連する車両特徴を判定するステップと、
を含む、請求項１１または１２に記載の方法。
【請求項１４】
前記判定された車両特徴ならびに前記他の車両の前記位置及び／または前記自車の前記位置に基づいて、ガイダンスまたは安全情報を判定する追加ステップと、前記判定されたガイダンスまたは安全情報を前記自車の前記運転者に出力する追加ステップと、を含む、請求項１１〜１３の１項に記載の方法。
【請求項１５】
前記自車の所定の周辺範囲内の静止物体の画像データを提供するステップと、
前記提供されたデータを分析するステップと、
前記提供された画像データの前記分析の結果ならびに前記自車の前記位置及び／または前記他の車両の前記位置に従って、安全情報またはガイダンス情報を前記自車の前記運転者に出力するステップと、
をさらに含む、請求項１３または１４の１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願に説明される１または複数の実施形態は、交通情報を車両の運転者に提供するための運転者支援システムと、交通情報を車両の運転者に表示するための方法と、に関する。
【０００２】
具体的には、本明細書に説明される１または複数の実施形態は、車両の周辺エリア内の物体を検出及び認識するように構成されているシステム及び方法の態様に関する。検出及び物体認識の結果に基づいて、ガイダンス及び安全態様に関連し得る交通情報は、結論付けられ及び出力される。
【０００３】
本明細書に説明されるシステム及び方法の実施形態は、典型的には、高度な運転者支援システム（ＡＤＡＳ）によって具体化され得る。
【背景技術】
【０００４】
従来のナビゲーションシステムに加えて、最近、ますます多くの自動車車両に、高度な運転者支援システム（ＡＤＡＳシステムとも称される）が搭載されてきている。ＡＤＡＳシステムは、安全性が増加したより快適な運転のために、車両システムを自動化、適応、及び向上させるために開発されたコンピュータベースシステムである。ＡＤＡＳシステムの特徴は、例えば、電子安定制御、アンチロックブレーキ、レーン逸脱警報、適応走行制御、及びけん引制御、を含み得る。
ＡＤＡＳ関連技術は、カメラ、ライダ（ＬｉＤＡＲ）センサ及びレーダセンサを含む複数のデータソースからの入力、画像処理、コンピュータビジョン、ならびに車内ネットワーク、に基づくものである。追加情報が、他の車両等の、主要な車両プラットフォーム（「自車」）とは別個の他のソースから提供され得て、これは、狭域通信（ＤＳＲＣ）等の携帯電話通信または他の無線ネットワークによって実現される、車両間（Ｖ２Ｖ）通信または車両インフラストラクチャ間通信と称されるものによって行われる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、交通情報を車両の運転者に提供するための運転者支援システムと、交通情報を車両の運転者に表示するための方法と、を改善することを目的とする。
【課題を解決するための手段】
【０００６】
１または複数の実施形態は、車両の周辺エリア内の他の車両を含む物体を検出するための、及び、検出された物体の画像データを提供するための、少なくとも１つのセンサを備える、車両の運転者に交通情報を提供するための運転者支援システムに関する。例えば、ステレオカメラ、レーダセンサ、ライダセンサ、及び慣性測定ユニット（ＩＭＵ）を含む複数のセンサが提供され得る。
【０００７】
この態様に従って、センサ（複数可）は、自車上に搭載され得るが、センサが別の車両に搭載され、各々のセンサデータが車両間（Ｖ２Ｖ）通信の手段によって自車によって受信される、という実施形態が考えられる。
【０００８】
センサ（複数可）は、他の車両、または、信号機、交通指示器、木、住宅等の静止物体、を含む、自車の所定の周辺範囲内の任意の物体を検出するように構成され得る。
【０００９】
さらなる態様に従って、運転者支援システムは、道路網を含む道路データを提供するデジタルマップデータベースと、全地球的航法衛星システム（ＧＮＳＳ）等の道路上の車両の位置を検出するための位置検出デバイスと、を備え得る。
【００１０】
車両の検出位置、センサデータ、及びデジタルマップデータに基づいて、自車が現在位置するエリアの環境モデルに関連する視覚情報が生成され得て、表示ユニットに提供され得る。環境モデルは、車両の検出位置に基づいて、デジタルマップデータによって提供されるような道路区間上の車両の現在位置をグラフで示す、単純な２次元図であり得る。加えて、環境モデルは、車両の周辺エリア内におけるセンサによって検出された、他の車両、交通指示器、橋、木、及び任意の物体の位置を含む、車両の周辺に関する情報を提示し得る。より先進のソフトウェアツールを使用すれば、環境モデルは、３Ｄグラフとして表示され得て、車両の運転席の運転者の位置のフロントガラスからだけではなく、自車の周辺エリア全体の上面斜視図も用いて、運転者に現実図を提供し得る。
【００１１】
センサは、車両の周辺エリアを連続的に監視するように構成され得て、自車の周辺エリアの関連する「運転記録」が、当該車両が所定の進行ルートに沿って連続的に移動するとき、所定の時間周期で関連記憶媒体に記録され得る。
【００１２】
さらに、当該運転者支援システムは、自車の周辺エリア内においてセンサによって検出されている別の車両の車両画像から、当該自車の周辺エリア内において少なくとも１つの他の車両の車両特徴を判定するように構成されている画像分析ユニットを備え得る。用語「車両特徴」は、車両の固有の永続的な特徴及び特性と、車両またはその構成要素の状況もしくは状態等の動的に変化する特徴と、を対象とする。「車両特徴」は、車両の外側外観から直接明らかであり得る、または、車両の外側外観から結論付けられ得る。
【００１３】
画像分析ユニットによって判定された車両特徴に基づいて、関連情報が、例えば表示ユニット上に、または音声ユニットによって、出力され得る。判定された車両の特徴及び交通状況に基づいて危険的状況の発生が本システムによって結論付けられる場合、係る情報は警告を含み得る。
【００１４】
例えば、自車の前方の車両のブレーキライトがオン状態であること、及び、自車の前方の当該車両の距離が所定の閾値よりも小さいこと、が判定された状況で、本システムは警告を発し得る。この例は、別の車両までの臨界距離が、例えば、自車の前方の車両までの測定距離からだけではなく、他の車両の外側輪郭からの画像分析によって判定された特徴からも判定され得る、ということを示す。
【００１５】
運転者支援システムの１または複数の実施形態は、他の車両の現在の運転状態に関連する車両特徴を判定する画像分析ユニットの構成を含む。係る車両特徴は、例えば、他の車両の、ブレーキライト状態及び／またはターニングライト状態及び／または運転ライト状態、及び／または、車体構成要素の状態（開いているまたは閉じているテールゲート、開いているまたは閉じているトランクの蓋、開いているまたは閉じている乗客ドア、開いているまたは閉じているコンバーチブル上面、取り外し可能なルーフパネル等の定位置にあるまたは取り外されている取り外し可能なパネル等）であり得る。
【００１６】
係る実施形態の一例として、適法車の周辺エリアの車両の運転ライトが夜間中にオンではない、ということが本システムによって判定された場合、車両の運転者は警告を受信し得る。
【００１７】
さらなる態様に従って、画像分析ユニットは、例えば、センサデータから、車両モデルデータベース内に記憶された３Ｄモデルデータと比較することによって、他の車両の車両ブランド、モデル種類、及び／または色に応じて、車両特徴を判定するように、構成され得る。
【００１８】
車両の特定のモデルが本システムによって識別された後、例えば、関連する自動車モデル及び色の特有のグラフ表現を含む、より現実的な環境モデルがディスプレイ上に示され得る。特定の車両モデルについてのグラフ情報のレンダリングは、また、運転者の配向、及び、車両のフロントガラスを通した運転者の現実視界に対して環境モデルによって与えられた全体像の相互関係、を支援し得る。さらに、車両の車両特徴が変化するとき（例えば、ブレーキライトがアクティブから非アクティブに変化する）、レンダリング画像は、それに応じて変化し得る。そうすることで、環境モデルの現実図を改善する。
【００１９】
加えて、モデル種類及び色情報は、自車と同じ進行経路に進行する特定の車両に運転者が従うように促される中立の（普通の）ガイダンス概念を含むナビゲーションシステムのガイダンス目的のために使用され得る。
【００２０】
さらに、自動車モデルの識別は、安全関連情報を提供するのに有用であり得る。例えば、いったん特定の自動車モデルが識別されると、例えば、ブレーキライトがオンまたはオフのいずれかを判定するための画像分析の正確性は著しく増加し得る。この理由は、ブレーキライトの正確な形状及び寸法が、全ての主要な自動車シリーズに関する自動車モデル及びその構成要素の３Ｄデータを提供する車両モデルデータ記憶デバイス内に記憶されたモデルデータから読み出され得るからである。所与の車両モデルのブレーキライトの正確な形状及び寸法に基づいて、オン状態のブレーキライトの分配の正確な形状がモデル化され得て、ブレーキライトが実際にオンまたはオフのいずれかを判定するために、他の車両の外側輪郭の画像分析で使用され得る。
【００２１】
モデル種類識別から結論付けられ得る別の安全関連態様は、車両のモデル種類の識別に基づく検出された車両の可能性がある運転特性の判定である。この態様に関する例として、３０年経つ自動車モデルが比較的長い制動遅延がある制動だけを可能にするブレーキシステムを有し得ることが、運転者支援システムによって判定され得る。この判定は、当該３０年経つ車両の付近の他の交通参加者に関する安全関連情報と見なされ得る。
【００２２】
運転者支援システムの１または複数の実施形態は、別の車両から、自車の周辺エリア内の他の車の少なくとも１台の車両特徴に関連する通信データを受信するための受信ユニットを備え得る。当該通信データは、別の車両によって提供される未加工のセンサデータ及び／または別のシステムによって判定されるような車両の特徴を含み得る。いくつかの実施形態では、自車は、例えば、自車の周辺エリア内の別の車両の特有のブランド、モデル種類、または色について、車両間通信によって知らされ得る。
【００２３】
運転者支援システムは、ＡＤＡＳシステムによって具体化され得て、センサは、カメラ、視覚センサ、及び／またはライダセンサとして提供され得る。例えば、自動車モデル識別は、車両ブランドを分類するため、または特有のモデルを識別するために利用され得る車両の外側形状または輪郭を表すライダポイントクラウド（ＬｉＤＡＲ  ｐｏｉｎｔ  ｃｌｏｕｄ）に基づいて、実行され得る。加えて、または代替として、センサは、車両上にブランド名またはモデル名を明記しているテキスト印を検出及び分析し得る。それを行うことで、ＡＤＡＳシステムが、車両の特有のブランド及びモデルを識別することを可能にし得る。加えて、または代替として、車両は、車両識別番号または他の識別情報を自車に提供し得る。自車は、当該車両識別番号または他の識別情報を利用して、車両のブランド、モデル、色、年等を判定し得る。
【００２４】
１または複数の実施形態では、表示ユニットは、計器群またはヘッドアップディスプレイを有し得る。モデル種類判定に基づいて、例えば、運転者支援システムによって識別された特定の自動車モデルが、計器群に表示されることができる。
【００２５】
１または複数の実施形態では、運転者支援システムは、自車の周辺エリア内の他の車両に関連するセンサデータを連続的に分析するように、ならびに１または複数の車両特徴を分析されたデータから連続的に判定するように、ならびに判定された車両特徴を時間及び／または場所情報と一緒に記憶するように、構成され得る。そのようにして、ある種類の「ブラックボックス」が、本システムによって提供され得る。本システムは、自車の進行経路の再構築だけではなく、進行時点の車両の周辺シナリオの再構築も可能にする。
【００２６】
広範囲の様々な適用シナリオが、本明細書に説明される異なる態様を組み合わせることによって想像され得る。例えば、上記に説明したブラックボックスは、上記に説明した車両モデル判定の特徴と組み合わされて利用され得る。それによって、例えば、特有の車両がその進行経路に沿って自車に遭遇するか否かを判定することが可能になり、これは、例えば、国内調査または国際調査の対象である車両を識別するのに有用であり得る。
【００２７】
本明細書に説明されるシステムの利用可能な適用シナリオの範囲は、運転者支援システム及び画像分析ユニットが自車の周辺エリア内の静止物体を検出するように及び当該静止物体の状況／状態を分析するように構成されている実施形態によって、さらに増加する。これは、構造的障害物等の検出を含むだけではなく、例えば、自車の周辺エリア内の信号機のオン／オフ状態等の動的に変化する物体特徴も含み得る。それは、その状況／状態を明らかにするべく後続の画像分析センサデータとして検出され得る。例えば、信号機は、赤信号状態から青信号状態に動的に変化し得る。静止物体が３次元画像等の環境モデルの画像としてレンダリングされる例では、レンダリング画像は、動的特徴への変化に基づいて更新され得る。例えば、信号機が赤信号状態から青信号状態に変化する場合、レンダリング画像は、それに応じて、更新され得る。それを行うことで、環境モデルの現実図を改善する。
【００２８】
係る実施形態に関する一例として、運転者支援システムは、別の車両の検出位置と他の車両の検出されたブレーキライト状態との間の関係、または、自車の検出位置と信号機の検出状態との間の関係を分析するように、及び、この関係の分析結果に関連する情報を運転者に出力するように、構成され得る。
【００２９】
いくつかの実施形態では、自車の周辺エリア内における静止物体の状態／状況を検出するステップは、自車の周辺エリアの車両の車両特徴を判定することに加えて実行され得る一方、他の実施形態では、当該ステップは、自車の周辺エリア内の車両の車両特徴を判定するステップの代わりに実行され得る。したがって、１または複数の実施形態は、自車の周辺の車両以外の物体を分析し得る。例えば、物体は、交通標識及び交通指示器を含み得て、当該物体は、自車の周辺エリアを監視するセンサ（複数可）によって提供される画像データによって、当該物体の状況／状態に関して検出及び分析され得る。
【００３０】
別の態様に従って、１または複数の実施形態は、交通情報を車両の運転者に表示するための方法を提供し、当該方法は、自車の周辺エリア内の少なくとも１台の他の車両の画像データを提供するステップと、受信された画像データを分析するステップと、分析結果から車両特徴を判定するステップと、判定された車両特徴に関連する情報を表示するステップと、を含む。
【００３１】
１または複数の実施形態では、受信された画像データを分析するステップは、所与の画像空間内で物体を分類するためにニューラルネットワークを使用して実行され得る。例えば、本方法は、センサから取得された画像データに基づいて生成された画像にニューラルネットワークを適用させるステップと、画像の内側の境界ボックスによって画定された限定エリアの内部の画像コンテンツを分析するステップと、を含み得る。様々な車両シリーズの３Ｄデータを含むモデルデータベースが、ブランド名に対応する車のモデル及び／またはサブクラスを検出するために、ニューラルネットワークを訓練するために利用され得る。
【００３２】
代替の実施形態では、画像分析は、着目する検出物体を含む境界ボックスの内側の画素を評価することによって実行され得る。本方法の１または複数の実施形態は、自車の位置及び／または別の車両の位置を判定するステップと、他の車両の運転状態に関連する車両特徴を判定するステップと、を含み、係る実施形態は、判定された車両特徴ならびに他の車両の位置及び／または自車の位置に基づいて、ガイダンスまたは安全情報を判定する追加ステップと、判定されたガイダンスまたは安全情報を自車の運転者に出力する追加ステップと、を含み得る。安全情報は、例えば、自車の前方における車両の制動プロセスが車両のブレーキライト状態から検出されるように進行している場合の警告を含み得る一方、ガイダンス情報は、例えば、自車の周辺エリア内で識別された特定の自動車モデルに従い得る。ガイダンス情報は、周辺エリア内で識別された自動車モデルの車両特徴を含み得る、表示ユニット上の３Ｄレンダリング画像と自車のサウンドシステム等による可聴指示との組み合わせであり得る。それを行うことで、運転者が、ガイダンス情報をより良好に理解することを可能にし得る。一例として、レンダリング画像は、ガイダンス情報の理解における運転者の確信を改善し得る。運転者が可聴指示を聞いていない、または理解していない場合、運転者は、さらに、レンダリング画像に基づいて、ガイダンス情報を理解し得る。運転者が可聴指示について確信がない場合、例えば、運転者がモデル名をよく知らない場合及び／または同様の色の車両がある場合、運転者は、運転者の理解を改善するためにレンダリング画像を使用し得る。例えば、可聴指示が黄色い車に従う場合、及びモデル種類または車両特徴が異なる複数の黄色い車がある場合、それらから選ぶために、運転者は、レンダリング画像を確認し、どの車両が、従っているターゲット車両か、を判定し得る。これは、レンダリング画像が環境モデル内で空間的に配列されるとき、さらに向上させ得る。
【００３３】
１または複数の実施形態は、さらに、自車の所定の周辺範囲内の静止物体の画像データを提供するステップと、提供されたデータを分析するステップと、提供された画像データの分析結果ならびに自車の位置及び／または他の車両の位置に基づいて、安全情報またはガイダンス情報を自車の運転者に出力するステップと、を含む。
【００３４】
係る実施形態に関する例は、車両の周辺エリア内で識別された交通標識または交通指示器の意味の判定と、警告を運転者に出力することと、有用な場合、危機的な交通状況の発生を回避する運転命令を出力することと、を含み、これらは、例えば、本システムが、自車の運転状況が交通標識または交通指示器の意味に従っていないことを判定した場合に行われる。
【図面の簡単な説明】
【００３５】
【図１】一実施形態による、運転者支援システムを概略的に示す。
【図２】交通情報を車両の運転者に表示するための方法の一実施形態を概略的に説明するプロセスフローを示す。
【図３】交通情報を車両の運転者に表示するための方法の別の実施形態を概略的に説明するプロセスフローを示す。
【図４】交通情報を車両の運転者に表示するための運転者支援システムの一実施形態及び方法の一実施形態によって、環境モデルを生成するための情報フローの一例を概略的に示す。
【図５Ａ】交通情報を車両の運転者に表示するための運転者支援システム及び方法の一実施形態を使用した車認識の一例を示す。
【図５Ｂ】交通情報を車両の運転者に表示するための運転者支援システム及び方法の一実施形態を使用した車認識の一例を示す。
【発明を実施するための形態】
【００３６】
図１は、一実施形態による、運転者支援システムの概略図を示す。本実施形態では、運転者支援システム１０は、ヒューマンマシンインターフェース（ＨＭＩ）１２（拡張現実ヘッドアップディスプレイ（ＡＲ−ＨＵＤ）１３、クラスタ器具１４、及びインフォテインメントスクリーン１５を有する）を有するＡＤＡＳシステム１１として具体化されている。
【００３７】
さらに、ＡＤＡＳシステム１１は、環境モデル生成ユニット１６及び画像分析ユニット１７を備え、画像分析ユニット１７は、ＡＲ−ＨＵＤ１３、クラスタデバイス１４、またはインフォテインメントスクリーン１５上に表示される画像から、車両特徴を判定するように構成されている。本実施形態では、画像分析ユニット１７は、例えば、５０ｍｓ毎に、表示デバイス１３〜１５の１または複数のレンダリングされる環境モデルの画像を自動的に分析するように構成されている。代替実施形態では、関連ガイダンスがある対話型メニューが、関連特徴を判定するための画像分析に関する表示画像から運転者が物体を選択することを可能にするように提供され得る。
【００３８】
本実施形態では、運転者支援システム１０は、加えて、様々なブランド及びモデル種類の車両シリーズの車両モデル種類データを記憶するための車両モデルデータベース１８と、デジタル道路マップデータを記憶するためのデジタルマップデータベース１９と、を備える。車両モデルデータベース１８及びデジタルマップデータベース１９によって提供されるデータは、環境モデル生成ユニット１６によって使用され、センサレンジに応じて自車の周囲の所定距離内の交通状況の環境モデルを表示し、加えて、車両特徴を識別するために画像分析ユニットによって使用される。本実施形態では、自車の周辺のエリア内の車の特定のモデル種類の識別後、各々の自動車モデルの対応するグラフ表現は、表示デバイス１３〜１５の１または複数に表示される生成された環境モデルに含まれる。
【００３９】
運転者支援システム１０は、さらに、自車の周辺のエリアにおいて検出された物体の画像データを提供するための視覚センサ１０１及びライダセンサ１０２と、Ｖ２Ｖ通信によって画像データまたは車両特徴データを別の車両から受信するための送信及び受信ユニット１０３と、車両の現在位置を検出するためのＧＮＳＳセンサ１０４と、を備える。
【００４０】
交通情報を車両の運転者に表示するための方法の一実施形態を概略的に説明するプロセスフローが、図２に示されている。交通情報を車両の運転者に表示するための方法は、自車の周辺エリア内の少なくとも１つの他の車両の画像データを提供するステップ（ステップＳ２１）と、受信された画像データを分析するステップ（ステップＳ２２）と、分析結果から車両特徴を判定するステップ（ステップＳ２３）と、判定された車両特徴に関連する情報を表示するステップ（ステップＳ２４）と、を含む。自車の周辺エリア内における別の車両の画像データを提供するステップは、特有の車両特徴データが外部ステーションからまたは別の交通参加者からのＶ２Ｖ通信によって受信される場合に、置換され得る。また、画像データが別の車両または外部ステーションから受信され、次に当該画像データが、自車に提供された運転者支援システムによって処理される、ということも考えられる。
【００４１】
交通情報を車両の運転者に表示するための方法のさらなる実施形態が、図３に示されている。本実施形態では、運転者支援システムは、自車の周辺の車両の画像データを検出及び分析するだけではなく、加えて、可能性として運転者の運転挙動及び車両の軌道に影響を与え得る自車の環境における他の物体の画像データを検出及び分析するように、構成される。例えば、本実施形態では、信号機の状態は、信号機の画像分析及び物体認識によって判定され、その後に、信号機のオン／オフ状態の分析が続く。分析結果に基づいて、運転指令が運転者支援システムによって出力される。
【００４２】
ステップＳ３１で、車両の周辺の画像データが、例えば、車両のフロントガラスの下のエリアに搭載されるフロントカメラによって提供される。ステップＳ３２で、画像データは、車両及び交通指示器を検出するために訓練された畳み込みニューラルネットワークを使用して連続的に分析される。ステップＳ３３で、自車の運転ルートの自車の前方の道路に位置する車両及び交通標識が識別される。
【００４３】
ステップＳ３４で、自車の位置はＧＮＳＳセンサによって検出され、自車の位置の検出及びカメラ画像に基づいて、交通標識の位置及び自車の前方の他の車の位置が判定される。
【００４４】
ステップＳ３５で、車画像の外側輪郭が、車両モデルデータベースから読み出されたモデルデータと比較されて、自車の前方の他の自動車の車両モデルを判定する。ステップＳ３６で、ステップＳ３５における車両モデルの判定に基づいて、各々の自動車モデルのブレーキライトの形状が（本実施形態では、自車の前方の自動車として識別されているのはＢＭＷ３２０モデル）、データベースから読み出され、カメラ画像と比較されて、ブレーキライトがオンに設定されたか否かが判定される。
【００４５】
ステップＳ３７で、他の自動車のブレーキライトが５秒よりも長い間オンであるか否かが連続的に分析される。ステップＳ３７で、ブレーキライトが５秒よりも長い間にオンの状態であることが確認される場合、ステップＳ３８で、警告が、運転者支援システムの表示ユニット上にグラフィカルに発せられる（例えば「前方の注目車両は、減速している、または静止状態である」）。このように、近づいてくる障害物に起因して警報がシステムによって出力される潜在的障害物までの最小距離がまだ目標閾値に達していない場合でさえも、車両の運転者は、運転ルート上の潜在的障害物を知らされ得る。
【００４６】
ステップＳ３９で、ステップＳ３３で検出された信号機の状況／状態が分析され、ステップＳ４０で信号機がオン状態であることが判定された場合、ステップＳ４１で、「注意してください、前方３００ｍの信号機が赤です」のような情報が運転者に出力される。このようにして、運転者に知らされ、ひいては、信号機がまだブレーキが必要になっていないような距離だけ依然として離れている場合でさえも、燃料消費を減少させるために、車両を減速すること、または、ギヤ機構をニュートラルポジションに設定すること等のアクションを行い得る。
【００４７】
本実施形態では、警告メッセージ及びガイダンス指示が検出物体までの距離に関わらず出力されているが、係るメッセージは、ブレーキライトまたは交通標識の検出状況／状態のみを考慮した所定の条件だけではなく、例えば、検出物体（例えば、自車の前方の他の車または交通標識）までの車両の距離が考慮された条件にも基づいて、出力され得る。そのようにして、自車の周辺エリア内における物体認識及び分析の概念に基づいて、より高度なガイダンス情報が判定され、運転者に出力することができる。
【００４８】
図４は、交通情報を車両の運転者に表示するための運転者支援システムの一実施形態及び方法の一実施形態によって、環境モデルを生成するためのソフトウェアプラットフォームによって実現する情報フローの一例を概略的に示す。具体的には、本実施形態では、ＡＤＡＳ中間層は、ロボットオペレーティングシステム（ＲＯＳ）ソフトウェアフレームワークによって実現する。ＲＯＳソフトウェアフレームワーク内で、異なるノードが、実行可能なものとして提供され、購買（ｓ）または公開（ｐ）することに依存する。例えば、視覚センサＮ１の未加工のデータやライダセンサＮ２の未加工のデータを集めるプロセス、ＧＮＳＳベースの位置検出Ｎ３、レーダセンサＮ４による物体リストの準備、及びデジタルマップデータＮ５の準備は、それぞれ、ＲＯＳフレームワーク下の（実行可能な）ノードを構成する。これは、視覚センサ及びライダセンサによって提供される各々のデータに基づいて、関連する物体検出にも当てはまる（各々、ノードＮ２１、Ｎ２２、Ｎ３１、及びＮ３２）。
【００４９】
ＧＮＳＳによって判定されるような位置特定データ及びデジタルマップからの道路マップデータとの検出物体のデータの統合（ノードＮ６）は、自車の周辺の環境モデルをもたらす。構成要素もしくは部品または環境モデル全体は、ＡＲ−ＨＵＤＮ７もしくは計器群Ｎ８上に表示され得る、または、ナビゲーション応用等の目的Ｎ９を計画するために利用され得る。
【００５０】
図５Ａ／Ｂでは、自動車モデル認識に関する例を示す。図５Ａに示されるように、第１のステップで、ステレオカメラによって撮影されたような運転者の視点からの画像が、自車の前方の他の車の存在を検出するために畳み込みニューラルネットワークを使用して分析される。図５Ｂに例示される第２のステップで、車両のモデル種類が、車両データストレージ内に記憶された３Ｄ自動車モデルデータと車形状の外周を比較することによって、分析及び判定される。
【００５１】
様々な実施形態が本発明の明細書の全体を通して説明されてきたが、本発明はこれらの実施形態の任意の１つに限定されないことを理解されたい。前述の実施形態で説明された特徴は、１または複数の実施形態に関連するものであり得、異なる方式で組み合わせられ、本願の当業者に明らかであるような追加実施形態を構成し得る。したがって、前述の詳細な説明が限定的というよりもむしろ例証的であるものと見なされる一方、保護の範囲が添付の特許請求の範囲によって定義される、ということが意図されている。
【図１】
2020053046.tif 000003
【図２】
2020053046.tif 000004
【図３】
2020053046.tif 000005
【図４】
2020053046.tif 000006
【図５Ａ】
2020053046.tif 000007
【図５Ｂ】
2020053046.tif 000008