(57)【要約】      （修正有）【課題】アシスト機能または自動運転機能のための目標対象物をより効率的に、且つ、その際同時に確実に選定することを可能にする方法および対応するドライバーアシストシステムまたは運転システムを提供する。【解決手段】２つの対象物選定ブランチを備えたセンサシステムは、主要対象物を選定するためのルール型の第１の対象物選定ブランチ２０と、第２の対象物選定ブランチとを含む複数の対象物選定ブランチを有する。第２の対象物選定ブランチは、人工ニューラルネットワーク２２を含む。方法は、少なくとも１つのセンサ１０のセンサデータ１２を集合させて１つまたは複数の対象物データセット１６を形成させるステップと、交通状況の新規性を人工ニューラルネットワーク２２のトレーニングデータに関し評価するステップと、交通状況の新規性が閾値ｓを越えているときに、ルール型の対象物選定ブランチ２０を使用するステップとを含む。【選択図】図１
2020119526.tif 000002
【特許請求の範囲】
【請求項１】
動力車両のドライバーアシストシステムまたは運転システムのアシスト機能（２８，３０，３２）または自動運転機能のための主要対象物選定方法において、
前記システムが、前記動力車両の周辺交通を検知するための少なくとも１つのセンサ（１０）を含み、
前記システムが、前記機能（２８，３０，３２）のために主要対象物を選定するためのルール型の第１の対象物選定ブランチ（２０）と、第２の対象物選定ブランチとを含む複数の対象物選定ブランチ（２０，２２）を含み、前記第２の対象物選定ブランチが、前記機能（２８，３０，３２）のために主要対象物を選定するための人工ニューラルネットワーク（２２）を含み、
前記方法が、
前記少なくとも１つのセンサ（１０）のセンサデータ（１２）を集合させて１つまたは複数の対象物データセット（１６）を形成させるステップと、
前記集合対象物データセット（１６）によって特徴づけられる交通状況の新規性を前記人工ニューラルネットワーク（２２）のトレーニングデータに関し評価するステップと、
前記システムの前記目標物選定ブランチ（２０，２２）の間での切換えを行い、その際前記交通状況の前記新規性が閾値（ｓ）を越えているときに、ルール型の対象物選定ブランチ（２０）を使用するステップと、
を含んでいる方法。
【請求項２】
複数の対象物データセット（１６）を、前記機能（２８，３０，３２）のための前記主要対象物を選定するための入力量としても使用するために、前記第２の対象物選定ブランチ内に前記人工ニューラルネットワーク（２２）が設置されている、請求項１に記載の方法。
【請求項３】
前記第２の対象物選定ブランチ内において、前記人工ニューラルネットワーク（２２）が、前記人工ニューラルネットワークの入力層（４０）に接続している少なくとも１つの畳み込み層（４２）を有している、請求項１または２に記載の方法。
【請求項４】
集合対象物データセット（１６）によって特徴づけられる、前記人工ニューラルネットワーク（２２）のトレーニングデータに関する交通状況の前記新規性の前記評価が、前記対象物データセットを含んでいるデータタプルと、前記トレーニングデータから算出されるこの種のデータタプルの多次元確率分布（６２）との距離を評価することを含んでいる、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記集合対象物データセット（１６）によって特徴づけられる、前記人工ニューラルネットワーク（２２）のトレーニングデータに関する交通状況の新規性の前記評価は、前記集合対象物データセット（１６）によって特徴づけられる前記交通状況の新規性を、周辺シナリオを特徴づけている補助データ（３４）と関連付けて評価することである、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記機能（２８，３０，３２）は、先行車両を追尾するための前記動力車両の縦方向速度制御のための機能であり、主要対象物選定として、追尾すべき先行車両を選定する、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
動力車両のためのドライバーアシストシステムまたは運転システムにおいて、前記動力車両の周辺交通を検知するための少なくとも１つのセンサ（１０）と、前記システムのアシスト機能（２８，３０，３２）または自動運転機能のために主要対象物を選定するための対象物選定ユニット（１８，２０，２２）とを備え、前記対象物選定ユニット（１８，２０，２２）が、前記機能（２８，３０，３２）のために主要対象物を選定するためのルール型の第１の対象物選定ブランチ（２０）と、第２の対象物選定ブランチとを含む複数の対象物選定ブランチを含み、前記第２の対象物選定ブランチが、前記機能（２８，３０，３２）のために主要対象物を選定するための人工ニューラルネットワーク（２２）を含み、前記システムが、請求項１〜６のいずれか一項に記載の方法を実施するために設置されている、動力車両のためのドライバーアシストシステムまたは運転システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動力車両のドライバーアシストシステムまたは運転システムのアシスト機能または自動運転機能のための主要対象物選定方法であって、前記システムが、前記動力車両の周辺交通を検知するための少なくとも１つのセンサを含んでいる前記主要対象物選定方法に関するものである。さらに、本発明は動力車両のためのドライバーアシストシステムまたは運転システムに関する。
【背景技術】
【０００２】
先行車両に安全な距離で追尾できるように車速を適合させる、一部自動化されたドライバーアシストシステムは知られている。この種の車速コントローラはＡＣＣ(Adaptive Cruise Control)システムと呼ばれる。レーダーセンサによって検出された複数のレーダー対象物から、追尾すべき主要対象物、いわゆる目標対象物が特定される。目標対象物は通常は自身の走行車線上にあり、自車に先行して走行している。
【０００３】
目標対象物の特定は、適当に設置されてドライバーアシストシステム内で実行されるアルゴリズムによりルール型式で行われる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、アシスト機能または自動運転機能のための目標対象物をより効率的に且つその際同時に確実に選定することを可能にする方法および対応するドライバーアシストシステムまたは運転システムを提示することである。
【課題を解決するための手段】
【０００５】
この課題は、本発明によれば、独立請求項に記載した構成によって解決される。本発明の有利な更なる構成および実施形態は従属請求項に記載されている。
【０００６】
自動運転機能は、たとえば、ドライバーアシストのための機能、或いは、一部自動化された運転または条件付きで自動化された（制限的に自動化された）運転または高度に自動化された運転または完全に自動化された運転のための機能を含むことができる。自動運転機能は、特に自律運転または一部自律運転のための機能を含むことができる。
【０００７】
これに対応して、ドライバーアシストシステムまたは運転システムは、たとえばドライバーアシストのためのシステムまたは自動運転のためのシステムを含むことができ、特に一部自動化された運転または条件付きで自動化された（制限的に自動化された）運転または高度に自動化された運転または完全に自動化された運転のためのシステムを含むことができる。運転システムは、特に自動運転システムまたは自律運転システムであってよい。
【０００８】
本方法は、通常の場合には第２の対象物選定ブランチを使用し、前記機能のために主要対象物を人工ニューラルネットワークによって選定することを可能にする。これは機械学習方法(ML, Machine Learning)の使用を可能にする。ニューラルネットワークの利用は、従来のルール型アプローチに比べて、対象物選定の性能を著しく向上させることができる。さらに、センサデータの集合によってニューラルネットワークのサイズを比較的小さくできるので有利である。これにより、ニューラルネットワークを適用して効率的な算出が可能であり、ニューラルネットワークを重み付けするための所要メモリ容量が少なくなる。集合対象物データセットによって特徴づけられる交通状況の新規性をニューラルネットワークのトレーニングデータに関連して評価することにより、本方法の信頼性を著しく向上させることができるので、特に有利である。適用事例における機械学習方法の性能は、処理すべきまたは分類すべきデータセットが学習方法のトレーニング中に利用されるデータセットに対し十分匹敵しうるかどうかに強く依存していることが確認された。極端な場合、ニューラルネットワークのみを使用すると、系統的に入力データセットの誤った評価が行われることがある。請求項１に従って交通状況の新規性を評価することにより、新規性が閾値を越えた場合、ルール型対象物選定ブランチを、アシスト機能または運転機能のための主要対象物を選定するために使用することに切換えることができる。これにより、ルール型対象物選定の利点を、人工ニューラルネットワークを用いた対象物選定の利点と組み合わせることができ、その結果特に信頼性があり、同時に可能限り効率的な方法を達成できる。特に、ニューラルネットワークの性能を、従来のルール型アプローチの明らかな頑強性と組み合わせて対象物選定を行うことが可能になる。
【０００９】
好ましくは、複数の対象物データセットを、アシスト機能または運転機能のための主要対象物を選定するための入力量としても使用するために、第２の対象物選定ブランチ内に人工ニューラルネットワークが設置されている。それぞれの個々の対象物データセットを１つのニューラルネットワークによって評価し、評価の結果を用いて選定するのに比べて、複数の対象物データセットをニューラルネットワークの複数の入力量として同時に使用することは、複数の対象物データセットによって特徴づけられる複数の対象物間の関係を付加的な情報源として併用することを可能にさせる。すなわち、たとえば車道上の車線マークが欠如している場合または劣悪な場合でも、複数の対象物間の相対位置から、複数の対象物のうちのどの対象物が自身の走行車線（自己走行車線ともいう）上を走行し、したがってたとえばドライバーアシスト機能のための主要対象物として問題になるかを推定することができる。
【００１０】
少なくとも１つのセンサは、たとえばカメラおよび／またはレーダーセンサおよび／またはライダーセンサを含んでいてよい。
【００１１】
センサデータを集合させて形成される対象物データセットは、移動対象物および／または静止対象物に対応していてよい。静止対象物はたとえばガードレールを含んでいてよい。静止対象物の対象物データセットは、たとえば道路境界部に関する情報を含んでいてよい。すなわち、たとえば道路境界部を判定するために、ガードレールの形態の対象物を利用することができる。ルール型対象物選定ブランチは、たとえば、判定した道路境界部に対する、および、検出した動的対象物に対する相対的な自車の自己位置を利用して、および場合によっては、判定した道路境界部に対する自車の相対位置に基づいて、どの対象物が同じ走行車線上で自車の前を走行しているかを検出するために設置されていてよい。センサがカメラを含んでいれば、ビデオ画像で検出可能な路面標識を、主要対象物を選定するために利用（併用）することができる。
【００１２】
対象物データセットの形態で集合させたセンサデータは、たとえば車両または歩行者のような対象物に対応していてよい。したがって、複数の対象物データセットは、対象物のリストに対応していてよい。各対象物は、対象物データセット内で、状態空間内の点によって記述することができ、その際点はたとえば以下の要素のうちの１つまたは複数を有していてよく、すなわちデカルト座標系における横方向位置、縦方向位置、速度、加速度、対象物の方位、対象物の長さまたは幅のような拡がり、或いは、上記の量の分散値を含んでいてよい。センサデータを集合させると、特にビデオ画像と比べて、または、同一の対象物に由来する多数のレーダー検出と比べて、生データ（センサデータ）よりも情報の総数を著しく減少させることができる。
【００１３】
好ましくは、第２の対象物選定ブランチ内において、人工ニューラルネットワークは、人工ニューラルネットワークの入力層に接続している少なくとも１つの畳み込み層を有している。畳み込み層（重畳層とも呼ばれる）は、各ニューロンの活動を不連続な折り畳みを介して折り畳みマトリックスまたはフィルタカーネルに対応して算出するようにした層である。入力データ（対象物データセット）の折り畳みにより、周辺交通での対象物間の関連性を特に効率的に評価することが可能になる。したがって、人工ニューラルネットワークとは好ましくは折り畳み型人工ニューラルネットワークである。この場合、折り畳み層は、個々の対象物特性を際立たせることができ且つ組み合わせることができる一次元フィルタの数量Ｍに対応している。たとえば対象物の特性とは、自己走行車線の左側にあって、自己車線方向での加速（加速の）を行うような対象物特性である。フィルタ、すなわち畳み込み層の構造は、適当なトレーニングデータセットを備えたニューラルネットワークのトレーニングの際に自動的に生成される。
【００１４】
好ましくは、集合対象物データセットによって特徴づけられる、人工ニューラルネットワークのトレーニングデータに関する交通状況の新規性の評価は、対象物データセットを含んでいるデータタプルと、トレーニングデータから算出されるこの種のデータタプルの多次元確率分布との距離を評価することを含んでいる。
【００１５】
多次元確率分布をモデリングする場合、交通状況に対応する、各トレーニングデータセットのすべてのトレーニングデータに対し、１つまたは複数の集合対象物データセットに対応して、交通状況に対応する入力データタプルを、入力値から算出されるべき確率分布に対する入力値（入力データデュプル）として使用することができる。したがって、確率分布はトレーニングデータを表現している。
【００１６】
この場合、各入力データデュプルに対しては、トレーニングデータの各交通状況に応じて、１つの確率分布を特定することができ、その際個々の確率分布は、新規性を評価するために累積されて、使用する確率分布になる。多次元確率分布を用いたトレーニングデータのモデリングには、１つの交通状況の新規性を広範囲に評価できるという利点があり、特に、たとえば１つの対象物データセットに対応するような１つの対象物のすべての属性に関して、および／または、交通状況の中にある複数の対象物の配列に関して広範囲に評価できる。
【００１７】
１つの実施態様では、集合対象物データセットによって特徴づけられる、人工ニューラルネットワークのトレーニングデータに関する交通状況の新規性の評価は、集合対象物データセットによって特徴づけられる交通状況の新規性を、周辺シナリオを特徴づけている補助データと関連付けて評価することを含んでいる。周辺シナリオを特徴づけている補助データは、たとえば天候（たとえば日光／雨／雪／霧）に関する情報、トンネルの有無に関する情報（たとえばＹｅｓ／Ｎｏ）、および／または、工事現場に関する情報（たとえばＹｅｓ／Ｎｏ）を含んでいてよい。このような情報は、たとえば道路交通ネットワーク情報から取得でき（たとえばトンネル）、或いは、情報サービス（工事現場）または補助センサ装置（天候）を通じて入手できる。周辺シナリオを特徴づける補助データを考慮することにより、周辺シナリオを特徴づけているデータに基づけばトレーニングデータとの重大なずれが明らかであるような状況において、仮に主要対象物を選定するためにニューラルネットワークによって使用されるべき対象物データセットがトレーニングデータに好適に整合していても、ルール型対象物選定ブランチへの切換えを行うことが可能になる。これによって、補助データによって特徴づけられる、交通状況の潜在的異種性を考慮することができる。
【００１８】
本発明の対象は、さらに、動力車両の周辺交通を検知するための少なくとも１つのセンサと、ドライバーアシストシステムのアシスト機能または自動運転機能のために主要対象物を選定するための対象物選定ユニットとを備えたドライバーアシストシステムまたは運転システムであり、この場合該システムにおいて、上述した方法の１つが実行される。
【００１９】
次に、一実施形態を図面を用いて詳細に説明する。
【図面の簡単な説明】
【００２０】
【図１】２つの対象物選定ブランチを備えたセンサシステムの基本概要図である。
【図２】１つの対象物選定ブランチの畳み込みニューラルネットワークの概要図である。
【図３】ニューラルネットワークのトレーニングデータから確率分布を算出することを説明するための概要図である。
【発明を実施するための形態】
【００２１】
図１に示したセンサシステムは、自車の周辺交通を検知するための１つまたは複数のセンサを含んでいる。センサ１０はその例を図示したものである。センサから提供されるセンサデータ１２は、予処理ユニット１４によって予処理される。予処理は、センサデータ１２を集合させて１つまたは複数の対象物データセット１６を形成させることを含んでおり、その際１つの対象物データセット１６を、検出された１つの対象物に対応させることができる。対象物データセットＸはたとえばベクトルまたはリストであってよく、縦方向位置ｘと、横方向位置ｙと、方位φｚと、縦方向速度ｖｘと、横方向速度ｖｙと、縦方向加速度ａｘと、横方向加速度ａｙとを含んでいる。
【００２２】
Ｘ＝（ｘ，ｙ，φｚ，ｖｘ，ｖｙ，ａｘ，ａｙ）
【００２３】
対象物データセットＸは、対応する状態空間の１つの要素である。
【００２４】
集合対象物データセット１６は、以下でさらに説明する新規性評価器１８に与えられる。新規性が閾値を越えているかどうかに応じて、処理をルール型の第１の処理ブランチ２０か、或いは、畳み込みニューラルネットワーク(CNN, Convolutional Neural Network)２２を含んでいる第２の処理ブランチのいずれかへ分岐させる。
【００２５】
交通状況の新規性の評価は、人工ニューラルネットワーク２２のトレーニングデータに関して行う。
【００２６】
第１の対象物選定ブランチ２０を使用する場合、この第１の対象物選定ブランチは、ＡＣＣ速度制御器の形態のドライブアシスト機能のために、目標対象物としての主要対象物２４を選定する。ドライブアシスト機能は、動力車両の自動運転システムの自動運転機能の一部であってもよい。
【００２７】
ニューラルネットワーク２２を備えた第２の対象物選定ブランチを使用する場合には、ニューラルネットワーク２２は、ドライブアシスト機能のために、目標対象物としての主要対象物２６を選定する。
【００２８】
それぞれ選定された主要対象物２４，２６は、状況分析ユニット２８と、トラクトリックスプランニングユニット３０と、縦方向速度の固有制御部３２とを含むドライブアシスト機能へ受け渡される。
【００２９】
予処理部１４の出力から印加されるデータがニューラルネットワーク２２のトレーニングの範囲内で利用されるデータとかなり異なっていることを新規性評価器１８が検知した場合には、ルール型の第１の対象物選定ブランチ２０へ分岐させる。他方、新規性評価器１８に印加されるデータとトレーニングデータとの間に十分な類似性がある場合には、ニューラルネットワーク２２を備えた第２の対象物選定ブランチを使用する。使用されないそれぞれの対象物選定ブランチは、たとえば一時的にオフにする。
【００３０】
新規性評価器１８には、さらに、たとえば天候、トンネルの有無、または工事現場の有無に関する情報のような周辺シナリオを特徴づける補助データ３４を供給することができる。この補助データは、新規性を評価する際に一緒に考慮することができる。
【００３１】
図２は、畳み込み人工ニューラルネットワーク２２の構成に対する一例の概要図である。ニューラルネットワーク２２は、入力層４０と、これに接続している第１の畳み込み処理層４２と、第２の畳み込み処理層４４と、他の処理層４６，４８と、出力層５０とを含んでいる。これら層の上記数量は基本構成を説明するために用いたにすぎず、実際には変更することができる。
【００３２】
入力層４０は、円によって特徴づけた各入力部位に対象物データセット１６を有している。第１および第２の層４２，４４（重畳フィルタと呼ぶこともできる）により、対象物間の関係を考慮することができる。入力層４０において破線の四角形で特徴づけたデータセットは、たとえば層４２の、層４２において破線で示したセグメントの中に入り込む。
【００３３】
円によって特徴づけた、出力層５０の出力部位は、それぞれ、関連付けられた１つの入力部位での対象物が目標対象物であるという分類、または、目標対象物が認められないという分類に相当している。
【００３４】
ニューラルネットワーク２２は、入力部位に印加される対象物データセットの取り違えに対し順列可変である。
【００３５】
図３は、ニューラルネットワーク２２のトレーニングデータに基づく確率分布の算出をきわめて簡略に図示したものである。円によって特徴づけた入力値ｘのそれぞれはトレーニングデータの交通状況に対応しており、特に交通状況の中にある複数の対象物を特徴づけるデータタプルであってよい。
【００３６】
入力値のそれぞれに対しては、たとえば１つのガウス分布６０が想定される。複数のガウス分布６０を、加算されて正規化された１つの確率密度６２に統合させる。
【００３７】
いま、システムの適用事例において１つのデータタプルをある交通状況の中で集合させた複数の対象物データセットから統合させる場合、新規性評価器１８は確率密度６２に対するデータタプルの距離ｄを算出することができ、この距離は、トレーニングデータに対する交通状況の新規性を表す基準である。このようにして算出した新規性が閾値ｓを越えていれば、上述したように第１の対象物選定ブランチ２０への分岐を行う。もしそうでなければ、ニューラルネットワーク２２を対象物選定のために使用する。
【００３８】
距離ｄに対する距離基準としては、たとえば測定値とガウス分布との間の距離の算出に対応するマハラノビス距離を使用することができ、または、２つの分布間の距離の算出に対応するカルバック・ライブラー情報量を使用することができる。データタプルから１つの分布を得るため、データタプルをガウス分布化された測定値と見なすことができる。個々の測定サイクルごとに得られたデータタプルの真正な分布を求めるため、たとえば数秒の移動タイムウィンドウを併せて考慮してもよい。
【００３９】
たとえばそれぞれのデータタプルがガウス混合分布化されていることを想定して、トレーニングデータから、確率密度６２を算出するために適した確率分布を求めることができ、そのためにいわゆるカーネル密度推定(Kernel Density Estimation (KDE))、ディリクレプロセスガウスミクスチャモデル(Dirichlet Process Gaussian Mixture Model (DGPMM))、またはＥＭ法(Exception Maximization (EM))を用いる。したがって、トレーニングデータに対応するすべてのデータタプルを使用して、１つの多次元分布が生成される。
【００４０】
ここで説明している方法には、特に、リアルに発生しているデータとトレーニングデータとのずれが増大していく際に、交通状況の新規性を適時検知することにより、ニューラルネットワークの予知不能な不適正挙動を生じさせるような、ニューラルネットワークの汎化能力のオーバーフローを回避できるというリスク対策が可能という利点がある。
【００４１】
ニューラルネットワーク２２の第１の層として畳み込みネットワーク層を使用することで、たとえば修正分類率の改善に見られるようにネットワークの性能がかなり改善される。修正分類率とは、一般に、
【００４２】
修正分類率＝（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）
【００４３】
として算出でき、ここでＴＰ(True Positive)は真陽性分類の数量、ＴＮ(True Negative)は真陰性分類の数量、ＦＰ(False Positive)は偽陽性分類の数量、ＦＮ(False Negative)は偽陰性分類の数量である。
【００４４】
さらに、ニューラルネットワークを使用すると、適当なトレーニングデータによって交通状況の特殊な事例も学習できるという利点が得られる。特殊な事例とは、たとえば、（１）ＡＣＣは、自車前方の車両の割り込みに対し、割り込み車両が自車の走行車線内に完全に入ってしまわないうちに、かなり早い時点で反応しなければならないという事例、（２）ＡＣＣは、自車の車線変更の際、自車が新たな車線内に完全に入ってしまわないうちに、早い時期に自車の以前の走行車線上で選定した目標対象物を排斥しなければ（すなわち解除しなければ）、著しい待ち時間なしに自車の加速を許容しないという事例、（３）自車前方の目標対象物が車線を離れはじめると、早い時期に自車走行車線内の以前の目標対象物の前方にある新たな目標対象物に切換えねばならないという事例である。
【符号の説明】
【００４５】
１０  センサ
１２  センサデータ
１６  集合対象物データセット
１８  新規性評価器（対象物選定ユニット）
２０  ルール型対象物選定ブランチ（対象物選定ユニット）
２２  ニューラルネットワーク（対象物選定ユニット）
２８  状況分析ユニット（アシスト機能）
３０  トラクトリックスプランニングユニット（アシスト機能）
３２  縦方向速度の固有制御部（アシスト機能）
３４  補助データ
４０  入力層
４２  畳み込み層
６２  確率分布
【図１】
2020119526.tif 000003
【図２】
2020119526.tif 000004
【図３】
2020119526.tif 000005
【外国語明細書】
2020119526000001.pdf