(57)【要約】  本発明は、自動車用のフュージョンシステムに関する。当該フュージョンシステムは、少なくとも２つの環境センサと、これらの環境センサの環境情報を融合させるための、これらの環境センサに結合された１つのニューラルネットワークと、これらの環境センサの環境情報を融合させるための１つのフュージョン装置と、このフュージョン装置と一緒に当該ニューラルネットワークに結合された制御装置とを有する。当該制御装置は、当該フュージョン装置によって融合された環境情報に依存して、当該ニューラルネットワークによって融合された環境情報を適合し、当該適合された環境情報を当該自動車の運転者支援システムに提供するように構成されている。
2021519462.tif 000002
【特許請求の範囲】
【請求項１】
自動車用のフュージョンシステムにおいて、
・前記フュージョンシステムは、
・少なくとも２つの環境センサ（Ｕ１，Ｕ２）と、
・これらの環境センサ（Ｕ１，Ｕ２）の環境情報を融合させるための、これらの環境センサ（Ｕ１，Ｕ２）に結合された１つのニューラルネットワーク（ＰＶ）と、
・これらの環境センサ（Ｕ１，Ｕ２）の環境情報を融合させるための１つのフュージョン装置（ＦＥ）と、
・このフュージョン装置（ＦＥ）と前記ニューラルネットワーク（ＰＶ）とに結合された制御装置（ＡＶ）とを有し、
・前記制御装置（ＡＶ）は、前記フュージョン装置（ＦＥ）によって融合された環境情報（ｖｍ）に依存して、前記ニューラルネットワーク（ＰＶ）によって融合された環境情報（ｐｍ）を適合し、
・当該適合された環境情報（ａｉ）を前記自動車の運転者支援システム（ＦＡＳ）に提供するように構成されている当該フュージョンシステム。
【請求項２】
前記フュージョンシステムは、前記フュージョン装置（ＦＥ）に結合された１つのプロトコル装置（ＬＶ）を有し、このプロトコル装置（ＬＶ）は、前記フュージョン装置（ＦＥ）によって提供された、結合された環境情報（ｖｍ）に対して、運転状況に関する環境に対して固有である少なくとも１つの状況変数を記憶するように、及び／又は状況変数に依存して決定され、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数（ｇ１，ｇ２）を記憶するように構成されている請求項１に記載のフュージョンシステム。
【請求項３】
前記フュージョン装置（ＦＥ）は、
・運転状況に関する環境に対して固有である状況変数を受け取り、
・前記状況変数に依存して、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数（ｇ１，ｇ２）を決定し、
・前記影響変数（ｇ１，ｇ２）に依存して、複数の前記環境センサ（Ｕ１，Ｕ２）の環境情報を融合させ、
・当該融合された環境情報（ｖｍ）を前記自動車に備えられた運転者支援システム（ＦＡＳ）に提供するように構成されている請求項１又は２に記載のフュージョンシステム。
【請求項４】
前記フュージョン装置（ＦＥ）は、状況変数と少なくとも１つの環境センサ（Ｕ１，Ｕ２）の機能特性との間の関係に依存して影響変数（ｇ１，ｇ２）を決定するように構成されている請求項１〜３のいずれか１項に記載のフュージョンシステム。
【請求項５】
前記フュージョン装置（ＦＥ）は、融合された環境情報（ｖｍ）を前記運転者支援システム（ＦＡＳ）に提供する前に補助変数に依存して解釈するように構成されている請求項１〜４のいずれか１項に記載のフュージョンシステム。
【請求項６】
前記フュージョン装置（ＦＥ）は、前記環境センサ（Ｕ１，Ｕ２）によって検出された１つの物体の移動に依存して、当該融合された環境情報（ｖｍ）を補助変数として解釈するように構成されている請求項５に記載のフュージョンシステム。
【請求項７】
前記フュージョン装置（ＦＥ）は、前記環境センサ（Ｕ１，Ｕ２）によって検出された物体の挙動モデルに依存して、当該融合された環境情報（ｖｍ）を補助変数として解釈するように構成されている請求項５又は６に記載のフュージョンシステム。
【請求項８】
前記フュージョン装置（ＦＥ）は、交通規則に依存して、当該融合された環境情報（ｖｍ）を補助変数として解釈するように構成されている請求項５、６又は７に記載のフュージョンシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の環境情報を融合させるためのフュージョンシステムに関する。
【背景技術】
【０００２】
本明細書の範囲内では、用語「自動運転」は、自動化された縦方向制御若しくは横方向制御による運転又は自動化された縦方向制御若しくは横方向制御による自動運転と解釈され得る。用語「自動運転」は、任意の自動化レベルによる自動運転を含む。代表的な自動化レベルは、支援運転、半自動運転、高度自動運転、及び全自動運転である。これらの自動化レベルは、連邦道路交通研究所（ＢＡＳｔ）によって規定された。（連邦道路交通研究所の刊行物「Ｆｏｒｓｃｈｕｎｇ  ｋｏｍｐａｋｔ」（２０１２年１１月発行）参照）。当該支援運転の場合、運転者は、縦方向制御又は横方向制御を持続して実行する一方で、当該システムは、その都度の別の機能を特定の範囲内で請け負う。半自動運転（ＴＡＦ）の場合、当該システムは、縦方向制御及び横方向制御を特定の期間に対して及び／又は特別な状況で請け負う。この場合、運転者は、支援運転の場合と同様に当該システムを持続して監視する必要がある。高度自動運転（ＨＡＦ）の場合、運転者が、当該システムを持続して監視することが必要なしに、当該システムが、縦方向制御及び横方向制御を特定の期間に対して請け負う。しかし、当該運転者は、特定の期間内は運転操縦を請け負うことができる。全自動運転（ＶＡＦ）の場合、当該システムは、特別な適用状況に対して運転を全ての状況で自動的に対処できる。この適用状況に対しては、運転者は、もはや不要である。上記のＢＡＳｔの規定にしたがう４つの自動化レベルは、規格ＳＡＥ  Ｊ３０１６（ＳＡＥ−Ｓｏｃｉｅｔｙ  ｏｆ  Ａｕｔｏｍｏｔｉｖｅ  Ｅｎｇｉｎｅｅｒｉｎｇ）に相当する。例えば、ＢＡＳｔにしたがう高度自動運転（ＨＡＦ）は、規格ＳＡＥ  Ｊ３０１６のレベル３に相当する。さらに、ＳＡＥ  Ｊ３０１６では、ＢＡＳｔの規定に含まれていないＳＡＥレベル５が、最高の自動化レベルとしてさらに規定されている。ＳＡＥレベル５は、当該システムが全ての運転中に全ての状況を人間の運転者のように対処できる無人運転に相当する。運転者が、通常はもはや不要である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】連邦道路交通研究所の刊行物「Ｆｏｒｓｃｈｕｎｇ  ｋｏｍｐａｋｔ」（２０１２年１１月発行）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、自動車の環境情報を融合させるための改良されたフュージョンシステムを提供することにある。
【課題を解決するための手段】
【０００５】
この課題は、独立請求項に記載の特徴によって解決される。好適な実施の形態は、従属請求項に記載されている。１つの独立請求項に依存する１つの請求項の追加の特徴が、当該独立請求項の特徴なしに、又は当該独立請求項の特徴の一部との組み合わせだけで、固有で且つ当該独立請求項の全ての特徴の組み合わせに依存しない、独立請求項、分割出願又は後願の対象にされ得る発明を構成し得ることが提唱されている。これは、本明細書に記載されている、当該独立請求項の特徴に依存しない発明を構成し得る技術事項対しても同様に成立する。
【０００６】
本発明の第一の観点は、自動車用のフュージョンシステムに関する。
【０００７】
この場合、フュージョンシステムは、少なくとも２つの環境センサと、これらの環境センサの環境情報を融合させるための、これらの環境センサに結合された１つのニューラルネットワークとを有する。
【０００８】
多くの場合に人口のニューラルネットワークとも呼ばれるニューラルネットワークは、人口ニューロンから成るネットワークである。この場合、当該ニューロンは、通常は複数の層に分割されていて、互いに接続されている。
【０００９】
さらに、フュージョンシステムは、これらの環境センサの環境情報を融合させるためのフュージョン装置を有する。特に、この場合、特許請求の範囲のうちの１つの請求項に記載のフュージョン装置が取り扱われ、当該装置は、運転状況に関する環境に対して固有である状況変数を受け取るように構成されている。
【００１０】
この場合、フュージョン装置は、特に、状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を決定するように構成されている。
【００１１】
さらに、フュージョンシステムは、特に、影響変数に依存して、これらの環境センサからの環境情報を融合させるように構成されている。
【００１２】
フュージョンシステムは、フュージョン装置とニューラルネットワークとに結合された制御装置をさらに有する。この場合、当該制御装置は、フュージョン装置によって融合された環境情報に依存して、ニューラルネットワークによって融合された環境情報を適合し、当該適合された環境情報を自動車の運転者支援システムに提供するように構成されている。
【００１３】
例えば、制御装置は、フュージョン装置によって融合された環境情報に依存して、ニューラルネットワークによって融合された環境情報が、運転者支援システムに提供されるのか、又はフュージョン装置によって融合された環境情報が運転者支援システムに提供されるのかを選択できる。
【００１４】
この代わりに、制御装置は、フュージョン装置によって融合された環境情報に依存して、ニューラルネットワークによって融合された環境情報を解釈し、当該解釈の結果を運転者支援システムに提供してもよい。
【００１５】
例えば、融合された環境情報は、１つの物体が十分に大きい確率で存在するそれぞれ１つの空間領域である場合、制御装置は、当該両空間領域を互いに結合し、当該結合結果を運転者支援システムに提供できる。
【００１６】
この場合、本発明は、確かにフュージョン装置が、よりぼやけて融合された環境情報をより高いばらつきで出力できるが、このフュージョン装置が、場合によっては比較的高い確率で物体の実際の滞在領域を網羅するという認識に基づく。これに対して、例えばニューラルネットワークが、鮮明に融合された環境情報を小さいばらつきで出力できるが、このニューラルネットワークは、場合によっては比較的より低い確率で物体の実際の滞在領域を網羅できる。
【００１７】
この場合、例えば、制御装置は、ニューラルネットワークによって融合された環境情報と、フュージョン装置によって融合された環境情報との重なり部分を運転者支援システムに提供できる。
【００１８】
好適な実施の形態では、フュージョンシステムは、フュージョン装置に結合された１つのプロトコル装置を有する。
【００１９】
この場合、プロトコル装置は、フュージョン装置によって提供された、結合された環境情報に対して、運転状況に関する環境に対して固有である少なくとも１つの状況変数を記憶するように、及び／又は状況変数に依存して決定され、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を記憶するように構成されている。
【００２０】
この場合、本発明は、ニューラルネットワークが多くの場合にこのニューラルネットワークの比較的大きい状態空間のために「ブラックボックス」と呼ばれるという認識に基づく。しかし、それにもかかわらず、当該ニューラルネットワークをフュージョン装置に結合することによって、当該フュージョンシステムの計算結果が確定的に追跡され得る。何故なら、当該計算結果は、特に、当該フュージョン装置によって設定された範囲内で変動するからである。
【００２１】
別の好適な実施の形態では、フュージョンシステムは、自動車の少なくとも２つの環境センサの環境情報を融合させるためのフュージョン装置を有する。
【００２２】
環境センサは、例えばカメラセンサ、レーダーセンサ、ライダーセンサ又は超音波センサでもよい。
【００２３】
この場合、フュージョン装置は、走行状況に関する環境に対して固有である状況変数を受け取るように構成されている。
【００２４】
特に、状況変数は、自動車の状況に対して固有の変数である。例えば、状況変数は、周囲の光の光度に対して固有の変数（例えば、明るさ値又は二進値「明」／「暗」）である。代わりに、状況変数は、例えば、時刻に対して固有の変数又は時刻自体でもよい。代わりに、状況変数は、例えば、環境情報を融合させるための識別子（Ｅｒｋｅｎｎｕｎｇｓｚｉｅｌ）（占有識別子（Ｂｅｌｅｇｔｅｒｋｅｎｎｕｎｇ）又は非占有識別子（Ｆｒｅｉｅｒｋｅｎｎｕｎｇ））でもよい。代わりに、環境情報は、例えば、天候に対して固有の変数でもよい。代わりに、環境情報は、例えば、自動車の位置に対して固有の変数でもよい。この場合、（例えば、座標によって示される）絶対位置又は交通状況が、位置とみなされ得る。
【００２５】
この場合、状況変数は、特に環境センサとは違う装置からフュージョン装置に伝達される。この場合、当該装置は、センサ又は制御機器でもよい。
【００２６】
さらに、フュージョン装置は、特に、状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を決定するように構成されている。
【００２７】
この場合、影響変数は、特に、１つの環境センサに割り当てられた重み付け係数である。この重み付け係数は、この環境センサの影響を少なくとも２つの環境センサの線形結合で示す。
【００２８】
さらに、フュージョン装置は、影響変数に依存して、環境センサからの環境情報を融合させ、当該融合された環境情報を自動車に備えられた運転者支援システムに提供するように構成されている。
【００２９】
運転者支援システムは、例えば、縦方向制御及び／又は横方向制御のための運転者支援システムでもよい。
【００３０】
好適な実施の形態では、フュージョン装置は、状況変数と少なくとも１つの環境センサの機能特性との間の関係に依存して影響変数を決定するように構成されている。
【００３１】
この場合、特に、フュージョン装置は、フュージョン特性の検出時に１つの環境センサの機能を考慮するように構成されている。これは、例えば、機能装置の開発時に既に実行され得る。
【００３２】
自動車の周囲の光条件が比較的悪いことを、状況変数が示す場合、例えば融合に対する１つのカメラセンサの影響は、比較的小さく設定され得る。他方で、自動車の周囲の光条件が比較的良好であることを、状況変数が示す場合は、融合に対する１つのカメラセンサの影響は、比較的大きく設定され得る。
【００３３】
別の好適な実施の形態では、フュージョンシステムは、融合された環境情報を運転者支援システムに提供する前に補助変数に依存して解釈するように構成されている。
【００３４】
この場合、当該補助変数及び当該融合された環境情報の解釈は、特に演繹的な知識に依存して確定され得る。
【００３５】
この場合、特に、フュージョン装置は、環境センサによって検出された物体の移動に依存して、融合された環境情報を補助変数として解釈するように構成されている。
【００３６】
例えば、当該物体が、将来の時点で何処に存在するかが、物理運動方程式に基づいて過去における当該物体の移動方向と移動速度とから推測され得る。
【００３７】
この場合、この知識は、融合された環境情報を解釈するために使用され得る。例えば、当該融合された環境情報は、物体が十分に大きい確率で存在する空間領域である場合、この空間領域は、当該物体の動力学、すなわち過去における当該物体の運動方向と移動速度とを考慮することによって解釈され得て、したがってより明確に特定され得る。
【００３８】
代わりに又はさらに、フュージョン装置は、特に、環境センサによって検出された物体の挙動モデルに依存して、融合された環境情報を補助変数として解釈するように構成されている。
【００３９】
この場合、当該挙動モデルは、例えば経験的に特定され得て、フィルタ、例えばカルマンフィルタのパラメータとしてフュージョン装置内に記憶され得る。
【００４０】
この場合、当該挙動モデルは、物体がその移動方向を変更される確率を示してもよい。当該物体が、道路利用者である場合、当該挙動モデルは、方向指示器の使用を伴う又は伴わない当該道路利用者の車線変更又は方向変更に対する確率でもよい。
【００４１】
代わりに又はさらに、フュージョン装置は、特に、交通規則に依存して、融合された環境情報を補助変数として解釈ように構成されている。
【００４２】
特に物体が、道路利用者である場合、交通規則は、道路利用者がどの車線上に存在するのか、交通利用者がその移動速度又は移動方向を変更するか否かを明確に指摘し得る。
【００４３】
同様に、この知識は、融合された環境情報が特定されるように、当該融合された環境情報を解釈するために使用され得る。
【００４４】
本発明の別の思想は、自動車の少なくとも２つの環境センサの環境情報を融合させるための方法に関する。
【００４５】
当該方法の１つのステップは、運転状況に関する環境に対して固有である状況変数を受け取ることである。
【００４６】
当該方法の別の１つのステップは、状況変数に依存して、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を決定することである。
【００４７】
当該方法の別の１つのステップは、影響変数に依存して、環境センサからの環境情報を融合させることである。
【００４８】
当該方法の最後のステップは、融合された環境情報を提供することである。
【００４９】
本発明の第１の観点による本発明のフュージョン装置に対する上記の構成は、本発明の第２の観点による本発明の方法に対しても同様に成立する。この点に関して特許請求の範囲に明確に記載されていない本発明の方法の好適な実施の形態は、上記の又は特許請求の範囲に記載されている本発明のフュージョン装置の好適な実施の形態に対応する。
【００５０】
以下に、本発明を実施の形態に基づいて添付図面を参照して説明する。
【図面の簡単な説明】
【００５１】
【図１ａ】本発明のフュージョン装置の実施の形態を示す。
【図１ｂ】本発明のフュージョン装置の実施の形態を示す。
【図２】本発明のフュージョン方法の実施の形態を示す。
【発明を実施するための形態】
【００５２】
図１ａは、自動車の少なくとも２つの環境センサＵ１，Ｕ２の環境情報を融合させるためのフュージョン装置ＦＥを示す。この場合、フュージョン装置ＦＥは、走行状況に関する環境に対して固有である状況変数を受け取るように構成されている。
【００５３】
当該状況変数は、特にセンサＧによって検出された変数であり、例えば、自動車の周囲の明るさに対して固有の変数である。
【００５４】
さらに、フュージョン装置ＦＥは、状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数ｇ１，ｇ２を決定するように構成されている。
【００５５】
特に、フュージョン装置ＦＥが、環境センサＵ１，Ｕ２の環境情報を線形結合によって融合させるときは、これらの影響変数ｇ１，ｇ２はそれぞれ、１つの環境センサＵ１，Ｕ２に割り当てられた重み付け係数でもよい。
【００５６】
フュージョン装置ＦＥは、影響変数ｇ１，ｇ２に依存して、環境センサＵ１，Ｕ２からの環境情報を融合させ、当該融合された環境情報ｖｍを自動車に備えられた運転者支援システムＦＡＳに提供する。
【００５７】
この場合、フュージョン装置ＦＥは、状況変数と少なくとも１つの環境センサＵ１，Ｕ２の機能特性との間の関係に依存して影響変数ｇ１，ｇ２を決定するように構成されている。
【００５８】
特に、環境センサＵ１，Ｕ２のうちの１つの環境センサが、カメラに基づくセンサの場合、状況変数が、自動車の周囲の暗い明るさを示すときに、融合された環境情報ｖｍに対するこの環境センサＵ１の環境情報の影響は、比較的小さく成り得る。
【００５９】
さらに、フュージョン装置ＦＥは、融合された環境情報ｖｍを運転者支援システムＦＡＳに提供する前に補助変数に依存して解釈するように構成されている。
【００６０】
この場合、補助変数は、例えば、フュージョン装置ＦＥに備えられた補助変数記憶装置Ｈから読み出され得る。
【００６１】
この場合、フュージョン装置ＦＥは、例えば、環境センサＵ１，Ｕ２によって検出された物体の移動に依存して、融合された環境情報ｖｍを解釈できる。
【００６２】
この代わりに、フュージョン装置ＦＥは、例えば、環境センサＵ１，Ｕ２によって検出された物体の挙動モデルに依存して、融合された環境情報を補助変数として解釈してもよい。
【００６３】
この代わりに、フュージョン装置ＦＥは、交通規則に依存して、融合された環境情報ｖｍを補助変数として解釈してもよい。
【００６４】
図１ｂは、自動車用のフュージョンシステムを示す。この場合、当該フュージョンシステムは、少なくとも２つの環境センサＵ１，Ｕ２と、これらの環境センサＵ１，Ｕ２の環境情報を融合させるための、これらの環境センサＵ１，Ｕ２に結合されたニューラルネットワークＰＶと、これらの環境センサＵ１，Ｕ２の環境情報を融合させるための本発明のフュージョン装置ＦＥと、フュージョン装置ＦＥと一緒にニューラルネットワークＰＶに結合された制御装置ＡＶとを有する。
【００６５】
この場合、制御装置ＡＶは、フュージョン装置ＦＥによって融合された環境情報ｖｍに依存して、ニューラルネットワークＰＶによって融合された環境情報ｐｍを適合し、当該適合された環境情報ａｉを自動車の運転者支援システムＦＡＳに提供するように構成されている。
【００６６】
例えば、制御装置ＡＶは、フュージョン装置ＦＥによって融合された環境情報ｖｍに依存して、ニューラルネットワークＰＶによって融合された環境情報ｐｍが、運転者支援システムＦＡＳに提供されるのか、又はフュージョン装置ＦＥによって融合された環境情報ｖｍが運転者支援システムＦＡＳに提供されるのかを選択できる。
【００６７】
この代わりに、制御装置ＡＶは、フュージョン装置ＦＥによって融合された環境情報ｖｍに依存して、ニューラルネットワークＰＶによって融合された環境情報ｐｍを解釈し、当該解釈の結果を運転者支援システムＦＡＳに提供してもよい。
【００６８】
例えば、融合された環境情報ｐｍは、１つの物体が十分に大きい確率で存在するそれぞれ１つの空間領域である場合、制御装置ＡＶは、当該両空間領域を互いに結合し、当該結合結果を運転者支援システムＦＡＳに提供できる。
【００６９】
さらに、フュージョンシステムは、フュージョン装置ＦＥに結合されたプロトコル装置ＬＶを有する。プロトコル装置ＬＶは、フュージョン装置ＦＥによって提供された、結合された環境情報ｖｍに対して、運転状況に関する環境に対して固有である少なくとも１つの状況変数を記憶するように、及び／又は状況変数に依存して決定され、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数ｇ１，ｇ２を記憶するように構成されている。
【００７０】
図２は、本発明のフュージョン方法の実施の形態を示す。
【００７１】
この場合、１つの物体が実際に存在する空間領域が、環境センサＵ１，Ｕ２によって検出される。様々な環境に起因して、一般に、環境センサＵ１，Ｕ２は、当該物体が存在する正確な空間領域を網羅しない。
【００７２】
それ故に、フュージョン装置ＦＥは、環境センサＵ１，Ｕ２の環境情報を融合させるように構成されている。フュージョン装置ＦＥは、運転状況に関する環境に対して固有である状況変数を受け取る。フュージョン装置ＦＥは、当該状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数ｇ１，ｇ２を決定する。
【００７３】
次いで、環境センサＵ１，Ｕ２の環境情報が、影響変数ｇ１，ｇ２に依存してフュージョン装置ＦＥによって融合される。この場合、当該融合された環境情報は、当該物体が存在する空間領域を個々の環境センサＵ１，Ｕ２の環境情報としてより高い品質で新たに付与する。
【符号の説明】
【００７４】
Ｕ１    環境センサ
Ｕ２    環境センサ
ＦＥ    フュージョン装置
Ｇ      センサ
Ｈ      補助変数記憶装置
ＦＡＳ  運転者支援システム
ＰＶ    ニューラルネットワーク
ＬＶ    プロトコル装置
ＡＶ    制御層
【図１ａ】
2021519462.tif 000003
【図１ｂ】
2021519462.tif 000004
【図２】
2021519462.tif 000005
【国際調査報告】
2021519462.tif 000006
2021519462.tif 000007
2021519462.tif 000008
2021519462.tif 000009