(57)【特許請求の範囲】
【請求項１】
自動車（１）における運転者補助装置（２）を操作するための方法であって、当該方法は、
−前記自動車（１）の周囲領域（１２）の画像（１５）を、前記運転者補助装置（２）のカメラ（１１）によって取得する工程と、
−前記周囲領域（１２）の部分的セグメントをカバーする個別の検出領域（７乃至１０）を有する超音波センサ（３乃至６）によって前記周囲領域（１２）に対するセンサデータを取得する工程と、を備え、
前記周囲領域（１２）に存在する物体（１６）が、前記画像（１５）において前記運転者補助装置（２）の電子演算装置によって認識されるとともに、前記センサ（３乃至６）の前記センサデータが前記画像（１５）における前記物体（１６）の認識に使用され、
前記画像（１５）において、第１のバウンディングボックス（１９）が前記センサ（３乃至６）の前記センサデータに基づいて生成されるとともに第２のバウンディングボックス（２０）が前記カメラ（１１）の前記画像（１５）に基づいて生成され、前記２つのバウンディングボックス（１９、２０）が共通のバウンディングボックス（２１）に合成され、
前記物体（１６）の認識は、前記物体（１６）の幅が前記カメラ（１１）の前記画像（１５）に基づいて確定されることと、前記物体（１６）の下端（１８）の位置が前記画像（１５）において前記センサ（３乃至６）の前記センサデータに基づいて確定されること、とを含んでいる、ことを特徴とする自動車（１）における運転者補助装置（２）を操作する方法。
【請求項２】
前記画像（１５）における前記物体（１６）の認識は、前記画像（１５）において表される前記物体（１６）の少なくとも一領域がバウンディングボックス（１９、２０、２１）によって取り囲まれることを含んでいる、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記物体（１６）は、前記画像（１５）において、前記センサ（３乃至６）の前記センサデータに基づくとともに前記カメラ（１１）の前記画像（１５）にも基づいて、前記演算装置によって認識される、ことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記２つのバウンディングボックス（１９、２０）の合成は、前記画像（１５）における前記第２のバウンディングボックス（２０）の幅と前記第１のバウンディングボックス（１９）の下端（２３）とが前記共通のバウンディングボックス（２１）に使用されることを含んでいる、ことを特徴とする請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記物体（１６）が前記センサデータが取得される前記センサ（３乃至６）の検出領域（７乃至１０）内にあり、且つ、前記物体（１６）の認識が前記画像（１５）に基づいて可能である画像分析領域（２５、２６）外にある場合、同じ物体（１６）は前記センサ（３乃至６）の前記センサデータのみに基づいて認識される、ことを特徴とする請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記物体（１６）が前記センサ（３乃至６）の検出領域（７乃至１０）外にある場合、同じ物体（１６）は、前記画像（１５）において前記カメラ（１１）の前記画像（１５）のみに基づいて認識される、ことを特徴とする請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
超音波センサが前記センサ（３乃至６）として使用される、ことを特徴とする請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
自動車（１）用の運転者補助装置（２）であって、
前記自動車（１）の周囲領域（１２）の画像（１５）を取得するための少なくとも１つのカメラ（１１）と、
前記周囲領域（１２）に対するセンサデータを取得するための、前記周囲領域（１２）の部分的セグメントをカバーする個別の検出領域（７乃至１０）を有する超音波センサ（３乃至６）と、
前記画像（１５）と前記センサデータを処理するための電子演算装置と、を備え、
前記演算装置は、請求項１乃至７のいずれか一項に記載の方法を実施するように構成されている、自動車（１）用の運転者補助装置（２）。
【請求項９】
請求項８に記載の運転者補助装置（２）を備えた自動車（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車における運転者補助装置を操作するための方法に関する。自動車の周囲領域の画像が運転者補助装置のカメラによって取得される。また、カメラとは別のセンサによって、周囲領域に対するセンサデータが取得される。また、本発明はこのような方法を実施するための運転者補助装置、並びにこのような運転者補助装置を備えた自動車に関する。
【背景技術】
【０００２】
運転者補助装置は、従来技術から様々な構成において既に知られている。一方で、自動車に取り付けられた複数のビデオカメラを含むカメラシステムが知られており、これらの画像は自動車内のディスプレイに表示可能である。また、カメラの画像は画像処理することができ、これらの画像に基づいて更なる機能が提供され得る。例えば、画像に基づいて、カメラシステムが衝突警告システムとしての役割を果たし得るように、物体認識が実施される。他方では、自動車とその周囲に存在する障害物との間の距離を計測するよう形成されたシステムも知られている。ここでは、例えば、自動車のフロントバンパー及びリアバンパーに分散して配置され得る超音波センサが意図されている。各超音波センサは個別の取得領域を有しており、この領域は超音波センサシステム全体の共通の取得領域の一部に相当する。このようにして、各超音波センサは、それぞれの取得領域における距離を計測する。
【０００３】
自動車においてカメラシステムをセンサシステムと組み合わせることは、従来技術である。このようなセンサの統合は、例えば、ＧＢ２４６３５４４Ａ号から知られている。本文献では、例えばバンパーに取り付けられた複数の超音波センサが用いられている。超音波センサによって検出された自動車の周囲領域は、更にカメラによって撮像される。演算装置が、超音波センサのセンサデータを処理すると同時にカメラの画像も処理する。一方では画像が自動車のディスプレイに表示されるとともに、他方では検知された物体が自動車に接近しているか否かが演算装置によって検討される。場合により、警告信号が出力される。
【０００４】
したがって、従来技術においては、センサの統合は異なるセンサシステム、−すなわち一方のカメラシステムと他方の超音波センサシステム−の全ての情報が、共通の演算装置において収集され同時に処理されることで実現されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、上述の種類の方法において、一方のカメラの画像と他方のセンサのセンサデータとを、従来技術に比較していかによりよく組み合わせるかという解決策を示すことである。
【課題を解決するための手段】
【０００６】
本発明によれば、この目的は、各独立請求項に記載の特徴を有する運転者補助装置及び自動車により実現される。本発明の有利な実施態様は、従属請求項、詳細な説明及び図面の法上の保護対象である。
【０００７】
本発明による方法は、自動車の周囲領域の画像を運転者補助装置のカメラにより取得することにより、また、前記カメラとは別のセンサ、すなわち例えば超音波センサにより前記周囲領域に対するセンサデータを取得することによって、自動車の運転者補助装置を操作する方法に関する。本発明によれば、周囲領域に存在する物体が、前記画像において前記運転者補助装置の電子演算装置により認識されるとともに、前記センサのセンサデータが画像中の物体の認識に使用される。
【０００８】
したがって、本発明による効果は、演算装置が、画像中の車両の外部にある物体を、画像データではなく少なくとも１つのセンサのセンサデータから認識する、又は画像データだけではなくセンサデータからも認識することを実現することにある。ここで、本発明は、従来技術から公知である画像に基づいて物体を検出するための検出アルゴリズムを利用しても、取得された画像中の物体を認識することは必ずしも可能ではないという理解に基づいている。すなわち、画像データのみに基づく物体認識は、不可能なものである。又は、具体的には自動車からおよそ０．５ｍまでの近接領域において可能であるという制限的なものである。この近接領域に存在する物体が取得された画像に現れてはいても、単に画像だけからでは認識され得ないということが起こり得る。そこで、本発明は、取得された画像中の物体を認識するためのセンサのセンサデータを使用するという方法を採る。例えば、物体が画像データから認識され得なくても、この物体をセンサデータだけからでも認識されるようにする。逆に、物体がセンサーデータに基づくとともに画像にも基づいて認識されるならば、画像中の物体認識はセンサデータ及び画像データの両方によって実施され得る。したがって、全般的に見れば、センサの統合が従来技術に比較して改良されて、カメラの画像中の物体認識の精度と信頼性が上昇することとなる。
【０００９】
画像中の物体認識は、例えば、画像に表された物体の少なくとも一領域をバウンディングボックスにより取り囲むことにより実施される。このように、バウンディングボックスを使用して画像中の画像データに基づいて認識された物体にラベル付けするという方法は、例えば、ＪＰ２０１１／１１９９１７Ａ号から既に公知である。本実施の形態においては、しかしながら、カメラの画像データではなくセンサのセンサデータから、又はカメラの画像データのみではなくセンサのセンサデータからも、又はカメラの画像データに加えてセンサのセンサデータからも、又はカメラの画像データの代わりにセンサのセンサデータから、このようなバウンディングボックスを生成することが提案されている。本実施形態は、エコー伝搬時間法にしたがって動作するセンサが一定の検出領域を有するとともにこの検出領域においてのみ距離を計測するという事実を利用している。特に、超音波センサについてはこの検出領域は比較的狭く、このため、高い精度を有する複数のセンサが存在すれば、自動車に対する物体の位置、ひいては取得された画像中の物体の位置をも確定することが可能となる。センサデータに基づいて生成されたバウンディングボックスは、例えば、センサの検出領域の幅に相当するカメラ画像における幅を有し得る。バウンディングボックスを付したこのようなカメラ画像は、次いで全く異なった態様で利用され得る。一方では、運転者に検出された物体を報知するように、この画像が自動車のディスプレイに表示され得る。他方では、バウンディングボックスを付したこの画像は、自動車の他の複数の運転者補助システムに送信され得る。こうしてこれらの他のシステムは、画像を自動車において様々な機能を提供するように使用可能となる。このようなシステムは、例えば、画像に基づいて運転者に警告を与える警告信号を生成可能な衝突警告システムであり得る。
【００１０】
一実施形態において、物体は、演算装置を用いてセンサのセンサデータに基づくとともにカメラの画像に基づき、画像において認識される。このような認識は、特に、物体認識がセンサデータ及びカメラの画像データの両方に基づいて可能である場合、したがって物体がセンサの検出領域と、物体認識が画像データに基づいて可能である画像分析領域との間の重複領域に位置している場合に実施される。本実施形態は、車両の外部にある物体が、非常に確実に且つ極めて正確に、カメラの画像において認識され得るという利点を有している。すなわち、本実施形態は、画像データに基づく物体認識という一方の利点を、センサデータに基づく物体認識という他方の利点に組み合わせたものであり、これにより、これら２つの物体認識方法のそれぞれの不利点を回避することができる。
【００１１】
例えば、画像において、第１のバウンディングボックスをセンサのセンサデータに基づいて生成するとともに、第２のバウンディングボックスをカメラの画像に基づいて（したがって画像処理によって）生成する。次に、２つのバウンディングボックスを、共通のバウンディングボックスへと合併する。これにより、カメラの画像中のバウンディングボックスの生成が特に正確なものとなる。
【００１２】
物体認識は、画像中の物体の幅がカメラの画像に基づいて確定されるとともに、画像中の物体の下端の位置がセンサのセンサデータに基づいて確定されると特に好ましい。本実施形態は、画像データに基づく物体認識とセンサデータに基づく認識の両方が「弱点」を有しているという理解に基づいている。つまり、画像データに基づく物体認識においては、画像中の下端を正確に確定するということは不可能であるか、又は使用される検出アルゴリズム（光学フロー、自己動作補償法）を理由として非常に制限されている。このような検出アルゴリズムによれば、例えば、歩行者の足元は不正確にしか検出できない。これに対し、センサのセンサデータに基づいて画像中の物体の幅を確定するということは、制限された確度でしかできない。このため、現在、画像中の物体の幅を確定するために画像データを使用するとともに、画像中の物体の下端の位置を確定するためにセンサのセンサデータを使用することが提案されている。このようにすれば、これらの認識方法−一方の画像データに基づく認識方法と他方のセンサデータに基づく認識方法−の各不利点が回避され得るとともに、物体認識が非常に正確に実施され得る。
【００１３】
例えば、後者の実施形態は、２つのバウンディングボックスの合併を極めて特殊な態様で実施することにより実現され得る。すなわち、共通のバウンディングボックスに対して、（カメラデータに基づく）第２のバウンディングボックスの幅と、（センサデータに基づく）画像中の第１のバウンディングボックスの下端の位置とが採用され得る。こうして共通のバウンディングボックスは、画像データに基づき生成されたバウンディングボックスの幅を有する。そして、共通のバウンディングボックスの下端の位置は、センサデータに基づいて生成されたバウンディングボックスの位置に一致する。共通のバウンディングボックスは、したがって、非常に正確に画像中の物体の実際の位置を反映している。
【００１４】
上述のように、物体がセンサの検出領域内にあるが、画像に基づく物体認識が多少なりとも可能である画像分析領域外にあるということが起こり得る。このような場合、この物体を、画像においてセンサのセンサデータのみに基づき認識することが好適である。センサデータに基づく物体認識の欠点は、本実施形態において容認される。しかしながら、本実施形態は、画像データに基づく物体認識をしなくても、カメラの画像において車両の外部にある物体が認識され得ることを可能としている。
【００１５】
これに対し、物体がセンサの検出領域外にある場合、この物体はカメラの画像のみに基づき画像において認識される。つまり、物体がセンサデータに基づいて認識され得ない場合には、カメラの画像データだけが物体認識に使用される。これは、特に、物体が自動車から遠く離れているとき、すなわち、例えば２．２ｍより遠い距離にあるときの場合に該当する。すなわち、このような距離であると、物体をセンサを利用して検出することは最早できないが、物体認識は画像データのみに基づいて実施され得る。
【００１６】
超音波センサを、自動車の周囲領域に対するセンサデータを取得するように使用することが好適である。全体的に、複数の超音波センサが使用され得る。これらは自動車のフロントバンパー及び／又はリアバンパーに分散して配置可能である。各超音波センサは、固有の検出領域を有しており、個々の検出領域は互いに隣接可能、−選択的に重複可能である。しかしながら、本発明は超音波センサに限られるものではない。カメラとは別の他のセンサも採用することができる。特に、少なくとも１つのセンサは、エコー伝搬時間法にしたがって動作するセンサ、つまり、伝送信号の伝搬時間を計測することにより距離が計測される距離センサである。
【００１７】
また、本発明は、本発明による方法を実施するために製造された自動車用の運転者補助装置に関する。
【００１８】
本発明による自動車は、本発明による運転者補助装置を有している。
【００１９】
本発明による方法に関して呈示された好適な実施形態及びその利点は、本発明による運転者補助装置、及び本発明による自動車に、同様に適用される。
【００２０】
本発明の更なる特徴は特許請求の範囲、図面及び図面の説明から明らかである。上述の全ての特徴及び特徴の組合せ、並びに下記の図面の説明及び／又は図面にのみ示された特徴及び特徴の組合せは、各特定の組合せにおいてのみならず他の組合せ又は単独においても有効である。
【００２１】
以下、本発明を好適な実施形態に基づいて添付図面を参照しつつ説明する。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態による自動車の概略平面図。
【図２】カメラの画像の概略平面図であって、画像における各センサの検出領域を示す図。
【図３】図２による画像の概略図であって、センサデータに基づくバウンディングボックスの生成をより詳細に説明する図。
【図４】センサデータのみに基づいて生成されたバウンディングボックスを付した画像の図。
【図５】画像（したがって画像データ）のみに基づいて生成されたバウンディングボックスを付した画像の図。
【図６】２つのバウンディングボックスを付した画像の図。
【図７】２つのバウンディングボックスの拡大図。
【図８】２つのバウンディングボックスから生成された共通のバウンディングボックスを付した画像の部分図。
【図９】自動車の概略図であって、本発明の実施形態による方法をより詳細に説明する図。
【発明を実施するための形態】
【００２３】
図１に示す本発明の実施形態による自動車１は、乗用車である。自動車１は、自動車１を運転する運手者を補助する役割を果たす運転者補助装置２を有している。運転者補助装置２は、本実施形態においては、自動車１のリアバンパーに分散して配置された複数の超音波センサ３、４、５、６を有している。本実施形態において、合計で４つの超音波センサ３乃至６が設けられている。超音波センサ３乃至６の個数及び配置は図１に例示的に示されるだけのものであって、超音波センサ３乃至６の個数及び配置は実施形態により異なり得る。したがって、超音波センサ３乃至６は、自動車１のフロントバンパーに配置することも可能である。超音波センサとしてのセンサ３乃至６の構成もまた例示的なものである。自動車１とその周囲に存在する障害物との間の距離を計測可能な別のセンサを使用することも可能である。例えば、レーダ装置又は他の光学的距離センサが使用され得る。
【００２４】
各センサ３乃至６は、検出領域７、８、９、１０を有しており、この各領域内で各センサ３乃至６は距離を測定することができる。例えば、車両の外部にある物体が超音波センサ３の検出領域７にある場合、超音波センサ３がこの物体の自動車１からの距離を検出することができる。検出領域７乃至１０は、互いに近接して並び合い且つ互いに直接的に隣接している。したがって、個々の検出領域７乃至１０が自動車１の後方の周囲領域の部分的セグメントにそれぞれ相当するように、検出領域７乃至１０は自動車１の後方の比較的広い周囲領域をカバーしている。ここで、各検出領域７乃至１０は比較的狭いセグメントであって、これらは車両の横手方向に互いに隣接しているとともに車両の長手方向に延伸している。
【００２５】
また、運転者補助装置２は、カメラ１１を有している。カメラ１１は、超音波センサ３乃至６と同様に自動車１の後部領域に設置され、自動車１の後方の周囲領域１２を撮像する。カメラ１１で撮像された周囲領域１２は、超音波センサ３乃至６の検出領域７乃至１０が撮像されたこの周囲領域１２内にあるように、これらの検出領域７乃至１０を含んでいる。
【００２６】
カメラ１１は、１秒間に複数のフレーム又は時間的に連続した画像を提供可能なビデオカメラである。カメラ１１は、１２０°乃至１９０°という数値範囲にあり得る比較的大きい取得角すなわち絞り角を有している。この角度は、図１において２本の線１３、１４により境界が定められている。すなわち、自動車１の後方の撮像周囲領域１２は、境界線１３、１４により境界が定められている。カメラ１１は、例えば、いわゆる魚眼カメラであり得る。
【００２７】
超音波センサ３乃至６及びカメラ１１は、両方とも、例えばデジタル変換器やメモリを含み得る図面には詳細に図示されない電子演算装置に電気的に接続されている。したがって、演算装置は、超音波センサ３乃至６のセンサデータを受信する一方、他方でカメラ１１の画像−すなわち画像データ−を受信する。
【００２８】
周囲領域１２を表すカメラ１１の例示的な画像１５を図２に示す。自動車１の座標システム及びカメラ１１の座標システムにおける超音波センサ３乃至６の座標とカメラ１１の座標はそれぞれ演算装置からわかるので、図２に概略的に示すように、画像１５における検出領域７乃至１０の位置もわかる。物体１６（ここでは歩行者）が超音波センサ３乃至６のうちのいずれかの検出領域７乃至１０（図２においては、例示的に超音波センサ４の検出領域８）に存在する場合、撮像された物体１６が画像１５内に位置する領域１７が、画像１５において画成され得る。これが可能であるのは、カメラ１１の画像１５における検出領域７乃至１０の位置が演算装置からわかるためである。物体１６が超音波センサ４により検出された場合（この超音波センサ４が計測距離を提供する場合）、物体１６が実際に超音波センサ４の検出領域８に確実にあると想定することができる。物体１６が存在する画成領域１７は、画像１５において超音波センサ４の検出領域８と同じ幅を有し得る。物体１６に対する距離は、超音波センサ３乃至６により特に正確に計測できるため、画像１５中の物体１６の下端１８の位置が、計測距離に基づいて確定可能である。図３による実施例において、下端１８は歩行者の足元に相当する。これに対し、超音波センサ３乃至６のセンサデータに基づくだけでは、画像１５中の物体１６の幅は容易に確定され得ない。したがって、領域１７は、検出領域８の幅に相当するような幅を以って画成される。
【００２９】
こうして、超音波センサ３乃至６のセンサデータのみに基づいて、第１のバウンディングボックス１９が画像１５において生成され得る。第１のバウンディングボックス１９は、図４に図示されており図３の領域１７に対応する。超音波センサ３乃至６の仮想検出領域７乃至１０は、図４には示されていない。このようにして、物体１６がバウンディングボックス１９により取り囲まれている、図４の画像１５が得られる。つまり、本例では物体認識が超音波センサ３乃至６のセンサデータのみに基づいて実施される。すなわち、第１のバウンディングボックス１９を生成するために、画像１５を特に画像処理する必要はない。
【００３０】
超音波センサ３乃至６のセンサデータのみに基づいて実施されるこの種の物体認識は、例えば、演算装置が、物体１６の低い距離が原因となって画像データの画像処理に基づくだけでは画像１５中の物体を認識できない場合に提供される。光学的物体認識が成果を発揮しない場合、画像１５中の物体１６が−上述のように−超音波センサ３乃至６のセンサデータのみに基づいて検出される。図４によるこのような画像１５は、次いで、例えば自動車１のディスプレイに表示されてもよいし、又は更なる援助システムに転送されてもよい。
【００３１】
これに対し、物体１６の認識がカメラデータに基づいて可能である場合、従来技術から公知の画像１５中の物体１６の検出に役立つ画像処理アルゴリズムが使用され得る。このような検出アルゴリズムは、図５により詳細に示すバウンディングボックス２０（第２のバウンディングボックス）を提供する。図５に示す画像１５は、したがって、検出アルゴリズムの結果を示すものであり、物体１６はこの検出アルゴリズムにより認識されている。図５から明らかなように、物体１６の実際の幅は、第１のバウンディングボックス１９（図４参照）よりも第２のバウンディングボックス２０においてよく反映されている。しかしながら、画像データに基づく物体認識の不利な点は、物体１６の下部−すなわち下端１８（ここでは足元）−が演算装置により一意に認識され得ないという点にある。すなわち、この理由のために、自己動作補償を含むいわゆる「光学フロー」が、通常検出アルゴリズムとして使用される。このアルゴリズムは、画像１５をバウンディングボックス２０が付された状態で出力するが、ここで画像１５中のバウンディングボックス２０の下端は、常に画像１５中の下端１８の位置に対応するものではない。
【００３２】
超音波センサ３乃至６のセンサデータに基づく物体認識が可能でない場合、物体１６の検出は画像１５のみに基づいて、すなわちカメラデータのみに基づいて実施される。物体認識の結果を図５に示す。
【００３３】
画像１５中の物体１６が、超音波センサ３乃至６のセンサデータに基づくとともにカメラ１１の画像データにも基づいて認識可能であるということもあり得る。つまり、図６に示すように、２つのバウンディングボックス１９、２０、すなわち、センサデータに基づく第１のバウンディングボックス１９と画像処理に基づく第２のバウンディングボックス２０とが生成される。２つのバウンディングボックスから、共通のバウンディングボックス２１が生成され得る（図８参照）。共通のバウンディングボックス２１の生成は、第２のバウンディングボックス２０の幅が採用される一方、他方で第１のバウンディングボックス１９の下端の位置が採用されるようにして実施される。図７を参照すると、演算装置において、第２のバウンディングボックス２０の下端２２が第１のバウンディングボックス１９の下端２３に一致するように、第２のバウンディングボックス２０がその高さにおいて拡大されている。したがって、第２のバウンディングボックス２０の高さは、画像１５中の下端２２をこの下端２２が下端２３に到達するまで変位させることにより増大されている。ここでは、バウンディングボックス２０の上端は変化させない。こうして、このように変更されたバウンディングボックス２０は、２つのバウンディングボックス１９、２０に基づいて生成された図８に示す共通のバウンディングボックス２１に対応する。つまり、図８に示すバウンディングボックス２１は、画像データに基づくとともにセンサデータにも基づく物体認識の結果を表している。
【００３４】
上述のように、以下の異なる状況があり得る。
−物体認識がセンサデータのみに基づき可能である場合。
−物体認識が画像データのみに基づき可能である場合。
−両方のタイプの物体認識が可能である場合（共通のバウンディングボックス２１）。
【００３５】
通常、これらの状況は、物体１６の自動車１からの距離に依存する。図９に示すように、合計３つの異なる領域２４、２５、２６が画成され得る。それぞれの領域は、車両の後尾からの距離において異なっている。ここで、第１領域２４は、例えば自動車１から０．５ｍの距離まで延びている。第２領域２５は、例えば自動車１から０．５ｍ乃至２．２ｍ延びている。第３領域２６は、自動車１から２．２ｍの距離から延びている。第１領域２４において、物体認識はセンサデータのみに基づいて基本的に可能である。これに対し、第２領域２５においては、物体認識は画像データに基づくとともにセンサデータにも基づいて可能である。最後に第３領域２６においては、認識はカメラデータのみに基づいて可能である。したがって、物体が第１領域２４にある場合、第１のバウンディングボックス１９が物体１６の認識範囲内で生成され得る。これに対し物体１６が領域２５にある場合、バウンディングボックス１９、２０から共通のバウンディングボックス２１が生成され得る。最後に、物体１６が第３領域２６にある場合、第２のバウンディングボックス２０だけが生成される。
【００３６】
したがって、最終的にはバウンディングボックス１９、２０又は２１を付した画像１５が得られる。このような画像１５は、ディスプレイに表示可能である。これに加えて又はこれに代えて、この画像１５は、自動車１における更なる機能を提供できるように、すなわち、例えば運転者に警告を与える機能を提供できるように、更に処理され得る。
【図１】
0005876165.tif 000002
【図２】
0005876165.tif 000003
【図３】
0005876165.tif 000004
【図４】
0005876165.tif 000005
【図５】
0005876165.tif 000006
【図６】
0005876165.tif 000007
【図７】
0005876165.tif 000008
【図８】
0005876165.tif 000009
【図９】
0005876165.tif 000010