(57)【要約】【課題】  自動車において、運転者支援システムの表示装置に、状況に応じて適切な画像を表示する方法、およびこの方法を実行する運転者支援システムを提供する。【解決手段】  ナビゲーションデータが、運転者支援システム（２）によって受信され、自動車（１）の周囲環境（１０〜１３）に関するセンサデータが、運転者支援システムの少なくとも１つのセンサ（５ａ〜５ｄ）によって捕捉される。制御装置（４）が、自動車（１’）に隣接する少なくとも１つの周囲エリア（１６、１９）を示す周囲環境画像（１５、１８）になるように、センサデータを処理する。ナビゲーションデータを考慮に入れて、記憶されている地図データをもとにして生成された地図画像（２１）が、表示装置（３）に表示される。地図画像の拡大が、表示装置上で行なわれる。地図画像があらかじめ定められた画像縮尺（ズーム比）に達すると、地図画像から周囲環境画像への転換が生じる。【選択図】図１
2013535753.tif 000002
【特許請求の範囲】
【請求項１】
自動車（１）において、運転者支援システム（２）の表示装置（３）に画像（１５、１８、２１）を表示する方法であって、
−  前記運転者支援システム（２）によって、ナビゲーションデータを受信するステップと、
−  前記運転者支援システム（２）の少なくとも１つのセンサ（５ａ〜５ｄ）によって、前記自動車（１）の周囲環境（１０〜１３）に関するセンサデータを捕捉するステップと、
−  前記自動車（１）に隣接している少なくとも１つの周囲エリア（１６、１９）を示す周囲環境画像（１５、１８）になるように、前記センサデータを処理するステップと、
−  前記ナビゲーションデータを考慮に入れて、記憶されている地図データから生成される地図画像（２１）を、前記表示装置（３）に表示するステップと、
−  前記表示装置（３）上の前記地図画像（２１）を拡大するステップと、前記地図画像（２１）が、あらかじめ定められた画像縮尺に達すると、前記地図画像（２１）を前記周囲環境画像（１５、１８）に転換させるステップとを含む方法。
【請求項２】
前記センサデータには、センサとしての少なくとも１つの光学的な捕捉装置（５ａ〜５ｄ）によって捕捉される画像データが含まれ、該画像データは、前記周囲エリア（１６、１９）と、好ましくはさらに前記自動車（１’）の少なくとも一部分との、空中から見た図を表わす周囲環境画像（１５、１８）になるように処理されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記センサデータには、少なくとも１つの超音波センサによって捕捉される超音波データ、および／またはセンサとしての少なくとも１つのレーダ装置によって捕捉されるレーダデータ、および／またはセンサとしての少なくとも１つのレーザスキャナによって捕捉されるレーザデータが含まれることを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記地図画像（２１）から前記周囲環境画像（１５、１８）への転換の直後において、前記周囲環境画像（１５、１８）は、転換の直前の前記地図画像（２１）と同じ観察方向から、前記周囲エリア（１６、１９）と、好ましくはさらに前記自動車（１’）の少なくとも一部分とを示すことを特徴とする、請求項１〜３のいずれか１つに記載の方法。
【請求項５】
前記自動車（１）の上方から見た前記周囲環境画像（１５、１８）は、前記自動車（１’）の少なくとも一部分および前記周囲エリア（１６、１９）の平面図、特に、前記自動車（１’）の全体および前記自動車（１）のまわりの周囲エリア（１６、１９）の平面図を表わすことを特徴とする、請求項１〜４のいずれか１つに記載の方法。
【請求項６】
前記地図画像（２１）の拡大、およびその結果として発生する、前記地図画像（２１）から前記周囲環境画像（１５、１８）への転換は、操作者によって、前記運転者支援システム（２）の入力装置になされる入力に基づいて生じることを特徴とする、請求項１〜５のいずれか１つに記載の方法。
【請求項７】
前記ナビゲーションデータに基づいて、前記自動車（１）の目的地への到着が、前記運転者支援システム（２）によって確認され、前記地図画像（２１）の拡大、およびその結果として発生する、前記地図画像（２１）から前記周囲環境画像（１５、１８）への転換は、前記目的地への到着の確認に基づいて、前記運転者支援システム（２）によって行なわれることを特徴とする、請求項１〜６のいずれか１つに記載の方法。
【請求項８】
前記運転者支援システム（２）のセンサ装置が、前記周囲環境（１０〜１３）中の、前記自動車の外部にある物体を検出し、前記運転者支援システム（２）による、前記地図画像（２１）の拡大、およびその結果として発生する、前記地図画像（２１）から前記周囲環境画像（１５、１８）への転換は、前記周囲環境（１０〜１３）中の物体の存在に基づいて行なわれることを特徴とする、請求項１〜７のいずれか１つに記載の方法。
【請求項９】
前記地図画像（２１）は、前記周囲環境画像（１５、１８）の少なくとも１つのエリアで補完されることを特徴とする、請求項１〜８のいずれか１つに記載の方法。
【請求項１０】
あらかじめ定められた選択基準にしたがって、第１の周囲環境画像（１５）か第２の周囲環境画像（１８）かのどちらかが、前記周囲環境画像（１５、１８）として生成され、該第１の周囲環境画像（１５）と第２の周囲環境画像（１８）とは、第１の周囲環境画像（１５）が、第２の周囲環境画像（１８）に比して、前記自動車（１）からより隔たった距離までの周囲エリア（１６）を示すという点で、互いに異なっていることを特徴とする、請求項１〜９のいずれか１つに記載の方法。
【請求項１１】
前記第１の周囲環境画像（１５）は、７〜１３ｍの値の範囲の、前記自動車（１）からの距離（１７）までの周囲エリア（１６）を示すことを特徴とする、請求項１０に記載の方法。
【請求項１２】
前記第２の周囲環境画像（１８）は、５０ｃｍ〜２ｍの値の範囲の、前記自動車（１）からの距離（２０）までの周囲エリア（１９）を示すことを特徴とする、請求項１０または１１に記載の方法。
【請求項１３】
前記選択基準に、前記地図画像（２１）から前記周囲環境画像（１５、１８）への転換の直後に、前記第１の周囲環境画像（１５）が生成されるということが含まれることを特徴とする、請求項１０〜１２のいずれか１つに記載の方法。
【請求項１４】
前記選択基準に、前記自動車（１）の目的地への到着が、前記ナビゲーションデータに基づいて、前記運転者支援システム（２）によって認識されたときに、前記第１の周囲環境画像（１５）が生成されるということが含まれることを特徴とする、請求項１０〜１３のいずれか１つに記載の方法。
【請求項１５】
前記選択基準に、前記運転者支援システム（２）のセンサ装置によって、前記自動車（１）の周囲環境（１０〜１３）中に、前記自動車の外部にある物体が検出されたときに、前記第２の周囲環境画像（１８）が生成されるということが含まれることを特徴とする、請求項１０〜１４のいずれか１つに記載の方法。
【請求項１６】
−  ナビゲーションデータを受信するためのナビゲーション受信器（１４）と、
−  自動車（１）の周囲環境（１０〜１３）に関するセンサデータを捕捉するための少なくとも１つのセンサ（５ａ〜５ｄ）と、
−  画像を表示するための表示装置（３）
とを備えている、自動車（１）のための運転者支援システム（２）であって、
・  前記自動車（１’）に隣接する少なくとも１つの周囲エリア（１６、１９）を示す周囲環境画像（１５、１８）になるように、前記センサデータを処理し、
・  前記ナビゲーションデータを考慮に入れて、記憶されている地図データから地図画像（２１）を生成して、該地図画像（２１）を前記表示装置（３）に表示し、
・  前記表示装置（３）上の前記地図画像（２１）を拡大し、前記地図画像（２１）があらかじめ定められた画像縮尺に達すると、前記地図画像（２１）から前記周囲環境画像（１５、１８）への転換を行なうように構成されている運転者支援システム（２）。
【請求項１７】
請求項１４に記載の運転者支援システム（２）を備えている自動車（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車において、運転者支援システムの表示装置に画像を表示する方法に関する。本発明は、さらに、自動車のための運転者支援システムにも関する。この運転者支援システムは、上述の方法を行なうように機能する。
【背景技術】
【０００２】
自動車のための表示装置は、従来技術において、種々の形態で知られている。組み込み型のディスプレイがよく知られている。しかし、自動車のフロントガラス上に画像を投影することができる画像プロジェクタ（ヘッドアップディスプレイと呼ばれる）が用いられる場合もある。
【０００３】
さらに従来技術においては、自動車に、その自動車の周囲環境の画像を捕捉する光学的なカメラが組み込まれる場合もある。この場合には、カメラの画像データを基にして、自動車と周囲環境とを空中から見たように示す周囲環境画像を生成することができる。このような空中からの描写のために、全てのカメラの画像データ（例えば２つ、３つ、または４つのカメラからの画像データ）が混合されて、一緒に処理される。次いで、この周囲環境画像が、表示装置に表示される。そうすると、運転者は、この周囲環境画像に基づいて、自動車と、周囲環境中に位置する物体との間の距離を推測することができる。したがって、自動車と、自動車の外部にある物体との間の衝突を避けることができる。
【０００４】
この従来技術に対して特に関心が寄せられるのは、少なくとも１つのカメラの画像データを基にして生成され、自動車に隣接する周囲エリアと、好ましくは自動車の少なくとも一部分とを、空中から見たように示す周囲環境画像である。このような周囲環境画像においては、自動車の周囲エリアを、実際通りに、表示装置に表わすことができる。しかしながら、このような周囲環境画像は、他のセンサからのセンサデータを基にして生成することもできる。例えば超音波センサの超音波データを、周囲環境画像になるように処理し、次いで、自動車の周囲エリアを概要図で、すなわち、例えば図式的な記号や輪郭線を用いて示すことができる。同様に、レーダ装置のレーダデータ、および他のセンサのデータを、処理することもできる。
【０００５】
さらに、ナビゲーションのために、ナビゲーション受信器（例えばＧＰＳ受信器）を用いることが知られている。このようなナビゲーション受信器は、ナビゲーションデータ（ＧＰＳデータ）を受信し、運転者支援システムは、そのナビゲーションデータに基づいて、自動車の各瞬時全地球位置を特定することができる。次いで、自動車と、その周囲環境とを図式的に示す概要的な地図画像を、表示装置に表示することができる。したがって、このような地図画像は、ナビゲーションデータに基づいて、すなわち、自動車のその時点における全地球位置に対応して、自動車の瞬時全地球位置と、自動車の周囲環境とが、地図画像に示されるように生成される。このような地図画像は、既に記憶されている地図データを用いて生成される。この地図データは、運転者支援システムの記憶装置に記憶させておくことができ、また、例えばホストサーバを用いると、オンラインで使用可能にすることができる。この地図データから生成される地図画像は、「グーグルマップ」アプリケーション（www.maps.google.com）や「グーグルアース」アプリケーションで知られている画像とほぼ合致する。原理的には、この地図画像は、生の視像データ、すなわち、人工衛星からの画像を基にしたものである場合もある。しかしながら、この地図データは、あらかじめ記憶されているものであり、上述のような、自動車に搭載されたカメラの画像データのように、実時間で記録されるものではない。
【０００６】
記憶されている地図データを基にし、また自動車の各瞬時全地球位置を考慮に入れて生成された地図画像が、ナビゲーションのために、表示装置に表示される。したがって、この地図画像は、自動車の周囲環境に関する生の情報、すなわち、周囲環境に位置している物体、および障害物に関する情報を全く含んでいない。通常、道路だけ、または場合によっては自動車も、表示されるだけである。さらに、通常、必要な解像度も欠いている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、冒頭で述べた種類の方法において、自動車の運転中に、特に単一の表示装置を用いて、非常に信頼性高く運転者を支援することができる方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
この目的を達成するために、本発明は、請求項１に記載の特徴を有する方法、請求項１６に記載の特徴を有する運転者支援システム、および請求項１７に記載の特徴を有する自動車を提供するものである。本発明の有利な実施形態が、従属請求項および本明細書に記載されている。
【０００９】
本発明による方法は、自動車において、運転者支援システムの表示装置に画像を表示するように構成されている。ナビゲーションデータが、運転者支援システムによって受信される。運転者支援システムの少なくとも１つのセンサが、自動車の周囲環境に関するセンサデータを捕捉する。捕捉されたセンサデータは、自動車に隣接している少なくとも１つの周囲エリアを示す周囲環境画像になるように処理される。ナビゲーションデータを考慮に入れて、記憶されている地図データから生成された地図画像が、表示装置に表示される。表示装置上の地図画像は拡大（ズーミング）され、地図画像が、あらかじめ定められた画像縮尺（ズーム比）に達すると、地図画像から周囲環境画像への転換が生じる。
【００１０】
したがって、本発明の基本的な考え方は、地図画像の拡大中に、あらかじめ定められた画像縮尺に達するか、または超過すると、（図式的な）地図画像から、（生の）周囲環境画像（センサのセンサデータを基にして生成される）への転換を行なうということである。したがって、本発明は、地図画像（前もって記憶されている地図データから生成される）は、限られた解像度しか備えておらず、さらに、自動車の周囲環境に関する実際の情報を何ら有していないという事実に対処するものである。すなわち、地図画像が拡大（ズーミング）されると、ある画像縮尺以上における解像度は、運転者に全く情報を提供することができないほどに極めて小さくなる。この点に関して、本発明は、あらかじめ定められた画像縮尺、またはあらかじめ定められた解像度に達すると、地図画像を、少なくともいくつかのエリアにおいて、周囲環境画像に置き換えるようになっている。したがって、ある画像縮尺以上では、図式的な地図画像はもはや表示されず、替わって、少なくとも１つのセンサの生のセンサデータを基にして生成され、したがって、自動車の実際の周囲環境、および／または実際の周囲環境に関する情報を有する周囲環境画像が表示される。したがって、運転者は、例えば自動車と、周囲環境中に存在する、自動車の外部にある物体との間のそれぞれの距離を推測することができ、また自動車の実際の周囲環境について調べることができる。
【００１１】
さらに、画像の転換後に、ナビゲーションのために周囲環境画像を役立てることができる。これは、画像の転換によって、ナビゲーション機能は損なわれず、転換前と同じく、運転者にナビゲーション情報を伝えることが可能であるということを意味する。このナビゲーション情報を、周囲環境画像に含めることもできる。
【００１２】
センサデータには、例えば少なくとも１つの光学的な捕捉装置によって捕捉される画像データが含まれる。光学的な捕捉装置は、カメラ、具体的には、特に、人間が感知することができるスペクトル域の光を検出することができるカメラであることが好ましい。その場合には、周囲エリアと、好ましくはさらに自動車の少なくとも一部分との、空中から見た図を表わす周囲環境画像になるように、センサデータ（画像データ）を処理することができる。したがって、この実施形態においては、カメラの生の画像データを基にして生成された、周囲環境の生の画像を、運転者に対して、表示装置に表示することができる。これは極めてユーザフレンドリーである。すなわち、運転者は、自分の表示装置に、自動車の実際の周囲環境を示される。いわば、運転者は、表示装置に、自動車の実際の周囲環境を見ることができる。すなわち、自動車の周囲環境を、図式的にではなく、画像データを基にして、実際の周囲環境そのままに表わす周囲環境画像を生成することが可能である。光学的な捕捉装置、特にカメラを用いることによって、それに応じた高い解像度で、周囲環境画像を生成することができるという利点が得られる。したがって、相対的に大きな画像縮尺の場合においても、周囲環境画像を、表示装置に良質に表示することができる。
【００１３】
それに加えて、またはそれに替えて、センサデータに、他のセンサのセンサデータを含ませることもできる。そのようなセンサデータには、例えば少なくとも１つの超音波センサの超音波データ、および／または少なくとも１つのレーダ装置のレーダデータ、および／または少なくとも１つのレーザスキャナのレーザデータが含まれる場合がある。このセンサデータに基づいて、自動車の周囲環境中で、自動車の外部にある物体を検出することができ、次いで、検出された物体を表わす図式的な記号を、周囲環境画像中に描出することができる。これらのセンサを用いることによって、センサデータの処理を、相対的に低コストで実行することができ、なおかつ、自動車の外部にある物体を、自動車の画像に相対的な位置が実際の位置と同じ位置に、かつ自動車の縮尺と同じ縮尺で表わされるように、図式的な記号や輪郭線を用いて表示装置に表示することができるという利点が得られる。
【００１４】
したがって、原理的に、カメラデータと少なくとも１つの他のセンサ（例えば距離センサ）のセンサデータとの混合した画像データを用いて、周囲環境画像を生成することができる。したがって、このような周囲環境画像は、周囲環境の光学像（画像データを基にして生成される）と、距離センサのセンサデータを基にして生成される図式的な記号との両方を含むことができる。
【００１５】
あらかじめ定められた画像縮尺に達すると、地図画像から周囲環境画像への転換が生じる。これは、詳細には、地図画像の少なくとも１つのエリアが、周囲環境画像の対応するエリアに置き換えられるということを意味している。しかしながら、画像全体が地図画像から周囲環境画像へと転換するほうが、特に有利であることは明らかである。
【００１６】
本明細書においては、用語「画像の拡大」は、「画像のズーミング」を意味していると理解されたい。用語「画像縮尺」は、物体の実寸に対する、その物体の光学像の寸法の比で定義される。したがって、画像縮尺は、ズーム比と本質的には同じである。
【００１７】
一実施形態においては、地図画像から周囲環境画像への転換の直後において、周囲環境画像は、転換の直前の地図画像と同じ観察方向から、および／または同じ観察地点において、周囲エリアと、好ましくはさらに自動車の少なくとも一部分とを示すように設定される。本明細書においては、用語「観察方向」とは、仮想的な観察者が、画像を観察する際に眺める方向のことである。したがって、地図画像から周囲環境画像への継続的な、すなわち急激に変化しない移行が達成される。これによって、さらに、画像の転換後に、少なくとも大部分において、画像の転換前と同じ、自動車の周囲エリアが確実に示されることになる。転換の直前における画像縮尺は、転換の直後における画像縮尺に対して、±５％以内の誤差の精度で等しいことが好ましい。言い換えると、転換の直後における周囲環境画像の画像縮尺は、実質的に、転換の直前における地図画像の画像縮尺と等しいことが好ましい。その場合には、画像の転換後に、転換前と実質的に同じ周囲エリアを示すことができる。その結果、両画像間に、継続性の欠如は知覚されない。
【００１８】
自動車の上方から見た周囲環境画像は、自動車の少なくとも一部分、および周囲エリアの平面図を表わすことが好ましい。周囲環境画像は、自動車の全体および自動車のまわりの周囲エリアの平面図を表わすことが好ましい。その場合には、運転者は、周囲環境画像に基づいて、自動車と、自動車のまわりの、自動車の外部にある物体全てとの間のそれぞれの距離を、極めて容易に推測することができる。
【００１９】
センサデータを、例えば連続的に捕捉することができ、周囲環境画像を、捕捉されたセンサデータを用いて、連続的に更新することができる。これは、周囲環境画像が、自動車の周囲環境を、ほとんどリアルタイムに描写することができるということを意味する。
【００２０】
周囲環境画像において、自動車は、表示装置上で固定された位置に、すなわち静止した状態で示されることが好ましく、一方、周囲エリアの画像は、センサデータを基にして、その都度更新されて、適合化されることが好ましい。さらに、自動車の画像は、運転者支援システムの記憶装置に前もって記憶しておくことができる。この実施形態は、通常、少なくとも１つのセンサが、自動車の外面、すなわち、例えば外部への張り出しまたはバンパーに配置されており、したがって、このセンサは、自動車自体ではなく、自動車の周囲エリアを検出することができるという事実に基づいている。かくして、自動車の画像を、データの形態で記憶装置に記憶させておくことができ、さらに、周囲環境に関するセンサデータが利用可能なときには、周囲エリアの画像を、自動車の画像のまわりに加えることができる。
【００２１】
さらに、ナビゲーションデータとセンサデータとの比較に基づいて、較正を行なうことが可能である。より詳細に言うと、自動車の全地球位置を、センサデータに基づいて修正することができる。すなわち、より精確に適合させることができる。同様に、それに加えて、またはそれに替えて、周囲環境画像に周囲エリアが示される観察方向を修正するために、ナビゲーションデータを用いることも可能である。
【００２２】
したがって、表示装置上の地図画像の拡大中に、地図画像が、あらかじめ定められた画像縮尺に達すると、画像間の転換が生じる。地図画像の拡大、およびその結果として発生する画像間の転換は、例えば操作者によって、運転者支援システムの入力装置になされる入力に基づいて生じる場合がある。このような入力は、例えば操作装置に対して行なわれる場合がある。その場合には、運転者支援システムは、この入力を受け取り、この入力に基づいて、あらかじめ定められた画像縮尺に達するまで、表示されている地図画像を拡大させる。あらかじめ定められた画像縮尺に達すると、運転者支援システムは、地図画像から周囲環境画像への転換を行なう。この実施形態は、運転者が、自身の入力行為によって、画像縮尺を設定することができ、したがって、画像の転換の是非に関しても、自身で決定することができるという利点を有している。したがって、この入力によって、事実上、画像縮尺すなわちズーム比に対する指示がなされる。
【００２３】
ナビゲーションデータに基づいて、運転者支援システムは、さらに、自動車が目的地に、および／または目的地の周辺のあらかじめ定められているエリアに到着していることを確認することができる。自動車が目的地に到着していることを、運転者支援システムが確認した場合には、この確認に基づいて、運転者支援システムは、自動的に地図画像の拡大、およびその結果として生じる、画像の転換を行なうことができる。これは、自動車が、あらかじめ定められた場所（運転者があらかじめ定めておくことができる）に到着したときに、地図画像から周囲環境画像への転換が生じることを意味する。実際、目的地において最も必要なことは、一般に、自動車の操舵である（その上、間隔が非常に詰まった状態においては、しばしばそうであるように）。そのときに、周囲エリアに関する生の情報を備えた周囲環境画像が表示装置に表示されると、それは、運転者にとって非常に有利なことである。この場合には、運転者は、目的地における自動車の操舵に関して、周囲環境画像から支援を受けることができる。特に、運転者は、周囲環境画像に基づいて、障害物を監視することができる、または障害物と自動車との間の距離を推測することができる。
【００２４】
さらに、運転者支援システム、より具体的には、運転者支援システムのセンサ装置によって、自動車の周囲環境中の、自動車の外部にある物体を検出することが可能である。このセンサ装置は、例えば少なくとも１つの距離センサ、特に超音波センサを有している場合がある。このセンサ装置は、さらに、周囲環境画像を生成するためのセンサデータを捕捉する、少なくとも１つのセンサを有している場合がある。この場合には、地図画像の拡大、およびその結果として生じる、地図画像から周囲環境画像への転換を、自動車の周囲環境中の物体の存在に基づいて、運転者支援システムによって自動的に遂行することが可能である。生の周囲環境画像によって、自動車とその物体とが衝突する危険性があるか否かが明らかになる。したがって、運転者は、表示装置上で、自動車の外部にある物体を観察し、その観察に基づいて、衝突を避けるように自動車の操舵を行なうことができる。例えば検出された物体と自動車との間の距離が、あらかじめ定められた閾値未満であるときに、地図画像から周囲環境画像への転換が生じるようにすることが可能である。この実施形態によれば、自動車の同乗者の安全が確保される。これは、自動車の周囲環境中で、自動車の外部に物体が存在するために、周囲環境画像の表示が実際に必要なときに、その表示が運転者に与えられるからである。
【００２５】
地図画像は、記憶されている地図データから生成される。地図データは、例えば自動車と、自動車に隣接する周囲エリアとを図式的に示す概要画像である場合がある。しかしながら、地図画像は、前もって記憶されている画像、具体的には例えば記憶されている、人工衛星からの画像にもとづく生の光学像である場合もある。いずれにしても、地図画像に示される、自動車の周囲環境は、実際の周囲環境の瞬時状態に対応するものではない。さらに、任意選択に、種々のタイプの地図画像、すなわち、さまざまな種類の図を利用することが可能である。例えば「グーグル地図」アプリケーションにおけるように、次の種類の図、すなわち地図、人工衛星からの図、および３Ｄ図を利用することが可能である。
【００２６】
一実施形態において、地図画像は、周囲環境画像の少なくとも１つのエリアによって補完されるように定められている。これは、地図画像に、周囲環境画像の少なくとも１つのエリアを重ね合わせることもできる、または地図画像をそのようなエリアで覆うこともできることを意味する。あらかじめ定められた画像縮尺に達する前に、このような地図画像の表示を行なうことができる。その結果、運転者は、例えば周囲環境中の障害物、および／または道路標識、および／または交通信号灯などに関する情報のような、自分に対して表示された、いくつかの情報を入手することができる。
【００２７】
第１の周囲環境画像か第２の周囲環境画像かのいずれかを、周囲環境画像として生成して、表示できることが好ましい。第１の周囲環境画像と第２の周囲環境画像とのうちのいずれを選択するかは、あらかじめ定められた選択基準にしたがってなすことができる。第１の周囲環境画像と第２の周囲環境画像とは、第１の周囲環境画像が、第２の周囲環境画像に比して、自動車からより隔たった距離までの周囲エリアを示すという点で、互いに異なる。したがって、任意選択的に、少なくとも２つの種類の周囲環境画像、すなわち自動車に隣接する周囲エリアが相対的に広い周囲環境画像と、自動車に隣接する周囲エリアが相対的に狭い周囲環境画像とを、運転者に対して表示することができる。したがって、要求に適合するように、また状況に適合するように、運転者を支援することができる。したがって、例えば自動車と障害物との間の距離が相対的に短く、運転者が相対的に難しい操舵を行なわなければならない場合には、第２の周囲環境画像を表示することができる。対照的に、自動車に隣接する広い周囲エリアをおおまかに見渡す必要がある場合には、第１の周囲環境画像が表示される。
【００２８】
第１の周囲環境画像は、７〜１３ｍの値の範囲の、自動車からの距離までの周囲エリアを示すことが好ましい。この距離は、１０ｍであることが好ましい。したがって、第１の周囲環境画像は、特に、自動車全体、および自動車のまわりの（詳細には、自動車から１０ｍまでの）周囲エリアの平面図を表わす。したがって、運転者は、相対的に広い周囲エリアに関する情報を得ることができ、さらに、自動車から相対的に遠くに位置している障害物を認めることができる。
【００２９】
他方において、第２の周囲環境画像は、５０ｃｍ〜２ｍの値の範囲の、自動車からの距離までの周囲エリアを示す場合がある。この距離は、１ｍであることが好ましい。このような周囲環境画像に基づいて、運転者は、自動車と、自動車のすぐ隣に位置している各障害物との間の距離を高精度で推測することができる。したがって、運転者は、さらに、障害物に非常に接近している自分の自動車を、衝突を引き起こすことなく、操舵することができる。
【００３０】
前述のように、第１の周囲環境画像と第２の周囲環境画像とのうちのいずれを選択するかは、あらかじめ定められた選択基準にしたがってなされる。この選択基準には、例えば地図画像から周囲環境画像への転換の直後に、第１の周囲環境画像、すなわち、他の周囲環境画像に比して、自動車からの、より長い距離までの周囲エリアを示す周囲環境画像が生成されて、表示されるということが含まれる場合がある。したがって、地図画像から周囲環境画像への継続的な移行を実現することができる。
【００３１】
選択基準には、さらに、自動車の目的地への到着が、ナビゲーションデータに基づいて、運転者支援システムによって認識されたときに、第１の周囲環境画像が生成されて、表示されるということを含めることができる。自動車が目的地に到着すると、その結果として、相対的に広い周囲エリアを示す周囲環境画像が表示されることが好ましい。その場合には、運転者は、一方では、目的地において、自動車から相対的に遠くにある障害物を、周囲環境画像で知覚することができ、他方では、衝突を引き起こすことなく、自動車の操舵を行なうことができる。
【００３２】
選択基準には、さらに、運転者支援システムのセンサ装置によって、自動車の周囲環境中に、自動車の外部にある物体が検出されたときに、第２の周囲環境画像、すなわち、自動車から相対的に短い距離までの周囲エリアしか示さない周囲環境画像が生成されて、表示されるということを含めることができる。自動車と、自動車の外部にある物体との間の距離が、あらかじめ定められた閾値未満であるときに、第２の周囲環境画像が生成されて、表示されるように、この選択基準を定めることができる。実際、自動車と、自動車の外部にある物体との間の距離が、あらかじめ定められた閾値未満であるときには、運転者は、自動車のすぐ隣の、または自動車のすぐ近くの周囲環境の正確な画像を必要とする。第２の周囲環境画像が表示されると、運転者は、間隔が非常に詰まった状態、または非常に狭い場所においても、衝突を引き起こすことなく、操舵を行なうことができる。
【００３３】
センサデータに画像データが含まれる実施形態においては、画像データは、少なくとも１つの光学的な捕捉装置によって捕捉される。少なくとも２つの光学的な捕捉装置、好ましくは少なくとも３つの光学的な捕捉装置によって、画像データを捕捉するのが有利であることが、十分に明らかになっている。さらに、全部で４つの光学的な捕捉装置を設けることも可能である。したがって、複数の光学的な捕捉装置、すなわち、自動車の左側面に１つの捕捉装置、および／または左サイドミラーに１つの捕捉装置、および／または右側面に１つの捕捉装置、および／または右サイドミラーに１つの捕捉装置、および／または前部バンパーに１つの捕捉装置、および／または後部バンパーまたはテールゲートに１つの捕捉装置を、全て用いることが可能である。全ての捕捉装置を用いることによって、自動車のまわりの周囲環境の３６０°画像を捕捉することができる。少なくとも１つの捕捉装置は、例えばカメラ、具体的には特にＣＭＯＳ（相補型金属酸化膜半導体）カメラ、またはＣＣＤ（電荷結合素子）カメラである場合がある。
【００３４】
少なくとも１つの光学的な捕捉装置の各々は、１７０°〜１９５°の値の範囲の捕捉角度を有していることが好ましい。したがって、少なくとも１つの捕捉装置の各々は、魚眼カメラであることが好ましい。この場合には、３つまたは４つの捕捉装置しか用いずに、自動車のまわりの全周囲環境の画像を捕捉することができる。したがって、運転者支援システムは、相対的に少数の捕捉装置しか必要としない。
【００３５】
本発明は、さらに、自動車のための運転者支援システムを提供するものである。この運転者支援システムは、ナビゲーションデータを受信するためのナビゲーション受信器を備えている。運転者支援システムは、さらに、自動車の周囲環境に関するセンサデータを捕捉するための少なくとも１つのセンサを備えている。画像を表示するための表示装置が用意されている。運転者支援システムは、自動車に隣接する少なくとも１つの周囲エリアを示す周囲環境画像になるように、センサデータを処理することができる。運転者支援システムは、さらに、ナビゲーションデータを考慮に入れて、記憶されている地図データから地図画像を生成することができ、またその地図画像を表示装置に表示することができる。運転者支援システムは、表示装置上で地図画像を拡大させることができ、また地図画像があらかじめ定められた画像縮尺に達すると、地図画像から周囲環境画像への転換を行なうことができる。
【００３６】
本発明による自動車は、本発明による運転者支援システムを備えている。
【００３７】
本発明による方法に関して示した好適ないくつかの実施形態、およびそれらの利点は、本発明による運転者支援システムおよび自動車にも同様に適用される。
【００３８】
本発明のさらなる特徴が、請求項、図面、および図面の説明から明らかになると思う。上述の全ての特徴、および特徴の組み合わせ、および図面の説明において以下に述べる、および／または単に図面に示す全ての特徴および特徴の組み合わせを、各組み合わせの範囲内で用いることができるだけではなく、それら以外の組み合わせでも、または単独でも用いることができる。
【００３９】
以下において、好適で例示的な実施形態および添付図面を参照して、本発明を、より詳細に説明する。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態による運転者支援システムを備えている自動車の概要平面図である。
【図２】地図画像の一例を示す概要図である。
【図３】第１の周囲環境画像の一例を示す概要図である。
【図４】第２の周囲環境画像の一例を示す概要図である。
【図５】本発明の一実施形態による方法のフローチャートである。
【発明を実施するための形態】
【００４１】
図１に示すように、自動車１は乗用車である。自動車１は、次の部品、すなわち、表示装置３、制御装置４、４つのカメラ５ａ〜５ｄ、およびナビゲーション受信器１４（例えばＧＰＳ受信器）を有する運転者支援システム２を備えている。制御装置４は、表示装置３を作動させる。カメラ５ａ〜５ｄは、例えば自動車１の内部通信バスを介して、捕捉した画像データを制御装置４に転送する。本発明によれば、カメラ５ａ〜５ｄはセンサであり、画像データはセンサデータである。
【００４２】
運転者支援システム２は、さらに、センサデータを捕捉するためのさらなるセンサ、すなわち少なくとも１つの超音波センサ、および／または少なくとも１つのレーダ装置、および／または少なくとも１つのレーザスキャナを備えている場合がある。
【００４３】
表示装置３は、例えばＬＣＤディスプレイである場合がある。しかしながら、表示装置３は、自動車１のフロントガラス６に画像を投影することができる画像プロジェクタ（ヘッドアップディスプレイ）である場合もある。
【００４４】
自動車１の画像、より正確には、自動車１の画像を表わすデータが、制御装置４、より詳細には記憶装置７に記憶されている。
【００４５】
カメラ５ａ〜５ｄは、自動車１の外面に搭載されている。図１には、カメラ５ａ〜５ｄの数および配置が、単に一例として示されているにすぎない。各実施形態に応じて、カメラ５ａ〜５ｄの数、およびそれらの、自動車１上への配置は変わり得る。例示的な一実施形態においては、第１のカメラ５ａは、自動車１の前部バンパー上に配置されており、一方、第２のカメラ５ｂは、後部バンパー上、またはテールゲート上に配置されている。第３のカメラ５ｃは、左側面に搭載されている。しかしながら、第３のカメラ５ｃは、左サイドミラー８に一体化されている場合もある。第４のカメラ５ｄは、右側面に、より詳細には、右サイドミラー９の近傍に搭載されている。第４のカメラ５ｄは、右サイドミラー９に一体化されている場合もある。
【００４６】
カメラ５ａ〜５ｄの各々は、広角の捕捉角度を有しており、したがって、魚眼カメラと呼ばれる。それぞれの捕捉角度は、例えば１７０°〜１９５°の値の範囲にある場合がある。図１から明らかなように、第１のカメラ５ａは、自動車１の前方のエリア１０の画像を捕捉し、一方、第２のカメラ５ｂは、自動車１の後方のエリア１１の画像を捕捉する。同様に、第３のカメラ５ｃは、自動車１に隣接する左方のエリア１２の画像を捕捉し、第４のカメラ５ｄは、自動車１に隣接する右方のエリア１３の画像を捕捉する。したがって、カメラ５ａ〜５ｄは、それらの全体で、実質的に、自動車１のまわりの全周囲環境の画像、すなわち３６０°画像を捕捉することができる。
【００４７】
制御装置４は、カメラ５ａ〜５ｄによって捕捉された画像データを処理することができる。制御装置４は、それらの画像データを基にして、自動車１の周囲環境、すなわち捕捉されたエリア１０〜１３の、自動車１の上方から見た平面図を表わす画像を生成することができる。したがって、制御装置４は、捕捉されたエリア１０〜１３の、空中から見た平面図を表わす画像を、画像データから生成することができる。
【００４８】
前述のように、自動車１の画像は、記憶装置７に記憶されている。この画像も、空中から見た自動車１を表わしている。言い換えると、この画像は、自動車１の上方から見た自動車１の平面を表わしている。制御装置４は、自動車１の画像と、カメラ５ａ〜５ｄによって捕捉された画像データを基にして生成された、周囲環境の画像とから、周囲環境画像を生成することができる。この周囲環境画像は、自動車１と自動車１のまわりの周囲環境との両方が含まれる平面図、すなわち空中から見た図を表わしている。したがって、単一の周囲環境画像中に、自動車１の周囲環境と自動車１自体との両方が、空中から表示される。制御装置４は、この周囲環境画像を、表示装置３に表示することができる。この周囲環境画像を、連続的に表示することができる。これは、周囲環境画像を、自動車１の周囲環境に、連続的、および／または動的に適合させることができるということを意味する。実際、画像データは、カメラ５ａ〜５ｄによって連続的に捕捉され、周囲環境画像は、連続的に捕捉された画像データから、その都度、新しく生成される。周囲環境画像において、自動車１を、固定した位置に、すなわち静止した状態で示すことができ、一方、周囲環境の画像を、連続的に更新して、その都度の周囲環境に適合させることができる。
【００４９】
制御装置４は、さらに、他のセンサ、すなわち少なくとも１つの超音波センサ、および／または少なくとも１つのレーダ装置、および／または少なくとも１つのレーザスキャナのセンサデータを考慮に入れて、周囲環境画像を生成することができる。例えばそれらのセンサデータに基づいて、自動車１の周囲環境中に検出される、自動車の外部にある物体を表わす、センサデータに合わせて生成される図式的な記号を、周囲環境画像中に含ませることができる。
【００５０】
例示的な一実施形態において、制御装置４は、カメラ５ａ〜５ｄの画像データと、場合によってはさらなるセンサデータとから、原理的に、２つの相異なる周囲環境画像を生成することができる。実際、制御装置４は、図３の概要図に一例として示されており、符号１５を付されている第１の周囲環境画像を生成することができる。第１の周囲環境画像１５を、表示装置３に表示することができる。第１の周囲環境画像１５は、自動車１’および自動車１’のまわりの周囲エリア１６の、空中から見た平面図を表わしている。図３には詳細に示されていないが、周囲環境画像１５において、実際の周囲エリア１６が示される。すなわち、周囲エリア１６は実際どおりに表示される。これは、カメラ５ａ〜５ｄが、自動車１のまわりの実際の周囲環境の画像を捕捉し、制御装置４が、画像データから周囲環境画像１５を、リアルタイムに、その都度、新しく生成するからである。第１の周囲環境画像１５は、７〜１３ｍの値の範囲の、自動車１’からの距離１７までの周囲エリア１６を表わすことが特徴である。第１の周囲環境画像１５は、横方向に１０ｍないし１１ｍの距離１７まで、前後方向に８ｍないし９ｍの距離１７まで、自動車１’に隣接している周囲エリア１６を示している場合がある。したがって、従来の、空中から見た図に比して、第１の周囲環境画像１５は、相対的に長い距離１７まで、自動車１’から遠方に延びている、より広い周囲エリア１６を示している。
【００５１】
原理的に、２つの相異なる方法で、第１の周囲環境画像１５を生成することができる。一方の方法においては、周囲環境画像１５を生成するために、その都度、すなわちその時点において捕捉された画像データだけを用いることができる。他方の方法（距離１７までの周囲エリア１６の画像を捕捉することができない場合の）においては、その時点において捕捉された画像データと、それ以前に捕捉された画像データとの両方から、周囲環境画像１５を生成することができる。したがって、この他方の方法によれば、オドメトリ（走行距離計測法）を用いて、周囲環境画像１５を生成することができる。
【００５２】
制御装置４は、さらに、図４に概要図として例示的に示されているような、第２の周囲環境画像１８を生成することができる。この第２の周囲環境画像１８も、自動車１’と自動車１’のまわりの周囲エリア１９との、空中から見た平面図を表わしている。図４には明示されていないが、周囲環境画像１８も、周囲エリア１９の実際の画像を表わしている。図４から明らかなように、図４中の自動車１’の画像は、図３の第１の周囲環境画像１５中の自動車１’の画像より大きい。これは、第２の周囲環境画像１８が、相対的に短い、自動車１’からの距離２０までの周囲エリア１９しか示していないという事実による。この距離２０は、例えば５０ｃｍ〜２ｍの値の範囲にある場合がある。第２の周囲環境画像１８は、例えば横方向に１．５ｍの距離２０まで、前後方向に５０ｃｍの距離２０まで、自動車１'に隣接している周囲エリア１９を示している場合がある。したがって、第２の周囲環境画像１８に基づいて、運転者は、自動車１と、周囲エリア１９中に存在する、自動車の外部にある障害物との間のそれぞれの距離を、高い精度で推測することができる。
【００５３】
選択次第で、第１の周囲環境画像１５と第２の周囲環境画像１８とのどちらでも、表示装置３に表示することができる。すなわち、第１の周囲環境画像１５と第２の周囲環境画像１８とのうちのどちらかを表示することができる。
【００５４】
前述のように、運転者支援システム２は、さらに、ナビゲーションデータ（ＧＰＳデータ）を受信するためのナビゲーション受信器１４（この例においては、ＧＰＳ受信器）を備えている。このナビゲーションデータには、自動車１の全地球位置に関する情報が含まれている。これは、制御装置４が、ナビゲーションデータに基づいて、自動車１の各瞬時全地球位置を推断することができることを意味している。制御装置４は、さらに、自動車１のその時点における全地球位置に対応させて地図画像２１を生成し、それを表示装置３に表示することもできる。地図画像２１の一例が、図２に概要図として示されている。制御装置４は、記憶されている地図データ（例えば制御装置４の記憶装置７に記憶させることができる）、またはオンラインで利用可能になる地図データから、地図画像２１を生成することができる。この地図画像２１には、自動車１の各瞬時全地球位置と、さらに、自動車１が進む道路と、場合によっては、さらに、さらなる道路と、さらには、自動車１の周囲環境中に存在する施設および建物が示される。地図画像２１も、空中から見た図である、すなわち、空中から見た、自動車１の周囲環境を示す。しかしながら、地図画像２１には、自動車１の実際の周囲環境が示されず、また周囲環境の実際の瞬時状態も示されない。これは、地図画像２１が、リアルタイムに生成することができない、記憶されている地図データに基づくからである。地図画像２１は、場合によっては、人工衛星からの画像（記憶装置７にあらかじめ記憶された画像データとして記憶されている場合がある）に基づく場合もある。
【００５５】
しかしながら、地図画像２１は、特に、表示装置３上にかなり拡大されたときに、望みの解像度を備えていない。地図画像２１が、例えば運転者による入力に基づいて、比較的大きな画像縮尺、またはズーム比まで拡大されると、解像度２１は、運転者がこの地図画像２１をほとんど扱うことができなくなるほど、極めて低くなる。さらに、地図画像２１には、自動車１の実際の瞬時周囲環境に関する何らの情報も含まれていない。地図画像２１には、例えば各時点において周囲環境中に位置している如何なる障害物も表示することができない。したがって、例示的な一実施形態において、あらかじめ定められた画像縮尺（ズーム比）、またはあらかじめ定められた解像度に達した後に、地図画像２１の拡大、すなわちズーミングが生じると、地図画像２１から周囲環境画像１５、１８のうちのいずれか一方への転換が起こるように設定される。したがって、運転者は、表示装置３に表示された周囲環境画像１５または１８を供給される。それらの周囲環境画像１５、１８は、どちらも、地図画像２１より相当に高い解像度を有しており、さらに、自動車１の瞬時周囲環境に関する実際通りの情報を含んでいる。
【００５６】
次に、図５を参照して、本発明の一実施形態による方法を、より詳細に説明する。この方法は、制御装置４が、記憶されている地図データから地図画像２１を生成し、それを表示装置３に表示する第１のステップＳ１で開始する。地図画像２１には、地図上の自動車１のその時点における全地球位置が示される。
【００５７】
次のステップにおいて、制御装置４は、表示装置３上の地図画像２１のズーミングすなわち拡大が指示されている否かをチェックする。すなわち、ステップＳ２ａにおいて、制御装置４は、地図画像２１の拡大を要求する入力が、操作者によって、運転者支援システム２の入力装置上で行われているか否かをチェックする。それと並行して、すなわち同時に、ステップＳ２ｂにおいて、制御装置４は、自動車１が、あらかじめ定められた場所（例えばあらかじめ定められた町またはあらかじめ定められた道路）に到着しているか否かをチェックする。それと並行して、すなわち同時に、ステップＳ２ｃにおいて、制御装置４は、自動車１のあらかじめ定められた周囲エリア中に、自動車の外部にある物体が出現しているか否かをチェックする。
【００５８】
地図画像２１の拡大を要求する入力が検出された場合、および／または自動車１が目的地に到着している場合、および／または自動車１のあらかじめ定められた周囲エリアに、物体が検出された場合には、表示装置３上の地図画像２１が、制御装置４によって拡大される、すなわちズーミングされる。この地図画像２１の拡大は、ステップＳ３において生じる。次のステップＳ４において、制御装置４は、地図画像２１が、あらかじめ定められた画像縮尺またはあらかじめ定められた解像度に達しているか否かをチェックする。あらかじめ定められた画像縮尺に達していない場合には、この方法は、ステップＳ３に戻り、地図画像２１はさらに拡大される。ステップＳ４において、あらかじめ定められた画像縮尺に達している場合には、次のステップＳ５において、選択基準に対する判定がなされる。これによって、第１の周囲環境画像１５か第２の周囲環境画像１８かのいずれかが選択される。次に、ステップＳ６において、選択された周囲環境画像が、表示装置３に表示される。すなわち、地図画像２１から、周囲環境画像１５または１８への転換が生じる。
【００５９】
選択基準には、次の内容が含まれている。
−  ステップＳ６において、地図画像２１の拡大が、運転者による入力に基づいて生じる場合には、最初に、地図画像２１から第１の周囲環境画像１５への転換が生じる、および／または、
−  地図画像１０の拡大が、自動車１の、目的地への到着に基づいて生じる場合には、地図画像２１から第１の周囲環境画像１５への転換が生じる、および／または、
−  自動車１のあらかじめ定められた周囲エリアに、自動車の外部にある物体が検出された場合には、地図画像２１から、直接に第２の周囲環境画像１８への、または第１の周囲環境画像１５を介して、間接に第２の周囲環境画像１８への転換が生じる。
【００６０】
さらに、一般的には、地図画像２１から、第１の周囲環境画像１５を介して、間接的にしか第２の周囲環境画像１８への転換が生じない場合もあり得る。そのため、画像間の継続的な、すなわち急激に変化しない移行が生じる。
【００６１】
さらに、地図画像２１から周囲環境画像１５、１８への移行の際に、転換の直後において、周囲環境画像１５、１８が、転換の直前の地図画像２１と同じ観察方向から、また同じ観察地点において示されるように考慮される。さらに、転換の直後において、周囲エリアが自動車１から広がっている距離が、転換の直前の距離に等しくなるようにすることが可能である。したがって、画像間の継続的な移行、すなわち急激に変化しない移行が達成される。
【符号の説明】
【００６２】
１、１’  自動車
２  運転者支援システム
３  表示装置
４  制御装置
５ａ〜５ｄ  カメラ
６  フロントガラス
７  記憶装置
８  左サイドミラー
９  右サイドミラー
１０〜１３  エリア
１４  ナビゲーション受信器
１５、１８  周囲環境画像
１６、１９  周囲エリア
１７、２０  距離
２１  地図画像
【図１】
2013535753.tif 000003
【図２】
2013535753.tif 000004
【図３】
2013535753.tif 000005
【図４】
2013535753.tif 000006
【図５】
2013535753.tif 000007
【国際調査報告】
2013535753.tif 000008
2013535753.tif 000009
2013535753.tif 000010
2013535753.tif 000011
2013535753.tif 000012
2013535753.tif 000013