(57)【要約】【課題】  車両環境を表示装置上に提示するための方法、表示装置、複数の撮像ユニットと表示装置とを備えるシステム、コンピュータプログラムを提供する。【解決手段】  本発明は、車両環境を表示装置上に提示するための方法であって、第１の方法ステップで、撮像ユニットによって画像区域を形成するために複数の画素を記録することにより、撮像ユニットによって複数の画像区域が撮像され、第２の方法ステップで、複数の画像区域がマージされて、車両環境を表す環境画像を形成し、第３の方法ステップで、環境画像が表示装置上に提示され、第４の方法ステップで、少なくとも１つの画素と撮像ユニットとの間の画素距離が決定され、第５の方法ステップで、少なくとも１つの画素に関連付けられる画像区域が、画素距離に応じて表示装置上に自動的に表示され、および／または少なくとも１つの画素が、画素距離に応じて、環境画像内の結像画素上に結像される方法を提案する。【選択図】  図１
2015221662.tif 000002
【特許請求の範囲】
【請求項１】
車両環境を表示装置上に提示するための方法であって、
第１の方法ステップで、それぞれ１つの撮像ユニットによって画像区域を形成するために複数の画素（Ａ、Ｂ）を記録することにより、撮像ユニット（２）によって複数の画像区域が撮像され、
第２の方法ステップで、複数の画像区域がマージされて、車両環境を表す環境画像を形成し、
第３の方法ステップで、前記環境画像が前記表示装置上に提示され、
第４の方法ステップで、少なくとも１つの画素（Ｂ）と前記撮像ユニットとの間の画素距離（１１）が決定され、
第５の方法ステップで、
前記少なくとも１つの画素（Ｂ）に関連付けられる前記画像区域が、前記画素距離（１１）に応じて前記表示装置上に自動的に表示され、および／または
前記少なくとも１つの画素が、前記画素距離（１１）に応じて、前記環境画像内の結像画素（Ｂ’）上に結像される
方法。
【請求項２】
前記第４の方法ステップで、前記画素距離（１１）を決定するために、環境センサシステムおよび／または前記撮像ユニット（２）が使用される請求項１に記載の方法。
【請求項３】
前記第５のステップで、前記マージされた環境画像内で、前記少なくとも１つの画素がどれも臨界値未満の画素距離（１１）を有さないと判断された場合に、前記少なくとも１つの画素に関連付けられる前記画像区域が、前記マージされた環境画像から切り離されて自動的に提示される請求項１または２に記載の方法。
【請求項４】
前記第４の方法ステップでの結像のために、前記撮像ユニット（２）の視野内に位置する前記少なくとも１つの画素（Ｂ）が変換面（３）上に投影され、前記少なくとも１つの画素（Ｂ）を前記変換面（３）上に投影することによって、前記環境画像内の前記結像画素（Ｂ’）の位置が定義され、使用される前記変換面（３）が、前記車両（１）の主延在域に実質的に平行な面である請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記少なくとも１つの画素（Ｂ）が、前記変換面（３）に実質的に垂直な方向に沿って前記変換面（３）上に投影される請求項１〜４のいずれか一項に記載の方法。
【請求項６】
歪みのない結像を実現するために、前記第４の方法ステップで、前記少なくとも１つの画素（Ｂ）を前記変換面（３）上に投影するために前記画素距離（１１）が使用される請求項５に記載の方法。
【請求項７】
前記少なくとも１つの画素（Ｂ）に関連付けられる前記画像区域の前記切り離された提示が、前記環境画像と共に前記表示装置上に提示される請求項１〜６のいずれか一項に記載の方法。
【請求項８】
車両環境を提示するための表示装置であって、請求項１〜７のいずれか一項に記載の環境画像を再生するために使用することができる表示装置。
【請求項９】
複数の撮像ユニット（２）と表示装置とを備えるシステムであって、前記複数の撮像ユニット（２）と前記表示装置とを用いて、請求項１〜７のいずれか一項に記載の方法を実現することができるシステム。
【請求項１０】
プログラム符号化手段を有するコンピュータプログラムであって、車両環境を表示装置上に提示するためのプログラマブルデバイスまたはシステムで実行される場合に、前記プログラム符号化手段を用いて、請求項１〜７のいずれか一項に記載の方法の全てのステップを行うことができるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲の環境（以下、単に、車両環境とする）を表示装置上に提示するための方法、表示装置、複数の撮像ユニットと表示装置とを備えるシステム、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
車両環境を表示装置上に提示するための方法は、特に駐車支援として知られており、典型的にはダッシュボードに組み込まれた表示装置を運転者が閲覧することによって、駐車時に運転者を支援することを意図している。ここで、表示装置は、例えばカメラなど撮像ユニットによって画像素材を供給される。そのような撮像ユニットは特に車両に取り付けられる。撮像ユニットによって撮像される画像区域によって、従来のようにバックミラーを使用するときや肩越しに見るときには見えない領域を乗員、特に運転者が視覚的に確認できるようになる。しかし、表示装置を有効に使用可能にするには、表示装置で提示される環境画像を運転者が信頼できなければならない。このための前提条件は、結像中またはさらなる画像処理中に関連部分が失われることなく、できるだけ大きい領域にわたって車両環境が提示された、縮尺のずれがない画像である。
【０００３】
できるだけ大きい環境画像を生成するために、典型的には画像区域がマージまたは融合される。ここで、画像区域はそれぞれ１つの撮像ユニットによって記録される。このために、２つの撮像ユニットが例えば車両のバンパに一体化され、または組み込まれ、２つのさらなる撮像ユニットが車両の外部ミラーに一体化され、または組み込まれる。典型的には、運転者は、表示装置上での提示を手動で選択することができ、マージされた環境画像が提示される、および／または、環境画像から切り離された、環境画像の一部のみを示す少なくとも１つの画像区域が提示される。従来技術から知られている方法は、互いに高さのずれた画素が結像される場合に環境画像内に歪みが生じ得るという欠点を有する。さらに、環境画像への結像中に関連画素が失われることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、関連画素が失われることを懸念する必要なく、できるだけ縮尺のずれがない車両環境の画像を表示装置上で環境画像に示すことを可能にする簡単な方法を提供することである。
【課題を解決するための手段】
【０００５】
本発明の目的は、車両環境を表示装置上に提示するための方法であって、
第１の方法ステップで、それぞれ１つの撮像ユニットによって画像区域を形成するために複数の画素を記録することにより、撮像ユニットによって複数の画像区域が撮像され、
第２の方法ステップで、複数の画像区域がマージされて、車両環境を表す環境画像を形成し、
第３の方法ステップで、環境画像が表示装置上に提示され、
第４の方法ステップで、少なくとも１つの画素と撮像ユニットとの間の画素距離が決定され、
第５の方法ステップで、
−少なくとも１つの画素に関連付けられる画像区域が、画素距離に応じて表示装置上に表示され、および／または
−少なくとも１つの画素が、画素距離に応じて、環境画像内の結像画素上に結像される
方法によって実現される。
【０００６】
従来技術とは対照的に、ここでは、画素距離を決定することによって、少なくとも１つの画素の結像を環境画像内の結像画素に一致させる。特に修正することが可能であり、また、ある画素が表示装置内で考慮されない虞がある場合に、表示装置での提示の形態を自動で制御することも可能である。ここで、表示装置上への車両環境の提示中、画素距離は、２つの実質的に異なる改良処置のために使用される。これは、追加の監視または修正測定をなくすことができるので、方法を比較的複雑でないものにする。ここでは、特に、少なくとも１つの画素が環境画像内のどの位置に結像されるかを画素距離が決定することにもなっており、上記の結果、個々の画素間の高さのずれを、できるだけ現実に近い形で撮像することができる。さらに、画素距離を使用して、マージされた環境画像のみが表示装置で示される環境画像モードから、複数の画像区域のうちの少なくとも１つの画像区域が表示装置で示される補完モードへの切換えが自動的に行われることを自動的に保証可能である。これは、通常であれば、表示装置の使用に関連する画素が環境画像内に転送または結像されない虞があるときに特に有利である。
【０００７】
表示装置は、好ましくは車内、例えばダッシュボードに組み込まれる。表示装置は運転者の視野内に位置されて、運転者は、表示装置によって示される環境画像によって車両環境について情報を得る。そこで、運転者は、有利には駐車支援として環境画像を使用することができる。特に、撮像ユニットがそれぞれ異なる位置に、特に車両の車体に位置されるようになっている。それらの撮像ユニットは好ましくはバンパに配置され、さらなる撮像ユニットが車両の外部ミラーに配置される。上記の結果、できるだけ大きな領域にわたって車両環境を提示することが可能であり、有利には運転者が全体を把握できるようになる。また、特に、環境画像が鳥瞰図で、すなわち平面図で車両環境を提示することも考えられる。
【０００８】
本発明の有利な構成および発展形態は、従属請求項および図面を参照した説明から得ることができる。
【０００９】
本発明のさらなる実施形態では、第４の方法ステップで、画素距離を決定するために、環境センサシステムおよび／または撮像ユニットが使用されるようになっている。その結果、画素距離を容易に、かつ簡単に決定することができる。特に、複数の画素に関して１つずつまたは個別に画素距離が決定されて、できるだけ縮尺のずれがない、したがって現実に近い画像を実現することが可能である。
【００１０】
本発明のさらなる実施形態では、第５のステップで、マージされた環境画像内で、上記少なくとも１つの画素がどれも臨界値未満の画素距離を有さないと判断された場合に、上記少なくとも１つの画素に関連付けられる画像区域が、切り離された形で自動的に提示されるようになっている。車両の近傍の画素は、例えば駐車、特に後進駐車に重要である。例えば画像区域を融合することによって車両の近傍のそのような画素が環境画像内で消えている場合、乗員は、結像装置で提示される環境画像を信頼できない。したがって、車両の近傍の画素を自動的に考慮に入れることによって、表示装置の使用を改良することができる。
【００１１】
本発明のさらなる実施形態では、第４の方法ステップでの結像のために、撮像ユニットの視野内に位置する少なくとも１つの画素が変換面上に投影される。上記少なくとも１つの画素を変換面上に投影することによって、環境画像内の結像画素の位置が定義され、使用される変換面が、車両の主延在域に実質的に平行な面であるようになっている。特に、変換面は、車両の車体底面の主延在域の平面に実質的に平行である。ここで、撮像ユニットの視野が、変換面と実質的に位置合わせされることが考えられる。ここで、例えば撮像ユニットよりも上に位置しているので変換面上に投影することができない画素は、特定の状況下で失われる場合がある。対応する個別の画像区域、したがって切り離された画像区域の自動的な切換えまたは追加によって、表示装置によって上記のような画素が考慮されなくなることが防止される。ここでの実用的な例は、より高い位置にあるフェンスによって後ろ側を制限された駐車位置への後進駐車である。
【００１２】
本発明のさらなる実施形態では、少なくとも１つの画素が、変換面に実質的に垂直な方向に沿って変換面上に投影されるようになっている。投影時、撮像ユニットの視野に含まれる視野方向に従うのではなく、少なくとも１つの画素、特に変換面に対して高さのずれた画素が、変換面に垂直な方向に沿って投影される。上記の結果、有利には、環境画像内の結像画素の歪み、すなわち光学的な変形が抑制され、できるだけ縮尺のずれがない表示装置上への車両環境の結像が行われる。
【００１３】
さらなる実施形態では、歪みのない結像を実現するために、第４の方法ステップで、変換面上に少なくとも１つの画素を投影するために画素距離が使用されるようになっている。特に、画素距離により、変換面上への投影が行われるべき車両からの距離を決定できる。その結果、環境画像内に画素を結像するときに、水平結像距離が水平方向の実際の距離に対応することが保証される。したがって、有利には結像中に歪みが抑制され、それに対応して、縮尺のずれがない環境画像が実現される。
【００１４】
本発明のさらなる実施形態では、少なくとも１つの画素に関連付けられる画像区域の切り離された提示が、環境画像と共に表示装置上に提示されるようになっている。個々の画像区域の環境画像を好適に同時に提示することによって、提示形態を自動的に切り替える際に運転者への情報が失われず、車両環境に関する運転者の視覚的認識が表示装置によって制限されない。
【００１５】
本発明のさらなる主題は、車両環境を提示するための表示装置であって、本発明による方法による環境画像を再生するために使用することができる表示装置である。
【００１６】
本発明のさらなる主題は、複数の撮像ユニットと表示装置とを備えるシステムであって、複数の撮像ユニットと表示装置とを用いて本発明による方法を実現することができるシステムである。
【００１７】
本発明のさらなる主題は、プログラム符号化手段を有するコンピュータプログラムであって、車両環境を表示装置上に提示するためのプログラマブルデバイスまたはシステムで実行される場合に、プログラム符号化手段を用いて、本発明による方法の全てのステップを行うことができるコンピュータプログラムである。
【００１８】
本発明のさらなる詳細、特徴、および利点は、図面から、および図面に基づく好ましい実施形態の以下の説明から分かる。ここで、図面は、本発明の例示的実施形態を示すにすぎず、これは本発明の範囲を限定しない。
【図面の簡単な説明】
【００１９】
【図１】従来技術と比較した、本発明の第１の例示的実施形態による車両環境を表示装置上に提示するための方法を示すための図であり、（ａ）は本発明の例示的実施形態について示した図、（ｂ）は従来技術による方法について示した図である。
【発明を実施するための形態】
【００２０】
異なる図において、同一の部分は常に同じ参照符号で表し、典型的にはそれぞれ１度だけ呼称して言及する。
【００２１】
図１は、右側（ａ）に、本発明の例示的実施形態による車両環境を表示装置上に提示するための方法を概略的に示し、左側（ｂ）に、従来技術による方法を概略的に示す。それぞれの図の上には、車両１の側面図が示されており、下にはそれぞれ平面図が示されている。上記平面図は、例えば表示装置での閲覧画像としても選択される。特に、それぞれの下の図は、表示装置で示されることがあり得る環境画像に対応する。特に、車両環境を提示するための方法が駐車支援として使用されるようになっており、また、好ましくはダッシュボードに組み込まれた表示装置を閲覧することによって車両１の乗員が駐車中に支援されるようにもなっている。表示装置は、特に、車両環境が提示されるモニタである。上記目的で、撮像ユニット２、例えばカメラが車両１に取り付けられる。例えば、１つまたは複数の撮像ユニット２が車両１のバンパに組み込まれる。しかし、少なくとも１つのさらなる撮像ユニット２が車両１の外部ミラーに取り付けられることも考えられる。さらに、複数の撮像ユニット２が、実質的に共通の優先方向に沿って、特に車両１の後ろ方向に沿って位置合わせされるようになっている。また、複数の撮像ユニット２の個々の撮像ユニット２がそれぞれ個々の画像区域を記録するようにもなっている。次いで、環境を提示するために、好ましくは複数の画像区域がマージされて環境画像を形成し、ここで、個々の画像区域から融合された環境画像が最終的に表示装置で提示される。できるだけ現実に近い車両環境の印象を得るために、環境画像が、できる限り歪みなく、すなわち光学的な変形なく提示されることが望ましい。ここで好ましくは、物体５が撮像ユニット２の視野８内に位置し、上記の結果、結像すべき画素ＡとＢが、互いに対して、特に変換面３（上記変換面３に沿って車両１が実質的に位置合わせされている）に対して高さがずれた状態で位置される場合に、上記のような歪みが生じる。特に、車体底面が変換面３に実質的に平行であるようになっている。このとき、高さのずれた画素Ｂを、視野によって特定される視野方向に沿って変換面３上に投影すると、さらなる処置を施さなければ、最終的な環境画像の望ましくない歪みが生じることになる。このとき、撮像ユニットを使用した結像により、車両１と高さのずれた結像画素Ｂ’との間の水平結像距離１５は、高さのずれた画素Ｂと車両１との間の水平方向の実際の距離１４よりも長く提示される。
【００２２】
上記歪みを防ぐために、画素距離１１が決定されるようになる。ここで、画素距離１１は、結像すべき画素ＡまたはＢと撮像ユニット２との間の距離によって定義される。特に、複数の画素ＡおよびＢに対する画素距離１１がそれぞれ決定される。ここで、画素距離１１を決定するために、撮像ユニットおよび／または追加の環境センサシステムが使用される。視野内に位置する画素ＡおよびＢに関して、それぞれの画素距離と共に、縮尺のずれがない状態で車両環境が環境画像上に結像されるように、環境画像内に結像される画素Ａ’およびＢ’を修正することが可能である。特に、上記修正は、車両１と高さのずれた結像画素Ｂ’との間の水平結像距離１５が、車両１と高さのずれた結像画素Ｂ’との間の水平方向の実際の距離１４に対応することを保証する。このために、好ましくは画素距離１１を使用して、縮尺のずれがない画像を得られるように、高さのずれた画素Ｂを変換面３に実質的に垂直な方向に沿って変換面３上に投影する。さらに考えられることとして、画像区域を横切って等間隔で分布された主画素に関して画素距離１１が決定される。主画素に関して決定されたそれらの画素距離１１に基づいて、主画素間に位置される副画素に関する残りの画素距離１１が補間される。さらに、画素距離１１は、上記の結像修正の形での結像一致のために使用されるだけでなく、個々の画像区域が、環境画像から切り離されて表示装置で提示されるかどうかを判断するためにも使用されるようになっている。このために、マージされた環境画像内に、臨界値を下回っている画素距離１１を有する画素ＡまたはＢが存在していないかどうかについてチェックが行われるようになっている。上記のような画素ＡまたはＢが存在しないという前提条件の下で、好ましくは、画像区域が、環境画像から切り離されて自動的に提示され、あるいは個別に、または環境画像から切り離されて乗員、特に運転者に利用可能になる。好ましくは、切り離された画像区域は、表示装置で提示される。関連画像区域に関する提示を自動的に切り替えることによって、有利には、結像すべき画素ＡまたはＢが車両のごく近傍に位置する場合に、画像区域を融合またはマージする際に失われる画素ＡまたはＢが無視されないことが保証される。好ましくは、切換えは、光学および／または音響警告信号に関連付けられる。上記の結果、乗員または運転者が表示装置を閲覧するときに、例えば車両１の駐車に関連する画素ＡまたはＢが消えている可能性が有利には減少される。
【符号の説明】
【００２３】
２  撮像ユニット
３  変換面
１１  画素距離
Ａ  画素
Ｂ  画素
Ｂ’  結像画素
【図１】
2015221662.tif 000003