(57)【要約】  本発明は、車両のための視覚化技術に関し、車両のドライバは、前方に面したビデオカメラと、前方に面した距離測定を組み合わせる。カメラの出力信号を組み合わせて、拡張現実ディスプレイを車両のドライバに提供することにより、ドライバの視線から外れる場合であっても、車両に対する地形学的特徴物を認識させることができる。
2014531799.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方にある光景を撮像するカラーカメラと、
光景からの情報をドライバに示す視覚ディスプレイデバイスと、
光景の電気的画像を反復的に撮像して、光景の３次元モデルを形成するように構成された距離画像カメラシステムとを備えた車両であって、
光景のカラー画像が３次元モデルに組み合わされ、視覚ディスプレイデバイスに表示され、
光景の関心ある領域の画像内の大きさ、形状、および位置のうちの１つまたはそれ以上のものに関連する所定の基準に照らして、視覚ディスプレイデバイス上の光景の関心ある領域が視覚的に改善されることを特徴とする車両。
【請求項２】
光景は平面表示されることを特徴とする請求項１に記載の車両。
【請求項３】
光景の視点が変更可能であることを特徴とする請求項１または２に記載の車両。
【請求項４】
光景の視点が車両のドライバにより選択可能であることを特徴とする請求項３に記載の車両。
【請求項５】
光景の関心ある領域が近接することに関連する所定の基準に照らして、視覚ディスプレイデバイス上の光景の関心ある領域が視覚的に改善されることを特徴とする請求項１〜４のいずれか１に記載の車両。
【請求項６】
１つまたはそれ以上のものに関連する所定の基準が、ドライバにより選択可能であることを特徴とする請求項１〜５のいずれか１に記載の車両。
【請求項７】
車両の高さは、所定の基準を３次元に適用するために決定されることを特徴とする請求項１〜６のいずれか１に記載の車両。
【請求項８】
衝突計算機により自動的に起動されるように構成された電動ブレーキシステムを有することを特徴とする請求項１〜７のいずれか１に記載の車両。
【請求項９】
衝突計算機は、車両のドライバにより動作不能に設定されることを特徴とする請求項８に記載の車両。
【請求項１０】
視覚ディスプレイデバイスを有する移動車両の前方にある光景を、車両のドライバのために視覚化する方法であって、
光景の実質的に連続的なカラー表示画像を車両から収集するステップと、
車両に搭載された距離画像カメラシステムから光景の画像データを反復的に収集するステップと、
反復的に収集した画像データから光景の３次元モデルを形成するステップと、
３次元モデルと表示画像を組み合わせて、視覚ディスプレイデバイス上の光景の拡張された表示画像を形成するステップと、
光景の関心ある領域の画像内の大きさ、形状、および位置のうちの１つまたはそれ以上のものに関連する所定の基準に照らして、視覚ディスプレイデバイス上の光景の関心ある領域が視覚的に改善するステップとを有することを特徴とする方法。
【請求項１１】
拡張された表示画像を平面表示するステップを有することを特徴とする請求項１０に記載の方法。
【請求項１２】
拡張された表示画像の選択可能な視点を提供するステップをさらに有することを特徴とする請求項１０または１１に記載の方法。
【請求項１３】
拡張された表示画像を選択された拡大比で拡大表示するステップをさらに有することを特徴とする請求項１０〜１２のいずれか１に記載の方法。
【請求項１４】
光景の関心ある領域を選択する際に、車両の高さを決定するステップをさらに有することを特徴とする請求項１０〜１３のいずれか１に記載の方法。
【請求項１５】
光景の関心ある領域は障害物であることを特徴とする請求項１〜９のいずれか１に記載の車両、または請求項１０〜１４のいずれか１に記載の方法。
【請求項１６】
添付図面を参照して本願明細書に実質的に記載されたように構成され、および／または配置されたシステム、方法、または車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地形視覚化に関し、特にオフロード運転時に利用されるものである。本発明の態様は、システム、車両、および方法に関する。
【背景技術】
【０００２】
数多くの車両がオフロード性能を有する。しかし車両のオフロード性能は、ドライバの技量および経験により制約を受けることがある。すなわち車両ドライバが、たとえば車両の車高制限、車両のホイールベース、車両の進入角および退出角について周知していないことがあり、これらのすべては車両が地形学的障害物を回避して通過するか否かを判断する上で考慮しなければならないものである。
【０００３】
特に問題となるのは、車両の前輪がたとえば巨礫（大きな石）や凹み等の障害物に達する十分手前で、車両のドライバがこうした障害物を見失うことである。低速（２０ｋｍ／ｈ未満）およびとりわけ超低速（５ｋｍ／ｈ未満）のとき、車両のドライバは、障害物が車両の車輪に接近する時点を判断することができず、他の地形学的形状を考慮して車両に起こる事象を可視化することができない。さらにドライバは、車両がハンドル操舵の入力および修正を受けているところであるにもかかわらず、車両の前輪に対する障害物の位置を推定しなければならない。またドライバは、障害物が後輪を通過するときも、ずっと障害物に注意を払う必要がある。
【０００４】
より一般的な問題は、狭小な間隙または岩山の間の狭い溝を通過する場合等、たとえ十分な視界があったとしても、車両が障害物を回避して通過できるか否か判断することである。
【０００５】
カメラおよび距離センサは、障害物までの距離を検知するために設けてもよいが、一般に、被写界深度に関して十分な情報が得られない。したがって、カメラおよび距離センサは、障害物に接近する場合、たとえば駐車する場合には有用であるが、障害物がすれ違う必要がある場合には有用ではない。未熟なドライバの判断に起因して、車両が損傷を受け、路面地形に車両が囚われ、そして／または車両の乗員が怪我をするリスクがある。
【０００６】
そこで必要とされることは、複数の車両システムに対する入力情報および車両のドライバの判断基準として、より良好な地形視覚化を提供する方法および装置である。
【発明の概要】
【０００７】
したがって本発明に係る態様は、添付クレームで定義されたシステム、車両、および方法を提供することにある。本発明に係る第１の態様によれば、車両が提供され、この車両は、車両の前方にある光景を撮像するカラーカメラと、光景からの情報をドライバに示す視覚ディスプレイデバイスと、光景の電気的画像を反復的に撮像して、光景の３次元モデルを形成するように構成された距離画像カメラシステムとを備え、光景のカラー画像が３次元モデルに組み合わされ、視覚ディスプレイデバイスに表示される。光景の関心ある領域の画像内の大きさ、形状、および位置のうちの１つまたはそれ以上のものに関連する所定の基準に照らして、視覚ディスプレイデバイス上の光景の関心ある領域が視覚的に改善される。
【０００８】
光景の関心ある領域は障害物であってもよい。光景の関心ある領域は、障害物、または障害物ではないもののドライバの関心のある特徴物であってもよい。光景の関心ある領域は、轍および特定レベルの勾配を有する坂道等の特定の地形特徴物であってもよい。
【０００９】
選択された視点からの光景の改善された画像を車両のドライバに提供することができる。特に、ディスプレイデバイスは、平面図または鳥瞰図として光景を表示するので、車両のドライバは、車両から障害物までの距離および車両に対する相対的な位置をより十分に把握することができる。とりわけ平面表示されるので、ドライバは、車両との接触ポイントに至るまで障害物を視認することができる。車輪に対するカメラの位置が固定されているので、システムは車両の前方から前輪の後退を補償することができる。
【００１０】
距離画像カメラシステムは、５ｍｍの画像解像度またはより良好な画像解像度を有する。したがってディスプレイデバイスは、ズーム機能を有するため、光景の関心あるポイントに対して画像を拡大することができる。このように車両のドライバは、とりわけ岩ステップまたは孔等の実質的な地形学的な障害物をすり抜ける際に、車両の一部が地形の上を通過する様子をモニタすることができる。
【００１１】
本発明によれば、最も良好に光景をドライバに表示できる視点を選択することができる。すなわち、障害物が接近していることをドライバに警告するために、たとえば最良の視野角を選択することができる。
【００１２】
障害物が接近していることを、たとえば適当なチャイムの音で示唆することができ、彩色し、または丸等で囲み、適当な技術を用いて、ディスプレイ上の障害物の画像を改善することができる。
【００１３】
本発明は、拡張現実技術を用いて、１つまたはそれ以上の彩色された光景に、距離画像カメラから収集した輪郭情報またはメッシュ情報を重ね合わせて、ディスプレイ上に拡張された表示画像を示すことができる。拡張された表示画像は、車両の前方にある光景に関する１つまたはそれ以上のリアルタイムのビデオストリームを含むものであってもよい。
【００１４】
拡張された表示画像における重要な障害物を、ディスプレイ上でマーキングを行い、または他の適当な音響的または視覚的技術を用いて、ドライバに認識させることができる。
重要な障害物は、接近したこと、大きさ、形状、または相対的な位置等の所定の要件基準を満たすものであってもよい。これらの基準は、たとえばルックアップテーブル（参照表）または同様のデバイスに記憶され、通り抜けようとしている障害物に関する十分で、かつ過剰でない情報をドライバに提供するために自動的に選択されるものであってもよい。障害物の視認性改善のための回避困難性の基準および種類は、択一的には、ドライバにより選択可能なものであってもよい。
【００１５】
障害物を既知の自動画像認識技術またはバターン認識システムを用いて認識し、回避困難性の基準および種類と比較してもよい。
【００１６】
１つの実施形態において、たとえばディスプレイ上で車両の前方通路に関する情報をドライバに提供してもよい。距離測定画像を反復することにより、光景の関心あるポイントに対する車両の相対的な位置を特定することができる。車両の瞬間的な通路を継続的に計算するために、こうした光景の関心あるポイントを自動的に選択してもよい。特に、光景の３次元モデルが継続的に形成されるので、地形の勾配に基づいて、車両の高さを決定することができる。すなわち、側方が切り立った狭い溝における地面側壁との側方クリアランス（隙間）をモニタすることができ、適当な警告を車両のドライバに提供する。
【００１７】
車載カメラは、通常、固定位置に配置され、前方に面している。滑らかな路面上で反復的に撮像した画像は、実質的に同一の視点からの実質的に固定した視野における光景を示すものである。一方、オフロード走行しているとき、車両のピッチ、ロール、およびヨーは、１つまたは両方のカメラの視点を変化させる。
【００１８】
１つの実施形態では、光景テータを反復的にメモリに記憶して、距離画像カメラシステムの過去のフレームからのデータを組み合わせることにより、光景の全視野を構築することにより、瞬時の走行方向に適した表示をドライバに提供するとことができる。こうした実施形態は、ビデオカメラと距離画像カメラとの配置位置が離れている場合に特に有用である。
【００１９】
前方に大きな障害物が確認された場合、不適切な車両操作が予想される場合、本発明によれば、電動車両ブレーキに対して命令することにより自動的に車両のブレーキをかけることができる。ドライバによる無効操作機能を設けてもよい。
【００２０】
車両は、衝突計算機により自動的に起動されるように構成された電動ブレーキシステムを有していてもよい。衝突計算機は、車両のドライバにより動作不能に設定されるように構成されているよい。
【００２１】
本発明に係る別の態様によれば、車両のためのシステムが提供され、このシステムは、車両の前方にある光景を撮像するカメラと、光景からの情報をドライバに示す視覚ディスプレイデバイスと、光景の電気的画像を反復的に撮像して、光景の３次元モデルを形成するように構成された距離画像カメラシステムとを備え、光景の画像が３次元モデルに組み合わされ、視覚ディスプレイデバイスに表示される。
【００２２】
本発明のさらなる態様によれば、視覚ディスプレイデバイスを有する移動車両の前方にある光景を、車両のドライバのために視覚化する方法が提供される。この方法は、
光景の実質的に連続的なカラー表示画像を車両から収集するステップと、
車両に搭載された距離画像カメラシステムから光景の画像データを反復的に収集するステップと、
反復的に収集した画像データから光景の３次元モデルを形成するステップと、
３次元モデルと表示画像を組み合わせて、視覚ディスプレイデバイス上の光景の拡張された表示画像を形成するステップと、
光景の関心ある領域の画像内の大きさ、形状、および位置のうちの１つまたはそれ以上のものに関連する所定の基準に照らして、視覚ディスプレイデバイス上の光景の関心ある領域が視覚的に改善するステップとを有する。
【００２３】
光景の関心ある領域は障害物であってもよい。光景の関心ある領域は、障害物、または障害物ではないもののドライバの関心のある特徴物であってもよい。光景の関心ある領域は、轍および特定レベルの勾配を有する坂道等の特定の地形特徴物であってもよい。
【００２４】
本願の範囲において、上記段落、クレーム、および／または以下の詳細な説明、および図面に記載された、さまざまな態様、実施形態、実施例、特徴、および変形例は、独立して、または任意に組み合わせて採用できることが想定される。たとえば実施形態に関連して説明した特徴は、特に矛盾するものでなければすべての実施形態に対して適用可能である。
【図面の簡単な説明】
【００２５】
ここで添付図面を参照しながら、本発明に係る各実施形態を単なる具体例として以下説明する。
【図１】本発明を採用した車両の側面図である。
【図２】岩山の間の狭い溝を走行する車両を示す。
【図３】距離画像カメラからの画像を示す。
【図４】本発明に係るドライバディスプレイを概略的に示す。
【発明を実施するための形態】
【００２６】
図１を参照すると、オフロード性能を有する車両１０は、赤外光１２で車両の前方にある光景（情景）に照射する前向き距離画像カメラ（ＴＯＦ：time of flight camera）を有する。
【００２７】
距離画像カメラシステムを用いて、光景内の地形学的特徴物を反復して、たとえば４０フレーム／秒のフレームレートで撮像する。既知の識別・同定技術を用いて、基準条件に従って、光景内の地形学的特徴物（たとえば、その形状、大きさ、相対的位置関係）を同定（特定）し、追跡することができる。用いられる技術を用いて、たとえば仮想的な地表面を基準とした障害物の回避困難性を判断してもよい。
【００２８】
図２は、深い溝１３を走行する車両１０を示す。車両が矢印１５で示す方向に横揺れすることにより、あまりにも接近すると障害物となり得る車両側方にある地形学的特徴物を撮像するために、カメラ１１は、車両高さにある光景に赤外光を照射するように構成してもよい。
【００２９】
図３は、距離画像カメラシステムからの概略的な画像を示し、特定の地形学的特徴物が障害物（この場合では地表面から直立する岩）であると特定される。車両との距離に関し、２つの岩１５，１６が近くにあり、２つの岩１７，１８が遠くにあり、そして２つの岩２０，２１がこれらの中間にある。
【００３０】
また車両１０には、光景のビデオストリームを提供する前向きカラーカメラ（図示せず）が設けられている。本発明の一部を構成するものではないが、画像処理技術を用い、ビデオストリームと距離画像カメラシステムの画像から得た情報を組み合わせて、光景の拡張現実ビデオストリームを形成することができる。
【００３１】
この拡張現実ビデオストリームにおいて、地形学的特徴物は、適当な技術を用いて実質的なものとして特定され、ドライバのための車載ディスプレイに表示される。
【００３２】
図４は、ビデオストリーム２５の各特徴物の周囲に平面円３０を示すものであるが、当然に、彩色技術、パルス技術または他の視覚的な目印を付ける技術を用いることができる。視覚的な目印を付けて目立たせることを、形状、大きさ、および相対的位置の基準に対する地形学的特徴物の回避困難性に関連付けてもよい。
【００３３】
また図４には、車両のボンネット１９および大まかな運転方向２６が図示されている。
【００３４】
図４に示す平面図（鳥瞰図）によれば、車両のドライバは、各障害物が運転席から見た視野領域内に入らない場合であっても、各障害物の位置および回避困難性を判断することができる。すなわちドライバは、車両が低速で前進する際の基準が与えられ、サスペンション入力および車両姿勢の変化を関連付けることができる。
【００３５】
理解されるように、鳥瞰表示により、ドライバは、たとえば各障害物の位置および回避困難性に基づいて、障害物をすり抜け回避するための適当なルートを選択することができる。
【００３６】
拡張現実ビデオストリーム技術によれば、車両に加えて車両の車輪を示すことができる。すなわち図４において、車両の輪郭を境界ラインまたは明るい色を付して彩色し、車輪を黒い四角で示してもよい。このように、各車輪の下方にあり、これに対する障害物の経路を追跡することができる。
【００３７】
車両のドライバは、ディスプレイスクリーン上に表示された地形学的領域を特定するために、視覚画像をズーム（拡大表示）し、またはパンして（ぐるっと回して）もよい。すなわちドライバは、障害物に対する車両の後輪の経路を見ることができ、または複数の障害物を通る経路を計画するためにさらに前方を見ることができる。ビデオストリームおよび距離画像情報は、車両とともに移動し、常に車両の運転方向にある領域を示すことができる。
【００３８】
平面図がオフロード走行に最も有用と考えられるが、車両のドライバは、表示される視覚映像の視点を選択してもよい。
【００３９】
深い溝すなわちトレンチ溝（図２）の場合、側方の特徴物が最も近接する位置を、たとえば破線２７で示すように視覚ディスプレイに表示してもよい。
【００４０】
ピッチ、ロール、およびヨーの情報は、通常、車両システムから入手でき、本発明を具現化するためのさらなる入力信号を提供する。こうした情報は、通常、加速度計から入手可能である。改良された実施形態では、地形特徴物に呼応したロール、ピッチ、およびヨーは、たとえば彩色バンドとして視覚ディスプレイに容易に表示することができる。こうした彩色バンドは、通常、車両の速度に関連した幅を有し、地形または地形上の障害物に接触する可能性に応じて運転スタイルを変えるように車両のドライバに推奨することができる。
【００４１】
車両は、高さを調整できるサスペンションを有し、選択されたサスペンションの高さに応じて調整可能なピッチおよびロールの特性を有していてもよい。すなわちサスペンションを上げるほど、彩色したリスクバンドの幅を広げて、ドライバに接触のリスクが増大したことを警告してもよい。車両の裂けた質量がリスクバンドに入ったとき、車両のブレーキシステムが自動的に起動するにしてもよい。
【符号の説明】
【００４２】
１０…車両、１１…カメラ、１２…赤外光、１３…深い溝、岩…１５，１６，１７，１８，２０，２１、１９…ボンネット、２５…ビデオストリーム、２６…運転方向。
【図１】
2014531799.tif 000003
【図２】
2014531799.tif 000004
【図３】
2014531799.tif 000005
【図４】
2014531799.tif 000006
【国際調査報告】
2014531799.tif 000007
2014531799.tif 000008
2014531799.tif 000009