(57)【要約】  データ処理ユニットによって、表示ユニット上に表示されるサラウンド・ビュー画像乃至周辺画像を作成するために、処理されるカメラ画像を提供する少なくとも一台の車載カメラを有する、但し、該データ処理ユニットが、車載カメラによって捕捉されたテクスチャーを、車載センサー類によって提供されたセンサーデータをベースに算出されるアダプティブな車両周辺部に近似した再・投影面に再・投影する、但し、該データ処理ユニットが、該バーチャルカメラのポジションとオリエンテーションに基づいて再・投影面を調節することを特徴とする車両用のカメラ・サラウンド・ビュー・システムに関する。
2018509799.tif 000002
【特許請求の範囲】
【請求項１】
データ処理ユニット（３）によって、表示ユニット（４）上に表示されるサラウンド・ビュー画像乃至周辺画像を作成するために、処理されるカメラ画像を提供する少なくとも一台の車載カメラ（２）を有する、但し、該データ処理ユニット（３）が、車載カメラ（２）によって捕捉されたテクスチャーを、車載センサー類（５）によって提供されたセンサーデータをベースに算出されるアダプティブな車両周辺部に近似した再・投影面に再・投影する、但し、該データ処理ユニット（３）が、該バーチャルカメラ（６）のポジションとオリエンテーションに基づいて再・投影面を調節することを特徴とする車両用（Ｆ）のカメラ・サラウンド・ビュー・システム（１）。
【請求項２】
車載センサー類（５）によって提供されたセンサーデータが、車両（Ｆ）の車両周辺部を再現することを特徴とする請求項１に記載のカメラ・サラウンド・ビュー・システム。
【請求項３】
センサーデータが、駐車間隔データ、レーダーデータ、ライダーデータ、カメラデータ、レーザースキャンデータ、並びに、動きに関するデータを包含していることを特徴とする請求項２に記載のカメラ・サラウンド・ビュー・システム。
【請求項４】
算出されたアダプティブな再・投影面が、動的に可変なグリッドを有していることを特徴とする請求項１から３のうち何れか一項に記載のカメラ・サラウンド・ビュー・システム。
【請求項５】
再・投影面の該グリッドが、提供されたセンサーデータに基づいて動的に可変である三次元グリッドであることを特徴とする請求項４に記載のカメラ・サラウンド・ビュー・システム。
【請求項６】
表示ユニット（４）が、タッチスクリーンであり、バーチャルカメラ（６）のポジションとオリエンテーションが、ユーザーによって設定自在であることを特徴とする請求項１から５のうち何れか一項に記載のカメラ・サラウンド・ビュー・システム。
【請求項７】
先行請求項１から６のうち何れか一項に記載のカメラ・サラウンド・ビュー・システム（１）を備えた車両用のドライバー・アシスタント・システム。
【請求項８】
以下のステップを有することを特徴とする車両（Ｆ）の車両周辺部の歪みない表示を得るための方法：
（ａ）車両（Ｆ）の車載カメラ（２）によって車両周辺部のカメラ画像を作成するステップ（Ｓ１）、
（ｂ）作成されたカメラ画像を車両周辺部の周辺画像を作成するために処理するステップ（Ｓ２）、
（ｃ）車載カメラ（２）によって捕捉されたテクスチャーを、車載センサー類（５）によって提供されたセンサーデータをベースに算出されたアダプティブな車両周辺部に近似した再・投影面に再・投影するステップ（Ｓ３）、
（ｄ）車両（Ｆ）の鳥瞰図的カメラ画像を供給するバーチャルカメラ（６）の位置、及び／或いは、向きに応じて該再・投影面を調整するステップ（Ｓ４）。
【請求項９】
車載センサー類（５）によって提供されたセンサーデータが、車両（Ｆ）の車両周辺部を描写していることを特徴とする請求項８に記載の方法。
【請求項１０】
該センサーデータが、駐車間隔データ、レーダーデータ、ライダーデータ、カメラデータ、レーザー・スキャンデータ、並びに、動きに関するデータを包含していることを特徴とする請求項９に記載の方法。
【請求項１１】
アダプティブな再・投影面が、動的に可変なグリッドを有していることを特徴とする請求項８から１０のうち何れか一項に記載の方法。
【請求項１２】
再・投影面の該グリッドが、提供されたセンサーデータに基づいて動的に変更される三次元グリッドであることを特徴とする請求項１１に記載の方法。
【請求項１３】
バーチャルカメラ（６）のポジションとオリエンテーションが、ユーザーインターフェースを介してユーザーによって設定されることを特徴とする請求項１２に記載の方法。
【請求項１４】
請求項８から１３のうち一項に記載の方法を実施する命令を有するコンピューター・プログラム。
【請求項１５】
請求項７に記載のドライバー・アシスタント・システムを備えた車両、特に好ましくは、道路交通用車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の、特に、カメラ・サラウンド・ビュー・システムを装備した道路交通用車両の車両周辺部の歪無い表示を可能にする方法、並びに、装置に関する。
【背景技術】
【０００２】
車両には、運転手を運転マヌーバの実施においてサポートするドライバー・アシスタント・システムが、ますます、装備されるようになってきている。ドライバー・アシスタント・システムの一部は、車両の車両周辺部を、該車両のドライバーに表示することを可能にするカメラ・サラウンド・ビュー・システムを包含している。この様なカメラ・サラウンド・ビュー・システムは、該カメラ・サラウンド・ビュー・システムのデータ処理ユニットによって、車両周辺部の周辺画像に統合されるカメラ画像を供給する一台の、或いは、複数台の車載カメラを包含している。そしてこの車両周辺部の画像は、表示ユニット上に表示される。従来のカメラベースのドライバー・アシスタント・システムは、カメラ・システムのテクスチャー情報を静的な投影面、例えば、静的な二次元の基準面、或いは、静的な三次元の凹面に投影する。
【０００３】
しかしこのようなシステムには、テクスチャー・再・投影面が静的であり、それが故に、カメラ・システムの実際の周辺部に対応していない、乃至、近似していないため、車両周辺部のオブジェクトが、極度に歪んで表示されると言う致命的な欠点がある。即ち、邪魔なアーティファクトとなる極度に歪んだオブジェクトが表示される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
よって、本発明の課題は、車両周辺部の障害物を可能な限り良好に示し、歪みなく描写するために、このような歪んだアーティファクトの表示を抑えることのできる、車両周辺部の歪無い表示を可能にする装置、並びに、方法を提供することにある。
【課題を解決するための手段】
【０００５】
この課題は、本発明の請求項１記載の特徴を有するカメラ・サラウンド・ビュー・システムによって達成される。
【０００６】
即ち、本発明は、その第一のアスペクトにおいて車両用のカメラ・サラウンド・ビュー・システムを提供するが、ここでは、該カメラ・サラウンド・ビュー・システムは、表示ユニット上に表示されるサラウンド・ビュー画像乃至周辺画像を作成するために、データ処理ユニットによって処理されるカメラ画像を供給する少なくとも一台の車載カメラを有しており、該データ処理ユニットは、車載カメラによって捕捉されたテクスチャーを、該車両の車載センサー類によって提供されたセンサーデータをベースに算出されるアダプティブな車両周辺部に近似した再・投影面に再・投影するとともに、該データ処理ユニットは、バーチャルカメラの位置、及び／或いは、向きに応じて該再・投影面を調節している。
【０００７】
本発明に係るカメラ・サラウンド・ビュー・システムのある可及的実施形態においては、車載センサー類によって提供されたセンサーデータが、車両の車両周辺部を正確に描写している。
【０００８】
本発明に係るカメラ・サラウンド・ビュー・システムの更なる可及的実施形態においては、センサーデータは、駐車間隔データ、レーダーデータ、ライダーデータ、カメラデータ、レーザー・スキャンデータ、及び／或いは、動きに関するデータが包含される。
【０００９】
本発明に係るカメラ・サラウンド・ビュー・システムの更なる可及的実施形態においては、アダプティブな再・投影面が、動的に可変なグリッドを有している。
【００１０】
本発明に係るカメラ・サラウンド・ビュー・システム更なる可及的実施形態においては、再・投影面のグリッドが、提供されたセンサーデータに応じて動的に可変である。
【００１１】
本発明に係るカメラ・サラウンド・ビュー・システム更なる可及的実施形態においては、再・投影面のグリッドが、三次元グリッドである。
【００１２】
本発明に係るカメラ・サラウンド・ビュー・システムのある可及的実施形態においては、表示ユニットは、タッチスクリーンであり、バーチャルカメラのポジション及び／或いは方向を、ユーザーが、該タッチスクリーンを用いて設定できるようになっている。
【００１３】
本発明は、更に、特許請求項７に記載の特徴を有する車両用のドライバー・アシスタント・システムも実現する。
【００１４】
即ち、本発明は、その第二のアスペクトにおいてカメラ・サラウンド・ビュー・システムを内蔵したドライバー・アシスタント・システムを提供するが、該システムは、少なくとも一台の車載カメラを有しており、該車載カメラは、表示ユニット上に表示されるサラウンド・ビュー画像を作成するために、データ処理ユニットによって処理されるカメラ画像を供給するが、該データ処理ユニットは、該車両の車載カメラによって捕捉されたテクスチャーを、車載センサー類によって提供されたセンサーデータをベースに算出されるアダプティブな車両周辺部に近似した再・投影面に再・投影される。
【００１５】
本発明は、更に、特許請求項８に記載の特徴を有する車両の車両周辺部の歪みない表示を得るための方法を実現する。
【００１６】
即ち、本発明は、以下のステップを有する車両の車両周辺部の歪みない表示を得るための方法を実現する：
車両の車載カメラによって車両周辺部のカメラ画像を作成するステップ、
作成されたカメラ画像を車両周辺部の周辺画像を作成するために処理するステップ、
車載カメラによって捕捉されたテクスチャーを、車載センサー類によって提供されたセンサーデータをベースに算出されたアダプティブな車両周辺部に近似した再・投影面に再・投影するステップ、並びに、
車両の鳥瞰図的カメラ画像を供給するバーチャルカメラの位置、及び／或いは、向きに応じて該再・投影面を調整するステップ。
【００１７】
本発明に係る方法の更なる可及的実施形態は、従属請求項に記載されている。
【００１８】
以下、車両の車両周辺部の歪みない表示を得るための本発明に係る装置、並びに、本発明に係る方法の可及的実施形態を、添付されている図を用いて詳細に説明する。
【図面の簡単な説明】
【００１９】
【図１】本発明に係るカメラ・サラウンド・ビュー・システムの実施形態を示すためのブロック図
【図２】車両の車両周辺部の歪みない表示を得るための本発明に係る方法の実施例を示すためのフローチャート
【図３】本発明に係る方法と本発明に係るカメラ・サラウンド・ビュー・システムの作動形態を説明するための、模式的描写
【発明を実施するための形態】
【００２０】
図１からも明らかなように、示されている例では、カメラ・サラウンド・ビュー・システム１は、多数のコンポーネントを有している。該カメラ・サラウンド・ビュー・システム１は、示されている実施例では、少なくとも一台の、該カメラ・サラウンド・ビュー・システム１のデータ処理ユニット３によって該車両のサラウンド・ビュー画像、乃至、周辺画像に加工されるカメラ画像を供給する車載カメラ２を有している。該データ処理ユニット３によって作成されたサラウンド・ビュー画像、乃至、車両周辺画像は、表示手段４上に表示される。データ処理ユニット３は、車両の車載センサー類５によって提供さえるセンサーデータをベースに、アダプティブな再・投影面を算出する。カメラ・サラウンド・ビュー・システム１の車載カメラ２によって捕捉されたテクスチャーは、この算出されたアダプティブな車両周辺部に近似する再・投影面に再・投影され、これにより、歪みやアーティファクトは、最小限に抑えられる、乃至、除去される。  
【００２１】
図１に示されているセンサー類５は、例えば、駐車間隔制御用、乃至、駐車間隔帰還制御用のセンサー類である。車両のこれらのセンサー類としては更に、レーダーセンサー、ライダーセンサーなども挙げられる。更なる可及的実施形態においては、更なる車載カメラ２、特に好ましくは、ステレオ・カメラ、或いは、モノカメラからセンサーデータが、アダプティブな再・投影面の計算のために供給される。更なる可及的実施形態においては、車両のレーザー・スキャン・システムからセンサーデータが供給される。更なる可及的実施形態においては、動きに関するデータ、或いは、ストラクチャー・データも、データ処理ユニット３による再・投影面の計算のために用いられる。車載センサー５から提供されたセンサーデータは、高い精度をもって、車両周辺部、乃至、車両周辺部のオブジェクトを再現する。ここで言うオブジェクトとは、例えば、車両の周辺部の極近傍、例えば、半径五メートル以内にある他の車両のことである。該オブジェクトとして更には、半径五メートル以内の極近傍にいる歩行者も挙げられる。該オブジェクトは、その他の、駐車場の駐車スペース区画用のポールなどの障害物であることもできる。  
【００２２】
該データ処理ユニット３によってセンサーデータをベースに計算された再・投影面は、好ましくは、動的に可変なグリッド、乃至、メッシュを有している。この再・投影面のグリッドは、ある可及的実施形態においては、提供されるセンサーデータに基づいて動的に変更される。尚、該再・投影面のグリッドは、好ましくは、三次元のグリッドである。データ処理ユニット３により計算された再・投影面は、静的ではなく、動的であり、車載センサー類５から供給されるその時点のセンサーデータに対してアダプティブに適合可能である。車載センサー類５は、ある可及的実施形態においては、モノ・フロント・カメラ、乃至、ステレオ・カメラを包含していることができる。更に該センサーユニット類５は、データを供給するライダーシステム、或いは、周辺のレーダーデータをデータ処理ユニット３に伝達するレーダーシステムを有していることもできる。データ処理ユニット３は、一つの、或いは、複数の、センサーデータを処理し、そこから再・投影面をリアルタイムに算出するマイクロプロセッサーを包含することができる。車載カメラ２によって捕捉されたテクスチャーは、算出された車両周辺部に近似する再・投影面に投影される、乃至、再・投影される。車載カメラ２の表示には、バリエーションがあっても良い。ある可及的実施形態においては、車両は、四台の車載カメラ２を、車両の四つの異なる側面に有している。ここで言う車両とは、好ましくは、道路交通用車両、特に好ましくは、貨物自動車や乗用車である。本発明のカメラ・サラウンド・ビュー・システム１では、上記のアーティファクトを低減する、乃至、無くすために、カメラ・システムのカメラ２によって捕捉された周辺部のテクスチャーが、アダプティブな再・投影面に再・投影される。本発明に係るカメラ・サラウンド・ビュー・システム１によれば、表示される車両周辺画像のクオリティは、明確に改善する。車両周辺画像内のオブジェクト、例えば、他の近隣に駐車している車両や近隣にいる人は、静的な再・投影面を採用しているシステムと比較してより僅かな歪みで表される。
【００２３】
データ処理ユニット３は、バーチャルカメラ６を図３に示すように制御する。データ処理ユニット３によって制御されている該バーチャルカメラ６は、図３から認識できる如く、鳥の視野からの車両Ｆを見たようなカメラ画像を供給する。基本設定において該バーチャルカメラ６は、車両Ｆのボディに対して鉛直９０度、高さＨの上空に仮想的に配置されている。バーチャルカメラ６のカメラ画像は、車両Ｆに設けられているサラウンド・ビュー・カメラのカメラ画像から、データ処理ユニット３によって算出されることができる。バーチャルカメラ６は、車両Ｆに対する相対的カメラ配向／オリエンテーションと車両Ｆに対する相対的位置／ポジションを有している。カメラ・サラウンド・ビュー・システム１のデータ処理ユニット３は、該バーチャルカメラ６のポジションとオリエンテーションに基づいて再・投影面を調節する。好ましくは、該バーチャルカメラ６のポジションとオリエンテーションは、設定自在である。図３に示される如く、例えば、該バーチャルカメラ６は、車両ボディ上空９０度の鉛直方向ポジションを起点として傾けることが可能であり、その傾き角度αは、例えば、４５度である。車両Ｆに対する車両カメラ６の間隔、乃至、高さは、図３に示されている例では、一定である。尚、相対ポジションだけでなく、付加的に、該車両カメラ６のオリエンテーションを調整することも可能である。ある可及的実施形態においては、データ処理ユニット３が、該バーチャルカメラ６のその時点における車両Ｆに対する相対的なポジションとオリエンテーションを、該バーチャルカメラ６のパラメータ・メモリーから読み出す。読み出されたバーチャルカメラ６のパラメータに応じて、アダプティブな再・投影面が、データ処理ユニット３によって、設定、乃至、調整され、表示手段４が、可能な限り多くのテクスチャー、乃至、カメラ情報を、歪みなく表示すると同時に、車両Ｆの側近周辺部にある障害物が、車両Ｆのドライバーが、容易に認識できる様にしている。可及的実施形態においては、該表示ユニット４は、タッチスクリーンである。車両Ｆのドライバー、乃至、ユーザーは、ある可及的実施形態においては、該タッチスクリーンに触れ、側近の車両周辺部にある障害物、例えば、区画された駐車スペースをマークするポールを明確に認識できる様に、バーチャルカメラ６のポジション及び／或いはオリエンテーションを設定、乃至、調整することができる。更なる可及的実施形態においては、車両周辺部にある障害物を可能な限りはっきりと詳細に認識するために、バーチャルカメラ６と観察する車両Ｆとの間隔、乃至、その高さを、ユーザーによって設定可能である。ここで言う障害物とは、車両Ｆの走行を道路表面において妨害する任意のオブジェクトであり、例えば、山積みになった雪、或いは、駐車スペースを区画するポールなどもその一例である。
【００２４】
図２は、車両の車両周辺部の歪みない表示を得るための本発明に係る方法のある実施形態を表すフローチャートを示している。
【００２５】
第一ステップＳ１において、車両周辺部の複数のカメラ画像が、車両Ｆの車載カメラ２によって作成される。例えば、カメラ画像は、車両の様々な側面に配置されている複数の車載カメラ２によって作成されることができる。
【００２６】
作成されたカメラ画像は、続いて、ステップＳ２において、車両周辺部の周辺画像を生成するために処理される。ある可及的実施形態においては、作成されたカメラ画像の処理は、図１に示すようなデータ処理ユニット３によって実施される。該カメラ画像は、対応する周辺画像を生成するために、好ましくは、リアルタイムに処理される。
【００２７】
次のステップＳ３では、提供されたセンサーデータをベースに再・投影面が、算出され、続いて、車載カメラによって捕捉されたテクスチャーが、このアダプティブな算出された再・投影面に再・投影される。該アダプティブな再・投影面は、提供されるセンサーデータを基に動的に変化する、動的な可変なグリッドを有している。尚、該グリッドは、好ましくは、三次元のグリッドである。
【００２８】
ステップＳ４では、再・投影面が、データ処理ユニット３により、車両Ｆの鳥瞰図的カメラ画像を供給するバーチャルカメラ６のポジション及び／或いはオリエンテーションに応じて調節される。
【００２９】
図２に示されている方法は、ある可及的実施形態においては、マイクロプロセッサーによって実施可能なコンピューター命令を含むコンピューター・プログラムに実装されていることもできる。該プログラムは、ある可及的実施形態においては、データ記憶媒体、或いは、プログラム・メモリーに保存されている。
【図１】
2018509799.tif 000003
【図２】
2018509799.tif 000004
【図３】
2018509799.tif 000005
【手続補正書】
【提出日】平成28年12月12日(2016.12.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データ処理ユニット（３）によって、表示ユニット（４）上に表示されるサラウンド・ビュー画像乃至周辺画像を作成するために、処理されるカメラ画像を提供する少なくとも一台の車載カメラ（２）を有する、但し、該データ処理ユニット（３）が、車載カメラ（２）によって捕捉されたテクスチャーを、車載センサー類（５）によって提供されたセンサーデータをベースに算出されるアダプティブな車両周辺部に近似した再・投影面に再・投影する、但し、車載センサー類（５）によって提供されたセンサーデータが、車両（Ｆ）の車両周辺部を再現する、但し、該センサーデータが、駐車間隔データ、レーダーデータ、ライダーデータ、レーザー・スキャンデータ、並びに、動きに関するデータを包含する、更に但し、該データ処理ユニット（３）が、該バーチャルカメラ（６）のポジションとオリエンテーションに基づいて再・投影面を調節することを特徴とする車両用（Ｆ）のカメラ・サラウンド・ビュー・システム（１）。
【請求項２】
算出されたアダプティブな再・投影面が、動的に可変なグリッドを有していることを特徴とする請求項１に記載のカメラ・サラウンド・ビュー・システム。
【請求項３】
再・投影面の該グリッドが、提供されたセンサーデータに基づいて動的に可変である三次元グリッドであることを特徴とする請求項２に記載のカメラ・サラウンド・ビュー・システム。
【請求項４】
表示ユニット（４）が、タッチスクリーンであり、バーチャルカメラ（６）のポジションとオリエンテーションが、ユーザーによって設定自在であることを特徴とする請求項１から３のうち何れか一項に記載のカメラ・サラウンド・ビュー・システム。
【請求項５】
先行請求項１から４のうち何れか一項に記載のカメラ・サラウンド・ビュー・システム（１）を備えた車両用のドライバー・アシスタント・システム。
【請求項６】
以下のステップを有することを特徴とする車両（Ｆ）の車両周辺部の歪みない表示を得るための方法：
（ａ）車両（Ｆ）の車載カメラ（２）によって車両周辺部のカメラ画像を作成するステップ（Ｓ１）、
（ｂ）作成されたカメラ画像を車両周辺部の周辺画像を作成するために処理するステップ（Ｓ２）、
（ｃ）車載カメラ（２）によって捕捉されたテクスチャーを、車載センサー類（５）によって提供されたセンサーデータをベースに算出されたアダプティブな車両周辺部に近似した再・投影面に再・投影するステップ（Ｓ３）、但し、車載センサー類（５）によって提供されたセンサーデータが、車両（Ｆ）の車両周辺部を描写している、更に但し、該センサーデータが、駐車間隔データ、レーダーデータ、ライダーデータ、レーザー・スキャンデータ、並びに、動きに関するデータを包含している、並びに、
（ｄ）車両（Ｆ）の鳥瞰図的カメラ画像を供給するバーチャルカメラ（６）の位置、及び／或いは、向きに応じて該再・投影面を調整するステップ（Ｓ４）。
【請求項７】
アダプティブな再・投影面が、動的に可変なグリッドを有していることを特徴とする請求項６に記載の方法。
【請求項８】
再・投影面の該グリッドが、提供されたセンサーデータに基づいて動的に変更される三次元グリッドであることを特徴とする請求項７に記載の方法。
【請求項９】
バーチャルカメラ（６）のポジションとオリエンテーションが、ユーザーインターフェースを介してユーザーによって設定されることを特徴とする請求項８に記載の方法。
【請求項１０】
請求項６から９のうち一項に記載の方法を実施する命令を有するコンピューター・プログラム。
【請求項１１】
請求項５に記載のドライバー・アシスタント・システムを備えた車両、特に好ましくは、道路交通用車両。
【国際調査報告】
2018509799.tif 000006
2018509799.tif 000007
2018509799.tif 000008
2018509799.tif 000009
2018509799.tif 000010
2018509799.tif 000011