(57)【要約】  以下のステップ：乗り物（Ｆ）の乗り物ボディ（３）に取り付けられた搭載カメラ（２）によって乗り物（Ｆ）の乗り物周辺部のカメラ画像（ＫＢ）を提供するステップ（Ｓ１）；並びに、提供されたカメラ画像（ＫＢ）を基に乗り物周辺ビューを算出するステップ（Ｓ２）を包含する乗り物周辺ビューを作成するための方法であって、乗り物周辺ビュー内の乗り物ボディ（３）の下にあり搭載カメラ（２）には見えない地面の領域用のテクスチャが、地面の見えない領域を取り巻く搭載カメラ（２）から見える地面の領域のテクスチャ・データから算出されることを特徴とする乗り物周辺ビューを作成するための方法。
2020501226.tif 000002
【特許請求の範囲】
【請求項１】
以下のステップ：
（ａ）カメラ画像（ＫＢ）を、乗り物（Ｆ）の乗り物ボディ（３）に設けられている搭載カメラ（２）によって用意するステップ（Ｓ１）；並びに、
（ｂ）提供されたカメラ画像（ＫＢ）をベースに乗り物周辺ビューを算出するステップ（Ｓ２）を、包含している、但し、乗り物周辺ビュー内の乗り物ボディ（３）の下にあり搭載カメラ（２）には見えない地面の領域用のテクスチャが、地面の見えない領域を取り巻く搭載カメラ（２）から見える地面の領域のテクスチャ・データから算出される
ことを特徴とする乗り物周辺ビューを作成するための方法。
【請求項２】
該乗り物ボディ（３）の下にあり搭載カメラ（２）には見えない地面の領域用のテクスチャが、その画像データ値が搭載カメラ（２）から見える地面の領域用のピクセルを基に補外されたピクセルを有していることを特徴とする請求項１に記載の方法。
【請求項３】
該ピクセルの画像データ値が、色画像データ値を有していることを特徴とする請求項２に記載の方法。
【請求項４】
乗り物周辺ビューが、乗り物（Ｆ）が、該地面の上を動いている、或いは、該地面上に停止している間に作成されることを特徴とする先行請求項１から３のうち一項に記載の方法。
【請求項５】
搭載カメラ（２）には見えない地面の領域用のテクスチャが、単一色の内部領域（ＩＢ）と該内部領域（ＩＢ）を取り巻く周縁部（ＲＢ）を有しており、該周縁部（ＲＢ）において、見えない領域の縁の搭載カメラ（２）によって捕捉された色から内部領域（ＩＢ）の単一色への色の推移が生成されることを特徴とする先行請求項１から４のうち一項に記載の方法。
【請求項６】
乗り物（Ｆ）の乗り物ボディ（３）に取り付けられ、乗り物（Ｆ）の乗り物周辺部のカメラ画像（ＫＢ）を提供する搭載カメラ（２）、並びに、乗り物周辺ビューを提供されたカメラ画像（ＫＢ）を基に算出する計算ユニット（４）を有する乗り物周辺ビューを作成するための装置であって、
乗り物周辺ビュー内の車両ボディ（３）の下にあり搭載カメラ（２）には見えない地面の領域用のテクスチャが、地面の見えない領域を取り巻く搭載カメラ（２）から見える地面の領域のテクスチャ・データから算出されることを特徴とする乗り物周辺ビューを作成するための装置。
【請求項７】
該乗り物ボディ（３）の下にあり搭載カメラ（２）には見えない地面の領域用のテクスチャが、計算ユニット（４）によって、その画像データ値が搭載カメラ（２）から見える地面の領域用のピクセルを基に補外されたピクセルを有していることを特徴とする請求項６に記載の装置。
【請求項８】
該ピクセルの画像データ値が、色画像データ値を有していることを特徴とする請求項７に記載の装置。
【請求項９】
搭載カメラ（２）には見えない地面の領域用のテクスチャが、単一色の内部領域（ＩＢ）と該内部領域（ＩＢ）を取り巻く周縁部（ＲＢ）を有しており、該周縁部（ＲＢ）が、見えない領域の縁の搭載カメラ（２）によって捕捉された色から内部領域（ＩＢ）の単一色への色の推移を有していることを特徴とする先行請求項６から８のうち一項に記載の装置。
【請求項１０】
先行請求項６から９のうち何れか一項に記載の乗り物周辺ビューを作成するための装置（１）を備えた乗り物（Ｆ）用の操縦士アシスタント・システム。
【請求項１１】
請求項１０の操縦士アシスタント・システムを搭載した乗り物。
【請求項１２】
該乗り物が、道路交通用の車両、水上／水中用の乗り物、或いは、空用の乗り物を有していることを特徴とする請求項（１１）に記載の乗り物。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗り物、特に、陸上用車両において、乗り物周辺ビューを作成するための方法ならびに装置に関する。
【背景技術】
【０００２】
車両には、増々、車両の車両周辺部の描写を実施するためのシステムが搭載される様になってきている。所謂サラウンド・ビュー・システムは、車両の車両周辺部内を可能な限り正確に再現する。車両の車両周辺ビューを描写するための従来のシステムは、該車両の車両ボディに設置されている車載カメラが撮影したカメラ画像を評価する。従来、該車載カメラは、車両の車両周辺部のカメラ画像を作成し、画像処理ユニットに伝達するために、車両ボディの異なる側面に、取り付けられている。しかし、該車両の車両ボディに取り付けられている車載カメラは、該車両ボディがその上にある地面の画像データは、供給しない。該地面は、該車両ボディの下にあり、車載カメラからは見えない。従来のサラウンド・ビュー・システムでは、車両の車両ボディの下に横たわる地面は、均一な色合いによって再現される。そのため従来の車両周辺ビューは、地面領域に関しては、相対的に低品質な車両周辺部の描写であると言える。車両ボディの下に横たわる地面の領域内の車両周辺部の不十分な描写は、該車両のドライバーが、例えば、駐車マヌーバ等と言った運転マヌーバを実施する際、割り出した車両周辺ビューを示す、乃至、評価するドライバー・アシスタント・システムから、最適にはサポートされない、即ち、例えば、ある運転マヌーバを実施する際に、車両ボディが損傷することが起こり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
よって、本発明の課題は、乗り物の乗り物ボディによって隠されている地面の領域のリアルな乗り物周辺ビューを提供し、これにより、操縦士を、操縦マヌーバを実施する際に、効果的にサポート、特に、乗り物ボディの損傷を回避できる乗り物周辺ビューを作成するための方法ならびに装置を提供することである。
【課題を解決するための手段】
【０００４】
この課題は、本発明の第一アスペクトによれば、特許請求項１記載の特徴を有する乗り物周辺ビューを作成するための方法によって解決される。
【０００５】
これによれば、本発明は以下のステップを有する乗り物周辺ビューを作成するための方法を提供する：
カメラ画像を、ある乗り物の乗り物ボディに設けられている搭載カメラによって用意するステップ、並びに、
提供されたカメラ画像をベースに乗り物周辺ビューを算出するステップ、  
但し、乗り物周辺ビュー内の乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、地面の見えない領域を取り巻く搭載カメラから見える地面の領域のテクスチャ・データから算出される。
【０００６】
本発明に係る方法のある可能な実施形態においては、該車両ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、その画像データ値が、搭載カメラから見える地面の領域用のピクセルを基に補外されたピクセルを有している。
【０００７】
本発明に係る方法のある可能な実施形態においては、ピクセルの画像データ値は、色画像データ値を有している。
【０００８】
本発明に係る方法のある更なる可能な実施形態においては、乗り物周辺ビューは、該地面上を該乗り物が動いている間に作成される。
【０００９】
本発明に係る方法のある更なる可能な実施形態においては、乗り物周辺ビューは、該地面上に乗り物が停車している間に作成される。
【００１０】
本発明に係る方法のある更なる可能な実施形態においては、乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、計算ユニットによって、リアルタイムに、搭載カメラによって提供されたカメラ画像を基に算出される。
【００１１】
本発明に係る方法のある更なる可能な実施形態においては、乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、単一色の内部領域と該内部領域を取り巻く周縁部を有している。
【００１２】
本発明に係る方法のある可能な実施形態においては、周縁部において、見えない領域の縁の搭載カメラによって捕捉された色から内部領域の単一色への色の推移が生成される。  
【００１３】
本発明は、更に、第二のアスペクトにおいて、請求項６に記載の特徴を有する乗り物周辺ビューを作成するための装置も提供する。
【００１４】
それによれば、本発明は、乗り物の乗り物ボディに取り付けられ、乗り物の乗り物周辺部のカメラ画像を提供する搭載カメラ、並びに、乗り物周辺ビューを提供されたカメラ画像を基に算出する計算ユニットを有する乗り物周辺ビューを作成するための装置を提供するが、ここでは、乗り物周辺ビュー内の乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、地面の見えない領域を取り巻く搭載カメラから見える地面の領域のテクスチャ・データから算出される。
【００１５】
本発明に係る方法のある可能な実施形態においては、該乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、その画像データ値が、計算ユニットによって、搭載カメラから見える地面の領域用のピクセルの画像データ値を基に補外されたピクセルを有している。
【００１６】
本発明に係る装置の更なる可能な実施形態においては、計算ユニットによって評価されるピクセルの画像データ値は、色画像データ値を有している。
【００１７】
本発明に係る装置の更なる可能な実施形態においては、乗り物周辺ビューは、該装置によって、該乗り物が、地面の上を動いている、或いは、地面上に停止している間に作成される。
【００１８】
本発明に係る装置のある更なる可能な実施形態においては、乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、該計算ユニットによって、リアルタイムに、搭載カメラによって提供されたカメラ画像を基に算出される。
【００１９】
本発明に係る装置のある可能な実施形態においては、乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、単一色の内部領域と該内部領域を取り巻く周縁部を有している。
【００２０】
本発明に係る方法のある可能な実施形態においては、周縁部において、見えない領域の縁の搭載カメラによって捕捉された色から内部領域の単一色への色の推移が生成される。
【００２１】
また本発明は、更なるアスペクトによれば、本発明の第二アスペクトに係る乗り物周辺ビューを作成するための装置を備えた操縦士アシスタント・システムも提供する。
【００２２】
また本発明は、更なるアスペクトによれば、この様な操縦士アシスタント・システムを備えた乗り物も、提供する。
【００２３】
ある可能な実施形態において、該乗り物は、陸上用の乗り物、水上／水中用の乗り物、或いは、空用の乗り物を有している。
【００２４】
以下、乗り物周辺ビューを作成するための本発明に係る方法、並びに、乗り物周辺ビューを作成するための本発明に係る装置を、添付されている図を用いて詳細いて詳細する。
【図面の簡単な説明】
【００２５】
【図１】乗り物周辺ビューを作成するための本発明に係る方法のある実施例を描写するためのフローチャート。
【図２】図１に示されている乗り物周辺ビューを作成するための方法の作動形態を描写するための模式的な図。
【図３】乗り物周辺ビューを作成するための本発明に係る手段のある実施例を描写するためのブロック図。
【発明を実施するための形態】
【００２６】
図１から明らかなように、本発明の第一アスペクトに係る該乗り物周辺ビューを作成するための方法は、示されている実施例では、二つのステップを包含している。
【００２７】
第一ステップＳ１においては、乗り物Ｆの乗り物ボディに取り付けられている搭載カメラによって、カメラ画像ＫＢが、提供される。それぞれの搭載カメラは、連続的にカメラ画像、乃至、画像データを、シグナル配線を介して、データ処理手段に供給する。その際、該搭載カメラは、該乗り物Ｆの乗り物ボディの異なる側面に配置されていることが好ましい。該乗り物Ｆは、好ましくは、陸上用の乗り物、特に好ましくは、道路交通用車両乃至農業用車両である。更に、該乗り物Ｆは、水上／水中用の乗り物、或いは、飛行機乃至空用の乗り物であることも可能である。例えば、飛行機は、着陸後、飛行場内を移動する際に、乗り物周辺部のカメラ画像を捕捉することが可能である。
【００２８】
続くステップＳ２では、乗り物Ｆの乗り物周辺ビューＦＵＡが、カメラによって用意されたカメラ画像ＫＢを基に算出される。その際、乗り物周辺ビュー内の乗り物のボディ乃至車体の下にあり搭載カメラには見えない地面の領域用のテクスチャは、地面の見えない領域を取り巻く搭載カメラから見える地面の領域のテクスチャ・データから算出される。乗り物周辺ビューＦＵＡの算出は、この際、好ましくは、計算ユニットによって、リアルタイムに、搭載カメラから伝達された画像データ乃至カメラ画像に基づいて実施される。本発明に係る方法のある可能な実施形態においては、該乗り物ボディ乃至車体の下にあり搭載カメラには見えない地面の領域用のテクスチャは、その画像データ値が、搭載カメラから見える地面の領域用のピクセルを基に補外されたピクセルを有している。該ピクセルの画像データ値は、ある可能な実施形態においては、色画像データ値を有している。ある可能な実施形態においては、該乗り物Ｆの乗り物周辺部の乗り物周辺ビューＦＵＡは、乗り物Ｆが地面上停止している際に作成される。更に、ある可能な実施形態においては、該乗り物周辺ビューＦＵＡは、該乗り物が、地面上を動いている際にも作成されることができる。乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、計算ユニットによって、リアルタイムに、搭載カメラによって提供されたカメラ画像を基に算出される。
【００２９】
図２は、本発明に係る方法を実施するための乗り物周辺ビューＦＵＡの作成を模式的に示している。図２は、例えば、乗用車或いは貨物用自動車であり得る乗り物Ｆの乗り物ボディを上方から模式的に示している。該乗り物Ｆは、その際、地面上に停止している、或いは、地面の上を動いていることができる。道路用の乗り物の車体は、本質的に長方形である。該乗り物ボディには、その異なる側面に、乗り物周辺部のカメラ画像ＫＢを計算ユニットに供給する搭載カメラが設けられている。該搭載カメラは、例えば、計算ユニットに相応の画像データを伝達するフィッシュアイカメラであることが可能である。図２には、それぞれのフィッシュアイカメラによって作成される各々のカメラ画像ＫＢ１  -  ＫＢ４が、模式的に示されている。図２は、乗り物ボディの前側に備えられている一台のフィッシュアイカメラによって作成された第一カメラ画像ＫＢ１が示されている。更に、該乗り物ボディの長手側方に設けられているフィッシュアイカメラによって作成されたカメラ画像ＫＢ２、ＫＢ３も模式的に示されている。尚、図２には、該乗り物Ｆの乗り物ボディの後方に配置されているフィッシュアイカメラによって作成された第四カメラ画像ＫＢ４も示されている。これら乗り物周辺部のそれぞれのカメラ画像ＫＢは、ある可能な実施形態においては、オーバーラップしていることができる。特にフィッシュアイカメラであり得る各々の搭載カメラは、乗り物ボディの下に横たわっている領域、乃至、地面の画像データを供給できない。図１に示されている様な本発明に係る方法では、乗り物周辺ビューＦＵＡ内の乗り物ボディの下にあり、特に、フィッシュアイカメラであり得る搭載カメラには見えない地面の領域用のテクスチャは、地面の見えない領域を取り巻く搭載カメラから見える地面の領域のテクスチャ・データから算出される。これを取り巻く搭載カメラから見える地面の領域は、図２に模式的に示されている。搭載カメラから供給される各々のカメラ画像ＫＢは、それぞれ、多数のピクセルを含んでいる。乗り物Ｆの乗り物ボディの下にあり搭載カメラには見えない地面の領域用のテクスチャは、その画像データ値が、計算ユニットによって、搭載カメラから見える地面の領域用の画像データ値を基に補外されたピクセルを有している。その際、該画像データ値は、好ましくは、色画像データ値を有している。ある可能な実施形態において搭載カメラには見えない地面領域のテクスチャは、二つの色領域、即ち、内部領域ＩＢと該内部領域ＩＢを取り囲む周縁領域ＲＢを有している。
【００３０】
内部領域ＩＢのテクスチャは、単一な色、乃至、単一な色値を有している。図２では、斜線によって示されている該内部領域ＩＢを取り巻く周縁領域ＲＢは、搭載カメラによって捕捉された周縁部の色から見えない領域側の内部領域ＩＢの単一色への連続的な色推移を有している。即ち、搭載カメラには見えない面の縁の間近にある搭載カメラによって捕捉された色値を基に、内部領域ＩＢの単一色への色推移が作成される。
【００３１】
乗り物ボディの下に横たわり、搭載カメラからは見えない領域のテクスチャは、有意な乃至ハードな移行部を有することなく搭載カメラから見える地面領域のテクスチャへ移行する。これにより、算出された乗り物周辺ビューＦＵＡにおける乗り物周辺部の再現は、より現実的となり、操縦士は、該乗り物によってマヌーバを実施する際に、より効果的に、サポートされる。作成された乗り物周辺ビューＦＵＡは、操縦士に他のサポート機能や操縦士アシスタント機能を提供するために、操縦士アシスタント・システムの他のファンクションユニットにおいて更に処理されることも可能である。作成された乗り物周辺ビューＦＵＡのクオリティが高いことから、他の算出された操縦士アシスタント機能は、操縦士を信頼性高くサポートできる。特に、乗り物周辺ビューＦＵＡを作成するための本発明に係る方法並びに本発明に係る装置により、特に駐車マヌーバの際に乗り物ボディの損傷の原因になり得る、特に乗り物ボディの角などにおいて所謂ブラインドスポットを回避できる。
【００３２】
図３は、乗り物の乗り物周辺描写ＦＵＡを作成するための本発明に係る装置１の実施形態のブロック図を示している。装置１は、それぞれの搭載カメラ２−ｉから伝達されるカメラ画像乃至画像データを評価する、特にマイクロプロセッサ乃至プロセッサであり得る計算ユニット４を包含している。各々の搭載カメラ２−ｉは、車両Ｆの車両ボディ３の異なる側面に配置されている。該搭載カメラ２−ｉは、フィッシュアイカメラであることができ、リアルタイムに乗り物Ｆの乗り物周辺部のカメラ画像ＫＢを供給する。それぞれの搭載カメラの視角は、ある可能な実施形態においては、オーバーラップしていることができる。該計算ユニット４は、ある可能な実施形態においては、受信したカメラ画像ＫＢの画像処理をリアルタイムに実施する。装置１の計算ユニット４は、受信したカメラ画像ＫＢに基づいて乗り物周辺ビューＦＵＡの算出を実施するが、乗り物Ｆの乗り物ボディ３の下にあり、搭載カメラ２−ｉには見えない乗り物周辺ビューＦＵＡ内の地面領域のテクスチャは、地面の見えない領域を取り囲んでいる搭載カメラ２から見える地面領域のテクスチャ・データに基づいて算出される。ある可能な実施形態においては、該計算は、見えない地面領域を取り囲んでいる搭載カメラ２から見える地面の周辺領域のテクスチャ・データに基づいて実施される。該乗り物Ｆは、乗り物周辺ビューの計算を計算ユニット４によって実施する際、該地面上を動いている、或いは、そこに停車していることができる。該乗り物Ｆは、陸上用の乗り物、例えば、道路交通用車両乃至農業用車両であることができる。乗り物周辺ビューＦＵＡを計算するための装置１は、ある可能な実施形態においては、操縦士に対する様々なアシスタント機能、乃至、ヘルプファンクションを、特に、操縦マヌーバを実施する際に提供される一つの操縦士アシスタント・システムＦＡＳの一部であることもできる。ある可能な実施形態においては、算出された乃至作成された乗り物周辺ビューＦＵＡは、該操縦士アシスタント・システムＦＡＳの他のファンクションユニットがアクセス自在な一つのデータ保存手段に一時保存されることができる。この実施形態において一時保存された乃至記録された乗り物周辺部の乗り物周辺ビューＦＵＡは、乗り物Ｆの操縦士に様々なアシスタントファンクションを提供するために、操縦士アシスタント・システムの様々なファンクションユニットのデータ処理ユニットによって更に処理される。例えば、操縦士は、操縦マヌーバ、特に、駐車マヌーバを実施する際、操縦士アシスタント・システムＦＡＳによってサポートされる。地面のテクスチャも含む算出された乗り物周辺ビューの高いクオリティにより、これら提供される機能は、操縦マヌーバを実施する際に操縦士を、従来の操縦士アシスタント・システムＦＡＳよりも高い安全性と信頼性をもってサポートすることが可能である。この様な操縦マヌーバの最中に乗り物ボディ３に損傷が起こる確率は、それ相応に低減される。図３に示されている乗り物Ｆは、陸上用の乗り物、例えば、道路交通用車両乃至農業用車両である。更なる可能な実施形態においては、該乗り物Ｆは、その乗り物ボディ乃至機体に搭載カメラ２−ｉが装備されている飛行機など空用の乗り物である。この実施例においては、例えば、該飛行機のパイロットは、飛行場における走行マヌーバの際に、サポートされる。更に該乗り物Ｆは、その船体に搭載カメラ２−ｉが備えられ、対応するカメラ画像ＫＢが、該船舶の乗り物周辺ビューＦＵＡを生成するための計算ユニット４に供給される水上／水中用の乗り物乃至船舶であることができる。該計算ユニット４によって生成された乗り物周辺ビューＦＵＡは、ある可能な実施形態においては、表示手段を介して、道路用の乗り物のドライバー、飛行機のパイロット、水上／水中用の乗り物の操縦士に出力されることができる。本発明に係るある可能な実施形態においては、乗り物周辺ビューＦＵＡは、更なる評価のためにデータ保存手段に記録される。更なる可能な実施形態においては、該算出された乗り物周辺ビューＦＵＡは、計算ユニット４に接続されているトランシーバを介して、中央制御手段に伝達される。該制御手段は、例えば、飛行場のタワー内に設けられている。この様にすることにより、第三者が、該乗り物によるマヌーバの実施を、観察乃至監視することが可能である。
【符号の説明】
【００３３】
１            装置
２            搭載カメラ
３            乗り物ボディ
４            計算ユニット
Ｆ            乗り物
ＫＢ          カメラ画像
ＩＢ          内部領域
ＲＢ          周縁領域
【図１】
2020501226.tif 000003
【図２】
2020501226.tif 000004
【図３】
2020501226.tif 000005
【国際調査報告】
2020501226.tif 000006
2020501226.tif 000007
2020501226.tif 000008
2020501226.tif 000009