(57)【要約】  車両の車両周辺部内のカメラ画像を作成する車載カメラ、並びに、車載カメラが作成したカメラ画像を車両周辺部の周辺画像に合成するデータ処理ユニットを装備し、但し、周辺画像内に含まれている少なくとも一つのオブジェクトに対して、帰属する画像領域が、アダプティブに処理される車両のために周辺画像を表示するためのドライバー・アシスタント・システム。
2019504382.tif 000002
【特許請求の範囲】
【請求項１】
以下：
−車両（Ｆ）の車両周辺部内のカメラ画像を作成する車載カメラ（２）；並びに、
−車載カメラ（２）が作成したカメラ画像を車両周辺部の周辺画像に合成するデータ処理ユニット（４）；
を装備し、但し、周辺画像内に含まれている少なくとも一つのオブジェクトに対して、帰属する画像領域（ＲＯＩ）が、アダプティブに処理されることを特徴とする車両のために周辺画像を表示するためのドライバー・アシスタント・システム（１）。
【請求項２】
アダプティブに処理された画像領域を含む合成された周辺画像が、ドライバー・アシスタント・システム（１）の表示ユニット（５）に表示されることを特徴とする請求項１に記載のドライバー・アシスタント・システム。
【請求項３】
オブジェクトに帰属する画像領域（ＲＯＩ）が、その各頂点が車両の（Ｆ）の車両座標系の座標であるポリゴンによって形成されていることを特徴とする請求項１或いは２に記載のドライバー・アシスタント・システム。
【請求項４】
該オブジェクトに帰属する画像領域（ＲＯＩ）が、車両の車両周辺部の周辺データモデルによって、定められることを特徴とする先行請求項１から３のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項５】
該オブジェクトに帰属する画像領域（ＲＯＩ）が、ユーザーインターフェースを用いてドライバー・アシスタント・システム（１）のユーザーによって、定められることを特徴とする先行請求項１から３のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項６】
該オブジェクトに帰属する画像領域（ＲＯＩ）に、フィルタが、特に好ましくは、ハイパスフィルタ乃至ローパスフィルタが掛けられることを特徴とする先行請求項１から５のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項７】
該オブジェクトに帰属する画像領域（ＲＯＩ）に、予め定められている帰属するテクスチャが覆い被せられることを特徴とする先行請求項１から５のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項８】
周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両（Ｆ）の車両周辺部の高さプロファイルに基づいて認識する      
ことを特徴とする先行請求項１から７のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項９】
周辺画像内に含まれているオブジェクトが分類され、続いて、オブジェクトに帰属する画像領域のアダプティブな画像処理が、オブジェクトの割り出されたクラスに依存してデータ処理ユニット（４）によって実施されることを特徴とする先行請求項１から８のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項１０】
オブジェクトに帰属する画像領域のアダプティブな画像処理が、該画像領域の、及び／或いは、該オブジェクトの、車両座標系の座標起点（ＫＵＰ）に対する間隔に依存してデータ処理ユニット（４）によって実施されることを特徴とする先行請求項１から９のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項１１】
以下のステップ：
（ａ）車両の車載カメラによって作成されたカメラ画像を、車両の車両周辺部の周辺画像に合成するステップ（Ｓ１）；並びに、
（ｂ）合成された周辺画像内に含まれているオブジェクトに帰属する少なくとも一つの画像領域（ＲＯＩ）のアダプティブな画像処理を実施するステップ（Ｓ２）を包含することを特徴とする車両の車両周辺部の周辺画像の画像データ処理を実施するための方法。
【請求項１２】
オブジェクトに帰属する画像領域が、その各頂点が車両の車両座標系の座標によって形成されているポリゴンによって形成されていることを特徴とする請求項１１に記載の方法。
【請求項１３】
オブジェクトに帰属する画像領域が、車両の車両周辺部の周辺データモデルによって定められる、或いは、ドライバー・アシスタント・システムのユーザーによってユーザーインターフェースを用いて定められることを特徴とする請求項１１或いは１２に記載の方法。
【請求項１４】
オブジェクトに帰属する画像領域に、フィルタが、特に好ましくは、ハイパスフィルタ乃至ローパスフィルタが掛けられる、或いは、該オブジェクトに帰属する画像領域に、予め定められている帰属するテクスチャが覆い被せられることを特徴とする先行請求項１１から１２のうち一項に記載の方法。
【請求項１５】
周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両の車両周辺部の高さプロファイルに基づいて認識することを特徴とする先行請求項１１から１４のうち何れか一項に記載の方法。
【請求項１６】
周辺画像内に含まれているオブジェクトが分類され、続いて、オブジェクトに帰属する画像領域のアダプティブな画像処理が、オブジェクトの割り出されたクラスに依存して実施されることを特徴とする先行請求項１１から１５のうち何れか一項に記載の方法。
【請求項１７】
オブジェクトに帰属する画像領域のアダプティブな画像処理が、該画像領域の、或いは、該オブジェクトの、車両の車両座標系の座標起点に対する間隔に依存して実施されることを特徴とする先行請求項１１から１６のうち何れか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の車両周辺部の周辺画像の画像データ処理を実施するための方法並びに装置に関する。
【背景技術】
【０００２】
車両、特に道路交通用車両は、増々、運転マヌーバの実施の際にドライバーをサポートするためのドライバー・アシスタント・システムを装備するようになってきている。このようなドライバー・アシスタント・システムは、車両の周辺画像をドライバーに示すための表示手段、乃至、ディスプレーを装備している。この様な周辺画像は、車両の周りにある周辺部のサラウンドビューを、例えば、鳥瞰図として示すことができる。この様な周辺画像を作成するために、該車両は、カメラ画像を供給する車載カメラを装備している。これらカメラ画像は、データ処理ユニットによって、車両周辺部の周辺画像、乃至、サラウンドビューに合成される。この合成された画像は、続いて、ドライバー・アシスタント・システムの表示ユニット上に表示される。
【０００３】
多くのケースにおいては、表示される周辺画像において歪みの原因となる車両の車両周辺部内にあるオブジェクト、乃至、障害物、例えば、建物や他の車両が、存在している。この様な歪みは、例えば、該車両のドライバーによる交通シチュエーションの誤った判断の原因となり得るため、運転マヌーバを実施する場合における安全を損なえかねない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
よって、本発明の課題は、表示されている周辺画像内におけるオブジェクトに起因する画像歪みを、可能な限り回避する、乃至、除去する車両の車両周辺部の周辺画像の画像データ処理を実施するためのドライバー・アシスタント・システムと方法を提供することにある。
【課題を解決するための手段】
【０００５】
この課題は、本発明の請求項１記載の特徴を有するドライバー・アシスタント・システムによって達成される。
【０００６】
それによれば、本発明は、以下：   
車両の車両周辺部内のカメラ画像を作成する車載カメラ；並びに、   
車載カメラが作成したカメラ画像を車両周辺部の周辺画像に合成するデータ処理ユニットを装備し、但し、周辺画像内の少なくとも一つ存在しているオブジェクトのために、それに帰属する領域は、アダプティブに処理される車両用の周辺画像を表示するためのドライバー・アシスタント・システムを実現する。
【０００７】
本発明に係るドライバー・アシスタント・システムのある可能な実施形態においては、処理された画像領域を含む合成された周辺画像が、ドライバー・アシスタント・システムの表示ユニットに表示される。
【０００８】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、各頂点が車両の二次元乃至三次元車両座標系の座標であるポリゴンによって形成される。
【０００９】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、車両の車両周辺部の周辺データモデルによって、定められる。
【００１０】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、ユーザーインターフェースを用いてドライバー・アシスタント・システムのユーザーによって、定められる。
【００１１】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、フィルタが掛けられる。
【００１２】
該オブジェクトに帰属する画像領域には、ハイパスフィルタ、乃至、ローパスフィルタを掛けることができる。
【００１３】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、予め定められているテクスチャが覆い被せられる。
【００１４】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両の車両周辺部の高さプロファイルに基づいて認識する。
【００１５】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトを、データ処理ユニットによって分類し、これに続く各々のオブジェクトに帰属する画像領域のアダプティブな画像処理は、該データ処理ユニットによって、オブジェクトの割り出されたクラスに依存して実施される。
【００１６】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、オブジェクトに帰属する画像領域のアダプティブな画像処理は、該画像領域の二次元乃至三次元車両座標系の座標起点に対する間隔に依存して、ドライバー・アシスタント・システムのデータ処理ユニットによって実施される。
【００１７】
本発明は、更に、特許請求項１１に記載の特徴を有する車両の車両周辺部の周辺画像の画像データ処理を実施するための方法も実現する。
【００１８】
それによれば、本発明は、以下のステップを包含する車両の車両周辺部の周辺画像の画像データ処理を実施するための方法を実現する：
車両の車載カメラによって作成されたカメラ画像を、車両の車両周辺部の周辺画像に合成するステップ、並びに、合成された周辺画像内に含まれているオブジェクトに帰属する少なくとも一つの画像領域のアダプティブな画像処理を実施するステップ。
【００１９】
本発明に係る方法のある可能な実施形態においては、様々なオブジェクトのアダプティブに処理された画像領域を含む合成された周辺画像が、表示ユニットに表示される。
【００２０】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、各頂点が車両の二次元乃至三次元車両座標系の座標によって形成されるポリゴンによって形成される。
【００２１】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、車両の車両周辺部の周辺データモデルによって、定められる。
【００２２】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、ユーザーインターフェースを用いてドライバー・アシスタント・システムのユーザーによって、定められる。
【００２３】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、フィルタが、特に好ましくは、ハイパスフィルタ乃至ローパスフィルタが掛けられる。
【００２４】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、予め定められている帰属するテクスチャが覆い被せられる。
【００２５】
本発明に係る方法のある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両の車両周辺部の高さプロファイルに基づいて認識する。
【００２６】
本発明に係る方法のある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトは、先ず、分類される。
【００２７】
本発明に係る方法のある更なる可能な実施形態においては、オブジェクトに帰属する画像領域のアダプティブな画像処理が、割り出されたオブジェクトのクラスに依存して実施される。
【００２８】
本発明に係る方法のある更なる可能な実施形態においては、オブジェクトに帰属する画像領域のアダプティブな画像処理は、該画像領域の、乃至、帰属するオブジェクトの、車両の二次元乃至三次元車両座標系の座標起点に対する間隔に依存して、実施される。
【００２９】
以下、本発明に係る方法、並びに、本発明に係るドライバー・アシスタント・システムの可能な実施形態を、添付されている図を用いて詳細に説明する：
【図面の簡単な説明】
【００３０】
【図１】本発明に係る周辺画像を表示するためのドライバー・アシスタント・システムの実施例を示すためのブロック図である。
【図２】車両の車両周辺部の周辺画像の画像データ処理を実施するための本発明に係るドライバー・アシスタント・システム、並びに、本発明に係る方法を説明するための模式的描写である。
【図３】画像処理を実施するための本発明に係る方法のある実施例を示すための単純化したフローチャートである。
【発明を実施するための形態】
【００３１】
図１は、ある車両のために周辺画像を表示するための本発明に係るドライバー・アシスタント・システム１の実施形態の一例を描写したブロック図を示している。図１に示されているドライバー・アシスタント・システム１は、図２に模式的に示した如く、例えば、道路交通用車両に設けることができる。図１に示されている実施例では、該車両は、車体の異なる側面に取り付けられている複数の車載カメラ、乃至、光学的センサー類２−１，２−２，２−３，２−４を装備している。設けられる車載カメラの数は、車両の種類によって変えることが可能である。ある可能な実施形態においては、該車両は、車体の異なる側面に設けられた四台の車載カメラを有している。その際、好ましくは、車体の各側面に、一台ずつ車載カメラが設けられている、要するに、第一車載カメラ２−１が、車体の前方に、第二車載カメラ２−２が、車体の左側に、第三車載カメラ２−３が、車体の右側に、第四車載カメラ２−４が、車体の後方に設けられている。それぞれの車載カメラ２−ｉは、シグナル配線３−１，３−２，３−３，３−４を介して、ドライバー・アシスタント・システム１のデータ処理ユニット４に伝達される連続的に車両周辺部のカメラ画像を供給する。ある可能な実施形態においては、車載カメラ２−ｉは、カメラ画像をコード化した形で、シグナル配線３−ｉを介してデータ処理ユニット４に伝達するために、データエンコーダを、有している。該データ処理ユニット４は、ある可能な実施形態においては、画像処理を実施するための一つの乃至複数のプロセッサを備えている。データ処理ユニット４は、受信した車載カメラ２−ｉに由来するカメラ画像を、連続的に、一枚の車両の車両周辺部の周辺画像に合成する。その際、周辺画像内の少なくとも一つ存在しているオブジェクトのために、それに帰属する領域は、アダプティブに処理される。帰属する画像領域ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）には、データ処理ユニット４によってアダプティブな画像処理が施される。車両周辺部のデータ処理ユニット４によって合成された周辺画像は、それに含まれ、処理された画像領域と共に、ドライバー・アシスタント・システム１の表示ユニット５に表示される。
【００３２】
オブジェクトに帰属する画像領域ＲＯＩは、好ましくは、複数の頂点を有するポリゴンによって構成される。該ポリゴンは、例えば、四つの頂点を有する四角形や三つの頂点を有する三角形であることができる。ポリゴンの頂点は、その際、好ましくは、車両の車両座標系の座標によって構成される。該車両座標系は、好ましくは、図２に模式的に示すように、車両Ｆの中央に座標起点ＫＵＰ（ドイツ語：Ｋｏｏｒｄｉｎａｔｅｎ（座標）−Ｕｒｓｐｒｕｎｇｓ（起）−Ｐｕｎｋｔ（点））を有している。図２は、第一車両座標ｘと第二車両座標ｙを有する二次元車両座標系を示している。ある好ましい代案的実施形態においては、車両Ｆの車両座標系は、三つの車両座標ｘ，ｙ，ｚを有する三次元車両座標系も包含していることができる。
【００３３】
本発明に係るドライバー・アシスタント・システム１のある可能な実施形態においては、該オブジェクトに帰属する画像領域ＲＯＩは、車両の車両周辺部の周辺データモデルによって、定められる。この周辺データモデルは、例えば、周辺データモデル・ジェネレータ６によって作成される。この際、周辺データモデル・ジェネレータ６には、少なくとも一つの周辺データセンサー７、例えば、超音波センサーが、接続されている。これらのセンサー類は、車両の車両周辺部の高さプロファイルに関するデータを供給する例えば、縁石や建物がオブジェクトとして、或いは、車両障害物が、認識され、基準レベル、例えば、路面レベルに対するオブジェクトのセンサー的に捉えられた高さが割り出される。該周辺データモデル・ジェネレータ６は、受信したセンサーデータから周辺データモデルを作成するが、この際、データ処理ユニット４は、作成された周辺データモデルに依存して、合成された周辺画像内のオブジェクトを認識し、周辺画像内において、認識したオブジェクトに帰属する画像領域を割り出す、乃至、算出する。
【００３４】
代案的には、オブジェクトに帰属する画像領域は、ドライバー・アシスタント・システム１のユーザーによって、ドライバー・アシスタント・システム１のユーザーインターフェース８を介して、決定される、乃至、選択されることもできる。ある可能な実施形態においては、該ドライバー・アシスタント・システム１は、該周辺画像内の画像領域ＲＯＩを選択するためのユーザーインターフェースを内蔵した、合成され処理された周辺画像を表示するためのタッチスクリーン・表示手段５を有している。
【００３５】
本発明に係るドライバー・アシスタント・システム１のある可能な実施形態においては、該オブジェクトに帰属する画像領域ＲＯＩには、自動的にフィルタが、特に好ましくは、ハイパスフィルタ乃至ローパスフィルタが掛けられる。合成された周辺画像の画像データの定められた領域へのフィルタ掛けは、アダプティブな画像処理アルゴリズムに従って、データ処理ユニット４によって実施される。
【００３６】
ある代案的実施形態では、オブジェクトに帰属する画像領域には、予め定められているテクスチャをかけることができる。ある可能な実施形態においては、ユーザーが、対応するテクスチャをコンフィグレーションする、乃至、予め定められているテクスチャ群の中から選択することができるようになっている。
【００３７】
本発明に係るドライバー・アシスタント・システム１のある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクト、例えば、建物や樹木などを分類し、これに続くオブジェクトに帰属する画像領域のアダプティブな画像処理は、オブジェクトの割り出されたクラスに依存して実施される。本発明に係るドライバー・アシスタント・システム１のある更なる可能な実施形態においては、オブジェクトに帰属する画像領域ＲＯＩのアダプティブな画像処理は、データ処理ユニット４によって、該画像領域の、該車両Ｆの車両座標系の座標起点ＫＵＰに対する間隔に依存して、実施される。例えば、車両座標系の座標起点ＫＵＰから遠くにある画像領域ＲＯＩに対しては、座標起点ＫＵＰから近くにある画像領域ＲＯＩに対する画像処理アルゴリズムとは別の画像処理アルゴリズムが用いられる。
【００３８】
図２は、車両周辺部の周辺画像の画像データ処理を実施するための本発明に係るドライバー・アシスタント・システム１、並びに、本発明に係る方法の作動形態を説明するためのものである。図２には、本発明に係るドライバー・アシスタント・システム１を装備した車両Ｆが、模式的に示されている。例えば、道路交通用車両である車両Ｆの中央には、二次元乃至三次元の車両座標系の座標起点ＫＵＰがある。図２に示されている例では、車輌Ｆの車両周辺部には、様々なオブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３，ＯＢＪ４が、存在している。オブジェクトＯＢＪ１は、例えば、車両Ｆの車両周辺部にある建物である。オブジェクトＯＢＪ２は、例えば、車両Ｆの左前にある樹木である。更に、図２には、可動なオブジェクトＯＢＪ３が、歩行者として描写されている。最後に、図２には、三角形の障害物、例えば、バリケードやそれに類似するものであることができる四つ目のオブジェクトＯＢＪ４が示されている。各々の異なるオブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３，ＯＢＪ４用に、帰属する領域ＲＯＩ１，ＲＯＩ２，ＲＯＩ３，ＲＯＩ４が、割り出される。帰属する画像領域の割り出しは、車両周辺部の作成された周辺データモデルを基に自動的に、或いは、ドライバー・アシスタント・システム１ユーザーのユーザーインターフェース８を介して入力によってマニュアルに実施される。更なる可能な実施形態においては、帰属する画像領域は、部分的に、周辺データモデルを基にして定められ、部分的に、ユーザーによって、ユーザーインターフェース８を介して入力される。車両周辺部にあるオブジェクトには、例えば、建物、樹木、バリケードなど不動なオブジェクトであり得るが、例えば、車両Ｆの車両周辺部の歩行者や他の車両など、可動なオブジェクトであることもできる。帰属する画像領域ＲＯＩは、例えば、画像領域ＲＯＩ２，ＲＯＩ３とＲＯＩ４の様に、該当するオブジェクトを、取り巻いている、或いは、例えば、画像領域ＲＯＩ１の様に、一部のみを覆っていることができる。本発明に係るドライバー・アシスタント・システム１のある好ましい実施形態においては、該帰属する画像領域ＲＯＩは、二次元乃至三次元の車両座標系の座標である複数の角、乃至、頂点を有するポリゴンから構成されている。該ポリコン画像領域は、例えば、二次元ポリゴンの、乃至、一つの二次元ポリゴン・ボディの二つ、三つ、四つ、或いは、複数の頂点を包含している。ある好ましい可能な実施形態においては、頂点の数、乃至、ポリゴン或いはポリゴン・ボディの形状は、それぞれのオブジェクトを基にして得られる。ある可能な実施形態においては、周辺画像内に含まれているオブジェクトＯＢＪが、分類される。例えば、示されている例内のオブジェクトＯＢＪ２は、樹木に分類される。更に、例えば、オブジェクトＯＢＪ１は、不動の建物として分類できる。オブジェクトＯＢＪの割り出されたクラスに依存して、ある可能な実施形態においては、帰属する画像領域の形状が割り出される。例えば、オブジェクトＯＢＪ４は、三角形のバリケードとして分類された場合、三角形の帰属する画像領域ＲＯＩ４が、割り出される。本発明に係る画像処理を実施するためのドライバー・アシスタント・システム１と方法のある更なる好ましい実施形態においては、オブジェクトＯＢＪに帰属する画像領域ＲＯＩのアダプティブな画像処理も、オブジェクトＯＢＪの割り出されたクラスに依存して、データ処理ユニット４によって実施される。例えば、分類されたオブジェクト樹木（オブジェクトＯＢＪ２）の画像領域ＲＯＩ２は、第一画像処理アルゴリズムによって処理され、他方の分類されたオブジェクトＯＢＪ３（歩行者）の画像領域ＲＯＩ３は、他の画像処理アルゴリズムによって処理されることができる。例えば、オブジェクトＯＢＪ２（樹木）の画像領域ＲＯＩ２は、データ処理ユニット４によって、ハイパスフィルタ掛けされ、他方の分類されたオブジェクトＯＢＪ３（歩行者）には、ローパスフィルタ掛けを実施することができる。更には、例えば、建物として分類されたオブジェクトＯＢＪ１は、例えば、赤色の斜線やこれに類似するものなど帰属する建物テクスチャによって覆うことができる。様々なテクスチャを様々なオブジェクトタイプ、乃至、オブジェクトクラスに、割り当てることができる。例えば、ドライバー・アシスタント・システム１のデータ処理ユニット４は、ある可能な実施形態においては、様々なオブジェクトタイプに様々なテクスチャ乃至テクスチャ面が割り当てられているコンフィグレーション・メモリーにアクセスできる。更なる可能な実施形態においては、ユーザーインターフェース８を介して、ドライバー・アシスタント・システム１のユーザーが、好みのテクスチャ模様のコンフィグレーション、及び／或いは、様々なオブジェクト用の画像領域アルゴリズムを選択できるようになっている。
【００３９】
本発明に係るドライバー・アシスタント・システム１と本発明に係る画像処理を実施するための方法のある更なる可能な実施形態においては、オブジェクトＯＢＪに帰属する画像領域ＲＯＩのアダプティブな画像処理が、各々の画像領域の車両座標系の座標起点ＫＵＰに対する間隔に依存して実施される。例えば、座標起点ＫＵＰの近くにある画像領域ＲＯＩ４は、少し離れたオブジェクトＯＢＪ１（建物）の画像領域ＲＯＩ１のものとは異なる第一画像処理アルゴリズムによって処理される。ある可能な実施形態においては、オブジェクト、例えば、オブジェクトＯＢＪ３（歩行者）は、車両の座標系内を動くことができ、各々のオブジェクトＯＢＪは、車両座標系の座標起点ＫＵＰに接近する、乃至、車両座標系の該座標起点ＫＵＰから遠のくことが可能である。本発明に係る方法、及び、本発明に係るドライバー・アシスタント・システム１のある可能な実施形態においては、動いているオブジェクトに帰属している画像領域ＲＯＩの中心点Ｍと座標起点ＫＵＰの間の間隔、乃至、距離Ｄが、算出される。続いて、帰属している画像領域ＲＯＩ４を包含している画像データの画像処理は、好ましくは、算出された間隔Ｄに依存して実施される。車両Ｆが、走行中、不動のオブジェクト、例えば、建物に対して相対的に動いた場合、各々の画像領域の中心点Ｍに対する間隔Ｄは、算出された間隔Ｄに依存して、異なる画像処理アルゴリズム間の切り替えを実施するために、連続的に算出されることができる。車両Ｆの車載カメラ２−ｉは、カメラ画像、乃至、画像フレームのストリームをドライバー・アシスタント・システム１のデータ処理ユニット４に供給する。ある可能な実施形態においては、一つのオブジェクトＯＢＪの帰属する画像領域ＲＯＩは、ドライバー・アシスタント・システム１のデータ処理ユニット４が、車載カメラ２−ｉから受け取る画像フレーム・シーケンス内の各々の新しい画像フレームにおいて、変化する。
【００４０】
ドライバー・アシスタント・システム１を装備している車両Ｆは、道路交通に参加中である道路交通用車両であることができる。或いは、このようなドライバー・アシスタント・システム１を装備した工業的生産現場において用いられている可動な車両であっても良い。更には、医療分野における応用も考え得る。カメラ画像として供給される画像データ、乃至、カメラ画像は、所謂「スティッチング」によって、例えば３６０°−パノラマビューなどの合成された周辺画像に合成されるが、該カメラ画像は、表示するために、好ましくは、投影面、特に好ましくは、二次元のグラウンド面、乃至、三次元の椀状の投影面に投影される。様々な画像領域に用いられた画像処理アルゴリズム、例えば、ハイパスフィルタやローパスフィルタは、好ましくは、車両座標起点と、車両周辺部の帰属しているオブジェクト、乃至、障害物までの割り出された間隔に依存して実施される。
【００４１】
図３は、車両Ｆの車両周辺部の周辺画像の画像データ処理を実施するための本発明に係る方法の実施例を描写するための簡略化したフローチャートを示している。
【００４２】
第一ステップＳ１では、車両の異なる車載カメラに由来するカメラ画像が、一枚の車両の車両周辺部の周辺画像に合成される。続く、ステップＳ２では、合成された周辺画像内に含まれているオブジェクトに帰属する少なくとも一つの画像領域に対してアダプティブな画像データ処理が実施される。図３に示した方法は、例えば、ドライバー・アシスタント・システム１の画像処理ユニット４のプロセッサによって実施される。
【図１】
2019504382.tif 000003
【図２】
2019504382.tif 000004
【図３】
2019504382.tif 000005
【手続補正書】
【提出日】平成29年5月31日(2017.5.31)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の車両周辺部の周辺画像の画像データ処理を実施するための方法並びに装置に関する。
【背景技術】
【０００２】
車両、特に道路交通用車両は、増々、運転マヌーバの実施の際にドライバーをサポートするためのドライバー・アシスタント・システムを装備するようになってきている。このようなドライバー・アシスタント・システムは、車両の周辺画像をドライバーに示すための表示手段、乃至、ディスプレーを装備している。この様な周辺画像は、車両の周りにある周辺部のサラウンドビューを、例えば、鳥瞰図として示すことができる。この様な周辺画像を作成するために、該車両は、カメラ画像を供給する車載カメラを装備している。これらカメラ画像は、データ処理ユニットによって、車両周辺部の周辺画像、乃至、サラウンドビューに合成される。この合成された画像は、続いて、ドライバー・アシスタント・システムの表示ユニット上に表示される。
【０００３】
多くのケースにおいては、表示される周辺画像において歪みの原因となる車両の車両周辺部内にあるオブジェクト、乃至、障害物、例えば、建物や他の車両が、存在している。この様な歪みは、例えば、該車両のドライバーによる交通シチュエーションの誤った判断の原因となり得るため、運転マヌーバを実施する場合における安全を損なえかねない。
【０００４】
文献ＤＥ  １０  ２０１３  ０１０  ０１０  Ａ１には、幅寄せ、及び／或いは、駐車するためのドライバー・アシスタント・システムを作動させるための、三次元周辺モデルを割り出し、その後これが表示手段上に表示のために用いられる、方法が記述されている。文献ＵＳ  ５，１７９，４４１  Ａは、ロボット車両用のステレオ・ビジョン・システムを記述している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】文献ＤＥ  １０  ２０１３  ０１０  ０１０  Ａ１
【特許文献２】文献ＵＳ  ５，１７９，４４１  Ａ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
よって、本発明の課題は、表示されている周辺画像内におけるオブジェクトに起因する画像歪みを、可能な限り回避する、乃至、除去する車両の車両周辺部の周辺画像の画像データ処理を実施するためのドライバー・アシスタント・システムと方法を提供することにある。
【課題を解決するための手段】
【０００７】
この課題は、本発明の請求項１記載の特徴を有するドライバー・アシスタント・システムによって達成される。
【０００８】
それによれば、本発明は、以下を装備した車両用の周辺画像を表示するためのドライバー・アシスタント・システムを実現する：
車両の車両周辺部内のカメラ画像を作成する車載カメラ；並びに、
車載カメラが作成したカメラ画像を車両周辺部の周辺画像に合成するデータ処理ユニット、
但し、周辺画像内の少なくとも一つ存在しているオブジェクトのために、それに帰属する領域は、アダプティブにフィルタ掛けされる。
【０００９】
処理された画像領域を含む合成された周辺画像は、ドライバー・アシスタント・システムの表示ユニットに表示される。
【００１０】
本発明に係るドライバー・アシスタント・システムのある可能な実施形態においては、該オブジェクトに帰属する画像領域は、各頂点が車両の二次元乃至三次元車両座標系の座標であるポリゴンによって形成される。
【００１１】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、車両の車両周辺部の周辺データモデルによって、定められる。
【００１２】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、ユーザーインターフェースを用いてドライバー・アシスタント・システムのユーザーによって、定められる。
【００１３】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、例えば、ハイパスフィルタ乃至ローパスフィルタが掛けられることができる。
【００１４】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、予め定められているテクスチャが覆い被せられる。
【００１５】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両の車両周辺部の高さプロファイルに基づいて認識する。
【００１６】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトを、データ処理ユニットによって分類し、これに続く各々のオブジェクトに帰属する画像領域のアダプティブな画像処理は、該データ処理ユニットによって、オブジェクトの割り出されたクラスに依存して実施される。
【００１７】
本発明に係るドライバー・アシスタント・システムのある更なる可能な実施形態においては、オブジェクトに帰属する画像領域のアダプティブな画像処理は、該画像領域の二次元乃至三次元車両座標系の座標起点に対する間隔に依存して、ドライバー・アシスタント・システムのデータ処理ユニットによって実施される。
【００１８】
本発明は、更に、特許請求項１０に記載の特徴を有する車両のドライバー・アシスタント・システムの表示ユニットに周辺画像を表示するための車両の車両周辺部の周辺画像の画像データ処理を実施するための方法も実現する。
【００１９】
それによれば、本発明は、以下のステップを包含する車両のドライバー・アシスタント・システムの表示ユニットに周辺画像を表示するために車両の車両周辺部の周辺画像の画像データ処理を実施するための方法を実現する：
車両の車載カメラによって作成されたカメラ画像を、車両の車両周辺部の周辺画像に合成するステップ、
合成された周辺画像内に含まれているオブジェクトに帰属する少なくとも一つの画像領域のアダプティブな画像処理を実施するステップ、並びに、
処理された画像領域を含む合成された周辺画像をドライバー・アシスタント・システムの表示ユニット上に表示するステップ。
【００２０】
本発明に係る方法のある可能な実施形態においては、様々なオブジェクトのアダプティブに処理された画像領域を含む合成された周辺画像が、表示ユニットに表示される。
【００２１】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、各頂点が車両の二次元乃至三次元車両座標系の座標によって形成されるポリゴンによって形成される。
【００２２】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、車両の車両周辺部の周辺データモデルによって、定められる。
【００２３】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域は、ユーザーインターフェースを用いてドライバー・アシスタント・システムのユーザーによって、定められる。
【００２４】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、ハイパスフィルタ乃至ローパスフィルタが掛けられる。
【００２５】
本発明に係る方法のある更なる可能な実施形態においては、該オブジェクトに帰属する画像領域には、予め定められている帰属するテクスチャが覆い被せられる。
【００２６】
本発明に係る方法のある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両の車両周辺部の高さプロファイルに基づいて認識する。
【００２７】
本発明に係る方法のある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクトは、先ず、分類される。
【００２８】
本発明に係る方法のある更なる可能な実施形態においては、オブジェクトに帰属する画像領域のアダプティブな画像処理が、割り出されたオブジェクトのクラスに依存して実施される。
【００２９】
本発明に係る方法のある更なる可能な実施形態においては、オブジェクトに帰属する画像領域のアダプティブな画像処理は、該画像領域の、乃至、帰属するオブジェクトの、車両の二次元乃至三次元車両座標系の座標起点に対する間隔に依存して、実施される。
【００３０】
以下、本発明に係る方法、並びに、本発明に係るドライバー・アシスタント・システムの可能な実施形態を、添付されている図を用いて詳細に説明する。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る周辺画像を表示するためのドライバー・アシスタント・システムの実施例を示すためのブロック図である。
【図２】車両の車両周辺部の周辺画像の画像データ処理を実施するための本発明に係るドライバー・アシスタント・システム、並びに、本発明に係る方法を説明するための模式的描写である。
【図３】画像処理を実施するための本発明に係る方法のある実施例を示すための単純化したフローチャートである。
【発明を実施するための形態】
【００３２】
図１は、ある車両のために周辺画像を表示するための本発明に係るドライバー・アシスタント・システム１の実施形態の一例を描写したブロック図を示している。図１に示されているドライバー・アシスタント・システム１は、図２に模式的に示した如く、例えば、道路交通用車両に設けることができる。図１に示されている実施例では、該車両は、車体の異なる側面に取り付けられている複数の車載カメラ、乃至、光学的センサー類２−１，２−２，２−３，２−４を装備している。設けられる車載カメラの数は、車両の種類によって変えることが可能である。ある可能な実施形態においては、該車両は、車体の異なる側面に設けられた四台の車載カメラを有している。その際、好ましくは、車体の各側面に、一台ずつ車載カメラが設けられている、要するに、第一車載カメラ２−１が、車体の前方に、第二車載カメラ２−２が、車体の左側に、第三車載カメラ２−３が、車体の右側に、第四車載カメラ２−４が、車体の後方に設けられている。それぞれの車載カメラ２−ｉは、シグナル配線３−１，３−２，３−３，３−４を介して、ドライバー・アシスタント・システム１のデータ処理ユニット４に伝達される連続的に車両周辺部のカメラ画像を供給する。ある可能な実施形態においては、車載カメラ２−ｉは、カメラ画像をコード化した形で、シグナル配線３−ｉを介してデータ処理ユニット４に伝達するために、データエンコーダを、有している。該データ処理ユニット４は、ある可能な実施形態においては、画像処理を実施するための一つの乃至複数のプロセッサを備えている。データ処理ユニット４は、受信した車載カメラ２−ｉに由来するカメラ画像を、連続的に、一枚の車両の車両周辺部の周辺画像に合成する。その際、周辺画像内の少なくとも一つ存在しているオブジェクトのために、それに帰属する領域は、アダプティブに処理される。帰属する画像領域ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）には、データ処理ユニット４によってアダプティブな画像処理が施される。車両周辺部のデータ処理ユニット４によって合成された周辺画像は、それに含まれ、処理された画像領域と共に、ドライバー・アシスタント・システム１の表示ユニット５に表示される。
【００３３】
オブジェクトに帰属する画像領域ＲＯＩは、好ましくは、複数の頂点を有するポリゴンによって構成される。該ポリゴンは、例えば、四つの頂点を有する四角形や三つの頂点を有する三角形であることができる。ポリゴンの頂点は、その際、好ましくは、車両の車両座標系の座標によって構成される。該車両座標系は、好ましくは、図２に模式的に示すように、車両Ｆの中央に座標起点ＫＵＰ（ドイツ語：Ｋｏｏｒｄｉｎａｔｅｎ（座標）−Ｕｒｓｐｒｕｎｇｓ（起）−Ｐｕｎｋｔ（点））を有している。図２は、第一車両座標ｘと第二車両座標ｙを有する二次元車両座標系を示している。ある好ましい代案的実施形態においては、車両Ｆの車両座標系は、三つの車両座標ｘ，ｙ，ｚを有する三次元車両座標系も包含していることができる。
【００３４】
本発明に係るドライバー・アシスタント・システム１のある可能な実施形態においては、該オブジェクトに帰属する画像領域ＲＯＩは、車両の車両周辺部の周辺データモデルによって、定められる。この周辺データモデルは、例えば、周辺データモデル・ジェネレータ６によって作成される。この際、周辺データモデル・ジェネレータ６には、少なくとも一つの周辺データセンサー７、例えば、超音波センサーが、接続されている。これらのセンサー類は、車両の車両周辺部の高さプロファイルに関するデータを供給する例えば、縁石や建物がオブジェクトとして、或いは、車両障害物が、認識され、基準レベル、例えば、路面レベルに対するオブジェクトのセンサー的に捉えられた高さが割り出される。該周辺データモデル・ジェネレータ６は、受信したセンサーデータから周辺データモデルを作成するが、この際、データ処理ユニット４は、作成された周辺データモデルに依存して、合成された周辺画像内のオブジェクトを認識し、周辺画像内において、認識したオブジェクトに帰属する画像領域を割り出す、乃至、算出する。
【００３５】
代案的には、オブジェクトに帰属する画像領域は、ドライバー・アシスタント・システム１のユーザーによって、ドライバー・アシスタント・システム１のユーザーインターフェース８を介して、決定される、乃至、選択されることもできる。ある可能な実施形態においては、該ドライバー・アシスタント・システム１は、該周辺画像内の画像領域ＲＯＩを選択するためのユーザーインターフェースを内蔵した、合成され処理された周辺画像を表示するためのタッチスクリーン・表示手段５を有している。
【００３６】
本発明に係るドライバー・アシスタント・システム１のある可能な実施形態においては、該オブジェクトに帰属する画像領域ＲＯＩには、自動的にフィルタが、特に好ましくは、ハイパスフィルタ乃至ローパスフィルタが掛けられる。合成された周辺画像の画像データの定められた領域へのフィルタ掛けは、アダプティブな画像処理アルゴリズムに従って、データ処理ユニット４によって実施される。
【００３７】
ある代案的実施形態では、オブジェクトに帰属する画像領域には、予め定められているテクスチャをかけることができる。ある可能な実施形態においては、ユーザーが、対応するテクスチャをコンフィグレーションする、乃至、予め定められているテクスチャ群の中から選択することができるようになっている。
【００３８】
本発明に係るドライバー・アシスタント・システム１のある更なる可能な実施形態においては、周辺画像内に含まれているオブジェクト、例えば、建物や樹木などを分類し、これに続くオブジェクトに帰属する画像領域のアダプティブな画像処理は、オブジェクトの割り出されたクラスに依存して実施される。本発明に係るドライバー・アシスタント・システム１のある更なる可能な実施形態においては、オブジェクトに帰属する画像領域ＲＯＩのアダプティブな画像処理は、データ処理ユニット４によって、該画像領域の、該車両Ｆの車両座標系の座標起点ＫＵＰに対する間隔に依存して、実施される。例えば、車両座標系の座標起点ＫＵＰから遠くにある画像領域ＲＯＩに対しては、座標起点ＫＵＰから近くにある画像領域ＲＯＩに対する画像処理アルゴリズムとは別の画像処理アルゴリズムが用いられる。
【００３９】
図２は、車両周辺部の周辺画像の画像データ処理を実施するための本発明に係るドライバー・アシスタント・システム１、並びに、本発明に係る方法の作動形態を説明するためのものである。図２には、本発明に係るドライバー・アシスタント・システム１を装備した車両Ｆが、模式的に示されている。例えば、道路交通用車両である車両Ｆの中央には、二次元乃至三次元の車両座標系の座標起点ＫＵＰがある。図２に示されている例では、車輌Ｆの車両周辺部には、様々なオブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３，ＯＢＪ４が、存在している。オブジェクトＯＢＪ１は、例えば、車両Ｆの車両周辺部にある建物である。オブジェクトＯＢＪ２は、例えば、車両Ｆの左前にある樹木である。更に、図２には、可動なオブジェクトＯＢＪ３が、歩行者として描写されている。最後に、図２には、三角形の障害物、例えば、バリケードやそれに類似するものであることができる四つ目のオブジェクトＯＢＪ４が示されている。各々の異なるオブジェクトＯＢＪ１，ＯＢＪ２，ＯＢＪ３，ＯＢＪ４用に、帰属する領域ＲＯＩ１，ＲＯＩ２，ＲＯＩ３，ＲＯＩ４が、割り出される。帰属する画像領域の割り出しは、車両周辺部の作成された周辺データモデルを基に自動的に、或いは、ドライバー・アシスタント・システム１ユーザーのユーザーインターフェース８を介して入力によってマニュアルに実施される。更なる可能な実施形態においては、帰属する画像領域は、部分的に、周辺データモデルを基にして定められ、部分的に、ユーザーによって、ユーザーインターフェース８を介して入力される。車両周辺部にあるオブジェクトには、例えば、建物、樹木、バリケードなど不動なオブジェクトであり得るが、例えば、車両Ｆの車両周辺部の歩行者や他の車両など、可動なオブジェクトであることもできる。帰属する画像領域ＲＯＩは、例えば、画像領域ＲＯＩ２，ＲＯＩ３とＲＯＩ４の様に、該当するオブジェクトを、取り巻いている、或いは、例えば、画像領域ＲＯＩ１の様に、一部のみを覆っていることができる。本発明に係るドライバー・アシスタント・システム１のある好ましい実施形態においては、該帰属する画像領域ＲＯＩは、二次元乃至三次元の車両座標系の座標である複数の角、乃至、頂点を有するポリゴンから構成されている。該ポリコン画像領域は、例えば、二次元ポリゴンの、乃至、一つの二次元ポリゴン・ボディの二つ、三つ、四つ、或いは、複数の頂点を包含している。ある好ましい可能な実施形態においては、頂点の数、乃至、ポリゴン或いはポリゴン・ボディの形状は、それぞれのオブジェクトを基にして得られる。ある可能な実施形態においては、周辺画像内に含まれているオブジェクトＯＢＪが、分類される。例えば、示されている例内のオブジェクトＯＢＪ２は、樹木に分類される。更に、例えば、オブジェクトＯＢＪ１は、不動の建物として分類できる。オブジェクトＯＢＪの割り出されたクラスに依存して、ある可能な実施形態においては、帰属する画像領域の形状が割り出される。例えば、オブジェクトＯＢＪ４は、三角形のバリケードとして分類された場合、三角形の帰属する画像領域ＲＯＩ４が、割り出される。本発明に係る画像処理を実施するためのドライバー・アシスタント・システム１と方法のある更なる好ましい実施形態においては、オブジェクトＯＢＪに帰属する画像領域ＲＯＩのアダプティブな画像処理も、オブジェクトＯＢＪの割り出されたクラスに依存して、データ処理ユニット４によって実施される。例えば、分類されたオブジェクト樹木（オブジェクトＯＢＪ２）の画像領域ＲＯＩ２は、第一画像処理アルゴリズムによって処理され、他方の分類されたオブジェクトＯＢＪ３（歩行者）の画像領域ＲＯＩ３は、他の画像処理アルゴリズムによって処理されることができる。例えば、オブジェクトＯＢＪ２（樹木）の画像領域ＲＯＩ２は、データ処理ユニット４によって、ハイパスフィルタ掛けされ、他方の分類されたオブジェクトＯＢＪ３（歩行者）には、ローパスフィルタ掛けを実施することができる。更には、例えば、建物として分類されたオブジェクトＯＢＪ１は、例えば、赤色の斜線やこれに類似するものなど帰属する建物テクスチャによって覆うことができる。様々なテクスチャを様々なオブジェクトタイプ、乃至、オブジェクトクラスに、割り当てることができる。例えば、ドライバー・アシスタント・システム１のデータ処理ユニット４は、ある可能な実施形態においては、様々なオブジェクトタイプに様々なテクスチャ乃至テクスチャ面が割り当てられているコンフィグレーション・メモリーにアクセスできる。更なる可能な実施形態においては、ユーザーインターフェース８を介して、ドライバー・アシスタント・システム１のユーザーが、好みのテクスチャ模様のコンフィグレーション、及び／或いは、様々なオブジェクト用の画像領域アルゴリズムを選択できるようになっている。
【００４０】
本発明に係るドライバー・アシスタント・システム１と本発明に係る画像処理を実施するための方法のある更なる可能な実施形態においては、オブジェクトＯＢＪに帰属する画像領域ＲＯＩのアダプティブな画像処理が、各々の画像領域の車両座標系の座標起点ＫＵＰに対する間隔に依存して実施される。例えば、座標起点ＫＵＰの近くにある画像領域ＲＯＩ４は、少し離れたオブジェクトＯＢＪ１（建物）の画像領域ＲＯＩ１のものとは異なる第一画像処理アルゴリズムによって処理される。ある可能な実施形態においては、オブジェクト、例えば、オブジェクトＯＢＪ３（歩行者）は、車両の座標系内を動くことができ、各々のオブジェクトＯＢＪは、車両座標系の座標起点ＫＵＰに接近する、乃至、車両座標系の該座標起点ＫＵＰから遠のくことが可能である。本発明に係る方法、及び、本発明に係るドライバー・アシスタント・システム１のある可能な実施形態においては、動いているオブジェクトに帰属している画像領域ＲＯＩの中心点Ｍと座標起点ＫＵＰの間の間隔、乃至、距離Ｄが、算出される。続いて、帰属している画像領域ＲＯＩ４を包含している画像データの画像処理は、好ましくは、算出された間隔Ｄに依存して実施される。車両Ｆが、走行中、不動のオブジェクト、例えば、建物に対して相対的に動いた場合、各々の画像領域の中心点Ｍに対する間隔Ｄは、算出された間隔Ｄに依存して、異なる画像処理アルゴリズム間の切り替えを実施するために、連続的に算出されることができる。車両Ｆの車載カメラ２−ｉは、カメラ画像、乃至、画像フレームのストリームをドライバー・アシスタント・システム１のデータ処理ユニット４に供給する。ある可能な実施形態においては、一つのオブジェクトＯＢＪの帰属する画像領域ＲＯＩは、ドライバー・アシスタント・システム１のデータ処理ユニット４が、車載カメラ２−ｉから受け取る画像フレーム・シーケンス内の各々の新しい画像フレームにおいて、変化する。
【００４１】
ドライバー・アシスタント・システム１を装備している車両Ｆは、道路交通に参加中である道路交通用車両であることができる。カメラ画像として供給される画像データ、乃至、カメラ画像は、所謂「スティッチング」によって、例えば３６０°−パノラマビューなどの合成された周辺画像に合成されるが、該カメラ画像は、表示するために、好ましくは、投影面、特に好ましくは、二次元のグラウンド面、乃至、三次元の椀状の投影面に投影される。様々な画像領域に用いられた画像処理アルゴリズム、例えば、ハイパスフィルタやローパスフィルタは、好ましくは、車両座標起点と、車両周辺部の帰属しているオブジェクト、乃至、障害物までの割り出された間隔に依存して実施される。
【００４２】
図３は、車両Ｆの車両周辺部の周辺画像の画像データ処理を実施するための本発明に係る方法の実施例を描写するための簡略化したフローチャートを示している。
【００４３】
第一ステップＳ１では、車両の異なる車載カメラに由来するカメラ画像が、一枚の車両の車両周辺部の周辺画像に合成される。続く、ステップＳ２では、合成された周辺画像内に含まれているオブジェクトに帰属する少なくとも一つの画像領域に対してアダプティブな画像データ処理が実施される。図３に示した方法は、例えば、ドライバー・アシスタント・システム１の画像処理ユニット４のプロセッサによって実施される。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
以下：
−車両（Ｆ）の車両周辺部内のカメラ画像を作成する車載カメラ（２）；並びに、
−車載カメラ（２）が作成したカメラ画像を車両周辺部の周辺画像に合成するデータ処理ユニット（４）；   
を装備し、但し、周辺画像内に含まれている少なくとも一つのオブジェクトに対して、帰属する画像領域（ＲＯＩ）が、アダプティブにフィルタ掛けされ、且つ、処理された画像部分を有する合成された周辺画像が、ドライバー・アシスタント・システム（１）の表示ユニット（５）に表示されることを特徴とする車両のために周辺画像を表示するためのドライバー・アシスタント・システム（１）。
【請求項２】
オブジェクトに帰属する画像領域（ＲＯＩ）が、その各頂点が車両の（Ｆ）の車両座標系の座標であるポリゴンによって形成されていることを特徴とする請求項１に記載のドライバー・アシスタント・システム。
【請求項３】
該オブジェクトに帰属する画像領域（ＲＯＩ）が、車両の車両周辺部の周辺データモデルによって、定められることを特徴とする先行請求項１から２のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項４】
該オブジェクトに帰属する画像領域（ＲＯＩ）が、ユーザーインターフェースを用いてドライバー・アシスタント・システム（１）のユーザーによって、定められることを特徴とする先行請求項１から２のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項５】
該オブジェクトに帰属する画像領域（ＲＯＩ）に、ハイパスフィルタ乃至ローパスフィルタが掛けられることを特徴とする先行請求項１から４のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項６】
該オブジェクトに帰属する画像領域（ＲＯＩ）に、予め定められている帰属するテクスチャが覆い被せられることを特徴とする先行請求項１から４のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項７】
周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両（Ｆ）の車両周辺部の高さプロファイルに基づいて認識することを特徴とする先行請求項１から６のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項８】
周辺画像内に含まれているオブジェクトが分類され、続いて、オブジェクトに帰属する画像領域のアダプティブな画像処理が、オブジェクトの割り出されたクラスに依存してデータ処理ユニット（４）によって実施されることを特徴とする先行請求項１から７のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項９】
オブジェクトに帰属する画像領域のアダプティブな画像処理が、該画像領域の、及び／或いは、該オブジェクトの、車両座標系の座標起点（ＫＵＰ）に対する間隔に依存してデータ処理ユニット（４）によって実施されることを特徴とする先行請求項１から８のうち何れか一項に記載のドライバー・アシスタント・システム。
【請求項１０】
車両（Ｆ）のドライバー・アシスタント・システム（１）の表示ユニット（５）に周辺画像を表示するための車両（Ｆ）の車両周辺部の周辺画像の画像データ処理を実施するための方法であって、以下のステップ：
（ａ）車両（Ｆ）の車載カメラ（２）によって作成されたカメラ画像を、車両（Ｆ）の車両周辺部の周辺画像に合成するステップ（Ｓ１）；  
（ｂ）合成された周辺画像内に含まれているオブジェクトに帰属する少なくとも一つの画像領域（ＲＯＩ）のアダプティブなフィルタ掛けを実施するステップ（Ｓ２）；並びに、
（ｃ）処理された画像領域を含む合成された周辺画像をドライバー・アシスタント・システム（１）の表示ユニット（５）上に表示するステップを包含することを特徴とする車両の車両周辺部の周辺画像の画像データ処理を実施するための方法。
【請求項１１】
オブジェクトに帰属する画像領域が、その各頂点が車両の車両座標系の座標によって形成されているポリゴンによって形成されていることを特徴とする請求項１０に記載の方法。
【請求項１２】
オブジェクトに帰属する画像領域が、車両の車両周辺部の周辺データモデルによって定められる、或いは、ドライバー・アシスタント・システムのユーザーによってユーザーインターフェースを用いて定められることを特徴とする請求項１０或いは１１に記載の方法。
【請求項１３】
オブジェクトに帰属する画像領域に、ハイパスフィルタ乃至ローパスフィルタが掛けられる、或いは、該オブジェクトに帰属する画像領域に、予め定められている帰属するテクスチャが覆い被せられることを特徴とする先行請求項１０から１１のうち一項に記載の方法。
【請求項１４】
周辺画像内に含まれているオブジェクトを、センサー的に捕捉した車両の車両周辺部の高さプロファイルに基づいて認識することを特徴とする先行請求項１０から１３のうち何れか一項に記載の方法。
【請求項１５】
周辺画像内に含まれているオブジェクトが分類され、続いて、オブジェクトに帰属する画像領域のアダプティブな画像処理が、オブジェクトの割り出されたクラスに依存して実施されることを特徴とする先行請求項１０から１４のうち何れか一項に記載の方法。
【請求項１６】
オブジェクトに帰属する画像領域のアダプティブな画像処理が、該画像領域の、或いは、該オブジェクトの、車両の車両座標系の座標起点に対する間隔に依存して実施されることを特徴とする先行請求項１０から１５のうち何れか一項に記載の方法。
【国際調査報告】
2019504382.tif 000006
2019504382.tif 000007
2019504382.tif 000008
2019504382.tif 000009
2019504382.tif 000010
2019504382.tif 000011