【誤訳訂正書】
【提出日】令和2年11月9日(2020.11.9)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【発明の詳細な説明】
【発明の名称】牽引自動車の周辺の背景を表示するための方法、並びに、装置
【技術分野】
【０００１】
本発明は、周辺の背景、特に、車両の周辺の背景を表示するための方法、並びに、装置に関する。更に、本発明は、牽引自動車用のサラウンド・ビュー・システムにも関する。
【０００２】
国際公開第０２／０９４３３号パンフレットは、牽引車とセミトレーラーの双方にカメラを装備したセミトレーラー・牽引自動車を開示している。これらのカメラの画像は、一枚の描写に組み合あせることができる。
【０００３】
国際公開第２０１５／００１０５４号パンフレットは、車両の被牽引車両を駐車するための車両制御のためのシステムを開示している。
【０００４】
特開２００３−２３５０３６は、画像データを描写するための装置に関するが、該画像データは、車両、乃至、該車両と連結されている被牽引車両に由来することができる。
【０００５】
車両には、カメラ画像から、車両のドライバーを、例えば、駐車や後進などの運転操縦の実施時にサポートするための表示画像を計算するリア・ビュー・システムやサラウンド・ビュー・システムがますます搭載されるようになってきている。まさしく後進時こそ、車両のドライバーの視野は、制限される為、表示システムのサポートがあれば、車両を安全に運転するための決断を下すことができる。この際、加工されたカメラ画像の表示により、ドライバーに、車両周辺部のできるだけリアルな画像を見せることができる。これにより、運転操縦中のドライバーへの効率の良いサポートが可能になる。
【０００６】
牽引車両と被牽引車両が接続されている牽引自動車では、牽引車両の後ろに向けられたカメラは、通常、大部分、被牽引車両を捉えている。即ち、該被牽引車両が、後方の周辺領域の他の部分の視野を覆っている。よって、カメラが牽引車両にのみ配置されているカメラ・システムは、この様な牽引自動車に対して、十分な後方視野を提供できない。場合によっては、付加的なカメラが被牽引車両に配置される。しかし、被牽引車両のカメラの画像が、牽引車両内の車両運転手に示される場合、被牽引車両のカメラの向きが、牽引車両の向きと一致しないため、混乱を来たらし得る。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第０２／０９４３３号パンフレット
【特許文献２】国際公開第２０１５／００１０５４号パンフレット
【特許文献３】特開２００３−２３５０３６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
よって、本発明の課題は、ドライバーが、運転判断やオリエンテーションの際に、効率良くサポートされる様に、牽引自動車全体の周りの周辺部を可能な限り完全に、且つ、リアルに表示されることが可能な牽引自動車の周辺の背景を表示するための方法並びに装置を実現することにある。
【課題を解決するための手段】
【０００９】
この課題は、本発明の特許請求項１記載の：
以下の：
（ａ）第一車両（１）に配置された第一車載センサーユニット（１０）によってセンサー的に捕捉した第一画像データを用意するステップ（Ｓ１）と、
（ｂ）第二車両（２）に配置された第二車載センサーユニット（２０）によってセンサー的に捕捉した第二画像データを用意するステップ（Ｓ２）と、
（ｃ）第一車両（１）に対する第二車両（２）の空間位置を割り出すステップ（Ｓ３）と、
（ｄ）周辺の背景を作成するために、該割り出した第一車両（１）に対する第二車両（２）の空間位置を用いて、第一画像データと第二画像データを合成するステップ（Ｓ４）と、
第二車両（２）のグラフィック描写を作成するステップ（Ｓ５）と、
（ｅ）作成された周辺の背景を車載表示手段（４０）に表示し、このときに、前記第一車両（１）に対する前記第二車両（２）の角度（α）及び／又は前記第一車両（１）と前記第二車両（２）との間の間隔が検出され、該作成された第二車両（２）のグラフィック描写の作成された周辺の背景内への組み込みが、当該検出された前記第一車両（１）に対する前記第二車両（２）の角度（α）及び／又は当該検出された前記第一車両（１）と前記第二車両（２）との間の間隔に応じて開始又は停止されるステップ（Ｓ６）と、を有することを特徴とする牽引自動車の周辺の背景を表示するための方法によって達成される。
【００１０】
本発明は、更に、特許請求項１０に記載の：
以下の：
第一画像データを提供するように設計され、第一車両（１）に配置されている第一車載センサー・ユニット（１０）と、
第二画像データを提供するように設計され、第二車両（２）に配置されている第二車載センサー・ユニット（２０）と、
第一車両（１）に対する第二車両（２）の空間位置を割り出し、該計算ユニット（３０）に接続されている車載表示手段（４０）に表示される周辺の背景を作成するために、第一画像データと第二画像データを、割り出した第一車両（１）に対する第二車両（２）の空間位置を用いて合成することができるように設計された計算ユニット（３０）と、を備え、
該計算ユニット（３０）は、更に、第二車両（２）のグラフィック描写を作成し、該作成された第二車両（２）のグラフィック描写の作成された周辺の背景内への組み込みを、当該検出された前記第一車両（１）に対する前記第二車両（２）の角度（α）及び／又は当該検出された前記第一車両（１）と前記第二車両（２）との間の間隔に応じて開始又は停止するように設計されていることを特徴とする牽引自動車の周辺の背景を表示するための装置によって解決される。
【図面の簡単な説明】
【００１１】
【図１】牽引自動車の概略的描写である。
【図２】本発明の実施形態の基礎となっている車載センサー・ユニットの捕捉領域の概略的描写である。
【図３】ある実施形態に係る周辺の背景を表示するための装置の概略的描写である。
【図４】ある実施形態において作成された周辺の背景の概略的描写である。
【図５】ある実施形態に係る方法の基礎となるフローチャートの概略的描写である。  本発明では、二台の互いに接続された車両からなる牽引自動車用に、統合された一つの周辺の背景を作成すると言うアイデアが基になっている。そのために、第一車載センサー・ユニットに対する（第二車載センサー・ユニットのポジションを）一義的に割り出すことができる。
【００１２】
更なる実施形態によれば、該牽引自動車の周辺の背景を表示するための方法は、第二車両グラフィック描写を作成するためのステップを包含している。該第二車両の作成されたグラフィック描写は、後に、作成された周辺の背景内に組み込まれることができる。例えば、該第二車両の作成されたグラフィック描写は、半透明に、作成された周辺の背景内に、表示されることができる。同様に、例えば、第二車両の輪郭を、作成された周辺の背景内に、線やそれに類似する方法で表示されることもできる。この様にすることで、車両運転手は、表示された周辺の背景内に、周辺領域内における第二車両のポジションに関する付加的な情報を得る。
【００１３】
更なる実施形態によれば、該牽引自動車の周辺の背景を表示するための方法は、センサーによって捕捉された第一画像データ、並びに、センサーによって捕捉された第二画像データを、予め設定されている投影面に転換するためのステップを包含している。続いて、該第一画像データと第二画像データを融合するためのステップは、転換された第一画像データと転換された第二画像データを用いて、周辺の背景を作成できる。ここで言う、予め設定されている投影面への転換とは、例えば、画像データの鳥瞰図（ｂｉｒｄ−ｅｙｅ  ｖｉｅｗ）としての投影、第一車両と第二車両が走行している路面レベルへの画像データの転換、第二車両の表面上、乃至、任意の他の投影面／投影レベルへの画像データの投影であることができる。合成する前に画像データを予め設定されている投影面に転換することにより、非常に簡単な画像データの合成が可能になる。
【００１４】
更なる実施形態によれば、該牽引自動車の周辺の背景を表示するための方法は、作成された周辺の背景の予め設定されている視点に転換するステップを包含している。作成された周辺の背景の予め設定されている視点への転換、例えば、鳥瞰図、或いは、任意の他の投影点への転換により、合成された画像データを画像データの非常に効率良い捕捉を可能にする描写において、車両運転手に示すことが可能になる。
【００１５】
更なる実施形態によれば、該第一画像データと第二画像データは、それぞれ、第一車載センサー・ユニット、乃至、第二車載センサー・ユニットの少なくとも一台のカメラから供給される。代案的に、一台以上のカメラを有する車載センサー・ユニットも可能である。
【００１６】
更なる実施形態によれば、該牽引自動車の周辺の背景を表示するための方法は、第二車載センサー・ユニットの該的パラメータを計算するためのステップを包含している。特に好ましくは、このステップは、第二車載センサー・ユニットのカメラの該的なカメラ・パラメータの計算を包含している。外部カメラ・パラメータは、第二車載センサー・ユニットの空間内における位置と向き、特に、第一車両、或いは、第一車載センサー・ユニットに対する第二車載センサー・ユニットの位置と向きを記述する。該外部カメラ・パラメータは、その際、第一車載センサー・ユニットに対する第二車載センサー・ユニットのｘ−，ｙ−とｚ−方向への直線的移動、並びに、ｘ−軸、ｙ−軸、並びにｚ−軸を中心とした回転を包含していることができる。
【００１７】
更なる実施形態によれば、第二車載センサー・ユニットの外部パラメータは、リアルタイムに計算される。特に好ましくは、第二車載センサー・ユニットの一台のカメラの各画像（フレーム）用に、該外部パラメータが、個別に計算されることができる。
【００１８】
更なる実施形態によれば、牽引自動車の周辺の背景を表示するための装置は、グラフィック・プロセッサー（ＧＰＵ）を包含している。該グラフィック・プロセッサーは、画像、乃至、グラフィック・データの効率良い処理に非常に適している。この様にすることで、第一車載センサー・ユニット乃至第二車載センサー・ユニットから提供される画像データの歪み補正、該画像データの望まれる視点への転換、外部カメラ・パラメータの割り出し、並びに、該第一画像データと第二画像データとの合成が、対応するグラフィック・プロセッサーによって、非常に効率よく実施できる。特に好ましくは、グラフィック・プロセッサーの使用により、対応するデータの処理をリアルタイムに実施できる。
【００１９】
更なる実施形態によれば、該周辺の背景を表示するための装置は、第一車両と第二車両との間の角度、及び／或いは、間隔を捕捉することができるように構成された空間位置センサーも包含している。この様にして捕捉された角度乃至間隔は、続いて、計算ユニットに提供されることができる。外部、乃至、独立した空間位置センサー・ユニットを用いることにより、第一車両と第二車両との間の角度乃至間隔の容易且つ正確な評価が可能になる。
【００２０】
更なる実施形態によれば、該第一車載センサー・ユニット、及び／或いは、第二車載センサー・ユニットは、それぞれ少なくとも一台の車載カメラを包含している。
【００２１】
本発明は更に、第一車両と該第一車両にメカニカルにつながれている第二車両からなる牽引自動車用のサラウンド・ビュー・システムを実現する。該サラウンド・ビュー・システムは、本発明に係る周辺の背景を表示するための装置と、第一車両内に配置され、作成された周辺の背景を表示できるように構成された車載表示手段を包含している。
【００２２】
本発明の更なる実施形態と長所は、以下の明細、並びに、添付された図から得られる。
【発明を実施するための形態】
【００２３】
図１は、第一車両１と第二車両２からなる牽引自動車の概略的描写を示している。第一車両１と第二車両２は、メカニカルに互いに接続されている。ここで言う、牽引自動車とは、二台の車両から構成される任意の牽引自動車である。ここで言う、第一車両１は、それに被牽引車両がつながれている乗用自動車（ＰＫＷ）であることができる。また、ここで言う、牽引自動車は、貨物用動力車両（ＬＫＷ）とそれに対応する被牽引車両、或いは、牽引車とセミトレーラーであることも可能である。更に、本発明は、上記の牽引自動車に制限されるものではなく、二台の互いに接続されている車両から構成される任意の牽引自動車であっても良い。道路を走行する互いに接続された車両からなる牽引自動車以外にも、例えば、押船船団や引船船団など、船舶であることもできる。理解を深めるため、以下、本発明を、一台の牽引車両としての第一車両１と該牽引車両に接続された被牽引車両としての第二車両２から構成された牽引自動車を例として、説明する。
【００２４】
第一車両１には、第一車載センサー・ユニット１０が、配置されている。該第一車載センサー・ユニット１０は、特に好ましくは、一台の乃至複数台の車載カメラ１０−ｉを包含していることができる。更に、該第一車載センサー・ユニット１０は、更なるセンサー類、特に好ましくは、画像を提供するセンサー類も包含していることができる。ここに示されている例では、該車載センサー・ユニット１０は、バック走行用カメラ１０−１、並びに、二台のサイドカメラ１０−２と１０−３を包含している。例えば、該バック走行用カメラ１０−１は、第一車両１の後方のバンパー或いはトランク・リッドに配置されている。他に、第一車両１の後方の周辺部を捕捉することができる任意の更なるポジションに設けることもできる。双方のサイドカメラ１０−２と１０−３は、それぞれ、車両１の左側と右側に配置されている。例えば、双方のサイドカメラ１０−２と１０−３は、車両１の外部ミラーに配置されていることができる。ここでも他に、任意の更なる側方のポジションにカメラを設けることが可能である。更に、第一車載センサー・ユニット１０は、更なるカメラを包含していることができる。例えば、該第一車載センサー・ユニット１０は、前方に向けられたカメラ（ここでは、図示されず）を包含していることもできる。該カメラ１０−ｉは、非常に広い開口角度を有するカメラであることができる。該カメラは、特に好ましくは、所謂、魚眼レンズを備えたものである。車両１の周りのできる限り大きな外部範囲を捕捉することができるように、各々のカメラ１０−ｉは、少なくとも水平方向に１８０°、場合によっては、それ以上の開口角度を有していることができる。
【００２５】
対応する車載カメラ１０−ｉを備えた第一車載センサー・ユニット１と同様、該第一車両１に接続されている第二車両２にも、第二車載センサー・ユニット２０が配置されている。ここに示されている実施例では、第二車載センサー・ユニット２０は、一台のカメラ２０−１のみを包含している。しかしながら、該第二車載センサー・ユニット２０は、複数の車載カメラを包含していることもできる。例えば、該第二車両２には、図示されている後方に向けられたカメラ２０−１の他に、外部に更なるカメラ（図示されず）を配置されることもできる。第二車載センサー・ユニット２０のカメラにおいても、既に第一車載センサー・ユニット１０のカメラ１０−ｉに関連して記載した説明が、有効である。第二車載センサー・ユニット２０のカメラも、特に好ましくは、少なくとも水平方向に、１８０°或いはそれ以上の開口角度を有している。
【００２６】
この際、第二画像データの第一車両１への伝達は、任意に、ケーブルを介して、或いは、無線によって実施できる。例えば、有線伝達は、デジタルバスシステムによって可能である。他には、電磁波や類似する方法による画像データの無線伝達も可能である。例えば、画像データは、ＢｌｕｅｔｏｏｔｈやＷＬＡＮ、乃至、他の無線スタンダードによって伝達されることができる。
【００２７】
図２は、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の車載カメラ１０−ｉと２０−ｉの水平方向の撮影領域の概略的な描写である。第一車両１の第一車載センサー・ユニット１０の後方に向けられたカメラ１０−ｉの捕捉領域は、符号「Ｉ」で示されている。第一車両１の第一車載センサー・ユニット１０のサイドカメラ１０−２と１０−３の側方の捕捉領域は、符号「ＩＩ」と「ＩＩＩ」で示されている。第二車両２の第二車載センサー・ユニット２０の後方に向けられたカメラ２０−１の捕捉領域は、符号「ＩＶ」で示されている。この描写から明らかなように、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０のカメラ１０−ｉと２０−ｉのこの様な配置により、第二車両２が、第一車両１に対して角度を有している場合でも、第一車両１と第二車両２からなる牽引自動車の周辺部の非常に大きな領域を捕捉することができる。第二車両２に必要に応じて設けられる更なるカメラを配置することにより、特に第二車両２が角度を有している場合、更に捕捉領域を付加的に補完することもできる。
【００２８】
図３は、ある実施形態に係る牽引自動車の周辺の背景を表示するための装置の概略的描写を示している。上述の如く、ここでは、第一車載センサー・ユニット１０の一台の、或いは、複数台のカメラ１０−ｉにより、第一車両１の周りの領域が捕捉される。第一車両１に設けられた第一車載センサー・ユニット１０は、この際、センサーによって捕捉された第一画像データを提供する。該画像データは、例えば、個々の車載カメラ１０−ｉの周期的に捕捉された個別画像のシーケンスを捕捉していることができる。好ましくは、第一車載センサー・ユニット１０の個々のカメラ１０−ｉは、この際、個々のカメラ画像を共通のリフレッシュレートで提供する。該リフレッシュレートは、この際、一定であることができる。代案的には、リフレッシュレートを更なるパラメータ、例えば、車両速度やこれに類することに依存させて適合することも可能である。更に、第二車両２に設けられた第二車載センサー・ユニット２０の一台の、或いは、複数台の車載カメラ２０−ｉにより、同様に、第二車両２の周辺部の画像データが提供される。これらの画像データも、個別画像、乃至、一定の乃至可変なリフレッシュレートで撮影された連続する画像のシーケンスである。この際、第二車載センサー・ユニット２０によって提供された画像データは、第一車載センサー・ユニット１０によって提供された画像データと同じリフレッシュレートを有していることが好ましい。
【００２９】
第一車載センサー・ユニット１０と第二車載センサー・ユニット２０は、この際、これらの画像データを計算ユニット３０に提供する。該計算ユニット３０内では、個々のカメラ１０−ｉと２０−ｉから提供された画像データが加工され、共通の周辺の背景に合成される。共通の周辺の背景の作成の流れを、以下に詳しく説明する。第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の画像データが、計算ユニット３０内において共通の周辺の背景に合成されたのち、該共通の周辺の背景は、表示手段４０に表示されることができる。付加的乃至代案的には、この様に加工された周辺の背景を、ドライバー・アシスタント・システムの一つのコンポーネントによって評価し、この評価に基づいて、必要であれば、該牽引自動車の、特にこれによって該牽引自動車が操縦されている第一車両１の走行挙動に、介入することも可能である。
【００３０】
該計算ユニット３０内における周辺の背景の作成のために、第一車載センサー・ユニット１０の第一画像データと第二車載センサー・ユニット２０の第二画像データは、共通のリファレンス・システムにおいて合成される。この際、好ましくは、第二車載センサー・ユニット２０の第二画像データが、第一車載センサー・ユニット１０を備えた車両１のリファレンス・システムに移行される。この様にすることで、作成された周辺の背景用に、第一車載センサー・ユニット１０の第一画像データと第二車載センサー・ユニット２０の第二画像データの双方を包含し、且つ、牽引自動車の周辺を第一車両１の視点から描かれた描写が得られる。これにより、第一車両１内の車両運転手は、効率良く、容易に車両周辺部を捕捉できるようになる。
【００３１】
しかし、第一車両１と該第一車両１にメカニカルにつながれた第二車両２からなる牽引自動車の運転中、第一車両１に対する第二車両２の空間位置は、変化するため、第一画像データと第二画像データの合成前に、双方の車両１と２の互いの空間位置が割り出されなければならない。このために、例えば、第一車両１に対する第二車両２の空間位置を、空間位置センサー・ユニット３５によって捕捉することができる。特に好ましくは、第一車両１に対する第二車両の角度位置を特定できる角度αを捕捉することができる。付加的乃至代案的には、該空間位置センサー・ユニット３５は、第一車両１と第二車両２の間の間隔も捕捉し、計算ユニット３０に提供する。
【００３２】
該空間位置センサー・ユニット３５による第一車両１に対する第二車両２の空間位置の捕捉の他、付加的乃至代案的に、第一車両１に対する第二車両２の空間位置を、センサーによって捕捉された画像データ、特に、第一車載センサー・ユニット１０の第一画像データを用いて割り出すことも可能である。この際、該計算ユニット３０が、第一車載センサー・ユニット１０が用意した第一画像データ内において、オブジェクト検出を実施する。該オブジェクト検出において、第一車載センサー・ユニット１０の第一画像データ内に第二車両２が検出された場合、検出された第二車両２のポジションから、第一車両１に対する第二車両２の空間位置を割り出すことができる。第一画像データ内に検出された車両２の大きさと位置から、第一車両１と第二車両２の間の間隔、並びに、第一車両１と第二車両２の間の角度位置を割り出すことができる。これらに加え、更なる方法、乃至、センサーによっても、第一車両１と第二車両２の間の空間位置を割り出すことが可能である。例えば、第一車両１と第二車両２の間の空間位置は、レーダー、超音波、光センサー、或いは、他の類似するものによっても割り出すことができる。
【００３３】
そして、第一車両１に対する第二車両２の空間位置からは、第二車載センサー・ユニット２０の位置、並びに、該第二車載センサー・ユニット２０のカメラ２０−ｉの空間位置も割り出すことができる。特に、上記のセンサー、乃至、第一画像データの分析により、第二車載センサー・ユニット２０用の外部パラメータのセットを割り出すことができる。これらの第二車載センサー・ユニット２０の外部パラメータは、例えば、空間方向（ｘ−，ｙ−，ｚ−軸）への直線的移動、並びに、必要に応じて、空間軸に対する回転を記述する。これら第二車載センサー・ユニット２０の割り出された外部パラメータは、第二車載センサー・ユニット２０の画像データの処理用の外部カメラ・パラメータに相当する。第二車載センサー・ユニット２０が、一台以上のカメラ２０−ｉを包含している場合、各々のカメラ２０−ｉに、独立した外部カメラ・パラメータが、割り出される。
【００３４】
第一車載センサー・ユニット１０と第二車載センサー・ユニット２０によって、複数の連続する画像からなる画像シーケンスが用意された場合、該画像シーケンスの個別画像用に、第一車両１に対する第二車両２の空間位置、乃至、関連する外部パラメータの独立した新規の割り出しが実施できる。必要に応じて、計算負荷を低減するために、予め設定されている数の連続する画像用に、それぞれ共通の外部パラメータのセットを割り出すことも可能である。
【００３５】
割り出された第一車両１に対する第二車両２の空間位置、乃至、第二車載センサー・ユニット２０用に割り出された外部パラメータと、特に第二車載センサー・ユニット２０の各々のカメラ２０−ｉ用の外部カメラ・パラメータに基づいて、用意された全ての第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の画像データを、互いに一枚の周辺の背景に合成することができる。これを実施するにあたっては、先ず、例えば、第一車載センサー・ユニット１０と第二車載センサー・ユニット２０の各々一つ一つの車載カメラ１０−ｉと２０−ｉの画像データの歪みを補正し、共通の投影レベルに転換することができる。各々の車載カメラの画像データの歪み補正により、特に、開口角度が広いため（魚眼レンズ）、必要に応じて、歪んだ画像データを前処理し、均一なラスタに転換することができる。また、画像データの予め定められている投影レベルへの転換により、画像データを、例えば、上からの視点に（鳥瞰図）、或いは、必要に応じて、路面に対して鉛直な投影レベルに転換することが可能である。その他、任意の投影レベルへの転換も可能である。
【００３６】
続いて、第一画像データ、特に、第一車載センサー・ユニット１０のカメラ１０−ｉの処理された個別画像データ、並びに、第二車載センサー・ユニット２０の歪み取りされ外部パラメータに従って補整された第二画像データは、一枚の全体背景に合成される。この際、前処理済みの第一画像データと前処理済みの第二画像データは、各々の車載カメラ１０−ｉと２０−ｉの画像ができる限り継ぎ目なく移行する周辺部の一つの全体背景に統合される。
【００３７】
例えば、開口角が広いために歪んでいる画像データの歪み取り、外部パラメータに基づいた画像データの前処理、予め設定されている画像レベルへの画像データの転換など、第一画像データと第二画像データの前処理は、この際、特に好ましくは、計算ユニット３０内のグラフィック・プロセッサーによって実施される。この様なグラフィック・プロセッサー（ＧＰＵ）は、画像データの処理用に最適化されており、一般的なプロセッサーと比較して、画像データの高性能な処理を可能にする。特に、この様なグラフィック・プロセッサー内における画像データの前処理は、適したシェード・プログラムによって、実施できる。
【００３８】
これまでに実施されなかった場合、第一画像センサー・ユニット１０と第二画像センサー・ユニット２０の画像データを合成した後に、必要に応じて、作成された周辺の背景を予め設定されている投影レベルに転換することもできる。この投影レベルも、例えば、牽引自動車を上から見た上視図（鳥瞰図）、路面上への画像データの投影、或いは、路面に対する鉛直レベル、第一車両１の移動方向に対して鉛直なレベルであることができる。その他、任意の投影レベルも可能である。
【００３９】
車両運転手の更なるサポートのために、作成された周辺の背景には、必要に応じて、第一車両１に対する第二車両２に関する情報を付加的に表示することもできる。例えば、計算ユニット３０内において、予め設定されているモデル・データに基づいて、或いは、第一車載センサー・ユニット１０の第一画像データ１内において第二車両を検出するための検出結果に基づいて、第二車両２のグラフィック・モデルを作成することができる。第二車両２の該グラフィック・モデルは、例えば、第二車両２の寸法を有する単なる立（方）体であることもできる。更には、第二車両２の輪郭を有するライン・モデルを作成することも可能である。また、第一画像データ１に基づいた第二車両２の可能な限り詳細に忠実なモデル、乃至、描写、及び／或いは、他の予め保存されているモデル・データも可能である。第二車両２のこの様なモデルは、作成された周辺の背景と組み合わせることができる。例えば、作成されたモデルは、作成された周辺の背景内に、半透明なオブジェクトとして組み込むことができる。更には、例えば、輪郭からなるライン・モデルと作成された周辺の背景の完全なオーバーラップも可能である。
【００４０】
作成された周辺の背景内における第二車両２のリアルな描写を得るため、第二車両２用に、例えば、三次元モデルを作成することもできる。ここでは、各々のカメラ１０−ｉの画像データから、第二車両２の空間的モデルを計算するために、特に第一車両１に備えられている第一車載センサー・ユニット１０の各々のカメラ１０−ｉの既知の空間位置を用いることができる。第二車両２の空間的モデルを算出するためには、例えば、第一車両１の双方の外側に配置されている二台のカメラ１０−２と１０−３の画像データを用いることができる。第二車両２の三次元モデルの算出後、第一車載センサー・ユニット１０のカメラ１０−ｉの第一画像データを、第二車両２の作成された三次元モデルの外面に投影することができる。その際は、特に好ましくは、第二車両２の対応する面に一致する第一画像データの区画が、第二車両２のモデルの外面上に投影される。続いて、この様にして作成された三次元モデルとその上に投影された第一画像データの該部分は、作成された周辺の背景内に組み込まれることができる。この際、先ずは、例えば、第二車両２の作成された三次元モデルの二次元投影とその上に投影された第一画像データを算出することができる。この二次元投影は、作成された周辺の背景のレベルと一致するレベルへの投影に相当する。この第二車両２の三次元モデルの二次元投影は、続いて、作成された周辺の背景内に組み込まれることができる。例えば、第二車両２の三次元モデルの二次元投影は、この際、作成された周辺の背景に部分的に、オーバーラップされることもできる。この様にすることで、車両運転手は、この様にして作成された周辺の背景と第二車両２のモデルのオーバーラップを見る際に、周辺の背景と該周辺の背景内の該第二車両２の位置の両方を、即座に把握することができる。
【００４１】
第二車両２の作成された周辺の背景への挿入は、オプションとして、個人的にオン乃至オフすることができるようにすることも可能である。即ち、例えば、ユーザー入力を用いて、作成された周辺の背景内への第二車両２の挿入を個人的にオンにすることができる。この際、ユーザーは、例えば、適した入力手段、例えば、表示ユニット４０に設けられたスイッチ、或いは、他の入力エレメントによって、作成された周辺の背景と第二車両２の画像データのオーバーラップをオンにする、或いは、オフにすることができる。代案的には、第二車両２の作成された周辺の背景への挿入は、自動的に実施される。この場合、必要に応じて、第二車両２の作成された周辺の背景への挿入をオンにする、或いは、オフにする予め定められている走行状況、乃至、運転操縦を検出することができる。更には、第二車両２が、周辺の背景にオーバーラップされる透明度を個人的に、例えば、ユーザー入力に応じて、適合させることも可能である。
【００４２】
尚、第二車両２の作成されたモデルと作成された周辺の背景とを組み合わせるための更なる方法も同様に可能である。第二車両２の作成されたモデルと作成された周辺の背景とのオーバーラップも、計算ユニット３０内のグラフィック・プロセッサーによって実施されることができる。
【００４３】
特に、計算ユニット３０内のグラフィック・プロセッサーを用いることにより、第二車載センサー・ユニット２０用の、並びに、必要に応じて、第二車載センサー・ユニット２０の複数のカメラ２０−ｉの外部パラメータの割り出しもリアルタイムに実施できる。グラフィック・プロセッサーの高い性能により、個別の外部パラメータの割り出しや全ての画像データの合成をリアルタイムに実施できる。尚、複数の連続する個別画像からなる画像シーケンスの場合、外部パラメータと画像シーケンスの各々の画像の合成は、別々に実施されることができる。
【００４４】
図４は、作成された周辺の背景とある実施形態に従って作成されオーバーラップされた車両モデルの概略的な描写を示している。ここでは、第一車載センサー・ユニット１０の全てのカメラの画像データと第二車載センサー・ユニット２０のカメラの画像データが、互いに合成されている。この際、車両運転手は、第二車両２の側方のオブジェクト３−２と３−３の他に、第二車両２の後ろにあるオブジェクト３−１も認識できる。画像データ、特に、第二車載センサー・ユニット２０の第二画像データの前処理により、周辺の背景全体が、第一車両１から見た視点で描写されている。車両運転手のオリエンテーションの改善のため、第二車両２のライン・モデル２’も、作成された周辺の背景内に組み込まれる。
【００４５】
図５は、ある実施形態に係る牽引自動車の周辺の背景を表示するための方法のフローチャートの概略的描写を示している。第一ステップＳ１において、第一車両に配置された第一車載センサー・ユニットによってセンサー的に捕捉された画像データが、用意される。上述した如く、該第一車載センサー・ユニット１０は、一台乃至複数台の車載カメラ１０−ｉを包含していることができる。次のステップＳ２では、第二画像データが用意される。該第二画像データは、第二車両に配置された第二車載センサー・ユニット２０によってセンサー的に捕捉される。ここで、第二車両２は、メカニカルに第一車両１に接続されている。これにより、該第一車両１と第二車両２は、一つの牽引自動車を形成している。
【００４６】
続いて、ステップＳ３において、第一車両１に対する第二車両の空間位置が割り出される。この第一車両１に対する第二車両２の空間位置は、この際、独立した空間位置センサー・ユニット３５によって捕捉されることができる。付加的乃至代案的には、該第一車両１に対する第二車両２の空間位置は、第一車載センサー・ユニット１０によって用意された第一画像データに基づいて実施することもできる。即ち、第二車両２は、用意された第一画像データ内において検出されることができる。続いて、第一画像データ内において検出された第二車両２の大きさと空間位置に基づいて、第一車両１に対する第二車両２の空間位置を割り出すことができる。ここで言う、空間位置は、特に、第一車両１と第二車両２の間の角度、並びに、これら双方の車両間の間隔を包含していることができる。更に、双方の車両間の割り出された空間位置に基づいて、第二車載センサー・ユニット２０用の外部パラメータが算出できる。これら外部パラメータは、第一車両乃至第一車載センサー・ユニット１０に対する第二車載センサー・ユニット２０の空間三方向への直線的移動を包含していることができる。該外部パラメータは更に、これら空間方向の軸に対するそれぞれの回転も規定することができる。第二車載センサー・ユニット２０が、複数台のカメラ２０−ｉを包含している場合、これらカメラ２０−ｉのそれぞれのために、外部パラメータのセットが、算出される。この際、外部カメラ・パラメータの算出は、リアルタイムに実施されることが好ましい。特に、複数の連続する画像からなるシーケンスの場合、該画像シーケンスの各々の画像用に、外部パラメータが別々に算出される。
【００４７】
ステップＳ４では、該割り出した第一車両１に対する第二車両２の空間位置を用いて第一画像データと第二画像データの合成が実施される。この際、特に好ましくは、第一画像データと第二画像データは、第二車載センサー・ユニット２０用に算出された外部パラメータ、乃至、第二車載センサー・ユニット２０の各々のカメラ２０−ｉ用の個別の外部カメラ・パラメータを用いて合成される。この第一画像データと第二画像データの合成により、第一車両１と第二車両２からなる牽引自動車の周辺を示す周辺の背景の作成が実施される。
【００４８】
必要に応じて、ステップＳ５において、第二車両２のグラフィック描写が作成されることができる。この第二車両２のグラフィック描写は、この際、第二車両２の輪郭からなるライン・モデル、場合によっては、第二車両２の単純な立（方）体モデル、或いは、代案的に、第二車両２の詳細に忠実なモデルを包含していることも可能である。第二車両２のモデル化には、この際、第一車載センサー・ユニット１０の第一画像データの他、場合によっては、予め保存されているモデル・データを用いることもできる。この様にして作成された第二車両のグラフィック描写は、続いて、作成された周辺の背景内に組み込まれることができる。例えば、該グラフィック描写は、半透明なエレメントとして、作成された周辺の背景にオーバーラップさせることができる。
【００４９】
この様にして作成された周辺の背景は、更に、ステップＳ６において、車載表示手段４０に表示されることができる。
【００５０】
要約すると、本発明は、二台の互いに接続された車両からなる牽引自動車の車両周辺描写の作成並びに表示に関するものである。この際、該牽引自動車の双方の車両それぞれにおいて、画像データが、センサー的に捕捉される。続いて、双方の車両の互いの空間位置を考慮して画像データが、一枚の周辺の背景に合成される。この様にして作成された一枚の周辺の背景により、車両運転手は、牽引自動車全体の周りの周辺領域を効率良く且つ確実に捕捉できる。
【誤訳訂正２】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
以下の：
（ａ）第一車両（１）に配置された第一車載センサーユニット（１０）によってセンサー的に捕捉した第一画像データを用意するステップ（Ｓ１）と、
（ｂ）第二車両（２）に配置された第二車載センサーユニット（２０）によってセンサー的に捕捉した第二画像データを用意するステップ（Ｓ２）と、
（ｃ）第一車両（１）に対する第二車両（２）の空間位置を割り出すステップ（Ｓ３）と、
（ｄ）周辺の背景を作成するために、該割り出した第一車両（１）に対する第二車両（２）の空間位置を用いて、第一画像データと第二画像データを合成するステップ（Ｓ４）と、
第二車両（２）のグラフィック描写を作成するステップ（Ｓ５）と、
（ｅ）作成された周辺の背景を車載表示手段（４０）に表示し、このときに、前記第一車両（１）に対する前記第二車両（２）の角度（α）及び／又は前記第一車両（１）と前記第二車両（２）との間の間隔が検出され、該作成された第二車両（２）のグラフィック描写の作成された周辺の背景内への組み込みが、当該検出された前記第一車両（１）に対する前記第二車両（２）の角度（α）及び／又は当該検出された前記第一車両（１）と前記第二車両（２）との間の間隔に応じて開始又は停止されるステップ（Ｓ６）と、を有することを特徴とする牽引自動車の周辺の背景を表示するための方法。
【請求項２】
第一車載センサーユニット（１０）と第二車載センサーユニット（２０）の画像領域が、部分的にオーバーラップしていることを特徴とする請求項１に記載の方法。
【請求項３】
第一車両（１）に対する第二車両（２）の空間位置を割り出すためのステップ（Ｓ３）が、第二車両（２）を第一画像データ内で検出し、該画像データ内における第二車両の検出の検出結果に基づいて第二車両（２）の空間位置を割り出すことを特徴とする請求項１或いは２に記載の方法。
【請求項４】
第一車両（１）に対する第二車両（２）の空間位置を割り出すためのステップ（Ｓ３）が、第一車両と第二車両（２）の間の角度、及び／或いは、間隔の割り出しを包含することを特徴とする請求項１から３のうち何れか一項に記載の方法。
【請求項５】
第二車両（２）のグラフィック描写を作成するためのステップ（Ｓ５）において、第二車両（２）の三次元モデルが作成され、第二車両の第一画像データが、第二車両（２）の作成された三次元モデルの外面上に投影されることを特徴とする請求項１から４のうち何れか一項に記載の方法。
【請求項６】
センサー的に捕捉された第一画像データとセンサー的に捕捉された第二画像データとを予め設定されている投影レベルに転換するためのステップを包含するが、  
該第一画像データと第二画像データを合成するためのステップ（Ｓ４）が、転換された第一画像データと転換された第二画像データを用いて、周辺の背景を作成することを特徴とする請求項１から５のうち何れか一項に記載の方法。
【請求項７】
更に、作成された周辺の背景を予め設定されている視点に転換するためのステップも包含することを特徴とする請求項１から６のうち何れか一項に記載の方法。
【請求項８】
第一画像データと第二画像データがそれぞれ少なくとも一台のカメラ（１０−ｉ，２０−ｉ）から提供されることを特徴とする請求項１から７のうち何れか一項に記載の方法。
【請求項９】
以下の：
第一画像データを提供するように設計され、第一車両（１）に配置されている第一車載センサー・ユニット（１０）と、
第二画像データを提供するように設計され、第二車両（２）に配置されている第二車載センサー・ユニット（２０）と、
第一車両（１）に対する第二車両（２）の空間位置を割り出し、該計算ユニット（３０）に接続されている車載表示手段（４０）に表示される周辺の背景を作成するために、第一画像データと第二画像データを、割り出した第一車両（１）に対する第二車両（２）の空間位置を用いて合成することができるように設計された計算ユニット（３０）と、を備え、
該計算ユニット（３０）は、更に、第二車両（２）のグラフィック描写を作成し、該作成された第二車両（２）のグラフィック描写の作成された周辺の背景内への組み込みを、当該検出された前記第一車両（１）に対する前記第二車両（２）の角度（α）及び／又は当該検出された前記第一車両（１）と前記第二車両（２）との間の間隔に応じて開始又は停止するように設計されていることを特徴とする牽引自動車の周辺の背景を表示するための装置。
【請求項１０】
該計算ユニット（３０）が、グラフィック・プロセッサー、ＧＰＵを包含することを特徴とする請求項９に記載の装置。
【請求項１１】
更に、第一車両（１）と第二車両（２）との間の角度、及び／或いは、間隔を捕捉し、これらを計算ユニット（３０）に提供できる様に設計されている位置関係センサー・ユニット（３５）も包含していることを特徴とする請求項９或いは１０の何れか一項に記載の装置。
【請求項１２】
第一車載センサー・ユニット（１０）、及び／或いは、第二車載センサーユニット（２０）が、それぞれ少なくとも一台の車載カメラ（１０−ｉ，２０−ｉ）を包含していることを特徴とする請求項９から１１のうち何れか一項に記載の装置。
【請求項１３】
以下を包含することを特徴とする、第一車両（１）と該第一車両（１）にメカニカルにつながれている第二車両（２）からなる牽引自動車用のサラウンド・ビュー・システム：
請求項９から１２のうち何れか一項に記載の周辺の背景を表示するための装置；並びに、
第一車両（１）に配置され、且つ、作成された周辺の背景を表示することができるように設計されている車載表示手段（４０）。