(57)【要約】【課題】歪みが低減されたより参考になるサラウンドビューを効率的な方法で生成するサラウンドビューを提供する。【解決手段】車両周辺環境データを受信し、受信した車両周辺環境データに基づいて車両周辺環境の３次元モデルを生成するように構成される３次元ジオメトリユニットと、ビジュアルデータを受信し、仮想サラウンドビューを形成するために、ビジュアルデータの空間的および／または時間的情報と車両周辺環境データとに基づいて、ビジュアルデータを３次元モデルの各部にマッピングするように構成されるビュー生成ユニットと、を備える車両用サラウンドビューシステム。【選択図】図３
2019200781.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺環境データを受信し、受信した車両周辺環境データに基づいて車両周辺環境の３次元モデルを生成するように構成される３次元ジオメトリユニットと、
ビジュアルデータを受信し、仮想サラウンドビューを形成するために、ビジュアルデータの空間的および／または時間的情報と車両周辺環境データとに基づいて、ビジュアルデータを３次元モデルの各部にマッピングするように構成されるビュー生成ユニットと、を備える車両用サラウンドビューシステム。
【請求項２】
Ｖ２Ｘ通信を実施するための無線通信ユニットを備える、請求項１に記載のサラウンドビューシステム。
【請求項３】
３次元ジオメトリユニットは、無線通信ユニットを介して外部情報源から少なくともいくつかの車両周辺環境データを受信するように構成される、請求項２に記載のサラウンドビューシステム。
【請求項４】
ビュー生成ユニットは、無線通信ユニットを介して外部情報源から少なくともいくつかのビジュアルデータを受信するように構成される、請求項２または３に記載のサラウンドビューシステム。 
【請求項５】
３次元ジオメトリユニットは、ローカル車両センサから少なくともいくつかの車両周辺環境データを受信するように構成される、請求項１乃至４のいずれかに記載のサラウンドビューシステム。
【請求項６】
ビュー生成ユニットは、ローカル車両カメラから少なくともいくつかのビジュアルデータを受信するように構成される、請求項１乃至５のいずれかに記載のサラウンドビューシステム。
【請求項７】
車両周辺環境データは、車両から所定の範囲内の物体に関するデータを含み、そのデータは、物体の位置データと、物体のテクスチャ、および車両の自己運動データの少なくとも１つを含む、請求項１乃至６のいずれかに記載のサラウンドビューシステム。
【請求項８】
ビュー生成ユニットは、ビジュアルデータ内で検出されたテクスチャを投影することによって画像をマッピングするように構成される、請求項１乃至７のいずれかに記載のサラウンドビューシステム。
【請求項９】
以前に使用された、３次元運動データ、３次元モデル、およびビジュアルデータの少なくとも１つを含む履歴データを記憶するためのデータ記憶ユニットを備える、請求項１乃至８のいずれかに記載のサラウンドビューシステム。
【請求項１０】
仮想サラウンドビュー画像を表示するように構成された表示ユニットを備える、請求項１乃至９のいずれかに記載のサラウンドビューシステム。
【請求項１１】
表示ユニットに表示される仮想サラウンドビューの視点を調整するためのユーザインターフェースを備える、請求項１０に記載のサラウンドビューシステム。
【請求項１２】
３次元ジオメトリユニットおよびビュー生成ユニットはそれぞれ、所定の範囲内の物体に関する車両周辺環境データおよびビジュアルデータを受信するように構成されている、請求項１乃至１１のいずれかに記載のサラウンドビューシステム。
【請求項１３】
所定の範囲内で車両周辺環境データが得られない場合、増加された範囲が適用される、請求項１２に記載のサラウンドビューシステム。
【請求項１４】
ビュー生成ユニットは、遠近感に基づいて履歴ビジュアルデータを選択するように構成される、請求項９に記載のサラウンドビューシステム。
【請求項１５】
ビュー生成ユニットは、領域にマッピングされるビジュアルデータの時間的データに基づいて仮想サラウンドビュー画像の領域の色付けを調整するように構成される、請求項１乃至１４のいずれかに記載のサラウンドビューシステム。
【請求項１６】
請求項１乃至１５のいずれかに記載のサラウンドビューシステムを備える車両。
【請求項１７】
車両のサラウンドビューを生成する方法であって、
車両周辺環境データを受信すること、
受信した車両周辺環境データに基づいて、車両周辺環境の３次元モデルを生成すること、
ビジュアルデータを受信すること、および、
仮想サラウンドビューを形成するために、ビジュアルデータの空間的および／または時間的情報と車両周辺環境データとに基づいて、ビジュアルデータを３次元モデルの各部にマッピングすること、を備える方法。
【請求項１８】
車両周辺環境データは、無線通信を介して外部の情報源と、ローカル車両センサの少なくとも１つから受信可能である、請求項１７に記載の方法。
【請求項１９】
ビジュアルデータは、無線通信を介して外部の情報源と、ローカル車両センサの少なくとも１つから受信可能である、請求項１７または１８に記載の方法。
【請求項２０】
仮想サラウンドビューをディスプレイに表示するさらなるステップを備える請求項１７乃至１９のいずれかに記載の方法。
【請求項２１】
受信した追加の車両周辺環境データに基づいて、三次元モデルの少なくとも一部を組み立てる、修正する、または破壊するさらなるステップを備える、請求項１７乃至２０のいずれかに記載の方法。
【請求項２２】
所定範囲内の物体に関する、車両周辺環境データおよびビジュアルデータが受信される、請求項１７乃至２１のいずれかに記載の方法。
【請求項２３】
後の使用のための履歴データとして、データ記憶装置に使用済みデータを格納するさらなるステップを備える、請求項１７乃至２２のいずれかに記載の方法。
【請求項２４】
前記データ記憶装置の履歴データは、履歴データの繰り返し使用の頻度、および／または履歴データの位置データが現在の範囲内にあるかどうかに基づいて消去される、請求項２３に記載の方法。
【請求項２５】
請求項１７乃至２４のいずれかに記載の方法を、プログラム可能なコンピュータに実行させるためのプロセッサ実行可能命令を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、サラウンドビューシステム、そのシステムを備える車両、サラウンドビュー生成方法、およびその方法を実行するためのプログラム製品に関する。
【背景技術】
【０００２】
周辺監視システムは、通常、例えば駐車するとき、または車両が自律的に運転されるときに、車両とその周辺の光景を表示することによって車両の運転手をアシストするために設けられる。一般に、周辺監視システムは、周辺環境の画像または映像を取得するための少なくとも１つのカメラと、取得された画像または映像に基づいて生成された光景（ビュー）を表示するためのディスプレイとを備える。鳥瞰図または３６０度のサラウンドビューを提供するトップビューは、他の方法では得られない情報、たとえば周囲に対する車両全体の位置をユーザに提供するので、特に有用でありえる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、様々なビュー、特に鳥瞰図を提供する際に、従来の周辺監視システムは、仮想ビューにかなりの量の歪みをもたらす。このような歪みは、表面（例えば、車両の表示を囲む椀状の表面）上に画像を投影することによって形成されるビューによって生じ、その結果、画像の一部が現実を反映しない方法で引き伸ばされるか圧縮されることになる。
【０００４】
したがって、本発明は、歪みが低減されたより参考になるサラウンドビューを効率的な方法で生成するサラウンドビューシステム、そのシステムを備える車両、サラウンドビュー生成方法、およびその方法を実行するためのプログラム製品を提供する。
【課題を解決するための手段】
【０００５】
特定の態様および実施形態は添付の特許請求の範囲に記載されている。
【０００６】
１つの観点から見ると、車両周辺環境データを受信し、受信した車両周辺環境データに基づいて、車両周辺環境の３次元（３Ｄ）モデルを生成するように構成される３次元ジオメトリユニットと、ビジュアルデータを受信し、仮想サラウンドビューを形成するために、ビジュアルデータの空間的および／または時間的情報と車両周辺環境データとに基づいて、ビジュアルデータを３次元モデルの各部にマッピングするように構成されるビュー生成ユニットと、を備える車両用サラウンドビューシステムを提供することができる。
【０００７】
換言すると、本発明は、車両の周辺環境における物体（例えば、限定されないが、他の車両、建造物または歩行者）の３Ｄモデルを生成し、そこで、画像および／または映像などのビジュアルデータが、ビジュアルデータの時間的および／または空間的データと車両周辺環境データとに基づいて、３Ｄモデルの各部に貼り付けられる。ビュー生成ユニットは、グラフィック処理ユニット（ＧＰＵ）を備えてもよい。測定範囲内の物体の３Ｄモデルは、３次元ジオメトリユニットおよびビュー生成ユニットによって取り扱われるとき、異なるフォーマットに変換されてもよい。
【０００８】
車両周辺環境データは、センサデータ（例えば、レーダデータ、ＬＩＤＡＲデータ、カメラデータ、レーザスキャンデータ、自己運動データ、車両移動データ）と外部情報源からの情報との少なくとも１つを含んでもよい。空間的データは、カメラ位置（例えば、傾き、ピッチおよびヨーを規定するＸ、Ｙ、Ｚ方向）と視野（例えば、水平視野および垂直視野）との少なくとも１つを含んでもよい。
【０００９】
ビジュアルデータの時間的および／または空間的データと車両周辺環境データとを比較することによって、ビジュアルデータが周辺環境の３Ｄモデルにマッピングされるとき、サラウンドビューシステムは、車両の内部または外部にあるさまざまな情報源からのビジュアルデータおよび車両周辺環境データを使用することができる。
【００１０】
３Ｄモデルを生成することで、車両の周辺環境において特定された各物体が、それ独自の内部解像度を持つことができる。それにより、例えば、多数のデータセットを必要とする、３Ｄグリッドが周辺を画定するために使用される場合よりも少ないデータセットしか必要とされない。したがって、より効率的なシステムを提供することができる。
【００１１】
測定範囲内の物体の少なくとも１つの３Ｄモデルは、直方体の上部が、モデル化されている物体の上部の形状を反映するように構成される、実質的に直方体形状を有することができる。したがって、詳細な３Ｄモデルと単純な直方体との間の中間形状が提供される。それによって、形状による物体の認識のために十分な詳細を有する物体が、テクスチャ化された３Ｄモデルが形成される場合よりも少ないデータを使用して提供される。
【００１２】
さらに、３Ｄモデルを形成し、次いでビジュアルデータを３Ｄモデルにマッピングすることにより、生成される仮想サラウンドビューにおける歪みが大幅に減少する。
【００１３】
いくつかの例では、システムは、Ｖ２Ｘ通信を実施するための無線通信ユニットを備えてもよい。それによって、ビジュアルデータおよび車両周辺環境データは、外部情報源、および／または車両のローカルセンサおよび／またはカメラなどの内部情報源から受信され得る。このシステムは、車両独自のローカル情報源のデータに依存するだけでなく、外部情報源からのデータも使用するので、より多様で究極の仮想サラウンドビューを提供することができる。外部情報源から受信された環境データは、他の車両からの車両データおよび車両の周辺環境内の物体に関する３Ｄモデル情報の少なくとも１つを含んでもよい。そのような車両データは、車両のサイズ、位置、向きの少なくとも１つを含むことができ、３Ｄモデル情報は、構造的サイズ、構成、または車両外観モデルに関するデータを含む標準的な交換可能なフォーマットにすることができる。
【００１４】
いくつかの例では、車両周辺環境データは、車両から所定の範囲内にある物体に関するデータを含み、そのデータは、物体の位置データ、物体のテクスチャ、車両の自己運動データの少なくとも１つを含む。それによって、適切なデータがシステムによって受信され得る。
【００１５】
いくつかの例では、ビュー生成ユニットは、ビジュアルデータ内で検出されたテクスチャを投影することによって画像をマッピングするように構成され得る。これにより、より詳細な仮想サラウンドビューを提供することができる。これは、仮想サラウンドビューが特定の領域にズームインされる場合に特に有用となりえる。
【００１６】
いくつかの例では、システムは、以前に使用された３次元運動データ、３次元モデル、およびビジュアルデータの少なくとも１つを含む履歴データを格納するためのデータ格納ユニットをさらに含んでもよい。それにより、再利用可能な任意のデータを再利用することによって、より効率的なシステムを提供することができる。さらに、履歴データは、例えば欠落している画像／映像領域を再描画するために、新しいデータが欠落している部分にデータを提供するために使用されてもよい。
【００１７】
いくつかの例では、システムは、さらに、仮想サラウンドビュー画像を表示するように構成される表示ユニットを備えてもよい。
【００１８】
いくつかの例では、システムは、さらに、表示ユニット上に表示される仮想サラウンドビューの視点を調整するためのユーザインターフェースを備えてもよい。仮想サラウンドビューの視点がユーザによって調整されたとき、ビジュアルデータが貼り付けられた３Ｄモデルの対応する仮想サラウンドビューがユーザに提示されてもよい。
【００１９】
いくつかの例では、三次元ジオメトリユニットおよびビュー生成ユニットはそれぞれ、所定の範囲内の物体に関する車両周辺環境データおよびビジュアルデータを受信するように構成されてもよい。
【００２０】
いくつかの例では、所定の範囲内で車両周辺環境データが得られない場合、増加した範囲が適用されてもよい。
【００２１】
いくつかの例では、ビュー生成ユニットは、遠近感に基づいて履歴ビジュアルデータを選択するように構成されてもよい。
【００２２】
いくつかの例では、ビュー生成ユニットは、領域にマッピングされるビジュアルデータの時間的データに基づいて仮想サラウンドビュー画像の領域の色付けを調整するように構成されてもよい。
【００２３】
別の観点から見ると、上記の条項の任意の組み合わせによるサラウンドビューシステムを備える車両を提供することができる。
【００２４】
さらに別の観点から見れば、車両のサラウンドビューを生成する方法を提供することができ、その方法は、車両周辺環境データを受信すること、受信した車両周辺環境データに基づいて、車両周辺環境の３次元モデルを生成すること、ビジュアルデータを受信すること、および、仮想サラウンドビューを形成するために、ビジュアルデータの空間的および／または時間的情報と車両周辺環境データとに基づいて、ビジュアルデータを３次元モデルの各部にマッピングすることを備える。
【００２５】
方法は、車両を取り囲む環境内の物体を追跡し、更新された仮想サラウンドビューを形成するために上記のステップを繰り返してもよい。
【００２６】
方法は、受信した追加の車両周辺環境データに基づいて、三次元モデルの少なくとも一部を組み立てる、修正する、および破壊することの少なくとも１つを行うさらなるステップを備えてもよい。組み立てることおよび破壊することは、所定範囲の領域が変化するように車両が移動するときに特に起こり得る。例えば、３次元モデルの新しい部分が、現在の範囲（すなわち、３次元モデルが構築されている時間における範囲内の領域）内の新しい周辺環境に関するデータに基づいて形成されてもよい。別の例として、三次元モデルの古い部分がもはや現在の範囲内にないとき、三次元モデルの古い部分のいくつかが破壊されてもよい。さらに別の例として、三次元モデルの一部は、たとえ車両が移動せず、したがって範囲領域が同じままであっても、受信された車両周辺環境データの任意の変化を反映するように修正されてもよい。
【００２７】
方法は、後の使用のための履歴データとしてデータ記憶装置に使用済みデータを格納するさらなるステップを備えてもよい。履歴データは優先度に基づいて順序付けされてもよい。例えば、そのような履歴データは、より頻繁に使用される履歴データがより高い優先度を持つように、順序付けされてもよい。履歴データが、現在の（この範囲内の物体に関連するデータが受信される領域の範囲を定義する）範囲から非常に遠く離れて取得されている場合、そのような履歴データは削除されてもよい。
【００２８】
さらに別の観点から見ると、方法に関する上記の条項の任意の組み合わせに従ってプログラム可能なコンピュータに上記の方法を実行させるためのプロセッサ実行可能命令を含むコンピュータプログラム製品を提供することができる。
【００２９】
それによって、本手法は少なくとも以下の利点を提供することができる。
・３Ｄモデルのビューにおける歪みの減少。
・外部情報源からのデータに基づく、より多様で究極の仮想ビュー。
・周辺環境データとビジュアルデータの分離による多様な情報源からのデータの柔軟な使用（つまり、センサによる空間的測定は、２Ｄカメラビューでキャプチャされた画像または映像のピクセルとは別に考慮される）。
・内部および外部情報源の両方からのデータを使用することによる高品質の仮想ビュー、それは、ひいては、高品質のローカルセンサとカメラが必要されないことを意味する。 
【図面の簡単な説明】
【００３０】
本教示の実施形態が、同じ参照符号は同じ要素に関連する添付の図面を参照して、単なる例として、以下に説明される。
【００３１】
【図１】サラウンドビューシステムの要素のブロック図である。
【００３２】
【図２】別の実施形態によるサラウンドビューシステムの要素のブロック図である。
【００３３】
【図３】サラウンドビューを提供するための代表的なステップを示すフローチャートである。
【００３４】
【図４】範囲領域の例を示す図である。
【００３５】
【図５】範囲領域内で生成されたローカル３Ｄ物体の一例を示す図である。
【００３６】
【図６】車両の一例の上面図である。
【００３７】
【図７】車両の別の例の上面図である。
【００３８】
本教示は様々な修正形態および代替形態が可能である、特定の実施形態が例として図面に示されており、本明細書で詳細に説明される。しかしながら、図面およびその詳細な説明は、開示された特定の形態に発明範囲を限定することを意図するものではなく、逆に、その発明範囲は、添付の特許請求の範囲によって定義される主旨および範囲内にあるすべての修正、均等および代替を含むことを理解されたい。
【発明を実施するための形態】
【００３９】
実施形態および実施例が、添付の図面を参照して、以下に例としてのみ説明される。
【００４０】
本教示は、サラウンドビューにおける歪みを最小にするためのいくつかの手法を提示する。
【００４１】
図１は、一実施形態によるサラウンドビューシステム１００の主要要素を示すブロック図である。
【００４２】
図に見られるように、サラウンドビューシステム１００は、車両周辺の光景の３Ｄモデルを形成するために、車両から所定の範囲内の物体に関する車両周辺環境データを受信するように構成された３次元（３Ｄ）ジオメトリユニット１０１を備える。そのような車両環境データは、様々な異なる情報源、例えば車両センサ１０３、履歴データ記憶装置１０７、および無線通信ユニット１０８から受信することができる。
【００４３】
サラウンドビューシステムは、さらに、車両から所定の範囲内の物体に関するビジュアルデータを受信し、受信したビジュアルデータを３Ｄジオメトリユニット１０１によって生成された３Ｄモデルにマッピングするように構成されたビュー生成ユニット１０２を備える。ビジュアルデータは、様々な異なる情報源、例えば車両カメラ１０４、履歴データ記憶装置１０７、および無線通信ユニット１０８から受信することができる。
【００４４】
車両外部の周辺環境情報にアクセスするために車両にローカルに搭載される車両センサ１０３は、単純な超音波センサ、複雑なフェーズドアレイセンサ、深度認識アルゴリズム、レーザスキャナ、３Ｄ飛行時間センサ、または将来可能となるデジタルホログラフィック３Ｄセンシング技術の任意の１つもしくは組み合わせであってもよい。
【００４５】
車両の外部の光景へのアクセスを持ち、車両にローカルに搭載される車両カメラ１０４は、１８０°サラウンドカメラ、６０°カメラミラーのカメラ、フロントバンパー、リアまたはサイドのカメラの任意の１つもしくは組み合わせであってもよい。
【００４６】
無線通信ユニット１０８は、車両外部の情報源からデータを提供するために使用される。例えば、無線通信ユニット１０８は、他の車両４００との車々間通信を含む、Ｖ２Ｘ通信を実施するように構成されてもよい。無線通信ユニット１０８は、外部ネットワーク３００からの他のデータにアクセスするために使用されてもよい。したがって、他の車両または構造物からのセンサデータまたは幾何学的形状データは、無線通信ユニットを介して受信され得る。いくつかの例では、周辺環境の事前形成された３Ｄモデルが無線通信ユニットを介して受信され得る。このような事前形成された３Ｄモデルが、例えば、車両の傍または近くを通り過ぎる任意の歩行者を更新するために、車両センサ１０３から受信したデータでさらに更新されるように、３Ｄジオメトリユニット１０１によって受信されてもよい。
【００４７】
事前作成された３Ｄモデルが受信される場合、これらは、例えば駐車場の仕切りサイズやレイアウトなど、３Ｄモデルに関する情報を配信するために、Ｖ２Ｘインフラストラクチャが使用するように構成される標準の交換可能な形式であってもよい。Ｖ２Ｖ（車々間通信）を実施する能力を有する外部車両は、これらの属性の形状ＩＤデータベースへのリンクを共有することによって、それらの既知の外観モデルを共有することもできる。そのような車両形状ＩＤおよび後に続くモデルは、再使用するために駆動される車両によってダウンロードされてデータ記憶装置にキャッシュされてもよい。
【００４８】
履歴データ記憶装置１０７は、３Ｄジオメトリユニット１０１またはビュー生成ユニット１０２によって過去に使用されたことがある各種データを記憶するように構成される。例えば、そのような過去に使用されたデータは、以前に使用されたことのある任意の３Ｄモデル、または３Ｄジオメトリユニット１０１によって生成された３Ｄモデル、または以前に使用された画像を含んでもよい。
【００４９】
別の実施形態では、履歴データ記憶装置１０７および３Ｄジオメトリユニット１０１はさらに、履歴３Ｄ運動データを受信するように構成されてもよい。３Ｄ運動データは、車両の自己運動データを使用して、既知の３Ｄ幾何学的形状の移動の履歴と、特に自律走行中に（サラウンドビューシステムが最も使用される可能性が高く、最も頻繁に使用されるときに）捕捉された画像とを維持することによって収集される。車両の自己運動データは、車輪距離パルス、ステアリングホイール入力、ジャイロスコープおよび加速度計などの、車両上の自己運動センサによって収集される。したがって、既存の車両システムに設けることができるこれらのセンサ（および上述の他のカメラおよびセンサ）は、いったんサラウンドビューシステムが車両に設置されると、サラウンドビューシステムの一部を形成することができる。外部物体の動きは、物体追跡アルゴリズムによって検出され、３Ｄモデルが生成される既知の測定領域である現在の範囲（範囲領域）に物体が遷移する間、履歴運動データが維持される。３Ｄ運動データは、現在の範囲領域内で、車両の周辺環境における外部物体を表す３Ｄモデル内の物体の位置および向きを更新するために使用される。言い換えれば、相対位置および向きは、駆動される車両（サラウンドビューシステムを備える車両）が移動するにつれて更新される。
【００５０】
ビュー生成ユニット１０２は、生成されたビューが、車両の運転者または同乗者などのユーザに表示されるディスプレイ出力１０６に接続される。ビュー生成ユニット１０２は、さらにユーザ入力インターフェース１０５に接続され、それを介してユーザは、ディスプレイ出力１０６を通じて表示される遠近図を調整することができる。ディスプレイ出力１０６は、ビュー生成ユニット１０２によって生成された仮想サラウンド画像を、測定された車両のピッチおよびロールも表示されている状態で表示するように構成されてもよい。例えば、そのようなピッチおよびロール情報は、車両が位置しているフロアに対応する仮想サラウンド画像の一部に表示されてもよい。
【００５１】
他の実施形態では、ユーザ入力インターフェースが、３Ｄジオメトリユニット１０１に直接的に接続されてもよい。この実施形態では、３Ｄジオメトリユニット１０１とビュー生成ユニット１０２は２つの別々のユニットとして説明されているが、いくつかの実施形態では、これらのユニットは、図２に示す実施形態のように、より統合されてもよい。
【００５２】
サラウンドビューシステム１００によって生成されるサラウンドビューの限界は、事前定義された範囲によって決定され、範囲内の物体に関するデータは、サラウンドビューシステム１００によって取得される。例えば、その範囲は、車両の中心として定義される点から１０ｍの半径であってもよい。その範囲はさらに、所定の形状、例えば所定の半径、例えば５ｍ、１０ｍ、１５ｍまたは２０ｍを有する円柱または逆円錐台形（逆さまにした円錐の切頭台）として定義することができる。半径は、何らかの物体が判定されるかどうかに依存して、または車両の動きに依存して、より小さい値とより大きい値との間で変化してもよい。他の形状、例えば逆さまにした角錐の切頭台または直方体形状を使用することもできる。いくつかの例では、範囲領域は、特に上縁部（すなわち、底部ではない）に丸みを帯びたエッジを有してもよい。
【００５３】
当業者には理解されるように、円錐台形または円柱の高さは、車両の高さおよび／または幅に応じて決定され、その場合、円錐台形または円柱の高さは、車両全体が円錐台形または円柱内に配置されるように、車両の高さよりも高い。範囲は、ユーザによって要求されたビューに応じて、またはデータが３Ｄジオメトリユニット１０１またはビュー生成ユニット１０２のために集められているかどうかに応じて調整されてもよい。場合によっては、サラウンドビューシステム１００がローカル３Ｄモデルを構築するためのいずれかのセンサ情報を検出することができない場合、範囲のサイズを再決定するために自動サイズ決定メカニズムが実行される。例えば、自動サイズ決定メカニズムは、センサデータが受信されるまで範囲を拡大し続けることができる。
【００５４】
範囲および形状によって決定される空間は、車両の下側から延びる平らなフロアまたは底面を有する。空間内の物体は、車両センサ１０３などの車両自身のローカルセンサによって、または車両と全てとの間の通信システム（Ｖ２Ｘシステム）によって提供されるデータによって、あるいは他の車両４００または外部ネットワーク３００から通信されるデータによって追跡される。外部ネットワーク３００は、例えば、車両が駐車場内にいる場合、既知の幾何学的配置が、駐車場またはオーバーヘッドＣＣＴＶキャプチャ設備によって提供され得るなど、車両の環境に関する情報を提供することができる。
【００５５】
例えば、駐車場は、その構造および周辺の基本的な３Ｄモデルを事前に有していてもよく、３Ｄジオメトリユニット１０１はこの基本的な３Ｄモデルで開始し、車両の範囲内のいずれかの物体について受信された環境データで３Ｄモデルを修正または更新することができる。
【００５６】
別の例として、データは、Ｖ２Ｘシステムまたは車々間通信システム（Ｖ２Ｖ）によって受信されてもよい。他の車両４００から受信するデータは、車両タイプコード、絶対的な全地球航法衛星システム（ＧＮＳＳ）および方位の情報を含み得る。このようにして他の車両についての情報を受信することは、３Ｄジオメトリユニット１０１が近くのＶ２ＸまたはＶ２Ｖ対応の車両の単純なバーテックスモデルを取得することを可能にすることによって改善された最終描画を可能にする。
【００５７】
無線通信ユニット１０８または履歴データ記憶装置１０７を介したデータは、例えば、情報がローカルセンサまたはカメラを介して利用できない場合など、必要に応じてサラウンドビューシステム１００によって使用される。これは、サラウンド画像が外部情報源からのデータを使用して生成されるので、車両は多数の高品質のセンサやカメラを必要としないことを意味する。さらに、ローカルセンサまたはカメラを介して取得することができない情報を取得することができるので、より極端な角度のまたはより広いサラウンドビューが利用可能となる。例えば、ローカルセンサまたはカメラは、車両の直前にある物体の向こう側を見ることはできない。しかし、外部情報源を使用して、追加情報が提供される。この情報は仮想サラウンドビューの組み立てに使用することができる。例えば、車両のローカルセンサまたはカメラからデータが入手できない場合、外部情報源からの画像または映像を、任意の欠けているビジュアルデータを車両周辺の関連領域内に追加するために、主要なローカル車両カメラからの任意のライブ映像または画像と混合してもよい。
【００５８】
ライブカメラからのデータが供給され、履歴画像が重ね合わされている場合、混合メカニズムはまた、カメラの視野内の物体に対する特定のカメラ位置を優先してもよい。履歴画像が履歴データ記憶装置１０７からアクセスされているとき、その物体に最も垂直な角度から撮影された画像（例えば、僅かな角度のついたサイドビューではなく、完全なサイドビュー、完全なフロントビュー、完全なリアビュー）が他の画像よりも優先される。例えば、角度のついたビューよりも、完全なサイドビュー、フロントビュー、またはリアビューが優先される。履歴データ記憶装置１０７は、画像の遠近図に応じた優先順序で画像を記憶してもよく、その場合、最も垂直な画像が最も高い優先度が与えられる。
【００５９】
欠けている画像領域を再描画するために履歴自己運動データまたは画像を使用する場合、新しいライブ画像／映像と古い画像／映像とを区別するために、特定の画像領域の色付けが導入されてもよい。たとえば、古くなった履歴画像の年齢により、ブレンドを変えたり、透明度を高めたりしてもよい。この視覚的な区別は、生成される仮想サラウンドビューの信頼水準をユーザに提供する。
【００６０】
履歴データ記憶装置１０７は、さらに、履歴３Ｄ運動データも維持するためにも、車両の様々な部分に接続されてもよい。例えば、車両の自己運動を使用することによって、および既知の３Ｄ幾何学的形状の移動の履歴を保持することによって、ローカル車両センサのライブ検知からは得られない追加の幾何学的情報を提供することができる。
【００６１】
ビュー生成ユニット１０２は、ビジュアルデータの時間的および空間的データに基づいて関連すると判定された３Ｄモデルの部分にビジュアルデータを貼り付けることによって、ビジュアルデータを３Ｄジオメトリユニットによって生成された３Ｄモデルにマッピングする。画像または映像データ（ビジュアルデータ）を貼り付けることは、ビジュアルデータの時間的および空間的データに基づいて、画像または映像データを位置決めすること、混合すること、スケール調整すること、および、配置を変えることを含むことができる。３Ｄジオメトリユニットは、車両が移動するにつれて３Ｄモデルの更新を継続し、また、３Ｄジオメトリユニットは、ビジュアルデータの３Ｄモデルへのマッピングを継続する。車両が移動中であるが、映像が車両の移動を反映するのに利用できないとき、映像の代わりにタイムスタンプ付きの静止画像が使用されてもよい。映像または画像は、仮想ビューの特定の領域に合うように再調整されてもよい。
【００６２】
検知された幾何学的形状データが提供されない場合、ビュー生成ユニット１０２は、画像データの時間的および空間的データに応じて、画像データを平らなフロアおよび壁に貼り付けることをデフォルトとするように構成される。
【００６３】
マッピング中、ビュー生成ユニット１０２は、ユーザに表示されるように描画されている部分に対応する３Ｄモデル内の領域に優先を割り当てる。３Ｄモデル内のすべての３Ｄの物体が、貼り付けられる対応画像または映像を有する場合、他の物体の背後の物体上の画像を隠すように、「シャドウマッピング」のメカニズムが使用される。したがって、ユーザに表示されるとき、他の物体の背後にある物体の部分上の画像が隠される。
【００６４】
最も単純な形式では、周辺環境の３Ｄモデル内の３Ｄの物体は、丸みを帯びたエッジを持った直方体とすることができる。このタイプの表現は、表示可能なすべてのエッジの丸みの、定義されたサイズおよび割合を有するだけであるため、物体に対して可能である最も低い解像度を持つ（通常、上面の表示可能なエッジが丸められる）。
【００６５】
好ましくは、３Ｄモデル内の３Ｄ物体は、実際に物体の上部の形状を少なくとも反映するようにモデル化される。例えば、他の車両は、その車両の上部の形状を反映するように修正された上部を有する直方体として表されてもよい。例えば、車両の車輪は、車両の３Ｄモデルにおいて詳細に表されないように、下部は直方体の形状のままであってもよい。言い換えれば、車両のモデルはあたかもそれが成形によって形成されるように見えるかもしれない。この例は、図５、他の車両の３Ｄモデル４０１に見ることができる。図に見られるように、低解像度センサが使用され、３Ｄモデルは測定範囲内の物体の単純化された表現を含むが、物体の十分な詳細が提供され、その結果、ユーザは物体の特性を容易に識別し、その物体が何を表しているかを認識することができる。物体を形作るために、複数の幾何学的センサを車両の自己運動と組み合わせて使用することができる。したがって、低解像度センサからのデータに基づいても３Ｄモデルを作成することができる。
【００６６】
本システムは単にローカルカメラから受信した画像または映像を投影するのではなく、ビジュアルデータの空間的（例えば角度または位置）および時間的情報を用いて、３Ｄジオメトリユニット１０１によって生成された３Ｄモデルの部分に画像または映像（ビジュアルデータ）を貼り付けるので、任意の情報源からのデータを使用し組み合わせることができる。
【００６７】
すなわち、（２Ｄカメラで撮った２Ｄ画像および映像を含む）ビジュアルデータと、車両周辺環境データに関する（３Ｄ測定値を含む）センサデータには明確な区別がある。したがって、（例えば上述の様々なセンサによる）すべての３Ｄ空間測定値は、２Ｄカメラビューによってキャプチャされたピクセルと完全に分離され、結合されることはできない。履歴２Ｄ画像（または映像）と、空間におけるカメラのＸ、Ｙ、Ｚ位置及び方向は、「測定領域」（範囲領域内）を再構築し、情報が利用可能な３Ｄモデルにテクスチャを描き入れることを可能とする。特に、ビジュアルデータが外部情報源からのものであるとき、カメラの時間的な情報および履歴位置および向きは、ビジュアルデータが３Ｄモデル上のどこにマッピングされるべきかを決定するために使用される。
【００６８】
画像または映像の空間的および時間的情報に基づいて、３Ｄモデルの部分に画像または映像を貼り付ける本システムはまた、投影によって導入され得る歪みを除去できることを意味する。
【００６９】
上記の実施形態は無線通信ユニット１０８を備えるものとして説明されているが、いくつかの実施形態では、サラウンドビューシステム１００は、無線通信ユニット１０８から利用可能となるデータにアクセスすることなくローカルに提供されるデータに依存してもよい。言い換えれば、たとえ無線通信が構造の一部となっていなくとも、システムはスタンドアロンとして（すなわち、車両のローカルセンサとカメラを使用するだけで）機能することができる。この場合でも、ビジュアルデータを３Ｄモデルに貼り付ける現在の方法は、ユーザに表示するための仮想ビュー内の歪みを大幅に除去する。
【００７０】
さらに、遠近図がユーザによって調整され得ることが上記で説明されているが、遠近図は、例えば、車両の移動または検出された車両の周辺に応じて特定の角度および距離に自動で移動されてもよい。
【００７１】
上述したように、キャプチャされた画像／映像と３Ｄモデル内の物体の位置／サイズとの間のいかなる直接的な結合も必要とはされない。ビジュアルデータと、必要とされる３Ｄモデルの物体／部分の位置／サイズとの間の唯一の関係は、相対的なカメラ位置（それぞれ傾き、ピッチおよびヨーであるＸ、Ｙ、Ｚ方向）、駆動される車両に揃えられる視野（ＨＦｏＶ：水平視野およびＶＦｏＶ：垂直視野）、および／または、それらの位置および視野に関する時間的データである。
【００７２】
これらの時間的および空間的データはビジュアルデータの一部を形成する（例えば、ビジュアルデータのメタデータとして）。したがって、ビジュアルデータが外部情報源から受信されている場合、このようなビジュアルデータの空間的データおよび時間的データと車両周辺環境データとが、ビジュアルデータがマッピングされるべき３Ｄモデルの部分を決定するために、比較され対応付けられる。
【００７３】
ビジュアルデータが内部情報源から受信される場合、ローカルの車両カメラは（車両に取り付けられて）空間内を移動するにつれて、画像をキャプチャし、既知のパノラマをたどる。相対的なカメラ位置、方向、および、駆動される車両に揃えられた視野が考慮され、周辺環境の検知と画像キャプチャレートとの間に時間的に有意な差がないと判断される限り、画像は３Ｄモデルの再生成された表面上でキャプチャされた場所に現れる。
【００７４】
前述のように、本手法のように３Ｄモデルを使用することは、３Ｄグリッドを使用することよりも有利である。たとえば、３Ｄグリッドは、通常、固定された間隔または（Ｘ、Ｙ、Ｚ軸において）公称解像度を持つものとして定義される。正確な３Ｄグリッドを定義するには、膨大なデータセットが必要とされ、それは、必要とされる処理能力を増大させる。本手法における３Ｄモデル内の各物体は、それ自体の内部解像度を持つことができる。したがって、独自のきめ細かいバーテックスモデルを持つ、周辺領域内にあることがわかっている任意の物体（他の車両など）は、そのままＧＰＵに送信され、浮動小数点精度で配置され得る。基本の物体は直方体として定義することができ、単に指定されたサイズと位置を持つことができる。すべての物体のタイプと解像度は、ＧＰＵで混合させて処理することができる。
【００７５】
車両のタイプ、車両位置、および方向に関する情報を受信することは、比較的小さいサイズを持つデータとして受信することができるが、サラウンドビューシステムによって積極的に実行されなければならない追加の作業を省きつつ、かなりの量の情報を提供できるので、有用である。
【００７６】
図３は、一実施形態によるサラウンドビューシステム１００によって実行されるステップのフローチャート２００である。
【００７７】
より具体的には、図３は、３Ｄジオメトリユニット１０１とビュー生成ユニット１０２が同時期に実行するステップを示す。これは、ユニットによって行われる各ステップが揃っている（ステップ２０２とステップ２１１が同時に行われる）ことを意味するのではなく、３Ｄジオメトリユニット１０１とビュー生成ユニット１０２の両方が、各ユニットが行うように構成されるステップを繰り返し続けることを意味する。言い換えれば、３Ｄモデルは３Ｄジオメトリユニット１０１によって繰り返し更新され、同時に、ビジュアルデータが更新された３Ｄモデルに繰り返しマッチングされる（または、更新されたビジュアルデータが３Ｄモデルにマッチングされる）。
【００７８】
この実施形態では、ステップ２０２において、３Ｄジオメトリユニット１０１は、ローカル車両センサから車両センサデータ（車両周辺環境データ）を受信する。利用可能であれば、ステップ２０３で、外部情報源からのあらゆる車両周辺環境データが無線通信ユニットを介して受信される。収集された車両周辺環境データを使用して、実用的な３Ｄモデルが形成される。最初に、３Ｄが組み立てられる。この組み立ては、プロセスが最初に開始されたとき、または新しい物体が新しい測定領域に導入される結果となる可能性がある、車両が移動して範囲領域（測定領域）も移動するときに生じる。同時に、処理されるデータの量を減らすために、もはや測定領域にない３Ｄモデルの一部が破壊されてもよい。当業者には理解されるように、生成される仮想ビューは３Ｄモデルの全体を示す必要はなく、３Ｄモデルの一部のみがディスプレイ上に２Ｄ画像／映像として提示されるように描画されてもよい。測定範囲内のすべての物体が追跡され、追加の物体が測定範囲内に入るか、または既存の物体が測定範囲内で移動すると、ステップ２０４に見られるように、３Ｄモデルが修正される。
【００７９】
ステップ２０５で、組み立てられ、修正され、または（少なくとも部分的に）破壊された３Ｄモデルはデータベースに格納され、その結果、３Ｄモデルはビュー生成ユニット１０２によってアクセス可能となる。
【００８０】
その後、ステップは繰り返され、新たに受信された車両周辺環境データに基づいて、３Ｄモデル内の物体と車両との位置が更新される。
【００８１】
ステップ２１１において、ビュー生成ユニット１０２はデータベースから３Ｄモデルを収集する。当業者には理解されるように、３Ｄモデルは、同じ形式で格納されてＧＰＵに転送されてもよく、またはより単純な形式でデータベースに格納されてもよい。例えば、３Ｄは、ＧＰＵによって処理されて異なるフォーマットに変換されてもよい。収集された３Ｄモデル幾何学形状データは、ビュー生成ユニット１０２のＧＰＵに送信される。次に、ステップ２１３において、ローカル車両カメラからの画像／映像データが、ビュー生成ユニット１０２によって受信される。他の実施形態では、ビュー生成ユニット１０２は、無線通信ユニットを介して外部情報源から画像／映像データを収集するステップをさらに含んでもよい。次いで、ステップ２１４において、ビュー生成ユニット１０２のＧＰＵは、ライブ画像データを３Ｄモデル幾何学形状に貼り付ける。最後に、ステップ２１５において、履歴データ記憶装置１０７からの任意の履歴画像データが、ライブ画像データが利用できないＧＰＵの３Ｄモデル幾何学的形状に貼り付けられる。ステップ２１５が完了すると、画像データが貼り付けられた３Ｄモデルの関連部分が、ディスプレイにて仮想サラウンドビューとして提示されるように描画される。ビュー生成ユニットが、任意の新しい画像データを使用して表示される仮想サラウンドビューを更新するように、また、３Ｄモデルに対して行われた任意の更新を処理するために、ステップ２１１−２１５が繰り返される。
【００８２】
図４は、範囲領域（測定領域）の一例を図示している。円錐台形の範囲領域および円柱形状の範囲領域が、例として示されている。立方体または角錐形の範囲領域などの他の形状も可能である。車両モデルの中央にある点は、車両の中心を表している。範囲距離は、範囲領域の底面の半径として定義される。
【００８３】
図５は、測定範囲領域内に生成されたローカル３Ｄ物体の一例を図示している。車両１は、範囲領域の中心に表されており、車両は、範囲領域の壁から十分に離れている。構造的物体６００（例えば建物の一部である）、他の車両４０１、４０２、および他の物体５００が３Ｄモデル内に形成されている。車両１は、自車の車種や外観に関するデータを有している。他の車両４０２もまた、その車両の種類、外観、位置および向きに関するデータを有し、車々間通信（Ｖ２Ｖ）を介して送信することができ、これに基づいて車両４０２の表示を非常に簡単に形成することができる。他の車両４０１および物体５００は、より単純な形式で表されている。車両４０１および物体５００は共に直方体形状に基づいているが、車両４０１および物体５００の上部の形状は、実際に車両および物体の元の形状により近似するように形成されていることが分かる。このように、いくつかの例では、少なくともいくつかの物体は、詳細なテクスチャ化されたモデルと丸みを帯びたエッジを有する直方体との間の中間形状として表すことができる。このような中間形状は、物体の認識を著しく改善できることが分かる。例えば、物体５００は、ベンチの脚部が詳細に表現されていなくても、ベンチであると認識することができる。しかしながら、そのような中間型形状が使用されるとき、過度に多くの詳細さを失うことなく、より少ないデータを使用して、そして画像が物体に貼り付けられると歪みを著しく減少させて、物体を表示することができる。
【００８４】
図６は、サラウンドビューシステム１００によって生成された車両の例示的なトップサラウンドビューを示す。
【００８５】
この例では、サラウンドビューシステム１００は、低速駐車操作中に、この行動において運転手を支援するために使用されている。車両は自律的に運転されてもよく、運転者は単に自動化システムを監視していてもよい。
【００８６】
図６の再作成されたトップサラウンドビューは、車両周囲の通常の周辺監視カメラの位置から作成される。ここで、中央の車両は、サラウンドビューシステム１００を備える車両である。当の車両の環境には、その車両の両側に１台ずつ、２台の車両がある。各車両の表示はわずかに異なることがわかる。その違いは、各車両の表示を作成するために使用される描画メカニズムにある。
【００８７】
左側の車両は、物体の３Ｄモデルの最も単純な形式の１つである、丸みを帯びたエッジのボックスによって表される。左側の車両のサイドビュー画像が、左側の車両の単純な丸みを帯びたエッジボックスの３Ｄモデルに貼り付けられていることが分かる。右側の車両は、駐車された車両の理想的なテクスチャモデルであり、対応する映像がテクスチャ化されたモデルに重ねられている。左の車両は、画像／映像データと測定された幾何学形状をまさに使用することによって実現できる表示を示している。言い換えれば、測定された幾何学形状と画像／映像との分離は、周辺物体がどこにあるかをユーザに指し示すのに十分な方法で現実を表す仮想ビューを依然として提供することができる。したがって、そのような３Ｄモデルは、低解像度または高解像度センサのみが使用されるかどうかにかかわらず、作成することができる。内部および外部の両方の情報源を含むできるだけ多くの情報源からのライブまたは履歴の画像／映像のデータを組み合わせることによって、現実を反映する表示である仮想サラウンドビューが提供される。
【００８８】
テクスチャ化されたモデルはより詳細な表現を提供するが、それにも係わらず、図６は、対応する画像が貼り付けられた最も単純な形式の３Ｄモデルでも、駐車中の車両が、運転者の自車両との関係においてどこにあるかの非常に分かりやすい表示を運転者に提供することを示している。
【００８９】
図７は、サラウンドビューシステム１００によって生成された車両の他の例示のトップビューを示す。
【００９０】
このビューでは、すべての物体がテクスチャ化されたモデルとして作成されている。このプロセスは、他の車両からの情報が、Ｖ２Ｘ通信を実施する無線通信ユニット１０８を介して受信される場合に、特に効率的に行うことができる。
【００９１】
例示的な実施状況として、ここでは、車両が自動駐車モードにある状況を説明する。車両の運転手は、駐車場に入ると車両を自動駐車モードにする。車両が自動駐車モードとなったことは、サラウンドビューシステムによって検出され、サラウンドビューシステムは仮想サラウンドビューを生成するプロセスを開始する。他の実施形態では、サラウンドビューシステムは、車両が自動駐車モードに入ったことを検出する代わりに、運転者からの入力を受信するように構成されてもよい。例えば、ユーザはサラウンドビューシステムのスイッチを入れてもよい。運転者は、ディスプレイ上に仮想サラウンドビューを提供され、その後、自律的に運転されて駐車場に駐車される車両を監視することができる。運転者が望むならば、運転者は自動駐車モードを無効にして、いつでも介入することができる。
【００９２】
運転者はさらに、仮想カメラ位置を移動させ、ディスプレイに表示される仮想サラウンドビューの視点を修正するために、ユーザインターフェースとかかわってもよい。例えば、ユーザは、仮想カメラを車両の情報および背後に３〜４メートル移動することができる。
【００９３】
車両は、最初にその内蔵レーダおよび超音波センサを使用して、車両を取り囲む所定の範囲を有する所定の周辺領域内の物体を識別する。例えば、所定の範囲は、車両を取り囲む１０メートルであってもよく、その領域は、円柱形状または円錐台形状によって規定されてもよい。すなわち、円柱または円錐台の底面中心に車両が置かれた状態で、１０メートルの半径を持つ円柱または円錐台の中にあるすべての物体が、周囲環境と見なされ、このような物体に関するデータは環境データとして取得される。これらの物体に関する環境データは、車両の自己運動データおよびセンサ入力から大まかなローカル３次元シーンを構築する３次元ジオメトリユニットに渡される。
【００９４】
大まかなローカル３次元シーンに加えて、駐車場の構造の３Ｄモデルを格納する駐車場データベースにアクセスするために、Ｖ２Ｘ通信システムが使用される。そのような３Ｄモデルは駐車場によって提供され得る。車両は、車両が同じ駐車場に戻った場合に３Ｄモデルが後日使用される記憶された履歴データの一部となるようにデータ記憶ユニットに３Ｄモデルを記憶してもよい。
【００９５】
駐車場内の他の車両は、それらの、稼働しているＶ２Ｘ（およびＶ２Ｖ）システムを有することができ、車両は、車両分類コードおよびシステムに対するそれらの現在の駐車位置を、Ｖ２Ｖを介して他の車両から直接取得することができる。
【００９６】
駐車場によって提供された３Ｄモデルおよび受け取った車両駐車場の詳細を使用して、車両の周辺の光景のより詳細な３次元モデルを形成することができる。特に、他の車両から３Ｄモデルまたは情報を受信することによって、車両のローカルセンサおよびレーダが物体を感知または観測することができなかったであろう、別の物体の背後にあるかもしれない所定の範囲内の任意の物体に関する情報を得ることができる。したがって、より情報に富んだ仮想ビューを提供することができる。
【００９７】
３Ｄジオメトリユニットがローカル３Ｄモデルを組み立てると、所定の範囲はより広い測定領域へ調整することができる。例えば、所定の測定範囲が円柱形状を有する場合、円柱の壁は２０メートルまで押し広げることができる。
【００９８】
現在のサラウンドビューシステムの通常の測定範囲は、１０メートル未満、公称５メートルであるかもしれない。複数の物体が「測定領域」（範囲領域）内で追跡される場合、壁（例えば、円錐台または円柱の壁）は、車両の中心から十分な距離になるように設定される。たとえば、最大２０メートルの距離では、この領域内でより多くの物体を視認可能とする。
【００９９】
ビュー生成ユニットは、受信した関連ビジュアルデータを３Ｄモデルの各部に貼り付ける。たとえば、関連するビジュアルデータは、自車のカメラ、他の車のカメラ、駐車場のオーバーヘッドＣＣＴＶシステムからのライブＷｉ−Ｆｉストリームから受信される。関連するビジュアルデータが３Ｄモデルに貼り付けられると、ビジュアル生成ユニットは、ディスプレイ上に表示されるべき３Ｄモデルの３Ｄ描画画像を生成する。
【０１００】
場合によっては、車両のカメラで撮影された履歴画像も、受信したビジュアルデータの一部として使用される可能性がある。
【０１０１】
履歴データを使用する場合は、履歴データを使用して画像のどの部分が描画されたかを示すために、画像の色付けを使用することができる（最新のデータではないため、低い信頼性を意味する）。例えば、履歴画像を使用して提供された部分は、赤色の色調で追加されてもよい。
【０１０２】
自身のデータのみを使用して利用可能なビューよりも（外部情報源からのデータを使用して）広範なビューを提供することによって、運転者は、彼らが介入したいかどうか、並びに、彼らがより長い時間介入を望むかどうかを判断するためのより多くの情報が提供される。
【０１０３】
例えば、物理的に車両に非常に近くなる可能性がある建造物があり、この建造物が履歴データを使用して表現されるものとして色付けされていることを運転者が発見した場合、運転者は、自律走行に介入したり、確認のため事実をチェックしたりする傾向が強くなるかもしれない。一方、建造物がライブデータを使用して表現されるものとして色付けされている場合、運転者は、表示されているのは現実の正確な表現であるというより高い確信を持つことができる。
【０１０４】
車両が移動するとき、３Ｄジオメトリユニットおよびビュー生成ユニットは、車両の移動に従ってサラウンド画像を更新し続ける。
【０１０５】
背景技術の欄で簡単に説明したように、既知の方法は、高解像度カメラと、所定の形状を有する表面上に投影するためのテクスチャ加工ステップを必要とする。これには高解像度のカメラおよびセンサが必要であり、そのような高解像度であっても、所定の形状を有する表面への投影のためにかなりの歪みが導入される。
【０１０６】
それに対して、本発明は、既知の方法および装置ほどカメラおよびセンサの解像度が最終仮想ビューの品質に影響を及ぼさない、歪みが最小の画像を効率的な手法で提供する。
【０１０７】
さらに、外部画像および幾何学形状センシング、ならびに物体の３Ｄ運動およびビジュアルデータの履歴データと組み合わせて、ローカル画像キャプチャおよびセンシングを使用することで、ローカル画像キャプチャおよびセンシングを使用するだけの場合よりも広範な仮想サラウンドビューを得ることができる。実際、高品質のローカル画像のキャプチャおよび／または検知装置を不要としながら、より詳細で正確なビューを得ることができる。
【０１０８】
したがって、サラウンドビューシステムの改善された視覚機能を提供するためのいくつかの手法が説明されてきたことが理解されよう。
【０１０９】
また理解されるように、本教示の全体的なアプローチを維持しながら、様々な修正形態および代替形態が可能である。例えば、それは上記で議論されている。
【０１１０】
現在説明されている手法は、プログラム可能なコンピュータ上で実施することができる。プログラム可能なコンピュータに機能性を提供するために、コンピュータが機能性を実施することを可能にするコードを配信するためにコンピュータに提供または送信することができるコンピュータプログラム製品を提供することができる。製品は、まとめて非一時的コンピュータ可読媒体と呼ばれることがあるコンピュータ可読ディスクまたはポータブルメモリデバイスなどの物理的媒体によって配信され、および／または格納することができる。製品はまた、あるいは代替として、伝送チャネル、通信信号、または他の伝搬波形などの一時的媒体を介して配信および／または格納されてもよく、これらはまとめて一時的コンピュータ可読媒体と呼ばれてもよい。
【０１１１】
上記の実施形態はかなり詳細に説明されたが、上記の開示が十分に理解されれば、当業者には多くの変形形態および修正形態が明らかになるであろう。以下の特許請求の範囲は、そのようなすべての変形形態および修正形態を包含するように解釈されることを意図している。
【符号の説明】
【０１１２】
１００：サラウンドビューシステム、１０１：３Ｄジオメトリユニット、１０２：ビュー生成ユニット、１０３：車両センサ、１０４：車両カメラ、１０５：ユーザ入力インターフェース、１０６：ディスプレイ出力、１０７：履歴データ記憶装置、１０８：無線通信ユニット、３００：外部ネットワーク、４００：他車両
【図１】
2019200781.tif 000003
【図２】
2019200781.tif 000004
【図３】
2019200781.tif 000005
【図４】
2019200781.tif 000006
【図５】
2019200781.tif 000007
【図６】
2019200781.tif 000008
【図７】
2019200781.tif 000009