(57)【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段と、前記撮像手段によって撮像された画像を視点変換して画像を合成する視点変換画像合成手段と、前記車両の任意の高さの軌跡線または垂直線の少なくとも一方を生成する車両軌跡線生成手段と、前記視点変換画像合成手段によって合成された画像上に、前記車両軌跡線生成手段によって生成された軌跡線を描画する車両軌跡線描画手段とを備える画像合成装置であって、前記車両軌跡線生成手段は、三次元軌跡線生成手段と、道路面投影手段と、合成画像投影手段とを含み、前記車両軌跡線描画手段は、前記視点変換画像合成手段によって合成された画像に生じる立体物の歪みに基づいた歪んだ自車両の立体的な軌跡を描画すること特徴とする画像合成装置。
【請求項２】
前記車両軌跡線描画手段は、車両の路面上の軌跡線と任意の高さの軌跡線とを曲線によって補間することで、路面に対して垂直な線を合成画像上に描画する請求項１記載の画像合成装置。
【請求項３】
前記車両軌跡線描画手段は、車両のバンパ端の軌跡線を合成画像上に描画する請求項１記載の画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置に関し、特に自動車に搭載された複数の撮像装置によって得られた画像を仮想視点からの画像に視点変換して合成し、自動車の周囲の画像を運転者に提示し、駐車時などの運転者の運転を支援する装置に用いて好適な画像合成装置に関するものである。
【０００２】
【従来の技術】
従来、この種の画像表示装置として、「The Principle of virtual viewpoint image synthesis using a road surface model」(第７回ITS 世界会議) により、カメラの実写映像をあたかも仮想視点から撮影したかのような映像に視点変換して、モニタに表示する装置が知られている。また、特許第2610146号により、車両の舵角センサによって検出した舵角に対応した後進予測軌跡を車載カメラ映像に重畳する装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像表示装置においては、仮想視点で撮影したかのように変換した映像に、後進予測軌跡を重畳してモニタに表示した場合、周囲の立体物までの距離が、モニタの映像では、実際の距離よりも大きいと誤解しやすいという問題があった。
【０００４】
以下、図を用いて説明する。図２７において、モニタ映像中では自車両のイラスト2401と他車両2402との距離は、まだ十分に開いているように見える。しかし、実際には、図２８に示すように自車両2401と他車両2402とは、かなり接近している。これは、仮想視点への変換により、バンパのように地上から離れている物体が変換後の画像では、実際の位置よりもカメラから遠い位置へと投影されることに起因する。
【０００５】
本発明は、前記従来の問題を解決するためになされたもので、仮想視点で撮影したかのように変換した映像に、補助映像を重畳してモニタに表示することにより、周囲の立体物への接近をモニタ映像から容易に類推できるような映像を提示することの可能な画像合成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像合成装置は、車両に搭載された撮像手段と、前記撮像手段によって撮像された画像を視点変換して画像を合成する視点変換画像合成手段と、前記車両の任意の高さの軌跡線または垂直線の少なくとも一方を生成する車両軌跡線生成手段と、前記視点変換画像合成手段によって合成された画像上に、前記車両軌跡線生成手段によって生成された軌跡線を描画する車両軌跡線描画手段とを具備したものである。この構成により、自車両の任意の高さの軌跡線を生成し、視点変換によって得られた合成画像上に表示することとなるため、前記合成画像上に自車両の立体的な軌跡を描画するが可能となる。したがって、視点変換画像合成を行った場合に生じる周囲の立体物の歪みと同様に自車両の軌跡を歪ませることにより、周囲と自車の予想軌跡との三次元的な位置関係が捉えやすくなり、視認性が向上し、自車両と周囲の立体物との接触判定を容易に行うことが可能となる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いながら詳細に説明する。
【００１０】
（第１の実施の形態）
図１は、第１の実施の形態の画像合成装置の構成を示すブロック図である。この画像合成装置は、自動車に搭載された撮像手段101と、視点変換画像合成手段102と、車両直進軌跡線生成手段103と、車両軌跡線描画手段104とによって構成されている。
【００１１】
撮像手段101は車両の後部などに搭載された１台以上のカメラから構成されており、車両の後方を向いている。視点変換画像合成手段102は、撮像手段101によって撮像された１枚以上の画像を入力することによって、仮想視点から見た合成画像を出力する。車両直進軌跡線生成手段103は、自車両の大きさおよび形状や視点変換の際のカメラパラメータ、撮像手段101の撮像状況を入力することで、自車両が真っ直ぐに後退した場合の軌跡線を出力する。車両直進軌跡線生成手段103は、路面上の軌跡線算出手段103Aと任意の高さの軌跡線算出手段103Bとを具備しており、自車両の任意の位置の軌跡線を出力することが可能で、例えば道路面上の軌跡や、車両のバンパ端の軌跡などを同時に出力する機能を具備している。車両軌跡線描画手段104は、車両直進軌跡線生成手段103によって出力された自車両の軌跡線を視点変換画像合成手段102によって得られた合成画像上に重畳して描画する。なお、車両軌跡線描画手段104の出力は、図示されていない表示装置に与えられ、表示される。
【００１２】
図２は、撮像手段101によって得られた画像を視点変換画像合成手段102によって自車両の後方から自車両の置かれている路面に対して垂直に見下ろした画像を合成し、車両軌跡線描画手段104によって得られた自車両204の路面上の軌跡線201と、路面から高さ50cmの位置の自車両の軌跡線202とを車両直進軌跡線生成手段103によって合成画像上に描画した場合の図である。合成画像上で、立体物がどのように投影されているか分かり易くするため、路面上の軌跡線201と高さを持つ軌跡線202とを路面に対して垂直な直線203で結んでいる。ここで、自車両204の後方には第１の他車両205が存在し、側方には第２の他車両206が存在する。
【００１３】
図３は、図１における任意の高さの軌跡線算出手段103Bの構成について説明するためのブロック図である。任意の高さの軌跡線算出手段103Bは、三次元軌跡線生成手段103B-1と、三次元軌跡線道路面投影手段103B-2と、合成画像投影手段103B-3とから構成されている。三次元軌跡線生成手段103B-1は、実空間上での車両の任意の高さの三次元的な軌跡線を生成する機能を具備している。三次元軌跡線道路面投影手段103B-2は、三次元軌跡線生成手段103B-1によって生成された三次元的な軌跡線を、車に取り付けられた撮像手段から道路面上に投影する機能を具備している。合成画像投影手段103B-3は、三次元軌跡線道路面投影手段103B-2によって道路面上に投影された軌跡線を合成画像上に投影する機能を具備している。
【００１４】
図４は、前記任意の高さの軌跡線算出手段103Bの処理の流れを説明するための図である。まず、三次元軌跡線生成手段103B-1によって、三次元空間上に自車両の任意の部分の軌跡線として線分105が生成される。次に、線分105は三次元軌跡線道路面投影手段103B-2によって、車に取り付けられた撮像手段から、道路面上の線分106に投影される。次いで、線分106は合成画像投影手段103B-3によって、合成画像上の線分107に投影される。このようにして得られた線分107が合成画像上での軌跡線である。
【００１５】
図５は、図２の軌跡線を詳しく説明するための図である。図５に示すように、車両の路面上の軌跡上の各点をａからｈ、路面から高さ50cmの軌跡上の各点をＡからＨとする。
【００１６】
直線abは自車両204 の後端の路面上の位置を表す直線、直線cdは自車両204の後方1mの路面上の位置を表す直線、直線efは自車両204の後方2mの路面上の位置を表す直線、ghは自車両204の後方3mの路面上の位置を表す直線である。また、直線ABは自車両204の後端の高さ50cmを表す直線、直線CDは自車両204の後方1mの高さ50cmを表す直線、直線EFは自車両204の後方2mの高さ50cmを表す直線、直線GHは自車両204の後方3mの高さ50cmを表す直線である。したがって、直線Aa、Bb、Cc、Dd、Ee、Ff、Gg、Hhは路面上のそれぞれの位置に長さ50cmの棒が路面に対して垂直に立っている場合の合成画像上での像を表していると考えることができる。
【００１７】
上記のように軌跡線を定めると、例えば、合成画像上で、四角形ABCD内の領域に道路面しか表示されていない場合、少なくとも自車両の幅で後方1mまでは高さ50cm以下の物体は存在しないということが言える。逆に四角形ABCD内に路面以外の立体物が表示されている場合、自車両の幅で後方1mまでに高さ50cm以下の物体が存在する可能性があるということが言える。
【００１８】
ここで、図１の装置は、描画する軌跡線の色を自由に変えることも可能である。例えば、自車両から1mの範囲までを表す線分を赤、1mから2mまでの範囲を表す線分の色を黄色、2mから3mまでの範囲を表す線分の色を青にするといったことが可能である。また、路面上の軌跡acegおよびbdfhを黒くしたり太くしたりすることで自車両のタイヤの軌跡であるということが直感的に分かり易くなるように表示することも可能である。
【００１９】
また、図１の装置は、自車両のバンパの高さの軌跡を描くことも可能である。自車両のバンパの高さの軌跡を描くと、合成画像上で自車両のバンパと周囲の物体との接触判定をすることが容易になるという特徴を持たせることが可能である。
【００２０】
さらに、図２で描かれている軌跡線は、車両の後方3m迄であるが、任意の距離迄の軌跡線を描くことも可能である。
【００２１】
図６は、撮像手段101によって得られた画像から視点変換画像合成手段102によって後方パノラマ画像を合成し、この合成画像上に自車両の道路面上の軌跡401と自車両のバンパ端の軌跡402と自車両の車高の軌跡403とを描いたものである。自車両の車高の軌跡を描くことにより、周囲の車両との距離感などが把握し易いという特徴を有している。
【００２２】
このように、本発明の第１の実施の形態によれば、視点変換合成画像上に自車両の立体的な軌跡を描画することができるので、運転者は自車両と周囲の立体物との接触判定を容易に行うことが可能となる。
【００２３】
また、自車両の路面上の軌跡線と任意の高さの軌跡線とを直線または曲線によって補間することで、路面に対して垂直な線や、自車両の軌跡線上の断面図を合成画像上に表示することも可能である。
【００２４】
例えば、自車に装備された荷台連結器（ヒッチ）を用いての荷台車との連結というシーンを想定した場合、荷台車が自車から離れている初期状態、すなわち自車を荷台車に近づける際においては、表示される自車の予想軌跡により、対象となる荷台車にどう近づけていけば良いか方針が立てやすく、また、荷台車を連結する直前においては、視点変換によりあたかも真上から見たような映像（平面投影）を提供することにより、互いのヒッチの位置関係を正確に捉えることが可能となり、以上の動作と使い方により、容易に荷台と自車との連結が可能となる。
【００２５】
また、限られた駐車スペースへの駐車の際、あるいは、複数車線での後方車両の位置関係の把握の際にも、運転者に理解しやすい映像を提供できるという同様の利点が生じることはいうまでもない。
【００２６】
さらに、上記の例のように、あらかじめヒッチの高さやバンパの高さ等一番クリティカルな部分の高さがわかっているのであれば、その高さの軌跡線を運転者の指示により描画しても良い。
【００２７】
そして、バンパ端の軌跡線を描画することで、バンパ端の接触判定を可能にしたり、車高の軌跡線を合成画像上に描画することで、直感的に理解しやすい軌跡線を描画したりすることも可能である。
【００２８】
また、自車両からの距離に応じて軌跡線の色や太さを変えて描画することで、運転者の注目を自車両の近傍に集中させるなどの効果を得ることもできる。
【００２９】
本発明の第１の実施の形態の画像合成装置は、運転者に対して、後方死角を明瞭に表示する安全性と、上記駐車や連結時の利便性を兼ね備えた優れた運転支援装置としても活用・利用することができる。
【００３０】
（第２の実施の形態）
図７は、第２の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図１と同一の構成要素または対応する構成要素には図１で使用した符号を付した。
【００３１】
この画像合成装置は、図１の画像合成装置において、車両直進軌跡線生成手段103に代えて車両舵角対応軌跡線生成手段502を設け、さらに舵角情報出力手段501を付加し、その出力を車両舵角対応軌跡線生成手段502に入力するように構成したものである。その他の構成要素は図１の装置と同じ構成を有する。
【００３２】
舵角情報出力手段501は、自車両のハンドル舵角を出力する装置であり、車両舵角対応軌跡線生成手段502はハンドル舵角を入力として、そのハンドル舵角に応じた軌跡線を出力する装置である。車両舵角対応軌跡線生成手段502は、路面上の軌跡線の算出手段502Aと任意の高さの軌跡線の算出手段502Bとを具備しており、ハンドル舵角と自車両の大きさおよび形状と視点変換の際のカメラパラメータと撮像手段101の撮像状況とを入力することで、自車両が後退した場合の自車両の任意の位置の舵角に対応した軌跡線を出力する機能を具備している。
【００３３】
図８は、図７における任意の高さの軌跡線の算出手段502Bの構成について説明するためのブロック図である。任意の高さの軌跡線の算出手段502Bは、三次元形状記憶手段502B-1と、三次元軌跡領域生成手段502B-2と、道路面投影手段502B-3、合成画像投影手段502B-4とから構成されている。三次元形状記憶手段502B-1は、自車両の形状や自車両が内接する直方体や自車両の一部、例えばバンパや車輪などの形状を記憶することが可能である。三次元軌跡領域生成手段502B-2は、三次元形状記憶手段502B-1によって記憶されている自車両の形状が自車両が動いたときに通過する実空間上での領域を生成する機能を具備し、道路面投影手段502B-3は、三次元軌跡領域生成手段502B-2によって生成された三次元領域を道路面上に投影する機能を具備し、合成画像投影手段502B-4は、道路面投影手段502B-3によって生成された三次元領域を合成画像上に投影する機能を具備する。なお、三次元形状記憶手段502B-1によって記憶されている形状が自車両のある部分の一点であることも可能なため、三次元軌跡領域生成手段502B-2によって生成される領域を三次元的な線分にすることも可能である。
【００３４】
図９は、視点変換画像合成された合成画像上に、舵角情報に応じた軌跡線を描いたものである。ここで、車両舵角対応軌跡線生成手段502における三次元形状記憶手段502B-1は、自車両の後方のコーナーに位置する道路面から高さ50cmの点の三次元位置を記憶している。この図に示すように、路面上の舵角対応軌跡線601と、高さ50cmの舵角対応軌跡線602とが表示されている。このように表示することで、どれだけ車両のハンドルを回せば周囲の立体物と接触するかの判定を容易に行うことができるようになり、駐車時などに周囲の立体物との接触の回避が容易になるという特徴を有している。
【００３５】
図１０は、図７の装置を後方パノラマ画像に応用したものである。ここでは、自車両の後方に２台の他車両と、路面上の舵角対応軌跡線701と、バンパの高さの舵角対応軌跡線702と、車高の舵角対応軌跡線703とが表示されている。
【００３６】
図１１は、自車両が後退した時の自車両のタイヤやバンパなどを路面に投影したものを合成画像上に描画したものである。ここでは、三次元形状記憶手段502B-1は、自車両のバンパと車輪の形状を記憶しており、車両舵角対応軌跡線生成手段502によって、自車両204の車輪の投影像801と、バンパ端の投影像802とを投影している。この投影像は、ある周期で自車両204の後端から後方へ時間的に動く。これにより、自車両204が動いたときに、周囲の物体との位置関係を直感的に掴み易くすることが可能である。特にハンドルを切った時、タイヤの軌跡とバンパの軌跡は回転半径の差により異なるため、図８のように自車両の立体モデルを合成画像上に描画することは有効である。
【００３７】
このように、本発明の第２の実施の形態によれば、舵角に応じた自車両の立体的な軌跡を描画することにより、どれだけ車両のハンドルを回せば周囲の立体物と接触するかの判定を容易に行うことができるようになり、駐車時などに周囲の立体物との接触の回避が容易になる。
【００３８】
また、自車両の断面や立体モデルを自車両の後端から遠ざかるように軌跡線に沿って時間的に動かしたものを画像上に描画することにより、立体物との接触判定をより容易にすることができる。
【００３９】
（第３の実施の形態）
図１２は、第３の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図７と同一の構成要素または対応する構成要素には図７で使用した符号を付した。
【００４０】
この画像合成装置は、図７の装置に障害物衝突予測手段901と、障害物衝突強調表示手段902とを加えたもので、その他の構成要素は図７の装置の同様の構成を有する。
【００４１】
障害物衝突予測手段901 は、自車両の周囲に存在する車両などの障害物を検出する装置である。また車両軌跡線描画手段104は、障害物衝突予測手段901によって検出された障害物の位置と自車両の軌跡線とが衝突すると判定された場合、その先の軌跡線を描画しないようにする機能を具備している。障害物衝突強調表示手段902は、自車両の軌跡線と障害物とが衝突すると判定された場合、衝突する箇所を合成画像上で強調表示する機能を具備している。
【００４２】
このように構成することで、図１２の装置では、予想軌跡線上に障害物がある場合、障害物上に軌跡が描画されるという不自然さがなくなり、より理解のしやすい予想軌跡線を表示することが可能となる。
【００４３】
図１３は、図１２の装置によって得られたパノラマ画像と軌跡線である。図１３において、障害物より先に存在する軌跡線の点線の部分1001は画像上に描画されない。また衝突する箇所を1002のように強調表示させることで、運転者の注意を衝突箇所に集中させることが可能となる。
【００４４】
このように、本発明の第３の実施の形態によれば、自車両の周囲の障害物上に軌跡線を描画しないようにすることで、本来は進むことの出来ない進路上に軌跡を描画するといった不自然な現象を防ぐことが可能となり、より周囲の状況を理解しやすい軌跡線の描画が可能となる。
【００４５】
また、自車両と障害物の衝突が予測された場合、衝突箇所を強調して表示することで、運転者の注意をひくことも可能である。
【００４６】
（第４の実施の形態）
図１４は、第４の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図７と同一の構成要素または対応する構成要素には図７で使用した符号を付した。
【００４７】
この画像合成装置は、図７の画像合成装置に、多画面生成手段1101を付加したものであって、その他の構成要素は図７の装置と同様な構成を有する。ただし、撮像手段101は、多画面生成のための映像を取得するために、車両の後部と両側部に搭載されている。
【００４８】
図１５は、車両の後部に搭載されたカメラと、車両の両側部に搭載されたカメラからの画像をもとに図１４の画像合成装置によって得た合成画像と、車両軌跡線とを示す図である。車両の後部に搭載されたカメラの画像を表示領域の上から２／３程度を用いて表示し、車両の両側部に搭載されたカメラからの画像を表示領域の下１／３程度を用いて表示する。そして、各画面に対して、自車両の後方の軌跡線1201を描く。また自車両の側方を向いているカメラの画像上には自車両の前方のコーナーの軌跡1202も描くことが可能である。ここで、異なる画面間で同じ位置を表す軌跡線あるいは自車両枠を同じ色で表示することにより、異なる画面でも自車両の同じ位置の軌跡の対応を取ることを容易にすることが好適である。
【００４９】
このように、本発明の第４の実施の形態によれば、自車両後方の軌跡を二つ以上の異なる位置のカメラから得られた画像の上に描くので、軌跡線の３次元的な位置が理解し易くなり、周囲の障害物との接触判定が容易になる。
【００５０】
また、異なる画面間で同じ位置を表す軌跡線あるいは自車両枠を同じ色で表示することで、異なる画面でも自車両の同じ位置の軌跡の対応を取ることが容易になる。
【００５１】
なお自車両の枠1203を時間的に移動させる機能を図１４の装置に持たせることも可能である。
【００５２】
（第５の実施の形態）
図１６は、第５の実施の形態の画像合成装置の構成を示すブロック図である。この図において、図１と同一の構成要素または対応する構成要素には図１で使用した符号を付した。
【００５３】
この画像合成装置は、図１の画像合成装置に多画面生成手段1101を加え、さらに軌跡線生成手段103を補助線生成手段1301に、車両軌跡線描画手段104を補助線描画手段1302に置き換えたもので、その他の構成要素は図１の装置と同じ構成を有する。
【００５４】
補助線生成手段1301は、合成画像上に、例えば自車両から10m後方と20m後方の位置などの線を生成する装置である。そして、補助線描画手段1302は、補助線生成手段1301によって出力された補助線を多画面生成手段1101によって得られた合成画像上に重畳して描画する。
【００５５】
図１７は、図１６の画像合成装置によって得られた合成画像である。ここでは、自車両から後方10mの補助線1401と、自車両の後方20mの補助線1402とが表示されている。補助線1401および1402によって、後方から接近する車両との距離を把握するのが容易になる。また、自車両の後端の線を路面に垂直に投影した補助線1403のようにを描くことも可能である。補助線1403によって、自車両を追い越そうとする他の車両などが自車両の後端より後ろを走行しているのか、自車両の側方を走行しているかの判断が容易になり、車線変更時などの際の側方の車両の確認が円滑に行えるという特徴を有している。さらに、補助線1401、1402、1403上での一般的な車両の車幅を表す補助線1404を表示することもできる。これにより、後方から接近する車両があるスケール線に近づき、その車両の幅が補助線1403とほぼ同じになったら、その車両はその補助線上付近を走行しているということが分かる。
【００５６】
このように、本発明の第５の実施の形態によれば、合成画像上に距離の目安となる補助線を引くことで、走行時などに運転者が後方から接近してくる車両との距離を把握し易くなる。
【００５７】
また、自車両の側面を撮像した画像、あるいは前記画像の合成画像上に、自車両の後端の位置を示す補助線を生成することで、側方の車両の前端が自車両の後端より後方にあるか、前方にあるか理解し易くなり、車線変更などの際に有効である。
【００５８】
さらに、これらの補助線上に、一般的な車両の車幅を示す補助線を描画することで、より周囲の車両との距離の把握を容易にさせることも可能である。
【００５９】
（第６の実施の形態）
図１８は、第６の実施の形態の画像合成・表示装置の構成を示すブロック図である。この画像合成・表示装置は、自動車に搭載される第１の撮像部1501および第２の撮像部1502と、画像変換・合成部1503と、描画部1504と、メモリ1505と、表示部1506とから構成されている。ここで、第１の撮像部1501および第２の撮像部1502は、図１の撮像手段101 に対応し、画像変換・合成部1503は視点変換画像合成手段102に対応する。
【００６０】
第１の撮像部1501および第２の撮像部1502は車両の後方を撮影する。第１の撮像部1501および第２の撮像部1502で取得された映像は、画像変換・合成部1503で仮想視点から撮像したような映像に変換される。描画部1504は、メモリ1505に格納されているデータを基に、出力画像に重畳すべきイラスト、補助線等を描画する。この描画部1504で描画された映像は表示部1506に表示される。なお、図１８では、撮像部は２台としているが、画像変換・合成部1503が対応できれば何台でも構わない。図１９に示すように、第１の撮像部1501および第２の撮像部1502は、自車両204のバンパならびに後部の車体の一部をその視野内に収めるように自車両204の後部に搭載されている。
【００６１】
以上のように構成さた画像合成・表示装置について、図２０を用いてその画面構成を説明する。この図は、あたかも車両後端から2m程度離れた地点の上空に撮像部を設置したかのような映像に変換した時の表示例である。
【００６２】
ここには、自車両204 、後方に位置する第１の他車両205、後側方に位置する第２の他車両206、および道路面1701が表示されている。網掛が付された部分1702は撮像部の視野外の路面である。
【００６３】
また、自車両204の後部のナンバープレート204A、バンパ204B、およびストップランプ204Cが表示されている。さらに、バンパの後端ならびにボディーの後縁位置に補助線1703を重畳して自車両の後縁を強調している。このとき、実際の後縁よりも外側に補助線を引いたり、補助線を太くするなどして、接触の危険性を低減することも可能である。
【００６４】
また、バンパ204Bの後端から一定の距離だけ後方に、バンパ204Bと水平にミラー確認線1704を引いている。このミラー確認線1704は、表示画像を自車両と同じ領域の危険領域、ならびに、自車両とは異なる領域の安全領域との２つの領域に分離する補助線であり、ミラーにより運転者に周囲の物体との衝突確認を促す機能を具備している。つまり、運転中に車両周囲に表示される物体がこのミラー確認線1704に接した時点でミラーを確認することで、運転者は周囲の物体との衝突可能性を最適なタイミングで確認できる。なお、ミラー確認線1704は、画像中に映るボディーの後縁、ならびにバンパの後端から一定距離だけ外側に引いたり、車両の後縁を囲むような曲線としたりしても良い。
【００６５】
このように、本発明の第６の実施の形態によれば、自車両のバンパならびに後部の車体の一部をその視野内に収めるように撮像部を設置し、自車両の映像を含めて視点変換・合成することにより、自車両と車両周辺の立体物との接触判定を容易にすることができる。
【００６６】
また、バンパの後端ならびに自車両の後縁位置に補助線を重畳して、それらの位置を強調表示した画像を提供することで、自車両の後縁を容易に判別することが可能となり、接触判定がより容易になる。
【００６７】
さらに、自車両のバンパの後端から一定距離だけ後方にバンパと水平にミラー確認線を表示した画像を提示することで、最適なタイミングにより運転者にミラーによる周囲の安全確認を促すことが可能となる。
【００６８】
（第７の実施の形態）
第７の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２１は第７の実施の形態の画面構成図である。
【００６９】
図２１には、自車両の３次元的なイラスト1801が表示されている。このイラスト1801は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両に相当する領域に重畳される。
【００７０】
また、補助線1802はバンパ領域を表す。この領域には、実際に撮像部で撮影した画像を変換した画像を表示しても良い。これにより、実際の画像を見ているという安心感を運転者に与えることができる。このとき、実際の車両位置よりもバンパ領域のイラストを大きく描くことで、接触の危険性を低減することも可能である。
【００７１】
さらに、補助線1803は、自車両が直線的に後退した場合に、そのボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。また、補助線1804は、自車両が直線的に後退した場合にバンパ端が通過する位置を示すバンパ通過軌跡である。そして、補助線1805A〜Cは、自車両から一定距離にある路面上通過軌跡上の点とバンパ端通過軌跡上の点とを繋ぐ立体補助線である。なお、自車両のバンパ端だけではなく、自車両とは異なる高さのバンパを持つ適当な他車のバンパの高さに相当する自車両のボディー端の通過軌跡を表示することも可能である。
【００７２】
このように、本発明の第７の実施の形態によれば、自車両をあたかも実際に設置した撮像部で撮影して変換・合成したかのような３次元的なイラストを表示画像に重畳して自車両を立体的に表示した画像を提供することで、自車両を立体的に捕らえることが可能となり、自車両と車両周辺の立体物との位置関係を３次元的に把握し易くなる。その結果、接触判定が容易になる。
【００７３】
また、イラストのバンパに相当する領域に実写画像を変形・合成した画像を表示することで、実際の画像を見ているという安心感を運転者に与えることができる。
【００７４】
さらに、自車両が後退した場合に、ボディー端が通過する位置を路面上に投影した位置を示す路面通過軌跡、ならびに、バンパ端が通過する位置を示すバンパ端通過軌跡、および、それらを繋いで立体感を生成する立体補助線を表示した画像を提示することで、２本の通過軌跡の位置関係を立体的に把握し易くすることができる。
【００７５】
（第８の実施の形態）
第８の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２２は第８の実施の形態の画面構成図である。
【００７６】
図２２において、イラスト1901は自車両のタイヤが路面に接触している位置が確認できるように、自車両をスケルトンで表現すると共にタイヤも表現した３次元的なイラストである。このイラスト1901は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両に相当する領域に重畳される。なお、自車両を、ワイヤーフレームで表現するなどしても良い。
【００７７】
また、補助線1902はバンパ領域を表す。この領域領域には、実際に撮像部で撮影した画像を変換した画像を表示しても良い。そして、補助線1903は、イラスト1901内のタイヤから引いた路面通過軌跡である。これにより、路面上通過軌跡の意味を直感的に把握し易くなる。
【００７８】
このように、本発明の第８の実施の形態によれば、自車両のイラストをスケルトンあるいはワイヤーフレームなどで表現し、タイヤ位置を明示的に表示した画像を提示することで、より自車両の立体感を強調できるとともに、路面上でのタイヤ位置を直感的に理解できるため、自車両と車両あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように周辺の立体物との位置関係を３次元的に把握し易くなり、接触判定が容易になる。
【００７９】
（第９の実施の形態）
第９の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２３は第９の実施の形態の画面構成図である。
【００８０】
図２３において、第１の壁面2001は自車両の後端位置に路面に垂直に置かれた車両幅と同じ幅の壁面のイラストである。この壁面2001は、あたかも車両後端から2m程度離れた地点の上空に設置された仮想視点から見た映像に変換したかのように作成されており、表示画像の自車両の後端位置に相当する領域に重畳される。また、第２の壁面2002は、第１の壁面2001よりも自車両の内側に置かれた自車両幅と同じ幅の壁面のイラストである。第２の壁面2002は、第１の壁面2001と同様に作成されており、表示画像内の適当な位置に重畳される。ここで、第２の壁面2002は、路面と接触しているところが見えるように描かれている。
【００８１】
なお、第１の壁面2001に車両後部のようなイラストを描いたり、第２の壁面2002が路面と接触する部分にタイヤのイラストを描くことも可能である。
【００８２】
このように、本発明の第９の実施の形態によれば、自車両の後端位置、ならびに、その位置よりも自車両の内側に、道路面と垂直に置かれた自車両の幅と同じ幅の２枚の壁面のイラストを表示画像に重畳して自車両を立体的な物体で比喩的に表現した画像を提示することで、自車両を立体的に捕らえることが可能となるため、自車両と車両周辺の立体物との位置関係を３次元的に把握し易くなり、接触判定が容易になる。
【００８３】
（第１０の実施の形態）
図２４は、第１０の実施の形態の画像合成・表示装置の構成を示すブロック図である。この図において、図１８と同一の構成要素または対応する構成要素には図１８で使用した符号を付した。
【００８４】
図２４において、軌跡算出部2101は、外部から入力される自車両のハンドルの舵角信号を基に、現在の舵角のまま後退した場合に自車両が通過する軌跡を算出する。描画部1504は、メモリ1505に格納されているデータ、ならびに、軌跡算出部2101から入力される自車両の通過予測軌跡を基に、出力画像に重畳すべきイラスト、補助線等を描画する。
【００８５】
第１０の実施の形態の画面構成は、図２１の画面における補助線1803、1804、1805A〜Cを図９の補助線601、602のように舵角に応じて曲げたものとなる。
【００８６】
このように、本発明の第１０の実施の形態によれば、自車両の操舵角に応じて自車両のボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡、自車両のバンパ端が通過する位置を示すバンパ端通過軌跡、および、それらを繋いで立体感を生み出す立体補助線を表示した画像を提示することで、後退する場合に、自車両の操舵角に応じて実際の通過予測軌跡を立体的に把握し易く表示することが可能となり、運転者が表示画面を参考にして最適にハンドルを操作することが可能となる。
【００８７】
なお、これらの補助線を第６〜第９の実施の形態（図２０〜２３）に示す自車両の実画あるいはイラストと同時に表示したり、路面上通過軌跡をタイヤ跡のように表示したり、バンパ端通過軌跡を自車両の実画あるいはイラストのバンパ端と繋いで表示したりしても良い。適当な高さのホディー端の通過軌跡を表示する際には、その高さに相当する自車両位置に繋ぐ。
【００８８】
また、自車両をスケルトンあるいはワイヤーフレームで表現しても良い。この場合、路面上通過軌跡1903をイラスト内のタイヤから引くようにする。これにより、路面上通過軌跡の意味を直感的に把握し易くできる。
【００８９】
さらに、これらの補助線を自車両の実画あるいはイラストと同時に表示したり、路面上通過軌跡をタイヤ跡のように表示したり、バンパ端通過軌跡を自車両の実画あるいはイラストのバンパ端と繋いで表示したりすることで、２本の通過軌跡と自車両との関係を直感的に把握し易くしても良い。
【００９０】
また、ミラー確認線も同時に表示することで、最適なタイミングで、かつ、どの辺りを確認すればよいかを運転者が直感的に把握できるようにしても良い。
【００９１】
（第１１の実施の形態）
第１１の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２５は第１１の実施の形態の画面構成図である。以下、自車両がセダンとして説明する。
【００９２】
図２５において、補助線2201は、自車両が直線的に後退した場合に自車両のボディー端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。補助線2202は、自車両が直線的に後退した場合にバンパ端が通過する位置を示すバンパ端通過軌跡である。補助線2203は、自車両が直線的に後退した場合にバンパ位置が自車両のバンパ位置よりも高いＳＵＶ等のバンパ位置に相当する自車両の車体端が通過する位置を示す通過軌跡である。イラスト2204A〜Cは、自車両の後部の車体面を模したイラストであり、それぞれの位置に自車両の車体後部が位置する際に実際に画像に写る様子をイラストとして示したものである。なお、イラストとして表示している高さは補助線2203と同じ高さとしているが、必ずしも同じ高さとしなくても良く、補助線2203の高さも任意に決定して良い。
【００９３】
このように、本発明の第１１の実施の形態によれば、直線的に後退した場合の自車両の路面通過軌跡、自車両のバンパ端通過軌跡、ＳＵＶなどのバンパ端通過軌跡、および自車両の後部の車体を模したイラストを同時に表示することにより、自車両の進行方向と自車両の周囲に存在する物体との位置関係を直感的に把握することができる。
【００９４】
なお、第７〜第８の実施の形態のように、自車両のイラストと組合わせて、このイラストを移動あるいは画面にあわせて変形して自車の後部の車体面を模したイラストとして使用し、路面上通過軌跡をタイヤ跡のように表示することで、より直感的に自車両の進行方向と自車両の周囲に存在する物体との位置関係を把握できるように構成しても良い。
【００９５】
また、第６の実施の形態におけるミラー確認線も同時に表示したり、第１０の実施の形態のように、自車両の操舵角に応じて、これらの補助線を移動し、実際に後退した際に通過する軌跡を表示したりすることも可能である。なお、補助線の位置のみ正確に表示し、自車両の後部を模したイラストは予め定めた数種類から選択して適当な位置に重畳しても良い。
【００９６】
（第１２の実施の形態）
第１２の実施の形態の画像合成・表示装置の構成は図１８と同じである。図２６は第１２の実施の形態の画面構成図である。以下、自車両がセダンとして説明する。
【００９７】
図２６において、補助線2301は、自車両が直線的に後退した場合のボディ端が通過する位置を路面上に投影した位置を示す路面上通過軌跡である。補助線2302は、自車両が直線的に後退した場合にバンパの下面の端が通過する位置を示すバンパ下面端通過軌跡である。補助線2303は、自車両が直線的に後退した場合にバンパの上面の端が通過する位置を示すバンパ上面通過軌跡である。イラスト2304A 〜C は、バンパを模したイラストであり、それぞれの位置にバンパのみがある場合に実際に画像として表示される様子をイラストとして示したものである。
【００９８】
このように、本発明の第１２の実施の形態によれば、自車両が直線的に後退した場合の路面通過軌跡、バンパ上面端通過軌跡、バンパ下面通過軌跡、および自車両のバンパを模したイラストとを同時に表示することにより、直感的に自車両の進行方向と自車の周囲に存在する物体との位置関係を把握することができる。
【００９９】
なお、第７〜第８の実施の形態のように、自車両のイラストと組合わせて、このイラストを移動あるいは画面にあわせて変形して自車両の後部の車体面を模したイラストとして使用し、路面上通過軌跡をタイヤ跡のように表示することで、より直感的に自車の進行方向と自車の周囲に存在する物体との位置関係を把握できるように構成しても良い。
【０１００】
また、第６の実施の形態におけるミラー確認線も同時に表示したり、実施の形態１０のように自車両の操舵角に応じて、これらの補助線を移動し、実際に後退した際に通過する軌跡を表示したりすることも可能である。
【０１０１】
【発明の効果】
以上のように本発明は、仮想視点からの擬似映像中に適当なイラスト、補助線、軌跡線等を重畳することで、運転者が自車両と周囲の立体物との３次元的な位置関係を直感的に把握でき、その結果、適切な接触判定をすることが容易になるという優れた効果を有する画像合成装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像合成装置の構成を示すブロック図、
【図２】図１の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線を説明するための図、
【図３】図１における任意の高さの軌跡線算出手段103Bの構成について説明するためのブロック図、
【図４】図１における任意の高さの軌跡線算出手段103Bの処理の流れを説明するための図、
【図５】図２の軌跡線の詳細を説明するための図、
【図６】図１の画像合成装置によって得られた後方パノラマ合成画像と軌跡線の説明をするための図、
【図７】本発明の第２の実施の形態の画像合成装置の構成を示すブロック図、
【図８】図７における任意の高さの軌跡線の算出手段502Bの構成について説明するためのブロック図、
【図９】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線の説明をするための図、
【図１０】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線の説明をするための図、
【図１１】図７の画像合成装置によって得られた上方から垂直に見下ろした場合の合成画像と軌跡線と時間的に動く自車両の立体表示を説明するための図、
【図１２】本発明の第３の実施の形態の画像合成装置の構成を示すブロック図、
【図１３】図１２の画像合成装置によって得られた後方パノラマ合成画像と軌跡線と衝突箇所の強調表示を説明するための図、
【図１４】本発明の第４の実施の形態の画像合成装置の構成を示すブロック図、
【図１５】図１４の画像合成装置によって得られた多画面表示画像と軌跡線を説明するための図
【図１６】本発明の第５の実施の形態の画像合成装置の構成を示すブロック図、
【図１７】図１６の画像合成装置によって得られた多画面表示画像と補助線を説明するための図、
【図１８】本発明の第６の実施の形態の画像合成・表示装置の構成を示すブロック図、
【図１９】本発明の第６の実施の形態の画像合成・表示装置の撮像部設置図、
【図２０】本発明の第６の実施の形態の画像合成・表示装置の画面構成図、
【図２１】本発明の第７の実施の形態の画像合成・表示装置の画面構成図、
【図２２】本発明の第８の実施の形態の画像合成・表示装置の画面構成図、
【図２３】本発明の第９の実施の形態の画像合成・表示装置の画面構成図、
【図２４】本発明の第１０の実施の形態の画像合成・表示装置の構成を示すブロック図、
【図２５】本発明の第１１の実施の形態の画像合成・表示装置の画面構成図、
【図２６】本発明の第１２の実施の形態の画像合成・表示装置の画面構成図、
【図２７】従来の後方視界表示装置の画面構成図、
【図２８】従来の後方視界表示装置の課題を説明するための車両の位置関係図である。
【符号の説明】
101  撮像手段
102  視点変換画像合成手段
103  車両直進軌跡線生成手段
103A  路面上の軌跡線の算出手段
103B  任意の高さの軌跡線の算出手段
104  車両軌跡線描画手段
201  路面上の軌跡線
202  高さ50cmの軌跡線
203  路面に対して垂直な線
204  自車両
401  路面上の軌跡線
402  バンパ端の軌跡線
403  自車両の高さの軌跡線
501  舵角情報出力手段
502  車両舵角対応軌跡線生成手段
601  路面上の舵角対応軌跡線
602  高さ50cmの舵角対応軌跡線
701  路面上の舵角対応軌跡線
702  バンパ端の舵角対応軌跡線
703  車高の舵角対応軌跡線
801  自車両の車輪
802  自車両のバンパ端
901  障害物衝突予測手段
902  障害物衝突強調表示手段
1001  描画されない軌跡線
1002  衝突箇所の強調表示
1101  多画面生成手段
1201  舵角対応軌跡線
1202  車両前方端の舵角対応軌跡線
1203  時間的に移動する自車両枠
1301  補助線生成手段
1302  補助線描画手段
1401  自車両の後方10m を示す補助線
1402  自車両の後方20m を示す補助線
1403  自車両の後端を示す補助線
1404  各補助線上での一般的な車両の車幅を示す補助線
1501  撮像部
1502  撮像部
1503  画像変換・合成部
1504  描画部
1505  メモリ
1506  表示部
1701  道路面
1702  撮像部の視野外の路面
1703  パンパー後端ならびに自車両の後縁
1704  ミラー確認線
1801  自車両イラスト
1802  バンパ領域
1902  バンパ領域
1803  路面上通過軌跡
2201  路面上通過軌跡
2301  路面上通過軌跡
1804  バンパ端通過軌跡
1805A  立体補助線
1805B  立体補助線
1805C  立体補助線
1901  自車両イラスト( スケルトン)
2001  壁面イラスト
2002  壁面イラスト
2101  軌跡算出部
2202  バンパ通過軌跡
2203  バンパ通過軌跡
2204A  車体後部のイラスト
2204B  車体後部のイラスト
2204C  車体後部のイラスト
2302  バンパ下面端通過軌跡
2303  バンパ上面通過軌跡
2304A  バンパの立体イラスト
2304B  バンパの立体イラスト
2304C  バンパの立体イラスト
【図１】
0003645196.tif 000002
【図２】
0003645196.tif 000003
【図３】
0003645196.tif 000004
【図４】
0003645196.tif 000005
【図５】
0003645196.tif 000006
【図６】
0003645196.tif 000007
【図７】
0003645196.tif 000008
【図８】
0003645196.tif 000009
【図９】
0003645196.tif 000010
【図１０】
0003645196.tif 000011
【図１１】
0003645196.tif 000012
【図１２】
0003645196.tif 000013
【図１３】
0003645196.tif 000014
【図１４】
0003645196.tif 000015
【図１５】
0003645196.tif 000016
【図１６】
0003645196.tif 000017
【図１７】
0003645196.tif 000018
【図１８】
0003645196.tif 000019
【図１９】
0003645196.tif 000020
【図２０】
0003645196.tif 000021
【図２１】
0003645196.tif 000022
【図２２】
0003645196.tif 000023
【図２３】
0003645196.tif 000024
【図２４】
0003645196.tif 000025
【図２５】
0003645196.tif 000026
【図２６】
0003645196.tif 000027
【図２７】
0003645196.tif 000028
【図２８】
0003645196.tif 000029