(57)【特許請求の範囲】
【請求項１】
自車周囲に取り付けられた複数の車載カメラと、
前記複数の車載カメラの撮影画像を処理して、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
自車の駐車目標位置を設定する駐車目標位置設定手段と、
前記駐車目標位置が設定された時点で前記俯瞰画像生成手段により生成された俯瞰画像を記憶する俯瞰画像記憶手段と、
前記駐車目標位置が設定されてからの自車の移動方向および移動量を算出する自車移動量算出手段と、
現時点で前記俯瞰画像生成手段により生成された俯瞰画像の中央に自車を表す仮想自車画像を重畳し、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態の第１表示画像を生成する第１表示画像生成手段と、
前記自車移動量算出手段により算出された自車の移動方向および移動量に基づいて、前記俯瞰画像記憶手段に記憶された俯瞰画像上における自車位置を特定し、前記俯瞰画像記憶手段に記憶された俯瞰画像上における自車位置に自車を表す仮想自車画像を重畳して、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の第２表示画像を生成する第２表示画像生成手段と、
前記第１表示画像生成手段により生成された第１表示画像と前記第２表示画像生成手段により生成された第２表示画像とを並べて表示する表示手段と、
前記駐車目標位置設定手段により設定された駐車目標位置を示す枠図形及び前記駐車目標位置への駐車動作を開始するのに適した駐車開始位置を示す枠図形の少なくともいずれか一方の枠図形を描画する案内情報描画手段と、
を備え、
前記第２表示画像で表示される自車周囲の領域が、前記第１表示画像で表示される自車周囲の領域よりも広い領域であり、
前記駐車目標位置を示す枠図形と前記駐車開始位置を示す枠図形とのいずれも前記第１表示画像に重畳表示せず、前記駐車目標位置を示す枠図形と前記駐車開始位置を示す枠図形との少なくとも一方の枠図形を前記第２表示画像に重畳表示することを特徴とする車両用駐車支援装置。
【請求項２】
前記表示手段は、前記駐車目標位置が設定される前の時点では、前記第１表示画像生成手段により生成された第１表示画像のみを表示することを特徴とする請求項１に記載の車両用駐車支援装置。
【請求項３】
操作者の操作入力を受け付ける入力手段をさらに備え、
前記駐車目標位置設定手段は、前記入力手段で受け付けた操作者の操作入力に応じて前記駐車目標位置を設定することを特徴とする請求項１または２に記載の車両用駐車支援装置。
【請求項４】
前記駐車目標位置設定手段は、自車に搭載された障害物検出センサからのセンサ情報をもとに自車周囲の駐車可能スペースを検知し、検知した駐車可能スペースを前記駐車目標位置として設定することを特徴とする請求項１または２に記載の車両用駐車支援装置。
【請求項５】
前記駐車目標位置設定手段は、前記車載カメラで撮影された画像を解析して自車周囲の駐車可能スペースを検知し、検知した駐車可能スペースを前記駐車目標位置として設定することを特徴とする請求項１または２に記載の車両用駐車支援装置。
【請求項６】
前記駐車開始位置から前記駐車目標位置までの自車の理想進路を求め、前記第２表示画像生成手段により生成された第２表示画像上に前記理想進路を描画する理想進路描画手段をさらに備え、
前記駐車目標位置を示す枠図形と前記駐車開始位置を示す枠図形との両方の枠図形を前記第２表示画像に重畳表示することを特徴とする請求項３乃至請求項５のいずれか１項に記載の車両用駐車支援装置。
【請求項７】
自車の現在のステアリング操舵角を維持したときの自車の予測進路を求め、前記第２表示画像生成手段により生成された第２表示画像上に前記予測進路を描画する予測進路描画手段をさらに備えることを特徴とする請求項６に記載の車両用駐車支援装置。
【請求項８】
自車周囲に取り付けられた複数の車載カメラの撮影画像を処理して、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像を生成するとともに、当該俯瞰画像上に自車を表す仮想自車画像を重畳して表示手段に表示する画像表示方法であって、
現時点で生成される前記俯瞰画像の中央に前記仮想自車画像を重畳して、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態の第１表示画像を生成するとともに、駐車目標位置が設定された時点で生成した前記俯瞰画像上における自車位置に前記仮想自車画像を重畳して、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の第２表示画像を生成し、前記第１表示画像と前記第２表示画像とを前記表示手段に並べて表示するとともに、前記第２表示画像で表示される自車周囲の領域が、前記第１表示画像で表示される自車周囲の領域よりも広い領域であり、駐車目標位置の指定を受け入れ、前記駐車目標位置を示す枠図形と前記駐車目標位置への駐車動作を開始するのに適した駐車開始位置を示す枠図形との少なくとも一方の枠図形を前記第２表示画像に重畳表示し、前記駐車目標位置を示す枠図形と前記駐車開始位置を示す枠図形とのいずれも前記第１表示画像に重畳表示しないことを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車周囲の画像を表示手段に表示して自車のドライバの駐車時における運転操作を支援する車両用駐車支援装置および画像表示方法に関する。
【背景技術】
【０００２】
従来、複数の車載カメラで撮影された画像を用いて自車周囲を自車上方の仮想視点から見下ろした俯瞰画像を生成し、この俯瞰画像上に自車を表すコンピュータグラフィックス等の仮想自車画像を重畳して、車室内の表示手段に表示する技術が知られている。また、この種の俯瞰画像を表示して駐車時におけるドライバの運転操作を支援する技術として、特許文献１には、自車が駐車態勢に入ったときに、表示手段に表示する画像を、自車の移動に伴って仮想自車画像の周囲の俯瞰画像が変化する通常の表示形態の画像から、自車の移動に伴って俯瞰画像上で仮想自車画像が移動する表示形態の画像へと切り替える、という技術が記載されている。
【特許文献１】特開２００７−１８３８７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
駐車時に表示手段に表示する画像の表示形態としては、駐車時の自車の動きを客観的にイメージする上では、俯瞰画像が固定されて自車の移動に伴って仮想自車画像が俯瞰画像上で移動する表示形態の方が、自車位置と駐車目標位置との位置関係などを客観的に捉えられるために有利であると考えられる。その一方で、実際にステアリング操作を行うシーンでは、仮想自車画像が固定されて自車の移動に伴って仮想自車画像の周囲の俯瞰画像が変化する表示形態の方が、自車を基準にステアリングの操作方向などを直感的に判断できるので有利であると考えられる。しかしながら、特許文献１に記載の技術では、自車が駐車態勢に入ると、自車の移動に伴って仮想自車画像が俯瞰画像上で移動する表示形態の画像のみが表示手段に表示されるため、特にステアリング操作時などにドライバがその操作方向を瞬時に判断できないことも想定される。
【０００４】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、自車のドライバの駐車時における運転操作をより効果的に支援することができる車両用駐車支援装置および画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明は、前記目的を達成するために、現時点で生成される俯瞰画像の中央に仮想自車画像を重畳して、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態の第１表示画像を生成するとともに、駐車目標位置が設定された時点で生成した俯瞰画像上における自車位置に仮想自車画像を重畳して、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の第２表示画像を生成し、第１表示画像と第２表示画像とを表示手段に並べて表示するようにした。
また本発明においては、第２表示画像で表示される自車周囲の領域が、第１表示画像で表示される自車周囲の領域よりも広い領域であり、駐車目標位置の指定を受け入れ、駐車目標位置を示す枠図形及び駐車目標位置への駐車動作を開始するのに適した駐車開始位置を示す枠図形の少なくとも一方の枠図形を第２表示画像に重畳表示し、駐車目標位置を示す枠図形と駐車開始位置を示す枠図形とのいずれも第１表示画像に重畳表示しないようにした。
【発明の効果】
【０００６】
本発明によれば、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態の第１表示画像と、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の第２表示画像とが表示手段に並べて表示されるので、自車のドライバの駐車時における運転操作をより効果的に支援することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。
【０００８】
［第１の実施形態］
図１は、本発明を適用した車両用駐車支援装置の概略構成を示すブロック図である。本実施形態の車両用駐車支援装置は、自車に搭載されたフロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラの撮影画像を画像処理ユニット１０で画像処理して表示画像を生成し、この表示画像を自車の車室内に設置された表示装置５に表示させるものであり、画像処理ユニット１０の入力側に４つの車載カメラ１〜４が接続され、画像処理ユニット１０の出力側に表示装置５が接続された構成とされる。また、画像処理ユニット１０には、自車のドライバの操作入力を受け付ける操作入力デバイス６や、自車の挙動を検出する各種の車載センサ７が接続されている。
【０００９】
フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラは、例えば、１８０度程度の画角を有する広角のＣＣＤカメラ或いはＣＭＯＳカメラよりなり、これら４つの車載カメラ１〜４で自車周囲を囲む全ての領域の映像を撮影できるように、自車周囲の適所に取り付けられている。具体的には、フロントカメラ１は、例えば図２に示すように、自車のフロントグリルなどに設置され、自車前方の領域Ａ１の画像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２は、自車のルーフスポイラなどに設置され、自車後方の領域Ａ２の画像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ３は、自車の右サイドミラーなどに設置され、自車右側方の領域Ａ３の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ４は、自車の左サイドミラーなどに設置され、自車左側方の領域Ａ４の画像を地面に対して斜めに見下ろす方向で撮影する。これら４つの車載カメラ１〜４で撮影された画像の信号は、画像処理ユニット１０へと随時送られる。
【００１０】
表示装置５は、画像処理ユニット１０により生成された表示画像を表示するものであり、例えば液晶ディスプレイなどが用いられる。この表示装置５は、自車の車室内のセンターコンソールなど、自車のドライバにとって見易い位置に設置されており、画像処理ユニット１０からの画像信号に基づいて、画像処理ユニット１０で生成された表示画像を表示する。
【００１１】
操作入力デバイス６は、自車のドライバによる操作入力を受け付けるものであり、例えば各種の操作ボタンやジョイスティックなどが用いられる。また、表示装置５の表示画面にタッチパネルを設け、このタッチパネルを操作入力デバイス６として用いるようにしてもよい。この操作入力デバイス６を用いた自車のドライバによる操作入力は、画像処理ユニット１０へと送られる。
【００１２】
車載センサ７は、自車の挙動を検出するものであり、例えば車速センサ、操舵角センサ、シフト信号センサが用いられる。車速センサは、自車の車速を検出するものである。操舵角センサは、自車のステアリング操舵角を検出するものである。シフト信号センサは、自車のシフト位置（ギヤポジションの位置）を検出するものである。これらの車載センサ７により検知した自車の挙動を表すセンサ信号は、画像処理ユニット１０へと随時送られる。
【００１３】
画像処理ユニット１０は、画像を加工処理するプログラムが格納されたマイクロコンピュータなどの情報処理装置を備えて構成され、ＣＰＵなどの演算装置でこのプログラムを実行することによって、車載カメラ１〜４の撮影画像を用いて表示装置５に表示する表示画像を生成する。この画像処理ユニット１０は、その構成を機能的に捉えた場合、図３に示すように、画像入力部１１と、俯瞰画像生成部１２と、駐車目標位置設定部１３と、俯瞰画像記憶部１４と、自車移動量算出部１５と、第１表示画像生成部１６と、第２表示画像生成部１７と、画像出力部１８とを備えた構成とされる。
【００１４】
画像入力部１１は、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラで撮影された画像をそれぞれ入力する。
【００１５】
俯瞰画像生成部１２は、画像入力部１１により入力された各車載カメラ１〜４の撮影画像を用いて、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像を生成する。図４は、この俯瞰画像を生成する処理の概要を説明する図であり、図４中の画像１００が俯瞰画像生成部１２により生成される俯瞰画像、画像１０１がフロントカメラ１の撮影画像、画像１０２がリアカメラ２の撮影画像、画像１０３が右サイドカメラ３の撮影画像、画像１０４が左サイドカメラ４の撮影画像である。なお、この図４の例では、俯瞰画像生成の様子を分かり易く図示するために、各車載カメラ１〜４が自車周囲の地面に引かれた目安となるラインを含む画像を撮影するようにしている。
【００１６】
俯瞰画像生成部１２は、フロントカメラ１の撮影画像１０１に対して既知の視点変換アルゴリズムに従った座標変換処理を行って、自車前方の領域（図２中の領域Ａ１）を自車上方の仮想視点から見下ろした画像１００ａを生成する。また、俯瞰画像生成部１２は、リアカメラ２の撮影画像１０２に対しても同様の座標変換処理を行って、自車後方の領域（図２中の領域Ａ２）を自車上方の仮想視点から見下ろした画像１００ｂを生成する。さらに、俯瞰画像生成部１２は、右サイドカメラ３の撮影画像１０３や左サイドカメラ４の撮影画像１０４に対しても同様の座標変換処理を行って、自車右側方の領域（図２中の領域Ａ３）を自車上方の仮想視点から見下ろした画像１００ｃや、自車左側方の領域（図２中の領域Ａ４）を自車上方の仮想視点から見下ろした画像１００ｄを生成する。そして、俯瞰画像生成部１２は、これらの画像１００ａ〜１００ｄを繋ぎ合わせて、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像１００を生成する。なお、この俯瞰画像１００の中央が、俯瞰画像１００を生成した時点で自車が存在する位置である。
【００１７】
この俯瞰画像生成部１２による俯瞰画像の生成は、各車載カメラ１〜４から画像入力部１１に新たな撮影画像が入力されるたびに繰り返し行われる。そして、この俯瞰画像生成部１２により生成された俯瞰画像は、第１表示画像生成部１６に随時供給される。また、駐車目標位置設定部１３により自車の駐車目標位置が設定されたときには、その時点で俯瞰映像生成部１２により生成された俯瞰画像が、俯瞰画像記憶部１４に記憶される。
【００１８】
駐車目標位置設定部１３は、例えば、操作入力デバイス６を用いた自車のドライバの操作入力に応じて、自車の駐車目標となる駐車目標位置を設定する。この駐車目標位置設定部１３により自車の駐車目標位置が設定されると、その旨の情報が、俯瞰画像生成部１２と自車移動量算出部１５および第２表示画像生成部１７とに供給される。
【００１９】
俯瞰画像記憶部１４は、駐車目標位置設定部１３により自車の駐車目標位置が設定された時点で俯瞰画像生成部１２により生成された俯瞰画像を記憶する。すなわち、俯瞰画像生成部１２は、駐車目標位置設定部１３から自車の駐車目標位置を設定した旨の情報を受け取ると、その時点で生成した俯瞰画像を俯瞰画像記憶部１４に格納する。
【００２０】
自車移動量算出部１５は、各種の車載センサ７からのセンサ信号、具体的には、自車の車速を示す車速センサからの車速信号や、自車のステアリング操舵角を示す操舵角センサからの舵角信号、自車のシフト位置を示すシフト信号センサからのシフト位置信号をもとに、駐車目標位置設定部１３により自車の駐車目標位置が設定されてから現在に至るまでの自車の移動方向および移動量を算出する。この移動量算出部１５により算出された自車の移動方向および移動量の情報は、第２表示画像生成部１７に随時供給される。
【００２１】
第１表示画像生成部１６は、俯瞰画像生成部１２により生成された俯瞰画像の中央に自車を表す仮想自車画像を静止画として固定し、自車の移動に伴って仮想自車画像の周囲の俯瞰画像が変化する表示形態の第１表示画像（以下、リアルタイム画像という。）を生成する。すなわち、第１表示画像生成部１６は、現時点で俯瞰画像生成部１２により生成された俯瞰画像が供給されると、この俯瞰画像の中央に、自車を表すコンピュータグラフィックス等の仮想自車画像を重畳する。この処理は、俯瞰画像生成部１２により新たな俯瞰画像が生成されるたびに行われる。自車が移動すると俯瞰画像生成部１２により生成される俯瞰画像が変化するので、この俯瞰画像の中央に仮想自車画像を重畳することで、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態のリアルタイム画像が生成される。この第１表示画像生成部１６により生成されたリアルタイム画像は、画像出力部１８に随時供給される。
【００２２】
第２表示画像生成部１７は、駐車目標位置設定部１３により自車の駐車目標位置が設定された時点で俯瞰画像生成部１２により生成された俯瞰画像を静止画として固定し、この俯瞰画像上で自車を表す仮想自車画像が実際の自車の移動に伴って動く表示形態の第２表示画像（以下、客観視画像という。）を生成する。すなわち、第２表示画像生成部１７は、駐車目標位置設定部１３により自車の駐車目標位置が設定され、その時点で俯瞰画像生成部１２により生成された俯瞰画像が俯瞰画像記憶部１４に記憶されると、自車移動量算出部１５により算出された自車の移動方向および移動量の情報に基づいて、俯瞰画像記憶部１４に記憶されている俯瞰画像上における自車位置を特定する。この処理は、自車の移動によって自車移動量算出部１５により算出された自車の移動方向および移動量が変化するたびに繰り返し行われる。そして、第２表示画像生成部１７は、特定した俯瞰画像上における自車位置に、自車を表すコンピュータグラフィックス等の仮想自車画像を重畳して、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の客観視画像を生成する。この第２表示画像生成部１７により生成された客観視画像は、画像出力部１８に随時供給される。
【００２３】
画像出力部１８は、自車の駐車目標位置が設定されておらず、第１表示画像生成部１６で生成されたリアルタイム画像のみが供給されているときは、このリアルタイム画像の画像信号を表示装置５に対して出力する。その後、駐車目標位置設定部１３により自車の駐車目標位置が設定されて、第１表示画像生成部１６で生成されたリアルタイム画像と第２表示画像生成部１７で生成された客観視画像とがそれぞれ供給されると、これらリアルタイム画像と客観視画像とを並べて１つの表示画像とし、この表示画像の画像信号を表示装置５に対して随時出力する。これにより、表示装置５には、自車の駐車目標位置が設定される前の時点では、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態のリアルタイム画像のみが表示され、自車の駐車目標位置が設定されると、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態のリアルタイム画像と、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の客観視画像とが並べられて同時に表示されることになる。
【００２４】
ここで、自車が並列駐車を行うシーンを想定して、表示装置５に表示される表示画像の具体例について、図５乃至図９を参照しながらさらに詳しく説明する。
【００２５】
自車の駐車目標位置が設定されていない間は、図５に示すように、自車周囲の現在の様子を表す俯瞰画像の中央に仮想自車画像Ｖを重畳したリアルタイム画像Ｐ１のみが表示装置５に表示される。この表示装置５に表示されているリアルタイム画像Ｐ１は、自車が移動すると仮想自車画像Ｖの周囲の俯瞰画像が変化し、常に自車周囲の現在の様子が表示される。
【００２６】
その後、自車のドライバが、例えば表示装置５に表示されているリアルタイム画像Ｐ１を見ながら駐車可能なスペースを見つけて、操作入力デバイス６を用いてその駐車可能スペースを駐車目標位置に設定する旨の操作入力を行うと、このドライバによる操作入力に応じてドライバが指定した位置が駐車目標位置として設定される。そして、自車の駐車目標位置が設定されると、表示装置５には、図６に示すように、自車周囲の現在の様子を表す俯瞰画像の中央に仮想自車画像Ｖを重畳したリアルタイム画像Ｐ１と、駐車目標位置が設定された時点での自車周囲の様子を表す俯瞰画像上における自車の現在位置に仮想自車画像Ｖを重畳した客観視画像Ｐ２とが並べて表示される。なお、図６に例示する表示画像は、自車の駐車目標位置が設定された直後に表示装置５に表示される画像であるため、客観視画像Ｐ２においても仮想自車画像Ｖが俯瞰画像の中央に重畳されている。
【００２７】
駐車目標位置を設定するタイミング、つまり俯瞰画像を記憶するタイミングは、設定しようとする駐車目標位置と自車との間に立体物が存在しないタイミングとすることが望ましい。これは、車載カメラ１〜４の撮影画像を座標変換することで生成される俯瞰画像では、立体物が自車から離れる方向に倒れこんだ画像となり、設定しようとする駐車目標位置と自車との間に立体物が存在するときに駐車目標位置を設定すると、倒れこんだ立体物で駐車目標位置が隠された状態の俯瞰画像を用いて客観視画像Ｐ２が生成されることになるため、自車のドライバがこの客観視画像Ｐ２を見て自車と駐車目標位置との位置関係を客観的に判断する上で障害となるからである。
【００２８】
また、リアルタイム画像Ｐ１と客観視画像Ｐ２とを並べて表示装置５に表示する場合には、図６に示すように、客観視画像Ｐ２で表示される自車周囲の領域を、リアルタイム画像Ｐ１で表示される自車周囲の領域よりも広い領域とする、つまり、俯瞰画像として映し出される自車周囲の領域の画像範囲を比べた場合、客観視画像Ｐ２の方がリアルタイム画像Ｐ１よりも広範囲となっていることが望ましい。これを実現するには、例えば、俯瞰画像を生成する際に自車周囲の広範囲の領域を含む俯瞰画像を生成しておき、客観視画像Ｐ２の生成に際してはこの広範囲の俯瞰画像をそのまま使用し、リアルタイム画像Ｐ１の生成に際しては、広範囲の俯瞰画像の中央付近を切り出して、切り出した俯瞰画像を表示サイズに合わせて拡大して使用するようにすればよい。このように、客観視画像Ｐ２で表示される自車周囲の領域が、リアルタイム画像Ｐ１で表示される自車周囲の領域よりも広い領域となるようにすれば、客観視画像Ｐ２では俯瞰画像上における仮想自車画像Ｖの表示可能範囲を大きくとることができるとともに、リアルタイム画像Ｐ１では自車近傍の様子をより詳細に確認することが可能となる。
【００２９】
自車の駐車目標位置が設定されてから自車が移動すると、表示装置５に表示される表示画像は、図６に示す画像から図７に示す画像、図８に示す画像、図９に示す画像へと遷移する。図７に示す画像は、自車の駐車目標位置が設定された位置から自車が駐車を開始する位置まで前進したときに表示装置５に表示される表示画像の例であり、図８に示す画像は、自車が駐車目標位置まで後退走行しているときに表示装置５に表示される表示画像の例であり、図９は自車が駐車目標位置に到達したときに表示装置５に表示される表示画像の例である。これら図６から図９に示す画像の遷移から分かるように、自車の駐車目標位置が設定された後は、表示装置５には、自車の移動に伴い仮想自車画像Ｖの周囲の俯瞰画像が変化する表示形態のリアルタイム画像Ｐ１と、自車の移動に伴い俯瞰画像上で仮想自車画像Ｖが動く表示形態の客観視画像Ｐ２とが並べて表示される。
【００３０】
次に、本実施形態の車両用駐車支援装置の画像処理ユニット１０による処理の一例について、図１０を参照しながら説明する。図１０は、例えば自車のドライバによる駐車ボタンの押下などにより車両用駐車支援装置が起動されてから自車の駐車動作が終了するまでの間、画像処理ユニット１０により所定周期（例えば車載カメラ１〜４の撮影周期）ごとに繰り返し実行される一連の処理の流れを示すフローチャートである。
【００３１】
図１０のフローが開始されると、画像処理ユニット１０は、まずステップＳ１において、画像入力部１１により車載カメラ１〜４の撮影画像を入力し、ステップＳ２において、俯瞰画像生成部１２により、ステップＳ１で入力した車載カメラ１〜４の撮影画像を用いて、自車周囲を自車上方の仮想視点から見下ろした俯瞰画像を生成する。そして、ステップＳ３において、第１表示画像生成部１６により、ステップＳ２で生成した俯瞰画像の中央に自車を表す仮想自車画像を重畳して、リアルタイム画像を生成する。
【００３２】
次に、ステップＳ４において、自車の駐車目標位置が既に設定されているかを判定し、自車の駐車目標位置が設定されていなければ、ステップＳ５において、駐車目標位置を設定するための自車のドライバによる操作入力がなされているかを判定する。ここで、駐車目標位置を設定するための操作入力がなされていなければ、ステップＳ６において、画像出力部１８により、ステップＳ３で生成したリアルタイム画像の画像信号を表示装置５に対して出力し、表示装置５にリアルタイム画像のみを表示させてリターンする。
【００３３】
一方、ステップＳ５で駐車目標位置を設定するための操作入力がなされていると判定されると、ステップＳ７において、駐車目標位置設定部１３により、自車のドライバによる操作入力に応じて自車の駐車目標位置を設定してステップＳ８に進む。このとき、ステップＳ２で生成された俯瞰画像が俯瞰画像記憶部１４に記憶される。
【００３４】
自車の駐車目標位置が既に設定されている場合（ステップＳ４でＹＥＳの判定）、或いはステップＳ７で駐車目標位置を新たに設定した場合には、次に、ステップＳ８において、自車移動量算出部１５により、自車の駐車目標位置が設定されてから現在に至るまでの自車の移動方向および移動量を算出し、ステップＳ９において、第２表示画像生成部１７により、ステップＳ８で算出した自車の移動方向および移動量に基づいて、俯瞰画像記憶部１４に記憶されている俯瞰画像上における自車位置を特定し、その位置に自車を表す仮想自車画像を重畳して、客観視画像を生成する。そして、ステップＳ１０において、画像出力部１８により、ステップＳ３で生成したリアルタイム画像とステップＳ１０で生成した客観視画像とを並べた表示画像の画像信号を表示装置５に対して出力し、表示画像５にリアルタイム画像と客観視画像とを並べて表示させてリターンする。
【００３５】
以上の一連の処理は、自車の駐車動作が終了するまでの間、所定周期（例えば車載カメラ１〜４の撮影周期）ごとに繰り返されて、自車の駐車動作が終了した段階で図１０のフローが終了する。なお、自車の駐車動作終了は、例えば、シフト位置センサにより自車のシフト位置がパーキングになったことを検知することで、判定できる。
【００３６】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用駐車支援装置は、自車の駐車目標位置が設定されると、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態のリアルタイム画像と、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の客観視画像とを並べて表示装置５に表示するようにしている。したがって、この車両用駐車支援装置によれば、客観視画像によって駐車時の自車の動きを自車のドライバに客観的にイメージさせつつ、リアルタイム画像によってステアリングの操作方向などを自車のドライバに直感的に把握させることができ、自車のドライバの駐車時における運転操作を極めて効果的に支援することができる。
【００３７】
また、本実施形態の車両用駐車支援装置によれば、リアルタイム画像と客観視画像とを並べて表示装置５に表示する際に、客観視画像の方がリアルタイム画像よりも自車周囲の広い範囲の領域を表示するようにしているので、客観視画像での仮想自車画像の表示可能範囲を大きくとることができるとともに、リアルタイム画像では自車近傍の様子を自車のドライバにより詳細に把握させることができる。
【００３８】
また、本実施形態の車両用駐車支援装置によれば、自車の駐車目標位置が設定される前の時点では、リアルタイム画像を表示装置５に表示するようにしているので、自車のドライバは、この表示装置５に表示されるリアルタイム画像を見ながら、自車を駐車することが可能なスペースを探すことができる。さらに、操作入力デバイス６を用いた自車のドライバの操作入力に応じて自車の駐車目標位置を設定するようにしているので、自車のドライバが望む位置に駐車目標位置を簡便に設定することができる。
【００３９】
なお、以上説明した例では、駐車目標位置の設定を操作入力デバイス６を用いた自車のドライバによる操作入力に応じて行うようにしているが、駐車目標位置は、画像処理ユニット１０において自動で設定することも可能である。例えば、自車に例えば超音波ソナーやレーザレーダ装置、ミリ波レーダ装置などの自車周囲の障害物を検出するセンサが取り付けられている場合には、画像処理ユニット１０の駐車目標位置設定部１３が、この障害物検出センサからのセンサ情報を取得して、この障害物検出センサからのセンサ情報をもとに自車周囲の駐車可能スペースを検知し、検知した駐車可能スペースを駐車目標位置として設定することができる。また、画像処理ユニット１０の駐車目標位置設定部１３が、車載カメラ１〜４の撮影画像を取り込んでこれらの画像を解析処理（例えばエッジ検出による白線認識など）することで自車周囲の駐車可能スペースを検知し、検知した駐車可能スペースを駐車目標位置として設定するようにしてもよい。
【００４０】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態は、駐車目標位置を示す枠図形や、駐車目標位置への駐車動作を開始するのに適した駐車開始位置を示す枠図形、駐車開始位置から駐車目標位置までの自車の理想進路、現在の自車のステアリング角度を維持したときの予測進路などの様々な案内情報を客観視画像上に描画して表示装置５に表示することで、駐車時における自車のドライバによる運転操作をより効果的に支援するようにしたものである。
【００４１】
図１１は、本実施形態の車両用駐車支援装置における画像処理ユニット１０の機能構成を示すブロック図である。本実施形態の車両用駐車支援装置では、図１１に示すように、画像処理ユニット１０の機能構成として、第１の実施形態で説明した構成に加えて案内情報描画部１９が付加されている。この案内情報描画部１９は、第２表示画像生成部１７により生成された客観視画像上に、駐車時における自車のドライバによる運転操作の指標となる各種の案内情報を描画する。
【００４２】
具体的には、案内情報描画部１９は、駐車目標位置設定部１３により自車の駐車目標位置が設定されると、第２表示画像生成部１７により生成された客観視画像上における駐車目標位置、すなわち、俯瞰画像記憶部１４に記憶されている俯瞰画像上における駐車目標位置を把握して、この位置に、駐車目標位置を示す枠図形（以下、駐車目標枠という。）を描画する（駐車目標位置描画手段）。また、案内情報描画部１９は、駐車目標位置設定部１３により自車の駐車目標位置が設定される前の段階で、第１表示画像生成部１６により生成されたリアルタイム画像上において、例えば、自車のドライバが操作入力デバイス６を用いて駐車目標位置の候補として指定した位置、或いは駐車目標位置設定部１３によって駐車可能スペースとして検知された位置に駐車目標枠に相当する枠図形を描画して、この位置が駐車目標位置の候補であることを自車のドライバに認識させるようにしてもよい。このとき、例えば「この位置を駐車目標位置として設定してよいですか？」といったメッセージを表示装置５に表示させたり、音声で通達することで、自車のドライバに対して駐車目標位置を設定するための操作入力を促すことが望ましい。また、例えば「表示されている枠を駐車したい位置に移動、回転させてください。」といったメッセージを表示装置５に表示させたり、音声にて出力することで、自車のドライバに所望の駐車目標位置を選択させるようにしてもよい。そして、自車のドライバが操作入力デバイス６を用いて当該位置を駐車目標位置として設定する旨の操作入力を行い、駐車目標位置設定部１３により当該位置が駐車目標位置として設定されたときに、案内情報描画部１９が、第２表示画像生成部１７により生成された客観視画像上における駐車目標位置に、駐車目標枠を描画する。
【００４３】
また、案内情報描画部１９は、駐車目標位置設定部１３により自車の駐車目標位置が設定されると、操舵角センサからの舵角信号をモニタリングして自車の現在のステアリング操舵角を把握し、自車の現在のステアリング操舵角に基づいて、駐車目標位置への駐車動作を開始するのに適した駐車開始位置を求める。この駐車開始位置は、例えば、自車の現在のステアリング操舵角を維持したまま到達できる位置であって、且つ、その位置でステアリングを切り返して駐車動作を開始すれば駐車目標位置までステアリング操舵角を一定に保ったまま到達できる位置である。そして、案内情報描画部１９は、第２表示画像生成部１７により生成された客観視画像上における駐車開始位置に、駐車開始位置を示す枠図形（以下、駐車開始枠という。）を描画する（駐車開始位置描画手段）。
【００４４】
また、案内情報描画部１９は、自車が駐車開始位置に到達すると、この駐車開始位置から駐車目標位置までの自車の理想進路を求める。この理想進路は、例えば、駐車開始位置から駐車目標位置までステアリング操舵角を一定に保ったままで到達する進路である。そして、案内情報描画部１９は、第２表示画像生成部１７により生成された客観視画像上に、この理想進路を描画する（理想進路描画手段）。さらに、案内情報描画部１９は、自車が駐車開始位置に到達すると、操舵角センサからの舵角信号をモニタリングして自車の現在のステアリング操舵角を把握し、自車の現在のステアリング操舵角を維持した場合の予測進路を求めて、この予測進路を第２表示画像生成部１７により生成された客観視画像上に描画する（予測進路描画手段）。なお、自車の理想進路は駐車開始位置からステアリング操舵角一定で目標駐車位置に到達する進路であり、自車の予測進路は自車の現在のステアリング操舵角を維持した場合の進路であるので、自車が駐車開始位置に到達したときに自車のドライバがステアリングを最適な操舵角となるように切り返しを行えば、客観視画像上における予測進路が理想進路と重なることになる。
【００４５】
本実施形態では、駐車目標位置設定部１３により自車の駐車目標位置が設定されて、第２表示画像生成部１７により客観視画像が生成されると、この客観視画像上に案内情報描画部１９によって以上のような各種案内情報が描画される。そして、第１表示画像生成部１６で生成されたリアルタイム画像と、第２表示画像生成部１７で生成されて案内情報描画部１９により各種の案内情報が描画された客観視画像とが並べられた表示画像の画像信号が、画像出力部１８から表示装置５に対して随時出力される。これにより、表示装置５には、リアルタイム画像と、各種の案内情報が描画された客観視画像とが並べられて同時に表示されることになる。
【００４６】
ここで、第１の実施形態で例示した並列駐車のシーンを想定して、本実施形態の車両用駐車支援装置において表示装置５に表示される表示画像の具体例について、図１２乃至図１５を参照しながらさらに詳しく説明する。
【００４７】
本実施形態では、自車の駐車目標位置が設定されると、表示装置５には、図１２に示すように、リアルタイム画像Ｐ１と、駐車目標位置を示す駐車目標枠Ｆ１および駐車開始位置を示す駐車開始枠Ｆ２が描画された客観視画像Ｐ２とが並べて表示される。なお、客観視画像Ｐ２上の駐車目標枠Ｆ１と駐車開始枠Ｆ２とは、両者を明確に区別できるように互いに異なる表示色で表示したり、駐車目標枠Ｆ１のみ枠内を着色するといったように、互いの表示形態を異ならせることが望ましい。また、自車の駐車目標位置が設定されて表示装置５に図１２に示すような表示画像を表示する際には、例えば「表示されている赤色の枠（駐車開始枠Ｆ２）に自車を移動させてください」といったメッセージを表示装置５に合わせて表示させたり、音声にて出力することによって、自車を駐車開始位置へと誘導することが望ましい。
【００４８】
その後、自車が駐車開始位置に向かって移動すると、客観視画像Ｐ２上の仮想自車画像Ｖが自車の移動に伴って移動し、自車が駐車開始位置に到達すると、図１３に示すように、客観視画像Ｐ２上に描画された駐車開始枠Ｆ２と仮想自車画像Ｖとが重なる。このとき、例えば客観視画像Ｐ２上の駐車開始枠Ｆ２を強調表示することで、自車が駐車開始位置に到達したこと、すなわち駐車動作に移る必要があることを自車のドライバに対して認識させることが望ましい。また、例えば「駐車開始位置に到達しました。シフトレバーをリバースに入れてください」といったメッセージを表示装置５に合わせて表示させたり、音声にて出力することによって、駐車動作の開始を促すようにしてもよい。
【００４９】
また、例えば、シフト位置センサにより自車のシフト位置がリバースになったことを検知するなど、駐車動作の開始が検知されると、駐車目標位置までの理想進路および現在のステアリング操舵角に応じた予測進路の算出が行われ、表示装置５には、図１４に示すように、駐車目標位置Ｆ１に加えて理想進路Ｌ１および予測進路Ｌ２が描画された客観視画像Ｐ２が、リアルタイム画像Ｐ１と並べて表示される。このとき、例えば「停止した状態でステアリングを回して、ピンク色の破線（理想進路Ｌ１）に橙色の破点線（予測進路Ｌ２）を合わせてください。その後、ハンドルを固定したままで後退してください。」といったメッセージを表示装置５に合わせて表示させたり、音声にて出力することによって、自車を駐車開始位置から駐車目標位置へと誘導することが望ましい。なお、客観視画像Ｐ２上の駐車開始枠Ｆ２の描画は、自車が駐車動作を開始した段階で終了する。
【００５０】
その後、自車が駐車開始位置から駐車目標位置に向かって移動すると、客観視画像Ｐ２上の仮想自車画像Ｖが自車の移動に伴って移動し、自車が駐車開始位置に到達すると、図１５に示すように、客観視画像Ｐ２上に描画された駐車目標枠Ｆ１と仮想自車画像Ｖとが重なる。これにより、自車のドライバは、駐車が完了したことを認識できる。また、例えば「駐車完了です。お疲れ様です。」といったメッセージを表示装置５に合わせて表示させたり、音声にて出力することによって、駐車動作の完了を自車のドライバに認識させるようにしてもよい。
【００５１】
次に、本実施形態の車両用駐車支援装置の画像処理ユニット１０による処理の一例について、図１６を参照しながら説明する。図１６は、例えば自車のドライバによる駐車ボタンの押下などにより車両用駐車支援装置が起動されてから自車の駐車動作が終了するまでの間、画像処理ユニット１０により所定周期（例えば車載カメラ１〜４の撮影周期）ごとに繰り返し実行される一連の処理の流れを示すフローチャートである。なお、図１６のフローにおけるステップＳ１１〜ステップＳ１９は、第１の実施形態で説明した図１０のフローにおけるステップＳ１〜ステップＳ９と同じである。
【００５２】
すなわち、本実施形態の車両用駐車支援装置においても、画像処理装置１０は、自車の駐車目標位置が設定されるまでの間は、現時点で生成された俯瞰画像の中央に仮想自車画像を重畳したリアルタイム画像のみを表示装置５に表示させる（ステップＳ１１〜ステップＳ１６）。そして、自車の駐車目標位置が設定されると、その時点で生成した俯瞰画像を記憶して（ステップＳ１７）、その後は、駐車目標位置が設定されてからの自車の移動方向および移動量を算出して（ステップＳ１８）、駐車目標位置が設定された時点で生成した俯瞰画像上の自車位置に仮想自車画像を重畳した客観視画像を生成する（ステップＳ１９）。
【００５３】
その後、本実施形態では、案内情報描画部１９により、ステップＳ１９で生成した客観視画像上に各種の案内情報を描画する。すなわち、案内情報描画部１９は、まずステップＳ２０において、ステップＳ１９で生成した客観視画像上に駐車目標位置を示す駐車目標枠を描画する。また、自車が駐車動作を開始する前であれば（ステップＳ２１でＮＯの判定）、案内情報描画部１９は、駐車目標位置への駐車動作を開始するのに適した駐車開始位置を求めて、ステップＳ１９で生成した客観視画像上に駐車開始位置を示す駐車開始枠を描画する。一方、自車が駐車開始位置に到達して駐車動作を開始した後であれば（ステップＳ２１でＹＥＳの判定）、案内情報描画部１９は、自車が駐車目標位置に到達するまで（ステップＳ２３でＮＯの判定）、駐車開始位置から駐車目標位置までの自車の理想進路および自車の現在のステアリング操舵角を維持したときの予測進路を求めて、ステップＳ１９で生成した客観視画像上に自車の理想進路および予測進路を描画する（ステップＳ２４）。
【００５４】
そして、ステップＳ２５において、画像出力部１８により、ステップＳ３で生成したリアルタイム画像と各種の案内情報を描画した客観視画像とを並べた表示画像の画像信号を表示装置５に対して出力し、表示画像５にリアルタイム画像と各種の案内情報を描画した客観視画像とを並べて表示させてリターンする。
【００５５】
以上の一連の処理は、自車の駐車動作が終了するまでの間、所定周期（例えば車載カメラ１〜４の撮影周期）ごとに繰り返されて、自車の駐車動作が終了した段階で図１６のフローが終了する。なお、自車の駐車動作終了は、例えば、シフト位置センサにより自車のシフト位置がパーキングになったことを検知することで、判定できる。
【００５６】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用駐車支援装置によれば、自車の駐車目標位置が設定されると、第１の実施形態と同様に、自車の移動に伴い仮想自車画像の周囲の俯瞰画像が変化する表示形態のリアルタイム画像と、自車の移動に伴い俯瞰画像上で仮想自車画像が動く表示形態の客観視画像とを表示装置５に並べて表示するようにしているので、客観視画像によって駐車時の自車の動きを自車のドライバに客観的にイメージさせつつ、リアルタイム画像によってステアリングの操作方向などを自車のドライバに直感的に把握させることができ、自車のドライバの駐車時における運転操作を極めて効果的に支援することができる。
【００５７】
また、本実施形態の車両用駐車支援装置によれば、駐車目標位置を示す駐車目標枠、駐車目標位置への駐車動作を開始するのに適した駐車開始位置を示す駐車開始枠、駐車開始位置から駐車目標位置までの自車の理想進路、現在の自車のステアリング操舵角を維持したときの自車の予測進路など、自車のドライバによる運転操作の指標となる各種の案内情報を客観視画像上に描画して表示装置５に表示するようにしているので、自車のドライバの駐車時における運転操作をさらにきめ細かく支援することができる。
【００５８】
以上、本発明を適用した車両用駐車支援装置の具体例として第１および第２の実施形態を例示して説明したが、以上の各実施形態は本発明の一適用例であり、本発明の技術的範囲が以上の各実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の各実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。
【図面の簡単な説明】
【００５９】
【図１】本発明を適用した車両用運転支援装置の概略構成を示すブロック図である。
【図２】４つの車載カメラの取り付け位置及び各車載カメラが撮影する領域を説明する図である。
【図３】第１の実施形態の車両用駐車支援装置における画像処理ユニットの機能構成を示すブロック図である。
【図４】俯瞰画像を生成する処理の概要を説明する図である。
【図５】駐車目標位置が設定される前の時点で表示装置に表示される画像の一例を示す図である。
【図６】駐車目標位置が設定された時点で表示装置に表示される画像の一例を示す図である。
【図７】駐車目標位置が設定された後、自車が移動したときに表示装置に表示される画像の一例を示す図である。
【図８】自車が駐車目標位置に向かって駐車動作を行っているときに表示装置に表示される画像の一例を示す図である。
【図９】自車が駐車目標位置に到達した時点で表示装置に表示される画像の一例を示す図である。
【図１０】第１の実施形態の車両用駐車支援装置の画像処理ユニットにより所定周期ごとに繰り返し実行される一連の処理の流れを示すフローチャートである。
【図１１】第２の実施形態の車両用駐車支援装置における画像処理ユニットの機能構成を示すブロック図である。
【図１２】第２の実施形態の車両用駐車支援装置において、駐車目標位置が設定された時点で表示装置に表示される画像の一例を示す図である。
【図１３】第２の実施形態の車両用駐車支援装置において、自車が駐車開始位置に到達した時点で表示装置に表示される画像の一例を示す図である。
【図１４】第２の実施形態の車両用駐車支援装置において、自車が駐車動作を開始する時点で表示装置に表示される画像の一例を示す図である。
【図１５】第２の実施形態の車両用駐車支援装置において、自車が駐車目標位置に到達した時点で表示装置に表示される画像の一例を示す図である。
【図１６】第１の実施形態の車両用駐車支援装置の画像処理ユニットにより所定周期ごとに繰り返し実行される一連の処理の流れを示すフローチャートである。
【符号の説明】
【００６０】
１  フロントカメラ
２  リアカメラ
３  右サイドカメラ
４  左サイドカメラ
５  表示装置
６  操作入力デバイス
７  車載センサ
１１  画像入力部
１０  画像処理ユニット
１２  俯瞰画像生成部
１３  駐車目標位置設定部
１４  俯瞰画像記憶部
１５  自車移動量算出部
１６  第１表示画像生成部
１７  第２表示画像生成部
１８  画像出力部
１９  案内情報描画部
【図１】
0005067169.tif 000002
【図２】
0005067169.tif 000003
【図３】
0005067169.tif 000004
【図４】
0005067169.tif 000005
【図５】
0005067169.tif 000006
【図６】
0005067169.tif 000007
【図７】
0005067169.tif 000008
【図８】
0005067169.tif 000009
【図９】
0005067169.tif 000010
【図１０】
0005067169.tif 000011
【図１１】
0005067169.tif 000012
【図１２】
0005067169.tif 000013
【図１３】
0005067169.tif 000014
【図１４】
0005067169.tif 000015
【図１５】
0005067169.tif 000016
【図１６】
0005067169.tif 000017