(57)【特許請求の範囲】
【請求項１】
車両の運転操作を支援する運転支援方法において、
前記車両に設けられた撮像装置により前記車両の基準位置で撮像された基準画像データを、その基準画像データが撮像されたときの前記車両の座標及び方位と関連付けて合成用メモリ領域に記憶し、
前記撮像装置により前記基準位置とは異なる新たな位置で撮像された新規画像データを、その新規画像データが撮像されたときの前記車両の座標及び方位と関連付けて記憶し、
前記基準画像データを撮像したときの方位と前記新規画像データを撮像したときの方位との相対方位に基づき、前記新規画像データを回転変換処理して回転画像データを生成し、
前記基準画像データを撮像したときの座標と前記新規画像データを撮像したときの座標との相対座標に基づき、前記回転画像データを前記合成用メモリ領域のうち対応する領域に記憶し、
前記合成用メモリ領域に記憶した画像を用いて運転支援画像データを生成し、その運転支援画像データを表示手段に出力することを特徴とする運転支援方法。
【請求項２】
車両に搭載された運転支援装置において、
前記車両の位置として前記車両の座標及び方位を検出する位置検出手段と、
前記車両の基準位置を設定する基準位置設定手段と、
前記車両に設けられ、画像データを撮像する撮像手段と、
前記基準位置で撮像された基準画像データを、その基準画像データが撮像されたときの前記車両の座標及び方位と関連付けて合成用メモリ領域に記憶する第１記憶手段と、
前記基準位置とは異なる新たな位置で撮像された新規画像データを、その新規画像データが撮像されたときの前記車両の座標及び方位と関連付けて記憶する第２記憶手段と、
前記基準画像データを撮像したときの方位と前記新規画像データを撮像したときの方位との相対方位に基づき、前記新規画像データに回転変換処理を行って、回転画像データを生成する第１画像処理手段と、
前記基準画像データを撮像したときの座標と前記新規画像データを撮像したときの座標との相対座標に基づき、前記回転画像データを前記合成用メモリ領域のうち対応する領域に記憶する画像データ記憶手段と、
前記画像データ記憶手段に記憶された画像を用いて、運転支援画像データを生成する第２画像処理手段と、
前記運転支援画像データを表示手段に出力する出力制御手段と
を備えたことを特徴とする運転支援装置。
【請求項３】
請求項２に記載の運転支援装置において、
前記基準位置設定手段は、前記基準画像データが撮像されたときの座標と前記新規画像データが撮像されたときの座標との相対座標が所定範囲外に到達した場合に、新たな基準位置を設定することを特徴とする運転支援装置。
【請求項４】
請求項２に記載の運転支援装置において、
前記基準位置設定手段は、前記車両が前記基準位置から所定距離移動した際に、新たな前記基準位置を設定することを特徴とする運転支援装置。
【請求項５】
請求項３又は４に記載の運転支援装置において、
前記第１画像処理手段は、前記基準位置設定手段が新たな前記基準位置を設定した場合に、蓄積された前記回転画像データに対し、新たに設定された基準位置に合わせて幾何学的変換を行うことを特徴とする運転支援装置。
【請求項６】
請求項２〜５のいずれか１項に記載の運転支援装置において、
前記第２画像処理手段は、前記運転支援画像データを生成する際に、前記画像データ記憶手段に記憶された画像を、そのときの前記車両の位置に合わせて回転変換処理して合成データを生成し、該合成データを用いて前記運転支援画像データを生成することを特徴とする運転支援装置。
【請求項７】
請求項２〜６のいずれか１項に記載の運転支援装置において、
前記撮像手段により撮像された前記画像データを俯瞰変換する第３画像処理手段をさらに設けたことを特徴とする運転支援装置。
【請求項８】
車両に設けられた運転支援装置の制御手段に運転支援を実行させるための運転支援プログラムであって、
前記車両には、該車両の位置としてその座標及び方位を検出する位置検出手段と、画像データを撮像する撮像手段と、運転支援画像を表示する表示手段とが搭載されており、
前記制御手段を、
前記車両の基準位置を設定する基準位置設定手段と、
前記基準位置で撮像された基準画像データを、その基準画像データが撮像されたときの前記車両の座標及び方位と関連付けて合成用メモリ領域に記憶する第１記憶手段と、
前記基準位置とは異なる新たな位置で撮像された新規画像データを、その新規画像データが撮像されたときの前記車両の座標及び方位と関連付けて記憶する第２記憶手段と、
前記基準画像データを撮像したときの方位と前記新規画像データを撮像したときの方位との相対方位に基づき、前記新規画像データに回転変換処理を行って、回転画像データを生成する第１画像処理手段と、
前記基準画像データを撮像したときの座標と前記新規画像データを撮像したときの座標との相対座標に基づき、前記回転画像データを前記合成用メモリ領域のうち対応する領域に記憶する画像データ記憶手段と、
前記画像データ記憶手段に記憶された画像を用いて、運転支援画像データを生成する第２画像処理手段と、
前記運転支援画像データを表示手段に出力する出力制御手段と、
として機能させることを特徴とする運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援方法、運転支援装置及び運転支援プログラムに関する。
【背景技術】
【０００２】
従来より、安全運転を支援する装置として、車両周辺の背景画像をディスプレイに表示するナビゲーション装置が知られている。この装置は、車両後端に取り付けられた車載カメラから映像信号を入力し、その映像信号に基づく背景画像を運転席近傍に配設されたディスプレイに出力する。
【０００３】
また、特許文献１には、駐車操作時に、車載カメラから入力した画像データを蓄積するとともに、蓄積した画像データを用いて画像処理を行い、車両周辺領域を俯瞰した俯瞰画像を表示する画像処理装置が提案されている。また、画像処理装置は、現時点の車両の舵角に合わせて、メモリに蓄積した画像データを回転処理する。ドライバーは、俯瞰画像を視認することによって、駐車目標領域に対する自車両の相対位置・相対方向を把握する。
【特許文献１】特開２００２−３７３３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、蓄積した画像データを繰り返し用いる場合、蓄積した画像データを繰り返し回転処理することによって画質低下を招くことがある。即ち、画像データを蓄積する際には、例えば図１９（ａ）に示すように、取得した画像データＧａを俯瞰変換し、合成用メモリ領域６０のうち、俯瞰変換した画像データＧａを対応する画素領域６１ｉに書き込む。次に新たな画像データＧｂを取得すると、図１９（ｂ）に示すように、同じように俯瞰変換して、車載カメラの撮像範囲に対応する画素領域６１ｉを上書きする。このとき、前回取得した画像データＧａは、車両の現在位置及び舵角に応じて回転処理又は移動処理され、新たな画素座標６１ｊが上書きされる。
【０００５】
このように画像データの蓄積処理が繰り返し行われると、過去に撮像された画像データほど、回転処理が施される回数が多くなる。上記した合成手順に限らず、車両の旋回に従い画像データの回転処理を繰り返すと、フィルタや回転処理の誤差等が累積され、駐車目標領域を区画する白線が段差状に表示されたり、画像にノイズが生じてしまい、上記したように画質が低下したり、俯瞰画像上で自車位置を正確に表示できない問題が生じる。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、良好な画質の画像を表示することができる運転支援方法、運転支援装置及び運転支援プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記問題点を解決するために、請求項１に記載の発明は、車両の運転操作を支援する運転支援方法において、前記車両に設けられた撮像装置により前記車両の基準位置で撮像された基準画像データを、その基準画像データが撮像されたときの前記車両の座標及び方位と関連付けて合成用メモリ領域に記憶し、前記撮像装置により前記基準位置とは異なる新たな位置で撮像された新規画像データを、その新規画像データが撮像されたときの前記車両の座標及び方位と関連付けて記憶し、前記基準画像データを撮像したときの方位と前記新規画像データを撮像したときの方位との相対方位に基づき、前記新規画像データを回転変換処理して回転画像データを生成し、前記基準画像データを撮像したときの座標と前記新規画像データを撮像したときの座標との相対座標に基づき、前記回転画像データを前記合成用メモリ領域のうち対応する領域に記憶し、前記合成用メモリ領域に記憶した画像を用いて運転支援画像データを生成し、その運転支援画像データを表示手段に出力することを要旨とする。
【０００８】
請求項２に記載の発明は、車両に搭載された運転支援装置において、車両に搭載された運転支援装置において、前記車両の位置として前記車両の座標及び方位を検出する位置検出手段と、前記車両の基準位置を設定する基準位置設定手段と、前記車両に設けられ、画像データを撮像する撮像手段と、前記基準位置で撮像された基準画像データを、その基準画像データが撮像されたときの前記車両の座標及び方位と関連付けて合成用メモリ領域に記憶する第１記憶手段と、前記基準位置とは異なる新たな位置で撮像された新規画像データを、その新規画像データが撮像されたときの前記車両の座標及び方位と関連付けて記憶する第２記憶手段と、前記基準画像データを撮像したときの方位と前記新規画像データを撮像したときの方位との相対方位に基づき、前記新規画像データに回転変換処理を行って、回転画像データを生成する第１画像処理手段と、前記基準画像データを撮像したときの座標と前記新規画像データを撮像したときの座標との相対座標に基づき、前記回転画像データを前記合成用メモリ領域のうち対応する領域に記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像を用いて、運転支援画像データを生成する第２画像処理手段と、前記運転支援画像データを表示手段に出力する出力制御手段とを備えたことを要旨とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の運転支援装置において、前記基準画像データが撮像されたときの座標と前記新規画像データが撮像されたときの座標との相対座標が所定範囲外に到達した場合に、新たな基準位置を設定することを要旨とする。
【００１１】
請求項４に記載の発明は、請求項２に記載の運転支援装置において、前記基準位置設定手段は、前記車両が前記基準位置から所定距離移動した際に、新たな前記基準位置を設定することを要旨とする。
【００１２】
請求項５に記載の発明は、請求項３又は４に記載の運転支援装置において、前記第１画像処理手段は、前記基準位置設定手段が新たな前記基準位置を設定した場合に、蓄積された前記回転画像データに対し、新たに設定された基準位置に合わせて幾何学的変換を行うことを要旨とする。
【００１３】
請求項６に記載の発明は、請求項２〜５のいずれか１項に記載の運転支援装置において、前記第２画像処理手段は、前記運転支援画像データを生成する際に、前記画像データ記憶手段に記憶された画像を、そのときの前記車両の位置に合わせて回転変換処理して合成データを生成し、該合成データを用いて前記運転支援画像データを生成することを要旨とする。
【００１４】
請求項７に記載の発明は、請求項２〜６のいずれか１項に記載の運転支援装置において、前記撮像手段により撮像された前記画像データを俯瞰変換する第３画像処理手段をさらに設けたことを要旨とする。
請求項８に記載の発明は、車両に設けられた運転支援装置の制御手段に運転支援を実行させるための運転支援プログラムであって、前記車両には、該車両の位置としてその座標及び方位を検出する位置検出手段と、画像データを撮像する撮像手段と、運転支援画像を表示する表示手段とが搭載されており、前記制御手段を、前記車両の基準位置を設定する基準位置設定手段と、前記基準位置で撮像された基準画像データを、その基準画像データが撮像されたときの前記車両の座標及び方位と関連付けて合成用メモリ領域に記憶する第１記憶手段と、前記基準位置とは異なる新たな位置で撮像された新規画像データを、その新規画像データが撮像されたときの前記車両の座標及び方位と関連付けて記憶する第２記憶手段と、前記基準画像データを撮像したときの方位と前記新規画像データを撮像したときの方位との相対方位に基づき、前記新規画像データに回転変換処理を行って、回転画像データを生成する第１画像処理手段と、前記基準画像データを撮像したときの座標と前記新規画像データを撮像したときの座標との相対座標に基づき、前記回転画像データを前記合成用メモリ領域のうち対応する領域に記憶する画像データ記憶手段と、前記画像データ記憶手段に記憶された画像を用いて、運転支援画像データを生成する第２画像処理手段と、前記運転支援画像データを表示手段に出力する出力制御手段と、として機能させることを要旨とする。
【発明の効果】
【００１５】
請求項１に記載の発明によれば、車両の基準位置を設定し、その基準位置とは異なる新たな位置で撮像された新規画像データに対し回転変換処理を行って回転画像データを生成する。そして、それらの画像を用いて運転支援画像データを生成し、表示手段に出力するようにした。このため、画像データ入力の度に回転変換処理を繰り返すことなく、回転変換処理回数を最低限に留めることができるので、画質の低下を抑制することができる。
【００１６】
請求項２に記載の発明によれば、画像データを入力した際、基準画像データが撮像されたときの方位と新規画像データが撮像されたときの方位との相対方位に基づき、新規画像データに対し回転変換処理を行って、その回転画像データを、合成用メモリ領域のうち対応する領域に記憶するようにした。そして、その画像を用いて運転支援画像データを表示手段に出力するようにした。このため、画像データ入力の度に回転変換処理を繰り返すことなく、回転変換処理の回数を最低限に留めることができるので、画質の低下を抑制することができる。
【００１８】
請求項３に記載の発明によれば、基準画像データが撮像されたときの座標と新規画像データが撮像されたときの座標との相対座標が所定範囲外に到達した場合に、新たな基準位置を設定する。このため、メモリ領域を増大させることなく、限られたメモリ領域を有効利用することができる。
【００１９】
請求項４に記載の発明によれば、車両が基準位置から所定距離移動した際に、新たな基準位置を設定する。このため、メモリ領域の増大を防止できる。
請求項５に記載の発明によれば、第１画像処理手段により、基準位置が変更された場合に、それまで蓄積された回転画像データに対し、新たな基準位置に合わせて幾何学的変換を行う。このため、既に蓄積した回転画像データを破棄せずに、利用することができる。
【００２０】
請求項６に記載の発明によれば、運転支援画像データを生成する際に、そのときの車両の位置に合わせて回転変換処理される。このため、ドライバーが直感的に理解しやすい画像を表示することができる。
【００２１】
請求項７に記載の発明によれば、車両周辺を俯瞰した俯瞰画像を表示することができる。
請求項８に記載の発明によれば、運転支援装置の制御手段に対して、回転変換処理の回数を最低限に留め、画質の低下を抑制させた処理を実行させることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を具体化した一実施形態を図１〜図１８に従って説明する。図１は、自動車に実装された駐車支援システム１の構成を説明するブロック図である。
図１に示すように、駐車支援システム１は、運転支援装置としての駐車支援ユニット２、各種画面を表示する表示手段としてのディスプレイ２２、警告音又は案内音声を出力するスピーカ２５、及び撮像装置としてのバックモニタカメラ（以下、単にカメラ３５という）を備えている。図２に示すように、カメラ３５は、車両Ｃのバックドア等、車両後端ＣＢに光軸を斜め下方に向けて取り付けられている。このカメラ３５は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）とを備え、車両後方を撮像範囲Ｚとしている。
【００２３】
図１に示すように、駐車支援ユニット２の位置検出手段としての制御部１０は、図示しないコンピュータを備え、ＲＯＭ１２に格納された運転支援プログラムに従って、各処理の主制御を行う。メインメモリ１１は、制御部１０の演算結果を一時記憶するとともに、駐車支援のための各種変数及びフラグ等を記憶している。
【００２４】
ＲＯＭ１２には、運転支援プログラムの他、駐車支援システム１が搭載された車両Ｃをディスプレイ２２に描画するための車両画像データ１２ａが格納されている。この車両画像データ１２ａは、車両Ｃを鉛直方向上方から俯瞰した画像を表示するためのデータである。
【００２５】
また、駐車支援ユニット２は、ＧＰＳ受信部１３を備えている。制御部１０は、ＧＰＳ受信部１３が受信したＧＰＳ衛星からの信号に基づき、電波航法によって、駐車支援システム１が搭載された車両Ｃの絶対座標を算出する。
【００２６】
さらに、駐車支援ユニット２は、検出手段を構成する車両側インターフェース部（車両側Ｉ／Ｆ部１５）を備えている。制御部１０は、この車両側Ｉ／Ｆ部１５を介して、車両Ｃに設けられた車速センサ３０及びジャイロ３１から、車速パルスＶＰ及び方位検出信号ＧＲＰを入力する。制御部１０は、車速パルスＶＰの入力パルス数により、基準位置からの車両Ｃの移動量を算出する。さらに、制御部１０は、入力した方位検出信号ＧＲＰに基づき、メインメモリ１１に記憶された変数である、現在方位ＧＲを更新する。
【００２７】
さらに、制御部１０は、車両側Ｉ／Ｆ部１５を介して、ステアリング舵角センサ３２か
ら、ステアリングセンサ信号ＳＴＰを入力する。制御部１０は、このステアリングセンサ信号ＳＴＰに基づき、メインメモリ１１に格納された車両Ｃの現在舵角ＳＴＲを更新する。また、制御部１０は、車両側Ｉ／Ｆ部１５を介して、車両Ｃのニュートラルスタートスイッチ３３から、シフトポジション信号ＳＰＰを入力し、メインメモリ１１に格納された変数であるシフトポジションＳＰを更新する。
【００２８】
また、駐車支援ユニット２は、画像データ入力手段としての画像データ入力部１６及び基準位置設定手段、第１画像処理手段、第２画像処理手段、出力制御手段及び第３画像処理手段としての画像プロセッサ２０を備えている。画像データ入力部１６は、制御部１０の主制御により、カメラ３５を駆動制御し、画像データＧを入力する。画像プロセッサ２０は、カメラ３５から入力した画像データＧに対し、画像処理等を行う。
【００２９】
駐車操作時に、車両Ｃが後退を始めると、制御部１０は、画像データ入力部１６を介して、カメラ３５から、図３（ａ）に模式的に示すような画像データＧを所定の間隔でキャプチャする。さらに、画像プロセッサ２０は、図３（ｂ）に示すように、画像データＧを公知の方法で俯瞰変換する。これにより、車両Ｃの後方周辺を鉛直方向上方に設定された視点から俯瞰した記録画像データＧ１が生成される。
【００３０】
記録画像データＧ１を生成すると、画像プロセッサ２０は、制御部１０を介して、車両Ｃの現在位置及び方位を取得する。そして、図４に示すように、これらのデータを座標データ４３及び舵角データ４４からなる位置データ４５として、記録画像データＧ１に関連付けて、駐車支援ユニット２が備える画像データ記憶手段としての画像メモリ１７（図１参照）のうち、画像メモリ領域１８に記憶する。尚、座標データ４３及び舵角データ４４は、図４のように記録画像データＧ１に添付されても良いし、座標データ４３及び舵角データ４４からなるマップと、記録画像データＧ１をヘッダ等により紐付けしてもよい。
【００３１】
また、画像プロセッサ２０は、予め定めた基準位置と、位置データ４５とを比較して、その相対位置（相対データ）に基づき、記録画像データＧ１に対し幾何学的変換（画像処理）を行って、画像メモリ１７の合成用メモリ領域１９（図１参照）の対応する領域に上書きして、合成する。具体的には、画像プロセッサ２０は、幾何学的変換として、車両Ｃの舵角に応じた回転処理（回転変換）、相対距離に基づく移動処理（平行移動）を行う。
【００３２】
さらに、画像プロセッサ２０は、この処理と並行して、駐車支援画面を生成する処理を行う。この処理では、合成用メモリ領域１９の所定の記録画像データＧ１と、カメラ３５から取得した最新の画像データＧ（以下、現在画像データＧ４という）とを用い、現在のカメラ３５の死角を含む車両周辺の俯瞰画像を表示するための合成データを生成する。そして、その合成データをＶＲＡＭ２１（図１参照）に一時記憶し、所定のタイミングでディスプレイ２２に出力する。
【００３３】
各種画像が表示されるディスプレイ２２は、タッチパネルであって、このタッチパネルや、ディスプレイ２２に隣設された操作スイッチ２６（図１参照）がユーザにより入力操作されると、駐車支援ユニット２の外部入力インターフェース部（以下、外部入力Ｉ／Ｆ部２３という）が、入力操作に応じた入力信号を制御部１０に対して出力する。
【００３４】
また、図１に示すように、駐車支援ユニット２は、音声プロセッサ２４を備えている。音声プロセッサ２４は、音声ファイルを格納した図示しないメモリやデジタル／アナログ変換器等を備え、その音声ファイルを使用して、駐車支援システム１が具備するスピーカ２５から案内音声や警告音を出力する。
【００３５】
次に、本実施形態の処理手順について、図５及び図６に従って説明する。まず、制御部
１０は、図示しない車両Ｃのイグニッションモジュールからオン信号を入力すると、ＲＯＭ１２に記憶された運転支援プログラムに従って、画像メモリ１７のクリア等、システムの初期化を行う（ステップＳ１−１）。そして、運転支援処理の開始トリガの入力を待つ（ステップＳ１−２）。本実施形態では、開始トリガは、ニュートラルスタートスイッチ３３から出力された、リバースを示すシフトポジション信号ＳＰＰである。
【００３６】
車両Ｃが後退することによって、開始トリガを入力すると（ステップＳ１−２においてＹＥＳ）、制御部１０は、開始トリガを入力したときの車両Ｃの位置を基準位置Ｓ１として設定する（ステップＳ１−３）。
【００３７】
そして、制御部１０は、画像データ入力部１６を介してカメラ３５を制御し、基準位置Ｓ１で撮像された画像データＧを入力する（ステップＳ１−４）。基準位置Ｓ１で撮像された画像データＧを入力すると、画像プロセッサ２０は、その画像データＧを図３（ｂ）に模式的に示すような記録画像データＧ１に、公知の画像処理方法によって俯瞰変換する（ステップＳ１−５）。俯瞰変換を行うと、画像プロセッサ２０は、制御部１０を介して、基準位置Ｓ１を示す座標データ４３及び舵角データ４４と、記録画像データＧ１を関連付けて、画像メモリ１７のうち画像メモリ領域１８に記憶する（ステップＳ１−６）。
【００３８】
また、画像プロセッサ２０は、基準位置Ｓ１の記録画像データＧ１を、画像メモリ１７のうち合成用メモリ領域１９に記憶する（ステップＳ１−７）。詳述すると、図７に示すように、合成用メモリ領域１９のうち、車両Ｃの基準位置Ｓ１での撮像範囲Ｚ１に対応する画素領域Ｒ１に、記録画像データＧ１を記憶する。このように、基準位置Ｓ１で撮像された記録画像データＧ１が合成用メモリ領域１９に書き込まれ、合成されると、図６に示す処理に進む。
【００３９】
図６に示す処理手順は、２回目以降の記録画像データＧ１の記憶及び合成処理の手順である。まず制御部１０は、車速パルスＶＰ及びステアリングセンサ信号ＳＴＰに基づき、位置データ４５を取得する（ステップＳ２−１）。そして、画像をキャプチャするタイミングであるか否かを判断する（ステップＳ２−２）。本実施形態では、制御部１０は、メインメモリ１１に記憶したパルスカウンタに、基準位置Ｓ１を設定した時点からの車速パルスＶＰの入力パルス数を累積し、累積パルス数が所定数になったときを画像キャプチャのタイミングであると判断する。即ち車両Ｃが、例えば数百ｍｍ等、所定距離Ｄ１だけ後退する度に画像をキャプチャする。ここでは基準位置Ｓ１から進行方向（後退方向）において所定距離Ｄ１後方の第１キャプチャ位置Ｐ１（図示略）に到達したとき、画像をキャプチャするタイミングであると判断して（ステップＳ２−２においてＹＥＳ）、ステップＳ２−３に進む。基準位置Ｓ１から進行方向において所定距離Ｄ１後方の第１キャプチャ位置Ｐ１に到達していない場合には（ステップＳ２−２においてＮＯ）、到達するまで判断を繰り返す。
【００４０】
ステップＳ２−３では、制御部１０は画像データ入力部１６を介して、カメラ３５から新たな画像データＧを入力する。画像データＧを入力すると、制御部１０は、メインメモリ１１に記憶されたパルスカウンタのカウンタ値をリセットして初期値に戻す（ステップＳ２−４）。また、画像プロセッサ２０はその画像データＧを俯瞰変換して記録画像データＧ１を生成し（ステップＳ２−５）、座標データ４３及び舵角データ４４からなる位置データ４５を、記録画像データＧ１に関連付けて画像メモリ１７に記憶する（ステップＳ２−６）。
【００４１】
さらに、画像プロセッサ２０は、生成した記録画像データＧ１を、基準位置Ｓ１に対する相対位置に基づき、公知の画像処理方法で回転処理し（ステップＳ２−７）、回転処理した記録画像データＧ１を、合成用メモリ領域１９のうち対応する画素領域に記憶する（
ステップＳ２−８）。詳述すると、画像プロセッサ２０は、基準位置Ｓ１の舵角データ４４を取得し、その舵角データ４４と、現在の舵角データ４４とを比較する。そして、基準位置Ｓ１の舵角データ４４に合わせて、記録画像データＧ１を回転処理する。また、基準位置Ｓ１の座標データ４３と現在の座標データ４３とを比較して、回転処理した記録画像データＧ１の画素値を、図８に示すように、合成用メモリ領域１９の対応する画素領域Ｒ２に記憶する。この画素領域Ｒ２と、基準位置Ｓで撮像された記録画像データＧ１の画素領域Ｒ１とに重複がある場合には、後に撮像された記録画像データＧ１によってその重複領域を上書きする。
【００４２】
記録画像データを合成用メモリ領域１９に記憶すると、駐車支援画像を出力するタイミングであるか否かを判断する（ステップＳ２−９）。本実施形態では、合成用メモリ領域１９内に、所定枚数の記録画像データＧ１が記憶されているか否かによって判断するが、車両Ｃが基準位置Ｓ１から所定距離Ｄ２後退したか否かで判断するようにしても良い。本実施形態では、駐車支援画像を表示するタイミングは、４枚以上の記録画像データＧ１が記憶されているときであって、２枚の記録画像データＧ１が蓄積された時点では駐車支援画像を表示しないと判断し（ステップＳ２−９においてＮＯ）、ステップＳ２−１に戻る。
【００４３】
上記した処理（ステップＳ２−２〜ステップＳ２−９）をさらに２回繰り返し、図９に示すように４枚の記録画像データＧ１を合成用メモリ領域１９に記憶すると、画像プロセッサ２０は駐車支援画像を出力するタイミングであると判断する（ステップＳ２−９においてＹＥＳ）。そして、その時点で撮像した最新の現在画像データＧ４を取得する（ステップＳ２−１０）。
【００４４】
現在画像データＧ４を取得すると、現在画像データＧ４と記録画像データＧ１とを用いて運転支援画像データとしての合成データＧ６を生成する（ステップＳ２−１１）。詳述すると、画像プロセッサ２０は、図９に示すように、合成用メモリ領域１９に書き込まれた各記録画像データＧ１から、現在の車両Ｃのリヤ部周辺に相当するトリミング範囲５０をトリミングして、図１０（ａ）に示すようなトリミングデータＧ２を生成する。さらに、トリミングデータＧ２は、画像の向きが、基準位置Ｓ１の舵角に合わせた方向になっているため、ステアリングセンサ信号ＳＴＰに基づき現在の舵角に合わせて公知の回転処理を行い、図１０（ｂ）に示すような合成用記録データＧ３を生成する。また、その合成用記録データＧ３を、ディスプレイ２２の表示領域のうち上側に、現在画像データＧ４が下側になるように連続させ、合成データＧ６を生成する。
【００４５】
合成データＧ６を生成すると、画像プロセッサ２０は、その合成データＧ６をＶＲＡＭ２１に一時記憶し、所定のタイミングでディスプレイ２２に出力する（ステップＳ２−１２）。
【００４６】
その結果、図１１に示すような駐車支援画像５１がディスプレイ２２に表示される。駐車支援画像５１には、記録画像データＧ１に基づく記録画像５２と、現在画像データＧ４に基づく現在画像５３とが表示されている。記録画像５２は、画面の上側に表示され、現在のカメラ３５の死角となる、車両Ｃのリヤ部下方及び周辺の路面等を表示している。また、現在画像５３は、画面の下側に表示された、現在の車両周辺状況が反映されている画像である。即ち、駐車支援画像５１は、車両Ｃの進行方向（後退方向）がディスプレイ２２の上側から下側に向かう方向（図１１中ｘ１方向）になるように表示されている。
【００４７】
また、画像プロセッサ２０は、記録画像５２のうち車両Ｃの現在位置に相当する位置に、車両画像データ１２ａに基づく車両画像５４の一部を重畳する。図１１に示す駐車支援画像５１では、車両画像データ１２ａによって、車両Ｃのリヤ部が描画されている。これ
により、ドライバーは、車両Ｃと、記録画像５２及び現在画像５３によって表示された白線５１ａ等の駐車目標領域との相対位置及び相対方向を確認することができる。
【００４８】
さらに、画像プロセッサ２０は、現在画像５３に、ガイド線５５を重畳する。ガイド線５５は、車両Ｃの後端ＣＢから所定距離（例えば０．８ｍ）後方を示す目安線５６と、幅を車両Ｃ後方に延長した車幅延長線５７と、現在の舵角に応じて描画された予想軌跡線５８とからなる。
【００４９】
駐車支援画像５１を表示すると、制御部１０は、基準位置Ｓ１の更新条件に該当するか否かを判断する（ステップＳ２−１３）。本実施形態では、更新条件は、合成用メモリ領域１９内での車両Ｃの現在位置に相当する画素座標が、予め設定した所定範囲１９ａ外となることである。ここでは、図９に示すように第４キャプチャ位置Ｐ４は、所定範囲１９ａ内になっているので、更新条件に該当しないと判断して（ステップＳ２−９においてＮＯ）、ステップＳ２−１６に進む。ステップＳ２−１６では、終了トリガを入力したか否かを判断する。終了トリガは、本実施形態では、リバース以外のシフトポジションを示すシフトポジション信号ＳＰＰである。終了トリガを入力していないと判断すると（ステップＳ２−１６においてＮＯ）、ステップＳ２−１に戻る。
【００５０】
ステップＳ２−１に戻ると、制御部１０及び画像プロセッサ２０は、ステップＳ２−１からステップＳ２−１３を繰り返す。そして、図１２に示すように、車両Ｃが駐車目標領域に接近し、合成用メモリ領域１９に記録画像データＧ１が多数枚上書きされた場合でも、第ｎ番目の第Ｎキャプチャ位置Ｐｎが所定範囲１９ａ内に含まれている場合には、最初に設定した基準位置Ｓ１を保持する。このとき、ステップＳ２−１１では、車両Ｃの現在位置（第Ｎキャプチャ位置Ｐｎ）周辺のトリミング範囲５０を抽出し、トリミングデータＧ２を、現在の舵角データ４４に合わせて回転変換し、合成データＧ６を生成する。その結果、ステップＳ２−１２では、図１３に示すような駐車支援画像５１が表示される。トリミングデータＧ２を現在の舵角に合わせて回転処理することにより、駐車支援画像５１も、車両Ｃの進行方向（後退方向）がディスプレイ２２の上下方向（図１３中ｘ１方向）になっている。
【００５１】
そして、図１４に示すように、車両Ｃの位置に相当する画素座標が、所定範囲１９ａ外の範囲外キャプチャ位置Ｐｅとなると（ステップＳ２−１３においてＹＥＳ）、画像プロセッサ２０は、設定していた基準位置Ｓ１を更新する（ステップＳ２−１４）。このとき、画像プロセッサ２０は、図１５に示すように、俯瞰座標系（ｘ、ｙ）のうち、所定範囲１９ａ外となった範囲外キャプチャ位置Ｐｅを、これまで基準位置Ｓ１としてきた画素座標に回転処理又は移動処理して、新たな基準位置Ｓ２を設定する。また、この処理に伴い、図１５に示すようにそれまで合成用メモリ領域１９に書き込んだ記録画像データＧ１の画素値を、同様に回転処理又は移動処理する（ステップＳ２−１５）。例えば車両Ｃが旋回している場合には、その旋回角度等に基づき公知の回転処理を行う。
【００５２】
そして、制御部１０は、終了トリガを入力したか否かを判断する（ステップＳ２−１６）。終了トリガを入力した場合（ステップＳ２−１６においてＹＥＳ）、そのまま処理を終了する。終了トリガを入力していない場合（ステップＳ２−１６においてＮＯ）、ステップＳ２−１に戻る。
【００５３】
そして、上記した処理を再び繰り返し（ステップＳ２−１〜ステップＳ２−１１）、新たな基準位置Ｓ２を設定した後は、その位置を基準として記録画像データＧ１を書き込む。これにより、図１６に示すように、基準位置Ｓ２を基準として、各時点のカメラ３５の撮像範囲Ｚに対応する画素領域Ｒｎ＋１、Ｒｎ＋２に記録画像データＧ１の画素値が書き込まれる。そしてステップＳ２−１２では、画像プロセッサ２０は、この記録画像データ
Ｇ１のうち、トリミング範囲５０のデータを読出し、図１７に示すような駐車支援画像５１を表示する。このとき、記録画像データＧ１蓄積時の回転処理回数を低減することにより、駐車支援画像５１の画質は良好になっている。例えば、駐車支援画像５１に表示された白線５１ａは、段差状の白線ではなく、滑らかな白線になっている。
【００５４】
そしてステップＳ２−１６で終了トリガを入力すると（ステップＳ２−１２においてＹＥＳ）、そのまま処理を終了する。また、車両Ｃが所定距離Ｄ１後退する度に駐車支援画像５１を描画する処理とは別に、画像プロセッサ２０は、車速が後退中に停車するとき、図示しないタイマ等で経過時間を計測する。そして、数秒〜数十秒の範囲に設定された所定時間が経過すると、図１８に示す全体俯瞰図５９をディスプレイ２２に表示する。このとき画像プロセッサ２０は、合成用メモリ領域１９から、所定の範囲の記録画像データＧ１を抽出し、ディスプレイ２２に表示する。また、車両画像データ１２ａを出力して、車両画像５４を描画する。全体俯瞰図５９は、駐車支援画像５１よりも多くの記録画像データＧ１を用いているが、記録画像データＧ１を画像メモリ１７に蓄積する際の回転処理の繰り返し回数が抑制されていることから、良好な画質の駐車支援画像５１を表示できる。
【００５５】
上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、駐車支援ユニット２の画像プロセッサ２０は、車両Ｃの後退中に撮像した各記録画像データＧ１を合成用メモリ領域１９に記憶する際に、予め基準位置Ｓ１を設定するようにした。また、基準位置Ｓ１に合わせて、記録画像データＧ１を回転処理して、対応する画素領域に記憶するようにした。また、合成用メモリ領域１９に記憶された記録画像データＧ１と、最新の現在画像データＧ４とを用いて合成データＧ６を生成し、合成データＧ６に基づく駐車支援画像５１をディスプレイ２２に出力するようにした。このため、駐車支援画像５１を出力するまでに、回転処理の回数を２，３回にして最小限に留めるので、回転処理による画質の低下を抑制することができる。
【００５６】
（２）上記実施形態では、車両Ｃの現在位置に相当する画素座標が、合成用メモリ領域１９外となった場合に、新たな基準位置を設定するようにした。このため、限られたメモリ領域を有効利用することができる。
【００５７】
（３）上記実施形態では、画像プロセッサ２０は、新たな基準位置Ｓ２を設定した際に、それまで蓄積した記録画像データＧ１を回転処理又は移動処理するようにした。このため、既に蓄積した記録画像データＧ１を破棄せずに、利用することができる。
【００５８】
（４）上記実施形態では、画像プロセッサ２０は、合成データＧ６を生成する際に、記録画像データＧ１をトリミングしたトリミングデータＧ２を、現在の舵角データ４４に合わせて回転処理するようにした。このため、車両Ｃの進行方向（後退方向）を、常に画面上下方向（ｘ１方向）に常に合わせて表示することができるので、ドライバーが直感的に理解しやすい画像を表示することができる。
【００５９】
（５）上記実施形態では、入力した画像データＧを俯瞰変換して記録画像データＧ１を生成するようにした。このため、駐車支援画像５１を、車両周辺を俯瞰した俯瞰画像にすることができる。
【００６０】
尚、本実施形態は以下のように変更してもよい。
・画像メモリ領域１８と、画像データ記憶手段としての合成用メモリ領域１９は、同じ画像メモリ１７に設けるようにしたが、別のメモリに設けるようにしてもよい。
【００６１】
・上記実施形態では、舵角データ４４を記録画像データＧ１と関連付けるようにしたが、絶対方位や相対方位でも良い。
・上記実施形態では、駐車支援画像５１を表示した後に、全体俯瞰画像５９を表示するようにしたが、全体俯瞰画像５９を表示しなくてもよい。
【００６２】
・上記実施形態では、ガイド線５５は、目安線５６、車幅延長線５７、予想軌跡線５８とからなるとしたが、いずれか一つでもよい。また、その他のガイド線を表示してもよい。又は、ガイド線５５を駐車支援画像５１上に描画しなくてもよい。
【００６３】
・上記実施形態では、基準位置の更新条件を、自車位置に相当する画素座標が、合成用メモリ領域１９外となったこととしたが、車両Ｃの基準位置Ｓ１からの累積後退距離が、所定距離となったときに、基準位置を変更しても良い。
【００６４】
・上記実施形態では、新たに基準位置Ｓ２を設定した場合に、それまで蓄積された記録画像データＧ１を回転処理又は移動処理するようにしたが、基準位置Ｓ２が新たに設定された際に、それまで蓄積した記録画像データＧ１を破棄するようにしてもよい。又は蓄積した記録画像データＧ１の一部を、他のメモリ領域に記憶するようにしても良い。
【００６５】
・上記実施形態では、複数の記録画像データＧ１と、俯瞰変換した現在画像データＧ４とを連続させて合成データＧ６を生成するようにしたが、運転席や、後輪の車軸付近に視点を設定した合成データＧ６を生成する等、これ以外の合成方法でもよく、俯瞰画像以外の画像を表示してもよい。
【００６６】
・上記実施形態では、所定距離毎に記録画像データＧ１を生成したが、所定時間毎に記録画像データＧ１を生成し、画像メモリ１７に蓄積するようにしてもよい。この場合にも、記録画像データＧ１は、合成用メモリ領域１９のうち対応する領域に記憶する。
【００６７】
・上記実施形態では、画像プロセッサ２０は、画像処理として、幾何学的変換（移動処理及び回転処理）を行うようにしたが、その他の画像処理を行うようにしてもよい。例えば、基準位置Ｓ１で撮像された記録画像データＧ１を基準として、後続する記録画像データＧ１に対し色補正、コントラスト調整等を行う場合、新たに入力した各画像データの画像処理回数を低減することができる。このため、画質低下の他、画像処理の負担も軽減できる。
【００６８】
・上記実施形態では、画像プロセッサ２０が行う幾何学的変換として、回転処理、移動処理を記載したが、他の変換処理を行うようにしてもよい。
・上記実施形態では、カメラ３５は車両Ｃの後端ＣＢに取り付けたが、前端又は側端等、他の部分に取り付けるようにしてもよい。この場合、車両Ｃの後退時以外に、駐車支援画像を表示するようにしてもよい。さらには、駐車時以外の運転操作を支援する画像を表示するようにしてもよい。また、車両Ｃに取り付けられた複数のカメラを用いて、駐車支援画像を生成するようにしてもよい。
【図面の簡単な説明】
【００６９】
【図１】本実施形態の駐車支援システムのブロック図。
【図２】駐車支援システムを搭載した車両の平面図。
【図３】（ａ）は画像データ、（ｂ）は俯瞰画像データの説明図。
【図４】記録画像データの説明図。
【図５】本実施形態の処理手順の説明図。
【図６】本実施形態の処理手順の説明図。
【図７】記録画像データの合成の説明図。
【図８】記録画像データの合成の説明図。
【図９】記録画像データの合成の説明図。
【図１０】（ａ）は回転処理前、（ｂ）は処理後のトリミングデータの説明図。
【図１１】駐車支援画像の説明図。
【図１２】記録画像データの合成の説明図。
【図１３】駐車支援画像の説明図。
【図１４】記録画像データの合成の説明図。
【図１５】記録画像データの合成の説明図。
【図１６】記録画像データの合成の説明図。
【図１７】駐車支援画像の説明図。
【図１８】全体俯瞰画像の説明図。
【図１９】従来の記録画像データの合成の説明図。
【符号の説明】
【００７０】
１…駐車支援システム、２…運転支援装置としての駐車支援ユニット、１０…位置検出手段としての制御部、１６…画像データ入力手段としての画像データ入力部、１７…画像データ記憶手段としての画像メモリ、１９…合成用メモリ領域、２０…基準位置設定手段、第１画像処理手段、第２画像処理手段、出力制御手段及び第３画像処理手段としての画像プロセッサ、２２…表示手段としてのディスプレイ、３５…撮像装置としてのカメラ、Ｃ…車両、Ｄ１，Ｄ２…所定距離、Ｇ…画像データ、Ｇ１…記録用データ、Ｇ６…運転支援画像データとしての合成データ、Ｓ１，Ｓ２…基準位置。
【図１】
0004661658.tif 000002
【図２】
0004661658.tif 000003
【図３】
0004661658.tif 000004
【図４】
0004661658.tif 000005
【図５】
0004661658.tif 000006
【図６】
0004661658.tif 000007
【図７】
0004661658.tif 000008
【図８】
0004661658.tif 000009
【図９】
0004661658.tif 000010
【図１０】
0004661658.tif 000011
【図１１】
0004661658.tif 000012
【図１２】
0004661658.tif 000013
【図１３】
0004661658.tif 000014
【図１４】
0004661658.tif 000015
【図１５】
0004661658.tif 000016
【図１６】
0004661658.tif 000017
【図１７】
0004661658.tif 000018
【図１８】
0004661658.tif 000019
【図１９】
0004661658.tif 000020