(57)【特許請求の範囲】
【請求項１】
自車の進路前方を撮影するように配置され、所定時間毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、上記所定時間毎の自車の移動量を計測する移動量計測手段、上記平面画像メモリに記憶されたｎ枚の鳥瞰平面画像を、上記移動量計測手段によって計測された自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、上記画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、上記変換限界線より自車側の直視画像を鳥瞰平面画像に変換することを特徴とする車両周辺監視支援装置。
【請求項２】
自車の進路前方を撮影するように配置され、所定時間毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、上記所定時間毎の自車の移動量を計測する移動量計測手段、上記第ｎの直視画像及び上記平面画像メモリに記憶された第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を、上記移動量計測手段によって計測された自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、上記画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、上記変換限界線より自車側の直視画像を鳥瞰平面画像に変換することを特徴とする車両周辺監視支援装置。
【請求項３】
電子カメラは、自車速が所定速度以上のとき、撮影するように構成されていることを特徴とする請求項１または請求項２記載の車両周辺監視支援装置。
【請求項４】
自車の進路前方を撮影するように配置され、自車の所定の移動量毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、この平面画像メモリに記憶されたｎ枚の鳥瞰平面画像を、上記自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、上記画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、上記変換限界線より自車側の直視画像を鳥瞰平面画像に変換することを特徴とする車両周辺監視支援装置。
【請求項５】
自車の進路前方を撮影するように配置され、自車の所定の移動量毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、上記第ｎの直視画像及び上記平面画像メモリに記憶された第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を、上記自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、上記画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、上記変換限界線より自車側の直視画像を鳥瞰平面画像に変換することを特徴とする車両周辺監視支援装置。
【請求項６】
電子カメラは、自車速が所定速度未満のとき、撮影するように構成されていることを特徴とする請求項４または請求項５記載の車両周辺監視支援装置。
【請求項７】
合成画像を記憶する合成画像メモリを備え、合成手段は、第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を予め合成して上記合成画像メモリに記憶すると共に、上記合成画像メモリに記憶された合成画像を用いて、第ｎの画像との合成画像を形成することを特徴とする請求項１〜請求項６のいずれか一項記載の車両周辺監視支援装置。
【請求項８】
合成画像は、第ｎの画像に対応する部分が目視区分されるように表現されていることを特徴とする請求項１〜請求項７のいずれか一項記載の車両周辺監視支援装置。
【請求項９】
合成画像は、自車側方を含むように形成されていることを特徴とする請求項１〜請求項８のいずれか一項記載の車両周辺監視支援装置。
【請求項１０】
合成画像には、自車の位置が表示されていることを特徴とする請求項１〜請求項９のいずれか一項記載の車両周辺監視支援装置。
【請求項１１】
合成画像には、自車の予想進路方向が表示されていることを特徴とする請求項１〜請求項１０のいずれか一項記載の車両周辺監視支援装置。
【請求項１２】
画像変換手段によって設けられる上記変換限界線は、自車速に応じて、変更されることを特徴とする請求項１〜請求項１１のいずれか一項記載の車両周辺監視支援装置。
【請求項１３】
合成画像は、部分拡大されるように構成されていることを特徴とする請求項１〜請求項１２のいずれか一項記載の車両周辺監視支援装置。
【請求項１４】
電子カメラは、複数台設置され、上記複数の電子カメラによって撮影された画像を合成して合成画像が形成されることを特徴とする請求項１〜請求項１３のいずれか一項記載の車両周辺監視支援装置。
【請求項１５】
合成画像には、最新の撮影時点及びその直前の撮影時点間の自車の直進方向と横方向の移動距離及び上記移動距離が累積された累積移動距離のいずれか一方または両方が表示されることを特徴とする請求項１〜請求項１４のいずれか一項記載の車両周辺監視支援装置。
【請求項１６】
電子カメラは、自車の前方及び後方に配置され、上記自車の前方及び後方に配置された電子カメラを用いて合成画像が形成されることを特徴とする請求項１〜請求項１５のいずれか一項記載の車両周辺監視支援装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、監視カメラを用いて自動車の周辺監視支援を行う車両周辺監視支援装置に関するもので、特に前方または後方監視カメラを用いて側方監視も行えるようにした車両周辺監視支援装置に関するものである。
【０００２】
【従来の技術】
自動車の予防安全対策として、車両監視カメラによる周辺監視支援機能の向上が推進されており、例えば前方監視カメラでは、前方障害物や走行レーン用の白線検出を行って、追突予防警報・車間距離自動制御やレーン逸脱警報・自動操縦制御などを行うことが試みられている。
同様に、後方監視カメラでは、後方障害物の検出による後退運転支援や、高速道路における車線変更時の後側方接近車両検出警報などが行われている。
【０００３】
これら監視制御の従来技術としては、例えば特開平１０−２１１８４９号公報「車両後方視界支援装置」では、後方監視カメラの直視画像を鳥瞰平面画像に変換し、白線表示や自車両表示を行う技術が提示されている。
また、特開平１０−１１５８５号公報「物体検出装置」では、車両前方監視カメラ２台による白線検出や前方障害物検出に関する技術が提示され、特開平６−１０７０９６号公報「車両用前方監視方法」でも、１台の前方監視カメラによる障害物検出の技術が提示されている。
さらに、特開平７−１７３２８号公報「車両用周辺認識補助装置」では、車両の前方・後方・両側方に４台の監視カメラと測距用レーザレンジファインダが用いられ、全包囲の周辺監視を行う事例が記述されている。
【０００４】
【発明が解決しようとする課題】
上記のような従来技術の場合、全包囲の周辺監視を行うためには多くの監視カメラを取付ける必要があり、コストが割高となるほか、取付け場所の問題もあって幅広く実用される段階には至っていない。
特に、側方監視については、機能／コスト面で充分な存在価値が認められていないのが実態である。
【０００５】
この発明は、上記のような課題を解決するためになされたものであり、前方監視カメラまたは後方監視カメラに対してその本来機能以外の機能を付加し、側方監視カメラを設置しなくても、前方監視カメラまたは後方監視カメラを用いて側方監視が行えるようにして、トータルとしての機能／コストを高めて普及を促進すると共に、様々な安全性向上機能を付加した車両周辺監視支援装置を得ることを第一の目的にしている。
また、監視画像が得られないような特殊な状態にあっても、微妙な幅寄せや前進・後退の限界を知ることができる補助的な機能を付加し、全体として実用性の高い車両周辺監視支援装置を得ることを第二の目的にしている。
【０００６】
【課題を解決するための手段】
この発明に係わる車両周辺監視支援装置においては、自車の進路前方を撮影するように配置され、所定時間毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、所定時間毎の自車の移動量を計測する移動量計測手段、平面画像メモリに記憶されたｎ枚の鳥瞰平面画像を、移動量計測手段によって計測された自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するものである。
【０００７】
また、自車の進路前方を撮影するように配置され、所定時間毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、所定時間毎の自車の移動量を計測する移動量計測手段、第ｎの直視画像及び平面画像メモリに記憶された第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を、移動量計測手段によって計測された自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するものである。
また、電子カメラは、自車速が所定速度以上のとき、撮影するように構成されているものである。
【０００８】
さらに、自車の進路前方を撮影するように配置され、自車の所定の移動量毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、この平面画像メモリに記憶されたｎ枚の鳥瞰平面画像を、自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するものである。
【０００９】
また、自車の進路前方を撮影するように配置され、自車の所定の移動量毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、第ｎの直視画像及び平面画像メモリに記憶された第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を、自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するものである。
また、電子カメラは、自車速が所定速度未満のとき、撮影するように構成されているものである。
【００１０】
さらにまた、合成画像を記憶する合成画像メモリを備え、合成手段は、第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を予め合成して合成画像メモリに記憶すると共に、合成画像メモリに記憶された合成画像を用いて、第ｎの画像との合成画像を形成するものである。
また、合成画像は、第ｎの画像に対応する部分が目視区分されるように表現されているものである。
【００１１】
さらに、合成画像は、自車側方を含むように形成されているものである。
また、合成画像には、自車の位置が表示されているものである。
また、合成画像には、自車の予想進路方向が表示されているものである。
【００１２】
さらに、画像変換手段によって設けられる変換限界線は、自車速に応じて、変更されるものである。
また、合成画像は、部分拡大されるように構成されているものである。
【００１３】
また、電子カメラは、複数台設置され、複数の電子カメラによって撮影された画像を合成して合成画像が形成されるものである。
さらにまた、合成画像には、最新の撮影時点及びその直前の撮影時点間の自車の直進方向と横方向の移動距離及び移動距離が累積された累積移動距離のいずれか一方または両方が表示されるものである。
【００１４】
また、電子カメラは、自車の前方及び後方に配置され、自車の前方及び後方に配置された電子カメラを用いて合成画像が形成されるものである。
【００１５】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１による車両周辺監視支援装置の構成を示すブロック図である。
図１において、１は後述のマイクロプロセッサや各種メモリ等を内蔵したコントロールユニット、２は進路前方を監視するために車両に設置されたＣＣＤカメラ等の電子カメラ、３は例えば車軸に設けられた回転角センサで、移動量を計測する。４は例えば操舵軸に設けられた操舵角センサであり、回転角センサ３と操舵角センサ４は移動量計測手段を構成する。５は拡大表示部分を指示する８方スイッチ等のズームアップスイッチ、６は現在の距離表示をリセットしてリセット後の車両移動距離を２軸表示（直進方向と横方向）させるための距離表示スイッチ、７は進路方向選択レバーの位置に応動するシフトレバースイッチ、８は例えば液晶を用いた表示装置である。電子カメラ２や各種センサ・スイッチ、表示装置８は、コントロールユニット１に接続されている。
【００１６】
コントロールユニット１内の構成は、以下のとおりとなっている。
１０はマイクロプロセッサ、１１はマイクロプロセッサ１０と電子カメラ２との間に設けられたシリアル伝送回路、１２はマイクロプロセッサ１０と各種センサ・スイッチ間に設けられた入力インタフェース、１３はマイクロプロセッサ１０に接続された直視画像メモリである。電子カメラ２は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）規格による画像信号を、伝送回路１１を介してマイクロプロセッサ１０に供給し、マイクロプロセッサ１０は、例えば２５６ドット×２４０ドットの仮想画面上の各画素に対応した夫々の直視画像メモリ１３に対して、色度情報や輝度情報を、例えば８ビットのディジタル情報として書込むようになっている。
【００１７】
１４は直視画像における各画素間寸法に対応した実態寸法が格納された変換パラメータメモリ、１５は画像変換手段により、直視画像メモリ１３の各画素位置を変換パラメータメモリ１４の内容によって倍率変換して得られる鳥瞰平面画像を記憶する平面画像メモリ、１６は最新の鳥瞰平面画像と過去の鳥瞰平面画像を、合成手段により、合成した合成画像を記憶する合成画像メモリ、１７は合成画像メモリ１６の内容を表示装置８に表示するためのシリアル伝送回路、１８は電子カメラ２による前回撮影から今回撮影までの車両の移動距離を記憶する平面移動量計測メモリであり、平面移動計測メモリ１８は、回転角センサ３と操舵角センサ４の信号を基にして、車両の直進方向と横方向の２次元の移動量を計測するようになっている。
【００１８】
図２は、この発明の実施の形態１による車両周辺監視支援装置の動作を説明するフローチャートである。
図３は、この発明の実施の形態１による車両周辺監視支援装置の鳥瞰平面画像を示す図であり、図３（ａ）は、電子カメラ２による直視画像の例を示し、図３（ｂ）は、図３（ａ）の直視画像に対応する鳥瞰平面画像である。
図３において、１００ａは仮想の全体画面、１０１は地平線、１０２ａ、１０３ａは左右のレーン表示用の白線、１０４は鳥瞰平面画像に変換する時の車両前方の変換限界線である。地平線１０１の位置は、電子カメラの取付け角度、取付け高さ等によって定められる。１００ｂは鳥瞰平面画像、１０２ｂ、１０３ｂは左右のレーン表示用の白線である。
直視画像１００ａにおける画素間の実距離は、遠方に至るほど大きな値であって、その情報は変換パラメータメモリ１４に、近似算式またはテーブル情報として格納されている。鳥瞰平面画像１００ｂにおける各画素間の実距離は均一であって、左白線１０２ｂと右白線１０３ｂは並行線として表示されている。
但し、鳥瞰平面画像といっても、画面の横方向と縦方向では、尺度倍率を変更して表示し、横方向に比べて縦方向の視野を広げる工夫がなされている。
なお、図３（ｂ）の下隅に描かれた三角黒塗り部分は、電子カメラ２の視野に含まれない部分を示している。
【００１９】
図４は、この発明の実施の形態１による車両周辺監視支援装置の合成画像の作成を説明する図であり、図４（ａ）は、電子カメラ２による時刻に応じた直視画像を変換した鳥瞰平面画像を示す図であり、図４（ｂ）は、画像移動の概念を説明する図であり、図４（ｃ）は、最新の鳥瞰平面画像に過去の鳥瞰平面画像を合成した合成画像である。
図４において、１０５は自車、１０６は仮想の路上定点、１１０〜１１４は旧時刻Ｔ１１０〜新時刻Ｔ１１４において撮影された直視画像を夫々変換した鳥瞰平面画像である。１１５は合成画像である。
【００２０】
図５は、この発明の実施の形態１による車両周辺監視支援装置の拡大画像を示す図である。
図５において、１０７は自車１０５の車輪、１０８は距離表示スイッチ６が操作されてから以降の累計平面移動距離を２次元表示した距離表示、１０９は進路方向表示であり、操舵角センサ４にもとづく予想進路を示したものである。１１６は拡大表示画面である。
【００２１】
次に、動作について、図２のフローチャートを基にして、図３、図４を引用して説明する。
図２において、工程２００は、動作開始工程、工程２０１は、開始工程に続く車速判定工程であり、例えば車速が４０Ｋｍ／Ｈ未満であれば、工程２０２へ移行し、車速が４０Ｋｍ／Ｈ以上であれば、工程２０４へ移行する。
工程２０２や工程２０４では、後述の工程２１４によってリセット操作されてから以降の車両の平面移動量の測定が行われ、時々刻々の測定結果は、図１の平面移動量計測メモリ１８に格納されるようになっている。
なお、平面移動量の計測は、回転角センサ３の発生パルスを割込み計数し、この計数値を車両の実際の移動距離に換算したベクトル移動距離Ｌとして格納されると共に、操舵角センサ４による操舵角情報に基づいて、車両の直進方向（電子カメラ２の監視中心方向）であるＺ軸方向の移動距離Ｌｚと、これに直交するＸ軸方向の移動距離Ｌｘに分解して格納されるものである。
【００２２】
工程２０２に続く工程２０３は、平面移動量計測メモリ１８に更新記憶されているベクトル移動距離Ｌが、例えば３３．３ｃｍに達するまでは、再び工程２０２による平面移動量の測定が継続され、３３．３ｃｍを超過すると工程２０６に移行するように構成された移動距離判定工程である。
工程２０４に続く工程２０５は、平面移動量計測メモリ１８による移動距離の計測時間が、例えば約３０ｍｓｅｃに達するまでは、再び工程２０４による平面移動量の測定が継続され、約３０ｍｓｅｃを超過すると工程２０６に移行するように構成された測定時間判定工程である。
なお、車速がＶ＝４０Ｋｍ／Ｈで、Ｔ＝３０ｍｓｅｃ間で、計測された車両のベクトル移動距離Ｌ（ｃｍ）は、次式のとおり算出される。
Ｌ＝（Ｖ×１０5 ／３６００）×Ｔ×１０-3＝Ｖ×Ｔ／３６＝３３．３ｃｍ
従って、車速がＶ＝１８０Ｋｍ／Ｈであれば、３０ｍｓｅｃ間のベクトル移動距離Ｌは、１５０ｃｍである。
また、車速がＶ＝３９．９Ｋｍ／Ｈで、ベクトル移動距離Ｌ＝３３．３ｃｍに到達するのに要する時間Ｔ（ｍｓｅｃ）は、次式のとおり算出される。
Ｔ＝（Ｌ／（Ｖ×１０5 ／３６００））×１０3 ＝３６Ｌ／Ｖ＝３０ｍｓｅｃ従って、車速がＶ＝４Ｋｍ／Ｈであれば、ベクトル移動距離Ｌ＝３３．３ｃｍに到達するのに要する時間は、３００ｍｓｅｃとなる。
【００２３】
工程２０６は、電子カメラ２による直視画像を直視画像メモリ１３に取込む直視画像取込み工程、工程２０６に続く工程２０７は、直視画像を鳥瞰平面画像に変換して平面画像メモリ１５に書込む鳥瞰平面画像変換工程であるが、直視画像と鳥瞰平面画像の関係は、図３（ａ）と図３（ｂ）に示されるとおりである。
【００２４】
次に、工程２０７に続く画像移動工程２０８、画像合成工程２０９について、図４を用いて詳述する。
図４（ａ）において、旧時刻Ｔ１１０〜新時刻Ｔ１１４において撮影された直視画像を夫々変換した鳥瞰平面画像１１０〜１１４では、自車１０５の進行に伴って、路上定点１０６が接近している。
図４（ｂ）は、画像移動の概念を示したものであり、例えば時刻Ｔ１１１における鳥瞰平面画像１１１は時刻Ｔ１１０における鳥瞰平面画像１１０よりも、この間における車両の移動距離分だけ上方に移動されており、その結果として路上定点１０６は、同じ水平位置に描かれている。
時刻Ｔ１１２〜Ｔ１１４における鳥瞰平面画像１１２〜１１４についても同様であり、各時刻間での車両の移動距離分だけ逐次移動した位置に移動されており、その結果として鳥瞰平面画像１１０〜１１４における路上定点は一直線上に並んでいる。
【００２５】
図４（ｃ）における、最新の鳥瞰平面画像１１４に対して過去の鳥瞰平面画像１１０〜１１３を順次継ぎ足し延長された合成画像１１５は、車両後方数メートル分まで逐次延長され、それ以上に後方にある古い画像は、逐次更新消去されるようになっている。この合成画像１１５により、側方監視を行うことができる。
【００２６】
なお、上述の説明では、車両が直進移動している場合について説明したが、車両が曲進移動している場合には、平面移動量計測メモリ１８の２軸方向の移動成分に基づいて画面移動が行われ、左白線１０２ｂや右白線１０３ｂは、曲線で表示されるようになるものである。
【００２７】
また、上述の説明では、多数の鳥瞰平面画像１１０〜１１４を用いて合成画像１１５を生成することを説明したが、前回生成された合成画像と次回の鳥瞰平面画像を合成して、最新の合成画像を得て、古い鳥瞰平面画像や前回の合成画像を消去するようにすれば、画像メモリの容量が低減される。
【００２８】
さらに、進路前方至近位置に先行車両が存在する場合には、各時刻における鳥瞰平面画像を時刻間の平面移動距離分だけ移動させた状態にあっては、前方車両は異なる路面上位置で表示されることになる。
従って、互いに重なり合わない位置に示された画像は、移動物体によるものと見做して合成画像の中から除去するようにすることもできる。
【００２９】
図２に戻り、工程２０９に続く工程２１０は、拡大表示をするかしないかの判定工程であり、図１におけるズームアップスイッチ５が動作していない時には、全体表示工程２１１へ移行し、ズームアップスイッチ５が動作している時には、拡大部分指示読取工程２１２へ移行して、８方スイッチであるズームアップスイッチ５が前方２輪・左前方１輪・左前後２輪・左後方１輪・後方２輪・右後方１輪・右前後２輪・右前方１輪のどれを指示しているかを判定し、続く工程２１３により指示された部分の拡大表示が行われる。
図５は、左２輪の拡大表示画面１１６を示したものであり、図１における距離表示スイッチ６が操作されてから以降の累計平面移動距離を２次元表示した距離表示１０８及び操舵角センサ４に基づく予想進路を示す進路方向表示１０９が行われている。
【００３０】
なお、図１における平面移動量計測メモリ１８は、電子カメラ２の撮影の都度リセットされるものであるが、図示しない累計平面移動量計測メモリを設けて、平面移動量の累計値を記憶し、この値を距離表示１０８によって２次元表示するようにしてもよい。この累計値は、距離表示スイッチ６が操作されても、リセットされないようにすることができる。
また、距離表示スイッチ６を操作する時には、例えば事前に下車して溝や障害物に対する移動可能距離を目測・実測しておけば、それ以降の車両の移動距離が、距離表示１０８によって表示されるので、安心して微妙な幅寄せや前進・後退が可能となるものであり、この表示機能は電子カメラ２による撮影が行われていない時点や電子カメラ２による監視が及ばない領域に対する運転操作においても有効である。
【００３１】
図２に戻り、工程２１１または工程２１３に続く工程２１４では、図１における平面移動量計測メモリ１８がリセットされ、終了工程２１５を通じて再び開始工程２００へ移行するようになっている。
【００３２】
なお、ここで想定したマイクロプロセッサ１０の処理能力は、開始工程２００から終了工程２１５までの処理時間が約３０ｍｓｅｃであり、工程２０１における車速判定のしきい値として４０Ｋｍ／Ｈを用いたのは、低速運転での工程２０２による定距離間隔での撮影方式と高速運転での工程２０４による定時間隔の撮影方式のいずれの場合でも、しきい値速度４０Ｋｍ／Ｈの時には同じ移動量で同じ測定間隔時間としたためである。
もしも、切換判定しきい値速度をもっと下げれば、低速運転が行われている時の測定距離間隔を短縮することができると共に、このような定距離間隔撮影方式と定時間隔撮影方式の使い分けにより、無意味な撮影処理（例えば車速０の時に定時間隔の撮影を行っても意味がない）を行わないように配慮されているものである。
【００３３】
また、図３（ａ）における変換限界線１０４の位置は、車両の通常制動距離に見合ったものとして、高速運転の時は、より遠くの前方に設定し、低速運転の時は、近距離化して真に有効な部分を画面表示するように自動調整することもできる。
【００３４】
以上の説明では、前方監視カメラ及び後方監視カメラとしては、いずれも１台で説明したが、前方または後方の左右に各２台を設置し、２台分の監視カメラの画像を合成して一方の進路方向に対する監視画像とすることもできる。
また、車両の前方監視カメラ及び後方監視カメラの一方を利用して、前進または後退に対する進路前方を監視しながら側方監視を行うことについて説明したが、前方と後方に監視カメラが設置されている場合にも、同様の画面合成により側方監視を行うことができる。
このような場合には、前方監視による鳥瞰平面画像と後方監視による鳥瞰平面画像を有効に活用して、速やかに側方監視画像を含んだ合成画像が生成されると共に、リアルタイムの監視画像領域が拡大されて安全性が向上する。
【００３５】
また、合成画像の内で最新の鳥瞰平面画像部分と合成された過去の鳥瞰平面画像部分の色調や濃淡度合いを変化させておけば、より安全な使い方ができるものである。
例えば、幼児が急に飛び出した場合には、これが最新画像領域であれば表示されるが、過去の画像領域には表示されない危険があるので、これを喚起しておくものとして有効である。
【００３６】
また、以上の説明では表示装置８に表示される画像は、合成画像メモリ１６に格納された合成鳥瞰平面画像としたが、この合成画像メモリ１６の内、最新の画像部分は直視画像を用いることもできる。
この場合にも上述のとおり色調変化させても良いが、それ以上に効果的なものとして曲進前方を有効表示することができる。
即ち、曲進路を平面画像に変換すると、進路前方が表示装置８の左または右に溢れて表示できなくなるが、直視画像にしておけばより前方の表示が可能となるものである。
【００３７】
実施の形態１によれば、進路前方に関する過去の監視画像を基にして現在の車両の側方監視画像を表示することができるので、車両の前方監視カメラまたは後方監視カメラを有効活用して側方監視が行えるようになり、監視カメラに対する機能／コストの向上が達成できる効果がある。
また、直視画像を鳥瞰平面画像に変換して扱うことにより、画像合成が容易に行えると共に、側方監視表示も解り易いものとなる効果がある。
【００３８】
【発明の効果】
この発明に係わる車両周辺監視支援装置においては、自車の進路前方を撮影するように配置され、所定時間毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、所定時間毎の自車の移動量を計測する移動量計測手段、平面画像メモリに記憶されたｎ枚の鳥瞰平面画像を、移動量計測手段によって計測された自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するので、合成画像を用いて自車側方の監視を行うことができる。
【００３９】
また、自車の進路前方を撮影するように配置され、所定時間毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、所定時間毎の自車の移動量を計測する移動量計測手段、第ｎの直視画像及び平面画像メモリに記憶された第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を、移動量計測手段によって計測された自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するので、合成画像を用いて自車側方の監視を行うことができる。
また、電子カメラは、自車速が所定速度以上のとき、撮影するように構成されているので、車速に応じて適切な合成画像を形成することができる。
【００４０】
さらに、自車の進路前方を撮影するように配置され、自車の所定の移動量毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、この平面画像メモリに記憶されたｎ枚の鳥瞰平面画像を、自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するので、合成画像を用いて自車側方の監視を行うことができる。
【００４１】
また、自車の進路前方を撮影するように配置され、自車の所定の移動量毎に撮影を行う電子カメラ、この電子カメラによって撮影された直視画像の第１の直視画像から最新の第ｎ（ｎは１より大きい正の整数）の直視画像に至るｎ枚の直視画像を鳥瞰平面画像に変換する画像変換手段、この画像変換手段によって変換された第１の鳥瞰平面画像から第ｎの鳥瞰平面画像に至るｎ枚の鳥瞰平面画像を記憶する平面画像メモリ、第ｎの直視画像及び平面画像メモリに記憶された第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を、自車の移動量に応じて順次継ぎ足すように合成して合成画像を形成する合成手段、この合成手段によって形成された合成画像を表示する表示装置を備え、画像変換手段は、直視画像を鳥瞰平面画像に変換するときの変換限界線を進路前方に設けて、変換限界線より自車側の直視画像を鳥瞰平面画像に変換するので、合成画像を用いて自車側方の監視を行うことができる。
【００４２】
また、電子カメラは、自車速が所定速度未満のとき、撮影するように構成されているので、車速に応じて適切な合成画像を形成することができる。
さらにまた、合成画像を記憶する合成画像メモリを備え、合成手段は、第１の鳥瞰平面画像から第ｎ−１の鳥瞰平面画像に至るｎ−１枚の鳥瞰平面画像を予め合成して合成画像メモリに記憶すると共に、合成画像メモリに記憶された合成画像を用いて、第ｎの画像との合成画像を形成するので、より簡単に合成画像を形成することができる。
【００４３】
また、合成画像は、第ｎの画像に対応する部分が目視区分されるように表現されているので、最新の画像を分かりやすくすることができる。
【００４４】
さらに、合成画像は、自車側方を含むように形成されているので、合成画像によって自車側方の監視を行うことができる。
また、合成画像には、自車の位置が表示されているので、自車位置を確認しながら監視を行うことができる。
【００４５】
また、合成画像には、自車の予想進路方向が表示されているので、自車の進路を確認することができる。
さらに、画像変換手段によって設けられる変換限界線は、自車速に応じて、変更されるので、自車速に合わせた合成画像を形成することができる。
【００４６】
また、合成画像は、部分拡大されるように構成されているので、必要なとき部分拡大して確認することができる。
また、電子カメラは、複数台設置され、複数の電子カメラによって撮影された画像を合成して合成画像が形成されるので、より正確な合成画像を形成することができる。
【００４７】
さらにまた、合成画像には、最新の撮影時点及びその直前の撮影時点間の自車の直進方向と横方向の移動距離及び移動距離が累積された累積移動距離のいずれか一方または両方が表示されるので、移動距離を確認することができる。
また、電子カメラは、自車の前方及び後方に配置され、自車の前方及び後方に配置された電子カメラを用いて合成画像が形成されるので、前進、後退にも対応することができる。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による車両周辺監視支援装置の構成を示すブロック図である。
【図２】  この発明の実施の形態１による車両周辺監視支援装置の動作を説明するフローチャートである。
【図３】  この発明の実施の形態１による車両周辺監視支援装置の鳥瞰平面画像を示す図である。
【図４】  この発明の実施の形態１による車両周辺監視支援装置の合成画像の作成を説明する図である。
【図５】  この発明の実施の形態１による車両周辺監視支援装置の拡大画像を示す図である。
【符号の説明】
１  コントロールユニット、２  電子カメラ、３  回転角センサ、
４  操舵角センサ、５  ズームアップスイッチ、６  距離表示スイッチ、
７  シフトレバースイッチ、８  表示装置、１０  マイクロプロセッサ、
１１，１７  伝送回路、１２  入力インタフェース、
１３  直視画像メモリ、１４  変換パラメータメモリ、１５  平面画像メモリ、
１６  合成画像メモリ、１８  平面移動量計測メモリ、
１００ａ  直視画像、１００ｂ  鳥瞰平面画像、１０１  地平線、
１０２ａ  左白線（直視画像）、１０２ｂ  左白線（平面画像）、
１０３ａ  右白線（直視画像）、１０３ｂ  右白線（平面画像）、
１０４  変換限界線、１０５  自車、１０６  路上定点、
１０７  車輪、１０８  距離表示、１０９  進路方向表示、
１１０〜１１４  時刻Ｔ１１０〜Ｔ１１４における鳥瞰平面画像、
１１５  合成画像、１１６  拡大表示画面。
【図１】
0003847547.tif 000002
【図２】
0003847547.tif 000003
【図３】
0003847547.tif 000004
【図４】
0003847547.tif 000005
【図５】
0003847547.tif 000006