(57)【特許請求の範囲】
【請求項１】
自車両に設置され、自車両周囲の映像を撮像する少なくとも１台のカメラと、
自車両に設置され、障害物検知エリア内における障害物を検出する障害物検出手段と、
前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換する画像処理手段と、
前記画像処理手段で変換した視点変換画像を表示させる表示手段とを備え、
前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行うと同時に、前記画像処理手段は、前記カメラの取り付け位置を視点にして前記障害物検出手段の障害物検出範囲を地面に投影した画像を、前記障害物検出範囲の画像とし、前記地面に投影した障害物検出範囲の画像を前記仮想視点から見た視点変換画像に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物画像に、前記障害物検出手段の障害物検出範囲の画像が接触するように画像合成することを特徴とする車両周囲監視装置。
【請求項２】
自車両に設置され、自車両周囲の映像を撮像する少なくとも１台のカメラと、
自車両に設置され、障害物検知エリア内における障害物を検出する障害物検出手段と、
前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換する画像処理手段と、
前記画像処理手段で変換した視点変換画像を表示させる表示手段とを備え、
前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行うと同時に、前記画像処理手段は、前記障害物検出手段の障害物検出範囲の画像を、前記視点変換画像に立体的に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物画像に、前記障害物検出手段の障害物検出範囲の画像が接触するように画像合成することを特徴とする車両周囲監視装置。
【請求項３】
前記障害物検出範囲の画像を、前記障害物検出範囲を地面上に投影した領域の画像と、前記カメラの取り付け位置を視点にして前記障害物検出手段の障害物検出範囲を地面に投影した領域の境界から垂直方向に伸びる平面とからなる立体的な画像として前記視点変換画像に合成して表示させることを特徴とする請求項２に記載の車両周囲監視装置。
【請求項４】
前記障害物検出手段は、地面から離間した空間上の障害物を検知するものであり、
前記障害物検出範囲を地面上に投影した領域の画像と、前記障害物検知手段により検知した空間上の障害物を地面上に投影した位置に表示され、前記障害物検出範囲を地面上に投影した領域の画像と接触する障害物の画像とを、前記視点変換画像に合成して表示させることを特徴とする請求項１又は請求項２に記載の車両周囲監視装置。
【請求項５】
前記画像処理手段は、前記障害物検出範囲の画像を、半透明で表示させることを特徴とする請求項１又は請求項２に記載の車両周囲監視装置。
【請求項６】
自車両に設置されたカメラによって自車両周囲の映像を撮像して前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換して表示すると共に、前記カメラの撮像範囲における障害物を障害物検出センサによって検出し、
前記障害物検出センサによって障害物の存在が検出された場合には、警告音により警報を行うと同時に、前記カメラの取り付け位置を視点にして前記障害物検出センサの障害物検出範囲を地面に投影した画像を、前記障害物検出範囲の画像とし、前記地面に投影した障害物検出範囲の画像を前記仮想視点から見た視点変換画像に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障害物検出センサの障害物検出範囲の画像が接触するように画像合成することを特徴とする車両周囲監視方法。
【請求項７】
自車両に設置されたカメラによって自車両周囲の映像を撮像して前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換して表示すると共に、前記カメラの撮像範囲における障害物を障害物検出センサによって検出し、
前記障害物検出センサによって障害物の存在が検出された場合には、警告音により警報を行うと同時に、前記障害物検出センサの障害物検出範囲の画像を、前記視点変換画像に立体的に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障害物検出センサの障害物検出範囲の画像が接触するように画像合成することを特徴とする車両周囲監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲に存在する障害物等を運転者に認識させる車両周囲監視装置及び車両周囲監視方法に関する。
【背景技術】
【０００２】
従来より、カメラを用いて自車両の周囲を監視し、運転者が直接視で確認できない自車両周囲の死角を容易に確認できるようにすることで、後退時や駐車時等の低速走行時に障害物や歩行者などと接触する可能性を認識させる運転支援装置が知られている。【０００３】
この運転支援装置としては、様々な技術が提案されているが、例えば、カメラをリアトランク部等の車体後部に配設して、車両後方を撮像方向とし、当該カメラで撮像したカメラ映像を、運転者が目視できるダッシュボード上の表示モニタに表示させるリアビューカメラ装置が挙げられる。このリアビューカメラ装置は、自車両の進行方向と障害物との位置関係をカメラ映像によってより簡単に判断できるように、自車両前輪の操舵角に応じた予測軌跡をカメラ映像にオーバーレイ表示するものがある。また、従来より、カメラ映像を表示して視覚的に運転支援を行うシステムとは別に、車両の周囲に存在する障害物を、超音波の反射により検出する超音波センサ等を用いて、障害物の有無、自車両と障害物との位置関係、自車両との距離を警告音やＬＥＤ（Light Emitting Diode）等によって警告するものも知られている。【０００４】
また、近年においては、特開２００１−３１５６０３号公報に開示されているように、画像合成技術を利用して、あたかも自車両の上空にある仮想的なカメラから自車両を見下ろしたような俯瞰画像を表示し、且つこの俯瞰画像に障害物検出センサの検出範囲や、障害物との距離に応じた障害物が存在しない安全領域や、障害物の路面境界上に仮想オブジェクトを表示するものが提案されている。また、特開２００１−３１５６０３号公報には、障害物検出センサによって障害物を検出した場合に、警報音を出力している。【０００５】
しかしながら、上述したように、俯瞰映像に障害物検出センサの検出範囲を俯瞰画像に合成して表示すると同時に警報を行う場合に、障害物検出センサで検出された障害物が地表面から離れた空間上に存在するものであると、実際には障害物が障害物検出センサの検出範囲内に存在するにも拘わらず、俯瞰画像上では障害物検出センサの検出範囲内に障害物が存在しないように表示させてしまい、違和感を与えてしまう。【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、視点変換画像内に障害物検出範囲を表示させる場合に、当該障害物検出範囲と障害物との位置関係に違和感を生じさせない表示を行う車両周囲監視装置及び車両周囲監視方法を提供することを目的とする。
【発明の開示】
【０００７】
本発明に係る車両周囲監視装置は、自車両に設置され、自車両周囲の映像を撮像する少なくとも１台のカメラと、自車両に設置され、障害物検知エリア内における障害物を検出する障害物検出手段と、前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換する画像処理手段と、前記画像処理手段で変換した視点変換画像を表示させる表示手段とを備え、上述の課題を解決するために、前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行うと同時に、前記画像処理手段は、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障害物検出手段の障害物検出範囲を示す画像が接触するように画像合成する。
この車両周囲監視装置において、前記画像処理手段は、前記カメラの取り付け位置を視点にして前記障害物検出手段の障害物検出範囲を地面に投影した画像を、前記障害物検出範囲の画像とし、前記地面に投影した障害物検出範囲の画像を前記仮想視点から見た視点変換画像に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物画像に、前記障害物検出手段の障害物検出範囲の画像が接触するように画像合成する。
この車両周囲監視装置において、前記画像処理手段は、前記障害物検出手段の障害物検出範囲の画像を、前記視点変換画像に立体的に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物画像に、前記障害物検出手段の障害物検出範囲の画像が接触するように画像合成する。
【０００８】
本発明に係る車両周囲監視方法は、自車両に設置されたカメラによって自車両周囲の映像を撮像して前記カメラで撮像したカメラ画像を、自車両の上空の仮想視点から見た視点変換画像に変換して表示すると共に、前記カメラの撮像範囲における障害物を検出し、上述の課題を解決するために、前記障害物の存在が検出された場合には、前記障害物検出手段の障害物検出範囲内に障害物が侵入した場合に警告音により警報を行うと同時に、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障害物検出手段の障害物検出範囲を示す画像が接触するように画像合成する。
この車両周囲監視方法において、前記カメラの取り付け位置を視点にして前記障害物検出センサの障害物検出範囲を地面に投影した画像を、前記障害物検出範囲の画像とし、前記地面に投影した障害物検出範囲の画像を前記仮想視点から見た視点変換画像に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障害物検出センサの障害物検出範囲の画像が接触するように画像合成する。
この車両周囲監視方法において、前記障害物検出センサの障害物検出範囲の画像を、前記視点変換画像に立体的に合成することにより、前記カメラで撮影して前記視点変換画像に含まれる障害物に、前記障害物検出センサの障害物検出範囲の画像が接触するように画像合成する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明を適用した車両周囲監視装置の構成を示すブロック図である。
【図２】図２は、自車両に取り付けられたカメラ及び障害物センサの配設位置について説明する上面図である。
【図３】図３は、画像処理部によって作成する俯瞰画像を示す図である。
【図４】図４は、自車両の右後方に柱が存在した時の俯瞰画像について説明するための図であり、（ａ）は自車両の背面図、（ｂ）は自車両の上面図、（ｃ）は俯瞰画像である。
【図５】図５は、自車両が柱に近づいた時の他の俯瞰画像について説明するための図であり、（ａ）は自車両の背面図、（ｂ）は自車両の上面図、（ｃ）は俯瞰画像である。
【図６】図６は、自車両の右後方に他車両が存在した時の俯瞰画像について説明するための図であり、（ａ）は自車両の背面図、（ｂ）は自車両の上面図、（ｃ）は俯瞰画像である。
【図７】図７は、自車両が他車両に近づいた時の俯瞰画像について説明するための図であり、（ａ）は自車両の背面図、（ｂ）は自車両の上面図、（ｃ）は俯瞰画像である。
【図８】図８は、俯瞰画像内における障害物の位置ズレが発生する原因について説明するための図である。
【図９】図９（ａ）は、自車両の障害物検出センサの障害物検出範囲内に、他車両が存在している実際の状態を示す上面図、図９（ｂ）は、自車両の障害物検出センサの障害物検出範囲内に、他車両が存在している実際の状態を示す斜視図である。
【図１０】図１０は、障害物検出センサの障害物検出範囲を、カメラの視点から地面上に投影した領域を説明する斜視図である。
【図１１】図１１（ａ）は自車両の障害物検出範囲に他車両が存在しない時の俯瞰画像を示す図であり、図１１（ｂ）は自車両の障害物検出範囲に他車両が存在しているにも拘わらず自車両の障害物検出範囲に他車両が接触していない俯瞰画像を示す図である。
【図１２】図１２は、本発明を適用した車両周囲監視装置によって、障害物検出センサの障害物検出範囲をカメラの視点から地面上に投影した領域を、障害物検出範囲画像として合成した俯瞰画像を示す図である。
【図１３】図１３は、本発明を適用した車両周囲監視装置によって、障害物検出範囲を立体的に合成した俯瞰画像を示す図である。
【図１４】図１４は、本発明を適用した車両周囲監視装置によって、障害物検出範囲を地面上に投影した障害物検出範囲画像と、他車両を地面上に投影した位置を示すガイド線とを合成した俯瞰画像を示す図である。
【図１５】図１５は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させた俯瞰画像を示す他の図である。
【図１６】図１６は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させた俯瞰画像を示す他の図である。
【図１７】図１７は、障害物の位置ズレを把握させるためにオーバーレイ画像を合成させた俯瞰画像を示す他の図である。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。【００１１】
本発明は、例えば図１に示すように構成された車両周囲監視装置に適用される。この車両周囲監視装置は、画像処理部（画像処理手段）１に、少なくとも１台以上の複数のカメラ２−１，２−２，・・・，２−Ｎ（以下、総称する場合には単に「カメラ２」と呼ぶ。）と、地面から離間した空間上の障害物を検知する複数の障害物センサ（障害物検出手段）３−１，３−２，・・・，３−３（以下、総称する場合には単に「障害物センサ３」と呼ぶ。）と、表示装置４が接続されている。カメラ２−１，２−２，・・・，２−Ｎは、それぞれが自車両の異なる位置に配設され、それぞれによって異なる撮像方向とされている。また、障害物センサ３−１，３−２，・・・，３−３は、カメラ２と同様に、それぞれが自車両の異なる位置に配設され、それぞれによって異なる障害物検出範囲とされている。【００１２】
具体的には、図２に示すように、カメラ２−１，２−２，・・・，２−Ｎは、例えば画角が水平１８０度の超広角カメラであり、自車両の前方を撮像するカメラ２Ｆ、後方を撮像するカメラ２Ｂ、右側方を撮像する２Ｒ、左側方を撮像する２Ｌの４台のカメラからなる。これにより、カメラ２Ｆ，２Ｂ，２Ｒ，２Ｌは、後述の画像処理部１によって、図３に表示装置４に表示させる画像合成処理（視点変換処理）が施された俯瞰画像（視点変換画像）１００を示すように、４台のカメラによって撮像したフロントカメラ表示領域１０１Ｆ、リアカメラ表示領域１０１Ｂ、右側方カメラ表示領域１０１Ｒ、左側方カメラ表示領域１０１Ｌからなり、自車両の全周囲を把握させる画像を作成させることができる。【００１３】
なお、俯瞰画像１００は、図２に示すカメラ２Ｆ，２Ｂ，２Ｒ，２Ｌによって撮像したカメラ画像データを用いて、あたかも自車両を上空から見たように視点変換処理を施した画像である。また、俯瞰画像１００の略中央に描画された画像は、予め図示しないオーバーレイ画像記憶部に記憶された自車両の床面積に相当するサイズを有する自車両オーバーレイ画像１０２である。更に、俯瞰画像１００における各表示領域間には、黒い帯状の仕切り線が配設されている。なお、各表示領域は、実際の撮像領域に応じて、この例とは異なるように割り当てることも可能である。【００１４】
また、障害物センサ３−１，３−２，・・・，３−３は、設置位置から扇状に９０度〜１４０度程度の幅であって、自車両から１ｍ程度の距離に存在する障害物を検出する範囲（障害物検出範囲）が設定されている。この障害物センサ３−１，３−２，・・・，３−３は、図２に示すように、右前方方向の障害物を検出する障害物センサ３ＦＲ、左前方方向の障害物を検出する障害物センサ３ＦＬ、右後方方向の障害物を検出する障害物センサ３ＢＲ、左後方方向の障害物を検出する障害物センサ３ＢＬの４台の障害物センサからなる。これらの障害物センサ３ＦＲ，３ＦＬ，３ＢＲ，３ＢＬは、図３におけるフロントカメラ表示領域１０１Ｆに存在する障害物を障害物センサ３ＦＲ，３ＦＬで検出し、リアカメラ表示領域１０１Ｂに存在する障害物を障害物センサ３ＢＲ，３ＢＬで検出し、右側方カメラ表示領域１０１Ｒに存在する障害物を障害物センサ３ＦＲ，ＢＲで検出し、左側方カメラ表示領域１０１Ｌに存在する障害物を障害物センサ３ＦＬ，３ＢＬで検出できるようになっている。【００１５】
以下、図２に示すように、カメラ２−１，２−２，・・・，２−Ｎがカメラ２Ｆ，２Ｂ，２Ｒ，２Ｌで構成され、障害物センサ３−１，３−２，・・・，３−３が障害物センサ３ＦＲ，３ＦＬ，３ＢＲ，３ＢＬで構成された場合について説明する。【００１６】
画像処理部１は、図１に示すように、カメラ２Ｆ，２Ｂ，２Ｒ，２Ｌで撮像した車両周囲のカメラ画像データを、それぞれのカメラ２Ｆ，２Ｂ，２Ｒ，２Ｌに対応した入力バッファであるフレームバッファ１１−１，１１−２，・・・，１１−Ｎ（以下、総称する場合には単に「フレームバッファ１１」と呼ぶ。）で入力して一時記憶する。このフレームバッファ１１に記憶された複数のカメラ画像データは、画素合成部１３による画像合成処理によって俯瞰画像１００を作成するために使用される。【００１７】
また、画像処理部１は、障害物センサ３ＦＲ，３ＦＬ，３ＢＲ，３ＢＬからのセンサ信号を単一の障害物判定部１２で入力する。障害物判定部１２は、入力した各センサ信号から、自車両周囲における障害物の有無、障害物が存在する時の位置及び距離を算出する。そして、障害物判定部１２は、当該算出した障害物の有無、障害物の位置及び距離をテーブル切換部１４に出力する。【００１８】
テーブル切換部１４は、障害物判定部１２からの障害物の有無、障害物の位置及び距離を示す情報に応じて、画素合成部１３による画像合成処理で参照するテーブル（アドレス変換テーブル）を、テーブル記憶部１５に記憶されている複数のアドレス変換テーブルのうち、何れかのアドレス変換テーブルに切り換える。【００１９】
このテーブル記憶部１５に記憶されているアドレス変換テーブルには、表示装置４に出力する出力画像である俯瞰画像１００の各ピクセルと、当該ピクセルに格納する画素データを特定する情報との対応関係が記述されている。具体的には、アドレス変換テーブルには、出力画像である俯瞰画像１００を構成する各ピクセルにカメラ画像データを格納するか、自車両や障害物を表すオーバーレイ画像を格納するか、カメラ画像データを格納する場合においてどのフレームバッファ１１内のどのアドレスから画素データを取り出すか、オーバーレイ画像を格納する場合においてどの色情報を格納するかを記述している。すなわち、アドレス変換テーブルは、画素合成部１３によって、俯瞰画像１００を作成するためのカメラ画像データをフレームバッファ１１又は図示しないオーバーレイ画像記憶部の何れかから取り出させるか、当該取り出されたカメラ画像データ又はオーバーレイ画像を映像信号生成部１６内の出力バッファのどのアドレスに格納させるかという画像合成処理の内容を記述している。【００２０】
画素合成部１３は、映像信号生成部１６で選択されたアドレス変換テーブルを参照して、フレームバッファ１１に記憶されたカメラ画像データ、又は、自車両や障害物等を表すオーバーレイ画像を取り出して、映像信号生成部１６内の出力バッファに格納させる。これにより、画素合成部１３は、各カメラ２Ｆ，２Ｂ，２Ｒ，２Ｌで撮像した複数のカメラ画像データを合成した俯瞰画像１００を映像信号生成部１６内に格納させる。【００２１】
映像信号生成部１６は、画素合成部１３によって１フレーム分の俯瞰画像１００が出力バッファに格納されると、当該俯瞰画像１００を表示装置４に出力して、表示装置４に表示させる。この映像信号生成部１６の出力バッファから表示装置４への俯瞰画像１００の出力タイミングは、画素合成部１３による画像合成処理のタイミングと共に、予め設定されている。【００２２】
また、障害物判定部１２には、当該障害物判定部１２によって障害物センサ３の障害物検出範囲に障害物が存在することを検出した場合に、その旨の警報音を出力する警報出力部１７が接続されている。この警報出力部１７は、運転者に対して所定の警報音を出力するスピーカなどからなる。【００２３】
つぎに、上述したように構成された車両周囲監視装置によって、俯瞰画像１００を表示装置４に表示させる具体的な例について説明する。【００２４】
例えば図４（ａ）、（ｂ）に示すように、自車両の右後方に障害物としての柱１１０が存在する場合、俯瞰画像１００は、図４（ｃ）に示すように、自車両オーバーレイ画像１０２の右下であってリアカメラ表示領域１０１Ｂ内に障害物画像１２０を含む。この柱１１０のように、地面に接して垂直に立っている障害物である場合、俯瞰画像１００において柱１１０と地面との接触面が自車両に対して正しい位置に表示でき、図４（ａ）の状態で真っ直ぐ後退すると、図５（ａ）、（ｂ）に示すように、自車両が柱１１０に接触することを把握させることができる。これに対し、画像処理部１は、図５（ｃ）に示すように、リアカメラ表示領域１０１Ｂにおける柱１１０が歪んで表示される障害物画像１２０’を作成し、当該障害物画像１２０’を自車両オーバーレイ画像１０２に接触しているように表示できる。【００２５】
また、図６及び図７に示すように、図４及び図５における柱１１０の位置に、停車した他車両１３０が存在する場合、自車両に最も近い位置に存在する障害物は、当該他車両１３０のバンパーであり、柱１１０とは異なって地面から所定の高さに存在するものである。【００２６】
このような地面から空中に存在する場合には、カメラ２Ｆ，２Ｂ，２Ｒ，２Ｌの取付高さとの位置関係によって、自車両と他車両１３０との位置関係が俯瞰画像１００内でずれてしまうという位置ズレという現象が発生する。すなわち、図６（ａ）及び図６（ｂ）に示すように、自車両が真っ直ぐに後退した時には、他車両１３０と接触してしまう位置関係であるにも拘わらず、図６（ｃ）に示すように、自車両と他車両１３０とが接触しないような俯瞰画像１００となってしまう可能性がある。また、図６（ａ）、図６（ｂ）に示す状態から、自車両が真っ直ぐに後退して、図７（ａ）、図７（ｂ）のように、実際には自車両と他車両１３０とが接触している状態となっても、図７（ｃ）のように接触していないような他車両画像１４０’を含む俯瞰画像１００となる可能性がある。【００２７】
このように、俯瞰画像１００において自車両と他車両１３０との位置関係がずれる現象は、図８に示すように、カメラ２の地上高さＨ１と障害物の地上高さＨ２との関係によって、カメラ２から障害物までの距離が、空中にある障害物に関しては実際よりもカメラ２から離れている位置にあるように撮像されるという、俯瞰画像１００を生成する原理そのものに起因する。すなわち、実際であれば、カメラ２から距離Ｄ１だけしか障害物との距離がないにも拘わらず、カメラ撮像範囲における距離Ｄ２に障害物が撮像されるために、俯瞰画像１００には、カメラ２から、距離Ｄ１よりも遠くの距離Ｄ２の位置に障害物が含まれてしまう。【００２８】
更に具体的には、図９（ａ）に上空から見た図、図９（ｂ）に自車両の斜め後方から見た図を示すように、実際に、障害物センサ３ＢＲの障害物検出範囲３ａ内に障害物である他車両１３０が存在する場合を考える。この場合、カメラ２の設置位置が障害物センサ３の設置位置よりも上方に存在する場合、カメラ２が撮像する障害物検出範囲３ａは、図１０に示すように、障害物検出範囲３ａを地面に投影した領域３ｂのみならず、カメラ２の設置位置から障害物検出範囲３ａの端部を通過して地面に投影した範囲の領域３ｃとなる。【００２９】
したがって、実際には、障害物検出範囲３ａ内に他車両１３０が存在していても、図１１（ａ）に示すような俯瞰画像１００に、障害物検出範囲３ａを垂直に地面に投影した領域３ｂを示す障害物検出範囲画像１５０を合成させても、図１１（ｂ）に示すように、カメラ２で撮像して視点変換された俯瞰画像１００では、障害物検出範囲３ａ内に他車両画像１４０が接触していることを提示できない。【００３０】
これに対し、本発明を適用した車両周囲監視装置では、障害物センサ３の障害物検出範囲３ａ内に障害物が侵入した場合に、警報出力部１７によって警告音を出力させて警報を行うと同時に、画素合成部１３によって、カメラ２で撮影して俯瞰画像１００に含まれる障害物の画像に障害物センサ３の障害物検出範囲３ａの画像が接触するように画像合成して、当該俯瞰画像１００を表示装置４に表示させる。【００３１】
この障害物センサ３の障害物検出範囲３ａの画像は、図１０に示すように、カメラ２が障害物検出範囲３ａを撮像した時に、当該カメラ２の取り付け位置を視点にして障害物検出範囲３ａを地面に投影した範囲の領域３ｃを示すオーバーレイ画像（以下、障害物検出範囲画像と呼ぶ。）である。【００３２】
このような車両周囲監視装置は、障害物判定部１２によって障害物を検出していない通常時には、画素合成部１３で処理したそのままの俯瞰画像１００を表示させ、障害物判定部１２によって障害物を検出した場合には、俯瞰画像１００上に、障害物検出範囲画像を合成して表示させる。これにより、車両周囲監視装置は、障害物を検出した場合には、地面に接触していない空中の障害物が存在した場合に、視点変換画像を行った俯瞰画像１００において障害物センサ３の障害物検出範囲３ａ内に障害物が存在することを認識させる。【００３３】
具体的には、図９に示すような自車両と他車両１３０との位置関係である時に、自車両の右後方に障害物判定部１２によって障害物の存在を検出した場合には、図１１に示すような俯瞰画像１００を、図１２乃至図１４の何れかのような表示に切り換え、障害物判定部１２によって障害物が検出されなくなったら、図１１の俯瞰画像１００に表示を戻す。【００３４】
図１２に示す俯瞰画像１００は、リアカメラ表示領域１０１Ｂ内に、自車両の右後方で検出された障害物である他車両画像１４０を表示させると共に、自車両後方の所定の領域に、半透明で、カメラ２の設置位置から障害物検出範囲３ａの端部を通過して地面に投影した範囲の領域３ｃを示す障害物検出範囲画像１５１を合成した画像である。【００３５】
このような表示を行う場合、障害物判定部１２では、自車両の右後方で障害物を検出したことをテーブル切換部１４に通知し、テーブル切換部１４では、障害物検出範囲画像１５１を自車両オーバーレイ画像１０２の後方側に表示させるようなアドレス変換テーブルを選択する。これによって、画素合成部１３では、自車両オーバーレイ画像１０２の後方に、カメラ画像データではなく障害物検出範囲画像１５１を表示させた俯瞰画像１００を作成できる。同時に、障害物判定部１２は、警報出力部１７を動作させて、障害物検出範囲３ａ内に他車両１３０が存在することを警報する。【００３６】
また、図１３に示す俯瞰画像１００は、他車両１３０を検出した障害物センサ３ＢＲの障害物検出範囲３ａを立体的な障害物検出範囲画像１５２を合成した画像である。この障害物検出範囲画像１５２は、障害物検出範囲３ａを上空から見て地面上に投影した領域ａ（図１０の領域３ｂ）を底面とし、当該底面の領域ａに図１０に示す領域３ｃに相当する平面ｂ，ｃを接続して構成されている。この平面ｂ，ｃは、カメラ２の取り付け位置を視点にして障害物センサ３の障害物検出範囲３ａを地面に投影した領域の境界から垂直方向に伸びる平面である。【００３７】
この障害物検出範囲画像１５２の端点ｄは、図１０に示すように、カメラ２の設置位置から障害物検出範囲３ａの一方の上方端部を通過して地面に投影した点であり、障害物検出範囲画像１５２の端点ｅは、図１０に示すように、カメラ２の設置位置から障害物検出範囲３ａの他方の上方端部を通過して地面に投影した点を示しても良い。このとき、テーブル切換部１４は、立体的な障害物検出範囲画像１５２を自車両オーバーレイ画像１０２の後方側に表示させるアドレス変換テーブルを選択することになる。また、この立体的な障害物検出範囲画像１５２の立体面ｂと立体面ｃとは、当該立体的ｂ，ｃとの区別を容易とするために、異なる表示色とすることが望ましい。
【００３８】
このように、障害物検出範囲３ａの画像として、立体的な障害物検出範囲画像１５２を表示させることによって、他車両１３０が地面から離れた状態で障害物センサ３の障害物検出範囲３ａ内に存在していることを提示することができる。【００３９】
更に、図１４に示す俯瞰画像１００は、障害物検出範囲３ａを地面上に投影した領域（図１０の領域３ｂ）の障害物検出範囲画像１５０と、地面から離間した空間に存在する他車両画像１４０を地面上に投影した位置のガイド線１５３とを合成した画像である。ガイド線１５３は、他車両１３０の端部である車体部分およびバンパー部分を地面上に投影した線を示し、障害物検出範囲画像１５０と接触して表示されている。【００４０】
このとき、テーブル切換部１４は、障害物検出範囲画像１５０を自車両オーバーレイ画像１０２の後方側に表示させるアドレス変換テーブルを選択し、画素合成部１３は、障害物判定部１２によって算出した地面から離間した他車両１３０の一部が存在する距離の位置にガイド線１５３を合成させた俯瞰画像１００を作成する。この画素合成部１３は、予め、俯瞰画像１００内において障害物センサ３からの距離座標を記憶しており、障害物判定部１２で算出された他車両１３０までの距離の俯瞰画像１００内の位置にガイド線１５３を合成する。これによって、ガイド線１５３は、他車両画像１４０を地面上に投影される形態で表示される。【００４１】
これによって、ガイド線１５３は、障害物検出範囲画像１５０と重なる形態で俯瞰画像１００に合成され、障害物検出範囲３ａ内に他車両１３０が存在していることを運転者に提示できる。【００４２】
更にまた、俯瞰画像１００における自車両オーバーレイ画像１０２と他車両画像１４０との位置関係が、実際の自車両と他車両１３０との位置関係とずれていることを把握させる他の手法としては、図１５乃至図１７に示すように、俯瞰画像１００の略中心に描画させている自車両オーバーレイ画像１０２の表示形態を変更させても良い。【００４３】
図１５に示す俯瞰画像１００は、右後方に他車両画像１４０を表示させると共に、自車両オーバーレイ画像１０２の左右側方に設けられたオーバーレイ画像１６０Ａ、１６０Ｂを設け、他車両画像１４０が存在する方向におけるオーバーレイ画像１６０Ｂを警報色で表示させる。このとき、テーブル切換部１４は、自車両オーバーレイ画像１０２の側方に、半透明のオーバーレイ画像１６０Ａと警報色のオーバーレイ画像１６０Ｂとを、自車両オーバーレイ画像１０２の両側方にそれぞれ表示させるアドレス変換テーブルを選択することになる。これによって、自車両の床面積よりも、自車両オーバーレイ画像１０２の面積を大きくする。【００４４】
また、図１６に示す俯瞰画像１００は、自車両オーバーレイ画像１０２を、横方向に拡大させた仮想的な自車両オーバーレイ画像１０２’に変更する。このとき、テーブル切換部１４は、自車両オーバーレイ画像１０２の幅を大きくした自車両オーバーレイ画像１０２’を表示させるアドレス変換テーブルを選択することになる。【００４５】
更に、図１７に示すように、自車両オーバーレイ画像１０２を、横方向に拡大させると共に立体的に拡大させて、仮想的な自車両オーバーレイ画像１０２’に変更する。このとき、テーブル切換部１４は、自車両オーバーレイ画像１０２の幅を大きくし、且つ、立体的な自車両オーバーレイ画像１０２’を表示させるアドレス変換テーブルを選択することになる。【００４６】
このように、障害物が検出された場合に、自車両の床面積相当のサイズの自車両オーバーレイ画像１０２から、幅方向に拡大させることによって、自車両が真っ直ぐに後退すると、自車両と他車両画像１４０とが接触するような位置関係を運転者に把握させることができる。【００４７】
また、図１５乃至図１７のように、自車両オーバーレイ画像１０２を拡大させて表示させる時に、警報出力部１７によって、他車両１３０が障害物検出範囲３ａ内に存在することを警報音で把握させてもよい。これにより、実際には障害物センサ３で検出した障害物と自車両とが接触する可能性があり、その旨を確実に運転者に提示できる。【００４８】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。【００４９】
すなわち、上述した俯瞰画像１００の表示例では、障害物検出範囲画像を半透明で表示させることを説明したが、これに限らず、障害物検出範囲画像を点滅させても良い。
【産業上の利用可能性】
【００５０】
本発明によれば、障害物が検出された場合には、警報を発すると共に障害物の画像と障害物検出範囲とが接触するように画像合成をするので、障害物が地面から離れて存在している場合であって視点変換画像における障害物の位置ズレが発生しても、障害物検出範囲と障害物との位置関係に違和感を生じさせない表示を行うことができる。
【図１】
0004760831.tif 000002
【図２】
0004760831.tif 000003
【図３】
0004760831.tif 000004
【図４】
0004760831.tif 000005
【図５】
0004760831.tif 000006
【図６】
0004760831.tif 000007
【図７】
0004760831.tif 000008
【図８】
0004760831.tif 000009
【図９】
0004760831.tif 000010
【図１０】
0004760831.tif 000011
【図１１】
0004760831.tif 000012
【図１２】
0004760831.tif 000013
【図１３】
0004760831.tif 000014
【図１４】
0004760831.tif 000015
【図１５】
0004760831.tif 000016
【図１６】
0004760831.tif 000017
【図１７】
0004760831.tif 000018