(57)【要約】【課題】車載カメラで車両周囲の画像を監視し、現在の画像では表示できない領域に移動物が移動してきた場合には、移動物を障害物として検出し、ディスプレイに表示することで、運転者に現在の状態を正確に報知することが実現できる車両周囲監視装置を提供することを目的とする。【解決手段】上記の目的を達成するために、本発明では、過去の画像から現在の画像では表示できない補完領域を切り出し、この補完画像を現在の画像に合成すると共に、所定の視点から車載カメラによって撮像した画像を所定の視点よりも高いカメラから撮像した画像に変換して表示するようにしており、補完領域に存在する障害物をレーザレーダで検出して、障害物が検出された場合には補完領域にハッチング処理を行って表示することで、障害物の存在を報知するようにした。【選択図】　　　図７
2004040523.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて車両周囲の一定の領域を第１の視点より撮像する撮像手段と、
前記撮像手段で、第１時刻に撮像された第１画像と、前記第１時刻よりも時間が経過した第２時刻に撮像された第２画像とに基づいて、前記第１画像のうち、前記第２画像で撮像されない前記車両の第１周囲領域の画像を、前記第２画像に補完した第３画像を生成する画像補完手段と、
前記画像補完手段によって生成された第３画像を前記第１の視点よりも高い第２の視点からの表示画像に変換する画像変換手段と、
前記画像変換手段によって変換された表示画像を表示する表示手段と、
前記第１周囲領域に障害物が存在するかどうかを検出する障害物検出手段と、
前記障害物検出手段によって第１周囲領域に障害物が検出された場合、障害物の存在を報知する報知手段とを備えたことを特徴とする車両周囲監視装置。
【請求項２】
請求項１に記載の車両周囲監視装置において、
前記報知手段は前記障害物検出手段によって障害物が検出された場合に、前記表示画像に障害物の存在を示す障害物画像を重畳させる重畳表示手段を有することを特徴とする車両周囲監視装置。
【請求項３】
請求項２に記載の車両周囲監視装置において、
前記重畳表示手段により重畳される障害物画像は、前記第３画像よりも強調された画像であることを特徴とする車両周囲監視装置。
【請求項４】
請求項３に記載の車両周囲監視装置において、
前記強調された画像はハッチング処理された画像であることを特徴とする車両周囲監視装置。
【請求項５】
請求項３に記載の車両周囲監視装置において、
前記強調された画像はマーカーであることを特徴とする車両周囲監視装置。
【請求項６】
請求項３に記載の車両周囲監視装置において、
前記強調された画像は、前記第１周囲領域の画像の表示を禁止することを特徴とする車両周囲監視装置。
【請求項７】
請求項１から請求項６のいずれかに記載の車両周囲監視装置において、
前記障害物検出手段は、レーザレーダ、ミリ波レーダ、ソナーの少なくとも１つであることを特徴とする車両周囲監視装置。
【請求項８】
請求項１から請求項７のいずれかに記載の車両周囲監視装置において、
前記表示手段は、車両の予想進路線を表示することを特徴とする車両周囲監視装置。
【請求項９】
請求項１から請求項８のいずれかに記載の車両周囲監視装置において、
前記表示手段は、前記車両の一部を表示することを特徴とする車両周囲監視装置。
【請求項１０】
請求項１から請求項９のいずれかに記載の車両周囲監視装置において、
前記第２画像に基づいて、他車両を検出する車両検出手段を備え、
前記表示手段は、前記車両検出手段により他車両が検出された場合に、他車両を示すマーカーを表示することを特徴とした車両周囲監視装置。
【請求項１１】
請求項１から請求項１０のいずれかに記載の車両周囲監視装置において、
前記報知手段は、前記障害物検出手段によって障害物が検出された場合に警報を行う警報手段を備えたことを特徴とする車両周囲監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は車両周囲監視装置に関する。
【０００２】
【従来技術】
従来の技術として、特開２００２−２９３１４号公報に開示された技術が知られている。
【０００３】
上記従来技術は、車両に搭載されたカメラによって撮像した過去の画像から、現在の撮像領域では撮像できない画像を切り出し、切り出した過去の撮像画像を現在の画像に補完して表示することで、欠落部分の少ない画像を表示する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術は、現在の画像に過去の画像を補完するようにしていたので、表示されている補完領域の画像が必ずしも現在の状況と一致しているとは限らず、車両周囲の現在の状態を正確に報知できない可能性があった。
【０００５】
本発明は上記課題に鑑みて、車両周囲の現在の状態を正確に報知することができることを目的としている。
【０００６】
【課題を解決するための手段】
本発明は上記課題を解決するために、第１時刻に撮像された第１画像と、前記第１時刻よりも時間が経過した第２時刻に撮像された第２画像とに基づいて、前記第１画像のうち、前記第２画像で撮像されない前記車両の第１周囲領域の画像を、前記第２画像に補完した第３画像を生成する画像補完手段と、
前記画像補完手段によって生成された第３画像を前記第１の視点よりも高い第２の視点からの表示画像に変換する画像変換手段と、
前記画像変換手段によって変換された表示画像を表示する表示手段と、
前記第１周囲領域に障害物が存在するかどうかを検出する障害物検出手段と、前記障害物検出手段によって第１周囲領域に障害物が検出された場合、障害物の存在を報知する報知手段とを備えることで上記目的を達成する。
【０００７】
【発明の効果】
本発明によれば、第２画像に第１画像を補完した第３画像を、第２の視点からの表示画像に変換し、表示手段によって表示すると共に、第１周囲領域に障害物が検出された場合に、報知手段で報知することにしたので、現在の状態を正確に報知することができる。
【０００８】
【発明の実施の形態】
以下、本発明の車両周囲監視装置の実施の形態を図１〜９を参照して詳細に説明する。
【０００９】
図１は本発明の車両周囲監視装置の構成を示す図である。
【００１０】
１は車両後部中央付近に配置された車載カメラであって、車両後方の定められた領域（一定領域）を所定の視点より撮像するＣＣＤカメラである。ここでは説明の簡略化のため、車載カメラ１はピンホールカメラのようにレンズ収差のないものとして扱う。
【００１１】
８は車両の速度を検出する車速センサであり、９は車両の舵角を検出する操舵角センサである。
【００１２】
１２は赤外線の送受光によって後述する補完領域に障害物が存在しているかどうかを検出するレーザレーダである。
車載カメラ１により撮像された画像と、車速センサ８により検出された車速と操舵角センサ９により検出された舵角と、レーザレーダ１２により検出された障害物の有無は各々、バックモニタＥＣＵ（エレクトリックコントロールユニット）２へと出力される。
【００１３】
以下、バックモニタＥＣＵ２について説明する。３は車載カメラ画像フレームメモリで、車載カメラ１が撮像した画像を所定のタイミング（以下、サンプルタイムと記す）で記録する。記録された画像は画像処理器Ａ４へと出力される。
【００１４】
画像処理器Ａ４は、車載カメラ画像フレームメモリ３から出力された画像に対し、車載カメラ１よりも高い視点に配置した仮想カメラ位置から地面を撮像した画像（以下、仮想カメラ画像と記す。）となるように画素の並び替えを行う。ここでは仮想カメラ画像は、上空より真下を見下ろしたように画素を並び替えるものとする。
【００１５】
この仮想カメラ画像は仮想カメラ画像フレームメモリ６へと出力される。
【００１６】
仮想カメラ画像フレームメモリ６は、仮想カメラ画像を記録するもので、ここで記録された画像は画像合成器１０へと出力される。画像合成器１０では後述する合成処理が行われ、合成画像は表示画像フレームメモリ１１で記録される。
【００１７】
表示画像フレームメモリ１１に記録された合成画像は、スーパーインポーザー１５と画像処理器Ｂ５へとそれぞれ出力される。
【００１８】
車速センサ８および操舵角センサ９からの出力に基づいて、マイコン１３は前回のサンプルタイムと今回のサンプルタイムとの間での車両の移動位置・距離を算出する。この車両の移動位置・距離に基づいて、マイコン１３は補完を行う領域を決定し、画像処理部Ｂ５へと出力する。
【００１９】
画像処理器Ｂ５は、マイコン１３から出力された補完領域の部分の画像を表示画像フレームメモリ１１から出力された合成画像から切り出す処理を行う。この切り出された画像（以下、補完画像と記す。）は補完画像フレームメモリ７へと出力される。
【００２０】
補完画像フレームメモリ７は画像処理器Ｂ５から出力された補完画像を記録する。仮想カメラ画像フレームメモリ６で記録された仮想カメラ画像および補完画像フレームメモリ７で記録された補完画像は画像合成器１０へと出力される。
【００２１】
画像合成器１０は、仮想カメラ画像と補完画像とを１つの画像に合成する。合成された合成画像は表示画像フレームメモリ１１へ記録され、記録された画像はスーパーインポーザー１５へと出力される。
【００２２】
１４はマーカー発生器で、マイコン１３の処理に基づき、様々なマーカーを発生させる。マーカー発生器１４で発生させたマーカーはスーパーインポーザー１５へと出力される。
【００２３】
スーパーインポーザー１５は、表示画像フレームメモリ１１で記録された合成画像にマーカー発生器１４で発生させたマーカーをインポーズしてバックモニタ用の表示画像を完成させる。
【００２４】
１８はシフトポジションがどの位置に選択されているかを検知するシフトポジションスイッチである。シフトポジションスイッチ１８により検知されたシフトポジションの位置とスーパーインポーザー１５による表示画像はカーナビゲーションＥＣＵ（エレクトリックコントロールユニット）へと出力される。
【００２５】
１７はカーナビゲーションモジュールで、地図表示や交差点案内などの各種処理が行われ、ナビゲーション画像が作成される。作成されたナビゲーション画面は画像切替え器１９へと出力される。
【００２６】
画像切替え器１９は、シフトポジションスイッチ１８がリバース位置を選択されている場合は、スーパーインポーザー１５より出力される表示画像を選択し、シフトポジションスイッチ１８がリバース位置以外の場合にはカーナビゲーションモジュール１７より出力されるナビゲーション画像を選択する。
【００２７】
２０はディスプレイで、車両室内のセンターコンソール付近に配置され、画像切替え器１９により選択された画像を表示する。
【００２８】
図２は画像処理器Ａ４の処理のうち、画像を車両を中心とした視点ａから車載カメラの視点ａ′に変換するための説明図である。図２において車両を中心としたワールド座標（ｘ，ｙ，ｚ）は車両最後部中央で路面上を原点とし、車両左右方向がｘ軸で、助手席がｘ＞０、車両前後方向がｙ軸で、後ろ方向がｙ＞０、車両上下方向がｚ軸で、上方向がｚ＞０とする。ここで車載カメラ１は、車載カメラ１のレンズ位置を（０，０，ｚ０）とし、光軸はｘ軸周りのピッチ角をθｐ（上側が正）、ｚ軸周りのヨー角及び光軸周りのロール角を０度とする。カメラ座標はカメラの（ｘ′，ｙ′，ｚ′）レンズ中心を原点とし、ｙ′軸はカメラ光軸で撮影を正とする。このときワールド座標からカメラ座標への座標変換の行列式は以下のとおりである。
【００２９】
2004040523.tif 000003
以上の変換式によって車両を中心とした視点ａから車載カメラの視点ａ’に変換することができる。
【００３０】
次に図３は画像処理器Ａ４の処理のうち、上記で説明した車載カメラ１のカメラ座標（ｘ′，ｙ′，ｚ′）から撮像面座標（ｘ″，ｚ″）への座標に変換するための説明図である。
図３において撮像面座標（ｘ″，ｚ″）は車載カメラ１の撮像面ｂの中心を原点Ｏ’とし、水平方向をｘ″軸、垂直方向をｚ″軸とする。カメラ座標から撮像面座標への座標変換は焦点距離をｆとすると次式となる。
2004040523.tif 000004
以上の変換式によってカメラ座標から撮像面座標に変換することができる。
【００３１】
次に図４は画像処理器Ａ４の処理のうち、車載カメラ１から撮像した画像を車載カメラ１よりも高い視点にある仮想カメラから真下の地面を撮像した仮想カメラ画像に変換する処理の説明図である。
【００３２】
図４（Ａ）においてディスプレイ２０の表示領域に表示される画面の座標を（ｈ，ｖ）とする。表示領域の中心を原点とし、水平方向をｈ軸、垂直方向をｖ軸とする。この座標への変換方向は撮像面の座標（ｘ″，ｚ″）をワールド座標の地面上の座標系、すなわちｚ＝０とした（ｘ，ｙ）座標で表す。式（１）より逆変換は、
2004040523.tif 000005
となる。
【００３３】
式（３）と式（２）及びｚ＝０からｘ′，ｙ′，ｚ′を消去すると、
2004040523.tif 000006
となり、（ｘ″，ｚ″）平面から（ｘ，ｙ）平面に変換できる。
【００３４】
以上の変換式から、仮想カメラ画像に変換することができる。
【００３５】
次に上記（ｘ，ｙ）平面の中から任意の範囲を画面上に表示させるための処理を説明する。　任意の範囲は、例えば図４（Ｂ）に示すように車両後部０．５［ｍ］を含み、ｘ軸が幅４［ｍ］、ｙ軸が幅３［ｍ］のエリアとし、この任意の範囲を仮想カメラで撮影したものとして抽出し、図４（Ａ）のような画面座標に変換する。状況に応じては上記抽出範囲を運転者が可変できるようにすれば、より利便性が向上する。
【００３６】
図４（Ａ）のディスプレイ２０の表示領域は、補完領域の画像ｍと撮像画像ｎから成る。ここで仮想カメラフレームメモリ６の画素数を例えば水平を６４０画素、垂直を４８０画素とすると、（ｘ，ｙ）平面から（ｈ，ｖ）平面への変換式は次式となる。
2004040523.tif 000007
ここで（ｈ，ｖ）平面における補完領域の画像の不等式ｖ＜ｆ（ｈ）を求める。撮像する範囲はカメラに近いほどｘ軸での幅が狭く、遠くなると広くなる。よって撮像面の左端のｘ″座標を−ｘ″０、右端のｘ″座標をｘ″０とすると、この値より絶対値の大きい範囲が撮像されない補完領域の画像となるため、式（４）よりｚ″を消去しｙ＜ｇ（ｘ）で表すと、
2004040523.tif 000008
となる。
【００３７】
これを式（５）によりｈ、ｖに変換するとｖ＜ｆ（ｈ）は次式の通りとなる。
2004040523.tif 000009
そしてサンプルタイムｔ１のタイミングで撮像し、以上の処理を行った画像が仮想カメラ画像フレームメモリ６に記録される。
【００３８】
次に画像処理部Ｂ５の処理について図５を用いて説明する。
【００３９】
サンプルタイムｔ１で撮像された画像の任意の点ｐが画面上では（ｈ１，ｖ１）に位置していたと仮定し、サンプルタイムｔ１から車両が左側方向となるサンプルタイムｔ２の（ｈ２，ｖ２）に後退した場合を説明する。
【００４０】
操舵角θｓ　（右操舵が正）、ホイールベースＬ、ステアリングギア比ｎとすると、左右後輪の中心の回転半径Ｒ（右旋回が正）は次式となる。
2004040523.tif 000010
尚、旋回時にはタイヤの横滑りによる影響が車速の２乗で発生するが、本装置が使用されるのは約１０［Ｋｍ／Ｈ］以下の低速域であるため、この影響は無視できる。　更に車速をｖとすると１周期の回転角は次式となる。
2004040523.tif 000011
そして回転半径Ｒ、操舵角θ１及びリアオーバーハング−Ｌ０により次式の座標変換式が成立し、点ｐは（ｈ１，ｖ１）から（ｈ２，ｖ２）へ移動する。
2004040523.tif 000012
前回のサンプルタイムｔ１で記録した表示画像フレームメモリ１１の画素を式（１０）により移動し、これを補完画像フレームメモリ７に記録する。
【００４１】
画像合成器１０では撮像画像ｎに関しては仮想カメラ画像フレームメモリ６で記録した仮想カメラの画像を用いて、補完領域の画像ｍに関しては補完画像用フレームメモリ７で記録した補完画像を用いて合成する。この合成画像はスーパーインポーザー１５へ送られるとともに、次回のサンプルタイムｔ３での補完処理のために画像処理器へと出力される。
以上の処理により、車両に搭載されたカメラによって撮像した過去の画像から現在、撮像できない領域に画像を補完することができる。
【００４２】
次に図６はレーザレーダ１２で障害物を検出する検出方法についての説明図である。補完領域を検出範囲とするためにレーザレーダを車両の右後端部と左後端部に設置し、発射したレーザ光が物体に反射して戻るまでの時間で距離を計測する。またレーザ光を回転スキャンさせることで、検出物体の角度情報を得ることができる。
【００４３】
（ｘＬ，０）に配置された左レーダが捕らえた障害物の距離ＬＬと角度θＬから障害物のワールド座標における位置（ｘｒ，ｙｒ）を次式で求める。
2004040523.tif 000013
上記説明は左側の例であるが、右側の処理も同等に行う。ここでは一例としてレーザレーダの場合で説明したが、ミリ波レーダを使用してもよいし、また安価で小型であるという特徴を有するソナーを使用してもよい。
【００４４】
次に図７を用いて、本実施の形態によって、ディスプレイ２０に表示される画像について説明する。
【００４５】
ディスプレイ２０の表示領域には、自車両の後端を示す自車両マーカー２１と、自車両の予想進路を示す予想進路マーカー２２とが、車載カメラ１によって撮像された画像に加えて表示されている。
【００４６】
まず図７に示したディスプレイ２０の表示領域の右側を用いて、障害物が検出されていない場合について説明する。
【００４７】
２３は車載カメラ１によって撮像された現在（例えばサンプルタイムｔ２）の状況を示す現在画像で、２４は前回のサンプルタイムｔ１に撮像された画像に基づいて、補完処理された補完画像であり、レーザレーダ１２によって障害物が検出されていない場合には、この現在画像２３と補完画像２４とは、視認者には一つの繋がった画像として認識される。すなわち、視認者にとっては、現在画像２３と補完画像２４も車両周囲の現在の画像として認識される。なお、点線２５は、現在画像２３と補完画像２４との境界を便宜的に示す線であり、実際のディスプレイ２０には表示されていない。
【００４８】
次にディスプレイ２０の表示領域の左側を用いて、障害物が検出された場合について説明する。
【００４９】
補完画像２４は、過去の画像を用いて補完された画像であって、現在の画像ではないので、瞬間的に三輪車２６が補完画像２４が表示される車両周囲の領域へと移動してきた場合、この三輪車２６の存在をディスプレイ２０へと表示することができない。従って、レーザレーダ１２によって障害物の存在を検出した場合には、補完画像２４による表示画像部分に、ハッチング処理２７を行うことで、現在画像２３よりも強調した表示を行う。この表示を視認者が認識することで、補完画像２４部分に障害物が存在することを報知することができ、車両周囲の状況を正確に報知することができる。視認者は、この報知に基づいて、目視による確認を行うことができる。
【００５０】
以上説明したように本実施の形態においては、所定の視点から車載カメラ１によって撮像した画像を、所定の視点よりも高いカメラから撮像した画像に変換して、表示するようにしたので、視認者が車両周囲の状況を見易いという効果を有する。
【００５１】
また、過去の画像から、現在の画像では表示できない補完領域を切り出し、この補完画像を現在の画像に合成すると共に、この合成画像を仮想カメラ位置の画像に変換しているので、ディスプレイ２０に表示される画像が、表示領域の全領域に表示されることになり、違和感の少ない表示を行うことができるという効果を有する。
【００５２】
また、補完領域に存在する障害物をレーザレーダ１２で検出し、障害物が検出された場合には、補完領域にハッチング処理を行って表示し、障害物の存在を報知するようにしたので、車両周囲の状況を正確に報知することができるという効果を有する。
【００５３】
以上説明した実施の形態では、障害物が存在した場合には、補完画像２４にハッチング処理を行うようにしたが、「障害物がいます。目視して下さい。」というような文字表示を行ったり、障害物の存在をブザーによって警報音として発生させたりしてもよい。またハッチング処理に変えて補完画像を表示しない、すなわち黒色や白色の表示を行っても良い。また、障害物の存在を示す矢印を表示しても良い。
【００５４】
また上述した実施の形態では、車載カメラ１をピンホールカメラとして説明したが、広角レンズなどを使用しても同様の効果が得られる。
【００５５】
また、図８に示すように、撮像した画像内に存在する障害物、例えば駐車場に置かれたブロック２８を検出し、マーカーを表示させるようにしてもよい。また、自車両の予想軌跡内に、障害物が存在する場合には、マーカーを赤色２９として、強調させて表示してもよい。
【００５６】
また、図９に示すように、撮像する画像内に存在する障害物が車両などの移動物体３０である場合には、移動物体の移動方向をマーカー３１によって表示させるようにしても良い。この場合には、前述に画像処理器Ａ４によって、障害物の存在を検出するようにする。
【００５７】
なお上述した実施の形態では、車載カメラによって車両後方を撮像するようにしたが、車両の前方や、側方などの周囲に用いても同様の効果を有することはいうまでもない。
【００５８】
特許請求の範囲の構成要素と実施の形態の対応関係は次のとおりである。
すなわち、車載カメラ１が撮像手段を、画像処理器Ｂ５が画像補完手段を、画像処理器Ａ４が画像変換手段を、画像合成器１０が画像合成手段を、レーザレーダ１２が障害物検出手段を、スーパーインポーザー１５が重畳表示手段を、ディスプレイ２０が表示手段を、スーパーインポーザー１５およびディスプレイ２０が報知手段を、ブザーが警報手段を、画像処理器Ａ４が車両検出手段をそれぞれ構成する。尚、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本実施の形態において車両周囲監視装置の構成を示す図。
【図２】本実施の形態においてワールド座標からカメラ座標へ変換する説明図。
【図３】本実施の形態においてカメラ座標から撮像面座標へ変換する説明図。
【図４】本実施の形態において車載カメラで撮像した画像を車載カメラより高い視点に変換する説明図。
【図５】本実施の形態において過去の画像から現在、撮像できない領域に画像を補完する説明図。
【図６】本実施の形態においてレーザレーダによる障害物の検出方法の説明図。
【図７】本実施の形態においてディスプレイに撮像した補完領域内に存在する障害物をハッチングで強調させる説明図。
【図８】本実施の形態においてディスプレイに撮像した画像内に存在する障害物をマーカーで表示させる説明図。
【図９】本実施の形態においてディスプレイに撮像した画像内に存在する障害物の移動方向をマーカーで表示させる説明図。
【符号の説明】
１　・・・車載カメラ
２　・・・バックモニタＥＣＵ
３　・・・カメラ画像フレームメモリ
４　・・・画像処理器Ａ
５　・・・画像処理器Ｂ
６　・・・仮想カメラ画像フレームメモリ
７　・・・補完画像フレームメモリ
８　・・・車速センタ
９　・・・操舵角センサ
１０・・・画像合成器
１１・・・表示画像フレームメモリ
１２・・・レーザレーダ
１３・・・マイコン
１４・・・マーカー発生器
１５・・・スーパーインポーザ
１６・・・カーナビゲーションＥＣＵ
１７・・・カーナビゲーションモジュール
１８・・・シフトポジションスイッチ
１９・・・画像切替え機
２０・・・ディスプレイ
２１・・・自車両マーカー
２２・・・予想進路マーカー
２３・・・現在画像
２４・・・補完画像
２５・・・点線
２６・・・三輪車
２７・・・ハッチング
２８・・・ブロック
２９・・・赤色マーカー
３０・・・移動物体
３１・・・移動方向マーカー
【図１】
2004040523.tif 000014
【図２】
2004040523.tif 000015
【図３】
2004040523.tif 000016
【図４】
2004040523.tif 000017
【図５】
2004040523.tif 000018
【図６】
2004040523.tif 000019
【図７】
2004040523.tif 000020
【図８】
2004040523.tif 000021
【図９】
2004040523.tif 000022