(57)【要約】【課題】運転者にとってより利用価値が高い俯瞰画像を生成することができる運転支援装置を提供する。【解決手段】車両１の前後左右に設けられた４台のカメラ１１〜１４により撮像された画像を座標変換して合成することによって、車両及びその周辺の俯瞰画像を生成する画像処理部２０を備え、画像処理部２０は、車両が前向きに直進しているときは、前カメラ１１による撮像画像を座標変換した前方変換画像Ｅm1と、右カメラ１３による撮像画像を座標変換した右方変換画像Ｅm3とのつなぎ目、及び、前記前方変換画像Ｅm1と左カメラ１４による撮像画像を座標変換した左方変換画像Ｅm4とのつなぎ目を、車両の進行方向と平行な直線Ｂ1，Ｂ2として俯瞰画像を生成する。【選択図】  図３
2011155490.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも車両の前後左右の４箇所に設けられて、車両周囲の異なる範囲を撮像する複数のカメラと、
前記複数のカメラによる撮像画像を座標変換して合成することによって、車両及びその周囲の俯瞰画像を生成する画像処理部と、
前記俯瞰画像を表示する表示手段と
を備えた運転支援装置において、
前記画像処理部は、
車両が前向きに直進しているときは、車両前方を撮像範囲とする前カメラによる撮像画像を座標変換した前方変換画像と、車両右側方を撮像範囲とする右カメラによる撮像画像を座標変換した右方変換画像とのつなぎ目、及び、前記前方変換画像と、車両左側方を撮像範囲とする左カメラによる撮像画像を座標変換した左方変換画像とのつなぎ目を、車両の進行方向に対応する前記俯瞰画像上での方向と平行であって、車両の画像の左右の側面に沿った直線として前記俯瞰画像を生成し、
車両が後退しているときには、車両後方を撮像範囲とする後カメラによる撮像画像を座標変換した後方変換画像と前記右方変換画像とのつなぎ目、及び、前記後方変換画像と前記左方変換画像とのつなぎ目を、車両の進行方向に対応する前記俯瞰画像上での方向と垂直であって、車両の画像の後端部に沿った直線として前記俯瞰画像を生成することを特徴とする運転支援装置。
【請求項２】
請求項１記載の運転支援装置において、
車両の後退時に、車両の操舵機構の舵角に応じて車両の進行方向を予想し、該予想結果に基づいて、前記俯瞰画像に、車両の進行方向を示す車両画像の幅方向の間隔をもった２本のガイド線を重ねて、前記表示手段に表示するガイド線表示手段を備え、
前記画像処理部は、車両の後退時に、前記前方変換画像と前記右方変換画像とのつなぎ目を前記２本のガイド線のうちの右側のガイド線に合わせて設定すると共に、前記前方変換画像と前記左方変換画像とのつなぎ目を、前記２本のガイド線のうちの左側のガイド線に合わせて設定して、前記俯瞰画像を生成することを特徴とする運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に取り付けられた複数のカメラの撮像画像を合成して、車両上方から撮像したような俯瞰画像を生成し、運転者に対してこの俯瞰画像を表示する運転支援装置に関する。
【背景技術】
【０００２】
従来より、車両の前後左右の４箇所に設けられたカメラによる撮像画像を、地面を基準面として座標変換した上で合成することによって、車両を上方から見たような俯瞰画像を生成し、この俯瞰画像を運転者に対して表示することによって、車両とその周囲の物体との位置関係を容易に把握できるようにした運転支援装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載された運転支援装置においては、座標変換した画像を合成する際のつなぎ目の位置を、前回の画像合成時におけるつなぎ目の位置からずらすことによって、画像のつなぎ目部分において物体が消失し続けることを防止している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１２１５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願発明者らは、上述した従来の運転支援装置により、座標変換した画像を合成する際のつなぎ目の位置を、前回の画像合成時におけるつなぎ目の位置からずらす処理を行ったときに、生成される俯瞰画像が運転者にとって利用価値の低いものになる場合があることを知見した。
【０００６】
そこで、本発明は、運転者にとってより利用価値が高い俯瞰画像を生成することができる運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するためになされたものであり、少なくとも車両の前後左右の４箇所に設けられて、車両周囲の異なる範囲を撮像する複数のカメラと、前記複数のカメラによる撮像画像を座標変換して合成することによって、車両及びその周囲の俯瞰画像を生成する画像処理部と、前記俯瞰画像を表示する表示手段とを備えた運転支援装置に関する。
【０００８】
そして、前記画像処理部は、車両が前向きに直進しているときには、車両前方を撮像範囲とする前カメラによる撮像画像を座標変換した前方変換画像と、車両右側方を撮像範囲とする右カメラによる撮像画像を座標変換した右方変換画像とのつなぎ目、及び、前記前方変換画像と、車両左側方を撮像範囲とする左カメラによる撮像画像を座標変換した左方変換画像とのつなぎ目を、車両の進行方向に対応する前記俯瞰画像上での方向と平行であって、車両の画像の左右の側面に沿った直線として前記俯瞰画像を生成し、車両が後退しているときには、車両後方を撮像範囲とする後カメラによる撮像画像を座標変換した後方変換画像と前記右方変換画像とのつなぎ目、及び、前記後方変換画像と前記左方変換画像とのつなぎ目を、車両の進行方向と垂直であって、車両の画像の後端部に沿った直線として前記俯瞰画像を生成することを特徴とする。
【０００９】
ここで、車両が前向きに直進しているときは、運転者は車両の左右側方の状況を目視により認識することが難しい。そこで、本発明においては、車両が前向きに直進しているときに、前記画像処理部により、前記前方変換画像と前記右方変換画像とのつなぎ目、及び、前記前方変換画像と前記左方変換画像とのつなぎ目を、車両の進行方向に対応する前記俯瞰画像上での方向と平行であって、車両の画像の左右の側面に沿った直線として前記俯瞰画像を生成している。
【００１０】
これにより、前記俯瞰画像における車両の前方左右の表示領域に変換画像のつなぎ目がきて、車両の前方左右に所在する物体の画像が前記俯瞰画像で消失することを防止できるため、運転者に車両の左右側方に所在する物体の情報をより確実に視認させて、前記俯瞰画像の利用価値を高めることができる。
【００１１】
さらに、車両が後退しているときには、前向きに直進しているときと比べると、運転者が目視可能な進行方向の範囲が狭くなり、障害物との距離も遠くなる。そこで、車両の後退時には、前記画像処理部により、前記後方変換画像と前記右方変換画像とのつなぎ目、及び、前記後方変換画像と前記左方変換画像とのつなぎ目を、車両の進行方向に対応する前記俯瞰画像上での方向と垂直であって、車両の画像の後端部に沿った直線として前記俯瞰画像を生成している。
【００１２】
これにより、前記俯瞰画像における車両後方の表示領域に変換画像のつなぎ目がきて、車両後方に所在する物体の画像が前記俯瞰画像で消失することを防止できるため、運転者に車両後方に所在する物体の情報を確実に視認させて、前記俯瞰画像の利用価値を高めることができる。
【００１３】
また、車両の後退時に、車両の操舵機構の舵角に応じて車両の進行方向を予想し、該予想結果に基づいて、前記俯瞰画像に、車両の進行方向を示す車両画像の幅方向の間隔をもった２本のガイド線を重ねて、前記表示手段に表示するガイド線表示手段を備え、前記画像処理部は、車両の後退時に、前記前方変換画像と前記右方変換画像とのつなぎ目を前記２本のガイド線のうちの右側のガイド線に合わせて設定すると共に、前記前方変換画像と前記左方変換画像とのつなぎ目を、前記２本のガイド線のうちの左側のガイド線に合わせて設定して、前記俯瞰画像を生成することを特徴とする。
【００１４】
かかる本発明によれば、前記俯瞰画像において、前記ガイド線と前記つなぎ目の線が併せて表示されることにより、運転者にとって見難い表示となることを回避することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の運転支援装置の構成図。
【図２】図１に示した４台のカメラの撮像範囲を示した説明図。
【図３】前進−直進時、及び後退−直進時における俯瞰画像を示した説明図。
【図４】後退−旋回時のガイド線の表示態様の説明図。
【図５】ソナーにより物体を検出したときの対応の説明図。
【発明を実施するための形態】
【００１６】
本発明の実施形態について、図１〜図５を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置は車両１に搭載され、車両１の前後左右に設けられた４台のカメラ（前カメラ１１，後カメラ１２，右カメラ１３，左カメラ１４）、４台のカメラ１１〜１４の撮像画像を取り込んで、車両１を車両１の上方の仮想支点から見たときの俯瞰画像を生成する画像処理部２０、車両１の全体的な作動を制御する制御部２１、運転者により操作される操作部（ハンドル、アクセル、ブレーキ等）２２、画像処理部２０により生成された俯瞰画像等を表示する表示部２３、及び、車両１の四隅に設けられて車両１の周辺の障害物を検出するソナー３０ａ〜３０ｄを備えている。
【００１７】
図２を参照して、ソナー３０ａ〜ソナー３０ｄは、車両１の前後のバンパーのコーナー部付近に設けられている。また、４台のカメラ１１〜１４はいずれも１８０度の画角を有する広角カメラであり、４台のカメラ１１〜１４によって車両１の全周囲の画像が得られるようになっている。そして、前カメラ１１は車両１の前方のＥ1の範囲を撮像し、後カメラ１２は車両１の後方のＥ2の範囲を撮像し、右カメラ１３は車両１の右側方のＥ3の範囲を撮像し、左カメラ１４は車両１の左側方のＥ4の範囲を撮像する。
【００１８】
画像処理部２０は、４台のカメラ１１〜１４による車両１の前後左右の撮像画像を座標変換して合成することにより、車両１を車両１の上方の仮想視点から見た俯瞰画像を生成する。具体的には、画像処理部２０は、前カメラ１１による撮像画像を地面を基準面として座標変換して前方変換画像を生成する。また、画像処理部２０は、後カメラ１２による撮像画像、右カメラ１３による撮像画像、左カメラ１４による撮像画像についても、同様に座標変換をして後方変換画像、右方変換画像、及び左方変換画像を生成する。
【００１９】
そして、画像処理部２０は、このように座標変換により生成した前方変換画像、後方変換画像、右方変換画像、及び左方変換画像を合成して、俯瞰画像を生成する。なお、画像処理部２０は、画像変換を行うために、各カメラの撮像画像と座標変換後の画像との間の画素配置の対応を割付けた変換マップのデータをメモリ（図示しない）に保持している。そして、画像処理部２０は、各カメラの撮像画像をこの変換マップに適用して座標変換を行う。
【００２０】
制御部２１は、操作部２２から入力される各種の操作信号（ハンドル操舵角、ブレーキペダルへの踏力等）を認識して、車両１の作動を制御する。また、制御部２１は、画像処理部２０により生成された俯瞰画像を、車両１のダッシュボード等に設けられた表示部２３に表示する。
【００２１】
次に、図３（ａ）は、車両１が前向きに直進しているときの俯瞰画像Ｉm1を示している。画像処理部２０は、車両１が前向きに直進しているときには、前変換画像Ｅm1と右変換画像Ｅm3とのつなぎ目を、車両１の画像Ｃの右側面に沿った進行方向と平行な直線Ｂ1とすると共に、前変換画像Ｅm1と左変換画像Ｅm4とのつなぎ目を、車両１の画像Ｃの左側面に沿った進行方向と平行な直線Ｂ2として、俯瞰画像Ｉm1を生成する。
【００２２】
ここで、車両１が前向きに直進しているときには、運転者は比較的広い範囲を直接目視して障害物の位置を認識することができるが、左右側方（特に助手席側）については、直接或いはミラーの鏡像により側方の状況を視認しても距離感がつかみ難く、障害物の位置や自車両の幅を正確に認識することが難しい。そのため、狭い道路での歩行者や他車両とのすれ違い等が困難になる場合がある。
【００２３】
そこで、図３（ａ）に示したように、直線Ｂ1，Ｂ2をつなぎ目として俯瞰画像Ｉm1を生成することによって、車両１の前方の左右に所在する周辺障害物等の画像を、つなぎ目により消失することを回避して確実に俯瞰画像Ｉm1上に表示することができる。そして、これにより、車両１が前向きに直進している時に、運転者による確認が比較的困難な車両１の左右側方の確認精度を高めることができる。
【００２４】
一方、車両１が後退して直進するときには、図３（ｂ）に示したように、画像処理部２０は、後変換画像Ｅm2と右変換画像Ｅm3とのつなぎ目を車両１の画像Ｃの幅方向（車両１の進行方向に対応する俯瞰画像上での方向と垂直な方向）の画像Ｃの後端部に沿った直線Ｂ3とすると共に、後変換画Ｅm2と左変換画像Ｅm4とのつなぎ目を車両１の画像Ｃの幅方向の画像Ｃの後端部に沿った直線Ｂ4として、俯瞰画像Ｉm2を生成する。
【００２５】
ここで、運転者が車両１を後退させるのは、駐車する場合のように車両１を低速で作動させる場合である。そして、この場合は、車両１が前向きに直進しているときと比べると、運転者が直接又はミラー等を用いて目視可能な範囲が狭くなり、又、運転者と障害物との距離が遠くなる。そのため、車両１の後退時には、前向きに直進するときよりも進行方向の状況を俯瞰画像により表示させる有用性が高くなる。
【００２６】
そこで、図３（ｂ）に示したように、直線Ｂ3，Ｂ4をつなぎ目として俯瞰画像Ｉm2を生成することによって、車両１の後退方向に所在する障害物の画像が、変換画像のつなぎ目により消失することを回避して確実に俯瞰画像Ｉm2上に表示させることができる。そして、これにより、俯瞰画像の表示により障害物の有無又は位置を運転者に認識させる有用性が高い車両１の後退時において、運転者による車両１の進行方向の視認性を高めることができる。
【００２７】
また、画像処理部２０による車両１の後退時における俯瞰画像の生成処理の他の態様として、図５に示したように、車両１の後退方向を示すガイド線Ｇ1，Ｇ2（Ｇ1とＧ2の間隔は車両１の画像の幅程度に設定されている）に合わせて、後変換画像Ｅm2と右変換画像Ｅm3及び左変換画像Ｅm4のつなぎ目を設定して、俯瞰画像Ｉm3を生成するようにしてもよい。
【００２８】
この場合、制御部２１（図１参照）は、ハンドルの操舵角（図示しない舵角センサにより検出される）に基づいてガイド線Ｇ1，Ｇ2の表示位置を算出し、この表示位置の情報を画像処理部２０に送信する。そして、画像処理部２０は、ガイド線Ｇ1の位置を後画像と右画像とのつなぎ目とし、また、ガイド線Ｇ2の位置を後画像と左画像とのつなぎ目として、俯瞰画像を生成する。
【００２９】
この俯瞰画像が画像処理部２０から制御部２１に送信され、制御部２１は、図４に示したように、俯瞰画像Ｉm3にガイド線Ｇ1，Ｇ2を重ねて表示部２３に表示する。これにより、俯瞰画像Ｉm3のつなぎ目が、ガイド線Ｇ1，Ｇ2とは別に表示される場合よりも、俯瞰画像Ｉm3を見易くすることができる。
【００３０】
次に、図５を参照して、画像処理部２０による俯瞰画像の生成処理の他の態様について説明する。この態様において、画像処理部２０は、制御部２１から送信されるソナー３０ａ〜３０ｄによる車両１の周囲に所在する物体の検出信号に基づいて、該物体の画像が確実に俯瞰画像に表示されるように、各変換画像間のつなぎ目を設定する。
【００３１】
図５の例では、ソナー３０ｂにより車両１の左前方の物体が検出された場合を示している。画像処理部２０は、車両１の左前方の領域の存在する物体の画像Ｄが前変換画像Ｅm1と左変換画像Ｅm4とのつなぎ目により消失することを回避するために、前変換画像Ｅm1と左変換画像Ｅm4のつなぎ目を、車両１の画像Ｃの幅方向（水平方向）と平行な直線Ｂ5として、俯瞰画像Ｉm4を生成する。
【００３２】
なお、本実施の形態では、車両１に前カメラ１１，後カメラ１２，右カメラ１３，左カメラ１４という４台のカメラを設けた例を示したが、５台以上のカメラを設けて、５台以上のカメラの撮像画像を基準面に座標変換して合成することによって、俯瞰画像を生成する場合にも、前方を撮像するカメラと左側方及び右側方を撮像するカメラの画像を合成する際に本発明の適用が可能である。
【符号の説明】
【００３３】
１…車両、１１…前カメラ、１２…後カメラ、１３…右カメラ、１４…左カメラ、２０…画像処理部、２１…制御部、２２…操作部、２３…表示部、３０ａ〜３０ｄ…ソナー、Ｃ…車両の画像、Ｅm1…前変換画像、Ｅm2…後変換画像、Ｅm3…右変換画像、Ｅm4…左変換画像。
【図１】
2011155490.tif 000003
【図２】
2011155490.tif 000004
【図３】
2011155490.tif 000005
【図４】
2011155490.tif 000006
【図５】
2011155490.tif 000007