(57)【要約】【課題】車両周辺イメージ生成装置および方法が開示される。【解決手段】本発明の車両周辺イメージ生成装置は、車両周辺を撮影するカメラ部で生成された撮影イメージをカメラ部を視点に投影した地面座標系のデータに変換する鳥瞰図イメージ生成部、前の鳥瞰図イメージが生成された後、車両の移動した領域を抽出して移動した領域の鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部、前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを過去のイメージである移動領域鳥瞰図イメージと合成する合成鳥瞰図イメージ生成部、現在のイメージである後の鳥瞰図イメージと過去のイメージである移動領域鳥瞰図イメージを区分するためにイメージを補正して補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部を含む。【選択図】    図２
2017520133.tif 000002
【特許請求の範囲】
【請求項１】
車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部と、
前記鳥瞰図イメージ生成部によって前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部と、
前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成する合成鳥瞰図イメージ生成部と、
前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部とを含むことを特徴とする車両周辺イメージ生成装置。
【請求項２】
前記移動領域鳥瞰図イメージ生成部は、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することを特徴とする請求項１に記載の車両周辺イメージ生成装置。
【請求項３】
前記合成鳥瞰図イメージ補正部は、前記過去のイメージである移動領域鳥瞰図イメージを映像処理する過去イメージ映像処理部を含むことを特徴とする請求項１に記載の車両周辺イメージ生成装置。
【請求項４】
前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことを特徴とする請求項３に記載の車両周辺イメージ生成装置。
【請求項５】
前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことを特徴とする請求項３に記載の車両周辺イメージ生成装置。
【請求項６】
前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することを特徴とする請求項３に記載の車両周辺イメージ生成装置。
【請求項７】
前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことを特徴とする請求項３に記載の車両周辺イメージ生成装置。
【請求項８】
前記合成鳥瞰図イメージ補正部は、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示する危険領域映像処理部を含むことを特徴とする請求項１に記載の車両周辺イメージ生成装置。
【請求項９】
前記危険領域映像処理部は、前記車両に位置した少なくとも１つの超音波センサを介して感知された物体と前記車両との距離に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項８に記載の車両周辺イメージ生成装置。
【請求項１０】
前記危険領域映像処理部は、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項８に記載の車両周辺イメージ生成装置。
【請求項１１】
鳥瞰図イメージ生成部によって、車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成するステップと、
移動領域鳥瞰図イメージ生成部によって、前記鳥瞰図イメージを生成するステップで前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップと、
合成鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップと、
合成鳥瞰図イメージ補正部によって、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成するステップとを含むことを特徴とする車両周辺イメージ生成方法。
【請求項１２】
前記移動領域鳥瞰図イメージを生成するステップは、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
【請求項１３】
前記補正された合成鳥瞰図イメージを生成するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップを含むことを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
【請求項１４】
前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
【請求項１５】
前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
【請求項１６】
前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
【請求項１７】
前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことを特徴とする請求項１３に記載の車両周辺イメージ生成方法。
【請求項１８】
前記補正された合成鳥瞰図イメージを生成するステップは、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示するステップを含むことを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
【請求項１９】
前記危険領域を表示するステップは、前記車両に位置した少なくとも１つ以上の超音波センサを介して感知された物体と前記車両との距離に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項１８に記載の車両周辺イメージ生成方法。
【請求項２０】
前記危険領域を表示するステップは、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することを特徴とする請求項１８に記載の車両周辺イメージ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺イメージ生成装置および方法（ＡＰＰＡＲＡＴＵＳ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＰＥＲＩＰＨＥＲＡＬ  ＩＭＡＧＥ  ＧＥＮＥＲＡＴＩＯＮ  ＯＦ  ＶＥＨＩＣＬＥ）に関する。特に、車両後方のイメージを取得してモニタ上にディスプレイするに際し、過去のイメージと現在のイメージとを区分するための車両周辺イメージ生成装置および方法に関する。
【背景技術】
【０００２】
一般的に、車両は、車体に装備したエンジンなどの原動機を動力源として道路などを走行し、人間や貨物を運んだり各種作業を行う装置であり、車両の運転者は走行方向を注視しながら車両を安全に運転する。
【０００３】
しかし、車両が駐車をするなど後進する場合においては、車両の運転者は車両の後方である走行方向を注視しにくい。したがって、車両の後方をディスプレイするための装置として、車両の後ろに設けられたカメラからのイメージをモニタにそのまま出力するディスプレイ装置が知られている。
【０００４】
特に、韓国公開特許第２００８−００２４７７２号では、カメラから伝達された入力映像を鳥瞰図に変換する技術により、モニタ上にディスプレイされたイメージから車両と駐車区画との間の相対的な位置をより明確に把握できる技術を開示している。
【０００５】
ただし、前記技術では、カメラの現在視野に存在しない対象をディスプレイできないという限界がある。例えば、車両の駐車のために後進する時、すでに車両が通り過ぎた空間に存在する駐車線（現在視野外）はディスプレイできない問題がある。
【０００６】
したがって、カメラの現在視野外の対象をディスプレイするためのイメージを生成できる技術が必要である。そこで、カメラの現在視野外の対象をディスプレイするために過去に車両で撮影したイメージを現在のイメージと合成する技術が公開された。ただし、この場合、過去のイメージと現在のイメージとを区分せず、運転者が過去のイメージを盲目的に信頼してしまって、車両の事故が発生する場合が数多くある。
【０００７】
したがって、現在のカメラに撮影される現在のイメージと、現在のカメラに撮影されない過去のイメージとを区分できる技術が必要である。これとともに、車両の現在状態で危険物体を感知する技術を越えて、車両の現在の回転角度を抽出して、現在の回転角度で進行し続ける時、近く衝突の危険があるかを判断して、モニタに危険表示を提供できる技術が必要な状態である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合して、カメラの現在視野外の対象をディスプレイする一方で、整合された鳥瞰図イメージにおいて現在のイメージと過去のイメージとを区分して表示することを可能にすることである。
【０００９】
また、本発明の目的は、車両に位置した超音波センサを介して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することを可能にすることである。
【００１０】
さらに、本発明の目的は、車両に位置したステアリングホイールセンサを介して、前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することを可能にすることである。
【課題を解決するための手段】
【００１１】
上記の目的を達成するための、本発明に係る車両周辺イメージ生成装置は、車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部と、前記鳥瞰図イメージ生成部によって前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成する合成鳥瞰図イメージ生成部と、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部とを含む。
【００１２】
この時、前記移動領域鳥瞰図イメージ生成部は、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することができる。
【００１３】
この時、前記合成鳥瞰図イメージ補正部は、前記過去のイメージである移動領域鳥瞰図イメージを映像処理する過去イメージ映像処理部を含むことができる。
【００１４】
この時、前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことができる。
【００１５】
この時、前記過去イメージ映像処理部は、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことができる。
【００１６】
この時、前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することができる。
【００１７】
この時、前記過去イメージ映像処理部は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことができる。
【００１８】
この時、前記合成鳥瞰図イメージ補正部は、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示する危険領域映像処理部を含むことができる。
【００１９】
この時、前記危険領域映像処理部は、前記車両に位置した少なくとも１つの超音波センサを介して感知された物体と前記車両との距離に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
【００２０】
この時、前記危険領域映像処理部は、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記合成鳥瞰図イメージを補正することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
【００２１】
また、上記の目的を達成するための、本発明に係る車両周辺イメージ生成方法は、鳥瞰図イメージ生成部によって、車両に位置して周辺を撮影するカメラ部から生成された撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成するステップと、移動領域鳥瞰図イメージ生成部によって、前記鳥瞰図イメージを生成するステップで前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップと、合成鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップと、合成鳥瞰図イメージ補正部によって、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成するステップとを含む。
この時、前記移動領域鳥瞰図イメージを生成するステップは、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出することができる。
【００２２】
この時、前記補正された合成鳥瞰図イメージを生成するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップを含むことができる。
【００２３】
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージに対して、色相調整、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくとも１つの処理を行うことができる。
【００２４】
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって映像処理を行うことができる。
【００２５】
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することができる。
【００２６】
この時、前記過去のイメージである移動領域鳥瞰図イメージを映像処理するステップは、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線以外の残りを映像処理して前記駐車線を映し出すことができる。
【００２７】
この時、前記補正された合成鳥瞰図イメージを生成するステップは、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージに危険領域を表示するステップを含むことができる。
【００２８】
この時、前記危険領域を表示するステップは、前記車両に位置した少なくとも１つ以上の超音波センサを介して感知された物体と前記車両との距離に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
【００２９】
この時、前記危険領域を表示するステップは、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
【発明の効果】
【００３０】
本発明によれば、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合して、カメラの現在視野外の対象をディスプレイするが、整合された鳥瞰図イメージにおいて現在のイメージと過去のイメージとを区分して表示することができる。
【００３１】
また、本発明によれば、車両に位置した超音波センサを介して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することができる。
【００３２】
さらに、本発明によれば、車両に位置したステアリングホイールセンサを介して、前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記車両が周辺の物体と衝突危険のある領域である車両周辺の危険領域を、整合された鳥瞰図イメージに表示することができる。
【図面の簡単な説明】
【００３３】
【図１】図１は、本発明に係る車両周辺イメージ生成装置の主要部分を示す概略図である。
【図２】図２は、本発明に係る車両周辺イメージ生成装置のブロック図である。
【図３】図３は、本発明に係る車両周辺イメージ生成装置により行われる座標変換での位置関係を示す図である。
【図４】図４は、本発明に係る車両周辺イメージ生成装置の概念を説明するための図である。
【図５】図５は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の左後輪に対するホイールパルスを示す図である。
【図６】図６は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の右後輪に対するホイールパルスを示す図である。
【図７】図７は、本発明に係る車両周辺イメージ生成装置の一実施形態により車両の移動した領域を抽出する方法を説明するための図である。
【図８】図８は、本発明に係る車両周辺イメージ生成装置において合成鳥瞰図イメージを補正する前の様子を説明するための図である。
【図９】図９は、本発明に係る車両周辺イメージ生成装置において合成鳥瞰図イメージを補正する前の様子を説明するための図である。
【図１０】図１０は、本発明に係る車両周辺イメージ生成装置の合成鳥瞰図イメージ補正部の一実施形態である。
【図１１】図１１は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。
【図１２】図１２は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。
【図１３】図１３は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。
【図１４】図１４は、本発明に係る合成鳥瞰図イメージ補正部の危険領域映像処理部の概念を説明するための図である。
【図１５】図１５は、本発明に係る合成鳥瞰図イメージ補正部の危険領域映像処理部の動作原理を説明するための図である。
【図１６】図１６は、本発明に係る合成鳥瞰図イメージ補正部の危険領域映像処理部の動作原理を説明するための図である。
【図１７】図１７は、本発明に係る車両周辺イメージ生成方法のフローチャートである。
【発明を実施するための形態】
【００３４】
以下、本発明を添付した図面を参照して詳細に説明する。ここで、繰り返される説明、本発明の要旨を不必要にあみまいにし得る公知の機能、および構成に関する詳細な説明は省略する。
【００３５】
本発明の実施形態は、当業界における平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。
【００３６】
したがって、図面における要素の形状および大きさなどは、より明確な説明のために誇張されることがある。
【００３７】
本発明に係る車両周辺イメージ生成装置の基本システム構成について、図１および図２を参照して説明する。
【００３８】
図１は、本発明に係る車両周辺イメージ生成装置の主要部分を示す概略図である。図２は、本発明に係る車両周辺イメージ生成装置のブロック図である。
【００３９】
図１を参照して説明すれば、本発明に係る車両周辺イメージ生成装置１００は、車両１に位置して周辺５を撮影するカメラ部１１０から生成された撮影イメージを、前記カメラ部１１０を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部１２０と、前記鳥瞰図イメージ生成部１２０によって前の鳥瞰図イメージが生成された後、前記車両１の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部１３０と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成する合成鳥瞰図イメージ生成部１４０と、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する合成鳥瞰図イメージ補正部１５０とを含む。
【００４０】
また、前記車両１に位置し、前記補正された合成鳥瞰図イメージをディスプレイするディスプレイ部１６０をさらに含むことができる。
【００４１】
さらに、前記車両１に少なくとも１つ以上の超音波センサ１７０を含み、前記車両周辺の物体を感知することができる。
【００４２】
また、前記車両１にステアリングホイールセンサ１８０を含み、前記車両１の回転角度を抽出することができる。
【００４３】
この時、前記鳥瞰図イメージ生成部１２０、移動領域鳥瞰図イメージ生成部１３０、合成鳥瞰図イメージ生成部１４０および合成鳥瞰図イメージ補正部１５０は、本発明に係る車両周辺イメージ生成装置１００の主要部分であって、マイクロコンピュータを含んだ、イメージデータの処理を行うための電子装置であり、カメラ部１と一体に構成される。
【００４４】
前記カメラ部１１０は、車両１に位置して周辺５を撮影することにより、撮影イメージを生成する機能を行う。
【００４５】
図１に示されているように、前記カメラ部１１０は、車両１の後方に設けられ、少なくとも１つ以上のカメラ（例えば、ＣＣＤカメラ）を含む。
【００４６】
前記鳥瞰図イメージ生成部１２０は、前記カメラ部１１０から撮影されて生成された撮影イメージを、前記カメラ部１１０を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する機能を行う。
【００４７】
前記カメラ部１１０によって撮影されて生成された撮影イメージを鳥瞰図イメージに変換する方法は、後述するように関連する技術が使用される。ここで、通常の透視変換（Ｐｅｒｓｐｅｃｔｉｖｅ  ｃｏｎｖｅｒｓｉｏｎ）の逆処理を行うことにより、地面上のイメージ（例えば、駐車空間表示）の位置が鳥瞰図イメージとして取得される。
【００４８】
図３は、本発明に係る車両周辺イメージ生成装置により行われる座標変換での位置関係を示す図である。
【００４９】
具体的には、図３に示されているように、地面上のイメージの位置データがカメラ部１１０の位置Ｒから焦点距離ｆを有するスクリーン平面Ｔ上に投影される方式で透視変換が実行される。
【００５０】
より詳細に説明すれば、カメラ部１１０がＺ軸上のポイントＲ（０，０，Ｈ）に位置して、見下ろす角度τで地面（ｘ−ｙ座標平面）上にイメージをモニタリングすると仮定する。したがって、ここでは、下記数式１に示されているように、スクリーン平面Ｔ上に２次元座標（α，β）が地面平面上の座標（鳥瞰図座標）に変換（逆透視変換）される。
【００５１】
【数１】
2017520133.tif 000003
【００５２】
すなわち、前記数式１を用いることにより、投影された映像を（鳥瞰図イメージを示す）、前記ディスプレイ部１６０のスクリーンに対するイメージに変換して、これをディスプレイ部１６０上にディスプレイすることができる。
【００５３】
以下、図４を参照して、本発明に係る車両周辺イメージ生成装置の概念を説明する。
【００５４】
図４を参照して説明すれば、Ｔ時点での車両２００と、前記Ｔ時点から一定時間経過後のＴ＋１時点での車両２００’が示されている。
【００５５】
前記Ｔ時点での車両２００で生成された鳥瞰図イメージを前の鳥瞰図イメージ１０といい、前記Ｔ＋１時点での車両２００’で生成された鳥瞰図イメージを後の鳥瞰図イメージ２０という。
【００５６】
この時、前記前の鳥瞰図イメージ１０と前記後の鳥瞰図イメージ２０は、共通した領域に対する鳥瞰図イメージ３０が存在する。すなわち、Ｔ時点と、Ｔ＋１時点で共通に撮影されて生成された鳥瞰図イメージである。
【００５７】
また、前記Ｔ＋１時点での車両２００’の側面から眺めると、前記前の鳥瞰図イメージ１０中の、前記共通した領域に対する鳥瞰図イメージ３０を除いた部分は、過去の鳥瞰図イメージ４０になる。
【００５８】
前記過去の鳥瞰図イメージ４０とは、Ｔ＋１時点での車両２００’の後方にあるカメラ部１１０の視野外の対象である。すなわち、現在時点のＴ＋１時点では撮影されない対象を意味する。
【００５９】
本発明に係る車両周辺イメージ生成装置１００は、前記Ｔ＋１時点での車両２００’の内部のディスプレイ部１６０によってディスプレイされるイメージに、前記過去の鳥瞰図イメージ４０を含むことを前提とする。すなわち、カメラ部１１０の現在視野に存在する後の鳥瞰図イメージ２０と、前記過去の鳥瞰図イメージ４０とを合成してディスプレイするのである。このように合成されたイメージを合成鳥瞰図イメージという。
【００６０】
このように合成鳥瞰図イメージをディスプレイする場合において、過去の鳥瞰図イメージ４０とカメラ部１１０の現在視野に存在する後の鳥瞰図イメージ２０である現在のイメージとを区分することが必要である。すなわち、過去のイメージは、Ｔ時点での車両２００の位置を基準として生成されたイメージであるので、Ｔ＋１の時点では信頼度がやや低下し得るからである。
【００６１】
例えば、Ｔ時点で出現しない移動物体がＴ＋１時点で出現したとしても、ディスプレイ部１６０上には前記移動物体がディスプレイされないので、事故の危険が存在する。
【００６２】
したがって、運転者がディスプレイ部１６０を見つめるに際し、過去のイメージと現在のイメージとを区分できなければならないのである。
【００６３】
また、前記過去の鳥瞰図イメージ４０を正確に抽出するためには、前記車両の移動した領域を抽出しなければならない。前記過去の鳥瞰図イメージ４０は、前記車両の移動した領域を抽出することで算出されるので、移動領域鳥瞰図イメージという。
【００６４】
したがって、前記合成鳥瞰図イメージとは、前記Ｔ時点で撮影されて前の鳥瞰図イメージ１０が生成された後、Ｔ＋１時点で撮影されて生成された後の鳥瞰図イメージ２０と、前記移動領域鳥瞰図イメージとを合成したイメージである。
【００６５】
以下、前記車両の移動した領域を抽出する方法について具体的に説明する。
【００６６】
前記移動領域鳥瞰図イメージ生成部１３０は、前記鳥瞰図イメージ生成部１２０によって前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する機能を行う。
【００６７】
具体的には、図４を参照すれば、Ｔ時点での車両２００のディスプレイ部１６０には前の鳥瞰図イメージ１０がディスプレイされ、Ｔ＋１時点での車両２００’のディスプレイ部１６０には過去の鳥瞰図イメージ車両２００’が存在する場合、前記車両２００’のディスプレイ部１６０には過去の鳥瞰図イメージ４０と後の鳥瞰図イメージ２０がともにディスプレイされる。これを合成鳥瞰図イメージとしたことは上述した。
【００６８】
前記後の鳥瞰図イメージ２０は、現在時点のＴ＋１時点での車両２００’に位置したカメラ部１１０によって撮影されたイメージの鳥瞰図である。
【００６９】
このように、前記合成イメージを生成するためには、過去の鳥瞰図イメージ４０を抽出しなければならないが、これは、前記前の鳥瞰図イメージから抽出される。具体的には、Ｔ時点での車両２００がＴ＋１時点になった時まで移動した領域を抽出するのである。前記移動した領域を抽出するためには、前記前の鳥瞰図イメージ１０と前記後の鳥瞰図イメージ２０とを対比して、前記前の鳥瞰図イメージ１０から、前記第２鳥瞰図と一致する共通領域を差し引いた領域４０を、前記車両の移動した領域として算定する方法である。
前記車両の移動した領域として推定する他の方法としては、前記車両から提供される車両の速度および移動方向を含む車両の運行情報に基づいて、車両の移動した領域を抽出する方法がある。
【００７０】
具体的には、車両から提供される車両の速度および移動方向を含む車両の運行情報に基づいて、速度情報およびステアリングホイール情報に応じて予め設定された単位ピクセル数だけを移動した領域として算定するのである。
【００７１】
例えば、車両の速度が１０Ｋｍで、ステアリングホイールの角度が１０度の場合、ピクセルを走行方向に予め設定された単位ピクセル（例えば、２０ピクセル）だけ移動させ、ステアリングホイールの方向に応じて左側または右側方向に予め設定された単位ピクセル（例えば、１０ピクセル）だけ移動させる方法により移動した領域を算定するのである。
【００７２】
また、前記車両の移動した領域として推定する他の方法としては、前記車両に位置したホイールスピードセンサを介して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、車両の移動した領域を抽出する方法があり、図５〜図７を参照して説明する。
【００７３】
図５は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の左後輪に対するホイールパルスを示す図である。図６は、本発明に係る車両周辺イメージ生成装置の一実施形態により生成された車両の右後輪に対するホイールパルスを示す図である。図７は、本発明に係る車両周辺イメージ生成装置の一実施形態により車両の移動した領域を抽出する方法を説明するための図である。
【００７４】
前記ホイールスピードセンサは、車両に位置し、前記車両の左輪および右輪の動きに応じてホイールパルス信号を生成する。
【００７５】
前記車両の前輪は、前記車両の後輪とは異なり、回転するように構成されているので、前記車両の移動した距離を正確に抽出するに際しては、前記車両の後輪を活用することがより効果的である。
【００７６】
したがって、前記ホイールスピードセンサを説明するにあたり、後輪を中心に説明する。ただし、この説明が前記ホイールスピードセンサにおける後輪のみを権利範囲に限定するわけではない。
【００７７】
図５を参照して説明すれば、前記車両の左後輪に対するホイールパルス信号を時間の変化に応じて確認することができる。この時、前記ホイールパルス信号の周期ごとに１ずつカウントをし、１周期ごとに動いた距離は０．０２１７ｍである。
【００７８】
同じく、図６を参照して説明すれば、前記車両の右後輪に対するホイールパルス信号を時間の変化に応じて確認することができる。この時、前記ホイールパルス信号の周期ごとに１ずつカウントをし、１周期ごとに動いた距離は０．０２１７ｍである。
【００７９】
具体的には、図５および図６をともに参照すれば、Ｔ時点での左後輪に対するホイールパルス信号は、３回の周期がカウントされてカウント３の値を有するが、Ｔ時点での右後輪に対するホイールパルス信号は、５回の周期がカウントされてカウント５の値を有する。
【００８０】
すなわち、同一時間移動した距離は右後輪がより多いことを確認することができる。これは、車両が後進することを前提に、ステアリングホイールを時計方向に回転した状態として後進していると判断することができる。
【００８１】
図５および図６で示された左後輪および右後輪に対するホイールパルスに基づいて、車両の移動距離を下記数式２〜４を用いて抽出することができる。
【００８２】
【数２】
2017520133.tif 000004
【００８３】
前記数式２において、Ｋ１は、内側後輪の移動距離を意味する。例えば、車両１がステアリングホイールを時計方向に回転した状態で後進する場合には、右後輪が内側後輪になるのであり、車両１がステアリングホイールを半時計方向に回転した状態で後進する場合には、左後輪が内側後輪になるのである。
【００８４】
また、ＷＰｏｕｔは、外側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールスピードセンサの種類および設定に応じて変化できる値である。
【００８５】
さらに、ｔは、時間を意味するが、車両が移動する前を意味し、Δｔは、車両が移動する間にかかる時間を意味する。
【００８６】
【数３】
2017520133.tif 000005
【００８７】
前記数式３において、Ｋ２は、外側後輪の移動距離を意味する。例えば、車両１がステアリングホイールを時計方向に回転した状態で後進する場合には、左後輪が外側後輪になるのであり、車両１がステアリングホイールを半時計方向に回転した状態で後進する場合には、右後輪が外側後輪になるのである。
【００８８】
また、ＷＰｏｕｔは、外側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールスピードセンサの種類および設定に応じて変化できる値である。
【００８９】
さらに、ｔは、時間を意味するが、車両が移動する前を意味し、Δｔは、車両が移動する間にかかる時間を意味する。
【００９０】
【数４】
2017520133.tif 000006
【００９１】
前記数式４において、Ｋは、車軸の移動距離を意味する。ここで、前記車軸の移動距離とは、車両の移動距離と同じ意味である。
【００９２】
また、Ｋ１は、内側後輪の移動距離を意味し、Ｋ２は、外側後輪の移動距離を意味する。すなわち、車両の移動距離である車軸の移動距離は、車両の内側後輪の移動距離と、車両の外側後輪の移動距離との平均値になる。
【００９３】
したがって、前記移動距離抽出部１３１は、前記数式２〜４により前記車両１の移動距離を抽出することができる。
【００９４】
前記抽出された移動距離を活用して、前記車両１の回転半径および移動した位置座標を抽出する方法について説明する。
【００９５】
図７は、本発明に係る車両周辺イメージ生成装置の一実施形態により車両の移動した領域を抽出する方法を説明するための図である。
【００９６】
図７を参照すれば、車両１の現在位置６は、左後輪と右後輪との中間になり、これは、車軸の現在中心位置と同じ意味である。また、前記車両１の移動した後の位置７は、移動した位置における車両の左後輪と右後輪との中間になることを確認することができる。
【００９７】
前記左後輪および右後輪の相互間のホイールパルスの差に基づいて、前記車両の回転半径を抽出する方法について、下記数式５〜８を用いる。
【００９８】
【数５】
2017520133.tif 000007
【００９９】
前記数式５において、Ｋ１は、内側後輪の移動距離を意味し、Ｒは、車両の回転半径を意味する。具体的には、車軸の回転半径を意味する。
【０１００】
Ｗは、車幅を意味する。具体的には、左後輪と右後輪との間の距離を意味する。また、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
【０１０１】
【数６】
2017520133.tif 000008
【０１０２】
前記数式６において、Ｋ２は、外側後輪の移動距離を意味し、Ｒは、車両の回転半径を意味する。具体的には、車軸の回転半径を意味する。
【０１０３】
また、Ｗは車幅を意味し、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
【０１０４】
【数７】
2017520133.tif 000009
【０１０５】
前記数式７において、Ｋ２は、外側後輪の移動距離を意味し、Ｋ１は、内側後輪の移動距離を意味する。また、Ｗは、車幅を意味し、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
【０１０６】
【数８】
2017520133.tif 000010
【０１０７】
前記数式８は、前記数式７を、ｔ時間の間の車両角度の変化量であるΔθ（ｔ）に関してまとめた数式である。すなわち、前記数式５で求めたＫ２から、前記数式６で求めたＫ１を差し引いた値を、既定の車両の幅であるＷで割ると、ｔ時間の間の車両角度の変化量であるΔθ（ｔ）を求めることができる。
【０１０８】
したがって、Ｋ１、Ｋ２、Δθ（ｔ）およびＷ値をすべて知ることができたので、前記数式５または数式６に代入すると、車両の回転半径であるＲ値を求めることができる。
【０１０９】
前記抽出された回転半径および抽出された移動距離に基づいて、前記車両の移動した位置を抽出する方法については、下記数式９〜１７を用いる。
【０１１０】
【数９】
2017520133.tif 000011
【０１１１】
前記数式９において、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味し、ｘ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。前記車軸の現在中心位置とは、左後輪と右後輪との中間になることを上記で説明した。また、θ（ｔ）は、現在の車両の角度を意味する。
【０１１２】
【数１０】
2017520133.tif 000012
【０１１３】
前記数式１０において、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
【０１１４】
【数１１】
2017520133.tif 000013
【０１１５】
前記数式１１において、ｘ‘（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｘ座標の位置を意味し、ｘ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
【０１１６】
【数１２】
2017520133.tif 000014
【０１１７】
前記数式１２において、ｙ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｙ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
【０１１８】
【数１３】
2017520133.tif 000015
【０１１９】
前記数式１３において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のＸ座標の位置を意味し、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味する。
【０１２０】
また、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味し、ｘ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｘ座標の位置を意味し、ｙ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｙ座標の位置を意味する。すなわち、前記数式１３は、Δｔだけ時間が経過する間に車軸が移動して、回転中心を原点とした時の、移動した車軸の中心位置を算出する回転変換式である。
【０１２１】
【数１４】
2017520133.tif 000016
【０１２２】
前記数式１４において、ｘ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のＸ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のＸ座標の位置を意味し、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味する。
【０１２３】
【数１５】
2017520133.tif 000017
【０１２４】
前記数式１５において、ｙ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のｙ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味し、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味する。
【０１２５】
【数１６】
2017520133.tif 000018
【０１２６】
前記数式１６は、前記数式１４に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のＸ座標の位置であるｘ（ｔ＋Δｔ）を求めることができる最終式になる。
【０１２７】
【数１７】
2017520133.tif 000019
【０１２８】
前記数式１７は、前記数式１５に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のｙ座標の位置であるｙ（ｔ＋Δｔ）を求めることができる最終式になる。したがって、前記車両の移動した領域を抽出することができるのである。
【０１２９】
前記合成鳥瞰図イメージ生成部１４０は、図４に示された前の鳥瞰図イメージ１０が生成された後に撮影されて生成された後の鳥瞰図イメージ２０を、前記移動領域鳥瞰図イメージである過去の鳥瞰図イメージ４０と合成する機能を行う。
【０１３０】
したがって、運転者は、車両が後進して車両がＴ＋１時点２００’に存在する時にも、カメラ部１１０に撮影されない部分に対する鳥瞰図イメージ４０を見ることができるのである。
【０１３１】
前記合成鳥瞰図イメージ補正部１５０は、現在のイメージである後の鳥瞰図イメージと、過去のイメージである移動領域鳥瞰図イメージとを区分するためにイメージを補正して、補正された合成鳥瞰図イメージを生成する機能を行う。
【０１３２】
具体的には、前記移動領域鳥瞰図イメージ生成部１３０から生成された移動領域鳥瞰図イメージを補正することができる。
【０１３３】
すなわち、前記合成鳥瞰図イメージ生成部１４０で合成鳥瞰図イメージを生成する前に前記過去のイメージである移動領域鳥瞰図イメージを補正することにより、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分する方法である。したがって、現在のイメージと過去のイメージとが区分された状態で、合成鳥瞰図イメージ生成部１４０によって合成鳥瞰図イメージが生成される。
【０１３４】
さらに他の方法としては、前記合成鳥瞰図イメージ生成部１４０から生成された合成鳥瞰図イメージを補正する方法を例に挙げることができる。
【０１３５】
この場合には、前記合成鳥瞰図イメージ生成部１４０によって合成鳥瞰図イメージが生成された後に、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するように前記合成鳥瞰図イメージを補正する方法である。したがって、現在のイメージと過去のイメージとが区分されていない状態で、合成鳥瞰図イメージ生成部１４０によって合成鳥瞰図イメージが生成されると、前記合成鳥瞰図イメージ補正部１５０によって前記合成鳥瞰図イメージを補正することにより、前記現在のイメージと過去のイメージとを区分することができるのである。
【０１３６】
図８は、車両に位置したカメラ部１１０を介して撮影されて生成された撮影イメージを、ディスプレイ部１１０が出力した画面である。
【０１３７】
図９は、合成鳥瞰図イメージであって、前記合成鳥瞰図イメージ補正部１５０によって補正される前の状態である。
【０１３８】
具体的には、前記合成鳥瞰図イメージには、前記車両２００’に位置したカメラ部１１０の視野に存在する現在の鳥瞰図イメージ２０が存在し、前記カメラ部１１０の視野外に存在する過去の鳥瞰図イメージ４０が存在する。
【０１３９】
この場合、前記過去の鳥瞰図イメージ４０は仮想のイメージであるので、信頼度がやや低下する。したがって、過去の時点に存在していなかった物体が、現在存在しても、ディスプレイ部１６０ではディスプレイされない。
【０１４０】
したがって、前記過去の鳥瞰図イメージ４０と前記現在のイメージ２０とを区分することが、前記合成鳥瞰図イメージ補正部１５０で行われる。
【０１４１】
図１０は、本発明に係る車両周辺イメージ生成装置の合成鳥瞰図イメージ補正部の一実施形態である。図１１〜図１３は、本発明に係る車両周辺イメージ生成装置の一実施形態に係るディスプレイ部の出力画面である。
【０１４２】
図１０を参照すれば、前記合成鳥瞰図イメージ補正部１５０は、過去イメージ映像処理部１５１と、危険領域映像処理部１５２とを含む。
【０１４３】
以下、前記過去イメージ映像処理部１５１について具体的に説明する。
【０１４４】
前記過去イメージ映像処理部１５１は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージを検出して、前記過去のイメージである移動領域鳥瞰図イメージを映像処理する機能を行う。
【０１４５】
すなわち、前記合成鳥瞰図イメージには、過去のイメージである移動領域鳥瞰図イメージが含まれているため、前記合成鳥瞰図イメージから前記過去のイメージである移動領域鳥瞰図イメージを検出することが先行される。
【０１４６】
この時、前記過去イメージ映像処理部１５１は、検出された前記過去のイメージである移動領域鳥瞰図イメージに対して、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくともいずれか１つの処理を行うことができる。
【０１４７】
具体的には、図１１を参照すれば、過去のイメージである移動領域鳥瞰図イメージを黒白処理したことを確認することができる。
【０１４８】
このように、過去のイメージに特殊効果を処理すると、運転者は過去のイメージと現在のイメージとを区分することが容易になって、車両の事故を未然に防ぐことができるという利点があるのである。
【０１４９】
また、前記過去イメージ映像処理部１５１は、前記過去のイメージである移動領域鳥瞰図イメージを、過去の時点に基づいて段階別に異なって、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくともいずれか１つの処理を行うことができる。
【０１５０】
例えば、前記過去のイメージである移動領域鳥瞰図イメージを過去の時点に応じて段階別に区分した後、長い過去に相当するほどぼやけて処理したり、モザイク処理を強くする方法がある。これにより、運転者は、現在のイメージと過去のイメージとを区分すること以外にも、前記過去のイメージを過去の程度に応じて段階別に認知することができるのである。
【０１５１】
また、前記過去イメージ映像処理部１５１は、前記合成鳥瞰図イメージにおいて、前記過去のイメージである移動領域鳥瞰図イメージ中の駐車線を検出して、前記駐車線を映像処理することができる。
【０１５２】
具体的には、前記駐車線に対して、黒白、Ｂｌｕｒ、スケッチ、セピア、ネガティブ、エンボス、モザイクのうちの少なくともいずれか１つの処理を行う方法がある。
【０１５３】
また、前記過去イメージ映像処理部１５１は、前記過去のイメージである移動領域鳥瞰図イメージ中の前記駐車線以外の残りをノイズ処理して、前記駐車線を映し出すこともできる。
【０１５４】
図１２を参照すれば、前記過去のイメージである移動領域鳥瞰図イメージ中に駐車線のみをディスプレイして運転者が駐車線を明確に認知できるようにし、前記駐車線以外には他の情報がないことが分かるので、前記過去のイメージである移動領域鳥瞰図イメージ４０を信頼しないように誘導することができる。
【０１５５】
他の実施形態として、図１３を参照すれば、前記過去のイメージである移動領域鳥瞰図イメージ４０に、警告表示４１を追加する方法がある。すなわち、運転者に過去のイメージであることを明確に知らせることができる。
【０１５６】
さらに他の実施形態として、前記合成鳥瞰図イメージに、前記車両と視野角度を示すＶ型ラインを描写することにより、前記過去の鳥瞰図イメージ４０と前記現在のイメージ２０とを区分するように設計することができる。
【０１５７】
以下、前記危険領域映像処理部１５２について具体的に説明する。
【０１５８】
前記危険領域映像処理部１５２は、前記車両の衝突可能性に対応して、前記合成鳥瞰図イメージを補正することにより、前記合成鳥瞰図イメージに危険領域を表示する機能を行う。
【０１５９】
すなわち、前記車両が他の物体と衝突する恐れがあるかの危険性を判断し、衝突する危険があると判断される場合には、前記合成鳥瞰図イメージに別途の危険領域を表示して運転者にディスプレイすることにより、車両の事故を未然に防ぐことができるのである。
【０１６０】
図１４を参照すれば、過去のイメージである移動領域鳥瞰図イメージ４０には危険領域４２が表示される。
【０１６１】
この時、前記車両が他の物体と衝突する恐れがあるかを判断する方法としては、車両に位置した超音波センサを用いる方法と、車両に位置したステアリングホイールセンサを用いる方法とがあり、具体的な適用方法は、図１４を引き続き参照して後述する。
【０１６２】
前記危険領域映像処理部１５２は、前記車両に位置した少なくとも１つ以上の超音波センサ１７０を介して感知された物体２１と前記車両との距離に対応して、前記合成鳥瞰図イメージを補正することにより、前記合成鳥瞰図イメージに存在する車両の前方または側面に危険領域４２を表示することができる。
【０１６３】
具体的には、前記車両に位置した少なくとも１つ以上の超音波センサを介して感知された物体と前記車両との距離に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
【０１６４】
すなわち、前記車両に位置した少なくとも１つ以上の超音波センサ１７０が前記車両の周辺に存在する物体２１を感知すると、前記車両が前記物体２１と衝突される可能性があると判断する。もちろん、前記車両と前記物体２１との距離が近いほど衝突可能性は高くなる。
【０１６５】
この時、前記合成鳥瞰図イメージを補正して、前記合成鳥瞰図イメージの車両の前方または側面に危険領域４２を表示することにより、運転者に危険性を知らせる機能をするのである。
【０１６６】
すなわち、従来技術では、カメラ部１１０の視野に存在するイメージ（例えば、車両後方）にのみ、危険領域を表示していたが、本発明の実施形態によれば、前記カメラ部１１０の視野外に存在する合成鳥瞰図イメージの車両の前方または側面に危険領域を表示することにより、運転者に危険性を知らせることができるのである。
【０１６７】
前記危険領域４２を表示する他の実施形態として、前記車両の前方から右側方に連携されるように危険領域４２を表示してもよいし、前記車両の前方から左側方に連携されるように危険領域を表示することができる。
【０１６８】
具体的には、前記超音波センサ１７０を介して感知された物体２１と前記車両とが近くにあれば、前記危険領域を表示する時、より大きなイメージを用いたり、より濃いカラーのイメージを活用することにより、運転者がより容易に認知できるように誘導することができる。
【０１６９】
逆に、前記超音波センサ１７０を介して感知された物体２１と前記車両とが一定距離以上離れていて、前記車両の衝突可能性が低くなった場合には、前記危険領域を表示する時、より小さなイメージを用いたり、より薄いカラーのイメージを活用することができる。
【０１７０】
前記超音波センサ１７０で感知された物体２１と前記車両との距離は、前記車両が移動するに伴って変更されるため、前記危険領域４２の表示はリアルタイムに変更できるように設計することができる。
【０１７１】
例えば、前記車両が前記感知された物体２１に向かって近づいている場合、前記危険領域４２の表示は、前記車両と前記感知された物体２１との距離に対応してリアルタイム変更できるようにするのである。
【０１７２】
また、前記危険領域映像処理部１５２は、前記車両に位置したステアリングホイールセンサ１８０を介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記合成鳥瞰図イメージを補正することにより、前記合成鳥瞰図イメージの車両の前方または側面に危険領域４２を表示することができる。
【０１７３】
より具体的には、前記車両に位置したステアリングホイールセンサを介して前記車両の回転角度を抽出し、前記車両の回転角度に対応して、前記補正された合成鳥瞰図イメージを生成することにより、前記車両の前方角から側面方向に沿って前記車両の前方角の仮想回転領域を表示して危険領域を表示することができる。
【０１７４】
すなわち、従来技術では、カメラ部１１０の視野に存在するイメージ（例えば、車両後方）にのみ、危険領域を表示していたが、本発明の実施形態によれば、前記カメラ部１１０の視野外に存在する合成鳥瞰図イメージの車両の前方または側面に危険領域を表示することにより、運転者に危険性を知らせることができるのである。
【０１７５】
具体的には、前記車両に位置したステアリングホイールセンサ１８０を介して前記車両のステアリングホイールが回転する角度を抽出し、前記ステアリングホイール４が回転する角度に応じて前記車両の回転角度を抽出した後、前記車両の回転角度を考慮して、前記車両の衝突危険性を判断する。
【０１７６】
前記車両の衝突危険性とは、前記車両の回転角度を考慮して判断するのである。
【０１７７】
図１４を引き続き参照すれば、車両に搭乗した運転者がステアリングホイール４を半時計方向に回転して後進する場合、前記ステアリングホイールセンサ１８０を介して車両の回転角度を抽出することにより、車両の右側方に危険領域４２を表示するのである。
【０１７８】
逆に、車両に搭乗した運転者がステアリングホイール４を時計方向に回転して後進する場合、前記ステアリングホイールセンサ１８０を介して車両の回転角度を抽出することにより、車両の左側方に危険領域を表示するはずである。
【０１７９】
また、前記運転者が、ステアリングホイール４の方向を変えたり、前記ステアリングホイール４の角度を変更する場合には、リアルタイムに表示された危険領域４２が変更されるように設計することができる。これとともに、車両の進行方向に応じて、表示された危険領域４２が変更されてもよい。
【０１８０】
例えば、車両が車両に搭乗した運転者がステアリングホイール４を半時計方向に回転して後進する場合、車両の前方または右側方に危険領域４２を表示することになるが、この時、前記車両が進行方向を変えて前進する場合には、前記表示された危険領域４２を除去することができるのである。
【０１８１】
前記危険領域４２を表示するさらに他の実施形態として、前記車両の前方から右側方に連携されるように危険領域４２を表示してもよいし、前記車両の前方から左側方に連携されるように危険領域を表示することができる。
【０１８２】
図１５〜図１６を参照して、前記ステアリングホイールセンサを介して車両の回転角度を抽出する動作原理について説明する。図１５は、車両のステアリングホイールセンサを説明するための図である。図１６は、車両の左前輪および右前輪それぞれの回転角度を説明するための図である。
【０１８３】
図１５を参照すれば、車両１のステアリングホイール４の最大角度を確認することができる。具体的には、半時計方向に５３５度（すなわち、−５３５度）、時計方向に５３５度まで回転が可能である。前記ステアリングホイール４の角度を感知するためには、前記車両１に位置したステアリングホイールセンサが活用される。
【０１８４】
図１６を参照すれば、車両の左前輪２および右前輪２’の角度を確認することができる。この時、外側の最大角度（φout max ）は３３度であり、内側最大角度（φin max ）は３９度である。ただし、車両１の種類および技術発展に応じて、前記外側最大角度および内側最大角度は変化できる。
【０１８５】
具体的には、前記ステアリングホイールセンサ１８０を介して前記車両のステアリングホイール４の回転角度を感知し、前記ステアリングホイール４の回転角度に基づいて、前記車両の左前輪２および右前輪２’それぞれの回転角度を算出することができる。
【０１８６】
すなわち、前記ステアリングホイール４の角度を感知した後に、感知されたステアリングホイール４の角度に基づいて、前記車両１の前輪２，２’の角度を算出することができる。
【０１８７】
前記車両１の前輪２，２’の角度を算出する具体的な方法は、下記数式を用いる。
【０１８８】
【数１８】
2017520133.tif 000020
【０１８９】
【数１９】
2017520133.tif 000021
【０１９０】
前記数式１８および１９において、φout は、回転する車両１の前輪外側の角度であり、φin は、回転する車両１の前輪内側の角度である。また、φout max は、外側最大角度で３３度であり、φin max は、内側最大角度で３９度である。
【０１９１】
具体的には、前記車両１が前記ステアリングホイール４を時計方向に回転して後進する場合には、左前輪２から内側角度を算出し、右前輪２’から外側角度を算出することになり、前記車両１が前記ステアリングホイール４を半時計方向に回転して後進する場合には、右前輪２’から内側角度を算出し、左前輪２から外側角度を算出することになるのである。
【０１９２】
また、Ｗdata は、前記ステアリングホイールセンサ１８０から取得した値を意味するので、−５３５度〜５３５度の範囲を有する。
【０１９３】
したがって、前記ステアリングホイールセンサ１８０は、前記車両の回転角度を算出することができる。
【０１９４】
以下、本発明に係る車両周辺イメージ生成方法について説明する。前記本発明に係る車両周辺イメージ生成装置と重複する説明は省略する。
【０１９５】
図１７は、本発明に係る車両周辺イメージ生成方法のフローチャートである。
【０１９６】
図１７を参照すれば、本発明に係る車両周辺イメージ生成方法は、車両に位置したカメラ部を介して周辺を撮影することにより、撮影イメージを生成するステップＳ１００と、前記撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成するステップＳ１１０と、前記鳥瞰図イメージを生成するステップで前の鳥瞰図イメージが生成された後、前記車両の移動した領域を抽出して、前記移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップＳ１２０と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された現在のイメージである後の鳥瞰図イメージを、過去のイメージである移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップＳ１３０と、前記現在のイメージである後の鳥瞰図イメージと、前記過去のイメージである移動領域鳥瞰図イメージとを区分するために前記合成鳥瞰図イメージを補正して、補正された合成鳥瞰図イメージを生成するステップＳ１４０とを含む。
【０１９７】
この時、前記補正された合成鳥瞰図イメージを生成するステップＳ１４０の後に、前記車両に位置したディスプレイ部を介して、前記補正された合成鳥瞰図イメージをディスプレイするステップＳ１５０をさらに含むことができる。
【０１９８】
以上、本発明に係る車両周辺イメージ生成装置および方法は、上記のように説明された実施形態の構成と方法が限定されて適用されるのではなく、上記の実施形態は多様な変形が可能となるように各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。
【図１】
2017520133.tif 000022
【図２】
2017520133.tif 000023
【図３】
2017520133.tif 000024
【図４】
2017520133.tif 000025
【図５】
2017520133.tif 000026
【図６】
2017520133.tif 000027
【図７】
2017520133.tif 000028
【図８】
2017520133.tif 000029
【図９】
2017520133.tif 000030
【図１０】
2017520133.tif 000031
【図１１】
2017520133.tif 000032
【図１２】
2017520133.tif 000033
【図１３】
2017520133.tif 000034
【図１４】
2017520133.tif 000035
【図１５】
2017520133.tif 000036
【図１６】
2017520133.tif 000037
【図１７】
2017520133.tif 000038
【手続補正書】
【提出日】平成28年9月29日(2016.9.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
また、ＷＰｉｎは、内側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールスピードセンサの種類および設定に応じて変化できる値である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
前記数式１０において、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｙ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
前記数式１３において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｘ座標の位置を意味し、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
前記数式１４において、ｘ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のｘ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｘ座標の位置を意味し、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
前記数式１６は、前記数式１４に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のｘ座標の位置であるｘ（ｔ＋Δｔ）を求めることができる最終式になる。