(57)【要約】【課題】車両後方のイメージを取得してモニタ上にディスプレイするための車両周辺イメージ生成装置および方法が開示される。【解決手段】本発明に係る車両周辺イメージ生成装置は、車両周辺を撮影し撮影イメージを生成するカメラ部、撮影イメージをカメラ部を視点に投影された地面座標系データに変換し鳥瞰図イメージを生成する鳥瞰図イメージ生成部、ホイールパルスセンサで生成された車両の左輪及び右輪のホイールパルスに基づいて車両の移動情報を抽出する移動情報抽出部、鳥瞰図イメージ生成部で生成された前の鳥瞰図イメージを移動情報に対応させ車両の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部、前の鳥瞰図イメージが生成された後に撮影されて生成された後の鳥瞰図イメージを移動領域鳥瞰図イメージと合成する合成鳥瞰図イメージ生成部を含む。【選択図】    図２
2017517174.tif 000002
【特許請求の範囲】
【請求項１】
車両に位置して周辺を撮影するカメラ部から生成される撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部と、
前記車両に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、前記車両の移動情報を抽出する移動情報抽出部と、
前記鳥瞰図イメージ生成部によって生成された前の鳥瞰図イメージを、前記移動情報に対応することにより、前記車両の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部と、
前記前の鳥瞰図イメージが生成された後に撮影されて生成された後の鳥瞰図イメージを、前記移動領域鳥瞰図イメージと合成する合成鳥瞰図イメージ生成部とを含むことを特徴とする車両周辺イメージ生成装置。
【請求項２】
前記移動情報抽出部は、前記左輪に対するホイールパルスと、前記右輪に対するホイールパルスとの平均に基づいて、前記車両の移動距離を抽出する移動距離抽出部を含むことを特徴とする請求項１に記載の車両周辺イメージ生成装置。
【請求項３】
前記移動情報抽出部は、前記左輪および右輪の相互間のホイールパルスの差に基づいて、前記車両の回転半径を抽出するパルス基盤回転半径抽出部を含むことを特徴とする請求項２に記載の車両周辺イメージ生成装置。
【請求項４】
前記移動情報抽出部は、前記パルス基盤回転半径抽出部から抽出された回転半径および前記移動距離抽出部から抽出された移動距離に基づいて、前記車両の移動した位置を抽出するパルス基盤移動位置抽出部を含むことを特徴とする請求項３に記載の車両周辺イメージ生成装置。
【請求項５】
前記移動情報抽出部は、前記車両に位置したステアリングホイールセンサを介して前記車両のステアリング回転角度を感知し、前記ステアリング回転角度に基づいて、前記車両の左前輪および右前輪それぞれの回転角度を算出することにより、前記車両の回転半径を抽出するステアリング基盤回転半径抽出部を含むことを特徴とする請求項２に記載の車両周辺イメージ生成装置。
【請求項６】
前記移動情報抽出部は、前記ステアリング基盤回転半径抽出部から抽出された回転半径および前記移動距離抽出部から抽出された移動距離に基づいて、前記車両の移動した位置を抽出するステアリング基盤移動位置抽出部を含むことを特徴とする請求項５に記載の車両周辺イメージ生成装置。
【請求項７】
前記移動情報抽出部は、前記車両のギヤ状態を確認して、前記車両が後進状態の場合に、前記車両の移動情報を抽出するように命令するギヤ基盤抽出命令部を含むことを特徴とする請求項１に記載の車両周辺イメージ生成装置。
【請求項８】
前記ギヤ基盤抽出命令部は、前記車両のギヤ状態が中立の場合において、前記左輪および右輪に対するホイールパルスのパターンの変化を分析して、前記車両の進行方向の変化を抽出することを特徴とする請求項７に記載の車両周辺イメージ生成装置。
【請求項９】
前記左輪および右輪の相互間の繰り返されるホイールパルスのＲｉｓｉｎｇ  ＥｄｇｅまたはＦａｌｌｉｎｇ  Ｅｄｇｅのパターンの変化を分析することにより、前記車両の進行方向の変化を抽出することを特徴とする請求項８に記載の車両周辺イメージ生成装置。
【請求項１０】
鳥瞰図イメージ生成部によって、車両に位置して周辺を撮影するカメラ部から生成される撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、前の鳥瞰図イメージを生成するステップと、
移動情報抽出部によって、前記車両に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、前記車両の移動情報を抽出するステップと、
移動領域鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージを、前記移動情報に対応することにより、前記車両の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップと、
合成鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージが生成された後に撮影されて生成された後の鳥瞰図イメージを、前記移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップとを含むことを特徴とする車両周辺イメージ生成方法。
【請求項１１】
前記移動情報を抽出するステップは、前記左輪に対するホイールパルスと、前記右輪に対するホイールパルスとの平均に基づいて、前記車両の移動距離を抽出するステップを含むことを特徴とする請求項１０に記載の車両周辺イメージ生成方法。
【請求項１２】
前記移動情報を抽出するステップは、前記左輪および右輪の相互間のホイールパルスの差に基づいて、前記車両の回転半径を抽出するステップを含むことを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
【請求項１３】
前記移動情報を抽出するステップは、前記回転半径を抽出するステップで抽出された回転半径および前記移動距離を抽出するステップで抽出された移動距離に基づいて、前記車両の移動した位置を抽出するステップを含むことを特徴とする請求項１２に記載の車両周辺イメージ生成方法。
【請求項１４】
前記移動情報を抽出するステップは、前記車両に位置したステアリングホイールセンサを介して前記車両のステアリング回転角度を感知し、前記ステアリング回転角度に基づいて、前記車両の左前輪および右前輪それぞれの回転角度を算出することにより、前記車両の回転半径を抽出するステップを含むことを特徴とする請求項１１に記載の車両周辺イメージ生成方法。
【請求項１５】
前記移動情報を抽出するステップは、前記回転半径を抽出するステップで抽出された回転半径および前記移動距離を抽出するステップで抽出された移動距離に基づいて、前記車両の移動した位置を抽出するステップを含むことを特徴とする請求項１４に記載の車両周辺イメージ生成方法。
【請求項１６】
前記前の鳥瞰図イメージを生成するステップの後に、前記車両のギヤ状態を確認して、前記車両が後進状態の場合に、前記車両の移動情報を抽出するように命令するステップをさらに含むことを特徴とする請求項１０に記載の車両周辺イメージ生成方法。
【請求項１７】
前記命令するステップは、前記車両のギヤ状態が中立の場合において、前記左輪および右輪に対するホイールパルスのパターンの変化を分析して、前記車両の進行方向の変化を抽出することを特徴とする請求項１６に記載の車両周辺イメージ生成方法。
【請求項１８】
前記左輪および右輪の相互間の繰り返されるホイールパルスのＲｉｓｉｎｇ  ＥｄｇｅまたはＦａｌｌｉｎｇ  Ｅｄｇｅのパターンの変化を分析することにより、前記車両の進行方向の変化を抽出することを特徴とする請求項１７に記載の車両周辺イメージ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺イメージ生成装置および方法（ＡＰＰＡＲＡＴＵＳ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＰＥＲＩＰＨＥＲＡＬ  ＩＭＡＧＥ  ＧＥＮＥＲＡＴＩＯＮ  ＯＦ  ＶＥＨＩＣＬＥ）に関する。特に、車両後方のイメージを取得してモニタ上にディスプレイするための車両周辺イメージ生成装置および方法に関する。
【背景技術】
【０００２】
一般的に、車両は、車体に装備したエンジンなどの原動機を動力源として道路などを走行し、人間や貨物を運んだり各種作業を行う装置であり、車両の運転者は走行方向を注視しながら車両を安全に運転する。
【０００３】
しかし、車両が駐車をするなど後進する場合においては、車両の運転者は車両の後方である走行方向を注視しにくい。したがって、車両の後方をディスプレイするための装置として、車両の後ろに設けられたカメラからのイメージをモニタにそのまま出力するディスプレイ装置が知られている。
【０００４】
特に、韓国公開特許第２００８−００２４７７２号では、カメラから伝達された入力映像を鳥瞰図に変換する技術により、モニタ上にディスプレイされたイメージから車両と駐車区画との間の相対的な位置をより明確に把握できる技術を開示している。
【０００５】
ただし、前記技術では、カメラの現在視野に存在しない対象をディスプレイできないという限界がある。例えば、車両の駐車のために後進する時、すでに車両が通り過ぎた空間に存在する駐車線（現在視野外）はディスプレイできない問題がある。
【０００６】
したがって、カメラの現在視野外の対象をディスプレイするためのイメージを生成できる技術が必要である。これとともに、このような技術を採用する際には、システムの負荷を最小化する一方で、正確で速い作業速度を支援できる方向を講じなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合して、カメラの現在視野外の対象をディスプレイすることを可能にすることである。
【０００８】
また、本発明の目的は、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合するに際し、車両に位置したホイールパルスセンサを活用することにより、システムの過負荷を防止し、より正確に整合することを可能にすることである。
【０００９】
さらに、本発明の目的は、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合するに際し、車両に位置したホイールパルスセンサおよびステアリングホイールセンサを併用することにより、システムの過負荷を防止し、より正確に整合することを可能にすることである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための、本発明に係る車両周辺イメージ生成装置は、車両に位置して周辺を撮影するカメラ部から生成される撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部と、前記車両に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、前記車両の移動情報を抽出する移動情報抽出部と、前記鳥瞰図イメージ生成部によって生成された前の鳥瞰図イメージを、前記移動情報に対応することにより、前記車両の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された後の鳥瞰図イメージを、前記移動領域鳥瞰図イメージと合成する合成鳥瞰図イメージ生成部とを含む。
【００１１】
この時、前記移動情報抽出部は、前記左輪に対するホイールパルスと、前記右輪に対するホイールパルスとの平均に基づいて、前記車両の移動距離を抽出する移動距離抽出部を含むことができる。
【００１２】
この時、前記移動情報抽出部は、前記左輪および右輪の相互間のホイールパルスの差に基づいて、前記車両の回転半径を抽出するパルス基盤回転半径抽出部を含むことができる。
【００１３】
この時、前記移動情報抽出部は、前記パルス基盤回転半径抽出部から抽出された回転半径および前記移動距離抽出部から抽出された移動距離に基づいて、前記車両の移動した位置を抽出するパルス基盤移動位置抽出部を含むことができる。
【００１４】
この時、前記移動情報抽出部は、前記車両に位置したステアリングホイールセンサを介して前記車両のステアリング回転角度を感知し、前記ステアリング回転角度に基づいて、前記車両の左前輪および右前輪それぞれの回転角度を算出することにより、前記車両の回転半径を抽出するステアリング基盤回転半径抽出部を含むことができる。
【００１５】
この時、前記移動情報抽出部は、前記ステアリング基盤回転半径抽出部から抽出された回転半径および前記移動距離抽出部から抽出された移動距離に基づいて、前記車両の移動した位置を抽出するステアリング基盤移動位置抽出部を含むことができる。
【００１６】
この時、前記移動情報抽出部は、前記車両のギヤ状態を確認して、前記車両が後進状態の場合に、前記車両の移動情報を抽出するように制御するギヤ基盤抽出命令部を含むことができる。
【００１７】
この時、前記ギヤ基盤抽出命令部は、前記車両のギヤ状態が中立の場合において、前記左輪および右輪に対するホイールパルスのパターンの変化を分析して、前記車両の進行方向の変化を抽出することができる。
【００１８】
この時、前記左輪および右輪の相互間の繰り返されるホイールパルスのＲｉｓｉｎｇ  ＥｄｇｅまたはＦａｌｌｉｎｇ  Ｅｄｇｅのパターンの変化を分析することにより、前記車両の進行方向の変化を抽出することができる。
【００１９】
また、上記の目的を達成するための、本発明に係る車両周辺イメージ生成方法は、鳥瞰図イメージ生成部によって、車両に位置して周辺を撮影するカメラ部から生成される撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、前の鳥瞰図イメージを生成するステップと、移動情報抽出部によって、前記車両に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、前記車両の移動情報を抽出するステップと、移動領域鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージを、前記移動情報に対応することにより、前記車両の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップと、合成鳥瞰図イメージ生成部によって、前記前の鳥瞰図イメージが生成された後に撮影されて生成された後の鳥瞰図イメージを、前記移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップとを含む。
【００２０】
この時、前記移動情報を抽出するステップは、前記左輪に対するホイールパルスと、前記右輪に対するホイールパルスとの平均に基づいて、前記車両の移動距離を抽出するステップを含むことができる。
【００２１】
この時、前記移動情報を抽出するステップは、前記左輪および右輪の相互間のホイールパルスの差に基づいて、前記車両の回転半径を抽出するステップを含むことができる。
【００２２】
この時、前記移動情報を抽出するステップは、前記回転半径を抽出するステップで抽出された回転半径および前記移動距離を抽出するステップで抽出された移動距離に基づいて、前記車両の移動した位置を抽出するステップを含むことができる。
【００２３】
この時、前記移動情報を抽出するステップは、前記車両に位置したステアリングホイールセンサを介して前記車両のステアリング回転角度を感知し、前記ステアリング回転角度に基づいて、前記車両の左前輪および右前輪それぞれの回転角度を算出することにより、前記車両の回転半径を抽出するステップを含むことができる。
【００２４】
この時、前記移動情報を抽出するステップは、前記回転半径を抽出するステップで抽出された回転半径および前記移動距離を抽出するステップで抽出された移動距離に基づいて、前記車両の移動した位置を抽出するステップを含むことができる。
【００２５】
この時、前記前の鳥瞰図イメージを生成するステップの後に、前記車両のギヤ状態を確認して、前記車両が後進状態の場合に、前記車両の移動情報を抽出するように制御するステップをさらに含むことができる。
【００２６】
この時、前記車両のギヤ状態が中立の場合において、前記左輪および右輪に対するホイールパルスのパターンの変化を分析して、前記車両の進行方向の変化を抽出することができる。
【００２７】
この時、前記左輪および右輪の相互間の繰り返されるホイールパルスのＲｉｓｉｎｇ  ＥｄｇｅまたはＦａｌｌｉｎｇ  Ｅｄｇｅのパターンの変化を分析することにより、前記車両の進行方向の変化を抽出することができる。
【発明の効果】
【００２８】
本発明によれば、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合して、カメラの現在視野外の対象をディスプレイすることができる。
【００２９】
また、本発明によれば、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合するに際し、車両に位置したホイールパルスセンサを活用することにより、システムの過負荷を防止し、より正確に整合することができる。
【００３０】
さらに、本発明によれば、カメラにより互いに異なる時間に撮影した車両周辺のイメージに対する鳥瞰図を整合するに際し、車両に位置したホイールパルスセンサおよびステアリングホイールセンサを併用することにより、システムの過負荷を防止し、より正確に整合することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本発明に係る車両周辺イメージ生成装置の主要部分を示す概略図である。
【図２】図２は、本発明に係る車両周辺イメージ生成装置のブロック図である。
【図３】図３は、本発明に係る車両周辺イメージ生成装置により行われる座標変換での位置関係を示す図である。
【図４】図４は、本発明に係る車両周辺イメージ生成装置の概念を説明するための図である。
【図５】図５は、本発明に係る車両周辺イメージ生成装置により行われる処理手順を示す図である。
【図６】図６は、本発明に係る車両周辺イメージ生成装置により行われる処理手順を示す図である。
【図７】図７は、本発明に係る車両周辺イメージ生成装置により行われる処理手順を示す図である。
【図８】図８は、本発明に係る車両周辺イメージ生成装置により行われる処理手順を示す図である。
【図９】図９は、本発明に係る車両周辺イメージ生成装置により行われる処理手順を示す図である。
【図１０】図１０は、本発明に係る車両周辺イメージ生成装置により行われる処理手順を示す図である。
【図１１】図１１は、本発明に係る車両周辺イメージ生成装置の構成要素である移動情報抽出部の第１実施形態である。
【図１２】図１２は、本発明に係る車両周辺イメージ生成装置により生成された車両の左後輪に対するホイールパルスを示す図である。
【図１３】図１３は、本発明に係る車両周辺イメージ生成装置により生成された車両の右後輪に対するホイールパルスを示す図である。
【図１４】図１４は、前記移動情報抽出部の第１実施形態により車両の移動した位置を抽出する方法を説明するための図である。
【図１５】図１５は、本発明に係る車両周辺イメージ生成装置の構成要素である移動情報抽出部の第２実施形態である。
【図１６】図１６は、前記移動情報抽出部の第２実施形態により車両のステアリングホイールセンサを説明するための図である。
【図１７】図１７は、前記移動情報抽出部の第２実施形態により車両の左前輪および右前輪それぞれの回転角度を算出する方法を説明するための図である。
【図１８】図１８は、前記移動情報抽出部の第２実施形態により車両の移動した位置を抽出する方法を説明するための図である。
【図１９】図１９は、車両の後輪に対するホイールパルスのパターンの変化を分析して、車両の進行方向の変化を抽出する方法を説明するための図である。
【図２０】図２０は、車両の後輪に対するホイールパルスのパターンの変化を分析して、車両の進行方向の変化を抽出する方法を説明するための図である。
【図２１】図２１は、本発明に係る車両周辺イメージ生成方法のフローチャートである。
【図２２】図２２は、本発明に係る車両周辺イメージ生成方法において車両の移動情報を抽出するように命令するステップを説明するための図である。
【発明を実施するための形態】
【００３２】
以下、本発明を添付した図面を参照して詳細に説明する。ここで、繰り返される説明、本発明の要旨を不必要にあいまいにし得る公知の機能、および構成に関する詳細な説明は省略する。
【００３３】
本発明の実施形態は、当業界における平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面における要素の形状および大きさなどは、より明確な説明のために誇張されることがある。
【００３４】
本発明に係る車両周辺イメージ生成装置の基本システム構成について、図１および図２を参照して説明する。
【００３５】
図１は、本発明に係る車両周辺イメージ生成装置の主要部分を示す概略図である。図２は、本発明に係る車両周辺イメージ生成装置のブロック図である。
【００３６】
図１を参照して説明すれば、本発明に係る車両周辺イメージ生成装置１００は、車両１に位置して周辺５を撮影することにより、撮影イメージを生成するカメラ部１１０と、前記撮影イメージを、前記カメラ部１１０を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する鳥瞰図イメージ生成部１２０と、前記車両１に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両の左輪３および右輪（図示せず）に対するホイールパルスに基づいて、前記車両の移動情報を抽出する移動情報抽出部１３０と、前記鳥瞰図イメージ生成部１２０によって生成された前の鳥瞰図イメージを、前記移動情報に対応することにより、前記車両１の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する移動領域鳥瞰図イメージ生成部１４０と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された後の鳥瞰図イメージを、前記移動領域鳥瞰図イメージと合成する合成鳥瞰図イメージ生成部１５０とを含む。
【００３７】
また、前記車両１に位置し、前記合成鳥瞰図イメージをディスプレイするディスプレイ部１６０をさらに含むことができる。
【００３８】
この時、前記鳥瞰図イメージ生成部１２０、移動情報抽出部１３０、移動領域鳥瞰図イメージ生成部１４０および合成鳥瞰図イメージ生成部１５０は、本発明に係る車両周辺イメージ生成装置１００の主要部分であって、マイクロコンピュータを含んだ、イメージデータの処理を行うための電子装置であり、カメラ部１と一体に構成される。
【００３９】
前記カメラ部１１０は、車両１に位置して周辺５を撮影することにより、撮影イメージを生成する機能を行う。
【００４０】
図１に示されているように、前記カメラ部１１０は、車両１の後方に設けられ、少なくとも１つ以上のカメラ（例えば、ＣＣＤカメラ）を含む。
【００４１】
前記鳥瞰図イメージ生成部１２０は、前記カメラ部１１０から撮影されて生成された撮影イメージを、前記カメラ部１１０を視点に投影された地面座標系のデータに変換することにより、鳥瞰図イメージを生成する機能を行う。
【００４２】
前記カメラ部１１０によって撮影されて生成された撮影イメージを鳥瞰図イメージに変換する方法は、後述するように関連する技術が使用される。ここで、通常の透視変換（Ｐｅｒｓｐｅｃｔｉｖｅ  ｃｏｎｖｅｒｓｉｏｎ）の逆処理を行うことにより、地面上のイメージ（例えば、駐車空間表示）の位置が鳥瞰図イメージとして取得される。
【００４３】
図３は、本発明に係る車両周辺イメージ生成装置により行われる座標変換での位置関係を示す図である。
【００４４】
具体的には、図３に示されているように、地面上のイメージの位置データがカメラ部１１０の位置Ｒから焦点距離ｆを有するスクリーン平面Ｔ上に投影される方式で透視変換が実行される。
【００４５】
より詳細に説明すれば、カメラ部１１０がＺ軸上のポイントＲ（０，０，Ｈ）に位置して、見下ろす角度τで地面（ｘ−ｙ座標平面）上にイメージをモニタリングすると仮定する。したがって、ここでは、下記数式１に示されているように、スクリーン平面Ｔ上に２次元座標（α，β）が地面平面上の座標（鳥瞰図座標）に変換（逆透視変換）される。
【００４６】
【数１】
2017517174.tif 000003
【００４７】
すなわち、前記数式１を用いることにより、投影された映像を（鳥瞰図イメージを示す）、前記ディスプレイ部１６０のスクリーンに対するイメージに変換して、これをディスプレイ部１６０上にディスプレイすることができる。
【００４８】
以下、図４を参照して、本発明に係る車両周辺イメージ生成装置の概念を説明する。
【００４９】
図４を参照して説明すれば、Ｔ時点での車両１と、前記Ｔ時点から一定時間経過後のＴ＋１時点での車両１’が示されている。
【００５０】
前記Ｔ時点での車両１から生成された鳥瞰図イメージを前の鳥瞰図イメージ１５といい、前記Ｔ＋１時点での車両１’から生成された鳥瞰図イメージを後の鳥瞰図イメージ２５という。
【００５１】
この時、前記前の鳥瞰図イメージ１５と前記後の鳥瞰図イメージ２５は、共通した領域に対する鳥瞰図イメージ３５が存在する。すなわち、Ｔ時点と、Ｔ＋１時点で共通に撮影されて生成された鳥瞰図イメージである。
【００５２】
また、前記Ｔ＋１時点での車両１’の側面から眺めると、前記前の鳥瞰図イメージ１５中の、前記共通した領域に対する鳥瞰図イメージ３５を除いた部分は、過去の鳥瞰図イメージ４５になる。
【００５３】
前記過去の鳥瞰図イメージ４５とは、Ｔ＋１時点での車両１’の後方にあるカメラ部１１０の視野外の対象である。すなわち、現在時点のＴ＋１時点では撮影されない対象を意味する。
【００５４】
本発明に係る車両周辺イメージ生成装置１００は、前記Ｔ＋１時点での車両１’の内部のディスプレイ部１６０によってディスプレイされるイメージに、前記過去の鳥瞰図イメージ４５を含ませることを目的とする。すなわち、カメラ部１１０の現在視野に存在する後の鳥瞰図イメージ２５と、前記過去の鳥瞰図イメージ４５とを合成してディスプレイするのである。
【００５５】
このように合成されたイメージを合成鳥瞰図イメージといい、合成鳥瞰図イメージを生成するためには、前記後の鳥瞰図イメージ２５と前記過去の鳥瞰図イメージ４５とを正確に合成する一方で、動作処理が速くなければならず、システムの負荷を最小化することが必要である。
【００５６】
また、前記過去の鳥瞰図イメージ４５を正確に抽出するためには、前記車両の移動情報を抽出しなければならない。前記過去の鳥瞰図イメージ４５は、前記移動情報を抽出することで算出されるので、移動領域鳥瞰図イメージという。前記車両の移動情報を抽出する具体的な方法については後述する。
【００５７】
したがって、前記合成鳥瞰図イメージとは、前記Ｔ時点で撮影されて前の鳥瞰図イメージ１５が生成された後、Ｔ＋１時点で撮影されて生成された後の鳥瞰図イメージ２５と、前記移動領域鳥瞰図イメージとを合成したイメージである。
【００５８】
以下、図５〜図１０を参照して、前記移動情報抽出部１３０、移動領域鳥瞰図イメージ生成部１４０および合成鳥瞰図イメージ生成部１５０の動作について説明する。
【００５９】
図５〜図１０は、本発明に係る車両周辺イメージ生成装置により行われる処理手順を示す図である。
【００６０】
図５は、前記カメラ部１１０から撮影されて生成された撮影イメージを、ディスプレイ部１６０でディスプレイしたものであり、図６は、図５に示された撮影イメージを、前記鳥瞰図イメージ生成部１２０で変換することにより、鳥瞰図イメージ１０（以下、前の鳥瞰図イメージという）を生成して、ディスプレイ部１６０でディスプレイしたものである。
【００６１】
図５を参照すれば、車両１の後方に自転車１１と駐車線１２が存在することを確認することができ、図６を参照すれば、前記自転車１１と駐車線１２も鳥瞰図イメージに変換されたことを確認することができる。
【００６２】
また、図６は、カメラ部１１０が車両１の後ろの上部に位置しているため、実際の長方形の駐車空間表示は、車両１およびこれによるカメラ部１１０と駐車空間表示ラインの位置との間の距離などによって歪まれてディスプレイされる。
【００６３】
続いて、図６を参照すれば、カメラ部１１０の現在視野外にある対象２０については鳥瞰図イメージが生成されないことを確認することができる。
【００６４】
したがって、運転者は、駐車をするに際し、カメラ部１１０の現在視野外にある駐車線または事物を確認できないため、車両１の位置を直観的に認知しにくく、接触事故が懸念される問題がある。
【００６５】
本発明に係る車両周辺イメージ生成装置１００は、このような問題を解決するために、前記カメラ部１１０の現在視野外にある対象２０についても鳥瞰図イメージを生成する技術を開示する。
【００６６】
図７は、前記車両１の運転者が前記車両１のステアリングホイール４を半時計方向に回転して、図５に示された空間から車両１が一定距離後進したことを、前記カメラ部１１０が撮影して生成した撮影イメージである。
【００６７】
図８には、図７に示された撮影イメージを、前記鳥瞰図イメージ生成部１２０で変換することにより、生成された鳥瞰図イメージ３０（以下、後の鳥瞰図イメージという）が存在する。
【００６８】
この時、前記車両１の移動距離に応じて、後の鳥瞰図イメージ３０には、前記前の鳥瞰図イメージ１０に存在していた部分が含まれる。
【００６９】
また、図８には、図７に示されていない鳥瞰図イメージ４０も存在する。この時、図７に示されていない鳥瞰図イメージ４０とは、車両に位置したカメラ部１１０の現在視野にない対象に対する鳥瞰図イメージを意味し、図７および図８を併せて参照すれば、自転車４１も、カメラ部１１０の現在視野にない対象に相当する。
【００７０】
この時、前記図７に示されていない鳥瞰図イメージ４０は、仮想のイメージになるのであり、過去の前記車両１が後進する前の状態、すなわち、前の鳥瞰図イメージ１０に存在していた部分であるので、カメラ部１１０の現在視野にない対象でもディスプレイできるのである。
【００７１】
ただし、鳥瞰図イメージが生成されない部分５０も存在するが、これは、過去の前記車両１が後進する前の状態、すなわち、前の鳥瞰図イメージに存在しなかったからである。具体的には、前記車両１の運行開始点前のイメージは撮影されないからである。
【００７２】
結果的に、運転者は、ディスプレイ部１６０を介して、後の鳥瞰図イメージ３０と、前記図７に示されていない鳥瞰図イメージ４０をともに見ることができる。
【００７３】
したがって、運転者は、後進の際に、現在のカメラ部１１０の視野外に存在する自転車４１および駐車線４２を確認可能になり、接触事故を未然に防ぐことができる。
【００７４】
この時、前記後の鳥瞰図イメージ３０と、前記図７に示されていない鳥瞰図イメージ４０とを合成した鳥瞰図イメージを合成鳥瞰図イメージという。
【００７５】
ただし、このような合成鳥瞰図イメージを生成するためには、図７に示されていない鳥瞰図イメージ４０である過去のイメージを抽出することが必要であり、このような過去のイメージを抽出するためには、車両の移動情報を抽出すれば良い。
【００７６】
前記車両の移動情報を抽出することは、移動情報抽出部１３０で行われ、具体的な方法は後述する。
【００７７】
図９は、前記車両１が図７に示された空間から一定距離後進したことを、前記カメラ部１１０が撮影して生成した撮影イメージである。
【００７８】
図１０には、図９に示された撮影イメージを、前記鳥瞰図イメージ生成部１２０で変換することにより、生成された鳥瞰図イメージ５０（以下、最後の鳥瞰図イメージという）が存在する。
【００７９】
前記車両１の移動距離に応じて、最後の鳥瞰図イメージ５０には、前記前の鳥瞰図イメージ１０および後の鳥瞰図イメージ３０に存在していた部分が含まれる。
【００８０】
また、図１０には、図９に示されていない鳥瞰図イメージ６０も存在する。この時、図９に示されていない鳥瞰図イメージ６０とは、車両に位置したカメラ部１１０の現在視野にない対象に対する鳥瞰図イメージを意味する。
【００８１】
この時、前記図９に示されていない鳥瞰図イメージ６０は、仮想のイメージになるのであり、過去の前記車両１が後進する前の状態、すなわち、前の鳥瞰図イメージ１０および後の鳥瞰図イメージ３０に存在していた部分であるので、カメラ部１１０の現在視野にない対象でもディスプレイできるのである。
【００８２】
したがって、運転者は、ディスプレイ部１６０を介して、最後の鳥瞰図イメージ５０と、前記図９に示されていない鳥瞰図イメージ６０をともに見ることができる。
【００８３】
結果的に、運転者は、後進の際に、現在のカメラ部１１０の視野外に存在する駐車線６１を確認可能になり、接触事故を未然に防ぐことができる。
【００８４】
この時、前記最後の鳥瞰図イメージ５０と、前記図９に示されていない鳥瞰図イメージ６０とを合成した鳥瞰図イメージを合成鳥瞰図イメージという。
【００８５】
ただし、このような合成鳥瞰図イメージを生成するためには、図９に示されていない鳥瞰図イメージ６０である過去のイメージを抽出することが必要であり、このような過去のイメージを抽出するためには、車両の移動情報を抽出すれば良い。
【００８６】
前記車両の移動情報を抽出することは、移動情報抽出部１３０で行われ、具体的な方法は後述する。
【００８７】
以下、本発明に係る車両周辺イメージ生成装置１００の構成要素である移動情報抽出部１３０の機能について説明し、前記移動情報抽出部１３０の多様な実施形態である第１実施形態および第２実施形態を具体的に説明する。
【００８８】
前記移動情報抽出部１３０は、前記車両１に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両１の左輪３および右輪（図示せず）に対するホイールパルスに基づいて、前記車両１の移動情報を抽出する機能を行う。
前記車両１の前輪２は、前記車両１の後輪とは異なり、回転するように構成されているため、前記車両１の移動した距離を正確に抽出するに際しては、前記車両１の後輪を活用することがより効果的である。
【００８９】
したがって、前記移動情報抽出部１３０を説明するにあたり、後輪を中心に説明する。ただし、この説明が前記移動情報抽出部１３０における後輪のみを権利範囲に限定するわけではない。
【００９０】
また、前記車両１の移動情報を抽出するに際し、従来のヨーレート（ｙａｗ  ｒａｔｅ）センサおよび車両速度センサを採用する技術が存在するが、このような従来技術では、本発明の実施形態のように、車両１が駐車したり、後進するなど、前記車両１が低速で移動する場合では、前記車両１の正確な移動情報を抽出するのに限界がある。
【００９１】
したがって、本発明は、前記車両１に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両１の左輪３および右輪（図示せず）に対するホイールパルスに基づいて、前記車両１の移動情報を抽出する技術を開示する。
【００９２】
図１１は、本発明に係る車両周辺イメージ生成装置の構成要素である移動情報抽出部の第１実施形態である。図１５は、本発明に係る車両周辺イメージ生成装置の構成要素である移動情報抽出部の第２実施形態である。
【００９３】
図１１を参照すれば、前記第１実施形態に係る移動情報抽出部１３０は、移動距離抽出部１３１と、パルス基盤回転半径抽出部１３２ａと、パルス基盤移動位置抽出部１３３ａとを含む。
【００９４】
図１５を参照すれば、前記第２実施形態に係る移動情報抽出部１３０は、移動距離抽出部１３１と、ステアリング基盤回転半径抽出部１３２ｂと、ステアリング基盤移動位置抽出部１３３ｂとを含む。
【００９５】
前記移動情報抽出部１３０の第１実施形態および第２実施形態に共通する移動距離抽出部１３１について先に説明し、前記第１実施形態および前記第２実施形態をそれぞれ具体的に後述する。
【００９６】
１．移動距離抽出部１３１
前記移動距離抽出部１３１は、車両１に位置したホイールパルスセンサを介して生成された左輪に対するホイールパルスと、前記右輪に対するホイールパルスとの平均に基づいて、前記車両の移動距離を抽出する機能を行う。
【００９７】
前記ホイールパルスセンサは、車両１に位置し、前記車両１の左輪および右輪の動きに応じてホイールパルス信号を生成する。
【００９８】
図１２は、本発明に係る車両周辺イメージ生成装置により生成された車両の左後輪に対するホイールパルスを示す図である。図１３は、本発明に係る車両周辺イメージ生成装置により生成された車両の右後輪に対するホイールパルスを示す図である。
【００９９】
図１２を参照して説明すれば、前記車両１の左後輪に対するホイールパルス信号を時間の変化に応じて確認することができる。この時、前記ホイールパルス信号の周期ごとに１ずつカウントをし、１周期ごとに動いた距離は０．０２１７ｍである。
【０１００】
同じく、図１３を参照して説明すれば、前記車両１の右後輪に対するホイールパルス信号を時間の変化に応じて確認することができる。この時、前記ホイールパルス信号の周期ごとに１ずつカウントをし、１周期ごとに動いた距離は０．０２１７ｍである。
【０１０１】
具体的には、図１２および図１３を併せて参照すれば、Ｔ時点での左後輪に対するホイールパルス信号は、３回の周期がカウントされてカウント３の値を有するが、Ｔ時点での右後輪に対するホイールパルス信号は、５回の周期がカウントされてカウント５の値を有する。
【０１０２】
すなわち、同一時間移動した距離は、右後輪がより多いことを確認することができる。これは、車両１が後進することを前提に、ステアリングホイールを時計方向に回転した状態として後進していると判断することができる。車両の後進および前進を判断する具体的な方法は後述する。
【０１０３】
図１２および図１３で示された左後輪および右後輪に対するホイールパルスに基づいて、車両の移動距離を下記数式２〜４を用いて抽出することができる。
【０１０４】
【数２】
2017517174.tif 000004
【０１０５】
前記数式２において、Ｋ１は、内側後輪の移動距離を意味する。例えば、車両１がステアリングホイールを時計方向に回転した状態で後進する場合には、右後輪が内側後輪になるのであり、車両１がステアリングホイールを半時計方向に回転した状態で後進する場合には、左後輪が内側後輪になるのである。
【０１０６】
また、ＷＰｏｕｔは、外側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールパルスセンサの種類および設定に応じて変化できる値である。
【０１０７】
さらに、ｔは、時間を意味するが、車両が移動する前を意味し、Δｔは、車両が移動する間にかかる時間を意味する。
【０１０８】
【数３】
2017517174.tif 000005
【０１０９】
前記数式３において、Ｋ２は、外側後輪の移動距離を意味する。
【０１１０】
例えば、車両１がステアリングホイールを時計方向に回転した状態で後進する場合には、左後輪が外側後輪になるのであり、車両１がステアリングホイールを半時計方向に回転した状態で後進する場合には、右後輪が外側後輪になるのである。
【０１１１】
また、ＷＰｏｕｔは、外側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールパルスセンサの種類および設定に応じて変化できる値である。
【０１１２】
さらに、ｔは、時間を意味するが、車両が移動する前を意味し、Δｔは、車両が移動する間にかかる時間を意味する。
【０１１３】
【数４】
2017517174.tif 000006
【０１１４】
前記数式４において、Ｋは、車軸の移動距離を意味する。ここで、前記車軸の移動距離とは、車両の移動距離と同じ意味である。
【０１１５】
また、Ｋ１は、内側後輪の移動距離を意味し、Ｋ２は、外側後輪の移動距離を意味する。すなわち、車両の移動距離である車軸の移動距離は、車両の内側後輪の移動距離と、車両の外側後輪の移動距離との平均値になる。
【０１１６】
したがって、前記移動距離抽出部１３１は、前記数式２〜４により前記車両１の移動距離を抽出することができる。
【０１１７】
２．第１実施形態
前記移動距離抽出部１３１から抽出された車両１の移動距離を活用して、前記第１実施形態により前記車両１の回転半径および移動した位置座標を抽出する方法について説明する。
【０１１８】
図１４は、前記移動情報抽出部の第１実施形態により車両の移動した位置を抽出する方法を説明するための図である。
【０１１９】
図１４を参照すれば、車両１の現在位置６は、左後輪と右後輪との中間になり、これは、車軸の現在中心位置と同じ意味である。また、前記車両１が移動した後の位置７は、移動した位置における車両の左後輪と右後輪との中間になることを確認することができる。
【０１２０】
前記パルス基盤回転半径抽出部１３２ａは、前記左後輪および右後輪の相互間のホイールパルスの差に基づいて、前記車両の回転半径を抽出する機能を行う。このような回転半径を抽出する方法としては、下記数式５〜８を用いる。
【０１２１】
【数５】
2017517174.tif 000007
【０１２２】
前記数式５において、Ｋ１は、内側後輪の移動距離を意味し、Ｒは、車両の回転半径を意味する。具体的には、車軸の回転半径を意味する。
【０１２３】
Ｗは、車幅を意味する。具体的には、左後輪と右後輪との間の距離を意味する。また、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
【０１２４】
【数６】
2017517174.tif 000008
【０１２５】
前記数式６において、Ｋ２は、外側後輪の移動距離を意味し、Ｒは、車両の回転半径を意味する。具体的には、車軸の回転半径を意味する。
【０１２６】
また、Ｗは、車幅を意味し、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
【０１２７】
【数７】
2017517174.tif 000009
【０１２８】
前記数式７において、Ｋ２は、外側後輪の移動距離を意味し、Ｋ１は、内側後輪の移動距離を意味する。また、Ｗは、車幅を意味し、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味する。
【０１２９】
【数８】
2017517174.tif 000010
【０１３０】
前記数式８は、前記数式７を、ｔ時間の間の車両角度の変化量であるΔθ（ｔ）に関してまとめた数式である。
【０１３１】
すなわち、前記数式５で求めたＫ２から、前記数式６で求めたＫ１を差し引いた値を、既定の車両の幅であるＷで割ると、ｔ時間の間の車両角度の変化量であるΔθ（ｔ）を求めることができる。
【０１３２】
したがって、Ｋ１、Ｋ２、Δθ（ｔ）およびＷ値をすべて知ることができたため、前記数式５または数式６に代入すると、車両の回転半径であるＲ値を求めることができる。
【０１３３】
前記パルス基盤移動位置抽出部１３３ａは、前記パルス基盤回転半径抽出部１３２ａから抽出された回転半径および前記移動距離抽出部１３１から抽出された移動距離に基づいて、前記車両の移動した位置を抽出する機能を行う。このような回転半径を抽出する方法としては、下記数式９〜１７を用いる。
【０１３４】
【数９】
2017517174.tif 000011
【０１３５】
前記数式９において、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味し、ｘ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。前記車軸の現在中心位置とは、左後輪と右後輪との中間になることを上記で説明した。また、Δθ（ｔ）は、現在の車両の角度を意味する。
【０１３６】
【数１０】
2017517174.tif 000012
【０１３７】
前記数式１０において、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。また、Δθ（ｔ）は、現在の車両の角度を意味する。
【０１３８】
【数１１】
2017517174.tif 000013
【０１３９】
前記数式１１において、ｘ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｘ座標の位置を意味し、ｘ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
【０１４０】
【数１２】
2017517174.tif 000014
【０１４１】
前記数式１１において、ｙ’（ｔ）は、回転中心を原点にした時の車軸の現在中心位置中のｘ座標の位置を意味し、y（ｔ）は、車両の現在位置である車軸の現在中心位置中のｘ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
【０１４２】
【数１３】
2017517174.tif 000015
【０１４３】
前記数式１３において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のＸ座標の位置を意味し、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味する。
【０１４４】
また、 Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味し、ｘ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｘ座標の位置を意味し、ｙ’（ｔ）は、回転中心を原点とした時の車軸の現在中心位置中のｙ座標の位置を意味する。
【０１４５】
すなわち、前記数式１３は、Δｔだけ時間が経過する間に車軸が移動して、回転中心を原点とした時の、移動した車軸の中心位置を算出する回転変換式である。
【０１４６】
【数１４】
2017517174.tif 000016
【０１４７】
前記数式１４において、ｘ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のＸ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、前記数式１４において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のＸ座標の位置を意味し、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味する。
【０１４８】
【数１５】
2017517174.tif 000017
【０１４９】
前記数式１５において、ｙ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のｙ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。
【０１５０】
また、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味し、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味する。
【０１５１】
【数１６】
2017517174.tif 000018
【０１５２】
前記数式１６は、前記数式１４に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のＸ座標の位置であるｘ（ｔ＋Δｔ）を求めることができる最終式になる。
【０１５３】
【数１７】
2017517174.tif 000019
【０１５４】
前記数式１７は、前記数式１５に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のｙ座標の位置であるｙ（ｔ＋Δｔ）を求めることができる最終式になる。
【０１５５】
上記で説明したように、前記パルス基盤移動位置抽出部１３３ａは、前記数式９〜１７を用いて車軸の移動後の中心位置を抽出することができる。
【０１５６】
３．第２実施形態
前記移動距離抽出部１３１から抽出された車両１の移動距離を活用して、前記第２実施形態により前記車両１の回転半径および移動した位置座標を抽出する方法について説明する。
【０１５７】
図１６は、前記移動情報抽出部の第２実施形態により車両のステアリングホイールセンサを説明するための図である。図１７は、前記移動情報抽出部の第２実施形態により車両の左前輪および右前輪それぞれの回転角度を算出する方法を説明するための図である。図１８は、前記移動情報抽出部の第２実施形態により車両の移動した位置を抽出する方法を説明するための図である。
【０１５８】
図１６を参照すれば、車両１のステアリングホイールの最大角度を確認することができる。具体的には、半時計方向に５３５度（すなわち、−５３５度）、時計方向に５３５度まで回転が可能である。前記ステアリングホイールの角度を感知するためには、前記車両１に位置したステアリングホイールセンサが活用される。
【０１５９】
図１７を参照すれば、車両の左前輪２および右前輪２’の角度を確認することができる。この時、外側最大角度（φout max ）は３３度であり、内側最大角度（φout max ）は３９度である。ただし、車両１の種類および技術発展に応じて、前記外側最大角度および内側最大角度は変化できる。
【０１６０】
前記ステアリング基盤回転半径抽出部１３２ｂは、前記車両１に位置したステアリングホイールセンサを介して前記車両のステアリング４の回転角度を感知し、前記ステアリング４の回転角度に基づいて、前記車両の左前輪２および右前輪２’それぞれの回転角度を算出することにより、前記車両１の回転半径を抽出する機能を行う。
【０１６１】
すなわち、前記ステアリング基盤回転半径抽出部１３２ｂは、前記ステアリングホイールの角度を感知した後に、感知されたステアリングホイールの角度に基づいて、前記車両１の前輪２，２’の角度を算出することができる。前記車両１の前輪２，２’の角度を算出する具体的な方法は、下記数式を用いる。
【０１６２】
【数１８】
2017517174.tif 000020
【０１６３】
【数１９】
2017517174.tif 000021
【０１６４】
前記数式１８および１９において、φout は、回転する車両１の前輪外側の角度であり、φin は、回転する車両１の前輪内側の角度である。また、φout max は、外側最大角度で３３度であり、φin max は、内側最大角度で３９度である。
【０１６５】
具体的には、前記車両１が前記ステアリングを時計方向に回転して後進する場合には、左前輪２から内側角度を算出し、右前輪２’から外側角度を算出することになり、前記車両１が前記ステアリングを半時計方向に回転して後進する場合には、右前輪２’から内側角度を算出し、左前輪２から外側角度を算出することになるのである。
【０１６６】
また、Ｗdata は、前記ステアリングセンサから取得した値を意味するので、−５３５度〜５３５度の範囲を有する。
【０１６７】
図１８を参照すれば、前記基盤ステアリング基盤回転半径抽出部１３２ｂで、車両の回転半径を抽出する原理を知ることができる。
【０１６８】
また、後進する前の車両の位置（車軸中心の位置座標）８と、後進した後の車両の位置（車軸中心の座標）９が示されている。以下、図１８および下記数式２０〜２５を併せて参照して具体的に説明する。
【０１６９】
図１８および下記数式２０〜２５において、φin（ｔ）は、回転する車両１の前輪内側の変化角度を意味し、φout（ｔ）は、回転する車両１の前輪外側の変化角度を意味する。
【０１７０】
また、Ｌは、前輪車軸と後輪車軸との間の距離を意味し、Ｗは、車幅を意味し、Ｒは、車軸中心の回転半径を意味し、φ（ｔ）は、前輪の車軸中心の角度を意味する。
【０１７１】
さらに、Ｋは、車軸の移動距離を意味する。ここで、前記車軸の移動距離とは、車両の移動距離と同じ意味である。
【０１７２】
また、Ｋ１は、内側後輪の移動距離を意味し、Ｋ２は、外側後輪の移動距離を意味する。すなわち、車両１の移動距離である車軸の移動距離は、車両１の内側後輪の移動距離と、車両１の外側後輪の移動距離との平均値になる。
【０１７３】
このように、車両１の移動距離を求める具体的な方法は、前記移動距離算出部１３１で上述したので、省略する。
【０１７４】
【数２０】
2017517174.tif 000022
【０１７５】
【数２１】
2017517174.tif 000023
【０１７６】
【数２２】
2017517174.tif 000024
【０１７７】
【数２３】
2017517174.tif 000025
【０１７８】
【数２４】
2017517174.tif 000026
【０１７９】
前記数式２４は、前記数式２２を、前記数式２３によりまとめたものである。
【０１８０】
【数２５】
2017517174.tif 000027
【０１８１】
前記数式２５は、前記車両１の回転半径を抽出する最終式になる。このように、前記数式２０〜２５を用いて、前記ステアリング基盤回転半径抽出部１３２ｂは、車両１の回転半径を抽出することができる。
【０１８２】
前記ステアリング基盤移動位置抽出部１３３ｂは、前記ステアリング基盤回転半径抽出部１３２ｂから抽出された回転半径および前記移動距離抽出部１３１から抽出された移動距離に基づいて、前記車両１の移動した位置を抽出する機能を行う。具体的な抽出方法は、前記数式１６および１７と、下記数式２６および２７を用いて説明する。
【０１８３】
【数２６】
2017517174.tif 000028
【０１８４】
【数２７】
2017517174.tif 000029
【０１８５】
前記数式２６および２７において、Δθ（ｔ）は、ｔ時間の間の車両角度の変化量を意味し、Ｒは、車軸の回転半径であり、Ｋは、車軸の移動距離であり、Ｋ２は、外側後輪の移動距離であり、Ｋ１は、内側後輪の移動距離である。
【０１８６】
具体的には、Ｋ１およびＫ２の値は、前記移動距離抽出部１３１で抽出し、前記数式２６を用いてＫ値を求めた後に、前記ステアリング基盤回転半径抽出部１３２ｂで抽出した回転半径Ｒを前記数式２７に代入して、Δθ（ｔ）を求めることができる。
【０１８７】
したがって、Δθ（ｔ）を前記数式１６および１７にΔθ（ｔ）を代入すると、車軸の移動後の中心位置を抽出することができる。
【０１８８】
以下、移動領域鳥瞰図イメージ生成部１４０および合成鳥瞰図イメージ生成部１５０について、図４を参照して説明する。
【０１８９】
前記移動領域鳥瞰図イメージ生成部１４０は、前記移動情報抽出部１３０の第１実施形態および前記第２実施形態により抽出された車両の移動情報に基づいて、前記車両１の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成する機能を行う。
【０１９０】
具体的には、前記移動情報に基づいて、図４に示された移動領域鳥瞰図イメージである過去の鳥瞰図イメージ４５を生成するのである。
【０１９１】
前記合成鳥瞰図イメージ生成部１５０は、図４に示された前の鳥瞰図イメージ１５が生成された後に撮影されて生成された後の鳥瞰図イメージ２５を、前記移動領域鳥瞰図イメージである過去の鳥瞰図イメージ４５と合成する機能を行う。
【０１９２】
したがって、運転者は、車両が後進して車両がＴ＋１時点１’に存在する時にも、カメラ部１１０に撮影されない部分に対する鳥瞰図イメージ４５を見ることができるのである。
【０１９３】
以下、図１９および２０を参照して、ギヤ基盤抽出命令部およびセンサ基盤抽出命令部について説明する。
【０１９４】
図１９は、車両の後輪に対するホイールパルスのパターンの変化を分析して、車両の進行方向の変化を抽出する方法を説明するための図である。
【０１９５】
図２０は、車両の後輪に対するホイールパルスのパターンの変化を分析して、車両の進行方向の変化を抽出する方法を説明するための図である。
【０１９６】
前記ホイールパルスセンサが前記車両の運行方向を感知できるように設計（方向性のあるエンコーダ）した場合であれば、前記ホイールパルスセンサを介して前記車両の運行方向を感知するはずであるが、前記ホイールパルスセンサが前記車両の運行方向を感知できない場合であれば、前記車両の運行方向を後述するギヤ基盤抽出命令部およびセンサ基盤抽出命令部を介して前記車両の運行方向を抽出することになる。
【０１９７】
前記移動情報抽出部１３０は、前記車両のギヤ状態を確認して、前記車両が後進状態の場合に、前記車両の移動情報を抽出するように命令するギヤ基盤抽出命令部を含むことができる。
【０１９８】
車両のギヤ状態を確認することは、車両に装着されたセンサやＥＣＵを介して行われるとよいし、既知の技術に相当するので、具体的な説明は省略する。
【０１９９】
この時、車両の左後輪および右後輪に対するホイールパルスのパターンの変化を分析して、前記車両の進行方向の変化を抽出することができる。
【０２００】
具体的には、図１９を参照して、前記車両のギヤが中立に変更される前に、前記車両の左後輪に対するホイールパルスのパターンおよび前記車両の右後輪に対するホイールパルスのパターンを説明すれば、Ｒｉｓｉｎｇ  ｅｄｇｅを基準として、１）左後輪、２）右後輪、３）左後輪、４）右後輪の順序を有するパターンが形成されることを確認することができる。この時、前記車両のギヤが中立になった後も、引き続き、１）左後輪、２）右後輪、３）左後輪、４）右後輪の順序を有するパターンが維持されることを確認することができる。
【０２０１】
通常、車両は後進ギヤ状態で後進するが、地面の傾斜または車両の状態に応じて、前記車両のギヤが後進でない場合（例えば、中立）にも車両が後進することができる。
【０２０２】
したがって、上記で説明したように、前記車両のギヤ状態が中立に変更された時点を前後して、前記左後輪および前記右後輪に対するホイールパルス信号のパターンが維持される場合であれば、前記車両の進行方向は変化しないと推定する。
【０２０３】
例えば、前記車両のギヤが中立になる前に前進していた車両であれば、前記車両のギヤが中立になった後も前進し続けると推定し、前記車両のギヤが中立になる前に後進していた車両であれば、前記車両のギヤが中立になった後も後進し続けていると推定するのである。
【０２０４】
図２０を参照すれば、前記車両のギヤが中立に変更される前に、前記車両の左後輪に対するホイールパルスのパターンおよび前記車両の右後輪に対するホイールパルスのパターンを説明すれば、Ｒｉｓｉｎｇ  ｅｄｇｅを基準として、１）左後輪、２）右後輪、３）左後輪、４）右後輪の順序を有するパターンが形成されることを確認することができる。この時、前記車両のギヤが中立になった後は、１）右後輪、２）左後輪、３）右後輪、４）左後輪の順序を有するパターンに変更されることを確認することができる。
【０２０５】
すなわち、前記車両のギヤが中立になる前と、前記車両のギヤが中立になった後に同一のパターンを有するためには、前記車両のギヤが中立になった後に左後輪のホイールパルス信号（Ｒｉｓｉｎｇ  ｅｄｇｅ）が先に感知されなければならないが、右後輪のホイールパルス信号（Ｒｉｓｉｎｇ  ｅｄｇｅ）が先に感知されたのである。
【０２０６】
したがって、前記車両のギヤが中立になる前と、前記車両のギヤが中立になった後に、前記車両の左後輪および右後輪に対するホイールパルス信号のパターンが変更されたのである。
【０２０７】
結果的に、上記で説明したように、前記車両のギヤ状態が中立に変更された時点を前後して、前記左後輪および前記右後輪に対するホイールパルス信号のパターンが変更される場合であれば、前記車両のギヤが中立になった時点を基準として前記車両の進行方向が変更されたと推定する。
【０２０８】
例えば、前記車両のギヤが中立になる前に前進していた車両であれば、前記車両のギヤが中立になった後は後進すると推定し、前記車両のギヤが中立になる前に後進していた車両であれば、前記車両のギヤが中立になった後は前進していると推定するのである。
【０２０９】
前記左後輪および右後輪の繰り返されるパターンを分析するに際し、Ｒｉｓｉｎｇ  ｅｄｇｅを基準として説明したが、Ｆａｌｌｉｎｇ  ｅｄｇｅを基準としてパターンの変化を抽出することもできる。
【０２１０】
また、前記移動情報抽出部１３０は、前記車両に位置した重力センサまたは加速度センサを介して前記車両の重力および加速度を感知することにより、前記車両が後進するかを判断し、前記車両が後進すると判断される場合に、前記車両の移動情報を抽出するように命令するセンサ基盤抽出命令部を含むことができる。
【０２１１】
具体的には、車両に位置した重力センサまたは加速度センサを活用して、感知された信号と、既定の信号とを対比して車両１の運行方向を分析するのである。
【０２１２】
前記重力センサまたは加速度センサの原理および作用については、既知の技術であるので、省略する。
【０２１３】
この場合、車両が後進ギヤ状態でない、前進ギヤまたは中立状態にあるとしても、車両が後進する場合を感知できるという利点がある。
【０２１４】
すなわち、前記センサ基盤抽出命令部は、車両１が後進する場合を感知すると、移動情報を抽出するように命令する機能を行う。
【０２１５】
以下、本発明に係る車両周辺イメージ生成方法について説明する。
【０２１６】
図２１は、本発明に係る車両周辺イメージ生成方法のフローチャートである。
【０２１７】
図２１を参照して説明すれば、本発明に係る車両周辺イメージ生成方法は、車両に位置したカメラ部により周辺を撮影することにより、撮影イメージを生成するステップＳ１００と、前記撮影イメージを、前記カメラ部を視点に投影された地面座標系のデータに変換することにより、前の鳥瞰図イメージを生成するステップＳ１１０と、前記車両に位置したホイールパルスセンサを介して前記車両のホイール回転量に対応して生成された、前記車両の左輪および右輪に対するホイールパルスに基づいて、前記車両の移動情報を抽出するステップＳ１２０と、前記前の鳥瞰図イメージを、前記移動情報に対応することにより、前記車両の移動した領域に対する鳥瞰図である移動領域鳥瞰図イメージを生成するステップＳ１３０と、前記前の鳥瞰図イメージが生成された後に撮影されて生成された後の鳥瞰図イメージを、前記移動領域鳥瞰図イメージと合成することにより、合成鳥瞰図イメージを生成するステップＳ１４０とを含む。
【０２１８】
この時、前記合成鳥瞰図イメージを生成するステップＳ１４０の後に、前記車両に位置したディスプレイ部を介して、前記合成鳥瞰図イメージをディスプレイするステップＳ１５０をさらに含むことができる。
【０２１９】
前記本発明に係る車両周辺イメージ生成方法は、上記で説明した車両周辺イメージ生成装置１００と同一の記述内容に相当する部分において省略する。
【０２２０】
以下、図２２を参照して、本発明に係る車両周辺イメージ生成方法において車両の移動情報を抽出するように命令するステップの実施形態を説明する。
【０２２１】
図２２を参照して説明すれば、前記Ｓ１１０ステップの後に、車両のギヤが後進状態であるかを判断するステップＳ１１２が進む。車両のギヤ状態を確認することは、車両に装着されたセンサやＥＣＵを介して行われるとよいし、既知の技術に相当するので、具体的な説明は省略する。
【０２２２】
この時、Ｓ１１２ステップでギヤ状態が後進であると判断されると、車両の移動情報を抽出するように命令するステップＳ１１８が進み、前記Ｓ１２０ステップで移動情報を抽出する。
【０２２３】
ただし、Ｓ１１２ステップでギヤ状態が後進でない状態と判断されると（例えば、前進または中立）、Ｓ１１４ステップが進み、車両が後進しているかを判断する。
【０２２４】
この時、前記車両が後進しているかを判断するためには、上述のように、ホイールパルスのパターンの変更または車両に位置した重力センサおよび加速度センサを活用することができる。
【０２２５】
ここで、車両が後進していると判断された場合には（すなわち、ギヤ状態は後進状態でないものの、車両が後進している場合）、Ｓ１１８ステップが進み、車両の移動情報を抽出するように命令する。したがって、前記Ｓ１２０ステップで移動情報を抽出するのである。
【０２２６】
ただし、前記Ｓ１１４ステップで、車両が後進しないと判断される場合には、視野外のイメージを消去するステップＳ１１６が進む。すなわち、車両が前進しているので、車両に位置したカメラ部の視野外に存在するイメージはディスプレイされる必要がないからである。
【０２２７】
以上、本発明に係る車両周辺イメージ生成装置および方法は、上記のように説明された実施形態の構成と方法が限定されて適用されるのではなく、上記の実施形態は多様な変形が可能となるように各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。
【図１】
2017517174.tif 000030
【図２】
2017517174.tif 000031
【図３】
2017517174.tif 000032
【図４】
2017517174.tif 000033
【図５】
2017517174.tif 000034
【図６】
2017517174.tif 000035
【図７】
2017517174.tif 000036
【図８】
2017517174.tif 000037
【図９】
2017517174.tif 000038
【図１０】
2017517174.tif 000039
【図１１】
2017517174.tif 000040
【図１２】
2017517174.tif 000041
【図１３】
2017517174.tif 000042
【図１４】
2017517174.tif 000043
【図１５】
2017517174.tif 000044
【図１６】
2017517174.tif 000045
【図１７】
2017517174.tif 000046
【図１８】
2017517174.tif 000047
【図１９】
2017517174.tif 000048
【図２０】
2017517174.tif 000049
【図２１】
2017517174.tif 000050
【図２２】
2017517174.tif 000051
【手続補正書】
【提出日】平成28年9月29日(2016.9.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
この時、前記鳥瞰図イメージ生成部１２０、移動情報抽出部１３０、移動領域鳥瞰図イメージ生成部１４０および合成鳥瞰図イメージ生成部１５０は、本発明に係る車両周辺イメージ生成装置１００の主要部分であって、マイクロコンピュータを含んだ、イメージデータの処理を行うための電子装置であり、カメラ部１１０と一体に構成される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
また、ＷＰｉｎは、内側後輪のホイールパルスカウント値を意味し、ＷＰｒｅｓは、ホイールパルス信号のＲｅｓｏｌｕｔｉｏｎであって、１周期の信号あたりに動いた距離（０．０２１７ｍ）を意味する。すなわち、前記ＷＰｒｅｓは、定数（０．０２１７）であり、前記ホイールパルスセンサの種類および設定に応じて変化できる値である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
前記数式１０において、ｙｃ（ｔ）は、回転中心のｙ座標の位置を意味し、ｙ（ｔ）は、車両の現在位置である車軸の現在中心位置中のｙ座標の位置を意味する。また、θ（ｔ）は、現在の車両の角度を意味する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
前記数式１３において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｘ座標の位置を意味し、ｙ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｙ座標の位置を意味する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１４７
【補正方法】変更
【補正の内容】
【０１４７】
前記数式１４において、ｘ（ｔ＋Δｔ）は、車軸の移動後の中心位置中のｘ座標の位置を意味する。すなわち、絶対的な位置の値を意味するのであり、回転中心を原点として考慮していない状態の位置である。また、前記数式１４において、ｘ’（ｔ＋Δｔ）は、回転中心を原点とした時の車軸の移動後の中心位置中のｘ座標の位置を意味し、ｘｃ（ｔ）は、回転中心のｘ座標の位置を意味する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１５２
【補正方法】変更
【補正の内容】
【０１５２】
前記数式１６は、前記数式１４に対して、前記数式９〜１３を代入してまとめたものであって、車軸の移動後の中心位置中のｘ座標の位置であるｘ（ｔ＋Δｔ）を求めることができる最終式になる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１５９
【補正方法】変更
【補正の内容】
【０１５９】
図１７を参照すれば、車両の左前輪２および右前輪２’の角度を確認することができる。この時、外側最大角度（φout max ）は３３度であり、内側最大角度（φin max ）は３９度である。ただし、車両１の種類および技術発展に応じて、前記外側最大角度および内側最大角度は変化できる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
図１８を参照すれば、前記ステアリング基盤回転半径抽出部１３２ｂで、車両の回転半径を抽出する原理を知ることができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１７３
【補正方法】変更
【補正の内容】
【０１７３】
このように、車両１の移動距離を求める具体的な方法は、前記移動距離抽出部１３１で上述したので、省略する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１８７
【補正方法】変更
【補正の内容】
【０１８７】
したがって、前記数式１６および１７にΔθ（ｔ）を代入すると、車軸の移動後の中心位置を抽出することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１９６
【補正方法】変更
【補正の内容】
【０１９６】
前記ホイールパルスセンサが前記車両の運行方向を感知できるように設計（方向性のあるエンコーダ）した場合であれば、前記ホイールパルスセンサを介して前記車両の運行方向を感知するはずであるが、前記ホイールパルスセンサが前記車両の運行方向を感知できない場合であれば、後述するギヤ基盤抽出命令部およびセンサ基盤抽出命令部を介して前記車両の運行方向を抽出することになる。
【国際調査報告】
2017517174.tif 000052
2017517174.tif 000053
2017517174.tif 000054
2017517174.tif 000055