(57)【特許請求の範囲】
【請求項１】
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、前記物体の予想移動軌跡上の複数の検出対象点の前記路面からの高さを検出するように構成された
路面変位検出装置。
【請求項２】
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、前記物体の移動速度をもとに、前記フレームの周期を可変するように構成された
路面変位検出装置。
【請求項３】
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、前記物体の移動速度をもとに、前記フレーム毎の前記検出対象点の数を可変するように構成された
路面変位検出装置。
【請求項４】
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記距離Ｄと前記角度θを用いて、前記二次元空間での、前記取り付け角度θｃを考慮した前記ステレオカメラと前記検出対象点との距離Ｄ１を算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成された
路面変位検出装置。
【請求項５】
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備し、
前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記画像上の前記検出対象点の三次元空間内の位置を考慮した前記ステレオカメラと検出対象点との距離Ｄ１を算出し、
前記算出された距離Ｄおよび距離Ｄ１から、前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成された
路面変位検出装置。
【請求項６】
車両の前方の路面を撮像するステレオカメラによって互いに同期して得られた複数の画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの、前記車両の予想移動軌跡上の前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせ、重ね合わせた高さの情報に基づいて前記車両のサスペンションを制御するサスペンション制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラを用いて路面の高さを検出する路面変位検出装置および車両のサスペンション制御方法に関する。
【背景技術】
【０００２】
アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。【０００３】
このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−８９５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、車両が走行するなか、上記のステレオ法を用いて路面の高さを検出するとなると、演算処理回路の速度の限界などから１フレームの像から算出可能な検出対象点の数にも自ずと限界が生じてくる。１フレームの像から算出可能な検出対象点の数が少ないと、路面の変位の真値に対して粗い近似値しか得られないため、それだけサスペンションシステムのプレビュー制御の精度が期待できなくなる。【０００６】
高速な演算処理回路を用いることによって、１フレームの像から算出可能な検出対象点の数を可及的に増やすことは可能であるが、それだけ製品コストが増大する。また、走行速度が高くなるにつれて、１フレームの像から算出可能な検出対象点の数は、やはり演算処理回路の速度の限界によって低減する可能性があるため、高速域での高精度のプレビュー制御が困難であるという問題があった。【０００７】
以上のような事情に鑑み、本発明の目的は、演算処理回路の速度に依存することなく、ステレオカメラからの距離分解能において高密で、かつ高精度な路面変位情報を生成することのできる路面変位検出装置およびサスペンション制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る路面変位検出装置は、
物体の移動方向の路面を撮像するステレオカメラと、
前記ステレオカメラによって得られた画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記物体の移動距離を考慮して重ね合わせる演算処理回路とを具備して構成されるものである。【０００９】
本発明にかかる路面変位検出装置では、演算処理回路が、フレーム毎に、ステレオカメラからの距離が異なる複数の検出対象点それぞれの路面の高さを検出し、複数のフレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の物体の移動距離を考慮して重ね合わせるので、演算処理回路の速度に依存することなく、ステレオカメラからの距離分解能において高密で、かつ高精度な路面変位情報を生成することができる。【００１０】
また、演算処理回路は、前記物体の予想移動軌跡上の複数の検出対象点それぞれの前記路面からの高さを検出するように構成されたものであってよい。
物体の予想移動軌跡に絞り込んで路面の高さ検出を行うことによって、演算処理回路の負荷を軽減することができる。【００１１】
また、演算処理回路は、複数のフレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の物体の移動距離を考慮して重ね合わせるとき、最新のフレームから検出された高さの情報を優先するように構成されたものであってよい。
ステレオ法を用いた路面の高さ検出では、ステレオカメラから検出対象点までの距離が短いほど高精度な検出が可能である。したがって、最新のフレームから高さが検出された検出対象点が、他の１以上のフレームから高さが検出された検出対象点とが路面上の同一位置である場合には、最新のフレームから検出された高さの情報を優先して採用することによって、より精度の高い路面変位情報を得ることができる。【００１２】
また、演算処理回路は、前記物体の移動速度をもとに、前記フレームの周期を可変するように構成されたものであってよい。
あるいは、演算処理回路は、前記物体の移動速度をもとに、前記フレーム毎の前記検出対象点の数を可変するように構成されたものであってよい。【００１３】
また、前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記距離Ｄと前記角度θを用いて、前記二次元空間での、前記取り付け角度θｃを考慮した前記ステレオカメラと前記検出対象点との距離Ｄ１を算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成されてもよい。【００１４】
さらに、前記演算処理回路は、
前記ステレオカメラによって撮像された複数の画像の視差をもとに、高さと距離の二次元空間での、前記ステレオカメラの取り付け角度θｃを考慮しない前記ステレオカメラと前記検出対象点との距離Ｄを算出し、
前記画像上の前記検出対象点の三次元空間内の位置を考慮した前記ステレオカメラと検出対象点との距離Ｄ１を算出し、
前記算出された距離Ｄおよび距離Ｄ１から、前記二次元空間での、前記ステレオカメラの光軸と前記ステレオカメラと前記検出対象点とを結んだ直線とがなす角度θを算出し、
前記ステレオカメラの前記路面からの高さ、前記距離Ｄ１、前記取り付け角度θｃおよび前記角度θを用いて、前記検出対象点の前記路面の高さを算出するように構成されてもよい。【００１５】
また、本発明の他の形態に係るサスペンション制御方法は、車両の前方の路面を撮像するステレオカメラによって互いに同期して得られた複数の画像のフレーム毎に、前記ステレオカメラからの距離が異なる複数の検出対象点それぞれの前記路面の高さを検出し、複数の前記フレームについて各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせ、重ね合わせた高さの情報に基づいて前記車両のサスペンションを制御する、というものである。【００１６】
本発明によれば、演算処理回路の速度に依存することなく、ステレオカメラからの距離分解能において高密で、かつ高精度な路面変位情報を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】ステレオカメラと検出対象点を含む路面を上から示す図である。
【図２】ステレオカメラと検出対象点を含む路面を側方から示す図である。
【図３】本発明に係る一実施形態の路面変位検出装置１の構成を示すブロック図である。
【図４】画像空間におけるタイヤ予想走行軌跡を示す図である。
【図５】画像の座標空間における複数の検出対象点を示す図である。
【図６】画像の座標空間における複数の検出対象点の他の設定方法を示す図である。
【図７】本実施形態の路面変位検出装置１による路面変位検出の手順を示すフローチャートである。
【図８Ａ】１番目のフレームから算出された複数の検出対象点の路面変位情報を示す図である。
【図８Ｂ】１番目のフレームから算出された複数の検出対象点の路面変位情報に２番目のフレームから算出された複数の検出対象点の路面変位情報を、フレーム間の車両の移動距離を考慮して重ね合わせた結果を示す図である。
【図８Ｃ】メモリに保存された路面変位情報に３番目のフレームから算出された複数の検出対象点の路面変位情報をフレーム間の車両の移動距離を考慮して重ね合わせた結果を示す図である。
【図９】本実施形態の路面変位検出装置１をセミアクティブサスペンションのプレビュー制御に適用した場合の路面変位情報の出力方法を説明する図である。
【図１０】路面上の検出対象点の高さ算出方法の変形例１の説明図である。
【図１１】図１０の高さ算出方法のフローチャートである。
【図１２】図１０の高さ算出方法におけるθの計算方法を説明するための図である。
【図１３】路面上の検出対象点の高さ算出方法の変形例２のフローチャートである。
【図１４】画像上の検出対象点の座標を直交座標系の三次元空間の座標に変換する方法の説明するために、画像平面と消失点による四角円錐状の空間を斜め上から示した図である。
【図１５】画像平面と消失点による四角円錐状の空間および直交座標系の三次元空間の一部を側面から示した図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本発明に係る一実施形態である路面変位検出装置および路面変位検出方法を説明する。
［概要］
本実施形態の路面変位検出装置は、車両が走行する路面の凹凸をステレオカメラによって撮影された複数の画像を用いてステレオ法により検出する装置である。
ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。
【００１９】
複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像と、各カメラのパラメータ情報、さらには各画像から得られる視差情報をもとに、ステレオカメラから路面の検出対象点までの距離を算出し、算出された距離から路面上の検出対象点の高さ（路面変位量）を算出する。
【００２０】
図１および図２はステレオカメラから路面上の検出対象点までの距離および高さの算出方法の説明図である。図１は各カメラと検出対象点を含む路面を上から示す図であり、図２は各カメラと検出対象点を含む路面を側方から示す図である。
【００２１】
図１において路面の検出対象点Ｋは、図２に示すようにカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌから角度θだけ下方に傾いた方向に見える。カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの距離Ｄは下記の式１により算出される。
Ｄ＝（ｄ・ｆ）／（ｘ１−ｘ２）      ・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｘ１−ｘ２は視差であり、ｘ１は一方のカメラ１０Ｒの画像における検出対象点Ｋの像のｘ座標の値、ｘ２は他方のカメラ１０Ｌの画像における検出対象点Ｋの像のｘ座標の値である。
【００２２】
カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平である場合、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、
Ｌ＝Ｄｃｏｓθ      ・・・（２）
により算出される。
また、検出対象点Ｋの高さｈは、
ｈ＝Ｈ−Ｄｓｉｎθ      ・・・（３）
により算出される。
ここで、Ｈは、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの路面からの高さである。
【００２３】
このように、ステレオ法によって、ステレオカメラから路面上の検出対象点Ｋまでの距離Ｌと高さｈを路面変位情報として算出することができる。
【００２４】
上記の路面変位検出方法により算出された路面変位情報を、例えば車両のアクティブサスペンションのプレビュー制御などに用いる場合、演算処理回路の速度の限界などから、１つのフレームから算出可能な路面変位情報の距離分解能にも限界が生じる。
【００２５】
このような課題を解決するために、本発明にかかる最良の形態である路面変位検出装置１は、
車両の前方の路面を撮像するステレオカメラ１０と、
ステレオカメラ１０によって得られた複数の画像をもとに、フレーム毎に、ステレオカメラ１０からの距離が異なる複数の検出対象点それぞれの路面の高さを検出し、複数の前記フレームから各々検出された複数の検出対象点の高さの情報を当該複数のフレーム間の車両の移動距離を考慮して重ね合わせる演算処理回路２０とを具備して構成されるものである。
以下、本発明にかかる最良の形態である路面変位検出装置の構成をより詳細に説明する。
【００２６】
［本実施形態の路面変位検出装置の構成］
図３は本実施形態の路面変位検出装置１の構成を示すブロック図である。
同図に示すように、本実施形態の路面変位検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリ３０とを備える。なお、メモリ３０は演算処理回路２０内に設けられていてもよい。
【００２７】
ステレオカメラ１０は、２つのカメラ１０Ｒ、１０Ｌを有する。２つのカメラ１０Ｒ、１０Ｌは、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。カメラ１０Ｒ、１０Ｌは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ｒ、１０Ｌにより各々得られた撮像信号は演算処理回路２０に供給される。
【００２８】
演算処理回路２０は、メモリ３０を用いて路面変位検出のための演算処理を行うデバイスである。演算処理回路２０は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。
【００２９】
演算処理回路２０は、機能的に画像処理部２１と路面変位算出部２２を有する。
画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像を基準画像、他方の画像を比較画像として各々の画像の対応関係を探索し、２つの画像の視差情報を生成する。
【００３０】
路面変位算出部２２は、ステレオカメラ１０の画像空間において車両の左右のタイヤがこれから辿ることが予測される２本のタイヤ予想走行軌跡の座標を算出する。図４は画像空間におけるタイヤ予想走行軌跡を示す図である。これらのタイヤ予想走行軌跡６１Ｒ、６１Ｌは、車両のタイヤの左右の間隔と、ステレオカメラ１０の位置などから、マージンを含めたおおよその位置として求められればよい。また、路面変位算出部２２は、車両に設けられた舵角センサー５０によって検出された車両の舵角情報をもとにタイヤ予想走行軌跡６１Ｒ、６１Ｌを算出することも可能である。
【００３１】
路面変位算出部２２は、算出されたタイヤ予想走行軌跡において、ステレオカメラ１０からの距離Ｌが異なる複数の検出対象点の路面の高さを視差情報を用いて算出する。図５は、画像の座標空間における複数の検出対象点を示す図である。複数の検出対象点Ｋ１−Ｋ１０は、例えば、路面変位量が零である場合を仮定したとき路面が略均等な距離に区分されるような間隔で設定されてよい。あるいは、図６に示すように、ステレオ法の性質上、ステレオカメラ１０に近い検出対象点ほど精度が高くなることから、ステレオカメラ１０からの距離Ｌが近いほど間隔が小さくなるように複数の検出対象点Ｋ１−Ｋ１０が設定されてもよい。
【００３２】
路面変位算出部２２は、フレーム毎に、ステレオカメラ１０からの距離Ｌが異なる複数の検出対象点Ｋ１−Ｋ１０それぞれの路面の高さｈを検出し、複数のフレームから各々検出された複数の検出対象点Ｋ１−Ｋ１０の高さｈの情報を当該複数のフレーム間の車両の移動距離を考慮して重ね合わせ、重ね合わせた結果からサスペンションシステム６０のプレビュー制御のための路面変位情報を生成する。
【００３３】
［路面変位検出装置１の動作］
次に、本実施形態の路面変位検出装置１による路面変位検出の動作を説明する。
図７は、本実施形態の路面変位検出装置１による路面変位検出の手順を示すフローチャートである。
【００３４】
まず、ステレオカメラ１０の２つのカメラ１０Ｒ、１０Ｌによって各々撮像された撮像信号は演算処理回路２０に供給される。演算処理回路２０は、画像処理部２１にて、前処理として、各々の撮像信号に対して歪み補正、ノイズの除去などのフィルタ処理を行った後、２つの画像の対応関係を探索することによって、２つの画像の視差情報を生成し、１番目のフレームの視差情報としてメモリ３０に保存する（ステップＳ１０１）。
【００３５】
ここで、１番目のフレームとは、路面変位情報をフレーム間の車両の移動距離を考慮して重ね合わせる複数のフレームのうちの先頭のフレームを意味する。以下、先頭のフレームの次のフレームを「２番目のフレーム」、さらに次のフレームを「３番目のフレーム」と呼ぶ。なお、本発明は、３つのフレームを、路面変位情報の重ね合わせの対象とするものに限定されるものではない。路面変位情報の重ね合わせの対象となるフレームの数は２以上であればよい。
【００３６】
次に、路面変位算出部２２は、画像の座標空間におけるタイヤ予想走行軌跡の座標を算出し、このタイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点の座標を算出する（ステップＳ１０２）。
【００３７】
今回が１番目のフレームからの路面変位の検出である場合（ステップＳ１０３のＹＥＳ）、路面変位算出部２２は、タイヤ予想走行軌跡上の各々の検出対象点の座標に対応する視差情報をメモリ３０から読み出し、この視差情報をもとに、各々の検出対象点の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを算出し（ステップＳ１０４）、これらを１番目のフレームに対する路面変位情報としてメモリ３０に保存する（ステップＳ１０５）。
【００３８】
図８（Ａ）はステレオカメラ１０より前方の約５ｍから約１０ｍまでの路面領域において、１番目のフレームから算出された複数の検出対象点Ｋ１−Ｋ１０の路面変位情報を、横軸にステレオカメラ１０からの距離Ｌを割り当て、縦軸に路面の高さｈを割り当てた空間にプロットして、路面変位量の真値Ｒとともに示す路面変位プロファイルである。
【００３９】
この路面変位プロファイルの複数の検出対象点Ｋ１−Ｋ１０の路面変位情報と図中実線で示される真値Ｒとを比較すると分かるように、演算処理回路２０の速度の限界から路面変位情報の距離Ｌ方向での分解能が制約を受けることから、その結果として、路面上の突出物による路面変位の検出漏れＥが発生している。
【００４０】
２番目のフレームに対する路面変位検出のサイクルでは、路面変位算出部２２は、タイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点の座標を算出した後（ステップＳ１０２）、車速センサー４０より車速情報を取得するとともに、ステレオカメラ１０のフレームレートを取得し（ステップＳ１０６）、車速情報とフレームレートからフレーム間に車両が進んだ距離を算出する（ステップＳ１０７）。なお、フレームレートは例えば３０ｆｐｓ、６０ｆｐｓなどである。
【００４１】
次に、路面変位算出部２２は、１番目のフレームから算出された路面変位情報と２番目のフレームから算出される複数の検出対象点Ｋ１'−Ｋ１０'の路面変位情報とをフレーム間の車両の移動距離を考慮して重ね合わせるために、メモリ３０に保存されている複数の検出対象点Ｋ１−Ｋ１０の路面変位情報をフレーム間に車両が進んだ距離だけオフセットする（ステップＳ１０８）。例えば、フレーム間に車両が０．５ｍ進んだ場合、メモリ３０に保存されている複数の検出対象点Ｋ１−Ｋ１０の路面変位情報を０．５ｍオフセットする。つまり、メモリ３０に保存された路面変位情報のすべての検出対象点Ｋ１−Ｋ１０の距離Ｌは０．５ｍだけ減算した値に更新される。このときメモリ３０に保存されている路面変位情報に含まれる検出対象点の情報のうち、ステレオカメラ１０からの距離が５ｍから５．５ｍまでの範囲の検出対象点（Ｋ１、Ｋ２）の情報は不要となるためメモリ３０から削除される。
なお、この路面変位情報の更新に伴う不要な路面変位情報の削除は、必ずしも行う必要はない。路面変位情報の用途によっては、生成された路面変位情報をすべて保存してもよい。
【００４２】
次に、路面変位算出部２２は、２番目のフレームについて、タイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点Ｋ１'−Ｋ１０'の座標に対応する視差情報をメモリ３０から読み出し、この視差情報をもとに、各々の検出対象点Ｋ１'−Ｋ１０'の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを算出する（ステップＳ１０９）。
【００４３】
次に、路面変位算出部２２は、メモリ３０に保存された路面変位情報つまり１番目のフレームから算出された複数の検出対象点Ｋ３−Ｋ１０の路面変位情報に２番目のフレームから算出された複数の検出対象点Ｋ１'−Ｋ１０'の路面変位情報を、フレーム間の車両の移動距離を考慮して重ね合わせる。
【００４４】
図８Ｂは、１番目のフレームから算出された複数の検出対象点Ｋ３−Ｋ１０の路面変位情報に２番目のフレームから算出された複数の検出対象点Ｋ１'−Ｋ１０'の路面変位情報を、フレーム間の車両の移動距離を考慮して重ね合わせた結果を示す図である。
【００４５】
この際、路面変位算出部２２は、２番目のフレームから算出された各々の検出対象点Ｋ１'−Ｋ１０'の路面変位情報について以下の処理を行う。路面変位算出部２２は、各々の検出対象点Ｋ１'−Ｋ１０'について、ステレオカメラ１０からの距離Ｌが、メモリ３０に保存された路面変位情報のいずれかの検出対象点Ｋ３−Ｋ１０の距離Ｌと一致するかどうかを各々判定する（ステップＳ１１０）。なお、１番目のフレームから算出された検出対象点の距離Ｌと２番目のフレームから算出された検出対象点の距離Ｌとが同一であるということは、各々の検出対象点の路面上の位置が同一であることを意味する。
【００４６】
この結果、２番目のフレームから算出された検出対象点Ｋ１'−Ｋ１０'の距離Ｌがメモリ３０に保存された路面変位情報に含まれるどの検出対象点Ｋ３−Ｋ１０の距離Ｌとも一致しない場合、路面変位算出部２２は、２番目のフレームから算出された各々の検出対象点Ｋ１'−Ｋ１０'の路面変位情報を、メモリ３０に保存された路面変位情報つまり１番目のフレームから算出された複数の検出対象点Ｋ３−Ｋ１０の路面変位情報に重ね合わせるために追加する（ステップＳ１１１）。
【００４７】
また、２番目のフレームから算出された各々の検出対象点Ｋ１'−Ｋ１０'の路面変位情報において、メモリ３０に保存された路面変位情報の検出対象点Ｋ３−Ｋ１０の距離Ｌと一致するものがあれば、路面変位算出部２２は、２番目のフレームから算出された該当する検出対象点の路面の高さｈが"0"であるかどうかを判定する（ステップＳ１１２）。当該検出対象点の路面の高さｈが"0"でなければ、路面変位算出部２２は、当該検出対象点の路面の高さｈの情報で、メモリ３０に保存された同一距離Ｌの検出対象点の路面の高さｈの情報を上書きする（ステップＳ１１３）。
【００４８】
例えば、図８Ｂの例では、１番目のフレームから算出された検出対象点Ｋ４の距離Ｌと２番目のフレームから算出された検出対象点Ｋ２'の距離Ｌが一致したので、検出対象点Ｋ２'の路面の高さｈの情報で検出対象点Ｋ４の路面の高さｈの情報が更新される。同様に、１番目のフレームから算出された検出対象点Ｋ８の距離Ｌと２番目のフレームから算出された検出対象点Ｋ７'の距離Ｌが一致し、検出対象点Ｋ７'の路面の高さｈの情報で検出対象点Ｋ８の路面の高さｈの情報が上書きされる。
【００４９】
ステレオ法を用いた路面の高さ検出では、ステレオカメラ１０から検出対象点までの距離が短いほど高精度な検出が可能である。したがって、最新フレームの検出対象点の距離Ｌと以前のフレームの検出対象点との距離Ｌが同一である場合、最新フレームの検出対象点の高さｈの情報を優先して採用することによって、精度の向上を図ることができる。
【００５０】
なお、検出対象点の距離Ｌの一致判定には、所定のマージンが考慮されることは言うまでもない。また、ステレオ法を用いた路面の高さ検出では、ステレオカメラ１０から検出対象点までの距離Ｌが短いほど高精度な検出が可能であるため、ステレオカメラ１０からの距離Ｌが近い検出対象点ほど路面の高さｈの情報の上書きが発生しやすくなるようにしてもよい。この制御は、例えば、検出対象点の距離Ｌの一致判定のためのマージンの大きさを距離Ｌに応じて可変することによって実現可能である。
【００５１】
また、この路面変位検出装置１では、測定エラーによって路面の高さｈが過大な値となった場合にその過大な値を"0"に修正するようになっているので、例えば図８Ｂに示すように、２番目のフレームから算出された検出対象点Ｋ７'の距離Ｌが、１番目のフレームから算出された検出対象点Ｋ８の距離Ｌと同じであっても、２番目のフレームから算出された検出対象点Ｋ７'の路面の高さｈが"0"である場合には、高さｈの情報の上書きは行われないようになっている。
【００５２】
路面変位算出部２２は、２番目のフレームから算出されたすべての検出対象点Ｋ１'−Ｋ１０'について上記の処理を繰り返し、すべての検出対象点Ｋ１'−Ｋ１０'についての処理が終了すると、２番目のフレームに対する処理が終了となる。
【００５３】
この後、さらに次の３番目のフレームに対する処理が同様に行われる。
すなわち、路面変位算出部２２は、メモリ３０に保存された路面変位情報と３番目のフレームから算出される複数の検出対象点Ｋ１"−Ｋ１０"の路面変位情報とをフレーム間（２番目のフレームと３番目のフレームとの間）の車両の移動距離を考慮して重ね合わせるために、メモリ３０に既に保存されている複数の検出対象点Ｋ１'、Ｋ３、Ｋ２'、・・・、Ｋ１０'の路面変位情報をフレーム間に車両が進んだ距離だけオフセットする（ステップＳ１０８）。
【００５４】
次に、路面変位算出部２２は、３番目のフレームについて、タイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点Ｋ１"−Ｋ１０"の座標に対応する視差情報をメモリ３０から読み出し、この視差情報をもとに、各々の検出対象点Ｋ１"−Ｋ１０"の、ステレオカメラ１０からの距離Ｌおよび路面の高さｈを算出する（ステップＳ１０９）。
【００５５】
次に、路面変位算出部２２は、メモリ３０に保存された路面変位情報に３番目のフレームから算出された複数の検出対象点Ｋ１"−Ｋ１０"の路面変位情報をフレーム間（２番目のフレームと３番目のフレームとの間）の車両の移動距離を考慮して重ね合わせる。
【００５６】
図８Ｃは、メモリ３０に保存された路面変位情報に３番目のフレームから算出された複数の検出対象点Ｋ１"−Ｋ１０"の路面変位情報をフレーム間（２番目のフレームと３番目のフレームとの間）の車両の移動距離を考慮して重ね合わせた結果を示す図である。
【００５７】
このように、路面変位情報を重ね合わせるフレームの数が増えるほどに、メモリ３０に保存される検出対象点の路面変位情報の数が多くなり、ステレオカメラ１０からの距離分解能において高密な路面変位情報が得られる。
【００５８】
以上の処理がフレーム周期で繰り返されることによって、車両の前方の路面の高密な路面変位情報が連続して得られる。これにより、路面の高さｈの検出漏れが発生する確率を低減することができるなど、高精度の路面変位情報を得ることができる。
【００５９】
路面変位算出部２２によって得られた路面変位情報は、車両のサスペンションシステム６０に供給され、アクティブサスペンションのプレビュー制御に供される。
【００６０】
［補足等］
（フレーム周期について）
上記の実施形態では、連続する全てのフレームから路面変位情報を生成することとしたが、１／Ｎのフレーム周期で路面変位情報を生成してもよい。ここで、Ｎは固定値であってもよいが、車速に応じて可変させてもよい。この場合、車速に反比例してＮの値を小さくする。車速が極端に低速であるときは路面変位情報の生成を停止させてもよい。
【００６１】
［検出対象点の数について］
上記の実施形態では、フレーム毎に所定の数の検出対象点を設定することとしたが、フレーム毎の検出対象点の数は車速に応じて可変させてもよい。この場合、車速に反比例して検出対象点の数の値を小さくすればよい。
【００６２】
［フルアクティブサスペンションおよびセミアクティブサスペンションへの適用について］
演算処理回路２０は、サスペンションシステム６０がフルアクティブサスペンションである場合には、路面変位算出部２２によって、複数のフレームについて各々検出された複数の検出対象点の高さｈの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせた結果をサスペンションシステム６０に出力する。
【００６３】
サスペンションシステム６０がセミアクティブサスペンションである場合には、演算処理回路２０は、路面変位算出部２２によって、複数のフレームについて各々検出された複数の検出対象点の高さｈの情報を当該複数のフレーム間の前記車両の移動距離を考慮して重ね合わせた結果において、図９に示すように、路面の高さｈを複数例えば５段階に評価し、その路面の高さｈの評価結果を距離Ｌの情報とともにサスペンションシステム６０に出力する。
【００６４】
［検出対象点の高さ算出方法の変形例１］
次に、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平に対して角度を持っている場合の路面上の検出対象点の高さ算出方法を説明する。
【００６５】
図１０はこの検出対象点の高さ算出方法の変形例１の説明図である。図１１はこの高さ算出方法の変形例１のフローチャートである。
ここで、θｃはステレオカメラの水平からの取り付け角度、θは路面の検出対象点Ｋが見える方向のカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの方向に対する角度である。Ｄは取り付け角度θｃを考慮しないときのステレオカメラと検出対象点Ｋとの距離である。Ｄ１は取り付け角度θｃを考慮したときのステレオカメラと検出対象点Ｋとの距離である。Ｈはカメラ１０Ｒ、１０Ｌの路面からの高さである。
【００６６】
まず、演算処理回路２０は、ステレオカメラによって撮像された画像をもとに上記式（１）を用いてＤを算出する（ステップＳ２０１）。
続いて、演算処理回路２０は、画像から路面の検出対象点ＫのＹ軸方向における位置をもとにθを算出し（ステップＳ２０２）、θを用いて次式（４）によりＤ１を算出する（ステップＳ２０３）。
Ｄ１＝Ｄ／ｃｏｓθ      ・・・（４）
【００６７】
θはステレオカメラにより撮像された画像から算出される。例えば、図１２に示すように、画像において、検出対象点ＫがＹ軸方向の中間位置（Ｙ＝０）から下方に＋ｙラインだけ離れた位置にあるとき、θは次式（５）により近似的に求められる。
θ＝ｙ×Δθ    ・・・（５）
ここで、Δθは画像の１ライン分の角度である。
【００６８】
そして演算処理回路２０は、次式（６）により、路面上の検出対象点Ｋの高さｈを算出する（ステップＳ２０４）。
ｈ＝Ｈ−Ｄ１・ｓｉｎ（θ＋θｃ）    ・・・（６）
【００６９】
［検出対象点の高さ算出方法の変形例２］
上述したθの計算方法は単純な演算であるため演算処理回路２０に大きな負荷を与えないというメリットがあるものの、画像上の路面と実空間における路面との幾何学的な違いを考慮したものではないため、その分誤差が生じるというデメリットもある。特に、ステレオカメラから検出対象点Ｋまでの距離が長くなるほど、誤差が増大してしまう。そこで、上記の変形例１に比べ演算負荷は大きくなるが、実空間での路面平面を考慮したθを得ることで、精度の高い路面変位プロファイルを得ることのできる検出対象点の高さ算出方法の変形例２について図１０、図１３、図１４及び図１５を用いて説明する。
【００７０】
図１３はこの高さ算出方法の変形例２のフローチャートである。
まず、演算処理回路２０は、ステレオカメラによって撮像された画像をもとに上記式（１）を用いてＤを算出する（ステップＳ３０１）。
【００７１】
続いて、演算処理回路２０は、画像上の検出対象点Ｋの三次元空間内の位置を考慮したステレオカメラと検出対象点Ｋとの距離Ｄ１を算出する（ステップＳ３０２）。
【００７２】
より具体的には、図１４に示すように、演算処理回路２０は、画像のエッジ成分から実際には平行な複数の直線３１、３２を検出し、より多くの直線３１、３２が一点に交わる消失点Ｓを検出する。この消失点Ｓを頂点とする四角円錐状の空間３３内の検出対象点Ｋの座標は直交座標系の三次元空間３４の座標（ｘ，ｙ，ｚ）に変換することが可能である。
【００７３】
そこで、演算処理回路２０は、ステレオカメラにより撮像された基準画像における検出対象点Ｋの座標を三次元空間の座標に変換する。ここで、検出対象点Ｋの三次元空間の座標を（ｘ，ｙ，ｚ）とすると、次式（７）により、三次元空間を考慮した視差Ｄｓを算出可能である。
Ｄｓ＝（ｘ２＋ｙ２＋ｚ２）１／２      ・・・（７）
この後、演算処理回路２０は、この視差Ｄｓの値を用いて距離Ｄ１を算出する。この距離Ｄ１の算出は、上記式（１）の視差（ｘ１−ｘ２）に視差Ｄｓの値を代入することによって行われる。
【００７４】
次に、演算処理回路２０はθを算出する（ステップＳ３０３）。θは以下の式（８）によって算出される。
θ＝ｃｏｓ−１（Ｄ／Ｄ１）    ・・・（８）
この後、演算処理回路２０は、上記式（６）により、路面上の検出対象点Ｋの高さｈを算出する（ステップＳ３０４）。
【００７５】
この計算方法によると、前者の計算方法に比べ演算負荷は大きくなるが、実空間での路面平面を考慮したθを得ることができ、精度の高い路面変位プロファイルが得られる。
【００７６】
［その他］
本発明は上記の実施形態に限らず、本発明の技術思想の範囲で様々な変形が可能である。
上記の実施形態では、車両のタイヤ予想走行軌跡上に絞って検出対象点を設定することとしたが、本発明は、必ずしもこのような構成との組み合わせに限定されるものではない。すなわち、車両のタイヤ予想走行軌跡上に絞って検出対象点を設定しなくてもよい。
【００７７】
車両の後進が発生した場合には、メモリ３０に保存された路面変位情報の各検出対象点の距離情報を後進した距離だけオフセットさせてもよい。あるいは、メモリ３０に保存された路面変位情報を消去して、最初のフレームからの路面変位情報の生成を行うようにしてもよい。
【００７８】
さらに、本発明の路面変位検出装置および路面変位検出方法は、路面を走行する車両に適用されるだけでなく、室内の床面などの走行面を移動する各種運搬用の機器やロボットなどにも適用することが可能であり、その他、移動する物体であれば適用され得るものである。
【符号の説明】
【００７９】
１…路面変位検出装置
１０…ステレオカメラ
２０…演算処理回路
２１…画像処理部
２２…路面変位算出部
３０…メモリ
４０…車速センサー
５０…舵角センサー
６０…サスペンションシステム
【図１】
0006577661.tif 000002
【図２】
0006577661.tif 000003
【図３】
0006577661.tif 000004
【図４】
0006577661.tif 000005
【図５】
0006577661.tif 000006
【図６】
0006577661.tif 000007
【図７】
0006577661.tif 000008
【図８Ａ】
0006577661.tif 000009
【図８Ｂ】
0006577661.tif 000010
【図８Ｃ】
0006577661.tif 000011
【図９】
0006577661.tif 000012
【図１０】
0006577661.tif 000013
【図１１】
0006577661.tif 000014
【図１２】
0006577661.tif 000015
【図１３】
0006577661.tif 000016
【図１４】
0006577661.tif 000017
【図１５】
0006577661.tif 000018