(57)【特許請求の範囲】
【請求項１】
移動体に搭載され、前記移動体の動きを解析する解析装置であって、
前記移動体の周囲を撮影する撮影手段と、
前記撮影手段により撮影された入力画像に複数の注目点を設定し、各注目点の３次元情報と２次元のオプティカルフローとを算出する情報算出手段と、
前記情報算出手段により算出された３次元情報とオプティカルフローとを基に、前記移動体の前進速度及び回転速度情報を算出する移動量演算手段とを備え、
前記３次元情報は、視差であり、
前記撮影手段は、ステレオカメラであり、
前記情報算出手段は、ステレオ法を用いて視差を算出し、
前記移動量演算手段は、前記視差と前記オプティカルフローとを座標軸とする２次元座標空間上に各注目点をプロットし、プロットした各点によって描かれる線に基づき、前記前進速度及び前記回転速度情報を算出する解析装置。
【請求項２】
前記回転速度情報は、前記移動体のピッチ方向の角速度を示し、
前記移動量演算手段は、前記視差の２乗を示す座標軸と前記オプティカルフローの垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、前記入力画像に含まれる特定平面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に前記前進速度を算出すると共に、当該直線の切片を基に前記ピッチ方向の角速度を算出する第１の手段を備えることを特徴とする請求項１記載の解析装置。
【請求項３】
前記回転速度情報は、前記移動体のピッチ方向の角速度を示し、
前記移動量演算手段は、前記視差の２乗と前記オプティカルフローの垂直成分とを基に、前記前進速度と前記ピッチ方向の角速度とを変数とし、前記入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、前記前進速度を示す座標軸と前記ピッチ方向の角速度を示す座標軸とで規定される投票空間に投票することで、前記前進速度と前記ピッチ方向の角速度とを算出する第１の手段を備えることを特徴とする請求項１記載の解析装置。
【請求項４】
前記移動量演算手段は、前記視差を示す座標軸と前記注目点の垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、前記入力画像に含まれる特定平面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に前記撮影手段の前記特定平面に対する高さを算出すると共に、当該直線の切片を基に前記撮影手段のピッチ方向の傾斜角度を算出する第２の手段を備えることを特徴とする請求項２記載の解析装置。
【請求項５】
前記移動量演算手段は、前記視差と前記オプティカルフローの垂直成分とを基に、前記撮影手段の高さとピッチ方向の傾斜角度とを変数とし、前記入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、前記撮影手段の高さを示す座標軸と前記ピッチ方向の傾斜角度を示す座標軸とで規定される投票空間に投票することで、前記撮影手段の高さと前記移動体のピッチ方向の傾斜角度とを算出する第２の手段を備えることを特徴とする請求項３記載の解析装置。
【請求項６】
前記撮影手段は、ローリングシャッタ方式であり、
前記第２の手段は、前記撮影手段の水平方向の１ライン毎の露出時間と、前記第１の手段により算出されたピッチ方向の角速度とを基に、前記ピッチ方向の傾斜角度を補正することを特徴とする請求項４又は５記載の解析装置。
【請求項７】
前記移動量演算手段は、前記オプティカルフローの水平成分、前記前進速度、前記視差、及び前記注目点の水平成分を基に得られる第１の座標値と、前記前進速度及び前記視差を基に得られる第２の座標値とにより規定される２次元座標空間上に各注目点をプロットすることで、前記入力画像に含まれる特定平面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に前記移動体のパン方向の角速度を算出する第３の手段を備えることを特徴とする請求項４記載の解析装置。
【請求項８】
前記移動量演算手段は、前記オプティカルフローの水平成分、前記前進速度、前記視差、及び前記注目点の水平成分の座標を基に得られる第１の座標値と、前記前進速度及び前記視差を基に得られる第２の座標値とを基に、前記入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に前記移動体のパン方向の角速度の候補点を注目点毎に算出し、得られた候補点を基に前記パン方向の角速度を算出する第３の手段を備えることを特徴とする請求項５記載の解析装置。
【請求項９】
前記移動量演算手段により算出された前進速度に応じた長さを有し、前記回転速度情報に応じた向きを有する有向図形を表示することで、前記移動体の移動情報を報知する報知手段を更に備えることを特徴とする請求項１〜８のいずれかに記載の解析装置。
【請求項１０】
情報算出手段は、前記撮影手段により撮影された処理対象となる複数の入力画像のうち、１枚の入力画像を基準画像とし、前記基準画像上に設定された注目点を基準としてウインドウを設定すると共に、残りの処理対象となる複数の入力画像にも前記ウインドウを設定し、設定したウインドウ内の画像を周波数分解し、振幅成分を抑制した信号同士の相関に基づいて対応点を探索することで、前記オプティカルフロー及び前記３次元情報を算出することを特徴とする請求項１〜９のいずれかに記載の解析装置。
【請求項１１】
前記情報算出手段は、位相限定相関法により前記対応点を算出することを特徴とする請求項１０記載の解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載され、移動体の動きを解析する解析装置に関するものである。
【背景技術】
【０００２】
近年、交通事故を未然に防止するために、ステレオカメラやレーダーを利用した運転支援システムの研究が盛んに行われている。運転支援システムは、移動体に搭載され、進行方向にある障害物を検出し、障害物までの距離を測ることで、移動体が危険状態にあるか否かを判断し、運転者に警告を発したり、ブレーキ制御を行ったりするものである。また、自車両の動きと障害物の動きとを相対的に解析することにより、ドライバの運転状況を把握し、注意を促したり、教育したりすることに用いることも有効である。更に、ドライブレコーダーなどの画像を解析して事故時の車両の動きを解析するといったことも考えられる。
【０００３】
中でも、ステレオカメラを利用した運転支援システムは、撮影した画像を処理することで障害物を特定することが可能であるというレーダーを利用した運転支援システムにはないメリットを有している。
【０００４】
特許文献１には、ステレオ画像から路面パラメータを求め、俯瞰画像を時系的に生成し、得られた俯瞰画像をマッチングすることにより、車両の移動量を求める技術が開示されている。また、非特許文献１には、平面領域を予め与えておく必要があり、かつ、３次元情報を算出することなく移動体の動きを解析する技術が開示されている。
【特許文献１】特開２００６−５３７５５号公報
【非特許文献１】金谷「画像理解−３次元認識の数理−」５．３平面オプチカルフローの３次元解析（ｐ１２３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術は俯瞰画像を作成することで移動量を算出するものであり、本願発明とは処理内容が全く異なっている。また、非特許文献１では、３次元情報を用いずに動きパラメータが算出されているため、移動量を精度良く検出することが困難である。
【０００６】
本発明の目的は、移動体の動きを精度良く解析することができる解析装置を提供することである。
【課題を解決するための手段】
【０００７】
（１）本発明による解析装置は、移動体に搭載され、前記移動体の動きを解析する解析装置であって、前記移動体の周囲を撮影する撮影手段と、前記撮影手段により撮影された入力画像に複数の注目点を設定し、各注目点の３次元情報と２次元のオプティカルフローとを算出する情報算出手段と、前記情報算出手段により算出された３次元情報とオプティカルフローとを基に、前記移動体の前進速度及び回転速度情報を算出する移動量演算手段とを備えることを特徴とする。
【０００８】
この構成によれば、撮影手段により移動体周囲を撮影することで得られる入力画像に複数の注目点が設定され、各注目点における３次元情報とオプティカルフローとを基に、移動体の前進速度及び回転速度情報が算出されており、前進速度と回転速度情報とが分離されて算出されているため、移動体の動きを精度良く解析することができる。
【０００９】
（２）また、前記３次元情報は、視差であり、前記撮影手段は、ステレオカメラであり、前記情報算出手段は、ステレオ法を用いて前記視差を算出することが好ましい。
【００１０】
この構成によれば、オプティカルフローの演算に用いられる画像と視差の演算に用いられる画像とを共用させることができる。
【００１１】
（３）また、前記回転速度情報は、前記移動体のピッチ方向の角速度を示し、前記移動量演算手段は、前記視差の２乗を示す座標軸と前記オプティカルフローの垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、前記入力画像に含まれる特定平面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に前記前進速度を算出すると共に、当該直線の切片を基に前記ピッチ方向の角速度を算出する第１の手段を備えることが好ましい。
【００１２】
この構成によれば、視差の２乗を示す座標軸と、オプティカルフローの垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、入力画像に含まれる特定平面上に位置する注目点群を表す直線が求められ、この直線の傾きから前進速度が求められ、この直線の切片からピッチ方向の角速度が求められているため、前進速度及びピッチ方向の角速度を精度良く求めることができる。また、入力画像に含まれる例えば道路面などの特定平面上に位置する注目点群を表す直線が求められているため、特定平面上に位置する注目点を抽出することができる。
【００１３】
（４）また、前記回転速度情報は、前記移動体のピッチ方向の角速度を示し、前記移動量演算手段は、前記視差の２乗と前記オプティカルフローの垂直成分とを基に、前記前進速度と前記ピッチ方向の角速度とを変数とし、前記入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、前記前進速度を示す座標軸と前記ピッチ方向の角速度を示す座標軸とで規定される投票空間に投票することで、前記前進速度と前記ピッチ方向の角速度とを算出する第１の手段を備えることが好ましい。
【００１４】
この構成によれば、前進速度とピッチ方向の角速度とを座標軸とする２次元座標空間を投票空間とし、入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を投票空間に投票することで、前進速度とピッチ方向の角速度とが算出されているため、ノイズに影響されずにロバストにこれらの情報を算出することができる。
【００１５】
（５）また、前記移動量演算手段は、前記視差を示す座標軸と前記注目点の垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、前記入力画像に含まれる特定平面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に前記撮影手段の前記特定平面に対する高さを算出すると共に、当該直線の切片を基に前記撮影手段の前記移動体のピッチ方向の傾斜角度を算出する第２の手段を備えることが好ましい。
【００１６】
この構成によれば、撮影手段の高さとピッチ方向の傾斜角度とが精度良く算出され、撮影手段の姿勢を精度良く推定することができる。
【００１７】
（６）また、前記移動量演算手段は、前記視差と前記オプティカルフローの垂直成分とを基に、前記撮影手段の高さとピッチ方向の傾斜角度とを変数とし、前記入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、前記撮影手段の高さを示す座標軸と前記ピッチ方向の傾斜角度を示す座標軸とで規定される投票空間に投票することで、前記撮影手段の高さと前記移動体のピッチ方向の傾斜角度とを算出する第２の手段を備えることが好ましい。
【００１８】
この構成によれば、高さと傾斜角度とを座標軸とする２次元座標空間を投票空間とし、入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、投票空間に投票することで撮影手段の高さと傾斜角度とが算出されているため、ノイズに影響されずにロバストに撮影手段の姿勢を推定することができる。
【００１９】
（７）また、前記撮影手段は、ローリングシャッタ方式であり、前記第２の手段は、前記撮影手段の水平方向の１ラインの露出時間と、前記第１の手段により算出されたピッチ方向の角速度とを基に、前記ピッチ方向の傾斜角度を補正することが好ましい。
【００２０】
この構成によれば、安価なローリングシャッタ方式の撮影手段を用いても、撮影手段の高さとピッチ方向の傾斜角度とを精度良く算出することができる。
【００２１】
（８）また、前記移動量演算手段は、前記オプティカルフローの水平成分、前記前進速度、前記視差、及び前記注目点の水平成分を基に得られる第１の座標値と、前記前進速度及び前記視差を基に得られる第２の座標値とにより規定される２次元座標空間上に各注目点をプロットすることで、前記入力画像に含まれる特定平面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に前記移動体のパン方向の角速度を算出する第３の手段を備えることが好ましい。
【００２２】
この構成によれば、移動体のパン方向の角速度を精度良く算出することができる。
【００２３】
（９）また、前記移動量演算手段は、前記オプティカルフローの水平成分、前記前進速度、前記視差、及び前記注目点の水平成分の座標を基に得られる第１の座標値と、前記前進速度及び前記視差を基に得られる第２の座標値とを基に、前記入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に前記移動体のパン方向の角速度の候補点を注目点毎に算出し、得られた候補点を基に前記パン方向の角速度を算出する第３の手段を備えることが好ましい。
【００２４】
この構成によれば、第１及び第２の座標値から求められるパン方向の角速度の推定値を座標軸とする１次元座標空間を投票空間とし、入力画像に含まれる特定平面上に各注目点が存在すると仮定した場合に描かれる点を注目点毎に算出し、得られた点を、投票空間に投票することでパン方向の角速度が算出されているため、ノイズに影響されずにロバストに撮影手段の姿勢を推定することができる。
【００２５】
（１０）また、前記移動量演算手段により算出された前進速度に応じた長さを有し、前記回転速度情報に応じた向きを有する有向図形を表示することで、前記移動体の移動情報を報知する報知手段を更に備えることが好ましい。
【００２６】
この構成によれば、前進速度に応じた長さを有し、回転速度情報に応じた向きを有する有向図形が表示されるため、移動体の搭乗者は移動体の移動情報を容易に認識することができる。
【００２７】
（１１）また、情報算出手段は、前記撮影手段により撮影された処理対象となる複数の入力画像のうち、１枚の入力画像を基準画像とし、前記基準画像上に設定された注目点を基準としてウインドウを設定すると共に、残りの処理対象となる複数の入力画像にも前記ウインドウを設定し、設定したウインドウ内の画像を周波数分解し、振幅成分を抑制した信号同士の相関に基づいて対応点を探索することで、前記オプティカルフロー及び前記３次元情報を算出することが好ましい。
【００２８】
この構成によれば、振幅成分を抑制した信号同士の相関に基づいて対応点が探索されているため、ステレオペア画像の感度の違いなどに影響されずにロバストに視差演算を行うことができ、道路面でも安定して対応点を求めることができる。
【００２９】
（１２）また、前記情報算出手段は、位相限定相関法により前記対応点を算出することが好ましい。
【００３０】
この構成によれば、ロバストに対応点を探索することができる。
【発明の効果】
【００３１】
本発明によれば、撮影手段により移動体周囲を撮影することで得られる入力画像に複数の注目点が設定され、各注目点における３次元情報とオプティカルフローとを基に、移動体の前進速度及び回転速度情報が算出されており、前進速度と回転速度情報とが分離されて算出されているため、移動体の動きを精度良く解析することができる。
【発明を実施するための最良の形態】
【００３２】
（実施の形態１）
以下、本発明の実施の形態１による解析装置について説明する。図１は、本発明の実施の形態１による解析装置の全体構成図を示している。図１に示す解析装置は、自動車等の移動体に搭載され、複数の撮影手段を用いて撮影された画像を用いて移動体の動きを解析するものであり、ステレオカメラ１（撮影手段の一例）、演算装置２、及び表示装置３を備えている。ステレオカメラ１は、左右一対のカメラ１１，１２により構成されている。図２は、ステレオカメラ１の設置箇所の一例を示した図である。ステレオカメラ１は、例えば、図２（ａ）、（ｂ）に示すように移動体のルーフのフロントガラス側に取り付けられている。但し、これは一例であり、ステレオカメラ１は、移動体の前方に光軸が向く位置であればどのような位置に取り付けられていてもよい。
【００３３】
カメラ１１，１２は、移動体の前進方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、前進方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで移動体の前方を撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、移動体の前方を走行する自動車、自動二輪車、及び自転車、並びに移動体の前方を通行する通行人等の物体を撮影する。
【００３４】
ここで、カメラ１１により撮影された画像を基準画像、カメラ１２により撮影された画像を参照画像と称する。また、参照画像及び基準画像を総称して入力画像と称する。また、入力画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたデジタルの画像データが採用される。また、本実施の形態では、図１２に示すように入力画像は、中心が原点とされ、水平成分がｘ軸により規定され、垂直成分がｙ軸により規定される座標系によって各画素が表される。また、ｘ軸は原点より右方向が正とされ、ｙ軸は原点より下方向が正とされている。
【００３５】
演算装置２は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるハードウエア装置により構成され、カメラ１１，１２で同一時刻に撮影された２枚の画像に後述する画像処理を施し、移動体の動きを解析する。表示装置３は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算装置２による解析結果等の情報を表示する。ここで、表示装置３は、移動体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。
【００３６】
図３は、演算装置２の機能ブロック図を示している。演算装置２は、情報算出部２１、移動量演算部２２、障害物検出部２３、障害物測距部２４、及び図形生成部２５を備えている。情報算出部２１は、視差演算部２１１及びＯＦ演算部２１２を備え、ステレオカメラ１により撮影された入力画像に複数の注目点を設定し、各注目点の３次元情報と２次元のオプティカルフローとを算出する。
【００３７】
視差演算部２１１は、基準画像に複数の注目点を設定し、各注目点の視差（３次元情報の一例）を算出する。具体的には、視差演算部２１１は、各注目点の対応点を参照画像から探索することで、各注目点の視差をフレーム毎に算出する。ここで、視差演算部２１１は、１枚の基準画像に順次注目点を設定し、ＰＯＣ（位相限定相関法）やＳＡＤ（sum of absolute differences）等の探索手法を用いて参照画像から当該注目点の対応点を探索し、探索した対応点と注目点とを基に視差を算出する。
【００３８】
ＯＦ演算部２１２は、現フレームの基準画像に設定された注目点の対応点をＰＯＣやＳＡＤといった探索手法を用いて現フレームより１フレーム前の前フレームの基準画像又は現フレームの次のフレームの基準画像から探索することで各注目点の２次元のオプティカルフローを算出する。ここで、オプティカルフローとしては、注目点と対応点との水平及び垂直成分同士の差分を採用することができる。
【００３９】
移動量演算部２２は、動き成分分離部２２１（第１の手段の一例）、路面パラメータ推定部２２２（第２の手段の一例）、及び動き量演算部２２３（第３の手段の一例）を備え、視差演算部２１１により算出された３次元情報と、ＯＦ演算部２１２により算出されたオプティカルフローとを基に、移動体の前進速度及び回転速度情報を算出する。ここで、回転速度情報としては、移動体のピッチ方向の角速度、パン方向の角速度が含まれる。
【００４０】
動き成分分離部２２１は、視差の２乗を示す座標軸とオプティカルフローの垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、入力画像に含まれる道路面（特定平面の一例）上に位置する注目点群を表す直線を求め、当該直線の傾きを基に移動体の前進速度を算出すると共に、当該直線の切片を基に移動体のピッチ方向の角速度を算出する。
【００４１】
路面パラメータ推定部２２２は、視差を示す座標軸と注目点の垂直成分を示す座標軸とで規定される２次座標元空間上に各注目点をプロットすることで、入力画像に含まれる道路面上に位置する注目点群を表す直線を求め、当該直線の傾きを基にステレオカメラ１の道路面に対する高さを算出すると共に、当該直線の切片を基にステレオカメラ１の道路面に対するピッチ方向の傾斜角度を算出する。ここで、道路面に対するステレオカメラ１の高さ及びピッチ方向の傾斜角度を路面パラメータと称する。
【００４２】
動き量演算部２２３は、オプティカルフローの水平成分、前進速度、視差、及び注目点の水平成分を基に得られる第１の座標値と、前進速度及び視差を基に得られる第２の座標値とにより規定される２次元座標空間上に各注目点をプロットすることで、入力画像に含まれる道路面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に移動体のパン方向の角速度を算出する。
【００４３】
障害物検出部２３は、移動体の前方に障害物が存在するか否かを判定する。ここで、障害物検出部２３は、例えば、路面パラメータ推定部２２２により道路面上に位置する注目点以外の注目点であって、ＯＦ演算部２１２によりオプティカルフローが移動体に向かっていると判別される注目点を障害物を示す注目点として抽出することで障害物を検出する。
【００４４】
障害物測距部２４は、障害物検出部２３により障害物が存在すると判定された場合、当該障害物と移動体との距離を算出し、当該距離が予め定められた値より小さい場合、危険であることを報知するための情報を生成し、表示装置３に表示する。
【００４５】
図形生成部２５は、動き成分分離部２２１により算出された前進速度に応じた長さを有し、回転速度情報に応じた向きを有する有向図形を表示装置３に表示させることで、移動体の移動情報を搭乗者に報知する。
【００４６】
（解析装置の動作）
次に、解析装置の動作について説明する。図４は、解析装置の動作を示すフローチャートである。ステップＳ１において、ステレオカメラ１は、移動体前方のシーンをとらえた基準画像と参照画像とを取得し、演算装置２に出力する。なお、本実施の形態においては、ステレオカメラ１の収差は良好に補正されているものとするが、ステレオカメラ１がこの条件を満たしていない場合は、所定の画像処理により上記条件を満たす画像を生成すればよい。また、ステレオカメラ１は、Δｔの時間間隔で、すなわち、Δｔのフレーム周期で基準画像及び参照画像を取得するものとする。
【００４７】
図５は、ステップＳ１で取得される基準画像と参照画像との一例を示した図である。図５の場合、移動体の前方を走行する自動車をとらえた基準画像と参照画像とが取得されていることが分かる。
【００４８】
ステップＳ２において、視差演算部２１１は、基準画像に設定した各注目点の対応点を、同一タイミングで撮影された参照画像から探索し、得られた対応点と注目点との各ペアの水平及び垂直成分同士の差を求めることで、視差を算出する。なお、対応点の探索処理の詳細については後述する。
【００４９】
図６は、視差とオプティカルフローとの算出処理の説明図である。図６において上段の１枚の画像は、時刻ｔ−Δｔにおける基準画像を示し、下段の２枚の画像は、時刻ｔにおける基準画像と参照画像とを示している。図６に示すように、各時刻において、前方を走行する自動車をとらえた基準画像と参照画像とが取得されていることが分かる。以下、時刻ｔ−Δｔのフレームが前フレームを示し、時刻ｔのフレームが現フレームを示すものとする。
【００５０】
図６に示すように、視差演算部２１１は、基準画像に設定した注目点（ｘ１（ｔ），ｙ１（ｔ））の対応点（ｘ２（ｔ），ｙ２（ｔ））を参照画像から求め、例えば（ｘ１（ｔ）−ｘ２（ｔ），ｙ１（ｔ）−ｙ２（ｔ））を視差として算出する。
【００５１】
ステップＳ３において、ＯＦ演算部２１２は、各注目点の２次元のオプティカルフローを算出する。図６に示すように、ＯＦ演算部２１２は、基準画像に設定された注目点（ｘ１（ｔ），ｙ１（ｔ））の対応点（ｘ１（ｔ−Δｔ），ｙ１（ｔ−Δｔ））を１フレーム前の基準画像から求め、例えば（ｘ１（ｔ）−ｘ１（ｔ−Δｔ），ｙ１（ｔ）−ｙ１（ｔ−Δｔ））を各注目点のオプティカルフローとして算出する。
【００５２】
図７は、ＯＦ演算部２１２により算出されたオプティカルフローを基準画像上にプロットした図を示している。図７において道路面にプロットされた白筋がオプティカルフローである。図７においては、オプティカルフローは、大きさに応じた長さを有し、かつ向きに応じた方向を有する線分によって表されている。道路面の下側に向かうにつれて白筋が込みいっているのは、下側ほどオプティカルフローの大きさが大きいためである。なお、図７においては、道路面以外のオプティカルフローは省略されている。
【００５３】
図４に戻り、ステップＳ４において、動き成分分離部２２１は、移動体の前進速度とピッチ方向の角速度とを算出する。具体的には、以下のような処理が実行される。まず、各注目点に対する視差の２乗とオプティカルフローの垂直成分とを求める。次に、視差の２乗とオプティカルフローの垂直成分とを座標軸とする２次元座標空間に各注目点をプロットする。
【００５４】
図８は、ステップＳ４の処理の説明図であり、（ａ）、（ｂ）は視差の２乗とオプティカルフローの垂直成分とを座標軸とする２次元座標空間を示している。図８のグラフにおいて、縦軸はオプティカルフローの垂直成分（Δｙ）を示し、横軸は視差の２乗（ｄ＊ｄ）を示している。図８（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。
【００５５】
次に、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｌ１を算出する。次に、直線Ｌ１の傾き及び切片を求め、得られた傾きから前進速度を算出すると共に、得られた切片からピッチ方向の角速度を算出する。ここで、視差の２乗（ｄ２）と、オプティカルフローの垂直成分（Δｙ）とは式（Ａ）の関係を有することを本発明者は発見した。
【００５６】
【数１】
0005109691.tif 000002
【００５７】
但し、αカメラパラメータを示し、ｖは前進速度を示し、Δｔはフレーム周期を示し、ｈはステレオカメラ１の高さを示し、ωはピッチ方向の角速度を示し、Ｂはステレオカメラ１を構成する２台のカメラの間隔を示している。すなわち、式（Ａ）は、図８（ｂ）に示すように、Δｙ、ｄ２を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ２）を傾きとし、−α・ω・Δｔを切片とした場合の直線を表している。ここで、α，Ｂ，Δｔは定数である。
【００５８】
したがって、直線Ｌ１の傾きと切片とを求め、定数α，Ｂ，Δｔを用いることで、ｈ・ｖとピッチ方向の角速度ωとを算出することができる。なお、ｈは後述するステップＳ５により得られるが、ｈとして例えば予め定められた初期値を与える、又は前フレームのステップＳ５により得られたｈを用いれば、ステップＳ４の段階でｖを算出することも可能である。
【００５９】
図１１は、ステレオカメラ１と道路面との位置関係の説明図である。図１１において、Ｙは鉛直方向を示し、Ｚは移動体の前進方向を示し、Ｚ´はステレオカメラ１の光軸方向を示し、φはＺ方向を基準にしたときのステレオカメラ１のピッチ方向の傾斜角度を示し、ｆは焦点距離を示し、Ｙ´は入力画像の垂直成分を示し、ｈはステレオカメラ１の道路面に対する高さを示し、ｙは移動体からＺ方向にＤ離れた路面上の点Ａを表す入力画像上の点の垂直成分を示している。
【００６０】
ステップＳ４の処理により、図１１に示すピッチ方向における移動体の角速度ωと、Ｚ方向における移動体の前進速度ｖとが得られる。なお、ステップＳ４において、移動体の前進速度としてｖを採用したが、フレーム周期あたりの前進速度であるｖ・Δｔを前進速度として採用してもよい。
【００６１】
図４に戻り、ステップＳ５において、路面パラメータ推定部２２２は、路面パラメータを算出する。具体的には、以下のような処理が実行される。まず、各注目点に対する視差と注目点の垂直成分とを求める。次に、視差と注目点の垂直成分とを座標軸とする２次元座標空間に各注目点をプロットする。
【００６２】
図９は、ステップＳ５の処理の説明図であり、（ａ）、（ｂ）は視差と注目点の垂直成分とを座標軸とする２次元座標空間を示している。図９のグラフにおいて、横軸は注目点の垂直成分（ｙ）を示し、縦軸は視差（ｄ）を示している。図９（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。
【００６３】
次に、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｌ２を算出する。次に、直線Ｌ２の傾き及び切片を求め、得られた傾きからステレオカメラ１の高さｈを算出すると共に、得られた切片からピッチ方向の傾斜角度φを算出する。ここで、視差（ｄ）と、注目点の垂直成分（ｙ）とは式（Ｂ）の関係を有することを本発明者は発見した。
【００６４】
【数２】
0005109691.tif 000003
【００６５】
すなわち、式（Ｂ）は、図９（ｂ）に示すように、ｙ、ｄを変数とし、Ｂ／ｈを傾きとし、（Ｂ／ｈ）・（α・φ）を切片とした場合の直線を表している。ここで、Ｂ，αは定数である。
【００６６】
したがって、直線Ｌ２の傾きを求め、定数Ｂを用いることでｈを算出し、次に、直線Ｌ２の切片を求め、定数Ｂ，αと、算出したｈとを用いることでピッチ方向の傾斜角度φを算出する、すなわち、路面パラメータを算出することができる。
【００６７】
なお、ステレオカメラ１としてローリングシャッタ方式のものを採用した場合は、式（Ｂ´）を用いると、ｈ、φをより精度良く算出することができる。
【００６８】
【数３】
0005109691.tif 000004
【００６９】
但し、φ０は、入力画像の中心を露光している時刻のステレオカメラ１のピッチ方向の傾きを示し、δｌは、水平方向の１ライン毎の露出時刻の差を示している。式（Ｂ´）は、式（Ｂ）のφをφ０＋ω・ｙ・δｌで置き換えた式であり、ｙ、ｄを変数とし、（Ｂ／ｈ）・（１＋α・ω・δｌ）を傾きとし、（Ｂ／ｈ）・（α・φ０）を切片とした場合の直線を表している。
【００７０】
式（Ｂ）により得られたφは、図１１に示すように、入力画像の中心を露光している時刻におけるステレオカメラ１のピッチ方向の角度であり、φ＝φ０＋ω・ｙ・δｌのφ０に相当する。また、ωはステップＳ４で得られ、δｌは定数であるため、式（Ｂ）により得られたφをφ＝φ０＋ω・ｙ・δｌのφ０に代入することで式（Ｂ´）が求まり、φを補正することができる。
【００７１】
図４に戻り、ステップＳ６において、動き量演算部２２３は、移動体のパン方向の各速度を算出する。具体的には、以下のような処理が実行される。まず、各注目点に対する第１の座標値と第２の座標値とを求める。ここで、第１の座標値は、Δｘ−（１／α）・（ｖ・Δｔ／１）・（１／Ｂ）・ｄ・ｘにより算出される。但し、Δｘはオプティカルフローの水平成分を示し、ｘは注目点の水平成分を示している。なお、α，Ｂ、Δｔは定数であり、Δｘ、ｄ、ｘはステップＳ２，Ｓ３により得られるため、第１の座標値を算出することができる。
【００７２】
また、第２の座標値は、−（α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ）σ・Δｔにより算出される。但し、σは移動体のパン方向の角速度を示している。ここで、α，Ｂ，Δｔは定数であり、ｖはステップＳ４で得られるため、第２の座標値を算出することができる。
【００７３】
次に、第１及び第２の座標値を座標軸とする２次元座標空間に各注目点をプロットする。図１０は、ステップＳ６の処理の説明図であり、（ａ）、（ｂ）は第１及び第２の座標値を座標軸とする２次元座標空間を示している。図１０のグラフにおいて、縦軸は第１の座標値を示し、横軸は第２の座標値を示している。図１０（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。
【００７４】
次に、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｌ３を算出する。次に、直線Ｌ３の傾きを求め、得られた傾きからパン方向の角速度σを算出する。ここで、パン方向の角速度σは、式（Ｃ）の関係を有することを本発明者は発見した。
【００７５】
【数４】
0005109691.tif 000005
【００７６】
すなわち、式（Ｃ）は、図１０（ｂ）に示すように、第１及び第２の座標値を変数とし、σ・Δｔを傾きとした場合の直線を表している。したがって、直線Ｌ３の傾きを求め、Δｔを用いることでパン方向の角速度σを算出することができる。なお、ステップＳ６において、パン方向の角速度としてσを採用したが、フレーム周期あたりのパン方向の角速度であるσ・Δｔをパン方向の角速度として採用してもよい。
【００７７】
図４に戻り、ステップＳ７において、図形生成部２５は、有向図形を生成し、表示装置３に表示させる。この場合、表示装置３には、例えば図１に示すような有向図形Ｇ１が表示される。図１に示すように有向図形Ｇ１は、前進速度ｖに応じて長さが定められ、パン方向の角速度σに応じて方向が定められた矢印形状の図形である。これにより、移動体の搭乗者は容易に移動体の移動情報を知ることができる。
【００７８】
（式（Ａ）〜（Ｃ）の導出）
次に、式（Ａ）〜（Ｃ）の導出について図１１〜１３を用いて説明する。
【００７９】
（ｉ）カメラと道路面との位置関係
ステレオカメラ１と設置位置と撮影条件とは図１１に示すような関係を有している。ステレオカメラ１は、前進方向Ｚに対して、ピッチ方向の傾きを持って設置されており、パン方向及びロール方向の傾きは略０とする。図１２は、基準画像の座標系を示している。図１２に示すように、基準画像は、中心が原点とされ、垂直成分がｙ軸によって規定され、水平成分がｘ軸によって規定されている。
【００８０】
図１１から基準画像上の座標ｙと、道路面までの距離Ｄとの関係は以下で表すことができる。
【００８１】
ｈ／Ｄ＝ｔａｎ（ｔａｎ−１（ｙ／α）＋φ）      （１）
但し、α＝ｆ／ｐ＝Ｎ／２θを示し、ｐは画素ピッチを示し、Ｎは画素数を示し、θは画角を示している。なお、本実施の形態では、例えば、Ｎとして１２８０×９６０画素、ｐとして０．００４６５ｍｍ、ｆとして１５ｍｍ、Ｂとして２１０ｍｍを採用することができる。
【００８２】
ｈ／Ｄ、ｙ／αが１に比べて十分小さい場合は、式（１）は次式に簡略化できる。
【００８３】
ｈ／Ｄ＝（１／α）・ｙ＋φ      （２）
なお、式（２）より、基準画像上の座標ｙの道路面上の点Ａまでの距離は、次式で表される。
【００８４】
Ｄ＝α・ｈ／（ｙ＋α・φ）      （３）
一方、ステレオカメラ（平行ステレオ）の視差と道路面との距離の関係は、次式で表される。
【００８５】
Ｄ＝Ｂ・α・（１／ｄ）      （４）
式（４）と（３）とから視差と路面の画像上の点との関係が以下の関係式として得られる。
【００８６】
ｄ＝（Ｂ／ｈ）・（ｙ＋α・φ）      （５）
なお、ステレオカメラ１として、安価なローリングシャッタ方式のＣＭＯＳセンサーを有するものを用いると、ステレオカメラ１はピッチ方向の回転の影響を受けるため式（５）は、次式により表される。
【００８７】
ｄ＝（Ｂ／ｈ）・（ｙ（１＋α・ω・δｌ）＋α・φ０）      （５´）
すなわち、ローリングシャッタ方式の場合、水平方向１ライン毎に露出タイミングが異なるため、ステレオカメラ１の縦揺れにより、時刻の変化に従ってφが変化する。
【００８８】
よって、ステレオカメラ１の傾きφは、次式で表される。
【００８９】
φ→φ０＋ω・ｙ・δｌ
但し、φ０は、入力画像の中心を露光している時刻のステレオカメラ１のピッチ方向の傾斜角度を示し、δｌは、水平ライン毎の露出時刻の差とする。したがって、ｙ・δｌが露出時間となる。
【００９０】
これを式（５）に代入してすると次式が得られる。
【００９１】
ｄ＝（Ｂ／ｈ）・（ｙ＋α（φ０＋ｙ・ω・δｌ））
そして、この式を変形すると式（５´）が得られる。
【００９２】
（ｉｉ）移動体の前進によるオプティカルフロー
図１３は、移動体の前進時における入力画像を示した図である。移動体が前進しているとき、道路面上の注目点のオプティカルフローは、（０，−αφ）に集まる。ここで、（０，−αφ）を通り、かつ、水平方向と平行な直線によって表される面が消失面となる。時刻ｔ０及び時刻ｔ０からΔｔ秒経過した時刻ｔ１において、移動体からＺ方向にＤ離れた道路面上の点Aの入力画像上の座標は、次式で計算できる。
【００９３】
ｙ０＝α・（ｈ／Ｄ−φ）
ｙ１＝α・（ｈ／（Ｄ−ｖ・Δｔ）−φ）      （６）
従って、その位置変化は、次式により得られる。
【００９４】
Δｙ＝ｙ１−ｙ０＝α・（ｈ／（Ｄ−ｖ・Δｔ）−ｈ／Ｄ）
＝α・（ｖ・Δｔ・ｈ／（Ｄ−ｖ・Δｔ）・Ｄ）
≒α・ｖ・Δｔ・ｈ／Ｄ２      （７）
また、図１３より、オプティカルフローの水平成分Δｘは、Δｙを用いて次式で計算できる。
【００９５】
Δｘ＝ｘ・Δｙ／（ｙ＋α・φ）      （８）
式（３）を用いてＤをｙで表すと、移動体の前進によるオプティカルフローΔx，Δyは、式（７），（８）を用いて次式で表すことができる。
【００９６】
Δｙ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）２
Δｘ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）・ｘ・ｄ    （９）
【００９７】
（ｉｉｉ）移動体の縦揺れ（ピッチ方向の回転）によるオプティカルフロー
時刻ｔ０及び時刻ｔ０からΔｔ秒経過した時刻ｔ１において、移動体からＤ離れた道路面上の点Ａの入力画像上の座標は、次式で表される。
【００９８】
ｙ０＝α・（ｈ／Ｄ−φ）
ｙ１＝α・（ｈ／Ｄ−（φ＋ω・Δｔ））      （１０）
よって、縦揺れによるオプティカルフローΔｘ・Δｙは、式（１０）から次式で表される。
【００９９】
Δｙ＝ｙ１−ｙ０＝−α・ω・Δｔ
Δｘ＝０                                （１１）
【０１００】
（ｉｖ）移動体の操舵（パン方向の回転）によるオプティカルフロー
移動体の操舵により、横方向の併進と横方向の回転が生じる。よって、移動体のパン方向の角速度をσとすると、車の横方向の併進量ｂは、以下で計算できる。
【０１０１】
ｂ＝ｖ・Δｔ／ｓｉｎ（σ・Δｔ）−ｖ・Δｔ／ｔａｎ（σ・Δｔ）
＝ｖ・Δｔ・（ｔａｎ（σ・Δｔ）−ｓｉｎ（σ・Δｔ））／（ｓｉｎ（σ・Δｔ）・ｔａｎ（σ・Δｔ））
≒（ｖ・Δｔ／（σ・Δｔ）２）・（１／２）・（σ・Δｔ）３
＝（１／２）・ｖ・Δｔ・σ・Δｔ
入力画像上では、（５）式より、Δｘ＝（ｂ／ｈ）・（ｙ＋α・φ）＝（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ）・σ・Δｔのオプティカルフローが発生する。
【０１０２】
よって、回転及び併進を合わせて、移動体の操舵によるオプティカルフローΔx・Δyは、以下で計算できる。
【０１０３】
Δｘ＝−（α＋（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ））・σ・Δｔ
Δｙ＝０      （１２）
【０１０４】
（ｖ）（１）〜（ｉｖ）のまとめ
（ｉ）〜（ｉｖ）より移動体の前進、縦揺れ、及び操舵を加味した走行時に観測できるオプティカルフローΔｘ，Δｙは、式（９）、（１１）、（１２）より次式によって表される。
【０１０５】
Δｙ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）２−α・ω・Δｔ    （１３）
Δｘ＝（１／α）・（ｖ・Δｔ／ｈ）・（ｙ＋α・φ）・ｄ・ｘ−（α＋（ｖ・Δｔ／２ｈ）・（ｙ＋α・φ））・σ・Δｔ      （１４）
式（５）を用いて式（１３）、（１４）から、以下のオプティカルフローと視差との関係が得られる（但し、α＝ｆ／ｐ＝Ｎ／２θ）
ｄ＝（Ｂ／ｈ）・（ｙ＋α・φ）        （５）
Δｙ＝（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ２）・ｄ２−α・ω・Δｔ  （１５）
Δｘ＝（１／α）・（ｖ・Δｔ／１）・（１／Ｂ）・ｄ・ｘ−（α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ））σ・Δｔ      （１６）
そして、これら、式（５）、式（１５）、式（１６）が、上記式（Ｂ）、式（Ａ）、式（Ｃ）である。なお、式（５）、（１５）、（１６）において算出対象となるパラメータは以下の通りである。
【０１０６】
ステレオカメラ１の道路面からの高さ：ｈ
ステレオカメラ１のピッチ方向の傾斜角度：φ
ステレオカメラ１の前進速度：ｖ
ステレオカメラ１のパン方向の角速度：σ
ステレオカメラ１のピッチ方向の角速度：ω
また、式（５）、（１５）、（１６）において既知のパラメータは以下の通りである。
【０１０７】
各注目点の視差：ｄ
各注目点のオプディカルフロー：Δｘ，Δｙ
よって、道路面上の注目点における、ステレオ視差およびオプティカルフローは、式（５）及び式（１５）、（１６）の下記の拘束関係１〜３を持つことになる。
【０１０８】
（拘束関係１）Δｙ−ｄ２が直線に乗る→式（１５）を用いて、その傾きからｈ・ｖ、切片からωが求まる。
【０１０９】
（拘束関係２）ｄ−ｙが直線に乗る→式（５）を用いて、その傾きからｈ、切片からφが求まる。拘束関係１、２は、ハフ変換により直線を求めることでロバストな処理が可能となる。
【０１１０】
（拘束関係３）上記拘束関係１及び拘束関係２を満たす道路面上の注目点に対して、式（１６）を当てはめると、σを求めることができる。
【０１１１】
（対応点の探索処理）
次に、ステップＳ３、Ｓ４で実行される対応点の探索処理の詳細について説明する。以下の説明では、視差演算部２１１による対応点の探索処理を例に挙げて説明する。ＯＦ演算部２１２による対応点の探索処理は、視差演算部２１１による対応点の探索処理において、基準画像を前フレームとし、参照画像を現フレームとすれば同様の処理となるため、説明を省略する。
【０１１２】
図１４は、対応点の探索処理の詳細を示したフローチャートである。まず、ステップＳ２１において、注目点を順次設定するための基準画像におけるスキャンが終了したか否かが判定され、スキャンが終了されている場合は（ステップＳ２１でＹＥＳ）、処理が終了され、スキャンが終了されていない場合は（ステップＳ２１でＮＯ）、基準画像に注目点が設定される（ステップＳ２２）。図１５は、注目点の設定処理を示した図である。図１５（ａ）に示すように、基準画像が、例えば左上から右下に向けてラスタスキャンするようにされて、注目点ＣＰが順次設定される。そして、基準画像上、右下の注目点に対する対応点が算出されると、ステップＳ２１でＹＥＳと判定され、処理が終了される。ここで、基準画像の各画素を注目点として設定してもよいし、一定間隔で間引いた画素を注目点として設定してもよい。
【０１１３】
ステップＳ２３において、ステップＳ２２で設定された注目点に対する対応点が参照画像からＰＯＣを用いて探索され、処理がステップＳ２１に戻される。図１６は、ＰＯＣを実行するＰＯＣ算出部の機能ブロック図を示している。このＰＯＣ算出部は、視差演算部２１１及びＯＦ演算部２１２に実装されている。基準ウインドウ設定部ＰＣ１は、基準画像に基準ウインドウを設定し、参照ウインドウ設定部ＰＣ２は、参照画像に参照ウインドウを設定する。図１７は基準ウインドウ及び参照ウインドウの説明図であり、図１７（ａ）は、基準画像に設定される基準ウインドウＷ１を示した図であり、図１７（ｂ）は参照画像に設定される参照ウインドウＷ２を示した図である。
【０１１４】
基準ウインドウＷ１及び参照ウインドウＷ２はそれぞれ同じサイズを有し、例えば、３１×３１のサイズのものを採用することができる。図１７（ａ）に示すように基準ウインドウ設定部ＰＣ１は、基準画像上に設定された注目点ＣＰに中心が位置するように基準ウインドウＷ１を設定する。一方、参照ウインドウ設定部ＰＣ２は、図１７（ｂ）に示すように、基準ウインドウＷ１と同一サイズのウインドウＷ２´を参照画像上でラスタスキャンしていき、基準ウインドウＷ１内の画像のパターンと最もマッチする位置を探索し、その位置に参照ウインドウＷ２を設定する。ここで、参照ウインドウ設定部ＰＣ２は、例えば、相関演算やＳＡＤを用いてマッチする位置を探索すればよい。
【０１１５】
図１６に戻り、ＤＦＴ部ＰＣ３は、基準ウインドウＷ１内の画像ｆ（ｎ１，ｎ２）に離散フーリエ変換を実行し、画像Ｆ（ｋ１，ｋ２）を算出する。また、ＤＦＴ部ＰＣ４は、参照ウインドウＷ２内の画像ｇ（ｎ１，ｎ２）に離散フーリエ変換を実行し、画像Ｇ（ｋ１，ｋ２）を算出する。
【０１１６】
位相比較部ＰＣ５は、画像Ｆ（ｋ１，ｋ２）と、画像Ｇ（ｋ１，ｋ２）の複素共役とを乗じ、相関画像Ｒ（ｋ１，ｋ２）を算出する。図１８は、位相比較部ＰＣ５の処理を示した図である。図１８の左上のグラフは、画像Ｆ（ｋ１，ｋ２）の振幅及び位相成分を示し、左下のグラフは画像Ｇ（ｋ１，ｋ２）の振幅及び位相成分を示し、右のグラフは相関画像Ｒ（ｋ１，ｋ２）の振幅及び位相成分を示している。図１８の右のグラフに示すように、画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）との位置ズレ量が相関画像Ｒ（ｋ１，ｋ２）の位相成分の傾きに反映されている。
【０１１７】
なお、位相比較部ＰＣ５は、位相成分の傾きをロバストに推定するために、周波数成分毎に重み付けをして相関画像Ｒ（ｋ１，ｋ２）を算出してもよい。図１９は、周波数成分毎に重み付けが施された相関画像Ｒ（ｋ１，ｋ２）の算出処理を示した図である。
【０１１８】
まず、図１９（ａ）に示すように、画像Ｆ（ｋ１，ｋ２）と画像Ｇ（ｋ１，ｋ２）の複素共役とが乗じられる。次に、図１９（ｂ）に示すように、この乗じた値が規格化され、相関画像Ｒ´（ｋ１，ｋ２）が求められる。次に、図１９（ｃ）に示すように、相関画像Ｒ´（ｋ１，ｋ２）に例えばほぼステップ状の重み付け関数Ｈ（ｋ１，ｋ２）が乗じられ、相関画像Ｒ（ｋ１，ｋ２）が求められる。
【０１１９】
図１６に戻り、位置ズレ演算部ＰＣ６は、相関画像Ｒ（ｋ１，ｋ２）を逆離散フーリエ変換し、ＰＯＣ関数ｒ（ｎ１，ｎ２）を算出し、基準ウインドウＷ１内の画像に対する参照ウインドウＷ２内の画像の位置ズレ量を算出する。ここで、逆離散フーリエ変換としては式（１７）を採用することができる。
【０１２０】
【数５】
0005109691.tif 000006
【０１２１】
但し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、水平直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示す。
【０１２２】
図２０は、ＰＯＣ関数ｒ（ｎ１，ｎ２）を示したグラフである。このグラフにおいて、ｎ１軸及びｎ２軸は、基準ウインドウＷ１の中心を原点としたときの水平方向及び垂直方向の各座標を表し、ｚ軸はＰＯＣ値を示している。図２０に示すようにＰＯＣ関数は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。この相関ピークの位置は、基準ウインドウＷ１内の画像と参照ウインドウＷ２内の画像とが最もマッチする位置を示している。
【０１２３】
したがって、相関ピークの位置を特定することで基準ウインドウＷ１に対する参照ウインドウＷ２の位置ズレ量を算出し、対応点を算出することができる。ここで、ＰＯＣ関数は、基準画像の画素単位、すなわち、ピクセルレベルで算出されているため、相関ピーク位置もピクセルレベルで求められることになるが、ＰＯＣ関数を補間することでサブピクセルレベルで相関ピークの位置を推定してもよい。補間方法としては、放物線などの関数をフィッティングすることで行えばよい。
【０１２４】
図１６に戻り、対応点算出部ＰＣ７は、例えば、参照ウインドウＷ２の中心点の座標に位置ズレ演算部ＰＣ６により算出された位置ズレ量を加算することにより得られる座標上の点を対応点として算出する。
【０１２５】
このように、実施の形態１による解析装置によれば、ステレオカメラ１により移動体周囲を撮影することで得られる入力画像に複数の注目点が設定され、各注目点における視差とオプティカルフローとを基に、移動体の前進速度ｖ、ピッチ方向の角速度ω、パン方向の角速度σ、ステレオカメラ１の高さｈ、ピッチ方向の傾斜角度φが算出されているため、移動体がスリップ等している場合であっても、移動体の動きを精度良く解析することができる。
【０１２６】
なお、ステップＳ４の処理において、ｈの値として初期値或いは前フレームのステップＳ５で得られたｈを採用したがこれに限定されない。すなわち、式（Ａ）においてｈを代入せず、ωとｖ・ｈとを変数として、傾き及び切片を求め、ωとｖ・ｈとを求め、ステップＳ５で得られたｈを用いて、ｖを算出してもよい。こうすることで、ステレオカメラ１の高さｈがより正確に反映された前進速度を算出することができる。
【０１２７】
（実施の形態２）
次に、本発明の実施の形態２による解析装置について説明する。本解析装置は、ステップＳ４〜Ｓ６に示す処理が実施の形態１とは異なる点を特徴としている。なお、本実施の形態において実施の形態１と同一のものは説明を省略し、相違点のみ説明する。
【０１２８】
本実施の形態において図３に示す動き成分分離部２２１は、視差の２乗とオプティカルフローの垂直成分とを基に、前進速度とピッチ方向の角速度とを変数とし、入力画像に含まれる道路面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、前進速度を示す座標軸とピッチ方向の角速度を示す座標軸とで規定される投票空間に投票することで、前進速度とピッチ方向の角速度とを算出する。
【０１２９】
路面パラメータ推定部２２２は、視差とオプティカルフローの垂直成分とを基に、ステレオカメラ１の高さとピッチ方向の傾斜角度とを変数とし、入力画像に含まれる道路面上に各注目点が存在すると仮定した場合に描かれる直線を注目点毎に算出し、得られた直線を、ステレオカメラ１の高さを示す座標軸とピッチ方向の傾斜角度を示す座標軸とで規定される投票空間に投票することで、ステレオカメラ１の高さとピッチ方向の傾斜角度とを算出する。
【０１３０】
動き量演算部２２３は、オプティカルフローの水平成分、前進速度、視差、及び注目点の水平成分の座標を基に得られる第１の座標値と、前進速度及び視差を基に得られる第２の座標値とを基に、入力画像に含まれる道路面上に各注目点が存在すると仮定した場合の移動体のパン方向の角速度の候補点を注目点毎に算出し、得られた候補点をパン方向の角速度を変数とする１次元座標空間に投票することで、パン方向の角速度を算出する。
【０１３１】
次に、実施の形態２による解析装置の動作について図４のフローチャートを用いて説明する。ステップＳ１〜Ｓ３、Ｓ７の処理は、実施の形態１と同一であるため、説明を省略する。
【０１３２】
ステップＳ４において、動き成分分離部２２１は、移動体の前進速度とピッチ方向の角速度とを算出する。具体的には、以下のような処理が実行される。まず、各注目点における視差の２乗（ｄ２）とオプティカルフローの垂直成分（Δｙ）とを式（Ａ）に代入することで、ωとｖとを変数とする直線（ω−ｖ直線）を注目点毎に求める。
【０１３３】
【数６】
0005109691.tif 000007
【０１３４】
なお、式（Ａ）において、α、Ｂ、Δｔは定数であるため、ｄ２とΔｙとを代入することでωとｖとを変数とするω−ｖ直線が得られる。ここで、ｈはステップＳ５で算出されるものであり、定数ではないが、処理の便宜上、ｈとして初期値を採用してもよいし、前フレームで算出されたｈを採用してもよい。
【０１３５】
次に、ωとｖとを座標軸とする２次元座標空間（ω−ｖ空間）に、注目点毎に求めたω−ｖ直線を投影する。図２１は、実施の形態２におけるステップＳ４の説明図であり、（ａ）、（ｂ）は、ω−ｖ空間を示している。このω−ｖ空間は、図２１（ｂ）に示すように、０≦ｖ≦ｖ＿ｍ、−ω＿ｍ≦ω≦ω＿ｍにより規定される矩形状の領域が投票空間とされ、この投票空間が所定サイズの矩形状のブロックに予め区画されているものとする。なお、各ブロックのサイズとしては、０≦ｖ≦ｖ＿ｍ、−ω＿ｍ≦ω≦ω＿ｍにより規定される矩形状の領域を縦、横に例えば５０分割した値を採用することができる。
【０１３６】
次に、ω−ｖ直線をω−ｖ空間に投影し各ブロックに投票していく。次に、投票数が最大のブロック、すなわち、ω−ｖ直線が多く通過したブロックを特定し、このブロックのωとｖとを移動体のピッチ方向の角速度と前進速度として算出する。図２１（ａ）はプロットされたω−ｖ直線を示しており、輝度により投票数が示されている。したがって、輝度の高い箇所のωとｖとがピッチ方向の角速度と前進速度として算出されることになる。
【０１３７】
ここで、ω−ｖ空間は、全領域ではなく、０≦ｖ≦ｖ＿ｍ、−ω＿ｍ≦ω≦ω＿ｍの領域、すなわち、最大の投票結果のブロックが得られると想定される領域が投票空間として設定されている。これは、算出対象となるω，ｖの値は移動体の種類により予め想定することができるからである。これにより、処理の簡略化が図られている。
【０１３８】
なお、移動体のピッチ方向の角速度としてωに代えてω・Δｔを採用し、移動体の前進速度としてｖに代えてｖ・Δｔを採用してもよい。この場合、ω−ｖ直線は、ω・Δｔとｖ・Δｔとを変数とし、図２１（ａ）、（ｂ）に示すω−ｖ空間は、縦軸をω・Δｔ横軸をｖ・Δｔとすればよい。
【０１３９】
図４に戻り、ステップＳ５において、路面パラメータ推定部２２２は、路面パラメータを算出する。具体的には、以下のような処理が実行される。まず、各注目点における視差（ｄ）と注目点の垂直成分（ｙ）とを式（Ｂ）に代入することで、φとｈとを変数とする直線（φ−ｈ直線）を注目点毎に求める。
【０１４０】
【数７】
0005109691.tif 000008
【０１４１】
なお、式（Ｂ）において、α、Ｂは定数であるため、ｄとｙとを代入することで、φとｈとを変数とするφ−ｈ直線が得られる。
【０１４２】
次に、φとｈとを座標軸とする２次元座標空間（φ−ｈ空間）に、注目点毎に求めたφ−ｈ直線を投影する。図２２は、実施の形態２におけるステップＳ５の説明図であり、（ａ）、（ｂ）は、φ−ｈ空間を示している。このφ−ｈ空間は、図２２（ｂ）に示すように、０≦φ≦φ＿ｍ、ｈ＿ｓ≦ｈ≦ｈ＿ｍにより規定される矩形状の領域が投票空間として設定され、この投票空間が所定サイズの矩形状のブロックに予め区画されているものとする。なお、φ＿ｍとしては例えば、０．１（ｒａｄ）、ｈ＿ｓとしては例えば１０００（ｍｍ）、ｈ＿ｍとしては例えば１５００（ｍｍ）を採用することができる。この場合、各ブロックのサイズとしては、０≦φ≦φ＿ｍ、ｈ＿ｓ≦ｈ≦ｈ＿ｍにより規定される矩形状の領域を縦、横に例えば５０分割した値を採用することができる。
【０１４３】
次に、φ−ｈ直線をφ−ｈ空間に投影し、各ブロックに投票していく。次に、投票数が最大のブロック、すなわちφ−ｈ直線が多く通過したブロックを特定し、このブロックのφとｈとを移動体のピッチ方向の傾斜角度とステレオカメラ１の高さとして算出する。図２２（ａ）はプロットされたφ−ｈ直線を示しており、輝度により投票数が示されている。したがって、輝度の高い箇所のφとｈとがピッチ方向の傾斜角度とステレオカメラ１の高さとして算出されることになる。
【０１４４】
ここで、φ−ｈ空間は、全領域ではなく、０≦φ≦φ＿ｍ、ｈ＿ｓ≦ｈ≦ｈ＿ｍの領域、すなわち最大の投票結果のブロックが得られると想定される領域が投票空間として設定されている。これは、算出対象となるω，ｖの値は移動体の種類により予め想定することができるからである。これにより、処理の簡略化が図られている。
【０１４５】
図４に戻り、ステップＳ６において、動き量演算部２２３は、パン方向の角速度を求める。具体的には、以下のような処理が実行される。まず、各注目点における第１及び第２の座標値を算出する。第１及び第２の座標値の算出処理は実施の形態１のステップＳ６と同一であるため、説明を省略する。
【０１４６】
次に、第１及び第２の座標値を式（Ｃ）に代入することで、σの候補点を注目点毎に求める。
【０１４７】
【数８】
0005109691.tif 000009
【０１４８】
次に、σを座標軸とする１次元座標空間（σ−空間）に、注目点毎に求めた候補点を投影することで各部録に投票する。図２３は、実施の形態２におけるステップＳ６の説明図であり、（ａ）、（ｂ）は、σ−空間を示している。このσ−空間は、図２３（ｂ）に示すように、−σ＿ｍ≦σ≦σ＿ｍにより規定される領域が投票空間として設定され、この投票空間が所定サイズの直線状のブロックに予め区画されているものとする。各ブロックのサイズとしては、−σ＿ｍ≦σ≦σ＿ｍにより規定される領域を縦、横に例えば５０分割した値を採用することができる。
【０１４９】
次に、投票数が最大のブロックを特定し、このブロックのσを移動体のパン方向の角速度として算出する。図２３（ａ）はプロットされた候補点を示しており、輝度により投票数が示されている。したがって、輝度の高い箇所のσがパン方向の角速度として算出されることになる。図２３（ａ）においては、σがほぼ０であり、移動体が直進していることが分かる。
【０１５０】
ここで、σ−空間は、全領域ではなく、−σ＿ｍ≦σ≦σ＿ｍの領域、すなわち最大の投票結果のブロックが得られると想定される領域が投票空間として設定されている。これは、算出対象となるσの値は移動体の種類により予め想定することができるからである。これにより、処理の簡略化が図られている。
【０１５１】
このように、実施の形態２による解析装置によれば、投票空間への投票により各種パラメータが算出されているため、移動体の動きを精度良く解析することができる。なお、実施の形態２では、ステップＳ４の処理において、ｈの値として初期値或いは前フレームのステップＳ５で得られたｈを採用したがこれに限定されない。すなわち、式（Ａ）にｈを代入せず、ωとｖ・ｈとを変数とするω−ｖ・ｈ直線を注目点毎に求め、この直線をω−ｖ・ｈで規定される２次元座標空間にプロットすることで、ωとｖ・ｈとを算出してもよい。そして、ステップＳ５により得られたｈを用いて、ｖを算出すればよい。こうすることで、ステレオカメラ１の高さｈがより正確に反映された前進速度を算出することができる。
【０１５２】
また、実施の形態２において、ステレオカメラ１としてローリングシャッタ方式のものが採用された場合は、ステップＳ５により得られたｈ、φを実施の形態１と同様にして、補正してもよい。
【０１５３】
また、実施の形態１、２においては、ステレオ法を用いて算出された視差を用いて移動体の動きを解析したが、これに限定されず、レーザレンジファインダ等の３次元位置の計測装置を用いて各注目点の３次元位置を算出し、得られた３次元位置を基に、移動体の動きを解析してもよい。
【０１５４】
また、ステレオカメラ１を構成するカメラの数を３台以上としてもよい。この場合、１のカメラにより基準画像を取得し、残りのカメラにより参照画像を取得し、各参照画像において、基準画像に設定した各注目点の対応点を求め、視差を算出するようにしてもよい。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施の形態１による解析装置の全体構成図を示している。
【図２】ステレオカメラの設置箇所の一例を示した図である。
【図３】演算装置の機能ブロック図を示している。
【図４】解析装置の動作を示すフローチャートである。
【図５】基準画像と参照画像との一例を示した図である。
【図６】視差とオプティカルフローとの算出処理の説明図である。
【図７】オプティカルフローを基準画像上にプロットした図を示している。
【図８】ステップＳ４の処理の説明図である。
【図９】ステップＳ５の処理の説明図である。
【図１０】ステップＳ６の処理の説明図である。
【図１１】ステレオカメラの設置位置と撮影条件との関係の説明図である。
【図１２】基準画像の座標系を示している。
【図１３】移動体の前進時における入力画像を示した図である。
【図１４】対応点の探索処理の詳細を示したフローチャートである。
【図１５】注目点の設定処理を示した図である。
【図１６】ＰＯＣを実行するＰＯＣ算出部の機能ブロック図を示している。
【図１７】基準ウインドウ及び参照ウインドウの説明図である。
【図１８】位相比較部の処理を示した図である。
【図１９】周波数成分毎に重み付けが施された相関画像の算出処理を示した図である。
【図２０】ＰＯＣ関数を示したグラフである。
【図２１】実施の形態２におけるステップＳ４の説明図である。
【図２２】実施の形態２におけるステップＳ５の説明図である。
【図２３】実施の形態２におけるステップＳ６の説明図である。
【符号の説明】
【０１５６】
１  ステレオカメラ
２  演算装置
３  表示装置
２１  情報算出部
２２  移動量演算部
２３  障害物検出部
２４  障害物測距部
２１１  視差演算部
２１２  ＯＦ演算部
２２１  動き成分分離部
２２２  路面パラメータ推定部
２２３  動き量演算部
【図１】
0005109691.tif 000010
【図２】
0005109691.tif 000011
【図３】
0005109691.tif 000012
【図４】
0005109691.tif 000013
【図８】
0005109691.tif 000014
【図９】
0005109691.tif 000015
【図１０】
0005109691.tif 000016
【図１１】
0005109691.tif 000017
【図１２】
0005109691.tif 000018
【図１３】
0005109691.tif 000019
【図１４】
0005109691.tif 000020
【図１５】
0005109691.tif 000021
【図１６】
0005109691.tif 000022
【図１７】
0005109691.tif 000023
【図１８】
0005109691.tif 000024
【図１９】
0005109691.tif 000025
【図５】
0005109691.tif 000026
【図６】
0005109691.tif 000027
【図７】
0005109691.tif 000028
【図２０】
0005109691.tif 000029
【図２１】
0005109691.tif 000030
【図２２】
0005109691.tif 000031
【図２３】
0005109691.tif 000032