(57)【要約】【課題】同一物体に対する視差の判定精度が、ノイズの混入などによって低下することを抑制できる、ステレオ画像処理装置及びステレオ画像処理方法を提供する。【解決手段】一対の撮像部１０１ａ，１０１ｂと、一対の画像について視差毎に類似度を算出する類似度算出部１０６ｂと、前記視差毎の類似度に基づいて同一物体に対する視差を算出する視差算出部１０６ｃと、視差のデータを保存する視差データバッファ部１０５と、一対の撮像部１０１ａ，１０１ｂの移動速度を検出する速度検出部１０７と、視差データバッファ部１０５に保存されている視差の過去のデータと前記移動速度とに基づいて、視差の予測値を算出する視差予測部１０６ａと、を備え、前記視差算出部１０６ｃは、視差毎の類似度と視差の予測値とに基づいて、同一物体に対する視差を算出する。【選択図】図１
2014085120.tif 000002
【特許請求の範囲】
【請求項１】
一対の撮像部と、
前記一対の撮像部で撮像された一対の画像を入力し、前記一対の画像について視差毎に類似度を算出する類似度算出部と、
前記視差毎の類似度に基づいて同一物体に対する視差を算出する視差算出部と、
前記視差算出部で算出された視差のデータを保存する視差データバッファ部と、
前記一対の撮像部の移動速度を検出する速度検出部と、
前記視差データバッファ部に保存されている視差の過去のデータと前記移動速度とに基づいて、視差の予測値を算出する視差予測部と、
を備え、
前記視差算出部は、前記視差毎の類似度と前記視差の予測値とに基づいて、同一物体に対する視差を算出する、ステレオ画像処理装置。
【請求項２】
前記視差算出部は、前記視差の予測値に基づいて視差毎の類似度に重み付けを行う、請求項１記載のステレオ画像処理装置。
【請求項３】
前記視差算出部は、前記視差の予測値に対する視差の偏差に応じて前記類似度の重み付けを行う、請求項２記載のステレオ画像処理装置。
【請求項４】
前記視差算出部は、前記視差の予測値を含む予測視差範囲を外れる視差に対応する前記類似度について重み付けを低くする、請求項３記載のステレオ画像処理装置。
【請求項５】
前記視差算出部は、前記一対の撮像手段に対する物体の相対速度による視差の予測誤差に応じて前記予測視差範囲を設定する、請求項４記載のステレオ画像処理装置。
【請求項６】
前記視差算出部は、前記物体が設定最大速度で前記一対の撮像手段に近づく場合の視差の予測誤差に応じて前記予測視差範囲を設定する、請求項５記載のステレオ画像処理装置。
【請求項７】
前記視差算出部は、前記重み付けされた類似度が最も高い視差を、画像に取り込まれた同一物体に対する視差として算出する、請求項２から６のいずれか１つに記載のステレオ画像処理装置。
【請求項８】
前記視差算出部で算出された同一物体に対する視差に基づき物体までの距離を算出して出力する距離算出部を設けた、請求項１から７のいずれか１つに記載のステレオ画像処理装置。
【請求項９】
前記視差算出部で算出された同一物体に対する視差に基づき物体の相対速度を算出して出力する相対速度算出部を設けた、請求項１から８のいずれか１つに記載のステレオ画像処理装置。
【請求項１０】
前記一対の撮像部が車両に取り付けられ、前記速度検出部が前記移動速度として前記車両の走行速度を検出する、請求項１から９のいずれか１つに記載のステレオ画像処理装置。
【請求項１１】
一対の撮像部で撮像された一対の画像、及び、前記一対の撮像部の移動速度に基づいて、画像に取り込まれた同一物体に対する視差を算出する、ステレオ画像処理装置。
【請求項１２】
一対の撮像部で撮像された一対の画像について視差毎に類似度を算出し、
同一物体に対する視差の過去のデータと前記一対の撮像部の移動速度とに基づいて視差の予測値を算出し、
前記視差毎の類似度と前記視差の予測値とに基づいて同一物体に対する視差を算出する、ステレオ画像処理方法。
【請求項１３】
前記視差の予測値を含む予測視差範囲を設定し、
前記視差予測範囲を外れる視差に対応する前記類似度について重み付けを低くし、
前記重み付けされた視差毎の類似度の中で最も高い類似度に対応する視差を、同一物体に対する視差として算出する、請求項１２記載のステレオ画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一対の撮像部で撮像された一対の画像に基づき、画像に取り込まれた同一物体に対する視差を算出する、ステレオ画像処理装置及びステレオ画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、基準画像ＴOと比較画像ＴCとを出力するステレオ撮像手段と、ステレオマッチング処理を行うステレオマッチング手段と、基準画像ＴO上に物体Ｏを検出する物体検出手段と、前回フレームでの基準画像ＴO上の物体Ｏの距離Ｚ等とに基づいて、今回フレームにおける当該物体Ｏの予測領域ＲOest、ＲCestを基準画像ＴOと比較画像ＴCに設定する予測領域設定手段と、予測領域の輝度値の平均値ｐ１ij_ave、ｐ２ij_aveの差の絶対値が所定の閾値Δｐth以上である場合には基準画像ＴO上の予測領域ＲOestに検出された物体Ｏの情報または物体Ｏが検出されなかったという情報にノイズが含まれている旨の情報を対応付ける判断手段とを備える、物体検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１１０１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、左右カメラの画像について類似した画像領域を探索、マッチングすることによって、同一物体に対する視差、引いては、物体までの距離を測定するステレオ画像処理装置において、探索範囲内に相互に類似する画像領域が真のマッチング領域以外に複数ある場合、マッチングを間違え、同一物体に対する視差の判定誤差（距離の算出誤差）を増加させてしまう可能性がある。
真のマッチング領域以外を類似領域として誤判定してしまう要因としては、類似する画像領域が探索範囲内に複数存在するシーンであること、左右カメラ間で同一でないノイズ（例えば、カメラのレンズに付着した汚れや画像信号処理回路のノイズなど）が混入すること、などが挙げられる。
そして、同一物体に対する視差の判定誤差が増えると、距離測定精度の低下や障害物の誤検知の増加などの問題が生じることになる。
【０００５】
そこで、本発明は、このような課題を考慮してなされたものであり、同一物体に対する視差の判定精度が、ノイズの混入などによって低下することを抑制できる、ステレオ画像処理装置及びステレオ画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そのため、本願発明のステレオ画像処理装置は、一対の撮像部と、前記一対の撮像部で撮像された一対の画像を入力し、前記一対の画像について視差毎に類似度を算出する類似度算出部と、前記視差毎の類似度に基づいて同一物体に対する視差を算出する視差算出部と、前記視差算出部で算出された視差のデータを保存する視差データバッファ部と、前記一対の撮像部の移動速度を検出する速度検出部と、前記視差データバッファ部に保存されている視差の過去のデータと前記移動速度とに基づいて、視差の予測値を算出する視差予測部と、を備え、前記視差算出部は、前記視差毎の類似度と前記視差の予測値とに基づいて、同一物体に対する視差を算出するようした。
また、本願発明のステレオ画像処理方法は、一対の撮像部で撮像された一対の画像について視差毎に類似度を算出し、同一物体に対する視差の過去のデータと前記一対の撮像部の移動速度とに基づいて視差の予測値を算出し、前記視差毎の類似度と前記視差の予測値とに基づいて同一物体に対する視差を算出するようにした。
【発明の効果】
【０００７】
本発明によれば、探索範囲内に相互に類似する画像領域が真のマッチング領域以外に複数ある場合であっても、一対の撮像部の移動速度の情報を付加することで、マッチングを間違えることを抑制でき、同一物体に対する視差の算出精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態におけるステレオ画像処理装置を示すブロック図である。
【図２】本発明の実施の形態における時系列的に対応する画素位置を算出する方法を説明するための図である。
【図３】本発明の実施の形態における視差の予測方法を説明するための図である。
【図４】本発明の実施の形態における類似度の算出方法を説明するための図である。
【図５】本発明の実施の形態における類似度の重み付け処理を説明するための図である。
【図６】本発明の実施の形態における三角測量を説明するための図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施の形態を、図面を用いて説明する。
本実施の形態では、本発明に係るステレオ画像処理装置及びステレオ画像処理方法の一例として、車両に搭載した一対の撮像部で撮像された一対の画像を用いて先行車両などの物体を検出する運転支援システムの例を説明する。
【００１０】
図１は、上記運転支援システムの構成を示すブロック図である。
この図１において、運転支援システムは、ステレオ画像処理装置１００、走行制御部１１０を備え、ステレオ画像処理装置１００は、画像処理により画像内に撮像されている物体（先行車両）までの相対距離、相対速度を検出し、走行制御部１１０は、前記相対距離、相対速度の情報に基づいてクルーズコントロールなどの車両走行制御を行う。
【００１１】
前記クルーズコントロールにおいては、設定されている車速、車間距離を維持するように、先行車両の相対速度及び先行車両までの距離の情報などに基づき、アクセル制御（スロットル制御）、ブレーキ制御などを行う。
尚、走行制御部１１０に代えて、又は、走行制御部１１０と共に、物体までの相対距離、相対速度の情報などに基づき運転者への警告（注意喚起）を行う警告部を設けることができる。
【００１２】
ステレオ画像処理装置１００は、撮像装置１０１を備える。この撮像装置１０１は、自車両の前方を撮像する一対の撮像部（カメラ）１０１ａ、１０１ｂを含み、この一対の撮像部１０１ａ、１０１ｂは、互いに車幅方向に離間した位置から車両前方を撮像するように自車両（例えば、フロントスクリーンの内側）に設置される。
そして、車両前方を向いたときの左側に設置される左撮像部１０１ａは撮像した左画像を出力し、車両前方を向いたときの右側に設置される右撮像部１０１ｂは撮像した右画像を出力する。
【００１３】
また、ステレオ画像処理装置１００は、撮像装置１０１と共に、画像データバッファ部１０２、時系列対応算出部１０３、前回視差取得部１０４、視差データバッファ部１０５、ステレオ対応算出部１０６、速度検出部１０７、距離算出部１０８、相対速度算出部１０９を備えている。
【００１４】
画像データバッファ部１０２は、左撮像部１０１ａが出力する左画像を例えば１フレームの間保持する機能を有しており、毎フレームの処理において前回フレームの左画像である前回左画像を出力する。
時系列対応算出部１０３は、画像データバッファ部１０２が出力する前回左画像（前回フレーム）と、左撮像部１０１ａが出力した今回左画像（今回フレーム）とを入力し、今回左画像の各画素について同じ物体領域が撮像されている前回左画像上の画素位置を算出する。
【００１５】
以下では、図２を参照して、時系列対応算出部１０３における処理を説明する。
時系列対応算出部１０３は、画像データバッファ部１０２が出力する前回左画像２０１と左撮像部１０１ａから今回入力した左画像である今回左画像２０２とを入力する。
そして、今回左画像２０２の各画素について、例えば、３×３画素や９×９画素等の近傍領域ＮｐのウィンドウＷＦ１を設定し、同様に、前回左画像２０１上の探索領域Ｓ１内のすべての画素についてもウィンドウＷＦ１と同形の近傍領域ＮｐのウィンドウＷＦ２を設定し、ウィンドウＷＦ１とウィンドウＷＦ２についてのＳＡＤ値（Sum of Absolute Difference）を数１に従って計算する。
【００１６】
ここで、ＳＡＤ値は、２つの画像間における輝度値の差を評価する指標値であり、零であれば、２つの画像（前回左画像２０１、今回左画像２０２）は一致していることになる。尚、ＳＡＤ値に代えて、ＳＳＤ値（Sum of Squared Difference）を算出することができる。
【数１】
2014085120.tif 000003
【００１７】
数１において、ＰはＳＡＤ値を算出する今回左画像２０２上の画素位置[Ｐx, Ｐy]T、つまり、ウィンドウＷＦ１の中心座標を表わし、ＦはウィンドウＷＦ１とウィンドウＷＦ２との間の画像の位置ずれ量[ｆx, ｆy]Tを表わし、Ｑは画素位置[Ｐx, Ｐy]Tを中心とした近傍領域Ｎｐ内の画素位置を表わし、Ｉaft( )は括弧内の画素位置における今回左画像２０２の輝度値を表わし、Ｉpre( )は括弧内の画素位置における前回左画像２０１の輝度値を表わす。
【００１８】
次に、時系列対応算出部１０３は、ＳＡＤ値の逆数を画像類似度の指標値として求め、最も高い画像類似度（最も小さいＳＡＤ値）が算出された前回左画像２０１の画素位置Ｐ１を、[Ｐx, Ｐy]T＋[ｆx, ｆy]Tとして算出する。
つまり、時系列対応算出部１０３は、所謂テンプレートマッチングにより、今回左画像２０２と同じ画像の位置を前回左画像２０１から探索するものであり、今回左画像２０２のウィンドウＷＦ１を基の画像とし、前回左画像２０１上に設定した探索領域Ｓ１内でウィンドウＷＦ２を移動させながら、ウィンドウＷＦ１のウィンドウＷＦ２との類似度を輝度値の差から判断する。
そして、最も高い類似度が求められたときのウィンドウＷＦ１とウィンドウＷＦ２との組み合わせが同じ物体画像の組み合わせであるとして、今回左画像２０２に取り込まれた物体画像の位置が、前回左画像２０１上ではどの位置であったか、つまり１フレーム間における物体の移動を検出する。
【００１９】
これにより、今回左画像２０２上の画素位置[Ｐx, Ｐy]Tに対応する前回左画像２０１上の画素位置Ｐ１は、[Ｐx, Ｐy]T＋[ｆx, ｆy]Tであって、画素位置[Ｐx, Ｐy]Tでの撮像物体と、画素位置Ｐ１＝ [Ｐx, Ｐy]T＋[ｆx, ｆy]Tでの撮像物体とは同じであると見做すことができる。
上記のようにして、時系列対応算出部１０３において、今回左画像２０２の各画素に対応する前回左画像２０１上での画素を特定すると、係る情報が、前回視差取得部１０４に出力される。
【００２０】
一方、視差データバッファ部１０５には、前回のフレームで計測された前回左画像２０１の各画素について視差データ（同一物体に対する視差）が格納されている。
前回視差取得部１０４は、前回左画像２０１の画素位置Ｐ１、つまり、対応画素位置のずれ量[ｆx, ｆy]Tに基づき、前回フレームでの視差データのテーブルを参照することで、今回左画像２０２の各画素に対応する前回左画像２０１の各画素で求められている視差のデータ、つまり同じ物体について前回検出されている視差のデータ（過去の視差）を取得する。
尚、画素位置Ｐ１は少数値を含むサブピクセル位置となり得るため、前回フレームでの視差データのテーブルを参照する場合には、例えば画素位置Ｐ１の小数部を四捨五入することにより整数化しておく。
【００２１】
ステレオ対応算出部１０６は、視差予測部１０６ａ、ステレオ画像類似度算出部１０６ｂ、視差算出部１０６ｃを備える。
視差予測部１０６ａは、今回左画像２０２の各画素について、前回視差取得部１０４によって出力される前回フレームにおける視差と、速度検出部１０７から出力される自車両の速度情報を用いて、同一物体について今回フレームで計測されると予測される予測視差dfoを、数２に従って算出する。
【００２２】
数２において、ｆは撮像部１０１ａ、１０１ｂの焦点距離、ｃは撮像部１０１ａ、１０１ｂの画素サイズ、Ｂはステレオ撮像装置１０１の左右カメラ間距離、dpreは前回フレームでの視差、ｚは自車両の速度、ｄtはフレーム周期である。
【数２】
2014085120.tif 000004
【００２３】
数２は、今回左画像２０２の各画素は静止物が投影された領域であると仮定して視差を予測する式である。
つまり、図３に示すように、前回フレームでの視差は前回での物体までの距離に相当し、物体が静止していると仮定すると、前回から今回までの時間と自車両の速度とから求められる距離、即ち、自車両が進んだ距離だけ物体までの距離が前回値から短縮されることになるので、今回フレームでの計測が予測される視差を、前回フレームでの視差と自車両の速度とを変数として求めることができる。
【００２４】
上記のように、数２によって求められる予測視差dfoは、物体が静止している場合に適合する値であり、実際の物体が動いていて自車両に対する相対速度が速いほど、より大きな誤差を生じることになる。そこで、視差予測部１０６ａでは、実際の物体が動いている場合に生じる予測視差dfoの誤差を、予測ばらつきedとして、数３、数４に従って算出する。
【数３】
2014085120.tif 000005
【数４】
2014085120.tif 000006
【００２５】
数４において、zmaxは、自車両の速度方向と逆向きの設定最大速度である。zmaxには、例えば100(km/h)、150(km/h)など、対向車の想定される最大速度の値を設定する。
そして、数４で算出される視差dfoeは、今回左画像２０２の各画素に自車両の速度方向と逆向きに設定最大速度で移動する物体が投影されていると仮定した場合の予測視差となる。
【００２６】
即ち、予測視差dfoは、物体が停止していると仮定した場合に予測される視差である一方、予測視差dfoeは、物体が、自車両に向けて想定最大速度で近づいてくると仮定した場合、つまり、相対速度が最大であると仮定した場合に予測される視差である。
そして、物体が停止していると仮定して求めた予測視差dfoと実際の視差との偏差が最大になるのは、自車両に向けて想定最大速度で近づいてくる場合であるから、予測ばらつきedは、予測視差dfoにおいて想定される最大誤差となる。
一方、ステレオ画像類似度算出部１０６ｂは、所謂ステレオマッチング処理によって、今回左画像２０２の各画素について、今回右画像において対応し得る画素との間での画像類似度を算出する。
【００２７】
以下では、ステレオ画像類似度算出部１０６ｂにおける画像類似度の算出処理を、図４を参照しつつ説明する。
ステレオ画像類似度算出部１０６ｂは、今回左画像２０２の各画素中心に例えば３×３画素や９×９画素等の近傍領域Ｎｐの左画像ウィンドウＷＤ１を設定し、左画像ウィンドウＷＤ１と対応し得る今回右画像４０１中のエピポーララインＥＬ（探索ライン）上の探索領域Ｓ２内に、左画像ウィンドウＷＤ１と同形の右画像ウィンドウＷＤ２を設定する。
【００２８】
そして、左画像ウィンドウＷＤ１と、探索領域Ｓ２内のすべての右画像ウィンドウＷＤ２との間において、数５に従ってＳＡＤ値（Sum of Absolute Difference）を算出し、更に、このＳＡＤ値の逆数を画像類似度として算出する。
【数５】
2014085120.tif 000007
【００２９】
数５において、ＰはＳＡＤ値を算出する今回左画像２０２上の画素位置[Ｐx, Ｐy]Tを表わし、ＤはウィンドウＷＤ１とウィンドウＷＤ２との間の画像の位置ずれ量[d, 0]T（dはｘ座標の差である視差を表わす）を表わし、Ｑは画素位置[Ｐx, Ｐy]Tを中心とした近傍領域Ｎｐ内の画素位置を表わし、ＩL( )は括弧内の画素位置における今回左画像２０２の輝度値を表わし、Ｉr( )は括弧内の画素位置における今回右画像４０１の輝度値を表わす。
今回左画像２０２のある画素ｐについて対応し得るすべての今回右画像４０１との画像類似度を計算するためには、とりうるすべての視差ｄ範囲について、数５に基づいてＳＡＤ値（画像類似度）を計算する。
【００３０】
例えば、ｄ＝０〜128などの範囲で視差dを１つずつずらして、数５によりＳＡＤ値（画像類似度）を計算し、１画素あたり１２９通りの画像類似度を得る。このような類似度の計算を今回左画像２０２の全画素にわたって行う。
ここで、画像類似度が最大である視差を、同一物体に対する視差として求めるが、ノイズに影響されて、画像類似度が真のマッチング領域以外で高くなり、同一物体に対する視差を誤って判定する可能性がある。
【００３１】
そこで、視差算出部１０６ｃでは、ノイズの影響を抑えるために以下のようにして、同一物体に対する視差の算出を行う。
視差算出部１０６ｃは、図５に示すように、ステレオ画像類似度算出部１０６ｂにおいて算出された、今回左画像２０２の各画素と対応し得る全ての今回右画像４０１の画素との間での画像類似度について重み付けを行い、重み付けされた類似度の中で最も高い類似度を示した視差を、同一物体に対する視差として検出する。
前記重み付けは、今回算出した視差と視差予測部１０６ａにより算出された予測視差dfoとの差分の絶対値が、予測ばらつきedよりも大きい場合には、画像類似度を一定値ＬＤだけ低下させる補正を行うことで、予測視差dfoに対して予測ばらつきedを超える偏差を有する視差に対応する類似度に対する重み付けを低下させる。
【００３２】
そして、補正後の類似度（換言すれば、重み付きの画像類似度）が最大となる視差を、同一物体に対する視差として算出する処理を、今回左画像２０２の画素毎に行う。
つまり、予測視差dfo+予測ばらつきedと、予測視差dfo−予測ばらつきedとで挟まれる、予測視差dfoを含む予測視差範囲を設定し、この予測視差範囲を外れる視差のときの画像類似度は、類似する画像領域が探索範囲内に複数存在するシーンである場合やノイズに影響されて誤って算出されている可能性があるものと見做して、類似度を減少補正することで、重み付けを低くする。一方、予測視差範囲内の画像類似度については、ノイズに影響されることなく算出されているものと見做して、減少補正の対象から外すことで、相対的に重み付けを高くする。
【００３３】
従って、予測視差範囲外の視差の画像類似度を一律に低下させる代わりに、予測視差範囲内の視差の画像類似度を一律に増大させることができ、また、予測視差範囲外の視差の画像類似度を一律に低下させつつ、予測視差範囲内の視差の画像類似度を一律に増大させることもできる。
更に、予測視差dfoに対する偏差の絶対値が大きくなるに従って、画像類似度の重み付けを低くする構成であればよく、偏差の絶対値の増大に応じて、画像類似度を低下させる幅（ＬＤ）を段階的に大きくすることができる。
【００３４】
予測視差dfoは、前述のように物体が静止していると仮定して求められるが、実際の物体が移動している場合であって、かつ、最大相対速度で移動している場合であっても、今回求められる視差は、±予測ばらつきedの範囲内になると推定される。
従って、予測視差範囲外の視差において類似度が高い場合には、類似する画像領域が探索範囲内に複数存在するシーンであったり、ノイズに影響されたりしている可能性があるので、予測視差範囲外の視差が、同一物体に対する視差として検出されること（最大類似度として抽出されること）を抑制すべく、類似度の重み付けを小さくする。
【００３５】
これにより、類似する画像領域が探索範囲内に複数存在するシーンである場合や、撮像部１０１ａ、１０１ｂのレンズに付着した汚れや画像信号に対するノイズの重畳などによって一対の画像に同一でないノイズが混入した場合に、同一物体に対する視差、つまり、物体（先行車両）までの距離を誤判定してしまうことを抑制できる。
撮像部１０１ａ、１０１ｂを車両のフロントスクリーンの内側に設置する、車両の運転支援システムの場合には、フロントスクリーンの汚れが視差（距離）の誤検出の要因になるが、上記のようにして、予測値に対して所定以上の偏差を有する視差における類似度の重み付けを低くすれば、フロントスクリーンの汚れに影響されて、同一物体に対する視差が誤って検出されることを抑制できる。
従って、同一物体に対する視差、つまり、物体（先行車両）までの距離に基づいて、車両の速度を制御するクルーズコントロールにおいては、先行車両に対する車間距離を、設定距離に精度良く制御することができる。
【００３６】
尚、予測ばらつきedは、前述のように、最大相対速度で物体が移動していると仮定したときの予測視差と物体の停止を仮定したときの予測視差との偏差として算出する構成に限定されない。また、プラス側の予測ばらつきedとマイナス側の予測ばらつきedとを異なる値に設定することができる。
また、予測ばらつきed（視差予測範囲）を全画素について一律に設定するのではなく、画素位置（画像領域）に応じて異なる値に設定することができる。
【００３７】
画素位置（画像領域）に応じて異なる予測ばらつきedを設定する場合には、例えば、画像領域の中で、先行車両が撮像される領域と、対向車線の車両が撮像される領域とで、想定される最大相対速度の違いに応じて異なる予測ばらつきed（視差予測範囲）を設定することができる。
また、制限速度、渋滞の有無、道路勾配、道路の曲率半径などの道路状況や、自車速度（設定速度）、設定車間距離など走行環境に応じて、予測ばらつきを可変に設定することができる。
【００３８】
上記のようにして同一物体に対する視差が視差算出部１０６ｃで算出されると、係る視差のデータは、視差データバッファ部１０５、距離算出部１０８、相対速度算出部１０９に出力される。
そして、視差データバッファ部１０５では、視差のデータを保存する。
【００３９】
また、距離算出部１０８では、今回左画像２０２の各画素について算出された視差を三角測量の原理に従って距離に変換し、対応する画素内に撮像されている物体との相対距離を今回左画像２０２の各画素について算出する。
一方、相対速度算出部１０９は、距離算出部１０８と同様に今回左画像２０２の各画素について算出された視差を距離に変換し、更に、前回視差取得部１０４によって取得された対応する前回フレームでの視差を距離に変換し、その両距離の差分をとることによって対応する画素内に撮像されている物体との相対速度を今回左画像２０２の各画素について算出する。
【００４０】
ここで、図６を参照して、相対距離の算出方法について説明する。
図６において、左撮像部１０１ａは、レンズ１００２と撮像面１００３から成る焦点距離ｆ、光軸１００８のカメラであり、同様に、右撮像部１０１ｂは、レンズ１００４と撮像面１００５から成る焦点距離ｆ、光軸１００９のカメラである。
【００４１】
カメラ前方にある点１００１は、左の撮像部１０１ａの撮像面１００３の点１００６（光軸１００８からｄ２の距離）へ撮像され、左画像２０２では点１００６（光軸１００８からｄ４画素の位置）となる。同様に、カメラ前方にある点１００１は、右の撮像部１０１ｂの撮像面１００５の点１００７（光軸１００９からｄ３の距離）に撮像され、右画像４０１では点１００７（光軸１００９からｄ５画素の位置）となる。
このように同一の物体の点１００１が、左画像２０２では光軸１００８から左へｄ４画素の位置、右画像４０１では光軸１００９から右へｄ５画素の位置に撮像され、ｄ４＋ｄ５画素の視差（＝視差算出部１０６ｃで求めた視差ｄ）が発生している。
【００４２】
このため、左右撮像部１０１ａ，１０１ｂの光軸間距離Ｂを用いて、以下のようにして、左右撮像部１０１ａ，１０１ｂから点１００１までの距離Ｚを求めることができる。
即ち、図６において、点１００１と左の撮像部１０１ａとの関係から、ｄ２：ｆ＝ｘ：Ｄが成り立ち、点１００１と右の撮像部１０１ｂとの関係から、ｄ３：ｆ＝（Ｂ−ｘ）：Ｄが成り立つので、距離Ｚは、下式に従って算出することができる。
Ｚ＝ｆ×Ｂ／（ｄ２＋ｄ３）＝ｆ×Ｂ／｛（ｄ４＋ｄ５）×ｃ｝
【００４３】
ここで、ｃは撮像面１００３，１００５の撮像素子のサイズである。
以上のようにして、ステレオ画像処理装置１００は、画像の画素毎に算出された距離及び相対速度の情報を出力し、これらの情報をもとに走行制御部１１０は自車両前方に存在する物体（先行車両）を検知し、物体との相対距離及び相対速度に応じて自車両のブレーキ制御、アクセル制御を行う。
【００４４】
上記のステレオ画像処理装置１００では、ある領域の距離を算出する場合に、その領域の過去の距離（同一物体に対する視差）と、過去から現在までの撮像装置１０１（車両）の速度情報とを用いて、予め視差の予測値を計算し、予測値とのずれに応じて類似度を重み付けしたうえで重み付き類似度が最大となるようにマッチングするので、探索範囲内に真のマッチング領域以外に類似する画像領域が複数ある場合など画像ベースの類似度情報のみではマッチングが曖昧となりマッチングを間違えるケースでも、正しくマッチングし、安定的に正確な距離を算出することができる。
【００４５】
更に、遠距離の物体では、当該物体について距離が算出される画素数が近距離の物体に比べて少なくなるため、物体の一部で距離算出を間違えると、距離計測を間違えた領域が物体領域に占める割合が大きくなり、物体の検知が困難となるが、上記のステレオ画像処理装置１００では、距離算出の間違いを抑えることができるので、遠距離の物体検知が容易になるという効果も得られる。
【００４６】
尚、本発明は、上述の実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
上述の実施の形態では、画像データバッファ部１０２や時系列対応算出部１０３は、左撮像部１０１ａから入力した左画像に対してのみ処理を実施しており、右撮像部１０１ｂから入力した右画像に対しては処理を実施しておらず、左画像を基準とした構成となっているが、この構成に限定されるものではない。
【００４７】
例えば、図１の左撮像部１０１ａと右撮像部１０１ｂとを置き換え、左画像と右画像の関係をすべて反対にした構成としても同様の効果が得られるし、画像データバッファ部１０２や時系列対応算出部１０３はどちらか一方に対してのみ処理を実施するのではなく、左右の画像に対して両方実施し、図１の構成全体を左右対称な構成とすることができる。
また、撮像装置１０１（車両）の速度及び加速度に基づき、同一物体に対する視差の予測値を算出することができる。
【符号の説明】
【００４８】
１００…ステレオ画像処理装置、１０１…撮像装置、１０１ａ…左撮像部、１０１ｂ…右撮像部、１０２…画像データバッファ部、１０３…時系列対応算出部、１０４…前回視差取得部、１０５…視差データバッファ部、１０６…ステレオ対応算出部、１０６ａ…視差予測部、１０６ｂ…ステレオ画像類似度算出部、１０６ｃ…視差算出部、１０７…速度検出部、１０８…距離算出部、１０９…相対速度算出部、１１０…走行制御部
【図１】
2014085120.tif 000008
【図２】
2014085120.tif 000009
【図３】
2014085120.tif 000010
【図４】
2014085120.tif 000011
【図５】
2014085120.tif 000012
【図６】
2014085120.tif 000013