(57)【要約】【課題】遠方領域の物体の動き推定精度向上。【解決手段】撮像画像（輝度画像）を時系列で出力する撮像装置１０と、撮像画像の情報を撮像時間に関連付けて記憶させる画像情報記憶部２２と、撮像装置１０から撮像画像の画素までの奥行距離情報を算出する距離情報生成部２３と、動き推定対象の撮像画像の画素が自車両に対して遠方に存在しているほど、その撮像画像に対して撮像時間のより離れている撮像画像を当該画素に対応付けた探索画像として設定する一方、その画素が自車両の近くに存在しているほど、その撮像画像に対して撮像時間のより近い撮像画像を当該画素に対応付けた探索画像として設定する探索画像設定部２４と、動き推定対象の撮像画像の画素を画素毎に注目点として設定し、注目点に対応する対応点を当該注目点の画素に対応付けた探索画像上から探索して、注目点の動きを推定する注目点動き推定部２５及び３次元運動推定部２６と、を備えること。【選択図】図１
2016004446.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺の撮像領域を撮像し、輝度値情報が含まれた画素の集合体である撮像画像を時系列で出力する撮像装置と、
前記撮像画像の情報を撮像時間に関連付けて記憶させる画像情報記憶部と、
前記撮像画像の輝度値情報に基づいて前記撮像装置から当該撮像画像の画素までの奥行距離情報を算出する距離情報生成部と、
動き推定対象の前記撮像画像の画素が自車両に対して遠方に存在しているほど、該動き推定対象の撮像画像に対して撮像時間のより離れている前記画像情報記憶部の前記撮像画像を当該画素に対応付けた探索画像として設定する一方、前記動き推定対象の撮像画像の前記画素が自車両の近くに存在しているほど、該動き推定対象の撮像画像に対して撮像時間のより近い前記画像情報記憶部の前記撮像画像を当該画素に対応付けた探索画像として設定する探索画像設定部と、
前記動き推定対象の撮像画像の画素を画素毎に注目点として設定し、該注目点に対応する対応点を当該注目点の画素に対応付けた前記探索画像上から探索して、該注目点の動きを推定する動き推定部と、
を備えることを特徴とした動き推定装置。
【請求項２】
前記探索画像設定部は、前記動き推定対象の撮像画像の前記画素における２次元の動きベクトルの大きさの推定値が大きくなるほど、撮像時間のより新しい前記画像情報記憶部の前記撮像画像を前記探索画像に設定することを特徴とした請求項１に記載の動き推定装置。
【請求項３】
自車両の周辺の撮像領域を撮像し、輝度値情報が含まれた画素の集合体である撮像画像を時系列で出力する撮像装置と、
前記撮像画像の情報を撮像時間に関連付けて記憶させる画像情報記憶部と、
前記撮像画像の輝度値情報に基づいて前記撮像装置から当該撮像画像の画素までの奥行距離情報を算出する距離情報生成部と、
動き推定対象の前記撮像画像を複数の領域に分割する領域設定部と、
自車両に対して遠方に存在している前記領域ほど、前記動き推定対象の撮像画像に対して撮像時間のより離れている前記画像情報記憶部の前記撮像画像を当該領域に対応付けた探索画像として設定する一方、自車両の近くに存在している前記領域ほど、前記動き推定対象の撮像画像に対して撮像時間のより近い前記画像情報記憶部の前記撮像画像を当該領域に対応付けた探索画像として設定する探索画像設定部と、
前記動き推定対象の撮像画像の画素を画素毎に注目点として設定し、該注目点に対応する対応点を当該注目点が含まれた前記領域に対応付けた前記探索画像上から探索して、該注目点の動きを推定する動き推定部と、
を備えることを特徴とした動き推定装置。
【請求項４】
前記領域設定部は、前記動き推定対象の撮像画像上における撮像対象の位置情報と、前記動き推定対象の撮像画像上で自車線と対向車線と路側とを区分けした領域の位置情報と、前記動き推定対象の撮像画像上における消失点から各画素までの距離と、前記動き推定対象の撮像画像の各画素の奥行距離と、前記動き推定対象の撮像画像の前記画素の２次元の動きベクトルの大きさの推定値と、の内の少なくとも１つに基づいて、前記動き推定対象の撮像画像を複数の領域に分割することを特徴とした請求項３に記載の動き推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像に基づいて自車両の周辺の物体の動きを推定する動き推定装置に関する。
【背景技術】
【０００２】
従来、この種の動き推定装置が知られている。例えば、下記の特許文献１には、ステレオカメラで撮像した時系列画像から、対応点探索処理によって自車両の周辺の対象物体の２次元オプティカルフローを算出する周辺監視装置が開示されている。この特許文献１の技術では、その２次元オプティカルフローに基づいて対象物体の存在する可能性の高い候補領域を抽出する。そして、この技術では、その候補領域の３次元情報をステレオカメラの画像から取得し、その３次元情報とステレオカメラを有する周辺監視装置との位置関係に基づいて、自車両と対象物体との衝突可能性を判定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２８６９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、自車両から遠く離れている物体（例えば撮像した画像上の消失点付近に存在している物体）は、撮像間隔の短いフレーム間において、自車両の近くの物体よりも見かけ上の動きが小さい。このため、そのような遠方領域の物体については、自車両の近くの物体と比べて２次元オプティカルフローの算出が難しい。よって、遠方領域においては、画像の撮像タイミングが同じであるにも拘わらず、自車両の近傍領域と比べて、動きのある物体の検出精度の低下や対象物体の存在する可能性の高い候補領域の抽出精度の低下を引き起こす可能性がある。
【０００５】
そこで、本発明は、かかる従来例の有する不都合を改善し、遠方領域の物体の動きを精度良く推定することが可能な動き推定装置を提供することを、その目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成する為、本発明は、自車両の周辺の撮像領域を撮像し、輝度値情報が含まれた画素の集合体である撮像画像を時系列で出力する撮像装置と、前記撮像画像の情報を撮像時間に関連付けて記憶させる画像情報記憶部と、前記撮像画像の輝度値情報に基づいて前記撮像装置から当該撮像画像の画素までの奥行距離情報を算出する距離情報生成部と、動き推定対象の前記撮像画像の画素が自車両に対して遠方に存在しているほど、該動き推定対象の撮像画像に対して撮像時間のより離れている前記画像情報記憶部の前記撮像画像を当該画素に対応付けた探索画像として設定する一方、前記動き推定対象の撮像画像の前記画素が自車両の近くに存在しているほど、該動き推定対象の撮像画像に対して撮像時間のより近い前記画像情報記憶部の前記撮像画像を当該画素に対応付けた探索画像として設定する探索画像設定部と、前記動き推定対象の撮像画像の画素を画素毎に注目点として設定し、該注目点に対応する対応点を当該注目点の画素に対応付けた前記探索画像上から探索して、該注目点の動きを推定する動き推定部と、を備えることを特徴としている。
【０００７】
ここで、前記探索画像設定部は、前記動き推定対象の撮像画像の前記画素における２次元の動きベクトルの大きさの推定値が大きくなるほど、撮像時間のより新しい前記画像情報記憶部の前記撮像画像を前記探索画像に設定することが望ましい。
【０００８】
上記目的を達成する為、本発明は、自車両の周辺の撮像領域を撮像し、輝度値情報が含まれた画素の集合体である撮像画像を時系列で出力する撮像装置と、前記撮像画像の情報を撮像時間に関連付けて記憶させる画像情報記憶部と、前記撮像画像の輝度値情報に基づいて前記撮像装置から当該撮像画像の画素までの奥行距離情報を算出する距離情報生成部と、動き推定対象の前記撮像画像を複数の領域に分割する領域設定部と、自車両に対して遠方に存在している前記領域ほど、前記動き推定対象の撮像画像に対して撮像時間のより離れている前記画像情報記憶部の前記撮像画像を当該領域に対応付けた探索画像として設定する一方、自車両の近くに存在している前記領域ほど、前記動き推定対象の撮像画像に対して撮像時間のより近い前記画像情報記憶部の前記撮像画像を当該領域に対応付けた探索画像として設定する探索画像設定部と、前記動き推定対象の撮像画像の画素を画素毎に注目点として設定し、該注目点に対応する対応点を当該注目点が含まれた前記領域に対応付けた前記探索画像上から探索して、該注目点の動きを推定する動き推定部と、を備えることを特徴としている。
【０００９】
ここで、前記領域設定部は、前記動き推定対象の撮像画像上における撮像対象の位置情報と、前記動き推定対象の撮像画像上で自車線と対向車線と路側とを区分けした領域の位置情報と、前記動き推定対象の撮像画像上における消失点から各画素までの距離と、前記動き推定対象の撮像画像の各画素の奥行距離と、前記動き推定対象の撮像画像の前記画素の２次元の動きベクトルの大きさの推定値と、の内の少なくとも１つに基づいて、前記動き推定対象の撮像画像を複数の領域に分割することが望ましい。
【発明の効果】
【００１０】
本発明に係る動き推定装置は、動き推定対象の撮像画像の画素毎に又は当該撮像画像を分割した領域毎に注目点の動きを推定する際の探索画像を適応的に設定しているので、撮像間隔の短い撮像画像間において見かけ上の動きの小さい遠方領域の撮像対象（物体等）に関しても、その動きを精度良く推定することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明に係る動き推定装置の実施例の構成の一例を示すブロック図である。
【図２】図２は、時間ｔの撮像画像の一例である。
【図３】図３は、時間ｔ−１の撮像画像の一例である。
【図４】図４は、時間ｔ−３の撮像画像の一例である。
【図５】図５は、ブロックマッチング法について説明する図である。
【図６】図６は、実施例の動きの推定について説明するフローチャートである。
【図７】図７は、本発明に係る動き推定装置の変形例の構成の一例を示すブロック図である。
【図８】図８は、変形例の動きの推定について説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明に係る動き推定装置の実施例を図面に基づいて詳細に説明する。尚、この実施例によりこの発明が限定されるものではない。
【００１３】
［実施例］
本発明に係る動き推定装置の実施例を図１から図６に基づいて説明する。
【００１４】
図１の符号１は、本実施例の動き推定装置を有している物体検出システムを示す。その物体検出システム１は、撮像した画像に基づいて自車両の周辺の物体や背景（空等）を検出し、その物体が動きのあるものなのか静止しているものなのかを判別可能なシステムである。よって、この物体検出システム１は、自車両の周辺を撮像する撮像装置１０と、その撮像した撮像画像に基づいて物体検出のための画像処理を行う電子制御装置（以下、「画像処理ＥＣＵ」という。）２０と、を備える。この物体検出システム１においては、撮像装置１０に加えて、後述する画像情報取得部２１と画像情報記憶部２２と距離情報生成部２３と探索画像設定部２４と注目点動き推定部２５と３次元運動推定部２６と撮像対象検出部２７とが動き推定装置の構成として設けられている。特に、この例示では、その注目点動き推定部２５と３次元運動推定部２６と撮像対象検出部２７とによって、撮像対象の動きを推定する動き推定部が構成される。
【００１５】
撮像装置１０には、輝度画像と距離画像の取得が可能なものを用いる。ステレオカメラの左側カメラと右側カメラとで撮像された撮像画像は、それぞれ輝度値情報が含まれた画素の集合体であり、画素毎に輝度値情報を有する輝度画像として取得することができる。また、ステレオカメラは、左側カメラと右側カメラとでそれぞれに同一撮像領域内の撮像画像（輝度画像）を得ることができるので、そのそれぞれの撮像画像の情報から当該撮像領域内の画素毎の視差値情報を得ることができ、その視差値情報に基づいて距離画像を生成することができる。このため、この例示の撮像装置１０には、右側カメラ１１と左側カメラ１２とを有するステレオカメラを利用する。その撮像画像は、モノクロでもカラーでもよい。また、撮像波長帯については、可視領域でも近赤外領域でもよい。また、その撮像装置１０は、輝度画像と距離画像が取得できるものであればよい。このため、撮像装置１０には、例えば、ＴＯＦ（Time  Of  Flight）カメラ等の距離画像センサを用いてもよい。尚、以下においては、その輝度値情報を有する画像（撮像画像、輝度画像）のことを撮像画像と総称する。
【００１６】
この撮像装置１０は、右側カメラ１１と左側カメラ１２とでそれぞれに自車両の周辺の撮像対象を撮像して、その撮像領域の撮像画像の情報を時系列で（つまり撮像したフレーム毎に）画像処理ＥＣＵ２０へと出力する。その撮像対象とは、路面、区画線、立体物（他車両等の動的物体や建築物等の静的物体）、背景（空等）などである。その画像処理ＥＣＵ２０は、受信した撮像画像の情報を画像処理ＥＣＵ２０の画像情報取得部２１に渡す。
【００１７】
画像情報取得部２１は、その受信した撮像画像の情報を時系列で画像情報記憶部２２に記憶させる。また、この画像情報取得部２１は、その撮像画像の情報を右側カメラ１１で撮像されたものと左側カメラ１２で撮像されたものとが区別できるように画像情報記憶部２２に記憶させる。つまり、その画像情報記憶部２２には、その撮像画像の情報が撮像時間に関連付けて記憶させられている。その画像情報記憶部２２とは、例えば、画像処理ＥＣＵ２０が有する一時記憶装置のことである。この画像情報記憶部２２には、後述する物体の動きの推定に必要なフレーム数だけを記憶させればよい。このため、そのフレーム数を超えた場合には、不要になった撮像画像を撮像時間の古いものから順に消去するようバッファリングすればよい。画像情報取得部２１は、受信した撮像画像の情報や画像情報記憶部２２の撮像画像の情報を画像処理ＥＣＵ２０の距離情報生成部２３と探索画像設定部２４に渡す。
【００１８】
距離情報生成部２３は、撮像時間の同じ右側カメラ１１と左側カメラ１２のそれぞれの撮像画像の情報に基づいて前述した画素毎の視差値情報を算出し、この画素毎の視差値情報に基づいて各画素の奥行距離情報を算出して、撮像領域の各位置（各画素）の奥行距離を表した距離画像の生成を行う。よって、その距離画像の情報には、画素毎の奥行距離情報が含まれている。その距離画像の生成は、この技術分野における周知の方法によって行う。
【００１９】
ここで、奥行距離情報とは、撮像装置１０から撮像画像内における撮像対象までの奥行の距離を表す情報のことである。その奥行距離の方向は、例えば撮像画像の水平方向（横方向）及び垂直方向（縦方向）を各々Ｘ座標及びＹ座標と定義した場合に、そのＸＹ平面に直交する方向であり、かつ、撮像装置１０の撮像方向において当該撮像装置１０から遠方に向かって離れていく方向のことである。このため、撮像装置１０には、少なくとも自車両の進行方向を撮像させる。その奥行距離情報の算出には、例えば、ＳＧＭ法やＥＬＡＳ法等のdense  stereo技術を用いればよい。
【００２０】
距離情報生成部２３は、その奥行距離情報を有する距離画像の情報を画像処理ＥＣＵ２０の探索画像設定部２４と３次元運動推定部２６に渡す。
【００２１】
撮像画像上の撮像対象の動きを推定するに際しては、動き推定対象の撮像画像（以下、「推定対象画像」という。）上の注目点に対応する対応点を備えた撮像画像（以下、「探索画像」という。）を当該推定対象画像とは撮像時間の異なる撮像画像の中から探索する。その探索画像の探索は、原則として推定対象画像の全ての画素に対して行う。そして、この動き推定装置では、例えば後述するブロックマッチング法が適用される場合、その推定対象画像と探索画像との間で当該推定対象画像上の注目点の２次元の動きを推定する。尚、この例示では、最新の撮像画像を推定対象画像とする。また、対応点とは、探索画像における推定対象画像の注目点の移動元である。このため、推定対象画像と探索画像の撮像間隔に時間ｔ０の開きがある場合には、その対応点の時間ｔ０経過後の移動先が注目点となる。
【００２２】
ここで、自車両に対して遠方に存在している撮像対象は、例えば、移動中の動的物体であろうと、自車両の走行に伴い相対的な位置関係が変化する静的物体であろうと、自車両に対して遠方に存在しているほど自車両から見た見かけ上の動きが小さい。このため、このような遠方の撮像対象は、自車両の走行中に連続して撮像された２つの撮像画像間（フレーム間）において、自車両に対して遠方に存在しているほど注目点の動きが小さい。一方、自車両の近傍に存在している撮像対象は、そのような動的物体であろうと静的物体であろうと、自車両に対して近くに存在しているほど自車両から見た見かけ上の動きが大きい。このため、このような近傍の撮像対象は、自車両の走行中に連続して撮像された２つの撮像画像間において、自車両に対して近くに存在しているほど注目点の動きが大きい。よって、自車両の遠方の撮像対象は、自車両の近傍の撮像対象と比較して、自車両から遠く離れた場所に存在しているほど、動きの有無の推定が難しく、そして、動きがあるならば、その動きベクトルの大きさや方向の推定が難しい。
【００２３】
例えば、図２には最新（時間ｔ）の撮像画像を表しており、図３にはその１つ前（時間ｔ−１）に撮像された撮像画像を表している。その２つの撮像画像間においては、遠方の車両Ｃ１（車両Ｃ１を表す画素に設定される注目点）と近傍の車両Ｃ２（車両Ｃ２を表す画素に設定される注目点）とを比較すると、近傍の車両Ｃ２の場合、その動きを推定できるだけの位置の違いが見受けられるが、遠方の車両Ｃ１の場合、その動きを推定できるだけの位置の違いの判別が難しい。尚、遠方の車両Ｃ１は、撮像画像上の消失点の近くに存在している。その消失点とは、撮像画像上における自車両の進行方向の無限遠点であり、見かけ上の動きが無い点のことである。
【００２４】
そこで、本実施例の画像処理ＥＣＵ２０の探索画像設定部２４には、自車両（撮像装置１０）と推定対象画像の画素との位置関係に基づいて、その画素毎に当該画素（注目点）に対応する対応点を備えた探索画像の設定を行わせる。つまり、この探索画像設定部２４には、推定対象画像で動きの推定対象となる画素に対応付けた探索画像を当該画素毎に設定させる。
【００２５】
撮像対象の動きを推定する際に互いに比較される２つの撮像画像（推定対象画像と探索画像）の間では、その撮像間隔が広いほど、撮像対象の相対的な動き量が大きくなるので、その撮像対象における画素の２次元の動きベクトルの大きさや方向が推定し易くなる。このため、消失点やその付近に存在している見かけ上の動きの小さい遠方の撮像対象については、その動きを推定する上で、推定対象画像と探索画像の間の撮像間隔を広げることが望ましい。よって、探索画像設定部２４には、推定対象画像の画素（注目点）の奥行距離情報に基づいて、この画素（注目点）が自車両（撮像装置１０）に対して遠方に存在しているほど、その推定対象画像に対して撮像時間のより離れている画像情報記憶部２２の撮像画像を当該画素（注目点）に対応付けた探索画像として設定させる。
【００２６】
一方、自車両の近くに存在している撮像対象については、推定対象画像と探索画像の間の撮像間隔を広げなくても、その間の見かけ上の動きが大きいので、動きを推定することができる。このため、探索画像設定部２４には、推定対象画像の画素（注目点）の奥行距離情報に基づいて、この画素（注目点）が自車両（撮像装置１０）の近くに存在しているほど、その推定対象画像に対して撮像時間のより近い画像情報記憶部２２の撮像画像を当該画素（注目点）に対応付けた探索画像として設定させる。
【００２７】
例えば、この探索画像設定部２４には、推定対象画像の画素における２次元の動きベクトルの相対的な大きさに応じて、この画素の動きの推定に際して当該画素に対応付ける探索画像（つまり当該画素が注目点となったときに当該推定対象画像に対応付ける探索画像）を画像情報記憶部２２の過去の撮像画像の中から決めさせる。
【００２８】
具体的に、この探索画像設定部２４は、現在の推定対象画像に対する１フレーム前の撮像画像の各画素の動きの推定結果（２次元のオプティカルフロー）が未だ得られていない場合、この推定対象画像における各画素の２次元の動きベクトルの大きさを推定する。例えば、この探索画像設定部２４は、その推定対象画像の画素毎に、その画素の奥行距離情報と自車両の運動量（例えば１フレーム前の撮像時から推定対象画像が撮像されるまでの自車両の移動方向及び移動量）とに基づいて当該画素の２次元の動きベクトルの大きさを推定する。尚、その推定の際には、その画素が表す撮像対象が静的物体や路面等の静止物であると仮定する。その画素の２次元の動きベクトルの大きさの推定値を求める際には、３次元運動推定部２６によって推定された後述する３次元運動量を考慮に入れてもよい。
【００２９】
一方、この探索画像設定部２４は、現在の推定対象画像に対する１フレーム前の撮像画像の各画素の２次元の動きの推定結果（２次元のオプティカルフロー）を注目点動き推定部２５から取得している場合、その推定結果に基づいて、この推定対象画像における各画素の２次元の動きベクトルの大きさの推定値を得ることができる。
【００３０】
ここで、画素の２次元の動きベクトルの大きさの推定値からは、この画素が推定対象画像上で自車両（撮像装置１０）に対してどの程度の位置関係で存在しているのか予測できる。このため、探索画像設定部２４は、推定対象画像の画素における２次元の動きベクトルの大きさの推定値を用いて、この画素の動きを推定する際に当該画素に対応付ける探索画像を設定することができる。この探索画像の設定は、推定対象画像の画素毎に行う。
【００３１】
ここでは、その画素の２次元の動きベクトルの大きさの推定値が大きくなるほど（つまり当該画素が自車両に対して近くに存在しているほど）、推定対象画像よりも撮像時間のより新しい撮像画像が探索画像として設定されるように、例えば、その推定値に対する撮像時間をステップ状に設定しておけばよい。尚、この場合には、撮像装置１０の撮像間隔が一定であると仮定する。また、ここでは、その画素の２次元の動きベクトルの大きさの推定値が大きくなるほど撮像時間のより新しい撮像画像が探索画像として設定されるように、その画素の２次元の動きベクトルの大きさの関数として定義してもよい。
【００３２】
例えば、図４には、前述した図２の時間ｔの撮像画像（推定対象画像）の３つ前（時間ｔ−３）に撮像された撮像画像を表している。探索画像設定部２４は、推定対象画像上で近傍の車両Ｃ２を表す各画素について、画像情報記憶部２２に記憶されている図３の時間ｔ−１の撮像画像を探索画像として設定する。一方、推定対象画像上で遠方の車両Ｃ１を表す各画素については、画像情報記憶部２２に記憶されている図４の時間ｔ−３の撮像画像を探索画像として設定する。
【００３３】
尚、撮像画像上には、舗装したてのアスファルト、空、新築建造物の壁、陰で黒くなっているところ等のように、広い領域に渡ってテクスチャ（模様）の無い撮像対象が存在する場合もある。そして、そのような領域においては、画素同士の区別を付けることが難しいので、それぞれの画素の動きの推定が上手くいかない可能性がある。このため、探索画像設定部２４は、そのような動きの推定を妨げるテクスチャの無い広い領域のそれぞれの画素について、探索画像の設定を実施しないよう構成してもよい。これにより、その探索画像が設定されていない推定対象画像の画素については、注目点動き推定部２５による動きの推定が省略されることになる。よって、その際には、演算処理の負荷の軽減が図られる。更に、探索画像設定部２４は、探索画像を決める際の精度を高めるために、推定対象画像の画素における２次元の動きベクトルの相対的な大きさと共に、その画素の奥行距離情報を利用してもよい。
【００３４】
この探索画像設定部２４は、推定対象画像の画素と探索画像との対応付け情報を当該推定対象画像の画素毎に画像処理ＥＣＵ２０の注目点動き推定部２５に送る。
【００３５】
注目点動き推定部２５は、推定対象画像上で注目点を設定し、その注目点に対応付けられた探索画像の特定を対応付け情報に基づいて行う。そして、この注目点動き推定部２５は、その特定した探索画像を画像情報記憶部２２の撮像画像の中から読み込み、その注目点の２次元の動きを推定する。尚、この注目点動き推定部２５には、対応付け情報の無い推定対象画像の画素を注目点に設定させない。
【００３６】
注目点動き推定部２５は、この技術分野における周知の方法で注目点の２次元の動きを推定する。例えば、その注目点の動きの推定には、勾配法やブロックマッチング法を用いることができる。
【００３７】
勾配法を適用する場合には、下記の式１のオプティカルフロー拘束方程式を局所領域内の各画素から構成する。その局所領域は、注目点を含む所定領域のことであり、注目点の画素と当該注目点の周囲の複数の画素とを備える。この局所領域は、例えば、Ｎ×Ｎの画素数又はＭ×Ｎの画素数（Ｎ，Ｍ：整数）の矩形領域とする。そして、この従来の勾配法においては、その画素毎の拘束方程式を連立させた式２の連立方程式を解くことで、注目点の動きを推定する。
【００３８】
【数１】
2016004446.tif 000003
【００３９】
【数２】
2016004446.tif 000004
【００４０】
撮像画像上の注目点の画素（注目画素）の座標（ｘ，ｙ）における画素の時間ｔにおける輝度をＩ（ｘ，ｙ，ｔ）とする。「ｕ（＝ｄｘ／ｄｔ）」は、座標（ｘ，ｙ）における画素の動きベクトルのｘ成分である。「ｖ（＝ｄｙ／ｄｔ）」は、座標（ｘ，ｙ）における画素の動きベクトルのｙ成分である。「Ｉｘ（＝∂Ｉ／∂ｘ）」や「Ｉｙ（＝∂Ｉ／∂ｙ）」は、空間的な輝度勾配を表している。「Ｉｔ（＝∂Ｉ／∂ｔ）」は、時間的な輝度勾配を表している。式２の「ｆ」と「Ａ」は、各々下記の式３，４で表される。
【００４１】
【数３】
2016004446.tif 000005
【００４２】
【数４】
2016004446.tif 000006
【００４３】
ブロックマッチング法では、時間ｔの画像（撮像画像又は距離画像）と時間ｔ−１の画像（時間ｔの１つ前に撮像された撮像画像又は距離画像）との間において、時間ｔの画像（撮像画像又は距離画像）の注目点に対応する時間ｔ−１の画像内（撮像画像内又は距離画像内）の対応点を直接的に探索する。このブロックマッチング法においては、その対応点の確からしさについて下記の式５又は式６を用いて評価する。
【００４４】
【数５】
2016004446.tif 000007
【００４５】
【数６】
2016004446.tif 000008
【００４６】
図５は、式５のブロックマッチング法について説明する図である。ここでは、式５のＳＡＤが最小になる（ｕ，ｖ）を注目点の動き（２次元のオプティカルフロー）として推定する。
【００４７】
注目点動き推定部２５は、動きの推定対象となった注目点の２次元の動きの推定結果｛２次元のオプティカルフロー（２次元の動きベクトルの大きさと方向）｝を画像処理ＥＣＵ２０の３次元運動推定部２６に送る。
【００４８】
３次元運動推定部２６は、推定対象画像の画素（注目点）の奥行距離情報と当該画素の２次元の動きの推定結果とに基づいて、この画素の３次元空間における運動量（３次元運動量）を推定する。その３次元運動量とは、その画素の３次元空間における動きベクトルの大きさと方向のことである。３次元運動推定部２６は、この３次元運動量の推定を、２次元のオプティカルフローと視差値の両方が求められている全ての画素に対して行う。この３次元運動推定部２６は、その３次元運動量の推定結果を画像処理ＥＣＵ２０の撮像対象検出部２７に送る。
【００４９】
撮像対象検出部２７は、推定対象画像の画素の奥行距離情報と当該画素の３次元運動量の推定結果とに基づいて、その推定対象画像上で撮像対象毎の区分けを行う。具体的には、隣接している画素間で奥行距離と３次元運動量とが共に同等又は類似のものを同一グループとし、これを推定対象画像の各画素に対して行うことによって、撮像対象毎の区分けを行う。これにより、この撮像対象検出部２７は、その推定対象画像の各撮像対象を推定対象画像上における自車両に対する位置と相対速度の情報と共に検出することになる。画像処理ＥＣＵ２０においては、その検出結果を後段の制御システムに送る。その制御システムにおいては、その検出結果を自車両との衝突判定や衝突回避ルートの作成等に利用する。
【００５０】
図６には、この動き推定装置の演算処理動作に関するフローチャートを示している。
【００５１】
画像情報取得部２１は、撮像領域内の各撮像対象が映された撮像画像（輝度画像）の情報を撮像装置１０から取得する（ステップＳＴ１）。この画像情報取得部２１は、撮像装置１０から輝度画像の情報を受信する度に、その情報を画像情報記憶部２２へと撮像時間順に時系列で一時記憶させると共に（ステップＳＴ２）、この情報を距離情報生成部２３と探索画像設定部２４に出力する。
【００５２】
距離情報生成部２３では、その輝度画像が有する各画素の輝度値情報に基づいて、その各画素の奥行距離情報を算出し、この画素毎の奥行距離情報を有する距離画像を生成する（ステップＳＴ３）。
【００５３】
探索画像設定部２４では、最新の撮像画像（推定対象画像）の画素における２次元の動きベクトルの大きさの推定値に基づいて、この画素の動きを推定する際に当該画素に対応付ける探索画像を設定する（ステップＳＴ４）。この設定は、原則として推定対象画像の各画素に対して行う。
【００５４】
注目点動き推定部２５は、推定対象画像の各画素の中から注目点を設定し（ステップＳＴ５）、その注目点に対応付けられた探索画像を画像情報記憶部２２の撮像画像の中から読み込んで、その注目点の２次元の動きを推定する（ステップＳＴ６）。
【００５５】
注目点動き推定部２５は、推定対象画像上で動きの推定対象となる全ての注目点（つまり推定対象画像の全画素から前述した対応付け情報が無いものを除いた画素）の動きの推定を終えたのか否かを判定する（ステップＳＴ７）。注目点動き推定部２５は、推定対象となる全ての注目点の動きの推定が済んでいない場合、ステップＳＴ５に戻り、別の注目点に対する動きの推定を行う。そして、推定対象となる全ての注目点の動きの推定を終えた場合、３次元運動推定部２６は、その各注目点について、その奥行距離情報と２次元の動きの推定結果に基づき３次元運動量を推定する（ステップＳＴ８）。
【００５６】
撮像対象検出部２７は、その各注目点の奥行距離情報と当該各注目点の３次元運動量の推定結果とに基づいて、推定対象画像上で撮像対象毎の区分けを行い、この推定対象画像上の各撮像対象を検出する（ステップＳＴ９）。画像処理ＥＣＵ２０においては、その各撮像対象の自車両に対する位置と相対速度の情報を後段の制御システムに出力する（ステップＳＴ１０）。
【００５７】
このように、本実施例の動き推定装置は、推定対象画像の画素毎に、その画素の推定対象画像上おける自車両との距離に基づいて、この画素の動きを推定する際に当該画素に対応付ける探索画像を適応的に設定する。つまり、この動き推定装置では、推定対象画像の画素が自車両（撮像装置１０）の近くに存在しているほど、その推定対象画像に対して撮像時間のより近い画像情報記憶部２２の撮像画像を当該画素に対応付けた探索画像として設定する。一方、この動き推定装置では、推定対象画像の画素が自車両（撮像装置１０）に対して遠方に存在しているほど、その推定対象画像に対して撮像時間のより離れている画像情報記憶部２２の撮像画像を当該画素に対応付けた探索画像として設定する。このため、この動き推定装置は、撮像間隔の短い撮像画像間において見かけ上の動きの小さい遠方領域の撮像対象に関しても、その動きを精度良く推定することができる。
【００５８】
［変形例］
本変形例の動き推定装置は、前述した実施例の動き推定装置に対して以下の点を変更したものである。図７には、本変形例の動き推定装置を有する物体検出システム２を示している。この物体検出システム２は、実施例の物体検出システム１において画像処理ＥＣＵ２０を画像処理ＥＣＵ１２０に置き換えたものである。
【００５９】
画像処理ＥＣＵ１２０は、実施例の画像処理ＥＣＵ２０と同じ画像情報取得部２１と画像情報記憶部２２と距離情報生成部２３と探索画像設定部２４と注目点動き推定部２５と３次元運動推定部２６と撮像対象検出部２７と備えると共に、道路領域認識部２８と路側領域認識部２９と消失点検出部３０と領域設定部３１とを備えたものである。本変形例においては、これらの構成を本変形例の動き推定装置が備える。但し、本変形例の探索画像設定部２４と注目点動き推定部２５と３次元運動推定部２６は、その新たな構成に合わせて後述するように変更している。また、本変形例の撮像対象検出部２７については、その検出結果（推定対象画像の各撮像対象の検出結果、その各撮像対象の自車両に対する位置と相対速度の情報）を探索画像設定部２４に送る。
【００６０】
道路領域認識部２８と路側領域認識部２９と消失点検出部３０と領域設定部３１は、距離情報生成部２３と探索画像設定部２４との間に介在させたものであり、その演算処理の結果を探索画像設定部２４に送る。
【００６１】
道路領域認識部２８は、推定対象画像上（各撮像対象が３次元的に認識されている場合には、その３次元空間上）で道路領域を認識し、その道路領域を自車線領域と対向車線領域とに分割するものである。
【００６２】
その道路領域の認識は、この技術分野における周知の方法で行えばよい。例えば、道路領域認識部２８は、距離情報生成部２３から受け取った推定対象画像の各画素の奥行距離情報に基づいて、その推定対象画像上の道路領域を判別することができる。尚、道路領域を認識する際には、その推定対象画像（輝度画像）の輝度値情報を利用してもよい。
【００６３】
自車線領域とは、推定対象画像の道路領域上で自車両の走行中の車線が占めている領域である。例えば、道路領域認識部２８は、その道路領域上で自車両と同等の方向に動いている撮像対象（つまり自車両に対する相対運動量が小さい撮像対象）が検出された場合、その撮像対象が自車両と同じ車線を走行している他車両等であると判断して、この撮像対象が存在している領域を自車線領域と判定することができる。
【００６４】
対向車線領域とは、推定対象画像の道路領域上で対向車の走行する車線が占めている領域である。例えば、道路領域認識部２８は、その道路領域上で自車両と逆方向に動いている撮像対象（つまり自車両に対する相対運動量が大きい撮像対象）が検出された場合、その撮像対象が対向車線を走行している対向車等であると判断して、この撮像対象が存在している領域を対向車線領域と判定する。
【００６５】
尚、道路領域認識部２８は、白線を検知することができた場合、その白線に基づいて自車線領域と対向車線領域とを識別することができる。
【００６６】
路側領域認識部２９は、推定対象画像上（各撮像対象が３次元的に認識されている場合には、その３次元空間上）で路側領域を認識するものである。路側領域とは、道路の両脇に占める領域であり、歩道、建築物や植物等の静的物体などの存在している領域である。その歩道や静的物体などの静止物は、自車両の運動量に相当する相対運動量（つまり、自車両の移動方向とは逆向きの当該自車両と同じ移動量）を持つ。このため、路側領域認識部２９は、例えば、推定対象画像上で自車両の運動量に相当する相対運動量を持つ撮像対象）が検出された場合、その撮像対象が存在している領域を路側領域と判定する。ここで、この路側領域では、自車両の速度に基づいて、各画素の２次元の動きベクトルの大きさを推定してもよい。尚、推定対象画像上では、空等の背景も自車両の運動量に相当する相対運動量を持つ。このため。路側領域認識部２９には、背景についても路側領域と同等の領域として認識させてもよい。
【００６７】
消失点検出部３０は、推定対象画像上（各撮像対象が３次元的に認識されている場合には、その３次元空間上）で消失点を検出するものである。この消失点検出部３０は、例えば、推定対象画像の各画素の奥行距離情報や輝度値情報、更には道路領域認識部２８や路側領域認識部２９の認識結果に基づいて、その推定対象画像上の道路の白線や路側領域の建築物の稜線等の直線成分を抽出する。そして、この消失点検出部３０は、それらの直線成分を延長した交点又は当該交点に相当する点を求め、この交点等を消失点として検出する。また、この消失点検出部３０は、時系列で得られた各撮像画像を用いて消失点の検出を行ってもよい。例えば、撮像装置１０が自車両の前方を監視する場合には、一般的に撮像画像の中央部分やその付近に消失点が現れる。そして、前述したように、消失点やその付近においては、撮像画像間での見かけ上の動きが小さくなる。
【００６８】
領域設定部３１は、撮像対象検出部２７で検出された推定対象画像上における撮像対象の位置情報と、道路領域認識部２８と路側領域認識部２９とで認識された領域（自車線領域と対向車線領域と路側領域）の位置情報と、推定対象画像上における消失点から各画素までの距離と、推定対象画像の各画素の奥行距離と、その各画素の２次元の動きベクトルの大きさの推定値と、の内の少なくとも１つに基づいて、推定対象画像を複数の領域に分割する。具体的には、各画素の消失点からの距離と各画素の奥行距離と各画素の２次元の動きベクトルの大きさの推定値とに基づいて、撮像対象毎の領域と自車線領域と対向車線領域と路側領域とを更に下記の１から第３の領域に分割する。
【００６９】
第１領域は、自車両（撮像装置１０）に対する遠方領域であり、消失点とその周辺の領域である。消失点の周辺の領域（つまり消失点からの距離）は、例えば、連続して撮像された２つの撮像画像において、見かけ上の動きが所定値よりも小さい領域とする。その所定値は、例えば、動きを上手く推定できない大きさにする。第２領域は、自車両（撮像装置１０）に対する近傍領域であり、自車両（撮像装置１０）に対する奥行距離が所定距離以下の領域である。その所定距離は、連続して撮像された２つの撮像画像において、見かけ上の動きが明確であり、動きを上手く推定できる距離にする。例えば、この第２領域は、推定対象画像上の遠方領域を除いた残りの領域にしてもよい。第３領域は、推定対象画像で画素の２次元の動きベクトルの大きさが推定できた後で設定される領域であり、その推定値に基づき同じ撮像対象であると推定できる画素の集合した領域である。つまり、この第３領域は、その推定値が同等の大きさでかつ略同等の大きさの領域のことである。第３領域の特定が可能な場合には、この第３領域が第１領域や第２領域上に存在していたとしても、第１領域や第２領域ではなく第３領域として設定する。
【００７０】
実施例の探索画像設定部２４は、推定対象画像のそれぞれの画素毎に探索画像の設定を行う。これに対して、本変形例の探索画像設定部２４は、その複数に分割された推定対象画像の領域毎に探索画像の設定を行う。
【００７１】
例えば、探索画像設定部２４には、第１領域の場合、第２領域と比べて、推定対象画像に対して撮像時間のより離れている画像情報記憶部２２の撮像画像を第１領域に対応付けた探索画像として設定させる。換言するならば、第２領域の場合には、第１領域と比べて、推定対象画像に対して撮像時間のより近い画像情報記憶部２２の撮像画像を第２領域に対応付けた探索画像として設定させる。つまり、探索画像設定部２４は、自車両に対して遠方に存在している領域ほど、推定対象画像に対して撮像時間のより離れている画像情報記憶部２２の撮像画像を当該領域に対応付けた探索画像として設定する一方、自車両の近くに存在している領域ほど、推定対象画像に対して撮像時間のより近い画像情報記憶部２２の撮像画像を当該領域に対応付けた探索画像として設定する。また、探索画像設定部２４は、第３領域の場合、この第３領域に関わる２次元の動きベクトルの大きさの推定値を求めたときと同じ撮像間隔で探索画像を設定する。つまり、第３領域の場合には、その撮像間隔だけ推定対象画像の撮像時からより離れた画像情報記憶部２２の撮像画像を第３領域に対応付けた探索画像として設定させる。
【００７２】
探索画像設定部２４は、道路領域認識部２８及び路側領域認識部２９で認識された領域（自車線領域と対向車線領域と路側領域）の位置情報と各画素の奥行距離情報とに基づいて、次のように探索画像を設定してもよい。例えば、探索画像設定部２４には、自車線領域の場合、奥行距離が同等であるならば、対向車線領域の場合と比較して、推定対象画像に対して撮像時間のより離れている画像情報記憶部２２の撮像画像を探索画像として設定させる。
【００７３】
探索画像設定部２４は、推定対象画像上で設定された領域と探索画像との対応付け情報を当該領域毎に注目点動き推定部２５に送る。
【００７４】
本変形例の注目点動き推定部２５は、推定対象画像上で注目点を設定し、その注目点が含まれた領域に対応付けられた探索画像の特定を対応付け情報に基づいて行う。そして、この注目点動き推定部２５は、その特定した探索画像を画像情報記憶部２２の撮像画像の中から読み込み、その注目点の２次元の動きを推定する。尚、この注目点動き推定部２５には、対応付け情報の無い推定対象画像の画素を注目点に設定させない。
【００７５】
本変形例の３次元運動推定部２６は、実施例と同じように、推定対象画像の各画素の３次元運動量を推定する。そして、この３次元運動推定部２６は、探索画像設定部２４の設定した領域毎に３次元運動量を平滑化する。
【００７６】
図８には、この動き推定装置の演算処理動作に関するフローチャートを示している。
【００７７】
本変形例では、実施例と同じように、撮像画像（輝度画像）の情報を撮像装置１０から取得し（ステップＳＴ１１）、これを時系列で画像情報記憶部２２に一時記憶させる（ステップＳＴ１２）。また、本変形例では、実施例と同じように、その撮像画像（輝度画像）に基づいて距離画像を生成する（ステップＳＴ１３）。
【００７８】
本変形例においては、消失点検出部３０が推定対象画像上の消失点を検出し（ステップＳＴ１４）、かつ、領域設定部３１が推定対象画像を複数の領域に分割する（ステップＳＴ１５）。
【００７９】
探索画像設定部２４は、その領域に対応付ける探索画像を領域毎に設定する（ステップＳＴ１６）。
【００８０】
注目点動き推定部２５は、推定対象画像の各画素の中から注目点を設定し（ステップＳＴ１７）、その注目点が含まれた領域に対応付けられた探索画像を画像情報記憶部２２の撮像画像の中から読み込んで、その注目点の２次元の動きを推定する（ステップＳＴ１８）。
【００８１】
注目点動き推定部２５は、推定対象画像上で動きの推定対象となる全ての注目点（つまり推定対象画像の全画素から前述した対応付け情報が無いものを除いた画素）の動きの推定を終えたのか否かを判定する（ステップＳＴ１９）。注目点動き推定部２５は、推定対象となる全ての注目点の動きの推定が済んでいない場合、ステップＳＴ１７に戻り、別の注目点に対する動きの推定を行う。そして、推定対象となる全ての注目点の動きの推定を終えた場合、３次元運動推定部２６は、その各注目点について、その奥行距離情報と２次元の動きの推定結果に基づき３次元運動量を推定する（ステップＳＴ２０）。その際、この３次元運動推定部２６は、その３次元運動量を領域毎に平滑化する。
【００８２】
撮像対象検出部２７は、その各注目点の奥行距離情報と当該各注目点の３次元運動量の推定結果とに基づいて、推定対象画像上で撮像対象毎の区分けを行い、この推定対象画像上の各撮像対象を検出する（ステップＳＴ２１）。画像処理ＥＣＵ１２０においては、その各撮像対象の自車両に対する位置と相対速度の情報を後段の制御システムに出力する（ステップＳＴ２２）。
【００８３】
このように、本変形例の動き推定装置は、推定対象画像を所定条件の下で複数に分割し、その領域毎に探索画像を適応的に設定する。このため、この動き推定装置は、撮像間隔の短い撮像画像間において見かけ上の動きの小さい遠方領域の撮像対象に関しても、その動きを精度良く推定することができる。また、この動き推定装置は、推定した３次元運動量を領域毎に平滑化するので、動きの推定精度の分散を小さくすることができる。また、この動き推定装置は、そのような平滑化によって、奥行距離情報に基づいて動きを直接推定できなかった画素についても、その周辺の画素の情報から動きを推定することができるので、動きが推定できない画素の数量を減らし、領域内で密度の高い動きの推定結果を得ることができる。また、この動き推定装置は、実施例のように画素単位で探索画像を切り替えていくものと比較して、同一領域内の場合、その領域内の各画素の動きを推定するに際して同じ探索画像を用いればよいので、演算処理時間や演算コストの低減が可能になる。
【符号の説明】
【００８４】
１，２  物体検出システム
１０  撮像装置
２０，１２０  画像処理ＥＣＵ
２１  画像情報取得部
２２  画像情報記憶部
２３  距離情報生成部
２４  探索画像設定部
２５  注目点動き推定部
２６  ３次元運動推定部
２７  撮像対象検出部
２８  道路領域認識部
２９  路側領域認識部
３０  消失点検出部
３１  領域設定部
【図１】
2016004446.tif 000009
【図２】
2016004446.tif 000010
【図３】
2016004446.tif 000011
【図４】
2016004446.tif 000012
【図５】
2016004446.tif 000013
【図６】
2016004446.tif 000014
【図７】
2016004446.tif 000015
【図８】
2016004446.tif 000016