(57)【要約】【課題】撮像画像中の対象物の追跡をより確実に行うことを可能にする。【解決手段】テンプレートマッチングが成功して先行車両の追跡が継続されるごとに、新規追跡画像を重ねて合成していくことで新たに合成画像を生成していくとともに、新たに合成画像を生成する場合には、過去合成画像に追跡の継続回数に応じた重みを付けながら、新規追跡画像を重ねてさらに合成していく画像重畳合成部２５と、画像重畳合成部２５で生成された合成画像に対してエッジ検出を行って、先行車両の端部の位置を決定する車両端決定部２７と、車両端決定部２７で決定した端部の位置をもとに、テンプレートを更新するテンプレート更新部２８とを備え、テンプレートを更新した場合は、更新後のテンプレートとのテンプレートマッチングを繰り返すことで先行車両の追跡を行う。【選択図】図２
2012208887.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、
車両の周辺を撮像する撮像装置から撮像画像を取得する撮像画像取得手段と、
前記撮像画像取得手段で取得した撮像画像から対象移動体を含む領域を抽出してテンプレートを生成するテンプレート生成手段とを備え、
前記テンプレート生成手段で生成したテンプレートと前記撮像画像取得手段で逐次取得する撮像画像とのテンプレートマッチングを繰り返すことで前記撮像画像中の前記対象移動体の追跡を行う対象物追跡装置であって、
前記テンプレートとのテンプレートマッチングが成功して前記対象移動体の追跡が継続されるごとに、テンプレートマッチングが成功した撮像画像の前記テンプレートとのマッチング領域を重ねて合成していくことで新たに合成画像を生成していくとともに、新たに合成画像を生成する場合には、前回得られた合成画像である過去合成画像に前記追跡の継続回数に応じた重みを付けながら、新たにテンプレートマッチングが成功した撮像画像のマッチング領域を重ねてさらに合成していく合成手段と、
前記合成手段で生成された合成画像に対してエッジ検出を行って、前記対象移動体の端部の位置を決定する端部決定手段と、
前記端部決定手段で決定した対象移動体の端部の位置をもとに、前記テンプレートを更新するテンプレート更新手段とを備え、
前記テンプレート更新手段でテンプレートを更新した場合は、更新後のテンプレートと前記撮像画像取得手段で前記撮像装置から逐次取得する撮像画像とのテンプレートマッチングを繰り返すことで前記撮像画像中の前記対象移動体の追跡を行うことを特徴とする対象物追跡装置。
【請求項２】
請求項１において、
前記合成手段は、前記テンプレートマッチングが成功した撮像画像における前記マッチング領域を一定のサイズに合わせる正規化を行い、当該正規化を行った画像である新規追跡画像を重ねていくことで前記合成画像を生成していくことを特徴とする対象物追跡装置。
【請求項３】
請求項２において、
前記合成手段は、前記テンプレートマッチングが成功した撮像画像における前記マッチング領域から外側に向けて所定の幅だけ拡張した範囲の画像を一定のサイズに合わせる正規化を行い、当該正規化を行った画像である新規追跡画像を重ねて合成していくことで前記合成画像を生成していくことを特徴とする対象物追跡装置。
【請求項４】
請求項２または３において、
前記合成手段は、
前記テンプレートとのテンプレートマッチングが成功して前記対象移動体の追跡が継続されるごとに、前記過去合成画像の各画素の成分の値に前記追跡の継続回数を積算した各画素の成分の値と前記新規追跡画像の各画素の成分の値とを、対応する位置のもの同士でそれぞれ足し合わせた後に前記追跡の継続回数に１回分加算した数で除算して得られる各画素の成分の値から画像を生成することで、新たな合成画像を生成することを特徴とする対象物追跡装置。
【請求項５】
請求項１〜４のいずれか１項において、
前記撮像画像取得手段で取得した撮像画像を処理して前記車両が走行する環境の明暗を判断する走行環境明暗判断手段と、
前記走行環境明暗判定手段の判断結果をもとに、前記車両が走行する環境の明暗の切り替わりを判断する明暗切り替わり判断手段とをさらに備え、
前記明暗切り替わり判断手段で前記車両が走行する環境の明暗の切り替わりを判断したことをもとに、前記テンプレート更新手段でのテンプレートの更新を行うことを特徴とする対象物追跡装置。
【請求項６】
車両の周囲を撮像する撮像装置と、
請求項１〜５のいずれか１項に記載の対象物追跡装置とを含むことを特徴とする対象物追跡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像中の対象物の追跡を行うための対象物追跡装置および対象物追跡システムに関するものである。
【背景技術】
【０００２】
従来から、車載カメラなどで撮像された画像データから検出対象となる対象物を検出し、追跡する技術が知られている。例えば特許文献１には、撮影された動画像中の車両領域を追跡し、車両の位置を検出する技術が開示されている。
【０００３】
詳しくは、特許文献１に開示の技術では、動画像の複数フレーム画像からパターン認識によって、車両が存在する車両領域をそれぞれ検出する。そして、複数フレーム画像の各車両領域における下端位置の画像の輝度値の平均値を求めることによって、車両の下端位置を決定して追跡用のテンプレートを設定する。また、基準フレーム画像から検出される車両領域と基準フレーム画像以降のフレーム画像から検出される車両領域とについては、並進運動およびそれにともなうスケールの変化を考慮したＤＰマッチング（つまり、動的計画法によるマッチング）を行うことによって、同じ時刻における位置やスケールに換算して下端位置の輝度値の平均値を求めている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２２９４４４号公報
【特許文献２】特許第４５１３８９８号
【非特許文献】
【０００５】
【非特許文献１】岡崎彰夫著、「ビギナーズブックス（１５）はじめての画像処理技術」、第６版、株式会社工業調査会、２００５年６月１０日、ｐ７３−７９、ｐ１１１−１１３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示の技術では、複数フレーム画像の各車両領域における下端位置のうちに、路面模様や検出対象以外の物体や影等を誤って下端位置としたものが含まれていた場合に、追跡用のテンプレートの下端位置も誤ったものになり、車両の追跡が失敗してしまう恐れがあった。
【０００７】
詳しくは、特許文献１に開示の技術では、各車両領域における下端位置の平均値を用いるので、車両領域における下端位置に誤ったものが含まれていた場合、誤った下端位置の値が平均値に影響を与えてしまうため、追跡用のテンプレートの下端位置も誤ったものになる。なお、特許文献１には、平均値を用いる以外に中央値を用いることについても述べられているが、中央値を用いる場合にも、誤った下端位置の値が中央値に影響を与えてしまうことになるため、追跡用のテンプレートの下端位置が誤ったものになる。
【０００８】
このような問題は、市街地の走行中や車両が込み入った状況であって、背景に検出対象の車両端と似た特徴を含んだ路面模様や構造物が多くなったり、検出対象の車両が画像中で他車両と重なることが多くなったりする場合に頻発すると考えられる。
【０００９】
また、特許文献１に開示の技術では、建物の影や高架下など照明条件の変化があった場合に、各フレーム画像の輝度値が大幅に変化し、各フレーム画像の車両領域同士のＤＰマッチングの精度が下がってしまう可能性が高い。そして、ＤＰマッチングの精度が下がってしまうことによって、誤った下端位置を含んで輝度値の平均値が求められ、追跡用のテンプレートの下端位置が誤ったものになってしまう可能性も高い。
【００１０】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、撮像画像中の対象物の追跡をより確実に行うことを可能にする対象物追跡装置および対象物追跡システムを提供することにある。
【課題を解決するための手段】
【００１１】
対象移動体の端部に似た画像特徴（以下、類似エッジ）が画像に含まれていたとしても、類似エッジの原因となる路面模様や対象移動体以外の構造物や影等は、撮像画像中の対象移動体に対して特定の位置に存在し続けることは殆どない。よって、逐次撮像される撮像画像中で類似エッジが対象移動体に対して特定の位置に存在し続けることは少ない。これに対して、請求項１の構成によれば、過去合成画像に追跡の継続回数に応じた重みを付けながら、新たにテンプレートマッチングが成功した撮像画像のマッチング領域である新規追跡画像を重ねて合成していくことで合成画像を生成するので、合成画像に類似エッジが出にくい。また、照明条件の変化によって新規追跡画像のコントラストが低下した場合であっても、合成画像を生成するのでこのコントラストの低下の影響を抑えることができる。
【００１２】
そして、上述したように類似エッジが出にくく、コントラストの低下の影響を抑えた合成画像に対してエッジ検出を行って対象移動体の端部の位置を決定するので、対象移動体の端部の位置を精度良く決定することができる。詳しくは、合成画像はテンプレートとのテンプレートマッチングが成功したマッチング領域を複数重ねて合成したものであるので、常にマッチング領域の同じ位置に存在している筈の対象移動体の端部が当然にエッジ検出される。一方、一部のマッチング領域にしか存在しない類似エッジはエッジ検出されない。特許文献１に開示の技術では、類似エッジの値も含んで平均値や中央値を求めているため類似エッジの影響を受けるが、請求項１の構成によれば、上述したように合成画像からエッジ検出するため類似エッジの影響を受けることは殆どない。
【００１３】
さらに、精度良く決定した対象移動体の端部の位置をもとにテンプレートを更新するので、対象移動体以外の背景を極力含まないようにテンプレートを更新し、テンプレートに類似エッジがより含まれにくくなるようにすることが可能になる。テンプレートに類似エッジを含まれにくくなると、テンプレートをもとにしたテンプレートマッチングによる対象移動体の追跡の失敗が生じにくくなるので、請求項１の構成によれば、撮像画像中の対象物の追跡をより確実に行うことが可能になる。
【００１４】
請求項２の構成においては、マッチング領域を一定のサイズに合わせる正規化を行って合成画像を生成していくことになる。撮像画像中での対象移動体との位置関係が長時間維持される移動体（以下、対象外移動体）が存在する場合は、その対象外移動体の端部が類似エッジとなる可能性がある。これに対して、請求項２の構成によれば、マッチング領域を一定のサイズに合わせる正規化を行って合成画像を生成していくので、テンプレートマッチングでマッチングする筈の対象移動体の合成画像中での幅や高さは常に一定に保たれることになり、対象移動体の領域以外の背景（つまり、対象外移動体）を区別しやすくなる。よって、対象外移動体が存在する撮像画像が一部に紛れ込んだ場合であっても、対象移動体の端部を精度良く決定することが可能になる。
【００１５】
請求項３の構成によれば、テンプレートマッチングでマッチングする筈の対象移動体の他に、対象移動体の領域以外の背景（つまり、対象外移動体）も含んだ合成画像を生成していくことになる。前述したように、合成画像の生成を繰り返していくと、対象移動体の画像は合成画像に残り続けていくものの、対象外移動体の画像は平均化されて合成画像に残りにくい。よって、請求項３の構成によれば、対象移動体の画像とそれ以外の画像との境界が区別しやすく、対象移動体の端部を精度良く決定しやすい。
【００１６】
合成画像を生成する場合には、請求項４のように、テンプレートとのテンプレートマッチングが成功して対象移動体の追跡が継続されるごとに、過去合成画像の各画素の成分の値に追跡の継続回数を積算した各画素の成分の値と新規追跡画像の各画素の成分の値とを、対応する位置のもの同士でそれぞれ足し合わせた後に追跡の継続回数に１回分加算した数で除算して得られる各画素の成分の値から画像を生成することで、新たな合成画像を生成する態様としてもよい。
【００１７】
請求項５の構成においては、明暗切り替わり判断手段で車両が走行する環境の明暗の切り替わりを判断したことをもとに、テンプレート更新手段でのテンプレートの更新を行うことになる。よって、車両が走行する環境の明暗が切り替わって、それまで使用していたテンプレート中の対象移動体のコントラストと明暗の切り替わり後の撮像画像中の対象移動体のコントラストとの違いが大きくなる場合に、現況に即したテンプレートに更新することが可能になる。
【００１８】
請求項６の対象物追跡システムによれば、車両の前方を撮像する撮像装置と、前記のいずれかの対象物追跡装置とを含むので、撮像画像中の対象物の追跡をより確実に行うことが可能になる。
【図面の簡単な説明】
【００１９】
【図１】対象物追跡システム１００の概略的な構成を示すブロック図である。
【図２】対象物追跡装置２の動作フローを示すフローチャートである。
【図３】撮像画像から先行車両を検出して初期テンプレートを生成するまでの処理を説明するための模式図である。
【図４】縦横各方向のエッジをヒストグラムで表した結果の一例を示す模式図である。
【図５】車両端決定処理で決定される先行車両の端部の位置の一例を示す模式図である。
【図６】過去に合成した合成画像に新規追跡画像を合成する処理を繰り返していく処理を説明するための模式図である。
【図７】（ａ）は、類似エッジとなる路面標示が含まれている新規追跡画像の例を示す図であって、（ｂ）は、画像重畳合成処理によって過去の合成画像に当該新規追跡画像を合成して得られた合成画像の例を示す図である。
【図８】（ａ）は、先行車両Ａの先を走る車両Ｂが撮像装置１の撮像範囲に入る場合の例を示す図であって、（ｂ）は、
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された対象物追跡システム１００の概略的な構成を示すブロック図である。図１に示す対象物追跡システム１００は、車両に搭載されるものであり、撮像装置１、および対象物追跡装置２を含んでいる。また、撮像装置１および対象物追跡装置２は、例えばＣＡＮ（controller areanetwork）などの通信プロトコルに準拠した車載ＬＡＮで各々接続されている。なお、対象物追跡システム１００を搭載している車両を以降では自車両と呼ぶ。
【００２１】
撮像装置１は、例えばカラーカメラであって、自車両の前方の画像を逐次撮像するものとする。撮像装置１では、レンズを含む光学系を通して撮像素子に入力された光学画像情報を撮像画像データに変換してカラー画像を得て、そのカラー画像を対象物追跡装置２へ出力する。以降では、このカラー画像を撮像画像と呼ぶものとする。撮像素子は撮像対象の光学画像を画像データに変換する素子であり、ＣＣＤ（Charge Coupled Device）等が使用される。
【００２２】
なお、撮像装置１としてモノクロカメラを用い、グレースケールの画像を得て対象物追跡装置２へ出力する構成としてもよい。また、撮像装置１は自車両の周辺を撮像するものであればよく、例えば自車両の後方の画像を逐次撮像するものであってもよい。さらに、カメラを複数台用いることで、自車両の進行方向に合わせて前方もしくは後方の画像を逐次撮像するものであってもよい。自車両の進行方向に合わせて前方もしくは後方の画像を撮像する場合には、例えばシフトポジションセンサの信号をもとにシフトポジションが後退位置「Ｒ」である場合には後方の画像を撮像し、シフトポジションが後退位置以外である場合には前方の画像を撮像するなどの構成とすればよい。
【００２３】
対象物追跡装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等よりなるマイクロコンピュータを主体として構成され、撮像装置１から入力される撮像画像をもとに、ＲＯＭに記憶された各種の制御プログラムを実行することで対象物とする移動体（以下、対象移動体）の検出および追跡に関する処理を実行する。対象物追跡装置２は、図１に示すように機能ブロックとして、撮像画像取得部２１、車両検出部２２、初期テンプレート生成部２３、車両追跡部２４、画像重畳合成部２５、エッジ検出部２６、車両端決定部２７、テンプレート更新部２８、および明暗判断部２９を備えている。本実施形態では、対象移動体を自車両の先行車両とした場合を例に挙げて以降の説明を行う。
【００２４】
続いて、図２を用いて、対象物追跡装置２の動作フローについての説明を行う。図２は、対象物追跡装置２の動作フローを示すフローチャートである。本フローは、対象物追跡装置２の電源がオンになって、撮像装置１からの撮像画像データが入力されたときに開始される。また、本フローは、対象物追跡装置２の電源がオフになったときに終了する。
【００２５】
まず、ステップＳ１では、撮像装置１から入力される撮像画像を撮像画像取得部２１が取得し、ステップＳ２に移る。よって、撮像画像取得部２１が請求項の撮像画像取得手段に相当する。ステップＳ２では、車両検出部２２が車両検出処理を行ってステップＳ３に移る。車両検出処理では、撮像装置１から入力される撮像画像から先行車両を検出する。撮像画像からの先行車両の検出は、特許文献２にも開示されているように、例えば画像認識用の辞書を用いて画像中の物体を認識する公知の画像認識によって行う構成とすればよい。この場合、車両後部の画像について機械学習した辞書（具体的には、矩形の輝度差を特徴とするhaar-like特徴による、cascade of boostedクラス判別器）を用いて、撮像画像からの先行車両の検出を行うようにすればよい。
【００２６】
ステップＳ３では、車両検出処理で先行車両を検出した場合（ステップＳ３でＹＥＳ）には、ステップＳ４に移る。また、車両検出処理で先行車両を検出しなかった場合（ステップＳ３でＮＯ）には、ステップＳ１に戻ってフローを繰り返す。
【００２７】
ステップＳ４では、初期テンプレート生成部２３が初期テンプレート生成処理を行ってステップＳ５に移る。よって、初期テンプレート生成部２３が請求項のテンプレート生成手段に相当する。初期テンプレート生成処理では、図３で模式的に示すように、車両検出処理で先行車両を検出した撮像画像（図３中のＣ）から、当該先行車両を含む適当な矩形領域（図中の破線で示す枠Ｄ）を抽出する。そして、抽出した矩形領域に一定のマージンを加えた領域（図中の実線で示す枠Ｅ）を所定のサイズに正規化したもの（図中のＦ）を初期テンプレートとして生成する。ここで言うところの所定のサイズとは任意に設定可能なサイズである。また、ここで言うところの一定のマージンとは、撮像画像における当該矩形領域から外側に向けて所定の幅を持った領域であるものとし、その幅は任意に設定可能なものとする。なお、図３は、撮像画像から先行車両を検出して初期テンプレートを生成するまでの処理を説明するための模式図である。
【００２８】
図２に戻って、ステップＳ５では、タイマカウント処理を実行し、ステップＳ６に移る。タイマカウント処理では、タイマのカウントを初期化し、タイマのカウントを開始する。タイマは、例えば主制御部１６に設けられた図示しないタイマ回路等を用いればよい。
【００２９】
ステップＳ６では、撮像装置１から入力される撮像画像を撮像画像取得部２１が取得し、ステップＳ７に移る。ステップＳ６で撮像画像を取得するタイミングは、初期テンプレートを生成するための撮像画像をステップＳ１で取得したときから例えば１秒程度遅れたタイミングとする。
【００３０】
ステップＳ７では、車両追跡部２４が追跡処理を行ってステップＳ８に移る。追跡処理では、後述のテンプレート更新処理によってテンプレートが更新されていた場合には、更新されたテンプレートとステップＳ６で取得した撮像画像とのテンプレートマッチングを行う。また、後述のテンプレート更新処理が行われていない場合には、初期テンプレート生成部２３で生成した初期テンプレートとステップＳ６で取得した撮像画像とのテンプレートマッチングを行う。テンプレートマッチングについては公知の方法を用いて行うものとする。例えば、非特許文献１の１１１頁〜１１３頁に開示されているテンプレートマッチングと同様にして行うものとする。
【００３１】
そして、テンプレートとのテンプレートマッチングの結果、テンプレートの先行車両の像とマッチングする像がステップＳ６で取得した撮像画像中に含まれていた（つまり、テンプレートとのテンプレートマッチングが成功した）場合に、先行車両の追跡が成功したものとし、ステップＳ６で取得した撮像画像中のテンプレートとマッチングした矩形領域を抽出する。なお、例えば追跡が所定回数以上連続して失敗した場合には、先行車両が存在しなくなったものとしてステップＳ１に戻りフローを繰り返す構成とすればよい。
【００３２】
ステップＳ８では、画像重畳合成部２５が画像重畳合成処理を行ってステップＳ９に移る。画像重畳合成処理では、同一のテンプレートを用いての追跡回数が１回の場合には、撮像画像におけるステップＳ７で抽出した矩形領域に一定のマージンを加えた領域を前述の所定のサイズ（つまり、テンプレートと同じサイズ）に合わせる正規化を行う。そして、上記正規化を行った画像（以下、新規追跡画像）を合成用の画像として、対象物追跡装置２のＲＡＭやＥＥＰＲＯＭ等の電気的に書き換えが可能なメモリの合成画像の格納用領域に格納する。
【００３３】
また、同一のテンプレートを用いての追跡回数が２回以上の場合であって、合成画像の格納用領域に既に合成用の画像（過去の新規追跡画像もしくは後述の合成画像）が格納されていた場合には、合成画像の格納用領域に格納されている合成用画像に、新規追跡画像を重ねて合成し、合成画像を生成し、この合成画像を以降の合成用の画像とする。なお、合成画像の格納用領域に既に格納されている合成画像が請求項の過去合成画像に相当する。
【００３４】
詳しくは、合成用の画像の各画素の成分の値に当該追跡回数を積算する。続いて、積算して得られた各画素の成分の値と、新規追跡画像の各画素の成分の値とを、対応する位置のもの同士（テンプレートマッチングでマッチングする位置のもの同士）でそれぞれ足し合わせる。そして、足し合わせて得られた各画素の成分の値を当該追跡回数＋１の値で除算して得られる各画素の成分の値から画像を生成する。ここで言うところの各画素の成分の値とは、各画素のＲＧＢ値といった画素値や輝度値等である。なお、グレースケールの画像を用いる場合は例えば輝度値である。
【００３５】
そして、それまで格納されていた合成用の画像に代わり、生成した合成画像を合成画像の格納用領域に格納する。つまり、合成画像の格納用領域に既に格納されている合成用の画像に、同一のテンプレートを用いての追跡の継続回数に応じた重みを付けながら、新規追跡画像を重ねてさらに合成していくことになる。よって、画像重畳合成部２５が請求項の合成手段に相当する。
【００３６】
なお、同一のテンプレートを用いての追跡回数が１回の場合に、そのテンプレートに一定のマージンを加えた領域の画像に、ステップＳ７で抽出した新規追跡画像を重ねて合成し、合成した合成画像を合成用の画像として合成画像の格納用領域に格納する構成としてもよい。
【００３７】
詳しくは、テンプレートの画像の各画素の成分の値と新規追跡画像の各画素の成分の値とを、対応する位置のもの同士（テンプレートマッチングでマッチングする位置のもの同士）でそれぞれ足し合わせる。そして、足し合わせて得られた各画素の成分の値を当該追跡回数＋１の値（つまり２）で除算して得られる各画素の成分の値から画像を生成する。そして、生成した合成画像は、対象物追跡装置２のＲＡＭやＥＥＰＲＯＭ等の電気的に書き換えが可能なメモリの合成画像の格納用領域に格納する。
【００３８】
ステップＳ９では、タイマのカウントを開始してから所定時間以上となった場合（ステップＳ９でＹＥＳ）には、ステップＳ１０に移る。タイマのカウントを開始してから所定時間以上となったかは、タイマのカウントが所定時間分のカウント値以上となっているかによって判定する構成とすればよい。なお、ここで言うところの所定値とは任意に設定可能な値であって、例えば数十秒〜数分に相当するカウント値とすればよい。また、タイマのカウントを開始してから所定時間以上となっていない場合（ステップＳ９でＮＯ）には、ステップＳ６に戻ってフローを繰り返す。
【００３９】
タイマのカウントを開始してから所定時間以上となるまでは、テンプレートとのテンプレートマッチングが成功して先行車両の追跡が継続されるごとに、過去に合成した合成画像に新規追跡画像を合成する処理を繰り返していくことで、新たに合成画像を生成し続けていく。
【００４０】
ステップＳ１０では、エッジ検出部２６がエッジ検出処理を行ってステップＳ１１に移る。エッジ検出処理では、合成画像の格納用領域に格納されている合成画像に対してエッジ検出を行う。エッジ検出については公知の方法を用いて行うものとする。例えば、非特許文献１の７３頁〜７９頁に開示されているエッジ検出と同様にして行うものとする。そして、エッジ検出で検出したエッジの強度をヒストグラムで表す。
【００４１】
詳しくは、縦方向のエッジ（以下、縦エッジ）の強度と横方向のエッジ（以下、横エッジ）の強度との両方を、図４に示すようにヒストグラムで表す。例えばエッジの強度とは、そのエッジでの輝度差の大きさであるものとする。図５は、縦横各方向のエッジをヒストグラムで表した結果の一例を示す模式図である。図５中の白線の枠は先行車両の端部の位置を示している。図４のＧが合成画像の下半分の縦エッジについてのヒストグラムを示しており、Ｈが横エッジについてのヒストグラムを示している。
【００４２】
なお、本実施形態では、タイマのカウントを開始してから所定時間以上となった場合に、合成画像の格納用領域に格納されている合成画像に対してエッジ検出を行う構成を示したが、必ずしもこれに限らない。例えば、同一のテンプレートを用いての追跡回数が所定回数を超えた場合や当該追跡を行って合成した合成画像の合成回数が所定回数を超えた場合に、合成画像の格納用領域に格納されている合成画像に対してエッジ検出を行う構成としてもよい。
【００４３】
図２に戻って、ステップＳ１１では、エッジ検出処理で所定の強度以上の縦エッジおよび横エッジが検出された場合には、エッジ検出成功（ステップＳ１１でＹＥＳ）として、ステップＳ１２に移る。また、エッジ検出処理で所定の強度以上の縦エッジおよび横エッジが検出されなかった場合には、エッジ検出失敗（ステップＳ１１でＮＯ）として、ステップＳ５に戻ってフローを繰り返す。
【００４４】
ステップＳ１２では、車両端決定部２７が車両端決定処理を行ってステップＳ１３に移る。車両端決定処理では、横エッジからの先行車両の下端位置の決定については、合成画像の下側から上側に向かって、強度が最初に所定の閾値を越えるエッジを探索する。そして、最初に所定の閾値を越えたエッジ位置を先行車両の下端位置（図６のＩ参照）と決定する。なお、道路面は平均化されて不要な横エッジはないと考え、合成画像の下側から上側に向かって探索したときの最初のエッジのエッジ位置を先行車両の下端位置と決定する構成としてもよい。ここで言うところの所定の閾値とは、ノイズの値よりも大きい値となるように設定する任意の値である。
【００４５】
また、先行車両の上端位置の決定については、合成画像の上側から下側に向かって、最初に所定の閾値を越えるエッジを探索し、強度が最初に所定の閾値を越えたエッジ位置を先行車両の上端位置と決定する構成とすればよい。また、先行車両の下端位置を決定した後、その下端位置から上方向に所定の距離離れた位置を上端位置と決定する構成としてもよい。ここで言うところの所定の距離とは、一般的な車両の高さを考慮して設定する任意の値である。
【００４６】
さらに、先行車両の左右端位置の決定については、合成画像の外側から内側に向かって、強度が最初に所定の閾値を越えるエッジを探索する。そして、最初に所定の閾値を越えたエッジ位置を先行車両のそれぞれ左端位置（図５のＪ参照）、右端位置（図５のＫ参照）と決定する。よって、エッジ検出部２６および車両端決定部２７が請求項の端部決定手段に相当する。
【００４７】
ステップＳ１３では、テンプレート更新部２８がテンプレート更新処理を行う。テンプレート更新処理では、ステップＳ１２の車両端決定処理で決定した先行車両の端部（上下左右の端部）の位置をもとに、合成画像の格納用領域に格納されている合成画像における当該端部で囲まれる領域にエッジ検出用のマージンを加えた範囲を抽出する。そして、抽出した範囲の画像を新たなテンプレートとして更新して、ステップＳ５に戻ってフローを繰り返す。
【００４８】
ここで、過去に合成した合成画像に新規追跡画像を合成していく処理の一連の流れについて図６を用いて説明を行う。図６は、過去に合成した合成画像に新規追跡画像を合成する処理を繰り返していく処理を説明するための模式図である。図６中の破線で示す枠はテンプレートとマッチングした矩形領域を示しており、実線で示す枠は車両端決定処理で決定される先行車両の端部を示している。
【００４９】
詳しくは、まず初期テンプレート生成処理によって、前述したように車両検出処理で先行車両を検出した撮像画像から、当該先行車両を含む適当な矩形領域を抽出し、抽出した矩形領域に一定のマージンを加えた領域を所定のサイズに正規化して初期テンプレートを生成する（図６中の初期検出時）。続いて、新たに得られた撮像画像と初期テンプレートとのテンプレートマッチングが成功した場合に、マッチングした矩形領域（図６中の追跡画像結果）に一定のマージンを加えた領域の画像を合成画像の格納用領域に格納する（図６中の追跡１回目）。
【００５０】
さらに新たに得られた撮像画像と初期テンプレートとのテンプレートマッチングが成功した場合に、マッチングした矩形領域に一定のマージンを加えた領域の画像を、合成画像の格納用領域に格納済みの画像に重ねて合成する画像重畳合成処理を行い、得られた合成画像を合成画像の格納用領域に格納する。以降は、前述のタイマのカウントを開始してから所定時間以上となるまでは、初期テンプレートとのテンプレートマッチングが成功するごとに、マッチングした矩形領域に一定のマージンを加えた領域の画像を、追跡の継続回数に応じた重みを付けながら過去の合成画像に重ねて合成する画像重畳合成処理を繰り返す。
【００５１】
その後、前述のタイマのカウントを開始してから所定時間以上となったところで、合成画像の格納用領域に格納されている合成画像についてエッジ検出処理および車両端決定処理を行って、先行車両の端部の位置を決定する。そして、テンプレート更新処理を行って、決定した先行車両の端部の位置をもとにテンプレートを更新する（図６中のテンプレート更新時）。なお、テンプレートの更新時には、それまでの合成画像を一旦リセットする。テンプレートを更新した後は、更新後のテンプレートを初期テンプレートと同様に扱って、前述した処理を繰り返す。
【００５２】
なお、本実施形態では、合成画像から抽出した画像を新たなテンプレートとして更新する構成を示したが、必ずしもこれに限らない。例えば、最新の新規追跡画像から抽出した画像を新たなテンプレートとして更新する構成としてもよい。また、合成画像と最新の新規追跡画像とのうち、テンプレートとして信頼性のより高い画像を選択して、選択した側か抽出した画像を新たなテンプレートとして更新する構成としてもよい。よって、テンプレート更新部２８が請求項のテンプレート更新手段に相当する。
【００５３】
また、合成画像と最新の新規追跡画像とのうち、テンプレートとして信頼性のより高い画像を選択する場合には、合成画像と最新の新規追跡画像とのそれぞれに対してエッジ検出を行い、例えば下端位置および左右端位置のエッジの連続性が高い（つまり、エッジの数が多い）ものを選択する構成とすればよい。
【００５４】
以上の構成によれば、合成画像に追跡の継続回数に応じた重みを付けながら、新たにテンプレートマッチングが成功した新規追跡画像を重ねて合成していくことで新たな合成画像を生成するので、先行車両の端部に似た画像特徴（つまり、類似エッジ）が含まれる新規追跡画像が存在した場合にも、合成画像には類似エッジが出にくい。
【００５５】
ここで、本発明における作用効果について、具体的に図７（ａ）および図７（ｂ）を用いて説明を行う。図７（ａ）は、類似エッジとなる路面標示が含まれている新規追跡画像の例を示す図である。図７（ｂ）は、画像重畳合成処理によって過去の合成画像に図７（ａ）の新規追跡画像を合成して得られた合成画像の例を示す図である。図７（ａ）および図７（ｂ）中の点線で表した楕円が新規追跡画像に類似エッジが含まれていた領域を示している。また、図７（ｂ）中の白線の枠は先行車両の端部の位置を示している。
【００５６】
図７（ａ）に示すように類似エッジが新規追跡画像に含まれていたとしても、類似エッジの原因となる路面標示は、撮像画像中の対象移動体に対して特定の位置に存在し続けることはない。よって、合成画像に追跡の継続回数に応じた重みを付けながら新規追跡画像を重ねて合成すると、合成画像に対しての新規追跡画像の影響は小さくなり、図７（ｂ）に示すように類似エッジが出にくい。
【００５７】
また、本実施形態の構成によれば、照明条件の変化によって新規追跡画像のコントラストが低下した場合であっても、合成画像を生成するので、このコントラストの低下の影響を抑えることができる。
【００５８】
そして、上述したように類似エッジが出にくく、コントラストの低下の影響を抑えた合成画像に対してエッジ検出を行って先行車両の端部の位置を決定するので、先行車両の端部の位置を精度良く決定することができる。詳しくは、合成画像はテンプレートとのテンプレートマッチングが成功したマッチング領域を複数重ねて合成したものであるので、常にマッチング領域の同じ位置に存在している筈の先行車両の端部が当然にエッジ検出される。一方、一部のマッチング領域にしか存在しない類似エッジはエッジ検出されない。特許文献１に開示の技術では、類似エッジの値も含んで平均値や中央値を求めているため類似エッジの影響を受けるが、本実施形態の構成によれば、上述したように合成画像からエッジ検出するため類似エッジの影響を受けることは殆どない。
【００５９】
さらに、精度良く決定した先行車両の端部の位置をもとにテンプレートを更新するので、先行車両以外の背景を極力含まないようにテンプレートを更新し、テンプレートに類似エッジがより含まれにくくなるようにすることが可能になる。テンプレートに類似エッジを含まれにくくなると、テンプレートをもとにしたテンプレートマッチングによる先行車両の追跡の失敗が生じにくくなるので、撮像画像中の先行車両の追跡をより確実に行うことが可能になる。
【００６０】
続いて、本発明における更なる作用効果について、具体的に図８（ａ）および図８（ｂ）を用いて説明を行う。図８（ａ）は、先行車両Ａの先を走る車両Ｂが撮像装置１の撮像範囲に入る場合の例を示す図である。図８（ｂ）は、図８（ａ）の先行車両Ａと車両Ｂとが含まれた撮像画像の例を示す図である。図８（ｂ）の白実線の円Ａに囲まれた車両の画像が先行車両Ａの画像を示しており、白破線の円Ｂで囲まれた車両の画像が車両Ｂの画像を示している。
【００６１】
先行車両Ａと車両Ｂとがほぼ同じ速度で走行している場合には、図８（ｂ）に示すような先行車両Ａと車両Ｂとの撮像画像中での位置関係が長時間維持されることになり、合成画像においても車両Ｂの端部が類似エッジとして表れてくることが考えられる。しかしながら、本実施形態の構成によれば、先行車両以外の背景を極力含まないように更新したテンプレートにマッチングしたマッチング領域を常に一定のサイズに正規化するので、合成画像中での先行車両の高さや幅は常に一定に保たれることになる。よって、先行車両Ａの端部は、過去に決定した先行車両Ａの端部の位置とほぼ同じ位置になり、このことをもとに先行車両Ａの端部と車両Ｂの端部とを容易に区別することができる。従って、対象外の移動体が存在する新規追跡画像が一部に紛れ込んだ場合であっても、先行車両の端部を精度良く決定することが可能になる。
【００６２】
また、対象物追跡装置２では、自車両が走行する環境の明暗の切り替わりに応じて、それまで合成しておいた合成画像をもとにテンプレートを更新する構成としてもよい。この場合には、撮像画像取得部２１で取得した撮像画像上の所定の範囲内の輝度値を算出し、予め設定された閾値と比較することで走行する環境の明暗を明暗判断部２９で判断する。詳しくは、輝度値が閾値以上であった場合に明るい走行環境と判断する一方、輝度値が閾値以上でなかった場合に暗い走行環境と判断する。
【００６３】
なお、撮像画像がモノクロ画像である場合には、平均階調が閾値以下である場合に明るい走行環境と判断する一方、平均階調が閾値以下でない場合に暗い走行環境と判断する構成としてもよい。また、所定の範囲内とは、例えばテンプレートマッチングでテンプレートとマッチングした範囲等とすればよい。
【００６４】
続いて、撮像装置１から逐次取得される撮像画像をもとに、前述した走行する環境の明暗の判断を逐次行い。判断結果が切り替わった場合に、走行環境の明暗の切り替わりを明暗判断部２９が判断する。よって、明暗判断部２９が請求項の走行環境明暗判定手段および明暗切り替わり判断手段に相当する。なお、上記判断結果が切り替わる場合とは、明るい走行環境との判断結果から暗い走行環境との判断結果に切り替わる場合と暗い走行環境との判断結果から明るい走行環境との判断結果に切り替わる場合とがある。
【００６５】
明暗判断部２９で走行環境の明暗の切り替わりを判断した場合には、エッジ検出部２６でエッジ検出処理を行う。そして、エッジ検出成功となった場合に、テンプレート更新部２８がテンプレート更新処理を行ってテンプレートの更新を行う。エッジ検出失敗となった場合には、画像重畳合成処理を繰り返し、エッジ検出成功となったところでテンプレートの更新を行う。
【００６６】
以上の構成によれば、車両が走行する環境の明暗が切り替わって、それまで使用していたテンプレート中の走行車両のコントラストと明暗の切り替わり後の撮像画像中の走行車両のコントラストとの違いが大きくなる場合に、現況に即したテンプレートに更新することが可能になる。
【００６７】
本実施形態では、自車両の先行車両の追跡を行う構成についての説明を行ったが必ずしもこれに限らない。撮像装置１の撮像方向を自車両の後方とした場合には追従車両の追跡を行う構成とすればよいし、撮像装置１の撮像方向を自車両の側方とした場合には並走車両の追跡を行う構成とすればよい。また、自車両の周囲の歩行者等の車両以外の移動体を追跡する構成としてもよい。
【００６８】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００６９】
１  撮像装置、２  対象物追跡装置、２１  撮像画像取得部（撮像画像取得手段）、２２  車両検出部、２３  初期テンプレート生成部（テンプレート生成手段）、２４  車両追跡部、２５  画像重畳合成部（合成手段）、２６  エッジ検出部（端部決定手段）、２７  車両端決定部（端部決定手段）、２８  テンプレート更新部（テンプレート更新手段）、２９  明暗判断部（走行環境明暗判定手段、明暗切り替わり判断手段）、１００  対象物追跡システム
【図１】
2012208887.tif 000003
【図２】
2012208887.tif 000004
【図３】
2012208887.tif 000005
【図４】
2012208887.tif 000006
【図５】
2012208887.tif 000007
【図６】
2012208887.tif 000008
【図７】
2012208887.tif 000009
【図８】
2012208887.tif 000010