(57)【要約】  【課題】異なる時刻に撮像された２つの画像に基づいて対象物の移動量を検出する際の演算量を低減しつつ、対象物の移動量が小さい場合でも、検出精度を低減させることなく移動量を検出する。  【解決手段】追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。移動量検出部６０は、画素結合部５０で画素結合が行われた領域を１単位として、テンプレートと新規画像との相関値を求めることにより、追跡可能領域の移動量を検出する。結合量制御部７０は、移動量検出部６０で演算された移動量が所定のしきい値以下の場合には、画素結合量を小さくし、移動量検出部６０は、小さくした画素結合量にて画素結合された領域を１単位として、再度、追跡可能領域の移動量を検出する。  【選択図】図１
2006050489.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮像された画像の中で、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
前記撮像手段により撮像された画像を構成する画素のうち、複数の画素を結合する画素結合手段と、
前記画素結合手段により結合された画素の大きさを１単位として、前記撮像手段によって第１のタイミングで撮像された第１の画像と、前記第１のタイミングより後の第２のタイミングで撮像された第２の画像との間の相関を求めることにより、前記追跡可能領域検出手段により検出された追跡可能領域の移動量を前記１単位以下の精度で検出する移動量検出手段と、
前記移動量検出手段により検出された移動量の大きさに基づいて、前記画素結合手段の画素結合量を変更する結合量変更手段とを備え、
前記移動量検出手段は、前記結合量変更手段によって変更された画素結合量で結合された画素の大きさを１単位として、再度、前記追跡可能領域の移動量を検出することを特徴とする移動体追跡装置。
【請求項２】
請求項１に記載の移動体追跡装置において、
前記移動量検出手段は、前記追跡可能領域の周囲１単位の範囲で、前記第１の画像と前記第２の画像との間の相関値を演算するとともに、演算した相関値を用いて補間演算を行うことにより、前記追跡可能領域の移動量を前記１単位以下の精度で検出することを特徴とする移動体追跡装置。
【請求項３】
請求項２に記載の移動体追跡装置において、
前記結合量変更手段は、前記移動量検出手段により検出された移動量が予め設定されたしきい値以下の場合には、前記画素結合量を小さくすることを特徴とする移動体追跡装置。
【請求項４】
請求項３に記載の移動体追跡装置において、
前記移動量検出手段によって再度検出された移動量が前記しきい値以下である場合には、前記結合量変更手段により画素結合量を小さくする処理、および、前記移動量検出手段により、変更された結合量にて結合された画素の大きさを１単位として、前記追跡可能領域の移動量を求める処理を、結合する画素がなくなるまで繰り返し行うことを特徴とする移動体追跡装置。
【請求項５】
請求項３または４に記載の移動体追跡装置において、
前記しきい値は、画素結合量に基づいて決定される値であって、前記結合された画素の大きさより小さい値であることを特徴とする移動体追跡装置。
【請求項６】
請求項１〜５のいずれかに記載の移動体追跡装置において、
前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする移動体領域検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に基づいて、移動体を追跡する装置に関する。
【背景技術】
【０００２】
従来、撮像装置によって得られる画像から、予め設定された指定領域を切り出してテンプレートを作成し、このテンプレートと、現在の画像との相関を求めることによって、追跡対象の移動先や移動量を検出する装置が知られている（特許文献１参照）。
【０００３】
【特許文献１】特開平１０−１２３２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、追跡対象の移動量が大きい場合には、テンプレートとの相関を求める領域として、広い範囲の領域を対象としなければならず、相関値を演算する演算量が多くなるという問題があった。
【課題を解決するための手段】
【０００５】
本発明による移動体追跡装置は、移動体を追跡可能な追跡可能領域を検出し、複数の画素を結合した領域を１単位として、第１の画像および第２の画像との間の相関を求めることにより、追跡可能領域の移動量を１単位以下の精度で検出するとともに、検出した移動量に基づいて、画素結合量を変更することを特徴とする。
【発明の効果】
【０００６】
本発明による移動体追跡装置によれば、複数の画素を結合して得られた領域を１単位として、追跡可能領域の移動量を検出するので、移動量を検出する際の演算量を低減することができ、また、求めた追跡可能領域の移動量に基づいて画素結合量を変更するので、追跡可能領域の移動量が小さい場合でも、検出精度を低減させることなく、追跡可能領域の移動量を検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本発明による移動体追跡装置の一実施の形態の構成を示す図である。一実施の形態における移動体追跡装置は、撮像部１０と、画像記憶部２０と、追跡可能領域検出部３０と、追跡領域情報記憶部４０と、画素結合部５０と、移動量検出部６０と、結合量制御部７０とを備える。
【０００８】
撮像部１０は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部１０により撮像された画像は、画像記憶部２０に記憶される。この時、画像記憶部２０には、各画素の輝度値データが記憶される。
【０００９】
追跡可能領域検出部３０は、撮像部１０により撮像され、画像記憶部２０に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向（白線が伸びている方向）に対象（移動体）が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。
【００１０】
追跡可能領域検出部３０は、画像記憶部２０に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ（ｄＩ／ｄｘ，ｄＩ／ｄｙ：Ｉは画素値）をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの２乗和がしきい値ｔｈ１以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。
【００１１】
次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図２は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値ｔｈ２より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値ｔｈ２以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部３０は、求めた分散値が所定のしきい値ｔｈ２以上の領域を追跡可能領域と判断する。図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図３に示す。
【００１２】
追跡可能領域検出部３０は、撮像部１０によって時間Δｔの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。追跡可能領域検出部３０により、追跡可能領域と判断された領域は、その領域の始点位置（例えば、左上隅）、画像サイズ、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部４０に記憶する。以下では、追跡領域情報記憶部４０に記憶された画像パターンをテンプレートと呼ぶ。
【００１３】
画素結合部５０は、後述する結合量制御部７０から指示される結合量の画素数によって、画素結合を行う。図４は、画素結合数が４である場合の画素結合方法を説明するための図であり、図２の領域Ａを拡大した図である。この場合、後述する移動量検出部６０によって、テンプレートと新規画像との間の相関値を求める際に、図４の斜線で示す４×４画素の大きさの領域を基準として演算が行われる。画素結合部５０は、斜線で示す領域内の１６個の画素の輝度値の平均値を計算し、計算した平均値を斜線で示す基準領域の輝度値とする。この輝度値の計算は、原画像およびテンプレートのそれぞれについて行われる。
【００１４】
図５は、画素結合数が２である場合の画素結合方法を説明するための図であり、図２の領域Ａを拡大した図である。この場合には、図５の斜線で示す２×２画素の大きさの領域が基準となり、斜線で示す領域内の４個の画素の輝度値の平均値を計算して、計算した平均値を基準領域の輝度値とする。この輝度値の計算も、原画像およびテンプレートのそれぞれについて行われる。
【００１５】
移動量検出部６０は、画素結合部５０によって複数の画素が結合された基準領域を１単位として、追跡可能領域の移動先および移動量を検出する。具体的には、まず、追跡可能領域の周囲１単位を探索領域に設定し、その探索領域内でテンプレート位置を１単位ずつ上下左右斜め方方向にずらしながら、新規画像との間の相関値を演算する。演算した相関値がしきい値ｔｈ３以上であり、かつ、最大となる領域を追跡可能領域の移動先として検出する。ただし、テンプレート位置は、基準領域の大きさである１単位で移動させる（ずらす）ので、移動先の位置も基準領域の大きさの１単位でしか得られないが、演算対象となる領域と周囲の領域との間の複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置（移動先）を１単位以下の精度で求める。求めた移動先に基づいて算出される追跡可能領域の移動量は、水平方向ｘ、垂直方向ｙの各方向成分として表される。図６は、各追跡可能領域の移動成分を矢印で表した図である。
【００１６】
結合量制御部７０は、画素結合部５０が画素結合を行う際の結合画素数を決定し、画素結合部５０に出力する。ここでは、結合画素数の初期値を８×８画素とし、移動量検出部６０で検出された追跡可能領域の移動量の大きさに基づいて、結合画素数を変更する。すなわち、移動量検出部６０で検出された移動量が所定のしきい値以下の場合に、結合画素数を１／２とする。ここでは、所定のしきい値を、設定されている基準領域の大きさ（１単位）の１／２とする。例えば、基準領域の大きさが８×８画素の場合には、しきい値の大きさは４画素となり、求めた移動量が４画素以下の場合には、結合画素数を１／２の４×４画素とする。
【００１７】
結合画素数が初期値の８×８画素の場合には、相関値を求める際のテンプレートをずらす量が８×８画素の大きさとなるので、撮像画像上における対象物の移動量が小さい場合には、対象物の移動量および移動先を正確に検出することができなくなる。従って、８×８画素の大きさの領域を基準として求めた移動量が所定のしきい値以下の場合には、結合画素数を１／２の４×４画素とすることにより、テンプレートをずらす量を小さくする。この状態で、再び、テンプレートをずらして新規画像との間の相関値を求めることによって、対象物の移動量を求め、求めた移動量がまだ所定のしきい値以下の場合には、結合画素数をさらに１／２の大きさの２×２画素とする。移動量が所定のしきい値以下であると判定される場合には、結合画素数を１／２とする処理を繰り返し行い、最終的に結合画素数が１×１の大きさ（未結合）になるまで、結合画素数の変更処理を行う。
【００１８】
このようにして、複数の画素を結合した基準領域の大きさを１単位として、テンプレートと新規画像との間の相関値を求めることにより、対象物の移動先および移動量を求め、求めた移動量が所定のしきい値（基準領域の大きさの１／２）以下の場合には、結合画素数を１／２の大きさに変更する。これにより、対象物の移動量が大きい場合には、複数の画素を結合した領域を１単位として相関値を演算するので、１画素単位で相関値を演算する場合に比べて、演算量を低減させることができ、対象物の移動量が小さい場合には、テンプレートをずらす量を小さくすることができるので、対象物の移動量および移動先を正確に検出することができる。
【００１９】
なお、結合画素数の初期値は、撮像間隔Δｔの間に、対象物が撮像画像上を移動する移動量によって決定される。この移動量は、自車両に対する対象物の相対速度、対象物までの距離、撮像部１０の画角などによって定まるので、移動体追跡装置を適用するシーンにおける対象物の画像上の移動量を実験等により複数求め、複数求めた移動量の最大値に基づいて、結合画素数の初期値を決定する。
【００２０】
図７は、一実施の形態における移動体検出装置によって行われる処理手順を示すフローチャートである。ステップＳ１０から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップＳ１０では、追跡領域情報記憶部４０に記憶されている追跡領域情報を初期化して、ステップＳ２０に進む。ステップＳ２０では、撮像部１０によって画像を撮像する。撮像された画像を画像記憶部２０に記憶すると、ステップＳ３０に進む。
【００２１】
ステップＳ３０では、追跡可能領域検出部３０によって、画像記憶部２０に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップＳ４０に進む。ステップＳ４０では、追跡可能領域の追跡処理の実施が、ステップＳ１０の処理を開始してから初めてであるか否かを判定する。追跡可能領域の追跡処理の実施が初めてであると判定すると、ステップＳ２０に戻って、撮像間隔Δｔにて次の画像の撮像を行い、初めてではないと判定すると、ステップＳ５０に進む。
【００２２】
ステップＳ５０において、結合量制御部７０は、画素結合数を初期値（８×８画素）に設定して、ステップＳ６０に進む。ステップＳ６０において、画素結合部５０は、結合量制御部７０によって指示された画素結合数にて、画素結合を行い、ステップＳ７０に進む。ステップＳ７０では、画素結合が行われた領域を１単位として、テンプレートと、新たに入力された画像との間の相関値を求めることにより、追跡可能領域の移動先および移動量を算出する。追跡可能領域の移動先および移動量の算出方法は上述したので、ここでは詳しい説明は省略する。
【００２３】
ステップＳ７０に続くステップＳ８０では、ステップＳ７０で求めた追跡可能領域の移動量が所定のしきい値以下であるか否かを判定する。移動量が所定のしきい値以下であると判定するとステップＳ９０に進む。ステップＳ９０において、結合量制御部７０は、画素結合数を現在設定されている画素結合数の１／２に設定して、ステップＳ１００に進む。ステップＳ１００では、ステップＳ９０で演算された画素結合数が１未満となったか否かを判定する。画素結合数が１未満になったと判定すると、実際に画素結合数を１未満に設定することはできないので、画素結合数の変更処理を行うことなくステップＳ１１０に進み、演算された画素結合数が１以上であると判定すると、ステップＳ６０に戻る。以後、変更後の画素結合数によって結合された領域を１単位として相関値の演算を行うことにより、追跡可能領域の移動先および移動量の検出処理が行われる。
【００２４】
一方、ステップＳ９０において、ステップＳ７０で求めた移動量が所定のしきい値より大きいと判定すると、ステップＳ１１０に進む。ステップＳ１１０では、全ての追跡可能領域を対象として、移動先および移動量を検出したか否かを判定する。全ての追跡可能領域の移動先および移動量を検出していないと判定すると、ステップＳ１２０に進み、処理領域を変更して、ステップＳ５０に戻る。一方、全ての追跡可能領域の移動先および移動量を検出したと判定すると、ステップＳ２０に戻る。
【００２５】
一実施の形態における移動体追跡装置が行う処理内容についてまとめておく。追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。画素結合部５０は、結合量制御部７０から指示される結合量の画素数によって、画素結合を行う。移動量検出部６０は、画素結合部５０で画素結合が行われた領域を１単位として、テンプレートと新規画像との間の相関値を求めることにより、追跡可能領域の移動先および移動量を検出する。この時、演算対象となる領域と、周囲の領域との間の複数の相関値を用いて補間演算処理を行うことにより、追跡可能領域の移動量を１単位以下の精度で検出する。結合量制御部７０は、移動量検出部６０によって求められた追跡可能領域の移動量に基づいて、画素結合量を変更する。特に、求められた移動量が所定のしきい値以下の場合に、画素結合量を小さくする。
【００２６】
一実施の形態における移動体追跡装置によれば、複数の画素により構成される領域を１単位として、テンプレートと新規画像との間の相関値を演算して、対象物の移動先および移動量を検出するので、対象物の移動量が大きい場合でも、相関値を演算する際の演算量が増大することはない。すなわち、１画素単位で新規画像との間の相関値を演算する方法では、対象物の移動量が大きいと、相関値を演算する範囲が広大となるため、演算量が増大するが、一実施の形態における移動体追跡装置によれば、テンプレートをずらす量が大きいので、演算量が増大することはない。また、演算した追跡可能領域の移動量が所定のしきい値以下の場合には、画素結合量を小さくして、再度、追跡可能領域の移動量を算出するので、対象物の移動量が小さい場合でも、検出精度を低下させることなく、対象物の移動量および移動先を検出することができる。
【００２７】
また、一実施の形態における移動体追跡装置によれば、求めた移動量が所定のしきい値以下である場合には、結合量制御部７０により画素結合量を小さくする処理、および、移動量検出部６０により、変更された結合量にて結合された画素の大きさを１単位として、追跡可能領域の移動量を求める処理を、結合する画素がなくなるまで繰り返すので、撮像画像上における対象物の移動量が非常に小さい場合でも、正確に対象物の移動量および移動先を検出することができる。
【００２８】
本発明は、上述した一実施の形態に限定されることはない。例えば、図７に示すフローチャートのステップＳ９０では、結合画素数を現在設定されている結合画素数の１／２に設定したが、現在設定されている画素結合数より小さくするのであれば、１／２の量に限定されることはない。また、結合画素数の初期値を８×８画素としたが、初期値がこの値に限定されることもない。さらに、結合画素数を変更するか否かを判定するためのしきい値を、その時に設定されている基準領域の大きさの１／２として説明したが、しきい値の大きさが基準領域の大きさの１／２に限定されることもない。
【００２９】
また、上述した一実施の形態では、移動体追跡装置を車両に搭載して使用する例について説明したが、車両に搭載しない状況で使用することもできる。
【００３０】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部１０が撮影手段を、追跡可能領域検出部３０が追跡可能領域検出手段を、画素結合部５０が画素結合手段を、移動量検出部６０が移動量検出手段を、結合量制御部７０が結合量変更手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【００３１】
【図１】一実施の形態における移動体追跡装置の構成を示す図
【図２】撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した様子を示す図
【図３】図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図
【図４】画素結合数が４である場合の画素結合方法を説明するための図であり、図２の領域Ａを拡大した図
【図５】画素結合数が２である場合の画素結合方法を説明するための図であり、図２の領域Ａを拡大した図
【図６】各追跡可能領域の移動成分を矢印で表した図
【図７】一実施の形態における移動体追跡装置によって行われる処理手順を示すフローチャート
【符号の説明】
【００３２】
１０…撮像部
２０…画像記憶部
３０…追跡可能領域検出部
４０…追跡領域情報記憶部
５０…画素結合部
６０…移動量検出部
７０…結合量制御部
【図１】
2006050489.tif 000003
【図２】
2006050489.tif 000004
【図３】
2006050489.tif 000005
【図４】
2006050489.tif 000006
【図５】
2006050489.tif 000007
【図６】
2006050489.tif 000008
【図７】
2006050489.tif 000009