(57)【特許請求の範囲】
【請求項１】
移動体を連続的に撮像する撮像手段と、
前記撮像手段により得られた画像をデジタル画像に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段により変換されたデジタル画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された時刻ｔの画像と前記撮影手段により入力されるサンプリング時間Δｔだけ離れた時刻ｔ＋Δｔの２枚の画像の差の絶対値を計算する差分手段と、
前記差分手段によって得られる差分画像を２値化する２値化手段と、
前記２値化手段によって得られる移動体領域に相当する部分を前記画像記憶手段に記憶された画像から抽出する移動体画像抽出手段と、
前記移動体画像抽出手段により抽出された移動体画像の中から特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により得られた特徴点が前記撮像手段によって得られる画像の中で対応する部分を抽出し、その移動ベクトルを抽出する移動ベクトル抽出手段と、
前記移動ベクトル抽出手段により得られた移動ベクトルの方向に基づいて、その頻度を累積加算して方向ヒストグラムを生成する方向ヒストグラム生成手段と、
前記方向ヒストグラム生成手段により生成された方向ヒストグラムをその分布に基づいて分割するヒストグラム分割手段と、
前記ヒストグラム分割手段により分割されたヒストグラムに基づいてグループ化された移動ベクトルの部分集合に基づいて前記移動体領域を分割する移動体領域分割手段と、
前記移動体領域分割手段により分割された移動体領域の時間経過と共に変化するその重心座標と平均移動ベクトルとを記憶し、その軌跡を求める移動体追跡手段と
を具備したことを特徴とする移動体追跡装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば交差点における信号無視抑止システムに適用される移動体追跡装置に関する。
【０００２】
【従来の技術】
従来、画像処理により移動体を追跡する装置は、図１０に示すように、ＴＶカメラ１０１で対象とする移動体１０２を撮像し、サンプリング時間Δｔだけ離れたタイミング時刻ｔと「ｔ＋Δｔ」で得られた２枚の画像Ｉ（ｔ）とＩ（ｔ＋Δｔ）との差分｜Ｉ（ｔ＋Δｔ）−Ｉ（ｔ）｜を求め、得られた差分画像の値の大きい部分が移動体１０２の画像部分であり、値が小さい部分は静止している背景領域であるとし、その移動体１０２の画像部分を時間毎に検出して追跡して行く。具体的には、ＴＶカメラ１０１で撮像した画像をＡ／Ｄ変換器１０３でデジタル画像に変換し、量子化した画像Ｉ（ｔ，ｉ，ｊ）を画像記憶器１０４に記憶する。ここにｉ，ｊは「１≦ｉ，ｊ≦Ｌ」であり、Ｌは画像サイズであり、一般的に「５００」程度である。そして、画像記憶器１０４の記憶画像Ｉ（ｔ，ｉ，ｊ）、及び時刻ｔ＋ΔｔにＴＶカメラ１０１からＡ／Ｄ変換器１０３を介して量子化された画像Ｉ（ｔ＋Δｔ，ｉ，ｊ）が差分器１０５に入力され、次に示す（１）式の演算が実行され、差分画像Ｊ（ｔ＋Δｔ，ｉ，ｊ）が得られる。
【０００３】
0003600383.tif 000002
この差分画像Ｊ（ｔ＋Δｔ，ｉ，ｊ）は、２値化器１０６に送られ、予め設定されたしきい値よりも大きい画素、即ち明るさが大きく変化する画素は値「１」に、また、小さい画素即ち明るさがあまり変化しない画素は値「０」に変換され、移動体追跡器１０７に２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）として送られる。この移動体追跡器１０７で、２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）の値「１」の部分が１つの固まりの移動体部分として抽出される。同時に現時点での画像Ｉ（ｔ＋Δｔ，ｉ，ｊ）は、画像記憶器１０４に送られ、１つ前の画像Ｉ（ｔ，ｉ，ｊ）と入れ換えて記憶され、次の時刻ｔ＋２Δｔに新しい画像（ｔ＋２Δｔ，ｉ，ｊ）が入ってくるのを待つ。
【０００４】
上記の操作を時間が進む毎にΔｔ間隔で実行することによって、移動体部分が時々刻々画像内で検出、追跡される。例えば時刻ｔとｔ＋Δｔとの画像Ｉ（ｔ，ｉ，ｊ）、Ｉ（ｔ＋Δｔ，ｉ，ｊ）が図１１（ａ），（ｂ）のように得られたとすると、二値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）は図１２のようになり、移動体領域１０８が抽出される。移動体領域１０８の重心を点Ｇとすると、図１３のように時刻ｔ＋Δｔとｔ＋２Δｔとの画像によって得られる移動体領域１０９は、点Ｇ′に変化するので、この点Ｇから点Ｇ′の変化を時々刻々記録することにより、移動体追跡が可能となる。
【０００５】
【発明が解決しようとする課題】
上記のように従来の移動体追跡装置では、連続する２枚の画像間で明るさが変化する領域を抽出し、それが１つの移動体であると判断している。
しかし、複数の移動体が図１４（ａ）に示すように連続して移動し、途中で図１４（ｂ）のように２つの方向に分かれるような場合、従来の装置では、２つの移動体が画像上で差分後の２値画像が完全に分離するまで、２つの移動体を区別することができない。即ち、図１４（ａ）と時間Δｔ後の画像との差分を行ない、２値化すると図１４（ｃ）のように２つの移動体はあたかも１つの移動体のように検出される。その後、図１４（ｂ）のように２つの方向に分かれても、２つの移動体がある程度離れるまで、図１４（ｄ）のように１つの移動体のように検出されてしまう。
【０００６】
本発明は上記の課題を解決するためになされたもので、複数の移動体が存在する画像に対して個々の移動体の区別がつかない場合でも、複数の移動体が別々の方向に分かれる時、画像上で分離されていなくても、それらの移動体の分離が可能な移動体追跡装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る移動体追跡装置は、  移動体を連続的に撮像する撮像手段と、
前記撮像手段により得られた画像をデジタル画像に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段により変換されたデジタル画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された時刻ｔの画像と前記撮影手段により入力されるサンプリング時間Δｔだけ離れた時刻ｔ＋Δｔの２枚の画像の差の絶対値を計算する差分手段と、
前記差分手段によって得られる差分画像を２値化する２値化手段と、
前記２値化手段によって得られる移動体領域に相当する部分を前記画像記憶手段に記憶された画像から抽出する移動体画像抽出手段と、
前記移動体画像抽出手段により抽出された移動体画像の中から特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により得られた特徴点が前記撮像手段によって得られる画像の中で対応する部分を抽出し、その移動ベクトルを抽出する移動ベクトル抽出手段と、
前記移動ベクトル抽出手段により得られた移動ベクトルの方向に基づいて、その頻度を累積加算して方向ヒストグラムを生成する方向ヒストグラム生成手段と、
前記方向ヒストグラム生成手段により生成された方向ヒストグラムをその分布に基づいて分割するヒストグラム分割手段と、
前記ヒストグラム分割手段により分割されたヒストグラムに基づいてグループ化された移動ベクトルの部分集合に基づいて前記移動体領域を分割する移動体領域分割手段と、
前記移動体領域分割手段により分割された移動体領域の時間経過と共に変化するその重心座標と平均移動ベクトルとを記憶し、その軌跡を求める移動体追跡手段と
を具備したことを特徴とする。
【０００８】
（作用）
上記の構成において、差分手段は、画像記憶手段に記憶された時刻ｔの画像と撮像手段により入力される時刻ｔ＋Δｔの画像との差の絶対値を計算する。この差の絶対値は、２値化手段に送られ、画像の時間的に変化する部分が移動体領域として抽出される。この移動体領域内の時刻ｔにおける画像が移動体画像抽出手段により、移動体画像として抽出され、特徴点抽出手段に送られる。ここでは、画像内に含まれる移動体の特徴点を抽出する。移動ベクトル抽出手段は、上記抽出された幾つかの特徴点が時刻ｔ＋Δｔの画像内でどこに移動しているかを求め、その移動成分を移動ベクトルとして抽出する。
また、特徴点毎に求められた移動ベクトルは、方向ヒストグラム生成手段に送られる。この方向ヒストグラム生成手段は、各移動ベクトルの方向に応じて、同一方向を向く移動ベクトルの数を計数し、その累積数を方向ヒストグラムとして生成する。この方向ヒストグラムは、移動体領域内に含まれる各移動体の方向を表すので、そのヒストグラムの分布から幾つかの極大値を与える方向を抽出し、その方向に基づきヒストグラム分割手段で移動ベクトルを分割する。各々の分割された移動ベクトルの部分集合に含まれる個々の移動ベクトルに対応する特徴点は、移動体領域分割手段で、元の移動体領域を分割し、移動体追跡手段に送られる。ここでは、得られた個々の移動体領域の重心位置及び平均移動ベクトルをその移動体の時刻ｔ＋Δｔにおける位置として記憶する。
【０００９】
このシーケンスは、時刻ｔ，ｔ＋Δｔ、ｔ＋２Δｔ，ｔ＋３Δｔ，…で行なうことにより、移動体が画像上でどのように移動しているかが計算される。
このように検出された移動体領域内に含まれる特徴点の方向ベクトルを分類し、同一方向に移動する特徴点をグループ化し、このグループ化された特徴点の集まりを含む移動体毎に追跡するので、複数の移動体が１つの移動体領域に含まれていても、それらの移動体が異なる方向に移動し始めた時点で分離し、個々の移動体を追跡することが可能となる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
図１は本発明の一実施形態に係る移動体追跡装置の構成を示すブロック図である。本発明に係る移動体追跡装置は、ＴＶカメラ１、Ａ／Ｄ変換器２、画像記憶器３、差分器４、２値化器５、移動体画像抽出器６、特徴点抽出器７、移動ベクトル抽出器８、方向ヒストグラム生成器９、ヒストグラム分割器１０、移動体領域分割器１１、移動体追跡器１２により構成される。
【００１１】
上記ＴＶカメラ１は、移動体を含むシーンを撮像するためのもので、時刻ｔにおいて得られる画像は画像記憶器３に送られて記憶される。差分器４は、時刻ｔ＋ΔｔにＴＶカメラ１によって得られる画像Ｉ（ｔ＋Δｔ，ｉ，ｊ）と、その１つ前のサンプリング時間である時刻ｔにおいて得られ、画像記憶器３に記憶されている画像Ｉ（ｔ，ｉ，ｊ）との差の絶対値を前記（１）式により求める。この差分器４により得られた差分画像ｊ（ｔ＋Δｔ，ｉ，ｊ）は、２値化器５で予め設定されたしきい値により２値化され、２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）が得られる。この画像のうち「１」の部分は、時刻ｔからｔ＋Δｔの間に画像の明るさが変化する部分に対応し、「０」の部分は明るさが変化しない部分に対応する。従って、この「１」の部分を移動体領域とする。
【００１２】
移動体画像抽出器６は、画像記憶器３に記憶されている画像Ｉ（ｔ）から移動体領域に対応する部分の画像のみを移動体画像として抽出するものである。
特徴点抽出器７は、抽出された移動体画像から移動体の特徴点を抽出する。ここでいう特徴点とは、移動体の形状を示す画像の濃淡変化部分や移動体を形成する面の模様、即ち濃淡変化部分に対応する小領域のことを言う。
【００１３】
このような特徴点は、以下に述べる方法で容易に検出できる。
まず、画像データをＥ（ｘ，ｙ）とし、ｘ方向の微分画像をＥｘ  、ｙ方向の微分画像をＥｙ  とする。任意の画像領域Ｓの範囲内で次式（２）で示す行列Ａを求める。
【００１４】
【数１】
0003600383.tif 000003
【００１５】
ここに、Σ記号は領域Ｓの中に含まれる画素についての和を取ることを意味する。次に、この行列Ａの固有値λ１  ，λ２  を計算する。この固有値λ１  ，λ２  は、ｘ及びｙ方向にどれくらい画像が明るさが変化しているかの尺度を示し、小さい方の値をλ３  とすると、このλ３  の値が大きい程、その領域Ｓの画像の明るさの変化が大きいことを表している。
【００１６】
そこで、画像Ｅを小領域Ｓｋ  （ｋ＝１，２，…，Ｋ）に碁盤の目状に分割し、それぞれの領域毎に固有値λ１  ，λ２  を求め、その小さい方の値をλ３ｋとすると、λ３ｋ（ｋ＝１，２，…，Ｋ）の中から大きい順にＮ個取ることによって、Ｎ個の特徴点Ｓｎ  （ｎ＝１，２，…，Ｎ）（実際は点ではなく、小領域であるが、ここでは点と呼ぶこととする）を抽出することができる。
【００１７】
移動ベクトル抽出器８は、特徴点抽出器７で抽出された個々の特徴点Ｓｎ  がＡ／Ｄ変換器２から出力される時刻ｔ＋Δｔの画像Ｉ（ｔ＋Δｔ）の中でどの位置にあるかを探索し、時刻ｔの位置に対して移動した成分（ｄｘ  ，ｄｙ  ）ｎ  （ｎ＝１，２，…，Ｎ）を移動ベクトルとして抽出する。
【００１８】
この抽出方法は、図２において、特徴点Ｓｎ  を２値画像Ｋ（ｔ＋Δｔ，ｉ，ｊ）で示される移動体領域１３に対応する画像Ｉ（ｔ，ｉ，ｊ）の中から抽出された特徴点の１つとすると、図３に示すように特徴点Ｓｎ  の近傍で画像Ｉ（ｔ＋Δｔ）の中から、画像の明るさのパターンがその特徴点Ｓｎ  の明るさのパターンと最も良く似ている特徴点Ｓｎ  ′を求めればよい。ここで特徴点の類似度を計る尺度ｆとして以下の式（３）を用いる。
【００１９】
【数２】
0003600383.tif 000004
【００２０】
ここに、Ｐｎ  （ｉ，ｊ）は、特徴点Ｓｎ  の小領域の画像の明るさであり、Ｑｎ  （ｉ，ｊ）は、画像Ｉ（ｔ＋Δｔ）の中で特徴点Ｓｎ  の位置周辺から順次切り出す小領域の画像の明るさであり、予め設定した特徴点Ｓｎ  の近傍の探索領域内をサーチするように（３）式を計算し、ｆの値が最も小さくなるＱｎ  （ｉ，ｊ）を特徴点Ｓｎ  ′とする。図３に示すように求められた特徴点Ｓｎ  ′と特徴点Ｓｎ  との位置の差を移動ベクトル（ｄｘ  ，ｄｙ  ）ｎ  （ｎ＝１，２，…，Ｎ）とする。
【００２１】
方向ヒストグラム生成器９は、図４のように移動ベクトル抽出器８で抽出された移動ベクトルの集合（ｄｘ  ，ｄｙ  ）ｎ  （ｎ＝１，２，…，Ｎ）を、その方向に応じて方向ヒストグラムを生成する。即ち、図５に示すように方向Ｚを定義し、個々の移動ベクトルがどの方向を向いているかによって、各方向毎に移動ベクトルの数を計数し、図６のような方向ヒストグラムを得る。
【００２２】
ヒストグラム分割器１０は、その方向ヒストグラムに基づいて、極大値を与える方向θ１  ，θ２  ，…，θＭ  を検索し、各方向に対して、その方向を中心に±Δθ°の幅に含まれる移動ベクトルの部分集合Ｇｍ  を次式
0003600383.tif 000005
によりＭ個求める。図６の例では、図７のように極大値θ１  ，θ２  が見つかるので、その方向を中心に±θ°の幅に含まれる移動ベクトルを部分集合Ｇ１  ，Ｇ２  の要素に加えてゆけば良い
移動体領域分割器１１は、移動ベクトルの部分集合Ｇｍ  の各々に対して含まれるｍｐ  個の移動ベクトル（ｄｘ  ，ｄｙ  ）ｍ１，（ｄｘ  ，ｄｙ  ）ｍ２，…（ｄｘ  ，ｄｙ  ）ｍｐに対応する特徴点Ｓｍ１，Ｓｍ２，…Ｓｍｐに基づき、２値化器５によって得られる移動体領域１３を図８に示すように分割し、分割領域Ｄｍ  を得る。
【００２３】
この分割方法は、移動ベクトル部分集合Ｇｍ  に含まれる特徴点をすべて内包するような領域を求めることにより分割できる。
移動体追跡器１２は、分割された領域Ｄｍ  の重心座標を（ｇｘ  ，ｇｙ  ）ｍ  としてそれぞれ領域毎に記録する。また、その分割領域Ｄｍ  に含まれる移動ベクトル部分集合Ｇｍ  の平均移動ベクトル（＾ｄｘ  ，＾ｄｙ  ）ｍ  も同時に記録する。
【００２４】
この一連の処理は、サンプリング時間Δｔ毎に得られる画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），Ｉ（ｔ＋２Δｔ），…に対して実行され、その結果として、移動体の分割領域Ｄｍ  の平均移動ベクトル（＾ｄｘ  ，＾ｄｙ  ）ｍ  と、その重心座標（ｇｘ  ，ｇｙ  ）ｍ  が時々刻々として得られる。これらのデータは、図９に示すように、時刻ｔが進むにつれて、重心座標（ｇｘ  ，ｇｙ  ）ｍ  が平均移動ベクトル（＾ｄｘ  ，＾ｄｙ  ）ｍ  ずつ移動する軌跡が得られ、途中で移動体が複数の方向に分かれても、その移動ベクトルの方向がヒストグラム分割器１０により分割された時点で移動体領域が分割され、引き続き、それぞれの移動体を追跡することができる。
【００２５】
上記のように移動体を含むシーンを連続的に撮像するＴＶカメラ１と、撮像画像をデジタル画像に変換するＡ／Ｄ変換器２と、変換されたデジタル画像を記憶する画像記憶器３と、サンプリング時間Δｔだけ離れた時刻ｔとｔ＋Δｔに得られる２枚の画像の差の絶対値を計算する差分器４と、その差分画像を２値化する２値化器５と、この２値化によって得られる移動体領域に対応する画像を前記画像記憶器３から抽出する移動体画像抽出器６と、抽出された移動体画像の中から特徴点を抽出する特徴点抽出器７と、得られた特徴点が時刻ｔ＋Δｔに得られる画像の中で対応する部分を抽出し、その移動量を抽出する移動ベクトル抽出器８と、得られた移動ベクトルの方向に基づいて方向ヒストグラムを生成する方向ヒストグラム生成器９と、生成された方向ヒストグラムをその分布の極大値に基づいて分割するヒストグラム分割器１０と、分割された移動ベクトルの部分集合に基づいて移動体領域を分割する移動体領域分割器１１と、分割された移動体領域の時間の経過と共に変化する、その重心座標と平均移動ベクトルとを記憶し、その軌跡を求める移動体追跡器１２とを備えることにより、複数の移動体が存在する画像に対して個々の移動体の区別がつかない場合でも、それらの移動体の進行方向が変化した時点でそれぞれの移動ベクトルを検出できるので、その方向により移動体領域を分割でき、その結果、正確に移動体を追跡することができる。
なお、上記実施形態では、車両を追跡する場合について示したが、その他、セキュリティ用侵入監視システムとしても実施し得るものである。
【００２６】
【発明の効果】
以上詳記したように本発明によれば、画像処理により移動体を追跡する場合において、複数の移動体が存在する画像に対して個々の移動体の区別がつかない場合でも、それらの移動体の進行方向が変化した時点で移動体領域を分割して正確に移動体を追跡することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動体追跡装置の構成を示すブロック図。
【図２】同実施形態における移動体領域と特徴点の説明図。
【図３】同実施形態における特徴点の移動ベクトルの説明図。
【図４】同実施形態における特徴点の移動ベクトルの集合の例を示す図。
【図５】同実施形態における方向ヒストグラム生成時の方向の定義を示す図。
【図６】同実施形態における方向ヒストグラムの一例を示す図。
【図７】同実施形態におけるヒストグラム分割の説明図。
【図８】同実施形態における分割された移動体領域の説明図。
【図９】同実施形態における移動体の分割領域の重心摩擦と平均移動ベクトルの説明図。
【図１０】従来の移動体追跡装置を示すブロック図。
【図１１】移動体追跡装置において、連続して入力される画像の例を示す図。
【図１２】同装置における移動体領域の説明図。
【図１３】同装置における時刻ｔ＋２Δｔで抽出される移動体領域の説明図。
【図１４】同装置における同一方向に進む複数の移動体が途中で方向が二手に分かれる画像例を示す図。
【符号の説明】
１  ＴＶカメラ
２  Ａ／Ｄ変換器
３  画像記憶器
４  差分器
５  ２値化器
６  移動体画像抽出器
７  特徴点抽出器
８  移動ベクトル抽出器
９  方向ヒストグラム生成器
１０  ヒストグラム分割器
１１  移動体領域分割器
１２  移動体追跡器
１３  移動体領域
【図１】
0003600383.tif 000006
【図２】
0003600383.tif 000007
【図３】
0003600383.tif 000008
【図４】
0003600383.tif 000009
【図５】
0003600383.tif 000010
【図６】
0003600383.tif 000011
【図７】
0003600383.tif 000012
【図８】
0003600383.tif 000013
【図９】
0003600383.tif 000014
【図１０】
0003600383.tif 000015
【図１１】
0003600383.tif 000016
【図１２】
0003600383.tif 000017
【図１３】
0003600383.tif 000018
【図１４】
0003600383.tif 000019