(57)【要約】  【課題】  対象物体の影などによる検出動領域の変形を考慮しておらず、検出動領域に影などが含まれた場合に正しい対象物体像を追跡できない。  【解決手段】  動領域整形手段１１５は、形状パターン画像生成手段１１６からの形状パターン画像を用いて、ラベリング手段１０４からの動領域ラベル画像を整形して移動物体画像を出力する。動領域整形手段１１５から出力される移動物体画像は、移動物体とともに動く影や床面による鏡面反射像などの出現頻度の低い画像を含む形状パターン画像が加味されて整形されるので、検出動領域に影や床面による鏡面反射像、もしくは持ち物等による偶発的な変形などが生じた場合にも、正しい対象物体像を抽出・追跡でき、検出動領域と移動物体との対応関係を常に記憶・更新しつつ処理を行なうことができる。【選択図】  図１
2004240997.tif 000002
【特許請求の範囲】
【請求項１】
映像信号をサンプリングして原画像を出力するサンプリング手段と、前記原画像から動領域を検出して動領域２値画像を出力する動領域検出手段と、前記動領域２値画像の連結成分をラベリングして動領域ラベル画像を出力するラベリング手段と、対象とする形状パターン画像が存在しない動領域に対しては前記動領域ラベル画像を出力する動領域整形手段と、前記動領域整形手段から出力される移動物体画像を用いて各移動物体の形状パターン画像を形成及び更新する形状パターン画像生成手段とを備え、前記動領域整形手段は、前記形状パターン画像を用いて前記動領域ラベル画像を整形して移動物体画像を出力することを特徴とする移動物体抽出装置。
【請求項２】
各移動物体の形状パターン画像が、移動物体画像の各ラベルのうち前記移動物体に対応するものを前記移動物体の最新フレームでの位置に合わせて重ね合わせた場合の、フレーム内での各画素におけるラベルの出現頻度を画素値とする画像であることを特徴とする請求項１記載の移動物体抽出装置。
【請求項３】
映像信号をサンプリングして原画像を出力するサンプリング手段と、前記原画像から動領域を検出して動領域２値画像を出力する動領域検出手段と、前記動領域２値画像の連結成分をラベリングして動領域ラベル画像を出力するラベリング手段と、前記動領域ラベル画像を用いて各移動物体の形状パターン画像を生成及び更新する形状パターン画像生成手段と、前記形状パターン画像を用いて前記動領域ラベル画像を整形して移動物体画像を出力する動領域整形手段とを備えた移動物体抽出装置。
【請求項４】
各移動物体の形状パターン画像が、逐次入力される動領域ラベル画像の各ラベルのうち前記移動物体に対応するものを前記移動物体の最新フレームでの位置に合わせて重ね合わせた場合の、フレーム内での各画素におけるラベルの出現頻度を画素値とする画像であることを特徴とする請求項３記載の移動物体抽出装置。
【請求項５】
前記形状パターン画像生成手段が、各動物体毎に形状パターン画像を記憶する形状パターン画像記憶手段と、前記動領域整形手段からの移動物体画像の各動領域を用いて前記形状パターン画像を生成するとともに、前記形状パターン画像記憶手段に記憶された形状パターン画像に対して前記動領域整形手段からの移動物体画像の各動領域を用いて更新処理を施す形状パターン画像更新手段とを備えて成ることを特徴とする請求項１または２記載の移動物体抽出装置。
【請求項６】
前記形状パターン画像生成手段が、各動物体毎に形状パターン画像を記憶する形状パターン画像記憶手段と、前記ラベリング手段からの動領域ラベル画像の各動領域ラベルを用いて前記形状パターン画像を生成するとともに、前記形状パターン画像記憶手段に記憶された形状パターン画像に対して前記ラベリング手段からの動領域ラベル画像の各動領域ラベルを用いて更新処理を施す形状パターン画像更新手段とを備えて成ることを特徴とする請求項３または４記載の移動物体抽出装置。
【請求項７】
前記形状パターン画像生成手段が、前記動領域整形手段からの移動物体画像の各動領域に対応する形状パターン画像が存在しない場合は動領域自体を形状パターン画像として出力し、存在する場合は形状パターン画像と動領域とを位置合わせして加算した結果を各移動物体の形状パターン画像として記憶および更新することを特徴とする請求項５記載の移動物体抽出装置。
【請求項８】
前記形状パターン画像生成手段が、前記動領域整形手段からの移動物体画像の各動領域に対応する形状パターン画像が存在しない場合は動領域自体を形状パターン画像として出力し、存在する場合は形状パターン画像と動領域とを位置合わせして重み付け加算した結果を各移動物体の形状パターン画像として記憶および更新することを特徴とする請求項５記載の移動物体抽出装置。
【請求項９】
前記形状パターン画像生成手段が、前記ラベリング手段からの動領域ラベル画像の各動領域に対応する形状パターン画像が存在しない場合は動領域自体を形状パターン画像として出力し、存在する場合は形状パターン画像と動領域とを位置合わせして加算した結果を各移動物体の形状パターン画像として記憶および更新することを特徴とする請求項６記載の移動物体抽出装置。
【請求項１０】
前記形状パターン画像生成手段が、前記ラベリング手段からの動領域ラベル画像の各動領域に対応する形状パターン画像が存在しない場合は動領域自体を形状パターン画像として出力し、存在する場合は形状パターン画像と動領域とを位置合わせして重み付け加算した結果を各移動物体の形状パターン画像として記憶および更新することを特徴とする請求項６記載の移動物体抽出装置。
【請求項１１】
前記形状パターン画像生成手段が、記憶された形状パターン画像が定められた時間以上にわたって更新されなかった場合にこの形状パターン画像を消去することを特徴とする請求項５乃至１０のいずれかに記載の移動物体抽出装置。
【請求項１２】
前記形状パターン画像と動領域とを位置合わせする際の動領域位置合わせ点として、動領域およびこれに対応する形状パターン画像とから対応する移動物体の移動ベクトルを求め、形状パターン画像の重心点を前記移動ベクトルだけずらした点を用いることを特徴とする請求項５乃至１１のいずれかに記載の移動物体抽出装置。
【請求項１３】
形状パターン画像と動領域とを位置合わせする際の形状パターン画像位置合わせ点として、形状パターン画像と対応する動領域とから対応する移動物体の移動ベクトルを求め、前記動領域の重心点を前記移動ベクトルだけ戻した点を用いることを特徴とする請求項５乃至１２のいずれかに記載の移動物体抽出装置。
【請求項１４】
前記動領域整形手段が、前記形状パターン画像生成手段からの一つまたはそれ以上の形状パターン画像と前記ラベリング手段からの動領域ラベル画像とを受け、前記形状パターン画像の中から前記動領域ラベル画像の各動領域に対応するものが存在するかどうかを検索してその結果を出力する形状パターン画像検索手段と、対応する形状パターン画像が存在する場合にこれを選択して出力する形状パターン画像選択手段と、前記動領域ラベル画像の各動領域のうち対応する形状パターン画像が存在する動領域に対し形状パターン画像を用いて整形を行って移動物体画像を出力する動領域ラベル整形手段とを備えたことを特徴とする請求項１乃至１３のいずれかに記載の移動物体抽出装置。
【請求項１５】
前記動領域ラベル整形手段が、形状パターン画像を２値化処理した形状２値パターンと動領域との論理積または論理和をとった結果を出力することを特徴とする請求項１４記載の移動物体抽出装置。
【請求項１６】
前記動領域ラベル整形手段が、形状パターン画像を２値化処理した形状２値パターンと動領域との論理積または論理和を、前記形状パターン画像に対応する移動物体が初めて出現してからの時間に応じて切り替えることを特徴とする請求項１４記載の移動物体抽出装置。
【請求項１７】
前記動領域ラベル整形手段が、入力された形状パターンに対応する移動物体の輝度及び監視領域の照度に応じて変動するしきい値によって２値化処理を行うことを特徴とする請求項１４乃至１６のいずれかに記載の移動物体抽出装置。
【請求項１８】
前記形状パターン画像検索手段が、前記形状パターン画像生成手段に記憶されている各形状パターン画像の中で、動領域代表点における形状パターン画像の画素値が一定のしきい値以上である画像を出力することを特徴とする請求項１４乃至１７のいずれかに記載の移動物体抽出装置。
【請求項１９】
前記形状パターン画像検索手段が、前記形状パターン画像生成手段に記憶されている各形状パターン画像の中で、形状パターン画像代表点が動領域の内部に含まれている画像を出力することを特徴とする請求項１４乃至１７のいずれかに記載の移動物体抽出装置。
【請求項２０】
前記形状パターン画像検索手段が、前記形状パターン画像生成手段に記憶されている各形状パターン画像の中で、動領域代表点における形状パターン画像の画素値が一定のしきい値以上であるか、もしくは形状パターン画像代表点が動領域の内部に含まれているかのいずれかである画像を出力することを特徴とする請求項１４乃至１７のいずれかに記載の移動物体抽出装置。
【請求項２１】
前記形状パターン画像検索手段が、前記形状パターン画像生成手段に記憶されている各形状パターン画像の中で、動領域代表点における形状パターン画像の画素値が一定のしきい値以上であり、かつ形状パターン画像代表点が動領域の内部に含まれている画像を出力することを特徴とする請求項１４乃至１７のいずれかに記載の移動物体抽出装置。
【請求項２２】
前記形状パターン画像検索手段が、前記形状パターン画像生成手段に記憶されている各形状パターン画像の中で、動領域に含まれる一定数以上の画素において形状パターン画像の画素値が一定のしきい値以上である画像を出力することを特徴とする請求項１４乃至１７のいずれかに記載の移動物体抽出装置。
【請求項２３】
前記形状パターン画像検索手段が、前記形状パターン画像生成手段に記憶されている各形状パターン画像と動領域とのパターンマッチングを行い、最も近いパターンであると判定された形状パターン画像を出力することを特徴とする請求項１４乃至１７のいずれかに記載の移動物体抽出装置。
【請求項２４】
前記形状パターン画像選択手段が、前記形状パターン画像検索手段の出力する形状パターン画像のうち、形状パターン画像代表点が動領域代表点に画像上の距離で最も近い画像を選択して出力することを特徴とする請求項１４乃至２３のいずれかに記載の移動物体抽出装置。
【請求項２５】
前記形状パターン画像選択手段が、前記形状パターン画像検索手段の出力する形状パターン画像のうち、動領域代表点における形状パターン画像の画素値が最も大きい画像を選択して出力することを特徴とする請求項１４乃至２３のいずれかに記載の移動物体抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置等において動画像から動領域を検出して移動物体を抽出し追跡するための移動物体抽出装置に関する。
【背景技術】
【０００２】
動画像から、フレーム間または背景画像との差分を用いて移動物体を抽出する際に特に問題となるのは、一つには移動物体と背景との間の輝度・色度信号差が出ないことによる検出動領域の分断であり、もう一つには移動物体どうしまたは移動物体と静止物体との間で起こる遮蔽である。これら両者の問題について解決を試みた例が知られている（例えば、非特許文献１参照）。この方式の処理の流れについて図面を参照しながら説明する。図８において、ステップ１２０１は時系列画像から動きのあった領域を検出して変化領域を抽出する処理であり、ステップ１２０２は変化領域を画像内および時間方向でラベリングする時空間ラベリング処理であり、ステップ１２０３はラベリングされた各領域を時間方向にグルーピングするグルーピング処理であり、ステップ１２０４はグルーピングされた各移動物体に時間方向に対応付けて同定する移動物体の対応付け処理である。上記方式は、このようにして検出動領域の分断並びに遮蔽の問題を解決することを試みたものである。
【非特許文献１】『時系列差分画像を用いた複数移動物体の抽出及び追跡』（嶺・八木・谷内田、情報処理学会研究報告、CV-81-7 、51-55)
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の技術では、対象物体の影などによる検出動領域の変形を考慮しておらず、検出動領域に影などが含まれた場合に正しい対象物体像を追跡できないという欠点があった。
【０００４】
本発明は、上記従来の問題点に鑑みてなされたもので、その目的は、検出動領域から対象物体の影等の部分を除去して正しい対象物体像を抽出できる移動物体抽出装置を提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明の移動物体抽出装置は、映像信号をサンプリングして原画像を出力するサンプリング手段と、前記原画像から動領域を検出して動領域２値画像を出力する動領域検出手段と、前記動領域２値画像の連結成分をラベリングして動領域ラベル画像を出力するラベリング手段と、対象とする形状パターン画像が存在しない動領域に対しては前記動領域ラベル画像を出力する動領域整形手段と、前記動領域整形手段から出力される移動物体画像を用いて各移動物体の形状パターン画像を形成及び更新する形状パターン画像生成手段とを備え、前記動領域整形手段は、前記形状パターン画像を用いて前記動領域ラベル画像を整形して移動物体画像を出力する構成となっている。
【０００６】
この構成により、動領域整形手段から出力される移動物体画像は、移動物体とともに動く影や床面による鏡面反射像などの出現頻度の低い画像を含む形状パターン画像が加味されて整形されるので、影や床面による鏡面反射像、あるいは移動物体の偶発的な変形などによらず、対象移動物体の形状を安定して抽出することができる。
【発明の効果】
【０００７】
本発明は、動領域整形手段から出力される移動物体画像を用いて各移動物体の形状パターン画像を形成及び更新する形状パターン画像生成手段を備え、動領域整形手段は、形状パターン画像を用いて動領域ラベル画像を整形して移動物体画像を出力するので、検出動領域から対象物体の影等の部分を除去して正しい対象物体像を抽出できる移動物体抽出装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照しながら説明する。まず、本実施の形態における形状パターン画像について図面を参照しながら説明する。図７において、１３０１、１３０２、１３０３は連続する適当な数のフレームを表しており、１３０４、１３０５、１３０６はそれぞれのフレームの中で検出された動領域を表している。形状パターン画像は、１３０７に示すように同一移動物体に対応する各フレームの動領域を平行移動によって最新フレームでの位置に合わせて重ね合わせ、１３０８に示すように各画素の出現頻度を画像にしたものである。位置合わせのための基準点としては、動領域の重心を用いてもよいし、また動領域の外接矩形の中心もしくは四隅のいずれかを用いてもよいし、また重心のＸ座標もしくはＹ座標と外接矩形の四隅のいずれかのＹ座標もしくはＸ座標とをそれぞれ組み合わせた点を用いてもよいし、また動領域と形状パターン画像とから算出した移動ベクトル分だけ動領域の重心をずらした点を用いてもよい。出現頻度としては、例えば移動物体出現時からの出現回数の平均値を用いてもよいし、また各フレーム毎に重み付けをした平均値を用いてもよい。
【０００９】
１３０８において濃淡のハッチングで示したのは出現頻度を模式的に表したものである。１３０８に一例として示したのは人物の例であるが、この場合一般に、相対的な動きの激しい手や足の部分は出現頻度が比較的低く、相対的な動きの少ない頭や胴体など人物像の中心軸付近では出現頻度が比較的高くなる。また、移動物体とともに動く影や床面による鏡面反射像などは現れたり消えたりを繰り返すため、出現頻度は低くなる。このように、形状パターン画像を形成することにより、影や床面による鏡面反射像、あるいは移動物体の偶発的な変形などによらず、対象移動物体の形状を安定して抽出することが可能となる。
【００１０】
（実施の形態１）
以下、上記形状パターン画像を用いた本発明の第１の実施の形態について図１を参照しながら説明する。図１は本発明の実施の形態１の基本構成を示すブロック図である。図１において、サンプリング手段１０１は入力された映像信号２１１をサンプリングして原画像信号２１２を出力する。
【００１１】
動領域検出手段１０２は上記原画像信号２１２を受けて動領域を検出し、動領域２値画像２１３を出力する。動領域検出方式としては、前フレームまたは数フレーム前と現フレームとの差分をとる方式でもよいし、予め用意された背景画像との差分をとる方式でもよい。またこれらを組み合わせた方式でもよいし、フレーム間差分を数フレーム時間にわたり累積する方式でもよい。ラベリング手段１０４は、上記動領域２値画像２１３を受けてその連結成分をラベリングし、動領域ラベル画像２１５を出力する。
【００１２】
動領域整形手段１１５は、上記動領域ラベル画像２１５と後述する形状パターン画像生成手段１１６が各動物体毎に出力する形状パターン画像２１８とを受けて、動領域ラベル画像２１５の各動領域に整形を施して移動物体画像２１４を出力する。なお、対応する形状パターン画像の存在しない動領域に対しては、新しく出現した移動物体としてそのまま出力する構成としてもよい。形状パターン画像生成手段１１６は、上記動領域整形手段１１５からの移動物体画像２１４を受けて、各移動物体の形状パターン画像２１８を生成及び記憶、更新し、出力する。
【００１３】
次に、上記形状パターン画像を用いた本実施の形態の具体的構成について図２を参照しながら説明する。図２において、サンプリング手段１０１は入力された映像信号２１１をサンプリングして原画像信号２１２を出力する。動領域検出手段１０２は上記原画像信号２１２を受けて動領域を検出し、動領域２値画像２１３を出力する。動領域検出方式としては、前フレームまたは数フレーム前と現フレームとの差分をとる方式でもよいし、予め用意された背景画像との差分をとる方式でもよい。またこれらを組み合わせた方式でもよいし、フレーム間差分を数フレーム時間にわたり累積する方式でもよい。ラベリング手段１０４は、上記動領域２値画像２１３を受けてその連結成分をラベリングし、動領域ラベル画像２１５を出力する。
【００１４】
動領域整形手段１１５は、形状パターン画像検索手段１１７と、形状パターン画像選択手段１１８と、動領域ラベル整形手段１１９とから成り、上記動領域ラベル画像２１５と形状パターン画像生成手段１１６が各動物体毎に出力する形状パターン画像２１８とを受けて、動領域ラベル画像２１５の各動領域に整形を施して移動物体画像２１４を出力する。動領域ラベル整形手段１１９は、形状パターン２値化手段１２０と、ＡＮＤ回路１２１とから構成されている。なお、対応する形状パターン画像２１８の存在しない動領域に対しては、新しく出現した移動物体としてそのまま出力する構成としてもよい。
【００１５】
本実施の形態では１２１をＡＮＤ回路としているが、これをＯＲ回路とする構成でもよい。図３には、動領域ラベル整形手段１１９を形状パターン２値化手段１２０と、ＯＲ回路１２４とから構成した例を示す。また、ＡＮＤ回路１２１とＯＲ回路１２４とを並列に併せ備え、これらＡＮＤ回路１２１とＯＲ回路１２４のうちいずれかの出力を切り替え出力するようにしてもよい。すなわち、図４に示すように、動領域ラベル整形手段１１９を形状パターン２値化手段１２０と、ＡＮＤ回路１２１と、ＯＲ回路１２４と、セレクタ１２５とから構成し、各形状パターン画像に対応する移動物体が初めて出現してからの時間情報２１９に応じてＡＮＤ回路１２１とＯＲ回路１２４とを切り替える構成としてもよい。
【００１６】
形状パターン画像検索手段１１７は、上記動領域ラベル画像２１５に含まれる各動領域毎に、形状パターン画像生成手段１１６で生成された形状パターン画像２１８の中から上記動領域に対応するものを検索する。検索方法としては、一例として、動領域の重心における各移動物体の形状パターン画像の画素値、すなわち出現頻度が一定のしきい値を越えるものを選ぶ方式を採ってもよい。また、形状パターン画像の重心が動領域に含まれるものを選ぶ方式を採ってもよい。
【００１７】
形状パターン画像選択手段１１８は、上記動領域ラベル画像２１５に含まれる各動領域毎に、上記形状パターン画像検索手段１１７の出力する一つまたは複数の形状パターン画像２１８の中から、上記動領域と同一の移動物体に相当するものを選択して出力する。選択方法としては、一例として動領域の重心と形状パターン画像２１８の重心とが最も近いものを選ぶ方式を採ってもよい。また、動領域と各形状パターン画像２１８とをパターンマッチングして、最も近い形状であると判定されたものを選ぶ方式を採ってもよい。また、一時的に分断されていた動領域が再統合された場合など、複数の形状パターン画像２１８が単一の動領域対応する場合に上記複数の形状パターン画像を重ね合わせたものを新たな形状パターン画像２１８として生成して出力する方式を採ってもよい。また、一時的に重なり合っていた移動物体が再び離れた場合など、複数の動領域が単一の形状パターン画像に対応し、かつその状態が一定フレーム数以上にわたって継続する場合には、上記複数の動領域を各々新たな形状パターン画像２１８として生成して出力する方式としてもよい。
【００１８】
形状パターン画像２値化手段１２０は、上記形状パターン画像選択手段１１８が出力する画像情報を受けて、これに２値化処理を施し、形状パターン２値画像を出力する。２値化処理のしきい値は撮影環境によって予め決定しておいてもよいし、上記形状パターン画像に相当する移動物体の輝度や監視領域の照度によって変動させる構成としてもよい。
【００１９】
動領域ラベル整形手段１１９を構成するＡＮＤ回路１２１は、上記動領域ラベル画像２１５と上記形状パターン画像２値化手段１２０からの形状パターン２値画像とを受けて、動領域ラベル画像２１５の各ラベル毎に対応する形状パターン２値画像とのＡＮＤをとり、移動物体画像２１４を出力する。
【００２０】
形状パターン画像生成手段１１６は、形状パターン画像記憶手段１２２と形状パターン画像更新手段１２３とから成り、上記動領域整形手段１１５からの移動物体画像２１４を受けて、各移動物体の形状パターン画像２１８を生成及び記憶、更新し、出力する。形状パターン画像更新手段１２３は、動領域整形手段１１５からの移動物体画像２１４の各動領域を用いて形状パターン画像を生成するとともに、動領域整形手段１１５が出力する移動物体画像２１４と形状パターン画像記憶手段１２２に記憶された形状パターン画像２１８とを受けて、上記形状パターン画像２１８を更新する。更新の方式としては、一例として次のような方式を採用してもよい。上記動領域整形画像の中の各動領域ごとに、対応する形状パターン画像が存在しない場合は動領域自体を新しく出現した移動物体に相当する形状パターン画像として出力し、そうでない場合には形状パターン画像と動領域とを両者の重心で位置合わせして重み付け加算したものを出力する。
【００２１】
形状パターン画像記憶手段１２２は、上記形状パターン画像更新手段１２３から出力される各移動物体ごとの形状パターン画像２１８を記憶し、次フレームで再び動領域整形手段１１５に出力する。なお、長時間にわたる監視などで多数の移動物体が検出される場合などに記憶容量を節約するため、記憶された形状パターン画像２１８が定められた時間以上にわたって更新されなかった場合に、この形状パターン画像２１８に相当する移動物体が監視領域から外に出たものとしてこの形状パターン画像を消去する構成としてもよい。
【００２２】
このように、本実施の形態１によれば、映像信号をサンプリングして原画像を出力するサンプリング手段１０１と、原画像から動領域を検出して動領域２値画像を出力する動領域検出手段１０２と、動領域２値画像の連結成分をラベリングして動領域ラベル画像を出力するラベリング手段１０４と、対象とする形状パターン画像が存在しない動領域に対しては動領域ラベル画像を出力する動領域整形手段１１５と、動領域整形手段１１５から出力される移動物体画像を用いて各移動物体の形状パターン画像を形成及び更新する形状パターン画像生成手段１１６とを備え、動領域整形手段１１５は、形状パターン画像生成手段１１６からの形状パターン画像を用いて、ラベリング手段１０４からの動領域ラベル画像を整形して移動物体画像を出力するので、動領域整形手段１１５から出力される移動物体画像は、移動物体とともに動く影や床面による鏡面反射像などの出現頻度の低い画像を含む形状パターン画像が加味されて整形されるので、検出動領域に影や床面による鏡面反射像、もしくは持ち物等による偶発的な変形などが生じた場合にも、正しい対象物体像を抽出・追跡でき、検出動領域と移動物体との対応関係を常に記憶・更新しつつ処理を行なうことができる。
【００２３】
（実施の形態２）
次に、本発明の第２の実施の形態について図５を用いて説明する。図１に示した実施の形態１では、動領域整形手段１１５からの動領域整形画像を形状パターン画像生成手段１１６に入力し、動領域整形画像を用いて形状パターン画像を生成及び更新する構成としたが、図５に示す実施の形態２では、ラベリング手段１０４からの動領域ラベル画像を形状パターン画像生成手段２１６に入力し、動領域ラベル画像を用いて形状パターン画像２１８を生成及び更新する構成としている。
【００２４】
図６はラベリング手段１０４からの動領域ラベル画像２１５を形状パターン画像生成手段２１６に入力し、動領域ラベル画像２１５を用いて形状パターン画像２１８を生成および更新する構成の詳細を示している。このように、図６に示した構成は、図２に示した構成に対して形状パターン画像生成手段２１６を構成する形状パターン画像記憶手段２２２および形状パターン画像更新手段２２３への画像信号の入力の仕方を変更した点が異なるのみである。
【００２５】
形状パターン画像生成手段２１６は、形状パターン画像記憶手段２２２と形状パターン画像更新手段２２３とから成り、ラベリング手段１０４からの動領域ラベル画像２１５を受けて、各移動物体の形状パターン画像２１８を生成及び記憶、更新し、出力する。形状パターン画像更新手段２２３は、ラベリング手段１０４からの動領域ラベル画像２１５を用いて形状パターン画像２１８を生成するとともに、ラベリング手段１０４からの動領域ラベル画像２１５と形状パターン画像記憶手段２２２に記憶された形状パターン画像２１８とを受けて、上記形状パターン画像２１８を更新する。更新の方式としては、一例として次のような方式を採用してもよい。上記動領域整形画像の中の各動領域ごとに、対応する形状パターン画像が存在しない場合は動領域自体を新しく出現した移動物体に相当する形状パターン画像として出力し、そうでない場合には形状パターン画像と動領域とを両者の重心で位置合わせして重み付け加算したものを出力する。
【００２６】
形状パターン画像記憶手段２２２は、上記形状パターン画像更新手段２２３から出力される各移動物体ごとの形状パターン画像２１８を記憶し、次フレームで動領域整形手段１１５に出力する。なお、長時間にわたる監視などで多数の移動物体が検出される場合などに記憶容量を節約するため、記憶された形状パターン画像２１８が定められた時間以上にわたって更新されなかった場合に、この形状パターン画像２１８に相当する移動物体が監視領域から外に出たものとしてこの形状パターン画像を消去する構成としてもよい。
【００２７】
動領域整形手段１１５は、形状パターン画像検索手段１１７と、形状パターン画像選択手段１１８と、動領域ラベル整形手段１１９とから成り、上記動領域ラベル画像２１５と形状パターン画像生成手段２１６が各動物体毎に出力する形状パターン画像２１８とを受けて、動領域ラベル画像２１５の各動領域に整形を施して移動物体画像２１４を出力する。動領域ラベル整形手段１１９は、形状パターン２値化手段１２０と、ＡＮＤ回路１２１とから構成されている。なお、対応する形状パターン画像２１８の存在しない動領域に対しては、新しく出現した移動物体としてそのまま出力する構成としてもよい。
【００２８】
本実施の形態２においても、実施の形態１における動領域整形手段１１５に対してなされた図３および図４に示す変更が、図６の構成に対してもそのまま適用することができる。その他、実施の形態１に用いられた種々の技術が本実施の形態２にも採用することができる。
【００２９】
このように、本実施の形態２によれば、映像信号をサンプリングして原画像を出力するサンプリング手段１０１と、原画像から動領域を検出して動領域２値画像を出力する動領域検出手段１０２と、動領域２値画像の連結成分をラベリングして動領域ラベル画像を出力するラベリング手段１０４と、動領域ラベル画像を用いて各移動物体の形状パターン画像を生成及び更新する形状パターン画像生成手段２１６と、形状パターン画像生成手段２１６からの形状パターン画像を用いて、ラベリング手段１０４からの動領域ラベル画像を整形して移動物体画像を出力する動領域整形手段１１５とを備えているので、動領域整形手段１１５から出力される移動物体画像は、移動物体とともに動く影や床面による鏡面反射像などの出現頻度の低い画像を含む形状パターン画像が加味されて整形されるので、検出動領域に影や床面による鏡面反射像、もしくは持ち物等による偶発的な変形などが生じた場合にも、正しい対象物体像を抽出・追跡でき、検出動領域と移動物体との対応関係を常に記憶・更新しつつ処理を行なうことができる。
【産業上の利用可能性】
【００３０】
以上説明したように、本発明に係る移動物体抽出装置は、検出動領域から対象物体の影等の部分を除去して正しい対象物体像を抽出できるという効果を有し、監視装置等において動画像から動領域を検出して移動物体を抽出し追跡するための移動物体抽出装置等に有用である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１における移動物体抽出装置の基本構成を示すブロック図
【図２】本発明の実施の形態１における動領域整形手段および形状パターン画像生成手段をより詳細に示したブロック図
【図３】本発明の実施の形態１における動領域整形手段の変更例を示すブロック図
【図４】本発明の実施の形態１における動領域整形手段のさらに他の変更例を示すブロック図
【図５】本発明の実施の形態２における移動物体抽出装置の基本構成を示すブロック図
【図６】本発明の実施の形態２における動領域整形手段および形状パターン画像生成手段をより詳細に示したブロック図
【図７】本発明の実施の形態１、２における形状パターン画像の説明図
【図８】従来の移動物体抽出装置の一例の処理の流れを示すフロー図
【符号の説明】
【００３２】
１０１  サンプリング手段
１０２  動領域検出手段
１０３  動領域対応付け手段
１０４  ラベリング手段
１１５  動領域整形手段
１１６、２１６  形状パターン画像生成手段
１１７  形状パターン画像検索手段
１１８  形状パターン画像選択手段
１１９  動領域ラベル整形手段
１２０  形状パターン画像２値化手段
１２１  ＡＮＤ回路
１２２、２２２  形状パターン画像記憶手段
１２３、２２３  形状パターン画像更新手段
１２４  ＯＲ回路
１２５  セレクタ
１３０１、１３０２、１３０３  複数の連続したフレーム画像の一例
１３０４  フレーム１３０１で検出された動領域
１３０５  フレーム１３０２で検出された動領域
１３０６  フレーム１３０３で検出された動領域
1 ３０７  一連のフレーム１３０１〜１３０３で検出された動領域をフレーム１３０３の動領域１３０６に重ね合わせて得られる画像
１３０８  フレーム１３０１〜１３０３で検出された動領域から形成される形状パターン画像
【図１】
2004240997.tif 000003
【図２】
2004240997.tif 000004
【図３】
2004240997.tif 000005
【図４】
2004240997.tif 000006
【図５】
2004240997.tif 000007
【図６】
2004240997.tif 000008
【図７】
2004240997.tif 000009
【図８】
2004240997.tif 000010