(57)【特許請求の範囲】
【請求項１】
動画像から移動物体を抽出する移動物体抽出装置であって、
動画像における移動物体領域を検出する移動物体検出部と、
前記移動物体領域および該移動物体領域において異なる動きをする各部位についての情報を算出する移動物体情報算出部と、
前記移動物体情報算出部により算出された移動物体領域についての情報を既登録の全ての移動物体の情報と個別に比較して前記移動物体領域が１つだけの移動物体に対応するか複数の移動物体に対応するかどうかを判定し、１つだけの移動物体に対応すると判定された場合には、前記移動物体情報算出部により算出された情報を当該移動物体の情報として新規登録し、あるいは当該移動物体に対して既登録の情報を更新し、複数の移動物体に対応すると判定された場合には、前記移動物体情報算出部により算出された各部位についての情報を当該複数の移動物体に対して既登録の情報と各部位ごとに比較して前記移動物体情報算出部により算出された情報を個々の移動物体の情報に分離してから当該移動物体に対して既登録の情報を更新する移動体情報管理部を備えたことを特徴とする移動物体抽出装置。
【請求項２】
前記移動物体検出部は、
少なくとも２枚のフレーム画像から動きベクトルおよび該動くベクトルにおける特徴点群を検出し、
検出された動ベクトルに従って前記特徴点群を分類し、
分類された特徴点群から非凸型形状を抽出して移動物体領域の輪郭を生成し、
生成された輪郭から移動物体領域の大凡の領域を推定し、
推定された移動物体領域の大凡の領域を前景とし、画像全体を前景と背景に分割して移動物体領域を抽出することを特徴とする請求項１に記載の移動物体抽出装置。
【請求項３】
前記移動物体情報算出部は、
移動物体領域の幾何中心を移動物体領域の位置として算出し、
移動物体領域のピクセル数を移動物体領域のサイズとして算出し、
移動物体領域の各部位の動きベクトルの速度と方向により各部位を分類して、分類された各部位の幾何中心を各部位の位置として算出し、
分類された各部位の動きベクトルから各部位の移動速度と移動方向を算出することを特徴とする請求項１または２に記載の移動物体抽出装置。
【請求項４】
前記移動体情報管理部は、
各移動物体に対してＩＤを付与して、その情報を管理することを特徴とする請求項１ないし３のいずれか１つに記載の移動物体抽出装置。
【請求項５】
前記移動体情報管理部は、
前記移動物体領域が１つだけの移動物体に対応するか複数の移動物体に対応するかどうかを、当該移動物体領域と既登録の移動物体の領域の重なりから判定することを特徴とする請求項１ないし４のいずれか１つに記載の移動物体抽出装置。
【請求項６】
動画像から移動物体を抽出する移動物体抽出方法であって、
動画像における移動物体領域を検出するステップと、
前記移動物体領域および該移動物体領域において異なる動きをする各部位についての情報を算出するステップと、
前記情報を算出するステップで算出された移動物体領域についての情報を既登録の全ての移動物体の情報と個別に比較して前記移動物体領域が１つだけの移動物体に対応するか複数の移動物体に対応するかどうかを判定し、１つだけの移動物体に対応すると判定された場合には、前記情報を算出するステップで算出された情報を当該移動物体の情報として新規登録し、あるいは当該移動物体に対して既登録の情報を更新し、複数の移動物体に対応すると判定された場合には、前記情報を算出するステップで算出された各部位についての情報を当該複数の移動物体に対して既登録の情報と各部位ごとに比較して前記情報を算出するステップで算出された情報を個々の移動物体の情報に分離してから当該移動物体に対して既登録の情報を更新するステップを有することを特徴とする移動物体抽出方法。
【請求項７】
動画像から移動物体を抽出するためのプログラムであって、コンピュータを、
動画像における移動物体領域を検出する移動物体検出手段と、
前記移動物体領域および該移動物体領域において異なる動きをする各部位についての情報を算出する移動物体情報算出手段と、
前記移動物体情報算出部により算出された移動物体領域についての情報を既登録の全ての移動物体の情報と個別に比較して前記移動物体領域が１つだけの移動物体に対応するか複数の移動物体に対応するかどうかを判定し、１つだけの移動物体に対応すると判定された場合には、前記移動物体情報算出手段により算出された情報を当該移動物体の情報として新規登録し、あるいは当該移動物体に対して既登録の情報を更新し、複数の移動物体に対応すると判定された場合には、前記移動物体情報算出手段により算出された各部位についての情報を当該複数の移動物体に対して既登録の情報と各部位ごとに比較して前記移動物体情報算出部により算出された情報を個々の移動物体の情報に分離してから当該移動物体に対して既登録の情報を更新する移動体情報管理手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物体抽出装置、方法およびプログラムに関し、特に、カメラにより撮影された動画像中に複数の移動物体が存在し、移動物体間に重なりが生じた場合でも、各移動物体を個々に正確に抽出できる移動物体抽出装置、方法およびプログラムに関する。
【背景技術】
【０００２】
カメラにより撮影された動画像を用いて移動物体を監視したり、追跡したり、移動物体の動作を識別したりすることは、様々な分野で行われている。そのためには、種々の状況の動画像からでも移動物体を正確に抽出することが望まれる。
【０００３】
動画像から移動物体を抽出するための方法には、大別して、以下の３つの方法が存在する。
【０００４】
(1)背景差分に基づく方法
フレーム間の差分を求めることにより前景としての移動物体と背景を分離する方法であり、例えば、特許文献１に、背景画像推定に基づく物体抽出技術が記載されている。
【０００５】
(2)動ベクトルの分類に基づく方法
動ベクトル検出技術を利用して、動画像から移動物体の方向や速度などを算出し、それらの情報を分析し、各移動物体に対する動ベクトルを分類し、各移動物体を抽出する方法であり、例えば、特許文献２に、この技術が記載されている。
【０００６】
(3)動きの境界部分検出に基づく方法
動ベクトル検出技術をベースして、各移動物体に対する動きの境界部分を検出し、前景としての各移動物体の領域を推定する方法であり、例えば、非特許文献１に、この技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１３９７８号公報
【特許文献２】特開２０１０−２１１５７８号公報
【非特許文献】
【０００８】
【非特許文献１】Papazoglou, A., & Ferrari, V. Fast object segmentation in unconstrained video. IEEE International Conference on Computer Vision (ICCV), pp. 1777-1784, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１−２および非特許文献１に記載されている従来技術では、種々の状況でカメラにより撮影された動画像から移動物体を正確に抽出することが困難である。
【００１０】
例えば、特許文献１に記載されている背景差分に基づく方法は、カメラが固定されている場合、あるいは移動してもその移動が徐々である場合にしか適用できないという課題がある。また、複数の移動物体間に重なりが生じた場合、各移動物体を別々に抽出することが難しいという課題もある。
【００１１】
特許文献２に記載されている動ベクトルの分類に基づく方法では、同一の移動物体についての動ベクトルが全ての部分で均一であることが要求されるので、人物や動物のように、各部位で動ベクトルが異なり、その形状も変形する移動物体を抽出することが難しいという課題がある。また、複数の移動物体間に重なりが生じた場合、各移動物体を別々に抽出することが難しいという課題もある。
【００１２】
非特許文献１に記載されている動きの境界部分検出に基づく方法は、カメラが移動する場合にも移動物体の動きが部分的に異なる場合にも適用できるが、複数の移動物体間に重なりが生じた場合、各移動物体を別々に抽出することが難しいという課題がある。
【００１３】
本発明の目的は、上記課題を解決し、移動物体の各部位の動きが異なる場合でも、複数の移動物体間に重なりが生じた場合でも、各移動物体を別々に正確に抽出できる移動物体抽出装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明は、動画像から移動物体を抽出する移動物体抽出装置であって、動画像における移動物体領域を検出する移動物体検出部と、前記移動物体領域および該移動物体領域において異なる動きをする各部位についての情報を移動物体領域情報として算出する移動物体情報算出部と、前記移動物体情報算出部により算出された移動物体領域についての情報を既登録の全ての移動物体の情報と個別に比較して前記移動物体領域が複数の移動物体に対応するかどうかを判定し、対応しないと判定された場合には、移動物体領域情報を当該移動物体についての情報として当該移動物体に対して新規登録あるいは当該移動物体に対して既登録されている情報を更新し、対応すると判定された場合には、前記移動物体情報算出手段により算出された各部位についての情報を当該複数の移動物体に対して既登録の情報と各部位ごとに比較して該移動物体領域情報を個々の移動物体の領域情報に分離してから当該移動物体に対して既登録されている情報を更新する移動体情報管理部を備えたことを特徴としている。
【００１５】
ここで、前記移動物体検出部が、  少なくとも２枚のフレーム画像から動きベクトルおよび該動くベクトルにおける特徴点群を検出し、検出された動ベクトルに従って前記特徴点群を分類し、分類された特徴点群から非凸型形状を抽出して移動物体領域の輪郭を生成し、生成された輪郭から移動物体領域の大凡の領域を推定し、推定された移動物体領域の大凡の領域を前景とし、画像全体を前景と背景に分割して移動物体領域を抽出することが好ましい。
【００１６】
また、前記移動物体情報算出部が、移動物体領域の幾何中心を移動物体領域の位置として算出し、移動物体領域のピクセル数を移動物体領域のサイズとして算出し、移動物体領域の各部位の動きベクトルの速度と方向により各部位を分類して、分類された各部位の幾何中心を各部位の位置として算出し、分類された各部位の動きベクトルから各部位の移動速度と移動方向を算出することも好ましい。
【００１７】
また、前記移動体情報管理部が、個々の移動物体に対してＩＤを付与して個々の移動物体についての情報を管理することも好ましい。
【００１８】
さらに、前記移動体情報管理部が、前記移動物体領域情報が複数の移動物体に対応するかどうかを、当該移動物体領域と既登録されている個々の移動物体の領域のカバー関係により判定することも好ましい。
【００１９】
なお、本発明は、移動物体抽出装置としてだけでなく、各部での処理を順次実行する移動物体抽出方法として、あるいは、コンピュータを移動物体抽出装置の各手段として機能させるプログラムとしても実現できる。
【発明の効果】
【００２０】
本発明によれば、移動物体の各部位の動きが異なる場合や複数の移動物体間に重なりが生じた場合など、種々の状況でも各移動物体を別々に正確に抽出できる
【図面の簡単な説明】
【００２１】
【図１】本発明に係る移動体抽出装置の一実施形態を示すブロック図である。
【図２】カメラで撮影された時系列動画像の例を示す説明図である。
【図３】移動物体検出部における処理を示す説明図である。
【図４】移動物体の各部位における動きベクトルを分類した結果の一例を示す説明図である。
【図５】移動物体IDおよび情報管理部における処理を示すフローチャートである。
【図６】移動物体IDおよび情報管理部における処理の説明図である。
【図７】遮蔽移動物体の分離の説明図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明を説明する。
【００２３】
本発明は、カメラにより撮影された時系列動画像から移動物体を抽出するものである。以下では、移動物体が人物であるとして説明する。
【００２４】
図１は、本発明に係る移動物体抽出装置の一実施形態を示すブロック図である。
【００２５】
この移動物体抽出装置10は、移動物体検出部11、移動物体情報算出部12、移動物体IDおよび情報管理部13を備え、１台のカメラにより撮影された時系列動画像から移動物体としての人物を抽出し、各移動物体のIDおよび情報を管理する。
【００２６】
移動物体IDおよび情報管理部13は、移動物体更新部15および移動物体登録部16を備え、移動物体更新部15は、遮蔽移動物体分離部14を備える。
【００２７】
なお、移動物体抽出装置10の各部は、１つあるいは複数のプロセッサを用いてソフトウエアにより実現することができ、また、ハードウエアにより実現することもできる。
【００２８】
移動物体検出部11は、例えば、動きベクトル検出手法、点群密度に基づくクラスタリングアルゴリズム、非凸型形状の抽出手法、および画像全体を前景と背景に分割するアルゴリズムを併用して、移動物体領域を検出する。ここでの具体的処理は、後で詳細に説明するが、上記技術を併用することにより、移動物体領域を正確に検出できる。なお、複数の移動物体(人物)間に重なり(以下、遮蔽と称する)が生じた場合、ここでは、それらを含む領域が１つの移動物体領域として抽出される。
【００２９】
移動物体情報算出部12は、移動物体検出部11により検出された移動物体領域および該移動物体領域において異なる動きをする各部位についての情報を算出する。
【００３０】
移動物体IDおよび情報管理部13は、移動物体情報算出部12により算出された情報を既登録の情報と比較して、検出された移動物体が未登録であるとしてその領域情報を新規登録するか、検出された移動物体が既登録であるとして既登録の情報を更新するか、検出された移動物体が、遮蔽が生じている複数の移動物体を含むとして各移動物体に分離してから既登録の情報を更新するかを判断する。
【００３１】
なお、既登録とは、現フレームより以前のフレームで既に同一の移動物体が検出されて、その移動物体の情報が移動物体IDおよび情報管理部13内蔵あるいは外部のデータベース(図示せず)に既に登録されていることを意味し、以前での新規登録だけでなく更新も含まれる。
【００３２】
ここで、検出された移動物体が未登録であると判断された場合、その移動物体を新規移動物体とし、移動物体登録部16は、それに新規IDを付与し、その情報を新規登録する。
【００３３】
また、検出された移動物体が既登録であると判断された場合には、以前のIDを引き継ぎ、新たに算出された情報により既登録の情報を更新する。
【００３４】
また、検出された移動物体が、遮蔽が生じている複数の移動物体を含むと判断された場合、遮蔽移動物体分離部14が、その情報を個々の移動物体の情報に分離し、分離された情報により、また、必要な情報を算出してから、対応する既登録の情報を更新する。なお、この場合、移動体IDは、以前のIDを引き継ぐ。なお、遮蔽が生じている複数の移動物体が検出されるのは、後述するように、それより以前に個々の移動物体が検出されてから後であるので、ここでは、情報を更新するようにしている。
【００３５】
以下、図１の各部における処理を詳細に説明する。
【００３６】
図２は、カメラで撮影された時系列動画像の例であり、移動する２人の人物a,bをカメラで撮影したときの時系列動画像を示す。ここで、時刻t1は、２人の人物a,bが画面中に存在し、人物a,b間に遮蔽が生じていない任意時刻であり、時刻t2は、人物a,b間に遮蔽が生じる直前の時刻である。これらの画像では、人物a,bは、別々に抽出される。時刻t2+1は、遮蔽が生じた瞬間の時刻であり、この画像では、人物a,bは、１つの領域として抽出される。時系列動画像では、まず、１人の人物aが出現し、その後、他の人物bが出現して人物aに近づいて両者の間に遮蔽が生じる時系列動画像は、一般的なものであり、ここでは、そのような時系列動画像を対象としている。
【００３７】
移動物体検出部11は、まず、時系列動画像における少なくとも２枚のフレーム画像から特徴点(点群)の動きベクトルを検出する。ここでは、２枚のフレーム画像は、時系列動画像から選択した連続している２枚の画像である。また、特徴点は、動きベクトルを検出したフレーム画像上のピクセルである。この動きベクトルは、例えば、「Farneback, Gunnar. "Two-frame motion estimation based on polynomial expansion." In Image Analysis. Springer Berlin Heidelberg, pp. 363-370, 2003.」（文献1）に記載されている、画像の各ピクセルおよび各ピクセルの近傍領域の輝度値をベースとするオプティカルフロー法や、「Sundaram, Narayanan, Thomas Brox, and Kurt Keutzer. "Dense point trajectories by GPU-accelerated large displacement optical flow." Computer Vision-ECCV 2010. Springer Berlin Heidelberg, pp. 438-451, 2010.」（文献2）に記載されている高密度点群に基づく動きベクトル検出の手法を用いて検出できるが、その他の手法で検出してもよい。
【００３８】
図３(a)は、図２の時刻t1の画像から検出された移動点群を示している。ここでは、人物aの領域の点群Pa、人物bの領域の点群Pb、背景の僅かな領域の点群BG１、BG２とBG３が移動点群として検出されている。
【００３９】
これらの点群の動きベクトルから各点群の変位を推定でき、この変位が小さい点群は、背景に対する点群と識別でき、その以外は、前景としての移動物体に対する点群と識別できる。
【００４０】
そこで、移動物体検出部11は、次に、検出された点群を分類(クラスタリング)する。この分類には、例えば、「Ester, Martin, et al. "A density-based algorithm for discovering clusters in large spatial databases with noise." Kdd, vol. 96, no. 34, 1996.」（文献3）に記載されている点群密度に基づくクラスタリングアルゴリズムを用いることができるが、その他の手法を用いてもよい。
【００４１】
図３(b)は、図３(a)の点群を分類した結果を示す。ここで、点群Paは人物aに対応し、点群Pbは人物bに対応し、点群BG１、BG２とBG３は背景の僅かな領域に対応する。このように、カメラにより撮影された画像おける背景の僅かな領域に対する点群BG１、BG２とBG３が検出されることがあるが、その点群BG１、BG２とBG３の点の数は少ないので、点群密度に基づくクラスタリングアルゴリズム（文献3）で点群を分類し、さらに、例えば、分類された点群の点の数が予め設定した閾値以下の場合、背景に対する点群と識別できる。
【００４２】
移動物体検出部11は、さらに、検出された点群から移動物体領域の輪郭を生成する。この輪郭の生成は、例えば「F. Bernardini and C. Bajaj. "Sampling and reconstructing manifolds using alpha-shapes." In Technical Report CSD-TR-97-013, Dept. Comput. Sci., Purdue Univ., West Lafayette, 1997.」（文献4）に記載されている手法を用いて、検出された点群から非凸型形状を抽出することで実現できるが、その他の手法を用いてもよい。図３(c)は、図３(b)の点群から上記文献4の手法で抽出された輪郭を示す。
【００４３】
移動物体検出部11は、さらに、フレーム画像上のピクセルと、上記のようにして作成された輪郭の関係から大凡の移動物体領域を推定する。例えば、「Hormann, Kai, and Alexander Agathos. "The point in polygon problem for arbitrary polygons." Computational Geometry, vol. 20(3), pp. 131-144, 2001.」（文献5）を利用し、フレーム画像上のピクセルと作成された輪郭の関係からポリゴン上のポイント問題として計算することにより、図３(d)のような大凡の移動物体領域を推定できるが、その他の手法を用いてもよい。
【００４４】
移動物体検出部11は、さらに、上記のようにして推定された大凡の移動物体領域を前景として使って、画像全体を前景と背景に分割するアルゴリズムで、図３(e)のような移動物体領域を正確に抽出する。画像全体を前景と背景に分割するアルゴリズムとしては、例えば、「Rother, Carsten, Vladimir Kolmogorov, and Andrew Blake. "Grabcut: Interactive foreground extraction using iterated graph cuts." ACM Transactions on Graphics (TOG), vol. 23(3), pp. 309-314, 2004.」（文献6）に記載されている「Grabcut方法」が知られており、これを用いることができるが、その他の手法を用いてもよい。
【００４５】
移動物体情報算出部12は、移動物体検出部11により検出された移動物体領域の位置とサイズ、動きが異なる各部位の位置およびその移動速度と移動方向を含む移動物体情報を算出する。
【００４６】
移動物体領域の位置は、移動物体検出部11により検出された移動物体領域の輪郭を抽出し、抽出された輪郭におけるポリゴンの中心点を算出することにより求めることができる。例えば、「Bourke, Paul. "Calculating the area and centroid of a polygon." URL. paulbourke.net/geometry/polygonmesh/, 1988.」（文献7）に記載されている手法を用いてポリゴンの中心点を算出し、この中心点を移動物体領域の位置とする。その他の手法で移動物体領域の位置を算出してもよい。
【００４７】
また、移動物体領域のサイズは、移動物体検出部11により検出された移動物体領域の全てのピクセルの数を計算することにより算出できる。
【００４８】
移動物体領域の各部位の移動速度vと移動方向d(Δx,Δy)は、移動物体検出部11により検出された動きベクトルから推定できる。例えば、上記文献1に記載されているオプティカルフロー法で、時刻t-1のフレーム画像で検出した特徴点pt-1(xt-1,yt-1)と時刻tのフレーム画像で検出した特徴点pt(xt,yt)を一つの軌跡のペアとすると、移動速度vtと移動方向dt(Δxt,Δyt)は、下記式(1),(2),(3)に従って算出できる。
【００４９】
【数１】
0006607630.tif 000002
【００５０】
【数２】
0006607630.tif 000003
【００５１】
【数３】
0006607630.tif 000004
【００５２】
上記式(1),(2),(3)により算出された特徴点pt-1とptに対する動きベクトルの移動速度vtと移動方向dt(Δxt,Δyt)を合わせて新たな特徴量wt(xt,yt,vt,Δxt,Δyt)とする。そして、全ての動きベクトルに対して新たな特徴量wtが計算し、それを分類する。この分類は、「Kailing, Karin, Hans-Peter Kriegel, and Peer Kroger. "Density-connected subspace clustering for high-dimensional data." Proc. SDM, vol. 4, 2004.」（文献8）に記載されているSUBCLUという高次元ベクトルクラスタリング方法で行えばよい。図４は、移動物体の各部位における動きベクトルを分類して結果の一例を示す。
【００５３】
このようにして分類された新たな特徴量を分類グループごとに平均化することにより、各分類グループに対する各部位の移動速度と移動方向を推定できる。また、各部位の位置は、各分類グループに対する全ての特徴点におけるポリゴンの中心として推定できる。
【００５４】
次に、移動物体IDおよび情報管理部13における処理について説明する。図５は、ここでの処理を示すフローチャートである。
【００５５】
移動物体IDおよび情報管理部13は、移動物体情報算出部12により算出された移動物体領域の情報と既登録の情報を比較することにより、検出された移動物体領域が新規の移動物体に対するものか、既登録の移動物体に対するものか、複数の移動物体間に遮蔽が生じて検出された移動物体に対するものかを判断し、新規の移動物体に対するものと判断された場合には、その移動物体領域の情報を当該移動物体に情報として新規IDとともに新規登録し、既登録の移動物体に対するものと判断された場合には、以前のIDを引き継いで、既登録の情報を新たに算出された情報に更新し、複数の移動物体間に遮蔽が生じて検出された移動物体に対するものと判断された場合には、それを個々の移動物体の情報に分離してから、以前のIDを引き継いで、既登録の情報を新たな情報に更新する。なお、複数の移動物体間に遮蔽が生じるのは、図３に示されているように、それより以前に個々の移動物体が検出されてから後であるので、ここでは、情報を更新するようにしている。
【００５６】
例えば、移動物体a、bの情報が既登録であり、移動物体検出部11により移動物体Aが検出されたとすると、図５のS51では、移動物体Aの情報を既登録の全ての情報(移動物体a、bの情報)と個別に比較し、下記式(4)により領域カバー率を算出し、それが閾値T1以下か否かを判定する。なお、ここでは、各移動物体領域の位置に従って位置合わせした上で比較する。
【００５７】
【数４】
0006607630.tif 000005
【００５８】
S51で、既登録の全ての移動物体a,bの領域に対して上記式(4)により算出された移動物体Aの領域のカバー率が、予め設定された閾値T1以下と判定された場合、S52で、移動物体Aに対して新規IDを付与し、S53で、移動物体Aおよびその各部位の情報を、移動物体IDおよび情報管理部13の移動物体登録部16により新規登録する。図６(a)は、この場合の移動物体Aと既登録移動物体aの関係を示している。このように、移動物体Aの領域がカバーする既登録移動物体aの領域が、閾値T1以下の場合、移動物体Aは新規移動物体として、新規IDを付与するとともに、移動物体Aおよびその各部位の情報を新規登録する。
【００５９】
S51で、領域カバー率が閾値TIを超えると判定された場合、移動物体Aの領域がカバーする既登録移動物体を１つの参照移動物体として選択する。そして、S54で、これにより選択された参照移動物体が既登録の移動物体を１つだけを含むか複数含むかを判定し、１つだけを含むと判定された場合には、参照移動物体として選択された既登録の移動物体の情報を、移動物体Aの情報により更新する。なお、IDは、既登録の移動物体のIDを引き継ぐ。図６(b)は、移動物体Aの領域がカバーする既登録移動物体が１つだけの場合の、移動物体Aと既登録移動物体aの関係を示している。
【００６０】
S54で、選択された参照移動物体が、既登録の移動物体を複数含む判定された場合には、移動物体Aは、複数の移動物体間で遮蔽が生じて検出された移動物体であるので、S56に進み、移動物体分離部14で遮蔽移動体分離を行う。なお、参照移動物体が、既登録の移動物体を複数含むかどうかは、参照移動物体が含む移動物体IDから分かる。図６(c)は、移動物体Aの領域がカバーする既登録の移動物体が２つの場合の、移動物体Aと既登録移動物体a,bの関係を示している。
【００６１】
S56では、移動物体情報算出部12により算出された移動物体Aの各部位の情報、すなわち、各部位の位置およびその移動速度と移動方向と、選択された参照移動物体の複数の既登録の移動物体の各部位の情報を比較して、マッチング処理する。このマッチング処理では、移動物体Aの部位の１つを選択して、参照移動物体が含む全ての既登録移動物体の各部位と比較し、Diff=(位置の差+移動速度の差+移動方向の差)を計算し、これにより計算されたDiffが最も小さい値となる既登録の移動物体の部位を、移動物体Aにおいて選択された１つの部位に対応する部位とする。同様に、移動物体Aの他の部位を１つずつ選択し、各部位に対応する既登録の移動物体の部位を探し出す。
【００６２】
以上のようにして、移動物体Aの各部位を複数の既登録移動物体に対応させることができるので、対応する既登録移動物体に従って移動物体Aを各移動物体に分離することができる。
【００６３】
図７は、遮蔽移動物体の分離の説明図である。
【００６４】
ここでは、移動物体Aが２つの既登録移動物体a,bをカバーし、その領域カバー率が閾値T1以上の場合を例とし、移動物体Aの１８個の部位A1-A18の位置およびその移動速度と移動方向が算出されたとしている。また、既登録移動物体aの９個の部位a1-a9の位置およびその移動速度と移動方向が算出されて、その移動物体IDとともに既登録され、既登録移動物体bの９個の部位b1-b9の位置およびその移動速度と移動方向が算出されて、その移動物体IDとともに既登録されているとしている。
【００６５】
順番は任意であるが、まず、移動物体Aの部位A1と既登録移動物体a,bの全ての部位a1-a9,b1-b9との間で上記Diffを計算し、部位A1に対応する部位a1を探し出す。同様に、移動物体Aの部位A2-A18に対応する部位a2-a9,b1-b9を探し出す。そして、既登録移動物体aの各部位a1-a9に対応する移動物体Aの各部位A1-A9を１つの移動物体として分離して、該移動物体に既登録移動物体aと同じ移動物体IDを付与し、また、既登録移動物体bの各部位b1-b9に対応する移動物体Aの各部位A10-A18を１つの移動物体として分離して、該移動物体に既登録移動物体bと同じ移動物体IDを付与する。なお、分離された移動物体の位置およびサイズは、分離後に算出すればよい。
【００６６】
以降は、S55に進んで、S54で１つの既登録移動物体と判定された場合と同様に、以前のIDを引き継ぐとともに、既登録移動物体a,bの情報を、移動物体Aが分離された移動物体の情報により更新する。
【００６７】
以上実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、以上では、移動物体を人物として説明したが、移動物体は、人物以外の動物、車などでもよく、それらが混在していても構わない。
【００６８】
また、本発明は、移動物体抽出装置としてだけでなく、各部での処理を順次実行する移動物体抽出方法としても、コンピュータを移動物体抽出装置の各手段として機能させるプログラムとしても実現できる。
【符号の説明】
【００６９】
10・・・移動物体抽出装置、11・・・移動物体検出部、12・・・移動物体情報算出部、
13・・・移動物体IDおよび情報管理部、14・・・遮蔽移動物体分離部、15・・・移動物体更新部、16・・・移動物体登録部
【図１】
0006607630.tif 000006
【図２】
0006607630.tif 000007
【図３】
0006607630.tif 000008
【図４】
0006607630.tif 000009
【図５】
0006607630.tif 000010
【図６】
0006607630.tif 000011
【図７】
0006607630.tif 000012