(57)【特許請求の範囲】
【請求項１】
動画像を入力する画像入力部と、前記画像入力部からの画像データをフレーム単位で格納する画像格納部と、前記画像格納部に格納されているフレーム画像データに対してフレーム間差分演算処理を行う画像間演算処理部と、前記画像間演算処理部によって検出された動領域に対し移動物体の存在している領域のみを検出する動領域整形部と、前記動領域整形部によって検出された動領域内の画像データを処理して移動物体の特徴量を検出する特徴量検出部と、前記動領域整形部によって検出された動領域情報を基に移動物体の位置の特徴量を検出する位置検出部と、現フレームの前記移動物体の特徴量と前フレーム時に算出した時系列特徴量とから現フレームにおける新たな時系列特徴量を算出して更新する時系列処理部と、前記特徴量検出部及び位置検出部で検出された特徴量と前記時系列処理部で算出された時系列特徴量の結果を統合して移動物体の識別を行う移動物体識別部とを備え、
前記移動物体識別部が、前記特徴量検出部、位置検出部及び時系列処理部から送られてきた情報を統合して移動物体の特徴量の評価を行い、特徴量の評価結果が判定閾値を満たさない場合には、当該特徴量検出に相当する前記特徴量検出部あるいは前記位置検出部に対しパラメータ変更指令を指示し、また判定閾値を満たす結果が得られた特徴量については、その特徴量を基にその移動物体を検出する最適パラメータを検出し、それを前記画像間演算処理部、動領域整形部、特徴量検出部、位置検出部に伝達することを特徴とする動画像処理装置。
【請求項２】
動領域整形部が、動領域内の画像データのエッジ特徴点を検出することによって移動物体の輪郭抽出を行い、前記輪郭抽出結果から動領域整形を行う請求項１記載の動画像処理装置。
【請求項３】
動領域整形部が、画像間演算処理部によって検出された動領域とＮフレーム前の動領域とを統合することによって整形し、動領域を補正する請求項１記載の動画像処理装置。
【請求項４】
特徴量検出部が、動領域内の画像データの輝度情報を、移動物体の特徴量として検出する請求項１から３のいずれかに記載の動画像処理装置。
【請求項５】
特徴量検出部が、動領域内の画像データの輝度情報として、動領域内画像データの輝度分布を基に動領域をＭ個（Ｍは正の整数）に分割し、分割された分割動領域の代表値となる輝度を移動物体の特徴量として検出する請求項４記載の動画像処理装置。
【請求項６】
特徴量検出部が、輝度によって分割された分割動領域の大きさの比率を移動物体の特徴量として検出する請求項５記載の動画像処理装置。
【請求項７】
特徴量検出部が、分割された分割動領域の各位置情報を求め、移動物体の特徴量として検出する請求項５記載の動画像処理装置。
【請求項８】
特徴量検出部が、動領域内の画像データの色情報を、移動物体の特徴量として検出する請求項１から３のいずれかに記載の動画像処理装置。
【請求項９】
特徴量検出部が、動領域内の画像データの色情報として、動領域内画像データの彩度がある閾値未満となる画素数の全体に占める割合を移動物体の特徴量として検出する請求項８記載の動画像処理装置。
【請求項１０】
特徴量検出部が、動領域内の画像データの色情報として、動領域内画像データの彩度がある閾値以上となる画素の色相値の度数分布を基に動領域をＭ個（Ｍは正の整数）に分割し、分割された分割動領域の代表値となる色相値を移動物体の特徴量として検出する請求項８記載の動画像処理装置。
【請求項１１】
特徴量検出部が、色相値によって分割された分割動領域の大きさの比率を移動物体の特徴量として検出する請求項１０記載の動画像処理装置。
【請求項１２】
特徴量検出部が、分割された分割動領域の各位置情報を求め、これを移動物体の特徴量として検出する請求項１０記載の動画像処理装置。
【請求項１３】
特徴量検出部が、動領域内の画像データの形状情報を求め、それを移動物体の特徴量として検出する請求項１から３のいずれかに記載の動画像処理装置。
【請求項１４】
特徴量検出部が、動領域の画素数をその動領域に対応する移動物体の形状情報として検出し、移動物体の特徴量とする請求項１３記載の動画像処理装置。
【請求項１５】
特徴量検出部が、動領域の外接長方形を作成し、動領域の画素数の外接長方形の画素数に占める割合を動領域の画像データの形状情報として検出し、移動物体の特徴量とする請求項１３記載の動画像処理装置。
【請求項１６】
特徴量検出部が、動領域内の画像データのテクスチャ情報を求め、それを移動物体の特徴量として検出する請求項１から３のいずれかに記載の動画像処理装置。
【請求項１７】
特徴量検出部が、動領域内の画像データのテクスチャ情報として動領域内の輝度微分値を求め、その分布を基に動領域をＭ個（Ｍは正の整数）に分割し、分割された分割動領域の代表値となる輝度微分値を移動物体の特徴量として検出する請求項１６記載の動画像処理装置。
【請求項１８】
特徴量検出部が、テクスチャ情報によって分割された分割動領域の大きさの比率を移動物体の特徴量として検出する請求項１７記載の動画像処理装置。
【請求項１９】
特徴量検出部が、分割された分割動領域の各位置情報を求め、移動物体の特徴量として検出する請求項１７記載の動画像処理装置。
【請求項２０】
特徴量検出部が、移動物体の特徴点における移動ベクトル検出部を有する請求項１から３のいずれかに記載の動画処理装置。
【請求項２１】
位置検出部が、移動物体と運動平面との接点の最上点を検出して位置情報とする請求項１から２０のいずれかに記載の動画像処理装置。
【請求項２２】
位置検出部が、移動物体と運動平面との接点を検出して位置情報とする請求項１から２０のいずれかに記載の動画像処理装置。
【請求項２３】
位置検出部が、移動物体と運動平面との接点を検出して位置情報とし、遮蔽物で運動平面との接点が隠れた場合移動物体の接点からの最上点を検出し、その位置から移動物体の推定高により運動平面との接点位置を求め位置情報とする請求項２２記載の動画像処理装置。
【請求項２４】
時系列処理部が、各特徴量検出部によって検出された特徴量の時系列特徴量として、現フレーム処理において検出された特徴量とＫフレーム前（Ｋは正の整数）の処理に検出された特徴量との差の絶対値とそれ以前のフレーム処理において算出されていたフレーム間の差の絶対値の時系列特徴量を基に新たな時系列特徴量を算出し、現フレームにおけるフレーム間時系列特徴量として算出する請求項１から２３のいずれかに記載の動画像処理装置。
【請求項２５】
移動物体識別部が、移動物体の特徴点において検出された動領域内の複数の移動ベクトルによって、移動物体が剛体であるか非剛体であるかを識別する請求項２０記載の動画像処理装置。
【請求項２６】
移動物体識別部が、非剛体の形状特徴量の時間的変化の固有周期により、非剛体の運動の特徴を抽出し識別を行う請求項２５記載の動画像処理装置。
【請求項２７】
移動物体識別部が、現フレーム処理において検出された特徴量と時系列特徴量との差が判定閾値以下の場合に、特徴量が不十分であると評価する請求項１から２６のいずれかに記載の動画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、動画像入力装置から入力された画像データを連続的に処理し、そこから得られた情報から移動物体の検出及び移動経路追跡を行うことにより人物や自動車といった移動物体の動作監視を行う動画像処理装置に関するものである。
【０００２】
【従来の技術】
動画像を連続的に処理して移動物体を検出するシステムは、既に研究開発が行われており、いくつか実用化されている。これら動画像処理装置における移動物体検出処理を図８を用いて説明する。図８は従来の動画像処理装置のブロック結線図である。図８において、８１は画像入力部、８２は画像格納部、８３は画像前処理部、８４は動領域整形部、８５は移動物体追跡部である。
【０００３】
以下、上記従来の動画像処理装置の動作について説明する。画像入力部８１から入力された動画像は、画像格納部８２に格納され、画像前処理部８３によって前処理が行われる。前処理としては、Ｋフレーム前（Ｋは正の整数）の画像と現画像との差分処理を行うフレーム間差分処理や背景画像を作成して現画像との差分処理を行う背景差分処理、或いは単一画像の空間微分処理が用いられる。前処理によって検出された動領域は、動領域整形部８４においてノイズ除去等の領域整形処理が行われ、動領域が確定する。動領域が確定すると、移動物体追跡部８５において、動領域情報及びその履歴情報を用いて以前に検出された動領域との同定を行い、同一移動物体を追跡する。これらの処理を動画像に対して連続的に行うことで、移動物体を検出し、追跡して行くことができる。
【０００４】
画像前処理部８３の前処理においては閾値処理が行われる。また、動領域整形部８４のノイズ除去や領域統合等の処理においても、その判定パラメータを用いる。従来、これらのパラメータは、視野範囲や俯角等の撮像条件に整合した最適値が予め画像処理装置に提供されていた。屋外の明るさのように変化する環境条件に適応させる必要のある差分閾値のような動的パラメータについては、画像処理によって処理画像内の輝度変化を検出する方法もしくは他センサを用いて環境変化を検出する方法が行われ、この結果によって画像処理装置が最適パラメータを選択していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の動画像処理システムにおいては、以下の問題点が指摘されていた。まず、フレーム間差分処理においては移動物体が静止した際には差分が検出されず、追跡が困難になることである。また、背景差分処理においては、常に最適な背景画像を作成することが必要であり、環境変化の急峻な屋外等では、背景画像作成及び更新が大きな問題になる。空間微分処理は、動領域のみが検出される処理ではないので、移動物体検出に用いる場合は、物体の存在領域を予め設定する必要がある。或いは空間微分画像の差分処理によって動領域を検出する、もしくは静止物体も含めて認識し移動物体を検出する、といった手法が考えられるが、空間微分画像の単純な差分処理では、動領域を正確に検出することは難しく、また上記フレーム間差分処理及び背景差分処理と同様の問題点が存在する。一方、静止物体認識は、認識対象物体が特定できる環境でなければ実現は難しく、適応できる範囲は限定せざるを得ない。したがって、これら前処理法を用いて正確な移動物体を検出し、追跡するためには、以上に対する解決策が必要であった。
【０００６】
また画像前処理部８３及び動領域整形部８４においては、パラメータが用いられるが、予め与えられたパラメータが十分ではないため、移動物体がうまく検出できない場合や、ノイズや影の除去処理がうまく行かない場合が、また環境条件をうまく検出できずに適したパラメータを選択することができない場合が存在した。或いは環境条件がうまく検出できても、その環境条件のみで最適パラメータが決定できない場合も存在していた。
【０００７】
本発明は、上記従来の問題点を解決するもので、移動物体の特徴量を検出し、評価判定することで、フレーム間差分処理を用いても移動物体の静止状態も含めた追跡を実現し、かつ環境条件により決定されたパラメータが不十分であった場合に、即座に最適なパラメータに変更して正確な移動物体検出を実現することのできる動画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像処理装置は、動画像を入力する画像入力部と、前記画像入力部からの画像データをフレーム単位で格納する画像格納部と、前記画像格納部に格納されているフレーム画像データに対してフレーム間差分演算処理を行う画像間演算処理部と、前記画像間演算処理部によって検出された動領域に対し移動物体の存在している領域のみを検出する動領域整形部と、前記動領域整形部によって検出された動領域内の画像データを処理して移動物体の特徴量を検出する特徴量検出部と、前記動領域整形部によって検出された動領域情報を基に移動物体の位置の特徴量を検出する位置検出部と、現フレームの前記移動物体の特徴量と前フレーム時に算出した時系列特徴量とから現フレームにおける新たな時系列特徴量を算出して更新する時系列処理部と、前記特徴量検出部及び位置検出部で検出された特徴量と前記時系列処理部で算出された時系列特徴量の結果を統合して移動物体の識別を行う移動物体識別部を備え、前記移動物体識別部が、前記特徴量検出部、位置検出部及び時系列処理部から送られてきた情報を統合して移動物体の特徴量の評価を行い、特徴量の評価結果が不十分である場合には、前記画像間演算処理部、動領域整形部、特徴量検出部、位置検出部に対しパラメータ変更指令を指示することを特徴としている。
【０００９】
【作用】
上記構成によって、本発明の動画像処理装置は、移動物体の特徴量を検出し、評価判定することにより、移動物体を同定し追跡することができる。また、フレーム間差分処理を用いた場合に、移動物体が静止して動領域が検出不可能な場合でも、再度動作を開始して動領域が検出されたときに、移動物体を特徴量によって同定することにより、同一物体と識別して追跡することができる。また、移動物体識別部は、特徴量それ自体と時系列特徴量を用いて移動物体検出の評価を行い、結果が不十分であった場合は、その特徴量検出に相当する処理部に対して処理条件の変更を指令することができ、ある程度十分な結果が得られた特徴量については、その特徴量を基にその移動物体を検出する最適条件を検出し、それを画像間演算処理部、動領域整形部、特徴量検出部、位置検出部に伝達することもできる。
【００１０】
【実施例】
（実施例１）
（全体の構成）
以下、本発明の第１の実施例について、図１を参照して説明する。図１は動画像処理装置のブロック結線図である。図１において、１は画像入力部、２は画像格納部、３は画像間演算処理部、４は動領域整形部、５は特徴量検出部、６は位置検出部、７は時系列処理部、８は移動物体識別部である。
【００１１】
次に上記実施例の動作について説明する。画像入力部１から入力された動画像は、画像格納部２に格納される。画像格納部２は、Ｎフレーム分（Ｎは正の整数）の画像が格納可能である。画像間演算処理部３は、これらＮ枚の画像を用いて、設定されている時間間隔によるフレーム間差分演算が行われ、ある閾値以上の差が検出された画素を抽出する。これは、Ｎフレームを累積加算した背景画像と現フレームとの差分演算処理であってもよい。動領域整形部４は、この差分結果を基に、ノイズや影の除去処理及び領域統合処理を行って動領域を決定する。特徴量検出部５は、動領域整形部４によって決定された動領域内の画像データを処理し、特徴量を検出する。位置検出部６は、動領域検出情報から画面上の位置座標の特徴量を移動物体位置情報として算出する。特徴量検出部５及び位置検出部６によって検出された情報は、時系列処理部７に送られ、履歴情報に基づいて時系列特徴量が算出される（後述する実施例２９参照）。特徴量検出部５、位置検出部６及び時系列処理部７の出力情報は、移動物体識別部８へと送られ、移動物体識別部８は、これら送られてきた情報を統合処理し、移動物体を識別する。識別処理は、特徴量の評価と判定処理により行われる。特徴量評価は、検出対象に基づく特徴量それ自体の評価、現フレーム特徴量と前フレーム特徴量との距離による評価、時系列特徴量の評価、そして位置情報を用いた複数の移動物体が画面上で交差したというような特殊事象認識による評価を行う。次に、これら評価結果を用いた判定処理を行う。この判定処理では、複数の移動物体交差という特殊事象の発生により特徴量評価結果が判定条件を満たさないという結果を許容する。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００１２】
以上のように、本実施例によれば、画像間演算処理部３によって検出され、動領域整形部４によって領域整形された動領域から特徴量検出部５及び位置検出部６によって移動物体の特徴量を検出し、この特徴量及び時系列処理部７によって作成された時系列特徴量を移動物体識別部８によって統合して処理することにより、移動物体を識別し追跡することができるという点で優れた効果が得られる。
【００１３】
（実施例２）
（動領域整形部）
次に、本発明の第２の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは動領域整形部４以降における動作である。以下、本実施例の動作について説明する。
【００１４】
図１において、入力部１から画像間演算処理部３迄の処理の流れは、実施例１における説明と同様である。画像間演算処理部３によって検出された動領域に対し、動領域整形部４は、動領域内画像データの輝度に対する空間微分処理を行い、エッジ特徴点を検出する。空間微分処理は、勾配オペレータを用いることも可能であり、また二次差分法を用いて零交差点を検出する方法でも可能である。エッジ特徴点を輪郭と見なして動領域を補正する。以下、この処理を図２を用いて説明する。
【００１５】
図２において、２１は画像間演算処理部３によって検出された動領域、２２は検出対象移動物体領域である。画像間演算処理部３によって検出された動領域２１内のエッジ特徴点データを走査線方向に加算処理し、輪郭上限Ａ及び下限Ｂを検出する。ＡからＢの間を処理領域とする。まず動領域左側輪郭線Ｌ１上から右方向にエッジ特徴点を検索する。特徴点が検出されたら輪郭候補点として登録する。右側輪郭線Ｌ２も同様にして左方向に検索する。次に動領域２１内のエッジ特徴点データを走査線に垂直方向に加算処理し、輪郭左限Ｃ及び右限Ｄを検出する。ＣからＤの間を処理領域とし上下輪郭線を検出する。Ｌ３上を下方向にエッジ特徴点を検索して上輪郭線を、Ｌ４上を上方向にエッジ特徴点を検索して下輪郭線を検出する。これら輪郭抽出処理においては、ノイズやエッジの欠落が発生すると正しい輪郭点は検出されないので、輪郭抽出処理の前にノイズ除去処理や平滑化処理を行っても良い。こうして検出された輪郭線を動領域として、以下、実施例１と同様にして同一移動物体を追跡する。
【００１６】
以上のように、本実施例によれば、動領域整形部４によって移動物体の正確な輪郭抽出を実現することにより、移動物体の的確な特徴量の検出が可能な動領域を決定することができるという点で優れた効果が得られる。
【００１７】
（実施例３）
次に、本発明の第３の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは動領域整形部４以降における動作である。以下、本実施例の動作について説明する。
【００１８】
図１において、入力部１から画像間演算処理部３迄の処理の流れは、実施例１における説明と同様である。画像間演算処理部３によって検出された動領域に対し、動領域整形部４は、動領域整形処理を行う。以下、この処理を図３を用いて説明する。
【００１９】
図３において、３１はＮフレーム（Ｎは正の整数）前の動領域及び外接長方形、３２及び３３は現フレームの動領域及び外接長方形、３４はこれら外接長方形を統合したもの、３５は全ての外接長方形３４を包含する統合外接長方形内に現フレーム動領域をプロットしたもの、そして３６は統合外接長方形３５を現フレーム動領域に外接するように新たに整形した外接長方形を示したものである。動領域整形部４は、現フレームにおける動領域に対する外接長方形３２、３３とＮフレーム前の外接長方形３１を３４のように統合し、その全てを包含する外接長方形３５を作成する。そして外接長方形３５の中から現フレーム動領域に外接する唯一の外接長方形３６を検出する。これを現フレームにおける外接長方形と決定し、この外接長方形内の動領域を同一移動物体の動領域とする。
【００２０】
以上のように、本実施例によれば、動領域整形部４によって移動物体を包含する正確な外接長方形の検出を実現することにより、移動物体を的確に識別し追跡して行くことができるという点で優れた効果が得られる。
【００２１】
（実施例４）
（特徴量検出部）
以下、本発明の第４の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００２２】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの輝度情報を処理し、動領域内の輝度平均値及び分散値を算出する。これを移動物体の特徴量として時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレーム平均値及び分散値と前フレーム平均値及び分散値の差の評価、時系列処理部７において算出された平均値及び分散値との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００２３】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として輝度平均値及び分散値を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００２４】
（実施例５）
以下、本発明の第５の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００２５】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの輝度情報を処理し、動領域内の輝度の度数分布を算出する。度数分布は、２５６階調のデータの場合、８階調、１６階調もしくは３２階調毎に度数を計算し分布を求める。求められた度数分布には、動領域全画素数もしくは最頻度度数を基に正規化処理を行う。これを移動物体の特徴量として移動物体識別部８に送出する。移動物体識別部８は、前フレームの輝度度数分布を保持しており、これと現フレームの度数分布との距離を算出する。距離算出方法としては、市街地距離（city block distance 、各度数の差の絶対値の総和、実施例１６参照のこと。）やユークリッド距離（各度数の差の自乗の総和）を用いても良いが、ここではＤＰマッチング法を用いる。現フレームの度数分布列をｃi 、前フレームの度数分布列をｐj （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）としたとき，距離Ｄは下記式（１）により算出される。
【００２６】
【数１】
0004020982.tif 000002
ここで、この距離算出の際には整合窓の制約条件として下記式（２）を課すものとする。
【００２７】
｜ｉ−ｊ｜≦ｒ（ｒは予め設定されていた正の整数）      ・・・（２）
距離Ｄが予め設定されていた閾値以下となったとき、これらの動領域を同一の移動物体のものとする。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００２８】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として輝度の度数分布を算出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００２９】
（実施例６）
以下、本発明の第６の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００３０】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの輝度情報を処理し、動領域内の輝度をＭ個（Ｍは正の整数）に分割する。Ｍ＝２の場合、閾値として平均値を用いることができる。その他にクラス間分散が最大となる閾値を用いる方法が考えられ、この場合は、Ｍが２以上であっても分割数が決定できれば用いることが可能である。さらに、度数分布を用いて分割数を決定し、分割する方法も考えられる。以下、この処理を図４を用いて説明する。
【００３１】
図４は度数分布である。度数分布は、２５６階調のデータの場合、８階調、１６階調もしくは３２階調毎に度数を計算し分布を求める。このような度数分布となった場合、極大極小点検出により度数分布の分割を行う。ここでは度数分布に対して微分処理を行う。ここで微係数が正から負に変化した数を領域分割数と考えることができる。図４では点Ａ、点Ｂ、点Ｃの３極大点が存在するため、分割数は３である。更に微係数が負から正に変化した時の階調値が領域分割閾値と考えることができる。図４では点Ｄ及び点Ｅが相当する。但し輝度分布の主成分を検出するために、微分処理の際には必要であれば平滑化処理を行う。こうして領域分割数Ｍ及び分割閾値が決定したならばこれら閾値を用いて領域分割を行い、Ｍ個の分割領域におけるそれぞれの輝度の代表値を求める。代表値としては、各分割領域毎の輝度の平均値でも良いし、また各分割領域における最頻度となる輝度値でも良い。これらを特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームと前フレームの領域分割数Ｍの比較、各代表値の差の評価、時系列処理部７において算出された分割数及び代表値との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００３２】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として動領域を輝度分布を基にＭ個に分割し、各分割領域の代表値となる輝度を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００３３】
（実施例７）
以下、本発明の第７の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００３４】
図１において、入力部１から動領域整形部４までの処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は実施例６と同様に、輝度の度数分布を算出して輝度分割閾値を検出し、この閾値を基に度数分布をＭ個（Ｍは正の整数）に分割する。そして各分割領域の大きさの比率を検出する。領域の大きさとしては、各分割領域に属する全画素数でも良いし、各分割領域における最頻度の度数を用いても良い。これらを特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームと前フレームにおけるこの特徴量の差の評価、時系列処理部７において算出された評価値との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００３５】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として動領域を輝度分布を基にＭ個に分割し、その分割領域の大きさの比率を検出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００３６】
（実施例８）
以下、本発明の第８の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００３７】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例６で示したように動領域内画像データを輝度情報を基にＭ個（Ｍは正の整数）に分割する。更に分割された各分割領域の位置情報を検出する。以下、この処理を図５を用いて説明する。
【００３８】
図５において、５１〜５３は分割領域であり、この中から領域５１の位置情報を検出する。まず動領域の中から分割領域５１に属する画像データを検出する。このとき各画素の輝度情報は検出する必要なく、各画素の位置情報のみ検出すれば良い。次にこの検出した画像データを走査線に対して垂直及び水平方向に加算処理して分割領域の上限座標ｙU 、下限座標ｙL 、左限座標ｘL 、右限座標ｘR を検出する。これらの座標決定の際には、ノイズを除去するために閾値以上の加算値が得られた点を求める座標として判定する。これらを位置情報としても良いが、上限と下限の中点ｙC 及び左限と右限の中点ｘC の座標Ｐを計算し、それをこの分割領域の位置情報とする。図５においては１個の領域として検出されたが、２個以上の領域に分割された場合はその全体の中心の座標を位置情報としても良いし、予め設定してある閾値以上の大きさとなる領域についてそれぞれの中心座標を位置情報として検出しても良い。この処理を全ての分割領域について行う。これらを特徴量として時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は，これら送られてきた特徴量の評価を行う。特徴量評価は、実施例６の評価に加えて、各分割領域の位置情報から対応する現フレームと前フレームの分割領域間の距離を算出し、その総和値を全分割領域の差として評価する。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００３９】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として動領域を輝度分布を基にＭ個に分割し、各分割領域の位置を検出してそれら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００４０】
（実施例９）
以下、本発明の第９の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００４１】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの色情報として彩度を処理し、動領域内の彩度の平均値を算出する。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレーム平均値と前フレーム平均値の差の評価、時系列処理部７において算出された平均値との差、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００４２】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として彩度の平均値を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００４３】
（実施例１０）
以下、本発明の第１０の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００４４】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの色情報として彩度を処理し、動領域内の彩度の度数分布を算出する。度数分布は、彩度の値を基に８分割、１６分割もしくは３２分割し、その分割毎に度数を計算して分布を求める。求められた度数分布には、動領域全画素数もしくは最頻度度数を基に正規化処理を行う。これを移動物体の特徴量として移動物体識別部８に送出する。移動物体識別部８は、前フレームの彩度度数分布を保持しており、これと現フレームの度数分布との距離を算出する。距離算出方法としては、市街地距離やユークリッド距離を用いても良いが、ここではＤＰマッチング法を用いる。現フレームの度数分布列をｃi 、前フレームの度数分布列をｐj （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）としたとき，距離Ｄは前記式（１）により算出される。ここでこの距離算出の際には、整合窓の制約条件として前記式（２）を課すものとする。距離Ｄが予め設定されていた閾値以下となったとき、これらの動領域を同一の移動物体のものとする。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００４５】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として彩度の度数分布を算出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００４６】
（実施例１１）
以下、本発明の第１１の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００４７】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの色情報として彩度を処理し、彩度が予め与えられた閾値未満になる画素数を計測し、その動領域全体に占める割合を低彩度率として算出する。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレーム低彩度率と前フレーム低彩度率の差の評価、時系列処理部７において算出された低彩度率との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００４８】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として低彩度の画素の全体に占める割合を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００４９】
（実施例１２）
以下、本発明の第１２の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００５０】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの色情報として彩度と色相を処理し、彩度が予め与えられた閾値以上になる画素の色相値の度数分布を算出する。度数分布を求める色相幅は、１０度、２０度もしくは３０度毎とする。求められた度数分布には、動領域全画素数もしくは最頻度度数を基に正規化処理を行う。これを移動物体の特徴量として移動物体識別部８に送出する。移動物体識別部８は、前フレームの色相度数分布を保持しており、これと現フレームの度数分布との距離を算出する。距離算出方法としては、市街地距離やユークリッド距離を用いても良いが、ここではＤＰマッチング法を用いる。現フレームの度数分布列をｃi 、前フレームの度数分布列をｐj （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）としたとき、距離Ｄは前記式（１）により算出される。ここでこの距離算出の際には、整合窓の制約条件として前記式（２）を課すものとする。距離Ｄが予め設定されていた閾値以下となったとき、これらの動領域を同一の移動物体のものとする。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００５１】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として色相の度数分布を算出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００５２】
（実施例１３）
以下、本発明の第１３の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００５３】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの色情報として彩度と色相を処理し、彩度が予め与えられた閾値以上になる画素の色相値の度数分布を算出する。度数分布を求める色相幅は、１０度、２０度もしくは３０度毎とする。そしてその度数分布を、実施例６と同様に、Ｍ個（Ｍは正の整数）に領域分割し、各分割領域毎の色相値の代表値を求める。代表値としては各分割領域毎の平均値でも良いし、また各分割領域における最頻度となる色相値でも良い。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームと前フレームの領域分割数Ｍの比較、各代表値の差の評価、時系列処理部７において算出された分割数及び代表値との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００５４】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として動領域を色相値の度数分布を基にＭ個に分割し、各分割領域の代表値となる色相値を検出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００５５】
（実施例１４）
以下、本発明の第１４の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００５６】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例１３と同様に、色相値の度数分布を算出して色相分割閾値を検出し、この閾値を基に度数分布をＭ個（Ｍは正の整数）に分割する。そして各分割領域の大きさの比率を検出する。領域の大きさとしては、各分割領域に属する全画素数でも良いし、各分割領域における最頻度の度数を用いても良い。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームと前フレームにおけるこの特徴量の差の評価、時系列処理部７において算出された評価値との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００５７】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域を色相値の度数分布を基にＭ個に分割し、その分割領域の大きさの比率を検出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００５８】
（実施例１５）
以下、本発明の第１５の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００５９】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例１３と同様に、色相値の度数分布を算出して色相分割閾値を検出し、この閾値を基に度数分布をＭ個（Ｍは正の整数）に分割する。そして各分割領域に属する画像データを検出する。検出した画像データから位置情報を検出する方法は、実施例８と同様に行う。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、実施例１３の評価に加えて、各分割領域の位置情報より対応する現フレームと前フレームの分割領域間の距離を算出し、その総和値を全分割領域の差として評価する。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００６０】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域を色相値の度数分布を基にＭ個に分割し、各分割領域の位置を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００６１】
（実施例１６）
以下、本発明の第１６の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００６２】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データから輝度及び色情報を検出する。情報はＲＧＢ座標系或いはＹＵＶ座標系を用いて検出する方法が考えられるが、ここでは輝度、彩度及び色相という３つの物理量によって検出する。そしてこれら３つの物理量を成分とする３次元のベクトル空間を定義し、この空間における動領域内画像データの度数分布を求める。度数分布を求める際には、各成分を８分割、１６分割もしくは３２分割し、その分割されたベクトル空間毎に度数を計算する。こうして求められた３次元ベクトル空間における度数分布は、動領域全画素数もしくは最頻度度数を基に正規化処理を行う。これを移動物体の特徴量として、移動物体識別部８に送出する。移動物体識別部８は、前フレームの３次元ベクトル空間における度数分布を保持しており、これと現フレームの度数分布との距離を算出する。距離算出方法としては、ＤＰマッチング法を用いる方法も考えられるが、データ量が多いことを考慮し、簡略化した手法として市街地距離を用いる。もちろんこれ以外にユークリッド距離を用いて距離を算出する方法も考えられる。現フレームの度数分布をｃi 、前フレームの度数分布をｐi （ｉ＝１〜Ｎ、Ｎは正の整数）としたとき、距離Ｄは下記式（３）により算出される。
【００６３】
【数２】
0004020982.tif 000003
距離Ｄが予め設定されていた閾値以下となったとき、これらの動領域を同一の移動物体のものする。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００６４】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、輝度、彩度及び色相の３つの物理量を成分とする３次元ベクトル空間の度数分布を算出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００６５】
（実施例１７）
以下、本発明の第１７の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００６６】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの形状情報として動領域を包含する外接長方形を作成し、この縦横の辺の長さを検出する。更に縦横比率を算出し、これらを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームの辺の長さと前フレームの辺の長さの差及び縦横比率の差の評価、時系列処理部７において算出された辺の長さ及び縦横比率との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００６７】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域外接長方形の縦横辺の長さ及びその比率を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００６８】
（実施例１８）
以下、本発明の第１８の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００６９】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、その動領域を形成する画素数を計測する。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームの動領域画素数と前フレームの動領域画素数の差の評価、時系列処理部７において算出された動領域画素数との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００７０】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域を形成する画素数を検出し、この特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００７１】
（実施例１９）
以下、本発明の第１９の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００７２】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、その動領域を形成する画素数を計測し、その動領域の外接長方形を作成する。そして動領域の画素数の外接長方形の画素数に占める割合を算出する。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームの特徴量と前フレームの特徴量の差の評価、時系列処理部７において算出された時系列特徴量との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００７３】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域を形成する画素数の外接長方形の画素数に占める割合を検出し、この特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００７４】
（実施例２０）
以下、本発明の第２０の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００７５】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、その動領域内の画像データの輝度に対する空間微分処理を行い、輝度変化値を検出する。そして全輝度変化値の平均値を求め、画像データのテクスチャ情報とする。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームのテクスチャ情報と前フレームのテクスチャ情報の差の評価、時系列処理部７において算出されたテクスチャ情報との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００７６】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域内輝度変化値の平均値をテクスチャ情報として検出し、この特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００７７】
（実施例２１）
以下、本発明の第２１の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００７８】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例２０と同様に、その動領域内の輝度変化値をテクスチャ情報として検出する。そしてその度数分布をテクスチャ度数分布として算出する。求められた度数分布には、動領域全画素数もしくは最頻度度数を基に正規化処理を行う。これを移動物体の特徴量として、移動物体識別部８に送出する。移動物体識別部８は、前フレームのテクスチャ度数分布を保持しており、これと現フレームの度数分布との距離を算出する。距離算出方法としては、市街地距離やユークリッド距離を用いても良いが、ここではＤＰマッチング法を用いる。現フレームの度数分布列をｃi 、前フレームの度数分布列をｐj （ｉ，ｊ＝１〜Ｎ、Ｎは正の整数）としたとき、距離Ｄは前記式（１）により算出される。ここでこの距離算出の際には、整合窓の制約条件として前記式（２）を課すものとする。距離Ｄが予め設定されていた閾値以下となったとき、これらの動領域を同一の移動物体のものとする。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００７９】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域内輝度変化値の度数分布をテクスチャ度数分布として検出し、この特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００８０】
（実施例２２）
以下、本発明の第２２の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００８１】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例２０と同様に、その動領域内の輝度変化値をテクスチャ情報として検出し、その度数分布をテクスチャ度数分布として算出する。そしてその度数分布を、実施例６と同様に、Ｍ個（Ｍは正の整数）に領域分割し、各分割領域毎の輝度変化値の代表値を求める。代表値としては、各分割領域毎の輝度変化値の平均値でも良いし、また各分割領域における最頻度となる輝度変化値でも良い。これらを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームと前フレームの領域分割数Ｍの比較、各代表値の差の評価、時系列処理部７において算出された分割数及び代表値との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００８２】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域をテクスチャ度数分布を基にＭ個に分割し各分割領域のテクスチャの代表値を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００８３】
（実施例２３）
以下、本発明の第２３の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００８４】
図１において、入力部１から動領域整形部４までの処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は実施例２２と同様に、輝度変化値をテクスチャ情報としてその度数分布を算出して分割閾値を検出し、この閾値を基に度数分布をＭ個（Ｍは正の整数）に分割する。そして各分割領域の大きさの比率を検出する。領域の大きさとしては、各分割領域に属する全画素数でも良いし、各分割領域における最頻度の度数を用いても良い。これらを特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームと前フレームにおけるこの特徴量の差の評価、時系列処理部７において算出された評価値との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００８５】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域をテクスチャ度数分布を基にＭ個に分割しその分割領域の大きさの比率を検出し、これを特徴量として用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００８６】
（実施例２４）
以下、本発明の第２４の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００８７】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例２２と同様に、輝度変化値をテクスチャ情報としてその度数分布を算出して分割閾値を検出し、この閾値を基に度数分布を分割し、Ｍ個（Ｍは正の整数）の分割領域を検出する。そして各分割領域に属する画像データを検出する。検出した画像データから位置情報を検出する方法は、実施例８と同様に行う。これを移動物体の特徴量として時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、実施例２２の評価に加えて、各分割領域の位置情報より対応する現フレームと前フレームの分割領域間の距離を算出し、その総和値を全分割領域の差として評価する。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００８８】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として、動領域をテクスチャ度数分布を基にＭ個に分割し、各分割領域の位置を検出し、これら特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００８９】
（実施例２５）
以下、本発明の第２５の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは特徴量検出部５以降における動作である。以下、本実施例の動作について説明する。
【００９０】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、動領域内画像データの輪郭線を検出する。輪郭線検出の際にはノイズの影響を除去するためにノイズ除去処理や平滑化処理を行っても良い。以下、輪郭線検出処理を図６を用いて説明する。
【００９１】
図６（ａ）において、輪郭線検出処理は、Ａ点から開始して動領域を一回りしてＡ点に戻ってくる。Ａ点の決定方法は、一番最初に動領域を検出した時点において、その動領域の最左上点をＡ点とする。次の処理からは、直前に検出されたＡ点の近傍領域Ｅ内に存在する動領域を検出し、その最左上点を処理開始点Ａとする。輪郭線が検出されたならば、その輪郭線から輪郭線ベクトルを検出する。いま、輪郭線ベクトルを検出したいｉ個目の輪郭線座標をＰi （ｘi ，ｙi ）、そのｋ個後（ｉ，ｋは１以上の整数）の輪郭線座標をＰi+k （ｘi+k ，ｙi+k ）とすると、その点の輪郭線ベクトルは、下記式（４）として算出される。
【００９２】
Ｖi （ｖxi，ｖyi）＝Ｖi （ｘi+k −ｘi ，ｙi+k −ｙi ）  ・・・（４）
次に、この輪郭線ベクトルの特徴点を検出するため、下記式（５）を用いて評価値Ｒとして算出する。
Ｒ＝（ｖxi−ｖxi-1）2 ＋（ｖyi−ｖyi-1）2               ・・・（５）
但し、Ｖi-i （ｖxi-1，ｖyi-1）はｉ−１番目の輪郭線ベクトル
【００９３】
図６（ａ）におけるＲの度数分布を図６（ｂ）に示す。直線部分の輪郭ベクトルの評価値Ｒは、原点付近に集まるため、それ以外の度数分布が集積した部分を輪郭線における特徴点とし、その座標を輪郭線の特徴点座標とする。図６（ｃ）のような端点は唯一の特徴点として検出される。また、図６（ｄ）のように複数の特徴点が連続して検出された場合は評価値Ｒ最大の一点のみを特徴点とする。図６（ａ）においては、点Ａ、点Ｂ、点Ｃ、点Ｄが特徴点として検出される。こうして検出された特徴点は、Ｎフレーム前（Ｎは正の整数）の特徴点と対応付け処理を行い、移動ベクトルとして検出する。対応付け処理では、特徴点座標及び輪郭線ベクトルの類似度より対応点を検索し、該当する特徴点が存在しない場合は、その特徴点における輪郭線ベクトルは検出しないものとする。移動ベクトルのｘ及びｙ方向成分分布を図６（ｅ）及び図６（ｆ）に示す。このそれぞれの最頻度値ｘv 及びｙv を成分とするベクトルＶ（ｘv ，ｙv ）を現在着目している移動物体の移動ベクトルとして算出する。但し、移動物体の形状よっては特徴点が余り検出されない場合があり、十分な移動ベクトルの成分分布が得られない。このときは、各移動ベクトル成分の平均値やメジアンを成分とする移動ベクトルを算出し、移動物体の移動ベクトルとする。これを移動物体の特徴量として、時系列処理部７及び移動物体識別部８に送出する。時系列処理部７は、履歴情報に基づいて時系列特徴量を算出する。移動物体識別部８は、これら送られてきた特徴量の評価を行う。特徴量評価は、現フレームの特徴量と前フレームの特徴量の差の評価、時系列処理部７において算出された時系列特徴量との差の評価、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００９４】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として移動物体の移動ベクトルを検出し、この特徴量及びその時系列特徴量を用いることにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【００９５】
（実施例２６）
（位置検出部）
以下、本発明の第２６の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは位置検出部６以降における動作である。以下、本実施例の動作について説明する。
【００９６】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって検出された動領域を包含する外接長方形を図７に示す。
【００９７】
図７において、Ｗは外接長方形の幅である。位置検出部６は移動物体の運動平面との接点の最上点の画像上の座標Ｑを算出し、これを位置情報とする。点Ｐの画像上位置座標をＰ（ｘ，ｙ）とすると、点Ｑの位置座標は下記式（６）として算出される。
Ｑ＝（ｘ＋Ｗ／２，ｙ）                                ・・・（６）
【００９８】
こうして算出された移動物体位置情報は、時系列処理部７及び移動物体識別部８へと送られる。時系列処理部７は、履歴情報に基づいて時系列処理された位置情報を算出する。移動物体識別部８は、これら送られてきた位置情報の評価を行う。評価は、現フレームと前フレームの位置情報の差の比較、時系列処理部７において算出された位置情報との差の比較により行う。またこの位置情報と動領域の大きさから、複数の移動物体が画面上で交差したというような特殊事象認識を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【００９９】
以上のように、本実施例によれば、位置検出部６によって移動物体の位置の特徴量として移動物体の運動平面との接点の最上点の座標を検出し、この特徴量及びその時系列特徴量を用いることにより、移動物体を識別し追跡することができるという点で優れた効果が得られる。
【０１００】
（実施例２７）
以下、本発明の第２７の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは位置検出部６以降における動作である。以下、本実施例の動作について説明する。
【０１０１】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって検出された動領域を包含する外接長方形を図７に示す。
【０１０２】
図７において、Ｈは外接長方形の高さである。位置検出部６は、移動物体の運動平面との接点の画像上の座標Ｒを算出し、これを位置情報とする。点Ｐの画像上位置座標をＰ（ｘ，ｙ）とすると、点Ｒの位置座標は下記式（７）として算出される。
Ｒ＝（ｘ＋Ｗ／２，ｙ＋Ｈ）                              ・・・（７）
【０１０３】
こうして算出された移動物体位置情報は、時系列処理部７及び移動物体識別部８へと送られる。時系列処理部７は、履歴情報に基づいて時系列処理された位置情報を算出する。移動物体識別部８は、これら送られてきた位置情報の評価を行う。評価は、現フレームと前フレームの位置情報の差の比較、時系列処理部７において算出された位置情報との差の比較により行う。またこの位置情報と動領域の大きさから、複数の移動物体が画面上で交差したというような特殊事象認識を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【０１０４】
以上のように、本実施例によれば、位置検出部６によって移動物体の位置の特徴量として移動物体の運動平面との接点座標を検出し、この特徴量及びその時系列特徴量を用いることにより、移動物体を識別し追跡することができるという点で優れた効果が得られる。
【０１０５】
（実施例２８）
以下、本発明の第２８の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは位置検出部６以降における動作である。以下、本実施例の動作について説明する。
【０１０６】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって検出された動領域を包含する外接長方形を図７に示す。
【０１０７】
位置検出部６は、移動物体の運動平面との接点の最上点の画像上の座標Ｑ及び運動平面との接点の画像上の座標Ｒを算出し、これらを位置情報とする。点Ｐの画像上位置座標をＰ（ｘ，ｙ）とすると、点Ｑの位置座標は上記式（６）、点Ｒの位置座標は上記式（７）として算出される。こうして算出された移動物体位置情報は時系列処理部７及び移動物体識別部８へと送られる。時系列処理部７は、履歴情報に基づいて時系列処理された位置情報を算出する。移動物体の運動平面との接点が障害物によって遮蔽された場合、移動物体識別部８は、これら位置情報において座標Ｑとその時系列処理によって算出された座標Ｑ’との差、座標Ｒとその時系列処理によって算出された座標Ｒ’との差、外接長方形等の特徴量及び移動物体の画面上での交差等特殊事象認識による評価結果を基に総合的に判断し、移動物体の運動平面との接点が障害物によって遮蔽されているものと判断する。この判断がなされたならば、移動物体識別部８は、座標Ｑ及び移動物体の推定高Ｈe を用いて推定座標Ｒe を下記式（８）として算出し、移動物体の運動平面との接点座標とする。
Ｒe （ｘ＋Ｗ／２，ｙ＋Ｈe ）                          ・・・（８）
【０１０８】
移動物体推定高Ｈe は、動領域外接長方形の前フレーム特徴量及びその時系列特徴量を用いて算出する。移動物体識別部８は、こうして求められた運動平面との接点座標を特徴量として、移動物体の識別追跡のために用いる。
【０１０９】
以上のように、本実施例によれば、位置検出部６によって検出された移動物体の特徴量として、検出された移動物体の運動平面との接点及びその最上点の座標を用いて、移動物体の運動平面との接点が障害物によって遮蔽されていることを検出し、移動物体の運動平面との接点座標を特徴量として推定算出することにより、移動物体を識別し追跡することができるという点で優れた効果が得られる。
【０１１０】
（実施例２９）
（時系列処理部）
以下、本発明の第２９の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは時系列処理部７以降における動作である。以下、本実施例の動作について説明する。
【０１１１】
図１において、入力部１から特徴量検出部５及び位置検出部６迄の処理の流れは、実施例１における説明と同様である。特徴量検出部５及び位置検出部６によって検出された情報は、時系列処理部７に送られる。時系列処理部７は、現フレーム処理において検出された特徴量Ｔc とそれ以前のフレーム処理において算出されていた時系列特徴量Ｔp に対し、下記式（９）を用いて現フレームにおける時系列特徴量として算出する。
0004020982.tif 000004
【０１１２】
処理開始の一番最初は、現フレーム処理において検出された特徴量を時系列特徴量として登録し、時間が経過するにつれて更新して行く。算出された時系列特徴量は、移動物体識別部８へと送出され、実施例１と同様に、特徴量と統合されて識別処理が行われる。識別処理は、現フレーム特徴量と前フレーム特徴量との差、時系列特徴量との差、移動物体の画面上での交差等特殊事象認識による評価を行う。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【０１１３】
以上のように、本実施例によれば、時系列処理部７によって移動物体の特徴量の時系列特徴量を算出し、これを特徴量として用いることにより、ノイズ等の影響による特徴量の急峻な変化を吸収し、時間的に変化している特徴量については追従して行く特徴量を算出することにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【０１１４】
（実施例３０）
以下、本発明の第３０の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは時系列処理部７以降における動作である。以下、本実施例の動作について説明する。
【０１１５】
図１において、入力部１から特徴量検出部５及び位置検出部６迄の処理の流れは、実施例１における説明と同様である。特徴量検出部５及び位置検出部６によって検出された情報は、時系列処理部７に送られる。時系列処理部７は、現フレーム処理において検出された特徴量とＫフレーム前（Ｋは正の整数）の処理に検出された特徴量との差の絶対値ｄＴc と、それ以前のフレーム処理において算出されていたＫフレーム間の差の絶対値の時系列特徴量ｄＴp に対し、下記式（１０）を用いて現フレームにおける時系列特徴量として算出する。
0004020982.tif 000005
【０１１６】
この処理は、Ｋフレーム経過する迄実行されない。処理開始の一番最初は現フレーム処理において検出された特徴量の差を時系列特徴量として登録し、時間が経過するにつれて更新して行く。算出された時系列特徴量は、移動物体識別部８へと送出され、実施例１と同様に、特徴量と統合されて識別処理が行われる。識別処理は、現フレーム特徴量とＫフレーム前の特徴量の差と、この時系列特徴量との差を評価して行う。この処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【０１１７】
以上のように、本実施例によれば、時系列処理部７によって移動物体の特徴量のＫフレーム間の差の絶対値及びその時系列特徴量を算出し、これを特徴量として用いることにより、時間的に一定の変化をしている特徴量の特性を検出することができると共に、ノイズ等の影響による特徴量の急峻な変化を吸収しながら、時間的に変化している特徴量については追従して行く特徴量を算出することにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【０１１８】
（実施例３１）
（移動物体識別部）
以下、本発明の第３１の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは主に移動物体識別部８における動作である。以下、本実施例の動作について説明する。
【０１１９】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例２５と同様に、移動物体の移動ベクトルを検出する。そして最頻度値ｘv 及びｙv を成分とするベクトルＶ（ｘv ，ｙv ）を現在着目している移動物体の移動ベクトルとして算出する。ここでベクトル群Ｖｇ（ｘv ±ｄｘ，ｙv ±ｄｙ）に属する移動ベクトルを生成する特徴点の数の、全特徴点数に占める割合を移動ベクトルが検出できなかった特徴点も含めて算出する。ｄｘ及びｄｙは予め設定しておく。そしてこの割合が予め与えられた閾値以上の場合に剛体、未満の場合に非剛体として判定する。この判定結果を移動物体識別部８に送出し、移動物体識別部８は、その判定結果を移動物体の属性として、移動物体追跡処理に用いる。
【０１２０】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として移動物体の移動ベクトルを検出し、この特徴量を用いて移動物体が剛体であるか非剛体であるかを判定することにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【０１２１】
（実施例３２）
以下、本発明の第３２の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは主に移動物体識別部８における動作である。以下、本実施例の動作について説明する。
【０１２２】
図１において、入力部１から動領域整形部４迄の処理の流れは、実施例１における説明と同様である。動領域整形部４によって整形された動領域に対し、特徴量検出部５は、実施例２５と同様に、移動物体の移動ベクトルを検出する。そして実施例３１と同様の方法により、その移動物体が剛体であるか非剛体であるかを判定し、その判定結果を時系列処理部７及び移動物体識別部８に送出する。非剛体と判定された場合、時系列処理部７は、履歴情報に基づいて移動物体の形状特徴量の時間変化の固有周期を求める。２×Ｎフレーム（Ｎは正の整数）の特徴量の数列を格納しておき、そのうち手前のＮフレームの特徴量数列を０からＮ−１フレーム迄シフトさせて各特徴量毎の差の自乗を計算し、その総和の最小値を相関値Ｒとして下記式（１１）を用いて算出する。
【０１２３】
【数３】
0004020982.tif 000006
【０１２４】
処理の簡単化を図るために、特徴量の差の絶対値の総和を相関値Ｒとしても良い。導かれた相関値Ｒが予め設定されていた閾値に比べて小さいときは、特徴量に周期性があったと判定し、そのときのシフト数Ｋを特徴量の固有周期とする。この判定結果を移動物体識別部８に送り、移動物体識別部８は、この判定結果を移動物体の属性として、移動物体追跡処理に用いる。
【０１２５】
以上のように、本実施例によれば、特徴量検出部５によって移動物体の特徴量として移動物体の移動ベクトルを検出し、この特徴量を用いて移動物体が剛体であるか非剛体であるかを判定し、非剛体であると判定された場合に、その移動物体の形状特徴量の時間的変化の固有周期を検出することにより、移動物体の識別を実現することができるという点で優れた効果が得られる。
【０１２６】
（実施例３３）
以下、本発明の第３３の実施例について説明する。本実施例における動画像処理装置は、図１に示した第１の実施例と同じ構成を備え、異なるのは移動物体識別部８以降における動作である。以下、本実施例の動作について説明する。
【０１２７】
図１において、入力部１から特徴量検出部５、位置検出部６及び時系列処理部７迄の処理の流れは、実施例１における説明と同様である。これらの処理結果は移動物体識別部８へと送られ、移動物体識別部８は、これら送られてきた情報を統合処理し、移動物体を識別する。識別処理は、特徴量の評価と判定処理により行われる。特徴量評価は、検出対象に基づく特徴量それ自体の評価、現フレーム特徴量と前フレーム特徴量との距離による評価、時系列特徴量の評価、そして位置情報を用いた複数の移動物体が画面上で交差したというような特殊事象認識による評価を行う。例えば現フレーム処理において検出された特徴量をＴc 、時系列特徴量をＴp 、判定閾値をαとした時、下記式（１２）が満足されない場合、移動物体識別部８は特徴量の信頼度が低いと判断する。
｜Ｔc   −Ｔp   ｜≦α                                  ・・・（１２）
【０１２８】
次に、これら評価結果を用いた判定処理を行う。この判定処理では、複数の移動物体交差という特殊事象の発生により、特徴量評価結果が判定条件を満たさないという結果を許容する。特殊事象の発生が検出されず、特徴量評価結果が不十分である場合は、その特徴量検出に相当する特徴量検出部５或いは位置検出部６にパラメータ変更指令を与える。更に移動物体識別部８は、ある程度十分な結果が得られた特徴量については、その特徴量を基にその移動物体を検出する最適パラメータを検出し、それを前記画像間演算処理部３、動領域整形部４、特徴量検出部５、位置検出部６に伝達することもできる。例えば、特徴量を統合することによって移動物体の移動速度及び方向が算出されたならば、その条件を画像間演算処理部３及び動領域整形部４に送り、これらの処理部は、この条件に最も適した時間間隔で画像間演算処理や動領域整形処理を行うことが可能である。また移動物体の大きさからノイズ除去処理の最適パラメータを動的に決定し、動領域整形部４に送出することも可能である。或いは高信頼度の時系列特徴量Ｔp を特徴量検出部５及び位置検出部６に送出し、各検出部はこの情報を自分自身の処理に反映させることも可能である。これらの処理を動画像に対して連続的に行い、前処理画面と同一移動物体と判断された動領域を同一動領域と決定することにより、同一移動物体を追跡する。
【０１２９】
以上のように、本実施例によれば、移動物体識別部８が、特徴量検出部５、位置検出部６及び時系列処理部７から送られてきた情報を統合して移動物体を識別し、評価結果が不十分である場合は、それを画像間演算処理部３、動領域整形部４、特徴量検出部５、位置検出部６に伝達することによってパラメータの最適化を図り、正確な移動物体の識別を実現することができるという点で優れた効果が得られる。
【０１３０】
【発明の効果】
以上のように、本発明は、移動物体の特徴量を検出する特徴量検出部を設けることにより、移動物体を特徴量により評価判定することで移動物体を識別し追跡することができる。また、フレーム間差分処理を用いた場合に、移動物体が静止して動領域が検出不可能な場合においても、再度動作を開始して動領域が検出された時に、移動物体を特徴量によって同定することにより、同一物体と識別して追跡することができる。さらに、移動物体識別部は、特徴量それ自体と時系列特徴量を用いて移動物体検出の評価を行うため、特徴量のノイズ等による急峻な変化を吸収して正確な移動物体の追跡を実現することができ、また移動物体の識別結果が不十分であった場合は、その特徴量検出に相当する処理部に対して処理条件の変更を指令することができ、ある程度十分な結果が得られた特徴量については、その特徴量を基にその移動物体を検出する最適条件を検出し、それを画像間演算処理部、動領域整形部、特徴量検出部、位置検出部に伝達することにより、優れた動画像処理装置を実現できるものである。
【図面の簡単な説明】
【図１】本発明の第１から第３３の実施例における動画像処理装置のブロック結線図
【図２】本発明の第２の実施例における動領域内からの移動物体検出を示す概念図
【図３】本発明の第３の実施例における動領域整形法を示す概念図
【図４】本発明の第６の実施例における度数分布図
【図５】本発明の第８の実施例における分割領域の位置座標決定法を示す概念図
【図６】（ａ）本発明の第２５の実施例における輪郭線検出法を示す概念図
（ｂ）本発明の第２５の実施例における輪郭ベクトル評価値の度数分布
（ｃ）本発明の第２５の実施例における輪郭線特徴点
（ｄ）本発明の第２５の実施例における輪郭線特徴点
（ｅ）本発明の第２５の実施例における移動ベクトルｘ成分分布
（ｆ）本発明の第２５の実施例における移動ベクトルｙ成分分布
【図７】本発明の第２６〜第２８の実施例における動領域位置情報を示す概念図
【図８】従来の実施例における動画像処理装置のブロック結線図
【符号の説明】
１  画像入力部
２  画像格納部
３  画像間演算処理部
４  動領域整形部
５  特徴量検出部
６  位置検出部
７  時系列処理部
８  移動物体識別部
２１  画像間演算処理部によって検出された動領域
２２  検出対象移動物体領域
３１  Ｎフレーム（Ｎは正の整数）前の動領域及び外接長方形
３２  現フレームの動領域
３３  現フレームの動領域
３４  ３１〜３３の外接長方形を統合した状態
３５  ３４を包含する外接長方形に現フレーム動領域をプロットした状態
３６  整形された外接長方形
５１  動領域の分割領域
５２  動領域の分割領域
５３  動領域の分割領域
８１  画像入力部
８２  画像格納部
８３  画像前処理部
８４  動領域整形部
８５  移動物体追跡部
【図１】
0004020982.tif 000007
【図２】
0004020982.tif 000008
【図３】
0004020982.tif 000009
【図４】
0004020982.tif 000010
【図５】
0004020982.tif 000011
【図６】
0004020982.tif 000012
【図７】
0004020982.tif 000013
【図８】
0004020982.tif 000014