(57)【特許請求の範囲】
【請求項１】
ビデオのフレームの受け取り、後続の修正を伴う背景の初期化、現在のフレームと前記背景との間の差の計算、閾値フレームを用いた２値化、空間フィルタリング、ゾーンの形成、物体の位置の特定、を含む物体検出方法であって、
背景更新定数ρが、ルール
0005135284.tif 000004
（ここで、０＜ρ1＜１，ｋはファクターで０＜＝ｋ＜＝１である）のもとに、物体の検出に依存してピクセル毎に定義され、閾値フレームは式ｐi＝ｋ12σi2（ここでｋ1はファクター）で計算され、分散σiは式σi2＝（１−ρ）σi-12＋ρ（μi−Ｉi）2（ここでＩiは現在のフレーム、μiは現在の背景フレーム、ｉはフレームナンバー）で更新され、２値化画像の中から検出されたゾーンを事前に整形することにより空間フィルタリングを行う物体検出方法。
【請求項２】
請求項１記載の物体検出方法において、前記空間フィルタリングの後に、一部のゾーンが除去され、残りのゾーンがセクションに分割され、該セクションの一部を除去して追跡ゾーンが形成され、互いに近くにある追跡ゾーンを結合することで該追跡ゾーンのクラスターが形成され、メトリックサイズと、座標系と、クラスタの生存時間を計算し、クラスタのろ過が行われ、かつ、前記ろ過で残ったクラスタの座標がフレーム内における物体の座標として受け入れられること特徴とする物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オプトエレクトロニックシステム、情報処理の分野に関連し、明るさの定常的或いは一時的な変化や、葉や水面の動き、雨や雪による減衰等、複雑な外乱の下での複合的な警備システムや交通解析に好適に用いられるものである。
【背景技術】
【０００２】
フレームを取得し、フレーム間の差分を計算し、閾値により２値化し、モルフォロジカル演算をし、物体の境界を決定するためにＳｏｂｅｌ演算子による計算をして、動く車を検出する方法（Dailey D.J.1999年）が知られる（例えば、非特許文献１参照。）。
【０００３】
その方法の欠点は、ノイズに対する耐性が弱いこと、及びそれによる検出精度の低さであり、一日の内の時刻、天候の状態、及び新たな静止物体が監視エリアに出現することによる、作動場所の領域内の変化の影響を顕著に受けることが原因している。
【０００４】
技術的基礎において最も関係のあるものとして、移動車両検出方法［露国特許第２２６２６６１号明細書（Eremin S. N.2005年）］がある（例えば、特許文献１参照。）。その方法は、フレームの取得、フレーム間の差分の計算、閾値による２値化、モルフォロジカル演算、Ｓｏｂｅｌ演算子の計算、初期フレームの保存、特別な式に基づく背景の更新、フレームと背景との間の差分の検出、イメージのヒストグラムの算出、最大輝度の検出、存在する物体との比較による検証、混ざった物体の分離、車両の位置およびそのフレーム手段中でその車両が位置すると考えられる座標を表現する矩形の生成を含んでいる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】露国特許第２２６２６６１号明細書
【非特許文献】
【０００６】
【非特許文献１】Dailey D. J., Li L. Video image processing to create a speed sensor. Washington: University of Washingon,1999
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記方法の欠点は、影を物体−つまり車両として誤って検出すること、及び物体の実際のサイズを判断できないことである。その他の欠点は、視界に持ってこられ置き去られた物体或いはその位置を誤って検出した場合に、適切なピクセルにおける背景モデルの更新が完全に停止してしまい、結果的に、静止物体を背景へ自動的に統合できなくなることである。したがって、この方法は、車両の検出に関して十分高い品質を有していない。
【０００８】
本発明の目的は、誤った応答の数を減らし、動く物体の境界の検出精度を向上させることで、複雑な気象条件および変化する背景のもとで、テレビ監視セキュリティシステムの品質の向上させ、さらに機能性を拡張することである。
【課題を解決するための手段】
【０００９】
物体検出方法を提案する。その方法は、フレームの取得と、背景更新定数ρを用いて引き続き修正される背景の設定と、を有し、背景更新定数ρは、下記の規則に従い物体の検出に応じてピクセル毎に順次選ばれる。
【００１０】
【数１】
0005135284.tif 000002
【００１１】
ここで、０＜ρ１＜１，ｋはファクターで０＜＝ｋ＜＝１である。更に、現在のフレームと背景との間の差分の絶対値を計算し、閾値に基づく２値化が行われる。閾値は、ピクセル毎に式ｐｉ＝ｋ１２σｉ２で計算され、ここでｋ１は定数であり、分散σｉは移動平均の式σｉ２＝（１−ρ）σｉ−１２＋ρ（μｉ−Ｉｉ−１）２で計算され、ここでＩｉ−１は前回のフレーム、μｉは現在の背景フレームである。２値化には、下記の規則が用いられる。
【００１２】
【数２】
0005135284.tif 000003
【００１３】
ここで、Ｉｉは現在のフレームである。更に、２値化フレーム中で予検出ゾーンを生成しながら、空間フィルタリングを行う。
【００１４】
物体の位置を表す予検出ゾーンは選別され（ふるいに掛けられ）、選ばれたものは複数のセクションへと分割される。そして、物体として独立の部分である、追跡ゾーンを形成する。いくつかの追跡ゾーンは選別され、残ったゾーンがクラスタとして統合される。その後クラスタの選別を行う。それらゾーンやクラスタの選別は、メートル単位のサイズおよび座標系を考慮して行われる。選別で残ったクラスタの座標は、その物体の座標としてみなされる。
【００１５】
規則１（式１）で与えられる小さな値の更新定数を用いた背景フレームの更新は、長時間定常的に検出ゾーンに存在する物体を、背景フレームに自動的に含ませることを可能にする。
【００１６】
それらの占有度、メートル単位のサイズおよび座標に基づく、多階層での対応するゾーン及びクラスタの選別という特殊な手法による空間（３次元）フィルタリングの実装は、誤った応答の数を減らし、また物体により検出ゾーンに投げかけられる影を分離することを可能にし、それによって本方法の品質及び正確性が改善される。物体のメートル単位によるサイズの判断は、物体の動きの軌跡の解析を可能にし、本方法の実装であるシステムの機能性を拡張する。従って、これらの顕著な特徴は、現状の問題の解決に本質的かつ必要なものである。
【発明の効果】
【００１７】
本発明によれば、輝度の変化を伴う動的なノイズにかかわらず、誤報の数を減らすことができる。
【００１８】
本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
【図面の簡単な説明】
【００１９】
【図１】予検出ゾーンが矩形で表現されることを示す図。
【図２】予検出ゾーンが均一の幅のセクションに分割されることを示す図。
【図３】複数のセクションから、１つの新たな追跡ゾーンが形成されることを示す図。
【図４】セクションの、追跡ゾーンへの取り込みを示す図。
【発明を実施するための形態】
【００２０】
本発明で実装される装置は、少なくとも１台のビデオカメラと、オペレータに通知をしオペレータからコントロールコマンドを得るために用いる１台の監視端末と、メモリを有し同軸ケーブルまたはＬＡＮで接続された１台のコンピュータと、を備える。
【００２１】
本方法の実装は、例えば、カラーもしくは白黒の固定テレビカメラで撮影されたフレームの系列に用いることができる。コンピュータのメモリー中には、複数の要素からなる配列がフレーム毎に割り当てられる。画像は、ピクセル毎に輝度値の配列の中に保存され、例えば各ピクセルは、赤、緑および青のチャネルに分離されたり（ＲＧＢ表現）、ＹＵＶ形式に分離されたり、或いは１チャネルの輝度値（L. Shapiro 2006(L. Shapiro, J. Stokman. Computer vision. Moscow: BINOM. Knowledge Lab, 2006), 249-259）であってもよい。
処理を開始する前に、本方法を実現する装置のパラメータについての初期タスクが、例えば操作員のいるサイトにおける下記のような操作を用いて行われる：
【００２２】
−カメラ校正パラメータ（焦点距離、俯瞰の角度、軸周りの回転角度、カメラの設置高さ、センサの大きさ、センサの解像度）−これらのパラメータは、直接的な測定、カメラの仕様書、或いは公知の校正方法（Shapiro 2006, 567-578）による自動決定により知ることができる。
【００２３】
−セクションや追跡ゾーン（後述する）の幅ｗおよび高さｈ、物体の幅および高さの最大値及び最小値（WCMin,WCmax,HCMin,HCMax）、マスクゾーン（画像の一部であり、そのなかで検出された物体は無視される）の座標の設定。
【００２４】
−更新定数ρ１、その更新定数を変更する係数ｋ、およびその初期値ｋ1。
【００２５】
−背景との類似さの係数ＣBkg、セクションと追跡ゾーンとの重なりの係数、背景との近さ（近似度）の係数、及び直前のフレームから追跡ゾーンを探すために用いる類似度ＣTrCorr。
【００２６】
−追跡ゾーンが現在のフレームで見つからなくなるまで存続する間のフレーム数、クラスターを形成する際に用いる追跡ゾーン間の距離（例えば、ピクセル数で指定する）、クラスタの生存時間の閾値ＬＴ。
【００２７】
−追跡ゾーンの幅および高さＷMerge、ＨMerge。
【００２８】
−セクションを追跡ゾーンに取り込む際の重なり合いの百分率ＣOvr、追跡ゾーンを選別するための面積比の百分率ＣARatio。
【００２９】
次に、本装置は、最初のフレームを取得し、背景フレームの初期化を行う。初期化は例えば、ゼロ値、或いは処理への復帰時間を短縮するために初期フレームそのもので行う。また、閾値フレームの初期化も所定の定数を用いて行い、その定数は例えば、閾値フレームの各ピクセルが１バイトに対応する場合、２５５である。
【００３０】
次に、本装置は、次のフレームを取得し、新たなフレーム毎に、下記のステップを行う。
［ステップ１］
それぞれのピクセルに対して、その場所で何らかの検出物体が存在するか否かに応じて規則１に基づき、更新定数がセットされる。更新定数は、例えばρ１＝０．００１に選ばれ、ファクターｋ＝０．１とする。更新定数は、検出の目的となる物体が背景フレームに溶け込まないように、且つ背景（草、水、その他）の動揺や緩やかな影の動きが除外されるように選ばれる。ファクタ（係数）は、停止した対象物が検出され続けるべき時間τに基づいて、ｋ≒５／（ρ１τ）のように定められる。
【００３１】
［ステップ２］
背景フレームと標準偏差の更新を、下記の指数減衰移動平均の式によって行う。
【００３２】
μｉ＝（１−ρ）μｉ−１＋ρ  Ｉｉ−１                    （式３）
【００３３】
σｉ２＝（１−ρ）σｉ−１２＋ρ（μｉ−１−Ｉｉ−１）２      （式４）
【００３４】
ここで、Ｉiは現在のフレーム、Ｉi-1は前のフレーム、μiは現在の背景フレーム、μi-1は前の背景フレーム、σi2は現在の標準偏差、σi-12は前の標準偏差、ｉは現在のフレームの番号（インデックス）である。
【００３５】
［ステップ３］
ピクセル毎に、現在のフレームと背景フレームとの絶対差分を計算する（L. Shapiro 2006, 329-331）。すなわち差分フレームＤを形成する。
【００３６】
Ｄｉ＝｜Ｉｉ  −  μｉ｜                        （式５）
【００３７】
［ステップ４］
下記式によって、閾値フレームを形成する。
【００３８】
ｐｉ＝ｋ１σｉ，                                （式６）
【００３９】
ここで、ｋ１は定数の係数で３〜５である。ノイズの激しいフレームに対してはより大きな重みが選ばれ、静的なフレームに対しては小さな重みが選ばれる。
【００４０】
［ステップ５］
２値化を行う。２値化とは、規則２（式２）に基づき差分フレームを閾値フレームと比較し、２値化フレームｒを形成することである。
【００４１】
［ステップ６］
もしカラーのフレームを使っている場合、カラーチャネルを１色に統合する。例えば、赤、緑、青の形式のピクセル値（ＲＧＢ形式（L. Shapiro 2006, 249-252)）の場合、統合は以下の規則で行われる。
【００４２】
ｍ＝ｒＲ  ＯＲ  ｒＧ  ＯＲ  ｒＢ，                （式７）
【００４３】
ここで、ｍは結果の値、ｒＲ，ｒＧ及びｒＢはそれぞれ青、緑、赤のチャネルの値、“ＯＲ”はブーリアンのＯＲ演算であり、もしいずれかの引数がゼロ以外であれば結果は１に等しく、それ以外は０となるものである。
【００４４】
空間フィルタリングは、下記の方法で達成される。
［ステップ７］
公知の方法（L. Shapiro 2006, 84-92）を用いて、二値化フレーム中で非ゼロ値を持つピクセルからなる全ての結合されたエリアにしるしを付け、それらエリアから矩形記述によって予検出ゾーンを形成する。その矩形の境界の座標は、ゾーンの座標を表すものとして扱われる。矩形は、公知の方法によって、各エリアの最も右、最も上、最も下、及び最も左の点を選び、それらを矩形の右辺、上辺、下辺、及び左辺に継承させることによって作られる（図１）。
【００４５】
［ステップ８］
予検出ゾーンのメートルサイズを、例えば校正されたカメラを用いることで計算し、またクラスターの幅ｗｍｉｎ，ｗｍａｘや高さｈｍｉｎ，ｈｍａｘに基づいて選別（選り抜き）を行う。
【００４６】
［ステップ９］
２値化フレーム中にある複数の予検出ゾーンを、予検出ゾーンごとに均一の幅のセクションに分割する（図２）。幅ｗは、システムチューニングの段階で、想定される検出物体のサイズに基づいて設定され、例えば人や車に対しては、ｗ＝０．２ｍが選ばれる。ゾーンが整数個のセクションに分割されるように、セクションの幅はピクセル単位で定義される。即ち、ゾーンの中に収まり得る幅ｗのセクション全ての数を計算し、その数でゾーンの幅を除算することにより、セクションにふさわしい幅が各予検出ゾーンに対して得られる。
【００４７】
［ステップ１０］
複数のセクションから、１つの新たな追跡ゾーンを形成する（図３）。そのために、まず、フレームの下端の中心点に最も近いセクションのある場所に、所定のメートルサイズの高さｈ（例えば、人に対しては、たとえその人の半分が、木で隠れていたり、背景と溶け込んでいたり、或いはその他の理由で検出されなかったりしても、その人が検出されるように、ｈ＝０．８ｍとする。）及び幅ｗを持つ１つの追跡ゾーンを創設する。次に、各セクションについて、創設した追跡ゾーンと重なっている面積（図４の斜線部分）を算出する。もし重なっている面積のセクション自体の面積に対する比が、特定の閾値（例えば６０％）を超えた場合、そのセクションはその追跡ゾーンに取り込まれる（図４の斜線部分はそれを満たさないので取り込まれず、追跡ゾーン自体も破棄される）。その後は、未処理のセクションが残っている間、同様の処理を繰り返す（追跡ゾーンに、２番目に近いセクションの場所における所定の高さｈの領域を暫定的に追加して、追跡ゾーンを拡張する。セクションが１つも取り込まれていないときは、追跡ゾーンは都度創設しなおされる。）。これにより、影のように横に細長く横たわる像は、（その部分のセクションが上記比の閾値を満たせずつ追跡ゾーンに取り込まれないので、）除外できることになる。
【００４８】
［ステップ１１］
各追跡ゾーン毎に、そのゾーンに取り込まれたセクションの面積の総和と、セクションと当該ゾーンとが重複する面積の総和とを計算する。その重複面積総和のセクション面積総和との比が特定の閾値例えば５０％を越えるような追跡ゾーンは、信頼できるものとし、そのゾーンに属したセクションは（別のゾーンに重複して属しないよう）本ステップの以後の処理から除外する。反対に、閾値を超えなかったゾーンは却下される。
【００４９】
［ステップ１２］
各追跡ゾーンと背景フレームとを、例えば相関関数を計算することによって比較し、その相関関数の値が特定の閾値（６０％）を超えたゾーンについては、ふるいで取り除かれる。次に、現在のフレームの中から、これまで前回フレームの中で扱われていた追跡ゾーンを検索（例えば、相関検出による）をする。とり得る任意の位置での類似度（相関）関数の値が特定の閾値、例えば７０％を超える（即ち相関が認められる）ようなゾーンは、新たな追跡ゾーンのリストに追加される。連続するＮｍｉｓｓ＝５フレーム以上に亘り、相関が見つからないようなゾーンは、リストから除去される（L. Shapiro 2006, 219-225）。
【００５０】
［ステップ１３］
新たな追跡ゾーンであって互いの位置が近いものを、クラスターに合体させる。例えば、境界間の距離が所定の値、例えば５ピクセル又は１０ｃｍより小さいような複数の追跡ゾーンは、１つのクラスターに統合される。
【００５１】
［ステップ１４］
クラスタのメートルサイズ（実空間サイズ）を、例えば校正されたカメラを用いることで計算し、幅ＷＣＭｉｎ，ＷＣＭａ、高さＨＣＭｉｎ，ＨＣＭａｘおよび所定の無視ゾーンとの相対位置に基づいてフィルタリングを行う（L. Shapiro 2006, 578-580）。例えば、もしクラスターの下寄りの中央部分（「足」）がその無視ゾーンに入っている場合、そのクラスターはフィルタリングにより除外される。
【００５２】
［ステップ１５］
クラスタの生存時間を、そのクラスタが現れているフレームの数として決定する。そのために、（現在フレーム中に）残っているクラスターと前回フレームにおいて保存されたクラスターとの比較が行われる。互いの座標およびサイズが近く対を成しているクラスターについては、現在および前回のクラスターが対になっている間のフレーム数を、１づつ増加させながら記録する。ライフタイムが所定の閾値、例えば４０に満たないクラスターは保持され、それ以外は、以降のこのステップでの処理から除外される。閾値は、生存時間の短いものが誤って物体として検出されるのを防ぐように、経験的に選ばれる。前回フレーム中にペアの相手が見つからないクラスターについては、後続フレームに対して初期値となるような、生存時間＝１の値を設定する。
【００５３】
［ステップ１６］
上記除外をくぐりぬけたクラスターの座標を、フレーム中に存在する物体の座標として採用する。
【実施例】
【００５４】
以下、動作の一例を、順を追って説明する。
【００５５】
ビデオ監視カメラから、モノクロのテレビフレームの系列を取得し、それを次から次へと、本発明を実現する装置の入力部へ入力する。校正方法を用いて、任意のフレームおよびカメラのスペック値の観点で、カメラパラメータを以下のように決定する。カメラの（光軸の地面に対する）傾き角の正弦及び余弦sin(α)＝0.997564, cos(α)＝0.069756、カメラの設置高さＨ＝４ｍ、カメラの（鉛直軸周りの）回転角の正弦及び余弦sin (β)＝0, cos (β)＝1、（カメラの撮像素子の）ピクセルのサイズＷpx＝0.0003, Ｗpx＝0.0003、カメラの焦点距離ｆ＝0.24、フレーム上での１水平ラインの高さＨhor＝55。
【００５６】
更新定数ρ1＝0.005、ファクターｋ＝0.2、ファクターｋ1＝３を設定する。
【００５７】
予検出ゾーンの大きさについての制限を、メートル単位で下記のように設定する：ｗmin＝0.1, ｗmax＝2, ｈmin＝0.1,ｈmax＝3。
【００５８】
背景との類似度の閾値ＣBkg＝70%、追跡ゾーンの検索領域を形成するためのゾーン拡張係数（横および縦方向）СTrWExp＝1 ，СTrHExp＝1を設定する。即ちこのゾーン拡張係数は、追跡ゾーンを右及び左方向にそれぞれ追跡ゾーンの半分の幅だけ、高さ方向にも同様に拡張して得られる領域内で、検索が行われるように規定する。  
【００５９】
前回フレームから追跡ゾーンを検索する際に用いる類似度ＣTrCorr＝60％を設定する。
追跡ゾーンの充足率ＣTrFill＝30%を設定する。 
ゾーンの重複率ＣZOver＝5%を設定する。
もし現在フレームにおいて見つからなくても、そのゾーンを保持する期間のフレーム数Ｎmf ＝１を設定する。
【００６０】
クラスターを形成する際に用いる追跡ゾーン間の距離ＣＦ＝５ピクセルを設定する。
クラスターの生存時間の（上側の）閾値ＬＴ＝４０フレームを設定する。
クラスターに許容される幅および高さＷCMin＝0, ＷCMax＝2ｍ，ＨCMin＝0, ＨCMax＝4 mを設定する。
【００６１】
（併合されるべき）追跡ゾーンの幅及び高さＷMerge＝0.2ｍ， ＨMerge＝0.8 mを設定する。
追跡ゾーンにセクションを割り当てる（取り込む）ための基準となる重複率ＣOver = 10%と、追跡ゾーンをフィルタで除去する際に用いる面積比の百分率ＣARatio = 50%を設定する。
【００６２】
値I10,0,R = 4, I10,0,G = 0, I10,2,B= 0, ..., I1319,239,R = 176を持つ最初のフレームを取得し、背景フレームを初期化するのに用いる（В1=I1）。これ以降、上付き文字はフレーム中でのピクセル座標を意味し、最初のインデックスは列（カラム）、２番目は行、３番目はＲ，Ｇ又はＢのカラーチャネルである。
カラーチャネル毎に閾値フレームのピクセル値を設定する：p10,0,R = 255, p10,1,G = 255, p10,2,B = 255,..., p1319,239,B = 255。
【００６３】
次に、以下の値を持つ２番目のフレームを取得する。
I20,0,R= 6, I20,0,G = 0, I20,2,B= 6, ..., I2319,239,B = 178。
背景フレームと閾値フレームを式（３、４、６）を用いて更新する。
B20,0,R= 4, B20,0,G = 0, B20,0,B= 0, ... , B2319,239,B = 176,
P20,0,R = 255, p20,0,R = 255, p20,0,B = 255,..., p2319,239,B = 255。
【００６４】
差分フレームＤを式（５）を用いて計算して、
D20,0,R= 2, D20,0,G = 0, D20,0,B= 6, ... , D2319,239,B = 2
を得、閾値フレームP2を用いて２値化すると、
γ20,0,R = 0, γ20,0,G = 0, γ 20,0,B = 0,..., γ2319,239,B = 0
となる。
カラーチャネルを論理和のルールに基づいて統合し、
m20,0= 0, m21,0 = 0, m22,0= 0, ... , m2319,239 = 0
を得る。非ゼロ値の領域（互いに隣接するピクセルが結合されてなる）にラベルを付け、領域数＝０を得る。
２番目のフレームに対しては、処理はここで終わりである。
【００６５】
３番目から９７５０番目のフレームについても、同様の処理を繰り返す。
【００６６】
次に、以下の値を持つ９７５１番目のフレームを取得する。
I97510,0,R= 2, I97510,0,G= 0, I97510,0,B = 5, I97511,0,R = 0, I97511,0,G= 0, I97511,0,B = 1, I97512,0,R = 4, I97512,0,G= 3, I97512,0,B = 5, ..., I9751319,239,B= 177。
背景フレームと閾値フレームの更新を、式（３、４、６）を用いて行う。
B97510,0,R= 2, B97510,0,G= 0, B97510,0,B = 2, B97511,0,R = 2, B97511,0,G= 0, B97511,0,B = 2, B97512,0,R = 8, B97512,0,G= 5, B97512,0,B = 9, ..., B9751319,239,B= 176；
p97510,0,R= 6, p97510,0,G= 6, p97510,0,B = 6, p97511,0,R = 7, p97511,0,G= 6, p97511,0,B = 6, p97512,0,R = 5, p97512,0,G= 9, p97512,0,B = 11, ..., p9751319,239,B= 6。
【００６７】
差分フレームＤを式（５）を用いて計算して、下記を得る。
D97510,0,R= 6, D97510,0,G= 0, D97510,0,B = 3, D97511,0,R = 2, D97511,0,G= 0, D97511,0,B = 1, D97512,0,R = 6, D97512,0,G= 2, D97512,0,B = 4, ..., D9751319,239,B= 1。
閾値フレームP9751を用いて２値化を行う。
γ97510,0,R= 0, γ97510,0,G= 0, γ97510,0,B = 0, γ97511,0,R = 0, γ97511,0,G= 0, γ97511,0,B = 0, γ97512,0,R = 0 γ97512,0,G= 0, γ97512,0,B = 0, ..., γ9751319,239,B= 0。
【００６８】
カラーチャネルを論理和のルールに基づいて統合し、下記を得る。
m97510,0= 6, m97511,0 = 0, m97512,0= 3, m97513,0 = 2, m97514,0 = 0, m97515,0= 1, m97516,0 = 255, m97517,0 = 2, m97518,0= 4, ..., m9751319,239 = 0。
非ゼロ値からなる結合された領域にラベルを付け、領域数＝９２８を得る。
【００６９】
予検出ゾーンを、それを記述する矩形を生成することにより、以下の様に形成する。
Dz0= {62,14,62,15}, ... , Dz927={200,238,203,239}。
ここで、矩形の座標は（水平方向の左境界、上下方向の上境界、水平方向の右境界、上下方向の下境界）の順で与えられる。
メートル単位（実空間）による各サイズの大きさを計算し、Ｄz0の幅＝1.38ｍ，Ｄz0の高さ＝2.66ｍ，…, Dz927の幅＝0.11ｍ， Dz927の高さ＝0.10 mを得る。
【００７０】
メートルサイズに基づいて予検出ゾーンのフィルタリング（スクリーニング、ふるい）をし、１１９個のゾーンを得る。
２値化フレームから得られたものであるその予検出ゾーンは、セクションに分割される。そして、Ｓz0 = (11,14,11,14 },..., Ｓz927= (200,238,203,239)の１４９個のセクションを得る。
【００７１】
複数のセクションから、新たな追跡ゾーンを形成する。まず最初に、全てのセクションの中でフレームの下端中央に最も近いセクション（即ち、(118,128,121,163)のセクション）のある場所に、所定のメートル高さ0.8ｍ及び幅0.2ｍを満たす追跡ゾーンを創設する。その追跡ゾーンの座標(117, 150, 121, 163)を得る。対応するセクション（追跡ゾーンの位置を与えたセクション）は、このステップの以降の処理から除外される。
【００７２】
次に、残っているセクションそれぞれについて、追跡ゾーンとの重複面積を計算する。
座標（113, 126, 117, 165）を持つセクションについては、重複面積は１４となる。セクション自体の面積は１６９である。その面積に対する重複面積の比が１０％を超えないので、そのセクションは追跡ゾーンには組み入れられない。同様の処理が、残りのセクションについても繰り返される。
【００７３】
追跡ゾーン形成の処理は、未処理のセクションが残っている限り繰り返される。
【００７４】
各追跡ゾーンについて、その追跡ゾーンとセクションとの重複面積の和と、セクションの面積の和との比を計算する。座標{1,18,1,18}を持つ追跡ゾーンに対して、値０．９７を得る。この値は所定の閾値より大きいので、その追跡ゾーンは信頼できると考えられる。
現在のフレームからは、座標{1,18,1,18}を持つ１個の追跡ゾーンのみを得る。
【００７５】
それらの境界の間の距離が５ピクセル未満であるような複数の追跡ゾーンを、１つのクラスタに統合する。本例では、１つのクラスタCl0＝{1,18,1,18}を形成する。
校正カメラを用いるなどして、クラスタのメートルサイズを計算する。クラスターの幅0.83ｍ、高さ0.81ｍを得る。
【００７６】
クラスタの幅ＷCMin, ＷCMax,、及び高さＨCMin, ＨCmaxに基づいて、スクリーニングを行う。クラスタがスクリーニングを通過すると、以降の処理が続けられる。
【００７７】
特に無視ゾーンが定義されていないので、無視ゾーンとの位置比較によるスクリーニングは行われない。
【００７８】
現在のクラスタそれぞれについて、生存時間を、そのクラスタがその間見出されていたフレーム数として定義する。それを行うために、前回フレームにおいて保存されていたクラスタと、残っているクラスタとを、（対応しているかどうか）比較する。
一致する前回のクラスタが見つからないので、クラスタCl0に対して１の生存時間がセットされる。
また、その値は所定の閾値４０を超えていないので、現在のフレームではこれ以上の処理（判断）は行わないが、後続フレームでの処理のためそのクラスタの情報は保存される。
【００７９】
同様の処理を、次のフレームから９８１９番目のフレームまで繰り返す。
【００８０】
以下の値を持つ９８２０番目のフレームを取得する。
I98200,0,R= 3, I98200,0,G= 2, I98200,0,B = 0, I98201,0,R = 2, I98201,0,G= 1, I98201,0,B = 0, I98202,0,R = 9, I98202,0,G= 8, I98202,0,B = 13, ..., I9820319,239,B= 176。
背景フレームと閾値フレームの更新を、式（３、４、６）を用いて行い、下記を得る。
B98200,0,R= 2, B98200,0,G= 0, B98200,0,B = 2, B98201,0,R = 2, B98201,0,G= 0, B98201,0,B = 2, B98202,0,R = 8, B98202,0,G= 5, B98202,0,B = 9, ..., B9820319,239,B= 176；
p98200,0,R = 6, p98200,0,G= 6, p98200,0,B = 6, p98201,0,R = 7, p98201,0,G= 6, p98201,0,B = 6, p98202,0,R =12, p98202,0,G = 8, p98202,0,B= 11, ..., p9820319,239,B= 6。
【００８１】
差分フレームＤを式（５）を用いて計算して、下記を得る。
D98200,0,R= 1, D98200,0,G= 2, D98200,0,B = 2, D98201,0,R= 0, D98201,0,G = 1, D98201,0,B = 2, D98202,0,R= 1, D98202,0,G = 2, D98202,0,B = 3, ..., D9820319,239,B= 0。
閾値フレームＰ9820を用いて２値化を行う。
γ98200,0,R= 0, γ98200,0,G= 0, γ98200,0,B = 0, γ98201,0,R = 0, γ98201,0,G= 0, γ98201,0,B = 0, γ98202,0,R = 0 γ98202,0,G= 0, γ98202,0,B = 0, ..., γ9820319,239,B= 0。
【００８２】
カラーチャネルを論理和のルールに基づいて統合し、下記を得る。
m98200,0= 0, m98201,0 = 0, m98202,0= 0, m98203,0 = 0, m98204,0 = 0, m98205,0= 0, m98206,0 = 0, m98207,0 = 0, m98208,0= 0, ..., m9820319,239 = 0。
非ゼロ値からなる結合された領域にラベルを付け、領域数＝８３７を得る。
【００８３】
予検出ゾーンを、それを記述する矩形を生成することにより、以下の様に形成する。
Dz0= {115,19,116,22}, ... , Dz836={4,163,12,167}。
メートル単位（実空間）による各サイズの大きさを計算し、Ｄz0の幅＝1.38ｍ，Ｄz0の高さ＝2.66ｍ，…, Dz836の幅＝0.36ｍ, Dz836の高さ＝0.29ｍを得る。
【００８４】
メートルサイズに基づいて予検出ゾーンのフィルタリングをし、７８個のゾーンを得る。
２値化フレームから得られたものであるその予検出ゾーンは、セクションに分割される。そして、Ｓz0 =｛115,21,115,21｝,..., Ｓz108 =｛4,163,12,167｝の１０９個のセクションを得る。
【００８５】
複数のセクションから、新たな追跡ゾーンを形成する。まず最初に、全てのセクションの中でフレームの下端中央に最も近いセクション（即ち、(100,135,104,165)のセクション）のある場所に、所定のメートル高さ0.8ｍ及び幅0.2ｍを満たす追跡ゾーンを創設する。その追跡ゾーンの座標(100, 152, 104, 165)を得る。対応するセクションは、このステップの以降の処理から除外される。
【００８６】
次に、残っているセクションそれぞれについて、追跡ゾーンとの重複面積を計算する。
座標｛100,135,104,165｝を持つセクションについては、重複面積は１５５となる。セクション自体の面積は１５５である。その面積に対する重複面積の比が１０％を超えるので、そのセクションは追跡ゾーンには組み入れられる。同様の処理が、残りのセクションについても繰り返される。
【００８７】
残りのセクションは、重複（共通部分）がないので併合されない。
追跡ゾーン形成の処理は、未処理のセクションが残っている限り繰り返される。
【００８８】
各追跡ゾーンについて、その追跡ゾーンとセクションとの重複面積の和と、セクションの面積の和との比を計算する。座標｛100, 152, 104, 165｝を持つ追跡ゾーンに対して、値１を得る。この値は所定の閾値より大きいので、その追跡ゾーンは信頼できると考えられる。
結果的に、座標｛108, 149, 112, 162｝、｛139, 69, 140, 76｝、…、｛2, 26, 2, 27｝を持つ３７個の追跡ゾーンを得る。
【００８９】
正規化相関の計算により、追跡ゾーンを背景フレームと比較し、類似度（正規化相関）が閾値６０％を超えなかった、座標｛116, 21, 116, 22｝を持つゾーン１つを得る。そのゾーンは保持するが、それ以外の閾値を超えたゾーンは破棄する。
【００９０】
新たな追跡ゾーンの形成後、座標｛116, 21, 116, 22｝を持つ１つのゾーンを得る。
【００９１】
前回フレーム上で形成（定義）されていた上記追跡ゾーンを、現在フレームの中で検索する。そして、任意の位置で類似度関数の値が所定の閾値７０％を超える（即ち、対応が認められる）ようなゾーンがあれば、それらゾーンを新たな追跡ゾーンのリストに加える。対応が認められなかったゾーンは、破棄される。
その後、２４個の追跡ゾーンについて対応を発見し、それらを新たな追跡ゾーンのリストに加える。従って、Ｔr0＝｛35, 132, 39, 145｝、Ｔr1＝｛35, 125, 39, 138｝、…、Ｔr24＝｛116, 21, 116, 22｝の２５個の追跡ゾーンを得る。
【００９２】
追跡ゾーンの境界の間の距離が５ピクセル未満であるような複数の追跡ゾーンを、１つのクラスタに統合する。本例では、４つのクラスタＣl0{1,18,1,18}を形成する。
校正カメラを用いて、クラスタのメートルサイズを計算する。Ｃl0に対しクラスターの幅0.21ｍ、高さ0.79ｍ、Ｃl1に対し幅0.20ｍ、高さ0.78ｍ、Ｃl2に対し幅0.38ｍ、高さ1.89ｍ、Ｃl3に対し幅0.54ｍ、高さ1.06ｍを得る。
【００９３】
クラスタの幅ｗmin, ｗmMax,、高さｈmin, ｈmaxに基づいて、スクリーニングを行う。クラスタがスクリーニングを通過すると、以降の処理が続けられる。
【００９４】
特に無視ゾーンが設定されていないので、無視ゾーンとの位置比較によるスクリーニングは行われない。
【００９５】
現在のクラスタそれぞれについて、生存時間を、そのクラスタがその間見出されていたフレーム数として定義する。それを行うために、前回フレームにおいて保存されていたクラスタと、残っているクラスタとを、比較する。
【００９６】
クラスタＣl0に関して、座標の位置において近く且つ既に発見済みでもない、１つのクラスタを発見する。従って、そのクラスタには生存時間＝１がセットされる。このフレームでの処理は終えるが、次のフレームでの処理のため、そのクラスタの情報は保存される。
【００９７】
クラスタＣl1に関して、既に発見済みのクラスタ｛95,126,108,166｝を発見し、同じクラスタであると判断する。保存されていたクラスタのライフタイムをコピーし、１をインクリメントし、２６を得る。この値は所定の閾値４０を超えないので、このフレームでの処理は終えるが、一方で次のフレームでの処理のため、そのクラスタの情報は保存される。
【００９８】
クラスタＣl2に関して、既に発見済みのクラスタ｛53,116,63,157｝を発見し、同じクラスタであると判断する。保存されていたクラスタのライフタイムをコピーし、１をインクリメントし、４１を得る。この値は所定の閾値４０を超えるので、このクラスタの座標を、このフレーム中に存在する物体の座標であると推定する。
【００９９】
クラスタＣl3に関して、座標の位置において近く且つ既に発見済みでもない、１つのクラスタを発見する。従って、そのクラスタには生存時間＝１がセットされる。このフレームでの処理は終えるが、次のフレームでの処理のため、そのクラスタの情報は保存される。
【０１００】
以上から、現在フレームにおける物体は、スクリーン座標｛63,116,63,157｝および0.38ｍ（幅）と1.89ｍ（高さ）のメートルサイズを有すると判断する。
【０１０１】
以降のフレームそれぞれについても、同様の計算を行う。
【０１０２】
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
【図１】
0005135284.tif 000005
【図２】
0005135284.tif 000006
【図３】
0005135284.tif 000007
【図４】
0005135284.tif 000008