(57)【要約】画像処理１０３を使用して人間および物体の追跡１０４を組み合わせ、融合する工程２１３、および、追跡される人間および物体の識別を提供する工程２１２。同様に、人間、物体、領域、または、施設の状況および状態を検出し、判定し、評価し、かつ、モニタできる。
2004533682.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイス（１０１）と、
前記撮像デバイス（１０１）に接続される視覚プロセッサ（１０２）と、
前記視覚プロセッサ（１０２）に接続される識別器（２１２）とを含む追跡システム（１００）。
【請求項２】
前記視覚プロセッサ（１０２）が
画像プロセッサ（１０３）と、
トラッカ（１０４）とを含む請求項１に記載の追跡システム。
【請求項３】
前記視覚プロセッサ（１０２）および前記識別器（２１２）に接続された融合プロセッサ（２１３）をさらに含む請求項２に記載の追跡システム。
【請求項４】
追跡システムであって、
撮像のための手段（１０１）と、
前記撮像のための手段（１０１）からの画像を処理するための手段（１０３）と、
識別のための手段（２１２）と、
前記識別のための手段（２１２）と前記撮像のための手段（１０１）を共に融合するための手段（２１３）と、
前記撮像のための手段（１０１）に接続される追跡のための手段（１０４）とを含む追跡システム。
【請求項５】
前記追跡のための手段（１０４）が少なくとも１人の人間または１つの物体を追跡し、その人間または物体を識別できる請求項４に記載の追跡システム。
【請求項６】
前記追跡のための手段（１０４）を使用してユーザをインターフェースするための手段（２１６）をさらに含む請求項５に記載の追跡システム。
【請求項７】
前記ユーザをインターフェースするための手段（２１６）が前記追跡するための手段（１０４）をモニタするための手段（２１７）を含む請求項６に記載の追跡システム。
【請求項８】
追跡される対象物の画像を獲得する工程（１０１）と、
前記画像を処理する工程（１０３）と、
前記対象物を追跡する工程（１０４）と、
前記対象物を識別する工程（２１２）とを含む追跡するための方法（１００）。
【請求項９】
前記対象物を識別する工程（２１２）と前記対象物を追跡する工程（１０４）を融合する工程（２１３）をさらに含む請求項８に記載の追跡するための方法。
【請求項１０】
ユーザを前記追跡するための方法とインターフェースする工程（２１６）をさらに含む請求項９に記載の追跡するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物体および人間の追跡、特に識別を用いた追跡に関する。
【背景技術】
【０００２】
本出願は、参照により本明細書に組み込まれている２００１年４月１９日出願の「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｔｒａｃｋｉｎｇ  Ｐｅｏｐｌｅ」という名称の米国仮出願第６０／２８４，８６３号の特典を主張する。
【０００３】
同様の技術に関する他の出願は、参照によって本明細書に組み込まれている２００１年１２月２７日出願の「Ｓｕｒｖｅｉｌｌａｎｃｅ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄｓ  Ｒｅｌａｔｉｎｇ  Ｓａｍｅ」という名称の米国特許出願第１０／０３４，６９６号、参照によって本明細書に組み込まれている２００１年１２月２７日出願の「Ｍｅｔｈｏｄ  ｆｏｒ  Ｍｏｎｉｔｏｒｉｎｇ  ａ  Ｍｏｖｉｎｇ  Ｏｂｊｅｃｔ  ａｎｄ  Ｓｙｓｔｅｍ  Ｒｅｇａｒｄｉｎｇ  Ｓａｍｅ」という名称の米国特許出願第１０／０３４，７８０号、参照によって本明細書に組み込まれている２００１年１２月２７日出願の「Ｍｏｖｉｎｇ  Ｏｂｊｅｃｔ  Ａｓｓｅｓｍｅｎｔ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ」という名称の米国特許出願第１０／０３４，７６１号を含む。
【０００４】
本発明は画像処理、および、追跡される人間または物体の識別を使用した人間または物体の追跡を含む。同じく、領域または施設の状態も検出および追跡することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、各技術および各方法を人間または物体を追跡するための統合された単一の手法に組み合わせる。これは、たとえば精製所および工場などの比較的大型の施設において従業員を追跡するために特に有用である。
【課題を解決するための手段】
【０００６】
追跡のための主要な技術はカメラ、撮像デバイス、または、視覚センサ、そして、画像処理である。関連技術は、人間および物体の積極的な識別のために使用される特殊な読取り器および／またはセンサなどの識別メカニズムを必要とする。人間の積極的な識別は、人間の移動の経路の閉じられた個所において行われる。主要な関連技術の融合は、工場または他の領域における作業員などの物体または人間を追跡するための強力な技術をもたらす。上述の技術のこの融合または組合せは、本発明の出願の１つの態様である。
【０００７】
本発明のさらなる応用例は、融合カメラおよび積極的技術をマッピングシステムに埋め込むことによって得ることができる。このシステムは、容易なアクセスおよび情報の視覚化、ならびに、空間座標または他の形態の状況への情報の変換を可能にする。１つの例は、工場または精製所のデータベース内の特定の設備に関連して、または、その工場または精製所の工程図上の工程の位置に関連して追跡される人間の位置を示すために、全球情報システム（ＧＩＳ）マッピングシステムに融合カメラおよび積極的識別情報を埋め込むことである。工程図がフィールドにおける地理的または物理的空間に直接的に相関しないことがあるため、追跡される人間の地理的または物理的な位置は工程図の相関する空間に翻訳またはマッピングされなければならないことがある。この特徴は、組合せ／融合画像処理および特定の識別技術である基本技術、または、基本技術のいずれかの変形に、所望の他の技術または特徴とともに付加することができる。
【０００８】
従業員を追跡する際に、従業員または従業員が所在する工場の状態について、追加情報を展開することができる。このような情報は、工場内の条件の知られている集合について、工場において、従業員を効果的に追跡するために、また、従業員の努力を最も効率的に指示するために現在のシステムの能力を改善することができる。たとえば、視野カメラおよびビデオ処理システムの専門検出能力は、従業員が移動を停止したかどうかを検出することができ、したがって、従業員の労働不能、または傷害の可能性を示す。この情報は、システムが、従業員に問題がある可能性があると結論し、したがって、その従業員の状況を調査するようにオペレータに警報を出すことを可能にする。特別なビデオ検出の能力は、工場の状態のより徹底的な診断を可能にする方法で、工場または据え付け設備の状態をモニタするために使用することができる。
【発明を実施するための最良の形態】
【０００９】
図１は、人間または物体トラッカ１００の実施形態の図である。本発明を説明するために、ここでは、たとえば人間の追跡が使用されている。たとえば工場の端から端までに設置された複数のカメラまたは撮像デバイス１０１を使用して、１つの領域または施設を観察することができる。カメラまたは撮像デバイス１０１からの画像は、カメラ１０１によって検出された人間または物体の追跡能力を含む画像処理コンポーネント１０２に、デジタルまたはアナログのフォーマットで電子的に供給される。追跡されている物体または人物の経路または軌跡が注目される。コンポーネント１０２の画像処理は、例えいずれのカメラ１０１も互いに視野の重なりがないとしても、追跡の継続性を維持するためである。追跡は、移動しない物体の観察も含むことができる。１つの例は、バルブまたはパイプライン上の霜を示す画像を供給し、可能な問題を示すことが出来る特別に設計された赤外線カメラ２１５によるバルブまたはパイプラインの観察である。
【００１０】
水の特定の特性は、上側の近赤外スペクトル（すなわち、０．４μｍから２．４μｍ）においては確立されている。水および水が表面に付いている物体は反射率が非常に小さく、したがって、このスペクトルにおいては基本的に黒体である。この黒体の特性は、水が仮想質量の上方にあるときは、画像において顕著である。雨水の少量の覆いはこの特性を示さない。しかし、氷（すなわち、濃縮された水）または人体（すなわち、水に基づく厚い質量）の覆いは、このような黒体特性を有する。図２ａは黒体に見える結氷部分３０２を有する金属シリンダ３０１を示す。図２ｂは結氷を取り除く途中のシリンダを示す。黒色部分３０２は収縮を開始している。図２ｃにおいて、シリンダ３０１の下部３０２は結氷が完全に取り除かれ、上部３０３と同じに見える。疑似彩色アルゴリズムは、氷の覆っている範囲の異なった状況を異なった色彩で表すために使用することができる。異なった色彩を使用すれば、オペレータには、氷がどの程度厚いかについての概念が与えられ、オペレータは、結氷除去作業の進行について動的に更新される。同様に、アルゴリズムは、そのような氷の検出のために発光の程度が十分であるかどうかを決定する。
【００１１】
追跡されている物体または人間を積極的に識別するためには、センサの１つまたは複数のグループ１０５が利用される。このセンサのグループは能動型無線周波数バッジ読取り器２０３、能動型赤外線バッジ読取り器２０４、受動型無線周波数バッジ読取り器２０５、受動型無線周波数バッジ読取り器２０６、長距離または短距離バーコード読取り器２０７、ＧＰＳバッジ読取り器２０８、衣服に関する色彩、形状、および、数量などの識別用衣服マーカ読取り器２０９、バイオメトリック読取り器２１０（たとえば、指紋または網膜）、特化赤外線カメラ２１１、および、他のセンサ２１５を含む。識別器２１２へのセンサ１０５の接続は図３に示す。これらは使用することができる識別用センサの例に過ぎない。このようなセンサは、領域において、グリッド状のレイアウト上、または、閉じられた個所、ゲート、保安検査個所、進入個所、狭い走行車線などに設置される。これらのセンサ１０５の出力は、ポジティブ識別コンポーネント２１２の入力に進む。
【００１２】
さまざまなセンサまたは追跡されている物体または人間の積極的識別を示すセンサからの入力の合成物である積極的識別コンポーネント２１２からの出力は、融合コンポーネント２１３に進む。コンポーネント２１３への他の入力は、視覚プロセッサコンポーネント１０２およびデータベースコンポーネント２１４から入来する。データベースコンポーネント２１４は、融合コンポーネント２１３のための情報源である。融合コンポーネントは、追跡されている特定の物体または人間についての特定の情報をコンポーネント２１３へ要求する信号を送出しことができる。たとえば、作業命令システムは、工場または精製所において作業員の追跡に役立つ有益な情報の源となることができる。データベースコンポーネント２１４は、多くのデータベースにおける多くのタイプの情報の源である。
【００１３】
融合コンポーネント２１３の出力は、ユーザインターフェースコンポーネント２１６に進む。コンポーネント２１６は、インターフェース電子回路２３４、および、追跡されている物体または人間を、および、可能なときにはいつでも追跡されている人間または物体の積極的な識別を示す図５のディスプレー２２５を備えた画面２１８を典型的に有する。
【００１４】
システム１００の融合カメラの追跡および積極的識別の応用の例は図５に説明する。図４に示すように、ユーザインターフェース２１６の１つのコンポーネントは、ディスプレー画面２１８、キーボード２１９、および、マウス２２０を有するモニタ２１７である。図５はオペレータ画面２１８に表示されるものである。図５はディスプレー２２５である。工業用据え付け設備の平面図２２１が示されている。平面図上には、従業員Ｊｏｈｎ２２２およびＭａｒｙ２２３が示されている。写真２２４は従業員２２２および２２３が位置することが知られている領域を示している。画面２１８のディスプレー２２５の右には、画面で見ている領域、写っている従業員、および、使用されている撮像デバイス１０１のカメラ２２６についての情報部分２２７がある。工場の区画１ＡはカメラＡ（すなわち、カメラ２２６）によって見られている。Ｊｏｈｎ２２２は有効なＷ．Ｏ．（ｗｏｒｋ  ｏｒｄｅｒすなわち、作業命令）を有して西に移動している。Ｍａｒｙ２２３は有効なＷ．Ｏ．は持たずに静止している。警報は出されていない。カメラ２２６および画像処理１０３は従業員２２２および２２３の視覚的な追跡が可能にするトラッカ１０４である。使用されている他のコンポーネントはセンサグループ１０５からのセンサ、および、識別器２１２である。これらのコンポーネントは、従業員２２２および２２３の積極的な識別を提供する。たとえば、無線周波数（ＲＦ）識別（ＩＤ）タグが従業員２２２および２２３によって身に付けられる。従業員は、工場内の選択された閉じられた個所（たとえば、入口２２８）または他の便利な位置において、ＲＦタグまたはバッジ読取り器２０３または２０５によって積極的に識別される。ＲＦＩＤタグに加えて、他のものもシステム１００によって追跡される従業員の積極的な識別のために使用することができる。そのようなものは、赤外線タグ、バッジの装置内通過提示、および、指紋、掌、網膜、または、顔面の走査を含むことができる。同様に、独特の色彩または形状を備えたバッジまたは衣服の視覚的な検出、（たとえば、人間のバッジまたは衣服上に位置するバーコードを使用する）バーコード走査、または、識別のために利用可能な他のいかなる方法または技術を含むことができる。
【００１５】
カメラＡ２２６によってモニタされている領域の平面図２２１は、従業員２２２および２２３がその領域内および彼らのそれぞれの位置に存在することを示す。Ｊｏｈｎ２２２およびＭａｒｙ２２３は、この領域に入るときに閉じられた個所または入口２２８を介して歩くとき、読取り器によって積極的に識別され、視覚プロセッサ１０２によって彼らの現在の位置まで追跡された。ＲＦ読取り器２０３は、識別器２１２に従業員２２２および２２３についての付加的な情報を送った。従業員２２２および２２３が閉じられた個所２２８で読取り器２０３によって検出されたとき、識別器２１２はこの情報を処理し、視覚プロセッサ１０２に転送した。もしＪｏｈｎまたはＭａｒｙとの通信が所望されたなら、画面２２５上のＪｏｈｎまたはＭａｒｙの氏名に最も近い相互通話装置用「Ｔａｌｋ」ボタン２２９を、それぞれのボタンへの接触で起動することができる。
【００１６】
人間または物体の追跡および識別を改善するために、付加的なビデオ技術を使用することができる。１つのそのような技術は協働カメラネットワーク（ＣＣＮ）である。ＣＣＮはカメラによって見られている場面における変化を検出することができる。そのような変化は、フレーム微分法および適応閾値法の使用で検出される。ビデオのフレームが、現在のフレームと参照フレームとの間の差を検出するために比較される。参照フレームと異なる現在のフレームの部分が抽出され、それらの抽出された部分の画素のヒストグラムが作成される。閾値レベルが、実際の変化であるものと雑音であるものとの間の分離を可能にするヒストグラムに割り当てられる。ＣＣＮは、たとえば人間の衣服の種々の要素からなる色彩を、その人間を識別し、追跡することに役立つように評価するために使用することができる。
【００１７】
図６は、ビデオ追跡および積極的識別の情報に統合された付加的な情報を示す。付加的情報の入力は、たとえば、工場または精製所の環境において、特定の機械の性能についての情報、有効であり、ディスプレー２２５に示す作業員によって保持される作業命令についての情報、工業的工程における潜在的または展開しつつある異常な状況についての情報、作業員によってまさに行われようとしている修理の工程についての情報、または、他のタイプの情報を含むことができる。図６のディスプレー２２５の情報区画２２７に示されるこのような情報の例は、モニタ２１７の画面２１８上にある。作業命令の情報、作業の詳細、特別な指示、および、他の情報は、データベース２１４から追跡システム１００によってアクセスされる。ディスプレー２２５に付加された付加的な能力はシステム１００の全体的な出力および有効性を高める。ディスプレー２２５の下部は平面図２２７の関連部分を示す。
【００１８】
上述のＧＩＳも追跡システム１００の能力を改善できる。ＧＩＳは、微小測定グリッドを作成することによって空間情報の位置を定め、翻訳することができる。グリッド上の各交点の周辺の領域はその交点についての影響の領域に指定することができる。影響の領域は、図７に示す工程模式図２３０などの工場、製造所、または、精製所には直接に空間的には関連しないマップの各部分に相関させることができる。模式図２３０は、ＧＩＳが空間情報を非空間的フォーマットに相関させるために使用されるマッピングの例である。工程模式図２３０は、Ｊｏｈｎ２２２およびＭａｒｙ２２３が工程、または、工場内で彼らが近くに立っている加工設備の近くに位置していることを示す。カメラのＡ２２６の視野は図５の平面図２２１から図７の工程模式図２３０に翻訳されているのでカメラの視野が歪められているため、カメラＡ２２６の視野内の線は曲げられている。
【００１９】
特別なビデオ検出機能はシステム１００の診断機能に追加され、それによって、システムの出力および有効性を高める。図８は石油精製所のために特に有用であることがあるいくつかの検出機能を示す。たとえば、氷は石油精製所のいくつかのパイプおよびバルブを覆うことがあり、バルブ２３３が適切に稼働することを妨げることがある。これらのバルブ２３３の不適切な稼働は、精製所において深刻な機能上の問題をもたらすことがある。図２ａ、２ｂ、および、２ｃに示すように、氷検出能力は機能（すなわち、近赤外現象学に基づく氷検出）として付加することができる。他の機能は閃光（火炎）検出のために使用される能力を含むことができ、火炎の色彩および／または形状の変化の検出も含む。紫外光検出器は火炎をモニタするために使用することができる。情報部分２２７は氷の形成および位置の警報通知の例、および、閃光を構成する火炎の質および量の変化を示すことができる閃光の変化の例を提供する。
【００２０】
ＧＩＳはデータベースコンポーネント２１４の資源になり得る。ＧＩＳは、画像処理コンポーネント１０２によって処理されたマップに基づいて、人間の実際の位置の客観的な記述を支援するために使用することができる。このようなシステムからのさらなる情報は、精製所のレイアウトなどの工程フローレイアウトを基準として追跡される人間または物体の位置を提供することができる。
【００２１】
画像処理コンポーネント１０２はマルチカメラ監視、および、物体若しくは人間の追跡のための処理から構成される。コンポーネント１０２は移動物体セグメンタ、トラッカ、および、マルチカメラ融合モジュールを有する。１つの物体検出方法は、画素レベルにおける正規分布表示の混合に基づく。各正規分布は、同じ場面の点の例が雑音のガウス分布を表示する可能性が高いという予想を反映する。正規分布の混合は、２つ以上の工程が時間を経て観察することができるという予想を反映する。ここで使用される方法は、マルチノーマル表示が画素レベルで使用されているということが類似している。しかし、類似性の程度はこれだけである。本方法は、本発明のモデルを初期化するために期待値最大化（ＥＭ）アルゴリズムを使用する。ＥＭアルゴリズムは、迅速な収束およびセグメント化作業の安定した実行を促進する初期の強力な統計的支援を提供する。入来画素の正規分布と外出モデル正規分布との間の測定基準として、Ｊｅｆｆｒｅｙｓ（Ｊ）の発散測度が使用される。整合が見出されると、モーメントの方法を使用して、モデルの更新が行われる。整合が見出されないときは、前景の集合内の入来分布の包含を保証する方法で、更新が行われる。
【００２２】
直前に述べた方法は、各新フレーム内の前景画素の識別を可能にする一方、各画素の混合モデルの記述を更新する。次に、識別され、ラベル付けされた前景画素は、接続されたコンポーネントのアルゴリズムを使用して物体に組立てることができる。位置および大きさの双方を組み込む線形予測的複数仮定追跡アルゴリズムを使用することによって、各フレーク間での物体の対応を確立すること（すなわち、追跡）が達成される。物体追跡方法を以下に述べる。
【００２３】
追跡コンポーネント１０２を使用する画像処理のために、視野（ＦＯＶ）の重なりまたは融合が必要でなくとも、ＦＯＶの融合をここで検討する。いずれの単一のカメラも大きな開放空間を全体的に網羅することはできないため、融合は有用である。さまざまなカメラのＦＯＶは、総体的な情報認知を維持するために、首尾一貫した超画像に融合することができる。複数のカメラは、個々のホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）のマトリクスを計算することによって融合（較正）される。計算は、カメラの各組間の共通のＦＯＶ内のいくつかの目印となる点の識別に基づく。目印となる点は場面上に物理的に印が付けられ、ユーザインターフェースを介してサンプリングされる。達成された較正は非常に正確である。
【００２４】
現在のＦＯＶ融合システムは、変換された視野を正確に表すために歪みアルゴリズムを有する。カメラはしばしば遠く離れ合っており、非常に大きく変化する角度を形成する光学的な軸を有するため、このアルゴリズムは近最適カメラ配置方式を計算する。結果的に得られたホモグラフィは、標準的な歪みの作成は失敗しているが現在の歪みの作成は成功している実質的に歪んだしたフレームを作成する。
【００２５】
画像処理コンポーネントによる物体または人間の追跡は、初期化段階で実際に開始することができる。この段階の目標は、場面に対応する画素のために統計的に有効な数値を提供することである。続いて、これらの数値は、前景および背景の情報認知の動的処理のための開始点として使用される。初期化は１回のみ行うことが必要である。この段階のためには、厳密なリアルタイム処理の要件はない。特定の数Ｎ（Ｎ＝７０）のフレームが蓄積され、続いて、オフラインで処理される。
【００２６】
（場面の）画像の各画素ｘは、５つの時間追従変動３変量正規分布の混合物として考えられる。
【００２７】
【数１】
2004533682.tif 000003
【００２８】
ここで、
【００２９】
【数２】
2004533682.tif 000004
【００３０】
は混合比率（重み）であり、Ｎ3（μ、Σ）はベクトル平均値μおよび分散−共分散マトリクスΣを備えた３変量正規分布を表す。分布は、一般的な場合のカラーカメラにおける各画素の３つの構成要素の色（すなわち、赤、緑、青）を説明するために３変量となっている。
【００３１】
ここでの画素数値の初期化は、各データ点を既存の分布のすべてに部分的にコミットメントすることを含む。コミットメントのレベルは、適切な重み付け係数によって記述される。これは、上述したＥＭ法によって達成される。ＥＭアルゴリズムは、場面内の各画素ｘについての初期分布のパラメータｎi、μi、および、Σi、ｉ＝１、．．．５を見積もるために使用される。ＥＭアルゴリズムはＮ個のフレームにわたってオフラインで適用されるため、各画素のために利用可能な時間内にはＮ個のデータ点がある。データ点ｘj、ｊ＝１、．．．、Ｎは三重項である。
【００３２】
【数３】
2004533682.tif 000005
【００３３】
ここで、ｘjR、ｘjG、および、ｘjBは、時間ｊにおける指定された画素について、カメラの赤、緑、および、青のチャンネルから受信された測定値を表す。このデータｘ1、ｘ2、および、ｘ3は、以下の５つの３変量正規分布の混合からサンプリングされると仮定される。
【００３４】
【数４】
2004533682.tif 000006
【００３５】
ここで、分散−共分散マトリクスは各正規分布成分内に同一の分散を有するｘjR、ｘjG、および、ｘjBと直交すると仮定されるが、すべての成分（すなわち、ｋ≠１の成分については、σk2≠σl2）にわたってではない。
【００３６】
本来、アルゴリズムには、問題のパラメータ、πi(0)、μi(0)、および、（σi(0)）2のいくつかの未加工の見積もりが提供される。これらの見積もりは、混合モデルにおける特定の分布に各入来データ点を入れるＫ平均値法で得られる。続いて、以下のループが適用される。
【００３７】
ｋ＝０、１、．．．の場合に、ｉ＝１、．．．、５およびｊ＝１、．．．、Ｎについて以下を計算する。
【００３８】
【数５】
2004533682.tif 000007
【００３９】
【数６】
2004533682.tif 000008
【００４０】
【数７】
2004533682.tif 000009
【００４１】
【数８】
2004533682.tif 000010
【００４２】
続いて、ｋ＝ｋ＋１を設定し、ループを繰り返す。ループを終了するための条件は、以下の通りである。
【００４３】
【数９】
2004533682.tif 000011
【００４４】
ここで、εは「小さい」正の数（１０-2）である。ｚij(k)は、ｘjがｉ番目の分布に所属する事後確率であり、それらは計算のｋ番目の工程において５×Ｎ個のマトリクスを形成する。ＥＭ処理はカメラの焦点面アレー（ＦＰＡ）における各画素に適用される。結果は、画素当たり５個の正規分布の混合モデルである。これらの正規分布は、各画素について５つの潜在的に異なる状態を表す。これらの状態のいくつかは背景の状態とすることでき、いくつかは前景の一時的な状態とすることができる。ＥＭアルゴリズムは計算集約的であるが、初期化段階をオフラインで行うため、これは問題とはならない。
【００４５】
移動する物体のセグメント化もある。初期の混合モデルは、その後、動的に更新される。更新メカニズムは入来する証拠（すなわち、新しいカメラフレーム）に基づく。更新サイクルの間に、いくつかの項目を変更できる。
【００４６】
１．いくつかの分布の形態が変更できる（重みｎi平均μ1および分散σi2）。
２．前景の状態のいくつかが背景に戻ることができ、この逆もできる。
３．既存の分布の１つを落し、新しい分布で取って代わらせることができる。
時間の各点において、最強の証拠を備えた分布は、画素の最も起こりやすい背景の状態を表すと考えられる。
【００４７】
各画素についての更新サイクルは以下の通りである。
１．第一に、既存の分布はそれらの重みの数値に基づいて減少する順に整列している。
２．第二に、アルゴリズムは、証拠Ｔの所定の部分を説明する第１のＢ分布を選択する。
【００４８】
【数１０】
2004533682.tif 000012
【００４９】
ここで、ｗi、ｉ＝１、．．．、ｂは個々の分布の重みである。これらのＢ分布は背景の分布として考えられる一方、残りの５−Ｂ個の分布は前景の分布と考えられる。
３．第三に、アルゴリズムは、入来する画素の数値が既存の正規分布のいずれかに帰することができるかどうかを検査する。整合の基準は、Ｊｅｆｆｒｅｙｓ（Ｊ）発散測度である。
【００５０】
４．第四に、アルゴリズムは分布の混合物およびそれらのパラメータを更新する。更新の性質は、整合操作の結果による。もし整合が見出されれば、更新は、モーメントの方法を使用して行われる。もし整合が見出されなければ、最も弱い分布が新しい分布に取って代わられる。この場合に行われる更新は、新しい分布の前景集合への包含を保証する。
【００５１】
整合操作もある。２つの分布ｆおよびｇの間のＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ（ＫＬ）数は以下のように定義される。
【００５２】
【数１１】
2004533682.tif 000013
【００５３】
ＫＬの情報数の使用の正式な解釈は、ｆが真の分布であるときに可能性の大きさがｆとｇとの間で区別できるかどうかについてである。
アルゴリズムの目的のために、２つの分布の間でいくつかの発散測度を定義する必要があり、そうすれば、もし新しい発散と既存の分布の１つとの間の発散測度が「小さ過ぎ」ても、これらの２つの分布は１つに結合される（すなわち、新しいデータ点は既存の分布の１つに付属させられる）。発散測度ｄ（ｆ，ｇ）の場合、（少なくとも）以下の３つの公理を満たすことが必要である。
【００５４】
（ａ）  ｄ（ｆ，ｆ）＝０
（ｂ）  ｄ（ｆ，ｇ）≧０
（ｃ）  ｄ（ｆ，ｇ）＝ｄ（ｇ，ｆ）
２つの分布ｆとｇとの間のＫＬ情報数は、必ずしも（ｃ）を満たさない。なぜなら、以下の通りだからである。
【００５５】
【数１２】
2004533682.tif 000014
【００５６】
すなわち、ＫＬ情報数はその偏角周辺では対称ではなく、そのため、これは発散測度として考えることはできない。
２つの分布ｆとｇとの間のＪｅｆｆｒｅｙｓ発散測度は以下の通りである。
【００５７】
【数１３】
2004533682.tif 000015
【００５８】
以下の補助定理が示すように、この発散測度はＫＬ情報数に緊密に関連している。
補助定理１：
【００５９】
【数１４】
2004533682.tif 000016
【００６０】
証明：
【００６１】
【数１５】
2004533682.tif 000017
【００６２】
今、このＪ（ｆ，ｇ）はその偏角の周辺で対称である。
なぜなら：
【００６３】
【数１６】
2004533682.tif 000018
【００６４】
および、偏角（ａ）および（ｂ）を満たす。したがって、Ｊ（ｆ，ｇ）はｆとｇとの間の発散測度である。
Ｊ（ｆ，ｇ）は、新しい分布が既存の５つの分布の１つに整合するかしないかを判定する。５つの既存の正規分布は、
ｆi〜Ｎ3（μi，σi2Ｉ）、ｉ＝１、．．．、５
である。入来する分布は
ｇ〜Ｎ3（μg，σg2Ｉ）
である。ｘtは入来するデータ点として、μg＝ｘtおよびσg2＝２５を仮定する。ｇとｆi、ｉ＝１、．．．、５との間で測定された５つの発散測度は、以下の式によって与えられる。
【００６５】
【数１７】
2004533682.tif 000019
【００６６】
５つの発散測度が計算されれば、分布ｆj（１≦ｊ≦５）が以下について見出される。
【００６７】
【数１８】
2004533682.tif 000020
【００６８】
および、
ｊ（ｆj，ｇ）≦Ｋ*
の場合にのみｆjとｇとの間の整合があり、ここで、Ｋ*は所定のカットオフ値である。ｊ（ｆj，ｇ）＞Ｋ*である場合において、新しい分布ｇは既存の分布のいずれにも整合できない。
【００６９】
整合が見出されたときにはモデル更新がある。もし入来する分布が既存の分布の１つに整合すれば、これらの２つは新しい正規分布にまとめて収容される。この新しい正規分布は画素の現在の状態を表すと考えられる。この状態は、順に掲げられた分布のリスト内の整合した分布の位置によって、背景または前景のいずれかにラベル付けされる。
【００７０】
混合物のパラメータは、モーメントの方法を使用して更新される。最初に導入されるのは、既存の分布の重みに重みを付けるいくつかの学習パラメータαである。１００α％の重みは、５つの既存の分布の各々から減じられ、これは、入来する分布の重みに割り当てられる。つまり、入来する分布は重みαを有する。なぜなら：
【００７１】
【数１９】
2004533682.tif 000021
【００７２】
であり、５つの既存の分布は以下の重みを有する。
Πi（１−α）、ｉ＝１、．．．、５
明らかに、αは、０＜α＜１である必要である。アルファの選択はＫ*の選択に主に依存する。２つの量は逆に関係している。Ｋ*の値が小さいほど、αの値は大きくなり、この逆も成り立つ。同様に、Ｋ*およびαの値はモニタしている領域にどの程度の雑音があるかによっても影響される。そのため、もし、たとえば、外の区域がモニタされていて、環境の状態のために多くの雑音（すなわち、雨、雪など）を有していたなら、分布の１つへの非整合が背景の雑音によってもたらされる可能性が高いため、Ｋ*の「大きな」値および、したがって、アルファの「小さな」値が必要となる。
【００７３】
一方、もし記録が雑音のほとんど存在しない室内で行われれば、Ｋ*の「小さな」値および、したがって、アルファの大きな値が好ましい。なぜなら、既存の５つの分布の１つへの整合のないときはいつでも、（背景がほとんど雑音を有していないために）多少の前景の動きによって、これが起こる可能性が非常に高いからである。
【００７４】
新しい分布ｇと既存の分布の１つｆjとの間に整合があり、１≦ｊ≦５であると仮定すると、混合モデルの重みは以下のように更新される。
【００７５】
【数２０】
2004533682.tif 000022
【００７６】
平均ベクトルおよび分散も更新される。もしｗ1が（１−α）Πj,t-1、すなわち、ｗ1が（整合に成功した）ｊ番目の成分の、それを新しい分布ｇに収容する前の重みであれば、かつ、ｗ2＝α、すなわち、新しい観察結果の重みであれば、以下を定義する。
【００７７】
【数２１】
2004533682.tif 000023
【００７８】
モーメントの方法を使用すると、以下が導かれる。
【００７９】
【数２２】
2004533682.tif 000024
【００８０】
【数２３】
2004533682.tif 000025
【００８１】
一方、他の４つの（整合していない）分布は、時間ｔ−１においてそれらが有する同じ平均値および分散を維持する。
整合が見出されないときにはモデル更新がある。整合が見出されない場合（すなわち、ｍｉｎ1≦I≦5Ｋ（ｆi，ｇ）＞Ｋ*）、現在の画素の状態は前景にコミットされ、順に掲げられたリスト内の最後の分布は新しいもので取って代わられる。新しい分布のパラメータは以下のように計算される。
【００８２】
１．平均ベクトルμ5は入来する画素の値で取って代わられる。
２．分散σ52は分散のリストからの最低分散に取って代わられる。
３．新しい分布の重みは以下のように計算される。
【００８３】
【数２４】
2004533682.tif 000026
【００８４】
ここで、Ｔは背景閾値指数である。この式は、前景としての現在の画素の状態の分類を保証する。残りの４つの分布の重みは、以下の式に従って更新される。
【００８５】
【数２５】
2004533682.tif 000027
【００８６】
複数仮定は予測的追跡のために開発された。上記では、問題の移動する物体、すなわち、人間および車輛に対応する前景の画素のオンラインでのセグメント化を行うための統計的手順を説明した。ここでは、さまざまな移動する物体によって辿られる軌道をいかにして形成するかを説明する。物体の起動を形成するための基本的な要件は、（移動する物体に対応する）小斑点の重心の計算である。小斑点は、標準的な８個の接続された成分解析アルゴリズムが前景画素に適用された後に形成される。接続された成分のアルゴリズムはＡ＝３×９＝２７個の画素に満たない面積を備えた小斑点を雑音として選り出す。これは、カメラの視野中の問題の最も小さな物体（たとえば、人間）の最小の画素占有数である。
【００８７】
したがって、前景の物体の小斑点の重心をはっきりした軌道にグループ化する複数仮定追跡（ＭＨＴ）が採用される。ＭＨＴは、複数対象物の追跡アプリケーションへの最善の手法であると考えられる。入力データを軌跡に正確に関連付ける確率を最大に引き上げるものは、再帰的なベイズの確率的手順である。他の追跡アルゴリズムに対するこれの優秀性は、これが軌道に早期に関与しないという事実から生まれている。早期コミットメントは、通常過ちを招く。ＭＨＴは、十分な情報が収集され、処理された後にのみ入力データを軌道にグループ化する。この状況において、これは、入力データと既存の軌道との関連に関して、候補となる多くの仮定を形成する。ＭＨＴは、深刻な混乱および混雑した交通についてのアプリケーションのための選択肢となる方法であることを示した。交差した軌道を持つ困難な複数対象物追跡の問題においても、ＭＨＴは非常によい成果を上げている。
【００８８】
図９は、小斑点の重心２３５を含む複数仮定追跡（ＭＨＴ）アルゴリズムを示す。このアルゴリズムのモジュールは予測２３６、確認２３７、仮定作成２３８、および、仮定評価２３９である。いずれの追跡システムにも必要な部分は予測モジュール２３６である。予測は移動する物体の状態の見積もりを提供し、本システムにおいては、カルマンフィルタとして実施される。カルマンフィルタ予測は、対象物の動力学および測定雑音のための以前のモデルに基づいて行われる。
【００８９】
前景物体（小斑点）の移動を記述する状態ベクトルは、以下のような画素座標で表されるそれの重心の位置および速度から構成される。
【００９０】
【数２６】
2004533682.tif 000028
【００９１】
状態空間モデルは、遷移マトリクスＦk：
【００９２】
【数２７】
2004533682.tif 000029
【００９３】
を備えた
【００９４】
【数２８】
2004533682.tif 000030
【００９５】
によって与えられる等速モデルである。
処理雑音は、ゼロ平均および共分散マトリクス：
【００９６】
【数２９】
2004533682.tif 000031
【００９７】
を備えたホワイトノイズであり、ここでｑは処理分散である。測定モデルは、どのようにして測定が行われるかを記述し、それは：
【００９８】
【数３０】
2004533682.tif 000032
【００９９】
を備えた
【０１００】
【数３１】
2004533682.tif 000033
【０１０１】
および、
【０１０２】
【数３２】
2004533682.tif 000034
【０１０３】
によって与えられる測定雑音の一定の２×２の共分散マトリクスによって定義される。
上記の仮定に基づき、カルマンフィルタは
【０１０４】
【数３３】
2004533682.tif 000035
【０１０５】
【数３４】
2004533682.tif 000036
【０１０６】
【数３５】
2004533682.tif 000037
【０１０７】
【数３６】
2004533682.tif 000038
【０１０８】
【数３７】
2004533682.tif 000039
【０１０９】
の等式に従って状態ベクトルの最小平均二乗見積もり
【０１１０】
【数３８】
2004533682.tif 000040
【０１１１】
を提供する。
確認２３７は、入力データ（小斑点の重心２３５）と軌道（軌跡）の現在の集合との間の関係に関する仮定２３８の作成に先行する処理である。それの機能は、起こる可能性が低い早期の関係を排除することであり、したがって、多くの可能な仮定が作成されるのを制限する。測定された状態と予測された状態ｖkとの間のベクトル差は、以下の共分散マトリクスＳkを特徴とする無作為な変数である。
【０１１２】
【数３９】
2004533682.tif 000041
【０１１３】
【数４０】
2004533682.tif 000042
【０１１４】
現在の軌跡のリストからの各軌道について、関連するゲートが存在する。ゲートは軌道の予測された位置（次の移動）を取り囲む領域として視覚化することができる。この場合では、ゲートが以下の二乗Ｍａｈａｌａｎｏｂｉｓ距離によって定義される楕円形である。
【０１１５】
【数４１】
2004533682.tif 000043
【０１１６】
入来する測定値（小斑点の重心２３５）は、それが個々の軌道のゲート内に該当するときのみに軌道と関係付けられる。数学的には、これは以下によって表される。
【０１１７】
【数４２】
2004533682.tif 000044
【０１１８】
小斑点の重心の新しい集合の確認の結果は、あいまいさマトリクスの形態を取る。２つの軌道（Ｔ1およびＴ2）の既存の集合、および、３つの測定値（ｚ1（ｋ）、ｚ2（ｋ）、および、ｚ3（ｋ）の現在の集合の仮定に基づく状態に対応するあいまいさマトリクスの例は等式（１）に与えられる。
【０１１９】
【数４３】
2004533682.tif 000045
【０１２０】
あいまいさマトリクスの列は、軌道の現在の集合を示し、最初および最後の列は、それぞれ偽りの警報（ＴF）および新しい軌道（ＴN）のために留保されている。行は現在のフレーム上で作成された小斑点の重心の特定の測定値に対応する。個々の測定値が含まれるあいまいさマトリクス信号のゼロではない要素は、関連する軌道の確認領域にある。割り当ては、現在の走査での各測定値が１つのみの軌道に関連付けられることを可能にすることによって、あいまいさマトリクスにおいてさらに制約される。さらに、軌道は、繰り返し当たり多くても１つの測定値と組にされることが仮定される。したがって、（最初および最後の列を除いて）いずれの行または列におけるゼロでない要素の数も１つに制限される。したがって、あいまいさマトリクスは、線形割り当ての問題で定義されるように犠牲マトリクスに作られている。この公式化はあいまいさマトリクスを、小斑点の重心と軌道の組合せについての仮定の新しい集合を表すものにする。
【０１２１】
ＭＨＴアルゴリズムの実行の中心となるのは、軌道仮定の作成２３８および表示である。軌道は、新しい測定値が：
１．既存の軌道に所属する、
２．新しい軌道の開始点となる、
３．偽りの警報となる、
という仮定に基づいて作成される。
【０１２２】
仮定は、それらが仮定の構造に組み込まれる前に、確認処理２３７を介して確認される。軌道の仮定の完全な集合は、図１０に示す仮定マトリクス２４０によって表すことができる。表Ｉにある仮定の状況は、それぞれフレームｋ＝１およびｋ＋１＝２で行われる２つの走査２および１の測定値の集合に対応する。いくつかの記号表示による明瞭化は順番通りである。測定値ｚj（ｋ）はフレームｋで行われたｊ番目の観察（小斑点の重心２３５）である。加えて、偽りの警報は０によって示される一方、古い軌道から作成された新しい軌道（ＴnewID）の形成はＴnewID（ＴoldID）として示す。
【０１２３】
この表の第１の列２４１は仮定の索引である。例では、列部分２４２に走査１の間に作成された合計４つの仮定が示され、列部分２４３には走査２の間に作成されたさらに８つが示される。最後の列２４４は特定の仮定が含む軌道（たとえば、仮定Ｈ8が軌道１および２を含む）を掲げる。仮定の表の行セルは、特定の測定値ｚj（ｋ）が所属する軌道を示す（たとえば、仮定Ｈ10のもとでは、測定値ｚ1（２）は軌道５に所属する）仮定マトリクスは、図１１に概略を示すように樹状構造２４５によって計算上から表される。木の枝は本質的に測定値と軌道の関係についての仮定である。
【０１２４】
上述の例から明らかであるように、仮定樹２４５は測定値の数とともに指数的に成長する。仮定の数を低減するために、２つの測定値が適用される。第１の測定値は仮定を互いに素である集合に区分するためである。この意味では、同じ測定値について競合しない軌道は、互いに素である集合を構成し、これが、今度は、互いに素である仮定樹に関係付けられる。第２の測定値は、仮定樹の各枝に確率を割り当てるためである。Ｎhypo個の最も高い確率を持つ枝の集合のみを考える。フレームごとの仮定の確率を計算するために、再帰的なベイズの方法論が続く。
【０１２５】
マルチカメラ融合は物体および人間を追跡するうえで有用である。大きな敷地をモニタすることは、複数のカメラの調整が取られた使用を介してのみ達成される。人間および車輛の継ぎ目のない追跡は、すべてのカメラによって網羅される地理的領域全体にわたって好ましい。全景的な視野は個々のカメラの視野を融合することによって作成される。そのとき、物体の移動は、全球座標系に対して登録される。マルチカメラ登録（融合）は、カメラの各組の間のホモグラフィ変換を計算することによって達成される。ホモグラフィの計算手順は、カメラの視野の組の間に存在する重なりを利用する。５つの点以上の画素の座標は、ホモグラフィ変換マトリクスを計算するために使用される。これらの点は、２つのカメラの視野の間の重なっている領域に該当する物理的な地上平面の点の射影である。これらの点は、据え付け段階の間に選択され、ペンキで地面に印が付けられる。続いて、対応する射影された画像点が、グラフィカルユーザインターフェース（ＧＵＩ）を介してサンプリングされる。これは開始時においてのみ発生する処理であり、カメラの相互登録が完了すれば、これは繰り返されない。最低限の数のセンサを使用しての最適な網羅を達成するために、カメラは互いに遠く離れて、かつ、異なった角度で設置される。洗練された歪みアルゴリズムは、高度に非線形なホモグラフィ変換によって作成される大きな歪みを調整するために使用することができる。
【０１２６】
アルゴリズムはホモグラフィマトリクスを計算するために使用される。アルゴリズムは、幾何学的コンピュータ視野のための統計的最適化理論に基づいており、最小二乗法によって示される欠陥を修復する。基本的な前提は、エピポーラの制約が、画像作成の問題の統計的な性質のために、さまざまな雑音源によって違反されることがあるというものである。図１２において、画像作成の問題の統計的な性質は、エピポーラ制約に影響を及ぼす。Ｏ1およびＯ2は対応するカメラの光学的な中心である。Ｐ（Ｘ，Ｙ，Ｚ）は、２つのカメラの視野の間に該当する場面にある点である。理想的には、ベクトル
【０１２７】
【数４４】
2004533682.tif 000046
【０１２８】
、
【０１２９】
【数４５】
2004533682.tif 000047
【０１３０】
、および、
【０１３１】
【数４６】
2004533682.tif 000048
【０１３２】
は、同一平面上にある。しかし、雑音の多い画像作成処理のために、実際のベクトル
【０１３３】
【数４７】
2004533682.tif 000049
【０１３４】
、
【０１３５】
【数４８】
2004533682.tif 000050
【０１３６】
および
【０１３７】
【数４９】
2004533682.tif 000051
【０１３８】
は同一平面上にはないことがある。
特に、カメラの各組について、３×３ホモグラフィマトリクスＨは、実世界の点Ｐα（Ｘα、Ｙα、Ｚα）、α＝１、２、．．．、ＮかつＮ≧４が画像の点ｐαおよびｑα、に射影され、以下の等式が成り立つように計算される。
【０１３９】
【数５０】
2004533682.tif 000052
【０１４０】
記号（ｘ）が外積を示すこと、および、上記の等式が実際の画像の点ｐαおよびｑαについては成り立たないが、エピポーラ制約が満たされる対応する理想的な画像の点
【０１４１】
【数５１】
2004533682.tif 000053
【０１４２】
、
【０１４３】
【数５２】
2004533682.tif 000054
【０１４４】
については成り立たないことにも注目すべきである（図１２を参照）。同様に、上記の等式（２）は以下のように書ける。
【０１４５】
【数５３】
2004533682.tif 000055
【０１４６】
について、
【０１４７】
【数５４】
2004533682.tif 000056
【０１４８】
ここで、いかなる２つのマトリクスＡおよびＢについても、（Ａ；Ｂ）＝ｔｒＡTＢ）かつｅ(1)＝（１，０，０）T、ｅ(2)＝（０，１，０）T、ｅ(3)＝（０，０，１）Tである。統計的な枠組み内では、ホモグラフィ見積もりは、上記の等式（３）によって記述される制約のもとで、以下の二乗されたＭａｈａｌａｎｏｂｉｓ距離の合計を最小に抑えることに等しい。
【０１４９】
【数５５】
2004533682.tif 000057
【０１５０】
マトリクス△Ｘα(k)および△Ｘα(l)は共分散テンソルが以下によって示されることに注目すべきである。
【０１５１】
【数５６】
2004533682.tif 000058
【０１５２】
ここで、
【０１５３】
【数５７】
2004533682.tif 000059
【０１５４】
である。記号
【０１５５】
【数５８】
2004533682.tif 000060
【０１５６】
はテンソル積を示す。もしラグランジュ乗数を使用したなら、ホモグラフィマトリクスＨの見積もりは以下の汎関数Ｊ［Ｈ］の最適化にまで減少する。
【０１５７】
【数５９】
2004533682.tif 000061
【０１５８】
（３×３）の重みマトリクスＷα（Ｅ）は以下のように書ける。
【０１５９】
【数６０】
2004533682.tif 000062
【０１６０】
記号（  ）r-は、最も小さな（Ｎ−ｒ）個の固有値をゼロで置き換えることによって計算されるマトリクス（Ｎ×Ｎ）の一般化された逆数を表す。等式（５）の汎関数の最適化のための計算処理は、以下の通りに進む。
【０１６１】
１．初期化は、α＝１、．．．、Ｎについて、パラメータをｃ＝０、かつ、重みＷα＝Ｉと設定することによって開始される。
２．以下のマトリクスを計算することによって進める。
【０１６２】
【数６１】
2004533682.tif 000063
【０１６３】
【数６２】
2004533682.tif 000064
【０１６４】
３．次に、
【０１６５】
【数６３】
2004533682.tif 000065
【０１６６】
の最小の固有値λminおよび関連する固有ベクトルＨminを計算する。
４．もしλmin→０であれば、見積もりホモグラフィマトリクス
【０１６７】
【数６４】
2004533682.tif 000066
【０１６８】
は戻され、プログラムは終了する。さもなくば、重みｗαは等式（６）に従って更新され、ｃoldの値は以下に従って更新される。
【０１６９】
【数６５】
2004533682.tif 000067
【０１７０】
この後者の場合では、計算が工程２を介してループを戻ることによって継続する。
カメラの特有の配置（カメラ間の距離が大きく、狙う角度が変化している）のために、ホモグラフィは重なり領域から離れた画素については大きな歪みを導入する。過剰に非線形なホモグラフィ変換を補うために、補間法が使用される。
【０１７１】
この方法は、双方の次元にわたって同時に補間する歪みアルゴリズムである。特に、歪み計算は以下のように進む。
工程１．  オリジナルの画像の画素グリッドを歪んだグリッドに、ホモグラフィ変換によって規定されるようにマッピングする。これは、一般に、オリジナルの画像の等間隔の長方形グリッドを歪んだ空間内の非等間隔の四辺形グリッド２４６にマッピングする結果となる（図１３を参照）。
【０１７２】
工程２．  歪んだ画素座標は、一般に、いかなる正または負の値を取ることができる。これらの座標を正規化された正の範囲に縮尺調整する。
工程３．  歪んだ空間における画素値を満たすために補間法を採用する。図１３に示すように、もし等間隔の画素グリッド上に歪んだ画素グリッドを重ね合わせれば、そのような補間がなぜ必要であるのかを視覚化することができる。影付き長方形２４７は歪んだグリッドのノード２４８間の中間に位置する等間隔画素の中間位置を表す。歪んだ画像を適切に形成するために、歪みアルゴリズムはこれらの等間隔画素の中間位置に強度値を割り当てる。図１３において長方形１（２５１）および２（２４９）を含む領域の吹出し図２５０は図１４に示す。影付き長方形領域２９は、歪んだノード（ｉw，ｊw）と（ｉw＋ｍ，ｊw＋ｎ）との間の「隙間」である。この領域は、中央に等間隔画素の完全な位置を、および、境界（左、右、頂部、底部）に等間隔画素の部分的な位置を含むことができる。歪んだノード（ｉw，ｊw）における強度をそれらの面積Ａ（０＜Ａ≦１）で重み付けすることによって、これらの部分的または完全な画素位置に強度値を割り当てる。
【０１７３】
工程４．  歪んだ画素グリッドのノードが無くなるまで、上記の２次元補間法を左から右へ、および、頂部から底部へ適用する。
工程５．  最後に、観察された領域の万能画像平面内での画像の適切な位置決めのために、正規化された歪んだ座標を未正規化の歪んだ座標にマッピングし直す。
【０１７４】
画像処理コンポーネント１０２は、追跡される物体または人間の脅威の評価を提供することができる。コンポーネント１０２は、保安要員または適切な職員に、彼らの精査を必要とする物体または人間のみに対して警戒させることができる一方、特に害のないものを無視する。これは、画像処理コンポーネント１０２によって物体軌道の３つの画素座標を実世界座標系の集合に変換した後、行われた脅威評価解析を介して画像処理コンポーネント１０２において画像データを処理することによって達成される。座標の参照および変換では、知られている空間の特徴、固定された物体、または、目印が使用される。特徴の収集は、車輛／歩行者当たりに基づき、より高いレベルの関連特徴を計算するために画像処理モジュール１０２によって供給される軌道情報を使用する。特徴は、特に害のない適法の軌道および侵入者の知られている若しくは考えられるパターンについての「常識」上の確信を捉えるために設計される。計算される特徴は、以下を含む。
【０１７５】
・サンプル点の数
・開始位置（ｘ，ｙ）
・終了位置（ｘ，ｙ）
・通路の長さ
・網羅される距離（直線）
・距離比（通路の長さ／網羅される距離）
・開始時刻（現場の壁掛け時計）
・終了時刻（現場の壁掛け時計）
・継続時間
・平均速度
・最大速度
・速度比（平均／最大）
・総首振り角度（ラジアン）
・平均首振り角度
・「Ｍ］交差点の数
【０１７６】
これらのほとんどは自明であるが、いくつかはさほど明らかではない。いくつかの通路での活動は１日の特定の時刻、特に夜間および早朝において自動的に疑われるため、壁掛け時計は関係がある。
【０１７７】
首振り角度および距離比という特徴は、辿られた通路がいかに迂遠であったかの側面を捉える。施設の正当なユーザは、通路部表示によって許可された最も直接的な通路を辿る傾向にある。「見に来た人」はより遠回りな経路を取る可能性がある。
【０１７８】
「Ｍ」交差点という特徴は、車線に沿った複数の駐車場を体系的にチェックし、緻密な観察または施錠のチェックのために自動車のドアのところに繰り返し輪を描いて戻ってくるという自動車窃盗団のよく知られた傾向をモニタしようと試みる（２つの輪が文字「Ｍ」の形状を作り出している）。これは、駐車場について参照線を維持し、駐車場への横断の数を計数することによってモニタすることができる。
【０１７９】
軌道についての特徴の集合の出力は、多少の時間の長さで観察される敷地から記録され、保存される。この保存物は、特徴のデータベースに基づく脅威モデルを作成するために使用される。試行の時間中は、脅威の評価のためにデータ収集を豊かにするために、いくつかの疑わしい事象（「Ｍ」型の徒歩移動または特定の不活発さ）を段階付けることができる。個々の物体若しくは人間の軌道または軌跡は、特に害がない（ＯＫ）または疑わしい（ＯＫでない、または、脅威）として手作業でラベル付けすることができる。グループ分けアルゴリズムは物体または人間の挙動の貧しい記述において支援する。挙動データベースは、ラベル付けされた軌道または軌跡、および、対応するベクトルから構成される。これらは、分類樹誘導アルゴリズムによって処理される。続いて、結果として得られた分類子が入来する線のデータをＯＫまたはＯＫでないとして分類する。
【０１８０】
画像処理コンポーネント１０２は移動する物体または人間を検出し、追跡する。何人かの人間が横に並んで移動している場合には、彼らは単一の物体として追跡されるが、２つ以上の物体に分裂して、いくつかの軌跡として検出することもできる。人々が、設備または自然の障害物によって不明瞭にされるために、追跡は喪失することがある。しかし、人々が再び現われれば、追跡は正確に再開される。もし分裂した軌跡が保安上の抜け道となるならば、追加のカメラを使用することができる。画像処理１０４は、消えてから短い時間間隔内で視野内に現われる物体または人間を認識することができる。この認識機能は、自動車および特に人間の詳細な特徴を捉えるための高解像度カメラによって達成することができる。カメラは、検出された各物体または人間に一時的にズーム拡大し、物体の詳細な特徴部分を捉えることができるように、自動ズーム機構を有することができる。追跡は明るい所でも暗い所でも行うことができる。
【０１８１】
要約すると、追跡の手法は、前景または背景の状態に整合させるための画素処理の複数正規分布混合表示、および、Ｊｅｆｆｒｅｙ発散測度に基づいている。この整合基準は動的セグメント化の実行をもたらす。追跡（ＭＨＴ）アルゴリズムおよび外部マルチカメラ較正は、ホモグラフィの計算を介して達成される。２つの次元にわたって同時に補間する歪みアルゴリズムは、ホモグラフィによって導入された過剰な変形に対処する。樹状誘導アルゴリズムに基づいた脅威評価解析は、注釈付きの軌道データ内に検出された疑わしいパターンを報告する。脅威評価解析はグループ分けアルゴリズムを含む。アルゴリズムは、物体および人間の評価および分類において役立つ。
【図面の簡単な説明】
【０１８２】
【図１】人間および物体のトラッカシステムの図である。
【図２】図２ａは物体上の氷の赤外線検出を示す図である。図２ｂは物体上の氷の赤外線検出を示す図である。図２ｃは物体上の氷の赤外線検出を示す図である。
【図３】さまざまなセンサおよびそれらの識別器への接続を示す図である。
【図４】モニタ、キーボード、マウス、および、電子モジュールを備えたユーザインターフェースコンポーネントを示す図である。
【図５】作業施設における追跡および識別の説明的な例の表示を示す図である。
【図６】図５に類似するが、より詳細な情報を備えて作業員の１人に焦点を合わせた図である。
【図７】作業施設の工程図を基準とした作業員の位置を示す図である。
【図８】警報の状態の情報とともに、作業施設の平面図と工程図との相関を示す図である。
【図９】複数仮定追跡アルゴリズムのアーキテクチャを示す図である。
【図１０】仮定マトリクスを示す図である。
【図１１】仮定の樹状図である。
【図１２】共通領域を有する２台のカメラの視野を示す図である。
【図１３】歪んだ画像のグリッド上への画像の１個のグリッドのマッピングの結果を示す図である。
【図１４】図１３に示すマッピングの部分の拡大図である。
【図１】
2004533682.tif 000068
【図３】
2004533682.tif 000069
【図４】
2004533682.tif 000070
【図５】
2004533682.tif 000071
【図６】
2004533682.tif 000072
【図７】
2004533682.tif 000073
【図８】
2004533682.tif 000074
【図９】
2004533682.tif 000075
【図１０】
2004533682.tif 000076
【図１１】
2004533682.tif 000077
【図１３】
2004533682.tif 000078
【図１４】
2004533682.tif 000079
【国際公開パンフレット】
2004533682.tif 000080
2004533682.tif 000081
2004533682.tif 000082
2004533682.tif 000083
2004533682.tif 000084
2004533682.tif 000085
2004533682.tif 000086
2004533682.tif 000087
2004533682.tif 000088
2004533682.tif 000089
2004533682.tif 000090
2004533682.tif 000091
2004533682.tif 000092
2004533682.tif 000093
2004533682.tif 000094
2004533682.tif 000095
2004533682.tif 000096
2004533682.tif 000097
2004533682.tif 000098
2004533682.tif 000099
2004533682.tif 000100
2004533682.tif 000101
2004533682.tif 000102
2004533682.tif 000103
2004533682.tif 000104
2004533682.tif 000105
2004533682.tif 000106
2004533682.tif 000107
2004533682.tif 000108
2004533682.tif 000109
2004533682.tif 000110
2004533682.tif 000111
2004533682.tif 000112
2004533682.tif 000113
2004533682.tif 000114
2004533682.tif 000115
2004533682.tif 000116
2004533682.tif 000117
2004533682.tif 000118
2004533682.tif 000119
2004533682.tif 000120
2004533682.tif 000121
2004533682.tif 000122
2004533682.tif 000123
2004533682.tif 000124
2004533682.tif 000125
2004533682.tif 000126
2004533682.tif 000127
2004533682.tif 000128
2004533682.tif 000129
2004533682.tif 000130
2004533682.tif 000131
2004533682.tif 000132
2004533682.tif 000133
2004533682.tif 000134
【国際公開パンフレット（コレクトバージョン）】
2004533682.tif 000135
2004533682.tif 000136
【国際公開パンフレット（コレクトバージョン）】
2004533682.tif 000137
2004533682.tif 000138
【国際調査報告】
2004533682.tif 000139
2004533682.tif 000140