(57)【要約】  本発明の側面は、多くの異なったカメラからの画像を有する非同期多重ビデオ信号を多重分離するように構成されることができる。入力画像を状態に割り当てるために画像マッチング技術が用いられる。一般に、或る期間の後、状態の数は入力カメラの数に等しくなる。上記状態は、多くの技術(例えばヒストグラム分析、クラスタリング及び隠れマルコフモデル分析)を通じてモデル化されることができる。入力画像は状態に割り当てられ、前記入力画像は前記状態と関連して出力される。領域監視は、前記状態のうちの1つ又は複数からの一連の画像に実行されることができる。発生するあらゆるイベントは、識別されることができて、報告されることができる。
2005513939.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラからの画像を有する信号から決定される入力画像を複数の状態のうちの1つとマッチするステップと、
前記入力画像が前記状態のうちの1つとマッチする場合に前記入力画像を前記1つの状態に割り当てるステップと、
を有する方法。
【請求項２】
請求項1に記載の方法において、更に、
複数のカメラからの画像を有する前記信号から入力画像を決定するステップと、
前記入力画像から入力画像情報を決定するステップと、
を有し、
前記マッチするステップは、更に、前記入力画像情報を少なくとも1つの状態の各々に対応する状態画像情報と比較するステップを有し、
前記割り当てるステップは、更に、前記入力画像情報が前記状態のうちの1つの状態画像情報にマッチする場合に前記入力画像を前記1つの状態に割り当てるステップを有する、方法。
【請求項３】
請求項2に記載の方法において、前記比較するステップは、
少なくとも1つの状態が存在するか決定するステップと、
少なくとも1つの状態が存在しないときに前記入力画像に対応する新しい状態を追加するステップと、
を有し、
前記割り当てるステップは、前記入力画像を前記新しい状態に割り当てるステップを有する、方法。
【請求項４】
請求項2に記載の方法において、
前記比較するステップは、前記入力画像情報が前記少なくとも1つの状態の各々の前記情報の何れにもマッチしない場合に、前記入力画像に対応する新しい状態を加えるステップを有し、
前記割り当てるステップは、前記入力画像を前記新しい状態に割り当てるステップを有する、方法。
【請求項５】
請求項2に記載の方法において、前記少なくとも1つの状態は複数の状態を有し、該方法は、更に、前記複数の状態を決定するための訓練を実行するステップを有する方法。
【請求項６】
請求項2に記載の方法において、更に、前記入力画像を前記1つの状態と関連して出力するステップを有する方法。
【請求項７】
請求項2に記載の方法において、前記信号上の前記画像は非同期で決定される、方法。
【請求項８】
請求項7に記載の方法において、更に、カメラ間の切替えの順序が予め定まっていない、前記画像を前記信号に多重化するステップを有する、方法。
【請求項９】
請求項2に記載の方法において、前記信号上の前記画像は同期して決定される、方法。
【請求項１０】
請求項2に記載の方法において、更に、
前記入力画像を前記1つの状態と関連させて、前記入力画像を出力するステップと、
前記1つの状態と関連した前の画像を現在の画像と比較して、イベントが前記入力画像に発生しているかを決定するステップと、
を有する方法。
【請求項１１】
請求項2に記載の方法において、前記入力画像情報と前記1つの状態の前記状態画像情報とを比較する距離関数が所定の値以内に収まれば、前記入力画像情報は前記1つの状態の前記状態画像情報にマッチする、方法。
【請求項１２】
請求項2に記載の方法において、
前記入力画像から入力画像情報を決定するステップは、前記入力画像からヒストグラムを決定するステップを有し、
前記比較するステップは、前記入力画像の前記ヒストグラムを少なくとも1つの状態の各々に対応するヒストグラムと比較するステップを有し、
前記割り当てるステップは、前記入力画像の前記ヒストグラムが前記状態のうちの1つの前記ヒストグラムと所定のエラー内でマッチする場合に前記入力画像を前記1つの状態に割り当てるステップを有する、
方法。
【請求項１３】
請求項2に記載の方法において、
前記入力画像から入力画像情報を決定するステップは、前記入力画像から複数の特徴を決定するステップを有し、
前記比較するステップは、前記入力画像の前記特徴を前記少なくとも1つの状態に対応する複数の特徴の各々と比較するステップを有し、
前記割り当てるステップは、前記入力画像の前記特徴が前記状態のうちの1つの前記特徴と所定のエラー内でマッチする場合に前記入力画像を前記1つの状態に割り当てるステップを有する、
方法。
【請求項１４】
請求項13に記載の方法において、前記状態の各々は隠れマルコフモデル(HMM)の状態を有する、方法。
【請求項１５】
コンピュータ可読コードを記憶するメモリと、
前記メモリに動作的に結合され、前記コンピュータ可読コードを実行するように構成されるプロセッサであって、前記コンピュータ可読コードは、
−複数のカメラからの画像を有する信号から入力画像を決定し、
−前記入力画像から入力画像情報を決定し、
−前記入力画像情報を少なくとも1つの状態の各々に対応する状態画像情報と比較し、
−前記入力画像情報が前記状態のうちの1つの状態画像情報とマッチする場合に前記入力画像を前記1つの状態に割り当てる、
ように構成される、プロセッサと、
を有するシステム。
【請求項１６】
コンピュータ可読プログラムコード手段を備えたコンピュータ可読媒体を有する製品において、前記コンピュータ可読プログラムコード手段は、
複数のカメラからの画像を有する信号から入力画像を決定するステップと、
前記入力画像から入力画像情報を決定するステップと、
前記入力画像情報を少なくとも1つの状態の各々に対応する状態画像情報と比較するステップと、
前記入力画像情報が前記状態のうちの1つの状態画像情報にマッチする場合に前記入力画像を前記1つの状態に割り当てるステップと、
を有する、製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ監視システムに関し、より詳細には、複数のカメラからの非同期で多重化されたビデオを処理することができるビデオモニタリング及び監視システムに関する。
【背景技術】
【０００２】
コンピュータビジョンモニタリング及び監視システムは、一般的に、単一のカメラからの画像を処理することができるアルゴリズムを用いて実現される。これらのシステムにおいては、1つのカメラからのビデオがビデオ監視システムに供給され、このビデオ監視システムは、コンピュータビジョンアルゴリズムを用いてビデオ画像中のイベントを決定する。このようなイベントは、例えば、エリア内にいる無許可の人員、長過ぎる行列、開いたままのドア、つけたままのライト、又は煙を含むことができる。
【０００３】
マルチカメラコンピュータビジョンに基づいたモニタ装置もある。これらのマルチカメラ機構は、(i)独立して処理される複数のビデオ入力、又は、(ii)種々のカメラの中からその時々にアルゴリズムに送信されるべきビデオ入力フィードを個別に選択するためのコンピュータ制御可能マルチプレクサのどちらかを必要とする。通常、コンピュータによる制御が可能なフレームアキュレートマルチプレクサ(ここでは「同期」マルチプレクサと呼ばれる)は、1つのカメラから次のカメラに非同期で切り替えるものよりも大幅に高価である。
【０００４】
しかし、非同期ビデオマルチプレクサは、切替が前もって知られていないという問題を呈する。換言すれば、 同期ビデオマルチプレクサは、当該マルチプレクサが切替えを開始する前にカメラからカメラへの切替えが決定されるような態様で切り替えるか、又は、カメラからカメラへの切替えがコンピュータインタフェースの使用を通じてセットされることができるような態様で切替える。非同期ビデオマルチプレクサは、カメラからカメラに既知の態様で切り替えをせず、一般にプログラム可能でない。ビデオモニタリングシステムにオペレータがいる場合には、非同期マルチプレクサを用いることは重大な不利益ではない。なぜなら、ディスプレイがビデオの多重化されたストリームの1つのカメラから所定の数のビデオのフレームしか示さない場合であっても、オペレータが、ビデオディスプレイによって表示されている部屋がどの部屋であるかを決定することができるからである。また、各部屋においてどんなイベントが発生しているかをオペレータが決定することは、比較的簡単である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
逆に、現在のコンピュータビジョンアルゴリズムは、非同期ビデオマルチプレクサからのビデオを分析しない。従って、非同期ビデオマルチプレクサの使用を許可すると共に多くのカメラフィードの各々のイベントを適切にモニタするようなビデオモニタリング及び監視システムの必要性がある。
【課題を解決するための手段】
【０００６】
本発明は、一般に、複数のカメラからの非同期多重ビデオを処理することができるビデオモニタリング及び監視システムを提供する。本発明の側面は、多くの異なったカメラからの画像を有する非同期多重ビデオ信号を多重分離するように構成されることができる。
【０００７】
本発明の1つの側面において、入力画像が受け取られて、多くの状態と比較される。入力画像は、多くの異なったカメラからの多くの画像を有する信号からのものである。入力画像が状態にマッチすると、該画像は該状態に割り当てられる。通常、マッチングは、入力画像から入力画像情報を作成し、各状態からの状態画像情報を入力画像情報と比較することによって実行される。状態は、多くの既知の技術(例えば隠れマルコフモデル、ヒストグラム又はクラスタリング)を通じてモデル化されることができる。
【０００８】
本発明の第2の側面において、各入力画像は、非同期多重ビデオ信号から決定される。この側面において、各状態は、一定時間の後、入力カメラに対応するべきである。各入力画像は状態にマッチするべきであり、入力画像が属する状態が決定されるべきである。入力画像が状態にマッチされると、入力画像は、該状態に割り当てられることができ、この状態に属するとして出力される。従って、カメラは無作為に選択されることができ、この選択されたカメラからの画像が状態に割り当てられることができる。状態が選択されたカメラに対応するので、画像は非同期多重ビデオ信号から多重分離され、この多重分離は、画像が非同期多重ビデオ信号に如何に配置されているかについての事前の知識無しに起こる。
【０００９】
本発明の第3の側面において、種々の出力画像は、各状態について領域イベントを決定するために分析される。一定時間の後、領域イベントは、入力カメラに固有のものになるべきである。このようなイベントは、火又は煙、無許可の立ち入り、及び行列管理等の非常イベントを含むことができる。
【００１０】
本発明の第4の側面において、その時点で存在している状態にマッチしない画像が入力されると、新しい状態が追加される。従って、本発明の本側面は、状態なしで開始することができ、時間と共に多くの状態を発達させることができる。状態の数は、一定時間後、入力カメラの数に等しくなるべきである。加えて、状態は削除されてもよい。
【００１１】
本発明の第5の側面において、状態は隠れマルコフモデル(HMM)を通じてモデル化される。HMMは、状態が決定されるのを許可するだけでなく、状態間の遷移が決定されるのも許可する。訓練期間の後、HMMは入力カメラにつき1つの状態を作製するべきであり、更に、状態間の遷移を作製するべきである。遷移は、非同期ビデオマルチプレクサがいかにカメラ間で切替をするかをモデル化し、入力画像がどのカメラに属するかをより良く推定するために用いられてもよい。
【発明を実施するための最良の形態】
【００１２】
本発明のより完全な理解、更に、本発明の他の特徴及び利点が、以下の詳細な説明及び図面を参照して得られる。
【００１３】
図1をここで参照する。本発明の好適な実施例に従って動作する例示的なビデオモニタリングシステム100のブロック図が示される。ビデオモニタリングシステム100は、カメラ110-1〜110-N(「カメラ110」と総称)、カメラフィード115-1〜115-N(「カメラフィード115」と総称)、非同期ビデオマルチプレクサ120、多重化されたカメラ出力125及びビデオ監視システム130を有する。ビデオ監視システム130がデジタル多用途ディスク(DVD)135及びネットワークと相互作用しているのが示されている。
【００１４】
ビデオ監視システム130は、プロセッサ140及びメモリ145を有する。メモリ145は、イメージグラバ150、現在の画像155、カメラ多重分離プロセス300、画像情報165、状態情報170、領域監視プロセス175及び領域イベント180を有する。
【００１５】
非同期ビデオマルチプレクサ120は、カメラ110とこれらカメラの関連したカメラフィード115との間で非同期に切り替わるビデオマルチプレクサである。「非同期」とは、非同期ビデオマルチプレクサ120がカメラ110間で切り替わる順序は知られておらず、また、順序がプログラムされることもできないということを意味する。非同期ビデオマルチプレクサ120は、カメラフィード115からの画像を有する多重化されたカメラ出力125を作成する。完全な画像(又はフレーム)が各カメラから取得されるように非同期ビデオマルチプレクサ120がカメラフィード115間で切り替えをすることが期待される。しかし、これは必要とはされない。
【００１６】
従って、非同期ビデオマルチプレクサ120は、異なったカメラ110からの多くの画像を有するビデオストリーム(即ち多重化されたカメラ出力125)を作成する。これらの画像は、予め定められた順序になってはいない。例えば、非同期ビデオマルチプレクサ120は、4台のカメラ(即ちNは4である)を有するシステム100で用いられることができる。一定期間の間に、非同期ビデオマルチプレクサ120は、カメラ110-1、110-4、110-2、110-1、110-4、110-3及び110-1からこの順序で画像を選択することができる。異なった期間(2つの期間は同じ長さであってよい)の最中に、非同期ビデオマルチプレクサ120は、カメラ110-4、110-3、110-2、110-1及び110-4から画像を選択することができる。
【００１７】
本発明の側面は、非同期ビデオマルチプレクサ120がいかにカメラ間で切替えをするかについての限られた知識を考慮する。カメラ切替えがいつ起こるか、そして、マルチプレクサがカメラにどれだけの時間留まるかについての、完全な説明を必要とするのではなく、本発明は、多くの状態を作成して絞り込み、これらの状態に画像を割り当てることによって、上記の説明を決定する。本発明がしばらくの間訓練されると、本発明は、各カメラがオンになっていて適当な量の光で位置を見ている場合に、各カメラについて1つの状態を作成する。従って、マルチプレクサ120がいかに切替えをするかに関係なく、本発明は、多重化されたビデオ信号を別個のカメラビューに多重分離することが可能であるはずである。
【００１８】
多重分離のプロセスを開始するための1つの方法は、単一のカメラからの単一の画像を扱うことによる。イメージグラバ150は、当業者に知られている技術を通じて、多重化されたカメラ出力125から1つの画像を取り込む。イメージグラバは、単一の画像を取り込んで、この画像をカメラ多重分離プロセス300が現在の画像155として利用することを可能にする。イメージグラバ150は、更に、アナログビデオをデジタル画像に変換することができる(当該ステップが他の時点で既に実行されていなかった場合)。
【００１９】
カメラ多重分離プロセス300は、画像情報165を現在の画像155から抽出する。大まかには、カメラ多重分離プロセス300は、現在の画像155を記憶された画像とマッチさせるために、画像マッチング技術を用い、ここで、各記憶された画像は、状態に対応する。例えば、カメラ多重分離プロセス300は、以下で更に詳細に説明される画像マッチング技術を用いて、状態情報170に記憶される多くの状態の各々について、現在の画像155を画像情報と比較する。マッチがある場合、現在の画像155はマッチする状態に割り当てられ、カメラ多重分離プロセス300は、現在の画像155をマッチする状態から来るとして出力する。
【００２０】
次に、領域監視プロセス175は、状態がどの領域に属するか決定し、現在の画像155を処理する。領域監視プロセス175は、現在の画像155の代わりに又はこれと連動して画像情報165に対して作用してもよいことに注意されたい。領域監視プロセス175は、例えば、行列(例えば銀行窓口の行列)に何人いるか、ライトがついたままであるかオフにされたままであるか、無許可のエリアに1人又は複数の人がいるか、又は、煙若しくは火があるか、を決定することができる。領域監視プロセス175は、領域イベント180を作成するように構成されることができ、これは、危険の警告、異常性の表示、行列の長さ若しくはこれに関連した警報又は他の情報を有する。
【００２１】
領域監視プロセス175は、カメラ多重分離プロセス300の出力をより良くカメラ110に合うように調整するために、オペレータによって調整されることができる。これは、図2を参照して更に詳細に説明される。
【００２２】
前述のように、カメラ多重分離プロセス300は、現在の画像155を状態情報170の状態に関連した画像とマッチさせるために画像マッチング技術を用いる。比較のために画像自体が用いられることができるが、通常、全てではないにしてもほとんどの画像マッチング方法は、画像から情報を抽出して、抽出された情報をマッチングのために用いる。
【００２３】
例えば、画像マッチングのための1つの比較的単純な技術は、ヒストグラムを用いる。ヒストグラムは、何個のピクセルが特定の値であるかのカウントである。単純なヒストグラムはグレースケールを用い、これは画像の二次元表示である。より複雑なヒストグラムは、例えば色相、彩度及び明度(HSI)ヒストグラムを用いる三以上の次元を用いる。ヒストグラムに基づいたプロセスについては、画像情報165がヒストグラムになる。このヒストグラムは、状態情報170の他のヒストグラムと比較され、ここで各状態は、自身と関連した少なくとも1つのヒストグラムを有する。距離関数によって定まるように、ヒストグラムが類似していればマッチが決定される。1つの可能な距離関数は、ヒストグラムインターセクション距離関数であり、これは、International Journal Computer Vision 7:1, 11-32 (1991)のM. Swain及びD. Ballardによる「Color Indexing」に、より詳細に説明されており、この開示は本願に参照により組み込まれる。図4を参照して例示的な状態図が説明され、図5を参照して例示的な状態情報メモリ170が説明される。
【００２４】
現在の画像155と状態情報170の状態との間にマッチがない場合、カメラ多重分離プロセス300は新しい状態を作成することができて、新しい状態のための画像情報165を記憶することができる。カメラ多重分離プロセス300の追加の特徴が以下に説明される。
【００２５】
追加のマッチング方法が用いられてもよい。例えば、多くの画像処理システムは、画像の特徴を決定する。このような特徴は、離散コサイン変換(DCT)及びその係数、ピクセル値の平均、共分散並びに他の数学的デバイスを含む。加えて、画像は固有の側面について検査されてもよい。例えば、1つのカメラは、多くの隅、絵、テレビジョン又は他の視覚的に重要な品物を有する部屋を見ていてもよい。これらのエリアは、画像間を区別するために用いられてもよい。
【００２６】
一旦特徴が決定されると、画像情報165はこれらの特徴を説明する。現在の画像155からの特徴は、状態情報170の多くの状態の各々のうちに記憶された特徴と比較される。異なった特徴は、特徴空間を規定する。特徴空間を規則正しいセグメントに分割する方法を決定するための1つの技術は、クラスタリングと呼ばれる。クラスタリングにおいて、特徴の多くの組から特定のクラスが決定される。これらのクラスは、ここで状態として用いられてもよい。一旦クラスが決定されると、特徴の未知の組がクラスのうちの1つに割り当てられてもよく、又は、他のクラスが作製されてもよい。
【００２７】
一般に特徴空間を用いる他の技術は、隠れマルコフモデル(HMM)である。HMMは状態を有し、状態は確率を通じて決定される。更に、HMMは一般に、各状態間の遷移も有する。クラスタリング及びHMMを含むパターン認識の紹介は、Donald O. Tanguayによる「Hidden Markov Models for Gesture Recognition」(1995) (Massachusetts Institute of Technologyの未公開博士論文)において与えられ、この開示は参照によりここに組み込まれる。HMMの利点は、これらのモデルがクラスタリングを与えるだけではなく、クラスタを関連付ける遷移を提供しもするということである。
【００２８】
ビデオ監視システム130は、メモリ150に示される各デバイスを有することは必要としないということに注意されたい。例えば、イメージグラバ150は、現在の画像155をビデオ監視システム130に供給するスタンドアロンデバイスでありえる。同様に、領域監視プロセス175及び領域情報180も、ビデオ監視システム130から独立していることができる。図1に示されるビデオ監視システム130及びビデオモニタリングシステム100は、例示に過ぎない。
【００２９】
当技術分野で知られるように、ここで議論される方法及び装置は、コンピュータ可読コード手段を備えたコンピュータ可読媒体を自身が有する製品として配給されてもよい。コンピュータ可読プログラムコード手段は、ビデオモニタリングシステム100等のコンピュータシステムと連動して、ここで議論される方法を実行するためのステップの全て若しくは一部を実行する又はここで議論される装置を作製するように動作可能である。コンピュータ可読媒体は、記録可能な媒体(例えばフロッピー(登録商標)ディスク、ハードドライブ、DVD 135等のコンパクトディスク若しくはメモリーカード)であってもよく、又は、伝送媒体(例えばファイバーオプティクスを有するネットワーク、ワールドワイドウェブ、ケーブル若しくは時分割多重アクセス、コード分割多重アクセス若しくは他の無線周波数チャネルを用いるワイヤレスチャネル)であってもよい。コンピュータシステムにおける使用に適した情報を記憶することができるあらゆる既知の又は開発された媒体が用いられてもよい。コンピュータ可読のコード手段は、磁気媒体上の磁気偏差又はDVD 135等のコンパクトディスクの表面の高さ変化等の、コンピュータが命令及びデータを読み取ることを許可するためのあらゆる機構である。
【００３０】
メモリ145は、ここで開示される方法、ステップ及び機能を実現するようにプロセッサ140を構成する。メモリ145は、分散されている又はローカルであることができ、プロセッサ140は分散されている又は単一であることができる。メモリ145は、電気的、磁気的若しくはオプティカルメモリ、又は、これらの若しくは他の種類の記憶デバイスのあらゆる組合せとして実現されることができる。用語「メモリ」は、プロセッサ140によってアクセスされるアドレス可能なスペースのアドレスから読み取られる又はここに書き込まれることが可能なあらゆる情報を包含するのに充分広く解釈されるべきである。この定義では、ネットワークに関する情報は、依然としてビデオモニタリングシステム100のメモリ145内にある。なぜならプロセッサ140は情報をネットワークから取得することができるからである。ビデオモニタリングシステム100の全て又は一部は、集積回路又はプログラマブル論理回路等の他の類似したデバイスに作りこまれてもよいことに注意されたい。
【００３１】
図2を、ここで参照する。図1の例示的なビデオモニタリングシステム100の構造的なブロック図200は、本発明の好適な実施例に従って動作するように示される。各カメラ110はカメラフィード115を作成し、これは、非同期ビデオマルチプレクサ120に供給される。次に、非同期ビデオマルチプレクサ120は、各カメラからの画像を多重化して多重化されたカメラ出力125にする。画像は、非同期で多重化されているため、サンプリングカメラフィード115のシーケンス及びこれらフィードからの画像のキャプチャは事前に知られていない。
【００３２】
イメージグラバ150は、多重化されたカメラ出力125から単一の画像を決定する。非同期ビデオマルチプレクサ120が部分画像を作成したら、イメージグラバ150は非同期ビデオマルチプレクサ120からの部分画像を無視することができることに、注意されたい。代替的に、所定の数の活性ピクセルを有する部分画像が、現在の画像メモリ位置に置かれてもよい。図1及び2の例において、現在の画像155は、イメージグラバ150によって作成される。
【００３３】
カメラ多重分離プロセス300は、現在の画像155を処理して、現在の画像155から画像情報165を作成する。上で説明され、また、以下でより詳細に説明されるように、画像情報は、ヒストグラム情報であるか、又は、多くの離散コサイン変換(DCT)係数、平均、共分散及び当業者に知られている他の特徴等の多くの特徴であることができる。
【００３４】
カメラ多重分離プロセス300は、状態情報170を制御して決定し、これの構造的な例が図3を参照して説明される。状態情報170は一般に多くの状態を含み、各状態はそれ自身の画像情報を有する。カメラ多重分離プロセス300は、画像情報165を状態情報170の各状態の画像情報と比較し、マッチがあるかどうか決定する。マッチがある場合、現在の画像は特定の状態に割り当てられて、その状態に属するとして出力される。図2の例において、カメラ多重分離プロセス300は、出力215-1〜215-M(「215」と総称)を作成する。各出力は、状態に対応する。従って、現在の画像155が例えば状態2に割り当てられる場合、現在の画像155は出力215-2に出力される。
【００３５】
現在の画像155がいかなる状態にも対応しない場合、画像情報165は、状態情報170の追加の状態を作成して、追加の出力215を作成するために、用いられる。
【００３６】
時間とともに、出力215の数(即ちM)が、カメラフィード115の数(即ちN)と等しくなることが期待される。しかし、特定の状況においては、そうならない可能性がある。例えば、2台のカメラが異なった真黒の領域を見る場合、これらの2台のカメラからの画像は組み合わせられて1つの状態にされてもよい。
【００３７】
領域監視プロセス175は、領域イベント180について各出力215を検討する。このようなイベント180は、列の長さ、特定のエリアの無許可の人員の警告及び照明がつけたまま又は消えたままである状態を含むことができる。領域監視プロセス175は、更に、状態からカメラ110へのマッピングも含んでよい。例えば、オペレータは、状態2がカメラ5に属すると決定することができ、領域監視プロセス175が、状態2に割り当てられる画像がカメラ5から来たものであるとラベル付けするように、プログラムすることができる。加えて、領域監視プロセス175は、領域イベントを有する状態からの画像に切り替えて表示することができる。これは、オペレータが、どのカメラ110が、従ってどの領域が、領域イベントを有しているかを決定するのを許可する。
【００３８】
図3を、ここで参照する。本発明の好適な実施例によるカメラ多重分離のための方法300が示される。方法300は、多重化されたカメラ信号を多重分離するためにシステムによって用いられ、ここで、多重化されたカメラ信号は、種々のカメラからの画像を含む。多重化されたカメラ信号は、カメラから同期して決定される一連の画像を含むことができる。これは、カメラの回転の予定及び各カメラを見るのに費やされる時間が知られていることを意味する。しかし、通常、多重化されたカメラ信号は、カメラから非同期で決定される一連の画像を含む。これは、カメラの回転の予定若しくは各カメラを見るのに費やされる時間のどちらか又は両方ともが知られていないことを意味する。方法300は、多重化されたカメラ信号から各カメラフィードを再現することを試みる。
【００３９】
方法300は、ステップ310において入力画像情報が入力画像から決定されるときに開始する。入力画像情報は、ヒストグラムデータであってもよい。入力画像情報は、DCT係数、平均値、共分散測定又は当業者に知られている他の特徴等の特徴であってもよい。Petkovic他による「Recognizing Strokes in Tennis Videos Using Hidden Markov Models」Int'l Conf. on Visualization, Imaging and Image Proc., Marbella, Spain (2001年9月)において、テニスプレイヤーの動きを説明するための特徴抽出が説明されており、この開示は参照によりここに組み込まれる。可能な他の特徴抽出は、各画像についての圧縮された色度シグネチャである。圧縮色度シグネチャを用いてビデオデータのフレームを表示することを説明する参考文献は、Lu他による「Classification of Summarized Video using Hidden Markov Models on Compressed Chromaticity Signatures」ACM Multimedia, Ottawa, Canada (2001年9月〜10月)であり、この開示は参照によりここに組み込まれる。
【００４０】
ステップ315において、現時点で存在している状態があるか決定される。現時点で存在している状態がない(ステップ315=ノー)場合、画像情報は初期状態と関連付けられ、初期状態が作成される(ステップ325)。本方法はここで、次の画像の分析の準備が完了するまで終了する。
【００４１】
現時点で存在している状態がある(ステップ315=イエス)場合、画像マッチングが既知の技術を通じて実行される。例えば、ヒストグラムが入力画像情報として決定されることができる(ステップ310)。このときこのヒストグラムは、マッチを決定するために、種々の状態の他の記憶されたヒストグラムと比較されてもよい(ステップ320)。
【００４２】
クラスタリングが用いられる場合、入力画像情報は一般に所定の数の特徴になる。これらの特徴は、通常特徴ベクトルと呼ばれるベクトルに配置される。一般に、クラスタリングは、特定のクラスタが特徴空間中でどこにあるかを決定することを伴う。換言すれば、いくらかの量の特徴空間が、クラスタに割り当てられる。入力画像の特徴がこの量の特徴空間に該クラスタを配置する場合、入力画像はこのクラスタに割り当てられる。
【００４３】
例えば、2つの特徴がある場合、特徴空間は平面である。クラスタは、平面の特定のエリアに割り当てられる。入力画像について2つの特徴の値が決定され、入力画像情報として用いられる。基本的には、2つの特徴によって記述される位置で平面上にドットが配置される。ドットがクラスタに割り当てられるエリア内にある場合、画像はこの特定のクラスタに割り当てられる。特徴空間のうちのどの程度がクラスタに割り当てられ、クラスタがどこに位置するかを決定することは、通常、クラスタリングと呼ばれ、未知のベクトルをクラスタと関連付けることは、一般に分類と呼ばれる。
【００４４】
クラスタを決定するために用いられるK-meansアルゴリズム等の多くの技術がある。K-meansアルゴリズムは、上記で参照により組み込まれるTanguayによる文献において更に詳細に議論されている。通常、訓練の間、特定のクラスタを作製するためにどの特徴ベクトルがクラスタリングされるべきかを決定するために、ある種の距離関数が用いられる。
【００４５】
画像マッチングに適した他の技術はHMMを用いる。通常、HMMはクラスタリングに類似した技術を用いることができる。実際は、HMMは多くの場合クラスタリング及び分類のために用いられる。従って、特徴ベクトルはクラスタリング及びHMMのために用いられることができる。しかし、HMMの基礎は確率である一方で、クラスタリングの基礎は一般に平均又は距離測度である。例えば、HMMの状態は、(特定の特徴ベクトル等の)イベントが発生する確率をモデル化する。遷移確率は、1つの状態から他の状態への遷移がどの程度の確率で起こり得るかをモデル化する。図4を参照して例示的なHMMが示される。
【００４６】
ステップ330において、入力画像が状態にマッチするかどうか決定される。このステップは、画像が表される方法に依存する。ヒストグラムが用いられる場合、各状態について入力画像情報と画像情報との間のヒストグラムを比較し、その個々の値が入力画像ヒストグラムの個々の値と比較されるときに所定の値の範囲内のエラーを生じるような状態ヒストグラムを探し出すことによって、適切な距離関数が決定される。クラスタリング及びHMMは、当技術分野で知られているように、特徴ベクトルに基づいて類似した距離関数を用いることができる。
【００４７】
入力画像が状態にマッチする(ステップ330=イエス)場合、画像はこの状態に割り当てられ、この状態に割り当てられるように出力される(ステップ345)。他方では、入力画像が状態にマッチしない(ステップ335=ノー)場合、入力画像情報を用いて新しい状態が追加される(ステップ335)。ここで、新しいクラスタに割り当てられる特徴空間のエリア等のクラスタリング情報が、割り当てられることができる。加えて、他のいかなる必要な情報も、初期化されることができて、割り当てられることができる。
【００４８】
HMMが用いられる場合、新しい状態について状態遷移が作製される(ステップ340)。これらの遷移は、ステップ340の間の割り当てられた値であることができる。
【００４９】
ステップ345又はステップ340のどちらかが実行されたら、ステップ350が実行される。ステップ350において、状態情報が更新される。このステップで、例えば、遷移確率が更新されることができ、同様に、状態確率も更新されることができる。クラスタリングのために、最新の特徴ベクトルを用いることにより、クラスタの他の定義が提供されることができる。例えば、クラスタは、平均及び共分散を有する多次元ガウス分布によって表されてもよい。平均及び共分散は、最新の特徴ベクトルを用いることにより更新されることができる。
【００５０】
ステップ355において、方法300は状態が削除されるべきか決定する。例えば、カメラがオフにされる場合又は照明が部屋でオフにされてカメラが識別可能な画像を作成するのに充分な光がなくなる場合、状態は削除されることができる。これらの場合、元の状態は削除される可能性が高い。後者の場合において、光がオフにされると、新しい状態が作成され古い状態が削除されてよい。
【００５１】
状態が削除されるべき(ステップ355=イエス)場合、該状態はステップ360で削除される。状態が削除されるべきでない(ステップ355=ノー)場合、方法300は終了する。
【００５２】
本発明においてHMMが用いられる場合、参照によりここに組み込まれる2000年11月6日出願のColmenarez及びGuttaによる米国特許出願第09/706,668号「Method and Apparatus for Determining a Number of States for a Hidden Markov Model in a Signal Processing System」は、HMM状態を追加し削除することを説明することに注意されたい。Colmenarez及びGuttaによって説明される技術がここでHMM状態を追加し削除するために用いられることができる。
【００５３】
また、方法300が必要に応じて訓練に対応するために修正されてもよいことに注意されたい。例えば、多くの場合クラスタリングがトレーニングデータに実行され、ここで、特徴ベクトル及びこれらベクトルと関連したクラスの両方が、知られていて、システムに入力される。
【００５４】
図4を、ここで参照する。本発明の好適な実施例に従ってカメラビューをモデル化する例示的な状態図400が示される。状態図400は、3つの状態410、420及び430、並びに、状態遷移416、417、418、426、427、436、438及び439を有する。HMMがカメラ画像をモデル化するために用いられる場合、状態遷移416、417、418、426、427、436、438及び439が用いられる。通常、状態遷移は他の方式のためには用いられない。
【００５５】
各状態遷移は、そのシステムが現在の状態にあると仮定した場合に他の状態に移る確率をモデル化する。換言すれば、 遷移416は、状態410から状態410に移る確率をモデル化する。同様に、遷移417は、状態410から状態420に移る確率をモデル化する。
【００５６】
本発明において、HMMsはカメラから来る画像だけでなくビデオマルチプレクサが特定のカメラから画像をキャプチャする期間及びビデオマルチプレクサがカメラを選択する順序をモデル化する。
【００５７】
最初のうちは、状態図400は一般に状態を含まない。しかし、状態図400が、カメラの数と等価な多くの状態によって開始することは可能である。後者は、オペレータが適当な数の状態を有する状態図400を構成する場合に起こることができる。状態図がいかに開始するかに関係なく、第1の入力画像は、一般に状態410に割り当てられる。時間が進行し、異なったカメラからの画像が入力されると共に、各状態及び各状態遷移の確率が決定される。これらの種類の分析は、当業者にとって周知である。例えば、画像に適用されるHMM分析は、Colmenarez及びGutta、Tanguayｍ、Lu並びにPetkovicによって議論されており、これらのそれぞれは上記で参照によりここに組み込まれている。
【００５８】
図5を、ここで参照する。本発明の好適な実施例による例示的な状態情報メモリエリア170が示される。状態情報エリア170が、HMM状態に関するデータを記憶するために用いられているのが示される。この例示的な状態情報エリア170は、それぞれ状態410、420及び430に対応する状態情報510、520及び530並びにコードブック540を有する。各状態情報510、520及び530は、それぞれ、画像情報511、521及び531、遷移情報512、522及び532並びに統計情報513、523及び533を有する。画像情報511、521及び531は、画像を比較するために用いられる情報を有する。上記のように、この情報は、ヒストグラム、確率密度、クラスタエリア、特徴ベクトル又は当業者に知られている他の情報を有してもよい。遷移情報512、522、532は、状態遷移に関するデータを有する。例えば、遷移情報512は、各遷移が終了する状態、遷移が発生した回数及び遷移の合計の数等の遷移416、417及び418の各々に関する情報を有することができる(図4を参照)。
【００５９】
統計情報513、523及び533は、各状態に関するデータを有する。例えば、統計情報513は、状態が発生した回数、発生した状態の合計の数及び状態の合計の数を有することができる。例として、3つの状態があり、このうちの1つの状態は10回発生し、全状態が30回発生した。状態1が起こる確率は、1/3である。
【００６０】
当業者に知られているように、コードブック540は、ベクトルの形で一般に記憶される入力画像情報をHMMの状態のうちの1つにマッピングし、各状態に確率を提供するデバイスである。通常、確率は多次元ガウス関数から導かれ、訓練の最中に決定される。
【００６１】
これに応じて、図4及び5は、ヒストグラム方法又はクラスタリング等の他の種類の画像定量化技術を用いるときに修正されてもよい。
【００６２】
ここに示され説明された実施例及び変形例は、本発明の原理の例示に過ぎず、当業者は、本発明の範囲及び精神から逸脱することなく種々の変形例を実施することができるということは、理解される。
【図面の簡単な説明】
【００６３】
【図１】本発明の好適な実施例による例示的なビデオモニタリングシステムを示す。
【図２】本発明の好適な実施例に従って動作する図1の例示的なビデオモニタリングシステムの構造的ブロック図である。
【図３】本発明の好適な実施例によるカメラ多重分離の例示的な方法を説明するフローチャートである。
【図４】本発明の好適な実施例によるカメラビューをモデル化する例示的な状態図である。
【図５】本発明の好適な実施例による例示的な状態情報メモリ領域のブロック図である。
【図１】
2005513939.tif 000003
【図２】
2005513939.tif 000004
【図３】
2005513939.tif 000005
【図４】
2005513939.tif 000006
【図５】
2005513939.tif 000007
【国際調査報告】
2005513939.tif 000008
2005513939.tif 000009