(57)【特許請求の範囲】
【請求項１】
各画素値がビデオ画像のフレームの一部分内における一つの画素に関連付けられている、複数の画素値を受け取る工程と、
複数の前記画素値を用いて、前記フレームの一部分内に含まれる画素グループ毎に画素値の平均値を算出し、各画素グループの平均高度パラメータを決定する工程と、
前記平均高度パラメータが最も高い画素グループの平均高度パラメータと、前記平均高度パラメータが最も低い画素グループの平均高度パラメータとの差を算出し、前記フレームの一部分について勾配度パラメータを決定する工程と
を備えることを特徴とする方法。
【請求項２】
請求項１の方法において、少なくともビデオ画像データのフレームを通じて単一パスを実行する工程をさらに備えることを特徴とする方法。
【請求項３】
請求項１の方法において、前記平均高度パラメータが最も高い画素グループの前記フレームの一部分内における位置と、前記平均高度パラメータが最も低い画素グループの前記フレームの一部分内における位置とに基づいて、勾配方向パラメータを算出する工程とをさらに備えることを特徴とする方法。
【請求項４】
請求項１の方法において、複数の前記画素値の水平方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
【請求項５】
請求項１の方法において、複数の前記画素値の垂直方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
【請求項６】
請求項１の方法において、前記ビデオ画像のフレームから、インタレース方式の偶数フィールドと奇数フィールドとを有するターゲットを分割する工程と、
前記ターゲットについて、複数の前記画素値から、奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを算出する工程とをさらに備えることを特徴とする方法。
【請求項７】
各画素値がビデオ画像のフレームの一部分内における一つの画素に関連付けられている、複数の画素値を受け取る工程と、
複数の前記画素値を用いて、前記フレームの一部分内に含まれる画素グループ毎に画素値の平均値を算出し、各画素グループの平均高度パラメータを決定する工程と、
前記平均高度パラメータが最も高い画素グループの前記フレームの一部分内における位置と、前記平均高度パラメータが最も低い画素グループの前記フレームの一部分内における位置とに基づいて、勾配方向パラメータを算出する工程と
を備えることを特徴とする方法。
【請求項８】
請求項７の方法において、少なくともビデオ画像データのフレームを通じて単一パスを実行する工程をさらに備えることを特徴とする方法。
【請求項９】
請求項７の方法において、複数の前記画素値の水平方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
【請求項１０】
請求項７の方法において、複数の前記画素値の垂直方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
【請求項１１】
請求項７の方法において、前記ビデオ画像のフレームから、インタレース方式の偶数フィールドと奇数フィールドとを有するターゲットを分割する工程と、
前記ターゲットについて、複数の前記画素値に基づいて、奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを算出する工程とをさらに備えることを特徴とする方法。
【請求項１２】
各画素値がビデオ画像のフレームの一部分内における一つの画素に関連付けられている、複数の画素値を受け取る工程と、
複数の前記画素値を用いて、前記ビデオ画像の動くターゲットから背景を分割する際に用いられる少なくとも一つのパラメータを生成する工程と、
少なくとも一つの前記パラメータを用いて、前記動くターゲットを解析し、前記動くターゲットが車両であるか歩行者であるかを区別する工程とをさらに備えることを特徴とする方法。
【請求項１３】
請求項１２の方法において、前記解析は、歩行者の動きの特徴と前記動くターゲットの動きとを比較する工程と、
車両の動きの特徴と前記動くターゲットの動きとを比較する工程とを含むことを特徴とする方法。
【請求項１４】
請求項１２の方法において、少なくとも一つの前記パラメータは、前記動くターゲットの奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを含むことを特徴とする方法。
【請求項１５】
請求項１２の方法において、少なくとも一つの前記パラメータは、前記動くターゲットの奇数フィールド及び偶数フィールド間の画素内の補正値を示すシャギー度パラメータを含み、前記シャギー度パラメータは、前記動くターゲットの移動速度及び移動方向の決定に用いられることを特徴とする方法。
【請求項１６】
請求項１２の方法において、複数の前記画素値の水平方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
【請求項１７】
請求項１２の方法において、複数の前記画素値の垂直方向の変化の一貫性を決定する工程をさらに備えることを特徴とする方法。
【発明の詳細な説明】
【０００１】
関連特許出願
本出願は、２０００年２月４日出願の仮特許出願第６０／１８０，３２３号「防犯カメラの自動スクリーニングのためのシステム」及び２００1年２月２日の同じ発明の名称の米国特許出願（要一致）に基づく。上述の仮特許出願の内容は本明細書に参照のためその全文が組込まれ、従ってその継続維持を要求するものである。
【０００２】
発明の分野
本発明は、防犯システムに関し、特に、大規模な防犯ＣＣＴＶ（閉回路テレビジョン）システムなど、防犯カメラの自動スクリーニングの方法及び装置を含む有利な新システムに関する。
【０００３】
従来技術
例えば、駐車場で使用されるような防犯システムは、所有者が設置した防犯技術をフルに活用する必要があると思うような場所の一つに設置される。防犯システムを設置すると、信頼できるシステムをフル活用しなければならない必要性があることを、暗に認めることになる。システムが存在することで、公衆はシステムに保護されていることに気付く。システムが適切に完全に機能すれば、防止できたはずの損失や怪我が起きた場合、所有者は自己弁護の困難な損害請求に直面する可能性がある。
【０００４】
駐車場は公衆の車両に駐車施設を提供することにより、公衆に価値ある利益と非常に望ましいか又は必要なサービスを提供している。しかしながら、利用する公衆にはリスクが伴うこともある。駐車場で起きた窃盗犯罪には、自動車を破壊する行為と自動車への窃盗行為が含まれ、駐車場で起きる人に対する犯罪にはひったくり、武器を使用する強盗及び、時には、暴力と誘拐が含まれる。料金所のある複数階の有料駐車場は入場に制限があり、出口で料金所を通過しなければならないので、犯罪を抑止する効果がある。しかし、このような設備の整った駐車場においても、これらの駐車場が高速道路入口車線や主要街路などの簡単に逃げられる場所に隣接している場合は、自動車の盗難及び自動車への窃盗の対象となるリスクは増す。
【０００５】
ＣＣＴＶシステムは、駐車場の運営者が起こるかもしれない犯罪や、その他の損失あるいは怪我を回避する義務を有する建物の防犯システムの一部分として、適切に設置され運営される場合には、有効な防犯装置となる。特に、駐車場は人が単独でいることが多く、交通量のより多い場所に比べて被害を受けやすいので、ＣＣＴＶでの防犯に適している。ＣＣＴＶシステムの能力を完全に発揮させるには、警備員が常時システムのカメラ監視をしなければならない。
【０００６】
従来、駐車場内の多重ビデオカメラのＣＣＴＶシステムは、どのカメラをディスプレイ・モニターで見るべきかについて知的な判断を下す補助システムを持っていない。しかし、本開示に基づき、どのカメラを監視すべきか、及びどれを無視すべきかについての決定を代りにビデオの内容に基づいて行うこと、また一つ以上の選択したディスプレイ・モニターでどのカメラを見るべきかについて知的な判断を行うのに電子式付属装置を用いることを提案する。さらに、この知的システムは既存のＣＣＴＶシステムと互換性がある。
【０００７】
ここでは駐車場を上げたが、駐車場はそこで、その中で、又はそこと連絡している建物の一例に過ぎず、構内防犯システムはそのような場所で犯罪、損失、怪我あるいは他の望ましくない出来事を回避するために使用される。望ましくない出来事（事件とも言える）の一例として無許可の侵入があり、また無許可の侵入の代表的な例として車両及び歩行者が不適切な方向へ又は無許可で入口、空間、車線や道を通って移動することが上げられる。建物が商業用、政府、公共団体あるいは民間のものかに関わらず、本発明の防犯システム、防犯器具又は装置が使用されうる全ての建物をここでは安全な建物と称する。
【０００８】
小規模の防犯システム
小さいＣＣＴＶシステムは、例えば数台のカメラと各カメラに１台のディスプレイ・モニターを有する。１人の防犯オペレータが全モニターを連続的に見渡すことができるので、オペレータが少なくともモニターを注意深く監視していれば、モニターを監視して数秒で異常事態と判断できる。だが、小さいシステムであっても、１人が連続的に同じ一つの又は複数の映像を監視するのは困難又は不可能である。同じ場面を数分も見ていれば、注意力疲労というべき現象が起こる。勤務について数時間後には、警備員にとってモニターは雑然とした背景の一部でしかなくなる。このように、オペレータの集中力と、モニター表示から明白な望ましくない出来事を判別する能力は、減少するか失われる。
【０００９】
大規模の防犯システム
何百ものカメラをもつ大規模ＣＣＴＶシステムでは、相応に多数のディスプレイ・モニターを観察しなければならない警備員にとって疲労要因は非常に大きい。カメラを順番にモニターに配列する能力を備えた従来型のＣＣＴＶ制御システムが提案されている。これは、オペレータに妥当な数のモニターでシステム内全てのカメラを定期的に見ることを可能にする。
【００１０】
例えば、車庫内に約３００台のＣＣＴＶカメラを持つ大型の精密な大都市型システムでは、オペレータ１人が１０秒毎にモニター４台を切替えることのできる既知の順位付けシステムを使用する場合でも、各カメラ・モニターを１分毎に１回見るのに１３人の警備員が必要となる。斯かるシステムでは、ディスプレイ・モニターに１分毎に一つの画面を表示してもオペレータには財布すりなどあっという間に起きる事態に気付くことはできない。１３人の警備員を１日２４時間稼動させるには、全体として約６５人の要員確保を必要とする。その結果、生じる要員確保に必要な高い費用を負担できたとしても、警備員は８時間交代勤務中に約１１，５２０の異なる映像がディスプレイ・モニターに表示されるため、事象を正しく判別する高い注意力レベルを十分に維持するとは実際には期待できない。
【００１１】
大量のＣＣＴＶカメラを取扱うもう一つの既知の方法は、“モニターの壁”を作ることである。床上３フィートの高さから始まり床上９フィートの高さまで広がる、それぞれ１９インチタイプのモニター約３００台のＣＣＴＶシステムを使用すると、モニターの壁を作るには長さ約１３７フィートの線形の壁スペースが必要になる。あるいは、部屋の周囲の壁沿いに配置する場合、モニターは１４フィート×６０フィートの部屋の全体を囲むことになる。オペレータが壁（又は複数の壁）沿いに２０フィートおきに配置されるとすれば、全カメラの視野を少なくとも８人の警備員がディスプレイ・モニターで見ることができる。しかしながら、長さ１３７フィートのモニターの壁を用いると、何らかの犯罪、その他起きている出来事が外から見えるとは考えにくい。
【００１２】
図１は、この多数のＣＣＴＶディスプレイ・モニターの結果として起こるいわゆるモニターの壁の外観と相対的規模をシミュレーションするため、３０４台のモニターを支える装置ラック７６個の列の一端に立つ身長６フィートの男性の姿を表わす。人物像は縮尺で描かれていないが、モニター壁の操作監視状況又は要件は容易に想像でき、また大量のモニターは実際的でないことが簡単に理解できる。より小さいディスプレイ・モニターはより少ないスペースしか必要としないが、その場合、警備員は各映像を判別するため、より近い距離からそのより小さいディスプレイ・モニターを見なければならない。
【００１３】
既知のビデオ動き検出器をＣＣＴＶ切替え制御用の電子装置と組合せて使用することにより、大型のＣＣＴＶを装備した防犯システムのディスプレイ・モニターを監視する警備オペレータの人数を削減できることを前提とする。しかしながら、既知のビデオ動き検出技術を使用する大型の防犯システムを備えた車庫内のある種のレベルの活動については、ビデオのある種の検出可能な動きのないカメラは切替えシーケンスから外される。カメラの視野に入った１台の自動車が動いているのをビデオ動き検出器が検出することで、そのカメラはシーケンスに組み込まれるのに対して、駐車場所を捜している人の運転する同じ自動車が何台かのカメラを通過しても、オペレータの呼出し画面には各カメラからの視野が順番に表示される。
【００１４】
全カメラに動き検出又はシーケンス内のカメラを動きを伴うものに制限するカスタムソフトウェアを追加して、カメラを監視するのに必要な要員数を大幅に削減できる。正確なデータは知られていないが、オペレータ負荷ともいうべきオペレータの必要注意力は、動きのあるカメラをシステムのオペレータに提示しさえすれば、１／２に減少するであろう。オペレータ負荷を半分に減少したとしても、１日に１交代勤務として、勤務につく６人のオペレータを必要とし、合計で約３０人のオペレータ要員を必要とすることになる。防犯に関する予算がオペレータ要員として３０人分の給与の支払いが可能だとしても、監視業務はシフト勤務中に極端な注意力疲労をオペレータに引き起こす。
【００１５】
空港の駐車場用として以前提案されたＣＣＴＶシステムは、各ビデオカメラにビデオ動き検出機能を備え、且つ警備オペレータに見えるように動きのあるビデオ出力を供給するカメラのみ、電子的に選択制御するためのソフトウェアを使用することが前提とされた。提案されたシステムのカメラ数は、増加するという前提に立つと、単純な動き検出の弱点が明らかになる。斯かるシステムの商業的に入手可能な動き検出器は、自動車と人物を区別不可能であることが分かっている。よって、例えば、カメラを通過する全ての自動車にシステムの動き検出器が反応する可能性がある。車両が通路を走るとき何台かのカメラを通過するので、複数のディスプレイ・モニター上に同じ車両の複数の映像が表示されることになる。１日に約６人のオペレータが勤務につく必要があり、また１台の車両が多数のカメラを通過する同じ映像の繰り返しは、極端な倦怠感を引起し、結果として注意力の欠如をもたらす。
【００１６】
一つの既知の映像監視方法には、ロス（Ross）の米国特許第5,880,775号明細書がある、これは個々のフレームの画素を比較して差分値を生成し、その値が事前設定した閾値を超えると録画用のＶＣＲ（ビデオ・カセット・レコーダー）を起動する。もう一つの方法は、ウィンター（Winter）等の米国特許第5,875,305号明細書であって、これはビデオデータを分析してサイズ、速度、形状、又はクロミナンス変化などターゲットの特徴及びビデオ圧縮記憶量に基づき所定の特徴を検出する。動き検出、火災検出、安全目的の後続のシステム操作を伴うその他の事象検出の方法は数多くあり、この分野では良く知られている。しかしながら、既知の技術はオペレータの負荷と疲労を低減する複数の入力に基づく知的なカメラ選択の必要性には充分取組んでいない。加えて、既知の技術はオペレータ監視用のＣＣＴＶ切替え制御を行わない。シオタ（Shiota）等による米国特許第4,943,854号明細書は複数のカメラから信号を選択できるマルチビデオ・レコーダーを開示しているが、但し、画像解析がまったくなく、また主として動き検出センサーに基づく。その上、既知の技術の検出方法は、以下に於いてより完全に説明する知的なカメラ選択に関する本発明の独特な画像解析技術を用いていない。
【００１７】
従って、この技術に於いては、格段により単純化された画像解析技術が必要性とされる。単純化された画像解析技術により、リアルタイムの画像解析及びより確固たる防犯カメラ・スクリーニング・システムを可能にする。
【００１８】
ビデオ記録
防犯及びその他のシステムに於けるビデオ録画技術の現状は、ハードディスクへの全時間デジタル・ビデオ記録である。また、いくつかのシステムでは、長期保存用にデジタル化したビデオをテープに保管する。
【００１９】
デジタル・ビデオ記録システムの基本的問題は、記憶スペースとビデオ画質との間の矛盾である。全色、ＶＧＡ解像度、及び実時間フレーム速度の圧縮されないビデオ・ストリームは、ビデオ１時間当り約９３ギガバイト（ＧＢ）の記憶量を必要とする。（即ち、３バイト／画素＊６４０画素／行／フレーム ＊４８０画素／列／フレーム＊３０フレーム／秒＊６０秒／分＊６０分／時間）
一般的には９３ＧＢより小さいＰＣハードディスクに数日分のビデオを保存することが要求される。ディスク・スペースを確保するため空間解像度を少なくし、フレーム速度を低くし、且つＪＰＥＧやウェーブレットなどの圧縮が使用される。
【００２０】
空間解像度の低下は低下量の平方根ずつ記憶容量を少なくする。即ち、６４０×４８０のフレーム・サイズの３２０×２４０への２分の１の減少は必要な記憶容量を４分の１に低減させる。
フレーム速度の減少は、減少量に線形に記憶量を少なくする。即ち、３０ＦＰＳから５ＦＰＳへのフレーム速度の減少は、記憶容量を６分の１に減少させる。フレーム速度が減少するにつれて、ビデオは“断続的”に見えるようになる。
【００２１】
圧縮による記憶容量の低減は、高い圧縮レベルでは解像度損失を引き起す。例えば、ＪＰＥＧを使用して５０分の１への低減は結果として不鮮明だが使用可能な画像を生成する。
種々の記憶容量の削減方法は付加的なものである。上述の３方法を使用して必要な記憶容量を７８ＭＢ／時間まで１２００分の１（４＊６＊５０）に減らすことができる。
【００２２】
ビデオ中で何らかの動きを伴うフレームのみをセーブするため、動き検出を使用することも知られている。動きの原因は分析されない。よって、各フレーム全体が事前設定の圧縮時に記憶されねばならない。必要な記憶容量への動き検出の影響はビデオの活動に依存する。半分の時間に何らかの動きがあるのであれば、必要な記憶容量は２分の１に減少する。
【００２３】
発明の目的と概要
発明のいくつかの目的、特徴及び利点のうち注目すべきは、記述された防犯カメラの自動スクリーニング用の新しく高度に有利な方法と装置、特に下記のような方法と装置を使用する新しく有利な防犯システムの提供である。
あらゆる比較され得る以前のＣＣＴＶシステムより費用効率がよく、
全能力で稼動する従来の大型ＣＣＴＶシステムと連動して使用可能であり、
ＣＣＴＶシステムによるオペレータ疲労の顕著な減少を達成し、
駐車区域と車庫、及び車両及び／又は歩行者交通のあるその他の建物内の防犯性を改善し、
オペレータが観察する論理的妥当性のある何かが存在するときにのみ１台又はそれ以上のビデオ・ディスプレイ・モニターにビデオ・カメラ出力を導く能力を備えたいわゆる知的電子システムとして機能し、
多数のＣＣＴＶディスプレイ・モニターそれぞれについて視野の知的電子選択をすることにより、ビデオ・カメラの視野内容が人間的レベルの分析を要求するのに充分な妥当性があるときにＣＣＴＶモニターの視野をオペレータに提示させるのに効果的であり、
防犯システムのＣＣＴＶカメラから光景を監視するためにディスプレイ・モニターをオペレータが使用する際の上述の問題に対して解決法を提供し、
オペレータによるシステムのディスプレイ・モニターの観察がＣＣＴＶシステムのこれまでの特徴よりも格段に退屈又は疲労が少ないことにおいて、ＣＣＴＶシステムに機能的な運転上の利点をもたらし、
オペレータの注意持続時間及び事件識別力の増加をもたらし、
比較的低い費用で建物に高度の安全性を達成し、
ＣＣＴＶ防犯システムにおいて、システム及びその機能から能力に対し、今まで経験されなかった程の高レベルの依存可能な信頼性を達成し、
本発明の一形態において、知的カメラ選択、即ち、電子的論理プロトコルに従いディスプレイ・モニターに表示するための自動電子制御の選択をすることが、別の複数のアクセス制御された区域をカバーする複数のＣＣＴＶカメラを備えた統合防犯システムにより実施される。一つの事件の偶発又は発生、例えば倒れた人物がいれば、その出来事を視野に捕らえたカメラが自動的に選択される。即ち、そのビデオ出力が選択されて、相当するディスプレイを提供するか、又はオペレータのディスプレイ・モニター上にそのカメラの視野を呼出す。そのカメラの視野の選択及び呼出しはまた、その音声通知も含むことができる。判断すべき事件の発生がなければ、ディスプレイ・モニターは空白である。斯かる自動カメラ呼出しは事件の発生に対応して機能するので、オペレータ負荷はシステム内のカメラ数を問わず、事件の活動に依存する。
【００２４】
本発明の第一の目的、特徴及び利点は、本教示に基づく防犯システムが、ＣＣＴＶカメラの選択を制御するために、防犯システム全体の主要部分として働くプロセッサ制御選択制御システム（“ＰＣＳシステム”）を構成する本発明の電子サブシステムの他の特徴と組合せて、ビデオ動き検出器の使用によるように、それぞれの当該カメラのビデオ内容に基づき、どのビデオ・カメラを監視すべきか、そしてどれを無視すべきかについて自動的に決定できることにある。ＰＣＳシステムは、どのカメラの視野がＣＣＴＶシステムのディスプレイ・モニターに表示され、且つ監視職員により監視されるべきか、及びどのビデオカメラの視野が無視されるべきかについて、全てＣＣＴＶシステム内の少なくとも１グループのビデオ・カメラのそれぞれから入手可能なビデオ内容のプロセッサの実施する解釈に基づき、自動的に決定することを可能にするために導入される。
【００２５】
車両及び歩行者の存在及び活動に基づき、オペレータがどのカメラを見るべきかについて、システムが決定することを可能にする新しい画像解析技術が、本ＰＣＳシステムの一部として含まれる。事件は車両と歩行者の両方に関連付けられ、単独の歩行者、複数の歩行者、速い歩行者、倒れた歩行者、潜んでいる歩行者、不規則な動きをする歩行者、集合する歩行者等、単独の車両、複数の車両、急速な車両、及び急停車する車両が含まれるが、これに限定されない。
【００２６】
画像解析技術はまた、背景画像をトラッキングし、また移動するターゲットを分割することにより車両の通行と歩行者の通行とを区別することもできる。車両に比較した歩行者の動きの特徴、即ち、歩行者は移動するときその手足を動かすが、車両は移動するとき同じ形状を維持することを含む多数の要因に基づいて車両は歩行者から区別される。他の要因には、例えば、歩行者は車両より身長が高いことや、車両は歩行者より滑らかであることなど、縦横比と滑らかさが含まれる。
【００２７】
本発明の主要な画像解析技術は画像解析報告の解析に基づく。一般的に、画像解析報告はビデオ・フレームの単一パスから生成され、その結果としてビデオ内容に関する特徴的情報を与える。画像解析報告は入力バッファ内の画素の２×２カーネルのそれぞれに基づく特徴的情報を元にファイルを生成し、これは２×２カーネルを取り巻く４×４カーネル内の１６画素毎の関係を描写する６バイトのデータを含んでいる。
【００２８】
画像解析報告で生成されたビデオの情報内容が本発明の全ての画像解析技術の基礎であり、その結果としてさらなる画像解析用のいくつかのパラメータを生成する。このパラメータには、（1）平均高度、（2）勾配度、（3）勾配方向、（4）水平の滑らかさ、（5）垂直の滑らかさ、（6）ジャギー度、（7）色度、及び（8）色方向、が含まれる。
【００２９】
平均高度
“平均高度”パラメータは、中央の２×２カーネル内の４画素の平均値を計算する。
勾配度
“勾配度”パラメータは、平均高度により計算された最高平均値と最低平均値との間の絶対値をパーセントで計算する。
勾配方向
“勾配方向”パラメータは、平均高度により計算された最高と最低平均値に基づいて勾配の方向を計算する。
【００３０】
水平の滑らかさ
“水平の滑らかさ”は、最低画素から最高画素までの水平方向の変化の一貫性を計算する。
垂直の滑らかさ
水平の滑らかさと同様に、“垂直の滑らかさ”は、最低画素から最高画素までの垂直方向の変化の一貫性を計算する。
ジャギー度
“ジャギー度”パラメータは、ビデオ・フレームから分割された特定のターゲットについて奇数及び偶数フィールド間の画素の補正値を測定する。補正値はその後、ターゲットの移動速度及びターゲットの移動方向の決定に使用される。一般的に、ジャギー度はビデオ・フレームの奇数及び偶数フィールド間の動きにより引き起こされたインタレース・ディストーション量の尺度である。
【００３１】
色度
“色度”は、一般的にその色がグレー・スケールからどれだけ離れているかを測定する。ゼロは完全な白か又は完全な黒に相当し、また２５５は完全な一色に相当する。
色方向
“色方向”は、２次元、（Ｂ−ＲとＧ−Ｒ）の色分析に基づく色相と同様に色空間を計算する。２次元分析は、色相演算又は３次元ＲＧＢ演算の浮動小数点演算の数を著しく削減し、且つ実時間演算の実施における一つの要因である。一般的に、色方向は色調の尺度である。
追加の画像解析機能、具体的には“背景の維持”は、移動するターゲットを含まないフレームの諸部分を平均化することにより移動するターゲットから背景を分離する。移動するターゲットはさらに車両（又はその他）の通行を歩行者の通行から区別するために解析される。
【００３２】
ＰＣＳシステムは６個の一次ソフトウェア・コンポーネントを含んでおり、全てがビジュアル・ベーシックとＣ++ソフトウェア・プログラミング言語を含め、マイクロソフトとインテルのツールで構築されている。６個のコンポーネントには、
（１）アナリシス・ワーカー（Analysis Worker（s））、
（２）ビデオ・スーパーバイザー（Video Supervisor（s））、
（３）ビデオ・ワーカー（Video Worker（s））、
（４）ノード・マネージャー（Node Manager（s））、
（５）ルール設定ＧＵＩ（グラフィカル・ユーザ・インタフェース）、及び
（６）アービトレーター（Arbitrator）
が含まれる。
【００３３】
防犯カメラからのビデオ入力は、まず、ビデオのフレームを捕らえ（フレーム・グラバー）且つビデオ・スーパーバイザーとの通信を容易にする種々の特性、方法及び事象を持つビデオ・ワーカーに送られる。各フレーム・グラバーに対して１個のビデオ・スーパーバイザーがある。アナリシス・ワーカーはビデオ・ワーカーにより捕えられたビデオ・フレームに対して画像解析を行い、それからビデオ・スーパーバイザーに活動を報告する。同様に、アナリシス・ワーカーはビデオ・スーパーバイザーとの通信を容易にする種々の特性、方法及び事象を持つ。ビデオ・スーパーバイザーはビデオ・ワーカーからいつフレームを入手できるか及びアナリシス・ワーカーがいつ別のフレームのために準備できるかを常に把握し、またそれに従ってデータフローを方向付ける。次いで、ビデオ・スーパーバイザーはデータをノード・マネージャーに送り、今度はこれが複数のビデオ・スーパーバイザーからアービトレーターへの通信を一点に集め、それによってアービトレーターへのデータフロー全体を管理し且つ減少させる。
【００３４】
ルール設定ＧＵＩは、例えば、複数の人々のいる情景の滞留時間を変更したり、あるカメラ・グループからビデオを受取るオペレータ・コンソールを変更したりして、どのビデオをどのモニターに表示するかについてのシステム・ルールの変更を可能にする。次いで、アービトレーターがどんな活動がシステム内に存在するかについて、ノード・マネージャーからデータを受取り、またどの活動をどのモニターに表示するべきかについて、ルール設定ＧＵＩからルールを受取り、またそれに伴って使用可能なモニターと待機中の活動との間のコンフリクトを仲裁する。システム・カメラはまた、ＰＴＺ（パン−チルト−ズーム）制御機器を使用してオペレータが制御することもできる。ＰＣＳシステムにはまた、中央ＣＣＴＶスイッチからアナログ・ビデオを受取る四倍分配器も含まれており、複数のビデオ情景を1個のオペレータ・コンソールに提供する。
【００３５】
ＰＣＳシステムはアービトレーターとＣＣＴＶシステムのポート・サーバー間のインタフェースを通じて既設の従来型ＣＣＴＶシステムとインタフェースする。アービトレーターからポート・サーバーへのデータフローはシリアル・リンクを介し、またポート・サーバーからアービトレーターへのデータフローは、ソフトウェア・コンポーネントがネットワーク上で直接通信できるようにするプロトコルであるプロセス間ＤＣＯＭ（分散コンポーネント・オブジェクト・モデル）を介する。ＰＣＳシステムからＣＣＴＶシステムのポート・サーバーへのプロセス間データには、次に選択するカメラ番号、次のカメラ選択の出力送り先、カメラからモニターへのルートを設定するコマンド、及びインタフェースを変更せずに将来の拡張を可能にするメッセージ・ストリングが含まれる。ＣＣＴＶシステムのポート・サーバーからＰＣＳシステムへのプロセス間データには、別のモニターを見るためにオペレータが選択したカメラ番号、オペレータがパン、チルト、又はズーム（ＰＴＺ）用に選択したカメラ番号、及びインタフェースを変更せずに将来の拡張を可能にするメッセージ・ストリングが含まれる。
【００３６】
防犯カメラとビデオ・ワーカーの間、ならびに四倍分配器とユーザ・インタフェース間のデータフローはアナログ・ビデオである。ＰＣＳシステムのコンポーネント間のデータフローは、ビデオ・ワーカーからビデオ・スーパーバイザーへのフローと同様にプロセス間ＤＣＯＭであり、またルール・データベースからアービトレーターへのフローはバイナリー・ソフトウェア・コンポーネントからのアプリケーションの構築を可能にするソフトウェア・アーキテクチャであるプロセス内ＣＯＭ（ＣＯＭ）である。
【００３７】
本発明の既知の実施態様では、３個のノード・マネージャーが存在し、それぞれがビデオ・スーパーバイザーからデータを受取り、次にこれがビデオ・ワーカー１個とアナリシス・ワーカー４個の間のデータフローを方向付ける。一つのルール設定ＧＵＩがあり、またシステム当り１個のみのアービトレーターしか存在しない可能性がある。
【００３８】
従って、本発明に基づき、相乗的に機能するＰＣＳ及びＣＣＴＶサブシステムの両方を備えている複合防犯システムと呼ぶことのできる、新しく有利な防犯システムが提供されていることが理解されるであろう。
既設のＣＣＴＶシステム内に組込むことができ、よってまたそれとともに使用することができ、且つ当該ＣＣＴＶシステム内の付属システムとなる本プロセッサ制御選択制御システム（“ＰＣＳシステム”）の特徴を、それ自体に属する及び対する一つのシステムとして提供することもまた本発明の範囲内である。
【００３９】
本発明の追加の目的、新しい特徴、及び利点は、本分野で通常の技術を有する者にとってはより明白になるであろうし、以下の詳細説明においてより詳細に例示される。
【００４０】
発明の上述及びその他の特徴と目的、及びそれらを達成する方法は、添付図面と関連付けられた下記の発明の実施形態の説明を参照することによってより明白になり、且つ発明自体もより良く理解されるであろう。
図面は本発明の実施形態を表すが、これらの図面は必ずしも正確な縮尺ではなく、本発明をより良く図示し説明するために一部の特徴が誇張されている可能性がある。
【００４１】
本発明の詳細な説明
図面、また特に図２を参照して、プロセッサ制御選択制御システム（ＰＣＳ）１０のソフトウェアの構成要素は、ダッシュ−点破線の領域内に含まれるように右上区域のボックス内に示されている。図中の他の構成要素は、発明のシステム構成に基づくソフトウェア駆動の構成要素を含む電子装置構成と一緒に使用されるＣＣＴＶサブシステム１２のブロック図を表わす。電子装置サブシステムのソフトウェア駆動の構成要素はＣＣＴＶサブシステムのビデオ・カメラからの出力を、オペレータ用の１台又はそれ以上のビデオ・ディスプレイ・コンソールに選択的に供給されるビデオにより、ディスプレイ・モニターを監視する警備員がカメラの視野を見ることができる、ＣＣＴＶシステムのディスプレイ・モニターに自動的且つ選択的に使用可能にされるようにする。
【００４２】
既存のＣＣＴＶシステム
新しいシステムを説明する目的により、上記の例にあるように、新しいシステムは一つの又はいくつもの車庫あるいは複合式車庫に配置された数百台のＣＣＴＶカメラを含むと仮定する。ＣＣＴＶ車庫カメラ１４のそれぞれは３個のＣＣＴＶスイッチ（２個の分散ＣＣＴＶスイッチ１６、及び１個の中央ＣＣＴＶスイッチ１８）の一つに直接接続される。分散ＣＣＴＶスイッチ１６はＣＣＴＶ車庫カメラ１４からのビデオを中央ＣＣＴＶスイッチ１８に向けて送る。中央ＣＣＴＶスイッチ１８は既知の技術に基づき中央スイッチ・キーボード２０により操作されるように構成されており、ＣＣＴＶ車庫カメラ１４からのビデオをオペレータ・コンソール２２に向けて送る。分散ＣＣＴＶスイッチ１６と中央ＣＣＴＶスイッチ１８はＣＣＴＶ車庫カメラ１４からアナログ・ビデオを受取り、それからアナログ・ビデオをオペレータ・コンソール２２に送る。分散スイッチ１６と中央スイッチ１８は商業的在庫（ＣＯＴＳ）装置である。このシステムに他の斯かるＣＣＴＶスイッチもあり得ると理解されるであろう。
【００４３】
中央ＣＣＴＶスイッチ１８には種々の可能なタイプのビデオ入力を備えることができる。斯かる入力は、例えば、分散ＣＣＴＶスイッチ１６からのビデオ、他のＣＣＴＶスイッチ、及びＣＣＴＶ車庫カメラ１４からのビデオを含んでもよい。
【００４４】
中央ＣＣＴＶスイッチ１８は既知の技術に基づき中央スイッチ・キーボード２０により操作されるように構成される。中央ＣＣＴＶスイッチ１８はＣＣＴＶ車庫カメラ１４からのビデオをオペレータ・コンソール２２に向けて送る。オペレータ・コンソール２２は４倍ビデオ分配器２６を備えることのできるＧＵＩワークステーション２４からなる。４倍ビデオ分配器２６はビデオ画像を２対２フォーマットに分割して単一のディスプレイ・モニターに４つのビデオシーンを表示する分配器の代表的なものである。ここに示すシステム実施態様では、オペレータ・コンソール２２のうち２つには車庫カメラの監視及び一つのディスプレイ・モニターに転送するカメラの視野を選択する４倍ビデオ分配器２６が装備されている。
【００４５】
システムの設定及び／又は操作変更用にカメラの視野を使用可能にする方法を説明するため、４倍ビデオ分配器２６からのアナログ・ビデオ出力はＧＵＩワークステーション２４に相互接続した状態で示されている。
【００４６】
プロセッサ制御選択制御システム（ＰＣＳ）
図２に示すＰＣＳシステム１０の６個のソフトウェア・モジュールは、アナリシス・ワーカー３０、ビデオ・スーパーバイザー３２、ビデオ・ワーカー３４、ノード・マネージャー３６、ルール設定ＧＵＩ（グラフィック・ユーザ・インタフェース）３８、及びアービトレーター４０を含んでいる。ソフトウェア・モジュールそれぞれの機能と相互関係を以下に説明する。
【００４７】
アナリシス・ワーカー
アナリシス・ワーカー３０は画像解析に当たるアクティブＸ（登録商標） EXEモジュールである。アクティブＸ（登録商標）制御装置はＣＯＭ技術を使用し、他のタイプのＣＯＭコンポーネント及びサービスとの相互運用性をもつ多くのタイプのコンポーネントの一つである。アナリシス・ワーカー３０は１台のカメラからビデオを解析して、対応するビデオ・スーパーバイザー３２に活動を報告する。ビデオ・スーパーバイザー３２の指示により、新しいフレームが共有メモリから得られる。アナリシス・ワーカー３０はビデオ・スーパーバイザー３２との通信を行い、またビデオ活動について上位の意思決定を行うＶＢ（ビジュアル・ベーシック）シェルである。画像処理機能への低レベルの呼出しは、実行可能な機能又はデータのライブラリーであるＤＬＬ（ダイナミック・リンク・ライブラリー）が実行する。ＰＣＳ１０内の全てのアナリシス・ワーカー３０はそのＤＬＬを共有し、全てのＤＬＬへの呼出しはアナリシス・ワーカー３０により行われる。
【００４８】
アナリシス・ワーカー３０はまたビデオ・スーパーバイザー３２へのサーバーを代行する。全ての画像データ操作がＤＬＬのＣ++機能内で実行される。ＤＬＬには本発明の画像解析方法を裏付ける機能がある。下記に詳細に述べる。
【００４９】
画像解析ダイナミック・リンク・ライブラリー（ＤＬＬ）：
画像データを操作する全ての機能が高レベルＤＬＬ内にある。高レベルＤＤＬは画像データに費やす努力を最小限にしてビジュアル・ベーシックから画像解析プログラムを迅速に作成できる。ＤＬＬは画像データを処理して、ビジュアル・ベーシック呼出しプログラム、即ち実行可能なアナリシス・ワーカーに記号データを戻す。本発明の望ましい実施態様では、ＤＬＬ機能は以下の３つのソース・コード・モジュール内に存在する。
１）ユーティリティーズ機能（.Cpp）−ファイルからの読取やメモリ割当／解放など、全てのユーティリティ機能を含む。
２）画像処理機能（.Cpp）−背景維持など、画像処理機能を含む。
３）画像解析機能（.Cpp）−前分割の必要な画像解析機能を含む。
【００５０】
本発明のＤＬＬにおいては、ビデオ内容中のターゲットやオブジェクトを追跡するのにアレーを用いる。一つのアレーはターゲットに関するデータ（ターゲット・データ）を含み、また別のアレーはターゲットの履歴に関するデータ（ターゲット履歴）を含んでいる。ターゲットに関する記号データが収集されると、そのデータは２次元構造のアレーの要素内に記憶される。１次元は追跡するフレームの番号用で、他の次元は各フレーム内の最大の大域変数までのターゲットの番号用である。例えば、ターゲット履歴アレー内の要素“Name［3］［9］”は行３に記憶されたフレーム・データの９番目のオブジェクトに関するデータを保持する。
ターゲットが自動車か人物かについて決定を下す記号データはターゲット・データアレー内に記憶される。従って、ターゲット・データアレーは、ターゲットの性質について決定を下すのに必要な一般的に大域変数で表わされる行数を保持する。本発明の望ましい実施態様ではターゲット・データアレー内で１０行を使用する。
【００５１】
同様に、ある期間内のターゲットの行動を解釈するのに必要な記号データは、ターゲット履歴アレーに記憶される。ターゲット履歴アレーは数秒間ターゲットを追跡し、また大域変数で表わされた行数を用いる。本発明の望ましい実施態様では、ターゲット履歴アレーに１００行使用する。
各ターゲット・データとターゲット履歴アレーは、各フレーム内にはターゲットの最大数の大域変数で定義される数と同数のターゲットを追跡する同数の列を有する。本発明の望ましい実施態様ではそのターゲット数を追跡するのに６４列を使用する。
【００５２】
ターゲット・データとターゲット履歴アレーの最初の４要素は、同じ要素を含み、またターゲット履歴アレーはターゲット・データアレーより長い。例えば、ターゲット・データアレーの１０フレーム内で追跡される１０ターゲットは、ターゲット履歴アレーの最新の１０フレーム内で追跡されるのと同じターゲットである。結果として、ターゲット・データアレーの１０行内のデータは、ターゲット履歴アレー内の最新の１０行で常に位置付けることができる。
【００５３】
ターゲット・データとターゲット履歴アレーの両方の第１次元は、リングとして用いられて、最新のデータ行の変数が解析される次のフレームに使用されるターゲット・データのアレーの行を示す。最新のデータ行変数は各フレームが解析されるたびに増分され、そして最大行数の大域変数に達すると、最新のデータ行変数は１に設定される。
【００５４】
同様に、最新履歴行の変数が解析される次のフレームに使用されるターゲット履歴アレーの行を示し、最新履歴行変数は各フレームが解析されるたびに増分される。最大履歴行数用の大域変数に達すると、最新履歴行変数は１に設定される。
各フレームでターゲットがカウントされ認識されると、ターゲット履歴アレーの要素は対応する要素に配置される。例えば、ターゲット履歴アレーの列９はラベル・ターゲット機能により全画素を９に設定したターゲットについてのデータを保持する。
【００５５】
さらなる画像解析機能は、カメラの動きを示すレジストレーション・マークのそれである。レジストレーション・マーク機能は近接する画像解析報告にあるコーナーよりも勾配度が高く勾配方向が様々なコーナー用の画像解析報告を走査する。
以下は、画像データを操作する画像解析ＤＬＬのさらなる機能のより詳細な説明である。
【００５６】
アレーメモリの割当て
ターゲット、ターゲット・データ行、及びターゲット履歴行の最大数の大域変数で特定される大きさのターゲット・データ及びターゲット履歴アレー用のメモリを割当てる機能。列数は両アレーについて常に同じであるが行数は異なり得る。列数はＤＬＬ内の定数により決定され、最大数のターゲットに関する大域変数内に置かれる。
【００５７】
バッファの割当て
特定タイプのバッファを使用する特定サイズのバッファを割当てるのに必要なあらゆるコードをカプセル化する機能。
色画像解析報告用バッファの割当て
色画像解析報告用バッファを割当てるのに必要なコードをカプセル化する機能。行と列を決める引数ごとに行バッファを割当てる。
【００５８】
レジストレーション・マーク用のリストの割当て
レジストレーション・マーク機能用の２次元アレーにメモリを割当て且つポインターを返す機能。使用する構造のタイプは画素当りビット数の大域変数により決定され、行数はマーク数の大域変数により決定され、また列数はマーク当りの要素数の大域変数により決定される。
単色画像解析報告用バッファの割当て
色画像解析報告用バッファ割当て機能と同様に、単色の画像解析報告用のバッファを割当てるのに必要なコードをカプセル化する機能が使用される。
【００５９】
ターゲット解析：種々の引数により特定されるターゲット履歴アレーの要素に記号データを出力するターゲット解析を行う一般的機能。本発明の望ましい実施態様に基づく引数は、ターゲットが、頭がある、背が高い、武器を持つ、脚がある、スピードを出して移動している、特定方向に移動している、車輪を持つ、歩行者か車か、ターゲットが最後に動いた時間が含まれるが、それに制限されるものではない。
【００６０】
ターゲットに頭があるかどうかを決めるには、境界四辺形の最上部１／５のパーセントフィルを境界四辺形の最上部１／５から２番目のパーセントフィルと比較する。値が同じなら、ターゲットには頭がない。最上部が２番目の２５％より少なければ、ターゲットは頭があることになる。
ターゲットの背が高いかを決定するには、ターゲットの高さと幅に基づいて縦横比を計算する。縦横比が幅より３倍高ければ、そのターゲットは背が高い。
【００６１】
図３を参照して、ターゲットが武器を持つかどうかの決定にはターゲット４９上の一連の境界四辺形４８が関係する。５区域（上端から下端）の２番目と３番目の行をそのターゲットの前フレームからの境界四辺形の２番目と３番目の行と比較する。前フレームと現在のフレームでの画素レベルの変化によりターゲットが武器を持つかどうかを決定する。
同様に、ターゲットが脚を持つかどうかの決定には現在の境界四辺形の下部２／５とそのターゲットの前フレームからの境界四辺形の下部２／５との比較が関係する。
【００６２】
スピードは、ターゲット履歴アレー内のデータから幅の秒速と高さの秒速を測定することにより決定する。
ターゲットの方向は、ターゲットが認識された最後のフレームと現在のフレームとの間の画素の変化を単純に比較して決定する。
【００６３】
ターゲットが歩行者か車両かの分類は、車両に比べた歩行者特有の動き、即ち、歩行者は移動するとき手足を動かすのに対して車両は移動しても形は変化しないことを含む、多数の要因に基づいて分類される。他の要因には、例えば、歩行者は車両より背が高くまた車両は歩行者より滑らかであるなど、縦横比と滑らかさが上げられる。ターゲットが最後に動いたのはいつかを決定するには、閾値を用いてその値に対するターゲットの動きを比較する。ターゲットが最後のフレーム以降にその閾値を超えて動いたら、最後の動きの大域変数がゼロに設定される。ターゲットが動いていなければ、大域変数は増分される。
【００６４】
本発明の望ましい実施態様には、２つのターゲットを比較し、異なるフレーム内にあるそのターゲットが同じ物体であるかどうかの確率を得るためのさらなる機能が存在する。引数が基準及びテストターゲットを特定し、個々のターゲットを追跡するため隣接フレームでターゲットを比較するさらなる機能をサポートする。さらに、引数は同じフレーム内のターゲット又は負定数分離れたフレームにある複数のターゲットを特定することができる。引数は一致の確率をパーセントで戻し、この場合点数１００％は画素対画素の完全な一致に相当する。
【００６５】
単色画像解析報告を比較する付加機能も二つの画像解析報告を比較するのに必要なセグメント分割を行うのに備えられている。セグメント分割は移動するオブジェクトを背景から区別するのに必要である。２×２カーネル１個が分割される前の標高差に関する限界を決める引数が用いられるが、それは他の画像解析の特徴の類似性や、２×２カーネル１個を分割するのに他の画像解析の特徴にどれだけ違いがなければならないか―背景とテスト高度が同じ場合でも―とは関係なく用いられる。個々の画像解析の特徴の差の絶対値を合計し且つ分割するには画像解析の特徴にどれだけの差がなければならないかを決定する引数と比較する。テスト地図の５つの値が背景バッファ内の５つの値に対して充分な差があれば、結果バッファの対応画素が２５５に設定され、その２×２カーネルが分割されるべきことを意味する。
【００６６】
同様に、色画像解析報告を比較するための機能も本発明は検討している。前記引数は上述の単色画像解析報告を比較する引数と同様に２つの画像解析報告の比較によるセグメント分割を実行し且つさらに方向の色分け含んでいる。低い色度では、その色の方向には重みゼロが与えられる。
カメラのぶれを補正するために追加の機能が使用される。画素の補正値を求め、フレームを互いに相殺して背景を再構成する画像解析報告構造の数を示す。
【００６７】
レジストレーション・マークを確認する機能は、レジストレーション・マークの位置を探す機能が発見したコーナーを探しながら画像解析報告を走査する。一般的に、レジストレーション・マークは背景画像上にあり、またテスト画像上で確認される。カメラが動いていなければ、マークは同じ位置にあるはずである。マークのいくつかがテスト画像中のターゲットに覆われたとしても、充分な数が生成されていれば他のものは依然として可視である。
【００６８】
カメラが動いた場合、レジストレーション・マークを確認する機能は新しいコーナーが見つかるか又は最大閾値に達するまで、元々の条件から外側に螺旋状にコーナーの新しい位置を捜す。同じ補正値で１個又はそれ以上のコーナーの位置がわかると、これらの補正値はｘとｙ補正値の大域変数に置かれ、またこれらの補正値で発見されたコーナーの数が戻される。リスト内に如何なるコーナーもみつからなければ、この機能はゼロに戻る。ｘとｙ補正値の大域変数のしるしは、カメラがぶれた後、現在のバッファを背景バッファ位置に合せて調整されるべき方向に適用される。例えば、ｘとy補正値が両方とも−３であれば、現在のバッファは整列する残りの画像に合せるために３画素下方及び左に調整されねばならない。
【００６９】
さらなるアレーはレジストレーション・マークのリストを含み、各レジストレーション・マークに１行及びマークの各画像解析報告構造に１列の２次元構造のアレーである。従って、マークの数の及びマーク当りの要素の大域変数が用いられる。マーク数は画像解析報告内で確認すべきレジストレーション・マーク数を決定し、また整数の平方倍である。マーク当りの要素はレジストレーション・マークを定義する隣接する画像解析報告構造の数を決定する。さらに、画像解析報告のサイズは大域サイズ変数により求められる。
【００７０】
さらなる機能は特徴の問合わせを行い、特定の特徴が呼出し前に裏付けされているかを調べるための呼出しプロセス用の手段を提供する。この機能は各ケースがサポートされた特徴である切替ステートメントである。切替ステートメントは以下のような特徴名を認識するためプログラムの進行につれて作成される。
“HasArms（武器有り）”
“HasLegs（脚有り）”
“HasHead（頭有り）”
“IsTall（背が高い）”
“CheckSpeed（速度チェック）”
“CheckDirection（方向チェック）”
“RemoveGlare（グレア除去）”
“RemoveShadow（影除去）”
“StopShaking（ぶれ停止）”
“CheckSmoothness（滑らかさチェック）”
“ClassificationMatching（マッチング分類）”
“TemplateMatching（テンプレート・マッチング）”
【００７１】
ターゲットは、物体ＯＮ背景ＯＦＦで二進法（ハイライト表示）に変換された画像を走査する機能を使用してラベル表示される。接続された画素は第１ターゲットの全接続画素を１にまた第２ターゲットの全接続画素を２に、同様に２５５ターゲットまで設定して結果バッファ内でラベル表示される。最小サイズ画素より小さいか又は最大サイズ画素より大きいものあるいは最低の高さより小さいか又は最大の幅より小さいものを持つターゲットは削除される。ターゲットのラベル表示機能はノイズを消去するがターゲットを接続することはない。
【００７２】
レジストレーション・マークは、隣接する画像解析報告構造内の異なる勾配方向を持つ勾配度の高い勾配で示されるコーナーを求める引数の画像解析報告を走査する機能を使用して位置がわかる。マーク当りの要素数は整数の平方倍であり明瞭なコーナーを見つけるに足りる小さい数である。各マークは地図の平方エリアからなる、例えば、マークの数の引数である３×３は９つのマークに等しい。勾配度及び勾配方向差の閾値はテストにより決定され又はド・コード化される。図４に示すように、９個のレジストレーション・マーク５０は３×３グリッドでハイライト表示されている。
【００７３】
位置付け機能により発見された各レジストレーション・マーク５０について、対応する画像解析報告構造の値がそのレジストレーション・マークのリストを持つアレーの要素にコピーされ、また画像解析報告の関連する行と列がそのレジストレーション・マーク構造に含まれる。
別のフレームとのターゲット・マッチングの識別はターゲット・データアレーの２行の要素を通じてループ計算を制御する機能で実行される。この機能は最後のフレームであると仮定される別のフレームと一致するものを捜すが、但し、別のフレームは前のどのフレームであってもよい。より新しいフレーム内の全てのターゲットがより古いフレーム内の全てのターゲットと２段階比較を用いてマッチングテストされる。まず、高速比較を実行して２つのターゲットが同様であるかどうかを見、そうであれば、ターゲットを比較する機能を呼出す。それから点数が生成され、一致が見つかったかどうかを示す必要点数の引数と比較される。
【００７４】
背景を維持する機能を備え、該当するターゲットから背景画像データを除く。一般的に、この機能は移動するターゲットを含まないフレーム部分を平均することにより移動するターゲットから背景を分離する。
前述したように、単色画像解析報告を作成する機能も備えられている。入力バッファの画素の各２×２カーネルについて、画像解析報告はその２×２カーネルを囲む４×４カーネル内の１６画素の関係を表す６バイトのデータで描かれる。図５に示すように、四分区画は各四分区画内の画素のように番号付けられる。以下は、単色画像解析報告作成機能で使用される要素である。
【００７５】
平均高度：中央の２×２カーネル内の４画素の平均値。
勾配度：４×４カーネル内の４つの２×２四分区画の最高平均値と最低平均値のパーセントでの絶対差。
勾配方向：勾配度を定義するのに使用された最高と最低の四分区画の勾配方向。勾配の方向は図６に基づくルールにより決定される。それらの値は３６０が８ビットを要する場合に４ビット内に１２０を入れることのできる度数の３分の１である。
【００７６】
水平の滑らかさ：最低の画素から最高の画素まで水平方向に画素が如何に安定的に変化するかの測度。
垂直の滑らかさ：最低の画素から最高の画素まで垂直方向に画素がどのくらい安定的に変化するかの測度。
ジャギー度：フレームの奇数と偶数フィールドの間の動きによりどれほどのインタレースの歪みが起こったかの測度。
【００７７】
得られた画像解析報告は行−列順に構造の一面に記憶される。この構造のタイプは画像解析データ用のアレーであり、また各画像解析の特徴ごとに一つの要素を有する。画像解析報告バッファ用のバッファはSizeＸ／２＊ SizeＹ／２構造を持ち、またバッファ・サイズは画像解析のデータのSizeＸ／２＊ SizeＹ／２＊サイズである。画像解析報告バッファの第１要素は、発見された第１の２×２カーネルである入力バッファの最初の２行それぞれ内の最初の2画素に関するデータを含んでいる。この画像解析報告は未加工であり、従ってサイズを供給するヘッダーがないのでこの機能は大域変数SizeＸとSizeＹが送られたバッファに場合に適用可能であると仮定する。
【００７８】
画像バッファの最上部、底部、左端及び右端の境界画素は、定義上、カーネルの中心にはあり得ないため、第１行の第１パスからのデータは中央画素としてではなく最上部の２画素として使用される。第２パスは第１パスより１行下がって該当する画素をカーネルの中央に配置する。続く行パスは最終行まで２増分され、該当する４画素カーネルを中央に保持する。最終行では増分が１なり、最後の行パスは最下行のデータを得るのに用いられる。入力マップ・バッファは必要なサイズに割当てられると仮定する。
同様に、色画像解析報告を作成する機能がアナリシス・ワーカー内に備えられる。入力バッファ内の画素の各２×２カーネルについて、画像解析報告がその２×２カーネルを囲む４×４カーネルにある１６画素の３色それぞれの関係を表す６バイトのデータで描かれる。
【００７９】
四分区画と画素は単色画像解析報告を作成する機能においてと同様に番号付けられる。色地図は以下に詳述するが、同一の要素及び色の方向と色度に関する追加の２要素を持つ３枚の単色地図に似ている。以下は色画像解析報告を作成する機能で使用される要素である。
平均標高：中央２×２カーネル内の４画素の平均値。
勾配度：４×４カーネル内の４の２×２四分区画の最高平均値と最低平均値のパーセントでの絶対差。
【００８０】
勾配方向：勾配度を定義するために使用された最高と最低四分区画の間の勾配の方向。勾配方向は図６に示すように決定され、ここで値は３６０が８ビットを要する場合に４ビットに１２０入れることのできる度数の３分の１である。
水平の滑らかさ：最低の画素から最高の画素まで水平方向に画素が如何に安定的に変化するかの測度。
垂直の滑らかさ：最低の画素から最高の画素まで垂直方向に画素が如何に安定的に変化するかの測度。
【００８１】
ジャギー度：フレームの奇数と偶数フィールドの間の動きによりどれほどのインタレースの歪み（ジャギー度）が引き起こされたかの測度。
色度：その色がグレースケールからどれだけ遠いかの測度。色度は完全な白や完全な黒でゼロであり、完全な色で２５５である。
色方向：色合いの測度。従来技術で知られたカラーマップでは、黄色はゼロ度であり、時計の針と逆方向に進んで、赤が４５度、深紅色が９０度、青が１８０度、及び緑が２７０度である。方向は内部的に０から１２７として記憶される。
【００８２】
色空間
色の違いに基づくセグメント分割を用いる従来の画像解析は異なる色を表わす数字が色と色の間の感覚差に比例する数字上の差を持つ測定を必要とする。各ＲＧＢ集合に対して３つの数字があり、赤、緑及び青を種々の組合せで混合して同じ色を生成することができるので、原ＲＢＧ（赤緑青）の値はセグメント分割には使用できない。
【００８３】
ＲＧＢの値は３軸が赤、緑及び青である３次元空間に両方のＲＧＢ集合をプロッティングすることにより比較できる。図７に示すように、全ての値がゼロの立方体の原点は完全な黒であり、また全ての値が２５５である逆の対角のコーナーは白である。黒いコーナーと白いコーナーを結ぶ線は中立軸である。全てのグレースケール（０、０、０から２５５、２５５、２５５まで）が中立軸上にある。中立軸からの距離が彩度の測度である。中立軸上で、R、G、及びBは全て等しくグレースケールで彩度なしの結果を生じる。中立軸から最大距離で、（図２示す２５５）、少なくともＲＧＢ集合の一つはゼロまた少なくとも一集合は２５５であり、結果として完全な純色となる。
【００８４】
中立軸からの角変位は色相の測定である。等しい色相は中立軸と立方体表面の一点とで描かれる表面と定義される。等しい色相は異なる条件で“同じ色”と認知されることに相当する。中立軸に最も近い区域はより色あせているか又はパステルカラーであり、また軸から最も遠い区域はより鮮やかである。軸の黒い端に最も近い区域は薄暗い照明下と感じられ、また白い端に最も近い区域は明るい照明下と感じられる。
【００８５】
セグメント分割にこのＲＧＢ立方体を使用して、中立軸からほぼ同じ角変位を持つＲＧＢ集合はほぼ同じ色であり、また中立軸からほぼ同じ距離にあるＲＧＢ集合はほぼ同じ彩度である。相応に、３元演算は計算上費用がかかり、色相と彩度によるセグメント分割に使用するより多くの結果を生む。
【００８６】
３次元で色空間を計算する従来の技術に対して、本発明の画像解析技術は２次元しか、即ち緑−赤と青−赤しか使用しない。各軸は−２５５5から＋２５５の目盛りをつける。差のみがプロットされるため、Ｒ、Ｇ、及びＢ値の各バランス用のプロットに一つの位置が結果として生じる。ＲＧＢ立方体内の２５６グレースケールの全てがプロットの０、０原点で単一の点に集約される。プロッティング（又は演算）の結果はセグメント分割にとって必要な値のみで、この新しい2次元の色空間は１９５，０７５の位置数のみで１６，７７２，２１６のＲＧＢ組合せの全てをプロットする。
【００８７】
この新しい色空間では、色の方向は色相に相当し、またプロット原点周りの角変位により測定される。色度は彩度に相当し、また原点からの距離により測定される。完全な黒から完全な白までグレースケールの全てが色空間内の同じ位置、セグメント分割で使用する色情報のない原点でプロットすることに注意されたい。
【００８８】
図８に示すように、青を赤と緑の中間にして、２点が同じカラー・バランスでプロットされる。緑マイナス赤はあるケースでは１００、別のケースでは２００である。両点とも同じカラー・バランスを持つので、これらは同じ色方向にプロットされる（２７度）。緑−赤が２００である点はＲＧＢコンポーネントでより大きな差を持つので、これはより高い色度を持つ（１１１に比較して２２３）。
【００８９】
Ｇ−Ｒ＝１００及びＢ−Ｒ＝５０の例の場合１５５の明度レベルがあるが、緑は１００から２５５で変動するためこれは色空間内で同じ位置にプロットされる。これらの明度レベルは全て同じ色相と彩度を持つ。明度は色空間では単純に（Ｒ＋Ｇ＋Ｂ）／３として取扱われる。
【００９０】
図９に示すカラーマップでは、例の２点は原点から外周上の１点を結ぶ線上の青緑と緑のほぼ中間に来る。検査では、これは原点と外周上の任意の１点とを結ぶ任意の線が同じ色相の多くの彩度レベルを通過すると見られる可能性がある。色分割に使用の比較的単純な２Ｄ演算で算定上より費用のかかる３Ｄ演算と同じ結果を生む。本発明の望ましい実施態様ではさらなる機能を持ち、ビデオ・フレームからすでに分割された与えられたターゲットの奇数と偶数フィールドの間の画素内の補正値を測定する。一つの境界四辺形を決定し、一つのターゲット・マスクを作成するが、このターゲット・マスクはこの機能への入力である。さらにジャギー・パターンが存在するかどうかを決定する機能を持つ。図１０に示すように、凹凸は奇数と偶数フィールドの比較により、ターゲットの移動する早さとターゲットの方向を決定するのに画素内の補正値を使用するときに描かれる。奇数走査線用に１個と偶数走査線用に１個の２つのバッファが割当てられ、ジャギー度機能により解放される。この２バッファは最良適合にテンプレート照合され、また必要な補正値が引数ポインターに設置される。
【００９１】
本発明のさらなる機能はターゲット・データアレーの引数行と列により与えられるテスト画像の境界四辺形を利用して影とグレアを除去する。境界四辺形は画素の５×５カーネルで走査される。カーネル内の全画素が分割されたバッファ内でターゲット画素としてマークされると、それらが２５のグループの影又はグレアであるかどうかを見るためテストされる。このカーネルが影又はグレアと考えられると、分割された画像内の２５画素の全てがゼロに設定される。以下は影又はグレアのテストである。２５要素の差アレー（背景−テスト）が全て正（影）か又は負（グレア）のいずれかでなければならない。差（背景−テスト）カーネルは背景かテスト画像のいずれか内の相当する２５画素より滑らかでなければならない。粗さは１画素から次の画素へと差を追加して計算される。テスト、背景及び差カーネル用の粗さ数を計算後、その差は影又はグレアと判断されるように最低の粗さ(最高の滑らかさ)を持たねばならない。画素が分割された画像から除去されると、境界四辺形を再設定する。影とグレアの除去機能は受取ったヘッダー次第で色付き又は単色のいずれでも使用することができる。
【００９２】
もう一つの機能は行によりラベル表示されたフレーム内のターゲットを走査し、また以下についてターゲット高さの各１／５について各ターゲットに関する統計をとる。
滑らかさ：ターゲット内の走査された各画素について、原画像内の対応する画素が隣接する画素に比較してどう変化したかについて調べる。原画像内の各画素の全てがその隣接する画素と異なっている場合、滑らかさは0%である。原画像内の全画素が同じ値である場合、滑らかさは１００%である。滑らかさ数はターゲット高さの各１／５ごとに統計を取る。
【００９３】
パーセント・ギャップ：ターゲットの断片間にある背景の画素をカウントする。最上部から最底部まで境界四辺形の各１／５についてカウントが行われ、脚又は車輪の存在を演繹するために使用される。図１１に示すように、パーセント・ギャップは斜線区域内の画素数をカウントする。
パーセント充填：ラベル表示された画素を持つ境界四辺形のパーセント。
パーセント・ジャギー：閾値を超えるジャギー度を持つターゲット画像解析報告構造のパーセント。
【００９４】
各ターゲットを走査中、１個の完全に黒のバッファが境界四辺形のサイズに応じて割当てられる。走査中、全ての対応する画素が輪郭外線の内部にある原画像からターゲット・マスクに転送される。結果として、図１２に示すように背景なしのターゲットだけの画像が作成される。原画像が色付きであれば、明度レベル（Ｒ＋Ｇ＋Ｂ／３）のみが転送される。
【００９５】
アナリシス・ワーカー３０の各インスタンスは１アレー内のオブジェクトとしてビデオ・スーパーバイザー３２により取扱われる。ビデオ・スーパーバイザー３２が取扱えるアナリシス・ワーカー３０の数については恣意的な制限は存在しない。全てのアナリシス・ワーカー３０がビデオ・スーパーバイザー３２と同じ処理スペースで作動するビデオ・ワーカー３４と共有のメモリ内にある画像データ上で稼動するため、ビデオ・スーパーバイザー３２はアナリシス・ワーカー３０と同じマシーン内になければならない。
【００９６】
ビデオ・スーパーバイザー３２とアナリシス・ワーカー３０間の全ての通信はアナリシス・ワーカー３０の特性、方法及びイベントに基づき処理される。さらにアナリシス・ワーカー３０の追加の機能、特性、方法及びイベントをモーション・セントリーＤＬＬに追加して上述の画像解析技術を及び下述のビデオ・スーパーバイザー と通信をサポートしてもよい。
【００９７】
ビデオ・スーパーバイザー
ビデオ・スーパーバイザー３２モジュールはノード・マネージャーに対してサーバーとして働くアクティブＸ ＤＣＯＭのコンポーネントである。各フレーム・グラバーに付き１個のビデオ・スーパーバイザー３２がある。ビデオ・ワーカー３４はビデオ・スーパーバイザー３２に差込まれるＯＣＸ制御装置であり、同じプロセスで実行する。ある既知の実施態様では、ＯＣＸ制御装置はメテオＩＩフレーム・グラバー・カード専用となる。メテオＩＩフレーム・グラバー・カードは同じデジタイザーに多重化された４つのカメラ入力を持つ。ＰＣＳシステムはフレーム・グラバー・カードに互換性を持たせるように構成されている。
【００９８】
ビデオ・ワーカー３４は共有メモリ内に各カメラに１個ずつ４個のカレント・フレームを維持する。ビデオ・スーパーバイザー３２はフレームがいつ使用可能かアナリシス・ワーカー３０が別のフレームに対応できるかを追跡し、それに基づいてトラヒックを方向付ける。アナリシス・ワーカー３４とビデオ・スーパーバイザー３２の間のインタフェースは総体的である。メテオＩＩフレーム・グラバー・カードが取り替えられると、ビデオ・ワーカー３４制御のみがさらに展開される。アナリシス・ワーカー３０はビデオ・スーパーバイザー３２のオブジェクトのアレーとして取扱われる。１個のビデオ・スーパーバイザー３２が取扱えるアナリシ・ワーカー３０の数については恣意的な制限は存在しない。
【００９９】
ビデオ・スーパーバイザー３２はノード・マネージャー３６に対するサーバーとして働く。フレーム・グラバーＤＬＬへの全ての呼出しは、ビデオ・スーパーバイザー３２に差込まれ且つ同じアドレス・スペースで作動するビデオ・ワーカー３４が行う。フレーム・グラバーと関連するビデオ・バッファを扱う呼出しの全ては、フレーム・グラバーＤＬＬを通る。結果として、種々のフレーム・グラバー・カードをＤＬＬの変更のみで使用することができる。
【０１００】
一般的に、フレーム・グラバーＤＬＬはビデオ・フレーム用バッファの割当て、稼動中チャンネルの変更、１バッファから別のバッファへの内容のコピー、フレーム・メモリの割当てと解放、使用可能フレームの取得、ビデオの次のフレームの取込、ビデオ・カードの初期化、及び初期構成の設定と関連する制御装置の設定の機能を含んでいる。
【０１０１】
ビデオ・スーパーバイザー３２はフレーム・グラビングとフレーム解析との調整を行う。各ビデオ・スーパーバイザー３２は１個のフレーム・グラバーを１個又はそれ以上の使用済み入力及び使用済みビデオ入力と同数のアナリシス・ワーカー３０のインスタンスを制御する。入力間のフレーム・グラビングはデジタライザーが１個しかないので同期しなければならない。図１３はビデオ・スーパーバイザー３２とアナリシス・ワーカー３０との間のグラブ／解析同期を示す。異なる映像の異なるターゲットでは処理時間が異なる可能性があるため、フレーム解析は非同期で行うことができる。
【０１０２】
処理がスタートすると、ビデオ・スーパーバイザー３２はＤＯループ、フレーム・グラビング及びチャンネル変更をスタートする。一つのスレッドのみがグラビングに使用可能である。単一のコンピュータで複数のフレーム・グラバーが必要な場合は、ビデオ・スーパーバイザー３２の複数のインスタンスがスタートする。アナリシス・ワーカー３０の各インスタンスは、それぞれが別のプロセスであるため、それ自身のスレッド内で作動する。アナリシス・ワーカー３０とビデオ・スーパーバイザー３２の間の通信はアナリシス・ワーカー３０内の特性を設定しビデオ・スーパーバイザー３２へ非同期コールバックすることにより行われる。グラビング・スレッドと処理間の通信は、一般的にフレームが準備できたとき、フレームが要求されているとき、及びアナリシス・ワーカー３０が使用中であるときに提供される大域アレーにより行われる。
【０１０３】
ビデオ・スーパーバイザー３２の各インスタンスはアレー内のオブジェクトとしてノード・マネージャー３６が処理する。ノード・マネージャー３６が扱うビデオ・スーパーバイザー ３２の数については恣意的な制限は存在しない。ビデオ・スーパーバイザー ３２はノード・マネージャー３６と同じマシーン内にあってもよいが、但し、プログラム構造はネットワーク接続されＤＣＯＭ標準で通信するものと仮定する。
【０１０４】
ビデオ・スーパーバイザー３２とノード・マネージャー３６間の通信は全てスーパー・コントロール・クラスモジュールの特性、方法、及びイベントにより行われる。一般的に特性はワーカーズを起動、ワーカーズを停止、処理を開始、処理を停止、及び終了するコマンドを含んでいる。スーパー・コントロール・クラスモジュールの相当する方法は非同期コールバック用にノード・マネージャー３６からオブジェクト・リファレンスを追加及び削除する。
【０１０５】
ビデオ・スーパーバイザー３２に対して行われるコールバックはワーカーズ・レポート・クラスモジュールの特性と方法に基づく。ワーカーズ・レポート・クラスモジュールの方法は、一般的に、アナリシス・ワーカー３０が無作動後にオンラインに留まっていることを確認するため、またアナリシス・ワーカー ３０が次のフレームを処理する態勢にあることをビデオ・スーパーバイザー３２に通知するため、使用中ブロックに関する条項が含まれている。
【０１０６】
さらにビデオ・スーパーバイザー３２の追加の機能、特性、方法及びイベントをフレーム・グラバーＤＬＬに追加して上述のフレーム・グラビング技術及び他のＰＣＳシステム・コンポーネントとの通信をサポートすることができる。
【０１０７】
ビデオ・ワーカー
ビデオ・ワーカー３４はビデオ・スーパーバイザー３２にプラグ接続されるアクティブＸ制御（ＯＣＸ）装置である。フレーム・グラバーＤＬＬ内のＣ++機能への全ての呼出しがビデオ・ワーカー３４内で宣言され行われる。ビデオ・スーパーバイザー３２とビデオ・ワーカー３４間の全ての通信がアクティブＸ制御の高レベル特性、方法、及びイベントの限定的な集合を通して行われる。ビデオ・ワーカー３４の特性は、一般的に、メモリ・ブロックを図化する条項を含み、ビデオ・カードを初期化し、フレーム・グラバー・カードの稼動中チャンネルを設定するか又は戻し、非制限的に以下を含むコマンドを実行する。
【０１０８】
Clean Up（掃除）−共有メモリの解放及びフレーム・グラバーの停止など、あらゆる浄化オペレーションを実行する。
Grab（取込）−現在のフレームが終了したときに取込を開始する。
Grab Frame and Share（フレーム取込と共有）−フレームを取込み共有メモリ内に置く。
Grab and Show（取込と表示）−フレームを取込みビデオ・ワーカー形式で表示する。
Hide Video Form（ビデオ形式を隠す）−ビデオ・ワーカー形式を隠す。
Show Video Form（ビデオ形式を表示）−ビデオ・ワーカー形式を表示する。
Start Video（ビデオをスタートする）−フレーム・グラバーを初期化し、５フレームを割当て、また初期条件を設定する。
【０１０９】
ノード・マネージャー
ノード・マネージャー３６はビデオ・スーパーバイザー３２に対するクライアントとして及びアービトレーター４０に対するサーバーとして働くActiveＸ、ＤＣＯＭコンポーネントである。ノード・マネージャー３６の主目的は多くのビデオ・スーパーバイザー３２からの通信を集約し、またアービトレーター４０が扱う総トラヒック量を減らすことである。ビデオ・スーパーバイザー３２付きのコンピュータのラックごとにノード・マネージャー３６が一つある。ノード・マネージャー６はオブジェクトのアレーとしてビデオ・スーパーバイザー３２を扱う。ビデオ・スーパーバイザー３２サーバーの数には恣意的な制限は存在しない。ノード・マネージャー３６はカメラが映した出来事及びまたルール設定ＧＵＩに基づき設定された値によりカメラの点数を計算する。
【０１１０】
ルール設定ＧＵＩ
ルール設定ＧＵＩ３８はどのビデオをどのモニターに表示するかについてシステム・ルールを変更できるようにするアクティブＸ、ＤＣＯＭコンポーネントである。システム・ルールは図２に示すようにルール・データベース４１記憶される。例えば、複数の人々の映像の滞留時間の変更や、駐車場構造物でカメラのグループからビデオを受け取るオペレータ・コンソールの変更などである。
【０１１１】
アービトレーター
アービトレーター４０はノード・マネージャー３６に対するクライアントである。アービトレーター４０はシステム内にどんな活動が存在するかについてノード・マネージャー３６からデータを受取り、そしてどのモニターにどの活動を表示するべきかに関するデータベースを読み取る。使用可能なモニターと待機中の活動との間のコンフリクトは優先ルールに基づいて仲裁され、またコンソールからグループ割当てルールに基づいてカメラが呼出される。
【０１１２】
追加のシステム・コンポーネント
図１４を参照して、標準ＣＣＴＶシステム以上の追加のハードウェアには、カメラ４台に一つのフレーム・グラバーを有するビデオ活動処理プロセッサＣＰＵ、各ラック設置場所に１台のノード・マネージャーコンピュータ、及びビデオ活動プロセッサとノード・マネージャープロセッサそれぞれのローカル・エリア・ネットワーク上の一つのポートが含まれる。アービトレータープロセッサはＣＣＴＶシステムのメイン・コンピュータを共有し、またルール設定ＧＵＩの１コピーがＣＣＴＶコンソール３台のそれぞれ内のＧＵＩワークステーション上に常にある。
【０１１３】
新しいシステムのスペースの限度に応じて、また使用可能なスペースに余裕があるなら、ビデオ活動プロセッサは従来型のラック取付式プロセッサでもよい。これらのプロセッサとして、システムはインテル社のペンティアム（登録商標）クラスのプロセッサ、又はその他高性能のボード搭載コンピュータを使用してそれぞれ少なくとも８台のビデオ・カメラを担当する、即ち、カメラからのビデオ出力の取得を制御してもよい。一例として、デュアル・オンボード・コンピュータを使用して１９７台のカメラを担当するプロセッサを備えたシステムは２６台のプロセッサを必要とし、それぞれがラック取付けとすれば、高さが７インチで１８２インチものラックスペース（約３台のラック分）を要し且つモニターも含まれなければならない。
【０１１４】
より密に構成して設置する場合、ビデオ活動プロセッサとしてこれまで工業用に使用されてきた市販のシングルボード・コンピュータ（“ＳＢＣｓ”）を代りに使ってもよい、それによって、例えば、１シャーシーに８台のプロセッサが３２台のカメラを担当することができる。複雑な命令設定（ＣＩＳＣ）か又は縮小命令設定（ＲＩＳＣ）ソフトウェアのいずれかを使用する他の適切なコンピュータ構成及びタイプを採用することも可能である。
【０１１５】
ＰＣＳシステム１０のＣＣＴＶサブシステム１２へのインタフェースは、別途既存のＣＣＴＶシステムとのコンピュータ・インタフェースを提供する１台のプロセッサにより実施され、またアービトレーター４０をＣＣＴＶサブシステム１２のポート・サーバーに接続するのにセントリー・コネクタが使用される。このように、図２を参照して、４台のＣＣＴＶ車庫カメラ１４のそれぞれとビデオ・ワーカー３４モジュールとの間の接続が確立され、次にこのモジュールがビデオ・スーパーバイザー３２に接続され、ビデオ・スーパーバイザー３２はノード・マネージャー３６に接続される。
【０１１６】
ＣＣＴＶ車庫カメラ１４は防犯システムのＣＣＴＶサブシステム１２に用いられる可能な多くのビデオ・カメラの代表的なものに過ぎない。例えば、上述の例のように、そのようなカメラは何百台もある。新システムは何百台のカメラで代表されるような大規模のＣＣＴＶシステムに特に適しているが、一方でずっとカメラの数の少ない小規模のＣＣＴＶシステムにも使用可能である。但し、その場合はＰＣＳシステム１０が電子解析とカメラ・ビデオ表示を制御する監視を実施する必要がある。
【０１１７】
ＣＣＴＶ車庫カメラ１４（ならびにシステムの他のビデオ・カメラ）それぞれの視野を表わすビデオ信号はＣＣＴＶシステム１２にも供給される。図では分散ＣＣＴＶスイッチ１６に接続され、分散ＣＣＴＶスイッチ１６は図示した以外のカメラからビデオを供給されている。全てのビデオ・カメラからのビデオ出力が同時にＰＣＳシステム１０とＣＣＴＶサブシステム１２に供給されるものとする。
【０１１８】
ＰＣＳシステムという用語は本発明を説明するため任意に使用されており、別の用語を使っても良い。コンピュータを使用してカメラを事前に選別することにより、オペレータにとって興味のあるイベントの映像だ怪我呼出しモニターに選択される。
【０１１９】
システムオペレーション
２システム、即ち、ＰＣＳシステム１０とＣＣＴＶサブシステム１２の間のコンピュータ・インタフェースは図２に示すように、以下のように機能する。ＰＣＳシステム１０がＧＵＩワークステーション２４の下に示された４分配器２６への入力の一つにカメラ呼出しを要求する。（このインタフェース矢印は下向き）
【０１２０】
ＰＣＳシステム１０の画像解析はカメラ・ビデオが独立して両システムにアクセスするため、ＣＣＴＶ切替えシステムに依存せずにカメラの事前スクリーニングを行うことが可能である。ＣＣＴＶ切替えシステムはＰＣＳシステム１０に依存せずにオペレータ・コンソール２０の最下部に描かれている４つの４面モニター(１６視野)にビデオを表示する。
【０１２１】
ＣＣＴＶサブシステム１２は、それが通常のオペレーション用に構成され且つテストされていれば、ＰＣＳシステム１０なしでも従来通りに機能できるので、アービトレーター４０とＧＳＩＳポート・サーバー間のインタフェースはＰＣＳシステム１０のオペレーションをテストするために起動することができる。ＣＣＴＶ切替えシステムが運転可能で、且つＰＣＳシステム１０が運転可能であれば、車庫の監視用に使われているようなビデオカメラ用の自動ビデオ呼出しにより、ＧＵＩワークステーションへのビデオ入力によって表示される４面モニター上にカメラの視野を表示することができる。
【０１２２】
ＰＣＳシステム１０は必要な要員数を削減し且つ（退屈さを減らす）新システムが設置されている車庫など、建物の安全性を高めるためにビデオ画像解析を提供する。ＰＣＳシステム１０は人物を車両から区別することのできる画像解析能力を備えたソフトウェア・ベースのシステムである。各カメラの設置場所、及びどのような出来事をカメラが映しているかについてシステムに情報があるので、呼出しは優先ルール・設定に基づいて行われる。例えば、これらのルールは複合式車庫に設置された場合、本発明の防犯システムのために以下のようなオペレーションを確立することができる。入っている車庫により特定のコンソールへのカメラを選択できるように、各カメラに位置識別子を割当てる。
【０１２３】
各カメラを静かな通路、入口通路、又はエレベータ・ロビーなど論理的タイプのグループに割当てる。
イベントの優先順位を下記の状態など各論理的グループに割当てる。
異なる出発点から集束しつつある2人ないしそれ以上の人物が視野にいる。
普通より早く移動している１人ないしそれ以上の人物が視野にいる。
集束していない２人ないしそれ以上の人物が視野にいる。
１人で歩いている人物がいる。
位置識別子と論理的グループの組合せを使用して、各コンソールでのカメラ呼出しをオペレータ負荷を制御するためにカスタマイズすることができる。車庫は昼間は個々のコンソールに割当て、夜間は全車庫を一つのコンソールに割当てることもできる。乗用車などの車両は、通常、数時間のオペレーションの間無視されることもがあるが、ビデオ監視をする必要がなく特に退屈なシフト勤務の間は、車両を優先リストに追加し、モニター呼出し頻度を増加させることもできる。
【０１２４】
カメラ呼出しルールを設定できるように、ルール設定ＧＵＩを各オペレータ・コンソール２０に入れることができる。望ましくは、ルール設定ＧＵＩへのアクセスをパスワード許可に従属させる。
ＰＣＳシステム１０用に呼出す事象を追加しグレードアップして提供することができる。情報が画像解析から入手可能であれば、以下を含め、他のより込み入った事象も利用可能である。
【０１２５】
１人の人が倒れた。
自動車を“下見して”いたり又は迷った場合に起こるように、１人の人が不規則に歩いている。
１人の人が自動車に入るのに余りにも長い時間かかつている。これは侵入しようとしているのかもしれない。
自動車が近い過去のある時間に同じカメラ視野内で他の自動車の事前設定された割合（例：９５％）より速いスピードで移動している。
【０１２６】
各オペレータ・コンソール２０は好ましくは４台のカメラ表示付きの呼出しモニターを備えている。小型“サムネイル”バージョンの４面カメラの視野をＧＵＩ ワークステーション２４に表示する。カメラ呼出しは自動である。選択された各カメラの視野はユーザが選択しルールに入力される滞留期間コンソール上に留まる。オペレータが特定のカメラの視野を継続して見たい場合、ＧＵＩワークステーション２４のサムネイル画像の四分区画をクリックすれば、その選択されたカメラを別の大型モニターに切替えることができる。例えば、オペレータは２人の走っている人物を大型モニターに表示するよう選択できる。
【０１２７】
内容重視の記録
本システムはこれらのカメラからのビデオの記号の内容について内部知識を持っているので、より関心の高いレベル（例：人物対車両）のビデオ内のターゲットのみを記憶して高い圧縮度を達成することができる。現在のシステム実施態様では、ビデオ記憶は以下のような記号ルールに基づいている。
５０：１の圧縮（不鮮明だが使用可能）で分当り１回だけ背景をセーブする。
５０：１の圧縮（不鮮明だが使用可能）車のビデオをセーブする。
２０：１の圧縮（よい鮮明な画像）で人々の画像をセーブする。
【０１２８】
再生では、自動車と人々の画像はそれらが記録された位置で背景の上に映し出される。システムの必要な記憶容量はその場面で何が行われているかに依存する。車庫の静かな場所での一般的なカメラの例として、１０パーセントの時間中、視野に１台自動車があり、また１０パーセントの時間中、人物１人が視野に居る。その場面で人物又は自動車の平均サイズは代表的には視野の高さの４分の１で視野の幅の４分の１である。
【０１２９】
この例では、秒当り５フレームで自動車と人間のビデオデータを記憶する。
背景：３＊３２０＊２４０＊６０＊１／５０＝２７６，４８０バイト／時間
自動車：３＊８０＊６０＊５＊６０＊６０＊１／１０＊１／５０＝５１８，４００バイト／時間
人々：３＊８０＊６０＊５＊６０＊６０＊１／１０＊１／２０＝１，２９６，０００バイト／時間
合計記憶容量：２，０９０，８８０バイト／時間（２．０４ＭＢ／Ｈｒ）
【０１３０】
この例では、人物のビデオが車両のビデオより関心レベルが高く、必要な記憶容量は従来の圧縮より良く、３９分の１（７８ＭＢ／Ｈｒに比較して）に低減される一方、人の画像に用いるにはより低いビデオ圧縮が必要であり、より良い再生解像度を提供できる。
【０１３１】
前述の本発明と実施態様の説明に照らして、本発明のいくつかの目的が達成されており且つ他の利点が得られたことが分かる。実施態様と例は発明の原理をよりよく説明するために選ばれ記述されたもので、それによりその実際的応用は他業種の人々に様々な実施形態に於いて、また今後検討される特殊な用途に適した種々の修正とともに本発明を最大限利用することを可能にする。
【０１３２】
本書に記述され且つ発明の範囲を逸脱することなく図示された構成と方法には様々の修正を加えることができるので、前述の説明に含まれるか又は添付図面に示された全ての事柄は限定するものではなく、説明のための記述と解釈されねばならない。
本発明の広がりと範囲は上述の如何なる模範的実施態様によっても制限されることはなく、出願の請求範囲とそれらの等価物に基づいてのみ定義されるべきである。
【図面の簡単な説明】
【図１】  既知の技術に基づく“壁”の一端に位置付けられた人物像の描写を添えた、いわゆるＣＣＴＶディスプレイ・モニターの壁の透視図である。よって、この図面は“既知の技術”と標示される。人物像は尺度通りに図示されていない。
【図２】  １個のビデオ・ディスプレイ・コンソール又はそれ以上の当該コンソールに選択的に供給されるビデオにより、ディスプレイ・モニターを観察する警備員がカメラの視野を見ることのできるＣＣＴＶシステムのディスプレイ・モニターに、システムのビデオ・カメラからのビデオ出力が自動選択的に使用可能にされるようにする、ソフトウェア駆動のコンポーネントを含むＣＣＴＶサブシステム・コンポーネントと電子サブシステム機能を持つ、本発明に基づき且つそれを具現する防犯システムのブロック図である。このブロック図には、考えられ得る多数のオペレータ・コンソール位置の代表的なユニットのみが示されている。
【図３】  本発明に基づく画像解析に使用される画像領域の図である。
【図４】  本発明に基づく３×３グリッドに強調されたレジストレーション・マークを描写した図である。
【図５】  本発明に基づく画像解析報告作成用の４つの２×２四分区画及び各四分区画内の画素番号を添えた基準４×４カーネルの図である。
【図６】  本発明に基づく１２０度を４ビットに収めることのできる勾配方向の決定を示す図である。
【図７】  従来の技術に基づく画像解析演算に使用される３次元の色空間の略図である。
【図８】  本発明に基づく画像解析演算に使用される２次元の色空間の略図である。
【図９】  本発明に基づく２次元の色空間を示すカラーマップである。
【図１０】  本発明に基づきビデオ・フレームから既に分割された特定のターゲット用の奇数及び偶数フィールド間の画素の補正値の図である。
【図１１】  本発明に基づく画素をカウントするための画像解析機能により使用される斜線区域を示す図である。
【図１２】  本発明に基づく画像解析機能で使用される背景なしのターゲットのみの画像を示す図である。
【図１３】  本発明に基づくスーパーバイザーとアナリシス・ワーカーの間の取り込みと分析同期を示すフローチャートである。
【図１４】  本発明に基づくハードウェア・ブロック図である。
【図１】
0004618965.tif 000002
【図２】
0004618965.tif 000003
【図３】
0004618965.tif 000004
【図４】
0004618965.tif 000005
【図５】
0004618965.tif 000006
【図６】
0004618965.tif 000007
【図７】
0004618965.tif 000008
【図８】
0004618965.tif 000009
【図９】
0004618965.tif 000010
【図１０】
0004618965.tif 000011
【図１１】
0004618965.tif 000012
【図１２】
0004618965.tif 000013
【図１３】
0004618965.tif 000014
【図１４】
0004618965.tif 000015