(57)【要約】被写体の場面画像および背景がビデオによってキャプチャされ、被写体の性質のシステム測定によって、被写体コンテンツに従って自動的に分割されるが、被写体の分割は視覚ノイズとの折り合いによって処理され得る、ビデオ分割が提供される。場面内の元の背景および前景画像の分割変換は地形図として提供され、分割はノイズブロブを組み込み得る。自動分割閾値適応は、ノイズブロブの計数を一定に保持しながら、分割ノイズの計測に基づき、それによってノイズ適応分割ゲインを実現する。場面の複数のエリア内における自動閾値適応は、各エリアにおける分割ノイズの量に基づいて、異なるエリアにおいて異なる可能な閾値をもたらす。分割はそれに応じて改良される。
2007531121.tif 000002
【特許請求の範囲】
【請求項１】
場面のビデオをキャプチャするシステムであって、該キャプチャされたビデオのコンテンツのプロセッサ実装された解釈に基づく、該場面中の対象被写体のプロセッサ制御された分割を含み、該場面の異なるエリアにおいて該エリアにおける視覚ノイズに従って複数の分割ゲインの値を取得するために、画像フレームのエリアごとに分割ゲインを決定し制御するための、分割対策を含むことを特徴とする、システム。
【請求項２】
前記分割対策は前記エリアのそれぞれにおけるビデオゲインを制御し、時間間隔にわたりより大きなノイズを有することが判明したエリアはより低いゲインを与えられ、より少ないノイズのエリアはより高いゲインを与えられる、請求項１に記載のシステム。
【請求項３】
前記場面は所定数のエリアを有する格子に分けられ、前記分割対策は、前記エリアのそれぞれに対して独自のゲイン設定を可能にするために、各エリアの前記ノイズに従って該エリアのそれぞれについて比例積分微分を算出し、各区域のゲイン設定は、ベース分割ゲインと比較して決定される、請求項１または２に記載のシステム。
【請求項４】
前記分割対策は、前記被写体の分割における視覚ノイズに基づく分割閾値に従って前記場面内の被写体が分割される、前記エリアのそれぞれにおけるビデオゲインを制御し、前記閾値は該分割ノイズの計測に自動的に基づく、請求項１から３のいずれか1項に記載のシステム。
【請求項５】
分割ノイズは分割された対象被写体に対するノイズブロブの数を計測することによって決定され、前記分割対策は分割された対象被写体に対するノイズブロブの数を一定に維持する、請求項４に記載のシステム。
【請求項６】
エリア番号ごとの前記ノイズレベルは、被写体分割に対しては頻繁な間隔で確認されるが、背景ノイズレベルは実質的にそれほど頻繁には確認されず、該ノイズレベルは、更新の間の分割ノイズ集積の関数である更新間隔で確認される、請求項４または５に記載のシステム。
【請求項７】
前記更新間隔は、更新の間の分割ノイズ集積を、好ましくは約１０％から約２０％の範囲内に、より好ましくは２０％以下に維持することによって決定される、請求項５に記載のシステム。
【請求項８】
ビデオによってキャプチャされた前記画像は被写体コンテンツに従って、被写体の性質のシステム測定によって自動的に分割され、場面は背景および前景を有し、被写体は該前景に現われ得るが、該被写体の分割は視覚ノイズとの折り合いによって処理され得、場面内の元の背景および前景画像の分割変換は地形図として提供されるが、該分割は、分割ノイズを発生させる該視覚ノイズによって生じたノイズブロブを組み込み得、改良は、
ノイズブロブの計数を実質的に一定に保持しながら該分割ノイズの計測に基づく自動分割閾値適応を採用し、それによって適応分割ゲインを実現し、
該場面の複数のエリア内で自動閾値適応を使用し、各エリアにおける分割ノイズの量に基づいて異なるエリアにおいて異なる可能な閾値をもたらす、
分割対策をさらに特徴とする、請求項１に記載のシステム。
【請求項９】
前記分割は２パスシーケンスによって行われ、第２のパスは第１のパス上で分割される標的の外形線の内側でのみ起こり、該第２のパスは該第１のパスよりも低い閾値を使用する、請求項８に記載のシステム。
【請求項１０】
前記分割は、場面内の元の背景および前景画像の変換である地形図の画像プリミティブに基づく、多変数分割技術の使用によって行われる、請求項８または９に記載のシステム。
【請求項１１】
異なるエリアにおける視覚ノイズのレベルに従って、場面の異なるエリアにおいて分割ゲインの異なる可能な複数の値を取得するために、画像フレームのエリアごとに分割ゲインを決定し制御することを特徴とする、キャプチャされたビデオ画面内の被写体を自動的に分割する方法。
【請求項１２】
より少ないノイズの場面エリアは、より高い分割ゲインを与えられる、請求項１１に記載の分割する方法。
【請求項１３】
分割されるビデオ場面は所定数のエリアを有する格子に分けられ、
処理が、該多数のエリアのそれぞれに対して自動的な独自のゲイン設定を提供するために、比例積分微分制御アルゴリズムによって該所定数のエリアのそれぞれに対して分割ゲインを決定し、
各セグメントに対する該ゲイン設定は、ベース分割ゲインと比較して決定され、
ビデオ場面全体に対する単一の変化率は決定されない、
請求項１１または１２に記載の方法。
【請求項１４】
画像分割は２パスシーケンスによって行われ、第２のパスは第１のパス上で分割される標的の外形線の内側でのみ起こり、該第２のパスは該第１のパスよりも低い閾値を使用する、請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の援用）
本出願は、米国特許仮出願第６０／５５５，８１７号（２００４年３月２４日出願）、名称「ＩＭＰＲＯＶＥＭＥＮＴ  ＩＮ  ＶＩＤＥＯ  ＡＮＡＬＹＳＩＳ  ＵＳＩＮＧ  ＳＥＧＭＥＮＴＡＴＩＯＮ  ＧＡＩＮ  ＢＹ  ＡＲＥＡ」の権利を主張し、該仮出願は本明細書において参考として援用され、該仮出願における発明者はＭａｕｒｉｃｅ  Ｖ．Ｇａｒｏｕｔｔｅであり、譲受人はミズーリ州の企業、Ｃｅｒｎｉｕｍ，Ｉｎｃ．である。
【０００２】
（発明の分野）
本発明は、システム方法論によるビデオのモニタリングおよび解釈に関する。より詳細には、セキュリティ目的およびその他多数の目的のためのビデオ画像のシステム解釈分析用などの、ビデオ処理システムにおけるビデオ画像のユーティリティを改良するための、システムおよび方法に関する。
【背景技術】
【０００３】
（先行技術システムの説明）
２００１年２月１日出願の「ＳＹＳＴＥＭ  ＦＯＲ  ＡＵＴＯＭＡＴＥＤ  ＳＣＲＥＥＮＩＮＧ  ＯＦ  ＳＥＣＵＲＩＴＹ  ＣＡＭＥＲＡＳ」と題された米国特許出願第０９／７７３，４７５号、および２００１年２月５日出願の同題の対応する国際特許出願第ＰＣＴ／ＵＳ０１／０３６３９号、に従って、本発明者のシステムが開発され、これらの出願はいずれも本出願の譲受人／予定譲受人と同一の存在に譲渡され、これら出願はいずれも本明細書において参考として援用される。セキュリティシステムとも称される当該システムは、本明細書においては登録商標ＰＥＲＣＥＰＴＲＡＫによって特定され得る。ＰＥＲＣＥＰＴＲＡＫは、コンピュータと、ビデオ処理装置、すなわち一連のビデオカメラ、コンピュータ、およびコンピュータオペレーティングソフトウェアと、モニタ、コンピュータおよびコントロールパネルからなるコンピュータモニタおよび中央コマンドセンターと、からなるビデオ監視セキュリティシステムを特定するための、出願人の譲受人／予定譲受人であるＣｅｒｎｉｕｍ，Ｉｎｃ．の登録商標（登録番号２，８６３，２２５）である。
【０００４】
「ソフトウェア」という一般的な用語は、本明細書においては便宜上、単純に、ソフトウェア自体に加え、プログラム、プログラミング、プログラム命令、コードまたは疑似コード、プロセスまたは命令のセット、ソースコードおよび／またはオブジェクトコードプロセシングハードウェア、ファームウェア、ドライバおよび／またはユーティリティ、ならびに／もしくはその他のデジタルプロセシングデバイスおよび手段を意味することを意図する。
【０００５】
ＰＥＲＣＥＰＴＲＡＫセキュリティシステムにおいては、ビデオデータは考えられる多数のビデオカメラのいずれかによってピックアップされる。それは、画像タイプならびに画像内における人物およびオブジェクトの活動を解釈するために、人間が介入する前にシステムによって処理される。ビデオは、多数の考えられるいかなる場所においても、またシステムでは制御できない変化にさらされる条件下においても、ビデオカメラによって撮られ得るために、キャプチャされたビデオは視覚「ノイズ」などの無益な情報を含み得、それは該当するノイズをともなう画像の分割時に、使用可能な情報に干渉するか、あるいはシステムにとって有用なビデオデータを損ねるまたは品質を低下させる。より具体的には、ＰＥＲＣＥＰＴＲＡＫシステムは、例えば駐車場で使用されるような、大規模および小規模なセキュリティシステムのための閉回路テレビ（Ｃｌｏｓｅｄ  Ｃｉｒｃｕｉｔ  Ｔｅｌｅｖｉｓｉｏｎ；ＣＣＴＶ）カメラ（「ビデオカメラ」）の自動スクリーニングを提供する。ＰＥＲＣＥＰＴＲＡＫシステムは、６つの主要なシステムソフトウェア要素を含み、それらのそれぞれは、オペレータに理にかなったカメラ選択を提供するために該当するシステムの動作内で固有機能を実行し、ＣＣＴＶシステムにおけるオペレータ疲労を著しく減少させる。ビデオデータのリアルタイムビデオ分析が実行され、ビデオフレームの単一パスが、ビデオの低レベル特徴であるプリミティブと称される要素を含む地形図（ｔｅｒｒａｉｎ  ｍａｐ）を生成する。地形図のプリミティブに基づいて、システムは、車両および歩行者の存在およびアクティビティに基づいてオペレータがビューするべきカメラはどれかについて決定することができ、さらに、車両の交通を歩行者の往来から識別する。該システムは、現行のＣＣＴＶ（閉回路テレビ）システムと互換性があり、統合およびアップグレードを容易にするためにモジュール要素で構成される。
【０００６】
ＰＥＲＣＥＰＴＲＡＫシステムは、プロセッサ制御される選択および制御システム（「ＰＣＳシステム」）を構成する本発明の電子サブシステムのその他の機能と組み合わせた、ビデオ行動探知機の使用などによって、該当する各カメラのビデオコンテンツに基づいて、どのカメラが見られるべきかおよびどのカメラが無視されるべきかの決定を自動的に実行することができ、これはＣＣＴＶカメラの選択を制御するうえで、セキュリティシステム全体の重要部分としての役割を果たす。ＰＣＳシステムは、どのカメラビューがＣＣＴＶシステムの表示モニタに表示されるべきか、したがって管理要員に見られるべきか、およびどのビデオカメラが無視されるか、について自動決定を可能にするように実装され、それらはすべて、ＣＣＴＶシステム内の少なくとも１グループのビデオカメラのそれぞれからの利用可能なビデオのコンテンツの、プロセッサ実装された解釈に基づいてなされる。
【０００７】
ＰＣＳシステムには、車両および歩行者の存在およびアクティビティに基づいて、オペレータはどのカメラをビューするべきかについてシステムが決定できるようにするビデオ分析技術が含まれている。車両および歩行者の両方に関連するイベントは、単一の歩行者、複数の歩行者、高速の歩行者、倒れた歩行者、潜んでいる歩行者、不安定な歩行者、集まった歩行者、単一の車両、複数の車両、高速の車両、および急停止する車両を含むが、しかしこれらに限定されない。
【０００８】
ＰＥＲＣＥＰＴＲＡＫシステムのビデオ分析技術は、適応背景を維持することおよび移動標的を分割（背景からの分離）することによって、車両の交通を歩行者の往来から識別することができる。車両と比較した歩行者の特有運動、すなわち、歩行者は移動する際に腕および足を動かし、車両は移動する際に同一の形状を維持する状態をいうが、これを含む複数の要因に基づいて、車両は歩行者から区別される。その他の要因としては、アスペクト比およびオブジェクト円滑度が挙げられる。例えば、歩行者は車両より高く、車両は歩行者よりも円滑である。
【０００９】
分析は、前記米国特許出願第０９／７７３，４７５号の開示に従って、地形図プリミティブ上で実施され、該出願が参照されるべきである。概して、地形図はビデオフレームの単一パスから生成され、ビデオのコンテンツに関する特性情報をもたらす。地形図は、特性情報を含んだファイルを作成する。
【００１０】
地形図によって生成されたビデオの情報コンテンツは、ＰＥＲＣＥＰＴＲＡＫシステムのビデオ分析技術の基礎であり、さらなるビデオ分析のためにいくつかのパラメータの生成をもたらす。これらのパラメータは、少なくとも、（１）平均高度；（２）傾斜度；（３）傾斜方向；（４）水平円滑度；（５）垂直円滑度；（６）ジャギー性（Ｊａｇｇｙｎｅｓｓ）；（７）色度；および（８）色方向、を含む。
【００１１】
前記米国特許出願第０９／７７３，４７５号に開示されているＰＥＲＣＥＰＴＲＡＫシステムのＰＣＳシステムは、その中で示すように、
（１）分析ワーカー；
（２）ビデオスーパーバイザー；
（３）ビデオワーカー；
（４）ノードマネージャ；
（５）ＰＳ管理者（以前はセットルールＧＵＩ（グラフィカルユーザインターフェイス）と称されていた）；
（６）アービトレータ
と称されるものを含む、多くの主要なソフトウェア駆動型システムコンポーネントを備える。
【００１２】
ＰＥＲＣＥＰＴＲＡＫシステムにおいては、本明細書に概要を記載するように、セキュリティカメラからのビデオ入力はまずビデオワーカーに送信され、これはビデオのフレームをキャプチャし（フレーム取り込み器）、ビデオスーパーバイザーとの通信を容易にする様々な特性、方法、およびイベントを有する。各フレーム取り込み器に対して１つのビデオスーパーバイザーが存在する。分析ワーカーは、ビデオワーカーによってキャプチャされたビデオフレーム上においてビデオ分析を実行し、続いてアクティビティをビデオスーパーバイザーにレポートする。同様に、分析ワーカーはビデオスーパーバイザーとの通信を容易にする様々な特性、方法、およびイベントを有する。ビデオスーパーバイザーは、フレームがビデオワーカーから利用可能であるとき、および別のフレーム用に分析ワーカーの準備が整っているときを追跡記録し、それに応じてデータフローを導く。次いでビデオスーパーバイザーはデータをノードマネージャに送信し、これが次に通信を複数のビデオスーパーバイザーからアービトレータに集中させ、それによってアービトレータへのデータフロー全体を管理し減少させる。
【００１３】
「ソフトウェア」という一般的な用語は、本明細書においては便宜上、単純に、ソフトウェア自体に加え、プログラム、プログラム命令、コードまたは疑似コード、プロセスまたは命令のセット、ソースコードおよび／またはオブジェクトコードプロセシングハードウェア、ファームウェア、ドライバおよび／またはユーティリティ、ならびに／もしくはその他のデジタルプロセシングデバイスおよび手段を意味することを意図する。
【００１４】
（適応分割ゲイン）
エリア固有の適応分割閾値が、本発明に従って、分割されるビデオのエリアにおいて用いられる。本明細書では、代替の専門用語「適応分割ゲイン」を使用することが好ましい。このような適応分割ゲインは、ＰＥＲＣＥＰＴＲＡＫシステム（前記特許出願において記載のように、以後、単に「システム」と称することがある）において利点をもたらすために使用され、該システムは、現在のまたは比較できる目的のために本発明を用いる可能性がある、考えられるシステムの本明細書での代表例である。使用され得る１つの例示的な技術として、各分析ワーカーにおいてＰＩＤ制御ループが使用され得、このような「ＰＩループ」は一定量の分割ノイズを維持しようと試みる。従来、ＰＥＲＣＥＰＴＲＡＫシステムにおいて、分割ノイズはビデオフレームごとにスクリーンワイドに計測された。分割ゲイン変更をするために、多数のフレームの平均が使用された。場面の一部に過度の行動量がある場面においては、従来のアプローチは、画面における総ノイズを一定量に維持するために、分割ゲイン全体をスクリーンワイドに縮小させた。時には、連続ノイズを有する場面の一小部分のみにおいてノイズが見られることがあった。
【００１５】
分割ゲインは場面の「静かな」（比較的ノイズのない）エリアにおいては極めて低くなり得るが、画像の別の場所におけるノイズは、画像フィールド内の被写体（人物など）が部分的にしか分割されない結果をもたらし得る、という困難があることがわかった。
【００１６】
例えば、ビデオによってキャプチャされる場面の中に、木（またはその他の植物）が存在し得る。光は、不定パターンで木または植物の枝葉に注ぎ込むか反射され、これは空気の動きから生じる大枝または葉の動きによってシフトする。このようなシフトするまたは散発的な光は、光度が相対的に異なる小さなエリアを生成し、ある期間にわたって、小ビットのノイズとして、認識されまたは考えられる。結果として、植物の動く大枝は、背景と異なるため、分割される。簡潔に言うと、ノイズを含むが故に分割される、分割された「ブロブ（ｂｌｏｂｓ）」が存在し得、これを画像の分割された部分の一部の中の（例えば、長方形）としての説明図に示す。このような代表的な長方形例の中の白点は、分割により生じた「ノイズブロブ」を表し、「ノイズブロブ」という用語は本明細書において、ノイズにより生じた分割されたエリアを意味するために使用され、したがってノイズブロブは、場面内にある被写体の分割によりキャプチャされた、ノイズの有形の画像人工物である。例えば、図３は、白点として表れるノイズブロブを示す。
【００１７】
最も好適な動作モードによると、分割されるブロブのカットオフまたは最小サイズとして、５ピクセル×５ピクセルのエリアが使用され得る。
【００１８】
ノイズブロブをカウントすることができる。カウントは、ノイズブロブが分割されている程度および分割の閾値（「ゲイン」）を制御するために使用されるカウントを、有用にも示す。
【００１９】
従来、有効なデータを得るために、ビデオフレーム内のノイズ（ここでは、ビデオはフレームによってキャプチャされたフレームである）を考慮して、多数のフレームの平均についてノイズを計測することが慣例であった。ＰＥＲＣＥＰＴＲＡＫシステムにおいては、例えば、平均はその後分割ゲイン全体を変化させるために使用され得る。換言すれば、分割強度レベル（ゲイン）は、同時に（例えば）１００フレームのグループについて連続的に制御され得る。ゲインの変化は、キャプチャされたビデオ内のオブジェクトであってシステムが分割するのが望ましいオブジェクトに応答して制御されるだけでなく、光「ノイズ」に応答しても制御されるというところに困難がある。このような視覚ノイズは、分割された画像の品質を低下させる。
【００２０】
「ＰＩＤ」という用語は、単一ループコントローラ、分散制御システム（ＤＣＳ）およびプログラマブル論理制御装置（ＰＬＣ）またはプログラム可能論理回路（ＰＬＤ）におけるなどの、工業およびプロセス制御で頻繁に使用される比例積分微分制御アルゴリズムである、制御ループに一般的に用いられるプロトコルを称するために使用されてきた。ＰＩＤ制御アルゴリズムは３つの要素を備えることができ、ここでＰＩＤという頭字語はこれらの用語に由来するものである。
【００２１】
Ｐｒｏｐｏｒｔｉｏｎａｌ（比例）―ゲインとしても知られる
Ｉｎｔｅｇｒａｌ（積分）―自動リセットまたは単にリセットとしても知られる
Ｄｅｒｉｖａｔｉｖｅ（微分）― 速度またはプレアクトとしても知られる
このようなＰＩＤアルゴリズム制御は、ビデオ処理における画像の分割に用いられ得る。
【００２２】
分割ゲインは、その用語が本明細書において、画質を低下させる光または光の変化（木などの枝葉に注ぐ、またはそれによって反射される光によって発生したものなど）を意味するために、または別の言い方をすれば、画質を低下させる光または光の変化、もしくは場面内で人物またはその他の好適な被写体を「分割する」、すなわち、場面内でそのような被写体を識別または分離するために、ビデオを使用するシステムの能力を低下させる外部または疑似光源を意味するために使用されるように、視覚「ノイズ」に従って制御可能である。このようにノイズは、場面内の被写体となる人物の分割された画像の取得に干渉する。キャプチャされたビデオ内の被写体となる人物のアクティビティ（例えば、走っている、歩いている、うろついている、グループに集合している、倒れている等）は、セキュリティ目的のためにＰＥＲＣＥＰＴＲＡＫシステムによってモニタされることが望ましい。また、本目的のために分割され得る被写体の、可能性を限定しないさらなる例として、移動している車両のアクティビティがモニタされることが望ましい。
【００２３】
従来、当該公知分野においては、一般にピクセル分析によってビデオフィールド内の被写体の行動を測定するアプローチがとられてきた。例えば、最新場面から行動または相違点を検出することが提案されてきた。いわゆる基準フレームを使用する場合、または背景の統計値による場合、または隣接するフレームを考慮に入れることによる場合である。このような技術的アプローチにおいては、行動検出のみが一般に可能である。このような従来の技術的アプローチにおいて、被写体となる人物がいずれかの行動検出の場面において動きを停止した場合には、当該人物はもはや分割されない。本開示に従ったオブジェクト分割の技術は、何らかの適応背景を利用する。このような適応背景を使用して、オブジェクトは無期限に静止したままとなることができ、しかも分割され得る。
【００２４】
従来技術のアプローチは一般に、場面全体に対して固定分割閾値を利用してきた。上記で特定したＰＥＲＣＥＰＴＲＡＫシステムは、場面内の分割ノイズに基づいて、場面全体に対して変化する分割ゲインを開示した。これは、場面全体に適用される場合、適応分割ゲインと称される。他の場合にはピクセルの異なるグループに対して分割ゲインを調整することも提案されてきたが、このような調整は従来ピクセルベースであり、また強度のみに基づくものであった。
【００２５】
このような問題点およびビデオ分析の限界を、本発明のシステムアプローチおよび方法論によって克服することが意図される。
【発明の開示】
【課題を解決するための手段】
【００２６】
本発明のいくつかの目的、特徴および利点の中で、ビデオフィールド内の混合オブジェクトの分割を改良し；フィールドに入る視覚または光誘導ノイズに対する調節を可能にし；一定のエリア内の明瞭度を改良するために場面の異なるエリアにおける分割ゲインの複数の値を可能にし；領域内のビデオゲインを選択的に変更し；該当するノイズを一定期間にわたって調整し；領域または部分内のゲインを多いか少ないかによって変更し、それによってノイズの少ない領域がより高いゲインを有し；個々のピクセルを問わずビデオ場面をエリアごとに多数の領域の格子に分け；多数の領域のそれぞれについて、ソフトウェア駆動のプロセッサによりＰＩＤ決定の迅速かつ長期にわたる算出を可能にし；多数の領域のそれぞれについて独自のゲイン設定を可能にし；格子部分内にノイズについてのデータを保持するために、場面のビデオ内のノイズデータをキャプチャおよび追跡し、それによって該当するノイズをマッピングし、システムはしたがって該当するノイズが発生している場所を記憶しており；ビデオセキュリティシステム、特にＰＥＲＣＥＰＴＲＡＫシステムにおいてシステム視認明瞭度の改良をもたらし、それによってシステムは場面内のビデオデータをより正確かつ有効にキャプチャする能力を与えられ；キャプチャされるビデオ内のオブジェクトまたは被写体に従って、および、場面内の人物と彼らがしていること、例えば走っている、歩いている、集合している、うろついている、車両に入っている、およびその他多数のアクティビティなど、彼らのアクティビティが何であるかに従って、ビデオデータのキャプチャリングおよび分析が、セキュリティ目的のためにシステム解釈されるのを大いに援助し；車と人など異なるタイプの被写体間での被写体の識別を大いに改良し、それらの移動の方向を測定することなどによってシステム実現される特性を向上させ；概して、ビデオセキュリティおよび／またはスクリーニングシステムに「よく見える」ための潜在的可能性を与える、ビデオ処理用のおよびビデオ画像のシステム解釈分析用のシステムにおけるような、ビデオ画像のビデオ分析のためのシステムおよび方法論の提供が注目され得る。
【００２７】
さらに他の目的、特徴および利点の中には、ピクセル比較を必要とせず；基準フレームよりもむしろ適応背景によるオブジェクト検出を提供し；分割ノイズに応答して何度も変更される分割ゲイン（閾値）を利用し；長期にわたるビデオ場面の変化状態を補償するように順応して、分割ゲインが個々のエリアごとに変化する、システムの提供がある。
【００２８】
簡潔に言えば、上記で特定したＰＥＲＣＥＰＴＲＡＫシステムなどのビデオシステム、またはビデオカメラを用いる別のシステムにおいて、ビデオカメラがビューする場面のビデオデータはカメラビュー内の被写体を解釈する目的で、被写体またはオブジェクトを場面の背景から分割（分離）することによって分析される。このような分析は、場面の異なるエリアにおける分割ゲインの複数の値を取得するために、分割ゲインを画像フレームのエリアごとに決定および制御することを含む。時間間隔にわたりより大きなノイズを有することが判明したエリアはより低いゲインを与えられる。ノイズの少ないエリアはより高いゲインを与えられる。発明の改良に従って、分析用のビデオ場面は所定数のエリアを有する格子に分けられる。ビデオ場面全体について単一の変化率が決定されるわけではなく、むしろシステム処理により所定数のエリアのそれぞれについてＰＩＤが算出される。ＰＩＤ決定の出力は、多数のエリアのそれぞれに独自のゲイン設定を可能にするため、各エリアのノイズに従って複数のエリアのそれぞれ内で事前選択された時間間隔にわたり変化し、ここで各エリアに対するゲイン設定は、本明細書において説明したようにして算出されるベース分割ゲインと比較して決定される。
【００２９】
（第１の一般的局面）
したがって、本開示は、被写体および背景の場面画像がビデオによってキャプチャされ、被写体の性質のシステム測定による被写体コンテンツに従って自動的に分割されるが、被写体の分割は視覚ノイズとの折り合いによって処理され得る、ビデオ分割に関する。場面内の元の背景および前景画像の分割変換は地形図として提供され、前記分割は画像プリミティブにノイズブロブを組み込み得る。自動閾値適応は、ノイズブロブの数を一定に保持しながら、分割ノイズの計測に基づき、それによってノイズ適応分割ゲインを実現する。場面の複数エリア内の自動閾値適応は、各エリアにおける分割ノイズの量に基づいて異なるエリアに異なる閾値をもたらす。
【００３０】
（第２の一般的局面）
分割ゲインは、複数のパス、最も好ましくは２パス分割手順によって行われることが好ましく、分割の第２のパスは、第１のパスにおいて分割される標的の部分の内側でのみ実行され、第１のパスに残された可能性がある標的内のギャップを充填するという有益な効果を提供する。
【００３１】
これらの改良点の動作の結果は、低ノイズのエリアにおけるシステム明瞭度の向上であり、したがってシステムは場面内のビデオデータをより正確かつ有効にキャプチャする能力を与えられ、ビデオデータがＰＥＲＣＥＰＴＲＡＫシステムにおいて使用される際に改良を提供し、ここでデータは、場面内の人物と彼らがしていることなど、例えば走っている、歩いている、集合している、うろついている、車両に入っている、およびその他多数のアクティビティなどの、キャプチャされたビデオ内の被写体が何であるか、および彼らのアクティビティが何であるかに従って、セキュリティ目的のためにソフトウェア駆動のシステムによって解釈される。また、跛行またはその他の正常でない歩行などのわずかな変化でさえも検出され得、保護された建物内の人間被写体の選別において援助となる。車と人物など異なるタイプの被写体の間など、被写体間のならびに移動の方向の識別が向上される。
【００３２】
その他の目的および特徴は以下において明らかとなり、または指摘される。
【発明を実施するための最良の形態】
【００３３】
図面において、対応する文字は対応する要素を示す。
【００３４】
（一般）
本発明は、ビデオ処理および画像分割のための、考えられる多数のシステムおよびスキームにおいて使用され得る。セキュリティ目的、およびその他多数の目的のためのビデオ画像のシステム解釈分析用など、ビデオを処理する様々な種類のシステムにおいて、ビデオ画像のユーティリティを改良するために使用され得る。一例として、上記で特定したＰＥＲＣＥＰＴＲＡＫシステム、ビデオセキュリティシステムでは、ビデオ場面はキャプチャされ、その後、人物または車両など、対象のオブジェクトまたは被写体の存在に従って分割され得る。これは、上記で特定したＰＥＲＣＥＰＴＲＡＫシステムまたはビデオカメラを用いる別のシステムにおいて起こる。
【００３５】
このようなシステムにおいて、ビデオカメラがビューする場面のビデオデータは、カメラビューの中の被写体の解釈の目的のために分析される。特定の分析情報を取得するために、被写体の分析は、分割ゲインを画像フレームのエリアごとに決定および制御することを含む。システムは、場面の異なるエリアにおける分割ゲインの複数の値を可能にする。所定期間にわたり、より多くのノイズを有することが判明したエリアはより低いゲインを与えられるが、ノイズの少ないエリアはより高いゲインを与えられることになる。場面が視覚的にノイズの多い区域を有する場合（植物が頻繁に動く等）、この変化により高アクティビティのエリアにおける明瞭度は低くなるが、有用にも「静かな」エリアにおける明瞭度は高くなる。
【００３６】
発明の改良は、場面を、例えば４８区域（エリア）など所定数の区域の格子に分ける。ビデオ場面全体について単一の変化率を決定するよりもむしろ、ソフトウェア駆動のプロセッサによって多数（例えば、４８）の区域についてＰＩＤ関数が算出される。ＰＩＤ決定の出力は、各区域のノイズに従って、多数のエリアのそれぞれの中でゆっくり（例えば、２分かけて）変化する。これは、多数の区域のそれぞれに独自のゲイン設定を可能にし、ここで各区域に対するゲイン設定は、Ｃａｌｃｕｌａｔｉｏｎ  ｏｆ  Ｂａｓｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｇａｉｎ（ベース分割ゲインの算出）と題されたセクションにおいて算出されたベース分割ゲインと比較して決定される。
【００３７】
エリア番号ごとのノイズレベルは、背景更新ごとに確認されることが好ましいが、一方では、ＰＥＲＣＥＰＴＲＡＫシステムにより処理されたセキュリティ場面内の背景が、好ましくは２０秒程度ごとに、しかし１０秒ごとほど頻繁でなくというように、実質的にはあまり頻繁には確認されなくても十分であることがわかっている。同様に、１０分ごとという頻度の低さで背景ノイズを確認することは、おそらく遅すぎると考えられている。背景更新の間隔が離れすぎた場合、適応背景はもはや生場面背景と一致せず、過度な分割ノイズを招く、または作り出すであろうと考えられている。比較すると、更新が頻繁すぎる場合には、分割ノイズは低いが処理サイクルが無駄になり、ビデオ記録ファイル（先に開示した目標選択的に記録するシステムによって準備されたものであっても）が大きくなりすぎ得る。本目的のために、ＰＥＲＣＥＰＴＲＡＫシステムは更新期間を、更新間に蓄積する分割ノイズの関数として適合させるように構成されることが好ましい。期間の終了時の分割ノイズが開始時よりも多くない場合には、更新が速すぎるということである。一例として、期間の終了時の分割ノイズが開始時よりも２０％増である場合には、更新期間は長すぎると考えられ得る。更新間に蓄積する分割ノイズは、１０％から２０％が好適な範囲である。すなわち、更新間隔は、分割ノイズ蓄積を更新間に約１０％から約２０％、好ましくは２０％を超えない範囲内に維持することによって決定されることになる。
【００３８】
さらに具体的には、ノイズ蓄積が過大になることを防止するために最大値は即時修正されることが認められているが、約１００のフレームが一般に好適であり得ると同時に、更新の間に最大約２００を超える連続するフレームがあってはならないことが好ましい。
【００３９】
（重要な局面）
ビデオによりキャプチャされる画像は、例えば人物または複数の人物または動いている車両などの被写体の性質の決定などによって、カメラビュー内の被写体の解釈を含んで、被写体コンテンツに従って分割される。さらなる主要な局面が、本明細書の記述に従って、背景除去法を超えて分割を改良するために、本システム発明において実装され、以下を包含する。
【００４０】
１．元の背景および前景画像の変換である地形図の画像プリミティブに基づく、多変数分割技術の使用。（「地形図分割」と称する。）
２．分割ノイズを計測することおよびノイズブログの数を一定に保持すること、に基づく自動閾値適応。（「適応ゲイン」と称する。）
３．第２のパスは、第１のパスにおいて分割される標的の外形線の内側でのみ起こり、第１のパスよりも低い閾値を使用する、２パス分割。（「ギャップ充填」と称する。）
４．各エリアにおける分割ノイズの量に基づいて異なるエリアにおいて異なる閾値をもたらす、場面の複数のエリア内における自動閾値適応。（「エリアごとの分割ゲイン」と称する。）
（説明図を参照した説明）
図面を参照すると、図１は、ビデオテストフレームを示す。このフレーム内のビデオは、駐車場内でキャプチャされている。キャプチャされた場面は車両および３人の人物の分割された画像を含み、テストの目的として望ましい標的である画面の底部の人物を含む。この目的のための被写体である、カメラに最も近い２人の人物は、概してカメラから離れるように歩いている。第３の人物はカメラから遠くにおり、カメラのほうに向かって歩いている。
【００４１】
図２においては、比較のために、図１のテストフレームと対比される背景フレームが示されている。
【００４２】
図３は、背景フレーム（図２）からテストフレーム（図１）を減じ、相違が６ピクセルを超える全てのピクセルをハイライトした結果を示す。ブロブが縦横で５ピクセルを超える場合には、隣接する分割されたピクセルは着色される。白色ブロブはノイズブロブと見なされる。着色は実際の使用において生じ得るが、本白黒図面は、本明細書から着色を推測することを読者に任せる。最も近い被写体を表すピクセルは例えば緑色を、２番目に近い被写体を表すピクセルは例えば紫色を有し得、一方、カメラから最も遠くここに示されている被写体人物のピクセルは、例えば赤で着色され得る。
【００４３】
実際の標的の分割およびノイズは、閾値に敏感である。図４は、代表的な値６、１２および１６における閾値の影響を示す。閾値６においては、人間被写体の足元に望ましくない影の分割があり、値１６においては、場面の底部にいる人物はいくつかの部分に分割される。図４が示すように、これらの目的には高すぎると見なされる閾値（１６）の場合、標的は完全に分割されず、ノイズブロブはほとんどない。色ずれも生じる。したがって、本白黒画像ではよく見えないが、本当の色分割は、閾値１６は最も近い人物の分割を３色の混合とし、その結果完全な分割が実現されなかったたことを実証する。閾値がこれらの目的に対して低すぎる、６の値に設定された場合には、好ましくないことに、人の足元の影も分割される。また、閾値が低すぎると、多くの好ましくないノイズブロブが分割に現われ、分割された被写体の付近に「ハッシュ」または雪のようなピクセル領域として現れる。
【００４４】
理想的な分割閾値は場面ごとに変わり、任意の所与のカメラに対しては、光の変化によって１分ごとに変わる。
【００４５】
発明のシステムはカメラに適応するが、理想的な分割閾値を維持するために、場面における変化にも適応する。本発明のシステム方法論は、ノイズブロブの数を現在の分割閾値の有効性の重要な尺度として取り扱い、さらに、ノイズブロブの数を実質的に一定に保持するように分割閾値を調整する。
【００４６】
図５は、テストから得られた、ノイズブロブと分割閾値強度との間の関係を示したチャートである。図５のチャートは、この文書の準備において行われたテストから得られたものであり、分割閾値と結果として生じるノイズブロブの数との間には、一定で予測可能な関係が存在することを示す。
【００４７】
図６において、地形マッピング比較は、標的分割の感度が分割閾値と関連する程度を示す、ビデオ標的のグループ化を提供する。３つの画像の上部のセットは、背景除去法により提供されている。同じ３つの画像の下部のセットは、地形図比較を示す。閾値６は低すぎて、標的の足元に過度な影の分割を生じさせるが、しかし閾値１６は高すぎて、標的の頭および片足の一部が分割に失敗していることが、明らかである。
【００４８】
図７は、標的が分割された２対のパネルを示すビデオ画像フィールドであり、過度のノイズおよび偽の標的がまたどのように分割されるかを示し、最初に閾値６、次いで閾値１２を用いて複数パス分割によって改良が得られることを示す。
【００４９】
地形図比較からの分割が改良されても、過度のノイズおよび背景維持に干渉する偽の標的分割がなく、十分かつ完全な標的の分割を提供する単一の閾値はない。いかなる単一の閾値も、低すぎるかまたは高すぎるかのいずれかである。
【００５０】
図７に示すように、閾値６（左上）を使用することにより下部の被写体標的は完全に分割されるが、過度のノイズを有し、偽の標的が分割される。閾値１２（右上）を使用することによりクリーンな背景が提供されるが、標的の中にギャップが残る。本発明の一局面は、２パス分割の使用である。図７の左下の標的は、地形図比較によって閾値１２を使用して分割されている。図７の右下の標的は、基本閾値の半分の閾値（６）を使用した、標的の左端の分割ピクセルと右端の分割ピクセルとの間のエリア内に限定された第２のパスの結果である。第２のパスは、背景内のノイズに影響を及ぼすことなく、標的の内側にあるギャップのほとんどを充填する。
【００５１】
図８は同様に、画像フィールドの前景にある木がセグメント内でハイライトされたノイズのビットから認識でき、黒い長方形内の白点は分割によるノイズブロブを表す、ビデオ分割によりグループ化されたビデオ画像フィールドである。
【００５２】
図９は、本発明に従ったエリアごとのビデオ分割によってノイズが削減されることを示す、ビデオセグメントによりグループ化された、比較可能なビデオ画像フィールドである。
【００５３】
図１０は、場面全体に対する定ゲイン閾値を、４８のエリアごとに適応されたゲインと比較することによって、エリアごとの分割ゲインの影響を示す。ビデオ場面は太陽で明るく照らされた状態で撮られ、風に吹かれる木の列を含み、その間に視覚的に静かな駐車場エリアがある。一定の閾値を場面全体に適用することにより（右上背景）、過度なノイズおよび動いている木の大枝の分割または駐車通路内の本当の標的の分割の損失が生じる。右下の場面部分の例においては、場面は８行および６列で適応されたゲインを有する。木の周囲のゲインは、それらのエリアの中の本当の標的が分割されることを要求するために低下するが、しかし通路内においては、ゲインは標的を完全に分割するために十分なほど高い。
【００５４】
図１１は、本発明に従って図１０の場面に対して算出されたゲイン調整を、エリアごとのゲイン調整値のグラフィック表示と共に示す。
【００５５】
（地形図分割）
上記から明らかであるように、図３から図６は、本明細書において説明したエリアごとの分割ゲインと比較して、背景除去法のみを使用する分割への閾値の影響を示す。それに応じて地形図分割が考慮される。
【００５６】
本適応分割方法は、分割を実行するための複数の変数の使用を可能にする。セキュリティシステムにおける複数の変数とそれらの使用の例として、上記で特定した出願第０９／７７３，４７５号、および２００１年２月５日出願の同題の対応する国際特許出願第ＰＣＴ／ＵＳ０１／０３６３９号が参照され得る。
【００５７】
本目的の多変数分割を実現するために、ビデオ由来のすべての画像はプリミティブのセット（「地形図」）に変換され、分割はプリミティブに基づいて実行される。このアプローチは、例えば、地形図の最大８つの要素を使用するが、適応背景のマップを現在のビデオフレームと比較するためには、モノラル（すなわち、ピクセルごとに８ビットのようなグレースケールビデオ）に対しては６で十分である。地形図の各要素は、比較の中での異なる加重（ゲインと称される）を割り当てられる。次いで、要素の個別の加重に対して調整された結果についての、すべてのマップ要素の比較に基づいて分割が行われる。
【００５８】
例えば、モノラルに使用される要素および加重は以下の通りである：
ＡＬＴＩＴＵＤＥ＿ＷＥＩＧＨＴ（高度加重）＝１０
ＤＥＧＲＥＥ＿ＯＦ＿ＳＬＯＰＥ＿ＷＥＩＧＨＴ（傾斜度加重）＝８
ＤＩＲＥＣＴＩＯＮ＿ＯＦ＿ＳＬＯＰＥ＿ＷＥＩＧＨＴ（傾斜方向加重）＝１
ＨＯＲＩＺ＿ＳＭＯＯＴＨＮＥＳＳ＿ＷＥＩＧＨＴ（水平円滑度性加重）＝６
ＶＥＲＴ＿ＳＭＯＯＴＨＮＥＳＳ＿ＷＥＩＧＨＴ（垂直円滑度性加重）＝６
ＪＡＧＧＹＮＥＳＳ＿ＷＥＩＧＨＴ（ジャギー性加重）＝３
図６の画像の下部行に示すように、地形図比較による分割は背景除去法ほど閾値の変化に対して敏感ではない。また、その他の変数の使用により、地形図比較によって同一場面から分割される影は少なくなる。
【実施例】
【００５９】
（実施例１）
実際に、分割ゲインループは、ビデオ場面全体について単一の設定では、非常に安定していたことがわかった。比較すると、ピクセルごとに分割ゲインを設定しようとする試みでは確かに不安定であった。したがって、安定性を維持するためには、そしてさらに本明細書で説明したようにエリアごとの分割ゲインの利益を有するためには、設定の数は意図的に所定数の値（例示目的のみで、例えば４）に限定される可能性がある。さらに、独自のゲイン設定を持つべき画面の最小エリアは、例示目的のための例として、場面の６４分の１に限定される。図２は、ＰＥＲＣＥＰＴＲＡＫシステムによって分析される場面の８×８格子の影響を示す。算出は、格子解像度を調整することを可能にするための包括的なものである。当該開示によると、包括的な算出を可能にするために、格子の数は、グローバル変数ＳｅｇＧｒｉｄｓＨｉｇｈおよびＳｅｇＧｒｉｄｓＷｉｄｅによって決定される。この例では、ＳｅｇＧｒｉｄｓＨｉｇｈおよびＳｅｇＧｒｉｄｓＷｉｄｅはいずれも初期テスト用に８に設定されている。
【００６０】
ベース分割ゲインの算出のため、ＳｉｇＶａｌｕｅＤｉｆおよびＳｉｇＦｅａｔｕｒｅＤｉｆはいずれも、マスクのアクティブエリアの完全に内側にある分割格子内のノイズブロブのみを使用するように修正される。ＳｉｇＢａｌＤｉｆ値は総ノイズブロブに基づいてＰＩアルゴリズムにより算出を継続されるが、アクティブマスクの外側のＳｅｇＧｒｉｄｓはカウントされない。分割により生じる総ノイズを一定に保持するために、格子ごとに分割を基準値から上下に調整することが意図されている。
【００６１】
より小さいアクティブマスクエリアに対して補償し、ＮｏｉｓｅＢｌｏｂｓの意味をすべてのカメラについて同一に保つために、ＡｖｅｒａｇｅＮｏｉｓｅブロブは非アクティブなＳｅｇｍｅｎｔａｔｉｏｎ  Ｇｒｉｄｓの数によって上方に調整される：
ＡｖｅｒａｇｅＮｏｉｓｅＢｌｏｂｓ＝ＡｖｅｒａｇｅＮｏｉｓｅＢｌｏｂｓ＊
（ＴｏｔａｌＳｅｇＧｒｉｄｓ／ＡｃｔｉｖｅＳｅｇＧｒｉｄｓ）
本方法論およびシステム構成の実装において有用な、代表的なＶｉｓｕａｌ  Ｂａｓｉｃのコードの行を説明する、他の例が参照され得る。
【００６２】
（実施例２）
この例は、位置ごとにノイズを追跡する、本開示の方法を示す。ここでも、本方法論およびシステム構成の実装において有用な、代表的なＶｉｓｕａｌ  Ｂａｓｉｃのコードの行を説明する他の例が参照され得る。
【００６３】
新しいＵＤＴ（Ｖｉｓｕａｌ  Ｂａｓｉｃの文脈において、「Ｕｓｅｒ  Ｄｅｆｉｎｅｄ  Ｔｙｐｅ（ユーザ定義型）」）は、格子内のノイズについてのデータを保持すると定義され（ＮｏｉｓｅＢｙＳｅｇＧｒｉｄＴｙｐｅ）、３つのロングワード（ｔｈｒｅｅ  ｌｏｎｇｓ）（すなわち、３２ビット整数）を有する。つまり：
ＩｎＡｃｔｉｖｅＭａｓｋ    ／／マスクのアクティブエリアでは起動時１に設定する
ＮｏｉｓｅＢｌｏｂＴｈｉｓＰｅｒｉｏｄ    ／／前回のＣａｌｃＳｅｇｍｅｎｔａｔｉｏｎＶａｌｕｅｓからのＣｕｍ  ＮｏｉｓｅＢｌｏｂｓ
ＮｏｉｓｅＢｌｏｂｓＬａｓｔＰｅｒｉｏｄ    ／／前回のＣａｌｃＳｅｇｍｅｎｔａｔｉｏｎＶａｌｕｅｓで使用したＮｏｉｓｅＢｌｏｂｓ
ＮｏｉｓｅＢｌｏｂｓＬａｓｔＰｅｒｉｏｄ要素は、ＰＩＤループの「Ｄ」部分のために確保される。新しいグローバルＵＤＴ（ＮｏｉｓｅＢｙＳｅｇＧｒｉｄ）が割り付けられ、各マップ要素に対してノイズブロブの数を累積するために使用される。ＮｏｉｓｅＢｙＳｅｇＧｒｉｄは、以下のように割り付けられる。
ＳｅｇＧｒｉｄｓＨｉｇｈ  ＊  ＳｅｇＧｒｉｄｓＷｉｄｅ
Ｎｏｉｓｅ  ＢｌｏｂｓがインクリメントされるＬａｂｅｌＢｌｏｂｓ関数において、ノイズブロブの位置にあるＮｏｉｓｅＢｙＳｅｇＧｒｉｄの要素はインクリメントされる。
【００６４】
新しい分割ゲインが算出された後の背景維持のときに、ＮｏｉｓｅＢｌｏｂｓＴｈｉｓＰｅｒｉｏｄはＮｏｉｓｅＢｌｏｂｓＬａｓｔＰｅｒｉｏｄ要素にコピーされ、ＮｏｉｓｅＢｌｏｂｓＴｈｉｓＰｅｒｉｏｄ要素はすべてゼロにリセットされる。
【００６５】
（＊Ｎｏｉｓｅｂｌｏｂｓ）＋＋を持つ行において、変数「ｉ」はブロブの下部行であり、変数「ｊ」はブロブの左端の列である。
そこで、以下を追加する：
ＳｅｇＧｒｉｄＲｏｗ＝ｉ／ＳｅｇＧｒｉｄｓＨｉｇｈ；
ＳｅｇＧｒｉｄＣｏｌ＝ｊ／ＳｅｇＧｒｉｄｓＷｉｄｅ；
ＳｅｇＯｆｆｓｅｔ＝（ＳｅｇＧｒｉｄＲｏｗ  ＊  ＳｅｇＧｒｉｄｓＷｉｄｅ）＋ＳｅｇＧｒｉｄＣｏｌ；
＊（ＮｏｉｓｅＢｙＳｅｇＧｒｉｄ＋ＳｅｇＯｆｆｓｅｔ）−＞ＮｏｉｓｅＢｌｏｂｓＴｈｉｓＰｅｒｉｏｄ＋＋；
これは、ＮｏｉｓｅＢｙＳｅｇＧｒｉｄ．ＮｏｉｓｅＢｌｏｂｓＴｈｉｓＰｅｒｉｏｄを、このフレーム用のノイズブロブを有するものとしてマークする。
ＩｎＡｃｔｉｖｅＭａｓｋの各要素は、４つのコーナーピクセルがアクティブなマスト内にある場合、起動雑事中およびマスクが更新されるたびに１に設定される。これは包括的な算出ではないが、高速で実行される。
【００６６】
（実施例３）
この例は、ゲイン調整の算出を類型化するものである。ここでも、本方法論およびシステム構成の実装において有用な、代表的なＶｉｓｕａｌ  Ｂａｓｉｃのコードの行を説明する他の例が参照され得る。
【００６７】
エリアごとのゲイン調整は、ＤｅｌｔａＮｏｉｓｅごとのＤｅｌｔａＳｅｇｍｅｎｔａｔｉｏｎに対するゲイン数値に基づく。「ＤｅｌｔａＳｅｇＧａｉｎ」という名の変数およびデフォルト値がテストごとに設定される。０．５のＤｅｌｔａＳｅｇＧａｉｎは、考察中のエリアと画面平均との間で異なる２つの各ノイズブロブに対して１つの調整を示し、ここで：
ＧａｉｎＡｄｊｕｓｔｍｅｎｔ＝ＤｅｌｔａＳｅｇＧａｉｎ＊（ＧｒｉｄＮｏｉｓｅ−ＡｖｅｒａｇｅＳｃｒｅｅｎＮｏｉｓｅ）
さらにここで：
ＧａｉｎＡｄｊｕｓｔｍｅｎｔが高くなることはＧｒｉｄのゲインが低くなることを意味し；
さらにここで：
ＡｖｅｒａｇｅＳｃｒｅｅｎＮｏｉｓｅはＧｒｉｄＮｏｉｓｅとの比較のために調整される。
【００６８】
６４の格子を持つ例では、６４分の１の格子内のノイズブロブの総数は、場面内のノイズブロブの総数を６４で割った数と比較される。
【００６９】
各背景維持動作に関して、ＰＥＲＣＥＰＴＲＡＫシステムの各分析ワーカーのＰＩループは、すべてのエリアにわたってＤｅｌｔａＮｏｉｓｅを駆動するために、ＤｅｌｔａＳｅｇＧａｉｎの値を、このような方法でゼロに調整する：
１．８×８格子からのノイズブロブの数を合計する。ＩｎＡｃｔｉｖｅＭａｓｋ要素が１である場合にのみ値を合計に転送する。
【００７０】
２．各格子要素に対して平均ノイズを算出する。
【００７１】
３．エリアあたりの加重ノイズブロブを算出する。
【００７２】
４．各格子に対してゲイン調整を算出する。
【００７３】
５．背景マップの各ＴｅｒｒａｉｎＭａｐ要素に対して、ＧａｉｎＡｄｊｕｓｔを設定する。
【００７４】
分割中のゲイン調整に関して、新しい（符号付き文字）要素であるＧａｉｎＡｄｊｕｓｔをＴｅｒｒａｉｎＭａｐ宣言に追加することができる。ＧａｉｎＡｄｊｕｓｔ要素（背景地形図の）は、各背景維持動作中に記入され、Ｃｏｍｐａｒｅ  ＴｅｒｒａｉｎＭａｐ  ＸＸＸ関数においてＳｉｇＶａｌｕｅＤｉｆおよびＳｉｇＦｅａｔｕｒｅＤｉｆの両方を修正するために使用される。
【００７５】
当然ながら、当業者であれば、分割ゲインはすべてのマップ要素を確認される必要があるために、前述のものは比較地形図関数に対して一部の変更を必要とするが、比較される同一の背景マップ要素における新しいゲイン分割により、算出は速く実行されることが期待されることを、認識し得る。
【００７６】
（実施例４）
この例は、ゲイン調整算出を表すサンプルコードを説明するものである。以下のコードの一部分は、図の画像を展開するために使用されたプログラムから得られたものである。このコードは、エリアごとの適応分割ゲインの実装の例として本明細書に含まれる。変数名は自明で説明を要しない。
【００７７】
【数１】
2007531121.tif 000003
（実施例５）
この例は、複数のパスによって分割ゲインが好ましく行われる好適な手順、最も好ましくは、分割の第２のパスが第１のパスにおいて既に分割された標的の部分の内側のみで実行される、２パス分割手順を示す。これは、第１のパス内に残された標的のギャップを充填するという極めて有益な効果を提供する。この例では、明瞭化のために例外的な処理が除去された好適なコードの例である、関数Ｐａｓｓ２Ｓｅｇｍｅｎｔａｔｉｏｎに関して、サンプルコードが提供される。入力ＴｅｒｒａｉｎＭａｐは、第１のパス分割の結果を有する構造のアレイである。ＴａｒｇｅｔＲＯＩは、入力標的ＴａｒｇｅｔＮｕｍｂｅｒを保持する境界長方形を定義する。地形図の各要素は、背景と分割の第１のパスにおいて見出されたテストフレームとの間の相違の絶対値を含む。分割の第２のパスは、第１のパスにおいて分割された標的部分の中でのみ実行される。コードは：
【００７８】
【数２】
2007531121.tif 000004
【００７９】
【数３】
2007531121.tif 000005
【００８０】
【数４】
2007531121.tif 000006
【００８１】
【数５】
2007531121.tif 000007
【００８２】
【数６】
2007531121.tif 000008
【００８３】
【数７】
2007531121.tif 000009
戻り値は、第２のパスで分割されたマップ要素の数である。
【００８４】
本明細書に記載および図示されたシステムおよび方法において、本発明の範囲を逸脱することなく様々な修正がなされ得るように、前述の明細書に含まれる、または添付の図面に示されるすべての事柄は、限定的にではなく例示的なものとして解釈されるべきであることが、意図されている。
【００８５】
したがって、本発明の広がりおよび範囲は、上述した例示的な実施形態のいずれによっても限定されるべきでなく、添付の特許請求の範囲およびそれらの均等物によってのみ規定されるべきである。
【図面の簡単な説明】
【００８６】
【図１】テスト目的のために望ましい標的である人物を画面の底部に含む、人物の分割画像が存在するビデオテストフレームである。
【図２】図１のテストフレームと対比される、背景フレームである。
【図３】背景フレームからテストフレームを減じ、相違が所定数のピクセルを超える全てのピクセルをハイライトした結果である。
【図４】異なる所定の分割強度値における、分割閾値の影響を示す。
【図５】テストから得られた、ノイズブロブと分割閾値強度との間の関係を示すチャートである。
【図６】標的分割の感度が分割閾値と関連する程度を示す、ビデオ標的のグループ化による地形マッピング比較である。
【図７】過度のノイズおよび偽の標的がどのように分割されるか、および複数パス分割によっていかなる改良が得られるかを示す、標的が分割されたビデオ画像フィールドである。
【図８】同様に、画像フィールドの前景にある木がセグメント内でハイライトされたノイズのビットから認識でき、黒い長方形内の白点は分割によるノイズブロブを表す、ビデオ分割によりグループ化されたビデオ画像フィールドである。
【図９】本発明に従ってエリアごとのビデオ分割によってノイズが削減されることを示す、ビデオセグメントによりグループ化された、比較可能なビデオ画像フィールドである。
【図１０】場面全体に対する一定のゲイン閾値の適用（右上背景）を、場面のビデオが複数の行と列ごとに適応されたゲインを有する右下の場面部分と比較することによって、エリアごとの分割ゲインの影響を示す、風に吹かれる木の存在を含み、太陽で明るく照らされた状態のビデオ場面である。
【図１１】本発明に従って、図１０の場面に対して計算されたゲイン調整を、エリアごとのゲイン調整のグラフィック表示と共に示す。
【図１】
2007531121.tif 000010
【図２】
2007531121.tif 000011
【図３】
2007531121.tif 000012
【図４】
2007531121.tif 000013
【図５】
2007531121.tif 000014
【図６】
2007531121.tif 000015
【図７】
2007531121.tif 000016
【図８】
2007531121.tif 000017
【図９】
2007531121.tif 000018
【図１０】
2007531121.tif 000019
【図１１】
2007531121.tif 000020
【手続補正書】
【提出日】平成19年8月31日(2007.8.31)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007531121.tif 000021
【図２】
2007531121.tif 000022
【図３】
2007531121.tif 000023
【図４】
2007531121.tif 000024
【図５】
2007531121.tif 000025
【図６】
2007531121.tif 000026
【図７】
2007531121.tif 000027
【図８】
2007531121.tif 000028
【図９】
2007531121.tif 000029
【図１０】
2007531121.tif 000030
【図１１】
2007531121.tif 000031
【国際調査報告】
2007531121.tif 000032