(57)【要約】映像は、映像のための背景モデルを維持し、映像内の標的を検出し、標的が静止標的であるかどうかを検出し、静止標的を、背景モデルへの挿入または背景モデルからの移動として分類することにより処理される。
2006514363.tif 000002
【特許請求の範囲】
【請求項１】
映像を処理するための方法であって、
前記映像のための背景モデルを維持するステップと、
前記映像内の標的を検出するステップと、
前記標的が静止標的であるかどうかを検出するステップと、
前記静止標的を、前記背景モデルへの挿入または前記背景モデルからの移動として分類するステップと、
を備える方法。
【請求項２】
前記標的が前記静止標的であるかどうかを検出するステップは、
前記標的の概略的モーションおよびサイズの変化特性を決定するステップと、
前記標的の独立モーション特性を決定するステップと、
前記標的が前記静止標的であるかどうかを、前記概略的モーションおよびサイズの変化特性ならびに前記独立モーション特性に基づき決定するステップと、
を備えることを特徴とする請求項１に記載の方法。
【請求項３】
前記概略的モーションおよびサイズの変化特性は、前記標的の質量中心軌道の統計的特性と、前記標的の領域の統計的特性と、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記独立モーション特性は、前記標的の動いている画素の統計的特性を含むことを特徴とする請求項２に記載の方法。
【請求項５】
前記標的が静止しているかどうかを決定するステップは、前記標的の経時変化にさらに基づいていることを特徴とする請求項２に記載の方法。
【請求項６】
前記静止標的を分類するステップは、
前記背景モデル内で、エッジ強度を、前記静止標的の境界に沿って決定するステップと、
映像シーケンスの現在フレーム内で、エッジ強度を、前記静止標的の前記境界に沿って決定するステップと、
前記静止標的が、前記挿入または前記移動であるかを、前記背景モデル内の前記エッジ強度および前記現在フレーム内の前記エッジ強度に基づき決定するステップと、
を備えることを特徴とする請求項１に記載の方法。
【請求項７】
前記背景モデル内で前記エッジ強度を決定するステップは、前記静止標的の質量中心画素および前記静止標的の前記境界に沿う周辺画素に基づくことを特徴とする請求項６に記載の方法。
【請求項８】
前記現在フレーム内で前記エッジ強度を決定するステップは、前記静止標的の質量中心画素および前記静止標的の前記境界に沿う周辺画素に基づくことを特徴とする請求項６に記載の方法。
【請求項９】
前記静止標的を分類するステップは、前記静止標的を、前記背景モデル内の挿入、前記背景モデルからの移動、あるいは前記挿入または前記移動としては識別不能として分類するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項１０】
前記標的が、静止標的として以前に検出されたかどうかを決定するステップをさらに備える請求項１に記載の方法。
【請求項１１】
請求項１の方法に従ってコンピュータを動作させるソフトウェアを有するコンピュータ読み取り可能な媒体を備えるコンピュータシステム。
【請求項１２】
請求項１の方法に従ってコンピュータを動作させるソフトウェアを有するコンピュータ読み取り可能な媒体。
【請求項１３】
映像を処理するためのコンピュータシステムであって、
前記映像の背景モデルと、
前記映像および前記背景モデルに基づき変化マスクおよび画像を生成する、背景モデルに基づく画素分類と、
前記背景モデルを前記変化マスクおよび前記画像に基づき更新する、背景モデル更新と、
前記映像に基づきモーションマスクを生成する、モーションに基づく画素分類と、
前記変化マスクおよび前記モーションマスクに基づき少なくとも1つのブロブを生成する、ブロブ生成と、
前記ブロブに基づき少なくとも1つの標的を生成する、ブロブ追跡と、
各標的に基づき静止標的記述を生成し、前記静止標的記述は、各前記標的を前記背景モデルへの挿入または前記背景モデルからの移動として識別するものである、静止標的検出および分類と、
前記背景モデルを各前記静止標的記述に基づき更新する、背景モデル局部更新と、
を備えるコンピュータシステム。
【請求項１４】
前記静止標的記述は、前記標的のそれぞれを、前記背景モデルへの挿入、前記背景モデルからの移動、あるいは前記挿入または前記移動としては識別不能として、さらに識別することを特徴とする請求項１３に記載のコンピュータシステム。
【請求項１５】
各前記静止標的記述に基づき前記ブロブ追跡のための標的再活動化を生成する静止標的モニタをさらに備える請求項１３に記載のコンピュータシステム。
【請求項１６】
映像を処理するための装置であって、
前記映像のための背景モデルを維持するための手段のステップと、
前記映像内の標的を検出するための手段のステップと、
前記標的が静止標的であるかどうかを検出するための手段のステップと、
前記静止標的を、前記背景モデルへの挿入または前記背景モデルからの移動として分類するための手段のステップと、
を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理の一般的分野、および分割映像の処理のより特定の分野を対象とする。特に、本発明は、分割映像の背景モデルの維持および背景モデルの変化の分類に関する。
【背景技術】
【０００２】
多くの映像処理適用は、映像オブジェクトの分割（すなわち、映像シーケンスにおいて描かれる静的背景シーンからの、適切に動いているオブジェクトの差別化）を要求する。このような適用には、例えば、映像モザイク構築、オブジェクトに基づく映像圧縮、オブジェクトに基づく映像編集、および自動映像監視が挙げられる。多くの映像オブジェクト分割アルゴリズムは、補助として映像シーン背景モデル（これは単に“背景モデル”と呼ぶことができる）を用いる。一般的なアイディアは、映像シーケンスの各フレームを、背景モデルに登録して、画素ごとに背景モデルと比較することができる、ということである。十分な違いを示す画素は、前景または動いている画素とみなされる。しかしながら、不安定な背景（例えば、波打つ水、風に吹かれる葉等）、照明現象（例えば、太陽を横切る雲、影等）、およびカメラ現象（例えば、自動利得制御（ＡＧＣ：Automatic Gain Control）、自動絞り、自動フォーカス等）など、画素レベルの変化を生じ得る幅広い現象がある。
【０００３】
映像オブジェクト分割（またはその変化）を用いて、独立したモーションを示すオブジェクト、またはオブジェクトの一部を、通常は検出することができる。シーン内のオブジェクトが、長時間にわたって静止している場合に生じる、２つの基本的な問題があり、それら２つの現象のいずれもが、どのような適用においても、映像オブジェクト分割の性能を低下させる可能性がある。
【０００４】
第１に、オブジェクトが長時間静止したままの場合、オブジェクトは、前景オブジェクトとして“永続的に”検出することができる。しかしながら、実際には、オブジェクトは背景の一部と化してしまう。図１Ａにおいて、この問題が、映像シーケンス内に進入する自動車１１について示されている。この自動車は、前景オブジェクト１２として継続的に監視されるが、実際には、背景の一部と化している（すなわち、“永続的な”分割）。
【０００５】
第２に、最初には静止しているオブジェクトが、背景モデルの一部であり（例えば焼き付けられており）、その後に動く場合、オブジェクトは、背景モデル（例えば静的背景）のモデル化されていなかった領域を露出させる。この露出された背景モデルの領域は、誤って前景オブジェクトとして検出される。図１Ｂでは、この問題が、駐車されている自動車１３が映像シーケンスから走り出す場合について示されている。自動車１３は、背景モデル内で分割された、自動車の形をした“穴”１４を露出する。
【０００６】
上述のように、例えば、“デジタル映像データを圧縮／解凍するための方法、装置、およびシステム（Method, Apparatus, and System for Compressing/Decompressing Digital Video Data）”と題された、１９９９年１２月２７日出願の米国特許出願第０９／４７２，１６２号、および、“映像処理に用いるための映像からのシーンモデル生成（Scene Model Generation from Video for Use in Video Processing）”と題された、２０００年７月３日出願の米国特許出願第０９／６０９，９１９号（これらは両方とも、本発明の譲受人に譲渡されており、参考のためにここに組み込まれる）においては、フォトモザイク、映像モザイク、または映像シーンモデルを構築する場合、ソース画像における“真の”背景を表す部分を抽出することが、しばしば望ましいとされている。例えば、映像シーケンス内の駐車中の自動車（または他の画像の集合）が、この映像シーケンスの期間中、駐車されたままであれば、この自動車は真の背景とみなされるであろう。しかしながら、映像シーケンス内の自動車が、最初は駐車されており、後に映像シーケンスのある時点で走り去れば、この自動車は、“背景でない”と正しく判断されるべきである。
【０００７】
真の背景領域の識別において注意が欠けていた場合、人為的影響が生じる。目的が、モザイクまたは背景画像の生成である場合、前景オブジェクトが、背景モデルに“焼き込まれる”ことがあり、これは、不自然に見える画像を生じさせる。目的が、映像分割の基準としてのシーンモデルの構築である場合、その結果は、前景オブジェクトの部分が検出されず、いくつかの露出した背景領域が、前景オブジェクトとして検出されるような、粗末な分割となり得る。
【０００８】
図２は、前景オブジェクトに背景モデルを劣化させる先行技術例を示している。映像シーケンスは、ティーオフの準備をするゴルファーを描いている。映像シーケンスからのソース画像のサブセット２１は、この映像シーケンスの一部を描いている。ソース画像を用いて、背景モデル２２および前景オブジェクト２３が、生成される。しかしながら、背景モデル２２は、背景モデル２２に焼き込まれた前景オブジェクト２３（例えば、左側にゴルファー、および右側にゴルファーのシャツの一部）を含んでおり、前景オブジェクト２３は、不完全に分割されている（例えば、ゴルファーの胴体の一部、およびゴルフクラブの一部）。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、変化の検出および分類を用いて、映像シーケンスの背景モデルの維持を行う。さらに、本発明は、映像シーケンスの背景モデルを維持し、背景モデルの変化を分類する。
【課題を解決するための手段】
【００１０】
本発明は、映像を処理するための方法であって、映像のための背景モデルを維持するステップと、映像内の標的を検出するステップと、標的が静止標的であるかどうかを検出するステップと、静止標的を、背景モデルへの挿入または背景モデルからの移動として分類するステップと、を備える方法を含む。
【００１１】
本発明は、映像を処理するためのコンピュータシステムであって、映像の背景モデルと、映像および背景モデルに基づき変化マスクおよび画像を生成する、背景モデルに基づく画素分類と、背景モデルを変化マスクおよび画像に基づき更新する、背景モデル更新と、映像に基づきモーションマスクを生成する、モーションに基づく画素分類と、変化マスクおよびモーションマスクに基づき少なくとも１つのブロブを生成する、ブロブ生成と、ブロブに基づき少なくとも１つの標的を生成する、ブロブ追跡と、各標的に基づき静止標的記述を生成し、静止標的記述は、各標的を背景モデルへの挿入または背景モデルからの移動として識別するものである、静止標的検出および分類と、背景モデルを各静止標的記述に基づき更新する、背景モデル局部更新と、を備えるコンピュータシステムを含む。
【００１２】
本発明のシステムは、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ読み取り可能な媒体を含むコンピュータシステムを含む。
【００１３】
本発明の装置は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ読み取り可能な媒体を含むコンピュータを含む。
【００１４】
本発明の製品は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ読み取り可能な媒体を含む。
【００１５】
本発明のさらなる特徴および利点、ならびに本発明の様々な実施形態の構造および作用は、添付の図面を参照して以下に詳細に説明される。
【００１６】
定義
“コンピュータ”は、構造化入力を受け付け、構造化入力を所定のルールに従って処理し、処理の結果を出力として生成することが可能な装置を指す。コンピュータの例としては、コンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、双方向テレビジョン、ウェブ機器（web appliance）、インターネットアクセスを有する電気通信装置、コンピュータと双方向テレビジョンのハイブリッドな組み合わせ、およびコンピュータをエミュレートする特定用途向けハードウェアおよび／またはソフトウェア、が挙げられる。コンピュータは、据置きまたは携帯型とすることができる。コンピュータは、単一プロセッサあるいは並列および／または非並列に動作可能なマルチプロセッサを有することができる。コンピュータは、また、コンピュータ間で情報を送信または受信するために、ネットワークを介して互いに接続された２つ以上のコンピュータを指す。このようなコンピュータの例としては、ネットワークによりリンクされたコンピュータを介して情報を処理するための分散コンピュータシステムが挙げられる。
【００１７】
“コンピュータ読み取り可能な媒体”は、コンピュータによりアクセス可能なデータを保存するために用いられる記憶装置を指す。コンピュータ読み取り可能な媒体の例としては、磁気ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光ディスク、磁気テープ、メモリチップ、電子メールの送信および受信またはネットワークへのアクセスに用いられるような、コンピュータ読み取り可能な電子データの搬送に用いられる搬送波、が挙げられる。
【００１８】
“ソフトウェア”は、コンピュータを動作させる所定のルールを指す。ソフトウェアの例としては、ソフトウェア、コードセグメント、指示、コンピュータプログラム、およびプログラムされたロジック、が挙げられる。
【００１９】
“コンピュータシステム”は、コンピュータを有するシステムを指し、ここで、コンピュータは、コンピュータを動作させるソフトウェアを包含するコンピュータ読み取り可能な媒体を備える。
【００２０】
“ネットワーク”は、通信施設により接続された複数のコンピュータと、関連する装置とを指す。ネットワークは、ケーブルなどの永続的な接続あるいは電話、ワイヤレス、または他の通信リンクを通じてなされるような一時的な接続を伴う。ネットワークの例としては、インターネット（Internet）などのインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ならびにインターネットおよびイントラネットなどのネットワークの組み合わせ、が挙げられる。
【００２１】
“映像”は、アナログおよび／またはデジタル形式で表される動画を指す。映像の例は、テレビジョン、映画、カメラまたは他の観察装置からの画像シーケンス、およびコンピュータ生成された画像シーケンス、が挙げられる。これらは、例えば、ライブフィード（live feed）、記憶装置、ＩＥＥＥ１３９４ベースのインターフェース、映像デジタイザ、コンピュータグラフィックエンジン、またはネットワーク接続などから得ることができる。
【００２２】
“映像処理”は、映像の操作を指し、例えば、圧縮および編集を含む。
【００２３】
“フレーム”は、映像内の特定の画像または他の個別の単位を指す。
【発明を実施するための最良の形態】
【００２４】
本発明の好適な実施形態が、以下に詳細に述べられる。特定の好適な実施形態が述べられるが、これは、例示のみを目的として行われるものと理解されるべきである。当業者は、本発明の趣旨および範囲より逸脱することなく、他の構成要素および構成を用いることができることを、認識するであろう。ここに述べられる実施形態および実施例は、非限定の例である。
【００２５】
本発明は、変化の検出および分類を用いて、映像シーケンスの背景モデルを維持する。本発明を、リアルタイムの映像処理適用（例えば、リアルタイムのオブジェクトに基づく圧縮または映像監視）に用いることができ、この適用においては、映像シーケンスが常に全体的に利用可能ではない可能性があり、背景モデルに対する増加的な変更は、その実用性の維持が求められる可能性がある。本発明は、また、非リアルタイム映像処理の適用に用いることもできる。映像シーケンスは、映像のいくつかまたはすべてを指す。
【００２６】
本発明では、第１に、背景モデルの局部変化が検出され、それらを用いて、背景モデルの維持を行うことができ、そして第２に、このような検出された変化を分類して、さらなる処理に用いることができる。検出された変化は、２つの主要なカテゴリーに分類される。第１に、シーンに配置され、一定期間にわたり静止している（すなわち挿入）オブジェクトであり、そして第２に、シーンの外へ移動し、背景モデル（例えば静的背景）の一部を露出する（すなわち移動）オブジェクトである。これら２つのカテゴリーに共通する側面は、背景モデル内に永続的な局部変化があることである。
【００２７】
これら２つのカテゴリーへの変化の分類は、例えば映像監視適用などの、広い範囲の適用において、非常に重要となり得る。映像監視適用のための第１のカテゴリー（すなわち挿入）の例には、駐車禁止エリアの監視（および、例えば、自動車が駐車禁止エリアに一定時間より長く居続けた場合のアラームの作動）、空港での放置された荷物の検出、および、軍事施設や発電所などの敏感な区域の近くでの放置された物体の検出などが挙げられる。映像監視適用のための第２のカテゴリー（すなわち移動）の例には、博物館の工芸品、高価な機材、または駐車場の自動車などの、高価な資産の移動の検出が挙げられる。
【００２８】
図３は、一般的な映像処理システムの１つの可能な状況における、本発明の第１の実施形態のフローチャートを示している。映像シーケンスが、システムに入力され、背景モデルが、生成および維持される３１、３２、および３３。入力映像は、２つの個別の低レベル画素分類技術である、背景モデルに基づく画素分類３１と、モーションに基づく画素分類３４とによって処理される。これら２つの技術は、該当の画素を表す画素マスクを（フレームごとに）生成する。背景モデルに基づく画素分類３１は、変化マスクおよび画像を生成し、モーションに基づく画素分類３４は、モーションマスクを生成する。変化マスクおよびモーションマスクは、ブロブ生成３５に供給され、ブロブ生成３５は、マスクを、各フレームにおける各可視の前景オブジェクトの外見を表す１つまたは複数の個別ブロブのセットに変換する。一般的に、可視の前景オブジェクトがない場合、ブロブは生成されない。ブロブは、ブロブ追跡３６を用いて追跡され、ブロブ追跡３６は、１フレームからのブロブを、他のフレームのブロブと接続し、シーン内の各オブジェクトを表す“標的”を生成する。標的は、映像オブジェクトの経時的な時空的記述である。標的は、静止標的検出および分類３７により分類され、静止標的検出および分類３７は、標的のいずれかが、背景モデル３３への“永続的”変化を表すかどうか、およびこの変化が“挿入”（例えば、シーンに入るオブジェクト）または“移動” （例えば、場所を去り、背景モデルの一部を露出するオブジェクト）を表すかどうかを決定する。最後に、検出された静止標的が、背景モデル局部更新３８によって背景モデル３３に挿入される。
【００２９】
背景モデルの生成および維持は、背景モデルに基づく画素分類３１と、背景モデルの更新３２と、背景モデル３３とを含む。背景モデルに基づく手法３１、３２、および３３の１つの選択肢は、動的な統計的画素モデリングを用いる。動的な統計的画素モデリングは、画像背景の正確な表現を維持し、前傾画素から背景画素を差別化する。好適な実施形態においては、動的な統計的画素モデリングは、“統計的画素モデリングを用いた映像分割（Video Segmentation Using Statistical Pixel Modeling）”と題された、本発明の譲受人に譲渡された２００１年３月２３日出願の米国特許出願第０９／８１５，３８５号に開示された技術によって実施され、この特許出願は、ここに参考のために組み込まれる。好適な技術の概略的なアイディアは、画素の色彩（または輝度）値およびそれらの統計値を含むすべての画素の履歴が、いくつかのフレームにわたって維持されることである。安定した、変化しない画素は、背景として扱われる。画素変化の統計値が著しく変化した場合、画素は、前景とみなすことができる。画素が、そのオリジナル状態に戻った場合、画素は、背景画素とみなされる状態に戻ることができる。この技術は、センサノイズを低減し、照明状態やカメラの自動利得制御（ＡＧＣ：Automatic Gain Control）などによる、遅い背景の変化に自動的に対処する役割を果たす。動的な統計的画素モデリングの代わりに、背景モデルに基づく画素分類３１を、制的背景モデル、ガウス（gaussian）背景モデルの混合、またはガウスモデルの動的な適応性混合を用いて実施することができる。
【００３０】
背景モデル３３は、映像内である時刻に描写される静的シーンの内部表現である。その都度、新たなフレームが分析され、背景モデル３３を、背景モデル更新３２により、増加的に更新することができる。増加的な更新に加えて、背景モデル３３は、背景変化が検出された際に更新する必要がある。例えば、新たな局部の静的背景領域を表す色彩情報を、背景モデル３３に“焼き込む”必要があり、これは、背景モデル局部更新３８を用いて達成することができる。
【００３１】
図４および図５は、画素モデリングを用いた背景モデルの生成と維持を示している。図４では、前景画素を検出するための画素統計的背景モデリングが、示されている。フレーム４１は、重ねられた椅子の前を歩きスーツケースを落とす男性の映像からの、現在のフレームである。フレーム４１において男性は、スーツケースを落とし、前進を続ける。映像内の画素の輝度と時間をプロットするグラフ４２で示されているように、各画素の輝度の平均および標準偏向４３を用いて、背景４４がモデル化されている。背景モデル３３は、各画素の平均および標準偏向を含んでいる。画素分類アルゴリズム３１は、現在のフレーム４１の各画素を、背景モデル３３の対応する画素と比較する。現在のフレーム４１において、オブジェクトが画素を“通って”動く場合、その値は、背景モデル３３において捉えられた統計値と一致せず、前景４５とみなされる。前景画素の変化マスクが、背景モデルに基づく分類３１によって生成され、ブロブ生成３５に送られる。この変化マスクおよび現在のフレーム４１は、両方とも、背景モデル更新３２に送られ、背景モデル３３を含んだ画素統計値を更新することができる。
【００３２】
図５では、照明変化を扱うための画素統計的背景モデリングが、示されている。フレーム５１は、映像におけるゆっくりした照明変化を示している。映像における画素の輝度と時間をプロットしているグラフ５２に示されているように、各画素５３の輝度平均および標準偏向を用いて、背景がモデル化されている。各画素の平均および標準偏向は、最後のフレームのみから計算されるため、背景モデル３３は、ゆっくり変化する画素強度５４に従うように適合されている。
【００３３】
モーションに基づく画素分類３４は、画素が実際にフレームからフレームへの独立モーションを受けるかどうかを決定する。モーションに基づく画素分類３４の１つの可能な実施形態は、２０００年１０月２４日出願の本発明の譲受人に譲渡された米国特許出願第０９／６９４，７１２号に記述されているような、３フレーム差分化（three-frame differencing）であり、この特許出願は、参考のためにここに組み込まれる。動いている画素分類３４の他の可能な実施形態は、２フレーム差分化（two-frame differencing）および光学的な流れ（optical flow）を含む。
【００３４】
図６は、モーションに基づく画素分類３４における、３フレーム差別化を用いたモーション検出を示している。フレーム６１、６２、および６３は、それぞれ、重ねられた椅子の前を歩き、スーツケースを落とす男性の映像からの、過去、現在、および未来のフレームである。フレーム６１および６２を比較することにより、差分マスク６４が得られ、フレーム６２およびフレーム６３を比較することにより、差分マスク６５が得られる。論理ＡＮＤを用いて差分マスク６４および６５を比較することにより、モーションマスク６６が得られる。モーションマスク６６は、ブロブ生成３５に送られる。
【００３５】
背景モデルに基づく画素分類３１およびモーションに基づく画素分類３４からの出力は、新たな前景オブジェクトを同時に検出しないかもしれない。例えば、最近駐車された自動車は、背景モデルに基づく画素分類３１に従い、前景オブジェクトとして現れるかもしれない。しかしながら、駐車された自動車は、どのような実際の独立モーションも示さないため、モーションに基づく画素分類３４は、どのような前景オブジェクトも検出しないかもしれない。
【００３６】
この、変化した画素と動いている画素の違いの他の例が、図７に示されている。フレーム７１は、重ねられた椅子の前を歩き、スーツケースを落とす男性の映像からのフレームである。モーションマスク７２は、モーションに基づく画素分類３４の結果として生じ、男性を検出するが、スーツケースは検出しない。変化マスク７３は、背景モデルに基づく分類３１の結果として生じ、男性およびスーツケースの両方を検出する。この例では、最近挿入された前景オブジェクト（すなわちスーツケース）は、背景モデルに元づく画素分類３１により検出されるが、モーションに基づく画素分類３４では検出されない。
【００３７】
ブロブ生成３５およびブロブ追跡３６は、フレームごとの画素モーションマスクおよび変化マスクを、標的（映像オブジェクトの時空的記述）に統合する。ブロブ生成３５向けには、画素をブロブに集積するための多くの従来技術がある。例えば、Ｄ．バラード（Ballard）およびＣ．ブラウン（Brown）らの“コンピュータビジョン（Computer Vision）”、プレンティス−ホール（Prentice-Hall）、１９８２年５月、に論じられている接続コンポーネント；およびＴ．Ｅ．ボールト（Boult）、Ｒ．Ｊ．マイケルズ（Michaels）、Ｘ．ガオ（Gao）、Ｐ．ルイス（Lewis）、Ｃ．パワー（Power）、Ｗ．イン（Yin）、およびＡ．エルカン（Erkan）らの“カモフラージュおよび閉塞された標的のフレームレート全方向性監視および追跡（Frame-Rate Omnidirectional Surveillance and Tracking of Camouflaged and Occluded Targets）”、映像監視に関するＩＥＥＥワークショップの議事録（Proc. of the IEEE Workshop on Visual Surveillance）、１９９９年６月、に論じられている、準接続（quasi-connected）コンポーネントがあり、これらの文献は、参考のためにここに組み込まれる。ブロブ追跡３６向けには、経時的にブロブを追跡して標的を形成するための多くの従来技術がある。好適な追跡技術は、 “インタラクティブな映像操作（Interactive Video Manipulation）”と題された、本発明の譲受人に譲渡された２０００年１０月２４日出願の米国特許出願第０９／６９４，７１２号；レン（Wren）、Ｃ．Ｒ．らの“Ｐｆｉｎｄｅｒ：人体のリアルタイム追跡（Pfinder: Real-Time Tracking of the Human Body）”、パターン整合および機械知能のＩＥＥＥ翻訳（IEEE Trans. on Pattern Matching and Machine Intelligence）、Ｖｏｌ．１９、７８０〜７８４頁、１９９７年；グリムソン（Grimson），Ｗ．Ｅ．Ｌ．らの“適応性追跡を用いた現場における活動の分類および監視（Using Adaptive Tracking to Classify and Monitoring Activities in a Site）”、ＣＶＰＲ、２２〜２９頁、１９９８年６月；ならびにオルソン（Orson），Ｔ．Ｊ．およびブリル（Brill），Ｆ．Ｚ．らの“スマートカメラのための動いているオブジェクトの検出およびイベント認識のアルゴリズム（Moving Object Detection and Event Recognition Algorithm for Smart Cameras）”、ＩＵＷ、１５９〜１７５頁、１９９７年５月、に論じられており、これらはすべて参考のためにここに組み込まれる。
【００３８】
静止標的検出および分類３７は、ブロブ追跡３６により生成された標的を分類し、各標的が静止しているかどうかを決定する。標的は、背景モデル３３における局部変化を表す場合、静止していると決定することができる。標的は、例えば、映像オブジェクトが動きを止めた場合（すなわち挿入）、または先に静止していた映像オブジェクトが、静止背景の一部を露出し、これが標的として現れる場合（すなわち移動）、背景モデル３３における変化を表すことができる。
【００３９】
一旦、静止標的が検出されると、この情報を背景モデル局部更新３８にフィードバックして、背景モデル３３を更新することができる。このフィードバックにより、背景モデル３３を、何が静止背景および適正な前景活動を構成するかに関して、最新の状態に保つことができる。
【００４０】
静止標的検出および分類３７は、標的が静止しているかどうかを決定し、標的が静止している場合、これを挿入、移動、または、その差を決定できない場合は未知、としてラベル付けすべきかどうかを決定する。挿入と移動の区別において、挿入および移動のための時間スケールの関係が重要である。挿入は、移動とは異なる時間スケールを必要とする場合があり、これらの時間スケールは適用に依存する可能性がある。例えば、適用は、オブジェクトを、挿入とみす前には長時間、しかし移動とみなす前には短時間のみ、ある場所に残すことを要求するかもしれない。具体的な例として、空港において道路の端に５分間駐車している自動車は、問題とはされずに挿入とはみなされないであろうが、道路の端に１５分間駐車している自動車は、問題とされ挿入とみなされるかもしれない。さらに、同一の自動車が、道路の端から動くと直ちに、移動とみなされるかもしれない。この例では、挿入のための時間スケールは、移動のための時間スケールよりも長い。他の適用では、挿入と移動のための相対的な時間スケールを、上述の例とは逆にして、移動のための時間スケールを、挿入のための時間スケールよりも長くする場合もある。さらに、挿入と移動のための時間スケールは、ユーザによって構成可能にしてもよい。
【００４１】
図８は、静止標的検出および分類３７のフローチャートを示している。静止標的検出および分類３７を実施するための好適な擬似コードは、以下の通りである。
【００４２】
ｉｆ（標的は潜在的＿静止）
ｉｆ（挿入＿時間＿しきい値＜移動＿時間＿しきい値）
第１＿時間＿しきい値  ←  挿入＿時間＿しきい値
第１＿テスト  ←  挿入＿テスト
第１＿ラベル  ←  挿入
第２＿時間＿しきい値  ←  移動＿時間＿しきい値
第２＿テスト  ←  移動＿テスト
第２＿ラベル  ←  移動
ｅｌｓｅ
第２＿時間＿しきい値  ←  挿入＿時間＿しきい値
第２＿テスト  ←  挿入＿テスト
第２＿ラベル  ←  挿入
第１＿時間＿しきい値  ←  移動＿時間＿しきい値
第１＿テスト  ←  移動＿テスト
第１＿ラベル  ←  移動
ｅｎｄ
ｉｆ（標的＿年齢＞第１＿時間＿しきい値）
ｉｆ（第１＿テストは標的に対して真）
標的＿ラベル  ←  第１＿ラベル
ｅｌｓｅｉｆ（標的＿年齢＞第２＿時間＿しきい値）
ｉｆ（第２＿テストは標的に対して真）
標的＿ラベル  ←  第２＿ラベル
ｅｌｓｅ
標的＿ラベル  ←  未知
ｅｎｄ
ｅｎｄ
ｅｎｄ
ｅｎｄ
ブロック８１において、ブロブ生成３５により提供された各標的を検査し、標的が潜在的に静止しているかどうかを決定する。このブロックは、上述の擬似コードの第１の“ｉｆ”条件（すなわち、ｉｆ（標的は潜在的＿静止））に対応している。標的が、潜在的に静止していない場合、フローはブロック８２に進み、終了する。
【００４３】
標的が、潜在的に静止しているかどうかを決定する好適な技術は、標的の様々な時空的特性および特徴を使用する。標的が、一定期間にわたってその形状およびサイズを急激に変えない場合、標的は、静止標的であろう。さらに、標的が、背景からの大きな変化を示すが（変化検出３１，３２，３３により決定）、非常に小さい独立モーションを示す（モーション検出３４により決定）場合、標的は、ほぼ確実に静止標的である。
【００４４】
潜在的な静止標的の２つの例が、図９に示されている。画像９１は、重ねられた椅子の前を歩き、ブリーフケースを落とす男性の映像からの、現在のフレームであり、画像９４は、部屋から美術品を運び出す男性の映像からの、現在のフレームである。モーションマスク９２および９５は、モーションに基づく画素分類３４からの結果として生じ、“動いている”画素（すなわちモーションを示す画素）の画素マスクを表している。モーションマスク９２は、フレーム９１において、男性を検出するが、スーツケースは検出せず、モーションマスク９５は、美術品を持って歩く男性を検出するが、壁の不在は検出しない。変化マスク９３および９６は、背景モデルに基づく画素分類３１の結果として生じ、“変化した”画素（すなわち背景モデル３３とは異なる画素）の画素マスクを示す。変化マスク９３は、男性とブリーフケースの両方を検出し、変化マスク９６は、歩いている男性と美術品および壁の不在の両方を検出する。変化マスク９３および９６に重ねられた四角により示されるように、背景モデル３３に対して明らかに変化した領域があるが、これらはどのような独立モーションも示さない。変化マスク９３において、ブリーフケースの挿入は、どのような独立モーションも示さず、また、変化マスク９６においては、壁からの美術品の移動は、どのような独立モーションも示さない。これらの領域は、静止標的検出および分類３７により、潜在的な静止標的として決定される。
【００４５】
静止標的を決定する本発明の一実施形態において、好適な定量化可能な標的特性が決定される。例えば、μΔＣおよびσΔＣは、標的の質量中心軌道の統計的特性を表すことができる。すなわち、μΔＣは、連続するフレームの間の質量中心位置（画素の単位）における差分の平均（経時的）を表すことができ、σΔＣは、連続するフレームの間の質量中心位置（画素の単位）における差分の標準偏向（経時的）を表すことができる。概して、μΔＣおよびσΔＣは、静止標的の質量中心軌道の統計的特性を表す。
【００４６】
さらに、μＲおよびσＲは、標的の画素領域の統計的特性を表す。具体的には、μＲは、連続するフレーム間の標的（画素の単位）の領域の比率の平均（最近のある期間にわたる）を表すことができ、σＲは、連続するフレーム間の標的（画素の単位）の領域の比率の標準偏向（最近のある期間にわたる）を表すことができる。これらの４つの好適な標的特性（すなわちμΔＣ、σΔＣ、μＲ、およびσＲ）は、標的の概略的モーションおよびサイズの経時的な変化を捉える。
【００４７】
加えて、μＭおよびσＭは、静止標的の動いている画素の統計的特性を表す。具体的には、μＭは、標的（画素の単位）の領域に対する、“動いている”画素の数の比率の平均（最近のある期間にわたる）を表すことができ、σＭは、標的（画素の単位）の領域に対する、“動いている”画素の数の比率の標準偏向（最近のある期間にわたる）を表すことができる。これら２つの好適な標的特性（すなわちμＭおよびσＭ）は、上述したように、標的が独立モーションを示す範囲を捉える。
【００４８】
これら６つの好適な標的特性を用いた、標的が潜在的に静止しているかどうかを決定する１つの可能な技術は、以下の擬似コードに基づく。
【００４９】
Ｉｆ（μΔＣ＜しきい値１＆＆σΔＣ＜しきい値２＆＆μＲ＜しきい値３＆＆σＲ＜しきい値４＆＆μＭ＜しきい値５＆＆σＭ＜しきい値６）
標的  ←  潜在的＿静止
ｅｎｄ
擬似コードでは、６つのしきい値（すなわちしきい値１、しきい値２、しきい値３、しきい値４、しきい値５、およびしきい値６）を用いて、好適な標的特性とのしきい値比較を行う。６つのしきい値は、ユーザパラメータとして事前設定および／または任意に設定することができる。
【００５０】
４つの好適な標的特性（すなわちμΔＣ、σΔＣ、μＲ、およびσＲ）が、標的の概略的モーションおよびサイズの経時的な変化を表すと説明されたが、当業者には明らかとなるように、他の特性を用いることもできる。
【００５１】
２つの好適な標的特性（すなわちμＭおよびσＭ）が、独立したモーションを表すと説明されたが、当業者には明らかとなるように、他の特性を用いることもできる。
【００５２】
上記６つの標的特性（すなわちμΔＣ、σΔＣ、μＲ、σＲ、μＭおよびσＭ）が説明されたが、当業者には明らかとなるように、これらの統計的特性の他の組み合わせ、他の統計的特性、および／または他の特性を用いることもできる。
【００５３】
ブロック８３において、挿入しきい値と移動しきい値の関係が決定される。このブロックは、上記擬似コードの第２の“ｉｆ”条件ブロックに対応する（すなわち、ｉｆ（挿入＿時間＿しきい値＜移動＿時間＿しきい値））。検出された標的を分類するための擬似コードは、挿入時間しきい値と移動時間しきい値の関係に依存する。この関係は、２つのテスト、すなわち挿入テストまたは移動テスト、のどちらを先に行うかを決定する。挿入時間しきい値および移動時間しきい値は、上述したように、挿入および移動に対して設定された時間スケールに基づいた時間上の点である。擬似コードにおいては、挿入時間しきい値および移動時間しきい値が、標的年齢と比較される。
【００５４】
ブロック８４において、挿入テストおよび／または移動テストが適用される。これらのテストの適用が、標的が挿入であると決定した場合、フローはブロック８５に進み、標的は挿入として分類される。これらテストの適用が、標的が移動であると決定した場合、フローはブロック８６に進み、標的は移動として分類される。これらテストの適用が、標的が挿入か移動かについて結論に達しない場合、フローはブロック８７に進み、標的は未知として分類される。ブロック８４〜８６は、上記擬似コードの第３の“ｉｆ”条件ブロック（すなわち、ｉｆ（標的＿年齢＞第１＿時間＿しきい値））に対応する。挿入テストおよび／または移動テストを通ることにより、一旦、潜在的な静止標的が、静止しているとみなされると、その記述が、背景モデル局部更新３８に送られ、背景モデル局部更新３８は、潜在的な静止標的の位置にある背景モデル３３を修正する。この処理は、潜在的な静止標的を表す画素の背景モデル統計値（平均および変動）の置換を必要とする。静止標的を表す画素の平均および変動の値は、潜在的な静止標的を表すより最近のフレームから、画素の平均および変動を表すように修正される。
【００５５】
挿入テストおよび移動テストは、図１０および図１１により示されている。本発明の好適な分類技術の背後にある理論は、挿入を、現在の画像内でその周囲に強いエッジを示すが、背景モデル内での同一領域の周囲には強いエッジを示さない領域として、特徴化することができるということである。逆に、移動は、背景モデル内でその周囲に強いエッジを示すが、現在の画像内ではその周囲に強いエッジを示さない領域として特徴化することができる。
【００５６】
図１０は、挿入の分類を示している。この例の映像は、重ねられた椅子の前を歩き、スーツケースを落とす男性のものである。画像１０１は、背景モデルの画像を表しており、背景エッジ画像１０２は、ソーベルエッジ検出器（Sobel edge detector）を用いて決定される画像１０１の対応するエッジを示している。画像１０３は、現在フレームの画像を示しており、現在フレームエッジ画像１０４は、ソーベルエッジ検出器を用いて決定される画像１０３の対応するエッジを示している。見られるように、ブリーフケースは、現在のフレーム（すなわち現在フレームエッジ画像１０４）内で、非常に強いエッジを示しているが、背景モデル（すなわち背景エッジ画像１０２）内では示していない。変化マスク１０５は、静止オブジェクト（すなわちブリーフケース）を含む検出された変化画素を示している。画像１０６は、変化マスク１０５内のブリーフケース領域のクローズアップであり、画像１０７は、画像１０６内のブリーフケース領域の周囲における一部のクローズアップである。画像１０８および１０９は、それぞれ背景エッジ画像１０２および現在フレームエッジ画像１０４に対して、画像１０７の一部に対応するエッジを示している。見られるように、現在フレームに対する画像１０９内のエッジ強度は、背景モデルに対する画像１０８内のエッジ強度よりも大きい。よって、標的（すなわちブリーフケース）は、挿入として分類される。
【００５７】
図１１は、移動の分類を示している。この例の映像は、部屋から美術品を運び出そうとしている男性のものである。画像１１１は、背景モデルの画像を示しており、背景エッジ画像１１２は、ソーベルエッジ検出器を用いて決定された画像１１１の対応するエッジを示している。画像１１３は、現在フレームの画像を示しており、現在フレームエッジ画像１１４は、ソーベルエッジ検出器を用いて決定された画像１１３の対応するエッジを示している。見られるように、美術品は、背景モデル（すなわち背景モデルエッジ画像１１２）内で非常に強いエッジを示しているが、現在フレーム（すなわち現在フレーム画像１１４）においては示していない。変化マスク１１５は、静止オブジェクト（すなわち美術品）を含む検出された変化画素を示している。画像１１６は、変化マスク１１５内の美術品領域のクローズアップであり、画像１１７は、画像１１６内の美術品領域の周囲における一部のクローズアップである。画像１１８および１１９は、画像１１７の一部のそれぞれ背景エッジ画像１１２および現在フレームエッジ画像１１４の両方に対して、画像１１７の一部に対応するエッジを示している。見られるように、背景モデルに対する画像１１８内のエッジ強度は、現在フレームに対する画像１１９内のエッジ強度よりも大きい。よって、標的（すなわち美術品）は、移動として分類される。
【００５８】
図１２および図１３は、図８のブロック８４〜８７の２つの実施形態を示している。図１２は、挿入時間しきい値が移動時間しきい値よりも少ないケースの実施形態を示しており、図１３は、挿入時間しきい値が移動時間しきい値よりも少なくない対応する他のケースを示している。
【００５９】
図１２において、ブロック１２０１に対し、背景のエッジ強度ＥＢが、潜在的な静止標的（すなわち検出された変化）の境界に沿って決定される。
【００６０】
ブロック１２０２において、現在フレームのエッジ強度ＥＦが、静止標的の境界に沿って決定される。
【００６１】
ブロック１２０３において、背景のエッジ強度ＥＢと現在フレームのエッジ強度ＥＦの差分が決定される（すなわち、ΔＥ＝ＥＢ−ＥＦ）。
【００６２】
ブロック１２０４において、標的年齢が、挿入時間しきい値と比較される。標的年齢が挿入時間しきい値より大きい場合、フローはブロック１２０５に進む。そうでなければ、フローはブロック１２１１に進み終了する。
【００６３】
ブロック１２０５において、差分ΔＥが、挿入しきい値ＴＨＩと比較される。公式化するために、ΔＥ＜ＴＨＩ（ここでＴＨ＜０）である場合、静止標的は挿入であり、フローはブロック１２０６に進む。そうでなければ、フローはブロック１２０７に進む。
【００６４】
ブロック１２０６において、静止標的は、挿入として分類される。
【００６５】
ブロック１２０７において、標的年齢が、移動時間しきい値と比較される。標的年齢が移動時間しきい値より大きい場合、フローはブロック１２０８に進む。そうでなければ、フローはブロック１２１１に進み終了する。
【００６６】
ブロック１２０８において、差分ΔＥが、移動しきい値ＴＨＲと比較される。公式化するために、ΔＥ＜ＴＨＲである場合、静止標的は移動であり、フローはブロック１２０９に進む。そうでなければ、フローはブロック１２１０に進む。
【００６７】
ブロック１２０９において、静止標的は、移動として分類される。
【００６８】
ブロック１２１０において、静止標的は挿入または移動のどちらにも分類することができず、代わりに、未知として分類される。
【００６９】
ブロック１２０６、１２０８、および１２１０の後、静止標的の説明が、背景モデル局部更新３８に送られ、背景モデル局部更新３８は、背景モデル３３を修正して、検出された静止標的により生じた変化を反映させる。静止標的を挿入または移動として分類できないとしても（ブロック１２１０）、背景モデルは更新される。
【００７０】
頑強性を高めるために、エッジ強度ＥＢおよびＥＦを、ブロック１２０１および１２０２において、一連のフレームにわたって決定し、経時的に平均化することができる。
【００７１】
図１３は、フローチャート内のブロック１２０４〜１２０６およびブロック１２０７〜１２０９の位置の変化を除いて、図１２と同様である。
【００７２】
図１４は、ブロック１２０１および１２０２向けに、エッジ強度ＥＢおよびＥＦを決定するための、好適な技術のフローチャートを示している。当業者には明らかとなるように、他の技術も利用可能である。図１４は、図１５に関連して説明され、図１５は、エッジ強度が決定される好適な静止標的を表している。図１４の好適な技術により、検出された変化の境界におけるいくらかの不確かさが適応され、オブジェクトにおける穴および小さな隙間は無視される。
【００７３】
ブロック１４１において、画像のバンドが選択される。例えば、ＹＣｒＣｂ画像において、Ｙバンドが選択される。Ｙバンド以外に、他のバンドを選択することもできる。また、任意として、複数のバンドを選択することもできる。加えて、ＲＧＢまたはＣＭＹＫ画像などの他のタイプの画像を本発明に適応させることもできる。
【００７４】
ブロック１４２において、標的の周辺画素Ｐｐおよび質量中心Ｐｃを通過するラインが選択される。図１５において、標的１５１の質量中心Ｐｃは、星により示され、好適な周辺画素１５２、１５３、および１５４は、標的１５１の周辺に沿って明るい円により示されている。３つの好適な周辺画素が、図１５において識別されており、各周辺画素に対して、周辺画素Ｐｐおよび質量中心Ｐｃを通過するラインが選択される。
【００７５】
ブロック１４３において、周辺画素Ｐｐより同等の＋／−距離にあるライン上の２つの画素Ｐ１およびＰ２が、選択される。図１５において、各ラインの２つの画素が、暗い円で示されている。
【００７６】
ブロック１４４において、両方の距離画素が、標的の内側または外側にあった場合、フローはブロック１４５に進む。そうでなければ、１つの距離画素が、標的の内側にあり、他の距離画素が、標的の外側にある場合、フローはブロック１４６に進む。図１５において、周辺画素１５２および１５３は、標的１５１内の両方の距離画素を有し、周辺画素１５４は、標的内の１つの距離画素と、標的外の他の距離画素とを有する。
【００７７】
ブロック１４５において、両方の距離画素が、標的の内側または外側にあった場合、周辺画素は無視され、フローはブロック１４７に進む。図１５において、周辺画素１５２および１５３は無視される。
【００７８】
ブロック１４６において、標的内の１つの距離画素と、標的外の他の距離画素とを有する周辺画素のコントラストＣｐが、２つの距離画素Ｉｐ１およびＩｐ２の輝度に基づいて、Ｃｐ＝｜Ｉｐ１−Ｉｐ２｜により決定される。
【００７９】
ブロック１４７において、すべての周辺画素がチェックされた場合、フローはブロック１４８に進む。そうでなければ、フローはブロック１４２に進み、周辺画素のチェックを続ける
ブロック１４８において、ブロック１４６においてコントラストＣｐが決定されたすべての周辺画素にわたる平均コントラストが決定される。この平均コントラストは、ブロック１２０１、１２０２において、それぞれエッジ強度ＥｂおよびＥｆとして用いることができる。
【００８０】
図１５に関する上記説明は、３つの好適な周辺画素１５１，１５２、および１５３を同時に処理した。しかしながら、図１４に基づく周辺画素の検査においては、各周辺画素は、すべての周辺画素が検査されるまで、ブロック１４７からブロック１４２へのループバックにより、個別に検査される。
【００８１】
さらに、図１４の好適な技術により、図１５における標的１５１の穴および小さな隙間は無視され、よって、この技術の頑強性を高める。
【００８２】
本発明の他の実施形態においては、検出された標的は、さらに監視され、新たに検出された標的が、静止標的検出および分類３７によって、背景モデルにおける変化として先に検出されていたかどうかが決定される。例えば、監視適用においては、標的がシーンに入り動きを止めた時刻を検出し（例えば駐車場）、その後、標的（または標的が動きを止めたシーンの領域）を監視して、標的が再度動くかどうか、およびその時刻を決定する（例えば、駐車した車が去る）ことに、関心が持たれる場合もあるであろう。
【００８３】
図１６は、本発明の第２の実施形態のフローチャートを示している。図１６は、静止標的モニタ１６１を加えたことを除いて、図３と同じである。静止標的モニタ１６１は、静止標的検出および分類３７から静止標的記述を受け取り、標的再活動化を、ブロブ追跡３６に供給する。静止標的が挿入として分類された場合、静止標的モニタ１６１は、標的を記録（例えば、時間、サイズ、色、および位置）し、標的のさらなる活動を監視する。このとき、標的が、背景モデル３３に統合されることにより、システムの他の部分によって“忘れられて”おり、事実上、休止状態になる。その後の任意の時刻において、静止標的が移動として検出され、静止標的検出および分類３７によって、前の挿入の近くで報告された場合、静止標的モニタ１６１は、この移動を、休止状態の静止標的と共に登録して、ブロブ追跡３６に、この標的を再活動化するよう指示を出す。
【００８４】
本発明の実施形態は、コンピュータシステムを用いて実施することができる。図１７は、好適なコンピュータシステム１７１を示しており、このシステムは、コンピュータ１７２と、コンピュータ読み取り可能な媒体１７３とを含む。図３および図１６を参照し、ブロック３１〜３８および１６１は、コンピュータシステム１７１の１つまたは複数のコンピュータ読み取り可能な媒体１７３に存在するソフトウェアにより実施することができる。本発明により処理される映像および／または画像は、１つまたは複数のコンピュータ読み取り可能な媒体１７３に存在することができ、例えば、映像または画像入力１７４またはネットワーク１７５を介して提供することができる。
【００８５】
本発明の様々な実施形態を上に説明したが、これらは、例示のみを目的として提示され、限定ではないことを理解するべきである。よって、本発明の幅および範囲は、上述の好適な実施形態のいずれによっても限定されず、しかし、代わりに以下の特許請求の範囲およびその均等物によってのみ定義される。
【図面の簡単な説明】
【００８６】
本発明の前述のおよび他の特徴ならびに利点は、添付の図面に示されるように、以下の本発明の好適な実施形態のより詳細な記述から明白となるであろう。対応する参照番号の、もっとも左にある数字は、要素が最初に現れる図面を示している。
【図１】図１Ａおよび図１Ｂは、映像オブジェクト分割を用いて独立モーションを示すオブジェクトまたはオブジェクトの一部を検出する先行技術の問題を示している。
【図２】図２は、前景オブジェクトに背景モデルを劣化させる先行技術例を示している。
【図３】図３は、本発明の第１の実施形態のフローチャートを示している。
【図４】図４は、前景画素を検出する画素静止背景モデリングを示している。
【図５】図５は、照明変化を扱う画素静止背景モデリングを示している。
【図６】図６は、３フレーム差別化を用いたモーション検出を示している。
【図７】図７は、動いている画素と変化した画素の検出を示している。
【図８】図８は、静止標的検出および分類のフローチャートを示している。
【図９】図９は、背景変化の検出を示している。
【図１０】図１０は、前景オブジェクトの挿入を示している。
【図１１】図１１は、背景の一部の移動を示している。
【図１２】図１２は、強いエッジを検出するためのフローチャートを示している。
【図１３】図１３は、強いエッジを検出するための他のフローチャートを示している。
【図１４】図１４は、エッジ強度を決定するためのフローチャートを示している。
【図１５】図１５は、エッジ強度の決定を示している。
【図１６】図１６は、本発明の第２の実施形態のフローチャートを示している。
【図１】
2006514363.tif 000003
【図３】
2006514363.tif 000004
【図５】
2006514363.tif 000005
【図８】
2006514363.tif 000006
【図１２】
2006514363.tif 000007
【図１３】
2006514363.tif 000008
【図１４】
2006514363.tif 000009
【図１５】
2006514363.tif 000010
【図１６】
2006514363.tif 000011
【図２】
2006514363.tif 000012
【図４】
2006514363.tif 000013
【図６】
2006514363.tif 000014
【図７】
2006514363.tif 000015
【図９】
2006514363.tif 000016
【図１０】
2006514363.tif 000017
【図１１】
2006514363.tif 000018
【国際調査報告】
2006514363.tif 000019
2006514363.tif 000020