(57)【特許請求の範囲】
【請求項１】
警告をトリガするために、ビデオ・フレームを実時間記録するのと同時に受信される前記ビデオ・フレームのシーケンスを実時間処理する方法であって、各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含み、前記方法は、  
現在のフレームと、前記シーケンス内で前記現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、前記少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、前記画素配列と、前記少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、前記画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、前記現在のフレームの前記静止領域内に存在し前記背景画像の前記静止領域内には存在しない放置対象から成るか、または前記背景画像の前記静止領域内に存在し前記現在のフレームの前記静止領域内には存在しない除去済み対象から成る、ステップとを含む、前記分析するステップと、
前記分析するステップの後に、前記静止対象の状態を決定するステップであって、前記状態は、前記静止対象が前記放置対象であれば放置状態であり、または前記静止対象が前記除去済み対象であれば除去済み状態である、前記決定するステップと、
前記決定された状態と、前記状態が決定された前記現在のフレームから成る基準フレームの時間と、前記基準フレーム内の前記静止領域と、前記静止対象とを、前記コンピュータ・システムのデータ記憶媒体に格納するステップと、
前記静止対象の前記状態の前記決定するステップの後に、持続要件と、非持続期間要件と、持続期間要件とを含む複数の要件が満たされていることを確認するステップと、
前記複数の要件が満たされていることが確認されたことに応答して前記警告をトリガするステップとを含み、
前記持続要件は、前記基準フレームの発生時間の直後の時間間隔中に生じている複数のフレームの各フレーム内の前記静止領域が、前記基準フレームと比較して持続していることであり、
前記非持続期間要件は、前記時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、前記静止領域が、前記基準フレーム内の前記静止領域と比較して持続しておらず、前記１つ以上のフレームに含まれる累積時間期間（ＴＮＰ）が、規定の非持続期間閾値（Ｔ１）未満であることであり、
前記持続期間要件は、前記複数のフレームに含まれる累積時間期間（ＴＴＯＴ）が、前記少なくとも１つの時期が経過した後にのみ生じ、Ｔ２＞Ｔ１を特徴とする規定の持続期間閾値（Ｔ２）を上回ることである、
方法。
【請求項２】
前記状態を前記決定するステップは、Ａ／Ｒアルゴリズムを実行するステップを含み、前記Ａ／Ｒアルゴリズムは、前記現在のフレーム、前記背景画像、および前記静止領域マスクを入力として使用し、前記背景除去から得られる他のいかなる情報も入力として使用しない、請求項１に記載の方法。
【請求項３】
前記Ａ／Ｒアルゴリズムを前記実行するステップは、前記静止領域マスクの複数の外側画素を収縮するステップであって、前記収縮は、複数の収縮画素をもたらして前記静止領域マスクの残りの非収縮画素を複数残し、前記非収縮画素の境界画素が、少なくとも１つの収縮画素に直接接する非収縮画素すべてから成り、前記非収縮画素と、前記収縮画素との間の境界面から成る輪郭によって境界を付けられる、前記ステップと、
前記現在のフレームに対して領域拡張手順を実行するステップであって、前記領域拡張手順は使用される入力フレームが前記現在のフレームであると示すステップと、その後に出力拡張面積として拡張面積ＡＣＦを受け取るステップとを含む、前記ステップと、
前記背景画像に対して前記領域拡張手順を実行するステップであって、前記領域拡張手順により使用される前記入力フレームが前記背景画像であると示すステップと、その後に前記出力拡張面積として拡張面積ＡＢＩを受け取るステップとを含む、前記ステップと、
前記静止対象の前記状態を、ＡＢＩ−ＡＣＦに基づいて決定するステップと
を含み、前記領域拡張手順の前記実行するステップは、
前記入力フレームに重ねられた前記境界画素から複数の第１シード画素を選択するステップ、または別の入力フレームに対する前記領域拡張手順の前の実行において選択された複数の第１シード画素から成るように複数の第１シード画素を選択するステップと、
前記選択された第１シード画素を前記非収縮画素の外に反復して拡張して、前記選択された第１シード画素の複数の隣接画素にて、新たな複数のシード画素を生成するステップであって、前記隣接画素の色強度は、規定の色マッチング基準に従って、隣接する前記第１シード画素の前記色強度と一致し、前記反復して拡張 するステップは、新たなシード画素作成の一連の生成において、追加の新たなシード画素を生成できなくなるまで前記隣接画素にて新たなシード画素を生成する、前記ステップと、
前記新たなシード画素の複合面積として、前記出力拡張面積を決定するステップと
を含む、請求項２に記載の方法。
【請求項４】
前記複数の要件は対象特徴要件をさらに含み、前記対象特徴要件は、前記静止対象の少なくとも１つの特徴が、対応する少なくとも１つの特徴要件を満たすことである、請求項１に記載の方法。
【請求項５】
前記持続要件が満たされていると確認するステップは、前記複数のフレームの各フレーム内の前記静止領域における色強度分布と、前記基準フレーム内の前記静止領域における色強度分布との相違の程度が、規定の色強度相違許容値未満であると決定することを含み、
前記時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、前記静止領域が前記基準フレームと比較して持続していないと前記決定することは、前記１つ以上のフレームの各フレーム内の前記静止領域における色強度分布と、前記基準フレーム内の前記静止領域における色強度分布との相 違の程度が、前記規定の色強度相違許容値以上であると決定することを含む、
請求項１に記載の方法。
【請求項６】
前記方法は、前記複数のフレームの各フレーム内の前記静止領域における前記色強度分布と、前記基準フレーム内の前記静止領域における前記色強度分布との前記相違の程度において時間がたつにつれて生じる１つ以上の変化に応じて、前記持続期間閾値を動的に変化させることをさらに含む、請求項５に記載の方法。
【請求項７】
前記１つ以上のフレームは少なくとも２つのフレームを含む、請求項１に記載の方法。
【請求項８】
前記方法は、前記静止対象の前記格納するステップの後、かつ前記複数の要件が満たされていることの前記確認するステップの開始前に、
前記決定された状態が前記放置状態であれば前記現在のフレームから、または、前記決定された状態が前記除去済み状態であれば前記背景画像から、前記静止対象を抽出するステップと、
前記抽出された静止対象を前記背景画像へと修復して、前記背景の修復された画像を形成するステップと、
をさらに含む、請求項１に記載の方法。
【請求項９】
前記方法は、
少なくとも１つのタイムスタンプを指示する時間データの入力を受け取るステップと、
前記少なくとも１つのタイムスタンプの各タイムスタンプに関して、フレーム時間が前記各タイムスタンプに最も近いフレームを選択することによって、前記現在のフレームより前に生じている前記少なくとも１つのフレームを決定するステップと、
をさらに含む、請求項１に記載の方法。
【請求項１０】
前記背景除去を行うステップは、
前記背景モデル、前景画像および前記静止領域を生成するために、混合ガウス・アルゴリズムを実行するステップを含み、
前記混合ガウス・アルゴリズムは、画素の色強度の確率関数を定義するために、ガウス重み係数による線形結合において結合される３〜５個のガウス関数を利用し、
前記背景除去は、前記前景画像を特定するために、ガウス重み係数の合計が規定の高重み閾値を上回ることを制限し、前記静止領域を特定するために、ガウス結合係数の合計が規定の低重み閾値を上回ることを制限する、
請求項１に記載の方法。
【請求項１１】
請求項１乃至１０のいずれかに記載の方法ステップをコンピュータに実行させるためのコンピュータ・プログラム。
【請求項１２】
プロセッサと、前記プロセッサに結合する記憶デバイスとを含むコンピュータ・システムであって、前記記憶デバイスは、請求項１乃至１０のいずれかに記載の方法ステップをコンピュータに実行させるためのコンピュータ・プログラムを含む、コンピュータ・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の説明
本願は、２００８年３月２４日に提出された、「ＤＥＴＥＣＴＩＯＮ  ＯＦ  ＡＢＡＮＤＯＮＥＤ  ＡＮＤ  ＲＥＭＯＶＥＤ  ＯＢＪＥＣＴＳ  ＩＮ  Ａ  ＶＩＤＥＯ  ＳＴＲＥＡＭ」という題の米国特許出願第１２／０５３８２７号に関連する。
【０００２】
本発明は、ビデオ・ストリームのビデオ・フレームを実時間記録するのと同時に受信されるビデオ・フレームを実時間処理することに関する。
【背景技術】
【０００３】
現在のビデオ処理方法は、実時間処理にて検出された対象に関連して適切な要件が満たされるのに応答して警報をトリガするものではない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、実時間ビデオ処理において検出される対象に関連して適切な要件が満たされるのに応答して警報をトリガする方法およびシステムが必要とされている。
【課題を解決するための手段】
【０００５】
本発明は、警告をトリガするために、ビデオ・フレームを実時間記録するのと同時に受信されるビデオ・フレームのシーケンスを実時間処理する方法を提供する。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、前記シーケンス内で前記現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、前記少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、前記画素配列と、前記少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、前記画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、前記現在のフレームの前記静止領域内に存在し前記背景画像の前記静止領域内には存在しない放置対象から成るか、または前記背景画像の前記静止領域内に存在し前記現在のフレームの前記静止領域内には存在しない除去済み対象から成る、ステップとを含む、前記分析するステップと、
前記分析するステップの後に、前記静止対象の状態を決定するステップであって、前記状態は、前記静止対象が前記放置対象であれば放置状態であり、または前記静止対象が前記除去済み対象であれば除去済み状態である、前記決定するステップと、
前記決定された状態と、前記状態が決定された前記現在のフレームから成る基準フレームの時間と、前記基準フレーム内の前記静止領域と、前記静止対象とを、前記コンピュータ・システムのデータ記憶媒体に格納するステップと、
前記静止対象の前記状態の前記決定するステップの後に、持続要件と、非持続期間要件と、持続期間要件とを含む複数の要件が満たされていることを確認するステップと、
前記複数の要件が満たされていることが確認されたことに応答して前記警告をトリガするステップと
を含む。
前記持続要件は、前記基準フレームの発生時間の直後の時間間隔中に生じている複数のフレームの各フレーム内の前記静止領域が、前記基準フレームと比較して持続していることであり、
前記非持続期間要件は、前記時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、前記静止領域が、前記基準フレーム内の前記静止領域と比較して持続しておらず、前記１つ以上のフレームに含まれる累積時間期間（ＴＮＰ）が、規定の非持続期間閾値（Ｔ１）未満であることであり、
前記持続期間要件は、前記複数のフレームに含まれる累積時間期間（ＴＴＯＴ）が、前記少なくとも１つの時期が経過した後にのみ生じ、Ｔ２＞Ｔ１を特徴とする規定の持続期間閾値（Ｔ２）を上回ることである。
【０００６】
本発明は、コンピュータ可読プログラム・コードが格納されているコンピュータ使用可能記憶媒体を含むコンピュータ・プログラムを提供する。前記コンピュータ可読プログラム・コードは、警告をトリガするために、ビデオ・フレームを実時間記録するのと同時に受信されるビデオ・フレームのシーケンスを実時間処理する方法を実施するようになっているアルゴリズムを含む。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、前記シーケンス内で前記現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、前記少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、前記画素配列と、前記少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、前記画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、前記現在のフレームの前記静止領域内に存在し前記背景画像の前記静止領域内には存在しない放置対象から成るか、または前記背景画像の前記静止領域内に存在し前記現在のフレームの前記静止領域内には存在しない除去済み対象から成る、ステップとを含む、該分析するステップと、
前記分析するステップの後に、前記静止対象の状態を決定するステップであって、前記状態は、前記静止対象が前記放置対象であれば放置状態であり、または前記静止対象が前記除去済み対象であれば除去済み状態である、前記決定するステップと、
前記決定された状態と、前記状態が決定された前記現在のフレームから成る基準フレームの時間と、前記基準フレーム内の前記静止領域と、前記静止対象とを、前記コンピュータ・システムのデータ記憶媒体に格納するステップと、
前記静止対象の前記状態の前記決定するステップの後に、持続要件と、非持続期間要件と、持続期間要件とを含む複数の要件が満たされていることを確認することと、
前記複数の要件が満たされていることを前記確認するのに応答して前記警告をトリガすることと
を含む。
前記持続要件は、前記基準フレームの発生時間の直後の時間間隔中に生じている複数のフレームの各フレーム内の前記静止領域が、前記基準フレームと比較して持続していることであり、
前記非持続期間要件は、前記時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、前記静止領域が、前記基準フレーム内の前記静止領域と比較して持続しておらず、前記１つ以上のフレームに含まれる累積時間期間（ＴＮＰ）が、規定の非持続期間閾値（Ｔ１）未満であることであり、
前記持続期間要件は、前記複数のフレームに含まれる累積時間期間（ＴＴＯＴ）が、前記少なくとも１つの時期が経過した後にのみ生じ、Ｔ２＞Ｔ１を特徴とする規定の持続期間閾値（Ｔ２）を上回ることである。
【０００７】
本発明は、プロセッサと、プロセッサに接続されたコンピュータ可読メモリ・ユニットとを含むコンピュータ・システムを提供する。前記メモリ・ユニットは命令を含み、この命令は、プロセッサにより実行されると、警告をトリガするために、ビデオ・フレームを実時間記録するのと同時に受信されるビデオ・フレームのシーケンスを実時間処理する方法を実施させる。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、前記シーケンス内で前記現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、前記少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、前記画素配列と、前記少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、前記画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、前記現在のフレームの前記静止領域内に存在し前記背景画像の前記静止領域内には存在しない放置対象から成るか、または前記背景画像の前記静止領域内に存在し前記現在のフレームの前記静止領域内には存在しない除去済み対象から成る、ステップとを含む、該分析するステップと、
前記分析するステップの後に、前記静止対象の状態を決定するステップであって、前記状態は、前記静止対象が前記放置対象であれば放置状態であり、または前記静止対象が前記除去済み対象であれば除去済み状態である、前記決定するステップと、
前記決定された状態と、前記状態が決定された前記現在のフレームから成る基準フレームの時間と、前記基準フレーム内の前記静止領域と、前記静止対象とを、前記コンピュータ・システムのデータ記憶媒体に格納するステップと、
前記静止対象の前記状態の前記決定するステップの後に、持続要件と、非持続期間要件と、持続期間要件とを含む複数の要件が満たされていることを確認することと、
前記複数の要件が満たされていることを前記確認するのに応答して前記警告をトリガすることと
を含む。
前記持続要件は、前記基準フレームの発生時間の直後の時間間隔中に生じている複数のフレームの各フレーム内の前記静止領域が、前記基準フレームと比較して持続していることであり、
前記非持続期間要件は、前記時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、前記静止領域が、前記基準フレーム内の前記静止領域と比較して持続しておらず、前記１つ以上のフレームに含まれる累積時間期間（ＴＮＰ）が、規定の非持続期間閾値（Ｔ１）未満であることであり、
前記持続期間要件は、前記複数のフレームに含まれる累積時間期間（ＴＴＯＴ）が、前記少なくとも１つの時期が経過した後にのみ生じ、Ｔ２＞Ｔ１を特徴とする規定の持続期間閾値（Ｔ２）を上回ることである。
【０００８】
本発明は、コンピュータ・インフラストラクチャをサポートするプロセスを提供する。前記プロセスは、コンピューティング・システムにおけるコンピュータ可読プログラム・コードの作成、統合、ホスティング、維持および展開のうち少なくとも１つのために少なくとも１つのサポート・サービスを提供することを含む。プログラム・コードは、コンピューティング・システムと共同して、警告をトリガするために、ビデオ・フレームを実時間記録するのと同時に受信されるビデオ・フレームのシーケンスを実時間処理する方法を行うよう構成されている。各フレームは、２次元の画素配列と、各画素における、フレーム依存の色強度とを含む。前記方法は、コンピュータ・システムのプロセッサ上でプログラム・コードを実行することにより実施される。前記方法は、
現在のフレームと、前記シーケンス内で前記現在のフレームより前に生じている少なくとも１つのフレームとを分析するステップであって、前記分析するステップは、背景画像と、静止領域に関連する静止領域マスクとを決定するために、前記少なくとも１つのフレームに対して背景除去を行うステップであって、前記背景画像は、前記画素配列と、前記少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象も含まず、前記静止領域は、前記画素配列のうちの複数画素の連続的な分布から成る、ステップと、静止対象の存在を決定するステップであって、前記静止対象は、前記現在のフレームの前記静止領域内に存在し前記背景画像の前記静止領域内には存在しない放置対象から成るか、または前記背景画像の前記静止領域内に存在し前記現在のフレームの前記静止領域内には存在しない除去済み対象から成る、ステップとを含む、該分析するステップと、
前記分析するステップの後に、前記静止対象の状態を決定するステップであって、前記状態は、前記静止対象が前記放置対象であれば放置状態であり、または前記静止対象が前記除去済み対象であれば除去済み状態である、前記決定するステップと、
前記決定された状態と、前記状態が決定された前記現在のフレームから成る基準フレームの時間と、前記基準フレーム内の前記静止領域と、前記静止対象とを、前記コンピュータ・システムのデータ記憶媒体に格納するステップと、
前記静止対象の前記状態の前記決定するステップの後に、持続要件と、非持続期間要件と、持続期間要件とを含む複数の要件が満たされていることを確認することと、
前記複数の要件が満たされていることを前記確認するのに応答して前記警告をトリガすることと
を含む。
前記持続要件は、前記基準フレームの発生時間の直後の時間間隔中に生じている複数のフレームの各フレーム内の前記静止領域が、前記基準フレームと比較して持続していることであり、
前記非持続期間要件は、前記時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、前記静止領域が、前記基準フレーム内の前記静止領域と比較して持続しておらず、前記１つ以上のフレームに含まれる累積時間期間（ＴＮＰ）が、規定の非持続期間閾値（Ｔ１）未満であることであり、
前記持続期間要件は、前記複数のフレームに含まれる累積時間期間（ＴＴＯＴ）が、前記少なくとも１つの時期が経過した後にのみ生じ、Ｔ２＞Ｔ１を特徴とする規定の持続期間閾値（Ｔ２）を上回ることである。
【０００９】
本発明は、実時間ビデオ処理において検出された対象（オブジェクト、物体）に関連して適切な要件が満たされるのに応答して警報をトリガする方法およびシステムを提供する。
【発明を実施するための最良の形態】
【００１０】
本発明は、ビデオ・フレームを実時間記録するのと同時に受信されるビデオ・フレームのシーケンスを実時間処理する方法およびシステムを提供する。これは、ビデオ・フレームが記録されている最中にビデオ・フレームがシステムへ送信され、ビデオ・フレームがシステムにより受信されている最中にシステムがビデオ・フレームを処理するということである。例えば、ビデオ監視システムは、固定された局部的な空間（例えば駐車場）で生じる実時間のイベントのビデオ・フレームの記録または伝送、あるいはその両方を行い、記録済みビデオ・フレームを実時間で処理システムへ伝送するとよく、処理システムは、記録済みビデオ・フレームが受信されている最中に記録済みビデオ・フレームを処理するとよい。本発明は、ビデオ・フレーム内の静止対象を特定し、静止対象に関して規定要件が満たされれば警報をトリガする。
【００１１】
図１は、本発明の実施形態に従った、ビデオ・ストリームのビデオ・フレームのシーケンスを実時間処理する方法を示す流れ図である。方法は、図１４に描かれており以下で説明する、コンピュータ・システム９０などのコンピュータ・システムのプロセッサ上でプログラム・コードを実行することによって実施され得る。図１い、ステップ１１〜１７を示す。
【００１２】
ステップ１１は、ビデオ・フレームの時間順シーケンスを含むビデオ・ストリームを提供する。一実施形態では、ビデオ・ストリームは実時間のビデオ・ストリームである。一実施形態では、ビデオ・ストリームは、マルチメディア・フォーマット（例えば、ａｖｉ、ｍｐｅｇ、ｗｍｖなど）でマルチメディア・ファイルとしてネットワーク（例えばインターネット）を通じて提供されて、標準的な最新式のコンピュータまたはパーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）上のビデオ・アダプタに接続されたビデオ・カメラから受信されればよい。ビデオ・ストリームの各フレームは、２次元の画素配列を含む。
【００１３】
各フレームの２次元配列の画素それぞれが色強度を有する。一実施形態では、色強度が赤の色強度、緑の色強度、および青の色強度の組み合わせとなるよう、色強度はＲＧＢに基づく。一実施形態では、色強度はグレーの色合いに基づく。グレーの色合い（ｓｈａｄｅ  ｏｆ  ｇｒａｙ）のスペクトルは、ＲＧＢのスペクトルのサブセットであるため、「色」、「色強度」などは、ＲＧＢおよびグレーの色合いのどちらに対して使用しても適切である。
【００１４】
ステップ１２は、現在のフレームを処理する。現在のフレームは、ビデオ・ストリームのうち、第１のフレームの後のフレームであればどれでもよい。ステップ１２は、ビデオ・シーケンス内で現在のフレームに先行する一連のフレームに対して背景除去アルゴリズムを使用して、現在のフレームと、一連のフレームとを分析し、特に、背景画像と、前景（ｆｏｒｅｇｒｏｕｎｄ）マスクと、１つ以上の静止領域と、１つ以上の静止領域のうちの各静止領域に関連する静止領域マスクとを決定する。一連のフレームは、現在のフレームより前に生じている１つ以上のフレームから成る。
【００１５】
背景画像は、２次元の画素配列と、現在のフレームより前の少なくとも１つのフレームの背景モデルとを含み、いかなる移動対象（オブジェクト）も含まない。したがって、背景画像は、或る期間にわたり静止している、画像の一部を表す。例えば、背景画像は、駐車場と、或る期間にわたって駐車場内にある車とを含むこともある。この、或る期間は、ユーザにより定義されていてもよい。
【００１６】
前景とは、その期間に変化する画像の部分を指し、したがって１つ以上の移動対象を含む。例えば、前景は駐車場内に入ってくる車を含み得る。前景マスクは、前景の２進表現（例えば０または１）であり、「１」は移動対象コンテンツ（ｍｏｖｉｎｇ  ｏｂｊｅｃｔ  ｃｏｎｔｅｎｔ）から成る前景コンテンツ（ｆｏｒｅｇｒｏｕｎｄ  ｃｏｎｔｅｎｔ）を含む、フレーム上の画素を示し、「０」は、前景コンテンツを含まないフレームの画素を示す。
【００１７】
静止領域は、フレームの空間的に固定された領域にある、複数画素の連続的な分布を含む。静止領域により表される静止対象は、放置対象（ａｂａｎｄｏｎｅｄ  ｏｂｊｅｃｔ）または除去済み対象（ｒｅｍｏｖｅｄ  ｏｂｊｅｃｔ）である。 SEQ CHAPTER \h \r 1特定のフレーム内の静止領域により表される放置対象は、この特定のフレーム内の静止領域内には物理的に存在するが、この特定のフレームに先行する複数のフレーム内の静止領域内には物理的に存在しない対象（例えば、駐車場に最近駐車された車）である。特定のフレーム内の静止領域により表される除去済み対象は、この特定のフレーム内の静止領域内には物理的に存在しないが、この特定のフレームに先行する複数のフレーム内の静止領域内には物理的に存在する対象（例えば、駐車場から最近出た車）である。
【００１８】
各静止領域の静止領域マスクは２進表現（例えば０または１）であり、「１」を含む画素はその画素が静止領域内にあることを示し、「０」を含む画素は静止領域外の画素を示す。したがって、フレーム上に重ねられた静止領域マスクはフレーム内の複数画素を特定し、これが、その静止マスクに関連付けられたフレーム内の静止領域を定義する。
【００１９】
ステップ１２の背景除去で行われる分析により、静止対象の存在が決定（判断）される。静止対象は、（１）現在のフレームの静止領域内には存在し、背景画像の静止領域内には存在しない放置対象、または（２）背景画像内の静止領域内には存在し、現在のフレームの静止領域内には存在しない除去済み対象のうちいずれかである。
【００２０】
種々の背景除去処理が当該技術分野で既知となっており、現在既知であるかまたはこれから知られる任意の背景除去処理が、ステップ１２を実施するために使用されればよい。有益に用いられ得るこのような背景除去処理の１つには、背景モデル、前景画像および静止領域を生成する「混合ガウス（ｍｉｘｔｕｒｅ  ｏｆ  Ｇａｕｓｓｉａｎｓ）」アルゴリズムがある（論文Ｙｉｎｇ−Ｌｉ  Ｔｉａｎ、Ｍａｘ  Ｌｕ、およびＡｒｕｎ  Ｈａｍｐａｐｕｒ、「Ｒｏｂｕｓｔ  ａｎｄ  Ｅｆｆｉｃｉｅｎｔ  Ｆｏｒｅｇｒｏｕｎｄ  Ａｎａｌｙｓｉｓ  ｆｏｒ  Ｒｅａｌ−ｔｉｍｅ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅ」、ＩＥＥＥ  ＣＶＰＲ、Ｓａｎ  Ｄｉｅｇｏ、２００５年６月を参照のこと）。
【００２１】
混合ガウス・アルゴリズムは、ガウス重み係数による線形結合において結合されるＫ個のガウス関数を利用し、画素の色強度の確率関数を定義する。一実施形態では、Ｋは３〜５の範囲である。従来の混合ガウス・アルゴリズムは、前景および静止領域を特定するために、ガウス重み係数の合計の下限を規定する単一の重み閾値を用いる。閾値の値が高いと、その分類（カテゴリ）化により、断片化された前景または静止領域が生じることになる。
【００２２】
したがって、本発明は、前景を特定するための高い値の重み閾値と、静止領域を特定するための低い値の重み閾値との、２つの重み閾値を使用することで、従来の混合ガウス・アルゴリズムに新規の改良を与える。２つの重み閾値により、高い閾値の値が原因で静止領域が不必要に断片化することが確実になくなる。具体的には、背景除去において、前景画像を特定するために、ガウス重み係数の合計は高重み閾値を上回ることを制限され、静止領域を特定するために、ガウス結合係数の合計は低重み閾値を上回ることを制限される。前景画像が的確に特定されて静止領域が過度に断片化しないことが保証されるよう、高重み閾値は十分に高く、低重み閾値は十分に低い。
【００２３】
背景除去への適用における本発明の新規な改良点は、現在のフレームより前に生じている一連のフレームを選択するためにタイムスタンプを使用することである。従来の背景除去法は、規定の複数フレームの入力と、所定の更新レート（率）・パラメータとに基づき、背景画像を更新する。本発明では、更新レート・パラメータが一定であっても、背景画像は、フレーム・レートが異なる複数のビデオ・ストリームについて別々の速度で更新され得る。実時間の監視システムでは、１つの機械で実行されている複数のエンジンおよびシナリオの複雑性が原因で、同じカメラ・ビューでもビデオ・フレーム・レートが著しく変化することがよくある。したがって、一実施形態において、本発明に適用する中で混合ガウス法を使用することは、少なくとも１つのタイムスタンプを指示する時間データの入力を受信することと、この少なくとも１つのタイムスタンプの各タイムスタンプについて、フレーム時間が各タイムスタンプの時間に最も近いフレームを選択して、現在のフレームより前に生じている少なくとも１つのフレームを決定することとを含む。この少なくとも１つのタイムスタンプは、１つまたは複数のタイムスタンプから成ればよい。前述の方法で決定された、現在のフレームより前に生じている少なくとも１つのフレームは、背景画像の生成または更新に使用される。
【００２４】
ステップ１３は、ステップ１２で特定された静止領域に関連する静止対象の状態を決定する。静止対象の状態は、静止対象が放置対象であれば放置状態であり、または静止対象が除去済み対象であれば除去済み状態である。ステップ１３は静止対象の状態を決定するが、これは、現在のフレーム、背景画像および静止領域を入力として使用し、背景除去から得られるその他のいかなる情報も入力として使用しない、放置／除去済みアルゴリズム（以下「Ａ／Ｒアルゴリズム」）を実行することによる。Ａ／Ｒアルゴリズムの実装は、以下、図２において詳細に説明する。
【００２５】
ステップ１４は、ステップ１３で決定された静止対象の状態を、コンピュータ・システム（例えば、図１４内に描かれているコンピュータ・システム９０）のデータ記憶媒体に格納するか、または決定された静止対象の状態を、データ記憶デバイス、表示デバイスなど、コンピュータ・システムの出力デバイスに提供するか、あるいはこの両方を行う。
【００２６】
現在のフレームが、後でステップ１６を実施するための基準フレームとしての機能を果たすことに留意して、ステップ１４はさらに、コンピュータ・システムのデータ記憶媒体に現在のフレームの時間（ＴＲＦ）を（基準フレームの時間として）格納する。あるいは、時間（ＴＲＦ）は、現在のフレームが処理されるステップ１４に先行する任意のステップにおいて、データ記憶媒体に格納されることが可能であろう。
【００２７】
ステップ１４はさらに、現在のフレーム（すなわち基準フレーム）の静止領域を格納するが、これは、以下で論じるように、基準フレームの後に現れるフレーム内の静止領域の比較が行われるテンプレートとしての機能を基準フレームの静止領域が果たすためである。
【００２８】
ステップ１４はさらに、図１４と関連して以下に説明するように、コンピュータ・システムのデータ記憶媒体に静止対象を格納する。
【００２９】
ステップ１４の後に行われるステップ１５は、（ステップ１４で静止対象が格納された）データ記憶媒体から静止対象を取得し、取得した静止対象を背景画像へと修復（ｈｅａｌ）し、修復済み背景の画像を作成する。静止対象を背景画像へ修復することは、背景画像内の静止領域の複数画素の色強度を、取得した静止対象の個々の画素の色強度に置き換えることを含む。したがって、先行する修復プロセスが完了すると、静止対象は背景モデルの一部となる。
【００３０】
ステップ１６は、静止対象に関連して警報をトリガするのに必要な要件が満たされていると決定する。図１５〜１７に関連して以下に説明するように、要件には、対象特徴要件、持続要件、非持続期間要件、持続期間要件が含まれるとよい。
【００３１】
図１７は、ステップ１６の要件が満たされるのに応答して警報をトリガする。警報は、要件が満たされたことを知る必要がある１人以上の人物に警告する任意の方法で具体化されるとよく、例えば、特に、警備室の警報、処理中のビデオ・ストリームをとらえているビデオ・カメラにより監視されている局部周辺をパトロールしている警備担当者への自動電話／電子メッセージ、知る必要がある１人以上の人物への電子メール・メッセージなどがある。
【００３２】
あるいは、またはこれに加えて、警報は本発明の方法を処理するコンピュータ・システム（例えば図１８のコンピュータ・システム９０）においてトリガされてもよく、これは例えば、特に、コンピュータ・システムの表示画面上に視覚画像またはメッセージを表示すること、コンピュータ・システムのスピーカによって音声警告を発すること、フラグを設定すること、ファイルを生成すること、サブプログラムを呼び出すことなどにより、これによって、警報に応答してコンピュータ・システムによるさらなる処理が始動される。
【００３３】
図２は、本発明の実施形態に従った、図１のステップ１３のＡ／Ｒアルゴリズムの実装を示す流れ図である。図２はステップ２１〜２５を示している。
【００３４】
ステップ２１は、図１のステップ１２の背景除去から生じる静止領域マスクを特定する。
【００３５】
ステップ２２は、ステップ２１で特定された静止領域マスクの外側の複数画素を収縮（ｅｒｏｄｅ、侵食）し、静止領域マスクの残りの非収縮画素（ｎｏｎ−ｅｒｏｄｅｄ  ｐｉｘｅｌｓ）が複数残る。非収縮画素の境界画素は、少なくとも１つの収縮画素に直接接する（ｄｉｒｅｃｔｌｙ  ｅｘｐｏｓｅｄ）非収縮画素すべてから成る。境界画素は、境界画素と収縮画素との間の境界面として機能する輪郭により境界を付けられる。
【００３６】
ステップ２３は、領域拡張手順を実行することによって、現在のフレーム内に拡張面積（ＡＣＦ）を生成する。領域拡張手順は、以下で図３と関連して説明されるが、ステップ２２の結果生じる非収縮画素を利用するものである。
【００３７】
ステップ２４は、図３の領域拡張手順を実行することによって、背景画像内に拡張面積（ＡＢＩ）を生成する。領域拡張手順は、ステップ２２の結果生じる非収縮画素を利用するものである。
【００３８】
ステップ２５は、静止対象の状態を、ＡＢＩ−ＡＣＦに基づき決定する。
【００３９】
δＡｔｈ≧０が規定の面積差閾値（ａｒｅａ  ｄｉｆｆｅｒｅｎｃｅ  ｔｈｒｅｓｈｏｌｄ）を示す一実施形態では、ステップ２３は、（１）状態が放置状態であることを意味するＡＢＩ−ＡＣＦ＞δＡｔｈ、（２）状態が除去済み状態であることを意味するＡＣＦ−ＡＢＩ＞δＡｔｈ、または（３）状態が不明確であることを意味する｜ＡＢＩ−ＡＣＦ｜≦δＡｔｈを決定する。
【００４０】
一実施形態では、面積差閾値を使用する前述のテストが、分数の閾値ε≧０を使用するテストに置き換えられ、ステップ２３は、（１）状態が放置状態であることを意味する（ＡＢＩ−ＡＣＦ）／（ＡＢＩ＋ＡＣＦ）＞ε、（２）状態が除去済み状態であることを意味する（ＡＣＦ−ＡＢＩ）／（ＡＢＩ＋ＡＣＦ）＞ε、または（３）状態が不明確であることを意味する｜（ＡＢＩ−ＡＣＦ）｜／（ＡＢＩ＋ＡＣＦ）≦εを決定する。
【００４１】
当然ながら、以下、本発明の考察においてδＡｔｈを伴うテストについて論じるときは、常に、εを伴う上記テストが代わりに利用され得る。
【００４２】
図３は、本発明の実施形態に従った、図２のステップ２３および２４において使用される領域拡張手順の実施を示す流れ図である。図３は、領域拡張手順を呼び出すステップにより提供される入力フレーム内に拡張面積を生成および出力する。具体的には、図２のステップ２１は、領域拡張手順によって入力フレームとして使用されるべき現在のフレームを提供し、図２のステップ２２は、領域拡張手順により入力フレームとして使用されるべき背景画像を提供する。静止領域は、領域拡張手順に対する追加入力である。さらに、領域拡張手順には、規定の画素収縮深度（ｐｉｘｅｌ  ｅｒｏｓｉｏｎ  ｄｅｐｔｈ）およびシード選択パラメータを利用してもよい。
【００４３】
図３はステップ３１〜３３を示しており、これは、図４〜１３内に示されている例に対して領域拡張手順を適用するという状況で説明される。
【００４４】
ステップ３１は、ステップ２２で決定された非収縮画素と、フレームの対応する画素とをそろえるべく、ステップ２２から生じる境界をつける輪郭および境界画素がフレーム上に重ねられた後に、図２のステップ２２から生じる非収縮画素の境界画素から複数の第１シード画素を選択する。この実施形態では、第１シード画素は、現在のフレームと背景画像とについて独立して選択される。これによって、現在のフレームおよび背景画像が異なる第１画素シードを選択し、現在のフレームおよび背景画像内の異なる色強度の空間的パターン（ｓｐａｔｉａｌ  ｐａｔｔｅｒｎ）を有益に利用することができるようになる。この実施形態では、第１シード画素は、まず現在のフレームに関して、次に背景画像について選択されてもよく、まず背景画像に関して、次に現在のフレームに関して選択されてもよく、または、現在のフレームおよび背景画像について同時に選択されてもよい（たとえば、並列処理ハードウェアが使用されている場合）。
【００４５】
あるいは、現在処理中のフレーム（例えば背景画像）の第１シード画素は、現在処理中のフレームに対するステップ３１の実行で使用されているのと同じ境界画素および輪郭を用いる、別のフレーム（例えば現在のフレーム）に対するステップ３１の前の実行から既に選択されている第１シード画素から成るように、ステップ３１で選択されてもよい。この実施形態では、選択された第１シード画素は、現在のフレームと背景画像とについて同じ第１シード画素であり、これによって、現在のフレームと背景画像とについて第１画素シードを選択する計算コストが削減される。この実施形態では、第１シード画素は、まず現在のフレームに関して、次に背景画像に関して選択されてもよく、またはまず背景画像に関して、その次に現在のフレームに関して選択されてもよいが、現在のフレームおよび背景画像に関して同時に選択することはできない。
【００４６】
ステップ３２は、特定の色マッチング（あわせ）基準に従って、第１シード画素の色強度と色強度が一致する隣接画素にて非収縮画素の外に第１シード画素を反復して拡張し、第１シード画素の隣接画素にて新たなシード画素を生成する。前記反復して拡張することは、追加の新たなシード画素が生成できなくなるまで、新たなシード画素作成の一連の生成において、隣接画素にて新たなシード画素を生成する。
【００４７】
ステップ３３は、新たなシード画素の複合面積として出力拡張面積を決定する。
【００４８】
図４〜８および９〜１３は、本発明の実施形態に従った、図３の領域拡張手順と関連しての、第１入力フレームおよび第２入力フレームそれぞれに対する図２の静止領域マスク収縮ステップ２２の適用を示している。
【００４９】
検出される静止対象が放置対象である以下の例では、図４〜８内の第１入力フレームが現在のフレーム４０であり、図９〜１３内の第２入力フレームが背景画像５０である。
【００５０】
図４では、現在のフレーム４０内の、外側境界４２Ａを有する静止領域４１が、図２のステップ２１から特定される。
【００５１】
図５は、図２のステップ２２により実施される収縮プロセスの結果を示しており、静止領域４１の残りの非収縮画素４５を残して、図４の静止領域４１の外側の画素が収縮されており、収縮画素４４と呼ばれる。収縮プロセスは静止領域４１を変更するのではなく、図４の外側境界４２Ａを、静止領域４１内に完全に配置され非収縮画素４５の境界をつける輪郭４２Ｂとなるよう、静止領域４１内で内側に向けて移動させる。非収縮画素４５の境界画素４６（図６を参照のこと）は、少なくとも１つの収縮画素４４に直接接するすべての非収縮画素から成る。
【００５２】
一実施形態では、輪郭４２Ｂとなるように静止領域４１内で図４の境界４２Ａを内側へ向けて移動させるプロセスは、収縮されるいくつかの画素層として表される画素収縮深度Ｄまで静止領域４１の外側画素を外周に沿って収縮することにより達成されるとよい。本例では、２の画素収縮深度Ｄが使用され、境界４２Ａが２画素、内側へ移動することによって輪郭４２Ｂが生成される。
【００５３】
一実施形態では、画素収縮深度の値は、図３のステップ３２で十分な数の境界画素を確保するよう制限される。言い換えれば、静止対象の画素数が少なすぎる場合、画素収縮深度が過度に大きいと、第１シード画素が少なくなりすぎ、｜ＡＢＩ−ＡＣＦ｜＞δＡｔｈ、および上で論じた同様の閾値テストを満たすために十分正確にＡＣＦを計算するよう、十分反復して拡張することができない。
【００５４】
図６は、明確に印をつけられた、非収縮画素４５の２８個の境界画素４６を有する図５を示している。
【００５５】
図７は、図３のステップ３１で境界画素４６から選択された第１シード画素４７を示している。一実施形態では、選択された第１シード画素はすべての境界画素から成る（例えば、図６に描かれている２８個の境界画素４６すべて）。一実施形態では、選択された第１シードは、２８個の境界画素４６から選択された８個の第１シード画素４７を示している図７にあるように、境界画素の総数よりも少ない画素から成る。一実施形態では、第１シード画素４７は、図７にあるように、境界画素４６内にほぼ均一に分布しているとよい。一実施形態では、第１シード画素４７は、境界画素内に不均一に分布しているとよい。
【００５６】
一実施形態では、第１シード画素４７は、その隣接画素である少なくとも１つの境界画素と色が一致しないように選択されるとよい。色の一致（または不一致）は、色マッチング基準に従う。特定の画素の「隣接画素」は、特定の画素の一点だけにおいてでもその特定の画素のどこかでこの特定の画素に直接接している画素である。
【００５７】
前述の実施形態は、無作為に選択された境界画素にて、または明確に選択された境界画素にて、１つの境界画素を第１シード画素として選択することによって実装されてもよい。手順は、この１つの境界画素から、連続して規則的に（例えば時計回りまたは反時計回りに）、この１つの境界画素の隣接境界画素へ移動し、色の不一致が検出されるまで、各隣接境界画素との色の不一致をテストする。隣接境界画素と色が一致すると、色が一致した隣接境界画素は、第１シード画素として選択されない。隣接境界画素と色が一致しなければ、色が一致しなかった隣接境界画素は、次の第１シード画素として選択される。この、次の第１シード画素から手順は連続して規則的に次の隣接境界画素へと移動し、すべての境界画素が前述の方法で処理されるまで前述の色の不一致のテストを行う。例えば、境界画素が連続する境界画素Ｐ１（青）、Ｐ２（青）、Ｐ３（赤）、Ｐ４（赤）、Ｐ５（赤）、Ｐ６（赤）、Ｐ７（緑）、Ｐ８（緑）から成り、選択された第１シード画素がＰ１であれば、選択された第１シード画素はＰ１、Ｐ３、Ｐ７およびＰ８となる。この実施形態は、計算コストを削減するよう第１シード画素を選択するのに効率的である。
【００５８】
一実施形態では、色マッチング基準は、第１画素および第２画素は、それぞれの色強度が「色クラス」として規定されている同じ範囲の色強度に入れば色が一致しているというものである。色クラスは、別々の色の規定セットから成る。色クラス全体は、使用されている色スペクトル内の可能な色強度すべてを包含し、各色クラスは、前記可能な色強度全体のサブセットから成る。したがって、前述の色マッチング基準によれば、第１画素および第２画素は、それぞれの色強度が同じ色クラスに入れば色が一致している。第１画素および第２画素は、それぞれの色強度が同じ色クラスに入らなければ、色が一致していない。したがって、２つの画素はどれでも、色が一致しているかまたは色が一致していないかである。別の観点からすると、前述の色マッチング基準によれば、第１画素および第２画素は、それぞれの色強度が同じ色クラスに入れば色が一致している。
【００５９】
図８は、新たなシード画素を生成するために、複数の第１シード画素４７の隣接画素にて、第１シード画素４７を非収縮画素４５の外で反復して拡張する図３のステップ３２の結果を示している。この隣接画素の色強度は、規定の色マッチング基準によると、第１シード画素の色強度と一致する。第１シード画素と色が一致する隣接画素それぞれが新たなシード画素となり、その後にその隣接画素と色マッチングが、規定の色マッチング基準に従って行われる。このプロセスは追加の新たなシード画素が生成できなくなるまで継続し、反復して新たなシード画素が生成されて、拡張領域４８がもたらされる。この拡張領域４８に関連する拡張面積ＡＣＦは、図３のステップ３３において、個々の新たなシード画素の面積を足すことによって計算される。各画素の面積が１であれば、図７の拡張領域４８については、ＡＣＦ＝８０である。
【００６０】
図９では、背景画像５０内の、外側境界５２Ａを有する静止領域５１が、図２のステップ２１から特定される。
【００６１】
図１０は、図２のステップ２２により実施される収縮プロセスの結果を示しており、静止領域５１の残りの非収縮画素５５を残して、図４の静止領域５１の外側の画素が収縮されており、収縮画素５４と呼ばれる。収縮プロセスは、静止領域５１を変更せず、静止領域５１内に完全に配置され非収縮画素５５の境界をつける輪郭５２Ｂとなるよう、図９の外側境界５２Ａを静止領域５１内で内側に向けて移動させる。輪郭４２Ｂおよび輪郭５２Ｂのどちらに対しても使用される輪郭を生成するために図２の同じステップ２２が使用されたため、図１０の輪郭５２Ｂおよび図５の輪郭４２Ｂは互いに幾何学的に合致し、それぞれ現在のフレーム１０および背景画像４０において、相対的に同じ空間的位置に配置されている。非収縮画素５５の境界画素５６（図１１を参照のこと）は、少なくとも１つの収縮画素５４に直接接するすべての非収縮画素から成る。
【００６２】
一実施形態では、輪郭５２Ｂになるように静止領域５１内で図９の境界５２Ａを内側へ向けて移動させるプロセスは、収縮されるいくつかの画素層として表される画素収縮深度Ｄまで静止領域５１の外側画素を外周に沿って収縮することにより達成される。本例では、２の画素収縮深度Ｄが使用され、境界５２Ａが２画素、内側へ移動することによって輪郭５２Ｂが生成される。
【００６３】
一実施形態では、Ａ／Ｒアルゴリズムが、静止領域により表される静止対象の放置／除去済み状態の明確な決定へと導くよう、画素収縮深度は、｜ＡＢＩ−ＡＣＦ｜が規定の面積差閾値δＡｔｈを上回るという条件を保証するのに十分大きくあるよう制限される。例えば、｜ＡＢＩ−ＡＣＦ｜＞δＡｔｈという前述の条件は、静止対象が、現在の入力フレームの面積の非常に大きな部分を含むことに起因することもある。
【００６４】
一実施形態では、画素収縮深度は、シード画素を反復して拡張する間の色拡張阻害の誘発を回避するべく、図３のステップ３２で十分な数の境界画素を確保するために十分小さくあるよう制限される。言い換えれば、静止対象の画素数が少なすぎる場合、画素収縮深度が過度に大きいと、第１シード画素が少なくなりすぎ、｜ＡＢＩ−ＡＣＦ｜＞δＡｔｈ、および上で論じた同様の閾値テストを満たすために十分正確にＡＢＩを計算するよう、十分反復して拡張することができない。
【００６５】
図１１は、明確に印をつけられた、非収縮画素５５の２８個の境界画素５６を有する図１０を示している。
【００６６】
図１２は、図３のステップ３１で境界画素５６から選択された第１シード画素５７、または、図４〜８について説明したように、現在のフレームに対する図３の領域拡張手順の前の実行からすでに第１境界シード４７として（図７を参照のこと）選択されていた第１シード画素５７を示している。一実施形態では、選択された第１シード画素はすべての境界画素から成る（例えば、図１１に描かれている２８個の境界画素５６すべて）。一実施形態では、選択された第１シードは、２８個の境界画素５６から選択された８個の第１シード画素５７を示している図１２にあるように、境界画素の総数よりも少ない画素から成る。一実施形態では、第１シード画素５７は、図１２にあるように、境界画素５６内でほぼ均一に分布しているとよい。一実施形態では、第１シード画素５７は、境界画素内で不均一に分布しているとよい。
【００６７】
一実施形態では、第１シード画素５７は、その隣接画素である少なくとも１つの境界画素と色が一致しないように選択されるとよい。色の一致（または不一致）は、色マッチング基準に従う。特定の画素の「隣接画素」は、特定の画素の一点だけにおいてでもその特定の画素のどこかでこの特定の画素に直接接している画素である。
【００６８】
前述の実施形態は、無作為に選択された境界画素にて、または明確に選択された境界画素にて、１つの境界画素を第１シード画素として選択することによって実装されてもよい。手順は、この１つの境界画素から、連続して規則的に（例えば時計回りまたは反時計回りに）、この１つの境界画素の隣接境界画素へ移動し、色の不一致が検出されるまで、各隣接境界画素との色の不一致をテストする。隣接境界画素と色が一致すると、色が一致した隣接境界画素は、第１シード画素として選択されない。隣接境界画素と色が一致しなければ、色が一致しなかった隣接境界画素は、次の第１シード画素として選択される。この、次の第１シード画素から手順は連続して規則的に次の隣接境界画素へと移動し、すべての境界画素が前述の方法で処理されるまで前述の色の不一致のテストを行う。例えば、境界画素が連続する境界画素Ｐ１（青）、Ｐ２（青）、Ｐ３（赤）、Ｐ４（赤）、Ｐ５（赤）、Ｐ６（赤）、Ｐ７（緑）、Ｐ８（緑）から成り、選択された第１シード画素がＰ１であれば、選択される第１シード画素はＰ１、Ｐ３、Ｐ７およびＰ８となる。境界画素と、近くの隣接シード画素との色の一致が実現してもＡＢＩの計算の精度は増さず、したがって第１シード画素選択という結果になる必要がないため、この実施形態は、第１シード画素を選択するのに効率的である。
【００６９】
上で図５に関連して論じたように、一実施形態において色マッチング基準は、第１画素および第２画素は、それぞれの色強度が「色クラス」として規定されている同じ範囲の色強度に入れば色が一致しているというものである。
【００７０】
図１３は、新たなシード画素を生成するために、複数の第１シード画素５７の隣接画素にて、第１シード画素５７を非収縮画素５５の外で反復して拡張する、図３のステップ３２の結果を示している。この隣接画素の色強度は、規定の色マッチング基準によると、第１シード画素の色強度と一致する。第１シード画素と色が一致する隣接画素それぞれが新たなシード画素となり、その後にその隣接画素との色マッチングが、規定の色マッチング基準に従って行われる。このプロセスは追加の新たなシード画素が生成できなくなるまで継続し、反復して新たなシード画素が生成されて、拡張領域５８がもたらされる。この拡張領域５８に関連する拡張面積ＡＢＩは、図３のステップ３３において、個々の新たなシード画素の面積を足すことによって計算される。各画素の面積が１であれば、図７の拡張領域５８については、ＡＢＩ＝２６０である。
【００７１】
図４〜８が現在のフレームを表し、図９〜１３が背景画像を表すと仮定して、図４〜１３に図示された前述の例は、ＡＣＦ＝８０およびＡＢＩ＝２６０という結果になった。ＡＢＩ−ＡＣＦ＝１６０であるため（さらに、合理的にδＡｔｈ＜１６０と仮定して）、Ａ／Ｒアルゴリズムは、静止対象が放置対象であると決定した。
【００７２】
あるいは、図４〜８が背景画像を表し、図９〜１３が現在のフレームを表す場合、図４〜１３の同様の分析は、ＡＢＩ＝８０およびＡＣＦ＝２６０を生じることとなり、静止対象は除去済み対象であるという結論につながる。
【００７３】
図４〜８および９〜１４に示された前述の例は、図３の領域拡張手順を、独立して任意の順序で、現在のフレームおよび背景画像それぞれに適用した。これは、図３の第１シード選択ステップ３１のモデリングの特徴を、現在のフレームおよび背景画像それぞれに特有の特性（特に色強度の空間分布に関して）に合わせるための柔軟性を提供する。ただし、別の実施形態が有益に使用されることもあり得る。
【００７４】
第１の別の実施形態では、図３の領域拡張手順は完全に現在のフレームに適用され、続いて背景画像に、現在のフレームについて決定された第１シード画素を利用させる。これにより、図３の領域拡張手順の背景画像への適用において、第１シード画素選択ステップ３１の実行が回避され、ステップ３２〜３３のみが実行される。
【００７５】
第２の別の実施形態では、図３の領域拡張手順は完全に背景画像に適用され、続いて、現在のフレームに、背景画像について決定された第１シード画素を利用させる。これにより、図３の領域拡張手順の現在のフレームへの適用において、第１シード画素選択ステップ３１の実行が回避され、ステップ３２〜３３のみが実行される。
【００７６】
本発明のＡ／Ｒアルゴリズムは、実時間の高性能ビデオ監視システムにおいて使用された。種々の環境において、放置／除去済み対象を検出するためのＡ／Ｒアルゴリズムの有効性を明示する例および結果を、次に示す。
【００７７】
Ａ／Ｒアルゴリズムは、公共空間において放置対象検出アルゴリズムをテストするために設計されたＰｅｔｓ２００６データセット（ＰＥＴＳ  ２００６  Ｂｅｎｃｈｍａｒｋ  Ｄａｔａ、ｈｔｔｐ：／／ｗｗｗ．ｃｖｇ．ｒｄｇ．ａｃ．ｕｋ／ＰＥＴＳ２００６／ｄａｔａ．ｈｔｍｌを参照のこと）と共に使用された。テスト用シーケンスのグラウンド・トルースは、イベントに関与する人物と、手荷物との数を含み、さらに手荷物と人との空間的関係も含む（手荷物に付き添いがいるか否かを確認するために）。持続的な前景対象は、対象に人が付き添っているか否かを考慮せずに放置アイテムに分類される。
【００７８】
Ｐｅｔｓデータセットは、場面の複雑性が高まっていく、放置された手荷物シナリオを含むマルチセンサ・シーケンスから成る。４台のカメラによって異なる地点からとらえられる、７つの異なるシナリオがある。Ａ／Ｒアルゴリズムは単一のカメラに基づき使用され、各シナリオでカメラ・ビューのうち１つだけが使用され、合計７つの試験用シーケンスとなる。ビデオ内で対象がより大きく見えるところのカメラが選ばれた。画像領域全体が放置対象の検出に使用される。表１は、７つのシーケンスについて得られた結果を示す。シナリオは比較的簡素であり、閉鎖および群集は多くない。Ａ／Ｒアルゴリズムは放置アイテムをすべて検出し、誤認警報はゼロであった。シーケンスＳ３では、静止した人物が放置アイテムとして検出されている。静止した人物は、人物分類器（ｐｅｒｓｏｎ  ｃｌａｓｓｉｆｉｅｒ）を組み込むことで除去することができた。
【００７９】
【表１】
0005274318.tif 000002
【００８０】
ｉ−ＬＩＤＳビデオ・ライブラリは、ビデオ検出システムの開発および選択を促進するためのベンチマークを提供する（ＬＩＤＳ  Ｄａｔａｓｅｔ  ｆｏｒ  ＡＶＳＳ  ２００７、ｆｔｐ：／／ｍｏｔｉｎａｓ．ｅｌｅｃ．ｑｍｕｌ．ａｃ．ｕｋ／ｐｕｂ／ｉＬｉｄｓを参照のこと）。本発明の方法およびシステムの評価は、放置された携行品および駐車車両という２つのシナリオに基づく。放置された携行品シナリオは、地下鉄の駅のプラットフォーム上の付き添いのいないバッグの警報イベントを含む。駐車車両シナリオは、都会の設定で駐車されている不審車両の警報イベントを含む。表２および表３は、検出結果の詳細を示す。イベント検出に小さな領域だけが選択された先の作業と異なり、全部のカメラ・ビューが放置イベントを検出するために使用された。どちらのシナリオでも、放置イベント（携行品および駐車車両）はすべて低い偽陽性（ｆａｌｓｅ  ｐｏｓｉｔｉｖｅ）で検出された。人物分類器が組み込まれて使用されていなかったため、静止した数人の人物が放置アイテムとして検出された。なお、非常に小さな、水を入れる静止した瓶が検出されている。
【００８１】
【表２】
0005274318.tif 000003
【００８２】
【表３】
0005274318.tif 000004
【００８３】
ＰｅｔｓおよびｉＬｉｄｓデータセットはどちらも放置対象検出用であるため、種々の大きさおよび種類の除去済み対象（瓶入りの水、書物、ラップトップ型コンピュータ、車など）を伴う、種々の状況（小売店、駐車場、研究室、会議室など）における除去済み対象イベントを含むデータセットが改めて集められた。表４に検出結果を示す。合計１２の除去済み対象に対し、１１の対象が検出された。１つの対象は、その領域の画素が無作為に背景モデルに更新され、従って対象が除去された後の領域が静止領域として検出されないため欠けている。除去済み対象は、駐車していた車およびラップトップ型コンピュータを含む。
【００８４】
【表４】
0005274318.tif 000005
【００８５】
図１４は、本発明の実施形態に従い、図１のステップ１４の態様を実施するための、コンピュータ・システムのデータ記憶媒体への静止対象の格納を描いた流れ図である。図１４はステップ６１〜６４を示している。
【００８６】
ステップ６１は、図１のステップ１３で決定された静止対象の状態が放置状態であるのかまたは除去済み状態であるのかを特定する。
【００８７】
ステップ６１が静止対象の状態が放置状態であると決定すると、ステップ６２が現在のフレームから静止対象を抽出し、続いてステップ６４が実行される。
【００８８】
ステップ６１が静止対象の状態は除去済み状態であると決定すると、ステップ６３が背景画像から静止対象を抽出し、続いてステップ６４が実行される。
【００８９】
ステップ６４は、抽出された静止対象をコンピュータ・システムのデータ記憶媒体に格納する。
【００９０】
図１５は、本発明の実施形態に従い、図１のステップ１６を実施するために、静止対象に関連して警報をトリガするのに必要な要件が満たされたと決定するプロセスを示す流れ図である。図１５、ならびに図１６〜１７の実施は、静止対象の状態を決定するために図１のステップ１３で使用された現在のフレームの静止領域、および静止領域の画素における色強度へのアクセスを必要とするが、これは、図１のステップ１４でデータ記憶媒体に格納された静止領域および関連の静止対象から取得され得る。そのようにアクセスされる現在のフレームは、図１５〜１６の実施において基準フレームと呼ばれる。
【００９１】
図１５はステップ７１〜７４を示している。
【００９２】
ステップ７１が行われる実施形態では、ステップ７１は、対象特徴要件が満たされたと決定する。対象特徴要件とは、静止対象が、少なくとも１つの特徴のうちの各特徴において、少なくとも１つの特徴要件のうち対応する特徴要件を満たすというものである。この少なくとも１つの特徴要件は、特に、サイズ特徴要件、形状特徴要件、色特徴要件、位置特徴要件、特徴種類要件などを含めばよい。
【００９３】
サイズ特徴要件とは、静止対象を表す静止領域の画素により占有される面積が、規定の最大面積を上回らないこと、規定の最小面積を下回らないこと、または規定の面積範囲内であることなどの面積制約を満たさなければならないというものである。
【００９４】
形状要件とは、静止対象を表す静止領域の画素が、実質的に規定の形状（正方形、長方形、円、楕円、三角形、多角形など）を形成しなければならないというものである。
【００９５】
色特徴要件とは、静止対象の色強度分布と、規定の特徴的な色強度分布との差の程度（ＭＤＩＦＦ）が、規定の色強度差許容値未満であるということである。一実施形態では、差の程度（ＭＤＩＦＦ）は式（１）で表される。
ＭＤＩＦＦ＝［（Σｉ（ＩＯＢＪ，ｉ−ＩＣＨＲ，ｉ）２）／Ｊ］１／２            （１）
式中、ＩＯＢＪ，ｉは、静止対象の、その静止領域内での画素ｉにおける色強度であり、ＩＣＨＲ，ｉは、規定の特徴的な色強度分布の画素ｉにおける色強度であり、Ｊは静止対象内の画素の総数であり、Σｉは、ｉ＝１からｉ＝ｊまでの、ｉの総和を示す。
【００９６】
なお、式（１）内の程度ＭＤＩＦＦは、静止対象の色強度分布と、規定の特徴的な色強度分布との差を明らかにするために使用され得る様々な尺度の選択肢のうち１つの尺度に過ぎない。例えば、静止対象の或る空間的部分に相対的に大きな重点を置き、静止対象の他の空間的部分に相対的に小さな重点を置くために、因数（ＩＯＢＪ，ｉ−ＩＣＨＲ，ｉ）２に画素依存の重み（Ｗｉ）を掛けた、式（１）の変形が使用されることもあり得る。
【００９７】
静止領域における色強度分布を備えた静止対象は、図１のステップ１４で静止対象が格納されたデータ記憶媒体から取得されるとよい。
【００９８】
位置要件とは、静止対象を表す静止領域の画素が、フレーム内の規定の空間画素分布に従って、フレーム内に実質的に分布していなければならないというものである。
【００９９】
特徴種類要件とは、対象が規定の種類（例えば人物、フットボール、自動車など）であるというものである。要件は、静止対象と、対象ライブラリに格納されている、既に格納済みの継続的に自己学習している対象とを比較するために、対象分類器を使用してテストされてもよい（論文、Ｌｉｓａ  Ｍ．  Ｂｒｏｗｎ、「Ｖｉｅｗ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｖｅｈｉｃｌｅ／Ｐｅｒｓｏｎ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、ＡＣＭ、ＶＳＳＮ  ’０４、ニューヨーク、２００４年１０月１５日を参照のこと）。
【０１００】
ステップ７２は、持続要件が満たされたと決定する。持続要件とは、複数のフレームの各フレーム内の静止領域が、図１のステップ１３で静止対象の状態が決定された現在のフレームから成る基準フレームと比較して持続しているというものである。この複数のフレームは、図１のステップ１３で静止対象の状態を決定するために使用される基準フレームの発生時間（ＴＲＦ）の直後の時間間隔中に生じ、累積時間期間（ＴＰ）を含む。
【０１０１】
ステップ７３は、非持続期間要件が満たされたと決定する。非持続期間要件とは、前記時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、静止領域が、基準フレーム内の静止領域と比較して持続しておらず、該１つ以上のフレームに含まれる累積時間期間（ＴＮＰ）が、規定の非持続期間間隔（Ｔ１）未満であるというものである。ステップ７３は、以下で論じる図１６および１７の例において示される。
【０１０２】
ステップ７４は、持続期間要件が満たされたことを決定する。持続期間要件とは、前記時間間隔に含まれる累積時間期間（ＴＴＯＴ）が、該少なくとも１つの時期（ステップ７３で定義される）を経過した後にのみ生じ、Ｔ２＞Ｔ１を特徴とする規定の持続期間閾値（Ｔ２）を上回るというものである。ステップ７３は、以下で論じる、図１６および１７の例において示される。
【０１０３】
なお、ＴＴＯＴ＝ＴＰ＋ＴＮＰである。言い換えれば、基準フレームの後に経過した総計時間（ＴＴＯＴ）は、静止領域が基準フレーム内の静止領域と比較して持続しているフレームの時間の合計（ＴＰ）、および静止領域が基準フレーム内の静止領域と比較して持続していないフレームの時間の合計（ＴＮＰ）である。
【０１０４】
図１６〜１７は、本発明の実施形態に従った、静止対象を表す静止領域の一時的な持続（ｐｅｒｓｉｓｔｅｎｃｅ）を追跡する例を示している。
【０１０５】
図１６では、静止領域の静止領域持続が、基準フレームの時間ＴＲＦの直後のフレームの時間の関数として描かれている。「静止領域持続」は、持続値８５または非持続値８６を有するステップ関数である。持続値８５は、複数のフレームの各フレーム内の静止領域の状態を、その静止領域が、基準フレーム内の静止領域と比較して持続している時間で表す。非持続値８６は、１つ以上のフレームの各フレーム内の静止領域を、その静止領域が、基準フレーム内の静止領域と比較して持続していない時間で表す。
【０１０６】
任意のフレーム内の静止領域は、前記任意のフレーム内の静止領域における色強度と、基準フレーム内の静止領域の色強度分布との相違の程度（ＭＤＩＳＴ）が規定の色強度相違許容値未満であれば、基準フレーム内の静止領域と比較して持続している。
【０１０７】
任意のフレーム内の静止領域は、前記任意のフレーム内の静止領域における色強度と、基準フレーム内の静止領域の色強度分布との相違の程度（ＭＤＩＳＴ）が規定の色強度相違許容値以上であれば、基準フレーム内の静止領域と比較して持続していない。
【０１０８】
一実施形態では、相違の程度（ＭＤＩＳＴ）は式（２）で表される。
ＭＤＩＳＴ＝［（Σｉ（ＩＡＮＹ，ｉ−ＩＲＥＦ，ｉ）２）／Ｋ］１／２              （２）
式中、ＩＲＥＦ，ｉは、基準フレーム内の静止領域内の画素ｉにおける色強度であり、ＩＡＮＹ，ｉは、前記任意のフレーム内の静止領域内の画素ｉにおける、そのフレームの時間での色強度であり、Ｋは基準フレーム内の静止領域内の画素の総数であり、Σｉは、ｉ＝１からｉ＝Ｋまでの、ｉの総和を示す。
【０１０９】
なお、式（２）内の程度ＭＤＩＳＴは、前記任意のフレーム内の静止領域における色強度と、基準フレーム内の静止領域の色強度分布との相違を明らかにするために使用され得る様々な尺度の選択肢のうち１つの尺度に過ぎない。例えば、静止領域の或る空間的部分に相対的に大きな重点を置き、静止領域の他の空間的部分に相対的に小さな重点を置くために、因数（ＩＡＮＹ，ｉ−ＩＲＥＦ，ｉ）２に画素依存の重み（Ｖｉ）を掛けた、式（２）の変形が使用されることもあり得る。
【０１１０】
したがって、持続要件が満たされたと決定することは、複数のフレームの各フレーム内の静止領域における色強度分布と、基準フレーム内の静止領域における色強度分布との相違の程度（ＭＤＩＳＴ）が、規定の色強度相違許容値未満であると決定することを含む。
【０１１１】
したがって、時間間隔中の少なくとも１つの時期における１つ以上のフレームの各フレームについて、静止領域が基準フレームと比較して持続していないと決定することは、１つ以上のフレームの各フレーム内の静止領域における色強度分布と、基準フレーム内の静止領域における色強度分布との相違の程度が、規定の色強度相違許容値以上であると決定することを含む。
【０１１２】
図１６に戻る。ステップ７２で列挙された複数のフレームは、静止領域の持続が持続値８５を有する複数フレームを含む。単に複数のフレーム（すなわち、持続値８５を有する少なくとも２つのフレーム）が存在することだけで、ステップ７２の持続要件が満たされていることが証明される。
【０１１３】
ステップ７３で列挙された１つ以上のフレームは、ＴＮＰ１に等しい累積時間期間ＴＮＰを有する少なくとも１つの時期内に、静止領域の持続が非持続値８６を有する複数フレームを含む。非持続期間要件は、ＴＮＰ＜Ｔ１ということであり、ここでＴ１は、規定の非持続期間閾値である。
【０１１４】
ステップ７４で列挙される累積時間期間ＴＴＯＴは、（１）静止領域の持続が持続値８５を有する複数のフレームの累積時間期間ＴＰと、（２）静止領域の持続が非持続値８６を有する１つ以上のフレームの累積時間期間ＴＮＰとの合計である。持続期間要件は、ＴＴＯＴ＞Ｔ２およびＴＴＯＴ＞ＴＮＰということであり、ここでＴ２は、規定の持続期間閾値である。
【０１１５】
図１６内の累積時間期間ＴＴＯＴは、静止領域の持続が持続値８５を有する複数フレームの２つの別個の時間間隔と、静止領域持続が非持続値８６を有する複数フレームの１つの時間間隔とから成る。図１６では、非持続期間要件と持続期間要件との組み合わせは、ＴＮＰ＜Ｔ１＜Ｔ２＜ＴＴＯＴとして表され、ＴＮＰ＝ＴＮＰ１である。
【０１１６】
図１７は、静止領域の持続が持続値８５を有する複数フレームの３つの別個の時間間隔と、静止領域の持続が非持続値８６を有する複数フレームの２つの別個の時間間隔とから、図１７の累積時間期間ＴＴＯＴが成るということを除いては、図１６の例に類似している例である。図１７では、非持続期間要件と持続期間要件との組み合わせは、ＴＮＰ＜Ｔ１＜Ｔ２＜ＴＴＯＴとして表され、ＴＮＰ＝ＴＮＰ１＋ＴＮＰ２である。
【０１１７】
概して、静止領域持続が持続値８５を有する複数フレームの少なくとも２つの別個の時間間隔と、Ｍ≧１を条件とする、静止領域持続が非持続値８６を有する複数フレームのＭ個の別個の時間間隔とから、累積時間期間ＴＴＯＴが成る場合、非持続期間要件と、持続期間要件との組み合わせは、ＴＮＰ＜Ｔ１＜Ｔ２＜ＴＴＯＴとして表され、ＴＮＰ＝ＴＮＰ１＋ＴＮＰ２＋．．．ＴＮＰ，Ｍである。
【０１１８】
一実施形態では、持続期間閾値（Ｔ２）は、複数のフレームの各フレーム内の静止領域における色強度分布と、基準フレーム内の静止領域における色強度分布との相違の程度に応じて、またはこれからは独立して、選択される。例えば、時間がたつにつれて何らかの理由で前記相違がゆっくりと変化することが分かった場合またはそれが疑われる場合（例えば、ビデオ・フレーム上の画像の色強度に影響する、ゆっくりと生じる明暗の変化）、警報がトリガされる時間を動的に延期することが望ましいこともある。これは例えば、前記相違が時間と共にどのように変化するのかを観察および判断するために、複数のフレームの各フレーム内の静止領域における色強度分布と、基準フレーム内の静止領域における色強度分布との相違の程度において、時間と共に１つ以上の変化が生じるのに応じて、持続期間閾値（Ｔ２）を動的に変化させることなどによる。
【０１１９】
なお、任意のフレーム内の静止領域の、基準フレームの静止領域と比較しての非持続は、例えば、静止領域を物理的に遮る移動対象による静止領域の物理的閉鎖、静止領域における明暗の変化、静止領域からの放置対象の除去、除去済み対象の静止領域への再度の組み入れ、除去済み対象とは異なる対象の静止領域への組み入れなど、種々の原因に起因し得る。
【０１２０】
図１８は、本発明の実施形態に従った、ビデオ・フレームのシーケンスを実時間処理するために使用されるコンピュータ・システム９０を示している。コンピュータ・システム９０は、プロセッサ９１と、プロセッサ９１に接続された入力デバイス９２と、プロセッサ９１に接続された出力デバイス９３と、プロセッサ９１にそれぞれ接続されているメモリ・デバイス９４および９５を含む。入力デバイス９２は、特に、キーボード、マウスなどであればよい。出力デバイス９３は、特に、プリンタ、プロッタ、コンピュータのディスプレイまたはスクリーン、磁気テープ、リムーバブル・ハード・ディスク、フレキシブル・ディスクなどであればよい。メモリ・デバイス９４および９５は、特に、ハード・ディスク、フレキシブル・ディスク、磁気テープ、コンパクト・ディスク（ＣＤ：ｃｏｍｐａｃｔ  ｄｉｓｃ）またはデジタル・ビデオ・ディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄｉｓｃ）などの光学式記憶装置、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ：ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、読出し専用メモリ（ＲＯＭ：ｒｅａｄ‐ｏｎｌｙ  ｍｅｍｏｒｙ）など、データ記憶媒体であればよい。メモリ・デバイス９５は、プログラム・コード（すなわち、コンピュータ実行可能命令）を含むコンピュータ・プログラムであるコンピュータ・コード９７を含む。コンピュータ・コード９７は、ビデオ・フレームのシーケンスの実時間処理のためのアルゴリズムを含む。プロセッサ９１はコンピュータ・コード９７を実行する。メモリ・デバイス９４は入力データ９６を含む。入力データ９６は、コンピュータ・コード９７により必要とされる入力を含む。出力デバイス９３はコンピュータ・コード９７からの出力を表示する。メモリ・デバイス９４および９５のいずれか、または両方（または図１８に示されていない１つ以上の追加のメモリ・デバイス）が、コンピュータ使用可能記憶媒体（またはプログラム記憶デバイス）として使用されてもよい。このコンピュータ使用可能記憶媒体には、コンピュータ可読プログラムが具現化されているか、またはその他のデータが格納されているか、あるいはその両方であり、このコンピュータ可読プログラムはコンピュータ・コード９７を含む。一般に、コンピュータ・システム９０のコンピュータ・プログラムは、前述の、コンピュータ使用可能記憶媒体（または前述のプログラム記憶デバイス）を含むとよい。
【０１２１】
したがって、本発明は、コンピュータ・インフラストラクチャのサポート、コンピュータ・システム９０の統合、ホスティング、維持、およびコンピュータ可読プログラム・コードのコンピュータ・システム９０への展開のためのプロセスを開示している。コードは、コンピュータ・システム９０と共同して、ビデオ・フレームのシーケンスを実時間処理する方法を行うことができる。
【０１２２】
本発明の構成要素はいずれも、ビデオ・フレームのシーケンスの実時間処理を容易にすることを提案するサービス・プロバイダによって、作成、統合、ホスト、維持、展開、管理、サービス提供、サポートなどを行われ得る。このように、本発明は、コンピュータ・インフラストラクチャの展開または統合のためのプロセスを開示しており、これは、コンピュータ可読コードを、コンピュータ・システム９０に統合することを含み、このコードは、コンピュータ・システム９０と共同して、ビデオ・フレームのシーケンスを実時間処理する方法を行うことができる。
【０１２３】
別の実施形態では、本発明は、加入、宣伝または手数料ベース、あるいはそのすべてで本発明のプロセス・ステップを行うビジネス方法を提供する。すなわち、ソリューション・インテグレータなどのサービス・プロバイダは、ビデオ・フレームのシーケンスの実時間処理を容易にすることを提案することができるであろう。この場合、サービス・プロバイダは、１件以上の顧客に対して、本発明のプロセス・ステップを実行するコンピュータ・インフラストラクチャの作成、統合、ホスト、維持、展開、管理、サービス提供、サポートなどをすることができる。見返りとして、サービス・プロバイダは、加入もしくは手数料契約あるいはその両方に基づき、顧客（単数または複数）から報酬を受け取ること、または、１件以上のサード・パーティに対する宣伝コンテンツの販売の報酬を受け取ること、あるいはその両方を行うことができる。
【０１２４】
図１８は、ハードウェアおよびソフトウェアの詳細な構成としてコンピュータ・システム９０を示しているが、当業者には既知であると思われるハードウェアおよびソフトウェアの任意の構成が、図１８の特定のコンピュータ・システム９０に関連して上に記載された目的のために利用されてよい。例えば、メモリ・デバイス９４および９５は、別々のメモリ・デバイスではなく単一のメモリ・デバイスの複数部分であってもよい。
【０１２５】
本願明細書には、本発明の特定の実施形態が、説明を目的として記載されたが、当業者には多数の修正および変更が明らかであろう。したがって、添付の特許請求の範囲は、本発明の真の意図および範囲に入るそのような修正および変更すべてを包含するものとする。
【図面の簡単な説明】
【０１２６】
【図１】本発明の実施形態に従った、警告をトリガするために、ビデオ・ストリームのビデオ・フレームを実時間記録するのと同時に受信されるビデオ・フレームのシーケンスを実時間処理する方法を示す流れ図であり、静止対象の放置／除去済み状態を決定するために、放置／除去済み対象検出アルゴリズム（Ａ／Ｒアルゴリズム）を実行することが含まれる。
【図２】本発明の実施形態に従った、図１の放置／除去済み対象検出アルゴリズム（Ａ／Ｒアルゴリズム）の実装を示す流れ図であり、現在のフレームと、ビデオ・ストリームの背景画像との両方に対して領域拡張手順を行うことが含まれる。
【図３】本発明の実施形態に従った、図２の領域拡張手順の実施を示す流れ図である。
【図４】本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。
【図５】本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。
【図６】本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。
【図７】本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。
【図８】本発明の実施形態に従った、図３の領域拡張手順の第１入力フレームへの適用を示している。
【図９】本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。
【図１０】本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。
【図１１】本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。
【図１２】本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。
【図１３】本発明の実施形態に従った、図３の領域拡張手順の第２入力フレームへの適用を示している。
【図１４】本発明の実施形態に従った、コンピュータ・システムのデータ記憶媒体への静止対象の格納を示す流れ図である。
【図１５】本発明の実施形態に従った、静止対象に関連して警報をトリガするのに必要な要件が満たされたことを決定するプロセスを示す流れ図である。
【図１６】本発明の実施形態に従った、静止対象を表す静止領域の一時的な持続を追跡する例を示している。
【図１７】本発明の実施形態に従った、静止対象を表す静止領域の一時的な持続を追跡する例を示している。
【図１８】本発明の実施形態に従った、ビデオ・フレームのシーケンスを実時間処理するために使用されるコンピュータ・システムを示している。
【図１】
0005274318.tif 000006
【図２】
0005274318.tif 000007
【図３】
0005274318.tif 000008
【図４】
0005274318.tif 000009
【図５】
0005274318.tif 000010
【図６】
0005274318.tif 000011
【図７】
0005274318.tif 000012
【図８】
0005274318.tif 000013
【図９】
0005274318.tif 000014
【図１０】
0005274318.tif 000015
【図１１】
0005274318.tif 000016
【図１２】
0005274318.tif 000017
【図１３】
0005274318.tif 000018
【図１４】
0005274318.tif 000019
【図１５】
0005274318.tif 000020
【図１６】
0005274318.tif 000021
【図１７】
0005274318.tif 000022
【図１８】
0005274318.tif 000023