(57)【要約】【課題】監視ビデオと画像において事象を検出するための高精度のシステムおよび方法を提供すること。【解決手段】受信された画像のシーケンスから事象を検出して識別するシステムおよび方法。このシステムは、カメラからの画像のシーケンスを受信して処理する制御ユニットを有する。制御ユニットは、事象の前の少なくとも１つの静止画像と、事象の後の１つの静止画像を識別する。制御ユニットは、事象中にオブジェクトが配置されたかまたは持ち去られたかを判断するために、第一静止画像内の１つ以上の縁に対応する１つ以上の表現と、第二静止画像内の１つ以上の縁に対応する１つ以上の表現とを比較する。【選択図】図１
2004519786.tif 000002
【特許請求の範囲】
【請求項１】
受信された画像のシーケンスから事象を検出しかつ識別するシステムであって、前記システムが、カメラからの前記画像のシーケンスを受信しかつ処理する制御ユニットを有し、前記制御ユニットが、前記事象の前の少なくとも１つの静止画像と、前記事象の後の１つの静止画像とを識別し、前記制御ユニットが、前記事象の間にオブジェクトが配置されたかまたは持ち去られたかを判断するために、前記第一静止画像内の１つ以上の縁に対応する１つ以上の表現と、前記第二静止画像内の１つ以上の縁に対応する１つ以上の表現とを比較する、システム。
【請求項２】
前記制御ユニットが、前記第一静止画像内の前記縁を有する前記第一静止画像の輪郭を作成する、請求項１のシステム。
【請求項３】
前記制御ユニットが、前記第二静止画像内の縁の電子的表現を作成し、かつ、前記第二静止画像の縁の前記電子的表現と前記第一静止画像の前記輪郭とを比較する、請求項２のシステム。
【請求項４】
前記第一静止画像の前記輪郭の１つ以上の部分について、前記第二静止画像内に比較可能な縁の電子的な表現が存在しないときには、前記制御ユニットが、オブジェクトの持ち去りが行われたと判断する、請求項３のシステム。
【請求項５】
前記制御ユニットが、前記第一静止画像の前記輪郭を構成する１つ以上の曲線の正味長さを求め、かつ、前記第二静止画像の前記１つ以上の縁の正味長さを求め、かつ、前記第一静止画像の前記１つ以上の曲線の前記正味長さと、前記第二静止画像の前記１つ以上の縁の前記正味長さとを比較する、請求項３のシステム。
【請求項６】
前記第一静止画像の前記１つ以上の曲線の前記正味長さについて、前記第二静止画像内にそれと比較可能な前記１つ以上の縁の正味長さが存在しないときには、前記制御ユニットが、オブジェクトの持ち去りが行われたと判断する、請求項５のシステム。
【請求項７】
前記制御ユニットが、前記第二静止画像の前記１つ以上の縁から１つ以上のテンプレートを作成し、かつ、前記テンプレートと、前記第一静止画像の前記輪郭を構成する１つ以上の曲線から成る１つ以上の領域とを比較する、請求項３のシステム。
【請求項８】
前記第一静止画像の前記輪郭によって囲まれる領域が、前記第二静止画像から作成されるテンプレートによって覆われていないときには、前記制御ユニットが、オブジェクトの持ち去りが行われたと判断する、請求項７のシステム。
【請求項９】
受信された画像のシーケンスから事象を検出して識別するシステムであって、前記システムが、カメラからの前記画像のシーケンスを受信して処理する制御ユニットを有し、前記制御ユニットが、前記事象の前と後の前記静止画像のグループから選択される少なくとも１つの静止画像を識別し、前記制御ユニットが、前記事象の間にオブジェクトが配置されたかまたは持ち去られたかを判断するために、前記少なくとも１つの静止画像内の識別された境界位置を分析する、システム。
【請求項１０】
前記制御ユニットが、後に続く静止画像内の前記識別された境界位置の周囲の画像勾配を積分し、かつ、前記事象の間に前記オブジェクトが配置されたかまたは持ち去られたかを判断するために、前記積分としきい値とを比較する、請求項９のシステム。
【請求項１１】
前記画像勾配の前記積分が前記しきい値よりも小さいときには、前記制御ユニットが、持ち去り事象が起きたと判断する、請求項１０のシステム。
【請求項１２】
前記制御ユニットが、以前の静止画像内の前記識別された境界位置の周囲の前記画像勾配を積分し、かつ、前記事象の間に前記オブジェクトが配置されたかまたは持ち去られたかを判断するために、前記積分としきい値とを比較する、請求項９のシステム。
【請求項１３】
前記画像勾配の前記積分が前記しきい値よりも大きいときには、前記制御ユニットが、持ち去り事象が起きたと判断する、請求項１２のシステム。
【請求項１４】
前記制御ユニットが、以前の静止画像と後に続く静止画像それぞれの中の前記識別された境界位置の周囲の前記画像勾配を積分し、かつ、前記事象の間に前記オブジェクトが配置されたかまたは持ち去られたかを判断するために、前記以前の静止画像と前記後に続く静止画像の前記積分を比較する、請求項９のシステム。
【請求項１５】
前記以前の静止画像の前記画像勾配の前記積分が、前記後に続く静止画像の前記画像勾配よりも大きいときには、前記制御ユニットが、持ち去り事象が起きたと判断する、請求項１４のシステム。
【請求項１６】
前記事象の間に前記オブジェクトが配置されたかまたは持ち去られたかを判断するために、前記制御ユニットが、前記境界位置の内側の少なくとも１つのピクセルの前記色と、前記境界位置の外側の少なくとも１つのピクセルの前記色とを比較する、請求項９のシステム。
【請求項１７】
前記画像が、前記事象の後の静止画像であり、かつ、前記境界位置の前記内側の前記少なくとも１つのピクセルの前記色と、前記境界位置の前記外側の前記少なくとも１つのピクセルの前記色との差がしきい値より小さいときには、前記制御ユニットが、持ち去り事象が起きたと判断する、請求項１６のシステム。
【請求項１８】
前記画像が、前記事象の前の静止画像であり、かつ、前記境界位置の前記内側の前記少なくとも１つのピクセルの前記色と、前記境界位置の前記外側の前記少なくとも１つのピクセルの前記色との差がしきい値より大きいときには、前記制御ユニットが、持ち去り事象が起きたと判断する、請求項１６のシステム。
【請求項１９】
前記事象の間に前記オブジェクトが配置されたかまたは持ち去られたかを判断するために、前記制御ユニットが、前記境界位置の前記内側の多数のピクセルの色ヒストグラムと、前記境界位置の前記外側の多数のピクセルの色ヒストグラムとを比較する、請求項９のシステム。
【請求項２０】
前記画像が前記事象の後の静止画像であり、かつ、前記境界位置の前記内側の前記ピクセルの前記ヒストグラムの前記色分布と、前記境界位置の前記外側の前記ピクセルの前記ヒストグラムの前記色分布との一致の程度がしきい値より大きいときに、前記制御ユニットが、持ち去り事象が起きたと判断する、請求項１９のシステム。
【請求項２１】
前記画像が前記事象の前の静止画像であり、かつ、前記境界位置の前記内側の前記ピクセルの前記ヒストグラムの前記色分布と、前記境界位置の前記外側の前記ピクセルの前記ヒストグラムの前記色分布との一致の程度がしきい値より小さいときに、前記制御ユニットが、持ち去り事象が起きたと判断する、請求項１９のシステム。
【請求項２２】
受信された画像のシーケンスから事象を検出および識別するための方法であって、前記方法が、
ａ）前記事象の前の少なくとも１つの静止画像と前記事象の後の１つの静止画像を識別するステップと、
ｂ）前記第一静止画像内の１つ以上の縁に対応する１つ以上の表現と、前記第二静止画像内の１つ以上の縁に対応する１つ以上の表現とを比較するステップと、
ｃ）前記ステップｂ）の比較に基づいて、前記事象の間にオブジェクトが配置されたかまたは持ち去られたかを判断するステップと、
を有する、方法。
【請求項２３】
受信された画像のシーケンスから事象を検出および識別するための方法であって、前記方法が、
ａ）前記カメラからの前記画像のシーケンスを受信しかつ処理するステップと、
ｂ）前記事象の前と後の静止画像のグループから選択される少なくとも１つの静止画像を識別するステップと、
ｃ）前記少なくとも１つの静止画像内で識別される境界位置を分析するステップと、
ｄ）前記事象の間にオブジェクトが配置されたかまたは持ち去られたかを判断するステップと、
を有する、方法。
【請求項２４】
前記少なくとも１つの静止画像内の識別された境界位置を分析する前記ステップが、画像内の前記識別された境界位置の周囲の前記画像勾配を積分するステップを有する、請求項２３の方法。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、監視ビデオにおけるオブジェクトの配置と持ち去りなどの事象の識別に関する。
【０００２】
【従来の技術】
監視ビデオは、多くの用途に使用され、最も多いのがセキュリティ用である。代表的な監視ビデオは、ロケーション内のオブジェクトが盗まれないように保護する目的で、侵入者を警戒するためにロケーションに向けられる。例えば、倉庫においては、財産の盗難から企業を保護する目的で監視ビデオが使用され、ショッピングセンターの駐車場においては、車を盗難と強盗から保護する目的で監視ビデオが使用されている。
【０００３】
いくつかの用途においては、盗難等の犯罪をリアルタイムで防止するために、人がビデオカメラ（または他のロケーション用のビデオカメラ）をモニターする。このタイプの使用方法は、代表的にはオフィスビル、駐車場、銀行などにおいて見られる。ビデオカメラによって捕捉された画像をビデオテープ等の媒体に記録することが、しばしば、このようなリアルタイムのモニタリングを補う。これにより、監視者がリアルタイムで犯罪を目撃できなかった場合、あるいは犯罪を調査したり起訴するための証拠が必要とされる場合に、事象を後から見ることが可能となる。
【０００４】
用途によっては、リアルタイムのモニタリングが不要である、または不経済なことがある。例えば、倉庫内の在庫の盗難を警戒するとき、リアルタイムモニタリングの費用が盗難の平均被害額を上回ることがある。このような場合には、シーンのビデオ記録しか使用されない。この方法は、盗難その他の犯罪に対する抑止効果を発揮し（犯罪を犯そうとする者がカメラを見る、または犯罪者に警告する貼り紙等があるため）、また調査および／または起訴において使用できる犯罪の記録も提供する。
【０００５】
ビデオ画像の中で起こる特定の事象を自動的に識別しようとする方法およびシステムがすでに開発されている。これにより、ロケーションが記録されたビデオテープの関連する部分（セグメント）を、対応する事象によって電子的にマークを付けるまたは「索引付けする」ことができる。例えば、識別して索引付けすることが一般に望まれる事象には、監視中のシーンに人またはオブジェクトが入ってくること、ロケーションからオブジェクトまたは人が出て行くこと、ロケーションにオブジェクトを配置することおよびロケーションから持ち去ることが、あげられる。
【０００６】
このような索引付けにより、例えば、盗難等の犯罪の発生後に、何時間ものビデオテープ上で起きた特定の事象を後から迅速に見ることができる。例えば、コンピュータの盗難が起きた場合、索引を使用して、ビデオテープ内に識別された「持ち去り」事象すべてを後からすばやく精査することができる。このことは、例えば、調査を迅速に進めることに役立つであろう。
【０００７】
ここで、このような索引付けは、ロケーションのビデオテープにおける、配置、持ち去り、立ち入り、立ち去りなどの事象の索引が、膨大であっても、役立つことは留意すべきである。例えば、稼動中の倉庫においては、何時間ものビデオ監視とテープ記録の間に数百もの上記事象が存在することがある。しかしながら、犯罪が起きたときには、特定の種類の事象（品目の「持ち去り」など）を集中的に見ることは、何時間ものテープ（またはその他の記録媒体）全体を見るよりも有用である。また、このような事象を識別することは、シーンのリアルタイムのモニタリングを補うこともできる。特定の事象（ロケーションにオブジェクトまたは人が「入る」など）時に、ロケーションをモニターしている人に音声アラームを鳴らすことができる。
【０００８】
コートニー（Ｃｏｕｒｔｎｅｙ）氏の米国特許第５，９６９，７５５号（この内容は参照文献として本文書に組み込まれている）は、監視カメラから受信されたビデオにおいて特定の「内容ベースの（ｃｏｎｔｅｎｔ ｂａｓｅｄ）」事象を自動的に識別し、かつこのビデオをこのような事象によって索引付けするための１つのモーションベース手法（ｍｏｔｉｏｎ ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅ）について説明している。ビデオ画像はセグメントに分割され、セグメント内でビデオオブジェクト（「Ｖオブジェクト」）が識別される。この識別は、基準画像と現在の画像とを比較し、形態的演算（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｒａｔｉｏｎｓ）を実行し、そのＶオブジェクトを構成する変化領域（ｃｈａｎｇｅ ｒｅｇｉｏｎｓ）を識別することによって行われる。Ｖオブジェクトは受信されたビデオフレームの間で追跡され、従って、更新された位置と推定速度が得られる。位置と推定された速度とを使用すれば、画像の１つのセグメントから別のセグメントの間でＶオブジェクトを追跡することもできる。コートニー氏は、事象を識別するために特定の規則をビデオセグメントに適用している。
【０００９】
例えば、コートニー氏の規則によると、Ｖオブジェクトのフレーム間の追跡シーケンスが次のことを示す場合、すなわち、このシーケンスが特定のフレームで始まり（トラックの「先頭」を有する）、後に続くフレームにおいて静止したままであり、動くＶオブジェクトのトラックが静止トラックの先頭の前のフレームにおける静止したオブジェクトのトラックと交差する、ことを示す場合には、動くＶオブジェクトは「配置する人」と識別され、静止トラックの先頭がオブジェクトの「配置」と識別されて索引付けされる。同様に、Ｖオブジェクトのフレーム間の追跡シーケンスが次のことを示す場合、すなわち、このシーケンスが静止状態であり、特定のフレームで終了し（トラック「終端」を有する）、動くＶオブジェクトのトラックが静止トラックの終端の後のフレームにおける静止したオブジェクトのトラックと交差する、ことを示す場合には、動くＶオブジェクトは「持ち去る人」と識別され、静止トラックの終端がオブジェクトの「持ち去り」と識別されて索引付けされる。
【００１０】
コートニー氏の手法の１つの問題は、最初からシーン内に存在していたオブジェクトの持ち去りを間違って識別してしまうことである。コートニー氏の手法は、このような持ち去りを配置と識別することがある。実際に、このシステムは、オブジェクトが持ち去られた箇所における画像内の静止した変化領域または静止した「穴」を検出することがある。本質的な原因は、オブジェクトが持ち去られる前に、システムが、それを見ていない（または認識していない）ので、それを基準フレームの一部として処理することである。従って、画像内で生じるこの静止した変化領域は、オブジェクトがすでに持ち去られていても、配置と分類されることがある。コートニー氏自身は、この欠点を第６欄、第４７〜５１行において認めている。
【００１１】
さらに、コートニー氏の手法は、複数のオブジェクトの動きと速度を識別、推定、追跡することに依存し、かつその規則は、１つのオブジェクトを別のオブジェクトとの関連で追跡する相互作用に適用される。このように画像において複数のオブジェクトを相互的に推定および追跡することは、相対的に複雑であるので、相対的に高い割合で事象が誤って検出および／または識別されることにつながる。
【００１２】
シーン内の変化を判断するために適用される別の手法が、米国特許第６，０４９，３６３号（コートニー氏ら）に説明されていて（「コートニーＩＩ」）、この内容は参照文献として本文書に組み込まれている。コートニーＩＩは、１つの画像にオブジェクトが存在し、別の画像にそのオブジェクトが存在しないことを判断することに焦点を当てている。「テレビデータ」の場合におけるピクセルから成る画像の場合、２つの別々の画像の対応するピクセルが減算されて、２つの画像の一方の中のオブジェクトに対応する「変化領域」が識別される。次いで、２つの画像内で縁として識別されたピクセルそれぞれが、画像内の「変化領域」の中の対応する境界ピクセルと比較される。画像と変化領域の間で比較されたピクセルが高い確率で一致しているところでは、オブジェクトが、その画像内に存在しているものと識別される。
【００１３】
コートニー氏は、ＩＩの場合、赤外線画像において画像の縁が容易に検出できないことを認めている。従って、赤外線画像の場合、コートニーＩＩは、２つの別々の画像を使用して変化領域を識別し、次いで、それら２つの別々の画像の変化領域内のピクセル強度の相違を求める。赤外線カメラにおけるオブジェクトの画像内に見出される「コントラスト・ハロ（ｃｏｎｔｒａｓｔｉｎｇ ｈａｌｏ）」に基づいて、このオブジェクトは、最大の強度差を有する画像の中に存在するものと判断される。
【００１４】
コートニーＩＩの手法は、２つの画像を直接的に比較してこのような変化領域を生成し、次いでこの２つの画像を変化領域自体とさらに比較するものであるが、多くの問題がある。例えば、ビデオカメラがわずかに動いたり、画像内の縁が拡散していると、それに起因して変化領域の境界が２つのどちらの画像の中の縁にも対応しないことがある。さらに、２つの別々の画像の間で照明が異なると、無数の誤った「変化領域」と、そのような誤った変化領域の境界と画像の１つの間に同様の誤った「一致」が生じることがある。赤外線カメラの手法は、赤外線カメラの光学における収差（ａｂｅｒｒａｔｉｏｎ）に依存し、かつこれは実際にはより良質の赤外線カメラには生じない。
【００１５】
【課題を解決するための手段】
本発明の目的は、特に、監視ビデオと画像において事象を検出するための高精度のシステムおよび方法を提供することである。追加の目的は、このシステムおよび手法が、持ち去りと配置などの重要な事象を、高確率の誤った識別無しに、高い信頼性で検出することである。さらなる追加の目的は、このシステムおよび方法を、相対的に簡単で単純な方法で実施することである。
【００１６】
このシステムおよび方法は、それ自体が、事象またはロケーション内の変化を検出できるのみならず、ロケーションが変化した場合においてもオブジェクトが配置されたかまたは持ち去られたかを正確に識別できる。これに代えて、このシステムおよび方法を使用して、事象を検出して事象のタイプの識別を試みる既存の手法と方法に補足的な分析を提供することができる。補足的な分析として使用されるときには、（コートニー氏の特許における手法などの）既存の手法を使用して、画像内で事象を検出し、持ち去りや配置など事象のタイプを識別することさえできる。この場合、本発明の手法を使用することにより、事象をさらに分析して、事象の検出および／または事象のタイプの識別の信頼性を高めることができる。
【００１７】
これらの目的によると、本発明は、少なくとも１つの受信された画像からロケーション内のオブジェクトの輪郭を作成することによって、監視ビデオと画像において事象を高い信頼性で識別する方法およびシステムを提供する。後に続く画像内に検出される縁が、この輪郭と比較される。オブジェクトがロケーションに置かれているときには、後に続く画像内の縁数は、輪郭における縁数より多い。オブジェクトがロケーションから持ち去られるときには、後に続く画像内の縁数は、輪郭における縁数より少なくなる。従って、ロケーションへのオブジェクトの配置とロケーションからの持ち去りを正確に識別して索引付けすることができる。さらに、配置と持ち去りが検出されるたびに輪郭を更新して、新しい背景シーンを正確に反映させることができる。さらに、輪郭と後に続く画像をセグメントに分割して、個別に比較することができる。
【００１８】
縁セグメントが輪郭の対応する部分に存在するか存在しないかを判断することにより、後に続く画像内で検出される縁を輪郭と比較することができる。これに代えて、オブジェクトに対応する（縁の閉ループを構成する）縁セグメントが、輪郭の対応する部分に存在するか否かを判断することもできる。（縁セグメントによって求められるオブジェクトのテンプレートを輪郭と比較する、またはこの逆を行うことができる。）後に続く画像内の縁セグメントの数が輪郭における縁セグメントの数より多い場合には、配置が行われたことになる。少ない場合には、持ち去りが行われたことになる。また、縁セグメントによって求められるオブジェクトのテンプレートを、輪郭と比較することもできる。テンプレートが輪郭に一致しない部所には、配置が行われたことになる。輪郭内のオブジェクトに一致するテンプレートが存在しないところには、持ち去りが行われたことになる。これに代えて、テンプレートを輪郭から求めて、縁セグメントと比較することもできる。
【００１９】
さらに、後に続く画像における縁の長さを（積分等の画像処理によって）求め、それを輪郭における曲線の長さと比較することにより、後に続く画像において検出される縁を輪郭と比較することもできる。後に続く画像における縁の長さが輪郭における縁の長さよりも大きい場合には、配置事象が起きたことになる。少ない場合には、持ち去り事象が起きたことになる。
【００２０】
上述した手法は、ロケーションの変化事象そのものを検出するためのみならず、事象を持ち去りまたは配置と識別するためにも使用できる。これに代えて、この手法は、ロケーションの変化事象を検出する既存の手法のための、事象の検出と事象のタイプの識別を確認する補足的な分析としても使用できる。
【００２１】
本発明の別の実施例は、配置または持ち去り事象が検出された後に事象のタイプを識別する補足的な分析の手法を提供する。事象を検出する（コートニー氏の特許に説明されている手法などの）既存の手法または本発明の手法は、事象が起きた後の画像の中の、配置されたかまたは持ち去られたオブジェクトの境界位置も提供する。配置または持ち去り事象を識別するために、事象後の画像の画像勾配（ｉｍａｇｅ ｇｒａｄｉｅｎｔ）が、オブジェクトの境界位置に沿って積分される。画像勾配の積分がしきい値以下である場合、つまり、事象後の画像内のオブジェクトの位置の境界に沿っての連続性が示される場合には、持ち去りが示される。画像勾配がしきい値を超えている場合、つまり、事象後の画像内のオブジェクトの位置の境界に沿っての縁が示される場合には、配置が示される。
【００２２】
しきい値を使用する代わりに、事象前の画像の画像勾配が、オブジェクトの位置の境界に沿って積分され、かつ事象前の画像勾配のその積分が、事象後の画像勾配の積分と比較される。事象前の画像勾配の方が大きい場合、つまり、事象前の画像内のオブジェクトの位置の境界に沿っての縁が示される場合には、持ち去りが示される。事象後の画像勾配の積分の方が大きい場合、つまり、事象前の画像内のオブジェクトの位置の境界に沿っての縁が示される場合には、配置が示される。
【００２３】
事象前と事象後の画像勾配の積分が実質的に等しい場合には、結果を確定できないことがある。例えば、オブジェクトの配置も持ち去りもない場合には、画像勾配の積分は等しくなるであろう。あるいは、事象前の画像内のオブジェクトとカメラの間に同じ寸法の新しいオブジェクトが置かれる場合にも、画像勾配の積分が等しくなるであろう。また、オブジェクトが持ち去られたが、持ち去さられることによってそれまで隠れていた同じ寸法のオブジェクトが（カメラの前に）現れる場合にも、画像勾配の積分が等しくなるであろう。従って、事象前と後の画像勾配の積分が実質的に等しい場合には、事象は、「オブジェクトが移動された」事象として総称的に索引付けすることができる。
【００２４】
本発明のさらに別の実施例は、配置または持ち去り事象と、画像におけるその境界位置とが検出された後の、事象のタイプを識別する補足的な分析の手法を提供する。事象前の画像と事象後の画像のいずれかまたは両方について、画像内の境界位置の内側の色とテクスチャが、境界位置の外側の色とテクスチャと比較される。例えば、事象後の画像における境界の内側と外側の色とテクスチャとが実質的に類似する場合、つまり、連続的な画像を示す場合、事象は持ち去り事象である。事象後の画像における境界位置の内側と外側の色とテクスチャが実質的に異なる場合、配置事象が記録される。事象前の画像においても同様の比較と事象の識別を行うことができる。そして、判断において、事象前と事象後の両方の画像を一緒に使用することができる。事象位置とその周囲の色ヒストグラムを使用して、事象前と後の画像の領域の間の類似性と相違性の程度を求めることができる。
【００２５】
【発明を実施するための形態】
図１は、本発明をサポートする代表的なビデオ監視システムの構成要素を表す。カメラ１０は、監視するロケーションに向けられていて、画像を制御ユニット２０に供給する。カメラ１０は、デジタルビデオカメラ等のデジタルカメラとすることが出来る。デジタルカメラ１０の場合、カメラは、ロケーションのデジタル画像のシーケンス（これは圧縮可能である）を制御ユニット２０に供給する。各デジタル画像は、その画像を再構築して表示するのに使用される多数のピクセルに対応するデジタルデータを有する。アナログのカメラ１０の場合には、制御ユニット２０は、受信された画像にアナログ−デジタル処理を行うことができる。このデータは、以下に説明される処理、索引付け、格納において使用される。
【００２６】
制御ユニット２０は、１つ以上のプロセッサ、システムソフトウェアおよびハードウェア、メモリと、後から詳細に説明される本発明の実施例の自動的な事象検出および識別処理（事象の索引付けなど）をサポートするアプリケーションソフトウェアとを含む。また、制御ユニット２０は、関連する画像処理、前述したようにアナログカメラ１０が採用されるときのＡ／Ｄコンバータによる処理、圧縮、解凍などの処理も含むことができる。
【００２７】
メモリ３０は、制御ユニット２０から受信された処理済みの画像を格納するのに使用される。格納された画像は、後から取得できるように、検出された事象（事象のタイプの識別など）によって索引付けすることができる。メモリ３０は、ハードディスク、ディスク、ビデオテープ（デジタルビデオテープなど）、揮発性メモリ／ＲＡＭなど、使用可能な任意の記録媒体でよい。メモリ３０から画像を順に取得し、これを使用することで、カメラ１０によって捕捉されたビデオシーケンスを再構築できる。これに代えて、プロセッサによる画像フレームの索引付けによって識別される特定のタイプの事象を、メモリ３０内で検索することもできる（後に詳細に説明される）。
【００２８】
ビデオ画像の再生、および／または、特定のタイプの事象が捕捉されたことを示す索引を有する１つまたは複数の画像（または画像のシーケンス）の検索は、制御ユニット２０のインタフェースとして機能するＧＵＩ ２２を使用するビューアによって開始することができる。次いで、制御ユニット２０は、（可能な場合）特定の索引を検索し、表示できるように画像を処理し、関連する画像のシーケンスをディスプレイ２４を介してユーザに提供する。表示する画像の検索と取得の機能は、メモリ３０とのインタフェースとして機能する個別の制御ユニットが、提供してもよい。
【００２９】
図２ａと２ｂは、異なる時刻にカメラ１０によって捕捉された２つの静止画像を表す。カメラが向けられている物理的な領域は、一般に「ロケーション」と呼ばれ、これは図２ａと２ｂにおいて同じである。捕捉されたロケーションの画像は、図２ａと２ｂに示されているように異なることがある。また、画像は、「シーン」またはこれに類似する用語と呼ばれることがある。図２ａの画像は、時刻ｔａにおいて捕捉された、（両方ともテーブル４８によって支えられている）ボール４０とラジオ４４を含む。図２ｂの画像は、時刻ｔｂにおいて捕捉された、テーブル４８によって支えられているボール４０のみを含む。従って、図２ａの画像が、時間的に図２ｂの画像に先行する（すなわちｔａ ＜ ｔｂ）場合、ラジオ４４は、図２ａと図２ｂの間にロケーションから持ち去られたことになる。これに対して、図２ｂの画像が時間的に図２ａの画像に先行する（すなわちｔｂ ＜ ｔａ）場合、ラジオ４４は図２ｂと図２ａの間にロケーションに配置されたことになる。図２ａと２ｂなどの画像は、一般に、制御ユニット２０によって処理される多数のピクセルから成る。
【００３０】
次に、図２ａと２ｂを使用して、本発明の最初の実施例について説明する。最初の実施例は、事象（例えば、シーン内のオブジェクトの持ち去りまたは配置）を検出することと、持ち去りまたは配置のいずれのタイプの事象であるかを識別することの両方に使用できる。以下の説明においては、持ち去り事象（この場合には図２ａのラジオ４４）に焦点が当てられている。従って、図２ａの画像は、ラジオ４４が持ち去られる前のシーンであり、図２ｂは、ラジオが持ち去られた後のシーンである。
【００３１】
事象は、ロケーションの中で、従って事象中に捕捉される画像のシーケンスの中で、移動する（人を含む）オブジェクトから成る。事象の前と後では、時間的に短いこともあるが、シーンは実質的に静止していることが多い。事象の間に、画像内には動きがある。従って、図２ａは、ラジオ４４の持ち去りを含む事象よりいくらか前の静止画像と考えることができ、図２ｂは、事象後の静止画像と考えることができる。
【００３２】
制御ユニット２０は、画像内の動きを検出する動き検出ソフトウェアを含むことができる。例えば、制御ユニット２０は、画像内の（またはこれと等しい意味としてロケーション内の）動きを検出するための周知の動きセグメンテーション手法（ｍｏｔｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）を採用することができる。動きが検出されないときには、制御ユニット２０は、現在の静止画像の輪郭を作成する。従って、制御ユニット２０は、持ち去り事象（および検出された動き）より前の図２ａの静止画像を使用して、図３ａに示されているように画像の形状とオブジェクトの輪郭を作成する。
【００３３】
図３ａの輪郭は、図２ａの画像の、骨格のみに近い表現である。この輪郭は、例えば、図２ａを構成する多数のピクセルに、制御ユニット内で縁検出処理を適用することによって作成できる。図３ａの輪郭は、例えば、制御ユニット２０内のＲＡＭメモリに一時的に格納されている、制御ユニット２０内の多数のピクセルから成る。その後、制御ユニット２０によって画像内の動きが検出され、次いで図２ｂに示されている静止画像になると、制御ユニット２０は、その静止画像内の縁を識別する。図２ｂの画像の検出された縁には、テーブル４８とボール４０の縁のみが含まれる。
【００３４】
ここで、一般に、縁検出は、オブジェクトの境界または周囲を表す縁に加えて、（例えば、オブジェクトのテクスチャの結果として）オブジェクトの内側の縁も検出できることは、留意すべきである。しかしながら、後に続く静止画像内のオブジェクトの輪郭と境界部分の縁は、（例えば）基準フレームとの比較によりて変化領域を検出することによって、または既知の背景モデリングを使用することによって識別することができる。（基準の変化領域を使用する方法の場合、基準フレーム内に最初から存在していて、かつ事象前と後に続く両方の静止画像において静止したままであるオブジェクトは、識別されない。しかしながら、このオブジェクトは持ち去られても置かれてもいないため、このことは重要ではない。基準フレーム内に最初から存在しているオブジェクトが事象中に持ち去られると、後に続く静止画像に変化領域が生じる。）
【００３５】
検出された動きの後に続く静止画像（すなわち図２ｂ）の縁が、動きの前の静止画像の輪郭と比較される。図２ｂには、図３ａの先行する静止画像の輪郭におけるラジオ４４の輪郭に一致する縁がないため、制御ユニット２０は、事象が、ラジオ４４の位置におけるオブジェクトの持ち去りであると結論づける。
【００３６】
制御ユニット２０による、後に続く静止画像において検出された縁を以前の静止画像の輪郭と比較する処理は、いくつもの方法によって行うことができる。単純な方法としては、後に続く画像のさまざまな縁を構成するピクセルを識別し、対応する輪郭のピクセルを取得して、縁が輪郭の一部を有するか否かを判断することができる。有さない場合には、以前の静止画像の輪郭の中に見つからなかった縁が、後に続く画像内に存在し、後に続く画像内に新しいオブジェクトが存在する、すなわち配置事象が示される。また、制御ユニット２０は、以前の画像の輪郭全体が後に続く画像内の縁に一致するか否かを追跡することもできる。一致しない場合、後に続く画像内には以前の静止画像の輪郭の一部に対応する縁が存在せず、持ち去り事象が示される。
【００３７】
従って、この例において、制御ユニット２０は、図２ｂの後に続く画像に、図３ａにおけるラジオ４４の輪郭に対応する縁が存在しない、すなわち、ラジオ４４が持ち去られていると判断する。
【００３８】
後に続く静止画像内の縁を以前の静止画像の輪郭と比較するために画像間で対応するピクセルを使用する代わりに、後に続く画像内の各縁と画像における位置を制御ユニット２０に識別させることもできる。以前の静止画像の輪郭における周囲を含む対応する位置が、類似する形状を有するか否かが分析される。輪郭の周囲の領域は、後に続く画像内の縁に対応する以前の静止画像の輪郭のピクセルを囲む特定の数のピクセルでよい。輪郭における類似する形状は、検出された輪郭の形状と縁とが対応する程度によって判断できる。
【００３９】
これに代えて、後に続く画像内で（基準画像との比較または背景モデリングによって）変化領域と識別される領域を囲む閉ループを形成する１つ以上の縁を、制御ユニット２０によって識別し、これを使用してテンプレートを作成することもできる。テンプレートは、以前の静止画像の輪郭の同じ位置に配置される。テンプレートの（すなわち縁の閉ループ内の）領域を構成するピクセルが、輪郭におけるピクセルの閉ループ内の領域の特定の割合を覆う場合には、制御ユニット２０は、これらの形状は一致するものと結論される。テンプレートは、当然ながら、縁を構成するピクセルとそのメモリ位置とを追跡することによって制御ユニット２０によって内部的に作成される。テンプレートは、テンプレートのピクセルと輪郭のピクセルとを比較することによって、輪郭の同じ位置に制御ユニット２０によって内部的に「配置」される。この処理は、後に続く画像内の連続体（ｃｏｎｔｉｎｕｕｍ）を形成する縁から成るテンプレートすべてについて繰り返される。
【００４０】
この場合にも、後に続く画像の中に、以前の静止画像の輪郭内に存在しないと制御ユニット２０によって判断されたテンプレートがある場合には、制御ユニットは、配置事象が起きたと結論づける。また、制御ユニット２０は、以前の画像の輪郭全体が後に続く画像のテンプレートに一致するか否かも追跡する。一致しない場合、制御ユニットは、持ち去り事象が起きたと結論づける。
【００４１】
これに代えて、制御ユニット２０は、以前の静止画像の輪郭を構成する曲線の正味長さを積算し、それによって第一積算長さ値を計算することもできる。次いで、制御ユニット２０は、後に続く静止画像内で識別される境界縁を構成する曲線の正味長さを積算し、これによって第二積算長さ値を計算することができる。第一積算長さ値が第二積算長さよりも大きい場合には、後に続く画像内の縁数の方が以前の画像の輪郭における縁数より少なく、これは、持ち去り事象を示す。第二積算長さ値が第一積算長さ値よりも大きい場合は、後に続く画像内の縁数の方が以前の画像の輪郭における縁数より多く、従って、これは配置事象を示す。
【００４２】
制御ユニット２０は、縁または曲線内の隣接するピクセル間に代表距離（ｒｅｐｒｅｓｅｎｔａｔｉｖｅ ｄｉｓｔａｎｃｅ）を割り当てることによって、輪郭の縁と曲線を積算することができる。斜めに隣接しているピクセルには、すぐ隣の（すなわち上下左右の）ピクセルより大きい距離を割り当てることができる。制御ユニット２０は、後に続く画像内の縁の既知のピクセル位置を使用して、すべてのピクセルの間の代表距離を加えて、これによって第一積算長さ値を計算することができる。同様に、制御ユニット２０は、以前の画像内の曲線の既知のピクセル位置を使用して、すべてのピクセルの間の代表距離を加えて、これによって第二積算長さ値を計算することができる。制御ユニットは、第一および第二積算長さ値を比較することによってどちらが大きいかを判断し、これにより、持ち去り事象（第一積算長さ値が第二積算長さ値より大きい）または配置事象（第二積算長さ値が第一積算長さ値より大きい）があるか否かを判断する。
【００４３】
上記の例に戻ると、図３ａの以前の静止画像の輪郭の第一積算長さ値は、図３ｂの後に続く静止画像内で検出された縁の第二積算長さ値より大きい。従って、制御ユニット２０は、２つの積算長さ値を計算して比較した後、持ち去り事象が起きたと結論づける。
【００４４】
各画像のセクターにこの手法を適用することによって、制御ユニット２０が、配置または持ち去り事象が起きた画像の部分を識別することが可能となるように、この積算手法を、修正することも出来る。これに代えて、制御ユニット２０は、各画像内で連続しかつ閉じている経路を形成し、かつ基準画像または既知の背景モデリングのいずれかを使用して、変化領域と識別され（かつ従ってそれぞれが個々のオブジェクトを示す）縁と曲線に、積算手法を適用することもできる。以前の静止画像の輪郭における閉曲線と、２番目の静止画像の１つ以上の閉じた縁の積算値を、画像間で比較することができる。輪郭の閉曲線の積算値が２番目の画像内の閉じた縁の積算値に十分近い（例えば、特定の割合以内）場合には、前述したように、制御ユニット２０は、事象のタイプを確定できないものと判断し、かつ事象を動かされたオブジェクトを含むものと単純に索引付ける。２番目の静止画像内のオブジェクトを構成する１つ以上の縁の中にないオブジェクトの積算値が、以前の静止画像の曲線内に存在している場合には、制御ユニット２０は、識別されたオブジェクトの持ち去りが起きたと結論づける。これに対して、以前の静止画像の曲線内にないオブジェクトの積算値が、２番目の静止画像内のオブジェクトを構成する１つ以上の縁の中に見出される場合には、制御ユニット２０は、識別されたオブジェクトの配置が起きたと結論づける。
【００４５】
上記の実施例の概説に説明されているように、特定の手法のいずれかを使用して、後に続く静止画像内の縁数が、以前の静止画像の輪郭における縁数より多いと判断される場合には、制御ユニット２０は、配置事象が起こったと判断する。例えば、図２ｂの画像が図２ａの画像より前である場合、以前の静止画像の輪郭は図３ｂに示される。制御ユニット２０は、上に説明した方法のいずれかを使用して、図３ｂの以前の静止画像の輪郭と図２ａの後に続く静止画像内に検出される縁とを比較することによって、後に続く静止画像内の縁数の方が以前の静止画像の輪郭の曲線数よりも大きいものと判断する。従って、制御ユニット２０は、配置（この場合にはラジオ４４）が行われたと結論づける。
【００４６】
ここで、事象はシーン内に動きがあることを意味するが、動きがあることは、必ずしもその結果として特定の事象が存在することにはならないことは、留意すべきである。例えば、画像内の動きには、画像内のオブジェクトを持ち去ったりオブジェクトを配置せずに画像を横切って歩く人も含まれる。従って、この動きに関しては立ち入りと立ち去り事象が存在するが、配置または持ち去り事象は存在しない。この場合、事象の後の静止画像は、事象の前の静止画像と同じであり、上述した比較手法のいずれかを使用すると、後に続く静止画像の縁は輪郭の曲線に完全に（または実質的に）一致する。制御ユニット２０は、上述した場合のように、事象のタイプを確定できないものと判断し、かつ事象を動かされたオブジェクトを含むものと単純に索引付ける。
【００４７】
上述したように、上記実施例は、最初に事象を検出し、次いで、事象の前の静止画像の輪郭と事象の後の静止画像内で検出された縁を処理して比較することによって、配置または持ち去り事象を識別する。上記の最初に説明したように、事象の検出自体は、捕捉された画像のシーケンスに既知の動き検出処理を適用し、次いで、本発明の上述した実施例を使用して事象の前と後の静止画像を分析することによって得られた。
【００４８】
この実施例によって提供される処理は、最初に事象を検出して、次いで事象のタイプを識別するように適合化することができる。従って、例えば、制御ユニット２０は、入力される画像のシーケンスから第一画像を選択し、それが静止画像であると想定し、上述したようにその画像の輪郭を作成することができる。その後、一定の間隔（例えば、人または車などが画像のロケーションを通過するのにかかるであろうより短い時間間隔）で、制御ユニット２０は、シーケンスから後に続く画像を選択し、縁を分析して、上述した実施例の方法のいずれかを使用してそれを第一画像の輪郭と比較する。例えば、制御ユニット２０は、第一画像の輪郭と後に続く画像の縁の正味長さを積算して、比較することができる。
【００４９】
正味長さ（または他の比較方法）が第一画像と後に続く画像の間で等しい場合には、制御ユニット２０は、画像が静止したままであったと結論づける。制御ユニット２０は、その後（連続的な時間間隔で）、シーケンスから後に続く画像を選択して分析し、後に続く各画像を第一画像の輪郭と比較することを続ける。第一画像の輪郭と後に続く画像の縁の間で正味長さの差が検出されると、制御ユニット２０は、画像内に動きがある（すなわち事象が進行している）と結論づける。そして、制御ユニット２０は、第一画像の輪郭と、選択されて分析される後に続く画像の縁の間の正味長さの差を追跡する。正味長さの差がもはや変化していないと判断すると、制御ユニット２０は、選択された最後の後に続く画像が静止画像も表すものと結論づける。
【００５０】
制御ユニット２０は、事象の前の静止画像（すなわち第一画像）と事象の後の静止画像の両方を決定した後、上記の実施例の方法のいずれかを使用して、事象を持ち去りまたは配置（または確定できない）と識別する。事象が識別された後、制御ユニット２０は、第一静止画像を、識別された後に続く静止画像により交換し、事象を検出するために、入力される画像のシーケンスの処理を続行する。
【００５１】
先に注意したように、制御ユニット２０によって選択された第一画像は、静止状態であると初めに仮定されている。制御ユニット２０は、第一画像として選定される最初の画像が静止状態であるか否かを認識していない場合、第一画像と後に続く画像の間の正味長さの差の変化がなくなるまで、上述した方法によって最初の第一画像と後に続く画像とを比較することができる。これにより、後に続く画像は静止状態であり、制御ユニット２０は、この画像を第一画像として使用し、前述されている方法により処理を続行する。
【００５２】
上記の実施例の、事象を識別するための他の方法（縁の比較とテンプレートなど）も、事象の検出と識別を行う目的で同様に適用することができる。
【００５３】
これに代えて、実施例による事象の識別を、他の検出および／または識別手法を補うために使用することもできる。例えば、「従来の技術」の項で参照されているコートニー氏の特許の手法を、事象の発生を検出するために最初に適用することができる。コートニー氏は、配置と持ち去り事象など事象のタイプを識別することも主張している。しかしながら、前述したように、配置と持ち去り事象のコートニーの識別は誤りであることがある。従って、コートニー氏の手法によって検出されて最初に分析される事象の前と後に記録されている静止画像に、本発明の上記の実施例を適用することができる。この補足的な分析により、配置または持ち去り事象が正確に識別される。
【００５４】
事象が分析された後、かつ該当する場合には、配置または持ち去り事象が識別されると、最後に制御ユニット２０は、後に続く静止画像を使用して次に検出される事象に対し以前の静止画像として格納される新しい輪郭を生成する。これにより、制御ユニット２０は、静止シーンの更新された画像を維持する。
【００５５】
本発明の代替実施例は、制御ユニット２０内で検出された事象が持ち去りまたは配置事象のいずれであるかを識別する分析を提供する。例えば、補足的な識別分析として使用されるときには、この代替実施例の分析は、（以前の静止画像の輪郭と後に続く静止画像内で検出される縁を比較することに基づく）上記の最初の実施例の検出および識別手法の補足的な識別分析として適用できる。別の例として、事象を検出し、その事象が配置または持ち去り事象のいずれであるかを識別するために、コートニー氏の手法を適用してもよい。しかしながら先に注意したように、コートニー氏の手法による配置または持ち去りのいずれであるかと言う事象の識別は、場合によっては正確ではないことがあるので、より正確な識別を提供する補足的な分析を適用することが望ましいことがある。
【００５６】
代替実施例を補足的な識別用に適用することについて、最初に説明する。この場合、代替実施例の補足的な分析を適用する前に、制御ユニット２０は、事象を有する画像をすでに分析しており、オブジェクトを、少なくとも事象中に配置されたかまたは取り去られたかのいずれかと識別している。従って、制御ユニット２０は、画像内のオブジェクトの位置（すなわち境界）を認識していて、必要があるのは、そのオブジェクトが配置されたか持ち去られたか否かを判断する（または確認する）ことである。図４は、事象の後に制御ユニット２０によって識別された静止画像である。上述したように、制御ユニット２０は、配置または持ち去り事象の位置をすでに識別している。本例の場合、制御ユニットは、ラジオ４４の境界を、事象中に配置されたかまたは持ち去られたオブジェクトであると識別している。従って、このラジオは、図４において破線によって表されている。ラジオ４４が事象中に配置された場合には、ラジオ４４とその識別された境界は、図４において画像の一部となる（すなわち、ボール４０とテーブル４８のような実線の画像となる）。ラジオが持ち去られた場合には、ラジオ４４またはその境界に対応するオブジェクトが画像内に存在しない。
【００５７】
識別された境界においてオブジェクトの配置と持ち去りのいずれがあったかを判断するために、制御ユニット２０は、オブジェクトの求められた境界に対応する画像内の破線に沿って画像勾配の積分を実行する。画像勾配は、画像内の各ポイントにおける画像強度の最大の変化率の方向を指すベクトルである。各ポイントにおける画像勾配ベクトルの大きさは、そのポイントにおける画像強度の最大変化率に等しい。従って、画像内のオブジェクトの境界に沿った画像勾配は、その大きさが相対的に大きい。その理由は、画像の境界で、画像強度が、相対的に突然の変化を表すためである。これに対して、オブジェクトの境界に対応しない画像内の線に沿った画像強度は、相対的に連続的であるので、画像勾配はこのような線に沿って相対的に小さい。
【００５８】
従って、ラジオが後に続く画像内に存在する（すなわち配置事象）の場合には、ラジオの境界が画像内に存在し、画像勾配はその境界において相対的に大きい。この結果、画像の破線に沿った画像勾配の積分は、相対的に大きい。ラジオが後に続く画像内に存在しない（すなわち持ち去り事象）場合には、画像勾配は、持ち去られたラジオの以前の境界を表す破線に沿って相対的に小さい。この結果、破線に沿った画像勾配の積分は、相対的に小さい。
【００５９】
従って、制御ユニット２０は、図４の破線に沿って画像勾配を求めて積分する。勾配は、ＩＸがｘ方向に沿った画像関数の導関数で、ＩＹがｙ方向に沿った導関数である、ベクトル（ＩＸ， ＩＹ）である。ＩＸとＩＹの計算は、この分野では周知であり、一般には、画像をぼかす（ｂｌｕｒｒｉｎｇ）ステップと、次いでｘ方向とｙ方向における微分演算子（Ｓｏｂｅｌ演算子など）を適用するステップを含む。このような画像勾配を求める手法は、Ｖｉｓｈｖｊｉｔ Ｓ．Ｎａｌｗａ氏らの「Ａ Ｇｕｉｄｅｄ Ｔｏｕｒ Ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（コンピュータビジョンの指針）」（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ， １９９３年）に説明されていて、この内容は参照情報として本文書に組み込まれている。（特に、本文の第３．１．２節は、画像勾配について説明している。）制御ユニット２０は、画像内の破線について画像勾配ベクトルを合計することによって画像勾配を積分する。
【００６０】
先に注意したように、破線が画像内のラジオの境界を実際に表す場合には、破線を構成するポイントにおいて画像強度が大きく変化する。従って、画像勾配の積分は、相対的に大きい。制御ユニット２０は、求められた積分をしきい値と比較し、しきい値より大きい場合には、画像内にラジオ４４が存在し、配置事象が起きたものと判断する。これに対して、破線が画像内のラジオの境界を表さない場合には、破線を構成するポイントにおいて画像強度の変化は小さい。従って、画像勾配の積分は、相対的に小さい。しきい値より小さいと判断される場合、制御ユニット２０は、画像内にラジオ４４が存在せず、持ち去り事象が起きたものと判断する。
【００６１】
しきい値は、画像の他の部分における単位長さのサンプル曲線を積分することによって、制御ユニット２０によって求めることができる。先に注意したように、実際の境界に対応するサンプルの積分は、オブジェクトの境界に沿わないサンプルの積分よりも著しく大きい。制御ユニット２０は、サンプルのより高い値とより低い値の間で単位長さあたりのしきい値を選択することができる。しきい値は、単位長さあたりのしきい値に、画像内の検討対象の境界の長さ（図４におけるラジオ４４の境界を表す破線の長さなど）を乗じることによって求められる。
【００６２】
これに代えて、強度の画像勾配を計算する代わりに、カラー画像の場合には、３つの画像勾配の積分（それぞれ赤、青、緑の成分の積分）を計算することができる。強度勾配を積分する代わりに、各色成分の勾配の大きさを積分し、次いで、比較のために合計することができる。
【００６３】
上記実施例においては、制御ユニット２０は、図４に示されているように、事象の後の静止画像内での画像勾配の積分との比較にしきい値を使用する。これに代えて、制御ユニット２０は、事象の前の静止画像内の破線の画像勾配の積分（Ｉ（前）と呼ぶ）と、事象の後の静止画像内の破線の画像勾配の積分（Ｉ（後）と呼ぶ）とを求めることができる。配置または持ち去りのいずれかが行われているため、積分の一方は、ラジオの境界の積分であるので、相対的に大きく、もう一方の積分は、オブジェクトの境界に沿っていないので、相対的に小さい。従って、Ｉ（前）がＩ（後）より大きい場合には、制御ユニット２０は、ラジオは以前の静止画像内にあり、事象中に持ち去られたものと結論づける。これに対して、Ｉ（後）がＩ（前）より大きい場合には、制御ユニット２０は、ラジオは後の静止画像内にあり、事象中に配置されたものと結論づける。
【００６４】
上述されている実施例は、画像勾配の積分以外の識別手法を使用することによって修正することができる。図４について上説明した実施例の最初のバリエーションの場合と同様に、制御ユニット２０は、以前の事象において置かれるかまたは持ち去られたオブジェクト（ラジオ４４）の境界を表す、後に続く静止画像の破線部分を検討することができる。制御ユニット２０は、オブジェクト４４の内側４４ｉの１つ以上のピクセルの色と、オブジェクト４４の外側４４ｅの１つ以上の近くのピクセルの色を比較することができる。オブジェクト４４が後に続く静止画像内に存在しない場合には、ラジオ４４の以前の境界に対応する画像内のシーンのほとんどまたは一部は、別のオブジェクトの連続的な部分、またはシーンの背景である可能性が高い。従って、破線の両側の近くのピクセルの色は、相対的によく一致する。よく一致する場合、制御ユニット２０は、後に続く静止シーン内にオブジェクトが存在せず、持ち去り事象が起きたものと判断する。
【００６５】
これに対して、オブジェクト（ラジオ４４）が後に続く静止画像内に存在している場合には、破線において実際の境界があり、破線の両側の近くのピクセルの色が相対的に大きく異なる可能性が高い。相対的に大きく異なる場合、制御ユニット２０は、後に続く静止シーン内にオブジェクトが存在し、配置事象が起きたものと判断する。
【００６６】
前に配置事象が起きたにもかかわらず特定の領域において色がよく一致している可能性、または前に持ち去り事象が起きたにもかかわらず特定の領域において破線の両側の色が大きく異なっている可能性を排除する目的で、制御ユニット２０は、破線の周囲の多数のサンプルについて、破線の両側の近くのピクセルを比較することができる。破線の周囲のサンプルの大部分が、後に続く静止画像において大きな差を示す場合には、制御ユニット２０は、配置事象が起きたと結論づける。破線の周囲のサンプルの大部分が小さな差を示す場合には、制御ユニット２０は、持ち去り事象が起きたと結論づける。制御ユニット２０は、近くのピクセルの代表的な大きな差と小さな差を求めるために、画像（または以前の画像）の他の部分を標本抽出することができる。これに代えて、制御ユニット２０は、大きな差とみなす数値として、可視スペクトル上の色の１０％以上の変化など、あらかじめプログラムされた数値を使用することができる。
【００６７】
これに代えて、制御ユニット２０は、オブジェクトの内側の１つ以上のピクセルの色を、事象の前の静止画像内のオブジェクトの外側の１つ以上の近くのピクセルと、同様の方法において比較することもできる。以前の画像内の境界の両側の色がよく一致している（このことは以前の画像内にオブジェクトが存在していないことを示す）場合には、制御ユニット２０は、配置事象が起きたと結論づける。以前の画像内の境界の両側の色が大きく異なる（このことは以前の画像内にオブジェクトが存在していることを示す）場合には、制御ユニット２０は、持ち去り事象が起きたと結論づける。
【００６８】
また、オブジェクトの配置または持ち去りについてのより包括的な識別を達成するために、制御ユニットは、以前の静止画像と後に続く静止画像の両方について、近くのピクセルの色を比較することもできる。より包括的なこの分析は、配置または持ち去り事象が起きたか否かの確認も提供する。以前の静止画像と後に続く静止画像の両方において近くのピクセルの色が大きく異なるか、または以前の静止画像と後に続く静止画像の両方において近くのピクセルの色の違いが小さい場合、制御ユニット２０は、事象のタイプを確定できないものと判断し、事象を「オブジェクトが動かされた」ものとしてマークする。
【００６９】
別の変更例においては、制御ユニット２０は、以前の事象において配置されたかまたは持ち去られたオブジェクト（ラジオ４４）の境界を表す、後に続く静止画像の破線部分の内側と外側のピクセルについて、色ヒストグラムを作成して比較することができる。制御ユニット２０は、例えば、破線の内側のピクセルの小さい帯域の色ヒストグラムを作成して、破線の外側のピクセルの小さい帯域について作成された同様の色ヒストグラムとそれを比較することができる。制御ユニット２０は、内側と外側のヒストグラムの色分布が全体的な色分布のしきい値割合より大きく一致すると判断する場合、破線の両側の画像は実質的に連続していて、従って持ち去り事象が起きたものと結論づける。これに対して、制御ユニット２０は、ヒストグラムの色分布が全体的な色分布のしきい値割合より小さく一致すると判断する場合、後に続く画像内に実際の境界が存在し、従って配置事象が起きたものと判断する。
【００７０】
ヒストグラムを作成するとき、破線の一方の側のヒストグラム内で考慮される各ピクセルは、その色周波数における単位値（ｕｎｉｔ ｖａｌｕｅ）とすることができる。例えば、制御ユニット２０は、破線の内側のピクセルを使用するヒストグラムを作成するために、各ピクセルの色を判断し、ヒストグラム内の色周波数に単位値を加える。すべてのピクセルが考慮されると、色周波数の関数としてピクセル数を表す分布となる。１つの例が図５ａに示されている。破線の外側のピクセルは、破線の外側のヒストグラムを作成するために使用され、例えば、図５ｂに示されている。ヒストグラムは、各ヒストグラムを作成するときに使用されるピクセルの数に起因する差を排除するために、正規化され、比較される。図５ａと５ｂを比較すると、破線の内側と外側の領域ａおよびｂが実質的に同じである（例えば、色分布は全体的な分布のしきい値割合よりも大きく一致している）ことが示されているので、これは、破線が両側の画像内で連続していることを示す。制御ユニット２０は、後に続く画像内にオブジェクトの境界が存在せず、従って持ち去り事象であると結論づける。
【００７１】
同様に、配置または持ち去り事象が起きたか否かを判断するために、以前の静止画像についてヒストグラムを作成して比較することができる。以前の画像の場合、ヒストグラムが大きく一致していることは配置事象を示し、大きく異なることは持ち去り事象を示す。事象が起きたか否かを含めて、事象のタイプをさらなに確認するために、以前の静止画像と後に続く静止画像の両方についてヒストグラムを作成して比較することができる。すなわち、以前の画像の内側と外側のヒストグラムがよく一致し、かつ、後に続く画像の内側と外側のヒストグラムがよく一致する場合には、制御ユニット２０は、結果が確定的でないため、事象のタイプを「オブジェクトが動かされた」と識別する。また、以前の画像の内側と外側のヒストグラムが大きく異なり、かつ、後に続く画像の内側と外側のヒストグラムが大きく異なる場合にも、制御ユニット２０は、結果を確定できないため、事象のタイプを「オブジェクトが動かされた」と総称的に識別する。
【００７２】
この実施例によって提供される処理は、それ自身、最初に事象を検出して、次いで、前の実施例の処理に類似する方法によって事象のタイプを識別するのに使用することができる。従って、制御ユニット２０は、例えば、入力される画像のシーケンスから第一画像を選択することができる。これが静止画像であると想定して、制御ユニット２０は、縁検出処理を使用して画像内の縁を検出し、次いで、例えば、（基準画像との比較または背景モデリングによって）オブジェクトの境界として識別される縁から成る画像内のすべての閉曲線について画像勾配の積分を求めることができる。その後、制御ユニット２０は、一定の時間間隔で、シーケンスから後に続く画像を選択し、同様の方法においてそれを分析する。第一画像と後に続く画像について、画像勾配の積分の一致性が比較される。
【００７３】
画像内の積分のすべてが一致する場合には、制御ユニット２０は、画像が静止してままであると結論づけられる。制御ユニット２０は、（連続的な時間間隔で）シーケンスから後に続く画像を選択、分析し、後に続く画像それぞれの画像勾配の積分を第一画像の積分と比較することを続ける。差が検出される（すなわち、制御ユニット２０が、後に続く画像内に見つからない第一画像内の画像勾配の積分を見つける、またはこの逆）と、制御ユニット２０は、画像内に動きがある（すなわち事象が進行している）と結論づける。その時点で、制御ユニット２０は、第一画像の画像勾配の積分と、選択されて分析される後に続く画像の画像勾配の積分との間の差を追跡する。制御ユニット２０は、第一画像と後に続く画像の間で画像勾配の差がもはや変化していないと判断すると、選択された最後の後に続く画像が静止画像も表すものと結論づける。
【００７４】
制御ユニット２０は、事象の前の静止画像（すなわち第一画像）と事象の後の静止画像の両方を決定した後、上記実施例の方法のいずれかを使用して、事象を持ち去りまたは配置（または確定できない）と識別する。事象が識別された後、制御ユニット２０は、第一静止画像を、識別された後に続く静止画像により交換し、次いで、事象を検出するために、入力される画像のシーケンスの処理を続行する。
【００７５】
先に注意したように、制御ユニット２０によって選択された第一画像は静止状態であると初めに仮定されている。制御ユニット２０は、第一画像として選定される最初の画像が静止状態であるか否かを認識していない場合、第一画像と後に続く画像の間での画像勾配の積分の差の変化がなくなるまで、上述されている方法によって最初の第一画像と後に続く画像とを比較することができる。後に続く画像は静止状態であり、かつ制御ユニット２０は、この画像を第一画像と置き換え、次いで、前述されている方法で処理を続行する。
【００７６】
上記の実施例の、事象を識別するための他の方法（色ヒストグラムと色の比較など）も、事象の検出と識別に同様に適用することができる。
【００７７】
最後になるが、本発明の観点は、他の情況に適合化させることができる。例えば、このシステムは、人がシーン内にオブジェクトを運び、それをシーン内に配置する（配置事象）画像、または人がシーン内のオブジェクトを手に取り、それをシーンから運び去る（持ち去り事象）画像を捕捉することがある。最初の場合（配置事象）においては、システムは、例えば、その画像を基準画像と比較する、または背景モデリングを使用することによって、後に続く静止画像の変化部分を識別する。次いで、システムは、例えば、上記の実施例に説明されているように、変化部分におけるオブジェクトのテンプレートまたはヒストグラムのいずれかを作成することができる。このテンプレートまたはヒストグラムを、検出された動き（すなわち、人が配置するためにオブジェクトを運ぶ）を含む事象の前の画像と比較できる。この比較は、画像全体について行うか、または動く部分に焦点を当てることができる。後に続く静止画像のオブジェクトのテンプレートまたはヒストグラムが以前の画像の領域に一致する場合には、制御ユニットは、オブジェクトが配置されたものと判断する。
【００７８】
同様に、２番目の場合（持ち去り事象）においては、システムは、この場合にもその画像を基準画像と比較するかまたは背景モデリングを使用することによって、以前の静止画像の変化部分を識別する。次いで、システムは、例えば、上記の実施例に説明されているように、変化部分におけるオブジェクトのテンプレートまたはヒストグラムのいずれかを作成することができる。このテンプレートまたはヒストグラムを、検出された動き（すなわち、人が持ち去られるオブジェクトを運んでいる）を含む事象の後の画像と比較できる。この比較は、画像全体について行うか、または動く部分に焦点を当てることができる。後に続く静止画像のオブジェクトのテンプレートまたはヒストグラムが後に続く画像の領域に一致する場合には、制御ユニットは、オブジェクトが持ち去られたものと判断する。
【００７９】
以上、事象を検出および識別するためのさまざまな実施例を個別に説明してきたが、当業者には、事象を検出するおよび／または識別するために、２つ以上の手法を一緒に使用することもできることは、容易に理解されるであろう。複数の手法を使用して事象を検出するおよび／または識別することによって、より信頼性の高い結果が達成される。効率性を目的として、２つ以上の手法に必要となる共通の処理はまとめることができる。
【００８０】
本文書には、本発明の例示的な実施例が添付の図面を参照して説明されているが、本発明はこれらの実施例に厳密に限定されるのではなく、本発明の範囲は、添付される請求項の範囲によって定義されるものである。
【図面の簡単な説明】
【図１】本発明をサポートするシステムのブロック線図である。
【図２Ａ】事象を識別するために本発明の実施例によって処理される、ビデオカメラによって捕捉されたロケーションの静止画像である。
【図２Ｂ】事象を識別するために本発明の実施例によって処理される、ビデオカメラによって捕捉されたロケーションの静止画像である。
【図３Ａ】図２Ａの静止画像の輪郭である。
【図３Ｂ】図２Ｂの静止画像の輪郭である。
【図４】破線によって表されているオブジェクトが、配置されたかまたは持ち去られたものとして検出される、図２Ａと２Ｂに示されているロケーションの静止画像である。
【図５Ａ】画像内のオブジェクトの境界の内側の周辺のピクセルのヒストグラムである。
【図５Ｂ】画像内のオブジェクトの境界の外側の周辺のピクセルのヒストグラムである。
【符号の説明】
１０  カメラ
２０  制御ユニット
２２  ＧＵＩ
２４  ディスプレイ
３０  メモリ
４０  ボール
４４  ラジオ
４８  テーブル
【図１】
2004519786.tif 000003
【図２Ａ】
2004519786.tif 000004
【図２Ｂ】
2004519786.tif 000005
【図３Ａ】
2004519786.tif 000006
【図３Ｂ】
2004519786.tif 000007
【図４】
2004519786.tif 000008
【図５Ａ】
2004519786.tif 000009
【図５Ｂ】
2004519786.tif 000010
【国際公開パンフレット】
2004519786.tif 000011
2004519786.tif 000012
2004519786.tif 000013
2004519786.tif 000014
2004519786.tif 000015
2004519786.tif 000016
2004519786.tif 000017
2004519786.tif 000018
2004519786.tif 000019
2004519786.tif 000020
2004519786.tif 000021
2004519786.tif 000022
2004519786.tif 000023
2004519786.tif 000024
2004519786.tif 000025
2004519786.tif 000026
2004519786.tif 000027
2004519786.tif 000028
2004519786.tif 000029
2004519786.tif 000030
2004519786.tif 000031
2004519786.tif 000032
2004519786.tif 000033
2004519786.tif 000034
2004519786.tif 000035
2004519786.tif 000036
2004519786.tif 000037
2004519786.tif 000038
2004519786.tif 000039
2004519786.tif 000040
2004519786.tif 000041
【国際公開パンフレット（コレクトバージョン）】
2004519786.tif 000042
【国際調査報告】
2004519786.tif 000043
2004519786.tif 000044
2004519786.tif 000045
2004519786.tif 000046