(57)【特許請求の範囲】
【請求項１】
入力ビデオ信号をデジタル化して、画素を含むデジタル化された入力ビデオ・フレームを生成するステップと、
第１の入力ビデオ・フレームの画素の値を参照フレームの対応する画素の値と比較することによって、前記第１の入力ビデオ・フレームの複数の画素の各々の差分値を得るステップと、
前記差分値を前記画素の差分値しきい値と比較するステップと、
差分値が前記画素の差分値しきい値を超える、画素の数をカウントするステップと、
前記画素のカウント数が、前記第１の入力ビデオ・フレームに適用可能な第１の差分カウントしきい値を超えるとき、動き検出指示を生成するステップと
前記得る、比較する、およびカウントするステップを第２の入力ビデオ・フレームについて繰り返すステップと、
前記第１の入力ビデオ・フレームの前記画素のカウント数が、前記第１の差分カウントしきい値を超え、前記第２の入力ビデオ・フレームの前記画素のカウント数が、前記第２の入力ビデオ・フレームに適用可能な第２の差分カウントしきい値よりも小さいとき、前記第２の入力ビデオ・フレームを参照フレームとして選択するステップと
を含むビデオにおける動きを検出する方法。
【請求項２】
差分値を得る前記ステップが、負数でない差分値を得ることを含む請求項１に記載の方法。
【請求項３】
前記画素として複数の画素を含む画素のグループを定義し、この画素のグループに対して前記各ステップが実行される請求項１に記載の方法。
【請求項４】
前記画素として単一画素を定義し、この単一画素に対して前記各ステップが実行される請求項１に記載の方法。
【請求項５】
同じ差分値しきい値が、前記第１の入力ビデオ・フレームの複数の隣接する画素に適用可能である請求項１に記載の方法。
【請求項６】
前記第２の差分カウントしきい値を前記第１の差分カウントしきい値から導出するステップをさらに含む請求項１に記載の方法。
【請求項７】
ビデオ入力を得るビデオ入力デバイスと、
前記ビデオ入力を受信して、画素を含むデジタル化された第１のビデオ入力フレームを生成するデジタイザと、
前記第１の入力フレームの複数の画素と、対応する参照フレームの対応する画素との間の差分値を得る差分器と、
前記各差分値について、前記差分値が対応する差分しきい値を超えるかどうかを判定するしきい値処理器と、
前記差分値が前記対応する差分しきい値を超える、画素の数を計数する差分カウンタと、
前記画素の数が対応する差分カウントしきい値を超えるとき、動き検出インジケータを出す動き検出器と、
前記第１の入力ビデオ・フレームの前記画素のカウント数が、前記第１の差分カウントしきい値を超え、前記第１の入力ビデオ・フレームに続く第２の入力ビデオ・フレームの前記画素のカウント数が、該第２の入力ビデオ・フレームに適用可能な第２の差分カウントしきい値よりも小さいとき、前記第２の入力ビデオ・フレームを新たな参照フレームとして選択する参照フレーム選択器と
を含む動き検出システム。
【請求項８】
前記ビデオ入力デバイスがビデオ・カメラを含む請求項７に記載の動き検出システム。
【請求項９】
前記差分値が輝度差分値を含む請求項７に記載の動き検出システム。
【請求項１０】
差分カウントしきい値生成器をさらに含む請求項７に記載の動き検出システム。
【請求項１１】
適応的差分カウントしきい値生成器をさらに含む請求項７に記載の動き検出システム。
【請求項１２】
画素を選択するため、および差分しきい値を前記選択された画素に割り当てるための画素選択器をさらに含む請求項７に記載の動き検出システム。
【請求項１３】
ビデオにおける動きを検出するコンピュータ可読プログラム・コードを記憶しているコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラム・コードは、
コンピュータ・プロセッサに、入力ビデオ信号をデジタル化して、画素を含むデジタル化された入力ビデオ・フレームを生成させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、第１の入力ビデオ・フレームの前記画素の値を参照フレームの対応する画素の値と比較することによって、前記第１の入力ビデオ・フレームの複数の前記画素の各々の差分値を得させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、前記差分値を前記画素の差分値しきい値と比較させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、差分値が前記画素の前記差分値しきい値を超える、各画素の数をカウントさせるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、前記画素のカウント数が、前記第１の入力ビデオ・フレームに適用可能な第１の差分カウントしきい値を超えるとき、動き検出指示を生成させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、前記第１の入力ビデオ・フレームに続く第２の入力ビデオ・フレームの複数の画素の差分値を、該第２の入力ビデオ・フレームの該画素の値を参照フレームの対応する画素の値と比較することによって、得させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、前記差分値を前記画素の差分値しきい値と比較させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、差分値が前記画素の前記差分値しきい値を超える各画素の数をカウントさせるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、第１の入力ビデオ・フレームの複数の前記各画像要素の差分値を、前記第１の入力ビデオ・フレームの前記画像要素の値を参照フレームの対応する画像要素の値と比較することによって、得させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、前記差分値を前記画素の差分値しきい値と比較させるようにする、コンピュータ・プロセッサ可読プログラム・コードと、
コンピュータ・プロセッサに、前記第１の入力ビデオ・フレームの前記画素のカウント数が、前記第１の差分カウントしきい値を超え、前記第２の入力ビデオ・フレームの前記画素のカウント数が、前記第２の入力ビデオ・フレームに適用可能な第２の差分カウントしきい値よりも小さいとき、前記第２の入力ビデオ・フレームを参照フレームとして選択させるようにする、コンピュータ・プロセッサ可読プログラム・コードと
を含むコンピュータ可読記憶媒体。
【請求項１４】
コンピュータ・プロセッサに差分値を得させるように構成された前記コンピュータ・プロセッサ可読プログラム・コードが、コンピュータ・プロセッサに負数でない差分値を得させるようにする、コンピュータ・プロセッサ可読プログラム・コードを含む請求項１３に記載のコンピュータ可読記憶媒体。
【請求項１５】
前記画素として複数の画素を含む画素のグループを定義し、この画素のグループに対して前記コンピュータ・プロセッサによる各処理が実行される請求項１３に記載のコンピュータ可読記憶媒体。
【請求項１６】
前記画素として単一画素を定義し、この単一画素に対して前記コンピュータ・プロセッサによる各処理が実行される請求項１３に記載のコンピュータ可読記憶媒体。
【請求項１７】
同じ差分値しきい値が、前記第１の入力ビデオ・フレームの複数の隣接する画素に適用可能である請求項１３に記載のコンピュータ可読記憶媒体。
【請求項１８】
コンピュータ・プロセッサに、前記第２の差分カウントしきい値を前記第１の差分カウントしきい値から導出させるようにする、コンピュータ・プロセッサ可読プログラム・コードをさらに含む請求項１３に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【０００１】
（発明の背景）
１．発明の分野
本発明は、ビデオにおける動きを検出する方法および装置に関する。
【０００２】
２．背景技術
動き検出器が使用されて、動きが検出されるかあるいは検出されないときにイベントをトリガする、多数の状況がある。いくつかの応用例には、誰かが部屋に入るときにライトを点灯すること、または、部屋内で動きがないときにライトを消灯することなどがある。他の使用には、セキュリティ、自動車窃盗防止、アラーム、自動ドア、および他のものが含まれる。現在の動き検出システムにはいくつかの欠点があり、コスト、複雑さ、性能の低さ、および他のものが含まれる。
【０００３】
従来技術には、動き検出のための２つの手法、すなわち「能動」および「受動」がある。能動技術は、ある形式のエネルギー（たとえば、音または電磁放射）を出し、返された信号に基づいて動きを検出する。これらの技術は、より電力を必要とし、より環境破壊的であり、かつ検出かつ無効にすることが容易である傾向がある。受動技術は信号を出さずに、その代りに監視中の環境を受動的に観察し、観察された動きに対して反応する。いくつかの受動動き検出技術では、ビデオ・カメラが使用される。
【０００４】
ビデオ・カメラの視野内の動きを検出するためのいくつかの技術が開発されてきた。これらの技術は、アナログおよびデジタル技術を含む。アナログ技術は、典型的には、カメラによって生成されたアナログ・ビデオ信号を見て、信号における変化を検査することによって動きを検出する。簡素な従来技術のアナログ技術の例には、光電セルをテレビ・モニタ上に置いて値の変化を検出すること、ワンショット・タイマを使用してビデオ信号における固定位置をサンプリングすること、および、様々な回路を使用してビデオ信号を統合することが含まれる。これらの簡素な技術は、ベースライン値に対して比較することができる信号を生成して、おそらく動きによって引き起こされるビデオ信号における変化を検出する。他の従来技術のアナログ技術は、入力ビデオ信号をフィルタリングあるいは統合し、信号の特性における著しい変化を探して動きを検出する。
【０００５】
これらのアナログ手法は安価な傾向があるが、粗悪で簡素化されたバージョンのビデオ信号を利用するので不十分な結果を提供する。信号の大量の情報内容が廃棄される。わずかな情報内容の信号で作業するので、達成できる最高のものは、入力信号が特定の方法において変化するときに動きがその場面において起こったという仮定である。
【０００６】
これらの従来技術のアナログ技術のすべては、これらが測定するものにおいて不正確である傾向がある。したがって、これらは、実際の動きに対する感度に関して固有の制限を有する。これらは、誤ったトリガの影響も受けやすい。
【０００７】
デジタル技術は、誤った積極的な（何もないときに動きを検出すること）、かつ、誤った消極的な（動きが存在するときに動きを検出しないこと）動き検出出力の両方を減らすことにおいて、よりよい傾向がある。デジタル手法は、正確かつ繰り返し可能に、数値をビデオ・カメラの視野の物理的部分と関連付けることができる。空間における領域から入ってくる光を正確に計量する能力によって、観察中の場面において動きが起こるときを、アナログ技術を使用して行うことができるよりも正確に決定することが可能となる。
【０００８】
（従来技術のデジタル技術）
デジタル動き検出技術は、２つの一般的なタイプの応用例に使用される。すなわち、ビデオ・インターレースの問題を処理するのに信号処理を利用できるようにするために、ビデオ・フレーム間の動きを決定すること、および、物理的なセキュリティのためにビデオに基づいた監視を行うことである。ビデオ・インタレース信号処理のために開発された技術は、はるかにより計算集中的である傾向があり、したがって、ビデオ・セキュリティ監視のために開発された技術よりコストがかかる傾向がある。加えて、ビデオ・インタレース処理技術は、わずかの動きを検出するために適しておらず、したがって、セキュリティ・ビデオの応用例ではうまく動きしない。これらの２つの応用例の領域はかなり異なる要件を有するので、それぞれのために開発されたデジタル処理技術は性質において異なる。たとえば、ある領域のビデオ監視のための動き検出の場合、動きをうまく検出する能力が重要な目的である。視野においてどの特定の被写体がどれだけ移動したかについての厳密な情報は、より重要性が低い。しかし、ビデオ・インタレース処理では、どの被写体がどれだけ移動したかを知ることが重要である。ビデオ・インタレース処理のために設計されたビデオ動き検出技術の一例が、Ｍｉｙａｚａｋｉ他の米国特許第４，８５１，９０４号において開示されている。
【０００９】
画像理解技術が、ビデオ・インタレース処理に使用するために開発されている。これらの画像理解技術は、ビデオ画像を、ビデオ・カメラの視野内の被写体に対応する画素の領域に自動的に区分する。次いで、これらの被写体の動きが検出され、追跡される。これらの技術は計算集中的であり、高価である。これらは、めったにリアルタイムで動きするようにすることができない。したがって、これらは典型的には、デジタル・ビデオ・セキュリティ応用例のために使用することができない。
【００１０】
従来技術の、動きを検出するための計算集中的な手法の一例は、画素の領域（典型的にはＮ×Ｍの方形）を入力ビデオ・ストリームから取り、それらを参照画像における対応する画素の領域と相関させることである。この手法は、上述の汎用画像理解手法に近似するものと見ることができる。入力画像が方形に分割される。これらの方形が、参照画像の対応する方形に対して比較される。画像をこの方法で方形に分割して方形を比較することは、入力画像において個々の被写体を識別しようとすること、および、これらの被写体の位置を参照画像における対応する被写体の位置と比較しようと試みることよりも、著しく簡素である。この技術はＭＰＥＧビデオ圧縮規格の一部として使用され、「動き補償」として知られている。この手法は、動きを検出するのに有効であり、いくつかの他の画像理解技術よりも複雑ではないが、なお時間がかかり、典型的には大規模で高価なカスタム集積回路の使用が必要である。加えて、これは入力画像の品質に対して感度が高い傾向がある。入力ビデオ信号におけるいかなる雑音によっても、参照画像における対応する領域を位置付けることが非常に困難になる。
【００１１】
セキュリティ・ビデオ応用例における動き検出のための他のデジタル技術は、ビデオ画像におけるエッジの検出に基づいている。すなわち、ある領域から別の領域へ線引きする、色または輝度における急な移行である。エッジ検出は、移行の検出および格納のみを必要とすることによって画像の処理を簡素化し、多数の画素の値を処理して格納することとは対照的である。エッジ検出は、ビデオ画像におけるピクセルの間に高度の相関がある（すなわち、画素の広い領域が類似の値を共有する傾向がある）という事実を利用する。
【００１２】
エッジ検出を使用するデバイスは、採光における変化によって引き起こされた誤ったトリガ・イベントに対して非常に感度が高い傾向がある。静止した場面は、採光が一日の経過にわたって場面における影の位置を変化させるので、動いているように見える可能性がある。エッジ検出システムの一例が、Ａｓｃｈｗａｎｄｅｎ他の米国特許第４，８９４，７１６号において開示されている。Ａｓｃｈｗａｎｄｅｎ他によって開示されたシステムは、フレームからフレームへのエッジの位置での変化を探す。このシステムは、トリガを引き起こすためにある程度の垂直なコヒーレンスを必要とする。すなわち、検出される動きのための多数の線にわたるエッジの所与の量の位相偏移がなければならない。格納される参照データは、エッジが以前のフレームの垂直走査線のどこに存在するかを指示する、１組のカウントを含む。
【００１３】
エッジは、入力ビデオの走査線を低域フィルタリングし、信号をしきい値処理し、次いで、フィルタリングされしきい値処理された信号を使用してワンショットをトリガすることによって検出される。ワンショットは、最後の値が走査線におけるエッジの位置であるカウンタをゲートするために使用される。
【００１４】
このエッジ検出技術は動き検出のための簡素な方法を提供するが、これは、動作しているビデオ信号の領域に関して制約され、以前のフレームのみを参照として使用する。結果として、著しく低速で移動中の被写体が検出されない。この手法はまた、それ自体が十分にエッジ検出に適さない環境において、うまく動作もしない。たとえば、エッジを発見するのに不十分な対照がある場合、あるいは、著しく大量の高周波構成要素が場面にあり、それらが多すぎるエッジを作成する場合である。
【００１５】
エッジ検出を使用する別の動き検出方式が、Ｗａｔａｎａｂｅの米国特許第５，２７２，５２７号において記載されている。Ｗａｔａｎａｂｅによって記載されたシステムでは、古典的な信号処理技術が、入力画像からエッジを抽出するために適用され、雑音低減技術が適用され、入力画像データを２値しきい値処理するために平均化機構が使用される。以前の２つの２値画像が保持され、一連の論理演算がこれらの画像上で実行されて、入力２値画像が比較される参照が作成される。本質において、以前の２つのフレームが使用されて参照マスクが生成され（それらの結合を反転させることによる）、次いで、２値のものの母集団カウントが、入力画像のマスクされたバージョンに適用される。結果は、入力画像と以前の２つの画像の間の差分の推定である。Ｗａｔａｎａｂｅの手法は、非常に複雑で費用がかかり、有効性も疑わしいものである。
【００１６】
大多数のビデオ動き検出技術は、入力ビデオ信号を、格納された参照信号と比較する原理で動作する。いくつかのデバイスは、以前のフレームを参照として使用するのみに制約される。以前のフレームのみを参照として使用することには、少ない記憶を必要とする利点があり、低速で変化する採光による誤ったトリガ・イベントに対してそれほど感度が高くなく、それ自体がより簡素な実施に適するが、低速の変化のイベントを検出することができないという欠点がある。
【００１７】
デジタル・ドメインでは、動きを検出するための共通の方法は、入力フレームの各画素の値を、参照フレームにおける対応する画素から引き、結果として得られる差分を累積し、累積された差分信号がある所定の量を超えるときに動き指示を生成することである。この手法での問題は、画像の領域全体にわたる変化が互いに相殺する可能性があり、それによって誤った読み取りを与えることである。たとえば、所与の画素がその対応する参照画素よりも量Ｎだけ明るくなる可能性があり、別の画素がその参照画素より−Ｎだけ暗くなる可能性がある。このような環境では、変化が相殺され、著しい動きが検出されない可能性がある。
【００１８】
加えて、対応する画素の値の差分を単に計算することは、有効な動き検出を提供しない。さらに、ビデオ・カメラの出力では、典型的には、ある雑音がビデオ信号上に加えられる。結果として、不変の場面における画素について報告された値が、フレームからフレームへ、単に雑音により、ある量をプラスかつマイナスして変動する可能性がある。大抵の既存の動き検出方法は、この雑音を補償しない。したがって、ビデオ信号上の雑音が、誤った積極的な応答の一因となり、動き検出者が、追加の誤った負数が生成される点まで感度を減らされることが必要となる。
【００１９】
これらの問題のいくつかを欠点として持つ動き検出システムの一例が、Ｂｒｏｗｎの米国特許第５，４５５，５６１号に開示されている。Ｂｒｏｗｎによって開示されたシステムでは、ハイブリッドのアナログ／デジタル手法が使用され、入力フレームが、格納された参照フレームの反転されたバージョンに追加される。結果として得られる差分値がしきい値処理され、しきい値処理された値が、所与の数のクロック・サイクルに対してあらかじめ設定された量を超えるときに、動き指示が生成される。Ｂｒｏｗｎのシステムは、カメラによって観察中のアクティビティの現在のレベルに関わらず、新しい参照フレームを周期的に所定の時間の増分で選択する。Ｂｒｏｗｎのシステムでは、使用中のしきい値が定数であり（すなわち、入力値に従って変動しない）、著しい動きを構成すると見られる異なる画素の数も定数である。
【００２０】
動き検出のための別の手法は、低減されたデータ・セットを得るためのビデオ画像のデジタル・デシメーション（サブサンプリングおよび低域フィルタリングによる）を含む。低減されたデータ・セットが、同様に低減された参照画像と比較される。デシメーションが元のデータの低域フィルタリングを含むので、結果として得られるデシメーションされた画像の画素が、サブサンプリング中に選択されなかった元の画像における他の画素からの効果を含む。デシメーションは、比較される必要のある画素の数を低減することができるが、なお、視野内の動きを検出することができる。デシメーション手法の一例が、本発明の譲受人に譲渡された、１９９６年５月３０日出願の米国特許出願第０８／６５５，５６２号において記載されている。
【００２１】
いくつかの既存の動き検出デバイスでは、カメラの視野内で関心領域を指定させる。たとえば、ビデオ・カメラのアクティブな画像領域の周囲の境界を、動き検出機構から除外されるように決めることができる。同様に、カメラの視野内の領域全体をマスクして、これらの領域内の（あるいは、別法として、外側の）動きが無視されるようにすることができる。これらのマスキング方式の挙動は、以前は厳密に２つであった。すなわち、画素が動き計算に含まれるか、含まれないかである。
【００２２】
Ｈｏｎｇの米国特許第５，３３９，１０４号は、ウィンドウ機構を使用して、関心領域をビデオ・フレーム全体内の方形に制限するシステムを記載している。Ｈｏｎｇのシステムは、参照フレームをデジタル化して格納し、これを入力ビデオに対して比較する。画素毎の比較機能が、ＥＰＲＯＭにおけるテーブル・ルックアップによって実行される。（６ビット）の入力画素値および参照画素値が連結されて、ＥＰＲＯＭへアドレスとして提示される。結果として得られるＥＰＲＯＭの出力は、差分値である。差分値が、マイクロプロセッサを制御することによって提供された基数および制限値と比較され、２値の出力が生成されて、この差分が所与の範囲の値内であるかどうかが指示される。所与の範囲内に収まる差分の数のカウントが維持され、このカウントが所与の値を超えるときに動き指示が生成される。
【００２３】
（発明の概要）
本発明は、入力ビデオ・ストリームからのフレームがデジタル化されるビデオにおける動きを検出する方法および装置を含む。各入力デジタル化フレームの画素が、参照フレームの対応する画素と比較され、入力画素と参照画素の間の差分が決定される。本発明の１つまたは複数の実施形態は、（画素が、異なると見なされるためにその対応する参照画素から変動しなければならない程度を（絶対値で）定義する）画素差分しきい値と、（動き検出指示が与えられるために異ならなければならない画素の数を定義する）フレーム差分しきい値を共に使用する。画素に対する画素差分が適用される画素差分しきい値を超える場合、画素が「異なる」とされる。フレームのための「異なる」画素の数が適用されるフレーム差分しきい値を超える場合、動きが起こったとされ、動き検出信号が出される。簡素なしきい値処理機構を使用することができる。たとえば、一実施態様では、入力フレームにおけるＭ個の画素のうちＮ個以上が参照フレームと異なる場合、動きが起こったと宣言される。１つまたは複数の他の実施形態では、適用されるフレーム差分しきい値が、最新のフレームによって提示されている現在の平均動きに応じて調整され、それによって「周囲の」動きを考慮し、位相のずれの効果を最小にする。
【００２４】
１つまたは複数の実施態様では、異なる画素差分しきい値を、異なる画素または画素のグループに割り当てることができ、それによってカメラの視野のある領域を、動きに対して多少感度が高くなるようにする。本発明の１つまたは複数の実施形態では、動きのない第１のフレームが、動きのある１つまたは複数のフレームの後に起こるとき、新しい参照フレームが選択される。
【００２５】
本発明は、有効で信頼性のある動き検出システムを提供する。
【００２６】
（発明の詳細な説明）
ビデオにおける動きを検出する方法および装置が記載される。以下の説明では、多数の特定の詳細が述べられて、本発明の完全な説明が提供される。しかし、これらの特定の詳細なしに本発明を実施できることが、当業者には明らかになるであろう。他の場合では、よく知られた特徴は、本発明を不明瞭にしないようにするため、詳細に記載されていない。
【００２７】
本発明は、ビデオ信号における実際の動きを、簡素で低コストの回路により信頼可能に検出する有効な手段を提供する。本発明の一実施形態は、ビデオ・カメラからの信号をデジタル化して復号することによって動作する。デジタル技術を使用して、画像における各画素位置が正確かつ繰り返し可能に測定され、「値」が各画素に割り当てられる。たとえば、ＹＵＶカラー・スキームでは、２つの色成分値および１つの輝度（「ｌｕｍａ」）値が各画素に割り当てられる。他のカラー・スキームでは、他の値を使用することができる。本明細書で画素に関して使用される「値」という語は、デジタル化処理中に画素に割り当てられるか、あるいは、割り当てられた値から導出される、１つまたは複数の値のいずれかを指す。
【００２８】
各画素がデジタル化されるとき、これが参照フレームにおける対応する画素と比較される。これらの２つの画素がいかに異なるかについての決定が行われる。理想的な場合では、場面が変化していない場合、ビデオのフレーム内の同じ位置の画素の値が、連続するフレームにわたって同じ値を有するべきである。しかし、実際には、ビデオ・カメラにおけるセンサが雑音を受け、場面が変化しないときでさえ、ビデオ・フレームにおけるいかなる位置の画素の値も、フレームからフレームへと幾分変動する。
【００２９】
本発明は、雑音によりフレームからフレームへと起こる画素値の変動の程度は（少なくとも所与のビデオ・カメラでは）ほぼ決まっており、かつそれほどでもない傾向があるという観察を利用し、しきい値処理機構を使用して雑音の効果をなくす。一実施形態では、このしきい値処理が、入力画素とその参照画素の間の差分の絶対値を取り、この絶対値を所与のしきい値と比較することによって実施される。差分の絶対値がしきい値よりも小さい場合、画素値における変動は雑音に帰し、入力画素が本質的に参照画素から変わっていないとする。
【００３０】
画素差分の絶対値を取ることによって、本発明は、入力画素がその参照画素と異なる方法（たとえば、入力画素がその参照画素より明るいかあるいは暗いか）を考慮しない。その代りに、差分の方向ではなく、差分の大きさに焦点を置く。
【００３１】
一実施形態は、動きがフレームにおいて存在するかどうかを、入力フレームと参照フレームの間で著しい差分を有する画素の数を計数することによって決定する。各入力ビデオ・フレーム毎に、それらの参照画素から著しく異なるとされた画素のカウントが維持される。このフレーム毎の画素差分カウントが使用されて、動きが入力および参照フレームの間で起こったかどうかが決定される。
【００３２】
従来技術とは異なり、本発明は、現在の「周囲の」レベルの動きを検出し、現在観察中である動きの量に比例して動き検出器の感度を減ずる能力を有する。これは、最近すぎた時間間隔にわたる平均動きを、最近のフレーム毎の累積画素差分カウントの長い履歴を維持しないで、これらの値にわたるスライディング・ウィンドウ平均を行わずに、計算する方法で行われる。終了指数平均として知られる技術が使用されて、フレームからフレームへと変化している画素の平均数が生成される。現在のフレームの画素差分カウントが平均画素差分カウントに追加され、結果として得られる和が２で除算される（これは、たとえば、固定長シフト・レジスタにおいて和の２値を右に１桁シフトすることによって、容易に実施することができる）。結果は、以前のフレームの値が連続的にさほど現在の平均に寄与しない、平均となる。この技術は、スライディング・ウィンドウ平均の十分な近似値を、はるかに低いコストで、より簡素な実施により提供できる。
【００３３】
平均計算は実際上、低域フィルタであり、これは位相のずれ、すなわち、計算された平均値が実際の値に遅れることとして知られる問題を欠点として持っている。この位相のずれの潜在的な効果は、実際の動きにおいて急な下降があるときに起こる可能性のある、反応時間の「影」（図３に例示）である。この環境では、画素差分カウントの計算された平均値が、ある期間について、実際の画素差分カウントよりはるかに高いままとなり、計算された平均より低い画素差分カウントを生成する動きにおける変化にシステムを過度に鈍感にしておく。この位相のずれにより、動きセンサが、より高い動きの継続された期間の後に続く著しい動きを検出することに失敗することがある。
【００３４】
本発明は、非対称の方法において、観察中の動きの量の変化に応答することによって、この潜在的な問題に対処する。一実施形態では、フレームのための現在の差分カウントが現在の平均より著しく少ないとき、現在の値が、平均を計算する際により多く重み付けされる。これは、平均値をより急速に実際の値まで下げる効果を有し、それによって感度の「影」を低減する。したがって、本発明は、様々な異なる状態および環境に動的に適合することができる。
【００３５】
ビデオ動き検出システムでは、採光における変化が動きにより混乱されないことが重要である。システムの、著しい動きを他の人為的なものから区別する能力は、参照フレームを選択するために使用された方針に大幅に依存する。共通の手法は、常に、先に受信されたフレームを参照フレームとして使用することである。そのようにすることは、デバイスが、非常に遅い早さで移動する被写体を検出できないようにする効果を有する。
【００３６】
本発明の１つまたは複数の実施形態では、以前のフレームを参照フレームとして使用する代りに、新しい参照フレームが、指定された参照フレーム選択基準に基づいて周期的に選択される。このようにして、低速で移動する被写体の動き効果が、入力画素が徐々にそれぞれの参照画素から離れるにつれて累積され、ついに動きイベントをトリガさせる。一実施形態では、選択される参照フレームは、検出された最後の動きを表しているビデオの最後のフレームである。参照フレームを選択するための他の方針も使用することができる。
【００３７】
誤った動き情報も、標準のビデオ符号化フォーマットにおけるクロミナンス情報の位相変化によって、ビデオ信号に導入される可能性がある。この位相変化はアナログ・ドメインにおいて有用であるが、人為的なシフトを、フレームからフレームへの所与の画素位置の値に導入する。本発明の１つまたは複数の実施形態は、位相変化の効果を考慮して、誤った動きの出現を作成しないようにする。これらの実施形態では、比較が、同じ位相グループに参照フィールドとして属する入力フレームに対してのみ行われる。
【００３８】
本発明の１つまたは複数の実施形態では、異なるしきい値を、各画素位置または画素位置のグループに適用することができる。そのようにすることは、各画素または画素のグループを、変動に対して多少感度が高くなるようにすることができる効果を有する。一実施形態では、画像編集インタフェースが使用されて、画素値における変化に対して多少感度が高くなるべき領域が指定される。対応する値が、画素しきい値重みの配列にロードされる。これらの重みが、所与の画素が変化したと見られる前に必要とされる変化の程度を定義する。画素重みを使用して、動き検出システムを、ビデオ・カメラの視野においていくつかの領域にあまり注意を払わず、他の領域により注意を払うようにすることができる。たとえば、継続的に移動する被写体（たとえば、時計または扇風機）を含む領域がある場合、この領域における感度を減ずることもできる。同様に、いくつかの領域（たとえば、一貫して明るいドアまたは机上）を、変化に対して過度の感度を有するように決めることができる。
【００３９】
１つまたは複数の実施形態では、本発明の動き検出システムが、動きが検出されたことを指示する２値を出す。この動き検出出力を使用して、アラームをオンまたはオフにし、ビデオ・テープ・レコーダのスイッチをオンまたはオフにし、電子メッセージを送信し、あるいは、いくつかの他のスイッチ、デバイスまたはアクチュエータを使用可能あるいは使用不可能にすることができる。
【００４０】
本発明を、カラーまたはモノクロのカメラで使用することができる。カラー・ビデオ入力では、本発明の動き検出システムが、使用中のカラー・スキームに応じて画素に割り当てられた１つまたは複数の値のいずれかに対して演算することができる。たとえば、動き検出システムが、各画素のフル・カラー値に対して演算することができ、あるいは、これが、ビデオ信号の輝度部分のみに対して演算することができる。各ビデオ画素の輝度値のみに対して演算することによって、本発明を実施するシステムのコストおよび複雑さを、フル・カラー処理を実行するシステムに比較して低減することができる。輝度情報のみを処理することは有効な最適化であり、これは、そうすることが動き検出システムの有効性を減らさないからである。
【００４１】
図１は、本発明の一実施形態の概略図である。図１に示された構成要素を、ハードウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実施することができる。
【００４２】
図１の実施形態では、ビデオ・カメラ１１０が、デジタイザ／復号器１３０によってデジタル化され復号されるアナログ・ビデオ・ストリームを提供する。入力ビデオ・フレームのデジタル化に加えて、デジタイザ／復号器１３０が、画素、画素の列（すなわち、ビデオ走査線）、および画素の配列（すなわち、ビデオ・フレーム／フィールド）がシステムの他の構成要素で使用可能であるときを指示する、１組の同期化信号も生成する。
【００４３】
デジタル化されたビデオ・データ（現在の入力ビデオ・フレームの画素からなる）は、同時に画素差分器１５０およびフレーム記憶装置１４０へ送信される。画素差分器１５０が、現在の画素の値を、現在の参照フレーム１４４における対応する画素の値から引き、結果の絶対値を２値しきい値処理ユニット１６０へ送信する。２値しきい値処理ユニット１６０が、入力画素と参照画素の間の差分の絶対値をしきい値と比較し、差分が著しいかどうかを指示する２値を出す。この２値が差分カウンタ１６５へ送信され、これが、現在の参照フレームにおける対応する画素と著しく異なる各フレームのための画素の数のカウントを保つ。
【００４４】
入力ビデオ・フレームの最後の画素が到着したとき、デジタイザ／復号器１３０が、フレームの終了を指示する同期化信号を生成する。フレーム信号の終了を受信したとき、動き検出器１８０は現在のフレームを解析して、動きが起こったかどうかを判定する。動き検出器１８０が、入力フレームの差分カウント（差分カウンタ１６５から）、および現在の動き底値（適応的動き底計算ユニット１９０から）を見て、最新のフレームが（参照フレームに関して）著しい動きを有するかどうかを判定する。フレームの差分カウントの値が現在の動き底値を、所与のしきい値より大きい量だけ上回る場合、動き指示信号が動き検出器１８０によって生成される。動き指示信号が、動きが後続のフレームについて検出されないようになるまで、生成される。
【００４５】
ビデオ・フレームのための動き検出機能の完了の後に続いて、差分カウンタ１６５がゼロにリセットされ、適応的動き底計算ユニット１９０がその値を更新し、新参照フレーム選択器１７０が、現在の参照フレーム１４４が次の参照フレーム１４２と置換されるべきかどうかを指示する。一実施形態では、動きが検出されたフレームの後に動きが検出されないフレームが続くときは、新参照フレーム選択器１７０が新しいフレームを選択する。次いで、動きが検出されなかったフレームが新しい参照フレームとして選択される。
【００４６】
適応的動き底計算ユニット１９０が、現在のフレームに先行するフレームの数のための差分カウントのレコードを維持し、ビデオ・シーケンスにおける動きの平均の現在量の有効な測度を決定する。この動き値の現在の平均量が、動き検出器１８０に、どれだけの活動が現在の「標準」であるかの測度を提供する。動きの現在の平均量を知ることにより、本発明が、変化する長期的な動き状態に適合することができる。すなわち、ある期間に多くの動きがあったときに、動きに対してあまり感度が高くなくなり、ほとんど動きがなかったときに、より感度が高くなる。
【００４７】
入力フレームの画素が、フレーム記憶装置１４０の次の参照フレーム位置１４２に格納される。画素をフレーム記憶装置１４０に格納する、適切な画素アドレスの生成が、画素アドレス生成ロジック１２０によって行われ、これが、デジタイザ１３０によって生成された入力画素のクロック信号で調整して画素アドレスを順番付ける。新参照フレーム選択器１７０が、次および現在の参照フレームが交換されるべきであると指示する場合、次の参照フレーム１４２に格納された現在のフレームが、現在の参照フレーム１４０へ転送される。新参照フレーム選択器１７０が、次および現在の参照フレームが交換されるべきであると指示しない場合、次の参照フレーム１４２が、次の入力フレームの画素によって上書きされる。
【００４８】
図２は、本発明の一実施形態を例示し、これは重みを特定の画素および／または画素のグループに割り当てる能力を含む。図１の実施形態では、画素差分器１５０が入力と参照画素の間の差分を一定のしきい値に対して比較していた。図２の実施形態では、各画素位置に、異なるしきい値を割り当てることができる。入力画素の値と参照画素の値の間の差分がその画素のための特定のしきい値を超える場合にのみ、各入力画素がそれに対応する参照画素と異なるとされる。図２の実施形態では、したがって、２値しきい値ユニット１６０が各画素につき２つの値を受信する。すなわち、入力画素の値とそれに対応する参照画素の値の間の差分の絶対値、および、画素重みユニット２００からのその画素に適用可能なしきい値である。画素差分器ユニット１５０によって提供された差分が、画素重みユニット２００によって提供されたしきい値を超えるときにのみ、２値しきい値ユニット１６０が差分の指示を差分カウンタ１６５に出す。
【００４９】
図４は、本発明の１つまたは複数の実施形態で使用される処理のブロック図である。
【００５０】
図４に示すように、ステップ４００でビデオ・ストリームが受信される。ビデオ・ストリームは、たとえば、ビデオ・カメラから受信することができる。ステップ４０５で、ビデオ・ストリームの次のフレームがデジタル化される。ステップ４１０で、デジタル化されたビデオ・フレームの次の画素が画素差分器へ、かつ、フレーム記憶装置へ提供される。ステップ４１５で、画素の値、および、参照フレームにおけるその対応する画素の値における差分が決定される。同時に、ステップ４２０で、画素が、フレーム記憶装置の「次の参照フレーム」部分における適切な位置に格納される。
【００５１】
ステップ４１５で画素差分が決定された後、ステップ４２５で、画素差分が著しいかどうかについての決定が行われる。図１および図２の実施形態に関して記載された方法、または他の適切な方法を使用して、画素差分が著しいかどうかを判定することができる。画素差分が著しいと決定される場合、ステップ４３０で、現在のフレームの著しく異なる画素の数を計数する画素差分カウンタが増分され、処理がステップ４３５へ進行する。画素差分が著しくないと決定される場合、処理が直接ステップ４３５へ進行する。
【００５２】
ステップ４３５で、現在の画素が現在のフレームの最後の画素であるかどうかについての決定が行われる。このような決定は、たとえば、図１および図２の実施形態のデジタイザ／復号器１３０によって生成されたフレーム信号の終了に基づいて行うことができる。現在の画素が現在のフレームの最後の画素でないと決定される場合、処理がステップ４１０へ戻り、次の画素が画素差分器およびフレーム記憶装置へ提供される。現在の画素が最後の画素であると決定される場合、処理がステップ４４０へ進行する。
【００５３】
ステップ４４０で、画素差分カウンタによって生成された現在のフレームのための差分カウントが、システムによって使用された動き検出基準と比較されて、動きが起こったかどうかが決定される。先に記載された動き検出基準のいずれも、他の基準と同様に使用することできる。
【００５４】
ステップ４４５で、動き検出基準に従って、動きが検出されたかどうかについての決定が行われる。動きが検出された場合、ステップ４５０で動き検出信号が出され、処理がステップ４５５へ進行する。動きが検出されなかった場合、処理が直接ステップ４５５へ進行する。
【００５５】
ステップ４５５で、新しい参照フレームが選択されるかどうかについての決定が行われる。たとえば、動きが検出されたフレームの後の、動きが検出されなかった第１のフレームの発生に応じて、新しい参照フレームを選択する、先に記載された方法を使用することができる。新しい参照フレームが選択されると決定される場合、フレーム記憶装置の新しい参照フレーム位置における現在のフレームが、新しい参照フレームとして選択され、処理がステップ４６５へ進行する。新しい参照フレームが選択されないと決定される場合、処理が直接ステップ４６５へ進行する。
【００５６】
ステップ４６５で、動き底値が、現在のフレームによって提示された動きの量に基づいて再計算される。ステップ４７０で、画素差分カウンタがゼロにされ、処理がステップ４０５へ戻り、そこでビデオ・ストリームの次のフレームがデジタル化される。
【００５７】
本発明の１つまたは複数の実施形態のすべてまたは一部を、図５に例示したコンピュータ５００などの汎用コンピュータ上で実行されるコンピュータ可読コードの形式において、あるいは、このようなコンピュータ上で動作するＪａｖａTM実行時間環境内で実行可能なバイトコード・クラス・ファイルの形式において、コンピュータ・ソフトウェアとして実施することができる。キーボード５１０およびマウス５１１が、双方向システム・バス５１８に結合される。キーボードおよびマウスは、ユーザ入力をコンピュータ・システムへ導入し、このユーザ入力をプロセッサ５１３へ送るためのものである。他の適した入力デバイスを、マウス５１１およびキーボード５１０に加えて、あるいはそれらの代りに使用することができる。双方向システム・バス５１８に結合されたＩ／Ｏ（入力／出力）ユニット５１９が、プリンタ、Ａ／Ｖ（オーディオ／ビデオ）Ｉ／Ｏ、ビデオ・キャプチャおよびデジタイザ・ボードなどのようなＩ／Ｏ要素を表す。
【００５８】
コンピュータ５００が、ビデオ・メモリ５１４、メイン・メモリ５１５および大容量記憶装置５１２を含み、すべてが双方向システム・バス５１８へ、キーボード５１０、マウス５１１およびプロセッサ５１３と共に結合される。大容量記憶装置５１２は、磁気、光学または光磁気記憶システム、または他のいかなる使用可能な大容量記憶技術など、固定および取外し可能媒体を共に含むことができる。バス５１８は、たとえば、ビデオ・メモリ５１４またはメイン・メモリ５１５をアドレス指定するための３２本のアドレス線を含むことができる。システム・バス５１８は、たとえば、プロセッサ５１３、メイン・メモリ５１５、ビデオ・メモリ５１４および大容量記憶装置５１２などの構成要素の間でデータを転送するための、３２ビット・データ・バスも含む。別法として、多重データ／アドレス線を、別々のデータおよびアドレス線の代りに使用することができる。
【００５９】
本発明の一実施形態では、プロセッサ５１３は、Ｍｏｔｏｒｏｌａによって製造された、６８０×０プロセッサなどのマイクロプロセッサ、または、Ｉｎｔｅｌによって製造された、８０×８６などのマイクロプロセッサ、またはＰｅｎｔｉｕｍプロセッサ、または、Ｓｕｎ  ＭｉｃｒｏｓｙｓｔｅｍｓTM，Ｉｎｃ．によるＳＰＡＲＣTMマイクロプロセッサである。しかし、他のいかなる適したマイクロプロセッサまたはマイクロコンピュータも利用することができる。メイン・メモリ５１５は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）からなる。ビデオ・メモリ５１４は、デュアル・ポートのビデオ・ランダム・アクセス・メモリである。ビデオ・メモリ５１４の一方のポートがビデオ増幅器５１６に結合される。ビデオ増幅器５１６は、陰極線管（ＣＲＴ）ラスタ・モニタ５１７を駆動するために使用される。ビデオ増幅器５１６は当技術分野でよく知られており、いかなる適した装置によっても実施することができる。この回路が、たとえば、スライダの１つまたは複数の実施形態を表す画素データおよび本発明のデータ・フィールドを含むことができる、ビデオ・メモリ５１４に格納された画素データを、モニタ５１７によって使用するために適したラスタ信号に変換する。モニタ５１７は、グラフィック画像を表示するために適したモニタのタイプである。
【００６０】
コンピュータ５００は、バス５１８に結合された通信インタフェース５２０も含むことができる。通信インタフェース５２０が、ネットワーク・リンク５２１を介してローカル・ネットワーク５２２に結合する双方向データ通信を提供する。たとえば、通信インタフェース５２０が総合サービス・デジタル網（ＩＳＤＮ）カードまたはモデムである場合、通信インタフェース５２０が、対応するタイプの電話回線へのデータ通信接続を提供し、これがネットワーク・リンク５２１の一部を含む。通信インタフェース５２０がローカル・エリア・ネットワーク（ＬＡＮ）カードである場合、通信インタフェース５２０が、ネットワーク・リンク５２１を介して、互換性のあるＬＡＮへのデータ通信接続を提供する。無線リンクも可能である。このようないかなる実装においても、通信インタフェース５２０が電気、電磁または光信号を送受信し、これが様々なタイプの情報を表すデジタル・データ・ストリームを搬送する。
【００６１】
ネットワーク・リンク５２１は、典型的には、１つまたは複数のネットワークを通じて他のデータ・デバイスへのデータ通信を提供する。たとえば、ネットワーク・リンク５２１が、ローカル・ネットワーク５２２を通じてローカル・サーバ・コンピュータ５２３へ、あるいは、インターネット・サービス・プロバイダ（ＩＳＰ）５２４によって操作されたデータ装置へ接続することができる。ＩＳＰ５２４は、現在一般に「インターネット」と呼ばれる、全世界のパケット・データ通信ネットワーク５２５を通じてデータ通信サービスを提供する。ローカル・ネットワーク５２２とインターネット５２５が共に、電気、電磁または光信号を使用し、これがデジタル・データ・ストリームを搬送する。様々なネットワークを通じた信号およびネットワーク・リンク５２１上かつ通信インタフェース５２０を通じた信号は、デジタル・データをコンピュータ５００へ、かつ、そこから搬送し、情報を移送する搬送波の例示的形式である。
【００６２】
コンピュータ５００が、ネットワーク、ネットワーク・リンク５２１、および通信インタフェース５２０を通じて、プログラム・コードを含むメッセージを送信してデータを受信することができる。インターネットの例では、リモート・サーバ・コンピュータ５２６が、アプリケーション・プログラムのために要求されたコードを、インターネット５２５、ＩＳＰ５２４、ローカル・ネットワーク５２２および通信インタフェース５２０を通じて伝送することができる。本発明によれば、１つのこのようなダウンロードされたアプリケーションが、本明細書に記載されたデータを選択する方法を実施するアプリケーションである。
【００６３】
受信されたコードは、受信されるときにプロセッサ５１３によって実行されることが可能であり、かつ／または、大容量記憶装置５１２または他の不揮発性記憶装置において後の実行のために格納される。この方法で、コンピュータ５００が、アプリケーション・コードを搬送波の形式で得ることができる。
【００６４】
アプリケーション・コードを、いかなる形式のコンピュータ・プログラム製品にも組み込むことができる。コンピュータ・プログラム製品は、コンピュータ可読コードを格納あるいは移送するように構成されているか、あるいは、コンピュータ可読コードを組み込むことができる、媒体を含む。コンピュータ・プログラム製品のいくつかの例は、ＣＤ−ＲＯＭディスク、ＲＯＭカード、フロッピー・ディスク、磁気テープ、コンピュータ・ハード・ドライブ、ネットワーク上のサーバ、および搬送波である。
【００６５】
上述のコンピュータ・システムは、例のためのものにすぎない。本発明の一実施形態は、組込みプロセッサおよびコントローラおよびＬＣＤディスプレイを使用する器具および電子デバイスを含むいかなるタイプのコンピュータ・システムまたはプログラミングまたは処理環境においても実施することができる。
【００６６】
したがって、ビデオにおける動きを検出する方法および装置を提示した。本発明をある例の実施形態に関して記載したが、本発明がこれらの特定の実施形態に限定されないことが、当業者には明らかになるであろう。たとえば、本発明を画像フレームの画素に操作を加えることとして記載したが、本発明は他の画像要素、たとえば、画素のグループなどに操作を加えることができる。さらに、ある実施形態の動きを、ある詳細な処理ステップを使用して詳細に記載したが、本発明の範囲から逸脱することなく、ステップのいくつかを省略することができ、あるいは、他の類似のステップを代りに使用することができる。本発明の発明の特徴を組み込む他の実施形態が、当業者には明らかになるであろう。本発明は、特許請求の範囲およびそれらの全範囲の等価物によって定義される。
【図面の簡単な説明】
【図１】  本発明の一実施形態の概略図である。
【図２】  本発明の一実施形態の概略図である。
【図３】  位相のずれの図である。
【図４】  本発明の一実施形態で使用された処理を示す流れ図である。
【図５】  本発明を実施するために使用することができるコンピュータ・システムの概略図である。
【図１】
0004422334.tif 000002
【図２】
0004422334.tif 000003
【図３】
0004422334.tif 000004
【図４】
0004422334.tif 000005
【図５】
0004422334.tif 000006