(57)【要約】  本発明は、ビデオストリームで取得された行動を認識する方法に関する。前記方法では、各フレームシーケンスについてフィールドに、フレーム間差分に関するデータを累積し、当該累積部フィールドにおける勾配および／または値差分間隔を求め、当該勾配から行動を推定する。【特許請求の範囲】
【請求項１】
ビデオストリームで取得された行動を自動認識する方法において、
各フレームシーケンスについて、フィールドに、フレーム間差分に関するデータを自動的に累積し、
累積部フィールドにおける勾配および／または値差分間隔を自動的に求め、
前記勾配から、行動を自動的に推定する
ことを特徴とする方法。
【請求項２】
前記行動として、対象の動きを取得する、
請求項１記載の方法。
【請求項３】
対象の動きが、所定の最小フレーム数にわたって検出された場合、
および／または、
前記動きが、所定のフレーム数を上回るフレーム数にわたって行われなかった場合、
前記動きを前記行動として検出する、
請求項１または２記載の方法。
【請求項４】
１フレームシーケンスあたり８個から１２８個までのフレームにわたって、有利には約３２個から６４個までのフレームにわたって、および／または、１．５秒から４秒までのフレームシーケンス期間長にわたって、差分を求める、
請求項１から３までのいずれか１項記載の方法。
【請求項５】
１つのフレームシーケンスあたり複数の累積部フィールドが設けられている、
請求項１から４までのいずれか１項記載の方法。
【請求項６】
前記累積部フィールドは、複数の異なるストラテジーにしたがってフレーム間差分に関するデータを累積し、
前記複数の異なるストラテジーでは、特に、
第１の累積部フィールドでは、観察対象のシーケンスにおいてある位置にて、未だ全ての先行の差分の従前の値が０である場合、当該位置において値を記憶し、
および／または、
他の累積部フィールドでは、前記観察対象のシーケンスにおいてある位置における現在の差分が、従来記憶された差分より大きい場合、当該位置において値を記憶する、
請求項１から５までのいずれか１項記載の方法。
【請求項７】
動き方向を求め、特に、前記勾配から行動を推定するための累積部フィールドから動き方向を求める、
請求項１から６までのいずれか１項記載の方法。
【請求項８】
濃淡値に基づいてフレーム間差分を求める、
請求項１から７までのいずれか１項記載の方法。
【請求項９】
前記累積部フィールドの解像度が前記ビデオストリームの解像度より低くなるように、差分を形成する前に複数の画素からブロックを形成して、当該ブロックの差分を求める、
請求項１から８までのいずれか１項記載の方法。
【請求項１０】
前記勾配を、各累積部フィールドごとに２方向に、特に、各累積部フィールドの行方向と当該累積部フィールドの列方向とに求める、
請求項１から９までのいずれか１項記載の方法。
【請求項１１】
前記勾配値が所定の大きさを上回る場合、
および／または、
前記勾配値が、十分な大きさの、特に一続きである領域において、所定の大きさを上回る場合、
前記勾配から行動を推定する、
請求項１から１０までのいずれか１項記載の方法。
【請求項１２】
前記累積部フィールド内のエントリから、速度および／または加速度を求め、
前記速度および／または加速度は特に、統計学的手段を用いて、および／または、特にヒストグラム等である統計学的データのフーリエ変換を行うことにより求められる、
請求項１から１１までのいずれか１項記載の方法。
【請求項１３】
請求項１から１２までのいずれか１項記載の方法を実施するための装置であって、
フレーム間差分を表すデータを形成するための差分形成段と、
前記フレーム間差分を表すデータを記憶するための少なくとも１つの累積部フィールドと、
前記累積部フィールドにおける勾配を形成するための勾配形成手段と、
形成された勾配が行動を示しているか否かを判定するための勾配評価手段と
を備えることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項にて特定した上位概念に関する発明であり、よって、ビデオストリームの解析に関する発明である。
【０００２】
現在、特定の領域を監視するためにビデオストリームを取得することが多い。これはたとえば、小売業における販売フロアの等の万引きのおそれのある領域や、または、倉庫、空港または軍用設備等の機密保護対象の設備の外部領域とすることができる。より高性能のカメラをより多く設置すると、監視がより良好になり、より高い解像度で処理でき、死角領域を縮小または回避することができる。
【０００３】
しかし、カメラを関心領域に向けるだけでは不十分であり、逆に、このようにして生成された大量のデータセットによって、ビデオストリーム内において重要な情報と重要でない情報とを区別できる手段を、つまり、関心対象の行動を識別できる手段をとらなければならなくなる。
【０００４】
多くの場合、たとえば周辺計監視の場合には、とりわけ、領域内において動きが生じたか否かが関心対象となる。その場合には、たとえば警報を作動させるか、または、データの記憶を開始することができる。動き検出に応答して行われるデータ記憶や警報作動等は、他のセンサ、検出器、または一般的に信号発生器の特定の信号が更に発生すること、たとえば熱感知器、煙感知器等の特定の信号が発生することにも連動させたり、または、たとえば「レジスタ開放」もしくは「商品ＸＹの値札のスキャン完了」等の小売業務上の処理に関するデータにも連動させることができることを述べておく。このことは、本発明と共に使用することによっても有利であること、つまり、本発明に重要な利点を奏することを述べておく。
【０００５】
対象が動くと画像の変化が生じ、この画像変化自体は特定することができる。これについては、「バックグラウンド」を識別してこのバックグラウンドの前方にある「対象」を、たとえばエッジ検出により画定して、これに対応する対象の動きを複数のフレームにわたって追跡するために、画像内において広範囲の解析を行うことができる。特に要求が厳しい用途の場合には、これを行うために更に、バックグラウンド変化の更新を行うことが要求される。このような手法自体は対象の動きを検出できるが、面倒な手法である。このことは、当該検出をカメラにおいて直接行わなければならない場合に不利となる。というのも、こうするために必要とされる計算量は多いからである。計算量が多いということは、ハードウェアにかかるコストがより高くなるということ、および、エネルギー消費量が多くなるということになる。前記検出をカメラ自体において行わずに、たとえばセンターにおいて行う場合であっても、このことは不利である。というのも、センターでは通常、非常に多くのデータセットが到着し、これを処理するために必要とされる処理コストは著しく高くなるからである。
【０００６】
よって、対象の動きを良好に検出できるようにすることが望まれる。検出が良好であるとは、特に、場合によっては警報誤作動を少なくしながら、なおかつデータ処理量を少なくして、特に関心の高い対象の動きが検出された場合についていう。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、産業上利用するための新規のものを実現することである。
【課題を解決するための手段】
【０００８】
前記課題の解決手段は、独立形式の請求項にて特定されている。従属請求項に、有利な実施形態が記載されている。
【０００９】
それによれば、本発明の第１の基本的思想は、方法において、フィールドにおけるフレームシーケンスの、デジタルビデオストリームにて検出された行動を識別するために、フレーム間差分についてのデータを累積し、累積部フィールドにおける勾配を求め、当該勾配から行動を推定することである。この方法は、たとえばカメラ、コンピュータ等の機械において自動的に、すなわち人間の介入無しで実行できることが納得できることを述べておく。よって、本願明細書と、これに対応する請求項において、たとえば「行動を推定する」という場合、または、たとえば行動が「検出された」とみなすという場合には、このことは、行動の有無についての上述の判定が機械的かつ自動的に、人間の解釈が介入することなく行われること、および、これに対応した応答が自動的に実行および開始できることを意味することは納得できることである。前記応答はたとえば、信号の出力、フラグの設定、所定のプログラムの実行等であり、当該出力も自動化されている。さらに、本願では、ビデオストリームについてなされる特定の判定、説明、解釈等について度々言及するが、上記のことから、これらの解釈や判定は、たとえばカメラやＰＣ等の機械による自動的な評価であり、直接的に明示的に導き出される事項が他にない限りは、当該解釈や判定は人間の行為を示すものではないことが明らかであることを述べておく。
【００１０】
よって本発明では、まず最初に各フレームにおいてエッジ検出等の面倒な画像解析によって対象が対象であると同定してから、その後にフレームごとに、当該同定により境界特定された対象を追跡する必要が無くなる。この新規の方法は、デジタルビデオストリームにおいてむしろ高速かつ簡単に、少ない計算量で実行することができ、なおかつ、警報誤作動を特に引き起こしにくい。特に、純粋な差分形成は、葉のジッタ動き等に応答してこれが動きであると誤解釈してしまうが、本発明の新規の方法はこのような差分形成よりも格段に高性能である。
【００１１】
また、明示的に言及しない場合であっても、本発明はデジタルビデオストリームに関することを述べておく。当業者であれば、ビデオストリームは典型的にはデジタルカメラを用いて取得されること、また、アナログカメラのビデオストリームをデジタル化したものも処理できることが明らかである。さらに、少なくとも、ビデオストリームがジャークを含まないと人間の観察者によって感じられるようにフレームレートを高くすることが典型的であり、かつ好適であるが、このことは必須ではないことも強調しておく。
【００１２】
本発明の解析は、高速かつ少ない計算量で行うことができる。
【００１３】
典型的には、行動として対象の動きを検出する。この行動に応答して、高解像度の画像および画像領域の記憶、たとえば、動きが特定された領域（のみ）の記憶等、および／または、画像全体、たとえば圧縮された画像等のデータ縮減された画像の転送、警報作動等を引き起こすことができる。
【００１４】
ここで留意すべき点は、行動によって引き起こされるシステムの応答を、たとえば行動通知および／または記憶および／またはデータ転送等を更に低減するためには、同時に、または僅かな時間遅延を伴って、他のセンサも同様に（特定の）行動を検出することを要件とすることができるということである。たとえば、２つのカメラを用いて同一の視野を、場合によっては、互いに遠距離にある２つの場所から取得することができ、これら２つのカメラにより行動が検出されることを要することができる。その際には、行動を検出する対象となる、２つのカメラに対応した領域を、較正プロセス等によって等化処理すること自体は可能である。さらにたとえば、ビデオストリームの比較的密な同期を行うことを要することもできる。しかし、コスト削減のために、双方を必ず行う必要はない。逆に、複数のカメラ間にて信号を交換する典型的な信号伝送時間で十分となる。これによれば、１つのカメラにより１つの行動が検出される。このとき、同一の領域の少なくとも一部を監視する他方のカメラも同様に行動を検出する場合には、警報作動やデータ記憶等を許可するためにはこれで十分となり得る。このことにより、インストール、解析等が極めて容易になる。
【００１５】
１つまたは複数の他のカメラと共に併用すべく、および／または当該カメラに代えて択一的に、行動認識のために他のデータを使用する他の手段も更に存在することにも、留意すべきである。たとえば、煙報知器、温度センサ、騒音センサ等を同時に解析することができ、また、たとえば小売業における監視の場合には、特に関連のある行動を更に特定するため、たとえばバーコードリーダを用いて（特定の）商品をスキャンすること等の特定の行為を用いることも可能である。このような行為が存在することは、対応する情報信号をカメラへ伝送することにより、当該カメラへ伝達することができる。その際には、複数の条件が同時に発生した場合にのみ、対応するシステムにおいて適切なシステム応答を開始する必要がある。このことによってたとえば、レジスタのベルトコンベヤを介して移動する商品の１つまたは複数の画像をデータ解析ユニットへ転送することができる。このデータ解析ユニットは、特定のスキャンされた商品が、予測されるイメージと一致するか否かの検査を行うため、商品の画像データベースにアクセスする権限を有する。たとえば、ラベル改ざんによる詐欺または誤った価格表示を認識することができる。場合によっては、商品の認識された重量へのリンクも設けることにより、動く領域に対応する画像部分を転送および解析する前に、２つの追加条件として、商品がスキャンされること、および、検出された重量が、当該商品のものでないことを要件とすることが可能であるようにすることができる。
【００１６】
さらに、本発明の方法では、所定の最小数のフレームにわたって動きを示唆するものを検出した場合、および／または、所定数を超えない数のフレームにわたって動きを示唆するものが与えられている場合に、対象の動きが行動であると判定することも有利である。
【００１７】
より多くの数のフレームにおいて連続して、相応の示唆するものが観察された場合にのみ、フレーム間差分を動きであると判断することにより、非典型的に速い速度の対象による誤警報を回避することができる。たとえば、カメラから比較的遠くの距離において動く人間が画像視野を格段に緩慢に横切る間に、カメラ近傍において鳥が画像視野を非常に高速で通過して飛ぶことがあり得る。たとえば警報等のシステム応答を作動させるための要件として、動きが最小数のフレームに及ぶことを要することとすれば、雷光、物の転倒または落下等により短時間の変化が生じても、誤警報が生じることはない。逆に、たとえば陰の移動等のように変化が非常に緩慢である場合にも、警報作動を保留することができる。
【００１８】
複数の異なる速度の行動がある場合において、特に関連性のある行動を認識するために好適なのは、本発明の方法において、１フレームシーケンスあたり８〜１２８個の数のフレームにわたって差分を求めることであり、有利には約３２〜６４個のフレームにわたって差分を求めることである。このようなフレーム数は、通常の場合、すなわち、不所望の光条件に起因するセンサノイズ、または、ぶれもしくは風による葉の震え等に起因するカメラの動きが画像を妨害する場合にも、動きを確実に認識するのに十分である。これよりフレーム数を増加させると、上述のような外乱に対する確実性が向上する。それと同時に、１シーケンスあたりの上述のフレーム数は依然として、過剰な計算負荷に耐える必要があるほどの多さでもない。フレーム数が増加するほど計算負荷は高くなることは、納得できることである。
【００１９】
ここで、実際の実装において実際に取得すべきフレーム数は、複数の要因に依存する。たとえばとりわけ、画像視野の距離およびサイズを考慮しなければならない。というのも、カメラの直近において動きが生じると、比較的緩慢な動きも、画像の高速の変化になるのに対し、比較的遠距離において動きが生じている場合には、高速で動く対象が観察されるフレーム数も多数に及び得るからであり、通常は、人間または車両のいずれの行動であっても、これが取得されたフレームシーケンス期間長が１．５〜４秒である場合には、警報等のシステム応答を引き起こすのが望ましい。さらに、プロセッサ総性能、許容エネルギー消費量および／または行動認識と並行して処理すべきデータ処理タスクによって制限され得る使用可能な計算能力も考慮しなければならず、行動の検出を行う対象である領域がどの程度の大きさであるかも重要となることもある。たとえば、この領域のサイズを、検出対象である行動に合わせて調整するのが有利である。たとえばスーパーマーケットのレジスタにおいて、レジスタベルトコンベヤを介して移動する物品をカメラによって検出し、当該カメラがこのレジスタベルトコンベヤの他にさらに、たとえばレジスタ手前の待ち行列または荷物詰め場所等の他の領域を観察する場合には、解像度が同じである場合、レジスタに人が接近しているか否かのみを観察する場合よりも格段に小さい画像区画における行動を同定しなければならない。さらに、複数の異なる累積部フィールドを操作すべき場合には、計算負荷が上昇することもある。
【００２０】
好適なのは、本発明の方法において複数の累積部フィールドが設けられていることである。
【００２１】
たとえば、複数の異なる画像成分を解析するため、たとえば赤色、黄色および青色の画像成分を解析するために、１フレームシーケンスあたり複数の累積部フィールドを用いることができる。本発明の行動センサの典型的な事例は、画像の濃淡値を解析することにより具現化されるが、好適なのは、これに代えて択一的に、またはこれと併用して、特定の色または全ての色を解析することである。たとえば、鉄道設備においてカメラ観察により、鉄道作業員が線路上を移動しているときに警報を出力する場合には、典型的な信号色である橙色に合わせて調整された認識が有利である。たとえばレジスタ領域において、（印刷されたバーコードのスキャンにより把握される）特定の商品を認識しようとする場合にも、上記と同様のことが当てはまる。その際にはたとえば、データベース内にて、物品を最適に認識できる基礎となる有利な色を指定することができる。この有利な色は、行動センサへ伝送することができ、そうしてから、当該物品の移動を発見するための解析を行うことができる。たとえば、スキャンした物品についてレジスタ領域内にて動きが検出されない場合には、警報を作動させることができる。
【００２２】
さらに、複数の異なる移動速度に適応するため、複数の累積部フィールドを用いることも可能である。たとえば広角での観察の場合には、近距離領域と遠距離領域とをそれぞれ異なる解像度で観察しなければならないこと、ないしは、比較的近距離の領域とより遠距離の領域とでは、１フレームシーケンスあたりのフレーム数が変わること、ないしは、直に連続するフレームのみでなく、時間間隔をおいて連続するフレームでも考察しなければならないことを考慮することができる。カメラの近傍において動きがあると、同じ速度の動きを非常に遠距離から観察するときよりも大きくかつ高速の変化が生じるので、たとえば、カメラ近傍の動きを検出するために、１フレームごとに進行する変化に対応した累積部フィールドを用いることができるのに対し、より大きな距離で進行する動きの場合には、たとえば４フレームごとまたは１０フレームごとにのみ差分画像を求める累積部フィールドを用いる。また、さらに遠距離にて進行する動きは、通常はより少ない画素で検出されることを考慮することもできる。よって、この遠距離で進行する動きをさらに良好に検出するためには、近距離における高速の動きを検出するための累積部フィールドの場合よりも解像度を高くすることができる。よって、さらに非常に離れた場所における動きも認識しようとする場合には、少なくともこうするために、可能な限り高い解像度で差分を累積するのが好適である。上記のことから、望ましい場合には、累積部フィールドの解像度および考慮対象のフレームのレートの双方が異なる複数の累積部ストラテジーを用いると上手くいくことが分かる。必要および／または望ましい場合には、さらに、非常に遠距離にある領域については、まず最初に複数のフレームの平均化を行い、その後、当該平均化により求められた（有利にはさらに、平均値形成に用いられたフレームが離れている）平均値フレームの差分形成をおこなうことにより、累積部フィールドを求めることも可能である。平均値を形成することは、夜間にノイズを減少するだけでなく、たとえば日中に、たとえば非常に高温の空気に起因する空気乱流の影響等を格段に減少させるのにも役立つ。
【００２３】
また、どのような解像度および／またはどのようなフレームレートでも、それぞれ異なる累積部ストラテジーを遂行できることを、記載しておく。
【００２４】
これに代えて択一的に、および／またはこれと併用して、カメラへ向かう動きと、カメラから離れていく動きとの双方を認識するために、複数の累積部フィールドを使用することも可能である。このことは、複数の異なるフィールドごとに異なる累積部ストラテジーを用いることにより実現できる。
【００２５】
更に述べておくべき点として、ここで「異なる累積部フィールド」という場合には、それ自体で複数のフィールドに分配可能である累積された情報を１つのフィールドのみに適切に書き込む具現化構成自体が可能であることである。たとえば、数値フィールドにおいてコンマ前位置は、累積された濃淡値を示し、コンマ後位置は、累積された色値を示すデータ形式も可能である。また、フレームが新規に撮像されるごとに１つのフレームシーケンスを開始し、これに対応して、所望のフレーム数にわたって累積を行うことも可能である。１シーケンスあたりのフレーム数が４０個であることを考慮すると、たとえば同時に４０個の累積部が存在することとなる。このようなプロセスも可能であるが、これに代えて択一的に、特に古いので現在観察中のフレームシーケンスに含まれないフレーム間差分を無視および／または消去および／または認識することができるようにするため、必要な場合には、累積部エントリがどの程度古いかを評価できるようにするため、フィールドに書き込まれた上述の累積値を用いて、当該累積値が入力された時点も記録されるように、データ形式および／または累積部ストラテジーを選択することも可能である。各フレームシーケンスごとに改めて初期設定しなければならない多くの累積部を使用することに代えて択一的に、「出来たての」差分には累積部フィールド内において高い値を割り当て、この値の存続経過期間が古くなるごとに当該値を徐々に減少させる方法を選択することも可能である。このようにすると、たとえば動きを検出するために２０フレームを考慮しなければならない場合、累積部フィールドのすべての画素において最初に統一値である０に初期設定がなされた後、画像間差分が存在することを当該累積部フィールドに入力すべきことを累積部ストラテジーが判断した場合、フィールド内に値「２０」を書き込むことができる。その後、次のフレームについて、存在する画像間差分に対応して値を累積部フィールドに入力する前に、当該累積部フィールド内のすべての値を、当該値が未だ０より大きい場合に限りは、１だけ減少させる。
【００２６】
その際に、累積部フィールド内においてたとえば「２０」の値は、最初に生じた画像間差分を表し、たとえば「１９」の値は、先行のフレームにおいて、当該画素において、当該先行フレームより先行するフレームに対して差分が存在していたことを表し、以下同様である。累積部フィールド内の値は上述のようにして、エントリの存続経過期間を、ないしは、当該画素において画像変化が特定されてから経過した時間を符号化したものである。フレーム数が４０または２０であり、値が２０であるとすることが必須でないことは、納得し得る事項である。たとえば１シーケンスのフレーム数が５または６としただけでも既に、良好な動き認識を実現できることが判明している。また、累積部フィールド内のエントリを１の減少幅で減少させる必要もなく、「１」等以外の他の変化幅も可能である。
【００２７】
０よりも更にカウントダウンすると、すなわち、負の値を累積部フィールドに入力できるようにすると、さらに有利である。かかる場合には、新規エントリに対しては、画素に存在する負の値を、値０が存在する場合と同様に扱うことができ、勾配形成に際しては、負の値を値「０」と同様に扱うことができる。しかし、重要なのは、画像背景を算出しなければならない場合である。ここで値が０を大きく上回ると、これは、ある位置において長期間にわたって何も変化しなかったことを意味する。よって該当の画素は、背景値が非常に安定的である背景画素である確率が高い。このことは、背景を求める際に役立つ。また必要な場合には、動きが生じない領域において動きが生じた場合には、これに対して異なる応答を行うことも可能である。また、ｘ番目ごとのフレームのみを、たとえば１０番目ごと、１００番目ごとまたは４０９６番目ごとのフレームのみを、負の計数値からさらに幾らか差し引くとすることも可能である。このようにして、典型的に使用可能な数空間だけで、より長い期間にわたって十分となる。
【００２８】
ここで述べておくべき点は、行動について現在検査中であるフレームシーケンスのすべてのフレームを、少なくとも、当該フレーム内において関連性の高い行動が検出されなかったと判断されるまで記憶することが、特に有利であることである。このことにより、関連する行動が検出された場合、原フレームを長期間にわたって、さらなる解析のために保管、転送または使用することができる。このようなバッファリングの簡単な技術的実現は、たとえばリングバッファを用いて行うことができる。しかし、フレームに関連するデータ、たとえば低精細のブロックに縮減された低精細の画像を求め、その直後に原フレームを破棄するので十分である場合もあること、ないしは、たとえば行動に完全に依存しないストラテジーの後にのみ原フレームを記憶するので十分である場合もあることを述べておく。このフレームに代えて、または縮減されたフレーム（たとえば低精細ブロックおよび／または濃淡値に縮減されたフレーム）に代えて、その差分値のみを記憶することも可能である。この差分値は、非常に緩慢な動きを認識するという要件が他に何か規定しない場合、直前のフレームに対する差分値を求めるのが典型的である。
【００２９】
特に有利なのは、本発明の方法では、複数の異なるストラテジーにしたがってフレーム間差分についてのデータを累積することである。このことにより、複数の異なる行動を確実に識別することが可能となり、たとえば、カメラに向かう移動と、カメラから離れていく移動とを認識することが可能となる。これらの動きを識別するためには、２つの異なるストラテジーに基づいてデータを累積するのが特に有利であることが判明している。たとえば第１の累積部フィールドでは、所与の画像位置において、観察対象のシーケンスの全ての先行の差分について、従前の値が０である場合には常に、当該画像位置において値を記憶することができる。ここで「画像位置」とは、画素を意味するか、ないしは、複数の画素を平均化等することによって求めたブロックを意味する（よって累積を行う際には、画素ごとまたはブロックごとに、１シーケンスのフレーム間の差分がどの程度であるかを検査する、ということになる）。
【００３０】
０とは異なる差分値のみを累積部フィールド内に入力すべき場合には、当該差分値と０との差が十分に大きい場合にのみ、当該差分値を入力するのが有利である。このことにより、ノイズによる妨害等が防止される。しかし、画素間差分を観察するのではなく、その代わりにブロック間差分を観察すると、ノイズや振動等の影響がいずれにせよ小さくなり、その他、勾配形成時にも、勾配自体が、および／または勾配を形成する値が、所定の最小値を超える勾配のみを考慮するため、閾値推移も具現化することができることを述べておく。
【００３１】
たとえば、先行フレームとの差分を求めることができる。その場合において、連続するすべてのフレームにおいて動きが一定であり、かつ照明が均質である場合には、対象経路上にてエッジにおいて差分値をほぼ一定の差分値が得られ、これは容易に解析することができる。
【００３２】
これに代えて択一的に、および／またはこれと共に併用して、参照画像を基準として前記差分画像を求めることもできる。つまりたとえば、現在撮像されたばかりのフレーム（この時系列序数を「ｉ」とする）を、その直前に撮像されたフレーム（すなわちフレームｉ−１）と比較し、次にフレームｉ−２と比較し、その次にフレームｉ−３と比較し、たとえばフレームｉ−４０まで同様に行うことができる。現在の累積部書込みストラテジーに一致する場合には、上述のようにして求められた差分値を直ちに累積部フィールドに書き込むことが可能であり、または、比較対象フレームの存続経過期間も同時に符号化した値を書き込むことが可能である。たとえば、十分に大きな差分値が生じた場合、すなわち所定の閾値を超えた場合には常に、当該差分値自体を示す値を入力するのではなく、これに代えて、比較対象フレームの存続経過期間を示す値を累積部フィールドに入力することが可能である。上記実施例ではたとえば、画像中の特定の位置においてフレームｉ−１７との差分が閾値を超えた場合、値「１７」を累積部フィールドに入力することができる。
【００３３】
差分形成に用いられる参照画像は、たとえば複数のフレームを長期間にわたって平均化することにより求めることができる。このことにより、ノイズの影響をさらに低減することができる。その後、フレームシーケンスの差分を累積して、このような背景画像を形成する。太陽の位置の変化、車が走り去ること等により背景において生じる長期間の変化を考慮するために、上記背景画像を自明の手法により「適応」または変化させることができる。
【００３４】
他の累積部ストラテジーとしては、有利には他の累積部フィールド内の１つの位置において、観察中のシーケンスの現在の差分が、当該画素ないしは当該画素ブロックに既に記憶されている差分より大きい場合、当該１つの位置において、すなわち所与の画素または画素ブロックにおいて値を記憶することができる。つまり、最大値累積部が得られる。その際にも、観察中のフレームの存続経過期間を考慮することができる。
【００３５】
このようなストラテジーにより、カメラに向かう移動も、またカメラから離れていく移動も、非常に良好に検出することができ、しかも、それぞれ別の累積部フィールドを用いて良好に検出できることが判明した。それと同時に、上記２つの異なるストラテジーにより累積を行う場合のコストは最小限となる。というのも、特定の位置にて１対のフレーム間において得られる差分を求めた後は、当該位置と、累積部フィールド内の当該位置に存在するエントリとの各比較を行うだけでよいからであり、上記の有利な実施例では０との一致を検査したが、他の事例では、比較的大きな値を比較処理によって求める。
【００３６】
本発明の方法において、とりわけ累積部フィールド内に存在する勾配を求めることにより、動き方向を求めることができ、かつ有利である。動きフィールド内では勾配自体は、累積された差分が所定のパターンに従っていることを示す。これは、ランダムな変動に反する。たとえば、最も大きな変化の方向が求められるように、上記勾配形成を行うことができる。これに代えて択一的に、本発明の方法において、各累積部フィールドの勾配を２方向において、特に、累積部フィールドの行方向と当該累積部フィールドの列方向とにおいて勾配を求めることも可能であり、このように求める方が簡単である。
【００３７】
たとえば、原画素の比較的大きな領域にわたって、これらの各画素の勾配が特定の方向になっている場合、動きを想定することができる。このことは具体的には、比較的大きな対象の位置が変化した場合に当てはまる。領域の全部または大部分において勾配が特定の方向になっている場合に警報等のシステム応答を作動させる閾値となる領域のサイズは、上記にて言及したように、観察対象の対象動きが典型的に予測される観察対象の領域の大きさに依存する。
【００３８】
よって好適なのは、本発明の方法において勾配から、勾配値が所定の大きさを超える場合、および／または、十分に大きな領域において、特に一続きの領域において、勾配値が所定の大きさを超える場合、行動を推定することである。
【００３９】
累積部フィールド内における勾配の存在、ないしは、これに匹敵する勾配値を有する領域の存在が、画像中に動きがあることを示すが、勾配自体からは、動き自体を推定することも可能である。とりわけ、領域の大きさおよび／または勾配の大きさ自体と、勾配の方向との双方を解析することができる。たとえば、特に有利なものとして記載した累積部ストラテジーの場合には、少なくとも大まかな動き方向を特定することもできる。
【００４０】
同一の動きに対して適用される累積部ストラテジーが異なると、得られる勾配パターンが変わることを述べておく。よって、動きまたは動き方向を求めるために勾配パターンを解析する場合には、累積部ストラテジーも共に考慮すると有利である。
【００４１】
上記にて述べたように、本発明の方法においてフレーム間差分を濃淡値に基づいて求めることができ、このように求めることは低コストであるため、特に好適でもある。具体的には、所与のフレームにおいて、観察対象の画像の各位置の濃淡値を用いるのが典型的である。このことは、画像をフル解像度で行動解析に用いるのではなく、解像度を低下させた画像および／または画像領域を観察するデータ縮減手法においては、１ブロック内の複数の画素にわたって平均化することにより、有利に実施することができる。このようにして低解像度化して得られた濃淡値画像をバッファメモリに記憶すると、各シーケンスに必要なデータ処理を最小限に抑えることができる。
【００４２】
すでに述べたように、本発明の方法では差分形成を行う前に、複数の画素からブロックを形成し、このブロック間の差分を求めることにより、累積部フィールドの解像度をビデオストリームの解像度より小さくするのが好適である。たとえば、３２０×２４０個のブロックに縮減すると、濃淡階調にも十分であることが判明している。このことは、行動認識必須の解像度であるとの限定を本発明に行うものではない。たとえば、２５６×１９２個のブロックでも既に、良好な行動認識が実現された。通常は、カメラによって実現される解像度を単に、差分累積に使用される解像度にまで減少させ、このことも利点を奏する。このことは典型的には、高速のアルゴリズムを用いてスケーリングできる場合に、すなわち、たとえば整数を用いて減少させることが可能である場合に当てはまる。また、差分形成前にダウンスケーリングすることも典型的であるが、このことは必須ではないことを述べておく。逆に、差分形成を高解像画像において行い、その後に差分画像のダウンスケーリングを行うことも可能である。さらに、たとえば互いに遠距離に離れたカメラユニットを用いて大面積の監視タスクを行う場合、最大解像度で差分を観察および累積することが有利である場合も多いことを述べておく。
【００４３】
さらに、いずれにせよデジタルビデオカメラでは、たとえば高解像カメラを用いて、空間解像度が低いので小さいデータ負荷でネットワーク内において転送可能なビデオストリームを生成できるようにするため、データ縮減を行うことが多いことも述べておく。
【００４４】
本願では、本発明の方法を実施するための装置についても保護を請求しており、当該装置は、フレーム間差分を表すデータを形成するための差分形成段と、当該フレーム間差分を表すデータを記憶するための少なくとも１つの累積部フィールドと、当該累積部フィールドにおける勾配を形成するための勾配形成手段と、形成された勾配が行動を示しているか否かを判定するための勾配評価手段とを備えている。当該装置はたとえば、上記のデータ処理方法を実施するための適したソフトウェアまたはファームウェアを備えたデジタルカメラとすることができる。このような構成のカメラは、ＬＡＮ／ＷＬＡＮ／ＷＡＮ／ＧＳＭ／ＵＭＴＳ等を介して、たとえばＴＣＰ／ＩＰ等の従来のプロトコルを用いてデータを転送できることも、述べておく。
【００４５】
本願ではさらに、本発明の方法を具現化できるソフトウェアについても保護を請求していることも、述べておく。
【００４６】
以下、図面を一例として参照して、本発明を説明する。
【図面の簡単な説明】
【００４７】
【図１ａ】フレームシーケンスに含まれる、人がカメラから離れていくテストフレームを示す図である。
【図１ａ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図１ａに示したものを示す図である。（なお、国際出願時のａ’はａ．と表す。以下、ｂ’、ｃ’、ｄ’、ｅ’も同様）
【図１ｂ】前記フレームシーケンスについての差分画像を示す図である。
【図１ｂ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図１ｂに示したものを示す図である。
【図１ｃ】第１ストラテジーにより差分画像を累積したもの（「順方向」）を示す図である。
【図１ｃ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図１ｃに示したものを示す図である。
【図１ｄ】第２ストラテジーにより差分画像を累積したもの（「逆方向」）を示す図である。
【図１ｄ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図１ｄに示したものを示す図である。
【図１ｅ】差分画像の順方向／逆方向の一部分を示す図である。
【図１ｅ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図１ｅに示したものを示す図である。
【図１ｆ】濃淡値線による図１ａおよび図１ｂの輪郭画像を示す図である。
【図１ｇ】濃淡値線による図１ｅの輪郭画像を示す図である。
【図２ａ】フレームシーケンスに含まれるテストフレームであって、人が右側からシーン内に立入り、左側に向かって移動してから、その後に複数の車に沿ってカメラから離れていく（この段階で図示されている）テストフレームを示す図である。
【図２ａ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図２ａに示したものを示す図である。
【図２ｂ】図２ａのフレームシーケンスから得られた差分画像を示す図である。
【図２ｂ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図２ｂに示したものを示す図である。
【図２ｃ】第１ストラテジーにより差分画像を累積したもの（「順方向」）を示す図である。
【図２ｃ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図２ｃに示したものを示す図である。
【図２ｄ】第２ストラテジーにより差分画像を累積したもの（「逆方向」）を示す図である。
【図２ｄ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図２ｄに示したものを示す図である。
【図２ｅ】図２ｃおよび２ｄについての輪郭画像を示す図である。
【図３ａ】カメラ手前を横切る人の動きを示す図であり、左側はテストシーケンス中のフレーム例であり、右側は、先行フレームとの差分画像である。
【図３ａ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図３ａに示したものを示す図であり、図３ａの画像の左側／右側は、図３ａ．において上下に示している。
【図３ｂ】複数の異なるストラテジーにより差分を累積したものを示す図である。
【図３ｂ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図３ｂに示したものを示す図である。
【図３ｃ】図３ａおよび３ｂについての輪郭画像を示す図である。すなわち、上方には図３ａに係る輪郭画像であり、下方は図３ｂに係る輪郭画像である。
【図４ａ】カメラに向かう車の移動を示す図であり、左側はテストシーケンス中のフレーム例であり、右側は、先行フレームとの差分画像である。
【図４ａ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図４ａに示したものを示す図であり、図４ａの画像の左側／右側は、図４ａ．において上下に示している。
【図４ｂ】複数の異なるストラテジーにより差分を累積したものを示す図である。
【図４ｂ．】ラスタ形態の倍増をより良好に行えるようにする目的のためだけに、図４ｂに示したものを示す図である。
【図４ｃ】図４ａおよび４ｂについての輪郭画像を示す図である。すなわち、上方には図４ａに係る輪郭画像であり、下方は図４ｂに係る輪郭画像である。
【図５】図４ｂの、複数の異なるストラテジーにより累積した差分画像を拡大したものを、特許出願公開公報をより良好に印刷できるようにするために選択された輪郭表現で示す図であり、同図では、１つのストラテジーでは比較的目立つため良好に検知しやすい、動き領域の範囲内の勾配線を示している。
【図６】図１ｇの、複数の異なるストラテジーにより累積した差分画像を拡大したものを、特許出願公開公報をより良好に印刷できるようにするために選択された輪郭表現で示す図であり、同図では、１つのストラテジーでは比較的目立つため良好に検知しやすい、動き領域の範囲内の勾配線を示している。
【図７】複数の異なる動きについてのヒストグラムであり、同ヒストグラム中、累積部フィールド内にある古さが異なる２つのエントリ間の画素距離の頻度を示している。具体的には、上方は、たとえば図３にて歩行者がランニングしている区間に沿って走行している車について示しており、下方は、歩行者がカメラ近傍を比較的低速で横切って移動する場合について示している（図３のシチュエーションを参照のこと）。
【００４８】
本発明では、フィールドにおけるフレームシーケンスについて、フレーム間差分についてのデータを蓄積し、累積部フィールドにおける勾配を求め、当該勾配から行動を推定する方法を実施するための装置に、
フレーム間差分を表すデータを形成する差分形成段と、
フレーム間差分を表すデータを記憶するための少なくとも１つの累積部フィールドと、
前記累積部フィールドにおける勾配を形成するための勾配形成手段と、
形成された勾配が行動を示しているか否かを判定するための勾配評価手段と
が備えられている。
【００４９】
この装置は、それ自体は従来のものであるデジタルビデオカメラ、すなわち、ビデオストリームをデジタルビデオストリームとして出力してビデオデータのデジタル処理を可能にするビデオカメラとすることができる。とりわけ当該カメラは、撮像期間とちょうど等しい長さの期間にわたって画像列を観察する人間の観察者に、個々の画像ではなく滑らかまたはほぼ滑らかな動きになっているという印象が与えられるように高速で、デジタル単画像の画像列を撮像する。このことは、フレームレートが２４ｆｐｓ前後に達したときに実現できる。また、たとえば所与のフレームレート自体が比較的低速である場合、他のフレームレートで本発明を使用することも可能である。このことは、少ない光量での観察時に、たとえば夜間に当てはまり、その際には、たとえば１フレームあたり１秒前後の範囲内の露光時間が必要となる場合がある。場合によっては、同一の場所において同じ１つのカメラを動作させて、複数の異なるフレームレートの解析を行うことも可能である場合がある。
【００５０】
さらに、たとえば非常に遠距離にある領域を監視する場合には、‐解像度が同じである場合‐表示スケールが小さいことにより、この遠距離にある領域において動く対象が画像の特定の領域において移動する速度は、近距離にある対象よりも格段に低速になってしまうが、この場合においても、本発明をより低速のフレームレートで動作させることができるという利点が奏されることを述べておく。また、たとえば非常に緩慢なプロセスを観察する場合、格段に低速のフレームレートを選択することも可能である。
【００５１】
本発明の従来のデジタルビデオカメラは、内蔵データ処理ユニットを備えることとなり、この内蔵データ処理ユニットにおいて画像データを処理して記憶することができる。少なくとも、プロセッサと、データメモリと、プログラムメモリと、少なくとも１つのインタフェースとが設けられる。このインタフェースは、カメラがセンター、警備業者、データベースまたはホストコンピュータ等と通信するためのものである。この通信は、それ自体で適切、公知または将来の通信プロトコルを用いて行うことができ、かつ、これによって本発明が阻害されることはない。
【００５２】
上述のようなデータ処理ユニットは、複数の異なるデータ処理タスクをこなすように、ソフトウェアまたはファームウェアを用いてプログラミングすることができる。その性能は、本願にて記載した方法の各ステップを容易にリアルタイムで処理できるように選択される。当業者であれば明らかであるように、本発明にて必要および／または有利とされるステップに必要なデータ処理性能は僅かのみであるから、上述のことによって計算容量に特別な要求が課されることはない。
【００５３】
また、１シーケンスのフレームに対応した、またはブロックに縮減されたフレームに対応した、または複数の異なるストラテジーに対応する累積部フィールドに対応した、または、１シーケンスのフレームの濃淡画像ならびに／もしくは色値画像ないしは濃淡ブロックならびに／もしくは色値ブロック等に対応した、本発明において必要または有利であるデータメモリおよび／またはリングバッファによって、著しく高いハードウェアコストが生じることはなく、むしろ、既存のカメラに典型的に既に、本発明を当該カメラ上にてしばしば容易に実施できる程度の容量のメモリが備わっていることも明らかである。本発明の方法のその他の部分については、必ずしもカメラ上にて実施する必要はなく、センターまたはこれと同等の場所にて実施することも可能であること、場合によっては記憶されたデータ上でも可能であることを述べておく。
【００５４】
上記のことから、累積部フィールド、差分形成段、勾配評価手段等として説明しているが、これらの要素や手段を具現化するためには、デジタルカメラにて慣用されている従来のデータ処理構造を用いれば十分であることも明らかである。よって、本発明の方法を実施するための装置についても保護を請求する限り、たとえば、フレーム間差分を表すデータを形成するための差分形成段と、フレーム間差分を表すデータを記憶するための少なくとも１つの累積部フィールドと、当該累積部フィールドにおける勾配を形成するための勾配形成手段と、形成された勾配が行動を示すか否かを判定するための勾配評価手段とを備えた装置について保護を請求する限りは、もちろん、当該装置はそれ自体従来のビデオカメラとして構成することができるが、上記各要素をデータ処理ユニットによって実現するために、当該ビデオカメラを、データ処理方法を実行するための専用の適切なソフトウェアまたはファームウェアを用いて構成変更したものとすることができることは明らかである。
【００５５】
上述のような構成のカメラは、ＬＡＮ／ＷＬＡＮ／ＷＡＮ／ＧＳＭ／ＵＭＴＳ／ブルートゥース／ＵＳＢまたはこれと同等のものを介して、たとえばＴＣＰ／ＩＰ等の従来のプロトコルを用いて、データを伝送できることに留意すべきである。このようにデータ伝送を行う限りは、従来のデータプロトコルを用いて、たとえば小売業のレジスタ、データベース、煙報知器等の付加的な信号の交換を行うことができる。
【００５６】
このことを前提条件として、カメラを用いて取得されたデータは、一例として図面を参照して以下説明するように処理される。
【００５７】
まず、図１を参照して当該方法を説明する。
【００５８】
まず図１ａには、白黒すなわち濃淡階調で、１つのフレームシーケンスのうちテストフレームを示す。このフレームシーケンス内では、右側の列の隣に駐車中である自動車を動かす人が、ビデオカメラから離れているところである。このようなシーンは、本発明の用途において典型的なシーンである。ビデオ撮影はカラーで行うことが可能であること、すなわちフレームデータをカラーフレームデータとすることが可能であることを述べておく。このような場合、簡素な実装を実現するためには、濃淡値のみを考慮して、図１に示したような画像を基礎するのが好適である。
【００５９】
画像領域内において人が動くと、シーケンスのフレーム間に差異が生じる。図１ｂにこのフレーム間差異を示す。明るく示した部分は、画像が大きく変化した領域であり、同図中では先行のフレームに対する差分を示している。すなわち：
まず最初に、フレーム対（ｉ，ｉ−１）の差分を求め、
次に、フレーム対（ｉ−１，ｉ−２）の差分を求め、
その次に、フレーム対（ｉ−２，ｉ−３）の差分を求め、以下同様に求める。
【００６０】
図１ｂに関しては、画像を３等分した上部分のほぼ中央に明るいスポットが存在するのが分かる。これは、移動中の人と、その影のものである。その隣には、画像中の手前左側に明るい領域があるのが分かる。これは、前景にある木の陰のものである。背景にはさらに、複数の明るい面分があるのが分かる。これらは、他の木および／または駐車中の車の輪郭に関連付けられるものである。
【００６１】
本願出願公開の複製に際しては、単なる明暗表現や写真を認識することは困難である場合があることが想定されるので、図１ａおよび１ｂの他にさらに、重要な輪郭を認識できるようにした補助表示、すなわち、基本的に明領域と暗領域との間のエッジのみを特定した補助表示も加えておく。ここで強調すべき点は、このエッジ検出、および、画像中においてエッジを表現することは、本発明の方法にとって必須ではなく、これらは、予測される開示要件違反を回避するために、本願において単により見やすくするため、つまり説明のために別途追加したものであることである。このことは、他の輪郭表現すべてについても当てはまる。
【００６２】
高速のフレームレートの場合でも、太陽の動きが本来緩慢であるにもかかわらず、屋外での撮影の最中に風の影響によって、または、空の雲の占有状態が変化して日なたの比率が変化することにより、木の影が差分画像において認識可能となり得る場合がある。これに起因して画像中に生じる作用と、人間が動くことによる画像変化とを区別しなければならない。
【００６３】
これらを区別するためには、差分画像を累積する。この累積時には、各差分画像の画素ごとに、累積部フィールド内における当該画素の位置に、当該差分画像の当該画素位置における実際の差分値に起因して入力を行うべきか否かを検査する。
【００６４】
この検査は、複数の異なるストラテジーに従って行うことができる。本実施例では、２つのストラテジーを同時に用いて処理する。
【００６５】
上記いずれのストラテジーにおいても、各シーケンスの開始点において各累積部フィールドが０にセットされると仮定する。すなわち、累積部フィールド内のどの画素の初期値も０であると仮定する。このように仮定したのは、本発明をより分かりやすく説明するための単なる説明上の理由からであることを、以下の説明に先立って予め述べておく。
【００６６】
第１のストラテジーでは、現在観察中の差分画像の１画素位置における値が０と格段に異なる場合（つまり、差分が所定の閾値を超える（図１ｂでは「明るい」）場合）には常に、上記累積部フィールド内の当該画素に値を書き込む。このとき、第１のストラテジーでは、累積部フィールド内の当該位置において、先行の差分画像からのエントリが既に存在するか否かは検査しない。よって、場合によっては古い差分が上書きされることがある。
【００６７】
当該ストラテジーの場合に、累積部フィールド内において新しいエントリと古いエントリとを区別できるようにするためには、差分画像が属する各エントリごとに数値符号化する。たとえば、フレーム対（ｉ，ｉ−１）の差分の場合、累積部フィールド内に値１を入力し、フレーム対（ｉ−１，ｉ−２）の差分を書き込む際には値２を入力し、フレーム対（ｉ−２，ｉ−３）の差分の場合には値３を書き込み、以下同様とすることができる。このようにして累積部フィールド内には、特定のエントリがどの程度古いかを識別できる値が設けられる。
【００６８】
他の累積部フィールドを用いて、もう１つのストラテジーを遂行する。複数の異なる例から分かるように、複数の異なるストラテジーを同時に用いることは、事前に既知でない動きパターンの場合に有利である。
【００６９】
本願にて開示する第２のストラテジーについても、現在観察中の差分画像の、１画素の位置における値が、顕著に０とは異なっている場合（すなわち、差分が所定の閾値を超える場合（図１ｂでは「明るい」場合））には、当該画素において値を累積部フィールド内に書き込むことができる場合があるようになっている。第２のストラテジーではさらに、当該位置において既にエントリが累積部フィールド内に存在するか否かを検査する。第２のストラテジーでは、累積部フィールド内において当該観察中の位置における値が未だ０である場合のみエントリを行うことができる。ここでも、差分対の存続経過期間を符号化した値が入力される。すなわちここでも、フレーム対（ｉ，ｉ−１）の差分については累積部フィールド内に値１を入力し、フレーム対（ｉ−１，ｉ−２）の差分を書き込む際には値２を入力し、以下同様とすることができる。このようにして、第２のストラテジーの累積部フィールド内においても、特定のエントリがどの程度古いかを識別できる値が設けられる。
【００７０】
しかし、第１のストラテジーとは異なり、古いエントリは上書きされない。このことにより、別の異なる累積パターンが生成される。
【００７１】
一方向に均質に動くと、各画像に順次、異なる位置であるが互いに隣接する位置に大きな差分が生じる。この差分は複数の異なる時点において生じ、当該差分の存続経過期間に関連づけられた値が累積部フィールドに入力されているおかげで、勾配を形成することにより、複数のフレームにわたって動きがなされたか否かを判断することができる。そうである場合には、比較的大きな領域において、累積部フィールド内における勾配は０とは異なることになる。この領域のサイズは、対象のサイズと、移動距離と、対象距離とに依存する。
【００７２】
上記２つの各累積部フィールドについて、図１ｃおよび図１ｅから分かるように、それぞれ異なるパターンが得られる。ここから明らかであるように、複数の異なる動きを認識するためには、それぞれ異なるパターンとするのが有利である。
【００７３】
本実施例では、図１ｃおよび図１ｄの累積の後、複数の面分が現れており、これらの面分内には比較的大きな範囲にわたって顕著な差分が生じている。これらの面分も、一例として説明した個別の差分画像と同様、後景の木と、前景の木の影領域と、駐車中の車の輪郭と、動作中の人間とにマッピングすることができる。
【００７４】
しかし、累積部画像内では、動作中の人間に関連付けられる面分と、木、木陰および駐車中の車を含む他の面分との間には顕著な差異が存在しており、しかも、動作中の人に属する面分では体系的な勾配を認識できるのに対し、同一シーケンス内において同様に差分が観察される他の非黒色面分については、体系的な振舞いを認識することができないようになっている。
【００７５】
この動きに関連し動きを示唆する勾配が存在することのより良好な裏付けを示すべく、図１ｅに、人の動きの領域における累積部画像の一部を示す。これについては、図１ｇに輪郭画像を示している。図１ｇでは、複数の異なる濃淡の領域が輪郭線により分離されている。しかしこの輪郭画像は、見やすくかつ説明するためにのみ用いたものであることを再度強調しておく。
【００７６】
上記累積部画像のうち一方において、勾配線がより明確に形成されているのが分かる。当該像は、カメラから動きの動き検出を行うのにより適している。
【００７７】
その他に、初期設定、稼働開始、関心領域の画定等のためには、古いエントリは青色で表現し、平均的な古さのエントリは緑色で表現し、比較的新しいエントリは黄色で表現し、それより新しいエントリは橙色で表現し、さらに新しいエントリは赤色で表現するように、累積部フィールドへの入力値として色を入力することも好適となり得ることにも留意すべきである。このようにして、ユーザはこのカラーパターンに基づき、動きを良好に識別することができる。このことは、グラフィカルユーザインタフェース等を用いて実現できるシステム構成に非常に役立つ。その際にはたとえば、それ自体は関係無い画像領域を画定すること、および／または、予測される動きまたは危険な動きに対して特に適したストラテジーを、多数の可能な累積部ストラテジーないしは差分形成ストラテジーの中から選択することが可能である。
【００７８】
可能なストラテジーは、上記にて説明した２つの累積ストラテジーだけではない。しかし、これら２つの累積ストラテジーは簡単に具現化することができ、多数の動きを認識するのに非常に適している。このことについて以下説明する。
【００７９】
図２において、右側からシーン内に入り込む人を示している。この人は左側に向かって移動してから、その後に複数の車に沿ってカメラから離れていく方向に移動している。上記のように求められた差分と、上記にて説明したストラテジーより得られた累積部画像とに基づき、累積された動き画像における勾配を形成することによっても、動きを動きとして認識することができ、さらに、この勾配の形状から、動き方向を大まかに推定することさえも可能である。このようにして、本発明の方法は動きの方向変化に対しても安定したものとなる。すなわち、シーケンス中に動きの方向が変化する場合でも、本発明の方法を使用することができる。さらに図２ｅには、カメラの前を横切る動きに対し、双方のストラテジーにより得られる結果がほぼ等しく良好になることも示されている。
【００８０】
このことは図３にも示されている。同図では、人がカメラの前を横切って移動しており、しかも、カメラの比較的近傍を移動している。ここで目立つのは、変化が高速であることに鑑みると、少なくとも当該人の身体の領域には一続きの領域が存在しなくなっているが、当該身体の陰領域には一続きの領域が存在していることである。ここで留意すべき点は、狭い空間の勾配形成を行うのではなく、代わりに比較的大きな領域にわたって勾配を求めることによっても、動きを非常に確実に認識できることである。このことはたとえば、累積された差分値が０になる領域を、勾配を求める際に無視することによって実現することができる。つまり、累積された差分値が０になる領域では、変化が生じていない、ということである。非常に高速の動きの場合には、上述のことは、２つの連続するフレーム間において対象が移動した距離が当該対象の長さを上回る場合に当てはまる。
【００８１】
ここで述べておくべき点は、勾配形成時に画素における値を無視するための要件として、必ずしも、当該値がちょうど０であることを要しなくてもよい場合があることである。逆に、累積部フィールド内のエントリが属する動きが、現在観察中の動きより格段に古い場合には、当該エントリを無視することも可能である。
【００８２】
よって、累積部フィールドにギャップが存在する場合、ないしは、比較的新しいエントリ間に非常に古いエントリしか存在しない場合には、動きが非常に高速であることが分かる。このことを利用して、移動速度を表す少なくとも大まかな尺度を得ることも可能である。こうするためには、たとえば累積部フィールド内のゼロエントリのギャップ幅を求め、このギャップ幅から移動速度を表す尺度を求めることができ、しかも場合によっては、カメラからの距離を基準として正規化等することも可能である。以下、より良好な速度測定手段を説明する。
【００８３】
図４に、高速の動きの場合にも、同図では走行中の車の動きの場合にも、差分画像を求め、その次に差分画像を累積し、累積部フィールドないしは累積部画像における勾配を形成することにより、動きを確実に認識できることが示されている。開示要件違反を防ぐために添付した、上記２つの累積部ストラテジーのうち一方について示す図５から、この勾配線が顕著に表れたものを見てとれる。
【００８４】
上記では、本発明の行動センサについて、すなわち本発明の行動認識について、主に動きに関して説明したが、このことは必須ではない。たとえば、画像内において同時に所定の変化が検出された場合のみ、たとえば、目標方向とは逆方向のランニングや、複数の対象の相互の接近移動等が検出された場合、または、同時に他の信号が、他のセンサからも得られた場合にのみ、センサ問合せすなわちシステム応答を引き起こすことも可能である。すなわちこのような場合には、どのような動きも、システム応答を引き起こす行動として単純に同定される訳ではない。
【００８５】
その他に、上述のシステム応答として行わなければならないのは警報作動のみではないということも述べておく。たとえば、適切なシステムの場合、システム応答を、たとえば電灯または暖房コントロール等の（電気的）負荷の投入接続とすることもでき、データベース問合せを引き起こすことも可能である。たとえば、顧客を検出する等を行うために、切符売り場内の窓口に向かう方向に移動する対象が顧客であると判断した場合に当該データベース問合せを引き起こすことができる。その際にはたとえば、変化した画像についてのみ、すなわち動きが行われた画像についてのみ、画像データのバイオメトリック解析を行わなければならないとするのが好適である。このことにより、計算量が減少する。また、たとえば立体駐車場内において、動き認識の後に入車および出車する自動車のナンバープレートを同定し、この同定したナンバーに関する信号を出力することも可能である。したがって一般的には、特に、可能性のある画像内容に関するデータベースを用いて本発明を使用すると、本発明によりトランザクションを検査すること、および／またはトランザクションをより容易に行うことができる。
【００８６】
上記では説明上の理由により、各シーケンスごとに専用の累積部フィールドを用いると記載した。このことは必須要件ではない。逆に、すべてのシーケンスに対して同一の累積部フィールドを、同一のストラテジーに対して使用するだけで十分であることも多い。このことはむしろ有利でもある。その際にはたとえば、累積部フィールドを最初に初期設定すること、たとえば０にセットすることが可能であり、その後、累積部フィールドにデータが書き込まれた場合、そのつど書き込むべき画素において高い値を入力することができる。その際には、新規のフレームについて差分を考察する前に、累積部フィールド内のすべての正の値を１だけ減少させ、すなわち、累積部フィールド内のデータの存続経過期間を長くすることにより、長期間にわたって変化が生じていない画素位置において新規に考察されるフレームが所定数になった場合、値は再び０に戻る。このことにより、累積部ストラテジーが２つである場合には、それ自体については２つの累積部フィールドで十分となる。
【００８７】
かかる場合において、累積部フィールド内においてたとえば「４０」の値は、最初に生じた画像間差分を表し、たとえば「３９」の値は、先行のフレームにおいて、当該画素において、当該先行フレームより先行するフレームに対して差分が存在していたことを表し、以下同様である。累積部フィールド内の値は上述のようにして、エントリの存続経過期間を、ないしは、当該画素において画像変化が特定されてから経過した時間を符号化したものである。
【００８８】
その後、勾配を形成するときには、明らかにより古い動きに対応すべき領域を、当該勾配形成において無視することができる。このことにより、たとえば局所的または一時的に多くの対象の動きを用いて計算しなければならない場合の解析、たとえば電車乗降等における解析も容易になる。
【００８９】
さらに、上記でも述べたように、累積した差分の「ギャップ」から速度を推定することも可能である。しかし、累積部フィールド自体を観察するのではなく、当該累積部フィールド内の複数の特定の値間の距離が所定の距離になる頻度を観察するのが有利である。こうするために有利なのは、累積部フィールド内の複数の異なる値間の距離を表す、対応する累積部フィールドヒストグラムを観察することである。
【００９０】
０エントリのギャップ幅のみに基づいて速度算出を開始させるより格段に良好な手法は、エントリの存続経過期間を累積部フィールドに入力し（つまり、特定の画素において先行画像との差分がいつ発生したのかを記録し）、累積部フィールド内の複数の異なる古さのエントリ間の（画素）距離を、有利には統計学的手法により検査することである。
【００９１】
エントリの存続経過期間が変化した場所間の画素距離が大きい場合、対象が観察対象のフレーム間において移動した時間間隔は大きい、ということになる。よって、当該対象は高速である、ということになる。ここでたとえば、より正確な判定を行うためには、関連性の高い画像領域からカメラまでの距離等を共に考慮できることも、述べておく。望ましい場合には較正を行うことができ、ないしは、他の手法によりシーンの３次元性を考慮することができる。このことはとりわけ、カメラが現場にて固定されて取り付けられている場合、簡単に実現することができる。さらに、アーチファクトの影響を低減するため、複数の異なる画像レートおよび／または解像度および／またはカラー階調ならびに／もしくは濃淡階調で並行して解析を行うことも可能である。
【００９２】
異なる古さのエントリ間の画素距離の検査を行える手法は種々存在する。特に好適なのは、たとえば、古さの異なるエントリの最高頻度の距離を求める等の統計学的な考察である。こうするためにはたとえば、行ごとまたは列ごとに累積部フィールドを評価するヒストグラム（値の頻度を求めたもの）を用いて作業することができる。このことは、複数の異なるストラテジーを用いて実施することができる。
【００９３】
第１のヒストグラムは行について作成したものであり、第２のヒストグラムは列について別途作成したものとすることができる。列や行等の２方向でヒストグラムを求めると、たとえばベクトル和に相当する総速度を求めることができる。画素距離を距離に、ないしはフレーム間距離あたりの画素距離を速度に換算する際に視点の影響を考慮するため、ヒストグラムを画像領域ごとに求めることができる。領域ごとに求められた値は、視点正規化を行った後、共に評価することができる。さらに、主移動方向を大まかに推定した後、画像を回転させて、この主移動方向における距離を表すためのヒストグラムを作成することも可能である。
【００９４】
ヒストグラムにおいて、現在のフレーム（たとえば第４０フレーム）において当該現在のフレームの先行フレームとの差分が生じたことが検出された画素が、当該先行フレーム（すなわち第３９フレーム）においてその先行フレーム（第３８フレーム）との差分が検出された画素からどの程度の距離だけ離れているかのみを表すことが可能である。これにより、画像中にて変化が生じた場所が、２つのフレーム間にて移動した距離が検査されることになる。ヒストグラムにおいて上述のように、現在のフレームと直前のフレームとの間（４０→３０）の距離のみを考察すると、現在の瞬時速度が求められる。ここで、累積部フィールドの列の方向および／または行の方向に、上述の距離を求めることができることを述べておく。背景に対して高コントラストでかつ高解像度で撮像される剛性体が均一に移動した場合には、上述の手法により、ヒストグラムにおいてちょうど１つの場所にピークが得られる。
【００９５】
このピークの幅はたとえば、たとえば腕をぶらぶら揺らしている歩行者等のように、移動中の対象が剛性ではないことにより、一部が幾らか高速に動き、かつ、一部が他の部位より若干緩慢に動くことにより広がり得る。その際にはヒストグラムにおいて、最大値を探索すること、またはピークの重心を探索することができる。
【００９６】
また、他のストラテジーも有利である。たとえば、画像中では、背景の手前にて対象が動くのであればどの画素においても差分が認められるわけではないことを考慮することができる。たとえば濃淡値のみを考慮し、対象の画素値が偶然、当該対象が手前で変位している背景の濃淡値と等しい濃淡値を有する場合、差異は検出できない。このような状況では逆に、当該画素において、たとえば対象表面における多かれ少なかれ広がりを持つパターンにより、変化が生じた場合に初めて検出することができる。このことは、対象がさらに動くことを要する。このような状況を考慮するためには、累積部フィールド内における値４０と値３９との間の距離がどの程度であるかのみを検出するだけでは済まない。というのも、上記の状況では、かかる差分が生じることがないからである。むしろ、値３８までの区間において値３９が発見されない場合には、値３８を有するエントリまでの距離がどの程度の大きさであるかも検出しなければならない。同様に、値４０と値３７との間の画素がいずれも、値３８または値３９を有さない場合には、値４０を有するエントリと値３７を有するエントリとの間の距離を考慮することができる。しかしこのストラテジーでは、既に幾らか平均化がなされてしまう。というのも、第３９フレームと第４０フレームとの間の「瞬時」速度についての値のみが求められるのではなく、より古い値対も検出され、これにより、より古い速度も検出されてしまうからである。
【００９７】
たとえば空の雲が移動するため、照明が一定でない場合にも、同様のプロセスが優勢となる。その際には、実際の差分が隠れてしまい、見かけの差分が現れてしまう。
【００９８】
さらに、ヒストグラムを用いて、他のヒストグラムストラテジーを選択することにより、さらに平均化した平均速度を求めることも可能である。たとえば、フレーム内における変化がどの程度の距離を移動したかを検出し、２つのフレームにわたってどの程度の距離を移動したかを検出し、３つのフレームにわたってどの程度の距離を移動したかを検出し、以下同様とすることができる。こうするためにはたとえば、値４０→３９間の距離、４０→３８間の距離、４０→３７間の距離等を考察することができる（その際には、たとえば距離４０→３８は２つのフレームに及ぶことを考慮しなければならない）。距離４０→３８は当該ストラテジーでは、上記にて説明したストラテジーとは異なり、２つの画素間の区間上にて値「３９」が発見された場合であっても求められる。
【００９９】
速度が一定である場合、距離４０→３８は距離４０→３９の２倍であり、距離４０→３７は距離４０→３９の３倍になる。よって、ヒストグラムには等距離に離隔した複数の最大値が生じ、これら最大値の位置から速度を推定することができる。
【０１００】
これに代えて択一的に、上述のようなヒストグラムにさらに、フレーム対３９→３８、３９→３７、３９→３６等の見かけの距離も入力することができる。このことも、速度の平均化に寄与する。緩慢に移動する対象はしばしば、シーケンスの連続フレーム上にて検出されることが多いが、このような対象の場合に生じる最大値は、特に顕著に表れ、良好に認識できる。これに対応するヒストグラムを、図７の下部分に示す。これは、フレームシーケンス中にて比較的緩慢に移動することにより検出される歩行者のものである。この歩行者は、図３と同じ区間上にて移動している。明確に認識できる最大値が複数存在するのが確認できる。
【０１０１】
図７の上方には、同図下部分とは対照的に、図３にて歩行者が走った区間において車が移動したときに得られた累積部フィールドにかかるヒストグラムを示す。同ヒストグラムも、フレーム対ｉ，ｉ−１；ｉ，ｉ−２；ｉ，ｉ−３；ｉ−１，ｉ−２；ｉ−１，ｉ−３；ｉ−１，ｉ−４；ｉ−２，ｉ−３等に対応付けるべき距離を詳細に示しており、同図中においても、複数の最大値の列を認識できる。これらの最大値を評価することにより、説明によって明らかであるように、速度を推定することができる。しかし車は、移動速度がより高速であるため、この車が検出されるフレーム数は、そうでない場合には同じ長さであるシーケンスのフレーム数より少なくなるので、ピークは比較的あまり明確には表示されなくなる。
【０１０２】
ここで、剛性体の動きが完全に均一であり、良好に検出可能であると仮定すると、当該剛性体が２つのフレーム間にて移動したときの差分は常に等しい。上述のストラテジーのうちいずれか複数では、ヒストグラムに複数の最大値が生じ、確かに、均一に動く剛性体が背景に対して高コントラストを有し、かつ一定に照明される理想的な場合には、これらの最大値は互いに等間隔になるが、実際にはこれらの最大値の幅は広がっており、若干シフトし得る。複数の最大値が存在する場合にデータを簡単に解析するためには、たとえばヒストグラムのフーリエ変換、たとえばＦＦＴを行い、このフーリエ変換したものの最大値を用いて速度を元得ることができる。
【０１０３】
重要な判定を下すための、ヒストグラム考察による他の手段はたとえば、４０→３９、３９→３８、３８→３７等の対のみを考察することである。これらの対で求められる距離は、画像差分に起因する動きが均等である場合に均等となり得、逆に、考察対象の動きの速度が大きく変化すると、上記対で得られる距離は大きく変化する。またたとえば、各ヒストグラム中の対応する最大値の相互間の距離や、最大値位置が時間的にどのように展開しているか、等を求めることもできる。これは、人がランニングスタートしたこと、車の発進等を示すため、ないしはこれらについて警告するために利用することができる。このことは、信号が赤色を示す時点での自動発進の検出、または、特定の立入禁止区域でのランニング、すなわち、当該立入禁止区域に対応する画像領域における動きの検出等の、別の情報を評価する場合に特に有利となり得る。
【０１０４】
また、動き方向を導出することも可能であり、具体的には、値対（４０→３９）の値（「３９，４０」）間の距離の絶対値のみを考慮するのではなく、たとえば符号によって、値「３９」を有する画素が値「４０」を有する画素の左側にあるかまたは右側にあるかを検出することにより、動き方向を導出することができる。往復移動に、場合によっては危険を引き起こす非典型的な振舞いが伴う場合には、適切な解析によってこのことを警告することができる。こうするためにはたとえば、対（４０，３９）のヒストグラム最大値の距離の符号が、対（４０，３９）の距離の符号またはたとえば（１４，１３）等のより先行の対とは異なる符号であるか否かを検査することができる。緩慢な「振り子」運動の場合には、上述の符号反転にさらに、往復運動中の速度の変化、および／または、速度が０またはほぼ０である静止フェーズを伴うことがある。これを累積部フィールドから、ないしはこれに割り当てられた値から読み出せることは、明らかである。
【０１０５】
厳密な速度算出が必ずしも必要でないことを、述べておく。たとえば、「非常に高速」、「通常の進行速度」および「通常より格段に低速」の３段階で大まかに区別できるようにすること、および／または、速度から、動く対象（「車」、「自転車」、「歩行者」）の仮定を生成することで十分となり得る。場合によっては、画像面分領域の（視点補正された）サイズ、当該画像面分領域のアスペクト比、関連性の高い画像領域における動き方向、歩行路、自転車路、道路等のトポグラフィ特性等の他の画像関連データを解析することも可能である場合がある。必要な場合には、たとえば制限された画像領域において、動いた対象を求めるためのエッジ解析を行うことも可能である。このエッジ解析は原画像全体に及ぶ必要がなく、一定方向の動きがなされた領域、特に、大まかに決まった速度での動きが成された領域に限定することができる。このことにより、エッジ検出にかかるコストが格段に低下する。上記のことから、本願にて開示した、適切に累積された差分画像の考察および評価と、勾配、値および／または値変化の考察および評価とが、画像解析にかかるコストを格段に低減するのに有益であることが明らかである。よって、累積された差分画像に勾配が生じたこと、および／または、速度関連データがその旨を示していることを理由に更なる解析を要する領域の特定は、現時点のところ、特に画像解析および内容解析の目的において、それ自体で個別に本発明の要件を成し、単独で特許請求し得る場合がある意義を持つにふさわしいものであると考える。よって、監視警備目的で転送および／または記憶するための画像領域を求めることもできる。
【０１０６】
上記のことから、本願にて開示した、適切に累積された差分画像の考察および評価と、勾配、値ならびに／もしくは値変化の考察および評価、および／または、これに対応するヒストグラムの考察および評価とが、画像解析にかかるコストを格段に低減するのに有益であることが明らかである。
【０１０７】
さらに述べておくべき点として、本願では本発明の説明のために、特に動き速度の算出または推定に際し、各フレームが時間的に等間隔であると仮定した。たとえば、カメラハードウェアがフル作動していることによりフレームの新規撮像が幾らか遅延してしまうため、フレームが時間的に等間隔であることを保証できない状況では、実際のフレーム間距離を考慮することができる。こうするためには、たとえばタイムスタンプを用いることができる。たとえば１フレームあたりの照明時間を交互に切り替え、その一部を格段に長くして作業しなければならない場合にも、たとえば夜間撮影時にも、上記のことにより利点が奏される。そのために有利なのは、各フレーム対の時間間隔を求めて考慮できるように各フレーム対の時間間隔を検出することができるタイムスタンプを使用することである。このようにフレーム対時間間隔を考慮することは、たとえば均質には記録されていないフレームストリームを事後的に解析すべき場合にも有利となり得る。速度算出および／または速度推定に著しい影響が及ぼされるおそれがある場合には常に、厳密なフレーム撮像時点の考慮が有利である。特に、取得されたシーンの較正を行った場合であって、高精度が望まれている場合には、上述のフレーム撮像時点の考慮が有利であることは明らかである。
【図１ａ】
2016515252.tif 000002
【図１ａ．】
2016515252.tif 000003
【図１ｂ】
2016515252.tif 000004
【図１ｂ．】
2016515252.tif 000005
【図１ｃ】
2016515252.tif 000006
【図１ｃ．】
2016515252.tif 000007
【図１ｄ】
2016515252.tif 000008
【図１ｄ．】
2016515252.tif 000009
【図１ｅ】
2016515252.tif 000010
【図１ｅ．】
2016515252.tif 000011
【図１ｆ】
2016515252.tif 000012
【図１ｇ】
2016515252.tif 000013
【図２ａ】
2016515252.tif 000014
【図２ａ．】
2016515252.tif 000015
【図２ｂ】
2016515252.tif 000016
【図２ｂ．】
2016515252.tif 000017
【図２ｃ】
2016515252.tif 000018
【図２ｃ．】
2016515252.tif 000019
【図２ｄ】
2016515252.tif 000020
【図２ｄ．】
2016515252.tif 000021
【図２ｅ】
2016515252.tif 000022
【図３ａ】
2016515252.tif 000023
【図３ａ．】
2016515252.tif 000024
【図３ｂ】
2016515252.tif 000025
【図３ｂ．】
2016515252.tif 000026
【図３ｃ】
2016515252.tif 000027
【図４ａ】
2016515252.tif 000028
【図４ａ．】
2016515252.tif 000029
【図４ｂ】
2016515252.tif 000030
【図４ｂ．】
2016515252.tif 000031
【図４ｃ】
2016515252.tif 000032
【図５】
2016515252.tif 000033
【図６】
2016515252.tif 000034
【図７】
2016515252.tif 000035
【国際調査報告】
2016515252.tif 000036
2016515252.tif 000037
2016515252.tif 000038
2016515252.tif 000039
2016515252.tif 000040
2016515252.tif 000041