(57)【要約】ビデオ異常検出のシステムが、時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び時空間領域の各々の時間次元を定義するビデオフレーム数を示す、トレーニングビデオの時空間領域のパラメータに従って、入力ビデオを入力時空間領域のセットに分割し、入力時空間領域の各々について、ぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済み差分画像のセットを生成する。次に、システムは、ぼかされた閾値処理済み差分画像の各セットから特徴ベクトルを抽出して、入力特徴ベクトルのセットを生成し、各入力特徴ベクトルと、シーン内の同じ空間領域に対応するトレーニング特徴ベクトルとの間の最小距離を計算して、距離のセットを生成し、距離のセットからの各距離を異常検出閾値と比較して、シーンの入力ビデオ内の異常を検出する。
2021518950.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ異常検出のシステムであって、
シーンの入力ビデオを受け取る入力インターフェースと、
前記シーンのトレーニングビデオの時空間領域のぼかされた閾値処理済み差分画像から抽出されたトレーニング特徴ベクトルのセットを記憶するメモリと、
プロセッサであって、
前記トレーニングビデオの前記時空間領域のパラメータに従って、前記入力ビデオを入力時空間領域のセットに分割し、前記パラメータは、前記時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び前記時空間領域の各々の時間次元を定義するビデオフレーム数を示し、
前記入力時空間領域の各々について、ぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済み差分画像のセットを生成し、
ぼかされた閾値処理済み差分画像の各セットから特徴ベクトルを抽出して、入力特徴ベクトルのセットを生成し、
各入力特徴ベクトルと、前記シーン内の同じ空間領域に対応するトレーニング特徴ベクトルとの間の最小距離を計算して、距離のセットを生成し、
前記距離のセットにおける各距離を異常検出閾値と比較して、前記シーンの前記入力ビデオ内の異常を検出する、
ように構成されたプロセッサと、
を備える、システム。
【請求項２】
前記プロセッサは、
前記距離のセットにおける少なくとも１つの距離が前記異常検出閾値よりも大きいとき、前記シーンの前記入力ビデオ内の異常を検出し、
異常の検出に応答して制御アクションを実行する、
ように構成される、請求項１に記載のシステム。
【請求項３】
空間領域について前記メモリに記憶された前記トレーニング特徴ベクトルは、前記トレーニング特徴ベクトル間の最小距離が前記異常検出閾値の関数となるように選択される、請求項１に記載のシステム。
【請求項４】
空間領域について前記メモリに記憶された前記トレーニング特徴ベクトルは、前記トレーニング特徴ベクトル間の最小距離が前記異常検出閾値以上となるように選択される、請求項１に記載のシステム。
【請求項５】
空間領域について前記メモリに記憶された前記トレーニング特徴ベクトルは、前記トレーニング特徴ベクトル間の最小距離が、前記空間領域のトレーニング特徴ベクトルの可能なすべての対間の距離の中央値よりも大きくなるように選択される、請求項１に記載のシステム。
【請求項６】
前記プロセッサは、
前記トレーニングビデオを前記トレーニングビデオの複数の時空間領域に分割し、
前記トレーニングビデオの前記複数の時空間領域の各々のぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済みトレーニング差分画像のセットを生成し、
前記ぼかされた閾値処理済みトレーニング差分画像のセット内の各ぼかされた閾値処理済み差分画像から特徴を抽出して、トレーニング特徴ベクトルを生成し、
前記シーン内の同じ空間領域に対応する各トレーニング特徴ベクトル間の距離を計算して、トレーニング特徴ベクトル間の距離のセットを生成し、
選択されたトレーニング特徴ベクトルと、前記トレーニング特徴ベクトル間の距離のセットにおける対応する特徴ベクトルとの間の全ての距離が、前記メモリに記憶され、前記同じ空間領域に対応する前記トレーニング特徴ベクトル間の最小距離を定義する距離閾値を上回っているとき、前記トレーニング特徴ベクトルのセットにおける前記トレーニング特徴ベクトルを選択する、
ように構成される、請求項１に記載のシステム。
【請求項７】
前記プロセッサは、
全てのトレーニング特徴ベクトルと、前記特徴ベクトルのセットにおける前記トレーニング特徴ベクトルとの間の距離の平均を計算し、
前記平均を標準偏差だけ増大させ、前記距離閾値を生成する、
ように構成される、請求項６に記載のシステム。
【請求項８】
前記プロセッサは、
前記入力ビデオの後続のビデオフレーム間の差分を決定して、差分画像を生成し、
前記差分画像を閾値処理して、バイナリ差分画像を生成し、
前記バイナリ差分画像をカーネルによりぼかし、前記ぼかされた閾値処理済み差分画像を生成する、
ように構成される、請求項１に記載のシステム。
【請求項９】
前記カーネルのタイプはガウスカーネルである、請求項８に記載のシステム。
【請求項１０】
前記カーネルの値は、前記メモリに記憶され、同じ空間領域に対応する前記トレーニング特徴ベクトル間の最小距離を定義する距離閾値の関数である、請求項８に記載のシステム。
【請求項１１】
前記カーネルの前記値は前記距離閾値に反比例する、請求項１０に記載のシステム。
【請求項１２】
ビデオ異常検出の方法であって、前記方法は、シーンのトレーニングビデオの時空間領域のぼかされた閾値処理済み差分画像から抽出されたトレーニング特徴ベクトルのセットを記憶するメモリに結合されたプロセッサを使用し、前記プロセッサは、前記方法を実施する記憶された命令と結合され、前記命令は、前記プロセッサによって実行されると、前記方法の少なくとも幾つかのステップを実行し、前記方法は、
シーンの入力ビデオを受け取ることと、
前記トレーニングビデオの前記時空間領域のパラメータに従って、前記入力ビデオを入力時空間領域のセットに分割することであって、前記パラメータは、前記時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び前記時空間領域の各々の時間次元を定義するビデオフレーム数を示すことと、
前記入力時空間領域の各々について、ぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済み差分画像のセットを生成することと、
ぼかされた閾値処理済み差分画像の各セットから特徴ベクトルを抽出して、入力特徴ベクトルのセットを生成することと、
各入力特徴ベクトルと、前記シーン内の同じ空間領域に対応する前記トレーニング特徴ベクトルとの間の最小距離を計算して、距離のセットを生成することと、
前記距離のセットからの各距離を異常検出閾値と比較して、前記シーンの前記入力ビデオ内の異常を検出することと、
を含む、方法。
【請求項１３】
前記距離のセットにおける少なくとも１つの距離が前記異常検出閾値よりも大きいとき、前記シーンの前記入力ビデオ内の前記異常を検出することと、
前記異常の検出に応答して制御アクションを実行することと、
を更に含む、請求項１２に記載の方法。
【請求項１４】
前記トレーニングビデオを前記トレーニングビデオの複数の時空間領域に分割することと、
前記トレーニングビデオの前記複数の時空間領域の各々のぼかされた差分画像を決定して、ぼかされたトレーニング差分画像のセットを生成することと、
前記ぼかされたトレーニング差分画像のセット内の各ぼかされた閾値処理済み差分画像から特徴を抽出して、トレーニング特徴ベクトルを生成することと、
前記シーン内の同じ空間領域に対応する各トレーニング特徴ベクトル間の距離を計算して、トレーニング特徴ベクトル間の距離のセットを生成することと、
選択されたトレーニング特徴ベクトルと、前記トレーニング特徴ベクトルのセットにおける対応する特徴ベクトルとの間の全ての距離が、前記メモリに記憶され、前記同じ空間領域に対応する前記トレーニング特徴ベクトル間の最小距離を定義する距離閾値を上回っているとき、前記トレーニング特徴ベクトルのセットにおける前記トレーニング特徴ベクトルを選択することと、
前記トレーニング特徴ベクトルのセットを前記メモリに記憶することと、
を更に含む、請求項１２に記載の方法。
【請求項１５】
方法を実行するためにプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法は、
シーンの入力ビデオを受け取ることと、
トレーニングビデオの時空間領域のパラメータに従って、前記入力ビデオを入力時空間領域のセットに分割することであって、前記パラメータは、前記時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び前記時空間領域の各々の時間次元を定義するビデオフレーム数を示すことと、
前記入力時空間領域の各々について、ぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済み差分画像のセットを生成することと、
ぼかされた閾値処理済み差分画像の各セットから特徴ベクトルを抽出して、入力特徴ベクトルのセットを生成することと、
各入力特徴ベクトルと、前記シーン内の同じ空間領域に対応するトレーニング特徴ベクトルとの間の最小距離を計算して、距離のセットを生成することと、
前記距離のセットからの各距離を異常検出閾値と比較して、前記シーンの前記入力ビデオ内の異常を検出することと、
を含む、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、コンピュータビジョンに関し、より詳細には、ビデオにおける動きの異常を検出することに関する。
【背景技術】
【０００２】
閉鎖回路テレビ（ＣＣＴＶ）は、セキュリティ、輸送及び他の目的で広く用いられる。その用途は、例えば、公共の広場又は建物（病院及び学校等）における犯罪又は破壊行為ならびに禁止区域への進入の監視、道路交通の自由な流れのモニタリング、交通事故及び待ち行列の検出、一方通行路において逆走している車両の検出である。
【０００３】
（オペレータが人間である場合の）ＣＣＴＶディスプレイのモニタリングは非常に労力を要する作業であるが、関心のある事象が気付かれずに進行し得るという大きなリスクがある。これは、オペレータが複数のＣＣＴＶカメラ出力を同時にモニタリングする必要があるときに特に当てはまる。結果として、多くのＣＣＴＶの設置においては、ビデオデータが記録され、事象が発生したことがわかった場合にのみ詳細に調査される。このような場合であっても、記録データ量が大きく、手作業によるデータの調査は労力を要する場合がある。結果として、自動デバイスがビデオ画像を処理して、関心のあるイベントが存在するときに検出することが必要とされている。そのような検出を、本明細書においてはビデオ異常検出と呼び、これを用いて事象をオペレータに迅速に注目させ、記録されたビデオにインデックスマークを付け、及び／又はＣＣＴＶデータの記録を選択するトリガーすることができる。
【０００４】
ビデオ異常検出の問題は、同じシーンの正常な（トレーニング）ビデオにおいて見られるアクティビティと非常に異なるアクティビティをビデオの一部分において自動的に検出することである。例えば、人物が歩道を歩いている街路シーンのビデオがあるとする。検出されるべき異常なアクティビティは、争っている人物又はフェンスを乗り越えている人物である。
【０００５】
コンピュータビジョンの文献において、ビデオ異常検出問題への様々な手法が公開されている。論文である非特許文献１に代表される１つの手法は、畳み込みニューラルネットワーク自己符号化器を用いて、トレーニングビデオで発生する典型的な外観及び動きを学習する。自己符号化器は、トレーニングビデオの典型的なウィンドウを再構成するように学習する。異常を検出するために、自己符号化器を用いて、試験ビデオのウィンドウを再構成する。再構成誤差が高いフレームは異常であるとフラグ付けされる。この方法の主な欠点は、トレーニングビデオ内で生じる稀であるが正常なアクティビティが十分モデル化されず、この結果、試験ビデオにおける多くの偽陽性異常検出が生じることである。
【０００６】
論文である非特許文献２に代表される別の手法は、トレーニングビデオの特徴ベクトルから入力ビデオの一部から計算された特徴ベクトルを再構成することに基づく。しかしながら、このクラスの手法は、誤りを生じがちであり、計算コストが高く、また、トレーニングビデオにおいて生じる稀であるが正常なアクティビティを見逃す可能性がある。
【０００７】
ビデオ異常検出に対する第３の手法は、ビデオの特徴の確率分布をモデル化する。非特許文献３は、この手法の例である。しかしながら、この手法も、トレーニングビデオにおいて生じる稀であるが正常なアクティビティを見逃す可能性がある。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Hasan他「Learning Temporal Regularity in Video Sequences」（CVPR 2016）
【非特許文献２】C. Lu他「Abnormal Event Detection at 150 FPS in MATLAB」（ICCV 2013）
【非特許文献３】Kratz及びNishino「Anomaly Detection in Extremely Crowded Scenes Using Spatio-Temporal Motion Pattern Models」（CVPR 2009）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、入力ビデオにおける動きの異常を検出するシステム及び方法が依然として必要とされている。
【課題を解決するための手段】
【００１０】
監視する対象である典型的なシーンは、そのシーンについて正常であるとみなされる、事実上無制限の数の動きの形を含む可能性がある。そのため、シーンから取得されたビデオを、シーンの正常な動きにおける全ての可能な形と比較してビデオ内の異常を検出することは実現困難であり得る。複数の異常検出方法は、これを問題ではなく、動かすことのできない事実（fact of life）とみなす。そのため、様々な異常検出方法はシーン内の正常な動きを集約することを考案し、この集約を異常検出において用いることを目的とする。集約は、ニューラルネットワークのパラメータ、動き再構成技法又は確率分布等の様々な形態を採ることができる。しかしながら、動きの集約の計算はコストが高い可能性があるか、動きの集約はシーン内の稀であるが正常な動きを認識し損なう可能性があるか、又はその両方である。
【００１１】
幾つかの実施の形態の目的は、異常検出のために、入力ビデオにおける動きと、トレーニングビデオにおける動きとの直接比較を用いることである。そのような直接比較、例えばユークリッド距離に基づく比較は、計算効率がよく、稀な正常な動きであっても検討することができる。例えば、街道における通常の正常な動きが歩行である場合、動きの集約に基づく方法は、歩行と転倒とを区別することができる。しかしながら、正常な動きが、人物が靴紐を結ぶ動きを含む場合、集約に基づく方法は、トレーニングビデオにおいて靴紐を結ぶ動きが時々存在する場合であっても、この動きを異常とみなす。対照的に、直接距離計算方法は、この靴紐を結ぶ動きを、そのようなタイプの動きがトレーニングビデオ内に存在する場合、正常と認識することができる。
【００１２】
幾つかの実施の形態は、ビデオ異常検出の集約技法が後処理技法である、すなわち、トレーニングビデオ内の動きが計算された後に用いられる技法であるという認識に基づく。幾つかの実施の形態は、これらの後処理技法を、最初に動きを判断するのに用いられる前処理技法と置き換えることができるという認識に基づく。特に、幾つかの実施の形態は、トレーニングビデオから計算された動きの集約を提供する代わりに、直接比較の正確性及び利点を保持しながら、計算された動きの探索空間を低減するように動き自体の計算が行われるとき、ビデオ異常検出における集約問題に対処することができるという認識に基づく。
【００１３】
特に、幾つかの実施の形態は、そのような探索空間効率の良い動きの計算を、トレーニングビデオ及び入力ビデオにおける２つの連続したフレームのぼかされた閾値処理済み差分を介して達成することができるという認識に基づく。例えば、２つの連続したビデオフレームの閾値処理済み差分画像は、これらのフレームにおける動きを捕捉する。大きく変化する（すなわち、差分の絶対値が閾値を上回っている）任意のピクセルは、閾値処理済み差分画像において値１を割り当てられ、そうでない場合、値０を割り当てられる。ぼかされた閾値処理済み差分画像において、この動き画像は、例えば、閾値処理済み差分画像をガウスカーネルで畳み込むことによってぼかされる。幾つかの実施の形態は、２つの閾値処理済み差分画像が類似であるが異なる動きを捕捉する場合、この差により、結果として２つの異なる閾値処理済み差分画像が生じるという認識に基づく。しかしながら、同じく類似であるが異なる動きについて２つのぼかされた閾値処理済み差分画像が判断されるとき、ぼけにより差分を平滑化することができ、それによって、これらの２つのぼかされた閾値処理済み差分画像を類似とみなすことができる。
【００１４】
この認識により、シーンのトレーニングビデオ内に存在する全ての正常な動きを記憶する単純で効率的な方法が可能になる。トレーニングビデオは異なる複数の時空間領域に分割される。例えば、幾つかの実施態様において、ビデオの時空間領域は、トレーニングビデオのＴ＋１個の連続したフレームにわたって計算された空間領域内のＴ個のぼかされた閾値処理済み差分画像の固定長シーケンスによって表される。空間領域内のＴ個のぼかされた閾値処理済み差分画像のシーケンスは、共にスタックされ、ベクトル化されて、特徴ベクトルがもたらされる。
【００１５】
トレーニングビデオについて、複数の特徴ベクトルは、部分的にぼかし動作に起因して非常に類似している可能性がある。２つの特徴ベクトルは、それらの間の距離が、本明細書において複製閾値と呼ばれる閾値未満である場合、互いの複製とみなされる。そのようにして、トレーニングビデオの各空間領域に一意の特徴ベクトルのみが記憶されるとき、動きの探索空間は低減され、探索空間が直接動き比較に実用的なものとなる。
【００１６】
したがって、１つの実施の形態は、ビデオ異常検出のシステムを開示する。このシステムは、シーンのトレーニングビデオの時空間領域のぼかされた閾値処理済み差分画像から抽出されたトレーニング特徴ベクトルのセットを記憶するメモリと、入力インターフェースを通じてシーンの入力ビデオを受け取り、入力ビデオとトレーニングビデオとの比較、すなわちメモリに記憶されたトレーニング特徴ベクトルとの比較に基づいてシーンの入力ビデオにおける異常を検出するプロセッサとを備える。
【００１７】
特に、プロセッサは、トレーニングビデオの時空間領域のパラメータに従って、入力ビデオを入力時空間領域のセットに分割し、パラメータは、時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び時空間領域の各々の時間次元を定義するビデオフレーム数を示し；入力時空間領域の各々について、ぼかされた閾値処理済み差分画像のシーケンスを決定して、入力特徴ベクトルのセットを生成し；各入力特徴ベクトルと、シーン内の同じ空間領域に対応するトレーニング特徴ベクトルとの間の距離を計算して、距離のセットを生成し；距離のセットからの各距離を異常検出閾値と比較して、シーンの入力ビデオ内の異常を検出するように構成される。
【００１８】
例えば、プロセッサは、距離のセットにおける少なくとも１つの距離が異常検出閾値よりも大きいとき、シーンの入力ビデオ内の異常を検出することができる。幾つかの実施態様において、プロセッサは、異常の検出に応答して制御アクションを実行する。例えば、制御アクションは、事象をオペレータに迅速に注目させ、記録されたビデオにインデックスマークを付け、ＣＣＴＶデータの選択的記録をトリガーし、及び／又はセキュリティアプリケーションを実行させることができる。
【００１９】
幾つかの実施の形態は、ぼかされた閾値処理済み差分画像が異常検出の探索空間を低減すると判断されるとき、ぼかしのパラメータを選択し、及び／又は特徴ベクトルの複製を特定する特殊な必要性が生じるという認識に基づく。例えば、幾つかの実施の形態は、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトル間の最小距離を決定する必要があるという認識に基づく。そのような最小距離は、本明細書において、距離閾値と呼ばれる。
【００２０】
距離閾値は、異常検出の正確性を保ちながら、メモリに記憶されるトレーニング特徴ベクトルの数を低減することを可能にする。幾つかの実施の形態は、距離閾値の値が、入力特徴ベクトルとトレーニング特徴ベクトルとの間の直接比較に用いられる異常検出閾値の値に依拠することができるという認識に基づく。そのために、幾つかの実施の形態では、距離閾値は異常検出閾値の関数である。
【００２１】
例えば、幾つか実施の形態において、距離閾値は、比例係数に従って異常検出閾値に比例する。例えば、幾つかの実施態様では、距離閾値は異常検出閾値以上であり、すなわち、比例係数は１以上である。この実施の形態は、有利なことに、異常検出の正確性と、その速度とのバランスをとることができる。なぜなら、比例係数の値が大きいほど、トレーニング特徴ベクトルを記憶するメモリ要件が低減し、比較速度が増大するが、異常検出の正確性が下がるためである。幾つかの実施の形態では、異常検出の正確性に対する探索空間低減の負の影響を低減するために、比例係数は、１〜２（１及び２を含む）である。
【００２２】
さらに又はその代わりに、１つの実施の形態において、距離閾値は、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトルの距離の中央値（median distance）よりも大きい。例えば、幾つかの実施態様は、各トレーニング特徴ベクトルと、同じ空間領域内の全ての他のトレーニング特徴ベクトルとの間の距離の平均を計算し、平均を標準偏差だけ増大させ、距離閾値を得る。例えば、１つの実施の形態は、平均距離ｍ、及び標準偏差ｓを計算し、距離閾値Ｔ２をＴ２＝ｍ＋ｃ＊ｓとして求め、ここで、ｃは正の定数、例えば１、２又は３である。これらの実施の形態は、統計によってより妥当なものとなる、平均及び標準偏差の使用を活用する。
【００２３】
さらに又はその代わりに、幾つかの実施の形態では、ブラーカーネルの値は、距離閾値に反比例する。換言すれば、より多くのぼけが用いられるほど、距離閾値が小さくなる。なぜなら、ぼけはビデオパッチをより類似させるためである。例えば、幾つかの実施態様では、距離閾値Ｔ１は、Ｔ１＝ｃ／ｎに従ってブラーカーネルに反比例する。ここでｃは定数であり、すなわち反比例係数であり、ｎは平方ブラーカーネルのピクセル長である。
【００２４】
したがって１つの実施の形態は、ビデオ異常検出のシステムを開示する。このシステムは、シーンの入力ビデオを受け取る入力インターフェースと；シーンのトレーニングビデオの時空間領域のぼかされた閾値処理済み差分画像から抽出されたトレーニング特徴ベクトルのセットを記憶するメモリと；プロセッサであって、トレーニングビデオの時空間領域のパラメータに従って、入力ビデオを入力時空間領域のセットに分割し、パラメータは、時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び時空間領域の各々の時間次元を定義するビデオフレーム数を示し；入力時空間領域の各々について、ぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済み差分画像のセットを生成し；ぼかされた閾値処理済み差分画像の各セットから特徴ベクトルを抽出して、入力特徴ベクトルのセットを生成し；各入力特徴ベクトルと、シーン内の同じ空間領域に対応するトレーニング特徴ベクトルとの間の最小距離を計算して、距離のセットを生成し、距離のセットからの各距離を異常検出閾値と比較して、シーンの入力ビデオ内の異常を検出するように構成されたプロセッサとを備える。
【００２５】
別の実施の形態は、ビデオ異常検出の方法を開示する。この方法は、シーンのトレーニングビデオの時空間領域のぼかされた閾値処理済み差分画像から抽出されたトレーニング特徴ベクトルのセットを記憶するメモリに結合されたプロセッサを使用し、プロセッサは、方法を実施する記憶された命令と結合され、命令は、プロセッサによって実行されると、方法の少なくとも幾つかのステップを実行する。方法は、シーンの入力ビデオを受け取ることと、トレーニングビデオの時空間領域のパラメータに従って、入力ビデオを入力時空間領域のセットに分割することであって、パラメータは、時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び時空間領域の各々の時間次元を定義するビデオフレーム数を示すことと、入力時空間領域の各々について、ぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済み差分画像のセットを生成することと、ぼかされた閾値処理済み差分画像の各セットから特徴ベクトルを抽出して、入力特徴ベクトルのセットを生成することと、各入力特徴ベクトルと、シーン内の同じ空間領域に対応するトレーニング特徴ベクトルとの間の最小距離を計算して、距離のセットを生成することと、距離のセットからの各距離を異常検出閾値と比較して、シーンの入力ビデオ内の異常を検出することとを含む。
【００２６】
更に別の実施の形態は、方法を実行するためにプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体を開示する。ここでの方法は、シーンの入力ビデオを受け取ることと、トレーニングビデオの時空間領域のパラメータに従って、入力ビデオを入力時空間領域のセットに分割することであって、パラメータは、時空間領域の各々の空間次元を定義する各ビデオフレーム内の領域数、及び時空間領域の各々の時間次元を定義するビデオフレーム数を示すことと、入力時空間領域の各々について、ぼかされた閾値処理済み差分画像を決定して、ぼかされた閾値処理済み差分画像のセットを生成することと、ぼかされた閾値処理済み差分画像の各セットから特徴ベクトルを抽出して、入力特徴ベクトルのセットを生成することと、各入力特徴ベクトルと、シーン内の同じ空間領域に対応するトレーニング特徴ベクトルとの間の最小距離を計算して、距離のセットを生成することと、距離のセットからの各距離を異常検出閾値と比較して、シーンの入力ビデオ内の異常を検出することとを含む。
【図面の簡単な説明】
【００２７】
【図１】幾つかの実施形態によるビデオ内の異常を検出する画像処理システムのブロック図である。
【図２Ａ】幾つかの実施形態によるビデオフレーム内の異常を検出する方法のフローチャートである。
【図２Ｂ】１つの実施形態による、シーンのトレーニングビデオの時空間領域のぼかされた閾値処理済み差分画像から抽出されたトレーニング特徴ベクトルのセットを準備する方法のフローチャートである。
【図３】幾つかの実施形態によって、探索空間を低減するのに用いられる、ぼかされた閾値処理済み差分画像の決定の概略図である。
【図４】１つの実施形態による、ビデオの時空間領域から計算された、ぼかされた閾値処理済み差分画像のセットからの特徴ベクトルの生成の概略図である。
【図５】幾つかの実施形態によって、一連のぼかされた閾値処理済み差分画像を表す試験特徴ベクトルに最も近いトレーニング特徴ベクトルを見つけるのに用いられる最近傍探索方法の概略図である。
【発明を実施するための形態】
【００２８】
図１は、幾つかの実施形態によるビデオ内の異常を検出する画像処理システム１００のブロック図を示す。画像処理システム１００は、記憶された命令を実行するように構成されたプロセッサ１２０と、このプロセッサによって実行可能な命令を記憶するメモリ１４０とを備える。プロセッサ１２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、又は任意の数の他の構成とすることができる。メモリ１４０は、ランダムアクセスメモリ（ＲＡＭ：random access memory）、リードオンリーメモリ（ＲＯＭ：read only memory）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。プロセッサ１２０は、バス１０６を通じて１つ以上の入力デバイス及び出力デバイスに接続される。これらの命令は、ビデオシーケンス内の異常を検出する方法を実施する。
【００２９】
様々な実施形態において、異常検出は、各ビデオフレーム内の任意の異常のロケーション及びサイズを示すバウンディングボックスのセットを生成する。画像処理システム１００は、シーンの入力ビデオの時空間領域の特徴ベクトル１３１を、同じシーンのトレーニングビデオの時空間領域の特徴ベクトル１３３と比較する異常検出器１３５を用いてビデオ内の異常を検出するように構成される。例えば、記憶デバイス１３０は、トレーニング及び／又は入力ビデオフレームの異なる空間領域から計算された特徴ベクトルのセットを記憶するように適合することができる。記憶デバイス１３０は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを用いて実施することができる。
【００３０】
本明細書において用いられるとき、特徴とは、ビデオ又はビデオのフレームから抽出された情報又は値である。幾つかの実施態様において、特徴は、ビデオのフレームの強度の関数である。特徴ベクトルは、特徴、例えば強度を記憶するデータ構造である。特徴ベクトルは、一次元又は多次元とすることができる。例えば、幾つかの実施形態では、特徴ベクトルは、入力及びトレーニングビデオから生成された、ぼかされた閾値処理済み差分画像の強度を記憶する。
【００３１】
様々な実施形態は、シーンのビデオの異なる時空間分割を用いることができる。しかしながら、様々な実施態様において、比較を簡素化するために、入力ビデオの時空間分割はトレーニングビデオの時空間分割と同一である。
【００３２】
幾つかの実施態様では、画像処理システム１００内のヒューマンマシンインターフェース１１０が、システムをキーボード１１１及びポインティングデバイス１１２に接続する。ポインティングデバイス１１２は、中でも、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、又はタッチ画面を含むことができる。画像処理システム１００は、画像処理システム１００をディスプレイデバイス５６５に接続するように適合されたディスプレイインターフェース１６０に、バス１０６を通じて連結することができる。ディスプレイデバイス５６５は、中でも、コンピュータモニタ、カメラ、テレビ、プロジェクタ、又はモバイルデバイスを含むことができる。
【００３３】
画像処理システム１００は、システムを撮像デバイス１７５に接続するように適合された撮像インターフェース１７０にも接続することができる。１つの実施形態では、異常検出器の処理対象の入力ビデオフレームは、撮像デバイスから受信される。撮像デバイス１７５は、ビデオカメラ、コンピュータ、モバイルデバイス、ウェブカム、又はそれらの任意の組み合わせを含むことができる。
【００３４】
ネットワークインターフェースコントローラ１５０は、画像処理システム１００を、バス１０６を通じてネットワーク１９０に接続するように適合されている。ネットワーク１９０を通じて、ビデオフレーム１９５、例えばトレーニング及び／又はビデオフレームを、記憶及び／又は更なる処理のためにダウンロードしてコンピュータの記憶システム１３０内に記憶することができる。
【００３５】
幾つかの実施形態では、画像処理システム１００は、異常検出の結果に基づいて動作することができるアプリケーションデバイス５８５に画像処理システム１００を接続するように適合されたアプリケーションインターフェース１８０に、バス１０６を通じて接続される。例えば、デバイス５８５は、検出された異常のロケーションを用いて、セキュリティガードに更に調査するように警告する監視システムである。
【００３６】
図２Ａは、幾つかの実施形態によるビデオフレーム内の異常を検出する方法のフローチャートを示す。ステップＳ１において、入力ビデオ２１５は時空間領域２１０に分割される。各時空間領域は、空間的広がりを定義するビデオフレーム内のバウンディングボックスと、時間的広がりを定義する固定フレーム数とによって定義することができる。異なる時空間領域は重複している場合がある。全ての時空間領域の和集合がビデオシーケンス全体をカバーする。ステップＳ２において、ぼかされた閾値処理済み差分画像２２０が、時空間領域ごとに計算される。ステップＳ３において、特徴ベクトル２３０は、ぼかされた閾値処理済み差分画像から作成される。例えば、１つの実施形態は、単に全てのピクセル値を連結して単一のベクトルにする。ステップＳ４において、試験ビデオと同じカメラからの正常アクティビティのトレーニングビデオから同じ空間領域について計算されたトレーニング特徴ベクトルのセットに対する各特徴ベクトルの距離が計算され、最小距離２４０、すなわちその最近傍に対する距離が得られる。ステップＳ５において、最小距離は、入力ビデオのこの時空間領域のための異常スコア２５０として割り当てられる。
【００３７】
ステップＳ６において、各異常スコアが閾値と比較され、スコアが閾値を超えている場合、時空間領域が異常として分類される。そうでない場合、領域は正常として分類される。例えば、１つの実施形態では、距離のセットにおける少なくとも１つの距離が異常検出閾値よりも大きいとき、シーンの入力ビデオ内の異常を検出し、異常の検出に応答して制御アクションを実行するように構成される。方法のステップは、異なる時空間領域２１０の各々について実行される。
【００３８】
図２Ｂは、１つの実施形態による、シーンのトレーニングビデオの時空間領域のぼかされた閾値処理済み差分画像から抽出されたトレーニング特徴ベクトルのセットを準備する方法のフローチャートを示す。トレーニング特徴ベクトルは、シーン内の正常挙動を表すとみなされる。換言すれば、入力フレームがトレーニングビデオ内のフレームによって表される場合、入力フレーム内のシーンは正常とみなされる。そうでない場合、そのシーンは異常とみなされる。
【００３９】
トレーニング特徴ベクトルは、入力特徴ベクトルの決定と同様の方式で決定される。例えば、実施形態は、トレーニングビデオ２６５をトレーニングビデオの時空間領域２７０に分割する（Ｓ１１）ように構成される。時空間領域２１０の解像度の次元は、時空間領域２７０の次元及び／又は解像度に対応する。次に、実施形態は、トレーニング時空間領域２７０の各々についてぼかされた差分画像を決定し（Ｓ２２）、ぼかされたトレーニング差分画像のセット２７５を生成し、ぼかされたトレーニング差分画像のセット内の各ぼかされた差分画像から特徴を抽出し（Ｓ３３）、トレーニング特徴ベクトル２８０を生成する。
【００４０】
実施形態は、シーン内の同じ空間領域に対応する各トレーニング特徴ベクトル間の距離を計算し（Ｓ４４）、トレーニング特徴ベクトル間の距離のセット２８５を生成するように構成される。次に、実施形態は、類似したトレーニング特徴ベクトルをプルーニングして、比較の計算負荷を低減する。特に、実施形態は、選択されたトレーニング特徴ベクトルと、トレーニング特徴ベクトルのセット内の対応する特徴ベクトルとの間の全ての距離が、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトル間の最小距離を定義する距離閾値を超えているとき、トレーニング特徴ベクトルのセット内のそのトレーニング特徴ベクトルを選択する（Ｓ５５）。
【００４１】
幾つかの実施形態では、メモリ空間を節減し、比較を改善するために、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトル間の最小距離は、異常検出閾値の関数である。そのようにして、これらの閾値を共同で用いて異常検出を改善する。例えば、１つの実施態様において、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトル間の最小距離は、異常検出閾値以上である。
【００４２】
さらに又はその代わりに、幾つかの実施形態では、トレーニングビデオ自体からの情報のみを検討して、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトル間の最小距離を決定する。例えば、１つの実施態様では、最小距離は、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトルの距離の中央値よりも大きい。この実施形態は、最小距離を決定するためのデータ駆動型の手法を提供する。さらに、幾つかの実施態様において、異常検出閾値は、データ駆動型の手法によって決定された最小距離の関数として決定される。そのようにして、最小距離及び異常検出閾値の双方が、異なるシーンについて自動的に適合される。
【００４３】
そのようにして、幾つかの実施形態では、異常検出のために、入力ビデオにおける動きと、トレーニングビデオにおける動きとの直接比較を用いる。そのような直接比較、例えばユークリッド距離に基づく比較は、計算効率がよく、稀な正常な動きであっても検討することができる。例えば、街道における通常の正常な動きが歩行である場合、動き集約に基づく方法は、歩行と転倒とを区別することができる。しかしながら、正常な動きが、人物が靴紐を結ぶ動きを含む場合、集約に基づく方法は、トレーニングビデオにおいて靴紐を結ぶ動きが時々存在する場合であっても、この動きを異常とみなす。対照的に、直接距離計算方法は、この靴紐を結ぶ動きを、そのようなタイプの動きがトレーニングビデオ内に存在する場合、正常と認識することができる。
【００４４】
幾つかの実施形態は、ビデオ異常検出の集約技法が後処理技法である、すなわち、トレーニングビデオ内の動きが計算された後に用いられる技法であるという認識に基づく。幾つかの実施形態は、これらの後処理技法を、最初に動きを判断するのに用いられる前処理技法と置き換えることができるという認識に基づく。特に、幾つかの実施形態は、トレーニングビデオから計算された動きの集約を提供する代わりに、直接比較の正確性及び利点を保持しながら、計算された動きの探索空間を低減するように動き自体の計算が行われるとき、ビデオ異常検出における集約問題に対処することができるという認識に基づく。
【００４５】
特に、幾つかの実施形態は、そのような探索空間効率の良い動きの計算を、トレーニングビデオ及び入力ビデオにおける２つの連続したフレームのぼかされた閾値処理済み差分を介して達成することができるという認識に基づく。例えば、２つの連続したビデオフレームの閾値処理済み差分画像は、これらのフレームにおける動きを捕捉する。大きく変化する（すなわち、差分の絶対値が閾値を上回っている）任意のピクセルは、閾値処理済み差分画像において値１を割り当てられ、そうでない場合、値０を割り当てられる。ぼかされた閾値処理済み差分画像において、この動き画像は、例えば、閾値処理済み差分画像をガウスカーネルで畳み込むことによってぼかされる。幾つかの実施形態は、２つの閾値処理済み差分画像が類似であるが異なる動きを捕捉する場合、この差により、結果として２つの異なる閾値処理済み差分画像が生じるという認識に基づく。しかしながら、同じ類似であるが異なる動きについて２つのぼかされた閾値処理済み差分画像が判断されるとき、ぼけにより差分を平滑化することができ、それによって、これらの２つのぼかされた閾値処理済み差分画像を類似とみなすことができる。
【００４６】
図３は、幾つかの実施形態によって、探索空間を低減するのに用いられる、ぼかされた閾値処理済み差分画像の決定の概略図を示す。２つのビデオフレーム（Ａ１及びＡ２）を所与として、Ａ１におけるピクセルは、Ａ２における同じロケーションのピクセルから減算され、各差分の絶対値が計算される。差分の絶対値が閾値よりも大きい場合、そのロケーションにおける閾値処理済み差分画像Ａ３のピクセルは、値１を割り当てられ、そうでない場合、ピクセルは値０を割り当てられる。次に、例えばガウスフィルターを用いて閾値処理済み差分画像をぼかし、ぼかされた閾値処理済み差分画像（Ａ４）を生成する。
【００４７】
幾つかの実施形態は、ぼかされた閾値処理済み差分画像が異常検出の探索空間を低減すると判断されるとき、ぼかしのパラメータを選択し、及び／又は特徴ベクトルの複製を特定する特殊な必要性が生じるという認識に基づく。例えば、幾つかの実施形態は、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトル間の最小距離を決定する必要があるという認識に基づく。そのような最小距離は、本明細書において、距離閾値と呼ばれる。
【００４８】
距離閾値は、異常検出の正確性を保ちながら、メモリに記憶されるトレーニング特徴ベクトルの数を低減することを可能にする。幾つかの実施形態は、距離閾値の値が、入力特徴ベクトルとトレーニング特徴ベクトルとの間の直接比較に用いられる異常検出閾値の値に依拠することができるという認識に基づく。そのために、幾つかの実施形態では、距離閾値は異常検出閾値の関数である。
【００４９】
例えば、幾つか実施形態において、距離閾値は、比例係数に従って異常検出閾値に比例する。例えば、幾つかの実施態様では、距離閾値は異常検出閾値以上であり、すなわち、比例係数は１以上である。この実施形態は、有利には、異常検出の正確性と、その速度とのバランスをとることができる。なぜなら、比例係数の値が大きいほど、トレーニング特徴ベクトルを記憶するメモリ要件が低減し、比較速度が増大するが、異常検出の正確性が下がるためである。幾つかの実施形態では、異常検出の正確性に対する探索空間低減の負の影響を低減するために、比例係数は、１〜２（１及び２を含む）である。
【００５０】
さらに又はその代わりに、１つの実施形態において、距離閾値は、メモリに記憶され、同じ空間領域に対応するトレーニング特徴ベクトルの距離の中央値よりも大きい。例えば、幾つかの実施態様では、各トレーニング特徴ベクトルと、同じ空間領域内の全ての他のトレーニング特徴ベクトルとの間の距離の平均を計算し、平均を標準偏差だけ増大させ、距離閾値を得る。例えば、１つの実施形態は、平均距離ｍ、及び標準偏差ｓを計算し、距離閾値Ｔ２をＴ２＝ｍ＋ｃ＊ｓとして求め、ここで、ｃは正の定数、例えば１、２又は３である。これらの実施形態は、統計によってより妥当なものとなる、平均及び標準偏差の使用を活用する。
【００５１】
図４は、１つの実施形態による、ビデオの時空間領域から計算された、ぼかされた閾値処理済み差分画像のセットからの特徴ベクトルの生成の概略図を示す。この例において、時空間領域の１０個のフレーム４１０のぼかされた閾値処理済み差分画像がベクトル４２０にベクトル化される。例えば、各ぼかされた閾値処理済み差分画像における各ピクセルの値が、各画像において、左上から右下の順でリストされ、１次元ベクトル４２０にコピーされる。
【００５２】
幾つかの実施形態では、ブラーカーネルの値は、距離閾値に反比例する。換言すれば、より多くのぼけが用いられるほど、距離閾値が小さくなる。なぜなら、ぼけはビデオパッチをより類似させるためである。例えば、幾つかの実施態様では、距離閾値Ｔ１は、Ｔ１＝ｃ／ｎに従ってブラーカーネルに反比例する。ここでｃは定数であり、すなわち反比例係数であり、ｎは平方ブラーカーネルのピクセル長である。
【００５３】
図５は、幾つかの実施形態によって、一連のぼかされた閾値処理済み差分画像を表す試験特徴ベクトルに最も近いトレーニング特徴ベクトルを見つけるのに用いられる最近傍探索方法の概略図を示す。図５において、ｆｖ５１０は入力特徴ベクトルであり、各ｘｉ５２０はトレーニング特徴ベクトルである。最近傍探索５３０は、ｆｖと最近傍のｘｉとの間の最小距離ｄ５４０を出力する。異なる実施形態は、異なる最近傍探索を用いる。例えば、１つの実施形態は、各入力特徴ベクトルを各トレーニング特徴ベクトルと比較するために力まかせ探索を用いる。幾つかの実施態様では、最近傍探索５３０は、近似最近傍探索であり、最小距離を得ることが保証されておらず、代わりに、最小値に近い特徴ベクトルを得ることができる。ｋｄ木、ｋ平均木、及び局所性鋭敏型ハッシュ等の、当該技術分野において既知の様々な最近傍探索アルゴリズムを用いることができる。
【００５４】
本発明の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータに設けられるのか又は複数のコンピュータ間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。しかしながら、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【００５５】
また、本発明の実施形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施形態を構築することができ、これには、例示の実施形態では一連の動作として示されたにもかかわらず、幾つかの動作を同時に実行することを含めることもできる。
【００５６】
請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１】
2021518950.tif 000003
【図２Ａ】
2021518950.tif 000004
【図２Ｂ】
2021518950.tif 000005
【図３】
2021518950.tif 000006
【図４】
2021518950.tif 000007
【図５】
2021518950.tif 000008
【国際調査報告】
2021518950.tif 000009
2021518950.tif 000010