(57)【要約】【課題】動画像から異常動作を検出する異常動作検出装置および異常動作検出方法を提供すること。【解決手段】異常動作検出装置１１は、ビデオカメラ１０から入力される動画像データからフレーム間差分データを生成し、複数のフレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出し、過去の特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と、最新の特徴データとの距離を計算する。そして、この距離が所定値よりも大きい場合に異常と判定する。正常動作を部分空間として学習し、異常動作をそこからの逸脱として検出することにより、例えば画面内に複数人いる場合でも１人の異常動作を検出可能である。また、計算量が少なく、実時間処理が可能である。【選択図】図１
2006079272.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する差分データ生成手段と、
前記フレーム間差分データから高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
過去に特徴データ抽出手段によって抽出された複数の特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と、前記特徴データ抽出手段により抽出された特徴データとの距離を計算する距離計算手段と、
前記距離が所定値よりも大きい場合に異常と判定する異常判定手段と、
前記異常判定手段が異常と判定した場合に判定結果を出力する出力手段と
を備えたことを特徴とする異常動作検出装置。
【請求項２】
前記特徴データ抽出手段は、直近の複数の前記フレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出するものであることを特徴とする請求項１に記載の異常動作検出装置。
【請求項３】
更に、動画像フレームデータをリアルタイムで取り込む取り込み手段と、
取り込んだフレームデータを保存するフレームデータ保存手段と、
特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存する保存手段と、
前記保存手段に保存されている特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間を求めて部分空間情報を更新する部分空間更新手段と
を備えたことを特徴とする請求項２に記載の異常動作検出装置。
【請求項４】
複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する第１ステップと、
直近の複数の前記フレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出する第２ステップと、
過去に抽出された複数の特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と特徴データとの距離を計算する第３ステップと、
前記距離が所定値よりも大きい場合に異常と判定する第４ステップと、
異常と判定された場合に判定結果を出力する第５ステップと
を備えたことを特徴とする異常動作検出方法。
【請求項５】
前記第１ステップは、動画像フレームデータをリアルタイムで取り込むステップと、取り込んだフレームデータを保存するステップとを含み、
前記第３ステップは、特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存するステップと、保存されている特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間を求めて部分空間情報を更新するステップとを含むことを特徴とする請求項４に記載の異常動作検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を取り込んで通常とは異なる動作を検出する異常動作検出装置および異常動作検出方法に関するものである。
【背景技術】
【０００２】
現在、セキュリティ分野における映像監視や老人介護のモニタリングシステムなど、カメラによる監視システムが多く利用されているが、人による動画像からの異常検出は労力も多大であり、これをコンピュータで代替できるならば大幅な労力削減につながる。また老人介護においても、発作などに対する自動通報システムがあるならば、介護者の負担を減らすことができるため、異常を知らせるなどのカメラによるモニタリングシステムが必要とされている。
【０００３】
そこで、対象に対して動作特徴を抽出するような動画像からの動作認識が必要となる。動作認識の研究としては、特に、本発明者の一部らが発表した下記の非特許文献１には、顔画像認識などに有効な高次局所自己相関特徴を拡張し、時間方向の相関も加えた特徴である、立体高次局所自己相関特徴（以下、CHLACとも記す）を用いた動作認識を行う技術が開示されている。
【０００４】
立体高次局所自己相関特徴とはすなわち、画像を時系列に並べたボクセルデータ（３次元データ）に対して、その中の各点において局所的な自己相関特徴を計算し、この局所特徴をボクセルデータ全体にわたって積分することにより得られる統計的特徴であり、動作特徴であるといえる。この特徴に対して4 つの動作を判別分析にかけた認識結果は、ほぼ100 %と非常に高いものとなっている。
【非特許文献１】T.Kobayashi and N.Otsu、“Actionand Simultaneous Multiple-Person Identification Using Cubic Higher-Order LocalAuto-Correlation”Proceeding of 17th International Conference on PatternRecognition、2004
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記した従来の動作認識方法を異常動作の検出に適用しようとした場合には、全ての異常動作の特徴データを予め生成して登録しておく必要がある。しかし、人や装置の異常動作は予測することが困難であり、全ての異常動作の特徴データを高精度で生成することは不可能であるという問題点があった。本発明の目的はこのような問題点を解決し、動画像からの特徴抽出である立体高次局所自己相関特徴を用いて異常動作を検出する異常動作検出装置および異常動作検出方法を提供する点にある。
【課題を解決するための手段】
【０００６】
本発明の異常動作検出装置は、複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する差分データ生成手段と、前記フレーム間差分データから高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、過去に特徴データ抽出手段によって抽出された複数の特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と、前記特徴データ抽出手段により抽出された特徴データとの距離を計算する距離計算手段と、前記距離が所定値よりも大きい場合に異常と判定する異常判定手段と、前記異常判定手段が異常と判定した場合に判定結果を出力する出力手段と
を備えたことを主要な特徴とする。
また、前記した異常動作検出装置において、前記特徴データ抽出手段は、直近の複数の前記フレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出するものであってもよい。
【０００７】
また、前記した異常動作検出装置は更に、動画像フレームデータをリアルタイムで取り込む取り込み手段と、取り込んだフレームデータを保存するフレームデータ保存手段と、特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存する保存手段と、前記保存手段に保存されている特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間を求めて部分空間情報を更新する部分空間更新手段とを備えるようにしてもよい。
【０００８】
複数の画像フレームデータからなる動画像データからフレーム間差分データを生成する第１ステップと、
本発明の異常動作検出方法は、直近の複数の前記フレーム間差分データからなる３次元データから立体高次局所自己相関によって特徴データを抽出する第２ステップと、過去に抽出された複数の特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間と特徴データとの距離を計算する第３ステップと、前記距離が所定値よりも大きい場合に異常と判定する第４ステップと、異常と判定された場合に判定結果を出力する第５ステップとを備えたことを主要な特徴とする。
【０００９】
また前記した異常動作検出方法において、前記第１ステップは、動画像フレームデータをリアルタイムで取り込むステップと、取り込んだフレームデータを保存するステップとを含み、前記第３ステップは、特徴データ抽出手段により抽出された特徴データを一定期間分だけ保存するステップと、保存されている特徴データから主成分分析手法により得られた主成分ベクトルに基づく部分空間を求めて部分空間情報を更新するステップとを含むようにしてもよい。
【発明の効果】
【００１０】
本発明によれば、動作特徴として対象の位置等に依らない位置不変な値である（立体）高次局所自己相関特徴を用いており、複数個の対象がある場合、全体の特徴値はそれぞれの個別の特徴値の和になるという加法性があるという性質によって、通常データとして豊富に得られる正常動作を統計的に部分空間として学習し、異常動作をそこからの逸脱として検出することにより、例えば画面内に複数人いる場合において、従来の殆どの方式が採用している個々の人物の切り出しやトラッキングを行うことなく、１人の異常動作をも検出可能であるという効果がある。
【００１１】
また、特徴抽出や異常判定のための計算量が少なく、計算量は対象人数に依らず一定であり、実時間処理が可能であるという効果もある。
更に、正常動作を陽に定義することなく統計的に学習しているため、設計の段階で正常動作とは何かについて定義する必要がなく、監視対象に則した自然な検出を行うことができる。さらに、監視対象についての仮定が不要であり、人の動作に限らず、さまざまな監視対象に対しても、正常・異常を判別できるという効果もある。また、リアルタイムで動画像を取り込み、正常動作の部分空間を更新することにより、正常動作の緩やかな変化に追従していくことができるという効果もある。
【発明を実施するための最良の形態】
【００１２】
まず、「異常動作」の定義であるが、異常の事象を全て列挙することができないように、異常そのものを定義することはできない。そこで本明細書においては、異常動作を「正常動作ではないもの」として定義する。正常動作は、動作特徴の統計的な分布を考えた場合に分布の集中する動作であるものとすれば、統計的な分布から学習可能である。そして、その分布から大きく逸脱する動作を異常動作とする。
【００１３】
例えば、通路や道路などに設置された防犯カメラでは、歩く動作のような一般的な動作は正常動作として学習され認識されるが、挙動不審のような動作は、歩く動作のような周期運動でもなく分布として少ないため、異常動作として認識されることになる。なお、本発明者らは、「歩く」動作を正常動作、「走る」動作、「転ぶ」動作を異常動作として実験を行った。
【００１４】
異常動作検出の具体的な手法としては、立体高次局所自己相関特徴による動作特徴空間の中で正常動作特徴の部分空間を生成し、その部分空間からの距離を異常値として異常動作を検出する。正常動作部分空間の生成には主成分分析手法を用い、例えば累積寄与率0.99の主成分ベクトルにより主成分部分空間を構成する。
【００１５】
ここで、立体高次局所自己相関特徴には、対象の切りだしが不要で画面内において加法性があるという性質がある。この加法性により、正常動作部分空間を構成すると、画面内に何人の人が正常動作を行っても特徴ベクトルは正常動作部分空間の中に収まることになり、その中の一人でも異常動作を行うと、部分空間から飛び出して異常値として検出できることになる。人を個々にトラッキングし、切り出して計算する必要がないため、計算量は対象人数に比例することなく一定となり、高速に計算可能である。
【００１６】
本発明においては、学習するCHLAC特徴の主成分ベクトルを求め、その主成分ベクトルを用いて部分空間を構成しているが、ここで重要なことは、CHLAC特徴の加法性の性質との相性が非常に良いということである。正常動作部分空間に属する（距離が所定の閾値以下）かどうかはベクトルの大きさに依存しない。すなわち、ベクトルの方向のみが正常動作部分空間に属するか否かの要素となる。
【００１７】
図７は、CHLAC特徴の加法性と部分空間の性質を示す説明図である。図７は、説明を簡単にするために、CHLAC特徴データ空間を２次元（実際には２５１次元）とし、正常動作の部分空間を１次元（実施例では例えば累積寄与率0.99とすると３〜１２次元程度）としたものであり、正常動作のCHLAC特徴データが監視対象の個数ごとの集団を形成している。主成分分析によって求められた正常動作部分空間Ｓは正常動作のCHLAC特徴データを含む形で近傍に存在している。逸脱する異常動作のCHLAC特徴データＡは、正常動作部分空間Ｓとの垂直距離ｄ⊥が大きくなるので、この垂直距離ｄ⊥によって異常を判定する。
【００１８】
図８は、CHLAC特徴の加法性と部分空間の例を示す説明図である。図８（ａ）は１人の正常動作（歩く）の場合のCHLAC特徴ベクトルを示しており、正常動作部分空間Ｓ内（ごく近傍）にある。図８（ｂ）は１人の異常動作（転ぶ）の場合のCHLAC特徴ベクトルを示しており、正常動作部分空間Ｓから垂直距離ｄ⊥だけ離れている。
【００１９】
図８（ｃ）は２人の正常動作（歩く）と１人の異常動作（転ぶ）が混在している場合のCHLAC特徴ベクトルを示しており、やはり（ｂ）と同様に正常動作部分空間Ｓから垂直距離ｄ⊥だけ離れている。一般に、ｎ人の正常動作と一人の異常動作が混在している場合を射影子を用いた式により示すと以下のようになる。なお、Ｎは正常、Ａは異常を示す。射影子は後に定義する。
【００２０】
【数１】
2006079272.tif 000003
【実施例１】
【００２１】
図１は、本発明による異常動作検出装置の構成を示すブロック図である。ビデオカメラ１０は対象となる人や装置の動画像フレームデータをリアルタイムで出力する。ビデオカメラ１０はモノクロでもよいしカラーカメラであってもよい。コンピュータ１１は例えば動画像を取り込むためのビデオキャプチャー回路を備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピュータ１１に後述するプログラムを作成してインストールして起動することにより実現される。
【００２２】
モニタ装置１２はコンピュータ１１の周知の出力装置であり、例えば異常動作が検出されたことをオペレータに表示するために使用される。なお、検出した異常の通報、表示方法は、インターネットなどを介して遠方のモニタ装置に通報表示する方法、音による通報により注意を促す方法、有線電話機あるいは携帯電話機に発呼して音声により通報を行う方法等を採用可能である。
キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。なお、実施例においては、例えばビデオカメラ１０から入力された動画像データを実時間で処理してもよいし、一旦動画像ファイルに保存してから順次読み出して処理してもよい。
【００２３】
図２は、本発明による異常動作検出処理の内容を示すフローチャートである。Ｓ１０においては、ビデオカメラ１０からのフレームデータの入力が完了するまで待つ。Ｓ１１においては、フレームデータを入力（メモリに読み込む）する。このときの画像データは例えば２５６階調のグレイスケールデータである。
【００２４】
Ｓ１２においては、動画像データに対して「動き」の情報を検出し、背景など静止しているものを除去する目的で差分データを生成する。差分の取り方としては、隣接するフレーム間の同じ位置の画素の輝度の変化を抽出するフレーム間差分方式を採用するが、フレーム内における輝度の変化部分を抽出するエッジ差分、あるいは両方を採用してもよい。なお、画素毎にＲＧＢのカラーデータを持っている場合には、２つの画素の差分データとして、２つのＲＧＢカラーベクトル間の距離を算出してもよい。
【００２５】
更に、「動き」に無関係な色情報やノイズを除去するために自動閾値選定による２値化を行う。２値化の方法としては、例えば一定閾値、下記非特許文献２に開示されている判別最小二乗自動閾値法、閾値０及びノイズ処理方式（濃淡画像において差が０以外を全て動き有り＝１とし、公知のノイズ除去法によってノイズを除去する方法）を採用可能である。以上の前処理により入力動画データは画素値に「動いた（１）」「動かない（０）」の論理値をもつフレームデータ（２値画像）の列となる。
【非特許文献２】大津展之、“判別および最小２乗規準に基づく自動しきい値選定法”電子通信学会論文誌Ｄ、J63-D-4、P349-356、1980年。
【００２６】
Ｓ１３においては、１フレーム毎の立体画素データに関する相関パターンカウント処理を行い、フレームと対応するフレームCHLACデータを生成する。詳細は後述するが、２５１次元特徴データを生成するCHLAC抽出処理を行う。時系列の二値差分データからの動作特徴の抽出には、立体高次局所自己相関(CHLAC)特徴を用いる。Ｎ次のCHLACは次の数式２のようになる。
【００２７】
【数２】
2006079272.tif 000004
【００２８】
ここで、f は時系列画素値（差分値）であり、参照点（注目画素）ｒおよび参照点からみたＮ個の変位ａi(i = 1，．．．,N) は差分フレーム内の二次元座標に時間も成分として持つ三次元のベクトルである。更に、時間方向の積分範囲はどの程度の時間方向の相関を取るかのパラメータである。但し、Ｓ１３におけるフレームCHLACデータは１フレーム毎のデータであり、これを時間方向に所定期間だけ積分（加算）したものがCHLAC特徴データとなる。
【００２９】
変位方向、次数のとり方により高次自己相関関数は無数に考えられるが、これを局所領域に限定したものが高次局所自己相関関数である。立体高次局所自己相関特徴では変位方向を参照点ｒを中心とする３×３×３画素の局所領域内、即ち参照点ｒの２６近傍に限定している。なお、一般的には、立体高次局所自己相関特徴を取る場合の変位方向は必ずしも隣接画素でなく、離れても良い。特徴量の計算は１組の変位方向に対して式１の積分値が１つの特徴量になる。従って変位方向の組み合わせ（＝マスクパターン）の数だけ特徴量が生成される。
【００３０】
特徴量の数、つまり特徴ベクトルの次元はマスクパターンの種類に相当する。２値画像の場合、画素値１を何回乗算しても１であるので、二乗以上の項は乗数のみが異なる１乗の項と重複するものとして削除する。また式１の積分操作（平行移動：スキャン）で重複するパターンは１つの代表パターンを残して他を削除する。式１右辺の式は参照点（f(r)：局所領域の中心）を必ず含むので、代表パターンとしては中心点を含み、パターン全体が３×３×３画素の局所領域内に収まるものを選択する。
【００３１】
この結果、中心点を含むマスクパターンの種類は、選択画素数が１個のもの：１個、２個のもの：２６個、３個のもの：２６×２５／２＝３２５個の計３５２個あるが、式１の積分操作（平行移動：スキャン）で重複するパターンを除くと、マスクパターンの種類は２５１種類となる。即ち、１つの３次元データに対する立体高次局所自己相関特徴ベクトルは２５１次元となる。
【００３２】
なお、画素の値が多値の濃淡画像の場合には、例えば画素値をａとすると、相関値はａ（０次）≠ａ×ａ（１次）≠ａ×ａ×ａ（２次）となり、選択画素が同じでも乗数の異なるものを重複削除できない。従って、多値の場合には、２値の場合より選択画素数が１の場合に２個、選択画素数が２の場合に２６個増加し、マスクパターンの種類は計２７９種類となる。
【００３３】
立体高次局所自己相関特徴の性質としては、変位方向を局所領域に限定しているためにデータに対する加法性があり、画面全体および時間を含めての立体データ領域全体を通して積分しているためにデータ内の位置不変性がある。さらに自己相関をとっているのでノイズ対して頑強でもある。
【００３４】
Ｓ１４においては、フレームCHLACデータをフレーム対応に保存する。Ｓ１５においては、現在のCHLACデータにＳ１３で求めた最新のフレームCHLACデータを加算すると共に、所定期間以上古いフレームに対応するフレームCHLACデータを現在のCHLACデータから減算して新たなCHLACデータを生成し、保存する。
【００３５】
図６は、本発明による動画像の実時間処理の内容を示す説明図である。動画像のデータはフレームのシーケンスとなっている。そこで時間方向に一定幅の時間窓を設定し、窓内のフレーム集合を１つの３次元データとする。そして、新たなフレームが入力される度に時間窓を移動させ、古いフレームを削除することで有限な３次元データが得られる。この時間窓の長さは、認識しようとする動作の１周期と等しいか、より長く設定することが望ましい。
【００３６】
なお、実際には画像フレームデータは差分を取るために１フレームのみ保存され、次に入力された画像フレームデータとの間で差分が取られる。差分フレームデータは２フレーム分だけ保存され、次に入力された画像フレームデータに基づく差分フレームデータと合わせて３フレーム分の差分フレームデータからフレームCHLACデータが生成される。そして、フレームと対応するフレームCHLACデータが時間窓分だけ保存される。即ち、図６において時刻ｔに新たなフレームが入力された時点では、直前の時間窓（t-1，t-n-1）に対応するフレームCHLACデータはすでに算出されている。但し、フレームCHLACデータを計算するためには直近の３つの差分フレームが必要であるが、（t-1）フレームは端なのでフレームCHLACデータは（t-2）フレームに対応するものまで算出されている。
【００３７】
そこで、新たに入力されたｔフレームを用いて（t-1）フレームに対応するフレームCHLACデータを生成してCHLACデータに加算する。また、最も古い（t-n-1）フレームと対応するフレームCHLACデータをCHLACデータから減算する。このような処理により、時間窓と対応するCHLAC特徴データが更新される。
【００３８】
図２に戻って、Ｓ１６においては、現在までに保存されているCHLACデータ群の全て、あるいは直近の所定数から主成分分析手法により主成分ベクトルを求め、正常動作の部分空間とする。主成分分析手法自体は周知であるので概略を説明する。
【００３９】
まず、正常動作の部分空間を構成するために、CHLAC特徴データ群から主成分分析により主成分ベクトルを求める。Ｍ次元のCHLAC特徴ベクトルｘを以下のように表す。
【００４０】
【数３】
2006079272.tif 000005
なお、Ｍ＝２５１である。また、主成分ベクトル（固有ベクトル）を列に並べた行列Ｕを以下のように表す。
【００４１】
【数４】
2006079272.tif 000006
なお、Ｍ＝２５１である。主成分ベクトルを列に並べた行列Ｕは、以下のように求める。共分散行列Σを次式に示す。
【００４２】
【数５】
2006079272.tif 000007
なお、μは特徴ベクトルｘの平均ベクトルであり、Ｅは期待値を求める演算記号（Ｅ＝（１／Ｎ）Σ）である。行列Ｕはこの共分散行列Σを用いて、次の式の固有値問題より求まる。
【００４３】
【数６】
2006079272.tif 000008
【００４４】
固有値の対角行列Λを次式で表すと、
【００４５】
【数７】
2006079272.tif 000009
第Ｋ固有値までの累積寄与率ηK は、以下のように表される。
【００４６】
【数８】
2006079272.tif 000010
【００４７】
そこで、累積寄与率ηKが所定値（例えばηK＝0.99）となる次元までの固有ベクトルu1,...,uKにより張られる空間を、正常動作の部分空間として適用する。なお、累積寄与率ηKの最適値は監視対象や検出精度にも依存するものと考えられるので実験等により決定する。以上の計算を行うことにより、正常動作の部分空間が生成される。
【００４８】
Ｓ１７においては、Ｓ１５にて求めたCHLAC特徴データとＳ１６で求めた部分空間との垂直距離ｄ⊥を求める。得られた主成分直交基底ＵK=[u1,...,uK] によって張られた部分空間への射影子Ｐおよびそれに対する直交補空間への射影子Ｐ⊥は、
【００４９】
【数９】
2006079272.tif 000011
となる。Ｕ’は行列Ｕの転置行列であり、ＩMはＭ次の単位行列である。直交補空間での２乗距離、即ち、部分空間Ｕへの垂線の２乗距離ｄ2⊥は、
【００５０】
【数１０】
2006079272.tif 000012
と表すことができる。本実施例においては、この垂直距離ｄ⊥を異常であるか否かの指標とする。
【００５１】
Ｓ１８においては、垂直距離ｄ⊥が所定の閾値よりも大きいか否かが判定され、判定結果が否定の場合にはＳ１９に移行するが、肯定の場合にはＳ２０に移行する。Ｓ１９においては、このフレームの動作は正常動作であると判定する。また、Ｓ２０においては、このフレームの動作は異常動作であると判定する。Ｓ２１においては、判定結果をモニタ装置等へ出力する。Ｓ２２においては、例えばオペレータによる終了操作が検出されたか否かによって処理を終了するか否かが判定され、判定結果が否定の場合にはＳ１０に戻るが、肯定の場合には処理を終了する。以上のような方法によって、実時間で異常検出処理ができる。
【００５２】
図３は、Ｓ１３の立体高次局所自己相関特徴抽出処理の内容を示すフローチャートである。Ｓ３０においては、２５１個の相関パターンカウンタをクリアする。Ｓ３１においては、未処理の注目画素（参照点）を１つ選択する（フレーム内で注目画素を順にスキャンする）。Ｓ３２においては、未処理のマスクパターンを１つ選択する。
【００５３】
図４は、３次元画素空間における自己相関処理座標を示す説明図である。図４においては、ｔ−１フレーム、ｔフレーム、ｔ＋１フレームの３つの差分フレームのｘｙ平面を並べて図示してある。
【００５４】
本発明においては、注目画素を中心とする３×３×３（＝２７）画素の立方体の内部の画素について相関を取る。マスクパターンは、相関を取る画素の組合せを示す情報であり、マスクパターンによって選択された画素のデータは相関値の計算に使用されるが、マスクパターンによって選択されなかった画素は無視される。前記したように、マスクパターンでは注目画素（中心の画素）は必ず選択される。また、２値画像で０次〜２次までの相関値を考えた場合、３×３×３画素の立方体において重複を排除した後のパターン数は２５１個となる。
【００５５】
図５は、自己相関マスクパターンの例を示す説明図である。図５（１）は注目画素のみの最も簡単な０次のマスクパターンである。（２）はハッチングを施した２つの画素が選択されている１次のマスクパターン例、（３）、（４）はハッチングを施した３つの画素が選択されている２次のマスクパターン例であり、この他に多数のパターンがある。
【００５６】
図３に戻って、Ｓ３３においては、前記した式１を用いて相関値を計算する。式２のf(r)f(r+a1)…f(r+aN)はマスクパターンと対応する座標の差分２値化３次元データの画素値を掛け合わせる（＝相関値、０または１）ことに相当する。また、式１の積分操作は注目画素をフレーム内で移動（スキャン）させて相関値をマスクパターンと対応するカウンタによって足し合わせる（１をカウントする）ことに相当する。
【００５７】
Ｓ３４においては、相関値は１か否かが判定され、判定結果が肯定の場合にはＳ３５に移行するが、否定の場合にはＳ３６に移行する。なお、実際の計算は、計算量を削減するために、Ｓ３３で相関値を計算する前に、Ｓ３１の後で、まず参照点の画素値が１か否かを判断し、０ならば、相関を計算しても０となるのでＳ３７にスキップする。
Ｓ３５においては、マスクパターンと対応する相関パターンカウンタを＋１する。Ｓ３６においては、全てのパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ３７に移行するが、否定の場合にはＳ３２に移行する。
【００５８】
Ｓ３７においては、全ての画素について処理が完了したか否かが判定され、判定結果が肯定の場合にはＳ３８に移行するが、否定の場合にはＳ３１に移行する。Ｓ３８においては、パターンカウンタ値の集合を２５１次元フレームCHLACデータとして出力する。
【００５９】
次に、本発明者らが行った実験結果について説明する。実験には画像データとして、複数人が行き交う動画を用いた。この動画は数千フレームから成り、ごく一部に異常動作である「転ぶ」動作の画像を含んでいる。実験の結果、正常動作の部分空間の次元が安定するまでは、新しいサンプル画像は常に異なる次元に飛び出して垂直距離ｄ⊥として多少大きな値が出るが、ある程度特徴データが蓄積された中盤においては、正常動作の画像については垂直距離ｄ⊥の値は小さな値で安定しており、異常動作である「転ぶ」フレームでのみ垂直距離ｄ⊥の値が大きくなって正しく異常動作が検出できることを確認した。なお、正常動作部分空間の次元は常に４次元程度で変化しており、非常に小さいものとなっている。
【００６０】
以上のように、実施例においては、CHLAC特徴の加法性と部分空間法を用いて、正常動作を統計的に部分空間として学習し、異常動作をそこからの逸脱として検出することができる。この手法は、複数人の場合にも適用することができ、画面内で一人でも異常動作を行えば、検出することができる。しかも、対象の切り出しは不要で、計算量は人数に依らず一定であり、有効で実用性が高い手法である。また、この手法では、正常動作を陽に定義することなく統計的に学習しているため、設計の段階で正常動作とは何かについて定義する必要がなく、監視対象に則した自然な検出を行うことができる。さらに、監視対象についての仮定や知識が全く必要ないので、人の動作に限らず、さまざまな監視対象に対しても、正常・異常を判別できる汎用的な手法である。また、オンライン学習によってリアルタイムに異常動作を検出することができる。
【００６１】
以上、異常動作の検出を行う実施例について説明したが、本発明には以下のような変形例も考えられる。実施例においては、正常動作の部分空間を更新しながら異常動作の検出を行う例を開示したが、学習フェーズによって予め正常動作の部分空間を生成しておくか、あるいは例えば１分、１時間あるいは１日などのフレーム間隔よりも長い所定の周期で正常動作の部分空間を生成して更新し、次の更新までは固定した部分空間を使用して異常動作の検出を行ってもよい。このようにすれば処理量は更に減少する。
更に、リアルタイムに部分空間を更新する学習法として、下記の非特許文献３に開示されているような、主成分分析による固有値問題を解かずに、入力データから逐次近似的に固有べクトルを求める方法を採用してもよい。
【非特許文献３】Juyang Weng, Yilu Zhang andWey-Shiuan Hwang, "Candid Covariance-Free Incremental Principal ComponentAnalysis",IEEE Transactions on Pattern Analysis and MachineIntelligence,Vol.25, No.8, pp.1034-1040, 2003
【００６２】
正常動作が複数パターン存在する場合、実施例の構成ではあまり正しく正常動作部分空間を構成することができず、異常動作の検出精度が低下してしまうことがある。そこで、正常動作部分空間内においてもクラスタリングを行った後、そこからの距離を測るようにして多峰性の分布にも対応できるようにすることが考えられる。
あるいは、複数の正常動作パターンのそれぞれについて部分空間を生成することができれば、それぞれの部分空間を使用して複数の異常判定を行い、複数の判定結果の論理積を取って全てのパターンについて異常と判定されたものを異常とするようにしてもよい。
【００６３】
実施例においては、異常動作と判定されたフレームも正常動作の部分空間生成処理に使用しているが、異常動作と判定されたフレームを部分空間生成処理から除いてもよい。このようにすれば、異常動作の割合が高い場合や、画像サンプル数が少ない場合等に検出精度が向上する。
【００６４】
実施例においては、３次元のCHLACを計算する例を開示したが、用途や精度、計算量の点を考慮して、３次元のCHLACではなく、各差分フレームから２次元の高次局所自己相関特徴を計算して、このデータから正常動作の部分空間を生成して異常動作を検出するようにしてもよい。このようにすれば、歩くなどの周期的動作の場合には時間方向の積分がない分誤差が大きくなるが、やはり異常行動を検出することができ、２５１次元のCHLACに比べて２５次元となるので大幅に計算が少なくて済む。従って、応用に依っては有効である。
【図面の簡単な説明】
【００６５】
【図１】本発明による異常動作検出装置の構成を示すブロック図である。
【図２】本発明による異常動作検出処理の内容を示すフローチャートである。
【図３】Ｓ１３の立体高次局所自己相関特徴抽出処理の内容を示すフローチャートである。
【図４】３次元画素空間における自己相関処理座標を示す説明図である。
【図５】自己相関マスクパターンの例を示す説明図である。
【図６】本発明による動画像の実時間処理の内容を示す説明図である。
【図７】CHLAC特徴の加法性と部分空間の性質を示す説明図である。
【図８】CHLAC特徴の加法性と部分空間の例を示す説明図である。
【符号の説明】
【００６６】
１０…ビデオカメラ
１１…コンピュータ
１２…モニタ装置
１３…キーボード
１４…マウス
【図１】
2006079272.tif 000013
【図２】
2006079272.tif 000014
【図３】
2006079272.tif 000015
【図４】
2006079272.tif 000016
【図５】
2006079272.tif 000017
【図６】
2006079272.tif 000018
【図７】
2006079272.tif 000019
【図８】
2006079272.tif 000020