(57)【要約】【課題】  人の流れの方向や状態が複雑でかつ時間とともに多様に変化するような場合にも、人ごみの状態が局所的に変化したことを検知する。【解決手段】  オプティカルフロー算出部２は、映像データ３から、現フレームのオプティカルフロー（動きベクトル）を算出する。フロー時間平均算出部５は、オプティカルフローの絶対値化を行うとともに、オプティカルフローの時間平均を算出し、画素毎の画素フローを得る（時間方向での平均）。ブロック平均算出部６は、画素フローを各指定ブロック内で平均化し、平均フローを得る（空間方向での平均）。平均フロー比較部１０は、ブロック間で平均フローを比較し、閾値指定部９により指定された閾値に従って、平均フローの差異が大きいか否かを判断する。異常検知部１１は、平均フローの差異が大きい場合に異常として検知する。【選択図】  図１
2006099241.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の動画像をフレーム画像毎に入力する入力手段と、
フレーム画像内に予め設定された対象領域において、各画像におけるオプティカルフローを求め、当該オプティカルフローから、各画素の動きを示す画素フローを算出する画素フロー算出手段と、
算出された画素フローから、フレーム画像中の画素フローの空間的な分布の特徴を示す状態指標を算出する状態指標算出手段と、
前記状態指標に基づいて、前記監視対象の異常を検知する異常検知手段と
を具備することを特徴とする異常検知装置。
【請求項２】
１フレーム画像内に少なくとも２以上の対象領域を設け、
前記状態指標算出手段は、
前記対象領域内の各画素フローに基づいて、各対象領域の平均フローを算出し、
各対象領域の平均フローの差異に基づいて、前記状態指標を算出することを特徴とする請求項１記載の異常検出装置。
【請求項３】
前記状態指標算出手段は、
前記対象領域中の各画素フローの分散に基づいて、前記状態指標を算出することを特徴とする請求項２記載の異常検出装置。
【請求項４】
前記状態指標算出手段は、
前記対象領域中の各画素フローにおける空間的な変化に基づいて、前記状態指標を算出することを特徴とする請求項２記載の異常検出装置。
【請求項５】
前記画素フロー算出手段は、
現フレーム画像から過去一定時間における各画素のオプティカルフローの平均を、各画素フローとして算出することを特徴とする請求項１ないし４のいずれかに記載の異常検出装置。
【請求項６】
前記画素フロー算出手段は、
各画素のオプティカルフローの絶対値に基づいて前記各画素フローを算出することを特徴とする請求項１ないし５のいずれかに記載の異常検出装置。
【請求項７】
監視対象の動画像をフレーム画像毎に入力し、
フレーム画像内に予め設定された対象領域において、各画像におけるオプティカルフローを求め、当該オプティカルフローから、各画素の動きを示す画素フローを算出し、
算出された画素フローから、フレーム画像中の画素フローの空間的な分布の特徴を示す状態指標を算出し、
前記状態指標に基づいて、前記監視対象の異常を検知することを特徴とする異常検知方法。
【請求項８】
監視対象の動画像をフレーム画像毎に入力するステップと、
フレーム画像内に予め設定された対象領域において、各画像におけるオプティカルフローを求め、当該オプティカルフローから、各画素の動きを示す画素フローを算出するステップと、
算出された画素フローから、フレーム画像中の画素フローの空間的な分布の特徴を示す状態指標を算出するステップと、
前記状態指標に基づいて、前記監視対象の異常を検知するステップと
をコンピュータに実行させることを特徴とする異常検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人が集まる場所で何らかのトラブルが発生した場合に人ごみの状態に変化が起こることに注目し、これを画像処理により検知する異常検知装置、異常検知方法および異常検知プログラムに関する。
【背景技術】
【０００２】
人が多く集まる場所では、様々なトラブルが発生し、安全管理、防災の観点からこれらのトラブルを検知し、迅速な対応を行う必要がある。そこで、定点カメラの映像を利用し、トラブルを自動的に検知することにより監視員の負担を軽減する技術に期待が持たれている。
【０００３】
従来技術としては、定点カメラの映像を元に、動きベクトル（オプティカルフロー）を用いるものがある（例えば特許文献１参照）。この従来技術では、正常時の動きベクトルの注目領域（ブロック）内の平均（平均ベクトル）と分散とを求めておき、観測時に算出された平均ベクトルとの差異が大きくなった場合に異常として検知するものである。
【特許文献１】特開２００１−３５７４８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来技術では、道路での車のように流れが固定的な（流れの方向が固定されているような）場合には有効であるが、駅のコンコースにおける人ごみのように、その方向、人数、速度などの状態が時間とともに多様に変化するような場合には適用が困難であるという問題があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、駅のコンコースなどにおける人の流れのように、その方向や状態が複雑でかつ時間とともに多様に変化するような場合にも、人ごみの状態が局所的に変化したことを検知することができる異常検知装置、異常検知方法および異常検知プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上記の課題を解決すべくなされたもので、監視対象の動画像をフレーム画像毎に入力する入力手段と、フレーム画像内に予め設定された対象領域において、各画像におけるオプティカルフローを求め、当該オプティカルフローから、各画素の動きを示す画素フローを算出する画素フロー算出手段と、算出された画素フローから、フレーム画像中の画素フローの空間的な分布の特徴を示す状態指標を算出する状態指標算出手段と、前記状態指標に基づいて、前記監視対象の異常を検知する異常検知手段とを具備することを特徴とする異常検知装置である。
【０００７】
また、本発明は、上記の発明において、１フレーム画像内に少なくとも２以上の対象領域を設け、前記状態指標算出手段は、前記対象領域内の各画素フローに基づいて、各対象領域の平均フローを算出し、各対象領域の平均フローの差異に基づいて、前記状態指標を算出することを特徴とする。
【０００８】
また、本発明は、請求項２記載の異常検出装置において、前記状態指標算出手段は、前記対象領域中の各画素フローの分散に基づいて、前記状態指標を算出することを特徴とする。
【０００９】
また、本発明は、上記の発明において、前記状態指標算出手段は、前記対象領域中の各画素フローにおける空間的な変化に基づいて、前記状態指標を算出することを特徴とする。
【００１０】
また、本発明は、上記の発明において、前記画素フロー算出手段は、現フレーム画像から過去一定時間における各画素のオプティカルフローの平均を、各画素フローとして算出することを特徴とする。
【００１１】
また、本発明は、上記の発明において、前記画素フロー算出手段は、各画素のオプティカルフローの絶対値に基づいて前記各画素フローを算出することを特徴とする。
【００１２】
また、本発明は、監視対象の動画像をフレーム画像毎に入力し、フレーム画像内に予め設定された対象領域において、各画像におけるオプティカルフローを求め、当該オプティカルフローから、各画素の動きを示す画素フローを算出し、算出された画素フローから、フレーム画像中の画素フローの空間的な分布の特徴を示す状態指標を算出し、前記状態指標に基づいて、前記監視対象の異常を検知することを特徴とする異常検知方法である。
【００１３】
また、本発明は、監視対象の動画像をフレーム画像毎に入力するステップと、フレーム画像内に予め設定された対象領域において、各画像におけるオプティカルフローを求め、当該オプティカルフローから、各画素の動きを示す画素フローを算出するステップと、算出された画素フローから、フレーム画像中の画素フローの空間的な分布の特徴を示す状態指標を算出するステップと、前記状態指標に基づいて、前記監視対象の異常を検知するステップとをコンピュータに実行させることを特徴とする異常検知プログラムである。
【発明の効果】
【００１４】
以上説明したように、異常検知装置は、監視対象の動画像をフレーム画像毎に入力し、フレーム画像内に予め設定された対象領域において、各画像におけるオプティカルフローを求め、当該オプティカルフローから、各画素の動きを示す画素フローを算出し、算出された画素フローから、フレーム画像中の画素フローの空間的な分布の特徴を示す状態指標を算出し、状態指標に基づいて、監視対象の異常を検知する。そのため、対象領域おけるオプティカルフローから算出された画素フローの空間的分布の特徴を示す状態指標から監視対象の異常を検知することが可能となる。それによって、駅のコンコースなどにおける人の流れのように、その方向や状態が複雑でかつ時間とともに多様に変化するような場合にも、人ごみの状態が局所的に変化したことを検知することができるという効果が得られる。
【００１５】
また、本発明によれば、異常検知装置は、１フレーム画像内に少なくとも２以上の対象領域を設け、対象領域内の各画素フローに基づいて、各対象領域の平均フローを算出し、各対象領域の平均フローの差異に基づいて、状態指標を算出する。そのため、画素フローを時間方向と空間方向で平均化して求めた平均フローにより、安定した状態指標を比較することができ、監視対象の異常を検知することを容易にすることができる。
【００１６】
また、本発明によれば、異常検知装置は、対象領域中の各画素フローの分散に基づいて、状態指標を算出する。そのため、対象領域中の画素フローのばらつきを統計的手段により評価し、監視対象の異常を検知することが可能となる。
【００１７】
また、本発明によれば、異常検知装置は、対象領域中の各画素フローにおける空間的な変化に基づいて、状態指標を算出する。そのため、対象領域中の画素フローの空間的な変化、即ち空間的な傾きをハイパスフィルタなどの手段を利用して状態指標を算出することができ、監視対象の異常を検知することが可能となる。
【００１８】
また、本発明によれば、異常検知装置は、現フレーム画像から過去一定時間における各画素のオプティカルフローの平均を、各画素フローとして算出する。そのため、平均化によって、状態指標を安定化させることができるという効果が得られる。
【００１９】
また、本発明によれば、異常検知装置は、各画素のオプティカルフローの絶対値に基づいて各画素フローを算出する。そのため、様々な方向の流れが混在するような場所でも異常を検知しやすくなるという効果が得られる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態について説明する。なお、以下の説明において、オプティカルフローとは、対象領域内の画素毎に求められる、所謂動きベクトルであり、現フレーム画像とその直前の前フレーム画像とから求めることができる。また、画素フローとは、オプティカルフローから求められる各画素の動きを示す値であり、後述する第１実施形態では、各オプティカルフローの絶対値を過去一定時間平均することによって画素毎に求められる。また、平均フローとは、上述した対象領域に該当するブロック内の上記画像フローを平均化したものであり、各ブロック毎に求められる。また、状態指標とは、異常か否かを判断するための指標であり、後述する第１実施形態では、ブロック間の平均フローの差異によって求められ、後述する第２実施形態では、対象領域内の画素フローの分散、後述する第３実施形態では、対象領域内の画素フローの空間的な変化によって求められる。
【００２１】
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態の異常検知装置の略構成を示すブロック図である。図１において、画素フロー算出手段１００ａは、ブロック指定部１、オプティカルフロー算出部２、フロー記録部４およびフロー時間平均算出部５からなる。また、状態指標算出手段１０１ａは、フローのブロック平均算出部６、閾値指定部９および平均フロー比較部１０からなる。画素フロー算出手段１００ａにおいて、ブロック指定部１は、フレーム内の処理対象とする処理対象ブロックを複数指定する。オプティカルフロー算出部２は、複数のフレーム画像系列からなる映像データ３から、現フレームのオプティカルフロー（動きベクトル）を算出する。フロー記録部４は、上記オプティカルフロー算出部２で算出された所定時間分のオプティカルフローを記録する。フロー時間平均算出部５は、オプティカルフローの絶対値化を行うとともに、オプティカルフローの時間平均を算出する。
【００２２】
状態指標算出手段１０１ａにおいて、フローのブロック平均算出部６は、画素毎の時間平均されたフロー、即ち画素フローを各指定ブロック内で平均化する。同図では、指定ブロックとしてブロックＡとブロックＢについて平均化を行い、ブロックＡの平均フロー７とブロックＢの平均フロー８を出力する。閾値指定部９は、後述する指定ブロックの平均フローを比較する際の閾値を指定する。平均フロー比較部１０は、ブロック間で平均フロー７，８を比較し、閾値指定部９により指定された閾値に従って、平均フロー７，８の差異が大きいか否かを判断する。異常検知部１１は、平均フローの差異が大きい場合に異常として検知する。
【００２３】
Ａ−２．第１実施形態の動作
次に、上述した第１実施形態による異常検知装置の動作について説明する。ここで、図２は、本第１実施形態による異常検知装置の動作を説明するためのフローチャートである。
まず、ブロック指定部１により処理対象領域となるブロックを複数指定する（Ｓａ１）。次に、複数のフレーム画像系列からなる映像データのうち、対象となるフレームを１つ進める（Ｓａ２）。次に、オプティカルフロー算出部２により、現フレームのオプティカルフローを算出する（Ｓａ３）。算出されたオプティカルフローは、フロー記録部４に記録される。オプティカルフローは、画像上の座標を（ｘ，ｙ）とした場合、フレームｎの座標（ｘ，ｙ）におけるオプティカルフロー＝（ｕ，ｖ）n  ｘ，ｙとして算出される。なお、ｕは、速度ベクトルのｘ成分であり、ｖは、速度ベクトルのｙ成分である。
【００２４】
次に、フロー時間平均算出部５により、フロー記録部４からオプティカルフローを読み出し、ｘ、ｙ成分毎にオプティカルフローの絶対値を算出し（Ｓａ４）、過去一定時間におけるオプティカルフローの時間平均を算出する（Ｓａ５）。オプティカルフローの絶対値は、（|ｕ|,|ｖ|）ｎ  ｘ，ｙとなる。また、オプティカルフローの時間平均（過去Nフレーム）は、（Ｕ，Ｖ）ｘ，ｙ＝Σ（|ｕ|,|ｖ|）ｋ  ｘ，ｙ／Ｎとなる。なお、ｋ＝ｎ−Ｎ〜ｎである。このようにして、オプティカルフローより画素毎の画素フローが算出される。
なお、一般にベクトル（ａ，ｂ）の絶対値という場合には、ベクトルの長さである√（ａ２＋ｂ２）を示すことが多いが、本実施形態では、成分ごとの絶対値（｜ａ｜，｜ｂ｜）およびベクトルの長さ√（ａ２＋ｂ２）の両方どちらを用いてもよい。以下の説明では、成分ごとの絶対値（｜ａ｜，｜ｂ｜）の場合を例に取って説明する。
【００２５】
次に、ブロック平均算出部６により、画素フローを各指定ブロック内で平均し、ブロックＡの平均フロー７と、ブロックＢの平均フロー８とを求める（Ｓａ６）。画素フローのブロック内の平均（平均フロー）は、ブロックＡに対しては、Ａ￣＝（Ｕａ，Ｖａ）＝Σ（Ｕ，Ｖ）ｘ，ｙ／Ｎａとなり（ＮａはブロックＡの画素数、ｘ，ｙはブロックＡ内の座標）、ブロックＢに対しては、Ｂ￣＝（Ｕｂ，Ｖｂ）＝Σ（Ｕ，Ｖ）ｘ，ｙ／Ｎｂとなる（ＮｂはブロックＢの画素数、ｘ，ｙがブロックＢ内の座標）。なお、時間平均とブロック内平均の順序は前後してもよい。なお、「￣」はベクトルであることを示す。
【００２６】
ここでの平均フローは、算出されたオプティカルフローの絶対値を各ブロックにおいて時間方向と空間方向で平均をとった結果であり、１ブロックに１つの平均フロー（ベクトル）が算出される。図３（ａ）は原画像であり、図３（ｂ）は、２つのブロックが指定され、各ブロックごとに平均フローが求められることを示す図である。
【００２７】
次に、平均フロー比較部１０により、ブロックＡの平均フロー７とブロックＢの平均フロー８とを比較し（Ｓａ７）、閾値指定部９により指定された閾値Ｏｔに従って、双方の平均フローの差異が大きいか否かを判断し（Ｓａ８）、評価結果を異常検知部１１に送信する。平均フローの差異の評価方法の一例としては、Ｏ＝Ａ￣・Ｂ￣／ｍａｘ［Ａ￣・Ａ￣，Ｂ￣・Ｂ￣］（・は内積）を求め、比較結果Ｏが予め設定した閾値Ｏｔより小さいときに差異が大きいと判定する。なお、「￣」はベクトルであることを示す。
【００２８】
なお、比較するブロックは、必要に応じて、３つ以上に拡張可能であり、隣接する場所、空間の特性が同じ（同じ通路上など）など、人の状態の相関が高くなる場所同士を選ぶことが好ましい。
【００２９】
次に、異常検知部１１により、上記評価結果に従って、差異が大きい場合には、異常と検知し（Ｓａ９）、終了条件が満たされたか否かを判断し（Ｓａ１０）、終了でなければ、ステップＳａ２へ戻り、対象フレームを次のフレームへ進め、上述した処理を繰り返す。
【００３０】
一方、双方の差異が小さい場合には、異常検知することなく、終了条件が満たされたか否かを判断し（Ｓａ１０）、終了でなければ、ステップＳａ２へ戻り、対象フレームを次のフレームへ進め、上述した処理を繰り返す。また、終了条件が満たされた場合には、当該処理を終了する。
【００３１】
なお、正常時において平均フローが場所により異なる場合（例：ブロックAの人数密度はブロックBの人数密度の４０％くらいになる、などの相関を持つ場合）にも本手法を適用することができる。このような場合には、予め正常時の平均フローを算出しておき、その平均フローの大きさがブロック間で等しくなるように規格化しておけばよい。また、画像内での見えの違い、例えば遠いほど小さく見え、遠いほど画像上の動きは遅く見えるという違いなどを、予め補正しておけば、遠近間での比較を安定させることが可能である。
【００３２】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
Ｂ−１．第２実施形態の構成
図４は、本第２実施形態による異常検知装置の構成を示すブロック図である。図において、画素フロー算出手段１００ｂは、処理対象領域指定部２０、オプティカルフロー算出部２１、フロー記録部２３およびフロー時間平均算出部２４からなる。また、状態指標算出手段１０１ｂは、フローのぼかし処理部２５、フロー統計量算出部２６、閾値指定部２７および閾値比較部２８からなる。画素フロー算出手段１００ｂにおいて、処理対象領域指定部２０は、上述した監視を行う対象領域、即ち処理対象領域を指定する。オプティカルフロー算出部２１は、複数のフレーム画像系列からなる映像データ２２から、現フレームのオプティカルフローを算出する。フロー記録部２３は、上記オプティカルフロー算出部２１で算出されたオプティカルフローを記録する。フロー時間平均算出部２４は、オプティカルフローの絶対値化を行うとともに、オプティカルフローの時間平均を算出し、画素フローを得る。
【００３３】
状態指標算出手段１０１ｂにおいて、フローのぼかし処理部２５は、空間方向にぼかす処理を施す。ぼかし処理には、ガウシアンフィルタなどを用いる。フロー統計量算出部２６は、ぼかし処理された処理対象領域内の画素フローのばらつき（分散）を算出する。このように、本第２実施形態では、対象領域内の画素フローのばらつきを評価する手法として、平均、分散或いは標準偏差などの基本的な統計量を用いる方法（統計処理による評価）を採用している。閾値指定部２７は、後述する画素フローのばらつきと比較する閾値を指定する。閾値比較部２８は、処理対象領域内で画素フローのばらつきを求め、閾値指定部２７により指定された閾値に従って、画素フローのばらつきが大きいか否かを判断する。異常検知部２９は、画素フローのばらつきが大きい場合に異常として検知する。
【００３４】
Ｂ−２．第２実施形態の動作
次に、上述した第２実施形態による異常検知装置の動作について説明する。ここで、図５は、本第２実施形態による異常検知装置の動作を説明するためのフローチャートである。また、図６は、本第２実施形態による異常検知装置の動作を説明するための概念図である。
【００３５】
まず、複数のフレーム画像系列からなる映像データのうち、対象となるフレームを１つ進める（Ｓｂ１）。次に、オプティカルフロー算出部２１により、処理対象領域指定部２０により指定された処理対象領域に従って、現フレームのオプティカルフローを算出する（Ｓｂ２）。算出されたオプティカルフローは、フロー記録部２３に記録される。オプティカルフローは、画像上の座標を（ｘ，ｙ）とした場合、フレームｎの座標（ｘ，ｙ）におけるオプティカルフロー＝（ｕ，ｖ）n  ｘ，ｙとして算出される。なお、ｕは、速度ベクトルのｘ成分であり、ｖは、速度ベクトルのｙ成分である。
【００３６】
次に、フロー時間平均算出部２４により、フロー記録部２３からオプティカルフローを読み出し、ｘ、ｙ成分毎にオプティカルフローの絶対値を算出し（Ｓｂ３）、過去一定時間におけるオプティカルフローの時間平均を算出する（Ｓｂ４）。オプティカルフローの絶対値は、（|ｕ|,|ｖ|）ｎ  ｘ，ｙとなる。また、オプティカルフローの時間平均（過去Nフレーム）は、（Ｕ，Ｖ）ｘ，ｙ＝Σ（|ｕ|,|ｖ|）ｋ  ｘ，ｙとなる。なお、ｋ＝ｎ−Ｎ〜ｎ）である。このようにして、オプティカルフローから画素毎の画素フローが得られる。
【００３７】
次に、ぼかし処理部２５により、画素フローに対して空間方向にぼかし処理を施す（Ｓｂ５）。ここでの画素フローは、算出されたオプティカルフローの絶対値を、時間方向の平均とぼかし処理（近隣画素での重み付き平均に相当）とを行った結果であり、処理対象領域内の各画素において画素フロー（ベクトル）が算出される（図６（ａ）の矢印を参照）。
【００３８】
次に、フロー統計量算出部２６により、ぼかし処理された処理対象領域内の画素フローのばらつき（分散）を算出する（Ｓｂ６）。ここで、図６（ｂ）に、各画素での画素フローｘ成分の絶対値｜ｕ｜に対する処理対象領域内での出現頻度を示す。なお、画素フローｘ成分の絶対値｜ｕ｜は、各画素での画素フローｙ成分の絶対値｜ｖ｜であっても、各画素での画素フローの絶対値√（ｕ２＋ｖ２）であってもよい。但し、ｕ，ｖは、空間方向、時間方向にぼかした（平滑化または平均化）後の画素フローの値である。
【００３９】
次に、閾値比較部２８により、処理対象領域間で画素フローのばらつきを求め、閾値指定部２７により指定された閾値に従って、画素フローのばらつきが大きいか否かを判断し（Ｓｂ７）、評価結果を異常検知部２９に送信する。次に、異常検知部２９により、上記評価結果に従って、画素フローのばらつきが大きい場合には、異常と検知し（Ｓｂ８）、終了条件が満たされたか否かを判断し（Ｓｂ９）、終了でなければ、ステップＳｂ１へ戻り、対象フレームを次のフレームへ進め、上述した処理を繰り返す。
【００４０】
一方、双方の差異が小さい場合には、異常検知することなく、終了条件が満たされたか否かを判断し（Ｓｂ９）、終了でなければ、ステップＳｂ１へ戻り、対象フレームを次のフレームへ進め、上述した処理を繰り返す。また、終了条件が満たされた場合には、当該処理を終了する。
【００４１】
なお、画像内での見えの違い（遠いほど小さく見え、遠いほど画像上の動きは遅く見える）を、予め補正しておけば、遠近両方を含む範囲に対する処理結果を安定させることが可能である。また、正常時において処理対象領域内に発生する画素フローが場所により異なる場合（例：左上の人数密度は右下の人数密度の40%くらいになる、など相関を持つ場合）に本手法を拡張することができる。このような場合は、予め正常時の画素フローを算出しておき、その画素フローの大きさを処理対象領域内で規格化しておけばよい。
【００４２】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。なお、本第３実施形態による異常検知装置は、図４に示す構成において、フロー統計量算出部２６で、空間的な傾きを検出することが異なるだけであるので説明を省略する。このように、本第３実施形態では、上述した監視を行う対象領域、即ち処理対象領域内の画素フローのばらつきを評価する手法として、Ｓｏｂｅｌフィルタなどの微分フィルタ（ハイパスフィルタ）処理を施し、処理対象領域内での画素フローの大きさの空間方向の急激な変化（変化量あるいは変化率）を検出する方法を採用している。
【００４３】
Ｃ−１．第３実施形態の動作
次に、上述した第３実施形態による異常検知装置の動作について説明する。ここで、図７は、本第３実施形態による異常検知装置の動作を説明するためのフローチャートである。また、図８は、本第３実施形態による異常検知装置の動作を説明するための概念図である。
【００４４】
まず、複数のフレーム画像系列からなる映像データのうち、対象となるフレームを１つ進める（Ｓｃ１）。次に、オプティカルフロー算出部２１により、処理対象領域指定部２０により指定された処理対象領域に従って、現フレームのオプティカルフローを算出する（Ｓｃ２）。
【００４５】
次に、フロー時間平均算出部２４により、フロー記録部２３からオプティカルフローを読み出し、ｘ、ｙ成分毎にオプティカルフローの絶対値を算出し（Ｓｃ３）、過去一定時間におけるオプティカルフローの時間平均を算出する（Ｓｃ４）。次に、ぼかし処理部２５により、画素フローに対して空間方向にぼかし処理を施す（Ｓｃ５）。ここでの画素フローは、算出されたオプティカルフローの絶対値を、時間方向の平均とぼかし処理（近隣画素での重み付き平均に相当）とを行った結果であり、処理対象領域内の各画素において画素フロー（ベクトル）が算出される（図８（ａ）の矢印を参照）。この画素フローを画像として見ると、図８（ｂ）に示すように、絶対値が大きいほど高い値（明るい）となる。
【００４６】
次に、フロー統計量算出部２６により、ぼかし処理された処理対象領域内の画素フローの空間的な傾きを算出する（Ｓｃ６）。空間的な傾きは、Ｓｏｂｅｌフィルタなどの微分フィルタ（ハイパスフィルタ）処理を施すことで、処理対象領域内での画素フローの大きさの空間方向の急激な変化として検出される。なお、Ｓｏｂｅｌフィルタの出力値は、絶対値化する。ここで、図８（ｃ）に、ｘ方向の傾き：ｄｘ、ｙ方向の傾き：ｄｙ、画素フローの絶対値√（ｄｘ２＋ｄｙ２）を示す。なお、Ｓｏｂｅｌフィルタ以外にも、さまざまな傾き検出フィルタが存在するが、どのような検出フィルタを用いるかに限定されない。
【００４７】
次に、閾値比較部２８により、処理対象領域内で画素フローの傾きを求め、閾値指定部２７により指定された閾値に従って、画素フローの傾きが大きいか否か、すなわち閾値を超える値があるか否かを判断し（Ｓｃ７）、評価結果を異常検知部２９に送信する。次に、異常検知部２９により、上記評価結果に従って、画素フローの傾きが大きい場合には、異常と検知し（Ｓｃ８）、終了条件が満たされたか否かを判断し（Ｓｃ９）、終了でなければ、ステップＳｃ１へ戻り、対象フレームを次のフレームへ進め、上述した処理を繰り返す。
【００４８】
一方、双方の差異が小さい場合には、異常検知することなく、終了条件が満たされたか否かを判断し（Ｓｃ９）、終了でなければ、ステップＳｃ１へ戻り、対象フレームを次のフレームへ進め、上述した処理を繰り返す。また、終了条件が満たされた場合には、当該処理を終了する。
【００４９】
なお、上述した実施形態において、画素フローの空間的な傾きを算出するためのフィルタのサイズは、検出したい事象のサイズと合わせる必要がある。例えば、１００画素程度の範囲で異常が起こるとすると、フィルタもそのサイズを検出できるようにする必要がある。最も簡単なのは画像サイズを縮小して、フィルタの感度（サイズ）と事象の空間サイズをおおよそあわせておくことである。
【００５０】
なお、上述した実施形態においては、オプティカルフロー算出部２（２１）、フロー時間平均算出部５（２４）、ブロック平均算出部６、平均フロー比較部１０、異常検知部１１（２９）、フロー統計量算出部２６、閾値比較部２８などは、コンピュータシステム内で実行される。そして、上述した制御部１、画像処理部５、演算部６による一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。すなわち、オプティカルフロー算出部２（２１）、フロー時間平均算出部５（２４）、ブロック平均算出部６、平均フロー比較部１０、異常検知部１１（２９）、フロー統計量算出部２６、閾値比較部２８は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現されるものである。
【００５１】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【図面の簡単な説明】
【００５２】
【図１】本発明の第１実施形態の異常検知装置の略構成を示すブロック図である。
【図２】本第１実施形態による異常検知装置の動作を説明するためのフローチャートである。
【図３】本第１実施形態による異常検知装置の動作を説明するための概念図である。
【図４】本第２実施形態による異常検知装置の構成を示すブロック図である。
【図５】本第２実施形態による異常検知装置の動作を説明するためのフローチャートである。
【図６】本第２実施形態による異常検知装置の動作を説明するための概念図である。
【図７】本第３実施形態による異常検知装置の動作を説明するためのフローチャートである。
【図８】本第３実施形態による異常検知装置の動作を説明するための概念図である。
【符号の説明】
【００５３】
１…ブロック指定部
２，２１…オプティカルフロー算出部
３，２２…映像データ
４，２３…フロー記録部
５，２４…フロー時間平均算出部
６…ブロック平均算出部
７，８…平均フロー
９，２７…閾値指定部
１０…平均フロー比較部
１１，２９…異常検知部（異常検知手段）
２０…処理対象領域指定部
２５…ぼかし処理部
２６…フロー統計量算出部
２８…閾値比較部
１００ａ…画素フロー算出手段
１０１ａ…状態指標算出手段
１００ｂ…画素フロー算出手段
１０１ｂ…状態指標算出手段
【図１】
2006099241.tif 000003
【図２】
2006099241.tif 000004
【図３】
2006099241.tif 000005
【図４】
2006099241.tif 000006
【図５】
2006099241.tif 000007
【図６】
2006099241.tif 000008
【図７】
2006099241.tif 000009
【図８】
2006099241.tif 000010