(57)【要約】【課題】映像中の人物や動物などの行動の異常度を算出し、その異常度を基にして異常行動が発生しているかどうかを的確にできる異常行動検知装置を提供する。【解決手段】本発明による異常行動検知装置においては、映像取得部が取得した監視対象の映像の異常度を算出し、算出した異常度から異常行動が発生しているのかどうかを閾値に基づいて判定する。映像中の異常度を基にして異常発生の有無を的確に判定できるので、異常発生時には、警告を出したり警備員に通報することで、その異常に即座に対応することが可能になる。【選択図】  図１
2011076638.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の映像を取得する映像取得部と、
前記映像取得部が取得した映像の異常度を算出する異常度算出部と、
前記異常度算出部が算出した異常度から異常行動が発生しているのかどうかを閾値に基づいて判定する異常判定部と、
を備えることを特徴とする異常行動検知装置。
【請求項２】
請求項１において、前記異常度算出部は、
前記映像の中から動きのある部分を抽出する動き抽出部と、
前記動き抽出部が生成した映像の第１の特徴量を算出する特徴量算出部と、
前記第１の特徴量を線形変換で第２の特徴量に変換する特徴量変換部と、
前記第２の特徴量を正常行動に対する第３の特徴量と比較することで異常度を算出する異常度評価部と、
を備えることを特徴とする異常行動検知装置。
【請求項３】
請求項２において、前記特徴量算出部は、立体高次局所自己相関特徴を用いて前記第１の特徴量を算出することを特徴とする異常行動検知装置。
【請求項４】
請求項２または請求項３において、前記異常度評価部は、前記第２の特徴量と前記第３の特徴量の集合の重心とのユークリッド距離により異常度を算出することを特徴とする異常行動検知装置。
【請求項５】
請求項２または請求項３において、前記異常度評価部は、前記第２の特徴量と前記第３の特徴量の集合のマハラノビス距離により異常度を算出することを特徴とする異常行動検知装置。
【請求項６】
請求項１ないし５のいずれか１項において、前記異常判定部の判定処理に必要となる判定閾値を判定結果が最良となるように設定する判定閾値算出部を
備えることを特徴とする異常行動検知装置。
【請求項７】
請求項６において、前記判定閾値算出部は、誤報率と失報率が等しいＥＥＲ（Equal Error Rate），誤報率０％，失報率０％のいずれかに対応する閾値を設定することを特徴とする異常行動検知装置。
【請求項８】
請求項７において、前記判定閾値算出部は、判別閾値と誤報率及び失報率の関係を示すエラー曲線を表示装置に示し、判別閾値を表示装置上で選択させる入力手段を備えることを特徴とする異常行動検知装置。
【請求項９】
請求項２ないし５のいずれか１項において、前記特徴量変換部は、変換行列に対応する部分空間を検知精度が最良となるように部分空間を決定し、対応する変換行列を生成することを特徴とする異常行動検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間や動物などの異常行動を検知する異常行動検知装置に関する。
【背景技術】
【０００２】
犯罪発生率の増加など社会不安に対処するために、不審者や不審車両を監視することを目的としたカメラの設置台数が増加している。このように多数のカメラを用いた監視では、監視領域を限られた監視員リソースで効率的に監視するための監視支援技術が必要になる。  
このような監視支援技術として、特許文献１に示されている「３次元データからの特徴量抽出方法および装置」がある。ここでは、立体高次局所自己相関特徴という動画の特徴量の抽出方法が開示されている。そして、この特徴量を行動認識や歩様認証に応用する方法が示されている。  
また、非特許文献１では、立体高次局所自己相関特徴を使って、映像中の人物の行動の異常度を算出する方法が示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−９２３４６号公報
【非特許文献】
【０００４】
【非特許文献１】南里卓也，大津展之，“複数人動画像からの異常動作検出”，情報処理学会研究報告２００４−ＣＶＩＭ−１４５，２００４年９月１１日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術は、映像中の人物や動物などの行動の異常度がスカラ量として算出されるものであり、実際に異常行動が発生しているのか即座に判断できないという問題がある。
【０００６】
本発明は、上記問題を考慮してなされたものであり、映像中の人物や動物などの行動の異常度を算出し、その異常度を基にして異常行動が発生しているかどうかを的確にできる異常行動検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による異常行動検知装置においては、映像取得部が取得した監視対象の映像の異常度を算出し、算出した異常度から異常行動が発生しているのかどうかを閾値に基づいて判定する。
【発明の効果】
【０００８】
本発明によれば、映像中の異常度を基にして異常発生の有無を的確に判定できるようになる。これによって、異常発生時には、警告を出したり警備員に通報することで、その異常に即座に対応することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の位置実施例である異常行動検知装置の機能構成を表すブロック図である。
【図２】異常判定時の処理の流れを表すフローチャートである。
【図３】異常度算出部の機能構成を表すブロック図である。
【図４】異常度算出処理の流れを表すフローチャートである。
【図５】立体高次局所自己相関の算出に用いるフレームを説明する図である。
【図６】立体高次局所自己相関のマスクパターンを説明する図である。
【図７】立体高次局所自己相関特徴の算出処理の流れを表すフローチャートである。
【図８】変換行列の算出処理の流れを表すフローチャートである。
【図９】部分空間の算出処理を説明する図である。
【図１０】異常度の評価方法を説明する図である。
【図１１】判定閾値算出時の処理の流れを表すフローチャートである。
【図１２】シーン別の最大異常度を説明する図である。
【図１３】誤報率と失報率を説明する図である。
【図１４】エラー曲線を説明する図である。
【図１５】部分空間の決定処理を説明する図である。
【図１６】監視画面の例を説明する図である。
【図１７】３段階の異常判定処理の流れを表すフローチャートである。
【図１８】本発明による異常行動検知装置を備えるエレベータ装置を示す。
【発明を実施するための形態】
【００１０】
以下では発明の実施の形態について、図を用いて詳細に説明する。
【００１１】
図１は、本発明の一実施例である異常行動検知装置の機能構成を示すブロック図である。本装置は、映像取得部１００，異常度算出部１０２，異常判定部１０４，判定閾値算出部１１０，発報部１１２で構成され、映像取得部１００で取得される監視対象の映像に基づいて異常行動を検知する。以下、順に説明する。
【００１２】
映像取得部１００は、ビデオカメラ等の映像撮影機器、またはビデオレコーダ等の映像再生機器であり、本装置の入力となる映像を取得する。映像撮影機器は、現在撮影しているリアルタイム映像を入力とする場合に利用する。映像再生機器は、過去に蓄積した映像を入力とする場合に利用する。
【００１３】
異常度算出部１０２は、映像取得部１００が取得した映像の異常度を算出する。ここで、異常度とは映像中の人物や動物等の移動物体の行動の異常度合いを示すスカラ量である。
【００１４】
異常判定部１０４は、異常度算出部１０２が算出した異常度から、異常行動が発生しているのかどうかを判定し、その結果を判定結果１０８に出力する。判断基準として判定閾値１０６を用い、異常度が判定閾値１０６より小さい場合は、異常行動が発生していないと判定する。逆に、異常度が判定閾値１０６以上の場合は、異常行動が発生していると判定する。
【００１５】
判定閾値算出部１１０は、異常判定部１０４の判定処理に必要となる判定閾値１０６を算出する。ここでは、異常判定部１０４の判定精度が最良となるように判定結果１０８を基にして算出する。
【００１６】
発報部１１２は、判定結果１０８を基にして、異常行動が発生している場合には、その旨を外部装置に通知する。通知を受け取った外部装置は、警報を音声・監視画面に出力することができる。また、エレベータなどの設備を安全のために停止することもできる。さらには、監視センタや携帯端末など遠隔地に通知して、対応を促すこともできる。
【００１７】
異常度算出部１０２，異常判定部１０４，判定閾値算出部１１０，発報部１１２は、ＣＰＵやＣＰＵなどの演算処理装置やパーソナルコンピュータによって実現できる。また、判定閾値や判定結果は半導体メモリーなどの記憶装置に格納され、適宜読み出されて各種の演算に用いられる。
【００１８】
次に、図２のフローチャートを使って、本実施例の異常行動検知装置で異常判定を行う際の処理の流れを説明する。
【００１９】
ステップ２００では、ステップ２０２からステップ２１０までの処理を、あらかじめ定めた所定の頻度で、利用者から終了指示があるまで繰り返す。
【００２０】
ステップ２０２では、異常度算出部１０２を用いて、映像取得部１００で取得した映像をデジタルデータとして取り込む。
【００２１】
ステップ２０４では、異常度算出部１０２を用いて、ステップ２０２で取得した映像の異常度を算出する。
【００２２】
ステップ２０６では、異常判定部１０４を用いて、ステップ２０４で算出した異常度を用いて異常行動が発生しているのかどうかを判定する。
【００２３】
ステップ２０８では、ステップ２０６の判定結果を評価し、異常行動が発生していると判定されている場合に、ステップ２１０を実行する。
【００２４】
ステップ２１０では、発報部１１２を用いて、異常行動が発生していることを外部装置に通知する。
【００２５】
次に、図３のブロック図を使って、図１の異常度算出部１０２の内部構成を詳細に説明する。前述のように異常度算出部１０２は、映像取得部１００が取得した映像の異常度をスカラ量として算出し、異常判定部１０４へ出力する。この異常度算出部１０２は、動き抽出部３００，特徴量算出部３０２，特徴量変換部３０４，異常度評価部３０８で構成される。以下、順に説明する。
【００２６】
動き抽出部３００は、映像取得部１００で取得した映像の中から動きのある部分を抽出する。これは、背景など異常行動の判定に関係のない静止部分を取り除くためである。動きの抽出には、公知の画像処理方法を用いることができる（特開２００５−９２３４６号公報などを参照）。例えば、単純に２つのフレーム間の差分を取る方法や、エッジ抽出処理を施した後でフレーム間の差分をとる方法などが利用できる。さらに、フレーム間の差分をとった後で、照明変動等のノイズの影響を取り除くために、画素値が０か１の値をとるように二値化処理を加える。
【００２７】
特徴量算出部３０２は、動き抽出部３００が生成した映像の特徴量を算出する。算出には、公知の立体高次局所自己相関特徴を利用する（例えば、特開２００５−９２３４６号公報を参照）。これは、連続する３フレームの映像からなるボクセルデータの幾何学的な特徴を２５１次元の特徴ベクトルとして算出する方法である。この特徴量の算出方法については後述する。また、映像の特徴量を算出にオプティカルフローを用いてもよい。オプティカルフローとは、画像の微小領域に着目し、フレーム間での動きをベクトルとして算出する手法であり、例えば、著書「デジタル画像処理」（ＣＧ−ＡＲＴＳ協会）２４３ページに詳細に記述されている。オプティカルフローで算出されるベクトルの全成分を合成して特徴量としてもよい。また、ベクトルの平均・分散などの統計量を特徴量としてもよい。
【００２８】
特徴量変換部３０４は、特徴量算出部３０２で算出した特徴量ベクトルを、変換行列３０６を用いて線形変換する。この変換により、特徴量ベクトルに含まれる異常行動の成分が抽出される。ここで、特徴量算出部３０２で算出した特徴量ベクトルをｘ、変換行列３０６をＡ、変換後の特徴量ベクトルをｘ′とおくと、この変換は次式（１）で表すことができる。
【００２９】
ｘ′＝Ａｘ                                                          （１）  変換行列３０６は主成分分析などの多変量解析によって求まる行列であり、算出方法は後述する。映像の特徴量として２５１次元の高次局所自己相関特徴を用いる場合には、変換行列３０６はｎ×２５１（ｎ＝１，２，…，２５１）の大きさの行列となる。そして、この行列で線形変換された特徴量はｎ次元のベクトルとなる。
【００３０】
異常度評価部３０８は、特徴量変換部３０４で算出した新しい特徴量ベクトルと正常データ３１０の乖離度を評価することで異常度を算出する。そして、算出結果は異常判定部１０４に出力する。ここで、正常データ３１０は、正常な行動に対する特徴量の集合である。具体的な異常度の算出方法については後述する。
【００３１】
次に、図４のフローチャートを使って、図２のステップ２０４の異常度算出処理の詳細を説明する。
【００３２】
ステップ４００では、動き抽出部３００を用いて、映像取得部１００で取得した映像の中から動きがある部分を抽出する。
【００３３】
ステップ４０２では、特徴量算出部３０２を用いて、ステップ４００で生成した映像の特徴量を算出する。  
ステップ４０４では、特徴量変換部３０４を用いて、ステップ４０２で算出した特徴量ベクトルを線形変換して新しい特徴量ベクトルを生成する。
【００３４】
ステップ４０６では、異常度評価部３０８を用いて、ステップ４０４で算出した新しい特徴量ベクトルと正常データ３１０の乖離度を評価することで異常度を算出する。
【００３５】
次に、図５から図７を使って図４のステップ４０２に示した動画の特徴量算出処理の詳細を説明する。
【００３６】
図５は、前述した立体高次局所自己相関特徴の入力データを説明する図である。特徴量算出の対象となるのは動画、すなわち時系列の連続するフレーム（画像）である。立体高次局所自己相関特徴を算出するためには少なくとも３フレームが必要となる。例えば、フレーム番号ｎのフレーム５００が与えられた場合に、その前に位置するフレーム５０２とフレーム５０４（それぞれフレーム番号ｎ−１とｎ−２に対応）の３フレームが特徴量算出の対象となる。
【００３７】
いま、フレームの解像度を縦ｈピクセル，横ｗピクセルとすると、３フレームを合わせることで、ｈ×ｗ×３のボクセル（立方体）を構成できる。立体高次局所自己相関特徴は、このボクセル全要素に対して、３×３×３のマスクパターン５０６を順次移動させながら適用することで特徴を抽出する。
【００３８】
なお、ここでは連続する３フレームを処理対象としていたが、任意のｆフレームを処理対象としてもよい。この場合はｈ×ｗ×ｆのボクセルが処理対象となり、ｆフレーム分の動画の平均的な特徴量が算出されることになる。
【００３９】
図６は、立体高次局所自己相関特徴の算出に用いるマスクパターンの例を示す図である。マスクパターンは、ボクセルの局所的な相関特徴を算出するために用いるものであり、３×３×３のボクセルで構成される。
【００４０】
パターン１は、入力映像に対するボクセルデータ内を順次走査した場合に、中心のボクセル６００に位置する画素が１となる場合の数を数え上げるためのパターンである。同じく、パターン２は、中心のボクセル６０４に加えて、ボクセル６０２も１となる場合の数を数え上げるためのパターンである。
【００４１】
二値画像に対する立体高次局所自己相関特徴には、２５１個のマスクパターンが存在し、それぞれのパターンを満たす場合の数を数え上げることで、入力映像の特徴を、２５１次元の特徴量ベクトルとして抽出する。
【００４２】
次に、図７のフローチャートを使って、図４のステップ４０２に示した動画の特徴量算出処理の詳細を説明する。
【００４３】
ステップ７００では、特徴量ベクトルを初期化する。
【００４４】
ステップ７０２では、処理対象となる映像の全ボクセルに対してステップ７０４からステップ７０８の処理を繰り返す。つまり、図５に示したように処理対象の全てのボクセルに対してマスクパターン５０６を使って順次走査する。
【００４５】
ステップ７０４では、図６に示した２５１種類の全てのマスクパターンについてステップ７０６からステップ７０８の処理を繰り返す。
【００４６】
ステップ７０６では、処理対象のマスクパターンに対応する画素が全て１であるかどうか判定する。判定結果が真の場合にはステップ７０８を実行する。
【００４７】
ステップ７０８では、処理対象のマスクパターンに対応する特徴量ベクトルの成分を１だけ加算する。
【００４８】
この一連の処理によって、立体高次局所自己相関による２５１次元の特徴量ベクトルを算出することができる。
【００４９】
次に図８のフローチャートを使って、図３の変換行列３０６の算出手順を説明する。
【００５０】
ステップ８００では、ステップ４００からステップ４０２の処理を、学習用にあらかじめ半導体メモリなどの記憶装置に記録しておいた一つ以上の正常シーンの映像について繰り返す。
【００５１】
ステップ４００では、図４に示したように、動き抽出部３００を用いて、映像取得部１００で生成した映像の中から動きがある部分を抽出する。
【００５２】
ステップ４０２では、図４に示したように、特徴量算出部３０２を用いて、ステップ４００で生成した映像の特徴量を算出する。
【００５３】
ステップ８０２では、算出された正常シーンに対する特徴量の集合に対して主成分分析を実行する。主成分分析は、多変量解析方法の一つである。いくつかの変数から、互いに無相関となるように主成分と呼ばれる合成変数を作り出すことで、複数の変数が持つ情報を要約することが可能である。この主成分分析は、多変量データの解析によく利用されている方法であり、例えば、著書「すぐわかる多変量解析」（東京図書）に詳しく記載されているので、ここでの詳細な説明は省略する。２５１次元の特徴量ベクトルの集合に対して主成分分析を実行することで、２５１の主成分と固有値が求まる。
【００５４】
ステップ８０４では、ステップ８０２での主成分分析の結果を基にして、正常行動への寄与率が低い部分空間を算出する。この部分空間に特徴量ベクトルを変換する行列を変換行列３０６とする。
【００５５】
次に、図９を用いて、図８のステップ８０４に示した部分空間の算出処理の詳細を説明する。この図は、ステップ８０２に示した主成分分析で得られる主成分毎の累積寄与率を表す。累積寄与率とは、各主成分の寄与率を大きい順に足し込んだものであり、そこまでの主成分で分析対象のデータが本来持っていた情報量をどのくらい説明できているのかを表す指標である。例えば、第３主成分までの累積寄与率９００は９０％であり、第１主成分から第３主成分までは、本来のデータの情報量の９０％を表現していることを示す。一方、残りとなる第４主成分から第２５１主成分が保持する情報量は本来のデータの情報量の１０％しか表現していないことになる。
【００５６】
このことから、第１主成分から第３主成分で構成される部分空間は、正常行動への寄与率が大きいと言える。また、第４主成分から第２５１主成分で構成される部分空間は、正常行動への寄与率が小さいと言える。
【００５７】
このように累積寄与率を判断基準にして、正常行動への寄与率が小さい部分空間を求めることができる。
【００５８】
次に、図１０を用いて、図４のステップ４０６に示した異常度の評価処理の方法を説明する。異常度の評価は、図９に示した正常行動への寄与率が小さい部分空間で実行する。これは、この部分空間においては、正常行動の特徴量の分散は小さくなるのに対して、正常以外の行動、つまり異常行動の場合には分散が大きくなるからである。
【００５９】
いま、この部分空間として、第ｎ＋１主成分以降で構成される空間を考える。本来は、この部分空間は２５１−ｎ次元であるが、図１０には便宜上、寄与率が大きな主成分である第ｎ＋１主成分と第ｎ＋２主成分の２軸を選んで表示している。特徴量の集合１０００は、正常データ３１０をプロットしたものである。正常行動への寄与率が小さい部分空間では、集合の重心ｘｎ１００４を中心としてその近傍に分布する。したがって、現在の評価中の映像に対する特徴量ベクトルｘ１００２が、特徴量の集合１０００に近い場合は正常、離れている場合には異常と判定することができる。ここでは両者の距離１００６を異常度とする。
【００６０】
特徴量ベクトルｘ１００２と特徴量の集合１０００の距離を算出コストが低いユークリッド距離で算出してもよいが、ここでは特徴量の集合１０００の分散を考慮したマハラノビス距離を用いている。特徴量の集合１０００の分散共分散行列の逆行列をＳ-1とおくとマハラノビス距離Ｄは次式（２）で算出できる。
【００６１】
Ｄ2＝(ｘ−ｘn)tＳ-1(ｘ−ｘn)                                        （２）  次に、図１１のフローチャートを使って、本実施例の異常行動検知装置で判定閾値１０６を算出する際の処理の流れを説明する。
【００６２】
ステップ１１００では、異常度算出部１０２を用いて、ステップ１１０２の処理をすべての評価用シーンに対して繰り返す。評価用シーンとは、正常シーンと異常シーンの映像ライブラリであり、本装置が判定すべき判定結果がラベル付けしてあるものである。
【００６３】
ステップ１１０２では、判定閾値算出部１１０を用いて、処理対象の評価用シーンの各フレームの異常度の中で最大のものを、そのシーンの異常度の代表値として算出する。
【００６４】
ステップ１１０４では、判定閾値算出部１１０を用いて、ステップ１１０２で算出したシーン毎の最大異常度を基にして、後述するエラー曲線を作成する。エラー曲線とは、正常シーンを誤って異常シーンと判定してしまう誤報率と、異常シーンを誤って正常シーンと判定してしまう失報率が、判定閾値に応じてどのように変化するのかを表す曲線である。
【００６５】
ステップ１１０６では、ステップ１１０４で作成したエラー曲線に基づいて適切な閾値を決定する。この決定方法の詳細は後述する。
【００６６】
次に、図１２を用いて、図１１のステップ１１０２に示したシーン別の最大異常度の算出手順を詳細に説明する。グラフの横軸はフレーム番号、縦軸は異常度であり、評価用シーンを順次評価した場合の各フレームに対する異常度の推移をプロットしてある。曲線１２００はシーン１の各フレームに対する異常度の評価結果である。異常度の最大値は点１２０４の場合であり、この値をシーン１の最大異常度とする。同様に曲線１２０２はシーン２に対する異常度の評価結果であり、点１２０６に対応する異常度をシーン２の最大異常度とする。
【００６７】
次に、図１３と図１４を用いて、図１１のステップ１１０４に示したエラー曲線の算出手順を詳細に説明する。
【００６８】
図１３は、図１１のステップ１１０２で算出したシーン毎の最大異常度を棒グラフで示したものである。この例では、シーン１からシーン７までが正常シーン、シーン８からシーン１４までが異常シーンである。このグラフからは、正常シーンに対しては最大異常度が小さく、逆に異常シーンに対しては最大異常度が大きくなる傾向があることが分かる。
【００６９】
ここで、異常と正常の判断基準として、判別閾値１３００を導入する。最大異常度がこの判別閾値１３００よりも小さい場合はそのシーンは正常と見なすことができる。逆に、最大異常度が判別閾値１３００以上である場合にはそのシーンを異常と見なすことができる。
【００７０】
本装置における異常検知性能は、誤報率と失報率で評価することができる。誤報率とは、正常シーンを誤って異常シーンと判定してしまう割合であり、値が小さいほどよい。図１３の場合では、正常７シーンの中で、シーン５の最大異常度１３０２が判別閾値１３００を超えており、異常として誤判定してしまう。この場合、誤報率は１／７＝１４％となる。一方、失報率とは、異常シーンを誤って正常シーンと判定してしまう割合であり、値が小さいほどよい。図１３の場合では、異常７シーンの中でシーン１２の最大異常度１３０４が判別閾値１３００より小さいため、正常として誤判定してしまう。この場合、失報率は１／７＝１４％となる。
【００７１】
誤報率と失報率は、判別閾値の値によって変化する。この様子を図１４に示す。曲線１４００は誤報率を表し、曲線１４０２は失報率を表す。図から分かるように、誤報率と失報率はトレードオフの関係にある。すなわち、判別閾値を大きく調整して誤報率を低くすると、失報率は高くなる。逆に、判別閾値を小さく調整して失報率を低くすると、誤報率は高くなる。図１１のステップ１１０６では、このグラフを基にして、本装置の利用者にとって望ましい検知性能となるように判定閾値１０６を設定する。
【００７２】
判定閾値１０６の候補としては、例えば、誤報率と失報率が等しくなる点１４０４、すなわちＥＥＲ（Equal Error Rate）がある。この場合ＥＥＲに対応する判別閾値１４０６を判定閾値１０６として設定する。
【００７３】
他に、失報率が０％となるときの判別閾値１４０８や、誤報率が０％となるときの判別閾値１４１０を判定閾値として設定しても良い。
【００７４】
さらに、これらの判別閾値の選択条件は、本装置の利用目的や利用条件によって異なるので、本装置の利用者が選択できるようにしてもよい。
【００７５】
また、ディスプレイなどの出力手段を用いて、図１４のエラー曲線を利用者に提示してもよい。この場合は、マウス・キーボードなどの入力手段を用いて、画面上で判別閾値を選択できるようにしてもよい。
【００７６】
これらの手段によって、設定自由度を向上させる効果がある。
【００７７】
以上に述べた実施例によれば、映像中の異常度を基にして異常発生の有無を自動判定できるようになる。これによって、異常発生時には、警告を出したり警備員に通報することで、その異常に即座に対応することが可能になる。さらに、異常発生の判定基準となる判定閾値を、評価用のシーンの評価結果に基づいて最良となるように自動決定できるようになる。したがって、異常判定の対象事象が変更された場合にも評価用のシーンを作成するだけで柔軟に対応できるようになる。
【００７８】
以上に説明した実施例では、図９に示した正常空間への寄与率が小さい部分空間を、あらかじめ設定した累積寄与率に応じて決定するが、固定的な累積寄与率に基づいて部分空間を算出するのではなく、検知精度が最良となるように部分空間を決定するようにしてもよい。
【００７９】
このような部分空間の決定方法を図１５を使って説明する。図には第ｎ主成分から第２５１主成分で構成される部分空間で異常度を算出した場合のＥＥＲの値とｎの関係を、ＥＥＲ曲線１５００として示してある。図１４で説明したＥＲＲは小さいほど検知性能がよいと考えられる。したがって、ＥＲＲ曲線１５００の最小値１５０２に対応する主成分数ｎを選択すればよい。
【００８０】
これにより、検知精度が最良となるように部分空間が自動的に決定できるようになる。したがって、利用者の手間をかけることがなく最良の検知性能を実現できる。
【００８１】
次に本発明の異常行動検知装置を用いた監視画面の例を図１６に示す。本監視画面は、異常行動検知装置を内蔵するパーソナルコンピュータや監視端末のディスプレイ装置に表示される。本映像例は、エレベータの乗りかご内をビデオカメラで撮影したものである。
【００８２】
領域１６００は、現在処理の対象となっている映像を表示する領域である。
【００８３】
領域１６０２は算出した異常度の推移をトレンドグラフ１６０４として時間の経過とともに逐次表示する領域である。直線１６０６は判別閾値である。
【００８４】
領域１６０８は、異常判定結果の表示領域である。正常・異常を区別して表示できるようにしておき、現在のフレームに対する判定結果１０８の内容に応じて、どちらの状態なのかを表示する。
【００８５】
また、正常・異常の２段階ではなくて、３段階以上の粒度で異常度を表示するようにしてもよい。領域１６０８には、異常度を３段階で表示する場合の例を示してある。例えば、青は正常、黄は軽度な異常、赤は深刻な異常を表すことで、監視者が直感的に状況を把握できる。
【００８６】
次に図１７のフローチャートを用いて、図１６の領域１６０８に示した多段階の異常判定処理の詳細を説明する。ここでは、現在から所定の時間だけ過去に遡った場合に異常判定が占める時間の割合を算出し、その割合に応じて多段階の判定をする。
【００８７】
ステップ１７００では、現在から所定の時間だけ過去に遡った場合の異常判定の占有率ｐを算出する。
【００８８】
ステップ１７０２では、占有率ｐがあらかじめ指定した青判定用の閾値ｐｂよりも小さいかどうか比較する。比較結果が真の場合にはステップ１７０４を実行する。比較結果が偽の場合にはステップ１７０６からステップ１７１０を実行する。
【００８９】
ステップ１７０４では、判定結果を青として処理を終了する。
【００９０】
ステップ１７０６では、占有率ｐがあらかじめ指定した黄判定用の閾値ｐｙよりも小さいかどうか比較する。比較結果が真の場合にはステップ１７０８を実行する。比較結果が偽の場合にはステップ１７１０を実行する。
【００９１】
ステップ１７０８では、判定結果を黄として処理を終了する。
【００９２】
ステップ１７１０では、判定結果を赤として処理を終了する。
【００９３】
以上の処理は、判定結果が３段階の場合を示したが、それ以上の粒度で判定するようにしてもよい。その場合は、粒度に応じて閾値をあらかじめ設定しておけばよい。このように、判定結果を多段階で示すことで、監視者に分かりやすさを提供できるという効果がある。
【００９４】
以上に述べた実施例によれば、評価対象の映像の内容と映像の異常度の対応関係を容易に把握できる。このため、例えば誤報があった場合でも、監視者が容易に映像で本当に異常行動が発生しているのか即座に確認できる。
【００９５】
図１８は、本発明による異常行動検知装置を備えるエレベータ装置を示す。なお、本図においては、巻上機，ロープ，釣合いおもりなどの駆動機構は図示を省略している。乗りかご４０内に設けられたビデオカメラ３０により乗りかご内の映像が取得され、その映像信号がテールコード５０を介して昇降路内または昇降路外に設けられる異常行動検知装置１０に伝送される。異常行動検知装置１０は、乗りかご４０内の映像に異常を検知すると、異常を示す判定結果信号を昇降路内または機械室に設けられるエレベータ制御装置２０へ出力する。エレベータ制御装置２０は、異常を示す判定結果信号を受信すると、乗りかご４０を最寄の階床に停車させるように巻上機を制御すると共に乗りかご４０及び乗場のドアを開くようにドア駆動装置を制御する。あるいは、制御装置４０は乗りかご４０内に設けられたアラームなどの警報装置を作動させる。このようなエレベータ装置によれば、異常行動者から同乗者が迅速に回避したり、乗りかご内における異常行動を抑制したりすることが可能になり、エレベータ装置のセキュリティ性が向上する。なお、異常行動検知装置１０は乗りかご４０に設けても良い。この場合、判定結果信号がテールコード５０を介して制御装置２０へ伝送される。
【符号の説明】
【００９６】
１０…異常行動検知装置、２０…エレベータ制御装置、３０…ビデオカメラ、４０…乗りかご、５０…テールコード、１００…映像取得部、１０２…異常度算出部、１０４…異常判定部、１０６…判定閾値、１０８…判定結果、１１０…判定閾値算出部、１１２…発報部。
【図１】
2011076638.tif 000003
【図２】
2011076638.tif 000004
【図３】
2011076638.tif 000005
【図４】
2011076638.tif 000006
【図５】
2011076638.tif 000007
【図６】
2011076638.tif 000008
【図７】
2011076638.tif 000009
【図８】
2011076638.tif 000010
【図９】
2011076638.tif 000011
【図１０】
2011076638.tif 000012
【図１１】
2011076638.tif 000013
【図１２】
2011076638.tif 000014
【図１３】
2011076638.tif 000015
【図１４】
2011076638.tif 000016
【図１５】
2011076638.tif 000017
【図１６】
2011076638.tif 000018
【図１７】
2011076638.tif 000019
【図１８】
2011076638.tif 000020
【手続補正書】
【提出日】平成23年1月24日(2011.1.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
ｘ′＝Ａｘ                                                          （１）
変換行列３０６は主成分分析などの多変量解析によって求まる行列であり、算出方法は後述する。映像の特徴量として２５１次元の高次局所自己相関特徴を用いる場合には、変換行列３０６は（２５２−ｎ）×２５１（ｎ＝１，２，…，２５１）の大きさの行列となる。そして、この行列で線形変換された特徴量は２５２−ｎ次元のベクトルとなる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
いま、この部分空間として、第ｎ主成分以降で構成される空間を考える。本来は、この部分空間は２５２−ｎ次元であるが、図１０には便宜上、寄与率が大きな主成分である第ｎ主成分と第ｎ＋１主成分の２軸を選んで表示している。特徴量の集合１０００は、正常データ３１０をプロットしたものである。正常行動への寄与率が小さい部分空間では、集合の重心ｘｎ１００４を中心としてその近傍に分布する。したがって、現在の評価中の映像に対する特徴量ベクトルｘ１００２が、特徴量の集合１０００に近い場合は正常、離れている場合には異常と判定することができる。ここでは両者の距離１００６を異常度とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
このような部分空間の決定方法を図１５を使って説明する。図には第ｎ主成分から第２５１主成分で構成される部分空間で異常度を算出した場合のＥＥＲの値とｎの関係を、ＥＥＲ曲線１５００として示してある。図１４で説明したＥＥＲは小さいほど検知性能がよいと考えられる。したがって、ＥＥＲ曲線１５００の最小値１５０２に対応する主成分数ｎを選択すればよい。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
監視対象の映像を取得する映像取得部と、
前記映像取得部が取得した映像の異常度を算出する異常度算出部と、
前記異常度算出部が算出した異常度から異常行動が発生しているのかどうかを閾値に基づいて判定する異常判定部とを備えた異常行動検知装置であって、
誤報率及び失報率と前記閾値との関係を示すエラー曲線を画面上に表示させる表示部を備えることを特徴とする異常行動検知装置。
【請求項２】
請求項１において、前記エラー曲線が表示された画面上で前記閾値を選択させる入力手段を備えることを特徴とする異常行動検知装置。
【請求項３】
請求項１において、前記異常度算出部は、
前記映像の中から動きのある部分を抽出する動き抽出部と、
前記動き抽出部が生成した映像の第１の特徴量を算出する特徴量算出部と、
前記第１の特徴量を線形変換で第２の特徴量に変換する特徴量変換部と、
前記第２の特徴量を正常行動に対する第３の特徴量と比較することで異常度を算出する異常度評価部と、
を備えることを特徴とする異常行動検知装置。
【請求項４】
請求項３において、前記特徴量算出部は、立体高次局所自己相関特徴を用いて前記第１の特徴量を算出することを特徴とする異常行動検知装置。
【請求項５】
請求項３において、前記異常度評価部は、前記第２の特徴量と前記第３の特徴量の集合の重心とのユークリッド距離により異常度を算出することを特徴とする異常行動検知装置。
【請求項６】
請求項３において、前記異常度評価部は、前記第２の特徴量と前記第３の特徴量の集合のマハラノビス距離により異常度を算出することを特徴とする異常行動検知装置。
【請求項７】
請求項１ないし６のいずれか１項において、前記異常判定部の判定処理に必要となる前記閾値を判定結果が最良となるように設定する判定閾値算出部を備えることを特徴とする異常行動検知装置。
【請求項８】
請求項７において、前記判定閾値算出部は、誤報率と失報率が等しいＥＥＲ（Equal Error Rate），誤報率０％，失報率０％のいずれかに対応する閾値を設定することを特徴とする異常行動検知装置。
【請求項９】
請求項３ないし６のいずれか１項において、前記特徴量変換部は、誤報率と失報率が等しいＥＥＲ（Equal Error Rate）が最小となるように、前記線形変換の変換行列を生成することを特徴とする異常行動検知装置。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2011076638.tif 000021