自己注意機構を用いた長期的分類による現実世界での異常検出
†

渡邉 祐大
岡部
静岡大学 †誠†

1 はじめに‡

原田 泰典
鹿島 直二 ‡
中部電力株式会社 ‡単一のセグメントだけを用いるのではなく，動画の長期的な情報を効率良く扱うことで高い精度を達成して街中に設置されている防犯カメラの台数は世界中でいることが分かった．例えば，Tian ら [4] らは，時間増加を続けている．また工場や発電所などの大規模施方向の畳み込み演算を組み合わせることでセグメント設でも複数台の監視カメラを用いて安全確認が行わの長期的な時間変化を考慮し，その結果として高精度れている．しかし，これらの映像全てを人間が目で見な異常検出器を実現した．Tian ら [4] の手法に触発さて確認することは難しいため，人間に代わって人工知れ，我々は動画から得られる全セグメントを入力とし，能が映像を解析し，自動的に異常事象を検出できる技

その動画が正常か異常かを判定するモデルを提案する．

術の開発が急務である．異常事象はめったに観測され学習段階において，提案手法はセグメント単位でなくないため，正常状態のみを学習データとして用いる手動画単位の学習を行うため MIL が不要となる．その結法が多く存在する．推論時には入力動画が学習済みの果，学習手法の実装が簡単となる．

正常状態からどれくらい乖離しているかという基準で正常か異常か判断する．しかし，こういった手法は

2 提案手法

動画の見た目や速度の違いなどの低レベルな特徴量に基づいた異常検出しかできない．そこで近年，正常な

我々は動画の長期的な情報を効率良く扱う異常検出器 Video Classiﬁer を提案する．

動画と異常な動画の両方を含む弱い教師データセット

2.1を用いて異常検出器を学習する手法が提案されている[1, 3, 4]．

特徴量抽出

データセットを D = {(Vi , yi )} とする．ただし，Viは学習データセット中の i 番目の動画，yi は Vi に付け

弱い教師データセットでは動画単位で正常/異常のラられたラベルである．yi = {0, 1} で 0 ならば正常，1 なベルが付いている．即ち，正常とラベル付けされた動らば異常を表す．正常とラベル付けされた動画では全画では全フレームを通して正常状態のみが記録されてフレームを通して正常状態のみが記録されている．一いる．一方で，異常とラベル付けされた動画には正常方で，異常とラベル付けされた動画には正常状態と異状態と異常状態のフレームが混在している．このよう常状態のフレームが混在している．Vi は T 個のセグなデータセットを用いることで，動画中のフレーム毎メントに分割され，各セグメントは特徴抽出器によっに正常/異常のラベル付けをする必要がなくなり，ラベて D 次元の特徴ベクトル Fi,j に変換されている．ただル付けの労力を削減できる．

し，Fi,j は Vi の j 番目の特徴ベクトルを表す．特徴抽

既存手法では連続する複数のフレームを 1 つの短出器は全ての実験を通して，Kineticts データセットに期的なセグメントとして扱い，多重インスタンス学習

よって学習済みの I3D[2] を用いた．

(MIL) を用いてセグメント毎の正常/異常を判定してい2.2

Video Classiﬁer

る．MIL では各動画を 1 つのバッグとして扱い，バットをバッグから取り出し，そのセグメントが正常な動Mechanism

643AttenMLP1AttenMLP2DSelfAttention

Tanh

入っている．異常度を表すスコアが最も高いセグメン
画から来たものであれば 0 を出力するように，あるいは，そのセグメントが異常な動画から来たものであれば 1 を出力するように異常検出器を学習する [1]．
しかし，近年成功している既存手法を観察すると，

ro So
p ftM
out ax30%

グの中には対応する動画から得られた全セグメントがA2

Fi

Fi,1 Fi,2… Fi,T
32

FC11FC2M

SigmoidReal-world Anomaly Detection by Long-Term Classiﬁcation using Self-attention Mechanism† Yudai Watanabe, Makoto Okabe, Graduate School ofEngineering, Shizuoka University‡ Yasunori Harada, Naoji Kashima, Chubu ElectricPower Co., Inc.

Video LabelyiBCE Loss

0.8
Video Anomaly score

図1Video Classiﬁer の概要図

モデルの概要図を図 1 に示す．Video Classiﬁer は自3.1

UCF-Crime データセットの実験結果

己注意機構（Self-Attention Mechanism）と 2 層の全結

表 1 に UCF-Crime データセットにおけるフレーム合層からなるシンプルなモデルである．自己注意機構

単位での AUC 性能と各手法のモデルの学習可能なパでは，入力された Fi は Atten-MLP1 の多層パーセプト

ラメータ数を示す．提案手法である Video Classiﬁer モロンによって 64 × T の行列 A1 に変換される．この時，

デルは MIL に基づく既存手法と同等か，もしくはそ活性化には Tanh 関数を用いる．A1 は Atten-MLP2 のれよりも高い検出精度を達成できている．また，Video多層パーセプトロンによって 3 × T の行列 A2 に変換さClassiﬁer モデルは既存手法の中で最もパラメータ数のれる．この時，活性化には softmax 関数を用いる．更に 30% のドロップアウト正則化も行う．

少ない Wu ら [3] の手法と比較して，半分以下のパラメータ数で高い検出精度が達成できている．シンプル

自己注意機構から得られた重み行列 A2 を用いてで軽量な手法にも関わらず，Video Classiﬁer は MIL に

M = Fi At2 を計算する．M の形を D × 3 次元のベクト基づく手法と遜色ない検出精度が達成可能であること

ルに変形した後，2 層の全結合層 FC1(32 ユニット) とが分かる．

FC2(1 ユニット）を経て動画の異常性を表すスコアに変換される．FC1 の活性化関数は恒等関数，FC2 の活手法

特徴量パラメータ数AUC(%)

性化関数は sigmoid 関数である．損失関数にはバイナ

SVM Baseline--50.00

リクロスエントロピー (BCE) 関数を用いた．

Sultani et al. [1]C3D RGB

211411375.41

Wu et al. [3]I3D RGB769155

82.44

RTFM [4]I3D RGB24718849

84.30

Video Classiﬁer

I3D RGB

32800484.30

2.3 Video Classiﬁer による推論
Video Classiﬁer を適用して異常検出したい動画を Veとする．まず，連続する 16 フレームを 1 つのセグメンe}にトとし，Ve を N 個のセグメント {V1e , V2e , · · · , VN分割する．各セグメント Vie は I3D[2] によって D 次元の特徴ベクトル Fei に変換される．特徴ベクトルの集合を Fe = {Fe1 , Fe2 , · · · , FeN } とする．次に分割サイズeを l とし，F を l 個のセグメント毎に m = N/l 個のバッグに分割する．即ち，
Fe = {B1 , B2 , · · · , Bm }= {{Fe1 , · · · , Fel }, {Fel+1 , · · · , Fe2l } · · · {FeN −l , · · · , FeN }}表 1 UCF-Crime データセットにおけるフレーム単位の AUC 性能比較．

4 結論
我々は，自己注意機構を用いて動画の長期的な特徴を解析して学習する Video Classiﬁer モデルを提案した．Video Classiﬁer は MIL に基づく手法ではないた
め，実装が簡単であり，既存手法と比べて学習可能なとなる．次に，B1 , B2 , · · · , Bm を 1 つずつ Video Classiﬁer に入力とすることで推論結果 Sv = {sv1 , sv2 , · · · , svm }パラメータが最も少ないシンプルなモデルにも関わらeeを得る．svi は {V(i−1)l+1, · · · , Vil} の各セグメントにできることを示した．

対する異常スコアとして用いられる．フレームレベルの異常検出の結果を作る必要がある際は，得られたスコアを各セグメントの全フレームに割り当てることとする．

3 実験
提案手法の評価を行うために，UCF-Crime データセット [1] を用いて，実験を行い，いくつかの既存手法との検出精度比較を行った．評価指標は，既存研
究 [1, 3, 4] と同様に，フレーム単位の異常検出精度に基づいて計算された Receiver Operating Characteristic(ROC) 曲線における Area Under the Curve (AUC) を評価指標として使用した．AUC の値が大きいほど，高精度な異常検出器であることを表している．また，最適化アルゴリズムには Radam を用い，学習率は 0.001とした．バッチサイズは 64 とした．ハイパーパラメー
タについては，T を 64，推論時の分割サイズ l を 27 とした．

ず，最先端の手法と比較して遜色ない検出精度が達成

参考文献[1] Waqas Sultani, Chen Chen, Mubarak Shah, ”Real-world
anomaly detection in surveillance videos”, CVPR, 2018[2] Joao Carreira, Andrew Zisserman, ”Quo Vadis, Action
Recognition? A New Model and the Kinetics Dataset”,
CVPR, 2017[3] Peng Wu, Jing Liu, Yujia Shi, Yujia Sun, Fangtao Shao,
Zhaoyang Wu, Zhiwei Yang,”Not only Look, but also
Listen: Learning Multimodal Violence Detection underWeak Supervision”, ECCV, 2020
[4] Yu Tian, Guansong Pang, Yuanhong Chen, RajvinderSingh, Johan W. Verjans, Gustavo Carneiro,”Weaklysupervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning”, ICCV, 2021