社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

長期的分類と短期的分類を統合した現実世界での異常検出
渡邉祐大†

岡部誠†

原田泰典††

鹿島直二††† 静岡大学†† 中部電力株式会社
E-mail: †watanabe.yudai.16@shizuoka.ac.jp, m.o@acm.org,‡Harada.Yasunori@chuden.co.jp, Kashima.Naoji@chuden.co.jp
あらまし

動画から異常を検出するための簡単で効果的な弱教師あり学習手法を提案する．我々は動画から得られる

全セグメントを入力とし，その動画が正常か異常かを判定するモデルを提案する．Self-attention 機構を導入すること
で，入力された全セグメントを解析し，正常/異常の判定に重要な特徴を抽出させる．提案手法はセグメント単位でな
く動画単位の学習を行うため MIL が不要となる．その結果，手法の実装が簡単となり，また，学習時に指定すべきハ
イパーパラメータの数も減るため，扱いやすさが向上する．推論時には，対象の動画を複数の短い動画に分割し，分割された各動画に対して提案手法を適用することで短時間あたりの正常/異常を検出する．3 つのベンチマーク・デー
タセット（UCF-Crime，ShanghaiTech，XD-Violence）を用いて，フレームレベルの検出精度を評価したところ，提案
手法は最先端の手法と同等の精度が達成できることが分かった．また，提案手法は他手法とのアンサンブルを行うことで更なる精度向上が実現できる．我々は，短期的な情報に基づく新しい異常検出器を開発するために，セグメントから双方向 LSTM によって抽出される特徴量を用いて MIL を行う．長期的な検出器と短期的な検出器の結果の平均をとることで，最先端の手法を上回る検出精度が達成できることを示す．
キーワード 動画からの異常検出，監視カメラ，弱教師あり学習，アンサンブル

Real-world Anomaly Detection
by Integrating Long-Term and Short-Term Classiﬁcations
Yudai WATANABE† , Makoto OKABE† , Yasunori HARADA†† , and Naoji KASHIMA††† Shizuoka University†† Chubu Electric Power Co., Inc.
E-mail: †watanabe.yudai.16@shizuoka.ac.jp, m.o@acm.org,‡Harada.Yasunori@chuden.co.jp, Kashima.Naoji@chuden.co.jp
Abstract We propose a simple and eﬀective weakly supervised learning method for detecting anomalies in videos. We
propose a model to determine whether a video is normal or abnormal by using all the segments obtained from the video as
input, and introducing a self-attention mechanism to analyze all the input segments and extract features that are important for
determining normal/abnormal. The proposed method does not require MIL because it learns per video instead of per segment.
As a result, the implementation of the method is simple and the number of hyperparameters to be speciﬁed during training
is reduced, which improves the ease of use. During inference, the target video is divided into multiple short videos, and the
proposed method is applied to each divided video to detect normal/abnormal per short time. We evaluated the frame-level
detection accuracy of the proposed method on three benchmark datasets (UCF-Crime, ShanghaiTech, and XD-Violence),
and found that the proposed method can achieve the comparable accuracy as the state-of-the-art methods. In addition, theaccuracy can be further improved by ensembling with other methods. We perform MIL on features extracted from segments
by bidirectional LSTM to develop a novel anomaly detector for a short-term segment. We show that by averaging the resultsof the long-term and short-term detectors, we can achieve better detection accuracy than state-of-the-art methods.
Key words Video anomaly detection, surveillance camera, weakly supervised learning, ensemble—1—1. は じ め に

メータの数が少なく扱いやすい．Sapkota ら [28] と同様に学習に用いるセグメントの数 (k) をユーザが指定する必要もないが，街中に設置されている防犯カメラの台数は世界中で増加を続

一方で複雑なアルゴリズムも必要としない簡単なモデルである．

けており，また工場や発電所などの大規模施設でも複数台の監推論時には動画単位ではなく，より短い時間間隔で正常/異常

視カメラを用いて安全確認が行われている．しかし，これらのの判断をしたい．そのため，対象の動画を複数の短い動画に分

映像全てを人間が目で見て確認することは難しいため，人間に割し，分割された各動画に対して提案手法を適用することで短代わって人工知能が映像を解析し，自動的に異常事象を検出で時間あたりの正常/異常を検出する．

きる技術の開発が急務である．異常事象はめったに観測されな

3 つのベンチマーク・データセット（UCF-Crime，ShanghaiTech，

いため，正常状態のみを学習データとして用いる手法が多く存

XD-Violence）を用いて，フレームレベルの検出精度を評価した

在する [1]〜[3], [5]．推論時には入力動画が学習済みの正常状

ところ，提案手法は最先端の手法と同等の精度が達成できるこ

態からどれくらい乖離しているかという基準で正常か異常か判とが分かった．また，提案手法は他手法とのアンサンブルを行断する．しかし，こういった手法は動画の見た目や速度の違い

うことで更なる精度向上が実現できることも分かった．アンサなどの低レベルな特徴量に基づいた異常検出しかできない．そンブルに用いる目的で，我々は短期的な情報に基づく新たな異こで近年，正常な動画と異常な動画の両方を含む弱い教師デー

常検出器も開発した．この異常検出器は単一のセグメントからタセットを用いて異常検出器を学習する手法が提案されてい双方向 long short-term memory(LSTM) によって抽出される特徴

る [4], [19]．

量を用いて MIL を行うことで得た．長期的な検出器と短期的

弱い教師データセットでは動画単位で正常/異常のラベルが付いている．即ち，正常とラベル付けされた動画では全フレーム
を通して正常状態のみが記録されている．一方で，異常とラベ
ル付けされた動画には正常状態と異常状態のフレームが混在しな検出器の結果の平均をとることで，最先端の手法を上回る検出精度が達成できることを示す．

2. 関 連 研 究ている．このようなデータセットを用いることで，動画中のフ異常検出器を学習するためには学習データセットが必要であ

レーム毎に正常/異常のラベル付けをする必要がなくなり，ラベる．しかし，現実世界で観測できるのはほとんどが正常状態でル付けの労力を削減できる．

あり，異常事象は滅多に観測されることがない．そのため，多既存手法では連続する複数のフレームを 1 つの短期的なセグくの異常検出手法が正常状態のみを学習する教師なし学習のアメントとして扱い，多重インスタンス学習 (MIL) を用いてセグ

プローチで開発されてきた．推論時には入力動画が学習済みのメント毎の正常/異常を判定している．MIL では各動画を 1 つ

正常状態からどれくらい乖離しているかという基準で正常か異のバッグとして扱い，バッグの中には対応する動画から得られ常か判断する．学習には混合ガウスモデルなどの統計的なモデた全セグメントが入っている．異常スコアが最も高いセグメン

ルが用いられてきた [14]．深層学習を用いるアプローチでは，

トをバッグから取り出し，そのセグメントが正常な動画から来autoencoder を用いる手法 [1]〜[3], [5]，GAN を用いる手法 [15]たものであれば 0 を出力するように，あるいは，そのセグメンなどが提案されている．画像における異常検出では，画像内かトが異常な動画から来たものであれば 1 を出力するように異常らランダムに小パッチを切り貼りすることで異常データを作成

検出器を学習する [19]．

して学習に用いる手法も提案され，高い精度が報告されていしかし，近年成功している既存手法を観察すると，単一のセる [16]．しかし，こういった手法は基本的に動画の見た目や速グメントだけを用いるのではなく，動画の長期的な情報を効率度の違いなどの低レベルな特徴量に基づいた異常検出しかでき良く扱うことで高い精度を達成していることが分かった．例ない．

えば，top-k 戦略を用いる手法では，異常スコアの上位 k 個の

そこで近年，より高レベルな異常検出器を開発するために，正常セグメントを用いて MIL を実施している [20], [28]．RTFM [20]な動画と異常な動画の両方を含む弱い教師データセットがいくつ

では時間方向の畳み込み演算と top-k 戦略を組み合わせることか公開されており，それらを用いて異常検出器を学習する手法がでセグメントの長期的な時間変化を考慮し，高精度な異常検出

数多く提案されている [4], [6], [7], [9], [13], [19], [20], [22], [28]．

器を実現した．また，Sapkota ら [28] は Distributionally Robust

通常，フレーム単位の異常検出器を学習させる場合には動画中

Optimization を導入することによって，パラメータ k を選択すの全てのフレームに対してラベルを付ける必要があるが，ラベる必要がないモデルを提案した．

ル付けのコストが高くなるという問題がある．そこで Sultani

これらの手法に触発され，我々は動画の長期的特徴を用いる

らは動画単位で正常/異常のラベルが付けられた弱い教師データ

異常検出器 Video Classiﬁer を提案する．提案手法は動画から得セットを提案した [19]．学習においては動画を 1 つのバッグとられる全セグメントを入力とし，その動画が正常か異常かを判考え，そのバックの中から最も異常スコアの高いセグメントを定するモデルを提案する．学習段階において，提案手法はセグ選び出して学習に用いる MIL を導入することで異常検出器をメント単位でなく動画単位の学習を行うため MIL が不要とな開発した．

る．その結果，学習手法の実装が簡単となる．入力された全セ

弱い教師データセットを用いる多くの異常検出手法が Sultani

グメントを self-attention 機構を導入して解析し，正常/異常の判らの MIL を用いた学習手法 [19] に基づいている．MIL に基づ定に重要な特徴量を抽出する．我々の提案手法はハイパーパラ

く手法では，異常な動画中の正常な部分を選んで学習してし—2—

た [9]．また，Tian らは時間方向の畳み込み演算による特徴抽
出と，異常スコアの高い上位 k 個のセグメントを選択して学習に用いるという top-k 戦略を導入した [20]．また，Sapkota らは

distributionally robust optimization を導入することでパラメータk を選択する必要のないモデルを提案した [28]．近年成功しているこれらの手法を観察してみると，ほとんどの手法が動画の長期的な時間変化を解析して特徴抽出をしている．そこで我々は，self-attention 機構を用いて動画を解析することで，動画の長期的な特徴を抽出して学習に用いる手法を提案する．学習は動画単位で行うが，推論時は動画を分割した短時間の動画毎に異常検出する．提案手法は MIL に基づく手法と比較して実装が簡単であり，ユーザが指定すべきハイパーパラメータが少な
く扱いやすい．にも拘らず，既存手法と比較して同等のフレー
ムレベルの検出精度を達成できる．

3. 提 案 手 法
我々は動画の長期的な情報を扱う異常検出器 Video Classiﬁerと，短期的なセグメントに基づく異常検出器 Bi-LSTM+MIL を提案する．これらの異常検出器を別々に学習し，2 つのモデルの結果を統合することで長期的な時間的特徴と短期的な時間的特徴のどちらにも注目して異常検出を行う手法を提案する．図

1 に提案手法における推論時の概要図を示す．
弱い教師データセットを D = {(V𝑖 , 𝑦𝑖 )} とする．ただし，V𝑖
は学習データセット中の 𝑖 番目の動画，𝑦𝑖 は V𝑖 に付けられた
図 1 提案手法における推論時の概要図．(a) 連続する 16 フレームを 1

ラベルである．𝑦𝑖 = {0, 1} で 0 ならば正常，1 ならば異常を表

つのセグメントとし，入力動画をセグメントに分割する．(b) 各

す．正常とラベル付けされた動画では全フレームを通して正常セグメントは特徴抽出器である I3D [17] を通して特徴ベクトル

状態のみが記録されている．一方で，異常とラベル付けされたに変換される．(c) 複数の特徴ベクトル (図では 4 つ) を 1 つの動画には正常状態と異常状態のフレームが混在している．V𝑖

バッグにまとめる．(d) 各バッグを Video Classiﬁer モデルに入力

は 𝑇 個のセグメントに分割され，各セグメントは特徴抽出器にすることで，バッグ毎の異常スコアを計算する．(e) 各バッグをよって 𝐷 次元の特徴ベクトル F𝑖, 𝑗 に変換されている．ただし，

Bi-LSTM+MIL モデルに入力することで，バッグ内のセグメント毎の異常スコアを計算する．(f) Video Classiﬁer によるスコアとBi-LSTM+MIL によるスコアを統合する (ここでは平均をとっている) ことで最終的なセグメント毎の異常スコアを計算する．
Fig. 1 Overview diagram of the proposed method during inference. (a) The

F𝑖, 𝑗 は V𝑖 の 𝑗 番目の特徴ベクトルを表す．特徴抽出器は全ての実験を通して，Kineticts データセット [29] によって学習済みの I3D [17] を用いた．

3. 1 長期的特徴を用いる検出器: Video Classiﬁer

through I3D [17] as the feature extractor. (c) Multiple feature vectors

Mechanism(four in this ﬁgure) are put into one bag. (d) Each bag is input toAttenMLP1

A1

3

AttenMLP2

D

64

SelfAttention

Tanh

one segment. (b) Each segment is converted into a feature vector

ro So
p ftM
ou
t ax
3
0
%

input video is divided into segments, with 16 consecutive frames as

A2

the Video Classiﬁer model to calculate the anomaly score for eachbag. (e) We also input each bag into the Bi-LSTM+MIL model toFi

Fi,1 Fi,2… Fi,T
32

FC1

1

FC2

M

calculate the anomaly score for each segment in the bag. (f) The
Video Classiﬁer and Bi-LSTM+MIL scores are integrated (averagedhere) to compute the ﬁnal per-segment anomaly score (f).

SigmoidVideo Labelyi

まったときに学習に悪影響を及ぼすという問題がある．この問

BCE Loss

0.8
Video Anomaly score

題に対処するために，Zhong らは弱い教師データセットを誤っ

図 2 Video Classiﬁer の概要図

たラベルを含んだデータセットであると捉え，グラフ畳み込

Fig. 2 Overview diagram of Video Classiﬁer

みニューラルネットワークを用いて誤ったラベルを修正して学習するというアプローチを提案した [7]．また，Zaheer らは

attention 機構と動画毎のクラスタリングロスを用いて異常な動
画中の異常な部分をより強調して学習に用いる手法を提案しVideo Classiﬁer は self-attention 機構 [18] と 2 層の全結合層からなるシンプルなモデルである．概要図を図 2 に示す．

F𝑖 ⊂ R𝐷×𝑇 は特徴ベクトル {F𝑖,1 , F𝑖,2 , · · · , F𝑖,𝑇 } を結合して—3—

に変換される．この時，活性化には Tanh 関数を用いる．A1 はAtten-MLP2 の多層パーセプトロンによって 3 × 𝑇 の行列 A2 に

512

Fni

n
n
Fi,1
Fi,2

Two-layer
Bidirectional
LSTM

n… Fi,T

FC2

1

FC3
Sigmoid変換される．この時，活性化には softmax 関数を用いる．更にBags ofsegment

30% のドロップアウト正則化 [21] も行う．

32

FC1

Dropout 60%

Atten-MLP1 の多層パーセプトロンによって 64 × 𝑇 の行列 A1

Swish

Bags ofFeatures

Dropout 60%

得られる行列とする．Self-attention 機構では，入力された F𝑖 は

0.7

…

0.8

0.4

0.3

…

0.2

0.4

anomaly scoresSelf-attention 機構から得られた重み行列 A2 を用いて M =

Faj

a
a
Fj,1
Fj,2

a

… Fj,TF𝑖 A2𝑡 を計算する．M の形を 𝐷 × 3 次元のベクトルに変形した

MIL
Loss

後，2 層の全結合層 FC1(32 ユニット) と FC2(1 ユニット）を経て動画の異常スコアに変換される．FC1 の活性化関数は恒等関

図 3 Bi-LSTM+MIL の概要図

数，FC2 の活性化関数は sigmoid 関数である．損失関数にはバFig. 3 Overview diagram of Bi-LSTM+MIL

イナリクロスエントロピー (BCE) 関数を用いた．

Video Classiﬁer は Tian らの RTFM [20] などで用いられていLSTM と，後ろから逆順に読み込んでいく逆方向 LSTM の 2 つる top-k 戦略に触発されて考案した手法である．RTFM では，F𝑖からなるモデルである．双方向 LSTM では順方向 LSTM からに対し multi-scale temporal network を用いて時間方向の解析をの出力と逆方向 LSTM からの出力を結合して最終的な出力とす行った後，上位 k 個の特徴ベクトルを選択し，学習に用いている．LSTM の隠れ状態の次元数を 256 とした．従って，1 つのる．我々は上位の特徴ベクトルを選択するという過程をニュー

バッグを入力としたとき，2 層の双方向 LSTM からは 512 次元

ラルネットワークに任せるために self-attention 機構を導入しての特徴ベクトルが 𝑇 個出力される．各特徴ベクトルを 3 層の全いる．Self-attention 機構の導入によって，上位何個の特徴ベク

結合層に入力することで，その特徴ベクトルに対応する異常ス

トルを学習に使うかのパラメータ k をユーザが指定する必要がコアが得られる．3 層の全結合層は，512 ユニットの全結合層，なくなり，扱いやすい手法となっている．

32 ユニットの全結合層，1 ユニットの全結合層からなる．活性3. 2 Video Classiﬁer による推論

化関数は 1 層目が swish 関数 [27]，2 層目が恒等関数，3 層目がVideo Classiﬁer を適用して異常検出したい動画を V𝑒 とする．

sigmoid 関数である．2 層目と 3 層目の直前で 60% のドロップ

まず，連続する 16 フレームを 1 つのセグメントとし，V𝑒 を 𝑁

アウト正則化 [21] を行う．損失関数は既存手法 [19] と同様の個のセグメント {V1𝑒 , V2𝑒 , · · · , V𝑒𝑁 } に分割する．各セグメント

MIL ロスを用いた:

V𝑖𝑒 は I3D [17] によって 𝐷 次元の特徴ベクトル F𝑖𝑒 に変換される．特徴ベクトルの集合を F𝑒 = {F1𝑒 , F2𝑒 , · · · , F𝑒𝑁 } とする．次に分割サイズを 𝑙 とし，F𝑒 を 𝑙 個のセグメント毎に 𝑚 = 𝑁/𝑙 個𝑛
𝐿 (F𝑖𝑛 , F𝑎𝑗 , W) = 𝑚𝑎𝑥(0, 1 − max
𝑓 (F𝑖,𝑘))𝑓 (F𝑎𝑗,𝑘 ) + max𝑛𝑎|のバッグに分割する．即ち，

F𝑒 = {B1 , B2 , · · · , B𝑚 }

+ 𝜆1
(1)

𝑒
𝑒
= {{F1𝑒 , · · · , F𝑙𝑒 }, {F𝑙+1, · · · , F2𝑙}, · · · , {F𝑒𝑁 −𝑙+1 , · · · , F𝑒𝑁 )}}となる．次に，B1 , B2 , · · · , B𝑚 を 1 つずつ Video Classiﬁer に入𝑣 } を得る． 𝑠 𝑣 は力とすることで推論結果 S 𝑣 = {𝑠1𝑣 , 𝑠2𝑣 , · · · , 𝑠 𝑚𝑖𝑒 } の各セグメントに対する異常スコアとして{V𝑒(𝑖−1)𝑙+1 , · · · , V𝑖𝑙

用いられる．フレームレベルの異常検出の結果を作る必要がある際は，得られたスコアを各セグメントの全フレームに割り当

𝑇Õ
−1
𝑘=1

F𝑗

( 𝑓 (F𝑎𝑗,𝑘 ) − 𝑓 (F𝑎𝑗,𝑘+1 )) 2 + 𝜆2

|

{z
2
O

F𝑖

{z
1
O

} |

𝑇
Õ
𝑘=1

}

(2)
𝑓 (F𝑎𝑗,𝑘 ) +𝜆3 ∥W∥ 𝐹

{z
3
O

}

関数 𝑓 は Bi-LSTM+MIL モデルを表し，W は 3 層の全結合層の重みを表し， ∥ · ∥ 𝐹 はフロベニウスノルムを表す．F𝑎𝑗 内で最高の異常スコアを与える特徴ベクトルを F𝑎𝑗, 𝑝 ，F𝑖𝑛 内で最高𝑛 としたとき，O
1 はの異常スコアを与える特徴ベクトルを F𝑖,𝑞𝑛 ) となるようにモデルを学習するための項で
𝑓 (F𝑎𝑗, 𝑝 ) > 𝑓 (F𝑖,𝑞てる．Video Classiﬁer はシンプルなモデルだが，フレームレベ

2 は異常スコアがセグメント間で滑らかに変動するようある．O

ルの異常検出において，最先端の手法と同等の精度が達成でき3 は検出される異常の数を抑えるための 𝐿 2 正に制約する項，Oることを 4 章で示す．

則化項である．

3. 3 短期的特徴を用いる検出器: Bi-LSTM+MIL
𝑖 番目の正常な動画を V𝑖𝑛 とすると，V𝑖𝑛 から得られる 𝑇 個の

𝑛 , F𝑛 , · · · , F𝑛 } とする．同特徴ベクトルのバッグを F𝑖𝑛 = {F𝑖,1𝑖,𝑇𝑖,2様に， 𝑗 番目の異常な動画を V𝑎𝑗 とすると，V𝑎𝑗 から得られる

Bi-LSTM+MIL は Video Classiﬁer や他の既存手法とのアンサ
ンブルの目的に考案した手法である．他の手法とのアンサンブ
ルで高精度を実現するためには，アンサンブルするモデルに多様性を持たせたい．我々の知る限り双方向 LSTM と MIL を組

𝑇 個の特徴ベクトルのバッグを F𝑎𝑗 = {F𝑎𝑗,1 , F𝑎𝑗,2 , · · · , F𝑎𝑗,𝑇 } とみ合わせた手法は他に存在しなかったので 1 つのバリエーショ

する．

ンとして開発した．また，映像情報のみでなく音声情報が含まBi-LSTM+MIL は 2 層の双方向 LSTM と 3 層の全結合層からなるモデルである．概要図を図 3 に示す．
双方向 LSTM は，特徴ベクトルのバッグ (F𝑖𝑛 または F𝑎𝑗 ) にれているようなマルチモーダルなデータセットを扱う場合に，双方向 LSTM が音声情報の時間的変化を上手く捉えることができるのではないかという期待も，導入の動機である．

含まれる特徴ベクトルを前から順番に読み込んでいく順方向—4—

3. 4 Bi-LSTM+MIL の学習

テスト用の各動画にはフレーム単位で正常/異常のラベルが付け

深層学習においては通常，学習データセット内の全データにられている．

対して一通り学習を行うことを 1 エポックとし，1 エポックのShanghaiTech データセットは，大学内に設置された固定カ

終了時点で精度評価を行い，良い精度が得られれば重みの保存

メラで撮影された映像を集めた，中規模なデータセットである．

を行う．しかし，Bi-LSTM+MIL の学習過程を観察すると，各学

このデータセットには，13 箇所の固定カメラによって撮影さ

習のステップでランダムに学習データをサンプルしてミニバッ

れた 437 本の動画が含まれている．437 本の動画のうち，307

チを作って学習を行い，精度評価 (と重みの保存) は高い頻度で本が正常な動画で，130 本が異常を含んだ動画である．オリジ

実施した方が良いモデルが見つかりやすいことが分かった．実ナルのデータセットは正常な動画のみを学習して異常を検出す

際，1 エポックの終了時点で精度評価を行っていた場合より，学る，即ち，教師なし学習による異常検出器の開発のためのデー

習データのランダムサンプリングと高頻度での精度評価を行っタセットであった．しかし，Zhang ら [6] は弱教師あり学習のた方が，AUC が 1% 以上向上した．この事実に対する我々の考ためのデータセットとして使えるように動画単位のラベル付け

察は，MIL は外れ値に大きな悪影響を受けるのではないか，とを行った．我々は Zhang ら [6] と同様の手順で弱い教師データいうことである．外れ値とは，式 (2) の max
𝑓 (F𝑎𝑗, 𝑝 ) において
F𝑎

セットを構築し，実験を行った．

𝑗

正常なのに異常として選ばれてしまったセグメントや，異常っぽく見えるのに正常とラベル付けされたセグメントなどである．
尚，Video Classiﬁer の学習については，通常通りの 1 エポック
終了時点で精度評価と重みの保存を行っても精度の低下は見られない．この事実も MIL を使わない Video Classiﬁer の扱いやすさを示している．

XD-Violence データセットは，映画や動画共有サイトの動画など，様々の種類の動画を含んだ大規模なデータセットである．
動画の本数は計 4754 本であり，動画の総時間は 217 時間である．4754 本の動画のうち，爆発や戦闘や暴動などの 6 種類の異常を含んだ動画が 2405 本あり，正常な動画は 2349 本である．

UCF-Crime データセットと同様，学習用の各動画には動画単位のラベルが，テスト用の各動画にはフレーム単位のラベルが付

3. 5 2 つのモデルの統合
Video Classiﬁer モデルによる推論結果と Bi-LSTM+MIL モデ
ルによる推論結果の平均をとって統合することで，それぞれのモデルを単体で用いる場合よりも高精度な結果を得ることがでけられている．
評価指標．UCF-Crime データセットと ShanghaiTech データ
セットについては，既存研究 [2], [4]〜[9], [19], [20], [22] と同様に，フレーム単位の異常検出精度に基づいて計算された Re-

きる．
𝑣 } は 3. 2
Video Classiﬁer による推論結果 S 𝑣 = {𝑠1𝑣 , 𝑠2𝑣 , · · · , 𝑠 𝑚

章で述べた方法を用いて得ることができる．Bi-LSTM+MIL による推論結果 S𝑏 については，式 (1) における B1 , B2 , · · · , B𝑚
を 1 つずつ Bi-LSTM+MIL に入力とすることで得る．ただし，

S𝑏 = {s1𝑏 , s2𝑏 , · · · , s𝑏𝑚 }ceiver Operating Characteristic (ROC) 曲線における Area Under
the Curve (AUC) を評価指標とする．AUC の値が大きいほど，高精度な異常検出器であることを表している．XD-Violence データ
セットについては，既存研究 [4], [20] と同様に Average Precision(AP) を評価指標とする．AP の値が大きいほど，高精度な異常検出器であることを表している．

𝑏𝑏= {{𝑠1𝑏 , · · · , 𝑠𝑙𝑏 }, {𝑠𝑙+1, · · · , 𝑠2𝑙}, · · · , {𝑠 𝑏𝑁 −𝑙+1 , · · · , 𝑠 𝑏𝑁 }}4. 2 実装の詳細である．最後に Video Classiﬁer の結果 S 𝑣 と Bi-LSTM+MIL のVideo Classiﬁer と Bi-LSTM+MIL は PyTorch [24] を用いて開結果 S𝑏 の平均を次のように計算し，最終的な各セグメントに発し，評価実験を行った．最適化アルゴリズムには Radam [25]

対する推論結果 S = {𝑠1 , 𝑠2 , · · · , 𝑠 𝑛 } を得る．

を用い，学習率は 0.001 とした．バッチサイズは 64 とした．ハ𝑠 (𝑖−1)𝑙+ 𝑗 =4. 実

𝑠𝑖𝑣 + 𝑠 𝑏(𝑖−1)𝑙+ 𝑗
2

イパーパラメータについては，Video Classiﬁer モデルについて, (𝑖 = 1, 2, · · · , 𝑚 , 𝑗 = 1, 2, · · · , 𝑙)は，𝑇 を 32 とした．Bi-LSTM+MIL モデルについては，𝑇 を 64，(3)

𝜆1 と 𝜆2 を 0.00008，𝜆3 を 0.001 とした．推論時には分割サイズ

験𝑙 を 32 とした．UCF-Crime データセットと ShanghaiTech デー
タセットについては既存手法 [20], [22] と同様に，各動画に対し

4. 1 データセット及び評価指標

10-crop オーギュメンテーションを行った．XD-Violence データ

提案手法の評価を行うため，異常検出のための 3 つの弱い教セットについては既存手法 [4] と同様に，各動画に対し 5-crop

師データセット（UCF-Crime データセット [19]，ShanghaiTech

オーギュメンテーションを行った．

データセット [23]，XD-Violence データセット [4]）で実験を行

4. 3 Video Classiﬁer モデルの分析

い，いくつかの既存手法との検出精度比較を行った．

UCF-Crime データセットは，現実世界における監視カメラ映

我々は Video Classiﬁer に双方向 LSTM を加えること，また，Video Classiﬁer から self-attention 機構を取り除くことに関す像を集めた大規模なデータセットである．このデータセットはる実験を行った．文章分類の文脈において，Lin ら [18] のモ

13 種類の異常を含んでいる．動画の本数は計 1900 本であり，デルが高い分類精度を達成しているが，双方向 LSTM の後に動画の総時間は 128 時間である．1900 本の動画のうち，1610

self-attention 機構が用いられている．これを参考に我々も Video

本が学習用の動画で，290 本がテスト用の動画である．学習用

Classiﬁer に双方向 LSTM を加えたモデルを用い，異常検出の精の各動画には動画単位で正常/異常のラベルが付けられている．

度評価を行った．具体的には，3. 1 章で提案した Video Classiﬁer—5—

では F𝑖 を直接 Atten-MLP1 に入力している (図 2) のに対し，双方向 LSTM を加えたモデルでは F𝑖 をまずは双方向 LSTM に入力し，双方向 LSTM からの出力を Atten-MLP1 に入力する．

Supervision
Unsupervise

MethodFeature Type

AUC(%)SVM Baseline

-

50.00

Conv-AE [5]

-

50.60

実験結果を表 1 に示す．UCF-Crime データセットと Shang-Sultani et al. [19]C3D RGB

75.41

haiTech データセットでは I3D によって得られた特徴量を用

Zhang et al. [6]C3D RGB

78.66

いた．XD-Violence データセットは音声情報を含んでいるのMotion-Aware [8]PWC Flow

79.00

で，I3D に加え，VGGish によって得られた特徴量を用いた．

GCN-Anomaly [7]

TSN RGB

82.12

CLAWS Net [9]C3D RGB

83.03

Wu et al. [4]

I3D RGB

82.44

MIST [22]I3D RGB (Fine)

82.30

RTFM [20]

C3D RGB

83.28

した．XD-Violence データセットについては，双方向 LSTM とRTFM [20]I3D RGB

84.30

self-attention 機構の両方を用いたモデルが最も高い検出精度をVideo Classiﬁer達成した．これは XD-Violence データセットの各動画は音声情Bi-LSTM+MIL

報を含んでいるため，音声情報に関して双方向 LSTM が効果的

Ours

UCF-Crime データセットと ShanghaiTech データセットについては，双方向 LSTM を用いず self-attention 機構のみを用いた

Weakly Supervised

モデル（3. 1 章で提案したモデル）が最も高い検出精度を達成

83.96
I3D RGB

83.14
84.72

表 2 UCF-Crime データセットにおけるフレーム単位の AUC 性能比に働いたのではないかと推察する．

較．青が最も高い数値，赤が二番目に高い数値を表す．“Ours” はBi-LSTM Self-Attention UCF-Crime ShanghaiTech XD-Violence
✓
✓

81.72

92.90

75.92

✓

83.96

95.40

75.43

✓

83.28

94.06

78.75

Video Classiﬁer と Bi-LSTM+MIL を統合した手法を表す．
Table 2 Comparison of frame-level AUC performance on the UCF-Crime
dataset. Blue is the highest value and red is the second highest
value. “Ours” represents the integration of Video Classiﬁer and
Bi-LSTM+MIL.

表 1 Video Classiﬁer モデルについて，双方向 LSTM の追加及び self-

attention 機構の除去に関する実験の結果．
Table 1 Results of experiments on the addition of bidirectional LSTM andSupervision

MethodFeature Type

AUC(%)

Conv-AE [5]

-

60.85

Mem-AE [2]

-

50.60

VEC [12]-74.80

GCN-Anomaly [7]

TSN RGB

84.44

Zhang et al. [6]

I3D RGB

82.50

CLAWS Net [9]C3D RGB

89.67

AR-Net [13]I3D RGB&Flow

91.24

MIST [22]I3D RGB (Fine)

94.83

RTFM [20]

C3D RGB

91.51

じ I3D RGB の特徴量を用いている MIST [22] や Wu ら [4] の手

RTFM [20]I3D RGB

97.21

法と比較すると，Video Classiﬁer 単体でも高い検出精度を示し

Video Classiﬁerている．シンプルな手法にも関わらず，Video Classiﬁer は MIL

Bi-LSTM+MILに基づく手法と遜色ない検出精度が達成可能であることが分

Ours

the removal of the self-attention mechanism for Video Classiﬁer
model.

Unsupervised

4. 4 UCF-Crime データセットの実験結果
表 2 に UCF-Crime データセットにおけるフレーム単位でのAUC 性能を示す．Video Classiﬁer モデル，または Bi-LSTM+MIL
モデルを単独で用いた場合でも，MIL に基づく既存手法と同等か，もしくはそれよりも高い検出精度を達成できている．同かる．また，Video Classiﬁer と Bi-LSTM+MIL を統合した手法(Ours) は，既存手法の中で最も検出精度の高かった Tian ら [20]の RTFM よりも 0.42% 高い検出精度を達成している．

Weakly Supervised

95.40
I3D RGB

94.06
96.28

表 3 ShanghaiTech データセットにおけるフレーム単位の AUC 性能比
較．青が最も高い数値，赤が二番目に高い数値を表す．“Ours” はVideo Classiﬁer と Bi-LSTM+MIL を統合した手法を表す．
Table 3 Comparison of frame-level AUC performance on the ShanghaiTech

4. 5 ShanghaiTech データセットの実験結果

dataset. Blue is the highest value and red is the second highest

表 3 に ShanghaiTech データセットにおけるフレーム単位でのvalue. “Ours” represents the integration of Video Classiﬁer and

AUC 性能を示す．Video Classiﬁer モデル，または Bi-LSTM+MIL

Bi-LSTM+MIL.

モデルを単独で用いた場合でも，MIL に基づく既存手法と同等
か，もしくはそれよりも高い検出精度を達成できている．Video

タセットは音声情報を含んでいるため，self-attention 機構の前Classiﬁer と Bi-LSTM+MIL を統合した手法 (Ours) は，既存手法に双方向 LSTM を用いた Video Classiﬁer モデルの方が検出精の中で最も検出精度の高かった Tian ら [20] の RTFM と比較し度が高い．そのため双方向 LSTM を用いた Video Classiﬁer モて 0.93% 劣る結果となった．しかし，シンプルなモデルである

デルとの統合も行った (表 4 の “Ours†”)．I3D RGB 特徴量を用Video Classiﬁer が既存のいくつかの手法と比較しても高い検出いた結果では Video Classiﬁer モデル，Bi-LSTM+MIL モデル共精度を示しており，Video Classiﬁer の有用性を示している．

に Wu ら [4] や RTFM [20] と比較して劣る結果となった．I3D

4. 6 XD-Violence データセットの実験結果

RGB 特徴量に加え音声情報を用いた場合は，Video Classiﬁer モ

表 4 に XD-Violence データセットにおけるフレーム単位で

デル，Bi-LSTM+MIL モデル共に Wu ら [4] の検出精度を超えの AP 性能を示す．4. 3 節でも述べたように XD-Violence デー

た．また，統合したモデルを用いた場合は，マルチモーダルな

—6—

90

Unsupervised

SVM baseline

-

50.78

Hasan et al. [11]

-

30.77

Sultani et al. [19]C3D RGB

Wu et al. [4]74.99

Wu et al. [4]78.64

Pang et al [26]81.69

VideoClassiﬁre†70+VGGish

80.54
81.06

Ours†

82.13

75.7
70.8

69.8 70.0

65.7

65.3

66.3

64.9

59.1

60
55.9

58.0

55.2 55.9

52.7

52.7

50.7

50

45.2
40

Abuse

ArrestArson

Assault

Burglary Explosion FightingRoadAccidentsRobbery Shooting Shoplifting Stealing Vandalism

Abnormal classes in UCF-Crime

図 4 UCF-Crime データセットにおける異常種類別 AUC 性能

Fig. 4 AUC performance by anomaly classes in the UCF-Crime dataset

78.75

Ours

70.0

61.4

75.43

Bi-LSTM+MIL

70.7 70.0 70.1

70.6

75.13

Ours

I3D RGB

78.1
73.6

77.81
I3D RGB

73.30

VideoClassiﬁre

80

73.20

Bi-LSTM+MIL
Weakly Supervised

81.3

75.68

RTFM [20]Video Classiﬁer

Ours
RTFM [20]Feature Type AP(%)

AUC(%)

Method86
85

表 4 XD-Violance におけるフレーム単位の AP 性能比較．青が最も高い数値，赤が二番目に高い数値を表す．“Ours” は Video Classiﬁer

AUC(%)

Supervision

84.75

84

84.26

83

と Bi-LSTM+MIL を統合した手法を表す．“Ours†” は Video Clas-82

siﬁer に双方向 LSTM を追加したモデルと Bi-LSTM+MIL を統合

81

した手法を表す．
Table 4 Comparison of frame-level AP performance on the XD-Violance

80

83.35

Ours
Video Classifier
Bi-LSTM+MIL

1

16

32

48
64
Split Size(l)8096dataset. Blue is the highest value and red is the second highest
value. “Ours” represents the integration of Video Classiﬁer and

図 5 UCF-Crime データセットにおける推論時の動画分割サイズ 𝑙 とBi-LSTM+MIL. “Ours†” represents the integration of a model that

AUC 性能の関係
Fig. 5 Relationship between the split size 𝑙 and AUC performance on theadds bidirectional LSTM to Video Classiﬁer and Bi-LSTM+MIL.

MethodUCF-Crime

RTFM [20] +Bi-LSTM+MIL

85.21
I3D RGB

RTFM [20] +Ours
RTFM [20] +Bi-LSTM+MIL

97.14
I3D RGB

RTFM [20] +Ours

95.71

94.74

94
92

97.40
97.48

96.42

96

84.24
85.11

RTFM [20] +Video Classiﬁer
ShanghaiTech

98

Feature Type AUC(%)

RTFM [20] +Video Classiﬁer

AUC(%)

DatasetUCF-Crime datasets during inference

Ours
Video Classifier
Bi-LSTM+MIL-

表 5 既存手法と統合した場合の AUC 性能

Table 5 AUC performance when integrated with existing methods

90

1

16

32

48
64
Split Size(l)8096

図 6 ShanghaiTech データセットにおける推論時の動画分割サイズ 𝑙 と動画の異常検出に特化した手法である Pang ら [26] の手法と比較して 0.44% 高い検出精度を示した．

AP 性能の関係
Fig. 6 Relationship between the split size 𝑙 and AP performance on the
ShanghaiTech dataset during inference

4. 7 既存手法との統合
Video Classiﬁer は長期的な情報を扱う異常検出器であるが，短期的なセグメントに基づく異常検出器 Bi-LSTM+MIL と統合することで高精度な異常検出が可能となることを示した．しかし，これら以外の手法とも統合することが可能である．表 5 に
既存手法と統合した場合の AUC 性能を示す．UCF-Crime デー
タセットにおける実験では，RTFM [20] と Video Classiﬁer との統合により，RTFM [20] 単独での検出と比較して 0.91% の精度向上を達成できた．ShanghaiTech データセットにおける実験では，RTFM と Video Classiﬁer と Bi-LSTM+MIL の 3 つの手法の統合により，RTFM 単独で検出した場合と比較して 0.27% の精度向上を達成できた．

4. 8 異常の種類ごとの識別性能
UCF-Crime データセットにおける，異常の種類別の AUC 性能を図 4 に示す．提案手法は Arrest, Arson, Assault, Burglary, Road-

accident, Explosion, Stealing の 7 種類の異常において RTFM [20]と比較して高い，もしくは同等の検出精度を達成することができた．特に Arson, Assault, Explosion, Stealing の 4 種類については 5% 近い検出精度の向上を達成できた．これら 4 種類
は，物体や人物の動きを長期的に解析できなければ検出できな
い異常であるため，この結果は提案手法が上手く長期的な特徴を捉えられたことを示しているのではないかと推察する．また，Abuse, Burglary, Robbery の 3 種類については RTFM と同等の精度となった．Shoplifting, Vandalism の 2 種類については

RTFM に劣る結果となった．提案手法は長期的な分類と短期的な分類を統合するため，これら 2 種類に見られるような瞬間的—7—

(a) Explosion010(b) Stealing079(d) Roadaccident012(c) Normal034

図 7 UCF-Crime データセットにおける提案手法と既存手法の異常スコアの可視化．青い線が提案手法，黒い線が Sultani ら [19] の手法の異常スコア．赤いブロックは正解を示す．青い丸は正しく予測されたフレームを，赤の丸は誤って予測されたフレームを，オレンジの丸は誤って付けられているラベル部分を示す．
Fig. 7 Visualization of anomaly scores of the proposed method and the existing method on the UCF-

Crime dataset. The blue line shows the anomaly scores of the proposed method, and the blackline shows the anomaly scores of Sultani et al.’s method [19]. The red blocks are ground truthsof anomalous events. Blue circles indicate correctly predicted frames, red circles indicate incorrectly predicted frames, and orange circles indicate incorrectly labeled frames.

な異常に対しての分類が難しいのではないかと推察する．また，

デル単体による異常スコアも示す．提案手法は長期的な分類とRTFM は人物の動きの特徴を上手く捉えられる手法であること

短期的な分類を同時に行なっているため，図 7-a の動画のようが分かる．

なセグメント単位では雲にしか見えないような爆発や，図 7-b

4. 9 分割サイズの変化と検出精度への影響の動画のような，実際には窃盗行為なのだが，一見すると所有

我々は 3. 2 章で分割サイズ 𝑙 を定義した．提案手法は推論時者がバイクを出そうとしているようにしか見えないような異常に 𝑁 個の特徴ベクトルを 𝑚 = 𝑁/𝑙 個のバッグに分けるため，を検出することに成功している．また，図 7-d の動画には大量

各バッグには 𝑙 個の特徴ベクトルが入っている．分割サイズ 𝑙の車が急にフレームインしてくるような状況があるが，MIL にの値によって検出精度が変化するので，UCF-Crime データセッ

基づく Bi-LSTM+MIL モデルや Sultani らの手法では異常としてトと ShanghaiTech データセットを用いて，𝑙 の変化が検出精度検出してしまっている．一方で，Video Classiﬁer モデルは正常にどのように影響を与えるかを調査した．UCF-Crime データと認識できている．提案手法は 2 つの手法の統合によって，こセットにおける結果を図 5 に，ShanghaiTech データセットにおういった場合の異常スコアを抑えることができることを示してける結果を図 6 に示す．赤で囲まれた点は各手法における最いる．

も高い検出精度を表す．Video Classiﬁer，Bi-LSTM+MIL 共に，

𝑙 が 20 前後になるまで検出精度が上がっている．どちらの手法も時間的な特徴量を必要としており，ある程度の分割サイズ

5. 結

論

我々は，self-attention 機構を用いて動画の長期的な特徴を解が必要なことがわかる．Video Classiﬁer だけに注目すると，ど析して学習する Video Classiﬁer モデルを提案した．Video Clas-

ちらのデータセットにおいても最も検出精度の高い分割サイズ

siﬁer は MIL に基づく手法ではなく，実装が簡単で，既存手法において既存の最先端の手法と同等の検出精度となっている．

と比べてハイパーパラメータも少なく扱いやすいモデルであBi-LSTM+MIL だけに注目すると，どちらのデータセットにおる．シンプルなモデルにも関わらず，最先端の手法と比較していても 𝑙 がある程度大きいときに最も高い検出精度を示してい遜色ない検出精度が達成できることを示した．また，短期的なる．これは LSTM を用いることで長期的な時間的特徴を捉える

セグメントに基づく異常検出器である Bi-LSTM+MIL も提案し，ことができていることを示している．2 つのモデルを統合したVideo Classiﬁer との統合によって最先端の手法を上回る検出精

手法の結果に注目すると，分割サイズ 𝑙 がある程度大きいとき度が達成できることを示した．

は，分割サイズ 𝑙 の値に関わらず高い精度で異常が検出できる
ことがわかる．2 つのモデルの統合を行うことで，分割サイズ

𝑙 の値に左右されない，安定した異常検出器が得られていることが分かる．

4. 10 定 性 分 析
UCF-Crime データセットにおいて，提案手法が予測した異常
スコアを図 7 に示す．比較のために同じ特徴量を用いて学習した Sultani ら [19] のモデルによる異常スコアを示した．また，図7-d については VIdeo Classiﬁer モデル単体，Bi-LSTM+MIL モ

文献[1] Wen Liu, Weixin Luo, Dongze Lian and Shenghua Gao, "Future
Frame Prediction for Anomaly Detection - - A New Baseline", In
IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2018[2] Dong Gong, Lingqiao Liu, Vuong Le, Budhaditya Saha, Moussa
Reda Mansour, Svetha Venkatesh and Anton van den Hengel, "Memorizing Normality to Detect Anomaly: Memory-Augmented Deep
Autoencoder for Unsupervised Anomaly Detection", In IEEE/CVF
International Conference on Computer Vision (ICCV), 2019[3] Trong Nguyen Nguyen and Jean Meunier, "Anomaly Detection
in Video Sequence with Appearance-Motion Correspondence", In

—8—

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

IEEE/CVF International Conference on Computer Vision (ICCV),2019
Peng Wu, Jing Liu, Yujia Shi, Yujia Sun, Fangtao Shao, Zhaoyang
Wu and Zhiwei Yang, "Not only Look, but also Listen: Learning Multimodal Violence Detection under Weak Supervision", In European
Conference on Computer Vision (ECCV), 2020
Mahmudul Hasan, Jonghyun Choi, Jan Neumann, Amit K, RoyChowdhury and Larry S Davis,"Learning temporal regularity in video
sequences",In IEEE/CVF conference on computer vision and patternrecognition (CVPR), 2016
J. Zhang, L. Qing, J. Miao, "Temporal convolutional network withcomplementary inner bag loss for weakly supervised anomaly detection",In IEEE International Conference on Image Processing (ICIP),
2019
Jia-Xing Zhong, Nannan Li, Weĳie Kong, Shan Liu, Thomas H. Li
and Ge Li, "Graph Convolutional Label Noise Cleaner: Train a Plugand-play Action Classiﬁer for Anomaly Detection", In IEEE/CVF
Conference on Computer Vision and Pattern Recognition (CVPR),
2019
Yi Zhu and Shawn Newsam, "Motion-aware feature for improved
video anomaly detection",In The British Machine Vision Conference(BMVC), 2019
Muhammad Zaigham Zaheer, Arif Mahmood, Marcella Astrid andSeung-Ik Lee, "CLAWS: Clustering Assisted Weakly Supervised
Learning with Normalcy Suppression for Anomalous Event Detection", In European Conference on Computer Vision (ECCV), 2020
Shaojie Bai, J. Zico Kolter and Vladlen Koltun, "An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence
Modeling", In arXiv preprint arXiv:1803.01271, 2018
Mahmudul Hasan, Jonghyun Choi, Jan Neumann, Amit K. RoyChowdhury and Larry S. Davis, "Learning Temporal Regularity inVideo Sequences", In IEEE/CVF Conference on Computer Vision and
Pattern Recognition (CVPR) 2016
Guang Yu, Siqi Wang, Zhiping Cai, En Zhu, Chuanfu Xu, Jianping
Yin and Marius Kloft, "Cloze Test Helps: Eﬀective Video Anomaly
Detection via Learning to Complete Video Events", In the 28th ACM
International Conference on Multimedia (ACM MM ’20), 2020
Boyang Wan, Yuming Fang, Xue Xia and Jiajie Mei, "Weakly Supervised Video Anomaly Detection via Center-guided Discriminative
Learning", In Proceedings of the IEEE International Conference on
Multimedia and Expo (ICME), 2020
A. Basharat, A. Gritai and M. Shah, "Learning object motion patterns
for anomaly detection and improved object detection," In IEEE/CVF
Conference on Computer Vision and Pattern Recognition (CVPR),
2008
T. Schlegl, P. Seeböck, S. M. Waldstein, U. Schmidt-Erfurth and G.
Langs, "Unsupervised anomaly detection with generative adversarial
networks to guide marker discovery", In International Conference on
Information Processing in Medical Imaging, 2017
Chun-Liang Li, Kihyuk Sohn, Jinsung Yoon and Tomas Pﬁster, "CutPaste: Self-Supervised Learning for Anomaly Detection and Localization", In IEEE/CVF Conference on Computer Vision and Pattern
Recognition (CVPR), 2021
Joao C and Andrew Z, "Quo Vadis, Action Recognition? A New
Model and the Kinetics Dataset", In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2017
Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu,
Bing Xiang, Bowen Zhou and Yoshua Bengio, "A Structured Selfattentive Sentence Embedding", In The International Conference on
Learning Representations (ICLR), 2017
Sultani W, Chen C and Shah M, "Real-world anomaly detection insurveillance videos", In IEEE/CVF Conference on Computer Vision
and Pattern Recognition (CVPR), 2018
Yu Tian, Guansong Pang, Yuanhong Chen, Rajvinder Singh, Johan W.
Verjans and Gustavo Carneiro,"Weakly-supervised Video Anomaly
Detection with Robust Temporal Feature Magnitude Learning", In
IEEE/CVF International Conference on Computer Vision (ICCV),
2021[21] Nitish Srivastava, Geoﬀrey Hinton, Alex Krizhevsky, Ilya Sutskever
and Ruslan Salakhutdinov, "Dropout: A Simple Way to Prevent Neural Networks from Overﬁtting", In Journal of Machine Learning Research, 2014[22] Jia-Chang Feng, Fa-Ting Hong and Wei-Shi Zheng, "MIST: Multiple
Instance Self-Training Framework for Video Anomaly Detection", In
IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2021
[23] Weixin Luo, Wen Liu and Shenghua Gao, "A revisit of sparse coding
based anomaly detection in stacked rnn framework", In IEEE/CVF
International Conference on Computer Vision (ICCV), 2017[24] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James
Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia
Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward
Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai and Soumith Chintala,"PyTorch: An Imperative Style, High-Performance Deep Learning
Library", In Advances in Neural Information Processing Systems 32,
2019[25] Liyuan Liu, Haoming Jiang, Pengcheng He, Weizhu Chen, Xiaodong
Liu, Jianfeng Gao and Jiawei Han, "On the Variance of the Adaptive
Learning Rate and Beyond", In International Conference on Learning
Representations (ICLR), 2020[26] Wen-Feng Pang, Qian-Hua He, Yong-jian Hu and Yan-Xiong Li, "VIOLENCE DETECTION IN VIDEOS BASED ON FUSING VISUAL
AND AUDIO INFORMATION", In IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP), 2021
[27] Prajit Ramachandran, Barret Zoph and Quoc V. Le, "Swish: a SelfGated Activation Function", In arXiv preprinet arXiv:arXiv:1710.05941v1,
2020[28] Hitesh Sapkota, Yiming Ying, Feng Chen and Qi Yu, "Distributionally
Robust Optimization for Deep Kernel Multiple Instance Learning",
In Proceedings of The 24th International Conference on Artiﬁcial
Intelligence and Statistics,2021[29] Will Kay, Joao Carreira, Karen Simonyan, Brian Zhang, Chloe Hillier,
Sudheendra Vĳayanarasimhan, Fabio Viola, Tim Green, Trevor Back,
Paul Natsev, Mustafa Suleyman, Andrew Zisserman, "The kinetics human action video dataset", arXiv preprint arXiv:1705.06950, 2017.

—9—