CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 25 回 画像の認識・理解シンポジウム

顕著な動画特徴の抽出による現実世界での異常検出
渡邉 祐大1,a)

岡部 誠2,b)概要

原田 泰典3,c)

鹿島 直二3,d)

全てのフレームに対してラベルを付け，学習させる必要があるため，ラベル付けのコストが高い．そこで Sultani

動画から異常を検出するための軽量で高精度な学習手法

ら [5] は動画単位で正常/異常のラベルが付いている弱い教を提案する．近年成功している既存手法を分析したところ，師データセットを提案した．正常とラベル付けされた動画

動画全体から顕著な特徴を取り出すことが重要であること

では全フレームを通して正常状態のみが記録されている．

がわかった．そこで，我々は入力された全セグメント中か一方で，異常とラベル付けされた動画には正常状態と異常ら正常/異常の判定に重要な特徴量を自動抽出するための状態のフレームが混在している．このようなデータセット

自己注意機構を導入する．その結果，既存手法の 1.3%のパを用いることで，動画中のフレーム毎に正常/異常のラベラメータ数のニューラルネットワークでも，既存手法を上ル付けをする必要がなくなり，ラベル付けの労力を削減で回るか同等の精度を達成できることが分かった．

きる．また，Sultani ら [5] は，複数のフレームを 1 つの短1. はじめに期的なセグメントとして扱い，動画をセグメントのバッグと考え，そのバックの中からもっとも異常度を表すスコア

監視カメラの台数は世界中で年々増加を続けており，街が高いセグメントに対して学習することで，動画単位のラ中での防犯や工場や，発電所などの大規模施設での安全確ベル付けでも異常検出器を学習する多重インスタンス学習認に利用されている．しかし，これらの映像全てを人間が（MIL）をもとにした弱い教師ありデータセットのための異目で見て確認することは難しいため，人間に代わって人工常検出手法を提案した．

知能が映像を解析し，自動的に異常事象を検出できる技術の開発が急務である．

しかし，近年成功している既存研究によれば，単一のセグメントだけに注目するのではなく，動画から得られる全監視カメラ映像に基づく異常検出技術は長年研究されてセグメントをまとめて入力とし、セグメント間の時間的関きた．古くから研究されている手法の多くは異常が稀にし係性を学習することが高精度を達成するために重要だと主か起きないことを前提としている．こういった手法では，張されている [7]．そこで我々は動画のセグメントを時間的学習データとして正常なデータのみを与え，混合ガウスモにランダムに並び替えたデータセットを用い，これらの手デル [1]，スパースモデリング [2], [3]，オートエンコーダ法を分析した．すると，全セグメントをまとめて学習する（AE）[4] などを用いて正常なデータのパターンを学習し，ことは確かに重要だが，それらセグメント間の時間的関係推論時には，正常なデータのパターンとの乖離度を計算す性は高精度と無関係なことが分かった．

ることで異常を検出する．こういった教師なし学習をもとこの知見に基づき，我々は MIL を用いず，代わりに入力にした手法は多く提案されているが，見た目や速度の違いの全セグメントから正常/異常の判定に重要な特徴量を自などの低レベルな特徴に基づいた異常検出しかできない．

動抽出するための自己注意機構を導入した新たなモデルをそこで近年，正常な動画と異常な動画の両方を含む弱い教提案する．その結果，既存手法 [7] の僅か 1.3%のパラメー

師データセット [5], [6] を用いて異常検出器を学習する手法

タ数のニューラルネットワークでも，既存手法 [7] を上回が提案されている [5], [6], [7], [8], [9], [10]．

るか同等の精度を達成できることが分かった．ベンチマー

通常，フレーム単位の異常検出器を学習させる場合にはク・データセット（UCF-Crime, ShanghaiTech）を用いたフレームレベルの検出精度を報告する．

1

2
3a)
b)
c)
d)

静岡大学大学院総合科学技術研究科工学専攻(現在，株式会社
パナソニックシステムネットワークス開発研究所勤務)
静岡大学大学院総合科学技術研究科工学専攻
中部電力株式会社
watanabe.yudai.16@shizuoka.ac.jp
m.o@acm.org
Harada.Yasunori@chuden.co.jp
Naoji.Kashima@chuden.co.jp

2. 提案手法
我々は動画から異常を検出するための軽量で高精度な学習手法を提案する．提案手法は動画全体を解析し，正常/異常の判定に重要な特徴量を自動的に抽出して学習する．

1

第 25 回 画像の認識・理解シンポジウム

データセットを D = {(Vi , yi )} とする．ただし，Vi は学習データセット中の i 番目の動画，yi は Vi に付けられたラベルである．yi = {0, 1} で 0 ならば正常，1 ならば異の時間的な関係性を捉えるための機構がどのように高精度に貢献しているのかを調査した．
具 体 的 に は ，学 習 用 の 動 画 Vi か ら 得 ら れ た 特 徴 ベ

常を表す．正常とラベル付けされた動画では全フレームをク ト ル の 集 合 Fi で は ，デ フ ォ ル ト で 特 徴 ベ ク ト ル は通して正常状態のみが記録されている．一方で，異常とラ{Fi,1 , Fi,2 , · · · , Fi,T } の順番に並んでいるが，この順番ベル付けされた動画には正常状態と異常状態のフレームがをランダムに並び替えたデータセットを作成し学習を行っ混在している．Vi は T 個のセグメントに分割され，各セた．UCF-Crime データセット [5] を用いた実験結果を表 1

グメントは特徴抽出器によって D 次元の特徴ベクトル Fi,jに示す．どちらの手法 [5], [7] でも特徴ベクトルのランダムに変換されている．ただし，Fi,j は Vi の j 番目の特徴ベクな並び替えによる精度の低下は見られなかった．

トルを表す．特徴抽出器は全ての実験を通して，Kineticts

MethodReorder

データセットによって学習済みの I3D[11] を用いた．

MLP1r

AttenMLP2ro Sop ftMout ax
30%

MechanismA1A2FiFi,1 Fi,2 … Fi,T32

FC11FC2M

SigmoidVideo Labelyi

0.8

BCE Loss

Video Anomaly score

図 1

RTFM [7]D

Atten-TanhdaSelfAttention

Sultani et al. [5]

提案手法の概要図

表 1

AUC(%)
81.39

✓

81.54
84.30

✓

84.26

UCF-Crime データセットにおいて，各動画の特徴ベクトルをランダムに並び替えたデータセットでの AUC 性能

この結果は，セグメント間の時間的関係性を捉えることが，異常検出器の精度に貢献しているわけではないことを示している．一方で，時間的な連続性を課す損失関数 [5]も，Tian らの手法で導入されている MTN や top-k 戦略 [7]も，より多くの特徴ベクトルを学習に関与させようと働きかける効果がある．MIL では学習に関与できるのは選ばれた少数の特徴ベクトルのみであるため，こういった工夫に提案手法は自己注意機構と 2 層の全結合層からなるシンよって正常/異常の判定に重要な特徴量を抽出しようと試プルなモデルである (図 1)．自己注意機構では，入力されたみていると思われる．我々は上記の観察から，これらの手

Fi は Atten-MLP1 の多層パーセプトロンによって da × T

法が高い異常検出精度を達成しているのは，動画から得らの行列 A1 に変換される．この時，活性化には Tanh 関数をれる全セグメントをまとめて学習の対象とし，それらの中用いる．A1 は Atten-MLP2 の多層パーセプトロンによっから顕著な特徴量を効率良く抽出できる機構を持っているて r × T の行列 A2 に変換される．この時，活性化にはからではないかと考えた．

softmax 関数を用いる．更に 30%のドロップアウト正則化も行う．

提案手法 (図 1) は以上の洞察に基づいてデザインされている．提案手法は MIL のフレームワークではなく，動画か

自 己 注 意 機 構 か ら 得 ら れ た 重 み 行 列 A2 を 用 い てら得られる全セグメントを入力とし，その動画が正常か異M = Fi At2 を計算する．M の形を D × r 次元のベクト常かを判定するモデルである．MIL を用いないので，顕著ルに変形した後，2 層の全結合層 FC1(32 ユニット) とな特徴量の抽出はシンプルな自己注意機構で実現できる．

FC2(1 ユニット）を経て動画の異常性を表すスコアに変換

自己注意機構には Lin ら [12] の手法に触発されたモデルをされる．FC1 の活性化関数は恒等関数，FC2 の活性化関数導入した．Lin ら [12] らの手法は文章分類を対象としておは sigmoid 関数である．損失関数にはバイナリクロスエンり，可変長な入力に対応できる．我々は学習時は動画 Vi

トロピー (BCE) 関数を用いた．

を T 個のセグメントに分割して学習するが、推論時の分割数は異なる値にしたいためこの機構を採用した．提案手法

2.1 提案手法のモチベーション
いくつかの既存手法では動画内におけるセグメント間は時間的関係性を捉えるための機構を持たず，軽量かつ高精度な手法である (3 章)．の時間的な関係性を考慮した学習が行われている [5], [7]．

Sultani ら [5] は動画内で異常スコアは連続的に変動するは2.2 動画分割による推論ずであるとして，損失関数に異常スコアの連続性を課す提案手法を適用して異常検出したい動画を Ve とする．ま項を導入した．また，Tian ら [7] は局所的な時間的特徴とず，連続する 16 フレームを 1 つのセグメントとし，Ve を N

大域的な時間的特徴を捉える目的で multi-scale temporalnetwork (MTN) を導入した．これらの手法は共に高い異常検出精度を達成している．そこで我々は，セグメント間e個のセグメント {V1e , V2e , · · · , VN} に分割する．各セグメント Vie は I3D[11] によって D 次元の特徴ベクトル Fei に変換される．特徴ベクトルの集合を Fe = {Fe1 , Fe2 , · · · , FeN }2

第 25 回 画像の認識・理解シンポジウムとする．次に分割サイズを l とし，Fe を l 個のセグメント10-crop オーギュメンテーションを行った．

毎に m = N/l 個のバッグに分割する．即ち，3.3 UCF-Crime データセットの実験結果

Fe = {B1 , B2 , · · · , Bm }= {{Fe1 , · · · , Fel }, {Fel+1 , · · · , Fe2l } · · · {FeN −l+1 , · · · , FeN }}表 2 に UCF-Crime データセットにおけるフレーム単位
での AUC 性能を示す．ただし，分割サイズ l は 28 とした．となる．次に，B1 , B2 , · · · , Bm を 1 つずつ異常検出器に入提案手法はシンプルなモデルながら，既存手法の中で精度= {sv1 , sv2 , · · · , svm } を得る．svi

が最も高い RTFM[7] に比べて 0.61%高い検出精度を達成力とすることで推論結果 Svee
は {V(i−1)l+1, · · · , Vil} の各セグメントに対する異常スコしている．

アとして用いられる．フレームレベルの異常検出の結果を作る必要がある際は，得られたスコアを各セグメントの全フレームに割り当てることとする．

Method3. 実験
提案手法の評価を行うため，異常検出のための弱い教師データセット (UCF-Crime データセット [5] と Shang-メラ映像を集めた大規模なデータセットである．このデータセットは 13 種類の異常を含んでいる．動画の本数は計1900 本であり，動画の総時間は 128 時間である．1900 本の動画のうち，1610 本が学習用の動画で，290 本がテスト用の動画である．学習用の各動画には動画単位で正常/異常のラベルが付けられている．テスト用の各動画にはフレー

Sultani et al. [5]C3D RGB

75.41

GCN-Anomaly [8]TSN RGB

82.12

MIST [10]I3D RGB(Fine)

82.30

CLAWS Net [9]C3D RGB

83.03

Wu et al. [6]

I3D RGB

82.44

RTFM [7]I3D RGB

84.30

Ours (da = 128, r = 7)
表 2

UCF-Crime データセットは，現実世界における監視カ

AUC(%)

Ours (da = 64, r = 3)

haiTech データセット [3]) を用いて実験を行った．
3.1 データセットと評価指標

Feature Type

84.74

I3D RGB

84.91

UCF-Crime データセットにおけるフレーム単位の AUC 性能

3.4 ShanghaiTech データセットの実験結果
表 3 に ShanghaiTech データセットにおけるフレーム単位での AUC 性能を示す．ただし，分割サイズ l は 21 とした．提案手法は既存手法の中で精度が最も高い RTFM[7]に比べて 1.49%劣る結果となったが，他の既存手法については上回る精度を達成している．また，95%以上の精度が達成できていることから，十分に実用的な異常検出器が学習できていることを示している．

ム単位で正常/異常のラベルが付けられている．
MethodFeature TypeAUC(%)

GCN-Anomaly [8]TSN RGB

84.44

CLAWS Net [9]C3D RGB

89.67

RTFM [7]I3D RGB

97.21

Ours (da = 64, r = 3)

I3D RGB

95.72

ShanghaiTech データセットは，大学内に設置された13 箇所の固定カメラで撮影された映像を集めた，中規模なデータセットである．このデータセットには，437 本の動画が含まれている．437 本の動画のうち，307 本が正常な動画で，130 本が異常を含んだ動画である．オリジナルのデータセットは教師なし学習による異常検出器の開発のためのデータセットであった．しかし，Zhong ら [8] は弱い

表 3ShanghaiTech データセットにおけるフレーム単位の AUC
性能

3.5 モデルのパラメータ数の比較

教師あり学習のためのデータセットとして使えるように動表 4 に各手法のモデルにおける学習可能なパラメータ画単位のラベル付けを行った．我々は Zhong ら [8] と同様数を示す．提案手法は既存手法に比べてパラメータ数がの手順で弱い教師データセットを構築し，実験を行った．

非常に少ない極めて軽量なモデルであることが分かる．

評価指標．既存研究 [5], [6], [7], [8], [9], [10] と同様に，フda = 64, r = 3 のときは RTFM[7] の僅か 1.3%のパラメー

レーム単位の異常検出精度に基づいて計算された ROC 曲

タ数であるにもかかわらず，3.3 章では RTFM[7] よりも高線における AUC を評価指標とする．AUC は値が大きいほい精度を達成し，3.4 章では匹敵する高精度を達成していど高精度な異常検出器であることを表す．

る．また，更に高い精度が達成できた da = 128, r = 7 のときでも既存手法の中で最も軽量なモデルである．

3.2 実装の詳細
PyTorch を用いて開発し，評価実験を行った．最適化ア
ルゴリズムには Radam を用い，学習率は 0.001 とした．

MethodNumber of Parameters

Sultani et al. [5]2,114,113

Wu et al. [6]769,155

RTFM [7]24,718,849

1 つのミニバッチには，正常動画と異常動画が同数含まれOurs (da = 64, r = 3)

328,004

るようにミニバッチを作る．ハイパーパラメータの T は 32

Ours (da = 128, r = 7)

721,992とした．また，既存研究 [7], [10] と同様に，各動画に対し表 4

バッチサイズは 64 とした．ただし，既存研究 [5] と同様に各手法のモデルの学習可能なパラメータ数3

第 25 回 画像の認識・理解シンポジウム

3.6 ハイパーパラメータと検出精度への影響

85.5
85.0

た．ハイパーパラメータの変化によって提案手法の学習可

84.5

能なパラメータ数は変化し，検出精度も変化する．そこで

UCF-Crime データセットを用いて，ハイパーパラメータ

AUC(%)

我々は 2 章でハイパーパラメータとして da と r を定義し

84.74

84.0
83.5の変化が検出精度にどのように影響を与えるかを調査した．

83.0

ただし，分割サイズ l は 32 とした．結果を図 2 に示す．赤82.511632で囲まれた点は各 da における最も高い検出精度を表す．rのみに注目すると，r が 3 よりも大きければ検出精度の変da = 128, r = 7
da = 64, r = 384.91

図 34864
Split Size(l)8096

UCF-Crime データセットにおける推論時の動画分割サイズ lと AUC 性能の関係化は概ね少なく安定していることがわかる．da と r の関係に注目すると，da を大きくするなら r もある程度大きくすした．提案手法は，既存手法で用いられていた MIL の代ることでより良い検出精度が得られることがわかる．しかわりに入力の全セグメントから正常/異常の判定に需要なし，r を大きくし過ぎると検出精度が低下する．また，256特徴量を自動抽出するための自己注意機構を導入する．ままでは da を大きくすることでより良い検出精度を得るこ

た，提案手法のモデルは軽量でありながら既存手法と比較とができたが，da を 512 まで大きくすると r の値に関わらして遜色ない検出精度が達成できることを示した．

ず，全体的に検出精度が低下した．これはモデルを大きくし過ぎることで過学習が起こっている可能性が考えられる．
85.0

AUC(%)

84.5[1]

84.68

84.59

84.51

84.53

[2]

84.0
da=64
da=128da=256
da=512

83.583.0

図 2参考文献

12345r678910[3][4]

UCF-Crime データセットにおけるハイパーパラメータ da とr の変化と AUC 性能の関係[5]3.7 分割サイズの変化と検出精度への影響
我々は 2 章で分割サイズ l を定義した．提案手法は推[6]論時に N 個の特徴ベクトルを m = N/l 個のバッグに分けるため，各バッグには l 個の特徴ベクトルが入っている．分割サイズ l の値によって検出精度が変化するので，[7]

UCF-Crime データセットを用いて，l の変化が検出精度にどのように影響を与えるかを調査した．da = 64, r = 3 のときと da = 128, r = 7 のときの結果を図 3 に示す．赤で[8]囲まれた点は各ハイパーパラメータにおける最も高い検出精度を表す．l が 16 前後になるまで検出精度が上がっている．提案手法は動画全体を解析する手法であり，ある程度[9]の動画の長さを必要としているため，ある程度の分割サイズが必要なことがわかる．一方で，分割サイズ l が 16 よりも大きくなると安定した検出精度を出せており，提案手法[10]

は動画がある程度長ければ効率よく動画全体を解析できていることがわかる．

4. 結論
我々は，自己注意機構を用いて動画全体の特徴を解析して学習し，動画から異常を検出するための学習方法を提案

[11]

[12]

A. Basharat, A. Gritai, and M. Shah, “Learning object
motion patterns for anomaly detection and improved object detection,” in CVPR, pp. 1-8, 2008.
C. Lu, J. Shi, and J. Jia, “Abnormal event detection at150 fps in matlab,” in ICCV, pp. 2720-2727, 2013.
W. Luo, W. Liu, and S. Gao, “A revisit of sparse coding
based anomaly detection in stacked rnn framework,” inICCV, pp. 341-349, 2017.
D. Gong, L. Liu, V. Le, B. Saha, M. Reda Mansour, S.
Venkatesh, and A. van den Hengel, “Memorizing normality to detect anomaly: Memory-augmented deep autoencoder for unsupervised anomaly detection,” in ICCV, pp.
1705-1714, 2019.
W. Sultani, C. Chen, and M. Shah, “Real-world anomaly
detection in surveillance videos,” in CVPR, pp. 64796488, 2018.
P. Wu, J. Liu, Y. Shi, Y. Sun, F. Shao, Z. Wu, and Z.
Yang, “Not only Look, but also Listen: Learning Multimodal Violence Detection under Weak Supervision,” pp.
322-339,in ECCV .Springer, 2020.
Y. Tian, G. Pang, Y. Chen, R. Singh, J. W. Verjans, andG. Carneiro, “Weakly-supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning,” in ICCV, 2021.
J. Zhong, N. Li, W. Kong, S. Liu, T. H. Li, and G.
Li, “Graph convolutional label noise cleaner: Train aplug-and-play action classiﬁer for anomaly detection,” inCVPR, pp. 1237-1246, 2019.
M. Z. Zaheer, A. Mahmood, M. Astrid, and S. Lee,
“Claws: Clustering assisted weakly supervised learningwith normalcy suppression for anomalous event detection,” in ECCV. Springer, pp. 358-376, 2020.
J. Feng, F. Hong, and W. Zheng, “Mist: Multiple instance self-training framework for video anomaly detection,” in CVPR, pp. 14009-14018, 2021.
J. Carreira, and A. Zisserman, “Quo Vadis, ActionRecognition? A New Model and the Kinetics Datase,”in CVPR, 2017.
Z. Lin, M. Feng, C. N. Santos, M. Yu, B. Xiang, B. Zhou,and Y. Bengio, “A structured self-attentive sentence embedding,” in arXiv preprint, 2017.

4