電子情報通信学会パターン認識・メディア理解研究専門委員会
情報処理学会コンピュータビジョンとイメージメディア研究会

MIRU2022

CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 25 回 画像の認識・理解シンポジウム

事前学習済み DNN を用いたゼロショット異常行動認識佐藤 文彬1,a)

八馬 遼1,b)

概要

関井 大気1,c)定が比較的少ない特長を鑑み，人物の正常な行動を撮影した動画（正常データ）から検出した骨格情報を教師なし学

骨格ベース異常行動認識において応用や性能面で拡張性習に用いて，動画ごとに異常の有無を識別する．ただし，の低下を引き起こすドメインシフトや正常データ不足の課

異常行動の定義はユーザーから与えられ，正常行動は異常題を同時に解決することを目的として，本研究では，特定行動以外の行動すべてを指すものとし，正常データの学習行動認識の大規模データセットで事前に学習された DNN時に観測されなかった行動を例外行動と呼ぶ．

を用いて，異常行動の観測データ・教師データなしに，ユー

近年，本研究と同様の問題設定の手法 [8] が提案されてザーがテキスト入力した説明文に基づき異常を具体化し識いるが，以下に述べるように，利用シーンの拡大や性能の別するゼロショット学習手法を提案する．学習時は，DNN改善に際して拡張性が低い．の出力空間上で重みの更新なしに正常データの分布をモデ

課題 1. ドメインシフト

ル化し，推論時の異常度の計算に用いる．また，異常行動経時的な変化を含む複数シーンの間で正常データの特徴の説明文の特徴量に基づき異常度を重み付けすることによや分布が異なる（ドメインシフトが発生する）場合，シーり，正常行動に関する情報を間接的に補い正常を異常と誤ンごとに正常データを収集し DNN を学習する必要があり，るのを抑制する．実験では，暴力行動分類のデータセット計算資源や学習時間，人的・エネルギーコストがかかるたである RWF-2000 を用いて，教師あり学習に基づく従来研め，利用できるシーンが制限される．

究と提案法の性能を比較し，先述の課題それぞれに対して課題 2. 正常データの不足提案法の有効性を検証した．

1. はじめに多様な正常データを得られない場合，広い範囲の行動を異常と定義せざるを得ない．したがって，対象の異常行動をユーザーが意図的に限定できることが望ましい．例えカメラを用いて人物が取る異常な行動を認識する異常行ば，歩行シーンのみ正常データとして観測できる状況にお動認識は，事故や犯罪を予防するために必要不可欠な技いて，ユーザーから指定された暴力行為のみ異常として検術として期待される．異常行動認識の従来研究は，外観特知し，走行シーンを正常と判定するケースである．

徴 [5] または骨格情報 [8] を用いるアプローチに大別されこれらの課題を同時に解決することを目的として，本稿る．前者は，カメラ映像に Deep Neural Networks（DNN）

では，時系列の骨格情報を入力として事前に学習されたを適用して得られる，人物の外観に関する特徴量を用いて，DNN を用いて，異常行動の観測データ・教師データなし異常行動発生の有無を識別する．一方，後者は，各フレーに，ユーザーがテキスト入力で指示した異常行動を識別す

ムに複数人物骨格検出を適用して得られる骨格情報のみをるゼロショット学習手法を提案する．具体的には，課題 1用いるため，前者よりも学習時と異なる認識対象の見えののドメインシフトの影響を低減するため，比較的大規模な変化に頑健である [15]．

特定行動認識のデータセット（Kinetics-400 [2] など）を用加えて，従来研究は，カメラ映像の各フレーム [8] またいて DNN を骨格特徴抽出器として事前に学習する一方，は動画単位 [3] で異常行動発生の有無を判定する．また，正常データは DNN の重み更新に用いず，骨格特徴の特徴学習には教師あり学習 [3] または教師なし学習 [8] が用い空間上で正常データの分布をモデル化するのに用いる．

られる．以上を踏まえ，本研究では，教師データ作成の人

また，従来法 [16] の多くは，Graph Neural Networks的コストが少なく，また，認識対象の異常行動に対する限（GNN）などを用いて同一人物の時系列の関節間で特徴量を伝搬できることを前提としているが，シーンの経時的変

1a)
b)
c)

コニカミノルタ株式会社 技術開発本部 FORXAI 開発センター
AI 技術開発部第 1 グループ
fumiaki.sato1@konicaminolta.com
ryo.hachiuma@konicaminolta.com
taiki.sekii@konicaminolta.com

KONICA MINOLTA TECHNOLOGY REPORT VOL.20（2023）

化により関節の未検出や誤検出，人物追跡の誤りが発生した場合，この前提を満たせず頑健性が低下する．そこで本
研究では，このようなドメインシフトに対して頑健性を高1

第 25 回 画像の認識・理解シンポジウム

推論段階

学習段階
正常データ学習
正常データの分布

例外確率𝑝(𝐴|𝐱)

正常データ
骨格特徴
抽出器

𝐱

𝛍, 𝚺𝛍, 𝚺

異常度𝑝(𝐴, 𝑇|𝐱)
骨格特徴抽出器

ユーザー設定類似度Top-kの指示行動クラス

running on treadmill

wrestling

特定行動
分類器

wrestling

punching a person

punching a person…

…

文章間類似度計算

指示行動クラス確率𝑝(𝑇|𝐱)…

wrestling𝐱

belly dancing

事前学習時（Kinetics-400）の行動クラス名

指示文
command:violence

特定行動認識DNN 𝑓
ユーザー

図 1: 提案法の概要
めるため，DNN の設計に PointNet [9] をベースとした構造を導入し，関節間の特徴量の伝搬が不要な骨格特徴抽出器を提案する．

次式のように近似する．
()√w2p(A|x) ∼ min 1.0, w1 (x − µ)T Σ−1 (x − µ),(2)

課題 2 に対して，ユーザーから認識対象の異常行動をテキスト形式で受け付け，MPNet [12] により変換された文章

ただし，(w1 , w2 ) は調整可能なパラメータである．p(A|·)

特徴量に基づき異常度を重み付けすることで，正常行動に関は学習時に正常データの骨格情報の平均ベクトル µ，共分する情報を間接的に補い，正常を異常と誤るのを抑制する．

散行列 Σ を計算することによって決定される．

実験では，骨格特徴抽出器の事前学習に Kinetics-400 [2]なお，Rippel ら [10] は，異常検知の文脈において，事前を，異常行動認識精度の評価に暴力行動分類データセット学習済み DNN を用いて，DNN の重み更新なしに正常デーである RWF-2000 [3] をそれぞれ用いて，課題 1〜2 に対すタの分布を求め，教師なし異常検知に活用している．提案る提案法の有効性をそれぞれ検証する．

法は，Rippel ら [10] の手法を新たに行動認識に応用し，例
外確率 p(A|x) を設計した．実験では，p(A|x) のみを x の2. 提案法

異常度として用いた場合においても，DNN の重み更新な提案法の概要を図 1 に示す．推論段階では，はじめに動しで教師なし異常行動認識を実現できることを示す．

画像から検出した人物ごとの骨格情報を DNN に入力し，骨格特徴 x を抽出する．骨格特徴 x に対する異常度を，xが正常データに含まれず（例外である），かつユーザーが指式 (1) の右辺第二項 p(T |x) は，x がユーザーの意図した行動の特徴量である確率であり，x と，学習段階にユーザー示した行動であることを表す同時確率p(A, T |x) = p(A|x)p(T |x)

2.2 指示行動クラス確率がテキスト入力する文章（以降，指示文）を MPNet によ(1)により近似する．ただし，A，T は 2 値の確率変数である．
次節以降で右辺の各項について学習方法とともに詳述する．

DNN の設計には後述する PointNet [9] ベースの構造をり変換した特徴量 yin を用いて次式のように近似する．

p(T |x) ∼ min (1.0, w3 KineticScore(x|yin )w4 ) ,(3)ただし，(w3 , w4 ) は調整可能なパラメータである．

採用し，あらかじめ特定行動分類のデータセット（Kinetics-KineticScore(x|yin ) を次のように定義する．本章冒頭で400 など）を用いて事前に学習されているものとする．検

述べたように，骨格特徴を用いて行動を分類する DNN，出した関節点ごとの入力ベクトルは，画像座標，時刻，確f ，は正常データに関係なく事前に学習されており，事前信度，関節の種類を表す ID，および属する骨格の重心の画学習に用いたデータセットで定義された S 個の行動クラ像座標を結合した 7 次元から成る．

スごとの分類スコア (q1 , · · · , qS ) を出力するものとする.
また，S 個の行動クラス名をそれぞれ MPNet を用いて特2.1 例外確率

徴量 {y1 , · · · ., yS } に変換しておく．学習段階では，まず式 (1) の右辺第一項 p(A|x) を，x が正常データに含まれ指示文を MPNet を用いて特徴量 yin に変換する．次に，ない確率（例外確率）として，マハラノビス距離を用いて{y1 , · · · ., yS } のうち，yin とコサイン距離の近い上位 k ク

KONICA MINOLTA TECHNOLOGY REPORT VOL.20（2023）

2

第 25 回 画像の認識・理解シンポジウム

ラス（以下，指示行動クラス）を特定する．ただし，k は調整可能なパラメータである．推論段階で KineticScore(x|yin )表 1: RWF-2000 データセットを用いた従来法との暴力行動分類精度の比較結果．従来法は教師あり学習を利用．

を計算する際は，はじめに指示行動クラスに対する x の分
類スコア (q1 , · · · , qk ) を求める．次に，KineticScore(x|yin )MethodAcc. (%)

を指示行動クラスの分類スコアの最大値として次式のようPointNet++ [13]78.2

DGCNN [13]80.6

SPIL [13]89.3

ConvLSTM [7]89.8

Only Kinetics

73.5

Ours w/o text

73.3

Ours w/ text

79.0に求める．

KineticScore(x|yin ) = max (q1 , · · · , qk ) .

(4)

2.3 DNN アーキテクチャ
本研究では，DNN の設計のベースに PointNet [9] を用

Pose det.

APkp

Train.
time

RMPE [4]61.8---30hPPN [11]36.415s

015s

いる．はじめに，元の PointNet の構造から 3 次元点群処理向けの機構である T-Net を除外する．次に，Max-Pooling

平均ベクトル µ，共分散行列 Σ の計算に用い，事前学習より浅い層の MLP（Multi-Layer Perceptron）を 6 層のボを除き DNN の重みは更新しない．したがって，教師ありトルネック構造の残差ブロック [6] に置き換える．

学習を用いる従来法とは異なり，提案法では，暴力行動

3. 評価実験の動画は異常サンプルとして評価にのみ用いられるため，学習において異常行動（暴力行動）に関する観測データ・

3.1 データセット

教師データは一切利用されない設定（ゼロショット学習）

DNN の事前学習に大規模行動分類データセット Kinetics-である．指示文には，後述する暴力を表す文章を複数パ

400 [2] を，また，ゼロショット異常行動認識の精度評価にターン評価し，最も精度が高かった “punch or kick related

暴力行動分類のデータセット RWF-2000 [3] をそれぞれ用

to ﬁghting” を検証に利用した．このとき，2.2 節で述べた

いて提案法の有効性を検証した．Kinetics-400 は 400 クラ

指示行動クラスとして，k = 5 クラス（“punching personスの行動分類タスクを対象として，また，RWF-2000 は暴(boxing)”，“drop kicking”，“punching bag”，“side kick”，力・非暴力 2 クラスの行動分類タスクを対象として，それ“sword ﬁghting”）が選択された．

ぞれ YouTube *1 から映像を収集したデータセットである．
両データセットにおいて，行動クラスがアノテーショ

3.3 従来法に対する比較実験

ンされた動画の各フレームに Pose Proposal Networks [11]従来法と提案法の暴力行動認識精度（以下，精度）を比（PPN）を適用することにより，時系列の骨格情報を作成し較した結果を表 1 に示す．同表より，指示文を利用する

た．PPN の DNN 構造には Pelee [14] を採用し，骨格の定提案法（w/ text）は，教師あり学習を用いる従来法のう

義は OpenPose [1] と同様である．動画はすべて 30 [FPS]

ち，PointNet++や DGCNN と同等精度（Acc. 参照），かに変換した上で，320 × 224 [px2 ] の解像度にリサイズし骨格検出に用いた．

つ学習時間（15 [s]）は著しく短かった．一方，2.2 節で述べた指示行動クラス確率のみを用いた場合（Only Kinetics）には，提案法（w/ text）の精度には及ばないことがわか

3.2 学習・評価の設定

る．加えて，2.2 節で述べた指示行動クラス確率を利用し各フレームにおいて，PPN で出力されるバウンディングない場合（w/o text）においても，教師あり学習を用いる

ボックス検出の確信度上位の骨格のうち，DNN の事前学

PointNet++と約 5 [%pt] の精度差に達している．以上の習，異常行動認識の学習・評価それぞれにおいて，2 人分，結果を踏まえると，提案法は課題 1 で述べたドメインシフ

5 人分の骨格を用いた．DNN の事前学習では，学習率がト（1 章参照）に対してシーンごとの DNN の学習なしに0.18，重み減衰項が 0.0001 の Stochastic Gradient Descent

ゼロショット異常行動認識を実現できることがわかる．まを採用し，交差エントロピーを損失関数として 100 エポッ

た，提案法において，指示文を用いない場合（w/o text）ク学習した．その際，学習率はエポックが進むにつれてと用いる場合（w/ text）で約 6 [%pt] 精度が向上している

線形に減衰させた．提案法の学習時間の計測には，Intelことから，課題 2 に対して，指示文が認識対象の暴力行動

i7-9700K CPU，32GB RAM，および GeForce RTX 2080を具体化し正常行動に関する情報を補うことで，正常行動

Ti GPU を用いた．

を異常と識別することを抑制できていることがわかる．

RWF-2000 を用いた提案法の評価では，非暴力行動を正常行動と定義し，暴力行動を異常行動と定義した．学習用に準備されている非暴力行動の動画のみを 2.1 節で述べた*1

youtube.com

KONICA MINOLTA TECHNOLOGY REPORT VOL.20（2023）

3.4 骨格検出誤りに対する頑健性の比較実験
関節点の未検出・誤検出や人物追跡の誤りといった経時的変化で発生しやすい骨格検出の誤りに対して提案法の頑3

第 25 回 画像の認識・理解シンポジウム

表 2: RWF-2000 データセットを用いた骨格検出誤りに対により，先述の課題それぞれに対して提案法の有効性を検証した．

する暴力行動分類精度の比較結果．

実験において事前学習に用いた Kinetics-400 データセッ

Pose detection error ratio (%)
Method01030507090

トと，評価に用いた RWF-2000 データセットの行動の類似

ST-GCN [16]

82.0

77.0

69.5

64.3

62.3

60.5

点を検証していないことから，今後の課題として，多様なOurs

79.0

76.0

75.5

76.0

74.3

74.8

データセットの組み合わせで提案法の有効性と汎化性を検証することがあげられる．

表 3: RWF-2000 データセットを用いた指示文ごとの暴力
行動分類精度の比較結果．
Language direction

Acc. (%)

n/a

73.3

violence

75.3

violent event

78.3

ﬁghting event

77.0

punch or kick related to violence

78.5

punch or kick related to ﬁghting

79.0

参考文献
[1]

[2]

[3]

[4]

健性を検証した結果を表 2 に示す．具体的には，関節点の未検出については，一定の頻度で関節座標と確信度を 0 に[5]置換し，誤検出についても一定の頻度で正規分布にしたがうノイズを関節座標に付与した．例えば，骨格検出誤りの頻度が 50 [%] の場合には，全関節点の 50 [%] で未検出と誤検出を疑似的に発生させ，また，150 フレームの動画の[6][7]

中で 38 フレーム間隔を空けて人物 ID をランダムに入れ替えた．同表より，GNN を用いる教師あり学習手法 [16]（著[8]者らによる実装）に比べ，提案法は骨格検出の誤りの増加にともなう精度低下の幅が小さいことから，課題１で述べた経時的変化などのドメインシフトに対して比較的頑健で[9]あることがわかる．
[10]

3.5 指示文の表現のバラつきに対する比較実験
前節の提案法（w/ text）の検証に用いた 5 パターンの指示文ごとの精度を示す．指示文から求めた指示行動クラス

[11]
[12]

確率を用いない場合（w/o text）よりも総じて精度が向上
しており，指示文のバラつきが一定範囲内であれば，指示[13]

行動クラス確率が正常行動を異常と識別することを抑制できることがわかる．

[14]

4. まとめ[15]

骨格ベース異常行動認識において応用や性能面で拡張性の低下を引き起こすドメインシフトや正常データ不足の課題を同時に解決することを目的として，本研究では，特定行動認識の大規模データセットで事前に学習された DNN[16]Cao, Z., Hidalgo, G., Simon, T., Wei, S.-E. and Sheikh,Y.: OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Aﬃnity Fields, PAMI, Vol. 43, No. 1,
pp. 172–186 (2021).
Carreira, J. and Zisserman, A.: Quo Vadis, Action
Recognition? A New Model and the Kinetics Dataset,
CVPR (2017).
Cheng, M., Cai, K. and Li, M.: RWF-2000: An Open
Large Scale Video Database for Violence Detection,ICPR (2020).
Fang, H.-S., Xie, S., Tai, Y.-W. and Lu, C.: RMPE:Regional Multi-Person Pose Estimation, ICCV (2017).
Feng, J.-C., Hong, F.-T. and Zheng, W.-S.: MIST:
Multiple Instance Self-Training Framework for Video
Anomaly Detection, CVPR (2021).
He, K., Zhang, X., Ren, S. and Sun, J.: Deep Residual
Learning for Image Recognition, CVPR (2016).
Islam, Z., Rukonuzzaman, M., Ahmed, R., Kabir, M.
and Farazi, M.: Eﬃcient Two-Stream Network for Violence Detection Using Separable Convolutional LSTM,
IJCNN (2021).
Morais, R., Le, V., Tran, T., Saha, B., Mansour, M. andVenkatesh, S.: Learning Regularity in Skeleton Trajectories for Anomaly Detection in Videos, CVPR (2019).
Qi, C. R., Su, H., Mo, K. and Guibas, L. J.: PointNet:
Deep Learning on Point Sets for 3D Classiﬁcation andSegmentation, CVPR (2017).
Rippel, O., Mertens, P. and Merhof, D.: Modeling theDistribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection, ICPR (2021).
Sekii, T.: Pose Proposal Networks, ECCV (2018).
Song, K., Tan, X., Qin, T., Lu, J. and Liu, T.-Y.: MPNet: Masked and Permuted Pre-training for Language
Understanding, NeurIPS (2020).
Su, Y., Lin, G., Zhu, J. and Wu, Q.: Human Interaction
Learning on 3D Skeleton Point Clouds for Video Violence
Recognition, ECCV (2020).
Wang, R. J., Li, X. and Ling, C. X.: Pelee: A Real-Time
Object Detection System on Mobile Devices, NeurIPS(2018).
Weinzaepfel, P. and Rogez, G.: Mimetics: Towards
Understanding Human Actions Out of Context, IJCV,Vol. 129, No. 5, pp. 1675–1690 (2021).
Yan, S., Xiong, Y. and Lin, D.: Spatial Temporal
Graph Convolutional Networks for Skeleton-Based Action Recognition, AAAI (2018).

を用いて，異常行動の観測データ・教師データなしに，ユーザーがテキスト入力した説明文に基づき異常を具体化し識別するゼロショット学習手法を提案した．実験では，暴力行動分類のデータセットである RWF-2000 を用いて，教師あり学習に基づく従来研究と提案法の性能を比較すること

KONICA MINOLTA TECHNOLOGY REPORT VOL.20（2023）

4