A SURF-based Spatio-Temporal Feature
for Feature-fusion-based
Action Recognition

1. Background& Objectiveaction recognition ≒ object/scenerecognition– Bag-of-features (BoF) of spatiotemporal features [Dollar et al. VS-PETS05]

Bag-of-words

visual words
Bag-ofvideo-words
ST features

video wordsMulti-feature fusion by Multi Kernel
Learning (MKL) for object recognition[Varma el al. ICCV07]– MKL can estimate fusion weights adaptively.

Caltech-101

BoF
Color BoF
HoG
Geometric Blur

MKL

single feature 60%+20%
multi-feature 80%

Feature-fusion-based action recognition
with MKL and heterogeneous features
Use features having different characteristics
to deal with a wide range of videos from KTH to– sparse Spatio-Temporal (ST) features
SURF-based new ST feature using Delauney triangulation– temporally-dense Appearance features– temporally-dense Motion features[Sun et al. CVPR09]– Select good ones from many kinds oftrajectory-based features[Han et al. ICCV09]– Combine 30 part-based features

They applied MKL for the same kinds of features.

In this paper, we simply use MKL to combine(small number of) different kinds of features.

[Liu et al. CVPR09]– BoF of SIFT + BoF of cuboid (ST features)with Adaboost[Niebles et al. CVPR07][Cinbis et al. ECCV10]
 … some other papers
In this paper, we combine static appearance,motion, and spatio-temporal features.
Appearance
features

Spatio-temporalfeatures
staticIntermidiate/combined

dynamicMotionfeatures

Fusion of static appearance features,dynamic motion features and intermediate
ST features
 SURF-based new ST features
 Temporally-dense sampling of appearance
and motion features– And show their effectivenesswith Both the controlled KTH dataset anduncontrolled Youtube video datasets.

2. Overview ofOur ApproachVideoST features

Appearance

MotionTriangle with three
moving SURF points

Gabor features fromall the frames

Optical flow histogramfrom all the frames

BoF

BoF

Multiple Kernel Learning (MKL)

Action recognition

BoF

3. Proposed MethodExtension of our previous work [ACCV2009]– Combination of SURF local features, opticalflows and Delaunay triangulation.
– Can extract ST from not points but a set ofpatches
more robust and informative① Extract SURF features② Extract optical flows over SURF
interest points by LK methods
and select moving SURF points③ Apply Delaunay triangulation
over the points where flows
are detected④ Track each moving points forconsecutive N frames
based on optical flows (N=5)

④ Track each moving points forconsecutive N frames
based on optical flows (N=5)⑤ Convert the flow vector into
a 5-dim vector regarding eachmoving points⑥ Compute the difference of thesize of triangles between
consecutive frames.
⑦ Concatenate 3 SURF vectors, 35-dim flow vectors and (N-1)
size difference values.
(in case of N=5, totally 256dim)over whole the videosize
BoF vector Codebook
is 5000.

Represent ST features witha sequence of triangle patches

Note that if too many flows are detected,
we give up extracting ST features from the frame.

Extract apperance/motion from all
the frames
Temporally-dense Generate a BoF vector from a bag offrame features for a whole video seq.
vi vifeaturevectors

vi
Use not only
a keyframe
but all the frames !

Codebook size
is 3000.

BoF vector“Temporally-dense” is a commom method among the TRECVID paticipants.

Gabor filter response histogram:– represents local textures– 6 directions * 4 frequenciesExtract from 20×20grids– Obtain 400 24-dim Gabor vectors fromone framevi × 400
BoF vector

Extract optical flows at grid points
with every 8pixels by the Lucas-Kanade
optical flow detector.
 Vote to a histogram consisting of7directions and 8motion magnitude steps.
vi
BoF vector

Is an extenstion of a SVM .
 Can handle “a combined kernel” which
is a linear combination of kernels.
 Can estimate kernel weights and SVM
model parameters simultaneously.
 Can integrate features by assigning
one feature to one kernel.
Combined kernel

Visual Motion

St featureskernel weights

4. Experimental resultsAction classification (multiclass/1-vs-rest)(1) KTH [Schuldt et al. ICPR04]
6 kinds of actions. 599 video shots.
 Evaluated by “leave-one-out”
(2) Wild Youtube [Liu et al. CVPR09]
11 kinds of actions. 1168 video shots.
 Evaluated by “5-fold cross validation”
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.20.10VMR
ST feature 91.7%
motionMotion92.7%
visualAppearance 48.7%
MKL
MKL
94.5%

• Surprisingly, dense motion is the best single feature. 92.7%• By combining three features, it was boosted to 94.5%.

Methods

performance

Dollar et al. [VS-PETS05]
This paper (only Motion)
Liu et al. [CVPR09]
This paper (ST+App+Motion)
Kim et al. [CVPR09]
Gilbert et al. [ICCV09]

81.2%
92.7%
93.8%
94.5%
95.3%
96.2%



94.5% is a good performance.
“Motion” is the most important for KTH.



Methods

performance

No triangulation
No rotation-invariance

83.3%

No triangulation
With rotation-invarianceWith triangulation
With rotation-invariance

86.3%

+3.0%

91.7%

Rotation-invariance boosted it by 3.0%.
Triangulation boosted it by 5.4%.

+5.4%

100
90
80
70
60
40

Appearance69.1%
69.1%
Motion56.5%
56.5%
ST feature 63.4%

30MKL(all)20

Liu et al.

50

100

63.4%

80.4%
80.4%
71.2%
71.2%

[CVPR2009]

MKL(App+Motion)73.5%



Methods

performanceThis paper (only Motion)
This paper (only ST feature)
This paper (only Appearance)
Liu et al. [CVPR09]
This paper (App+Motion)
N. I-Chinbis et al. [ECCV10]This paper (ST+App+Motion)

56.5%
63.4%
69.1%
71.2% (leave-out-out)
73.5% (5-fold CV)
75.2% (leave-one-out)
80.4% (5-fold CV)+6.9%

ST is not the best single feature, but it boosted
MKL results.
Leave-on-out for 1168 videos with MKL is too time-consuming !

KTH
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

100%
90%
80%
70%
60%
50%
視覚特徴
VisualAppear. 40%
動き特徴 30%Motion
Motion時空間特徴20%
STVMR
10%0%

VisualAppear.
MotionMotionSTVMRb_shootbikingdivingg_swingh_riding
s_jugglingswing
t_swingt_jumpingv_spikingwalkingwalkingrunning
joggingboxingwavingclappingWild Youtube

Motion is important for KTH, while appearance and ST are more
important for Wile Youtube.
This result shows the differences of the characteristic of two datasets.

So many videos on the Web– Action recognition is useful to searchthem in addition to object recognition.

Query word

Shot divisionactionrecog.
system“Runnning”

Too many“runnning”videos
including much “nonrunning” shotsHigh“runnning-ness”
video shots

We can jump to“running” scene !
This is the same as TRECVID semantic indexing (SIN) task !

Web video-shot ranking (single class)(3)“Our Youtube”dataset [original dataset]
974 videos for 6 kinds of query words.
37,197 shots obtained by color-histogram-based
shot boundary detection (33 times of Wild-Y)
 Select pos./neg. training shots by hand (30/60)
#videos

174#videos

164#shots8,980#shots7,718#videos

170#videos

142#shots7,342#shots3,442#videos

174#videos160#shots6,567#shots3,130

See the results on the browser



Average precision until top 200

ST featureMotionappearance

5. Conclusions

Proposed a new ST feature extracted by
SURF and L-K optical flow detectors withDelaunay triangulation.
 Combined temporally-dense appearance/motion features and the proposed
sparse ST features with MKL– for KTH, equivalent to state-of-the-art.
– for “wild Youtube”, outperforms greatly.
(71.2 ⇒ 80.4%)– Dense motion is strong for KTH.

Combine other types of features
such as Color and SIFT.
 Compensation of camera motion
 Multiple actions
 Apply more large-scale Youtube data
 Weakly-supervised action recognition– e.g. learning action from Youtube tags.

Thank you for your attention !

High “eating-Ramen-noodle-ness” video shots from Youtube !

Sorry for showing “eating scenes”just before lunch time !

動画データセット

時空間特徴

視覚特徴

動き特徴

ドロネー三角形を用いた新手法

フレーム毎に取得

オプティカルフローによる表現

Bag-of-Spatio-temporalFeature表現

ヒストグラムをBag of Frames表現にする

Multiple Kernel Learning(MKL)による学習

動作認識

ランキング付けによるWeb動画分類

時空間特徴

Step1
Step2
Step3

• カメラモーション検出

ドロネー三角形を用いた新手法• 視覚特徴抽出• 動き特徴抽出

Web上には大量の動画が存在– Youtube– ニコニコ動画



見たい動画を探すためにはどうすれば良い？
– 現状ではテキストベーストな検索手法– 動画を完全に特定することは困難

コンテントベーストなアプリケーションの必要性– 動画の内容によって分類することは重要

大量のWebショット

Runningの学習セット

１位
２位
３位
・・・・・

分類器

時空間特徴視覚特徴

動き特徴

Multiple kernel learning(ＭＫＬ)

ランキング付け大量なSoccerタグのWebショット

ドリブルシーン

シュートシーン

インタビューシーン

Web動画における分類の研究– CinbisらはWeb上から動作を自動学習する手法を提案[Cinbis et al 2009]
Web動画の動作分類
 学習には静的な画像からの特徴量を使用


本研究では，視覚特徴のみではなく，動き特徴も考慮– LiuらはPage Rankに基づいて重要な点を選択する手法[Liu et al 2009]


時空間特徴と視覚特徴を統合することでWeb動画



はじめに– 背景，研究の目的，関連研究



提案手法– 時空間特徴抽出手法の提案– 特徴統合による分類手法の提案



評価実験– データセット– 動作認識に関する実験– Web動画分類に関する実験

おわりに

Web動画の特徴– データ量が非常に大きい– カメラーモーションを含む– 手振れなどによる動きのノイズ– 低い解像度– 雑多な背景ノイズ– 撮影の視点変更

Web動画からの特徴抽出に重要なこと– 高速に抽出可能カメラモーション検出
カメラモーションを検出したフレームは破棄

時空間特徴抽出特徴をBag-of-Spatio-Temporal-Features(BoSTF)で表現

グリッドで動きを計算– 動いていた領域が一定割合以上ならカメラモーション– カメラモーションが検出されたフレームは破棄

①. Nフレームを１ユニットとする②. SURFを抽出③. 動きがない点を削除④. ドロネー三角形を作成
以降三点で一組の特徴と考える⑤. ユニットを更に区切り,それぞれのインターバルから動き特徴を抽出

Bag-of-Features(BoF)を動画に拡張したもの– 画像を特徴の出現頻度で表現したもの



重要な特徴は異なる

MKLで自動で重みを算出



複数のサブカーネルを線形結合– 最適な重みβを求める(MKL問題)– 凸面最適化問題として解く



キーフレームの選択は重要だが難しい– 選ばれたフレームによって特徴は異なる
そこで

本研究ではBag-of-Framesという考えを導入
すべてのフレームから特徴を抽出
抽出された特徴をベクトル量子化
フレームから抽出される特徴の出現頻度で動画を表現
キーフレームのみでなく，動画全体の特徴を考慮可能

時空間特徴，視覚特徴，動き特徴の３つをMKLで統合

はじめに– 背景，研究の目的，関連研究



提案手法– 時空間特徴抽出手法の提案– 特徴統合による分類手法の提案



評価実験– データセット– 動作認識に関する実験– Web動画分類に関する実験

おわりに

動作認識– KTHデータセット Leave-one-outで学習Web動画分類– 教師信号ありのランキング付け– 教師信号なしのクラスタリング

KTHデータセット– ６種類の動作，合計599ショット



教師信号ありランキング付け

合計

948

37,179145

教師信号なしのクラスタリング– クラスタ数は200に設定

385



1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0KTHデータセット

VMR 91.7%
motion92.7%
visual 48.7%
MKL

94.7%



KTHデータセット
walking

0.99 0.010000

jogging

0.04 0.92 0.04000running

0 0.13 0.87000boxing

0.01

00 0.96

waving000clapping

000 0.04

0 0.030 0.98 0.02
0 0.96



KTHデータセット
KTH dataset

100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

VisualMotionVMR

KTHデータセット
分類結果（Leave-oneout）
Ours

94.7%

Liu et al.

93.8%

Gilbert et al.

96.2%



教師信号ありランキング付け

結果のデモ



1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

教師信号ありランキング付け

MKL
VMR
motionvisualrandom

教師信号なしクラスタリング

結果のデモ



教師信号なしクラスタリング



はじめに
– 背景，研究の目的，関連研究



提案手法– 時空間特徴抽出手法の提案– 特徴統合による分類手法の提案



評価実験– データセット– 動作認識に関する実験– Web動画分類に関する実験

おわりに

まとめ– Web動画分類のための時空間特徴抽出手法を提案– 特徴統合による動作認識手法の提案
KTHデータセットにおいて最新手法と同等
 Web動画分類において高い精度
 MKLによる特徴統合はWeb動画において有効



今後の課題

– 時空間特徴抽出手法に関する課題
ご清聴ありがとうございました– カメラモーションに動き補正– 有益な特徴の選択