動作認識のための時空間特徴量と特徴統合手法の提案



はじめに– 背景，研究の目的，関連研究



提案手法– 時空間特徴抽出手法の提案– 特徴統合による分類手法の提案

評価実験– データセット– 動作認識に関する実験– Web動画分類に関する実験

おわりに– 考察，今後の課題

Web上には大量の動画が存在– Youtube– ニコニコ動画



見たい動画を探すためにはどうすれば良い？
– 現状ではテキストベーストな検索手法– 動画を完全に特定することは困難

コンテントベーストなアプリケーションの必要性– 動画の内容によって分類することは重要– 大量のWeb動画の分類を行った研究は少ない



Web動画分類の困難さ– 背景ノイズ，低解像度，カメラモーション– 新しい時空間特徴抽出手法を提案– 特徴を統合することによる精度向上本研究では動画をシーンチェンジの境界で分割したショットを単位として利用

Web動画における分類の研究– CinbisらはWeb上から動作を自動学習する手法を提案[Cinbiset al 2009]
Web動画の動作分類
 学習には静的な画像からの特徴量を使用


本研究では，視覚特徴のみではなく，動き特徴も考慮– LiuらはPage Rankに基づいて重要な点を選択する手法[Liuet al 2009]
時空間特徴と視覚特徴を統合することでWeb動画の動作認識
 動作認識を行うために特徴をどのように利用するかに重点

分類のための時空間特徴抽出手法の提案

動画データセット

時空間特徴

視覚特徴

動き特徴

ドロネー三角形を用いた新手法

フレーム毎に取得

オプティカルフローによる表現

Bag-of-Spatio-temporalFeature表現

ヒストグラムをBag of Frames表現にする

Multiple Kernel Learning(MKL)による学習

動作認識

ランキング付けによるWeb動画分類

時空間特徴

Step1
Step2
Step3

• カメラモーション検出

ドロネー三角形を用いた新手法• 視覚特徴抽出• 動き特徴抽出グリッドで動きを計算– 動いていた領域が一定割合以上ならカメラモーション– カメラモーションが検出されたフレームは破棄– Web動画における正確なカメラモーション検出は困難
低い解像度 手振れなどの意図しないカメラモーション①. Nフレームを１ユニットとする②. SURFを抽出③. 動きがない点を削除④. ドロネー三角形を作成
以降三点で一組の特徴と考える
これにより隣接する特徴を考慮した特徴記述が可能に

Nフレーム①選ばれたNフレームをM分割する②それぞれの区間における時空間特徴点の動き情報を計算③視覚特徴と同様に動きも三点の組として考える④動き特徴としてそれぞれの点の動きと三角形の面積の変化を利用⑤視覚特徴と動き特徴を結合⑥抽出した特徴をベクトル量子化

ガボールフィルターを用い，画像の局所的な濃淡情視覚特徴報を表現– フィルタカーネル：6方向，4周期



画像を20×20グリッドに分割– 一つのフレームから200の24次元の特徴を抽出



全フレームから取得
全フレームから特徴を取得



動き情報をグリッドごとに抽出
動き特徴– オプティカルフローに基づき8方向7段階の大きさのヒストグ
ラムに投票

オプティカルフローによる表現



多くの研究では動画を代表するキーフレームから特徴を抽出
しかしキーフレームの選択は重要だが難しい– 選ばれたフレームによって特徴は異なる
そこで

本研究ではBag-of-Framesという考えを導入
フレーム一枚を局所特徴と考える
フレームから抽出された特徴をベクトル量子化
抽出される特徴の出現頻度で動画を表現
キーフレームのみでなく，動画全体の特徴を考慮可能



複数のサブカーネルを線形結合– 最適な重みβを求める(MKL問題)



単一カーネルのSVM 学習を反復することによって最適なカーネルの重みβを求める手法が提案されている[12]



動作認識
– KTHデータセット
6種類の動作、599ショット
 Leave-one-outで学習– Liuらが構築したWild Youtube データセット
11種類の動作、合計1595ショット
5-fold cross validationで学習

大規模データセットによるWeb動画分類– 独自に構築したOur Youtube dataset


8種類の動作、92時間、合計55,845ショット– 教師信号ありのランキング付け

KTHデータセット– 6種類の動作、599ショット

Wild Youtubeデータセット– 11種類の動作、合計1595ショット



10.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

KTHデータセット

時空間特徴VMR
91.7%

motion
動き特徴 92.7%
visual
視覚特徴 48.7%
MKL

94.5%



KTHデータセット

walking

0.99 0.010000

jogging

0.03 0.94 0.03000

running

0.01 0.14 0.85000

boxing0.01

00 0.96 0.01 0.02

waving000clapping

000 0.05 0.02 0.93

0 0.98 0.02

動作認識(Wild Youtube dataset)

100
9080

7060

69.1%

5056.5%4063.4%3080.4%20100[CVPR2009]71.2%

Wild Youtubeデータセット

MKLのカーネル重み
KTH dataset

100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

Youtube dataet

walkingrunning
joggingboxingwavingclapping

100%
90%
80%
70%
60%
50%
Visual視覚特徴
40%
Motion
動き特徴 30%時空間特徴20%
VMR
10%
0%

Visual視覚特徴
Motion
動き特徴
VMR
時空間特徴
b_shootbikingdivingg_swingh_riding
s_jugglingswing
t_swingt_jumpingv_spikingwalking

KTHデータセット
分類結果（Leave-oneout）

Ours

94.5%

D’ oller et al. [3]81.2%

Liu et al. [6]91.8%

Kim et al. [14]95.33%

Gilbert et al. [13]96.2%

Wild Youtubeデータセット
分類結果（5-fold crossvalidation）
Ours
Liu et al.

80.4%
[6]

71.2%



大規模Web動画分類– Youtubeから独自に収集した8カテゴリのデータセット
合計92時間、総数55,845ショット– Wildの33倍 分類対象は6カテゴリ．学習データは528ショットを選択
 残りの2カテゴリはノイズデータとして利用


動画数

174

動画数

164

ショット

8,980ショット

7,718

動画数

170

動画数

142

ショット

7,342ショット

3,442

動画数

174

動画数

160ショット

6,567ショット

3,130



大規模Web動画分類

結果のデモ上位200位までの適合率

時空間特徴

動き特徴
視覚特徴



まとめ
– Web動画分類のための時空間特徴抽出手法を提案– 特徴統合による動作認識手法の提案
KTHデータセットにおいて最新手法と同等
 MKLによる特徴統合は動作認識において有効– 大規模なデータセットによるWeb動画分類を実験
ＭＫＬの上位20位の平均適合率97.7%、200位の平均適合率73%
 時空間特徴の上位20位の平均適合率91.7%、200位の平均適合率57.2%


今後の課題
– カメラモーションに動き補正– 有益な特徴の選択– 複数の動作を認識

ご清聴ありがとうございました