Bag-of-Frames と時空間特徴量を用いた
Semantic Indexing Taskへの取り組みアウトライン はじめに


関連研究

 手法

時空間特徴抽出手法
 Bag of Framesによる全フレーム認識
 キーフレームの利用 実行環境

 結果


反省点

 おわりに

はじめに
 国際映像処理ワークショップＴＲＥＣＶＩＤ

膨大な動画データを利用 課題の提示、結果の公表
 Semantic Indexing Task

動画中の概念を認識し、概念に沿った動画から順に索引付けを行うタスク
 ２０１０年から概念カテゴリが20種類から130種類に増加 公式の平均適合率の算出は30種類の概念

関連研究
 TRECVIDにおけるマルチフレーム認識MediaMillチーム[2] 複数のフレームから取得した特徴量を統合



東京工業大学チーム[3] 時空間特徴と視覚特徴の統合
Liu[4]らの研究
 Adaboostによる統合

方針
 2010年からTRECVIDのデータセットが更新


Webから収集した動画に 野口[1]によるWeb動画認識で利用した特徴


ドロネー三角形を利用した時空間特徴など

 本チームがTRECVID

2009で利用した特徴

キーフレームから取得したカラーヒストグラムなど

Multiple Kernel Learningで統合

動画認識の概要
ショット動画

野口の作成した特徴

TRECVID2009で利用した特徴

Motion:動き特徴

キーフレーム
特徴ST:時空間特徴

Gabor:視覚特徴（RGBヒストグラムなど７特徴）

ドロネー三角形を用いた手法
Bag-of-Spatio-temporalFeature表現

オプティカルフローによる表現

フレーム毎に取得

ヒストグラムをBag of Frames表現にする

Multiple Kernel Learning(MKL)による学習

認識

キーフレームから取得

ST:時空間特徴
 １．SURFによる特徴点抽出
 ２． オプティカルフローの小さい特徴点を除去(Lucas-Kanade法)
 ３．ドロネー三角分割法により三座標による特徴を取得
 ４．各特徴の３頂点のオプティカルフローと面積変化を計算
 ５．視覚特徴と動き特徴を結合し257次元の特徴抽出

SURF視覚特徴64次元×3
 動き特徴ヒストグラム(5次元*4フレーム*3座標)
 三角面積(1次元*5フレーム)Bag-of-Spatio Temporal Feature(BoSTF)
 Bag-of-Features(BoF)を動画に拡張したもの


画像を局所特徴の出現頻度で表現する(BoF) 動画を時空間特徴の出現頻度で表現する(BoSTF)

ベクトル
量子化

ST:時空間特徴は5000次元のBoSTF表現として利用

Motion:動き特徴
 オプティカルフローを用いてフレーム全体の動き情報を表現
 ８方向、７段階に分類し５６次元のヒストグラムを抽出 カメラモーションが生じたフレームからは取得しない

カメラモーション除去
 動画特有の特徴利用の際、カメラモーション除去が重要 グリッドで動きを計算

動いた領域の割合が一定以上ならカメラモーションと見なす
 カメラモーションが検出されたフレームは時空間特徴、動き特徴に利用しないGabor:ガボール特徴
 ガボールフィルターを用い，画像の局所的な濃淡情報を表現フィルタカーネル：6方向，4周期

 画像を20×20グリッドに分割

一つのフレームから400個の24次元の特徴を抽出
 合計9600次元の特徴として利用
Bag of Frames(BoFr)による全フレーム認識
 Gabor、Motion特徴はBag of Frames表現で利用する

 フレーム一枚から得られた特徴全体を、一つの局所特徴と見なし、１動画中の出現頻度で動画を表現
全フレームの利用により動画の大域的な特徴の取得

ベクトル
量子化
Motion:動き特徴は3000次元のBoFr表現として利用
Gabor:ガボール特徴は5000次元のBoFr表現として利用キーフレームの利用 2009年のTRECVIDで用いたキーフレームから取得した

視覚特徴も一部利用した カラーヒストグラム

画像全体からＨＳＶ、ＲＧＢ、Ｌｕｖそれぞれの色空間ヒストグラ
ム64次元
 １画像４*3分割しＨＳＶ、ＲＧＢ、Ｌｕｖそれぞれの色空間ヒスト
グラム768次元 顔特徴

Haar-Likeによる顔検出を利用
 検出した顔個数１次元のみ取得
Multiple Kernel Learning(MKL) カテゴリごとに認識で重要な特徴は異なるはず 重要な特徴に適切な重みづけを行うことで実現
 複数のサブカーネルの線形結合最適な重みβを求める(MKL問題)
 凸面最適化問題として解く
実行環境 主に利用した計算クラスタマシン

Phenom II X4 3.0 quad core メモリ4ＧＢ
 OS:Fedora 11(x64) 処理時間(130カテゴリ合計)
特徴抽出:3.5週間程度
 学習データ:2週間程度（40コア程度利用）

 テストデータ:1.5週間程度(80コア利用)

MKLの学習:2日前後(100コア利用)
 テスト分類:2日前後(100コア利用)実験 TRECVIDデータセット

学習動画118305ショット
 テスト動画144591ショット
 2000位までの推定平均適合率(infAP)で評価

 Full Category

30カテゴリ認識

 Light Category

10カテゴリ認識

 手法

統合手法にMKLを利用(UEC_MKL)
 特徴を単純結合しSVMを利用(UEC_AVG)0.1
0.090.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
F_A_Fzu_Run3_130c_3

F_A_FIU-UM-4_4

F_A_CMU2_2

F_A_CMU4_4

F_A_FIU-UM-3_3

UEC_MKL

F_D_KBVR_1

F_A_Fuzhou_Run1_1

F_D_KBVR_2

F_C_nii.ksc.run1002_2

F_A_LIF_RUN4_4

F_A_inria.willow_3

F_A_NTURFB_4

F_A_Fudan.TV10.2_2

F_A_NTU-RF-L_3

F_A_NHKSTRL3_3

F_A_ITI-CERTH_2

F_A_TT+GT_run2_2

F_A_IRIM_RUN4_4

F_A_VIREO.baseline_vk_3

F_A_VIREO.baseline_vk_c…

F_A_DFKI-MADM_4

F_A_inria.willow_1

F_A_Quaero_RUN03_3

F_A_UC3M_2_2

F_A_UC3M_4_4

F_A_Marburg1_4

F_A_Marburg2_3

F_A_CU.Athena_3

F_C_MM.Jezza_2

F_A_PicSOM_2geom-max_2

F_A_TT+GT_run1_1

F_A_FTRDBJ-HLF-2_2

F_A_REGIM_4_2

F_A_MM.CaptainSlow_4

結果(Full Category) 全30チーム中14位(UEC_MKL)

 infAP=0.0478(UEC_MKL)86手法中32位

 infAP=0.0117(UEC_AVG) 86手法中70位
UEC_AVG

系列2

系列1

0.25

0.2

0.15

AirplaneAnimalAsian_People
Bicycling
Boat_Ship
BusCarCheering
CityscapeClassroomDancing
Dark-skinned_People
Demonstration_Or_Protest
Doorway
Explosion_Fire
Female_Person
Flowers
Ground_Vehicles
Hand
MountainNighttime
Old_People
Running
Singing
Sitting_Down
Swimming
Telephone
Throwing
VehicleWalking_Running

0.45

Full Categoryのカテゴリ別認識精度

0.4

0.35

0.3

Bus
Dancing
Car

Flowers Mountain
SittingSwimming
Classroom
Down
Median

0.1
Max

0.05
Ours

00.1

0.08

0.06

0
F_A_REGIM…
F_A_MM.Ca…
L_A_Eureco…
F_A_NEC-…
F_A_TT+G…
F_A_CU.Ar…
F_A_NEC-…
F_A_PicSO…
F_A_PicSO…
F_A_CU.He…
F_A_Marbu…
F_A_Marbu…
F_A_UC3M…
F_A_Quaer…
F_A_TT+G…
F_A_VIREO…
F_A_UC3M…
F_A_VIREO…
F_A_inria.wi…
L_A_MCPR…
F_A_MUG-…
L_A_Eureco…
L_A_MMM-…
L_A_MMM-…
F_A_Fudan.…
F_A_NHKS…
F_A_brno.b…
L_A_MMM-…
L_A_CMU3_3
F_A_Fuzhou…
F_A_NTUR…
F_A_LIF_R…
F_A_MUG-…
F_D_NTU-…
L_B_JRS-…
L_A_SJTU-…
F_C_nii.ksc.…
F_A_nii.ksc.…
F_A_brno.r…
F_A_LIF_R…
L_A_MMM-…
F_A_uzay.sy…
L_A_IRIT_2_2
F_A_CMU1_1
F_A_nii.PyC…
L_B_ntt-ut-…
L_A_IRIT_1_1
L_A_LSIS_…
F_A_FIU-…
F_A_IIPLA_…

結果(Light Category) 全37チーム中12位(UEC_MKL)

 infAP=0.0393(UEC_MKL) 128手法中31位

 infAP=0.0077(UEC_AVG)128手法中94位

0.12

UEC_MKLUEC_AVG

0.04
系列2

0.02
系列1

Light Categoryのカテゴリ別認識精度
0.3
0.25
0.2

Bus

Classroom

0.15
0.1
0.05
0MedianBestOurs

結果紹介 成功例：Dancing


４６６枚：１つの動画から複数選択されていることが多い

 失敗例：Bus

３１枚：わずかな学習データ

 失敗例２：Walking_Running

２３７９枚：多様な学習データ

反省点
 メモリ容量による学習データ数の限度あり

15000個利用した場合2週間計算しても終わらないことも たくさんのネガティブデータをどう利用するか
 今回の場合ネガティブデータ5000個程度
 段取りが重要

１３０種類のカテゴリの認識なので、計画的に行う必要
 MKLのパラメータ調整を行う時間が作れなかった


おわりに
 まとめ

時空間特徴、bag-of-Framesなどの特徴の利用、MKLによる統合を行った結果、
 30チーム中14位、86手法中32位の結果を得た
 TRECVID 2011に向けて学習データの少ないカテゴリが存在 認識精度向上のためWeb上の情報を利用する(Image-net)
