OS5-O2
TRECVID Semantic Indexing TaskとMultimedia Event Detection Taskへの取り組み
樋爪 和也，柳井 啓司（電気通信大学）

背景
 コンテンツベースの映像検索手法が盛んに◦ TRECVID：国際的な評価ワークショップ
 膨大なデータ処理の必要性◦ 4000時間の大規模データ

本発表について TRECVIDの概要◦ SINタスク◦ MEDタスク 参加タスクに対する実行手法

TRECVIDとは
映像検索技術に関連する競争型ワークショップ NISTとDTOが主催
 東工大、NTT、IBM、コロンビア大、アムステルダム大など各国の研究チームが参加

TRECVID2012の6つのタスク
 Semantic indexing (SIN) Known-item search (KIS) Interactive surveillance event detection (SED) Instance search (INS) Multimedia event detection (MED) Multimedia event recounting (MER)

本研究はSINタスク、MEDタスクに関連Semantic INdexing task
ショット (=シーンごとの短い動画)の認識
 1ショットあたり、最長で3.5分
 主に対象となるのは物体、人 ：Chair、George_Bush、Skier...
動作：Singing、Sitting_down、Walking＿Running...
風景：Hill、Kitchen、Forest...

Airplane

BusHandSemantic INdexing task
 カテゴリ数：346
 20(2008, 09)、130(2010)と増加
 カテゴリ数を減らしたlight、組み合わせたpairも• 最終結果を提出できないチームも多い データ
 学習データ ：403,800ショット(600時間)
 テストデータ：145,634ショット(200時間)
テストデータは翌年の学習データに

 評価形式：平均適合率
 ランキング付けした上位結果からサンプリングして計算
 カテゴリごとに上位2000ショットが対象

2011、2012は東工大チームがTOP

Multimedia Event Detection task
複雑なイベントの判定 SINタスクよりも複合的な高次概念を検出
動作：Reparing an appliance、Rock climbing…
状態：Birthday party、Winning a race without a vehicle…

Working on asewing project

ParadeBirthday party

Multimedia Event Detection task
 イベント数：20+5
 事前に告知されるイベント20、追加のAdHocイベント5
 Ad Hocイベント• 締め切りまでの期間が短く• メタデータも十分でない状態

 データ
ビデオショット SINデータと異なり、ショット分割が行われていないビデオクリップが対象 MEDSIN

 学習データ ：47430クリップ(1474時間)
 テストデータ：98117クリップ(3722時間)

Multimedia Event Detection task
 評価形式 各チームが独自にThresholdと、スコアを決定 正解、非正解データのエラー率が対象
未検出率

FN=

誤検出率

誤分類した正解データ数
全正解データ数FP=

誤分類した非正解データ数
全非正解データ数

 Normalized Detection Cost(NDC)• MEDでのシステム全体の評価指針

FN ∗ 0.08 + FP ∗ 0.999
NDC =0.08
NDCが低い＝FN、FPが低いほど高性能

認識手法：SINタスク
 特徴抽出 画像特徴：全フレームから
SURF
RGB色特徴

データ特徴抽出

BoFベクトル変換

 時空間特徴[Noguchi et al. 2010]

SVM学習、分類

認識手法：SINタスク
 Bag-of-Features表現に変換

データ soft assignment
複数のコードワードへの割り当て

 空間ピラミッド表現(1＋2×2)
 画像特徴はコードワード1000
時空間特徴はコードワード
5000

特徴抽出

BoFベクトル変換

SVM学習、分類

認識手法：SINタスク
 Multiple Kernel Learning-SVM
データ
 複数の特徴を統合
 出力値をソートしてランキング付け
𝐾

𝐾 𝑥, 𝑥 ′ =𝐾𝛽𝑗 𝑘𝑗 𝑥, 𝑥 ′𝛽𝑗 ≥ 0,𝑗=10%

Airplane𝛽𝑗 = 1

特徴抽出

𝑗=120%

SURF

40%

60%

80%

色

100%

時空間

BoFベクトル変換

Airplane_Flying
Basketball
Boat_Ship

SVM学習、分類

認識手法：MEDタスク
 SINタスクの手法をMEDに適用
MEDデータはショット分割がされていない
ビデオ

ショット分割

ショットスコア学
習・分
類
学習データにイベントを含まないショットが存在する

ビデオスコア認識手法：MEDタスク
 学習データの中からショットを選択
 VisualRank：教師なしショットランキング
 ランキング上位のショットを学習に使用

Birthday party

認識手法：MEDタスク
 元のビデオクリップのスコア決定
ビデオ

ショット分割

ショットスコア

学
習・分
類

ビデオスコア𝑆1 + 𝑆2 + 𝑆3
元の動画のスコア =3
𝑆𝑖 ：上位𝑖番目のショットスコア

認識手法：MEDタスク
 ショット分割結果
 最大3000フレーム(100秒分)
 ランキング上位500ショットをポジティブに学習データ数(25クラス)

テストデータ

分割後ショット数

4225
48792

98118
733764

使用した
ポジティブデータ

12500

ー

元動画

実験環境
 80台のクラスタマシン
 4コアCPU、8GBメモリ
AMD：Phenom II X4 (3.00GHz)Intel ：Xeon X3230 (2.66GHz)、Xeon X3363 (2.83GHz)、
Core2 Quad Q9650(3.00GHz)、Core i7 870 (2.93GHz)、
Core i7-2600 (3.40GHz)

 計320コア、計算に使用したのは平均3コア／マシン
 全行程の計算時間

SINタスク ： 約4日
MEDタスク： 約6日

特徴抽出の時間は約80%

ただし、実時間は表記以上
マシンの不具合、エラーファイルチェック、etc…

SINタスク認識結果
 346カテゴリ中46カテゴリが評価対象
1.2

1

0.8

0.6

0.4

0.20 全チームの最大値、中央値と比較

max
medianours

Averagemax ：0.321median：0.187
ours ：0.115

1.0

SINタスク認識結果
 346カテゴリ中46カテゴリが評価対象
1.2

1

0.8

0.6

0.4

0.2

0

 全チームの最大値、中央値と比較

max
medianours

Averagemax ：0.321
median：0.187
ours ：0.115

SINタスク認識結果
 346カテゴリ中46カテゴリが評価対象
1.2

1

0.8

0.6

0.4

0.2

0

 全チームの最大値、中央値と比較

max
medianours

Averagemax ：0.321
median：0.187
ours ：0.115

0.35

0.2

F_A_TokyoTechCanon2_brn_2
F_A_TokyoTechCanon1_brn_1
F_A_TokyoTechCanon3_brn_3
F_A_TokyoTechCanon4_4
F_A_UvA.Sheldon_1
F_A_UvA.Raj_2F_A_UvA.Leonard_4
F_A_-Quaero1_1
F_A_-Quaero3_3
F_A_-Quaero4_4
F_A_-Quaero2_2
F_A_IRIM1_1
F_A_IRIM3_3
F_A_PicSOM_1_1
F_A_PicSOM_2_2
F_A_IRIM2_2
F_A_PicSOM_3_3
F_A_IRIM4_4
F_A_nii.Kitty-AF1_1
F_A_FTRDBJ-SIN-1_1
F_A_CMU4_4
F_A_CMU3_1
F_A_CMU1_3
F_A_CMU2_2
F_A_PicSOM_4_4
F_A_FTRDBJ-SIN-2_2
F_A_nii.Kitty-AF2_2
F_A_VIREO.Baseline_2
F_A_IBM_2
F_A_IBM_3
F_A_ITI_CERTH_4
F_A_ITI_CERTH_1
F_A_ITI_CERTH_2
F_A_UEC1_1
F_A_ITI_CERTH_3
F_A_CEALIST_1
F_A_NHKSTRL1_1
F_A_CEALIST_2
F_A_NHKSTRL3_3
F_A_NHKSTRL2_2
F_A_NHKSTRL4_4
F_A_FIU-UM-1-brn_1
F_A_CEALIST_3
F_A_FIU-UM-2_2
F_A_FIU-UM-4_4
F_A_FIU-UM-3-brn_3
F_A_CEALIST_4

SINタスク全チーム結果
.

0.3

0.25

34/47

0.15

0.1

0.05

0SINタスク上位手法：東工大
 特徴量(画像特徴5+音響特徴1)
SIFT-Har, SIFT-Hes, SIFTH-Dense, HOG-Dense,
LBP-Dense, MFCC

 GMM Supervector SVM
木構造GMMを用いたFast MAP Adaptationにより高速化

http://www-nlpir.nist.gov/projects/tvpubs/tv11.slides/tv11.tokyotechcanon.sin.slides.pdfより

MEDタスク全チーム結果
FN：0.6429
FP ：0.1559

32.5
コストが高い＝NDCに大きく影響

21.5
10.5
0

NDC
FNFP

MEDタスク上位手法：CMU
画像特徴• SIFT, C-SIFT, Transformed ColorHistogram• Semantic Indexing Concept,
Object Bank
• Optical Character Recognition

BoF

動画像特徴
••
•
•

Motion SIFT, STIP, Dense Trajectory
MFCC, AUDs
Acoustic Scene Analysis
Automatic Speech Recognition

GMM

SVM (early, late) fusion

TilingKR (early, late) fusion

score

まとめ
 映像検索のワークショップTRECVIDの概要
 Semantic Indexingタスク
 Multimedia Event Detectionタスク

 実行手法の紹介
 TRECVID全チームの手法は公開済み

http://trecvid.nist.gov/

ご清聴ありがとうございました

MEDタスク全チーム結果• random：全ショットからランダムに100ショット• top500：VisualRank上位500からランダムに100ショット(今回の手法)• top100：VisualRank上位100
0.9
0.8
0.7
0.6
0.5
0.4
0.3

randomVisualRank top500

0.2
0.1
0

VisualRank top100