情報処理学会研究報告
IPSJ SIG Technical Report

1. は じ め に

マルチフレーム認識を用いた動画像認識の分析

近年，広く普及している動画サイトでは，主に動画周辺のタグや文章を使用したテキスト
ベースによる映像検索方法が用いられている．しかし，それらの文章はユーザの主観によっ

樋 爪

和 也†1

柳 井

啓

司†1

て付与されるため，部分的に単語を含む場合や意味概念と異なる単語の使い方をしている場
合は他のユーザのニーズに対応できない可能性が発生する．そこで WEB サイトに存在する
動画に含まれる映像・音響情報を利用する映像検索の研究が盛んに行われている．映像が持本研究は，近年に提案されたマルチフレーム手法のショット認識に対する有効性の検証が目的である．TRECVID2010 の実験データから SURF，色特徴，時空間特徴を抽出し，それらを Bag-of-Features 表現に変換する．この際，1 枚のキーフレーム
のみから特徴を抽出を行う従来手法とは異なり，マルチフレーム処理として動画から
複数のフレームを取得して特徴を抽出し，統合することで一つの特徴ベクトルを生成した．実験では TRECVID のタスクで指定されている五つの概念を対象とし，キーフレームのみの認識との比較を行った．さらにフレーム取得枚数や選択方法を変化させたときの認識率の変化も検証した．
実験の結果，キーフレームのみの認識に比べて SVM で学習，分類をした場合は認識率が最大で 700%上昇し，MKL-SVM で学習，分類をした場合は最大で 883%上昇した．TRECVID2010 の全チームの平均値と比較した結果，MKL-SVM で学習，分類をした場合に全クラスで値を上回った．

つ映像・音響情報に対しパターン認識の技術を活用することで，コンテンツベースの検索を行うことが可能となる．特に TRECVID1) と呼ばれる動画認識における国際的な評価ワー
クショップが存在し，映像検索技術に関する進歩と促進が狙われている．この TRECVID
にて成果を挙げている技術の一つとしてマルチフレーム認識がある．
本研究は大量の Web 動画に対して，映っている特定の物体，風景，動作を認識および分類することが目的である．ショット認識において，従来手法では単一フレームのみを扱うのに対し，本研究では複数のフレームを扱うマルチフレーム認識を行うことで，一般物体認識の精度向上を図る．また，フレームの選択枚数および選択方法を変化させることで，マルチフレーム認識の有効性を検証する．なお，本研究は TRECVID で行われるタスクのルールに則って行い，他チームの評価との比較を行うことで効果を検証する．

Analysis of video data recognition using multi-frame

2. TRECVID

Kazuya Hidume†1 and Keiji Yanai†1

TRECVID（TREC Video Retrieval Evaluation）とは，米国国立標準技術研究所（NIST）と Disruptive Technology Office(DTO) が主催する映像検索技術に関連する研究を促進す

In this study, we aim to verify the effectiveness of a multi-frame method
for shot recognition proposed in recent years. In the experiments, we extract
SURF, color and spatio- temporal features from the TRECVID 2010 video
data, and convert them the Bag-of-Features(BoF) representation. In the multiframe method unlike the conventional method to extract features from only one
keyframe, features are extracted from multiple frames which are selected fromthe video, and one BoF feature vector is generated by integrating these features.
In the experiment, we use five kinds of concepts out of 130 TRECVID2010 target concepts and analyze recognition performance in various settings in termsof the number of frames selected from one shot. As a result, compared to theconventional method, the recognition accu- racy in classifying by SVM raised
700% at most and by MKL-SVM advance 883%. The result of MKL-SVM in
all class outperformed the average of all the teams in TRECVID2010.

る競争型ワークショップである．毎年，各国の研究グループが参加し，TRECVID が設定した共通のタスクおよび評価基準に対して各々の手法で研究に取り組む．共通のタスクに対して優劣を競争させ，結果の比較検討および成果の共有を行うことで，映像検索技術の研究を促進させることが目的である．

2010 年に開催された TRECVID2010 では 6 つのタスクが用意され，本研究ではその内の Semantic indexing（SIN）タスクのルールに従う．SIN タスクでは全テストデータの中から「バス」，「教室」，「歌っている人」などの特定の概念を含んだショットを検出するタス†1 電気通信大学大学院 情報理工学研究科 総合情報学専攻
Department of Informatics, Graduate School of Informatics and Engineering, The University ofElectro-Communications1

c 2011 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

図 1 TRECVID2010 Semantic indexing の認識対象例

クである．TRECVID2010 では認識対象となる概念が 130 種類まで増加された．図 1 はその概念の一例である．また，インターネットアーカイブ映像が MPEG-4/H.264 ファイル形
式で学習データ，テストデータ共にそれぞれ 200 時間ずつ配布された．

3. 関 連 研 究

図 2 マルチフレーム処理

本研究で扱うマルチフレーム認識が TRECVID において使われるようになったのは 2008
年からである．アムステルダム大学の研究チーム2) はショットのキーフレーム周辺から最大 4な認識手法は，ショット分割を行った後に各ショットの中から何らかの基準によって 1 枚だ

枚の追加フレームを取得し，それらのフレームから SIFT をはじめとする 7 つの特徴量を抽け抽出したキーフレームと呼ばれるフレーム画像を使って特徴量を抽出し，認識を行ってき出した．2009 年では取得フレームを 10 枚に増やし，視覚特徴だけでなく音響特徴を新たに追た．しかし，ショットは複数枚のフレームから構成されるため，2 枚以上のフレーム画像か加し，さらに Multiple Kernel Learning 手法の一つである SR-KDA(Spectral Regression

ら特徴量を抽出することができる．

combined with Kernel Discriminant Analysis)3) と MK-FDA(Multiple Kernel Fisher
4)

そこで動画を短時間のシーンごとに分割したショットを作成し，各ショットから複数のフも採用している．アムステルダム大学はいずれの TRECVID タ

レームを選択する．この数枚のフレームから得た特徴量を統合して一つの特徴ベクトルを作スクにおいても最高の成績を収めている．これに対し，東京工業大学5) は 2009 年にショッ

成する．これにより，同一の特徴量だけでも特徴ベクトルの次元を増やすことができる．こトの全てのフレームから SIFT を抽出している．音響特徴としてメル周波数ケプストラム係

こでマルチフレームの選択例を図 3 に示す． 図のように同一ショットから抽出したフレー

数 (MFCC) も抽出し，それぞれをガウス混合分布を使用してモデル化している．この手法

ム画像は，全体的に似通っているが細かい点で差異が生じているのがわかる．このように 1

により 4 位の結果を残した．

つのショットから認識対象について複数のアングルの画像特徴を検出できれば，より良い認

Discriminant Analysis)

識結果になると予想される．

4. 提案手法概要

本研究では，フレームの選択基準として以下の二つを採用する．

4.1 マルチフレーム認識• 1 つのショットから等間隔に N 枚を選択

マルチフレーム認識の処理について，図 2 に示す．従来の大量のビデオ映像に対する主• 1 つのショットから M フレーム置きに選択

2

c 2011 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

マルチフレーム例 Airplane Flying

マルチフレーム例 Bus

図 4 処理の流れ

マルチフレーム例 Hand
図3

際の最適な重みを計算する．SVM のカーネルには性能の高い RBF-χ2 カーネルを使用す

マルチフレーム選択例

る．テスト動画のショットの認識を行い，得られた出力値をそのショットの評価値としてラ等間隔に選択する方法は，ショット全体を N + 1 分割した際の境界を選択する．M フンキング付けを行う．このランキングの上位 2000 ショットを各概念の検出結果とし，適合レーム置きに選択する方法は，初めに選択したフレームから M フレーム間隔で存在する率を求める．

フレームを選択していく．このときマルチフレームで統合される枚数は，それぞれ N 枚，

5. 認 識 手 法(ショットのフレーム数 −1)/M + 1 枚となる．よって N の値が大きくなるほど，M の値が小さくなるほど統合するフレーム枚数は多くなる．比較に使用するパラメータはそれぞれ

5.1 Bag-of-Features

N = 3, 5, 10, M = 30, 15, 10 である．M の数値はデータセットの動画が 30 フレーム/秒でBag-of-Features とは，画像を局所特徴の集合として考える手法であり，言語処理におけあることに由来する．また実験では，比較として全フレームから特徴量を抽出する方法でもる Bag-of-Words の考え方を画像処理に適用したものである．Bag-of-Words は文章中の単認識を行う．

語の語順を無視し，単語の出現頻度によって文章を表現する．Bag-of-Features では同様に，

4.2 処理の流れ

画像の局所特徴の位置を無視し，出現頻度をヒストグラム化することで画像を表現する．本本研究の処理の概要図を図 4 に示す．

研究ではショットに対してマルチフレーム処理を行うため，これを画像単位からショット単

まず，ショット中の選択したフレームから SURF および色特徴を，ショット全体から時位に拡張して扱う．

空間特徴を抽出する．これらを Bag-of-Features 表現に変換するが，SURF および色特徴

まず，静画像に対する Bag-of-Features 表現への変換は以下の流れで行う．

にはマルチフレームを適用し，複数枚のフレームの特徴量を使用する．この二つの特徴量(1)

学習画像から局所特徴を抽出する．

は空間ピラミッドマッチングを行えるように画像を 2 × 2 の領域に分割した上で量子化す(2)

すべての局所特徴を k 個にクラスタリングする．この k 個のクラスタ中心の特徴ベる．時空間特徴は元々マルチフレームから抽出する特徴なので，同様にショット単位でのクトルを visual words と呼び，visual words の集合を codebook と呼ぶ．

Bag-of-Features ベクトルを生成する．

(3)

それぞれの特徴量を用いて SVM または MKL-SVM で学習を行い，各特徴量を統合する

画像毎に検出した局所特徴をベクトル量子化する．一つ一つの局所特徴に対し，各

visual words の中で最も近い特徴ベクトルに投票を行うことで出現回数のヒストグ

3c 2011 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

ラムを作成する．

(4)

検出は次の手順で行われる．

画像の局所特徴の総数でヒストグラムの各 bin を割り，正規化を行う．

step1 カメラモーション検出

本研究で扱うデータはショット単位となっている．マルチフレームの場合，一つのショッ

step2 SURF を各フレーム画像から抽出

トから複数枚のフレーム画像を選択し，特徴量を抽出する．ここで得られた全ての画像特徴

step3 フレーム間で動きのなかった SURF 点を削除

(本研究では SURF，色特徴) は一つのヒストグラムに変換される．すなわち，一つのショッ

step4 Delaunay 三角分割

トから一つの Bag-of-Features ベクトルが作成される．これにより，大量に取得した特徴量

step5 動き特徴抽出を比較的次元数の少ない特徴ベクトルへと変換することができる．また，ショット認識においstep6 視覚・動き特徴の統合てはフレーム画像から得られる画像特徴の他に，オーディオ特徴や後述の時空間特徴など静まず，動画に含まれるズームやパンなどのカメラモーションの検出を行う．Web 動画に

画像には無い特徴量を得ることができる．これらについてもショット単位の Bag-of-Features

は手振れのような意図しないカメラモーションが多く含まれており，さらに解像度が低い．

ベクトルを作成することができる．本研究で扱う特徴量のうち，時空間特徴については学習

これを解決するために，カメラモーションを検出した場合，その特徴を破棄する．検出手法

用ショットから得られた特徴量を使って前述の手順と同様に codebook を作成，ヒストグラには Lucas-Kanade アルゴリズム9) を用いる．

ムへの投票を行う．

次にフレーム画像から SURF を抽出する．この SURF の点の内，時空間特徴として適し

5.2 色 特 徴ているのはフレーム間で動きのある点のみであるため，動きのなかった点は削除する．そし色特徴は画像の色分布を表す特徴であり，画像認識においては基本的な特徴である．

て残った点について Dlauney 三角分割を行う．Dlauney 三角分割とは空間内の点を連結し本研究では RGB 色空間のカラーヒストグラムを作成する．画像の RGB 値で構成されて三角形のグループを作成することで，点の特徴だけでなくその周辺の特徴も考慮する手法

る 3 つのパラメータを Bag-of-Features における局所特徴とみなし，画像の全画素についてである．この 3 点の SURF 記述子を視覚特徴とするため，64 × 3 = 192 次元で表現される．

visual words への投票を行う．

動き特徴は，まず SURF を抽出したフレームから N フレーム先までのフレームを取得する．上記の SURF 点の動き情報はこの内の N/2 フレームから計算される．取得した N フ

5.3 SURF
6)とは，特徴点とその周辺の局所特徴を記述した

レームを M 分割し，その区間内で Lucas-Kanade アルゴリズムによって特徴点のオプティ

特徴量である．画像の照明変化，スケール変化，回転に対して頑健であり，64 次元の特徴

カルフローを計算する．各区間の動き特徴はオプティカルフローの x,y 成分の正方向およびベクトルで表現される．また，サブ領域を使用することで 128 次元に拡張することもでき

負方向に動きなしを加えた 5 次元で表現される．設定は区間 N = 5，分割数 M = 5 としる．同様の特徴量として SIFT7) が存在する．SIFT も 128 次元の特徴量であるが，SURFており，三角形の面積変化は 5 次元で表現されるため，動き特徴は 20 × 3 + 5 = 65 次元とは SIFT に比べて処理が高速であり，また SIFT と同程度の精度がある．

なる．また，動き特徴を回転に対して有効にするため，SURF 記述子で得た回転角を利用

SURF(Speeded-Up Robust Feature)

本研究では SURF の特徴点検出は行わず，特徴点およびそのスケールをランダムに 5000

してオプティカルフローの回転も行う．

個決定する．これは TRECVID2010 データが Web 動画を扱っているために解像度の低い

最後に視覚特徴，動き特徴を単純に結合することによって 192 + 65 = 257 次元の一つの動画も含まれており，そのような動画からは特徴点がほぼ検出できないという可能性がある

時空間特徴とする．

5.5 空間ピラミッドマッチングためである．

5.4 時空間特徴

Bag-of-Features 表現は物体認識において高い性能を示しているが，その性質上，特徴の8)が位置関係を無視してしまう．そこで Lazebnik ら10) によって空間ピラミッドマッチング手

提案した時空間特徴抽出手法について説明する．この手法は大量の Web 動画分類に適して法が提案された．局所特徴の位置を考慮できるように画像をグリッド領域に分割し，各領域

おり，既存手法に比べて計算コストが低く抑えられている．

内で Bag-of-Features ベクトルを作成する．

時空間特徴は動作認識を行う上で欠かせない特徴である．以下では柳井研究室の野口

4

c 2011 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 データセットの内訳

本研究では動画全体の特徴量として抽出される時空間特徴を除いた，SURF と色特徴にクラス適用することができる．

ポジティブショット数

ネガティブショット数

66
172
31
558
139

1000
2500
1000
5000
2500

Airplane Flying
Boat ShipBus
CityscapeClassroom

6. 分 類 器
本研究では，分類器として SVM(Support Vector Machine) と MKL-SVM(Multiple Ker-

nel Learning SVM) を使用する．
6.1 Support Vector Machine

7. 実

SVM(Support Vector Machine) は 2 値分類問題を解くために考えられた学習アルゴリ験

7.1 データセット

ズムであり，基本的には線型識別器である．現在知られている数多くのパターン認識手法の中で最も認識性能の優れた学習モデルのひとつである．

データセットは TRECVID が提供する TRECVID2010 の学習データ，テストデータを

SVM は線型識別器であるが，特徴ベクトルを変換するカーネルトリックによって非線型利用する．実験にはこのうち，5 個の概念を使用して学習と分類を行う．クラスのカテゴリへの拡張が可能である．特徴ベクトル x を非線型の写像 φ(x) によって線型識別可能な空間と，学習に使用するクラス毎のショット数を表 7.1 に示す．ポジティブショットとは各クラに写像し，その空間で識別を行うという方法をとる．本研究では以下の RBF-χ2 カーネルスの概念が出現するショットを，ネガティブショットとは出現しないショットを指す．

を用いる．

K(x, y) = exp

1 X ||xi − yi ||2− 2
2σxi + yiまた，テストデータは全 144,988 ショットである．

!

7.2 評 価 指 標(1)

TRECVID2006 より，評価指標には推定平均適合率 (Inferred Average Precision : infAP)iが用いられている．適合率とは認識されたもののうち正しい割合であり，(クラスに分類さ6.2 Multiple Kernel Learning

れた正解データ数)/(分類されたデータ数) で求められる．上位 N 位までの平均適合率は，MKL(Multiple Kernel Learning) は複数の SVM カーネル (サブカーネル) を統合するこ

第 k 位までの適合率 P recision(k) を用いて，とにより，新しい最適なカーネルを求める手法である．新しいカーネルは以下の式で求められる．

Kcombined (x, x0 ) =

K
X
j=1

βj kj (x, x0 )βj = 0,KX

1 X
P recision(k)NN

inf AP =(3)k=1

βj = 1(2)として求められる．推定平均適合率はさらに，(分類された正解データ数)/(全正解データj=1数) で求められる分類率を考慮したものであり，全正解データの数が不明である場合にもここで最適なカーネルを生成するために，サブカーネルに対する重み βj を学習する必要有効である．なお，TRECVID2010 では評価用のプログラムが配布されている．本実験はがある．この問題は MKL 問題と呼ばれている．MKL 問題は βj のすべての組み合わせを

TRECVID2010 Semantic Indexing タスクに則り，上位 2000 ショットを評価対象とする．

実際に計算することで解くことができる．しかし，特徴やカーネルの数が増えるにつれて7.3 実験の設定

βj の組合わせの数も膨大になってしまうため，現実的な方法とは言いづらい．そこで近年，本実験で扱う特徴量は SURF，色特徴，時空間特徴の 3 つである．いずれも Bag-of-Features

11)

MKL 問題を凸面最適化問題として解く方法が提案されている．その一つに Sonnenburg

表現により出現頻度の特徴ベクトルを作成する．本研究では codebook，すなわち Bag-of-

らは単一カーネルの SVM 学習を反復することによって，最適な重み βj を求める手法を提Features ベクトルを 500 次元と設定する．このうち，時空間特徴の Bag-of-Features ベク

案している．

トルはショット全体から抽出するため，フレームの取得枚数の変化にはよらずショット毎に5

c 2011 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report
表2

表 3 フレーム選択方法の比較

M フレーム置きに抽出したときの平均フレーム選択枚数，値はポジティブショット/ネガティブショット
M フレーム置き
クラス
M=30
M=15
M=10
Airplane Flying
4.06/5.45
7.62/10.44
11.15/15.45
Boat Ship
5.40/6.05
10.60/11.72
15.82/17.46
Bus
19.06/5.23
37.65/10.08
56.55/14.94
Cityscape4.80/7.77
9.20/15.23
13.61/22.67
Classroom
14.11/7.29
27.95/14.23
41.94/21.21
テストデータ
4.99
9.48
14.01

クラス

Airplane Flying
Boat ShipBus
CityscapeClassroom

N=1
0.00760.02940.0021
0.05860.0002

N 枚抽出
N=3
N=5
0.0263 0.0282
0.0334 0.0282
0.0028 0.0030
0.0818 0.0746
0.0006 0.0003

N=100.03010.02780.00320.04660.0003M フレーム置きに抽出
M=30 M=15 M=10 全フレーム抽出
0.0331 0.0608 0.0400
0.04140.0220 0.0270 0.0276
0.02740.0034 0.0034 0.0043
0.00430.0785 0.0796 0.0722
0.08890.0012 0.0014 0.0004
0.0006

表 4 MKL-SVM による評価

N 枚抽出
M フレーム置きに抽出
TRECVID2010
クラス N=1 N=3 N=5 N=10 M=30 M=15 M=10 全フレーム抽出 median max
Airplane Flying 0.0114 0.0373 0.420 0.0429 0.0654 0.0742 0.0678
0.06750.017 0.141
Boat Ship 0.0528 0.0324 0.0322 0.0294 0.0231 0.0291 0.0286
0.02760.018 0.165
Bus 0.0035 0.0023 0.0035 0.0031 0.0024 0.0029 0.0036
0.00300.002 0.032
Cityscape 0.0996 0.1236 0.1250 0.1251 0.1255 0.1216 0.1235
0.12640.045
0.21Classroom 0.0006 0.0017 0.0027 0.0031 0.0048 0.0059 0.0029
0.00320.002 0.116

固定の値である．
空間ピラミッドマッチングによる領域のグリッド分割数は 2 × 2 とする．各領域において500 次元の特徴ベクトルを作成するため，500 × 4 = 2000 次元の特徴ベクトルとなる．これを SURF，色特徴に適用する．よって，本実験で扱う特徴ベクトルは 2000 × 2 + 500 = 4500次元となる．この次元数は以下のすべての実験で共通である．
また，いずれの実験においても SVM，MKL-SVM には RBF-χ2 カーネルを使用する．

7.3.1 マルチフレームの設定

いずれのクラスにおいても，マルチフレームを使用することで従来手法であるキーフレー

本研究では，以下の 3 つの実験を行う．学習データ，テストデータ共に同じマルチフレー

ムのみの認識結果を上回った．最も数値が上昇したクラスは Airplane Flying であり，キーム抽出方法で特徴抽出を行う．

フレームのみの認識に比べて最大 700%上昇した．しかし，フレームの抽出枚数を増やした(1)

マルチフレーム認識とキーフレームのみの認識の比較(2)

フレーム選択方法の比較

見ると，M フレーム置きにフレームを選択する手法の方が Boat Ship を除く４クラスで良(3)

MKL-SVM による評価

い結果が得られた．M フレーム置きにフレームを取得する場合，短いショットでは 1 枚しかにも関わらず適合率が下降したクラスが生じてしまった．また，フレーム選択方法の違いを従来手法である１枚のキーフレームのみの認識との比較を行い，マルチフレーム認識の有フレームを抽出できない可能性もあるが，長いショットでは非常に多くの枚数を得られるた効性を検証する．また，３章で述べたフレームの二つの選択基準の認識結果の違いを確認す

め一部のショットだけ特徴ベクトルの質が向上する．ただし，本実験の結果では M=15 のる．加えて，一つのショットから全フレームを抽出した場合の結果とも比較を行う．これら

値が最も高いクラスが多く，全フレーム抽出の値を上回っている結果も得られた．これらのの実験はすべて SVM による学習，分類を行う．また，M フレーム置きに抽出する方法に点から，認識結果の向上には単純な枚数だけでなく，中間のフレームを使わないことでノイ

ついて，各クラス毎の平均フレーム選択枚数を表 2 に示す． 対して，MKL-SVM でも同様ズとなる特徴量を適切に回避するといった別の要因も含まれていることが考えられる．

の設定で実験を行い，フレーム枚数を変化させたときの認識結果と，MKL で学習する特徴

次に，MKL-SVM の実行結果を表 4 に示す．図 6 は表 4 のグラフである．また N 枚抽出

量毎の重みの変化を確認する．比較として，TRECVID2010 の全チームの推定平均適合率について，MKL で学習した特徴量の重みの割合を図 7 に示す． 最も値が上昇したクラスはの平均値 (median) と最大値 (max) を記載する．

Classroom であり，MKL-SVM を使ったキーフレームのみの認識に比べて 883%上昇した．

7.4 実 験 結 果

Bus を除く 4 つのクラスでは，SVM と比較して MKL-SVM で学習，分類を行った方が最大

SVM で実行した実験結果の推定平均適合率を表 3 に示す．図 5 は表 3 のグラフである．

値が上昇している．しかし，Boat Ship は MKL-SVM でもフレーム枚数に連れて値が下降している．やはり追加したフレームから有効な特徴量よりもノイズのある特徴量を多く抽出

簡略のために従来手法であるキーフレームのみの認識を N = 1 と表記する．

6

c 2011 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

図6

図 5 SVM による結果の比較

MKL-SVM による結果の比較してしまったためと考えられる．枚数を変化させたときの重みの変化に注目すると，キーフレームのみである N=1 の処理とマルチフレーム処理では重みの割合が変動していることがわかる．全体的にキーフレームのみの認識よりもマルチフレームの認識の方が色特徴の重みの割合が大きい．これは特徴量の抽出数に関連していると考えられる．本実験では各フレー
ム画像から SURF を 5000 個，色特徴を全画素から抽出した．TRECVID2010 のショット
データはサイズが 320 × 240 か，それ以上の横幅を持つ大きさとなっている．よって画素値は

1 枚のフレーム画像から少なくとも 76800 個以上を抽出することができる．Bag-of-Features
表現により量子化は行われるが，複数のフレームを扱ったことで両特徴の抽出数の差が学習した重みに表れたと考えられる．これに対し，マルチフレーム処理で枚数を変化させても割合にほとんど変化はなく，大きく変化しているものでも 1%ほどしか変動はない．
図 7 特徴量の重みの割合 N 枚抽出

TRECVID2010 の結果と比較すると，最大値には及ばないものの，MKL-SVM での認識
結果はいずれのクラスにおいても中央値より良い結果が出ている．SVM での認識結果を見ても，マルチフレームを使った認識は Classroom を除いた 4 クラスで上回った数値を得た．

mantic indexing タスクに則って実験を行うことでその有効性を検証した．ショットから 2

最大値との差が開いている理由としては，実験に使用している特徴量や設定の違いが挙げら通りの基準でフレームを複数枚選択し，各フレーム画像から SURF および色特徴を，ショッれる．本実験で使用している特徴量は，動画像認識において基本的な特徴量を最低限しか使ト全体から時空間特徴をそれぞれ抽出して学習，分類を行った．評価指標にはランキング

用していない．3 章で述べたように，1 位のチームは本研究の倍以上の特徴量を使用してお付けされた結果の順位を考慮する推定平均適合率を用いた．実験として Semantic indexing

り，さらに codebook のサイズも最大で 4096 次元と設定している．よって，さらなる精度

タスクの五つの概念を使い，「全体から N 枚を抽出する」，「M フレーム置きに抽出する」と向上のためにはマルチフレーム処理の追求以外に，扱う特徴量の種類を増やす必要がある．

基準を設定したマルチフレーム認識結果をキーフレームのみの認識，全フレームを使ったマ
ルチフレーム認識，TRECVID2010 の全チームの平均結果と比較した．

8. ま と め

実験の結果，キーフレームのみの認識に比べて SVM で学習，分類をした場合は推定平均

本研究ではショット認識に対してマルチフレーム手法を適用し，TRECVID2010 の Se-

適合率が最大で 700%上昇し，MKL-SVM で学習，分類をした場合は最大で 883%上昇し

7

c 2011 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

た．また TRECVID2010 の全チームの平均値と比較した結果，MKL-SVM を使用した設

10) S.Lazebnik, C.Schmid, and J.Ponce. Beyond bags of features: Spatial pyramid
matching for recognizing natural scene categories. In Proc. of IEEE Computer
Vision and Pattern Recognition, pp. 2169–2178, 2006.
11) S.Sonnenburg, G.Rätsch, C.Schäfer, and B.Schölkopf. Large Scale Multiple Kernel
Learning. The Journal of Machine Learning Research, Vol.7, pp. 1531–1565, 2006.

定のいくつかで 5 クラスすべての値を上回る結果を得た．以上の点から，ショット認識におけるマルチフレーム手法の有効性を確認することができた．

9. 今後の課題
実験ではより多くのフレームから特徴量を抽出した場合，逆に精度が悪くなるということ付が起こった．単純なショット中の位置でフレームを抽出するだけでなく，より有用なフレー

録

MKL-SVM，N=10 で実行した上位 15 ショットを示す．赤枠は正解のショットである．

ムを選択できるようにすることも重要である．例えば，時空間特徴の抽出で行ったような選択した他のフレーム (この場合は既に抽出した前のフレーム) との差異を計算した場合に，一定以上特徴量が異なれば新たなフレームとして抽出する，といったことが考えられる．また，そのフレームの差異が大きければ基本的な取得フレーム間隔を小さくし，逆に差異が小
さければ間隔を大きくする，つまりフレームの変化によって取得間隔をショット毎に変更するということもできる．

参

考

文

献

1) TRECVID Home Page.
http://www-nlpir.nist.gov/projects/trecvid/.
2) C.G.M. Snoek, KEA vande Sande, O.deRooij, etal. The mediamill trecvid 2008
semantic video search engine. In Proc. of TRECVID Workshop, 2008.
3) D.Cai, X.He, and J.Han. Efficient kernel discriminant analysis via spectral regression. In Data Mining, 2007. ICDM 2007. Seventh IEEE International Conferenceon, pp. 427–432. IEEE, 2008.
4) J.Ye, S.Ji, and J.Chen. Multi-class discriminant kernel learning via convex programming. The Journal of Machine Learning Research, Vol.9, pp. 719–758, 2008.
5) N.Inoue, S.Hao, T.Saito, K.Shinoda, I.Kim, and C.H. Lee. Titgt at trecvid 2009
workshop. In Proc. of TRECVID Workshop, Vol.2, 2009.
6) H.Bay, T.Tuytelaars, and L.VanGool. SURF: Speeded up robust features. In Proc.
of European Conference on Computer Vision, pp. 404–415, 2006.
7) D.G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, Vol.60, No.2, pp. 91–110, 2004.
8) 野口顕嗣, 柳井啓司. 動きの連続性を考慮した動画からの局所的な時空間特徴の抽出.
In MIRU, 2009.
9) B.D. Lucas and T.Kanade. An iterative image registration technique with an application to stereo vision. In International joint conference on artificial intelligence,
Vol.3, pp. 674–679. Citeseer, 1981.

図8

Airplane Flying

図 9 Boat Ship

図 10

図 11 CityscapeBus

図 12 Classroom

8c 2011 Information Processing Society of Japan