社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

視覚特徴およびタグ共起を用いた大規模 Web ビデオショットランキング
DOHANG NGA†

柳井啓司†

† 電気通信大学 情報工学科 〒 182–8585 東京都調布市調布ヶ丘 1–5–1
E-mail: †{dohang,yanai}@mm.cs.uec.ac.jp
あらまし

本研究はビデオショットの間の視覚的関連およびビデオとそのタグの共起関係を利用した新しいランキング手法を提案する。提案手法は特定動作の関連 Web ビデオショットの自動抽出システムに適用する。提案手法ではノイズが多く含まれたタグ情報はビデオのコンテンツ情報によって洗練し、より効率的に使うことができる。また、ビデオショットの視覚特徴と同時にそのビデオの洗練されたタグ特徴も考慮することによって、視覚特徴のみを利用することよりランク上位で多くの関連ありのビデオショットが得られる。大規模実験でベースラインとの比較を行い、提案手法の有効性を検証できた。
キーワード

Web データ、大規模、タグ共起、教師なし、共ランキング

Large-scale Web Video Shot Ranking Exploiting Visual Features
and Tag Co-occurance
Nga HANG DO† and Keiji YANAI†† The University of Electro-Communication, Choufugaoka 1–5–1, Choufu, Tokyo, 182–8585 Japan
E-mail: †{dohang,yanai}@mm.cs.uec.ac.jp
Abstract In this paper, we propose a novel ranking method which aims to detect automatically relevant Web
video shots of specific actions using visual links between the video shos as well as textual links between the videos
and their tags. Our method adopts content based features to reduce tag noise and exploits the refined tags toimprove VisualRank method which employs only visual features. We conduct large-scale experiments and show theeffectiveness of our proposed method over the baseline.
Key words Web data, large-scale, tag co-occurance, unsupervised learning, co-ranking

1. 導入に付けられるキーワードを活用してユーザによって挙げられたサーチキーともっとも関連があるようなビデオを返す。ただし、最近、動作認識分野では、“in-the-wild” YouTube データセッ

タグはユーザによって主観的に与えられるものなので信頼性がト [1] や HMDB51 [2]、Hollywood アクションデータセット [3]低いという問題があり、また、サーチキーにも多様性が含むとなどのような大規模で、制限なしのデータベースが広く利用いう場合もある。よって、検索結果には非関連の動画があるこされるようになって来ている。その理由としては以前からの小とは少なくない。また、CGM ビデオは元々動作認識研究のた規模で、制限有りのデータベース (KTH [4]、Weizmann [5]) にめに作られるものではないので特定動作についてのビデオではおける認識精度はほぼ 100%となっているからである [1]。ほとなく様々な動作が含まれていることが一般的である。したがっんどの新しいデータベースはインターネットから収集されたもて、検索結果のビデオは特定動作と対応する部分がない場合ものである。YouTube API などの Web API を利用することにあり、またはあってもそのビデオの一部だけである場合もある。

よって、動画共有サイトから容易に動画を大量に取得することWeb 動画を用いて動作のビデオショットデータベースを生成すができる。さらに、Web 動画のほんとどは CGM (Consumerるのに研究者たちは特定動作の関連部分を手動で検索しないとGenerated Media) なので制限が無く、以前より難しいデータいけないため時間及び手間が非常にかかるということである。

ベースの構築には適切だと考えられる。

ここでビデオショットとは動作の一部であり、一つのシーンと多くの動画共有サイトはキーワードに基づいたサーチエン対応する連続フレームセットを示す。もし、Web 上の動画のよジンを提供する。このサーチエンジンは “タグ” というビデオうな簡単に取得可能な動画から特定動作の対応ビデオショット—1—

を自動的に得られるようになったらアクションデータベースのと彼らの ice-skating データセットに対し動作分類を行った。彼構築は容易になると考えられる。

らの提案手法は教師なしであるがカテゴリー数を事前に与えそこで、以前に我々は教師なしで，キーワードを与えることだる必要がある。Niebles らはさらに、制限なしの動画から動作けによってタグ付きの Web 動画からキーワードに対応した動画シーケンスを検出する教師なしの手法を提案した [12]。また、ショットを検出する 2-ランキングステップフレームワークを提案

Cinbis らは Web 画像検索エンジンから収集される画像を利用した [6]。キーワードとしては “brushing+teeth” や “jogging”

して動作モデルを自動学習するメソッドを提案し、[12] のビデなどの人間動作および “airplane+flying” や “typhoon” などのオデータセットに対し動作認識を行った [13]。この研究は本研

非人間動作に関する単語を対象とする。ステップ 1 ではタグ共究と最も関連があるが、彼らは学習ソースとして Web 画像、起に基づくビデオランキングを行い、キーワードとよく共起す特徴として静的特徴のみ使う。それに対して、本研究は Webるタグが多く付けられるビデオを関連ビデオとして収集する。

動画と時空間特徴も利用する。Niebles らの研究と Cinbis らのステップ 2 ではそのビデオからのショットのすべてに対し視覚研究は人間動作認識のみに目指すが、我々の提案手法はどの様特徴によるショットランキングを行い、ランク上位のショットな動作にも適用可能である。人間動作以外に “airplane-flying”をキーワード動作の対応ショットとして得られる。この手法はや “tornado” などの非人間動作にも適用できる。もう 1 つ関連

多くの動作種類に有効であるが、タグリストに極めてノイズが研究として Ballan らの研究がある [14]．彼らは Flickr からの多い場合、タグ情報によるビデオランキングステップは関連ビ

Web 画像を学習サンプルとしてビデオショットにタグを付けるデオを選択できず、最後に対応ショットはあまり得られないとメソッドを提案した。

いうことが実験より判明した。

本論文ではタグに基づく関連スコアを計算するためタグ分

そこで本研究では、以前に提案したシステムのように、タグ析を行う。タグが付けられることは Web データの共有の特徴と与えられたキーワードの関連性を評価するにはタグ共起頻度である。一般には Web 上の画像とビデオに複数のタグが付けのみを利用するのではなく、対応動画との相互関係も利用するられる。Yang らはタグの出現統計による画像に付与された各ことを考えた。例えば、もし、あるビデオショットは動作キータグのタグ共起スコアの計算法を提案した [15]。この計算法はワードと関連することがわかったらそのビデオに付けられるタ“Web2.0 Dictionary” と呼ばれる。我々はこの計算法を適用しグもキーワードとの関連があると推定することができる。逆に、てタグ共起スコアの高い Web 動画を選択する。この手法はタもし、あるタグがキーワードと関連深いであるならそのビデオグ分析だけを必要とし、視覚特徴の分析の必要がない。視覚特も重要であるという可能性が高いと考えられる。

徴を利用しない他の関連研究として Dong らの研究がある [16]。

本 研 究 は 、VisualTextualRank と い う ラ ン キ ン グ 手 法 を

彼らは関連スコア確率推定と random-walk に基づく改善化の提案する。VisualTextualRank は VisualRank [7] と Liu らの結合によってタグの関連性を評価する。Liu ら [8] は Web ビデ

Biparite-Graph [8] を拡張し、Web ビデオの視覚特徴とメタデー

オとそのタグの相互関係を利用し Web ビデオトピック検出手タを同時に効率的に活用する手法である。実験結果からわかる法を提案する。本研究は、彼らの研究を元に着想に至ったもの

ように、VTR(VisualTextualRank) を適用したフレームワーク

で、Web ビデオとタグの相互関係を利用する点は共通していは以前の VisualRank を適用したフレームワーク ( [6], [9]) よりる。ただし、彼らはビデオのタグ情報のみを活用する。一方で、Web ビデオから多くの関連ショットを検出することができた。

我々はタグだけではなく、ビデオの視覚特徴も利用する。

本論文の構成は次のようになる：セクション 2 ではいくつの関連研究を紹介し、提案手法はセクション 3 で詳しく説明し、セクション 4 では実験とその結果を示し、結論および討論はセクション 5 で述べる。

2. 関 連 研 究
最 近 、動 作 認 識 世 界 に お い て は 、動 画 を ST(Spatio-Temporal) 特 徴 の BoF(Bag-of-Features) と し て 表 現 し 、SVMs(SuperVectorMachines) を利用して動作を認識すると

3. 提 案 手 法
本研究では、タグが付けられた Web 動画から自動的に特定動作の対応ビデオショットを抽出するシステム ( [6], [9]) の改良として、VisualTextualRank を提案する。システムの全体はセクション 3.1 で述べられる。VisualTextualRank はセクション3.2 にて詳細に説明される。
3. 1 ビデオショット抽出システムのあらまし
図 1 は提案するビデオショット自動抽出システムの大まかないう教師ありの手法はよく使われている。この手法の有効性流れを示す。提案システムは次の 4 ステップからなる：

は多くの研究によって検証されている。その研究の中は Jones（ 1 ） 動画選択および動画とタグの関連スコアの計算らの研究 [10] が最近の研究である。Jones らの研究はさらに、（ 2 ） ショット分割およびショット類似度の計算

ユーザのフィードバックを活用して認識結果を改良するのを提（ 3 ） 画像選択およびショットと画像の類似度の計算 (オプ案する。

ション)

本研究の目標は、完全自動システムを目指して教師なしの（ 4 ） ショットランキング：VisualTextualRank学習法を利用する。教師信号なしの手法を使う研究としては最初に、第一ステップでは、動画を Web から実際にダウンNiebles らの研究 [11] がある。彼らは PLSA(Probabilistic La-

ロードする前に、与えられたキーワードに対する各動画のタグtent Semantic Analysis) モデルを用いて KTH データセット [4]共起スコアを計算する。ここでは，Web 動画共有サイトによっ—2—

図 1 Web 動画から自動的に特定動作の関連ショットを抽出するシステムのあらまし。我々によって初めに提案されたシステム [6] に新しいショットランキング手法、VisualTextualRank、を導入する。VisualTextualRank はビデオとタグのテキスト類似度と共に、ビデオショットの間のコンテンツ類似度を利用する。て提供される WebAPI を利用して、指定キーワードをタグにる。ただし、[8] ではビデオの全体が評価され、ビデオの視覚特含むビデオのビデオ ID とタグリストを取得する。タグ共起ス徴がまったく考慮されていない。一方で、本研究はビデオの各コアに基づくビデオランキングを行って、ランク上位のビデオシーン (ビデオショット) を評価し、コンテンツに基づく特徴ものみをダウンロードする。

利用する。また、VisualRank [7] は画像の視覚連結のみを使用

次に、第 2 ステップでは、ダウンロードしたビデオに対しカし、テキスト情報 (メタデータ) は活用しない。提案 VTR は

ラー情報によってショット分割を行い、各ショットから視覚特Web ビデオの視覚特徴とテキスト特徴の両方を利用する。ビデ徴を抽出する。このステップでは視覚特徴として Noguchi らのオショットの間の視覚関連およびビデオとタグの相互関係の分提案した時空間特徴 [17] を利用する。ショットを時空間特徴の析結果をタグランキングに適用することによって、単に出現頻BoF として表現し、ショットの類似度行列を計算する。本論文度が多いタグは上位にランクすることはない。よって、ノイズで適用されるタグ共起スコア計算法、ショット分割法、視覚特タグの影響は小さくなり、ショットランキングにより多くのよ徴抽出法および類似度行列計算法は我々の以前の論文 [6] で詳いタグが利用される。

細に説明される。

3 番目のステップはオプションである。ここで、Web 画像お提案ランキング手法 VTR は次で示す式に従ってビデオショッ
トとタグを反復的に共ランキングする：

よび人間ポーズという視覚情報が導入される。そのアイデアとしては動作は環境と実現者によって見た目で異なる場合もあるが、動作を行なう基本的なポーズがあり、動作とポーズは対応関係がある。動作を映す画像にある人間のポーズの含むビデオ

RS k = α × SM ∗ × SC ∗ × RT k + (1 − α) p0 ∗RT k+1 = (SC ) × RS k

(1)
(2)

ショットは関連ショットである可能性が高いということである。
このステップの導入に関しては我々の以前の研究 [9] を参考にしてほしい。
最後に、本研究で提案する VisualTextualRank を適用して、ビデオショットランキングを行い、上位で関連ショットを得る。

3. 2 VisualTextualRank
VisualTextualRank の基本アイデアとしては重要な動画に付けられるタグは重要であり、重要なタグのビデオのショットも重要で、かつ視覚的に類似するというものである。このアイデアに基づいて、VTR では、各ランキングステップにおいて、ショットのランクスコアはショットの相互視覚類似度および対応タグとの関連性によってアップデートされる。またタグは、ビデオショットとの関連性によって洗練される。図 2 は VTRのアイデアを示す。

VTR は Liu ら の 研 究 [8] の ア イ デ ア を 継 承 し て VisualRank [7] を拡張する。[8] では、ビデオとタグもその相互関係に基づいて特定トピックとの関連性の順で共ランキングされRS と RT はそれぞれショットとタグのランクスコアを表すベクトルである。ショット数は ns とタグ数は nt とすれば、RSは ns × 1 次元のベクトル、RT は nt × 1 次元のベクトルになる。SM はショット類似度行列であり、SM [i][j] はショット i とショット j の視覚類似スコアを表す。SM ∗ は SM の列正規化されたものを示し、ns × ns 行列である。SC はショット-タグ類似度行列であり、SC[i][k] はショット i のビデオとタグ k のテキスト関連スコアを表す。SC ∗ は SC の列正規化されたものを示し、ns × nt 行列である。SC 0 は SC の転置行列であり、タグ-ショット類似度行列を示す。VTR では、ショットの ST 特徴のヒストグラムインターセクションを視覚類似度として利用される。ビデオとタグのテキスト関連スコアはビデオとアクションキーワードの関連スコアと同じように計算される。ここで注意して欲しいのは、テキスト特徴 (タグ共起) は視覚特徴より信頼性が低いと思われているのでビデオショットが先にランキングされてから、タグはアップデートされたビデオショットによって洗練されるということにした。

—3—

図 2 VisualTextualRank のアイデアの説明図。ここで示すアクションは “catch+fish” である。青リンクはビデオショットとタグのテキスト的関連、紫リンクはビデオショットの間の視覚的関連を示す。弱リンクは表示されない。最初は (図の左のほう) 赤 BB が付いているショットのみは重要ショットだとわかったが、そのショットは強く関連するタグに自分の投票を投げる。そして次のランキングステップでは、そのタグはまた強く関連するショットに自分の投票を投げる。最後は (図の右のほう) で示すような評価結果が得られる。このように VTR はショットとタグの両方のランクスコアを反復的にアップデートする。

RT は初期で均一ベクトルとして定義される。各ランキング（ 1 ） Exp.1: [6] のフレームワークに VisualTextualRank のステップにおいて、式 1 でビデオショットのランクスコアは視みを適用

覚関連およびタグとの関連性によってアップデートされてから、（ 2 ） Exp.2: [6] のフレームワークに Web 画像＋ VisualTex-

式 2 でビデオショットはタグに自分のスコアを分配する。重要tualRank を導入

ショットは強く関連するタグに大きなスコアを分配するのでそExp.1 は視覚特徴として時空間特徴のみを利用し、補正ベクのタグも重要になる。そして次のランキングステップでは、そトルは式 3 で示すものを使用する。Exp.2 はポーズ特徴も考のタグはまた自分の関連深いのショットのランクスコアを高く慮し、式 4 の補正ベクトルを利用する。実験したカテゴリはする。このように徐々に重要なショットとタグのスコアは上位

精度が 30%以下の 45 動作種類からランダムに選択された。そに行くことになる。の中は、[6] によって 7 カテゴリは 20%〜30%、10 カテゴリはVisualRank のように、我々も補正値 α と補正ベクトル p を10%〜20%、残りは 10%以下の精度が得られた。ここで [6] とショットランキングに導入する。α はランキング結果にあまり同じように、精度とは上位ランク 100 ショットの関連ショット影響を与えない ( [15]) ので [6] に従って α は 0.85 とする。p のの割合を示すものである。実験 Exp.1 と Exp.2 の結果は表 1

設定は以下の 2 つの方法を試す。

で表す。
表 1 からわかるように、VTR はほとんどの実験したカテゴ

(1)

pi

= [1/n](3)(2)
piexp(SI(Si ))= Pn
j=1 exp(SI(Sj ))(4)

リの精度を改善できた。特に、“blow+candle”, “jump+rope”,“catch+fish”, “play+guitar”, “wash+dishes”, “drive+car”,“slap+face”, “squat”, “serve+tennis”, “tie+necktie” は精度が 15%以上改良できた。図 3 で VTR のいくつの成功例を表す。

式 3 で示す均一補正ベクトルはオプションステップ (第 3 ス

また表 1 で示すように、人間ポーズ特徴導入の有効性は、テップ) を適用しないときに使う。一方で、式 4 で示すバイアカテゴリによって違うことがわかる。この特徴を利用するこス補正ベクトルは Web 画像を導入するときに使う。この場合とによって、“serve+tennis” や “row+dumbbell” などのカテは画像に映す人間ポーズの含むビデオショットはバイアスされゴリの結果は改良されたが、“blow+candle”、“eat+sushi” やる。画像を導入した補正ベクトル計算に関しては我々の査読中“drive+car” などのカテゴリの精度は下がった。その理由としの論文（注 1）で詳しく説明される。ては、“serve+tennis” や “row+dumbbell” のように、ポーズ

4. 実験とその結果

特徴は人の全体が写され、オクルージョンが少ない場合に有効であるが、“blow+candle” や “eat+sushi” の場合、上半身のまず、VisualTextualRank および Web 画像導入の有効性を検証するために前に提案したフレームワーク [6] によって関連ショットがうまく検出できていない 20 人間動作カテゴリを対みが写され、テーブルなどでよく抽出できない、ということである (図 4 を参考)。
また、面白い結果として、VTR は VisualRank と比べてラ象に次の二つの実験を行った。

ンキング結果の多様性が改良されるということである。Visual-（注 1）：Do Hang Nga and Keiji Yanai. Automatic Extraction of Rele-Rank は視覚特徴のみを使用するため、ランク上位では見た目vant Video Shots of Specific Actions Exploiting Web Data. Computerで類似する画像のみが出てくる。[6] のように、ショットランキ

Vision and Image Understanding.

—4—表 1 Results of 20 human action categories compared between

baseline and our proposed method. All of these categories
have precision lower than 30% by using baseline method.
VTR means VTR computed with a uniform bias vector(3)while Pose-VTR refers to VTR which uses pose features anddamping vector(4).
Action

[6]

Exp.1

Exp.2

blow+candle

29

44

35

climb+tree

24

24

24

eat+sushi

1223

15

jump+rope

26

49

47

catch+fish

28

59

54

read+book

19

21

20

boil+egg

91114grill+fish

51319

play+guitar

28

4143

wash+clothes

1529

31

wash+dishes

1539

39

drive+car

28

40

34

slap+face

2045

44

squat

1935

36

serve+tennis

1127

30

cook+rice61115

comb+hair

1426

27

roll+makizushi

2436

32

row+dumbbell

1630

33

tie+necktie

1128

27

Average

17.9

31.5

30.9

図 3 VTR を適用することによって検出できた 10 関連ショット。[6]のフレームワークは上のショットを検出できなかった。ここで示
すカテゴリは [6] によって 30%以下の精度を得たものである。

ングに VisualRank を適用することによって、上位で視覚類似のショットのみが見られる場合がある。一方で、VTR は視覚情報だけではなく、ビデオとタグのテキスト情報も利用するので関連ショットと強いテキストリンクを持つショットも上位に行く可能性がある (図 5)。
提案 VTR の有効性をもっと検証するために、以前に提案したフレームワーク [6] で 30%より高い精度が得られたカテゴリにも実験を行った。上の結果から画像適用なしのフレームワークのほうは平均精度が高いことがわかったのでこの実験ではVTR のみを適用したフレームワーク (Exp.1) を利用する。この実験での 10 カテゴリは精度が 30%より高いカテゴリからランダムに選択されたものである。その結果は表 2 で表す。結果
例は図 6 で示す。
表 2 で 示 す 結 果 か ら わ か る よ う に 、“harvest+rice” の以外はすべての実験したカテゴリの結果はかなり改良

図 4 ポ ー ズ 特 徴 の 有 効 性 。上 の カ テ ゴ リ:

“serve+tennis”、“row+dumbbell” (全身可視) と “grill+fish” (上半身がよく見える) はポーズ特徴が有効な場合である。下のカテゴリ：で き た 。特 に 、“play+trumpet”、“ski”、“dance+hiphop”、‘blow+candle”、“eat+sushi”、“drive+car” (上半身のみ可視、“swim+crawl” の 4 種類の精度はよく改善された。平均精度はオクルージョンあり) はポーズ特徴を適用することによって精度約 8%改善できた。したがって、ほとんどのカテゴリに対し、が下がる場合である。この場合、VTR のみ (Exp.1) の方はよい

VTR を適用することによって、より多くの関連ショットが得ら精度が得られる。

れたことがわかる。

5. 結論

本論文では、VisualRank を拡張した新しいランキングメソッ
ド、VisualTextualRank、を提案した。VisualTextualRank はンクを利用してビデオショットとタグを同時にランキングする手法である。特定動作の関連ショットを自動抽出するフレームワークに VisualTextualRank を適用して VisualTextualRankの有効性を検証できた。

ビデオショットの視覚リンクおよびビデオとタグのテキストリ—5—

図 5 ベースライン手法 [6] と提案手法による結果の多様性の比較例。
この図は “play+guitar” の上位 10 ショットを示す。ベースライン手法によって上位で videoID が “6P–1elQwRE” のビデオのショットのみが得られた。一方で、VTR は視覚情報だけではな
くテキスト情報も利用するので異なるビデオからのショットを検出できる。
表 2 VTR の有効性の検証のための追加実験。実験したカテゴリは

図 6 VTR によって検出された関連ショットのなかの 5 ショット。こVTR 適用なしのフレームワーク [6] によって 30%より高い精度

こで実験したカテゴリは VTR 適用なしのフレームワーク [6] よが得られたものである。

りも提案手法によって 30%高い精度が得られたカテゴリ。

Action[6]VTR

harvest+rice

49

46

play+trumpet

41

59

ski

49

60

dance+hiphop

43

68

play+drum

40

45

shave+mustache

31

30

dance+flamenco4553

clean+floor

31

38

pick+lock30

28

swim+crawl

36

49

Average

39.5

47.6

[9]

[10]

[11]

[12]

文献

[1] J. Liu, J. Luo, and M. Shah. Recognizing realistic action
from videos. In CVPR, 2009.
[2] H. A. Jhuang, H. A. Garrote, E. A. Poggio, T. A. Serre,
and T. . Hmdb: A large video database for human motion
recognition. In ICCV, 2011.
[3] M. Marszalek, I. Laptev, and C. Schmid. Actions in context.
In ICCV, 2009.
[4] C. Schuldt, I. Laptev, and B. Caputo. Recognizing humanactions: A local SVM approach. In ICPR, pp. 32–36, 2004.
[5] M. Blank, L. Gorelick, E. Shechtman, M. Irani, andR. Basri. Actions as space-time shapes. In ICCV, 2005.
[6] D. H. Nga and K. Yanai. Automatic construction of an action video shot database using web videos. In ICCV, 2011.
[7] Y. Jing and S. Baluja. Visualrank: Applying pagerank tolarge-scale image search. PAMI, Vol. 30, No. 11, pp. 1870–1890, 2008.
[8] L. Liu, L. Sun, Y. Rui, Y. Shi, and S. Yang. Web video[13][14]

[15]
[16]
[17]

topic discovery and tracking via bipartite graph reinforcement model. In WWW, pp. 1009–1018, 2008.
D. H. Nga and K. Yanai. Automatic collection of web video
shots corresponding to specific actions using web images. In
CVPR Workshop on Large-Scale Video Search and Mining,
2012.
S. Jones, L. Shao, J. Zhang, and Y. Liu. Relevance feedback
for real world human action retrieval. Pattern Recognition
Letters, 2012.
J. Niebles, H. Wang, and L. Fei-Fei. Unsupervised learningof human action categories using spatial-temporal words. InBMVC, 2006.
J. Niebles, B. Han, A. Ferencz, and L. Fei-Fei. Extracting
moving people from internet videos. In ECCV, pp. 527–540,2008.
N. I. Cinbins, R. G. Cinbins, and S. Sclaroff. Learning actions from the web. In ICCV, pp. 995–1002, 2009.
L. Ballan, M. Bertini, A. D. Bimbo, M. Meoni, and G. Serra.
Tag suggestion and localization in user-generated videos
based on social knowledge. In Proc. ACM MM WS on Social Media, pp. 3–7, 2010.
Q. Yang, X. Chen, and G. Wang. Web 2.0 dictionary. InCIVR, pp. 591–600, 2008.
D. Liu, X.S. Hua, L. Yang, M. Wang, and H.J. Zhang. Tagranking. In WWW, pp. 351–360, 2009.
A. Noguchi and K. Yanai. A surf-based spatio-temporal feature for feature-fusion-based action recognition. In ECCV
WS on Human Motion: Understanding, Modeling, Captureand Animation, 2010.

—6—