画像・映像の認識 と 意味的検索
IPSJ音声研究会, IEICE音声言語情報処理研究会
テーマセッション「音声と情報検索」
2010年 7月22日 仙台 秋保温泉 緑水亭

電気通信大学大学院 総合情報学専攻

柳井 啓司
The University of Electro-Communications
Tokyo, JAPAN (UEC)2

アウトライン 意味的内容検索の重要性

 最近の画像認識
 特定物体認識と 一般物体認識
 基本手法： Bag-of-Features (BoF) 動作認識 意味的映像検索 と TRECVID
 特徴量 と 特徴統合

 まとめ

The University of Electro-Communications
Tokyo, JAPAN (UEC) 画像・映像の「検索」と「認識」

１．画像・映像の「検索」と「認識」

4

画像検索 (1)

類似画像検索も

The University of Electro-Communications
Tokyo, JAPAN (UEC)

キーワード検索 「Web画像検索」が最も身近

5

2003年

The University of Electro-Communications
Tokyo, JAPAN (UEC)

GoogleImage
Searchの進歩lion animal

2005年

The University of Electro-Communications
Tokyo, JAPAN (UEC)

GoogleImage
Search
の進歩

6

7

2009年

The University of Electro-Communications
Tokyo, JAPAN (UEC)

GoogleImage
Searchの進歩82009年 類似画像検索

The University of Electro-Communications
Tokyo, JAPAN (UEC)

GoogleImage
Searchの進歩

10

画像検索 (2)The University of Electro-Communications
Tokyo, JAPAN (UEC)

ジオタグ（緯度経度）検索 位置で検索

11

動画検索

The University of Electro-Communications
Tokyo, JAPAN (UEC)

キーワード検索 タグ検索12

身近な画像・映像検索
 メタデータに基づく検索．
 キーワードは，HTML周辺テキスト(Web画像検索)

もしくは，人手入力（共有サイト Youtube, ニコ動）
 位置検索の場合は， GPSか人手入力 (Panoramio)
 Google Similar (類似画像検索) は，例外
 画像特徴量に基づく検索．
 ただし，キーワード検索後に，同一キーワード画像

内での検索．検索可能画像はごく一部．
 意味は認識していない．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 実用レベルは 「キーワード検索」「位置検索」

13

研究レベルの画像・映像検索
 キーワードに基づく検索

実用レベル• テキスト検索 と同じ． 研究対象とはならない．
• 事前にキーワードが付不されていることが前提．

 Content-based image/video retrieval(CBIR/CBVR)

研究レベル

 画像・映像特徴量に基づく検索．キーワード丌要．

• 画像・映像 ⇒ 画像・映像 の検索 とキーワード ⇒ (キーワードなし)画像・映像 の２通り．

The University of Electro-Communications
Tokyo, JAPAN (UEC) Keyword-based image/video retrieval

14
なぜ「研究レベル」の内容検索は（20年以上研究されているのに）普及しないか？

 見た目の類似性では検索できるが，意味レベルの類似性での検索ができない．

使えない技術？

類似

 すでに十分のキーワード付き画像がある．
 写真共有サイトには，４５億枚の画像．大部分がタグ(キーワード)付き画像．

画像検索には，さらに多くの画像．

の動画もほとんどキーワード付き．

キーワード検索で十分では？

The University of Electro-Communications
Tokyo, JAPAN (UEC) 「意味」を考慮した画像検索ができない．

15

The University of Electro-Communications
Tokyo, JAPAN (UEC)16

The University of Electro-Communications
Tokyo, JAPAN (UEC)17

内容検索技術が必要な場面．
The University of Electro-Communications
Tokyo, JAPAN (UEC) 個人アルバム写真に対する検索．
 自分で撮った写真には，普通はキーワードはない．
• 「自分の子どもが運動会で走っている」写真が欲しい時．
• 「富士山に登った時の写真で，自分が履いていた靴が写っている」写真が欲しい時．

意味を考慮した複雑な検索が可能になる必要がある！
 個人が持っている映像，Web映像の場面検索．
でも，現時点ではまだ困難．

テレビ映像には，メタデータとして，音声キャプションテキストがあるが，内容を必ずしも反映していない．
映像中から見たい 個人ビデオ映像には，テキスト情報はない．
シーンを探すには
内容検索が丌可欠
 Web(Youtube)動画も，時間と対応したメタデータは少ない．
• 「チャーシューメンを食べているシーン」が見たい時．
• 「仙台の秋保温泉での露天風呂シーン」が見たい時．

（話は戻って）

18

２種類の内容検索(CBIR/CBVR)
 画像特徴量類似

類似

 映像の場合は画像特徴＋動き特徴＋音声特徴

 意味的な類似性に基づく検索“semantic gap”

 意味の認識が必要！

見た目の類似性は，意味の類似性と一致しない！

 しかし，「特徴量」と「意味」の間には，“semantic gap” が存在！

The University of Electro-Communications
Tokyo, JAPAN (UEC) 見た目の類似性に基づく検索“semantic gap”の克服のためには意味の「認識」が必要！

19

 「一般物体認識」：物体の「カテゴリー名」を認識

The University of Electro-Communications
Tokyo, JAPAN (UEC) 「画像認識」「コンピュータビジョン」研究の一部．

• IPSJ-CVIM研究会．IEICE-PRMU研究会．MIRU2010.
 自動キーワード付不とみなせる．

「さしみ」“semantic gap”の克服は容易ではない．
画像認識研究の究極の目標

20

内容検索の手順
ライオン
データベース
登録画像

入力画像
画像特徴抽出

画像特徴抽出

学習画像（意味カテゴリ付き）

データベース
登録画像

画像特徴抽出

画像特徴抽出分類器学習

インデックス生成

分類
照合

データベース

学習済み分類器カテゴリー名の出力（キーワード自動付与）

類似画像の出力(a) 見た目に基づく画像検索

The University of Electro-Communications
Tokyo, JAPAN (UEC)

トラ

データベース「さしみ」「ライオン」．．．

(b) 意味に基づく画像検索(一般物体認識)

キーワード検索．
場合によっては，ユーザのフィードバックに基づいて，見た目に基づく画像検索を実行．

２．最近の画像認識【参考文献】
柳井啓司. 一般物体認識の現状と今後. 情報処理学会論文誌: コンピュータビジョン・イメージメディア,
Vol.48, No. SIG16 (CVIM19), pp. 1-24, 2007.

22「画像認識」研究とは？
 基礎：画像処理，特徴抽出，領域分割
 パターン認識 基礎理論
 光学的解析, 画質改善
 ３次元復元．ステレオ復元．
 トラッキング．
 CGとの融合．Augmented Reality.
 物体認識，画像検索⇒ 狭義の「画像認識」

 実用化システム（ITS，医用画像，セキュリティなど）

The University of Electro-Communications
Tokyo, JAPAN (UEC) いろんなタスクがあります．

（狭義の）「画像認識」の基本的な処理「ライオン」
「椅子」

特徴
抽出

「山」

機械
学習
モデル
の学習

The University of Electro-Communications
Tokyo, JAPAN (UEC)

学習

３つの基本要素 学習データ 特徴抽出 機械学習手法

ラベル付き学習データ

分類「ライオン」

？

特徴
抽出

学習済
モデル
による
分類

「山」
「椅子」

未知の画像
認識結果（名称と存在位置）画像認識＝特徴抽出＋機械学習

24＋学習データ Bag-of-Features (Bag-of-Keypoints(BoK) もし

くは Bag-of-Visual-Words(BoVW) ともいう．)
 一般物体認識に有効であることが示されている．
 機械学習の進歩
 SVMなどの機械学習手法の進歩

The University of Electro-Communications
Tokyo, JAPAN (UEC) 特徴抽出の決定版の手法の登場 (2004年)

 オープンソースライブラリの整備

 Ｗｅｂからの学習画像データの容易化 もちろん，計算機の高速・大容量化も．

２０００年以降，研究が急速に発展！ 今や大ブーム．

25「物体認識」とは？
空カテゴリー認識

トラ

文字認識

顔画像検出

山
芝生

カテゴリー認識 シーン認識

同一物体の認識安倍３Dモデル物体認識

谷垣

顔画像認識

The University of Electro-Communications
Tokyo, JAPAN (UEC) 画像中の「物体」を認識する技術，研究分野

特定物体検出26

カテゴリー・同一物体認識
 文字認識一般物体認識 顔検出
 一般的な名称の物体・シーンを認識(e.g. ライオン，ラーメン，山，空） 同一物体認識
 部品認識 (3D モデルベースト認識)
 人物名認識 登録物体の検索

特定物体認識The University of Electro-Communications
Tokyo, JAPAN (UEC) カテゴリー認識

27

特定物体認識 (同一物体認識)

見た目（appearance）がまったく同じ物体を検出

現時点では剛体なら９０％以上認識可能．ただし，顔や動物などの変形物体は難しい．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 特定の登録物体が画像中にあるかどうか認識28

特定物体認識の技術的背景

 大量の特徴点に対する検索
 1枚の画像から数百点

The University of Electro-Communications
Tokyo, JAPAN (UEC) 局所丌変特徴量による特徴点マッチング⇒ ５０万枚画像で１億点
 Approximate Nearest Neighbor (ANN) Locality Sensitive Hashing (LSH)認識というよりも Visual Words + Inverted Index“同一部分検索“

29

局所特徴：対応点探索のための特徴

その部分の周辺パターンをベクトル化（特徴点記述） 特徴点：画像の変化（回転や拡大など）があっても常に

The University of Electro-Communications
Tokyo, JAPAN (UEC) 画像の特徴的な部分を検出し（特徴点検出），

検出される特徴的な場所（山の山頂，色の境目など）
特徴点ベクトル： 回転，拡大縮小があっても，同じ見た目のパターンはほぼ同じベクトル値
になる


v

30

局所特徴量による対応点探索
 パノラマ画像生成．（複数画像からの大画像生成）

 ３次元計測．（2枚の対応と相対撮影位置が分かれば，3次元ステレオ計測が可能．）

 特定物体認識．（同一物体の対応付け．）The University of Electro-Communications
Tokyo, JAPAN (UEC) 2枚の画像の点の対応が分かると．．

31

局所特徴による特定物体検索

The University of Electro-Communications
Tokyo, JAPAN (UEC)

query

query
query

[7] Video Googleより

32

一般物体認識 (カテゴリー認識)
 デジカメやWebの画像を自動認識．
 画像内容クマを 言語（記号） で記述．意味理解．

（草の上の）トラ（草を食べる）ゾウ

静止画像に対して，その中に含まれる物体もしくはシーンの一般名称（カテゴリー）を認識
究極的には人間以上にあらゆる画像を認識

The University of Electro-Communications
Tokyo, JAPAN (UEC) “一般的な”実世界画像の認識

33

一般物体認識の技術的背景(BoF)⇒ Visual words 表現

frequency

 特徴点の丌変特徴ベクトルのベクトル量子化表現

visual words

 SVM＋BoF向きカーネル による分類
 カイ２乗RBFカーネルやヒストグラムインターセクションカーネルの利用
 1 | xi  yi |2 
kCHI ( x, y )  exp   | xi  yi |  

k HI ( x, y)   min( xi , yi )The University of Electro-Communications
Tokyo, JAPAN (UEC) Bag-of-Features表現

34

一般物体認識研究の背景


認識対象を限定していた （例．部品，顔，文字，自然風景）

近年のデジタルカメラ等の普及
The University of Electro-Communications
Tokyo, JAPAN (UEC)

従来の画像認識

一般画像データの入手の容易化
一方，計算機は意味は分からずにただ蓄積．

対象を限定しない一般的画像の認識技術の必要性

画像内容による画像の自動分類，検索
画像の意味的処理．画像の取り扱いに関する
自動キーワード付不セマンティックギャップ解消のための技術．

35「一般物体認識」大ブーム到来！
(1) 局所特徴量による新しい画像表現の提案
SIFT と Bag-of-features(2) 機械学習の進歩
SVM, boosting, graphical model, MCMC，…

(3) 大規模データセットの入手の容易化
Web, Web Image Search, CGM, Flickr, Youtube, Mturk(4) 計算機(PC)の高速大容量化
メモリ: GB, HDD: TB, マルチコア, クラスタ
クラウドコンピューティング

The University of Electro-Communications
Tokyo, JAPAN (UEC) ２０００年以降に急速に研究が発展！

一般物体認識の分類 (1)

クマ

トラ

ゾウ

 画像アノテーション：複数ラベルの付不
クマ
草
水

トラ
草
草原

ゾウ
キバ
空
草
草原

The University of Electro-Communications
Tokyo, JAPAN (UEC) 画像全体のカテゴリー分類

一般物体認識の分類 (2)
grass

grass
tiger
grass
tiger

 カテゴリー物体検出：ウィンドウ探索

The University of Electro-Communications
Tokyo, JAPAN (UEC) 画像ラベリング：領域分割→分類

 オブジェクト領域抽出：認識＋領域分割
37

認識カテゴリーの例

38

空
空

物体カテゴリー認識
The University of Electro-Communications
Tokyo, JAPAN (UEC)

建物 // ビル
ビル
建物

木 // 桜桜木木/桜木 // 桜
桜
木
建物
建物

外灯
外灯
信号機
信号機
自転車
自転車

道路
道路

自動車 // バン
バン
自動車

バス
バス

39

シーンカテゴリー認識【時間について】

• 屋外

•春

•街

• ４月

• (中層)ビル群

• 日中
• 晴天

以下は「固有名詞」
• 日本

•

．．．

The University of Electro-Communications
Tokyo, JAPAN (UEC)【場所について】• 東京都多摩市• 聖蹟桜ヶ丘• 京王百貨店• 緯度：N35.653488
経度：E139.44564

こうしたカテゴリー（属性）は，すべて（広義の）「一般物体認識」の認識対象

40

一般物体認識の困難性
 同一種類(カテゴリー)の物体でも形は様々. 変形も．
 撮影時の条件が多様（視点位置，向き，変形，

スケール，照明（天候），背景，オクルージョン）
 認識対象が多い．（カテゴリー数が多い．）
 辞書に出ている名詞の数だけある！

 何を認識するべきか？

数万？

レベルは？ 動物orライオン?

様々な「ライオン」

The University of Electro-Communications
Tokyo, JAPAN (UEC) 認識対象が多様（カテゴリー内変化が大）41

一般画像認識の歴史

研究者の知識がすべて！

 人手によるルール記述に一般性がない．知識爆発．

80年代後半 3次元の復元. モデルベースト．
 Identificationのみ．形状既知．実世界でうまくいかない．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

７０年代 線画解釈．（画像処理が中心．）
８０年代前半 知識ベース型システム.

90年代 学習による認識．顔画像やidentification中心．
 顔画像認識(Eigenface)の成功．固有空間法.
 画像ＤＢにおける画像の意味的分類．

00年代 局所特徴＋機械学習 により 大きく進歩
９０年代までは，画像認識においてはマイナーな研究分野．

2000年以降の発展 突然ブレイク！

42

Bag-of-Features, SVM + PCの進化, Webの発展
The University of Electro-Communications
Tokyo, JAPAN (UEC)

2000年 Constellation model (確率モデル)
2001年 確率手法による単語と画像の対応付け
2002年 Word-image translation model
2003年 Video Google (image search by visual words)
2004年 Bag-of-Features(BoF)+SVM
2004年 Caltech101 (101カテゴリーのデータセット）登場
2005年～ BoF + probabilistic graphical model(PLSA, LDA, HDP, their modifications)

BoF + SVM with modified kernel
BoF + CRF for semantic region segmentation
2007年 Caltech256 (256カテゴリーのデータセット）登場

43

最新の一般物体認識の分類精度[Varma et al. 2007]

84.3 %
50.8％

The University of Electro-Communications
Tokyo, JAPAN (UEC) Caltech-101/256

Caltech-101/256 の認識精度は，年々少しずつ上昇．
OxfordVisualGeometry Group
HP新しいブレークスルーが必要！
より(単一特徴で73.0% ICCV2009)
BoF+MKLが現在の最高精度→

３．基本的な手法：
Bag-of-features

46

全体特徴から局所特徴へ
 固有空間法，領域分割を用いた方法
 問題点：物体の隠れや変形に弱い．

原画像

Constellation model Part-based手法の登場:

複数の部分の組み合わせで認識 局所パターンの分布に基づく認識(bag-of-features)

星座モデル

frequency

位置関係を考慮すると視点変化に弱くなる．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 従来の認識: 認識対象の全体を利用

visual words

Bag-of-featuresモデル

49

局所特徴量
をベクトル化(64～128次元）
 類似パターンは，回転・拡大・位置によらず，類似したベクトルになる
 SIFT法 と SURF法が有名• フリーソフトを利用可能．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 局所パターン(10x10～30x30程度)

Bag-of-features [Csu04]：

51

visual wordの一般物体認識への適用
 Visual words のヒストグラムを画像特徴とする
 単語出現頻度によりテキストを表現する方法の

The University of Electro-Communications
Tokyo, JAPAN (UEC) Visual words の集合として画像を表現

bag-of-wordsの考え方を画像に応用．語順を無視するのと同様に，位置を無視．
 Bag-of-features によって表現された

特徴ベクトルをNaive Bayes, SVMなどの機械学習手法で分類．テキスト分類と同じ！
 Bag-of-visual-words (BoVW)，
Bag-of-keypoints (BoK) とも言うことがある．

Bag-of-featuresのアルゴリズム：
bag-of-features表現への変換
2.

3.

4.

各画像について，数千個の特徴点を抽出．
SIFT法
SIFT記述子により特徴点周辺パターンを（特徴点抽出＋記述）
SIFT特徴ベクトルとして抽出．
予め求められた visual words (codebook)に基づいてSIFT
特徴ベクトルをベクトル量子化．
画像毎にヒストグラムを作成．
frequency

1.

The University of Electro-Communications
Tokyo, JAPAN (UEC) 画像を visual word の出現頻度ヒストグラムで表現

visual words

特徴点のサンプリングの方法
SIFT法の方法

sparse sampling と呼ぶ
 Difference of Gaussian(DoG)
１画像 数百点 Random sampling
dense sampling と呼ぶ
 Grid sampling
１画像 数千点

DoG (sparse)

random(dense)

grid(dense)

カテゴリー分類（classification)においては，パターンのない部分の情報も重要．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 主な3つの方法

こちらが主流Visual words の求め方
を全画像から抽出 （枚数が多い場合は，ランダムサンプリング）
 k-means クラスタリングを実行
各クラスタの中心が “visual words”

vi vi
vi vi
vi
vi vi
vi
vi v
i
SIFT vectors“Visual words” は，代表的な
局所パターンに相当する．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 学習画像（正例，負例）を用意し，SIFT特徴ベクトル

55

Bag-of-features 表現

The University of Electro-Communications
Tokyo, JAPAN (UEC)

frequency

Visual wordsの出現頻度（ヒストグラム）
によって画像を表現．

…..
Visual words(数百～数千個)

次元は，数百～数千次元．
スパースなベクトルになる．

56

The University of Electro-Communications
Tokyo, JAPAN (UEC)57

The University of Electro-Communications
Tokyo, JAPAN (UEC)Bag-of-features 表現：
代表パターンの集合による表現[ICCV 2009 tutorial スライドより]

Bag of ‘words’

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Object同一カテゴリー：同一代表パターンを含む
異なるカテゴリ：代表パターンは異なる．

[ICCV 2009 tutorial スライドより]

The University of Electro-Communications
Tokyo, JAPAN (UEC) 代表パターンのヒストグラム表現

Bag-of-features表現を用いた
画像認識
 最初の論文[Csu04]では，以下の2つの手法で実験• SVM (support vector machine)• Naive Bayes
従来手法の結果を大きく改善
従来の特徴量と異なり，局所特徴の集合は
画像の「意味」を反映しているとみなせる．

 例：Web画像の分類
 10種類のキーワードについて，平均適合率• 従来手法（領域分割＋GMM）• BoK + SVM: 73.5％: 82.4%The University of Electro-Communications
Tokyo, JAPAN (UEC) あとは，多次元ベクトルの分類問題

61

63

[まとめ] Bag-of-featuresの特徴


認識方法ではなくて，画像の表現方法．
局所出現パターンのヒストグラム．







The University of Electro-Communications
Tokyo, JAPAN (UEC)

カラーヒストグラムに似ているが，色空間の代わりに
SIFT記述子空間(128次元)をk個に分割．SIFT記述子の回転，拡大縮小に丌変な特性を受け継ぐ．
単語の順番を無視して，単語の出現頻度のみで文章を表現するbag-of-words表現と等価．Bag-of-visual-words.

Bag-of-words用のテキスト処理手法が適用可能．
SIFT/SURF と k-means で容易に実装可能．


SIFT/SURFは公開ソフトが利用可能．SIFT++, OPENCVなど．
k-meansは教科書レベル．
分類は，SVMを使えば簡単高性能．(LibSVM, OPENCV ml lib.)時間方向(動画)への拡張 :Bag-of-video-words
visual wordsによって動画を表現
 動きを考慮した特徴点を抽出し，

cuboidなど[画像＋動き]の特徴量を抽出．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 時空間特徴量をVQ化し，spatio-temporal

67

KTHデータセット

The University of Electro-Communications
Tokyo, JAPAN (UEC)KTHデータセットの最新結果
The University of Electro-Communications
Tokyo, JAPAN (UEC) 我々が実験中の結果は，94.5％
 今までの最高は，96.7%
動作認識もBoFで可能．局所特徴以外は画像分類とほとんど同じ．

教師信号ありの大量Web動画ショット分類
Runningの学習セット

１位

２位

３位

・・・・・

分類器

The University of Electro-Communications
Tokyo, JAPAN (UEC)

大量のWebショット

実験結果
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

MKL
VMR
motionvisualrandomThe University of Electro-Communications
Tokyo, JAPAN (UEC) 教師信号ありランキング付け

Web動画分類

結果のデモ
http://img.cs.uec.ac.jp/noguchi-a/reject/index.html

The University of Electro-Communications
Tokyo, JAPAN (UEC) 教師信号ありランキング付け

74

物体認識，動作認識の組み合わせ
 物体名，シーン名

 動作認識は「動詞」を認識
 主に

人間の動作

 組み合わせれば，「ラーメンを食べている人」「運動会で走っている人」などが認識可能．
 でも，現時点では，組み合わせの研究は始まったばかりで，まだ多くの研究が必要．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 物体認識は「名詞」を認識

3．意味的映像検索，
ＴＲＥＣＶＩＤとは？

76

意味的映像検索とは？

 「走行中の車のフロントガラス越しに見た路上」
 「多数の人がいる屋外シーン」
 「最上階まで見えているビル」
 「電話で話している人」

TRECVIDという映像認識
ベンチマークでのタスク

The University of Electro-Communications
Tokyo, JAPAN (UEC)

大量の映像データに対して，言葉で表現されたシーンの検索を行うこと

TRECVID の 概要
競争型国際ワークショップ 米国の国立標準技術研究所(NIST)が主催
 テキスト検索ワークショップTREC(Text Tetrieval

Conference)から派生したもの
 映像データがNISTより参加者に提供される
 参加は無料．ただし，映像データを入手したら，結果を提出する必要がある．
 4つのタスクから1つ以上を選んで参加．
 参加者な結果を提出し，NISTが評価．
全結果は，名前入りでWS及びWebで公表される．

The University of Electro-Communications
Tokyo, JAPAN (UEC) ビデオ検索の研究を促進するための

78

TRECVID 2009 の４つのタスク
高次特徴抽出(High-level feature extraction)2.

検索 (Search)

3.

一般物体認識，動作認識のタスク

最初のスライドの意味的映像検索

Event detection

監視カメラ映像に対して，eventを検出
PersonRuns, CellToEars, Pointing, OpposingFlow,…

4.

Copy detection

同一映像が再利用されている箇所を検出
本講演では，１を中心に，１, ２について扱う．


The University of Electro-Communications
Tokyo, JAPAN (UEC)

1.

79

2009年の状況
Event
detection45

9/9 締切20

9/23 締
切

サーチ

登録チー
ム

71

結果提出
チーム

44

9/17 結果発表

10/1結果
発表

合計で96チームが登録
高次特徴抽出は，日本からは NII, NHK, 旭化成, UEC.

The University of Electro-Communications
Tokyo, JAPAN (UEC)

48

Copy
detecti
on
51

高次特徴

TRECVID2009の実験データ
番組など様々なジャンルを含む）
 学習データ ：106時間分 64GB
 テストデータ：280時間分 179GB
 付随データ 各ショット分割境界情報，ショットID• 学習データ ： 36.262 ショット• テストデータ： 61,382 ショット
 各ショットと対応する音声認識テキスト• オランダ語テキスト，機械翻訳された英語テキスト• 無音の映像もある．

The University of Electro-Communications
Tokyo, JAPAN (UEC) オランダ語映像（ニュース，ドキュメンタリー，教育それなりの計算設備が必要

The University of Electro-Communications
Tokyo, JAPAN (UEC)

クラスタ計算機
高速大容量ファイルサーバ
が必須

82

高次特徴抽出タスク「高次特徴」の抽出を行うタスク
 2009年は，20種類の特徴．

 「特徴」と名が付いているが，一般物体認識，動作認識そのもの
 ショット映像，そのフレーム画像，
動き，声，音声認識テキスト が利用可能．
 Generic method を用いること．対象毎に専用detectorを作ることは奨励されない．
（ブラウザで例を示します）

The University of Electro-Communications
Tokyo, JAPAN (UEC) 意味的検索のための要素となる83

2009年 高次特徴(1)The University of Electro-Communications
Tokyo, JAPAN (UEC)

001 Classroom
002 Chair
003 Infant
004 Traffic-intersection
005 Doorway
006 Airplane_flying
007 Person-playing-a-musical-instrument
008 Bus009 Person-playing-soccer
010 Cityscape84

2009年 高次特徴(2)The University of Electro-Communications
Tokyo, JAPAN (UEC)

011 Person-riding-a-bicycle
012 Telephone
013 Person-eating
014 Demonstration_Or_Protest
015 Hand
016 People-dancing
017 Nighttime
018 Boat_Ship
019 Female-human-face-closeup
020 Singing

20種類の認識対象 (1)Bridge ： 橋

Two people ： 二人
(人込みの一部を除く)

Emergency Vehicle ：Bus ： バス
緊急車両(軍用車両を除く) (バンとSUV を除く)

Dog : 犬(狼を除く)

Driver ： 運転手

Kitchen ： キッチン

Cityscape ： 大都市の眺め(町レベルを除く)

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Classroom ：学校の教室 Airplane _flying ： 飛行(一人以上の学生が必ず現 中の飛行機(ヘリコプター、れる)ロケットを含まない)

20種類の認識対象 (2)Mountain ： 山

Telephone ： 電話

Nighttime ： 夜(光の下で行われたスポーツイベントを除く)

Street ： 街路(高速道路，
Boat Ship ： 船
特殊道路を除く)
Demonstration Or
Protest ： デモ抗議活動

Flower ： 花

Hand ： 手(手はショットの主な部分でなければならな
い)Singing ： 一人以上が歌っているシーン

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Harbor ： 港87

高次特徴抽出タスク(2) 学習データ：106時間分 36.262 ショット テストデータ：280時間分 61,382 ショット

The University of Electro-Communications
Tokyo, JAPAN (UEC) 使用データ：オランダ語ドキュメンタリー映像

 学習データは参加者が共同でWeb上でアノテーションして作成．
 過去のTRECVIDの学習データ(2003～)も利用可能．LSCOM-439も利用可能．
 学習データに独自画像映像も利用可能．Web画
像(Flickr)を用いるチームもある．(A:共通GT, B:＋独自アノテーション，Ｃ:＋独自映像)

88

検索(search) タスク
 3つの

方法が
ある．

完全自動

人手で質問解釈

インタラクティブ 高次特徴の結果を利用．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 意味的映像検索そのもの．

89

検索(search) タスク (2)サーチ時間も評価対象．
 ユーザインタフェースの工夫も重要．

The University of Electro-Communications
Tokyo, JAPAN (UEC) インタラクティブサーチは，

90

2009年のサーチトピック(全24)vehicle through the front window Find shots of a crowd of people, outdoors,
filling more than half of the frame area
 Find shots with a view of one or more tallbuildings (more than 4 stories) and the top
story visible
 Find shots of a person talking on a telephone Find shots of a closeup of a hand, writing,drawing, coloring, or painting

The University of Electro-Communications
Tokyo, JAPAN (UEC) Find shots of a road taken from a moving

91

2009年のサーチトピック(全24)
at a table Find shots of one or more people, eachwalking up one or more steps
 Find shots of one or more dogs, walking,running, or jumping
 Find shots of a person talking behind a
microphone

The University of Electro-Communications
Tokyo, JAPAN (UEC) Find shots of exactly two people sitting

92

2009年のサーチトピック(全24) Find shots of people shaking hands
 Find shots of a microscope Find shots of two more people, eachsinging and/or playing a musicalinstrument
 Find shots of a person pointing
 Find shots of a person playing a piano

The University of Electro-Communications
Tokyo, JAPAN (UEC) Find shots of a building entrance

93

2009年のサーチトピック(全24) Find shots of printed, typed, or

handwritten text, filling more than halfof the frame area
 Find shots of something burning withflames visible
 Find shots of one or more people, eachat a table or desk with a computervisibleThe University of Electro-Communications
Tokyo, JAPAN (UEC) Find shots of a street scene at night94

2009年のサーチトピック(全24)on the ground, seen from outside
 Find shots of one or more people, eachsitting in a chair, talking
 Find shots of one or more ships orboats, in the water Find shots of a train in motion, seenfrom outside
 Find shots with the camera zooming inon a person's face

The University of Electro-Communications
Tokyo, JAPAN (UEC) Find shots of an airplane or helicopter

95

Video Olympic
参加者が1か所に集まって行うイベント
 ACM Conf. on Image and Video Retrieval(CIVR) で開催．今年は，Santorini, Greece

The University of Electro-Communications
Tokyo, JAPAN (UEC) インタラクティブサーチタスクを

4．TRECVIDの方法：

多種類特徴抽出と特徴統合手法98

TRECVIDで用いられる主な方法
 多種類の特徴の抽出 Early fusion もしくは Late fusion で統合• Early fusion : すべての特徴をベクトル結合もしくはカーネルで統合して，SVMで学習• Late fusion : それぞれの特徴を単独でSVMで学習してから，SVM出力値を統合

The University of Electro-Communications
Tokyo, JAPAN (UEC) 高次特徴抽出 検索(サーチ)
 検索トピックを抽出済みの高次特徴に対応付けし，

重み付きで高次特徴のランキングを統合．
自動の場合は，辞書やWebで検索語拡張．

99

高次特徴抽出のための特徴量
数通りのサンプリング法
 Color histogram, Color moment
 Gabor特徴
 顔特徴 (face detectorで検出された顔の数）
 動き特徴 (optical flow histogram)，時空間特徴
 音声テキスト特徴 (bag-of-words)，音声特徴(MFCC)

The University of Electro-Communications
Tokyo, JAPAN (UEC) Bag-of-features:

画像特徴はショットの代表フレームから抽出
1ショットから多数のフレーム画像を抽出する方が高精度であることが2008に示された．

チームによって異なるが主な特徴は以上．
画像特徴のみ利用のチームも多い．上位チームでも．
Mountain, buildingなど背景物体が多いので，
テキスト特徴や音声特徴は，役立たないことが多い．

Late fusionによる特徴統合
色

テキ
スト

デ
ー
タ

グリッド分 動
き
割
顔

局所領
域

テクス
チャ
特徴抽出

SV
M

SV
M
SV
M
SV
M
SV
M
モデリング

The University of Electro-Communications
Tokyo, JAPAN (UEC)

全
体

局所
パター
ン

SV
M

Boosting/AP出weighted 力
fusion統合

102

Late fusion による統合
The University of Electro-Communications
Tokyo, JAPAN (UEC) AdaBoost ラウンドごとに重み付きデータでSVMを再学習し、誤分類されたデータに大きい重みをつける AP-weighted fusion
 各特徴単独のcross-validationで求めた平均適合率 (AP)を特徴の重みとして使用する手法
 Max : 最大値をとる
 Average : 平均値で統合Early fusionによる特徴統合
色

テキ
スト

デ
ー
タ

SVM

グリッド分 動
き
割
顔

局所領
域

テクス
チャ
特徴抽出

モデリング、統合

出力

The University of Electro-Communications
Tokyo, JAPAN (UEC)

全
体

局所
パター
ン

107

Early fusionによる統合→ SVMで学習 カーネル結合
 1つの特徴を1つのカーネルに割り当て，均一に統合して1つの統合カーネルを構築• 和を取る方法，積を取る方法がある．
 Multiple Kernel Learning 複数のSVMのカーネルを統合するときに最適な重みを学習する手法

The University of Electro-Communications
Tokyo, JAPAN (UEC) 単純なベクトル結合

108

重要な細かいテクニック
カイ2乗RBFカーネル( xi  yi ) 2
K ( x, y)  exp(  )
xi  yii パラメータγは，すべての学習データ間のカイ2乗距離の平均の逆数がよいことが多い：スケールの正規化 SVMパラメータ(C，場合によってはγも)は，

cross-validation でgrid探索して，チューニ
ングする
SVMの最適パラメータ探索が重要

The University of Electro-Communications
Tokyo, JAPAN (UEC) SVM のカーネルはヒストグラム系特徴は

評価指標

 平均適合率(AP)1 N
平均適合率   prekN k 1N  2000 推定平均適合率(infAP)
 平均適合率の推定値
 ランダムサンプリングで一部のテストデータのみを評価

The University of Electro-Communications
Tokyo, JAPAN (UEC) 適合率(precision)
検索された適合画像の数
precision 
検索結果の画像の数

単独特徴の認識結果
infAP 特徴

infAP

カラーヒストグラム(全体)0.0160 BoK_D_D

0.0157

カラーヒストグラム(分割)0.0220 BoK_D_r

0.0129

カラーモーメント(全体)0.0114 BoK_g_g

0.0125

カラーモーメント(分割)0.0275 BoK_r_D

0.0108face

0.0029 BoK_r_r

0.0097

motion0.0009 gabor(全体)0.0154text

gabor (分0.0018割)

0.0342The University of Electro-Communications
Tokyo, JAPAN (UEC)

特徴

統合結果の比較
The University of Electro-Communications
Tokyo, JAPAN (UEC)

統合手法
4種類
10種類
14種類
AdaBoost(simpl
0.0326
0.03140.0319e)
カラーヒストグラム(全体)BoK_D_D
カラーヒストグラム(全体)BoK_D_D
AdaBoost(origi
カラーヒストグラム(分割)0.0345BoK_D_r
0.03820.0500
カラーヒストグラム(全体)nal)カラーヒストグラム(分割)
カラーモーメント(全体) BoK_D_r
BoK_g_g
カラーヒストグラム(分割)APweighted
faceカラーモーメント(分割)BoK_g_g
BoK_r_D
0.04950.06450.0801
fusionface
face
BoK_r_r
motion
BoK_r_D
0.0528
BoK_D_D
motiongabor(全体)
MKLtext
SVM
0.0441-------(motion,textを
BoK_r_r
text

除く)
gabor(分割)統合結果の比較(前半)
0.25
0.15
0.1
0.05
-5.55E-16

The University of Electro-Communications
Tokyo, JAPAN (UEC)

0.2

AdaBoost(simple)
AdaBoost(original)
AP weight fusion
MKL SVM

0.25

0.15
0.1
0.05
0

AdaBoost(simple)
AdaBoost(original)
AP weight fusion
MKL SVM

The University of Electro-Communications
Tokyo, JAPAN (UEC)

0.2

統合結果の比較(後半)結果の例：Flower

結果
Negative画像

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Positive画像

結果の例：Bus

結果
Negative画像

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Positive画像

重み選択の例：Two people
カラーヒストグラム(全体)

カラーヒストグラム(分割)

face

BoK

infAP

AdaBoost(simple)00.52400.43320.04280.0164

AdaBoost(original)

001.000000.0201AP
weighted

0.25040.26770.25420.22760.0289MKL

1.00000000.0007

The University of Electro-Communications
Tokyo, JAPAN (UEC)

fusion重み選択の例： Nighttime
カラーヒストグラム(全体)

カラーヒストグラム(分割)

face

BoK

infAP

AdaBoost(simple)00.986400.01460.1264

AdaBoost(original)

00.465800.53420.1316AP
weighted

0.26940.26990.20050.26030.1349MKL

00.685400.31460.1184The University of Electro-Communications
Tokyo, JAPAN (UEC)

fusion参加チーム平均値と最高値との比
0.45 較
本研究の結果TRECVID2008の平均値
TRECVID2008の最高値

The University of Electro-Communications
Tokyo, JAPAN (UEC)

0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

改良による順位の上昇
世界順位：
27/39 →
12/39
日本順位 :
2/6

AdaBoostのシンプルバージョン +SVM light
RBFカーネル(のデフォルトパラメータ設
定 )+
4種類特徴


2

AP weighted fusion +カーネル(パラメータチューニング) +14種類特徴The University of Electro-Communications
Tokyo, JAPAN (UEC)

0.2
0.18
0.2
0.16
0.18
0.14
0.16
0.12
0.14
0.1
0.12
0.08
0.1
0.06
0.08
0.04
0.06
0.02
0.04
0
0.02
0

順位
1

アムステルダム大学

2

コロンビア大学

3

香港シティ大学…

12
2
7

電気通信大学

電気通信大学

日本
1

国立情報学研究所

2

電気通信大学3旭化成

4 NHK放送技術研究所
5

東京工業大学6

統計数理研究所

The University of Electro-Communications
Tokyo, JAPAN (UEC)

世界

126

2008年 高次・サーチ 上位１０

The University of Electro-Communications
Tokyo, JAPAN (UEC)

サーチ（自動） top 10
高次特徴抽出 top 10

2008年 サーチタスク結果 上位１127
０
サーチ（インタラクティブ）
10分以内 top 10

The University of Electro-Communications
Tokyo, JAPAN (UEC)

サーチ（自動） top 10

128

2009年 高次特徴結果

The University of Electro-Communications
Tokyo, JAPAN (UEC)

ブラウザを参照

５．まとめ130

まとめ TRECVIDのサーチタスクがまさにそれに相当 完全自動はまだ難しい．
 インタラクティブサーチはある程度使える．

 高次特徴抽出 (一般物体認識，動作認識）
 Bag-of-features表現の提案，機械学習手法の進歩などにより，急速に発展
 BoFに加えて，音声テキスト，動き，従来からのcolor histogram をすべて統合して学習 パラメータチューニングが重要．

The University of Electro-Communications
Tokyo, JAPAN (UEC) 意味的映像検索

The University of Electro-Communications
Tokyo, JAPAN (UEC)

おわり