一般物体認識における機械学習の利用＜画像認識と機械学習＞
電子情報通信学会
第1回 情報論的学習理論と機械学習研究会 (IBISML)
2010年 6月15日

電気通信大学 大学院情報理工学研究科
総合情報学科柳井 啓司

The University of Electro-Communications
Tokyo, JAPAN (UEC)The University of Electro-Communications
Tokyo, JAPAN (UEC)

機械学習(ML) と パターン認識(PR) 「パターン認識と機械学習」

ビショップ本

パターン認識（PR）は工学を起源とするが，機械学習（ML)は計算機科学の分野から生じている．
同じ分野を２つの側面から見たものとみなせ，．．．

ＰＲ≒ＭＬ
ＭＬ：アルゴリズム志向
ＰＲ：応用志向パターン認識(PR)の代表的な応用例 ⇒ 「画像認識」

4

The University of Electro-Communications
Tokyo, JAPAN (UEC)「画像認識」研究とは？
 いろんなタスクがあります．
 基礎：画像処理，特徴抽出，領域分割

 パターン認識 基礎理論
 光学的解析, 画質改善
 ３次元復元．ステレオ復元．
 トラッキング．
 CGとの融合．Augmented Reality.

 物体認識，画像検索⇒ 狭義の「画像認識」

 実用化システム（ITS，医用画像，セキュリティなど）

5The University of Electro-Communications
Tokyo, JAPAN (UEC)（狭義の）「画像認識」の基本的な処理
学習「ライオン」
「椅子」

特徴
抽出

「山」

機械
学習
モデル
の学習

３つの基本要素 学習データ 特徴抽出 機械学習手法

ラベル付き学習データ

分類「ライオン」

？

特徴
抽出

学習済
モデル
による
分類

「山」
「椅子」

未知の画像
認識結果（名称と存在位置）

The University of Electro-Communications
Tokyo, JAPAN (UEC)

画像認識＝特徴抽出＋学習データ＋機械学習
 特徴抽出の決定版の手法の登場 (2004年)
 Bag-of-Keypoints (Bag-of-Features(BoF) もし

くは Bag-of-Visual-Words(BoVW) ともいう．)
 一般物体認識に有効であることが示されている．
 Ｗｅｂからの学習データの容易化

画像認識＝特徴抽出＋学習データ＋機械学習「画像認識」研究における，「機械学習」の相対的重要性が増大！！

7

The University of Electro-Communications
Tokyo, JAPAN (UEC)

アウトライン1.

[導入] 一般物体認識とは？



2.
3.

[特徴抽出]
基本特徴表現： Bag-of-Features (BoF)[機械学習手法]4.
5.

特定物体 と 一般物体
一般物体認識の例．

画像単位/複数ラベル/領域単位/スライディングウィン
ドウ/領域抽出

[学習データ] 大規模データセット（Flickr,
Mturk, ImageNet), ベンチマークデータ[時間があれば] 研究紹介8

１．一般物体認識とは？
【参考文献】
柳井啓司. 一般物体認識の現状と今後. 情報処理学会論文誌: コンピュータビジョン・イメージメディア,
Vol.48, No. SIG16 (CVIM19), pp. 1-24, 2007.

The University of Electro-Communications
Tokyo, JAPAN (UEC)「物体認識」とは？
 画像中の「物体」を認識する技術，研究分野
空

山
トラ

文字認識

顔画像検出

安倍

３Dモデル物体認識

芝生

カテゴリー認識 シーン認識

谷垣

顔画像認識

特定物体検出10

The University of Electro-Communications
Tokyo, JAPAN (UEC)「物体認識」とは？
 画像中の「物体」を認識する技術，研究分野
空カテゴリー認識

トラ

文字認識

顔画像検出

山
芝生

カテゴリー認識 シーン認識

同一物体（インスタンス）の認識
安倍

３Dモデル物体認識

谷垣

顔画像認識

特定物体検出11

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー・同一物体認識
 カテゴリー認識
 文字認識一般物体認識 顔検出

 一般的な名称の物体・シーンを認識(e.g. ライオン，ラーメン，山，空） 同一物体認識
 部品認識 (3D モデルベースト認識)
 人物名認識 登録物体の検索

特定物体認識12

The University of Electro-Communications
Tokyo, JAPAN (UEC)

特定物体認識 (同一物体認識)
 特定の登録物体が画像中にあるかどうか認識

見た目（appearance）がまったく同じ物体を検出
現時点では剛体なら９５％以上認識可能．ただし，顔や動物などの変形物体は難しい． 13

The University of Electro-Communications
Tokyo, JAPAN (UEC)

特定物体認識 (同一物体認識)
 特定の登録物体が画像中にあるかどうか認識

見た目（appearance）がまったく同じ物体を検出
現時点では剛体なら９５％以上認識可能．ただし，顔や動物などの変形物体は難しい． 14

The University of Electro-Communications
Tokyo, JAPAN (UEC)

特定物体認識の技術的背景
 局所丌変特徴量による特徴点マッチング

 大量の特徴点に対する検索
 1枚の画像から数百点⇒ ５０万枚画像で１億点
 Approximate Nearest Neighbor (ANN) Locality Sensitive Hashing (LSH)
機械学習という
 Visual Words + Inverted Index
よりも“検索“15The University of Electro-Communications
Tokyo, JAPAN (UEC)

局所特徴：対応点探索のための特徴
 画像の特徴的な部分を検出し（特徴点検出），

その部分の周辺パターンをベクトル化（特徴点記述） 特徴点：画像の変化（回転や拡大など）があっても常に検出される特徴的な場所（山の山頂，色の境目など）
特徴点ベクトル： 回転，拡大縮小があっても，同じ見た目のパターンはほぼ同じベクトル値
になる


v

16

The University of Electro-Communications
Tokyo, JAPAN (UEC)

局所特徴量による対応点探索
 2枚の画像の点の対応が分かると．．
 パノラマ画像生成．（複数画像からの大画像生成）

 ３次元計測．（2枚の対応と相対撮影位置が分かれば，3次元ステレオ計測が可能．）

 特定物体認識．（同一物体の対応付け．）
17

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識 (カテゴリー認識)
 “一般的な”実世界画像の認識
 デジカメやWebの画像を自動認識．
 画像内容クマを 言語（記号） で記述．意味理解．

（草の上の）トラ（草を食べる）ゾウ

静止画像に対して，その中に含まれる物体もしくはシーンの一般名称（カテゴリー）を認識
究極的には人間以上に幅広く詳細な認識

18

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の技術的背景
 Bag-of-Features表現(BoF)⇒ Visual words 表現

frequency

 特徴点の丌変特徴ベクトルのベクトル量子化表現

visual words

 SVM ＋ BoF向きカーネル による分類
 カイ２乗RBFカーネルやヒストグラムインターセクションカーネルの利用
 1 | xi  yi |2 
kCHI ( x, y )  exp  | xi  yi |  

k HI ( x, y )   min( xi , yi )19

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識研究の背景
従来の画像認識

認識対象を限定していた （例．部品，顔，文字，自然風景）

近年のデジタルカメラ等の普及

一般画像データの入手の容易化
一方，計算機は意味は分からずにただ蓄積．

対象を限定しない一般的画像の認識技術の必要性

画像内容による画像の自動分類，検索
画像の意味的処理．画像の取り扱いに関する
自動キーワード付不セマンティックギャップ解消のための技術．

20

The University of Electro-Communications
Tokyo, JAPAN (UEC)「一般物体認識」大ブーム到来！
 ２０００年以降に急速に研究が発展！

(1) 局所特徴量による新しい画像表現の提案
SIFT と Bag-of-features(2) 機械学習の進歩
SVM, boosting, graphical model, MCMC，…

(3) 大規模データセットの入手の容易化
Web, Web Image Search, CGM, Flickr, Youtube, Mturk(4) 計算機(PC)の高速大容量化
メモリ: GB, HDD: TB, マルチコア, クラスタ
クラウドコンピューティング
21

The University of Electro-Communications
Tokyo, JAPAN (UEC)

画像認識でよく利用される
機械学習手法の例
 SVM
 とりあえずSVM．

• libSVMとSVMlightのお陰！
 カーネルを工夫する• Spatial pyramid kernel，Multiple kernel learning Boosting デジカメの顔画像認識は，Boosting によるもの

 （テキスト向け）確率トピックモデル
 PLSA，LDA，HDP，それらの拡張（ノンパラベイズなど）

 あと，Nearest Neighbor⇒ 最近，再注目！ 23

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の分類 (1) 画像全体のカテゴリー分類
クマ

トラ

ゾウ

 画像アノテーション：複数ラベルの付不
クマ
草
水

トラ
草
草原

ゾウ
キバ
空
草
草原

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の分類 (2) 画像ラベリング：領域分割→分類
grass
grass
tiger
grass
tiger

 カテゴリー物体検出：ウィンドウ探索

 オブジェクト領域抽出：認識＋領域分割
34

The University of Electro-Communications
Tokyo, JAPAN (UEC)

認識カテゴリーの例
空
空

物体カテゴリー認識
建物 // ビル
ビル
建物
木 // 桜桜木木/桜木 // 桜
桜
木
建物
建物
外灯
外灯

信号機
信号機
自転車
自転車

道路
道路

自動車 // バン
バン
自動車

バス
バス
35

The University of Electro-Communications
Tokyo, JAPAN (UEC)

シーンカテゴリー認識【場所について】【時間について】

• 屋外

•春

•街

• ４月

• (中層)ビル群

• 日中
• 晴天

以下は「固有名詞」

•

．．．

• 日本

• 東京都多摩市• 聖蹟桜ヶ丘• 京王百貨店• 緯度：N35.653488
経度：E139.44564

こうしたカテゴリー（属性）は，すべて（広義の）「一般物体認識」の認識対象
36

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の困難性
 認識対象が多様（カテゴリー内変化が大） 同一種類(カテゴリー)の物体でも形は様々. 変形も．
 撮影時の条件が多様（視点位置，向き，変形，

スケール，照明（天候），背景，オクルージョン）
 認識対象が多い．（カテゴリー数が多い．）
 辞書に出ている名詞の数だけある！
 何を認識するべきか？

数万？

レベルは？ 動物orライオン?

様々な「ライオン」

37

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー内変化(1)：いろいろな「椅子」

38

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー内変化(2)：いろいろな視点からの見え方[P.Yan, S. M. Khan and M. Shah:
3D Model based Object Class Detectionin An Arbitrary View, CVPR 2007]より

3Dモデルを持たずに見た目(appearance)のみで認識するのが現在の一般的方法．
様々な視点からの見た目の学習が必要

40

カテゴリー数が多い：
多様なカテゴリー
The University of Electro-Communications
Tokyo, JAPAN (UEC)42

The University of Electro-Communications
Tokyo, JAPAN (UEC)「カテゴリー問題」[1] どの程度のカテゴリー内変化に対応すべき？
 どちらが「バイク」？

 一般的な視点とは？

データセットの作り方によって難易度がいくらでも変わる．

[２] 何種類のカテゴリーに対応すべき？
 人間は，数万種類に対応．

• ２５６？１０２４？ 辞書に出てるだけ（数万）？ 応用次第？

44

The University of Electro-Communications
Tokyo, JAPAN (UEC)「カテゴリー問題」は「フレーム問題」
 人工知能での「フレーム問題」
 実世界に対応する知能システムを構築するには，あらゆる可能性を考慮する必要がある． e.g. 椅子の形は無限にある．
 「椅子」認識システムは構築丌可能！？
 DBに含まれる「椅子」のみを認識できればとりあえずいいことにして，研究する！
45

The University of Electro-Communications
Tokyo, JAPAN (UEC)

現状での「カテゴリー問題」への対処法

 標準データセットを利用して研究を進める．

• カテゴリー問題を棚上げして，研究を進めることが可能．
アルゴリズム開発に集中出来る！ パターン認識の問題．
• 標準データセットにあるカテゴリーが認識すべきカテゴリー．
「一般物体認識」－「カテゴリー問題」＝「パターン認識問題」
 問題点：標準データセット作成者の主観でカ

テゴリ内変化やカテゴリ数が決められている．
 [それに対する新たな動き] Webの大量画像• Wordnetに出ている名詞（7万語）すべてについてデータセットを作成 [Tinyimage 2009][imagenet.org 2009]• Ｗｅｂ(Flickr)から数百万枚収集して画像アノテーション[Nakayama et al. 2009]「Webに存在する知識 ≒ 人間の一般的知識」と みなすことにより対処．
46

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識は「人工知能問題」
 究極的には，人間が「○○」と思う物は，計算機も同様に「○○」と認識するべき．

理想の一般物体
認識システム 人間の言語と対応したカテゴリーの認識．

 特定物体認識の場合は，カテゴリー（クラス）がない．

 一般物体認識： 人間が基準．人工知能問題．
 クラス定義があいまい．フレーム問題．

 特定物体認識： 全く同一の物を認識．
 問題が明確．アルゴリズムの問題．

47

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実際の研究用データセット(1) Caltech-101 : 2004 年に登場の101種類

カテゴリーの画像認識データセット(全体分類用)

平均画像からカテゴリが分かる！
カテゴリ内変化が小

各カテゴリの平均画像

技術レベルに合わせて，
意図的にやさしくしてある．
48

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実際の研究用データセット(2) Caltech-256 (2007年登場)
 クラス数256，クラス内変動も大きくなっている．

平均画像からカテゴリ認識丌能．
• （尐し改善された．）

49

The University of Electro-Communications
Tokyo, JAPAN (UEC)

最新の一般物体認識の分類精度
 Caltech-101/256

84.3 %[Varma et al. 2007]
50.8％

Caltech-101/256 の認識精度は，年々尐しずつ上昇．
OxfordVisualGeometry Group
HP新しいブレークスルーが必要！
より
50(単一特徴で73.0% ICCV2009)
BoF+MKLが現在の最高精度→

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実際の研究用データセット(3) Caltech-256などの大規模セット の問題点
 カテゴリー数が多すぎて，重複するカテゴリーがデータセットに含まれている．
認識カテゴリーを決めるのは実は難しい問題．重複なしで選ぶことは困難．
画像認識研究者は認識方法のみを研究している!?
51

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実際の研究用データセット(3) Caltech-256などの大規模セット の問題点
 カテゴリー数が多すぎて，重複するカテゴリーがデータセットに含まれている．
「チャーハン/ピラフ」問題
認識カテゴリーを決めるのは実は難しい問題．重複なしで選ぶことは困難．

ピラフ

画像認識研究者は認識方法のみを研究している!?

チャーハン
52

The University of Electro-Communications
Tokyo, JAPAN (UEC)

PASCAL Visual Object Challenge(競争型のワークショップ)2005年～
Caltechと違って多様であるが種類は２０のみ．
毎年データが代わる．
１）分類
２）検出
３）物体領域抽出
４）人間のパーツ検出の４つのタスクがある．

53
Caltechよりも多様な画像．主にFlickrから収集した画像．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

機械学習の期待される役割 尐ない学習サンプルから高い汎化性能
 特徴空間における「椅子空間」の範囲を尐ないサンプルから学習「これは椅子？」「椅子空間」

55

２．特徴表現：
Bag-of-Features (BoF)【参考文献】[Low99] Lowe, D.G.: Object recognition from local scale invariant features,
Proc. of IEEE International Conference on Computer Vision, pp. 1150–
1157 (1999).
[Siv03] Sivic, J. and Zisserman, A.: Video Google: A Text Retrieval
Approach to Object Matching in Videos, Proc. of IEEE International
Conference on Computer Vision, pp.1470–1477 (2003).
[Csu04] Csurka, G., Bray, C., Dance, C. and Fan, L. “Visual categorization
with bags of keypoints,” in Proc. of ECCV Workshop on Statistical
Learning in Computer Vision, pp. 59–74 (2004).

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の歴史

研究者の知識がすべて！

７０年代 線画解釈．（画像処理が中心．）
８０年代前半 知識ベース型システム.
 人手によるルール記述に一般性がない．知識爆発．

80年代後半 3次元の復元. モデルベースト．
 既知形状の物体のみ．実世界でうまくいかない．

90年代 学習による認識．顔画像や既知物体の検出 ．
 顔画像認識(Eigenface)の成功．固有空間法.
 画像ＤＢにおける画像の意味的分類．

00年代 局所特徴＋機械学習 により 大きく進歩
９０年代までは，画像認識においてはマイナーな研究分野．
57

The University of Electro-Communications
Tokyo, JAPAN (UEC)昔の研究 （１９９５年くらい）
モデル当てはめ
エッジ抽出

特徴
選択

エッジ画像

入力画像

有意特徴

認識結果

領域分割

分割領域
関係知識ベース
モデル知識ベース
昔は「学習」がなく，人手によって記述されたルールで認識．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2000年以降の発展 突然ブレイク！

Bag-of-Features, SVM + PCの進化,Webの発展
2000年 Constellation model (確率モデル)
2001年 確率手法による単語と画像の対応付け [RWCP]
2002年 Word-image translation model
特定物体認識の基本手法
2003年 Video Google (image searchby visual words)
2004年 Bag-of-Features(BoF)+SVM
一般物体認識の基本手法
2004年 Caltech101 2005年 Pascal VOC
2005年～ BoF + probabilistic graphical model(PLSA, LDA, HDP, their modifications)

BoF + SVM with modified kernels
BoF + CRF for semantic region segmentation
59
2007年 Caltech256 (256カテゴリーのデータセット）登場

The University of Electro-Communications
Tokyo, JAPAN (UEC)

全体特徴から局所特徴へ 従来の認識: 認識対象の全体を利用 固有空間法，領域分割を用いた方法

 オクルージョンや変形に弱い．

Constellation model

P( Parts, Locations, Scale | Object)   P( P | L, S , h, O) P( L | S , h, O) P( S | h, O) P(h | O)

 Part-based手法の登場:

複数の部分の組み合わせで認識 局所パターンの分布に基づく認識(bag-of-features)

frequency

位置関係を考慮すると，視点変化に弱い！

visual words

61

Bag-of-featuresモデル

The University of Electro-Communications
Tokyo, JAPAN (UEC)

局所特徴量
 局所パターン(10x10～30x30程度)をベクトル化(64～128次元）
 類似パターンは，回転・拡大・位置によらず類似したベクトルになる SIFT法 と SURF法が有名• フリーソフト．SURFはOPENCV.
• 商用利用は有償(特許出願済み)

63

The University of Electro-Communications
Tokyo, JAPAN (UEC)

局所特徴による特定物体検索
query

query

query

Video Googleより64

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features [Csu04]：

visual wordの一般物体認識への適用
 Visual words の集合として画像を表現
 Visual words のヒストグラムを画像特徴とする
 単語出現頻度によりテキストを表現する方法のbag-of-wordsの考え方を画像に応用．語順を無視するのと同様に，位置を無視．
 Bag-of-features によって表現された

特徴ベクトルをNaive Bayes, SVMなどの機械学習手法で分類．テキスト分類と同じ！
 Bag-of-visual-words (BoVW)，

Bag-of-keypoints (BoK) とも言うことがある．
70

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-featuresのアルゴリズム：
bag-of-features表現への変換 特定と同じ
 画像を visual word の出現頻度ヒストグラムで表現
2.

3.

4.

各画像について，数千個の特徴点を抽出．
SIFT法
SIFT記述子により特徴点周辺パターンを（特徴点抽出＋記述）
SIFT特徴ベクトルとして抽出．
予め求められた visual words (codebook)に基づいてSIFT
特徴ベクトルをベクトル量子化．
画像毎にヒストグラムを作成．
frequency

1.

visual words

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Visual words の求め方

特定と同じ

 学習画像（正例，負例）を用意し，SIFT特徴ベクトル

を全画像から抽出 （枚数が多い場合は，ランダムサンプリング）
 k-means クラスタリングを実行
各クラスタの中心が “visual words”

vi vi
vi vi
vi
vi vi
vi
vi v
i
SIFT vectors“Visual words” は，代表的な
局所パターンに相当する．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features 表現 (BoF)

frequency

Visual wordsの出現頻度（ヒストグラム）
によって画像を表現．

…..
Visual words(数百～数千個)

次元は，数百～数千次元．
スパースなベクトルになる．
73

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features 表現：
代表パターンの集合による表現

Object[ICCV 2009 tutorial スライドより]

Bag of ‘words’

The University of Electro-Communications
Tokyo, JAPAN (UEC)

同一カテゴリー：同一代表パターンを含む
異なるカテゴリ：代表パターンは異なる．
 代表パターンのヒストグラム表現[ICCV 2009 tutorial スライドより]The University of Electro-Communications
Tokyo, JAPAN (UEC)

特徴点のサンプリングの方法 特定と違う！
 主な3つの方法

SIFT法の方法

 Difference of Gaussian(DoG) Random sampling Grid sampling

DoG (sparse)

sparse sampling と呼ぶ
dense sampling と呼ぶ

random(dense)

grid(dense)(スケールもランダム）(同一点に複数固定スケール）

カテゴリー分類においては，パターンのない部分も重要．
Random/gridは,点の数の制御可能．一般には多い方がいい．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features(BoF)表現を用いた画像認識
 あとは，多次元ベクトルの分類問題

 最初の論文[Csu04]では，以下の2つの手法で実験• SVM (support vector machine)• Naive Bayes
従来手法の結果を大きく改善
 例：Web画像の分類
 10種類のキーワードについて，平均適合率• 従来手法（領域分割＋GMM）:
73.5％• BoK + SVM: 82.4%（ブラウザーに，ジャンプ１，ジャンプ２）

77

The University of Electro-Communications
Tokyo, JAPAN (UEC)[まとめ] Bag-of-featuresの特徴


認識方法ではなくて，画像の表現方法．
局所出現パターンのヒストグラム．







カラーヒストグラムに似ているが，色空間の代わりに
SIFT記述子空間(128次元)をk個に分割．SIFT記述子の回転，拡大縮小に丌変な特性を受け継ぐ．
単語の順番を無視して，単語の出現頻度のみで文章を表現するbag-of-words表現と等価．Bag-of-visual-words.

Bag-of-words用のテキスト処理手法が適用可能．
SIFT/SURF と k-means で容易に実装可能．


SIFT/SURFは公開ソフトが利用可能．SIFT++, OPENCVなど．
k-meansは教科書レベル．
78
分類は，SVMを使えば簡単高性能．(LibSVM, OPENCV ml lib.)

３．機械学習手法【参考文献】[Laz06] Lazebnik, S., Schmid, C. and Ponce, J.: Beyond Bags of
Features: Spatial Pyramid Matching for Recognizing Natural Scene
Categories, Proc. of IEEE Computer Vision and Pattern
Recognition, pp.2169–2178 (2006).
[Var07] M. Varma and D. Ray. Learning the discriminative powerinvariance trade-off. In Proc. of IEEE International Conference on
Computer Vision, pp.1150–1157 (2007).
[Rab07] A. Rabinovich, A.Vedaldi, C. Galleguillos, E. Wiewora and
S. Belongie: Objects in context, In Proc. of IEEE International
Conference on Computer Vision, pp.1150–1157 (2007).

The University of Electro-Communications
Tokyo, JAPAN (UEC)

BoFベクトルの分類

 機械学習手法（特にテキスト向き）なら何でもいい．
 Naive bayes法• 単純で実装容易だが，意外とうまくいく．多クラス対応．
 Nearest neighbor法• データが大量にないとあまりうまくいかない．多クラス対応．
 Support vector machine (SVM)• 次元が高いので，線形カーネルでもまずます．
• カイ2乗RBFカーネルが，最も良いと言われている．
• 1-vs-restはクラス数が多いと計算コスト大，並列化可能．
 アンサンブル学習• Random forest, boosting など．

80

The University of Electro-Communications
Tokyo, JAPAN (UEC)BoF + SVM が最も手軽な方法
学習画像（2/マルチクラス）とテスト画像を準備．
2. グリッドかランダムで，特徴点を決定
3. OPENCVのExtractSURF関数で特徴点記述
4. K-meansで，codebook 生成．
5. Codebookから各画像をBoFベクトルに変換．
6. LIBSVM か OPENCVのSVMで，学習・分類．
1.



LIBSVMはマルチクラス対応なので簡単．
内部で1-vs-restを自動的に実行．
81

The University of Electro-Communications
Tokyo, JAPAN (UEC)BoF の改良： codebook生成法
 Visual words : 代表パターンをいかに見つけるか Unsupervised• K-means の代わりに mean-shift• K-means の代わりに GMMでソフトクラスタリング• Hierarchical k-means で vocabulary tree の生成 Supervised： クラスラベルの利用• Supervised clustering• Information bottleneck (IB) 法など• Discriminative visual words のみの利用• 空間分割と分類を交互に行う• Unifying Discriminative Visual Codebook Generation withClassifier Training [Yang et al. CVPR 2008]• 他にもいろいろ多数．カバーし切れません！

87

The University of Electro-Communications
Tokyo, JAPAN (UEC)

位置情報の導入
Spatial pyramid kernel [Laz06]
 BoKをグリッド分割して階層的にlocal BoF作成



各レベルごとにヒストグラムインターセクションを求め，レベルごとに異なる重みで統合．SVMのカーネル関数とする．
L
1
1
k ( X , Y )  L I 0 ( X , Y )   L l 1 I l ( X , Y )2
l 1 21
1
1
 I 0  I1  I 2 (in case of L  2)
4
4
2
I l : Histogram intersetio n in level l

簡単！ でも，次元が21倍になるのが難点！

I2 ( X ,Y )I1 ( X , Y )I0 ( X ,Y )

The University of Electro-Communications
Tokyo, JAPAN (UEC)

色情報の利用：Color SIFT
 各特徴点についてRGB(HSV, Lab)の

３つのSIFTベクトルを計算し，１つに結合．
R

G

B

vR

vG
vB

vRGB
Color SIFT
ベクトル
(128*3次元)
91

The University of Electro-Communications
Tokyo, JAPAN (UEC)

他の種類の特徴との統合 [Var07](Multiple Kernels Learning) 多種類特徴を統合するSVMのカーネル関数
 重み付き線形和カーネル関数による，

Bag-of-features, 色，形の統合．
+ 重みの自動推定．
 各特徴のカーネルをとすると，統合カーネルは，
ただし， di (i  1,.., Nk ) は最適化問題を解いて求める．
• カーネルの重みを求めるのは，機械学習の研究では
近年よく研究されている．

認識精度を上げるには，BoFのみでなく，様々な特徴量を Caltech-101, 256の分類で，最高の約90%, 約60%を達成
カテゴリーに応じて選択的に利用することが重要． 92

The University of Electro-Communications
Tokyo, JAPAN (UEC)

５０種類食事カテゴリー分類

は人手で囲んだ食べ物の位置

各種類１００枚ずつ 計５０００枚

The University of Electro-Communications
Tokyo, JAPAN (UEC)

画像認識方法 Multiple Kernel Learning(MKL) [Lanckriet

ら,2004]を用いた特徴統合によるマルチクラス分類手法(SHOGUNライブラリの利用，1-vs-restによる) 統合する画像特徴
 局所特徴のBag-of-Keypoints（6通り）
 カラーヒストグラム

 ガボール特徴のヒストグラム（2通り）

The University of Electro-Communications
Tokyo, JAPAN (UEC)局所特徴
 SIFTを使用

 特徴点検出は３タイプ

DoG検出

 画像はBag-of-keypoints表現を用いて局所特徴の出現頻度のヒストグラムで表現 1000次元と2000次元で表現

Bag-of-keypoints表現

ヒストグラムグリッド検出

ランダム検出The University of Electro-Communications
Tokyo, JAPAN (UEC)

カラーヒストグラム
 RGB色空間を使用

画像を2x2に分割

統合して２５６次元で表現
色空間を６４色に量子化The University of Electro-Communications
Tokyo, JAPAN (UEC)

ガボール特徴 画像化から局所的な濃淡情報の周期と方向を表現した特徴
 ６方向、４周期のガボールフィルタで特徴抽出
 色特徴と同様に画像を3x3と4x4に分割
 ２１６次元と３８４次元のベクトルで表現

The University of Electro-Communications
Tokyo, JAPAN (UEC)

評価実験
 データセット：５０種類食べ物画像セット
 画像特徴：３タイプの画像特徴(計９種類)
 手法：各特徴単独のSVM

全特徴によるMKL-SVM
 MKLの実装は機械学習ライブラリ SHOGUNを利用 カーネル：カーネル

 スケールパラメータの設定方法① Cross-validationにより，最適な値を探索② すべての学習データ間の 距離の平均の逆数[Zhang, 2007]

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果

特徴
BoK(dog1000)
BoK(dog1000)
BoK(grid1000)
MKLによる特徴統合方法
BoK(grid2000)と特徴単独で用いた手法 BoK(random1000)の５０種類の平均分類率 BoK(random2000)
gabor3x3
gabor4x4
大幅に精度向上した
Color
MKL（特徴統合）

平均分類率
26.52%
27.48%
26.10%
27.68%
28.42%
29.70%
31.28%
34.64%
38.18%
61.34%

The University of Electro-Communications
Tokyo, JAPAN (UEC)MKLで学習した特徴の重み
エビチリの結果
color
11%

color
23%

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果：混合行列「チャーハン」と「ピラフ」は間違えやすい！
チャーハン

ピラフ

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
許容クラス数を変化させたときの平均分類率の変化

 分類率の変化

平均分類率

90.94%
80.58%
Ranking 361.34%

ランキング

Ranking 7

The University of Electro-Communications
Tokyo, JAPAN (UEC)MKLで学習した特徴の重み
エビチリの結果

The University of Electro-Communications
Tokyo, JAPAN (UEC)③食事画像認識システム：
携帯版認識システムの構成②アップロード情報を記録
画像ID・時間・
メールアドレスなど

Image DB
①データベースに登録

フィードバックを記録
認識結果(ランキング)を記録

画像ID・
正しいクラス

各種類の
類似度

③

④
認識システム

食事を撮影し，メールで転送⑤⑥

認識結果とURLが返される

正しい食べ物の種類を選択

The University of Electro-Communications
Tokyo, JAPAN (UEC)

食べ物認識システム

 画像を添付して，送るだけ！！！

shokuji@mm.cs.uec.ac.jp
手法：• Bag-of-features 表現＋色ヒストグラムによる画像表現• Muitiple Kernel Learning法による特徴の複数種類の混合
2010/7/7

Page 111

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-words用の手法の導入（テキスト解析手法の導入）

文書：単語の集合 → bag-of-words
画像：VWの集合 → bag-of-visual-words
 Video Google [Siv03]
キーワード検索手法（転置インデックス）の画像
検索への応用 確率トピックモデルの画像への応用：
元々はテキスト解析用bag-of-wordsを前提とする
 PLSA (Probabilistic Latent Analysis)
 LDA (Latent Dirichlet Allocation)
117
 HDP (Hierarchical Dirichlet Process)The University of Electro-Communications
Tokyo, JAPAN (UEC)

高次元でスパースなBoF向けの
確率的クラスタリング: PLSA と LDA
 テキスト解析向けの確率トピックモデル
 Bag-of-words表現された文書を確率的にトピック分類する トピック数は，事前に指定する．K-meansと同じ．
 トピックをｚ，文書（画像）をｄとすると，各文書について P(z|d) が求まる
 Probabilistic Latent Semantic Analysis
 (ヒストグラムは離散なので)混合多項分布によるモデル
 P( w, d )  P( d ) p( w | z ) P( z | d )をEMでパラメータ推定z Latent Dirichlet Allocation (判別分析ではありません！)
 PLSAを改良．多項分布の代わりに混合ディリクレ分布．

オーバーフィッティングを解消．データが多いとpLSAで十分．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

P(pos|topic)
P(Mountain|topic)例： Mountain10 topics

0.112
0.661

0.167
0.186

0.407
正例

0.023
0.761
0.334
0.949

負例

GMMによる認識と同じことができる．多クラス化が容易．

0.987

確率的 P(topic|img)
0.15
トピック
 Mountain10 topics
probabilistic
clustering

0.24

0.03
0.05

0.10
0.01
0.01

周辺化によってmountain 確率を求める．0.01
P(moutain | img )k  P(mountain | z i ) P(z i | img )
i 1

120

0.05
0.30

The University of Electro-Communications
Tokyo, JAPAN (UEC)The University of Electro-Communications
Tokyo, JAPAN (UEC)

時間方向(動画)への拡張 :Bag-of-video-words

 時空間特徴量をVQ化し，spatio-temporalvisual wordsによって動画を表現
 動きを考慮した特徴点を抽出し，

cuboidなど[画像＋動き]の特徴量を抽出．

127

The University of Electro-Communications
Tokyo, JAPAN (UEC)

KTHデータセット

The University of Electro-Communications
Tokyo, JAPAN (UEC)

最新結果 [Lap08]
 分類は

SVM + χ2乗カーネル 我々が実験中の結果は，約95％
 ICCV2009での最高は，97.1%

動作認識もBoFで可能．局所特徴以外は画像分類とほとんど同じ．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

最新結果

４．一般物体位置検出【参考文献】
P. Duygulu, K. Barnard, J.F.G de Freitas, and D.A. Forsyth: Object
recognition as machine translation: Learning a lexicons for a fixed
image vocabulary, ECCV, pp.97-112, (2002).
Lampert, C. H., Blaschko, M. B. and Hofmann, T.: Beyond Sliding
Windows: Object Localization by Efficient Subwindow Search,
CVPR 2008.

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の分類 (1) 画像全体のカテゴリー分類
クマ

トラ

ゾウ

 画像アノテーション：複数ラベルの付不
クマ
草
水

トラ
草
草原

ゾウ
キバ
空
草
草原

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の分類 (2) 画像ラベリング：領域分割→分類
grass
grass
tiger
grass
tiger

 カテゴリー物体検出：ウィンドウ探索

 オブジェクト領域抽出：認識＋領域分割
133

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体の検出 画像ラベリング：領域分割→分類
grass
grass
tiger
grass
tiger

 カテゴリー物体検出：ウィンドウ探索

 オブジェクト領域抽出：認識＋領域分割

画像丸ごとのクラス分類は，かなりできるようになった．
(e.g. Caltech101 約80%) 次の課題は，物体位置検出．

134

The University of Electro-Communications
Tokyo, JAPAN (UEC)

元祖画像ラベリング：
Word-image-translation model[P.Duyguru, K.Barnard et al. ECCV 02]

 Statistical translation （統計的機械翻訳）
 大量の2ヶ国語テキスト（対訳コーパス）を学習データとし，確率モデルを学習し，翻訳を行う．文法知識が丌要.
I have a red pen in my pocket.
私は 赤い ペン を ポケット の中に 持っている. 大量の対訳テキスト

未知の文が翻訳可能

I have a blue eraser in my pencil case.

 Word-image-translation model 大量のキーワード付画像を学習データとし，確率モデル構築
lion,
grass

panda,
grass

大量の単語付画像(bounding box不要)
grass

grass
tiger
grass
tiger

未知の画像に単語を付与することが可能

The University of Electro-Communications
Tokyo, JAPAN (UEC)

cat
horse

sun

領域分割

tiger
forestgrass

領域への確率モデルに基づくラベリング

grass
tiger
grass

grass

例１．P(word|region1)

cat
horse

領域毎に，
テクスチャ，
色，形状
などの
特徴量
を抽出

sun
tiger

未知画像の領域の特徴ベクトルをGMMに代入し，P（word|region)の値を計算．

forest領域毎に特徴ベクトルを生成
P(word|region) をＧＭＭで表現し，学習

grass
tiger

例２. P(word|region2)

80語でpre:0.2, rec:0.3程度 138

The University of Electro-Communications
Tokyo, JAPAN (UEC)

画像ラベリングの例

139

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果の例．
 学習画像：キーワード付きCorel画像 （4500枚）

実
行
結
果

142

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Translation Model の特徴
多数の種類の単語を同時に扱うことが可能（387語）
 個々の領域に直接，単語を付けられる．


統計的機械翻訳のモデルの利用により，単語が多数の場合に対応．

精度は高くない．精度２～３割．
 結果が初期領域分割の結果に依存する．


領域分割が容易でない画像以外ではうまくいかない．

大量の画像，多数の単語を同時に扱うことができるため，
visionよりもmultimediaのコミュニティーで発展研究が行われている．


ACM Multimedia, ACM SIGIR, IEEE ICMEなど

143

画像ラベリング:Multiple Instance Learning

The University of Electro-Communications
Tokyo, JAPAN (UEC) Multiple instance learning positive bag : positive instance を含む
 negative bag : positive instance を含まない

ライオンのpositive instance
はない．

ライオンの
positive instancepositive bag

negative bag Positive/negative bags より pos. inst. を求める
 確率モデルよりも，判別手法の方が性能が上．

• Mi-SVM , Sparse Multiple Instance SVM(Diverse Density (DD) はあまり使われない．）

144

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Region-based BoF
 Divide each image into regions by JSEG

(8 regions on the average)

Bag-of-features(BoF) histograms(1000-dim)

Segmentation （JSEG）
145

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Multiple Instance Setting Positive bags / Negative bags

positive ins.
(foreground)negative ins.
(background)

Positive instances of “flower”
146
pseudo-training
images

The rest of regions arenegative regions.

random images

The University of Electro-Communications
Tokyo, JAPAN (UEC)

mi-SVM[Andrew et al. NIPS 03]

 Apply soft-margin SVM iteratively
 Training → classifying → training →classifying → ……
During the iteration, the hyperplane is approaching the optimalplane to discriminate positive
instances from negative ones.

147

positive ins.
(foreground)negative ins.
(background)The University of Electro-Communications
Tokyo, JAPAN (UEC)

Final Image Re-ranking
 Regard the best SVM output score of theregions within an image as the score of
the image An image having one positive region at leastis a positive image !
 Rank images based on the scores

flowerairplane

148

apple

The University of Electro-Communications
Tokyo, JAPAN (UEC)

対象の検出へのBoFの利用：
領域分割との組み合わせ [Rab07]
 領域分割し，領域毎にBoFベクトルを作成，領域毎に分類．最後に共起関係より修正．
[Rab07]より
図を引用

領域分割は，
Normalized Cuts.
を利用．
共起関係は
確率モデル（CRF)
によって表現．
149

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Sliding Window 位置検出の基本は，sliding window例）顔検出(Viola-Jones detector), HoGによる人物検出

各windowに対しては画像全体に対する手法(ただし学習画像はBB付き）
でよいが，計算コストは非常に大きい！！
150

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Pascal VOC 2009
 Classification (画像全体分類）

よりもDetection (物体検出）の方が中心タスク．

151

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Sliding windowsの高速化手法
 Efficient Subwindow Search (ESS)[Lampert et al. 2008] 線形SVMのみ．線形性を利用．
 分枝限定法によって，high score BBを探索する

 Jumping window[Chum et al. 2007]

 対象カテゴリーに関係によく表れるwordsの位置

周辺を探索 Discriminability(word) = (#target obj.
containig w)/ (#obj. containing w)
 Generate pairs of high D(w) words andgenerate rectangles, aggregate them.

152

The University of Electro-Communications
Tokyo, JAPAN (UEC)

高速Windowサーチ：
Efficient Subwindow Search [lam08]
 評価関数の計算に積分画像を導入
 高速に，評価関数（線形SVM）が計算可能

 バウンディングボックス(BB)の表現
 座標でなく幅を持ったBBとして表現→[T、B、L、R]

T=[tmin、tmax]、B=[bmin、bmax]、L=[lmin、lmax]、R=[rmin、rmax]

 分枝限定法を使用する
 走査領域を反復に分割して物体の位置を検出

The University of Electro-Communications
Tokyo, JAPAN (UEC)ESSの挙動

-1.7
f(R)
f(R)
f(R)
====3.0
=1.8
-2
f(R)
f(R)
0.6
0.6

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験内容
 実験データ Pascal VOC 2009のデータセット• 20種類のクラス(Aeroplane,Cat,Dog,Tvmonitor…)• 学習データ 749枚
• 実験データ 750枚
 実験環境 Xeon 2.66 dual core 2GB
 SIFT特徴検出にSIFT++ SVMモデル作成にSVM_light ESSの作成にESS-1_1

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
 成功例

 失敗例

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
 各クラスの再現率（%）
精度はSliding Windowとほぼ同等
0.35
0.3

ESS

0.25
0.2
0.15

平均：
Sliding
0.15

0.1

Window(10pixel刻
み)

0.05

平均：0.133

0The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
 平均時間(s)
0.25
0.2
0.15
0.1
0.05
0

ESS

平均：
0.0606s

Sliding
Window(10pixel刻
み)
平均：0.2192s

10pixel刻みのSliding Window より高速The University of Electro-Communications
Tokyo, JAPAN (UEC)ESSの改良 Bounding box の中心部分のVisual wordを事前に照合し探索候補を削減し，高速化[Lehmann et al. 2009] Bounding polygons [Yeh et al. 2009]164

Sliding window 3段階手法

The University of Electro-Communications
Tokyo, JAPAN (UEC)[Vedaldi et al. ICCV09]
Multiple Kernel Learningによる18種類 軽いの特徴の統合処理
 候補位置：discriminative visual words
を含むbounding boxを多数生成．
 [1st step] MKL+線形カーネル で，物体体候補探索(2000程度）
 [2nd step] MKL＋準線形カーネル
2
1
重K ( x, y)  2 (1   ( x, y)) の利用
い 候補を100個程度に絞る

 [3rd step]

MKL+カイ2乗RBF

処
理

低
精
度

高
精
度
165

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー領域分割
 過分割領域 (superpixel) + CRF
mxm (labels)myx

D (pixels)

Pairwise Potentialxy(mx, my)Unary Potential
x(D|mx)yImage Plane

166

The University of Electro-Communications
Tokyo, JAPAN (UEC)

コンテキストの利用：

人間は「常識」として持っている知識
 共起関係： 階層的認識：シーン認識

共起の強さを確率で表現
机

ライオン

ディスプレイ

風景

屋外

室内

草原

part-of 関係

サバンナ

キーボード
本棚

＋物体認識（＋領域分割）

空
床

自動車

路上

道路

ライオン

机

ディスプレイ

草原

本棚
キーボード

空

道路

床
自動車

167

The University of Electro-Communications
Tokyo, JAPAN (UEC)

コンテキストの利用(2):

人間は「常識」として持っている知識
 様々なコンテキスト情報
 共起関係 相対位置関係 自動車は道路の上にある.ポストの上にはない．

 相対スケール

机の上の車はミニカー(重力に対する)支持関係 PCは机の上にある

 背景と前景の関係

 外部コンテキスト情報
 写真の撮影日時，GPS情報
 カメラのパラメータ(Exif情報)

168

The University of Electro-Communications
Tokyo, JAPAN (UEC)例） Surface Estimation
Image

Support

VerticalSky

V-LeftV-Center

V-Right

V-Porous

ObjectSurface?
Support?

V-Solid[Hoiem, Efros, Hebert ICCV 2005]
Slide by Derek Hoiem

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Object Support[Hoiem et al. ICCV 2005]

The University of Electro-Communications
Tokyo, JAPAN (UEC)

言語の階層的分類（タクソノミー）との関係
member-of 関係
instance-of 関係

物体
動物
…..

無生物

植物
自然物

脊椎動物

人工物

どのレベルで認識するか？
ほ乳類
バク

鳥類
イノシシ

ライチョウ

カメラ

５．データセット【参考文献】[Tor08] Antonio Torralba, Rob Fergus and William T. Freeman: 80
million tiny images: a large dataset for non-parametric object andscene recognition, IEEE trans. PAMI, pp.1958-1970, (2008).
[Den09] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, Li
Fei-Fei : ImageNet: A Large-Scale Hierarchical Image Database,
CVPR, (2009).

The University of Electro-Communications
Tokyo, JAPAN (UEC)[背景1]

World Wide Webの情報爆発！

 あらゆる情報が存在．
 テキスト情報に加えて，画像，動画像の宝庨．
 Ｗｅｂ2.0の浸透によって，誰でも手軽にＷｅｂ上に
画像，動画像をアップすることが可能になった• 携帯からも，スマートフォンからも，デジカメからもアップ可能
写真動画共有サイト＋

丌特定多数の人々によって撮影された画像・映像
新しい価値 173がWeb上には，大量に存在する．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2003年

174

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2009年

175

The University of Electro-Communications
Tokyo, JAPAN (UEC)

写真共有サイトの登場
 Flickr, Picasa など
 Consumer-generated media (CGM)と呼ばれる
 多くの写真にはユーザが付不してタグ(キーワード)が付いている• 写真共有サイト内のタグ検索は，Web画像検索より高精度．ただし，多義語の問題はある．
 最近では，位置情報もついている場合がある．

• 位置情報付き画像，geotagged image と呼ばれる
 画像(visual feature)と単語(word concept)の関係分析に利用しやすい
これらの画像＋メタデータを利用することで，新しい研究が可能！176

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Web2.0
サイト例
タグ

Flickr
写真共有サイト

The University of Electro-Communications
Tokyo, JAPAN (UEC)

例２：Panoramio 位置情報画像共有サイト

例３： Youtube

テキスト

The University of Electro-Communications
Tokyo, JAPAN (UEC)The University of Electro-Communications
Tokyo, JAPAN (UEC)[背景2]

Webデータ収集の容易化
 ２００２年４月

Google Web API が公開

 Ｇｏｏｇｌｅの検索ＤＢが，自作のシステムから無料で誰でも利用可能．画期的！！
 それまでは，HTTP GET を 80ポートに送信．
戻ってきたＨＴＭＬから結果抽出（wrapper)．
 現在は，

ほとんどの検索エンジン，共有サイト，ＥＣサイト
がWebAPIを無償公開している．
180
データ収集が容易

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Ｗｅｂ画像・動画像の特徴
 無料！

研究に利用しやすい．
 多種多様な画像が，大量にある （数百億？）
 一般の人が撮った写真が多い(Consumergenerated) 特に，写真・動画共有サイト
 「一般物体認識」研究のためのデータに向いている メタデータが付いている．
 テキスト情報（周辺テキスト，タグ）：

ノイズあり• テキスト情報を利用して，特定種類の画像を収集可能
 ジオタグ（位置情報）, 撮影日時，使用カメラ，焦点距離．

こうした特性を考慮して利用するべき

181

The University of Electro-Communications
Tokyo, JAPAN (UEC)

WebAPIによる収集例： ラーメン

182

The University of Electro-Communications
Tokyo, JAPAN (UEC)

WebAPIによる収集例：寿司183

The University of Electro-Communications
Tokyo, JAPAN (UEC)

8千万枚のＷｅｂ画像による認識[Torralba et al. PAMI 2008] データの量を増やすことで認識精度を上げる
 7900万枚の画像（巨大なデータセット）収集に1年
 ノイズが含まれていても気にしない．

 Nearest Neighbor法（簡単なアルゴリズム）• データからのアプローチ．
 非常に多くのデータを扱う
 画像インデックス技術
 イメージの低次元化（３２×３２×３），７６０ＧＢ

 最新手法の結果に匹敵する認識精度

The University of Electro-Communications
Tokyo, JAPAN (UEC)

3.1 画像収集
 キーワード Wordnet[15]から75,062語
 抽象的でない名詞

 画像検索エンジン
 Altavista, Ask, Flickr, Cydral, Google,

Picsearch, Webshots 収集枚数 97,245,098枚
 重複画像を削除して，79,302,017枚
 1つのキーワードの画像上限は3000枚に設定

 画像容量 32×32のサイズで保存すると，760GB

The University of Electro-Communications
Tokyo, JAPAN (UEC)「人」の認識 検索エンジン改良にも貢献できる (a)はAltavistaでの検索結果のランク上位

 (b)はWordnet Voting Schemeでのランク上位

 高解像度画像を使った顔画像認識（OpenCV)と 同程度の精度を出すことに成功した

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般対象の認識The University of Electro-Communications
Tokyo, JAPAN (UEC)

8千万枚のＷｅｂ画像による認識
 画像が多いクラスは特定クラス検出器に匹敵 一部のクラス以外は利用できる学習画像が

尐ない．それらのクラスには最近傍法は向かない 物体認識の二つの側面
 モデルとデータ• 多くの研究ではモデルの研究• この研究はデータ側からアプローチしている．
Xin-Jing Wang, Lei Zhang, Ming Liu, Yi Li, Wei-Ying Ma:
ARISTA - Image Search to Annotation on Billions of Web Photos,
CVPR, (2010). では，２０億枚で同様の実験を実施．さらによい結果が得られた！

The University of Electro-Communications
Tokyo, JAPAN (UEC)

ImageNet[Deng et al. CVPR2009] あらゆる言葉に関する画像をデータベース化．
Wordnetの画像版．
http://www.image-net.org/
 現在15,589語について
1,123万枚収集
 Amazon Mechanical Turk を利用して作成．
（丌特定多数の人の知識の利用. Crowd-sourcing) 画像認識は補助的に利用．最終的には人手 階層構造を持つ大規模画像DBの意義
 画像認識の学習データ．評価データ．
 画像と意味の大規模分析

192

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Amazon Mechanical Turk
 大量の“人力”の利用： crowd-sourcing

 学習画像データ作成，認識結果評価に利用可能．

193

The University of Electro-Communications
Tokyo, JAPAN (UEC)

ImageNetの概要
 ImageNetとは？
 WordNet構造の背景に基づいて打ち立てられた

画像の大規模な画像オントロジー
 ImageNetの内容
 WordNet[9]の80,000synset(synonym set)に対応
 各synsetで平均500-1000枚のクリアでフル解像度の画像を用意(予定総数は５千万)
 画像認識研究用に全画像を公開．
 Amazon Mturk を利用して人手で構築．ノイズなし

The University of Electro-Communications
Tokyo, JAPAN (UEC)

現在のImageNetの状況
 構築状況
 5247synsets (今年9月) ⇒14847 syn. (今日） 320万枚の画像 （今年9月）⇒ 940万枚（今日） 12のサブツリーの構築• 哺乳類，鳥，魚，爬虫類，両生類，乗り物，
家具，楽器，地形，道具，花，果物
 データベースの閲覧 http://www.image-net.org

The University of Electro-Communications
Tokyo, JAPAN (UEC)

図１ 哺乳類と乗り物のサブツリー

Large Scale Visual Recognition
Challenge 2010

The University of Electro-Communications
Tokyo, JAPAN (UEC) ImageNet のデータを使った，

１０００種類画像認識Challenge (1000クラス分類）
 PASCAL VOC (visuall object challenge)の一部

 １０００クラス１２０万枚のラベル付き学習データ
 １０００クラス１５万枚のラベルなしテストデータ

 1000クラスマルチクラス分類による分類率などで結果を評価．
 ８月２３日締め切り．
198

６. 今後の方向

The University of Electro-Communications
Tokyo, JAPAN (UEC)

今後の方向 (1)
 ８０million，2billion から示唆されるように，

量がブレークスルーになる可能性がある．
 特定物体認識（NN探索）が主役！

• 一般物体認識の特定物体認識化．同一(nearduplication)インスタンス検索によるクラス分類．
 でも，MS/Google以外には手に負えない可能性．．

• 80million収集に1年掛かるとすると．．．
• 2billion⇒25年．．． もはや大学などでは丌可能．

200

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2003年

201

The University of Electro-Communications
Tokyo, JAPAN (UEC)

lion animal

2005年

202

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2009年

203

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2009年 類似画像検索

204

The University of Electro-Communications
Tokyo, JAPAN (UEC)

201?年

画像認識

80 billion image DB
NN search (特定物体サーチ）
surrounding
text, tag解析「ライオン」「動物園」
量が解決する可能性．さあ，我々はどうする？

「多摩動物園」
205

The University of Electro-Communications
Tokyo, JAPAN (UEC)

今後の方向 (2) 重要になる機械学習・データマイニング技術
 大量データに対する高速類似データ検索• Near-dupulication detection• 高速クラスタリング
 学習データが尐ない場合(特殊な認識対象，新しい認識対象)への対処• 半教師あり学習(semi-supervised learning)• 転移学習(transfer learning) 機械学習による認識対象毎の最適な特徴抽出．
 K-NNにおけるメトリックの工夫• Metric learning，距離関数の学習

206

The University of Electro-Communications
Tokyo, JAPAN (UEC)まとめ 「一般物体認識」について紹介した．
 特定物体と 一般物体 の違い
 現在どこまで出来るか？

 基本的な手法： Bag-of-Features (BoF) 画像単位での分類
 一般物体の位置検出

 Web上のデータによるデータセット 今後の展開 特定物体認識が一般物体認識になる？

207

The University of Electro-Communications
Tokyo, JAPAN (UEC)

おわり