【チュートリアル】
一般物体認識PRMU/CVIM チュートリアル講演

2009年 11月 26日
電気通信大学

情報工学科

柳井 啓司
The University of Electro-Communications
Tokyo, JAPAN (UEC)The University of Electro-Communications
Tokyo, JAPAN (UEC)「一般物体認識」大ブーム到来！
 ２０００年以降に急速に研究が発展！

(1) 局所特徴量による新しい画像表現の提案
SIFT と Bag-of-features(2) 機械学習の進歩
SVM, boosting, graphical model, MCMC，…

(3) 大規模データセットの入手の容易化
Web, Web Image Search, CGM, Flickr, Youtube, Mturk(4) 計算機(PC)の高速大容量化
メモリ: GB, HDD: TB, マルチコア, クラスタ
クラウドコンピューティング
2

The University of Electro-Communications
Tokyo, JAPAN (UEC)

アウトライン [導入] 一般物体認識とは？
 特定物体と 一般物体 現在どこまで出来るか？
 基本的な手法： Bag-of-Features (BoF) 画像単位での分類
 一般物体の位置検出

 データセット [まとめ] 今後の展望
3

１．一般物体認識とは？
【参考文献】
柳井啓司. 一般物体認識の現状と今後. 情報処理学会論文誌: コンピュータビジョン・イメージメディア,
Vol.48, No. SIG16 (CVIM19), pp. 1-24, 2007.

The University of Electro-Communications
Tokyo, JAPAN (UEC)「物体認識」とは？
 画像中の「物体」を認識する技術，研究分野
空カテゴリー認識

トラ

文字認識

顔画像検出

山
芝生

カテゴリー認識 シーン認識

同一物体の認識安倍３Dモデル物体認識

谷垣

顔画像認識

特定物体検出5

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー・同一物体認識
 カテゴリー認識
 文字認識一般物体認識 顔検出
 一般的な名称の物体・シーンを認識(e.g. ライオン，ラーメン，山，空） 同一物体認識
 部品認識 (3D モデルベースト認識)
 人物名認識 登録物体の検索

特定物体認識6

復習

The University of Electro-Communications
Tokyo, JAPAN (UEC)

特定物体認識 (同一物体認識)
 特定の登録物体が画像中にあるかどうか認識

見た目（appearance）がまったく同じ物体を検出
現時点では剛体なら９５％以上認識可能．ただし，顔や動物などの変形物体は難しい．

7

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識 (カテゴリー認識)
 “一般的な”実世界画像の認識
 デジカメやWebの画像を自動認識．

 画像内容クマを 言語（記号） で記述．意味理解．

（草の上の）トラ（草を食べる）ゾウ

静止画像に対して，その中に含まれる物体もしくはシーンの一般名称（カテゴリー）を認識
究極的には人間以上に幅広く詳細な認識8

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識研究の背景
従来の画像認識

認識対象を限定していた （例．部品，顔，文字，自然風景）

近年のデジタルカメラ等の普及

一般画像データの入手の容易化
一方，計算機は意味は分からずにただ蓄積．

対象を限定しない一般的画像の認識技術の必要性
 画像内容による画像の自動分類，検索
画像の意味的処理．画像の取り扱いに関する 自動キーワード付与
セマンティックギャップ解消のための技術．

9

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の分類 (1) 画像全体のカテゴリー分類
クマ

トラ

ゾウ

 画像アノテーション：複数ラベルの付与
クマ
草
水

トラ
草
草原

ゾウ
キバ
空
草
草原

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の分類 (2) 画像ラベリング：領域分割→分類
grass
grass
tiger
grass
tiger

 カテゴリー物体検出：ウィンドウ探索

 オブジェクト領域抽出：認識＋領域分割
11

The University of Electro-Communications
Tokyo, JAPAN (UEC)

認識カテゴリーの例
空
空

物体カテゴリー認識
建物 // ビル
ビル
建物
木 // 桜桜木木/桜木 // 桜
桜
木

建物
建物
外灯
外灯
信号機
信号機

自転車
自転車

道路
道路

自動車 // バン
バン
自動車

バス
バス
12

The University of Electro-Communications
Tokyo, JAPAN (UEC)

シーンカテゴリー認識【場所について】【時間について】

• 屋外

•春

•街

• ４月

• (中層)ビル群

• 日中
• 晴天

以下は「固有名詞」

•

．．．

• 日本
• 東京都多摩市• 聖蹟桜ヶ丘• 京王百貨店• 緯度：N35.653488
経度：E139.44564

こうしたカテゴリー（属性）は，すべて（広義の）「一般物体認識」の認識対象
13

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の困難性
 認識対象が多様（カテゴリー内変化が大） 同一種類(カテゴリー)の物体でも形は様々. 変形も．

 撮影時の条件が多様（視点位置，向き，変形，

スケール，照明（天候），背景，オクルージョン）
 認識対象が多い．（カテゴリー数が多い．）
 辞書に出ている名詞の数だけある！
 何を認識するべきか？

数万？

レベルは？ 動物orライオン?

様々な「ライオン」

14

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー内変化(1)：いろいろな「椅子」

15

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー内変化(1)：いろいろな「椅子」
どんな「椅子」が認識できればいい？
(1) 世の中の「椅子」すべて？
(2) 典型的なもののみ？
(3) 「座る」機能を提供する物体すべて？

16

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー内変化(2)：いろいろな視点からの見え方[P.Yan, S. M. Khan and M. Shah:
3D Model based Object Class Detectionin An Arbitrary View, CVPR 2007]より

3Dモデルを持たずに見た目(appearance)のみで認識するのが現在の一般的方法．
様々な視点からの見た目の学習が必要

17

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー内変化(2)：いろいろな視点からの見え方
どこからみた「バイク」が認識できればいい？
(1)すべての方向？

360度．下からも上からも？

(2) 典型的な見え方のみ？ 真横，斜め前方．
canonical view(3) 状況によって異なる．
地上からみた場合．
高層ビルや飛行機から.
[P.Yan, S. M. Khan and M. Shah:
3D Model based Object Class Detectionin An Arbitrary View, CVPR 2007]より

18

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー数が多い：
多様なカテゴリー

19

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー数が多い：
多様なカテゴリー
一体，何種類認識できればいい？
(1) 世の中の物体すべて！ シーン，イベントも製品やランドマークなどの固有名詞も！
数千？ 数万？
basic-level/entry-level category
地域，文化によっても異なる．欧米の「家」，アフリカの「家」(2) 典型的なもの1000種類！ 「典型的」って？
(3) 用途に応じて． 花だけ．食べ物だけ．
花だけでも数千種類！？ 食べ物も数百種！
20

The University of Electro-Communications
Tokyo, JAPAN (UEC)「カテゴリー問題」[1] どの程度のカテゴリー内変化に対応すべき？
 どちらが「バイク」？

 一般的な視点とは？

[２] 何種類のカテゴリーに対応すべき？
 人間は数千種類に対応．

•２５６？１０２４？ Wordnet全部（5万）？ 応用次第？ 21

The University of Electro-Communications
Tokyo, JAPAN (UEC)「カテゴリー問題」は「フレーム問題」
 人工知能での「フレーム問題」
 実世界に対応する知能システムを構築するには，あらゆる可能性を考慮する必要がある． e.g. 椅子の形は無限にある．
 「椅子」認識システムは構築不可能！？
 DBに含まれる「椅子」のみを認識できればとりあえずいいことにして，研究する！
22

The University of Electro-Communications
Tokyo, JAPAN (UEC)

現状での「カテゴリー問題」への対処法

 標準データセットを利用して研究を進める．

•カテゴリー問題を棚上げして，研究を進めることが可能．
アルゴリズム開発に集中出来る！ パターン認識の問題．
•標準データセットにあるカテゴリーが認識すべきカテゴ「一般物体認識」－「カテゴリー問題」＝「パターン認識問題」
リー．
 問題点：標準データセット作成者の主観でカ

テゴリ内変化やカテゴリ数が決められている．
 [それに対する新たな動き] Webの大量画像•Wordnetに出ている名詞（7万語）すべてについてデータセットを作成 [Tinyimage 2009][imagenet.org 2009]•Ｗｅｂ(Flickr)から数百万枚収集して画像アノテーション「Webに存在する知識≒ 人間の知識」とみなすことにより対処．
23

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実際の研究用データセット(1) Caltech-101 : 2004 年に登場の101種類

カテゴリーの画像認識データセット(全体分類用)
平均画像からカテゴリが分かる！
カテゴリ内変化が小

各カテゴリの平均画像

技術レベルに合わせて，
意図的にやさしくしてある．

24

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実際の研究用データセット(2) Caltech-256 (2007年登場)
 クラス数256，クラス内変動も大きくなっている．

平均画像からカテゴリ認識不能．
•（少し改善された．）

25

The University of Electro-Communications
Tokyo, JAPAN (UEC)

最新の一般物体認識の分類精度[Varma et al. 2007]のCaltechの結果は間違い！
 Caltech-101/256 [Varmaet al. 2007](Bosch’s kernel matrix事件)

89.6 %

60.6％(正） 77.7 %(正） 50.8 %Caltech-101/256 の認識精度は，2007年から向上していない．
OxfordVisualGeometry Group
HP新しいブレークスルーが必要！
より
26(単一特徴で73.0% ICCV2009)
BoF+MKLが現在の最高精度→

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実際の研究用データセット(3) Caltech-256 の問題点
 カテゴリー数が多すぎて，重複するカテゴリーがデータセットに含まれている．
「チャーハン/ピラフ」問題
認識カテゴリーを決めるのは実は難しい問題．重複なしで選ぶことは困難．

ピラフ

画像認識研究者は認識方法のみを研究している!?

チャーハン
27

The University of Electro-Communications
Tokyo, JAPAN (UEC)

PASCAL Visual Object Challenge
2005年～

Caltechと違って多様であるが種類は２０のみ．
毎年データが代わる．
１）分類
２）検出
３）物体領域抽出
４）人間のパーツ検出の４つのタスクがある．
28
Caltechよりも多様な画像．Flickrから収集した画像．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

厳密な定義がない認識カテゴリー：-どのような「認識」をするべきか？ 認識にふさわしい認識カテゴリは？
 人間の認識との一致．

•Basic/entry-level (認知科学の用語．厳密な定義はない．)•Web上のアノテーションの利用（CGM）．
Wisdom of crowd 認識・分類が容易なカテゴリ階層．

•カテゴリのエントロピー評価 (visual/non-visual con.) 実用性．

•アプリケーション依存•食べもの．食事管理．
•図鑑．動植物．

29

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識は「人工知能問題」
 究極的には，人間が「○○」と思う物は，計算機も同様に「○○」と認識するべき．

理想の一般物体
認識システム 人間の言語と対応したカテゴリーの認識．
 特定物体認識の場合は，カテゴリー（クラス）がない．

 一般物体認識：人間が基準．人工知能問題．
 クラス定義があいまい．フレーム問題．

 特定物体認識：全く同一の物を認識．
 問題が明確．アルゴリズムの問題．

30

２．基本手法：
Bag-of-Features (BoF)（ここまでは理想の一般物体認識，
ここからは現実の一般物体認識）【参考文献】[Low99] Lowe, D.G.: Object recognition from local scale invariant features,
Proc. of IEEE International Conference on Computer Vision, pp. 1150–
1157 (1999).
[Siv03] Sivic, J. and Zisserman, A.: Video Google: A Text Retrieval
Approach to Object Matching in Videos, Proc. of IEEE International
Conference on Computer Vision, pp.1470–1477 (2003).
[Csu04] Csurka, G., Bray, C., Dance, C. and Fan, L. “Visual categorization
with bags of keypoints,” in Proc. of ECCV Workshop on Statistical
Learning in Computer Vision, pp. 59–74 (2004).

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体認識の歴史

研究者の知識がすべて！

７０年代 線画解釈．（画像処理が中心．）
８０年代前半 知識ベース型システム.
 人手によるルール記述に一般性がない．知識爆発．

80年代後半 3次元の復元. モデルベースト．
 既知形状の物体のみ．実世界でうまくいかない．

90年代 学習による認識．顔画像や既知物体の検出 ．
 顔画像認識(Eigenface)の成功．固有空間法.
 画像ＤＢにおける画像の意味的分類．

00年代 局所特徴＋機械学習 により 大きく進歩
９０年代までは，画像認識においてはマイナーな研究分野．
32

The University of Electro-Communications
Tokyo, JAPAN (UEC)昔の研究 （１９９５年くらい）
モデル当てはめ
エッジ抽出

特徴
選択

エッジ画像

有意特徴

入力画像

認識結果

領域分割

分割領域
モデル知識ベース

関係知識ベース

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2000年以降の発展 突然ブレイク！

Bag-of-Features, SVM + PCの進化,Webの発展
2000年 Constellation model (確率モデル)
2001年 確率手法による単語と画像の対応付け [RWCP]
2002年 Word-image translation model
特定物体認識の基本手法
2003年 Video Google (image searchby visual words)
2004年 Bag-of-Features(BoF)+SVM
一般物体認識の基本手法
2004年 Caltech101 2005年 Pascal VOC
2005年～ BoF + probabilistic graphical model(PLSA, LDA, HDP, their modifications)

BoF + SVM with modified kernel
BoF + MRF for semantic region segmentation34
2007年 Caltech256 (256カテゴリーのデータセット）登場

The University of Electro-Communications
Tokyo, JAPAN (UEC)

全体特徴から局所特徴へ 2000年以前の認識
 認識対象の全体を利用

原画像

 問題点：物体の隠れや変形に弱い．

 部分の組み合わせによる認識:

複数の部分と位置関係で認識
 局所パターンの分布に

frequency

問題点：位置関係の扱いは面倒！視点変化にも弱い

星座モデル

基づく認識(bag-of-features)シンプル！
 位置関係はすべて無視！

visual words

Bag-of-featuresモデル

局所特徴量 による
特定物体認識The University of Electro-Communications
Tokyo, JAPAN (UEC) SIFT [Lowe 99] 回転およびスケール変化に不変な局所特徴量

ただし，D.Loweが想定したのは，特定物体検出
 Video Google [Sivic et al. 03]
 SIFT特徴ベクトルをベクトル量子化し，画像を

visual wordsの集合とみなす．
 テキスト検索の手法(Google)を応用し(inverted file)，高速画像検索を実現．（同一部分の検索）37

The University of Electro-Communications
Tokyo, JAPAN (UEC)

局所特徴量
 局所パターン(10x10～30x30程度)をベクトル化(64～128次元）
 類似パターンは，類似したベクトルになる
 SIFT法 と SURF法が有名•フリーソフト．SURFはOPENCV.
•商用利用は有償(特許出願済み)

38

The University of Electro-Communications
Tokyo, JAPAN (UEC)

局所特徴による特定物体検索
query

query

query

Video Googleより39

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features 表現：
代表パターンの集合による表現
Object[ICCV 2009 tutorial スライドより]

Bag of ‘words’

The University of Electro-Communications
Tokyo, JAPAN (UEC)

同一カテゴリー：同一代表パターンを含む
異なるカテゴリ：代表パターンは異なる．
 代表パターンのヒストグラム表現[ICCV 2009 tutorial スライドより]The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features [Csu04]：

visual wordの一般物体認識への適用
 Visual words の集合として画像を表現
 Visual words のヒストグラムを画像特徴とする
 単語出現頻度によりテキストを表現する方法の

bag-of-wordsの考え方を画像に応用．語順を無視するのと同様に，位置を無視．
 Bag-of-features によって表現された

特徴ベクトルをNaive Bayes, SVMなどの機械学習手法で分類．テキスト分類と同じ！
 Bag-of-visual-words (BoVW)，
Bag-of-keypoints (BoK) とも言うことがある．
42

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-featuresのアルゴリズム：
bag-of-features表現への変換 特定と同じ
 画像を visual word の出現頻度ヒストグラムで表現
2.

3.

4.

各画像について，数千個の特徴点を抽出．
SIFT法
SIFT記述子により特徴点周辺パターンを（特徴点抽出＋記述）
SIFT特徴ベクトルとして抽出．
予め求められた visual words (codebook)に基づいてSIFT
特徴ベクトルをベクトル量子化．
画像毎にヒストグラムを作成．
frequency

1.

visual words

The University of Electro-Communications
Tokyo, JAPAN (UEC)

特徴点のサンプリングの方法 特定と違う！
 主な3つの方法

SIFT法の方法

 Difference of Gaussian(DoG) Random sampling Grid sampling

DoG (sparse)

sparse sampling と呼ぶ
dense sampling と呼ぶ

random(dense)

grid(dense)(スケールもランダム）(同一点に複数固定スケール）

カテゴリー分類においては，パターンのない部分も重要．
Random/gridは,点の数の制御可能．一般には多い方がいい．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Visual words の求め方

特定と同じ

 学習画像（正例，負例）を用意し，SIFT特徴ベクトル

を全画像から抽出 （枚数が多い場合は，ランダムサンプリング）
 k-means クラスタリングを実行
各クラスタの中心が “visual words”

vi vi
vi vi
vi
vi vi
vi
vi v
i
SIFT vectors“Visual words” は，代表的な
局所パターンに相当する．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features 表現 (BoF)

frequency

Visual wordsの出現頻度（ヒストグラム）
によって画像を表現．

…..
Visual words(数百～数千個)

次元は，数百～数千次元．
46
スパースなベクトルになる．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-features表現を用いた
画像認識
 あとは，多次元ベクトルの分類問題

 最初の論文[Csu04]では，以下の2つの手法で実験•SVM (support vector machine)•Naive Bayes
従来手法の結果を大きく改善
 例：Web画像の分類
 10種類のキーワードについて，平均適合率• 従来手法（領域分割＋GMM）:•BoK + SVM（ブラウザーにジャンプ）

73.5％: 82.4%47

The University of Electro-Communications
Tokyo, JAPAN (UEC)[まとめ] Bag-of-featuresの特徴


認識方法ではなくて，画像の表現方法．
局所出現パターンのヒストグラム．







カラーヒストグラムに似ているが，色空間の代わりに
SIFT記述子空間(128次元)をk個に分割．SIFT記述子の回転，拡大縮小に不変な特性を受け継ぐ．
単語の順番を無視して，単語の出現頻度のみで文章を表現するbag-of-words表現と等価．Bag-of-visual-words.

Bag-of-words用のテキスト処理手法が適用可能．
SIFT/SURF と k-means で容易に実装可能．


SIFT/SURFは公開ソフトが利用可能．SIFT++, OPENCVなど．
k-meansは教科書レベル．
48
分類は，SVMを使えば簡単高性能．(LibSVM, OPENCV ml lib.)

The University of Electro-Communications
Tokyo, JAPAN (UEC)

BoFベクトルの分類
 機械学習手法なら何でもいい．
 Naive bayes法•単純で実装容易だが，意外とうまくいく．多クラス対応．
 Nearest neighbor法•データが大量にないとあまりうまくいかない．多クラス対応．
 Support vector machine (SVM)•次元が高いので，線形カーネルでもまずます．
•カイ2乗RBFカーネルが，最近のスタンダード．
•1-vs-restはクラス数が多いと計算コスト大，並列化可能．
 アンサンブル学習•Random forest, boosting など．

49

The University of Electro-Communications
Tokyo, JAPAN (UEC)BoF + SVM が最も手軽な方法
学習画像（2/マルチクラス）とテスト画像を準備．
2. グリッドかランダムで，特徴点を決定
3. SIFTかSURFで，特徴点記述
4. K-meansで，codebook 生成．
5. Codebookから各画像をBoFベクトルに変換．
6. LIBSVM か OPENCVのSVMで，学習・分類．
1.



LIBSVMはマルチクラス対応なので簡単．
内部で1-vs-restを自動的に実行．
50

The University of Electro-Communications
Tokyo, JAPAN (UEC)SVMに関する tips (1) SVM は，必ずパラメータの最適化を行おう！
 学習データによるクロスバリデーションで行う．

•C : ソフトマージン(コスト)パラメータ•γ： カーネルパラメータ．(RBFカーネル） LIBSVMの場合,

grid.py で
自動探索
 劇的に結果がよくなることも多い！

Log γ

Log C

51

The University of Electro-Communications
Tokyo, JAPAN (UEC)SVMに関する tips (2)[Zhang et al. IJCV2007] カーネルは，カイ2乗（）RBFカーネルを使う！

 最近のスタンダード．単に「カイ2乗カーネル」とも．

 しかも，には，全学習データ間のカイ2乗距離の平均（or中央値）の逆数を設定するとよい．（経験則）

  (mediani , j 1,...,n  ( xi , x j ))2

1

 ただし，LIBSVMには自分で追加する必要がある．

Cの値の探索は，依然として必要．

52

The University of Electro-Communications
Tokyo, JAPAN (UEC)によるカーネルマトリクスの変化

Caltech ?

平均の逆数

5-fold CV[C. Lampert CVPR2009 tutorial on Kernel Methods スライドより] 53

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カイ2乗カーネルがいい理由[C. Lampert CVPR2009 tutorial on Kernel Methods スライドより] 54

The University of Electro-Communications
Tokyo, JAPAN (UEC)

学部3年生でも「一般物体認識」！

6日間で，一般物体認識とMATLABもマスター！
テキストも6日で完成．
（6晩徹夜！）
実質3日なので，「特定」に対抗可能!?
もしくは「特定」に＋1日．55

３．BoFを用いた
画像分類【参考文献】[Laz06] Lazebnik, S., Schmid, C. and Ponce, J.: Beyond Bags of
Features: Spatial Pyramid Matching for Recognizing Natural Scene
Categories, Proc. of IEEE Computer Vision and Pattern
Recognition, pp.2169–2178 (2006).
[Var07] M. Varma and D. Ray. Learning the discriminative powerinvariance trade-off. In Proc. of IEEE International Conference on
Computer Vision, pp.1150–1157 (2007).
[Rab07] A. Rabinovich, A.Vedaldi, C. Galleguillos, E. Wiewora and
S. Belongie: Objects in context, In Proc. of IEEE International
Conference on Computer Vision, pp.1150–1157 (2007).

The University of Electro-Communications
Tokyo, JAPAN (UEC)BoF の改良： codebook生成法
 Visual words : 代表パターンをいかに見つけるか Unsupervised•K-means の代わりに mean-shift•K-means の代わりに GMMでソフトクラスタリング•Hierarchical k-means で vocabulary tree の生成 Supervised： クラスラベルの利用•Supervised clustering•Information bottleneck (IB) 法など•Discriminative visual words のみの利用•空間分割と分類を交互に行う•Unifying Discriminative Visual Codebook Generation withClassifier Training [Yang et al. CVPR 2008]•他にもいろいろ多数．カバーし切れません！

57

The University of Electro-Communications
Tokyo, JAPAN (UEC)

BoFの改良 (2) ヒストグラムのため位置情報を利用しない ブロック分割して，サブヒストグラムを作成•Spatial pyramid kernel
 SIFTを利用するので，色情報を利用しない
 RGBやHSV, Labなど，3つの色成分ごとに

SIFTで特徴抽出(128次元×３）•Color SIFT
 色情報や形状情報，テクスチャ情報を統合•重み付き線形和カーネル による統合
 どこに物体があるか分からない．物体検出．

58

The University of Electro-Communications
Tokyo, JAPAN (UEC)[一休み] BoFの欠点は．．．

とは，区別不可能？

59

The University of Electro-Communications
Tokyo, JAPAN (UEC)

位置情報の導入
Spatial pyramid kernel [Laz06]
 BoKをグリッド分割して階層的にlocal BoF作成



各レベルごとにヒストグラムインターセクションを求め，レベルごとに異なる重みで統合．SVMのカーネル関数とする．
L
1
1
k ( X , Y )  L I 0 ( X , Y )   L l 1 I l ( X , Y )2
l 1 21
1
1
 I 0  I1  I 2 (in case of L  2)
4
4
2
I l : Histogram intersetion in level l

簡単！ でも，次元が21倍になるのが難点！

I2 ( X ,Y )I1 ( X , Y )I0 ( X ,Y )

The University of Electro-Communications
Tokyo, JAPAN (UEC)

色情報の利用：Color SIFT
 各特徴点についてRGB(HSV, Lab)の

３つのSIFTベクトルを計算し，１つに結合．
R

vR

G

vG

B

vB

vRGB
Color SIFT
ベクトル
(128*3次元)
61

The University of Electro-Communications
Tokyo, JAPAN (UEC)

他の種類の特徴との統合 [Var07](Multiple Kernels Learning) 多種類特徴を統合するSVMのカーネル関数
 重み付き線形和カーネル関数による，

Bag-of-features, 色，形の統合．
+ 重みの自動推定．
 各特徴のカーネルをとすると，統合カーネルは，

ただし， di (i  1,.., N k ) は最適化問題を解いて求める．
•カーネルの重みを求めるのは，機械学習の研究では
近年よく研究されている．

認識精度を上げるには，BoFのみでなく，様々な特徴量を Caltech-101, 256の分類で，最高の約90%, 約60%を達成
カテゴリーに応じて選択的に利用することが重要． 62

The University of Electro-Communications
Tokyo, JAPAN (UEC)

５０種類食事カテゴリー分類

は人手で囲んだ食べ物の位置

各種類１００枚ずつ 計５０００枚

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
Multiple Kernel Learning法
による特徴統合による結果と特徴単独によるの５０種類の平均分類率
特徴
Color

平均分類率
38.18%

BoF(dog2000)

27.48%

BoF(grid2000)

27.68%

BoF(random2000)
MKL(mean-x2
distance)

29.70%
61.34%

The University of Electro-Communications
Tokyo, JAPAN (UEC)MKLで学習した特徴の重み
エビチリの結果

The University of Electro-Communications
Tokyo, JAPAN (UEC)

MKLが最善の特徴統合手法？
 Gehler et al. : On Feature Combination

for Multiclass Object Classification[ICCV 2009] 各種統合手法の比較•MKL•LPBoost: SVMを弱識別機にするboosting•CGBoost: LPBoostとは異なるboosting•Average: 複数カーネルの平均をカーネルとする•Product: 複数カーネルの積をカーネルとする
69

The University of Electro-Communications
Tokyo, JAPAN (UEC)

特徴統合の方法

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験：Oxford Flowers
 オックスフォードの花データセット[13] 17種類の花、各80枚
 C ∈｛0.01, 0.1, 1, 10, 100, 1000｝ ν ∈ {0.05, 0.1, . . . , 0.95}

MKLがベストという訳ではなく，単純なproductも健闘．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Results for caltech-101

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Results for Caltech-256

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Bag-of-words用の手法の導入（テキスト解析手法の導入）

文書：単語の集合 → bag-of-words
画像：VWの集合 → bag-of-visual-words
 Video Google [Siv03]
キーワード検索手法（転置インデックス）の画像
検索への応用 確率トピックモデルの画像への応用：
元々はテキスト解析用bag-of-wordsを前提とする
 PLSA (Probabilistic Latent Analysis)
 LDA (Latent Dirichlet Allocation)
74
 HDP (Hierarchical Dirichlet Process)The University of Electro-Communications
Tokyo, JAPAN (UEC)

高次元でスパースなBoF向けの
確率的クラスタリング: PLSA と LDA
 テキスト解析向けの確率トピックモデル
 Bag-of-words表現された文書を確率的にトピック分類する トピック数は，事前に指定する．K-meansと同じ．
 トピックをｚ，文書（画像）をｄとすると，各文書について P(z|d) が求まる
 Probabilistic Latent Semantic Analysis
 (ヒストグラムは離散なので)混合多項分布によるモデル
 P( w, d )  P(d ) p( w | z ) P( z | d )をEMでパラメータ推定z Latent Dirichlet Allocation (判別分析ではありません！)
 PLSAを改良．多項分布の代わりに混合ディリクレ分布．

オーバーフィッティングを解消．データが多いとpLSAで十分．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

P(pos|topic)
P(Mountain|topic)例： Mountain10 topics

0.112
0.661
0.167

0.186
0.407

正例

0.023

0.761
0.334
0.949

負例
GMMによる認識と同じことができる

0.987

The University of Electro-Communications
Tokyo, JAPAN (UEC)

自動カテゴリー発見
 [Sivic ICCV05]
 Bag-of-keypoints modelを採用.
 テキスト解析においてtopic detectionに利用されるpLSA (probabilistic Latent Semantic
Analysis) を用いて,topic detection を行う.
 ４種類の物体が含まれる画像セットから４種類の物体を分離させることに成功．
もしスケールアップできれば，１０億枚のWeb画像からクラス発見！？
実際は，スケールアップできない．クラス内外の変化を区別不可能．77

The University of Electro-Communications
Tokyo, JAPAN (UEC)

時間方向(動画)への拡張 :Bag-of-video-words

 時空間特徴量をVQ化し，spatio-temporalvisual wordsによって動画を表現
 動きを考慮した特徴点を抽出し，

cuboidなど[画像＋動き]の特徴量を抽出．

78

The University of Electro-Communications
Tokyo, JAPAN (UEC)

KTHデータセット

The University of Electro-Communications
Tokyo, JAPAN (UEC)

最新結果 [Lap08]
 分類は

SVM + χ2乗カーネル 我々が実験中の結果は，約93％

 ICCV2009での最高は，97.1%
動作認識もBoFで可能．局所特徴以外は画像分類とほとんど同じ．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

最新結果

４．一般物体検出【参考文献】
Lampert, C. H., Blaschko, M. B. and Hofmann, T.: Beyond Sliding
Windows: Object Localization by Efficient Subwindow Search,
CVPR 2008.

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般物体の検出 画像ラベリング：領域分割→分類
grass
grass
tiger
grass
tiger

 カテゴリー物体検出：ウィンドウ探索

 オブジェクト領域抽出：認識＋領域分割

画像丸ごとのクラス分類は，かなりできるようになった．
(e.g. Caltech101 約80%) 次の課題は，物体位置検出．

83

The University of Electro-Communications
Tokyo, JAPAN (UEC)

元祖画像ラベリング：
Word-image-translation model[P.Duyguru, K.Barnard et al. ECCV 02]

 Statistical translation （統計的機械翻訳）
 大量の2ヶ国語テキスト（対訳コーパス）を学習データとし，確率モデルを学習し，翻訳を行う．文法知識が不要.
I have a red pen in my pocket.
私は 赤い ペン を ポケット の中に 持っている. 大量の対訳テキスト

I have a blue eraser in my pencil case.

未知の文が翻訳可能

 Word-image-translation model 大量のキーワード付画像を学習データとし，確率モデル構築
lion,
grass

panda,
grass

大量の単語付画像(bounding box不要)

grass
grass
tiger
grass
tiger

未知の画像に単語を付与することが可能

The University of Electro-Communications
Tokyo, JAPAN (UEC)

cat
horse

sun

領域分割

tiger
forestgrass

領域への確率モデルに基づくラベリング

grass

tiger
grass

grass

例１．P(word|region1)

cat
horse

領域毎に，
テクスチャ，
色，形状
などの
特徴量
を抽出

sun
tiger

未知画像の領域の特徴ベクトルからP（word|region)の値を計算．

forest領域毎に特徴ベクトルを生成
P(word|region) を学習．GMMでモデル化

grass
tiger

例２. P(word|region2)

領域分割は事前に行う．

The University of Electro-Communications
Tokyo, JAPAN (UEC)

画像ラベリングの例

86

The University of Electro-Communications
Tokyo, JAPAN (UEC)

画像ラベリング:
Multiple Instance Learning Multiple instance learning positive bag : positive instance を含む

 negative bag : positive instance を含まない

ライオンのpositive instance
はない．

ライオンの
positive instancepositive bag

negative bag Positive/negative bags より pos. inst. を求める
 確率モデルよりも，判別手法の方が性能が上．

•Mi-SVM , Sparse Multiple Instance SVM(Diverse Density (DD) はあまり使われない．）

87

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Region-based BoF
 Divide each image into regions by JSEG

(8 regions on the average)

Bag-of-features(BoF) histograms(1000-dim)

Segmentation （JSEG）
88

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Multiple Instance Setting Positive bags / Negative bags
positive ins.
(foreground)negative ins.
(background)

Positive instances of “flower”
89
pseudo-training
images

The rest of regions arenegative regions.

random images

The University of Electro-Communications
Tokyo, JAPAN (UEC)

mi-SVM[Andrew et al. NIPS 03]

 Apply soft-margin SVM iteratively
 Training → classifying → training →classifying → ……
During the iteration, the hyperplane is approaching the optimalplane to discriminate positive
instances from negative ones.

90

positive ins.
(foreground)negative ins.
(background)The University of Electro-Communications
Tokyo, JAPAN (UEC)

Final Image Re-ranking
 Regard the best SVM output score of theregions within an image as the score of
the image An image having one positive region at leastis a positive image !
 Rank images based on the scores

flowerairplane

91

apple

The University of Electro-Communications
Tokyo, JAPAN (UEC)

対象の検出へのBoFの利用：
領域分割との組み合わせ [Rab07]
 領域分割し，領域毎にBoFベクトルを作成，領域毎に分類．最後に共起関係より修正．
[Rab07]より
図を引用

領域分割は，
Normalized Cuts.
を利用．
共起関係は
確率モデル（MRF)
によって表現．
92

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Sliding Window 位置検出の基本は，sliding window例）顔検出(Viola-Jones detector), HoGによる人物検出

各windowに対しては画像全体に対する手法(ただし学習画像はBB付き）
でよいが，計算コストは非常に大きい！！
93

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Pascal VOC 2009
 Classification (画像全体分類）

よりもDetection (物体検出）の方が中心タスク．

94

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Sliding windowsの高速化手法
 Efficient Subwindow Search (ESS)[Lampert et al. 2008] 線形SVMのみ．線形性を利用．
 分枝限定法によって，high score BBを探索する

 Jumping window[Chum et al. 2007]

 対象カテゴリーに関係によく表れるwordsの位置

周辺を探索 Discriminability(word) = (#target obj.
containig w)/ (#obj. containing w)
 Generate pairs of high D(w) words andgenerate rectangles, aggregate them.

95

The University of Electro-Communications
Tokyo, JAPAN (UEC)

高速Windowサーチ：
Efficient Subwindow Search [lam08]
 評価関数の計算に積分画像を導入
 高速に，評価関数（線形SVM）が計算可能

 バウンディングボックス(BB)の表現
 座標でなく幅を持ったBBとして表現→[T、B、L、R]

T=[tmin、tmax]、B=[bmin、bmax]、L=[lmin、lmax]、R=[rmin、rmax]

 分枝限定法を使用する
 走査領域を反復に分割して物体の位置を検出

The University of Electro-Communications
Tokyo, JAPAN (UEC)ESSの挙動

-1.7
f(R)
f(R)
f(R)
====3.0
=1.8
-2
f(R)
f(R)
0.6
0.6

The University of Electro-Communications
Tokyo, JAPAN (UEC)

ESSの特徴 走査領域の表現
 分割する際の計算を容易にするため、上下境界の幅で記述する

 評価関数 上限かつ収束を保証する。ESSでは領域内部の線形カーネルの和を使用する

ESSアルゴリズムの特徴①
積分画像の導入

The University of Electro-Communications
Tokyo, JAPAN (UEC)

SVMの評価関数  
f (h )    i yi k (hi , h )  
n

i 1



線形カーネルの場合、内積になるn 
f (h )    i yi (hi  h )i 1

    
 w  h  (w  w )  h i ,  : 学習パラメータyi , hi : 学習データ
h ：未知画像ベクトル n
ただし、w    i yi hii 0「窓」を分解すると，ヒストグラムが分解され，内積も分解され  る    
A C
f (h )  w  h  w  (hA  hB  hC  hD )B D       
 w  hA  w  hB  w  hC  w  hD

ESSアルゴリズムの特徴②
バウンディングボックスの表現

The University of Electro-Communications
Tokyo, JAPAN (UEC) 通常の場合、座標をそのまま(上t、下b、左l、右r)
 ESSでは、幅で表現する→[T、B、L、R]• T=[tmin、tmax]、B=[bmin、bmax]、L=[lmin、lmax]、R=[rmin、rmax] 
f ( B)  w  h f ( B)  w  h

R=[rlo,r
hi]
最大窓
max

B=[blo,bhi]

T=[tlo,thi]

L=[llo,l
hi]

B

最少窓
sai
B min

B   :  は窓の集合とすると、

f upper(  )  max f ( B)f upper(  )  f  ( B max )  f  ( B min )B max : 最大窓ヒストグラム
B min : 最少窓ヒストグラム

ESSアルゴリズムの特徴
バウンディングボックスの分割

The University of Electro-Communications
Tokyo, JAPAN (UEC) 領域分割：幅が最大の要素が対象

The University of Electro-Communications
Tokyo, JAPAN (UEC)ESSアルゴリズムの特徴③
分枝限定法による最高評価値のBB探索
Qの内容：検出状態•評価値•ボウンディングボックス
評価値の上限が最大のBBを探索

分割幅がある？

幅が０のBBの上限値= ベストBBの評価値

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験内容
 実験データ Pascal VOC 2009のデータセット•20種類のクラス(Aeroplane,Cat,Dog,Tvmonitor…)•学習データ 749枚
•実験データ 750枚
 実験環境 Xeon 2.66 dual core 2GB
 SIFT特徴検出にSIFT++ SVMモデル作成にSVM_light ESSの作成にESS-1_1

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
 成功例

 失敗例

The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
 各クラスの再現率（%）
精度はSliding Windowとほぼ同等
0.35
0.3

ESS

0.25
0.2
0.15

平均：
Sliding
0.15

0.1

Window(10pixel刻
み)

0.05

平均：0.133

0The University of Electro-Communications
Tokyo, JAPAN (UEC)

実験結果
 平均時間(s)
0.25
0.2
0.15
0.1

ESS

平均：
0.0606s

Sliding
Window(10pixel刻
み)
平均：0.2192s

0.05

0

10pixel刻みのSliding Window より高速The University of Electro-Communications
Tokyo, JAPAN (UEC)ESSの改良 Bounding box の中心部分のVisual wordを事前に照合し探索候補を削減し，高速化[Lehmann et al. 2009] Bounding polygons [Yeh et al. 2009]107

Sliding window 3段階手法

The University of Electro-Communications
Tokyo, JAPAN (UEC)[Vedaldi et al. ICCV09]
Multiple Kernel Learningによる18種類 軽いの特徴の統合処理
 候補位置：discriminative visual words
を含むbounding boxを多数生成．
 [1st step] MKL+線形カーネル で，物体体候補探索(2000程度）
 [2nd step] MKL＋準線形カーネル
2
1
重K ( x, y)  2 (1   ( x, y)) の利用
い 候補を100個程度に絞る

 [3rd step]

MKL+カイ2乗RBF

処
理

低
精
度

高
精
度
108

The University of Electro-Communications
Tokyo, JAPAN (UEC)

カテゴリー領域分割
 過分割領域 (superpixel) + MRF (CRF)mx

m (labels)myx

D (pixels)

Pairwise Potentialxy(mx, my)Unary Potential
x(D|mx)yImage Plane

109

The University of Electro-Communications
Tokyo, JAPAN (UEC)

コンテキストの利用：

人間は「常識」として持っている知識
 共起関係： 階層的認識：シーン認識

共起の強さを確率で表現
机

ライオン

ディスプレイ

風景

屋外

室内

草原

part-of 関係

サバンナ

キーボード
本棚

＋物体認識（＋領域分割）

空
床

自動車

路上

道路
ライオン

机

ディスプレイ

草原

本棚
キーボード

空

道路

床
自動車

110

The University of Electro-Communications
Tokyo, JAPAN (UEC)

コンテキストの利用(2):

人間は「常識」として持っている知識
 様々なコンテキスト情報
 共起関係 相対位置関係 自動車は道路の上にある.ポストの上にはない．
 相対スケール

机の上の車はミニカー(重力に対する)支持関係 PCは机の上にある

 背景と前景の関係

 外部コンテキスト情報
 写真の撮影日時，GPS情報
 カメラのパラメータ(Exif情報)

111

The University of Electro-Communications
Tokyo, JAPAN (UEC)例） Surface Estimation
Image

Support

VerticalSky

V-LeftV-Center

V-Right

V-Porous

ObjectSurface?
Support?

V-Solid[Hoiem, Efros, Hebert ICCV 2005]
Slide by Derek Hoiem

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Object Support

Slide by Derek Hoiem

The University of Electro-Communications
Tokyo, JAPAN (UEC)

言語の階層的分類（タクソノミー）との関係
member-of 関係

物体
動物
…..

無生物

植物
自然物

脊椎動物

人工物

どのレベルで認識するか？
ほ乳類
バク

鳥類
イノシシ

ライチョウ

カメラ

５．大量画像データ

80 Million Tiny Images: A
Large Data Set for
Nonparametric Object andScene Recognition
8000万枚のＷｅｂ画像による類似画像検索による認識

The University of Electro-Communications
Tokyo, JAPAN (UEC)

8千万枚のＷｅｂ画像による認識
 データの量を増やすことで認識精度を上げる
 7900万枚の画像（巨大なデータセット）収集に1年
 ノイズが含まれていても気にしない．
 Nearest Neighbor法（簡単なアルゴリズム）•データからのアプローチ．
 非常に多くのデータを扱う
 画像インデックス技術
 イメージの低次元化（３２×３２×３），７６０ＧＢ

 最新手法の結果に匹敵する認識精度

The University of Electro-Communications
Tokyo, JAPAN (UEC)

3.1 画像収集
 キーワード Wordnet[15]から75,062語

 抽象的でない名詞

 画像検索エンジン
 Altavista, Ask, Flickr, Cydral, Google,

Picsearch, Webshots 収集枚数 97,245,098枚

 重複画像を削除して，79,302,017枚
 1つのキーワードの画像上限は3000枚に設定

 画像容量 32×32のサイズで保存すると，760GB

The University of Electro-Communications
Tokyo, JAPAN (UEC)「人」の認識 検索エンジン改良にも貢献できる (a)はAltavistaでの検索結果のランク上位

 (b)はWordnet Voting Schemeでのランク上位

 高解像度画像を使った顔画像認識（OpenCV)と 同程度の精度を出すことに成功した

The University of Electro-Communications
Tokyo, JAPAN (UEC)

一般対象の認識The University of Electro-Communications
Tokyo, JAPAN (UEC)結論
 画像が多いクラスは特定クラス検出器に匹敵する
 一部のクラス以外は利用できる学習画像が少ない．それらのクラスには最近傍法は向かない 物体認識の二つの側面
 モデルとデータ•多くの研究ではモデルの研究
MSRAのXian-Sheng
Huaが，•この研究はデータ側からアプローチしている．
「4billion
で実験したら，もっとパフォーマンスが出た．」とICCV WS on LAVDで発言． → ARISTA [CVPR10]

Image Net[2] Jia Deng, Wei Dong, Richard Socher, Li-Jia
Li, Kai Li, Li Fei-Fei : ImageNet: A Large-Scale
Hierarchical Image Database, CVPR, (2009).

122

The University of Electro-Communications
Tokyo, JAPAN (UEC)

ImageNet あらゆる言葉に関する画像をデータベース化．
Wordnetの画像版．
http://www.image-net.org/
 現在５２４７語について
３２０万枚収集 Amazon Mechanical Turk を利用して作成．
（不特定多数の人の知識の利用)
 画像認識は補助的に利用．最終的には人手 階層構造を持つ大規模画像DBの意義
 画像認識の学習データ．評価データ．
 画像と意味の大規模分析

123

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Amazon Mechanical Turk
 大量の“人力”の利用

： 集合知

124

The University of Electro-Communications
Tokyo, JAPAN (UEC)

ImageNetの概要
 ImageNetとは？
 WordNet構造の背景に基づいて打ち立てられた

画像の大規模な画像オントロジー
 ImageNetの内容
 WordNet[9]の80,000synset(synonym set)に対応
 各synsetで平均500-1000枚のクリアでフル解像度の画像を用意(予定総数は５千万)
 画像認識研究用に全画像を公開．
 Amazon Mturk を利用して人手で構築．ノイズなし

The University of Electro-Communications
Tokyo, JAPAN (UEC)

現在のImageNetの状況 (2009/11)
 構築状況
 5247synsets (今年9月) ⇒14847 syn. (今日） 320万枚の画像 （今年9月）⇒ 940万枚（今日） 12のサブツリーの構築•哺乳類，鳥，魚，爬虫類，両生類，乗り物，
家具，楽器，地形，道具，花，果物
 データベースの閲覧 http://www.image-net.org

The University of Electro-Communications
Tokyo, JAPAN (UEC)

図１ 哺乳類と乗り物のサブツリー

The University of Electro-Communications
Tokyo, JAPAN (UEC)

ImageNetの今後
 ImageNetの完成
 およそ50,000synsetsに広がる5000万の良質画像
 一般公開，オンラインですぐに利用可能
 データの効率的な配布にクラウドストレージを利用 位置検出，セグメンテーション，相互synset参照等の拡張
 ImageNetコミュニティの育成および全ての人が貢献または利益を得られるオンラインプラットフォームの開発

The University of Electro-Communications
Tokyo, JAPAN (UEC)

写真共有サイトの登場
 Flickr, Picasa など
 Consumer-generated media (CGM)と呼ばれる
 多くの写真にはユーザが付与してタグ(キーワード)が付いている•写真共有サイト内のタグ検索は，Web画像検索より高精度．ただし，多義語の問題はある．
 最近では，位置情報もついている場合がある．

•位置情報付き画像，geotagged image と呼ばれる
 画像(visual feature)と単語(word concept)の関係分析に利用しやすい
これらの画像＋メタデータを利用することで，新しい研究が可能！129

The University of Electro-Communications
Tokyo, JAPAN (UEC)“Sushi” in Caltech 256

130 (Probably)
Collected in English keywords

The University of Electro-Communications
Tokyo, JAPAN (UEC)“Sushi” in our own dataset

 Collected
in Japanese keywords
131

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Which do you like to eat ?

These two “sushi” image sets are surely
different, although both are image sets
associated with the “sushi” concept !

なぜCaltechの寿司は，まずいのか？

Caltech “sushi” Japanese “sushi”
132

The University of Electro-Communications
Tokyo, JAPAN (UEC)“Sushi” over the world 同一のカテゴリーに属する画像であっても，地域や文化によって変化する．カテゴリーはグローバルではない！
133

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Image entropy と location
entropy [Kawakubo et al. 09]
 Flickrから２３０の名詞について，それぞれ500枚の位置情報付き画像を収集．
 画像領域エントロピーと位置エントロピーを求めて，コンセプト分析をする．
Geo-location entropy

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Geo-entropy Hgeo(X)Deutschland

H geo ( X )  0.2602

mosquito

H geo ( X )  5.9759

Rome

H geo ( X )  0.3843

fish

H geo ( X )  5.7831

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Image entropy vs. geo-entropy

Global concept
Non-visual concept /Location-dependent concept

local concept

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Sun, rainbow, moon
• Comcepts related to sky– Image region entropy ： low– Geo-location entropy ： high
They exists everywhere in the world,
and the apperances are similar.

sun

The University of Electro-Communications
Tokyo, JAPAN (UEC)

Rome, Deutschland, Mozart
 Image region entropy： high Geo-location entropy ： low

The geotags concentrates
on specific areas. Theirappearances are various.

mozarttulipThe University of Electro-Communications
Tokyo, JAPAN (UEC)

Image region entropy： low
Geo-location entropy ： med.

• Variance of color did not reflect
on image region entropy, since we
use SIFT-based BoF representation.
• Holland and England are main areas.

The University of Electro-Communications
Tokyo, JAPAN (UEC)

dolphinImage region entropy： highGeo-location entropy ： high• Most of dolphins are taken in sea
or aquarium• In seaside areas over the worldrice

H geo (X )The University of Electro-Communications
Tokyo, JAPAN (UEC)

Image region entropy： highGeo-location entropy ： high= 5.3425

６. 今後の方向

The University of Electro-Communications
Tokyo, JAPAN (UEC)まとめ 「一般物体認識」について紹介した．
 特定物体と 一般物体 の違い
 現在どこまで出来るか？
 基本的な手法： Bag-of-Features (BoF) 画像単位での分類
 一般物体の位置検出

 Web上のデータによるデータセット 今後の展開 特定物体認識が一般物体認識になる？

143

The University of Electro-Communications
Tokyo, JAPAN (UEC)

今後の方向 (1)
 ８０million から示唆されるように，

量がブレークスルーになる可能性がある．
 特定物体認識（NN探索）が主役！

•一般物体認識の特定物体認識化．
•メトリックの工夫が重要になる可能性．Metric learning.
 でも，MS/Google以外には手に負えない可能性．．

•80millionの収集に1年掛かると，
4billion⇒50年．．．

144

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2003年

145

2005年

146

lion animal

The University of Electro-Communications
Tokyo, JAPAN (UEC)The University of Electro-Communications
Tokyo, JAPAN (UEC)

2009年

147

The University of Electro-Communications
Tokyo, JAPAN (UEC)

2009年 類似画像検索148

201?年

一般物体認識問題は，超大量データ＋特定物体認識 で解決？

画像認識

80 billion image DB
NN search (特定物体サーチ）

surrounding
text, tag解析「ライオン」「動物園」
量が解決する可能性．さあ，我々はどうする？

「多摩動物園」
149

The University of Electro-Communications
Tokyo, JAPAN (UEC)

今後の方向 (2): 別の方向を向いてみる．
 認識するのは「物体カテゴリ」だけじゃない！
 ICCV 2009:“Image Sequence Geolocation with Human Travel Priors”•画像（写真）の「撮影位置」を推定．
•ストリートビューから位置推定もできそう．
•では，ラーメン画像から店を推定するのは？
 「Attribute」の認識(〇〇ness, 〇〇ability…)•顔認識から，年齢，性別推定へ発展．性格推定？病気推定？
人は見かけによる？よらない？
•食べ物のカロリー推定，旨さ推定．写真の上手さ判定．
•物体の古さ推定．お宝鑑定．競馬の勝ち馬予測(?)．．．
•New Challenge : “One image tells many things !”•どこまで「画像認識」が可能か？ 画像から分かること．分からないこと．150

The University of Electro-Communications
Tokyo, JAPAN (UEC)

おわり