Web 上のジオタグ画像を用いた世界各地の文化的差異の発見
2009年度 人工知能学会 全国大会
2009年6月 高松柳井啓司
電気通信大学 情報工学科

研究の背景Webには，ラーメンがいっぱいやっぱり，どこのラーメンか知りたい！

アウトライン 研究の背景・目的
 関連研究 方法
 実験結果 まとめ と 今後の課題

背景: 大量のジオタグ画像の登場
 近年，位置情報付き画像（geo-tagged image）が急速にWeb上に増えている．Flickr, Panoramio

Flickrは 4千万枚の位置情報付き画像を保有(in the beginning of 2008)

Geotagged images

研究の動機 : Objects over the World 大量のジオタグ画像を使って，世界中の“X”画像を集めてみよう！
Do you know all kinds of famous “noodles” in theworld?
 “Ramen”and“Soba”in Japan, “Thai noodle” in Thailand,“Chinese noodles”, “rice noodle” Taiwan, “Spaghetti”in Italy…
 How do such scenes as “beach”, “waterfall”,“mountain” look like in different areas in the world?
 How about other objects such as “flower”, “castle”,“clothes” , “car”……

7

ジオタグ画像の分布

James Hays and Alexei A. Efros, Carnegie Mellon University: IM2GPS:
estimating geographic information from a single image, CVPR, (2008)

8

なぜ最近ジオタグ画像が増加？
 ジオタグなら，GPSをつかえば簡単！

 実は，マニア向き．
 Web上の画像のうち，Exifに位置が埋め込まれているのは，たった0.1％
 ２００６年 Flickrが geotagging UI を公開 爆発的増加．4千万枚．10万枚/月増加中．

目的

Flickrのジオタグ画像を利用

特定カテゴリー”X”画像が (e.g. X=“ラーメン”）
存在する世界中の代表的な地域と，その地域で代表的な画像をWeb上のジオタグ画像を用いて自動抽出．

Raw geo-tagged
Representative photos
photos on Flickr Most relevant photos generated for typicalselected by our system
regions

10

関連研究【位置情報付き画像ミニサーベイ】

11

位置情報付き画像の研究：初期
 WWMX(Toyama et al., 2003)

 MS

ResearchのWebベース
位置情報画像共有システム（Flickrは2004～)
K. Toyama, R. Logan, A. Roseway, and P.Anandan "GeographicLocation Tags on Digital Images", ACM MM, pp.156-166, 2003.

画像のグループ化とタグ付け

M. Naaman, Y. J. Song, A. Paepcke, and H. Garcia-Molina:"Automatic Organization for Digital Photographs with
Geographic Coordinates", ACM MM, pp.53-62, 2004.

13

関連研究：WorldExplorer 位置に基づくタグのクラスタリング

Ahern, S. , Naaman, M., Nair,R. and Yang, J. : World Explorer: Visualizing
Aggregate Data from Unstructured Text in Geo-Referenced Collections,Flickr
JCDL, pp.1-10, (2007).

14

関連研究：画像特徴を利用
 ランドマークの代表画像を自動選択．

Lyndon Kennedy and Mor Naaman: Generating Diverse andRepresentative Image Search Results for Landmarks,ACM WWW2008, pp.297-306, (2008).15

関連研究：画像特徴を利用 (続) ランドマークの代表画像を自動選択．
 ランドマークはどの写真も同一対象を写しているので，SIFT matching によるグラフのクラスタリング

SIFT-based

16

指定範囲の代表画像の抽出
 指定範囲（１００ｍ四方の領域）の代表的画像（おもにランドマーク）抽出

Till Quack, Bastian Leibe and Luc Van Gool: World-scale Mining of Objects
and Events from Community Photo Collections, ACM CIVR, pp.47-56,(2008).
SIFT-based

600万枚のジオタグ画像に対するNNで，撮影位置を推定
 Brute-force object recognition の一種

James Hays and Alexei A. Efros: IM2GPS: estimating geographic
information from a single image, CVPR, (2008).

17

600万枚のジオタグ画像に対するNNで，撮影位置を推定 (続)James Hays and Alexei A. Efros: IM2GPS: estimating geographic
information from a single image, CVPR, (2008).

NN18

19

対応する位置の航空写真と融合

Jiebo Luo, Jie Yu, Dhiraj Joshi and Wei Hao: Event Recognition: Viewing
the World with a Third Eye, ACM Multimedia, pp.1071-1080, (2008).
Keita Yaegashi and Keiji Yanai: Can Geotags Help Image Recognition ?,Pacific-Rim Symposium on Image and Video Technology (PSIVT2009),(2009).

Contributions of our work
 特定のカテゴリの対象に関する世界各地の代表画像を自動的に検出
 Eg.)“noodle”: Chinese noodle in Asia,spaghetti in Europe 既存研究のように ランドマークに限定しない．
カテゴリの代表画像なので，SIFTの対応点の数ではなく，BoFベクトルをクラスタリングして代表抽出 方法は新しくないが，目的が新しい．
 大規模ジオタグ画像DBの新しい利用法．
 「言語」「画像」の関係に「位置」を加えた新しい研究．

方法： 3つのステップ
1) Flickrから“X”画像を収集し，ノイズ除去
 Generate image feature vectors
 Visual clustering Select most relevant clusters

2) 代表的地域を検出
 Clustering based on geographic locations

3) 各代表地域それぞれの代表画像セットを生成
 Generate the PLSA topic vectors
 Aggregate photos according to the distribution of

mixture topics

方法： 第一ステップ (1)1) Flickrから“X”画像を収集し，ノイズ除去
 Generate image feature vectors
 Visual clustering Select most relevant clusters

2) 代表的地域を検出
 Clustering based on geographic locations

3) 各代表地域それぞれの代表画像セットを生成
 Generate the PLSA topic vectors
 Aggregate photos according to the distribution of mixture

topics[画像の表現法]
Bag-of-visual-words (BoVW) 画像を visual word の出現頻度ヒストグラムで表現
2.

3.

4.

各画像について，数千個の特徴点を抽出．
SIFT記述子により特徴点周辺パターンをSIFT特徴ベクトル（128次元）として抽出予め求められた visual words (codewords)に基づいてSIFT特徴ベクトルをベクトル量子化
画像毎にヒストグラムを作成
frequency

1.

23

codewords (visual words)

Visual words の求め方
 学習画像（正例，負例）を用意し，SIFT特徴ベクトルを全画像から抽出 （枚数が多い場合は，ランダムサンプリング）
 k-means クラスタリングを実行
各クラスタの中心が “visual words”

vi vi
vi vi
vivi vi
vivi vi
SIFT vectors“Visual words” は，代表的な局所パターンに相当する．

25

Bag-of-visual-words

frequency

Bag-of-words

…..
.

.
codewords, Vol.48, No. SIG16(CVIM19), pp. 1-24, 2007.

:

方法： 第一ステップ (2)1) Flickrから“X”画像を収集し，ノイズ除去
 Generate image feature vectors
 Visual clustering Select most relevant clusters

2) 代表的地域を検出
 Clustering based on geographic locations

3) 各代表地域それぞれの代表画像セットを生成
 Generate the PLSA topic vectors
 Aggregate photos according to the distribution of mixture

topics方法： 第一ステップ (3)1) Flickrから“X”画像を収集し，ノイズ除去
 Generate image feature vectors
 Visual clustering Select most relevant clusters

2) 代表的地域を検出
 Clustering based on geographic locations

3) 各代表地域それぞれの代表画像セットを生成
 Generate the PLSA topic vectors
 Aggregate photos according to the distribution of mixture

topicsSelect relevant clusters
based on the intra-cluster similarity
 The intra-cluster similarity is the averagesimilarity between the images that belong tosim(Pi,Pj) is the similarity
the same cluster.
between two images Pi and Pj
computed by cosine metric.

 Discard clusters with small members (m<10)
 Select the top 40 clusters in terms of SIM(C)after sorting SIM(C) in the descending order.
Noise filtering by selecting 40 clusters out of 200 clusters for 2000 images

方法： 第二ステップ
1) Flickrから“X”画像を収集し，ノイズ除去
 Generate image feature vectors
 Visual clustering Select most relevant clusters

2) 代表的地域を検出
 Clustering based on geographic locations

3) 各代表地域それぞれの代表画像セットを生成
 Generate the PLSA topic vectors
 Aggregate photos according to the distribution of mixturetopics

方法： 第三ステップ (1)1) Flickrから“X”画像を収集し，ノイズ除去
 Generate image feature vectors
 Visual clustering Select most relevant clusters

2) 代表的地域を検出
 Clustering based on geographic locations

3) 各代表地域それぞれの代表画像セットを生成
 Generate the PLSA topic vectors
 Aggregate photos according to the distribution of mixturetopics

Probabilistic Latent
Semantic Analysis (PLSA)
 テキスト解析向けの確率トピックモデル
 Bag-of-words表現された文書を確率的にトピック分類する．ソフトクラスタリング．GMMに類似．
 トピック数は，事前に指定する
 トピックをｚ，文書（画像）をｄとすると，各文書について P(z|d) が求まる
 Probabilistic Latent Semantic AnalysisP ( w, d )  P ( d ) p ( w | z ) P ( z | d )をEMで推定
zP(word , image)  P(image)  p(word | topic) P(topic | image)
31

topic

確率的トピック

P(topic|image)
0.15
0.24

 Mountain

0.03

10 topics

0.05
0.10
0.01
0.01

0.01
0.05
32

0.30

方法： 第三ステップ (2)1) Flickrから“X”画像を収集し，ノイズ除去
 Generate image feature vectors
 Visual clustering Select most relevant clusters

2) 代表的地域を検出
 Clustering based on geographic locations

3) 各代表地域それぞれの代表画像セットを生成
 Generate the PLSA topic vectors
 Aggregate photos according to the distribution ofmixture topics

実験結果
 “noodle”,“flower”, “castle”, “waterfall”,“beach”,”car”, ”wedding cake” (7種類)
 For each concept , collect about 2000 geo-tagged photos
from Flickr distributed evenly in the world wide areas

 第一ステップ（ノイズ除去）の評価
 Evaluation on our proposed method for extracting the mostrelevant photos
 Precision and Recall
 Color-histogram-based method for comparison あとは，結果を見てください．

第一ステップ（ノイズ除去）の評価
 適合率（選ばれた画像のうち正しい画像の割合）

第一ステップ（ノイズ除去）の評価
 raw vs. color-based vs. BoVW

Precision

Recall[Example of results] “noodle”

[Example of results] “noodle”“spaghetti”
photosinphotos
the European
Taiwanesestyle“ramen”
noodles
andspicy
Thaiarea
noodlesMany
in Japan[Example of results] “flower”

[Example of results] “flower”

Netherlands
national“Tulip”
Kansas Stateflower flower“Sunflower”

[Example of results] “waterfall”“Powerful ” waterfalls
in South America“Beautiful” waterfalls
in Asiaまとめ & 今後の課題
 特定のカテゴリーに関する地域毎の代表的画像を抽出する方法を提案．
 今後の課題
 大規模な実験 地域を分類の階層化．

世界→アジア→日本→東京

 画像の「代表度」を定量化し，ランキング．
 文化の違いの自動検出．単語による差異の大小分析

 【最終目標】

日本「ラーメン」文化マイニング（ジオタグ画像でラーメン日本地図を作って，文化差異の分析）

43

位置と画像特徴のエントロピー

44For more results, please access:
http://img.cs.uec.ac.jp/yanai/ASRP/

Thank you !

45

The University of Electro-Communications
Tokyo, JAPAN (UEC)