DEIM Forum 2013 E3-4

ジオタグ付き写真を用いた地図の彩色システムの構築
大羽 洋隆†

廣田 雅春††

横山昌平†††

石川博†††† 静岡大学情報学部 〒 432–8011 静岡県浜松市中区城北 3–5–1†† 静岡大学創造科学技術大学院 〒 432–8011 静岡県浜松市中区城北 3–5–1††† 静岡大学情報学部 〒 432–8011 静岡県浜松市中区城北 3–5–1
E-mail: †cs09016@s.inf.shizuoka.ac.jp, ††dgs11538@s.inf.shizuoka.ac.jp ,†††{yokoyama,ishikawa}@inf.shizuoka.ac.jp
あらまし

近年，GPS が搭載されたカメラやスマートフォンの普及により，ジオタグ付き写真が増加し，Flickr やPanoramio などの写真共有サイトにも多数のジオタグ付き写真がアップロードされている．そこで，本研究では，写真の時間的な変化，地理的な偏りに対する分析の一環として，それらの写真を地図上で可視化するシステムの構築を行う．本システムでは，地面の色に着目し，土地の種別の分類などに利用可能なデータの作成を目指す．クエリより求められた検索結果のジオタグ付き写真から適切な写真を選出し，それらの写真から色を抽出し，地図の彩色を行う．
キーワード

ジオタグ，地図彩色，GIS

A System for Coloring A Map using Geo-tagged Photographs
Hirotaka OBA† , Masaharu HIROTA†† , Shohei YOKOYAMA††† , and Hiroshi ISHIKAWA†††† Faculty of Informatics, Shizuoka University
3–5–1 Jouhoku, Naka–ku, Hamamatsu, Shizuoka, 432–8011 Japan†† Graduate School of Science and Technology，Shizuoka University
3–5–1 Jouhoku, Naka–ku, Hamamatsu, Shizuoka, 432–8011 Japan††† Faculty of Informatics, Shizuoka University
3–5–1 Jouhoku, Naka–ku, Hamamatsu, Shizuoka, 432–8011 Japan
E-mail: †cs09016@s.inf.shizuoka.ac.jp, ††dgs11538@s.inf.shizuoka.ac.jp ,†††{yokoyama,ishikawa}@inf.shizuoka.ac.jp
Abstract Geo-tagged photographs taken by digital cameras and smart phones increase in social media sites suchas Flickr and Panoramio. In this paper, we propose a system to visualize the photographs on the map as temporalchanges corresponding to a given query, to research photographs in geographical bias. In this system, focusing on
ground color, we create the useful data for classifying the types of land. Our system extracts ground color using
geo-tagged photographs in a search result that are obtained by a given query and color in a map based on thosecolor.
Key words geo-tag, coloring a map, GIS

1. は じ め に億枚目の写真が投稿されている [3]．しかし，写真の増加に伴って，目的に応じた写真の検索にかかる労力も増加している．そFlickr [1] や Panoramio [2] などの写真共有サイトには，多様こで，我々は膨大な検索結果画像をクラスタリングする事によな状況で撮影された写真が存在する．近年，GPS が搭載されたり，ユーザを目的の写真へ容易にナビゲートする手法を提案しカメラやスマートフォンの普及に伴い，GPS などによる緯度てきた [4]．

経度情報がジオタグとして写真に付与されている写真が増加し

風景写真は，ある場所で撮影された写真とその近辺で撮影さている．また，付与されたメタデータにより，写真の詳細な撮れた写真は同じような風景を写している場合が多い．しかし，影状況を理解することが可能である．例えば，Flickr では，1地理的に近接した場所で撮影された 2 つの写真が，異なる風景

日ごとに約 100 万枚の写真がアップロードされ，2011 年に 60を写している場合が存在する．例えば，図 1 のように，地理的図 1 セントラルパークの写真

図 2 クエリ「london」で検索したジオタグ付き写真に近接した地点で撮影された写真であるが，一方は公園内の芝生の風景を撮影した写真であり，もう一方は公園外の道路や風景を撮影した写真である．これらの写真から，風景が変化する境界線を発見できれば，風景の特徴に基づいた地理的なクラスタを形成する事が可能であると考えられる．
そこで本論文では，写真共有サイトに投稿されているジオタ
グが付与された写真から，風景の特徴に基づいた地理的なクラ(a) 写真全体の下１割の範囲スタを発見し，地図上でクラスタの境界内を，クラスタに含ま(b) 余白付き画像の例

れる写真を特徴付ける色で彩色する事により，ユーザに提示す

図 3 地面色の抽出るシステムを提案する．
その前段階として，写真に撮影されている地面の色をクラスタを特徴付ける色と設定し，地面の色ごとのクラスタを算出し，異なる．また，写真の色情報だけでなく，それに付与されたメタデータも用いる．

地図の彩色を行う．これは，本システムで作成される地図と，Zhang ら [6] は, 写真共有サイトに投稿された写真を用いて，既存の地図との比較を容易化するためである．地図の彩色を行生態系の分析に利用可能なデータを算出するシステムを提案しうために，Flickr に投稿されたジオタグ付き写真から地面の色ている．このシステムでは，Flickr からタイムスタンプ，ジオを抽出する．ジオタグ付き写真の例として Flickr で「london」

タグ付き写真を取得し，写真のタグと，画像特徴量を解析するで検索した結果を図 2 に示す．取得したジオタグ付き写真の中ことにより、降雪の発生など気候変動の測定を行う．本研究では，図 2 の左側のような地面が撮影された写真が含まれている．

は，写真の地面に着目を行うため，画像特徴量の算出方法で異しかし，図 2 の右側のようなグレースケール化された写真，室なる．

内で撮影された写真，および夜間に撮影されたような写真も多数存在する．これらの写真は，彩色の結果に影響を与えること

3. 提案システムが考えられるため，ノイズとして事前に取り除く必要がある．

本論文では，Flickr に投稿されたジオタグ付き写真に基づいまた，写真の地面の色と写真に付与されているジオタグ情報にて，その地面の色を判定し，地図の彩色を行うシステムを提案

含まれる位置情報を利用し，彩色する地図の領域を算出する必する．

要がある．
本論文では，クエリより求められた検索結果のジオタグ付き写真から，それらに付与されたメタデータに基づき，適切な写真を選出する．そして，地面の色を抽出し，写真の位置情報に基づいた領域の算出を行うことにより，地図の彩色を行う．

2. 関 連 研 究Bart ら [5] は，写真共有サイトに投稿されたジオタグ付き写
真のタグ情報を用いて，特定のタグが頻出する領域を位置情報

3. 1 写真の取得
地図の彩色に用いる写真とそのメタデータを保存するデータベースを作成する．Flickr API を用いて与えられたクエリに適する写真と付与されたメタデータを Flickr から取得する．Flickr
から取得した写真の緯度経度情報と本システムで用いるメタデータ (GPSLatitudeRef，GPSLatitude，GPSLongitudeRef，GPSLongitude，ExposureTime) をデータベースに格納する．
3. 2 地面色の抽出から算出する手法を提案している．このシステムでは，縮尺に地図の彩色に用いる写真から地面色の抽出を行う．写真の地応じた適切な領域の算出を行なっている．本研究では，写真の面色とは，写真に撮影された地面の色のことを指す．本システ

タグによる領域の可視化ではなく，写真の色情報を用いる点でムでは，写真の下部に地面が撮影されているという仮定に基づき，写真全体の下１割のピクセルから地面色の抽出を行う．

図 4 ノイズ除去を行なっていないジオタグ付き写真の例

その際，写真から抽出された色を RGB 色空間から HSL 色空

光にさらされる時間のことを表す．M. Boutell らの研究 [7] に間に変換する．HSL 色空間は，Hue(色相)，Saturation(彩度)，おいて，ExposureTime が 1/60（0.017）秒以下の場合に，室Lightness/Luminance（輝度）で表わされる色空間である．本内で撮影された写真の数が，大きく減少することが確認されて研究では，はじめに輝度の値により黒，または白色の判定を行いる．これを利用し，室内で撮影された写真の判定を行う．

い，次に，彩度の値により灰色の判定を行う．黒色，白色，ま夕方に撮影された写真は，夕日の影響で地面が赤みがかってたは灰色のどれにも判定をされなかったものは，色相の値によいる可能性がある．また，夜間に撮影された写真は，日光がなり 9 つの色に分類する．計 12 色からカラーヒストグラムを生いため地面色が抽出できない可能性が高いと考えられる．よっ成し，最頻出の色をその写真の地面色として設定するて，夕方・夜間に撮影された写真はノイズ写真として扱う．夕図 3(a) は，写真全体の下１割の範囲の例を示す，赤枠で囲ま方・夜間に撮影された写真の判定は，The Weather Channel [8]れた部分が RGB 値の平均値を取得する範囲を表す．図 3(b) のによる日の出，日の入の時刻に基づき，写真に付与されたメタような，黒，または白色の余白付き写真は，最下端の行，最左データのタイムスタンプ情報によって判定を行う．

端の列の RGB 値の各値が，白（各ピクセルの RGB 値のすべてが 250 以上），または黒（各ピクセルの RGB 値のすべてが5 以下）だった場合，その行，列を余白と判定し，1 ピクセル上の行，または右の列に移動させ，余白と判定されなくなるまで繰り返し，余白を算出する．写真の上部，右部の余白についても，同様の処理を行い，余白を取り除いた残りの部分の下１割の最頻出の色を求め，地面色として設定する．
次に，写真に付与されたメタデータから，地面が撮影されていない，または地面の色の判別ができないノイズ写真（グレースケール化された写真，室内で撮影された写真，夕方・夜間に

3. 3 領域の算出
前節でノイズではないと判定された写真から抽出した地面色と，その写真に付与されている位置情報に基づいて，それぞれの色について地図上の領域を求め，地図の彩色を行う．
写真が密集している地域を発見するために，それぞれの色ごとの写真に対して DBSCAN (Density-Based Spatial Cluster-ing) [9] を行う．DBSCAN とは対象の密度と接続関係に基づいたクラスタリング手法である．クラスタの半径 Eps とクラスタに属するデータの最小個数 M inP が与えられたとき，点 p, q間で以下の接続関係を定義する．

撮影された写真）を除去する．
グレースケール化された写真は，色の表現が白から黒までのq ∈ NEps (p)(1)

明暗だけで表現されている．そのため，写真から地面色を抽出

NEps(p) >= M inP(2)することは困難なので，ノイズ写真として扱う．抽出された地
面色の Red，Blue，および Green の各値が等しい場合グレースケール化された写真と判定を行う．
室内で撮影された写真は，地面が撮影されていない可能性が高いと考えられるため，ノイズ写真として扱う．室内で撮影された写真の判定は，Exif に含まれる ExposureTime タグを利用する．ExposureTime とは，写真を撮影する際．撮像素子がただし，NEps (p) = {q ∈ V ∥D(p, q) >= Eps} である．この関係で到達できる対象の集合で極大のものをクラスタとして抽出す
る．DBSCAN を用いることで，同色の地面色を持つ写真をクラスタとして抽出できる．同色の地面色を持つ写真が密集している地域を求めることで，その地域の色の領域を推定する．それ以外の点は，領域推定に必要のないノイズとして扱う．次に，DBSCAN で算出されたクラスタごとに凸包を領域として求め，

図 5 ノイズ除去の処理を行ったジオタグ付き写真の例

凸包の範囲内の彩色を行う．凸包とは，平面上のある点集合の影されているため，本研究のノイズ除去の手法では除去が困難

中で最も外側にある点を直線で結んで出来る多角形のことを表である．これらのノイズ写真の除去は今後の課題である．

す．一般的に，複数の点から多角形を算出する場合は，複数通

4. 2 地図の彩色りの多角形が算出することができ，いずれかの多角形を領域とFlickr から検索クエリ「london」で取得したジオタグ付き写して決定する必要があるが，本論文では，一意に求めることが真に対して，ノイズとなる写真を除去する処理を行った結果とできる凸包を Andrew’s Monotone Chain algorithm [10] を用して得られたジオタグ付き写真 220,086 枚を用いたシステムのいて算出し，凸包ごとに彩色を行う．

実行結果を図 7 に示す．今回の例では，ブラウザの負荷を軽減

4. 本システムの実行例するために，緯度・経度の範囲の狭めてシステムを実行した．
領域の枠線と内側の色は，その領域の地面色表す．図 7(a) は，Flickr から検索クエリ「london」で取得したジオタグ付き写本システムを適用を行う前の地図であり，図 7(b) は，同じ地真 407,990 枚，「newyork」で取得したジオタグ付き写真 504,923

域に対して本システムで算出したクラスタの表示を行った例で枚を用いてノイズ写真の除去と地図の彩色を行う．

ある．表示されている領域の内，図 7(b) の上下の 2 つの緑色

4. 1 ノイズ写真の除去の領域は，Google Map 上の公園の領域と近い形状になってい

Flickr から検索クエリ「london」，「newyork」で取得したジることを確認できる．図 7(c) は，緑色の領域に属するの写真のオタグ付き写真に対して，ノイズとなる写真を除去する処理を例である．公園内のクラスタでは，公園の風景の写真などが多行う．処理を行った結果，検索クエリ「london」では，全体のくの割合を占めており，公園の地面が正しく彩色されていると46 ％である 187,904 枚，検索クエリ「newyork」では，全体の考えられる．しかし，図 7(d) の公園内の白色の領域は，その75 ％である 381,563 枚の写真がノイズとして判定された．図 4

領域に属する写真のほとんどが特定の被写体に注目した写真やは，ノイズ除去を行なっていないジオタグ付き写真の一部の例

上方向で撮影した写真であり，地面が撮影されていない．そのである．赤丸の印がついている写真は，地面色の判定についてため，この領域は正しい彩色が行われていないと考えられる．

ノイズとなる写真を表す．

そのため，このような地面の撮影されていない写真の除去が必

図 5 は，ノイズの除去を行ったジオタグ付き写真の一部の例

要であると考えられる．

である．赤丸で印がついている写真は，図 4 と同様にノイズ写

また，図 6 は，検索クエリ「london」で取得したジオタグ付真を表す．図 4 と比較し，室内で撮影された写真や，グレースき写真に対して，グリッドに区切った領域ごとに，写真の枚数ケール化された写真などのノイズとなる写真が除去されたことに応じてグリッドの色を濃く表示した例である．図 7(a) と比を確認できる．しかし，図 5 において，室内で撮影された写真較を行うと，所々に空白部分はあるものの，上下の公園の近いと考えられるノイズ写真が全て除去することが出来ていないこ

領域に多くの写真が分布しているのがわかる．今後は，現シスとが確認できる．その理由としては，ExposureTime による室テムの領域の算出方法とは，別の図 6 のような可視化の手法に内，室外の分類は，統計によって求められた確率であるため，ついても検討を行う予定である．

すべての写真が正しく分類されるとは限らない．また，図 5 にFlickr から検索クエリ「newyork」で取得したジオタグ付き

おいて，青丸で印がついている写真は，地面が撮影されていな写真に対して，ノイズとなる写真を除去する処理を行った結果いノイズ写真である．これらの写真は，屋外で日中の時間に撮偏り，ジオタグの位置情報，時間情報の測定エラーなどへの対処が今後の課題である．
文
[1]
[2]
[3]
[4]

[5]

[6]

[7]
図 6 グリッドによる領域の可視化の例

として得られたジオタグ付き写真 123,360 枚を用いたシステム[8][9]の実行結果を図 8 に示す．領域の枠線と内側の色は，その領域の地面色表す．図 8(a) は，本システムを適用を行う前の地図であり，図 8(b) は，同じ地域に対して本システムで算出したクラスタの表示を行った例である．検索クエリ「london」の例と[10]同様に，図 8(c) の緑色の領域は，Google Map 上の公園の領域[11]と近い形状になっていることを確認できる. 図 8(d) の白色の領域は，雪が撮影された風景が撮影されており，クラスタを形成している．このような場合に対応するため，写真の撮影時期を考慮する必要がある．

5. お わ り に
本論文では，写真共有サイトに投稿されたジオタグ付きの写
真とメタデータを用いて，地面色を抽出し，地図への彩色を行なって表示するシステムを提案した．与えられたクエリから求められたジオタグ付き写真から，地面色の抽出を行った．その際に，地面色の判別に不適切なノイズ写真の除去を，Exif 情報の ExposureTime，写真の RGB 値を用いて行った．また，色と距離で分類されたクラスタごとに凸包による，クラスタの領域の算出を行った．
今後の課題として，実際の地面の色と彩色された地図を比較し，精度の評価を行う予定である．また，写真の撮影時期を考慮した表示方法の導入や，地面色の抽出精度の改善のために，k-means クラスタリングを用いた画像分割などの画像処理技術の導入を行う．加えて，ノイズ写真の除去が挙げられる．提案システムでは，屋外で銅像や看板などの特定の被写体に注目した写真や，航空写真のような遠景を撮影した写真などは除去されていない．これらの写真も，彩色の精度に影響を及ぼすことが考えられる．他のメタデータを利用する事により，これらの写真の除去が可能であると考えられる．そのほか，DBSCANの各値を地図の縮尺に応じた適切な値の設定 [11]，撮影地点の

献“Flickr”, http://www.ﬂickr.com/“Panoramio”, http://www.panoramio.com/“Flickr Blog” http://blog.ﬂickr.net/en/2011/08/04/6000000000/
Masaharu Hirota, Naoki Fukuta, Shohei Yokoyama and Hiroshi Ishikawa‘Constraint-based Clustering of Image Search
Results Using Photo Metadata and Low-level Image Features”, 9th IEEE/ACIS International Conference on Computer and Information Science, pp. 165-178, 2010
Bart Thomee and Adam Rae“Exploring and Browsing Photos through Characteristic Geographic Tag Regions”, ACM
International Conference on Multimedia: Workshop onGeotagging and Its Applications in Multimedia, 2012
Haipeng Zhang, Mohammed Korayem, David J. Crandalland Gretchen LeBuhn “Mining Photo-sharing Websites toStudy Ecological Phenomena”, Proceedings of the 21st international conference on World Wide Web, pp. 749-758,
2012
Matthew Boutell and Jiebo Luo“Bayesian Fusion of Camera Metadata Cues in Semantic Scene Classiﬁcation”, Proceedings of the 2004 IEEE computer society conference on
Computer vision and pattern recognition, pp. 623-630, 2004
“The Weather Channel’,http://uk.weather.com
Martin Ester, Hans-Peter Kriegel, Jorg Sander and Xiaowei
Xu“A Density-Based Algorithm for Discovering Clusters inLarge Spatial Databases with Noise”, in Proc. of The 2ndInt l Conf. on Knowledge Discovery and Data Mining, pp.
226-231, 1996
Franco P. Preparata and Michael I. Shamos “ComputationalGeometry:An Introduction”, Springer-Verlag, 1985.
Tony Lindeberg“Scale-space theory: a basic tool for
analysing structures at diﬀerent scales” Journal of Applied
Statistics, 21(2):pp. 225-270, 1994.

(a) 本システム実行前(b) 本システム実行後(c) 緑色のクラスタの写真の例(d) 白色のクラスタの写真の例

図7

検索クエリ「london」の実行例

(a) 本システム実行前(b) 本システム実行後(c) 緑色のクラスタの写真の例(d) 白色のクラスタの写真の例

図 8 検索クエリ「newyork」の実行例