DEIM Forum 2023 4a-3-1

ピクトリアルマップの自動生成のためのSNS 上の投稿写真の位置情報と意味情報を考慮した POI 抽出
周 文トウ†

牛尼 剛聡††† 九州大学大学院芸術工学府 〒 815–8540 福岡県福岡市南区塩原 4-9-1†† 九州大学大学院芸術工学研究院 〒 815–8540 福岡県福岡市南区塩原 4-9-1
E-mail: †zhou.wentong.904@s.kyushu-u.ac.jp, ††ushiama@design.kyushu-u.ac.jp
あらましピクトリアルマップは地域の特徴や雰囲気を図を用いて表現する地図である．ピクトリアルマップ上に提示するユーザが関心を持っているスポットである POI は，従来の手法では，写真の低レベルの位置情報だけを用いて密度ベースのクラスタリング手法である DBSCAN を行って，密度が高いスポットとして抽出している．しかし，本研究では，より人間にとって意味のある POI を抽出するために，画像の内容を考慮した Semantic-DBSCAN 手法を提案する．まず，画像認識で識別された画像のラベルとその確信度を基にエンべディング処理を行い，意味情報をもつ高次元の特徴ベクトルを得る．次に，距離と意味情報の両方から構成した潜在空間内にクラスタリングを行う．最後に，実データを用いた実験により，提案手法の有効性を検証する．
キーワード SNS，クラスタリング，画像認識，可視化
service) の発展によって，ユーザーが目の前の風景を見た時，

1 はじめにピクトリアルマップは，図やイアラストを用いて，ある地域の特徴や雰囲気を分かりやすく表現する地図である．図 1 1 は人手で作成されたピクトリアルマップの例である．このようなピクトリアルマップを利用して，ユーザがその地域の面白さや魅力などを感じられるようになる．しかし，このようなピクトリ
アルマップを制作するためには，多くの時間と労力が必要である．また，人手で選ばれた地域の特徴的なものは，ユーザが実際に興味を持っているものとずれるかもしれない．そのため，ユーザの興味を見つけて地域の魅力にマッチングすることが必要である．

その瞬間を記録するため，写真に撮影し，SNS に投稿することが一般的行われるようになった．SNS 上の投稿写真の量も急速に増加しいる．投稿写真は投稿者の興味や関心を反映されると言える．その中の位置情報付き写真はその地域の魅力を記録していると考える．そこで，膨大な位置情報付き投稿写真から地域の特徴や魅力を抽出し，抽出された特徴を表す写真を選択してマップ上にマッピングすることで，ピクトリアルマップを自動的に生成できると考えられる．
我々は，これまでにピクトリアルマップを自動的に生成する手法を提案している [1] ．しかし，この手法では，POI を抽出する時，SNS の画像の位置情報しか利用していなかったため，ユーザが興味を有する POI を抽出できない場合があった．本
研究は，より人間にとって意味のある POI を抽出するために，
意味情報と位置情報の両方を利用して，高次元の潜在的セマン
ティック空間を構築する．そして，潜在的セマンティック空間
内でクラスタリングを行う.
本論文の構成は以下の通りである，第 2 章では関連研究を紹介する．第 3 章は提案手法について述べる．第 4 章は実データを用いた実験について述べる．第 5 章はまとめと今後の課題について述べる．

2 関連研究2. 1 SNS の投稿写真の意味情報を考慮した POI の自動抽出に関する研究図1

ピクトリアルマップの例: 大原野観光マップ

一方，近年，スマートフォンの普及や SNS(Social networking
1：https://gurutabi.gnavi.co.jp/area/kyoto/kyotoshi/oharano.html

Chen ら [2] は SNS 上の投稿写真の位置情報と投稿者自分が付いたタグの両方を利用してクラスタリングを行って POI を自動的に抽出する手法を提案している．Hashimoto ら [3] は画
像認識 API で取得したラベル情報を基に，教師あり機械学習

手法を用いて，最も代表的な地域の特徴タグを抽出する手法を提案している．滝本ら [8,9] は画像認識 API で取得したラベル情報と確認度により重み付きタグ集合を構成し，構成したタグ集合間の類似度を考慮する SimDBSCAN を提案している．
本研究では，画像認識 API で取得したラベル情報と確信度を基に特徴ベクトルに変換する．そして，地理上の距離と特徴ベクトル間の距離の両方を考慮する Semantic-DBSCAN を提
案する．

図2

Microsoft ComputerVison API による取得した結果の例

2. 2 SNS の写真を利用した可視化に関する研究
SNS に投稿された膨大な写真データを分析・可視化すること
で，写真から反映された潜在的な内容に関する研究が活発に行る ．あ る 写 真 に Computer Vision API を 適 用 し た 結 果 が{“ﬂower”: 0.85，“tree”: 0.91，“sky”: 0.75，“river”: 0.65}

は Instagram に投稿された写真の内となったとする．このとき，この写真のエンベディング結果は容と写真のスタイルを分析して可視化することで，全世界有名

x = (0.85, 0.91, 0, 0.75, 0.65, 0, 0, 0, 0, 0) となる．このようにすな五つの大都市間の文化的類似点と相違点を明らかにしている．

ることで，画像の視覚属性をベクトル化することができ，ベク

われている．Redi ら

Manovich ら

[11]

[10]

は Instagram に投稿する自撮り写真の内容をトル間の距離を計算することができる.

分析して可視化することで，世界中の５都市間のユーザの特性

3. 1. 3 t-sne による特徴量の次元削減処理を明らかにしている．

Computer Vision API による取得可能なタグの種類は合計

本研究では，SNS の写真データを利用して，地域の特徴を反3500 以上を超える．一枚の画像に対して，Computer Vision

映されるピクトリアルマップを自動的に生成にする手法を提案

API による取得したタグを特徴ベクトルに変換した後，特徴する．

ベクトルの長さは 3500 以上になる．そこで，本研究は，t-sne（t-Distributed Stochastic Neighbor Embedding）を用い，高3 提案手法3. 1 意味情報を考慮した POI の抽出

次元の画像特徴ベクトルを２次元に次元圧縮する．

3. 1. 4 画像間の類似度の計算
本研究では，ユークリッド距離を用いて画像間の類似度を計

POI(Point of Interest) は，地理空間上で人々が興味を持つ

算する．ユークリッド距離は, ２点間の距離を算出する方法の場所を表す．SNS 上で話題になるスポットや，大勢の人が訪ね，

一つで、２点が直線的にどれだけ離れているのかを示している．

チェックインする場所などが POI の候補となる．POI の付近で

x と y のユークリッド距離は以下の式を用いて求める．
v
u n
uX
(1)
d(x, y) = t|x2i − yi2 |は撮影・投稿する人数が多く，撮影した内容も重複しやすいと考えられる．そこで，本研究では，SNS 写真の投稿数が密集する，かつ同じオブジェクトを撮影する地点を抽出すると，ユー
ザの関心地点が発見できると考える．

3. 1. 1 画像認識による意味情報の取得
Hwang [12] らは，画像の視覚属性（visual attribute）を，物体カテゴリ間で共有される人間が理解可能な属性であると定義している．本研究では，画像認識技術を用いて，画像の視覚属性を識別する．近年，ディープラーニングを用いて高精度に画像認識を行うことができるようになった．そして，いくつかの代表的な画像認識アルゴリズムが WebAPI として利用できるようになっている．本研究では，代表的な画像認識 API の一つである Computer Vision API [13] を利用して，対象となる全i=1d(x, y) は 0 に近いほど，x と y が類似する．
3. 1. 5 位置情報を利用した DBSCAN
本研究では，まず対象地域の全ての写真の位置情報に基づき，
密度ベースのクラスタリング手法 DBSCAN [14] (Density-based

spatial clustering of applications with noise) を用いクラスタ
リングを行う．DBSCAN は，クラスタ間の距離の閾値 Eps とクラスタを構成する最小データ数の閾値 M inP ts との２つの閾値を持つ．ある点 x から，距離 Eps 内にある点集合を近傍

NE px(x) と定義し，以下の接続関係を満たす時，同じクラスタに分類すると考えられる．

ての画像に関して画像認識を行う．Computer Vision API に
よって得られたタグ情報の例を，図 2 に示す．本研究では，タy ∈ NE px(x)(2)

グと確信度の両方を利用する．

|NE px(x)| >= M inP ts(コア点)(3)

3. 1. 2 意味情報の特徴ベクトルの変換
前節で得られたタグと確信度を利用して意味情報の特徴ベク
トルに変換するプロセスについて説明する．
いま対象となる地域の写真から取得したタグが合計 10 個{“ﬂower”，“tree”，“hill”，“sky”，“river”，“temple”，“building”，“car”，“tower”，“moon”} で あった 場 合 を 例 に 考 え

対象地域内に SNS の投稿写真の地理的密度分布が異なる．DB-

SCAN 手法では，密度によって適切に Eps と MinPts を選択する必要がある．

3. 1. 6 意味情報と位置情報を考慮した Semantic-DBSCAN
前節で抽出した１つクラスタにおいて，複数のテーマの写真が集まっていると考える．例えば，ある観光スポット A を一つクラスタとして抽出する場合，スポット A において，人気のアルゴリズム 1 Semantic-DBSCAN

あるレストランや有名な建物，または自然風景など，複数の見Input: Eps1,Eps2,M inP ts,D = {o1 , o2 , ．
．
．
, on }どころが存在する可能性がある．そこで，それぞれ見どころを

Output: C = {C1 , C2 , ．
．
．
, Ck }

POI として抽出するため，意味情報と位置情報を考慮したクラ

Cluster Label = 0

スタリングを行う．

for i=1 to n do

3.1.5 で利用した従来の二次元の DBSCAN はクラスタ間の

if oi is not in a cluster then
X=Retrieve Neighbors(oi ,D,Eps1,Eps2)

距離の閾値 Eps とクラスタを構成する最小データ数の閾値

if |X| <MinPts then

M inP ts という二つパラメータが必要となる．Derya ら [15]Mark oi as noise

は二次元の DBSCAN をベースに，三次元の ST-DBSCAN

else

を 提 案 し て い る ．本 研 究 は 三 次 元 の ST-DBSCAN を ベ ー

Cluster Label = Cluster Label + 1

ス に Semantic-DBSCAN を 提 案 す る ．Semantic-DBSCAN

for j=1 to |X| do
Mark all objects in X with current Cluster Labelは 意 味 情 報 を 考 慮 し た Eps2 を 追 加 し て 三 つ パ ラ メ ー タ

end for

Eps1, Eps2, M inP ts を有する．Eps1 は二つ写真の位置情Push(all objects in X)

報から計算した地理的な距離の閾値であり，Eps2 は 3.1.3 で

while not IsEmpty() do

説明した二つ特徴ベクトル間のユークリッド距離の閾値であり，CurrentObj = Pop()M inP ts はクラスタを構成する最小データ数の閾値である．関Y = Retrieve Neighbors(CurrentObj,D,Eps1,Eps2)

数 RetrieveN eighbors(o, D, Eps1 , Eps2 ) を以下のように定義
if |Y | >MinPts thenする．

for All objects o in Y do

Retrieve N eighbors(o, D, Eps1 , Eps2 )= {0|x ∈ D, distgeo (o, x) <= Eps1 ,if o is not marked as noise or it is not in a(4)

cluster thenMarkdistsem (o, x) <= Eps2 }owithcurrent

Cluster Label

Push(o)

こ こ で distgeo (o1 , o2 ) は o1 と o2 の 地 理 的 な 距 離 を 表 し ，end ifdistsem (o1 , o2 ) は o1 と o2 の意味的な距離を表す．Semantic-

end forend if

DBSCAN のアルゴリズムをアルゴリズム 1 に示す．

end while

4 実験

4. 1 データセット
提案手法の有効性を評価するための実験を行った．本実験では Flickr にアップロードされた画像から構成された写真のデー

end ifend ifend for

表1

DBSCAN による札幌市のクラスタリング結果
パラメータ

spot の個数

Eps = 0.5km, MinPts = 50

32

Eps = 0.1km, MinPts = 150

11

タセット YFCC100M を使用した．YFCC100M [16] は，世界中で撮影された約 1 億枚の写真及び動画を含んでおりその中の約 5,000 万件は位置情報付き写真である．本論文では，札幌市を対象に，写真の位置情報 (経緯度) を用い, 15,592 枚の札
幌市の写真をフィルタリングした．そして，各写真に対して，

DBSCAN を用いて POI の抽出を行った．その中で，三つス

Computer Vision API を用いて分析を行い，タグと確信度をポットを例として結果と観察を述べる．

求めた．15,592 枚の写真から合計 3,839 個種類のタグ情報を得た．

4. 2 POI の抽出結果
3.1.5 で述べた位置情報を利用してクラスタリング結果を表 1と図 3, 図 4 に示す．距離閾値を 0.5km にし，MinPts を 50 にすると，札幌市の郊外となる地域を多く抽出できた．一方，距離閾値を 0. １ km にし，MinPts を 150 にすると，札幌市の都心となる地域を抽出できた．そこで，２つクラスタリング結
果の和集合から，合計 40 個のクラスタをスポット対象として得た．

4. 3 Semantic-DBSCAN での抽出結果と考察
前節で抽出した 40 個の地点に対して，それぞれに Semantic-

図 5 と図 6 は藻岩山のふもとの近くのエリアの POI の例を示す．表 2 は使用したパラメータと抽出した POI の個数に示す．図 5 は，

パラメータを Eps1 = 200m, Eps2 = 75,

M inP ts = 10 に設定して得られた POI の例 A である．P4 は神社の写真をものであり，P3 は画像のメインの部分は黒色となる写真を集めたが，公園の噴水の写真も含まれている．P2
は花の写真と空をメインにした写真の両方が含まれている．P1
は冬の雪の写真を集めたものや冬のバスの写真，緑色の電車の写真を集めたもの，または赤色のバスの写真の集めたのものが含まれている．そこで，パラメータの Eps2 を 75 から 20 に変
えてクラスタリングを行った結果を図 6 に示す．前例における複数テーマの写真が集めた P1 は，6 つの POI を分けることができ，P11 は冬の雪の写真の集めたもの，冬のバスの写真，緑表2

Semantic-DBSCAN による藻岩山のふもとの近くのエリアの POI の結果
パラメータ

表3

POI の個数Eps1 = 200m, Eps2 = 75, MinPts = 10

4

Eps1 = 200m, Eps2 = 20, MinPts = 10

15

Semantic-DBSCAN による都心のエリアの POI の結果
パラメータ

POI の個数Eps1 = 200m, Eps2 = 40, MinPts = 3

4

Eps1 = 200m, Eps2 = 10, MinPts = 3

18

同じパラメータを使う場合，上手くクラスタ分けられない場合がある（例 A の P4 は分けられるが，P3，P2 などは分けられない）．
さらに，都心となるエリアの結果の例を示す．図 7 と図 8 は

POI の例で，表 3 は使用したパラメータと抽出した POI の個数に示す．図 7 は，パラメータは Eps1 = 200m, Eps2 = 40,
図3

札幌市における抽出した 32 個クラスタの結果

M inP ts = 3 に設定して得られた POI の例 C である．P1 は桜の写真を集めたものである．P4 は会議会場の写真と将棋大会の写真を集めたもので，二つイベントの写真が含まれる．P3
は食事の写真をクラスタとして分けられるが，花畑の写真も同じクラスタとして抽出した．そこで，パラメータの Eps2 を 10に変えてクラスタリングを行った（図 8）．例 D の P18 は将棋大会の写真以外，ほか文字の要素が主となる写真は同じクラス
タとして抽出した．しかし，P19 では会議会場の写真が抽出したが，一部の食事の写真も同じクラスタに合併される．花畑の写真は似たようなクラスタ P7，P8 に分けられる．
図 9 は「札幌芸術の森」のエリアの POI の例である．パラメータは Eps1 = 200m, Eps2 = 20, M inP ts = 3 に設定した．

P5，P7，P8 は「野外美術館」のアート作品ごとに分けられたが，どのクラスタでも秋の風景の写真が含まれている．P9 は空をメインにした写真の集めたもので，複数の地点を含まれている．空のような一般的な風景の要素をメインにした写真は同
じクラスタに属する可能性が高いことが分かった．

図4

札幌市における抽出した 11 個クラスタの結果

5 まとめと今後の展望
本論文では，ピクトリアルマップの自動生成のため，SNS 上色の電車の写真であり，P1 は赤色のバスの写真を集めたのもの投稿写真の位置情報と意味情報の両方を考慮した Semantic-のである．また，P2 は冬の雪の写真だが，窓が主となるので

DBSCAN 手法を提案した．実験結果により，提案手法の有効

別の POI として分けられ，駅の写真や電車内部の写真，また性を確認できた．今後は適切な意味情報の特徴ベクトルの変換

は電車の細部の写真なども別の POI として分けられた．

手法を変えて比較実験を行う．

例 A と例 B の結果に対する考察を以下に述べる．

(1)Eps2 は大きく設定すると，潜在空間上における密度が大きいクラスタが合併されてしまう可能性がある（例 A の P3，P2，

P1）．一方，Eps2 は小さく設定する場合，密度が小さいクラ

謝辞 本研究は JSPS 科研費 19H04219 の助成を受けたものです．

スタが似たようなクラスタに分けられる可能性がある（例 B のP2 と P3，例 A の P5 と P6）(2) 都市の写真や自然風景の写真など幅広いテーマのものが含まれるエリアでは，特徴ベクトルに変換した後の潜在空間上におけるテーマごとに特徴ベクトル間の密度に差が大きいので，

文

献[1] Wentong Zhou, Taketoshi Ushiama, “Automatic Generation of Pictorial Maps from Photos on Social Media

図5

藻岩山のふもとの近くにおける抽出した POI の例 A

図6

藻岩山のふもとの近くにおける抽出した POI の例 B

図7

札幌市の都心における抽出した POI の例 C

図8

札幌市の都心における抽出した POI の例 D

図9

「札幌芸術の森」における抽出した POI の例 E

to Represent Regional Features,” 2020 14th Interna-[9] 瀧本 祥章, 杉浦 健人, 石川 佳治, “ジオタグ付き写真のtional Conference on Ubiquitous Information Manage-

被写体を考慮した意味的な移動軌跡の分析,” 第 9 回デー

ment and Communication (IMCOM), pp. 1–5, 2020.

タ工学と情報マネジメントに関するフォーラム (DEIM[2] Wei-Chao Chen, Agathe Battestini, Natasha Gelfand,2017), pp. H7-5, 2017.

Vidya Setlur, “Visual summaries of popular landmarks[10] Miriam Redi, Damon Crockett, Lev Manovich, Simonfrom community photo collections,” 2009 Conference

Osindero, “What Makes Photo Cultures Diﬀerent,”

Record of the Forty-Third Asilomar Conference on Sig-

Proceedings of the 24th ACM international conference

nals, Systems and Computers, pp. 1248–1255, 2009.

on Multimedia, pp. 287–291, 2016.

[3] Hashimoto Kohjiro, Miyosawa Tadashi, Miyabe Mai,[11] L. Manovich, M. Stefaner, M. Yazdani, D. Baur, D.

Tsuchiya Takeshi, Ozaki Takeshi, Hirose Hiroo, “Sight-

Goddemeyer, A. Tifentale, N. Hochman, and J. Chow,seeing Hot Spots Analysis by Using SNS s Photos and

Selﬁecity: http://selfiecity.net/#intro

Taking Location Information Based on Image-to-Tag
Method,” International Journal of Machine Learning
and Computing, Vol. 10, No. 5, pp. 624–629, 2020.

[12] Sung Ju Hwang, Fei Sha, Kristen Grauman, “Sharing Features Between Objects and Their Attributes,”
Proceedings of the IEEE Conference on Computer Vi-[4] Martin Ester, Hans-Peter Kriegel, Jorg Sander, Xiaowei Xu, “A density-Based Algorithm for Discoveringsion and Pattern Recognition(CVPR), pp． 1761–1768,
2011．

Clusters,” KDD-96, pp． 226–231, 1996．
[13] Computer Vision API:
[5] Slava Kisilevich, Florian Mansmann, and Daniel Keim,“P-DBSCAN: a density based clustering algorithm forhttps://azure.microsoft.com/ja-jp/products/cogni
tive-services/computer-vision/

exploration and analysis of attractive areas using collections of geo-tagged photos,” In Proceedings of the[14] Martin Ester, Hans-Peter Kriegel, Jorg Sander, Xi-

1st International Conference and Exhibition on Com-aowei Xu, “A density-Based Algorithm for Discoveringputing for Geospatial Research & Application, No. 38,

Clusters,” KDD-96, pp. 226–231, 1996.

pp. 1–4, 2010.
[6] 中原, 石川, 廣田, “ジオタグ付き写真を用いた高度を考慮したホットスポットの分析,” 第 10 回データ工学と情報[15] Derya Birant, Alp Kut, “ST-DBSCAN: An algorithm
for clustering spatial–temporal data,” Data & Knowledge Engineering, Vol. 60, pp. 208–221, 2007.

マネジメントに関するフォーラム, DEIM2018, 2018.

[16] B. Thomee, D.A. Shamma, G. Friedland, B. Elizalde,[7] Olga Yanenko, “Introducing Social Distance to St-

K.Ni, D. Poland, D. Borth, and L. J. Li, “YFCC100M:

DBSCAN,” In Proceedings of the 22nd AGILE Con-The new data in multimedia research,” Communica-

ference 2019, Limassol, Cyprus, pp. 17–20, 2019.

tions of the ACM, Vol.59, No.2, pp. 64–73, 2016.

[8] 瀧本 祥章, 石川 佳治, 杉浦 健人, 脇田 佑希子, “ジオタグ付き写真を用いた意味的な移動軌跡の分析,” 第 15 回情報科学技術フォーラム (FIT 2016), pp. 7C-3, 2016.