DEIM Forum 2016 H4-6

ジオソーシャルデータを用いたフォトストリームの分割とホットスポットの関連づけ
井上 貴弘†

廣田 雅春††

石川

博†††

横山

昌平††††† 静岡大学大学院 情報学研究科情報学専攻 〒 432–8011 静岡県浜松市中区城北 3-5-1†† 大分工業高等専門学校情報工学科 〒 870–0152 大分県大分市牧 1666††† 首都大学東京システムデザイン学部情報通信システムコース 〒 191–0065 東京日野市旭が丘 6-6†††† 静岡大学大学院 情報学研究科情報学専攻 〒 432–8011 静岡県浜松市中区城北 3-5-1
E-mail: †gs14007@s.inf.shizuoka.ac.jp, ††m-hirota@oita-ct.ac.jp, †††ishikawa-hiroshi@sd.tmu.co.jp,††††yokoyama@inf.shizuoka.ac.jp
あらましスマートフォンの普及により，ユーザは大量の写真を撮影し，また，写真にジオタグと呼ばれる撮影位置の情報を付与することも可能になった．それにより，ユーザは撮影した時間だけではなく，場所に応じて写真を整理できるようになった．しかし，単一のユーザの写真からでは撮影場所がどのような観光地の中か，あるいは移動中の写真なのかというコンテキストを把握することは困難である．そこで，本研究では，ジオソーシャルデータを用いて，写真が多く撮影されている場所を発見し，そこで現れるテキストタグから，ユーザが撮影した写真群に対してコンテ
キストを付与し，ユーザの写真の整理を支援する．
キーワード

写真分割，ライフログ，コンテキスト，Flickr

1. は じ め

コンテキストを付与することを目指す．
従来の研究では，写真の撮影時刻，写真に付与されたタグな

近年、デジタルカメラ，スマートフォンの普及により，ユーザ

どからユーザのフォトストリームを分割が行われていた．しかは大量の写真を撮影し，また，それらの写真にはジオタグと呼し，例えば，同一のランドマーク内で撮影された写真でも，連ばれる撮影位置の情報を付与することが可能になった．撮影し続した２写真間の撮影された時刻の間隔が長い場合，同一のラた写真は，撮影順で閲覧することができる．この撮影順で並べンドマーク内でもフォトストリームが分割されてしまうことがた写真列のことを本研究ではフォトストリームと呼ぶ．ユーザ

ある．そのため，ユーザの行動に関するコンテキストを考慮せは，フォトストリームを閲覧することで，撮影した日時によっず，フォトストリームが分割されてしまう課題がある．単一のて写真を整理することができる．また，ジオタグ付き写真が増ユーザのフォトストリームからでは，写真にタグが付与されて加したことにより，ユーザは，撮影した日時だけでなく，場所ない場合，分割場所を把握することは困難である．また，フォに応じて写真を閲覧，整理することが可能になった．しかし，トストリームの写真を画像処理し，分割する場所を発見する

単一のユーザが撮影したフォトストリームからでは，写真を撮手法もあるが，写真が何百枚とあった場合，効果的な手法では影した場所がどのような観光地であるか，あるいは移動中の写ない．

真かというコンテキストを把握することは困難である．本研究

そこで，ソーシャルメディアサイトにアップロードされていでのコンテキストとは，ユーザが写真を撮影した場所での行動

るジオソーシャルデータを用いて，フォトストリームを分割すのことである．例えば，ディズニーランド内で写真を撮影した

る．ユーザが撮影した写真は，ジオタグが付与され Flickr（注 1）や場合ならばディズニーランドにいた，ディズニーランド外で写Panoramio（注 2） などのソーシャルメディアサイトにアップロー

真を撮影した場合ならば移動中であるというコンテキストをそドされ, 共有されているジオタグ付き写真は急速に増加していれぞれ付与することが考えられる．

る [4]．ユーザは，観光地など人々が興味を持つ場所において，ユーザのフォトストリームを分割し，さらに写真毎にコンテ

多く写真を撮影すると考え，アップロードされたジオソーシャ

キストを把握することで，大量の写真から旅行記録の整理が容ルデータから，撮影地点の密度を抽出し，抽出した場所に基づ易になる [1]．また，ユーザの行動を把握し，ユーザの思考を分いて，フォトストリームを分割する．1 人のユーザのフォトス

析することで，旅行地における観光スポットの推薦，観光マッ

トリームから判定を行うのではなく，ソーシャルメディアサイ

プの作成 [2] や２地間の移動中にユーザが興味を持つ地点を抽トにアップロードされたジオソーシャルデータを用いて，写真出し，その地点を寄り道候補として新たに旅行するユーザへ推薦 [3] が可能である．本研究では，ジオソーシャルデータを用（注 1）：https://www.flickr.com/

いて，フォトストリームを地理的に分割し，分割した写真毎に（注 2）：http://www.panoramio.com/

が多く撮影されている領域で分割する．

出したコンテキストを個人のフォトストリームに付与する．

本研究では，1 人のユーザのフォトストリームのみに着目す

筆者らは，個人のフォトストリームではなく，他のユーザがるのではなく，ソーシャルメディアサイトにアップロードした

アップロードした大量の写真を利用してフォトストリームの地

多くのユーザの写真を用いることで，1 人のユーザのフォトス

理的な分割点を発見した．発見した分割地点について，フォトトリームを閲覧した際に，ユーザのコンテキストの地点で分割

ストリームの分割方法として考えられる，人の目で閲覧するすることが可能になる．また，撮影した地点の密度を抽出し，方法，時間の差を用いた分割手法と比較し，大量の写真を用いその領域内に現れるタグを集計し，写真毎にコンテキストを付

ホットスポットを分割点とした手法が良いことを示した．本研

与することで，1 人のユーザのフォトストリームにタグが付与

究では，この分割したフォトストリーム毎に対して，コンテキ

されていない場合でも，コンテキストの補完が可能だと考えら

ストを付与する．

れる．予め，撮影した地点の密度を抽出し，その領域を決めてソーシャルメディアサイトにアップロードされたジオソー

おくことで，フォトストリームを画像処理する必要がなく，低シャルデータを用いて，ユーザ毎のフォトストリームを管理すコストでフォトストリームの分割が可能になる．

るための分割手法として，Lin ら [9]，Jianchao ら [10]，および

その他に，地図データを用いたフォトストリームの分割が考Sam ら [11] の研究が挙げられる．Lin らは，Flickr のグループえられる．これは，地図データに含まれる観光地の領域を用い機能（注 3） を利用して，探索ソーシャルネットワークの形成するて，観光地の内外判定を行いフォトストリーム分割することでためのアルゴリズムを提案している．Lin らは，グループに属ある．しかし，必ず観光地で写真を撮影しているとは限らない．

しているユーザは，興味関心が似て，同じようなタグを写真に例えば，アメリカのニューヨーク州にある自由の女神像は，地付与すると考えた．そして，写真をアップロードしたユーザ情図上において，領域は島範囲のみであるが，島にある像を撮影

報，関連するタグ，写真コンテンツの属性，撮影場所，および対象物として，陸地から撮影する人々もいる．本研究では，こ属性間のソーシャルネットワークを作成し，写真量が増えた期のような，地図上の観光地の領域と人々が興味を持ち写真を撮

間のフォトストリームに “travel” や “social” などのラベルを付影している領域は違うものとして扱い，後者のほうに着目し，与する．しかし，このラベルが付与されたフォトストリームは，

ソーシャルメディアサイトにアップロードされているジオタグ

グループに属している人のみが対象になっており，グループに付き写真を用いる．

属していなくてもユーザは閲覧することができない．Jianchao

本論文の構成は，次のとおりである．2 章では，本研究と関らは，ソーシャルネットワーキングを容易にするために多くの連研究の差分について述べる．3 章では，提案手法の概要につユーザの写真から，自動でフォトストリームを作成するアルゴ

いて述べる．4 章では，実行例について述べる．5 章では，本リズムを提案している．これは，タイムライン上で時系列順に研究で得られた成果のまとめを述べる．

同じイベントが発生した際に，自動的に複数のユーザから写真

2. 関 連 研 究を収集し，イベント毎にフォトストリームを作成する．

Sam ら [11] は，複数のユーザから，写真の画像，写真に含ジオタグが付与された写真を用いて，ユーザのフォトスト

まれるメタデータを収集し，ユーザがフォトストリームを閲覧

リームを分割し，分割した写真群に対してコンテキストを付与するための検索システムを構築した．これは，ユーザが移動手する研究として Jesse ら [5]，Arase ら [6]，および筆者 [7] らの段，ユーザ情報，および日付と時刻を選択しなければ閲覧す研究が挙げられる．Jesse らは，SIFT [8] を用いて，写真の画ることができない．本研究では，ソーシャルメディアサイトに像特徴量を算出し，フォトストリームからイベントを抽出してアップロードされたジオソーシャルデータを用いて，フォトス

いる．また，写真に付与されたタグ，撮影日時，および２写真

トリームの写真毎にコンテキストを付与する．これは，ジオタの撮影位置の距離を用いて，フォトストリームをイベント毎にグから写真を撮影した場所付近で，他のユーザが興味を持った分割する手法を提案している．

写真に付与されているタグを用いる．予め，場所ごとに関連すArase らは，フォトストリームを分割するために，収集したるタグを決定しておくことで，他のユーザがその場所で写真を写真を撮影日時順にソートし，連続している２写真間の撮影日

撮影した場合でも，コンテキストを付与することが可能とな

時，距離，およびタグを用いて，ギャップ値を算出し，ギャッり，グループなどに属さくてもフォトストリームを分割するこ

プ値が閾値を超えたら，その地点でフォトストリームの分割をとが可能になり，ユーザは自分の分割されたフォトストリーム

行い，タグから分割したフォトストリームの写真群毎に対してを閲覧することができる．また，本研究では，ユーザが移動手

コンテキストを付与している．フォトストリームの分割やイベ

段，ユーザ情報，および日付と時刻を指定することなく，他のントの発見は，写真の撮影日時，写真に付与されたタグ，およユーザから収集したデータを集約し，自動的に個人のフォトス

び画像特徴量などのメタデータを利用している．しかし，写真

トリームを効果的に閲覧するシステムを目指す．

に付与されているタグは，ユーザが自由に付与することができ

ソーシャルメディアサイトにアップロードされた写真のソーるため，個々のフォトストリームに着目した場合，タグが含まシャルメディアサイトにアップロードされた写真のフォトス

れていなければ，分割やイベントの発見は困難である．本研究トリームを利用した研究が行われている．Zerr ら [12] [13] は，では，個人のフォトストリームではなく，他のユーザがアップロードした大量の写真を利用してコンテキストを抽出する．抽（注 3）：https://www.flickr.com/groups

ストを付与する．本研究では，写真が多く撮影された領域を
ホットスポットと定義する．

䞉᧜ᙳ఩⨨
䞉᧜ᙳ᪥᫬
䞉䝔䜻䝇䝖䝍䜾



図 1 にシステムの概要を示す．黒色の矢印は，全データを現し，青色の矢印は個人のフォトストリームを表す．はじめに，䝩䝑䝖䝇䝫䝑䝖䛾ᢳฟ䝴䞊䝄䛾䝣䜷䝖䝇䝖䝸䞊䝮

䝴䞊䝄䛾
⛣ື㌶㊧

ソーシャルメディアサイトにアップロードされた，ジオソーシャ䝔䜻䝇䝖䝍䜾
䛾㞟ィ

ルデータを収集する．ジオソーシャルデータには，ジオタグ，
撮影日時，およびテキストタグが含まれている．収集したジオศ๭䛥䜜䛯䝣䜷䝖䝇䝖䝸䞊䝮ソーシャルデータをユーザ毎に分け，撮影日時の古い順でソー䝣䜷䝖䝇䝖䝸䞊䝮䛾ศ๭トし，フォトストリームとする．次に，分割地点の発見とテキストタグの収集を行うため，ジオタグ付き写真を撮影位置に基

図1

づいてクラスタリングしている．観光地などのランドマーク周

システム概要図

辺では，多くの写真が撮影されていると考えられる．
アップロードされた写真からユーザの感情，状態を推定する研そこで，密度ベースのクラスタリングを適用し，写真が多く究している．Zerr らは，ジオソーシャルデータに含まれる写真撮影された領域を発見する．写真が多く撮影された領域からからテキストタグや画像特徴量を取得，算出し，SVMlight [14]フォトストリームの分割を行う．また，領域に含まれるテキスを用いて，写真が “Positive” か “Nagative” なのか判定する分

トタグを収集し，コンテキストを付与する．ユーザは，自分の類器を作成した [12]．写真が “Public” か “Private” なのか判

フォトストリームを入力し，サーバ側で抽出したホットスポッ

定する分類器を作成し，実際，有名人の写真を分類できたこと

トの内外判定を行い，分割，コンテキストが付与されたフォト（注 4）を示した [13]．Choudhury ら [15] は，Yahoo! Maps API

ストリームをユーザに提示することで閲覧することが可能にを用いて，人々が興味を持つ場所である観光地を取得する．こなる．

の場所を Point of Interests(POI) として設定する．設定した3. 1 ホットスポットの抽出

POI に，ユーザが写真を撮影した場所であるジオタグが含ま

フォトストリームの分割点を見つけるために，ジオタグ付き

れているならば，その撮影日時からユーザの POI での滞在時

写真を用いて，ホットスポットを抽出する．ホットスポットは，間を算出する．これらのデータから観光地間のグラフを作成す

写真が密集して撮影された領域を指す．本研究では，密度がる．このグラフは，アップロードしたユーザの旅行日程であり，高い地点を推定するために DBSCAN(Density-Based Spatial

この旅行日程を参考に新しい旅行者への旅行プランを提示してClustering) [18] を用いる．クラスタ間の距離の閾値 EPS といる．これらの研究は，アップロードされたフォトストリーム

データ数の閾値 Num に基づいて，以下の接続関係で到達できからユーザの思考分析や旅行地における観光スポットの推薦をる集合であり，集合の中でも極大のものをクラスタとして抽出行っている．本研究に対して，写真毎に感情を付与することがする．

可能ならば，より詳細なコンテキストとして付与することができると考えられる．

Web 上にアップロードされているジオタグ付き写真，テキxp ∈ NEps (xp )(1)|NEps(xp ) | >= N um(2)

ストタグを用いて，地理的特徴を抽出する研究が行わている．

Bart [16] らは，ソーシャルメディアサイトにアップロードされ

ただし，NEps (xp ) = {xp ∈ X ∥ Dist(xp ,xq ) < Eps} である．

ているジオタグ付き写真に付与されているテキストタグから，2 点間の距離 Dist(xp ,xq ) はヒュベニの公式を用い，算出する．

テキストタグの頻出する領域を抽出し，ジオタグから地図上にマッピングする手法を提案している．Kennedy [17] らは，写真に付与されているテキストタグが写真の視聴覚特徴を表すテキ

Dist(xp ,xq ) = ((M ∗ dP ) ∗ (M ∗ dP ) +(N ∗ cos(P ) ∗ dR) ∗ (N ∗ cos(P ) ∗ dR))2(3)

ストタグである可能性が 5 割であることを示した．本研究では，

このとき，P は 2 点の平均緯度，dp は 2 点の緯度差，dR はジオタグの密度に対して，写真に付与されているテキストタグ

2 点の経度差，M は午線曲率半径，N は卯酉線曲線率半径をを用いてテキストタグの頻出を算出し，コンテキストとして算示す．

出した密度に付与する．

3. 提 案 手 法
本研究では，ソーシャルメディアサイトにアップロードされ

DBSCAN によって抽出したクラスタをホットスポットとする．
3. 2 ユーザの移動軌跡
ジオタグ付き写真を用いて，ユーザの移動軌跡を抽出する．
あるユーザの移動軌跡を抽出した例を図 2 に示す．

たジオソーシャルデータを用いて，写真が多く撮影された領域収集したユーザのフォトストリーム内に含まれているジオタを抽出し，抽出した領域を区切りとして，フォトストリームのグ付き写真を用いて，ユーザの移動軌跡を抽出する．図 2 に移分割を行い，分割されたフォトストリームの写真毎にコンテキ動軌跡の例を示す．図 2 では，ある地域全体の領域に A(赤)，B(緑)，C(紫)，D(黄) の 4 つのホットスポットが存在する．
（注 4）：https://developer.yahoo.com/maps/

写真のジオタグから，各写真が 3. 1 節で抽出されたホットスϙჇἭἕἚἋἯἕἚ‫ٳ‬

ἸὊἈᾁ
ἸὊἈᵑ

ůŽƐĂŶŐĞůĞƐ

ŐƌŝĨĨŝƚŚŽďƐĞƌǀĂƚŽƌǇ

ἭἕἚἋἯἕἚ

ἸὊἈᾀ䝁䞁䝔䜻䝇䝖
௜୚䝔䜻䝇䝖䝍䜾
㞟ィŐƌŝĨĨŝƚŚ

ŐƌŝĨĨŝƚŚŽďƐĞƌĂƚŽƌǇ

䝔䜻䝇䝖䝍䜾




଺᧓
ἸὊἈᵏ







ἸὊἈᵐ







ἸὊἈᵑ





䞉'ƌŝĨĨŝƚŚ
䞉ŽďƐĞƌǀĂƚŽƌǇ

ƚĨͲŝĚĨ್್䝔䜻䝇䝖䝍䜾

ƚĨͲŝĚĨ

ฟ⌧ᅇᩘŐƌŝĨĨŝƚŚŽďƐĞƌĂƚŽƌǇ

Ϭ͘ϳϱŐƌŝĨĨŝƚŚŽďƐĞƌĂƚŽƌǇ

ŐƌŝĨĨŝƚŚ

Ϭ͘ϲϳůŽƐĂŶŐĞůĞƐ

ϵϳϳϲŽďƐĞƌĂƚŽƌǇ

Ϭ͘ϱϭŐƌŝĨĨŝƚŚ

ϱϯ

䞉䞉䞉

䞉䞉䞉

ŽďƐĞƌĂƚŽƌǇ

ϮϮůŽƐĂŶŐĞůĞƐ

Ϭ͘Ϯϰ

䞉䞉䞉

䞉䞉䞉

図 3 テキストタグの集計 (グリフィス天文台の例)
㌶㊧ϭ

Ὁ
Ὁ
Ὁ
Ὁ
Ὁ

㌶㊧Ϯ

ᮾி㥐䠈
ƚŽŬǇŽƐƚĂƚŝŽŶ

㌶㊧ϯ
dZ

図 2 ユーザの移動軌跡

ポット内で写真が撮影されているかを判定する．各写真がホッ^E䛻䜘䜛䜽䝷䝇䝍

ᮾி㥐䠈ƚŽŬǇŽƐƚĂƚŝŽŶ
㞟ィ䛧䛯䝔䜻䝇䝖䝍䜾䛛䜙௜୚

トスポット内で撮影されている場合，そのホットスポットをユー
ザが訪れたホットスポットとして登録する．そして，写真が別ᮾி㥐のホットスポットで撮影される，または，ホットスポット外で撮影される度に，ホットスポットの登録を行う．図 2 の場合，dZ

図 4 フォトストリームの分割

ユーザ 1(水色) の移動軌跡は，{ ホットスポット外→ A → C →D →ホットスポット外 } となる．ユーザ 2(橙色) の移動軌跡は，そこで，ホットスポット内に含まれるテキストタグの特徴語{ ホットスポット外→ A → B → D →ホットスポット外 } とな

は，指定した地域全体で出現する頻度に対して，特徴語の出現

る．ユーザ 3(黒色) の移動軌跡は，{ ホットスポット外→ A →D →ホットスポット外 } となる．このように，ユーザが実際に訪れた場所がホットスポット内なのか外なのかを判定する．このホットスポットの順番をユーザが訪れた移動軌跡とする．

する頻度は高くなると考えられる．本研究では，tf-idf 法を用いて，ホットスポット内の特徴語をスコア化する．抽出したあるホットスポット s と特徴語 c の関連度 rc,s は次の式によって算出する．

3. 3 テキストタグの集計
3. 1 節で定義したホットスポットを用いて，テキストタグの集計を行う．Kennedy らの研究から，テキストタグは写真の視覚的特徴が含まれていることからホットスポット毎にテキスト
タグを集計し，ホットスポット内の特徴語を発見する．
図 3 にアメリカのロサンゼルスにあるグリフィス天文台におけるテキストタグの集計の例を示す．図中の赤色の丸がホットスポットとした場合，ホットスポット内に含まれるテキストタ
グの出現回数を算出する．グリフィス天文台付近で撮影された
写真には，図 3 のように “griﬃthobservatory(グリフィス天文台)” や “griﬃth(グリフィス)”，“observatory(天文台)”，および，“losangeles” などのテキストタグが現れる．同じ観光地または，同じ対象物を撮影しているならば，写真に関連するテキストタグがホットスポット内のテキストタグランキング上位に現れる．しかし，写真に付与されているテキストタグには，撮影された場所を表すテキストタグが多く付与されている．これは，デジタルカメラやスマートフォンの位置情報から地域を付与している．しかし，地域のみでは写真を現しているテキスト
タグを把握することはできない．ホットスポット内の特徴語となるテキストタグを上位にする．

rc,s = tf(c,s) ∗ log(N/dft )(4)

ここで，tf は抽出したあるホットスポット s における特徴語

c の出現頻度を表し，dft は指定した地域内の写真の総数 N のうち特徴語 c が付与された写真数とする．ホットスポット内のテキストタグに関する関連度は，ホットスポット内で多く出現
し，指定した地域内での出現頻度が高くない特徴語ほど，高い値を算出する．ここで，1 つのホットスポット内に複数の特徴
語関連することが考えられる．有名な観光スポットでイベントが行われた場合，1 つのホットスポット内にも複数の特徴語が付与される．本研究では，1 つのホットスポットに対して，複数のホットスポットが関連することは問題としない．
図 3 の例では，集計したテキストタグに対して，tf-idf を用いて出現回数が多い “losangeles” のテキストタグを下位にし，“griﬃthobservatory(グリフィス天文台)”，“griﬃth(グリフィス)”，および “observatory(天文台)” のテキストタグをコ
ンテキストとしてホットスポットに付与している．

3. 4 フォトストリームの分割
3. 1 節で抽出したホットスポットを用いて，ユーザのフォト表1

ロサンゼルス全域のテキストタグ集計

順位 テキストタグ䝗䝆䝱䞊䞉䝇䝍䝆䜰䝮hƐĞƌƚĂŐ͗ಶே䛷௜୚䛧䛯䝔䜻䝇䝖䝍䜾
ŽŶƚĞǆƚ͗䝩䝑䝖䝇䝫䝑䝖ෆ䛷཰㞟䛧䛯䝔䜻䝇䝖䝍䜾ĚŽĚŐĞƌƐ͕ĚŽĚĞƌƐƚĂĚŝƵŵ

図 5 インターフェイス画面

回数1

losangeles

179,3852california

166,241

3

la61,5404

usa

55,362

5

beach49,6456

ca

47,2597

los42,8898angeles

42,7779hollywood

36,77410

nikon

30,911表 2 図 5 に含まれるテキストタグ
順位

テキストタグ

tf-idf 値 出現回数

ストリームを分割する．図 4 にフォトストリームの分割例を示

1dodgers

0.386

56

す．図 4 において，カメラの画像はユーザの写真を示している．

2

baseball

0.223

50

緑の点線で描かれた丸は 3. 1 節で抽出したホットスポットであ

3 dodgerstadium

0.200

30

る．赤色，紫色，および黒色はそれぞれユーザの移動軌跡とす4ballgame

0.187

18

5

mlb

0.185

22

14

losangeles

0.084

45

27

california

0.053

27

る．例として，赤色の時系列では，黒色で囲まれた領域がホッ
トスポット内で撮影された写真になる．ここでは，ホットスポッ
ト内のテキストタグを収集した結果，“東京駅”，“TDR” のテ
キストタグが出現しているので，それぞれホットスポット内で撮影された写真に “東京駅”，“TDR” のテキストタグを付与す
る．このテキストタグがコンテキストとなる．DBSCAN を用いて，地理的にフォトストリーム分割することで，同じコンテ
キスト内で撮影した写真だけを取り出すことができるようになる．本論文での，同じコンテキストとは，ユーザが同じ領域で写真を撮影するなど，同じ行動をしている状態を示す．

4. 実 行 例
提案手法の実行結果の例と，結果の考察を行う．今回は，ア
メリカのロサンゼルス市内で写真を撮影し，ソーシャルメディ
アサイトである Flickr にアップロードしたユーザを対象とした分割を行う．本来ならば，Flickr などのソーシャルメディアサ
イトにアップロードしていないユーザも分割することが可能である．データセットとして，Flickr から収集したロサンゼルス市内で撮影された写真 991,903 枚，撮影者数 35,306 人を用いた．ここでは，ホットスポットを抽出するための DBSCAN の
値を EPS=0.001，Num=50 に設定した．

4. 1 インターフェイス画面
図 5 に実際のインターフェイス画面を示す．図 5 の緑色の枠には，写真を撮影したユーザが付与したテキストタグと写真がホットスポットに含まれる場合は，そのホットスポット内に含まれるテキストタグ，写真がホットスポット外で撮影しているな
らば，地域を現すテキストタグを付与する．表 1 に収集したロ
サンゼルス内のジオソーシャルデータに付与されているすべてのテキストタグを集計し，テキストタグの上位 10 件を示す．ロサンゼルスで撮影されたジオタグ付き写真には，“losangeles”，“california”，“la”，および “usa” など地域を表すテキストタグが上位に来ていることがわかる．本実行では，最上位に来た単語を地域語として写真に付与するため，写真がホットスポット
外で撮影している場合，“losangeles” のテキストタグを付与す
る．緑枠の下は，ユーザが撮影した写真のフォトストリームが表示されている．このフォトストリームは，撮影日時が古い順にソートされている．写真をクリックすると，写真が撮影された場所に地図が移動する．写真とずれた背景の図形の色が白色ならばホットスポット内，青色ならばホットスポット外での写真である．
表 4. 1 に図 5 で抽出されたホットスポット内に含まれていた
上位 10 件のテキストタグを示す．表 4. 1 から，撮影された写真を含むホットスポット内の写真は，ロサンゼルスを本拠地とする野球チームであるドジャースの “dodgers” や “baseball”，
本拠地のスタジアムである “dodgerstadium” に関連するホットスポットということがわかる．よって，このホットスポットに撮影した写真が含まれているならば，ドジャースに関連する
テキストタグを付与する．図 5 のユーザはこの写真を含め，撮影したすべての写真にテキストタグを付与していない．しかし，
ホットスポット内に含まれているテキストタグを付与すること
で，野球チームのドジャース関連の写真ということが把握することができる．

4. 2 実行結果 (成功例)
図 6 に実際にユーザのフォトストリームを分割し，コンテキ
ストが付与されているかの実行例を示す．図 6(a) にある Flickr
ユーザのフォトストリームを示す．図は，図 6(a)，6(b)，6(c)の順で写真を撮影している．表 4. 3，表 4. 3 に図 6(a)，図 6(c)に含まれるテキストタグを示す．表は，上位 5 件と表 1 で現れた “losangeles” や “californial” などの大きな街や州を表すテ䝻䝃䞁䝊䝹䝇
䝁䝻䝅䜰䝮䝴䝙䝞䞊䝃䝹䞉
䝇䝍䝆䜸䞉䝝䝸䜴䝑䝗ŚĂŵƉŝŽŶƐŚŝƉ͕ĐŽůŝƐĞƵŵ͕ĐŝƚǇƐĞĐƚŝŽŶ͕ĐĂƌƐŽŶ͕ĨŽŽƚďĂůů

hŶŝǀĞƌƐĂů͕ƐƚƵĚŝŽƐ͕,ŽůůǇǁŽŽĚ͕ǁĂƚĞƌǁŽƌůĚ͕ƵŶŝǀĞƌƐĂůƐƚƵĚŝŽƐ

(a) ホットスポット (ユニバーサルスタジオ)(b) ホットスポットに含まれない写真(c) ホットスポット (ロサンゼルスコロシアム)に含まれる写真に含まれる写真

図 6 同一ユーザにおける分割例

キストタグの順位を示す．

表 3 図 6(a) のテキストタグ (ユニバーサルスタジオ)

このユーザは、主に写真を撮影している地域をテキストタグ

順位として付与している．表 4. 3 より，“universal” や “studios” な1

どの写真を撮影した場所を表すテキストタグを上位に抽出する

テキストタグ

tf-idf 値 出現回数

universal

0.454

162

2

studios

0.414

152

3

hollywood

0.361

191

4

waterworld

0.315

75

5 universalstudios

0.271

104

ことができた．表 1 において，上位に出ていたテキストタグを

6

usa

0.134

88

tf-idf 法を用いて，出現回数は多いが順位を下げることができ，

15

angeles

0.081

62

特徴となるテキストタグを抽出することができる．

16

los

0.062

62

図からホットスポット内で写真を撮影している場合は，写真

25

losangeles

0.062

84

に関連しているテキストタグを tf-idf 法を用いて抽出すること

26

la

0.045

51

ことができた．また，表 4. 3 より，“championship” や “coli-seum” などの写真の中身を表すテキストタグを上位に抽出するができた．また，ホットスポット外で撮影している写真には，地域語を付与し，ホットスポット外においても写真をどこで撮影したか把握することが可能である．

表 4 図 6(c) のテキストタグ (ロサンゼルスコロシアム)
順位

テキストタグ

tf-idf 値 出現回数

1 championship

0.454

28

これらは，ホットスポットがドジャー・スタジアム，ユニバー

2

coliseum

0.414

30

サル・スタジオ，およびロサンゼルス・コロシアムなど，テー3sitysection

0.361

25

マパークや建造物が 1 つのクラスタで形成されているので，う4carson0.315

25

まく分割，コンテキストの付与ができたと考えられる．

5

football

0.271

28

4. 3 実行結果 (失敗例)19

losangeles

0.134

38

次に，うまくコンテキストを付与することができなかった27

california

0.053

27

例を図 7，図に含まれるホットスポット内のタグを表 4. 3 に示す．図 7 は，ロサンゼルスコンベンションセンターとステープ

撮影日時を利用する．写真が多く撮影されるのは，イベントがルセンターが 1 つホットスポットとして抽出されてしまった．

発生した時である．そこで，撮影日時を利用して，写真が多く

枠の色は，写真がどちらの建物で撮影されたかを示す．ロサン

撮影された日時を調べ，イベント毎にテキストタグを分ける．

ゼルスコンベンションセンターは展示場兼会議場，ステープル

そして，ホットスポット内のテキストタグをさらに分け，タグセンターはバスケットボール，アイスホッケーの本拠地としてクラウドを作成する．このようにすることで，ホットスポット

使われている．表 4. 3 からわかるように “anime” 関連のテキ内の写真が異なった場合でも，コンテキストが付与することがストタグが多く出現しており，バスケットボールなどのテキス可能だと考えられる．

トタグが上位に来ないので，バスケットボールなどの写真でも“anime” 関連が付与されてしまう．この問題を解決するために，

表5

図 7 のホットスポット内に含まれる
主なテキストタグ䝇䝔䞊䝥䝹䝉䞁䝍䞊

テキストタグ 回数

anime

188

expo

168

center157

autoshow145

animeexpo

141

cosplay133

5. ま と め
本研究では，ソーシャルメディアサイトにアップロードされているジオソーシャルデータを用いて，フォトストリームを分割し，写真毎にコンテキストを付与した．提案手法では，ユー
ザは，観光地など人々が興味を持つ場所において，多く写真を撮影すると考え，アップロードされたジオソーシャルデータから，撮影地点の密度を抽出し，抽出した場所に基づいて，フォトストリームを分割を行った．これは，1 人のユーザのフォトストリームから判定を行うのではなく，ソーシャルメディアサ䝻䝃䞁䝊䝹䝇
䝁䞁䝧䞁䝅䝵䞁䝉䞁䝍䞊図 7 ホットスポット内に複数の施設が含まれる場合ᯛᩘ䜲䝧䞁䝖㛤ദ᪥䛻䛚䛡䜛෗┿ᯛᩘ
ϰϱ
ϰϬ
ϯϱ
ϯϬ
Ϯϱ
ϮϬ
ϭϱ
ϭϬ
ϱ
Ϭ

᭶᪥

ϯ ϭ

᭶᪥

ϯ Ϯ

᭶᪥

ϯ ϯ

᭶᪥

ϯ ϰ

᭶᪥

ϯ ϱ

᭶᪥

ϯ ϲ

᭶᪥

ϯ ϳ

᭶᪥

ϯ ϴ

᭶᪥

ϯ ϵ

᭶ ᪥

ϯ ϭϬ

イトにアップロードされたジオソーシャルデータを用いて，写真が多く撮影されている領域で分割するためである．そして，

図8

イベント開催日における写真数増加

撮影地点の密度を抽出した場所内に現れるタグを集計し，tf-idf
を用いてホットスポット内のコンテキストとなる特徴語を抽出した．そして，抽出した特徴語のテキストタグを写真毎に付与した．提案手法を実行し，1 人のユーザのフォトストリームにタグが付与されていない場合でも，コンテキストの補完が可能になった．また，ホットスポットで写真を撮影していない場合
において，写真を撮影した場所を表す地域語を付与した．
今後の課題として，コンテキストの詳細化が挙げられる．4.
章で示したような，1 つの観光スポットまたは建造物で写真を撮影した場合は，関連するタグが上位に来るが，建物でもイベントが異なる場合は，テキストタグが上位に来ない．そこで，撮影日時を考慮し，イベント毎にホットスポットの中でさらにテキストタグの集計することで，より詳細化されたコンテキス
トが付与できると考えられる．例を図 8 に示す．イベント開催
日は，写真数が増加すると考えられる．そこで，写真数の増加からイベントを推定し，イベントに付与されているテキストタ
グを用いてコンテキストをする．また，イベントに含まれるテ
キストタグは周期性がある．岩佐ら [19] は写真に付与されているテキストタグの周期性を発見する研究をしてる．毎年同じイベントが開催されているならば，写真を撮影した年の写真数が少ない場合でも，過去のイベントからテキストタグを保管することが可能だと考えられる．他に，ユーザの指向分析という点
で Zerr らの研究の用いることで，写真毎に感情も付与できると考えられる．また，本論文でのホットスポットに対してのコ
ンテキストは tf-idf を利用し，上位 5 件と決め打ちでテキストタグを付与した．この上位の件数について，検証をすることが考えられる．

文

献[1] 奥山幸也, 柳井啓司, “写真撮影のいち奇跡を利用した旅行支援システム”, 第 3 回データ工学と情報マネジメントに関するフォー
ラム ,2011.
[2] Wang Jiani, 野田雅文, 高橋友和, 出口大輔, 井出一郎, 村瀬洋,“Web 上の大量の写真を画像分類して提示する観光マップの提案”, 電気情報通信学会マルチメディア・仮想環境基礎研究学会,
MCE2010-160, pp.153-158, Mar, 2011.
[3] 青山賢, 廣田雅春, 石川博, 横山昌平, “ジオタグ付き写真を用いた知名度が低いにもかかわらず興味の度合いが高い寄り道候補の発見”, 第 7 回データ工学と情報マネジメントに関するフォー
ラム, 2015.
[4] Takeshi Kurashima, Tomoharu Iwata, “Travel route recommendation using geotagged photos”, Knowledge and Information Systems Volume 37, 2013.
[5] Jesse Prabawa Gozali, Min-Yen Kan, Hari Sundaram, “Hidden Markov Model for Event Photo Stream Segmentation”,
IEEE International Conference on Multimedeia and Expo
Workshops(ICMEW), 2012.
[6] Y.Arase, X. Xie, T. Hara, S. Nishino, “Mining People’s Trip
from Large Scale Geo-tagged photos”, ACM MM2010, 2010.
[7] 井上貴弘, 廣田雅春, 石川博, 横山昌平, “ジオソーシャルデータ
に基づいたフォトストリーム分割手法の提案”, 第 6 回ソーシャ
ルコンピューティングシンポジウム (SOC2015), 2015.
[8] D. G. Lowe, “Distinctive image features from scale invariant
keypoints”, International Journal of Computer Cision, vol.
60, no. 2, pages91-110, 2004.
[9] Yu-Ru Lin, Hari Sundaram, Munmun De Choudhury, Aisling Kelliher, “Discovering multirelational structure in social media streams”, ACM Transactions on Multimedia
Computing, Communications, and Applications - TOMCCAP, pages 1-28, 2012.
[10] Jianchao Yang, Jiebo Luo, Jie Yu, Thomas Huang, “Photo
Stream Alignment for Collaborative Photo Collection andSharing in Social Media”, International ACM Workshop on
Social Media, 2011.

[11] Sam Zargham, Janko Calic, David Frohlich, “User Experience Study of Multiple Photo Streams Visualization”,
Proceedings of the 26th Annual BCS interaction Specialist
Group Conference on People and Computers, 2012.
[12] Sergej Zerr, Stefan Siersdorfer, Jose San Pedro, Jonathon
Hare, Xiaofei Zhu, “NicePic!: A System for Extracting Attractive Photos from Flickr Stream”, Proceedings of the37th International ACM SIGIR Conference on Research andDevelopment in Information Retrieval, 2014.
[13] Sergej Zerr, Stefan Siersdorfer, Jose San Pedro, Jonathon
Hare, “PicAlert!: A System for Privacy-Aware Image Classification and Retrieval”, CIKM’12 : The Proceedings ofthe 21st ACM International Conference on Information andKnowledge Manegement, 2012.
[14] T. Joachims, Making large-scale support vector machinelearning practical, “Advances in kernel methods:support
vector learning”, pages 169-184, 1999.
[15] Munmun De Choudhury, Moran Feldman, Sihem AmerYahia, Nadav Golbandi, Ronny Lempel, Cong Yu, “Automatic Construction of Travel Itineraries using Social Breadcrumbs”, Proceedings of the 21st ACM conference on Hypertext and hypermedia, 35-44, 2010.
[16] Bart Thomee and Adam Rae, “Uncovering locally characterizing regions within geotagged data”, Proceedings of the
22nd International Conference on World Wide Web, 12851296, 2013.
[17] Kennedy, L. S., Change, S.-F and Kozintsev, I. C. V. “To
serach or to label?: predicting the performance of searchbased automatic image classifiers”, Proceedings of the 8th
ACM international workshop on Multimedia information retrieval, 249-258, 2012.
[18] M. Ester, H. P. Kriegel, J. Sander and X. Xu, “A DensityBased Alogorithm for Descovering Clusters in Large Spatial
Databases with Noise”, The Second Int’l. Conf. on knowledge Discovery and Data Mining, pages 226-231, 1996.
[19] 岩佐祐樹, 廣田雅春, 石川博, 横山昌平, “ソーシャルメディア上に投影されたイベントの周期の発見とそれに基づいた写真閲覧システムの提案”, 第 7 回データ工学と情報マネジメントに関するフォーラム, 2015.