DEIM Forum 2014 E9-6

コンテキストに基づいたフォトストリームの分割を支援する
ジオタグ軌跡の集約的分析
井上貴弘†

廣田雅春††

石川博†††

横山 昌平††††† 静岡大学情報学部 〒 432–8011 静岡県浜松市中区城北 3-5-1†† 静岡大学創造科学技術大学院/日本学術振興会特別研究員 DC 〒 432–8011 静岡県浜松市中区城北 3-5-1††† 首都大学東京システムデザイン学部情報通信システムコース 〒 191–0065 東京都日野市旭が丘 6-6†††† 静岡大学院情報学研究科 〒 432–8011 静岡県浜松市中区城北 3-5-1
E-mail: †cs10015@s.inf.shizuoka.ac.jp, ††dgs11538@s.inf.shizuoka.ac.jp , †††ishikawa-hiroshi@sd.tmu.ac.jp,††††yokoyama@inf.shizuoka.ac.jp
あらまし本研究では，コンテキストに基づいてフォトストリームを階層的に分割する手法を提案する．ユーザが写真を撮影した時刻で分割するのではなく，周辺で撮影された全ユーザのジオタグ付き写真の移動軌跡から出入口を抽出し，数日間にわたるユーザのフォトストリームから，例えばディズニーランドそのものやディズニーランドのアトラクションの単位 (ランドマーク) で階層的に分割する．提案手法では，ランドマークの出入口を抽出するためにソーシャルメディアサイトで共有されている写真の撮影地点に基づいたクラスタリングを行い，付近で撮影された全ユー
ザの写真に付与されているジオタグの移動軌跡を集約し，出入口の場所を抽出し，そこでフォトストリームの分割を行う．
キーワード

軌跡分割，ライフログ，ランドマーク，Flickr

1. は じ め にきる．
従来の研究では，写真の撮影時刻，写真に付与されたタグな

近年，デジタルカメラの普及により，1 人のユーザが何百枚どからユーザのフォトストリームの分割が行われていた [4]．しもの写真を撮影することが可能である．何百枚もの写真を撮影かし，例えば，同一のランドマーク内で撮影された写真でも，するユーザが増加したことで，フォトストリームの数も増加し連続した 2 写真間の撮影された時刻の間隔が長い場合などかている．ここで，本研究におけるフォトストリームとは，撮影ら，フォトストリームが分割されてしまうことがある．そのた時刻に基づいて順序づけられた写真集合のことである．また，

め，ユーザの行動に関するコンテキストを考慮せずにフォトスユーザによって撮影された写真が，Flickr [1] などの写真共有サトリームが分割されるといった課題が存在する．

イトにアップロードされている．写真共有サイトにアップロー

そこで，本研究では，ユーザのコンテキストの中からランドドされた写真は，ユーザごとにフォトストリームとして閲覧すマークの出入口の通過に着目し，フォトストリームを適切に分ることが可能である．しかし，フォトストリームからは，ユー割することを目指す．ここで，ランドマークとは，多くの人々がザがある期間，何をしていたかというユーザのコンテキストを関心を持つ領域を指す．ランドマークの例として，自由の女神抽出することが困難である．ここで，本論文におけるコンテキやディズニーランドのような観光スポットが挙げられる．人々ストとは，写真を撮影している前後のユーザの行動である．例

は，ランドマークに訪れるときに必ず出入口を通過する必要がえば，ディズニーランド内にいれば，ユーザはディズニーランある．このとき，ユーザは，ランドマークの出入口で写真を撮ド内で遊んでいる．ディズニーランドの外ならば，ユーザは移影していると考えられる．しかし，写真に付与されている位置動していると写真の前後でなにしていたかというコンテキスト情報は，ある 1 点を指しており，ユーザのフォトストリームかが抽出できる．ユーザのコンテキストを抽出し，ユーザのコンらは，どこがランドマークの入口または出口か把握することがテキストを分析することで，新たに旅行をするユーザへ旅行計困難である．そこで，ランドマーク内で写真を撮影したユーザ画を推薦することが可能になる．そこで，ユーザのコンテキスの行動に着目する．多くのユーザが出入口で写真を撮影していトが変化する地点でフォトストリームを分割する必要がある．

ると仮定した場合，周辺では，他の地点と比較して，写真が多フォトストリームを分割することで，過去の観光旅行を対象とく撮影されていると考えられる．図 1 にディズニーランドの写した，旅行記録の整理が可能となる [2]．また，ユーザの行動真の撮影位置の分布を示す．図 1 において，出入口付近で多くを抽出することで，ユーザの思考を分析して，ランドマークのの写真が撮影されていることがわかる．しかし，ディズニーラ推薦や観光マップの作成などにに利用可能である [3]．本研究

ンド内では，各アトラクションの周辺など，ディズニーランド

では，コンテキストごとにフォトストリームを分割することで，の出入口以外でも多くの写真が撮影されている．このため，写過去にランドマークにいたというユーザの旅行記録の整理がで真の撮影位置のみに着目した場合，ランドマークの出入口を見フォトストリームの収集

写真実際の出入口①ホットスポットの抽出②移動軌跡の抽出③出入口発見

④フォトストリーム分割

図2

提案手法の流れは，ユーザが写真を撮影した時刻やタグなどのメタデータからフォトストリームの分割を行っている．しかし，タグはユーザ
図1

ディズニーランド内の写真地点が自由に付与することが可能なため，タグが付与されていない写真や，タグが正確ではない可能性がある．本研究では，写真つけることは困難であると考えられる．ここで，ユーザはランに付与された撮影時刻やタグなどのメタデータだけでなく，出ドマークの出入口を必ず通過する必要がある．そのため，ラン入口といったランドマーク内の場所の役割に着目してフォトス

ドマーク内で写真を撮影しているユーザの多くが通過しているトリームを分割する．

地点がランドマーク出入口であると考えられる．本研究では，ランドマーク周辺で写真を撮影したユーザの移動軌跡とその写

3. 提 案 手 法

真からランドマークの出入口の発見を行う．また，ランドマー

本研究では，写真に付与されたジオタグ付き写真を用いて，クの出入口に着目したフォトストリームの分割を行う．全ユー

ランドマークの出入口を抽出し，抽出した地点を区切りとして，ザの移動軌跡から，ランドマークの入口・出口を発見することフォトストリームを階層的に分割する手法を提案する．

が可能ならば，その写真を分割地点として，写真の前後でフォ図 2 に提案手法の流れを示す．はじめに，写真共有サイトにトストリームを分割することで，ランドマーク内で撮影されたアップロードされた，ランドマーク内で写真を撮影したユーザ

写真とそれ以外を区別することが可能となる．のジオタグ付き写真のフォトストリームを収集する．次に，出また，面積の広いランドマークの場合，内部にも関心を集め入口を発見するために，クラスタリング手法とユーザの移動軌るランドマークが存在する場合がある．例えば，ディズニーラ跡を利用する．前述したように，出入口の付近では，多くの写ンドの場合，スペース・マウンテンのようなディズニーランド真が撮影されていることが考えられる．密度ベースのクラスタ内に存在するそれぞれのアトラクションもランドマークとしてリング手法を適用することで，ユーザが大量の写真を撮影して捉えることが可能である．そのため，本研究では，ランドマーいる地点を発見する．発見されたクラスタ間の移動軌跡を分析

ク内に存在するランドマークにも対応することで，フォトストすることでランドマークの出入口を発見する．発見された出入リームを階層的に分割することを目指す．

口付近で撮影された写真の前後でフォトストリームを分割する．

本論文の構成は次のとおりである．2 章では，本研究と関連

3. 1 ホットスポットの抽出研究の差分について述べる．3 章では，提案手法の概要についフォトストリームの分割点を見つけるために，写真に付与さて述べる．4 章では，実際にランドマークの出入口を発見し，れたジオタグ写真を用いて，ホットスポットを抽出する．ホットフォトストリームを分割した例を示す．5 章では，本研究で得スポットは，写真が密集して撮影された地域を指す．本研究でられた成果のまとめについて述べる．

は，密度が高い地点を推定するために DBSCAN(Density-Based2. 関 連 研 究
フォトストリームを分割するために，写真の撮影時刻や付与されたタグなどのメタデータを利用した研究が存在する．Jesse
ら [5] は，写真に付与されたタグ，撮影時刻，そして連続した2 写真間の距離や SIFT [6] を用いて，写真の画像特徴量を算出し，フォトストリームからイベントを抽出した．また，連続した写真の撮影時刻の差を算出しイベント毎に分割する手法を提Spatial Clustering) [7] を用いる．クラスタ間の距離の閾値 EPSとデータ数の閾値 Num に基づいて，以下の接続関係で到達できる集合であり，集合の中でも極大のものをクラスタとして抽出する．

x p ∈ NE ps (x p )(1)|NE ps(x p ) | >= Num(2)

案した．また，Arase ら [4] は，フォトストリームを分割するた

ただし，NE ps (x p ) = {x p ∈ X ∥ Dist(x p ,xq ) < E ps} である．2 点間めに，収集したフォトストリームを撮影時刻でソートを行い，の距離 Dist(x p ,xq ) はヒュベニの公式を用い，算出する．

連続した２写真間のギャップ値 (撮影日時，距離，タグ) を用いて，フォトストリームの分割を行っている．これらの分割手法

Dist(x p ,xq ) = ((M ∗ dP) ∗ (M ∗ dP) +(N ∗ cos(P) ∗ dR) ∗ (N ∗ cos(P) ∗ dR))2(3)写真時間
ホットスポット

ユーザ１
ホットスポット外
ユーザ２
ユーザ3

ユーザA

ランドマーク

ユーザB
B
C

ユーザC・・・D
A

区切り位置

区切り位置

出入口となる
ホットスポット
ホットスポット
ホットスポット外

図 5 フォトストリームの分割

時間
ユーザ1

ADユーザ2ACD

ユーザ3A

B

D・・・・・ザ 1(黒色) の移動軌跡は，{ ホットスポット外→ A → D →ホットスポット外 } となる．ユーザ 2(水色) の移動軌跡は，{ ホットスポット外→ A → C → D →ホットスポット外 } となる．ユー
ザ 3(橙色) の移動軌跡は，{ ホットスポット外→ A → B → D →ホットスポット外 } となる．このように，ユーザが訪れたホットスポットの順番をユーザの移動軌跡とする．

図 3 ユーザの移動軌跡

3. 3 出入口の発見
ここでは，3. 2 節で抽出した移動軌跡を全ユーザから移動軌

a.入口となる地点

b.出口となる地点

跡の数を集計し，出入口となるホットスポットの抽出をする．
図 4 に出入口となるホットスポットの特徴を示す．
図 4(a) に示すように，入口となるランドマークについて，ユーザがランドマーク内に入るためには，必ずランドマークの入口を通過する必要がある．そこで，ホットスポット外から移動軌跡が多く集まるホットスポットが，ランドマークの入口となるホットスポットであると考えられる．
一方，図 4(b) に示すように，ランドマークの出口について出入口となる
ホットスポット
ランドマークホットスポット
ホットスポット外移動軌跡

図 4 出入口となるホットスポット

このとき，P は 2 点の平均緯度，d p は 2 点の緯度差，dR は 2点の経度差，M は午線曲率半径，N は卯酉線曲線率半径を示す．

DBSCAN によって抽出したクラスタをホットスポットと定義する．

3. 2 移動軌跡の抽出
ユーザのフォトストリーム内のジオタグが付与された写真を用いて，ユーザの移動軌跡を抽出する．図 3 に移動軌跡の例を示す．図 3 では，一つのランドマーク内に A(赤)，B(緑)，C(紫)，D(黄) の 4 つのホットスポットが存在する．本研究では，ユーザがホットスポットに訪れた順番を移動軌跡とする．はじめに，ユーザのフォトストリームを撮影された時刻でソートする．次に，写真のジオタグから，各写真が 3. 1 節で抽出されたホットスポット内で撮影されているかを判定する．各写真がホットスポット内で撮影されている場合，そのホットスポットをユーザが訪れたホットスポットとして登録する．そして，写真が別のホットスポットで撮影される，または，ホットスポット外で撮影される度に，ホットスポットの登録を行う．図 3 の場合，ユーユーザがランドマーク外に出るためには，入口と同様に，必ずランドマークの出口を通過する必要がある．そこで，ホットスポットからホットスポット外への移動軌跡が多いホットスポットがランドマークの出口となるホットスポットであると考えられる．
本研究では，ホットスポット外からホットスポットへの移動軌跡が多く，他のホットスポットへの移動軌跡が多いものを入口とする．図 3 の場合，A のラベルが付与されたホットスポットがホットスポット外からの移動軌跡が集まり，他のホットスポットへ移動しているのでランドマークの入口となる．また，ホットスポットからホットスポット外への移動軌跡が多く，他のホットスポットから移動軌跡が多いものを出口とする．図 3の場合，D のラベルが付与されたホットスポットが他のホットスポットからの移動軌跡が集まり，ホットスポット外へ移動しているのでランドマークの出口となる．

3. 4 フォトストリームの分割
3. 3 節において，ランドマークの出入口と定義されたホットスポットを用いて，ユーザのフォトストリームを分割する．図5 に分割例を示す．あるユーザのフォトストリームを選択した
時に，あるランドマークの入口とされたホットスポットが含まれている場合，入口通過前に撮影された写真は，そのランドマーク内で撮影された写真ではないと考えられる．また，入口通過後に撮影された写真はランドマーク内で撮影された写真で

Y

S

B
I

Y

JI

S

A

E

R

他のホットスポット
X

G

D

Y
D

L

A

O
N

A
I

S
B

W

F

B

他のホットスポットへの移動軌跡
他のホットスポットからの移動軌跡
図8

実際の出入口ホットスポット間のユーザの状態遷移図

緯度経度を与えた，Flickr よりディズニーランド内で写真を撮U影したユーザを取得する．そして，そのユーザがディズニーラ
図 6 ホットスポットの分布

ンド内で写真を撮影した時刻と同じ月の 1ヶ月間のフォトスト
リームを Flickr から取得する．結果として，写真に撮影時刻とEAB

撮影位置情報が付与されている写真を 124,166 枚を取得した．

MDGPT

図 6 に取得したデータセットに対して，DBSCAN を適用した結果を示す．図 6 は，ディズニーランド内で抽出されたホットスポットである．DBSCAN のパラメータは EPS = 0.00012，Num = 50 に設定した．抽出されたホットスポットのクラスタ

ホットスポット外数は 29 個である．ディズニーランド周辺で抽出されたホットス

DEGH
A

B

T

ポットのクラスタ数は 17 個である．図 6 において，マーカーが抽出されたホットスポット内の写真の位置を表している．色が同一のマーカーは，同じホットスポット内で撮影された写真を表している．赤色の線で囲まれた範囲は，実際のディズニーランドの出入口付近である．図 6 よりディズニーランドの出入口付近では，多く写真が撮影されていることが分かる．

ホットスポット外への移動軌跡
図 7 にホットスポットとホットスポット外との移動軌跡の状

ホットスポット外からの移動軌跡
図7

ホットスポットとホットスポット外間のユーザの状態遷移図

態遷移図を示す．図 7 において，赤色の矢印はホットスポットからホットスポット外への移動軌跡，青色の矢印はホットスポッ
ト外からホットスポットへの移動軌跡を表している．太い矢印あると考えられる．そのため，入口に該当するホットスポットほど，移動軌跡の本数が多い．図 7 では，移動軌跡の数が 50の前でフォトストリームを分割する．同様に，同一のフォトス未満の移動軌跡は省略してある．図 8 にホットスポットと他のトリーム内で，出口と定義されたホットスポットが含まれていホットスポット間の移動軌跡の状態遷移図を示す．図 8 においるならば，そのホットスポットの後でフォトストリームを分割て，赤色の矢印はホットスポットから他のホットスポットへのする．このようにフォトストリームを分割することで，ユーザ移動軌跡，青色の矢印はホットスポットからホットスポットへがランドマーク内で撮影した写真だけを取り出せることが可能の移動軌跡を表している．太い矢印ほど，移動軌跡の本数が多となる．

い．図 8 では，ホットスポット外からの移動軌跡の数が 40 未満

4. 実 行 例
4. 1 出入口の発見
提案手法をフォトストリームに適用し，出入口を抽出した結果を示す．本論文では，アメリカのカルフォニア州にあるディズニーランドに提案手法を適用した例を示す．フォトストリー
ムのデータセットを作成するために，ディズニーランドを含むの移動軌跡は省略してある．図 7，図 8 の図中のアルファベッ
トは，図 6 のアルファベットに対応している．図 7，図 8 の図中のアルファベットが，図 6 に抽出されていない場合は，そのアルファベットのホットスポットはディズニーランド周辺にはない．
図 7 よりホットスポット外からの移動軌跡が多く集まるホットスポットは A と B であることが分かる．しかし，図 8 において，ホットスポットから他のホットスポットへの移動軌跡を提案手法での出入口(クラスタの重心)着目した時，A のホットスポットより B のホットスポットが他のホットスポットへの移動軌跡が多いことが分かる．よって，

3. 3 節で定義した入口となるホットスポットの特徴に当てはまるホットスポットは，B のホットスポットである．また，図 7約112mよりホットスポット外への移動軌跡が多いホットスポットは Aと B であることが分かる．しかし，図 8 において，他のホットスポットからの移動軌跡が多く集まるホットスポットは，Bのホットスポットである．よって 3. 3 節で定義した出口となる
ホットスポットの特徴に当てはまるホットスポットは，B のホットスポットである．本論文では，出入口を B のホットスポット

実際の出入口とし，ユーザのフォトストリームを B のホットスポット地点で分割を行う．

4. 2 抽出された出入口の誤差の評価

図 9 推定した出入口の位置と実際の出入口

本論文では，提案手法により抽出された出入口と，実際の出入口の距離を求めることで，提案手法の有効性を示す．図 9 に提案手法で算出された出入口と実際の出入口とのヒュベニ距離を算出した結果を示す．黄色の枠で囲まれた地点が提案手法で算出した出入口である．出入口の位置は，出入口と判定したホットスポットに含まれているすべての写真の緯度経度の重心赤色の枠で囲まれた領域が実際の出入口である．今回実際のディズ
ニーランドの出入口は出入口の中心点を出入口の位置とした．
提案手法により推定した出入口の位置と実際の出入口間のヒュベニ距離は約 112m であった．実際の出入口との誤差が大きい

図 10

出入口付近で撮影された写真例

理由として，出入口として発見されたクラスタの範囲が大きくなったことが挙げられる．図 10 に出入口と判断したクラスタ動軌跡を示す．写真は，分割地点の前後の写真，数字はユーザに含まれている写真の例を示す．ユーザは，出入口の広場で城が撮影した順序，赤枠で囲まれた領域がディズニーランドの範やキャラクタの写真を撮影していることがわかる．このことか囲である．図 11 より，このユーザのフォトストリームは，図ら，多くのユーザは，出入口そのものではなく，ランドマーク11 中の 3 と 4 および 13 と 14 で分割されていることが分かる．の出入口付近で最初または最後に写真を撮影していることが分

ここで，図 11 の 3 で撮影された写真は，ディズニーランドのかる．そのため，実際の出入口よりも広い範囲が，出入口に該外で撮影されており，4 で撮影された写真はディズニーランド当するホットスポットとして抽出された．ホットスポットの範内で写真を撮影していることが分かる．同様に，図 11 の 13 で囲が広いため，写真の撮影位置の重心からホットスポットの位撮影された写真は，ディズニーランド内で撮影されており，14置を算出した場合，実際の出入口の位置との誤差が大きくなるで撮影された写真はディズニーランドの外で撮影されていること考えられる．しかし，図 6 より，提案手法により出入口付近とが分かる．以上より，このユーザのフォトストリームは，ラであると判定されたホットスポット (B) は，他のホットスポッンドマークの内外というコンテキストにより，適切に分割されトと比較して，出入口に近い位置に存在することが分かる．提ていると考えられる．

案手法は，フォトストリームの分割を目的としている．フォト

図 12 に，提案手法において，フォトストリームの分割が適ストリームの分割は，ホットスポット単位で行うため，出入口切に行われなかったユーザとそのフォトストリームの例を示す．

付近と判定されたホットスポットが，他のホットスポットと比

図 12 より，このユーザは，写真の出入口周辺で写真を撮影し較して，実際の出入口に近いことが重要である．そのため，提ていないことが分かる．本手法は，ホットスポットを分割点と案手法により発見した出入口付近のホットスポットが，フォトしているためホットスポットで写真を撮影していないユーザのストリームを分割する地点として有効であると考えられる．

フォトストリームを分割できない．よって，出入口で写真の撮

4. 3 フォトストリームの分割例
図 11 に，あるユーザがディズニーランド周辺で撮影した写真によるフォトストリームの分割成功例を示す．図 12 に，別の影していないユーザのフォトストリームの分割は困難である．

5. お わ り にユーザがディズニーランド周辺で撮影した写真による提案手法

本研究では，ジオタグ付き写真を用い，多くの写真が撮影さが対応していない例を示す．緑色の線がランドマーク内での移れたホットスポットから，ランドマークの出入口を抽出し，抽動軌跡を示し，ピンク色の線がランドマーク外でのユーザの移1

ランドマーク内の移動軌跡
122~

写真(撮影順)2311122971061813522243211920141522161718

図 11

フォトストリームの分割の成功例出した地点を区切りとしたフォトストリームの分割手法を提案した．提案手法では，各ユーザのフォトストリーム内のジオタグが付与された写真から，ユーザの移動軌跡を求め，それらの移動軌跡を集約した．集約した移動軌跡から，ユーザがランドマーク内で最初または最後に写真を撮影する地点を発見した．
そして，発見した地点を区切りとし，ユーザのフォトストリームの分割を行った．本論文では，ランドマークをディズニーランドに限定しているが，提案手法は，ランドマークの詳細な位置を把握することが困難な場合でも，ユーザのフォトストリームをコンテキストが変化する位置で，分割することが可能であると考えられる．
今後の課題として，提案手法で判定した分割地点でフォトストリームを分割したものと人手によりフォトストリームを分割した際の分割地点との比較から，提案手法の精度の評価を行う予定である．また，本論文では，ランドマークでフォトストリームを分割可能か調べるために，データセットとして，ランドマークの範囲を与えた．ランドマークを指定しない場合において，提案手法が適用可能か確認する．その他，ランドマークの出入口で写真を撮影していないユーザのフォトストリームの分割が挙げられる．提案手法では，分割地点と判定されたホットスポットでフォトストリームの分割を行っているため，判定されたホットスポットで写真を撮影していないユーザのフォトストリームを分割することができない．この課題への解決策
として，移動軌跡から各ホットスポット間の移動ルート数から確率を求め，出入口となる移動軌跡に重みを付け，出入口で撮影していないユーザも出入口を通過したと仮定し，フォトストリームを分割することが考えられる．
本研究では，写真が密集して撮影された場所を求めるために，DBSCAN を用いた．そのため，ランドマークやその出入口は，DBSCAN のパラメータに依存する．今後の課題として，ユーザのフォトストリームの分割粒度の指定に応じた適切なパラメータ決定方法が挙げられる．

移動軌跡
1~

図 1223

写真(撮影順)

フォトストリームの分割の失敗例

文

献

[1]
Flickr , http://www.flickr.com/[2] 奥山幸也, 柳井啓司,“写真撮影の位置軌跡を利用した旅行支援システム”, 第 3 回データ工学と情報マネジメントに関するフォー
ラム,2011[3] Wang Jiani, 野田雅文, 高橋友和, 出口大輔, 井手一郎, 村瀬洋,“Web上の大量を画像分類して提示する観光マップの提案”, 電気情報通信学会メルチメディア・仮想環境基礎研究会,MVE2010160,pp.153-158,Mar. 2011[4] Y. Arase, X. Xie, T. Hara, S. Nishino, “Mining People’s Trip fromLarge Scale Geo-tagged photos”, ACM MM2010, 2010[5] Jesse Prabawa Gozali, Min-Yen Kan, Hari Sundaram, “Hidden
Markov Model for Event Photo Stream Segmentation”, IEEE International Conference on Multimedia and Expo Workshops (ICMEW),
2012[6] D. G. Lowe, “Distinctive image features from scale-invariant keypoints”, International Journal of Computer Cision, vol. 60, no. 2,pages 91-110, 2004
[7] M. Ester, H. P. Kriegel, J. Sander and X. Xu, “A Density-Based Alogorithm for Descovering Clusters in Large Spatial Databases withNoise”, The Second Int’l. Conf. on knowledge Discovery and DataMining, pages 226-231, 1996