DEIM Forum 2013 E10-4

画像共有サイトを利用した実世界イベントの検出
組橋 祐亮†

新田 直子†

馬場口 登†† 大阪大学大学院工学研究科 〒 565–0871 大阪府吹田市山田丘 2-1
E-mail: †kumihashi@nanase.comm.eng.osaka-u.ac.jp, ††{naoko,babaguchi}@comm.eng.osaka-u.ac.jp
あらまし

本稿は，画像共有サイトに公開された画像に付与された，撮影時間・場所・画像の意味内容を表すテキス

トタグを用いた，実世界に発生するイベントの検出手法を提案する．イベントの中には，意味的に関連が深く，同一時区間に異なる場所で発生するものが多く存在する．本研究では，これらのイベント集合をイベントクラスとみなし，
まず画像共有サイト上の画像から，撮影時間・テキストタグの類似度に基づきイベントクラスを検出する．次に，イベントクラスを表す画像集合から，撮影場所の類似度に基づき，個々のイベントを検出する．このような 2 段階の処理により，撮影画像の少ないイベントの検出を目指す．
キーワード

イベント検出，画像共有サイト，イベントクラス

Real-World Event Detection Using Image Sharing Site
Yusuke KUMIHASHI† , Naoko NITTA† , and Noboru BABAGUCHI†† Graduate School of Engineering, Osaka University
2–1 Yamadaoka, Suita, Osaka, 565–0871 Japan
E-mail: †kumihashi@nanase.comm.eng.osaka-u.ac.jp, ††{naoko,babaguchi}@comm.eng.osaka-u.ac.jp
Abstract This paper proposes a real-world event detection method by using the time and location informationand text tags attached to the images in the photo sharing site. Semantically related events often occur aroundthe same time at diﬀerent locations. Considring a group of these events as an event class, the proposed methodﬁrstly detects event classes from all images in the photo sharing site based on the similarity of their captured time
and text tags. Then, from the images consisting each event class, events are detected based on the similarity of
their captured locations. Such two-step approach enables us to detect events where a small number of images were
captured.
Key words Event Detection, Photo Sharing Site, Event Class

1. は じ め にめとするソーシャルメディアを通して，各自が実世界を観測して得たさまざまな情報を観測時間，場所と共に公開することに実世界においては，さまざまな場所，時間に多様なイベント

着目し，ソーシャルメディア上の情報から実世界の情報を獲得が発生する．実世界をセンサにより観測し，これらのイベントする研究が注目されている．人間は実世界の多くの場所に存在を自動的に検出する研究が数多く進められている．例えば，道し，五感を用いて感知したデータの意味を解釈する機能を持つ路で発生する渋滞や速度違反は，道路に設置した監視カメラやため，このように人間をセンサ（Citizen Sensor）[6] とみなしレーダーを用いた，走行している車の台数，スピードの計測や，て利用することは，センサ設置のコストを抑えた上で，多様な定常状態から逸脱した異常状態の検知により検出することがで情報を取得できるという利点がある．

きる．また，地震は，全国各地に設置された地震計を用いた地

ソーシャルメディアを用いた実世界情報獲得に関する主な既面の揺れの大きさの計測により検出される．このように，実世存研究として，特定の場所に特徴的な情報を取得するものが挙界イベントの検出には，イベントが発生すると考えられる実世

げられる．例えば，Kennedy ら [3] や Zheng ら [9] は，多くの界の特定の地点に，検出対象のイベントに応じたセンサを設置

人が観光などの際に有名なランドマークを撮影して画像共有サ

することが不可欠であり，多様なイベントを多くの場所で検出

イトに公開することに基づき，ランドマーク検出手法を提案しするためには多大なコストが発生する．

た．ランドマーク画像は時間に依存せず特定の場所で撮影され，そこで近年，人間がマイクロブログや画像共有サイトをはじ

ランドマークを表すテキストタグが付与されることが多いため，

各テキストタグが付与された画像の撮影場所の分布に基づき，
ランドマークを表すテキストタグ，画像を検出することができる．また，Yin ら [8] は，多くの人が，車や料理，アクティビ
ティなどに関して各地で撮影した画像を画像共有サイトに投稿することに着目し，各地に特徴的な車や料理，アクティビティの種類などを検出する手法を提案した．
さらに，特定の場所・時間に特徴的な情報を取得することにより，イベント検出を試みる研究も進められている．例えば，

Sakaki ら [5] は，多くの人間が地震を経験した際に地震が起こったことを Twitter に投稿することに着目し，地震の震源地の検出手法を提案した．これは，検出イベントを予め地震と特定し，Twitter に投稿された地震に関連したキーワードを用いたツイートの投稿場所を追跡することにより実現できる．これに対し，Rattenbury ら [4] や Chen ら [2] は，多くの人が集まり画像を撮影するようなイベントでは，ランドマークと同様に，イベントが発生した時間・場所で撮影された画像にイベントを表すテキストタグが付与されて画像共有サイトに投稿されることから，各テキストタグが付与された画像の撮影場所及び撮影時間の分布に基づき，イベントを表すテキストタグ，画像を検出する手法を提案した．この手法では，あらかじめ検出対象となるイベントを特定する必要がないが，検出できるイベントは多くの人が参加し撮影するようなものに限られる．

図1

提案手法の概要

ここで，イベントの中には，意味的に関連の深く，同時期にさまざまな場所で発生するものが多く存在する．例えば，春にで，このような同時期に異なる場所で発生する意味的に関連すは桜や卒入学，夏には花火や海水浴，秋には運動会や紅葉，冬るイベント集合をイベントクラスと定義すると，イベントクにはクリスマスや正月に関連したイベントが各地で発生する．

ラス ecj は，発生時間 ectj ，及び意味内容を表すキーワード集

各イベントを撮影した画像は少ない場合でも，これらの関連し

合 ecW
j で表すことができる．よって，本研究では，イベント

た複数のイベントが，類似した時間に撮影され，共通するテキtWei = (eti , eli , eWi )，イベントクラス ecj = (ecj , ecj ) を抽出す

ストタグが付与されることが期待される．そこで本研究では，ることを，イベント，及びイベントクラス検出とみなす．

このようなイベントの関連性に着目した 2 段階の処理により構

画像共有サイトには，画像 In が，撮影時間 tn ，撮影場所の緯成されるイベント検出手法を提案する．提案手法は，意味的に

度経度 ln = (latn , lonn )，投稿者名 un と共に，画像の内容を関連するイベント集合をイベントクラスと捉え，まず撮影時間表すテキストタグの集合 Wn = {w1 , w2 · · ·} がメタデータとしとテキストタグの類似した画像集合を抽出することによりイベて付与されて投稿される．ここで，意味的に関連するイベント

ントクラスを検出する．さらに抽出した各画像集合から，撮影が複数の場所で発生した場合，投稿者，撮影場所共に異なるが，場所が類似した画像集合を抽出することにより個々のイベント

撮影時間，テキストタグは類似した画像が投稿されると推察さを検出する．複数の関連イベントにより構成されるイベントク

れる．さらにこれらの画像のうち，各イベントで撮影された画ラスを抽出する段階を踏むことにより，撮影画像の少ないイベ

像は，投稿者が異なっても，撮影場所は類似すると考えられる．

ントについても検出可能と期待される．

そこで提案手法は，まず画像集合 P から，撮影時間，テキスト

2. 2 段階クラスタリングによるイベント検出

タグが類似し，かつ投稿者が異なる画像集合 Pecj (j = 1, · · ·) をイベントクラス ecj に属するイベントにおいて撮影された画像

本 研 究 は ，画 像 共 有 サ イ ト に 投 稿 さ れ た N 枚 の 画 像として抽出し，Pecj を構成する画像に付与された撮影時間，テ

In (n = 1, · · · , N ) からなる画像集合 P から，実世界で発生

キストタグから，イベントクラス ecj の発生した時間 ectj ，及したイベント ei (i = 1, · · ·)，及び意味的に関連するイベントかび意味内容を表すキーワード集合 ecW
j を抽出する．次に Pecj

ら構成されるイベントクラス ecj = {ej1 , ej2 · · ·}(j = 1, · · ·) をから撮影場所の類似した画像集合 Pei (i = 1, · · ·) を抽出し，Pei

検出することを目的とする．

を構成する画像に付与された撮影時間，撮影場所，テキストタ

イベント ei は，特定の時間に特定の場所で発生する出来事と定義でき，発生時間 eti ，発生場所 eli ，意味内容を表すキー
ワード集合 eWi で表すことができる．ここで，イベントの中には前述のように，花見，入学式，海水浴，花火，紅葉狩り，成人式など同時期にさまざまな場所で発生するものが多い．そこ

グから，イベント ei の発生した時間 eti ，場所 eli ，及び意味内
容を表すキーワード集合 ecW
l を抽出する．
提案手法は図 1 に示すように，以下のステップにより構成される．

Step1) 前処理：

2. 2. 1 画像集合抽出

画像共有サイトから取得した画像集合から，予め不要と考えら

まず，画像集合 P から類似した撮影時間，テキストタグを持れる画像やテキストタグを削除し，残ったテキストタグのついつ画像集合 Pecj (j = 1, · · ·) を抽出するが，P にはイベントクた画像 In = (tn , ln , un , Wn )(n = 1, · · · , N ) を画像集合 P とラスに属さない画像も多く存在し，抽出する画像集合の数は未する．

知である．そこで SCAN [7] と呼ばれるグラフクラスタリング

Step2) イベントクラス検出：

手法を P に適用する．SCAN は予めクラスタ数を与える必要画像集合 P から，撮影時間，テキストタグの類似度に基づき，がなく，どのクラスタにも属さないデータ（以下，孤立点と呼イベントクラス ecj (j = 1, · · ·) に属するイベントにおいて撮影

ぶ）の存在を許しながら，データをノード，データ間の関係をされた画像集合 Pecj を抽出し，ecj = (ectj , ecWj ) を決定する．

エッジで表したグラフから関係の深いノード集合をクラスタと

Step3) イベント検出：

して抽出するクラスタリング手法である．

Step2) で抽出した画像集合 Pecj から，撮影場所の類似度に基

まず画像 In をノード，画像間の類似度を対応するノード間

づき，イベント ei (i = 1, · · ·) において撮影された画像集合 Peiのエッジの重みとすることにより，画像集合 P をグラフで表を抽出し，ei = (eti , eli , eWi ) を決定する．

す．ここで，同一イベントクラスに属するイベントにおいて撮各ステップの詳細を次節以降で述べる．

影された画像は，撮影された人物の名前，撮影したカメラの種

2. 1 前 処 理類など，投稿者ごとに異なるテキストタグと共に，イベントク

類似した撮影時間と撮影場所，テキストタグが付与された同ラスを表すキーワードのように多くの投稿者間で共通するテキ

一投稿者により投稿された画像は，イベントクラス検出においストタグが付与されていると考えられる．また，イベントクラて誤検出の要因となるため，予め削除する必要がある．そこでスに属するイベントは特定の時区間に発生するため，投稿者が各画像に対し，以下の条件に該当する 2 枚の画像 Iα と Iβ を同異なっても画像の撮影時間は互いに近い．よって，画像間の類

一の画像とみなし，画像 In として統合する．

似度は，撮影時間が非常に近く，かつ共通するテキストタグを

uα = uβ(1)|tα − tβ | < T Ht

(2)|lα − lβ | < T Hl

(3)

|Wα ∩ Wβ |> T HWmin (|Wα |, |Wβ |)持つ 2 枚の画像に対し高くなればよい．そこでまず撮影時間の類似度を，2 枚の画像の撮影時間の差が非常に小さい時のみ高く，大きくなるほど低くなるよう指数関数により設定する．次にテキストタグの類似度を，2 枚の画像に共通するテキストタ
グの有無とする．最後に，画像間の類似度をテキストタグの類(4)

似度と撮影時間の類似度の積とすることにより，共通したテキ

ただし，画像 In の撮影時間，撮影場所は画像 Iα ，Iβ の平均とストタグを持つ画像間に対してのみ，撮影時間の近さに応じた

し，In のテキストタグ集合は，Iα と Iβ のテキストタグ集合の類似度が設定される．つまり，画像 In ，Im 間のエッジの重み和集合とする．

は次式で表される．

また，画像に付与されているテキストタグのうち，特定の時間にのみ発生するイベントクラスの内容を表すものとして不適E(In , Im ){切と考えられるほど多くの画像に付与されたものは，イベント
クラス検出の精度及び処理速度向上のために，予め不要な情報として削除しておくことが望ましい．そこで，r%以上の画像に付与されているテキストタグを一般語として除去する．
以 上 の 二 つ の 処 理 後 残った N 枚 の 画 像 In=

(tn , ln , un , Wn )(n = 1, · · · , N ) を画像集合 P とする．
2. 2 イベントクラス検出
同時期に異なる場所で発生する意味的に関連するイベント集
合をイベントクラスと定義すると，同一のイベントクラスに属するイベントにおいて撮影された画像は，投稿者，撮影場所共に異なるが，類似した撮影時間，テキストタグが付与されると

exp(−

=

1
N2

n −ctm |∑N|ct∑
Nnm|ctn −ctm |0)(Wn ∩ Wm =| ∅)(5)(Wn ∩ Wm = ∅)次に得られたグラフに対し SCAN を適用する．ここで SCAN
は，エッジに対する重みがないグラフを対象としたクラスタリ
ング手法で，以下の式で定義されるノード a，b 間の構造的な類似度を用いる．

|Γ(a) ∩ Γ(b)|σunweighted (a, b) = √|Γ(a)||Γ(b)|(6)

ただし Γ(a) は，ノード a の自身を含む隣接ノード集合であり，考えられる．よって，画像集合 P から，撮影時間，テキストタ

σunweighted (a, b) はノード a，b がどれだけ多くの隣接ノードをグが共に類似した画像集合を抽出し，各画像集合内の画像に付共有するかを表す．SCAN は，σunweighted (a, b) >= ε となる隣与された撮影時間，テキストタグから，イベントクラスの発生

接ノード b を µ 個以上持つノード a を中心に，共有する隣接

時間，内容を表すキーワード集合を決定する．次に，ここまでノードが多いノード同士を同じクラスタとしてまとめる．しかの処理の結果，イベントにおいて撮影されたものでない画像集

し，エッジに対する重みが存在するグラフには，式 (7) をこの合が誤抽出される可能性があるため，画像集合のフィルタリン

まま用いることができない．そこで，ノード a，b 間の構造的グを行う．画像集合抽出，フィルタリングの 2 つの処理についな類似度を，次式に示すようにエッジの重みに基づき設定し，て以降の節で述べる．

SCAN を重み付きグラフに適用できるよう拡張する．

σweighted (a, b)
2E(a, b) +=√∑ecj (j = 1, · · ·) に属するイベントにおいて撮影された画像集合∑

Pecj (j = 1, · · ·) とする．

min(E(a, c), E(b, c))c∈{Γ(a)∩Γ(b)}E(a, x)x∈Γ(a)∑(7)
E(b, y)y∈Γ(b)

2. 3 イベント検出
イベントには，祇園祭のように，他のイベントと意味的に関ただし E(a, b) は，ノード a とノード b 間のエッジの重みである．

E(a, b) が 0 もしくは 1 のみとなる，つまり，エッジに対する重みが存在しない場合，式 (6) と式 (7) は等価となる．画像集合

P から σweighted (In , Im ) を用いた拡張 SCAN により得られたクラスタをイベントクラス候補 ec
ˆ k の画像集合 Pec
ˆ k (k = 1, · · ·)とする．
次に，画像集合 Pec
ˆ k 内の画像に付与された撮影時間，テキ
ストタグから，イベントクラス ec
ˆ k の発生時間 ec
ˆ tk ，内容を表すキーワード集合 ec
ˆW
k を決定する．ここでは，画像の撮影時間の最小値と最大値で表される範囲をイベントクラスの発生時
間，画像集合の s%以上の画像に付与されたテキストタグ集合
をキーワード集合とする.

連せず，単独で発生するものも存在する．そのため，2. 2 節の処理により検出されたイベントクラス ecj には，複数地点で発生した複数のイベントを含むものと，単一地点で発生した単一イベントに相当するものがある．さらに，複数地点で発生するイベントの中には，花見のように，各イベントにおいて多くの人に画像が撮影されるものと，運動会のように，各イベントに
おいてはそれほど多くの人に画像が撮影されないものが存在する．そこで，画像集合 Pecj に対し，撮影場所の類似度に基づきクラスタリングした結果により，3 種類の方法でイベントを検出する．
まず画像集合 Pecj を 2. 2. 1 節で説明したようにグラフで表す．各イベントにおいて複数の人が画像を撮影した場合，その撮影場所は類似すると考えられるため，以下のように計算され2. 2. 2 フィルタリング
2. 2. 1 節で得られた画像集合には，以下の要因からイベント

る，画像 In と Im の撮影場所の類似度をエッジの重みとする．

において撮影されていないものが含まれる可能性がある．
まず，2. 1 節で延べたように，同一投稿者が投稿した類似した撮影時間，テキストタグを持つ画像集合はイベントにおいて撮影されたものでない可能性が高い．このような画像は前処理

E(n, m)√(latn − latm )2 + (lonn − lonm )2= exp(−
1
N2∑N ∑N √nm)(9)(latn − latm )2 + (lonn − lonm )2のような閾値を用いた処理では完全に除かれず，画像集合として誤検出される可能性がある．よって，投稿者が 1 人の画像集得られたグラフに拡張 SCAN を適用する．得られたクラス
タが 1 つの場合，そのクラスタを Pei とする．複数のクラスタ合が得られた場合，候補から削除する．
次に，画像共有サイトへの投稿数は時期によって異なり，特が得られた場合，各クラスタを Pei とする．また，クラスタリ

定の時期を撮影時間とする画像が他の時期と比較して特に多く

ングの結果，孤立点が検出された場合，各画像を Pei とする．

なる場合がある．この時，さまざまな時間に撮影された画像に

次に，画像集合 Pei を構成する画像の撮影時間，場所，テキ付与されたテキストタグであっても，画像の投稿数が多い時期

ストタグ集合からイベント ei の発生時間 eti ，発生場所 eli ，意を撮影時間とする多くの画像に付与されていると判断され，こ味内容を表すキーワード集合 eW
i を決定する．ここでは 2. 2. 1

れらの画像集合が誤抽出されやすくなる．このようなテキスト
タグは，2. 1 節で説明した一般語に相当すると考えられるが，前処理で行った単純な削除方法ではすべて削除することはできない．ただし，画像の投稿数が他より多い時期は複数回存在し得るため，同じテキストタグが多くの画像に付与された画像集
合が複数個抽出されると考えられる．これに対し，各イベント
クラスに属するイベントにおいて撮影された画像集合内で多くの画像に付与されているテキストタグは，該当するイベントク
ラスの意味内容を表すものであり，他の画像集合内の画像には付与されない可能性が高い．そこで，キーワード集合 ec
ˆW
k を用いて，次式で表すように，各画像集合候補 Pec
ˆ k の適切さを表すスコアを算出する．

(
scoreecˆ k = max

w∈ec
ˆW
k

log

K
Kw

節と同様に，画像の撮影時間の最小値と最大値で表される範囲
をイベントクラスの発生時間，画像の撮影場所の平均値を発生場所とし，キーワード集合は，Pei が画像集合の場合，s%以上の画像に付与されたテキストタグ集合，孤立点であるとき，画像に付与されたテキストタグ集合とする．ただし，各イベントに特有なテキストタグをキーワードとするため，イベントクラ
ス ecj のキーワード集合 ecW
j は除く．なお，Pei =Pecj の場合
は，撮影場所のみを設定すればよい．

3. 評 価 実 験
画像共有サイトとして広く普及している Flickr [1] から，2011
年 1 月 1 日から 2011 年 12 月 31 日に，緯度が 33.5 度から 35.5
度，経度が 134.5 度から 136.5 度，つまり，図 2 に示すエリアで)(8)撮影され，少なくとも 1 つのテキストタグが付与された画像を収集した．撮影時間と撮影場所は画像に付与されたメタデータ

ただし，K と Kw は，それぞれ画像集合数，タグ w が付与さを参照した．収集した画像集合は，3,287 人が投稿した 108,477れた画像を含む画像集合数である．つまり，scoreec
ˆ k は，画像枚の画像から成り，画像に付与されたタグの総数は 808,586 個，

集合候補 Pec
ˆ k が固有なキーワードを持たないとき低くなる．

固有なタグ数は 35,521 個であった．

よって，scoreec
ˆk <= T hs となる画像集合を削除する．
以上の二つの処理後，得られた画像集合をイベントクラス

この画像集合に，T ht = 3 日，T Hl = 0.1 度，T HW = 0.5，

r = 10% とし，2. 1 節で記述した前処理を行った．削除された

表 1 削除されたテキストタグ
テキストタグ割合

テキストタグ割合

japan

35.44%

square19.08%

squareformat

18.70%

iphoneography 19.02%
instagramappkyoto

18.63% uploaded:by=instagram 18.57%
16.74%

osaka

11.89%

た画像は 6 枚であった．
画像集合 P に対し，イベントクラス，イベント検出を行い，
表 2 で設定したイベントクラス，イベントが正しく検出できるか検証する．以下では，設定したイベントクラス，イベントを正解イベントクラス，正解イベントと呼ぶ．検出結果は，以下に示す適合率 P recision と再現率 Recall で評価する．

Nr1
Na
Nr2
Recall =Nc

P recision =

(10)
(11)

ただし，Nr1 ，Nr2 は正しく検出されたイベントクラス，もし
図2

対象エリア

くはイベントの数を表す．イベントクラス検出においては，検出された各クラスタ内の 10%以上の画像に正解イベントクラス

タグと付与された画像の割合を表 1 に示す．これら 8 個のタグに含まれる各イベントのテキストタグが付与されているとき，の削除により，画像に付与されたタグの総数は 126,954 個とな

このイベントクラスを正しく検出したものとみなす．また，イり，約 84%のタグが削除された．また画像の総数は 15,110 枚

ベント検出においては，検出された各クラスタ内の 10%以上となり，約 86%の画像が削除された．

の画像，もしくは検出された孤立点に，正解イベントのテキス

イベントクラス，イベント検出の有効性の評価を行うため，トタグが付与されているとき，このイベントを正しく検出したイベントクラス及びイベントを人手で設定し，上記の画像集合とみなす．ここで，1 つの正解イベントクラス，もしくは正解

から各イベントに関連すると考えられる画像を選別し，評価用イベントに対して，2 つ以上のクラスタが検出される場合があ

データベースを作成した．ここでイベントには，花見のようにる．この場合，適合率では検出された複数のクラスタすべて正発生期間があいまいで比較的長期間のものと，花火大会のよう解とみなした．よって，Nr1 は重複を許し，正しく検出されたに発生期間が明確に定まっているものが存在する．また，紅葉イベントクラス，もしくはイベント数である．また，再現率は狩りのように複数地点で発生しイベントクラスを構成するもの

正解イベントクラス，もしくは正解イベントのうち正しく検出と，祇園祭のように単一地点で発生し，他のイベントとは独立されたイベントクラス，もしくはイベント数を表すため，複数したものが存在する．そこで，表 2 に示すように，発生時間ののクラスタが検出された場合でも正解数は 1 つとなる．よって，

期間，発生場所の地点数が多様なイベントを設定し，各イベン

Nr2 は Nr1 から重複して検出されたイベントクラス，イベント

トの発生時間と発生場所で撮影された画像，及び各イベントをを除去した数を表す．また，Na は検出されたイベントクラス，

表すものと考え設定したテキストタグが付与された画像を抽出

もしくはイベントの数，Nc は正解イベントクラス，もしくはし，この和集合を画像集合 P とした．このように画像を抽出

正解イベントの数である．

することにより，撮影時間と場所は同じであるがイベントに関3. 1 イベントクラス検出結果

連しない画像，イベントに関連するがイベントを表すテキスト

SCAN は ε と µ の 2 つのパラメータにより，得られるクラタグが付与されていない画像，イベントを表すテキストタグがスタが影響される．ε を大きくすると，高い類似度を持つノー付与されているが，撮影時間と場所がイベントの発生時間と場

ドのみが隣接するとみなされるため，孤立点が増える傾向にあ所と一致しない画像などのノイズが多く存在する画像集合が作る．逆に低くすると，類似度がそれほど高くないノードも隣接成される．表 2 に，各イベントに対して抽出された画像数及びするとみなされ，多くのノードが一つのクラスタにまとめられイベントを表すテキストタグが付与された画像数を示す．例える．本研究では，多数の孤立点を含むと考えられるデータからば，造幣局の花見に対しては，4/14〜4/20 の間に緯度 34.697

類似度の高い小さなクラスタを見つけることが目的であるた

度，経度 135.524 度を中心とした半径 5km の領域で撮影され

め，ε は大きく設定する必要がある．また，µ を大きくするほた画像，及び，花見，桜，hamami，sakura，cherry のいずれ

ど，クラスタを形成するために，類似度が高いノードが多く必

かと造幣局というテキストタグが同時に付与された画像もしく要となる．従って，投稿者数が少ないイベントでも検出できるは通り抜けというテキストタグが付与された画像を抽出し，計ようにするためには，µ はある程度小さいことが望ましい．そ95 枚の画像を得た．このうち，上記のテキストタグが付与されこで，今回の実験では，ε = 0.7，µ = 4 に設定した．
画像集合 P に対するクラスタリング結果から，投稿者が 1 人

イベント
クラス名

表 2 設定したイベントとその画像集合
テキストタグが付与された
画像数
発生時間
発生場所

イベント名

抽出画像数

造幣局の花見95

6

4/14 - 4/20

(34.697, 135.521)

清水寺の花見202

20

4/1 - 4/14

(34.995, 135.785)

奈良公園の花見35

4

4/1 - 4/14

(34.685, 135.844)

姫路城の花見20

5

4/1 - 4/14

(34.839, 134.694)

万博記念公園の花見

28

4

4/1 - 4/14

(34.811, 135.529)

大阪城公園の花見

153

6

4/1 - 4/14

(34.686, 135.523)

八坂神社の花見206

13

4/1 - 4/14

(35.004, 135.779)

清水寺の紅葉狩り298

27

11/11 - 12/4

(34.995, 135.785)

嵐山の紅葉狩り9733

11/12 - 12/4

(35.01, 135.682)

比叡山の紅葉狩り

141

11/3 - 11/25(35.068, 135.839)

勝尾寺の紅葉狩り

191

11/1 - 11/30(34.865, 135.491)

天神祭奉納花火

9

1

7/25

(34.694, 135.501)

淀川花火大会
みなとこうべ海上
花火大会

24

4

8/6

(34.716, 135.485)

11

5

8/6

(34.679, 135.188)

びわ湖大花火大会

2

1

8/8

(35.011, 135.863)

花火大会

熊野花火大会1

1

8/17(34.888, 135.102)

45

12

12/1 - 12/12(34.690, 135.187)

クリスマス

神戸ルミナリエ
中之島
ルネッサンス115

8

12/14 - 12/25(34.6917, 135.491)

祇園祭

祇園祭

230

33

7/1 - 7/31

(35.004, 135.779)

花灯路

花灯路

24

6

12/9 - 12/18(35.01, 135.682)

時代祭

時代祭

21

8

10/23 - 10/23(35.017, 135.782)

万博公園の
梅まつり

万博公園の
梅まつり

19

3

2/16 - 3/10

(34.8114, 135.5294)

花見

紅葉狩り

テキストタグ{{ 花見 or 桜 or hanami
or sakura or cherry}and 造幣局 } or 通り抜け
{ 花見 or 桜 or hanami or
sakura or cherry} and{ 清水 or kiyomizu}{ 花見 or 桜 or hanami or
sakura or cherry} and{ 奈良公園 or narapark}{ 花見 or 桜 or hanami or
sakura or cherry} and{ 姫路 or himeji}{ 花見 or 桜 or hanami or
sakura or cherry} and{ 万博 or banpaku}{ 花見 or 桜 or hanami or
sakura or cherry} and{ 大阪城 or osakajo}{ 花見 or 桜 or hanami or
sakura or cherry} and{ 八坂 or yasaka}{ 紅葉 or momiji or maple
or koyo or leaf} and{ 清水 or kiyomizu}{ 紅葉 or momiji or maple
or koyo or leaf} and{ 嵐山 or arashiyama}{ 紅葉 or momiji or maple
or koyo or leaf} and{ 比叡 or hiei}{ 紅葉 or momiji or maple
or koyo or leaf} and{ 勝尾寺 or katsuoji}{ 花火 or hanabi or fireworks}and { 天神 or tenjin}{ 花火 or hanabi or fireworks}and { 淀川 or yodogawa
or なにわ or naniwa}{ 花火 or hanabi or fireworks}and { 神戸 or こうべ or kobe}{ 花火 or hanabi or fireworks}and { 琵琶湖 or びわ湖 or biwako}{ 花火 or hanabi or fireworks}and { 熊野 or kumano}
ルミナリエ or luminarie
ルネサンス or ルネッサンス
or renaissance
祇園祭 or gionmatsuri{ 花灯路 or hanatouro} and{ 嵐山 or arashiyama}
時代祭 or jidaimatsuri{{ 梅 or ume} and{ 万博 or banpaku}} or{ 梅まつり or umematsuri}の画像集合を削除した結果，64 個の画像集合 Pec
ˆ k を獲得した．

のように，画像を画像共有サイトに投稿するためのサービスに

このうち，正しく検出されたイベントクラスは 13 個，重複をより自動的に付与されるテキストタグをキーワードとして持除くと 8 個であり，適合率と再現率はそれぞれ 20.3%(13/64)，

つものが多い．このクラスタリング結果に対し，各画像集合内

100(8/8)% となった．誤検出された画像集合は，nikon や canonの s = 50%以上の画像に付与されたテキストタグをキーワードなどの画像を撮影したカメラに関連したテキストタグや，eyefiとし，T Hs = 4 としたフィルタリングを行った結果，誤検出

されていた画像集合を 29 個削除できた．前述のテキストタグ

表3は撮影時間に関連なく付与されるため，同じテキストタグが付検出された正解イベントクラス

与された画像集合が多く検出され，これらの画像集合に対する

id

イベント
クラス名

投稿者数

画像数

発生時間

キーワード
集合

scoreecˆ k が低くなったためである．

1

花見

110

153

4/1 - 4/18

sakura一方，正しいイベントクラスも 5 個削除された．これによ

2

花見

6

6

4/5 - 4/10

cherryり，フィルタリング後正しく検出されたイベントクラスは 8

3

花見

3

3

4/7 - 4/17

2011

個，重複を除くと 5 個であり，適合率と再現率は，それぞれ

4

花見

3

7

4/1 - 4/14

nikon

22.9%(8/35)，62.5%(5/8) となった．表 3 に，フィルタリング

5

紅葉狩り

118

165

11/10 - 12/4

京都

6

花火大会

13

13

7/25 - 08/08

fireworks

7

クリスマス

10

13

12/1 - 12/11

前に検出されたイベントクラス ecj = (ectj , ecWj ) を各画像集合

8

クリスマス

3

3

12/22 - 12/25

kobe
wintersky
river

る．単一地点で発生したイベントに加え，花火大会のように複

9

クリスマス

23

25

12/14 - 12/24

大阪

数地点で発生したイベントがイベントクラスとしてまとめて抽

10

花灯路

3

3

12/15 - 12/18

嵐山

出され，発生時間もおおむね表 2 に示すものと合致しているこ

11

時代祭

6

6

10/23

4

4

2/27 - 3/06

京都
万博記念公園
万博公園
梅
日本
大阪
吹田
plum
expo
万博
岡本太郎
太陽の塔

43

60

7/1 - 7/31

京都を構成する画像数，その投稿者数と共に示す．ただし網掛けは，フィルタリングにより，誤って削除されたイベントクラスであとが分かる．しかし，花見やクリスマスのように，各イベントの発生期間が長期間でかつずれが生じる場合や，イベントを表す頻出テキストタグが複数ある場合などは，一つのイベントクラスに対して複数のクラスタが検出された．また，フィルタリ
ング後に誤って削除されたイベントクラスは場所を表すテキス
トタグをキーワードとして持つものが多かった．例えば，紅葉狩り，祇園祭，時代祭はすべて京都のイベントであり，イベン
トクラスのキーワードが” 京都” となった．このように場所を表すキーワードは，同じ場所で発生する複数のイベントに付与

万博公園
12 の梅まつり

13

祇園祭

されることが多い．この影響による誤削除を避けるために，画像集合候補のフィルタリングの際，同じキーワードが付与されたクラスタの数のみでなく，クラスタ内の画像の撮影場所のば
らつきも考慮する必要があると考えられる．

3. 2 イベント検出結果
イベント検出においては孤立点が検出されすぎないよう ε は低く設定し，ε = 0.3，µ = 6 として，前節でフィルタリング前に検出された 13 個のイベントクラスの各画像集合に対してイベント検出を行った．その結果，16 個のクラスタと 77 個の孤立点の合計 93 個のイベントが得られた．このうち正しいイベ
ントは，15 個のクラスタ，29 個の孤立点の計 44 個であり，重複を除くと 14 個であった．よって，適合率と再現率は，それ

図 3 検出されたイベント例

ぞれ 47.3%(44/93)，63.6%(14/22) となった．また，正しくクラスタとして検出された 15 個のイベント ei = (eti , eli , eWi ) を
表 4 に示す．奈良公園や造幣局の花見，みなと神戸海上花火大会のように撮影画像の少ないイベントも検出できていることがこれは，淀川花火大会が開催された時間と場所と類似した時間と場所で発生した別のイベントが，一つのイベントとして検出されたためである．

分かる．
例として，表 3 に示す id = 1 のイベントクラスに対して行ったイベント検出の結果を図 3 に示す．また，表 2 で示す花見の発生地点を図 4 に図示する．花見のイベントクラスから 4 つのイベントが得られ，うち 3 つのイベントが大きく，大阪，京都，奈良の 3 都市に分類されていることが分かる．さらに，図 3 より，検出されたイベントは花見の発生地点とほぼ一致することが確認できる．このように距離的に近いイベントはまとまって検出されるものの，おおむね正しい位置でイベントが検出された．また，発生時間もおおむね正しく検出されたが，淀川花火大会のように，実際より長い期間が検出された例もみられた．

4. ま と め
本稿では，画像共有サイトに投稿される画像に付与された撮
影場所・時間・意味内容を表すテキストタグを用いて，実世界のイベントを検出する手法を提案した．提案手法は，意味的に関連するイベントが同時期にさまざまな地点で発生することに着目し，まず，投稿された画像全体から，このようなイベン
トの集合で構成されるイベントクラスを検出した後，イベント
クラスを表す画像集合から個々のイベント検出を行うことにより，投稿者の少ないイベントの検出を試みた．提案手法により，

表 4 検出された正解イベント
対応する
イベント
クラス id

1

イベント名

画像数

発生時間

発生場所

キーワード集合

清水寺の花見91

4/1 - 4/14

(35.009, 135.773)

京都

清水寺の花見10

4/5 - 4/11

(34.894, 135.696)-

造幣局の花見45

4/2 - 4/18

(34.709, 135.513)-

奈良公園の花見6

4/2 - 4/12

(34.688, 135.840)

2011

造幣局の花見3

4/7 - 4/17

(35.018, 135.676)

嵐山の紅葉狩り157

11/10 - 12/4

(35.014, 135.750)

5

勝尾寺の紅葉狩り

687/25 - 8/6(34.691, 135.491)

大阪

6

淀川花火大会
みなとこうべ海上
花火大会

4

8/6

(34.683, 135.186)

花火，kobe，hanabi

7

神戸ルミナリエ13

12/1 - 12/11(34.687, 135.189)

8

中之島ルネッサンス

3

12/22 - 12/25 (34.687, 135.506)

winter，sky，river3

autumn，日本，関西地方，japanese，olympusep1，
11/18 - 11/29 (34.841, 135.500)
kansai，fall，大阪市，mino，minoh

kobe

9

中之島ルネッサンス

24

12/14 - 12/24 (34.683, 135.502)

大阪

10

花灯路

3

12/15 - 12/18 (34.018, 135.676)

嵐山

11

時代祭
万博公園の
梅まつり

6

10/23

(35.023, 135.776)

4

2/27 - 3/6(34.805, 135.519)

12

[4]

[5]

[6]

図4

花見の発生場所[7]

2011 年に関西地方で撮影された画像集合を用いて作成したデー
タベースから，適合率 20.3%，再現率 100% の精度でイベント[8]

クラスの検出に，適合率 47.3%，再現率 63.6% の精度でイベントの検出を実現した．撮影画像が数枚のイベントについても正
しく検出できることを確認した．今後の課題として，検出されたクラスタを構成する画像の撮影場所を用いたフィルタリングの改善が挙げられる．また，より有効性の高い手法であることをを検証するために，2 段階のクラスタリングを用いない手法との比較やあらかじめイベントを設定せずに，より広範囲で撮影された画像を用いた実験を行う必要がある．
文

献[1] “Flickr”, http://www.flickr.com/[2] Ling Chen and Abhishek Roy, “Event Detection from Flickr
Data through Wavelet-based Spatial Analysis”, Proceedingsof the 18th ACM Conference on Information and Knowledge
Management(CIKM2009), pp. 523-532, 2009.
[3] Lyndon S. Kennedy and Mor Naaman, “Generating Diverse
and Representative Image Search Results for Landmarks”,[9]temple
万博記念公園，万博公園，梅，日本，大阪，吹田，plum，expo，万博，岡本太郎，太陽の塔

Proceedings of the 17th International Conference on World
Wide Web(WWW2008), pp. 297-306, 2008.
Tye Rattenbury, Nathaniel Good, and Mor Naaman, “Towards Automatic Extraction of Event and Place Semantics
from Flickr Tags”, Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR2007), pp. 103-110,
2007.
Takeshi Sakaki, Makoto Okazaki, and Yutaka Matsuo,“Earthquake Shakes Twitter Users: Real-time Event Detection by Social Sensors”, Proceedings of the 19th International Conference on World Wide Web(WWW2010), pp.
851-860, 2010.
Amit Sheth, “Citizen Sensing, Social Signals, and Enriching
Human Experience”, IEEE Internet Computing, Volume 38,
Issue 4, pp 87-92, 2009.
Xiaowei Xu, Nurcan Yuruk, and Thomas A. J. Schweiger,“SCAN: A Structure Clustering Algorithm for Networks”,
Proceedings of the 13th ACM SIGKDD International
Conference on Knowledge Discovery and Data Mining(KDD2007), pp. 824-833, 2007.
Zhijun Yin, Liangliang Cao, Jiawei Han, Chengxiang Zhai,
and Thomas Huang, “Geographical Topic Discovery andComparison”, Proceedings of the 20th International Conference on World Wide Web(WWW2011), pp. 247-256, 2011.
Yan-Tao Zheng, Ming Zhao, Yang Song, Hartwig A. U.
Buddemeier, Alessandro Bissacco, Fernando Brucher, TatSeng Chua, and Hartmut Neven, “Tour the World: Building a Web-scale Landmark Recognition Engine”, 2009 IEEE
Computer Society Conference on Computer Vision and Pattern Recognition(CVPR2009), pp. 1085-1092, 2009.