位置情報付き画像ツイートを利用した
リアルタイムイベント画像検出
金子 昂夢、 柳井 啓司
電気通信大学 大学院情報理工学研究科
総合情報学専攻ⓒ 2014 UEC Tokyo.	

背景• スマートフォンの普及-位置情報付き画像• Twitter-リアルタイムな投稿

位置情報付き画像ツイートの増加ⓒ 2014 UEC Tokyo.	

目的• Twitterストリームからイベントの検出-天災、自然現象-祭り、スポーツの試合• 視覚的な検出-代表画像の選択	
-地図上に表示• リアルタイム検出
画像と共に地図上に配置	
ⓒ 2014 UEC Tokyo.	

関連研究: Twitterイベントマイニング• 多くがテキスト情報のみを利用• 榊らの研究 [WWW 2010]-ユーザをソーシャルセンサと捉えたモデルを構築-地震の発生を位置と共に高速に検出• Leeらの研究 [ACM SIGSPATIAL WS 2010]-対象地域をより小さな領域に分割-ツイートの頻度をモニタリングⓒ 2014 UEC Tokyo.	

関連研究: Twitter画像マイニング• Twitterに投稿された画像を利用• 柳井の研究 [ACM ICMR 2012]-リアルタイムに投稿された画像をモニタリング-地図上に画像をマッピング• 中地らの研究 [ICME WS 2012]-キーワードに関連する代表画像を抽出-位置や時間による違いを比較ⓒ 2014 UEC Tokyo.	

システムの概要• バッチ処理システムの構築-テキスト解析によりイベント検出-画像解析により代表画像抽出• リアルタイム検出-タイムラインをリアルタイムに監視-検出処理を定期的に実行ⓒ 2014 UEC Tokyo.	

システムの概要
1. イベントキーワードの検出
2. キーワードの統合・補完
3. 画像のクラスタリング
4. 画像と共に地図上に表示ⓒ 2014 UEC Tokyo.	

イベントキーワードの検出• 単語の出現頻度からバースト検出ⓒ 2014 UEC Tokyo.	

イベントキーワードの検出• 形態素解析
-MeCab(http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html)• 対象地域をより小さな領域に分割-緯度・経度1度ごとのグリッドⓒ 2014 UEC Tokyo.	

イベントキーワードの検出• ユーザ人口の違い-バーストスケールの違い

人口の多い地域

人口の少ない地域ⓒ 2014 UEC Tokyo.	

イベントキーワードの検出• 地域の重みを計算# usersmax + sd
Warea =
# usersarea + sd

• キーワードのスコアを計算-ユーザ数の前日との差-50以上

Sw,date,area = (N w,date,area − N w,date−1,area )Wareaⓒ 2014 UEC Tokyo.	

キーワードの統合・補完• キーワードの統合-ツイートが50%以上同じ-最もスコアの高いキーワードを利用「花火」、「大会」「花火」• キーワードの補完-文字が80%以上同じ-前後の文字を再帰的に補完「スカイ」「スカイツリー」ⓒ 2014 UEC Tokyo.	

画像のクラスタリング• 画像特徴量-SURFのBag-of-Features-カラーヒストグラム• Ward法-階層型クラスタリング手法-閾値で終了((E(C) = ∑ xBoF − xBoFx∈C2)w

BoFⓒ 2014 UEC Tokyo.	

()2+ x RGB − x RGB wRGB)

代表画像の選択• 代表クラスタの選択-クラスタのスコアを計算# photosC
VC =Warea
E(C)• 代表画像の選択-最大スコアのクラスタ中で中心に最も近いもの• 低いスコアを持つクラスタを除外ⓒ 2014 UEC Tokyo.	

実験• データセット
-日本国内-2011年2月10日から2012年9月30日-約300万件の位置情報付き画像ツイート• リアルタイム処理実験-2014年3月10日-プールしながら100秒ごとに検出処理を実行ⓒ 2014 UEC Tokyo.	

キーワードの検出結果
キーワード

日付

地域

キーワード

日付

地域

雪

2011/2/11

大阪

初日の出

2012/1/1

東京地震

2011/3/11

東京

マラソン

2012/2/26

東京

花火

2011/8/6

大阪

六本木

2012/3/24

東京大会

2011/8/6

大阪桜2012/4/28

福島

台風

2011/9/21

東京

幕張メッセ

2012/4/28

千葉

富士山

2011/9/24

山梨ホタル

2012/5/6

東京

アップル

2011/10/6

東京

日食

2012/5/21

東京

月食

2011/12/10

東京

金環2012/5/21

茨城リエ

2011/12/10

兵庫一過2012/6/20

東京

クリスマス

2011/12/24

東京

送り火

2012/8/16

京都

大晦日

2011/12/31

東京

大文字

2012/8/16

京都ⓒ 2014 UEC Tokyo.	

キーワードの統合・補完結果
統合・補完前	

統合結果	

補完結果	

スカイ、ツリー	

スカイ	

スカイツリー	

花火、大会	花火	花火	日食、皆既	

日食	

皆既日食

月食、皆既、月	

月食	

皆既月食	

マラソン	

マラソン	

東京マラソン	リエ	

リエ	

ルミナリエ	

スーパー、ムーン	

スーパー	

スーパームーン

送り火、五山	送り火	

送り火

鈴鹿、サーキット	鈴鹿	

鈴鹿サーキット

台風、一過	

一過	

台風一過

ⓒ 2014 UEC Tokyo.	

「花火」のクラスタリング結果ⓒ 2014 UEC Tokyo.	

「桜」のクラスタリング結果
日中

夜間ⓒ 2014 UEC Tokyo.	

代表画像の選択ⓒ 2014 UEC Tokyo.	

代表画像の選択ⓒ 2014 UEC Tokyo.	

「送り火」	
「花火」	
データセットの結果	
「桜」ⓒ 2014 UEC Tokyo.	

リアルタイム処理実験
キーワード

位置(lat,lng)

時刻(h:m:s)雪	

43.0,141.4

8:41:23雪	

35.0,136.1

8:51:25富士山	

35.3,138.9

12:9:41雪	

36.6,136.6

12:11:57

雪	

35.0,135.7

12:30:20

雪	

35.7,137.9

12:35:19

雪	

34.5,136.7

12:38:40

雪	

34.9,135.8

12:48:45

2014年3月10日の検出結果ⓒ 2014 UEC Tokyo.	

検出された「雪」の画像群ⓒ 2014 UEC Tokyo.	

まとめ• ジオタグ画像ツイートを用いたイベント検出-キーワードの検出-代表画像の選択-リアルタイム検出• 検出結果-イベント検出数：258件-代表画像の適合率：65.5%ⓒ 2014 UEC Tokyo.	

今後の予定• 検出アルゴリズムの改良-空間規模の推定-期間の推定-n-gram• データの拡張-画像か位置のみのデータの利用• 代表画像の選択手法の改良ⓒ 2014 UEC Tokyo.