Twitterからのジオタグ画像収集による視覚的イベント検出金子 昂夢、 柳井 啓司
電気通信大学 大学院情報理工学研究科
総合情報学専攻ⓒ 2013 UEC Tokyo.

背景• スマートフォンの普及-位置情報付き画像• Twitter-リアルタイムな投稿

位置情報付き画像ツイートの増加ⓒ 2013 UEC Tokyo.

目的• Twitterストリームからイベントの検出-天災、自然現象-祭り、スポーツの試合• 視覚的な検出-代表画像の選択-地図上に表示

画像と共に地図上に配置ⓒ 2013 UEC Tokyo.

関連研究: Twitterイベントマイニング• 多くがテキスト情報のみを利用• 榊らの研究 [WWW 2010]-ユーザをソーシャルセンサと捉えたモデルを構築-地震の発生を位置と共に高速に検出• Leeらの研究 [ACM SIGSPATIAL WS 2010]-対象地域をより小さな領域に分割-ツイートの頻度をモニタリングⓒ 2013 UEC Tokyo.

関連研究: Twitter画像マイニング• Twitterに投稿された画像を利用• 柳井の研究 [ACM ICMR 2012]-リアルタイムに投稿された画像をモニタリング-地図上に画像をマッピング• 中地らの研究 [ICME WS 2012]-キーワードに関連する代表画像を抽出-位置や時間による違いを比較ⓒ 2013 UEC Tokyo.

関連研究: MediaEval SEDタスク• Flickrデータを用いたSocial Event Detection• Brennerらの研究[ACM ICMR 2012]-外部リソースを利用し高精度化• Daoらの研究[ACM ICMR 2013]-ユーザ視点のデータベースを構築-類似画像検索で高精度化ⓒ 2013 UEC Tokyo.

システムの概要
1. イベントキーワードの検出

2. キーワードの統合・補完
3. 画像のクラスタリング
4. 画像と共に地図上に表示ⓒ 2013 UEC Tokyo.

イベントキーワードの検出• 1日毎に単語の頻度をカウントⓒ 2013 UEC Tokyo.

イベントキーワードの検出• 形態素解析
-MeCab(http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html)-TweetNLP(http://www.ark.cs.cmu.edu/TweetNLP/)• 対象地域をより小さな領域に分割-緯度・経度1度ごとのグリッドにより分割
アメリカ

日本ⓒ 2013 UEC Tokyo.

イベントキーワードの検出• ユーザ人口の違い-出現頻度上昇のスケールの違い

人口の多い地域

人口の少ない地域ⓒ 2013 UEC Tokyo.

イベントキーワードの検出• 地域の重みを計算#𝑢𝑠𝑒𝑟𝑠𝑚𝑎𝑥 + 𝑠𝑑
𝑊𝑎𝑟𝑒𝑎 =
#𝑢𝑠𝑒𝑟𝑠𝑎𝑟𝑒𝑎 + 𝑠𝑑
• キーワードのスコアを計算-50以上(日本), 200以上(アメリカ)

𝑆𝑘𝑤,𝑑𝑎𝑡𝑒,𝑎𝑟𝑒𝑎= (𝑁𝑘𝑤,𝑑𝑎𝑡𝑒,𝑎𝑟𝑒𝑎 − 𝑁𝑘𝑤,𝑑𝑎𝑡𝑒−1,𝑎𝑟𝑒𝑎 )𝑊𝑎𝑟𝑒𝑎ⓒ 2013 UEC Tokyo.

キーワードの統合・補完• キーワードの統合-ツイートが50%以上同じ-最もスコアの高いキーワードを利用「花火」、「大会」「花火」• キーワードの補完-文字が80%以上同じ-前後の文字を再帰的に補完「スカイ」「スカイツリー」ⓒ 2013 UEC Tokyo.

画像のクラスタリング• 画像特徴量-SURFのBag-of-Features-カラーヒストグラム• Ward法-階層型クラスタリング手法-閾値300で終了
𝐸 𝐶 =2𝑤
2𝑤(𝑥−𝑥+𝑥−𝑥
𝐵𝑜𝐹
𝐵𝑜𝐹
𝑅𝐺𝐵𝑅𝐺𝐵𝑅𝐺𝐵 )𝐵𝑜𝐹
𝑥∈𝐶ⓒ 2013 UEC Tokyo.

代表画像の選択• 代表クラスタの選択-クラスタのスコアを計算#𝑝ℎ𝑜𝑡𝑜𝑠𝐶 2
𝑉𝐶 =𝑊𝑎𝑟𝑒𝑎
𝐸(𝐶)• 代表画像の選択-最大スコアのクラスタ中で中心に最も近いもの• 低いスコアを持つクラスタを除外-5(日本)、20(アメリカ)以下ⓒ 2013 UEC Tokyo.

実験• データセット1-日本-2011年2月10日から2012年9月30日-約300万件の位置情報付き画像ツイート• データセット2-アメリカ-2012年1月1日から2012年12月31日-約1,700万件の位置情報付き画像ツイートⓒ 2013 UEC Tokyo.

キーワードの検出結果
KeywordDate

KeywordDate

雪11/02/2011

snow

09/01/2012

地震

11/03/2011sunset

13/01/2012

花火

06/08/2011

Grammy12/02/2012

台風

21/09/2011

Valentines

14/02/2012

富士山

24/09/2011

SXSW

09/03/2012

アップル

06/10/2011

Easter

08/04/2012

月食

10/12/2011

shuttle17/04/2012

リエ

10/12/2011

WWDC

10/06/2012

クリスマス

24/12/2011

hurricane

26/08/2012

大晦日

31/12/2011

rainbow

05/09/2012

日の出

01/01/2012

49ers

18/10/2012

ホタル

06/05/2012

NYE

31/12/2012

日本

アメリカ
ⓒ 2013 UEC Tokyo.

アメリカ

日本

キーワードの統合・補完結果
統合・補完前

統合結果

補完結果

スカイ、ツリースカイ

スカイツリー

花火、大会

花火

花火

日食、皆既

日食

皆既日食

マラソン

マラソン

東京マラソン

リエ

リエ

ルミナリエ

統合・補完前

統合結果

補完結果

Rangers, Ballpark

Rangers

Rangers Ballpark

West, WWDC, AppleWWDC

WWDC

Golden, Gate, Bridge

GoldenGolden Gate Bridge

Square, Times

Times

Times Square

Carnival, Electric, Daisy

Electric

Electric Daisy Carnivalⓒ 2013 UEC Tokyo.

「花火」のクラスタリング結果ⓒ 2013 UEC Tokyo.

「桜」のクラスタリング結果
日中

夜間ⓒ 2013 UEC Tokyo.

「Stanford Stadium」の結果

soccer gamefootball gameⓒ 2013 UEC Tokyo.

代表画像の選択ⓒ 2013 UEC Tokyo.

代表画像の選択ⓒ 2013 UEC Tokyo.

イベントの検出結果• 検出されたイベントを地図上で表示-中心座標を計算-イベントの情報と代表画像を関連付け• 検出結果のまとめ
日本

アメリカ

イベント数

258

1676

代表画像の適合率

65.5%

72.5%

ⓒ 2013 UEC Tokyo.

処理時間
日本

アメリカ

ツイート件数

約3,000,000,000件

約17,000,000,000件

形態素解析

20 min (1 core)

3 hours (1 core)

キーワードの検出

1 day (80 core)

3 days (80 core)

画像収集

10 days (全て)1 days (161,389枚)

クラスタリング

1 hours (21,338枚)

7 hours (161,389枚)ⓒ 2013 UEC Tokyo.

日本データセットの結果
「送り火」
「花火」
「桜」
ⓒ 2013 UEC Tokyo.

「River’s
アメリカデータセットの結果「BalloonEdge「rainbow」
MusicFiesta」
Festival」ⓒ 2013 UEC Tokyo.

「sunset」ⓒ 2013 UEC Tokyo.

まとめ• ジオタグ画像ツイートを用いたイベント検出-キーワードの検出-代表画像の選択• 検出結果-日本データセットでは258件-アメリカデータセットでは1676件• 代表画像の適合率-日本データセットでは65.5%-アメリカデータセットでは72.5%ⓒ 2013 UEC Tokyo.

今後の予定• より柔軟な検出-可変グリッドサイズ-イベントの期間の推定• リアルタイムな検出• 代表画像の選択手法の改良ⓒ 2013 UEC Tokyo.