MIRU2015 CONFIDENTIAL EXTENDED ABSTRACT. DO NOT DISTRIBUTE ANYWHERE.

第 18 回画像の認識・理解シンポジウム

画像の位置推定を用いたマイクロブログからの視覚的なイベント検出金子 昂夢1松尾 真1

1. はじめに
近年，スマートフォンのような位置情報を扱えるデバイスの普及に伴い，撮影した画像に位置情報を付加することが容易となった．また，Twitter の普及により自分の現在の状況を投稿する人が増加してきた．Twitter にはテキストの他に画像や位置情報を添付でき，撮影した位置情報付き画像を即座に投稿することができる．
本研究では，Twitter に投稿された位置情報付き画像ツイートからリアルタイムなイベント画像の検出を試みる．
イベントを検出し，その情報を画像と共に地図上に表示することで，視覚的に捉えることを目標とする。

2. 関連研究
Twitter は Web マイニング対象として広く研究されており，イベントの検出を試みた研究も多くある．
画像を利用したイベント検出の研究として中地らの研究 [3] がある．あらかじめイベントに関連する位置情報付き画像ツイートを収集し，画像付きのイベント検出を行う
ことで，時間や地域による代表画像の違いが示された．
また，我々が以前提案したシステム [1] では，利用したデータは位置情報と画像の両方を持ったツイートのみであったため，検出されないイベントも多く，収集できた関連画像も少なかった．従って，本研究では位置情報付き画像ツイートに加えて，位置情報無し画像ツイートおよび画像なし位置情報付きツイートも利用するイベント検出手法を提案し，さらにイベントキーワード検出手法を改良することによって，これらの問題点を解決する．

柳井 啓司1

Wi, j =#usersmax + s#usersi, j + s(1)

式 1 において，i, j はそれぞれ緯度・経度によるグリッドを表し，#usersmax は最も出現するユーザ数が多い地域のユーザ数，#usersi, j はグリッド i, j に出現するユーザ数，s は標準偏差である．Wi, j により最も出現ユーザ数の多い地域の重みは 1，それ以外では 1 よりも大きい値となり各地域ごとのキーワードのスコアを平滑化するものである．

3.3 文字列の非重要度の計算
本研究では，ユニグラムを用いて日本語では 1 文字，英語では 1word を最小単位のユニットとして，前後に出現するユニットを順に結合し，新たなユニットとして解析した．
各文字列のユニットについて 1 日を時間の区切りとし，ある 1 日に対象の文字列を投稿したユーザ数から，以下の式
2 により非重要度を定義した．
Dic(w) =X E(#usersw,i, j )2
Wi, j
V(#usersw,i, j ) + 1
i, j

(2)

式 1 において，i, j はそれぞれ緯度・経度によるグリッドを表し，#users はある 1 日にそれぞれの地域で文字列 w を含む投稿をしたユーザ数であり，E(#usersw,i, j ) は対象の投稿をした 1 日の平均ユーザ数，V(#usersw,i, j ) はその分散である．日常的に広い地域で投稿される文字列は非重要度が大きくなり，イベントのキーワードとして検出されにくく，日によって投稿数に大きな差があるもの，日常的にはあまり出現しないものは非重要度が小さくなり，ある 1 日に集中した投稿があった場合イベントとして検出されることになる．

3. 提案手法
3.4 キーワードの検出
3.1 システムの流れ
位置情報付きツイートを用いて，文字列のバーストスコ
本研究では，任意のイベントキーワードを自動的に抽出アを計算し，キーワードの検出を行った．3.3 と同様にテし，キーワードを用いて収集した画像を解析することで，キスト解析を行い，文字列のバーストスコアを以下の式 3
イベントを視覚的に捉えることができるようにする．本シにより定義した．
ステムの流れを以下に示す．
#usersw,i, j( 1 ) 位置情報か画像を持ったツイートの収集
S w,i, j =Wi, j(3)Dic(w)( 2 ) イベントキーワードの検出( 3 ) 画像ツイートの位置推定( 4 ) 収集した画像のクラスタリング( 5 ) 代表画像選出・イベントのマッピング

式 3 において，w は各文字列ユニット，#users は対象となるツイートを投稿したユーザ数である．S w,i, j は文字列の非重要度と地域の重みを考慮した各地域における文字列 w
のバーストスコアとなり，今回はこのスコアが 200 以上となる文字列をイベントのキーワードとして検出した．
3.2 対象領域の分割
ここで，検出には各グリッドのうち隣接する 4 つのグ地域によるユーザ人口の偏りを考慮するため，対象領域リッドを1 つのウィンドウとして同時に調査し，検出さを緯度・経度それぞれ 0.5 度ずつのグリッドにより分割し，れたキーワードは，隣接するウィンドウで検出されたキー
以下の式 1 により各地域の重み付けを行った．
ワードと比較し，互いのキーワードに関連するツイートが50%以上同じツイートの場合，同じイベントのキーワード1
電気通信大学大学院 情報理工学研究科 総合情報学専攻として統合した．

1

MIRU2015 CONFIDENTIAL EXTENDED ABSTRACT. DO NOT DISTRIBUTE ANYWHERE.

第 18 回画像の認識・理解シンポジウム

3.5 位置推定による画像データ拡張
本手法では，イベントに関連するツイートであるかそうでないかの二値問題として画像ツイートの位置推定を行った．
各キーワードの検出に貢献したツイートをポジティブ，いずれかのキーワードを持ち，別の地域で投稿されたツイー
トをネガティブなデータとし，テキストによる Naive Bayes
法と画像による Naive Bayes Nearest Neighbor (NBNN) 法を組み合わせて判定した．NBNN 法では画像から SIFT 特徴を抽出し，テキストの結果と組み合わせるためにコサイン類似度を用いた．クエリが分類されるクラス c はテキストと画像それぞれの手法を結合し，以下の式 4 により決定した．
nYvX
d j · NNcĉ = arg max P(c)P(xi |c)
kd j kkNNc kc
i=1
j=1(4)

式 4 において，x はキーワードの文書ベクトルであり，n はクエリが持つキーワード数，d はクエリ画像の局所特徴ベクトル，v は検出された局所特徴数，NNc は各クラスの学習サンプルで最も類似した局所特徴ベクトルである．

図 1 2012 年 8 月 6 日の「ねぶた」画像．

例に図 1 に示す．図中の各クラスタはスコアによりソートされ，各画像はクラスタ中心との距離によりソートされている．また，各画像は元々位置情報を持っていたものは赤枠，位置推定により追加された画像は黄枠で表示されている．本手法で 2012 年の 8 月に検出されたイベントの総数と検出精度，各代表画像の適合率を以下の表 2 にまとめた．
表1

3.6 代表画像選出
それぞれのイベントを視覚的に表すことができる代表的な画像を抽出するため，画像のクラスタリングを行った．
画像特徴量として，Deep Convolutional Neural Network[2]の第 7 層の出力である 4096 次元のベクトルを L2 正規化して利用した．
クラスタリングには，まず，以下の式 5 によりクラスタのスコアを定義した．
VC = P#imagesCx∈C kx − xk + 1

キーワードの検出結果の一部

キーワード花火大会
虹ROCK IN JAPAN
鮎まつり
ねぶた
阿波踊り
落雷
ブルームーン(5)

日付20120801
20120801
20120803
20120804
20120806
20120814
20120818
20120831

地域 (lat,lng)
33,129.5
34,134.5
36,14034.5,138.5
40.5,140
34,134
34,13534.5,136

スコア
297.7
229.1
430.3
265.1
255.7
589.8
367.5
269.7

表 2 イベントの検出結果
提案システム従来システム [1]

イベント数
31035
式 5 において，#images はクラスタ C に分類された画像数，イベントの精度 (%)
81.3
77.1
x は各画像の DCNN 特徴ベクトル， x はクラスタ中心のベ
代表画像の適合率 (%)
88.7
65.5
クトルである．クラスタスコアはクラスタ内の画像数が多く，クラスタ内の類似度がより高ければ高い値となる．ク
ラスタリングは Ward 法を改良し，クラスタからノイズの5. おわりに除去も行うように以下のステップにより行った．
$'( 1 ) 全ての要素が独立したクラスタ状態から開始
本研究では，Twitter に投稿されたツイートのうち位置情( 2 ) 各クラスタにおいて各要素を取り除いた場合のクラ報か画像のいずれかを持ったツイートから視覚的なイベンスタスコアを計算
ト検出を行った．従来のシステムよりも検出イベント数が( 3 ) 各クラスタにおいて他クラスタの要素を追加した場大幅に増加し，イベント検出精度も向上した．
合のクラスタスコアを計算，ただし移動元のクラス
今回の実験では表記揺れによって正しく統合されないイ
タスコアを下回る場合は 0 とするベントがあったため，今後は，キーワードの共起ではなく，( 4 ) 2.，3. のうち最大スコアが得られる処理を実行
その位置情報を利用した同イベントのキーワードの同定を( 5 ) 実行する処理がない場合は終了，いずれかの処理を行うことでこの問題が解決する予定である．また，代表画実行した場合 2. に戻る&%
像だけでなく他の画像の利用価値を再検討し，より視覚的クラスタリング結果により，最も高いスコアを持つクラに多様な出力を可能なシステムを実現することを考えてスタを代表クラスタとし，さらに，代表クラスタに含まれいる．
る画像のうち，最もクラスタ中心に近い画像をイベントの代表的な画像として選出した．

4. 実験
今回の実験を行うに当たって，2012 年を対象にあらかじ
め位置情報か画像が付加されたツイートを収集し，2012 年全体のツイートを用いて地域の重みと文字列の非重要度を学習した．
イベント検出は 2012 年 8 月を対象に行った．検出されたキーワードの一部を表 1 に，収集された画像のクラスタ
リング結果を 8 月 6 日に検出されたイベント「ねぶた」を参考文献
[1]

[2]

[3]

Kaneko, T. and Yanai, K.: Visual Event Mining from Geotweet Photos, Proc. of IEEE ICME Workshop on Social Multimedia Research (SMMR) (2013).
Krizhevsky, A., Sutskever, I. and Hinton, G. E.: Imagenet classication with deep convolutional neural networks, Advances in
Neural Information Processing Systems (2012).
Nakaji, Y. and Yanai, K.: Visualization of Real World Eventswith Geotagged Tweet Photos, Proc. of IEEE ICME Workshop
on Social Media Computing (SMC) (2012).

2