DEIM Forum 2017 P4-1

Twitter 画像の大規模時空間分析
長野 哲也†

柳井 啓司†† 電気通信大学情報理工学部総合情報学科 〒 182-8585 東京都調布市調布ケ丘 1-5-1
E-mail: †nagano-t@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

現在、スマートフォンで世界中の人達が写真を撮るようになっている。また、Facebook、Instagram、Twitter といった SNS に撮った写真を載せることが多くなり、そうした SNS 上には、大量の画像が存在している。こういった画像には、投稿した時間や場所のデータが存在している。これらのデータから、画像を分類することで、時間による画像の傾向や特定の場所、地域における画像の特徴について新しい発見をする可能性がある。本研究では、
まず、Twitter に存在する画像を収集し、クラスタリングを行い画像を分類する。分類した画像に時間や場所のデータで照らし合わせることで、地域間における画像の傾向の違いを発見することを目的とする。本研究における地域とは、「北米」、「ヨーロッパ」といった世界を地域別で分類した際の地域とする。本研究では、2016 年 1 月から 6 月までの半年間の Twitter 過去ログを用い、そのログから位置情報付きで日付の情報を持っている画像を 216 万 1000 枚取り出した。その画像をジャンル別に分類し、更に、地域や月別、時間帯で分類を行い地域別の特徴の分析を行った。
キーワード

Twitter, 大規模, 画像, 特徴

1. は じ め に存在する投稿データのうち約 25 ％が、画像とテキストの感情が矛盾していることが判明していることを検出している。画像

現在、スマートフォンの普及により、世界中の人達が写真をとテキストが矛盾している投稿の例を図 1 に示す。図 1 の文章撮るようになっている。また、Facebook、Instagram、Twitterは、ISIS の支援者はパリのテロについて追悼の意を捧げるとといった SNS に撮った写真を載せることが多くなり、そうしなっているが、画像を見ると、画像の文章にテロリストは地獄た SNS 上には、大量の画像が存在している。こういった画像に堕ちろと過激な内容となっている。には、投稿した時間や場所のメタデータが存在している。メタデータの時間や場所のデータから、画像を分析することで、時間による画像の傾向や特定の場所、地域における画像の特徴について新しい発見をする可能性がある。
本研究では、まず、Twitter 上に存在する画像を収集する。
そして、収集した画像についてクラスタリングを行い画像を分類する。分類された画像を人手で確認を行いジャンル分けをする。ジャンル分けされた画像をメタデータに記録されている時間や場所のデータで照らし合わせることで、Twitter に投稿された画像の傾向の違いを分析する。そして、国や地域において画像の特徴が異なるかどうかを発見することを目的とする。

2. 関 連 研 究
現在、Twitter や Facebook、Instagram といったさまざまなSNS が存在しており、SNS に存在する日々ユーザーが投稿した大量のデータを使用した研究が行われている。そうしたデータを扱っている研究の中には、画像とテキストを織り交ぜた研究が行われている。例えば、Fasebook の画像とテキストを使用した研究 [1] では、Facebook に投稿された 2015 年のパリのテロに関する画像や文章からユーザーの感情などを検出する手

図1

画像とテキストが矛盾している例 ( [1]) より引用

法を紹介している。この研究結果において、画像に書かれているテキストの単語とコメント欄に書かれているテキストの単語

Instagram のデータを用いた研究 [2] では、画像と画像につに違いがあることが判明している。また、画像から検出されたけられたタグの関係性を分析し、タグから画像の分類を行った。

感情とコメント欄のテキストから検出された感情に差があるこ

しかし、Instagram のタグはユーザーが生成するため、タグのとや、研究で使用されたデータの中で画像とテキストの両方が信頼性が決して高いとは言えない。この研究でも、タグの精度は 7 割前後であり、画像とタグが不一致な投稿が多く見つけ出された。このように SNS の画像とテキストを織り交ぜた研究は盛んにおこなわれており、テキストとは異なる情報が画像に含まれている可能性がある。ただし、画像とテキストが表現しているものの方向性が同一とは限らない。場合によっては、故意にユーザーが画像とテキストが異なる投稿を行う場合も存在する。[2] でも、自分の投稿に注目を集めようと画像と関係のないタグであり人気のあるタグを画像につけるケースが発見されている。

Instagram の画像を用いた研究 [3] では、Instagram に投稿された画像から文化の違いを探っている。5 つの都市から投稿された画像についてキャプチャを行い、分析を行った結果、例
えば、東京の画像は、食べ物に関連した画像が豊富だったことや、ベルリンの画像は建築物に関する傾向があったと言ったよ
うな、5 つの都市それぞれの特徴を発見することが出来た。また、5 つの都市それぞれの画像の類似点と相違点を見つけ出すことも出来た。このようにテキストを使用せず、画像のみから分析を行う場合でも、都市の特徴や傾向が出力される。

[3] を参考にし、画像を使用して特定の場所について分析を

図2

テキストと画像分類を利用したイベント検出システム ( [5]) より引用行う手法を本研究で利用する。[3] では、都市の範囲を定めて、その範囲内で投稿された画像をキャプチャした。本研究では、範囲を限定すること無く、画像の収集を行った。そして、収集した画像を時間や場所等が記録されているメタデータを使用しでは分類された画像について、画像のジャンルについて区別する。ステップ (d) ではジャンル分けされた画像を時間と場所のデータに基づき可視化を行い、地域別の特徴を分析する。

分析を行う。この点において本研究とは異なっている。

Twitter 画像の分析は，これまでテキスト解析と画像認識を併用して，イベント画像検出 [4] [5] などが行われてきた．[5] は、ジオタグと写真の両方を含むツイートを用いて、イベントを検出する手法を開発した。大量のデータに対応するため、テキストを分析して、イベントに関するキーワードの検出を行い、画像をクラスタリングし画像を分類した。実験結果では、花火や虹といったイベント画像が検出され、イベント画像のクラスタリングの適合率は 65.5 ％となった。システムの概要を図 2 に示す。
しかし、これらの研究では、最初にテキスト解析で対象とする画像を絞り込んでしまうため，テキストのない画像のみのツイートや、テキストで表現が難しいような画像を含むツイートが捨てられてしまっているという問題点があった。

図 3 本研究の流れ

そこで，本研究では，テキストをまったく使わずに画像特徴のみで Twitter 画像を数百万枚単位で大規模に分類することによって、国や地域、時間による投稿画像の傾向の違いを発見することを目的とする。

3. 手法の概要

4. 手法の詳細
4. 1 画像の収集
我々の研究室では、2011 年から現在に至るまでの Twitter ログを収集している。このログには画像の URL、時間、場所の本研究では、Twitter 上に存在する画像を集め、集めた画像の特徴量を取り出し、取り出した特徴量からクラスタリングを行い画像を分類する。そして、分類された画像を時間や場所のデータから分析を行うためのシステムを作成し分析を行う。手法の概略図を図 3 に表す。ステップ (a) では画像を収集し、収集した画像の特徴量を取り出す。ステップ (b) では画像の特徴量からクラスタリングを行い、画像を分類する。ステップ (c)データなどが含まれているので、本研究では、Twitter のログにこれらのデータが含まれている画像を収集する。

4. 2 画像の分類
4. 2. 1 特 徴 抽 出
まず、収集した画像を、1000 種類、画像 100 万枚で事前学習された畳み込みネットワークである DCNN 特徴 [6] を利用し、画像の特徴量抽出を行う。この特徴量を採用することによとで、データの分散が大きい部分のみを取り出し、データの次り、画像の意味を考慮したクラスタリングを行うことが可能と元を圧縮する手法である。抽出した特徴量を PCA を用いて圧なる。各画像の DCNN 特徴量を抽出する際に、Overfeat [7] と縮することが K-means の分類に影響を及ぼすかどうか検証をCaﬀe [8] を使いどちらの方法が本研究において優れているかを行った。Overfeat と Caﬀe の検証の際に使用した画像 1000 枚比較した。Caﬀe とは、GPU に対応した高速な Deep Learningを使用した。特徴量の抽出は Caﬀe で行い、K-means で分類フレームワークであり、画像認識の分野で広く用いられている。

を行う際に PCA を使用し、画像の特徴量を 128 次元に圧縮しCaﬀe を使用した際の事前学習済みのモデルとして、本研究でK-means を行った。クラスタリングの数は前述の検証のクラス

は caﬀenet を使用した。Overfeat で抽出した特徴量と Caﬀe でタ数と同様の 50 とした。図 4 が caﬀe で抽出した特徴量を圧縮抽出した特徴量を後述する K-means でクラスタリングを行っせずに K-means を行った結果であり、図 5 が PCA を使用した。使用した画像はどちらも同じ 1000 枚の画像を使用し、ク特徴量の圧縮を行い K-means を行った図である。図 5 の結果

ラスタ数は 50 として K-means を行った。どちらも、表示されとして、文章の画像や家の画像、夜景の画像でまとまっていた。

た結果はそれぞれある程度、区別されたかたちで画像が分類されていた。このことから、分類を行う際の特徴量として DCNN特徴量を使用することに問題はないとした。また、どちらの方法で特徴量を抽出しても、K-means による分類が問題なく行われていた。しかし、Overfeat で 1000 枚の画像の特徴量を抽出する際にかかった時間は約 30 分だった。一方、Caﬀe で 1000枚の画像の特徴量を抽出する際にかかった時間は 1 分もかからなかった。この違いは、Overfeat は CPU で計算している一方、Caﬀe は GPU で計算を行っている。この違いが処理時間の違いとなっている。本研究では、画像を数百万単位で分析を行うため、Overfeat を使用する場合、膨大な時間がかかってしまう。特徴量を抽出する処理時間を高速にするため、収集した画像の DCNN 特徴量は Caﬀe を用いて抽出した。

4. 2. 2 クラスタリング
次に、抽出した画像の特徴量をクラスタリングの手法である

K-means を使用し、画像をいくつかのまとまりに分類した。ク

図 4 caﬀe で画像の特徴量抽出した結果ラスタリングを行うことで、大量の画像をある程度のまとまりに分類することが可能となり、画像を分析しやすくすることが出来る。また、本研究では、クラスタリングの手法に置いて最も一般的な手法である K-means を採用した。クラスタリングには、階層的手法と非階層的手法の 2 つのタイプの手法が存在する。2 つの違いは、最初にいくつの集団を作成するかを決定するかしないかである。K-means は非階層的手法の種類となっているため、初めにいくつの集団を作成するか決定する必要がある。本研究では、クラスタ数を複数用意し、それぞれのクラスタ数による結果を出した。結果については次節に述べている方法で表示した。次節の方法を用いることによって、画像分類の結果をひと目でわかるようにした。本研究では、pythonのオープンソースの機械学習ライブラリの scikit-learn にあるK-means を使用した。
4. 2. 3 次 元 圧 縮K-means で分類を行う際に使用する、Caﬀe で抽出した画像の特徴量は 4096 次元となっている。このまま、K-means の図 5 caﬀe で抽出した特徴量を pca で圧縮した結果分類を行うと計算量が膨大となり時間がかかってしまうので、K-means による分類の時間を抑えるため、scikit-learn のライ

図 4 と図 5 を比較した結果、圧縮された次元を使用しても、ブラリにある PCA を使用し、画像の特徴量の次元の圧縮を行っ遜色なくそれぞれの画像がまとまりのあるかたちで分類が出来た。PCA とは日本語で主成分分析と呼ばれる手法である。デー

ることが明らかになった。よって、画像の特徴量を 128 次元にタの分散が最大となる方向を見つけ、データの分散が少ない部圧縮して画像の分類を行っても問題はないと判断した。そして、分はデータに共通するパターンとして処理をする。そうするこ

画像の特徴量に基づいて K-means によって分類された画像を

画像のメタデータに存在する時間と場所のデータを用いて分析

216 万 1000 枚となった。Twitter のログのメタデータとして、を行う。

緯度経度、言語、ユーザー ID、ユーザー名、メッセージ、日4. 3 結果の可視化

付、画像名等の情報が記録されているが、今回の実験では、緯4. 3. 1 クラスタリングされた画像の表示

度経度、日付、画像名を使用した。緯度経度から、画像が投稿

K-means によってクラスタリングされた画像の表示は、図された場所を割り出した。また、記録されている日付は、日本

4、図 5 のようにクラスタ数の下にそのクラスタ数に分類され時間のため時差を考慮し、現地の時間帯に合わせた。ただし、た画像を表示する。クラスタリングされた結果を保存したファサマータイムは考慮していない。

イルを選択し、表示するクラスタ数の範囲を選択できるように5. 2 クラスタリングした。

月別で取り出した、各画像の DCNN 特徴量を Caﬀe を用いて4. 3. 2 GUI への表示抽出した。次に、取り出した特徴量を K-means で分類を行う。

クラスタリングされた結果を受けて、画像がどの国や地域でこの際、scikit-learn にある K-means と PCA を使用し、画像投稿されたかを分析するため、Google Maps API を使用した。

を分類する時の特徴量の重心を取り出した。そして、取り出し

Google Maps API とは、Google 社が提供する地図情報サービた重心と各画像の特徴量を計算し、分類を行った。scikit-learn

スである。Google Maps の機能を、インターネットを介して外にある K-means と PCA をそのまま使用すると、重心と各画部から利用するための手続きをまとめた API である。Google像の特徴量の距離の計算結果が出てこない。加えて、画像を表Maps API は Java Script のメソッドとして提供されており、示する際に、重心と特徴量の距離から画像をソートするためにこれを利用することで一般の web ページの中に Google Maps必要なので、重心と特徴量の計算を行った。重心を取り出す際による地図を組み込むことができる。また、位置情報を読み込の画像は、各月から画像をランダムで 1 万 7000 枚を取り出し、み、Google Maps API の機能を用いて地図上の特定の位置に計 10 万 2000 枚で重心を抽出した。抽出した重心の数（クラスマーカーを作成し、地図上に情報ウィンドウを表示させることタリング数）は 100、200、500 個取り出した。この 3 つの重心が可能である。Twitter のログに画像の情報と共に投稿されたを使用し、各月別の画像についてクラスタリングを行った。

画像の緯度経度が記録されているため、その緯度経度を使用し、

5. 3 分 析 方 法

Google Maps にマーカーを作成し、情報ウィンドウを表示し始めに、分析した地域としては、東アジア、北米、南米、ヨーた。図 6 が Google Maps 上にマーカーと情報ウィンドウを表ロッパ、アフリカ、中東、南アジア、東南アジア、オセアニア示した例である。

（オーストラリアとニュージーランド）の 9 つの地域に定め、各地域の画像の特徴について分析を行った。分析した地域を図8 に示す。（中国では、Twitter が規制されているので、東アジアから除外している。）まず、クラスタリングされた画像について、画像のジャンルの分析を行った。分析を行う際に、分類された各クラスタごとの画像の数を集計した。集計を行うときに、重心と各クラスタに含まれる画像の特徴量の距離の平均を取り平均以上のものはカウントせずに集計を行った。これを行うことで、重心から遠い画像を排除でき、種類分析の質が向上する。そして、画像の数が多いクラスタに注目し、そのクラスタに含まれる画像のジャンルを分析した。また、画像の表示の際には、画像の特徴量が重心に近い順で並び替えを行い画像を表示した。画像を集計した数を指標にし、重心の数や各月、地域別で画像のジャンルについて分析を行った結果、9 つの地域で検出された共通の画像のジャンルとしては、人、建物、文章、風景、食べ物の 5 つのジャンルであった。重心の数を増やして
図 6 Google Maps の表示例

も、検出される共通の画像のジャンルは変わらず、月別で見ても画像のジャンルが変わることはなかった。各ジャンルにおい

5. 実験

5. 1 実験データて検出されたそれぞれの例を図 9、図 10、図 11、図 12、図 13に示す。
検出された共通の画像の種類、人、建物、文章、風景、食べ実験では、2016 年 1 月から 6 月までの Twitter ログを用い、物の 5 種類を使用し、各地域の特徴を分析した。各地域の分析

そのログから位置情報付きで日付のデータを持っているツイーを行うにあたって、画像の投稿された数が多い画像のジャンルトから画像を取り出した。取り出した画像数は月別で、1 月:39（クラスタ）に焦点を当てて、分析を行った。そうすることで、万 4000 枚、2 月:36 万 3000 枚、3 月:34 万 5000 枚、4 月：34

その地域で多く投稿される画像のジャンルと数が判明し、そこ

万 4000 枚、5 月：39 万 9000 枚、6 月：31 万 6000 枚で合計から、その地域の特徴を見いだせると考えた。そして、本実験

では、画像の投稿数が少ないクラスタは画像のジャンルに関係れた画像は、夜の投稿が若干多いものの、北米と同様に朝昼夜なく投稿数の切り捨てをすることにした。理由としては、投稿と投稿されていた。ヨーロッパで投稿された画像は、ほとんど数が少ないということは、その地域における特色を表していなが朝 3 割夜 4 割と朝と夜に投稿されていた。アフリカの画像いと判断したためである。そして、ノイズクラスタを除去し、5は、ヨーロッパと同様に朝と夜に投稿されていた。中東も、昼ジャンルの画像のみの投稿数の集計を行った。本実験におけるに投稿する割合が多いが、ヨーロッパ、アフリカと同様の時間

ノイズクラスタとは、クラスタリングの際に表示された画像が帯に画像が投稿されていた。南アジアで投稿される時間帯は、同じで、かつ大量に表示された時のクラスタをノイズクラスタ

ヨーロッパ、アフリカ、中東と同様であった。東南アジアは朝とした。また、地域別に画像が投稿された時間にも着目して分

約 2 割、夜約 5 割といったような朝夜の時間帯で投稿されてい析を行った。時間の分類は、朝、昼、夕方、夜の 4 つで分類をた。オセアニアは朝と夜に画像が投稿されている。

行った。分析した結果として、図 14 は 1 月の画像の割合、図画像のジャンルによって、投稿した時間帯の差はあまり見ら15 は 2 月の画像の割合、図 16 は 3 月の画像の割合、図 17 はれなかった。本実験で検出されたのは、東アジアで、建物と風4 月の画像の割合、図 18 は 5 月の画像の割合、図 19 は 6 月の景の画像が昼と夕方で投稿が多く、東南アジアで、食べ物の投画像の割合を表している。1 月から 6 月までの各地域の画像の稿が夜に多かったくらいであった。

割合を図 7 で表し、1 月から 6 月までの分析結果の合計を表 1

表 1 1 月から 6 月までの各地域の分析結果の合計に記した。そして、1 月から 6 月までの地域別の時間帯の投稿割合を表 2 に記した。

国投稿数人

5. 4 地域別分析

東アジア65,530

分析結果の図 7 や表 1 を照らし合わせると、東アジアは人が写っている画像がほとんど無く、建物や食べ物を多く投稿して文章

風景

459 20,172

8,973

8,217 27,709

北米

124,141 40,231 38,336

12,015

11,314 22,245

南米

76,481

3,613

16,416いた。建物と食べ物の割合を合わせると、ほとんどの月で、投2,381

稿数のうち 7 割を占める数になった。北米は、人、建物の画像

ヨーロッパ 183,250

63,942 37,651

34,51122,018 25,128

アフリカ

24,101

17,409284

6,40800の割合が多かった。南米は、人が写っている画像を多く投稿し中東

44,184

11,681 10,216

12,334

4,1235,830ており、他の画像の種類の投稿と比べて倍以上の差をつけて投

南アジア

13,263

277

7,214

29553

稿されていた。ヨーロッパは、9 つの地域の中で投稿数がトッ

東南アジア 145,08873,265 15,862

13,120プであった。風景、食べ物の画像の割合が少ないものの、各月

オセアニア

1,049

2,214

4,695

51,471

5,424

建物

144

食べ物

4,323 38,518953

において全種類で画像が投稿されていた。アフリカは、建物、風景、食べ物の画像がほとんど投稿されておらず、人の画像が投稿数の 7 割を占める月も多かった。中東は、ヨーロッパより投稿数が少ないものの、各 5 種類の画像がバランスよく投稿されていた。南アジアは、全体の投稿の割合を文章が半数を超えていた。これは、他の地域には見られなかった。東南アジアは、南米やアフリカと同様に、人の画像が多かったが、それに加えて、食べ物の画像も多かった。全体の各地域の食べ物の画像数でみると、東南アジアが一番多く食べ物の画像を投稿していた。
オセアニアは、全地域で一番投稿数が少なかった。人や文章、風景の画像の割合が多かった。そして、オセアニアでは地図が多く投稿されていた。今回は、地図も文章としてカウントした
ため、オセアニアでは文章の画像の割合が多い結果となった。

5. 5 時期別分析
月別で画像の割合を比較すると、北米は図 17、18、19 において 5 種類の中で 1 番多く建物が投稿されていた。建物が月をまたいで一番多く投稿されているのは、この地域特有であった。

図 7 1 月から 6 月までの 5 種類の画像の地域別割合

また、オセアニアは、風景の画像の割合が、5 月に入ると減少した。

5. 6 時間別分析
時間別の分析において、表 2 を見ると東アジアの投稿の時間帯の特徴として、朝に投稿されるパーセンテージが約 1 割が多く、夜に投稿する割合が約 5 割であった。朝の投稿の割合が 1割だったのは、この地域以外には見られなかった。北米は、夕方を除いて、朝昼夜まんべんなく投稿していた。南米で投稿さ

6. 考

2,600

察

今回の実験では、計 216 万 1000 枚の画像から、設定したそれぞれの地域において共通の画像のジャンルを検出することが出来た。そして、得られた共通の 5 ジャンルの画像から地域の特徴を見出すことが出来た。しかし、今回の実験では、画像の投稿数が少ないクラスタを切り捨てて、分析結果に加えなかっ335

表 2 1 月から 6 月までの地域別の時間帯の投稿割合

国

朝

昼

夕方

夜

8. 今後の課題

東アジア

11.48% 19.93%

18.62% 49.97%

地域別の特徴を見出すために、共通の画像のジャンルを特定

北米

28.95% 23.57%

13.70% 33.78%

したことで、その地域でしか見られない画像のジャンルを分析

南米

28.33% 24.30%

12.67% 34.72%に反映させることが出来なかったと思われる。画像の種類を特12.88%

11.83% 43.13%

定せずに分析を行うことで、地域独自の画像を発見することがアフリカ

34.43% 15.20%

12.27% 38.13%

出来ると考える。また、本実験で定めた 5 種類の共通画像の中東

36.80% 18.63%

7.18% 37.42%

ジャンルを更に細分化することで、さらなる、特徴を発見する

南アジア

31.17% 16.73%

9.27% 42.83%

ことが出来ると思われる。例えば、人の画像を細分化し、それヨーロッパ 32.13%

東南アジア 22.70%

12.97%

11.12% 53.18%

が自分を写した自撮りなのか、大勢で写っている集合写真なのオセアニア 26.40%

15.98%

13.62% 43.98%

かといったようにジャンルを細かくすることで、より一層、新たな地域の特徴が判明されると考えられる。

たことが原因で、アフリカには風景や食べ物の画像が全くないといったことが生じてしまったと考える。また、オセアニアの文章の画像では、地図も文章としてカウントしたため、オセア
ニアは全体的に文章の割合が多くなってしまったと思われる。
全体の地域別の割合を見ると、東アジアと東南アジアでは、食べ物の画像の割合が多く、南米やアフリカ、東南アジアでは、人の画像が 5 種類の合計の投稿数の半数を超えるといったような地域間における共通の特徴が検出された。それから、画像の投稿数に違いがあるが、ヨーロッパと中東は各 5 種類が均一に投稿されていると言った共通点を発見した。また、東アジアは人の画像の投稿がほとんど無いことや、南アジアでは文章の投稿が 50 ％で超えているという地域独自の特色が明らかになった。一方、月別で割合を比べると、北米は 4 月から 6 月にかけて、建物の画像の割合が多くなり、オセアニアは、風景の画像の割合が、5 月に入ると減少した特徴が判明した。加えて、画像が投稿された時間帯を見ると、東アジアの建物と風景の投稿の時間帯が昼と夕方が多かったこと以外では、各地域で画像の種類に関係なく、ある一定の時間帯で画像を投稿していることが分かった。こういったことから、東アジアと東南アジアでは、食べ物に関心を持っていることや南米やアフリカ、東南アジア
では、人の画像を投稿することを一種の楽しみとしているのではないかと考えられる。そして、投稿された時間帯から、それぞれの地域における、ある程度の人の行動パターンを区別することが出来ると思われる。

7. ま と め
本研究では、画像に関するメタデータを持つ Twitter の画像を収集し、Caﬀe を用いて DCNN 特徴量の抽出を行ったあと、

K-means によるクラスタリングを行った。そして、クラスタリングの結果から地域間の共通の画像のジャンルを分析した。共通の画像のジャンルと画像に関するメタデータから日付と緯度経度を使用して、地域間の画像の特徴の違いや月別の画像の割合の変化、投稿の時間帯の分析を行った。分析の結果から、地域別の画像の特色や地域によっては月によって投稿される画像の種類が増減すること、そして、投稿の時間帯がほぼ地域で一定の時間であることが見られた。

図 8 本実験で分析した地域

文

献[1] P. Dewan, V. Bharadhwaj, A. Mithal, A. Suri, and P. Kumaraguru. Visual themes and sentiment on social networks
to aid first responders during crisis events. In Proc. ofarXiv:1610.07772, 2016.
[2] J. Rich, H. Haddadi, and T. M. Hospedales. Towards
bottom-up analysis of social food. In Proc. of the 6th International Conference on Digital Health Conference, pp.
111–120, 2016.
[3] R. Miriam, C. Damon, M. Lev, and O. Simon. What makes
photo cultures diﬀerent? In Proc. of 2016 ACM on Multimedia Conference, pp. 287–291, 2016.
[4] M. Schinas, S. Papadopoulos, P. A. Mitkas, and Y. Kompatsiaris. Visual event summarization on social media using topic modelling and graph-based ranking algorithms. InProc. of International Conference on Multimedia Retrieval
2015, pp. 203–210, 2015.
[5] K. Takamu and Y. Keiji. Event photo mining from twitterusing keyword bursts and image clustering. Neurocomputing, Vol. 172, pp. 143–158, 2016.
[6] J. Donahue, Y. Jia, O. Vinyals, J. Hoﬀman, N. Zhang,
E. Tzeng, and T. Darrell. DeCAF: A deep convolutional
activation feature for generic visual recognition. In Proc. ofInternational Conference on Machine Learning, pp. 647–655, 2014.
[7] P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus,

and Y. LeCun. Overfeat: Integrated recognition, localization and detection using convolutional networks. In Proc.
of International Conference on Learning Representations,,2014.
[8] Yangqing Jia, Evan Shelhamer, Jeﬀ Donahue, Sergey
Karayev, Jonathan Long, Ross Girshick, Sergio Guadarrama, and Trevor Darrell. Caﬀe: Convolutional architecture for fast feature embedding. In Proceedings of the 22ndACM international conference on Multimedia, pp. 675–678.
ACM, 2014.

図 11

検出された画像の例：文章図 12検出された画像の例：風景図 13

検出された画像の例：食べ物

図 9 検出された画像の例：人図 10検出された画像の例：建物図 14 1 月の 5 種類の画像の地域別割合

図 17 4 月の 5 種類の画像の地域別割合

図 15 2 月の 5 種類の画像の地域別割合

図 18 5 月の 5 種類の画像の地域別割合

図 16 3 月の 5 種類の画像の地域別割合

図 19 6 月の 5 種類の画像の地域別割合