観光地理情報学 2016年度第13回

ビッグデータと観光の分析

首都大学東京大学院 都市環境科学研究科 観光科学域

倉田 陽平
ykurata@tmu.ac.jp

TOKYO METROPOLITAN UNIVERSITY
https://blog.twitter.com/2013/geography‐tweets‐32

3

ビッグデータとは？

ビッグデータの規模• SNS書き込み• 検索履歴• 商取引• 移動（カーナビ・IC乗車券）• 人工衛星画像• 防犯カメラ• ヘルスケア
http://safetymap.jp

4

•

倉田研

1.
2.
3.
4.

清水研
– Honda車走行履歴データを用いた事故危険箇所の分析– ナビタイム カーナビアプリのデータを用いた晴天・雨天時の立ち寄り行動•

沼田研– 衛星画像を用いた熱帯雨林の降雨量推定– 衛星画像を用いた桜の開花状況推定•5エクサバイト201220156

• 買う
• もらう
• 狩る

取得
精選
分析
可視化

– APIの利用– スクレイピング（クローリング）

石川研（SD 情報通信）– Flickrデータを用いた有名撮影対象の撮影箇所・方向の分析– twitterデータを用いた各国訪日外国人のつぶやく街ランキング– twitterデータを用いた桜やアジサイの開花時期の分析•－2003

2.7
ゼタバイト

Step 1．大量データの取得

４つのステップ– Suica利用履歴を用いた訪日外国人の行動分析– Flickrデータを用いた観光地の「見所」の分布の地図化– ニコニコ動画データを用いた観光関連コンテンツの共創状況の分析

•500倍

5

ビッグデータを用いた観光研究の例

2015年には3倍!!!

渡邉研（SD インダストリアルアート）– ウェザーリポートを用いた台風状況のリアルタイム可視化
789

APIを利用したデータ取得とは観光関連サイトのAPI提供状況

特定のURLにパラメータをつけてリクエストすると、データだけが帰ってくる– 例：https://maps.googleapis.com/maps/api/geocode/json?address=南大沢駅→このようなURLをプログラムで自動生成してリクエストし、 帰ってきたデータもプログラムで処理する

無償• Flickr• twitter• Facebook• Instagram• 楽天トラベル• ぐるなび• Expedia

有償（企業のみ）• TripAdvisor

テキスト解析によって大量のウェブページから必要とするデータを自動的に集めてくること．
「クローリング」ともいう．

提供やめた• フォートラベル

10

例：Google Playのスクレイピング

スクレイピング

11

スクレイピングの原理

12スクレイピングの原理

https://play.google.com/store/search?
q=横浜%20観光&c=apps<span class=”display_price”>無料</span>
13

14

クレンジングの実例：Google Playのご当地観光アプリのケース

スクレイピングのやり方

Step 2．データの精選プログラム（あるいはエクセルのマクロ）を書いて、以下の処理を自動的に行う

収集した膨大なデータの中から、自分の分析に必要なデータだけを抜き出すステップ
クレンジングとも言う

1.
2.
3.
4.

情報を入手したいページのURLを生成
各ページのソース（html）を自動入手（※スピードが速すぎるとアクセス遮断されるリスクあり）
ほしいデータの前後に必ず出現する文字列を手がかりに各データを抜き出す
抜いたデータを記録していく

16

15

ゴミが入り混む理由：• キーワード検索の限界• ボットが参加している• 他言語のデータ• 観光客以外のデータ
1718

クレンジングの実例：Google Playのご当地観光アプリのケース• スクレイピング直後：4915• 外国語除去後：1340• ご当地観光アプリを選別後：764

大量データの処理法

Step 3. データの分析①集計

次のいずれかに限られる• 数値データ→ 統計分析（集計）• 位置を含むデータ→ 空間解析
• 自由記述データ → テキストマイニング

19

20

21

大量データの処理法

大量データの処理法

大量データの処理法

②地図化

②地図化

③テキストマイニング• 位置のみの場合→点分布分析• 住所など位置情報がついていたら、何はともあれジオコーディングして地図にプロットGISに取り込む

概念• 位置＋数値→サーフェス分析
語句
22

23

取り込んだ自由記述データ
SPSS Text Analytics for Surveys

24

テキストマイニングと地図化の組み合わせコンボ

大量データの処理法③テキストマイニング
観光クチコミに使われる概念

ビッグデータ分析の実例－観光ポテンシャルマップ研究－

25

26

27

flickrからのデータ抽出ツールを開発

データクレンジ
ング

Google Mapsでヒートマップ化

35.454033,139.636298
35.451494,139.647303
35.4441,139.647962
35.4441,139.647962
35.4441,139.647962
35.443219,139.64872
35.457034,139.635818
35.443219,139.64872
35.4441,139.647962
35.4441,139.647962
35.452743,139.648139
35.446304,139.650017
35.4441,139.647962
35.45103,139.647238
35.454382,139.6356
35.447255,139.641767
35.453434,139.637915
35.449955,139.645119
35.463438,139.626153
35.452984,139.634951
35.459888,139.632003
35.455041,139.633289
35.452743,139.648139…

28

観光ポテンシャルマップ×気象データ

観光ポテンシャルマップ
×キーワード検索

観光ポテンシャルマップ

http://www.comp.tmu.ac.jp/kurata/tpm/

29

観光ポテンシャルマップ×街路データ

真田風・倉田陽平・相尚寿 (2015) 写真共有サイトに投稿された写真群を活用したテーマ別観光マップの作成. 情報処理学会第77回全国大会

旅行者類型別ポテンシャルマップ
男一人＠浅草

倉田陽平・相尚寿・真田風(2015) 写真共有サイト投稿データを利用した新たな観光マップの構築. 観光科学研究, 8,31

倉田陽平・相尚寿・真田風(2015) 写真共有サイト投稿データを利用した新たな観光マップの構築. 観光科学研究, 8,

Flickrデータを利用した他の研究例

今日のまとめ• 観光客の分布推定（日高・磯田 2010）• 名所マップの自動作成（Chen et al. 2009）• 特定ランドマークに対する人気撮影スポットの抽出• 現在、データは既に膨大にある• それを研究で有効利用することも可能• 位置情報のついたデータは地図化，
文章のついたデータはテキストマイニングが常套手段• データの大きさに恐れず、さらにほかのデータとかけあわせると、面白いことが見えることも多い（Shirai et al. 2012）• 旅行者の観光地間の移動軌跡の推定（Giradin, et al. 2008）• 旅行者の観光地内の移動軌跡の推定（Kisilevich, et al. 2010; Lu, et al. 2010）• 移動軌跡をもとにした旅程推薦ツールの開発（De Choudhury, et al. 2010; 奥山・柳井 2011）
34

32

30

男女ペア＠浅草

倉田陽平・鞠山彩実・石川博（2016）Flickr画像を用いた観光空間内の写真撮
影行動の来訪者類型別比較－浅草を例として－. DEIM2016

33

今日のキーワード• スクレイピング（クローリング）• データクレンジング• ヒートマップ化• テキストマイニング• Twitter• Flickr• 観光ポテンシャルマップ
3536