画像認識技術を用いた旅行ブログエントリへの観光タイプおよびジオタグの自動付与
難波英嗣

広島市立大学大学院情報科学研究科

竹澤寿幸

広島市立大学大学院情報科学研究科

キーワード：ジオタギング、ランドマーク、画像認識、旅行ブログエントリ
1. はじめに図上に旅行ブログエントリをマッピングするこ

旅行者が旅先の観光情報を収集するために利とで、目的の場所に関する情報を地図上で検索で用する情報源の一つとして、旅行ガイドブックがきるようにしたものである。このシステムではさ挙げられる。一般的な旅行ガイドブックには、有らに、各ブログエントリのテキストを解析し、5名な観光名所、土産物、宿泊施設、飲食店など、種類の観光タイプ(買う、食べる、体験する、泊観光に関連する基本的な情報が掲載されている。

まる、見る)に自動分類している[石野 2014, Fujii

一方、ブログなどのソーシャルメディアでは、実2016]。しかし、観光タイプに自動分類する際、際に観光地を訪れた旅行者の経験に関する情報

各ブログエントリのテキスト情報のみ着目し、画を得ることができ、それらは訪問場所や宿泊施設像情報は利用していなかった。さらに、ブログエを選択する際に、大いに役立つ情報である。本研

ントリをマッピングする際に必要となるジオタ

究では、旅行に関するソーシャルメディア、特にグ(緯度、経度情報)は付与の自動化が十分な精度ブログの情報を活用するため、各ブログエントリで行うまでには至っておらず[佐々木 2016]、現にメタ情報を自動付与する手法を提案する。

状ではすべて人手で付与しなければならないと

著者らは、これまでに、旅行者が旅行中でのいう問題があった。

経験を記した「旅行ブログエントリ」を情報源

この問題に対し、本研究では、画像認識技術として活用するための様々な研究を行ってきを用いた解決方法を提案する。近年、深層学習ている。その成果のひとつに図 1 に示すぶらりを用いた画像認識技術が急速に進み、画像中の広島電停散歩 MAP1がある。このシステムは地物体や人物を認識することが可能になっている。本研究では、旅行ブログエントリへの観光タイプおよびジオタグの自動付与という問題にこの画像認識技術を利用する。次節では、提案手法の詳細について述べる。
2. 旅行ブログエントリへの観光タイプおよびジオタグの自動付与
本研究では、画像認識技術として、Google

図 1 ぶらり広島電停散歩 MAP

1

http://p2walker.jp/peace/ja/blog/

Cloud Vision API2を利用する。この API を用

2

https://cloud.google.com/vision/いると、例えば図 2 の画像に対し、図 3 のような結果が得られる。

図 2 Google Cloud Vision API で解析する
画像のサンプル（https://www.travelblog.org/Europe/United-Kingdom/Scotland/Midlothian/Edinburgh/blog-210916.html）

図 3 より、図 2 の画像は観光スポット(ランドマーク) “Alnwick Castle”に関するもので、緯度 55.415508、経度-1.706314 に位置すること、
さらに、この画像には、“castle”、“historic site”、“building”、“stately home”というラベルが付与されていることがわかる。これらの観光スポ
ット名やラベルのテキスト情報を、観光タイプを自動付与する際の情報として利用することで、観光タイプの付与精度の向上が期待できる。
また、ジオタグの自動付与は、図 3 の“Alnwick"landmarkAnnotations": [{"mid": "/m/011xs4","description":"Alnwick Castle","score": 0.3697571,"boundingPoly": {"vertices": [{"x": 31,"y": 79},{"x": 149,"y": 79},{"x": 149,"y": 110},{"x": 31,"y": 110}]},"locations": [{"latLng": {"latitude":55.415508,"longitude":-1.706314}}]"labelAnnotations":[{"mid":"/m/0d5gx","description":"castle","score":0.8911375},{"mid":"/m/07yr8h","description":"historic site","score":0.8786685},{"mid":"/m/0cgh4","description":"building","score":0.8429155},{"mid":"/m/0sy84","description":"stately home","score":0.66509914}],Castle”の緯度、経度がそのまま利用できると考えられる。

図 3 Google Cloud Vision API で図 1 の画像を解析した結果の一部

3. 実験
提案手法の有効性を確認するため、2 種類の実験の結果、20 エントリ中 18 エントリにお実験を行った。各実験について 3.1 節およびいて正しいジオタグが付与された。誤った 2

3.2 節でそれぞれ述べる。

件は、Google Cloud Vision の解析誤りによる3.1 ジオタグの自動付与(実験 1)ものであった。ひとつは、JR 大宮駅にある電代表的な旅行ブログサイトのひとつである光掲示板の画像を“Tokyo Station”と判断した

travelblog.org の中から任意に選択したエント例で、もうひとつは秋葉原のビル街の写真

リのうち、エントリ中の画像を、上述の Google“Tokyo”と判断した例であった。少なくとも前Cloud Vision API を用いて解析し、ランドマ者に関しては、自動判定されたランドマーク名ークが検出された 20 件を評価に用いた。

(“Tokyo Station”)がそのブログエントリの本

文中に出現するか否かにより、認識結果の正し程度の分類精度で観光タイプを自動付与できさがある程度判断できると考えられる。

ることが確認できたが、残念ながら、テキスト3.2 観光タイプの自動推定(実験 2)

法もテキスト+画像法も分類精度は変わらず、ブログエントリに人手で 5 種類の参照タイ
プおよび緯度、経度を付与した 1,537 件を実験

画像認識の有効性を確認するまでには至らなかった。に用いた。これらのデータのうち、画像が含まれる 38 件を評価用に、残りの 1499 件を訓練

4. おわりに用に用いた。いずれのブログエントリも、英語本研究では、画像認識技術を用いたジオタグで記述されている。分類には、fastText[Joulinおよび観光タイプの自動付与手法を提案し、少2016]を用いた。これは入力層、隠れ層、出力なくともジオタグの自動付与については、画像層 の 3 層 か ら な る DNN(Deep Neural

認識技術の有効性を確認した。

Network)をベースとした分類器である。この分類器を用い、以下の 3 種類の方法で実験を行謝辞った。

本研究の一部は、総務省による戦略的情報通信

テキスト法：ブログエントリ中のテキス研究開発推進制度(SCOPE)の支援を受けて行トのみを利用し、観光タイプを付与われた。

画像法：Google Cloud Vision API を用い

参考文献て画像認識した結果の文字列のみを利用

石野亜耶，藤井一輝，藤原泰士，前田剛，難波

し、観光タイプを付与

英嗣，竹澤寿幸. (2014) “旅行ブログエント

テキスト+画像法：テキスト法および画像

リと質問応答コンテンツを利用した旅行ガ法で用いるテキストをすべて利用し、観イドブックの情報拡張”『人工知能学会論文

光タイプを付与誌』，Vol.29，No.3，328-342．

各ブログエントリには、5 種類の観光タイプ

Fujii, K., Nanba, H., Takezawa T., Takezawa,(買う、食べる、体験する、泊まる、見る)のうちT., Ishino, A., Okumura, M., and Kurata, Y.

1 つ以上のタイプが人手で付与されている。学習(2016) “Travellers’ Behaviour Analysisには、すべての観光タイプを利用したが、評価にBasedは、システムが出力したタイプのうち上位 1 件のAttributes from Travel Blog Entries”. In

みを評価対象とした。実験結果を表 1 に示す。

Proceedings of Workshop of Artificial

on

AutomaticallyIdentified

Intelligence for Tourism, PRICAI 2016.
表 1 旅行ブログエントリへの観光タイプ付与実

佐々木隆志，難波英嗣，竹澤寿幸．(2016) “旅行ブログエントリへの緯度・経度情報の自動験の結果再現率精度付与” 第 8 回データ工学と情報マネジメン

テキスト法

0.574

0.711

トに関するフォーラム.

画像法

0.553

0.447

Joulin, A., Grave, E., Bojanowski, P., andテキスト+画像法

0.574

0.711

Mikolov, T. (2016). Bag of Tricks for
Efficient

実験の結果、画像の認識結果だけ用いてもある

Text

Classification.

Preprint arXiv:1607.01759

arXiv