WISS 2018

個人の旅行写真の一般物体認識に基づく観光地推薦のためのユーザインタフェース
北村 理紗 ∗

伊藤 貴之 ∗

概要. デジタルカメラやスマートフォンなどの普及に伴い，誰もがいつでもどこでも手軽に写真を撮影することが可能となった．今や写真が生活や行動履歴を記録するものとなりつつあり，ライフログの一種といっても過言ではない．そこで，このような写真を分析することで個人の嗜好を推測できるのではないかと考えた．我々は過去に撮影した旅行写真に着目してユーザの旅行の嗜好を推測し，その嗜好に合った観光地を推薦することを目的とした観光地推薦手法を研究しており，その一部として本報告では旅行写真を一覧表示するユーザインタフェースを提案する．我々は過去に撮影された旅行写真に一般物体認識を適用することで，よく撮影する被写体のキーワードを集め，そのキーワードを利用して特定の地域に関する観光地情報を抽出する．また本手法では，物体認識結果より得られたキーワード間の共起関係からグラフを構築し，さらに写真を追加したグラフを画面配置してユーザに提示する．

1

はじめにスマートフォンやタブレット端末などの普及に伴い，誰もが手軽に写真を撮影することが可能となり，写真はライフログの一種といっても過言ではない．
我々はこのような写真を分析することで個人の嗜好を推測できるのではないかと考えた．この考えにもとづき我々は，過去に撮影された旅行写真に一般物体認識を適用し，よく撮影する被写体のキーワードを集め，それらを利用して特定の地域に関する観光地情報を抽出する観光地推薦手法を研究している．
その一部として本報告では，旅行写真の被写体情報にもとづいて大量の旅行写真を構造化し，旅行目的に応じて被写体ごとに写真を一覧表示するユーザインタフェースを提案する．
このユーザインタフェースでは，一般物体認識から得られたキーワードの関係をグラフ構造化し，そのグラフ配置結果に写真を追加して表示することで，旅行目的で旅行写真を整理して提示する．その画面上でユーザが特に関心のある写真を選択すると，本手法は選択された写真の被写体に対応するキーワードを集め，そのキーワード群に関連する観光地の情報を抽出し，ユーザに提示する．

2

関連研究

写真を利用した旅行推薦システムの多くは，写真のジオタグ情報を用いている [1, 2]．倉島ら [1] は，Flickr に投稿された写真のジオタグ情報を人々の旅行履歴として行動モデルを生成した手法を提案している．Gao ら [2] は，Flickr の写真に付与されているタグとジオタグ情報，Yahoo Travel Guide を利∗

Copyright is held by the author(s).
お茶の水女子大学

用してユーザの興味を考慮したランドマークをランク付けして提示する旅行ガイドシステムを提案している．
これらの手法は写真のジオタグ情報を前提とした手法であり，位置情報が付加された写真を利用することが前提となっている．そこで我々は，ジオタグ情報を利用せず，旅行写真における被写体情報からユーザの旅行の嗜好を推測し，その好みにあった観光地を推薦する手法を研究している．なお本研究では，旅行の目的地となる都市や地域は決まっているが，具体的にどの都市や地域の中でどのような観光名所を訪れるか決まっていないという状況を想定して，その都市や地域における観光名所を推薦するシステムの開発を目指している．

33.1

提案手法
キーワードの付与

本研究では位置情報が付与されていない写真に対して，一般物体認識を用いて被写体の情報を取得する．我々の実装では，Microsoft の画像認識 API である Computer Vision API [3] を用いることで一般物体認識の情報を取得する．Computer Vision API
では一般物体認識結果を物体名のリストで返し，その各々について範囲 [0,1] の実数で確信度を返す．

3.2

物体認識結果のグラフ構造化

本手法のユーザインタフェースでは，キーワードをノードとしたグラフを構築し，これを Koala [4]で画面配置する．i 番目の写真の j 番目のキーワー
ドの確信度を cij , キーワードの総数を m, 写真の総数を n とし，以下の処理によってノードのクラスタリングを実行する．

WISS 2018

• j 番目のキーワードに対応するノードを n 次
元ベクトル (c1j , ..., cnj ) で表現する．
• 任意の 2 ノード間についてベクトルの内積を算出し，内積が閾値以上であれば 2 ノードをエッジで接続する．この処理は同一写真での共起度の高いキーワードをエッジで接続することに相当する．

• 同一キーワードと共起する傾向にある 2 つのキーワードをできるだけ同一クラスタに所属させる．この処理によって，上位概念となる同一のキーワードに共起する下位概念のキーワード群が同一クラスタに所属されるようなクラスタリング結果を得る．
以上のクラスタリングを施したグラフを Koala により画面配置する．

3.3 旅行目的を選択するユーザインタフェース
Koala より得られたグラフ配置結果を JSON 形式で出力し，グラフ描画できる JavaScript ライブ
ラリの cola.js [5] を利用してユーザインタフェースを提供する．本手法では，図 1 のように，1 つのクラスタを 1 つのノードとし，各ノードを表示する際には，ノードに属するキーワードをあわせて表示する．また，キーワードが付与された写真を複数枚選び，各ノードからエッジで接続して表示する．写真を新たに追加することで，ユーザは被写体で分類された写真群を確認することができる．
エッジ数が多いノードであればあるほど，そのノードにおけるキーワードは写真に付与される確率の高いキーワードであり，極めて一般性の高い単語であると考えられる．そこで，クラスタのエッジ数で表示するノードを制限し，木構造のように表示することで，ユーザの旅行目的を絞り込むのに適したユーザインタフェースを提供する．

3.4

観光地の検索我々の実装では，観光地情報の抽出に，特定の地域やキーワードを指定して場所を検索できる Google
Places API Web Service [6] を使用する．この APIを用いることで，指定したキーワードを含む情報が，場所の名前やタイプ，住所，ユーザのクチコミなどと照らし合わせて検索される．本手法では 3.3 節のユーザインタフェースを用いて，ユーザに関心のあるノードもしくは写真ノードを選択させ，選択されたノードに含まれるキーワード（もしくは選択された写真に付与されたキーワード）を観光地検索に使用するキーワードとする．

4

まとめと今後の課題

我々は旅行写真の被写体情報を利用した観光地推薦手法を研究しており，その一部として本報告では，

図 1. ユーザインタフェースの例

旅行目的に応じて被写体ごとに写真を一覧表示するユーザインタフェースを提案した．
本研究はまだ観光地の検索機能を含めて実装が完成していない．そこで当面はユーザインタフェースの実装の完成を課題とする．また，ユーザ操作による重み付けと画面配置されたネットワークの接続構
造からキーワードの重み付けを計算する手法を検討したい．

参考文献[1] T. Kurashima, T. Iwata, G. Irie and K. Fujimura, Travel route recommendation using geotags in photo sharing sites, In Proceedings of the19th ACM international conference on Information and knowledge management, pp. 579-588,
2010.
[2] Y. Gao, J. Tang, R. Hong, Q. Dai, T.-S. Chuaand R. Jain, W2Go: a travel guidance system byautomatic landmark ranking, In Proceedings ofthe 18th ACM international conference on Multimedia, pp. 123-132, 2010.
[3] ComputerVisionAPI,https://azure.microsoft.com/jajp/services/cognitive-services/computer-vision/.
[4] T. Itoh and K. Klein, Key-node-Separated Graph
Clustering and Layout for Human Relationship
Graph Visualization, IEEE Computer Graphics
and Applications, Vol. 35, No. 6, pp. 30-40, 2015.
[5] cola.js, http://marvl.infotech.monash.edu/webcola/.
[6] GooglePlacesAPIWebService,https://developers.google.com/places/webservice/intro?hl=ja.