DEIM Forum 2023 5a-8-6

観光写真と口コミ情報を用いた感情分析に基づく類似スポット推薦手法の提案
大岡 航輝†

王元元†† 山口大学大学院創成科学研究科 〒 755–8611 山口県宇部市常盤台 2-16-1
E-mail: †{c098vgw, y.wang}@yamaguchi-u.ac.jp
あらまし

近年，新型コロナウイルスの影響で観光をするのが難しい状況でしたが，新型コロナウイルスの感染は収束しつつある．さらに，人々が観光に行きやすくするための国からのサポートもあり，観光への意識がより一層高まってくることが考えられる．これまでの観光スポット推薦は口コミの評価によってされていることが多いが，観光スポットの印象や景観を考慮していない．また，観光写真による類似スポットの推薦では，ユーザの満足度が保証できない．
我々はこれまで，色情報の類似度を考慮せずに類似スポットを発見し，感情分析では口コミと観光写真の一番割合の高い色情報のみを用い検証を行ってきた．本研究では，SIFT 特徴量やラベルによる物体検出のみならず，色情報の類似度も考慮して類似スポットを発見し，口コミと観光写真のドミナントカラーを用いて満足度が高いスポットを推薦する．本論文では，提案した観光スポット推薦手法について述べ，最後に，提案ランキング手法の有効性を検証する．
キーワード 観光スポット推薦，観光写真，口コミ情報，画像検索，感情分析
最後に，画像周辺テキスト類似度としてラベルを用いる．ラベ

1 はじめに近年，口コミ情報や評価を示した星の数を考慮して観光ス
ポットのランキングを多くの Web サイトで出されていることが主流となった．Tripadvisor 1 やじゃらん net 2 など多くの観光ス
ポット推薦サイトでは，ユーザの観光スポット選択の手段として口コミ情報と評価を示した星の数は重要であり，観光スポット推薦に関する研究が広く行われている．しかし，観光写真から色情報を抽出し，ポジティブな印象を与える観光スポットを推薦するといった研究はあまり行われていない．本研究では，
寺，神社，城の 3 つのカテゴリの中で，画像特徴量類似度，画像色情報類似度，画像周辺テキスト類似度の 3 つの類似度から画像スコアを算出し，画像の色情報とレビューに対する感情分
析から感情スコアを算出する．画像スコアと感情スコアを用いて総合スコアを算出することで入力写真と類似しているかつポジティブな印象を与える観光スポットをランキングし推薦する手法を提案する．

ルは Google Cloud Vision API 4 を用いて抽出する．画像特徴
量類似度，画像色情報類似度，画像周辺テキスト類似度の 3 つの類似度をそれぞれ正規化し，画像スコアを算出する．次に，画像感情値としてドミナントカラーの彩度と明度を用い，ポジティブな印象を与えるほど高い値になるように評価式を立てた．
ドミナントカラーは Google Cloud Vision API を用いて抽出する．次に，レビュー感情値としてレビュー集合を用いポジティブなレビューが多いほど高い値になるように評価式を立てた．
レビュー集合は Tripadvisor のレビューを使用し，レビューがポジティブかネガティブかは Google Natural Language API 5を用いて判断した．画像感情値とレビュー感情値を正規化し，感情スコアを算出する．次に，推薦観光スポット数 x を決定し，画像スコアの上位 2x の観光スポットを選出する．最後に，選んだ観光スポットが正規化した画像スコアと感情スコアを重み付け，総合スコアを算出し，入力写真と類似しているかつポジティブな印象を与える観光スポットの推薦を行う．

図 1 に提案する画像検索と感情分析に基づく観光スポット推薦手法の概要図を示す．提案手法では，Google に投稿された観光写真を入力写真とデータセットとして用いる．データセッ
トは寺，神社，城の 3 つのカテゴリにわける．まず，画像特徴量類似度として SIFT (Scale-Invariant Feature Transform) 特徴量を用いる．次に，画像色情報類似度として観光写真の前景のドミナントカラー，背景のドミナントカラー，イメージ全体

図1

画像検索と感情分析に基づく観光スポット推薦手法の概要図のドミナントカラーを用いる．それぞれのドミナントカラー
は Microsoft Azure Computer Vision API 3 を用いて抽出する．

本論文の構成は以下のとおりである．2 章では観光スポット推薦システムに関する研究を紹介し，3 章では，画像スコアと1：https://www.tripadvisor.jp/
2：https://www.jalan.net/

4：https://cloud.google.com/vision

3：https://azure.microsoft.com/ja-jp

5：https://cloud.google.com/natural-language/

感情スコアを算出し，それに基づく総合スコア算出について説明する．4 章では，アンケートによる正解データを用いた提案
手法の評価実験について述べる．最後に，5 章でまとめと今後の課題について述べる．

2 関連研究図 2 SIFT 特徴量抽出の例

観 光 ス ポット 推 薦 に 関 す る 研 究 は 数 多 く さ れ て い る ．

Kurashima ら [1] はジオタグを利用したトラベルルート推薦手法を提案している．観光ルートを推薦しているがスポットを推∑|V |⃗ = √q , d)
cos(⃗

∑|V |

薦する点で本研究とは異なる．Bao ら [2] はユーザの好みを考慮した観光スポットを推薦している．Gao ら [3] はユーザの興味を考慮したランドマークを提示する旅行ガイドシステムを提案している．ユーザの好みを重視している研究が多いが，類似性を考慮する点から本研究とは異なる．
また，本研究で扱う画像検索を用いた研究は多くされている．

Teichmann ら [4] は画像検索のための効率的な地域集約を提案している．Wu ら [5] はユーザの行動と満足度に対する画像検索の意図の影響を調査している．このように，画像検索に関する研究は多く，画像の類似度を考慮した検証も多い．本研究でも画像の類似度を用いるが，画像から SIFT 特徴量の類似度を算出し，色情報も考慮し，画像からタグを抽出しテキスト分析するという点で異なる．
これまでに感情分析に関する研究はいくつか行われてきた．
住友ら [6] は観光者の嗜好性に合わせた観光スポットの魅力度を数値化し，得られた観光スポットの魅力度を用いて観光者の移動時間を考慮した観光経路の構成アルゴリズムを提案している．本研究では口コミをポジティブかネガティブかを数値化しているところで本研究とは異なる．Yang ら [7] は E コマース
製品の感情分析を感情レキシコンとディープラーニングによって行っている．Xu ら [8] は感情の寄与を統合する改良された単語表現方法を提案している．本研究は画像から色情報を抽出し，ポジティブな感情を与える観光スポットを推薦している点で異なる．組み合わせることで，互いの優れた点を活かしつつ，欠点を補完することで精度を高められたと考えられる．

3 画像検索と感情分析に基づく観光スポット推薦
3. 1 画像スコア算出

i=1i=1qi2 ·qi d i√∑|V | 2
di=1 i(1)

入力写真とデータセットの写真の SIFT 特徴量のコサイン類似度を求めることにより，画像全体でも類似しているかつ観光地である建築物の類似している観光スポットをデータセットの中から推薦することができる．
次に，画像色情報類似度（CS ）として，観光写真の前景のドミナントカラー，背景のドミナントカラー，イメージ全体のドミナントカラーを使用する．本研究で観光写真のそれぞれのドミナントカラーは Microsoft Azure Computer Vision API を使用して抽出する．まず，事前に対象観光写真の前景，背景，イメージ全体のドミナントカラーを抽出し，データベースに保存する．次に，ユーザが入力した観光写真の前景，背景，イメージ全体のドミナントカラーを抽出する．さらに，前景，背景，イメージ全体で抽出したドミナントカラーの数を重みとしてベクトル化する．最後に，このベクトルを用いて上記の式 (1)よりラベルのコサイン類似度を算出する．ドミナントカラーを使った類似度を求めることにより画像全体の色の類似度を求めることができ，画像全体で類似した観光スポットを発見することができる．
次に，画像周辺テキスト類似度（TS ）としてラベルと確信度を使用する．ラベルは画像に写っている物体や景色をテキストに置き換えたものである．確信度とは画像から抽出したラベルがどのくらいの確率で合っているのかを数値化したものである．本研究でラベルと確信度は Google Cloud Vision API を使用して抽出する．まず，事前に対象観光写真のラベルとその確信度を抽出し，データベースに保存する．次に，ユーザが入力した観光写真にラベル付けし，確信度を得る．そして，重複したラベルを削除する．さらに，ラベルの確信度の重みをベク

本研究では，画像を分析し情報を抽出する．入力写真とデートル化する．最後に，このベクトルを用いて上記の式 (1) より

タセットで用いる写真は Google に投稿された画像を使用する．

ラベルのコサイン類似度を算出する．ラベルを使った類似度を画像特徴量類似度（IS ）として SIFT 特徴量を使用する．SIFT求めることにより画像全体の類似度を求めることができ，画像特徴量は照明変化や回転，拡大縮小に強い特徴量である．これ全体で類似した観光スポットを発見することができる．

により，物体検出が可能になり類似した画像を発見することができる．図 2 に SIFT 特徴量抽出の例を示す．
まず，事前に対象観光写真の SIFT 特徴量を抽出し，データベースに保存する．次に，ユーザが入力した観光写真の SIFT特徴量を抽出する．最後に両方の SIFT をマッチして，画像SIFT 特徴量のコサイン類似度を算出する．コサイン類似度は下記の式 (1) を用いて求める．

最後に，画像特徴量類似度（IS ），画像色情報類似度（CS ），画像周辺テキスト類似度（TS ）の 3 つの類似度を正規化して，下記の式 (2) のように画像スコア（I ）を算出する．

I = α × IS + α × CS + α × T S(2)

画像特徴量類似度（IS ），画像色情報類似度（CS ），画像周辺テキスト類似度（TS ）の 3 つは同じ程度に重視するため，重み係数 α の値を 0.333（1/3）とした．

表1

より満足度の高い観光スポットを推薦することが可能となる．

図 2 のラベルとその確信度の例

ラベル

確信度

最後に，画像感情値（CE ）とレビュー感情値（RE ）を正規

Plant

0.964化して，下記の式 (5) のように感情スコア（E ）を算出する．

Botany0.902

Window0.891

Tree0.883

画像感情値（CE ）とレビュー感情値（RE ）の両方は同じ程度

Chinese architecture

0.880に重視するため，重み係数 β の値を 0.5（1/2）とした．

Temple0.879

3. 3 総合スコア算出

Sky0.844

まず，画像スコア（I ）と感情スコア（E ）を正規化します．

Shade0.824

推薦観光スポット数 x を決定し，画像スコア上位 2x の観光ス

Wood0.810

ポット数を選出します．これは画像スコア（I ）により類似しLeisure0.808ている観光スポットを発見し，その中で感情スコア（E ）によ

E = β × CE + (1 − β) × RE

(5)

りポジティブな印象を与える観光スポットを選出するということである．最後に，選んだ観光スポット数が正規化した画像ス

3. 2 感情スコア算出
感情スコアでは観光写真とレビューから口コミ情報を抽出する．画像感情値（CE ）として色の彩度と明度を用いる．観光写
真を見てその観光スポットに行ってみたいか行きたくないかの判別は色が関係しているのではないかと考えた．まず，Google

Cloud Vision API を用いて観光写真のドミナントカラーの割合（r ）と RGB 値を抽出する．そして，RGB 値から HSV 値

コア（I ）と感情スコア（E ）を重み付け，下記の式 (6) を用いて総合スコア（OS ）を算出する．

OS = γ × I + (1 − γ) × E(6)

画像スコア（I ）と感情スコア（E ）の両方は同じ程度に重視するため，γ の値を 0.5（1/2）とした．に変換することで，彩度（s）と明度（v ）を導出できる．それ
ぞれの色の割合，彩度と明度を用いて各観光写真の画像感情（CE ）を算出する．画像感情値（CE ）は下記の式 (3) を用いて求める．

CE =n∑(rk × δ ×k=1skvk+ (1 − δ) ×100100)(3)

この式の n は抽出されたドミナントカラーの数であり，ドミナントカラーの割合はすべてのドミナントカラーの割合 rk を足すと 1 になるように設定している．すべてのドミナントカ
ラーの彩度と明度を考慮することで，画像全体の彩度（sk ）と明度（vk ）を求めた．これにより，ユーザに観光写真からポジティブな印象を与える観光スポットを見つけることができる．

図3

次に，レビュー感情値（RE ）として観光スポットのレビュー入力写真の一覧を用いる．実際に行った観光スポットのレビューは感情が多く含まれている．口コミなどの評価は観光地を決める上でとても大きい要素である．レビューは Tripadvisor から情報を抽出した．まず，各観光スポットのレビュー集合を取得する．次に，

4 評価実験
4. 1 データセット概要

Google Natural Language API を用いてレビューごとに対する提案手法で利用するデータセットは Google に投稿された画感情分析に基づきポジティブ・ネガティブ情報をする．Google像を収集した．データセットは寺，神社，城の 3 つのカテゴリ

Natural Language API の感情分析のスコアが 0 よりも大きいを用意した．各カテゴリは 1,000 枚の観光画像からできている．

レビューをポジティブなレビューとし，0 よりも小さいレビュー

50 件の観光スポットで各観光スポットにつき異なる 20 枚の観をネガティブなレビューとした．最後に，下記の式 (4) のよう光写真を収集した．対象スポットは Tripadvisor のレビューがにポジティブ・ネガティブレビュー数を用いてレビュー感情値30 件以上の観光スポットとする．

（RE ）を算出する．

#positives − #negatives
RE =total#reviews

本研究で扱う入力写真の一覧を以下の図 3 に示す．上段の 3(4)

これにより，実際に観光スポットに行ったユーザからの信頼度の高い評価を考慮することができます．そして，レビューに枚は寺の入力写真，中段の 3 枚は神社の入力写真，下段の 3 枚は城の入力写真となっている．
すべてのランキングは上位 10 件を示しており，重複した観光スポットを削除している．

4. 2 観光スポット推薦の有効性検証

5 おわりに4. 2. 1 実 験 概 要
本節では，3 章で算出した画像スコア，感情スコア，総合ス
コアをもとにした観光スポットランキングを用意し，被験者が入力写真と最も関係している観光スポット上位 10 件を並べてもらい，そのランキングをその被験者の正解データとして検証に用いた．

本研究では，画像検索に着目した旅行計画および観光周遊を効果的かつ効率的に支援するために，画像検索から入力写真の観光スポットに関連するスポットを発見し，感情分析に基づく満足度が高いスポットの推薦手法を提案した．そのため，画像特徴量類似度，画像色情報類似度，画像周辺テキスト類似度の用意した 4 つのランキングはそれぞれ違うスコア算出方法であり，以下のように定めて実験を行った．

3 つの類似度に基づく画像スコアを算出した．次に，画像の色情報と口コミ情報に対する感情分析に基づく感情スコアを算出（ 1 ） 画像スコアによるランキングした．最後に，画像スコアと感情スコアを用いて観光スポット（ 2 ） 感情スコアによるランキングの総合スコアを算出することで，観光スポットをランキングし（ 3 ） 制限ない総合スコアによるランキングユーザに提供した．

（ 4 ） 画像スコア上位 20 件スポットの総合スコアによるランキング

今後の課題として，画像感情値算出の明度と彩度の重みの調整と画像スコア，感情スコア，総合スコアの重みの調整を行う

今回の実験では，20 代の計 10 名の被験者（男性：9 名，女予定である．

性：1 名）を対象とした．被験者により作成した正解データと提案ランキングを MRR ，MAP ，nDCG@10 の 3 つのランキ

謝辞

ング指標を用いて評価する．
本研究の一部は，JSPS 科研費 JP19H04118，JP21K17862

4. 2. 2 実験結果と考察
本節では，表 2 に画像スコアと感情スコアの算出方法改善前の助成を受けたものである．ここに記して謝意を表す．

を比較手法，画像スコアと感情スコアの算出方法改善後を提案手法とした観光スポットランキングの評価結果を示す．
表2

手法

比較手法

提案手法

観光スポットランキングの評価結果

ランキング

MRR

MAP

nDCG@10（1）

0.629

0.540

0.632

（2）

0.737

0.651

0.679

（3）

0.603

0.505

0.601

（4）

0.530

0.481

0.595

（1）

0.714 0.608

0.660（2）0.872 0.712

0.736

（3）

0.685 0.554

0.643

（4）

0.590 0.495

0.613

比較手法と提案手法の観光スポットランキングの評価結果を比較すると提案手法のほうが MRR ，MAP ，nDCG@10 のどの指標でも値が高く，精度が向上したことで，改善による有効性を確認することができた．
（2）感情スコアによるランキングのほうが（1）画像スコアによるランキングより MRR ，MAP ，nDCG@10 のどの指標でも値が高いこと，（3）制限ない総合スコアによるランキングのほうが（4）画像スコア上位 20 件スポットの総合スコアによるランキングより MRR ，MAP ，nDCG@10 のどの指標でも値が高いことからユーザは観光スポットを選ぶ際に自身の感情を重要視していることがわかる．また，画像感情値算出の明度と彩度の重みと画像スコア，感情スコア，総合スコアの重みは最適な値になるように十分に実験を行う必要がある．

文献[1] Takeshi Kurashima, Tomoharu Iwata, Go Irie, and Ko Fujimura: Travel Route Recommendation Using Geotags inPhoto Sharing Sites. In Proceedings of the 19th ACM International Conference on Information and Knowledge Management (CIKM ’10), pp. 579-588. 2010.
[2] Jie Bao, Yu Zheng, and Mohamed F. Mokbel: Locationbased and Preference-Aware Recommendation Using Sparse
Geo-Social Networking Data. In Proceedings of the 20thInternational Conference on Advances in Geographic Information Systems (SIGSPATIAL ’12), pp. 199-208, November
2012.
[3] Yue Gao, Jinhui Tang, Richang Hong, Qionghai Dai, TatSeng Chua, and Ramesh Jain: W2Go: A Travel Guidance
System by Automatic Landmark Ranking. In Proceedingsof the 18th ACM international conference on Multimedia(MM ’10), pp. 123-132, 2010.
[4] Marvin Teichmann, Andre Araujo, Menglong Zhu, and Jack
Sim: Detect-to-Retrieve: Eﬃcient Regional Aggregation forImage Search. In Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition (CVPR ’19),
pp. 5109-5118, 2019.
[5] Zhijing Wu, Yiqun Liu, Qianfan Zhang, Kailu Wu, MinZhang, and Shaoping Ma: The Inﬂuence of Image Search
Intents on User Behavior and Satisfaction. In Proceedings ofthe Twelfth ACM International Conference on Web Searchand Data Mining (WSDM ’19), pp. 645-653, January 2019.
[6] 住友千将, 岳五一: 観光者の嗜好性を考慮した観光経路構成アルゴリズムの実装と実証実験. パーソナルコンピュータ利用技術学
会論文誌, Vol. 15, No. 1, pp. 13-20, 2021 年 3 月.
[7] Li Yang, Ying Li, Jin Wang, and R. Simon Sherratt: Sentiment Analysis for E-Commerce Product Reviews in Chinese
based on Sentiment Lexicon and Deep Learning. In IEEE
Access, Vol. 8, pp. 23522-23530, January 2020.
[8] Guixian Xu, Yueting Meng, Xiaoyu Qiu, Ziheng Yu, andXu Wu: Sentiment Analysis of Comment Texts Based on
BiLSTM. In IEEE Access, Vol. 7, pp. 51522-51532, April
2019.