日本ソフトウェア科学会第 41 回大会 (2024 年度) 講演論文集

テキストと画像情報を活用した観光地検索支援システ
ムの提案齊藤 輝伊藤 恵

本研究では，ユーザの嗜好を考慮した観光地検索システムを提案する．提案するシステムは，テキストと画像情報の両方を解析し，それらから抽出した特徴を基に観光地を推薦することを目的としている．具体的には，ユーザが入力する文章や画像から嗜好を分析し，データベースから特徴に合致する観光地や類似性の高い観光地を推薦する．先行研究では，テキスト解析や画像解析などのアプローチがされていたが，精度の低さが課題とされていた．ゆえに，本研究では，複数の手法を組み合わせることで高い精度を目指す．また，ユーザの観光地に関する嗜好が曖昧な場合でも，システム側から嗜好の候補を提案することで，ユーザの検索負担を軽減し直観的な選択を可能にする．評価方法
としては，構築したシステムと既存の地図アプリやブラウザ等を比較し，ユーザの満足度をアンケートで測定する．
今後は，システムの開発とその有効性を評価する実験を行う予定である．とが重要である．

1 はじめにそこで本研究では，ユーザの嗜好を考慮した観光観光産業は急速に発展している．経済産業省の調査

地検索システムの提案をする．このシステムでは，ま[3] によると，新型コロナウイルスの影響で，2020 年

ず，文章や画像などユーザが入力した情報を基に，シ5 月には旅行業・宿泊業の季節調整済指数 (経済指標ステムが感情や文脈などの特徴を抽出し，ユーザの嗜などの数値から季節変動の影響を除去した指数．この好を分析する．その結果，用意したデータベースから調査では 2015 年を 100 とし，比較している) は，ど特徴が当てはまる観光地，また類似性の高い観光地をちらも 20 ％を下回ったが，Go To トラベルや全国旅推薦する．

行支援などの政策により，ここ数年で持ち直し，2022

観光に関する研究は多くされており，様々な手法が年 10 月には以前よりも高い季節調整調整済指数と提案されている．嗜好を分析する方法は，分析対象のなった．そのため，観光産業は今後もさらに発展してデータ形式で分けると，文章解析と画像解析の二つにいくと考えられる．

分類される．文章解析による研究は，口コミなどのイ

しかし，観光産業の発展に伴い，課題も見え始めてンターネットから収集したデータと，クエリとして入いる．観光庁 [2] は，観光客がインターネットを利用力されるテキストを解析し，類似度の高い観光地を推して情報を収集する際，求める情報が簡単に見つから薦する研究である．画像解析による研究は，Web 等ず，多様な嗜好を持つ観光客が求める情報と合致してから収集した画像データと，クエリとして入力されるいないということが指摘された．そのため，嗜好を把画像データの特徴を抽出して類似度し，観光地を推薦握し，嗜好性に基づいた情報を得られるようにするこする研究である．画像の特徴とは，その観光地のジャA Proposal of a Tourist Spot Search Support System
Using Text and Image Information
Hikaru Saito, 公立はこだて未来大学システム情報科学部
情報アーキテクチャ学科, School of Systems Information Science and Department of Media Architecture,Future University Hakodate.

ンル (自然地形など) や，画像に写る物体の名称 (海，木ばど) を指す．既存の研究では，テキスト解析か画像解析のどちらか一方のみを提案している研究が多い．また，収集しているデータは，口コミ等のテキストか，画像データのどちらか一方に限定されている．

しかし，テキストから得られる情報と，画像から得ら析して抽出した「好み」タグを用いた観光スポット推れる情報は異なる．Guo ら [1] は，画像とテキストの薦システムの開発を行った．写真に写る物体の名称と情報は相補的であり，それぞれが異なる側面から対象その信頼度スコアがタグとして抽出することで，ユーを捉えるため，テキストと画像から得られる情報は異ザ個人の好みを分析している．結果として，好み抽出なると述べている．そのため，Web などのインターが不十分であることや，収集した写真の中に，観光とネット上の情報源から，テキストと画像情報の両方をは関係ない写真がノイズとして影響してしまうとい収集することで，より詳細な情報を持つデータベースう課題が指摘された．

を構築することが可能だと考えられる．
本研究では，文章解析と画像解析を組み合わせることで，従来より高い精度を目指す．また，検索した

2. 3 観光客の嗜好性と観光スポットを数値化して推薦する研究

いユーザ自身の嗜好が曖昧なものであった場合，その住友ら [4] は，観光客の嗜好性に合わせた合わせた要求を表現することはユーザにとって負担になるだ

観光スポットの魅力度を数値化し，観光客の移動時間けではなく，システムがユーザの嗜好を汲み取ることを考慮した観光経路のアルゴリズムを提案した．観光が難しくなる．そのため，システム側からユーザ側へ客の嗜好性を，「観光カテゴリ」に関する嗜好性ベク嗜好の候補を提案することで，検索を支援できるとトルと「感情」に関する嗜好性ベクトルを算出するこ考える．さらに，より直観的な選択を可能にするためとにより数値化を行っている．作成したアルゴリズムに，観光地の画像を数枚提示し，ユーザが気に入ったを実装し，募集した 71 名の被験者に利用してもらい，画像を選択してもらう操作を数回行うことで，嗜好のアンケートを実施した．結果として，利用者にとって分析が可能になり，ユーザの情報要求が曖昧であったニーズに合った観光地の提示が可能であると判明し場合でもユーザが負担に感じることなく検索できる．

た．しかし，すべての被験者に対して嗜好に合った観本研究では，ユーザの検索負担を軽減させるために，光地を推薦することができなかったため，観光スポッシステム側から画像の選択肢を提示し，ユーザの情報トの魅力度と観光客の満足度の関係について分析し，要求を汲み取ることも目指す．

客観的に評価できる方法を検討する必要がある．

2 関連研究3 提案手法2. 1 自由記述から観光地を推薦する研究

本研究では，ユーザの嗜好を考慮した，より精度の長尾ら [6] は，自身の要望にあった観光地を見つけ高い観光地推薦手法の確立を目的としている．1 節でることは難しいと考え，多様な要望を自由記述文とし述べたように，テキストから得られる情報，画像からて入力し最適な観光地を推薦するシステムを提案し得られる情報は異なる．2. 1 節で述べた関連研究はテた．クエリとして入力する自由記述と，各観光地を説

キストのみ，2. 2 節で述べた関連研究は画像情報のみ

明文に対し，形態素解析，ベクトル化，クラスタリンの研究であり，それぞれ片方のデータのみ活用したシグを行うことでベクトル化し，その類似度を計算するステムだったため，高い精度を出すことができなかっことで観光地を推薦する．しかし，インターネットかたと考える．また，2. 2 節では関係のない画像がノイら収集したデータ不足による精度の低さや，形態素ズになることが課題であったが，テキストも用いるこ

解析だけでは複雑な文章に対応できず不十分である，とで除外が可能であると考えられる．そこで，本研究という課題が挙げられた．

ではインターネットから収集したテキスト・画像情報から特徴を抽出し，ユーザの嗜好を考慮した観光地

2. 2 画像からユーザ個人の好みを抽出する研究を推薦するシステムを提案する．インターネットから

中野ら [5] は．ユーザ自身が保有する写真には，ユー収集する情報をテキストと画像情報の両方を対象し，ザ固有の「好み」が含まれていると仮定し，写真を分抽出した特徴を組み合わせることでより詳細なデータベースを構築する．それにより，従来より多い観点

嫌悪・恐れ・喜び・中立・悲しみ・驚きの七種類の感情割で類似度を比較することが可能になり，推薦の精度が合算出し，それらを一つのベクトルにまとめたもので向上すると考える．本研究で提案するシステムの概要ある．例えば，“函館山の夜景はきれいです” というテは以下の通りであり，概要を図 1 に示す．

キストから，[0.00969428, 0.03076578, 0.12267866,

1. データベースの構築

0.66109705, 0.14224996, 0.02053896, 0.01297538] と

2. ユーザからのテキストまたは画像検索
3. システムから観光地画像提いうベクトルを得ることができ，これは喜びの割合が大きいことを示している．画像情報からは CNN†2

4. ユーザの嗜好分析による新たな観光地推薦を用いることで画像のピクセル情報を数値化したベクトルを抽出する．このベクトルを用いると，画像3. 1 データベースの構築の視覚的観点から類似度を求めることが可能になる．

観光地に関する情報をインターネットから収集し，具体的には，二つのベクトルの内積を測ることで，類抽出した特徴を格納するデータベースを構築する．2. 3

似度を評価している．内積の値が大きいということ節を参考にし，感情の観点からも類似度を評価するこは，二つのベクトルが同じ方向を向いていることをとを目指す．そのため収集するデータは，観光地に関示しており，その二つのベクトルは類似しているといする GoogleMap の画像や口コミ，メタデータや観光える．例えば，函館付近の観光スポットである，函サイトで記載されているテキストを想定している．画

館山の夜景 (図 2) と五稜郭の景色 (図 3) に対し，城像は図 2 のような画像である．また，口コミは “きれ岱牧場展望台 (図 4) がどちらに類似しているか CNNい” や “楽しかった” などの感情ベースのテキストをを用いて求めたところ，城岱牧場展望台と函館山の多く含んでいるため収集する．メタデータは，場所や夜景の内積は 19683.505859375，五稜郭との内積はカテゴリなどの属性情報を指す．函館山であれば，函9690.763671875 であり，函館山の夜景の方が類似し館，自然などのデータを収集する．観光サイトとして，ているという結果を得ることができる．また，画像か例えば函館市の観光サイトである “はこぶら [7]” といら生成したキャプションテキストを BERT を用いるうサイトがある．函館山であれば，「函館市と近郊をことで高次元ベクトルに変換する．例えば，城岱牧一望できる展望台。両側を海に囲まれた独特の地形が場展望台 (図 4) に対してキャプション生成を行うと，演出する眺望、特に凛とした空気にきらめく夜景が満“a city at night with a sky background” というテキ喫できる。」など記載されているテキストを収集する．
収集したテキストに対して BERT†1 を活用し，テキストを得ることができる．このテキストに対して高次ストの意味や文脈情報を数値化した高次元ベクトル，めると，データベースへは，テキストから抽出したメ

感情的なトーンや感情の種類を数値化した感情ベクト

タデータ，高次元ベクトル，感情ベクトル，画像，画ルを抽出する．高次元ベクトルとは，テキストをトー像から抽出した CNN ベクトル，キャプション，キャクンに分解し，各トークンに対して BERT であらかプションから抽出する高次元ベクトルを格納する．

元ベクトルを算出し，データベースに格納する．まとじめ決められた 768 次元のベクトルの平均ベクトルである．例えば，“函館山の夜景はきれいです” というテ

3. 2 ユーザからのテキストまたは画像検索

キストからは，[-4.72808421e-01，-2.84938753e-01,ユーザからはテキスト入力または画像アップロード......, 6.40003234e-02] という 768 次元のベクトルをによる検索を行う．入力された情報から，3. 1 節で述得ることができる．感情ベクトルとは，BERT に登録

べた手法を活用し，ベクトルやキャプションテキストされている感情辞書を基にテキストに含まれる怒り・などの情報を抽出する．ユーザの入力情報をデータ†1 「自然言語処理モデル BERT(Bidirectional EncoderRepresentations from Transformers)」，https://arxiv.org/abs/1810.04805†2 「畳み込みニューラルネットワーク CNN(ConvolutionalNeural Networks)」, https://www.tensorflow.
org/tutorials/images/cnn?hl=ja

図1

図2

システムの概要図

図4

函館山

城岱牧場展望台

ベースの情報と照らし合わせ，場所などのメタデータの一致度やベクトル同士の内積を求めることで類似度を評価し，ユーザの嗜好に合わせた観光地を推薦する．

3. 3 システムから観光地画像提案
ユーザの嗜好が曖昧な場合，その要求を表現する
ことはユーザにとって負担になるだけではなく，システムがユーザの嗜好を汲み取ることが難しくなる．
そのため，システム側から観光地に関する画像の選
図3

五稜郭

択肢を提示し，気に入った画像をユーザに選択させ，ユーザの情報要求を汲み取る．選択した画像をユーザからの入力とみなし，3. 2 節で述べた手順で検索す

5 まとめる．画像の選択肢を提示し，ユーザに直観的に選択し本研究では，テキストと画像情報を解析し，その特てもらうことでユーザの検索時の負担の軽減と，シス徴を抽出することで，観光地検索を支援するシステム

テム側がユーザの嗜好を汲み取ることを容易にするを提案した．今後は，提案するシステムの開発に着手ことが可能になると考える．

し，プロトタイプの開発を予定している．プロトタイ
プ完成後には，4 節で述べた比較実験を実施し，シス

3. 4 ユーザの嗜好分析による新たな観光地推薦

テムの有効性を検証する．

ユーザが過去に行った観光地に対してお気に入り度合を評価してもらい，その内容を分析することによっ

参 考 文 献てユーザが興味を持ちそうな観光地を推薦する機能[1] Guo, W., Wang, J., and Wang, S.: Deep multimodal representation learning: A survey, Ieee Access, Vol. 7(2019), pp. 63373–63394.
[2] 観光庁: 「コロナ禍の生活におけるインターネットやSNS からの”情報”に対する意識と旅行」に関する意識調査, https://www.jtbcorp.jp/jp/newsroom/2021/04/sns.html, 2021. アクセス 2024 年 7 月 18 日.
[3] 経済産業省: アフターコロナの中で、どこまで回復したか −旅行・観光−, https://www.meti.go.jp/
statistics/toppage/report/minikaisetsu/hitokoto_kako/20230512hitokoto.html, 2023. アクセス 2024
年 7 月 18 日.
[4] 住友千将, 岳五一: 観光者の嗜好性を考慮した観光経路構成アルゴリズムの実装と実証実験, パーソナルコ
ンピュータ利用技術学会論文誌, Vol. 15, No. 1(2021),
pp. 13–20.
[5] 中野広貴, 荒澤孔明, 渡邊稜平, 服部峻: 観光写真から抽出した撮影者の好みに基づく観光スポット推薦, 電子
情報通信学会技術研究報告, Vol. 118, No. 408(2019),
pp. 45–50.
[6] 長尾将宏, 草野大智, 園田泰子, 本橋洋介, ほか: 自由記述文にもとづく観光スポットレコメンドシステムの提案, 研究報告コンシューマ・デバイス & システム
(CDS), Vol. 2020, No. 14(2020), pp. 1–5.
[7] 函館市観光部観光誘致課: はこぶら, https://www.
hakobura.jp/. アクセス 2024 年 8 月 18 日.

を検討する．

4 評価実験
システムの有用性を評価する方法に関しては，提案システムを用いて比較実験を行い，検索結果に対してのユーザの満足度をアンケートにより測ることで，どの程度ユーザの嗜好を反映できたのか検証する．デー
タの収集や保持のコストの観点から最初は対象地域を道南に限定し，著者らの所属大学の学生に対し実験を行う予定である．具体的には，まず，本システムを使った場合とそうでない場合でそれぞれ観光地を検索する．そうでない場合というのは，既存の地図アプリやブラウザ等，普段ユーザが使用するサービスを想定している．また，システムから観光地に関する画像を提案する機能についても実際に被験者に使ってもらい，アンケートによってユーザの満足度を測り，有効性を検証する．