Deep Learning を用いた自然系観光地に対する印象評価推定 AI の作成と検証‐観光口コミサイトの画像とコメントを対象に‐

大嶋 康平
1．はじめに1．3. 研究方法

1．1．研究の背景と目的

本研究では、既往研究を参考に画像が約 1000 件とこれまで、訪日外国人旅行者数やその消費額は近年なるように、また、観光地によってスクレイピング急速に増加してきた。それにより、日本経済におけされるコメントの件数が偏らないように観光口コミる観光の存在感も高まっていた。しかしながら、2020

サイト Tripadvisor ( 注 2) から日本人の口コミが多く投年（令和 2 年）1 月以降、新型コロナウイルス感染症稿された６地域の上位 10 位までの観光地のコメントの世界的な拡大により、観光需要は大きく減少していを 100 件ずつスクレイピングする。その中で画像が含る。今後、コロナ以前の外国人旅行者数に戻るまで、まれていないものを取り除き、画像について構成要素長い時間がかかることが予想される。したがって、日分析を行う。その結果、自然系の構成要素が 50％以本人に特化した対応をすることがまず第一歩である。

上含まれていると認められたものについて、自然系

しかし、今現在、旅行者にアンケートを取るのは、観光地の画像として、そのコメントを「Positive」と困難な状況である。そこで近年様々な人工知能技術を「Negative」の２クラスに分類する。さらに、コメン用いた画像認識システムの実用化が進んでおり、とくトを感情分析した３つのクラスに分類する。最後に、に Deep Learning（深層学習）は、国際的な画像認識

その結果を Deep Learning を用いて、AI に学習させ、コンテスト「ILSVRC」( 注 1) において従来の画像認識手その精度を検証する。
表 1 対象観光地法を大幅に上回る認識精度を実現し、現在の人工知能東京都ブームの火付け役となった。また、画像認識の技術は
1

数多くの分野に応用されており、情報技術の普及に

2
3JAL 工場見学
明治神宮
千鳥ヶ淵

北海道
1神威岬
旭岳

京都府
1223 ニッカウヰスキー 3
余市蒸留所444根津美術館
函館山
555
新宿御苑
礼文島
6 東京国立博物館 6 旭山動物園 6
7 江戸東京たてもの園 7 上野ファーム 7

伴って、都市建築分野においても、これまで以上に画像を取り扱う機会が増えた。
そこで、本研究は都市計画分野における画像認識技術を用いた先駆的な研究として、「日本の観光地の画像」と「そのコメント」を学習させ、自然系観光地の評価を推定する A I の適用可能性を明らかにすること

8

東京タワー

9吉祥寺

10 羽田空港第 2 ターミ 10ナル展望デッキ

大阪府

関 連 す る 既 往 研 究 と し て、 山 田 ら (1) は、 異 な る

丘陵公園
知床五湖

10

沖縄県

1

サントリー山崎 1 ニシ浜ビーチ 1
蒸留所
2 ザ・シンフォニー 2 沖縄美ら海水 2ホール
族館
3
万博記念公園 3 与那覇前浜 3ビーチ

都市の街路の街並み画像と訪問意欲の分類・推定にDeep Learning を適用している。また、VR 技術を併用した研究も行われており、瀧澤ら (2) は V R 空間で実施した印象評価実験を V R 空間の 360 天球画像から推定伴う印象評価実験を行わずに、観光地口コミサイトからスクレイピングした日本の自然系観光地の画像に絞って評価の分類・推定に Deep Learning の適用を試みた研究は筆者が知る限りでは見当たらず、この点が

6-1

桂離宮

神奈川県
YOKOSUKA 軍港巡り
ポーラ美術館
大さん橋

八重干瀬

4

報国寺
( 竹寺 )

5 インスタントラーメン 5
発明記念館
66
造幣博物館

座間味島

5長谷寺

伊良部大橋
西表島

6 横浜みなとみらい 21

7

住吉大社

8

キッズプラザ大阪

9

法善寺

77

8 コンドイビーチ 8910 大阪市中央公会堂 10

本研究の新規性に該当する。

東寺

4 なんばグランド花月 4することに Deep Learning を適用している。しかし、今現在、コロナウイルスの感染拡大を考慮して接触を伏見稲荷大社
東福寺
仁和寺

8 大倉山ジャンプ 8
鞍馬山競技場
9 滝野スズラン 9 大河内山荘庭園が目的である。
1．2．既往研究

三十三間堂
禅院寺永観堂青蓮院

果報バンタ 9
はての浜 10

キリンビール
横浜工場
円覚寺
三渓園
明月院
( あじさい寺 )最後に、Deep Learning を用いて、上述の結果を AI

２. 研究概要
世界的観光口コミサイト Tripadvisor において、日に学習させ、評価の推定を行った。具体的には、予測本人の口コミ数が多かった東京都、北海道、沖縄県、モデルの構築に Apple Core ML architecture( 注 5) を神奈川県、大阪府、京都府の評価点数や投稿件数か用い、画像とともに取り出したコメントを感情分析しら出されたランキングの上位 10 地域の観光地に対した結果をもとに、自然系観光地の画像をラベル付けし、て投稿された口コミの新しいものから 100 件ずつス

その評価を推定する AI の作成を行った。

クレイピングした合計 6000 件のコメントを用いる。
スクレイピングには、G o o g l e の拡張機能である W e b
Scraper を用いた。Web Scraper は Web サイト内の情報を取得できるスクレイピングツールである。
次に、構成要素の分析を行った。スクレイピングによって得られた 3633 枚の画像の中には、食べ物や建物の写真など今回の研究に適さない画像も含まれる。
そこで、まず画像の構成要素を分類する。今回利用した画像構成要素分析アルゴリズムは、M X N e t ( 注 3) で事前に学習させたモデルを用いて構築した。このアルゴリズムは、画像に含まれる景観要素とその割合を判断し、その上で、画像に表現された景観の種類（自然景観か文化景観か）を判別するものである。
次に、コメントの感情分析を行った。まず、コメン
図 1 構成要素分析アルゴリズム

トを「Positive」と「Negative」の 2 クラスに分類する。次に、さらに詳しく「Positive」を「happy」と「surprise」の２つに、「Negative」を「sad」に、合わせて３クラスに分類した。今回利用したのは、日本語の Sentiment Analysis( 注 4) である sentiment_ja を用いた。感情分析とは、文全体が持つ感情の特徴（専門的には、感情極性と呼んだりします）を予測するタスクであり、文書分類器を用いて解かれるものである。

図２ テキスト感情分析アルゴリズム

図３ スクレイピング画像例 （左 6 枚 Positive 右６枚 Negative）
6-2

３. 学習結果（2 クラス分類）と評価の関係にあることから、このような推定精度の検証

学習データセットは、上述した処理を経て、6000には両者の調和平均である F-Measures も用いられる。

件のコメントから 3633 枚の画像について構成要素分

F-Measures の値は、約 96% であり、高い精度が得ら析を行い、自然系の観光地と判断された 1008 枚としれた。次に統計的な精度評価を示す。用いた統計指標

た。本章のクラスは「Positive」「Negative」というは Kappa 係数である。Kappa 係数は医療統計や心理統評価の 2 クラスである。学習の推移と結果を示す。

計に用いられている統計量であり、値は－１から１までの値をとり、数値が１に近いほど精度が高いといえる。今回の K a p p a 係数は 0.6256 となり、医療統計の分野の知見を引用すれば、実質的に一致しているとみなされる値である。計算式を以下に示す。

図４ 2 クラス分類 AI の学習結果
グラフの縦軸は正確性であり全画像枚数のうち何枚を正しいクラスに推定したかを示している。一方は作成する際に使用した学習用のデータセットに対する正以上のように本章では、A I の建築・都市に関わる確性であり、他方は A I がランダムに抽出したデータ画像への萌芽性について、観光口コミサイトのコメセットに対する正確性を示している。横軸は学習の回ントから自然系観光地の評価を推定する A I について数である。既往研究を参考に学習回数は 10 回とした。

は、F-Measures の観点からは 96%、Kappa 係数は 0.6256

具体的な結果を示す。という精度であることを明示した。学習モデルは日々

表２ 2 クラス分類 AI の結果評価進化しており、より正確な推定をする A I を作成する余地はあると思われるが、統計的にも比較的高いといえる精度を確認したことから、本研究は観光口コミサ
イトのコメントから自然系観光地の評価を推定するAI を作成することができたといえる。
４. 学習結果（３クラス分類）と評価

A c c u r a c y は正確性であり、全画像枚数のうち何枚を正しいクラスに推定したかを示す。P r e c i s i o n は予測適合率であり、あるクラスにおいて推定した枚数に対して何枚を正しいクラスに推定したかを示す。

図５ ３クラス分類 AI の学習結果

R e c a l l は再現率であり、あるクラスにおいて、実際本章では前章にて作成した推定 A I を援用することの枚数に対して何枚を正しいクラスに推定したかを示で、より細かな感情評価の推定が可能かを検証する。

す。各々の値を見ると、Accuracy が 94%、Precision

本章のクラスは「happy」「surprise」「sad」という感が 97%、Recall が 96% であり、比較的高い精度である

情評価の 3 クラスである。画像は前章のものに加えて、といえる。なお Recall と Precision はトレードオフ

対象観光地の評価点数の低いものについて追加でスク
6-3

レイピングと構成要素分析を行い、各クラスでデータら、本研究は観光サイトのコメントから自然系観光地数に大きく偏りが出ないようにデータ数を調整したもの感情評価を推定する A I を作成することができたとのを用いた。内訳は「happy] が 120 枚、「surprise」いえる。

が 118 枚、「s a d ] が 122 枚である。前章と同様に学習

5．結論

回数は 10 回とする。

5．1．まとめ

図 5 のグラフを見ると、T r a i n i n g A c c u r a c y は本研究では、まず、観光口コミサイトから画像とコ85.8％、Validation Accuracy は 51.7％という値をとっメントをリンク付けしてスクレイピングし、構成要素た。前章のものと比較すると、その値は前者が 8.3％、の分析を行った。次に、Sentiment Analyzer を用い後者が 36.0％下がっている。て分類したコメントと画像を Deep Learning を用いて作成した AI に学習させ、その評価推定 AI の適用可能

表３ ３クラス分類 AI の結果評価性について検証した。
まず「Positive」「Negative」の 2 クラスの推定において比較的高い精度の推定 AI を作成することができた。その精度を統計的に表すと、F-Measures が約96%、Kappa 係数が 0.6256 である。
次に「happy」「surprise」「sad」の 3 クラスの感情評価の推定においては、2 クラス分類に比べて精度は劣るものの比較的高い精度の推定 AI を作成することができた。その精度を統計的に表すと、F-Measuresが約 82%、Kappa 係数が 0.6223 である。
5．2．今後の課題学習モデルは日々進化しており、物体認識においてはさらに高い精度の結果も報告されている。印象の推
３つのクラスの分類タスクを評価する際には、クラ定に関する事例は多くないが、適用が進むと考えられスを一つ選び Positive とし、それ以外を Negative とる。本研究においてもさらに高い精度をもつ推定 AIして評価値を計算した後に、それらの平均値をとるこを作成することを今後の課題とする。また、今回の研とで全体の評価値を計算する。このときの平均のとり究を踏まえ、対象の観光地を変えた上での検証、感情方として micro 平均と macro 平均がある。今回、デー分析を細かく行った複数クラスでの検証、異なる観光タ数に偏りは無いため、macro 平均を用いた。表 3 のサイトでの検証、SNS 等のコメントでの検証、アウト

具体的な結果を見ると、Accuracy が 88%、Precision

バウンドの評価推定 AI の作成検証に取り組みたい。

が 83%、R e c a l l が 82% であり、前章のものに比べるとその精度は劣るものの比較的高い精度であるといえる。また、Recall と Precision の調和平均である
F-Measures の値は 82％となり、比較的高い精度が得られたといえる。さらに、統計的な精度評価である
Kaapa 係数は、0.6223 であり、医療統計の分野の知見を引用すれば、実質的に一致しているとみなされる値である。
以上のように本章では、前章の成果に加えて、観光口コミサイトのコメントから自然系観光地の感情評価を推定する AI については、F-Measures の観点からは 82%、Kappa 係数は 0.6223 という精度であることを明示した。学習モデルは日々進化しており、より正確な推定をする AI を作成する余地はあると思われるが、統計的にも比較的高いといえる精度を確認したことか【補注】
注 1)ImageNet Large Scale Visual Recognition Challenge の略
コンピューターによる画像認識技術に関するコンペティション形式の研究集会
注 2) 世界最大級の旅行プラットフォームで、利用者の口コミや評価などが閲覧できる
注 3) フル機能のディープラーニングフレームワークであり、「畳み込みニューラルネッ
トワーク (CNN)」「長短期メモリネットワーク (LSTM)」などをサポートしている
注 4) 一般的にテキストに含まれる感情を予測する多値分類の文書分類タスクを指す
注 5) 独自のカスタムレイヤを定義して使うことのできるモデル【参考文献】
1）山田悟志、大野耕太郎：Deep Learning を用いた印象評価推定 AI の作成と検証‐
街並み画像の街路名と訪問意欲を対象に‐ 日本建築学会計画系論文集 第 84 巻 第759 号 1323-1331 20192)Atsushi Takizawa and Airi Furuta:3D Spatial Analysis Method with FirstPerson Viewpoint by Deep Convolutional Neural Network with Omnidirectional
RGB and Depth Images, eCAADe 2017,Sapienza University of Rome, Rome,Italy,pp.693-702,2017.10
3）山田悟志、大野耕太郎：Deep Learning を用いたデザイン AI の作成と検証‐街並
みと建築物外観の画像作成を対象に - 日本建築学会計画系論文集 第 85 巻 第 770 号
987-995 20204）斎藤康毅：ゼロから作る Deep Learning -Python で学ぶディープラーニングの理論と実装 オライリージャパン 2016
5) Yujie Ren、Shichen ZHAO；A METHOD ON RECOGNIZING THE COGNITIVE PREFERENCES
OF URBAN LANDSCAPE BASED ON MACHINE LEARNING
6) デービッド・アトキンソン：世界一訪れたい日本の作り方 東洋経済新報社 2017
7)Klaus Krippendorff：Content Analysis：An Introduction to Its
Methodology(2nd Edition),Sage Publications,2003

6-4