DEIM 2022 C34-3

投稿者による評価スコアや感情極性辞書を用いない，文意に基づく宿泊施設不満レビュー自動抽出手法の構築及びその分析による不満予防策の検討
吉田 伊武貴† 倉田 陽平††東京都立大学大学院都市環境科学研究科観光科学域 〒192-0397 東京都八王子市南大沢 1-1
E-mail: †yoshida-ibuki@ed.tmu.ac.jp, ‡ykurata@tmu.ac.jp
あらまし 近年の e コマースの普及によりユーザーの感想や印象が「レビュー」として記録されることが多くなりレビュー分析が盛んに行われている.一方で従来のレビュー分析では極性辞書を用いた単語ベースの感情分析による手法が主流であり精度に欠けることがわかった.そこで本研究では感情分析における精度の改善を目的に不満
テキストコーパスと楽天トラベルの宿泊レビューを併用し自然言語処理技術によって不満を抽出する機械学習モデルを構築し宿泊レビューから効率的かつ,より確実な不満抽出手法を検討した.その結果,既存の感情極性辞書を用いた感情分析よりも良い精度を得ることができた.抽出された不満レビューを分析することによって典型的な不満の傾向把握や宿泊業者にとっての不満の予防策の提案などを見出し提案手法の有効性を検証した.
キ ー ワ ー ドレ ビ ュ ー 分 析 ， BERT ， 不 満 テ キ ス ト ， 感 情 分 析

1. はじめに応用されてきた．このような事例で用いられてきたセ

不慣れな土地で行われる観光には失敗経験やトランチメント分析では一般に,単語ごとに設定されたポブルがつきものである．失敗経験やトラブルは不満をジティブ度合いやネガティブ度合いの情報が人手によ生じさせやすく，観光関連事業者にとって注意すべきり付与された東北大学の乾・岡崎研究室が公開してい課題である.特に COVID-19 パンデミック下の昨今はる，日本語評価極性辞書[4]のような感情語辞書を用

感染予防のための臨時休業やイベント休止が相次ぎ，いて，文章が肯定的か否定的かなどを判定している.

予定通りの旅行を失敗した旅行者は潜在的に多数いる

よって文脈が全く考慮されておらず強いポジティブ語と思われる. 旅行中の失敗経験にはオーバーブッキンである「観光」の二文字が文章中に表れただけで肯定

グやフライト遅延や臨時休業のようにサービス事業者的側に判定が引きづられ，このせいで，たとえば宿泊によるサービスの失敗に起因し，旅行者の責に帰さなレビューに適用するには評価が誤る危険性があった．

いものと，寝過ごしや道迷いや予約ミスのように旅行

また，若者言葉である「死ぬほど楽しい」のような表者の責に帰するものがある．前者についてはロイヤリ

現は強いネガティブ語「死ぬ」に引きづられ,否定的ティ低下やネガティブクチコミ拡散を予防するなどの評 価 と 誤 判 定 さ れ る 危 険 性 が あ っ た ． 実 際 に ML-

方策がとられる.特に顧客の期待通りのサービスが提ASK を利用して国立情報学研究所より提供されてい供できなかった場合に限定してとられる不満緩和方策

る不満調査データセット[5]( 以下不満コーパス) からのことをサービスリカバリと呼ばれ，サービスマーケ

宿泊・観光・レジャー」のカテゴリに含まれるテキス

ティング分野において研究[1][2]が蓄積されてきた．

ト 82358 件に感情分析を行ったところ,ネガティブ・武谷(2016)[1]によると具体的方策としては，補償やネガティブに近いと判定されたものは約 20000 件程弁解・正当化・参照的説明・謝罪といった方策が知ら度であり,それ以外は正しく判定できていなかった.表れている．

１は不満コーパスに対しての ML-ASK の判定結果のまた SNS や e コマースの普及によって大量のテキストデータ（ツイートやレビュー）が得られるように一部を抜粋したものである.
表 1 ML-ASK による判定結果

なった今日，旅行者が旅行中どのような経験をしたか探るためにそれらのネット上にあふれるテキストデー
タを活用することが盛んになっている.それらのユーザーのテキストデータに対して,個々のテキストがど

表１によると,「宿泊・観光・レジャー」カテゴリのような感情を記述したものなのかをコンピュータにの不満コーパスの多くは「None」と判定されること自動判定させる技術（センチメント分析）が開発され，が 最 も 多 く , さ ら に 「 Positive 」 と 判 定 さ れ て し ま う

この技術はたとえば斎藤・横川(2016）による位置情ものもあり精度が高いとは言えない結果となった.

報付きツイートに記載された感情に応じたアイコンで表現し，リアルタイムで都市の各所でどのような感情が飛び交っているかを可視化する取り組み[3]などに

表 2 判定結果例

3. 研究目的
本研究では宿泊レビューと不満コーパスを併用し自然言語処理によって宿泊レビューから不満が述べられているレビューを抽出する.抽出された不満レビューを分析することによって宿泊業界における典型的な不満の傾向把握や宿泊業者にとっての不満の予防策などを見出し提案手法の有効性を検証する.

4. 研究方法
本研究では,株式会社リクルートがじゃらん口コミ
デ ー タ と し て 提 供 す る " J a p a n e s e R e a l i s t i c Te x t u a l
背景には先述の極性辞書と呼ばれるものを利用しEntailmentCorpus"(https://github.com/megagonlab

た「単語」の出現を考慮して感情分析を行う手法であs/jrte-corpus) に 含 意 関 係 デ ー タ セ ッ トと し て 含 ま れることから文脈を無視した感情分析に陥りやすいことている宿泊レビュー(以下じゃらん口コミコーパス)とが影響していることが考えられる.表２から誤判定の

不 満 コ ー パ ス , さ ら に 岐 阜 大 学 が 公 開 し て い る Tw i t t e r

大まかな傾向として,「してほしい」のような願望を日本語評判分析データセット[8](以下ツイートデータ示す言葉が含まれているとポジティブと判定しているセットコーパス)を使用し,テキストに対して不満を述ことがわかった.

べているかどうか判定する機械学習の分類モデルを作

このことから本研究では感情分析において文脈の成する.その際,既存の感情分析ツールと結果を比較し意味を考慮した手法を探り,既存の極性辞書を用いた精度を検証し楽天トラベルの宿泊レビュー[9]から不「単語の出現」をベースとする感情分析に対する有効満レビューの抽出を試みる.抽出した不満宿泊レビュ性を検証する.さらにその手法の実用性を検証するたーに対して自然言語処理における TF-IDF 値や共起ネ

め宿泊施設のレビューに対して適用し不満の予防策にットワーク図を作成し,宿泊業における不満傾向の把つながるか考察を行う.

握や不満解消策を検討する.

2. 関連研究5. 使用データ

Kelly ら (1993)[2] は 小 売 業 に お け る サ ー ビ ス の 失

機械学習モデル作成のための訓練データ・テスト

敗とその対処策について調査し，15 のサービス失敗データを作成するために以下のデータを使用する.本パターンと 12 のサービスリカバリ方策を見出してい研究の目的である不満抽出のため,不満コーパスを使るが，米国の小売業を対象とした調査であり，その成用する.不満コーパスの中で,宿泊業と関連性があると果が日本の観光関連産業にも援用できるかは疑問の余考えられる「宿泊・観光・レジャー」のカテゴリに含地がある．本研究は日本国内の宿泊施設に対するレビまれるものを本研究で使用する.その件数は 82358 件

ューを調査対象とするという点と本研究の成果をサーであった.またポジティブなテキストデータを確保す

ビスリカバリではなく不満そのものの予防策につなげるためにじゃらん口コミコーパスにてポジティブのラる点で独自性がある.

ベルが付与されているコーパスを使用する.さらにレWe b 上 に あ ふ れ る 口 コ ミ や テ キ ス ト デ ー タ に 対 し

ビューにはポジティブな内容でもネガティブな内容でてネガティブな情報の抽出を試みる研究として筆者らもない中性的なテキストも含まれることが想定される.

は旅先でのリスクを避けるために他の旅行者の失敗経

そのためツイートデータセットコーパスからラベルが験を知ることは重要であるという観点のもと，膨大なネガティブ・ポジティブ以外のものが付与されている

位置情報付きツイートの中から，自然言語処理技術をデータを利用する.じゃらん口コミコーパスとイート応用し，機械学習の分類モデルによって機械的に失敗

データセットコーパスから不満コーパスと同数をラン談が記されたツイートのみを抽出し，それを用いて，ダムサンプリングし,これら３つを組み合わせて訓練

地域固有の旅のリスクを導き出せることを実証しデータとして機械学習モデル作成に使用する.また有た .[6][7] こ れ ら の 研 究 に お け る 分 析 手 法 を 本 研 究 に

効性検証のためテストデータに対する既存の感情分析おいても取り入れ,本研究においてはテキストが不満と比較した有効性の検証を行う.そのために楽天トラか否かを判定させる機械学習の言語分類モデルを構築

ベル宿泊レビューを使用する.

する.

6. 機械学習手法
表3

使用言語は Python で機械学習フレームワークであ

評価指標による比較

る P y To r c h を 用 い て 実 装 す る . 本 研 究 に お け る 自 然 言
語 処 理 の 機 械 学 習 分 類 モ デ ル に は B E RT [ 1 0 ] の 事 前 学
習 済 み モ デ ル を 使 用 す る . B E RT は 深 層 学 習 さ れ た 事
前学習済みの言語モデルで,転移学習することにより任意のタスクに応用することができる.本研究では先述の訓練データ・テストデータで転移学習させること

表 ３ に よ る と B E RT を 利 用 す る モ デ ル の 方 が M L -と す る . 東 北 大 学 乾 研 究 室 が 作 成 し て い る B E RT の 日

ASK の感情分析と比較して全ての指標でより良い結本 語 版 事 前 学 習 済 み モ デ ル を 利 用 す る . [ 11 ] 東 北 大 学果を得た.の 乾 研 究 室 に よ る 日 本 語 版 の B E RT 訓 練 モ デ ル は 日
本 語 の Wi k i p e d i a を 用 い て 訓 練 さ せ た も の で あ る . こ

7.2 テストデータに対する判定結果の考察のモデルを使用するため Python の自然言語処理ライ

テストデータの不満ラベルが付与されているもの

ブ ラ リ の H u g g i n g F a c e の Tr a n s f o r m e r s を 使 用 すに 対 し て B E RT が 正 解 し M L - A S K が 不 正 解 だ っ た もる.Huggingface には各国の研究機関や企業が作成しのは全部で 1 万２千件ほど存在し,ML-ASK の判定のた B E RT の 事 前 学 習 済 み モ デ ル が 用 意 さ れ て い る .

内訳は「None」が 1 万件,「Mostly_Positive」が約

機械学習モデルの評価指標には正解率,精度,再現100 件 「Positive」が 1300 件であった.このことか率,F 値を用いる.使用するマシンの都合上,バッチサイ

ら も 感 情 分 析 に お い て は 文 脈 を 理 解 す る B E RT を 用

ズは 16,エポック数は 10 とした.また機械学習で扱ういることが適していると言える.

テキストデータに行った前処理は形態素解析のみで,従来のテキスト分析の際に行われるストップワードや表 ４ は B E RT が 正 解 し て M L - A S K が 不 正 解 だ っ た もノイズの除去といった前処理は行なっていない.これのを一部抜粋したものである.

は B E RT モ デ ル を 活 用 し て Tw i t t e r の ツ イ ー ト の 作 成
者の性別を予測する研究[12] において, テキストの前表4B E RT が 正 解 し M L - A S K が 間 違 え た も の処理を行わなかったモデルが最も良い精度を出した.
この結果に基づき本研究においてもテキストに形態素解析以外の前処理は行わないこととした.訓練データ数は約１３万件でテストデータ数は約３万３千件である.

7. 結果と考察
7.1 評価指標による比較
またテストデータにおける評価指標の結果を表１に表す.その際既存の感情分析との比較を行うため M
L-ASK と の 比 較 を 行 う .ML-ASK の 予 測 結 果 に つ い

表 ４ に は 不 満 に よ る 「 欲 し い 」「 ほ し い 」 と 言 い た 要ては,不満をネガティブなものと仮定した.本研究にお望や願望などが含まれているものがあり,これらの文いては訓練データ・テストデータのラベルは,不満で言を適切に抽出することによりユーザーの不満に対すあるものには「1」,不満ではないものには「0」を与る適切な不満の予防策につながることが期待できる.

えている.よってテストデータに対する評価指標におい て

ML-ASKの 判 定 結 果 が 「 Negative 」

7.3 楽天トラベル宿泊データに対する適用「Mostly_Negative」で不満ラベル「1」と一致,もし作成した分類モデルを使用して,楽天トラベルから

く は 「 P o s i t i v e 」「 M o s t l y _ P o s i t i v e 」「 N o n e 」 で テ ス

提供された楽天トラベルの宿泊施設に対するレビュー

トデータのラベル「０」と一致しているものを正解とに対して不満抽出を試みた.分類モデルにより不満とした.以下が評価指標の結果をまとめたものである.

判定されたテキスト群の特徴を把握するため,TF-IDF値を算出した.その際,全ての宿泊レビューコーパスと抽出された不満レビューコーパスとで比較を行った.

とでより有効な不満の予防策につながることが期待できる.
表 5 全ての宿泊レビューと機械学習により抽出された不満レビューに対する TF-IDF 値(名詞)表7

実際に抽出された不満テキスト

さらに抽出された不満テキストを考察することに名詞のみでの TF-IDF 値の算出を行ったところ不満より具体的な不満傾向の把握や不満の予防策を検討す

テキストとホテルレビュー全体で表 5 のような結果る.表７は機械学習モデルにより不満と判定されたテが得られ,違いはあまり見られなかった.

キストを一部抜粋したものである.表７や表５から読み取れるように朝食の良し悪しが不満に繋がりやすい

表 6 全ての宿泊レビューと機械学習により抽出さ傾向があるということが推察される.また宿泊施設のれた不満レビューに対する TF-IDF 値(動詞・形容清潔感に言及するレビューも数多く見られた.これら詞・形容動詞)のことから不満の予防策として朝食サービスの充実さや施設の清潔感を意識する必要があると言える.本研
究では施設ごとにコーパスを分けていないため,宿泊施設ごとに不満抽出を行い,考察を行うことでより具体的かつ効果的な不満の予防策を提案できると考えられる.

8. 今後の展望
本研究では宿泊業の不満緩和方策について不満情報を抽出するため楽天トラベルのレビューデータを用いたテキストからの不満情報抽出を試みた.その結果従来の感情極性辞書を利用するような感情分析による不満把握より,機械学習技術を利用し文脈から感情分析を行うことでより精度の高い結果を得ることができた.今後の展望としては従来，欧米の小売業を調査対名詞を除く動詞・形容詞・形容動詞による TF-IDF

象に行われてきたサービスリカバリ研究と比較し，日値を算出したところ表 6 のように上位単語に大きな本の宿泊業に固有の不満の予防策を見出すことや,宿違いが見られた. 機械学習により抽出された不満コー

泊 施 設 の レ ビ ュ ー デ ー タ に と ど ま ら ず , Tw i t t e r な ど のパ ス の 上 位 単 語 に 注 目 す る と , 「 欲 し い 」「 ほ し い 」 とSNS データを活用することにより宿泊業以外の有効いった単語が抽出されており,ユーザーが不満に感じ性の検証が求められる.例えば観光地などで旅行者のたサービスや状態に対する要望や願望が述べられてい不満を抽出し分析を行うことにより宿泊施設のようなる こ と が 推 測 さ れ る . こ の こ と に よ り , 「 ほ し い 」「 欲サービス事業者ではなく観光地側（観光まちづくり組しい」の単語について,その前後の文脈を理解するこ織や住民）における不満緩和方策のあり方の検討に寄与できる可能性がある.また本研究においては既存の感情分析との比較の際に ML-ASK のみを利用するにとどまったが,他の既存の感情分析が使えるツールを利用し同様に精度比較を行うことも求められる.
謝辞
本研究では,国⽴情報学研究所の IDR データセット提供 サ ー ビ ス に よ り 株 式 会 社 I n s i g h t Te c h か ら 提 供 を受けた「不満調査データセット」を利⽤した.本研究では,国立情報学研究所の IDR データセット提供サー
ビスにより楽天グループ株式会社から提供を受けた「楽天

データセット」（ https://rit.rakuten.com/data_release/ ） を 利 用 した.また本研究は科研費（21K12484）の助成を受けたものです.

参考文献[1] 武谷 慧悟(2016) サービス・リカバリーにおける説明と顧客満足 -メッセージ要因と送り手要因に関する理論的検討-, 商学研究科紀要 (82), 2146, 2016-03-25,早稲田大学大学院商学研究科[ 2 ] K e l l y S . W, K . D . H o f f m a n n , a n d M . K .
D a v i s , " A Ty p o l o g y o f R e t a i l F a i l u r e s a n dR e c o v e r y, " J o u r n a l o f t h e A c a d e m y o f
Retailing, vol.69(4),pp.429-452.1993[3] 斎藤一, 横川祥司,” 感情語辞書と位置情報付きツイート分析に基づいたアプリケーション「 Emonavi 」 の 観 光 利 用 の 検 討 ” ,DEIM
FORUM 2016[4] 東北大学乾研究室,日本語評価極性辞書[5] 吉田伊武貴，倉田陽平,”旅先における失敗リスクを把握可能にするための機械学習を用いた失敗談ツイート抽出方法の構築と静岡県内観光地での適用” 第 7 回とうかい観光情報学研究会,
pp.1-4，オンライン発表.2021[6] 吉田伊武貴，倉田陽平,” 失敗談ツイートのテキスト分析による北海道における観光失敗リスクの把握”, 観光情報学会第 22 回研究発表会講演論
文集,pp.25-28,オンライン発表.2021[ 7 ] K e n s u k e M i t s u z a w a , M a i t o Ta u c h i , M a t h i e u
D o m o u l i n , M a s a n o r i N a k a s h i m a a n d To m o y a
Mizumoto. FKC Corpus: a Japanese Corpus
from New Opinion Survey Service. In
proceedings of the Novel Incentives forCollecting Data and Annotation from People:
types, implementation, tasking requirements,
w o r k f l o w a n d r e s u l t s , p p . 11 - 1 8 , P o r t o r o ž ,Slovenia, May 2016.
[ 8 ] Yu S u z u k i , ” F i l t e r i n g M e t h o d f o r Tw i t t e r
Streaming Data Using Human-in-the-Loop
Machine Learning” Journal of Information
P r o c e s s i n g , Vo l . 2 7 , p . 4 0 4 - 4 1 0 . 2 0 1 9[9] 楽天グループ株式会社 (2014): 楽天データセッ
ト. 国立情報学研究所情報学研究データリポジト
リ.
(データセット).
h t t p s : / / d o i . o r g / 1 0 . 3 2 1 3 0 / i d r. 2 . 0[10]
D e v l i n , J a c o b , C h a n g , M i n g We i , L e e , K e n t o n ,To u t a n o v a , K r i s t i n a . “ B E RT: P r e - t r a i n i n go f D e e p B i d i r e c t i o n a l Tr a n s f o r m e r s f o rLanguage Understanding. Association for
Computational Linguistics” Human Language
Te c h n o l o g i e s " , Vo l u m e . 1 , p p . 4 1 7 1 - 4 1 8 6 2 0 1 8[11]東 北 大 学 乾 研 究 室 日 本 語 B E RT 訓 練 済みモデル
https://github.com/cl-tohoku/bertjapanese[12]EsamAlzahran,LeonJololian.”
HowDifferent
Te x t - p r e p r o c e s s i n g
Te c h n i q u e sU s i n g T h e B E RT M o d e l
Affect The Gender Profiling of Authors”,
CoRR,2021