日本ソフトウェア科学会第 36 回大会 (2019 年度) 講演論文集

機械学習モデルの解釈手法による競合サービスと比較したレビュー分析
小野川 稜之, 折原 良平, 清 雄一, 田原 康之, 大須賀 昭彦
今日，商品やサービスのレビューを対象とした研究が多くなされている．様々な観点から研究が行われているが，消費者がよく遭遇する， 具体的な競合商品及びサービスと比較する といったシチュエーションを想定した研究は少ない．一方，近年では機械学習モデルの出力について解釈を行い，人間がその出力の理由を理解できるようにするといった研究が行われており，LIME 及び SP-LIME などが代表例として挙げられる．そこで，本研究では商品に関するレビューを分類する機械学習モデルについて LIME 及び SP-LIME によって分析し，ユーザーから見た商品の比較の特徴を抽出する試みを行う．

A lot of research related to products or services reviews is doing today, and is being conducted from various
viewpoints. However, there are few research that assume situations where consumers often encounter, suchas comparing with specific competitive products or services. On the other hand, in recent years, researchhas been conducted to interpret the output of machine learning models so that humans can understand thereason for the output. In particular, LIME and SP-LIME can be mentioned as representative examples.
Therefore, in this research, we analyze machine learning models that classify service reviews by LIME andSP-LIME, and try to extract features which compared with competitive service viewed from users. In thispaper, taking business hotels in Japan as an example, we tried to extract characteristic words from each of
the hotel reviews.

1 はじめに商品を扱う EC サイトや，楽天トラベル †3 ，ホットペッパービューティー †4 などのサービス予約サイト

消費者が商品またはサービスを選択する時，様々なも多く存在し，それぞれについて膨大な商品・サービ情報を収集し，購入時点で消費者自身に適合するとスのレビューが蓄積されている．そのため，消費者が思われるものを選択する．その際，消費者はカタロレビューを目にする機会が多く，商品・サービス選択グなどの情報はもちろん，他の消費者が投稿した様々の際の重要性は増しているといえる．

なレビューを参考にしながら商品・サービスを購入する．特に最近は Amazon†1 や楽天市場 †2 など，主に

三菱 UFJ リサーチ&コンサルティングが 2018 年

9 月に行った調査” 口コミサイト・インフルエンサー
マーケティングの動向整理”†5 によると，商品・サービスの購入時に重視する情報源として，46.5%の人々

Review analysis compared to competing services byinterpreting method of machine learning model.
This is an unrefereed paper. Copyrights belong tothe Author(s).
Takayuki Onogawa, Ryohei Orihara, Yuichi Sei, Yasuyuki Tahara, Akihiko Ohsuga, 電気通信大学大学
院情報理工学研究科, Dept. of Infomatics，Graduate
School of Informatics and Engineering，The University of Electro-Communications.
†1 https://www.amazon.co.jp†2 https://www.rakuten.co.jp

が口コミサイトを挙げている．これはテレビについで 2 番目に多い数字である．このように，消費者がレビューをもとにして商品・サービスの比較検討を行†3 https://travel.rakuten.co.jp†4 https://beauty.hotpepper.jp†5 https://www.caa.go.jp/policies/policy/consumer_policy/policy_coordination/internet_committee/pdf/internet_committee_180927_0002.pdf

た後，第 4 章，第 5 章にて実験について述べている．
その後，第 6 章，第 7 章，第 8 章にて考察，まとめ，今後の展望について記載している．

2 関連研究レビュー分析は数多く行われており，消費者が商品やサービスのどのような点を評価したかを見ることで商品の特徴を得ているものもある．松尾ら [?] は，レビューの中から商品属性について記述している文章を抽出し，それらを用いて消費者が商品のどのよう
図1

本研究の全体の流れうということは珍しくない．

な属性をどのように評価したかを抽出を試みた．また LIME 及び SP-LIME による商品特徴抽出について小野川らが調査を行っている．[?] ここではカメラ

このように EC サイトのレビュー等を用いて，消費についてのレビューを分類するモデルを作成し，それ者目線で商品・サービスの比較検討を行うことが容易を解釈することによって商品特徴抽出を試みている．になった．しかし裏を返せばそれだけ多くのレビューがインターネット上にあふれていることになる．その結果，商品・サービスによってはレビューの数が膨大になってしまい，一つ一つのレビューに目を通すこと

3 関連手法
この項目では，本研究で用いた手法である LIME
及び SP-LIME について述べる．

は難しい状態になっている．そこで，レビュー要約の研究が多数行われている．しかし, これらの研究は一

3. 1 LIME

つの商品についてそのレビューの特徴を抜き出すとLIME とは，Ribeiro らによって提案された機械学いったものが主で，実際の消費者が陥るであろう，"習の解釈手法である．LIME の特徴として，機械学習複数の具体的な商品の中から相対的に良い点もしくのモデルに依存しない解釈手法であることが挙げられは悪い点を抜き出す"といったことを考慮しているもる．様々なモデルの個々の分類結果について，人間にのは少ない．

も理解しやすいシンプルなモデルによって解釈するこ

そこで，本研究では最近注目を集めている機械学習とによって，複雑な機械学習モデルの理解に貢献しての解釈手法を用いて商品・サービスのレビューから競いる．例えば，ある二値分類モデル f : Rd → R と，合商品・サービスとの比較された特徴を抽出する試み

あるインスタンス x ∈ Rd を考える． この時，解釈を行う．機械学習の解釈手法は様々なものが提案され可能なモデル群 G から，f の働きに近いような，解ているが，なかでも代表的なものとして LIME [?] 及

釈可能なモデル g を見つけることが，LIME の働き

び SP-LIME [?] が挙げられる． LIME とは，ある特である．LIME は以下のような最適化問題として表定インスタンスにおいて近似した有効な単純モデルをされている．

作成するものであり，SP-LIME とは LIME によって得た各インスタンスにおける単純モデルを複数集める

ξ(x) = argminL (f, g, πx ) + Ω(g)ことでモデル全体の挙動を理解するものである．今回はサービスの代表例としてホテルについてのレビューを得て，競合ホテルと比較した特徴を得ることを目的とした．以下は本研究の全体像を示した図である．
本稿は第 2 章, 第 3 章で関連研究と関連手法に触れ(1)g∈GL (f, g, πx ) =∑z,z ′ ∈Z(( ))2πx (z) f (z) − g z ′(2)′

上記の式において，x′ ∈ {0, 1}d はインスタン
ス x を 二 値 変 数 ベ ク ト ル に 変 換 し た も の で あ り，

′z ′ ∈ {0, 1}d は x′ の非ゼロ変数の一部を含んだもの

量の Ij の和を計算する．この特徴量の和が最大となである．そして，z ∈ R は f (z) を得るために z からるような V を設定することによって，より重要な特変換したものである．さらに πx (z) は，インスタンス x徴量をより多く含むようなインスタンス群を得るこの近傍にある点 z との距離に応じて (f (z) − g (z ′ )) ，とができる．

′d2

つまり f (z) と g(z ′ ) との誤差に重みづけを行うものである．この時，x と z の距離が近ければ近いほど4 実験アプローチ重みが大きくなる．つまりあるインスタンス x の近4. 1 実験データ傍においていくつかデータを取り，元のデータと解

本稿では，商品・サービスの例としてビジネスホテ釈可能なモデルとの誤差を計算し，x に近いデータにおいてその誤差をより重視するようになっている．

ルを取り上げた．競合するホテルとして，横浜に存在するアパホテル<横浜関内>†6 と，コンフォートホテ

Ω(g) は解釈可能なモデル g の複雑さを表す．これとル横浜関内 †7 を取り上げた．この二つのホテルはどL (f, g, πx ) を足したものを最小化することによって、ちらも日本のビジネスホテルチェーンのうちの一つでインスタンス x 付近について元のモデルとの誤差があり，道路を挟んで立地している．立地やビジネスホより小さく，より単純なモデルを作ることを目的としテルという形態が同じであることから今回競合としている．て選択した．
本稿では楽天データセット [?] を国立情報学研究

3. 2 SP-LIME

所情報学研究データリポジトリより入手し，その内先ほど述べた LIME による説明を複数集めて，モ

1997 年 1 月から 2015 年 11 月までに楽天トラベルへ

デル全体の理解を目的にした手法である．SP-LIME蓄積されたレビューデータ [?] を用いた．ここからアでは，様々な特徴をカバーできるように，上限 B 個パホテル<横浜関内>について記述されたものと，コの中で，1 つでも多くの特徴量を含むようなインスタンフォートホテル横浜関内について記述されたものンス群を見つける．あるインスタンス群 X(|X|=n)を抽出し，実験に用いた．レーティングに関係なく 2について，各インスタンスについての LIME によるつのホテルについて記載された全てのレビューを抽出

出力を用いて n × d サイズの行列 W を作成する．こしたものと，総合評価が 5 段階中 4 以上を付けたもの時，行列 W の各列の構成要素について，説明空間のに限定して抽出したものの 2 つを用意し，それぞにおける全体的な重要性を Ij (j ≤ d′ ) とおく．例えれについて実験を行った．

′ば各インスタンスがテキストについてのデータであれば，Ij =√∑ni=1

Wij と計算される．上限 B 個の4. 2 レビューデータの前処理

インスタンス群を選ぶ上で，できるだけ多くのインス先述によって得られたレビューデータについて，分タンスの説明に関与し，重要度も高い特徴量が多く含まれているインスタンスを順に集めるということ類モデルに投入するための前処理を行った．英語・記号を全て半角及び小文字にし，MeCab†8 を用いて分が SP-LIME の行うことである．これは，以下の式にかち書きを行った．この際，辞書として NEologd [?]よって表される．

を用いた．分かち書きした文章から助詞，助動詞，記号と判定されたものを除去したうえで全ての単語を′d∑1[∃i∈V :Wij >0] Ij(3)Pick(W, I) = argmaxc(V, W, I)(4)c(V, W, I) =原型にすることで単語の統一を図った．その後，日本

j=1

V,|V |≤B†6 https://www.apahotel.com/hotel/shutoken/08_yokohamakannai/

この時,c(V, W, I) はインスタンス群 V の中で，少なくとも一つのインスタンスに含まれる全ての特徴†7 https://www.choice-hotels.jp/hotel/kannai/†8 https://taku910.github.io/mecab/語ストップワード辞書の一種である slothlib†9 を用いた単語の除去やデータ中 1 度のみ使用された単語の除去を行った．

4. 3 LSTM モデルによる学習
前処理を行ったレビューデータについて，それぞれのホテルについてのレビューからランダムに同じ数抽出し，それぞれトークナイズとパディングを施した
のち，LSTM [?] モデルへ投入した．この時学習デー
タ，バリデーションデータ，テストデータの割合をそ
れぞれ 67.5%，7.5%，25.0%とおいた．LSTM モデ

図2

実験 1 における SP-LIME による出力例

ルは各単語を 64 次元による表現を入力し，64 次元の出力を得たのち，sigmoid 関数によってどのホテルあるレビューを用いた場合を実験 2 とし，それぞれについてのレビューであるかを確率値によって出力すについて実験を行った．

る．今回は dropout，recurrent_dropout の値をそれぞれ 0.5 に設定し，最適化には Adam [?] を用いた．

5. 1 実験 1
実験 1 では各ホテルそれぞれ 5234 件，合計 10468

4. 4 LIME 及び SP-LIME の適用とカイ二乗値との比較件のレビューを用いた．LSTM モデルによって学習では 10 エポック学習し，学習データにおいて 93.57%，テストデータについて，LIME 及び SP-LIME を適テストデータについて 84.10%の accuracy を得た．こ用したのち，SP-LIME による各インスタンスの単語のモデルについて，LIME 及び SP-LIME を用いて解ごとの重みの和と，テストデータや学習データ，バリ釈を行った．図 2 は SP-LIME によって一番最初に収デーションデータの全てのレビューデータから得た各集されたインスタンスにおいての LIME による出力単語のカイ二乗値について比較を行い，どのようなを示している．図 3 は抽出されるインスタンス群の単語が出力されているかの比較を行った．ここでは，数と，説明に利用される単語数について表したグラ

カイ二乗値はそれぞれのホテルのレビューにおいてのフであり，SP-LIME による抽出とランダムによる抽単語出現頻度の差を表したものであり，値が大きけれ出を比較している．また，カイ二乗検定によって有意ば大きいほどどちらかのホテルに偏って単語が出現しとなった単語数とも比較している．有意水準は 0.05ていることを表す．また，SP-LIME によるインスタとした．表 1 は，SP-LIME によって得られたインスンス群の抽出と，ランダムによる抽出でどの程度インタンス群での単語の重みの和と，カイ二乗値についスタンス群においての出現単語の数に差が出るかのて絶対値が大きいものについて順に 30 単語を示した確認も行った．LIME では各インスタンスについて説ものである．ここではインスタンス群のサイズを 132

明に利用される単語を上限 10 個とした．と設定した．これは，カイ二乗値が有意である単語数と，インスタンス群を 132 としたときに SP-LIME

5 実験結果で説明に寄与する単語数がほぼ同じだからである．

本稿では，2 つのホテルについての全てのレビューを用いた場合を実験 1，総合評価が 5 段階中 4 以上で†9 http://svn.sourceforge.jp/svnroot/slothlib/CSharp/
Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt†1 SP-LIME の出力において，正の値を示す単語はコン
フォートホテル横浜関内に寄与しているもの，負の値を示す単語はアパホテル<横浜関内>に寄与しているものである．

表1

実験 1 における SP-LIME による重みとカイ二乗
値

†1
カイ二乗値

SP-LIME
朝食

7.884809

朝食

2286.803

大浴場-3.701995

大浴場

2211.660

狭い-2.479558

無料

790.0334

無料

2.048154

コーヒー

745.1935

利用

1.128136狭い

715.4207

コーヒー

1.104071

おにぎり

529.5876

ホテル

1.014865

サービス

513.0529

おにぎり

0.956077

種類

456.6773

COMFORT

0.949595

風呂

341.9325

ツイン

0.885914パン

339.8572

朝食会

0.838011

サウナ

339.2225

コンフォートホテル

0.752975

枕

287.0810

食事0.744619

露天風呂

267.6736

面す-0.732293

豊富

255.9728

5. 2 実験 2

風呂-0.693815

また251.7871

実験 1 では各ホテルそれぞれ 1636 件，合計 3272

休む

0.668611

美味しい238.5051

サービス

0.662576

充実

235.4759

種類

0.654569

アパホテル

234.9571

は 6 エポック学習し，テストデータにおいて 89.86%，

アパホテル-0.635659

サラダ

206.3131

テストデータについて 78.97%の accuracy を得た．こ眠れる

0.622635

満足

181.4549

手管のモデルについて，LIME 及び SP-LIME を用いて解0.571073

COMFORT

178.9773

バイキング-0.547223

広い

171.4963

釈を行った．図 4 は図２同様，SP-LIME によって一ん

0.544555

食べる

166.4457

溜まる-0.534637

おいしい162.7459

浴衣-0.533109

フルーツ

161.0951

による出力を示している．図 5 は図 3 同様，抽出さ最低-0.529818

快適

157.5804

れるインスタンス群の数と，説明に利用される単語

枕

0.503011

コンフォートホテル

151.9697

数について表したグラフである．表 2 は表 1 同様，

サウナ-0.477166

うぇるかむ!

145.8846

空気清浄機

0.472982

利用

144.9079

SP-LIME によって得られたインスタンス群での単語

入浴剤

0.472021

お部屋

138.5463

図3

実験 1 におけるインスタンス群のサイズと説明に利用された単語数の比較件のレビューを用いた．LSTM モデルによって学習で番最初に収集されたインスタンスにおいての LIMEの重みの和と，カイ二乗値について絶対値が大きいものについて順に 30 単語を示したものである．インスタンス群のサイズは実験 1 と同様の理由で 50 とした．

次に，SP-LIME による重みの合計とカイ二乗値の上位の単語について比較を行った．
実験 1 においては 朝食 ， 大浴場 などのカイ二6 考察乗値が抜きんでて大きいものについては SP-LIME に

実験 1，2 の結果について考察を行う．

よる出力でも同じように大きい重みが観測された．しSP-LIME がどの程度の幅広く説明に利用する単語

かし，それ以外の単語についてはカイ二乗値とは異なを集めているかを確認するためにランダムによるイる出力がされた単語も見られた．例えば，SP-LIMEンスタンス収集と比較して，カイ二乗検定において有において 10 番目に大きい重みをもつ ツイン とい意な単語数にどれほどのインスタンス数で到達するう単語は，カイ二乗値において上位 30 個の中に入っかを見た．図 3・図 5 を見ると，実験 1，2 においてていない．それぞれのホテルの部屋の内訳を確認して説明に利用された単語の数はランダムによる収集とみると，アパホテル<横浜関内>は全 451 室中ツイン比較して大きく上回っていることがわかる．これによルームは 2 室しか存在しない．対してコンフォートり，SP-LIME が幅広い単語を用いて説明を行っていホテル横浜関内では 37 室あり，ファミリールームなることが確認できる．

どのエキストラベッドを備えたものを含めると 47 室

表2

実験 2 における SP-LIME による重みとカイ二乗値

†1
カイ二乗値

SP-LIME

図4

図5

実験 2 における SP-LIME による出力例

実験 2 におけるインスタンス群のサイズと説明に利

朝食2.604478

大浴場

1085.637712

する

1.537726

朝食

739.741483

大浴場-1.512860

コーヒー

287.214928

宿泊

0.726262

無料

258.070253

枕

0.647186

サウナ

173.410474

ホテル

0.630677

風呂

169.632145の-0.620051

サービス

157.358902

狭い-0.552285

おにぎり

145.763921

楽しめる

0.483439

露天風呂

128.963524

快適

0.472759

種類

127.155511

コンフォートホテル

0.453169

狭い

124.564731

もう少し-0.450689

美味しい113.142959

コーヒー

0.431212

アパホテル

106.742112

アパホテル-0.405381

パン

105.226362

美味しい0.401400

枕

94.268708

食事0.401051

また

67.800695

風呂-0.393582

広い

65.776422

新しい

0.386190

思う

63.197737

中華街

0.385386

COMFORT

63.117810

十分

0.383040

おいしい62.861362

空気清浄機

0.376613

アパ

62.301055

すぐ-0.360058

スープ

61.025647

サービス

0.341661

コンフォートホテル

60.491922

エレベーター

0.327680

最上階

59.808286

便利

0.317349

充実

58.680654

ベッド

0.315901

入れる

56.436886

コストパフォーマンス

0.310012

豊富

54.427202

助かる

0.295816

ホテル

52.946369

清掃

0.286976

する

52.174216

入れる-0.281533

疲れ

50.025764

用された単語数の比較

ような記載がなされていない．ここでも，SP-LIMEある．SP-LIME によって出力された ツイン といがアパホテルと比較したコンフォートホテルの特徴をう単語はコンフォートホテルに寄与しており，カイ二抽出できており，カイ二乗値によって得られた単語と乗値では抽出できなかったアパホテルと比較しての特は異なる単語が得られている．

徴をとらえている．かつ，カイ二乗値においては高い

最後に，SP-LIME によって最初にインスタンス群へ値を示しておらず，本稿の手法によって抽出できた単ピックアップされたインスタンスの出力と，SP-LIME語であるといえる．

全体の出力とを比較する．

実験 2 における出力でも朝食 ， 大浴場など

実験 1 では， 大浴場 ， 狭い ， コーヒー ，なの単語の重みが大きく，それぞれのホテルのレビュー

どの SP-LIME 及びカイ二乗値の出力において上位にについて出現頻度の差が激しいものを上位に出力し位置している単語が含まれたレビューが抽出されてている．また，カイ二乗値においては上位に出現しないる．これにより，SP-LIME が多くのインスタンス

い 空気清浄機 という単語を SP-LIME は出力しての説明に関与し，かつ重要な単語を含むインスタンいる．これについて確認してみると，コンフォートホスを抽出することでモデルを代表するようなインス

テル横浜関内は全客室において加湿空気清浄機を設置タンスを確認することができる．実験 2 においてもしている旨の記載が公式ホームページにおいてなさ

無料 ， コーヒー ， 朝食 などの単語が出現してれているが，アパホテル<横浜関内>についてはそのいるレビューを抽出できている．

て，単語だけではわかりにくい特徴について消費者に7 まとめ提示したいと考えている．

消費者はレビューなどを見て競合商品・サービスと謝辞比較しながら選択をする．この際，多くのレビューを本研究は JSPS 科研費 JP17H04705，JP18H03229，全て見ることは困難であり，レビューから商品・サーJP18H03340，18K19835，JP19H04113，JP19K12107

ビスの特徴を抽出するニーズがある．そこで本稿での助成を受けたものです．

はホテルを例にとってレビュー分析を行い，実際の消費者行動に近いような競合との比較した特徴

本研究を遂行するにあたり，研究の機会と議論・研鑽の場を提供して頂き，御指導頂いた早稲田大学 本を抽出することを目的とした．その結果，他方のホ位田 真一 教授をはじめ，活発な議論と貴重な御意見テルと比較した特徴を抽出することができた．また，を頂いた研究グループの皆様に感謝致します．

SP-LIME を利用することでホテル比較に役立つようまた本研究では，楽天株式会社が提供し，国立情報な代表的なレビューについてモデルの挙動を確認する学研究所が配布している「楽天データセット」を利用ことができた．

した．関係者の皆様に大変感謝致します．
参 考 文 献8 今後の展望
本稿では，2 つのホテルについて他方と比較した特徴を抽出した．しかし，実際の消費者行動においてはもう少し多くの商品・サービスから選ぶことも少なくない．そこで，3 つ以上の商品・サービスについてお互いを競合商品・サービスとおき，他の競合とと比較した特徴を抽出することを行っていきたい．また本稿
では，他方のホテルと異なる点を単語にて抽出したが，より消費者にわかりやすいような文章としての出力を行うことを目指している．文章による出力によっ[1] Lanin, V. and Shasha, D.: A Symmetric Concurrent B-Tree Algorithm, Proc. 1986 Fall Joint Computer Conference, IEEE, 1986, pp. 380–389.
[2] Shapiro, E.: The Family of Concurrent Logic Programming Languages, ACM Computing Surveys,
Vol. 21, No. 3(1989), pp. 413–510.
[3] Sleator, D. D. and Tarjan, R. E.: Self-Adjusting
Binary Search Trees, J. ACM, Vol. 32, No. 3(1985),
pp. 652–686.
[4] Tarjan, R. E.: Amortized Computational Complexity, SIAM J. Alg. Disc. Math., Vol. 6,
No. 2(1990), pp. 306–318.
[5] 和田久美子: スプレイ木の並列データ探索, Proc. KL1
Programming Workshop ’90, Tokyo, ICOT, 1990,
pp. 42–49.