DEIM Forum 2019 B6-4

Yelp のレビューの文の分類によるレビューの内容の分析
山ノ井亮佑†

廣田雅春†

石川博††

† 岡山理科大学総合情報学部情報科学科 〒 700-0005 岡山県岡山市北区理大町 1-1†† 首都大学東京大学院システムデザイン研究科 〒 191-0065 東京都日野市旭が丘 6-6
E-mail: †i15i089yr@ous.jp, ††hirota@mis.ous.ac.jp, †††ishikawa-hiroshi@tmu.ac.jp
あらまし

旅行者の増加に伴い，ウェブ上にはホテルやレストランなどの施設に関するレビューが大量に投稿されている．旅行者は，それらのレビューを閲覧することで自身の興味のある施設の情報を得ることが可能である．そのため，これらのレビューは，旅行者の意思決定のために有効な情報源のひとつとなっている．しかし，1 つのレビューの文章の中でも，旅行者にとって興味のある内容を含む文だけではなく，その施設に関係しない文や，旅行者の興味のないトピックを含む文なども混在している．これらのユーザの興味のない文はレビューを閲覧するユーザにとってレビューの可読性を低下させると考えられる．本研究では，ホテルに関するレビューについて 1 文ごとに分類することによって，ホテルに関係しない文などを発見する．またトピックを分類するための手法を検討する．
キーワード テキストマイニング，文書分類，ホテル分析
中から自分にとって有益な情報を取り入れるが，レビューの中

1 はじめに近年，世界中における観光客の数は，交通機関や経済などの発展によって著しく増加している．UNWTO [9] の調査結果によると，2000 年以降の全世界の観光客数は年々増加し，2017年には約 1.3 億人と世界中に多くの観光客がいることがわかる．
そのため，観光産業は，基幹産業として重要な地位を占めており，旅行サービス · 宿泊 · 飲食店などのさまざまな産業に影響している．飲食店やホテルにおいて，新規の観光客を取り込むことや，リピータを獲得することは観光産業において重要な課題である．そのため，現在観光庁などにおける様々な取り組みが行われている 1 2 ．また，近年観光客の増加に伴って，ホテルの利用客も増加している．さらに，Twitter 3 などのマイクロブログや，Yelp 4 や TripAdvisor 5 などのレビューサイトの普及により，ユーザはより多くの情報を共有 · 拡散が可能になった．そのため，これらの情報から，ホテルの情報を抽出し観光客に提供することは，観光客の満足度の改善などに繋がると考えられる．
レビューサイトに投稿されるレビューは，人々が旅行先を決定するために旅行先の情報を得るための手段として有用である．
レビューサイトには，飲食店やホテルなどに関する情報が利用客によって投稿されており，ホテルのサービスに対する肯定的· 否定的な意見や，料理について，ホテルの立地，部屋の清潔さなどが例としてあげられ，レビューの内容は多岐にわたっている．
レビューを閲覧する人は，多様な内容が含まれているレビューには興味のない情報や，レビューの対象となる施設とは無関係な内容の文章まで混在している可能性がある．レビューを閲覧する人は，そのようなレビューではなく自分の興味のある内容のレビューを求めていると考えられる．また，レビューを閲覧する人にとって，このようなレビューを閲覧することは時間コストの浪費であると考えられる．そこで，ウェブ上に存在する観光地における施設に関する情報を抽出し，分析する研究の一つとして，ホテルに着目して，レビューサイトに投稿されたレビューを分析する．
本研究では，多様な内容が含まれるホテルのレビューについて，レビューを 1 文毎にクラス分類することで，ホテルに関係のない内容を含む文を発見する手法を検討する．これによって，レビューの文章中からホテルに関係のない文を取り除くことが可能になり，レビューを閲覧する人にとって，興味のある情報の閲覧が容易になることが期待される．また，ユーザが興味のある内容を閲覧しやすくするために，ホテルに関係のある文についてトピックを分類する．これらを組み合わせることにより，膨大なホテルのレビューから，ユーザの興味のある文を提示することが可能になることが期待される．
本論文の構成は以下の通りである．第 2 章では，関連研究として，レビューなどのウェブ上の情報から観光に関する情報を抽出する研究について述べる．第 3 章では，ホテルに関係しない文のフィルタリングの手法と，レビューサイトにあるレビューの文を分類し，トピックの推定を行う手法の概要を説明する．第 4 章では，TripAdvisor のレビューデータを用いて，ホテルに関係しない文の分類に関する実験とトピックを推定するための実験について述べる．第 5 章では，本論文のまとめと，

1：http://www.mlit.go.jp/common/000138664.pdf
2：http://www.mlit.go.jp/kankocho/topics01\_000205.html
3：https://twitter.com
4：https://www.yelp.com/
5：https://www.tripadvisor.jp/

今後の課題について述べる．

2 関連研究
ホテルのレビュー

近年，ウェブ上にはホテルや，観光スポット，商品など多様な事柄について書かれたレビューが存在する．そのため，これらのレビューを用いて，様々な分析を行う研究が盛んに行われ特徴ベクトルの生成ている．
浅野ら [13] は，レビューをメニュー単品，店舗の雰囲気などホテルに関係しない文の削除のトピックに分類し，ユーザに提示することで飲食店の選択を支援するシステムの提案を行った．松波ら [12] は，個々のユーレビューのトピック推定

ザにとって有用なコスメレビューを提供するためのコスメレビュー推薦システムの構築を目指し，評価表現辞書の構築と，それを用いた自動スコアリング手法の有効性の検証を行った．
酒井ら [14] は，ホテルに関する評価表現辞書を構築し，それを図 1 提案手法の概要用いた項目別のホテルレビューの自動スコアリングを行う手法
表 1 本研究で扱うホテルのクラスと文数の提案を行った．秋山ら [17] は，様々なサイトドメインへの投稿文からの情報抽出の際の負担軽減を目的として，投稿文を節単位に分割し，学習器を用いた感情の推定の有効性を検討した．

クラス

文数

BUILDING

49

CHECKIN32

大島ら [16] は，食べログを対象とし，点数やランキングと言っCLEANLINESS

22

た “便利” な情報や機能が情報アクセスリテラシーの低下をもFOOD

108

たらす危険性を持っていることに対応するための不便益的アプ

LOCATION

105

ローチについて検討を行った．また，Li [7] らは，中国人の旅

NOTRELATED

107

行者の発言をブログエントリから抽出し，7 つの次元に分類し，OTHER234

その際の特徴量として TF-IDF を使用した．本研究でも特徴量ROOMS

159の生成として，TF-IDF を用いる．南ら [15] は，レビュワーにSERVICE

137

対する嗜好を推定することで，対象ユーザにおけるレビュワーの価値に基づいて未知のアイテムに対するレビューの提示手法

VALUE

42

合計995を提案した．上記の研究においては，ユーザにとって興味のあるレビューを上位として評価している．本研究では，さらに対て付与されたレビューに含まれる文であるが，ホテルに関係の象となる施設に関係しないレビューを削除してトピック分類をない内容であると人手によって判断されたということを示して行うことで，文を提示することに取り組む．

いる．下記の文は，このデータセットに含まれる文の例である．

本研究では，ホテルに関係しない文を削除し，トピック分類•My boyfriend and two other friends planned a couples

を行うことにより，ユーザにとって不必要な文を削除すること

trip for boyfriend s birthday July 7th.

で，ユーザのレビュー閲覧における情報の取捨選択を補助する

このような文以外にも，たとえば，移動に用いたと思われる飛ことが可能であると考える．

行機についてや，地域全体に関する感想などの多種多様な内容が [NOTRELATED] として含まれている．

3 提案手法また，表 1 に含まれる [OTHER] は，[ROOM]，[FOOD] な
どの他のクラスには属していないが，ホテルには関係する文に

本節では，提案手法について述べる．本研究における提案手ついて付与されているクラスである．

法の概略図 1 に示す．提案手法では，ホテルのレビューの文か

この 11 のクラスの中で，[BUSINESS] は文の数が 6 件と非ら特徴量を算出し，その結果に基づいてホテルに関係しない文常に少ないため，本研究の以後の処理では扱わないことした．

を抽出する．そして，ホテルに関係すると判断される文についよって，本研究で扱う表 1 のクラス数は 10 である．てトピックを分類する．

3. 2 前 処 理
3. 1 ホテルに関係しない文について

ここでは，レビューの文章に対する前処理について説明する．

ここでは，本研究で扱うクラスとホテルに関係しない文に本論文で扱うレビューの文章は，英語で記述されたものとする．

ついて述べる．はじめに，本研究では，Mrcheggiani ら [8] がレビューの文章の言語判定には，langdetect 6 を用いる．この時公開しているデータセットを利用する．このデータセットは，に，言語が英語と判定されなかったレビューは以後の処理の対TripAdvisor のレビューに含まれる 1,576 件の文に対して，表象としない．

1 に示す 11 のクラスが人手によって付与されている．このクラスの中に含まれている [NOTRELATED] は，ホテルに対し

6：https://pypi.org/project/langdetect/次に，言語が英語と判定されたレビューの文章を文に分割す

レビュー

る．本論文では，，“.”，“!”，“?” の記号を基準として，1 文ごとに分割した. また，“a” や “you” などのストップワードを削除し，単語の表記揺れを防ぐためステミング処理を行った．ス

ホテルに関係しない文の削除

テミングには，Porter のアルゴリズム [11] を適用した．また，全単語に品詞タグ付けを行い，名詞，動詞，形容詞以外の品詞の単語を削除する．ストップワードの除去とステミング処理，また品詞の削除には nltk [1] を用いた．

3. 3 ベクトル化

マルチクラス
分類器(9クラス)

マルチクラス
分類器(10クラス)マルチクラス
分類器(10クラス)

パターン1

パターン2

パターン3

ここでは，レビューのの文から特徴量を生成する方法ついて
図 2 実験全体図と実験パターン述べる．3. 2 節で，前処理が適用された文に対して TF-IDF を適用することで，特徴量を生成する．TF-IDF は文書中に含まれる単語の重要度を評価する手法の 1 つであり，以下の計算式

図 2 に，3 パターンの手法の概略図を示す．
本研究では，対象となる文に対して，[NOTRELATED] を除で求める．

いた 9 クラス分類を行うパターン 1 と，3. 4 節で説明したように，対象となる文から [NOTRELATED] を分類し，削除した結

tf idf(t,d) = tfi,j · idfi
ni,jtfi,j = ∑k nk,j
|D|idfi = log|d : d ∋ wi |(1)

果を用いて，10 クラス分類を行うパターン 2 を行い，3. 4 節で説(2)

明した，ホテルに関係しない文の削除の有用性を考察する．また，ホテルに関係しない文の削除を行わず，[NOTRELATED](3)

TF は，単語の出現頻度を表し，(2) 式で求められる．IDFを含んだ 10 クラス分類を行うパターン 3 を行い，それぞれのトピック分類の性能の評価を行う．ここで，分類に用いる特徴量は，3. 3 節で作成したベクトルを用いる．

は，ある単語が出現する文書頻度の逆数であり，(3) 式で求められる．これらの積が (1) 式で求められる TF-IDF であり，こ4 評価実験の値が大きくなるほど文書を特徴づける単語であると言える．
また，特徴量の次元圧縮のために，Latent Semantic Analysis(LSA) [6] を用いる．
3. 4 ホテルに関係しない文のフィルタリング
次に，ホテルに関係しない文をフィルタリングするための手法について述べる．ホテルのそれぞれの文をトピックに分類する際に，そもそもそれらの文の中にホテルの内容に関連しないトピックが含まれていると考えられる．実際に，表 1 の995 件の文の中で，ホテルに関連しない [NOTRELATED] が約 10%含まれていることからも，ホテルに関連しない文のフィルタリングの必要性が分かる．そのため，本研究では，ホテルの文のそれぞれの文をトピックに分類する前に，文の中に含まれているホテルに関係しないトピックについて述べていると思われる文を削除するための処理を行う．
本研究では，表 1 のデータをトレーニングデータとして，表1 のホテルに関係しない文として [NOTRELATED] と，ホテルに関係する文としてそれ以外の 9 つのクラスを [RELATED]として，教師あり学習による 2 クラス分類を行う．特徴量は，3. 3 節までで生成したものを利用する．
3. 5 文のトピックの推定
ここでは，ホテルのレビューを 1 文ごとに表 1 のクラスに分類するための手法について述べる．
本研究では，ホテルのレビューのそれぞれの文が表すトピックを推定するために，3 パターンのマルチクラス分類を行う．

本節では，ホテルのレビューの文に対して，提案手法の実験を行う．

4. 1 データセット
本節では，本実験で用いるデータセットについて述べる．
本実験では，3. 1 節に示した TripAdvisor のデータセットを用いて，全ての実験パターンの分類器の学習を行う．学習のために，データセットをトレーニングデータとテストデータに 8:2で分割した．

4. 2 実 験 条 件
本節では，本研究で行った実験の実験条件について述べる．
本実験では分類器として，Random Forest [2]，Support Vec-tor Machine (SVM) [5]，XGBoost [4] を用いる．SVM のカー
ネルは，線形カーネルと RBF カーネルを用いる．また，SVMと Random Forest の実装には，scikit-learn [10] を用いる．
それぞれの分類器は，トレーニングデータを用いて 10 交差
検定によるパラメータの探索を行い，最も F 値が高いパラメータによる分類器をそれぞれ用いる．
また，[NOTRELATED] の削除の際，4. 1 節のトレーニングデータについて，[NOTRELATED] クラスの文が 91 件であるのに対して，残りの 9 つのクラスの文数の合計は 703 件である．
そのため，2 つのクラスのデータ数が不均衡であることから，[NOTRELATED] クラスのオーバーサンプリングを行う．オー
バーサンプリングには SMOTE [3] を用いた．オーバーサンプ

表 2 [NOTRELATED] の分類結果

PSVM

RandomForest

XGBoostの F 値が低い．これについては，そのため，4. 3. 1 節で述べFた [NOTRELATED] の分類性能を上げる事が望まれる．また，0.98 0.93 0.95

パターン 2 の RandomForest を用いた分類結果について，パ

NOTRELATED 0.19 0.43 0.26

ターン 1 に比べて，[CHECKIN]，[LOCATION]，[SERVICE]RELATEDR

micro avg

0.91 0.91 0.91

macro avg

0.58 0.68 0.61

RELATED

0.99 0.92 0.96

NOTRELATED 0.06 0.33 0.11

を除き F 値が著しく低下している．これらの 3 クラスについて，誤って [NOTRELATED] と分類された数が多かったと考えられる．

micro avg

0.91 0.91 0.91

次に，実験パターン 2 と実験パターン 3 について考察する．

macro avg

0.53 0.63 0.53

表 5，表 6 より，[VALUE] の F 値は，SVM と XGBoost のど

RELATED

0.98 0.92 0.95

ちらも，パターン 2 の方が低い．これは，文中の [VALUE] にNOTRELATED 0.06 0.20 0.10
micro avg

0.90 0.90 0.90

macro avg

0.52 0.56 0.52

リング後の文は，[RELATED] が 703 件，[NOTRELATED] が703 件である．
評価指標は，Precision ，Recall ，および F 値を用いる．評価はテストデータを用いて行った．

おける特徴ベクトルにばらつきがあることが考えられる．

5 おわりに
本論文では，ホテルのレビューを 1 文ごとに分割し，ホテルに関連した内容か，それ以外の内容かを分類した．分類には，TF-IDF によって特徴量を生成し，複数の教師あり学習の手法についてそれぞれの性能を比較した．また，それらの結果を用いて，[NOTRELATED] を除いた文と，それ以外の文に，3 つ4. 3 実 験 結 果
ここでは，提案手法の有用性を検証するため，実験結果について述べる．のパターンの実験方法を用い，それぞれの結果を考察した．
今後の課題として，本論文では，ホテルに関連する内容かどうかについてテキストのみから分類を行っているが，ホテルの4. 3. 1 NOTRELATED の削除の結果

施設とトピックの分類結果を比較することで，一般的なホテル

は じ め に ，[NOTRELATED] の 削 除 に つ い て 述 べ る ．のレビューの内容としては正しくてもそのホテルには存在しな[NOTRELATED] の削除は，パターン 1 とパターン 2 の 2い施設について言及している文を発見することがあげられる．

つのパターンで適用される処理である．

[NOTRELATED] のそれぞれの分類器の分類結果を表 2 に，[NOTRELATED] の消去数と，割合を表 3 に示す．ここで，表2 において，P は Precision，R は Recall， F は，F 値を表している．
表 2 より，SVM の F 値 が最も高い．また，表 3 より，[NOTRELATED] の消去数も最も多い．

謝辞

本研究は，首都大学東京傾斜的研究 (全学分) 学長裁量枠戦
略的研究プロジェクト戦略的研究支援枠「ソーシャルビッグデータの分析・応用のための学術基盤の研究」及び JSPS 科研費 16K00157, 16K16158 による．

ここで，[NOTRELATED] と分類された文の例の一部を以下に示す．

•But the Steakhouse is worth trying!!

•If you go to Oahu whereever you stay you HAVE toeat at Aaron’s in the Ala Moana hotel.
これらの [NOTRELATED] と分類された文の内 6 件に，併設されているとされる施設名や，または近隣に存在するとされる建物名が含まれていた．したがって，を表す単語が，[NOTRELATED] の特徴ベクトルに影響を及ぼしていると考えられる．
これらの結果より，最も F 値が高い SVM によって，[NOTRE-LATED] が削除された文を対象として [NOTRELATED] の削除を行うが，全てが削除されてはいないため，以後の実験パ
ターン 2 でも，分類に [NOTRELATED] を含めている．

4. 3. 2 文のマルチクラス分類について
次に，文のマルチクラス分類について述べる．実験パターン 1から実験パターン 3 までの結果を表 4，5，6 に示す．表 5 から，パターン 2 の各分類器を用いた分類結果について，[BUILDING]

文献[1] Natural language processing with python, 2009.
[2] Leo Breiman. Random forests. Machine Learning, Vol. 45,
No. 1, pp. 5–32, 2001.
[3] Nitesh V Chawla, Kevin W Bowyer, Lawrence O Hall, andW Philip Kegelmeyer. Smote: synthetic minority oversampling technique. Journal of artificial intelligence research, Vol. 16, pp. 321–357, 2002.
[4] Tianqi Chen and Carlos Guestrin. Xgboost: A scalabletree boosting system. In Proceedings of the 22Nd ACM
SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’16, pp. 785–794, New York,NY, USA, 2016. ACM.
[5] Corinna Cortes and Vladimir Vapnik. Support-vector networks. Machine Learning, Vol. 20, No. 3, pp. 273–297, 1995.
[6] Scott Deerwester, Susan T. Dumais, George W. Furnas,Thomas K. Landauer, and Richard Harshman. Indexingby latent semantic analysis. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE, Vol. 41,
No. 6, pp. 391–407, 1990.
[7] YR Li and YY Wang. Exploring the destination image ofchinese tourists to taiwan by word-of-mouth on web. In
Proceedings of World Academy of Science, Engineering and表 3 [NOTRELATED] の分類結果:消去数

SVM

RandomForest

消去前 消去後 消去数 消去割合 (%) 消去後消去数

XGBoost
消去数消去割合 (%)

BUILDING

101000.0100

消去割合 (%) 消去後0.0

1000.0CHECKIN

5500.0500.0

500.0CLEANLINESS

65116.7

600.0

600.0

FOOD

232214.3

2300.02300.0LOCATION

232128.7

2300.02214.3

NOTRELATED

1613318.8

1516.31516.3

OTHER

5151

00.05012.050

12.0

ROOMS

252500.024

14.024

14.0

SERVICE323200.03113.1

3113.1

VALUE

8800.0

800.0

800.0

表 4 実験パターン 1 の分類結果

BUILDING CHECKIN CLEANLINESS FOOD LOCATION OTHER ROOMS SERVICE VALUE
SVM

P0.40

0.200.75

0.50

0.33

0.59

0.80

0.52

0.70

R

0.57

1.00

0.50

0.80

1.00

0.73

0.62

0.86

0.80

F

0.47

0.33

0.60

0.62

0.50

0.66

0.70

0.65

0.74

P

0.30

0.20

0.55

0.38

0.17

0.50

0.88

0.39

0.78

XGBoost R

0.30

0.33

0.52

0.30

1.00

0.57

0.59

0.64

0.69

F

0.30

0.25

0.53

0.33

0.29

0.53

0.71

0.49

0.73

P

0.30

0.40

0.63

0.25

0.17

0.53

0.92

0.43

0.78

R

0.43

0.50

0.52

0.50

1.00

0.77

0.55

0.71

0.67

F

0.35

0.44

0.57

0.33

0.29

0.63

0.69

0.54

0.72

RandomForest

表 5 実験パターン 2 の分類結果

BUILDING CHECKIN

SVM

XG
BoostRandom
Forest

CLEANLINESSFOOD LOCATION OTHER ROOMS SERVICE VALUENOTRELATED

P

0.30

0.20

0.80

0.50

0.40

0.59

0.80

0.50

0.67

0.00

R

0.50

1.00

0.45

0.80

1.00

0.79

0.67

0.85

0.88

0.00

F

0.37

0.33

0.58

0.62

0.57

0.68

0.73

0.63

0.76

0.00

P

0.30

0.60

0.43

0.38

0.40

0.53

0.84

0.50

0.71

0.31

R

0.33

0.50

0.52

0.38

0.40

0.74

0.55

0.55

0.60

0.25

F

0.320.55

0.47

0.38

0.40

0.62

0.67

0.52

0.65

0.28

P

0.20

0.40

0.47

0.25

0.20

0.53

0.80

0.50

0.71

0.08

R

0.33

0.67

0.44

0.25

1.00

0.63

0.54

0.61

0.48

0.17

F

0.25

0.50

0.45

0.25

0.33

0.58

0.65

0.55

0.58

0.11

表 6 実験パターン 3 の分類結果

BUILDING CHECKIN

SVM

XG
Boost
RandomForest

CLEANLINESSFOOD LOCATION OTHER ROOMS SERVICE VALUENOTRELATED

P

0.30

0.20

0.80

0.50

0.33

0.59

0.80

0.48

0.70

0.06

R

0.50

1.00

0.45

0.80

1.00

0.79

0.67

0.79

0.89

0.14

F

0.37

0.33

0.57

0.62

0.50

0.68

0.73

0.59

0.78

0.09

P

0.30

0.60

0.43

0.38

0.33

0.53

0.84

0.48

0.74

0.25

R

0.33

0.50

0.51

0.38

0.40

0.74

0.54

0.50

0.63

0.24

F

0.32

0.55

0.47

0.38

0.36

0.62

0.66

0.49

0.68

0.24

P

0.40

0.40

0.55

0.12

0.17

0.47

0.84

0.48

0.78

0.06

R

0.57

0.50

0.44

0.17

1.00

0.71

0.50

0.50

0.67

0.20

F

0.47

0.44

0.49

0.14

0.29

0.57

0.63

0.49

0.72

0.10

Technology, No. 79, p. 977. World Academy of Science, Engineering and Technology (WASET), 2013.
[8] Diego Marcheggiani, Oscar Täckström, Andrea Esuli, andFabrizio Sebastiani. Hierarchical multi-label conditionalrandom fields for aspect-oriented opinion mining.
InMaarten de Rijke, Tom Kenter, Arjen P. de Vries, ChengXiang Zhai, Franciska de Jong, Kira Radinsky, and Katja
Hofmann, editors, Advances in Information Retrieval, pp.

273–285. Springer International Publishing, 2014.
[9] World Tourism Organization. UNWTO World Tourism
Barometer, Vol. 16. World Tourism Organization, 2018.
[10] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel,
B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss,
V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau,
M. Brucher, M. Perrot, and E. Duchesnay. Scikit-learn:
Machine learning in Python. Journal of Machine Learning
Research, Vol. 12, pp. 2825–2830, 2011.
[11] M.F. Porter. An algorithm for suﬃx stripping. Program,Vol. 14, No. 3, pp. 130–137, 1980.
[12] 松波友稀, 上田真由美, 中島伸介. コスメアイテムに対する評価
項目別レビュー自動スコアリング方式の開発. 第 9 回データ工学と情報マネジメントに関するフォーラム, 2017.
[13] 浅野祥汰, 北山大輔. レビューサイトの差異に基づくラベル伝播を用いたユーザレビュー分類手法. 第 9 回データ工学と情報マネジメントに関するフォーラム, 2017.
[14] 酒井聖, 松波友稀, 中島伸介. ホテル特化型評価表現辞書に基づくレビュー自動スコアリング方式. 第 10 回データ工学と情報マネジメントに関するフォーラム, 2018.
[15] 南大智, 牛尼剛聡. 推薦アイテムの品定め支援のための共感レビュー提示手法. 第 10 回データ工学と情報マネジメントに関するフォーラム, 2018.
[16] 大島裕明, 山本祐輔, 山本岳洋, 加藤誠, 神門典子, 川上浩司. レ
ビュー情報検索サイトにおける不便の効用に関する検討. 第 10回データ工学と情報マネジメントに関するフォーラム, 2018.
[17] 秋山和寛, 三澤賢祐, 成田和弥, 熊本忠彦, 灘本明代. Crf を用いたレビューにおける節単位毎の感情推定. 第 10 回データ工学と情報マネジメントに関するフォーラム, 2018.