情報処理学会研究報告
IPSJ SIG Technical Report

有用な商品レビューの特徴と抽出について
草刈 祐子†1† 林 驍†1鈴木 孝彦†2 伊東 栄典†2 廣川 佐千男†2
概要：オンラインショップでの商品購入においては, その商品レビューを参考にすることが多い. 本発表では, 購入者の視点から, 購入決定のため有用なレビューを抽出する枠組について述べる. レビュー投稿者の属性および各商品あたりのレビュー回数と評価ランクの分布に注目し, 「役に立たないレビュー」を除去することで有用なレビューを抽出することを目指す.
キーワード：テキストマイニング, 機械学習・データマイニング

Extraction Methods of Useful Product Reviews with Feature
Selection
Yuko Kusakari†1
Xiao Lin †1†2†2
Takahiko Suzuki
Eisuke Ito
Sachio Hirokawa†2
Abstract: Customer reviews are important reference materials for online shopping customers. In this article, we discuss two
methods of filtering out useless product reviews from the viewpoint of customers. We focus on attributes of reviewers, the numberof reviews per product, and the average score and the count of each product of reviews. Useless reviews can be filtered out by
using those features.
Keywords: text mining,machine learning, data mining

1. はじめに
近年ネットでの買い物が普及してきた[1]. ネットショッ

本論文の構成は以下の通りである. 第２章では使用するピングは便利ではあるが, 直接手にとって選ぶことができデータについて述べる. 第３章では未購入者のレビューのないため店舗で購入するより情報が乏しい. そこで口コミ

特徴を学習することによって役に立たないレビューの抽出やレビューは, 同じ消費者の立場からの意見が聞けるためを試みる. 第４章では大量のレビューが投稿される商品の購入を決める大きな手助けになる. 欲しいものの中から評レビューの特徴を調べる. 最後に第 5 章でまとめと今後の価が高いものを選んで買うこともあるだろうし, 買おうと課題を述べる.

思ったものの評価が低かったため購入を見送ることもあるだろう. ネットショッピングにおいてレビューの与える影
響は大きい. しかし, 中には役に立たないレビューもある.

2. 楽天市場データセット

明らかに正しくないと思えるもの[2]もあれば, 購入に必要

本研究では, 楽天株式会社が国立情報研究所の「情報学な情報が含まれていないもある. 本研究では,レビューを研究レポジトリ」[3]を通じて研究者に提供している楽天デ役に立たないレビューの特徴を抽出・除去することによっータセット中の, 楽天市場商品レビューデータ[4]（以後楽て役に立つレビューを抽出する手法について論じる.

天レビューデータ）を対象とする. 表 1 に本研究で利用し本研究で用いた, 特徴語を抽出し文書を分類する手法については足立ら[9]を参考とした. レビューの機械学習については山根ら[10]など, 多くの研究がある.

†1 九州大学 システム情報科学府
Faculty of Information Science and Electrical Engineering, Kyushu University†2 九州大学 情報基盤研究開発センター
Research Institute for Information Technology, Kyushu Universityⓒ2018 Information Processing Society of Japan

た楽天レビューデータの主な構造を示す.

情報処理学会研究報告
IPSJ SIG Technical Report
表 1.

して SVM で学習し評価した結果を表 4 に示す.

楽天レビューデータの主な構造

ラベル

説明

投稿者

匿名化 ID. 投稿時匿名の場合は「購入者さん」

表 3. 未購入者高評価レビューの正負特徴語
順位

頻度

正の特徴語

頻度

負の特徴語

商品 ID

商品毎に固有の英数字文字列

1

1928

助詞:ので2323

助詞:は

商品名

商品の名前

21032
4

記号:！

2331
9

助詞:と

ショップ名

ショップの名前

391813名詞:楽し

82703

名詞:円

ジャンル ID

ジャンル毎に固有の数値

41232

み助動詞:な2842

名詞:リピ

評価点数

1~5 の 5 段階評価.

511535

名詞:購入

5018

名詞:効果

レビュータイトル

レビューのタイトル.

63977

動詞:届く

2596

形容詞:美味しレビュー本文レビューの中身.

72790

名詞:今6358

い助動詞:で82307

記号:（6047

動詞:いる

特長など

主な分析対象レビュー日時レビューの投稿された日時

その他

今回は使用しないため省略

表 4.

未購入者の 1 点評価レビューの正答率

ジャンル

3. 未購入者レビューの特徴によるフィルター

Max.

特徴語数

accuracy

林ら[5]は, 楽天レビューデータ中に, 未購入者のレビュ

Health

0.6828100ーが含まれていることに注目した. 彼らは未購入者レビュ

Game

0.6057

40ーを, 商品の購入とは無関係な「役に立たないレビュー」

Computer

0.716720の学習正例として使えると考えた. 未購入者のレビューの特徴語を抽出し, 役に立たないレビュー一般を除去するた
3.1 未購入者レビューフィルターの評価めに利用することを提案している.
林らは商品の評点スコアが高評価(5 点)である未購入者

未購入者によるレビューが, 一般の「役に立たないレビのレビューを正例, 評価 5 点の購入者レビューを負例としュー」の判別に有効か否かを評価するために以下の実験をSVM で学習し, 特徴語を抽出している.

行った.

林らの手法に基づき, Health,Game,Computer の 3 ジ

1.

対象となるジャンルの, 購入者による全レビュー

ャンルの楽天レビューデータについて, MeCab でレビュー（Health: 2, 312, 869 件, Game: 1, 465, 269 件, Computer:

文中の単語を切り出し[6]属性選択を行う線形 SVM[7]を用

1, 261, 171 件）を入力とする.

いて未購入者の 5 点評価レビューを学習した後, テストデ2.

それぞれのジャンルの未購入者高評価・低評価レビュ

ータに対する正答率(accuracy)を 5 分割交差検定で評価した.

ーで学習した SVM 3×2 種類で購入者のレビューを判

その結果を表 2 に示す.

別する.
3.

表 2.

それぞれの SVM 出力において, スコアが高いもの

未購入者の 5 点評価レビューの正答率

ジャンル

Max.

100 レビューを選択する.
4.

特徴語数

選択されたレビューそれぞれに対し, 次の各項目に当てはまるか否か人間がチェックする.

accuracy
Health

0.951816

Game

0.883940

商品を使用していない

Computer

0.952060

情報が薄い

参考にならない商品に対するものではない

比較的少数の特徴語によって, 未購入者の 5 点評価レビ

人間によるチェックの結果を図 1 に示す. 未購入者の 5 点

Health

評価レビューの特徴語から作成した「役に立たないレビュュー（役に立たないレビュー）が判別可能である.
ジャンルについて,特徴語の一覧を表 3 に示す.

ー」フィルターが有効に機能し, 「情報が薄い」や「参考にならない」レビューを抽出している(recall 0.75~0.99).

林らは, 未購入者の低評価レビュー（評点 1）についても「役に立たない」レビューの学習正例として利用している.
高評価の場合と同様に評価 1 点の購入者レビューを負例とⓒ2018 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report
みなし, SVM 学習によって判別した結果の性能は必ずしも高くない. 低評価レビューの扱いを考えなおすべきである.
これらの限界を解決するために, 「役に立たないレビュー」の学習正例獲得について, 4 章に示す手法を提案する.

4. 商品毎のレビュー集合に注目した手法
先行研究[8]では, レビュー評価点の分布は正規分布になるとされている. しかしながら, 楽天レビューデータにおける評価点の分布は図 2 に示すように, 評価点 5 が非常に多く, 不自然である. また, 3 章の結果から, 評価点 5 の未購入者レビューを学習正例とすることで, 役に立たないレビューの検出がうまくいくことがわかった.
本章では高評価のレビュー全体から「役に立たないレビュー」の学習正例を抽出するため有用な一手法を提案する.

図 1. 未購入者レビューフィルターの人間による評価(recall)
3.2 未購入者レビューによる手法の限界

図 2．楽天レビューデータにおける評価点毎のレビュー数の割合

未購入者レビューを用いて, 役に立たないレビューの特徴を抽出する手法には, 次に挙げる限界がある.

4.1 高評価レビューの分類(1) 汎用性の問題

高評価のレビューは次のように分類できる[6].

楽天レビューデータと異なり, 多くの EC サイトでは,未購入者が商品レビューを投稿することを禁止している.

A)

配送の迅速さなどショップの対応についてのレビュー

そのようなサイトのレビューに対して本手法は適用できな
い.

B)

価格が安いなどの入手コストについてのレビュー(2) 利用可能なレビュー数

C)

入手前の期待など客観的評価に基づかないレビュー

D)

製品を評価するレビュー

楽天レビューデータにおいても, 未購入者レビューはユーザーレビュー全体の0.2~0.3% に留まり, サンプルとして利用可能なレビュー数が少ない.
(3) レビューの内容
未購入者高評価レビューには, 注文した商品が届く前に投稿された「楽しみである」という内容が含まれる（表 3A), B), C) については, 製品を選択する上では「役に立たない」レビューと考えられる（ショップ選択においては有用な場合もある）. A), B), C)のレビューの例を人間が抽出し, 特徴を機械学習することは実現可能と思われる.

正の特徴語参照）. これらのレビューは, 確かに購入の判

D) に属するレビューから「役に立たない」レビューを選断の役に立たないが, 特徴語抽出のためにふさわしいか否択することを考える. 本論文では一商品に対するレビューか疑問が残る.

集合の評価の分布に注目して選択を試みる.

(4) 低評価レビューの扱い
未購入者低評価レビューを「役に立たないレビュー」とⓒ2018 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report
4.2 レビューが大量に投稿される高評価商品
ある商品に対して大量のレビューが投稿され, かつ評価

表 6.

ショップの対応を評価するレビュー(分類 A)の例

素早い対応, 有難うございます. 頑張ってみたいと思いの分布が高評価に偏っている理由は次のようなものが考えます.

られる.

注文したその日に発送され, 迅速な対応がよかった.

i.

4.1 節A), B, ), C)のレビューに分類されるレビューが大部分を占めている.

大変おそくなりました. 迅速な対応ありがとうございました. 今後ともよろしくお願いします.

ii.

該当商品が本当に良いiii.

いわゆるやらせレビューが多い

iv.

商品またはショップの熱狂的ファンによる主観的な気になる新しいサプリを１００円で試せてとてもあり評価がたいです.

i,

iii,

表 7.

iv については「役に立たない」レビューとみな安さを評価しているレビュー(分類 B)の例

安くてよかった. 次回もぜひ利用したいと思いました.

ii に属するレビューは「役に立つ」レ

いつも気になっていたショップで, 今回は送料無料だっビューである. しかしながら, 大量に高評価レビューが投たので初購入してみました. 届くのが楽しみです. 良か稿されるような良い商品は,ったらまたリピしたいと思います.

すことができる.

商品レビュー以外の場でも良い評判があるはずであり, 他の手段で特定が可能であると思われる.

表 8.褒めてばかりレビュー（評価点 5 が 8 割以上）の例

以下では, 『「大量のレビューが投稿されかつ評価の分布が高評価に偏っている商品」』のレビュー（以下「褒めてばかりのレビュー」）のサンプルを抽出した結果を示す.
楽天市場全体では 1 ヶ月に約 130 万件のレビューがある
ため, 役に立たないレビューが多いと思われるダイエッ

慢性便秘だけど, 薬は飲みたくない私. お腹にたくさん貯めないことが, ダイエットをする上での重要な要素になってきます. 夜飲めば朝は必ず出ますよ.
２人で飲むと, あっと言う間になくなり, (あたり前ですが・・)リピート購入です.

痩せるという実感は, 今のとト・健康ジャンルのうち 2010 年 1 月分で 1000 件近くのレころありませんが, 翌朝の効果は・・◎ 体の調子もいいビューのあった 2 つのジャンルのレビューについて調査しので, お気に入りの商品です.

た. 表 5 に内訳を示す.

これ, いいです！夕食後に６錠飲んで, 翌日, 朝食後にスッキリ. しかもおなかが痛くならない!!驚きました.

表 5.

使用したジャンルのレビューデータの内訳

ジャンル

全体のレビュー

レビュー数が 5 件以上

ダ イ エ ッ170 商品

23 商品

商品当たりのレビュー数が 5 以上でかつ, 分類 A), B),ト・サプリ/1243 件/652 件「褒めてばかりのレビュー」いずれにも当てはまらない商

ダイエット

54 商品

21 商品

品のレビュー（評価点 5 が 8 割以下であるが高評価）の例

シェイク/958 件/878 件を表 9 に示す.

>>セット

なお, 本実験では, 表 6,7 に対応する商品はすべて, 評
価点 5 のレビューが 8 割未満であった.

表 9.

その他の高評価レビューの例

これを飲むようになってから翌日目が腫れていること
この 2 つのジャンルに含まれる商品の中から 2010 年 1があまりないので手放せません. 私は夜一錠で少しむく

月の 1 ヶ月間に 5 件以上のレビューを獲得している商品をみがある時は翌朝一錠飲んでいます.

抽出し, 該当商品に対する評価点 5 のレビューがどのよう立ち仕事＆むくみ体質の私には手放せないサプリ. もうな傾向を示しているか分類した.

半年ほど愛用しています. 飲みやすい小さめのカプセル

まず,配達の速さやショップの対応を評価されている商もポイント高し.

品 (4.1 分類 A) と安さを評価されている商品( 4.1 分類 B)(前略)しかし去年の冬に飲みだしてから毎日欠かさず飲を目視で分類した. 表 6,表 7 に分類 A), B) のレビューのんでいたのが良かったのか 今季は冬入った頃の寒さが例を示す.

激しくなった頃は, 少ししもやけが出ましたが, その後次に, 8 割以上のレビューが評価点 5 である商品を抽出した. これらの商品に対するレビュー（褒めてばかりレビュー）の例を表 8 に示す. 目視でチェックしたところ, レビュー中に誇大と思われる賛辞がしばしば見受けられた.

ⓒ2018 Information Processing Society of Japan

しもやけがでなくなりました！！ もうー最高に嬉しいーッ＼(^-^)／ (後略)情報処理学会研究報告
IPSJ SIG Technical Report5.

まとめと今後の課題ものを除去する方法を別途検討する.

5.1 まとめ
本稿では, 有用な商品レビューを抽出することを目的とし, 「役にたたないレビュー」の例を収集し, それらを除去するための手法を提案した.
3 章では, 楽天レビューデータから「未購入者のレビュー」を抜き出し, SVM で学習する手法を使って「役に立たないレビュー」を検出することを試みた.

未購入者の 5 点

評価レビューは, 役に立たないレビューの学習正例として有用であることを示した.
次に、未購入者のレビューの例は入手困難な場合があるため, 一般的に入手可能な学習例を収集することを考えた.
4 章では,「大量のレビューが投稿されかつ評価の分布が高評価に偏っている商品」のレビュー（褒めてばかりのレビュー）に注目した. 褒めてばかりのレビューと, 他のレビューのサンプルを試験的に収集し, 目視で評価したところ, 褒めてばかりのレビューが, 役に立たないレビューの学習例として有望であることが分かった.
5.2 今後の課題
褒めてばかりのレビューを正例として学習し, 役に立たないレビューを実際に判別することが当面の課題である.
褒めてばかりのレビューの中に「役に立つレビュー」(4.2節のⅱ)が含まれているか, 含まれている場合は自動的に判別可能か確認する必要がある.
学習にあたっては, 他の種類の「役に立たないレビュー」（4.1 節の A）, B）, C）） と「褒めてばかりのレビュー」の学習を独立して行うか否かを考慮する.
最後に, 本稿では主に高評価の役に立たないレビューについて扱ったが, 低評価のレビューについても、役に立たⓒ2018 Information Processing Society of Japan

参考文献[1]経済産業省商務情報政策局情報経済課, 平成 28 年度我が国
経済社会の情報化・サービス 化に係る基盤整備(電子商取引に関する市場調査)報告書. 2017.
[2]J-Cast ニュース, 「やらせ」の口コミや架空の注文なんと 11万件超! 「楽天市場」で大掛かりなステマが発覚,
http://www.j-cast.com/2015/03/21231013.html (accessed atJan.19.2018).
[3]NII, 情報学研究リポジトリ, http://www.nii.ac.jp/dsc/idr/(accessed at Jan.19.2018).
[4]NII, 楽天株式会社, 楽天データセット,
http://www.nii.ac.jp/dsc/idr/rakuten/rakuten.html.
[5]林驍, 伊東栄典, 廣川佐千男, 大規模 EC サイトの商品レビ
ュー傾向分析, 情報処理学会研究報告, Vol. 2015-ICS-181,
No. 7, 2015[6]Sakai, T. and Hirokawa, S. Feature words that classify problem
sentence in scientific article, Proc. iiWAS 2012, pp.360-367,2012[7]形態素解析エンジン MeCab, http://taku910.github.io/mecab/(accessed at Oct.8.2015).
[8]Shardan, U. and Maes, P., Social information filtering:algorithms for automating “word of mouth”, CHI '95
Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems pp.210-217 ACM Press/Addison-Wesley
Publishing Co. New York, NY, USA, 1995
[9]足立 裕介 , 鬼村 直弥 , 山下 貴範 , 廣川 佐千男 標準的尺度と SVM 尺度を使った属性選択による文書分類の性能評価(言語理解とコミュニケーション) 電子情報通信学会技術研究報告. A・P, アンテナ・伝播 ISSN： 0913-5685 2016 巻：
116
号： 213
ページ： 1-6[10]山根宏彰, 萩原将文, Web 上の口コミを用いたキャッチコピー
選択システム 2015/04/01, Online ISSN , Print ISSN ,https://doi.org/10.14864/fss.30.0_654,
https://www.jstage.jst.go.jp/article/fss/30/0/30_654/_article/char/ja