人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第30回)
SIG-AM-30-10

ネットショッピングにおける他者に役に立つショップレビュー作成支援システム
Useful Shop Reviews Writing Support System forOnline Shopping Users
西原陽子 1 ∗ 浅堀なぎさ 1 Junjie Shan2
Yoko Nishihara1 , Nagisa Asahori1 , and Junjie Shan2
立命館大学情報理工学部
College of Information Science and Engineering, Ritsumeikan University
2
立命館グローバル・イノベーション研究機構
2
Ritsumeikan Global Innovation Research Organization
1

1

Abstract: This paper proposes a support system for writing useful shop reviews for online shopping users. We used Rakuten Ichiba’s dataset, which contains shop reviews with evaluated scores.
The proposed system has two functions: the review judgment function and the review example
function. The review judgment function is implemented by learning reviews with fastText. The review example function could randomly display a review from highly scored reviews. The judgment
function is used to support checking whether a review is useful, while the review example function
supports ﬁnding what kind of information is necessary for an useful review. We experimented withthe proposed system with 15 participants and found how the two functions aﬀect writing usefulreviews.

1はじめに多くのレビューが日々執筆され，他のユーザの意思決定に役立てられている．レストランのレビューや映画のレビュー，商品のレビューなど，様々なものに対してレビューが書かれている．レビュー内容の分析やレビューの極性分析など，執筆されたレビューに関する研究は多数存在する．例えば，レビューテキストの各文が何について書かれているのかを分類する研究 [7]や，レビューがどのメディアについての言及であるかを分類する研究 [4]，レビューの極性判定 [1]，トピック分析を行う研究 [3] などがある．
一方で，レビューの執筆を支援する研究にも注目が集まっている．レビュー執筆支援は文章執筆支援の研究の一種と考えられる．論文やレポートなどの技術文書の執筆を支援する研究や [6]，小説や随筆などの執筆を支援する研究 [5] などがある．レビューや口コミの執筆支援に関する研究としては，評価してほしい対象物や観点，それに使われる評価表現の与え方を変化させたときに，ユーザの書くレビューの内容がどのように変∗ 連絡先：立命館大学情報理工学部

滋賀県草津市野路東 1-1-1
nisihara@fc.ritsumei.ac.jp

化するかを明らかにしたものなどがある [2]．レビューの執筆が支援されると，より多くの良質のレビューを集めることができる．これはレビューを読むユーザにとっても，レビューを書いてもらった店舗や出品者側にとっても有益になる．
そこで本論文では，ネットショッピングを利用するユーザに向けて，他者に役立つショップレビューを書くための支援システムを提案する．他者に役立つレビ
ューのデータとして，本研究では楽天市場のショップレビューのテキストと，レビューに対し他のユーザから「参考になった」と評価された数のデータを用いる．
ショップレビューに対して他者から参考になったと評価されたということは，他者にとってその情報が役に立ったとみなせる．本研究では，機械学習のアプロー
チを用いて「参考になった」と評価されるレビューの特徴を学習し，その特徴に沿ったレビューの執筆を支援するシステムを提案する．

2

提案システムはじめに提案システムの概要を説明する．提案シス
テムは 2 つの機能を有する．1 つはレビューが他者にー 63 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第30回)
SIG-AM-30-10

とって役に立つものであるかを評価する「レビュー判定機能」であり，もう 1 つは役に立つと評価された中から内容が肯定的なものと否定的なものをランダムに表示する「例文ガチャ機能」である．ユーザは，自分が執筆したレビューを提案システムに入力し，レビューの判定機能を用いて執筆したレビューが役に立つかどうかを知る．レビューの内容を修正したいときには，例
文ガチャ機能を用いて参考になるレビューを提示し，自らのレビューを修正する．2 つの機能を組み合わせ，繰り返し使うことにより，他者にとって役立つショップレビューを完成することができる．
以下では，本研究で用いた楽天市場のデータセットについて述べ，その後，2 つの機能の実装の詳細について説明する．

2.1

楽天市場のショップレビューのデータセット

本研究で用いたデータは楽天市場により提供されている市場店舗レビューデータセットである．用いたデー
タの投稿期間は，2018 年 12 月から 2019 年 12 月分の13 ヶ月分である．このデータの中には投稿者 ID，店舗名，店舗 ID，評価ポイント，レビュー本文，参考になった数，レビュー投稿日時が記されている．このう
ち「参考になった数」は，レビューを読んだユーザが「参考になった」ボタンを押した数である．本研究では「参考になった数」を用いて，役に立つレビューとそれ以外を分け，機械学習のための教師データを作成する．
教師データを作成するために，はじめにデータのクレンジングを行う．対象期間においてほとんどの投稿者は数回程度ショップレビューを書くだけであったが，一部の投稿者はより多くのショップレビューを書いていた．本研究では，同一の投稿者 ID が対象期間内に上位 3%の件数以上のレビューを投稿していた場合には，一般的な投稿者ではないとしてデータからレビューを削除した．
続いて「参考になった数」を用いて，役に立つレビューとそれ以外を分け，データセットを作成する．
「参考になった数」が閾値以上のデータを役に立つレビューのデータ，すなわち正例のデータとし，反対に「参考になった数」が 0 のものを負例のデータとした．本研究では「参考になった数」が 2 以上のデータを役に立つレビューのデータとした．

2.2

レビューの判定機能

作成したデータセットを用いてレビューの判定機能を実装する．本研究では文書分類器の fastText1 を用い
1 https://github.com/facebookresearch/fastText

表 1: fastText のレビューの分類精度
ラベル＼分類結果
正例
負例

正例
3943
847

負例
657
4481て，レビューを学習することにより分類器を作成し，レビューの判定機能を実装する．データを学習用とテスト用に分け，学習用として正例データを 57,090 件と負例データを 39,628 件 fastText に与えて学習させた．
テスト用として正例データと負例データを 4,600 件，5,328 件それぞれ用意し，分類精度の評価を行った．テ
ストデータの分類結果を表 1 に示す．正例を正例と分類できる精度は 85.72%，負例を負例と分類できる精度は 84.1%であった．

2.3

例文ガチャ機能

例文ガチャ機能の実装方法について説明する．レビューの判定機能により執筆したレビューが他者の役に立つか立たないかはわかるが，どのように書けば役に立つと判定されるのかは以前としてわかりにくい．そこで，役に立つと評価されたレビューを示すことにより，レビュー修正の支援を行う．役に立つと評価されたレビューは，参考になった数が 2 以上のものとする．
レビューを書くときはショップを称賛する場合もあれば，苦情を申し立てる場合もあると考えられる．書
きたいレビューの内容に応じて，例文が表示されることが望ましい．そこで，レビューを肯定的な内容と否定的な内容に分類2 し，ユーザの選択に応じて表示する例文を変更する．2018 年 12 月に投稿された中から，役に立つ肯定的なレビューを 162 件，役に立つ否定的なレビューを 162 件用意した．ユーザには肯定的なレビューか否定的なレビューかを選ばせ，用意した中からランダムにレビューを表示する．

2.4

機能が実装されたユーザインタフェース

2 つの機能を備えたユーザインタフェースを実装した．ユーザインタフェースは，Python と Tkinter により実装された．図 1 に，提案システムのユーザインタフェースを示す．ユーザは，一番上のテキストボック
スに執筆したレビューを入力する．下の「実行」ボタンを押すと，レビューの判定が行われ，判定結果が図2 のように示される．「肯定的な例レビュー」か「否定2 今回は人手により分類を行ったが，レビューのポジティブネガ
ティブを分類する機械学習による手法を今後検討する．

ー 64 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第30回)
SIG-AM-30-10

図 2: レビュー判定結果の例

図 3: 例文ガチャ機能の実行例，レ
図 1: 提案システムのユーザインタフェース（上）ビュー判定結果の例（中央），および例文ガチャ機能の実行例（下）的な例レビュー」ボタンを押すと，例文ガチャ機能が実行され，レビューの例文が示される．

評価実験

3

提案システムを評価する被験者実験を行った．被験者実験では，提案システムの 2 つの機能の有用性を評価した．

3.1

5. 被験者は，完成した 3 つのレビューを実験者に提出し，アンケートに回答後，実験を終了する．
続いて，実験の詳細を説明する．被験者は，ネットショッピングの経験がある大学生，大学院生 15 名であった．年齢は 20 から 24 歳，男性が 9 名，女性が 6名であった．
被験者は，レビューを修正する際，以下の 3 つの条件がそれぞれ課せられた．条件を課す順序は，被験者ごとに異なるように設定した．

• 何も使用しない：執筆したレビューの内容を目視で確認する．
• 判定機能のみ使用：レビューの判定機能だけが備わったシステムを用いて修正する．

実験手順

はじめに実験手順を説明する．

• 提案システムを使用：レビューの判定機能と例文
ガチャ機能の 2 つが備わったシステムを用いて修正する．

1. 実験者は，被験者を募集する．
2. 被験者は，レビューを執筆するショップを選択し，レビューを執筆する．
3. 被験者は，レビューを修正する．与えられた場合はシステムを使用して修正し，与えられなかった
場合は目視にて内容を確認し修正する．
4. 被験者は，2 と 3 を 3 回行い，3 つのレビューを作成する．

1 つ目の「何も使用しない」の条件では，被験者はレビューを執筆するショップを決めた後，レビュー執筆のヒントとなる情報は一切閲覧せず，自力でレビューを執筆し，修正を行い，完成させる．
2 つ目の「判定機能のみ使用」の条件では，被験者は1 つ目と同様にレビューを執筆し，その後，レビュー判定機能を用いて自らが執筆したレビューが役に立つと判定されるかを確認する．役に立つと判定されれば修ー 65 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第30回)
SIG-AM-30-10

正を終了し，役に立たないと判定されれば修正を繰り返す．ただし，判定機能を 5 回使用しても役に立たないと判定された場合は，それ以上は修正しない．
3 つ目の「提案システムを使用」の条件では，被験者は 1 つ目と同様にレビューを執筆し，その後，レビュー判定機能を用いてレビューの判定結果を得る．続いて，書きたいレビューの内容に応じて例文ガチャ機能を用いて，例文を出力する．出力された例文を参考にし，レビューを修正する．例文ガチャ機能の使用回数に上限はないが，レビュー判定機能の使用回数の上限は 2 つ目と同様に 5 回とする．
被験者は，2 つのアンケート項目に回答した．

表 2: 各条件での役に立つレビュー数とその割合．提案システムを使用した場合で，ガチャ機能を使用せずにレビュー執筆を終了した分は含まれない．
条件
何も使用しない
判定機能のみ使用
提案システムを使用

成功数
13/45
21/45
23/35

成功率
28%
46%
65%

表 3: 各条件でのレビュー執筆までにかかる時間とレビュー完成までにかかる時間の平均• レビュー判定機能，例文ガチャ機能のどちらがレビュー執筆に役立ったか（レビュー判定・例文ガチャ・どちらも役に立った・どちらに役に立たなかったの 4 択）

条件
何も使用しない
判定機能のみ使用
提案システムを使用

執筆まで
13.64 秒
15.18 秒
17.06 秒

完成まで
152.9 秒
537.8 秒
456.8 秒• 上記の理由（自由記述）
実験者は，レビュー執筆に要した時間を計測した．

• タイム 1：ショップを選択してから，レビューを執筆し始めるまでの時間．
• タイム 2：レビューを執筆し始めてから，レビューの作成が完了するまでの時間．

3.2が 13.64 秒であった．レビュー完成までの時間は，提案システムを使用したときが 456.8 秒，レビュー判定機能のみを使用したときが 537.8 秒，何も使用しないときが 152.9 秒であった．
最後に表 4 に，被験者のアンケート回答結果を示す．
例文ガチャ機能を選択した人が 53.3%で，どちらも役に立ったを選択した人が 46.7%であった．

評価方法

評価は，2 つの点から行った．なお，各条件で 45 個のレビューが得られ，3 つの条件で 135 個のレビューが得られた．タイム 1 と 2 についても同様に，各条件で 45 個のタイムが得られ，3 つの条件で合計 135 個のタイムが得られた．

4考察

本章では，レビュー判定機能と例文ガチャ機能について考察を行う．

レビュー判定機能に対する考察• 各条件で得られた役に立つレビューの割合

4.1• 各条件でのレビュー執筆までの平均時間（タイム1）とレビュー完成までの平均時間（タイム 2）

表 2 では，「何も使用しない」ときは成功率が 28%で「判定機能のみを使用」するときは成功率が 46%であった．
「判定機能のみを使用」するときの成功率が 18%増加した．表 5 にレビューの判定機能が実際に使用され

3.3

実験結果

表 2 に，各条件で得られた役に立つレビューの数とその割合を示す．成功率は，提案システムを使用した
ときが 65%，レビュー判定機能のみを使用したときが46%，何も使用しないときが 28%であった．
続いて表 3 に，各条件でのレビュー執筆までの時間（タイム１）とレビュー完成までの時間（タイム２）の平均時間を示す．レビュー執筆までの時間は，提案システムを使用したときが 17.06 秒，レビュー判定機能のみを使用したときが 15.18 秒，何も使用しないとき

表 4: レビュー執筆に役立った機能についての被験者
アンケートの結果

ー 66 ー

選択肢
レビュー判定機能
例文ガチャ機能どちらも役に立った
どちらも役に立たなかった

割合
0%
53.3%
46.7%
0%

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第30回)
SIG-AM-30-10

表 5: 各条件でのレビュー判定機能の使用回数の平均
条件
判定機能のみ使用
提案システムを使用

レビュー判定機能の使用回数
3.867
3.044

表 6: 被験者が執筆した判定機能使用前後のレビューの例．太字が修正された部分．

表 7: 被験者が執筆した例文ガチャ機能使用前後のレビューの例と出力された例文の一部．太字が修正された部分．

使用前

出力例文
使用後

使用前

使用後

レビュー
ズボンは質感も良く、色味はサイトの写真と変わりませんでした。匂いもついていませんでした。
ズボンは質感も良く、色味はサイトの写真と変わりませんでした。匂いもついていませんでした。注文の翌日には発送された点がよかったです。

た回数の平均を示す．レビューの判定機能の使用回数の最大値は 5 回と設定していたが，被験者は「判定機能のみを使用」するときに平均 3.8 回使用していた．また，表 3 のレビュー執筆完了までにかかる時間は，「何も使用しない」ときは 152.9 秒で「判定機能のみを使用」するときは 537.8 秒であった．レビュー執筆完了までの時間が 384.9 秒増加したこと，レビューの判定機能を 3.8 回使用したことをあわせて考えると，被験者はレビューの判定機能を用いて自分のレビューの判定結果を得て，レビューに対して修正を行うことを繰り返すことができた．表 6 に，被験者が書いた判定機能使用前後のレビューの例を示す．判定機能を使用した後に，ショップの良いところをレビューに追加できている．以上のことから，レビューの判定機能を用いることにより，レビューの修正が促され，役に立つレビューを書く支援が行われることが明らかになった．

4.2

例文ガチャ機能に対する考察

表 2 では，「判定機能のみを使用」するときは成功率が 46%で「提案システムを使用」するときは成功率が65%であった．「提案システムを使用」するとき，つまり例文ガチャ機能を使用することで成功率が 19%増加した．表 7 に，被験者が書いた例文ガチャ機能の使用前後のレビューの例と，出力された例文の例を示す．例
文ガチャ機能を使用した後に，ショップの懸念点をレビューに追加できている．例文ガチャ機能の平均使用
回数は 16.9 回であったが，使用回数の最小値は 0，最大レビューまたは例文
使用前発送するのはとても早く、新しく買ったスマホを守れて良かったが、スマホケース自体の生地が安っぽい。
（省略）信頼していたショップなのでショックです！
発送するのはとても早く、新しく買ったスマホを守れて良かったが、スマホケース自体の生地が安っぽい。羊のショーンが描かれたスマホケースだったが、しっかりとした本家のスマホケースを買うべきだと思う。

値は 93 で人によって使用回数が異なっていた．また，
表 3 のレビュー執筆完了までにかかる時間は，「判定機能のみを使用」するときは 537.8 秒で「提案システムを使用」するときは 456.8 秒であった．レビュー執筆完了までの時間は 81.0 秒減少した．表 5 でもレビュー判定の機能の使用回数が 3.867 回から 3.044 回に減少した．使う機能は 1 つから 2 つに増えたが，レビュー判定機能と例文ガチャ機能をうまく併用することにより，レビュー執筆にかかる時間と判定回数を減少できている．以上のことから，例文ガチャ機能を用いることにより，より短時間でレビューの修正が行え，役に立つレビューを書く支援ができることが明らかになった．

5

おわりに

本論文では，ネットショッピングを利用するユーザに向けて，他者に役立つショップレビューを書くための支援システムを提案した．提案システムは 2 つの機能を有し，1 つは執筆されたレビューが役に立つかを判定する機能，もう 1 つは執筆に役立つ例文を表示する機能である．レビューの判定機能は，役に立つと評価されたレビューと評価されなかったレビューを fastTextを用いて学習し，レビューの分類器を作成することで実装した．例文を表示する機能は，役に立つと評価された中から肯定的な内容のレビューと否定的な内容のレビューを収集し，ランダムに表示することで実装した．
評価実験では被験者に提案システムの 2 つの機能を使ってショップレビューを書いてもらい，得られたレビューの判定結果と執筆にかかる時間から提案システ
ムの評価を行った．実験の結果，レビューの判定機能と例文を表示する機能のどちらもがレビュー執筆を支ー 67 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第30回)
SIG-AM-30-10

援することが明らかになった．今後は，提示する例文をユーザが書いているレビューの内容に応じて変化させることと，多様なレビューの執筆を支援できるシステムの構築に取り組んでいく．

謝辞
本研究の一部は，科研費（22H03708）と立命館グローバ
ル・イノベーション研究機構の支援を受けました．記して謝意を申し上げます．本研究の一部に国立情報学研究所の IDR データセット提供サービスにより楽天グループ株式会社から提供を受けた「楽天データセット」を使用しました．
（https://rit.rakuten.com/data release/）
記して謝意を申し上げます．

参考文献[1] Hua Bai and Guojing Wang. Text sentiment analysis of hotel online reviews. In Proceedings of the5th International Conference on Computer Science and Software Engineering, CSSE ’22, p. 733‒ 737, 2022.
[2] Ryoya Suzuki, Ryosuke Yamanishi, and Yoko
Nishihara. Framework for analysis and feedback ofevaluation expressions in restaurant reviews. 2019
International Conference on Technologies and Applications of Artiﬁcial Intelligence (TAAI), pp. 1–5, 2019.
[3] Ye Yiran and Sangeet Srivastava. Aspect-based
sentiment analysis on mobile phone reviews withlda. In Proceedings of the 2019 4th International
Conference on Machine Learning Technologies, p.
101 ‒ 105, 2019.
[4] 藤居優奈, 韓毅弘, Junjie Shan, 西原陽子, 山西良典. 作品の展開メディアに対応したレビューの分類
手法. 第 8 回コミック工学研究会, pp. 1–7, 2022.
[5] 鈴木勘太, 杉本徹. Encoder-decoder モデルを用いた文章表現を豊かにする執筆支援システム. 日本感性工学会論文誌, 2022.
[6] 伊藤拓海, 栗林樹生, 日高雅俊, 鈴木潤, 乾健太郎.
Langsmith: 人とシステムの協働による論文執筆.
言語処理学会 第 27 回年次大会 発表論文集, pp.
1834–1839, 2021.
[7] 山西良典, 藤岡寛子, 西原陽子. 擬似コーパスを用いた飲食店レビューの観点の自動分類. 人工知能学会論文誌, Vol. 36, No. 1, pp. 1–8, 2021.

ー 68 ー