WISS2011

レビュアの信頼性を説明付けするシステム
A System for Describing Reviewer Crediblity

田中 祐也

中村 伸子

土方 嘉徳

西田 正吾∗

Summary. 近年，レビューサイトに書き込みを行うユーザ（レビュア）が増加し，レビュアの質が多様化している．レビューサイトにはユーザからの投票結果に基づいたレビュアのランキングなどの指標が存在するが，現在用意されている指標ではユーザは具体的にレビュアのどのような点が優れているのかを知ることはできない．本稿では，レビュアの信頼性を評価する際に有効な属性と手法を明らかにし，レビュアを信頼性でランク付けするとともに有効な属性を用いてレビュアの信頼性を説明付けするシステムを開発する．

1

はじめに

近年，レビューサイトに書き込みを行うユーザ（レビュア）が増加し，有益な情報を発信する信頼できるレビュアだけでなく，参考にならない情報しか発信しない信頼できないレビュアも書き込みを行うようになってきた．我々は，信頼できるレビュアを特定することで，購入の意思決定の判断材料となる有用なレビューを特定することができると考える．
代表的なレビューサイトである Amazon.com では，レビュアの信頼性の指標としてユーザからの投票結果に基づいたレビュアのランキングが示されている．Epinions.com では，レビュアが何人のユーザから信頼されているかを確認することができる．
ユーザは，これらの指標によって大まかにレビュアの信頼性を評価できるものの，具体的にレビュアのどのような点が優れているのかを知ることはできな
い．本研究ではレビュアを信頼性順にランク付けするだけでなく，レビュアの信頼性と関連のある属性の評価値も提示することによりレビュアの信頼性を説明付けするシステムの開発を行う．

2

レビュアの信頼性評価に関する実験

レビュアの信頼性評価における有効な属性と手法を特定するために，Amazon.com を対象として実験を行った．Amazon.com における 4 つのカテゴリ（ミステリー映画，ロックミュージック，MP3 プレー
ヤ，デジタルカメラ）に属する商品に対する全てのレビューとそのレビューを行ったレビュアのデータを独自に収集し，それをデータセットとした．
実験設計 これまでの研究から，レビュアの信頼性評価に用いることができる方法は２つある．注目アイテムに対するレビューの内容をもとにレビューの質を評価し，レビューの評価値をレビュアの評価値∗Copyright is held by the author(s).
Yuya Tanaka, Nobuko Nakamura, Yoshinori Hijikata
and Shogo Nishida, 大阪大学大学院基礎工学研究科とみなす方法（以下，「内容に基づく手法」と記す）と，レビュアが過去にレビューを行った履歴をもとにレビュアを直接評価する方法（以下，「履歴に基づく手法」と記す）である．前者の関連研究としては，[1, 2, 3] があり，後者の関連研究としては [4, 5] がある．我々は過去のレビュー内容を用いることによってレビュアの書くレビューの質のバラつきを考慮できると考え，3 つ目の方法としてレビュアが過去に執筆したレビュー内容に基づく手法（以下，「過去の内容に基づく手法」と記す）を用いる．
本研究で用いる属性について述べる．内容に基づく手法と履歴に基づく手法の属性については，それぞれの手法の関連研究で用いられてきた属性を全て使用する．過去の内容に基づく手法の属性は内容に基づく手法の属性と同じものを用い，レビュアが過去に執筆したレビューにおける内容に基づく手法の属性値の平均を属性値とする．
有効な属性の特定は，各属性の属性値とレビュアの評価値の正解値との相関を計測することによって行う．レビュアの評価値の正解値には，Amazon.comでの投票結果 (helpful と投票された割合) を用いる．
有効な手法の特定は，それぞれの手法において使用する属性の属性値からレビュアの評価値を予測するモデルを学習し，学習したモデルによる予測値とレビュアの評価値の正解値との相関を計測することによって行う．モデルの学習にはサポートベクター回帰を用い，相関の計測には，ピアソンの積率相関係数を用いる．
実験結果 属性の有効性に関する実験の結果について述べる．4 つのカテゴリの全てのレビューにおける属性値とレビュアの評価値との相関係数の上位 10
属性を表 1 に示す．表 1 より，星の数に関する属性，商品特徴語に関する属性，単語数の相関が高くなっていることが分かる．
手法の有効性に関する実験の結果について述べる．
信頼性評価の 3 手法に加え，3 手法を組み合わせた
ハイブリッド手法 (61 属性)(以下，「Hybrid61」と記WISS 2011

表 1. 正解値と各属性値との相関係数の上位 10 個
順位12345678910

属性名
星の数 (過去)星の数
平均星の数との差
商品特徴語の数
商品特徴語の数 (過去)
単語数
商品特徴語の頻度 (過去)
商品特徴語の頻度
単語数 (過去)
被レビュー数

相関係数
0.54210.53590.48860.30210.27990.24220.22920.21970.20340.1880

図 1. システムのスクリーンショットす) と，過去の内容に基づく手法と履歴に基づく手法を組み合わせたハイブリッド手法 (33 属性)(以下，「Hybrid33」と記す) も用いる．各手法における予測値と正解値との相関係数の結果を表 2 に示す．表2 より，Hybrid33 が全てのカテゴリにおいて他の 4手法よりも良い結果となっていることが分かる．
表 2. 各手法における予測値と正解値の相関係数
AllMystery
RockMP3
DCamera内容
0.61650.65050.78520.55950.6389履歴
0.52240.56160.65520.4541
0.5224

過去の内容
0.62820.6826
0.79200.56800.6452Hybrid61
0.62580.69790.79020.56700.6436

Hybrid33
0.64190.7216
0.7926
0.6138 *0.6524“ * ”は他手法に対して統計的に有意であることを示す．
(相関係数の同等性の検定：有意水準 5%)

3

システム設計2 章の実験において，レビュアの信頼性評価において最も有効な手法は Hybrid33 であること，レビュ
アの信頼性評価に対して有効な属性は，星の数，商品特徴語，レビューの分量に関する属性群であることを特定した．そこで，Hybrid33 を用いてレビュアのランク付けを行い，上記 3 つの属性群のスコアを提示することによりレビュアの信頼性の説明付けを行うシステムを開発する．星の数に関する属性群として “星の数 (過去)”と “平均星の数との差”を，商品特徴語に関する属性群として “商品特徴語の数 (過去)”と “商品特徴語の頻度 (過去)”を，レビューの分量に関する属性群として “単語数 (過去)”と “文の数(過去)”を用いてスコアを算出する．スコアの算出は，それぞれの属性の属性値に属性の有効性実験で得られた相関係数を重みとして掛け，それらを足し合わせることで行う．
上述のシステムを Web アプリケーションとして実装した．ユーザは，Web ブラウザから上記 Webアプリケーションにアクセスする．サーバは Java，クライアントは HTML で実装している．サーバは，
Amazon.com からダウンロードしたレビューを基に，オフラインでレビュアのスコアの算出を行う．
ユーザがクライアントに商品ページの閲覧を要求すると，クライアントは要求された商品ページを開発したサーバからダウンロードする．さらに，ユーザが商品ページに埋め込まれたボタンをクリックすると，クライアントはその商品にレビューしたレビュアのランキングを表示するページをダウンロードする．
図 1 にシステムのランキングページのスクリーンショットを示す．レビュアランキングのページでは，レビュアの信頼性のスコア (“Credibility Rank”)，信頼性に関する属性群のスコア，レビュー本文，他の商品に対するレビューを見ることができる．ユー
ザは，信頼性と関連する属性のスコアを見ることにより，そのレビュアのどういう部分が評価されているのかを確認することができ，そのレビュアが執筆したレビューを参考にするかどうかの判断材料とすることができる．

4

おわりに本研究では，実際の商用 Web サイトを用いてレビュアの信頼性評価における有効な属性と手法を明らかにした．また，レビュアのランク付けを行うとともにレビュアの信頼性に関する属性の評価値も提示するシステムを開発した．

参考文献[1] S. Kim, et al., Automatically Assessing ReviewHelpfulness，Proc. EMNLP’06 ，ACL，pp. 423430，(2006).
[2] Z. Zhang, et al.，Utility scoring of product reviews，Proc. CIKM’06 ，ACM，pp. 51-57，(2006).
[3] J. Liu，et al., Low-Quality Product Review Detection in Opinion Summarization，Proc. EMNLP-CoNLL’07 ，ACL，pp. 334-342，(2007).
[4] T. Riggs, et al.，An Algorithm for AutomatedRating of Reviewers，Proc. JCDL’01 ，ACM，
pp. 381-387，(2001).
[5] M. Chen，et al.，Computing and using reputations for internet ratings，Proc. EC’01 ，ACM，
pp. 154-162，(2001).