DEIM Forum 2016 G6-3

レビューサイトにおける不均質性を考慮した
特異なレビュアー発見とレビューサマリの推測
川本

淳平†

浅野

泰仁††

俵本

一輝††

吉川 正俊††† 九州大学大学院システム情報科学研究院 〒 819–0395 福岡市西区元岡 744†† 京都大学大学院情報学研究科 〒 606–850 京都市左京区吉田元町
E-mail: †kawamoto@inf.kyushu-u.ac.jp, ††{asano,yoshikawa}@i.kyoto-u.ac.jp,†††tawara@db.soc.i.kyoto-u.ac.jp
あらまし

本論文では，レビュアーサイトにおいてその不均質性を考慮した特異なレビュアー発見方法を提案する．レビュアーサイトにおける特異なレビュアー発見においては，レビュアー及びレビュー対象を頂点とする二部グラフを用いて反復改良を用いる手法が多く提案されている．このような手法は教師データを必要とせず，また文脈に依存せず動作する利点がある．その一方で，現実のレビューサイトのように，レビュー対象ごとのレビュー数と評価にばらつきがある及び特異なレビュアーは通常のレビュアーに比べて極めて少数であるという不均質性を持つ場合，正しく特異なレビュアーを発見できないことがある．本論文で我々は，こうした不均質性を取り扱うために，論争度と偏差
希少度という二つの概念を導入し，これらを用いた新しい特異なレビュアー発見手法を提案する．また，Amazon.com
から取得したレビューデータを用いて，提案手法の有効性を評価した．さらに我々の提案手法は，不均質性を持つレビューサイトにおいて，特異なレビュアー発見だけでなく少数のレビューから将来的なレビューサマリを推測する場
合においても有効であることを確認した．
キーワード

レビューサイト，二部グラフ，レビュー予測

1. は じ め に必要がある．

Amazon.com など多くのウェブサイトでは，ユーザに「こ多くのウェブサイトが何らかのレビューを提供している．このレビューは参考になりましたか？」などと問い投票してもら

れらのレビューは消費者だけでなく市場調査にとっても有益なうことでスパムレビューを削除している．しかし，こうしたクものである．特に，レビューのサマリは個別のレビューを読ま

ラウドソースによる特異なレビュー削除には，ある程度の投票

ずともおおよその評価を手軽に得ることができるため，よく商を待つ必要があり，初期レビューに対しては有効では無い．そ品購入などの意思決定に用いられている．典型的なサマリは，こで，我々はレビュー総数の大小に関わらず特異なレビュアを

例えば Amazon.com において各商品に付けられた五つ星評価

発見する方法を研究している．特異なレビュア発見は，特異な値の平均値を商品評価のサマリとして用いる方法などであるが，レビュアによるレビューを取り除き 一般的なレビュア による

その他にも様々なサマリ計算方法が提案されている [7, 11]．な

レビューを求めることができるため，初期レビューから長期的

お本稿におけるレビューとは，レイティングのような実数値となレビューサマリの計算にも有効である．初期レビューは新しして表されるものとする．

い商品やサービスに対するレビューであるため，過去に提供さこうしたレビューにおいて，他のレビュアと掛け離れたレ

れている商品やサービスとは異なる評価を得ることが多い．そビューを投稿する 特異なレビュア は問題の一つである．悪意のため，長期的なレビューのサマリを求めるために，過去の事あるレビュアや，スパマー，ステルスマーケティングなども特例を元にした教師あり学習を用いることは適していない．した異なレビュアの一種である．また，アーリーアダプターや専門がって，文脈に依存せず教師なしで長期的なレビューのサマリ家も特異なレビュアになり得る．専門家の意見はヘビーユーザを求める必要がある．

にとってしばしば有益であるものの，ライトユーザにとって必レビュー評価における，文脈に依存しない教師なし学習では，ずしも有益とは言えないからである [15]．この特異なレビュア

二部グラフによってレビュアと商品の関係をモデル化し，反復問題は，商品やサービスが公開されてすぐの 初期レビュー に

改良原理 (principle of repeated improvement) [2] を用いる方

おいてより顕著である．なぜなら，初期レビューではレビュー

法が効果的である．この二部グラフでは，片方の頂点集合がレ

総数が未だ少ない状態であり，特異なレビューが多数を支配しビュアをもう片方の頂点集合が商品集合を表す．そして，レビュ

やすいからである．そのため，初期レビューから求めたサマリ

アが商品に対してレビューを投稿した場合に限り，そのレビュは長期的なレビューから求めたサマリとは掛け離れることが多アを表す頂点と商品を表す頂点を枝で結ぶ．なお，各枝にはレい．一方，初期レビューは消費者や市場調査において重要であ

ビューの評価値を表す値をラベルとして持たせることが多い．

るため，初期レビューにおける特異なレビュア問題を解決する

このモデルの下で反復改良を行う方法が幾つか提案されている [5, 12, 14]．しかし，これらの方法ではどれも実際のレビュー
投稿サイトにおける 不均質性 を十分に取り扱えているとは言い難い．逆の状況，すなわちレビュアも評価対象も本質的に均質であると仮定している例として，Lauw らによる論文査読シ
ステムにおける寛容性評価 [5] がある．この例では，すべての論文は同人数の査読者によって査読されることを仮定しており，
また査読者は性善説に則り振る舞うことを仮定している．また，寛大なレビュアと厳格なレビュアの間に対称性を仮定している．しかしながら，現実的な商品やサービスのレビューにつ

図 1: 二部グラフの例.

いて考えてみると，こうした均質性は一般的に成り立たない．
幾つかのレビュー対象が大量のレビューを得る一方，ほとんどレビューが付かないレビュー対象もある．特異なレビュアは性善説に則り行動しているとは言いがたく，また特異なレビュアと通常のレビュアの間に対称性は仮定できいない．したがって，
レビューサイトにおける特異なレビュア発見においては，こうした非均質性をいかに取り扱うかが重要である．
本稿で我々は，不均質性を取り扱うために，(I) 各レビュー対象における評価値の 論争度 と (II) 評価値の 偏差希少度 という二つのアイデアを下に反復改良を行う方法を提案する．
各商品ごとに設定される 論争度は，その商品に対するレビュー数と分散によって求められる．レビュー数が大きく分散

めには，不均質性の取り扱いが重要であることを示した．

•

不均質性を取り扱うために，論争度 と 偏差希少度 という二つの新しい概念を示した．

•

上記二つの概念を下に，反復改良を用いた文脈に依存しない教師なし学習手法と提案した．

•

Amazon.com より得られた実データセットを用いて，提案手法が既存の文脈非依存の教師なし学習手法 [12, 14] より効
果的であることを示した．

•

特異なレビュアによる影響を削減し，初期レビューから求めた評価のサマリが長期的なレビューから得られるサマリの予測として効果的であることを確認した．

が小さい場合，論争度は小さくなる．この特徴は，長期的にレビューがある評価に収束する場合をうまく表現している．この収束値と掛け離れたレビューを投稿するレビュアは特異であると判断できる．レビュー数と分散が共に大きい場合，論争度は大きくなる．この時，投稿されたレビューがサマリと掛け離れていたとしても，そのレビューを投稿したレビュアは特異であると判断することは難しい．最後に，レビュー数が少ない場合，論争度はニュートラルな値となる．初期レビューはこのケースに含まれるが，この場合，このレビュー対象に対するレビュー
のみで特異なレビュアであるか否かの判断は行わない．以上をまとめると，論争度は特異なレビュア検知において各レビュー
対象をどの程度考慮するかを測る指標である．
一方偏差希少度は，評価値ごとに設定される．レビュア r の商品 p に対する評価を rate(r, p) と書き，商品 p の評価のサ
マリを summary(p) と書くとする．この時，このレビュアによる評価の偏差は |rate(r, p) − summary(p)| と計算できる．簡単に述べると，偏差希少度はこの偏差がどの程度頻繁あるいは稀に発生するかを測る指標である．反復改良を用いた従来の手法 [12, 14] では，どの偏差も等しく発生することを暗に仮定していた．しかし，実際のレビューを調査した結果，この仮定は多くの場合成り立たないことが分かった．そして，上記の仮定を採用した場合，特異でないレビュアに対して過剰なペナル
ティが与えられていることが分かった．具体的には，小さな逸脱は大きな逸脱よりも頻繁に発生しており，偏差に対して線形にペナルティを与えると小さな偏差に対して過剰なペナルティとなってしまう．そこで我々は，偏差希少度を導入し，偏差の発生頻度を考慮してペナルティを与えることにした．
最後に，本稿の成果をまとめる．

•

現実的なレビューにおいて特異なレビュアを発見するた

2. 二部グラフモデル
本節では，レビュアと商品を同時に扱う二部グラフモデルを導入する．二部グラフは二種類の頂点集合と片方の集合に属する頂点からもう片方の集合に属する頂点への枝のみからなるグラフである．そのため，レビュアと商品そしてレビュアによるその商品に対する評価を表現するに適している．従って，我々が利用する二部グラフではレビュアを一種類の頂点とし，商品をもう一種類の頂点とする．レビュアによる商品の評価は，そのレビュアから商品へ枝を張りそのラベルとして表現する．また，レビュアと商品にもラベルを持たせる．このラベルはそれぞれレビュアの特異度と評価のサマリを表している．我々は，この特異度をもとに評価のサマリを計算する．
［例 2.1］ 図 1 は，我々が用いる二部グラフの例を示したものである．この図は，３人のレビュアと２つの商品からなるレビュー関係を表しており，３人のレビュアの特異度はそれぞれ

0.1, 0.9, 0.5 となっている．すなわち，レビュア 2 は３人の中でもっとも特異な評価を行うレビュアと判断されている．この時，商品 2 の評価のサマリは各レビュアからの評価に対し特異度で重みを付けた平均として求める．
次に，この二部グラフの形式的な定義を与える．今，n 人のレビュアと m 個の商品があるとすると，レビュアを表す
頂 点 集 合 を R = {r1 , r2 , · · · , rn }，商 品 を 表 す 頂 点 集 合 をP = {p1 , p2 , · · · , pm } と書く．なお本稿では，レビュアは各商品に対して高々一回の評価を行うものとする．この仮定の元で，レビュアは評価を行った商品とのみ枝で結ばれることになる．従って，レビューを表す枝集合は E = {(r, p)|r ∈ R, p ∈P, r が p を評価している場合 } と定義する．前述のように，各

枝はその評価値を表すラベルを持つ．評価値は [0, 1] に正規正規化するものとし，anomalous : R → [0, 1] と定める．評価値の定義より，各商品の評価のサマリも [0, 1] 上に定義されることになり，summary : P → [0, 1] と定める．よって，

anomalous(r) と summary(p) はそれぞれレビュア r の特異度

Number of reviews

1.0
0.8

Fdev(x)た，レビュアはそれぞれ特異度を持つ．この特異度も [0, 1] に

0.12
0.10
0.08
0.06
0.04
0.02
0.00 2 3 4 5 6 7 8 910-

Average variance化するものとし，rate : R × P → [0, 1] と定義する．よって，rate(r, p) にてレビュア r の商品 p に対する評価値を表す．ま

0.6

0.4
0.2
0.0
0.0 0.2 0.4 0.6 0.8 1.0x(a) レビュー数別平均分散と商品 p の評価のサマリを表す．

(b) 累積密度関数

図 2: Amazon データセットの特徴．

以上より，本稿で用いる二部グラフを

G = (R, P, E, rate, anomalous, summary)の更新方法とともに説明する．

3. 2 特異度の更新と定める．
以降の議論を簡潔に記すため，次の記号を定義する．Er はレビュア r が評価した商品集合を表すものとする．また逆に，

Ep は商品 p を評価したレビュア集合を表すものとする．

3. 不均質性を考慮した反復改良

3. 2. 1 論 争 度
論争度に関するいくつかのコンセプトは評判分析の文脈で，credibility や trustness を扱う方法として議論されてきた [13]．
我々は，レビューサイトにおける不均質性を扱うために 論争度(controversiality) を導入する．レビュア r の商品 p に対する
部分特異度は，このレビュアによる評価がどれくらい評価のサ

本稿で我々は，前節にて定義した二部グラフ上で動作するアルゴリズム RIH (repeated improvement considering heterogene-ity) を提案する．RIH は反復改良原理 (principle of repeated
improvement) [2] を利用しており，不均質性を扱うために二つの概念，論争度と偏差希少度を利用している．本節では，まず始めに反復改良を説明し，その後我々が導入する二つの概念を説明する．

3. 1 反 復 改 良
反復改良はグラフにおける二つのプロパティ X と Y の間に，
プロパティ X はプロパティ Y を持つ頂点からサポートされ，プ
ロパティ Y はプロパティ X を持つ頂点からサポートされるという関係がある時に用いられる．HITS [4] や PageRank [1, 10]が代表的な利用例である．
この反復改良を我々の二部グラフに用いるために，特異度と評価のサマリの間に，次の二つを仮定する [12]．
［仮定 3.1］ (i) 特異なレビュアは評価のサマリから掛け離れた

マリとかけ離れているかを示す値である．ここで，我々は商品ごとに商品によっては投稿されたレビュー数やその分散が異なるという不均質性を考慮して部分特異度を求める必要がある．
投稿されたレビュー数が十分多く分散が小さければ，それらから得られた評価のサマリをそのまま用いてレビュアの特異度を計算することができる．しかし，レビュー数は多いものの分散が大きければ，言い換えれば評価が割れるような商品の場合，評価のサマリから掛け離れたレビューを行ったレビュアが即特異なレビュアとは言い切れない．同様のことはレビュー数が少ない場合にも考えられる．そこで我々は，レビュー数とその分散を４つの場合に分けて考え，レビュー数が小さく分散が大きい場合，レビュー数が小さく分散が小さい場合，レビュー数が多く分散が大きい場合，レビュー数が多く分散が小さい場合の順に小さくなるような値として論争度を定義する．
本稿で我々が用いる論争度は，シグモイド関数を用いて次のような形とする．

レビューを行う，(ii) 評価のサマリは普通のレビュアによる評2

この仮定により，特異度と評価のサマリは交互に更新を繰り返し最終的な値を求める．レビュア r の更新された特異度は，そて求める．我々は，レビュアー r による商品 p へのレビューが(1)

ここで，σp2 は商品 p に対する評価値の不偏分散を表し，のレビュアによる各レビューがそれぞれの商品における評価のサマリとどれくらいかけ離れているかを調べ，それらを集約し2

1 − 1/(1 + |Ep |σp −σ̄ )価を代表する値であるべきである．

σp2 =


2
∑
∑ rate(r′ , p)1
rate(r, p) −|Ep | − 1 r∈E
|Ep |
′
p

r ∈Ep

どれくらいサマリとかけ離れているかを示す指標として 部分特と計算されるものとする．また，σ̄ 2 は後で詳しく述べるが 平

異度 を導入し，a(r, p) と書く．一方，評価のサマリの更新は，

均分散 を表す．この論争度において，もし σp2 − σ̄ 2 > 0 であ対象の商品に対するレビューを各レビュアの特異度で重みをつるなら，商品 p に対するレビューの分散は相対的に大きいと判けた平均値として求める．これらの詳細は以降の節で説明する．

断できる．逆に，σp2 − σ̄ 2 < 0 であるなら，相対的に小さいと二部グラフにおける仮定 3.1 はレビュアーや商品が多数のレ言える．これにより，式 (1) は，レビュー数と分散について期

ビューを持っていれば期待通りに動作する．我々はここに，現待通りの関係を持つ．

実のレビューサイトで起こりうる不均質性を取り扱うために，

最後に，平均分散について説明する．レビューサイトにおけ(I) 各商品の評価に対する 論争度 と (II) 評価の 偏差希少度とる不均質性を考えると，評価値の分散の平均はレビュー数にいう二つの概念を導入する．本稿では，これらの概念を特異度

よっても変わってくる．図 2a は，本稿の評価実験でも用いる

Amazon データセットにおける，レビュー数と評価値の分散を1.0調べた結果であり，実際にレビュー数によって平均分散が異な

Fdev(x)0.8

ることが見て取れる．そこで我々は，レビュー数ごとに異なる

0.6′

平均分散を用いることにする．P|Ep | = {p ∈ P | |Ep′ | = |Ep |}

0.4
0.2

を商品 p と同じレビュー数を持つ商品の集合を表すとする．そ

0.0
0.0 0.2 0.4 0.6 0.8 1.0

2
して，P|Ep | における平均分散を σ̄|Eと表すことにする．す
p|

なわち，
2
σ̄|E
=
p|

1
|P|Ep | |

∑

σp2′

x

図 3: Amazon.com に投稿されたレビューの累積密度関数.

p′ ∈P|Ep |とであり，これでは逆の結果になってしまう．通常のレビューである．
以上を用いて，論争度を次のように定義する．
［定義 3.1］（論争度） contα (p) : P → [0, 1] を商品 p の論争度とすると，
0.5contα (p) =2)
1 − 1/(1 + |E |α(σp2 −σ̄|Ep| )pから得られる報酬が負の小さな値であるため，一度正の大きな値を得てしまうと，それを打ち消すためには数多くの通常のレビューが必要となってしまうためである．
そこで我々は，この問題を解決するために各レビューに偏差(|Ep | = 1 の場合)

希少度を設定する．偏差希少度は，各偏差がどれほど稀で大き(それ以外)

いか，あるいは一般的に小さいかを測る指標である．もしあると定める．
2
ここで，α は評価の分散と平均分散との差 (σp2 − σ̄|E
) の影響
p|

を調整するパラメータである．なお，レビュー数が 1 の場合，論争度の判断は難しいため中立的な値として 0.5 を選んでいる．

3. 2. 2 偏差希少度
我々の こ れ ま で の 成 果 [12, 15] で は ，レ ビュア r の 商
品 p に対する部分特異度を単純に評価値とサマリの差|rate(r, p) − summary(p)| として定義していた．しかし，特異レビュアが偏差希少度が稀かつ大きいレビューを行えば，そのレビュアは特異であると判断できる．しかし，同時に一般的に小さい偏差希少度を持つレビューを複数行っていれば，そのレビュアは特異であると判断すべきではない．この偏差希少度を計算するために，まず共通の偏差を持つレビューの集合を定義する．すなわち，Edev (v) にて偏差が v であるレビューの集合

Edev (v) = {(r, p) ∈ E | |rate(r, p) − summary(p)| = v}
(2)

なレビュアは通常のレビュアに比べて少ないという不均質性がを表すことにする．この集合を用いて，偏差の分布に関する累あるため，この方法では通常のレビュアに対するペナルティが積密度関数を定義する．

大きすぎることが分かった．そこで，評価値とサマリの差の分［定義 3.2］（累積密度関数） 偏差の分布に関する累積密度関数

布を考慮した 偏差希少度 (deviation rarity) を定義する．

Fdev (x) はレビュア r が商品 p に与えた評価の偏差を deviation(r, p)

Fdev (x) =と書き，deviation(r, p) = |rate(r, p) − summary(p)| と定める．そして，この偏差が相対的に大きいか小さいかを調べたい．

1
|E|

∫ x
|Edev (v)|dv0となる．

なぜなら，偏差が相対的に大きいレビュアは特異なレビュアで

図 3 は，Amazon.com に投稿されたレビューにおける累積ある可能性が高いからである．最も簡単に偏差の大小関係を調密度関数を表したものである．Fdev (x) は，偏差が高々 x であべる方法は，偏差の平均値と比較することである．偏差が平均

るレビューの割合を示している．例えば，δ̄ 偏差の平均値よりも大きければ相対的に特異なレビューであり，平均値よりも小さければ相対的に通常のレビューと言える．しかし，評

δ̄ =

1
|E|

∑

deviation(r, p),(r,p)∈E

価実験でも用いる Amazon.com に投稿されたレビューを調査した結果，この方法では通常のレビューに対するペナルティがを表すとすると，Fdev (δ̄) は平均以下の偏差を持つレビュー大きいことが分かった．Amazon.com に渡航されたレビューでの割合を表し 0.5 となる．なお図では，δ̄ を赤い点線で示しは，偏差の平均は 0 に近い．今，偏差の分布を平均値で二分すている．従って，ある偏差 x に対して累積密度関数の差分ることを考える．すでに述べたように，平均値より小さい部分

Fdev (x) − Fdev (δ̄) を用いることで，その偏差が稀で大きい値の幅は，平均値より大きい部分の幅より小さい．そのため，偏か一般的で小さな値かを調べることができる．すなわち，この差が小さい場合，平均値の差分は負の小さな値となる．一方，差分が正の値であれば，偏差 x は稀で大きい値であり，負の値偏差が大きい場合，平均値の差分は正の大きい値となる．そのであれば一般的で小さい値である．偏差を直接用いる代わりに，

結果，特異なレビューによる影響は通常のレビューに比べて大この累積密度関数を用いることで，一般的なレビュアに対するきくなってしまう．この問題は，特異なレビュアが多数となっ

過剰なペナルティ問題を解決した．

た場合に顕著になる．特異なレビュアが多数をとった場合，通［例 3.1］ 二つのレビュー rate(r1 , p) と rate(r2 , p) の偏差が常のレビューはレビューのサマリから離れた値になるが，偏差それぞれ 0.34 と 0.050 であるとする．つまり，前者は特異なレの平均値との差は大きな正の値となってしまう．反復改良原理

ビューであり後者は一般的なレビューである．もし，δ̄ = 0.16を利用する目的は，通常のレビューによる影響を伝播させるこであるなら，単純な差分は r1 にたいして 0.18 であり，r2 に対して 0.11 より大きい値となる．一方，図 3 に示した累積

Algorithm 1 RIH

密度関数を用いた場合，|Fdev (deviation(r1 , p)) − Fdev (δ̄)| はRequire: 二部グラフ G = (R, P, E, rate) とパラメータ α, β.

|Fdev (deviation(r2 , p)) − Fdev (δ̄)| ≈ 0.3 と近い値になる．
以上より，累積密度関数による差分を用いて偏差希少度を定義する．
［定義 3.3］（偏差希少度） レビュアー r の商品 p に対するレ
ビューの偏差希少度を C(r, p) と書くと時，C(r, p) = Fdev (deviation(r, p)) − Fdev (δ̄)/* 初期化 */for each product p do∑summary(p) ← r∈Ep rate(r, p)/|Ep |end forrepeat/* 特異度の更新 */累積密度関数 Fdev (x) の計算

for each reviewer r do
anomalous(r) ← N1

と定める．

∑

r

p∈Er a(r, p)

end for3. 2. 3 特異度の更新
前節までに導入した論争度と偏差希少度を元に，本節では，
レビュア r による商品 p に対する部分特異度 a(r, p) を定義し，その後特異度の計算方法について説明する．
先ず，各商品に対して論争度が 1 である場合を考えよう．この時，すべての商品は同等に扱われ，部分特異度は偏差希少度/* 評価のサマリの更新 */for each product p∑dosummary(p) ←r∈Ep (1−anomalous(r))×rate(r,p)∑
r∈Ep 1−anomalous(r)end foruntil anomalous(r) と summary(p) が収束する
return anomalous(r) 及び summary(p)に対して線形に増加する関数となる．すなわち，偏差希少度が正の大きい値である時，その評価値は稀かつ大きく他と離れているため部分特異度は大きくなる．逆に，偏差希少度が負の大
きい値である時，その評価値は他の評価値と近く部分特異度も小さくなる．
次に，不均質性を持つ現実のレビューについて考え，論争度
が商品ごとに異なるとする．今，論争度 cont(p) が大きいとして用いる．その結果，特異度が大きいレビュアの影響を小さくする．
［定義 3.6］（サマリの更新） 商品 p の新しい評価のサマリを

summarynew (p) と書くと，∑summarynew (p) =よう．すなわち，評価数が少ないか分散が大きいか，その両方である場合である．この時，偏差希少度が正の大きい値を取ったとしても部分特異度は大きくすべきではない．つまり，論争r∈Ep (1 − anomalous(r)) × rate(r, p)∑r∈Ep 1 − anomalous(r)によって計算する．

3. 4 アルゴリズム

度は，特異度の計算において，ある商品に対する評価値をど

我々が提案する RIH (Repeated Improvement consideringの程度考慮すべきかということを表していると言える．した

Heterogeneity) アルゴリズムをアルゴリズム 1 に示す．なお，がって，我々は 1 − cont(p) を偏差希少度の増幅に用いること

左向きの矢印 (←) は更新された新しい値の割り当てを表すもにする．

のとする．このアルゴリズムは，2. 節で定義した二部グラフ G［定義 3.4］（部分特異度） レビュア r の商品 p に対する部分と 3. 2 節で説明した二つのパラメータ α, β を受け取り，レビュ

特異度を a(r, p) : R × P → [0, 1] と書くと，

アと商品に対してそれぞれ特異度と評価のサマリを計算する．

a(r, p) =1
1 + exp (−β × (1 − cont(p)) × C(r, p))によって求められる．なお，β は論争度と偏差希少度の影響度

RIH アルゴリズムは，先ず初期値としてそれぞれの商品に対して与えられた評価値の平均を初期サマリとして割り当て，
その後反復改良を行う．累積密度関数 Fdev (x) の計算には，式(2) にて定義した評価のサマリから v だけ離れたレビューの数を調整するためのパラメータである．
特異度計算における最後のステップは，部分特異度の集約である．我々は，新しい特異度として部分特異度の平均値を用い

Edev (v) の計算が必要である．反復改良の試行ごとに評価のサマリは更新されるため，累積密度関数も反復改良の試行ごとに再度計算する必要がある．累積密度関数の計算が終わると，定ることにした．
［定義 3.5］（特異度の更新） レ ビュア r の 新 し い 特 異 度 を

義 3.5 にて定めた方法により，各レビュアの特異度を更新する．
そして，定義 3.6 にて定めた方法により，各商品ごとに評価のanomalousnew (r) と書くと，
1 ∑anomalousnew (r) =a(r, p)Nr p∈Erによって求められる．

3. 3 評価のサマリの更新
評価のサマリを計算するために，我々はレビュアの特異度をサマリを更新する．
反復改良は，この更新幅が無視できるほど小さくなった時，終了する．RIH アルゴリズムは，最後に得られたレビュアごとの特異度と商品ごとの評価のサマリを出力する．

4. 評 価 実 験

利用する．我々は，最も単純な方法として，評価のサマリの更我々は，Amazon.com におけるレビューを用いて，RIH アル

新値に特異度による重みをつけた評価値の平均を用いる．具ゴリズムにおけるパラメータの影響を調べ，特異なレビュア発

体的には，レビュア r に対して 1 − anomalous(r) を重みとし見及び長期的な評価のサマリ推測の精度を既存手法と比較した．

2005 年以降に投稿されたレビュー数

613265

2004 年以前に投稿を行ったレビュア数

730667

50

20

40

15

density

1555315density

表 1: レビュアとレビュー数.
2004 年以前に投稿されたレビュー数

30

10

20
10

4. 1 データセット
本評価実験では，2006 年までに Amazon.com へ投稿されたレビューからなるデータセット [3] を用いた．その中から，書籍カテゴリに属する商品のみを対象とした．一般的に，短期間で0 0.2 0.4 0.6 0.8 1.0
0.0

controversiality(a) α = 1.0

5
0 0.2 0.4 0.6 0.8 1.0
0.0

controversiality(b) α = 6.0

図 4: パラメータ α による論争度分布の比較.

陳腐化してしまう家電やデジタル製品と比べて，書籍は長期間
評価が一定である傾向が強く，長期間評価値の予測に適してい成した．各グループは，２人のレビュアからのみ評価されているため書籍のみを対象としている．以降では，本実験で用いるる書籍をランダムに２冊選び，この２冊に対して結託して特異

データセットを単に Amazon データセット と呼ぶことにする．

なレビューを投稿することとした．特異なレビューの値は独立

我々は，2004 年以前に投稿されたレビューを用いて，レビュした特異なレビュアの場合と同様に，投稿レビュー値の平均がアーの特異度を計算・評価した．また，同時に 2004 年以前に

3.5 以上であれば 1 とし，3.5 より小さい時 5 とした．した

投稿されたレビューを初期レビューとみなして評価のサマリをがって，この２冊においては結託するレビュアーは必ず多数と計算する．そした，2005 年以降に投稿されたレビューも含めなる．大量の特異なレビュアが結託する事象は我々の知る限りて，Amazon データセットに含まれるすべてのレビューを用い稀であり，また大規模に特異なレビューを投稿する行為は一般て計算したサマリを長期的なレビューサマリとみなし，初期レ的なスパム検知手法 [8, 9] が利用出来る．そのため，本評価実ビューから計算したサマリの精度を比較した．なお，長期的な験では少数グループによる結託の発見を課題として設定した．

レビューからサマリを求める方法は，単純な平均を用いた．

最後に，本評価実験にて用いた提案手法 (RIH) に対する比

一般的に，電子商取引サイトはスパムレビューを削除してお較手法について説明する．ONE は，文献 [6] にて提案されて

り，Amazon データセットにおいても同様であると考えられる．

いる別の特異度を用いた方法であり，反復改良は行わず一度のそのため，Amazon データセットに含まれる特異なレビュー数

計算で特異度を求める手法である．MRA は，我々の既存手は現実よりも少なくなっていると言える．そこで，次の方法で法 [12] であり，反復改良を用いているが不均質性を考慮して人工的に特異なレビューを追加することにした．我々は，特異いない手法である．RSD は，文献 [14] にて提案されている反なレビュアとして独立したレビュアと結託するレビュアの二種

復改良を用いる異なる手法である．RSD は，タイムウインド類を考える．独立した特異なレビュア は，その名の通り特異ウを用いてレビューの変遷を取り扱えることが特徴となっていなレビューを独立に行動する．一方，結託する特異なレビュア

る．RSD には，タイムウインドウ幅を決めるパラメータがあは，特異なレビューを複数人で結託して投稿し，対象となる商る．以降では，最も結果の良かった 0.001 を用いた場合のみを品のレビューにおいて多数を取ろうとするものである．ひとた掲載する．

び特異なレビュアが多数を取ると，通常のレビュアが特異なレ

4. 2 パラメータ決定

ビュアに見えてしまうため，特異なレビュア発見は困難となる．

始めに，提案の RIH アルゴリズムにおける Amazon データ

ソーシャルスパマー やステルスマーケティンウグなどでしばしセットに適したパラメータの決定を行う．アルゴリズム 1 に示ば見られる方法であり，こうした結託する特異なレビュア発見したように，RIH アルゴリズムには二つのパラメータ α, β がはレビューの価値を保つために重要である．

ある．パラメータ α は定義 3.1 にて定めた論争度 (controver-

我々は，Amazon データセットにおけるレビュアの 5% に当

siality) において，分散幅の制御に用いられている．図 4 に，αたる 18,300 の独立した特異なレビュアを人工的に追加した．

の値による論争度分布の違いを示す．横軸が論争度を表し縦軸

また，同様に 18,300 の結託する特異なレビュアも追加した．

が密度である．なお，この分布図は総ビン数は 100 であり総Amazon データセットに元々含まれていたレビュアから一人あ

面積が 1 となるように正規化している．図 4a によると論争度たりの投稿レビュー数の分布を作成し，独立した特異なレビュ

は [0.4, 0.8] の間にのみ分布しているが，図 4b では [0.1, 1.0]

アは，この分布に従う乱数によって投稿するレビュー数を決定の間に分布していることが分かる．結果のみ述べると，論争度した．また，投稿先の商品は一様ランダムに選ぶことにした．

は [0, 1] の間に広く分布している方が好ましいため，以降では投稿する特異なレビュー値は，一般的なレビュアによる投稿レ

α = 6 を用いる．

ビュー値の平均が 3.5 以上であれば 1 とし，3.5 より小さい時

次に，定義 3.4 にて定めた部分特異度に用いるパラメータ β

5 とした．すなわち，一般的なレビュアと真逆の行動を取るよについて考える．パラメータ β は，計算された特異度の精度及うに定めた．

び求めた評価のサマリと長期レビューサマリとの誤差という二結託する特異なレビュアは，４人のレビュアをグループとしつの目的を考慮して選ぶ必要がある．RIH アルゴリズムでは，て扱った．すなわち， 4575 の結託するレビュアグループを作

各レビュアに特異度を割り当てる．我々は，簡単にその特異度

次に，初期レビューからのサマリ計算における誤差を比較す

4
1.6 ×10

Num. of products

AUC−1
8.95 ×10
8.90
8.85
8.80
8.75
8.70
8.65
8.60
5 10 20 30 40 50

β

1.4
1.2
1.0
0.8
0.6
0.45 10 20 30 40 50
βあるが，RIH アルゴリズムの出力は [0, 1] である．そのため，[0, 5] 区間の値となるように調整を行っている．
図 7 は，初期レビューから求めたサマリと長期レビューから求めたサマリの誤差の分布を記したものである．図からは RIHと MRA は共にべき乗則に近い形となっていることが見て取れる．中でも RIH は MRA よりも小さい平均偏差となっている．

(b) 偏差 1 以上の書籍数(a) AUCる．なお，Amazon データセットのレビューは五つ星評価でMRA では，いくつかの書籍が偏差 2.0 以上になっているが，

図 5: パラメータ β による影響の比較.

RIH では偏差 2.0 以上の書籍は MRA と比べて少ない．図 8
表 2: 特異なレビュア検出における AUC の比較．

は図 7 において，偏差 1.0 以上の部分を拡大したものである．

アルゴリズムAUC

また，合わせて偏差が 1.0 以上となった書籍数も記している．

RIH

0.8916

RIH では 4854 冊の書籍が偏差 1.0 以上となり，また偏差 3.5

ONE0.8697以上の書籍は無かった．一方，MRA では，約 2 倍の書籍が偏MRA

0.9092

差 1.0 以上であり，いくつかの書籍では偏差 3.5 以上となってRSD

0.6481

しまっていた．この点からいうと，RIH は MRA よりも誤差の少ないサマリが計算できていると言える．最後に，ONE とRSD の結果であるが，これらは共に偏差の極値が 1.0 以上のが閾値以上であれば，すなわちところにある．そして，2 万冊以上の書籍が偏差 1.0 となって

anomalous(r) > θ(3)

しまっている．その理由は，この二手法とも特異なレビュアをであれば特異なレビュアであるとした．そして，閾値を [0, 1]

発見する手法でありサマリ計算を主な対象とはしていないからの間で動かし ROC 曲線の AUC (area under curve) を求めだと考えられる．以上より，この実験では RIH が最も良く初た．図 5a は，パラメータ β による AUC の比較を示したもの

期レビューから長期的なレビューサマリを計算できていた．

であり，β を [5, 50] の間を 5 刻みで動かして作成した．初期

5. まとめと今後の課題

レビューから求めたサマリと長期レビューから求めたサマリの誤差については，我々は誤差が 1.0 以上のものについてのみ考

本稿では，ウェブサイトに投稿されたレビューの不均質性を慮する．Amazon.com は五つ星レビューシステムを採用してい考慮した，特異なレビュア検知とレビューサマリの計算方法をるため，利用者にとっての差は一つ以上の星が異なる場合であ提案した．Amazon.com に投稿されたレビューのように現実にるからである．図 5b は，誤差が 1.0 以上となった書籍数を表

投稿されたレビューを調べることで，多くのレビューを集めるしたものである．これらの結果を踏まえ，最もレビューサマリ

商品がある一方でほとんどレビューが投稿されない商品もあるの誤差が少ない β = 40 を以降の実験で用いることにする．

こと，特異なレビュアは一般的なレビュアに比べて極端に少な

4. 3 比 較 結 果

いことという不均質性を発見した．これらの不均質性を取り扱

前節で定めたパラメータを用いて，RIH アルゴリズムをうため，我々は 論争度 と 偏差希少度 という二つの概念を導入

Amazon データセットに用いた．図 6 は，各レビュアの種類

し，反復改良を用いた特異なレビュア発見手法を提案した．まごとに特異度の分布を表したものである．また，点線は平均特た，評価実験により結託するような特異なレビュアであっても異度を表している．この図によると，ほとんどの一般的なレ

我々の手法は発見できること及び特異なレビューを含む初期レ

ビュアは平均より小さな特異度となっており，独立した特異なビューから長期的なレビューサマリを予測できることを示した．

レビュアと結託する特異なレビュアは共に平均より大きな特異

今後の課題としては，まず評価が割れるような商品の取り扱度となっていることが分かる．結果的に，我々は特異度を用い

いがあげられる．本稿では，各商品に対するレビューのサマリて一般的なレビュアと特異なレビュアを区別することができる．

は一つの値に収束すると仮定しているが，そうではない商品に一方，ONE 及び MRA では多くの特異なレビュアが平均以対する扱いを考える必要がある．また，本アルゴリズムを知っ上の特異度となっているが，少なくない一般的なレビュアの特ている特異なレビュアに対する堅牢性についての議論も必要で異度も平均以上となっている．表 2 は各手法における二種類のあると考える．最後に，反復改良アルゴリズムの収束速度に関特異なレビュアそれぞれの検知における AUC を比較したもの

する議論も今後の課題の一つである．

である（注 1）．RSD は特異なレビュアを十分区別しているとは言
いがたく，また AUC も同様に高くない結果となった．

（注 1）：RIH アルゴリズムのパラメータは，AUC よりも初期レビューからのサ
マリ計算精度を重視して選んでいる．AUC が最適となるようにパラメータは，

α = 1.0, β = 40 であり AUC は 0.9392 となる．

文

献[1] S. Brin and L. Page. The Anatomy of A Large-scale Hypertextual Web Search Engine. Computer Networks and ISDN
Systems, 30(1-7):107–117, 1998.
[2] D. Easley and J. Kleinberg. Networks, Crowds, and Markets: Reasoning About a Highly Connected World. Cambridge University Press, 2010.

0.2

0.4

0.6

0.8

anomalous score

1.0(a) RIH

25

0.2

0.4

0.6

0.8

anomalous score

1.0

normalindependence
collusion

20

density

16
14
12
10
8
6
4
2
0
0.0

density

16
14
12
10
8
6
4
2
0
0.0

densitynormalindependence
collusion

density

45
40
35
30
25
20
15
10
5
0
0.0

15

10
5

0.2

0.4

0.6

0.8

anomalous score(b) ONE

0
0.0

1.0

(c) MRA

0.2

0.4

0.6

0.8

anomalous score

1.0(d) RSD

図 6: 特異度の分布.

1

2

3

deviation

4(a) RIH

3.0
2.5
2.0
1.5
1.0
0.5
0.00

avg: 0.5127

1

2

3

deviation

4(b) ONE

0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.00

avg: 2.3001

density

avg: 1.0168

density

4.5
4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0.00

density

avg: 0.4054

density

3.0
2.5
2.0
1.5
1.0
0.5
0.00

1

2

3

deviation

4(c) MRA1

2

3

deviation

4(d) RSD

図 7: 正解評価値との偏差の分布．

(a) RIH

deviation

deviation(b) ONE(c) MRA

avg: 2.757 (34354 books)
0.8

density

avg: 1.672 (8042 books)
300
250
200
150
100
50
0 1.5 2.0 2.5 3.0 3.5 4.0
1.0

densitydensitydeviation

avg: 1.543 (21419 books)
12
10
8
6
4
2
0 1.5 2.0 2.5 3.0 3.5 4.0
1.0

density

avg: 1.434 (4854 books)

2.5
2.0
1.5
1.0
0.5
0.0
1.0 1.5 2.0 2.5 3.0 3.5 4.0

0.6

0.4
0.2

0.0
1.0 1.5 2.0 2.5 3.0 3.5 4.0

deviation(d) RSD

図 8: 正解評価値との偏差の分布.（偏差が 1.0 以上のもの）[3] N. Jindal and B. Liu. Opinion spam and analysis. In Proc.
of the 2008 International Conference on Web Search andData Mining, pages 219–230, Palo Alto, California, USA,feb 2008. ACM Press.
[4] J. M. Kleinberg. Authoritative sources in a hyperlinked environment. Journal of the ACM, 46(5):604–632, sep 1999.
[5] H. W. Lauw, E. Lim, and K. Wang. Summarizing review
scores of ”unequal” reviewers. In Proceedings of the Seventh
SIAM International Conference on Data Mining, April 2628, 2007, Minneapolis, Minnesota, USA, pages 539–544,
2007.
[6] E.-P. Lim, V.-A. Nguyen, N. Jindal, B. Liu, and H. W.
Lauw. Detecting Product Review Spammers using Rating
Behaviors. In Proc. of the 19th ACM International Conference on Information and Knowledge Management, pages
939–948, Toronto, ON, Canada, oct 2010. ACM Press.
[7] B. Liu, M. Hu, and J. Cheng. Opinion Observer: Analyzing and Comparing Opinions on the Web. In Proc. of the
14th International Conference on World Wide Web, pages
342–351, Chiba, Japan, may 2005. ACM Press.
[8] A. Mukherjee, B. Liu, and N. Glance. Spotting Fake Reviewer Groups in Consumer Reviews. In Proceedings of the
21st International Conference on World Wide Web, pages
191–200. ACM, 2012.
[9] A. Mukherjee, B. Liu, J. Wang, N. S. Glance, and N. Jindal.
Detecting group review spam. In In Proc. of the 20th In-

[10]

[11]

[12]

[13]

[14]

[15]

ternational Conference on World Wide Web (Companion
Volume), pages 93–94, 2011.
L. Page, S. Brin, R. Motwani, and T. Winograd. The
PageRank Citation Ranking: Bringing Order to the Web.
Technical report, Stanford University, 1998.
M. S. Pera, R. Qumsiyeh, and Y.-K. Ng. An Unsupervised
Sentiment Classifier on Summarized or Full Reviews. In
Proc. of the 11th International Conference on Web Information Systems Engineering, pages 142–156, Hong Kong,
China, dec 2010. Springer-Verlag.
K. Tawaramoto, J. Kawamoto, Y. Asano, and M. Yoshikawa.
A Bipartite Graph Model and Mutually Reinforcing Analysis for Review Sites. In Proc. of the 22nd International
Conference on Database and Expert Systems Applications,pages 341–348, Toulouse, France, 2011. Springer.
P. Victor, C. Cornelis, M. De Cock, and A. M. Teredesai.
Trust-and distrust-based recommendations for controversial
reviews. IEEE Intelligent Systems, 26(1):48–55, 2011.
G. Wang, S. Xie, B. Liu, and P. S. Yu. Review Graph
Based Online Store Review Spammer Detection. In Proc.
of the 11th IEEE International Conference on Data Mining, pages 1242–1247, Vancouver, BC, Canada, dec 2011.
IEEE Computer Society.
川本 淳平, 俵本 一輝, 浅野 泰仁, 吉川 正俊. 初期レビューを用いた長期間評価推定. In 第 7 回データ工学と情報マネジメント
に関するフォーラム, pages D3–6, 2015.