複数の評価項目を持つレビューの評価値の推定
嶋田 和孝 小濱 祐樹 遠藤 勉
九州工業大学 情報工学部 知能情報工学科

fshimada, y kohama, endog@pluto.ai.kyutech.ac.jp

1 はじめにWWW

近年のの普及により，膨大な文書が蓄積されている．日々増え続けていくこのような文書に対して，的確な情報抽出や分類・要約技術の重要性が増している．
から，大量のレビュー記事を入手する
現在，我々は事ができる．そして，その記事を製品購入などの意思決定の際に参考にしている．しかし，大量のレビュー記事の内容を把握することは容易ではなく，内容を把握するために，記事の効率的な活用法が必要となる．その結果，上に存在する評判情報の抽出や分類に関す近年，る研究が数多く行われている ．
評価表現に対する研究は，評価表現の抽出や辞書の構築，評価文書の分類など様々なタスクが存在するが，本研究では，評価文書の極性判断をその研究の対象とする．
否定
従来の評価文書の分類はレビュー記事を肯定的に自動分類する分類を対象とするものが的意見多かった．一方で，近年， か かの 値ではな
く，より粒度の細かい評価値の分類をタスクとする研究．本論文で扱うタスクは，これらがなされていると同様に 値ではなく，より粒度の細かい分類を対象とする．
さらに，従来の研究では，レビューの極性は 値である場合も多値である場合も 文書につき つであり，つの文書が複数の評価項目とその評価値を保持している場合を考慮していない．しかしながら，例えば，ある製品や映画などのレビューを考えると，最終的にはその対もしくは 段階な象についての全体的な善し悪しをどで表すことが多いが，実際には評価者はより細部につを対象とした場合いても評価しているはずである．
は，性能や操作性，携帯性など，映画の場合は脚本，演出，映像，音楽などである．ここでは，このように つのレビュー記事が複数の項目を保持し，それぞれの評価値を分類・推定することを多項目分類と呼ぶことにする．
製品全体の評価のみではなく，その細部まで評価することは，そのような評価情報を閲覧するユーザにとって有用である．さらに，レビュー中のどのような語や要素がどの項目に対して有効な指標となるのかを分析することは，評価表現を扱うタスクとして極めて重要である．
上に存在する多項目で評価されたレ本研究では，ビュー記事を対象とし，それらの項目の評価値を推定する枠組みについて検証する．この多項目・多値分類のタを評価値推定の手法として，いくスクに対して，つかのパラメータについて比較実験を行い，考察する．

WebWeb(n)[3, 5]
2[6]

p/n[2, 8]

p n

12

1p/n
PC(p)/2151

Web

SVR2 タスク

Web

上には様々な製品のレビュー記事が存在するが，本論文では，あるゲーム機のソフトウェアのレビュー記事を処理の対象とする．図 にレビュー記事の例を示す．
このレビュー記事では， つの記事に「良い所」，「悪11図1: レビュー記事の例
3( )

( )
( )
( ) 8
6
Web

い所」，「感想」の つの記述欄があり，評価項目として「オリジナリティ オ 」，「グラフィックス グ 」，「音楽 音 」，「熱中度 熱 」，「満足度 満 」，「快適度 快 」，「ストーリー ス 」，「難易度 難 」のつがある．評価値のスケールは 〜 までの 値である．
サイトか
本論文で使用するレビュー記事は つのら抽出した1 ; 2 ．これらのサイトでは，レビューの投稿に際してのガイドラインがあり，投稿されたレビューは人サイ
手でチェックされ，条件に沿わない投稿記事はト上に掲載されないシステムになっており，比較的良質なデータであると考えられる．

( )
( )

( )
( )
0 5
2Web

3 手法
3.1 SVR

Support Vector Regression(SVR) を用いる． SVR は
SVM の回帰問題への拡張であり，先行研究でも評価値の多値分類に使用されている．先行研究と同様に SVMを多クラス問題へ拡張することも考えられるが，予備実験において one-versus-one 法に基づく SVM と SVR を比較した結果，正しい評価値と分類器の出力の平均二乗誤差で比べた場合， SVR と SVM には明確な差があったので (平均二乗誤差で 0.2 程度)，今回は SVR のみを実験対象とする． Pang ら [2] は Metric Labeling を SVM やSVR と組み合わせることで，正解率が向上することを示しているが，本論文では SVR 単体で評価する．
このタスクで，各項目の評価値を推定する手法として使用する素性は，レビュー中の「良い所」と「悪い所」に書かれているテキストから抽出された単語群である．
「感想」部分を使用しないのは，予備実験において「感想」を含まない場合の方が精度が高かったためである．
1 http://psmk2.net/
2 http://ndsmk2.net/

素性空間では，同じ単語でも「良い所」に書かれた単語と「悪い所」に書かれた単語は別のものとして扱う．す
なわち，ある単語 wi について，「良い所」に書かれた単p
語は wi ，「悪い所」に書かれた単語は win として扱い，あるレビュー記事 dx の項目 y における素性はdxy= fw ; w ; ::::; w ; w ; w ; ::::; w gpp

12pnn

1j2njのようになる．ここで j はレビュー中で素性として使用される単語の総数である．本論文では，素性として使うのは形態素解析の結果の品詞が「名詞」，「形容詞」，「副詞」のどれかであるものである．素性の値は，その単語のテキスト中での有無によって決定され，頻度情報などは用いていない．

3.2 素性選択1

高精度な分類器を生成するには有効な素性の選別が必要になる．本研究で扱うような つのレビューが複数の評価項目を含む場合，レビュー中の全ての語が全ての評価項目に関連しているとは考えづらい．すなわち，各項目ごとにその項目の評価を支えている語が存在するはずである．そのような素性を抽出するために，素性候補となる全ての語に対して，各項目の各評価の値を基にその語の信頼度を算出する．ここで信頼度とは，ある評価値におけるその単語の揺れだと考える．すなわち，各単語に対して，ある評価項目でどれだけ同じ点数でその語が出現するか，というものを信頼度だとする．

var(w j ) = m1

X (real(d ; c ) ave(w )) (1)nci=0;w2dij0cj2i

ここで cj はある評価項目であり， m は単語 w の文書頻
度 df 値 に相当する． n は文書の総数である．ここで，文書 di に単語 w が存在しない場合は計算の対象から外す． real di ; cj はレビュー記事 di における cj の実際の評価値を表し， ave wcj は w の cj における評価値の平均である．この var がある閾値以下のものを素性として使用する．
また実験では，その他にもいくつかの条件を比較考察する．

()()

( )

頻度 (F) 単語 w の出現頻度が n 以上のもの．
評価値 (E) 単語 w が「良い所」に生じた単語である場合，その評価値の平均が 以上であること．「悪い所」に生じた単語である場合，その評価値の平均が以下であること．

3

3

4 実験

1

1

種類のデータセットを用意し，その有効性を検証した． つめのデータセットはある つのソフトのレビュー
記記事のみを対象としたものであり，レビュー数は事である． つめのデータセットは，あるゲーム機に対

2

SVR
(P)
(MSE)

(Leave-one-out)(R)

MSE = n1j(MSE)X(svr(d ) real(d ))
nij

0ij

(2)

2=1i

ここで i はレビュー記事， j は評価項目を指す． svr とreal はそれぞれの出力結果と実際の評価値である．の値は実数ではなく，四捨五入す但し，ここで，ることによって整数化されている．適合率，およびは以下のように算出される．
再現率

SVR
SVR

(P)
(R)
正しく評価値を推定できた項目の数
P = SV
Rが評価値を算出できた項目の数 (3)R = 正しく評価値を推定できた項目の数
評価項目の総数(4)

また，素性選択の基準によっては，あるレビューのある項目に対して素性そのものが存在しない場合が出てくる．そのため，実験結果にはどの程度の項目を扱えたかも併記する．
を表すカバー率(C)

C = SV Rが評価値を算出できた項目の数
評価項目の総数(5)

4.2 実験結果

1

まず初めに， つのソフトのみのレビュー記事を対象とした場合の実験について述べる．ここでは，サイト内をで最も投稿レビュー数が多かった実験対象とした．
最初に，素性選択において，単語の評価値の揺れによとベースライン
り，素性を制限しなかった場合のはとの比較をする．実験結果を表 を示す．表中の全ての項目が 点だと仮定した場合の平均二乗誤差であは全データから各項目の評価値の平均を求め，り，それらをそれぞれの項目の点数と考えた場合の平均二乗誤差であり3 ，これらは一つのベースラインとなる．表中の項目欄で， の値は素性選択における単語頻の度の条件で， は素性選択の節で説明した，語の出現場
所における評価値の条件を用いた場合の素性であること
は品詞制限を表している．上記 つの指定がない
はどのみの素性群である．表から分かるように，の場合でもベースラインより正しく評価値を推定していることが分かる．素性選択において var の値を利用しない場合は，どの場合もカバー率は であり，この場合，再現率と適合率は同値になり，平均二乗誤差のような大きな差は見られなかった．また，頻度情報や評価値情報も有効に機能しなかった．

Ave

SVR

Final Fantasy XII

13ESVR

All-3

F2

SVR

SVR

14.1 データセットと評価基準

21114

する複数のソフトのレビューが混在したものであり，レビュー数は記事である．実験では，これらのデータについて交差検定を行った．実験結果の出力と実際の評価値の平均二乗誤差，は，，および再現率で評価した．平均二乗誤
適合率
は以下のように算出される．
差553

3 この場合も得られた平均値は整数化して平均二乗誤差を計算している．

1: 実験結果: ベースラインとの比較
SVR SVR
All-3 Ave SVR FSVR
4
E F4&E
MSE オリジナリティ 1.15 1.15 0.87 0.84 0.99 1.01
グラフィックス
2.11 0.62 0.49 0.51 0.52 0.57
音楽
1.30 1.30 0.77 0.76 0.79 0.78
熱中度
1.86 1.86 1.01 1.05 1.09 1.12
満足度
2.32 2.04 0.95 0.95 0.99 0.97
快適度
1.63 1.63 1.07 1.11 1.08 1.14
ストーリー
2.98 1.43 0.78 0.81 0.87 0.91
難易度
1.00 0.66 0.65 0.65 0.65 0.66
平均
1.79 1.34 0.82 0.84 0.87 0.90
適合率 (P)
0.23 0.34 0.45 0.45 0.45 0.44
再現率 (R)
0.23 0.34 0.45 0.45 0.45 0.44
カバー率 (C)1 1 1 1 1
1
表

表

MSE

2: 実験結果: 素性選択 (SVR, var=0.75)

オリジナリティ
グラフィックス
音楽
熱中度
満足度
快適度
ストーリー
難易度
平均
適合率
再現率
カバー率

(P)
(R)
(C)

A
0.89
0.54
0.90
1.08
1.24
0.99
0.91
0.62
0.90
0.46
0.45
0.99

B
0.76
0.56
0.76
0.87
0.83
0.880.770.650.76
0.440.390.88C0.91
0.520.82
1.04
1.190.990.96
0.63
0.88
0.440.420.97

D30.5

SVR:
B SVR: 条件は var の値， F4
C SVR: 条件は var の値，条件 E
D SVR: 条件は var の値， F4，条件 E

0.71

0.71

0.440.360.832を表す． var の値を素性選択に用いた場合は，用いなかった場合と異なり，頻度情報や出現位置による評価値の条
件の つを利用した方が再現率およびカバー率は下がる
ものの平均二乗誤差ではよい値を得た．特に頻度情報が効果を示すことが実験結果から分かる．一方で，評価値の条件のみの場合，カバー率が低下しているにもかかわらず，その正確さは var を利用しなかった場合よりも悪くなる傾向があり，今後考察が必要である．
本タスクでは， つのレビュー記事が複数の評価項目とその評価値を持っており，実際には，例え人間がそのテキストを見ても，そのレビューのみでは全ての評価値を推定できないという可能性がある．すなわち，レビューによっては，本質的に，評価値を推定できないという問題が生じる．これは，実験の際にどの程度までカバー率の低下を許容するか，という問題に繋がる．そこで，実

21

MSE

0.74
0.52
0.75
0.85
0.71
0.79
0.62

次に var を用いて素性選択を行った場合についての実以下の語を利用した
験結果を比較する． var の値が以下の場合の結果をそれぞれ表 と表場合と var がに示す．両方の表において
A
条件は var の値のみ0.75

表3: 実験結果: 素性選択 (SVR, var=0.5)

オリジナリティ
グラフィックス
音楽
熱中度
満足度
快適度
ストーリー
難易度
平均
適合率
再現率
カバー率

(P)
(R)
(C)

A
0.91
0.52
0.94
0.981.38
0.87
0.99
0.57
0.90
0.47
0.46
0.97

BC
0.88
0.53
0.86
0.95
1.31
0.85
0.98
0.63
0.87
0.46
0.43
0.95

0.51
0.43

0.61

0.47
0.36

0.46
0.55
0.64
0.50
0.48
0.35
0.72

553

D
0.48
0.45
0.50
0.50
0.36
0.38
0.32
0.57
0.45

0.49
0.33
0.66

30

験に使用した
記事からランダムに選択した
記事について，そのテキスト部分から各項目の値を推測できるか，著者が主観的に評価した．但し，ここで，「推測できるか」という基準は，具体的な数値を人間が特定できるかというものではなく，例えば，ある項目の評価値が 点や 点の場合，レビューの「良い所」の欄にあるテキストを読むことで，その項目を肯定的に評価していることが推測できるか，というレベルで判断した．その程度が推測可能であると判断さ結果，全項目のうちにおける やれた．この結果を踏まえると， varのカバー率でも許容範囲であり，素性選択はある程度の効果があることが推測される．しかし，今回の推測可能性に関する評価は著者一人で行っており，複数の被験者による揺れがどの程度生じるのか，また，人間が推測できないと判断した項目と学習器が扱うことのできなかった項目の一致度がどの程度あるのかなどについて詳しい考察が必要である．

4D

575%

=0.75

B

Ninten4

最後に異なるソフトのレビューが混在したデータセッ
トについての実験について述べる．レビューはのソフトについて，やアクションなど，さまざまなジャンルから選ばれている．実験結果を表 に示〜はそれぞれ素性選択す．表中のvar が以下，頻度 以上，条は品詞のみ，

doDS

RPG
SVR1 SVR3
SVR2)
0.75

SVR1)
4

表MSE

4: 実験結果: 異なるソフトのレビュー
Ave

オリジナリティ
グラフィックス音楽
熱中度
満足度快適度ストーリー
難易度
平均
適合率
再現率
カバー率

(P)
(R)
(C)

E SVR3)

0.5

1.20
0.85
0.71
1.71
1.76
1.29
21.17
1.34
0.38
0.38
1SVR1

0.74
0.64
0.79
0.91
1.06
1.01
0.23
0.91
0.76
0.45
0.45
1SVR2

0.79
0.63
0.69
0.90
0.84
0.84
0.27
0.58
0.69
0.43
0.38
0.88

41ることを示している．本タスクにおいても，新たな評価値推定手法について今後議論が必要である．

SVR3

0.57
0.57
0.64
0.44
0.46
0.44
0.19
0.24
0.44

0.47
0.33
0.71

E

件 ，var が 以下，頻度 以上，条件 を満たすものである．タスクとしては， つの製品に対するレビューだけというタスクよりは，複数の製品が混在した場合の方が問題としては難しくなると考えられる．の場合と異なり， 倍近くあるた
実験データ数がめ単純に比較はできないが，ベースラインと比べ，平均二乗誤差やその他の値が改善していることを考えると，比較的良好な結果が得られていると判断できる．

FFXII

2

6 おわりに

1p/n

本論文では つのレビュー記事が複数の評価項目を持ではなく，より粒度の細かい評価値を持ち，さらにつようなタスクにおいて，を用いて，その評価値を推定可能かどうか実験的に検証した．素性選択の手法にはまだ改善の余地があり，学習器についてもさらなる議論が必要である．

SVR

参考文献

[1] A. B. Goldberg and X. Zhu. Seeing stars when
there aren't manystars: Graph-based semi-supervised
learning for sentiment categorization. In HLTNAACL 2006 Workshop on Textgraphs: Graphbased Algorithms for Natural Language Processing, 2006.

[2] B. Pang and L. Lee. Seeing stars: Exploiting classrelationships for sentiment categorization with respect to rating scales. In Proceedings of the 43th
Annual Meeting of the Association for Computational Linguistics (ACL), pp. 115{124, 2005.
5 考察[3] B. Pang, L. Lee, and S. Vaithyanathan. Thumbs
実験結果を踏まえて考察する．いくつかの指標に基づup? sentiment classi cation using machine learnき素性選択を行った結果，適合率や再現率は十分とは言ing techniques. In Proceedings of the Conference
えないが，ある程度，評価値の推定が可能であることがon
Empirical Methods in Natural Language Pro分かった．今回は，素性に単語しか用いていないが，素cessing(EMNLP), pp. 79{86, 2002.
性の種類については議論が必要である．本タスクの場合，「オリジナリティ」や「グラフィック」といった特定の[4] K. Shimada and T. Endo. Acquisition of new
評価項目について，その評価値を推定するという特性がtraining data from unlabeled data for product specあるため， n-gram や部分依存木といった素性を組み込
i cations extraction. In Proceedings of PACLING
むことで，例えば「グラフィックが良い」のような表現
2005, pp. 284{289, 2005.
を効率的に学習に活用でき，大きな精度向上に繋がると[5] P. D. Turney. Thumbs up? or thumbs down? se考えられる．また，上記の特性を利用して，記事全体をmantic orientation applied to unsupervised clas推定に使うのではなく，例えばレビュー中で「オリジナ
si cation of reviews. In Proceedings of the 40th
リティ」や「グラフィックス」という語と関連度の高い
Annual Meeting of the Association for Computa語を選び出し，その語とそれに関連する評価表現のみを
tional Linguistics, pp. 417{424, 2002.
用いて評価値を推定する方が効果的な可能性もあり，小林ら [7] が提案しているような評価要素の抽出タスクの[6] 乾孝司, 奥村学. テキストを対象とした評価情報の分結果を利用することができるかもしれない．
析に関する研究動向. 自然言語処理, Vol. 13, No. 3,
今回はデータ数が少なかったため，交差検定でその精pp. 201{242, 2006.
度を評価したが， Goldberg ら [1] が主張しているように，[7] 小林のぞみ, 乾健太郎, 松本裕治, 立石健二, 福島俊
訓練データの獲得も大きな問題である．筆者らはタスク
一. 意見抽出のための評価表現の収集. 自然言語処は異なるが，類似度に基づく訓練データの獲得について，理, Vol. 12, No. 2, pp. 203{222, 2005.
それが分類精度の向上に繋がることを確認しており [4]，少ない訓練データをシードとし，良質な訓練データを自[8] 岡野原大輔, 辻井潤一. 評価文に対する二極指標の自動獲得する手法についても考察が必要となる．
動付与. 言語処理学会第 11 回年次大会, 2005.
今回は SVR のみを用いて，評価実験を行ったが，同様の評価文書の多値分類のタスクで Metric Labeling を[9] 堤公孝, 嶋田和孝, 遠藤勉. 複数の分類結果の信頼度適用することで精度が向上することが知られている [2]．
を利用したレビュー記事の自動分類. 人工知能学会
また，堤ら [9] は対象は p/n 分類であるが，複数の分類
第 63 回 人工知能基礎問題研究会, SIG-FPAI-A601,器を利用して，その結果を基に各分類器の出力結果の信pp. 27{32, 2006.
頼度を算出し，組み合わせることで，分類精度が向上す