DEIM Forum 2014 B5-1

商品レビューを対象とした有用性の定義と判別
佐々木優衣†

関洋平††† 筑波大学情報学群知識情報・図書館学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †s1011555@u.tsukuba.ac.jp, ††yohei@slis.tsukuba.ac.jp
あらまし Web 上で公開されているレビューは，ユーザが商品の購入やサービスの選択を検討する際の重要な情報源となっている．しかし，Web 上に存在するレビューの数は膨大であり，その全てを閲覧し，有用な情報を判断した上で利用することは困難である．また，評価の根拠に乏しいレビューや，業者によるレビューなどがあることから，有用性の高いレビューばかりではないという問題がある．本研究では，機械学習を用いた有用なレビューの判別の実現に取り組む．これにより，オンラインショッピングにおけるユーザの購入の意思決定を支援することが可能となる．まず，被験者 2 名によって 303 件のレビューの有用性の判定を行うと同時に，被験者間の判定の一貫性を調査した．次に，有用なレビューの特徴を分析し，SVM で用いる素性の選択を行った．分類器を 10 分割交差検定で評価したところ，素性を適切に組み合わせることで，F 値で 0.8 を超える精度を実現した．
キーワード レビュー, 有用性, SVMには，Support Vector Machine (SVM) を用いた．各レビュー

1. は じ め にの内容を定量的に判別の素性として分類器に与えるために，レ

近年，オンラインショッピングサイトの利用の増加に伴い，ビュー中に出現する全形態素を個々の素性ベクトルとして抽出

Web 上では本や商品，サービスに関するレビューの投稿が盛ん

し，「形態素 ID：出現回数」の形で分類器に学習させることとに行われている．レビューとは，ある商品やサービスに対して，した．さらに，この評価実験結果に基づいて，キーフレーズ数

コメントや評価を行うことである．オンラインショッピングサ

や文字数などを用いて判別の精度の向上を目指した．

（注 1）

イトの具体例としては，楽天市場（注 2）

や Amazon

などが挙げ

られる．

本論文の構成を以下に示す．2 章ではレビューの有用性の判別に関する研究について，整理して紹介する．3 章では本研究

Web 上で公開されているレビューは，実際に商品やサービにおけるシステムの流れと実験対象データ，ならびにレビュースを利用した体験に基づく事実がありのままに記されているたの有用性の定義について述べる．4 章では有用なレビューの判

め，商品の購入や選択を検討するユーザにとって有用な情報を別システムの実装と素性選択について説明する．また，評価実含んでいるといえる．しかしながら，投稿されているレビュー

験を行い，その結果をまとめる．5 章では 4 章の結果を元に行っの数は膨大であり，その全てを閲覧し，有用な情報を判断した

た，有用なレビューの判別システムの精度向上について説明す

上で利用することは困難である．また，評価の根拠に乏しいレる．6 章では本研究のまとめと今後の課題について述べる．

ビューや，業者によるレビュー（いわゆる「やらせ」レビュー）などがあることから，有用性の高いレビューばかりではないという問題がある．
本研究では，機械学習を用いた有用なレビューの判別の実現

2. 関 連 研 究
本研究で対象とするレビューに関しては，評判情報の抽出や有用性の判別を行う技術など様々な取り組みが行われている．

に取り組む．これにより，オンラインショッピングにおけるユー

以下に関連研究を整理し，報告する．

ザの購入の意思決定を支援することが可能となる．まず，「炊飯

2. 1 有用性の判別に関する研究

器」「掃除機」「洗濯機」「布団乾燥機」「パソコン」のカテゴリ

山澤ら [1] は，Amazon のレビューを対象として，書き手のの中からレビューを抽出し，被験者 2 名による有用性の判定を趣向や立場が分からなくても, ユーザが内容を信頼して利用で行うと同時に，被験者間の判定の一貫性を調査する．この結果

きるレビューの判別を目的とした研究を行っている．具体的に基づいて，本研究における「有用なレビュー」を定義する．

には，収集したレビューに「商品購入の意思決定に役立つレ

次に，実験データを用いて，有用性判別システムの実装を行う．

ビューである」という観点で有用タグを付与し, 有用タグを付

実験データは，「炊飯器」「掃除機」「パソコン」のカテゴリの中与されたレビューの形態素的特徴を抽出し，SVM 分類器を用からレビューを抽出し，有用なレビューの定義に基づいて人手いてレビューを自動判別した．抽出した形態素的特徴についてで判定したレビュー 1,500 件を用いた．機械学習アルゴリズム

は，基本的に全ての品詞を素性として含め，その中から有用なレビューとそうでないレビューそれぞれについて，一方での出（注 1）：http://www.rakuten.co.jp/（注 2）：http://www.amazon.co.jp/

現頻度が上位であり，かつもう一方では出現頻度が上位でないものを選択した．

小林ら [2] は，レビュー内容の関係に着目した．レビュー対
象商品の客観的情報である「特性」と，ユーザの主観情報である「態度」と，これらの相互関係にある「評価」を定義し，3つの要素の出現傾向によりレビュー中の文章の有用性を自動的に判別した．3 つの要素の自動判定には，形態素的特徴を用いている．

義に関して調査を行い，判別に必要な特徴を抽出する．これらについては，3 章と 4 章で説明を行う．

3. 有用性判別システムの概要
本研究では，機械学習を用いた有用なレビューの判別の実現に取り組む．まず，本研究における「有用なレビュー」を定義

本研究においても，山澤らと同様にレビューを人手でタグ付し，定義の妥当性を被験者実験により調査する．次に，その結けし，有用なレビューの特徴を素性として，有用性の判別を行果を分析し，得られた特徴を元に機械学習に用いる訓練データ

う．しかし，本研究では，全ての形態素情報を素性に含めるのを作成する．この訓練データで機械学習を訓練し，レビューのではなく，レビューの内容と抽出された形態素情報などを分析

有用性を判別する．

し，レビューの有用性の判別により効果的であると考えられる

本章では，システムの概要と「有用なレビュー」の定義およ

素性を選択する．また，本研究では，有用性の判別に商品説明

び被験者実験について述べる．

文も用いる．その理由は，商品説明文には，小林らの研究で言3. 1 有用性判別までの流れ

及されている「特性」が含まれており，有用なレビューはこのレビューの有用性を判別するまでの流れを以下に述べる．

「特性」についてより多くの言及がなされていると仮定できる（ 1 ） 有用性の定義に従ってレビューを有用なレビューと有からである．

用でないレビューに人手で分類し，訓練データとテストデータ

有用なレビューの判別に効果的な特徴の抽出に関する研究も行われている．Kim [3] らは，有用なレビューを自動判別し，有を用意する．レビューデータは，楽天技術研究所が提供しているデータセット [5] を用いる．

用性の高い順にユーザに提示するシステムの構築に取り組んで（ 2 ） レビューの特徴を抽出する．本研究では，オープンソー

いる．また，レビューの有用性を判別する際に効果的な特徴のス形態素解析エンジンである MeCab [6] を用いて，レビューを調査も合わせて行っている．この研究の結果，レビューの有用

形態素に分割する．得られた形態的特徴を素性として抽出する．

性を判別する際には，レビューの長さ，unigram，商品に対す

詳細を 4 章で述べる．

る評価（☆評価）の 3 つの特徴を用いた場合が，他の特徴を用（ 3 ） 訓練データを用いて機械学習を訓練し，レビューを判いた場合と比べて最も判別の精度が高くなることが分かった．
また，Zeng [4] らは，Kim らが用いた特徴に加え，レビューとレビューに対応する商品説明文の間で使用されている unigram，別する．機械学習アルゴリズムには，Support Vector Machine（SVM）を用いる．
以上の有用性判別の手順を，図 1 に示す．

2-gram，3-gram の数や，レビュー中に比較表現（“compareto” や “ADJ + er than”）が存在するかなどの 8 つの特徴を利用して，判別の精度を向上させている．
本研究においても，レビューの内容や長さといった特徴を用いて有用性を判別するという点で，これらの研究は関連が深いと考えられる．しかし，本研究では，レビューや商品説明文の特徴を抽出する際に，N-gram ではなく，形態素解析を用いる．

N-gram を用いる場合，判別漏れは少なくなるが，その分ノイ

図 1 有用性判別の手順

ズを多く含んでしまうという欠点がある．従って，本研究では形態素解析を用いて特徴を抽出し，レビューの有用性の判別に

3. 2 レビューデータ

より効果的であると考えられる素性を選択することにより，判

本研究では，楽天技術研究所が提供している楽天市場のレ

別の精度の更なる向上を目指す．

ビューデータを用いた．レビューデータには，レビューの対象

2. 2 本研究の位置づけである「商品名」，レビュアーによる商品に対する「レビュー

先行研究において，評判情報の抽出やレビューの有用性の判文」，商品に対する評価である「評価ポイント」などの項目が別を行う技術についての様々な取り組みがなされてきた．本研

用意されている．本研究において，レビューとは「レビュー文」

究では，ユーザが商品を購入するか否かの意思決定に役立つレのことを指す．

ビューを有用なレビューであると定義し，その有用なレビュー

3. 3 有用なレビューの定義の判別を行う．

本研究では，ユーザの購入の意思決定に役立つレビューを有山澤ら [1] の研究から，レビューの有用性を判別する際にレ用なレビューと定義し，その特徴を明確にすることを目的としビューの形態素的特徴を用いると精度が向上すること，また，ている．特徴を抽出するためには，有用なレビューを収集する

Kim ら [3] や Zeng [4] らの研究から，レビューの長さ（単語ことが必要である．そこで，楽天技術研究所が提供している楽の出現頻度）や商品に対する評価（☆評価）といった特徴がレ

天市場のレビューデータから，商品を「炊飯器」「掃除機」「洗ビューの有用性に影響を与えていることがわかっている．本研

濯機」「布団乾燥機」「パソコン」の本体に限定した上で，無作

究では，これらの傾向を踏まえた上で，「有用なレビュー」の定為に 400 件のレビューを収集した．さらに，その中から，内容が重複しているレビューや，本文が記号のみで判読不能なレできた．また，有用性判別の際に参考にした主な基準として，ビューを取り除き，最終的に 303 件のレビューを調査対象とし， 「評価の根拠がある」，「レビューの投稿者が商品の使用者であ
被験者 2 名によって有用性の判別を行った．

ると判断できる」，「読みにくいレビューでない」が挙げられた．

3. 3. 1 調査対象のカテゴリの選択

有用でないレビューを判別する場合には「届いていないまたは片平 [7] は，商品体験（商品の使用体験を示す）が複雑な商使用していない商品に対するレビューである」，「商品そのもの品の場合には，先人の効用情報を頼りにすることが合理的であと関係のないレビューである」，「レビューに含まれている情報ると述べている．
「商品体験が複雑」とは，写真や言葉だけではが不足している」が主な判別基準となった．8 つの基準のうち，商品の真価が伝わらないものである一方，商品に対する評価基判別の際に全く貢献していないものはなかった．

準に大きな個人差がないということを示している．したがって，同一商品の使用体験を投稿する先人の効用情報は，限りなく自分の使用後効用と等しくなる．

3. 3. 3 考察と定義
実験結果より，有用なレビューを判別する際に有力な情報となりえる基準は，「評価の根拠がある」，「レビューの投稿者が商

このようなカテゴリに属する商品を対象としたレビューの有品の使用者であると判断できる」であるということができる．

用性を判別することによって，ユーザの購入の意思決定を支援

また，実験を通して，レビューを判別する際に，レビューの対することができると考え，本研究ではこの分類を参考に，判別象となる商品について十分な情報が含まれているか否かも重要の対象として「炊飯器」，「掃除機」，「洗濯機」，「布団乾燥機」，

な基準になることが分かった．ただし，何をもって「レビュー「パソコン」を選択した．

に含まれる情報量が十分である」と見なすかについては個人差

3. 3. 2 調 査 方 法があると考えられるため，基準をより定量的に定義する必要が

まず，2 人の評価者がそれぞれ 303 件のレビューを閲覧し，あると考えられる．

そのレビューが商品購入の意思決定に有用か否かを判別した．

以上の結果により，本研究における「有用なレビュー」を具次に，判別の際に参考にした基準が次の 8 つの中にあれば選択体的に定義すると，「評価の根拠や評価対象となる商品について

し，参考にした基準として該当するものがなければ，別途記入

詳しく述べられており，文章がしっかりとしている」レビュー

をした．8 つの基準を以下に示す．

であるということができる．

（ 1 ） レビューの投稿者が，商品の購入者であると判断できる．
（ 2 ） レビューの投稿者が，商品の使用者であると判断できる．

4. 形態素的特徴を用いた有用性判別システムの実現
3 章で，本研究におけるシステムの流れについて説明した．

（ 3 ） レビュー中に，他の商品との比較がある．
（ 4 ） レビュー中に，評価の根拠が記載されている．

また，レビューの有用性について定義した．
本章では，レビューの有用性判別システムに必要な訓練デー（ 5 ） レビューを閲覧して，商品に対する具体的なイメージ

タおよびテストデータの作成方法，分類器に与える形態素的特を持つことができた．

徴の選択について述べる．

（ 6 ） 届いていない，または，使用していない商品に対するレビューである．

4. 1 分 類 器
本研究では，レビューが有用か否かを教師あり機械学習で判（ 7 ） 読みにくいレビューである．

定する．機械学習アルゴリズムは，Support Vector Machine（ 8 ） 商品そのものと関係のないレビューである．

（SVM）を用いる．SVM は，ナイーブベイズなどの機械学習

なお，「評価」とは，レビューの投稿者が商品に対して付与するの方法と比較して，高精度で分類できることが報告されてい評価点（☆評価）のことである．また， 「評価の根拠」とは,る [9]．なお，SVM には，LIBSVM（注 3）を使用する．

商品に対する評価点と比較してレビューの内容は妥当であるかということを示している．

楽天技術研究所が提供している楽天市場のレビューデータの中から，商品が「炊飯器」「掃除機」「パソコン」であるものを

表1 調査結果収集し，3 章で定義した有用性の基準に従って人手でタグ付け

評価者 B
有用 無用

計

を行った．その結果，「炊飯器」「掃除機」「パソコン」で有用と

191

5

196

タグ付けされたレビュー各 250 件，有用でないとタグ付けされ

無用

27

80

107

たレビュー各 250 件の合計 1,500 件のレビューを実験データと

計

218

85

303

して使用した．

有用
評価者 A

4. 2 訓練データの作成と学習

これらのデータを用いて分類器を学習させ，10 分割交差検定
表 1 に示すとおり，303 件のレビューのうち，被験者 2 人のを行い，レビューの判別精度を評価した．

評価が一致したレビューは，有用と判定されたものが 191 件，

4. 3 形態素的特徴の抽出方法

有用でないと判定されたものが 80 件であった．被験者 2 人の κ

本研究では，レビュー中に出現する全単語を個々の素性ベク係数を算出したところ値が 0.757（substantial/かなり一致 [8])となり，被験者間で判別方針が安定していることを示すことが（注 3）：http://www.csie.ntu.edu.tw/˜cjlin/libsvm/

トルとして抽出する．具体的には，「形態素 ID：出現回数」とコンは表 4 に示す．結果の数値は小数点第 3 位まで示した．な

して素性ベクトル化することによって，各レビューの内容を定

お，「炊飯器」「掃除機」「パソコン」において，実験データ数は量的に表す．素性ベクトル化の手順を以下に示す．

各 500 件であり，10 分割交差検定を行うことによって分類器（ 1 ） レビューを形態素解析し，品詞ごとに単語を分割する．

の性能を評価した．

（ 2 ） 解析した形態素に対して各々ID を与える．また，1 レ
ビュー辺りにその形態素が何回出現したかを記録する．

表 2 形態素的特徴を用いた評価実験の結果「炊飯器」
品詞

精度

名詞

0.973 0.284

0.440（ 4 ） 分類器に与えるデータ形式にする．

形容詞

1.000 0.116

0.208

レビューの形態素解析には MeCab [6] を用いる．実験で用動詞

0.891 0.524

0.660

いるのはレビューであり，新聞などに比べ口語に近いため，

助詞

0.896 0.8280.861

形態素解析に失敗しやすくなると考えられる．これを防ぐた

名詞＋形容詞0.985 0.256

0.406

めに，あらかじめ MeCab のユーザ辞書を用いることにした．

名詞＋動詞

0.973 0.436

0.602

Wikipedia（注 4）のタイトルを抽出してユーザ辞書に加えること

形容詞＋動詞0.910 0.488

0.635

名詞＋助詞

0.912 0.748

0.822

形容詞＋助詞0.894 0.812

0.851

動詞＋助詞

0.908 0.792

0.846

名詞＋形容詞＋動詞

0.981 0.412

0.580

名詞＋形容詞＋助詞

0.912 0.744

0.819

4. 4 形態素的特徴による素性選択

名詞＋動詞＋助詞

0.919 0.724

0.810

本研究では，レビューの有用性の判別の素性として，レビュー

形容詞＋動詞＋助詞

0.904 0.788

0.842

内に出現する形態素と出現回数を用いる．以下の仮定に基づき，名詞＋形容詞＋動詞＋助詞

0.919 0.724

0.810

分類器与える素性として，「名詞」「形容詞」「動詞」「助詞」の素性選択なし（ベースライン） 0.923 0.724

0.812

最大値と素性選択なし（ベースライン）との差

0.049（ 3 ）「形態素 ID：出現回数」として素性ベクトル化する．

により，「炊飯」＋「器」や「掃除」＋「機」がそれぞれ「炊飯器」や「掃除機」として解析することができるようになった．
これにより，従来と比較して判別の精度が高くなることが期待できる．

4 つの品詞を用いることとした．

再現率 F 値名詞
動作の主体（例：「私」），商品名や評価の対象となる商品の機

表 3 形態素的特徴を用いた評価実験の結果「掃除機」

能（例：「吸引力」）が含まれる．

品詞

精度

形容詞

名詞

0.961 0.196

0.326

商品や商品の機能についての評価（例：「おいしい」）が含ま

形容詞

1.000 0.024

0.047

れる．

動詞

0.824 0.356

0.497

動詞

助詞

0.844 0.824

0.834

商品に対して行う動作，または商品を用いて行う動作（例：「持

名詞＋形容詞0.953 0.164

0.280

名詞＋動詞

0.937 0.236

0.377

形容詞＋動詞0.805 0.248

0.379

名詞＋助詞

0.895 0.680

0.773

形容詞＋助詞0.862 0.772

0.814

動詞＋助詞

0.867 0.732

0.794て，用いられることの多い素性である．これらは，3 章におい

名詞＋形容詞＋動詞

0.932 0.220

0.356て定義した，有用なレビューの特徴である「根拠」や「購入の名詞＋形容詞＋助詞

0.895 0.680

0.773

有無」を表す素性であるといえる

名詞＋動詞＋助詞

0.907 0.664

0.767

形容詞＋助詞＋動詞

0.873 0.716

0.787

名詞＋形容詞＋動詞＋助詞

0.912 0.6000.766

素性選択なし（ベースライン） 0.891 0.688

0.777

最大値と素性選択なし（ベースライン）との差

0.057

ち運ぶ」「買う」「炊く」）が含まれる．
助詞
文章のわかりやすさに影響を与える．
一般に，名詞，形容詞，動詞はテキスト分類のタスクにおいさらに，本研究では，この 3 つの素性に加え，助詞を用いることとした．助詞には，名詞や連体詞に接続することによって，動作や主体の状態を表す用法（「が」），比較の基準を表す用法（「より」），強調を行う用法（「は」），程度を表す用法（「ばか再現率 F 値り」）などが存在する．このことから，助詞が多く出現する文
章は，文中の格関係が同定されやすく，分かりやすい文章であ

以下に，表 2，表 3，表 4 から得られる結果をカテゴリごとることが考えられる．これは，3 章において定義した，有用なに述べる．

レビューの特徴である「文章の明瞭さ」を表す素性であるとい

炊飯器

える．

最も F 値が高いのは，素性に「助詞」を与えた場合であり，ベースラインの F 値との差は 0.049 であった．次に4. 5 形態素的特徴を用いた評価実験の結果

F 値が高いのは，素性に「形容詞＋助詞」を与えた場合で，F評価実験の結果を，「炊飯器」は表 2，「掃除機」は表 3，パソ

値が 0.851 である．
「名詞」を他の品詞と組み合わせて用いた場
合，「形容詞」や「動詞」を用いた場合と比較して，F 値が低く

（注 4）
：http://ja.wikipedia.org/wiki/なった．

表 4 形態素的特徴を用いた評価実験の結果「パソコン」

F 値が高いのは，素性に「形容詞＋助詞」を与えた場合で，F品詞

精度

値が 0.781 である．

名詞

0.900 0.036

0.069

F 値が著しく低くなったのは，素性に「名詞」のみを与えた

形容詞

1.000 0.068

0.127

動詞

場合と「名詞＋形容詞」を与えた場合で，F 値は 0.069 であっ0.785 0.380

0.512

助詞

0.788 0.804

0.796

名詞＋形容詞0.900 0.036

0.069

名詞＋動詞

0.840 0.084

0.153

これらの結果から，このカテゴリでは「名詞」がそれほど有形容詞＋動詞0.829 0.348

0.490

効に働いていないと考えられる．この原因として，炊飯器の場

名詞＋助詞

0.847 0.620

0.716

合と同様に，全形態素に占める名詞の多さが挙げられる．

形容詞＋助詞0.808 0.756

0.781

動詞＋助詞

0.815 0.704

0.755

名詞＋形容詞＋動詞

0.955 0.084

0.154

名詞＋形容詞＋助詞

0.846 0.616

0.713

蒸気がでないという文句にひかれ購入しました。炊いてい

名詞＋動詞＋助詞

0.848 0.604

0.706

る最中のご飯の匂いがないので良いですが、逆に機械っぽ

形容詞＋助詞＋動詞

0.824 0.692

0.752

い臭いがします・・・。そのうち取れると思いますが。あと

名詞＋形容詞＋動詞＋助詞

0.847 0.6000.703

素性選択なし（ベースライン） 0.857 0.696

0.768

最大値と素性選択なし（ベースライン）との差

0.028

再現率 F 値た．
「名詞」を他の品詞と組み合わせて用いた場合，「形容詞」や「動詞」を用いた場合と比較して，F 値が低くなった．

4. 6 判 別 の 例
4. 6. 1 適切に判別された例



は、毎回の内ぶた掃除がやっぱりちょっと面倒。



このレビューは，人手で有用であるとタグ付けされており，
かつ，機械学習においても有用であると判別されたレビューでこれらの結果から，このカテゴリでは「名詞」がそれほど有ある．助詞が効果的に用いられていることによって，評価の対効に働いていないと考えられる．この原因は，MeCab による象となるものの名称と評価の関係が明確になっている．上記の形態素解析の誤りと，全形態素に占める名詞の多さにあると考例の 1 文目では，助詞「が」が用いられることによって，評価えられる．

の対象が「蒸気」であることを強調していることが分かる．

形態素解析の誤りとして，本来記号として解析されるべき顔

また，句点を区切りとした 1 文の長さが短く，簡潔で明瞭な文字や記号の一部が，名詞として解析されてしまっていること

文章となっている．このことから，レビューの長さ（文字数）が挙げられる．例えば，「^ ^」という顔文字はサ変接続の名詞や文の数がレビューの有用性に影響を与えているといえる．

として解析される．また，「（笑）」は「（」「笑」「）」と解析され，品詞はそれぞれサ変接続の名詞である．なお，サ変接続と4. 6. 2 誤って判別された例

は，「推薦する」や「撮影する」のように，「〜する」という形を

内釜のコートも強そうなので安心して内釜でお米を研いで取ることができるということを示している．このように，記号います。炊きあがりは圧力釜に比べてしっとりしているけが名詞に解析されることによって，全形態素に占める名詞の割合が増えている可能性がある．
また，全形態素に占める名詞の割合が高いことによって，有用性の判別にあまり影響を与えていない単語も存在すると考えられる．レビューを特徴づける語だけを抽出し，素性として用いることによって，分類器の性能が向上することが期待できる．
掃除機 最も F 値が高いのは，素性に「助詞」を与えた場合
であり，ベースラインの F 値との差は 0.057 であった．次に F
値が高いのは，素性に「形容詞＋助詞」を与えた場合で，F 値
が 0.814 である．

F 値が著しく低くなったのは，素性に「形容詞」のみを与えた場合で，F 値は 0.047 であった．しかし，「形容詞」と「名詞＋助詞」「動詞＋助詞」「助詞」を組み合わせた素性を与えた場合
において，F 値はそれぞれ 0.773，0.787，0.834 となり，分類器の精度が向上した．
これらの結果から，商品や商品の機能についての評価を表す
形態素的特徴だけでなく，評価や動作の対象を表す形態素的特徴を含めることの有効性が示唆された．
パソコン 最も F 値が高いのは，素性に「助詞」を与えた場合であり，ベースラインの F 値との差は 0.028 であった．次に



ど食べごたえがありおいしいです

このレビューは，人手で有用であるとタグ付けされているが，機械学習においては有用でないと判別されたレビューである．
人手で判定する際には，文章量は少ないものの，簡潔明瞭な文章であり，米の「炊き上がり」について言及している有用なレビューであると考えた．しかし，機械学習においては，文章量と素性数の少なさがそのまま有用性の判別に影響してしまったということが分かった．このことから，素性数やレビューの長さ（文字数）がレビューの有用性に影響を与えているといえる．

5. 有用性判別システムの精度向上
4 章の評価実験において，レビューの有用性の判別に，レビューの長さ（文字数）やレビューに含まれる文の数が影響を与えていることが示唆された．そこで，有用性判別システムの精度向上を目的とし，レビューから抽出した 4 つの特徴を元に，再度評価実験を行う．4 つの特徴について，以下に述べる．
キーフレーズ数
キーフレーズ抽出 API [10] を用いて、レビューに含まれるキー
フレーズ数を算出する．キーフレーズが多く含まれるレビュー
は，より具体的で詳しい内容が記載されているレビューである

と考えられる．
文字数
レビューの文字数を計算する．Amazon [11] やひかり TV [12]のレビューガイドラインでは，適切なレビューの長さの目安として，それぞれ 75 字〜300 字，200 字〜400 字を挙げている．
本研究における有用なレビューも，この目安に該当している可能性がある．
文の数
レビューに含まれる文の数を計算する．これは，レビューの読
図 4 キーフレーズ数と文字数の分布（パソコン）

みやすさに影響を与えると考えられる．

1 文あたりの文字数
文字数を文の数で割ることによって，レビューに含まれる 1 文
あたりの文字数を計算する．これは，文の数と同様に，レビューの読みやすさに影響を与えると考えられる．

表 5 レビューの特徴を用いた評価実験の結果（炊飯器）

なお，レビューに含まれるキーフレーズ数とレビューの文字数特徴

精度の分布は以下の通りである．図 2，図 3，図 4 から，「炊飯器」とキーフレーズ数

0.892 0.760

0.821「掃除機」では分布が類似している一方で，「パソコン」はキー

文字数0.852 0.828

0.840

文数

0.935 0.464

0.620

1 文あたりの文字数

0.740 0.740

0.740

キーフレーズ数＋文字数

0.855 0.824

0.839

キーフレーズ数＋文数

0.908 0.752

0.823

キーフレーズ数＋ 1 文あたりの文字数

0.840 0.756

0.796

文字数＋文数

0.855 0.824

0.839

文字数＋ 1 文あたりの文字数

0.855 0.824

0.839

文数＋ 1 文あたりの文字数

0.791 0.788

0.790

キーフレーズ数＋文字数＋文数

0.855 0.824

0.839

キーフレーズ数＋文字数＋ 1 文あたりの文字数 0.851 0.824

0.837

キーフレーズ数＋文数＋ 1 文あたりの文字数

0.839 0.772

0.804

文字数＋文数＋ 1 文あたりの文字数

0.855 0.824

0.839

4 つの特徴すべてを用いた場合

0.851 0.824

0.837

フレーズが頻出する場合の文字数にややばらつきがある傾向が見られる．

図 2 キーフレーズ数と文字数の分布（炊飯器）

再現率 F 値

表 6 レビューの特徴を用いた評価実験の結果（掃除機）

図 3 キーフレーズ数と文字数の分布（掃除機）

特徴

精度

再現率 F 値

キーフレーズ数

0.881 0.680

0.767

文字数

0.813 0.836

0.824

文数

0.929 0.624

0.766

1 文あたりの文字数

0.813 0.676

0.738

キーフレーズ数＋文字数

0.810 0.836

0.823

キーフレーズ数＋文数

0.873 0.688

0.770

キーフレーズ数＋ 1 文あたりの文字数

0.876 0.680

0.766

文字数＋文数

0.815 0.828

0.821

5. 1 レビューの特徴を用いた評価実験の結果

文字数＋ 1 文あたりの文字数

0.824 0.824

0.824

評価実験の結果を，「炊飯器」は表 5，「掃除機」は表 6，パソ

文数＋ 1 文あたりの文字数

0.837 0.720

0.774

キーフレーズ数＋文字数＋文数

コンは表 7 に示す．結果の数値は小数点第 3 位まで示した．な
お，「炊飯器」「掃除機」「パソコン」において，実験データ数は各 500 件であり，10 分割交差検定を行うことによって分類器の性能を評価した．

0.815 0.828

0.821

キーフレーズ数＋文字数＋ 1 文あたりの文字数 0.824 0.824

0.824

キーフレーズ数＋文数＋ 1 文あたりの文字数

0.861 0.716

0.782

文字数＋文数＋ 1 文あたりの文字数

0.824 0.824

0.824

4 つの特徴すべてを用いた場合

0.824 0.824

0.824

たりの文字数の平均 28.18 字に及ばないものの，キーフレーズ

表 7 レビューの特徴を用いた評価実験の結果（パソコン）特徴

精度

再現率 F 値

キーフレーズ数

0.824 0.732

0.775

数だけでは有用でないと判別されてしまうレビューも，キーフ

文字数

0.803 0.800

0.802

レーズ数などと組み合わせることによって，有用なレビューで

文数

0.919 0.316

0.470

1 文あたりの文字数

0.684 0.720

0.702

キーフレーズ数＋文字数

0.803 0.736

0.768

キーフレーズ数＋文数

0.835 0.728

0.778

5.1 節において，「炊飯器」「掃除機」においては，有用なレ

キーフレーズ数＋ 1 文あたりの文字数

0.803 0.736

0.768

ビューの判別に「文字数」「キーフレーズ数＋文字数」が重要

文字数＋文数

0.804 0.804

0.804

な要素であることが分かった．また，「パソコン」においては，

文字数＋ 1 文あたりの文字数

0.798 0.804

0.801

有用なレビューの判別に「キーフレーズ数＋文字数＋ 1 文あた

文数＋ 1 文あたりの文字数

0.725 0.748

0.736

りの文字数」「キーフレーズ数＋文字数＋文数」が重要な要素

キーフレーズ数＋文字数＋文数

0.799 0.812

0.806であることが分かった．そこで，4 章で抽出した形態素的特徴

キーフレーズ数＋文字数＋ 1 文あたりの文字数 0.798 0.824

0.811

キーフレーズ数＋文数＋ 1 文あたりの文字数と，これらのレビューの特徴を組み合わせることによって，有0.817 0.748

0.781

文字数＋文数＋ 1 文あたりの文字数

0.798 0.804

0.801

4 つの特徴すべてを用いた場合

0.798 0.824

0.811

数の平均 9.69 個をわずかに上回っている．このように，文字あると判別することができるようになることが分かった．

5. 2 形態素的特徴とレビューの特徴を用いた評価実験の結果

用なレビューの判別システムの精度向上を試みた．実験データ
および方法は，4 章および 5.1 節と同様である．
評価実験の結果，形態素的特徴とレビューの特徴を組み合わ炊飯器・掃除機 「炊飯器」において，最も F 値が高いのは「文字数」を与えた場合である．また，「掃除機」において，最も F 値が高いのは「文字数」「文字数＋ 1 文あたりの文字数」「キーフレーズ数＋文字数＋ 1 文あたりの文字数」「文字数＋文数＋ 1 文あたりの文字数」「4 つの特徴すべてを用いた場合」である．次に F 値が高いのは「キーフレーズ数＋文字数」を与えた場合である．
特徴の組み合わせでは，レビューの文字数を除いた組み合わ
せの F 値が，他のレビューの文字数を含む組み合わせに比べて低くなった．よって，「炊飯器」および「掃除機」においては，
レビューの文字数が重要な要素であると考えられる．
パソコン 最も F 値が高いのは「キーフレーズ数＋文字数＋1 文あたりの文字数」「4 つの特徴すべてを用いた場合」である．
次に F 値が高いのは，「キーフレーズ数＋文字数＋文数」を与えた場合である．よって，「パソコン」においては，レビューに含まれる文字数およびキーフレーズ数が重要な要素であると考え
られる．
「炊飯器」
「掃除機」の場合と異なる点は，「文字数」のみを用いた場合に比べて，「キーフレーズ数＋文字数＋ 1 文あたりの文字数」を用いた場合において F 値が高くなるという点である．
以下に，文字数のみを用いた場合では上手く判別することができなかったが，キーフレーズ数と文字数と 1 文あたりの文字数を組み合わせることによって判別に成功した例を示す．

せた場合の F 値は，どの場合においても 0.80 を超えることが分かった．それぞれのカテゴリについて，以下に述べる．
炊飯器「素性選択なし＋文字数」「素性選択なし＋キーフ

レーズ数＋文字数」の場合において，F 値が 0.843 で最大となった．また，次に F 値が高かったのは「名詞＋文字数」「名詞＋形容詞＋文字数」「名詞＋動詞＋文字数」「名詞＋形容詞＋動詞＋文字数」「名詞＋動詞＋助詞＋文字数」「名詞＋形容詞＋動詞＋助詞＋文字数」の場合で，F 値は 0.841 であった．
この結果から，「炊飯器」については，「文字数」が有用なレビューの判別に重要な要素であることが分かった．素性の組み合わせでは，「名詞」を除いた組み合わせの F 値が，他の「名詞」を含む組み合わせに比べて低くなった．よって，「炊飯器」
においては，「レビューの文字数」と「名詞」の組み合わせによって，判別の精度が向上すると考えられる．
掃除機 「素性選択なし＋キーフレーズ数＋文字数」の場合
において，F 値が 0.828 で最大となった．また，次に F 値が高かったのは，「名詞＋動詞＋文字数」「名詞＋形容詞＋動詞＋文
字数」「名詞＋キーフレーズ数＋文字数」「名詞＋形容詞＋キー
フレーズ数＋文字数」「名詞＋動詞＋キーフレーズ数＋文字数」「名詞＋形容詞＋動詞＋キーフレーズ数＋文字数」の場合で，F値は 0.827 であった．
この結果から，「掃除機」については，「キーフレーズ数」と「文字数」が有用なレビューの判別に重要な要素であることが「キーフレーズ数＋文字数」
分かった．素性の組み合わせでは，

先代の dynabook(A9) と比較すると ctrl キー配置が一番と「名詞」の組み合わせによって，判別の精度が向上すると考左下に戻ったので使いやすく感じています。家庭用に使う

えられる．
パソコン 「素性選択なし＋全品詞＋キーフレーズ数＋文字

分には十分なスペックではないかと思います。SD カード数＋文数」の場合において，F 値が 0.817 で最大となった．まを直接読み取る機能もなかなか便利です。

「素性選択なし＋キーフレーズた，次に F 値が高かったのは，

このレビューに含まれるキーフレーズ数は 10 個（「ctrl キー配

数＋文字数＋ 1 文あたりの文字数」の場合で，F 値は 0.813 で置」「スペック」「SD カード」「機能」など），レビューの文字あった．

数は 103 字，1 文あたりの文字数は 26 字である．
「パソコン」

この結果から，「パソコン」については，形態素的特徴の組における平均文字数 130.05 文字を大きく下回っており，1 文あ

み合わせに依らず，「キーフレーズ数＋文字数＋文数」「キーフ
レーズ数＋文字数＋ 1 文あたりの文字数」を用いることによって，判別の精度が向上すると考えられる．

6. お わ り に本研究では，機械学習を用いた有用なレビューの判別により，オンラインショッピングにおけるユーザの購入の意思決定を支援することに取り組んだ．まず，被験者 2 名によるレビューの有用性の判定を行うと同時に，被験者間の判定の一貫性を調査し，その結果に基づいて本研究における「有用なレビュー」を定義した．次に，有用性判別システムの実装を行った．機械学
習アルゴリズムには SVM を用いた．各レビューの内容を定量的に判別の素性として分類器に与えるために，レビュー中に出現する全形態素を個々の素性ベクトルとして抽出して分類器に学習させた．分類器を 10 分割交差検定によって評価したところ，「助詞」を用いた場合に F 値が 0.86 で最大となった．
「形容詞」のみを素性として与えた場合には，F 値が 0.04 と著しく低くなった．しかし，「形容詞」だけでなく，「助詞」「名詞」「動詞」と組み合わせて用いることにより，F 値が最大で 0.83 となり，精度が向上することがわかった．
「助詞」が効果的に用いられている文章は，文中の格関係が同定されやすく，明瞭な文章である．したがって，商品や商品の機能についての評価を表す「形容詞」とともに，格関係を明確にする「助詞」，評価の対象となる商品名や機能を表す「名詞」や，商品に関する動作を表す「動詞」を素性として用いることによって，分類器の性能が向上すると考えられる．この結果は，本研究で定義した有用なレビューの特徴である，レビューの「根拠」や「詳しさ」および「明瞭さ」を支持するものである．
また，レビュー中に出現するキーフレーズ数や，レビューの文字数などの特徴を分類器に学習させた場合においては，「炊飯器」と「掃除機」ではレビューの文字数が重要な要素であること，「パソコン」ではレビューの文字数だけでなくキーフレーズ
数などと組み合わせることで，判別の精度が向上することが分かった．
今後の課題としては，レビューの対象となる商品の説明ペー
ジから判別の素性を得ることが挙げられる．商品説明文には，商品の発送や購入手続きに関する情報だけでなく，性能や機能といった商品の属性に関する情報が記載されている．これは，レビューにおいて，評価の対象となるものの名称にあたる．有用なレビューには商品の属性に関する言及が含まれると考えられるため，商品説明文から分類器に与える素性を得ることによって，判別の精度の向上を目指す．

謝

辞本研究には楽天データ公開において公開された楽天市場「みんなのレビュー・口コミ情報」を使用させて頂きました．デー
タを公開して頂きました楽天株式会社に，深謝の意を表します．
本研究の一部は，科学研究費補助金基盤研究 C（課題番号24500291），基盤研究 B（課題番号 25280110），萌芽研究（課
題番号 25540159），ならびに筑波大学図書館情報メディア系プ
ロジェクト研究による助成に基づき遂行された．

文

献[1] 山澤美由起, 吉村宏樹, 増市博. Amazon レビュー文の有用性判
別実験. 情報処理学会研究報告, Vol. 2006-NL-173, No. 53, pp.
15–20, 2006.
[2] 小林大祐, 井上潮. ユーザレビュー情報における感情表現の分析
手法. 第 2 回データ工学と情報マネジメントに関するフォーラ
ム (DEIM Forum), A9-2, 2010.
[3] Soo-Min Kim, Patrick Pantel, Tim Chklovski, and Marco
Penneacchiotti. Automatically Assessing Review Helpfulness. In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMLNP), pp. 423–
430, Sydney, Australia, 2006.
[4] Yi-Ching Zeng and Shih-Hung Wui. Modeling the Helpful
Opinion Mining of Online Consumer Reviews as a Classification Problem. In International Joint Conference on Natural Language Processing 2013 Workshop on Natural Language Processing for Social Media (SocialNLP), pp. 29–35,
Nagoya, Japan, 2013.
[5] 楽天技術研究所. 楽天データ公開. http://rit.rakuten.co.jp/rdr/
index.html. (accessed 2013-03-17).
[6] 工藤拓. Mecab. http://mecab.googlecode.com/svn/trunk/
mecab/doc/index.html. (accessed 2013-09-30).
[7] 片平秀貴. 嗜好品ではネット口コミは効かない？
：外食行動で「探索財・経験財モデル」を再検討する. Japan Food Enthusiast
Society（JFES） Working Paper, Vol. 0001, pp. 1–14, 2013.
[8] J. R. Landis and G. G. Koch. The Measurement of Observer
Agreement for Categorical Data. Biometrics, Vol. 33, pp.
159–174, 1977.
[9] T. Joachims. Text Categorization with Support Vector Machines: Learning with many Relevant Features. In 10th
European Conference on Machine Learning, pp. 137–142,
Chemnitz, Germany, 1998.
[10] YAHOO! JAPAN デベロッパーネットワーク. テキスト解析:キー
フレーズ抽出 api. http://developer.yahoo.co.jp/webapi/jlp/
keyphrase/v1/extract.html. (accessed 2013-10-06).
[11] Amazon.co.jp. Amazon.co.jp カスタマーレビューのガイドラ
イン. http://www.amazon.co.jp/gp/community-help/
customer-reviews-guidelines. (accessed 2014-01-07).
[12] 株式会社 NTT ぷらら. ひかりＴＶ ユーザーガイドライン.
http://www.hikaritv.net/application/review/guide/. (accessed 2014-01-07).