言語処理学会 第21回年次大会 発表論文集 (2015年3月)

隠れ状態を用いたホテルレビューのレーティング予測
Prediction of Ratings for Hotel Reviews Using Hidden States
藤谷 宣典
Yoshinori Fujitani

三輪 誠
佐々木 裕
Makoto Miwa
Yutaka Sasaki
豊田工業大学
Toyota Technological Institute{sd11082, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp

1

背景と目的
Web2.0 時代において SNS (Social NetworkingService)やニュース，商品，サービスに対するコメントなど，個人が情報を発信する機会が増加している．一方，様々な企業が個人の発信した情報を分析し消費者の理解を試みている．しかし情報過多によ
図1り有益な評判情報を利用者自身で発見するには多MIML-RE モデル概略図

大な時間を要する．この問題を解決する手段の一つとして，推薦システム[1][2]があげられる．推薦シしている．MIML-RE モデルの概略図を図 1 に示す．

ステムとは，ユーザの嗜好と商品やサービスの特徴

全体の入力はエンティティのペアの集合で，出力はを比較して，これらを基にユーザに最適な商品やサ関係である．このモデルは，マルチクラス分類器とービスを推薦するシステムのことである．推薦シス

2 値分類器と呼ばれる分類器を用いる．マルチクラテムを用いることで，ユーザに最適な情報を容易にス分類器は，関係ラベルのセットから個々のエンテ探しだすことが可能となり，欲しい情報を発見する

ィティペアに潜在的な関係ラベルを割り当てる．ままでの時間を短縮することができる．ユーザに推薦た 2 値分類器は，入力としてエンティティペアレベする主な基準は「レーティングが高いと予想される」

ルの分類を使用して，与えられたエンティティペアとされている．ここでのレーティングとは発信されの集合ラベルかどうかを決定する．このモデルは文た情報と共に付属されている評価値のことである．

でのカテゴリラベルを隠れ状態zとして推薦システムの推薦精度を向上する為にはレーテExpectation Maximization (EM) 法を用いて学習すィングを正確に予測できなければならない．

る．E step では，文レベルのマルチラベル分類器の本研究の目的は，ユーザの記述したレビューを用

重みベクトル𝑊𝑧 ，2 値分類器の重みベクトル𝑊𝑦 としい，文を隠れ状態としたモデルを構築することでレて以下の式(1)により文レベルの分類z𝑖 を推測する．

ーティングを高精度に予測することである．構築す𝑧𝑖∗ = arg max 𝑝(𝑧|𝑦𝑖 , 𝑥𝑖 , 𝑊𝑦 , 𝑊𝑧 )𝑧

るシステムは，ユーザレビューを入力として，いく(1)

しかし，上記の式(1)では計算量が多い為，以下のつかの観点におけるレーティングを予測する．

式で近似した式を扱う．

2

Multi-Instance Multi-Label Learning(𝑚)p(𝑧𝑖|𝑦𝑖 , 𝑥𝑖 , 𝑊𝑦 , 𝑊𝑧 )(𝑚)

∝ p(𝑌𝑖 , 𝑧𝑖

for Relation Extraction (MIML-RE)
MIML-RE モデル[3]は関係抽出のためのモデルであり，文が複数のラベルを所有することを仮定と― 764 ―

|𝑥𝑖 , 𝑊𝑦 , 𝑊𝑧 )(𝑚) (𝑚)≈ p(𝑧𝑖 |𝑥𝑖 , 𝑊𝑧 )p(𝑦𝑖 |𝑧𝑖′ , 𝑊𝑦 )(𝑚)

= p(𝑧𝑖(𝑚)|𝑥𝑖(𝑟)(𝑟), 𝑊𝑧 ) ∏ 𝑝(𝑦𝑖 |𝑧𝑖′ , 𝑊𝑦 )𝑟∈𝑃𝑖 ∪𝑁𝑖

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

近似式より，文レベルの分類𝑧𝑖 は以下の式(2)で推測する．
(𝑚)∗𝑧𝑖(𝑚), 𝑊𝑧 ) ×(𝑟)(𝑟)

= 𝑎𝑟𝑔 max 𝑝 (z|𝑥𝑖𝑧(2)∏ 𝑝(𝑦𝑖 |𝑧𝑖′ , 𝑊𝑦 )𝑟∈𝑃𝑖 ∪𝑁𝑖

M step では，対数尤度の下界の最大化を行うことにより，分類器の重み𝑊𝑧 ，𝑊𝑦 を探し出す．𝑊𝑧 と𝑊𝑦 を以下の式(3)と(4)でそれぞれ更新する．
𝑛(𝑚)∗ (𝑚)∗𝑊𝑧 = 𝑎𝑟𝑔 max ∑ ∑ log 𝑝(𝑧𝑖 |𝑥𝑖 , 𝑊)
𝑤𝑖=1 𝑚∈𝑀𝑖(𝑟)∗𝑊𝑦= 𝑎𝑟𝑔 max
w

(3)

(𝑟)

log p(𝑦𝑖 |zi∗ , W) (4)∑1≤i≤n s.t. r∈Pi ∪Ni

推論時には，初めにマルチクラス分類器にて下の式

図 2 提案手法(5)で関係ラベルを獲得する．
(𝑚)∗𝑧𝑖(𝑚)= 𝑎𝑟𝑔 max 𝑝(𝑧|𝑥𝑖𝑧, 𝑊𝑧∗ )(5)

その後，2 値分類器にて下の式(6)で最終の関係ラベルを決定する．
(𝑟)∗𝑦𝑖3(𝑟)∗= 𝑎𝑟𝑔 max 𝑝(𝑦|𝑧𝑖∗ , 𝑊𝑦𝑦∈{0,1})

(6)

提案手法
本研究では，MIML-RE モデルを元に，レビュー単位にしか付与されていないレーティングが，レビューを構成する文がそれぞれ潜在的に持っているレ

図 3 手調整の繋ぎ方の変更内容ーティングにより構成されると仮定したモデルを考える．図 2 に示すように，レビューを文単位に分割し，各文に隠れレーティングを与え EM 法により学習する．予測時には，文の隠れレーティングを予測し，それをレビュー単位で隠れレーティングを集め，レビューのレーティングを予測する．隠れレー
ティングの初期値は各レビューに付与されているレーティングをそのまま与える．図 2 に示すように隠れレーティングからレビューのレーティングを推測する時のカテゴリ間の繋がりは「総合」のみ全てのカテゴリと繋ぐ．素性には形態素，値には一文中にその形態素が出現した回数を用いる．上記の手法を基準手法とし，以下に示す方法で基準手法に変更点を加えた手法について提案する．

繋ぎ方の変更：隠れレーティングからレビューのレーティングの推測時のカテゴリの繋がりを変更する．まず，ベースラインとして全てのカテゴリを全てのカテゴリと繋げる手法（全対全），一つのカテゴリをそのカテゴリのみと繋げる手法（個対個）を提案する．更に，関連性が高いと思われる繋がりを用いた手法（手調整）について提案する．手調整の接続内容を図 3 に示す．手調整の一例としては「食事」は，「部屋」や「食事」，「サービス」，「総合」との関係があると考えられる為，これらのカテゴリを図 3 の様に繋ぐ．
品詞素性の利用：データの素性に品詞を加える．１
文中に出現した回数を値とし，品詞を素性とする．

― 765 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

追加する素性は MeCab から品詞情報を得る．
N-gram 素性の利用：各データの素性を形態素とbi-gram と tri-gram で構成する．
ユーザ情報の利用：楽天トラベルレビューに記載されている情報の「ユーザ ID」，「同伴者」，「旅行の目的」を利用し，これを素性に加え各データを構成する．ユーザ情報から得た素性の値は 1 とする．また各データは，N-gram 素性の利用と同じく，形態素とbi-gram と tri-gram で構成する．

4

図4

実験

4.1

実験設定

4.2

N-gram 素性利用の開発データの学習曲線

実験結果

実験に使用した楽天トラベルレビューには，レビEM 法の繰り返し回数は開発データで 5 回と決定

ューとカテゴリ（「立地」，「部屋」，「食事」，「風呂」「サービス」，「設備」，「総合」）別のレーティングが記載されている．また，カテゴリのレーティングに対して無回答の場合は，レーティングに 0 点を付与した．各データは形態素解析システムの MeCab を用いて作成した．使用した楽天トラベルレビューの中には，【ご利用の宿泊プラン】という内容が多く記載されている．あまり意味を持たない為，各デーした．各手法のテストデータでの正答率と隠れ状態なしの場合の正答率を表 1 に示す．また N-gram 素性の利用のカテゴリ別の正答率と平均二乗誤差を表 2 に示す．平均二乗誤差の算出は無回答の場合に0 点を付与した為， 0 点を省いて算出した．そして小堀らの研究結果[4]も表 2 に示す．学習曲線を図 4に示す．

タのレビューからこれを省いた．実験の各データ数

表2は学習データを 300,000，開発データを 10,000，テストデータを 10,000 とした．投稿番号順にソート
し番号が若い方から学習データ，開発データ，テストデータにした．ロジスティック回帰には
Liblinear の L2 正則化ロジスティック回帰を用いて，コストとバイアスは 1 とした．
表1

各手法の正答率

隠れ状態なし基準手法
繋ぎ方：全対全
繋ぎ方：個対個繋ぎ方：手調整
品詞素性の利用
N-gram素性の利用
ユーザ情報の利用

正答率（％）
38.44
47.76
47.52
47.72
47.43
47.17
48.31
48.32

カテゴリ別の正答率と平均二乗誤差

カテゴリ別
小堀らの研究平均二乗誤差正答率 (%)(平均二乗誤差)
立地
49.71
0.82
2.38部屋
46.74
0.92
2.79
食事
49.08
3.23
2.36
風呂
41.44
1.45
2.85
サービス 49.21
0.85
2.89
設備
44.47
0.97
2.30
総合
57.53
0.67
1.84
表30点
立地
0
部屋
0
食事 108,079
風呂 13,332
サービス
0
設備
2,011
総合
0

― 766 ―

学習データの内訳

1点
1,225
5,773
4,288
6,782
6,222
5,897
4,997

2点
8,357
15,663
10,801
20,423
10,036
17,9209,811

3点
42,04559,42439,08089,40068,89885,18636,221

4点
112,068
113,530
66,83691,983111,043
110,770
140,624

5点
136,305
105,61070,91678,080103,801
78,216108,347

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

案手法のレーティング予測は隠れ状態なしと比べて約 10％向上し，平均二乗誤差は小堀らの研究と比較して「食事」以外は大きく減少した．繋ぎ方の変
更では，基準手法の「総合」のみ全てのカテゴリと繋ぐ方法が他の繋ぎ方と比べて最も正答率が高かった．また，品詞素性の利用では品詞を名詞や形容詞，動詞のみなどに変更しても効果はなく，基準手法と比べて正答率が減少した．ユーザ情報の「ユーザ ID」，「同伴者」，「旅行の目的」を素性に加えてもN-gram 素性の利用時と比べて変化はなかった．これより，基準手法に上記の変更点を加えても大きな正答率の向上，平均二乗誤差の減少は確認できなかった．
図5

正解レーティング別正答率

今後の課題として，共参照解析を用いて，「これ」などの代名詞がレビュー内で何を示すかなどを特5

考察

徴にうまく利用することが考えられる．

N-gram 素性の利用時の正解レーティング別正答率を図 5，表 4 に示す．これより，正解レーティン

参考文献

グが 1 点，2 点の時の正答率が他と比べて低いこと[1]Francesco Ricchi et al., Recommender Systemsが確認できる．この要因の一つとして，学習データ

Handbook. Springer, 2011の偏りが挙げられる．表 3 に示す学習データの内訳[2]Bing Liu, Sentiment Analysis and Opinionの「立地」では，大半が 4～5 点である．4～5 点にMining, Morgan & Claypool Publishers, 2012

予測が引きずられる為に 1 点，または 2 点と予測し[3]Mihaiにくいと考えられる．

Multi-label Learning for Relation Extraction. In

Surdeanuetal.,

Multi-instance

Proceedings of EMLLP-CoNLL 2012. pp. 455-465,62012

まとめと今後の課題
ユーザの記述したレビューを文単位に分割し分割した文に隠れレーティングを与えて，レビュー全[4]小堀脩豊,

評判分析に基づく推薦システムの研究, 豊田工大修論, 2013

体のレーティングを予測させる手法を提案した．提表 4 正解レーティング別正答率の詳細

予測レーティングが正解した数/正解の合計
0点
1点
2点
3点
4点
5点
立地
0/0
0/43
0/253 40/1357 1496/3777 3433/4570
部屋
0/0
15/188
4/498 247/1949 2452/3735 1956/3630
食事 2903/3445 1/120
1/371 20/1314 455/2375 1528/2375
風呂
0/422
16/251 57/667 1671/2940 1225/3083 1175/2637
サービス 0/0
44/182
1/337 561/2258 2286/3781 2029/3442
設備
0/61
5/206
7/579 1067/2734 2408/3793 960/2627
総合0/020/153
2/332 67/1103 3401/4813 2263/3599― 767 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.