言語処理学会 第21回年次大会 発表論文集 (2015年3月)

word2vec と深層学習を用いた大規模評判分析加藤 和平 ∗

二宮 崇 ∗∗

大島 考範 ∗∗∗∗

愛媛大学 工学部 情報工学科
愛媛大学 大学院理工学研究科 電子情報工学専攻{katoh@ai.,ohsh@ai.,ninomiya@}cs.ehime-u.ac.jp

1

はじめにる．CBOW モデルでも Skip-gram モデルでも，入力層と中間層をつなぐ重み行列 (各単語に対する重みベ

近年，情報インフラの発達によって多様な商品，サークトルの集合) が，word2vec が最終的に生成する単語ビスが提供されている．これらは有形無形問わずに膨分布表現 (各単語に対する概念ベクトル) となる．単語大量があるが，そのような商品あるいはサービス群のを分布表現に変換することにより単語を意味空間上の中から商品の善し悪しを判断することができれば非常1 点に対応させることができ，意味的に関連の強い単に有為である．楽天データは，各商品に対しレビュー語グループに分類したり，単語に対する意味的な計算文書と評価値が付与された大規模データであり，約 1を可能とする利点がある．単語に対する重みベクトル

億 5600 万商品，約 6400 万レビューから成る．楽天の次元数は中間層のノード数と等しく，word2vec にデータから評判分析の学習を行うことで実用的かつ精おいて数百程度がよく用いられる．つまり，入力層に度の高い評判分析器が実現されることが期待される．

おける語彙数 (数十万) の次元を数百程度に次元削減

本論文は word2vec と深層学習を用いた大規模評判していることになる．

分析について報告する．近年，機械学習の分野，特に深層学習は，効率的な多層ニューラルネットワーク

画像認識において深層学習が非常に高い成果を上げての学習法であり，機械学習の分野，特に画像認識におおり，大きな注目を浴びている．本研究では中間層がいて非常に高い成果を上げている．本研究では画像0 層，1 層または 2 層から成るニューラルネットワー
クを用いて，大規模評判分析データである楽天データ認識のための深層学習のツールキットとして有名な

単語ベクトルを直接用いるのではなく，word2vec にCaﬀe[3] を用いて多層ニューラルネットワークの学習を行う．Caﬀe は高速なフレームワークであり，モデルファイルによりネットワークの構造を与えることがより得られる分布表現の単語ベクトル (単語概念ベクできるため，多層化，損失関数の設定，活性化関数のトル) を用いてニューラルネットワークの学習を行う．

設定を容易にすることが可能となっている [1]．ただを対象に評判分析を行う．本研究では 1-of-K 表現のし，現在の Caﬀe の実装では 1-of-K 単語ベクトルの2ような疎なベクトルを効率的に処理するようにはなっ関連研究ておらず，本研究では word2vec を併用し次元削減を

word2vec[2] はニューラルネットワークを用いた単行う．

語の分布表現 (単語の概念を表す低次元の密なベクトルによる表現) を獲得する手法である．テキスト中の各単語を周辺の単語から予測する擬似的な単語予測

3のタスクを設定し，このタスクを大量のテキストからニューラルネットワークで学習し，中間層における各単語の重みを抽出することによって，単語に対する概word2vec を用いた多層ニューラルネットワークによる大規模評判分析念ベクトルを獲得する．周辺の単語の重みベクトルの本論文は word2vec による単語分布表現 (単語の概和を中間層の値とするモデルは CBOW モデルと呼ば念を表す低次元の密なベクトルによる表現) を用いた、れ，周辺の単語のうちの一つに対する重みベクトルを多層ニューラルネットワークによる大規模評判分析に

中間層の値とするモデルは Skip-gram モデルと呼ばれついて報告する．多層ニューラルネットワークの中間― 525 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1: データセット
訓練データ
開発データ
テストデータ

データサイズ4.655GB
1.02GB
1.12GB

レビュー件数
7,606,045
1,655,042
1,818,107

内訳
レビューデータ 01-06
レビューデータ 11
レビューデータ 12

層は 0 層，1 層または 2 層について試した．出力層に表 2: Caﬀe 用データセット

はソフトマックス関数を適用し，入力層には word2vecによる単語分布表現を用いた文書ベクトルを入力とし次元数
200 次元400 次元600 次元800 次元1000 次元て与える．図 1 の (A), (B), (C) はそれぞれ中間層が0 層の場合，1 層の場合，2 層の場合のネットワーク構造を表している．0 層のモデルはロジスティック回帰モデルと等価なモデルとなる．

訓練データ件数
7,686,045
5,368,709
3,579,139
2,684,354
2,147,483

開発データ
1,655,042
1,655,042
1,655,042
1,655,042
1,655,042

テストデータ1,818,107
1,818,107
1,818,107
1,818,107
1,818,107あるレビュー文書 r を単語列 w1 w2 . . . wn としたとき，r に対する文書ベクトル d は，次式により与えら

表 3: Caﬀe の設定れる．

d=n∑

パラメータ
中間層数
バッチサイズ
ノード数
iteration 間隔
最大 iteration 回数

word2vec(wi )i=1

ただし，word2vec(wi ) は word2vec により与えられる数値
0-2100400
1,000
100,000

wi の単語分布表現である．
回数は 15 回 (-iter 15) とし，頻出語をランダムに削除した (-sample 1e-3)．

実験

4

深層学習には Caﬀe を用いた．楽天データが大規

本節は従来手法と提案手法の評価実験について述
べる．

模データであることと Caﬀe の実装の制限のため，word2vec を用いて次元削減をしても 200 次元より大きい次元になる場合には全データを用いて学習することができない．従って，200 次元より大きな次元で学4.1

データセット習する場合は訓練データのサイズを変更して学習する

本研究の実験ではデータセットとして楽天から公開ことにした．表 2 は，今回の実験で用いたデータのサされている楽天データの中から，楽天で取り扱う商品イズと次元数との関係を表している．また Caﬀe のパに対するレビューデータ群及びその商品に対する評点ラメータについては表 3 に記載する．ニューラルネッを用いる．詳細は表 1 に記する．

トワークの構造についてはそれぞれ図 1 に示される通4.2りである．

実験設定

4.3

単語分布表現の獲得には word2vec を用いる．本研
究では word2vec の出力として 200 次元，400 次元，600 次元，800 次元，1000 次元という 5 パターンの単語分布表現を得た．その際 word2vec は次のオプションで実行した．モデルとしては CBOW モデルを用い(-cbow 1)，ウィンドウサイズは最大 8 単語 (-windows8)、ネガティブサンプリングのネガティブサンプルの個数は 25 個 (-negative 25) とし、階層的ソフトマッ

実験結果比較する従来法として，Liblinear[4] を用いた L2 正則化ロジスティック回帰と比較する．LibLinear のハイパーパラメータについては開発データを用いて調整した．提案手法に対する実験では，3 種類のモデル (中間層 0 層, 中間層 1 層，中間層 2 層) と 5 種類の次元数 (200 次元，400 次元，600 次元，800 次元，1000 次元) を用いた性能評価を開発データに対して行った．

クスは使用しなかった (-hs 0)．また，学習の繰り返し― 526 ―

表 4 はテストデータに対する実験結果を示し，表Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

୰㛫ᒙ

୰㛫ᒙ
ฟຊᒙ

ධຊᒙ

ධຊᒙ

ฟຊᒙ

^K&dDyͺ>K^^

ฟຊᒙ

ධຊᒙ

^K&dDyͺ>K^^^K&dDyͺ>K^^䠄䠅୰㛫ᒙϬᒙ;Ϳ୰㛫ᒙϮᒙ;Ϳ୰㛫ᒙϭᒙ

図 1: 深層学習におけるニューラルネットワークの構造

表 4: テストデータに対する精度
学習モデルLR(1-of-K)
NN-L0(w2v)
NN-L1(w2v)
NN-L2(w2v)

表 6: 訓練データサイズ固定で学習した場合のテスト
データに対する精度

精度 (%)
91.0151
90.18890.55590.675

学習モデル
NN-L0(w2v)
NN-L1(w2v)
NN-L2(w2v)

表 5: 開発データに対する精度 (%)
次元数
200
400
600
800
1000

NN-L0(w2v)
90.00890.02590.20390.12189.725

NN-L1(w2v)
90.57790.64290.83090.67990.331

精度 (%)
90.15690.56690.637

練データサイズを固定した場合の性能についても評価した．訓練データのレビューデータ数を 1000 次元のNN-L2(w2v)
90.65390.70390.92090.77490.594場合の 2,147,483 件に統一して実験を行った結果，開発データに対する性能評価は表 7 のようになり，テス
トデータに対する性能評価は表 6 のようになった．
実験結果より，中間層数を増やした学習の方がより高い精度を出していることがわかる．次元数に関して

5 は 10 万イテレーションの学習を行った場合の各モ

は訓練データサイズ固定の場合の実験結果より，必ずデルと次元数に対する開発データでの精度を表してい

しも高次元のデータセットから高精度が得られるわける．表中における “LR(1-of-K)” は 1-of-K 単語ベク

ではないことが分かる．また訓練データサイズ変動のトルを用いたロジスティック回帰の結果を示し、“NN-場合と訓練データサイズ固定の場合でも精度が同程度Li(w2v)” は word2vec により得られる単語分布表現を入力とした中間層数 i の中間層から成るニューラルであることから，少量のデータセットにおいて提案手ネットワークの結果を示す．開発データに対する性能

現の単語ベクトルを用いたロジスティック回帰の性能評価の結果，全てのモデルにおいて 600 次元のときがには及ばなかったが，ほぼ同程度の性能であることが最も良い性能であったため，テストデータに対する実わかる．

法が特に有効であると言える．提案手法は 1-of-K 表

験では 600 次元の入力を用いて評価を行った．また、最適なイテレーション回数を開発データを用いて設定した．

5

おわりに

上記の実験では，Caﬀe の制限により訓練データの本研究は，大規模評判分析データである楽天データサイズと次元数を変更させながら学習を行ったが，訓に対し，word2vec と深層学習を用いた評判分析の学― 527 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 7: 訓練データサイズ固定で学習した場合の開発デー
タに対する精度 (%)
次元数
200
400
600
800
1000

NN-L0(w2v)
90.00890.03890.20390.12289.725

NN-L1(w2v)
90.57290.62590.81790.67290.331

NN-L2(w2v)
90.66590.69190.89490.77990.594

習を行い，その性能評価について報告した．本研究では，ニューラルネットワークの入力として 1-of-K 表
現の単語ベクトルを直接用いるのではなく，word2vecにより得られる分布表現の単語ベクトルを入力として用い、中間層が 0 層，1 層または 2 層から成るニューラルネットワークを用いて，楽天データに対する評判分析を行った．多層ニューラルネットワークのツールとしては Caﬀe を用いた．

Caﬀe は疎なベクトルに対して効率的に学習を行う仕様となっていないため，大規模データである楽天デー
タに対し直接 1-of-K 表現の単語ベクトルから学習することは難しい．本研究は word2vec を用いて次元削減を行うことでデータサイズを削減し Caﬀe で学習することを実現した．データサイズと次元数との間にトレードオフができるため，データ数と次元数を同時に増減させてその性能を評価した．また，データサイズを固定し次元数を増減させた場合の性能についても評価した．実験結果より，ニューラルネットワークの中間層を増やすほど性能が向上することが確認できた．

1-of-K 表現の単語ベクトルを用いたロジスティック回帰の性能には及ばなかったが，ほぼ同程度の性能であることがわかった．

参考文献[1] Jia, Yangqing and Shelhamer, Evan and Donahue, Jeﬀ and Karayev, Sergey and Long,Jonathan and Girshick, Ross and Guadarrama,
Sergio and Darrell, Trevor (2014). ”Caﬀe: Convolutional Architecture for Fast Feature Embedding.” arXiv preprint arXiv:1408.5093.
[2] word2vec, https://code.google.com/p/word2vec/[3] Caﬀe, http://caﬀe.berkeleyvision.org/[4] Liblinear, http://www.csie.ntu.edu.tw/ cjlin/liblinear/― 528 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.