DEIM Forum 2019 A5-4

Simple Alignment Sentence Classification による
日英対訳コーパスの感情極性の分析
久保田大貴†

新妻弘崇 ††太田学 ††† , †† 岡山大学大学院自然科学研究科 〒 700–8530 岡山県岡山市北区津島中三丁目 1 番 1 号
E-mail: †kubotad@de.cs.okayama-u.ac.jp, ††{niitsuma, ohta}@cs.okayama-u.ac.jp
あらまし

近年，ニューラルネットワークを用いたレビュー文の感情極性推定の研究が活発に行われており，様々な手法やモデルが提案されている．それらのタスクの多くは英文を対象に研究されているが，言語間の差異を考慮できれば，英文で有効な手法やモデルを他言語に応用することが可能となる．そこで，本稿では日本語と英語の対訳コーパスに対して Simple Alignment Sentence Classification による感情極性推定を行い，モデル内の重みやパラメータから，それぞれの言語の感情極性の特徴について分析する．
キーワード ニューラルネットワーク，感情極性，機械学習それぞれの言語の感情極性の特徴について分析する．

1 はじめに
感情極性推定とは感情極性ラベルが付与された文章を学習して未知の文章の感情極性を推定する自然言語処理のタスクである．感情極性はその文章が良い印象を持っているか悪い印象を持っているかを表す情報であり，positive，negative などのラベルで表される．これらの感情極性は文章全体の要約に役立ち，意見の収集の効率化や可視化などに用いられている．近年ではニューラルネットワークでこれらを推定する研究が活発に行われている．
しかし，実際の文章には複数の観点と相違なる感情極性が含まれるものが存在する．そのような文章に対しては，文章全体の感情極性推定では不十分である．そこでこの問題に対応したのが，Aspect-Based Sentiment Analysis (ABSA) [4] と呼ばれるタスクである．ABSA は文章から観点を抽出し，それぞれに感情極性を推定する．この推定は，観点毎の感情極性ラベルが与えられた教師データから学習することで推定を行う．朝倉らはConvolutional Neural Network (CNN) と Recurrent Neural
Network (RNN) を組み合わせたモデルを提案し，ABSA タスクにおいて有効であることを報告した [2]．
このタスクは日本語では観点付き感情極性推定と呼ばれている．報告されている研究の多くが英語の文章を対象としており，日本語の文章を対象にした研究は少ない．我々は日本語のデータセットに対して観点付き感情極性推定を行い，英語と日本語のタスクでは効果的なモデルが異なる可能性を示唆した [3]．しかし [3] では，英語はレストランのレビュー文，日本語はスマートフォンに関する Twitter の投稿文と実験に用いたデータセッ
トに違いがあった．
そこで，本稿では単純なモデルである Simple Alignment

Sentence Classification [1] により，日本語と英語の対訳コーパスである Webis-CLS-10 データセット [10] に対して感情極性推2 関連研究ここでは感情極性推定で最も成功した手法の一つである CNNと本研究で用いる Neural Attention について説明する．

2. 1 Convolutional Neural Network
Convolutional Neural Network (CNN) とは畳み込み処理を組み込んだニューラルネットワークモデルである．CNN は画像処理などでよく使われる手法であり，値を持った格子状のウィンドウを畳み込む対象にスライドさせ，ウィンドウと重なった要素とウィンドウの値との積を取り，その総和によって特徴量を表現する．CNN はウィンドウサイズやスライドさせる値で畳み込み後のサイズが変わる．自然言語処理では，Kim [5] が単語ベクトル列を連結し，ウィンドウサイズが異なる複数のフィルタを用いた畳み込みによって得られる複数の特徴量を利用することで様々なベンチマークで高精度な推定が可能であることを報告した．また Dauphin ら [6] は CNN に Gate を付けて並列化することで，時系列データに対して前後を考慮した高速処理を可能とする手法を提案した．その精度は既存手法である LSTM を上回り，特に入力が平均 4,000 語のような大規模な文章に適していることを報告した．観点付き感情極性推定では，Toh ら [7] は CNN モデルを用いて SemEval 2016 Task 5

Subtask 1 1 の Slot1，Slot2 の 2 つで最も高い性能を達成した．
この高性能なモデルは，最大長にパディングされた文章の単語ベクトル列を畳み込み，プーリング，ReLU，Softmax の順に適用した．

2. 2 Nueral Attention
Neural Attention は考慮すべき情報により高い重みを与え定の実験を行う．その際モデル内の重みやパラメータを比較し，1：http://www.alt.qcri.org/semeval2016/task5/

るニューラルネットワークである．Encoder-Decoder モデルと共によく用いられる．Bahdanau ら [8] は翻訳モデルに NeuralAttention を組み込むことで長文の入力に対しても精度の高い翻訳ができることを報告した．具体的には重みとして Decoderに渡す入力文全体の情報に，Encoder が現在処理をしている入力文章を強く考慮させて用いる．Decorder は出力の際，過去の入出力と受け取った重みから翻訳単語を決定する．その結果，入力文章全体についての情報を持つため，長文であっても精度を保つことが可能となった．観点付き感情極性推定では，柳瀬ら [9] は双方向 RNN の出力ベクトルに対して 2 つの Attention
層によりエンティティと属性をそれぞれ考慮したモデルを提案した．彼らは SemEval 2015 Task 12 2 のデータセットを用いた実験で，最上位チーム以上の精度を達成したことを報告した．

3 Simple Alignment Sentence Classification

図 1 Simple Alignment Sentence Classification のモデル構造

ここでは本研究で利用する Niitsuma らが提案した Simple

表 1 Webis-CLS-10 データセットのテストデータの rating 内訳

Alignment Sentence Classification (SASC) [1] について説明すカテゴリ

る．このモデルは Attention 機構を取り入れた単純なニューラrating

書籍DVD

音楽

ルネットワークである．モデル構造を図 1 に示す．SASC モデ

1498532503

ルの入力はカテゴリと文章の 2 つである．この 2 つの入力は2502468497

embedding によってそれぞれベクトル化される．入力される文

4313

340

247

5687660

753

章の単語を embedding で変換した word vector を X ，カテゴall

リを embedding で変換した category vector を V とし，L は文の長さ，n はカテゴリの種類とすると以下の行列で表される．

X = x1

表 2 Webis-CLS-10 データセットの学習データの rating 内訳][x2...

xL

2,000 2,000 2,000

日本語

(1)

英語

rating

書籍

DVD

音楽

書籍

DVD

音楽

1477

470

472

555

574

569

2523

530

528

445

426

431

4307

317

246

274

292

228xi ∈ Rd ，vi ∈ Rd の次元数 d は，embedding の際に定めるパ

5693

683754726708772

ラメータである．文章をベクトル化した word vector とカテゴ

all]

[V = v1v2...

vn

(2)

2,000 2,000 2,000 2,000 2,000 2,000

リをベクトル化した category vector から Attention weight α
を softmax 関数により計算する．以下に計算式を示す．この時て説明する．このデータセットは，約 800,000 件の Amazon 3 のa は入力された文章のカテゴリを表す．

商品レビュー文で構成されたコーパスである．英語，ドイツ語，

α = softmax(X · va T )(3)

フランス語，日本語の 4 種類の言語にそれぞれ書籍，DVD，音楽の 3 種類のカテゴリのレビュー文が含まれている．4 言語の算出した Attention weight と word vector から感情極性の確

3 カテゴリそれぞれには，集められたレビュー文から positive

率分布 y を求めて感情極性を推定する．確率分布 y は以下のと negative の数が同数になるように抽出した学習データ 2,000式で求められる．また W は推定する感情極性への射影行列で件，テストデータ 2,000 件とそれらと別に用意された予備デーある．

タの 3 ファイルがある．予備データの件数はカテゴリや言語に

y = softmax(W · X · α )T(4)

よって異なり，約 9,000 件から 170,000 件存在する．またドイツ語，フランス語，日本語のテストデータ 2,000 件にはそれぞれ英語の対訳データが用意されている．表 1 に共通のテスト

4 実

験

データの rating の内訳を示す．また日本語と英語の学習データの rating の内訳を表 2，予備データの rating の内訳を表 3 に

4. 1 Webis-CLS-10 データセット
ここでは本研究で用いる Webis-CLS-10 データセットについ

2：http://www.alt.qcri.org/semeval2015/task12/示す．

Webis-CLS-10 データセットの日本語の例を図 2 に示す．こ3：https://www.amazon.co.jp

図 2 Webis-CLS-10 データセットの日本語の例

図 3 Webis-CLS-10 データセットの図 2 の英語の対訳

表 3 Webis-CLS-10 データセットの予備データの rating 内訳
日本語

DVD

音楽

1

42,240 17,244 14,170 13,716

8,390

6,728

2

42,650 16,919 13,776 11,284

6,610

5,882

4

27,849 10,318

4,421

2,905

5

57,041 23,845 21,065 18,700 10,579

9,705

all

169,780 68,326 55,892 50,000 30,000 25,220

DVD

音楽

6,8816,300

本稿では，以上のタグの内 category をカテゴリ，rating を
感情極性，text を文章として取り扱う．

書籍rating

書籍

英語

4. 2 内部パラメータ
本研究では式 (2) の V が学習が進むとどのように変化するか分析し，日本語と英語の感情極性の違いについて分析する．具体的には行列 V の cat 番目の列を取り出した以下のベクトルについて分析する．

[wattn = w1のデータセットでは XML 形式でタグが付与されている．item
タグで 1 つのレビュー情報全体を表す．1 つの item タグの中]
w2

...

wd

(5)に，category，rating，asin，url，text，summary，title，re-

ここで cat は現在考慮している文のカテゴリの番号である．

viewer，location，date，helpfulness votes，badges の計 12 個

このベクトル wattn の平均値 wa ，分散値 wv ，中央値 wm をのタグが存在する．それぞれのタグは以下を表している．

以下で計算することでその変動について分析する．ただし w1′ ，•category: カテゴリ名

w2′ ，...，wd′ は w1 ，w2 ，...，wd を小さい順に並び替えた数列•rating: 商品に対する評価である．

•

asin: 著者 ID•

url: レビューの URL•

text: レビュー本文•

summary: 見出し，レビュー本文の要約•

title: 商品名•

reviewer: レビュアー名•

location: レビュアーの所在地•

date: レビュー投稿日•

helpfulness votes: Amazon の「役に立った」を押された回数•∑

wid(6)∑(wi − wa )2
d−1

(7)

wa =

wv =

wm =


w ′(d+1)/2′′

 wd/2 +wd/2+12(d : 奇数)(8)(d : 偶数)

4. 3 観点付き感情極性推定

badges: レビュアーランキングの順位 (500 位以内のみ)

4. 1 節で述べたデータセットの内，英語対訳が存在する日本

また図 2 の対訳データを図 3 に示す．日本語と同様に XML語のテストデータ 2,000 件を 3 カテゴリともそれぞれ 1,600 件形式で同じタグが付与されている．上記のタグの内，summaryと 400 件に分割し，それらを合わせた 4,800 件と 1,200 件で実と text が英訳されているのが図 2 と異なる．

験を行う．4,800 件を実験学習データ，1,200 件を実験テスト

表4

表 5 epoch 間の中央値の差の絶対値の和

観点付き感情極性推定の最大正解率
日本語モデル

テスト正解率英語

日本語

epoch テスト正解率 epoch

カテゴリ

cbow 50

sg 100

英語

cbow 50

sg 100cbow 500.47

110.4010

書籍0.192068 0.123165 0.159918 0.102804

cbow 100

0.47

70.44

7DVD0.207596 0.082946 0.157628 0.091071

cbow 300

0.4570.4610

音楽0.241883 0.071927 0.212006 0.080237

sg 50

0.4590.43

9

合計0.641547 0.278038 0.529552 0.274112

sg 100

0.47

60.47

6

sg 300

0.46

50.40

9

本語と英語の同カテゴリ同士を比べる．書籍の図 10，図 13，

DVD の図 11，図 14，音楽の図 12，図 15 から分散値は言語，データとし，レビューの rating を推定する 4 クラスの観点付

カテゴリ問わず，近い値となった．また中央値が最も大きく外き感情極性推定を行う．文章のベクトル化には，事前学習済み

れた epoch 数が英語に比べ日本語の方が早い傾向にあった．書word2vec を用いる．事前学習には両言語とも Wikipedia のダ

籍カテゴリでは図 10 から日本語の epoch 数が 7 の時に最も離ンプデータ 4 2018 年 12 月 18 日版を使用した．word vector のれた値になるのに対し，図 13 から英語の場合は epoch 数が 8次元数は 50，100，300 の 3 種類，学習モデルは Continuousの時である．これは，日本語の学習が早いことが原因として考Bag-of-Words(cbow)，Skip-gram(sg) の 2 種類を用いる．学習えられる．また，表 5 から中央値は変化量が日本語に比べて英器は Adam optimizer [11] を用い，学習のパラメータはデフォ

語はなだらかであった．平均値は中央値に引っ張られる形で広ルトとする．学習回数である epoch は最大 20 とする．損失関がることが分かった．

数には交差エントロピーを用い，その誤差が小さくなるように一方，最大テスト正解率が同程度の sg100 モデルでも，日本学習を進める．また学習毎に実験学習データ，実験テストデー

語と英語の同カテゴリ同士，書籍の図 16，図 19，DVD の図タで推定を行いその推定精度を学習正解率とテスト正解率と17，図 20，音楽の図 18，図 21 をそれぞれ比べた．cbow50 モする．

デルとの共通点として分散値が言語，カテゴリの違いに関わら

4. 4 実 験 結 果
表 4 に，日本語と英語それぞれの最も高かったテスト正解率とその時の epoch 数を示す．表 4 から，テスト正解率に大きなず，近い値となった．異なる点は表 5 から中央値の変化量が日本語と英語に大きな差がなかったことと，中央値の開始点と終了点までの間の変化がどちらもそこまで大きく上下しないことがあげられる．

差が出たモデルは cbow50 と sg300 であることが分かった．他のモデルではテスト正解率の差はほとんど見られなかったが，この 2 つのモデルは 6 ポイント以上の差がついた．

5 ま と め次に，横軸を epoch とした，日本語と英語のテスト正解率の本稿では，観点付き感情極性推定のためのニューラルネッ推移を図 4，図 7 に示す．4. 3 節で述べたモデル 6 種類がそれトワークの学習における日本語と英語の言語のそれぞれの特ぞれの色に対応している．図 4, 図 7 を比較すると，日本語の方徴を調べるために，対訳コーパスを用いて学習時の内部パラが早い段階で正解率の上昇が緩やかになることが分かる．また，メータを抽出し，その違いを比較した．日本語と英語をそれぞ

損失関数誤差の変化を日本語は図 5，英語は図 8 に，学習正解れ同じモデルで観点付き感情極性推定をすると，Continuous率の推移を日本語は図 6，英語は図 9 にそれぞれ示す．図 5 とBag-of-Words モデルの 50 次元で事前学習した word2vec を

図 6 を見ると日本語の最も学習が早いモデルでは epoch 数が 8用いた場合と，Skip-gram モデルの 300 次元で事前学習した程度で学習が十分であるのに対し，図 8，図 9 から英語の場合word2vec を用いた場合が正解率に大きな差があった．最も言では同程度に収束するのは epoch 数が 12 程度の時である．テ語の違いによる正解率の差が小さいモデルは Skip-gram モデ

スト正解率，損失関数誤差，学習正解率から日本語は英語に比ルの 100 次元であった．観点付き感情極性推定でのテスト正解べて学習が早く進むことが分かった．この傾向は word vector

率，損失関数誤差，学習正解率をそれぞれ epoch 毎に比較するの次元が大きい場合に顕著に見られた．と，日本語は英語に比べて早く学習が進むことが分かった．ま

表 4 で最大テスト正解率の差が最も大きい cbow50 モデルとた，日本語と英語のテスト正解率に差がある cbow50 モデルと最も小さい sg100 モデルにおいて，日本語と英語それぞれを学差がない sg100 モデルの内部パラメータを比較した結果，共通習した際の wattn の平均値，分散値，中央値の epoch 毎の変の傾向として，パラメータの分散値は言語やカテゴリを問わず，化をカテゴリ別にグラフにした．図 10〜図 21 にそれぞれ示す．

どちらの場合も近い値となることが分かった．またテスト正解

また，表 5 に，cbow50 モデルと sg100 モデルの epoch 間の中率に差がある cbow50 モデルでは中央値の変化は日本語に比べ央値の差の絶対値の和を取り，カテゴリ毎と全カテゴリの総和て英語の場合はなだらかであったのに対し，差がない sg100 モを示す．

デルにはその傾向が見られなかった．

最大テスト正解率の差が最も大きい cbow50 モデルでは，日

今後の課題としては，中央値の変動の原因の分析を検討している．

4：https://dumps.wikimedia.org/backup-index.html

図4

日本語のテスト正解率の epoch 毎の推移

図 7 英語のテスト正解率の epoch 毎の推移

図5

日本語の損失関数誤差の epoch 毎の変化

図 8 英語の損失関数誤差の epoch 毎の変化

図 6 日本語の学習正解率の epoch 毎の推移

図 9 英語の学習正解率の epoch 毎の推移

図 10 日本語の重み変化 (書籍 cbow50)

図 13 英語の重み変化 (書籍 cbow50)

図 11 日本語の重み変化 (DVD cbow50)

図 14 英語の重み変化 (DVD cbow50)

図 12 日本語の重み変化 (音楽 cbow50)

図 15 英語の重み変化 (音楽 cbow50)

図 16 日本語の重み変化 (書籍 sg100)

図 19 英語の重み変化 (書籍 sg100)

図 17 日本語の重み変化 (DVD sg100)

図 20 英語の重み変化 (DVD sg100)

図 18 日本語の重み変化 (音楽 sg100)

図 21 英語の重み変化 (音楽 sg100)

文

献[1] Hirotaka Niitsuma, Ryo Asakura, Manabu Ohta: Simple
Alignment Sentence Classification for Aspect-Based Sentiment Analysis. In: Computational Linguistics and Intelligent Text Processing: Proceedings of the 19th InternationalConference. 2018.
[2] Ryo Asakura, Hirotaka Niitsuma, Manabu Ohta: Recurrent neural networks on convoluted word vectors for aspectbased sentiment analysis. In: Computational Linguistics
and Intelligent Text Processing: Proceedings of the 18thInternational Conference. 2017.
[3] Hirotaka Niitsuma, Daiki Kubota, Manabu Ohta: JapaneseSentiment Analysis Using Simple Alignment Sentence Classification. In: 10th International Conference on Management of Digital EcoSystems (MEDES’18). 2018.
[4] Bing Liu: Sentiment analysis and opinion mining. 2012.
[5] Yoon Kim: Convolutional Neural Networks for Sentence
Classification. arXiv preprint arXiv:1408.5882. 2014.
[6] Yann N. Dauphin, Angela Fan, Michael Auli, David Grangier: Language Modeling with Gated Convolutional Networks. In: Proceedings of the International Conference onMachine Learning. 2017.
[7] Zhiqiang Toh, Jian Su: NLANGP at SemEval-2016 Task 5:Improving Aspect Based Sentiment Analysis using Neural
Network Feature. In: Proceeding of the 10th International
Workshop on Semantic Evalution (SemEval-2016). 2016.
[8] Dzmitry Bahdanau, KyungHyun Cho, Yoshua Bengio: Neural Machine Translation by Jointly Learning to Align andTranslate. arXiv preprint arXiv: 1409.0473. 2016.
[9] Toshihiko Yanase, Kihsuke Yanai, Misa Sato, Toshinori
Miyoshi, Yoshiki Niwa: Aspect-based Sentient Analysis byusing Neural Attention Model. In: The 30th Annual Conference of the Japanese Society for Artificial Intelligence.
2016.
[10] Alejandro Moero, Andrea Esuli, Fabrizio Sebastiani: Revisiting Distributional Correspondence Indexing: A Python
Reimplementation And New Experiments. Journal of Artificial Intelligence Research 55: 131-163. 2015[11] Diederik P. Kingma, Jimmy Ba: Adam: A Method for
Stochastic Optimization. arXiv preprint arXiv: 1412.6980.
2014.