R+RMeCabで感情分析






## 感情分析

テキスト分析の1つに、単語の感情表現がポジティブなのかネガティグなのかを判定する方法がある。テキスト中に出現する単語の感情特性を調べることで、テキスト全体がポジティブな内容を表現しているのか、ネガティグな内容なのかを判定することが可能かもしれない(単純に考えれば)。

こうした分析を Sentiment Analysyis(感情分析)という。

本稿では R 上で日本語テキストの感情分析を行なう方法を解説する。
ここでは歴代首相の所信表明演説をデータとして分析を試行するが、何らかの結論を導くことではなく、Rで感情分析を実行する上で想定される様々な操作を紹介するのが目的である。


感情分析のためには、単語ごとに感情特性値を割り当てた表が必要となるが、いくつかの辞書が公開されている。これらの辞書では、単語ごとに感性評価をプラスないしマイナス、あるいは正負いずれかの数値を対応させていることが多い。そこで、文章中に出現した単語の感性評価値を集計することで、そのテキストの内容が肯定的なのか否定的なのかを知るヒントになる。

ただし、たとえば「面白くない」という単語は「面白い」と「ない」に分解されるが、このフレーズ全体はマイナスな評価になる。ところが、単純にこのフレーズを評価すると「面白い」と「ない」のそれぞれ別々に完成評価の値を与えてしまう。例えば以下で利用する辞書では、それぞれの完成評価値は以下のようになっている。


```
> dic %>% filter(V1 %in% c("面白い") )
      V1         V2     V3       V4
1 面白い おもしろい 形容詞 0.989199
> dic %>% filter(V1 %in% c("ない") )
    V1   V2     V3        V4
1 ない ない 形容詞 -0.999882
2 ない ない 助動詞 -0.999997
```

「面白くない」の評価として、それぞれの値を合算すると相殺されて、ほぼ 0 となってしまう。このように、正しくテキストを評価しようとすると文脈や係り受けを考慮することが必須である。この点を強調した上で、以下、形態素解析の結果と、感性評価辞書との照合する方法を紹介しよう。



## 辞書の読み込み

まず感情表現を定義した辞書をダウンロードしてRに読み込む。


ここでは東京工業大学の高村研究室で公開されている [PN Table](http://www.lr.pi.titech.ac.jp/~takamura/pndic_ja.html) を利用させてもらう。


公開されている辞書はいわゆる Shift-Jis でエンコードされているのだが、ここでは筆者の環境(Linux)での文字コードである UTF-8 に変換する。なお `fileEncoding = "CP932"` はファイルの文字コード指定だが、後の処理のためにエンコードを明示的に `encoding = "UTF-8"`と指定している(後者の指定は不要だと思うが *dplyr* がエラーを起こすことがある)。


```{r}
dic <- read.table("http://www.lr.pi.titech.ac.jp/~takamura/pubs/pn_ja.dic", 
   sep = ":", stringsAsFactors = FALSE, 
   fileEncoding = "CP932", encoding = "UTF-8")
```

辞書の冒頭部分を示す。

```
 head(dic)
#        V1       V2     V3       V4
#1   優れる すぐれる   動詞 1.000000
#2     良い     よい 形容詞 0.999995
#3     喜ぶ よろこぶ   動詞 0.999979
#4   褒める   ほめる   動詞 0.999979
#5 めでたい めでたい 形容詞 0.999645
#6     賢い かしこい 形容詞 0.999486
```


ここで必要なのは単語名と感情特性値だけなので 2 列だけを抽出したオブジェクトをあらたに  `dic2` として用意する。さらに単語列については後で単語・文書行列と照合する都合上、後者にあわせて列名を `TERM` と変更する。

```{r}
library(dplyr)
library(magrittr)
dic2 <- dic %>% select(V1, V4) %>% rename(TERM = V1)
dic2 %<>% distinct(TERM, .keep_all = TRUE)
```

ただし、実は感情特性値辞書では読み仮名が重要な意味を持つのだが、ここでは簡単のため重複する行は削除している。以下のように複数の特性値が与えられている場合、行の順番で上にある特性値が使われる。もとの辞書で確認してみよう。

```
dic %>% filter(V1 == "海")
#  V1   V2   V3        V4
#1 海 うみ 名詞 -0.337843
#2 海 かい 名詞 -0.958041
```


## 対象テキスト

戦後の総理大臣の所信表明演説で使用された単語それぞれの感情特性値を求めてみよう。

GitHub 上に [yuukimiyo氏](https://github.com/yuukimiyo/GeneralPolicySpeechOfPrimeMinisterOfJapan) が、過去の総理大臣所信表明演説データをまとめて公開されているので利用させてもらう。

ダウンロードしたファイル群がカレントディレクトリ以下の `data/prime/utf8` フォルダにまとめられているとする。


*RMeCab* で単語・文書行列を生成する。この辺りは[Rによるテキストマイニング入門](https://www.amazon.co.jp/dp/4627848420?tag=motohiro-22&camp=243&creative=1615&linkCode=as1&creativeASIN=4627848420&adid=0V0QZEH10YEC1N66GQFN&)を参照してください。ここでは抽出する単語を名詞と動詞に限定し、さらに品詞細分類が"数", "サ変接続","接尾","非自立" と判定されている単語はすべて削除した。

なおデフォルトの列名はテキストファイル名になっているので、これも切り詰めて短かくする。




```{r}
library(RMeCab)
## ここでは名詞と形容詞に限定して抽出する
prime <- docDF("data/prime/utf8/",pos = c("名詞","形容詞"),type = 1)
## 品詞細分類によるフィルタリング
prime %<>% filter(!POS2 %in% c("数", "サ変接続","接尾","非自立"))
## 列名は短縮化
library(stringr)
colnames(prime)  %<>% str_replace("_general-policy-speech.txt", "")
colnames(prime)  %<>% str_replace("(\\d{4})\\d{4}_(\\d{3})", "\\1_\\2")
#####  dplyr 0.7以降ならば以下でも
## prime %<>% rename_at(vars(matches("_general-policy-speech.txt")), funs(str_replace(., "_general-policy-speech.txt", "")))
## prime %<>% rename_at(vars(matches("\\d{4}\\d{4}_\\d{3}")), funs(str_replace(., "(\\d{4})\\d{4}_(\\d{3})", "\\1_\\2")))
```

## 単語・文書行列と感情特性辞書の照合

単語・文書行列である `prime` の単語列(`TERM`) を、辞書 (`dic`) の同名の列と照合し、特性値を新規列として追加する。辞書に存在しない単語は特性値が `NA` になる。

```{r}
## 辞書との照合
prime2 <- prime %>% left_join(dic2)
```

もっともネガティブな単語と、もっともポジティブな単語を確認してみる。


```
prime2 %>% select(TERM, V4) %>% arrange(V4) %>% head(10)
#       TERM        V4
#1      悪い -1.000000
#2      ない -0.999882
#3    苦しい -0.999788
#4      寒い -0.999383
#5  下らない -0.999355
#6      狭い -0.999342
#7    険しい -0.999327
#8    悲しみ -0.999241
#9    悲しい -0.999102
#10     弊害 -0.998975
#
prime2 %>% select(TERM, V4) %>% arrange(desc(V4)) %>%
     head(10)
#     TERM       V4
#1    良い 0.999995
#2    功績 0.999104
#3      賞 0.998943
#4  嬉しい 0.998871
#5    喜び 0.998861
#6      徳 0.998745
#7    才能 0.998699
#8    適切 0.998406
#9    適切 0.998406
#10   幸い 0.997862
```

ポジティブな単語とネガティブな単語の割合を確認してみよう。

```
prime2 %>% summarize( sum (V4 > 0, na.rm = T))
#  sum(V4 > 0, na.rm = T)
#1                    366
prime2 %>% summarize( sum (V4 < 0, na.rm = T))
#  sum(V4 < 0, na.rm = T)
#1                   2585
```

ネガティブな単語の数が圧倒的に多い。ここでの試行は文脈を一切考慮していないのだが、あるいは総理大臣の所信表明演説というのは、危機や課題を煽るという側面があるのかもしれない。

なお抽出された単語のうち2000語程度には特性値が割り当てられてない(つまり `NA` となっている)。


## 特性値がもっとも低い演説と、高い演説

所信表明演説ごとに単語の出現回数の合計にその特性値を乗じ、その値がもっとも低い(つまりネガティブな)所信表明と、高い(つまりポジティブな)演説を確認してみる。

```{r}
## 各行(単語)の出現頻度にその特性値を乗じてしまう
prime2 %<>% mutate_at(vars(matches("\\d{4}_")), funs (. * V4))
```

出力を以下に示すが、もっともネガティブと評価されたのは、民主党(当時)の鳩山由紀夫氏の演説で、もっとも(というか比較的)ポジティブなのは岸信介氏の演説であった。

```
## 列(演説)ごとに特性値の合計を求めた、その最小値(最もネガティグ)
## 最小値(最もネガティブ)
prime2 %>% summarize_at(vars(matches("\\d{4}_")), 
    sum, na.rm = T) %>% {
     score <- min(.)
     file  <- which.min(.)
     c(score, file)
 }
#                         2009_173_hatoyama-yukio 
#              -567.2011                 74.0000 

## 最大値(最もポジティブ)
prime2 %>% summarize_at(vars(matches("\\d{4}_")), 
    sum, na.rm = T) %>% {
     score <- max(.)
     file  <- which.max(.)
     c(score, file)
 }
#                           19570227_26_kishi-nobusuke 
#                 -33.8733                    5.00000 

``` 

文脈を無視した単純な集計であるが、それぞれの演説のスコアを少しだけ確認してみる。まずは岸元首相である。

```
prime2 %>% select(TERM, scores = matches("19570227_26_kishi-nobusuke")) %>% 
  arrange(scores) %>% head(20)
#   TERM    scores
#1  政治 -3.391612
#2  国民 -3.377144
#3  内閣 -2.507480
#4  責任 -1.754946
#5  石橋 -1.706068
#6  世界 -1.571984
#7  国会 -1.362568
#8  経済 -1.346894
#9  方針 -1.197560
#10 民族 -1.146350
#11 国際 -1.100146
#12 重い -0.934531
#13 結果 -0.905837
#14 国家 -0.782736
#15 主義 -0.765714
#16 歴史 -0.741408
#17 政府 -0.719487
#18 予算 -0.709204
#19 段階 -0.702633
#20 思い -0.678658
```

岸氏の演説ではポジティブな単語は9種類しか出現していない。


```
prime2 %>% select(TERM, scores = matches("19570227_26_kishi-nobusuke")) %>%
  filter (scores> 0) %>% arrange(scores) %>%
   head(20)
#    TERM     scores
#1     今 0.00530685
#2   当時 0.01510930
#3   機運 0.11110200
#4   青年 0.13756300
#5   平和 0.34187600
#6   信念 0.98295800
#7   全力 0.98616200
#8 正しい 0.99383600
#9   福祉 0.99521700
```

というか岸氏の演説はそもそも演説じたいが非常に短かい。最初の形態素解析の結果 (`prime`) で語数を確認してみよう(ただし、ここでは名詞と形容詞だけを抽出しているのだが)。

```
prime %>% select(TERM, scores = matches("19570227_26_kishi-nobusuke")) %>%
   filter (scores > 0) %>% count
# A tibble: 1 x 1
#      n
#  <int>
#1    77
## 参考までに鳩山由紀夫氏での名詞と形容詞の数を示す
prime %>% select(TERM, scores = matches("2009_173_hatoyama")) %>%
    filter(scores > 0) %>% count
# A tibble: 1 x 1
#      n
#  <int>
#1   694 
```


続いて鳩山首相である。まず否定的な単語を20語を確認してみる。


```
prime2 %>% select(TERM, scores = matches("2009_173_hatoyama")) %>% 
  filter(scores < 0) %>% arrange(scores) %>% 
    head(20) 
#   TERM     scores
#1  政治 -33.916120
#2  地域 -27.482506
#3  国民 -21.529293
#4  経済 -20.203410
#5  社会 -18.145908
#6  世界 -13.361864
#7    国 -11.165280
#8  問題 -10.034570
#9  ない  -9.998820
#10 全体  -9.620200
#11 制度  -7.611098
#12 必要  -7.393992
#13 医療  -6.965388
#14 行政  -6.355104
#15   日  -6.325011
#16 国家  -6.261888
#17 重要  -6.040170
#18 子供  -5.893128
#19 事業  -5.650000
#20   核  -5.550820
```

どうも政治がらみの単語はマイナスの評価になるようだが、感性辞書で確認してみると次のようになっている。

```
dic %>% filter(V1 %in% c("政治","国民","国") )
#    V1       V2   V3        V4
#1 国民 くにたみ 名詞 -0.422143
#2   国     くに 名詞 -0.558264
#3   国     こく 名詞 -0.612145
#4 国民 こくみん 名詞 -0.616755
#5 政治   せいじ 名詞 -0.847903
```

鳩山由紀夫元首相は演説において最初から最後まで「国民の皆さま」というフレーズを多用しているが、本稿ではこれらの値を単純に合計しているため、マイナスの値が大きくなっていることがわかる。

続いて、鳩山演説におけるポジティブな単語を確認しよう。


```
prime2 %>% select(TERM, scores = matches("2009_173_hatoyama")) %>% 
  filter(scores > 0) %>% arrange(scores) %>%
   tail(20)
#       TERM    scores
#35 チャンス  0.977160
#36     強力  0.977674
#37     誇り  0.978966
#38 生易しい  0.980027
#39     利便  0.981406
#40     奨学  0.982610
#41     友好  0.984706
#42     若者  0.986356
#43   優しい  0.987973
#44   正しい  0.993836
#45     福祉  0.995217
#46     早い  1.879402
#47       愛  1.968540
#48     公平  1.979672
#49     喜び  1.997722
#50     価値  2.691330
#51       絆  3.585984
#52     全力  3.9
```

実は、鳩山氏の所信表明演説ではポジティブな言葉も多用されているのであった。ちなみに鳩山演説でポジティブな単語の数は 55 個出現していた。以下、やや冗長だが、すべて確認してみよう。

```
prime2 %>% select(TERM, scores = matches("2009_173_hatoyama")) %>%
 filter(scores > 0) %>% count()
# A tibble: 1 x 1
#      n
#  <int>
#1    54
prime2 %>% select(TERM, scores = matches("2009_173_hatoyama")) %>% 
    filter(scores > 0) 
#       TERM      scores
#1  チャンス  0.97716000
#2      不信  0.03600030
#3    不退転  0.56207200
#4      主役  0.96655100
#5      人材  3.98819600
#6        今  0.04245480
#7      今日  0.26450000
#8      価値  2.69133000
#9      保健  0.34925500
#10   優しい  0.98797300
#11     先般  0.00253267
#12     全力  3.94464800
#13     公平  1.97967200
#14       利  0.93575400
#15     利便  0.98140600
#16     効果  0.93820500
#17     勇気  0.44665600
#18     友好  0.98470600
#19     友愛  0.22215090
#20     喜び  1.99772200
#21     国境  0.01841160
#22   奥深い  0.96639700
#23     奨学  0.98261000
#24     実効  0.07672280
#25     尊厳  0.38152000
#26     平和  0.85469000
#27     強力  0.97767400
#28       志  0.06754340
#29     急務  0.33508800
#30     意欲  0.96544800
#31 意気込み  0.20333100
#32       愛  1.96854000
#33     懸案  0.08140020
#34   新しい 12.42589600
#35     早い  1.87940200
#36     景気  0.88891000
#37     有名  0.81253000
#38   正しい  0.99383600
#39     正確  0.97461000
#40     民需  0.00406311
#41     活力  0.71996700
#42     無料  0.11757300
#43     無血  0.04974880
#44 生易しい  0.98002700
#45     真剣  0.00522682
#46     福祉  0.99521700
#47     究極  0.97567800
#48       絆  3.58598400
#49     維新  0.17313140
#50     自明  0.14774200
#51     若者  0.98635600
#52     衛生  0.96903800
#53     誇り  0.97896600
#54     高齢  0.10394820
```

ちなみに歴代の総理大臣所信表明演説中に出現したポジティブな単語数をカウントしてみる。トップ30を以下に示す。


```
 prime2 %>% select(matches("\\d{4}")) %>% 
   gather(key = WORK, value=V4) %>% 
   group_by (WORK) %>% filter (V4 > 0)  %>% 
    count() %>% arrange(desc(n)) %>% print(n=30)
# A tibble: 82 x 2
# Groups:   WORK [82]
#                          WORK     n
#                        <chr> <int>
# 1       2000_150_mori-yoshiro    58
# 2     2009_173_hatoyama-yukio    54
# 3         2006_165_abe-shinzo    49
# 4  1986_107_nakasone-yasuhiro    48
# 5  1994_130_murayama-tomiichi    48
# 6          2010_174_kan-naoto    48
# 7       2000_149_mori-yoshiro    46
# 8    19631018_44_ikeda-hayato    45
# 9  1983_100_nakasone-yasuhiro    45
#10 2004_161_koizumi-jyunichiro    44
#11         1989_114_uno-sosuke    43
#12      1990_119_kaifu-toshiki    43
#13  1995_134_murayama-tomiichi    43
#14       1998_143_obuchi-keizo    43
#15       1994_129_hata-tsutomu    42
#16  1996_139_hashimoto-ryutaro    42
#17  1985_103_nakasone-yasuhiro    39
#18  1993_127_hosokawa-morihiro    39
#19  1994_131_murayama-tomiichi    39
#20  1997_141_hashimoto-ryutaro    39
#21     19661215_53_sato-eisaku    38
#22  1993_128_hosokawa-morihiro    38
#23       2007_168_fukuda-yasuo    38
#24     2012_181_noda-yoshihiko    38
#25     19651013_50_sato-eisaku    37
#26      1991_121_kaifu-toshiki    37
#27          2010_176_kan-naoto    37
#28     2011_178_noda-yoshihiko    37
#29     19650730_49_sato-eisaku    36
#30    19801003_93_suzuki-zenko    36
# ... with 52 more rows
> 
```


森喜朗元首相の演説にポジティブな単語が多く出現しているらしい。意外なのか、成る程なのか。。。

それぞれの演説で感情特性が判定された語のうちの、ポジティブな単語の割合を割合を求めてみる。


```
```{r}
## ポジティブな単語数が占める割合
## ２つ一時オブジェクトを生成
## ポジティブな単語数のデータフレームを作成
 prime2 %>% select(matches("\\d{4}")) %>%
   gather(key = WORK, value=V4) %>% group_by (WORK) %>% 
filter (V4 > 0)  %>% count()  -> x
## ネガティブな単語数のデータフレームを生成
prime2 %>% select(matches("\\d{4}")) %>% 
   gather(key = WORK, value=V4) %>% group_by (WORK) %>% 
   filter (V4 < 0)  %>% count()  -> y
## 2 つの_データフレームを結合して割合を求める
x %>% full_join(y, by = "WORK") %>%
   mutate(RATIO = n.x / (n.x + n.y)) %>% 
   arrange(desc(RATIO) )
# A tibble: 82 x 4
# Groups:   WORK [82]
#                          WORK   n.x   n.y     RATIO
#                         <chr> <int> <int>     <dbl>
# 1 19561116_25_hatoyama-ichiro    19    86 0.1809524
# 2     19691201_62_sato-eisaku    33   170 0.1625616
# 3     19661215_53_sato-eisaku    38   196 0.1623932
# 4  19590625_32_kishi-nobusuke    19   101 0.1583333
# 5  19570227_26_kishi-nobusuke     9    49 0.1551724
# 6 19531130_18_yoshida-shigeru    14    77 0.1538462
# 7     19671205_57_sato-eisaku    32   177 0.1531100
# 8     19650730_49_sato-eisaku    36   204 0.1500000
# 9      1990_119_kaifu-toshiki    43   265 0.1396104
#10         1989_114_uno-sosuke    43   267 0.1387097
# ... with 72 more rows
```

＊注＊ちなみにすぐ上の処理では一時オブジェクトを２つ生成したが、これを避けるには以下のようする。

```
 prime2 %>% select(matches("\\d{4}")) %>% gather(key = WORK, value=V4) %>%
   group_by (WORK) %>% {
     x <- filter (., V4 > 0)  %>% count()
     y <- filter (., V4 < 0) %>% count()
    xy <- full_join(x, y, by = "WORK") %>% mutate(RATIO = n.x / (n.x + n.y))  
   } %>%  arrange(desc(RATIO) )
```


## 歴代演説でのポジティブ語とネガティブ語

最後に、歴代もっとも頻出したポジティブ語とネガティブ語をグラフで示す。


```{r}
prime$SUM <- rowSums(prime[, 4:85])
prime %>% left_join(dic2) %>% select(TERM, SUM, V4) %>%  filter(V4 > 0) %>% arrange(desc(SUM)) %>% slice(1:10) -> positive
prime %>% left_join(dic2) %>% select(TERM, SUM, V4) %>%  filter(V4 <0 ) %>% arrange(desc(SUM)) %>% slice(1:10) -> negative

library(ggplot2)

rbind(positive, negative) %>% mutate(TERM = reorder(TERM, SUM) ) %>% ggplot(aes(TERM, SUM, fill = V4 > 0 )) +  geom_bar(stat = "identity") + coord_flip()

```


![ggplot.png](https://qiita-image-store.s3.amazonaws.com/0/99009/33ce77bd-96c6-f761-9e21-1a5c4f8dd98f.png)

## Python での応用

Pythonで実行する方法を StatsBeginner: 初学者の統計学習ノート で解説されている。
[【Python】MeCabと極性辞書を使ったツイートの感情分析入門](http://www.statsbeginner.net/entry/2017/05/07/091435)
こちらも参照すると良いだろう。