デレステのセリフからタイプを自動で判定する

　　　
みなさんはデレステというゲームをご存知ですか。私はよく知りませんが、今回はこのゲームに登場するキャラクター(アイドル)のタイプを分類するというタスクを扱いたいと思います。なお、この記事で利用したコードの全体は
https://github.com/yotapoon/deresute/tree/master
に掲載しています。また「ゼロから始めるディープラーニング2」のモジュールをいくつか利用しています。以下のURLのch04とcommonというディレクトリをインポートすれば動くはずです。
https://github.com/oreilly-japan/deep-learning-from-scratch-2
ただ具体的な実装を示した文書分類の良い記事がすでにたくさんあるため、そこは上述のコードを参考にしてもらうことにしてここでは詳しく説明しません。今回は解析結果や考察にフォーカスすることとします。

# 0 概要
今回の記事の概要を述べます。
## 0.1 デレステとは
アイドルマスターシンデレラガールズ スターライトステージ(以下デレステ)には、アイドルとしてたくさんのキャラクターが登場します。それぞれのキャラクターは各々の性格を反映して<font color="DeepPink">キュート</font>・<font color="Blue">クール</font>・<font color="DarkOrange">パッション</font>のいずれかのタイプを有しています。
参考までに、何人かのキャラクターとそのセリフを示します。

<font color="DeepPink">島村卯月(キュート)</font>
「はじめまして、○○プロデューサーさん！ 島村卯月、17歳です。私、精一杯頑張りますから、一緒に夢叶えましょうね♪よろしくお願いしますっ！」
<font color="Blue">渋谷凛(クール)</font>
「ふーん、アンタが私のプロデューサー？……まあ、悪くないかな…。私は渋谷凛。今日からよろしくね」
<font color="DarkOrange">本田未央(パッション)</font>
「本田未央15歳。高校一年生ですっ！ 元気に明るく、トップアイドル目指して頑張りまーっす！ えへへ。今日からよろしくお願いしまーす♪」

確かにタイプが表す傾向が、セリフに現れていることがわかります。

## 0.2 目的
この記事では、あるアイドルのセリフ(特にアイドルコメント)から、そのアイドルのタイプを正しく判定することを目標とします。またその中で、
&#9312;自然言語処理の手法について学び、&#9313;デレステへの理解を深める
ことが本記事の目的です。

## 0.3 結果
まずは今回扱った手法とその結果を簡単に示します。

- 手作業による特徴量抽出：それほどの精度は出なかった(50%以下)
- word2vec+SVM：訓練データ・テストデータともに60%程度の精度が出た。
- LSTM：過学習が生じやすく、50%程度の精度しか出なかった。

とくにword2vec+SVMにおいては、人間による分類と同じような間違い方をしているということが特徴的でした。ちなみに、デレステを知らない方三名に50問を解いてもらったところ、その精度は42%,54%,54%でした。ここからword2ec+SVMによる手法はかなり良く訓練できていることがわかります。
以下ではどのような手法を利用したかをより詳細に説明します。

# 1 データの収集
さきほどのような、キャラクターのタイプとセリフのデータを集めます。データは以下のサイトを利用させてもらいました。
https://seesaawiki.jp/imascg

## 1.1 データの詳細
前述したアイドルコメントは、同一人物であっても特訓前後で変わります。また、イベント等で手に入る二つ名付き(?)のアイドルに関しても、アイドルコメントは変化します。わかりづらいと思うので、一例を示します。
<font color="DeepPink">双葉杏(キュート)</font>
「い、いやだっ！ 私は働かないぞっ！ アイドルだろうとなんだろうと…お断りだーっ！！ ……え？ アイドルになれば印税で一生楽に生きていける？ ほ、本当？ …は、話を聞かせてもらおうじゃないか」
<font color="DeepPink">双葉杏+(キュート)</font>
「最近、プロデューサー頑張りすぎじゃない？ 私、なんだか心配だよ。杏のことは気にしなくていいから、今週は仕事をお休みにしよう？ うんうん、それがいいと思うよ」
<font color="DeepPink">［ぐうたら王国］双葉杏(キュート)</font>
「は～、じゃすとふぃ～っと♪いいよ～、この椅子。最高すぎて、もはや玉座。杏、もっとダメにされちゃう…
極楽じゃ、余は働きとうない。王国のことは、全部○○プロデューサーに任せるね～」
<font color="DeepPink">［ぐうたら王国］双葉杏+(キュート)</font>
「我が王国民よ、怠けてるか～？はい、けっこーけっこー。えらいみんなには、ご褒美のキャンディシャワーだ！
へへ、杏もひとつ…ん、あま～♪そんじゃ、我々の団結を示す一曲、ダラっといってみよ～！」

「+」がついているのが特訓後のセリフになります。
今回はこれらのセリフをすべて区別して扱うこととしました。また、名前の情報は分離させ、純粋にセリフだけから判定できるかどうかを試します。このようにして得られたセリフの総数は2857個であり、それなりのデータ数は集まりました。

## 1.2 スクレイピング
pythonで、上記のサイトから必要なデータを抽出するコードを書きました。しかしスクレイピングのコードを載せるのはアレなので、アイドルコメントとアイドル名をそれぞれ抽出したテキストファイルをgithubに掲載しています。

# 2 手作業での特徴量選択による方法
まずはデータの確認をしつつ、手作業により特徴量を抽出し、分類を行います。
## 2.1 データの確認
各タイプに関して出現頻度のトップ5の単語を確認すると、以下のようになりました。

|	<font color="DeepPink">キュート</font>	|		|		|	<font color="Blue">クール</font>	|		|		|	<font color="DarkOrange">パッション</font>	|		|
|	:-:	|	:-:	|	:-:	|	:-:	|	:-:	|	:-:	|	:-:	|	:-:	|
|	単語	|	頻度	|		|	単語	|	頻度	|		|	単語	|	頻度	|
|	、	|	2810	|		|	…	|	2781	|		|	、	|	2704	|
|	！	|	1506	|		|	、	|	2688	|		|	！	|	2386	|
|	…	|	1466	|		|	。	|	1785	|		|	の	|	1370	|
|	て	|	1339	|		|	の	|	1416	|		|	て	|	1237	|
|	の	|	1301	|		|	て	|	1392	|		|	に	|	1108	|

このデータから、各タイプごとに特徴的な単語の選択が見て取れます。<font color="Blue">クールタイプ</font>は「…」の使用頻度が他と比べて圧倒的に高いです。<font color="DarkOrange">パッションタイプ</font>は「！」がよく使われています。また<font color="DeepPink">キュートタイプ</font>はそれらのハイブリッドのような形になっています。なお、より良く見てみると「♪」という記号が<font color="DeepPink">キュートタイプ</font>には特徴的に表れていることもわかりました。これらの結果は何となくイメージできることではありますが、データとして現れると面白いです。
## 2.2 特徴量選択
先ほどの結果から、最も素朴な実装として「…」「！」「♪」という記号のセリフ中の出現頻度を特徴量として取り入れることを考えます。具体的には、あるセリフが$N$個の単語$w_1,\cdots,w_N$で構成されているとしたとき、特徴量とする単語$\bar{w}$の密度

$$
\rho(\bar{w}) = \dfrac{1}{N} \sum_{i=1}^N \delta_{w_i, \bar{w}}
$$

というものを導入し、これを特徴量とします。これにより、各セリフは$3$次元のベクトルに変換されることとなります。その実装については非常に単純なのでここでは省略します。

## 2.3 実際の分類
先ほどの特徴量に変換したセリフたちを分類していくことにします。今回はSVMを工夫せず適用することにします。全セリフの80%を訓練データに、残り20%をテストデータに使用しました。

```python

from sklearn.svm import SVC
model = SVC(kernel = "linear")
model.fit(train_x,train_y)
accuracy = model.score(train_x,train_y)
print("train:accuracy {0:.2%}".format(accuracy))
accuracy = model.score(test_x,test_y)
print('test:accuracy {0:.2%}'.format(accuracy))
```
結果は以下のように、チャンスレート(33%)よりは高い正答率を出していますが、まだまだ不十分です。以降では特徴量の次元を増やすためにword2vecを利用し、実際に精度が向上することをみます。

```
train:accuracy 45.91%
test:accuracy 44.93%
```

# 3 word2vecによる手法
先ほどの手法では特徴量は「…」「！」「♪」の三次元であり、複雑な分類ができないことは容易に想像できます。そこで特徴量の次元を増やすことを考えたいですが、単純に単語数を増やしてもうまくいかないでしょう。ここではword2vecによって単語の分散表現を獲得し、それをもとに分類するという手法を取ることにします。

## 3.1 分散表現とは
先ほどは非常に単純な手法により、それぞれの単語を$3$次元ベクトルに変換したのでした。しかしこれではあまりに表現力が低いため、さらに高次元のベクトルに変換したいというのは自然な発想です。そこで利用できるのは単語の分散表現です。
単語の分散表現とは、コーパスと呼ばれる長い文章をもとに訓練を行うことで、単語を高次元(たとえば$100$次元など)のベクトルにより表現するというものです。この分散表現を得るために、word2vecによる学習がよく行われます。

## 3.2 word2vecとは
word2vecと"word to vector"のことであり単語をベクトルに変換する手法です。
話は変わりますが、以下のようなタスクを解くことを考えましょう：
コーパスと呼ばれる長い文章中から$T=s_1+s_2+1$個の連続する単語$w_{t-s_1},\cdots, w_{t},\cdots, w_{t+s_2}$を取り出します。$s_1$と$s_2$は適当に選びます($s_1 = s_2 = 5$など)。このとき単語$w_t$を除いた$w_{t-s_1},\cdots, w_{t-1},w_{t+1},w_{t+s_2}$を利用して$w_t$を予測するタスクを行います。入力は$w_{t-s_1},\cdots,w_{t-1},w_{t+1},\cdots,w_{t+s_2}$のような複数の単語(を単語idに直した数字たち)であり、ターゲットは$w_t$です。入力を行列$W$によって隠れ状態のベクトル($H=100$次元など)に変換し、さらに行列$W'$を掛けることにより、単語を出力させます。
このタスクを行わせることにより、最適化された重み$W$が求まります。この重み行列$W$の第$i$列が、単語idが$i$の単語を$H$次元に変換したベクトルになります。なぜこの方法がうまくいくのかなどについて、より詳しい説明が以下のURLにあります。なお、ここで説明したものはword2vecのうちCBoW (Continuous Bags-of-Words)と呼ばれるものにあたります。
http://tkengo.github.io/blog/2016/05/09/understand-how-to-learn-word2vec/

## 3.3 word2vec+SVM
話をデレステに戻します。
word2vecを利用して得られた分散表現を用いて、セリフ中に現れる単語を高次元のベクトルに変換することができるようになりました。ここではセリフ全体を分類したいので、セリフを表現するベクトルとしてセリフを構成するベクトルの相加平均を用いることにします。つまりあるセリフが$\vec{w_0},\cdots, \vec{w_{T-1}}$という単語(のベクトル)で構成されているとき、セリフを表すベクトル$\vec{s}$は

$$
\vec{s} = \dfrac{1}{T} \sum_t \vec{w_t}
$$
であるものとします。これは自然な定義に思えますが、もう少し工夫の余地もあるかもしれません。
セリフをベクトルに変換できたので、先ほどと同様にSVMにより学習させます。

```python
from sklearn.svm import SVC
model = SVC(kernel = "linear")
model.fit(train_x,train_y)
accuracy = model.score(train_x,train_y)
print("train:accuracy {0:.2%}".format(accuracy))
accuracy = model.score(test_x,test_y)
print('test:accuracy {0:.2%}'.format(accuracy))
```
このときの正答率は訓練データ・テストデータともに60%程度となり、かなりの高精度で分類ができることがわかりました。少なくともデレステを知らない人よりはうまく分類できるようになっています。

```
train:accuracy 60.00%
test:accuracy 59.79%
```

## 3.4 word2vec+SVM v.s. LSTM
word2vecによる手法では、セリフの時系列の情報が完全に落ちてしまいます。この情報を活かすことでより精度を改善できるのではないかと思い、LSTM (Long Short-Term Memory)を実装しました。しかし、LSTMでは容易に過学習が生じてしまい、訓練データについては70%程度の精度が出た一方、テストデータについては50%にとどまりました(ただしハイパラ調整なし)。
この原因としては、LSTMには単語idをそのまま渡してしまっているがために、ある単語に過敏に反応しているという可能性が考えられます。例えば、「杏」という単語は<font color="DeepPink">双葉杏(キュート)</font>しか使わないと想像されるので、そのような単語に集中して学習すれば訓練データに対しての精度はかなり上昇するでしょう。
一方、word2vecでは単語ベクトルの相加平均をとっているため、そのような過敏な反応は生じないことが期待されます。これがword2vecでは過学習が生じなかった原因と考えられます。

# 5 デレステへの深い理解に向けて
word2vec+SVMによる結果をもとに、デレステのタイプ分類について考察します。


## 5.2 タイプ間の相関に対する解析
機械の分類の「クセ」をつかみたいとすれば、どのタイプをどのタイプだと間違えたのかということが気になります。これを定量的に評価するものとして混同行列というものがあります。これは行が「本当のタイプ」、列が「機械が予測したタイプ」を表しており、各成分はその割合を表しています。実際に見てみる方が早いでしょう。


|		|	<font color="DeepPink">キュート</font>	|	<font color="Blue">クール</font>	|	<font color="DarkOrange">パッション</font>	|
|	:-:	|	:-:	|	:-:	|	:-:	|
|	<font color="DeepPink">キュート</font>	|	0.510	|	0.284	|	0.206	|
|	<font color="Blue">クール</font>	|	0.171	|	0.711	|	0.118	|
|	<font color="DarkOrange">パッション</font>	|	0.267	|	0.157	|	0.576	|

ここから以下のような傾向が読み取れます：

- <font color="DeepPink">キュートタイプ</font>に対する正答率は51.0%であり、少し苦手としている。<font color="Blue">クール</font>に誤って割り当てられるセリフが少し多い。
- <font color="Blue">クールタイプ</font>に対しては71.1%の正答率があり、非常によい成績である。特に<font color="DarkOrange">パッション</font>と割り当ててしまうミスはかなり少ない。
- <font color="DarkOrange">パッションタイプ</font>に関しては57.6%の正答率であり、まずまずの精度。<font color="Blue">クール</font>に割り当ててしまうことは少ないが、<font color="DeepPink">キュート</font>に割り当てることはしばしばある。
- 全体的な傾向として、<font color="DarkOrange">パッション</font>と<font color="Blue">クール</font>が対照的であると認識しているように見える。<font color="DeepPink">キュート</font>はそれらのハイブリッドのようになっている。


なお、前述した人間によるテストにおいても同じような傾向が見られたことに注意します。つまり、非常に簡単なセットアップであるものの、人間の感性を非常によく模倣した分類器を作ることが出来ました。

## 5.3 具体的なセリフの解析
先ほどの傾向を具体的なセリフを観察しつつ確認します。

true: <font color="DeepPink">cute</font> pred: <font color="Blue">cool</font>
 name: <font color="DeepPink">［冬のメロディー］緒方智絵里</font> 
 serif: ○○さん、冬ってお好きですか？ …私、あんまり、好きじゃなかったんです。街が…暗い色になっちゃうし…寒さで、寂しくなるから…。でも、今は、ちょっとだけ好き、かも…ほら、雪…

~~この可愛さで<font color="Blue">クール</font>は無理でしょ。~~初めこの結果を見たときにはブチギレそうになりましたが、セリフをよく見ると仕方ないようにも思えます。例えば<font color="Blue">［小さなドキドキ］佐城雪美+</font>を見てみましょう。

true: <font color="Blue">cool</font> pred: <font color="Blue">cool</font> 
 name: <font color="Blue">［小さなドキドキ］佐城雪美+</font> 
 serif: ドキドキ……みんな…見てる……。こんな…お洋服……着たこと…ない……。………すごく…恥ずかしい……。けど……少し…ペロみたい……？ふふっ……ちょっとだけ…うれしい……かも……

確かに(デレステについて多少知識があろうとも)このセリフを区別するのは難しいかもしれません。他にも人間と非常に似た間違いをしている様子が確認でき、かなり人間らしい振る舞いをしているところが面白いです。

# 6 結論
結論としては、word2vec+SVMによる手法では60%程度の精度を達成することができました。これは人間と同程度、あるいは人間を上回る性能です。またLSTMによる手法では改善が出来なかったことから、時系列の情報はそれほど重要ではないのかもしれないと考えられます。特筆すべきこととして、機械の分類の「クセ」に、人間と同じような傾向が見受けられたことがあります。このタスクを通じて、デレステに対する理解が深まりました。