ポケモンの外見的特徴から種族値を勾配ブースティングで予測する

**ポケットモンスター(Pocket Monster)**、通称**ポケモン(Pokemon)**、は**株式会社ポケモン(The Pokemon Company)**が発売しているゲームソフト、およびそれらを題材にしたメディアミックス作品群を指します。
ポケモンは、そのキャラクター性、また収集・育成・交換・対戦といった普遍的な価値から国内外問わず人気を博しています。

そんなポケモンの対戦で非常に重要となる要素の一つとして**種族値(Base Stats)**が挙げられます。種族値とは、その名の通り、ポケモンの種族ごとに定まった値を指します。

例えば、ピカチュウの種族値は以下の通りとなります。

| なまえ | 写真 | HP | こうげき | ぼうぎょ | とくこう | とくぼう | すばやさ | 合計 |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| ピカチュウ       | ![25.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/724cc766-3dea-60d3-0f68-0e7fd1973eff.jpeg) | 35 | 55 | 40 | 50 | 50 | 90 | 320 |

これより、ピカチュウは素早さの高い種族だということがわかります。対戦では、この要素が非常に重要となります。

本記事では、ポケモンの外見から種族値を予測するアルゴリズム、またその予測結果を紹介します。

# 動機 -Motivation-
ポケモンの外見から種族値を予測することに何の意味があるのか、と思われる方もいるかもしれません。

確かにあなたがポケモン図鑑を所持しており、既知のポケモンに遭遇した場合、ポケモン図鑑を検索することでそのポケモンの種族値を直ちに知ることができ、おおよその強さを測ることができます。

しかし、あなたの準備が不十分な状態で未知のポケモンに遭遇した場合を想像してみてください。相手の強さがわからない状態で、戦えばいいか、逃げればいいのかもわからないと思います。

そんな時に、相手の外見から相手の種族値を予測することができれば、意思決定のための非常に強力な武器となりますね。

# 種族値回帰問題 -Base Stats Regression Problem-
それでは実際この問題をどのように解いてくいくか、を紹介します。

まず、前提としてポケモンの外見的特徴と種族値には、以下のように何らかの相関があると考えます。

![スライド2.png](https://qiita-image-store.s3.amazonaws.com/0/221139/238f8577-ac45-09b8-08a7-a496306c8ddf.png)

![スライド4.png](https://qiita-image-store.s3.amazonaws.com/0/221139/d229e47b-e148-d817-efcc-d4624ac39479.png)



もちろん上に挙げたものにも例外は存在します。
例えば、ミュウやセレビィなどは図鑑における占有面積は小さいですが、高い種族値合計を持っています。

| なまえ | 写真 | HP | こうげき | ぼうぎょ | とくこう | とくぼう | すばやさ | 合計 |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| ミュウ       | ![151.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/860fd05d-1633-59d1-4fab-8c59057ffdf6.jpeg) | 100 | 100 | 100 | 100 | 100 | 100 | 600 |
| セレビィ       | ![251.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/9a28ce84-acab-8a84-6796-574bdcd48b79.jpeg) | 100 | 100 | 100 | 100 | 100 | 100 | 600 |

しかし、このような占有面積が小さい、かつ高い種族値合計を持つポケモンはほとんどが伝説のポケモンとなっています。

そこで、例外は存在するものの、全体としては上に挙げた画像のような傾向を持っていると仮定します。
これより、特徴を適切に捉えることで、ポケモンの外見から種族値を予測することができます。

![スライド5.png](https://qiita-image-store.s3.amazonaws.com/0/221139/901eddf2-f9e8-497e-9c90-76a909df8d99.png)


# 使用するアルゴリズム -Algorithm-
今回、予測したいパラメータは以下の7種類("HP"、"攻撃"、"防御"、"特攻"、"特防"、"素早さ"、"合計")となります。

予測のおおまかな手順としては次の2ステップとなります。

1. 勾配ブースティングを用いた個別パラメータの予測
2. 合計値を用いた個別パラメータに対する補正

以下では、それぞれの手順についてみていきます。

## 勾配ブースティングを用いた個別パラメータの予測 -Prediction by Gradient Boosting-
まず、はじめにそれぞれのパラメータについて予想を行います。

今回は、機械学習コンペなどでよく用いられる**勾配ブースティング決定木(Gradient Boosting Decision Tree)**を使用します。勾配ブースティング決定木は、MNISTデータに対して、ニューラルネットの最高精度と同等の精度を出したり、また高速な実装xgboostなどで有名な手法です。

[以前の記事](http://hiyoko9t.hatenadiary.jp/entry/2017/12/03/204333)で仕組みを解説しているので、気になる方はどうぞ。（数式が多めです）

ざっくり説明すると、以下の図のように画像に対して質問を繰り返し、成長させた木をさらに直列に繋げることにより、種族値を予測することができます。

![スライド6.png](https://qiita-image-store.s3.amazonaws.com/0/221139/444700f6-2a33-46c5-71fc-961f9a8dc1da.png)



## 合計値を用いた個別パラメータに対する補正 -Correction for Indivisual Parameters by Total Value-
さて、前節で未知のポケモンに対する種族値の予測を行うことができました。しかし、上記のやり方はそれぞれのパラメータに対する予測を独立に行なっているため、以下のようなケースが生じます。

$$
HP + 攻撃 + 防御 + 特攻 + 特防 + 素早さ \neq 合計
$$

そこで、今回は合計値を基準としてそれぞれの予測結果("合計値"を除く)に補正をかけます。例えば、"HP"であれば次のような補正をかけます。

$$
HP' = HP \times \frac{合計}{HP + 攻撃 + 防御 + 特攻 + 特防 + 素早さ\ \ \ \ \ \ \ \ \ \ \ \ \ }
$$

"HP"以外のパラメータにも同様の補正を与え、予測の整合性をとるものとします。これにより、

$$
HP' + 攻撃' + 防御' + 特攻' + 特防' + 素早さ' = \frac{HP + 攻撃 + 防御 + 特攻 + 特防 + 素早さ\ \ \ \ \ \ \ \ \ \ \ \ \ }{HP + 攻撃 + 防御 + 特攻 + 特防 + 素早さ\ \ \ \ \ \ \ \ \ \ \ \ \ } \times 合計 = 合計
$$

となり、それぞれの予測値の和が、予測された合計値に一致します。

```
※合計値で補正する理由
合計値で補正するという点に疑問を持たれた方もいるかもしれません。そもそも合計値も予測値であり、正しさが保証されているものではないのに、なぜその不確かな値を基準とするのか、という疑問はもっともです。

結論としては、合計値が他のパラメータの予測結果に対して、比較的信頼できるであろう、という信念のもと今回の補正を与えています。

理由としては、例えば進化前形態は(図鑑で表示される画像上での)サイズが小さく、進化後形態はサイズが大きいといった傾向があります。多くのポケモンでは、進化前よりも進化後の方が種族値の合計は高くなることが多く、ここに相関があると考えられます。
一方、それぞれのパラメータに関しては、色や形状、サイズといったものに対するばらつきが多く、予測しにくいものとなってます。

ここから、合計値が最も信頼のおけるパラメータだという仮説を立てました。
```

# 学習/予測に用いるデータ -Train/Test Data-
今回用いるデータはこちらからお借りしました。
http://rikapoke.hatenablog.jp/entry/pokemon_datasheet_gne7

各ポケモンの画像は図鑑画像を$100 \times 100$(pix)にリサイズしています。

<img width="500" alt="スクリーンショット 2018-03-23 11.21.49.png" src="https://qiita-image-store.s3.amazonaws.com/0/221139/0d26bdc4-a2f7-e9bb-38f2-e9fc854514a3.png">


上記データには、第1世代から第7世代までのポケモンのデータが含まれていますが、今回はイレギュラーな形態(メガシンカ、ゲンシカイキなど)は除きます。

ここでは、第7世代の主人公になった気分で、第6世代までのポケモンを既知のものと仮定します。

| 種別 | 内容 |
|:-----------:|:------------:|
| 訓練データ       |  第1世代~第6世代(図鑑No.1~721)  |
| 予測データ       |  第7世代(図鑑No.722~802)       |

# 予測結果 -Results-
## 第7世代のポケモンたち -7th Generation Pokemon-
ここでは、第7世代のポケモンの予測結果を見ていきます。

まず、御三家の一つの例から確認していきましょう。
図中で、<font color="Red">赤字</font>は真の種族値よりも超過している分、<font color="Blue">青字</font>は不足している分をあらわします。
すなわち、予測値から()内の値を引くことで、真の値となります。

| なまえ | 写真 | HP <br> (予測) | こうげき <br> (予測) | ぼうぎょ <br> (予測) | とくこう <br> (予測) | とくぼう <br> (予測) | すばやさ <br> (予測) | 合計 <br> (予測) |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| アシマリ       | ![728.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/9e9dd67a-38b4-d53c-11bd-a4736fd02ebe.jpeg) | 68 <br> <font color="Red">(+18)</font> | 66 <br> <font color="Red">(+12)</font> | 72 <br> <font color="Red">(+18)</font> | 63 <br> <font color="Blue">(-3)</font> | 75 <br> <font color="Red">(+19)</font> | 47 <br> <font color="Red">(+7)</font> | 391 <br> <font color="Red">(+71)</font> |
| オシャマリ       | ![729.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/c471c02a-ce3d-ee1d-0df6-398ac7bc1484.jpeg) | 89 <br> <font color="Red">(+29)</font> | 70 <br> <font color="Red">(+1)</font> | 61 <br> <font color="Blue">(-8)</font> | 63 <br> <font color="Blue">(-28)</font> | 73 <br> <font color="Blue">(-8)</font> | 49 <br> <font color="Blue">(-1)</font> | 405 <br> <font color="Blue">(-15)</font> |
| アシレーヌ       | ![730.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/0d3991cd-0369-1eb3-1166-9297564cdf5a.jpeg) | 91 <br> <font color="Red">(+11)</font> | 87 <br> <font color="Red">(+13)</font> | 96 <br> <font color="Red">(+22)</font> | 97 <br> <font color="Blue">(-29)</font> | 104 <br> <font color="Blue">(-12)</font> | 72 <br> <font color="Red">(+12)</font> | 547 <br> <font color="Red">(+17)</font> |

表から、アシマリが強く評価されすぎていますが、進化ごとに種族値の合計が大きくなる、という特徴は割とうまく反映されています。

次に、比較的うまく予測ができている例をいくつか挙げます。

| なまえ | 写真 | HP <br> (予測) | こうげき <br> (予測) | ぼうぎょ <br> (予測) | とくこう <br> (予測) | とくぼう <br> (予測) | すばやさ <br> (予測) | 合計 <br> (予測) |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| オドリドリ       | ![741.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/20f522c8-3bfe-5157-266a-38b846ddeae6.jpeg) | 75 <br> <font color="Red">(0)</font> | 73 <br> <font color="Red">(+3)</font> | 71 <br> <font color="Red">(+1)</font> | 83 <br> <font color="Blue">(-15)</font> | 53 <br> <font color="Blue">(-17)</font> | 94 <br> <font color="Red">(+1)</font> | 449 <br> <font color="Blue">(-27)</font> |
| ヌイコグマ       | ![759.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/ea4fbf3c-7088-436a-93a1-bb7cec88b491.jpeg) | 59 <br> <font color="Blue">(-11)</font> | 62 <br> <font color="Blue">(-13)</font> | 58 <br> <font color="Red">(+8)</font> | 53 <br> <font color="Red">(+8)</font> | 54 <br> <font color="Red">(+4)</font> | 47 <br> <font color="Blue">(-3)</font> | 333 <br> <font color="Blue">(-7)</font> |
| タイプ：ヌル       | ![772.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/cf99edf7-1776-01e1-8daf-6c13025bdc54.jpeg) | 77 <br> <font color="Blue">(-18)</font> | 108 <br> <font color="Red">(+13)</font> | 93 <br> <font color="Blue">(-2)</font> | 82 <br> <font color="Blue">(-13)</font> | 87 <br> <font color="Blue">(-8)</font> | 83 <br> <font color="Red">(+24)</font> | 530 <br> <font color="Blue">(-4)</font> |

表より、各予測値が真の値からおおよそ$-20$~$+20$の間に入る、比較的安定した予測が行えていることがわかります。
オドリドリは、翼があるので期待通りすばやさが高くなっていますね。

次に、比較的大きく予想が外れいている例を挙げます。

| なまえ | 写真 | HP <br> (予測) | こうげき <br> (予測) | ぼうぎょ <br> (予測) | とくこう <br> (予測) | とくぼう <br> (予測) | すばやさ <br> (予測) | 合計 <br> (予測) |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| ドヒドイデ       | ![748.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/e7d13881-c984-bd84-73c2-3cffaa2c3f32.jpeg) | 82 <br> <font color="Red">(+32)</font> | 86 <br> <font color="Red">(+23)</font> | 101 <br> <font color="Blue">(-51)</font> | 78 <br> <font color="Red">(+25)</font> | 78 <br> <font color="Blue">(-64)</font> | 70 <br> <font color="Red">(+35)</font> | 495 <br> <font color="Red">(0)</font> |
| フェローチェ       | ![795.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/b2ab2529-9c9a-c1da-9d50-a2ae01ac04c4.jpeg) | 84 <br> <font color="Red">(+13)</font> | 80 <br> <font color="Blue">(-57)</font> | 85 <br> <font color="Red">(+48)</font> | 90 <br> <font color="Blue">(-47)</font> | 94 <br> <font color="Red">(+57)</font> | 71 <br> <font color="Blue">(-80)</font> | 504 <br> <font color="Blue">(-66)</font> |
| カミツルギ       | ![798.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/d073e4ad-16c9-717e-7b05-ffed26325ec4.jpeg) | 61 <br> <font color="Red">(+2)</font> | 70 <br> <font color="Blue">(-111)</font> | 83 <br> <font color="Blue">(-48)</font> | 81 <br> <font color="Red">(+22)</font> | 64 <br> <font color="Red">(+33)</font> | 93 <br> <font color="Blue">(-16)</font> | 452 <br> <font color="Blue">(-118)</font> |

表より、ドヒドイデは合計値こそぴったり合っているものの、満遍なく予測が外れていることがわかります。
また、フェローチェ、カミツルギのように伝説ポケモンは特殊なパラメータをしていることが多く、全体的に精度はよくありませんでした。

やはり、他のポケモンと大きく違った外見、もしくは種族値をもつポケモンの予測は難しいですね。

## それ以外 - Others-
最後に、ポケモン以外の種族値も見ていきましょう。

まずは、比較的ポケモンに近い外見を持つデジモンを見ていきます。

| なまえ | 写真 | HP <br> (予測) | こうげき <br> (予測) | ぼうぎょ <br> (予測) | とくこう <br> (予測) | とくぼう <br> (予測) | すばやさ <br> (予測) | 合計 <br> (予測) |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| アグモン       | ![808.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/b25d1a4e-656c-0c94-12bc-1ff73a7ddda6.jpeg) | 85 | 91 | 87 | 87 | 85 | 77 | 512|
| ウォーグレイモン       | ![809.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/1ab6146e-a332-312a-ebb0-47880adae7ba.jpeg) | 86 | 107 | 88 | 92 | 81 | 89 | 543|

思ってたより変わらないですね...。
ただひとまず進化前よりは強くなったので一安心です。

次にトレーナーを見ていきます。

| なまえ | 写真 | HP <br> (予測) | こうげき <br> (予測) | ぼうぎょ <br> (予測) | とくこう <br> (予測) | とくぼう <br> (予測) | すばやさ <br> (予測) | 合計 <br> (予測) |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| ライバル       | ![813.jpg](https://qiita-image-store.s3.amazonaws.com/0/221139/0c6276b0-2713-ea28-4a36-e24c5642afb8.jpeg) | 87 | 94 | 86 | 77 | 95 | 69 | 508|
| リーリエ       | ![814.png](https://qiita-image-store.s3.amazonaws.com/0/221139/485fb008-2e1d-b001-6eb1-c6daa9aa6adf.png) | 105 | 123 | 101 | 101 | 87 | 68 | 585|

ライバルよりリーリエの方が強いんですね。
リーリエが物理で殴るのが効率が良さそうです。

最後にアイドルを見ていきます。

| なまえ | 写真 | HP <br> (予測) | こうげき <br> (予測) | ぼうぎょ <br> (予測) | とくこう <br> (予測) | とくぼう <br> (予測) | すばやさ <br> (予測) | 合計 <br> (予測) |
|:-----------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|:------------:|
| 島村卯月       | ![810.png](https://qiita-image-store.s3.amazonaws.com/0/221139/fba604d9-50a8-1627-4812-e067d1b14a85.png) | 88 | 111 | 97 | 98 | 96 | 84 | 574|
| 渋谷凛       | ![811.png](https://qiita-image-store.s3.amazonaws.com/0/221139/0db69b3d-1535-b51e-45a5-6de12498be0d.png) | 90 | 117 | 103 | 104 | 96 | 86 | 596|
| 本田未央       | ![812.png](https://qiita-image-store.s3.amazonaws.com/0/221139/ab10ea72-5491-a52e-1d0b-3aa0a950cf54.png) | 96 | 124 | 97 | 99 | 89 | 90 | 595|

さすがに伝説級ですね。すごいです。
（背景部分はポケモンの図鑑と同様の処理をしているので、ここまで高いのはちょっと不思議ですね。）

# 結論 -Conclusion-
ここまで読んでいただいた方、ありがとうございました。

実は勾配ブースティングを使う前は、CNNを用いた回帰を行なっていたのですが、過学習がとんでもないことになっていたので、こちらを用いました。ただし、勾配ブースティングでもやはり過学習気味な気配は感じています。
訓練モデルが悪いのか、そもそも問題設定に無理があるのか...。

今回、ロス関数や精度、ハイパーパラメータなどについてはブログ中に載せてきませんでしたが、もし需要があるならそのうちソースコードを公開したいと思います。


記事に関してお気付きの点、またご感想がありましたら、遠慮なくコメントや[Twitter](https://twitter.com/hiyoko9t?lang=ja)の方でお声がけください。