Pythonデータ分析ライブラリPandasを利用したciv4プレイデータ分析

# はじめに
ここでは、Pythonのデータ分析用ライブラリであるPandasを利用して、civilization 4のプレイを定量的に評価分析する方法を紹介します。
本記事は

- civ4というゲームのシステムを知っている
- プログラミング言語は1つ2つ触ったことがある

という読者が、見よう見まねで自身のプレイを分析できるようになることを目標としています。

# プレイデータの出力
プレイデータ分析を行うためには、まずはデータがなければ始まりません。というわけで、データの出力方法から解説します。civ4にはデータを出力するような機能は存在しないため、Modで解決します。
使用しているModのCvEventManager.py の onEndPlayerTurn関数に、ファイルにデータ出力するためのコードを追加します。openからcloseまでがデータ出力用の追加処理です。

```Python:Assets\Python\CvEventManager.py
	def onEndPlayerTurn(self, argsList):
		'Called at the end of a players turn'
		iGameTurn, iPlayer = argsList

		if (gc.getGame().getElapsedGameTurns() == 1):
			if (gc.getPlayer(iPlayer).isHuman()):
				if (gc.getPlayer(iPlayer).canRevolution(0)):
					popupInfo = CyPopupInfo()
					popupInfo.setButtonPopupType(ButtonPopupTypes.BUTTONPOPUP_CHANGECIVIC)
					popupInfo.addPopup(iPlayer)

		f = open('D:/Temporary/civ4log.csv', 'a')
		player = gc.getPlayer(iPlayer)
		(loopCity, iter) = player.firstCity(false)
		while(loopCity):
			f.write('%s,%s,%s,%f,%f,%f,%f,%f,%f\n'
				% (gc.getGame().getElapsedGameTurns(),
				player.getNameKey(),
				loopCity.getNameKey(),
				loopCity.getBaseCommerceRate(CommerceTypes.COMMERCE_GOLD) * loopCity.getTotalCommerceRateModifier(CommerceTypes.COMMERCE_GOLD) / 100,
				loopCity.getBaseCommerceRate(CommerceTypes.COMMERCE_RESEARCH) * loopCity.getTotalCommerceRateModifier(CommerceTypes.COMMERCE_RESEARCH) / 100,
				loopCity.getBaseCommerceRate(CommerceTypes.COMMERCE_CULTURE) * loopCity.getTotalCommerceRateModifier(CommerceTypes.COMMERCE_CULTURE) / 100,
				loopCity.getBaseCommerceRate(CommerceTypes.COMMERCE_ESPIONAGE) * loopCity.getTotalCommerceRateModifier(CommerceTypes.COMMERCE_ESPIONAGE) / 100,
				loopCity.getCurrentProductionDifference(true, false),
				loopCity.getMaintenance()
				))
			(loopCity, iter) = player.nextCity(iter, false)
		f.close()

		CvAdvisorUtils.resetAdvisorNags()
		CvAdvisorUtils.endTurnFeats(iPlayer)
```

この変更を行った状態でゲームをプレイすると、D:/Temporary/civ4log.csv に、毎ターン全指導者の都市毎の情報が出力されます。出力される情報は以下のとおりです。

- ターン数
- 指導者名
- 都市名
- 金銭
- 研究
- 文化出力
- スパイポイント
- 都市の維持費

なお、ゲームをロードすると同じターンの情報が重複して出力されてしまいますので、重複分は手動で削除する等してください。
今からゲームプレイするのはちょっと面倒…という方は、[こちら](https://gist.githubusercontent.com/kojim/0a47ed4258222b0541a42aa9fd7da906/raw/a5d6a1a527deec269697c5b2ddab4157184af4ff/civ4.csv)に私のプレイデータを配置してありますので利用してください。
このデータは

- 難易度: 国王
- パンゲア
- 指導者: ペリクレス
- 351T非戦宇宙勝利
- 小屋都市6、製材所型生産都市1、国立公園&民族叙事詩都市1
- 建てた代表的な世界遺産: ファロス灯台, マウソロス霊廟, 電気系遺産
- シド寿司 & マインニング社あり

という比較的オーソドックスな非戦勝利スタイルのものです。
立地はこんな感じ。

![civ_qiita1.PNG](https://qiita-image-store.s3.amazonaws.com/0/115351/4c6c4433-6cac-d6e8-c834-638314e0108b.png)

![civ_qiita2.PNG](https://qiita-image-store.s3.amazonaws.com/0/115351/64ae65ce-ce51-665f-a4fa-afe94b5934d2.png)


# Pandas環境の準備
Pandasを利用するため、以下のURLからAnaconda3をダウンロードしインストールします。
https://www.continuum.io/downloads
また、デフォルト状態ではグラフ中で日本語を表示することができないため、以下の手順に従い、フォントのインストールを行います。
http://kaisk.hatenadiary.com/entry/2015/02/15/215831

# 分析の実施
## Pandas実行環境の起動
スタートメニューからAnaconda3 - Jupyter notebookを選択してください。
Pandasの実行環境であるJupyter notebookが起動し、ブラウザ上にJupyterの画面が表示されたら成功です。

## CSVヘッダの追加
CSVファイルの最初の行に以下のヘッダを追加してください。この行は、Pandasが列名を認識するために必要となります。

```
ターン数,指導者,都市名,金銭,研究,文化,スパイ,生産,維持費
```

## CSVファイルの読み込みとデータの表示
Jupyterに以下のコードを入力して実行してみてください。コードを入力後、Ctrl+Enterキーを押すことで実行できます。

```py3
%matplotlib inline

import pandas as pd
import matplotlib.pyplot as plt
from IPython.display import display

# とりあえず生データを全部出力
data = pd.read_csv('d:/Temporary/civ4log.csv')
data.head(6)
```

以下のような結果が出力されたはずです。記事スペースの関係上6行しか表示していませんが、head(6)の箇所の数値を書き換えると、任意の行数の結果が表示できます。また、.head(6) を丸ごと削除することですべての行を表示することが可能です。

<div>
<table border="1">
  <thead>
    <tr style="text-align: right;"> <th></th> <th>ターン数</th> <th>指導者</th> <th>都市名</th> <th>金銭</th> <th>研究</th> <th>文化</th> <th>スパイ</th> <th>生産</th> <th>維持費</th> </tr>
  </thead>
  <tbody>
    <tr> <th>0</th> <td>0</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>1</th> <td>0</td> <td>TXT_KEY_LEADER_WANGKON</td> <td>TXT_KEY_CITY_NAME_SEOUL</td> <td>0.0</td> <td>9.0</td> <td>2.0</td> <td>4.0</td> <td>2.0</td> <td>0.0</td> </tr>
    <tr> <th>2</th> <td>0</td> <td>TXT_KEY_LEADER_HAMMURABI</td> <td>TXT_KEY_CITY_NAME_BABYLON</td> <td>0.0</td> <td>9.0</td> <td>2.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>3</th> <td>0</td> <td>TXT_KEY_LEADER_PACAL</td> <td>TXT_KEY_CITY_NAME_MUTAL</td> <td>0.0</td> <td>9.0</td> <td>2.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>4</th> <td>0</td> <td>TXT_KEY_LEADER_SITTING_BULL</td> <td>TXT_KEY_CITY_NAME_CAHOKIA</td> <td>0.0</td> <td>11.0</td> <td>2.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>5</th> <td>0</td> <td>TXT_KEY_LEADER_GILGAMESH</td> <td>TXT_KEY_CITY_NAME_URUK</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
  </tbody>
</table>
</div>

## 分析方針について
このあたりで分析の目標を定めましょう。とりあえず今回は、自国の各都市が建てられてからゲーム終了時である351Tめまでに、どれだけの研究力および生産力を生み出したか算出してみることにします。

## 情報の絞込みと追加
先ほど表示した情報のうち、指導者の列がkojimでない行はAIの都市に関する情報です。これらは今回の分析では不要であるため、除去してしまいましょう。
まずはJupyterのメニューから Insert - Insert Cell Belowを選び、コード入力用のセルを1つ追加します。追加されたセルに以下のコードを入力し、実行してみてください。

```py3
# AIのデータは邪魔なので除外
data2 = data.query("指導者 == 'kojim'")
data2
```

<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;"> <th></th> <th>ターン数</th> <th>指導者</th> <th>都市名</th> <th>金銭</th> <th>研究</th> <th>文化</th> <th>スパイ</th> <th>生産</th> <th>維持費</th> </tr>
  </thead>
  <tbody>
    <tr> <th>0</th> <td>0</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>7</th> <td>1</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>14</th> <td>2</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>21</th> <td>3</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>11.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>28</th> <td>4</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>11.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
    <tr> <th>35</th> <td>5</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>11.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> </tr>
  </tbody>
</table>
</div>

見事自都市のデータだけに絞り込まれました。
続いて、都市の出力情報を大まかに表す列を追加してみましょう。このゲームにおいて都市の出力は、金銭出力, 研究出力, スパイポイント出力, 生産力を足し、そこから維持費を引くことでざっくりと表すことができます。
文化力も足したほうが良い、スパイポイントは不要ではないか、と思う方は各自アレンジしてみてください。
偉人ポイント？忘れてください。

それではセルをもう1つ追加した上で、以下のコードを入力&実行してみてください。

```py3
data2['出力'] = data2['金銭'] + data2['研究'] + data2['スパイ'] + data2['生産'] - data2['維持費']
data2
```

<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;"> <th></th> <th>ターン数</th> <th>指導者</th> <th>都市名</th> <th>金銭</th> <th>研究</th> <th>文化</th> <th>スパイ</th> <th>生産</th> <th>維持費</th> <th>出力</th> </tr>
  </thead>
  <tbody>
    <tr> <th>0</th> <td>0</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> <td>15.0</td> </tr>
    <tr> <th>7</th> <td>1</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> <td>15.0</td> </tr>
    <tr> <th>14</th> <td>2</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>10.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> <td>15.0</td> </tr>
    <tr> <th>21</th> <td>3</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>11.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> <td>16.0</td> </tr>
    <tr> <th>28</th> <td>4</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>11.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> <td>16.0</td> </tr>
    <tr> <th>35</th> <td>5</td> <td>kojim</td> <td>TXT_KEY_CITY_NAME_ATHENS</td> <td>0.0</td> <td>11.0</td> <td>4.0</td> <td>4.0</td> <td>1.0</td> <td>0.0</td> <td>16.0</td> </tr>
  </tbody>
</table>
</div>

新しい列が追加されましたね。

## 都市毎の集約
次は都市毎のデータの集約です。
データを集約するにはgroupbyを使用します。groupbyでは集約のキーにしたい項目名をパラメタに渡してやる必要があります。今回は都市ごとの集計値を算出したいので都市名をパラメタに渡してやりましょう。

```python
gdata = data2.groupby('都市名').sum()
gdata
```

<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;"> <th></th> <th>ターン数</th> <th>金銭</th> <th>研究</th> <th>文化</th> <th>スパイ</th> <th>生産</th> <th>維持費</th> <th>出力</th> </tr>
    <tr> <th>都市名</th> <th></th> <th></th> <th></th> <th></th> <th></th> <th></th> <th></th> <th></th> </tr>
  </thead>
  <tbody>
    <tr> <th>TXT_KEY_CITY_NAME_ARGOS</th> <td>57498</td> <td>2514.0</td> <td>20014.0</td> <td>5771.0</td> <td>3105.0</td> <td>6294.0</td> <td>1577.0</td> <td>30350.0</td> </tr>
    <tr> <th>TXT_KEY_CITY_NAME_ATHENS</th> <td>61776</td> <td>3323.0</td> <td>98223.0</td> <td>15597.0</td> <td>4112.0</td> <td>20076.0</td> <td>1473.0</td> <td>124261.0</td> </tr>
    <tr> <th>TXT_KEY_CITY_NAME_CORINTH</th> <td>60398</td> <td>893.0</td> <td>19968.0</td> <td>24386.0</td> <td>4604.0</td> <td>10552.0</td> <td>1815.0</td> <td>34202.0</td> </tr>
    <tr> <th>TXT_KEY_CITY_NAME_KNOSSOS</th> <td>57120</td> <td>1117.0</td> <td>20258.0</td> <td>6893.0</td> <td>5789.0</td> <td>9265.0</td> <td>1282.0</td> <td>35147.0</td> </tr>
    <tr> <th>TXT_KEY_CITY_NAME_MYCENAE</th> <td>56316</td> <td>731.0</td> <td>18085.0</td> <td>7778.0</td> <td>4036.0</td> <td>8277.0</td> <td>1358.0</td> <td>29771.0</td> </tr>
    <tr> <th>TXT_KEY_CITY_NAME_PHARSALOS</th> <td>56105</td> <td>167.0</td> <td>4570.0</td> <td>10231.0</td> <td>2729.0</td> <td>22216.0</td> <td>1747.0</td> <td>27935.0</td> </tr>
    <tr> <th>TXT_KEY_CITY_NAME_SPARTA</th> <td>60741</td> <td>3521.0</td> <td>12459.0</td> <td>15164.0</td> <td>4042.0</td> <td>8050.0</td> <td>2113.0</td> <td>25959.0</td> </tr>
    <tr> <th>TXT_KEY_CITY_NAME_THEBES</th> <td>59885</td> <td>20647.0</td> <td>29434.0</td> <td>8364.0</td> <td>3550.0</td> <td>10785.0</td> <td>2144.0</td> <td>62272.0</td> </tr>
  </tbody>
</table>
</div>

集計方法にsum、つまり合計値を指定したので各列は都市毎の合計値が表示されています。さてこのデータを眺めていて気がつくことがあると思います。

- 研究力と生産がずば抜けて高いのは首都であるATHENS
- 生産都市であるPHARSALOSの生産力は首都のそれを上回る
- 文化力トップは国境最前線で王権の首都の文化力と押し合っていたCORINTH
- 小屋を張っていなかった偉人都市のSPARTAの研究力はお察し
- 企業本社のあったTHEBESは金銭収入が1桁違う

# 続きの記事
いまかいてます