「”すぐ” このデータまとめて欲しい」に ”すぐ”に超簡単に応えられる Python の・・・（D-Tale編）

**2022/3/13：D-Tale 激推し記事がありました。**

https://towardsdatascience.com/d-tale-one-of-the-best-python-libraries-you-have-ever-seen-c2deecdfd2b

※ 記事曰く「D-Taleは万能ではないが、Pythonの世界に入ったばかりの学生なら、このライブラリを覚えておくといい。Pythonの上級者なら、コードをタイプするのに時間がかかるようなことを、このライブラリから得られるか試してみるともいい。」とのことです。

***

### ～手元データの要約、視覚化を超簡単に実現して、探索的データ解析(EDA)しよう（D-Tale編）～

![IMG_1107.GIF](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1275001/0a1ea0f1-6dc8-ac62-8a18-5fb8f91dc0fc.gif)


 
## はじめに
　
**「”すぐ” このデータまとめて欲しい」に ”すぐ”に超簡単に応えられる Python の・・・** と題し、

「おい、悪いが”すぐに”このデータまとめてくれ」

に応えるための**探索的データ分析（EDA）ツール**を、これまでに３つ紹介しました。

今回は４回目！となりますが、今回紹介する**D-Tale**は、「これは売り物でなくてよいのか？！」と言うほど、探索しまくれるツールとなっています。
３回目までに紹介したEDAツールは、探索に必要であろうグラフや基本統計量をまとめ、目の前に提示してくれるというものでしたが、**D-Taleは 自在に探索できる環境を提供してくれる**というものになっています。

D-Taleこそが、探索するためのツールなのかもしれません。

ところで、D-TaleってなぜD-Taleなのでしょう？
Dataからストーリーをつかむ？　Detail（詳細）とかけて、データの詳細分析？
まぁ、いわれは何でもよいのですが、これはもう、とにかくすごいです。
 
https://github.com/man-group/dtale
 
　
ちなみに・・・
以下のURLにアクセスすると（Pythonでインストールしなくても）D-Taleが味わえます。というか。。。フルで使用できます。

画面左上[►]のクリックであらわれるメニューの「Load Data」を選択すればローカルファイルがアップロードできます。同じメニューにある「Instances」にて該当ファイルを選択すれば**D-Tale**に反映されます。

アップロードしなくても、サンプルデータで操作できます。これはイイ！ということなら、ご自身の環境にインストールされるとよいでしょう。

http://alphatechadmin.pythonanywhere.com/dtale/main/1

　

## 実行条件など
>・**Google colab**で実行
・**ボストン住宅価格のデータセット**で実行
※手元データを読込んで実行する場合も記載していますので、簡単にできるはずです。
 
https://toukei-lab.com/google-colaboratory


### ボストン住宅価格のデータセットについて

以下サイト（Kaggle）の「Boston.csv」を使わせていただいた。
データ数：506, 項目数：14のデータセットで、住宅価格を示す「MEDV」という項目と、住宅価格に関連するであろう項目が「CRIM：犯罪率」「RM：部屋数」「B：町の黒人割合」「RAD：高速のアクセス性」・・・等、13項目で構成されたデータとなっています。

これだけ項目があると、データ傾向を掴むだけでも、なかなか骨が折れるだろうと想像できますね。

https://www.kaggle.com/puxama/bostoncsv

<details><summary>ボストン住宅価格データの項目と内容</summary><div>

>|項目|内容|
|:-----------|:------------------|
|CRIM|町ごとの一人当たり犯罪率|
|ZN|25,000平方フィート以上の住宅地の割合|
|INDUS|町ごとの非小売業の面積の割合|
|CHAS|チャールズ川のダミー変数（川に接している場合は1、そうでない場合は0）|
|NOX|窒素酸化物濃度（1,000万分の1）|
|RM|1住戸あたりの平均部屋数|
|AGE|1940年以前に建てられた持ち家の割合|
|DIS|ボストンの5つの雇用中心地までの距離の加重平均|
|RAD|高速道路(放射状)へのアクセス性を示す指標|
|TAX|10,000ドルあたりの固定資産税の税率|
|PTRATIO|町ごとの生徒数と教師数の比率|
|B|町ごとの黒人の割合|
|LSTAT|人口の下層階級の比率|
|MEDV|住宅価格の中央値（1000㌦単位）|

</div></details>

　
　
## プロファイリング（D-Tale）してみよう！

**ライブラリのインストールおよびインポート**

```:ライブラリのインストールおよびインポート
pip install dtale
```
```
# 必要なライブラリーのインポート
import pandas as pd
import dtale
import dtale.app as dtale_app

dtale_app.USE_COLAB = True
```
```
# データセットの読込み
df = pd.read_csv("Boston.csv",index_col=0)
df.head()
```
```
#dfに対してD-Taleを適用
dtale.show(df)
```
**すべてのセル実行完了後、最終コードの下にあらわれる URLをクリック ⇒ D-Taleが操作できるようになります。**


## 主な操作

代表的な機能を以下に紹介します。

**Describe**
Descriveは、画面左上[►]のクリックであらわれるメニュー、もしくは各列のcolumnをクリックすることであらわれるメニューより選択することができます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1275001/7fbee1f3-e8bf-784a-d95e-8416eac8430a.png)
基本統計量がわかり、ヒストグラム、カテゴリー毎のグラフ、QQプロット、各変数の表示/非表示の切替などができます。

**Highlight**
画面左上[►]のクリックであらわれるメニューに、いくつかのHighlight設定があらわれます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1275001/b4cb6981-9244-9d7b-7fee-7570f9cbd700.png)
Highlight設定できるのは、「データの型」「欠損値」「外れ値」です。
上図は「外れ値（Outliers）」を選択した例です。この例のように外れ値があれば色付きで示されます。

**Correlations**
画面左上[►]のクリックであらわれるメニューより選択することができます。変数間の相関係数行列がヒートマップで表示されます。
相関行列の下の散布図は、1列目と2列目の変数が反映されますので、各列のcolumnをクリックすることであらわれるメニューより列を移動させるとよいでしょう。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1275001/b3d912c6-a888-ccc8-023a-a48d67991888.png)

**Chart**
画面左上[►]のクリックであらわれるメニューより選択することができます。
利用可能なグラフィック（線、棒、散布図、円、ワードクラウド、ヒートマップ、3D散布図、サーフェス）の選択、各チャートに表示する変数や、表示する最大値や最小値などのパラメータを設定することができます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1275001/4d0441dd-f924-049f-23f5-e4c5200d9dce.png)

**Custom Filter**
画面左上[►]のクリックであらわれるメニューより選択することができます。
例えば、ageという列があり、age>50 など条件設定し、Applyすると、該当する条件のレコードのみが表示されます。

**その他**
列ごとのHeatMap表示、変数変換、ローカルファイル読込み、エクスポート、テーマ（Light/Dark）など。

　

## 最後に

探索(EDA)してる感を、まちがいなく提供してくれます。
グラフの描画もサクサク、同じことをExcelで実行するのは不可能でしょう。
データというのは見れば見るほど気になるもの。まずは、定型アウトプットしてくれるEDAツールでざっと眺め、深掘りしたい変数があれば、D-Taleを活用するというのもよいかもしれません。


　
## 関連記事

https://qiita.com/hima2b4/items/65129b3c3c4a1090afae

https://qiita.com/hima2b4/items/da29530c1f58c7211d44



## 参考サイト

https://www.youtube.com/watch?v=jYlwwNycVh8

https://hazimenoippo-hawaii.com/datascience-ml-eda-3rd/

https://qiita.com/DS27/items/17a5fb9155a768ff9528