無料で使えるデータプレパレーションツール試してみた

#データプレパレーション
データプレパレーション（Data Preparation）は、データ準備、データ前処理とも呼ばれ、さまざまな領域に保管している生のデータを分析や機械学習に使える状態にクレンジングするデータ変換プロセスのことをいいます。

# プレパレーションツールが注目される背景
### データ活用におけるプロセスでの準備コスト
データ分析作業のうち、作業時間の大部分を占めるのは、データ準備であることがわかっています。
つまり、データプレパレーションのコストを削減することは、データ分析作業全体のコストを削減することに直結するのです。

### データの質、量が求められる時代
昨今ではあらゆる業界、業務でデータ活用が進み、セルフBIやAutoMLツールの人気が高まっています。
それにより、専門家ではないビジネスユーザーが自らデータ活用を行う機会が増え、良質なデータが求められるようになりました。
またDXや、クラウドサービスの普及により、データの量も年々増えています。これまで当たり前のように行われてきた、Excelを使ったアナログな作業が、困難な機会も増えてきています。

#VARISTA Data Editor
https://www.varista.ai/feature/data/

処理フローをつなげていき、データを加工していくタイプのデータプレパレーションツールです。
フリープランは無料で利用することができるため、気軽に試すことができます。

# 利用するデータ
kaggleの「Recruit Restaurant Visitor Forecasting」コンペのデータを利用し以下の処理を施していきます。

https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting

# 加工開始
ツールでデータを開くとこのような画面になります。
「フィルタを追加」から加工する処理を追加していきます。
![スクリーンショット 2021-04-25 14.26.57.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/fd50a6c9-5c3e-0298-2d2c-4bc29f556b85.png)

# データの結合 - 「マージ」フィルタ
複数ファイルに別れているのデータを結合していきます。
![スクリーンショット 2021-04-25 14.33.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/d3e5c86f-08a7-374d-961b-e3b3f72a4b81.png)
![スクリーンショット 2021-04-25 14.34.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/716cd028-3fba-3d1b-731e-1db8f6102dcf.png)

### air_store_idをもとに２つのデータを結合
![スクリーンショット 2021-04-25 14.40.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/5721faa9-06b6-d799-80ec-b465c6fad5e1.png)
結合するデータ、列を選択
![スクリーンショット 2021-04-25 14.39.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/a7ba34ea-f919-941a-b6b7-cf47e2a253fd.png)
![スクリーンショット 2021-04-25 14.42.31.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/a1e3def7-28d3-0f44-464a-b56db6050eec.png)
このように air_stora_id に対して Left Join を行うことができました。

#文字列のsplit - 「区切り文字で分割」フィルタ
air_area_name には「Fukuoka-ken Fukuoka-shi Daimyō」や「Tōkyō-to Toshima-ku Mejiro」のようにスペースで連結された地名が入力されています。
これらの値をスペースで区切って都道府県、市地区町村名に分割していきます。
![スクリーンショット 2021-04-25 14.46.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/db9f4f9a-2f15-6bf6-c89b-cd9c25568c32.png)
![スクリーンショット 2021-04-25 14.49.26.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/a8354d18-c43f-9121-6230-413a1d858343.png)
#### 結果
このように air_area_name_0 には 「Tōkyō-to」, 「Hokkaidō」 など都道府県
air_area_name_0 には 「Abashiri-shi」, 「Kurume-shi」 など市区町村が入力されました。
![スクリーンショット 2021-04-25 14.49.43.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/8c47d3a5-a049-df7f-a09b-bfa6105fd982.png)

# 平均値算出 - 「カテゴリ毎の平均値へ変換」フィルタ
各都道府県の平均visitors数を算出してみましょう。
![スクリーンショット 2021-04-25 14.55.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/16985fd2-bf5f-5891-82e6-85ae01e4e505.png)
![スクリーンショット 2021-04-25 14.56.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/df571d79-cd26-d651-09c1-df191365e063.png)
![スクリーンショット 2021-04-25 14.56.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/38b29ec3-2b36-9175-e2ef-f6c198ee7189.png)

各都道府県ごとの平均訪問者数が算出できました。

# その他のフィルタ紹介
### 欠損補完
このように、いくつかの補完方法が用意されています。
![スクリーンショット 2021-04-25 14.58.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/5bc8fb8b-8bfa-db7c-541e-a8e46e7a54b7.png)

### 日付フォーマットの変更
![スクリーンショット 2021-04-25 14.59.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/8b961c51-7161-c717-08e7-1c670ecd671f.png)
![スクリーンショット 2021-04-25 15.01.06.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/d8744d4d-4633-5244-319f-e85da945851d.png)
![スクリーンショット 2021-04-25 15.00.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/7b1f1ec6-2c05-afc0-3807-d3d9694c3d9a.png)

### 外れ値の除去
視覚的に外れ値を確認し、除去することができます。
![スクリーンショット 2021-04-25 15.02.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/e4421e31-c196-9418-9c01-d16f35b2b78c.png)
![スクリーンショット 2021-04-25 15.02.30.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/49ad1a09-e8a6-ee0a-a689-59ed34752766.png)

# その他の機能
### 各列の統計情報のビジュアライズ
![スクリーンショット 2021-04-25 15.04.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/420acf41-7bac-5a9a-6d75-cf23b5418afc.png)
![スクリーンショット 2021-04-25 15.05.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/620435/abd1ff41-7ed2-d519-6e3a-0cb2a35b9dba.png)

# おわり
小さいデータならエクセルやGoogle Spread Sheetで加工できますが、数MB以上のデータになってくると、開くのも加工するのも、時間がかかってきたり、そもそも開けないといったことが起きてきます。
ある程度ガッツリとデータ加工をしたい場合はPython+Pandasでコードを実装するのもありですが、ちょっとした加工にわざわざコードを実装して実行するのも億劫な場合があったりします。
そんな時にはこのようなお手軽に利用できるプレパレーションツールが重宝されるのではないでしょうか？
みなさんもぜひ使ってみてください。