CP4DaaSでデータ加工-分析-視覚化を実施してみた（第四回：データ・リファイナリー）

## 概要
本連載では、売上明細のマスタデータや顧客マスターデータなどのデータをIBM Cloud Object Storageにファイル転送及び、Db2 Warehouse on Cloudへロードしたのちに、CP4DaaS上のツールである「データ・リファイナリー」、「ダッシュボード・エディター(IBM Cognos Dashboard Embedded)」「SPSS Modeler」を用いて、データ加工から各商品の売上高、また年度/月度などデータの可視化までを実施する。

### 記事で用いられる主なツール
第一回：IBM Cloud Object Storageへファイル転送
第二回：Db2 Warehouse　on Cloudへロード
第三回：[プロジェクト内でデータ接続](https://qiita.com/Tiger-Kid/items/54576bfff0b41d791aa9)
**第四回：資産をデータ・リファイナリー（整形）(本記事)**
第五回：[SPSS Modelerを用いてテーブルの結合](https://qiita.com/Tiger-Kid/items/af42be0c60df67438d17)
第六回：[ダッシュボード・エディター(IBM Cognos Dashboard Embedded)を用いてレポート作成](https://qiita.com/Tiger-Kid/items/7ccf96cfb73328eba497)


## 本編
### データ・リファイナリーを用いて、データ整形を行う
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/e23862d6-72f9-641a-beed-a8f08f2d39a3.png)

#### データ読み込み
「新規資産」の「データ・リファイナリー」を選択する
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/387ce5de-2fdf-6378-b348-2a00fcd6e909.png)

整形するデータを接続したDBから選択する
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/291d2d33-5685-4995-4983-95335097e1bf.png)

プロジェクトにDBを接続しているので、簡単に、データ内容が表示された
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/99238c37-b573-1ff8-2557-485ce3e3552d.png)

#### データ加工
続いてこちらの売上明細マスターデータと商品マスター、ショップマスターを結合する。
「新規ステップ」を選択後、「結合」を適用
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/f0cb3fc7-0a07-d814-7bb7-8dd10b72aaa7.png)

結合するデータを選択する。「データ・セットの追加」
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/a85cf6aa-2ffa-27a1-f6cc-61a149473c05.png)

結合するデータとして、「SHOP」を適用する
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/0a92523f-b056-968d-b55e-1f1c996ca812.png)

データを結合するための「キー」を指定する。本記事では「SHOP_CODE」である。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/8a6b6838-37c4-fb46-2177-205259dcad91.png)

結合後に表示する列を選択する
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/f0d65d86-18b0-e8fc-bae1-69ad0d3d1a04.png)

２つのデータを結合することが確認できた。続いて、商品マスターも同様に結合する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/f117eed0-ed3c-a209-7cdb-1b02859a0cf3.png)

データ・リファイナリーでは、列名の変更やデータタイプの変更、置換や重複の削除、空欄の行の削除などもGUIベースで簡単に実施することができる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/d2903cb9-42d5-e15e-da9c-f6a59dec1f9e.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/2bbb76c2-4b8e-5523-2188-86d09b76f94f.png)

そして作成したデータのデータ分布や統計結果を「プロファイル」から確認することで、データの信頼性を簡単に確認できる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/081cf133-4b81-9bb4-ae1f-bd250d19393e.png)

データの視覚化では、多種なグラフタイプを用いて多様な分析を行うことができる。本記事では棒グラフを用いて実施する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/5af92e80-464d-b925-a6d2-10ecd800502e.png)

グラフとして用いるデータなどを選択していくことで柔軟に様々なグラフを表示することができる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/5fa18dc1-3e4c-0aa8-560c-cd3fea73ec2d.png)

作成したグラフは、「アクション」からプロジェクトに保存することやローカルPCに保存することも可能であり、簡単にナレッジをシェアすることができる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/53fa9295-28d6-55a9-e19b-6502e64ddd75.png)

整形したデータを分析として利用ために、「Export current sample data to CSV」にてローカルPCにCSVとして保存することや、プロジェクト内に保存するために「ジョブを保存して作成」を実施することができる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/e11d3871-2d9e-e9d2-c5ae-529482804b66.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/dbcf2956-e15e-2a99-2df8-f1865daf69ea.png)

ジョブを作成して実行する際には、以下のように、テーブル名の設定等を行うだけで実施することができる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2505349/f03e739b-ba35-b137-b933-4596a50475fa.png)
このように整形したデータやグラフを簡単にシェアできることは、データ加工にかかる負担を減らすことができる。