Bakery and weather data を使用して、天気と売れ筋商品TOP3をSPSS Modelerで見てみた。（その２ - データを俯瞰して見る）

## はじめに

この記事は、IBMのサンプルデータをSPSS Modelerを使って読み解いていこうというものです。今回は連載２回目となります。この回では、データの確認方法をみていきたいと思います。

#### シリーズ目次
 
- [Bakery and weather data を使用して、天気と売れ筋商品TOP3をSPSS Modelerで見てみた。（その１- 全データのTOP3を確認する）](https://qiita.com/Asuka_Saito/items/a04e6350a7b056d2fcf3)
 
- [Bakery and weather data を使用して、天気と売れ筋商品TOP3をSPSS Modelerで見てみた。（その２ - データを俯瞰して見る）](https://qiita.com/Asuka_Saito/items/477092d21ffd8f0c90ec)



初めに、SPSS Modelerの「重複レコードノード」を使って、Distinct することで、データの種類を見てみたいと思います。

次に実はもっと便利な「データ検査」ノードというものがあるので、これを使って、CSVデータの中身を俯瞰して見ていきたいと思います。

どちらも「天気に使用されているデータの種類を確認する」という目的は達成できますが「データ検査」ノードがかなり面白いので、ぜひ使ってみてください。


#### 1. 天気データの種類の確認(重複レコードノード) 
初めに、天気のデータの種類としてどういったものがCSVデータの中にあるのか見てみたいと思います。

##### 1-1. 天気データの種類の確認(重複レコードノード)
初めに、新規のストリーム領域に、「Bakery and weather data.csv」をドラッグ＆ドロップします。

![Bakery_10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/b32fd7ba-cba7-0eab-0954-47a1da092398.png)


##### 1-2. フィルターノードをストリーム領域にドラッグ
次に、フィルターノードをSPSS Modelerのストリーム領域にドラッグ＆ドロップして追加し、「Bakery and weather data.csv」(可変長ファイルノード)と接続します。

フィルターノードをダブルクリックして編集で開き、「Weather」以外の全ての項目の矢印部分をクリックして❌表示にし「OK」で閉じます。
![Bakery_11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/ba1ab8f1-e281-b819-f63e-d998abd3cce8.png)

##### 1-3. 重複レコードノードをストリーム領域にドラッグ
次に、重複レコードノードをSPSS Modelerのストリーム領域にドラッグ＆ドロップして追加し、フィルターノードと接続します。

重複レコードノードをダブルクリックして編集で開き、「グループ化のキー フィールド」に 「Weather」を追加し、「OK」で閉じます。

##### 1-4. テーブルノードをストリーム領域にドラッグ & 実行
次にテーブルノードをSPSS Modelerのストリーム領域にドラッグ＆ドロップして追加し、重複レコードノードと接続し、右クリック（Macタッチパネルの場合は二本指で同時クリック）して、「実行」します。
![Bakery_12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/9c68377c-b4ce-fbfe-64d2-b8029e54f1d1.png)

##### 1-5. 天気のデータのDistinct（重複排除）のデータを確認
1-1から1−4までのステップで、天気のデータの重複排除したデータとレコード件数を確認する事ができました。
![Bakery_13.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/0607359e-ecf5-632a-f553-f0c21d674aa1.png)

Cloudy Rainy Sunny Snowy の ４種類が使われている事がわかりました。


#### 2. データ全体の傾向の確認（データ検査ノード）

次に、データ検査ノードを使って、もっと楽にCSVデータ全体のデータの傾向を確認したいと思います。

##### 2-1. データ検査ノードの追加 & 実行

出力パレットから「データ検査ノード」をストリーム領域に追加し、「Bakery and weather data.csv」(可変長ファイルノード)と接続し、実行します。

＊名前が「19フィールド」となります。
![Bakery_14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/c56dc677-50ae-2b27-9dce-07f9a67d0a72.png)

##### 2-2. CSVデータの中身の傾向をグラフで確認

データ検査ノードを実行すると、CSVデータの中身を以下のような「尺度」「最小値」「最大値」「カテゴリ数」といった情報とともに確認する事ができます。

![Bakery_15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/4c031bdd-58e6-521b-2cec-70e4b1b217c9.png)
 

##### 2-3. 「Weather」を確認
Weatherを確認するとカテゴリが4とあり、データは4種類である事がわかります。Weatherのグラフをダブルクリックします。以下のように、４つのデータの件数と割合を確認する事ができます。
![Bakery_16.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/ac930248-5531-ff47-2db1-103c368e81c6.png)

#### 3. まとめ

この記事では、天気データにどのようなものがあるか2つの確認方法を記載しました。

次の記事（その３）では、Sunny, Clowdy, Rainy, Snowy で売れ筋商品に違いが出てくるか確認していきます。



![Sunny.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/a3d3dcfd-5d34-e374-3bbf-21d3cdad90d8.png)![Cloudy.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/06ff2ef2-b865-1fa7-721e-2be81988dec8.png)![Rainy.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/882d1e21-80bd-7018-8b6c-4cbf3bdbe2eb.png)![Snowy.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/637e35fd-9b0b-4383-9814-aaefe04eaa40.png)