値をZスコアに標準化する(SPSS Modeler データ加工逆引き3-11)

## 値をZスコアに標準化する（標準化と正規化）

![3_10a.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/b29a03f8-d524-4815-e7e1-a70e2a303931.png)

## 1.想定される利用目的

・異なる尺度をもつフィールド（列）間の比較
・特徴量への変換（予測アルゴリズムに応じて）

## 2.サンプルストリームのダウンロード

https://github.com/yoichiro0903n/blue/blob/main/z_score.str?raw=true

## 3.サンプルストリームの説明

![スクリーンショット 2022-07-26 8.48.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/665f983d-9cdd-fb1c-d3a3-87dec047c0fe.png)



a.入力するデータは以下の通りです。
![スクリーンショット 2022-07-26 8.17.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/132b697a-37b0-a7d6-c49d-d19e7bee7460.png)

#### [データの自動準備]ノードでZスコアに変換する

b.[データの自動準備]ノードを編集します。
![スクリーンショット 2022-07-26 8.18.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/973e4c42-9ef9-cc3d-1883-6779769407e8.png)

[設定]タブを編集します。[zスコア変換]が選ばれています。
![スクリーンショット 2022-07-26 8.19.52.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/9fd9ef2b-2905-8535-2b3e-35c50dd10835.png)

[プレビュー]します。Zスコアに変換されました。
![スクリーンショット 2022-07-26 8.21.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/3f7f54be-81f2-1b05-a839-1b71ae1d15bc.png)

c.[ヒストグラム]ノードを実行します。形状を変えずにフィールド間の単位に影響を受けないように標準化しています。
![スクリーンショット 2022-07-26 8.40.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/937fdd30-8ff3-0392-a558-e6320e9e2726.png)

#### [レコード集計]と[レコード結合]でZスコアに変換する

d.[レコード集計]ノードを編集します。[キー]はブランクで[平均]と[標準偏差]を求めます。
![スクリーンショット 2022-07-26 8.21.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/74412670-8db3-8732-db10-f1f9c8ff37f7.png)

[プレビュー]します。1行2列のテーブルに要約されました。
![スクリーンショット 2022-07-26 8.21.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/bd33978c-bd37-8447-3615-096e26600081.png)

e.[レコード結合]ノードを編集します。[レコード結合方法]を[キー]にして[結合キー]をブランクのままにします。
![スクリーンショット 2022-07-26 8.22.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/5716baef-316a-eb5c-cb55-4fbaa3b661b5.png)

[プレビュー]します。全てのレコードに[平均]と[標準偏差]が追加されました。
![スクリーンショット 2022-07-26 8.22.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/b7c65a2a-9ba7-661b-cc06-e2cdbafaa608.png)

f.[フィールド作成]ノードを編集します。それぞれのレコードの平均と差を標準偏差で割ります。
![スクリーンショット 2022-07-26 8.22.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/f40058f5-7b12-b2d5-4833-7c6426036b05.png)

[プレビュー]します。Zスコアが求まりました。
![スクリーンショット 2022-07-26 8.23.37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/fc010aa3-217d-e72f-7c0c-2c601552d8d6.png)

#### [min-max normalization]で正規化する

g.[データの自動準備]ノードを編集します。最小0で最大1で標準化を行うと正規化になります。
![スクリーンショット 2022-07-26 8.41.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/6e6b720d-3934-cad0-1f54-49642576facc.png)

[プレビュー]します。正規化されました。
![スクリーンショット 2022-07-26 9.08.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/f2f76e77-d83f-484a-bb46-63b30c3ba65e.png)

h.[ヒストグラム]ノードを実行します。
![histo.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/c31b6ee6-1f43-e7f9-dbe3-8fe49a09864b.png)


#### 注意点

[データの自動準備]ノードをコピーして設定を変更して試す場合には[データ分析]ボタンを押して再計算させます。

![スクリーンショット 2022-07-26 9.22.10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d2e82441-63a4-5d0f-eb84-4a9bb55718c1.png)


## 4.参考情報

#### SPSS ModelerでZスコアを扱った記事

https://www.ibm.com/support/pages/spss-modeler%E3%81%A7%E5%88%86%E6%9E%90%E3%81%99%E3%82%8B%E3%81%AB%E3%81%82%E3%81%9F%E3%81%A3%E3%81%A6%E3%80%81%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92z%E5%BE%97%E7%82%B9%E3%82%92%E8%A8%88%E7%AE%97%E3%81%97%E3%81%A6%E3%80%81%E5%B7%AE%E3%81%97%E6%9B%BF%E3%81%88%E3%82%8B%E5%BF%85%E8%A6%81%E3%81%AF%E3%81%82%E3%82%8A%E3%81%BE%E3%81%99%E3%81%8B%E3%80%82

https://qiita.com/kawada2017/items/d2b54b54379d7faaf0e2

#### データの自動準備

https://qiita.com/416nishimaki/items/492b1522dd1ae083c664

https://www.ibm.com/blogs/solutions/jp-ja/spssmodeler-push-node-5/

#### SPSS Modeler ノードリファレンス目次

https://qiita.com/416nishimaki/private/503037195081d3323eee

#### SPSS Modeler 逆引きストリーム集（データ加工）

https://qiita.com/416nishimaki/private/4bf813e6cba84b2a1008