SPSS Modeler ノードリファレンス 3-14 データの自動準備

# 3-14 データの自動準備ノード[フィールド作成]
<img width="200" alt="194-161自動準備.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/f376ba6a-3591-48f6-72d5-48ab1598f2ec.png">


## 1.ノードの目的
事前に定義された予測対象にあうようにフィールド（列）を変換します。Zスコアによる値の標準化や欠損値の処理などを実施します。

以下のイメージを実現します。
![スクリーンショット 2022-06-21 9.14.01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/6398517d-ca75-0fde-fc22-e183617825ec.png)

## 2.解説動画（60秒）

<iframe width="560" height="315" src="https://www.youtube.com/embed/35qdRL1qxOg" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

## 3.クイックスタート
以下の[NGフラグ]の予測精度を高めるために各フィールド（列）を自動変換します。
＊入力データは[5.参考情報]からダウンロードできます。
![スクリーンショット 2022-06-21 10.00.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/99846db9-9270-df7f-0dec-2aa67b201256.png)

[可変長ファイル]に[データ区分]、[Random Trees]を接続します。
![スクリーンショット 2022-06-21 10.05.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/2455f890-5314-b4bb-8b72-7eeb5e0a6d0c.png)

*データ区分は学習と検証データに自動振り分けするノードです。詳しくはノードリファレンス3-7を参照ください。

[可変長ファイル]を編集します。[データ型]タブで[値の読み込み]ボタンを押してから[NG]フラグを[対象]に変更して予測対象にします。[ID]も[レコードID]に変更します。
![スクリーンショット 2022-06-21 10.08.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/9406599f-08ce-0b33-941c-f88ff391f94b.png)

[Random Trees]を実行します。モデルナゲットができたら[精度分析]を接続します。
![スクリーンショット 2022-06-21 10.13.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/2b9a68d1-ccbd-0e09-57e2-2364fd22f611.png)

[精度分析]の[一致行列]にチェックを入れ実行します。
![スクリーンショット 2022-06-21 10.14.24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/8e26cd20-eae0-cac9-e127-01c92f1c6616.png)

検証データでの精度は98.66％でした。
![スクリーンショット 2022-06-21 10.15.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/5ee77a28-37c4-6526-3fc7-7b18cca5b042.png)

[データの自動準備]ノードをバインドして、もう一度[Random Trees]を実行します。
![スクリーンショット 2022-06-21 10.17.16.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/e46698a3-9197-7da7-42bc-3c1bde2c02cb.png)

リニューアルされたモデルの精度が向上しています。
![スクリーンショット 2022-06-21 10.17.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d848c4cc-bd9a-1944-0556-1f017093c7a5.png)


## 4.Tips

#### 自動変換のための速度と精度のバランスを選択

予測モデルと同等の処理をするために、精度と時間のどちらを優先するかが選択可能です。
![スクリーンショット 2022-06-21 10.20.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/bb101bbb-58a8-726b-88a1-784fb26039a2.png)

#### 不要なフィールドの選定

特徴量選択ノード(ノードリファレンス5-14)の機能を一部ここで利用できます。
![スクリーンショット 2022-06-21 10.23.35.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/c43fba68-c112-479c-ba81-bfe43fab4e05.png)

#### データの品質の改善と値の標準化

欠損値や外れ値の置換え、Zスコアによる標準化を行います。
![スクリーンショット 2022-06-21 10.27.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/a1a2bd8f-f157-f8ba-0150-7d5b9be50b7e.png)


#### カテゴリのメンバー統合と特徴量選択

カテゴリグループの統合や特徴量選択（特徴量選択ノードと同じ働き）を行います。
![スクリーンショット 2022-06-21 10.30.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/82f176c6-4bba-6d0f-64b1-016fa9149398.png)


#### Autoモデリングとの併用を紹介した記事

https://www.ibm.com/blogs/solutions/jp-ja/spssmodeler-push-node-5/

## 5.参考情報

#### 利用データ

右クリックでリンク先を保存してください。

https://raw.githubusercontent.com/yoichiro0903n/blue/main/defect4.csv

#### ノードのヘルプ

https://www.ibm.com/docs/ja/spss-modeler/18.3.0?topic=SS3RA7_18.3.0/modeler_mainhelp_client_ddita/components/automated_data_preparation/dataprep_node_objectives.html

#### SPSS Modeler 逆引きストリーム集（データ加工）

https://qiita.com/416nishimaki/items/4bf813e6cba84b2a1008

#### SPSS Modeler ノードリファレンス目次

https://qiita.com/416nishimaki/private/503037195081d3323eee