SPSS Modeler ノードリファレンス 3-7 データ区分

# 3-7 データ区分ノード[フィールド作成]
<img width="200" alt="107_89データ区分.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/dd142c61-d38c-22a9-bab9-80e637f3bca9.png">

## 1.ノードの目的
データを学習用と検証用に区分します。予測モデルの前方に配置することで学習用と検証用にデータをランダムに割り当て、後続のモデル評価で個別に表示します。これにより過学習を回避し汎化性能を確保します。

以下のイメージを実現します。
![スクリーンショット 2022-02-27 11.49.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/7944af2e-16df-f946-7cb6-2e94f450b7f8.png)


## 2.解説動画（60秒）

<iframe width="560" height="315" src="https://www.youtube.com/embed/Du0NbIabh5c" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

## 3.クイックスタート
判定を予測するモデルを作り、学習と検証データを切り分けて精度分析を行います。
＊入力データは[5.参考情報]からダウンロードできます。
![スクリーンショット 2022-02-24 14.55.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/6ce22ee4-1263-ea7d-cde6-6dcd1af246dc.png)

[可変長ファイル]に[データ区分]、[Random Trees]を接続します。
![スクリーンショット 2022-02-24 15.26.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/4ecf65dd-f4fc-9365-558e-51a4ed085b0d.png)

[可変長ファイル]の[データ型]タブで[値の読み込み]ボタンを押した後に、予測の[ロール]を設定します。
![スクリーンショット 2022-02-24 15.24.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/b4dfc28a-712b-c99a-d4b8-f955eeaf6a0d.png)

また[判定]の左にあるAボタンをダブルクリックします。
![スクリーンショット 2022-02-25 14.23.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/22347527-ba12-184a-b15f-2d0f97b2380a.png)

真と偽をそれぞれNGとOKに変更します。
![スクリーンショット 2022-02-25 14.24.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/259dc692-7488-69f0-745d-5d60c1d4db1e.png)

[データ区分]には何も設定をしません。
![スクリーンショット 2022-02-24 15.34.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/0b3c3608-82e0-a211-f84f-64a09c6cc44d.png)
50％のレコードをランダムに学習、残りを検証としてアサインしてます。
![スクリーンショット 2022-02-24 15.34.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/8cdc9414-2441-f642-37e9-8e4fb2979688.png)

[Random Trees]を実行します。出来上がったモデルナゲットに[精度分析]と[評価]グラフを接続します。
![スクリーンショット 2022-02-24 15.31.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d88a9d3b-260b-0912-147f-698f816a73b9.png)

[精度分析]では[一致行列]にチェックをいれます。
![スクリーンショット 2022-02-24 15.33.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/2bbdb4fc-1697-1b13-f411-4886ed52de43.png)

Confusion Matrixが学習用と検証（テスト）用分けて表示されます。
![スクリーンショット 2022-02-24 15.34.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/ecbfd8c6-5899-e412-67c2-7480a19910a8.png)

[評価]グラフを実行します。ゲインチャートが表示されます。
テストのゲインチャートから、最もNG（欠陥）が疑われる上位10％のレコード(青矢印)に、実際の60％のNG（欠陥）が含まれていることがわかり、モデルが効率よく欠損を検知できる性能を示しています。
![スクリーンショット 2022-02-25 14.29.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/53f35854-6325-2e7e-a338-328307096530.png)


データ区分を利用しないで同じことを実行するには以下のようなストリームになります。

![スクリーンショット 2022-02-27 14.04.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/abc0cc64-8110-69c7-cf66-6bd0db323abc.png)

## 4.Tips

#### 検証データを２セット用意する
新しいデータへの当てはまりの安定性（汎化性能）を確認するために検証を「テスト」と「検証」の２セット準備できます。
![スクリーンショット 2022-02-27 12.05.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/b3276ec5-b5c4-31b0-2072-12a8698ca361.png)

![スクリーンショット 2022-02-27 12.22.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/69acd525-6ff7-a3c2-3540-6bf9f1e8c741.png)

![スクリーンショット 2022-02-27 18.12.22.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/1f5309a9-e1c7-77d7-eca5-4834b6bd2697.png)



#### SPSS Modelerとクロスバリデーション（交差検証）
比較的データセットが小さい場合（レコード数が300程度など）でも汎化性能を確保する場合にはデータセットをいくつかに分割し、どれも一度は学習と検証に使うN分割交差検証を行います。

![bm-01-img01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/cc20900d-e6a6-e4ea-7f52-7b8e2c1be40b.png)

複数の教師あり学習モデルを自動で評価している[自動分類][自動数値]には交差検証を行うオプションが備わっています。
![スクリーンショット 2022-02-27 12.13.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d42d73c7-d9e4-a083-dea0-7c7b93701bfc.png)
![スクリーンショット 2022-02-27 12.12.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/6af7bd0e-d899-61f4-0fca-47c241480bf0.png)

N分割交差検証について以下の記事で詳しく解説しています。

https://www.ibm.com/blogs/solutions/jp-ja/learn-modeler-01/

https://qiita.com/kawada2017/items/e76527ee5270ad017ef1

## 5.参考情報

#### 利用データ

右クリックでリンク先を保存してください。

https://raw.githubusercontent.com/yoichiro0903n/blue/main/defect2.csv

#### ノードのヘルプ

https://www.ibm.com/docs/ja/spss-modeler/18.3.0?topic=nodes-partition-node

#### SPSS Modeler 逆引きストリーム集（データ加工）

https://qiita.com/416nishimaki/items/4bf813e6cba84b2a1008

#### SPSS Modeler ノードリファレンス目次

https://qiita.com/416nishimaki/private/503037195081d3323eee