SPSS Modeler ノードリファレンス 6-4a 精度分析:判別

# 6-4a 精度分析ノード:判別[出力タブ]
<img width="200" alt="107_89精度分析.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/eab2b84f-2d49-c11e-36c4-2a50a73a542f.png">

## 1.ノードの目的
予測精度を出力します。予測モデルの精度を確認する際に、[データ分割]ノードや[評価]グラフノードと共に利用します。


## 2.解説動画（60秒）

<iframe width="560" height="315" src="https://www.youtube.com/embed/9DS-8Z6kw9I" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>


## 3.クイックスタート
判定を予測するモデルを作り精度分析を行います。
＊入力データは[5.参考情報]からダウンロードできます。
![スクリーンショット 2022-02-24 14.55.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/6ce22ee4-1263-ea7d-cde6-6dcd1af246dc.png)

[可変長ファイル]に[データ区分]、[Random Trees]を接続します。
![スクリーンショット 2022-02-24 15.26.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/4ecf65dd-f4fc-9365-558e-51a4ed085b0d.png)

[可変長ファイル]の[データ型]タブで[値の読み込み]ボタンを押した後に、予測の[ロール]を設定します。
![スクリーンショット 2022-02-24 15.24.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/b4dfc28a-712b-c99a-d4b8-f955eeaf6a0d.png)

[データ区分]には何も設定をしません。
![スクリーンショット 2022-02-24 15.34.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/0b3c3608-82e0-a211-f84f-64a09c6cc44d.png)
50％のレコードをランダムに学習、残りを検証としてアサインしてます。
![スクリーンショット 2022-02-24 15.34.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/8cdc9414-2441-f642-37e9-8e4fb2979688.png)

[Random Trees]を実行します。出来上がったモデルナゲットに[精度分析]を接続します。
![スクリーンショット 2022-02-25 10.13.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/9a2fa20b-7407-c650-73d9-d9042dd0e506.png)

[精度分析]では[一致行列]にチェックをいれます。
![スクリーンショット 2022-02-24 15.33.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/2bbdb4fc-1697-1b13-f411-4886ed52de43.png)

Confusion Matrixが学習用と検証（テスト）用分けて表示されます。
今回はテストで121(TP)+615(TN)/746(テスト全体)=98.66%の精度が確保できました。
また学習での精度と比較的差が少ないため安定したモデルといえます。

![スクリーンショット 2022-02-24 15.34.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/cf5b5484-00b3-ff0d-130f-7710af76c509.png)

![スクリーンショット 2022-02-25 10.27.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/035c96af-f323-56d5-b1ce-fb85545edf31.png)

## 4.Tips

#### ROC曲線の下の面積AUC（Area Under Curve) 
[精度分析]で[評価メトリック]にチェックします。
![スクリーンショット 2022-02-24 15.55.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/e4f37520-546d-6da7-9019-4c9a243ffa5e.png)
AUCが学習とテストに分かれて出力されます。
![スクリーンショット 2022-02-24 15.55.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/99a5285b-a014-cf2a-53bc-5c446eecea92.png)

#### 精度分析ノードでPrecision（適合率）/Recall（再現率）を計算する

![スクリーンショット 2022-02-25 10.36.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/17dc820d-d99e-54fc-e823-260e4e039f5a.png)

予測対象と予測結果を[フィールドによる評価対象分析:]に含めます。
![スクリーンショット 2022-02-25 10.32.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/f3a5b574-3e60-fb0f-a7ad-9e9d2bff4434.png)

Precision（適合率）　は121/127=95.28%
![スクリーンショット 2022-02-25 10.33.50.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/c732e9b2-57d7-12ce-a283-b9090ff8c096.png)

Recall（再現率）　は121/125=96.8%
![スクリーンショット 2022-02-25 10.45.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/aa5166c3-f4f1-b1b7-f2e6-0ff3c6375425.png)


この方法は以下の記事でも解説されています。

https://www.ibm.com/blogs/solutions/jp-ja/spssmodeler-push-node-23/

https://qiita.com/kawada2017/items/eabc88beec7f801ffd18

#### Precision/Recallの考え方
https://www.ibm.com/blogs/solutions/jp-ja/modeler-tips-04/

#### 精度分析ノードと評価グラフノードをPythonで書き換える
https://qiita.com/kawada2017/items/bf60106d08fa84304fd1

## 5.参考情報

#### 利用データ

右クリックでリンク先を保存してください。

https://raw.githubusercontent.com/yoichiro0903n/blue/main/defect2.csv

#### ノードのヘルプ

https://www.ibm.com/docs/ja/spss-modeler/18.3.0?topic=nodes-analysis-node

#### SPSS Modeler 逆引きストリーム集（データ加工）

https://qiita.com/416nishimaki/items/4bf813e6cba84b2a1008

#### SPSS Modeler ノードリファレンス目次

https://qiita.com/416nishimaki/private/503037195081d3323eee