SPSS Modeler ノードリファレンス 6-2 データ検査ノード

# 6-2 データ検査ノード[出力タブ]
<img width="200" alt="107_89データ検査.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/ed9d4a57-d6b6-93a9-50a2-dd20f6d4c0d4.png">

## 1.ノードの目的
データを検査します。基本統計量やグラフでデータの概要を表示し、欠損値や外れ値の処理を行います。


## 2.解説動画（60秒）

<iframe width="560" height="315" src="https://www.youtube.com/embed/r1di7Mm58Cg" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>


## 3.クイックスタート

[可変長ファイル]に[データ検査]を接続します。
＊入力データは[5.参考情報]からダウンロードできます。
![スクリーンショット 2022-01-28 13.38.11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/5dd2bdfc-e975-95ee-c251-5c359550752b.png)

何も設定もせずに[データ検査]を実行します。
全てのフィールドのグラフと基本統計量が表示されます。
![スクリーンショット 2022-01-28 13.36.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/a39c8e65-c028-e925-19d0-c49a4de4e8b6.png)

[性別]でオーバーレイしてみます。
![スクリーンショット 2022-01-26 9.27.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/e73dafa7-a209-c587-2dd7-b141a9b3e99a.png)

予測対象をオーバーレイすると、関係性の高いフィールドを探索するのに便利です。グラフをクリックすると、以下のように独立したグラフとして表示されます。
![スクリーンショット 2022-01-26 9.28.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/280dfd1f-db22-64e3-9868-88dadc78b949.png)

欠損値検査のタブを開くと[外れ値]や[ヌル]、[空白文字]の該当数が表示され、対処方法を決めることができます。
![スクリーンショット 2022-01-28 13.41.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/724c96b8-b456-3873-f1d4-9643ce4d0c77.png)

## 4.Tips

#### オーバーレイで連続値を選ぶと相関が表示
連続値年齢をオーバーレイします。
![スクリーンショット 2022-01-28 13.44.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/6f9b411a-452e-e1a2-2f80-6292103081d6.png)

グラフが散布図になることに加え、相関係数が表示されます。
![スクリーンショット 2022-01-28 13.45.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/a8cfd92e-3369-e0f1-29a4-ba20acd22aa9.png)

#### 外れ値と極値の対処（スーパーノード）
[データ検査]ノードで外れ値と極値の対処を行うスーパーノードを自動生成させられます。
![スクリーンショット 2022-01-28 14.11.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/2826747d-d3a4-3d02-ffc1-d52e51976161.png)

外れ値と極値の定義は[データ検査]ノードの欠損値検査のタブで行います。
![スクリーンショット 2022-01-28 14.04.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/65f12d69-0836-556d-4b6e-e73ae5781fd6.png)
正規分布3σ（シグマ）に99.7%のレコードが含まれます。
![image (3).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/b540256b-1135-8cfa-b505-204d8613a164.png)

例えば年齢の外れ値（3標準偏差より外側）に対して[アクション]を[破棄]と選択し[生成]＞[外れ値および極値スーパーノード]を選択します。該当するレコードごと破棄するスーパーノードが作られます。[無効]を選択すると外れ値がヌルに置換されます。
![スクリーンショット 2022-01-28 14.14.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/1d53eb4a-3de4-c5cc-6b23-683cc31ae3c1.png)

#### 欠損値の対処①（フィルター）
欠損値が占める比率を指定してフィールドとして対象から除外できます。[欠損値検査タブ]で[生成]＞[欠損値フィルターノード]を選択します。
![スクリーンショット 2022-01-28 15.12.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/a068f2ea-3369-f3a7-3cd7-2ff432806364.png)
除外する欠損率を指定します。
![スクリーンショット 2022-01-28 15.15.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/5fa1a082-c09b-958a-3668-f431cdff4186.png)
該当する品質のみを含める（ここでは95％以上が有効）フィールドのみを通過させるフィルターを自動生成します。
![スクリーンショット 2022-01-28 15.15.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/1983b7a5-c125-a0cc-05c9-3171c93ebeea.png)

#### 欠損値の対処②（条件抽出）
欠損値のあるレコードを条件抽出で破棄できます。[欠損値検査タブ]で[生成]＞[欠損値選択ノード]を選択します。
![スクリーンショット 2022-01-28 15.24.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/f32f58e6-604f-bcd6-5d01-3d2b2a70b087.png)
欠損値の含まれるレコードは破棄する例です。
![スクリーンショット 2022-01-28 15.27.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/330ab9e5-3bca-9058-e43f-4870583dfc0b.png)
自動生成された条件抽出ノードです。レコードを破棄する条件が自動記述されています。
![スクリーンショット 2022-01-28 15.29.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/addbe7b7-579f-ddfc-bd78-f96bb1f5501c.png)

#### 欠損値の対処③（スーパーノード）
[データ検査]ノードで欠損値の対処を行うスーパーノードを自動生成させられます。
![スクリーンショット 2022-01-28 17.12.24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/caab0c67-004a-8051-acb3-e106b26bc324.png)

aでヌルや空白の対象を確定し、bで方法を選択。cのメニューからスーパーノードを生成します。
![スクリーンショット 2022-01-28 17.10.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/1ca2bea0-4888-af1a-5353-41539437d4fa.png)

bでは平均値の代入や、アルゴリズム（CART）による代入などを選択できます。
![スクリーンショット 2022-01-28 17.09.44.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/8866b063-8ba9-7f33-c5aa-07919832c11d.png)
![スクリーンショット 2022-01-28 17.10.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/0da6b923-a7a9-5f53-125f-0231f469c281.png)


#### [データを表示]でデータ検査を確認(Ver18.2以降)
Ver18.2以降で[データを表示]機能が備わりました。全てのノードから[データを表示]が選択できます。
![スクリーンショット 2022-01-25 10.16.37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/4a7efbd6-3135-b762-49f1-9dbc179aafde.png)
左のタブから[データ検査]を選びます。
![スクリーンショット 2022-01-28 13.54.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/609930e2-6a78-e60d-6bc0-2aec32094828.png)
欠損値もレガシーグラフ同様存在します。
![スクリーンショット 2022-01-28 13.55.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/3f8a353e-dbb8-ce18-29e3-c3ea61e5ca3a.png)
基本統計量は次のように表示します。
![スクリーンショット 2022-01-28 13.55.48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/7c10ba33-4193-131e-44c8-9a96d7e9a60e.png)
SPSS Modelerではこれまでなかった相関行列を求められます。
![スクリーンショット 2022-01-28 13.56.07.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d39d67ce-cbb0-316d-7325-c4638760f914.png)

## 5.参考情報

#### 利用データ

右クリックでリンク先を保存してください。
https://raw.githubusercontent.com/yoichiro0903n/blue/main/attitudewithMV.csv

#### データ検査ノードを解説した推しノードブログ

https://www.ibm.com/blogs/solutions/jp-ja/spssmodeler-push-node-3/

#### SPSS Modelerのデータ検査ノード（目的変数がカテゴリ型）をPythonで書き換える。

https://qiita.com/kawada2017/items/2a99ab2941f3793fc300

#### ノードのヘルプ

https://www.ibm.com/docs/ja/spss-modeler/18.3.0?topic=nodes-data-audit-node

#### SPSS Modeler 逆引きストリーム集（データ加工）

https://qiita.com/416nishimaki/items/4bf813e6cba84b2a1008

#### SPSS Modeler ノードリファレンス目次

https://qiita.com/416nishimaki/private/503037195081d3323eee