IQR（四分位範囲）の1.5倍を外れ値として削除/抽出する(SPSS Modeler データ加工逆引き3-16)

## IQR（四分位範囲）の1.5倍を外れ値として削除/抽出する

![スクリーンショット 2022-10-14 13.54.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/9cda7671-eadf-911d-db91-d2ac2e5115f8.png)

## 1.想定される利用目的

・予測モデルの精度安定化のための前処理
・異常検知のためのデータ理解

## 2.サンプルストリームのダウンロード

https://github.com/yoichiro0903n/blue/blob/main/IQR.str?raw=true

## 3.サンプルストリームの説明

![スクリーンショット 2022-10-14 18.24.59.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/f40c9542-8f33-c2d3-7c81-b05d309d4e16.png)

a.入力するデータは以下の通りです。[Cate]は箱ヒゲ図を表示させるための便宜的なグループ番号です。
![スクリーンショット 2022-10-14 14.29.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/1f0b5459-4db9-96c9-0c6a-ee9f4fae1a8d.png)

#### [データ検査]ノードを利用する方法

b.[データ検査]ノードを編集します。外れ値を4分位から1.5倍で設定し[実行]します。
![スクリーンショット 2022-10-14 18.28.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/5e581e0e-d53d-6969-c937-630f5cac6289.png)

[アクション]の項目を[破棄]に選択します。
![スクリーンショット 2022-10-14 18.29.10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/3ff99b26-1542-83d8-a3b4-ca03fbf49c52.png)

[生成]メニューからスーパーノードを生成します。cが自動生成されます。
![スクリーンショット 2022-10-14 18.30.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d3628034-0995-3778-a41b-53c6b210ba02.png)

c.ズームインして条件が[破棄]されていることを確認します。
![スクリーンショット 2022-10-14 18.30.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/6e8cc509-93e2-0913-0321-7ce2d48cbee1.png)

[テーブル]を実行します。外れ値を除外した99,351レコードが抽出されました。
![スクリーンショット 2022-10-14 18.32.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/34c9d620-5790-cd15-b088-68a43c4f593d.png)

d.ズームインして条件が[含める]になっていることを確認します。
![スクリーンショット 2022-10-14 18.31.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d30cf658-94f1-e7d0-e9b6-826653678b47.png)

[テーブル]を実行します。外れ値に該当する649レコードが抽出されました。
![スクリーンショット 2022-10-14 18.32.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/deaf3168-a75c-0abd-8880-11bcea208225.png)

#### [レコード集計]ノードと[レコード結合]ノードを利用する方法

e.[グラフボード]ノードを実行します。箱ヒゲ図の上下にプロットされた丸を外れ値と定義して削除/抽出します。
![スクリーンショット 2022-10-14 14.03.05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/c34dde15-6800-6bc7-ff51-3c37d4544e98.png)

f.[レコード集計]ノードを編集します。第1四分位と第3四分位を求めます。
![スクリーンショット 2022-10-14 14.03.48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/8538f7ec-b754-3abb-4ea6-ae35161180de.png)

g.[レコード結合]ノードを編集します。全てのレコードにcで求めたふたつの値を全て付与するために[レコード結合方法]は[キー]にしながら[結合キー]はブランクにします。
![スクリーンショット 2022-10-14 14.04.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d9b6be61-e546-22b8-3e97-c2fe1b9f8843.png)

h.[フィールド作成]ノードを編集します。四分位範囲を作成します。
![スクリーンショット 2022-10-14 14.05.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/bb180340-ab3e-24b9-e032-3fe45e32168d.png)

[プレビュー]します。
![スクリーンショット 2022-10-14 14.06.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/c5e15224-3f83-de24-64bc-538c457f7a04.png)

i.[フィールド作成]ノードを編集します。外れ値フラグを作ります。
![スクリーンショット 2022-10-14 14.08.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/a4cefcc7-4874-543a-2605-ac9b2480643d.png)

j.[ヒストグラム]ノードを実行します。
![スクリーンショット 2022-10-14 14.08.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/fb4cb07b-7ea0-8bf5-490b-c5d1325b97a5.png)

k.[条件抽出]ノードを編集します。iと同じ式で外れ値を破棄しています。
![スクリーンショット 2022-10-14 14.10.43.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/ce55b74e-eaca-2d28-fee0-60dff514641c.png)

[プレビュー]します。iで作成した外れ値フラグがないものだけが抽出されています。
![スクリーンショット 2022-10-14 14.11.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/e3d8f58d-0dcc-7943-3f6c-09a79d68b51f.png)

l.[条件抽出]ノードを編集します。kと同じ式でモードを反転し外れ値を抽出しています。
![スクリーンショット 2022-10-14 14.09.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d5d9f8db-f86a-4bdc-56c9-bd2cc865cfa5.png)

[プレビュー]します。iで作成した外れ値フラグがあるものだけが抽出されています。
![スクリーンショット 2022-10-14 14.10.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/a4fb67d8-a179-0ad3-ccd3-5f87d367c973.png)

#### 注意点

今回は箱ヒゲ図で利用するIQRを外れ値として利用しましたが、標準偏差を利用する方法も一般的です。

https://qiita.com/416nishimaki/items/9ab448424ca53b03f9f2

## 4.参考情報

#### データの自動準備の外れ値処理

https://qiita.com/416nishimaki/items/492b1522dd1ae083c664#%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E5%93%81%E8%B3%AA%E3%81%AE%E6%94%B9%E5%96%84%E3%81%A8%E5%80%A4%E3%81%AE%E6%A8%99%E6%BA%96%E5%8C%96

#### SPSS Modeler ノードリファレンス目次

https://qiita.com/416nishimaki/private/503037195081d3323eee

#### SPSS Modeler 逆引きストリーム集（データ加工）

https://qiita.com/416nishimaki/private/4bf813e6cba84b2a1008