ヒストグラムからマウスで外れ値を除外/フラグ化する(SPSS Modeler データ加工逆引き10-15)

# ヒストグラムからマウスで外れ値を除外/フラグ化する

![スクリーンショット 2024-05-07 8.54.34.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/673b3614-344a-bb56-06f0-5a958be75710.png)

## 1.想定される利用目的

・　特徴量作成のために分布を確認しながら値をカテゴリやフラグに分割する
・　予測モデル構築の際に精度の安定性を求めて外れ値を除外する

## 2.サンプルストリームのダウンロード

https://github.com/yoichiro0903n/blue/raw/main/hist_outliers.str

## 3.サンプルストリームの説明

![スクリーンショット 2024-05-07 8.54.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d25849fb-39a2-24f8-0c2b-b38c70a4e5fa.png)

a.入力するデータは次の通りです。
![スクリーンショット 2024-04-22 10.56.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d03db9f8-3182-1ad9-d1ef-ab9f57b21343.png)

b.[ヒストグラム]ノードを編集します。
![スクリーンショット 2024-04-22 10.57.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/183b5b8f-2e1a-ceed-9761-89da9e44a0e5.png)

[実行]します。値が１６０を超えると外れ値と認定することにします。
![スクリーンショット 2024-05-07 8.59.10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/337f6acd-c83f-fef0-7ffc-621086187781.png)


#### 分布を確認しながら外れ値を除去する

[表示]メニューから[インタラクティブ]にチェックを入れて、ツールボタンを表示させます。
![スクリーンショット 2024-04-22 10.58.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/2c24f83a-bde7-7759-d81a-269e7f20ca09.png)

赤枠のボタンを押して、マウスで以下のように分割します。
![スクリーンショット 2024-05-07 8.59.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/253f5643-ce7a-ee41-e40e-04dfdea15fdd.png)

赤い縦棒の右側で右クリックし[バンドの条件抽出ノード]を選択します。cのノードが自動生成されます。
![スクリーンショット 2024-05-07 9.00.40.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/5492ad6b-49a4-83cf-aa2c-e5850b084069.png)

c.[条件抽出]ノードを編集します。閾値をキリの良い値に編集することも可能です。
![スクリーンショット 2024-05-07 9.01.40.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/d5df535a-f0f1-2b7f-bf5a-6e02e5aebb7b.png)

d.[ヒストグラム]ノードを実行します。外れ値が除去できました。
![スクリーンショット 2024-05-07 9.01.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/1387aeeb-c502-fe5a-802b-8aa4b8c0e84b.png)

#### 分布を確認しながら外れ値にフラグを立てる

先のbのヒストグラムで以下のように[生成]メニューから[バンドのフィールド作成ノード]を選択します。dのノードが自動生成されます。

![スクリーンショット 2024-05-07 9.01.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/577add93-9bc4-4a1b-8f68-33bbd4a84668.png)

e.[フィールド作成]ノードを編集します。閾値をキリの良い値に編集することも可能です。
![スクリーンショット 2024-05-07 9.01.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/cfee66da-1962-9c56-1e35-036933f4e365.png)

f.[ヒストグラム]ノードを編集します。
![スクリーンショット 2024-05-07 9.02.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/8d1d31c1-c134-6708-c4ee-2973229a0738.png)

[実行]します。
![スクリーンショット 2024-05-07 9.02.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/22eb60b2-2946-5d24-3a26-bd1280103ede.png)

#### 注意事項

ビンを2本立てて中央のみ抽出や除去も同じ手続きで可能です。

![スクリーンショット 2024-05-07 10.14.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/286322/38eb30f4-2ebc-1b87-b7d0-2598257f1b35.png)

## 4.参考情報

#### ヒストグラムをマウスでビン分割しバンドを作成する

https://qiita.com/416nishimaki/items/ea2c2926e332fa496770

#### 値を25％（四分位）のランク毎に集計する

https://qiita.com/416nishimaki/items/8b7e583281a8ff869cd0

#### SPSS Modeler ノードリファレンス目次

https://qiita.com/416nishimaki/private/503037195081d3323eee

#### SPSS Modeler 逆引きストリーム集（データ加工）

https://qiita.com/416nishimaki/private/4bf813e6cba84b2a1008