DataLiner 1.2.0をリリースしたので新たに追加した前処理を紹介します

# はじめに
機械学習の前処理ライブラリDataLiner 1.2.0をリリースしました。
今回は新たに6つほど前処理を追加しましたので紹介したいと思います。

GitHub: https://github.com/shallowdf20/dataliner
PyPI: https://pypi.org/project/dataliner/
Document: https://shallowdf20.github.io/dataliner/preprocessing.html

# インストール
pipを使ってインストールします。

```
! pip install -U dataliner
```

# データ準備
いつも通りTitanicのデータを使用します。

```python
import pandas as pd
import dataliner as dl

df = pd.read_csv('train.csv')
target_col = 'Survived'

X = df.drop(target_col, axis=1)
y = df[target_col]
```

|PassengerId|Pclass|                       Name                        | Sex  |Age|SibSp|Parch|     Ticket     | Fare |Cabin|Embarked|
|----------:|-----:|---------------------------------------------------|------|--:|----:|----:|----------------|-----:|-----|--------|
|          1|     3|Braund, Mr. Owen Harris                            |male  | 22|    1|    0|A/5 21171       | 7.250|NaN  |S       |
|          2|     1|Cumings, Mrs. John Bradley (Florence Briggs Thayer)|female| 38|    1|    0|PC 17599        |71.283|C85  |C       |
|          3|     3|Heikkinen, Miss. Laina                             |female| 26|    0|    0|STON/O2. 3101282| 7.925|NaN  |S       |
|          4|     1|Futrelle, Mrs. Jacques Heath (Lily May Peel)       |female| 35|    1|    0|113803          |53.100|C123 |S       |
|          5|     3|Allen, Mr. William Henry                           |male  | 35|    0|    0|373450          | 8.050|NaN  |S       |

では、早速見ていきましょう。

## AppendArithmeticFeatures
データに含まれる特徴量同士で四則演算を行い、演算に使った特徴量よりも評価指標が高い特徴量を新たに追加します。
評価はロジスティック回帰で行われます。デフォルトではかけ算、評価指標はAUCですが、足し算、引き算や割り算、Accuracyなども利用可能です。
利用前に欠損値を補完する必要があります。

```python
process = make_pipeline(
    dl.ImputeNaN(),
    dl.AppendArithmeticFeatures(metric='roc_auc', operation='multiply')
)
process.fit_transform(X, y)
```

|PassengerId|Pclass|                       Name                        | Sex  |Age|SibSp|Parch|     Ticket     | Fare | Cabin |Embarked|PassengerId_multiply_Age|PassengerId_multiply_SibSp|PassengerId_multiply_Parch|Pclass_multiply_Age|
|----------:|-----:|---------------------------------------------------|------|--:|----:|----:|----------------|-----:|-------|--------|-----------------------:|-------------------------:|-------------------------:|------------------:|
|          1|     3|Braund, Mr. Owen Harris                            |male  | 22|    1|    0|A/5 21171       | 7.250|B96 B98|S       |                      22|                         1|                         0|                 66|
|          2|     1|Cumings, Mrs. John Bradley (Florence Briggs Thayer)|female| 38|    1|    0|PC 17599        |71.283|C85    |C       |                      76|                         2|                         0|                 38|
|          3|     3|Heikkinen, Miss. Laina                             |female| 26|    0|    0|STON/O2. 3101282| 7.925|B96 B98|S       |                      78|                         0|                         0|                 78|
|          4|     1|Futrelle, Mrs. Jacques Heath (Lily May Peel)       |female| 35|    1|    0|113803          |53.100|C123   |S       |                     140|                         4|                         0|                 35|
|          5|     3|Allen, Mr. William Henry                           |male  | 35|    0|    0|373450          | 8.050|B96 B98|S       |                     175|                         0|                         0|                105|

このように新しい特徴量が追加されます。


## RankedEvaluationMetricEncoding
各カテゴリーをダミー変数化した上で、それぞれのカテゴリ列と目的変数でロジスティック回帰を行います。
その結果の評価指標(デフォルトではAUC)を使ってランキングを作成し、その順位で元々のカテゴリーをエンコードします。
各カテゴリに5 foldのロジ回帰をフィットする関係上、カーディナリティの高い特徴量では計算量が膨大になるため事前に
DropHighCardinalityやGroupRareCategoryなどを使ってカーディナリティを下げておくことを推奨します。

```python
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedEvaluationMetricEncoding()
)
process.fit_transform(X, y)
```

|PassengerId|Pclass|Name|Sex|Age|SibSp|Parch|Ticket| Fare |Cabin|Embarked|
|----------:|-----:|---:|--:|--:|----:|----:|-----:|-----:|----:|-------:|
|          1|     3| 640|  2| 22|    1|    0|   288| 7.250|    1|       1|
|          2|     1| 554|  1| 38|    1|    0|   284|71.283|   77|       2|
|          3|     3| 717|  1| 26|    0|    0|   256| 7.925|    1|       1|
|          4|     1| 803|  1| 35|    1|    0|   495|53.100|  112|       1|
|          5|     3| 602|  2| 35|    0|    0|    94| 8.050|    1|       1|

尚、ランキングを出力させることでカテゴリ変数内の各カテゴリーがどのくらい重要かを確認することもできます。

```python
process['rankedevaluationmetricencoding'].dic_corr_['Embarked']
```
|Category|Rank|Evaluation_Metric|
|--------|---:|----------------:|
|S       |   1|           0.5688|
|C       |   2|           0.5678|
|Q       |   3|           0.4729|

## AppendClassificationModel
入力データを元に分類器を学習させ、その予測結果を新たな特徴量として追加します。
modelはsklearn準拠モデルであれば何でも使用可能です。また、predict_probaメソッドが実装されていれば
引数probability=Trueを与えることでラベルの代わりにスコアを追加できます。
モデルを学習させるので基本的に欠損値補完とカテゴリ変数の処理が必要になります。

```python
process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.AppendClassificationModel(model=RandomForestClassifier(n_estimators=300, max_depth=5),
                                 probability=False)
)
process.fit_transform(X, y)
```

|PassengerId|Pclass| Name | Sex  |Age|SibSp|Parch|Ticket| Fare |Cabin |Embarked|Predicted_RandomForestClassifier|
|----------:|-----:|-----:|-----:|--:|----:|----:|-----:|-----:|-----:|-------:|-------------------------------:|
|          1|     3|0.3838|0.1889| 22|    1|    0|0.3838| 7.250|0.3039|  0.3390|                               0|
|          2|     1|0.3838|0.7420| 38|    1|    0|0.3838|71.283|0.3838|  0.5536|                               1|
|          3|     3|0.3838|0.7420| 26|    0|    0|0.3838| 7.925|0.3039|  0.3390|                               1|
|          4|     1|0.3838|0.7420| 35|    1|    0|0.4862|53.100|0.4862|  0.3390|                               1|
|          5|     3|0.3838|0.1889| 35|    0|    0|0.3838| 8.050|0.3039|  0.3390|                               0|

probability=Trueだとこうなります。クラス1に対するスコアが付与されます。

|PassengerId|Pclass| Name | Sex  |Age|SibSp|Parch|Ticket| Fare |Cabin |Embarked|Predicted_RandomForestClassifier|
|----------:|-----:|-----:|-----:|--:|----:|----:|-----:|-----:|-----:|-------:|-------------------------------:|
|          1|     3|0.3838|0.1889| 22|    1|    0|0.3838| 7.250|0.3039|  0.3390|                          0.1497|
|          2|     1|0.3838|0.7420| 38|    1|    0|0.3838|71.283|0.3838|  0.5536|                          0.8477|
|          3|     3|0.3838|0.7420| 26|    0|    0|0.3838| 7.925|0.3039|  0.3390|                          0.5401|
|          4|     1|0.3838|0.7420| 35|    1|    0|0.4862|53.100|0.4862|  0.3390|                          0.8391|
|          5|     3|0.3838|0.1889| 35|    0|    0|0.3838| 8.050|0.3039|  0.3390|                          0.1514|

## AppendEncoder
DataLinerに含まれる各種Encoderはカテゴリ列をエンコードした数値で直接置き換えます。
しかし場合によっては置き換えず新しい特徴量として利用したい場合もあるかと思います。(TargetMeanEncoderなど)
その場合は、Encoderをこのクラスでラップしてあげることで特徴量として追加されるようになります。

```python
process = make_pipeline(
    dl.ImputeNaN(),
    dl.AppendEncoder(encoder=dl.TargetMeanEncoding())
)
process.fit_transform(X, y)
```
|PassengerId|Pclass|                       Name                        | Sex  |Age|SibSp|Parch|     Ticket     | Fare | Cabin |Embarked|Name_TargetMeanEncoding|Sex_TargetMeanEncoding|Ticket_TargetMeanEncoding|Cabin_TargetMeanEncoding|Embarked_TargetMeanEncoding|
|----------:|-----:|---------------------------------------------------|------|--:|----:|----:|----------------|-----:|-------|--------|----------------------:|---------------------:|------------------------:|-----------------------:|--------------------------:|
|          1|     3|Braund, Mr. Owen Harris                            |male  | 22|    1|    0|A/5 21171       | 7.250|B96 B98|S       |                 0.3838|                0.1889|                   0.3838|                  0.3039|                     0.3390|
|          2|     1|Cumings, Mrs. John Bradley (Florence Briggs Thayer)|female| 38|    1|    0|PC 17599        |71.283|C85    |C       |                 0.3838|                0.7420|                   0.3838|                  0.3838|                     0.5536|
|          3|     3|Heikkinen, Miss. Laina                             |female| 26|    0|    0|STON/O2. 3101282| 7.925|B96 B98|S       |                 0.3838|                0.7420|                   0.3838|                  0.3039|                     0.3390|
|          4|     1|Futrelle, Mrs. Jacques Heath (Lily May Peel)       |female| 35|    1|    0|113803          |53.100|C123   |S       |                 0.3838|                0.7420|                   0.4862|                  0.4862|                     0.3390|
|          5|     3|Allen, Mr. William Henry                           |male  | 35|    0|    0|373450          | 8.050|B96 B98|S       |                 0.3838|                0.1889|                   0.3838|                  0.3039|                     0.3390|

## AppendClusterTargetMean
データでクラスタリングを行い、クラスター番号を振ります。(ここまではAppendClusterと同一)
その後、各クラスター番号をクラスタ内の目的変数の平均で置き換え、新たな特徴量として追加します。
欠損値の補完とカテゴリ変数の処理が必要になります。

```python
process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.AppendClusterTargetMean()
)
process.fit_transform(X, y)
```
|PassengerId|Pclass| Name | Sex  |Age|SibSp|Parch|Ticket| Fare |Cabin |Embarked|cluster_mean|
|----------:|-----:|-----:|-----:|--:|----:|----:|-----:|-----:|-----:|-------:|-----------:|
|          1|     3|0.3838|0.1889| 22|    1|    0|0.3838| 7.250|0.3039|  0.3390|      0.3586|
|          2|     1|0.3838|0.7420| 38|    1|    0|0.3838|71.283|0.3838|  0.5536|      0.3586|
|          3|     3|0.3838|0.7420| 26|    0|    0|0.3838| 7.925|0.3039|  0.3390|      0.3586|
|          4|     1|0.3838|0.7420| 35|    1|    0|0.4862|53.100|0.4862|  0.3390|      0.3586|
|          5|     3|0.3838|0.1889| 35|    0|    0|0.3838| 8.050|0.3039|  0.3390|      0.3586|


## PermutationImportanceTest
特徴量選択手法の一種です。ある特徴量のデータをランダムにシャッフルした場合としなかった場合で、
モデル予測結果の評価指標がどのぐらい悪化するかという観点で特徴量選択を行います。
データをランダムにシャッフルしても評価指標にあまり影響がない場合は、その特徴量は効いていないとして削除します。

```python
process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.PermutationImportanceTest()
)
process.fit_transform(X, y)
```

|Pclass| Sex  |Age|SibSp|Ticket| Fare |Cabin |Embarked|
|-----:|-----:|--:|----:|-----:|-----:|-----:|-------:|
|     3|0.1889| 22|    1|0.3838| 7.250|0.3039|  0.3390|
|     1|0.7420| 38|    1|0.3838|71.283|0.3838|  0.5536|
|     3|0.7420| 26|    0|0.3838| 7.925|0.3039|  0.3390|
|     1|0.7420| 35|    1|0.4862|53.100|0.4862|  0.3390|
|     3|0.1889| 35|    0|0.3838| 8.050|0.3039|  0.3390|

Name, PassengerIdとParchが削除されました。以下のようにして削除された特徴量を確認することもできます。

```python
process['permutationimportancetest'].drop_columns_
```

>['PassengerId', 'Name', 'Parch']

他にもしきい値thresholdを調整することで感度を調整できます。詳しくはDocument参照。

# おわりに
上記が新しく追加した前処理です。RankedEvaluationMetricEncodingはたまにTargetMeanEncoding以上の精度が出たりするのでよく試します。
またPermutationImportanceTestはBorutaやStep-wise法と比べても高速に実行できる割に意外と差がなかったりするので
DropLowAUCよりは真面目に(?)特徴量選択したい場合に使ってみるのもありかと思います。

リリース記事:
<a href="https://qiita.com/shallowdf20/items/36727c9a18f5be365b37">[Ver1.1.9更新] 機械学習用データ前処理ライブラリDataLinerを作ってみた</a>

1.2以前の前処理については以下で紹介しています。
<a href="https://qiita.com/shallowdf20/items/eb35a9cf3c24403debb1">Titanicデータを前処理ライブラリDataLinerで処理してみる(Drop編)</a>
<a href="https://qiita.com/shallowdf20/items/e07d4ce0650b24e505d6">Titanicデータを前処理ライブラリDataLinerで処理してみる(Encoding編)</a>
<a href="https://qiita.com/shallowdf20/items/f58cec788a10e504c33c">Titanicデータを前処理ライブラリDataLinerで処理してみる(変換編)</a>
<a href="https://qiita.com/shallowdf20/items/b066ad6c5d55b97b33d7">Titanicデータを前処理ライブラリDataLinerで処理してみる(Append編)</a>