Watson OpenScaleによる実践（構成のステップ）

#はじめに

この記事では、Watson OpenScaleのモニタリングの構成手順を解説していきます。


------
#Watson OpenScaleの構成ステップ
####データ概要
今回モニタリングするモデルは、以下の"Telco_Customer_Churn"のデータを対象としています。このデータセットをもとに特徴量を加工してモデルを作成しています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/b6750d10-b3cb-b096-b950-4de362b2d7d2.png)

-------
####構成手順
大きく5つのステップに分けられます。

①システムのセットアップ
②モデルのモニタリング構成
③公平性の構成
④品質の構成
⑤ドリフトの構成

-------
####①システムのセットアップ
 - データベース・タイプの選択
    - サイドバーから「構成」を選択します。
    - 「データベース」右にある編集マークを選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/a926e331-8b37-8d42-d459-cb4595f8a2a8.png)

    - データベース・タイプのドロップダウンメニューから『無料のライト・プラン・データベース』を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/8a752759-0ea8-0b5f-1da0-6acc71df4abc.png)

    - 「保存」をクリックします。以上でデータベース・タイプの設定は完了です。

------


- 機械学習プロバイダーの構成
    - 「機械学習プロバイダー」を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/33f87508-ed8c-a4f7-e1b7-d11c714fd297.png)

    - 「機械学習プロバイダーの追加」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/b434c50c-f963-824a-da6a-609df1f23a22.png)

    - 薄い字で書かれた「機械学習プロバイダー」右にある編集マークを選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/c725e2e5-67ab-97c0-e6ba-3e5d1512c540.png)

    - 名前を変更し、「適用」をクリックします。機械学習プロバイダーの名前が変更されます。
  
    - 「接続」の編集マークを選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/b60edbe8-7cfa-7271-1556-d7d4a445393a.png)

    - 「サービス・プロバイダー」のドロップダウンメニューから「Watson Machine Learning(V2)」を選択します。
    - 「デプロイメント・スペース」のドロップダウンメニューから、使用するデプロイメントスペースを選択します。
    - 「環境タイプ」：実働を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/02f1ac0f-94a2-575c-41a0-17874838a093.png)


    - 「保存」をクリックします。以上で機械学習プロバイダーの構成は完了です。
    - 作成した機械学習プロバイダーが追加されていることを確認します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/9917e64d-3f69-ac8f-bd36-ab5207a261c5.png)


------

####②モデルのモニタリング構成
- ダッシュボードへの追加
    - サイドバーから「洞察ダッシュボード」を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/910a4517-c77d-7155-c8e2-eb73175a01e1.png)

    - 「ダッシュボードに追加」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/5b033574-22e4-4c96-cbfc-67708d0c628d.png)

    - 「機会学習プロバイダー」のドロップダウンメニューから、先ほど作成した機械学習プロバイダーを選択します。
    - 「デプロイメント」で、モニター対象とするモデルを選択します。
    - 「構成」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/cb03cd94-f3f5-9772-7f87-bd15a53b1bbf.png)



    - 以上でダッシュボードへの追加は完了です。「モニタリングの構成」を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/ca53cb09-4a28-a759-3ac1-1fc6abb29f6f.png)

--------
- モデル入力データの指定
    - 「モデル入力データ」の編集マークをクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/d2b2d378-e373-efb4-d1c0-0f5628d82c82.png)

今回のモデルは、顧客が解約したか否かを判別する二値分類モデルであることから、

 - 「データ・タイプ」のドロップダウンメニューから「数値/分類」を選択します。
 - 「アルゴリズムのタイプ」のドロップダウンメニューから「二項分類」を選択します。
 -  「保存して続行」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/826b80d8-cde9-d0e2-2d62-2f5a1a6157bf.png)


-------
- 訓練データの登録
    - 「訓練データ」の編集マークをクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/8f6cff4a-c2d3-0c75-5bd8-09dd6d2e9134.png)


    - 今回は訓練データをCloud Object Storage上に配置しているため、「ストレージ・タイプ」のドロップダウンメニューから「データベースまたはクラウド・ストレージ」を選択します。
    - 「場所」のドロップダウンメニューから「Cloud Object Storage」を選択します。
    - 「リソース・インスタンスID」「APIキー」にはIBM Cloud Object Storageの資格情報を貼り付けます。
    - 「接続」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/faf74449-bfcc-0b02-6982-b8f8784b0b44.png)




    - 「バケット」のドロップダウンメニューから、使用するバケットを選択します。
    - 「データ・セット」のドロップダウンメニューから、登録する訓練データを選択します。
    - 「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/ab034ada-191d-341b-5aa6-b05b12c91ca0.png)


---------
- 訓練データ・ラベル
    - 「ラベル列の選択」：目的変数を選択します（デフォルトで選択されています）。今回はCHURNを選択します。
    - 「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/eb89cad6-1cdf-5d5d-f3ea-3de39dcc9526.png)


-------
- 訓練データの特徴量
    - 「訓練の特徴量の選択」：全て選択します（デフォルトで選択されています）。
    - 「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/3a628e86-2927-ebae-1788-9947859d312b.png)


-------
- モデル出力の検査
    -  「評価方式」のドロップダウンメニューから「JSONペイロード」を選択します。
    -  デフォルトで表示されるサンプルを基に、枠内にJSON形式のテキストを入力します。
    -  「今すぐ送信」をクリックします。
    -  『評価要求が正常に終了しました』との表示が出たら「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/7ef8d71e-fe67-596f-1638-3a6d0ee8b599.png)


 -------
- モデル出力の詳細を指定
    - 予測確率列の選択："probability"を選択します。
    - 予測列の選択："prediction"を選択します。
    - 「保存」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/b108509c-a72c-ef9a-b7d6-2102da18a657.png)




    - 以上でモデルのモニタリング構成は完了です。以下のような画面が表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/2205c18a-629d-b389-0d38-cecf264067ea.png)



-------
####③公平性の構成
- 左から「公平性」を選択し、「好ましい結果」の編集マークをクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/89f9c93e-c2ea-bfb8-f5c1-87147c89538c.png)

- 「好ましい結果の選択」：1=CHURN=「好ましくない」と設定し、「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/40b7b56c-56ec-e952-d51f-10845180863d.png)

- 「サンプル・サイズ」：1000（デフォルト）と設定し、「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/abfac368-7b18-013e-cb3b-a338b811064e.png)

- 「モニタリング対象のフィールドを選択」：GENDER_Male(OpenScaleが自動で選択)とPARTNER_Yesを設定し、「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/535602dc-c420-3595-dceb-38177c017c97.png)

- 「[GENDER_Male] のモニタリング対象グループを指定する」：0-0=Femaleをモニタリング、1-1=Maleを参照と設定し、「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/b54b6e82-408b-253d-edf1-bd1102a44959.png)

- 「[PARTNER_Yes] のモニタリング対象グループを指定する」：0-0=Noをモニタリング、1-1=Yesを参照と設定し、「保存」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/89a1c490-0190-5bea-e283-22b5640675d8.png)

- 以上で「公平性」の構成は完了です。以下のような画面が表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/99d4812c-ca9c-4e53-1b25-3d5fefa3a8b5.png)

--------
####④品質の構成
- 左から「品質」を選択し、「品質のしきい値」の編集マークをクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/48da90d4-79eb-d63c-8157-848e64c7a962.png)

- 「品質のしきい値」：0.8(デフォルト)と設定し、「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/63981070-200f-ca41-c847-84899b25f7ed.png)

- 「サンプル・サイズ」：1000(デフォルト)と設定し、「保存」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/5b2f7c5b-04b7-1fa7-88e2-987095187c82.png)

- 以上で「品質」の構成は完了です。以下のような画面が表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/48833f70-7359-e743-7867-8170ae37a793.png)

-------
####⑤ドリフトの構成
- 左から「ドリフト」を選択し、「ドリフト・モデル」の編集マークをクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/e453e363-acf6-7865-4526-70d0d2b2a094.png)

- 「ドリフト・モデルを訓練する」：「Watson OpenScale で訓練する」を選択し、「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/f9054c8b-adeb-9e39-85dc-668dcb9b18a9.png)

- 「ドリフトしきい値」：10％(デフォルト)と設定し、「次へ」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/be6e3e9b-dbdd-af60-312a-f0af229fe669.png)

- 「サンプル・サイズ」：1000(デフォルト)と設定し、「保存」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/b1ff3041-e301-f694-ae1d-ccd77acffd85.png)

-以上で「ドリフト」の構成は完了です。以下のような画面が表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2139447/f783282f-9875-0ef3-c999-5f742e960460.png)


---------
Watson OpenScaleのモニタリングの構成手順は以上となります。