IBM Cloud Pak for Data as a Serviceを始めてみる（3.分析環境編）

#### IBM Cloud Pak for Data の XaaS 版 as a Service の始め方をまとめました。

この記事は主に、<strong>データ利用者側</strong>の操作を説明しています。

データ分析をしたい！と思い立った時に、セルフサービスで、データの分析環境をWebに立ち上げて、前処理やノンコーディングで機械学習モデルを作成するなどが可能です。クイックにデータを活用できるので、データの利用を促進していくことができます。



#IBM Cloud Pak for Data as a Serviceを始めてみる（3.分析環境編）

### 目次
1. はじめに
2. 分析環境（Watson Studio）に作業スペース（分析プロジェクト）を追加する
3. 分析プロジェクト解説
4. csvファイルをアップロードする
5. Data Refinery を使ってデータの前処理をする


### シリーズ目次
-<strong>管理者向け</strong>
[IBM Cloud Pak for Data as a Serviceを始めてみる（1.プロビジョニング編）](https://qiita.com/Asuka_Saito/items/df3467dc4c9919772c63)
-<strong>全員</strong>
[IBM Cloud Pak for Data as a Serviceを始めてみる（2.ログイン編）](https://qiita.com/Asuka_Saito/items/457658cf9304e6adff38)
-<strong>データ利用者向け</strong>
[IBM Cloud Pak for Data as a Serviceを始めてみる（3.分析環境編）](https://qiita.com/Asuka_Saito/items/d01a1fc4c5ec5068daeb)
[IBM Cloud Pak for Data as a Serviceを始めてみる（4.データの前処理編）](https://qiita.com/Asuka_Saito/items/1354e7ecbe2b2fb75b3a)
[IBM Cloud Pak for Data as a Serviceを始めてみる（5.モデルの自動作成）](https://qiita.com/Asuka_Saito/items/17ba627abd81d421a8b7)
[IBM Cloud Pak for Data as a Serviceを始めてみる（6.モデルのデプロイと呼び出し）](https://qiita.com/Asuka_Saito/items/814b17acb7f8357bdfab)
[IBM Cloud Pak for Data as a Serviceを始めてみる（7.ダッシュボードの作成）]
(https://qiita.com/Asuka_Saito/items/79a3b9cd7f65b45d04a3)
-<strong>データ提供者向け</strong>
[IBM Cloud Pak for Data as a Serviceを始めてみる（8.カタログの作成）](https://qiita.com/Asuka_Saito/items/3890263e23e4814416a0)
[IBM Cloud Pak for Data as a Serviceを始めてみる（9.ビジネス用語の作成）](https://qiita.com/Asuka_Saito/items/bb6d98ff8cb76e3e19a9)
[IBM Cloud Pak for Data as a Serviceを始めてみる（10.メタデータのインポート）](https://qiita.com/Asuka_Saito/items/c7de6d112f45ea9dbe3b)
[IBM Cloud Pak for Data as a Serviceを始めてみる（11.ビジネス用語の割り当て）](https://qiita.com/Asuka_Saito/items/65da51d93a5433fefbf5)
-<strong>データ利用者向け</strong>
[IBM Cloud Pak for Data as a Serviceを始めてみる（12.カタログ検索してデータを見つける）](https://qiita.com/Asuka_Saito/items/acbc313f48044f8b96c0)
-<strong>管理者向け</strong>
[IBM Cloud Pak for Data as a Serviceを始めてみる（13.Db2のサービスを追加する）](https://qiita.com/Asuka_Saito/items/373e04aabe9dc173ed51)


-<strong>その他参考</strong>
[IBM Cloud Pak for Data as a Serviceを始めてみる（14.GoSalesのデータを使う）](https://qiita.com/Asuka_Saito/items/74a95ed99f6209380b34)
[IBM Cloud Pak for Data as a Serviceを始めてみる（15.コールセンターのデータセットを使う）](https://qiita.com/Asuka_Saito/items/8d436e1279e71d76ad4b)
[IBM Cloud Pak for Data as a Serviceを始めてみる（16.Modelerフローのサンプルを使ってみる - 薬剤研究例 ）](https://qiita.com/Asuka_Saito/items/44aa14bc12c84bdbed24)
[IBM Cloud Pak for Data as a Serviceを始めてみる（17.Db2のサービスへの接続情報を追加する）](https://qiita.com/Asuka_Saito/items/9a486cdad53ab675fa49)
[IBM Cloud Pak for Data as a Serviceを始めてみる（18.機能改善やアイディアを投稿する）](https://qiita.com/Asuka_Saito/items/81b60a7c361ae3e0face)
[IBM Cloud Pak for Data as a Serviceを始めてみる（19.Modelerフローで不良品件数予測モデルを開発する ）](https://qiita.com/Asuka_Saito/items/6f74dc885f6e54ca0caa)
[IBM Cloud Pak for Data as a Serviceを始めてみる（20.無償プランの枠を使い切った場合）](https://qiita.com/Asuka_Saito/items/1fae6bc10817986095bd)


### 1. はじめに 

この記事はIBM Cloud Pak for Data as a Service の分析環境であるWatson Studioを使って、csvファイルの前処理をするところまでを説明したいと思います。



### 2. 分析環境（Watson Studio）に作業スペース（分析プロジェクト）を追加する

2-1. IBM Cloud Pak for Data as a Serviceにログインし、TOPページを表示します。
![2-1.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/6ef7003b-2d04-ce19-3145-4ed2f2ef30b1.png)




2-2. 左上のナビゲーション・メニューをクリックし、メニューを表示させます。「プロジェクト」＞「すべてのプロジェクトの表示」をクリックします。
![2-2.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/5625aace-211c-6bd2-7471-4b5f842fad23.png)




2-3. 「新規プロジェクト」をクリックします。
![2-3.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/ed1e2976-f65c-98a4-f963-4ac817d365d5.png)


2-4. 「空のプロジェクトの作成」をクリックします。
![2-4.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/d0dcc25d-ca22-9893-d3c3-133acc2b8ecc.png)

2-5. プロジェクトの名前を入力し、右側のストレージの定義から「追加」をクリックします。
![2-5.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/a72297b8-0730-2686-2841-5976cad86f05.png)

2-6. Cloud Object Storageを追加する画面になります。任意のプランを選択し「Create」をクリックします。
（このページは鋭意日本語翻訳中です。）
![2-6.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/0652a35c-8961-191c-895f-28644575c91d.png)

2-7. 「最新表示」をクリックします。
![2-7.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/8c16dd3a-c212-ee66-dcf6-d74a952e5752.png)

2-8. Cloud Pbject Storageが追加されたら、「作成」をクリックします。
![2-8.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/7264d8bb-abf6-8bb0-a803-9348e5d98b00.png)

2-9. 分析環境（Watson Studio）に分析用のスペースが作成できました。
![2-9.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/d4a20b72-6a9f-7e03-b973-2dffa3cc4d1b.png)


### 3. 分析プロジェクトの中身解説

3-1. 「資産」タブ
分析プロジェクトに追加したcsvファイルやデータベースへのConnectionなどが表示されます。「プロジェクトに追加」をクリックしてNotebookやSPSS Modelerなども追加することができます。
![3-1.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/1dcf2c85-b967-f455-9d3d-818d695a03ac.png)

3-2. 「環境」タブ
「今月のキャパシティー・ユニット時間 (CUH) の使用状況」で使用状況を確認できます。契約しているプランによって月当たりの使用できるCHUが異なります。
![3-2.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/fe639e6f-b03c-f4a4-e1a4-d15b88924105.png)

ランタイムを明示的に停止するには、「アクティブな環境ランタイム」からランタイムを選択して「停止」します。
![3-2.WS-3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/467bec6f-3476-98c3-c017-179d204e133c.png)


また、実行するランタイムやCPU、メモリのセットをカスタマイズして追加が可能です。「環境定義」から「新規環境定義」をクリックし、表示される設定画面で、実行環境のランタイムやCPU等を指定します。
![3-2.WS-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/f09d3369-3541-8007-2829-05846936f62d.png)


3-3. 「ジョブ」タブ
NotebookやAutoAI、Data Refineryといったツールはジョブを実行してデータを生成します。ジョブを実行した場合このタブに表示されます。

3-4. 「アクセス制御」
分析プロジェクトはチームで作業できるように設計されています。コラボレーターを追加することで、分析プロジェクトそのものを共有して一緒に作業することが可能です。（契約しているプランがLiteの場合はできません。）
![3-4.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/bef3a367-ca95-c802-fc44-c4a7ba3783a6.png)


### 4. csvファイルをアップロードする

4-1. 「資産」タブに戻って、右側の「ロード」からローカルのPCにあるcsvファイルをアップロードします。
こちらの記事と同じcsvファイルを[こちらのGithub](https://github.com/AsukaSaito0222/qiita)からダウンロード可能です。
![4-1.up.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/a9e0ed5b-387a-e287-0a7e-e0cad2b3e135.png)




### 5. Data Refinery を使ってデータの前処理をする

Data Refinery を使うと、分析者自身がデータの前処理を簡単に行うことができます。

5-1. アップロードしたファイルのファイル名をクリックします。
![5-1.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/a6bbf63e-078d-74d4-1201-2340f332ff41.png)

5-2. ファイルの中身の最初の1000件が表示されます。
![5-2.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/41b7f64e-eacb-f106-3117-9d8768429c03.png)

5-3. 「整形」をクリックします。データの整形ができるツール（Data Refinery）が起動します。
![5-3.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/6261cd64-745a-fb4b-3df1-82b3436039a3.png)

5-4. 「プロファイル」タブをクリックします。列に入っているデータの傾向が確認できます。DEFECT_QUANTITYには「欠陥」（NULL）が結構あることがわかります。
![5-4.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/20f695dd-7ae4-a5b5-33a1-d6e0a2ef5a7f.png)

5-5. 「データ」タブに戻ります。先ほどのDEFECT_QUANTITYの「欠陥」（NULL）は分析の邪魔になるので除いておきたい場合、「空の行の削除」を実施します。この操作は、画面上は最初の10000件に適用されます。データ全件に適用し、ファイルやデータベースに出力するには、ジョブを実行します。
![5-5.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/20737fa5-c768-258c-cefe-fd17fb39e666.png)

5-6. ジョブを実行するには、「ジョブを保存して作成」をクリックします。
![5-6.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/8e6f4b70-37cc-e3f9-c967-f4a447e03337.png)

5-7. ジョブ名を入力して「次へ」をクリックします。
![5-7.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/efd05351-6e6c-b689-7b99-081b1a15eb7a.png)

5-8. ランタイムを指定して「次へ」をクリックします。
![5-8.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/73c66386-cd7d-9588-521c-4e44fd4daed3.png)



5-9. スケジュールを設定することも可能です。
![5-9.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/d106d19e-ea6f-d9cb-ed98-14b739d36893.png)


5-10. 最後に設定をレビューします。「作成」または「作成して実行」をクリックします。（スケジュール実行の場合は「作成」のみがクリックできます。）
![5-10.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/707a2855-8e75-ceb7-2a56-be2c898d2e54.png)

5-11. この記事では、スケジュール起動にしたので、今しばらく待ちます。
![5-11.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/9828b108-d072-9c09-943f-e50dd813505a.png)

5-12. 時間になるとジョブが起動します。
![5-12.DR.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/f315d277-ec36-0f4b-b4c6-889f2342a04b.png)


開始時刻をクリックするとログを確認できます。
![5-12.WS-2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/8156728a-c2d2-ced7-011b-e33967568c50.png)


5-13. ジョブが完了したら、左上のリンクからプロジェクト名をクリックし、「資産」タブに戻り、ジョブで生成したscvファイルが保存されていることを確認します。このように、分析者自身がデータの前処理を簡単に行うことができます。
![5-13.WS.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/435996/c743283a-8d5b-231a-9794-68fa163c2340.png)


Deta Refineryのより詳細な使い方は
[IBM Cloud Pak for Data as a Serviceを始めてみる（4.データの前処理編）](https://qiita.com/Asuka_Saito/items/1354e7ecbe2b2fb75b3a)をご参照ください。