watsonx.data: IBM Cloud SaaS版を無料のLite Planで作成

2024年4月30日からwatsonx.dataのIBM Cloud SaaS版で無料のLiteプランが使えるようになりました(期間とリソースの制限あり)。[Presto](https://www.ibm.com/jp-ja/topics/presto)と[Milvus](https://cloud.ibm.com/docs/watsonxdata?topic=watsonxdata-whatismilvus&mhsrc=ibmsearch_a&mhq=milvus)とSparkが使用できます。
当記事はそのサービスの作成方法について説明します。

2024年6月4日現在の情報です（GUIはコロコロ変わるので注意）。

> 2024年6月4日: 
>- 2024-05-31にSparkエンジンも使用できるようになったので、更新しました。
>- Liteプランは　失効後の再作成はできないことを追記
>- エンジン、サービスの一時停止・再開方法を追記
>- リソースまたは期間の制限に達した後の削除 を追記

# 1. Liteプランの制限
参考: https://cloud.ibm.com/docs/watsonxdata?topic=watsonxdata-pricing-plans-1#limitations-lite
- Liteプランは、1アカウントにつき1インスタンスのプロビジョニングに制限されます。
- Liteプランでは、インスタンスが停止されるまでのリソース単位 (RU) は 2000 に制限されます。上限値は IBM Cloud カタログのプロビジョニング・ページに表示され、プロビジョニング時に watsonx.data インスタンス内の請求ページに反映されます。**上限値の 2000 RUs に達するか、試用期間の 30 日を超えると、プランは失効します**。
- ~~Liteプランでは、スターターサイズ（1 時間あたり 1.25 RUs）の Presto エンジンまたは Milvus サービス、またはその両方を最大 1 つまでご利用いただけます。~~ 
- Liteプランでは、Prestoエンジン1台、Sparkエンジン（small size、シングルノード）1台、スターターサイズ（1時間あたり1.25RU）のMilvusサービス1台の制限で、これら3つすべてが利用いただけます。
- Liteプランは、各エンジンとサービスの最小ノードサイズとプロファイルに制限されます。ノードサイズを増やすことはできません。
- Liteプランのインスタンスを本番環境で使用することはできません。
- Liteプランはいつでも削除できます。
- **Lite インスタンスは回復できません**（BCDR はありません）。
- Liteプランではエンジンのスケーリング機能は使用できません。

上限値の 2000 RUs に達するか、試用期間の 30 日を超えると、プランは失効し内部データもアクセス不可になるので、データをそのまま保持したい場合は失効前に自分自身のICOS等に保存する必要があります。

Liteプランから有料版にアップグレードしてデータをそのまま使用することが可能です。
**Liteプランは　失効後の再作成はできません。1回限りです。(2024/06/05追記)**

~~期間やリソース量の制限以外では、内部Sparkが使えないのが有料版との大きな違いかと思います。~~
2024-05-31にSparkエンジンも使用できるようになり、有料版との大きな違いは期間やリソース量の制限のみです。

# 2. Liteプラン作成手順
### 0. 前提
前提は有効なIBM Cloudのアカウントがあることです。
お持ちでないかたは [こちら](https://cloud.ibm.com/registration) でアカウント作成をお願いします。有効なメールアドレスとクレジットカード情報が必要です。
当記事で紹介する「watsonx.dataの**Liteプラン**」を使用の場合は課金されることはありません。間違って他のプランを選択することないようにくれぐれもご注意ください。

### 1. IBM Cloudにログイン
https://cloud.ibm.com よりIBM Cloudにログインします。

### 2. 「カタログ」をクリック　（「リソースの作成」をクリックでもOK）
ダッシュボードが表示されるので、上部のメニューにある「カタログ」をクリックします。「リソースの作成」をクリックでもOKです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/cd20c774-49e0-405c-00b6-962ca53bbfeb.png)

### 3. 「カタログを検索...」　入力フィールドに`watsonx.data`と入れ、表示された「watsonx.data」をクリック
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/9d8da04c-ccde-64e3-6076-0d7118125148.png)


watsonx.dataのサービス作成画面が表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/a398be16-769d-a7f9-a301-4f66e162efeb.png)


### 4.以下を選択または確認します。




- 料金プランの選択
  - **Lite** にチェックがついていることを確認　（チェックがついていない場合はクリックしてチェックする)
  - Liteは1idにつき1つしか作成できませんので、既に作成済みの場合は作成できません
  - 「watsonx.dataの**Liteプラン**」を使用の場合は課金されることはありません。間違って他のプランを選択することないようにくれぐれもご注意ください

</p>

- ロケーションの選択: 
  - ダラス、フランクフルト、東京から選択
</p>

- リソースの構成: 必要なら更新
   - そのままでもよいです
   - サービス名はリソースリストに表示される名前なので、わかりやすくしたい場合は変更してください
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/e1902616-844e-3170-b76d-844e72f3f4e7.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/f2974a97-57f8-fc5b-d828-c0690d2d7d4d.png)


### 5. 右側下の「以下のご使用条件を読み、同意します。」を問題なければチェックし、「作成」をクリック
**Lite** にチェックがついていることを確認　するようにしてください
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/dd5cb0ce-cd74-6e6c-3cfd-56f6a9b751c2.png)


以下の画面が表示された後、リソースリストにリダイレクトされます
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/6e93dd36-2ebb-72a2-e768-a0353c908098.png)


### 6. 確認
表示されたリソースリストから、「データベース」をクリックします
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/1a85b514-ccce-d320-4147-a61f1b265db7.png)

作成したwatsonx.dataのサービスが表示され、最初は状況が「プロビジョンが進行中」と表示されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/a5637fbc-ba6e-9c5a-961d-feb3a705ac80.png)

この状況が「アクティブ」になれば、作成完了です！　2、3分でアクティブになります。ならない場合はリソースリストをリロードしてみてください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/c5460e67-f08e-461c-31d7-91830f4791aa.png)


### 7.　起動
「リソースリスト」→「データベース」から起動するwatsonx.dataのサービス名をクリックしてください
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/27361312-85d8-8834-585a-7fbe060965ac.png)

「Webコンソールを開く」をクリックします
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/60372fa6-8fb7-e32e-fd00-e856d4a268c1.png)

レビューサマリーを確認して、そのままでよければ「終了して起動」をクリックします。
- エンジン
    - Liteプランの場合は変更できません
- カタログ
    - デフォルトはApache Icebergですが、鉛筆アイコンをクリックすることで以下にも変更可能です
        - Apache Hive
        - Apache Hudi
        - Delta Lake
- バケット
    - デフォルトでIBMが管理するIBM Object Storageがセットされていますが、鉛筆アイコンをクリックすることで別の自分のIBM Object Storageをセットすることも可能です
    - IBMが管理するIBM Object Storageはファイルを自分でアップロードしたりするような直接アクセスはできません。watsonx.data経由のデータストレージとしてだけ利用できます。
    - 後から別のObject Storageを追加可能です(なので一旦ここはこのままで問題ない）

とりあえずデフォルトのままでチュートリアルは実施可能なので、こだわりがなければそのまま「終了して起動」をクリックします。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/e8cab638-9b9d-acc1-21d6-f1b40f88880f.png)

以下の画面が表示されます。しばし待ちます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/795e38c2-c0f2-0296-9c20-fef9cccb3941.png)

設定が完了すると以下の画面になります
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/1d97931c-6dff-ba9a-6a4b-442965373161.png)

### 8. 構成を確認します
左のナビゲーションメニューから、「インフラストラクチャー・マネージャー」のアイコンをクリックします
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/c66120d0-b153-f01b-b532-50832c4baed3.png)

以下のようにエンジンが青色でなく点滅している場合は、起動中なので青色になるまでしばし待ちます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/9ae36a1a-583d-302c-dff1-e508063f1b49.png)

以下のようにエンジンが青色になれば起動完了です
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/4af66594-31b2-205a-9287-04755ef783b7.png)

### 9. Milvusサービスの追加（オプション）
ベクトルデータベース　MilvusもLiteプランで使用できるので、使用したい場合は追加します。
特に使わない場合はRUを消費しますので、作成不要です。

#### 9-1.右上の「コンポーネントの追加」から「サービスの追加」をクリックします
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/eec39db8-def9-70f3-6c28-3e4592d943cd.png)

#### 9-2.「サービスの追加画面」で必要事項を入力し、「プロビジョン」をクリック
- 表示名
    - 　お好みの表示名
- 　Add storage bucket
    - デフォルトは「watsonx.dataの内部ストレージの使用」
    - 登録済みの自分のオブジェクトストレージを使用したい場合は「External bucket」を選択して必要な情報を入力
    - こだわりがなければデフォルトで良い
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/96707955-8948-3b3f-6518-8eb23c57127b.png)

#### 9-3. 起動完了まで待つ
サービスが緑色でなく点滅している場合は、起動中
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/76dc8fcb-7160-b663-3c7b-78bc32ecc8f4.png)

緑色になったら起動完了です！ 15分くらいかかりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/4c41c607-3e74-a268-d54a-7c064d01ffdb.png)

### 10. Sparkエンジンの追加(オプション)
　SparkエンジンもLiteプランで使用できるので、使用したい場合は追加します。
特に使わない場合はRUを消費しますので、作成不要です。
以下を参考にしてください:
[watsonx.data: Sparkエンジンの追加](https://qiita.com/nishikyon/items/0cb71bbc8d89b647ea54)

# 3. チュートリアル
以下にチュートリアルがありますので、お試しください
https://cloud.ibm.com/docs/watsonxdata?topic=watsonxdata-tutorial_hp_intro

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/76481c0d-0015-3c8b-771b-5d2463b7fe92.png)


# 4. エンジン、サービスの一時停止・再開
使用していない時にRUの消費を抑えるために、エンジン、サービスの一時停止が可能です。
ただし、全て停止してもサポートサービスが裏で稼働しているためRU消費ゼロにはなりません。

### 4-1. エンジン、サービスの一時停止
インフラストラクチャー・マネージャーのエンジンまたはサービスのアイコン上にマウスポインタを重ねると、一時停止のアイコンボタンが表示されますので、それをクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/af719b1b-7caa-60b4-d9b7-653e599c5117.png)

確認のウィンドウが出てくるので、「一時停止」をクリックします
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/0b0758c4-51e1-93c8-4fba-f1908d26ee23.png)

エンジンまたはサービスのアイコンが点滅している場合は、停止中
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/2fd4e819-4b40-ce36-dfc1-6ac87bfbc432.png)


停止完了すると点滅がなくなり、丸の中が縦線2本に変わります
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/4c1e8fa5-282e-c28c-c044-2ff9108637a3.png)



### 4-2. エンジン、サービスの再開
インフラストラクチャー・マネージャーのエンジンまたはサービスのアイコン上にマウスポインタを重ねると、再開のアイコンボタンが表示されますので、それをクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/7904ec7a-f68f-7bcd-1e9f-bdc5e070d1a3.png)

エンジンまたはサービスのアイコンが点滅している場合は、起動中
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/22fd4234-8939-e481-15a2-1d825953401f.png)

起動完了するとアイコンに色がつきます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/f7753249-761a-8b36-9dd3-376ff9aa2e01.png)



# 5. リソースまたは期間の制限に達した後の削除
上限値の 2000 RUs に達するか、試用期間の 30 日を超えると、プランは失効します。
**Liteプランは　失効後の再作成はできません。1回限りです。**
プランが失効するとIBM Cloudのリソースリスト上で「非アクティブ」と表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/e2b1d6f8-6bdd-b60a-c548-1180cdd1dc9e.png)

システムによりサービスが削除されるまで、watsonx.dataの画面には入れますが、使用はできません。
下のイメージには「システムによりサービスが削除される」とは書いてありましたが、いつ削除されるのかは現状不明です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/45cf2951-5836-4578-2275-18f11b91fbbf.png)

自分で削除する場合はIBM Cloudのリソースリスト上で行います。
IBM Cloudのリソースリストからwatsonx.dataのサービスの右側のメニューをクリックし、「削除」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/6efa48b5-cb49-79f4-8e2a-676f26dbe455.png)

確認のウィンドウが表示されるので、「削除」をクリックします
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/294516/01c65fbf-e570-abb0-cd83-0076f9d4c8ea.png)

IBM Cloudのリソースリストから消えたら、削除完了です。





以上です。