dataikuとDatabricksとの連携を試してみる

こちらを実際に動かしてみます。

https://docs.databricks.com/en/partners/ml/dataiku.html

この連携によって、dataikuの計算資源とストレージをDatabricksが提供する形になります。

# Databricks Partner Connectからの接続

事前にDataikuで使うカタログとスキーマを作成しておきます。ここでは、カタログ`dataiku`、スキーマ`connect`を作成しておきます。
![Screenshot 2023-12-06 at 11.39.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/793c59cb-451c-fd71-9f21-d9c50012c5a4.png)

Partner Connectの**dataiku**のタイルをクリックします。
![Screenshot 2023-12-06 at 11.37.48.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/ad2942c9-397b-d9ff-3028-bd9c0bff2e6f.png)

カタログとスキーマを選択します。
![Screenshot 2023-12-06 at 11.48.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/523cd2bd-826d-188a-320f-a750c7aa6484.png)

dataiku接続用のユーザー、パーソナルアクセストークン、計算資源が作成されます。
![Screenshot 2023-12-06 at 11.48.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/9f0314e8-8df4-8d32-52ea-7896e39365c2.png)

並行してdataikuのトライアルにサインアップしておきます。私は先にサインアップしましたが、この後の画面遷移でも自動でdataikuに移動するので、その際にサインアップでもいけるはずです。
![Screenshot 2023-12-06 at 11.50.10.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/3fe33c90-ddc9-0201-14c0-c88a94c25d19.png)

Nodesに**Databricks Partner Connect**と表示されているはずです。
![Screenshot 2023-12-06 at 12.04.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6e0f076b-0d6e-4bfe-d4ff-387c37c068d1.png)

# dataikuプロジェクトの実行

こちらの記事を参考にさせていただきます。

https://qiita.com/hktonton/items/dee44549acb2ee469eb6

https://dev.classmethod.jp/articles/dataiku-basic-tutorial/

Blank projectを選択して、空のプロジェクトを作成します。
![Screenshot 2023-12-06 at 12.04.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/a543f52d-1445-f9b1-6b2c-d8a662b0e0c2.png)

**+ IMPORT YOUR FIRST DATASET**をクリックします。
![Screenshot 2023-12-06 at 13.58.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/67d538aa-b708-2135-d7d9-abfacefda0ce.png)

Upload you filesをクリックします。
![Screenshot 2023-12-06 at 13.59.02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/aadee398-f2f4-2801-ed9b-e6acdd1dcefd.png)

ここでは、COVID-19の感染者数のCSVファイルをドラッグ&ドロップします。
![Screenshot 2023-12-06 at 13.59.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/39da98ca-ab74-ba85-0a5d-72cea09bd7cf.png)
![Screenshot 2023-12-06 at 13.59.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/082fc3a7-4b07-36e8-234f-f7ad6872b445.png)

CREATEをクリックします。
![Screenshot 2023-12-06 at 14.00.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/3f5d4b6d-e972-3ab7-52d8-f0e019282d0d.png)

データセットが作成されました。
![Screenshot 2023-12-06 at 14.00.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/66be71ce-57af-aa3b-cfa8-6246144ec267.png)

簡単な処理を実行します。上のメニューから**Flow**を選択します。
![Screenshot 2023-12-06 at 14.03.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/90aa3494-c1c7-4fa2-8e80-27e60cfe3400.png)

右の **+** をクリックしてペインを展開します。
![Screenshot 2023-12-06 at 14.04.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/79bc4b1e-2836-062d-1152-d0e0bbc04f42.png)

Sample / Filterを選択します。Output datasetで書き込み先のDatabricksのカタログとスキーマを指定します。**CREATE RECIPE**をクリックします。
![Screenshot 2023-12-06 at 14.05.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/d3b6b58c-1478-dc34-50ef-e08c026e3e91.png)

100行にサンプリングすることにして、**Run**をクリックします。これによって、Databricksのクラスターで処理が行われ、Unity Catalog配下のテーブルとして結果が保存されます。

:::note
**注意**
この時点で権限不足のエラーが出る場合には、カタログエクスプローラで権限を確認して不足の権限を設定してください。
:::

テーブルが作成されました！
![Screenshot 2023-12-06 at 14.07.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6083ab02-4128-1bba-48d9-ed3135b7b3fa.png)
![Screenshot 2023-12-06 at 14.08.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/e38fddc7-9be2-3651-480a-1acd2cbd60f1.png)

ちなみに、dataikuのフローはこのような形になります。
![Screenshot 2023-12-06 at 14.09.24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6d6b9dc9-1f17-778c-8688-1aaada8cc0fb.png)


dataikuとDatabricksを組み合わせて、データからの価値導出にお役立てください！

### Databricksクイックスタートガイド

[Databricksクイックスタートガイド](https://www.amazon.co.jp/dp/B09V1YXFVQ/)


### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)