Databricks Partner ConnectからArcionを試してみる

こちらのニュースを受けて動かしてみました。「アーキオン」と発音するそうです。

https://www.databricks.com/company/newsroom/press-releases/databricks-agrees-acquire-arcion-leading-provider-real-time

# Arcionとは

ローコードでデータレプリケーション(複製)パイプラインを構築できるクラウドプラットフォームを提供しています。

https://www.arcion.io/

# Databricksからの接続

今回のシナリオでは、SnowflakeのテーブルをDatabricksに複製します。

Databricks Partner Connectに初回アクセスすると、データ取り込みのガイドが表示されます。パートナーでArcionを選択します。
![Screenshot 2023-10-24 at 16.13.11.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/104f3e3c-c97b-e447-094c-22e7bc9d806c.png)

複製先のカタログを選択します。hive_metastoreを選択します。
![Screenshot 2023-10-24 at 16.13.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/d4ced341-8bb0-8b7c-085a-160da968aaba.png)
![Screenshot 2023-10-24 at 16.13.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/d5bc971e-c726-58af-9033-d0cf9fec59b9.png)

Arcion連携のために生成されるリソースを確認します。SQLウェアハウスやパーソナルアクセストークンなどが生成されます。
![Screenshot 2023-10-24 at 16.13.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/1b4bc29d-bdef-365f-e756-663ebaeaa317.png)
![Screenshot 2023-10-24 at 16.13.57.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/3bc40304-4517-c1a2-a35c-65c6f0c836be.png)

Arcionのサイトに移動します。
![Screenshot 2023-10-24 at 16.14.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/a88c37e5-ae81-6bbd-8bd1-76cc3c612503.png)

ユーザー情報はすでに入力されているので、サインアップします。
![Screenshot 2023-10-24 at 16.14.30.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/9c88737e-5715-9a16-9ded-db3b22483e17.png)

アクティベーションのメールが送信されるので、アクティベートします。
![Screenshot 2023-10-24 at 16.15.38.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/69886db1-db57-4b89-710a-10c876417131.png)

# Arcionでの設定・操作

複製(Replication)を作成します。どこから(Source)どこに(Destination)どのように複製するのか(Replication mode)を組み立てることになります。

今回は一番簡単そうな**Snapshot**を選択します。リアルタイムの複製や追記モードもあるようです。
![Screenshot 2023-10-24 at 16.16.28.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/0f92ef07-4ca9-0b53-7f97-366cf21c68c8.png)

**Source**を設定します。
![Screenshot 2023-10-24 at 16.16.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/7a9d99e5-2676-b385-2aca-bf92b4e5eef6.png)

Snowflakeの接続設定をします。**Test Connection**でエラーが出たのですが、結果的に動きました。
![Screenshot 2023-10-28 at 9.23.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/5ecec725-bfac-8d47-4874-8f01b0ad4aaf.png)

Snowflakeでは複製するテーブルを作成しておきます。
![Screenshot 2023-10-28 at 8.45.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/329a4d81-e4a5-ec0a-ff96-ba6fc21037a1.png)

**Destination**を設定しますが、必要な情報はすでに入力されているので、Databricksを選択するだけです。
![Screenshot 2023-10-24 at 16.17.07.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/2b7fab42-deaf-c5ff-9cc2-1f01619d94b1.png)

接続確認もしておきます。
![Screenshot 2023-10-24 at 16.18.37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/2406153a-2f52-58d7-e2a0-9f32e193037c.png)

**Filter**を設定します。複製するテーブルを選択します。
![Screenshot 2023-10-28 at 9.23.34.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/7220db30-73c9-76ae-7e2c-ac30a4e13e20.png)
![Screenshot 2023-10-28 at 9.24.24.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/4c2f54ac-4fb0-992d-2355-7005281833bc.png)

**Start Replication**をクリックします。
![Screenshot 2023-10-28 at 9.24.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/0bc78f86-0f2e-a53d-b313-e916d35ae665.png)

ダッシュボードに移動します。
![Screenshot 2023-10-28 at 9.25.25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/8aaf49d7-1e0e-0523-92db-4e606dbc7dc9.png)
RUNNING状態に移行して複製が始まります。
![Screenshot 2023-10-28 at 9.25.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/0f26ad0d-fffb-95da-4eb9-325adeda6670.png)

ログなども確認できます。
![Screenshot 2023-10-28 at 9.29.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/96b31fc7-74c0-ee83-4ce5-2d1f259fdc56.png)

:::note
**注意**
DatabricksのSQLウェアハウスが起動していない場合、起動待ちのタイムアウトでエラーになることがありました。その場合には複製を再度実行してみてください。
:::

処理が進むと**Progress**に水が溜まり始めます。
![Screenshot 2023-10-28 at 9.33.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/260bd6db-caad-691c-a105-78931a225efd.png)

複製が完了しました。
![Screenshot 2023-10-28 at 9.33.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/d927fdb9-dc86-a20e-06af-5a83ac51d986.png)
![Screenshot 2023-10-28 at 9.34.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/a52c2a35-6a8f-7001-15cc-96cb4fe7517e.png)

Databricksで複製されたテーブルを確認できます。
![Screenshot 2023-10-28 at 10.25.01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/31dc7870-66de-168d-d46d-f36d0eaa2f7f.png)

初めてArcionを触ってみましたが、いろいろなシステムとの連携が容易になりそうです。

### Databricksクイックスタートガイド

[Databricksクイックスタートガイド](https://www.amazon.co.jp/dp/B09V1YXFVQ/)


### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)