DatabricksのLakeFlow Connectがパブリックプレビューになりました！

これまではGated Public Previewでしたが、AWS/Azureであればパブリックプレビューで利用できます！

https://www.databricks.com/jp/product/data-ingestion

ただ、現時点で利用できるコネクタはSalesforceのみです。その他のコネクタも順次利用できるようになる予定です。

# LakeFlowとは

https://www.databricks.com/jp/blog/introducing-databricks-lakeflow

> これは、プロダクションデータパイプラインを構築および運用するために必要なすべてを含む新しいソリューションです。MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーション向けの新しいネイティブで高スケーラビリティのコネクタが含まれています。ユーザーは標準SQLおよびPythonを使用して、バッチおよびストリーミングでデータを変換できます。
>
> さらに、Apache Spark向けのリアルタイムモードを発表し、従来のマイクロバッチよりもはるかに高速なレイテンシでストリーム処理が可能になります。最後に、CI/CDを使用してワークフローをオーケストレーションおよびモニタリングし、本番環境にデプロイできます。Databricks LakeFlowはData Intelligence Platformにネイティブに組み込まれており、サーバーレスコンピュートとUnity Catalogによる統一ガバナンスを提供します。

![Screenshot 2025-02-20 at 15.55.16.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/40a7c488-4138-4ba1-bcf9-32795b6f137d.png)

# ウォークスルー

こちらのマニュアルに従って動かしてみます。

https://docs.databricks.com/aws/ja/ingestion/lakeflow-connect/

## 接続の作成

LakeFlow Connectでデータを取り込むには、データソースとの**接続**が必要となります。[こちら](https://docs.databricks.com/aws/ja/ingestion/lakeflow-connect/salesforce/salesforce-ingestion/)の手順に従って接続を作成します。なお、こちらはダミーデータを格納しているSalesforce環境です。

![Screenshot 2025-02-20 at 15.41.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6eb18fa5-bc86-4518-9aa6-3d4dfa5c1735.png)

## 取り込みパイプラインの作成

サイドメニューから**データ取り込み**にアクセスすると、**Databricksコネクター**にSalesforceが表示されていますので、こちらをクリックします。

![Screenshot 2025-02-20 at 15.23.15.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/232b2d12-6b3c-4076-9d54-5a865a5a8ef0.png)

上で作成した接続を選択し、パイプライン名や取り込み先のカタログを指定します。

![Screenshot 2025-02-20 at 15.41.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/f8bacb6a-45d4-43e1-acef-7121921916fc.png)

次に進めると、コンピュートリソースが起動し、取り込むテーブルを選択できるようになります。

![Screenshot 2025-02-20 at 15.41.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/d590c38f-a21b-45d9-a5b5-d001afb97826.png)
![Screenshot 2025-02-20 at 15.42.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/3e10d7d5-64a4-4b76-a58a-97c00a98cfaa.png)

ここでは、`Account`と`Opportunity`を取り込みます。

![Screenshot 2025-02-20 at 15.42.52.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/9e8702e9-b36c-46ae-944f-1fbdf1c5b7fe.png)

取り込み先のスキーマを選択、あるいは作成します。

![Screenshot 2025-02-20 at 15.43.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/b449d05a-825b-438b-9ee5-f57e12612001.png)
![Screenshot 2025-02-20 at 15.43.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/a2a269ac-8614-4525-b3af-4a29b133f77f.png)

![Screenshot 2025-02-20 at 15.43.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/8e49556f-d868-4bd0-9863-076fde25729e.png)

最後にスケジュールや通知設定を行い、内容を確認してデータ取り込みパイプラインを起動します。

![Screenshot 2025-02-20 at 15.44.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6b7fc124-2baa-46c6-81a1-81eb149a4cc8.png)

![Screenshot 2025-02-20 at 15.44.35.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/88fc38ba-e76b-4157-9ac9-aa602c5d9f69.png)

## 取り込みパイプラインの起動

このパイプラインの実態はDelta Live Tables(もうすぐLakeFlow Pipelinesに名前が変わります)です。

![Screenshot 2025-02-20 at 15.44.44.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/bc5dafab-7086-48c1-99f6-6ca2132d1f68.png)

![Screenshot 2025-02-20 at 15.47.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/59aae65e-0329-462e-92dd-33e0112b0c5f.png)

![Screenshot 2025-02-20 at 15.48.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/7aeac1ad-c2dd-4240-8423-5a39a1d85cfe.png)

処理が完了したらテーブルを確認します。

![Screenshot 2025-02-20 at 15.48.17.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/0d2eb554-3fbe-42fb-9319-8c21d095cafd.png)
![Screenshot 2025-02-20 at 15.48.26.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6b8c53dd-07d0-40b3-926b-f3648c0c8c22.png)

コネクターは今後も拡充されていきますので、続報をお待ちください！


### はじめてのDatabricks

[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)

### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)