Databricks DLTのマルチファイルエディタ

Databricksのデータパイプライン開発・運用ソリューションのDLT(旧称Delta Live Tables)の大幅なアップデートです。

https://docs.databricks.com/aws/ja/release-notes/product/2025/april#multi-file-editor-for-etl-pipeline-development-in-dlt

> **DLTにおけるETLパイプライン開発のマルチファイルエディタ**
> ETLパイプラインの開発、デバッグのためにDLTで新たなマルチファイルエディタを使えるようになりました。このマルチファイルエディタでは、パイプラインアセットブラウザに一連のファイルとしてパイプラインを表示します。一箇所でファイルを編集し、パイプラインの設定やどのファイルをパイプラインに含めるのをコントロールすることができます。[DLTのマルチファイルエディタを用いたETLパイプラインの開発およびデバッグ](https://docs.databricks.com/aws/ja/dlt/dlt-multi-file-editor)をご覧ください。

:::note info
**注意**
執筆時点では[ベータ版](https://docs.databricks.com/aws/ja/release-notes/release-types)です。
:::


マニュアルはこちらです。

https://docs.databricks.com/aws/ja/dlt/dlt-multi-file-editor

# 機能の有効化

**プレビュー**で、**Pipelines multi-file developer experience**をオンにします。

![Screenshot 2025-04-23 at 14.15.20.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/f2486e03-7581-4059-adf4-ed311055a029.png)

また、各人の設定の**開発者**で**ノートブックとファイルのタブ**をオンにします。

サイドメニューのパイプラインから**ETLパイプラインの作成**をクリックすると、以下のようなダイアログが表示されるので、**ETLエディタを有効化**をクリックします。

![Screenshot 2025-04-23 at 14.18.51.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/eb28ba8e-2a35-4634-9d60-f4b72a38b37f.png)

# パイプラインの作成

今回は以下のチュートリアルに沿ってパイプラインを作成します。

https://docs.databricks.com/aws/ja/dlt/tutorial-pipelines

以下のようなダイアログが表示されるので、パイプライン名とデフォルトカタログ、デフォルトスキーマを指定します。

![Screenshot 2025-04-23 at 14.24.43.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/f1ff1cd8-f772-4a7f-adcc-30c1661d2333.png)

**高度なパイプラインを作成**リンクをクリックすると、より詳細な設定を行える画面(以前からあるパイプライン作成画面)に遷移します。

![Screenshot 2025-04-23 at 15.10.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/bc772b79-ea85-4861-b232-601409673b18.png)
![Screenshot 2025-04-23 at 15.09.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/2a1babb8-1171-4eb4-8572-9f919578909d.png)

# マルチファイルエディタ

**作成**をクリックすることで、マルチファイルエディタの画面が開きます。

![Screenshot 2025-04-23 at 15.10.26.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/c9777d7a-34aa-448b-be3a-c0f003086ed9.png)

左がアセットブラウザ、中央上がソースコード、右がパイプラインのDAG、下がテーブル(マテリアライズドビュー、ストリーミングテーブル)情報が表示されます。画面構成の詳細は[こちら](https://docs.databricks.com/aws/ja/dlt/dlt-multi-file-editor#%E3%83%9E%E3%83%AB%E3%83%81%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%A8%E3%83%87%E3%82%A3%E3%82%BF%E3%81%AE%E6%A6%82%E8%A6%81)をご覧ください。

パイプライン作成と同時にデフォルトのフォルダ構成や、サンプルファイルも作成されるのでこれらを変更していきます。

![Screenshot 2025-04-23 at 15.14.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/f349a88c-867e-4aa5-983b-47be048eac84.png)

このエディタにおいて新たに[ルートフォルダ](https://docs.databricks.com/aws/ja/dlt/dlt-multi-file-editor#%E3%83%AB%E3%83%BC%E3%83%88%E3%83%95%E3%82%A9%E3%83%AB%E3%83%80)というコンセプトが導入されました。これは、パイプラインごとに設定されるフォルダです。このフォルダ配下にソースコードを格納することで、マルチファイルエディタをスムーズに活用できます。ルートフォルダ配下のソースコードをパイプラインに含めるかどうかを選択することができます。

![Screenshot 2025-04-23 at 15.39.01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/fbf660f3-ca0c-472a-8710-af5f34e564da.png)

# ドライラン

以前は**検証**と言っていた機能です。データの処理は行わずにロジックの検証のみを行います。

![Screenshot 2025-04-23 at 15.14.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/ff8ad660-e3e1-470a-acb1-13b9263df126.png)

画面右にはパイプラインのグラフ構造、下にはパイプラインに含まれるテーブルの一覧が表示されます。グラフ構造は縦横を切り替えることができます。

![Screenshot 2025-04-23 at 15.14.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/86da9b5e-4092-42dc-8352-cd0a0c355f4a.png)

# パイプラインの実行

ドライランの右の**パイプラインを実行**をクリックすることで、パイプラインを実行します。

![Screenshot 2025-04-23 at 15.17.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/f9325da6-2a44-4b87-a17e-7a5ff0927c75.png)

# テーブルの確認

テーブル一覧のテーブル名をクリックすることで、直接テーブルの中身を確認できます。

![Screenshot 2025-04-23 at 15.48.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/7a242ce6-a930-46fc-a2aa-51e85bea08de.png)

処理のパフォーマンスメトリクスも確認できます。

![Screenshot 2025-04-23 at 15.49.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/33a5314b-52c1-4b28-9033-6e0a716d50f1.png)


# 設定の変更

画面上の**設定**をクリックすることで、パイプラインの設定自体を変更できます。以前はパイプライン画面への遷移が必要でした。

![Screenshot 2025-04-23 at 15.20.32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/7b9f2204-2538-4ec5-aa7c-0ae270c07cb9.png)

# イベントログ

右下のインジケータをクリックし、**イベントログを表示**をクリックすることで、イベントログにアクセスできます。

![Screenshot 2025-04-23 at 15.20.41.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/e46aafbf-b331-4d1b-8861-6178774b5f9d.png)
![Screenshot 2025-04-23 at 15.20.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/02168d5b-b471-4d63-9624-cab85b905c64.png)

# リネージ

DLTパイプラインのリネージは従来通りカタログエクスプローラで確認できます。以前はボリュームのリネージが取れていませんでしたが、追跡されるようになっていました。

![Screenshot 2025-04-23 at 15.26.07.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/2dc8b072-e024-4bd4-b999-1bdde9248aae.png)

# まとめ

複数ファイルの管理、ソースコード開発、DAGの確認、パイプラインによって生成されるテーブルの中身の確認、イベントログの確認、パイプラインの設定がすべて一つの画面で行えますので、画面の移動が減ることは間違いありません。是非ご活用ください！

### はじめてのDatabricks

[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)

### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)