DatabricksにおけるProphecyの活用

[Prophecy \| Databricks on AWS](https://docs.databricks.com/integrations/prep/prophecy.html) [2022/1/20時点]

:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

[Prophecy](https://prophecy.io/)は、ローコードの開発、スケジューリング、メタデータを用いてApache SparkとApache Airflowの活用を生産的かつ成功するものにします。

ProphecyとDatabricks[クラスター](https://qiita.com/taka_yayoi/items/c5d99cd77fe4bfcf69f0)を連携させることができます。

Prophecyの一般的な概要とデモンストレーションに関しては、以下のYouTubeビデオ(26分)をご覧ください。
<iframe width="560" height="315" src="https://www.youtube.com/embed/8pd0s3P4D9M" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

:::note info
**注意**
ProphecyとDatabricks SQLエンドポイントを連携させることはできません。
:::

# Partner Connectを用いたProphecyへの接続

:::note info
**注意**
すでにProphecyアカウントをお持ちであれば、手動による[Prophecyへの接続](#prophecyへの接続)にスキップすることをお勧めします。これは、Partner Connectにおける新規接続のエクスペリエンスが新規Prophecyアカウントに最適化されているためです。
:::

以下の手順の概要に関しては、こちらのYouTubeビデオ(3分)をご覧ください。
<iframe width="560" height="315" src="https://www.youtube.com/embed/mh-6lpYJcqs" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

1. お使いのDatabricksアカウント、ワークスペース、サインインしているユーザー全てがPartner Connectの要件を満たしていることを確認してください。
1. サイドバーで![](https://docs.databricks.com/_images/partner-connect.png)**Partner Connect**をクリックします。
1. **Prophecy**タイルをクリックします。

    > **注意**
**Prophecy**タイルにチェックマークが表示されている場合、管理者がすでにワークスペースで実行環境(Prophecyではこれを*ファブリック*と呼びます)を作成するためにPartner Connectを使用したことを意味します。Partner Connectを用いることで作成したProphecyアカウントにあなたを追加するように管理者にコンタクトしてください。追加してもらった後に**Prophecy**タイルをクリックしてください。

1. **Connect to partner**ダイアログが表示されるので、**Next**をクリックします。
    Partner Connectがお使いのワークスペースにDatabricks[サービスプリンシパル](https://docs.databricks.com/administration-guide/users-groups/service-principals.html)を作成します。このサービスプリンシパルの名前は**PROPHECY_USER**です。
1. **Email**には、14日のトライアルProphecyアカウントを作成するのに使うアドレスを指定します。
1. ラベル**Connect to Prophecy**、**Visit Prophecy**を持つボタンをクリックします。

    > **重要！**
所属する組織の誰かが既にProphecyのアカウントを作成したことを示すエラーが表示された場合、以下のいずれかを行なってください。
    > 
    > - 組織に紐づけられていないメールアドレスを入力し、再び**Connect to Prophecy**か**Visit Prophecy**をクリックします。
    > - 組織のProphecyアカウントに追加してもらうように管理者にコンタクトしてください。追加してもらった後dに、再度**Connect to Prophecy**か**Visit Prophecy**をクリックします。

    **Connect to Prophecy**ラベルのボタンをクリックすると、Partner ConnectはDatabricksの[パーソナルアクセストークン](https://docs.databricks.com/dev-tools/api/latest/authentication.html)を作成し、サービスプリンシパル**PROPHECY_USER**に関連づけます。

1. 別のタブにProphecyWebサイトが開きますので、あなたの14日トライアルのProphecyアカウントの作成を完了するために画面の指示に従ってください。あるいは、既存のProphecyアカウントでログインしてください。
1. あなたのProphecyアカウントのナビゲーションバーで**Metadata**をクリックします。
1. **Fabrics**をクリックします。ワークスペース向けのファブリックが表示されます。
1. 以下のいずれかを行います。
    - ファブリックが表示されたら、[次のステップ](#次のステップ)に進みます。
    - ファブリックが表示されない場合、[Prophecyへの接続](#prophecyへの接続)にスキップしトラブルシューティングを行うことができます。

# Prophecyへの接続

ワークスペースにProphecyを接続するには、以下の手順に従ってください。

:::note info
**注意**
クイックにProphecyに接続するには、[Partner Connect](#partner-connectを用いたprophecyへの接続)を使ってください。
:::

一連のステップを完了するためには、Databricksの[パーソナルアクセストークン](https://docs.databricks.com/dev-tools/api/latest/authentication.html#token-management)が必要となります。

1. [https://app\.prophecy\.io](https://app.prophecy.io/)でお使いのProphecyアカウントにサインインするか、新規Prophecyアカウントを作成します。
1. ナビゲーションバーで**Metadata**をクリックします。
1. **Fabrics**タブをクリックします。

    > **重要！**
あなたの組織のProphecyアカウントにサインインした場合、既存のファブリックのエントリーのリストが表示されることがあります。*これらのエントリーにはあなたのワークスペースとは別のワークスペースへの接続詳細情報が含まれている場合があります。* これらのファブリックの一つを再利用したい場合、そして、アクセスできるワークスペースを信頼しているのであれば、[次のステップ](#次のステップ)に進んでください。

1. プラス(**+**)アイコンをクリックします。
1. **Fabric**タブをクリックします。
1. **Name**を入力し、**Team**を選択し、オプションで**Description**を記入します。(**Execution Url**の値は変更しないでください。)
1. **Create Fabric**をクリックします。
1. ファブリックのリストで、今追加したファブリックの名前をクリックします。
1. Prophecyウェブサイトの[How to Configure a Fabric for Databricks](https://docs.prophecy.io/spark/fabrics/#how-to-configure-a-fabric-for-databricks)の手順に従います。

# 次のステップ

- [Prophecyを用いたワークフローの作成](https://docs.prophecy.io/overview/videos/#create-a-workflow-using-prophecy)をご覧ください。
- [Prophecyドキュメント](https://docs.prophecy.io/)もご覧ください。
- 実践編もどうぞ。

https://qiita.com/taka_yayoi/items/9a99e78b0b047dbaeb74

### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)