Databricksにおけるシークレットの管理

[Secret management \| Databricks on AWS](https://docs.databricks.com/security/secrets/index.html) [2021/4/12時点]の翻訳です。

時には、JDBC経由で外部データソースに対してアクセスする際に認証が必要になります。ノートブックに直接認証情報を書き込むのではなく、Databricksのシークレットに認証情報を格納し、ノートブックやジョブから参照すべきです。シークレットを管理するためには、[Secrets API](https://docs.databricks.com/dev-tools/api/latest/secrets.html)にアクセスするために[Databricks CLI](https://docs.databricks.com/dev-tools/cli/index.html)を使用できます。

> **警告!**
管理者、シークレットの作成者、そして、[権限](https://docs.databricks.com/security/access-control/secret-acl.html)を与えられたユーザーがDatabricksのシークレットを読み取ることができます。Databricksは可能な限り、そのような秘匿性の高い情報をノートブックに表示されないように努力を払いますが、ノートブックに表示された機密情報をユーザーの目に晒さないようにすることは不可能です。詳細は、[Databricksシークレットの検閲](https://qiita.com/taka_yayoi/items/de0eabed2c4ee345de29)を参照ください。

シークレットを設定するには：

1. [シークレットのスコープを作成](https://qiita.com/taka_yayoi/items/b9c046e7a9106f46873a)します。シークレットのスコープ名は大文字小文字を区別しません。
1. [シークレットをスコープに追加](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de)します。シークレット名も大文字小文字を区別しません。
1. [Premium plan](https://databricks.com/product/aws-pricing)を契約しているのであれば、シークレットのスコープに[アクセスコントロールを設定](https://docs.databricks.com/security/access-control/secret-acl.html)します。

このガイドでは、どのようにセットアップを行い、シークレットを管理するのかを説明します。詳細に関しては、以下を参照ください。

- どのようにシークレットを使用するのかを説明したエンドツーエンドの[サンプル](https://docs.databricks.com/security/secrets/example-secret-workflow.html)
- [Secrets CLI](https://docs.databricks.com/dev-tools/cli/secrets-cli.html)のリファレンス
- [Secrets API](https://docs.databricks.com/dev-tools/api/latest/secrets.html)のリファレンス
- ノートブックやジョブでシークレットを参照するための[Secrets utilities](https://docs.databricks.com/dev-tools/databricks-utils.html#dbutils-secrets)の使い方

このガイドでは以下を説明します。

- [シークレットのスコープ](https://qiita.com/taka_yayoi/items/b9c046e7a9106f46873a)
    - [概要](https://qiita.com/taka_yayoi/items/b9c046e7a9106f46873a#%E6%A6%82%E8%A6%81)
        - [シークレットのアクセス権](https://qiita.com/taka_yayoi/items/b9c046e7a9106f46873a#%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%97%E3%81%AE%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E6%A8%A9)
    - [Databricks管理のシークレットスコープの作成](https://qiita.com/taka_yayoi/items/b9c046e7a9106f46873a#databricks%E7%AE%A1%E7%90%86%E3%81%AE%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%97%E3%81%AE%E4%BD%9C%E6%88%90)
    - [シークレットスコープの一覧](https://qiita.com/taka_yayoi/items/b9c046e7a9106f46873a#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%97%E3%81%AE%E4%B8%80%E8%A6%A7)
    - [シークレットスコープの削除](https://qiita.com/taka_yayoi/items/b9c046e7a9106f46873a#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%97%E3%81%AE%E5%89%8A%E9%99%A4)
- [シークレット](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de)
    - [シークレットの作成](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%81%AE%E4%BD%9C%E6%88%90)
    - [シークレットの一覧](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%81%AE%E4%B8%80%E8%A6%A7)
    - [シークレットの読み込み](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%81%AE%E8%AA%AD%E3%81%BF%E8%BE%BC%E3%81%BF)
        - [Spark設定と環境変数におけるシークレットのパス](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de#spark%E8%A8%AD%E5%AE%9A%E3%81%A8%E7%92%B0%E5%A2%83%E5%A4%89%E6%95%B0%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%81%AE%E3%83%91%E3%82%B9)
        - [環境変数にシークレットのパスを格納する](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de#%E7%92%B0%E5%A2%83%E5%A4%89%E6%95%B0%E3%81%AB%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%81%B8%E3%81%AE%E3%83%91%E3%82%B9%E3%82%92%E5%90%AB%E3%82%81%E3%82%8B)
    - [シークレットの削除](https://qiita.com/taka_yayoi/items/7e4eae0786b94cb7a5de#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%81%AE%E5%89%8A%E9%99%A4)
- [シークレットの検閲](https://qiita.com/taka_yayoi/items/de0eabed2c4ee345de29)
- [シークレットワークフロー例](https://qiita.com/taka_yayoi/items/b9bdaa63e7c991d95092)
    - [シークレットスコープの作成](https://qiita.com/taka_yayoi/items/b9bdaa63e7c991d95092#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%82%B9%E3%82%B3%E3%83%BC%E3%83%97%E3%81%AE%E4%BD%9C%E6%88%90)
    - [シークレットの作成](https://qiita.com/taka_yayoi/items/b9bdaa63e7c991d95092#%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%81%AE%E4%BD%9C%E6%88%90)
    - [ノートブックでのシークレットの利用](https://qiita.com/taka_yayoi/items/b9bdaa63e7c991d95092#%E3%83%8E%E3%83%BC%E3%83%88%E3%83%96%E3%83%83%E3%82%AF%E3%81%8B%E3%82%89%E3%82%B7%E3%83%BC%E3%82%AF%E3%83%AC%E3%83%83%E3%83%88%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B)
    - [別のグループにアクセスを許可する](https://qiita.com/taka_yayoi/items/b9bdaa63e7c991d95092#%E4%BB%96%E3%81%AE%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97%E3%81%AB%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E6%A8%A9%E3%82%92%E8%A8%AD%E5%AE%9A%E3%81%99%E3%82%8B)

### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)