Databricksのデータ分類を試してみる

こちらの機能です。

https://docs.databricks.com/aws/ja/lakehouse-monitoring/data-classification

> データカタログには膨大な量のデータが含まれる場合があり、多くの場合、既知および未知の機密データが含まれています。データ チームは、各テーブルにどのような機密データが存在するかを理解し、このデータへのアクセスを管理し、民主化することが重要です。
>
> この問題に対処するために、Databricksのデータ分類はカタログ内のテーブルを自動的に分類してタグ付けします。これにより、機密データを検出したり、Unity Catalogにおけるロールベースのアクセス制御 (RBAC)や属性ベースのアクセス制御(ABAC) ポリシーを用いて、結果に対してガバナンス制御を適用することができます。

以下に分類されます。

```
"credit_card"        // クレジットカード番号
"email_address"      // メールアドレス
"iban_code"          // International Bank Account Number (IBAN)
"ip_address"         // IPアドレス (IPv4 or IPv6)
"location"           // 地名
"name"               // 氏名
"phone_number"       // 電話番号
"us_bank_number"     // US bank number
"us_driver_license"  // US driver license
"us_itin"            // US Individual Taxpayer Identification Number
"us_passport"        // US Passport
"us_ssn"             // US Social Security Number
```


:::note info
**注意**
- 執筆時点では[ベータ版](https://docs.databricks.com/aws/ja/release-notes/release-types)です。
- この機能を使うと、分類対象のカタログ配下のテーブルに、**タグが付与**されます。インパクトをご理解の上で使用することを強くお勧めします
:::

# 機能の有効化

ワークスペースの**プレビュー**メニューで、**Data Classification**をオンにします。

![Screenshot 2025-04-11 at 20.54.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/657f08b7-9e5a-41eb-bfbc-40c77f80285e.png)

# カタログに対するデータ分類の有効化

データ分類はカタログ単位で有効化/無効化できます。カタログエクスプローラでカタログにアクセスすると、**詳細**タブの**Advanced**に**Data Classification**が表示されます。このトグルをオンにすることで、カタログに対してデータ分類が行われます。

![Screenshot 2025-04-11 at 20.56.22.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/8f6647e7-44b2-44f9-9769-759d9f090f38.png)

有効化の際には、対象とするスキーマを選択することも可能です。

![Screenshot 2025-04-11 at 20.56.41.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/d4673c30-eb40-42dd-9074-647e0c734997.png)

しばらく待つと、**See results**のボタンが活性化します。こちらをクリックすることでダッシュボードにアクセスできます。

![Screenshot 2025-04-11 at 21.17.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/1075e281-c862-4e8e-aa1b-873a11053c2e.png)

:::note info
**注意**
[こちら](https://docs.databricks.com/aws/ja/lakehouse-monitoring/data-classification#%E3%83%87%E3%83%BC%E3%82%BF%E5%88%86%E9%A1%9E%E3%81%AE%E5%AE%9F%E8%A1%8C%E3%81%AB%E3%81%AF%E3%81%A9%E3%81%AE%E3%81%8F%E3%82%89%E3%81%84%E3%81%AE%E6%99%82%E9%96%93%E3%81%8C%E3%81%8B%E3%81%8B%E3%82%8A%E3%81%BE%E3%81%99%E3%81%8B)にあるように、データ分類には最大24時間を要します。
:::

# 分類結果ダッシュボード

ダッシュボードでは、分類結果を確認することができます。こちらは[概要](https://docs.databricks.com/aws/ja/lakehouse-monitoring/data-classification#%E6%A6%82%E8%A6%81)。

![Screenshot 2025-04-12 at 7.17.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/dda258ed-42d7-4519-ad0b-4b5e15b04781.png)

(1日分しか表示されていませんが)[分類結果の時系列変化](https://docs.databricks.com/aws/ja/lakehouse-monitoring/data-classification#%E5%88%86%E9%A1%9E%E3%83%AD%E3%82%B0)を確認できます。

![Screenshot 2025-04-12 at 7.18.12.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/4d6ad316-08ba-4253-9891-2d93d7ac7beb.png)

分類結果やインパクト分析結果です。

![Screenshot 2025-04-12 at 7.18.30.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/ed7dd306-aba0-4c3b-a3b4-faf367ada701.png)

# 分類によるタグの付与

そして、分類結果はテーブルのカラムにタグとして付与されます。

![Screenshot 2025-04-12 at 7.18.56.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/2a4df49d-c6cd-410c-83d3-a254df761f3b.png)

![Screenshot 2025-04-12 at 7.19.39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/c0dff6bb-9c51-4824-b760-49eb47aba578.png)

これによって、タグベースの検索が可能になるだけでなく、現在プレビュー中の[タグベースのアクセス制御](https://docs.databricks.com/aws/ja/lakehouse-monitoring/data-classification#%E8%A1%8C%E3%83%AC%E3%83%99%E3%83%AB%E3%81%A8%E5%88%97%E3%83%AC%E3%83%99%E3%83%AB%E3%81%AE%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3)(Attribute-based Access Control: ABAC)でこれらのタグを活用できるようになります。

### はじめてのDatabricks

[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)

### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)