データブリックスのUnity Catalogで実現する真のデータガバナンス

こちらのサマリーです。以下のリンクからウェビナーの録画を参照できます。

https://events.databricks.com/20231027-unitycatalog-jp

スライドはこちら。

<script defer class="speakerdeck-embed" data-id="1e14d9c3edb243febeaa066234983f5b" data-ratio="1.7761332099907492" src="//speakerdeck.com/assets/embed.js"></script>

# ガバナンスとは？

今ではガバナンスはデータのみに適用されるものではありません。

- **データガバナンス**とは、企業のデータ資産をそのライフサイクルを通じて管理するための**原則、プラクティス、ツールから構成される包括的なアプローチ**のことです。
- ビジネス戦略とデータに関連する要件をアラインすることで、データガバナンスは
企業に対して**優れたデータ管理、品質、可視性、セキュリティ、コンプライアンス**の
能力を提供します。
- 効果的なデータガバナンス戦略によって、企業は許可されないアクセスから自身のデータを保護し、規制の要件によるコンプライアンスを保証しつつも、意思決定に
容易にデータを活用できるようになります。

データとAIのガバナンスがビジネス価値を生み出します。
![Screenshot 2023-11-29 at 21.22.57.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/b8efee0b-57cd-8240-5e60-0a55accbc633.png)

しかし、データとAIのガバナンスは複雑なものとなっています。
![Screenshot 2023-11-29 at 21.23.50.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/60dccf4c-f405-3579-11e9-8407558694c2.png)
![Screenshot 2023-11-29 at 21.24.07.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/53bc83dd-0513-9a7e-6cbe-045cecdcc078.png)

企業はデータとAIに対する**統合的なアプローチ**を必要としています。
![Screenshot 2023-11-29 at 21.24.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/00ede62a-078e-7711-e418-4b5489ec7cb1.png)

# Databricksにおけるガバナンスの実現

DatabricksレイクハウスはデータとAIのガバナンスを統合します。
![Screenshot 2023-11-29 at 21.24.42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/b9a99529-94eb-f9d8-913d-1eb45201b348.png)

[DatabricksのUnity Catalog](https://www.databricks.com/jp/product/unity-catalog)はデータ & AIに対する統合ガバナンスを提供します。

- データとAIに対する統合ビュー
- データとAIに対するシンプルな権限モデル
- AIで強化された監視と観測可能性
- オープンなデータ共有

![Screenshot 2023-11-29 at 21.25.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6d330b63-3005-6c1c-0ff9-e9b398589627.png)

Unity Catalogがお客様のデータの価値を解放します。
![Screenshot 2023-11-29 at 21.26.29.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/5dd5c2f3-55f4-8357-5c32-dead58ad3c49.png)

Unity CatalogはデータとAIの統合ビューを提供します。

- 構造化データ、非構造化データ、ファイル、ノートブック、MLモデル、ダッシュボードを一つの場所から**ディスカバリー・分類**
- データを移動、コピーすることなしに、**単一のアクセスポイント**を用いて**他のデータベースやデータウェアハウス**からのデータを統合、クエリー
- 自動化リネージ、タグ、自動生成されるデータ洞察を用いて、**ご自身のデータ領域をより深く理解**
- 自然言語を用いたご自身のデータやAI資産の検索、理解、洞察の抽出による生産性の向上

![Screenshot 2023-11-29 at 21.27.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/0a3a34d3-ffbd-416f-e178-c5ab7ce0db0c.png)

データとAIに対するシンプルな権限モデルを提供します。

- 一つの場所ですべてのデータとAI資産に対するアクセスポリシーを管理、監査するための**統合され、シンプルなインタフェース**を用いて皆様のデータ資産を保護
- 強化されたセキュリティのために、行や列に対する**きめ細かいアクセス制御**を有効化
- 一つの場所で一貫性を持って管理される権限と**オープンなインタフェース**を用いた他の計算プラットフォームからセキュアにデータにアクセス

![Screenshot 2023-11-29 at 21.28.28.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/26f0bc4b-56a7-a478-904b-139a75961c58.png)

AIで強化された監視と観測可能性を提供します。

- データとMLモデルの品質問題に対する**プロアクティブな警告**を受信
- 効率的な根本原因分析やインパクト評価のためにカラムレベルにまで追跡できる**リアルタイムのデータリネージ**へのアクセス
- ステークホルダーとデータとML品質レポートを容易に共有するための**自動生成ダッシュボード**の活用
- 課金、監査、リネージなどに対する運用インテリジェンスによる完全なデータとAIの**観測可能性**の実現

![Screenshot 2023-11-29 at 21.29.37.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/7dd6c49d-3d2c-6175-e25e-9ca171c86113.png)

オープンなデータ共有を実現します。

- クラウド、リージョン、プラットフォーム横断で複製不要のシームレスなデータ共有のために、オープンソースのDelta Sharingで**ベンダーロックインを回避**
- **データ以上のもの**を共有 - ノートブック、MLモデル、ダッシュボード、アプリケーション
- **オープンなマーケットプレース**でデータ製品の探索と収益化
- **スケーラブルなデータクリーンルーム**で
センシティブなデータに対するセキュアな
コラボレーション

![Screenshot 2023-11-29 at 21.31.00.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/69f341b7-35ea-3b67-7d3f-ed39b0e61329.png)

# ガバナンスの課題とUnity Catalogのアプローチ

- 目の前にあるテーブルにどのようなクエリーを行えばいいのかわからない。
- 目の前にあるテーブルが作成された経緯がわからず、容易に活用できない。
- テーブルの説明文を記載したいが手が回らない。
- 特定のテーブルに詳しい専門家が特定できず問い合わせられない。
- 特定のテーブルがどこで利用されているのかわからず、更新・削除が行えない。
- テーブルだけではなく、機械学習モデルやファイルに対するアクセス制御が煩雑。
- データに対するアクセスコントロールの粒度が粗く、セキュリティを高めると分析できない。

## 目の前にあるテーブルにどのようなクエリーを行えばいいのかわからない

- カタログエクスプローラでテーブルにアクセスし、**洞察タブ**を表示します。
- テーブルに対して実行されているクエリーにクイックにアクセスすることができます。
- クエリーをクリックすると詳細を確認でき、![Screenshot 2023-11-29 at 21.33.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/886f603c-eaa4-d9b2-e64e-82a8b7aae9b8.png)をクリックすることでクエリエディタに移動できます。

![Screenshot 2023-11-29 at 21.33.27.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/4b8e947d-cb17-d684-64ab-2b72e65cedf8.png)

## 目の前にあるテーブルが作成された経緯がわからず、容易に活用できない

- カタログエクスプローラでテーブルにアクセスし、**依存関係タブ**を表示します。依存関係がUpstreamになっているテーブルから対象のテーブルが作成されていることがわかります。
- **リネージグラフを表示**をクリックすることで、より視覚的に依存関係を確認することができます。

![Screenshot 2023-11-29 at 21.34.54.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/0ca4535e-9c38-3332-8f1a-8e2894a7a049.png)
![Screenshot 2023-11-29 at 21.35.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/8acd63ec-154f-6432-c75b-8d6bc50d0a58.png)

## テーブルの説明文を記載したいが手が回らない

- カタログエクスプローラでテーブルにアクセスすると、生成AI(大規模言語モデル)によって、(英語ですが)自動で説明文が生成されます。

![Screenshot 2023-11-29 at 21.35.49.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/15048a82-3db9-6165-6362-13457bbbe4fc.png)

## 特定のテーブルに詳しい専門家が特定できず問い合わせられない

- カタログエクスプローラでテーブルにアクセスし、**洞察タブ**を表示します。
- よく使用するユーザーには、対象のテーブルに頻繁にクエリーを実行しているユーザーが表示されるので、詳細を聞いてみましょう。

![Screenshot 2023-11-29 at 21.36.28.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/06dad6ee-f163-15b4-cc45-37c697cd3b38.png)

## 特定のテーブルがどこで利用されているのかわからず、更新・削除が行えない

- カタログエクスプローラでテーブルにアクセスし、**依存関係タブ**を表示します。
- **ダウンストリームへの接続**でフィルタリングして、テーブルにアクセスしているダッシュボード、ノートブック、クエリーなどを特定します。

![Screenshot 2023-11-29 at 21.37.23.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/767467d6-b58e-fdd8-7266-8acee6377ffd.png)

## テーブルだけではなく、機械学習モデルやファイルに対するアクセス制御が煩雑

- カタログエクスプローラでは、テーブルだけではなく、機械学習モデルやファイルに対するアクセス制御を同じGUIから行えます。

![Screenshot 2023-11-29 at 21.38.14.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/b0541fd1-826b-c8b6-b6bc-e1a6d2b56627.png)

## データに対するアクセスコントロールの粒度が粗く、セキュリティを高めると分析できない

- 行フィルター、列マスクを用いることで、行・列レベルのアクセスコントロールが可能です。

![Screenshot 2023-11-29 at 21.38.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/ef41efde-1d99-b92a-2178-c07bd6edbdf3.png)

# まとめ

- 今ではガバナンスはデータ(テーブル)のみに適用されるべきものではなく、ファイルや機械学習モデル、処理ロジック(ノートブック)、ダッシュボードなど、データやAIの活用に必要となるあらゆるコンポーネントに対して適用する必要があります。
- しかし、これらの個別のオブジェクトに個別のソリューションを適用したとしても、すぐに運用が破綻することは想像に難くありません。
- DatabricksのUnity Catalogを活用することで、これらの課題に容易に対応することができることを感じていただけたら幸いです。皆様のデータと(生成AIを含む)AIの取り組みを支援するために、継続的にUnity Catalogを改善してまいります。是非ご活用ください！


### Databricksクイックスタートガイド

[Databricksクイックスタートガイド](https://www.amazon.co.jp/dp/B09V1YXFVQ/)


### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)