NTTデータのDatabricks紹介記事まとめ


# はじめに

株式会社NTTデータ [デジタルサクセスソリューション事業部](https://enterprise-aiiot.nttdata.com/) の [nttd-saitouyun](https://qiita.com/nttd-saitouyun) です。Databricksを活用したデータとAIの活用支援をしております。

Databricksを推進する取り組みの一環で記事の執筆を行っています。記事がやや色々なメディアに散ってしまい、わかりにくくなってきたため、**まとめページを作成しました！**

まだまだ数は少ないですが、今後も記事を増やしていきます！

# アーキテクチャ
- [【IT Leaders】サイロ化を解消し「データとAIの民主化」を加速 DWHとデータレイクの溝を埋める決定打とは？](https://it.impress.co.jp/articles/-/24161)
- [いまさら聞けない！「レイクハウス」とDWH、データレイクの違いとは](https://www.nttdata.com/jp/ja/trends/data-insight/2023/0620/)


# 機能全般
- [Databricks新機能とリリース情報の早見表（2024年版）](https://qiita.com/nttd-yuan/items/9a0580300b7fe3c765ae)

# データエンジニアリング

### テーブル
- [【Databricks】UNDROPコマンドの挙動](https://qiita.com/nttd-imamurayu/items/8fa3ccc34e6ac6ca3bdc)

### データ処理
- [Databricks で Shutterstock のデータを自然言語で処理する](https://qiita.com/nttd-saitouyun/items/046c6e524f38da1453e6)

### 非構造化データ
- [Databricks で Shutterstock の画像データを分散処理する](https://qiita.com/nttd-saitouyun/items/bc0d0ff0ade78fcb29fa)
- [Databricksで医療画像データDICOMを活用する方法（1/2）](https://qiita.com/nttd-saitouyun/items/1cdcb2225c58f7a4256c)
- [Databricksで医療画像データDICOMを活用する方法（2/2）](https://qiita.com/nttd-saitouyun/items/971d9a17a31303cdc4c9)

### データパイプライン
- [Databricksでデータパイプライン構築：Databricks on AWS クラスター利用料金単価の作り方](https://qiita.com/nttd-saitouyun/items/39df82f13463c2c1d3aa)

### クラスター
- [自動リキッドクラスタリングがパブリックプレビューを開始したため機能を調べてみた](https://qiita.com/nttd-hirao/items/a1a0d9be161561067ef5)

### レイクハウスフェデレーション（データの仮想化）
- [Databricksがデータ仮想化を実現！レイクハウスフェデレーションで社内データ活用を効率化](https://www.nttdata.com/jp/ja/trends/data-insight/2023/1129/)
- [Lakehouse Federation／データの仮想化：Databricks から Snowflake につないでみる](https://qiita.com/nttd-saitouyun/items/c6ee9ee6180ad9f54df6)
- [Lakehouse Federation／データの仮想化：Databricks から AWS Glue Data Catalog につないでみる](https://qiita.com/nttd-saitouyun/items/d6507dc2bf8d9dc1f989)


### Lakeflow

#### Lakeflow Connect
- [Lakeflow Connectを使ってSalesforce Sales CloudのデータをDatabricksに取り込む](https://qiita.com/nttd-inoutk/items/cf4a7a3f338238879929)



### マーケットプレイス
- [Databricks Marketplace から Shutterstock のデータをさわってみる](https://qiita.com/nttd-saitouyun/items/9e18caeba1f7927b0421)





# データアナリティクス

## AI Functions
- [Databricks SQL AI Functions を使ってデータ分析してみる（感情分析・分類）](https://qiita.com/nttd-saitouyun/items/54eff420b91011b4edfa) [ai_analyze_sentiment function / ai_classify function]

- [Databricks SQL AI Functions を使ってデータ分析してみる（翻訳・基盤モデルの呼び出し）](https://qiita.com/nttd-saitouyun/items/46614af37f7297dc2fc2) [ai_translate function / ai_query function]

- [Databricks SQL AI Functions を使ってデータ分析してみる（情報抽出・類似度）](https://qiita.com/nttd-saitouyun/items/fb18480171acf1c12cda) [ai_extract function / ai_similarity function / ai_query function]

- [Databricks SQL AI Functions を使ってデータ分析してみる（マスキング・要約・文法修正）](https://qiita.com/nttd-saitouyun/items/32a545f28d91940d07d4) [ai_mask function / ai_summarize function / ai_fix_grammar function / ai_query function / ai_similarity function]





# データサイエンス
（Coming Soon）

# 生成AIとLLM

## Mosaic AI Playground
- [Meta Llama 3.1 on Databricks を Mosaic AI Playground で試してみた（動画あり）](https://qiita.com/nttd-saitouyun/items/f6fb3c023358340dcd21)

- [Mosaic AI Playground で Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 Pro と同時にチャットする](https://qiita.com/nttd-saitouyun/items/b3ffa29dbecd7570690a)

- [Databricks の Mosaic AI Playground に Agent Evaluation が統合されたみたいなので動かしてみる](https://qiita.com/nttd-saitouyun/items/d3905af14858c6cae423)

## Mosaic AI Model Serving
- [Databricks の Mosaic AI Model Serving Endpoint から Amazon Bedrock の LLM を利用する](https://qiita.com/nttd-saitouyun/items/4fc9bde0b338cb180e02)

- [Databricks の Mosaic AI Model Serving Endpoint から Azure OpenAI の LLM を利用する](https://qiita.com/nttd-saitouyun/items/04e61af84e5cc25a26b9)

- [Databricks の Mosaic AI Model Serving Endpoint から Google Cloud Vertex AI の LLM を利用する](https://qiita.com/nttd-saitouyun/items/ec29189abfca6722fc00)


## MLflow LLM Evaluate
- [MLflow LLM Evaluate で Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 Pro との QA を評価する](https://qiita.com/nttd-saitouyun/items/5b4014f9326bd3997736)
- [MLflow LLM Evaluate：モデルサービングされたLLM をカスタム関数で評価する](https://qiita.com/nttd-saitouyun/items/ef0370328284ba9a4955)
- [MLflow LLM Evaluate：mlflow.metrics.latency() で ValueError が発生した時の対処方法](https://qiita.com/nttd-saitouyun/items/8916bde16e9a0834eeb0)
- [MLflow LLM Evaluate：Amazon Bedrock / Claude 3.5 Sonnet で LLM-as-a-Judge による LLM の評価](https://qiita.com/nttd-saitouyun/items/061548eabe37a868c507)


## Mosaic AI Vector Search
- [Databricks で Shutterstock のテキストデータをベクトル検索をする](https://qiita.com/nttd-saitouyun/items/9be0ef55bcfd91b0167c)



## Mosaic AI Agent Framework
- [Databricks デモ：Compound AI System and Agent Tools - その１](https://qiita.com/nttd-saitouyun/items/e885747457ef9798b557)
- [Databricks デモ：Compound AI System and Agent Tools - その２](https://qiita.com/nttd-saitouyun/items/692896ae12d3cbdd5d8c)

## その他
- [Databricks から Amazon Bedrock を使ってみた](https://qiita.com/nttd-saitouyun/items/171ed208408b4597284f) [English SDK for Apache Spark]



# セキュリティとガバナンス
- [機能から理解するDatabricks「Unity Catalog」](https://qiita.com/nttd-saitouyun/items/57c2ac16d874539a1209)


# パフォーマンス
- [Databricksチューニングあれこれ (JEDAI 2023 X'mas/忘年会 Meetup!)](https://qiita.com/nttd-kitabah/items/197aa6138243c5f7a082)

# モニタリング

- [Databricks Assistant システムテーブル を触ってみる](https://qiita.com/nttd-saitouyun/items/1f347a390dd60c7e3ce1)
- [Databricks Query history システムテーブル を触ってみる](https://qiita.com/nttd-saitouyun/items/5cc40fbb660692125449)
- [Databricks Node timeline システムテーブル を触ってみる](https://qiita.com/nttd-saitouyun/items/35298f695fd955051e6e)

# インテグレーション

### AWS
- [Databricks の Mosaic AI Model Serving Endpoint から Amazon Bedrock の LLM を利用する](https://qiita.com/nttd-saitouyun/items/4fc9bde0b338cb180e02)
- [Databricks から Amazon Bedrock を使ってみた](https://qiita.com/nttd-saitouyun/items/171ed208408b4597284f) [English SDK for Apache Spark]
- [Lakehouse Federation／データの仮想化：Databricks から AWS Glue Data Catalog につないでみる](https://qiita.com/nttd-saitouyun/items/d6507dc2bf8d9dc1f989)


### Azure
- [Databricks の Mosaic AI Model Serving Endpoint から Azure OpenAI の LLM を利用する](https://qiita.com/nttd-saitouyun/items/04e61af84e5cc25a26b9)


### Google Cloud
- [Databricks の Mosaic AI Model Serving Endpoint から Google Cloud Vertex AI の LLM を利用する](https://qiita.com/nttd-saitouyun/items/ec29189abfca6722fc00)

### Snowflake
- [Lakehouse Federation／データの仮想化：Databricks から Snowflake につないでみる](https://qiita.com/nttd-saitouyun/items/c6ee9ee6180ad9f54df6)


### Informatica
- [Informaticaのデータ統合サービスCloud Data IntegrationでDatabricksにELTしてみた](https://qiita.com/nttd-nagano/items/2d846170fa0c64fb8b1f)

### Salesforce
- [Lakeflow Connectを使ってSalesforce Sales CloudのデータをDatabricksに取り込む](https://qiita.com/nttd-inoutk/items/cf4a7a3f338238879929)
- [PythonCDPコネクタを使ってSalesforce Data CloudのデータをDatabricksから参照する](https://qiita.com/nttd-inoutk/items/992fe0e278916d9b0119)
- [Model Bulderを使ってSalesforce Data CloudからDatabricksで構築したモデルを呼び出す](https://qiita.com/nttd-inoutk/items/7f90f1637d615d2fe078)


# コスト
- [Databricks on AWS クラスター利用料金単価の早見表（Enterpriseプラン・2024年7月）](https://qiita.com/nttd-saitouyun/items/abfeb9585de5da70867d)
- [Databricks on AWS クラスター利用料金単価の早見表（Premiumプラン・2024年7月）](https://qiita.com/nttd-saitouyun/items/1326c7798dcb8012352b)
- [Databricks on AWS クラスター利用料金単価の早見表（Standardプラン・2024年7月）](https://qiita.com/nttd-saitouyun/items/5d5e8af42821ffd4168f)
- [Databricks on AWS SQLウェアハウス利用料金単価の早見表（2024年7月）](https://qiita.com/nttd-saitouyun/items/847c12aad9206b016e9f)





# トラブルシューティング

- [Databricksでカラム名に半角スペースが入ってしまうと気付きにくい](https://qiita.com/nttd-saitouyun/items/c44dbe36f3b301f10a40)



# デモ
- Shutterstock の非構造データの活用
    [マーケットプレイス / ノーコード / 非構造データ / ベクトル検索 / 画像処理]
    1. [Databricks Marketplace から Shutterstock のデータをさわってみる](https://qiita.com/nttd-saitouyun/items/9e18caeba1f7927b0421)
    1. [Databricks で Shutterstock のデータを自然言語で処理する](https://qiita.com/nttd-saitouyun/items/046c6e524f38da1453e6)
    1. [Databricks で Shutterstock のテキストデータをベクトル検索をする](https://qiita.com/nttd-saitouyun/items/9be0ef55bcfd91b0167c)
    1. [Databricks で Shutterstock の画像データを分散処理する](https://qiita.com/nttd-saitouyun/items/bc0d0ff0ade78fcb29fa)

    


# 事例
 - [大手金融機関がデータブリックスを採用したワケは](https://www.databricks.com/jp/blog/reason_why_major_FSI_adopt_databricks)

# 学習方法
- [自己流！Databricksノートブックを効率よく翻訳・理解する方法](https://qiita.com/nttd-saitouyun/items/70e098a288dfdd20e970)

# 認定資格

### 総論
- [Databricksの認定資格 全部とってみたので体系的にまとめる](https://qiita.com/nttd-saitouyun/items/e7d1ca77e23b8e635518)

### 合格体験記
- [Databricks Certified Machine Learning Associate 合格体験記](https://qiita.com/nttd-yuan/items/2dba37360161dfbcbe4a)
- [Databricks Certified Machine Learning Professional 合格体験記](https://qiita.com/nttd-yuan/items/7f9e5d5791cfa61315de)
- [Databricks Certified SQL Analyst Associate 合格体験記](https://qiita.com/nttd-saitouyun/items/b056f5f98bd1a705a7b2)
- [Databricks Certified Generative AI Engineer Associate 合格体験記](https://qiita.com/nttd-saitouyun/items/b53f4e46a25657fe317c)



# イベント

### Data + AI Summit
- [Data + AI Summit - Databricks 現地レポートまとめ](https://qiita.com/nttd-saitouyun/items/5d0743c3a29bca4892cc)


# その他

### 技術活動
- [集まれ！Legendary Heroes of DATA + AI !! 〜Databricks Champion のご紹介 Vol.1 NTTデータ様編〜](https://www.databricks.com/jp/blog/2022/12/06/jimarelegendary-heroes-data-ai.html)
- [テクニカルエバンジェリストとしての活動の振り返り 2023](https://qiita.com/nttd-saitouyun/items/e316f98e29d47e296732)

### アライアンス活動
- [統合データ分析基盤を提供するデータブリックスの「Data & AI Governance Partner of the Year for Japan」を受賞](https://www.nttdata.com/global/ja/news/topics/2024/112600/)
- [統合データ分析基盤を提供するデータブリックスのパートナー評価で日本企業初の「Elite」を獲得](https://www.nttdata.com/global/ja/news/topics/2024/052300/)
- [データブリックスのAPJ Databricks Partner Award 2023において「Regional System Integrator Partner」および「Top Consumption Partner」を受賞](https://www.nttdata.com/global/ja/news/topics/2023/101300/)
- [データブリックスの「APJ Partner Champion of the Year」を受賞](https://www.nttdata.com/global/ja/news/topics/2023/072803/)
- [「データとAIの民主化」推進に向けデータブリックス・ジャパンとパートナーシップ契約締結](https://www.nttdata.com/global/ja/news/services_info/2021/051300/)

# 参考

### 公式の情報
- [ホームページ](https://www.databricks.com/jp)
- [Databricksドキュメント（マニュアル）](https://docs.databricks.com/ja/index.html)
- [Databricks PySpark API Reference](https://api-docs.databricks.com/python/pyspark/latest/index.html)
- [Databricks Japan - Speaker Deck](https://speakerdeck.com/databricksjapan)
- [Databricks Academy（トレーニング）](https://www.databricks.com/jp/learn/training/login)

# おわりに

Databricks 以外にも様々な記事を公開しております！

https://qiita.com/organizations/nttdata/items