TROCCOで高めるDatabricksのポテンシャル～データレイクを生成AIで分析する新時代へ～

## 概要

「#p_UG 東京：新春！TROCCOで取り組むデータ活用LT大会」というイベント’にて、「TROCCOで高めるDatabricksのポテンシャル～データレイクを生成AIで分析する新時代へ～」というタイトルでの発表を担当したため、その内容を整理します。

https://pug.connpass.com/event/339253/

## 発表資料

<script async class="docswell-embed" src="https://www.docswell.com/assets/libs/docswell-embed/docswell-embed.min.js" data-src="https://www.docswell.com/slide/KEXQNN/embed" data-aspect="0.5625"></script><div class="docswell-link"><a href="https://www.docswell.com/s/manabian/KEXQNN-2025-01-31-124506">TROCCOで高めるDatabricksのポテンシャル～データレイクを生成AIで分析する新時代へ～ by @manabian</a></div>

## 発表内容補足

### manabian について

データ分析基盤の構築方法論や関連テクノロジーの調査だけでなく、エラー対応方法などいわゆる上流から下流までの記事を投稿しています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/6cf83f1b-4a3b-ef34-96e8-b9adad87c904.png)

引用元：[最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～ #AWS - Qiita](https://qiita.com/manabian/items/e689daf5cc006eced737)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/571ece94-c55c-56e5-4243-7d6ad1d5be15.png)

引用元：[データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少し深く理解してみる #Python - Qiita](https://qiita.com/manabian/items/ab6c2a5dde78c432ecf1)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/506550df-af8b-1b4b-e386-3c1864591fcb.png)

引用元：[Databricks にて Azure SQL Database の CHAR 型カラムから末尾の空白スペースを自動的に削除する方法 #SQLServer - Qiita](https://qiita.com/manabian/items/2283326fa952ccfcecda)

### Databricks にて生成 AI により分析できる機能

Databricks には、生成 AI によりデータ分析ができる AI/BI Genieスペースという機能があります。チャットした内容に基づき、内部で SQL を発行してその結果を可視化できます。テーブルに設定したメタデータで参照することや事前に設定した Q&A に基づき回答するなど、最小減の操作により回答の精度を向上することができます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/b1019910-b73d-ea7f-aaa3-61f9a621ff3d.png)

引用元：[AI/BI Genieスペースとは |Databricks on AWS](https://docs.databricks.com/ja/genie/index.html)

### TROCCO × Databricks

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/33650b65-1ebe-8e2b-8c21-fb0371ee62ef.png)

引用元：[Databricks と TROCCO の融合で実現するシームレスなデータパイプライン構築入門 #Python - Qiita](https://qiita.com/manabian/items/3641ddb3d4e11a8d7eb1)

TROCCO 関連では下記の記事を投稿しています。

- [TROCCO REST APIをPythonで操作：GitHub Copilot で試してみた結果 #AI - Qiita](https://qiita.com/manabian/items/45794064cd334e916fe8)
- [TROCCO が Databricks への書き込みをサポートしたので Salesforce のデータを転送してみた #データエンジニアリング - Qiita](https://qiita.com/manabian/items/a4688641c56891279b04)
- [ REST APIをPythonで操作：GitHub Copilot で試してみた結果 #AI - Qiita](https://qiita.com/manabian/items/45794064cd334e916fe8)
- [TROCCO が Databricks からのデータ読み込みをサポートしたので Salesforce へリバース ETL してみた #データエンジニアリング - Qiita](https://qiita.com/manabian/items/f3f1c2f87fa19dae8d34)



### Salesforce との連携方法

Salesforce とデータ連携する方法として、下記のように整理しました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/bbe71e4b-7f78-5a40-f571-1f63c75ebf42.png)

引用元：[Salesforce のデータを DWH と連携しておいて!!と言われた時に読む記事 #データエンジニアリング - Qiita](https://qiita.com/manabian/items/b63d2824a22ad458c797)

Salesforce 関連で下記の記事も投稿しています。

- [Salesforce初心者がわずか1週間でRangerランクと認定アソシエイトを取得した達成の記録 #Salesforce認定アソシエイト試験 - Qiita](https://qiita.com/manabian/items/2e31d414f7557a7af0db)
- [Azure Data Factory にて Salesforce をソースとした場合のデータ連携パターン #データエンジニアリング - Qiita](https://qiita.com/manabian/items/8c0079b793b85859f1d7)
- [Azure Data Factory にて Salesforce をシンクとした場合のデータ連携パターン #データエンジニアリング - Qiita](https://qiita.com/manabian/items/51bf3bb423a22315ae6d)

## レイクハウスについて

レイクハウスとは何かについて下記に記載されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/f9a10fd7-f184-2d19-dfdb-bee0faeb3b6a.png)

引用元：[データレイクハウスとは？| Databricks](https://www.databricks.com/jp/glossary/data-lakehouse)

多くのソフトウェアベンダーがレイクハウスへの対応を進めていることが下記の記事で確認できます。

- [APACHE ICEBERGテーブルの概要と活用メリット | Snowflake](https://www.snowflake.com/ja/guides/what-are-apache-iceberg-tables/)
- [Apache Iceberg BigQuery テーブル : オープン レイクハウス向けに最適化されたストレージ | Google Cloud 公式ブログ](https://cloud.google.com/blog/ja/products/data-analytics/announcing-bigquery-tables-for-apache-iceberg)
- [Tableflow: Convert Kafka topics to Iceberg tables | Confluent | JP](https://www.confluent.io/ja-jp/product/tableflow/)