個人的Data + AI Summit 2024振り返り

すでに他の方による素晴らしい振り返りが公開されているので、簡単に個人的な振り返りをまとめます。バーチャル参加でしたがリアルタイム視聴してました。

https://qiita.com/nttd-yuan/items/00710ead4910c2e1e742

https://qiita.com/nttd-tamurasua/items/3db302751bfb184f66b0

https://www.ap-com.co.jp/data_ai_summit-2024/

https://techblog.ap-com.co.jp/entry/2024/06/13/173427

https://cloud.nissho-ele.co.jp/blog/dataai-summit-2024-keynote1/

https://togetter.com/li/2382233

# Day 1

データ+AIカンパニーらしくイベントのデータから。

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">6万人の登録、1万6千のオンサイト参加。Spark/Delta年間ダウンロード10億以上<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/1AfGoTxM6X">pic.twitter.com/1AfGoTxM6X</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800918054127489071?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

DBRX出した時にはオープンソースモデルで最高のパフォーマンスを発揮したが(Llama3が出るまでの)二週間だけの話でした。そのくらい最先端のモデルがたくさん出現しているという状況。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">LLMのベンチマークは飽和状態、オープンソースモデルもキャッチアップしている。DBRXは2週間ではあったが最高のパフォーマンスを示した(会場笑<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/lcPNW5FCXA">pic.twitter.com/lcPNW5FCXA</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800919205686227259?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## OSS Unity Catalog

Unity CatalogのOSS化、詳細はDay 2で。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Unity CatalogのOSS化<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/G2TuZCZLOF">pic.twitter.com/G2TuZCZLOF</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800921537408844265?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## 100パーセントサーバレス

100パーセントサーバレスの方向へ。(早く日本に来てください)
<blockquote class="twitter-tweet"><p lang="en" dir="ltr">100% Serverless!!!<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/eE3wzwHETf">pic.twitter.com/eE3wzwHETf</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800923519699812695?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## Mosaic AI

LLM周りのアップデートは情報量多くてあとで咀嚼しないと。Mosaic AI Model Training Fine-tuning、ShutterstockのImageAIはDatabricksで構築、Vector SearchのGA、Tool CatalogやAgent Framework、Agent Evaluation、MLflow 2.14、AI Gatewayなどなど。RAGに次ぐLLMのアプリケーションはやっぱりエージェント系なんですかね。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Mosaic AI Model Training Fine-tuning、ノーコードでOSSモデルをファインチューニング<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/Bz0t9yDp87">pic.twitter.com/Bz0t9yDp87</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800928605968728090?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Mosaic AI Tool Catalog、AIツールのカタログ<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/5ttsYe3CwA">pic.twitter.com/5ttsYe3CwA</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800929806911230269?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

クッキーの売り上げが上がるようなInstagramのポストを投稿するようにエージェントに指示するデモ。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Unity Catalogに登録されているfunctionに対してfunction callingできる感じか。<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/Ud6IsKK2Cj">pic.twitter.com/Ud6IsKK2Cj</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800933352783925562?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Tool chainのスタックトレースを追ってデバッグ<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/BWakMJyPBG">pic.twitter.com/BWakMJyPBG</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800934767065694678?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

お客様(Block)事例。データベースのフェデレーションはよく聞いていましたが、モデルをここまでフェデレーションしているのにはびっくり。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">このフェデレーションはすごい<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/fpE5vnJoyt">pic.twitter.com/fpE5vnJoyt</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800937012104659386?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

エージェント周りをきっちり勉強しようと思いました。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Agent、自分も勉強しよう<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/up1V2fk4Ue">pic.twitter.com/up1V2fk4Ue</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800937910377775522?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## Spatial Intelligence

空間データを生成するSpatial Intelligenceも興味深かったです。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Spatial Intelligence、ゲームとかにインパクトありそう<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/lZdE0lHg7h">pic.twitter.com/lZdE0lHg7h</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800940672490537046?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">やっぱりロボットに組み込まれますよね<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/UCSAbZfXqa">pic.twitter.com/UCSAbZfXqa</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800941078432055469?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## NVIDIA

NVIDIA CEOとのファイアサイドチャット。ここでパートナーシップの強化を発表。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Data + AI Summitにおいて、DatabricksとNVIDIAのパートナーシップ強化が発表されました！<br><br>Databricksの次世代クエリーエンジンPhotonにおけるNVIDIAコンピューティングのネイティブサポートが計画されています。<a href="https://t.co/1vNJZCMMdZ">https://t.co/1vNJZCMMdZ</a><a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://twitter.com/hashtag/databricks?src=hash&amp;ref_src=twsrc%5Etfw">#databricks</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800949287670669465?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## Databricks AI/BI

DWH周りも色々強化。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">リネージやアシスタントのおかげで使いやすさを改善<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/havnOYx9ML">pic.twitter.com/havnOYx9ML</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800953039328772369?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">AI_FORECASTとな、時系列予測が簡単に<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/H4JFxIGtpD">pic.twitter.com/H4JFxIGtpD</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800953797432562098?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

そして、Databricks AI/BIの発表。自然言語(日本語)でダッシュボードの作成から深掘り分析を可能に。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Databricks AI/BI<br><br>- Dashboard: AIアシストを通じたローコードでダッシュボードを構築、クロスリファレンスもサポート<br>- Genie: 対話型でデータに問い合わせや可視化<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/EQFE8SDMIv">pic.twitter.com/EQFE8SDMIv</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800957712685203927?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

Day 1のまとめ。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">今日のまとめ！<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/5MhaCninTu">pic.twitter.com/5MhaCninTu</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1800959395427504508?ref_src=twsrc%5Etfw">June 12, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

早速Databricks AI/BIをウォークスルーしました。個人的にはダッシュボードからGenieへの流れが秀逸かと。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">記事を投稿しました！ Databricks AI/BIのウォークスルー on <a href="https://twitter.com/hashtag/Qiita?src=hash&amp;ref_src=twsrc%5Etfw">#Qiita</a> <a href="https://t.co/EeApTQNdM6">https://t.co/EeApTQNdM6</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801068213863858511?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

# Day 2

## 機能特化の小規模LLM

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">LLMでの勝ちレシピ＝とてつもなく大規模な事前トレーニングやRLHFが必要。でも、小規模モデルにも望みがある。固有タスクに特化。<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/j7phLS8iGz">pic.twitter.com/j7phLS8iGz</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801280054217134294?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">AIが生成するデータを用いてAIをトレーニングすることに。SF的だ。<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/mMeLxR5hwx">pic.twitter.com/mMeLxR5hwx</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801283812145680459?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## Delta

<blockquote class="twitter-tweet"><p lang="es" dir="ltr">Delta 4.0!!!<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/mJrUR035V3">pic.twitter.com/mJrUR035V3</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801288133239357865?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Liquid Clustering、Partition Byよさらば！<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/5kl3k5N7HA">pic.twitter.com/5kl3k5N7HA</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801288411032293426?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## Unity Catalog

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Unity Catalog Tシャツ欲しい<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/vzJ5QdmPj4">pic.twitter.com/vzJ5QdmPj4</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801289622556696596?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

属性ベースのアクセスコントロール(Attribute Based Access Control:ABAC)、ずっと待ってました。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">ABAC!!!待ってました！タグベースのアクセスコントロール<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/lrqgQIpyl9">pic.twitter.com/lrqgQIpyl9</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801291736872091854?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">UCのOSS化！<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/NjiaFJf9AF">pic.twitter.com/NjiaFJf9AF</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801292297801449751?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

ライブで公開というのが盛り上がります。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">LIVEでUCを公開！ <a href="https://t.co/B8lngFcJFR">pic.twitter.com/B8lngFcJFR</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801292753365778502?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

リポジトリはこちら。

https://github.com/unitycatalog/unitycatalog

動かしてみました。

https://qiita.com/taka_yayoi/items/4a9e191e0f85df5ab26b

Metricsも気になります。
<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Unity Catalog Metrics!?<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/aIFs5e2qUW">pic.twitter.com/aIFs5e2qUW</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801295221747290183?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## Spark

Spark 4.0!!!
<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Spark 4.0!!!<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/CmP0hP6ATT">pic.twitter.com/CmP0hP6ATT</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801307131028848960?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

## Lakeflow

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">良いデータに繋がる3つのステップ<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/ol5AxlIVAB">pic.twitter.com/ol5AxlIVAB</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801308207677378784?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">このような課題に対応するためのLakeFlowを発表します！<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/jrXvL4CWqZ">pic.twitter.com/jrXvL4CWqZ</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801308392558104957?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

LakeFlow Connect
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">LakeFlow Connect、以前に買収したArcionのテクノロジーを活用して様々なデータベース、アプリケーションからデータを取り込むためのコネクター<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/i8wqSBayW5">pic.twitter.com/i8wqSBayW5</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801308786889736687?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

LakeFlow Pipelines
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">LakeFlow Pipelines、Delta Live Tablesをベースとしたデータ変換ソリューション<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/FabUEgyxxf">pic.twitter.com/FabUEgyxxf</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801309710886572500?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

LakeFlow Jobs
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">LakeFlow Jobsによるオーケストレーション<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/OQihcw0I1K">pic.twitter.com/OQihcw0I1K</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801310749215887608?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

最初に気になったのは、「あれ、じゃDelta Live Tablesはどうなるの？」でした。
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">既存機能とLakeFlowとのマッピング、プレビューのステータス<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/tedyoBFGk0">pic.twitter.com/tedyoBFGk0</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801311924736627083?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

まとめ。
<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Wrap up<a href="https://twitter.com/hashtag/DAISJapanTeam?src=hash&amp;ref_src=twsrc%5Etfw">#DAISJapanTeam</a> <a href="https://twitter.com/hashtag/DataAISummit?src=hash&amp;ref_src=twsrc%5Etfw">#DataAISummit</a> <a href="https://t.co/UCq0IgsMBa">pic.twitter.com/UCq0IgsMBa</a></p>&mdash; Taka YAYOI/弥生 隆明@Databricks (@taka_aki) <a href="https://twitter.com/taka_aki/status/1801312171265245503?ref_src=twsrc%5Etfw">June 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

個人的には、エージェント活用に向けた機能強化、UCのOSS化、LakeFlowの発表などが興味深かったです。

### はじめてのDatabricks

[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)

### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)