Databricksの投稿記事から見る2024年の振り返り

今年も振り返ります。

![Screenshot 2024-12-26 at 17.06.52.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/fa494680-36fc-660a-4eaf-441f25e0c257.png)

# 概要

件数の推移はこんな感じです。昨年よりもややトーンダウン。

![Screenshot 2024-12-27 at 7.06.55.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/38f18e85-174b-206b-c5db-9c3962e5a162.png)

昨年のまとめはこちらです。

https://qiita.com/taka_yayoi/items/a7aafb8585bd3922c947

昨年は[GPT-4の論文翻訳](https://qiita.com/taka_yayoi/items/1bdbb59946ebff78a689)や[Dolly](https://qiita.com/taka_yayoi/items/e9c895c169da652c6efb)のインパクトが大きかったでしょうか。それでもPVは増えているのは嬉しいことです。

# 詳細分析

PVといいねの観点から深掘りします。

## 日毎の推移

![日別のlike数.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/b6f1eec2-0f2f-dae2-e091-9c21eb5c7c4b.png)

例によってほぼ毎日書いています。年初のスパイクは[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)でした。その後の3/27のPVのスパイクは複数の記事によるものでした。

- [DatabricksのLLM「DBRX」を動かしてみる](https://qiita.com/taka_yayoi/items/e1446fc1be64afc9b449)
- タグ[ApacheSpark徹底入門](https://qiita.com/tags/apachespark%e5%be%b9%e5%ba%95%e5%85%a5%e9%96%80)がついた記事。

10月頭は[Databricks Apps\(アプリ\)がやってきました](https://qiita.com/taka_yayoi/items/9ee9ba97ebdb82704244)がスパイクになっています。

## PVといいねの分布

やはり、この二つのメトリクスは相関しています。

![visualization.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/86c0aca3-a78e-b3cf-6c50-085b6832457e.png)

PVは大体500がボリュームゾーン、いいねは特筆すべきところはありませんでした。

![visualization (1).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/a6a24ca6-6222-ff20-345a-b36a61373144.png)
![visualization (2).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/42094c8c-e9ed-05d6-567f-2a349368f499.png)

## タグ

Databricksが多いのは当たり前ですが、それ以外はLLMとSparkが目立ちます。[Databricks生成AIクックブック ](https://qiita.com/taka_yayoi/items/36c51bce8f33a70cf204)は読み応えがあったのでガーッと訳しました。

![visualization (3).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/6add87a3-c44f-bd54-0d89-7ed6a70ccb98.png)


# ピックアップ記事

## はじめてのDatabricks

年明けアウトプットということで。Databricksは機能が多いので、初めて触る方向けにガイドとして執筆しました。

https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d

## [翻訳] The Shift from Models to Compound AI Systems

2023年はLLM、RAGの年だったと思うのですが、今年はエージェントシステムの萌芽が見えてきた年だと言えます。こちらは「モデルから複合AIシステムへのシフト」というタイトルのBerkeley Artificial Intelligence Researchのブログ記事の翻訳です。複合AIシステム(compound AI system)という名前でエージェントシステムの特徴を説明しています。

https://qiita.com/taka_yayoi/items/287ad22441d6abc7e07e

## AWS TokyoリージョンのDatabricksでサーバレスSQLが利用できるようになりました！

2024年はサーバレス化が進んだ年でもありました。ようやくAWS Tokyoリージョン、追ってAzure TokyoリージョンでもサーバレスSQLウェアハウスが使えるようになりました。(他のサーバレス機能も早くきて欲しい)

https://qiita.com/taka_yayoi/items/01b6bd58a06c85b29c56

## Apache Spark徹底入門を出版しました！

この年で初めて出版社から本を出すことができました。

https://qiita.com/taka_yayoi/items/798767c8a585c64212f9

## DBRXのご紹介: 新たなSOTAオープンLLM

Dollyに次いで、完全にスクラッチで開発したLLM「DBRX」を発表しました。

https://qiita.com/taka_yayoi/items/ea6293f8c72d6b1c4018

## DSPyによるRAGの構築、最適化および評価

DSPy、きちんと勉強しよう。

https://qiita.com/taka_yayoi/items/a9827246cd214f3f8f4e

## 50歳ITエンジニアが語る「Apache Spark徹底入門」出版への道

ポエム

https://qiita.com/taka_yayoi/items/b21cceae9caf03faf41c

## データ分析とは何か：ビジネス課題の特定からEDAまで

改めて、**データ分析**とは何かを振り返ってみました。

https://qiita.com/taka_yayoi/items/597c555b5600cc59a268

## Databricks生成AIクックブック

RAGの開発、運用に関するクックブックを夜鍋して翻訳しました。

https://qiita.com/taka_yayoi/items/36c51bce8f33a70cf204

## AWS東京リージョンにノートブック用サーバレスがやってきました！

ノートブック用サーバレスやサーバレスモデルサービングなどもとうとう日本に到着。

https://qiita.com/taka_yayoi/items/24a5eedf6796c7bf918b

## Databricksジョブでfor eachタスクがサポートされました！

これは個人的に嬉しかった新機能。ジョブでループを実装できるようになりました。

https://qiita.com/taka_yayoi/items/602bcd2a8d39fa2f555d

## Databricks AI/BIダッシュボードを外部アプリケーションに埋め込めるようになりました！

Databricks AI/BIの進化も激しかったです。

https://qiita.com/taka_yayoi/items/a3683d6022f4fb6af340

## Databricks Apps(アプリ)がやってきました！

そして、これも心待ちにしていた機能。(まだ日本に来ていませんが)streamlitやgradioでアプリが組めるようになりました！

https://qiita.com/taka_yayoi/items/9ee9ba97ebdb82704244

## Hugging Face Diffusers、Databricks Appsとモデルサービングで構築する顔ハメ看板アプリ

マルチモーダルのアプリケーションも増えてきましたね。

https://qiita.com/taka_yayoi/items/9ef95cb2f39fddd047af

## [2024年12月版] Databricksとは何か？

そして、今年もDatabricksとは何かをまとめました。

https://qiita.com/taka_yayoi/items/e6a6e7b1a427d66b1cd9

## Databricksリリースノート(毎日更新)

英語のリリースノートを自動で翻訳して更新するようにしました。

https://qiita.com/taka_yayoi/items/57923e2d159a65a22118

## Databricksアドベントカレンダー2024の振り返り

アドベントカレンダーは過去最高の盛り上がりを見せました。ありがとうございました！

https://qiita.com/taka_yayoi/items/c7a84a375aee8a48a291

# まとめ

詳細分析などは後でアップデートします。個人的には、以下のようなトピックが多かった印象です。

- エージェントシステムの黎明期
- 昨年に引き続き色々なLLMが出現
- Databricks AI/BI(ダッシュボードとGenie)がどんどん進化。アシスタントも進化。
- Sparkを改めて勉強

### はじめてのDatabricks

[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)

### Databricks無料トライアル

[Databricks無料トライアル](https://databricks.com/jp/try-databricks)