Databricksの投稿記事から見る2022年の振り返り(前編)

先日、Qiitaの年次レポートをいただいたので、今年の振り返りをします。なお、昨日で仕事納めですが、年末年始もポチポチ書いていきます。

![Screen Shot 2022-12-27 at 12.26.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/cc8ff977-87fd-5aec-dd62-229db29aa8bb.png)

こちらにも書きましたように、2021年3月から投稿を始めました。

https://qiita.com/taka_yayoi/items/05d476c9e8847e4f3487

ちなみに昨年の振り返りレポートはこちら。2021年は3月からではありますが、ペースが上がっているような。
![Screen Shot 2022-12-28 at 8.28.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/5aaf73a0-9840-c016-2b8e-1b272b1d336e.png)

ある意味ライフワークと化しているので、できるだけ書き続けたいところです。

前置きが長くなりましたが、今年一年を振り返ってみます。基本マニュアルやブログの翻訳が多いので、オリジナルの記事にフォーカスするようにします。まとめ始めたら思ったより量が多いので、前後編に分けます。

# 私はDatabricksをどのように学んできたのか(学習コンテンツのご紹介)

**投稿日 2022年01月15日**

年初のオリジナルは学習コンテンツでした。Databricksに入社して2年が立ちますが、日々勉強の気持ちで取り組んでいます。Databricksは基本2週間に1回のペースで新機能がリリースされるのでそれにキャッチアップしていくのも大変ですが、常に新鮮な学びがあるので楽しいです。

https://qiita.com/taka_yayoi/items/4bd998434a1aaf278a03

# DatabricksのUIが日本語対応しました！

**投稿日 2022年01月20日**

タイトルからも嬉しさが滲み出ています。これまでは英語のみでしたが、今では数ヶ国語に対応しています。なお、日本語のGUIの翻訳は今は私がやっています。誤訳などありましたら教えてください。

https://qiita.com/taka_yayoi/items/ff4127e0d632f5e02603

# Databricksを使い始めたときに感じる疑問 + ベストプラクティス

**投稿日 2022年01月25日**

Databricksを使い始めて最初に悩んだのはファイルシステムやデータベースがどうなっているのかでした。その辺りをまとめています。この後追加の記事([ファイルシステム](https://qiita.com/taka_yayoi/items/598f1929860d794242f7#databricks%E3%81%AE%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%82%92%E5%8F%AF%E8%83%BD%E3%81%AA%E9%99%90%E3%82%8A%E3%82%8F%E3%81%8B%E3%82%8A%E3%82%84%E3%81%99%E3%81%8F%E8%A7%A3%E8%AA%AC)、[データベース](https://qiita.com/taka_yayoi/items/598f1929860d794242f7#databricks%E3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%82%92%E5%8F%AF%E8%83%BD%E3%81%AA%E9%99%90%E3%82%8A%E3%82%8F%E3%81%8B%E3%82%8A%E3%82%84%E3%81%99%E3%81%8F%E8%A7%A3%E8%AA%AC))も書いています。

https://qiita.com/taka_yayoi/items/8718c7c7d922e6f942bc

# Databricks ReposとAWS CodeCommitを連携する

**投稿日 2022年02月20日**

これも嬉しかったですね。Databricks ReposとはGitとDatabricksワークスペースを同期する機能なのですが。これまではAWS CodeCommitが対応していなかったのですが、このタイミングでサポートされました。日本ではCodeCommit使っているお客様も多いので、喜びの声をいただけました。

https://qiita.com/taka_yayoi/items/ac6333ca9472e7749ec0

# Databricksとdbt Cloudの連携

**投稿日 2022年02月27日**

今年はサードパーティツールとのインテグレーションサポートも数多くありました。dbtもその一つ。

https://qiita.com/taka_yayoi/items/9995400e17dad2dae4fd

https://qiita.com/taka_yayoi/items/6a7a1d7d7813e8600606

# StreamlitからDatabricksでサービングしている機械学習モデルを呼び出す

**投稿日 2022年03月04日**

Streamlitを使い始めたのもこの頃です。REST APIでサービングされているモデルをどう使うのかを説明するにはGUIが一番直感的でした。

https://qiita.com/taka_yayoi/items/ce79c29df59a99bf872b

# Delta Live Tablesを使い始めると感じる疑問(回答付き)

**投稿日 2022年03月07日**

この頃はまだDelta Live Tables(DLT)はプレビュー中でしたね。今ではGAになっています。

https://qiita.com/taka_yayoi/items/4ef8ef2688bf7fd874cf

# 電子書籍：データブリックス クイックスタートガイドを出版します！

**投稿日 2022年03月08日**

これも鼻息が荒いタイトル。そういえば、生まれて初めて本を出版したのでした。

https://qiita.com/taka_yayoi/items/5133f590f30fee3c12da

https://qiita.com/taka_yayoi/items/c4b3456ba62570a2dd49

# Unity Catalogのウォークスルー

**投稿日 2022年03月18日**

Unity Catalogもこの頃はプレビュー中でした。こちらも今ではGAです。

https://qiita.com/taka_yayoi/items/b92d783485ce267462d0

# DatabricksとLabelboxの連携(実践編)

**投稿日 2022年04月05日**

画像にラベリングができるLabelboxとの連携。

https://qiita.com/taka_yayoi/items/64245fe438443f3742c4

# 日本語に対してSpark NLPを使う

**投稿日 2022年04月08日**

Spark NLPを使い始めたのもこの頃ですね。Sparkで自然言語できるなんて、日本語もサポートしているなんて！と興奮したものです。

https://qiita.com/taka_yayoi/items/f34a5accaa8f7cad603a

# Databricksでワイン品質予測モデルをトレーニングしてStreamlit Cloudからモデルを呼び出す

**投稿日 2022年04月21日**

Streamlit好きが伺えます。なお、ワインも好きです。

https://qiita.com/taka_yayoi/items/450b363c6d10475ea0f0

# 無料のDatabricks Community EditionでSpark NLPを使って自然言語処理をやってみる

**投稿日 2022年04月23日**

Spark NLPもお気に入りです。

https://qiita.com/taka_yayoi/items/ebec25578a7cfe2f50b0

# Databricks SQL CLIを試してみる

**投稿日 2022年05月13日**

コマンドラインでDatabricksを呼び出してSQLを実行できるCLIもサポートされました。

https://qiita.com/taka_yayoi/items/0f75e9d2e4578ff652d6

# DatabricksでSparkNLPとMLLibを使って分散トピックモデリングをやってみる(日本語編)

**投稿日 2022年05月17日**

またSpark NLP。

https://qiita.com/taka_yayoi/items/dc96cfcfa275adf5ce8a

# Databricks PrivateLink構成における設定確認

**投稿日 2022年05月21日**

一番難易度の高いPrivateLink構成も結構たくさん組みました。

https://qiita.com/taka_yayoi/items/7a856ba770eb932fac70

# Databricksチュートリアル

**投稿日 2022年06月03日**

これは結構な力作です。Databricksを使い始めた際に最初に体験すべき流れをステップバイステップで説明するシリーズです。

https://qiita.com/taka_yayoi/items/4603091dd325c77d577f

# 構造化ストリーミングとDatabricks SQLを組み合わせてリアルタイムダッシュボードを作成してみる

**投稿日 2022年06月05日**

ストリーミングを活用したリアルタイムデータ処理にも慣れてきたような。

https://qiita.com/taka_yayoi/items/419a0b830b61f14373e5

# PySparkことはじめ

**投稿日 2022年06月10日**

アクセス数の多い記事。PySparkに関してはウェビナーもやりたいと考えています。

https://qiita.com/taka_yayoi/items/a7ee6287031374efa88a

# Databricks Community Editionで画像データを分析してみる

**投稿日 2022年06月14日**

非構造化データの取り扱いにも慣れてきたような。気のせいかもしれませんが。

https://qiita.com/taka_yayoi/items/1c02542125bc327282d5

# Databricks Certified Data Engineer Professionalに合格しました！

**投稿日 2022年06月17日**

あー、これも嬉しかったです。そろそろ他の資格も取りたいです。

https://qiita.com/taka_yayoi/items/08be162d451126d4b54b

前半は以上となります。

- GUIの日本語対応
- 本を出版
- Spark NLP/Streamlit楽しい
- 資格に合格

後半はこちら。

https://qiita.com/taka_yayoi/items/598f1929860d794242f7

### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)