私はなぜDatabricksの記事をアップし続けているのか

ポエムじみていてアレですが。

2021年3月3日から投稿をスタートして今日(2022年08月04日)時点で[600強の投稿](https://qiita.com/taka_yayoi)をしているので、ここで振り返ってみました。
[![Screen Shot 2022-08-04 at 13.03.47.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/fa159f55-4a86-6597-ff93-22e60fe81a80.png)](https://qiita.com/taka_yayoi)

> この記事の執筆は2022年08月04日ですが、2022年11月6日時点では以下の様になっています。
![Screen Shot 2022-11-06 at 10.47.18.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/61f745df-4519-b819-6d71-6ffd956682cf.png)


[Qiita API](https://qiita.com/api/v2/docs)を使って投稿データを取得して、簡単に分析してダッシュボードにしてみました。ちなみに[Databricks SQL](https://databricks.com/jp/product/databricks-sql)を使っています。

![Screen Shot 2022-08-04 at 15.19.58.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/622d3ecb-7a53-5d72-0c98-d935ffcbd409.png)

時々サボってますが、ほぼ毎日書いています。
![Screen Shot 2022-08-05 at 9.16.03.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/a5905618-99ff-1454-fa08-fc092d3e4cbe.png)

参照回数といいねの数は概ね相関しています。
![Screen Shot 2022-08-05 at 9.14.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/87a04ce8-82ea-79ce-4012-22c19ca68a80.png)

上位の記事は[Databricksクイックスタートガイド](https://qiita.com/taka_yayoi/items/125231c126a602693610)や[大規模特徴量エンジニアリング](https://qiita.com/taka_yayoi/items/ad7b119d995fb178e2de)です。
![Screen Shot 2022-08-05 at 9.13.53.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/45bc2ff2-9455-77a7-587a-8ecdb8d7c508.png)

上の上位記事を投稿したときに参照回数やいいねがスパイクしています。
![Screen Shot 2022-08-05 at 9.17.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/61a98aab-7274-8605-111c-ad1c17efea0f.png)

ワードクラウドも作成できます。これはタグなので、あとで本文を形態素解析して見てみたいところです。
![Screen Shot 2022-08-05 at 9.16.57.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/fbdd4fe5-5c97-c72e-23a0-e6a96f3bfed5.png)

以下で理由を書き出してみます。大きく3つありました。

# Databricksの存在を知ってもらうため

これが最大の理由です。私がいうのもアレですが、[Databricks](https://databricks.com/jp/)の日本での認知度はまだまだだと感じています。ウェビナーやトレーニングを行い、ニュースリリースなどを出していますが、データや人工知能、機械学習に関わる方々へのリーチは十分ではないと日々感じています。

そもそも、[AWS版](https://docs.databricks.com/)、[GCP版](https://docs.gcp.databricks.com/)のDatabricksマニュアルに至っては日本語化されていません(これは我々の責任です。すみません)。なお、Azure版のAzure Databricksの[マニュアル](https://docs.microsoft.com/ja-jp/azure/databricks/)は日本語化されています。

私自身、トレーニングやウェビナーの講師を担当しており、その効果は疑うところはありません。ただ、これらはあくまで「フロー型」のコンテンツです。参加しない人は体験することができません(オンデマンド視聴はありますが)。

一方、ネット上の記事であれば、私が寝ている間でも参照していただける可能性があります。だから、ストック型のコンテンツに力を注いでいるのです。

結果として以下のような記事をまとめています。

https://qiita.com/taka_yayoi/items/125231c126a602693610

https://qiita.com/taka_yayoi/items/4603091dd325c77d577f

書いて終わりではなくて、体系的にまとめることで別のメリットがでてきています。これは[後で](#自分の勉強のため)触れます。

# Databricksの良さを知ってもらうため

存在を知ってもらえたとしても「何に使えるのか、何が嬉しいのか」が伝わらなければ意味がありません。

記事のベースはマニュアルやブログなどの公開資料の英訳が多いですが、これらのドキュメントでは具体的なユースケースやベストプラクティスがカバーされています。

以下はこれまでに翻訳した記事のほんの一部です。機械学習やAIは実験段階のものではない、具体的にビジネスにこのように適用されているというのを伝えたくてこれらの記事を書いています。

- [Apache Spark 3を用いた高精細需要予測](https://qiita.com/taka_yayoi/items/cb0ea6e4e763981c1636)
- [eコマース向け類似画像レコメンデーションシステムの構築](https://qiita.com/taka_yayoi/items/173d5228c1d08c5130ef)
- [ヘルスケアにおける大規模テキストデータへの自然言語処理の適用](https://qiita.com/taka_yayoi/items/fcf396cf75418e87ec76)
- [Databricksにおける機械学習による病理画像分析の自動化](https://qiita.com/taka_yayoi/items/3929677d4e0c9dffaef4)
- [NLPを用いた薬害イベント検知による薬品安全性の改善](https://qiita.com/taka_yayoi/items/35863e696c72f0d08909)
- [機械学習の本格運用：デプロイメントからドリフト検知まで](https://qiita.com/taka_yayoi/items/879506231b9ec19dc6a5)
- [今日の機械学習と明日の効率的な機械学習の間のDelta](https://qiita.com/taka_yayoi/items/9170d290864aa45146e9)

# 自分の勉強のため

自分はすでに結構な歳(50目前)です。幸運？なことに、自分のキャリアでは常にコーディングをしてきました。マネージャ経験はありますが、技術から離れなかったことが転じて今のポジションになったのだと考えています。

Databricksの面接を受けている過程で、Sparkの開発者が立ち上げた会社であることを知り、この会社に入りたいと思った次第です。間違いなく死ぬまで勉強しても仕切れないネタがあると思いましたし、実際にそうでした。

特にマニュアルを翻訳して体系的にまとめることで、自分の知識も体系立てて整理することができました。この機能はこの機能につながっているのか、この機能はこういう意図で開発されているのかというのが実際に記事間のリンクを貼っていく中で見えてきます。そして、これらの記事はある意味自分の外部記憶媒体になっていますので、問い合わせを受けてもクイックに情報を引き出せるようになりました。

そして、体系的に記事をまとめていたので、こちらの本を執筆する際にも楽に執筆を行うことができました。

https://www.amazon.co.jp/dp/B09V1YXFVQ?1

加えて、英語を日本語に翻訳する際、流し読みではできないので内容を深く読むことになり、理解度も高まります。もちろん、英語のリーディングスキルも上がります。その他の学習方法に関しては[こちら](https://qiita.com/taka_yayoi/items/4bd998434a1aaf278a03)でも書いています。

このような動機で翻訳や執筆をしていますが、これらの記事が皆様の役に立てば幸いです。

### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)