Databricksクイックスタートガイド

初めてDatabricksを利用される方向けに、マニュアルからピックアップしたコンテンツを翻訳したものになります。全文は[Databricks documentation \| Databricks on AWS](https://docs.databricks.com/index.html)から参照できます。

:::note alert
こちらの内容は古いものとなっています。以下の日本語ドキュメントをご覧ください。

[Databricksドキュメント \| Databricks on AWS](https://docs.databricks.com/ja/index.html)

また、最新の[はじめてのDatabricks](https://qiita.com/taka_yayoi/items/8dc72d083edb879a5e5d)をご覧ください。
:::

:::note warn
**注意**
- 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては[英語ドキュメント](https://docs.databricks.com)を参照ください。
- こちらは翻訳時点の内容となります。可能な限りアップデートしていきますが、最新の状態でない箇所がある可能性をご了承ください。
- AWSでの利用を想定したものとなっています。
- 誤記、翻訳要望等ございましたら、コメントでご指摘いただけると幸いです。
:::

本出しました！
<a href="https://www.amazon.co.jp/dp/B09V1YXFVQ?1"><img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/5a76daec-1de5-a44c-909c-3bd3dab42a2b.png" width=200></a>

# Databricksのコンセプト

Databricksとは何かを説明します。

- [Databricksレイクハウスとは何か？](https://qiita.com/taka_yayoi/items/883b29d4808874427464)
- [レイクハウスとは何？](https://qiita.com/taka_yayoi/items/438f762126f57868aa35)
- [Databricksのコンセプト](https://qiita.com/taka_yayoi/items/d69401e07906b09bd61d)
- [Databricksに対するFAQ](https://qiita.com/taka_yayoi/items/24f23ba228a4656c0b80)
- [データブリックスのレイクハウスプラットフォーム](https://databricks.com/jp/product/data-lakehouse)
- [Databricksのアーキテクチャ](https://qiita.com/taka_yayoi/items/7d209bc8d32bc5f2dba4)
- [Databricksにおけるデータサイエンスコラボレーション](https://qiita.com/taka_yayoi/items/2c7790fdbc5e4fd02611)
- [Databricksデータサイエンス&エンジニアリングのコンセプト](https://qiita.com/taka_yayoi/items/e8556a32cc7aaf9ade50)

# Databricks環境のセットアップ(管理者向け)

Databricks環境セットアップ手順をご説明します。

:::note warn
AWSでフリートライアルを実施する際には、Databricksからのサポートを受けることをお勧めします。[Databricks担当](mailto:sales-jp@databricks.com)までお問い合わせください。
:::

- [Databricksフリートライアルへのサインアップ](https://qiita.com/taka_yayoi/items/fb4f57c069e1f272e88a)
- [Databricksアカウントのセットアップとワークスペースの作成](https://qiita.com/taka_yayoi/items/c53beee557ae4a9643ac)
- [Databricksアカウントのセットアップとワークスペースの作成\(実践編\)](https://qiita.com/taka_yayoi/items/98edd2e9d06f5c1029a1)
- [Databricksにおける顧客管理VPC](https://qiita.com/taka_yayoi/items/f23bd799e1960e2eccbe)
- [Databricksにおける顧客管理VPC\(実践編\)](https://qiita.com/taka_yayoi/items/9e04f78ff025f77e52a6)
- [Databricksワークスペース\(E2\)作成時のトラブルシューティング](https://qiita.com/taka_yayoi/items/483f3392a7b40b89c152)

セットアップ完了後にこちらをご一読ください。

- [DatabricksのUIが日本語対応しました！](https://qiita.com/taka_yayoi/items/ff4127e0d632f5e02603)
- [管理者向けDatabricksスタートガイド](https://qiita.com/taka_yayoi/items/5a117a8bdea67051a0ce)
- [Databricks管理者向け機能のご紹介](https://qiita.com/taka_yayoi/items/090879d59ae74ccaa12e)
- [Databricksワークスペースにユーザーを追加する](https://qiita.com/taka_yayoi/items/3eecc571108e1d096a85)
- [Databricksユーザーを招待して利用開始するまでの手順](https://qiita.com/taka_yayoi/items/d8355c0c8363b3c6658a)
- [Databricksにおけるユーザー管理](https://qiita.com/taka_yayoi/items/3262ea8529ad96b920ce)
- [Databricksにおけるワークスペースオブジェクトのアクセスコントロール](https://qiita.com/taka_yayoi/items/2dd6711b7b254505e4a3)

## Unity Catalogのセットアップ(管理者向け)

データ資産に対するガバナンスを強化し、データ管理に関する様々な機能を活用できる様に[Unity Catalog](https://databricks.com/jp/product/unity-catalog)を利用することをお勧めします。

- [DatabricksのUnity Catalogとは？](https://qiita.com/taka_yayoi/items/15aede468bdca58ec6a3)
- [AWSでDatabricks Unity Catalogをセットアップする](https://qiita.com/taka_yayoi/items/6c6f3a2e6febd9e0a451)
- [Unity Catalogを使い始める](https://qiita.com/taka_yayoi/items/3f2df6ddea81521ee786)
- [Unity Catalogのウォークスルー](https://qiita.com/taka_yayoi/items/b92d783485ce267462d0)
- [テーブルとビューをUnity Catalogにアップグレードする](https://qiita.com/taka_yayoi/items/5e896b50b915b9de8fb3)

# ユーザー向けスタートガイド

データサイエンティスト、データエンジニア、データアナリストが利用するDatabricksワークスペースと利用方法をご説明します。

<iframe width="560" height="315" src="https://www.youtube.com/embed/7fC6h46gC0s" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

ユーザーとして一通りDatabricksの機能を体験したいという場合には、以下のチュートリアルを実施することをお勧めします。

https://qiita.com/taka_yayoi/items/4603091dd325c77d577f

- [Databricksワークスペースの画面のご案内](https://qiita.com/taka_yayoi/items/a2fffa48fdf3f56dc00e)
- [ユーザー向けDatabricksスタートガイド](https://qiita.com/taka_yayoi/items/77aa10ebcad9d40cc49c)
- [Databricksワークスペースのオブジェクトを操作する](https://qiita.com/taka_yayoi/items/e469dded5ee83ae42d24)
- [Databricksのファイルシステムを可能な限りわかりやすく解説](https://qiita.com/taka_yayoi/items/075c6b3aeafac54c8ac4)
- [Databricksのデータベースを可能な限りわかりやすく解説](https://qiita.com/taka_yayoi/items/9d68dd5a3b070774d9a2)
- [SparkにおけるPandas API ](https://qiita.com/taka_yayoi/items/db8e1ea52afe5c282c94)
- [Databricks Apache Sparkクイックスタート](https://qiita.com/taka_yayoi/items/bf5fb09a0108aa14770b)
- [Databricks Apache Sparkデータフレームチュートリアル](https://qiita.com/taka_yayoi/items/2a7e9bb792eba316de4b)
- [シングルノードのワークロードをDatabricksに移行する際の6つの疑問](https://qiita.com/taka_yayoi/items/4a8e1067e116caf13a53)
- [Delta Lakeへのワークロード移行ガイド](https://qiita.com/taka_yayoi/items/85994e0e88ebc08aacde)

# Databricksクラスター

Databricksでデータ分析やデータ加工を行う際に必ず必要になるクラスターについてご説明します。コストの考え方やベストプラクティスに関しては[Databricksクラスター設定のベストプラクティス](https://qiita.com/taka_yayoi/items/ef3dc37143e7b77b50ad)をご一読ください。

- [Databricksクラスター](https://qiita.com/taka_yayoi/items/c5d99cd77fe4bfcf69f0)
- [Databricksにおけるクラスター作成](https://qiita.com/taka_yayoi/items/d36a469a1e0c0cebaf1b)
- [Databricksクラスターの設定](https://qiita.com/taka_yayoi/items/8d951b660cd87c6c5f18)
- [Databricksクラスター設定のベストプラクティス](https://qiita.com/taka_yayoi/items/ef3dc37143e7b77b50ad)
- [Databricksにおけるクラスター管理](https://qiita.com/taka_yayoi/items/991aae376c089df58504)
- [DatabricksのPools](https://qiita.com/taka_yayoi/items/919acd7ef9decf0f61e6)
- [Databricksベストプラクティス：プール](https://qiita.com/taka_yayoi/items/01d49fe9d1bca3fdade3)

# Databricksノートブック

Databricksの多くの作業を実施することになるノートブックの使い方をご説明します。

- [Databricksノートブックのご紹介](https://qiita.com/taka_yayoi/items/24a897cf40bba6d9e305)
- [Databricksノートブックを管理する](https://qiita.com/taka_yayoi/items/c306161906d6d34e8bd5)
- [Databricksノートブックでコードを開発する](https://qiita.com/taka_yayoi/items/dfb53f63aed2fbd344fc)
- [Databricksにおけるデータの可視化](https://qiita.com/taka_yayoi/items/b3f7bd30907967afee17)
- [Databricksにおけるライブラリ管理](https://qiita.com/taka_yayoi/items/0c7fc7d741aad34bf9d4)
- [DatabricksでカスタムPythonライブラリを利用する方法](https://qiita.com/taka_yayoi/items/ab89ecb9f2112c3d8985)
- [Databricksにおけるノートブックワークフロー](https://qiita.com/taka_yayoi/items/118fbc0ad8fa5471bc88)
- [DatabricksノートブックにおけるHTML、D3、SVGの活用](https://qiita.com/taka_yayoi/items/f70bcdb8d717344b72b8)
- [Databricksユーティリティ](https://qiita.com/taka_yayoi/items/3717623187859809515d)

# Databricksのジョブ

処理を定期実行するためにジョブを作成することができます。

- [Databricksジョブのクイックスタート](https://qiita.com/taka_yayoi/items/932e211757e697fe9d5e)
- [Databricksにおけるジョブ管理](https://qiita.com/taka_yayoi/items/b3275a1983c51a8bbe1a)
- [Databricksジョブのマルチタスクオーケストレーションの有効化](https://qiita.com/taka_yayoi/items/5dafcd0a275e2267aba2)
- [Databricks Jobsを使ってみる](https://qiita.com/taka_yayoi/items/10194fd3b44e9575de26)

# データエンジニアリングに関わる作業

Databricks上で、どのようにデータを読み込み、加工するのかをデータエンジニアリングにおける重要なコンポーネントとなるDelta Lakeを含めてご説明します。

- [データエンジニアとしてDatabricksを使い始める](https://qiita.com/taka_yayoi/items/a18adea4959b885783c6)
- [Databricksで初めてのETLワークロードを実行する](https://qiita.com/taka_yayoi/items/e27fd8b44308ea4ec8d8)
- [ローカルマシンからDatabricksにデータをアップロードして読み込む](https://qiita.com/taka_yayoi/items/9d98eee6e46a3469b638)
- [Databricksレイクハウスにおけるデータオブジェクト](https://qiita.com/taka_yayoi/items/e90be9beeb1a744cee0d)
- [Databricksファイルシステム\(DBFS\)](https://qiita.com/taka_yayoi/items/897264c486e179d72247)
- [Databricksのサンプルデータ](https://qiita.com/taka_yayoi/items/dcf77d0b007fae774ce5)
- [Databricksにおけるインスタンスプロファイルを用いたS3バケットへのセキュアなアクセス](https://qiita.com/taka_yayoi/items/446c7971be354f88c679)
- [Databricksにおけるデータのインポート、読み込み、変更](https://qiita.com/taka_yayoi/items/4fa98b343a91b8eaa480)
- [Databricksにおける画像の取り扱い](https://qiita.com/taka_yayoi/items/8d4b1b61699d68a34e58)
- [画像アプリケーションに対するDatabricksリファレンスソリューション](https://qiita.com/taka_yayoi/items/41be81691df3f7c8e6bf)
- [Delta Lakeクイックスタートガイド](https://qiita.com/taka_yayoi/items/345f503d5f8177084f24)
- [Delta Live Tablesクイックスタート](https://qiita.com/taka_yayoi/items/7fe8ed2c2f95fd53cc3d)
- [Delta Live Tablesユーザーガイド](https://qiita.com/taka_yayoi/items/6726ad1edfa92d5cd0e9)

# 機械学習に関わる作業

MLflowを用いて、どのように機械学習モデルを管理するのかをご説明します。

<iframe width="560" height="315" src="https://www.youtube.com/embed/JZuPBlLeZzM" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

- [データサイエンティストとしてDatabricksを使い始める](https://qiita.com/taka_yayoi/items/f7efb6c597b425a05fe2)
- [機械学習エンジニアとしてDatabricksを使い始める](https://qiita.com/taka_yayoi/items/6750e2a74d532004c269)
- [Databricks機械学習ガイド](https://qiita.com/taka_yayoi/items/2d8ebdc9374696b24e0f)
- [Databricksで機械学習を始めてみる](https://qiita.com/taka_yayoi/items/22f45cc82f6b5b1170ad)
- [Databricks機械学習ランタイム](https://qiita.com/taka_yayoi/items/824b507019d3ade7eedc)
- [PythonによるDatabricks MLflowクイックスタートガイド](https://qiita.com/taka_yayoi/items/dd81ac0da656bf883a34)
- [Databricksにおける機械学習トレーニングのトラッキング](https://qiita.com/taka_yayoi/items/ba0c7f46ff7c3dbf87bb)
- [Databricks Apache Spark機械学習チュートリアル](https://qiita.com/taka_yayoi/items/f169dcf4d517ac8dd644)
- [DatabricksのMLflowを用いたモデルのログ、ロード、登録、デプロイ](https://qiita.com/taka_yayoi/items/e265d48a3e3473edd1b6)
- [Databricks AutoMLのマニュアル](https://qiita.com/taka_yayoi/items/0ed860131a02aeade14f)
- [Databricks Feature Storeのマニュアル](https://qiita.com/taka_yayoi/items/88ddec323537febf7784)

# BIに関わる作業

Databricks SQLを活用することで、データレイク上の大量データに対する高速BIが可能となります。

<iframe width="560" height="315" src="https://www.youtube.com/embed/6ABXeFwz4aM" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

- [Databricks SQLのコンセプト](https://qiita.com/taka_yayoi/items/eaf79254afd4eb620a6e)
- [Databricks SQLクイックスタート：サンプルダッシュボードギャラリーからダッシュボードをインポートしてDatabricks SQLを学ぶ](https://qiita.com/taka_yayoi/items/0e3e0730b71de28e4c08)
- [Databricks SQLの管理者のタスクを完了する](https://qiita.com/taka_yayoi/items/aca244745439b9d12f2b)
- [Databricks SQL : 管理者向けクイックスタート](https://qiita.com/taka_yayoi/items/8b6154eb8bfe202951c6)
- [Databricks SQL : ユーザー向けクイックスタート](https://qiita.com/taka_yayoi/items/fd0d5e4de3c7f50de617)

# ツール連携

コード管理、IDE連携などもサポートしています。

- [Databricks ReposによるGit連携](https://qiita.com/taka_yayoi/items/b89f199ff0d3a4c16140)
- [Databricks Labsのdbx](https://qiita.com/taka_yayoi/items/994c701552e58d260562)

# Databricksにおけるセキュリティ

様々なセキュリティ要件に応えるための機能も提供しています。

- [Databricks E2バージョンプラットフォームのエンタープライズセキュリティ](https://qiita.com/taka_yayoi/items/b24a1e3ae107bf42fd5f)
- [DatabricksにおけるAWS PrivateLinkの有効化](https://qiita.com/taka_yayoi/items/c6bdbb6452f6a0895961)
- [Databricksベストプラクティス：データガバナンス](https://qiita.com/taka_yayoi/items/ca0673f6b7b6ca38a08f)
- [Databricksのテーブルアクセスコントロール](https://qiita.com/taka_yayoi/items/f0b999e69b9fef5065d8)
- [Databricksクラスターポリシーを特定のユーザーにのみ適用する手順](https://qiita.com/taka_yayoi/items/4f8853f4670139578f39)
- [Databricksにおけるシークレットの管理](https://qiita.com/taka_yayoi/items/338ef0c5394fe4eb87c0)

# サポート

Databricksのサポートです。

- [Databricksのサポート](https://qiita.com/taka_yayoi/items/dca78d304acb35642f69)
- [Databricksランタイムのサポートライフサイクル](https://qiita.com/taka_yayoi/items/5712daed6721c9bea310)

# 学習コンテンツ

- [Databricksチュートリアル](https://qiita.com/taka_yayoi/items/4603091dd325c77d577f)
- [私はDatabricksをどのように学んできたのか\(学習コンテンツのご紹介\)](https://qiita.com/taka_yayoi/items/4bd998434a1aaf278a03)
- [Databricksを使い始めたときに感じる疑問 \+ ベストプラクティス](https://qiita.com/taka_yayoi/items/8718c7c7d922e6f942bc)

# その他のDatabricksに関する記事

他の記事を以下のリンク先にまとめています。

- [Databricks記事のまとめページ](https://qiita.com/taka_yayoi/items/c6907e2b861cb1070f4d)

### Databricksクイックスタートガイド

[Databricksクイックスタートガイド](https://www.amazon.co.jp/dp/B09V1YXFVQ/)


### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)