機械学習エンジニアとしてDatabricksを使い始める

[Get started with Databricks as a machine learning engineer \| Databricks on AWS](https://docs.databricks.com/getting-started/ml-quick-start.html) [2022/2/22時点]の翻訳です。

> [Databricksクイックスタートガイド](https://qiita.com/taka_yayoi/items/125231c126a602693610)のコンテンツです。

:::note warn
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
:::

ここで列挙されているクイックスタートとチュートリアルは、皆様がDatabricksで機械学習をクイックにスタートできるようにすることを狙いとしています。それぞれには、ご自身のDatabricksワークスペースにインポートして実行できるノートブックが含まれています。これらは、データロード、データ準備、モデルトレーニング、チューニング、推論、モデルデプロイメント、モデル管理を含む機械学習ライフサイクルを通じて、どうのようにDatabricksを活用するのかを説明しています。これらは、自動化ハイパーパラメーターチューニングのための[Hyperopt](https://docs.databricks.com/applications/machine-learning/automl-hyperparam-tuning/index.html#hyperopt-overview)、モデルデプロイメントのための[MLflowのトラッキング](https://qiita.com/taka_yayoi/items/ba0c7f46ff7c3dbf87bb)、オートロギング、モデル管理のための[モデルレジストリ](https://qiita.com/taka_yayoi/items/e7a4bec6420eb7069995)のような有用なツールを説明しています。

> **注意**
これらのチュートリアルに含まれているノートブックを実行するには、チュートリアルページのノートブックの上にある![](https://docs.databricks.com/_images/copy-notebook-link.png)をクリックしてください。お使いのDatabricksワークスペースのブラウザで、任意のフォルダーメニューから**Import**を選択し、URLを貼り付けてください。ノートブックを実行するには、実行するためのクラスターが必要となります。クラスターの作成とノートブック実行の詳細については、[データサイエンティストとしてDatabricksを使い始める](https://qiita.com/taka_yayoi/items/f7efb6c597b425a05fe2)を参照ください。

# Databricksを初めて触る方に

Databricksの機械学習を始めるには、以下の手順に従ってください。

1. [データサイエンティストとしてDatabricksを使い始める](https://qiita.com/taka_yayoi/items/f7efb6c597b425a05fe2)をトライしてください。
1. Databricksの機械学習環境に含まれるクイックスタートノートブックを実行してください。

    このノートブックでは、MLflowによるモデル開発のトラッキングやハイパーパラメーターチューニングの並列実行など、機械学習でDatabrikcsを利用するメリットを説明しています。このノートブックでは、どのようにデータをロードし、モデルをトレーニング・チューニングし、モデルのパフォーマンスを比較・分析し、モデルを推論に使う方法をウォークスルーしています。

製品に含まれているクイックスタートノートブックを実行するには、以下のステップを踏んでください。

1. お使いのDatabricksワークスペースにログインし、Databricks Machine Learning環境に移動します。

    ペルソナを変更するには、Databricksロゴ![](https://docs.databricks.com/_images/databricks-logo.png)の下のアイコンをクリックし、**Machine Learning**を選択します。
![](https://docs.databricks.com/_images/change-persona.gif)

1. Databricks Machine Learning[スタートページ](https://qiita.com/taka_yayoi/items/bb475b184e335733a3c3)で、右上の**Start guide**をクリックします。

# scikit-learnのチュートリアル

| ノートブック | 要件 | 機能 |
|:--|:--|:--|
|[機械学習クイックスタート](https://qiita.com/taka_yayoi/items/22f45cc82f6b5b1170ad)   |Databricks機械学習ランタイム7.5以降   |分類モデル、MLflow、HyperoptとMLflowによる自動ハイパーパラメーターチューニング   |
|[モデルレジストリを用いた機械学習](https://docs.databricks.com/applications/machine-learning/train-model/sklearn-tutorial.html)   | Databricks機械学習ランタイム7.0以降  | 分類モデル、MLflow、HyperoptとMLflowによる自動ハイパーパラメーターチューニング、モデルレジストリ  |
|[エンドツーエンドのサンプル](https://qiita.com/taka_yayoi/items/f48ccd35e0452611d81b)   |Databricks機械学習ランタイム6.5以降   |分類モデル、MLflow、HyperoptとMLflowによる自動ハイパーパラメーターチューニング、XGBoost、モデルレジストリ、モデルサービング   |

# Apache Spark MLlibチュートリアル

| ノートブック | 要件 | 機能 |
|:--|:--|:--|
| [MLlibによる機械学習](https://docs.databricks.com/getting-started/spark/machine-learning.html) |Databricks機械学習ランタイム5.5LTS以降   | ロジスティック回帰モデル、Sparkパイプライン、MLlib APIを用いた自動化ハイパーパラメーターチューニング  |

# ディープラーニングチュートリアル

| ノートブック | 要件 | 機能 |
|:--|:--|:--|
| [TensorFlow Kerasを用いたディープラーニング](https://qiita.com/taka_yayoi/items/0f28fd854cbe2f5728e4) |Databricks機械学習ランタイム7.0LTS以降   | ニューラルネットワークモデル、インラインのTensorBoard、HyperoptとMLflowを用いた自動化ハイパーパラメーターチューニング、オートロギング、モデルレジストリ  |

### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)