Databricks Certified Data Engineer Associate試験対策

半ば自慢気味にこちらの記事を書きましたが、その前段のAssociateに関しても記事を書こうと思い立ちました。

https://qiita.com/taka_yayoi/items/08be162d451126d4b54b

こちらもDatabricksの認定試験です。

https://databricks.com/learn/certification/data-engineer-associate

![Screen Shot 2022-07-29 at 20.29.22.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1168882/9c17dcd7-d12e-3999-20fc-b7d52d2614c3.jpeg)

当たり前ですが、Professionalよりも難易度は低いです。データエンジニアリングに関する機能の細かい挙動というよりも、その機能が何をするものであるのかといった概念に関する設問が多かった印象です。

# Databricks Certified Data Engineer Associate

以下、試験の内容を説明しているページの翻訳となります。

> Databricks Certified Data Engineer Associate認定試験は、入門レベルのデータエンジニアリングを完了するためにDatabricksレイクハウスプラットフォームを活用する個人の能力を評価します。これには、レイクハウスプラットフォーム、アーキテクチャ、機能に対する理解が含まれます。また、バッチ処理、インクリメンタル処理のパラダイムにおいてApache Spark SQLとPythonの両方を用いたマルチホップアーキテクチャETLタスクを実行する能力も評価します。最後に、この試験では、エンティティのアクセス権を維持しながらも、基本的なETLパイプラインやDatabricks SQLのクエリーをプロダクションに移行する受験者の能力も評価します。この試験に通過する人は、Databricksと関連ツールを用いて基本的なデータエンジニアリングタスクを完了できることが期待されます。

# 試験方法

こちらはオンライン試験です。[こちら](http://webassessor.com/databricks)でアカウントを作成してログインします。ログイン後、試験を選択します。なお、200ドルです。PCに専用のソフトウェアをインストールした後で試験を受けます。カメラで監視(!?)されるので、本を見ながら、調べながらというのはNGです。制限時間は90分で45問の問題に回答します。選択式です。そして、英語です。

# 必要スキル

こちらも[説明文](https://databricks.com/learn/certification/data-engineer-associate)の翻訳です。関連資料へのリンクを追記しています。

- 以下を含むDatabricksレイクハウスプラットフォームとツールを用いることのメリットと利用法を理解していること。
    - [データレイクハウス](https://qiita.com/taka_yayoi/items/438f762126f57868aa35)([アーキテクチャ](https://qiita.com/taka_yayoi/items/7d209bc8d32bc5f2dba4)、説明、メリット)
    - [データサイエンス&データエンジニアリングワークスペース](https://qiita.com/taka_yayoi/items/78bf647c40a906d90db0)([クラスター](https://qiita.com/taka_yayoi/items/c5d99cd77fe4bfcf69f0)、[ノートブック](https://qiita.com/taka_yayoi/items/24a897cf40bba6d9e305)、[データストレージ](https://qiita.com/taka_yayoi/items/897264c486e179d72247))
    - [Delta Lake](https://qiita.com/taka_yayoi/items/685a6a142548d43f7782)(一般的なコンセプト、[テーブル管理](https://qiita.com/taka_yayoi/items/e7f6982dfbee7fc84894)・[操作](https://qiita.com/taka_yayoi/items/0d8350a2b4739392a52f)、[最適化](https://qiita.com/taka_yayoi/items/e8797891fbc305328d49))
- 以下を含むApache Spark SQLとPythonを用いたETLパイプラインの構築ができること。
    - [リレーショナルエンティティ](https://qiita.com/taka_yayoi/items/e90be9beeb1a744cee0d)(データベース、テーブル、ビュー)
    - [ELT](https://qiita.com/taka_yayoi/items/e27fd8b44308ea4ec8d8)(テーブルの作成、テーブルへのデータ書き込み、データのクレンジング、テーブルの結合・形状変更、[SQL UDF](https://qiita.com/taka_yayoi/items/80862e2f8d01e4306a79))
- 以下を含むインクリメンタルなデータ処理をできること。
    - [構造化ストリーミング](https://qiita.com/taka_yayoi/items/442ce4c302c66d46b267)(一般的なコンセプト、トリガー、ウォーターマーク)
    - [Auto Loader](https://qiita.com/taka_yayoi/items/df143647dcf5942b51c6)(ストリーミングの読み込み)
    - [マルチホップアーキテクチャ](https://qiita.com/taka_yayoi/items/3695983039517bc9e909)(ブロンズ・シルバー・ゴールド、ストリーミングアプリケーション)
    - [Delta Live Tables](https://qiita.com/taka_yayoi/items/80ee29197d26e177bbeb)(メリットと機能) 
- 以下を含むデータエンジニアリングアプリケーションのためのプロダクションパイプラインと[Databricks SQL](https://qiita.com/taka_yayoi/items/eaf79254afd4eb620a6e)のクエリーを構築できること。
    - [ジョブ](https://qiita.com/taka_yayoi/items/b3275a1983c51a8bbe1a)(スケジューリング、タスクオーケストレーション、UI)
    - [ダッシュボード](https://qiita.com/taka_yayoi/items/834bef9aa784e1a045d8)([エンドポイント](https://qiita.com/taka_yayoi/items/23d7789198c2dcd66381)、スケジューリング、アラート、リフレッシュ)
- 以下を含むベストセキュリティプラクティスを理解し遵守できること。
    - [Unity Catalog](https://qiita.com/taka_yayoi/items/15aede468bdca58ec6a3)(メリットと機能)
    - [エンティティのアクセス権](https://qiita.com/taka_yayoi/items/57589857e22569c56300)(チーム単位のアクセス権、ユーザー単位のアクセス権)

# 設問

こちらも原文の翻訳です。合計45問を90分で回答します。

- Databricksレイクハウスプラットフォーム – 24% (11/45)
- Spark SQLとPython用いたELT – 29% (13/45)
- インクリメンタルデータ処理 – 22% (10/45)
- プロダクションのパイプライン – 16% (7/45)
- データガバナンス – 9% (4/45)

# 準備

試験に通過する可能性を高めるには、上で記述した資料を理解することに加え、以下の準備を行うことをお勧めします。

- インストラクターによるデータエンジニア向け[データブリックス4日間集中トレーニング](https://databricks.com/jp/p/webinar/202207-Japan-Elevate)
- セルフペーストレーニング: Data Engineering with Databricks([Databricks Academy](https://databricks.com/learn/training/home)で受講できます)

また、[模擬試験](https://files.training.databricks.com/assessments/practice-exams/PracticeExam-DataEngineerAssociate.pdf)もありますのでこちらをトライすることをお勧めします。

基本的な概念を網羅的に学ぶということであれば、こちらの記事をウォークスルーしていただければDatabricksの全体像を把握できるかと思います。

https://qiita.com/taka_yayoi/items/125231c126a602693610

そして、上の内容をベースに書籍化したのがこちらです。電子書籍なら99円です。

https://www.amazon.co.jp/dp/B09V1YXFVQ?1

### Databricks 無料トライアル

[Databricks 無料トライアル](https://databricks.com/jp/try-databricks)