AWS MLA Beta合格記(2024/8/28投稿)

# はじめに
この度AWS Certified Machine Learning Engineer - Associate(MLA)を受験してきましたので、勉強した内容と受験した感想を書いておきます。

※試験内容には言及できないので、本記事では勉強方法や受験した感想が中心となります

# 前提
* AI/ML領域はサービスを少し触った程度でがっつり実務で利用した経験はありません
* AWS認定は全て取っています(詳細は[こちら](https://qiita.com/handy-dd18/items/d21d914bf1c475d777f2))
    * PASは[こちら](https://qiita.com/handy-dd18/items/18e8a856906f97bbb964)
    * DEAは[こちら](https://qiita.com/handy-dd18/items/cd9410fc2c02a28b4c1d)
    * AIFは[こちら](https://qiita.com/handy-dd18/items/724c67c7b2fa63e2ea89)
* AZ-900/DP-900/AI-900/AZ-104/AZ-204/AZ-700/AZ-305/AZ-500/DP-203は取得済み
* Google Cloud認定はMLとWorkspaceを除いた9つ取ってます

# AWS Certified Machine Learning Engineer - Associate(MLA)とは
## 概要
「AWS Certified Machine Learning Engineer - Associate」とは、2024年8月27日からベータ試験の提供が開始された、ML関連の新しいAWS認定試験になります。

https://aws.amazon.com/jp/certification/certified-machine-learning-engineer-associate/

試験ガイドでは以下のように説明されています。

> AWS Certified Machine Learning Engineer - Associate (MLA-C01) 試験では、AWS  クラウドを使用した機械学習 (ML) ソリューションとパイプラインの構築、運用化、 デプロイ、保守についての受験者の能力を検証します。 
また、次のタスクについての能力も検証します。
• ML モデリングのためのデータの取り込み、変換、検証、準備
• 一般的なモデリングアプローチの選択、モデルのトレーニング、ハイパー パラメータのチューニング、モデルのパフォーマンスの解析、モデルの バージョン管理
• デプロイインフラストラクチャとエンドポイントの選択、コンピューティング リソースのプロビジョニング、要件に基づいたオートスケーリングの設定
• 継続的インテグレーションおよび継続的デリバリー (CI/CD) パイプラインの 設定による、ML ワークフローのオーケストレーションの自動化
• モデル、データ、インフラストラクチャのモニタリングによる、問題の検出
• アクセスコントロール、コンプライアンス機能、ベストプラクティスを通じた ML システムとリソースのセキュリティ確保 

類似の試験としてMLSがありますが、MLSの試験ガイド(以下)と見比べてみると、MLSよりもMLAのほうがMLソリューション・パイプラインに絞った内容に見受けられます。

> AWS Certified Machine Learning - Specialty (MLS-C01) 試験は、人工知能/機械学習 (AI/ML) の開発またはデータサイエンスの役割を担う個人を対象としています。
この 試験では、AWS クラウドを使用して、特定のビジネス上の課題に対する機械学習 ソリューションの設計、構築、デプロイ、最適化、トレーニング、チューニング、 保守を行う受験者の能力が検証されます。
また、次のタスクについての受験者の能力も検証します。
• 特定のビジネス上の課題に対して適切な機械学習アプローチを選択し、 その正当性を説明する。
• 機械学習ソリューションの実装に適した AWS のサービスを特定する。
• スケーラビリティ、コストの最適化、信頼性、安全性に優れた機械学習 ソリューションを設計および実装する。 

実は、MLAとMLSの違いについては以下のAWSブログで既に記載されていて、MLAは「役割ベースのMLエンジニアリングスキルと知識の検証」、MLSは「データエンジニアリング、アナリティクス、モデリング、MLの実装と運用」とあるので、MLAの方がより狭い範囲のスキル・知識が問われる試験になっているようです。

> AWS Certified Machine Learning Engineer - Associateは、役割ベースのMLエンジニアリングスキルと知識の検証に重点を置いているのに対し、AWS Certified Machine Learning - Specialty認定は、データエンジニアリング、アナリティクス、モデリング、MLの実装と運用をより深く掘り下げています。 Specialty認定は、これらの機能に関する専門知識を証明するもので、AWS上でMLワークロードを実行した経験が2年以上ある受験者に適しています。
https://aws.amazon.com/jp/blogs/training-and-certification/inside-look-at-the-new-ai-and-ml-aws-certifications/

## 試験期間
AIFと同様に、ベータ試験の期間は特に公開されていません。
また、試験結果も5営業日以内に出るそうです。

https://aws.amazon.com/jp/certification/certified-machine-learning-engineer-associate/

## 対象言語
AIFと同様に、2024年8月末時点では英語と日本語で提供されています。

## 試験時間・問題数・料金
ベータ試験なので、試験時間や問題数も通常とは異なります。
試験時間と問題数は増えていて、その代わり受験費用が少し安くなっています。
参考までにSAAの情報も載せておきます。

MLA
- 試験時間：170分
- 試験問題：85問
- 受験費用：$75 / 10,000円

SAA
- 試験時間：130分
- 試験問題：65問
- 受験費用：$150 / 20,000円

AIFは同じ試験問題数、受験費用で試験時間が120分だったので、人によってはAIFの方が解く時間が足りないとなるかもしれません。

# 学習内容
## AWS Skill Builder
MLAもAIFと同じように、まず最初は公式の模擬問題を解くところから始めました。

https://explore.skillbuilder.aws/learn/course/internal/view/elearning/19688/exam-prep-official-practice-question-set-aws-certified-machine-learning-engineer-associate-mla-c01-english

こちらも、まったく勉強していない状態だと難しく感じましたが、2周もすれば出題される内容を覚えるので、そこまで難易度は高くないと感じました。

ただ、これが結構落とし穴でした。
模擬問題は20問しかないので必然的にSageMakerについての出題が多いのですが、ちゃんと試験ガイドを見ると意外とSageMaker以外のサービスや機能が複数記載されていることがわかるかと思います。

https://d1.awsstatic.com/ja_JP/training-and-certification/docs-machine-learning-engineer-associate/AWS-Certified-Machine-Learning-Engineer-Associate_Exam-Guide.pdf

自分はSkill Builderを実施して、SageMaker中心で学習すればよいかーと思ってしまったので、いざ試験を受けた際にMLパイプラインを構成するSageMaker以外のサービスについても出題されて、かなり焦りました。
幸い元々の知識で解ける問題だったので良かったのですが、「ML系の資格だからSageMakerを学習する」となってしまうと痛い目を見るので、当たり前ですが**ガイドに記載されているサービス/機能についても学習しておいたほうが良い**です。

あとMLSも経験したのですが、実際問題を解くときに「あれ？この用語なんだっけ？？」ということが何回もあり、一部勘で解くしかなかったりしたので、**ガイドに書かれている以下のようなML用語は何も見なくても書き出せるぐらいまで覚えておいたほうが安心**だと思います。

> モデル評価手法とメトリクス [混同行列、ヒートマップ、F1 スコア、 正解率、適合率、再現率、二乗平均平方根誤差 (RMSE)、受信者動作特性 (ROC)、ROC 曲線下面積 (AUC) など] 

上記以外にも、**ガイドの対象知識の中で自分が概要を説明できないワードがあるのであれば、簡単に説明できるレベルで学習できている**と、問題文の理解度がかなり変わるんじゃないかと思います。(解けるかどうかは別ですが)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/440403/dcef77c8-27d6-d540-35ca-7189f0a1d121.png)

## Udemy
AWS Skill Builder以外には、以下のUdemy講座を購入して実施してみました。

https://www.udemy.com/share/10bH3B3@lMemvuPIHgoVqjL21AUVPrAWDVia2dU6vnB0opyrM78pWyLHBkDw2HTprL1huPnL/

こちらもAIFと同じく試験問題と類似したものは特にないのですが、ガイドに書かれているサービス/機能や用語、概念、手法などについて問う問題が多かったので、試験問題対策というよりは知識の確認という意味では良かったです。

# 受験した感想
正直MLAについては合格しているとは思ってませんでした。
受験前に試験ガイドをほとんど見ないというアホみたいなやり方をしてしまい、ML固有の知識への理解がかなり浅かったというのもあって、問題文の理解だけでもそれなりに時間がかかってました。
最終的にはMLSの時の知識と勘と消去法で何とか解きましたが、人にオススメはしません...

# 受験結果
何故かAIFよりも点数は良かったです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/440403/ad43f99e-343b-0cef-7a50-ebfd23e64200.png)

# おわりに
何はともあれ無事15冠になりました。
今年はあとSAProとMLSの更新が残っているので、機を見て受験する予定です。
もう一つの新試験である「AWS Certified AI Practitioner」も同日受験して[Qiita](https://qiita.com/handy-dd18/items/724c67c7b2fa63e2ea89)に書いているので、もし良ければそちらもご覧ください。

この記事がどなたかの参考になれば幸いです。

# 余談
今日の9:15～でAIF、15:00～でMLAを受験したのですが、CertMetricsに結果が反映されるタイミングはどちらも19:00でした。
また少し前にSCSとANSも更新したのですが、そちらも当日19:00反映だったので、最近のAWS認定試験は19:00反映なのかーということを知りました。

# 参考URL
全部ではないですが、最後に自分が受験までに確認した参考リンクを覚えている限りで貼っておきます。
もしかしたら一部重複があるかも。

https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.html
https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-faqs.html
https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-data-capture.html
https://docs.aws.amazon.com/sagemaker/latest/dg/experiments.html
https://docs.aws.amazon.com/sagemaker/latest/dg/model-registry.html
https://docs.aws.amazon.com/comprehend/latest/dg/how-pii.html
https://aws.amazon.com/jp/what-is/vector-databases/
https://docs.aws.amazon.com/bedrock/latest/userguide/titan-embedding-models.html
https://aws.amazon.com/jp/blogs/big-data/amazon-opensearch-service-search-enhancements-2023-roundup/
https://aws.amazon.com/jp/what-is/retrieval-augmented-generation/
https://docs.aws.amazon.com/sagemaker/latest/dg/data-wrangler-transform.html#data-wrangler-transform-balance-data
https://docs.aws.amazon.com/autoscaling/application/userguide/application-auto-scaling-step-scaling-policies.html
https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-prerequisites.html#scheduled-scaling
https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-prerequisites.html#endpoint-auto-scaling-policy
https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipeline-batch.html
https://docs.aws.amazon.com/sagemaker/latest/dg/pipeline-eventbridge.html
https://docs.aws.amazon.com/sagemaker/latest/dg/model-access-training-data.html
https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-byoc-containers.html
https://docs.aws.amazon.com/sagemaker/latest/dg/r-guide.html
https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html
https://docs.aws.amazon.com/sagemaker/latest/dg/automatic-model-tuning-warm-start.html
https://docs.aws.amazon.com/sagemaker/latest/dg/automatic-model-tuning-early-stopping.html
https://docs.aws.amazon.com/sagemaker/latest/dg/automatic-model-tuning-progress.html
https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-shapley-values.html
https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-processing-job-analysis-results.html#clarify-processing-job-analysis-results-pdp
https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-data-bias-metric-true-label-imbalance.html
https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-model-monitor-bias-drift.html
https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-data-quality.html
https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-model-monitor-feature-attribution-drift.html
https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-model-quality.html
https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference.html
https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html
https://docs.aws.amazon.com/sagemaker/latest/dg/batch-transform.html
https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html
https://docs.aws.amazon.com/frauddetector/latest/ug/what-is-frauddetector.html