AWSのMLサービスを整理してみた

# 背景・目的
AWSの機械学習サービスに、どのようなものがあるかわかっていないので全体像を整理したいと思います。
前回は、「[AWSのAIサービスを整理してみた](https://qiita.com/zumax/items/a8541406f59ab477a4af)」で整理しましたが、本ページではMLサービスを整理します。

# まとめ
| MLサービス |概要 | ユースケース/利点 | 
|:---|:---|:---|
|[Amazon SageMaker](https://aws.amazon.com/jp/sagemaker/) | フルマネージドインフラストラクチャ、ツール、ワークフローを使用して、あらゆるユースケース向けの機械学習 (ML) モデルを構築、トレーニング、デプロイ| データサイエンティストにはIDEを、ビジネスアナリストにはノーコードインターフェースを提供し、より多くの人々が機械学習でイノベーションを起こせるようにします。<BR><BR>大量の構造化データ（表形式データ）と非構造化データ（写真、ビデオ、地理空間、音声）にアクセスし、ラベル付けし、機械学習用に処理します。<BR><BR>最適化されたインフラストラクチャにより、トレーニング時間を数時間から数分に短縮します。専用のツールを使用して、チームの生産性を最大 10 倍に高めます。<BR><BR>MLOps のプラクティスとガバナンスを組織全体で自動化および標準化し、透明性と監査可能性をサポートします。| 
| [Amazon SageMaker Canvas](https://aws.amazon.com/jp/sagemaker/canvas/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc) | ML による正確な予測をコード不要で生成 | **顧客離れの予測**<BR>製品消費と購入に関する履歴データを使用し、顧客離れのパターンを明確に示しながら、将来に離脱するリスクがある消費者を推定します。<BR><BR>**価格と収益を最適化**<BR>需要と価格、および季節的な傾向の履歴を通じて、商品やサービスの価格を予測し、収益を最大化しながら顧客にとって最良の価格を設定します。<BR><BR>**配送時間の正確さを向上**<BR>受注、満足度、運搬状況、および休日データを利用して配送時間を予測し、サプライチェーンの最適化と、より効率的な商品配送を実現します。<BR><BR>**効率的な在庫計画の作成**<BR>過去の売上と需要のデータを、関連するウェブトラフィック、料金、製品カテゴリー、天候、休日の情報と組み合わせることで、必要な在庫数を予測します。|
|[Amazon SageMaker Data Labeling](https://aws.amazon.com/jp/sagemaker/data-labeling/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc) |機械学習モデルのトレーニング向けの高品質データセットを作成 |**トレーニングデータセットの品質向上**<BR>Amazon SageMaker のデータラベリング製品は、合成データ生成などの手動によるエラーの発生が少なく、トレーニングデータセットの品質向上に役立つ機械学習ラベリング技術を提供します<BR><BR>**データラベリングワークフォースの選択**<BR>Amazon SageMaker のデータラベリングサービスでは、データにラベル付けするためのオプションが 2 つ用意されています。まず、SageMaker Ground Truth Plus では、機械学習タスクのトレーニングを受けたエキスパートワークフォースが、お客様の品質やターンアラウンドタイムの要求に応じてデータにラベル付けをします。<BR>2 つ目は、SageMaker Ground Truth を使用して、データラベリングワークフローを構築し管理することです。<BR><BR>**データラベリング作業の可視化の向上**<BR>Amazon SageMaker のデータラベリングサービスでは、データラベリング作業や品質管理の透明性を確保できるため、品質要件が満たされていることが確認できます。<BR><BR>**高品質なラベル付きデータを迅速に取得**<BR>Amazon SageMaker のデータラベリング製品を使用すると、高品質なラベル付きデータを迅速に受け取ることができます。|
| [Amazon SageMaker Data Wrangler](https://aws.amazon.com/jp/sagemaker/data-wrangler/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc)| 機械学習用のデータを準備するための最も迅速かつ簡単な方法| **データへのアクセス、選択、クエリの高速化**<BR>SageMaker Data Wrangler データ選択ツールを使用すると、さまざまな一般的なソース <BR>・S3<BR>・Athena<BR>・Redshift<BR>・Lake Formation<BR>・Snowflake<BR>・Databricks Delta Lakeなど、<BR>および40 以上のその他の第三者ソース<BR>・Salesforce<BR>・SAP<BR>・Facebook Ads<BR>・Google Analyticsなど<BR>からデータに素早くアクセスして選択することが可能です。<BR><BR>**データインサイトの生成とデータ品質の把握**<BR>SageMaker Data Wrangler は、データ品質 (欠損値、重複行、データ型など) を自動的に検証し、データの異常 (外れ値、クラスの不均衡、データ漏洩など) を検出するのに役立つデータ品質とインサイトレポートを提供<BR><BR>**視覚化でデータを理解する**<BR>SageMaker Data Wrangler は、堅牢な事前設定済みの視覚化テンプレートのセットを使用して、データを理解し、潜在的なエラーと極値を特定するのに役立ちます。<BR><BR>**データをより効率的に変換する**<BR>SageMaker Data Wrangler は、300 以上の事前設定済みデータ変換のセレクションを提供しているため、コードを 1 行も記述せずにモデルに効果的に使用できる形式にデータを変換できます。<BR><BR>**データの予測力を理解する**<BR>SageMaker の Data Wrangler Quick Model 機能では、データの予測力を推定することができます。<BR><BR>**ML データ準備ワークフローの自動化とデプロイ**<BR>ジョブの起動やスケジュール設定により、データを素早く処理したり、SageMaker Studio のノートブックに書き出したりすることができます。|
| [Amazon SageMaker Feature Store](https://aws.amazon.com/jp/sagemaker/feature-store/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc) | 機械学習の特徴量のフルマネージドサービス | **多くのソースからデータを取り込む**<BR>以下のようなさまざまな種類のデータを SageMaker Feature Store に取り込むことが可能<BR>・アプリケーションやサービスのログ<BR>・クリックストリーム<BR>・センサーなどのソースからのストリーミングデータ<BR>・S3<BR>・Redshift<BR>・Lake Formation<BR>・Snowflake<BR>・Databricks Delta Lake などのソースからの表形式データなど<BR><BR>**特徴量の保存、カタログ、検索、再利用**<BR>SageMaker Feature Store のタグとインデックス特徴量グループを使って、Amazon SageMaker Studio のビジュアルインターフェイスから簡単に見つけることができます。<BR><BR>**特徴量の一貫性**<BR>SageMaker Feature Store は、トレーニング用のオフラインストレージとリアルタイム推論用のオンラインストレージをサポートしています。<BR>トレーニングと推論は非常に異なるユースケースであるため、ストレージ要件はそれぞれ異なります。<BR><BR>**リネージトラッキング**<BR>特微量を安心して再利用するためには、データサイエンティストは特微量の構築方法と、どのモデルやエンドポイントで特微量が使用されているかを知る必要があります。<BR><BR>**タイムトラベル**<BR>データサイエンティストは、診断前の患者の医療データなど、過去の特定時間を超えるデータを含むリスクなしに、過去の特定時間の特徴量値の正確なセットでモデルをトレーニングする必要がある場合があります。<BR>SageMaker Feature Store は、ポイントインタイムクエリをサポートしており、対象となる過去の時間における各特微量の状態を取得することができます。<BR><BR>**機械学習の運用**<BR>特徴量ストアは、MLOps のライフサイクルにおける重要なコンポーネントです。<BR>データセットと特徴量パイプラインを管理し、データサイエンス作業を高速化し、同じ特微量を何度も作成するような重複作業を排除します。<BR><BR>**セキュリティとコンプライアンス**<BR>セキュリティとコンプライアンスのニーズをサポートするために、共有された機械学習特徴量にアクセスする方法を細かく制御する必要がある場合があります。 |
|[Amazon SageMaker Studio Lab](https://aws.amazon.com/jp/sagemaker/studio-lab/) | セットアップ不要の無料の開発環境を使用して、ML を学び、実験する | **AWS アカウントは不要**<BR>SageMaker Studio Lab の使用を始めるには、メールアドレスを使用して、studiolab.sagemaker.aws にアカウントを登録します。SageMaker Studio Lab のアカウントは、AWS アカウントとは別で、クレジットカードは必要ない。<BR><BR>**処理能力の選択**<BR>SageMaker Studio Lab はプロジェクトに CPU または GPU セッションのどちらかを提供します。<BR><BR>**永続的ストレージ**<BR>SageMaker Studio La bは、15 GB の無料長期ストレージと永続的セッションを提供するため、作業を保存して、中断したところから再開できます。セッションが終わったら、作業は自動的に専用のストレージに保存されます。<BR><BR>**あらかじめパッケージ可された機械学習フレームワーク**<BR>Pip、Conda、Mambaなど、プロジェクトに最適な Python のパッケージマネージャーを選択<BR>デフォルトでは、SageMaker Studio Lab は、ターミナルや Git のコマンドラインおよび GitHub 統合との連携に対応しています。<BR>Jupyter Notebook を実行するための設定は不要で、素早く簡単にセットアップできます。|
| [Amazon SageMaker Studio](https://aws.amazon.com/jp/sagemaker/studio/) | 機械学習のための完全統合開発環境 (IDE) | 未加工データの準備から機械学習モデルのデプロイとモニタリングまで、すべての機械学習開発ステップを実行し、単一の Web ベースのビジュアルインターフェイスで最も包括的なツール セットにアクセスできます。<BR><BR>機械学習ライフサイクルのステップ間をすばやく移動して、モデルを微調整します。SageMaker Studio を離れることなく、トレーニング実験を再生し、モデルの特徴量やその他の入力を調整し、結果を比較します。<BR><BR>150 を超える一般的なオープンソースモデルと 15 を超える構築済みソリューションにアクセスして、機械学習モデルを数分で構築します。数回クリックするだけで、独自のデータを使用して機械学習モデルを作成できます。|
| [Amazon SageMaker Pipelines](https://aws.amazon.com/jp/sagemaker/pipelines/) | 機械学習向けの初めての専用 CI/CD サービス | 膨大なデータ量、何千ものトレーニング実験、何百ものモデルバージョンを含むエンドツーエンドの機械学習ワークフローを大規模に作成、自動化、管理<BR><BR>データロード、データ変換、トレーニングとチューニング、デプロイなど、機械学習ワークフローのさまざまなステップを自動化<BR><BR>ワークフローの共有と再利用により、モデルの再作成や最適化を行い、機械学習のスケールと MLOps プラクティスの構築を支援|
| [Amazon SageMaker Debugger](https://aws.amazon.com/jp/sagemaker/debugger/)| トレーニングメトリックとシステムリソースをリアルタイムで監視して 機械学習モデルを最適化する | 学習指標をリアルタイムに取得し、異常が検出された場合にアラートを送信することで、機械学習モデルを最適化<BR><BR>目的の精度に達した時点で学習処理を自動的に停止し、機械学習モデルの学習にかかる時間とコストを削減<BR><BR>システムリソースの利用状況を自動的にプロファイリングして監視し、リソースのボトルネックが判明した場合にはアラートを送信して、リソースの利用状況を継続的に改善|
| [分散トレーニングライブラリ](https://aws.amazon.com/jp/sagemaker/distributed-training/)| 分散トレーニングを最大 40% 早く完了する| **オブジェクトの検出**<BR>オブジェクト検出の場合、モデルのトレーニング時間がボトルネックになることが多く、データサイエンスチームは数日または数週間も結果を待つことになるため、速度が低下します。たとえば、自律走行車のオブジェクト検出モデルは、車両の検知力を改善するために、最大数千ギガバイトのデータをトレーニングする必要があります。 SageMaker のデータ並列処理ライブラリは、データサイエンスチームがトレーニングデータを効率的に分割し、数百または数千のGPUにすばやくスケーリングして、トレーニング時間を数日から数分に短縮するのに役立ちます。<BR><BR>**自然言語処理**<BR>自然言語理解で、データサイエンティストは、レイヤーの数とニューラルネットワークのサイズを増やすことでモデルの精度を向上させることが多いため、GPT-2、GPT-3、T5 などの数十億のパラメータを持つモデルが作成されます。GPU 間でモデルレイヤーや操作を分割するには数週間かかる場合があります。ただし、SageMaker モデルの並列処理ライブラリは、モデルを自動的に分析して効率的に分割し、データサイエンスチームが数分以内に大規模なモデルのトレーニングを開始できるようにします。<BR><BR>**コンピュータビジョン**<BR>コンピュータビジョンでは、ハードウェアの制約により、データサイエンティストが希望するものより、小さいバッチサイズまたは入力サイズを選択する必要があります。たとえば、入力値が大きいとモデルの精度は向上しますが、バッチサイズが小さいとメモリ不足エラーやパフォーマンスの低下が生じる可能性があります。同様に、バッチサイズを大きくすると、GPU の使用率とパフォーマンスが向上しますが、モデルの精度が低下する可能性があります。SageMaker 分散トレーニングライブラリは、より小さなバッチサイズでモデルを効率的にトレーニングしたり、より大きな入力でトレーニングしたりする柔軟性を提供します。 |
| [Amazon SageMaker Model Monitor](https://aws.amazon.com/jp/sagemaker/model-monitor/) | 長期にわたって機械学習モデルを正確に保つ| **外れ値または異常**<BR>Amazon SageMaker Model Monitor を使用して、予測が予想範囲外であるか、最小値や最大値などの予想値の端側にあたるかを検出します。たとえば、温度が 65 °F〜75 °F の間にあると予想されるため、範囲外の結果は 50 °F になります。この範囲外の結果は、異常として警告されます。<BR><BR>**データの変動**<BR>Amazon SageMaker Model Monitor を使用して、経年劣化によるセンサーの不正確な読み取りなど、実際の状況が原因で予測に歪みが生じる時期を検出します。Amazon SageMaker Model Monitor は、実際のデータをトレーニングデータセットや評価データセットなどのベースラインデータセットと比較することにより、データの偏りを検出します。<BR><BR>**実世界の観察**<BR>多くの場合、新しいデータが現実の世界に導入されるため、新しい機能を考慮に入れてモデルを調整できるようにする必要があります。たとえば、自律走行モデルを更新して、自律走行車両が道路上の新しいオブジェクトを検出できるようにする必要があります。Amazon SageMaker Model Monitor は新しい観測を検出するため、モデルを最新の状態に保つことができます。|
| [Amazon SageMaker Autopilot](https://aws.amazon.com/jp/sagemaker/autopilot/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc) |完全な可視性を備えた機械学習モデルを自動的に作成する |**価格予測**<BR>価格予測モデルは、金融サービス、不動産、エネルギーおよびユーティリティで、株式、不動産、および天然資源の価格を予測するために頻繁に使用されます。Amazon SageMaker Autopilot は将来の価格を予測して、需要、季節的傾向、その他の商品の価格などの履歴データに基づいて適切な投資判断を下すのに役立ちます。<BR><BR>**顧客離れの予測**<BR>顧客離れとは、顧客またはクライアントを失うことであり、すべての企業が顧客離れをなくす方法を模索しています。Amazon SageMaker Autopilot によって自動的に生成されたモデルは、顧客離れのパターンの理解に役立ちます。顧客離れの予測モデルは、既存データのパターンを最初に学習し、新しいデータセットのパターンを識別することで機能するため、顧客離れの可能性が最も高い顧客に関する予測を得ることができます。<BR><BR>**リスク評価**<BR>リスク評価では、個人、資産、および会社に悪影響を与える可能性のある潜在的なイベントを特定して分析する必要があります。Amazon SageMaker Autopilot によって自動的に生成されたモデルは、新しいイベントが発生するにつれてリスクを予測します。リスク評価モデルは既存のデータセットを使用してトレーニングされるため、ビジネスの最適な予測を取得できます。 |
| [Amazon SageMaker JumpStart](https://aws.amazon.com/jp/sagemaker/jumpstart/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc) | 機械学習 (ML) のハブとして、組み込みアルゴリズムと基盤モデル、および数回のクリックでデプロイできる事前構築済みの機械学習ソリューション| 一般的なモデルハブの事前トレーニング済みモデルを使用して、数百の組み込みアルゴリズム<BR><BR>数クリックでデプロイ可能な人気の基盤モデル<BR><BR>一般的なユースケースに対応するフルカスタマイズ可能なソリューションとリファレンスアーキテクチャにより、機械学習ジャーニーを加速<BR><BR>機械学習モデルやノートブックを組織内で共有し、機械学習モデルの構築とデプロイを高速化|
|[Amazon SageMaker Edge](https://aws.amazon.com/jp/sagemaker/edge/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc) | エッジデバイスで動作する機械学習 (ML) モデルを簡単に操作可能|TensorFlow、MXNet、PyTorch、XGBoost、TensorFlow Liteで学習したモデルを最適化し、あらゆるエッジデバイスにデプロイできるようにします。<BR><BR>ファームウェアやアプリケーションのアップデートに依存しない、デバイス群全体でのモデルのデプロイ<BR><BR>モデル再トレーニングのためのスマートデータキャプチャで継続的なモデル改善を実現<BR><BR>エッジサーバーからスマートカメラ、IoTセンサーまで、あらゆるデバイス群に対応した自動MLOpsパイプラインの構築 |
| [Amazon SageMaker Clarify](https://aws.amazon.com/jp/sagemaker/clarify/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc)| ML データ (モデル) のバイアスを検出し、モデルの予測を説明する |**データサイエンス**<BR>データサイエンティストと ML エンジニアには、よりよい特徴量エンジニアリングで ML モデルをデバッグおよび改善し、ノイズが多い特徴量や無関係な特徴量に基づいてモデルの推論が行われているかどうかを判断し、モデルの限界とモデルで発生する可能性がある障害モードを把握するのに必要なインサイトを生成するツールが必要です。<BR><BR>**ビジネス**<BR>AI システムを採用するには、透明性が必須です。これは、トレーニングされたモデルとその予測の説明が信頼できることによって達成されます。モデルの説明可能性は、金融サービス、人事、ヘルスケア、輸送の自動化など、信頼性、安全性、コンプライアンスの要件がある特定の業界で、特に重要になる可能性があります。<BR><BR>**コンプライアンス**<BR>会社は、特定の決定について説明し、モデルのリスク管理に関して対策を施す必要がある場合があります。Amazon SageMaker Clarify は、初期データまたはトレーニング後のモデルに存在する潜在的なバイアスを検出するのに役立つほか、ML モデルの予測に最も寄与したモデル特徴量を説明するのにも役立ちます。 |

# 特徴
## [Amazon SageMaker Canvas](https://aws.amazon.com/jp/sagemaker/canvas/features/?nc=sn&loc=2)
- ビジネスアナリストにポイントアンドクリックができるビジュアルインターフェイスを提供することで機械学習 (ML) へのアクセスを拡張します。機械学習の経験がなくてもビジネスアナリストがコードを 1 行も書くことなく、自ら正確な ML 予測を生成できます。
- SageMaker Canvas は、クラウドとオンプレミスの異種データソースを簡単に参照し、アクセスすることが可能です。
- データをアップロードした後は、データセットの結合、データのクレンジング、さまざまなデータ調整の自動適用を迅速に行うことができます。その後は SageMaker Canvas 上で数回のクリックだけで簡単に ML モデルを構築し、正確な予測が生成されます。また、結果を簡単に公開し、モデルを説明および解釈し、組織内の他のユーザーとモデルを共有することもできます。

### ブラウズ、インポートおよびデータの結合
- SageMaker Canvas のビジュアル、ポイントアンドクリックユーザーインターフェイスを使用して、データを参照およびインポートできます。
- SageMaker Canvas は、CSV ファイルタイプをサポートし、S3や Redshiftなど、アカウントがアクセスできる AWS データソースを検出します。
- ローカルディスクからファイルをドラッグアンドドロップし、構築済みのコネクタを使用して、Snowflake などのサードパーティーソースからデータをインポートすることもできます。
- 結合操作により、複数のソースにまたがるデータを結合し、予測モデルの学習用に統一されたデータセットを新たに作成することができます。

### データクレンジングとデータ調整機能を搭載
- SageMaker Canvas は、データのエラーを自動的に検出してクリーニングを行うため、手動でデータをクリーニングする必要性を最小限に抑えることができます。SageMaker Canvas は、欠損値、異常値、行や列の重複を検出して修正するなど、データのクリーニングと準備を自動的に行います。

### モデルプレビュー
- SageMaker Canvas は、データのサブセットを使用してモデルを迅速に構築し、データが正確な予測を生成する準備ができているかどうかをチェックします。
- このサンプルモデルを使用することで、現在のモデルの精度と、各カラムが予測に与える相対的な影響を理解することができます。

### 予測の自動作成
- データソースの接続、データセットの選択、データの準備を行ったら、予測に使う特徴量を選択してモデル作成ジョブを開始できます。
- SageMaker Canvas は、問題のタイプを自動的に識別して関連性の高い新しい特徴量を生成し、線形回帰、ロジスティック回帰、深層学習、時系列予測、勾配ブースティングなどの ML 技術を使用して何百もの予測モデルをテストし、データセットに基づいて最も正確な予測を行うモデルを構築することができます。

### 共有機能の搭載
- SageMaker Canvas は、他の人と簡単に仕事を共有することができます。
- SageMaker Canvas で作成したモデルやデータセットを、SageMaker Studio を使用しているデータサイエンティストと共有することができます。これにより、ビジネスアナリストが作成したモデルやデータセットのレビューや承認が簡単に行えるようになります。

## [Amazon SageMaker Data Labeling](https://aws.amazon.com/jp/sagemaker/data-labeling/features/?nc=sn&loc=2)
### Amazon SageMaker Ground Truth Plus
#### エキスパートワークフォース
- 機械学習 (ML) タスクのトレーニングを受けたエキスパートワークフォースがラベル付けを行い、データセキュリティ、プライバシー、コンプライアンスの要件を満たすことができます。
    - 例えば、音声ファイルのラベリングに精通した人材が必要な場合は、SageMaker Ground Truth Plus に提供するガイドラインでこの要件を指定すると、サービスが自動的にそのスキルを持つラベラーを選択します。

#### エンドツーエンドのデータラベリング管理
- ラベリングアプリケーションを構築したり、ラベル付けのための労働力を自ら管理したりすることなく、質の高いトレーニングデータセットを作成することができます。
- S3 にラベリング要件と一緒にデータをアップロードすることができます。データをアップロードした後は、SageMaker Ground Truth Plus がデータラベリングワークフローの設定と運用をお客様に代わって行います。

#### 機械学習ラベリング技術
- アクティブラーニング、事前のラベル付け、機械検証などの機械学習テクニックを使用し、出力データセットの品質を高め、データラベリングのコストを削減します。
- マルチステップのラベリングワークフローには、以下が含まれている。
    - Ground Truth Plusが、ラベル付けが必要なオブジェクト (画像、音声記録、テキストのセクションなど) を選択することでコストを削減できるアクティブラーニングの機械学習モデル
    - 選択したデータにあらかじめラベル付けすることで人間の労力を削減できる機械学習モデルが含まれています。
- 機械検証で潜在的なエラーを特定し、それを人間によるレビューの追加ラウンドに送ります。これにより、人為的なエラーを検出し、ラベルの品質を大幅に向上させます。
- 直感的なユーザーインターフェイスを備えた、「自動 3D キューボイドスナップ」、「ビデオラベリングでの次の予測」、「自動セグメント」などの補助的なラベル付け機能を使用します。これにより、データのラベル付け作業にかかる時間を短縮すると同時に品質を向上させることができます。

#### インタラクティブなダッシュボード
- SageMaker Ground Truth Plus には、インタラクティブなダッシュボードとユーザーインターフェイスを提供しており、複数のプロジェクトにおけるトレーニングデータセットの進捗状況のモニタリング、日々のスループットなどのプロジェクトメトリクスの追跡、ラベルの品質検査、ラベル付きデータへのフィードバックなどを行うことができます。

### Amazon SageMaker Ground Truth
#### 3D point clouds
- 3 次元 (3D) 点群は、光検出と測距 (LIDAR) デバイスを使用してキャプチャされるのが最も一般的です。これは、単一の時点での物理空間の 3D での理解に資するものです
- SageMaker Ground Truth は、オブジェクト検出、オブジェクトトラッキング、セマンティックセグメンテーションなど、3D 点群データのラベリングワークフローをサポートしています。

#### オブジェクトの検出
- オブジェクト検出ワークフローを使用すると、3D 点群内の任意オブジェクトを識別してラベル付けすることができます。
- 例えば、自律型走行車のユースケースでは、車両、車線、歩行者を正確にラベリングすることができます。

#### オブジェクトのトラッキング
- オブジェクトトラッキングワークフローを使用すると、任意のオブジェクトの軌跡を追跡することができます。
- 例えば、自律型走行車は、他の車両、車線、歩行者の動きを追跡する必要があります。
- Ground Truth を使用すると、3D 点群データのシーケンスにわたって、これらのオブジェクトの軌跡を追跡することができます。

#### セマンティックセグメンテーション
- セマンティックセグメンテーションのワークフローを使用すると、3D 点群のポイントを事前に指定したカテゴリにセグメンテーションすることができます。
- 例えば、自律型走行車の場合、Ground Truth は道路、葉っぱ、構造物を分類することができます。

#### 動画
- SageMaker Ground Truth は、動画オブジェクトの検出、動画オブジェクトの追跡、動画クリップの分類など、組み込みのワークフローを備えた一般的な動画ラベリングの使用例をサポートしています。

#### 動画のオブジェクト検出
- 動画オブジェクト検出ワークフローを使用すると、一連の動画フレーム内で関心のあるオブジェクトを特定できます。 
- たとえば、自律型車両の知覚システムを構築する場合、車両の周囲のシーンによって他の車両を検出できます。

#### 動画のオブジェクトトラッキング
- 動画オブジェクト追跡ワークフローを使用すると、一連の動画フレームにわたって対象オブジェクトを追跡できます。
- たとえば、スポーツゲームのユースケースでは、プレイ期間全体にわたってプレイヤーに正確なラベルを付けることができます。

#### 動画クリップの分類
- 動画クリップ分類ワークフローを使用すれば、動画ファイルを事前に指定されたカテゴリに分類できます。
- たとえば、スポーツのプレイや混雑した交差点での交通渋滞など、動画を最もよく表す事前指定のカテゴリを選択できます。

#### イメージ
- SageMaker Ground Truth は、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、画像データのラベリングワークフローが組み込まれています。

#### 画像の分類
- 画像の分類は、実世界の表現に基づいて画像を識別するプロセスです.このプロセスでは、事前に定義されたラベルのセットに対して画像を分類します。
- 画像の分類は、シーンの検出など、画像の背景を考える必要があるモデルに最適です。
- 例えば、他の車両、歩行者、信号機、標識などのさまざまな実世界のオブジェクトを検出するために、自律型走行車用の画像分類モデルを構築することができます。

#### オブジェクトの検出
- オブジェクト検出ワークフローを使用して、画像内の任意のオブジェクト (車両、歩行者、犬、猫など) を識別し、ラベル付けすることができます。
- ラベル付けタスクでは、画像内の任意の対象物の周囲に 2 次元 (2D) のバウンディングボックスを描画します。
- コンピュータビジョンのモデルは、境界ボックスにラベルが付けられた画像でトレーニングされており、ボックス内のピクセルが特定のラベルに対応していることを学習します。

#### セマンティックセグメンテーション
- セマンティックセグメンテーションワークフローを使用して、モデルが学習する必要のあるラベルに対応する画像の特定の部分に正確にラベルを付けることができます。
- 個々のピクセルがラベル付けされるため、精度の高い学習データを得ることができます。例えば、画像内の車の不規則な形状は、セマンティックセグメンテーションで正確にとらえることができます。

#### テキスト
- SageMaker Ground Truth では、テキストの分類や名前付きエンティティの認識など、テキストデータのラベリングワークフローが組み込まれています。

#### テキストの分類
- テキストの分類では、事前に定義された複数のラベルのいずれかにテキスト文字列を分類します。
- 各ラベルへのテキストの分類は、自然言語処理 (NLP) モデルで製品の説明、映画のレビューなどのトピックや感情などを特定する際によく使用されます。

#### 名前付きエンティティ認識
- 名前付きエンティティ (NER) は、テキストデータから名前付きエンティティと呼ばれるフレーズを探し出し、「人」、「組織」、「ブランド」などのラベルを付けて分類します。 
- 例えば、「最近 Amazon Prime に登録した」という文では、「Amazon Prime」が名前付きエンティティとなり、「ブランド」に分類されます。

#### カスタムワークフロー
- Ground Truth では、自分だけのラベル付けワークフローを作成することができます。カスタムワークフローは、3 つのコンポーネントで構成されています。
    - (1) ラベル付けタスクを完了するために必要なすべての指示とツールをラベル付け担当者に提供する UI テンプレート
    - (2) AWS Lambda 関数にカプセル化された前処理のロジック
    - (3) AWS Lambda 関数にカプセル化された後処理のロジックです。
- 豊富な UI テンプレートが利用可能なほか、独自の Javascript/HTML テンプレートをアップロードすることも可能です。
- 前処理の Lambda 関数は、ラベル付けされるデータを提供し、ラベル付け担当者のための任意の追加のコンテキストを追加することができ、後処理の Lambda 関数は、精度向上アルゴリズムを挿入するために使用することができます。

#### 人材
- SageMaker Ground Truth は、(1) 自社の従業員、(2) AWS Marketplace で利用可能なサードパーティのデータラベル付けサービスプロバイダー、(3) Amazon Mechanical Turk を利用したクラウドソーシング型の人材などの、データのラベル付けを行うための人的リソースの選択肢を複数サポートしています。

### 合成データ生成
- Amazon SageMaker Ground Truth は、合成データ生成をサポートしています。
- SageMaker Ground Truth は、何十万ものラベル付き合成画像を生成することができ、ラベル付け精度を向上させ、データの手動ラベル付けの必要性の排除に役立ちます。
- お客様が画像要件を指定するか、3D アセットやコンピュータ支援設計 (CAD) 画像などのベースライン画像を提供します。
- AWS のデジタルアーティストが、オブジェクトの姿勢や配置を模倣した画像を作成し、オブジェクトやシーンのバリエーションを含めます。さらに、AWS のデジタルアーティストは、特定のインクルージョンをオプションで追加して、トレーニングデータセットにあまり含まれないような画像を作成することができます。

## [Amazon SageMaker Studio](https://aws.amazon.com/jp/sagemaker/studio/)
### データを準備する
#### コードをほとんどまたはまったく使用せずに、数回のクリックでデータを準備する
- SageMaker Data Wrangler を使用し、数回クリックするだけで、40 以上の AWS およびサードパーティのデータソースに接続し、データをインポートし、データ品質を検証し、300 以上の組み込みデータ変換を使用してモデルの特徴量エンジニアリングを行い、それらを SageMaker Feature Store に保存します。
- Data Wrangler ジョブを作成またはスケジュールして大規模なデータを処理し、SageMaker Pipelines を使用して機会学習ワークフロー内のデータ準備ステップを自動化することができます。

#### SageMaker Studio ノートブックを使用してデータを準備する
- データエンジニアリング、分析、機械学習のための統合されたノートブック環境で、データワークフローを簡素化します。
- Studio ノートブックから直接 Amazon EMR クラスターや AWS Glue インタラクティブセッションを作成、閲覧、接続します。
- ノートブックから直接 Spark UI などの使い慣れたツールを使用して、Spark ジョブのモニタリングやデバッグを行うことができます。
- SageMaker Data Wrangler を搭載した組み込みのデータ準備機能を Studio ノートブックから直接使用します。これにより、データを可視化し、データ品質の問題を特定し、推奨ソリューションを適用して、コードをまったく記述することなくデータ品質とモデルの精度を向上させることができます。

#### 数回のクリックでデータ処理
- データストアに接続し、リソースを起動してデータ処理ジョブを実行し、出力を永続的ストレージに保存し、SageMaker Processing を使用してログとメトリクスを提供します。
#### 特徴量の一元管理
- SageMaker Studio のフルマネージド型専用リポジトリである SageMaker Feature Store で、トレーニングと推論に使用する機械学習モデルの特徴量を保存、共有、管理し、機械学習アプリケーション間で特徴量の再利用を促進します。
- トレーニングをする際と、推論をする際の両方で一貫して同じ特徴量を取得できるため、数か月の開発労力を節約できます。

### Build
#### クイックスタート SageMaker Studio ノートブック
- ワンクリックで SageMaker Studio 内の完全マネージド型 Jupyter Notebook にアクセスできます。
- ノートブックには、TensorFlow と PyTorch (AWS に最適化された) の深層学習環境が事前構成されており、モデルの構築をすばやく開始できます。

#### ノートブックのコラボレーションを効率化
- 同じノートブックファイルを共同編集し、ノートブックコードを同時に実行し、その結果を一緒にレビューすることで、共同作業を効率化することができます。
- すべてのリソースに自動的にタグが付けられ、SageMaker Studio のコストや使用状況の把握が容易になります。

#### 組み込みアルゴリズム
- 15 を超えるアルゴリズムが組み込まれた構築済みのコンテナイメージを使用して、推論をすばやくトレーニングして実行したり、独自のカスタム イメージを SageMaker Studio に取り込んだりできます。

#### AutoML
- Amazon SageMaker Autopilot を使用して、完全な制御と可視性を維持しながら、データに基づいて最適な機械学習モデルを自動的に構築、トレーニング、および調整する。
- そして、ワンクリックでモデルを本番環境にデプロイします。SageMaker Autopilot が作成する任意のモデルの SageMaker Studio ノートブックを自動的に生成することもでき、どのように作成されたかに関する詳細を調べ、必要に応じて改良し、ノートブックから再作成できます。

#### 構築済みのソリューションとオープンソースモデル
- SageMaker JumpStart では、数回クリックするだけでデプロイ可能な何百もの構築済のソリューションを使用して、機械学習をすばやく開始するのに役立ちます。

### トレーニング
#### 分散型トレーニング
- 分散コンピューティングクラスターをセットアップし、トレーニングを実行して、結果を S3に出力し、ワンクリックでクラスターを破棄します。
- SageMaker のデータ並列ライブラリとモデル並列ライブラリを使用してモデルを大規模にトレーニングし、SageMaker Training Compiler を使用して、グラフおよびカーネルレベルの最適化を通じてトレーニング プロセスを最大 50% 加速します。マネージドスポットインスタンストレーニングを使用すると、コストを最大 90% 削減できます。

#### 自動モデルチューニング
- 何千ものアルゴリズムパラメータの組み合わせを調節してモデルを自動的にチューニングし、モデルが出し得る最も正確な予測に到達します。これにより、数週間分の労力を削減できます。

#### 実験管理と追跡
- Amazon SageMaker Experiments を使用することで、入力パラメータ、設定、および結果を取得し、こうした内容を「実験結果」として保存することで、機械学習モデルに対するイテレーションを追跡しやすくなります。
- アクティブな実験を参照したり、以前の実験を検索やレビュー、実験間の結果を比較したりすることができます。

#### デバッグおよびプロファイルトレーニングの実行
- Amazon SageMaker Debugger を使用することで、メトリクスとプロファイルのトレーニングジョブをリアルタイムでキャプチャするため、モデルを本番環境にデプロイする前にパフォーマンスの問題をすばやく修正できます。

### デプロイと管理
#### より簡単なデプロイ
- ワンクリックで、トレーニング済みのモデルを本番環境にデプロイします。低レイテンシ (数ミリ秒)、高スループット (数十万リクエスト/秒) から、自然言語処理やコンピュータビジョンなどのユースケース向けの長時間推論まで、あらゆる推論ニーズに対応した SageMaker Model Deployment を SageMaker Studio 内で利用できます。

#### モデルのバージョンを一元的に追跡および管理
- モデルのバージョン、そのメタデータ、およびパフォーマンスを追跡し、SageMaker Model Registry を使用して、ビジネス要件に基づいてデプロイに適したモデルをより簡単に選択できるようにします
- 。さらに、監査とコンプライアンスのための承認ワークフローを自動的にログすることができます。

#### 継続的なモデルのモニタリング
- SageMaker Studio 内の SageMaker Model Monitor を使用して、モデルのドリフトとコンセプトのドリフトをリアルタイムで検出することにより、品質を維持します。
- SageMaker でトレーニングされたすべてのモデルは、SageMaker Studio で収集と表示が可能な主要メトリクスを出します。

#### モデル構築ワークフローを自動化
- SageMaker Pipelines を使用して、データの準備、特徴量エンジニアリング、モデルのトレーニング、モデルの調整、モデルの検証など、モデル構築ワークフロー全体を自動化します
- SageMaker パイプラインを定期的に、または特定のイベントが起きたときに自動的に実行するように設定したり、必要に応じて手動で実行したりできます。

#### マルチモデルエンドポイント
- SageMaker のマルチモデルエンドポイントとマルチコンテナエンドポイントを使用して、単一のエンドポイントに数千のモデルをデプロイすることで、費用対効果を改善しながら、必要な頻度でモデルを使用する柔軟性が得られます。

#### 本番アプリケーション用の新しいモデルを迅速に提供
- SageMaker Projects を使用して、開発環境と本番環境の整合性の維持、ソースとバージョンの管理、A/B テスト、自動化など、継続的インテグレーションとデリバリー (CI/CD) のプラクティスを機械学習に導入することができます。

#### ノートブックコードから本番環境に対応したジョブへの自動変換
- ノートブックが選択されると、Amazon SageMaker Studio ノートブックはノートブック全体のスナップショットを取得し、依存関係をコンテナにパッケージ化し、インフラストラクチャを構築します。
- そして、プラクティショナーが設定したスケジュールでノートブックを自動ジョブとして実行し、ジョブ完了時にインフラストラクチャをプロビジョニング解除します。この自動化により、ノートブックの本番環境への移行にかかる時間を数週間から数時間に短縮できます。

### ML モデルにおけるバイアスの検出
- SageMaker Clarify を使用して指定した属性を調べることにより、データ準備中、モデル学習後、および配備したモデルで潜在的な偏りを検出し制限することができます。
- SageMaker Clarify は、モデルの説明可能性レポートも提供するため、利害関係者はモデルが予測を行う方法と理由を確認できます。

## [Amazon SageMaker Pipelines](https://aws.amazon.com/jp/sagemaker/pipelines/)
### ML ワークフローを作成、管理、および再利用する
- Amazon SageMaker Pipelines を使用すると、使いやすい Python SDK を使用して ML ワークフローを作成し、Amazon SageMaker Studio を使用してワークフローを可視化および管理できます。
- SageMaker Pipelines で作成したワークフローステップを保存して再利用することで、より効率的に拡張できます。
- また、モデルを構築、テスト、登録、およびデプロイするための組み込みテンプレートをすばやく開始できるため、ML 環境で CI/CD をすばやく開始できます。

### 本番環境にデプロイする際に最適なモデルを選択する
- 多くの顧客が数多くのワークフローを備えており、それぞれが同じモデルの異なるバージョンを持っています。
- SageMaker Pipelines モデルレジストリを使用すれば、中央リポジトリでこれらのバージョンを追跡できます。
- さらに、ビジネス要件に基づいて、デプロイに適したモデルを簡単に選択できます。
- SageMaker Studio を使用してモデルを参照および検出するか、SageMaker Python SDK を介してモデルにアクセスすることができます。

### モデルの自動追跡
- Amazon SageMaker Pipelines はワークフローのすべてのステップをログに記録し、トレーニングデータ、プラットフォーム構成、モデルパラメータ、学習勾配などのモデルコンポーネントの監査証跡を作成します。
- 監査証跡を使用して、モデルを再作成し、コンプライアンス要件をサポートできます。

### CI/CD を機械学習に導入する
- Amazon SageMaker Pipelines は、開発環境と本番環境の間での同等性の維持、バージョン管理、オンデマンドテスト、エンドツーエンドの自動化など、CI/CD プラクティスを機械学習にもたらし、組織全体で ML を拡張できるようにします。

## [Amazon SageMaker Debugger](https://aws.amazon.com/jp/sagemaker/debugger/)
### 自動検出、分析、およびアラート
- Amazon SageMaker Debugger は、勾配値が大きくなりすぎたり小さすぎたりするなどの一般的なトレーニングエラーを自動的に検出して修正するよう警告することで、トレーニング中のトラブルシューティングに数日かかっていたものを数分に短縮できます。
- アラートは、Amazon SageMaker Studio で表示するか、Amazon CloudWatch を介して設定できます。
- さらに、SageMaker Debugger SDK を使用すれば、データサンプリング、ハイパーパラメータ値、範囲外の値など、モデルの固有エラーの新しいクラスを自動的に検出できます。

### 監視とプロファイリング
- Amazon SageMaker Debugger は、GPU、CPU、ネットワーク、メモリなどのシステムリソースの使用率を自動的に監視し、トレーニングジョブのプロファイルを作成して、詳細な ML フレームワークメトリックを収集します。
- SageMaker Studio を使用して、すべてのリソースメトリックを目視で検査できます。
- リソース使用率の異常は、CPU の使用率が高いなどのボトルネックを識別するための特定の操作に関連付けられているため、迅速に修正措置を講じることができます。さらに、詳細なレポートをダウンロードしてオフラインで分析することもできます。
- トレーニングの実行は、トレーニングジョブの開始時、またはトレーニングを進行している任意の時点でプロファイリングできます。

### 組み込みの分析機能
- Amazon SageMaker Debugger には、入力、出力、テンソルと呼ばれる変換など、トレーニング中に放出されたデータを自動的に分析する分析機能が組み込まれています。
- その結果、モデルが過剰適合か過剰トレーニングの状態であるか、勾配が大きすぎるか小さすぎるか、GPU リソースが十分に活用されていないかなど、トレーニング中のその他のボトルネックを検出できます。
- SageMaker Debugger を使用すれば、独自のカスタム条件を作成して、トレーニングジョブの特定の動作をテストすることもできます。
- これらの条件は、トレーニングジョブの停止や SMS または電子メール送信などのアクションを呼び出す可能性があります。トレーニングジョブを早期に停止すると、次善モデルのトレーニングコストを削減して、より優れたプロトタイプを迅速に開発できます。

### ML アルゴリズムと DL フレームワークにわたる幅広いサポート
- Amazon SageMaker Debugger は、TensorFlow、PyTorch、Apache MXNet、Keras、XGBoost などの ML フレームワークをサポートしています。
- これらのフレームワーク用の SageMaker の組み込みコンテナには、SageMaker Debugger が予めインストールされているため、トレーニングスクリプトを簡単に監視、プロファイリング、デバッグできます。
- SageMaker Debugger は、デフォルトで、各リソースを個別に監視するための追加コードを記述せずに、トレーニング中のシステムハードウェアの使用率と損失を監視します。

### AWS Lambda との統合
- Amazon SageMaker Debugger は AWS Lambda と統合されているため、アラートの結果に基づいて行動できます。
- たとえば、AWS Lambda 関数では、時間の経過とともに損失が減少するのではなく継続的に増加するなど、非収束アクションが検出されたときに、トレーニングジョブを自動的に停止できます
- AWS Lambda は、トレーニングジョブを停止する通知を提供する目的で、ML の開発とトレーニングの初期段階でコストを削減するため、望ましい結果を得ることができます。

## [分散トレーニングライブラリ](https://aws.amazon.com/jp/sagemaker/distributed-training/)
- Amazon SageMaker は、大規模な深層学習モデルとデータセットをトレーニングするための最も速くて簡単な方法を提供します。
- パーティショニングアルゴリズムを使用して、これらの SageMaker 分散トレーニングライブラリは、手動で行う場合よりもわずかな時間で、AWS GPU インスタンス全体の大規模な深層学習モデルとトレーニングデータセットを自動的に分割します。
- SageMaker は、データの並列処理とモデルの並列処理という 2 つの手法を通じてこれらの効率を実現します。
    - モデルの並列処理は、トレーニングする複数の GPU に分散する前に、単一の GPU に収まらないほど大きすぎるモデルを小さなサイズに分割します。
    - データの並列処理は、トレーニング速度を向上させるために、大きなデータセットを分割して同時にトレーニングします。

### データ並列処理ライブラリ
#### トレーニング時間を短縮
- SageMaker は、GPU 間でトレーニングデータを簡単に分割できるようにすることで、トレーニング時間を短縮します。 
- p3dn.24xlarge インスタンスでの Mask R-CNN のトレーニングは、Horovod のようなオープンソースのデータ並列処理ソリューションと比較して、SageMaker で 25% 高速に実行されます。
- SageMaker は並列で実行されている GPU を管理して同期を最適に実現するため、トレーニング時間の短縮が可能になります。

#### AWS に向けて最適化
- SageMaker のデータ並列処理ライブラリは、AWS ネットワークとインフラストラクチャを完全に活用して、ほぼ線形のスケーリング効率を実現するように設計された通信アルゴリズムを提供します。
- たとえば、p3dn.24xlarge インスタンスの BERT は、SageMaker を使用して 90% のスケーリング効率を達成し、Horovod を使用した同じモデルよりも 26% 向上しています。

#### 既存のフレームワーク API を使用する
- SageMaker は、分散トレーニングですでに一般的に使用されているものと同一の API を介してデータ並列処理を最適化するため、新しいライブラリを学習する必要はありません。
- データの並列処理を有効にするには、PyTorch 用の DistributedDataParallel (DDP) API と TensorFlow 用の Horovod API が使用できます。

### モデル並列処理ライブラリ
#### 自動で効率的なモデル分割
- Amazon SageMaker は、プロファイリングより数秒でモデルを分割し、GPU 間でモデルを分割するための最も効率的な方法を見つけることができます。

#### 最小限のコード変更
- Amazon SageMaker では、モデルを複数の GPU に分割するために、TensorFlow または PyTorch トレーニングスクリプトで 10 行未満のコードを変更する必要があります
- TensorFlow と PyTorch の既存の API を再利用して、すばやく起動して実行することができます。

#### リソースを最適化する
- Amazon SageMaker は、トレーニングバッチを小さなマイクロバッチに分割することで、GPU インスタンスを最大限に活用します。
- すべての GPU デバイスを同時にアクティブ状態に保つために、効率的なパイプラインで小さいマイクロバッチが GPU に供給されます。

## Amazon SageMaker Model Monitor
### データの収集と監視
- Amazon SageMaker Model Monitor を使用すれば、コードを記述しなくても、監視や分析を行うデータを選択できます。
- SageMaker Model Monitor を使用すると、予測出力などのオプションメニューからデータを選択し、タイムスタンプ、モデル名、エンドポイントなどのメタデータをキャプチャして、メタデータに基づいてモデルの予測を分析できます。
- 大量のリアルタイム予測の場合、データキャプチャのサンプリングレートをトラフィック全体のパーセンテージとして指定でき、データは独自の Amazon S3 バケットに保存されます。
- このデータの暗号化、詳細なセキュリティの構成、データ保持ポリシーの定義を行い、安全なアクセスのためのアクセスコントロールメカニズムを実装することもできます。

### 組み込みの分析機能
- Amazon SageMaker Model Monitor は、データとモデルの品質における変動を検出するために、統計ルールの形式で組み込みの分析を提供します。
- カスタムルールを作成し、各ルールのしきい値を指定することもできます。次に、ルールを使用してモデルのパフォーマンスを分析できます。SageMaker Model Monitor は、収集されたデータに対してルールを実行し、異常を検出し、ルール違反を記録します。

### 可視化
- Amazon SageMaker Model Monitor によって発行されたすべてのメトリックは Amazon SageMaker Studio で収集および表示できるため、追加のコードを記述せずにモデルのパフォーマンスを視覚的に分析できます。
- メトリックを視覚化できるだけでなく、SageMaker ノートブックインスタンスでアドホック分析を実行して、モデルをよりよく理解することもできます。

### 進行中のモデル予測
- Amazon SageMaker Model Monitor を使用すると、モデルのパフォーマンスを計算するために ML アプリケーションからデータを取り込むことができます。データは S3 に保存され、アクセスコントロール、暗号化、およびデータ保持ポリシーによって保護されます。

### 監視スケジュール
- Amazon SageMaker Model Monitor を介して監視ジョブをスケジュールすることで、ML モデルを監視できます。
- 監視ジョブを自動的に開始して、特定の期間中のモデル予測を分析できます。SageMaker エンドポイントで複数のスケジュールを設定することもできます。

### Amazon SageMaker Clarify との統合
- Amazon SageMaker Model Monitor は Amazon SageMaker Clarify と統合されており、潜在的なバイアスの可視性を向上させます。

### レポートとアラート
- 監視ジョブによって生成されたレポートは、さらなる分析のために Amazon S3 に保存できます。
- Amazon SageMaker Model Monitor は Amazon CloudWatch にメトリックを公開し、通知を使用してアラームをトリガーしたり、モデルの再トレーニングやデータの監査などの修正アクションを実行したりできます。
- メトリックには、違反したルールやタイムスタンプ情報などの情報が含まれます。
- SageMaker Model Monitor は、Tensorboard、Amazon QuickSight、Tableau などの他の可視化ツールとも統合されています。

## [Amazon SageMaker Autopilot](https://aws.amazon.com/jp/sagemaker/autopilot/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc)
- Amazon SageMaker Autopilot は、機械学習モデル構築のための重労働を排除します。
- 表形式のデータセットを提供し、予測対象の列を選択するだけで、SageMaker Autopilot が自動的にさまざまなソリューションを探索し、最適なモデルを見つけます。
    - その後、ワンクリックでモデルを本番に直接デプロイするか、推奨ソリューションを繰り返して、モデルの品質をさらに向上させることができます。
### 自動データ前処理と特徴エンジニアリング
- データが不足している場合でも、Amazon SageMaker Autopilot を使用できます。
### 自動 ML モデル選択
- Amazon SageMaker Autopilot は、バイナリ分類、マルチクラス分類、回帰など、データに最適な予測のタイプを自動的に推測します。
- その後、SageMaker Autopilot は、勾配ブースティングデシジョンツリー、フィードフォワード型ディープニューラルネットワーク、ロジスティック回帰などの高性能アルゴリズムを探索し、これらのアルゴリズムに基づいて数百のモデルをトレーニングおよび最適化して、データに最適なモデルを見つけます。

### モデルリーダーボード
- Amazon SageMaker Autopilot を使用すると、データ用に自動的に生成されるすべての ML モデルを確認できます。
- 正確性、精度、再現率、曲線下面積 (AUC) などのメトリクスでランク付けされたモデルのリストを表示し、予測に対する特徴の影響などのモデルの詳細を確認して、ユースケースに最適なモデルをデプロイできます。

### 特徴量重要度
- Amazon SageMaker Autopilot では、Amazon SageMaker Clarify により生成される説明レポートが提供されます。
- このレポートにより、SageMaker Autopilot を使用して作成されたモデルがどのように予測を実行するかについてを、簡単に把握し説明できるようになります。
- また、トレーニングデータ内の個々の属性が予測結果にどの程度貢献しているかを、割合で示すこともできます。この割合が高いほど、その特徴がモデルの予測に与える影響度が大きくなります。

### カスタマイズ可能な autoML ジャーニー
- Amazon SageMaker Autopilot を使用すると、autoML ジャーニーのステップをカスタマイズして、高品質の ML モデルを作成できます。
- SageMaker Data Wrangler 内の 300 以上の事前設定されたデータ変換を使用して、独自のデータ前処理と特微量エンジニアリング変換を行い、レシピを SageMaker Autopilot に取り込むことができます。
- トレーニングデータと検証データ用のカスタムデータ分割を定義したり、検証用のカスタムデータセットをアップロードしたりすることもできます。
- さらに、トレーニング用の機能を選択し、データ型を変更し、SageMaker Autopilot 実験用のトレーニングモード (アンサンブルまたはハイパーパラメータの最適化) を選択できます。

### 自動ノートブック作成
- Amazon SageMaker Autopilot が作成する任意のモデルのAmazon SageMaker Studio ノートブックを自動的に生成し、どのように作成されたかに関する詳細を調べ、必要に応じて改良し、将来いつでもノートブックから再作成できます。

## [Amazon SageMaker JumpStart](https://aws.amazon.com/jp/sagemaker/jumpstart/?sagemaker-data-wrangler-whats-new.sort-by=item.additionalFields.postDateTime&sagemaker-data-wrangler-whats-new.sort-order=desc)

### 組み込みアルゴリズム
- SageMaker JumpStart は、TensorFlow Hub、PyTorch Hub、HuggingFace、MxNet GluonCV などのモデルハブにより事前トレーニング済みのモデルを使用して、数百の組み込みアルゴリズムを提供します。
- また、SageMaker Python SDK を使用して組み込みアルゴリズムにアクセスすることもできます。組み込みアルゴリズムは、データ分類 (画像、テキスト、表形式) や感情分析などの一般的な ML タスクをカバーします。

| タイプ | MLタスク |アルゴリズムとモデルの例 | 
| :--- | :--- | :--- |
| ビジョン | 画像の分類<BR>画像の組み込み<BR>物体検出<BR>セマンティックセグメンテーション|ResNet<BR>Inception<BR>MobileNet<BR>SSD<BR>Faster RCNN<BR>YOLO<BR>Stable Diffusion<BR>を含む200種類以上のモデル |
| テキスト（自然言語処理） | 文章セグメンテーション<BR>テキストの分類<BR>組み込み<BR>ペア分類<BR>質疑応答<BR>要約<BR>テキスト生成<BR>翻訳<BR>名前付きエンティティ認識 |REST<BR>RoBETa<BR>DistiBERT<BR>Distillbart xsum<BR>GPT2<BR>ELECTRA<BR>Blazing Text <BR>Sequence-tosequence<BR>Latent Dirichlet Allocation(LDA)<BR>Neural Topic Model(NTM)<BR>Bloom<BR>を含む100以上のモデル|
|表形式 |分類<BR>回帰 |LigthGBM<BR>CatBoost<BR>XGBoost<BR>線形学習器<BR>AutoGluon<BR>Tab Transformer<BR>DeepAR<BR>因数分解器<BR>K 近傍法<BR>Random Cut Forest<BR> IP Insights |
| 音声 | 音声の組み込み |TRILL<BR>TRILL DIstilled<BR>FRILL|

### 基盤モデル
- 基盤モデルは、数十億のパラメータを持つ大規模な機械学習モデルで、テラバイト単位のテキストや画像データで事前トレーニングされているため、記事の要約やテキスト、画像、動画の生成など幅広いタスクが実行可能です。
- 基盤モデルは事前トレーニングされているため、トレーニングやインフラのコストを削減し、ユースケースに合わせたカスタマイズを可能にします。

### あらかじめ構築されたソリューション
- あらかじめ構築されたソリューションは、一般的なユース ケースに使用でき、完全にカスタマイズ可能です。

|  ユースケース | ソリューション |
|:-- |:-- |  
|信用格付け予測 |質の高い信用予測のためのマルチモーダル ML を使用した企業信用格付けの予測グラフベースの信用スコアリング<BR>信用決定の説明 |
|予知保全 |車両フリートの予知保全<BR>製造における予知保全|
|コンピュータビジョン |画像での製品の欠陥の検出<BR>手書き文字の認識<BR>鳥類のオブジェクト検出|
|強化学習 |視覚的知覚と能動学習による自動運転<BR>Procgen チャレンジの分散強化学習<BR>Battlesnake AI コンペティションのための強化学習|
|不正検出 |悪意のあるユーザーとトランザクションの検出<BR>ディープグラフライブラリを使用した金融取引における不正検出<BR>金融決済区分|
|ドキュメントのデータの抽出および分析 | 感情分類の差分プライバシー<BR>ドキュメントの要約、エンティティ、および関係の抽出<BR>Amazon SageMaker を使用した手書き文字の認識<BR>表形式のレコードへの不足値の入力| 
|顧客離れの予測 |モバイルのための顧客離れの予測<BR>テキストを利用した顧客離れの予測|
|需要予測 |深層学習による需要予測	 |
|パーソナライズされた推奨事項	 |ディープグラフライブラリを備えたアイデンティティグラフのエンティティ解決<BR>購入モデリング |
|価格の最適化  |ダブル機械学習 (ML) とプロフェット予測による価格の最適化 |
|ヘルスケアおよびライフサイエンス分析 |肺がん生存率予測 |

# 参考
https://aws.amazon.com/jp/machine-learning/

https://qiita.com/zumax/items/a8541406f59ab477a4af