AWS re:Invent 2023 で発表された Datadog の新機能: AWS integrations 編

## はじめに
こんにちは、Datadog Japan で Sales Engineer をしている [**AoTo**](https://qiita.com/AoTo0330) です。

この投稿は **[<font color="#6495ED">AoTo Advent Calendar 2023</front>](https://qiita.com/advent-calendar/2023/aoto) 4日目**の記事です。

AWS の最大の年次イベント「AWS re:Invent 2023」に併せて Datadog が発表した様々な新機能を日本語でまとめました。AWS も Datadog の両方に興味がある・利用しているよ、という方は是非ご参考ください:dog:

https://www.datadoghq.com/aws-reinvent/products/

こちらの内容は AWS integration に関連する新機能に焦点を当てた**後編**となります。Datadog の製品の新機能は[**前編**](https://qiita.com/AoTo0330/items/8cc0e5ff5ea5ccf4c431)でまとめています

https://qiita.com/AoTo0330/items/8cc0e5ff5ea5ccf4c431

Datadog で利用できる AWS サービスへの integration は、**6つの内容**がアナウンスされました。
これらの integraion の概要と解説をしていきます。

:::note warn
2023/12/3 時点での情報を元に記載しています。
特筆のないものは全て一般公開(GA)されています。
最新の情報は [Datadog の公式ドキュメント](https://docs.datadoghq.com/ja/)をご参照ください。
:::

## Amazon Bedrock integration
### 概要
[**Amazon Bedrock**](https://aws.amazon.com/jp/bedrock/) は近年盛り上がりつつある生成 AI を利用したアプリケーション・サービスを構築するための開発者ツールです。既存の主要な基盤モデルを API を通じて利用することで、モデルのカスタマイズやモデル推論・評価が行えます。

Datadog [**Amazon Bedrock integration**]() は、既存の [AWS integration](https://docs.datadoghq.com/ja/getting_started/integrations/aws/) によって [Bedrock の監視メトリクス・ログ](https://docs.aws.amazon.com/bedrock/latest/userguide/monitoring.html)を CloudWath Metrics, CloudTrail Logs から取り込み、Datadog の OOTB Dashboard(組み込みダッシュボード)で可視化できるソリューションです。

https://www.datadoghq.com/ja/blog/monitor-amazon-bedrock-with-datadog/

### できるようになったこと
**Amazon Bedrock integration** によって、Bedrock による基盤モデルの使用状況や API パフォーマンス・エラー率を監視できるようになります。このような情報を活用することで、エンドユーザーのモデルの呼び出し頻度やデータの複雑さを把握でき、生成 AI モデルの使用を最適化できます。

![Amazon Bedrock integration.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2363567/3104bceb-308f-a21b-05c4-52b0857e74b4.jpeg)

Amazon Bedrock integration 以前は、DASH 2023 にて [AI Integration roundup](https://www.datadoghq.com/ja/blog/ai-integrations/#models-openai-amazon-bedrock) を公表していましたが、これは Bedrock に限らない内容でした。

今回の変更により、Bedrock 関連のメトリクスを取り込んだ上で Bedrock インテグレーションタイルで`[Install]`をクリックするだけで、OOTB Dashboard(組み込みダッシュボード)が利用できるようになります。既存の AWS & Datadog ユーザーで Bedrock による生成 AI アプリケーションの開発を考えられている方にとっては**利用しない手はない機能**となります。

## Amazon S3 Express One Zone
### 概要
[**S3 Express One Zone**](https://aws.amazon.com/jp/s3/storage-classes/express-one-zone/) は新たに発表された Amazon S3 のハイパフォーマンスストレージクラスです。単一 AZ での稼働によりパフォーマンスを最適化し、高頻度で低レイテンシーなストレージアクセスを実現できます。

Datadog は Amazon S3 Express One Zone が高い品質で稼働できているかを監視するためのソリューション群を提供しています。具体的には、[AWS integration](https://docs.datadoghq.com/ja/getting_started/integrations/aws/) によって取得された監視情報と、[Datadog APM](https://docs.datadoghq.com/ja/tracing/) によるトレースによって監視することができます。

https://www.datadoghq.com/ja/blog/monitor-amazon-s3-express-one-zone-datadog/

### できるようになったこと
AWS より発表された新規機能であっても、その特性に応じて**既存の監視ソリューション**が適用できます。既存の [**Amazon S3 integration**](https://docs.datadoghq.com/ja/integrations/amazon_s3/) や [**Amazon S3 Storage Lens integraion**](https://docs.datadoghq.com/ja/integrations/amazon_s3_storage_lens/) は S3 のさまざまなストレージクラスを一元的に管理できるソリューションで、OOTB Dashboard(組み込みダッシュボード)により深い洞察を得ることができます。

[**Datadog APM**](https://docs.datadoghq.com/ja/tracing/) では言語毎の互換性に依存しますが、AWS SDK に自動計装の互換性がある **Java, Python, Ruby, Go, Node.js** では S3 へのリクエストの内容とパフォーマンスを可視化できます。リクエストの内容には S3 のバケット名やリクエスト ID が含まれるため、APM のトレース情報から S3 バケットクラスの最適化を判断できます。

![amazon-s3-express-one-zone-1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2363567/9bcb7558-2d47-f18b-7df2-7ceac90af85a.jpeg)

## AWS IAM Access Analyzer integration
### 概要
[**AWS IAM Access Analyzer**](https://aws.amazon.com/jp/iam/access-analyzer/) は AWS IAM をはじめとする認証・権限情報をアクセス情報と合わせて分析できるソリューションです。AWS の[最小権限の原則](https://docs.aws.amazon.com/ja_jp/IAM/latest/UserGuide/best-practices.html#grant-least-privilege) を達成するために、IAM の使用状況と権限情報を管理し[証明可能なセキュリティ](https://aws.amazon.com/jp/security/provable-security/)による分析を可能にします。

Datadog [**AWS IAM Access Analyzer integration**](https://docs.datadoghq.com/ja/integrations/iam_access_analyzer/) は AWS IAM Access Analyzer によって顕在化した未使用の IAM をはじめとする認証権限を特定したり、企業のポリシーへの準拠状況を可視化するソリューションです。

https://www.datadoghq.com/ja/blog/aws-access-analyzer-datadog/

### できるようになったこと
[**AWS IAM Access Analyzer integration**](https://docs.datadoghq.com/ja/integrations/iam_access_analyzer/) によって AWS アカウントで利用されている IAM アクセスを分析するために Datadog のプラットフォームを活用できます。

[**Datadog Logs Management**](https://docs.datadoghq.com/ja/logs/) では無制限のログの取り込みと柔軟なクエリを活用することで、リアルタイムで IAM Access Analyzer の検出結果を可視化できます。
[**Datadog Dashboard**](https://docs.datadoghq.com/ja/dashboards/) や [**Datadog Monitor**](https://docs.datadoghq.com/ja/monitors/) を用いることで、継続的な監視とリアルタイムのアラートによる通知を実現できます。

## AWS Lambda Suppourt for Otel API
### 概要
この発表は他の内容と少し異なりますが、[OpenTelemetry API](https://opentelemetry.io/docs/specs/otel/trace/api/) によって計装された [AWS Lambda](https://aws.amazon.com/jp/lambda/) のトレースデータを Datadog 上で可視化できるようになったというものです。

https://www.datadoghq.com/ja/blog/aws-lambda-otel-instrumentation/

https://www.datadoghq.com/ja/about/latest-news/press-releases/datadog-expands-observability-and-security-support-for-aws-serverless-workloads/

### できるようになったこと
前述のとおり、AWS Lambda を OTel API で計装している場合でも、Datadog でのトレースデータの可視化が実現できます。

Datadog ネイティブの場合は [Datadog Lambda Extension](https://docs.datadoghq.com/ja/serverless/libraries_integrations/extension/) により [Datadog トレーシングライブラリ](https://docs.datadoghq.com/ja/tracing/trace_collection/dd_libraries/)で計装したデータの収集が可能ですが、Lambda を OpenTelemetry で計装している場合には監視テレメトリデータを直接 Datadog に送信する方法が提供されていませんでした。

今回の発表により [OTel API で計装されたデータを Datadog トレーシングライブラリと Datadog Lambda Extension を介して Datadog に送信できる](https://docs.datadoghq.com/serverless/aws_lambda/configuration/?tab=datadogcli#instrument-aws-lambda-with-the-opentelemetry-api)ようになりました。
現在は **Python か Node.js** での OTel API をサポートしていますが、Datadog トレーシングライブラリは [OTel API による計装](https://docs.datadoghq.com/tracing/trace_collection/otel_instrumentation/)を Java, Python, Ruby, Go, Node.js, PHP, .NET をサポートしているため、今後 Lambda での対応言語の拡大が期待できます。

:::note info
詳細は別のブログ内容をご覧ください。との案内を追加予定です。
**[<font color="#6495ED">AoTo Advent Calendar 2023</front>](https://qiita.com/advent-calendar/2023/aoto)** 内で「Datadog の OTel への対応状況」をまとめる予定です。
:::

## Serverless Monitoring for AWS Step Functions
[**AWS Step Funtionts**](https://aws.amazon.com/jp/step-functions/) AWS のサービスを組み合わせることで自動化のソリューションを提供するビジュアルワークフローサービスです。分散型アプリケーションの構築や、プロセスの自動化、マイクロサービスのオーケストレーション、データ・機械学習パイプラインの構築を実現できます。

Datadog [**Serverless Monitoring for AWS Step Functions**](https://docs.datadoghq.com/ja/serverless/step_functions/) はこうしたワークフローの健全性の監視や実行パフォーマンスの把握に Datadog の Serverless Monitoring, APM などのソリューションを活用できる機能です。今回の発表で**公開ベータ**となり、全ての Datadog ユーザーが使用可能です。

:::note info
この機能は Datadog の年次イベントである [DASH 2023](https://www.datadoghq.com/ja/blog/dash-2023-new-feature-roundup/) で既に発表されています。
:::

https://www.datadoghq.com/ja/blog/step-functions-state-machine-map/

### できるようになったこと
[**AWS Step Fuctions integration**](https://docs.datadoghq.com/ja/integrations/amazon_step_functions/) に加えて [Serverless Monitoring for AWS Step Functions](https://docs.datadoghq.com/ja/serverless/step_functions/installation/?tab=serverlessframework) を実装することで、Step Functions のメトリクスやログと合わせて、トレース情報を収集し、Serverless ページないの専用のビューで可視化できます。

専用のビューとして存在する **State Machine Map** はまさに Step Functions の[ステートマシーン構造](https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/amazon-states-language-state-machine-structure.html)をそのまま Datadog で確認できる機能で、Datadog の[トレースビュー](https://docs.datadoghq.com/ja/tracing/trace_explorer/trace_view/?tab=spantags)と比較してボトルネックの特定や実行結果の確認を行えます。

![StepFunctionsView.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2363567/46ee783e-e08d-ba55-14d7-32c44ff2a506.jpeg)

## CI Pipeline Visibility for AWS Codepipeline
### 概要
[**AWS Codepipeline**](https://aws.amazon.com/jp/codepipeline/) はフルマネージドな CI/CD パイプライン構築ソリューションで、Code Build や Code Deploy を利用してアプリケーションやインフラストラクチャのアップデートやリリースを自動化できます。

Datadog [**CI Pepeline Visibility for AWS Codepipeline**](https://docs.datadoghq.com/ja/continuous_integration/pipelines/awscodepipeline/) はこうしたパイプラインの重要なメトリクスと結果を表示し、独自のビューによって CI の健全性を可視化できます。

https://www.datadoghq.com/ja/blog/aws-codepipeline-ci-visibility/

### できるようになったこと
[**Datadog CI Pipeline Visibility**](https://docs.datadoghq.com/ja/continuous_integration/pipelines) で今までサポートされていなかった **AWS Codepipeline** へのサポートがされ、簡単に **CI Pipeline Visibility** の強力なビューを利用して、パイプラインの健全性を可視化できます。この機能は特に Datadog かつ AWS Codepipeline ユーザーの間で待望となっていた機能でした。

これまではパイプラインの実行に関する監視情報を収集・可視化するために、[**Code Build integration**](https://docs.datadoghq.com/ja/integrations/amazon_codebuild/) や [**Code Deploy integration**](https://docs.datadoghq.com/ja/integrations/amazon_codedeploy/)により情報を収集し、カスタマイズしたダッシュボードでその状況を追う必要がありました。現在でもこれらの方法は可能ですが、[**Datadog CI Pipeline Visibility**](https://docs.datadoghq.com/ja/continuous_integration/pipelines) を利用することでこれらの管理が不要となり、[Pipeline Executions ビュー](https://docs.datadoghq.com/continuous_integration/explorer/facets/?tab=testruns#creating-facets-from-the-runs-or-executions-side-panels) による視覚的に実行内容を把握することが可能です。

![CIPipelineforCodePipeline_View.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2363567/fe01a773-b18c-999a-2c42-8400e9ffd7fa.jpeg)

## おわりに
どのようなプロダクトであっても、安定的に運用しシステムの最適化を行うためにオブザーバビリティを導入することは重要です。Datadog は、AWS による豊富なソリューション・プロダクトを一元的に監視するために数多くのインテグレーションを提供しています。

今回紹介した機能の他にも、AWS re:Invent 2023 に合わせて発表された Datadog の新機能はたくさんあるため、ぜひご確認ください。

https://qiita.com/AoTo0330/items/8cc0e5ff5ea5ccf4c431

[**<font color="#632CA6">Datadog Advent Calendar 2023</font>**](https://qiita.com/advent-calendar/2023/datadog) は Datadog に関連する様々な内容を Datadog のユーザーとエンジニアが投稿しています。この機会に是非覗いてみてください！