PagerDuty 設定ガイド (トリアージ編3) - Auto Pauseで一過性アラートの通知を削減する

ノイズ削減機能の1つ、Auto Pause(Transient Alerts)機能について説明します。
![triage_noisereduction2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2777160/6e83c022-905a-41c2-5e0a-590ebe8ae705.png)

## Auto Pause機能とは
自動復旧する可能性があるアラートをAIで特定し、担当者への通知を一定時間差し止める機能です。

例えば以下のアラートは4:10にトリガーされましたが、AIがこれまでの履歴を基に自動復旧する可能性が高いと判断し、5分間通知を差し止めました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2777160/f85ee764-c5a6-be9d-9ca3-34223a553a98.png)
2分後の4:12に復旧を知らせるEvent[^1]を受信したため、通知をせず(インシデントを起票せず)にアラートのステータスをResolvedに変更しています。
(もし5分後の4:15になっても復旧しなかった場合は、インシデントを起票し担当者に通知を行います。)

不急不要のアラートの通知を差し止めることにより、担当者の負担を減らすことが可能です。また、どのアラートが自動復旧する可能性があるかについては、AIが過去の履歴から自動判定してくれるため、設定やメンテナンスの手間もかかりません。

## Auto Pauseの設定
Auto Pauseの設定はService毎に行います。
Services > Service Directory を開き、設定を行うServiceを選択します。

Serviceの詳細画面が開いたら、Settingsタブを開きます。
![service_settings.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2777160/76e2523a-decf-0b7e-458e-eb7d9cd440a9.png)

Auto Pause欄のEditをクリック
![service_setting_autopause.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2777160/325bb80c-9b50-c97e-c7aa-9500b0980b5b.png)

Auto-pause incident notificationsにチェックを入れ、通知を差し止める時間を指定します。
Save Changesをクリックし、設定を反映します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2777160/280f22d4-2591-27b0-410d-34bb703f337a.png)

## Auto Pauseされたアラートの確認方法
全てのアラートは Incidents > Alerts から確認できます。
(Auto PauseによるSuspended状態のアラート、ならびにAuto Pause後に自動復旧したアラートについては、紐づいているインシデントがないため、インシデント一覧画面からは辿れません。)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2777160/ce240cf1-f800-0719-4056-b74f000cf9a8.png "タイトル")

アラートのSummaryをクリックすると、アラートの詳細画面が開きます。
アラート詳細画面のAlert Logでは、そのアラートに紐づくEvent[^1]が表示されます。
[^1]: Event,Alert,Incidentの違いについては、[こちらの記事](https://qiita.com/tomof-pd/items/447b5378d9f057355441#%E3%81%95%E3%82%89%E3%81%AB%E4%B8%80%E6%AD%A9%E8%B8%8F%E3%81%BF%E8%BE%BC%E3%82%93%E3%81%A7--%E3%82%A4%E3%83%99%E3%83%B3%E3%83%88%E3%82%A2%E3%83%A9%E3%83%BC%E3%83%88%E3%82%A4%E3%83%B3%E3%82%B7%E3%83%87%E3%83%B3%E3%83%88%E3%82%92%E9%9A%8E%E5%B1%A4%E6%A7%8B%E9%80%A0%E3%81%A7%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B)を参照ください。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2777160/7f16f73f-a5d0-a09c-ba53-d19cb8abece5.png)

## アラートが一過性かどうかは、どのように判断しているのか
同一アラート[^2]において、Trigger Event[^3]を受信した後にResolve Event[^4]を受信する頻度を元に判断しています。
[^2]: 同じ[dedup_key](https://developer.pagerduty.com/docs/ZG9jOjExMDI5NTgx-send-an-alert-event)を持つEventは、同一のアラートに紐づけられます。
[^3]: [event_action](https://developer.pagerduty.com/docs/ZG9jOjExMDI5NTgx-send-an-alert-event) の値が trigger の Event。AlertをTriggerします。
[^4]: [event_action](https://developer.pagerduty.com/docs/ZG9jOjExMDI5NTgx-send-an-alert-event) の値が resolve の Event。AlertをResolveします。

どの程度の頻度で一過性のアラートと判定するかについては公開されていませんが、本記事執筆時点で試す限り、短い時間で何度もTrigger/Resolveを繰り返してもAuto Pauseの対象とはならず、30-60分程度間隔を空けて一晩繰り返すとAuto Pauseの対象になりました。
検証する際の参考にしていただければと思います。

- Auto Pause 再現できず: 30分間に数十回Trigger/Resolveを繰り返す
- Auto Pause 再現: 30-60分毎にTrigger/Resolveを1セットとして、10時間程度繰り返す

## PagerDuty設定ガイド 目次
[検知編](https://qiita.com/ymotomu/items/f9e8de2dfa94394df54c) | **[トリアージ編](https://qiita.com/ymotomu/items/1a40022feabae53e85c9)** | [動員編](https://qiita.com/ymotomu/items/e6d13e5284a62e3a1100) | 解決編 | 学習編
1. [一次対応を自動化する](https://qiita.com/ymotomu/items/1a40022feabae53e85c9)
1. [Alert Groupingでアラートノイズを削減する](https://qiita.com/ymotomu/items/a6665e9ad75bc2a5c600)
1. [Auto Pauseで一過性アラートの通知を削減する] << イマココ
1. [Event Orchestrationでアラートへの対処を自動化する](https://qiita.com/ymotomu/items/0d3ac9a83b4a927aee1c)
1. [診断や復旧作業を自動化する](https://qiita.com/ymotomu/items/f93fc956e0c4e4642516)

## 参考リソース
* [PagerDuty AIOps](https://support.pagerduty.com/main/lang-ja/docs/aiops)
    * [Auto-Pause Incident Notifications](https://support.pagerduty.com/main/lang-ja/docs/auto-pause-incident-notifications)
* [システム障害を未然に防ぐ「インシデント管理・対応」とは](https://www.pagerduty.co.jp/blog/what-is-incident-response)
* [PagerDuty 導入事例](https://www.pagerduty.co.jp/customers/)
* [PagerDuty - 14日間 無料トライアル](https://www.pagerduty.co.jp/lp/free-trial/)