Grafana連携※本書では「Operation Autonomy Support Engine」を「OASE」として記載します。

Exastro Operation Autonomy Support Engine Version 1.5
Exastro developer目次
1. はじめに
1.1 Grafana連携[実習]について

2. シナリオ説明
2.1 本書のシナリオ

3. 事前設定
3.1 Grafana 事前設定
3.2 OASE 事前設定
3.3 監視アダプタ設定

4. 作業実行
4.1
4.2
4.3
4.4
4.5
4.6

ディシジョンテーブルファイルの作成
ディシジョンテーブルファイルのアップロード
テストリクエスト
プロダクション適用
アラート発火アクション実行結果の確認

1. はじめに1.1

Grafana連携【実習】について （1/2）▌本書について本書では Exastro OASE と監視ソフトウェア「Grafana」の連携について解説しています。
OASE はいくつかのソフトウェアと連携が可能ですが、本書では「Grafana アダプタ」および「メールドライバ」との連携をします。
包括的な内容は、OASE の公式マニュアル集である OASE_docs をご参照ください。

▌前提
OASE および以下の設定が完了していること⚫ 「① OASE インストール」～「③ メールの送信確認」については、OASE クイックスタートの「1.1 クイックスタートについて （2/3）」を参照⚫ 「④Grafanaアダプタインストール」については、
環境構築マニュアル -ドライバインストール編- を参照⚫ 「⑤Grafanaのインストール」～「⑥Grafanaの設定」については別途公式ドキュメントなどを参照

Exastro

前提①

OASEインストール②

メールドライバインストール
導③

メールの送信確認④

Grafanaアダプタインストール⑤

Grafanaのインストール⑥

Grafanaの設定

入イ

メージ

Grafana連携（本書）実行可能

4

1.1

Grafana連携【実習】について （2/2）▌Grafana連携メニュー概要
Grafanaとの連携では、下記のメニューを操作します。
それぞれのメニュー機能についての説明は、Exastro OASEの公式マニュアル集である OASE_docs をご参照ください。

カテゴリ：システム

画面名称
アクション設定監視アダプタ

カテゴリ：ルール

画面名称
ディシジョンテーブル

トークン払い出しルール
リクエスト履歴アクション履歴
Exastro5

2. シナリオ説明2.1

本書のシナリオ (1/2)▌シナリオ
下図は本書で実行するシナリオのイメージです。
監視対象のインスタンスが Down することでアラートが発生し、OASE が連動してアクションを実行します。

※実際には、監視対象のインスタンスにある Node Exporter のコンテナを停止させます。
①インスタンスDown(Node Exporter を停止)

②インスタンスDownの検知とアラート発報③アラートリストを収集し、ルールとマッチさせる

メールドライバの実行
監視対象サーバ

ExastroGrafanaサーバ

OASEサーバ

7

2.1

本書のシナリオ (2/2)▌OASEの事前設定～作業実行
アクション設定※メールドライバ【事前設定】

トークンの払い出し

OASEの各種設定

ディシジョンテーブル作成
監視アダプタ※Grafanaアダプタ

ディシジョンテーブルファイル作成 ※エクセル操作【作業実行】

ディシジョンテーブルファイルアップロード

ルールの作成・登録

テストリクエスト
プロダクション適用ルールマッチング
およびアクション実行

実行
アクション実行結果の確認

Exastro8

3. 事前設定

3.1

Grafana 事前設定 (1/4)▌Grafana 事前設定
OASEとGrafanaを連携させるために、Grafanaでは以下の設定をする必要があります。
本書では、「Node Exporter」を利用した設定を行います。

環境によって設定方法が変わりますので、ご注意ください。
Prometheusとの連携

ダッシュボード > クエリの作成

ダッシュボード > アラートの設定

Exastro10

3.1

Grafana 事前設定 (2/4)

Dashboard > Panel > Query▌クエリの設定①

Data sourceに連携したPrometheusを設定する②

Metrics browserに対象サーバを設定する

他設定につきましては、Grafanaの公式ドキュメントをご参照ください。

１2

Exastro11

3.1

Grafana 事前設定 (3/4)

Dashboard > Panel > Alert▌アラートの設定
OASEでは、定義した名前の情報を検知することができます。
監視間隔等と条件設定については、Grafanaの公式ドキュメントをご参照ください。

Exastro12

3.1

Grafana 事前設定 (4/4)▌補足
Grafanaの仕様上、下記の「パネル1」のように1つのパネル内で複数のメトリックスを監視する場合、最初に発生した事象のみが Alerting ステータスになります。つまり、同一パネルで別の事象が新たに発生しても Alerting ステータスは更新されません。(OASEでも取得することはできません)
従って、複数のイベントでルールをマッチングしたい場合には、下記の「パネル2」のように監視対象単位でパネルを分ける必要があります。

パネル2
パネル１

Exastro13

3.2

OASE 事前設定▌事前設定
ルールマッチングした場合メール通知するために以下の設定が必要となります。
Zabbix 実習編同様、事前設定が必要となりますので Exastro OASE Zabbix連携（実習）5.事前設定 を参照し以下の設定を行ってください。
アクション設定

メールドライバの追加

トークンの払い出し※テストリクエスト送信時に利用

ディシジョンテーブルファイルの作成

POINT
事前に環境構築マニュアル -ドライバインス
トール編-を参照のうえメールドライバをインストールしてください。

Exastro14

3.3

監視アダプタ設定 (1/3)

システム > 監視アダプタ▌監視先の追加
Grafanaアダプタを追加します。
① 監視先の追加を押下する② Grafana Adapter ver1を押下する

１

2※ドライバをインストールしていない場合、上記の画面は表示されません。
Exastro15

3.3

監視アダプタ設定 (2/3)

システム > 監視用アダプタ▌監視アダプタ設定① Grafana Adapter ver1の必要な情報を入力する

1

Exastro

項目

設定値

名前

(任意の文字列)

URI

http://xx.xxx.xx.xxx:xxx/api/alerts(アラートAPIのエンドポイント)

ユーザ名

Grafanaのユーザ名

パスワード

Grafanaのパスワード

ディシジョンテーブル名選
択

grafana_adapter(イベントリクエストの実施対象となるディシジョンテーブル名をプルダウンで選択する)

16

3.3

監視アダプタ設定 (3/3)▌監視用アダプタ設定#アラート情報[{"id": 1,インスタンス情報"dashboardId": 1,"dashboardUid": "ycVfzCx7z","dashboardSlug": "oase-collaboration","panelId": 2,"name": "Node Exporter Up",
アラート名
"state": "alerting",
イベント"newStateDate": "2022-02-03T06:16:41Z",
発生日時"evalDate": "0001-01-01T00:00:00Z","evalData": {"evalMatches": [{"metric": "node-exporter","tags": {"__name__": "up","container": "node-exporter","host": "oase-learn-monitoring","instance": "node-exporter:9100","job": "node-exporter"},"value": 0}]
Exastro<突合情報>
突合情報には、JSONの文法に従い記述する必要があります。
イベント発生日時: アラート更新日時にあたる情報を指定。
インスタンス情報: アラートをユニークに識別可能な値を指定。
条件: ルールマッチングさせたい項目を指定。
(設定値は環境によって異なる可能性があるのでご注意ください)17

4. 作業実行4.1

ディシジョンテーブルファイル作成

ルール > ディシジョンテーブル

ディシジョンテーブルファイル作成
ディシジョンテーブルファイル
アップロード▌ディシジョンテーブルファイルのダウンロードおよび作成

テストリクエスト① 事前設定で作成したディシジョンテーブルの「ダウンロードボタン」を押下しプロダクション適用

ディシジョンテーブルファイルをダウンロードする② 以下の内容を記述作成する(詳細についてはExastro OASE_docsをご参照ください。)

アラート発火アクション実行結果の確認

ルール説明

Grafana連携

リトライ間隔1

アラート

Node Exporter Up

リトライ回数1

ルール名

Grafana_adapter

抑止間隔

1

発生事象

インスタンスダウン

抑止回数

1

対処概要

アラート通知条件回数

Xアクション種別

mail(ver1)

条件期間

X

アクションパラメータ情報

MAIL_NAME=（メールドライバ名),MAIL_TO=,MAIL_CC=,MAIL_BCC=,MAIL_TEMPLATE=(メールテンプレート名

大グループ

X

優先順位

X

小グループ

X

優先順位

X

承認パラメータ情報
Exastro

X

19

4.2

ディシジョンテーブルファイルのアップロード

ルール > ルール

ディシジョンテーブルファイル作成
ディシジョンテーブルファイル
アップロード▌ディシジョンテーブルのアップロード
作成したファイルを選択しアップロードします。

テストリクエスト

プロダクション適用① 「ファイル選択」を押下し作成したディシジョンテーブルファイルを選択する② 「アップロード」を押下する

アラート発火③ ステージング適用完了になっていることを確認する

アクション実行結果の確認

2

1

3

Exastro20

4.3

テストリクエスト

ルール > ルール

ディシジョンテーブルファイル作成
ディシジョンテーブルファイル
アップロード▌登録したルールのテスト① 「テストリクエスト」を押下する

テストリクエスト② ディシジョンテーブルタブを押下し作成したディシジョンテーブルをプロダクション適用

プルダウン選択する③ 設定タブを押下し作成したルールと合致する値を入力する

アラート発火④ 実行ボタンを押下しルールに合致したことを確認する

アクション実行結果の確認⑤ 閉じるボタンを押下しステータスを検証完了にする

３アラート

１

２
4
Exastro

以下のように記述
Node Exporter Up５
21

4.4

プロダクション適用

ルール > ルール

ディシジョンテーブルファイル作成▌検証完了したルールを本番環境で使用できるようにする

ディシジョンテーブルファイル
アップロードテストリクエスト① チェックマークを押下しプロダクション適用を開始する② 作業ステータスがプロダクション適用完了になっていることを確認する

プロダクション適用

アラート発火アクション実行結果の確認

１

２

Exastro22

4.5

アラート発火 (1/2)▌node-exporterの起動と確認① 「node-exporter」を起動する# docker-compose up -d node-exporter
Starting node-exporter...done② 「node-exporter」がUpになっていることを確認する# docker-compose psName
CommandStatePorts---------------------------------------------------------------------------------------------------node-exporter/bin/node_exporter
Up
0.0.0.0:9100->9100/tcp,:::9100->9100/tcp

Exastroディシジョンテーブルファイル作成
ディシジョンテーブルファイル
アップロードテストリクエスト

プロダクション適用

アラート発火アクション実行結果の確認

23

4.5

アラート発火 (2/2)▌node-exporterを停止(アラート発火)③ 「node-exporter」を停止する# docker-compose stop node-exporter
Stopping node-exporter...done④ Exit2になっていることを確認する# docker-compose psName
CommandStatePorts---------------------------------------------------------------------------------------------------node-exporter/bin/node_exporter
Exit2

Exastroディシジョンテーブルファイル作成
ディシジョンテーブルファイル
アップロードテストリクエスト

プロダクション適用

アラート発火アクション実行結果の確認

24

4.6

アクション実行結果の確認▌各種画面を確認する
OASEの「リクエスト履歴」と「アクション履歴」
画面に該当のディシジョンテーブル名が上がっていることを確認します。
OASEではstatusがAlertingになったタイミングでディシジョンテーブルファイル作成

Alerting

ディシジョンテーブルファイル
アップロードテストリクエスト

プロダクション適用

ルールを評価し、履歴に反映します
アラート発火アクション実行結果の確認

Exastro25