監視システムからの膨大なアラートを自動的に集約/判断し、インシデント管理、ジョブ管理に自動連携する方法

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開インシデント管理
サービスオペレーションのプロセスの１つ

ITIL Ver3
Service Strategy

Service Design
Service Operation
Service
Operation
Continual Service Improvement

 イベント管理 インシデント管理
 問題管理 要求実現 アクセス管理IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

2
公開インシデント管理とは
目 的

インシデントにより中断されたITサービスを早急に復旧させ、ビジネスの負のインパクトを最小限にすること

障害発生

運用監視ツール

インシデント管理ツール

早急な復旧作業

インシデント管理のプロセス

１ 検知と記録
２ 分類と初期サポート
３ 調査と診断４ 解決と復旧
５ インシデントのクローズプロセスとしてはシンプルではありますが・・・・確実に行うことは大変です。
（ITサービスの運用を円滑に回す為の重要なポイントとなる為、しっかりと行う必要があります。）

その為には、専用のツールを導入することも解決の１つとなります。
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

3
公開

実際に現場は・・・・
障害発生
XXXXXXX株式会社
XXXXXXX株式会社 障害対応管理表（20XX年X月度：XX/XX以降）
障害対応管理表（20XX年X月度：XX/XX以降）
イベントID
イベントID
イベントID
件名
件名
件名

発生日
発生日
発生日

4621
4621
4621

ZBX

メールシステム2017/7/21
2017/7/21
2017/7/21
00:22:39
00:22:39
00:22:39
DBパフォーマンスエラー
DBパフォーマンスエラー
DBパフォーマンスエラー

完了日
完了日
完了日

影響度
影響度
影響度

発生
発生
発生
ホスト名
ホスト名
ホスト名

IPアドレスIPアドレスIPアドレス

内容概略
内容概略
内容概略

■事象：アラートメールを受信■事象：アラートメールを受信■事象：アラートメールを受信
パフォーマンスしきい値
MOM データベースの空き領域
データベースの空き領域 --- エラーしきい値
エラーしきい値
パフォーマンスしきい値
パフォーマンスしきい値 ::: MOM
MOM
データベースの空き領域
エラーしきい値

Db
Free SpaceSpace Available:
Available: exmommng
exmommng value
value === 1919Db
Db %%% Free
Free
Space
Available:
exmommngvalue
19
2017/7/21
重度の障害
ISZ180KA
192.168.100.100■原因：MOM
DBの空き領域が少なくなっていることによるもの。
2017/7/21
2017/7/21 重度の障害
重度の障害 ISZ180KA
ISZ180KA 192.168.100.100
192.168.100.100 ■原因：MOM■原因：MOM DBの空き領域が少なくなっていることによるもの。
DBの空き領域が少なくなっていることによるもの。
■対応：メーカーとしては、監視ソフトに関連するアラートのため、対応不要として終了した。
■対応：メーカーとしては、監視ソフトに関連するアラートのため、対応不要として終了した。
■対応：メーカーとしては、監視ソフトに関連するアラートのため、対応不要として終了した。

Excel
Excel

担当者
担当者
担当者

ロケーション
ロケーション
ロケーション■補足：最終的にはMOMのデータベースの一つであるonepoint DBの容量枯渇が発生し、1/12
DBの容量枯渇が発生し、1/12■補足：最終的にはMOMのデータベースの一つであるone■補足：最終的にはMOMのデータベースの一つであるone point
SQLサービス停止、1/13
MOMのサービス停止が発生。
SQLサービス停止、1/13
SQLサービス停止、1/13 MOMのサービス停止が発生。
MOMのサービス停止が発生。

XXXXXXX株式会社 障害対応管理表（20XX年X月度：XX/XX以降）■事象:アラートメールを受信(下記アラートによるディスク障害)■事象:アラートメールを受信■事象:アラートメールを受信 (下記アラートによるディスク障害)
Event
Name:
Physical Drive
Drive Status
Status Change
Change (3046)(3046)
Event
Event Name:
Name: PhysicalPhysical
Drive

状況概略
状況概略
状況概略

1/27 23：12
23：12 アラートメールを検知。お客様へ報告し、手順書指示によりメーカへ
アラートメールを検知。お客様へ報告し、手順書指示によりメーカへ
1/27
1/27
23：12
アラートメールを検知。お客様へ報告し、手順書指示によりメーカへ
エスカレート Symsntecケース番号：05915234
Symsntecケース番号：05915234
エスカレートエスカレートSymsntecケース番号：05915234

1/27 3:43
3:43 --- 19:37
19:37 Symantec社とのやりとりの後、ログを提出
Symantec社とのやりとりの後、ログを提出
1/27
1/27
3:43
19:37
Symantec社とのやりとりの後、ログを提出
John DC／Rac#23
DC／Rac#23 1/28
1/28 12:51
12:51 お客様へエラーの解析結果とエラーの回避方法を報告。お客様様よりお客様へエラーの解析結果とエラーの回避方法を報告。お客様様より
John
John
DC／Rac#23
1/28
12:51
お客様へエラーの解析結果とエラーの回避方法を報告。お客様様より対応についてはセンターＳＥと調整後に対応するため、ケースを一度ホールドしてもら対応についてはセンターＳＥと調整後に対応するため、ケースを一度ホールドしてもら対応についてはセンターＳＥと調整後に対応するため、ケースを一度ホールドしてもら

ステータス
ステータス
ステータス

いたいとの連絡受信。対応後確認
いたいとの連絡受信。対応後確認
クローズ
クローズ
2/18 23:52
23:52 アラート検知。
アラート検知。
2/18
2/190:34 お客様にメール報告
お客様にメール報告
2/190:34

再発
再発
再発-■RPC遅延-■RPC遅延-■RPC遅延2013/11/24
2013/11/24
2013/11/24

AGCEXSVR12AGCEXSVR12AGCEXSVR12
完了 2013/12/1
2013/12/1
完了
完了
2013/12/1
AGCEXSVR14AGCEXSVR14AGCEXSVR14
2013/12/8
2013/12/8
AGCEXSVR1AGCEXSVR1-■RPC遅延-■RPC遅延2013/11/24
2013/11/24
再発URL:
https://isz180bkbb:2381/Eventoriginator: isz180bkbbEventisz180bkbbEvent Severity:
Severity: Critical
Critical
0:40- 8:55
8:55
AGCEXSVR12URL:
0:40AGCEXSVR12
URL: https://isz180bkbb:2381/Event
https://isz180bkbb:2381/Event originator:■事象：アラートメールを受信
1/27
23：12 アラートメールを検知。お客様へ報告し、手順書指示によりメーカへ-■RPC遅延John
Event
received:
21-Jan-2014, 20:27:41Event
20:27:41Event description:
description: PhysicalPhysical Drive
Drive Status
Status Change.
Change. John
一旦、手順書より担当の判断で非監視対象とし、お客様へクローズの報告を2013/12/1
Event
一旦、手順書より担当の判断で非監視対象とし、お客様へクローズの報告を2013/12/1
Event received:
received: 21-Jan-2014,
21-Jan-2014,
パフォーマンスしきい値: MOM
エスカレートSymsntecケース番号：05915234
2013/11/24
This
trap
signifies thatthat thetheagentデータベースの空き領域
has detected
detected aa changechange- エラーしきい値
the status
status ofof aa drive
drive array
array
行ったがその後、お客様から調査依頼を受ける。
AGCEXSVR14
This
agent
has
inin the
行ったがその後、お客様から調査依頼を受ける。
AGCEXSVR14
This trap
trap signifies
signifiesthatthe2017/7/23
軽度の障害
isz180bkbb
192.168.100.110
DC／Rac#33 1/27 3:43 - 19:37 Symantec社とのやりとりの後、ログを提出
完了 AGCEXSVR12
2017/7/23
DC／Rac#33
完了
2017/7/23 軽度の障害
軽度の障害 isz180bkbb
isz180bkbb 192.168.100.110
192.168.100.110 Db % Free Space Available: exmommng value = 19
NOC
physicaldrive. The
The variablevariable cpaDaPhyDrvStatus
cpaDaPhyDrvStatus indicatesindicates thethe current
current physicalphysical drive
drive
10:09 RCへ連絡
RCへ連絡
2013/12/8
NOC
physical
10:09
2013/12/8
physical drive.
drive.
The
variable
2017/7/21 重度の障害 ISZ180KA 192.168.100.100 ■原因：MOMJohn DC／Rac#23 1/28
完了 2013/12/1
DBの空き領域が少なくなっていることによるもの。
12:51 お客様へエラーの解析結果とエラーの回避方法を報告。お客様様よりSmith
status. User
physical drive
drive status
status isis failed(3)failed(3) oror predictiveFailure(4),predictiveFailure(4), replace
replace Smith
11:32 お客様に調査再開を通知
お客様に調査再開を通知
AGCEXSVR1
status.
11:32
AGCEXSVR1
User Action:
Action: IfIf thethe physical
00:22:39■対応：メーカーとしては、監視ソフトに関連するアラートのため、対応不要として終了した。
対応についてはセンターＳＥと調整後に対応するため、ケースを一度ホールドしてもら
AGCEXSVR14
thedrive.
2/20
thedrive.
2/20
DBパフォーマンスエラー 障害対応管理表（20XX年X月度：XX/XX以降）
XXXXXXX株式会社■補足：最終的にはMOMのデータベースの一つであるonepoint DBの容量枯渇が発生し、1/12
いたいとの連絡受信。対応後確認
2013/12/8■原因:ディスクPort 2I2I Box
Bya の障害の障害
14:10 RCとのやり取りの後、RCにログを提出
RCとのやり取りの後、RCにログを提出■原因:ディスクPort
14:10
Box 11 Bya
イベントID
発生
イベントID
発生
物理ドライブ変更エラー
物理ドライブ変更エラー
発生日
完了日
影響度
IPアドレス
内容概略
担当者
状況概略
ステータス AGCEXSVR1
再発
発生日
完了日
影響度
IPアドレス
担当者
状況概略
ステータス
再発
SQLサービス停止、1/13
MOMのサービス停止が発生。
クローズ■対応:ディスクPort 2I2I Box
Bya 交換交換 内容概略
2/24 10:10-18:04
10:10-18:04 メーカー対応完了報告
メーカー対応完了報告
件名
ホスト名
ロケーション 2/24
■対応:ディスクPort
11 ByaBox
イベントID
件名

46791
46791
46791
4621

発生日

必要項目抽出

アラートメール受信作業案件追加
必要項目転記

影響度

発生

ホスト名

IPアドレス

件名発生日

2017/7/21
2017/7/21
4738
46791
00:22:39
2017/7/30
00:22:394621
2017/7/22
DBパフォーマンスエラー 10:47:15
10:47:15
DBパフォーマンスエラー
2017/7/21
00:22:39
DBパフォーマンスエラー
IIS/Webサーバ利用不可
物理ドライブ変更エラー

46791
46791

46791

2017/7/22
2017/7/22
10:47:15
10:47:15
2017/7/22
10:47:15

物理ドライブ変更エラー
物理ドライブ変更エラー

物理ドライブ変更エラー

担当者

ホスト名

XXXXXXX株式会社 障害対応管理表（20XX年X月度：XX/XX以降）
イベントID
4621
4621

内容概略

ロケーション

状況概略

ステータス

2017/7/22
2017/7/22
2017/7/22
10:47:15
10:47:15
10:47:15
2017/7/21

件名メール内容確認

完了日

ロケーション■事象:アラートメールを受信(下記アラートによるディスク障害)
2/18-■RPC遅延■事象：アラートメールを受信
1/27 23:52
23：12アラート検知。
アラートメールを検知。お客様へ報告し、手順書指示によりメーカへ-■RPC遅延■事象:■事象：アラートメールを受信
1/27
23：12
アラートメールを検知。お客様へ報告し、手順書指示によりメーカへ-■RPC遅延■事象:下記アラートメール受信(アラート:
IIS 8 Web サーバーは利用できません)
■事象:
Event
Change (3046) -- エラーしきい値
2/190:34
2013/11/24
発生
パフォーマンスしきい値
MOMStatus
データベースの空き領域
エラーしきい値
エスカレートお客様にメール報告
Symsntecケース番号：05915234
2013/11/24
パフォーマンスしきい値:: MOM
データベースの空き領域
エスカレートSymsntecケース番号：05915234
2013/11/24
ソース:Name:
IIS WebPhysicalServerDrive
完了日
影響度
IPアドレス
内容概略
担当者
状況概略
ステータス
再発
ホスト名
ロケーション 1/27
URL:
originator:
Severity: Critical
0:40AGCEXSVR12
Db %%https://isz180bkbb:2381/Event
Free SpaceSpace Available:
Available: exmommng
exmommng
value ==isz180bkbbEvent
1/27 8:55
3:43 -- 19:37
19:37 Symantec社とのやりとりの後、ログを提出
Symantec社とのやりとりの後、ログを提出
AGCEXSVR12
パス:
T180AVZPTM2.agc.jp
Db
Free
value
1919
1/27
3:43
AGCEXSVR12AGCEXSVR11 192.168.100.102 ■事象：アラートメールを受信
08:05
アラートメール検知
1/27
23：12
アラートメールを検知。お客様へ報告し、手順書指示によりメーカへ 完了 -■RPC遅延
John
Event
received:DBの空き領域が少なくなっていることによるもの。
21-Jan-2014,
20:27:41Event description: Physical Drive Status Change. John
一旦、手順書より担当の判断で非監視対象とし、お客様へクローズの報告を2013/12/1
2017/7/21 重度の障害
重度の障害 ISZ180KA
ISZ180KA 192.168.100.100
192.168.100.100 ■原因：MOMJohn DC／Rac#23
DC／Rac#23 1/28
■原因：MOM
DBの空き領域が少なくなっていることによるもの。
1/28
12:51
お客様へエラーの解析結果とエラーの回避方法を報告。お客様様より
2013/12/1
イベント日時:2014/02/20
18:16:07
2017/7/21
完了 2013/12/1
12:51
お客様へエラーの解析結果とエラーの回避方法を報告。お客様様より
AGCEXSVR12 192.168.100.103 パフォーマンスしきい値
08:31
手順書よりログイン確認：正常: MOM- エラーしきい値
エスカレートSymsntecケース番号：05915234
2013/11/24
This
trap signifiesT180AVZPTM2.agc.jp
that theagentデータベースの空き領域
has detecteda changein the status of a drive array
行ったがその後、お客様から調査依頼を受ける。
AGCEXSVR14■対応：メーカーとしては、監視ソフトに関連するアラートのため、対応不要として終了した。
対応についてはセンターＳＥと調整後に対応するため、ケースを一度ホールドしてもら
AGCEXSVR14John DC／Rac#13
完了
アラートの説明:の IIS 8 Web
サーバーは利用できません。
■対応：メーカーとしては、監視ソフトに関連するアラートのため、対応不要として終了した。
2017/7/23 致命的な障害
軽度の障害 AGCEXSVR13
isz180bkbb 192.168.100.110
DC／Rac#33 対応についてはセンターＳＥと調整後に対応するため、ケースを一度ホールドしてもら
完了 AGCEXSVR14
192.168.100.106 physical
09:07
お客様へ障害連絡メール送付
Db
%
Free
Space
Available:
exmommng
value
=
19
1/27
3:43
19:37
Symantec社とのやりとりの後、ログを提出
AGCEXSVR12
NOC
drive. The variable cpaDaPhyDrvStatus indicatescurrent physical drive
10:09
RCへ連絡
2013/12/8■補足：最終的にはMOMのデータベースの一つであるonepointtheDBの容量枯渇が発生し、1/12
DBの容量枯渇が発生し、1/12
いたいとの連絡受信。対応後確認
2013/12/8■原因：調査中■補足：最終的にはMOMのデータベースの一つであるone
point
いたいとの連絡受信。対応後確認
2013/12/8
192.168.100.109 status.
2017/7/21 重度の障害 AGCEXSVR14
ISZ180KA 192.168.100.100
John DC／Rac#23 対応中
完了 2013/12/1■原因：MOM
DBの空き領域が少なくなっていることによるもの。
1/28
12:51
お客様へエラーの解析結果とエラーの回避方法を報告。お客様様より
Smith
User
Action:Ifthephysicaldrivestatusisfailed(3)orpredictiveFailure(4),replace
11:32
お客様に調査再開を通知
AGCEXSVR1
SQLサービス停止、1/13
MOMのサービス停止が発生。
クローズ
AGCEXSVR1■対応：未定SQLサービス停止、1/13
MOMのサービス停止が発生。
クローズ
AGCEXSVR1■対応：メーカーとしては、監視ソフトに関連するアラートのため、対応不要として終了した。
対応についてはセンターＳＥと調整後に対応するため、ケースを一度ホールドしてもら
AGCEXSVR14
thedrive.
2/20■原因:■事象:アラートメールを受信(下記アラートによるディスク障害)
2/18 23:52
23:52 アラート検知。
アラート検知。
-■RPC遅延■原因:ディスクPort
2I Box 1(下記アラートによるディスク障害)
Bya の障害■原因:■事象:アラートメールを受信
2/18-■RPC遅延■補足：最終的にはMOMのデータベースの一つであるone
いたいとの連絡受信。対応後確認
2013/12/8■原因:ディスクPort
Box 11Status
Bya 交換の障害
14:10 RCとのやり取りの後、RCにログを提出■対応:■対応:ディスクPort
Box
Bya
Event
Name: PhysicalPhysical2I2IDrive
Drive
StatusChange (3046)(3046) point DBの容量枯渇が発生し、1/12
2/190:34
お客様にメール報告
2013/11/24
■対応:
Event
Name:
Change2/190:34
お客様にメール報告
2013/11/24
SQLサービス停止、1/13
MOMのサービス停止が発生。
クローズ
AGCEXSVR1■対応:ディスクPort
2I Box
1 Bya 交換originator:
2/24
10:10-18:04 メーカー対応完了報告
URL: https://isz180bkbb:2381/Event
https://isz180bkbb:2381/Eventoriginator: isz180bkbbEventisz180bkbbEvent Severity:
Severity: Critical
Critical
0:40- 8:55
8:55
AGCEXSVR12URL:
0:40AGCEXSVR12■事象:アラートメールを受信
2/18
23:52 アラート検知。
-■RPC遅延■事象:received:
John
Event
received: 21-Jan-2014,
21-Jan-2014,(下記アラートによるディスク障害)
20:27:41Event description:
description: PhysicalPhysical Drive
Drive Status
Status Change.
Change. John
一旦、手順書より担当の判断で非監視対象とし、お客様へクローズの報告を2013/12/1
Event
20:27:41Event
一旦、手順書より担当の判断で非監視対象とし、お客様へクローズの報告を2013/12/1
Event
Name:
PhysicalDrive
StatushasChange(3046)
2/190:34
お客様にメール報告
2013/11/24
This trap
trap
signifiesthat thethe agentagent
detectedchange inin thethe status
status ofof aa drive
drive array
array
行ったがその後、お客様から調査依頼を受ける。
AGCEXSVR14
This
signifiesthathas detectedaa change
行ったがその後、お客様から調査依頼を受ける。
AGCEXSVR14
2017/7/23 軽度の障害
軽度の障害 isz180bkbb
isz180bkbb 192.168.100.110
192.168.100.110 URL: https://isz180bkbb:2381/Event originator: isz180bkbbEvent Severity: Critical
DC／Rac#33 0:40- 8:55
完了 AGCEXSVR12
2017/7/23
DC／Rac#33
完了
NOC
physical drive.
drive. The
The variablevariable cpaDaPhyDrvStatus
cpaDaPhyDrvStatus indicatesindicates thethe current
current physicalphysical drive
drive
10:09 RCへ連絡
RCへ連絡
2013/12/8
NOC
physical
10:09
2013/12/8
John
Event
received:
21-Jan-2014,
20:27:41Eventdescription:
PhysicalDrive
StatusChange.
一旦、手順書より担当の判断で非監視対象とし、お客様へクローズの報告を2013/12/1
Smith
status. User
User Action:
Action: IfIf thethe physicalphysical drive
drive status
status isis failed(3)failed(3) oror predictiveFailure(4),predictiveFailure(4), replace
replace Smith
11:32 お客様に調査再開を通知
お客様に調査再開を通知
AGCEXSVR1
status.
11:32
AGCEXSVR1
This
trap
signifies
that
the
agent
has
detectedachangeinthestatus
of
a
drive
array
行ったがその後、お客様から調査依頼を受ける。
AGCEXSVR14
the drive.
drive.
2/20
2017/7/23 軽度の障害 isz180bkbb 192.168.100.110 the
DC／Rac#33 2/20
完了
NOC
physicaldrive. The 2Ivariableindicates the current physical drive
10:09
RCへ連絡
2013/12/8■原因:ディスクPort
Box 11cpaDaPhyDrvStatus
Bya の障害の障害
14:10 RCとのやり取りの後、RCにログを提出
RCとのやり取りの後、RCにログを提出■原因:ディスクPort
2I Box
Bya
14:10

手入力

↑
Copy & TypeSmith
status.
User Action:2IIf Box
the physical■対応:ディスクPort
Bya 交換交換drive status is failed(3) or predictiveFailure(4), replace■対応:ディスクPort
2I Box 11 Bya
thedrive.
■原因:
■事象:
■事象:
■原因:ディスクPort
2I Box 1 Bya の障害
■対応:

11:32
お客様に調査再開を通知
2/24 10:10-18:04
10:10-18:04 メーカー対応完了報告
メーカー対応完了報告
2/24
2/20

■対応:ディスクPort 2I Box 1 Bya 交換

2/24 10:10-18:04 メーカー対応完了報告

担当通知

AGCEXSVR1

14:10 RCとのやり取りの後、RCにログを提出

■事象:

■原因:
■原因:
■対応:
■対応:
■原因:
■対応:

障害対応開始【課 題】

メール電文を見て障害対応の必要性を判断メール電文からチケットに必要な項目を転記
チケット起票を優先すると対応着手が遅れる
障害対応の優先で対応状況がわからない
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

→
→
→
→

遅延
記述ミス
SLA違反へ
管理に支障
4
公開

運用業務の自動化で期待できる効果
判断
遅延
作業

1.業務の効率化
2.人的ミス削減

ミス

障害通知

3.運用プロセスの定着

内容確認
手順確認
障害対応
復旧確認

ユーザ#1
ユーザ#2
新規監視

リソース増員4.サービス拡大に対応

増員

IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

5
公開インシデント管理システムを使うと・・・・

障害発生

手順書情報
担当者へチケット通知

自動処理
ZBX

インシデント管理
システム

・受信
・情報抽出
・チケット登録
・担当者通知抽出不要

チケット登録済み
転記不要

インシデント管理システム（SHERPA-SM）

障害対応開始【効果】
全ての通知を自動取込み必要な項目を自動転記
該当担当者通知
全ての進捗状況の把握（対応漏れが無くなる）（起票ミス／記載漏れ無し）（譲り合っての対応遅延防止）（運用品質の向上）
6

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開SHERPA-SM アラートメール自動取込み機能
障害発生

インシデント
自動登録

運用監視ツール

アラート【Zabbixからの通知メールサンプル】
名前：アラートメール送信
デフォルトの件名：【障害】{TRIGGER.NAME}:{ITEM.LASTVALUE}: zabbix
デフォルトのメッセージ：
Original event ID: {EVENT.ID}
障害発生時刻：{DATE} {TIME}
ホスト名：{HOST.HOST}
IPアドレス：{HOST.IP}
設置場所：{INVENTORY.LOCATION}
深刻度：{TRIGGER.SEVERITY}
障害内容：{TRIGGER.NAME}
最新値：{ITEM.LASTVALUE}

必要な情報を自動取り込み

フィールドも増やせますZabbix

メール原文

記入漏れや情報不足などのミスを防止
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

7
公開SHERPA-SM その他機能
ガントチャート

マイページ
SHERPA-SM

A
全体

担当者B 担当チケット（12）# プロジェクト

B

1
2
3
4
5

C

名称

タスク状況

インシデントハードウエア
定期作業
Ver UP
インシデント
ソフトウエア・・・・・・・・・・・・・・・・

自分の担当分が直ぐにわかり
SHERPA-SM Login
対応漏れが無くなる。

親チケット #1

担当者

B

優先度表示

子チケット

#1

子チケット

#2

子チケット

#3

(終了100%）
(82%）
(38%）

親チケットで全体管理。小チケットで関連対応もリアルタイムに状況把握。
対応履歴の検索No

トラッカー ステータス 優先度

題名

211

APP障害

新規

緊急

Windows node

212

APP障害

担当

緊急

APP ID=2345

226

ハード障害

新規

高め

ファシリティID

227

ハード障害

新規

高め

ファシリティID

231

ハード障害

担当

普通

定期メンテンス

色分
け
表示

234 ハード障害
担当
普通
リンクダウン
障害対応に対する緊急度を把握した上で作業に取り掛かることが出来る。

検索

対応履歴を共有することで、障害復旧時間
8を短縮や対応品質の均一化が出来る

IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開監視ツールとインシデント管理を自動連携
監視ツールとインシデント管理を自動連携するとこのような状況になることがあります。
大量アラートインシデント
管理ツール

運用監視ツール
インシデント
自動登録

選別作業

選別作業

大量チケット重複→クローズ

同一原因による沢山のアラートが大量のインシデントとして登録される。
登録された不要なインシデントを確認後チケットクロース処理を行う。
担当外の障害にも拘らずアラートが飛んでくる。
オペレータの作業増大
人手による運用１次オペレーション作業の増加は、障害復旧作業開始までの遅延や運用１次オペレータの作業ミスを誘発します。
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開9

インシデント管理をうまく回すには・・・・
インシデント管理にうまく自動連係するには・・・・・
 インシデント登録は必要モノ以外は登録しない。
 インシデントはオペレータによる処理作業が必要なもの絞る。

具体的にはどうすれば良いのか？？？？？？？
 インシデント管理に登録する前に不要なものはフィルタすれば良い
条件マッチ

Filter

ZBX

アラート

インシデント
管理ツール
インシデント
自動登録

IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

フィルター後チケット登録される

10
公開

SHERPA-IRは1次オペレータ作業の自動化を支援
障害発生

インシデントインシデント
管理ツール
管理ツール

運用監視ツール
インシデント
自動登録

１次オペレータの人手による作業☑ チケット内容確認と処理判断☑ 重複等不要チケットのクロース処理☑ 該当手順書の検索☑ 後続ツールへの連携処理☑ 該当担当者へ通知☑ 障害対応作業

障害対応の遅延
ミスの発生
サービス品質低下

条件マッチ

Filter障害発生

インシデントインシデント
管理ツール
管理ツール

運用監視ツール
インシデント
自動登録

自動化で作業削減
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

残った人手作業公開11

イベント制御ツール＝

SHERPA－IR

SHERPA-IR機能
都度処理
通知先
重複処理
手順書
復旧処理
フォーマット

変

重要度

換

☑

コマンド

☑

☑

メンテナンス
対 応

インプット

重要度＝普通重要度＝低い繰延処理

複合処理

重要度＝高い処理制御

AP連携

ジョブ管理ツール
ログ管理ツール

アウトプットIN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

インシデント管理ツール

12
公開アラート取込み（フォーマット変換）／

抽出処理

フィールドに設定したい値を入力します。今回の例では、メールテンプレートの内容をフィールドに設定し、メールの件名からパターンを洗い出し正規表現で設定。

SHERPA-IR

運用監視ツール

抽出
抽出セット名条件に対する正規表現

メールヘッダー

抽出CF名

アラートメール受信
メール本文

取込
抽出

抽出情報タイプ１
XXXXXXXXXXXXXXXXXXXXXXX

大小無視

○ ▼

複数行可

✗ ▼

抽出方法

お客様名

標準

▼

Alias：（.*)

ホスト

標準

▼

Host：（.*)

トリガー名

標準

▼

Notification Type：（.*)

通知区分

標準

▼

State：（.*)

手順書URL

標準

▼

対象サーバ

標準

▼

Address：（.*)

エラー内容

標準

▼

Service：（.*)

障害レベル

標準

▼

IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

13
公開

設定：更新処理

どのようなアラートが来たら？

アラート内容を一意に判定する為に、事前に設定した“４つのキー項目”
文字列や＊等を設定します。
SHERPA-IR
更新
新しい更新情報
お客様名

Alias：（.*)

ホスト

Host：（.*)

トリガー名

Notification Type：（.*)

通知区分

State：（.*)

上記４つのキーが揃ったら・・・・
設定作業

例） プロジェクト名称
 ホスト
 トリガー名：プロブレムリカバーの通知
区分“Ping監視、http監視”等を設定
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

14
公開

設定：更新情報設定

どのような処理をさせるか？

処理したい作業を記述します。
コマンド登録（複数可）や、付加情報として手順書のURLや通知先を登録。

処理情報
処理次ステータス
処理時実行コマンド

新規)▼

Rake filter_issue:make_back_issue template

手順書URL
非処理時ステータス☜ 処理したいコマンド登録（複数可）☜ 手順書URL情報を通知▼☜ 非処理時のコマンド登録（複数可）

非処理時実行コマンド

設定作業

どのような処理をするか設定
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

手順書はSHERPA-SMのWiki・文書にUPするとURLが表示され利用出来ます15
公開

設定：更新条件設定

どのようなフィルタをするか？

何にどんな処理をさせるのかの設定は終わったが、同一の複数アラートに対して処理タイプを選び集約させます。

処理条件▼

処理フィルタ名▼

処理タイプ
処理(発生回数)
イベントタイプ

都度
重複
障害
復旧
繰延

▼

☜

処理時間(分)対象チケット

初回

▼

追越し

NG

▼

処理タイプ（フィルター）を設定
 都度：付加情報を付けて都度通知
 重複：指定時間帯の同一アラート抑制
 復旧：復旧報によるアラート抑制 繰延：期間繰延アラート抑制
設定作業

どのようなフィルタをするか設定
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

16
公開SHERPA-IRの処理の流れとアラートフィルターの様子
以下の様な流れで、複数のアラートをインシデントとして登録するチケットに集約していきます。

抽出処理

更新処理

分類

集約

アラート発生運用監視ツール

インシデント
管理ツール

不要アラート破 棄

アラートをキー情報で分別※通知が重複しているかは見ていない

４つの処理タイプを使ってチケットを集約し登録します。

17
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開SHERPA-IRの機能：追加情報登録
アラートに対する情報を追加してインシデント登録が出来ます。
判
断
付加情報

ハードウエア障害

Filter

担当者 エスカレーションB社
担当者A
担当チケット（1）インシデントインシデント
管理ツール

運用監視ツール# プロジェクト
1
２

インシデント判断→ソフトウエア障害

Rules
ソフトウエア障害

名称
ハードウエアソフトウエアエスカレーション
マニュアル
HWマニュアル

付加情報
優先度：緊急担当者：開発会社 B社
手順書：エスカレーションマニュアル

担当者

A

付加情報によるメリット
開発会社
B社
１．手順書情報：インシデントに対応する手順書URLが付加されるので直ぐに障害対応へ
２．担当者情報：障害の担当者やエスカレーション先に自動通知。障害対応見落とし削減
18
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開SHERPA-IRの機能：重複処理（フィルタリング）
同一のアラートが指定した時間帯に 指定回数通知された場合に、インシデント
登録を行います。
重複処理

Filter

運用監視ツール

重複
アラート

制御

インシデントインシデント
管理ツール
管理ツール

TIMER
制限時間超え1通のみ通知重複処理対応メリット
１．アラート内容確認から解放

２．重要アラート見落とし削減

３．ミスの軽減

４．サービスレベルの均一化
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

19
公開SHERPA-IRの機能：繰延処理
既に障害対応作業に取掛っていても、障害復旧していなければ、設定時間をすぎると新たにインシデントが作成されてしまいす。（重複処理）
繰延処理は、指定した時間内に同一のアラートが通知された場合、指定時間のタイマーをクリアー（繰延）し、制御を継続することが出来ます。

繰延処理

Filter

運用監視ツール

重複
アラート

制御

インシデントインシデント
管理ツール
管理ツール

TIMER
制限時間繰延

1通のみ通知障害対応中

繰延処理対応メリット
１．作業時間を気にすることなく、障害対応に専念できる
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

20
公開SHERPA-IRの機能：復旧処理
復旧処理は、対象機器からの“障害報”と“復旧報”を考慮する処理タイプです。
LinkDown/LinkUP等ネットワーク機器で、 “障害報”が通知された場合、一定時間”対”となる”復旧報”を静観する場合があります。復旧処理では“障害報”が来ても直ぐに
チケット作成指示を出さず、一定時間”復旧報”を持ち、通知されれば障害報を無視し、通知が無ければチケット作成指示を実施します。

復旧処理

Filter

運用監視ツール

障害報

復旧報

TIMER

インシデントインシデント
管理ツール
管理ツール

チケット登録（復旧報待ち）タイムアウト
障害対応開始繰延処理対応メリット
1. “対”となるアラート待ちからの解放
2. 不要チケットの消込作業削減
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

21
公開SHERPA-IRの機能：非処理
同じアラートでも、曜日や時間帯を考慮して通常の処理をしない“非処理”

21 3
O：46
15
処理判断

日中と同じ
障害発生

Filter

運用監視ツール

時間帯

DAY【適応ルール】 時間帯
担当
手順書
作業

9:00－17:59
昼間担当者 A
障害手順書
コマンド入力

Rules
★

★

NIGHT
夜間帯
非処理設定

【適応ルール】 時間帯
担当
【非処理】
手順書
作業
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

18:00－8:59
夜間担当者 B
エスカレーション手順書
電話連絡
22

公開

SHERPA-IRの機能：メンテナンス
メンテナンス時のアラート制御は、“指定機器”及び“指定時間帯” を非処理機
能を利用して行います。指定時間帯のメンテナンス機器からのアラートは無視されます。 メンテナンス時間帯でも、指定されていない機器からのアラート
は、通常の制御として処理されます。
メンテン処理Filter

運用監視ツール

重複
アラート

制御

インシデントインシデント
管理ツール
管理ツール

12月24日00:00~08:59

チケット登録障害対応開始メンテンンス時処理メリット
1. メンテナンス作業中の作業サーバ停止による大量不要アラートからの解放
2. 不要チケットの消込削減
23
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開SHERPA-IR機能：レポート

SHERPA-IR Reporterを利用して、削減効果報告や運用改善提案へ
アラート

アラート制御分類／分析

IR処理レポート

削減効果報告運用改善提案

満足！！

運用責任者

経営者／お客様処理タイプと処理件数の分析で運用改善の仮説検証へ展開
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

24
公開SHERPA-IR導入の進め方

IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

25
公開SHERPA-IR導入の進め方

IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

26
公開SHERPA-IRの配置
SHERPA-IRの導入は、大きなシステム変更をする必要はありません。

メールシステム

運用監視ツール

専用端末

Excel

アラートの向け先を変える

インシデント
管理ツール

SHERPA-IRの動作環境

Mail
アラート
メール取込みRules
IR制御ルール作成

直ぐ使えどんどん効果を実感
27

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開

導入事例
ソフト開発会社：サービス提供基盤を自社で監視から障害対応
障害対応

Zabbix

情報配信

運用管理部門
アラートストーム

インシデント
管理ツール

Nagios

お客様

サービス
提供基盤

Kondos

手順書も有ったり
無かったり

アラート

対応履歴を全ては記述していない

電話連絡
夜間業務委託先企業

目標：コストを抑えて運用アウトソースしたい。
課題
①
②
③
④
⑤

アラートストームを含め大量に発生する障害アラート内容を確認し対応するか否かを人が判断している
匠運用に頼り障害対応手順書が整備されていない
障害対応履歴も手入力で全ては登録していない
24時間対応が出来ていない

現状環境条件ではコストが高くなり、障害対応まで含めた作業を依頼することが出来ない。
28

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開導入事例：チューニング

Zabbix
NagiosKondos

大量アラートの原因は・・・

Alert①申請なしのメンテナンス作業によるアラート
Storm②同一障害のアラートが複数通知される

改善：メンテナンス申請関連改善によるアラートストームの抑止
メンテナンス
処理制御

Zabbix
NagiosKondos

Alert
Storm

アラートストームの抑止

アラート数の振れ幅最小

メンテナンス申請

メンテナンス
申請処理

メンテナンス作業

29
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開導入事例：先ずはIRを通したインシデント登録フロー作成
先ずはじめは処理タイプ“都度”を設定し、SHERPA-IRを利用するルートを設定し利用開始。
（明確に不要なアラート以外は都度登録となり、重複チケットのクローズ処理が発生している。）

都度

インシデント
管理ツール

運用監視ツール

選別作業

インシデント自動登録不要アラート破棄

重複→クローズ

SURVEYSURVEY

都度

都度
復旧

Filter繰延
IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

集約
30
公開

導入事例：定期チューニング
手順有りの通知数がが、限りなく対応件数と近くなるようにIRルールを見直し
人手による障害対応作業をジョブにて自動化

内容確認

825

手順有228対応 8 8

ジョブ設計

ジョブで自動化

何を見て判断 ?
対応
不要 1 4 0

手順無

JOB

Rules
IR制御ルール作成

597

対応作業の内容からジョブ管理ツールで自動化できないかの検討。
通知内容より“対応”or“不要”の判断時間の短縮
31
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開導入事例：定期チューニング
手順無しで且つ障害対応したインシデントに対して新たに作業手順書を作成
手順無し通知数が、限りなく対応件数と近くなるようにIRルールを見直し
手順有 228

825

手順有へ

内容確認

手順無597

対応 8 6

作業手順ヒアリング

何を見て判断 ?
対応
不要 4 9 3

Rules

手順書作成

IR制御ルール作成

手順書を作成し紐付ける事により、アウトソースへ依頼できる対象件数の拡大。
通知内容より“対応”or“不要”の判断時間の短縮
32
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開導入事例：定期チューニング
イベント内容を解析しルールを更新する定期チューニングを繰り返し行うことで、アラート件数の削減を実現し、リスクの高い重要なインシデントに絞り込むみオペレータの人手作業を軽減できます。

ルールチューニング

オペレータの人手作業を軽減
イベント数

Rules
Rules
Rules

1か月

2か月

3か月

Rules
4か月
33

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開ご提供ソリューションMAP

34
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開SHERPA-IR導入アセスメント
色々と良さそうな事聞いたけど・・・・・
うちの運用環境で使えるのかなぁ？？・・・・・
Yes

SHERPA-IR導入

No

SHERPA-IR導入アセスメント
35
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開SHERPA-IR導入アセスメント

IN Consulting. All rights reserved.

Copyright Cybertrust Japan Co., Ltd. All rights reserved.

36
公開SHERPA-IR導入アセスメントの流れ

1. アセスメントお申込み

2. お客様のアラートメール
データ送付
約10営業日3. 想定効果レポートを提示
37
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開

END
ご清聴ありがとうございました

38
Copyright Cybertrust Japan Co., Ltd. All rights reserved.

公開