生成AI×運用はHinemosにおまかせ！
～生成AIの取り組みの最新情報をご紹介～

NTTデータ先端技術株式会社© 2024 NTT DATA INTELLILINK Corporation

目次
1. 生成AIを使ったAIドリブン運用の世界観
2. 生成AIの取り組みの最新情報• 生成AIを用いた運用自動化のルール自動生成• 生成AIを用いた過去インシデント情報の有効活用• Azure OpenAI Service基盤の運用管理
3. まとめ© 2024 NTT DATA INTELLILINK Corporation2

01
生成AIを使ったAIドリブン運用の世界観© 2024 NTT DATA INTELLILINK Corporation

3

AIドリブン運用とは
これまで人手作業で実施していたものをAIベースにすることで飛躍的に運用を効率化し、生産性の向上を実現

人手作業による運用

運用自動化

AI活用

自律運用

得られる効果① システム運用品質の向上② 故障対応・運用改善のアジリティの向上③ システム運用コストの低減© 2024 NTT DATA INTELLILINK Corporation

4AIドリブン運用による運用課題の解決
AIを運用に活用するAIドリブン運用によりITシステム運用の飛躍的な「品質向上」「アジリティ」「コスト低減」を実現
解決すべき課題：• DX推進によるシステムの増加、複雑さに伴い運用品質の確保が難しい• 人手に頼った運用では新たなシステムの受入れ、運用改善に迅速に対応できない• クラウド活用等により不要なコスト原因の特定が困難
具体的な運用現場の課題例

生成AI活用による解決

障害対処の判断の適正化

障害対処の過去ナレッジは蓄積しているが、探し出せず記憶と経験と元に判断している

障害発生時時に過去ナレッジから対処法をアドバイス

設計工数の削減／迅速化

要件とシステム構成からある程度は機械的に作成できるはずが、毎回設計作業が発生する

要件とシステム構成に合わせた監視設計を自動生成

クラウドコスト最適化／適正化

使用しているクラウドの支出が、動作するシステムに対して適正なのか判断が難しい

クラウドの性能・課金情報からコスト削減をアドバイス© 2024 NTT DATA INTELLILINK Corporation5

Hinemosの「システム運用AIアシスタント」構想
属人的・エンジニアスキルが必要・広範囲な分析が必要な情報をシステム運用AIアシスタントがカバーし運用高度化を実現
運用に関連するシステム固有の情報

NTTデータ先端技術のもつナレッジ
・・・

イベント情報ex. 危険アラート

インシデント情報

構成情報

ex. NW機器故障

ex. HW/SW情報

運用マニュアル

設定情報

ex. 障害対応手順

ex. 監視設定

・要件に従って設計してほしい・障害が発生した。どうすれば？
・アラートが多い。改善策は？
・セキュリティ対策が必要なのは？

設計ナレッジex. 監視設定

運用業務をアシスト
サービスマネージャ・クラウドのコストは適正？
・どこに運用工数がかかっている？

設計の迅速性、生産性を向上© 2024 NTT DATA INTELLILINK Corporation

・・・

システム運用AIアシスタント
実行指示による運用自動化

判断の迅速性、正確性を向上
6

保守ナレッジ

製品ナレッジ

ベストプラクティス

セキュリティ情報ex. 障害復旧方法

ex. 製品仕様

ex. ITIL

ex. JPCERT/CC

様々な情報を組み合せてシステム運用AIアシスタントが総合的に処理し、運用高度化を実現

コストの適正管理、削減を実現

02
生成AIの取り組みの最新情報© 2024 NTT DATA INTELLILINK Corporation

7

生成AIの取り組みの最新情報
Hinemosの生成AI関連の取り組みを3つご紹介します「システム運用AIアシスタント」実現に向けた取り組み

生成AIを用いた運用自動化のルール自動生成© 2024 NTT DATA INTELLILINK Corporation

生成AIを用いた過去インシデント
情報の有効活用

8

AI基盤を含む統合運用管理

Azure OpenAI Service基盤の運用管理

02
生成AIの取り組みの最新情報• 生成AIを用いた運用自動化のルール自動生成• 生成AIを用いた過去インシデント情報の有効活用• Azure OpenAI Service基盤の運用管理© 2024 NTT DATA INTELLILINK Corporation

9

Hinemosが提供する機能・サービス© 2024 NTT DATA INTELLILINK Corporation

10Hinemos メッセージフィルタ
ルールエンジンを活用したインテリジェントなアラートと自動化
msg

msg

msg

msg

msg

msg

msg

msg 大量発生
msg
msg
msg

フィルタ

msg

msg

管理対象システム

自動化✔

メッセージフィルタ

▲

msg

アラート

ルール適用

REST✔

syslogメッセージフィルタの4つの特徴①インテリジェントなアラート②インテリジェントな自動化③ルールベースの条件指定④Hinemosからのシームレスな導入「本質的なイベント」の発見を実現© 2024 NTT DATA INTELLILINK Corporation

11

Hinemos メッセージフィルタの4つの特徴
インテリジェントな自動化

インテリジェントなアラート
0時

S1

Hinemosから到達不能
C

23時

A

B

S2 障害

B 不明

0時 正常

C 不明

REST

msg msg

…

1時

…

S2

通報

… 23時 正常インシデントダッシュボード
msg
msg

msg msg

自動ジョブフロー起動

監視制御
無効化

✔

▲

msg msg

本質的なイベントへ抑制・集約

ServiceNowRedminesyslog

msg msg
msg msg

1時 正常

インシデント連携✔
S2 障害○月○日 全て正常

ルールベースの条件指定
ルールエンジンを採用
msg

msg

msg

msg

msg

msg

When/Thenのルール

ルール1

ルールに従って判断無効化

When
Switch S1が警告
Then
警告を危険に変更

ルール2

Hinemosからのシームレスな導入
イベント間の関係性
スイッチXの障害メッセージ入力

サーバAの障害

フィルタ処理
msg
msg

ルール3

msg

ルール4
ルール5

When
○○○
Then△△△

ルールアクション参照

メッセージ通知 msg

5分以内にスイッチの障害があったか？

Hinemos操作

msg

リポジトリ情報© 2024 NTT DATA INTELLILINK Corporation

12

When
○○○
Then△△△

株式会社NTTデータグループ様 PM Workbench®

株式会社NTTデータグループ様 PM Workbench®

Hinemosメッセージフィルタ導入により、インシデント量の削減を実現
ルール１
警告・危険用
汎用ルール

正常性確認

仮想サーバ

監視

ルール2
ファイルシステム
アラート
集約用ルール

ルール3
不要
インシデント
振分用ルール

今回のターゲットのインシデント量80％

最大削減

同アラートの集約

多数のメッセージ

Hinemos
マネージャ

不要アラートを別テーブルへ

基盤
基盤

現行システムには一切影響なし
メッセージを転送する設定を「追加」するのみ

Hinemosメッセージフィルタ

ServiceNow

たった3ルールのみで実現
簡易な3ルールでフィルタリング・振り分けを実現

確認インシデント数を削減確認する必要がある
インシデント数を削減■導入企業・団体様
株式会社NTTデータグループ様

お客様の声
・開発キットのサンプルルールによりルールの開発が容易でシミュレーション機能で試験が簡単だった
・今後はServiceNowからHinemosメッセージフィルタの制御やより複雑なフィルタ処理を実現したい
・GUIやExcelライクでルール開発がもっと簡易に出来るなどの製品の発展を期待している© 2024 NTT DATA INTELLILINK Corporation

13■サーバ台数
145台（Windows128台、Linux17台）■Hinemosマネージャ導入台数
2台

HinemosのAIドリブン運用 第1弾：運用自動化を実現するルール自動生成
生成AIを活用した運用自動化のインタフェースにより専門知識が必要だった自動化の設定・ルール生成を、自然言語での指示で可能に自動化の設定・ルールを自動生成

専門知識が不要

生成AIベースのインタフェース
イベント管理自動化アクションの判断
msg

msg

msg

msg

msg

msg

管理対象システム

Hinemos© 2024 NTT DATA INTELLILINK Corporation

msg

フィルタ

msg

Hinemos
メッセージフィルタ
14msg
msg

自動化
✔

▲

msg

アラート

判断ルールの自動生成

msg 大量発生
msg
msg

運用自動化

REST

✔

syslog生成AIによるルール生成の利用の流れ
様々な種類のイベント① 自然言語指示によるルール生成
生成AI

NW機器の障害

ルール

アクション

LinkDown,LinkUp瞬断時の重要度変更

指示
NW機器の障害によるサーバ監視の到達不能

NW機器#1でメッセージにLinkDownが含まれるイベントは通知しない

イベント

ルール生成
WHEN
〇〇〇
THEN
〇〇〇

抑制

サーバのNIC障害
サーバのNIC障害によるサーバ上の監視不能

抑制

0時のジョブ正常終了

集約② ルールのシミュレーション・試験

ルール①
ルール②
ルール③

0時～23時まで全て正常終了

23時のジョブ正常終了
WHEN
〇〇〇
THEN
〇〇〇

③ ルールの適用

実行結果© 2024 NTT DATA INTELLILINK Corporation…

メッセージフィルタ開発キット

1時のジョブ正常終了

15実証実験の実施内容
ルール要件の要素分解

問い合わせ文のチューニング

コンプライアンスへの対応

ルール要件を要素分解し、要素毎にルール生成を検証

文章の平易さや表現を変えながら正しい回答を得るようプロンプトを工夫

生成AIの回答が著作権を侵害していないか、引用元を表示扱うメッセージの数

アクションの数

msg

ルール要件の難易度に応じて落とし込み
難易度 低

msg

引用元があれば出力してください。

You

箇条書き

msg

高

時系列

処理順を明記関係定義の利用msg

BC

著作権侵害なし
AI

正しい回答を得るためのコツ

A

msg課
題

平易な自然言語

ファシリティID

location

長文の指示

短文の箇条書き私は一般的な知識や情報を元に回答を提供しており、特定の引用元や権利情報を持っていません。

•

一部の機能を利用する要件の場合に、ルール生成が難しい多段階に問い合わせることで生成できるか•

同じ問い合わせ文でも、生成AIからの回答に揺らぎがあるパラメタ値（seedなど）の調整で改善するかプロンプトを工夫することで、多くのルール要件のパターンでルール生成が可能に© 2024 NTT DATA INTELLILINK Corporation

16

効果
運用自動化に必要なルールの作成作業について
人手作業の場合と、運用自動化のインターフェースを利用した場合とで比較し、効果測定を実施
前
提対象とするユースケース ：瞬断の場合に、NW機器のLinkDown/Upの重要度を変更する
作業時間の計測の範囲 ：設計、製造・シミュレータにかかる時間
被験者のスキル：プログラミング開発経験（Drools）なし

手動作成
時間（分）

生成AI活用時間（分）要件からの落とし込み

3030

試験データ作成

2020

実装

8012

シミュレータ

57

合計時間

135

69

製造の試行回数

45

工程
設計
製造

生成AIを活用したインターフェースにより自動化サイクルの効率化が図れることを確認© 2024 NTT DATA INTELLILINK Corporation※同じ設計、試験データを利用。
※実装の作業内容は以下のとおり。
手動作成 ：参考資料を調べながら実装
生成AI ：問合せの作成、AIへ問合せ
いずれもシミュレータのエラー解析を含む。

インターフェースの製品化を行い2024年度下期の提供開始を予定
17

デモシナリオ システム構成
シンプルなデモの説明のため、インシデント起票するシナリオを対象にします
運用管理端末ルール開発環境

Azure OpenAI

問い合わせ

管理対象システム

デモ表示画面

ルール適用

障害検知の確認

Hinemosメッセージフィルタ

Hinemosマネージャ

監視・ジョブメッセージ

インシデント管理ツール

インシデント起票

Hinemos
インシデントダッシュボード※ 各コンポーネントは1つのサーバに導入が可能です。
分かりやすくするため、サーバを分けて記載しています。
© 2024 NTT DATA INTELLILINK Corporation18

デモシナリオ ルール要件
NW機器のLinkDown/Upの重要度の変更
NW機器のLinkDown/Upのイベントを検知し、インシデント起票を行う
イベント

インシデントSNMPTRAP
Linkdown

インシデントLinkDown

インシデント起票

ただし瞬断の場合は、重要度を下げてインシデント記票したい
SNMPTRAP
Linkdown

1分以内重要度を警告で起票する
SNMPTRAP
LinkUp

1分以上© 2024 NTT DATA INTELLILINK Corporation

インシデント②
LinkUpインシデント起票

SNMPTRAP
Linkdown

重要度を危険で起票する

SNMPTRAP
LinkUpインシデント起票

19

インシデント①
LinkDown

インシデント③
LinkDown

インシデント④
LinkUpデモ：ルールの自動作成
開発キットより、生成AIに問い合わせるフォームを開く
Hinemosメッセージフィルタ 開発キット（運用端末）© 2024 NTT DATA INTELLILINK Corporation

20

デモ：ルールの自動作成
ルール要件を自然言語で問い合わせる
Hinemosメッセージフィルタ 開発キット（運用端末）
・前提条件- メッセージにLinkDownを含むイベントを$m1とする。
- メッセージにLinkUpを含むイベントを$m2とする。

・要件- 処理優先度3$m1を受信後、60秒間待機し"インシデント連携$m1"コマンドを実行する。
- 処理優先度2$m2を受信後、60秒前まで遡り$m1を受信しているかを確認し、受信している場合は以下を行う。
- $m1の重要度に”警告"を設定する。
- $m2の重要度に“警告"を設定する。
- "インシデント連携$m1"コマンドを実行する。
- "インシデント連携$m2"コマンドを実行する。
- 処理優先度1
イベント受信後、"インシデント連携$m2"コマンドを実行する。

© 2024 NTT DATA INTELLILINK Corporation

21

デモ：ルールの自動作成要件を問い合わせると、生成AIからルールが回答される
Hinemosメッセージフィルタ 開発キット（運用端末）
rule "Priority 3: Single Event Notification"
salience 3
timer (int: 60s)
when
$m1: Message(text contains “linkDown")
thenaction.cmd("インシデント連携$m1");
delete($m1);
end
rule "Priority 2: Notification within 1 minute"salience 2
When$m2: Message(text contains “linkUp")$m1: Message(text contains “linkDown" ,this before[0s, 60s] $m2)
then
$m1.setPriority(“警告");$m2.setPriority(“警告");
action.cmd("インシデント連携$m1");
action.cmd("インシデント連携$m2");
delete($m1);
delete($m2);
end
rule "Priority 1: Single Event Notification"
salience 1
when$m2: Message(text contains “linkUp")
thenaction.cmd("インシデント連携$m2");
delete($m2);
end© 2024 NTT DATA INTELLILINK Corporation22デモ：ルールのデプロイ「整形」ボタンを押すとルールの補正ができる
Hinemosメッセージフィルタ 開発キット（運用端末）© 2024 NTT DATA INTELLILINK Corporation

23

デモ：ルールのデプロイ回答されたルールを、ルールファイルへコピー&ペーストする
Hinemosメッセージフィルタ 開発キット（運用端末）© 2024 NTT DATA INTELLILINK Corporation24

デモ：ルールのデプロイ
Hinemosメッセージフィルタに作成したルールをアップロードする。
Hinemosメッセージフィルタ 開発キット（運用端末）© 2024 NTT DATA INTELLILINK Corporation

25

デモ：動作の確認
Hinemosマネージャ

LinkDownのイベント検知後60秒以内にLinkUpのイベントを検知している。
Hinemosインシデントダッシュボード

Hinemosメッセージフィルタ

重要度「警告」でインシデント起票されている。

© 2024 NTT DATA INTELLILINK Corporation

デモ：動作の確認
Hinemosマネージャ

LinkDownのイベント検知後60秒以上、経過後にLinkUpのイベントを検知している。
Hinemosインシデントダッシュボード

Hinemosメッセージフィルタ

重要度「危険」でインシデント起票されている。

© 2024 NTT DATA INTELLILINK Corporation

02
生成AIの取り組みの最新情報• 生成AIを用いた運用自動化のルール自動生成• 生成AIを用いた過去インシデント情報の有効活用• Azure OpenAI Service基盤の運用管理© 2024 NTT DATA INTELLILINK Corporation

28

Hinemosが提供する機能・サービス© 2024 NTT DATA INTELLILINK Corporation

29

Hinemos インシデントダッシュボード
インシデントの起票から調査、対応、クローズまでの管理を、軽量かつ使い慣れたExcel-likeなUIにて実現
Hinemosインシデントダッシュボード

サービスマネージャ
オペレータ

記録

共有

インフラ担当者

監視システムアプリ担当者
記票

調査

対応

クローズ

「記録」と「共有」をスムーズに実現し、組織的なインシデント管理をトータルサポート© 2024 NTT DATA INTELLILINK Corporation30

生成AIを用いた過去インシデント情報の有効活用
課
題

多くのインシデント記録の中から必要な情報を探し出すために、記憶と経験に基づいて判断しており、属人化してしまう生成AIを用いた、蓄積したインシデント情報の効率的な活用の検証を開始

蓄積されたインシデント情報

インシデントの類似事象や原因、解決策を提案して。

提案をもとにインシデントを早期解決！

新規のインシデント発生

類似事象原因・解決策

ここ1か月のインシデント発
生状況の傾向を教えて。

分析結果を活用してインシデントを未然に予防！

システム運用AIアシスタント
傾向分析結果・サマリ

インシデントの棚卸

インシデントの検索性の向上や傾向把握により、運用の効率化・品質改善を目指す© 2024 NTT DATA INTELLILINK Corporation31

02
生成AIの取り組みの最新情報• 生成AIを用いた運用自動化のルール自動生成• 生成AIを用いた過去インシデント情報の有効活用• Azure OpenAI Service基盤の運用管理© 2024 NTT DATA INTELLILINK Corporation

32

Azure OpenAI Service基盤の運用管理 背景
なぜ Azure OpenAI Service？
••AI基盤の運用管理

Microsoftはクラウド大手の中で生成AI分野で一歩リード•

NTTデータ先端技術はAzureの構築経験やPoCで得られたノウハウを活かしてAzure OpenAI Serviceの環境構築サービスを開始•© 2024 NTT DATA INTELLILINK Corporation

33

AI基盤を導入するにあたって
AI基盤に特有の運用管理が必要
関連サービスの稼働状況

トークン数などの特有のメトリクス

AIガバナンス
およびセキュリティ

モデル毎に異なる従量制の課金

効率的な運用管理のためには、Azure OpenAI Serviceを含めたITシステム全体の運用管理の一元化が重要

HinemosでのAzure OpenAI Service基盤の運用管理AI基盤に特有の管理項目

AI基盤の管理の課題

ITシステム全体の運用管理の一元化

Hinemosによる、Azure OpenAI Serviceの統合管理
Azure OpenAI Serviceの監視
稼働状況の監視サービスの死活状態の監視

キャパシティの監視
クォータ制限の監視サービスの正常性

呼び出し数

インスタンスの監視

トークン数

セキュリティの監視
不正な利用の監視

課金状況の監視サービス利用状況の監視

監査ログ

コストAzure環境の統合監視
一般的な監視機能
Hinemos

監視
Azure
Monitor

Azure
Service Health

Hinemosの提供する監視機能

リクエスト/レスポンス

ターゲットシステム

Hinemosで、Azure OpenAI Serviceを含む ITシステム全体の統合的な運用管理を実現© 2024 NTT DATA INTELLILINK Corporation

34

04
まとめ

© 2024 NTT DATA INTELLILINK Corporation

35

まとめ
生成AIを使ったAIドリブン運用の世界観
人手作業をAIベースにすることで、運用の迅速性・生産性を向上
Hinemosの描く「システム運用AIアシスタント」構想
生成AIの取り組み• 生成AIを用いた運用自動化のルール自動生成
Hinemos メッセージフィルタで運用自動化を実現
生成AIを使ったルール生成でさらに自動化を推進

生成AIを使った運用改善に興味をお持ちの方はぜひお問い合わせくださいもに！

• 生成AIを用いた過去インシデント情報の有効活用
生成AIを使ったインシデント解決策の提案や傾向分析の検証
検索性向上や傾向把握により、運用の効率化・品質改善を目指す• Azure OpenAI Service基盤の運用管理
Azure OpenAI Serviceに特有の管理項目の監視
HinemosでAzure上のシステム全体の統合運用管理を実現© 2024 NTT DATA INTELLILINK Corporation

36