クラウド時代の運用管理ツール「Hinemos」最新動向
2015年 2月 25日
株式会社 NTTデータ
大上 貴充

Copyright © 2015 NTT DATA Corporation

ＩＮＤＥＸ

01 Hinemosとは
02 監視ソフトとしての基本機能
03 運用自動化のためのジョブ管理
04 クラウド時代の運用管理
05 Hinemos ver5.0

Copyright © 2015 NTT DATA Corporation2

HinemosとはCopyright © 2015 NTT DATA Corporation

3

Hinemosとはシステム運用管理で要求される幅広い機能を備えた
統合運用管理ソフトウェア

ノード管理

状態監視▲

✔
✔

ジョブ制御
Copyright © 2015 NTT DATA Corporation

パフォーマンス管理
4

Hinemosの歩み
IPA公募によりHinemos誕生
監視機能充実監視対象プラットフォームの拡張

Ver1

2005.08より進化した稼働状況の見える化
より大規模な環境への対応強化
よりスマートな統合運用管理の実現

Ver2
2006.03

Ver3

クラウド管理の実現
ジョブ管理の進化

2008.10Ver4
2012.04

エンタープライズ領域,ミッションクリティカル領域での要件を満たすハイパフォーマンスな運用管理ツールに成長
Copyright © 2015 NTT DATA Corporation

Ver4.1
2013.10

Ver5.05

管理可能なプラットフォーム
多種多様な環境をHinemosで一元管理可能

サーバ
Red Hat Enterprise LinuxCentOS
Oracle LinuxWindows
Solaris
HP-UX
AIX

ハイパーバイザVMware ESXi

KVM
XenServer
Hyper-V
Oracle VM

クラウド
Amazon Web Services
CloudnMicrosoft Azure

H/W機器
スイッチ/ルーター/ストレージ
アプライアンス製品

Copyright © 2015 NTT DATA Corporation

6

監視ソフトとしての基本機能

Copyright © 2015 NTT DATA Corporation

7

システムモニタリング

Copyright © 2015 NTT DATA Corporation

8

Hinemosによる状態監視
ITシステムの稼働状況を確認するために必要十分な様々な種類の監視を完備しています
GUIから
簡単設定
監視設定

標準の監視種別PING監視SQL監視

プロセス監視SNMPTRAP監視

リソース監視システムログ監視サービス・ポート監視

ログファイル監視

Windowsサービス監視

Windowsイベント監視

Hinemosエージェント監視

SNMP監視HTTP監視カスタム監視Copyright © 2015 NTT DATA Corporation

・監視対象選択

・通知設定

ノード ノード
・監視間隔:○分・判定条件（閾値指定)9

監視結果の通知
監視結果は運用者に様々な手段で通知できます
Hinemosマネージャ

監視コンソールで視覚的に通知

監視結果に連動して処理実行

監視結果を外部に通知▲

syslog✔
✔

Amazon SES

イベント通知ステータス通知Copyright © 2015 NTT DATA Corporation

ジョブ通知
コマンド通知メール通知
ログエスカレーション通知
10

監視のカレンダ制御
業務スケジュールに合わせたカレンダ設定が可能です
毎月第3月曜日のみ稼働

平日09:00～19:00のみ稼働

毎月最終日のみ稼働

所定のメンテナンス日のみ非稼働

GUIから簡単設定

Copyright © 2015 NTT DATA Corporation

一目でわかる
確認画面

11

監視結果の確認
監視結果をグラフィカルに確認できます
トポロジを自動表示

オリジナルのメッセージを確認可能

Copyright © 2015 NTT DATA Corporation

12

柔軟に情報収集ができるカスタム監視
個別のサービス・ミドルウェアをユーザ定義のコマンドで監視できます
・監視対象ノード上での直接実行とプロキシ型に対応
・監視結果を蓄積し、グラフ表示して確認可能
監視対象機器
Hinemosエージェント
直接実行

コマンド

コマンド

コマンド

コマンド

コマンド

コマンド

Hinemosマネージャ
通知
コマンド実行指示

実行結果確認(数値)

Hinemos
エージェント

コマンド実行結果
コマンド

繰り返し実行プロキシ
Copyright © 2015 NTT DATA Corporation

13

カスタム監視の具体例例)PostgreSQL監視コマンド

アラート通知グラフ表示・分析

レポート作成CSV

Copyright © 2015 NTT DATA Corporation

14

設定データをExcelで管理
大規模環境の設定でも一括登録・変更ができます
設定データの世代管理や、ドキュメント化も容易となります

XMLファイル
XXML

Utilityオプション
Hinemos
マネージャ
Microsoft Excel
Copyright © 2015 NTT DATA Corporation15

パフォーマンス管理

Copyright © 2015 NTT DATA Corporation

16

Hinemosによるパフォーマンス管理
管理対象の情報を定期的に収集・蓄積し、グラフ化・エクスポートできます

パフォーマンスCPU

PING応答時間

メモリ

HTTP応答時間

ディスク

SQL実行結果

ネットワークサービス・ポート
応答時間

ファイルシステム

プロセス数
ユーザ定義コマンド
実行結果

Copyright © 2015 NTT DATA Corporation

17

レポートによる見える化
Hinemosで蓄積するさまざまな情報を稼働状況レポートとして出力できます・レポート作成を定期スケジュールとして登録可能
・メールで自動的に送付可能
性能情報
監視結果

ジョブ実行状況

Copyright © 2015 NTT DATA Corporation

18

運用自動化のためのジョブ管理

Copyright © 2015 NTT DATA Corporation

19ジョブ管理による業務の自動化
豊富な機能を有するジョブ管理機能により業務を自動化できます

連続・複雑な処理

定時実行

第3月曜日のみ
実行したい

zzz...

Job2
Job4

Job1

細やかなカレンダ制御

Job1

Job3

実行結果の管理障害

大量ノードに対する処理

障害

Job2
Job4

Job1

多様な実行契機

Job1

Job1

Job3

Copyright © 2015 NTT DATA Corporation20

実行条件の制御
ジョブネットにより非常に柔軟で細やかな実行条件が定義できます
・実行契機の指定
・時刻待ち、先行ジョブの状態による分岐 等
実行契機
・即時実行（手動実行）
・スケジュール実行・ジョブ通知・ファイルチェック

ノードＡ

先行ジョブの正常終了を契機としたジョブ
起動

ノードＡ

Job1
Job1

先行ジョブの異常終了を契機としたジョブ起動

Copyright © 2015 NTT DATA Corporation

ノードＡ

Job2-1
Job2-1
Job2-2Job2-2Job2-1の正常終了と時刻契機によるジョブネット起動

ノードB

Job3-1
Job3-1
ノードB

Job3-2
Job3-2

Job4
Job4
複数ジョブの終了を契機としたジョブの実行

Job2-1の終了を契機とした複数ジョブの同時実行
先行ジョブの実行結果に依らず終了を契機とした
ジョブ起動

Job4-2
Job4-221

ジョブ実行時の制御
ジョブ実行時の動作は細かく指定できます
保留

スキップ

ジョブを開始させないコマンドを実行せず終了

保留

スキップ

× Job

Job

ジョブの実行遅延を検知した際の動作も指定できます
開始遅延

終了遅延

予定時刻に開始しない

予定時刻に終了しない

開始遅延
Job

Copyright © 2015 NTT DATA Corporation

終了遅延
Job

22

業務スケジュールに沿ったジョブの自動実行
業務スケジュールにあわせた詳細なカレンダ・スケジュール設定が可能
カレンダ

スケジュール（例）第4月曜日の指定が可能

日跨ぎジョブ（48時間）にも対応（例）第4月曜日の3日後という指定が可能

Copyright © 2015 NTT DATA Corporation

23

ジョブ設定/実行状況の視覚化
ジョブの設定/実行状況はジョブマップで視覚的に確認可能
後続ジョブが動く
条件を線の色で判断

ジョブの構成が一目でわかる

詳細情報の表示正常、異常終了をボックスの色で判別
ビューア画面から再実行操作が可能
Copyright © 2015 NTT DATA Corporation24

クラウド時代の運用管理

Copyright © 2015 NTT DATA Corporation25

Hinemosのクラウドへの取り組みハイブリッドクラウド環境の一元管理・クラウド環境ならではの運用最適化を目指し、 2013年5月にHinemosクラウド管理オプションをリリース、機能追加・バージョンアップを続けております。

Hinemos

VM管理オプション

クラウド管理オプション

プロダクトとして、各種クラウドサービスに対応スクリプトの作り込みは不要
Copyright © 2015 NTT DATA Corporation

26

ITpro EXPO AWARD 2014
マルチクラウド・オーケストレーションツール「Hinemos」としてITpro EXPO AWARD 2014 「優秀賞」を受賞

SRA OSS様とともに出展
Copyright © 2015 NTT DATA Corporation27

マルチクラウド・オーケストレーション
クラウド間連携機能によりマルチクラウド環境全体の運用自動化を実現

Copyright © 2015 NTT DATA Corporation28

これまでのシステム運用管理
サービスインからシステム更改時までほぼ構成が変わらないシステムを運用し続ける。
故障したハードウェアを交換

ピークを満たす製品を選定

開発時

EOL

変わらないまま5年目(ハードウェア更改)

1年目

staticシステム構成が変わらないことを前提に運用フローを設計してきたCopyright © 2015 NTT DATA Corporation29

クラウド上に構築したシステムの特徴（もちろん、従来通りのシステムもできるが...）オンデマンド・スケーラブルにリソースが確保できるため、その時に必要な分のリソースを購入したほうが経済的。
ビジネス状況に応じて、リソース量を調整

n年目
開発時

(ソフトウェア更改)（ハードウェア更改）

1年目

dynamic

リソースの増減でパフォーマンスがスケールするITシステム、状態を把握しながら常にシステム構成を最適化できる運用フロー、が必須に。
Copyright © 2015 NTT DATA Corporation30

クラウドならではの運用監視

Copyright © 2015 NTT DATA Corporation31

クラウドだから「何を」監視するべき？ その１「クラウドサービスそのものの正常性」 を監視→ システム異常時に、クラウド側の問題かシステム自体の問題かの切り分けを容易にします

クラウドサービス

AWS稼働状況

Amazon EC2(N. Virginia)が障害中
Amazon Route 53が復旧
Amazon APIから応答がない
Copyright © 2015 NTT DATA Corporation32

クラウドだから「何を」監視するべき？ その２「クラウドの利用料金」 を監視→ 料金を把握、アラームをあげることで、使いすぎ・無駄の認識します
その際、サーバやシステムといったカットで料金を把握する必要があります

Billing
C SV

Copyright © 2015 NTT DATA Corporation33

応用： 課金配賦
Hinemosなら、1つのアカウント内に複数のシステムが混在している場合でも、システムごとの料金算出が可能です

親アカウント子アカウント

IAM1

IAM2

IAM3

システムA

システムB

システムC

Billing
CSV

Copyright © 2015 NTT DATA Corporation34

クラウドだから「何を」監視するべき？ その３「クラウドの操作ログ」 を監視→ 容易にリソースを変更できるからこそ、予期せぬ操作、不正な操作を監視することで、万全なシステムができあがります

各種操作

AWS CloudTrail"awsRegion":"awsRegion": "us-east-1","us-east-1","errorCode":"errorCode": "ValidationException","ValidationException","errorMessage":"errorMessage": "An"An unknown
unknown error
error occurred",occurred","eventID":"eventID": "427d82d8-f99e-486e-b844-72062ab87440","427d82d8-f99e-486e-b844-72062ab87440","eventName":"eventName": "CreateInstanceProfile","CreateInstanceProfile","eventSource":"eventSource": "iam.amazonaws.com","iam.amazonaws.com","eventTime":"eventTime": "2014-07-31T01:43:04Z","2014-07-31T01:43:04Z",........
........

• 権限の無い操作の検知• セキュリティ類の設定変更検知• ログイン処理の検査
・・・Copyright © 2015 NTT DATA Corporation35

クラウドを活かす運用自動化

Copyright © 2015 NTT DATA Corporation36

クラウドのメリットを享受するための自動化 その１
動的なクラウド構成情報を、人手を介さず自動で取り込む→ 管理対象の情報を常に最新に。運用者の負荷を軽減します• アクセスキー• シークレットキー

クのド上ウ
ラスタン
イ

情報
ス
ン

取得
動を自AZ1

AZ2Region 1

監視ターゲット情報

管理DB
AZ1

AZ2
Region 2

Copyright © 2015 NTT DATA Corporation37

クラウドのメリットを享受するための自動化 その２作られたインスタンスに応じて全自動で監視・ジョブ実行→ AutoScalingを活用したシステムで、漏れなく運用を自動化
WEBサーバ新規インスタンス情報を管理DBへ自動登録• HTTPレスポンスの監視

APサーバ• 業務ジョブの実行

Copyright © 2015 NTT DATA Corporation38

クラウドのメリットを享受するための自動化 その３ジョブのスケジューリングにより、IaaS環境のリソース制御を行う→ 不要なインスタンスは停止するなど、業務特性に応じてシステム構成を制御することで、リソースを節約し、コストダウンを実現できます

サブシステムA

業務カレンダ制御

システムC

サービス
停止

インスタンス停止
バックアップ

レポート
作成

第3金曜日にバッチ処理実行

サブシステムB

サービス
停止

日曜日、祝日はシステム停止

インスタンス
停止

Copyright © 2015 NTT DATA Corporation

世代管理

39

クラウドのメリットを享受するための自動化 その４
HA構成（アクティブ-スタンバイ）を組むことにより運用の永続性を確保→ パブリッククラウド環境でも高可用性構成を組めます
DBの内容は常に同期され、障害発生時には自動でフェールオーバします

運用コンソール
運用コンソール

障害監視
監視
ジョブ制御

自動切り替えジョブ制御

HAクラスタ構成
on AWS

オンプレミス・仮想化環境
Copyright © 2015 NTT DATA Corporation

クラウド環境(AWS)40

Hinemosによるワンストップのクラウド運用

サーバリソースの可視化

サービス
停止

BillingCSV

後処理

インスタンス停止

バックアップサーバ・システム単位の課金分析
インスタンス
起動

前処理

サービス
開始

サーバリソースの自動制御
Copyright © 2015 NTT DATA Corporation

41

Hinemos ver5.0

Copyright © 2015 NTT DATA Corporation

42

Hinemos ver.5.0

Cool Hinemos
運用管理の高速化

Auto-managed Infrastructure
システムの構築スピード高速化
Copyright © 2015 NTT DATA Corporation

43

Cool Hinemos

Copyright © 2015 NTT DATA Corporation44簡単に導入・簡単にアクセス

RPM対応

Webクライアント

インストールは1行コマンドで完了

Hinemosクライアントの導入は不要

Hinemosの導入は、より簡単になります
Copyright © 2015 NTT DATA Corporation

45

構成情報の自動取得②デバイス設定変更（自動）変更不要①デバイス変更検知

デバイス追加ノードサーチ機能

自動デバイスサーチ機能

IPアドレスを範囲指定すれば、複数のサーバを一括登録できます

追加されたデバイスを検知し、Hinemosに反映します

サーバやネットワーク機器の登録が、より簡単になりますCopyright © 2015 NTT DATA Corporation

46

性能向上

10,000ノード

100,000ジョブ

Hinemos ver5.0はサクサク軽快に動作します
3～4倍の性能向上（Hinemos ver4.1比）
Copyright © 2015 NTT DATA Corporation

47

Auto-managed Infrastr
uctureCopyright © 2015 NTT DATA Corporation48

強力なファイル配布機能（ファイルの配布）
RPM配布×n
設定ファイル配布×n
起動コマンド実行×nなど

作業

従来の環境構築
それぞれのサーバにコンソールログイン
サーバの数だけ作業が増える
次スライド

RPM配布
設定ファイル配布
起動コマンド実行など

作業

エージェント不要

自動

Hinemosによる環境構築
Hinemosクライアントで設定をすれば、Hinemosが全サーバで環境構築
GUIを利用した容易なインタフェース
Copyright © 2015 NTT DATA Corporation49強力なファイル配布機能（ファイルの変更）
ファイルの配布

host=hoge
ip=%IPADDR%
置換

host=hoge
ip=192.168.0.6
host=hoge
ip=192.168.0.5
host=hoge
ip=192.168.0.4
host=hoge
ip=192.168.0.3
host=hoge
ip=192.168.0.2

Hinemosの設定配布されるファイル

配布先に応じて、ファイルの内容を置換可能
置換内容（IPアドレスなど）は、監視でも利用可能
Copyright © 2015 NTT DATA Corporation50強力なファイル配布機能（ファイルの差分比較）
ファイルの変更

host=hoge
ip=%IPADDR%
charset=UTF-8

差分あり

host=hoge
ip=192.168.0.6
host=hoge
ip=192.168.0.5
host=hoge
ip=192.168.0.4
host=hoge
ip=192.168.0.3
host=hoge
ip=192.168.0.2

Hinemosの設定配布されるファイル

ファイルの変更時、差分をGUIで視認可能
Copyright © 2015 NTT DATA Corporation

51

更なる

監視とジョブの強化Copyright © 2015 NTT DATA Corporation52

監視の強化
新しい監視
HTTPシナリオ監視（認証対応、ステータスコードチェック）
JMX監視

従来の監視の改善
SNMPTRAP監視のvarbind監視
SNMP version3対応、SNMP INFORM対応、SNMP GETBULK対応
ログファイル監視のファイルごとにエンコードの指定

HTTPシナリオ監視

JMX監視

複数のURLを順番に遷移しながら、内容をチェック

Java VMの状態をチェック

Copyright © 2014 NTT DATA Corporation

53

ジョブの強化ジョブの繰り返し実行
エージェント停止時にジョブを危険に遷移
ジョブのテスト実行機能
コマンドの標準出力/標準エラー出力を通知に利用可能
ジョブのコマンドにノードプロパティが利用可能
ジョブの実行時間表示
ジョブ変数としてノード変数を利用可とする
ジョブの条件の追加（セッション開始後の時間）

ジョブの繰り返し実行機能正常終了するまでジョブを繰り返し実行可能
フェイルオーバー時にジョブを実行させたい場合などに有効
Copyright © 2014 NTT DATA Corporation

ジョブのテスト実行機能
ジョブを実行せずに、ジョブフローの確認が可能
54

ほかにも色々と進化
共通• 設定ファイルをデータベースへ移行• OSの時刻とは別にHinemos時刻を利用可能• IDとして利用できる文字種の拡張• HinemosエージェントとHinemosマネージャの接続の暗号化（HTTPS）• バックアップスクリプトの設定のみバックアップ、バックアップ時に圧縮• HinemosマネージャをHinemosエージェントより先にインストールする
制限の解除

リポジトリ
• リポジトリにOS別スコープの追加• スコープ変更時にスコープツリーの開閉状態を維持通知• 通知設定にカレンダの登録が可能• 「重要度変化がないときは通知しない」に「初回も通知しない」を追加• ログエスカレーション通知のTCP対応、リトライ対応• メール通知のCC, BCC対応• メール通知の差出人等にマルチバイトが利用可能

詳細はリリースノートをご確認ください

監視• イベント履歴から監視設定にジャンプする機能• 監視(文字列)設定やカレンダ詳細にコピーボタンの追加• オリジナルメッセージのURL表示の青字、下線表示• HTTP監視の文字コード種別でcharsetを参照• SNMP監視でCounter32のオーバーフロー対応

ジョブ• ジョブスケジュールの繰り返し間隔に60分を追加• ジョブの待ち条件で設定された先行ジョブのジョブIDの変更への対応• 参照ジョブの参照先ジョブのジョブIDの変更への対応などなど
Copyright © 2014 NTT DATA Corporation

55

Hinemos ver5.0
2015年5月リリース予定！
リリースまで、もうしばらくお待ちください

Copyright © 2014 NTT DATA Corporation

56

Docker対応

Copyright © 2015 NTT DATA Corporation57

いますぐに活用できる情報が満載！
Software Design plusシリーズ「Hinemos 統合管理［実践］入門」
倉田晃次，澤井健，幸坂大輔 著
定価: 本体3,700円＋税
大型本: 520ページ
出版社: 技術評論社
発売日： 2014/8/5

Software Design
連載中「Hinemosで学ぶジョブ管理超入門」

Copyright © 2015 NTT DATA Corporation

Hinemosポータル
http://www.hinemos.info/

茶納 佑季、眞野 将徳、山本未希 著

技術情報「クラウド運用管理特集」

定価: 本体1,220円＋税
B5判: 204ページ
出版社: 技術評論社
発売日： 2014/9/18

Hinemosクラウド管理スタートアップ
Hinemosで始めるクラウド管理
パブリッククラウドの操作ログ管理
...
58

まとめ

✔ Hinemosは、監視・ジョブなど、統合運用管理に必要な豊富な機能を備えたソフトウェアです✔ Hinemosならハイブリッドクラウド運用に必要な「見える化」と「自動化」が実現できます✔ 高い信頼性が必要となるエンタープライズ領域でも安心してご利用頂くことができます

Copyright © 2015 NTT DATA Corporation

59ますます高度化するシステム運用にシンプルな解決策を
Copyright © 2011 NTT DATA Corporation

Copyright © 2015 NTT DATA Corporation