202308版

Hinemos ミッションクリティカル機能紹介

NTTデータ先端技術株式会社© 2023 NTT DATA INTELLILINK Corporation

INDEX
1.
2.
3.
4.

Hinemosミッションクリティカル機能の特徴
アーキテクチャ詳細解説
ユースケース
appendix© 2023 NTT DATA INTELLILINK Corporation2

1
Hinemosミッションクリティカル機能の特徴© 2023 NTT DATA INTELLILINK Corporation© 2023 NTT DATA INTELLILINK Corporation
3

運用管理機能の多重化の必要性
監視やジョブ管理といった運用管理機能についても、様々な場面で高可用性が必要にミッションクリティカルシステム
システムの機能全体を多重化

インフラのオープン化・クラウド化
仮想化

オンプレミスWebサーバ・ハードウェア障害

運用管理サーバ
DBサーバ

業務機能を提供するサーバだけでなく監視やジョブ管理を司る運用管理サーバも多重化が必須

・ハードウェア障害
・ハイパーバイザ障害

クラウド・ハードウェア障害
・データセンタ障害

運用管理サーバの障害は、運用管理機能の停止に繋がる

オープン化に伴い単機能単一サーバの構成が主流となり、サーバ数の増大に伴いサーバ単位の障害は頻繁に発生© 2023 NTT DATA INTELLILINK Corporation

4

Hinemosミッションクリティカル機能とは統合運用管理機能を提供するHinemosマネージャの多重化をワンパッケージで提供！
収集・監視・自動化の高可用性を実現
Hinemosミッションクリティカル機能の特徴

簡易構築・低コスト①クラスタリングソフト・共有ディスク不要②マルチプラットフォーム対応

統合運用管理機能の可用性③障害検知と自動系切替による運用継続④系切替中のメッセージロスト防止機構

簡易運用・オンライン復旧⑤オンライン系切戻しによる障害復旧⑥1コマンドによる系切戻し© 2023 NTT DATA INTELLILINK Corporation5簡易構築・低コスト①クラスタリングソフト・共有ディスク不要
通常のOS2台だけで、Hinemosマネージャを多重化！
Hinemosマネージャ
スタンバイサーバ

マスタサーバ

死活監視（ハートビート）

DB同期

Hinemos自身がソフトウェアで死活監視とDB同期を実施

クラスタリングソフトの追加費用が不要

共有ディスクの追加費用が不要

設計・構築時のSE・CEコストを削減

障害発生時にもワンストップサポート基盤要件がシンプル
マシンを2台用意するだけ

マルチプラットフォーム
対応

ソフト・ハードウェア費用とエンジニア工数を一気に削減© 2023 NTT DATA INTELLILINK Corporation

6簡易構築・低コスト②マルチプラットフォーム対応

オンプレミス・仮想化・クラウド環境を全て同一アーキテクチャで対応
オンプレミス

仮想化

クラウド

IAサーバを2台用意するだけ

ハイパーバイザが異なる
仮想マシンを2台用意するだけインスタンスを2台用意するだけ
VPC Peer/DirectConnectにも対応

環境が変わっても、Hinemos自身がソフトウェアで死活監視とDB同期を実施するだけ

プラットフォームが変わっても、同じスキルセットで導入可能© 2023 NTT DATA INTELLILINK Corporation

7簡易構築・低コスト②マルチプラットフォーム対応 運用管理製品のクラウド対応の課題

運用管理製品を通常のクラスタ構成で実現すると、クラウドでは様々な課題が出てくる
運用管理製品のNWの特徴

クラウド上のクラスタ構成の課題
課題①

VPC Peer/DirectConnectでは使用できない

課題②

クラスタミドルはクラウド対応しているか
FIP（フローティングIP）

DBサーバ

DNSサーバ

WEBサーバクラスタミドル

SMTPサーバ バッチサーバ

運用管理製品

運用管理製品

Web/AP/DBサーバの様に特定のサーバ間ではなく全サーバ間との通信が必要となる（異なるNWセグメント、異なるVPC間等）

課題③

共有ディスクは何で実現するか

運用管理製品

課題④

誰がこの構成をサポートするか

他にもAzureだと、この方式自体を推奨しないとったケースもある© 2023 NTT DATA INTELLILINK Corporation8簡易構築・低コスト②マルチプラットフォーム対応 運用管理製品のクラウド対応の課題
クラウドに影響されないアーキテクチャでクラスタを実現
Hinemosマネージャ
スタンバイサーバ

マスタサーバ

死活監視（ハートビート）

DB同期

Hinemos自身がソフトウェアで死活監視とDB同期を実施

VPC Peer/DirectConnect環境でも利用可能（SIPだけで接続可能）
クラスタリングソフトは不要（Hinemosが機能として保持）
共有ディスクは不要（Hinemos自体でDB同期）
構成全体をHinemos保守サポートだけで解決（ソフトウェアで実現するクラスタ構成）

AWSやAzureなど様々なクラウド上で、可用性構成を簡単に実現© 2023 NTT DATA INTELLILINK Corporation

9

運用管理機能の可用性③障害検知と自動系切替による運用継続
環境に合った様々な障害を検知し、自動切替を実現
マスタ

ネットワーク障害

スタンバイ

ディスク障害障害

サーバ障害

プロセス障害(1)運用管理サーバの様々な障害を検知

昇格

マスタ

強制停止

(2)自動的にサーバ切替（スプリットブレイン防止機構あり）✔

▲【 Linux版オンプレの例】
障害検知：約30～60秒
自動切替：約15～60秒

監視の自動継続
トラップ系監視は系切替中のロストなし✔

ジョブ制御の自動継続
セッション情報もロストなし(3)監視・ジョブ制御等の運用継続

素早い自動切替により、監視やジョブ制御を止めることなく運用継続© 2023 NTT DATA INTELLILINK Corporation

10

運用管理機能の可用性④系切替中のメッセージロスト防止機構

両系でトラップ型データを受信するトラップ型監視のロスト防止機構
一般的な監視ツールのクラスタ構成
監視ツール

監視ツール

Hinemosミッションクリティカル構成
Hinemos（マスタ）

Hinemos（スタンバイ）

共有ディスク

クラスタミドルミッションクリティカル機能

SIP（スタティックIP）

FIP（フローティングIP）

snmptrap

syslog

FIPでトラップ型データを受信するため系切替中のトラップ型データは受信できない

snmptrap

syslog

二重でトラップ型データを受信して重複判定を行うた
め、二重監視・二重通知は発生しない

カスタムトラップ

マスタ・スタンバイの両サーバのSIPでトラップ型データを受信をして系切替中の受信担保をする

Hinemosマネージャの系切替中でも、重要なトラップをロストせずに監視© 2023 NTT DATA INTELLILINK Corporation

11

簡易運用・オンライン復旧⑤オンライン系切戻しによる障害復旧

片系運転からの両系運転への切戻しも、オンラインで実現
障害時の自動切替が出来ても、両系運転に切戻す際に停止が発生しては意味がない
オンラインでスタンバイ組込み完了

マスタ

障害

障害復旧後

マスタ

スタンバイ

マスタ

自動切替
空データ
オンライン同期

片系運転状態で復旧コマンドを実行

障害発生から障害復旧まで、全てをシステムに影響なく無停止で対処！
© 2023 NTT DATA INTELLILINK Corporation

12簡易運用・オンライン復旧⑥1コマンドによる系切戻し

複数の障害パターンに対して、提供する復旧コマンドは１つのみ
一般的な運用管理製品のクラスタ構成
運用管理製品

運用管理製品クラスタミドル

Hinemosミッションクリティカル構成
Hinemos（マスタ）

Hinemos（スタンバイ）

ミッションクリティカル機能

簡単組込

共有ディスク・障害ポイントが多い・対処する操作は障害ポイントによる・複数のエンジニアが必要

・Hinemos視点で障害切り分け可・復旧コマンドは1つだけ
・Hinemosエンジニアのみで十分パターンごとの復旧手順書が必要

復旧手順書のパターンは不要

シンプルな手順書かつオペレータでも実施できる簡易操作で復旧が可能© 2023 NTT DATA INTELLILINK Corporation

13

クラスタ方式からみたHinemosの優位性
Hinemos

一般的なクラスタ方式の製品◎ Hinemosのソフトウェア費用のみ△

クラスタミドル、共有ディスク、構築費用など〇

素早い切替（１～２分）△

数分～数十分かかるものも監視◎ トラップ型監視のロスト防止機構

×トラップ型監視はロスト

ジョブ〇

〇

ジョブ制御の自動継続復旧◎ １つの復旧コマンド×

障害パターンごとの復旧方法

クラウド◎ プラットフォーム非依存で全機能を高可用化

×

クラウドにより実現可否・制約がある

保守性◎ ワンストップ保守サポート

×

障害ポイントごとに異なる保守サポート

費用
切替時間

ジョブ制御の自動継続設計・導入・運用そして費用の全てにおいて優位性がある© 2023 NTT DATA INTELLILINK Corporation

14

2アーキテクチャ詳細解説© 2023 NTT DATA INTELLILINK Corporation15

アーキテクチャ詳細解説
Linux版,Windows版マネージャ共通
アーキテクチャの主要なポイント・アーキテクチャ概要
・クラスタの仕組み
・データ同期の仕組み
・メッセージロスト防止機構
・エージェント接続方式© 2023 NTT DATA INTELLILINK Corporation16

アーキテクチャ概要 ソフトウェアで実現するクラスタ構成
ブラウザ

Hinemos Agent (JavaVM)

運用PC端末管理対象サーバ

管理ネットワーク

SIP

アーキテクチャのポイント
Hinemosマネージャの構成

FIP

SIP

FIP

Hinemos ManagerのJavaプロセス
PostgreSQLのプロセス

Cluster Controllerの機能
Cluster Controller (JavaVM)

クラスタ管理Hinemos Manager (JavaVM)

Cluster Controller (JavaVM)
Hinemos Manager (JavaVM)

PostgreSQL - Master

PostgreSQL - Standby
同期レプリケーション

Hinemos Web Client (JavaVM)

Hinemos Web Client (JavaVM)

マネージャサーバ#1

マネージャサーバ#2

IPMIネットワーク

ハートビートなどのクラスタ管理
FIPの管理Hinemos内部DBの同期
PostgreSQLの同期レプリケーション

Hinemos Client/Hinemos Agent
SIP/FIPに対応した接続機構

簡易セットアップ
インストーラに従った操作で簡単構築© 2023 NTT DATA INTELLILINK Corporation17

クラスタの仕組み
Cluster Controllerがクラスタの基本機能を実現し、系切替が必要な障害を検知
Cluster Controllerの機能
HA構成管理 赤字のヘルスチェックで障害検知し系切替・MasterサーバおよびStandbyサーバの決定
・ハートビート通信によるヘルスチェック
・ステートフルセッションによるヘルスチェック

マネージャ上のリソース管理・プロセス制御とネットワーク設定
・外部ネットワークからのサーバ孤立検知
・ネットワークインタフェースのヘルスチェック
・フローティングIPアドレスのヘルスチェック・ファイルシステムのヘルスチェック
・PostgreSQLのヘルスチェック
・Hinemos Manager (JavaVM)のヘルスチェック

トラップ(受信)系監視の可用性向上
・系切替中のトラップのロスト防止（syslog, snmptrap, カスタムトラップ）

クラスタミドルは不要！

SIP

FIP

Cluster Controller (JavaVM)

SIP

クラスタ管理FIP

Cluster Controller (JavaVM)

Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

PostgreSQL - Master

PostgreSQL - Standby

Hinemos Web Client (JavaVM)

Hinemos Web Client (JavaVM)

マネージャサーバ#1

マネージャサーバ#2

Hinemosだけで高可用性を実現© 2023 NTT DATA INTELLILINK Corporation

18

データ同期の仕組み
Hinemosの設定・履歴情報を蓄積する内部DBを、同期レプリケーションによりデータ同期
Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

6.応答

1.Commit

3.WAL転送

PostgreSQL - Master
Hinemosの重要なデー
タを内部DBに蓄積
設定
監視設定
ジョブ定義、等
履歴
性能実績
ジョブセッション
監視イベント、等

2.WAL書込

設定・履歴

WAL

マネージャサーバ#1

共有ディスクは不要！

PostgreSQL - Standby
5.応答

4.WAL書込

設定・履歴

WAL

マネージャサーバ#2

スタンバイ側のWAL書込を保証する同期レプリ
ケーションにより、確実な業務引き継ぎを保障。

ソフトウェアでデータ同期を実現© 2023 NTT DATA INTELLILINK Corporation19

メッセージロスト防止機構
両系でトラップ型データを受信して、系切替中のデータロストを防止しながら重複通知も抑制
syslog (TCP/UDP)
snmptrap (UDP)
カスタムトラップ (HTTP/HTTPS)

両系のSIPに対して、トラップを重複して受信する系切替中でも、かならずどちらかで受信を保証する

syslog (TCP/UDP)
snmptrap (UDP)
カスタムトラップ (HTTP/HTTPS)

Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

受信キュー

受信キュー

転送判定済み受信履歴
転送キュー

キャッシュ同期

転送判定済み受信履歴
転送キュー

転送 (TCP)
Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

PostgreSQL - Master

PostgreSQL - Standby

マネージャサーバ#1

マネージャサーバ#2

重複して受信したトラップに対して、同一のものを除外して監視対象として扱う

通常のクラスタ構成では実現の難しい系切替中のデータロスト防止を実現© 2023 NTT DATA INTELLILINK Corporation20

メッセージロスト防止機構 メッセージ同一性判定
各トラップのメッセージの内容をベースに同一性判定を行う◆syslogの場合◆snmptrap（v2）の場合◆カスタムトラップの場合{}"FacilityID":"送信元のファシリティID","DATA":[{"DATE":"yyyy-MM-dd HH:mm:ss","TYPE":"NUM“ or “STRING”,"KEY":"キーパターン","MSG":"任意の数値"}]◆snmptrap（v3）の場合～トラップの同一性判定の条件～・トラップの送信元が同一・メッセージ（紫枠）が同一・直近の期間(デフォルト30秒)で転送されていない© 2023 NTT DATA INTELLILINK Corporation21

エージェント接続方式
シンプルな接続方式にてHinemosマネージャのFIP/SIPの両方に対応[FIPへアクセスする場合の設定]
managerAddress=http://192.168.1.241:8081/HinemosWS/[SIPへアクセスする場合の設定]
managerAddress=http://192.168.1.101:8081/HinemosWS/,http://192.168.1.102:8081/HinemosWS/

Agent.properties

Hinemos Agent (JavaVM)
管理対象サーバ

管理ネットワーク

エージェント接続先の自動切替
・managerAddressにHinemosマネージャの接続リスト（カンマ区切り）で指定
・先頭から順に試行して、接続できたマネージャと通信再開（ラウンドロビン）
・重要なデータはHinemosマネージャ側
保存のため接続先を切替のみで処理継続

SIP

FIP

SIP

FIP

Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

PostgreSQL - Master

PostgreSQL - Standby

マネージャサーバ#1

マネージャサーバ#2

FIPが使用できないクラウド環境下でも、可用性構成を簡単に実現© 2023 NTT DATA INTELLILINK Corporation22

3
ユースケース© 2023 NTT DATA INTELLILINK Corporation23

ユースケース
運用管理サーバのディスク障害をイメージとした例
SEは、ディスク障害の調査・解決までを対応すればＯＫStandby
として復旧

障害発生

通常SE対応がいるケースが多い！

×
自動的にサーバ切替
オペレータがSEに状況を連絡

SEによる障害調査・解決

オペレータが復旧コマンド

オペレータでHinemosに関するほとんどの作業のカバーが可能© 2023 NTT DATA INTELLILINK Corporation24

4appendix© 2023 NTT DATA INTELLILINK Corporation25

Hinemosではじめる

実践ジョブ管理・自動化入門
技術評論社

2023.3.9 発売開始
最新バージョン ver.7.0に対応

Amazonから購入可能© 2023 NTT DATA INTELLILINK Corporation26

お問い合わせはこちらお待ちしているもに！

Hinemosに関するお問合せ
お気軽にお問合せください。
Hinemosポータルサイト
URL：https://www.hinemos.info/contact

ご相談フォーム© 2023 NTT DATA INTELLILINK Corporation27

© 2023 NTT DATA INTELLILINK Corporation