202203版

Hinemosミッションクリティカル機能のご紹介
NTTデータ先端技術株式会社© 2022 NTT DATA Intellilink Corporation

INDEX
1.

Hinemosミッションクリティカル機能の特徴

2.

アーキテクチャ詳細解説

3.

ユースケース・導入事例

4.

ご相談・お問い合わせ© 2022 NTT DATA Intellilink Corporation2

Hinemosミッションクリティカル機能の特徴© 2022 NTT DATA Intellilink Corporation

3

運用管理機能の多重化の必要性
監視やジョブ管理といった運用管理機能についても、様々な場面で高可用性が必要にミッションクリティカルシステム

インフラのオープン化・クラウド化システムの機能全体を多重化
オンプレミス

仮想化

クラウドWebサーバ
・ハードウェア障害

運用管理サーバ
DBサーバ

・ハードウェア障害
・データセンタ障害

運用管理サーバの障害は、運用管理機能の停止に繋がる業務機能を提供するサーバだけでなく監視やジョブ管理を司る運用管理サーバも多重化が必須© 2022 NTT DATA Intellilink Corporation・ハードウェア障害
・ハイパーバイザ障害

オープン化に伴い単機能単一サーバの構成が主流となり、サーバ数の増大に伴いサーバ単位の障害は頻繁に発生

4

Hinemosミッションクリティカル機能とは統合運用管理機能を提供するHinemosマネージャの多重化をワンパッケージで提供！
収集・監視・自動化の高可用性を実現
Hinemosミッションクリティカル機能の特徴

簡易構築・低コスト①クラスタリングソフト・共有ディスク不要②マルチプラットフォーム対応

統合運用管理機能の可用性③障害検知と自動系切替による運用継続④系切替中のメッセージロスト防止機構

簡易運用・オンライン復旧⑤オンライン系切戻しによる障害復旧⑥1コマンドによる系切戻し© 2022 NTT DATA Intellilink Corporation5

①クラスタリングソフト・共有ディスク不要

簡易構築・低コスト

通常のOS2台だけで、Hinemosマネージャを多重化！
Hinemosマネージャ
マスタサーバスタンバイサーバ

死活監視（ハートビート）

DB同期

クラスタリングソフトの追加費用が不要

共有ディスクの追加費用が不要

設計・構築時のSE・CEコストを削減

障害発生時にもワンストップサポート

基盤要件がシンプル
マシンを2台用意するだけ

マルチプラットフォーム対応

Hinemos自身がソフトウェアで死活監視とDB同期を実施

ソフト・ハードウェア費用とエンジニア工数を一気に削減© 2022 NTT DATA Intellilink Corporation

6

②マルチプラットフォーム対応

簡易構築・低コスト

オンプレミス・仮想化・クラウド環境を全て同一アーキテクチャで対応
オンプレミス

仮想化

クラウド

IAサーバを2台用意するだけハイパーバイザが異なる仮想マシンを2台用意するだけインスタンスを2台用意するだけ
VPC Peer/DirectConnectにも対応

環境が変わっても、Hinemos自身がソフトウェアで死活監視とDB同期を実施するだけ

プラットフォームが変わっても、同じスキルセットで導入可能© 2022 NTT DATA Intellilink Corporation

7

②マルチプラットフォーム対応

簡易構築・低コスト

運用管理製品のクラウド対応の課題

運用管理製品を通常のクラスタ構成で実現すると、クラウドでは様々な課題が出てくる
クラウド上のクラスタ構成の課題

運用管理製品のNWの特徴

課題②

課題①
VPC Peer/DirectConnectでは使用できない

クラスタミドルはクラウド対応しているかFIP（フローティングIP）

DBサーバ

DNSサーバ

WEBサーバ

クラスタミドル

SMTPサーバ バッチサーバ

運用管理製品

運用管理製品

運用管理製品

課題③

Web/AP/DBサーバの様に特定のサーバ間ではなく全サーバ間との通信が必要となる（異なるNWセグメント、異なるVPC間等）

共有ディスクは何で実現するか

課題④
誰がこの構成をサポートするか

他にもAzureだと、この方式自体を推奨しないとったケースもある© 2022 NTT DATA Intellilink Corporation8

②マルチプラットフォーム対応

ソフトウェアで実現するクラスタ構成

簡易構築・低コスト

クラウドに影響されないアーキテクチャでクラスタを実現
Hinemosマネージャ
マスタサーバVPC Peer/DirectConnect環境でも利用可能（SIPだけで接続可能）

スタンバイサーバ

死活監視（ハートビート）

クラスタリングソフトは不要（Hinemosが機能として保持）
共有ディスクは不要（Hinemos自体でDB同期）

DB同期
構成全体をHinemos保守サポートだけで解決（ソフトウェアで実現するクラスタ構成）

Hinemos自身がソフトウェアで死活監視とDB同期を実施

AWSやAzureなど様々なクラウド上で、可用性構成を簡単に実現© 2022 NTT DATA Intellilink Corporation9③障害検知と自動系切替による運用継続

運用管理機能の可用性

環境に合った様々な障害を検知し、自動切替を実現
スタンバイ

マスタ

ネットワーク障害

監視の自動継続
トラップ系監視は系切替中のロストなし

ディスク障害

昇格

マスタ障害

✔

▲

【 Linux版オンプレの例】
障害検知：約30～60秒
自動切替：約15～60秒

✔

強制停止
サーバ障害

ジョブ制御の自動継続
セッション情報もロストなし

プロセス障害(1)運用管理サーバの様々な障害を検知(2)自動的にサーバ切替（スプリットブレイン防止機構あり）(3)監視・ジョブ制御等の運用継続

素早い自動切替により、監視やジョブ制御を止めることなく運用継続© 2022 NTT DATA Intellilink Corporation10④系切替中のメッセージロスト防止機構

運用管理機能の可用性両系でトラップ型データを受信するトラップ型監視のロスト防止機構
一般的な監視ツールのクラスタ構成

Hinemosミッションクリティカル構成
Hinemos（マスタ）

監視ツール

監視ツール

Hinemos（スタンバイ）

共有ディスク

クラスタミドルミッションクリティカル機能

SIP（スタティックIP）

FIP（フローティングIP）

snmptrap

snmptrap

syslogsyslog

二重でトラップ型データを受信して重複判定を行うた
め、二重監視・二重通知は発生しない

カスタムトラップ

マスタ・スタンバイの両サーバのSIPでトラップ型データを受信をして系切替中の受信担保をする

FIPでトラップ型データを受信するため系切替中のトラップ型データは受信できない

Hinemosマネージャの系切替中でも、重要なトラップをロストせずに監視© 2022 NTT DATA Intellilink Corporation

11

⑤オンライン系切戻しによる障害復旧

簡易運用・オンライン復旧

片系運転からの両系運転への切戻しも、オンラインで実現
障害時の自動切替が出来ても、両系運転に切戻す際に停止が発生しては意味がない
オンラインでスタンバイ組込み完了

マスタ

障害

マスタ

障害復旧後スタンバイ

マスタ自動切替
空データ
オンライン同期

片系運転状態で復旧コマンドを実行

障害発生から障害復旧まで、全てをシステムに影響なく無停止で対処！
© 2022 NTT DATA Intellilink Corporation

12

⑥1コマンドによる系切戻し

簡易運用・オンライン復旧

複数の障害パターンに対して、提供する復旧コマンドは１つのみ
一般的な運用管理製品のクラスタ構成

Hinemosミッションクリティカル構成
Hinemos（マスタ）運用管理製品

運用管理製品クラスタミドル

Hinemos（スタンバイ）

ミッションクリティカル機能

簡単組込

共有ディスク・障害ポイントが多い・対処する操作は障害ポイントによる・複数のエンジニアが必要

・Hinemos視点で障害切り分け可・復旧コマンドは1つだけ
・Hinemosエンジニアのみで十分

パターンごとの復旧手順書が必要

復旧手順書のパターンは不要

シンプルな手順書かつオペレータでも実施できる簡易操作で復旧が可能© 2022 NTT DATA Intellilink Corporation

13

クラスタ方式からみたHinemosの優位性
Hinemos

一般的なクラスタ方式の製品

費用◎ Hinemosのソフトウェア費用のみ△

クラスタミドル、共有ディスク、構築費用など

切替時間

〇

素早い切替（１～２分）△

数分～数十分かかるものも監視◎ トラップ型監視のロスト防止機構

×

トラップ型監視はロスト

ジョブ〇

〇

ジョブ制御の自動継続

復旧◎ １つの復旧コマンド

×障害パターンごとの復旧方法

クラウド◎ プラットフォーム非依存で全機能を高可用化

×

クラウドにより実現可否・制約がある

保守性◎ ワンストップ保守サポート

×

障害ポイントごとに異なる保守サポート

ジョブ制御の自動継続設計・導入・運用そして費用の全てにおいて優位性がある© 2022 NTT DATA Intellilink Corporation14

アーキテクチャ詳細解説© 2022 NTT DATA Intellilink Corporation15

アーキテクチャ詳細解説
Linux版,Windows版マネージャ共通
アーキテクチャの主要なポイント・アーキテクチャ概要
・クラスタの仕組み
・データ同期の仕組み
・メッセージロスト防止機構
・エージェント接続方式© 2022 NTT DATA Intellilink Corporation16

アーキテクチャ概要

ソフトウェアで実現するクラスタ構成

ブラウザ

Hinemos Agent (JavaVM)

運用PC端末管理対象サーバ

管理ネットワーク

SIP

アーキテクチャのポイント
Hinemosマネージャの構成

FIP

SIP

FIP

Hinemos ManagerのJavaプロセス
PostgreSQLのプロセス

Cluster Controllerの機能
クラスタ管理Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

ハートビートなどのクラスタ管理
FIPの管理Hinemos内部DBの同期
PostgreSQLの同期レプリケーション

PostgreSQL - Master

PostgreSQL - Standby

Hinemos Client/Hinemos Agent

同期レプリケーション

Hinemos Web Client (JavaVM)

Hinemos Web Client (JavaVM)

マネージャサーバ#1

マネージャサーバ#2

SIP/FIPに対応した接続機構

簡易セットアップ
インストーラに従った操作で簡単構築

IPMIネットワーク© 2022 NTT DATA Intellilink Corporation17

クラスタの仕組み
Cluster Controllerがクラスタの基本機能を実現し、系切替が必要な障害を検知
Cluster Controllerの機能
HA構成管理 赤字のヘルスチェックで障害検知し系切替
・MasterサーバおよびStandbyサーバの決定
・ハートビート通信によるヘルスチェック
・ステートフルセッションによるヘルスチェック

SIP

FIP

SIP

FIP

クラスタ管理Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

PostgreSQL - Master

PostgreSQL - Standby

Hinemos Web Client (JavaVM)

Hinemos Web Client (JavaVM)

マネージャサーバ#1

マネージャサーバ#2

マネージャ上のリソース管理・プロセス制御とネットワーク設定
・外部ネットワークからのサーバ孤立検知
・ネットワークインタフェースのヘルスチェック
・フローティングIPアドレスのヘルスチェック・ファイルシステムのヘルスチェック
・PostgreSQLのヘルスチェック
・Hinemos Manager (JavaVM)のヘルスチェック

トラップ(受信)系監視の可用性向上
・系切替中のトラップのロスト防止（syslog, snmptrap, カスタムトラップ）

クラスタミドルは不要！ Hinemosだけで高可用性を実現© 2022 NTT DATA Intellilink Corporation

18

データ同期の仕組み
Hinemosの設定・履歴情報を蓄積する内部DBを、同期レプリケーションによりデータ同期

Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

6.応答

1.Commit

3.WAL転送

PostgreSQL - Master
2.WAL書込

Hinemosの重要なデー
タを内部DBに蓄積
設定
監視設定
ジョブ定義、等
履歴
性能実績
ジョブセッション
監視イベント、等

設定・履歴

PostgreSQL - Standby
5.応答

WAL

4.WAL書込

設定・履歴

マネージャサーバ#1

WAL

スタンバイ側のWAL書込を保証する同期レプリ
ケーションにより、確実な業務引き継ぎを保障。

マネージャサーバ#2

共有ディスクは不要！ ソフトウェアでデータ同期を実現© 2022 NTT DATA Intellilink Corporation19

メッセージロスト防止機構
両系でトラップ型データを受信して、系切替中のデータロストを防止しながら重複通知も抑制

系切替中でも、かならずどちらかで受信を保証する

syslog (TCP/UDP)
snmptrap (UDP)
カスタムトラップ (HTTP/HTTPS)

syslog (TCP/UDP)
snmptrap (UDP)
カスタムトラップ (HTTP/HTTPS)

両系のSIPに対して、トラップを重複して受信する

Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

受信キュー

受信キュー

転送判定済み受信履歴転送判定済み受信履歴
キャッシュ同期

転送キュー

転送キュー

転送 (TCP)
Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

PostgreSQL - Master

PostgreSQL - Standby

マネージャサーバ#1

マネージャサーバ#2

重複して受信したトラップに対して、同一のものを除外して監視対象として扱う

通常のクラスタ構成では実現の難しい系切替中のデータロスト防止を実現© 2022 NTT DATA Intellilink Corporation20

メッセージロスト防止機構

メッセージ同一性判定

各トラップのメッセージの内容をベースに同一性判定を行う◆syslogの場合◆snmptrap（v2）の場合◆カスタムトラップの場合{"FacilityID":"送信元のファシリティID","DATA":[{"DATE":"yyyy-MM-dd HH:mm:ss","TYPE":"NUM“ or “STRING”,"KEY":"キーパターン","MSG":"任意の数値"}]◆snmptrap（v3）の場合}～トラップの同一性判定の条件～
・トラップの送信元が同一・メッセージ（紫枠）が同一・直近の期間(デフォルト30秒)で転送されていない© 2022 NTT DATA Intellilink Corporation21

エージェント接続方式
シンプルな接続方式にてHinemosマネージャのFIP/SIPの両方に対応[FIPへアクセスする場合の設定]
managerAddress=http://192.168.1.241:8081/HinemosWS/[SIPへアクセスする場合の設定]
managerAddress=http://192.168.1.101:8081/HinemosWS/,http://192.168.1.102:8081/HinemosWS/

Agent.properties

Hinemos Agent (JavaVM)
管理対象サーバ

管理ネットワーク

エージェント接続先の自動切替
・managerAddressにHinemosマネージャの接続リスト（カンマ区切り）で指定・先頭から順に試行して、接続できたマネージャと通信再開（ラウンドロビン）

・重要なデータはHinemosマネージャ側
保存のため接続先を切替のみで処理継続

SIP

FIP

SIP

FIP

Cluster Controller (JavaVM)

Cluster Controller (JavaVM)

Hinemos Manager (JavaVM)

Hinemos Manager (JavaVM)

PostgreSQL - Master

PostgreSQL - Standby

マネージャサーバ#1

マネージャサーバ#2

FIPが使用できないクラウド環境下でも、可用性構成を簡単に実現© 2022 NTT DATA Intellilink Corporation22

ユースケース・導入事例© 2022 NTT DATA Intellilink Corporation23

ユースケース
運用管理サーバのディスク障害をイメージとした例
SEは、ディスク障害の調査・解決までを対応すればＯＫStandby
として復旧

障害発生

通常SE対応がいるケースが多い！

×
自動的にサーバ切替

オペレータがSEに状況を連絡SEによる障害調査・解決

オペレータが復旧コマンドオペレータでHinemosに関するほとんどの作業のカバーが可能© 2022 NTT DATA Intellilink Corporation

24

導入事例
株式会社NTTデータ カード決済サービス「CAFIS®」様
金融分野におけるミッションクリティカルなIaaS基盤・PaaS基盤の統合運用管理を、Hinemosで実現「CAFIS ® 」は、クレジットカード会社、金融機関、企業、加盟店の間で、クレジット情報（与信照会、売り上げ、等）および、資金移動のオンライン・トランザクションを中継するカード決済統合サービスです。「CAFIS ® 」では、お客様の営業時間や生活時間に応じていつでもサービスを利用できるよう、日曜・祝日、夜間に関係なく、24時間365日サービスを提供しています。

採用の決め手・物理環境から仮想化環境まで網羅する豊富な機能
・ミッションクリティカル運用を実現する高い可用性・システム統合後も独立運用可能なアクセス制御

ミッションクリティカルな運用基盤での採用実績！
信頼性の高い機能として認められている© 2022 NTT DATA Intellilink Corporation25ご相談・お問い合わせ© 2022 NTT DATA Intellilink Corporation26

お問い合わせはこちら
製品・サービスに関するお問い合わせはこちら
Hinemosに関するお問合せお気軽にお問合せください。
Hinemosポータルサイト
URL：https://www.hinemos.info/contact

ご相談フォ
ーム

© 2022 NTT DATA Intellilink Corporation27

お待ちしているもに！

© 2022 NTT DATA Intellilink Corporation