Hinemos Deep Dive
～ ミッションクリティカル機能 on クラウド ～NTTデータ先端技術株式会社© 2019 NTT DATA INTELLILINK Corporation

はじめにクラウド利用もスタンダードになってきた昨今でも、運用管理製品のクラウド上の可用性構成は非常に大きな課題です。
本セクションでは、クラウド環境上で可用性構成の難しさとその解決方法を解説します。
それにより、先日AWS 東京リージョンで発生したようなAZの大規模障害時でも安心して運用継続できることを説明します。

© 2019 NTT DATA INTELLILINK Corporation2

1. パブリッククラウド上の運用管理マネージャを高可用性構成にするには？
2. ～障害発生時の挙動～
AWS大規模障害中のHinemosは？

© 2019 NTT DATA INTELLILINK Corporation3

パブリッククラウド上の運用管理マネージャを高可用性構成にするには？

© 2019 NTT DATA INTELLILINK Corporation4

クリアすべき３つの課題①クラスタミドルの課題②共有ディスクの課題③仮想IP（FIP）の課題© 2019 NTT DATA INTELLILINK Corporation5

①クラスタミドルの課題

一般的な運用管理製品

一般的な運用管理製品の可用性構成
エージェン
ト：SIP：FIP

1. クラスタミドルは組み合わせに対応できるか？
・運用管理製品に対応？
・クラウドに対応？
・その両方に対応？

クラウドではクラスタミドル？

ハートビード

運用管理マネージャ

クラスタミドル

運用管理
マネージャ

・NWセグメント障害は？
（VPC等）
・データセンタ障害は？
（AZ等）

共有ディスク© 2019 NTT DATA INTELLILINK Corporation

2. クラスタミドルは目的の障害に対応できるか？

6

①クラスタミドルの課題

Hinemosによる解決

Hinemosマネージャの可用性構成
エージェン
ト：SIP：FIP

Hinemos MC機能はClusterContoller

ハートビードHinemos
マネージャ

Hinemos
マネージャ

内部DB

ClusterContoller

同期© 2019 NTT DATA INTELLILINK Corporation

内部DB7クラスタミドルの機能も組み込み済み
組み合わせや動作クラウドの確認は不要
AZ障害まで対応

②共有ディスクの課題 一般的な運用管理製品
一般的な運用管理製品の可用性構成
1. 共有ディスクには何を代替にするのか？

エージェン
ト：SIP
：FIP

クラスタミドルハートビード

運用管理マネージャ

クラスタミドル

運用管理
マネージャ

共有ディスク© 2019 NTT DATA INTELLILINK Corporation？

クラウドでは8・ブロックストレージ？
（EBS等）
・DBサービス？
（RDS等）

2. 共有ディスクの代替は目的の障害に対応できるか？
・NWセグメント障害は？
（VPC等）
・データセンタ障害は？
（AZ等）

②共有ディスクの課題 Hinemosによる解決
Hinemosマネージャの可用性構成
エージェン
ト：SIP
：FIP

Hinemos MC機能はClusterContoller

ハートビードHinemos
マネージャ

内部DB

ClusterContoller

Hinemos
マネージャ

同期© 2019 NTT DATA INTELLILINK Corporation

内部DB9

内部DBが自分自身で同期を実施
AZ障害まで対応

③仮想IP（FIP）の課題 一般的な運用管理製品
一般的な運用管理製品の可用性構成
：SIP
：FIP

×

クラウドではクラスタミドル

エージェン
ト

1. AWSでは次のNW間で仮想IPへ接続できません
・VPC Peer間・Direct Connect間

ハートビード

運用管理マネージャ

クラスタミドル

運用管理
マネージャ

VPCのRouteTableはVPC内からの通信にしか効かない
2. AzureではIP関連処理で次の問題があります
・IP付け替え処理が遅い
API操作で数分レベル・ロードバランサ方式推奨
SIが必ず発生する共有ディスクaz network nic ip-config delete -g <リソースグループ名> -n <IP構成名> --nic-name <旧MasterサーバのNIC名>az network nic ip-config create -g <リソースグループ名> -n <IP構成名> --nic-name <新MasterサーバのNIC名> --private-ipaddress <FIP>© 2019 NTT DATA INTELLILINK Corporation

10

運用管理製品が故の課題
運用管理マネージャは、あらゆるＮＷセグメントのエージェントと通信が必須

別VPC間

同一サブネット間
別サブネット間© 2019 NTT DATA INTELLILINK Corporation

11

③仮想IP（FIP）の課題 Hinemosによる解決
Hinemosマネージャの可用性構成
エージェン
ト：SIP
：FIP

・Hinemosは静的IPに対応

自動切換え
ClusterContoller

ハートビードHinemos
マネージャ

内部DB

ClusterContoller

Hinemos
マネージャ

同期© 2019 NTT DATA INTELLILINK Corporation

内部DB

12

・障害発生ノードから正常ノードへ自動で切替
・VPC間、Direct Connect間も問題なし３つの課題のまとめ
一般的な運用管理製品の可用性構成

Hinemosの可用性構成①クラスタミドルの課題

クラスタ機能を内包②共有ディスクの課題

自身で内部DBを同期する機構③仮想IP（FIP）の課題

静的IPベースでシンプルな切替© 2019 NTT DATA INTELLILINK Corporation

13

Hinemosの可用性構成のポイント• Hinemosというソフトウェアで可用性構成を実現• クラスタミドル不要• 共有ディスク不要• 可用性構成のトラブルもソフトウェアの範疇で対応• 製品の組み合わせによる切り分けが不要• オンプレ・仮想化・クラウドで同じ可用性構成• どの環境でも可用性構成は同じアーキテクチャ• クラウドの仮想IP問題も意識する必要なし• 運用管理製品特有の問題も簡単にクリア© 2019 NTT DATA INTELLILINK Corporation14

～障害発生時の挙動～
AWS大規模障害中のHinemosは？

© 2019 NTT DATA INTELLILINK Corporation15

2019.8.23のAWSの東京リージョン大規模障害
規模・2019年8月23日12時30分～
・6～10時間前後
対象
・AWSの東京リージョン
AP-NORTHEAST-1
・EC2、EBS、RDSの一部
ポイント・データセンタ規模の障害・マルチAZ構成におけるデファクトALBでもエラーが発生し回避不可© 2019 NTT DATA INTELLILINK Corporation

16

AWSの東京リージョン大規模障害中のHinemos？
東京リージョン大規模障害中のポイント

Hinemosの可用性構成

データセンタ規模の障害

AZ対応

マルチAZ構成におけるデファクトALBALBを使わず自身で振り分け

クラウドの状態管理

クラウドサービス監視でいち早く検知© 2019 NTT DATA INTELLILINK Corporation

17

AWSの東京リージョン大規模障害中のHinemos？
東京リージョン大規模障害中のポイント

Hinemosの可用性構成

データセンタ規模の障害

AZ対応

マルチAZ構成におけるデファクトALBALBを使わず自身で振り分け

クラウドの状態管理

クラウドサービス監視でいち早く検知© 2019 NTT DATA INTELLILINK Corporation18

クラウドサービス監視
Hinemosが自動的にAWS Health dashboardからRSSで情報を取得し、システムの障害かクラウドの障害かを判別可能

EC2障害

RSSRDS障害

2019.8.23時点のAWS Health dashboard© 2019 NTT DATA INTELLILINK Corporation

19

まとめ© 2019 NTT DATA INTELLILINK Corporation

20

まとめ• Hinemos クラウド環境下でも可用性を簡易に実現• AWS大規模障害でも安心して運用を継続• それを支えるのは、ソフトウェアで実現するシンプルな可用性構成のミッションクリティカル機能

クラウド上で安心した監視・ジョブ運用を実現したい場合、是非Hinemosをご検討ください© 2019 NTT DATA INTELLILINK Corporation21

© 2019 NTT DATA INTELLILINK Corporation