ハイブリッドクラウド環境の運用監視の課題と解決策

2016/08/05
ミラクル・リナックス株式会社
マーケティング本部プロダクトマーケティング部
松永 貴

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedミラクル・リナックス社 会社概要
基本情報

主な株主構成設立

2000年6月

ソフトバンク・テクノロジー(株)

58%

資本金

4億円

日本電気（株）

14%(株)オービックビジネスコンサルタント

14%

代表取締役社長

伊東 達雄

社員
社員数70名（80%がエンジニア）

出身企業

富士通, NEC, 日本オラクルなど(株)日立製作所

4%(株)NTTデータ

4%

主な事業● 信頼性・安定性・品質を重視した Linux の提供● カーネル技術を活かした組み込みや DSへの応用● その他オープンソースの企業ユース向け事業- システム監視（ MIRACLE ZBX、Hatohol）- システムバックアップ（ MIRACLE System Savior)

本社(東京 東新宿)

松江ラボ

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

ベトナムホーチミン

2本日のテーマはハイブリッドクラウドの運用監視ですが、その前に．．．

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved3パブリッククラウドへの移行で監視はどう変わる？
● H/Wのトラブルからの解放○

クラウド業者にお任せ● 監視対象のインスタンス数が膨大○

物理マシンの数倍～数十倍（数百～数千インスタンス）● 頻繁にインスタンス数が増減○○

手動による登録/削除の限界見積りができない（Agent課金型ツール）● クラウドベンダー提供ツールでの監視も必要○

専用のツールでしか見れない情報（RDS、ELBなど）

監視ツールも含めて運用の効率化が必要
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

4

全てを移行できれば良いが．．．

プライベートクラウドや物理サーバ環境に残さざるを得ないものも．．．
● 個人データなど機密情報● 一部対応していないモジュール など= ハイブリッドクラウド
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved5ハイブリッドクラウドになるとどうなる？

● さらに監視の対象が増える○○

プライベートクラウド内のインスタンス
プライベートクラウド基盤● オンプレミス型ではH/Wの障害を無視できない○○○

企業（グループ企業）内の誰かが必ず監視している前提
H/Wの増減台数の増大 ⇒ 常に何らかの障害が発生している前提

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

6

結局のところ．．．運用はさらに複雑化！
パブリッククラウド
Agent

Agent

VM

VM

Agent

Agent

VM

VM

データ連携
同期など

・膨大なインスタンス・頻繁なインスタンス増減
・物理サーバ増減
・別々の監視ツール

監視ツール
VM

監視ツール
VM

クラウド
監視ツール

オンプレミス

監視ツール

運用効率化のためには、監視アプローチそのものを見直す必要がある

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

7運用の効率化に向けた監視アプローチの変更● サービスの継続を優先○○

アプリケーションの可用性
障害ホスト / 障害インスタンスの切り離し● 行動の契機となる障害検知にフォーカス○

個々の障害やエラーを全て同じように対応するのは非効率的● 物理ホストやインスタンスの増減への対応○○

検知・登録／削除の自動化
Agent課金型ツールの見直し● 複数の監視ツールをまとめて一元監視○

仮想インスタンス、オンプレミス、クラウド基盤の監視を一元化

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

8

本日のテーマ
パブリッククラウド
Agent

Agent

VM

VM

Agent

Agent

VM

VM

データ連携
同期など

VM

NagiosVM

オープンソースを使って、どこまで解決できるか？

クラウド
監視ツール

オンプレミスZabbix

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

9

本セミナーで登場するプロダクト● Zabbix○

オープンソースのシステム監視ソフトウェア● MIRACLE ZBX○

ZabbixをベースにML独自で不具合修正、機能追加（Add On）● Hatohol○

複数の監視ツールをまとめて一元監視を実現

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

10Zabbix とは？（システム監視ツール）
オープンソース●●●

ラトビア Zabbix LLC（旧Zabbix SIA）社が開発・提供
システム監視に特化したツール
GPLv2 ライセンス

サーバ側でハンドリング●●

監視データは全てサーバ側のDBに蓄積障害判定やイベントのハンドリングもサーバ側で実行※サーバがダウンした時のことを考える必要がある

Zabbixの動作環境
障害通知
表示
管理者

サーバに蓄積サーバで処理MySQLMariaDB
PostgreSQL

Zabbixサーバ設定

Zabbix Webインターフェース

SNMP Polling
SNMP Trap

ネットワーク機器ストレージSNMP対応機器

エージェントポーリング

エージェント
導入サーバ

Ping監視
ポート監視

エージェント
未導入サーバ

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Zabbix
エージェント11

MIRACLE ZBX （ベースはZabbix）● Zabbix の不具合を独自で修正して適用○

修正パッチは過去のバージョンに遡ってバックポート（最高で3バージョン前まで）● Zabbixのそれぞれのバージョンをベースに開発○

例： MIRACLE ZBX 3.0 は Zabbix3.0をベースを開発○

MIRACLE ZBX 自体もオープンソース● 企業で使われることを想定したソリューションを提供○○○

アプライアンス化、HAクラスタ化
H/Wベンダーと協業で各種テンプレートを開発・提供
監視データCSV出力や監視設定バックアップなど便利なオプションを提供● Server / Agent 間のセキュア通信が可能（MIRACLE ZBX 3.0）○○

Windows Server、HP-UXなどサポートされている全てのプラットフォームで対応
再コンパイル、再パッケージングの必要なし

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

12MIRACLE ZBX サポートの優位性● 最長10年の長期サポートを提供○

技術サポート7年、延長サポート3年● 障害解析や不具合は国内で完結○○

バグFIXはミラクル・リナックス社で実施
パッチはZabbix LLC社にフィードバック※パッチ投稿状況■ http://www.miraclelinux.com/product-service/zabbix/oss/patch● ZabbixにまつわるTipsや技術情報を公開○

ZabbixやMIRACLE ZBXに関する技術情報をブログで公開中
みらくるブログ（カテゴリから「 MIRACLE ZBXサポートTips」をクリック）

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

13各種テンプレートやオプションも提供● H/W、S/Wなどの監視テンプレートを提供○○○○Ciscoスイッチ用監視テンプレート
HPサーバ用監視テンプレート
VMware ESX・ESXi監視テンプレート
Oracle 監視テンプレート● 使って便利なオプション製品群○○○

Cisco UCS監視オプション（テンプレート込み）
設定バックアップオプション
監視データ出力オプション

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

14

運用統合ソフト「Hatohol」とは？
●●開発コミュニティ「Project Hatohol ※」が開発・提供しているOSS
様々なOSS運用ツールやクラウド管理ツールとの連携により運用統合を実現！
NagiosZabbixイベント管理Redmineインシデント管理

イベ

録
登トン

ント

通知

Ceilometer
稼働監視
リソース監視障害判定
ホスト管理
資源／資産管理
設定管理
一括変更

ドン
マコ
ト

リ

モー

デシン

サービスデスク

変更管理
リリース管理自動起票
エスカレーション
ステータス管理イ

状況表示
イベント管理イベント通知ログ管理
リソース状況参照

問題

切り分け

問題管理

fluentd※ 2013年より活動開始。ミラクル・リナックスは「 Project Hatohol」の活動を積極的に支援
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

15様々な監視ツールと連携して一元監視を実現
主な特長● 複数の監視サーバで取得した障害イベントを集約して一元監視● Zabbixで限界のあったスケールアウトの問題も解決● 重要な障害を見落とさないイベント画面
複数の監視サーバのイ
ベントを集約して一元監視Nagios：：

追加

Zabbix

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

16重要な障害の見落としを防ぐイベント画面
運用オペレータ向けの簡易インシデント管理画面
未対処の重要イベントを見逃さないための仕組みを提供！
表示のフィルタリ
ング機能が充実

未対処の重要イ
ベント数を表示

対処のマーキン
グが可能

重要度に応じた色の変更が可能

オペレータ間の引き継ぎのためのコメント付与が可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

17

MIRACLE ZBX8300 紹介（2016年11月頃）
Zabbix をもっと「便利」に！「安全」に！

Zabbix 検討する際の課題を解消
1.
2.
3.
4.
5.

クラスタウェア導入済！監視サーバがダウンしてもすぐに監視業務を継続
既存のZabbixやNagios サーバをまとめて一元監視が可能
監視の規模が増大してもスケールアウトが可能
システムに影響を与える障害を見落とさないイベント画面
DBパーティショニング実装！HouseKeeperによる性能劣化の問題を解決

すぐに監視設定が始められるアプライアンスとして提供！
しかも、H/Wから監視ツールまで安心のワンストップサポート付
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved18

本題に戻る前に．．．ちょっと振り返ってみましょう
さきほど、こんな話をしました

なんとなくカバーできそう！

こちらが肝になりそう....

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

19頻繁なインスタンスの増減への対応（その1）
インスタンスやホストの増減が頻繁に行われるImmutableな環境では、Zabbixのホストの自動登録機能とネットワークディスカバリ機能が便利

自動登録

NWディスカバリ

通信が途絶えたら対象ホストを削除
起動時に通知して自動登録ZabbixAgent

Zabbix
Agent

指定したNWにポーリング

ZabbixAgent・・・

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

・・・

20

頻繁なインスタンスの増減への対応（その2）● Zabbix API でホスト一覧を取得● Azure CLI で VM 一覧を取得● 2つのリストを比較し、追加対象と削除対象リストを作成
Zabbix Host List

Azule VM List

●
●

●
●
●

test_server_01
test_server_02

ホストリストにあって VMリストに無い
test_server_02
MIRACLE ZBX（Zabbix）から削除

比較

LINUX－SERVER
WIN-SERVERtest_server_01

VMリストにあってホストリストに無い
LINUX-SERVER
WIN-SERVER
MIRACLE ZBX（Zabbix）に追加※cronなどで定期的に実行※コマンドなど、詳しくはこちら「 Zabbix+Hatoholを使ったクラウド環境の運用監視」を参照してください
http://www.slideshare.net/miraclelinux/2016-0603-azureseminer

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

21

クラウドベンダー提供ツールとの連携
クラウド基盤の監視ツールとの連携をどうするか？
○○○

Ceilometer（OpenStack）
CloudWatch（AWS）
Azure管理ポータル（Azure）など

パブリッククラウド
Agent

Agent

VM

VM

VM

クラウド
監視ツール

Hatohol用
プラグイン

Hatoholとの連携Pluginを作成すれば、他の Zabbixとともに、Hatohol（MIRACLE ZBX8300）で一元監視が可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

22

他の運用管理ツールと連携するために：HAPI2.0● HAPI2.0（Hatohol Arm Plugin Interface 2.0）を整備● 個々のツールとの連携部分（Plugin）が作りやすくなった

Hatohol Server（MIRACLE ZBX8300にも搭載）
Hatohol Arm Plugin Interface (2.0)

TLSを用いた通信路のセキュア化が可能

Transport System (RabbitMQ)

JSON format
Ceilometer
用PluginAzure管理
ポータル用
PluginCloudWatch（AWS）用PluginOpenStackMicrosoft
Azure

AmazonWebServices

軽量言語で開発可能（Python, Ruby）

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

23

MIRACLE ZBX+HatoholによるOpenStack監視環境構築複数のMIRACLE ZBXとHatoholを利用したOpenStackの監視環境構築手順書やテンプレートを公開中！
詳しくはこちらへ（ Icehouse版）
http://www.miraclelinux.com/labs/lab07※「Liberty」版のテンプレートはこちら
https://github.com/miraclelinux/MIRACLE-ZBX-Templates/tree/master/openstack/common/liberty/2.2

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

24

MIRACLE ZBX+HatoholによるOpenStack監視環境構築● リソースの利用状況はCeilometerから取得○

Hatohol用のHAPI2.0 Plugin を既に公開済● 各ノードのコンポーネントはMIRACLE ZBXで監視○

テンプレートはGithubにて公開済【Liberty版】

computedemo テナント
インスタンス（Linux）

KVM

MIRACLEZBX ServerHatoholcontroller※日本仮想化技術株式会社の公開している「 OpenStack構築手順書」に準拠した環境を対象としています。

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

25

MIRACLE ZBX+HatoholによるOpenStack監視環境構築【公開済テンプレート一覧（Liverty版）】
https://github.com/miraclelinux/MIRACLE-ZBX-Templates/tree/master/openstack/common/liberty/2.2
ホスト（ノード）

テンプレートController

Template_OpenStack_Cinder
Template_OpenStack_Common
Template_OpenStack_Dashboard
Template_OpenStack_Glance
Template_OpenStack_Keystone
Template_OpenStack_MySQL
Template_OpenStack_Neutron_Controller
Template_OpenStack_Neutron_Network
Template_OpenStack_Nova_Controller
Template_OpenStack_RabbidMQComputeTemplate_OpenStack_Common
Template_OpenStack_Compute

さらに．．．
ネームスペース内のネットワークトラフィックやRabbidMQのキューの深さを監視するためのテンプレートやスクリプトも公開中。
https://github.com/miraclelinux/MIRACLE-ZBX-Templates/tree/master/openstack

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

26

《Demo》

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved27

本日のデモ環境

ConoHaDemo 用環境

ログ

Microsoft Azure

障害fluentd

ZBX AgentAppService
警告Webhook
Azure
Pluginサンプル

Demo用環境はMIRACLEZBX（Zabbix）で監視

Hatoholで一元監視

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved28

MIRACLE ZBXとHatoholによるハイブリッドクラウド監視パブリッククラウド
Agent

Agent

VM

VM

Agent

Agent

VM

VM

データ連携
同期など

オンプレミスVM

Nagios
VM

クラウド
監視ツール

・複数の監視ツールのまとめて一元監視・クラウド監視ツールとの連携
・ホストやインスタンスの増減に対応
・重要な障害を見落とさないイベント画面

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved29まとめ -- 本日お話ししたこと● 監視ツールを含めた運用の効率化が必要● 監視アプローチの変更が必要○ サービスの継続を優先○ 行動の契機となる障害検知にフォーカス○ ホストやインスタンスの頻繁な増減への対応○ 複数の監視ツールをまとめて一元監視● これらのオープンソースによる解決方法○ MIRACLE ZBX（Zabbix） + Hatohol

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved30ミラクル・リナックス株式会社 【無断転載を禁ず】
この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。
ミラクル・リナックス（株）は本書の内容に関していかなる保証もいたしません。
また、本書の内容に関連したいかなる損害についても責任を負いかねます。
又、本資料の著作権は特に指定されている箇所を除いて、ミラクル・リナックスが有します。
ミラクル・リナックスが著作権を有するコンテンツにつきましては、ミラクル・リナックスに対して無断で複製、改変、頒布などをすることはできません。
MIRACLE LINUXおよびAsianuxの製品名、ロゴ、サービス名などは、ミラクル・リナックスが所有するか、使用権許諾を受けている商標もしくは登録商標です。
その他、本 Web サイトに掲載されている他社の製品名、ロゴなどは、それぞれ該当する各社が所有する商標もしくは登録商標です。