ハイブリッドクラウド環境の運用監視の課題と解決策

2016/06/24
ミラクル・リナックス株式会社
マーケティング本部プロダクトマーケティング部
松永 貴

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedミラクル・リナックス社 会社概要
基本情報

主な株主構成設立

2000年6月

ソフトバンク・テクノロジー(株)

58%

資本金

4億円

日本電気（株）

14%(株)オービックビジネスコンサルタント

14%

代表取締役社長

伊東 達雄

社員
社員数70名（80%がエンジニア）

出身企業

富士通, NEC, 日本オラクルなど(株)日立製作所

4%(株)NTTデータ

4%

主な事業● 信頼性・安定性・品質を重視した Linux の提供● カーネル技術を活かした組み込みや DSへの応用● その他オープンソースの企業ユース向け事業- システム監視（ MIRACLE ZBX、Hatohol）- システムバックアップ（ MIRACLE System Savior)

本社(東京 東新宿)

松江ラボ

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

ベトナムホーチミン

2本日のテーマはハイブリッドクラウドの運用監視ですが、その前に．．．

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved3パブリッククラウドへの移行で監視はどう変わる？
● H/Wのトラブルからの解放○

クラウド業者にお任せ● 監視対象のインスタンス数が膨大○

物理マシンの数倍～数十倍（数百～数千インスタンス）● 頻繁にインスタンス数が増減○○

手動による登録/削除の限界見積りができない（Agent課金型ツール）● クラウドベンダー提供ツールでの監視も必要○

専用のツールでしか見れない情報（RDS、ELBなど）

監視ツールも含めて運用の効率化が必要
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

4

全てを移行できれば良いが．．．

プライベートクラウドや物理サーバ環境に残さざるを得ないものも．．．
● 個人データなど機密情報● 一部対応していないモジュール など= ハイブリッドクラウド
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved5ハイブリッドクラウドになるとどうなる？

● さらに監視の対象が増える○○

プライベートクラウド内のインスタンス
プライベートクラウド基盤● オンプレミス型ではH/Wの障害を無視できない○○○

企業（グループ企業）内の誰かが必ず監視している前提
H/Wの増減台数の増大 ⇒ 常に何らかの障害が発生している前提

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

6

結局のところ．．．運用はさらに複雑化！
パブリッククラウド
Agent

Agent

VM

VM

Agent

Agent

VM

VM

データ連携
同期など

・膨大なインスタンス
・頻繁なインスタンス増減
・物理サーバ増減
・別々の監視ツール

監視ツール
VM

監視ツール
VM

クラウド
監視ツール

オンプレミス

監視ツール

運用効率化のためには監視アプローチの変更が必要

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

7運用の効率化に向けた監視アプローチの変更● サービスの継続を優先○○

アプリケーションの可用性
障害ホスト / 障害インスタンスの切り離し● 行動の契機となる障害検知にフォーカス○

個々の障害やエラーを全て同じように対応するのは非効率的● 物理ホストやインスタンスの増減への対応○○

検知・登録／削除の自動化
Agent課金型ツールの見直し● 複数の監視ツールをまとめて一元監視○

仮想インスタンス、オンプレミス、クラウド基盤の監視を一元化

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

8

本日のテーマ
パブリッククラウド
Agent

Agent

VM

VM

Agent

Agent

VM

VM

データ連携
同期など

VM

NagiosVM

オープンソースを使って、どこまで解決できるか？

クラウド監視ツール

オンプレミスZabbix

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

9

本セミナーで登場するプロダクト● Zabbix○

オープンソースのシステム監視ソフトウェア● MIRACLE ZBX○

ZabbixをベースにML独自で不具合修正、機能追加（Add On）● Hatohol○

複数の監視ツールをまとめて一元監視を実現● MIRACLE ZBX8300○

企業ユースを想定したMIRACLE ZBX / Hatoholベースのアプライアンス

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

10Zabbix とは？（システム監視ツール）
オープンソース●●

ラトビア Zabbix LLC（旧Zabbix SIA）社が開発・提供
GPLv2 ライセンス

サーバ側でハンドリング●●

監視データは全てサーバ側のDBに蓄積障害判定やイベントのハンドリングもサーバ側で実行※サーバがダウンした時のことを考える必要がある

Zabbixの動作環境
障害通知
表示
管理者

サーバに蓄積サーバで処理MySQLMariaDB
PostgreSQL

Zabbixサーバ設定

Zabbix Web
インターフェース

SNMP Polling
SNMP Trap

ネットワーク機器
ストレージ
SNMP対応機器

エージェントポーリング

エージェント
導入サーバ

Ping監視
ポート監視

エージェント
未導入サーバ

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Zabbix
エージェント11

ミラクル・リナックスのZabbixに対する取り組み● 2007年：某通信業者のZabbix導入・サポート支援を開始○

独自の修正を行う傍ら、Zabbixコミュニティへのフィードバックも開始● 2011年：Zabbixアプライアンス製品を提供開始○

Zabbixを組み込んだアプライアンスを提供開始● 2012年：MIRACLE ZBXブランドを立ち上げ○ Zabbix 製品、サービスをMIRACLE ZBXブランドとして統合○

HAクラスタ構成のアプライアンスも提供開始「MIRACLE ZBX」シリーズは、オープンソースのZabbixをベースに、ミラクル・リナックスが独自でパッケージを作成しサポート提供しているものであり、Zabbixの開発元であるZabbix LLC社が推奨もしくはサポート提供やスポンサーしているものではありません。

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

12MIRACLE ZBX とは？（ベースはZabbix）● Zabbix の不具合に対してML社が独自にパッチを作成し適用○開発したパッチはZabbix LLCにフィードバック※パッチ投稿状況
http://www.miraclelinux.com/product-service/zabbix/oss/patch● Zabbix のそれぞれのバージョンをベースにMIRACLE ZBXを開発○

例： MIRACLE ZBX 3.0 は Zabbix3.0をベースを開発● MIRACLE ZBX 自体もオープンソース● 企業ユースを意識したソリューション化○

アプライアンス化、クラスタリング化、サポートの提供など● MIRACLE ZBX 3.0は、Server / Agent 間のセキュア通信が行えるようパッケージング済○

再コンパイルの必要なし。そのままセキュア通信が可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

13

運用統合ソフト「Hatohol」とは？
●●開発コミュニティ「Project Hatohol ※」が開発・提供しているOSS
様々なOSS運用ツールやクラウド管理ツールとの連携により運用統合を実現！
NagiosZabbixイベント管理Redmineインシデント管理

イベ録
登ト
ン

ント

通知

Ceilometer
稼働監視
リソース監視障害判定
ホスト管理
資源／資産管理
設定管理
一括変更

ドン
マコ
ト

リ

モーデ
シン

サービスデスク

変更管理
リリース管理自動起票
エスカレーション
ステータス管理イ

状況表示
イベント管理イベント通知ログ管理
リソース状況参照

問題

切り

分け

問題管理

fluentd※ 2013年より活動開始。ミラクル・リナックスは「 Project Hatohol」の活動を積極的に支援
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

14様々な監視ツールと連携して一元監視を実現
主な特長● 複数の監視サーバで取得した障害イベントを集約して一元監視● Zabbixで限界のあったスケールアウトの問題も解決● 重要な障害を見落とさないイベント画面
複数の監視サーバのイ
ベントを集約して一元監視Nagios：：

追加

Zabbix

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

15重要な障害の見落としを防ぐイベント画面
運用オペレータ向けの簡易インシデント管理画面
未対処の重要イベントを見逃さないための仕組みを提供！
表示のフィルタリ
ング機能が充実

未対処の重要イ
ベント数を表示

対処のマーキン
グが可能

重要度に応じた色の変更が可能

オペレータ間の引き継ぎのためのコメント付与が可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

16

MIRACLE ZBX8300 紹介 -- 2016年夏登場！
Zabbix をもっと「便利」に！「安全」に！

Zabbix 検討する際の課題を解消
1.
2.
3.
4.
5.

クラスタウェア導入済！監視サーバがダウンしてもすぐに監視業務を継続
既存のZabbixやNagios サーバをまとめて一元監視が可能
監視の規模が増大してもスケールアウトが可能
システムに影響を与える障害を見落とさないイベント画面
DBパーティショニング実装！HouseKeeperによる性能劣化の問題を解決すぐに使えるアプライアンスとして提供！
しかも、H/Wから監視ツールまで安心のワンストップサポート付
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

17本題に戻る前に．．．ちょっと振り返ってみましょう
さきほど、こんな話をしました

なんとなくカバーできそう！

こちらが肝になりそう....

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved18

頻繁なインスタンスの増減への対応（その1）
インスタンスやホストの増減が頻繁に行われるImmutableな環境では、Zabbixのホストの自動登録機能とネットワークディスカバリ機能が便利

自動登録

NWディスカバリ

通信が途絶えたら対象ホストを削除
起動時に通知して自動登録ZabbixAgent

ZabbixAgent指定したNWにポーリング

ZabbixAgent・・・

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved・・・

19

頻繁なインスタンスの増減への対応（その2）● Zabbix API でホスト一覧を取得● Azure CLI で VM 一覧を取得● 2つのリストを比較し、追加対象と削除対象リストを作成
Zabbix Host List

Azule VM List

●
●

●
●
●

test_server_01
test_server_02

ホストリストにあって VMリストに無い
test_server_02
MIRACLE ZBX（Zabbix）から削除

比較

LINUX－SERVER
WIN-SERVER
test_server_01

VMリストにあってホストリストに無い
LINUX-SERVER
WIN-SERVER
MIRACLE ZBX（Zabbix）に追加※cronなどで定期的に実行※コマンドなど、詳しくはこちら「 Zabbix+Hatoholを使ったクラウド環境の運用監視」を参照してください
http://www.slideshare.net/miraclelinux/2016-0603-azureseminer

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved20クラウドベンダー提供ツールとの連携
クラウド基盤の監視ツールとの連携をどうするか？
○○○

Ceilometer（OpenStack）
CloudWatch（AWS）
Azure管理ポータル（Azure）

Agent

Agent

VM

VMなど

VM

クラウド
監視ツール

Hatohol
プラグイン

8300

Hatoholとの連携Pluginを作成すれば、他の Zabbixとともに、Hatohol（MIRACLE ZBX8300）で一元監視が可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

21

他の運用管理ツールと連携するために：HAPI2.0● HAPI2.0（Hatohol Arm Plugin Interface 2.0）を整備● 個々のツールとの連携部分（Plugin）が作りやすくなった

MIRACLE ZBX8300（Hatohol Server）
Hatohol Arm Plugin Interface (2.0)

TLSを用いた通信路のセキュア化が可能

Transport System (RabbitMQ)

JSON format
Ceilometer
用PluginAzure管理
ポータル用
PluginCloudWatch（AWS）用PluginOpenStackMicrosoftAzure

AmazonWeb
Services

軽量言語で開発可能（Python, Ruby）

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

22

MIRACLE ZBX+HatoholによるOpenStack監視環境構築

複数のMIRACLE ZBXとHatoholを利用したOpenStackの監視環境構築手順書やテンプレートを公開中！
詳しくはこちらへ（ Icehouse版）
http://www.miraclelinux.com/labs/lab07※「Liberty」版のテンプレートはこちら
https://github.com/miraclelinux/MIRACLE-ZBX-Templates/tree/master/openstack/common/liberty/2.2

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

23

MIRACLE ZBX+HatoholによるOpenStack監視環境構築● リソースの利用状況はCeilometerから取得○

Hatohol用のHAPI2.0 Plugin を既に公開済● 各ノードのコンポーネントはMIRACLE ZBXで監視○

テンプレートはGithubにて公開済【Liberty版】

computedemo テナント
インスタンス（Linux）

KVM

MIRACLEZBX ServerHatoholcontroller※日本仮想化技術株式会社の公開している「 OpenStack構築手順書」に準拠した環境を対象としています。

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

24

MIRACLE ZBX+HatoholによるOpenStack監視環境構築【公開済テンプレート一覧（Liverty版）】
https://github.com/miraclelinux/MIRACLE-ZBX-Templates/tree/master/openstack/common/liberty/2.2
ホスト（ノード）

テンプレートController

Template_OpenStack_Cinder
Template_OpenStack_Common
Template_OpenStack_Dashboard
Template_OpenStack_Glance
Template_OpenStack_Keystone
Template_OpenStack_MySQL
Template_OpenStack_Neutron_Controller
Template_OpenStack_Neutron_Network
Template_OpenStack_Nova_Controller
Template_OpenStack_RabbidMQ

ComputeTemplate_OpenStack_Common
Template_OpenStack_Compute

さらに．．．
ネームスペース内のネットワークトラフィックやRabbidMQのキューの深さを監視するためのテンプレートやスクリプトも公開中。
https://github.com/miraclelinux/MIRACLE-ZBX-Templates/tree/master/openstack

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

25

《Demo》

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved26

本日のデモ環境

ConoHaDemo 用環境

ログ

Microsoft Azure

障害

fluentd

ZBX Agent

AppService
警告

Webhook
Azure
Pluginサンプル

Demo用環境はMIRACLEZBX（Zabbix）で監視

Hatoholで一元監視

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved27

MIRACLE ZBX8300によるハイブリッドクラウド監視パブリッククラウド
Agent

Agent

VM

VM

Agent

Agent

VM

VM

データ連携
同期など

VM

8300

Nagios
VM

クラウド
監視ツール

オンプレミス
直接監視・複数の監視ツールのまとめて一元監視・クラウド監視ツールとの連携
・ホストやインスタンスの増減に対応
・重要な障害を見落とさないイベント画面

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

28導入事例１：（株）インテージテクノスフィア様
MIRACLE ZBXアプライアンスの採用で導入コスト 83%ダウン！！
●●

運用コスト削減を実現
業務の信頼性・可用性の向上を実現
監視対象サーバ数１,000台以上！

採用のポイント・ TivoriからのリプレースでOSSを検討
・ 最終的にZabbixとHinemosが残った
・ Hinemosでは規模的に賄いきれない⇒ Zabbixに決定！
・ HA構成まで自力で構成するのは困難⇒ MIRACLE ZBX 8K 採用を決定

Copyright © 2000-2015 MIRACLE LINUX CORPORATION All rights reserved29導入事例２：（株）アット東京様
クラウド型IT監視サービス「@Ractiv」にMIRACLE ZBXを採用低価格な監視サービスを提供●Zabbixベースなのでユーザからも大きな関心<（株）アット東京様> ご紹介
・セコムグループのデータセンター事業者（ 2000年設立）
・24h×365dを通じたシステムの安定稼働を求めるニーズに対応
・2016年2月より、クラウド型監視プラットフォームサービス「 @Ractiv」提供開始

導入の背景

選定の理由

・ 自社DC内のサーバ、NWの監視⇒ ユーザ毎に個別対応
・ 統一したクラウド型監視サービスの提供⇒ 付加価値の提供
・ 高額な商用製品は採用できない⇒ オープンソース（Zabbix）の採用を検討

・ @Ractiv のビジネスモデルに合わせた柔軟な対応
・ OS、ミドルウェア、DBを含めたワンストップサポート、技術面での安心感

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved30まとめ -- 本日お話ししたこと● 監視ツールを含めた運用の効率化が必要● 監視アプローチの変更が必要○ サービスの継続を優先○ 行動の契機となる障害検知にフォーカス○ ホストやインスタンスの頻繁な増減への対応○ 複数の監視ツールをまとめて一元監視● これらのオープンソースによる解決方法○ MIRACLE ZBX（Zabbix） + Hatohol○ すぐに使えるアプライアンス MIRACLE ZBX8300

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved31

MIRACLE ZBX、Hatoholの目指すところ．．．

Zabbix をもっと「便利」に！「安全」に！
8300

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

32

ミラクル・リナックス株式会社 【無断転載を禁ず】
この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。
ミラクル・リナックス（株）は本書の内容に関していかなる保証もいたしません。
また、本書の内容に関連したいかなる損害についても責任を負いかねます。
又、本資料の著作権は特に指定されている箇所を除いて、ミラクル・リナックスが有します。
ミラクル・リナックスが著作権を有するコンテンツにつきましては、ミラクル・リナックスに対して無断で複製、改変、頒布などをすることはできません。
MIRACLE LINUXおよびAsianuxの製品名、ロゴ、サービス名などは、ミラクル・リナックスが所有するか、使用権許諾を受けている商標もしくは登録商標です。
その他、本 Web サイトに掲載されている他社の製品名、ロゴなどは、それぞれ該当する各社が所有する商標もしくは登録商標です。

Appendix
MIRACLE ZBX8300のさらに便利な機能！
● HouseKeeperによる性能劣化を防止○ 期限切れのデータ削除にMIRACLE ZBX独自の工夫● 監視データを簡単にレポート添付○ 指定した期間の監視データをCSVに出力可能● 設定変更前に念のためバックアップ○ 監視設定のみを抜き出して高速バックアップ○ 元の設定に戻すときに、データの整合性を保持

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved34

Zabbix HouseKeeperの影響HouseKeeper ＝ 期限の過ぎたhistoryデータ、trendデータをDelete- 運用開始から90日後： historyデータのDelete開始- 運用開始から365日後：history/trendデータのDelete開始
HouseKeeper実行時のCPU使用率（4core）
激しい書き込み処理で I/O待ちが発生する傾向があり、監視遅延が発生する可能性

・監視待ちでキューにたまり始める
・監視自体が遅れ出す、一部監視が抜ける
・最悪、監視不可になり監視対象から切り離される可能性

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved35

DBテーブルパーティショニング
テーブルパーティショニングを実装済み
HouseKeeperを停止させ定常的なDelete負荷を削減●●●

MIRACLE ZBX 2.0
MySQL 5.5
DBパーティショニングあり●●●

CPU使用率OSS版Zabbix 2.0
MySQL5.1
DBパーティショニングなし
CPU使用率

毎日パーティションの作成・削除.
これでHouseKeeperと同様の効果となる

毎時、HouseKeeperが古いデータをDelete.
I/O待ちが発生※ベンチマークの内容： 50,000監視項目2,000トリガー/5分
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved36監視データCSV出力オプション付属・コマンドから期間を指定してまとめて CSV出力
コマンド実行・GUIから任意の期間で監視データを CSVに出力

監視データ:100GB・出力可能な項目
トリガーの出力
イベントの出力トレンドの出力
ヒストリの出力・フィルタ可能な項目
期間
ホスト名
表示ホスト名トリガー名
アイテム名
アイテムキー
データ型

表示中のグラフ・
データをCSVに出力・CSV(history) ... history を使用
・CSV(trends) ... trends を使用
・CSV ... 表示されているグラフにより、自動選択※スコープを広げた場合、データはトレンドデータとなり、ダウンロードした Excelには間引いたデータのみとなる

cronを使って自動化も可能- 設定バックアップオプションとの組み合わせで Zabbixのデータ全体を保管できる- Zabbixの監視データを使ってユーザが独自に集計／解析できる (Excelなど)- 監視データを短い期間で DBから削除できるため、大規模監視時の HDD容量を節約できる- 他のツールと連携が可能になる※出力した監視データのインポートはできません

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved37設定バックアップオプション付属
監視設定の変更前に、念のためバックアップを！
●●●リカバリ時に整合性を保って、最新データを削除しない
mysqldumpの全体バックアップに比べ高速・短時間バックアップデータも数MB程度
MIRACLE ZBX
設定バックアップオプション

監視データ:
100GB

監視設定:
10MB

テンプレート
exportmysqldump

対象データ

監視データのみ（例：10MB）

監視テンプレートのみ（例：8MB）

DB内の全データ（例：100GB）

処理時間

1分以内

数秒から数分

数分から1時間

処理負荷

SQLで一部カラム参照のため低負荷

PHP経由のため高負荷

全テーブル参照のため高負荷

リカバリ時に設定のみ反映

エクスポートできない
データがある

リカバリ時に監視データまで上書きし、最新データを失う

データ整合性・マップ・正規表現・値のマッピング・アクションなど

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved38

価格（MIRACLE ZBX8300）
製 品

価 格

MIRACLE ZBX8300（1年サポートパック）

4,680,000円（税別）

1台構成のタイプです。サポート 1年付きの価格です。

MIRACLE ZBX8300（5年サポートパック）

8,300,000円（税別）

1台構成のタイプです。サポート 5年付きの価格です。

MIRACLE ZBX8300（クラスタ1年サポートパック）

6,900,000円（税別）

2台のクラスタ構成のタイプです。サポート 1年付きの価格です。

MIRACLE ZBX8300（クラスタ5年サポートパック）

12,000,000円（税別）

2台のクラスタ構成のタイプです。サポート 5年付きの価格です。

製 品

価 格

備 考

MIRACLE ZBX8300
1年延長サポート1,500,000円（税別）

1台構成タイプの 1年延長サポートの価格です。

1,800,000円（税別）

2台のクラスタ構成タイプの 1年延長サポートの価格です。

MIRACLE ZBX8300
クラスタ１年延長サポート

備 考Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

39