マルチクラウドにおける運用監視～ HatoholやZabbixでどこまでできるか？～

2016/03/04
ミラクル・リナックス株式会社
マーケティング本部プロダクトマーケティング部
松永 貴

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedミラクル・リナックスご紹介◆基本情報
設立 ：2000年6月
資本金：4億円
代表取締役社長：伊東 達雄◆社員
社員数：70名（80%がエンジニア）

ソフトバンク・テクノロジー（株）

58%

日本電気（株）

14%（株）オービックビジネスコンサルタント

14%（株）日立製作所

4%（株）NTTデータ

4%◆実績- 交換機から自治体の通信サーバなど
年間15,000本のOS出荷実績- インフラ基盤で最長19年サポート（実施中）- 唯一の国産ディストリビューターとして15年- 企業の根幹を支えるシステムプラットフォームとして採用事例多数◆特徴- 日本での日本人による日本語でのサポート- Kernel～APまでのパッケージ提供・管理- チップ / Kernel / OSSの総合的なLinux知識

本社（東京東新宿）：60名
新宿区新宿6-27-30
新宿イーストサイドスクエア７F

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

HCMC（ベトナムホーチミン） :10名

ミラクル・リナックスのZabbixに対する取り組み● 2007年より、某通信業者のZabbix導入・サポート支援を開始○

独自の修正を行う傍ら、Zabbixコミュニティへのフィードバックも開始● 2011年よりZBXアプライアンス製品を提供開始○

Zabbixを組み込んでアプライアンス化を提供開始● 2012年よりMIRACLE ZBXブランドを立ち上げ○ Zabbix 製品、サービスをMIRACLE ZBXブランドとして統合○

冗長化構成のアプライアンスも提供開始● 2013年よりHatohol開発コミュニティの積極支援○○

開発を主導するエンジニアの派遣
UIデザイナを絡めた使いやすさと品質の向上「MIRACLE ZBX」シリーズは、オープンソースのZabbixをベースに、ミラクル・リナックスが独自でパッケージを作成しサポート提供しているものであり、Zabbixの開発元であるZabbix LLC社が推奨もしくはサポート提供やスポンサーしているものではありません。

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedさて、このセッションの本題は．．．

マルチクラウドの運用監視です。

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedその前に

そもそも、何でマルチクラウドなの？

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedマルチクラウドを選択する理由

一つのクラウドだと危ないから．．．

● アーキテクチャ● システムやサービスの特性

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedそれでは．．．

クラウドの監視って何か違うの．．．か?

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedクラウド環境の運用上の課題①スケールアウトすることを前提にシステムが作られている②管理対象サーバー数が膨大である

スケールアップからスケールアウト

100物理マシン
1,000仮想マシン③運用の効率化が求められる④障害が頻繁に発生することを想定した運用が必要

一人の管理者が1,000物理サーバーを管理

常にどこかで障害が発生
平均故障間隔（MTBF）

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved本日のテーマ（マルチ）クラウド環境の運用上の課題に対して、
Zabbix／MIRACLE ZBXによるシステム監視およびHatoholによる監視統合を使って、どこまで解決できるかを説明します。

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedクラウド環境の特徴● 多数の物理マシン○

物理マシンが多い ⇒ 故障する箇所も多い● 非常に多くのインスタンス（仮想マシン）○

物理マシンの数倍～数十倍● 物理マシン、仮想マシン共に頻繁に増減する○○○○○

物理マシン増強 ⇒ 恒久的に増加
物理マシン故障 ⇒ 一時的に減少（切り離し）
利用者増加 ⇒ インスタンス増加
利用者減少 ⇒ インスタンス減少
ピーク時 ⇒ インスタンス増加

常に何らかのアラートが発生している可能性がある⇒ 様々な事象に対して、運用の効率化が求められる

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

運用の効率化に向けて● 監視アプローチの変更○

サービスの継続を優先■ アプリケーションの冗長化が前提■ 障害ホストや障害ゲストは切り離す● 監視は障害検知に重点を置く○○

重要なのは、行動の契機となる障害を検知すること個々の障害やエラーを同じように対応するのは非効率的● 障害検知の自動化も考慮する○

少なくとも、検知した障害の初動までは可能のはず構築費用や運用費用も重要な要素
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Zabbix による監視システムOSS●●ラトビア Zabbix LLC（旧Zabbix SIA）社が開発・提供
GPLv2 ライセンス

サーバ側でハンドリング●●●

監視データは全てサーバ側のDBに蓄積障害判定やイベントのハンドリングもサーバ側で実行
逆にAgentは軽量

Zabbixの動作環境
障害通知
表示
管理者

MySQL
PostgreSQL

Zabbixサーバ

設定

Zabbix Web
インターフェース

SNMP Polling
SNMP Trap

ネットワーク機器
ストレージ
SNMP対応機器

エージェントポーリング

エージェント
導入サーバ

Ping監視
ポート監視

エージェント
未導入サーバ

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Zabbix
エージェントMIRACLE ZBX とは？
Zabbix をベースに、独自のバグFIXと機能拡張を加えた
企業ユース向けシステム監視ソリューション
● MIRACLE ZBXパッケージ自体はオープンソースで公開● 不具合の解決や機能拡張は国内で完結○○○

バグFIXはミラクル・リナックス（国内）で実施
設定バックアップ、CSV出力などアドオン提供
コミュニティへのフィードバック● 企業ユースを意識したソリューション化○○

アプライアンス化、クラスタリング化、DBパーティショニング化
安心のワンストップ・サポートを提供「MIRACLE ZBX」シリーズは、オープンソースのZabbixをベースに、ミラクル・リナックスが独自でパッケージを作成しサポート提供しているものであり、Zabbixの開発元であるZabbix LLC社が推奨もしくはサポート提供やスポンサーしているものではありません。

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved頻繁なインスタンスの増減への対応
インスタンスやホストの増減が頻繁に行われるImmutableな環境では、ホストの自動登録機能とネットワークディスカバリ機能が便利

自動登録

NWディスカバリ

ZabbixServerZabbixServer
通信が途絶えたら対象ホストを削除

起動時に通知して自動登録ZabbixAgent

Zabbix
Agent

指定したNWにポーリング

ZabbixAgent・・・

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved・・・

スケールアウトへの対応● Zabbix単独でのスケールアウトは限界がある○ Zabbixサーバのキャパの範囲まではスケールアウトが可能○ 問題は、そのキャパの範囲を超えた場合にどうするか？

により解決！

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Hatoholによる運用統合
ZabbixやNagiosだけでなく、Redmineやfluentdなど他のOSS運用ツールやクラウド管理ツールとの連携による運用統合を実現！
NagiosZabbixイベント管理Redmineインシデント管理

イベ

録
登ト

ント

通知

Ceilometer
稼働監視
リソース監視障害判定
ホスト管理
資源／資産管理
設定管理
一括変更

サービスデスク

ドン
マ

コート

リモン
デシ

変更管理
リリース管理イン

状況表示
イベント管理イベント通知自動起票
エスカレーション
ステータス管理

ログ管理
リソース状況参照

問題

切り分け問題管理

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

fluentd

Hatoholによる監視統合● スケールアウトした複数の監視サーバを統合して一元監視○ 検知した障害の一括監視・管理と権限分掌の両立■■■

Zabbix / MIRACLE ZBX
Nagios（プラグイン作成により、その他も追加可能）● クラウド環境の管理ツールとの統合（プラグイン作成必須）○ Ceirometer（OpenStack：提供済）○ CloudWatch（AWS）○ Azure管理ポータル（Azure）など

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Hatoholを利用した監視統合とスケールアウト（１）複数の監視サーバをまとめて一元化！スケールアウトも可能
課題

ご提案

・複数の監視サーバが混在している・システム拡張があり監視サーバを追加したい
・これらをまとめて見れないか？

・ Hatohol によるZabbix／Nagiosの監視統合を実現
・ HatoholもZabbixもワンストップサポート

Hatohol

ZabbixZabbixZabbix

Nagios追加

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Zabbix追加

Hatoholとは？
● OSSの運用統合ソフト○○

コードリポジトリ■ https://github.com/project-hatohol/hatohol/
ライセンス■ LGPLv3● オープンな開発コミュニティ「Project Hatohol」が開発○ ミラクル・リナックスの有志社員が中心となって設立● 世界中で使われるソフトウェアを目指す

絶賛！協力者募集中！
どなたでもWelcome❤
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

監視オペレータ向け新イベント画面

NEW

運用オペレータ向けの簡易インシデント管理画面
未対処の重要イベントを見逃さないための仕組みを提供！
表示のフィルタリ
ング機能が充実
対処のマーキン
グが可能

重要度に応じた色の変更が可能

未対処の重要イ
ベント数を表示※16.04では、運用オペレータ間の引き継ぎのためにコメント付与機能を計画！

乞うご期待！
Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

監視オペレータ向け新イベント画面

NEW!

深刻度に合わせて、表示色や表示ラベルを変更可能

ウォッチしたいイベント情報を自由にフィルタリング可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

他の運用管理ツールと連携するために：HAPI2.0● HAPI2.0（Hatohol Arm Plugin Interface 2.0）を整備● 個々のツールとの連携部分（Plugin）が作りやすくなった

New feature

15.06

TLSを用いた通信路のセキュア化が可能

JSON format

軽量言語で開発可能（Python, Ruby）

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

Hatoholによるクラウド一元監視- クラウド基盤の各レイヤーを別々のZabbixサーバで管理し、Hatoholで一元管理- お客様テナント毎にZabbixサーバを用意し、Hatohol を通じて柔軟なアクセス制御
クラウドでのネットワーク
Net1

ZBX agent
Customer
VM

Net2

ZBX agent
Customer
VM

ZBX agent
CustomerVM

ZBX severVM

USER1
Net1のみ閲覧
ZBX agent
Customer
VM

Net3

ZBX agent
Customer
VM

ZBX agent
Customer
VM

Net4

NRPZ
Customer
VM

NREZ
CustomerVM

ZBX sever
VM

S

Hatohol

USER2
Net2全て閲覧

ZBX severVM

USER3
Net3~4閲覧
Nagiosアクションの実施
グラフの統合Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedマルチクラウド／ハイブリッドクラウド監視- 個々のクラウドやオンプレミスの監視はZabbix（MIRACLE ZBX）を使って監視- それぞれのZabbix（MIRACLE ZBX）をHatoholで一元監視- Haotohol - Zabbix（MIRACLE ZBX）間はセキュア通信
オンプレミス

Hatohol

SZabbix
S
パブリッククラウド A
Agent

クラウド B （パブリック／プライベート）

Agent

ZabbixS

ZBX agent

ZBX agent

VM

VM

VM

VM

ZBX agent

ZBX agent

Agent

Agent

VM

VM

VM

VM

VM

VM

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

VM

ZabbixVM

まとめ：
クラウド運用で大切なこと● 今までよりも大幅な運用の効率化が求められる● 何よりもサービスの継続性を優先● 行動の契機となる障害を検知する

Hatohol+Zabbixによる（マルチクラウド）監視● インスタンスの増減はZabbixで、監視サーバのスケールアウトはHatoholで！
● 個々のレイヤーの監視はZabbixで、これらの一元監視をHatoholで！
● 個々のテナント監視はZabbixで、これらの一元監視はHatoholで！
● HatoholとZabbixの間はセキュアな通信が可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

MIRACLE ZBX8300 紹介 -- 2016年夏登場！

本日紹介した．．．とをアプライアンス化にします。さらに．．．
・監視サーバダウン時もすぐに監視業務を継続（クラスタ構成済）
・購入後も安心のワンストップサポート付き

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

MIRACLE ZBX8300のメリット● 監視サーバがダウンしても、すぐに監視業務を継続○

Zabbixが停止すると監視業務も停止してしまう課題を解決● H/Wまでまとめてワン・ストップ・サービス○

障害時に問題を切り分ける必要がない● 一から構築する場合に比べて、約40%のコストメリット○必要な製品は最適構成済！構築の手間も必要なし● 監視サーバの分散統合／スケールアウトが可能○

Zabbix単独では実現できない課題を解決。

● システム監視オペレータ向けのイベント画面を提供○○

複数監視サーバのイベントをまとめて表示
重要イベントに対処状況をマーキングすることが可能

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reserved

MIRACLE ZBX、Hatoholの目指すところ．．．

Zabbix を今よりもっと「便利」に！「安全」に！

Copyright © 2000-2016 MIRACLE LINUX CORPORATION All rights reservedミラクル・リナックス株式会社 【無断転載を禁ず】
この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。
ミラクル・リナックス（株）は本書の内容に関していかなる保証もいたしません。
また、本書の内容に関連したいかなる損害についても責任を負いかねます。
又、本資料の著作権は特に指定されている箇所を除いて、ミラクル・リナックスが有します。
ミラクル・リナックスが著作権を有するコンテンツにつきましては、ミラクル・リナックスに対して無断で複製、改変、頒布などをすることはできません。
MIRACLE LINUXおよびAsianuxの製品名、ロゴ、サービス名などは、ミラクル・リナックスが所有するか、使用権許諾を受けている商標もしくは登録商標です。
その他、本 Web サイトに掲載されている他社の製品名、ロゴなどは、それぞれ該当する各社が所有する商標もしくは登録商標です。