OSS運用監視ツール トラブル事例あるある集ログ監視を行う際に”知っておくべき”トラブル事例

2017/06/07
ミラクル・リナックス株式会社
テクニカルアライアンス部
竹村 隆吉

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

自己紹介● 名前：竹村 隆吉（たけむら たかよし）● 所属：営業本部
テクニカルアライアンス部● 業務内容：MIRACLE ZBXおよびHAクラスタのプリセールスおよびコンサルティング

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

2

Agenda● ログ監視○ ログ監視とは○ サポート事例のご紹介● Zabbix 構築のポイント○ MariaDBパラメータ○ Zabbix Serverパラメータ○ ValueCache○ HAクラスタ化のTips

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

3

ログ監視とは公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

4

ログ監視のフロー

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

5

事例 その１● アイテムキーlog[ ]を使用してログ監視を実施しています
が、アイテムのステータスが「取得不可」の状態となっています。この状態となる可能性としてどんなことが考えられますか？

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

6

「取得不可」となるパターン● 監視対象のファイルの読み込み権限がない● 監視対象のファイルが存在しない● 監視対象のファイルが開けない(他プロセスにロックされている等)● システムコールstat()に失敗 する。

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

7

事例 その２● 100行まで出力されると古い順に上書きされていくログファイルがあります。
このログファイルの監視を行うため アイテムキーを教えてほしい。

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

8

Zabbixが監視出来るログファイル● シーケンシャルに出力されないログはZabbixのログ監視では正しくデータは取得できません。古いログが上書きされていくようなログファイルの監視を行う機能はZabbixにはありません。

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

9

事例 その３● ログのローテートを行っているSyslog (/var/log/messages)の監視にはlog[ ] キーは不向きですか？

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

10

log[]キーの動作

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

11

事例 その４
logrt[ ] キーのファイル名指定の勘違い●

エージェントは、ファイル名の文字列の最後の'/'を検索します。(Windowsの場合は、'\')● 最後の'/'の前までがファイルの存在するディレクトリとなります。
● 最後の'/'の一文字先からが、ファイル名をマッチングさせるための正規表現となります。
公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

12

ファイル名指定の勘違い● よくある正しくないと思われるファイル指定
logrt[/var/log/zabbix/zabbix_server\.log*]● POSIX拡張正規表現では、「*は直前文字の0回以上の繰り返し」● 上記にマッチするファイル名は○ zabbix_server.lo○ zabbix_server.loggggg○ foozabbix_server.log○ zabbix_server.logbar
公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

13

ファイル名指定の正しい記述● 多くの方が要望しているファイル名は？
○ zabbix_server.logで始まる○ 末尾はlogの後に何も付かないか、「.一桁の数字」が付く● 上記の場合は以下のようにします^zabbix_server\.log(|\.[[:digit:]])$

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

1410分 休憩公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

15

OSS運用監視ツール トラブル事例あるある集

Zabbix構築のポイント

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

innodb_buffer_pool_sizeについて● 実メモリの8割を割り当てる。は妥当か？
○ データベース専用でメモリが潤沢にある場合のみ● メモリが多くないシステムでは
innodb_buffer_pool_size = 物理メモリの半分
innodb_log_file_size = 256MB
innodb_log_files_in_group = 2● パラメータが以下の式となるように調整
innodb_log_file_size * innodb_log_files_in_group <innodb_buffer_pool_size

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

17

Zabbix Serverパラメータ
監視アイテム名

Zabbix_server.conf

Zabbix busy discoverer processes, in %Zabbix busy escalator processes, in %Zabbix busy history syncer processes, in %Zabbix busy http poller processes, in %Zabbix busy icmp pinger processes, in %Zabbix busy ipmi poller processes, in %Zabbix busy java poller processes, in %Zabbix busy poller processes, in %Zabbix busy snmp trapper processes, in %Zabbix busy trapper processes, in %StartDiscoverers
StartEscalators
StartDBSyncers
StartHTTPPollers
StartPingers
StartIPMIPollers
StartJavaPollers
StartPollers
StartSNMPTrapper
StartTrappers

基本的には、監視アイテムと設定値は同じ。
例外はhistory syncerとDBsyncers。

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

18

ValueCache● トリガーの条件式、計算/集計されたアイテム、複数のマクロをより速く計算するため、Zabbix 2.2から、値キャッシュオプ
ションがZabbixサーバでサポートされています。
● 値キャッシュを使用して、データベースに直接SQLコールを発する代わりに、ヒストリデータにアクセスできます。ヒストリの値がキャッシュに存在しない場合は、存在しない値がデータベースに要求され、それに応じてキャッシュが更新されます

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

19

ValueCacheの動作● メモリが枯渇したフラグが立っていない場合、空いている領域にcacheされます。
● 利用されていない領域は順次開放されます。
公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

20

2.2におけるValueCacheの問題点● キャッシュに充分な空き領域がない場合、メモリが枯渇したフラグを立て領域を開放します● メモリが枯渇したフラグが立つと参照も出来ない。
公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

21

Zabbix Server HAクラスタ化のTips● Zabbixに限らずHAクラスタ化に重要な項目○ フェイルオーバさせるべき対象は？
○ 待機系へ引き継ぐデータはどうする？
● HAクラスタで重要なのは「監視」○ フェイルオーバのシナリオを考える

ZabbixZabbixApacheMariaDB
クラスタウェア

公開

F/O

ApacheMariaDB
クラスタウェア

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

22

製品・サービスのご相談、当社についてのお問い合わせなど、お気軽にご連絡ください。

Tel : 03-6205-9502
Email : info@miraclelinux.com
URL : www.miraclelinux.com
Facebook : www.fb.com/miraclelinux/【無断転載を禁ず】
この文書はあくまでも参考資料であり、掲載されている情報は予告なしに変更されることがあります。ミラクル・リナックス株式会社（以下、ミラクル・リナックス）は本書の内容に関していかなる保証もいたしません。また、本書の内容に関連したいかなる損害についても責任を負いかねます。又、本資料の著作権は特に指定されている箇所を除いて、ミラクル･リナックスが有します。ミラクル・リナックスが著作権を有するコンテンツにつきましては、ミラクル・リナックスに対して無断で複製、改変、頒布などをすることはできません。
MIRACLE LINUX の製品名、ロゴ、サービス名などは、ミラクル・リナックスが所有するか、使用権許諾を受けている商標もしくは登録商標です。その他、本文書に掲載されている他社の製品名、ロゴなどは、それぞれ該当する各社が所有する商標もしくは登録商標です。

公開

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

オープンソースで人々を幸せに～ イノベーションで未来をつくる ～ソフトバンク・テクノロジー グループ

ソフトバンク・テクノロジー

公開

エムソリューションズ

フォントワークス

環サイバートラスト

ミラクル・リナックス

Copyright © MIRACLE LINUX CORPORATION. All rights reserved.

モードツーアソラテック

リデン