Elastic StackでKafkaをモニタリング！
を始めてみるには？

2019/04/08
Community Engineer @ElasticJun Ohtani @johtani!1about••!2

Me, Jun Ohtani / Community Engineer‒ lucene-gosenコミッター‒

データ分析基盤構築入門 共著‒

http://blog.johtani.info

Elastic, founded in 2012
‒ Products: Elasticsearch, Logstash, Kibana, Beats
Elastic APM,
Elastic Cloud, Swiftype
Professional services: Support & development subscriptions
Trainings, Consulting, SaaS

Kafkaを利用している人？

!3

Kafkaの運用をしている人？

!4Kafkaの監視どうやってます？

!5監視してない（ワイルド。。。）!6

Zabbixで監視!7

Confluent Control Center!8

SaaSサービスDatadog?

!9

その他
（何があるんだろう？）
Prometheus?
!10アジェンダ• Elastic Stackとは？
• Kafkaのモニタリングを軽く試してみるには？
• さらに色々試してみるには？

!11

Elastic Stackとは？

!12

Elastic
Stack

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

Logstash

インジェストApplication
SearchMetrics

Elastic
Stack

Site
SearchEnterprise
SearchLogging

APM

Business
Analytics

Security
Analytics

Futureソリューション

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

Logstash

インジェストAppSearchMetrics

Elastic
Stack

Site
SearchEnterprise
SearchLogging

APM

Business
Analytics

Security
Analytics

Futureソリューション

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

SaaSElastic Cloud

Logstash

インジェストSelf Managed
Elastic CloudEnterpriseStandalone

デプロイ

Application
SearchMetrics

ElasticStack

Site
SearchEnterprise
SearchLogging

APM

Business
Analytics

Security
Analytics

Futureソリューション

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

SaaS
Elastic Cloud

Logstash

インジェストSelf Managed
Elastic CloudEnterpriseStandalone

デプロイ

!17

Beats軽量データシッパー

ソースからデータを転送

転送しElasticsearchに集約

変換とパースのためLogstashに転送

Elastic Cloudに転送

Libbeat: カスタムbeatsのためのAPIフレームワーク

30以上のコミュニティbeats18

The Beats family

Packetbeat

Metricbeat

Winlogbeat

Network data

Metrics

Windows Event Logs

Auditbeat

FilebeatHeartbeat

Audit data

Log files

Uptime monitoring+40
community
Beats

!20

Logstash
データ加工パイプライン

全ての形式、サイズとデータソースの投入

パースと動的なデータ変換

あらゆる出力にデータ転送

安全で暗号化されたデータ入力

独自のパイプライン処理の作成

200以上のプラグイン

21

!22

Elasticsearch
Heart of the Elastic Stack

分散型、スケーラブル

高可用性

マルチテナント

開発者フレンドリー

リアルタイム、全文検索

アグリゲーション23

!24

Kibana
Window into the Elastic Stack

可視化と分析

地理空間

カスタマイズとレポートの共有

グラフ探索

Elastic Stackへのセキュアなアクセスと管理

カスタムAppsの作成

25

Kibana 6!26

Elastic Stackの構成
Beats

Log
Files

Elasticsearch

KibanaWire
Data

Instances
Nodes

Metrics your{beat}Distributed
Message
Queue

Kafka!27

DataStoreWeb
APIs

SocialSensors

Logstash

Nodes

QueuesStorage

Metrics

Notification

Kafkaのモニタリング
with Beats!28

監視ポイント？
•外形監視 → Heartbeat•

メトリック（メトリクス） → Metricbeat••!29

サーバー、アプリケーション

ログ → Filebeat

Heartbeat

Lightweight
Shipper for
UptimeMonitoringUptime UI

Dedicated
UptimeMonitoring UI
for Kibana

Metricbeat

Collect system
and application
metrics

Metricbeatlots of modules

Metricbeat モジュール
●
●
●
●
●
●
●
●
●
●
●
●

!34

Aerospike module
Apache module
Ceph module
Couchbase module
Docker module
Dropwizard module
Elasticsearch module
Etcd module
Golang module
Graphite module
HAProxy module
HTTP module

●
●
●
●●
●
●
●
●
●
●
●

Jolokia module
Kafka module
Kibana module
Kubernetes module
kvm module
Logstash module
Memcached module
MongoDB module
Munin module
MySQL module
Nginx module

●
●
●
●
●
●
●
●
●
●

PHP_FPM module
PostgreSQL module
Prometheus module
RabbitMQ module
Redis module
System module
uwsgi module
vSphere module
Windows module
ZooKeeper module

Metricbeat モジュール
●
●
●
●
●
●
●
●
●
●
●
●

!35

Aerospike module
Apache module
Ceph module
Couchbase module
Docker module
Dropwizard module
Elasticsearch module
Etcd module
Golang module
Graphite module
HAProxy moduleHTTP module

●
●
●
●
●
●
●
●
●
●
●
●

Jolokia module
Kafka module
Kibana module
Kubernetes module
kvm module
Logstash module
Memcached module
MongoDB module
Munin module
MySQL module
Nginx module

●
●
●
●
●
●
●
●
●
●

PHP_FPM module
PostgreSQL module
Prometheus module
RabbitMQ module
Redis module
System module
uwsgi module
vSphere module
Windows module
ZooKeeper moduleデモ画面 - Metricbeat Kafka module!36Filebeattail log fromﬁleFilebeatmany modules

Filebeat modules - v6.4.2•

Apache2 module•MySQL module•Auditd module•

Nginx module•

Icinga module•

Osquery module•

IIS module•

PostgreSQL module•

Kafka module•

Redis module•

Logstash module•

System module•

MongoDB module•

Traefik module

Filebeat modules - v6.4.2•

Apache2 module•

MySQL module•

Auditd module•

Nginx module•

Icinga module•

Osquery module•

IIS module•

PostgreSQL module•

Kafka module•

Redis module•

Logstash module•

System module•

MongoDB module•

Traefik moduleデモ画面 - Filebeat Kafka module!41さらに活用するには？

!42

!43

!44

!45

!46

!47

参考文献
• Elasticsearch - The Definitive guide‒

http://www.elastic.co/guide/en/elasticsearch/guide/current/index.html• 書籍（日本語）!48‒

データ分析基盤構築入門‒

Elasticsearch実践ガイド

参考サイト•ユースケース• https://www.elastic.co/use-cases• Discuss（Webフォーラム）• https://discuss.elastic.co•

Elastic{ON}のビデオと資料• https://www.elastic.co/elasticon/videos• サポートメニュー• https://www.elastic.co/subscriptions!49

Thank you!
● Web : https://www.elastic.co/jp/● Forums : https://discuss.elastic.co/● Twitter : @johtani