Elastic再入門
Jun Ohtani, Kosho Owa
2019/03/20 @Elastic

どのくらい再入門？

Elasticsearch (Es)0.90系から触ってない人？
Kibana 3系

Es1.x系から触ってない人？
Kibana 3系

5Es2.x系から触ってない人？
Kibana 4系

75.x系から触ってない人？
Kibana 5系

96.2系から触ってない人？

11

Elastic Stackとは？

!12

Elastic
Stack

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

Logstash

インジェストApplication
SearchMetrics

ElasticStack

Site
SearchEnterprise
SearchLogging

APM

Business
Analytics

Security
Analytics

Futureソリューション

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

Logstash

インジェストAppSearchMetricsElasticStack

Site
SearchEnterprise
SearchLogging

APM

Business
Analytics

Security
Analytics

Futureソリューション

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

SaaS
Elastic Cloud

Logstash

インジェストSelf Managed
Elastic CloudEnterpriseStandalone

デプロイ

Application
SearchMetrics

ElasticStack

Site
SearchEnterprise
SearchLogging

APM

Business
Analytics

Security
Analytics

Futureソリューション

Kibana

可視化、管理Elasticsearch

保存、検索、分析

Beats

SaaS
Elastic Cloud

Logstash

インジェストSelf Managed
Elastic CloudEnterpriseStandalone

デプロイ

!17

Beats軽量データシッパー

ソースからデータを転送

転送しElasticsearchに集約

変換とパースのためLogstashに転送

Elastic Cloudに転送

Libbeat: カスタムbeatsのためのAPIフレームワーク

30以上のコミュニティbeats18

The Beats family

Packetbeat

Metricbeat

Winlogbeat

Network data

Metrics

Windows Event Logs

Auditbeat

FilebeatHeartbeat

Audit data

Log files

Uptime monitoring+40
communityBeats!20

Logstash
データ加工パイプライン

全ての形式、サイズとデータソー
スの投入

パースと動的なデータ変換

あらゆる出力にデータ転送

安全で暗号化されたデータ入力

独自のパイプライン処理の作成

200以上のプラグイン

21

!22

Elasticsearch
Heart of the Elastic Stack

分散型、スケーラブル

高可用性

マルチテナント

開発者フレンドリー

リアルタイム、全文検索

アグリゲーション23

!24

Kibana
Window into the Elastic Stack

可視化と分析

地理空間

カスタマイズとレポートの共有

グラフ探索

Elastic Stackへのセキュアなアクセスと管理

カスタムAppsの作成

25

Kibana 6!26

Elastic Stackの構成
Beats

Log
FilesElasticsearch

KibanaWire
Data

Instances
Nodes

Metrics your{beat}Distributed
Message
QueueKafka!27

DataStoreWeb
APIs

SocialSensors

Logstash

Nodes

QueuesStorage

Metrics

Notification

Solutions!30

Infrastructure UI!32

Infrastructure Solution
Beta | Basic (free)

インフラオペレーター向けに特化
1000を超えるインフラの構成を俯瞰
Kubernetes、Docker のネイティブサポー
ト
メトリック、ログ、APM ビューへのドリル・ダウン
アドホックおよび構造化検索Logs UI

!34

Logs Solution
Beta | Basic (free)

ライブでログのトラブルシューティングを助ける軽量なログビューアー
コンソールのような表示(tail -fのような)ライブ・ログ・ストリー
ミング
履歴ログの無限スクロール
アドホックおよび構造化検索

APM!36

Java & Go Agents GA
OSS

Javaサポート:Java 7-11テクノロジー/フレームワーク:
Servlet API, Spring Web MVC,
Spring Boot, Tomcat, WildFly,Jetty, Websphere, JDBCなど
Goのサポート:Go 1.8+
テクノロジー/フレームワーク:
httprouter, Echo, Gin, gorilla/mux,
database/sql, GORM, gocql, gRPCDistributed Tracing
Beta | Basic (free)
全ての計測されたサービスを見るための統合されたビュー
サブコンテキスト内のトレースに遷移
OpenTracing 互換

機能をピックアップ

!39

!40

DataRollups
Rollups
API (6.3 - Experimental)
容量が。。。

● API for creating an Elasticsearch process
periodically store aggregate statistics● to
定期的に統計データを集約して保存するElasticsearchのJobを登録● Primary benefit is space savings● 主な利点は容量の削減○ Faster queries● データが少なくなるため○ Potentially less nodes to manage○○ Smallersnapshots
Queryがより高速に○○ Longer
少ないノードでデータを管理
retention times○○ etc.
Snapshotがより小さく● Queryrolled up data and “live” data
○ データの保持期間がより長く
together in a single query.

● 1つのクエリでロールアップしたデータとしてないデータを問い合わせ!41

X-Pack feature (Basic, free)Cross-Cluster Replication
Beta | Platinum
Production DC

Elasticsearch クラスター間でインデックスを複製
これまでの回避策では、運用上のオーバーヘッド、複数のテクノロジーの採用、システムの複雑さなどがあった

Disaster Recovery DCLeader

Follower

Kibana Query Languageで自動補完!43

Index Management UIUIでIndex管理!44X-Pack feature (Basic, free)Canvas: Create live pixel-perfect presentations
Beta | Basic (free)Spaces
Basic (free) / Gold

ビジュアル、ダッシュボードなどを、独立したスペースに分けて整理
ロールベースのアクセス制御を使用して空間へのユーザーアクセスを制御する
マルチテナントの簡素化
ユースケース:● 組織● 段階的フェーズ (開発、ステージ、プロダクションなど)● セキュリティ (アクセスの制限)

Beats Central Management
Beta | Gold
Metricbeat

Beats 群を一元管理● Beats の登録と解除

Metricbeat● 設定の追加、変更、削除
Metricbeat

UI および API 経由で管理
現在のサポート対象:● Filebeat (入力、モジュール)● Metricbeat (モジュール)

Filebeat

Filebeat

Filebeat

BeatsAdminHeartbeat GA
OSS

新しい設定のリロード機能により、Heartbeat モニターを簡単に作成、更新、削除できるようにDocker & Kubernetes の自動検出
KibanaのAdd Dataにチュートリアル

Demo!49

Data Visualizer for Files
Experimental | Basic (free)

機械学習を最大限に活用するには、データを理解する必要がある
データビジュアライザーで、ファイル (最大 100 mb) をアップロード
フィールドの識別とインデックスパターンの作成に ファイル構造APIを使用できるように
CSV、区切りテキスト、または JSONファイルに対応

Machine LearningMachine Learning -https://www.elastic.co/jp/products/stack/machine-learning52