EDB PEM と EDB Ark
Dave Page | 2017年12月7日© 2017 EDB. All rights reserved.

1

イントロダクション• EDB：• VP & Chief Architect：• ツール• クラウドプロダクト• 構成管理• パッケージング/ディストリビ
ューション• PostgreSQL：• Dave Page

• コアチームメンバー• pgAdmin リードディベロッパ
ー• ウェブ/シスアドミン チーム• PGCAC/PGEU ボードメンバー© 2017 EDB. All rights reserved.

• @pgsnake• dpage@pgadmin.org• dave.page@enterprisedb.com• https://pgsnake.blogspot.com/

2

アジェンダ• EDM Postgres Enterprise Manager• PEMとは？
• コアフィーチャー• EDB Ark
• Arkとは？
• コアフィーチャー

• ロードマップ
• PEM
• Ark
• 統合
• DBaaS© 2017 EDB. All rights reserved.

3

EDB Postgres Enterprise Manager© 2017 EDB. All rights reserved.

4

PEMとは？

モニター管理チューン

3つのタスクをすべて1つのツールに統合する
ソリューションのみが利⽤可能• 24x7 モニタリングおよびアラーティング• パフォーマンスの視覚化• バルクマネージメント• 診断ツール• データベースマネージメント• GUI based on pgAdmin 4© 2017 EDB. All rights reserved.

5

PEM Architecture ― サーバー
• EDB Postgres Advanced Server
PostgreSQL databaseあるいは− システム構成データを格納する− モニタリングデータを格納する− システムスケジューラー• Primary PEM Agent：− アラート処理− SMTP / SNMP / Nagios− ガベージコレクション

スプーラ

PEMアーキテクチャ― エージェント• 管理対象サーバーにインストールされた追加エージェント• 各エージェントは、０個以上のPostgresインスタンスを管理できる• ローカルインスタンスまたはリモート（制限あり）を監視する• 以下のものの責任を負う：• プローブの実⾏およびメトリック収集• 以下のようなスケジュールされたタスクの実⾏：• サーバー構成と管理• ソフトウェアのインストール/アップデート© 2017 EDB. All rights reserved.

7

PEMアーキテクチャ―ユーザインタフェース• レスポンシブなWebベースのUI• すべての機能を含むpgAdmin 4に基づく© 2017 EDB. All rights reserved.

8

PEMアーキテクチャ－ RESTful API• 他のシステムとの容易な統合を可能にする• 一般的なタスクのスクリプトを可能にする© 2017 EDB. All rights reserved.

9

PEM Core Features

モニター• 24x7 モニタリング• プローブ• アラート• ダッシュボード
• カスタムチャートおよび管理• ロギングウィザード• 監査ログウィザード• チューニングウィザード

ダッシュボード© 2017 EDB. All rights reserved.

10診断• Postgres Expert• Log Analysis Expert• Capacity Manager• SQL Profiler

24x7

モニタリング－プローブ• 各プローブは、オブジェクトに関する1つまたは複数のメトリックを収集する役割を担う。 例− 各ドライブの空きディスク容量− 各テーブルの膨らみ率• インスタンスごとにプローブを設定する：− 頻度（有効か無効か）− 履歴保持• プローブ実装の場所：− C ++（内部）
− SQL
− WMI
− シェル/バッチスクリプト（カスタムプローブ）

24x7

モニタリング© 2017 EDB. All rights reserved.

－12

プローブ

24x7

モニタリング－アラート• 収集されたメトリックを監視し、しきい値外になれば警告する• 以下を経由し、ユーザーに警告− ダッシュボード、− Eメール（SMTP）− SMMPトラップ− Nagios（パッシブサービスチェックを使⽤）• 175+

定義済みアラート• 独自のカスタムアラートを定義する

24x7

モニタリング© 2017 EDB. All rights reserved.

－14

アラート

24x7

モニタリング－ダッシュボード• ダッシュボードは、システムの状態を視覚化するのに役⽴つ• 事前定義されたダッシュボードは、PEM、Postgres、およびオペレーティングシステムのすべての側面をカバーする。
• 柔軟な操作：− 表⽰される系列を選択− 自動またはオンデマンドでリフレッシュする− ドラッグして拡大− イメージを保存− 全画面表⽰− オペレーションセンターで継続的に表⽰するための「操作画面」モード

24x7

モニタリング© 2017 EDB. All rights reserved.

－

16

ダッシュボード

24x7－

カスタムダッシュボード• 収集された指標に基づいて独自のチャートとグラフを定義する• Capacity Managerからグラフをインポートし、メトリックのリニア傾向分析を含める• 要件に合わせてカスタムダッシュボードを構築する• 各ダッシュボードで必要に応じて事前定義されたチャートとグラフを組み合わせる• カスタムプローブを使⽤して、アプリケーションからのデータのダッシュボードを作成する：− ウェブサイト上の登録数− 売上高24x7－© 2017 EDB. All rights reserved.

カスタムダッシュボード

18

マネージメント－ ログマネージャー• 1個以上のPostgresインスタンスのログを一度に構成する• ユーザーフレンドリーなステップバイステップウィザ
ード• すべてのシステムで共通で一貫性のある構成を確保す
る• 必要に応じてPEMにログをインポートし、一元表⽰と• アラートを⾏う
構成の変更を即座に実装するか、後で行うためにスケジュールする© 2017 EDB. All rights reserved.

19マネージメント－ 監査マネージャー• 1つまたは複数のEDB Postgres Advanced Serverイン
スタンスで一度に監査を設定する• ユーザーフレンドリーなステップバイステップウィザ
ード• すべてのシステムで共通で一貫性のある構成を確保す
る• 必要に応じてPEMにログをインポートし、一元表⽰とアラートを⾏う• 構成の変更を即座に実装するか、後で⾏うためにスケジュールする© 2017 EDB. All rights reserved.

20

マネージメント© 2017 EDB. All rights reserved.

－Log & Audit Managers

21マネージメント－チューニングウィザード• 一度に1個以上のサーバーの初期調整構成を作成して適⽤する• 予想されるワークロード・タイプ（OLTP、混合、データウェアハウス）とマシン使⽤率（専⽤、混合使⽤、開発者ワークステーション）を指定する• チューニング・パラメーターは、システム構成およびシステム上のインスタンス数に基づく• 構成の変更を即座に実装するか、後で⾏うためにスケジュールする© 2017 EDB. All rights reserved.

22マネージメント© 2017 EDB. All rights reserved.

－チューニングウィザード

23

診断

―

Postgres Expert• 一連の「アドバイザ」は、システムのさまざまな側面の分析を実⾏する− 構成− スキーマ
− セキュリティー• 分析は「静的」である• オンデマンドで1個以上のサーバーの説明と推奨事項を含むレポートを生成する

診断―© 2017 EDB. All rights reserved.

Postgres Expert

25

診断

－

Log Analysis Expert• Postgresサーバログからのランタイムアクティビティの分析とレポート• 18種類のアナライザは以下の領域をカバーする：− DML/DDL statistics− Checkpoint, lock and wait statistics−− （チェックポイント、ロック、ウェイト統計）− 実⾏速度が遅く、時間がかかり頻繁に実⾏されるクエリ• 一度に1個以上のサーバーでレポートを実⾏する• PEMログ収集を有効にする必要がある© 2017 EDB. All rights reserved.

26

診断

－

© 2017 EDB. All rights reserved.

Log Analysis Expert

27

診断

－

Capacity Manager• 収集されたメトリックからオンデマンドでチャートとグラフを生成する• リニアトレンド分析で予測レポートが可能
ディスク容量が90％に達するか？

－いつ• 同じホストまたは異なるホスト/データベースサーバーから、メトリック対メトリックをグラフ化する• 優先するデータ集約方法を選択してください ：平均、最小、最大、最初• レポートテンプレートを保存して再利⽤する© 2017 EDB. All rights reserved.

28

診断－

© 2017 EDB. All rights reserved.

Capacity Manager

29

診断

－SQL Profiler• スケジュールまたはアドホックベースでデータベースサーバーのアクティビティを監視する• すべてのクエリ、実⾏計画、ディスクIO、CPU使⽤率、インデックス/ヒープアクセスなどに関する多数の統計を記録する• 実⾏したクエリをブラウズし、記録されたデータを確認する• 集計データは、「安いが非常に頻繁な」類似のリソー
ス不⾜のクエリのパターンを⾒つけるのに役⽴つ• クエリプランを視覚化する• 索引アドバイザー（EPASのみ）を実⾏して、照会のパフォーマンスを向上させる可能性のある索引を提案する© 2017 EDB. All rights reserved.

30

診断－

© 2017 EDB. All rights reserved.

SQL Profiler31その他の機能• オンデマンドまたはスケジュールに基づいて、1個以上のリモートシステムにソフトウェアをインストールまたはアップグレードする• ストリーミングレプリケーションクラスタの自動構成• EDB Failover Managerの監視と管理• ストリーミングレプリケーションとxDBレ
プリケーションサーバの監視© 2017 EDB. All rights reserved.

32

EDB Ark© 2017 EDB. All rights reserved.

33

Arkとは？

クリック

コネクト

ユース

クリックしてPostgres Clustersを展開する• バランスのとれたロード• オートスケーリング• オートヒーリング• セルフサービス© 2017 EDB. All rights reserved.

34

Arkアーキテクチャ－サーバー• 事前構成された仮想マシンイメージとして配信される• 簡単なアップグレードのためにRPMを使⽤してインストールされたソフトウェア• Javaベースのアプリケーションサーバー：− 基盤となるクラウドプロバイダと通信して、仮想リソースを作成および維持する− クラスタノードと通信して必要に応じて構成する− クラスタノードの状態を監視する− ストレージの使⽤状況を監視する− バックアップを管理し、先⾏ログセグメントを書き込む© 2017 EDB. All rights reserved.

35

Arkアーキテクチャ－ユーザインタフェース• Webベースのユーザーインターフェイス© 2017 EDB. All rights reserved.

36

Ark アーキテクチャ－RESTful API• 他のシステムとの容易な統合を可能にする• 一般的なタスクのスクリプトを可能にする© 2017 EDB. All rights reserved.

37

サポートされるプラットフォーム• Amazon AWS• Microsoft Azure• OpenStack© 2017 EDB. All rights reserved.

38

Ark Core Features

クラスタの展開

スケーリング• ロードバランシング• オートヒーリング• バックアップと復元• クローニング• ストレージ• 水平• 垂直© 2017 EDB. All rights reserved.

39

クラスタの展開－ ロードバランシング• クラスタは、必要に応じて1つまたは複数のノードで展開できる• 複数のノードのクラスタには、1台のマスターサーバーとN-1台のスタンバイサーバーがある• pgPoolは、クラスタメンバー間でロードバランスをとるために利⽤される− マスターに書き込む− いずれかのスタンバイに読み込む

クラスタの展開－ オートヒーリング• Arkは、クラスタのすべてのメンバーの健全性を継続的に監視する• ノードに障害が発生した場合、ノードは置き換えられる− スタンバイは別のスタンバイと交換される− マスターは次のどちらでも構わない− 新しいノードに置き換える− スタンバイにフェイルオーバーした後、新しいスタンバイが追加される© 2017 EDB. All rights reserved.

41

クラスタの展開－ バックアップと復元• Arkはユーザー定義のスケジュールでクラスタのバックアップを取る• 書込み先ログ（WAL）セグメントは、オブジェクトストレージにアーカイブされる• WALセグメントを使⽤して、以前のバックアップの復元後にPoint In Timeリカバリを提供することができる• バックアップを使⽤して新しいクラスタを作成することもできるクラスタの展開© 2017 EDB. All rights reserved.

43

クラスタ展開－クローニング• クラスタとそのデータは、ボタンを押すだけでクローンを作成できる− QA/UAT− ディベロップメント/デバッギング• 実⾏中のクラスタ上のストレージのスナップショットが取得される• 新しいストレージはスナップショットから初期化される• 新しいクラスタが作成され、ストレージに接続される© 2017 EDB. All rights reserved.

44

スケーリング－ストレージ• プライマリデータストアは、基盤となるクラウドプロバイダ（例えば、EBSあるいはCinder）のブロックストレージサービスである• ストレージ領域は、実際には物理ボリュームのLVMボリュームグループである1個以上のストレージボリュームからなる• ボリュームグループに新しいストレージボリュームを追加し、LVM論理ボリューム全体のI / Oをフリーズしてロジカルボリュームを拡張することにより、追加スペースが加えられる• 必要に応じてLUKS（Linux Unified Key System）を使⽤して静止データを暗号化する© 2017 EDB. All rights reserved.

45

スケーリング―水平• クラスタロードはArkサーバによって監視される• ユーザーは、クラスタを自動的に拡大/縮小するための接続制限を指定できる− ストレージボリュームが複製される− 新しいスタンバイ・ノードが開始された− ストレージがノードに接続される− ノードは、そのデータをマスタと同期させる− ロードバランサは、新しいノードを追加するように再構成される

スケーリング－垂直• 必要に応じて、オンデマンドでクラスタを垂直にスケーリングすることができる：− ストレージボリュームが複製される− 新しいクラスタノードのセットが、目的のマシンタイプを使⽤して起動される− ストレージはノードに接続される− スタンバイは、データをマスタと同期させる− 必要に応じて、元のクラスタの仮想IPアドレスを自動的に新しいクラスタに移動することもできる− 新しいクラスタを並⾏してテストできるロードマップ
• PEM
• Ark
• 統合
• DBaaSロードマップ－PEM• EDB Postgres Advanced Serverにより強化されたパフォーマンス診断• スケーリングの改善• EDB BARTの管理• 継続的なユーザーエクスペリエンスの改善• セルフラーニングアラート（⻑期）ロードマップ―Ark• GlassfishからTomcatへの移⾏• クラスタテンプレート• 完全なデータ・イン・トランジット暗号化のサポートと管理• BARTによる増分バックアップ• パッケージ管理を改善してクラスタの展開スピードを上げる• クロスリージョンレプリカ• コンテナクラスタの管理（⻑期）ロードマップ－統合• Arkクラスタの自動PEM構成• 統合された認証とユーザー管理• PEM UIからの複数のArkインスタンスの管理© 2017 EDB. All rights reserved.

51

ロードマップ－DBaaS• EDBは顧客のArk＆PEMインスタンスを維持した• 顧客の要求に応じた完全サポー
トとRDBAサービスを含むハイタッチサービス• すべて包括した価格 － サポート＆メンテナンス、RDBA、ソフトウェア、仮想ハードウェア© 2017 EDB. All rights reserved.

52

© 2017 EDB. All rights reserved.

53