スクエアfreeセミナー「ボトルネック解消！？データ連携手法」～DB/DWHリアルタイム連携まで～

Copyright(C)2022 Climb Inc. All Rights Reserved.

1

会社紹介・会 社 名：株式会社クライム
・設立：1984年8月18日
・本社：東京都中央区日本橋蛎殻町１丁目３６−７蛎殻町千葉ビル4F
・代表取締役：川上 静子
・事 業 内 容：海外ソフトウェアの販売およびサポート・取 扱 製 品：ETL製品、仮想化やDBなどのデータ保護ツール
Syniti、Stambia、Veeam、Zertoなど

Copyright(C)2022 Climb Inc. All Rights Reserved.

2

データにまつわるお悩み• 既存システムにアクセスが集中• 従業員数が増え、負荷も増えた• 拠点拡大し、データ拠点が増えた• パフォーマンス遅い

Copyright(C)2022 Climb Inc. All Rights Reserved.

3データにまつわるお悩み• 既存システムにアクセスが集中• 従業員数が増え、負荷も増えた• 拠点拡大し、データ拠点が増えた• パフォーマンス遅い

データ負荷分散で利益向上

Copyright(C)2022 Climb Inc. All Rights Reserved.

4データにまつわるお悩み• DBライセンス費用が高すぎる• あまり予算を確保できない• DB運用の人件費が高い

Copyright(C)2022 Climb Inc. All Rights Reserved.

5データにまつわるお悩み• DBライセンス費用が高すぎる• あまり予算を確保できない• DB運用の人件費が高い

データ運用のコスト削減

Copyright(C)2022 Climb Inc. All Rights Reserved.

6データにまつわるお悩み• 開発の工数が多すぎる• 専門スキルや人材がいない• 開発期間が長くなりがち

Copyright(C)2022 Climb Inc. All Rights Reserved.

7データにまつわるお悩み• 開発の工数が多すぎる• 専門スキルや人材がいない• 開発期間が長くなりがち

開発工数やスピードの改善

Copyright(C)2022 Climb Inc. All Rights Reserved.

8データにまつわるお悩み• 活用したいデータが多い• 簡単にWEBサービス連携したい• 多様なプラットフォームが混在

Copyright(C)2022 Climb Inc. All Rights Reserved.

9データにまつわるお悩み• 活用したいデータが多い• 簡単にWEBサービス連携したい• 多様なプラットフォームが混在

大規模環境でのWEBサーバ連携
Copyright(C)2022 Climb Inc. All Rights Reserved.

10データを活用して実現
1.

データ負荷分散で利益向上

2.

データ運用のコスト削減

3.

開発工数やスピードの改善

4.

大規模環境でのWEBサーバ連携
Copyright(C)2022 Climb Inc. All Rights Reserved.

11データを活用して実現
1.

データ負荷分散で利益向上

2.

データ運用のコスト削減

3.

開発工数やスピードの改善

4.

大規模環境でのWEBサーバ連携
Copyright(C)2022 Climb Inc. All Rights Reserved.

12

SynitiとStambiaの違い
Syniti: 連携(移行)・DB/DWHに特化・リアルタイムな連携
Stambia：連携＋変換
・連携に加え、変換が可能
・対応データがより豊富
・WEB連携がカンタン
Copyright(C)2019 Climb Inc. All Rights Reserved.

13

14
異種DB間のリアルタイムデータ複製ツール
テーブルのレプリケーションが可能。
複製元DB

複製先DB

システム要件

CPU：2GHz以上、2Core以上推奨
メモリ：8GB以上

HDD：20GB以上
OS： Windows Server
2019/2016/2012R2/2012/2008
R2/2008
Windows 10/8.1/8/7
Copyright(C)2022 Climb Inc. All Rights Reserved.

DB特化で豊富に対応

15

リフレッシュ(全件)
ミラーリング、シンクロナイゼーション(差分)リフレッシュ(全件)
ミラーリング(差分)のターゲット[複製先]IBM DB2 for i(AS/400)
IBM DB2 for z/OSIBM DB2 for AIX, Linux, Windows
OracleMS SQL Server
MS Azure SQL Database
MySQL/Amazon Aurora/MariaDB
Gupta SQLBase
IBM Informix
SAP Sybase ASE
SAP Sybase SQL Anywhere
IBM PureData(Netezza)
PostgreSQL(Amazon RDS)

Amazon Redshift
SAP HANA
リフレッシュ
SAP Sybase IQ
Actian Vectorwise
HP Vertica
MS Access
Firebird
ミラーリングIngresIBM SolidDB
IBM dashDB
Teradata
Hadoop(※リフレッシュのターゲットのみ)
Snowflake

Copyright(C)2022 Climb Inc. All Rights Reserved.

16

ソース
（複製元）

ターゲット
（複製先）

リフレッシュ

ミラーリング

シンクロナイゼーション（全件）（片方向差分）（双方向差分）変更

複製
Copyright(C)2022 Climb Inc. All Rights Reserved.

変更
複製複製変更

17

リフレッシュ(全件)の仕組み

ターゲットソース

SELECT

参照先はテーブル

INSERT

バルクインサートで高速転送
Copyright(C)2022 Climb Inc. All Rights Reserved.

18
ミラーリング(片方向)の仕組み
ソース

トランザクションログ

ターゲット

トランザクションを参照

更新

Copyright(C)2022 Climb Inc. All Rights Reserved.
INSERT/UPDATE/DELETE
SELECTデータを活用して実現したい
1.

データ負荷分散で利益向上

2.

データ運用コストの削減

3.

開発工数やスピードの改善

4.

大規模環境でのWEBサーバ連携
Copyright(C)2022 Climb Inc. All Rights Reserved.

19負荷分散で生産性が向上した例
・データ負荷を減らし、生産性をアップしたい
・DB自体も、作業負担も減らせるツール検討
・作業負荷も、システム負荷も分散に成功
レプリケーション

データ参照

Copyright(C)2022 Climb Inc. All Rights Reserved.
20

レプリケーションを自動化

待機時間

21

レプリケーション処理時間「ソースのトランザクションログを参照し、ターゲットへレプリケーションするまで」を含みます。
処理するトランザクションレコード数によって時間は変動します。

処理時間が参照サイクルを上回った場合は待機時間なしで次のレプリケーション処理に移ります。
Copyright(C)2022 Climb Inc. All Rights Reserved.

運用状況が一目でわかる✓日本語ローカライズ済み✓レプリケーション進捗モニター✓メール通知(アラート)

Copyright(C)2022 Climb Inc. All Rights Reserved.

22

停止時間は最小限
通常のDB移行DB構築

ImportExportレプリケーションによるDB移行

DB構築

レプリケー

ション
全件＋差分切り替え

運用開始

システム停止期間

切り替え

運用開始

データを活用して実現したい
1.

データ負荷分散で利益向上

2.

データ運用コストの削減

3.

開発工数やスピードの改善→E-TL特化、モデル駆動型

4.

大規模環境でのWEBサーバ連携→最適テンプレートを活用
Copyright(C)2022 Climb Inc. All Rights Reserved.

24

データコストを抑えられた例
・DBコストが高すぎるため、節約検討
・異種DB対応のツールを検討
・移行自体のコストも、移行後の運用コストも削減レプリケーション

Amazon Aurora
PostgreSQL文字コード変換の人的コスト削減

26

異種DB間対応：レプリケーションはすべてSQLクエリで処理
異種文字コード間対応：文字コードはUnicodeで処理
Oracleデータベース SQLでデータ抽出

Unicodeへ変換

文字コード:
Shift JIS

Amazon Aurora
SQLでデータ抽出
PostgreSQLUnicodeから変換

SQLクエリ生成
Unicode処理
Copyright(C)2022 Climb Inc. All Rights Reserved.

文字コード:
ASCII

必要な分だけで、データ量スリムにテーブル単位でジョブ作成(ジョブ一括作成も可能)

カラム単位でマッピング
カラム1
カラム2
カラム3
カラム4
カラム5カラム1
カラム2
カラム3
カラム4
カラム5

カラム1
カラム2
カラム3
カラム4
カラム5

カラム1
カラム2
カラム3

Copyright(C)2022 Climb Inc. All Rights Reserved.

27

テーブル作成を自動化

28

ターゲットへのテーブル作成
自動で適切なデータ型を選定

サイズ、PK、NOT NULLをそのまま引継ぐ
ソースのテーブル構成を元にSynitiが自動でクエリを作成
テーブル構成抽出

CREATE発行

CREATEクエリ自動生成

Copyright(C)2022 Climb Inc. All Rights Reserved.

データ連携で負荷分散、生産性→利益向上に→DB負荷とともに、管理運用の負荷も軽減

データ運用コストの削減→移行後はもちろん”移行自体のコスト”まで
Copyright(C)2022 Climb Inc. All Rights Reserved.

29データを活用して実現したい
1.

データ負荷分散で利益向上

2.

データ運用コストの削減

3.

開発工数やスピードの改善

4.

大規模環境でのWEBサーバ連携
Copyright(C)2022 Climb Inc. All Rights Reserved.

30

多様なデータに対応
開発手間を削減、効率的、そして高速に

AS/400Excel
Copyright(C)2022
Climb Inc. All Rights Reserved.

対応のRDBMS• Actian Ingres• IBM DB2 UDB
V8.x, V9.x, V10.x• IBM DB2/400, DB2/MVS• Informix• Oracle, Oracle Exadata,8i, 9i, 10g, 11g, 12c• Oracle RAC

 Microsoft SQL Server,2005, 2008, 2012,2014
 MySQL,
V5.0 to 5.7 andfollowings
 Postgre SQL, V8.x, V9.x
 SAP Sybase ASE

Copyright(C)2022 Climb Inc. All Rights Reserved.

対応のクラウドなど• Hive• Cassandra• Elastic Search• Parstream• Amazon Redshift• Amazon S3• Amazon RDS- Oracle- MySQL- Amazon Aurora- MariaDB- Microsoft SQL Server• Google SpreadsheetCopyright(C)2022 Climb Inc. All Rights Reserved.

その他• DBase• H2• Hyperfile• Hypersonic SQL• Lotus Notes• Microsoft Access• Microsoft Excel• Paradox• EMC Greenplum• Monet DB• IBM Netezza(Pure Data)• HP Vertica• Teradata• SAP Sybase IQ
V13, V14, V15• SAP Hana
• CSV, XML• Salesforce• WEB API
• Actian Vectorwise
Copyright(C)2022 Climb Inc. All Rights Reserved.

データを活用して実現したい
1.

データ負荷分散で利益向上

2.

データ運用コストの削減

3.

開発工数やスピードの改善

4.

大規模環境でのWEBサーバ連携
Copyright(C)2022 Climb Inc. All Rights Reserved.

35

開発工数やスピードを改善した例
・データ開発の工数/期間
・データ処理の効率性に疑問
・従来ツールより、工数少なく期間短く開発に成功

DWH
BIツール

マスターデータ

WEBサーバー

AS/400
Copyright(C)2022 Climb Inc. All
Rights Reserved.

E-LTアーキテクチャ
ETLツール側が行っていたデータの変換処理をデータソース側に任せることでボトルネックを回避
従来アーキテクチャ

E-LTアーキテクチャ

利点→パフォーマンス最大化→アーキテクチャ簡素化→既存リソースの活用
Copyright(C)2022 Climb Inc. All Rights Reserved.

誰でも簡単開発のGUI操作
データの関連付け、フィルタ、変換などをマッピング機能によりグラフィカルに設定が可能

ターゲット側

ソース側

Copyright(C)2022 Climb Inc. All Rights Reserved.

データを活用して実現したい
1.

データ負荷分散で利益向上

2.

データ運用コストの削減

3.

開発工数やスピードの改善

4.

大規模環境でもWEBサーバ連携
Copyright(C)2022 Climb Inc. All Rights Reserved.

39

大規模環境でもWEBサーバ連携
在庫データ

DWH
・多数データを簡単にWEB連携したい
・開発人材/知識があまりない
SNSトレンド WEBサーバー
・既存データをフル活用し、マスターデータWEBサービスの展開に成功
カタログデータ

Web API連携

複雑なプログラミング手間は不要
・自動生成されるコードをデフォルトで数多く用意
・用途やデータソースの種類に適したコードを自動選択
・テンプレートのカスタマイズや自作が可能

ソース側

ターゲット側Copyright(C)2022 Climb Inc. All Rights Reserved.

どんなデータも、同じ操作でCopyright(C)2022 Climb Inc. All Rights Reserved.

開発工数やスピードの改善→既存リソースのフル活用で、手間なく改善
大規模環境でのWEBサーバ連携→専門スキル不要で、構築まで簡単

Copyright(C)2022 Climb Inc. All Rights Reserved.

43

まとめ1.
2.

データ負荷分散で利益向上
データ運用コストの削減

システム/スタッフ負担減で生産性↑移行から移行後までコスト↓
3.

開発工数やスピードの改善

4.

大規模環境でのWEBサーバ連携
開発を簡単に、誰でも→リアルタイム→日本語GUI→メール通知で万が一も→テーブル/カラム単位でも可→テーブル作成も→E-LTアーキテクチャ→ユニバーサルマッピング→テンプレート→WEB API連携

Copyright(C)2022 Climb Inc. All Rights Reserved.

44

ご視聴いただきありがとうございました

https://www.climb.co.jp/soft/dbmoto/https://www.climb.co.jp/soft/stambia/

お問合せ
E-mail: soft@climb.co.jp
東京：03-3660-9336
大阪：06-6147-8201

Copyright(C)2022 Climb Inc. All Rights Reserved.