DX時代における、AWSデータ活用手法～データ連携ツールでAWSをノーコード開発で高速につなぎ、フル活用する！
アステリア 株式会社エンタープライズ本部 マーケティング部 部長

東出 武也
2019.05.23© 2019 Asteria Corporationアステリア株式会社✓東証１部上場（3853）✓1998年9月創立✓「つなぐ」ソフトウェア製品の開発・販売✓世界５ヶ国に拠点

英国
中国
シンガポール
代表取締役
執行役員社長/CEO
平野 洋一郎© 2019 Asteria Corporation

日本

米国✓主力製品の「ASTERIA Warp」「Handbook」は日本国内市場でシェアNo.1✓2018年10月に「インフォテリア株式会社」から「アステリア株式会社」に商号変更

アステリア 製品/サービス

2002年～© 2019 Asteria Corporation

2009年～

2017年2月～

3

2017年6月～

AgendaDX時代におけるデータ連携の必要性と連携パターン

データ連携で押さえるべきポイント
ASTERIA Warpを利用したデータ活用手法
AWS連携機能
AWS連携パターンとDemo© 2019 Asteria Corporation

4

DX時代におけるデータ連携の必要性と連携パターン© 2019 Asteria Corporation

データ連携の必要性と連携パターン✓ DX（デジタルトランスフォーメーション）「ITの浸透が、人々の生活をあらゆる面でより良い方向に変化させる」という概念：ストルターマン教授（出展：Wikipedia）
DXの段階◼ 第1フェーズ：IT利用による業務プロセスの強化◼ 第2フェーズ：ITによる業務の置き換え◼ 第3フェーズ：業務がITへ、ITが業務へとシームレスに変換される状態© 2019 Asteria Corporation

6データ連携の必要性と連携パターン
DXの段階
第1フェーズ
IT利用による業務プロセスの強化

第2フェーズ
ITによる業務の置き換え

第3フェーズ
業務がITへ、ITが業務へとシームレ
スに変換される状態

標準化された業務プロセスを情報システムに置き換える

ITで業務を代替させ、自動化させる

ITと業務の現場が一体となって、改善活動を高速で繰り返しながら、常に最適な状態を維持し、業務を遂行する

業務システム

RPA

データ連携IoTERP

AI

SFA/CRM

×Google/Microsoft© 2019 Asteria Corporation

7

データ連携の必要性と連携パターン✓ 以前までは➢ 分散されたシステム間のデータ連携➢ BI・ダッシュボードによる分析
etc.
財務システム

販売管理システム

分析
DWH

人事システム© 2019 Asteria Corporation

生産管理システム8

データ連携の必要性と連携パターン✓ 現状は➢➢➢➢

クラウド移行によるハイブリッドクラウド連携
クラウド to クラウド
IoTなどのビッグデータ活用（社内データ資産とのマッシュアップ）AI活用 etc.

ハイブリッドクラウド

マッシュアップ

クラウドtoクラウド

IoT

社内社内資産© 2019 Asteria Corporation

9

マッシュアップ

ビック
データデータ連携の必要性と連携パターン

✓ よって

データ

“データのみがIT資産”になる

Azure、GCP

IaaS
データ

データ

オンプレミス

PaaS
データ

今後はデータを柔軟に連携させることで、“データの価値”を高め、SaaSDXをさらに推進する必要がある© 2019 Asteria Corporation

10データ連携で押さえるべきポイント© 2019 Asteria Corporation

データ連携で押さえるべきポイント

API を攻略する！
API： Application Program Interface

ほとんどのクラウドサービスやパッケージ製品がWeb API を公開© 2019 Asteria Corporation

12データ連携で押さえるべきポイント●

インターフェース（Web API）
ほとんどのサービスがSOAP （Simple Object Access Protocol）
or
REST （Representational State Transfer）
を提供している
SOAP vs. REST
✓ 現在ではよりシンプルなREST APIが事実上の標準✓ SOAPはRESTに比べてデータ構造が複雑✓ 入力パラメータが単純であればRESTで対応しやすい© 2019 Asteria Corporation

13

データ連携で押さえるべきポイント●

データフォーマット（Web API）
ほとんどのサービスがXML （ Extensible Markup Language ）or
JSON （JavaScript Object Notation）
で提供
XML vs. JSON
✓ XMLでは表記の冗長さに加え、DTDやXML スキーマ、名前空間などさまざまな事柄を意識する必要がある✓ JSONは非常にシンプルで覚えることが少ない© 2019 Asteria Corporation

14データ連携で押さえるべきポイント●

認証（Web API）
・AWS
→ AuthorizationヘッダとHMACハッシュ署名による認証
・ Google / Mycrosoft Dynamics / Salesforce /Facebook /Twitter→ OAuth1/OAuth2
・kintone→ Authorizationヘッダ＋Basic認証
OAuth2が主流にトークンの有効期限が・・・

etc.

Web APIによる認証方式は種類が多い・・・© 2019 Asteria Corporation

15

データ連携で押さえるべきポイント●

既存システムとの連携
相手側のAPIにあわせ、従来通りの手段で連携
基幹システム・ファイル連携➢ FTP/MQ・DB連携➢ JDBC/ODBCなど

DB

基本、相手側システムやパッケージのインターフェースに従う
BAPI/RFC/IDOC© 2019 Asteria Corporation

16

SAP/R3

データ連携で押さえるべきポイント
クラウド連携で注意すべき点✓ データ転送（参照）に時間が掛かる
ログファイル転送とかは1ファイルが数GByte以上にも➢ 圧縮、分割転送、専用線✓ トランザクションがきかない
SOAP/RESTなどはPUTしたらコミット➢ 設計でカバー、クラウドDB利用✓ 利用制約がある
クエリの発行可能総数、一度の抽出件数/登録件数など➢ 設計でカバー、プラン変更© 2019 Asteria Corporation

17データ連携で押さえるべきポイント
データ連携部分の開発手法は？
●プログラミング言語を使った場合のロジック➢ インターフェース数が少なければプログラミングで・・・➢ 専用ライブラリも用意されているので頑張れば・・・➢ できるだけコストをかけたくないから・・・

でも・・・
✓
✓
✓
✓

スケジューラ機能は？
大量データ処理は？リカバリは？
API変更・・・
メンテナンスは？連携先変わったら作り直し？

そして、現実的な課題としては・・・© 2019 Asteria Corporation

18

データ連携で押さえるべきポイント
Japan Web API Community での調査結果

出展:JWACOM#01 アンケート© 2019 Asteria Corporation

19データ連携で押さえるべきポイント• APIを使ってみる際の課題
リファレンス
が難解

認証も難解（トークンの有効期間・・）

プログラム
工数

すべてのAPIで異なり、知識があまり生かせない
データ連携ツール 「ASTERIA Warp」 で解決します！
© 2019 Asteria Corporation

20

ASTERIA Warpを利用したデータ活用手法© 2019 Asteria Corporation

ASTERIA Warp とは
ASTERIA Warpは、 “ノン・コーディング”で設計開発を行うことで、様々なシステムやサービスと連携し、業務の効率化やデータの活用を実現するデータ連携ツールです。

70以上のサービスやシステムと迅速に連携

シンプルな操作で超高速開発
データ取得

Microsoft Dynamics 365
Office 365
Google スプレッドシート
Google ドライブ
GoogleBigQuery
Boxetc…….

© 2019 Asteria Corporation

変換

データ出力

スケジューラ起動
外部トリガー起動

月額3万円から22

アイコンを並べてノン・コーディングでデータ連携を定義します導入実績 7,783社(2019 年3月末現在)＆ 12年連続シェアNo.1© 2019 Asteria Corporation

23

テクノ・システム・リサーチ「2018年 ソフトウェアマーケティング
総覧 EAI/ESB市場編」（数量ベース）

70種類以上の豊富な接続先
オフィス/グループウェア

データベース● FileMaker● Oracle● IBM Db2
● Microsoft Access● Microsoft SQL Server● Microsoft Azure SQL Database ● Microsoft Azure Cosmos DB● PostgreSQL● MySQL● MariaDB● Amazon RDS● Amazon DynamoDB● Google Cloud SQL● Amazon Athena ● MongoDB● Microsoft Excel● Microsoft SharePoint● Google コンタクト● クリプト便● Microsoft Active Directory● kintone● Google カレンダー● D3Worker会計● 請求管理ロボ● MFクラウド経費

DWH / ビッグデータ● Amazon Redshift● IBM PureData● Microsoft Office 365● IBM Notes/Domino● Google スプレッドシート● POWER EGG● BIZ PLATFORM● EXPLANNER/FLSFA / CRM● Google BigQuery● Amazon EMR

BPM / BRMS / ワークフロー● intra-mart● InnoRules● Microsoft Dynamics CRM（365）● Salesforce● クライゼルクラウド（IaaS）

ERP● Microsoft Azure● Amazon Web Services● Google Cloud Platform ● さくらのクラウド● Cloudn● Oracle Cloud Platform● SAP ERP
● NetSuite● Microsoft Dynamics NAV（365）● Microsoft Dynamics AX（365）● IFS Applications● RobotERP ツバイソ
● ServAir● スーパーカクテルデュオ

ファイルフォーマット
● CSV
● ZIP
● HTML● テキスト● XML● PDF● GZIP● TAR● MIME（S/MIME）● バイナリEDI● JSON● 固定長● JFT/SaaS

BI

ネットワーク● Tableau● Amazon S3● Google ドライブ
● Google Cloud Storage● Microsoft OneDrive● Box© 2019 Asteria Corporation● Dr.Sum EAマーケティング● SOAP
● REST● HTTP / HTTPS● FTP / SFTP
● POP3 / POP3S ● IMAP / IMAPS● SMTP / SMTPS ● LDAP

クラウド ストレージ● Biware

AI/RPA/OCRSNS● Facebook● Twitter● Slack● LINE ● Amazon SNS

24● Google Analytics● Oracle Eloqua● Sansan● Amazon Rekognition● Google Cloud Vision● Google 広告● uSonar● 名刺de商売繁盛● Azure Cognitive Services● BizRobo!

● Marketo● Data-Master

利用シーン①システム連携基盤②データ統合基盤③メールやExcelとの連携(EAI・ESB・ハイブリッドクラウド）（ETL）（簡易EDI）

ERP・DB

グループウエアBusiness
分析 Inteligence

各部門
データ入力

経営層分析

Excel

Excel

DWH
Excelデータを自動取得

Notes等Oracle、DB2、
SQL Server 等

業務システムメインフレーム
データ収集

RDB

集計結果
メールサーバー
PDF

Excelcsv

データ統合（クレンジング、マージ）

レポート配信通知

販売管理システム

顧客管理システム

格納

各種サービスパブリック
クラウド⚫ 社内外に散在する各システムの疎結合連携を実現⚫ 多重入力を無くし業務効率向上が可能© 2019 Asteria Corporation

管理者

プライベートクラウド⚫ 煩雑なデータ収集・分析業務の自動化を実現⚫ 高速処理機能によりDWHへの高速Loadを実現
25

受注DB

⚫ 手作業で行っている受発注処理の自動化を実装可能⚫ メール送受信からExcelデータからの抽出や書き込みが可能ノンコーディングで高速開発
ASTERIA Warp は社内に存在する各種システムやデータ、クラウドサービス上に存在する様々なデータを“ノン・コーディング”で連携するツールです。

Field1

Column1

Field2

Column2

Field3

Column3

Field4

Column4

ASTERA Warp は各種の機能を内包したアイコンを並べてデータ連携を定義します。
© 2019 Asteria Corporation

26

ASTERIA Warp とプログラミング（手組）

ノン・コーディング

プログラミング（手組）

数十分〜数時間© 2019 Asteria Corporation

数分27

ASTERIA Warp とプログラミング（手組）

ノン・コーディング

プログラミング（手組）

設計工程＝開発工程 ⇒ 即稼働
属人性を排除

→アイコンを並べるだけのカンタン開発→65～100stepのjava
サンプルの検索、コピー＆ペースト、コンパイル、テスト、仕様書作成など、タスクは山積み。
© 2019 Asteria Corporation

詳細設計工程と開発工程を同時化により開発工数を削減
仕様書も自動作成

28

さらにテンプレート機能で開発不要にフローテンプレートを利用することで、開発がほぼ不要に！
ナビゲーション画面で設定することで自動で処理フローが生成

更新ファイル取得

DB更新日時監視

フォルダーでファイルの更新日時を監視し更新されたファイルを取得

データベースの更新日時フィールドを監視し、前回実行時以降に更新されたレコードを抽出© 2019 Asteria Corporation29

充実したエンタープライズ機能
優先実行モード

チェックポイント機能◼ フローの実行に「優先」モードを追加◼ 通常のフローが実行中でも優先して実行される◼ Web系の処理とバッチ系の処理が混在している環境な
ど、優先度が決められる場合に有効◼ 中断してしまったフローを途中から再開（リトライ）◼ 障害で中断した長時間処理の再開に効果的◼ 別サーバでのリカバリも可能

大量データ処理

マージ、チェック処理◼ APIを利用したバルクでの登録機能◼ 並列処理機能でさらにパフォーマンス向上◼ 処理フロー単位でのトランザクションが可能◼ 仮想テーブル機能を利用したマージ処理◼ 関数機能を利用したコード変換処理◼ Validation機能でのデータチェック
RDB

csv

マージ

© 2019 Asteria Corporation

30

Excel・Validationビルダー
データ型最少値最大値チェック
半角英数チェック
固定値チェック
文字数チェック開発生産性を向上する支援機能
開発支援ツール

デバッグ実行◼ データベースから読み込むテーブル、フィールドをGUI形式のツール「SQLビルダー」で選択◼ 実際に読み込むExcelブック、書き込むExcelブックをもとに「Excelビルダー」のGUIで設定◼ ブレークポイントをフローに設定することでリアルタイムにデバッグが可能◼ 処理を順に追って変更過程の処理を検証し修正可能

SQLビルダー

Excelビルダー

AWS S3ブラウザ

仕様書出力（フロー、テーブル）バージョン管理◼ 詳細なフロー定義情報、DBテーブル情報を出力◼ 差分情報も出力可能◼ Subversionとの連携◼ プロジェクト共有、変更履歴管理などチーム開発支援© 2019 Asteria Corporation31

まとめ• APIを使ってみる際の課題
リファレンスが難解（トークンの有効期間・・）

プログラム工数◎◎◎

API仕様は専用アダプターが吸収認証も専用アダプターが吸収© 2019 Asteria Corporation

認証も難解

32

ノン・コーディングでの超高速開発！

まとめ• データ連携比較（データ連携ツール vs.プログラミング手組）
データ連携ツール（ASTERIA Warp）

プログラミング(手組)開発生産性（スピード）◎ ノン・コーディング

〇

汎用性〇

◎メンテナンス（拡張）性◎ 処理が可視化

×アダプター機能（認証含む）◎ アダプター豊富、API変更もサポート△

スケジューラ◎△（別製品が必要）

運用管理機能〇△（別製品が必要）

保守（サポート）◎△

コスト〇3万円~（月額）〇TOTAL◎△？

© 2019 Asteria Corporation33

AWS 連携機能© 2019 Asteria Corporation

Amazon Web Services
アダプターオプション◼ASTERIA WarpからAWSで提供される様々なサービスに簡単な設定のみで接続することが可能なアダプター◼専用のブラウザによって各サービスに接続、各種操作が可能© 2019 Asteria Corporation

35

ASTERIA Warpが対応している
AWSのサービス◼ ASTERIA WARPの標準機能で対応◼ Amazon RDS◼ Amazon Redshift

Amazon RDSへの接続は通常のRDBと同様にSQLビルダーで操作

ペタバイト級データウェアハウスのサービスであるAmazon RedshiftにもSQLビルダーで接続◼ AWSアダプターオプションで対応◼ Amazon S3◼ Amazon EC2◼ Amazon DynamoDB

Amazon S3 へのデータ転送・取得をドラッグ＆ドロップで構築
通常のストレージのように取り扱うことが可能EC2インスタンスの起動終了を外部から制御
月次バッチ起動時のみインスタンスを起動するなどの運用が可能「DynamoDB Browser」の設定
で、 DynamoDB へのデータの入手力が可能◼ Amazon Simple Queue◼ Amazon Elastic
MapReduce◼ Amazon Redshift

専用画面の操作のみでキューを取り扱
いElastic MapReduceを使ったAmazon
環境でのHadoop処理を制御◼ Amazon SNS
ノーティフィケーションサービスを利用して、登録された端末にプッシュ通知を送信© 2019 Asteria Corporation36

単純に読み取るだけであればSQLビル
ダーで可能だが、S3からのデータロードや分析に必要な機能を追加

コンポーネントの種類
コンポーネント名

機能概要

コンポーネント名AWS S3Get

Amazon Web ServicesからS3のコンテンツを取得します

AWS EMRStartAWS S3Put

Amazon Web ServicesのS3へコンテンツを出力します

AWS EMRRunJob

AWS S3Download

Amazon Web ServicesのS3からファイル・フォルダーをダウンロードします

AWS EMRWaitJob

AWS S3Upload

Amazon Web ServicesのS3へファイル・フォルダーをアップロードします

AWS EMRTerminate

AWS S3List

Amazon Web ServicesのS3からオブジェクトの一覧を取得しま
すAWS SNSListTopicAWS S3Delete

Amazon Web ServicesのS3からオブジェクトを削除します

AWS SNSCreateTopicAWS SQSGet

Amazon Web ServicesからSQSのメッセージを取得します

AWS SNSDeleteTopicAWS SQSPut

Amazon Web ServicesのSQSへメッセージを出力します

AWS SNSListEndpointAWS EC2SearchInstanceAWS EC2GetInstanceAWS EC2CreateInstanceAWS EC2CreateTagAWS EC2StartInstanceAWS EC2StopInstanceAWS EC2WaitStatus
AWS EC2TerminateInstance© 2019 Asteria Corporation

EC2のインスタンス情報を検索しますEC2のインスタンスIDを指定してインスタンス情報を取得します
EC2のインスタンスを作成します
EC2のインスタンスにタグ情報を設定します

SNSのトピック情報を取得します
SNSのトピック情報を取得します
SNSのトピック情報を取得します
SNSのトピック情報を取得します

AWS SNSListSubscription

SNSのトピックに登録されているサブスクリプション情報を取得します

AWS RedshiftCopyTable

37

Elastic MapReduceでジョブフローを停止します

SNSから登録されているエンドポイントを削除します

AWS RedshiftLoad

EC2のインスタンスを終了します

Elastic MapReduceで指定したジョブを待機します

AWS SNSDeleteEndpointAWS SNSPublish

EC2のインスタンスが指定されたステータスになるまで待機します

Elastic MapReduceでジョブを開始します

SNSのアプリケーションにエンドポイントを作成しますAWS SNSUnSubscribe

EC2のインスタンスを停止します

Elastic MapReduceでジョブフローを開始しますAWS SNSCreateEndpointAWS SNSSubscribe

EC2のインスタンスを起動します

機能概要

SNSのトピックにエンドポイントを登録します
SNSから登録されていた受信登録を解除します
SNSへメッセージを発行します
S3からRedshiftへデータをロードしますRedshiftに既存データのクエリーを元にしてテーブルを作成します各種専用ブラウザ◼Amazon S3、DynamoDB、Simple Queue、SNSは専用の画面にて操作可能◼Amazon DynamoDBBrowser◼Amazon S3 StorageBrowser

接続したDynamoDBのテーブ 通常のストレージのようにル、インデックスをツリー構造で ツリービューを持った直感的表示しし、操作な画面で操作© 2019 Asteria Corporation◼Amazon SQS Queue
Browser
キューの一覧と作成削除を直感的な画面にて操作

38◼ Amazon SNS TopicBrowser,◼ Application Browser
アプリケーション、トピックを一覧表示、操作を行う画面を用意

Redshift専用ブラウザ◼Amazon Redshiftを使った分析業務では以下の2つの コンポーネントで支援

AWS RedshiftLoad

AWS RedshiftCopyTable

S3からRedshiftへのデータロードを画面の選択のみで実現

分析時に必要となる一時テーブルの作成も直感的な画面操作で実現© 2019 Asteria Corporation

39

AWS 連携パターンとDemo© 2019 Asteria Corporation

Amazon RDS(Aurora)へのデータ入出力
Demo抽出登録

登録

抽出事例２：プロトコーポレーション様

事例１：ゴルフダイジェストオンライン様
Eコマースサイトからバックエンドシステムまで社内主要システムを疎結合で連携するデータ連携基盤として利用している。
ASTERIA Warp処理件数は現在では1日平均400万件以上に及ぶ。

© 2019 Asteria Corporation

Amazon Aurora

ASTERIA Warpの並列処理機能により８スレッド同時書き込みを行うことで、性能を高め5分おきの確実な差分更新を実現。
項目追加に伴う開発期間を1/5以下に短縮。

41

Amazon RedShiftへのデータ登録
Demo

データ収集

S3

S3へファイルをUpload

さらにファイルを分割することで高速なLoadが可能

S3からRedshiftにデータロードRedShift

事例１：リクルート住まいカンパニー様

事例２：イオンイーハート様

膨大なデータの蓄積基盤としてS3/Redshiftを、データの移送処理、加工処理の共通化にASTERIAWARPを採用
4か月で数百バッチの置き換え（＋共通化）を完了、計画の1.5倍の進捗

POSデータ分析基盤をRedshift × Tableauで構築
気象情報を始めとした先進的な統合分析を日々刷新中
Ta blea u⽤
⽤のEC2
は業務時間だけ起自自動動

A m a zo n S3

A m a zo n
R e d s h if t

約2 6 0 店舗のPOSデータ※「AWS ソリューションDays2」講演資料より抜粋© 2019 Asteria Corporation

42

店舗

データセンターA m a zo n
EC2

T a b le a u
D e s k to p

A m a zo n
EC2

T a b le a u
D e s k to p

A m a zo nEC2

T a b le a u
D e s k to p

AWS cloud※「クラウドで実現するビッグデータ分析最前線」にて登壇

Amazon Rekognition の利用
Demo

Amazon Rekognition

ASTERIA Warp 機能名

説明AWS RekognitionOCR

画像から文字列を取得

AWS RekognitionTagImage

画像にタグ付けAWS RekognitionImageModeration

画像のモデレーション

Experimental Buildで公開中！
例えば・・・• 伝票スキャンデータのOCR処理• 不適切なコンテンツ・テキスト投稿の監視© 2019 Asteria Corporation

43

まとめ
基盤利用で多数の実績と、豊富なAWS連携機能を持つ

プログラミングやAPIの知識を必要とせず、月額3万円から利用可能

お試しください！
© 2019 Asteria Corporation44

おしらせ© 2019 Asteria Corporation

今だけ！無料体験のお申込みで”全員”に使い方書籍をプレゼント！

「手ぶら de ASTERIA Warp」で 業務自動化体験✓ 5日間無料で体験✓ サーバー準備不要✓ スタートガイド付き

手ぶらでアステリア© 2019 Asteria Corporation46

Thank you.
© 2019 Asteria Corporation