登壇者紹介
株式会社GRI
取締役 （Ph.D. in コンピュータサイエンス）

株式会社GRI
データサイエンス事業部

古幡 征史

横井 晃広

Furuhata Masabumi
お問合せご連絡先: furuhata.masabumi@gri.jp
https://twitter.com/FuruhataMsbm

Yokoi Akihiro
お問合せご連絡先: yokoi.akihiro@gri.jp

⼈⼯知能領域の研究だけでなく、幅広い業界での実務経験を活かした企画開発を⾏う

データサイエンス領域の新しい情報を常に収集し、独⾃の視点と合わせて開発分析を⾏う【経歴】
KPMGコンサルティング、南カリフォルニア⼤学、株式会社ドワンゴを経て、2016年より現職【経歴】
Matillion等のツールを駆使したデータ基盤構築に従事
2021年より現職

領域
データ解析、AI、BI、データ基盤、DX戦略、研究開発、SCM、⽣産、調達、物流、マーケティング、経営、⼈事

キーワード
データ基盤、ETL、データベース、DWH、BI、データ分析、Matillion、
Snowﬂake、Tableau、SQL、Python、
ももクロ、サッカー、阪神タイガース、映画、MARVEL、畑、お笑い、ダイビング、スノボ、⿇雀、ポーカー、謎解き、ポケモンカード

業種
エンタメ、メディア、⼩売、建設、物流、製造、⾷品、通信、エネル
ギー、インフラ、出版、広告、軍事©GRI Inc.

すいすい会の紹介

データサイエンス、データ分析、データドリブン組織 etc.

データ利活⽤をがんばるデータの猛者たちのための雑談会です！

悩み知⾒

理解

を共有するを共有するを⾼める

実践を重視するGRIの考え⽅を雑談しながらお届けします
資料：GRIホームページ
Slack：ForecastFlowチャンネル©GRI Inc.

過去のすいすい会の動画（YouTube）

https://www.youtube.com/c/GRIinc
チャンネル登録 / いいね！ / ⾼評価
よろしくお願いします！

©GRI Inc.

データサイエンス企業GRIの取り組みテーマ例
DX戦略⽀援∕データドリブン
経営

⼤規模
データ基盤構築

⾼度データ
⼈材育成

©GRI Inc.

予測AI

BI

（IoT予兆検知、サービス解約予測）（⾒える化、KPI
ダッシュボード）

⾃然⾔語処理AI（コンテクスチュア
ルターゲティング、
⽂脈理解、LLM）

⼈流解析（AIカメラ、GPS）

時系列予測（需要予測、Marketing MixModel）

オープンデータ
データシェア（クローリング、地理空間統計、気象）

5

GRIで扱うデータ
データ種別ごとに分析用に適したデータ構造が決まる

業務システム
データ

時系列ログデータ• ID-POSシステム• ERPシステム• CRMシステム• SCMシステム• WMSシステム• HRシステム• ポイントシステム• Webログ• SNSデータ• センサーログ（IoT）• TV視聴ログ• 生体信号• 金融経済データ©GRI Inc.

社会調査
市場調査
• アンケート• 世論調査• カルテ• レビュー

非構造化データ• 自然言語• 音声• 画像• 動画ネットワーク
データ• 交通データ• SNSデータ• 会話・文字データ• 組織図• コミュニティ• 人間関係データ

オープンデータ• 政府統計• 天気• 人口統計• 地域• カレンダ• コーパス• スポーツ6多くのクライアントのデータ基盤を⾒てきた感想● 導⼊⽀援ベンダーやIT管理企業に騙されている会社が多い● その費⽤があったら、もっと分析できるのに● 他の企業に任せるより⾃分たちで作った⽅が良い分析できる©GRI Inc.

7

データ基盤構築に際して、良い選定基準

データは21世紀の新しい⽯油
Information is the oil of the 21st century and analytics is the combustion engine
The world's most valuable resource is no longer oil, but data

https://www.economist.com/leaders/2017/05/06/the-worlds-most-valuable-resource-is-no-longer-oil-but-data©GRI Inc.

9

エンタープライズでのデータ活⽤の⽅向性

データドリブン経営によるオペレーショナルエクセレンスの達成

AI活⽤によるイノベーティブなサービスや商品開発©GRI Inc.

10４段階のデータ活⽤レベル
価値後知恵hindsight

インサイトinsight

先⾒性foresight化4. Prescriptive（処⽅的）

最適

どのようなアクションをとるべき？

3. Predictive（予期的）何が起こりそう？

2. Diagnostic（診断的）なぜ起きた？

1. Descriptive（記述的）何が起きた？

情報

難易度
https://www.gartner.com/en©GRI Inc.

４段階のデータ活⽤レベル
価値

後知恵
hindsight

インサイト
insight

先⾒性
foresight

化

予測AI
4. Prescriptive（処⽅的）

最適

どのようなアクションをとるべき？

時系列予測
3. Predictive（予期的）何が起こりそう？

Tableau
2. Diagnostic（診断的）PowerBI
LookerStudio

なぜ起きた？

1. Descriptive（記述的）何が起きた？

データ基盤

情報

難易度
https://www.gartner.com/en©GRI Inc.

データサイエンティストの時間の使い⽅と典型的な⽅針

データサイエンティストの時間配分

20%
データ分析

●●

©GRI Inc.

30%
データ前処理50%
ドメイン知識の獲得
ゴール設定

現場で分析できる⼈材を増やす
データ整備をしておき、データ分析の時間を確保できるようにする

13

エンタープライズ企業に⽴ちはだかるデータサイロという壁● データが分断されている状態だと、分析前にデータ収集やデータ整形が必要になり、前処理に90%の時間を使うことになる● 分断されたデータはデータ基盤上に統合されていると、分析の成果を挙げやすい©GRI Inc.

14

モダンデータスタックという救世主● モダンデータスタックとは○ データ基盤を簡単に構築‧管理するための最新のクラウドツールを組み合わせたもの● モダンデータスタックの特徴○○○

簡単に試せる
⼤規模データを⾼速処理コンポーネント化で疎結合

データサイロ

モダンデータスタック©GRI Inc.

エンタープライズ15

エンタープライズのデータフローの例
データソース

データ基盤

アプリケーションモダンデータスタックのランドスケープ
ここにAIアプリ、⾃動機械学習、Advanced Analyticsが加わる©GRI Inc.

https://notion.castordoc.com/modern-data-stack-guide17最初に決めるべきはクラウドDB

Snowﬂake©GRI Inc.

BigQuery● 課⾦に応じてスピード調整（Storage & Computing分離）● 普通のSQL● データクリーンルーム● GAなどGoogle製品と相性が良い● スケーラブル⾼速処理● 基本安い（投⼊含めて）● データ投⼊時に⼯夫が必要● ⽀払⽅法● 各クラウドとの統合性● ローカルなSQL● クエリ課⾦● IoT Core突然撤退

18

ツール選定は配置できる⼈材の特徴で決める
InterWorks社と私の見解
BasicStarting
PointsAd Hoc andUser-Driven
Analytics

Data Lead

Solutions
Architect

Data
Engineer

Data
Engineer

UI
Preference

Code-Based

Data
Engineer

Furuhata

Extraction/Lo
ad

Fivetran

Matillion

Fivetran

Matillion

Matillion

Fivetran

Matillion

Matillion

Warehousing

Snowflake

Snowflake

Snowflake

Snowflake

Snowflake

Snowflake

Google Big
Query +Omni

Snowflake
BigQuery

Data
Transformati
ondbt

Matillion

dbt CloudDataiku

Matillion

Snowflake

Matillion +Google
Vertex AI

Matilliondbt

Analytics

TableauThoughtSpot

LookerTableau

Tableau

Tableau

LookerTableau

https://interworks.com/blog/2022/06/13/what-makes-good-analytics-the-perfect-toolset-for-a-data-intelligent-business/©GRI Inc.

19

ELTの⽐較(Fivetran/Matillion)

クラウドDBへのデータ投⼊

コンポーネントでポチポチ(150+)

コンポーネントでポチポチ(100+)

データ整形

SQLやdbtを管理しやすい

コンポーネントでデータ整形（SQLやdbtも使える）

SQLエンジニア

複数以上いる

⽤意できない

課⾦体系

冪等性を担保するデータ⼊替が不利な課⾦体系

稼働時間課⾦で予算組みやすい©GRI Inc.

20

ETLとELTの違い
列指向DB中⼼のETL

Tableau中⼼のデスクトップETL
Transform

Extract
Apps

FilterDB

FilterFile

Type
Change

Join

Load
Hyper

Hyper

Join

Prep Builder

Transform Load

Extract
Dashboard

Dashboard

Apps

FilterDB

FilterFile

Type
ChangeTableauTransform©GRI Inc.

Apps

Hyper

DB

Hyper

File

Hyper

Join

Dashboard

Join

DB
Table

Dashboard

列指向DB

Tableau

列指向DB中⼼のELT

LoadExtract
Hyper

DB
Table

ETL tool

Tableau中⼼のサーバETL
Extract

Join

Dashboard

Apps

Transform

Load
DB
Table

Join

DB
Table

Dashboard

Join

DB
Table

Dashboard

列指向DB

Tableau

DB

Join

Prep Conductor

Hyper

Dashboard

Tableau

File

ELT tool21

列指向DB中⼼のELTでのデータフロー、⼈材、ツール
Analytics
EngineerBI
Engineer
Inbound
Data Engineer
Data
Lake
Apps

Raw

一次整形

DB
Table

DB
Table

Apps

DB
Table

DB
Table

DB

DB
Table

DB
Table

OutboundData Engineer

Analyst

DWH

Data
Mart

DB
Table

DB
Table

BI

Dashboard

Dashboard

Dashboard

DB
Table
DB
Table

DB

DB

File

File

©GRI Inc.

File

File

File

DB
Table

DB
Table

DB
Table

DB
Table

DB
Table

DB
Table

DB
Table

DB
Table

Dashboard

Dashboard
DB
Table
DB
Table

Dashboard

Dashboard
DB
Table
Dashboard22

ダーティデータへの対応● エンタープライズ企業にダーティデータがあるのが普通● 初期分析でダーティデータの特徴を把握○ データ定義書や数⾏のサンプルデータを信じない→ データ基盤が完成してからデータを⾒て修正しない○ ⼤規模データで確認● 対応⽅針を決める○ データ‧クレンジング→ データ整形で対応○ データ‧エンリッチメント → 外部データやAI活⽤

Dir©GRI Inc.

ty

DATA
23

データエンリッチメントの例（読売新聞グループ様）

https://www.youtube.com/watch?v=uOZei51842I©GRI Inc.

24

先ほどのMatillionがエンタープライズに向いている理由

https://www.youtube.com/watch?v=G_5lH0dv6Uo©GRI Inc.

https://www.youtube.com/watc
h?v=vveRFRovQps

25

Matillionについて

Matillionの主な特徴●

DWHの強⼒なマシンパワーが使えるELTツール○●

⾮エンジニアでも扱いやすいノーコードかつGUIによる開発○●

社内に乱⽴するシステムを統合して⼀括管理

費⽤は従量課⾦制○©GRI Inc.

ボトルネックになりがちな社内浸透の壁を超えやすいコネクタが豊富であらゆるシステムと連携可能○●

IoTセンサーなどの⼤規模データにも強い必要最低限のコストかつ予算が組みやすい27

Matillion×Snowﬂakeの⼤規模データ基盤構築の事例

●

依頼内容
○
○
○
○
○
○

●

検証内容
○
○
○
○

©GRI Inc.

⼯場内に設置したセンサーから計測値を集計し、監視する
1⼯場につき計測項⽬は200〜300、⼯場数は10,000箇所
毎分データを取得取得したデータは時間単位に集計
3年分のデータを保持
定期的に3年分のデータを再計算
Matillion×Snowﬂakeでパイプラインを構築
Snowﬂakeに1兆⾏（約2TB）と10兆⾏（約29TB）のテーブルを⽤意
6XLのウェアハウス（通常の512倍）で再計算処理を実⾏
依頼から検証まで約2ヶ⽉
28

Matillion×Snowﬂakeの⼤規模データ基盤構築の事例

●

検証結果
○

なんと無事最後まで処理が完了！Snowﬂakeすごい！

処理時間©GRI Inc.

1回の処理にかかった費用

1兆行(約2TB)

約7分

約25,000円

10兆行(約29TB)

約50分

約170,000円

29Snowﬂakeがすごいのはわかった
Matillionで開発期間が短縮できるのもわかった

ELTツールならMatillionじゃなくてもいいのでは、、！？

Matillionのデモ

Matillionであなたのデータ基盤はこう変わる！

●

わかりやすいGUIで属⼈化を防ぐ！
○
○
○

●

ジョブのカスタム性能が優れており開発効率爆上げ！
○
○
○

●

単純なスケジュール実⾏だけでなくジョブチェーンが作れる
よくある処理はSharedJobで共通化
SQLやPythonのスクリプトも書けちゃう

地味に困っていたところにも⼿が届く機能で業務改善を図る！
○○©GRI Inc.

コンポーネントの配置が⾃由で処理の分岐も作りやすい
⽇本語対応かつ⾃由に配置できるコメント機能で伝わりやすい
加⼯途中のデータサンプルを確認できるので処理の内容がわかりやすい

複数のTransformationの処理も⼀括でSQL変換可能
⾼額なツールを使わずともリバースETLを実現

32

Matillionの将来像

今後のMatillionはLLM連携にシフト

例えば、「顧客の声」や「商品カテゴリ」の適切な分類をデータパイプラインの中でLLMを活⽤して実施©GRI Inc.

34LLMを正しく使う＆検算する能⼒∕体制

やりたいことを適切に思い付き適切なプロンプトを⼊れる能⼒
検算する能⼒©GRI Inc.

今後の予定今後の予定Matillionユーザ会
https://mug-japan.studio.site/
お問合せ先： GRIのホームページより（採⽤強化中、案件のご相談）
https://gri.jp/contact/?id=9773
次回のすいすい会
Xにて告知 https://twitter.com/gri_2017● ⾃動機械学習やオープンデータ活⽤を想定● 「ここだけのデータ基盤の話をぶっちゃける会」
オフラインでエンタープライズ同⼠の情報共有会を企画中©GRI Inc.