「MapRによるHadoopの最新情報～市場動向とユースケース～」
2014/11/28
マップアール・テクノロジーズ株式会社
アライアンス&プロダクトマーケティング
三原 茂
smihara@mapr.com© MapR Technologies

アジェンダ
1. MapR社のご紹介
2. Hadoopとは？
1. Hadoopのマーケット状況

3. Hadoopの位置付け
1. DWH
2. BI
3. ストレージ

4. MapRディストリビューション
5. まとめ© MapR Technologies

MapR社概要（1）MapR Technologies Inc.：【Founder】 John Schroeder & M.C. Srivas【設立】
2009年、カリフォルニア州サンノゼで設立【従業員】 約 300 人【拠点】
13カ所（米国、イギリス、フランス、ドイツ、シンガポール、オーストラリア、日本、韓国、スウェーデン）【URL】 https://www.mapr.com/

日本法人：【会社名】マップアール・テクノロジーズ株式会社(MapR Technologies K.K.)【所在地】〒100-0005
東京都千代田区丸の内1-8-3
丸の内トラストタワー本館20F
Tel: 03-5288-5370
eMail：sales-jp@mapr.com【設立】 2013年4月© MapR Technologies

Hadoopとは？
大きく2つのコンポーネントで構成：

HDFS (Hadoop Distributed File System)
分散ファイルシステム

MapReduce
大規模分散処理フレームワーク

データをためる

データを加工するデータをブロックに分割して複数のサーバに分散配置／3つのレプリカを作成

Map/Reduceというシンプルな処理の組
み合わせで、HDFS上にあるデータの分散処理を行う汎用的なフレームワーク

処理の近くにデータを置く：データ（保管）と処理能力（加工・分析）をデータのある場所で！
© MapR Technologies
設計当初から大規模、大容量、増加し続けるデータに対応（分散処理＆スケールアウト）

MapRのパッケージ
APACHE HADOOP AND OSS ECOSYSTEM

CLI(Management and Monitoring)

RESTAPI

MapR Control SystemGUI

BatchML,Graph

SQL

Tez*

Spark/SQL

Spark

Drill*

Cascading
Pig
MapReduce v1& v2

NoSQL&SearchElasticSearch
Accumulo*

GraphX

Shark

MLLib

ImpalaSolr

Mahout

Hive

HBase

YARN

Storm*
Spark
Streaming

DataIntegration&Access

HDFS
API

Security

Workflow Provisioning& Data&Governan Coordinationce

Hue

Savannah*

HttpFS

Juju

Flume

Knox*

Falcon*Whirr

ZooKeeper
DATA GOVERNANCE AND OPERATIONSSqoop

EXECUTION ENGINES

NFS

Streaming

Sentry*

HBase
API

Oozie

JSONAPI

MapR-FS

MapR-DB(POSIX)(High-Performance NoSQL)MapR Data Platform(Random Read/Write)© 2014 MapRfor
Technologies* In Roadmap
inclusion/certification 4

各Hadoop ディストリビューションの違い
先進性や進化Apache Hadoop

OPEN SOURCE

各商用ディストリビューション

MapR

管理機能
イノベーション

管理機能
イノベーション

OPEN SOURCE

OPEN SOURCE

インフラストラクチャ
イノベーション
保守/教育サービス© MapR Technologies

保守/教育サービス

各Hadoopの評価
NoSQL: M7 (MapR-DB)

Forrester Wave™ NoSQL Key-Value Databases, Q3 2014

Hadoop: M5

Forrester Wave™Big©Data
HadoopSolutions, Q1‘14 6
2014 MapR
Technologies

破壊的技術と採用へのモチベーション
Hadoop as “disruptive Technology”
IT予算の伸び率2.5%

テラバイトあたりのデータの増加率
40%

コスト$40,000

Data$9,000<$1,0002013 2014 2015••2016 2017

ストレージDWH

Gartner, "Forecast Analysis: Enterprise IT Spending by Vertical Industry Market, Worldwide,
2010-2016, 3Q12 Update.“Wall Street Journal, “Financial Services Companies Firms See Results from Big Data Push”,
Jan. 27, 2014
© MapR Technologies

Hadoop活用の主な目的

セールス/マーケティング（売上/収益向上）

情報系IT（コスト削減）リスク回避（予防保守/不正検知）

基幹系IT（効率向上）© 2014 MapR Technologies

8大手GMSチェーンのMapR活用例
既存データはデータベースに関連無く広範囲に存在ロックされたバリューを簡単に解除することは困難
顧客統合視点では無い
効果的なロイヤルティプログラム
消費者の購買行動を部分的に理解
競合は顧客実装が進んでる ： 小売戦略中心
ロイヤル顧客へのプロモーション

Financial & Logistics Data（構造化データ）

分析
 O2O
コンバージョンレート

レポート
ターゲティング
レコメンデーション

オンライン及びオフラインの行動を関連付ける+2%

売れ筋商品の捕捉と理解

上乗せ収益



どんな人（性別、年齢）が何時に何人来店してるのか

動線・陳列最適化による商品クロスセリング

–

レジ到達時間等の顧客のより包括的な視点活用

クロスセリングからアップセリングを加速

2500ノード$1B
SNS, On-Line, POS, ポイント,位置情報ログ（非構造化データ）© MapR Technologies

大手金融業のMapR活用例～不正検知～以前のシステム：RDB + DWH

1TBデータ
抽出リピートData Analytics Tool

100%のデータを連続的に摂取

Terasort:45秒
Mininutesort:
蓄積可能データ量と1.6TB Hadoopの分析に実用限界は無い

1 TB Memory Limit
1. SASにデータ抽出 (一度に1TB)
2. 例外処理を検出
3. 前の分析を基本にクエリを改良
4. 第2の洗練されたデータサンプルを抽出 (1TB)
5. 更なる例外処理を検出
6. 必要であれば繰り返し

矛盾データ検知時間:
巧妙な場合には数時間から数日必要
巨大な違反は検出し停止させるのに1週間必要な場合がある

2000ノード＋数分で矛盾検知• MapReduce + Hive (データウェアハウス 構築環境) + R (統計解析向けプログラミング言語 & 開発実行環境) + Python (オブジェクト指向スクリプト言語) により数分おきに全のデータを連続的に分析• 不正行為と違反を直ちに検知© MapR Technologies

分析関連システムのどこに位置付くか？
DWH（データウェアハウス）DM

ETL（データ統合）

DWH

複数のソースシステムから、一箇所（DWH）にデータを集める
抽出、変換、クレンジングを行う
DMの切り出しにもETLを活用

マイニング
ETL

ETL
ETL

11

DWH/DMのデータを分析ニーズに合った表、グラフ、レポートとして表示
通常Webベース(ブラウザ）

特定のユーザーや特定用途のために抽出した一部のデータ多数のユーザーが必要なデータを高速に検索・分析するために最適化

各種データを一元的に格納大量の明細や長期間の履歴を保有
多数のソースデータを高速で格納し、日々更新するために最適化

ソースシステム
基幹系、業務系

BI(ビジネス・インテリジェンス)

DM（データマート）

Mining

大量データから未来を予測
推測統計、パターン発見、検定などの数理を活用

ソースシステム

Hadoop

基幹系、多数の業務系システム
様々な見るべき情報を保有
配置やデータ品質はバラバラ（従来はこれを一つづつ見ていた）大量データを溜め、処理、分析が1カ所でできる新技術© MapR Technologies

Verizonのコスト削減方法
1.
2.

ベライゾンのユーザが日々どういう使い方をしているか、ユーザプロファイルや営業/請求についての詳細を知る
サービス品質とサービス向上への修理や増設の元データが欲しい
ETL処理
Extract

Clean

Conform

Transform

データソース
NFS
顧客データ

アクセス
ログ

Hadoop：エンタープライズ・データ・ハブ

N1
構造化
＆非構造化
データ

N1

N1

N1

… N1

構造化データNFS

既存DWH
Data Warehouse and Analytics

1.
2.

解約率を下げる
DWH関連コスト削減

お客様のDWHの課題：
 増え続けるデータに既存DWHでは対応できない コスト
 パフォーマンス
 非構造化データ（ログ等）への対応
Hadoop導入のメリット：
 DWHに入れるべきデータを選別でき、データ量とコストのバランスを取れる
 DWH増設より圧倒的に低コスト（1/10に削減） どこまでもスケールするパフォーマンス（3倍）
 あらゆるデータを格納・処理
 ソースから分析までの一環したデータフローを実現
BI

機械学習© MapR Technologies

分析・レポートのニーズと現状
1. データ量を増やしたい

DWHの弱点2. データ種を増やし、様々なニーズを拾いたい

DWHの弱点

3. コストは掛けられない
4. 既存SQLをなるべくそのまま活かしたい– BI等の既存ツールを継続利用したい– MapReduceをJavaで書くのは敷居が高いDWHの弱点

Hadoopの弱点

5. セルフサービス化をしたい– 情シス負荷は増やせない

DWHの弱点6. リアルタイム性を上げたい

Hadoopの弱点© 2014 MapR Technologies

13多様化するHadoop環境へのアクセス
データはHadoop基盤に集約
分析の結果はHadoop基盤、DWH基盤の両基盤で活用
データソース

実験・試作・製造ライン
データ

顧客・販売系
データ

Web/SNSログ

NFS/ETL/Sqoop/Flume等

データ活用：Hadoop (MapR)
MapReduce
Hive

ビッグデータストレージ

NFS/Sqoop

Hive/
ODBC

Impala/Spark

Hadoop BIツール

DWH (DB)SQL BIツール

データ分析者・活用者© 2014 MapR Technologies

14分析システム最適化のロードマップ
DWH1.0DWH2.0DWH2.5© MapR Technologies

次世代DWHHadoop上のSQLソリューションDrill

Hive + TezImpala

Spark

レイテンシ

Low

MediumLow

Mediumファイル検索Yes (all Hive fileformats)

Yes (all Hive fileformats)

Yes (Parquet,Sequence)

Yes (all Hive fileformats)

HBase/MapR-DB
検索

Yes

Yes

Various issues

Yes

スキーマ

Hive or schemaless

Hive

Hive

Hive

クエリ言語

ANSI SQL

HiveQL

HiveQL (subset)

HiveQLクライアント接続

ODBC/JDBCODBC/JDBCODBC/JDBCODBC/JDBC

大規模JOIN

Yes

Yes

No

No

階層データ

Yes

LimitedNo

LimitedHive UDF

Yes

Yes

LimitedYes© 2014 MapR Technologies

16

Hadoopのデータに既存BIやSQLもリアル
タイム化

バッチ

アドホック

Hive/ODBC

Drill

データ活用：Hadoop (MapR)データ保管
NFS

NFS/ETL/Sqoop/Flume等
エンタープライズデータ

顧客・販売系
データ

実験・試作・製造ライン
データ

事業部や個人のデータ

Web/SNSログ© 2014 MapR Technologies

17俊敏性とセルフサービス化
既存のアプローチでは中間組織が必須 (情シス)
DWH
MapReduceHive

ユーザー部門(アナリスト, 開発者)

データ準備
開発環境
データマートデータ

Drill + MapR

ユーザー部門(アナリスト, 開発者)

（ビュー変換）データ© 2014 MapR Technologies

18リアルタイム分析環境例（電通レイザーフィッシュの事例から）売上向上

リアルタイム在庫把握

リアルタイムレコメンデーション

機会損失防止Webアクセスログ
売上レコード
在庫状況
位置ログ
etc.
:

••
•

リアルタイム集計処理
フィルタリング
短期のデータ蓄積

コマース

クラスタ
ノード

クラスタ
ノード

余剰在庫防止次期生産計画• 複雑なバッチ集計処理
クラスタノー
クラスタノード• ド
機械学習による異常値検© MapR Technologies•

知や予測分析
長期のデータ蓄積と分析Q:ビッグデータ活用していますか？
「もうやっている」（データウエアハウスとして）ビジネスへの具体的な活用が明確で無い

ビジネスとデータ分析の両方の観点からの戦略を考える人材が存在しない

投資効果を説明できない© MapR Technologies

20

難しい（？）目的とKPI設定～エンタープライズの悩み～分析目的とKPIの設定

データを溜める

アプリケーション選定や開発分析・活用© MapR Technologies

ROIのレビューアプローチを変える
分析を意識したストレージにデータ蓄積をすることが重要（後日、分析のためにTB/PBのデータ移動は高コスト）

データを溜める

分析目的とKPI

アプリケーショの設定

ン選定や開発分析・活用

売上増 or コスト/リスク削減 or 効率化？
（ただし、データは共通なハズ）© MapR Technologies

ROIのレビュービッグデータストレージ（analysis ready）
としてのMapR＜従来＞

EnterpriseStorageNAS• 膨大、かつ増え続けるログデータ等
をどこに保管？
• スケールアウト型のNASは種類が少なく高価orEDWログSAN＜これから＞

MapR

データ
ログ
ファイル＋ETL + Long Term
Storage

IA ServerEDW••

x86サーバ

Big Data
Storage•

MapR FS上に置くことで、コスト効率良く保管分析や活用のために他にデータ移動することなく、いつでもHadoopを使ってデータ処理バックアップやスナップショッ
トが取れるのはMapRだけ© 2014 MapR Technologies

23MoreDATA

beats better
algorithms（より多くのデータは、より良いアルゴリズムを凌ぐ）

The
Unreasonable
Effectiveness ofData, publishedby Google© 2014 MapR Technologies

24Zions Bank:
ビッグデータストレージと不正検知
データプラットフォームを統合することでコスト効果高く、セキュリティ分析と不正検知を行う
目的
不正を発見するチームとセキュリティ分析のチームが共同で利用するデータストアのプラットフォームを構築し、その上に統計モデリングを載せ、不正や不正につながる怪しい行動を発見する
チャレンジ• 既存のインフラはスケールしない• この数年レポート作成に時間がより掛かるようになっていた

MapR利用のメリット• データストレージコストを50%削減• 1.2PBのデータからのクエリが24時間から30分に削減• 限界の無いスケーラビリティにより、より多くのデータを使え、より正確なモデルと洞察を得られた
BusinessImpact“Zions Bankでは初めてセキュリティ分析のために全データを中央集権的に集め利用したが、不正検知にもそのデータが使えることが分かっただけではなく、不正検知に非常に役に立つことがわかった
Michael Fowkes - SVP Fraud Operations and Security Analytics© MapR Technologies

MapR 製品
M3

M5

M7

COMMUNITY EDITIONENTERPRISE EDITIONENTERPRISE DATABASE EDITION（MapR-DB）
Hadoop (M5) ＆NoSQL (M7)

管理ツール

Hbase互換のNoSQL DB

NFS アクセス

M5の機能＋



管理ツール



NFS アクセスパフォーマンス

HBaseの運用を簡素化

パフォーマンス

HA

HBaseの高速化

ノード数の制限なし

スナップショット



無料

ミラーリング

安定したレスポンスタイム、低レイテンシー

24 X 7 サポート

サブスクリプション

ファイル/テーブルの統合スナ
ップショットAlso Available through:Compute Engine© MapR Technologies

MapRによるOSS Hadoopの強化とメリット
Apache Hadoopをエンタープライズで利用する際に問題となるポイントを1つ1つ解消
強化ポイント効果 / メリット

パフォーマンス






運用性




信頼性




ネイティブファイルシステム
ダイレクトシャッフルによるシャッフルの最適化
分散Name Node(CLDB)によるボトルネック解消

POSIX対応NFS I/FとランダムRead/write可能ファイルシステム
マルチテナント
リニアなスケーラビリティ
ノード数減

単一障害点の除去(NameNode, Job Tracker)
スナップショットによるデータ保護
ミラーリングによる簡単バックアップとDR© MapR Technologies

エンタープライズ用Hadoopのために！
アーキテクチャ再設計と再実装による強化
Apache Hadoop
Java API

100%互換

MapReduce
HDFS
MB/s

MapR

様々な機能強化Java API
MapReduce

強化・改善（ネイティブ化）

DFSIO性能

MapR FS

JobTracker HA
Direct Shuffle
ランダムR/W
NFSアクセス
分散NameNodeミラーリングスナップショット
ボリューム

ハードウェアの限界性能を引き出すためのアーキテクチャ設計・再実装• ロックの排除による並列処理のMapR M510ノード, 2xクアッドコア, 24GBメモリ, 11x7200rpm SATA

最適化
• ビルトイン圧縮によるI/O削減• 分散NameNode• RPC経由のShuffle転送• Java GCの影響の排除© MapR Technologies

高パフォーマンス = TCO 改善
MB per Second

MB per Second

Read/Write スループット ベンチマーク

DFSIO Read スループット

DFSIO Write スループット

ソース: Flux7 Labs Study, 2013年10月
実際の事例

他ディストリビューション

50台120台© MapR Technologies

バイアスのないオープンソース(Linux を例に)
• オープンソースディストリビューションは選択肢の提供が鍵– Linux は MySQL, PostgreSQL, SQLite のすべてを含む– Linux は Apache httpd, nginx, Lighttpd のすべてを含む• MapR はバイアスのない選択肢を提供する唯一の Hadoop
MapR Distribution for ディストリビュー
HadoopションA

ディストリビュー
ションB

Spark および Shark

Spark のみなし

インタラク Shark, Impala, Drill,
ティブ SQL Hive/Tez

単一の選択肢(Impala)単一の選択肢(Hive/Tez)

バージョン

単一のバージョン

単一のバージョンSpark（全スタックをサポート）

Hive 0.11, 0.12, 0.13,0.14
Pig 0.11, 012
HBase 0.94, 0.98

© MapR Technologies

まとめ• Hadoopをよりフレンドリーにするツールが存在– Asakusa：基幹系のも活用が可能• Hadoop自身もエンタープライズでの利用を考慮したものに進化– MapR• さらにユーザはリアルタイム性とセルフサービス化を求める– Drill：SQL on Hadoopを使って既存BIやSQLを活用© MapR Technologies

ご静聴ありがとうございました© MapR Technologies