２０１２ ＰＣクラスタワークショップ in 柏

日立のビッグデータへの取り組み

2012/7/6

株式会社 日立製作所
中央研究所
清水 正明
Copyright © Hitachi,Ltd.2012 All rights reserved

1

目 次

1 日立のビッグデータ利活用への取り組み
2 高速データアクセス基盤「ＨＡＤＢ」
3 ストリームデータ処理基盤

Copyright © Hitachi,Ltd.2012 All rights reserved2

１

１ 日立のビッグデータ利活用への取り組み

Copyright © Hitachi,Ltd.2012 All rights reserved

3

１-１

ビッグデータのもたらすもの

あらゆる企業・個人に関わる情報がＩＴ化

人的情報の例
・メール ・所在地・会議
・セキュリティ・買い物 ・オフィス文書
・・Ｗｅｂ

・・

ＩＴによりリーチできる世界が拡大

ほとんどはノイズ

データ量は増大の一途

機械的情報の例
・エネルギー ・センサ
・気象・ＩＣカード・交通・モバイル・・ネットワーク・・

一方で人間が認知・処理できるデータ量は限定的情報密度(Ｓ/Ｎ比)の低下

莫大なデータにリーチできる時代の到来
一方で、情報密度（Ｓ/Ｎ比）は低下、ノイズや無駄の増加も引き起こす
Copyright © Hitachi,Ltd.2012 All rights reserved

4

１-２

新たな発見・価値創造への活用

インターネット黎明期
ＰａｇｅＲａｎｋ
初期のインターネット

ノイズの山会議

モバイル

ノイズの山
取引データ

オフィス文書宝の山

一気に整理

今日の企業内情報

メール（リンクを人気投票とみなす画期的アイデア）●部門間・システム間のサイロ●アクセスコントロールの複雑さ●データ構造の多様さなどが利活用を困難に？

未収集・未整理
ＩＣカード

新たな発見・価値創造に活用したいが…

企業内の情報活用は現在まだ黎明期
Copyright © Hitachi,Ltd.2012 All rights reserved

5

１-３

お客様・パートナーと取り組む日立のビッグデータビジネス
お客様のビジネス
ビジネスナレッジ

深いインサイト

現場力集積された知見

イノベイティブ・アナリティクス

サービス
パートナー

テクノロジー
パートナー

ビッグデータ利活用プラットフォーム
データ可視化

データ仮想化

データ並列化

データ抽象化Ｂｉｇ Ｄａｔａ・・・
運行情報

人の移動

メールログ

業務データ・・・
通話ログ

天候・気象

© Hitachi, Ltd. 2012. All rights reserved.

6

１-４

お客様の目的・課題・目標(ＫＰＩ)の共有「分析」と「お客様業務」との関係づけを行う試行実験
数理解析（ＩＴ）と有効性判断（人間）の共同作業製造業としての日立が持つノウハウの注入

ビッグデータ分析活動（試行実験）
業務理解＋
データ入手と調査
お客様業務
お客様データ

ﾃﾞｰﾀ･ｸﾚﾝｼﾞﾝｸﾞ
データ前処理数理解析モデル

本番システム構築

ＲＯＩ・有効性評価

大規模システム化

最適なアルゴリズムの選択

お客様業務に合わせた分析シーケンスの作成

ビッグデータ処理
基盤の活用

業務理解
（分析と業務ＫＰＩ）

データ分析プロセスＤＢ （日立のノウハウ）
ビッグデータ利活用プラットフォーム
Copyright © Hitachi,Ltd.2012 All rights reserved7

１-５ ビッグデータ利活用の本質的課題と解決技術
課題

解決技術

データの所在特定・収集・連携・関連付け（見つける、集める、関連づける）

データ可視化

データの保護・管理（格納する、検索する、守る、統一的に扱う）

データ仮想化処理の高速化（あらゆるデータ処理の速度を高める）

データ並列化

モデル生成、統計解析（分析する、圧縮する、トレースする）

データ抽象化
Copyright © Hitachi,Ltd.2012 All rights reserved

8

１-６

技術ブランドＦｉｅｌｄ ｔｏ Ｆｕｔｕｒｅ Ｔｅｃｈｎｏｌｏｇｙ
ー 現場の事実から未来の業務に丌可欠な情報を生成する技術 ー

Copyright © Hitachi,Ltd.2012 All rights reserved

9

１-７

Field to Future Technology

日立は、自社が持つ上述４つの解決技術をField to Future Technology として- 現場の事実から未来の業務に丌可欠な情報を生成する技術 - を確立

データ可視化

データ仮想化

現場のデータを収集し、既存のデータと連携を図り、業務とデータの関連を可視化

データの格納場所、構造、関連性、内容など違いを隠蔽し統一的なデータ管理を実現

データの利活用
データ抽象化

データ並列化

データの全体像、相互関係、潜在構造など分析＆抽出することでデータを情報へ昇華

データの並列分割と実行を記憶デバイスの並列性に自動的に整合し実行
Copyright © Hitachi,Ltd.2012 All rights reserved

10

２

２ 高速データアクセス基盤「ＨＡＤＢ」
Hitachi Advanced Data Binder

Copyright © Hitachi,Ltd.2012 All rights reserved

11

２-１

ビッグデータを活用するための要件

データの特性・用途に応じた処理が必要
リアルタイムに今がわかる
自分にあったサービスが得られる

電力メーターデータ
ブログ
ネット購入

金融取引ログＳＮＳ

新たな気づきを得る
自動改札

ＩＣカード利用

ビッグデータ活用要件① リアルタイムに監視・処理② 効率的な蓄積③ 高速なデータ検索
高速検索が可能なデータアクセス基盤「Hitachi Advanced Data Binder
プラットフォーム」
データセンター

④ 活用を容易にする集計・分析© Hitachi, Ltd. 2012. All rights reserved.

12

２-２

高速データアクセス基盤「ＨＡＤＢ」の概要

高速データアクセス基盤「Hitachi Advanced Data Binder プラットフォーム」
ビッグデータ利活用におけるデータの検索および分析を高速に行うデータアクセス基盤の第一弾として、新たに製品化した超高速データベースエンジンと、高信頼・高性能なサーバ、ストレージを組み合わせ、分析のニーズに合った構成のプラットフォーム製品を提供■システム構成
LANサーバ(HA8000/ RS440)
APサーバ
ETLツール

BIツール
APサーバ
ETL実行環境
Web/ｱﾌﾟﾘｻｰﾊﾞ

APサーバ
超高速データベースエンジン

Red Hat Enterprise Linux
ストレージ(BR1200)

BIツール

BIツール

Web/ｱﾌﾟﾘWeb/ｱﾌﾟﾘｻｰﾞ
※ＡＰサーバはシステム構成には含みません。

※色付き部が高速データアクセス基盤 ｢Hitachi Advanced Data Binder プラットフォーム」の構成商品です。
超高速データベースエンジンには内閣府が創設した最先端研究開発支援プログラムで採択された「超巨大データベース時代に向けた最高速データベースエンジンの開発（略）」(東大、日立)で技術開発された成果が反映されています© Hitachi, Ltd. 2012. All rights reserved.

13

２-３

ＨＡＤＢの特長

高速なデータアクセス「非順序型実行原理」 *1に基づき、従来比約100倍*2のデータ検索性能を発揮する超高速データベースエンジンを採用。ビッグデータの高速処理を求める市場ニーズに対応します。

シンプルな構成でのシステム構築が可能
シンプルなシングルサーバ構成でありながら、サーバのマルチコアプロセッサ*3およびストレージシステムの利用効率を最大限に高めることで、処理性能の大幅な向上を実現。

ベストプラクティスモデルにより導入が容易
超高速データベースエンジンと、高信頼・高性能な日立サーバおよび日立ストレージとを組み合わせたベストプラクティスモデルを高速データアクセス基盤として製品化し提供します。
高速シンプル

HA8000/RS440

並列RDB

従来型データベースエンジン
検索時間

超高速データベースエンジン

ベストプラクティスモデル

従来比約100倍

サーバ サーバ サーバ サーバ

シングルサーバ

超高速データベースエンジン
Red Hat Enterprise Linux

データ

データ

BR1200

超高速データベースエンジンには内閣府が創設した最先端研究開発支援プログラムで採択された「超巨大データベース時代に向けた最高速データベースエンジンの開発（略）」(東大、日立)で技術開発された成果が反映されています。
※１：データ入出力要求の発生順序とは無関係な順序で非同期にデータを処理することでハードウェア性能を最大限に引き出すことが可能。
※２：解析系データベースに関する標準的なベンチマークを元に作成した、各種のデータ解析要求の実行性能を計測。データ解析要求の種類によって高速化率に差は見られるが、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求を対象とした結果。
※３：多数のコアを集積したプロセッサ。

© Hitachi, Ltd. 2012. All rights reserved.

14

２-４

活用例①：ＰＯＳデータ分析
課題

解決策■データ量の増加で夜間バッチが朝までギリギリ・・・■ 本当はもっと分析軸を増やしたいがあきらめている・・・■高速データアクセス基盤により、データマートを削減することが可能に

現状：POSデータを収集し、データマートを作成。
ただしバッチに時間がかかっており、もっと分析軸を増やしたり、1件明細まで見たいが、あきらめている。

今後：セントラルなDWHのみで高速検索ができる。
バッチ処理削減による運用コスト削減、分析軸の追加などデータの利活用を促進できる。

POSデータPOSデータPOSデータPOSデータ

収集
マスタ
データ

セントラルDWH
データ
マート

POSデータ

収集
マスタ
データ

共通加工処理データ
マート

POSデータデータ
マート

夜間バッチに時間かかるデータ
マート・・・

共通加工処理セントラルDWH
Hitachi Advanced Data Binder
プラットフォーム
高速なPOSデータ分析© Hitachi, Ltd. 2012. All rights reserved.

15

２-５

活用例①：ＰＯＳデータ分析
結果■バッチ処理削減により、運用コストを削減！
■分析軸の追加・オンデマンドな検索が可能に！

評価例（お得意様の分析）■１．５ＴＢのデータ量に対して、高速データアクセス基盤を適用:１０７倍の高速化（１３．５時間⇒７．５分）© Hitachi, Ltd. 2012. All rights reserved.

16

２-６

活用例②：ＩＴログデータ活用
課題

解決策■セキュリティを緩和し、従業員の利便性を高めたい・・・■ただし逆に監視は強化したいが、■高速データアクセス基盤×Hadoopを用いたデータ蓄積＆高速検索＆高速バッチ

データ量が膨大・・・

現状：従来はWeb閲覧を制限してきたが、フィルタを今後：今まであきらめていた分析ができ、レポートの緩和し、利便性を高めたい。逆に監視は強化したいが、システムが追いついていない。

種類を増やせる。更に他のログも併せてコンプライアンスを強化できる。

従業員

インターネット

ログファイル(数十GB/日)Webプロキシ
サーバ

統合ログ管理システム

ログファイル

Hadoop(数十GB/日)(並列バッチ)

Hitachi Advanced
Data Binder
プラットフォーム

統計処理
データ加工

自由検索
データ蓄積

レポート作成に数十時間かかる

レポート

オンデマンドな検索は丌可

短時間で生成(数十時間⇒数十分)

他のログも併せて活用

社内メール
社内SNS入退管理
高速なオンデマンド検索

レポート© Hitachi, Ltd. 2012. All rights reserved.

17

２-７

活用例②：ＩＴログデータ活用
結果■高速バッチ処理で、レポートの種類を増やせる！
■あきらめていたオンデマンド検索ができる！
■他のログも併せ、コンプライアンスを強化できる！

評価例（特定ユーザの検索）■１３０ＧＢのデータ量に対して、高速データアクセス基盤を適用:

手作業で６時間⇒８秒まで短縮© Hitachi, Ltd. 2012. All rights reserved.

18

３３ ストリームデータ処理基盤

大量の実世界情報から「今」を分析する
uCosminexus Stream Data Platform

Copyright © Hitachi,Ltd.2012 All rights reserved19３-１ ストリームデータ処理とは？
ストリームデータ処理とは？

大量のデータ発生と同時に瞬時に分析

結果を見える化

分析・相関分析・判定ルール
事前登録

ネットワーク
分析１
稼動情報

ICカード

ダッシュボード(見える化)
分析２

稼動監視 通信データ

分布/相関分析

判定

ストリームデータ処理

イベント通知出力結果※ ： ストリームデータ処理技術は、以下のように呼ばれる場合もある複合イベント処理 （Complex Event Processing）
イベントストリーム処理（Event Stream Processing）
イベント駆動型アーキテクチャ（Event Driven Architecture）© Hitachi, Ltd. 2012. All rights reserved.

20

３-２ ストリームデータ処理が出来ること

syslogProxylog

認証log

syslog Proxylog 認証log
ITシステムから発生する各種ファイル

センサから出力される数値データ

交通状況

自動車の位置情報のような数値データ

データ発生と同時に瞬時に分析

見える化

障害等のイベント通知

DBMS
効率よく格納© Hitachi, Ltd. 2012. All rights reserved.

21

３-３ ストリームデータ処理は何故速い？
DBMS［ストック型データ処理］

ストリームデータ処理［フロー型データ処理]

データをＤＢMSに格納し一括処理

データ発生時に継続的に逐次処理

クエリ発行時にすべてのデータを参照しすべての結果を抽出

データ発生時にそのデータを参照し関係する処理だけを実行

クエリ発行

id
ababaaVaｌ
1
2
3
4
5
6a,bそれぞれの総和計算

結果

ab

クエリを事前登録
a,bそれぞれの総和計算

15
6a,6

DBMS

a,5 b,4a,3b,2a,1【差分処理】①(a,5)入力時
a9b6➁（a,6)入力時
a=9+6のみを処理

結果

ab156ストリームデータ処理© Hitachi, Ltd. 2012 All rights reserved.

22

３-４ ストリームデータ処理の適用場面
渋滞検知

機器の保全業務

人流解析

ITから実世界まで幅広い分野に適用
時々刻々と発生する大量のデータを①選別，②分析，③検知（異常など）

生産ライン監視ITサービス監視
株式指標配信© Hitachi, Ltd. 2012. All rights reserved.

23

３-５ PCクラスタシステム ファイルサーバ監視への適用
PCクラスタシステム構成の一例

PCクラスタシステム

ファイルサーバ

ストレージシステム

PCクラスタシステムがスローダウンする原因の１つはファイルサーバの高負荷

現状の対処方法①高付加なI/Oを長時間実行するプログラムは実行しないというのが紳士協定②高負荷になった時刻付近で実行中の利用者を調査し、該当する利用者に実行を控えてもらう

高負荷の原因となっている利用者（プログラム）の特定に時間が掛かる
ストリームデータ処理基盤を適用し該当利用者（プログラム）を絞り込み© Hitachi, Ltd. 2012. All rights reserved.

24

３-６ ストリームデータ処理基盤の適用効果
ファイルサーバ負荷状況の見える化

高負荷を不えるプログラム候補の表示
順位

JOB ID

出現頻度

１A1234

15２A2545

11３A3658

8４A4783

7５A1120

6

高負荷状態になった時間帯に出現頻度が高いプログラムをランキング表示

負荷状況の傾向分析及び異常検知
1008060
40
20
007:59:14

ディスクビジー率[%]

08:06:26

08:13:38

08:20:50

08:28:02

08:35:14

08:42:26

08:49:38

08:56:50© Hitachi, Ltd. 2012. All rights reserved.

25

３-７ 閾値超過検知ではなくリアルタイム分析
一過性の高負荷状態は「正常」と判断し検知せず
1008060

ディスクビジー率[%]40
20
0
17:52:48

19:04:48

20:16:48

21:28:48

22:40:48

23:52:48

高負荷状態が一定時間継続する場合のみ「異常」と判断し検知
1008060
40
ディスクビジー率[%]20
0
20:19:41

20:26:53

20:34:05

20:41:17

20:48:29

20:55:41

21:02:53

21:10:05

21:17:17© Hitachi, Ltd. 2012. All rights reserved.

26

３-８ 相関分析を利用した高度な検知
入出力要求は少ないのにファイルサーバは高負荷 ⇒ システム障害の可能性大504030

読みこみ[Mb/sec]

20

書き込み[Mb/sec]

10
0
07:59:14

08:06:26

08:13:38

08:20:50

08:28:02

08:35:14

08:42:26

08:49:38

08:56:50

100
80

60

スローダウン発生

40
20
0
07:59:14

スローダウン発生の予兆
08:06:26

08:13:38

08:20:50

08:28:02

ディスクビジー率[%]

08:35:14

08:42:26

08:49:38

08:56:50

ストリームデータ処理基盤によって相関関係が崩れた瞬間を検知（予兆検知）© Hitachi, Ltd. 2012. All rights reserved.

27

３-９

ファイルサーバ監視システム構成例

Iostat，sarで取得

既存システムにアドオン導入可能なシステム構成
利用者作成プログラム

稼動情報

ダッシュボード（見える化）

定期的なファイル収集
稼動
情報

稼動
情報

稼動情報

稼動
情報

稼動情報

稼動情報のCSVファイル化

稼動情報

稼動情報

ファイルサーバ入力アダプタストリームデータ処理基盤

出
力
ア
ダプ
タ

イベント通知ストリームデータ処理基盤
アプリケーションフレームワーク【製品提供】© Hitachi, Ltd. 2012. All rights reserved.

28

３-１０ プログラム出現頻度ランキング表示
取得データをストリームデータ処理基盤に入力

実行中のジョブ情報

ストリームデータ処理基盤での解析処理
ファイルサーバ
稼動情報

性能低下
イベント検知実行中のプログラム
情報出力コマンド実行中プログラムの出現頻度ランキング計算

ランキング結果出力稼動状況分析

高負荷時間帯での出現頻度ランキング
順位
１
２
３４５

ユーザ ID
A1234
A2545
A3658
A4783
A1120

出現頻度1511843

出現頻度の高い利用者がキラージョブの可能性大© Hitachi, Ltd. 2012. All rights reserved.

29

３-１９ まとめ大量の実世界情報から「今」を分析するストリームデータ処理基盤
リアルタイム監視によるリスクマネジメント

新たな付加価値による新ビジネスの創造

自動運転・予防保全によるビジネス機会拡大

金融・証券

携帯電話サービス

交通サービス

気象、環境

自動取引 取引監視

位置情報サービス

運行監視 渋滞予測

気象解析

システム
稼動監視

予兆検知 相関分析

製造・生産ライン

品質予測

製造監視

コンプライ
アンスチェック

内部統制

丌正検出

物理×ＩＴ
セキュリティ

画像監視 人流分析© Hitachi, Ltd. 2011.
2012. All rights reserved.

30

他社商品名、商標等の引用に関する表示•製品の内容・仕様は、改良のために予告なしに変更する場合があります。
•製品写真は出荷時のものと異なる場合があります。
•Linuxは、Linus Torvalds氏の日本およびその他の国における登録商標あるいは商標です。
•Red Hatは，米国およびその他の国でRed Hat, Inc. の登録商標もしくは商標です。
•インテル、Intel、Xeon、Itaniumは、アメリカ合衆国およびその他の国におけるIntel Corporationの登録商標です。
•GoogleおよびPageRankは，Google Inc. の登録商標です。
•その他記載の会社名，製品名は，それぞれの会社の商号，商標もしくは登録商標です。

© Hitachi, Ltd. 2012. All rights reserved.

32