ビッグデータとセキュリティ

2013年2月1日
株式会社ラック
システム事業本部ＳＳＵ
上野 津代志Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

１．ビッグデータ事例
２．ビッグデータ技術とは
３．ビッグデータのセキュリティ

1

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights
Reserved.

１．ビッグデータ事例

2

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

検索エンジン (入力：検索キーワード、HTML)
入力補助機能他のキーワード候補
検索結果の表示順

Web系企業では様々なシーンで要素技術としてビッグデータ技術が使われている。

3

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights
Reserved.

たべみる（入力：検索キーワード）

食の検索データサービス

利用料：180万円/年

RDB
RDBで推定7000時間がHadoopで30時間

4

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

株銘柄関連情報分析（入力：ソーシャルネットワークデータ）
ソーシャルメディアデータから急騰ワード分析、センチメント分析を行い、株式銘柄の株価との相関を分析。

情報収集

解析
結果

言語
解析

ワード
集計

急騰
ワード
抽出

相関
解析

・ワード・ポジティブ or ネガティブ
・関連銘柄
・株価反応
業種・企業別
関連ワード

株価データ
5

ワード
過去統計
Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights
Reserved.

コールセンターオペレータ評価(入力：音声データ）【アウトバウンドの会話特徴分析】

コールセンターの通話音声を利用し、オペレータの評価を行う。

技術検証中【データ補正]【オペレータ評価]
補正済み
テキスト

テキスト
<オペレータ>

音声データテキスト化
補正済み
テキスト
<カスタマー>【ＣＲＭ連携]要約テキスト

【要約]

連携

ＣＲＭ

6

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

サービス解約予測（入力：顧客行動ログ）
ケーブルテレビ
契約者
毎時サービス利用状況収集
センターＡセンターＢ

サービス利用状況
統計処理

帳票出力

ターゲティング広告

ＲＤＢＭＳ

サービス解約予測
7

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

顧客離反分析 （入力：Webアプリケーションログ、顧客マスター）
顧客の属性と行動履歴から離反確率の高い「顧客」「行動」を予測、ルールを発見し、予測結果から適切なオファーをすることによって離反を抑止する。
アプリケーションログ
退会候補者

データ

リスト

抽出/集計

集計
データ

ルール

マイニング

ルール
決定木分析

適用

ログ

8

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

見込み客分析(入力：顧客行動ログ、顧客マスター)
キャンペーン（メール、ＤＭ、訪問）【顧客離反分析】【顧客離反分析】【休眠防止】
休眠客

解約

解約

見込み客

見込み客

有料チャンネル 【行動分析】
利用者

基本契約
利用者
非利用者

有料チャンネル
見込み客【行動分析】

優良顧客

ＶＯＤ【行動分析】

見込み客
ＶＯＤ【行動分析】

利用者

・顧客行動をモデル化し顧客をセグメンテーション
・それぞれのセグメントに対するキャンペーンを優先順でタイムリーに実施
9Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

Anormaly Detection(入力：各種サーバログ)
統計的手法を用いて異常検知を行う。具体的には入力データをもとに確率モデルを学習し、確率モデルをもとに異常度合いをスコアリングするという方法をとる。
FireWallログ
Proxyログ
パケットキャプチャなど

確率モデル：各々の事象の起こりやすさを記述したもの

・・・・・・・・・・・・・
・・・・・

確率モデル
データの学習結果

スコアリング

10・・・・・・・・・・・・ ・・・・・・・・・・・・・・・・・・

事象の起こりにくさを表現

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights
Reserved.

リスク分析 (入力：口座情報・顧客情報・取引/決済データ)
カード不正利用やマネーロンダリングなどのリスク管理の例
銀行：勘定系システム等

東京
口座データ

取引抽出/集計
顧客アラート＆レポーティング

HDFS
カードNo

不正利用検知決済

大阪

顧客

カード：基幹系システム等

11

Copyright ©Little eArth Corporation Co., Ltd. 2012 All RightsReserved.

２．ビッグデータ技術とは

12

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

ビッグデータ処理とは多種多様で膨大なデータを収集、分析し有用な意味や洞察を導き出す技術

相関関係
集計データ

収集 ビッグデータ 分析
価値
統計解析処理データマイニング技術

サンプリングではなく全量データ多種多様なデータの組み合わせ
13

VolumeVariety
Velocity

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

ビッグデータ処理基盤
大量データを高速に処理する経済的なシステム

リレーショナルデータベース

ビッグデータ
バッチ処理機能※ビッグデータの目安は３桁ギガバイト

オンラインデータベース機能

ＭａｐＲｅｄｕｃｅ

ＮｏＳＱＬデータベース（並列分散処理）例）

例）

分散処理技術をベースにしたシステム
14Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

３．ビッグデータのセキュリティ

15

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

ビッグデータシステムが扱うデータ
非ビッグデータ？

構造化
内部
サマリー
精度

ビッグデータ？
データのリスク面

高

非構造化
低外部
Fact
速度
例） 動画 音声 センサー ＧＰＳ など

例） 顧客データ 売上データ など

16

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

ビッグデータシステムが扱うデータ【事例データ】
構造化
内部
サマリー
精度

ＨＴＭＬ
検索ワード
ＳＮＳテキスト
顧客行動ログWebアプリケーションログ
顧客マスター
各種サーバログ
口座情報
取引/決済データ
音声データ
17

非構造化
外部
Fact
速度

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

ビッグデータ処理の構成要素とセキュリティ上の課題
ビッグデータシステムの道具立てはセキュリティに関して未成熟データベースHDFSNoSQL

ＯＳＳ
RDBMS
RDBMS

各種ＡＰＩ
DWH

ＣＵＩ/ＷｅｂＵＩ

考慮が必要
アクセスコントロール
漏洩対策
暗号化
マスク処理
ネットワーク分離
商用製品
18

クラウド環境Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

個人情報保護、プライバシーに関する問題
個人から取得したデータを利用する場合は、個人情報保護の観点やプライバシー問題にも考慮が必要

GPSデータ
行動ログ
ツイート

利用目的
第三者提供に注意

顧客データ

全体分析

個別分析

交通渋滞予測Twitterから株価予測
Webサービス品質向上

レコメンデーション
エリア広告
サービス解約予測

個人情報がなくても分析可能

個人情報を扱うことが多く、その扱いに注意が必要

参考）総務省：利用者視点を踏まえたICTサービスに係る諸問題に関する研究会
19

Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

まとめ■ ビッグデータ処理で扱うデータはセキュリティリスクが低いわけではない。
■ ビッグデータ基盤技術はセキュリティに関して未成熟なため、セキュリティに関する考慮が必要。
■ ビッグデータ処理で扱うデータおよび分析結果の利用には個人情報保護の観点やプライバシーに関する考慮も必要。

20Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights Reserved.

21Copyright ©Little eArth Corporation Co., Ltd. 2012 All Rights
Reserved.