知っておきたいキーワード
Keywords you should know.

第 100 回

ビッグデータとは西 山智†† KDDI 株式会社 技術戦略部"Big Data" by Satoshi Nishiyama (KDDI Corp., Tokyo)
キーワード：ビッグデータ，データ分析，プラットフォーム，Hadoop，個人情報，通信の秘密

まえがき

するには大きすぎるデータを指していしていたりします．一方，個人にとっますが，どの程度の大きさが大きすぎては，数テラバイトのデータを処理す「ビッグデータ」がはやり言葉になっるのかは相対的なものであり，特に規るのも結構大変で，充分ビッグデータと思うかもしれません．て，すでに 2 〜 3 年経ちました．もう定はありません．データの種類につい「ビッグデータ」はバズワード化したてもどれが該当するのか定義はありま

またデータの大きさだけがビッグのでしょうか？ 筆者は，これまで着せん．どれがビッグデータなのかは扱データの特徴ではありません．ガート

実に行われてきたデータ分析がビッグう組織や人により決まります．

ナーは，ビッグデータを表す特徴としデータというキーワードで脚光を浴び

例えば，衛星によるセンシングデーて 3 つの V（High Volume ：巨大なている場合も多いこと，また実際に役タやゲノム解析の結果，あるいは小売データ量，High Velocity ：高いデー立っている事例も多いことなどから，業における POS データなどは，ビッ

タ入出力速度，High Variety ：高い「人工知能」とか「エキスパートシステ

グデータの代表例と多くの人が考えるデータの多様性）を定義し，そのいずム」のように一過性で終わるのではなでしょう．通信会社や公共交通機関なれかに該当する場合をビッグデータとく，ビッグデータのブームはまだしばどのインフラから生じる大量のログもしています 1）．さらに近年，IBM が 4らく続くと思います．そこで，今回は典型的なビッグデータであり，例えば，番目の V として，V（Veracity ：正確ビッグデータについてとりあげます．

通信会社はログを処理するために，ペさ）を追加しました 2）．

ビッグデータとは，文字通り，処理タバイトクラスのデータベースを構築

ビッグデータの分析

ングテール部分にあるが特徴的な事実解析して，非常にまれにしか起こらなを洗い出してビジネスに結び付けるたい障害の原因を探ったりしています．

従来のデータマイニングでは，発生めにも使われます．Amazon は商品販

ビッグデータのもう一つの活用が，頻度が高く，かつ特徴的な事実を抽出

売実績やユーザの商品検索履歴などを統計化して全体傾向をつかむことですることが重要でした．これに対し活用して，ロングテールを考慮した品す．例えば，東日本大震災の際には，ビッグデータでは，大量のデータが存ぞろえと個人毎にカスタマイズした商

自動車会社はカーナビシステムから集在することを活用して，従来は無視さ品推薦を行い，ビジネスを成功させままった情報を利用して，東北地域の走れていた発生頻度は低い，いわゆるロした．KDDI でも，大量の通信ログを行可能な道路を可視化し396 （42）

映像情報メディア学会誌 Vol. 68, No. 5, pp. 396 〜 398（2014）

知っておきたいキーワード

ビッグデータとは災害復旧に役立てました．携帯通信ログを使えば精度は少し落ちますや日照などがわかる気象センサを設置

電話端末の携帯ネットワークへの位置が，このような交通センサス的な調査しており，気象庁のアメダスよりも細登録情報や通信時のログは，利用者のを代替する可能性を秘めています．まかいエリア毎に降雨の有無がわかりま

位置を推定するために役立つ情報が含た人の動きは，携帯電話のアプリをす．少し昔には，名古屋市でタクシーまれていますので，人口動態，観光の使って端末の位置を収集することでものワイパーにセンサを付けて，その作周回パターンなど，いろいろな分析が集められますし，駅の自動改札機の情動状況で降雨を推定する実験が行われ．皆さん，たまに駅や道報や監視カメラの映像などからも推定ていました．

路で人数を計数している作業員の方をすることができます．人以外でも，例目撃されたことがあるかと思います．

えば KDDI では，基地局の一部に気温行えます3）4）

ビッグデータを支える処理基盤

ユーザ
自動的に分散格納

データ

ビッグデータを支える処理基盤としては Hadoop が有名です．Hadoop は，

Name
Node

Googleの分散KVS（Key-Value Store）である Bigtable とそのプログラミング

Hadoop
Data Node

モデルである MapReduce の仕様をも（a）データ格納時とに，オープンソースとして Apacheが実装したもので，大規模なデータをユーザ安価かつ安全に格納し，加工するため…
public void map（…）
throw exception｛に適しています．名前は開発者の一人の息子が持っていた黄色い象のおもちゃの名前からとっており，象がシンボルとして使われています．分散シス
テムではいかに並列性を稼ぐかが性能に大事ですが，図 1 に示すように，…

Hadoop
Data Node
Job
Trackermap map map
map map map

map map map 自動的に
map map map 分散実行｝

シャッフルとソート
public void reduce（…）
Job
throw exception｛Tracker…

ReduceReduceReduceReduce 自動的に分散実行｝
結果

Hadoop がデータの分散や処理の並列（b）データ処理時化を自動的に行い，利用者は分散を意識することなく，Map と Reduce とい

図 1 Hadoop による分散処理

う 2 種類の処理を記述するだけで，大規模並列処理の性能を享受できます．

れていることから，小規模データの処されていませんが，検索は同じ HW 規

安価なサーバを多数並べて並列性が得理を行わせても性能は上がりません．

模の Hadoop より一般的に高速です．

られる上，ソフトはオープンソースで処理を起動するだけで数秒間から下手

一方，格納するデータ量あたりの単価利用できることもあり，研究分野のみをすると 1 分近くかかりますし，ディは，Hadoop より高価な場合が多く，ならず民間企業でも多数利用されるよスクを読み書きするブロックサイズが結果的に生に近いデータを Hadoop にうになりました．MapReduce は標準で 64 MB と非常に大きく，最低

格納し，DWH には生データを加工しJava 言語で記述することから，でもこの大きさで並列化を行いますのた結果を入れる場合が多くなります．

MapReduce になれていないデータ分

で，小さなデータでは並列度もあがり

この時，Hadoop は生データの格納，析者向けに，Hive や Impara などのません．

検索や集計だけではなく，DWH に格SQL 実行系も開発されています．まビッグデータを支える基盤は納するデータの前処理（ETL: Extract,た企業向けには，複数の会社がカスタ

Hadoop だけとは限りません．図 2 にTransform, Load）の T（データ加工）

マイズしたサポート付き Hadoop を有示すように，DWH（Data Warehouse）としても利用されます．DWH 向けの償で提供しています．また Hadoop 向向けの分散型 RDBMS（Relational

分散型 RDBMS は MPP（Massively

けの専用サーバも販売されており，企Database Management System）のParallel Processing）型のものが多く，業が使いやすい環境が整えられつつあみ，あるいは両者の組合せもよく用い単純にソフトだけで実現するものかります．

られます．DWH 向けの分散 RDBMS

ら，専用の処理ボードを備えるもの，一方で，Hadoop は大規模なデータは，データ格納と検索に特化した設計

並列サーバ間のネットワークを高速にを効率的に分散処理するために設計さがなされており，更新はほとんど考慮したもの，Flash メモリーを（43） 397

知っておきたいキーワード

ビッグデータとは活用するものなど，いろいろなアプローチ解析結果の製品が競っており，利用する側で自分の用途解析結果

Hadoop

解析結果

RDBMSに合わせて選定する必要があります．また，

RDBMS

Facebook や Google などの大規模なサービス事

Hadoop（ETL処理も含む）

業者は，独自の基盤を構築している場合が多く，
例えば Facebook の基盤は，分散処理基盤のソETL

ETLETL

データ

データ

データ

フトウェアからデータ格納用のサーバまで独自開発が行われています．ちなみに，Facebookのビッグデータ基盤はこの 1 〜 2 年でエクサバイトの規模になると報告されています．

図 2 ビッグデータ処理基盤の典型的な構成

パーソナルデータの取り扱いout と呼びます）を提供する必要があ

信会社は，通信ログを課金やネットります．これらがきちんとできていな

ワークの品質改善など，通信会社に必

前述の通り，いわゆるビッグデータ

いと，社会的問題になる可能性があり須の目的には利用できますが，マーケには，通信のログや位置取得履歴，買ます．最近では，JR 東日本の SUICA

ティングなどその他の目的には利用でい物履歴や自動改札の利用履歴など人

データを日立に提供しようとして問題きません．利用するためには，利用者の活動により生じるものが多くありまとなった事例が記憶に新しいところでの明示的な同意（opt-in と呼びます）す．これらのビッグデータには，個人す．このときは，第 3 者への提供を利が必要となります．諸外国では，匿名の情報（パーソナルデータ）が含まれ用者に事前に示しておらず，また匿名化すれば opt-in なしに利用したり，大ることから，プライバシー保護の観点化処理が甘かったことが問題となり，学などの第 3 者に提供できたりする場から，その利用には一定の制約が課さ結局提供中止に追い込まれました．

合が多いことから，通信ログの活用にれています．パーソナルデータを収集

通信会社の場合，日本国憲法が通信関する研究が進んでおり，専門の国際し活用する場合には，どのような情報の秘密を保障しており，通信の内容の会議 5）も立ち上がっています．日本でをどのような目的で取得し，第 3 者へみならず誰が誰といつ通信したとか，は研究目的でも，あらためてそれ専用の提供などその取り扱いについて，プ通信した位置など，いわゆる通信の外の opt-in を取得する必要があることかライバシーポリシー等の形態で事前に延情報も通信の秘密の一部とみなされら，日本からの参加は少なく，研究の利用者に示す必要があります．また利ていることから，通信ログの利用にさ立ち遅れが懸念されます．

用者に利用を拒否する仕組み（opt-らに厳しい制約が課されています．通参むすび
本稿では，ビッグデータ解析で得られるものや解析を行うための基盤，それにパーソナル情報を含む場合の取り扱いを述べました．ICT 技術の発達に伴い，ますます人やセンサから得られるビッグデータが活用される機会が増えていくと思います．本稿がその活用の一助になれば幸いです．

398 （44）

考文

献1）D. Laney: "3D Data Management:
Controlling Data Volume, Velocity andVariety", Gartner（2001）
2）http://dsnowondb2.blogspot.jp/2012/07/
adding-4th-v-to-big-data-veracity.html
3）http://www.dcm-im.com/service/area̲
marketing/mobile̲spatial̲statistics/4）http://www.kddi.com/corporate/news̲
release/2013/1029a/5）http://perso.uclouvain.be/vincent.blondel/netmob/2013/にしやまさとし

西山智1984 年，国際電信電話（株）（ 現 K D D I（ 株 ））入 社 ．
1991 年，テキサス大学オースチン校計算機科学科修士課程修了．これまで，データベース，分散通信システム，ユビキタス通信システムの研究に従事．現在は社内でビッグデータの基盤構築と分析の両面に関与．

（2014 年 1 月 31 日受付）

映像情報メディア学会誌 Vol. 68, No. 5（2014）