SACSIS 2012 基調講演

サイバーフィジカルシステムとこれからのコンピューティングについて
2012年

5月16日

日本電気㈱
C&Cイノベーション推進本部
妹尾 義樹

Agenda1. コンピューティングの動向
1. CPS（Cyber Physical System）
2. BigData処理
3. Web2.0～3.0の流れ

2. 今後の実世界処理ニーズと課題
3. CPSに必要となる新たな技術
1. 並列分散処理
2. CPSの論理記述と物理記述の分離とサービス管理
3. CPS向け広域分散処理

4. 米国のIT事情と日本の課題
5. まとめPage 2© NEC Corporation 2012

１．コンピューティングの動向

コンピューティングの今後の形
高度な情報処理
情報

社会学

制約

集計・分析・
結合・知識化

行動原理・
心理ルール・
規則

現状把握・・・

価値化

働きかけ

高度なICT基盤(社会インフラ)
センシング(実世界情報収集)
センサ

豊かな個人生活医療、介護、食品、教育、行政・・・

Page 4© NEC Corporation 2012

カメラ

実社会

パソコン

ケイタイ

アクチュエーション(実世界の操作)情報家電

地球環境との共存・共生
水、電力、災害対策、農業、環境・・・

自動車

安心安全な社会
防災・防犯、安全保障、個人の社会参加、新しい産業、自律的な社会・・・

実世界コンピューティング（CPS：Cyber Physical System)
実世界（Real Space）からの情報を入力、モデリングし、Cyber Spaceで加工、処理して、実世界の人間の活動に役立てること
Cyber space

Real space

Information
Information Processing
High-level semantics

Knowledge
Handling

Model Handling•Acquisition•Analysis (projection)•abstraction

Low-level data

Object Behavior/Environment
Event
Information
Sensing
Rendering
Real world I/F

Event
Sensing

Process (HOW)

Targets (WHAT)

affects on reliability

affects on usabilityリアルタイムに実世界を丸ごと扱うコンピューティング

実世界データを丸ごと扱うことによって、世界中の種々の物理事象（モノ・コト）を理解し、日常生活に溶け込んで人々を支援
現在のIT・NWシステム

断片化された静的状況

モノ・コトを人が用途ごとに情報化し、システムが整理して提示

今後のIT・NWシステム

生のままの動的状況
モノ・コトをシステムがそのまま理解・整
理して、様々なケースに対応

実世界コンピューティングの例
実世界センシングデータのセマンティクスの理解を含む実時間処
理により、人々の実世界での活動や協業を、コンピュータの利用を明示的意識させずに助ける。
Augmented Workplace

Augmented Education

Augment Showroom
Virtual image of sofa
on a real room

View from my desk at TokyofromBeijing
at homeHere
Realistic on-line education programs
People in various locations meet in a virtual officeCommunication-based e-commerceon mixed reality space.

What’s New?

▐ Cyberの世界が自立し，単なる実世界の補助ではなくなった．
▐ CyberとPhysicalの間を流れる情報が大量に⇒ BigData処理

Page 8© NEC Corporation 2012

BigData革命とは (Nikkei Computer 2011.9.15)▐ ビッグデータがビジネスや産業を変え始めている
sensors
業務データ

ログファイル

顧客データ

Web, BlogSNSImages

インターネット

ペタバイト級のデータ＋機械学習＋高度な判断
異変を察知

不可能が可能に•自動運転自動車

近未来を予測後発が先発に勝つ•コンピュータ将棋

ビッグデータ革命
Page 9© NEC Corporation 2012

今を描き出す社会がより良くなる•犯罪阻止

BigData革命の例▐ 翻訳システム、将棋など
 従来：文法・手筋などの人間の知見をルール化して、処理に使う。
 革命後：膨大な翻訳事例、対局事例を蓄積し、これらの大量データからるルールを自動抽出（データマイニング・学習）データさえ大量に集めて処理すれば、高度な知見を生成できる。
経験（データ蓄積）を知恵に！
幼児の学習メカニズムに似ている。
▐ その他ライフログ，アクセスログ，文書，取引データ，RF-ID，金融情報▐▐▐▐▐
Page 10

ライフログ（例：位置情報）からユーザに店や商品を推薦
アクセスログから，不正アクセスのパターンを検出 / 利用しやすいようにシステムを効率化
ユーザのWebアクセス履歴からPreference（嗜好）情報を抽出
取引データから，良く買われる商品の組を抽出
金融リスク分析、アルゴリズムトレード© NEC Corporation 2012

BigData革命の本質 ～これまでと何が違うのか～▐ Scalability 巨大データ処理、必要に応じて大きくできる。
 コンピュータ処理能力向上、コモディティー化（日用品化）により、大規模計算が現実的なコストで処理可能となってきた。

▐ Realtime
 ネットワーク性能（スループット，レイテンシ）の向上により，遠隔地データの同時刻処理が可能に．

▐ Complexity
 学習技術、データマイニング技術の向上により、複雑な問題のモデリング、処理が可能に。

▐ Platform化 データ、リソースの2次利用、3次利用、オンデマンド
 コンピューティング処理のPF化（Google App Engine、Android端末、検索PFなど）により、特定用途で取得されたデータを種々の目的に転用できるようになった。また種々のデータをAggregateした処理が手軽にできるように。
 コンピュータリソースを持たない人が、クラウドの活用で容易にサービス提供可能に。オンデマンドでの大規模リソースの一時的活用。
Page 11© NEC Corporation 2012

集中型から端末、そして分散へ(Web2.0⇒3.0)
集中Web2.0
SearchAggregation
情報のAggregation
が価値を産むスマートSocial
情報

端末

メディア
認識
翻訳

生活する人とのAR
接点

HI

実世界との接点

分散
Real World

MobileWeb Squared／Web3.0

技術への要求
より、スケーラブルに大規模データ処理
検索、マイニング、分類より、リッチに、簡単に認識処理
音声、映像、Context

レンダリングスケーラブル、低コスト

スマート

Social情報

高品質

インタラクティブ
コラボ

分散処理インフラ

情報のAggregation
が価値を産む

生活する人とのAR
接点

Mobile

実世界との接点

世界を同時刻処理
広域分散処理インフラ

リアルタイム

いつでも、どこでも、すぐに２．今後の実世界処理ニーズと課題

Page 14© NEC Corporation 2012

コンピューティングインフラから見た実世界処理のニーズ

1. 大容量処理
 高精細処理、セマンティクス処理

2. リアルタイム処理
 低レイテンシー処理
 時間的連続性の保持（弛まぬ処理）

3. 適応的処理
 実世界のダイナミズムへの適応

Page 15© NEC Corporation 2012

大容量処理ニーズ▐ さらなる高速化を。より複雑な大規模問題を解きたい HI（Human Interface）： 認識、表示、動作、Ambient、etc.
 理解： 実世界セマンティクスの理解、力づく処理
 ハイレゾ： HDからさらに。医療分野など特殊用途が牽引 動画処理： Youtube⇒Netflix⇒Live⇒動画理解・加工 セキュリティー： 実世界処理の最大の課題、暗号化演算 Aggregation： よりたくさんの情報をAggregate
 M2M： SocIal Networkは人間関係の上に情報処理を構築、さらに、モノ、コトの関係の上に。
M2M：Machine to Machine

Page 16© NEC Corporation 2012Videoニーズの高まり•

Report: The Live-Stream Video Market–•

Paul Zagaeski Tuesday, November 16, 2010

Summary:–The live-stream video market is entering anupturn in the typical hockey stick growth
chart. Tens of millions of desktop viewers use
browser-based players to find live-streaming
content on an ever-increasing number of
web sites and mobile devices. Raw
viewership will grow fastest in the consumer
segment, where sites like Justin.tv and Qik
are focused. Those like Kyte, Livestream,
Ustream and BitGravity, meanwhile,
primarily offer platforms to commercial
content providers seeking a mass audience.
And as the market grows, both in terms ofviewers and of the number and type ofcontent providers, it will support both thosewith a diverse, one-stop-shop approach andthose who specialize in particular content
and audiences. Additional companies
mentioned in this report include
YouTube/Google, Sony, HTC, Vivu, Facebookand Apple.
Page 17

リアルタイム性のニーズ
分秒
1/10秒

1/100秒• 新鮮さの提供、Timelinessの提供• 人を待たせない、時間の節約• 実世界処理– 時間的連続性保持（溢れない、途切れない）– 実世界よりも早く（実世界インタラクション）• 早い者勝ち（金融系など）• 機械-機械のコミュニケーション– スマート、防止、（ロボットなど）コントロール

1/1000秒

Page 18© NEC Corporation 2012

ダイナミック性へのニーズ▐ ダイナミックな接続関係
 情報について、コンテンツの内容に依存した形で選択的にAggregateする。

▐ ダイナミックな観点での処理
 状況に応じた適応的な情報へのタギング 状況に応じた処理選択、データ構造選択

Page 19© NEC Corporation 2012

ダイナミックな情報のAggregation
コンピューティング処理の本質：
分散した地点で発生するデータを意味軸で整理しなおして、必要なユーザに届けること（マッチメイキング）
今後の処理ニーズ
ダイナミックな観点でダイナミックに情報をAggregate

Data Center

Pull

The most efficientmechanism now

ダイナミック接続
ダイナミック観点

Pull

固定的接続関係
Interactive

分散した情報発生源
Page 20© NEC Corporation 2012

利用者の興味Content•▐▐•▐ダイナミックな情報Aggregation ～スケールアウトの壁～▐ 現在の大量データ処理： 疎結合クラスタリング
データサーバ
Mapreduce的処理
データストア
ユーザ別、時間別、場所別など▐ 実世界処理⇒データ並列だけでないアクセスを要求
 多次元データを種々の方向にアクセスしたい（多様な観点）
 データコンテンツの内容によって、別の種々データを参照したい（孫引き、リストアクセス）

現在より、強力なデータ交換機能が必要！
Page 21© NEC Corporation 2012

並列分散処理の今後～HPCの経験から学ぶ～
Page 22© NEC Corporation 2012

3-1．並列処理

Page 23© NEC Corporation 2012

並列処理パターンとデータパラレル言語の進化（1997年資料より）
Pattern

MPI

HPF1.1

HPF2.0Core

HPF2.0A/E

HPF/JA

Nearest Neighbor

○××

△

○

Broadcast

○

△

△

○

○

Reduction

○

△

○

○

○

Array Transposition

○

○

×

○

○

Pipelining

○

××××

Irregular○×××△

Domain Decompo.

○

××

△

○

Comm. Optimization

○××△

△

Easy to Program

×○○△

△

(w/ locality)

Page 24© NEC Corporation 2012

15年前の結論▐ 高速化、並列化技術の歴史
 データパラレリズムの抽出（データアクセスローカリティ―の抽出）
 通信パターンを抽出して、これをHWの専用機能にマッピング• HW機能：メモリ階層、通信（NW)機能、同期

 通信と演算のオーバラップ（リダクション含む）▐ 1000台規模の並列処理においては、わずかの逐次部分が性能を損なう。
⇒ 複雑な並列処理は無理筋⇒ 大半の実用コードは、Embarassingly Parallel⇒ 性能が出る並列処理パターンは多くない⇒ 実用コードはMapReduce型▐ MapReduce型に処理対象を絞れば、並列プログラミングは非常に簡単で、美しく。
 プログラムの論理記述とHWの物理構造、マッピング（分散、多重化）を分離
Page 25© NEC Corporation 2012

MapReduce▐ 物理構造を意識せずにMapとReduceだけ記述して分散処理を実現！
Map<K’1,V’1><K’2,V’2><K’3,V’3><K’1,[V’1,V’4.V’8]>

Reduce<K’’1, V’’1><K4,V4><K5,V5><K6,V6>

Map<K’1,V’4><K’3,V’5><K’2,V’6><K’2,[V’2,V’6.V’9]>

Reduce<K’’2, V’’2><K7,V7><K8,V8><K9,V9>Map<K’3,V’7><K’1,V’8><K’2,V’9><K’3,[V’3,V’5.V’7]>

Reduce<K’’3, V’’3><K1,V1><K2,V2><K3,V3>

ファイル
Mapを処理対象に

Map
Map
ReducePage 26© NEC Corporation 2012

Hadoopを用いた大規模データ分析の例▐ 米VISA クレジットカードの不正使用を検出
 2年分2兆3000億件のトランザクションを13分で解析▐ 三菱東京UFJ銀行
 口座の値洗い処理（時価による再計算）に利用予定▐ 米Yahoo!
 インターネット広告のログ解析などに2万4000台のクラスタを運用▐ 楽天 レコメンド処理にHadoopを利用▐ nugg.ad ヨーロッパ最大規模のターゲティング広告会社
 ユーザのクリック情報の集計等に活用

http://www.slideshare.net/atsnakada/ss-5529330, http://www.atmarkit.co.jp/news/201003/15/hadoop.html より引用
Page 27© NEC Corporation 2012

データパラレルでない参照が必要な例▐ 位置情報処理（携帯端末）
 人、位置情報、その他属性情報からなる多次元データ処理
 大量情報を観点に応じて多様な次元で参照⇒Particle in Cell(PIC)との類似性▐ Social Networking処理
 友達情報の最新情報の表示 友達同士でのゲームのランキング⇒大規模間接参照（リスト参照）▐ 嗜好分析
⇒疎行列の固有値問題

データ参照
友人リスト

嗜好分析
▐ 処理内容:What to recommand to user u1, given someprevious ratings, {(user uk, item ik,rating rk)}?
i1i2

i3u1?

1?

u232?

i1

i2

i3

u1

f(u1,i1)f(u1,i2)f(u1,i3)u2

f(u2,i1)f(u2,i2)f(u2,i3)▐ 類似ユーザのパターンから？を類推▐ 多次元テンソル解析
スパース行列の固有値問題

3-2．新たなCPS向け広域分散処理

Page 30© NEC Corporation 2012

実世界を扱うための３要素
広域分散処理に必要な分散処理の３つの形態

空間を理解・共有

インタラクティブ処理のため、多様なソースからデータを吸い上げ実世界モデルを構築。

VISION

ロバスト、ディペンダブル、リアルタイム

スワームPF
世界中の種々の物理事象を理解することで、日常生活に溶け込んで人々を支援感じる
ストリームPF

多様な意味を持つ経験データを蓄積し、関係性に基づきユーザ要求に応じて即時に提供する
データマネージメント、フレキシブル、セマンティクス

ウィズダムPF伝える
分散した情報源と消費者を動的につないで、詳細な時変データを届ける
スケーラブル、コンティニュアス、ネットワークフレンドリー

わかる
意味を理解・共有

Swarm Platform：実世界I/F〜オープンセンサの活用プラットフォーム〜
自律動作可能なピア（センサ、端末等）がアドホックに集まり、それぞれが構築した実世界空間モデルを共有・活用することで、精細実世界の時空間モデルを集合体としてディペンダブルに実時間制約下で構築する。脊髄反射的機能。時空間的局所性の活用がポイント。

Task

各ピアは内部で並列処理

実時間並列処理緩やかな連携Real WorldInteraction

Real World
ModelAutonomic Peer

自律協調処理集合知処理（Wisdom）
SWARM： a dynamic group of
self-organized nodes performing
specific functions

Stream Platform：神経系処理
広域に分散したコンピューティングノード（エッジデータセンタ）をダイナミックに活用して、広域分散した大容量時空間モデルの途切れることなくダイナミックな流通・スケーラブル処理を実現する。
Input Query

Pre
Processing

Query Compiler

計算処理の動的適応配置で、データフローを妨げることなく最短経路で実時間処理

Post
Processing

流通制御

加工処理

Building Block

Data Source

User

データパスの最適化を最優先。これに基づいてパスに沿ってComputing処理を配置

Wisdom Platform：集合知処理
ウィズダム（経験・知識）を世界規模で仮想化管理(仮想ストレージ、 オンデマンド識別) することで、実世界処理モジュールに対して、必要とされる視点での意味を勘案（適応的タギング）した最適参照データをタイムリーに提供する
非構造化データ検索

適応的タギング

過去の経験

因果分析
実世界処理アプリ

知識

仮想ストレージ*適応的タギング: 第三のデータ管理コンセプト
実世界センシングデータ

KnowledgeView

Fixed schemaKeyword & Index Dynamic tagging

分散コンピューティングインフラとしての実世界処理基盤
実世界に散在するコンピューティングリソースが協調して実世界処理をFacilitateする
SpeedExperience
DemandDCDC

Emergence
DC

EnvironmentDC

etc
Cauterized Wisdom
Engines

Distributed Wisdom
EnginesStream
Mgmt

StreamEnginesModeling
EnginesLight WeightSensors

分散処理の形態▐ Swarm/Stream/Wisdomが織り成す分散処理

Wisdom制御 大脳系
スループット重視
分散データプレーン
従来Transaction型

Stream制御 神経系
弛ませないStateless、機動性
IT/NW連動制御

Swarm制御 知覚系
Interactive
局所性活用
アドホック自律制御

3-3．サービスの論理記述と物理構造の分離、マッピング、サービスレベル管理
Page 37© NEC Corporation 2012

プログラムの論理記述とコンピューティングモデルを介した実リソースへのマッピング
サービス
論理記述

実世界I/O

SWARM

広域データブローカリング

STREAMイベントプロセッシング
ルール

経験抽出
蓄積
WISDOM

ComputingModels
自律並列分散処理
物理リソースPage 38端末リソース

データの構造変換と演算オーバラップ
エッジリソース
種々ネットワーク© NEC Corporation 2012

データの広域分散配置とMapReduce
データセンタリソース

６．米国のIT事情と日本の課題

Page 39© NEC Corporation 2012

BigData，CPSの課題▐ BigDataの課題
 データマイニングブームとの相違： Web上の大量データ活用（米国） 新たな知見を得るタイプのソリューション： 継続的に価値を創造することがむずかしい 汎用的なデータ分類で，特定解法に勝てる分野の広がり ソリューション構築には，高度な前処理・後処理が必要
 価値を顕在化させるためには，実証実験などの地道な活動が必要
 プライバシ問題▐ CPSの課題
 そもそも使えるセンサデータが少ない• 特定データを固定的に使う用途は開拓済み

 BigData処理と課題を共有 リアルタイム性ニーズ• コストと価値のトレードオフ• 広域分散＋リアルタイム性のニーズ
Page 40© NEC Corporation 2012

グローバル先端のインフラ開発• 先端サービスとインフラが両輪で発展• このインフラは欧米の先端研究者が構築– 先端開発の場と研究の場が同一化

サービス両輪で発展

メール

Eコマース

Eコマース 検索 決済
広告PF

MapReduce

インフラ クラスタリング

動画配信 E-book

SNS

仮想化

仮想世界 E-Store

リアルタイム検索Twitter

音声I/F
Live Video
位置情報

SmartPhone

CDN

TabletPC

MemCacheD
KVS
Eventストリーム処理？？？

先端サービス接点の重要性▐ 先端サービス開拓と両輪でのインフラ技術開発を行わないと、グローバルに通用するコアコンピタンスの創造はできない！
新規ニーズ

僅か！

ServiceEnterprise
Services

国内サービス日本独自！

新規ニーズ

Global！
新規技術を牽引•Scalability•実世界処理•Real Time

Emerging
Services(ConsumerDomain)

広告収入

Platform

企業システム

アプリ、コンテンツ販売収益

CloudComputing
42Google
FacebookTwitterAmazonApple日本の進むべき道▐ グローバルコンシューマサービスへの取り組み
 ガラパゴスからの脱却，エコシステムへの参入
 グローバル市場⇒日本市場の優先順位▐ サービス主導でのインフラ研究開発▐ Decision Makingの仕組み作り▐ 人材流動性の確保▐ HPCの強みを活かして、今後のWeb技術の発展に
 ソーシャルネット、GISなどBigData処理と多くの共通技術課題

Page 43© NEC Corporation 2012

まとめ
▐ CPSとBigData 今後の進むべき方向であることは間違いないが，課題は多い．
• 処理をビジネス価値に 課題は，スケーラビリティー，リアルタイム，適応的処理▐ CPSを支える広域分散処理
 HPCの経験を活用 コンピューティングモデルの確立（Swarm・Stream・Wisdom Computing）
 論理記述と物理記述の分離、サービスレベル管理、プラットフォーム化▐ 米国の現状と日本の課題 グローバルサービスと両輪でのインフラ研究開発

Page 44© NEC Corporation 2012