OpenPOWERが実現するデータセンターの可能性
2015年11月9日
清水茂則
IBMシステムズ・ハードウェア事業本部
ハイエンドシステム事業部 Data Centric Computing@2015 IBM Cooporation

High Performance Data ProcessingとDigital Competitiveness
戦略的資源としてのビッグデータの利活用

DigitalCompetitivenessビッグデータを価値ある資源に変える手法として有望なディープ
ラーニング
HPCの利活用
HPCとデータ解析の融合による新知見の獲得

ワークロードを支える適切なIT
インフラと環境⇒ データセンターへの要求• Scientific
Discovery• Economic
Competitiveness

ComputingからCognitiveﾍ2@2015 IBM Cooporation

IT根幹で起こりつつあること
ムーアの法則の終焉
IoT、ビッグデータが生むワークロードの増大

データセンター、クラウドから生じる新たなIT経済モデ
ル
Mobile First
PCからタブレット、スマホへコスト効率、電力効率のよい新たな計算機構としてのGPGPU, FPGA

システムス
タック全体での技術革新の必要性

演算コスト、メモ
リコスト、通信コ
ストの相対比の時代変遷

MS他
自社Data Center
でのFPGAの利用
INTEL
Phi (many core)
Altera買収

IBM
Data Centric System
OpenPOWER
AMD
x86とARMの融合

High Performance Data Processing動向もこの大局の上に！
3@2015 IBM Cooporation

OpenPOWER Foundation
OpenPOWER FoundationはPOWERアーキテクチャーを通じてオープンエコシステムを形成。
発展し続ける市場のニーズに応えるための専門知識、投資、そして知的財産の共有を促進する団体。
••••

2013年8月に発表
Googleがchair
2013年12月に5つのコアメンバー（Google, NVIDIA, Mellanox, Tyan, IBM)でFoundation発足
発足から2年足らずで150を超える加盟、多くの製品発表・デモ、大規模データセンターでの利用
半導体の進歩(ムーアの法則）にはもはや頼れない

4x86のロードマップだけで大丈夫？

他に頼れる選択肢は？
@2015 IBM Cooporationムーアの法則・スケーリング法則の終焉とOpenPOWERの必然

コスト性能比の向上のためにはシステムスタック全体での技術革新が必須
5@2015 IBM Corporation

OpenPOWER構想発表時のメディアの反応
IBM、Google、NVIDIAら、データセンター向けOpenPOWERコンソーシアムを設立（2013/8/7 12:38）

8月6日(現地時間)発表
米Google、米IBM、米Mellanox、米NVIDIA、米Tyanの5社は6日(現地時間)、「OpenPOWERコンソーシアム」を設立する計画を発表した。
同コンソーシアムは、IBMのPOWERアーキテクチャに基づくデータセンターエコシステムの確立を目的とするもの。POWERの IPライセンスを他社に供与するとともに、初めてPOWERベースのハードウェア/ソフトウェアをオープンな開発コミュニティに提供。また、POWER ファームウェアのオープンソースなども公開するほか、NVIDIAが入っていることから分かるように、POWERとCUDA GPUの統合システムも開発していく。
コンソーシアムはオープンなもので、希望する団体/企業の参加を募っている。

6@2015 IBM Cooporation

OpenPOWER Foundation参加メンバー••••••

システム・スタックの全階層の求心力あるメンバー
求心力の幾何級数的増大
主要ISPが本気で参加
Openな証発展性・将来性の証Intel代替確信の証

5社

25社

13年12月 14年4月

7150社以上15年8月@2015 IBM Cooporation

Googleのデータセンターに関わる報道
Google: Power8を採用した自社データセンター向けサーバー用マザーボードを発表(2014.4.29)
http://www.businessnewsline.com/news/201404300143390000.html

GoogleがサーバをIntelからIBMの「OpenPOWER」陣営に乗換えIntelにとっては大打撃(2014.4.30)
http://gigazine.net/news/20140430-google-shift-intel-to-ibm/

GOOGLELOOKS AHEAD TO OPENPOWER SYSTEMSMarch 18, 2015
http://www.theplatform.net/2015/03/18/google-looks-ahead-to-openpower-systems/
Google Reveals Its Own Power8 Motherboard; Can It Run IBM i?
http://www.itjungle.com/tfh/tfh050514-story06.html
Google Shows off POWER Server Motherboard
http://www.datacenterknowledge.com/archives/2014/05/01/google-shows-power-server-motherboard/
WIRED "THIS GOOGLE MOTHERBOARD TROUBLE FOR INTEL
04.29,14
http://www.wired.com/2014/04/openpower/
Inside Google, Tyan Power8 Server Boards
http://www.enterprisetech.com/2014/04/28/inside-google-tyan-power8-server-boards/
Google acquires a taste for Power -IBM's processors, that is
http://www.cnet.com/uk/news/google-acquires-a-taste-for-ibms-power8-processors/
Google shows off homegrown server with IBM Power chipApr 29, 2014http://www.infoworld.com/article/2606451/processors/google-shows-off-homegrown-server-with-ibmpower-chip.html
個人ブログ(元Google社員): https://news.ycombinator.com/item?id=7669385

8OpenPOWER position:
OpenPOWER Summit

Gordon MacKean, Chair

http://openpowerfoundation.org/blogs/advancing-the-openpower-vision/

Gordon Mackean - OpenPOWER Summit 2015
https://www.youtube.com/watch?v=f0qTLlvUB-s

OpenPOWER Summit 2015
https://www.youtube.com/watch?v=VxkuuuzC8RM@2015 IBM Cooporation

Rackspace, OpenPOWER & Open Compute: Full Speed
Ahead with Barreleye
At the end of 2014, Rackspace announced its affiliation with OpenPOWER. At that time, we shared ourintention to build an OpenPOWER server that cut across four major open source community initiatives(OpenStack, Open Compute, OpenPOWER, and, of course, Linux).
This past spring, at the Open Compute and OpenPOWER annual summits, Rackspace offered up ourvision for a more powerful cloud, and shared our “Barreleye” server concept design.
(We chose to name it after the barreleye fish because as you can see from the photo above, the fish has atransparent head. Get it? It’s open.)
Alpha release of Barreleye server package; lid removed,drive tray extended. Since then, we’ve worked closely with
our partners — Avago, IBM, Mellanox, PMC, Samsung— to make that concept a reality.
The first Barreleye servers came online in July, in China.
In August, we shipped engineering samples to ourSan Antonio lab and to our development partners.
http://openpowerfoundation.org/blogs/openpower-open-compute-rackspace-barreleye/
9@2015 IBM Cooporation

設計の原点から生じるPOWERの優位性例
大規模SMPプロセッサが出発点のPOWER
 内部Interconnectには数万のアクセスが同時進行することが前提の設計 ⇒ 外部メモリバンド幅を大きくすることの容易性、CAPIのようなCoherentな接続やNVLinkのような超広帯域IOを接続することの容易性
スペックとして表出する優位点•
メモリバンド幅（>200GB/s）•SMT (8)10••Instruction発行/cycle/core: 10Cache Size•••

SMP Scaling (up to 192 cores)
NVLinkCAPI•etc.

@2015 IBM Cooporation

CAPI （Coherent Accelerator Processor Interface）
POWERプロセッサとPCI上のデバイスが直接に共有メモリ型で結合• FPGA、NW Adapter、Flash Storage、等々
CAPI Protocol• Coherently Attach Devices connect toprocessor via PCIe
• Protocol encapsulated in PCIe
• Enables tight coupling of accelerators in
traditional and complex analytics applications• さらに、NVIDIAとの協業により、GPGPUをより高帯域(80 ~ 200GB/s）のバス(NVLink）で直接接続（2014年3月発表済）

11POWER
Processor

CAPIonPCIe

PCIe G3

PCIDevice@2015 IBM Cooporation

CAPI vs. IO Device Driver Model (30 ~ 40倍の高速化）
CAPI FPGAPOWER Service
Layer
CAPP

PCIe

Accelerator
Function Unit
(AFU)
POWER8 Processor

Typical I/O Model Flow:
Total ~13µs for data prep

Copy or Pin
Source Data

DD Call

300 Instructions

MMIO Notify
Accelerator

10,000 Instructions

7.9µs

CAPI Model Flow:
Total 0.36µs

Shared Mem.
Notify Accelerator

Application
Dependent, but
Equal to belowAcceleration

400 Instructions

0.3µs

12Acceleration

Application
Dependent, but
Equal to above

Poll / Interrupt
Completion

Copy or Unpin
Result Data

Ret. From DD
Completion

1,000 Instructions
3,000 Instructions
1,000 Instructions

4.9µs

Shared Memory
Completion

100 Instructions

0.06µs@2015 IBM Cooporation

High Performance Data Processingの新潮流–Data Centric Computing-

SUMMIT

SIERRA

ピーク性能
150-300 ペタフロップス

ピーク性能
100 ペタフロップス以上

2017年稼動予定

Data Centric Systemに￡113Mの投資

High Performance Data Processingの新潮流
データセントリックシステム時代の幕開け！
13@2015 IBM Cooporation

US DOE, および、UK STFCの近未来を担うスパコン・プロジェクトでの選定が示すData Centric Systemの優位性 優れた、電力性能比、並列計算効率、コスト性能比、生産性を実現するものであることの証．
 プログラム中のシリアル部分を最速に実行可能なPOWERプロセッサと、パラレル部分を最も効率よく並列実行可能なNVIDIA GPGPUの組み合わせで実行するハイブリッド方式．

 今後重要になる数値シミュレーションとデータアナリティクスを融合させた新たな方法論（Data Centric Computing）を支える、高性能計算・データサーバー．

 OpenPOWER Foundataionの仕組みに則り、業界最先端のオープンでエコなテクノロジーを最大限に活用し、それ自体の技術の経済性、持続性を担保すると同時に、システム自身をオープンでエコなシステムとすることにより、技術革新をドライブ．
14@2015 IBM Cooporation

Data Centric Computing
データの時代には、シミュレーション、観測データの分析、関連全知識の分析、可視化など、全てを総合して、より精緻な知見の獲得と判断を行うことが重要
Visualization
Interpretation

DataAnalytics

より精緻な知見の獲得と迅速な判断

DataHPC
Simulation

DataAcquisition

Massive Scale Data and Compute = Data Centric Computing
15@2015 IBM Cooporation

DCCの設計Principle
Principle 1: Minimize Data Motion

Principle 2: Compute Everywhere
Principle 3: Modularity
Principle 4: Application-driven
Principle 5: Leverage OpenPOWER

Basic Principle: Energy-efficient16@2015 IBM Cooporationデータ・セントリック・コンピューティング製品計画例

17@2015 IBM Cooporation

まとめ ムーアの法則に則って進歩してきたITインフラの性能向上は、その終焉を迎えつつあり、大きなパラダイムシフトが必要不可欠。
 その対応策として、経済合理性・技術の継続性・革新性を担保するオープン・コラボレーション⇒ OpenPOWER Foundation

 ビッグデータ時代のHPCには、従来の高速での科学技術計算だけでなく、大量データを効率良く高速で処理する機能要件が求められ、新たなITインフラの設計思想とその実現が必要。

⇒ Data Centric Computing OpenPOWERのオープン・コラボレーションで創出された技術を使って開発するData Centric

Systemを米国、英国が各々の大規模国家プロジェクトで採用し、システム開発を進めている。
 Data Centerの近未来のワークロード要求を支えるプラットフォームとしてのOpenPOWERの有望性。
18@2015 IBM Cooporation