Open Compute Project	

オープンコンピュートプロジェクト

ジャパン

藤田 龍太郎ryu@netone.co.jp
Compute Project1	

OCPとはOCPの目的
OCPプロダクト
OCPの普及まとめOCP-J

Compute Project2011年	
Facebookオレゴンのデータセンタの写真がFBで公開
その仕様書がOCPサイトで公開される	

出典：https://www.facebook.com/media/set/?set=a.10150151683427694.289087.193287527693

Compute Project

Facebook の Oregon DC
300m x 60m の床面積と、27MWの電力密度
1棟に10万台のServer

PRN 1
27 MW

300m

PRN 2
27 MW

Prineville, Oregon
Compute Project

OCP のサーバーとラック

ネジを１本も使わずにキッティング
フタもなければ、フロントパネルもない

出典：http://wp.me/pwo1E-2Ku

Compute Project

OCP のサーバーとラック

ホット･アイルには  ファンが並ぶだけスイッチとコネクタをすべてフロントに
出典：http://wp.me/pwo1E-2Ku

Compute Project

FB  が  20分間に処理理するデータ	
・  Shared  links:  1,000,000
・  Wall  Posts:  1,587,000・  Status  updates:  1,851,000・  Photos  uploaded:  2,716,000・  Comments:  10,208,000・  Message:  4,632,000	
出典：http://highscalability.com/blog/2010/12/31/facebook-in-20-minutes-27m-photos-102m-comments-46m-messages.html
Compute ProjectOpen Compute Project	
2011年4月にFacebook社が提唱• オレゴン州の自社DCを公開し、同DCで採用しているエネルギー利用効率の高いサーバーとDCの仕様やベストプラクティスを業界全体で共有するための取り組み• 最も効率の良いサーバー/ストレージ/データセンターなどのハードウェアを設計提供していくためのエンジニアのコミュニティ• アイデアやスペックなどの知的財産を共有• 更なる「Open Compute Project」の加速と個人および組織との間で、知的財産を共有するための構造としてOpen Compute ProjectFoundationを設立	
8	Compute Project主な参加企業	
FacebookAMDDellHPIntel
Goldman Sachs
ARM Holdings
Broadcom

Quantawistron
Gigabyte

Cisco
juniperSchneider ElectricVmware
Microsoft	Apple

Compute Project

OCP 採用企業	
GoldmanSacks
Riot Games
Bloomberg
Facebook
OrangeFiderity
Microsoft
Rackspace
10	

Compute ProjectOCPとは

OCPの目的OCPプロダクト
OCPの普及まとめ
OCP-J

Compute Projectprice/performanceandperformance/watt	Compute Project

Facebook のコスト削減	
直近の 3年間で$1.2 Billion
以上のコストを削減
・データセンターやサーバーを効率化す
る Open Compute のデザインを使用
・デザイン／アーキテクチャ／プロセスにおける小さな改善の集大成
Facebook CEO Mark Zuckerberg, at left, discusses
the company’s infrastructure with Tim O’Reilly ofO’Reilly Media yesterday at the Open Compute
Summit in San Jose, Calif. (Photo: Colleen Miller)

・何十万台ものサーバー群※20-60万台/DC
＠2014 Open Compute サミット	

13	

Compute Project

OCP エコシステム と 従来からのサプライチェーン

Pressure
サービス

コンピューティング･リソース

Pressure

価値の変換
Compute Project

サービス中心の基盤	
サービス
アプリケーション

開発、デリバリサイクルの短縮

仮想、分散基盤ソフトウエア
サーバー・ストレージ
ネットワーク機器

基盤マネジメント
ネットワーク、サーバー
ハードウエアマネジメント
ソフトウエアライフサイクルマネジメント

ラック

データセンター

発電

15	

ファシリティーマネジメント
ソフトウエア
空調・電源・環境

環境Compute Project自社サービスインフラを開発環境として提供
Compute ProjectDisaggregate	
モジュール化
ベンダ、ハードウエア種類、ラック単位で構成されていた要素技
術を分解、構成部品単位にモジュール化
接続ポイントを高速化
スケールアウト、スケールアップ
モジュールの組み合わせ
集中管理、集中運用
ハードウエアマネジメント、プロビジョニングソフトウエアを共通化

17	

Compute ProjectOCPとはOCPの目的

OCPプロダクト
OCPの普及まとめOCP-J

Compute ProjectProjectで定義し 仕様を公開 共有	

Compute ProjectData Center Design	
省電力性能の向上
環境性能
冷却方式
発電〜給電〜ラック配電	

Compute ProjectOpen Rack	
19インチ、21インチ
電源・UPSを包括
バスバー給電接続コネクタファンをラックに搭載
空調、電源等、ラック単位のマネジメントシステム
⼯工具なしにServerが交換可能

21	

Compute ProjectOpen Rack	
ユーザーに応じ様々な組み合わせが存在
バスバー、パワーシェルフが異異なるOpen  Rack  V1/V2
Rackspace  Open  Rack
Fidelity  Open  Rack
China  Scorpio  2.0Compute ProjectPower shelf	Power modules and Li-ON batteries in the same shelf
Single 12V Busbar output(535A)
Three-phase input
2+1 Redundancy + batteries
534mm x 612mm x 19mm

Compute Project

Facebook Server /Storage types 	

省省電⼒力力 　 　電源、ファンをラックに搭載 　 　21inc  幅とフロントパネルの排除で冷冷却効率率率をアップ

⾼高集積 　 　2CPU/16メモリスロットを横に3枚 　 　3.5inc 　HDDを14本

運⽤用性 　 　⼯工具なしで部品交換が可能

Compute ProjectQuanta JBOD for OCP	

出典：http://www.quantaqct.com/Product/

Compute ProjectMicrosoft OCP & Cloud Server	

Microsoft OCPにコントリビュート
chassis v1.0
Blade v1.0
JBOD v1.0
Chassis Management v1.0
Network Mezzanine v1.0
SAS Mezzanine v1.0
Chassis Management Software source code

出典：https://gigaom.com/2014/01/27/microsoft-the-software-king-wants-to-tell-the-world-how-to-build-servers/

Compute ProjectRack Scale Architecture	
•••

27	

プロセッサやメモリ、ストレージ等の集合体を、それぞれ１つのモジュールとして扱う
プロセッサの集合体を単一のプロセッサのように扱い、メモリストレージも同様に管理一般的なラックマウントサーバーでは、CPUトマザーボード、メモリの組み合わせで成り立っているが、RSAではこれらの差異をモジュールで吸収	Compute ProjectRack Disaggregation	

Compute ProjectRack Scale Architecture	
•
••

29	

プロセッサやメモリ、ストレージ等の集合体を、それぞれ１つのモジュールとして扱う
プロセッサの集合体を単一のプロセッサのように扱い、メモリストレージも同様に管理一般的なラックマウントサーバーでは、CPUトマザーボード、メモリの組み合わせで成り立っているが、RSAではこれらの差異をモジュールで吸収	Compute ProjectIntel Rack Scale Architecture	

30	

Compute ProjectDisaggregated Datacenter	

http://conferences.sigcomm.org/hotnets/2013/papers/hotnets-final40.pdf
https://lazure2.wordpress.com/2013/12/10/disaggregation-in-the-next-generation-datacenter-and-hps-moonshot-approach/31	

Compute ProjectYosemite/1S Server	
Intel Xeon D-1500 SoC
HighPowered-SoC Micro Server
210×110mm
M.2 SSD
10GbE
ローカル管理コントローラ
65W

OpenRackV2 192 SoC servers
PCI-Express x16 mechanical slots
X86 （ARM, Power）
40GbE Mellanox C-4 hybrid mezzanine card
400W

intel created with Xeon D processor and worked with Quanta to design the board
and to get the microserver manufactured.
Facebook and Quanta designed the sideplane and the hybrid mezzanine card along with Mellanox.
出典：https://code.facebook.com/posts/1616052405274961/introducing-yosemite-the-first-open-source-modular-chassis-for-high-powered-microservers-/

Compute ProjectConnectX-4 and Multi-Host	

10/25/50/100 Gigabit Ethernetアダプタ用IC
4つの完全に独立したPCIeバス
ホスト間で独立したQoS
単一のネットワーク·コントローラに複数の異種ホスト（x86、ARM、GPUなど）の直接接続

出典：http://www.mellanox.com/page/products_dyn?product_family=210&mtag=multihost

Compute ProjectSwitch 	
We wanted to make switches feel likeservers.
Our goal is to help make networking
hardware that is open, and to foster awide variety of open source softwarethat can run on top of it.	

出典：https://code.facebook.com/posts/681382905244727/introducing-wedge-and-fboss-the-next-steps-toward-a-disaggregated-network/

Compute ProjectTOR SW Wedge	
Merchant Silicon
Trident II
1.28TbpsASIC
40Gbps×16
X86 Micro Server
OCP Group Hug
SoftwareFBOSS(Facebook)
ONIE
Open Network Linux
Baseboard Management Controller
OpenBMC
標準的なLinuxベースのOSでスイッチをプロビジョニング
With “FBOSS,” all our infrastructure
software engineers instantly become network engineers.

出典：https://code.facebook.com/posts/681382905244727/introducing-wedge-and-fboss-the-next-steps-toward-a-disaggregated-network/

Compute ProjectOpen Network Linux	
SWのOSを共同開発するプロジェクト
FacebookNTTBig Switch Networks

FBOSS
L3 Routing
Open Flow	

36	

Compute ProjectFBOSS / OpenNSL / OpenBMC	FBOSS

標準Linux上で実行可能なSWアプリケーションの集合

Open NSL

SW ASICのAPIASICのプログラミングが可能

Open BMC
リモート電源、環境制御 監視
サーバーのホストCPUとメモリのエラーログ等のシステム管理

Up until now, building open source switching software has been difficult, because there are only a handful of companies thatbuild switching ASICs. Aided in part by the efforts of the OCP, several ASIC vendors are now beginning to open up some of
their APIs and SDKs.

出典：https://code.facebook.com/posts/843620439027582/facebook-open-switching-system-fboss-and-wedge-in-the-open/
Compute ProjectSwitch Abstraction Interface(SAI)	

スイッチ抽象インタフェース
Microsoft,Mellanox, OCP
アプリケーション、プロトコルを異なるベンダーのASIC上でシームレスに動作させる

ハードウェアのSDKと接続
スイッチング、ルーティング
ポート管理、データ転送
ACL、QoS などの機能を統合	
出典：http://www.mellanox.com/page/products_dyn?product_family=210&mtag=multihost
Compute Project

FacebookとOCP
OCPとはOCPの目的
OCPのアーキテクチャー
OCPプロダクト

OCPの普及まとめCompute ProjectCompute ProjectCompute Project

OCP	
安価で⾼高性能な  データセンター 　アプリケーション、ソフトウエア指向 　ベンダーレイヤーに捉われない、ライフサイクルマネジメント 　

Disaggregate 　ハードウエアをモジュール単位で分解  再設計 　プログラマブルな運⽤用IF 　ソフトウエアとハードウエアの分離離インフラ･コミュニティの育成 　サプライチェーンのショートカット42	 　 　 　 　 　Compute Project43	

Compute ProjectOpen Compute Japan WG	

44	

Compute ProjectOpen Compute Japan WG	

45	

Compute Project

46	

Compute ProjectJapanhttp://www.opencomputejapan.org

Compute Project47