Oracle Cloud for HPC & AI

HPC向け Oracle Cloud ご紹介
日本オラクル株式会社
クラウド・テクノロジー事業統括
公共営業統括 松山 慎以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。
OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。
文中の社名、商品名等は各社の商標または登録商標である場合があります。

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |2

Oracle Cloud 基本戦略

Integrated Cloud: エンタープライズ向けの統一化されたプラットフォーム
SaaSERP基幹系本番SoRJava

Database

Exadata

SalesJava EE

Content

Human Capital Management

BI

Integration

PaaS

DB Backup GoldenGate Developer Management
Security

Archive Object
Storage Storage

NetworkIoT

ServiceBig Data
Big Data
Data
Discovery Preparation Visualization

MobileComputeMarketing

NoSQL

GPUHPC

NodeContainer

Container

Ravello

情報系開発
SoE

IaaS
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |3

Oracle Cloud Infrastructure: 全体アーキテクチャ?

Compute & Storage
Bare Metal BM’s w/NVMe

VMs

Engineered Systems

Any middlebox – IDS/IPS,…

Virtual Network

Physical Network

Datacenters

RegionAvailability
Domain 1

AvailabilityDomain 2

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |Availability
Domain 34

Flat, non-Blocking Network: 分離性と拡張性の両立
…

1

1…

…

2

1

4…

4…
1…

32

General Compute
Pod #1…

15• Availability Domain内はフラットな物理ネットワークにより、高いスケーラビリティを実現

n

1…

4

1…

32

…
1…

32

General Compute
Pod #2

General Compute
Pod #3• Network や CPU のオーバーサブスクリプションがなく、安定した帯域と性能を実現• Compute と Storage は最大2ホップかつ低レイテンシーで接続可能に• 物理ネットワークは40Gbpsワイヤで構築
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |5

Accenture社によるAvailability Domain間通信遅延測定

Other Cloud

Oracle Cloud
Infrastructure
https://www.accenture.com/t20171003T083750Z__w__/us-en/_acnmedia/PDF-62/Accenture-Enterprise-Workloads-Meet-Cloud.pdf のP.6 より• 他社 Cloudでは遅延が平均約5倍大きいだけで無く、大きなスパイクが時々発生しインスタンス間やインスタンスとブロックストレージの間の通信時間が非常に不安定
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |他社に比べ、圧倒的なコストパフォーマンスを実現
ComputeStorage

Network

Oracle の強み

OracleAWS

 同一のリソースを低価格で提供
 より高性能なリソースも提供可能¥80.82/時¥180.48/時

 他社の標準ストレー
ジ価格で、高性能ストレージを提供
 IOPS設定の課金なし
 AD間無償 10TB/月まで無償 専用線接続時はデー
タ転送無償

Compute(VM.Standard2.8; 8コア,120GB, Windows)

Amazon EC2(m5.4xlarge; 16vCPU, 64GB,Windows)¥5,222/月¥171,000/月

Block Volume(1TB, 20K IOPS)

Amazon Elastic Block Store(io1; 1TB, 20K IOPS)¥18,972/月¥614,645/月

FastConnect(1Gbps, 100TB)*専用線接続

Direct Connect(1Gbps, 100TB)*専用線接続

¥

55%
低価格

¥

97%
低価格

¥

97%
低価格

* as of February 2018
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |7

HPC用途での想定潜在課題とOracle Cloud Infrastructure
オンプレミス導入

他社クラウドサービス

Oracle Cloud Infrastructure

計算処理能力要求に対して電力供給や設置スペースが追いつかない。

オーバサプスクリプションのある仮想サーバとネットワークのため、ストレージやネットワークのI/Oにオーバヘッドと不安定さがし、CPU稼働率が上がらない。

最新ハードウェアを用いたベアメタルサーバを時間単位で提供。

運用期間後半のハードウェア陳腐化。
GPU等の製品サイクルが短いデバイスに追従することが困難。
大規模計算資源の運用を多くの小さなジョブが圧迫する。
ワークロードのピークに合せたサイズで導入が必須。シーズナリティに対応出来ない。
高速ファイルサーバの容量半分を半年以上アクセスの無いファイルが占める。

アウトバウンド通信パケットに課金されるため大量のデータを扱うHPC分野では通信費用が高額となる。

仮想サーバもオーバサブスクリプション無し。
物理ネットワークはオーバサブスク
リプションの無いフラットネットワークでバンド幅とレーテンシを確保。
Elasticな100Gbps/1.5μsのRDMAネッ
トワークも提供。
利用サービス切換自由、契約変更無しにテクノロジリフレッシュ可能。

低価格 IaaS。Outbound Traffic 毎月10TBまで無料。閉域接続では通信
パケット無制限に無料。
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |8

OCI HPC Capabilities

Bare Metal Standard2Intel 52 Cores, 768 GB RAM,up to 1PB Block Storage
2x 25Gbe Network Interfaces

Bare Metal & VM Pascal

28 Cores, 192 GB RAM,1-2x Tesla P100 GPUs
up to 512 TB Block Storage
2x 25Gbe Network Interfaces
Pre-Configured Images
NVIDIA GPU Cloud Ready

Bare Metal DenseIO2Intel 52 Cores, 768 GB RAM,51.2 TB of local NVMe SSD
2x 25Gbe Network Interfaces

Bare Metal & VM Volta

52 Cores, 768 GB RAM,1-8x Tesla V100 GPUs
NVLINK/NVSWITCH Interconnect
up to 512 TB Block Storage
2x 25Gbe Network Interfaces
Pre-Configured Images
NVIDIA GPU Cloud Ready

Bare Metal HPCIntel 36 Cores, 384GB RAM,

6.4TB of local NVMｅ SSD
up to 1PB Block Storage
100Gbps/1.5us RDMA Interconnect
1x 25Gbe Network Interfaces

GPU GRID
Available in preview onboth Pascal and Volta

Bare Metal Standard.E2

AMD EPYC 64Cores, 512 GB RAM,up to 1PB Block Storage
2x 25Gbe Network Interfaces

File Storage Service

Managed distributed file service
NFSv3 mount point
Pay for what you use

Block Storage

50 GB-1PB volumes
NVMe SSD
Up to 25K IOPS per volume
400K IOPS per hostBare Metal HPC 構成概要
• HPCインスタンス

Availability Domain
…

1…

1…

2…

1415

4…
HPC

… HPC

HPC … HPC
RDMA SW

HPC Compute
Pod #1

HPC Compute
Pod #2

…

n1

…

…

4…

RDMA SWRDMASW

…

RDMA
SW

…
…
General Compute
Pod #1• Skylake 3.0-3.7(Turbo Boost) 18core x2CPU• 384GBメモリ• 6.4TB NVMe SSD• Block Volume (up to 1PB)
• 100Gbps RDMA (RoCEv2) NIC x 1• 25Gbps Ethernet x 1• 100Gbps/port, 1.5μs Latency RDMA
• Mellanox Connect-X5 + Switch

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |10

Storage Cloud Service:
ニーズに合わせた2つの階層を用意
Storage Cloud Standard Service

Storage Cloud Archive Service
ArchiveStorage

Storage• 業界準拠オブジェクト・ストレージ• REST API、Amazon S3 compatible API、SDK、CLI、GUI、HDFS Connector• 利用ケース– Oracle Cloud 環境での汎用ストレージ• 容量価格：¥3.06/GB月• リクエスト価格: ¥0.408/10k Req月

• 超低価格アーカイブ・ストレージ• 利用ケース– 大容量/長期保管が必要なアーカイブ・データ• 価格： ¥0.312/GB月– 1PB年= ¥3,744,000– 書込み翌日Archivedとなり読み出し(リストア)に最大4時間程度必要

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |11Oracle Cloud Infrastructure 上のKubernetes
自前構築、Quickstartインストーラ、Managedサービス
OCI

簡易インストーラ
OSS Github Installer

OCI Container Engine
OCI Registory- Integrate with your existing OCI
tenancy & infrastructure

自前のコンテナ構築

IaaS

Unmanaged
Kubernetes サービス

エンタープライズ・クラスのManaged Kubernetesサービス

CaaS
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted12Oracle Cloud Infrastructure: リージョン (~2019年)

LONDONCHICAGOTORONTOFRANKFURTZURICHSEOULPHOENIXASHBURN, VA

MUMBAI

Commercial

東京5月
大阪12月
SINET接続も調整進行中

Commercial (Planed)
Government

TOKYO
OSAKA

SAO PAULO

Edge Points of Presence
SYDNEY

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |13

Gfarm 関連• Gfarm ストレージノードと Oracle Cloud Infrastructure (OCI) の Object
Storage連携• Gfarm の各モジュール ( gfmd, gfsd, Gfarm client ) のOCI マシンイメージやコンテナの整備• OCI HPCインスタンス(w/RDMA) での NVMe OF の検証

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |14

Oracle Storage Cloud Service with gfarm
オンプレミスgfmd

gfsd グループ1

REST APIon HTTPS
CloudStorage
Service(ObjectStorage)

gfsd グループ2• gfsdのストレージとしてクラウドストレージを利用• Gfarmコマンドでクラウドストレージの読み書き可能
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |Oracle Cloud (PaaS/IaaS) 無料トライアル• 無料トライアルのお申し込みサイト– https://cloud.oracle.com/ja_JP/tryit• 無料トライアルについて– $300(約35,000円)のクレジットを無料取得できます• トライアル期間中は優遇レート(＝IaaS料金のみ)が適用されるため、多様なサービスをお試しいただけます– 30日間有効、以降も商用環境として継続使用可能– 30以上のPaaS/IaaSが利用可能• 詳細や手順書はこちら– https://blogs.oracle.com/oracle4engineer/column_cloud_trial

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |16

まとめ• Oracle Cloud Infrastructure ( OCI )は、ベアメタルとノンブロッキングなフラットネット
ワークを基調とした安価で安定したHPCに最適なパブリッククラウドサービス• HPCインスタンスとして、100Gbps/1.5μsのRDMAの環境を提供• NVIDIA P100(1,2GPU)、V100(1,2,4,8GPU)のGPUインスタンスも安価に提供• 超安価なAMD EPYCインスタンスやArchive Storageも提供• Outboundトラフィックも10TB/月まで無料、閉域接続は無制限に無料• SINETに接続された新国内DCが今年5月に東京、12月に大阪でサービス提供開始
予定

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |17

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |18

Oracle Cloud Infrastructure
Bare Metal インスタンス 価格表
OCPU(物理コア数)CPU
クロック(Ｇｈｚ)

メモリ(GB)

Local Disks

ネットワーク
バンド幅価格BM.HPC2.3636

3.0-3.7384

6.7TB NVMe SSD

100Gbps (RDMA)
25Gbps (TCP/IP)¥324.0/時

BM.Standard2.52

52768

Block Volume

BM.DenseIO2.52

52

768

51.2TB NVMe SSD

BM.Standard1.3636

256

Block Volume

BM.DenseIO1.36

36

512

28.8TB NVMe SSD

BM.Standard.E2.64

64

512

Block Volume

CPU / Type / Shape
New!

IntelSky
lakeIntel
BroadwellAMD
EPYC

BareMetalNew!

(TurboBoost)

2.0
2.3
2.0-3.0(TurboBoost)

25Gbps x210GbE
25Gbps x2¥397.8/時¥795.6/時¥275.4/時¥550.8/時¥230.4/時※ DC/AD内ネットワークは全て、フラットネットワーク/オーバサブスクリプション無し(バイセクションバンド幅確保)
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |20

GPU Instance shape :NVIDIA GPU Cloud 対応

V100 1GPUあたり ¥270/時、P100 1GPUあたり ¥153/時
ocpu:
cores

MamoryNetworkGPU

GPU
Interconnect

時間単価12104GB

1.6Gbps

Tesla P100 x 1-

¥153/時28192GB

25Gbps x 2

Tesla P100 x 2

PCIe¥306/時VM.GPU3.1

690GB

400Mbps

Tesla V100 x 1-

¥270/時VM.GPU3.2

12180GB

800Mbps

Tesla V100 x 2

NVLINK¥540/時24360GB

24GbpsTesla V100 x 4

NVLINK¥1,080/時

52768GB

25Gbps x 2

Tesla V100 x 8

NVLINK¥2,160/時

タイプ

Shape

CPU

仮想マシン

VM.GPU2.1

Bare Metal

BM.GPU2.2

Broadwell

仮想マシン

VM.GPU3.4
Bare Metal

BM.GPU3.8

SkylakeCopyright © 2016, Oracle and/or its affiliates. All rights reserved. |21※ DC/AD内ネットワークは全て、フラットネットワーク
Oracle Cloud Infrastructure/オーバサブスクリプション無し
VM.Standardインスタンス 価格表 (バイセクションバンド幅確保)
CPU / Type / ShapeIntelSkylake
仮想マシン

IntelBroadw
ell

OCPU

(物理コア数)

クロック(GHz)

メモリ(GB)

Local
Disks

ネットワーク
バンド幅価格

VM.Standard2.1

1151Gbps¥7.65/時VM.Standard2.2

2302Gbps¥15.3/時VM.Standard2.4

460

4.1Gbps¥30.6/時VM.Standard2.88120

8.2Gbps¥61.2/時VM.Standard2.16

16

240

16.4Gbps¥122.4/時

VM.Standard2.24

24

320

24.6Gbps¥183.6/時

VM.Standard1.1

17

最大600Mbps¥7.65/時VM.Standard1.2

2

14

最大1.2Gbps¥15.3/時VM.Standard1.4

4

28

1.2Gbps¥30.6/時VM.Standard1.8

856

2.4Gbps¥61.2/時VM.Standard1.16

16

112

4.8Gbps¥122.4/時

2.0

2.3

Block
VolumeCopyright © 2016, Oracle and/or its affiliates. All rights reserved. |22

Oracle Cloud Infrastructure
VM.DenseIOインスタンス 価格表
CPU / Type / ShapeSky
Lake
VMBroadwell

OCPU(物理コア数)

クロック(GHz)

メモリ
(GB)

Local Disks
NVMe SSD

ネットワーク
バンド幅

価格

120

6.4TB

8.2Gbps¥122.4/時

240

12.8TB

16.4Gbps¥244.8/時

VM.DenseIO2.88

VM.DenseIO2.16

16

VM.DenseIO2.24

24320

25.6TB

24.6Gbps¥367.2/時

VM.DenseIO1.4428

3.2TB

1.2Gbps¥61.2/時VM.DenseIO1.8856

6.4TB

2.4Gbps¥122.4/時

VM.DnseIO1.16

16112

12.8TB

4.8Gbps¥244.8/時

2.02.3※ DC/AD内ネットワークは全て、フラットネットワーク/オーバサブスクリプション無し(バイセクションバンド幅確保)

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

23

New!

※ DC/AD内ネットワークは全て、フラットネットワーク
Oracle Cloud Infrastructure/オーバサブスクリプション無し
VM.Standard.Eインスタンス 価格表 (バイセクションバンド幅確保)
CPU / Type / Shape

AMD
EPYC

仮想マシン

OCPU

(物理コア数)

CPU
クロック
(GHz)

メモリ
(GB)

Local
Disks

ネットワーク
バンド幅価格

VM.Standard.E2.1

18

0.7Gbps¥3.6/時VM.Standard.E2.2

216

1.4Gbps¥7.2/時VM.Standard.E2.4

4

2.8Gbps¥14.4/時VM.Standard.E2.8

85.6Gbps¥28.8/時VM.Standard.E2.16

16128

11.2Gbps¥57,6/時VM.Standard.E2.24

24

192

16.8Gbps¥86.4/時

2.0-3.0(TurboBoost)

3264

BlockVolumeCopyright © 2016, Oracle and/or its affiliates. All rights reserved. |24

Oracle Cloud Infrastructure Service
Storage / Networkサービス
Block Volumes(NVMe SSDベース、iSCSIストレージ)
暗号化:テナント/コンパートメント単位

価格

備考¥5.1/GB月

ボリューム当り50GB～32TB
Compute Instance あたり最大 32Volumes
IOPS: 60 IOPS/GB、最大25ｋIOPS
スループット: 480 KB/s/GB、最大320 MB/s

File Storage(NVMe SSDベース、NFSv3サービス)
暗号化: ファイルシステム単位¥5.1/GB月

インバウントネットワークトラフィック

無料

アウトバウンドネットワークトラフィック

サービス当り KB～8ExaB
アカウント当り 100 File Systems

毎月最初の10TBまで無料
上記を超えた場合 ¥1.02/GB月

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |25

【ご参考】 Compute: 対応OS
NameOracle LinuxUbuntu
CentOS
RedhatEnterprise Linux

Version (対応Shape)
7 (VM,BM,GPU)
6 (VM,BM)
16.04 LTS (VM,BM,GPU)
14.04 LTS (VM,BM)6, 7 (X5 Only)
7.4 (VM,BM)
2016 (VM,BM)

Windows Server

2012 R2 (VM,BM,GPU)
2008 R2 (VM)

Provisioning

商用OS

標準テンプレートとして利用可能
Oracle Linux Premier Support が利用可能
標準テンプレートとして利用可能
標準テンプレートとして利用可能
イメージ持ち込み
標準テンプレートとして利用可能
BMのみBYOL可能

サポートはオラクルが提供(Priceに含む) Oracle Linux Premier Support相当
従量課金 (追加料金が必要)
Compute + ¥2.448 OCPU/Hour
サポートはオラクルが提供* 対応Shape: VM(VM Instance), BM (Bare Metal Instance), GPU (GPU Instance)* Bring-Your-Own Hypervisor, Emulation Mode Virtual Machines を利用することで上記以外も利用可能* as of May 2018https://docs.us-phoenix1.oraclecloud.com/Content/Compute/References/images.htm

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted

26

Object Storage Cloud Service
2017年12月19日現在

サービス名
Object Storage Cloud Service (容量)Object Storage Cloud Service (リクエスト数)
Archive Storage Cloud Service (容量)Oracle Cloud Infrastructure - Outbound Data Transfer(アウトバウンドネットワークトラフィック)

定価¥3.06/GB月¥0.408/10k Req.月¥0.312/GB月
毎月最初の10TBまで無料
月10TB超は¥1.02/GB月

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |27

Data Transfer Service
大容量のデータを高速かつセキュアに Oracle Cloud へ転送

Oracle Public Cloud
Data Center

お客様環境• 対応デバイス：SATA II/III 2.5“/3.5” internal HDD (USBは今後対応), 1回最大100TB• 費用：サービス費用は無償– 別途デバイス費用と往復輸送費、移行先のObject Storageが必要• 移行先：Oracle Cloud Infrastructure Object / Archive Storage、リージョン：US West / US East
• 輸送業者：DHL/FedEx/UPS• 所要時間：目安1～2週間程度 (発送地、データ容量等により変動)
Copyright © 2018, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted28

Oracle Cloudを用いたHybrid / Separate HPC システム
- HPC Function Virtualization - (全体イメージ)
オンプレミス• ジョブスケジューラと連携して必要なクラウドリ
ソースを起動/停止

パブリッククラウド• 適宜最新HWに更新

小さいジョブやコプロセッサ処理
もしくは一部の一連の処理

Compute• ユーザはリソースの場所を意識しない

大規模長時間ジョブ
計算リソース• オンプレミスファイルサーバの利用が少ない時間帯にデータをコピー

ログイン/
バッチジョブ
サーバ 大規模ジョブ

ジョブスケジューラが自動的にジョブ分配/データステージングGPU

ファイルサーバ or並列ファイルシステム

一定期間アクセスの無いファイル
ファイルサーバCopyright © 2016, Oracle and/or its affiliates. All rights reserved. |超安価
アーカイブ • 一定期間アクセス
ストレージの無いファイルをアーカイブストレージに移動
29

Oracle Cloudのサービスで十分に一連の計算業務が対応可能な場合のHPC システムの例 ( All HPC Function Virtualization )オンプレミスパブリッククラウド

Compute
認証サーバ
ログイン/バッチジョブ
サーバ

GPU

• 予め用意したマシン
イメージを用いてジョブスケジューラが必
要なインスタンス数を起動

データ
バックアップバックアップサーバ

並列ファイルシステム
Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |30

Oracle Cloud Infrastructure: 参考情報
• チュートリアル : Oracle Cloud
Infrastructure を使ってみよう• サービス情報– https://cloud.oracle.com/ja_JP/iaas• 価格情報– https://cloud.oracle.com/iaas/pricing– https://community.oracle.com/docs/DOC-1019313• マニュアル– 英語版• https://docs.us-phoenix1.oraclecloud.com/Content/home.htm– 日本語版• https://docs.oracle.com/cd/E97706_01/Content/home.htm

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |31

【お問い合わせ先】
日本オラクル株式会社
公共営業本部 第四営業部
松山 慎 ( まつやま まこと )E-Mail: Makoto.Matsuyama@oracle.com
電話: 080-1289-8315
お気軽にご連絡ください!

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |32

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |33