HPC向けOracle Cloud Infrastructure(OCI)最前線
HPC&AI向けOCI概要のご紹介

日本オラクル株式会社
クラウド営業統括松山 慎

Safe harbor statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not acommitment to deliver any material, code, or functionality, and should not be relied
upon in making purchasing decisions. The development, release, timing, and pricing
of any features or functionality described for Oracle’s products may change andremains at the sole discretion of Oracle Corporation.

2

Copyright © 2022, Oracle and/or its affiliates

HPC分野における OCI の強み
 安定して高速な計算資源

 高性能で堅牢な
ストレージ

ベアメタル +
帯域/遅延が均一なRDMA

IO性能の高い
各種ストレージサービス(オーバーサブスクリプションを排除し、高い性能再現性を提供)(標準Boot Volume
3kIOPS:24MB/s～
25kIOPS:480MB/s)

TCP/IPネットワーク、仮想マシンもオーバーサブスクリプション無し(リソースアロケーションによらず性能均一)

高いデータ年間耐久性

99.999999999%(11-9)(Object Storage、File Storage Service)
セキュアなストレージサービス

保存データ常時暗号化
3

Copyright © 2022, Oracle and/or its affiliates 低コストSINET含む閉域網や専用線経由の転送データ量課金が上り下りとも無料(定額仮想回線費用のみで利用可能)
計算資源単価他社比較

23～55%程度安価
ストレージ単価他社比較

最大97%安価Oracle Cloud Infrastructure (OCI)

高速かつ安全で高コストパフォーマンスの第二世代クラウド (ベアメタル+フラットネットワーク)
黎明期のクラウドの想定ネットワークトポロジ(Gen.2 Cloud)

上に行くほど狭帯域
マルチテナント利用で性能が低下する原因

2ホップ以内で関連リソースにアクセス
Performance SLA定義
・ネットワーク帯域
・ブロックボリュームIOPS- ＜90% 99.9%/月

VS

.....

.....

VirtualMachineContainers

Block
Storage

VirtualMachine

階層型ネットワーク
4

Copyright © 2022, Oracle and/or its affiliates |ObjectStorage

Bare Metal
ComputeVirtualMachineBlock
Storage

Containers

ObjectStorage

Leaf & Spine 型フラットネットワーク

最新のハードウェアを低価格で提供
Intel Ice lake
HPCクラスタCPU ¥7.33 /コア時間
メモリ ¥0.21 /GB時間

AMD EPYC Milan
汎用ワークロードCPU ¥3.50 /コア時間
メモリ ¥0.21 /GB時間

Arm Ampere Altra
コストパフォーマンス最高

NVIDIA A100
高性能 GPUA100

CPU ¥1.40 /コア時間
メモリ ¥0.21 /GB時間¥427 / GPU時間• Intel Xeon Ice lake 搭載(3.0GHz - 3.6GHz)• AMD EPYC Milan 搭載(2.55GHz - 3.5GHz)• Ampere Altra 搭載
Neoverse N1、3.0GHz• 最新のNVIDIA GPUを搭載(¥2,928/ノード時間)• ベアメタル(¥325.44/ノード時間)• ベアメタル(¥752,64/ノード時間)• ベアメタル(¥376.32/ノード時間)• 40GBメモリ/GPU• 36コア 512GiBメモリ• 128コア 2TiBメモリ• 160コア 1TiBメモリ• NVMe SSD 3.2 TB搭載

• ネットワーク 50Gbps x 2• ネットワーク 50Gbps x 2• RDMAネットワーク
100Gbps、低遅延• 仮想マシン:Flexible VMs• 仮想マシン: Flexible VMs• 1コア、1GB単位で組合せ• 仮想マシン:Flexible VMs• 1コア、1GB単位で組合せ• 8GPU - NVLINK• ホスト• EPYC Rome 最大64コア• 2TiBメモリ• NVMe SSD 24TB搭載• ホスト間RDMA• 1.6Tbps、低遅延5Copyright © 2022, Oracle and/or its affiliates

Bare Metal RDMAクラスタ 構成概要
マルチテナントで安全に利用可能な複数セットの性能再現性のあるHPC環境
GPU搭載クラスタ

CPUクラスタ
CPUクラスタインスタンス (BM.Optimized3.36) 1ノード

GPUクラスタインスタンス (BM.GPU4.8) 1ノード

CPUIntel Xeon Ice lake 3.0-3.6GHz 18core x 2CPU理論ピーク3.456TFLOPS/ノード

CPU

AMD EPYC Rome 2.9-3.4GHz 32core x 2CPU

Memory2TiB (DDR4-3200 x 8チャネル/ソケット)

Memory512GB (DDR4-3200 x 8チャネル/ソケット)GPU

NVIDIA A100/40GB mem x 8 (NVLINK)

Storage

3.2TB NVMe SSD + Block Storage (up to 1TB)

Storage

24TiB NVMe SSD + Block Storage (up to 1TiB)

Network

100Gbps RDMA ( RoCEv2、CX-5 ) x 1
50Gbps TCP/IP x 1

Network

100Gbps RDMA ( RoCEv2、CX-5 )x16 (1.6Tbps)
50Gbps TCP/IP x 1

Cluster Network 想定最大構成

Cluster Network 想定最大構成

Latency

1.5マイクロ秒程度

Latency

1.5マイクロ秒程度

Max nodes

576

Max nodes

64

Max total cores

20,736

Max total CPU cores

4,096

Max total memory

288TiBMax total Host memory

128TiBMax total NVMe storage

1.8PiBMax total NVMe storage

1.5PiB

理論ピーク性能/クラスタ

1.99 PFLOPS

MAX total GPU (A100)

512GPUs

OCI HPC CLIによるHPCクラスタ作成/削除
クラスタ作成: $ ocihpc deploy --stack ＜Cluster Name> --node-count <Node数> --region ap-tokyo-1 --compartment-id <compartment-id>
クラスタ削除: $ ocihpc delete --stack ＜Cluster Name>
6

Copyright © 2022, Oracle and/or its affiliates

Oracle Cloud Infrastructure の SINET接続• 東京リージョン、大阪リージョンとも接続回線敷設済み• オンプレミス側SINETルータでBGPおよびIEEE802.1q(tagVLAN)の設定が必要• 有償の仮想回線サービスであるFastConnect(1Gbps ¥25.5ポート/時～)が必要• SINET DCとOCIリージョン間の回線はOracleが敷設しご利用機関様ご負担は¥0• FastConnect/SINET経由のPrivate Peering は上り/下りとも転送データ量課金無制限に¥0• [必要なお手続き]• ご利用開始2週間前までに、NII様へSINETクラウド接続サービスご利用申請• ご利用開始1週間前までに、オラクルへ仮想回線サービス FastConnectのOCIDをご連絡

7

Copyright © 2022, Oracle and/or its affiliates

国立情報学研究所 学認クラウド関連対応• 学認クラウド導入支援サービス 登録• Oracle Cloud Infrastructure - Compute• Oracle Cloud Infrastructure – Storage• Oracle Content and Experience Cloud• Oracle Cloud Infrastructure - Database Cloud Service• 学認クラウドオンデマンド構築サービス

利用可能プロバイダ• GakuNin RDM (研究データ管理基盤)• 機関ストレージおよび拡張ストレージ接続可能プロバイダ

8

Copyright © 2022, Oracle and/or its affiliates

HPC関連ソリューション
Job Scheduler

Parallel File System

Container

Object Storage NFS Gateway• Altair PBS Professional (Market Place)• Altair Grid Engine• Slurm (Market Place)、など• Cloudbursting スクリプトサンプル提供• Docker, Singularity

Cluster Management• OCI Storage Gateway (無償提供)• Xtreme-D AXXE-L• 学認クラウドオンデマンド構築サービス、など

HPC SaaS• Altair HyperWorks Unlimited• Rescale• NIMBIX
9• Lustre (Market Place)• BeeGFS (Market Place)• WekaIO• Gfarmなど

Storage Tiering• iRODS• クラウディアン HyperStore 階層化• カスタムエンドポイント• Gakunin RDM拡張ストレージ、など

経験豊富なHPCサポートSIパートナ
Copyright © 2022, Oracle and/or its affiliates

Oracle Cloud Infrastructure references

公共学術研究機関におけるHPCクラウドを加速するOracle Cloud Infrastructure「富岳」の柔軟な利活用の支援を目的に、学術情報ネットワー
クSINET を介した「富岳」とOracle Cloud
Infrastructureとの接続

新型コロナウィルス感染症などに向けクラウドバースティングを通じたOracle Cloud
Infrastructure ベアメタル
計算資源の提供｢多様性指標(REDi)｣開発の中核となる3,000万件以上の論文データ処理をOracle
Cloud Infrastructureの最新のGPUにより効率化を

創薬プロセスにおける三次元構造モデルシミュレーションを
Oracle Cloud
InfrastructureのGPUを用いて短期集中的に加速理化学研究所 様大阪大学 様統計数理研究所 様

某国立研究機関 様

10

Copyright © 2022, Oracle and/or its affiliates

Oracle Cloud Infrastructure references 導入事例

OCIサービス開始以前の2014年から自動車工業会様を中心にCAEクラウドについてクラウドプ
ロバイダと様々な取り組みをしてきた自動車業界の多くの企業が現在OCIのHPCクラウドを導入日産自動車 様11

Copyright © 2022, Oracle and/or its affiliates

トヨタ自動車 様

SUBARU 様

デンソーテクノ 様

NVIDIAとOracleは、企業のAI導入の加速を目指して提携
Oracle Cloud World 2022のOracle CEO Safra CatzのKey noteに
NVIDIA社 CEO Jensen Huang 氏が登壇 (2022年10月18日)
https://www.oracle.com/cloudworld/on-demand/• NVIDIAのアクセラレーテッドコンピューティングのすべてをCluster Network (RDMA)を持つ Oracle Cloud
Infrastructure (OCI)に組み込む。
• A100およびH100(*)を含む数万 GPUをOCIに追加。
*注: 近日発売予定• OCI上で次期 NVIDIA AI Enterprise が利用可能。
• NVIDIA RAPID と OCI Data Flow が連携。
• Oracleのエンタープライズ・アプリケーションにAIによる拡張でも提携。
12

Copyright © 2021, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/6/2022

https://www.nvidia.com/ja-jp/about-nvidia/press-releases/2022/oracle-nvidia-speed-ai-adoption/

OCI上でWEKAが2テラバイト/秒のパフォーマン
スを実現
WekaIOのNicole Silva氏とOCI Pinkesh Valdriaの対談動画
https://www.youtube.com/watch?v=30a1UAl8Xm4• WEKAデータ・プラットフォームは、POSIX、NFS、
SMB、S3 APIでゼロコピーで利用出来る高速かつ透過的なアクセスを提供し、様々なワークロードに大きなメリットをもたらします。
• WEKAとOracleは協力して、OCIベア・メタル・イン
スタンス上でWEKAを検証し、お客様がクリティカ
ルなワークロードに対して要求する最高レベルのパ
フォーマンスを提供できることを確認しました。

WEKA and …Oracle?
Joel Kaufman. April 19, 2022
Writing this blog feels like a version of The Odd Couple. Here we are at
WEKA blazing trails and attacking the problems associated with the latest
High-Performance-Computing, AI/ML and GPU-based Workloads. Oracle
on the other hand is an enterprise database management company thatpowers the financials and business operations of tens of thousands ofcompanies. Oracle Cloud Infrastructure (OCI) is a top-tier Hyperscale
cloud that provides XaaS compute and application services to Oracle
customers, and offers a lot more than you might expect, including AI/ML
and GPU workloads.

Weka IOブログ https://www.weka.io/blog/oracle-oci/ より抜粋

13

Copyright © 2021, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/6/2022

Oracle Cloud Lift Services

主なサービス内容

サービス概要• お客様のクラウド移行をご支援する無償サービス• 現行システムのクラウドへの移行検討で妨げとなる課題に直面しているお客様をご支援• OCI … Oracle Cloud Infrastructure• ExaDB-D … Oracle Exadata Database Service• OCVS … Oracle Cloud VMware Solution

クラウド移行に向けた “ケーススタディ支援”

クラウドへの移行事例を共有し、新たな観点でのクラウドメリットを可視化

クラウド移行に向けた “フィジビリティスタディ支援”

現行システムの評価を検証し、クラウド移行の課題とロードマップを可視化

お客様のベネフィット
1. クラウド移行に精通したオラクルの専任エンジニアが、移行のご支援をいたします
2. OCIのノウハウがないお客様でも、環境を迅速に構築し、ご利用頂くことができます
3. お客様がクラウド環境の準備に伴う初期費用や時間を抑えることができます
4. 併せてお客様プロジェクトメンバーに対して、クラウド環
境の利用・運用するための知識を持てるよう、スキル
トランスファーのご支援をさせていただきます

クラウド移行に向けた “実機検証 (PoC) の支援”

PoCを通じて、クラウド移行の問題やリスクに対するソリューションを検証

プロジェクト初期フェーズの “早期立ち上げ支援”

クラウドサービスを利用して、検証・開発環境の導入、立ち上げをご支援

主なワークロード
Oracle Database
On Cloud
Oracle DBを
OCI の PaaSに移行する

VMwareon
CloudHigh Performance
Computingapplications on
Cloud

VMware環境を
OCI の OCVS に移行する

HPC アプリケーションを
OCI の HPC環境に移行する※その他ワークロードに関しましては、担当営業にご相談ください
14

Copyright © 2022, Oracle and/or its affiliatesスーパーコンピューティング技術産業応用協議会 (産応協)
HPCものづくりワークショップ
大規模FEM構造解析ベンチマーク (FrontISTR)実施結果
産応協: http://www.icscp.jp/
FrontISTR: https://www.frontistr.com/

15

Copyright © 2022, Oracle and/or its affiliates

OracleのFrontISTRベンチマーク実施の動機[これまでのパブリッククラウド評]

他社パブリッククラウドでHPCワークロードを実行すると実施す
る度に実行時間に大きな差が発生するとのお話しをPCCC実用アプリ部会
会合で話題となる↓実行計画が立たない
本来不要な課金が発生する↓
パブリッククラウドは使いにくい

16

Copyright © 2022, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/6/2022

OracleのFrontISTRベンチマーク実施の動機[これまでのパブリッククラウド評][Oracle Cloud Infrastructure (OCI) ]他社パブリッククラウドでHPCワークロードを実行すると実施す
る度に実行時間に大きな差が発生するとのお話しをPCCC実用アプリ部会
会合で話題となる↓実行計画が立たない
本来不要な課金が発生する↓
パブリッククラウドは使いにくい

17

Copyright © 2022, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restrictedパブリッククラウドであってもベアメタルノードと帯域と遅延を約束するフラットネットワークを持つ
OCIであれば、オンプレミスのHPCク
ラスタと同様の高い性能再現性が示
せるはず

12/6/2022

FrontISTR ベンチマーク実施環境構成図

OCI US-East (Ashburn) リージョン
バージニア州ラウドン郡 (時差14時間)

OCI US-East ( Ashburn ) リージョン
FastConnect

ベンチマークテナント
Public Subnet –Login-Job

Private Subnet – HPC Cluster

Dynamic Routing
Gateway
VirtualMachineログインジョブ
サーバ

作業者
VPN

Internet
Gateway

Optimized3
ベアメタル

File Storage

・・・

Virtual Cloud
Network

Optimized3
ベアメタル

Intel Ice lake
36コア x 16ノード

RDMA
Network

RoCEv2 100Gbps

Internet¥5,500/時間程度 (2022年10月末現在)
20分くらいで環境構築完了
18

Copyright © 2022, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/6/2022

ログインジョブサーバ
Standard2 仮想マシン x 1ノード
Intel Xeon Platinum 8167M 4 CPUコア
60GBメモリ
100GB ブロックボリューム
計算ノード
Optimized3 ベアメタル x 16ノード[1ノードあたり]
Intel Xeon 6354 3.0-3.6GHz 18コアx2
512GBメモリ
100GB ブロックボリューム
3.8TB NVMe SSD
100Gbps RoCEv2 (遅延片方向 1.5μs 程度)
50Gbps TCP/IP

File Storage : NFS v3 マネージドサービス
保存データ量課金(SIZEは8EBとしてレポートされます)Mold_001mil ( MPIプロセス: 16、SMPスレッド: 2 )# 実施時間(現地時間) Wall time [s] CPU time [s]192022/10/27 12:30

33.38

33.14

4

2022/10/27 16:30

33.23

32.73

5

2022/10/27 20:30

33.12

32.81

6

2022/10/28 0:30

33.18

32.88

7

2022/10/28 4:30

33.25

32.75

8

2022/10/28 8:30

33.17

32.86

9

2022/10/28 12:30

33.3

32.8

Max

33.38

33.14

Min

33.07

32.73

誤差

0.93%

1.24%

Copyright © 2022, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

33.6
33.4
33.2
33
32.8
32.6
32.4

2022/10/28 12:30

3

Mold_001mil

2022/10/28 8:30

32.76

2022/10/28 4:30

33.07

2022/10/28 0:30

2022/10/27 8:30

2022/10/27 20:30

22022/10/27 16:30

32.78

2022/10/27 12:30

33.31

2022/10/27 8:30

2022/10/27 4:30

2022/10/27 4:30

1

1

2

3

4

5

6

7

8

9

Wall time [s]12/6/2022

CPU time [s]Mold_011mil ( MPIプロセス: 16、SMPスレッド: 4 )20

Wall time [s] CPU time [s]32022/10/27 14:30

322.98319.9142022/10/27 18:30

323.05320.0152022/10/27 22:30

323.15320.1

62022/10/28 2:30

322.91319.8872022/10/28 6:30

323.07320.0282022/10/28 10:30

322.98319.9692022/10/28 14:30

323.1

319.94Max

323.15320.1

Min322.88319.85

誤差

0.08%

0.08%

324
323
322
321
320
319
318

Copyright © 2022, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted2022/10/28 14:30

320.042022/10/28 10:30

323.122022/10/28 6:30

2022/10/27 10:30

2022/10/28 2:30

2

Mold_011mil

2022/10/27 22:30

319.852022/10/27 18:30

322.882022/10/27 14:30

2022/10/27 6:30

2022/10/27 10:30

12022/10/27 6:30

# 実施時間(現地時間)

1

2

3

4

5

6

7

8

9

Wall time [s]12/6/2022

CPU time [s]Oracle Cloud Infrastructure (OCI)

高速かつ安全で高コストパフォーマンスの第二世代クラウド (ベアメタル+フラットネットワーク)
黎明期のクラウドの想定ネットワークトポロジ(Gen.2 Cloud)

上に行くほど狭帯域
マルチテナント利用で性能が低下する原因

2ホップ以内で関連リソースにアクセス
Performance SLA定義
・ネットワーク帯域
・ブロックボリュームIOPS- ＜90% 99.9%/月

VS

.....

.....

VirtualMachineContainers

Block
Storage

VirtualMachine

階層型ネットワーク
21

Copyright © 2022, Oracle and/or its affiliates |ObjectStorage

Bare Metal
ComputeVirtualMachineBlock
Storage

Containers

ObjectStorage

Leaf & Spine 型フラットネットワーク

Oracle Cloud Infrastructure (OCI)

高速かつ安全で高コストパフォーマンスの第二世代クラウド (ベアメタル+フラットネットワーク)
黎明期のクラウドの想定ネットワークトポロジ(Gen.2 Cloud)

2ホップ以内で関連リソースにアクセス
Performance SLA定義
・ネットワーク帯域
・ブロックボリュームIOPS- ＜90% 99.9%/月

上に行くほど狭帯域
マルチテナントで原因不明の性能低下の原因

.....

VS

.....

Bare Metal
ComputeVirtualMachineContainers

Block
Storage

VirtualMachine

階層型ネットワーク
22

Copyright © 2022, Oracle and/or its affiliates |VirtualMachineBlock
Storage

Containers

ObjectStorage

ObjectStorage

Leaf & Spine 型フラットネットワーク

Oracle Cloud Infrastructure (OCI)

高速かつ安全で高コストパフォーマンスの第二世代クラウド (ベアメタル+フラットネットワーク)
黎明期のクラウドの想定ネットワークトポロジ(Gen.2 Cloud)

2ホップ以内で関連リソースにアクセス
Performance SLA定義
・ネットワーク帯域
・ブロックボリュームIOPS- ＜90% 99.9%/月

上に行くほど狭帯域
マルチテナントで原因不明の性能低下の原因

.....

VS

.....

Bare Metal
ComputeVirtualMachineContainers

Block
Storage

VirtualMachine

階層型ネットワーク
23

Copyright © 2022, Oracle and/or its affiliates |VirtualMachineBlock
Storage

Containers

ObjectStorage

ObjectStorage

Leaf & Spine 型フラットネットワーク

Oracle Cloud Infrastructure (OCI)

高速かつ安全で高コストパフォーマンスの第二世代クラウド (ベアメタル+フラットネットワーク)
黎明期のクラウドの想定ネットワークトポロジ(Gen.2 Cloud)

2ホップ以内で関連リソースにアクセス
Performance SLA定義
・ネットワーク帯域
・ブロックボリュームIOPS- ＜90% 99.9%/月

上に行くほど狭帯域
マルチテナントで原因不明の性能低下の原因

.....

VS

.....

Bare Metal
ComputeVirtualMachineContainers

Block
Storage

VirtualMachine

階層型ネットワーク
24

Copyright © 2022, Oracle and/or its affiliates |VirtualMachineBlock
Storage

Containers

ObjectStorage

ObjectStorage

Leaf & Spine 型フラットネットワーク

Oracle Cloud Infrastructure (OCI)

高速かつ安全で高コストパフォーマンスの第二世代クラウド (ベアメタル+フラットネットワーク)
黎明期のクラウドの想定ネットワークトポロジ(Gen.2 Cloud)

2ホップ以内で関連リソースにアクセス
Performance SLA定義
・ネットワーク帯域
・ブロックボリュームIOPS- ＜90% 99.9%/月

上に行くほど狭帯域
マルチテナントで原因不明の性能低下の原因

.....

VS

.....

Bare Metal
ComputeVirtualMachineContainers

Block
Storage

VirtualMachine

階層型ネットワーク
25

Copyright © 2022, Oracle and/or its affiliates |VirtualMachineBlock
Storage

Containers

ObjectStorage

ObjectStorage

Leaf & Spine 型フラットネットワーク

Oracle Cloud Infrastructure (OCI)

高速かつ安全で高コストパフォーマンスの第二世代クラウド (ベアメタル+フラットネットワーク)
黎明期のクラウドの想定ネットワークトポロジ(Gen.2 Cloud)

2ホップ以内で関連リソースにアクセス
Performance SLA定義
・ネットワーク帯域
・ブロックボリュームIOPS- ＜90% 99.9%/月

上に行くほど狭帯域
マルチテナントで原因不明の性能低下の原因

.....

VS

.....

Bare Metal
ComputeVirtualMachineContainers

Block
Storage

VirtualMachine

階層型ネットワーク
26

Copyright © 2022, Oracle and/or its affiliates |VirtualMachineBlock
Storage

Containers

ObjectStorage

ObjectStorage

Leaf & Spine 型フラットネットワーク

【お問い合わせ先】

日本オラクル株式会社
クラウド事業統括 公共営業本部
松山 慎 ( まつやま まこと )E-Mail: Makoto.Matsuyama@oracle.com
電話: 080-1289-8315
お気軽にご連絡ください!

27

Copyright © 2022, Oracle and/or its affiliates