PCクラスタコンソーシアム HPCクラウド部会 第1回ワークショップ

OCI for HPC 最前線
2023年10月4日
日本オラクル株式会社
クラウド営業統括松山 慎

Safe harbor statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not acommitment to deliver any material, code, or functionality, and should not be relied
upon in making purchasing decisions. The development, release, timing, and pricing
of any features or functionality described for Oracle’s products may change andremains at the sole discretion of Oracle Corporation.

2Copyright © 2023, Oracle and/or its affiliates |Oracle Cloud Infrastructure (OCI) 概要

3Copyright © 2023, Oracle and/or its affiliates |Oracle Cloud Infrastructure(OCI)のリージョン

2023年8月現在：45リージョン提供中、さらに7リージョン計画

LONDONNEWPORT

SAN JOSE

MONTREALTORONTOCHICAGO

PHOENIXASHBURNPARISMADRID

STOCKHOLM
AMSTERDAMFRANKFURTZURICHMEXICO 2
COLOMBIA

35 Commercial
7 Commercial Planned
2 Sovereign
8 Government
12 Microsoft Azure Interconnect4

Copyright © 2023, Oracle and/or its affiliates

サステナビリティ：2025年までに、全リージョンで100%再生可能エネルギーを使用することを表明 (南米/欧州は達成済み)

MILANMARSEILLESERBIAISRAEL 2
JERUSALEMSAUDI 2DUBAIJEDDAHABUDHABISAUDI 3

QUERETARO

デュアル・リージョン：基本的にすべての国/地域で2つ以上のリージョンを提供し、お客様の業務継続要件に対応していく(日本の場合は東京-大阪)
各リージョンはOracle Backboneで接続

CHUNCHEONSEOULTOKYOOSAKAMUMBAIHYDERABAD
SINGAPORE 2
SINGAPORE

VINHEDO
SAO PAULOJOHANNESBURGSANTIAGOCHILE 2SYDNEYCANBERRAMELBOURNE

https://www.oracle.com/cloud/cloud-regions/Oracle Cloud Infrastructure の日本国内展開
リージョン

大阪 ( Japan Central )東京 ( Japan East )開業年

2020年2月

2019年5月

SINETクラウド接続(*)

2020年7月

2019年10月

政府のクラウド施策対応

ISMAP登録済み、ガバメントクラウド対象クラウドサービス

準拠法

日本国の実体法と手続法を適用

裁判管轄

東京地方裁判所を第一審の専属的合意管轄裁判所とする

決済方式

現地通貨(日本円) および請求書ベースの支払い

単価

ワールドワイドで同一の単価 (月10TB超のインターネットアウトバウンドデータ量を除く)
円建て単価契約(*) SINET接続/FastConnect仮想回線経由の通信は上り/下りとも無制限に転送データ量課金無し
5

Copyright © 2023, Oracle and/or its affiliates |OCI サービス全体像
Infrastructure, platform, and SaaS in one flat-network
Oracle Applications

Custom Applications

ISV Applications

Industry | ERP | EPM | SCM | HCM | ACX

Polyglot | Traditional | Cloud Native

Hundreds to choose fromDeveloperServices

Containers andFunctions

Integration

Analytics and BI

Machine Learning
and AIBig Data andData Lake

ComputeStorage

NetworkingOracle
Databases

Open Source
Databases

Operating Systems,
Native VMware

Security | Observability | Compliance | Messaging | Governance

OCI’s Distributed Cloud
Public Cloud6

Oracle CloudWorld

Copyright © 2023, Oracle and/or its affiliates|

Hybrid Cloud: Cloud@Customer|

Dedicated Cloud|

Multicloud: Azure, AWS

コンピュート： インスタンスの選択
1コアからスタート、ベアメタル、RDMA、GPUなど、高いコストパフォーマンスで幅広く提供
用途に応じてインスタンスのシェイプを選択可能• VMもベアメタルも、同じインフラ（ネットワーク、ハードウェア、ファームウェア、API）上で提供

CPUの種類

インスタンスの種類

VMインスタンス

ベアメタルインスタンス• 仮想マシン環境• 物理サーバー環境-Standard Flexible VMs: CPU 1
コア単位、メモリ1GiB単位で自由に組合せ可能

Standardシェイプタイプ

7

汎用シェイプ

一般的なワークロード向け
インスタンス停止で課金停止(他のシェイプタイプは課金停止は終了する必要あり)

Copyright © 2023, Oracle and/or its affiliates |VirtualMachine-

性能重視アプリケーション向け
仮想マシンと同様に容易なデプロイ可能

Bare Metal
ComputeDense I/O

HPC/Optimized

GPU

NVMe SSD内蔵シェイプ

HPCクラスタ タイプ

GPUクラスタタイプ

I/O性能重視ワークロード向け

高帯域/低遅延RDMAネットワーク
HPCクラスタ用インスタンス

AI、機械学習、HPC

OCI Supercluster• 広帯域/低遅延 大規模RDMAネットワーク• 最大 16,384のコンピュート・ノード• 最大 32,768基のGPU

8

Copyright © 2021, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

10/10/2023

3種のOCI Supercluster/Cluster Network輻輳制御プロファイル

クラスタベアメタルノードにLinux コマンドでユーザが選択投入可能
ML Workloads• 高スループット要求

Oracle Database RACWorkloads• 科学技術計算• 高頻度取引• MPIワークロードに対してジッターとRTTに比較的寛容• 帯域-遅延に対する要求は
MPI WorkloadsとMLWorkloadsの中間

ECNマーク確率

HPC MPI Workloads• 低遅延要求

ポートキューECN(Explicit Congestion Notification)
9

Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

10/10/2023

スーパーコンピューティング技術産業応用協議会 (産応協)
HPCものづくりワークショップ
大規模FEM構造解析ベンチマーク (FrontISTR)実施結果
産応協: http://www.icscp.jp/FrontISTR: https://www.frontistr.com/

10

Copyright © 2023, Oracle and/or its affiliates |OracleのFrontISTRベンチマーク実施の動機[これまでのパブリッククラウド評]
他社パブリッククラウドでHPCワークロードを実行すると実施する度に実行時間に大きな差が発生する↓
実行計画が立たない
本来不要な課金が発生する↓
パブリッククラウドは使いにくい11

Copyright © 2023, Oracle and/or its affiliates |[Oracle Cloud Infrastructure (OCI) ]パブリッククラウドであってもベアメタルノードと帯域と遅延を約束するフラットネットワークを持つ
OCIであれば、オンプレミスのHPCクラスタと同様の高い性能再現性が示せるはずFrontISTR ベンチマーク実施環境構成図

OCI US-East (Ashburn) リージョン
バージニア州ラウドン郡 (時差14時間)

OCI US-East ( Ashburn ) リージョン
FastConnect

ベンチマークテナントPublic Subnet –Login-Job

Private Subnet – HPC Cluster

Dynamic Routing
Gateway
VirtualMachine
ログインジョブ
サーバ

作業者
VPNInternet
Gateway

File Storage

Optimized3
ベアメタル・・・

Virtual Cloud
Network

Optimized3
ベアメタル

Intel Ice lake
36コア x 16ノード

RDMANetwork

RoCEv2 100Gbps

Internet

20分くらいで環境構築完了
12Copyright © 2023, Oracle and/or its affiliates |ログインジョブサーバ (Slurm)Standard2 仮想マシン x 1ノード
Intel Xeon Platinum 8167M 4 CPUコア
60GBメモリ
100GB ブロックボリューム
計算ノード
Optimized3 ベアメタル x 16ノード[1ノードあたり]
Intel Xeon 6354 3.0-3.6GHz 18コアx2
512GBメモリ
100GB ブロックボリューム
3.8TB NVMe SSD
100Gbps RoCEv2 (遅延片方向 1.5μs 程度)
50Gbps TCP/IP
File Storage : NFS v3 マネージドサービス
保存データ量課金(SIZEは8EBとしてレポートされます)Mold_011mil ( MPIプロセス: 16、SMPスレッド: 4 )13

Wall time [s] CPU time [s]32022/10/27 14:30

322.98319.9142022/10/27 18:30

323.05320.0152022/10/27 22:30

323.15320.1

62022/10/28 2:30

322.91319.8872022/10/28 6:30

323.07320.0282022/10/28 10:30

322.98319.9692022/10/28 14:30

323.1

319.94

Max323.15

320.1

Min

322.88319.85

誤差0.08%0.08%

Copyright © 2023, Oracle and/or its affiliates |

324
323
322
321
320
319
318

2022/10/28 14:30

320.042022/10/28 10:30

323.122022/10/28 6:30

2022/10/27 10:30

2022/10/28 2:30

2

Mold_011mil

2022/10/27 22:30

319.852022/10/27 18:30

322.882022/10/27 14:30

2022/10/27 6:30

2022/10/27 10:30

12022/10/27 6:30

# 実施時間(現地時間)

1

2

3

4

5

6

7

8

9

Wall time [s]CPU time [s]MosicML社 A100ベンチマーク

14

Copyright © 2023, Oracle and/or its affiliates |MosaicMLによるOCIと他社クラウドとのGPU(A100)パフォーマンス比較「我々は、OCIがベストな基盤であることを発見した。
精度80%付近でOCIを他社クラウドを比較した場合、OCIはAWSの半分の時間、半分のコスト。
これは非常に大きい。
$200と$100の場合は気にすることはないかもしれないが、これが$200,000と$100,000だと気にする必要がある。」

他社クラウドhttps://youtu.be/IAZPpUVjNJ0
15

Copyright © 2020, Oracle and/or its affiliates

精度80%での時間差

16

他社クラウドCopyright © , Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

精度80%でのコスト差

10/10/2023

Oracle AI
セキュアで高性能なエンタープライズAI

17

Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

10/10/2023

学習済み AI Services

API経由で利用、アプリケーションにすぐ組み込み可能
Hello...
Digital Assistant
チャットボットなど、対話を通じた問い合わせ応答や、タスクの実行

Document
Understanding

Language

センチメント分析やキー・フ
レーズ抽出など、高度なテキスト分析を実行

テキストおよび表の抽出

Speech音声の転送、字幕の作成、メタデータの生成

異常検出

ビジネス・データの望ましくないイベ
ントまたは観測をリアルタイムで識別Visionイメージ内のオブジェクトの検出および分類

Forecasting

今日のトレンドから明日何が起こるか予測
18

Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

10/10/2023

セキュアで高性能な、企業向け生成AIサービスを提供• お客様がデータを所有して制御。お客様のデータが完全に分離された、セキュアな生成AIを提供します。データの出所や系統へのアクセスも可能になる予定で、安心してビジネスでお使いいただけます。
• オラクル独自の業界知識、データを活用してユースケースにあった最適なAIを使用可能です。また、お客様のデータをベクターストアとして整備して専用の生成AIをセキュア且つ安価に作成することも可能です。
• パブリック・クラウドだけでは無く、オンプレミスのデータセンターでも使用できます。よりセキュアにデータを活用でき、オンプレミスのアプリケーションで高性能な生成AIを活用できます。
19Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted「オラクルとCohere社は、データ・セキュリティ、モデルのカスタマイズ、企業のビジネス価値創造を実現することに共通の重点を置いています。両社は共に、データの安全性とプライバシーを確保しながら、世界中の企業がAIへの取り組みを加速させ、価値を高め、ビジネスの成功を最大化する新しいレベルの自動化を実現できるよう支援します。」
Martin Kon, President & COO, Cohere

Oracle Applications ++ ベクターストア
OCI セキュリティ (顧客データの完全な分離)
OCI Supercluster
AI Infrastructure | NVIDIA GPU

Oracle Cloud Lift Services

主なサービス内容

サービス概要• お客様のクラウド移行をご支援する無償サービス• 現行システムのクラウドへの移行検討で妨げとなる課題に直面しているお客様をご支援• OCI … Oracle Cloud Infrastructure• ExaDB-D … Oracle Exadata Database Service• OCVS … Oracle Cloud VMware Solution

クラウド移行に向けた “ケーススタディ支援”

クラウドへの移行事例を共有し、新たな観点でのクラウドメリットを可視化

クラウド移行に向けた “フィジビリティスタディ支援”

現行システムの評価を検証し、クラウド移行の課題とロードマップを可視化

お客様のベネフィット
1. クラウド移行に精通したオラクルの専任エンジニアが、移行のご支援をいたします
2. OCIのノウハウがないお客様でも、環境を迅速に構築し、ご利用頂くことができます
3. お客様がクラウド環境の準備に伴う初期費用や時間を抑えることができます
4. 併せてお客様プロジェクトメンバーに対して、クラウド環境の利用・運用するための知識を持てるよう、スキルトランスファーのご支援をさせていただきます

クラウド移行に向けた “実機検証 (PoC) の支援”

PoCを通じて、クラウド移行の問題やリスクに対するソリューションを検証

プロジェクト初期フェーズの “早期立ち上げ支援”

クラウドサービスを利用して、検証・開発環境の導入、立ち上げをご支援

主なワークロード
Oracle Database
On Cloud
Oracle DBを
OCI の PaaSに移行する

VMwareon
CloudHigh Performance
Computingapplications on
Cloud

VMware環境をOCI の OCVS に移行する

HPC アプリケーションをOCI の HPC環境に移行する※その他ワークロードに関しましては、担当営業にご相談ください
20

Copyright © 2023, Oracle and/or its affiliates |Oracle Cloudで「富岳」の高度な計算資源の有効活用と研究成果創出を促進• パブリック・クラウドと連携した「富岳」の柔
軟な利活用の支援を目的に、学術情報ネット
ワークSINET を介した「富岳ダイレクト接続サービス」を整備• 膨大な研究データの転送コストを気にすることなく、「富岳」のネットワークから、Oracle
Cloud Infrastructureの高い性能のコンピュートやストレージ・リソースなどを予測可能なコストで利用可能• 安全かつ低コストでの接続により、セキュリティ、パフォーマンス、伸縮性に優れたコンピュートやストレージのリソースを「富岳」のネットワークから低コストで利用可能に
21

Copyright © 2023, Oracle and/or its affiliates |大阪大学、日本電気共同、日本オラクル共同研究事例～ 新型コロナウィルス感染症などに向けクラウドバースティングを通じたベアメタル計算資源の提供～

研究背景

Why Oracle Cloud CMC のスーパーコンピュータOCTOPUS は、利用者からのスカラ型スーパーコンピュータに対する様々な計算ニーズ・需要を収容可能であり、非常に高い利用率で利用される状況になっています。しかし、その一方で、利用者の計算要求から計算完了までの待ち時間が定常的に長時間になるという問題が深刻になりつつあり、利用者からの問い合わせ・相談の声も大きくなっていた。

ソリューション
 Oracle Cloud Infrastructurebare metal ベアメタルマシンも仮想マシンと同様にオンデマンドに必要な時に起動し、不要な場合は停止するHPC 環境を構築することが可能
 最新のCPU、GPU、高性能なノード間通信等のHPC 関連技術がリリースされた際には迅速に提供さる。
 一般的にHPC用途では多くの分野でデータが大きくなる傾向がある
が専用ネットワーク接続サービスを利用することで、転送データ量が無制限に無料
 OCI のベアメタル計算資源であれば、オンプレミスのOCTOPUS 計算ノードと同様にユーザの計算要求を実行出来ることが確認された
 多くの計算ノードを利用する並列計算においてクラウド計算資源を利用した場合でも高いスケーラビリティが得られる【 研究成果のポイント】

大型計算機におけるクラウドバースティングが実現可能であることが実証されると利用者が計算結果を得られるまでの時間の削減ができるだけでな
く、COVID-19 対策のような急な計算需要拡大への対応含め、計算機リソースの問題で解決できなかった事象を解析できるようになる。
これにより、大型計算機を用いた研究分野において、学術的・教育的に大きな成果が出ることが期待されます。
また、低コストでのスケールアウトを示すことにより、学術機関と企業との連携による産業利用・産学連携の加速、企業・社会課題の解決が加速されることが期待されます。
22

Copyright © 2023, Oracle and/or its affiliates |Oracle Cloud Infrastructureを用いた
Hybrid HPC システムイメージ
Cloudbursting
オンプレミスパブリッククラウド• ジョブスケジューラと連携して必要なクラウドリソースを起動/停止

低遅延RDMA

プリポスト、フロントエンド、アプリ開発等の専有利用

・・・• 適宜最新HWに更新
低遅延RDMA• ユーザはリソースの場所を意識しないGPUGPUGPU・・・

GPU

オンプレミス計算リソース
ログイン/
バッチジョブ
サーバ

並列ファイルシステム

オブジェクトストレージ

Storage-offload
ジョブスケジューラが自動的にジョブ分配/
データステージング
23

一定期間アクセスの無いファイルをオフロード
ファイルサーバCopyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted10/10/2023

アーカイブストレージ【お問い合わせ先】

日本オラクル株式会社
クラウド事業統括 公共営業本部
松山 慎 ( まつやま まこと )E-Mail: Makoto.Matsuyama@oracle.com
電話: 080-1289-8315
お気軽にご連絡ください!

24

Copyright © 2023, Oracle and/or its affiliates |