OCIのHPC基盤技術と生成AI

日本オラクル株式会社
クラウド営業統括松山 慎

Safe harbor statement
The following is intended to outline our general product direction. It is intended for
information purposes only, and may not be incorporated into any contract. It is not acommitment to deliver any material, code, or functionality, and should not be relied
upon in making purchasing decisions. The development, release, timing, and pricing
of any features or functionality described for Oracle’s products may change andremains at the sole discretion of Oracle Corporation.

2Copyright © 2023, Oracle and/or its affiliates |OCI サービス全体像
Infrastructure, platform, and SaaS in one flat-network
Oracle Applications

Custom Applications

ISV Applications

Industry | ERP | EPM | SCM | HCM | ACX

Polyglot | Traditional | Cloud Native

Hundreds to choose fromDeveloperServices

Containers andFunctions

Integration

Analytics and BI

Machine Learningand AI

Big Data andData Lake

ComputeStorage

Networking

OracleDatabases

Open Source
Databases

Operating Systems,
Native VMware

Security | Observability | Compliance | Messaging | Governance

OCI’s Distributed Cloud
Public Cloud3

Oracle CloudWorld

Copyright © 2023, Oracle and/or its affiliates|Hybrid Cloud: Cloud@Customer|

Dedicated Cloud|

Multicloud: Azure, AWSOracle Cloud Infrastructure の日本国内展開
国内規格準拠や契約形態など

政府のクラウド施策対応

ISMAP登録済み、ガバメントクラウド対象クラウドサービス

準拠法

日本国の実体法と手続法を適用

裁判管轄

東京地方裁判所を第一審の専属的合意管轄裁判所とする

決済方式

契約地の現地通貨(日本円) および請求書ベースの支払い-ご利用リージョンが海外であっても適用されます。-

単価

ワールドワイドで同一の単価 (月10TB超のインターネットアウトバウンドデータ量を除く)
円建て単価契約 (為替リスクをオラクルが持ちます)リージョン

大阪 ( Japan Central )東京 ( Japan East )開業年

2020年2月

2019年5月

SINETクラウド接続(*)

2020年7月

2019年10月(*) SINET接続/FastConnect仮想回線経由の通信は上り/下りとも無制限に転送データ量課金無し
4

Copyright © 2023, Oracle and/or its affiliates |コンピュート： インスタンスの選択
1コアからスタート、ベアメタル、RDMA、GPUなど、高いコストパフォーマンスで幅広く提供
用途に応じてインスタンスのシェイプを選択可能• VMもベアメタルも、同じインフラ（ネットワーク、ハードウェア、ファームウェア、API）上で提供

CPUの種類

インスタンスの種類

VMインスタンス

ベアメタルインスタンス• 仮想マシン環境• 物理サーバー環境-

Standard Flexible VMs: CPU 1
コア単位、メモリ1GiB単位で自由に組合せ可能

Standard
シェイプ
タイプ

5

汎用シェイプ

一般的なワークロード向け
インスタンス停止で課金停止(他のシェイプタイプは課金停止は終了する必要あり)

Copyright © 2023, Oracle and/or its affiliates |VirtualMachine-

性能重視アプリケーション向け
仮想マシンと同様に容易なデプロイ可能

Bare Metal
ComputeDense I/OHPC/Optimized

GPU

NVMe SSD内蔵シェイプ

HPCクラスタ タイプ

GPUクラスタタイプ

I/O性能重視ワークロード向け

高帯域/低遅延RDMAネットワーク
HPCクラスタ用インスタンス

AI、機械学習、HPC

圧倒的なコストパフォーマンス

Computeだけでなく、基盤となるストレージやネットワークも低コスト

ComputeOracle の強み

Oracle

他社クラウド 同一リソースを低価格で提供
 CPU/メモリを柔軟に選
択可能 (フレキシブル・¥35.52/時¥107.52/時

シェイプ)

Storage 他社標準ストレージ価
格で、高性能ストレージを提供
 性能に対するSLAあり

Network AD間無償 10TB/月まで無償
 閉域網接続時はデータ転送無償

Compute(VM.Standard.E4;16vCPU, 64GB, Linux)

仮想マシン(16vCPU, 64GB, Linux)¥5,100/月¥239,040/月

Block Volume(1TB, 25K IOPS)

ブロック・ストレージ(1TB, 25K IOPS)¥18,972/月¥517,445/月

FastConnect(1Gbps, 100TB)*閉域網接続接続サービス(1Gbps, 100TB)*閉域網接続

¥

67%
低価格

¥

98%
低価格

¥

96%
低価格

Compute: 同一リソースを低価格で提供、高い柔軟性 (フレキシブル・シェイプ)
Storage/Network: トランザクションやデータ転送量による料金変動を低減する料金体系
6

Copyright © 2022, Oracle and/or its affiliates* as of March 2022, Tokyo Region

国立情報学研究所 学認クラウド関連対応• 学認クラウド導入支援サービス 登録• Oracle Cloud Infrastructure - Compute• Oracle Cloud Infrastructure – Storage• Oracle Content and Experience Cloud• Oracle Cloud Infrastructure - Database Cloud Service• 学認クラウドオンデマンド構築サービス

利用可能プロバイダ• GakuNin RDM (研究データ管理基盤)• 機関ストレージおよび拡張ストレージ接続可能プロバイダ

7

Copyright © 2023, Oracle and/or its affiliates |HPC分野における OCI の強み
 安定して高速な計算資源
ベアメタル +
帯域/遅延が均一なRDMA(オーバーサブスクリプションを排除し、高い性能再現性を提供)
TCP/IPネットワーク、仮想マシンもオーバーサブスクリプション無し(リソースアロケーションによらず性能均一)

 高性能で堅牢なストレージ
IO性能の高い
各種ストレージサービス(標準Boot Volume
3kIOPS:24MB/s～
25kIOPS:480MB/s)
高いデータ年間耐久性
99.999999999%(11-9)

Copyright © 2023, Oracle and/or its affiliates |SINET含む閉域網や専用線経由の転送データ量課金が上り下りとも無料(定額仮想回線費用のみで利用可能)
計算資源単価他社比較(Object Storage、File Storage Service)

23～55%程度安価

セキュアなストレージサービス

ストレージ単価他社比較

保存データ常時暗号化
8 低コスト

最大97%安価最新のハードウェアを低価格で提供
Intel Xeon Ice lake
HPCクラスタAMD EPYC Genoa
汎用ワークロードCPU ¥4.20 /コア時間
メモリ ¥0.28 /GB時間

CPU ¥7.33 /コア時間
メモリ ¥0.21 /GB時間• Intel Xeon Ice lake 搭載• ベアメタル(¥325.44/ノード時間)• AMD EPYC Genoa 搭載• ベアメタル• 192コア 2.25TiBメモリ• 36コア 512GiBメモリ• NVMe SSD 3.2 TB搭載
• RDMAネットワーク
100Gbps、低遅延• 仮想マシン: Flexible VMs

仮想マシン:Flexible VMs••• ネットワーク100Gbps

1コア、1GB単位で組合せ• 1コア、1GB単位で組合せ

Arm Ampere Altra
コストパフォーマンス最高

NVIDIA H100
高性能 GPU
H100

CPU ¥1.40 /コア時間
メモリ ¥0.21 /GB時間• Ampere Altra 搭載
Neoverse N1、3.0GHz• ベアメタル• 160コア 1TiBメモリ¥1,400 / GPU時間• 最新のNVIDIA GPUを搭載(¥11,200/ノード時間)• 80GBメモリ/GPU• 8GPU - NVLINK• ネットワーク 50Gbps x 2• ホスト• 1コア、1GB単位で組合せ• 2TiBメモリ• 仮想マシン:Flexible VMs• Xeon S-R 112コア• NVMe SSD 61.44TB搭載• ホスト間RDMA• 3.2Tbps、低遅延

9Copyright © 2023, Oracle and/or its affiliates |NVIDIA Grace Hopper GH200 on OCI
Instance Name

BM.GPU.GH200

CPU

1x Grace CPU 72c Armv9

GPU

1x NVIDIA H100 96-GB
HBM3Cache coherent memory

480-GB LPDDRX5Memory bandwidth

512 GB/s

CPU-GPU connectivity

NVLINK C2C (900 GB/s)

Storage

2.88-TB NVMe local disk

Networking

1x 100 Gbps

※ リリース時期未定
10Copyright © 2023, Oracle and/or its affiliates |SC23 Oracleブースに展示されたNVIDIA の GH200、HDX H100、L40S

Oracle Internal Use Only

AMD Instinct MI300X on OCI• AMD CONA 3• HBM3 192GB• メモリバンド幅 5.2TB/s• Infinity Fabric バンド幅 896GB/s• トランジスタ数 153B

12

Copyright © 2023, Oracle and/or its affiliates |OCI Supercluster• Super-Spine/Spain/Leafトポロジによるフルバイセクションバンド幅を備える
低遅延の大規模RDMA(RoCEv2)
ネットワーク• 最大 16,384ノードのCPUベアメタル
もしくは最大16,384基のH100 GPU

13

Copyright © 2021, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/11/2023

3種のOCI Supercluster/Cluster Network輻輳制御プロファイル

各サービスに適したプロファイルをオラクル提供イメージに適用
クラスタベアメタルノードにLinux コマンドでユーザが変更可能
ML Workloads• 高スループット要求• GPUイメージに適用• MPIワークロードに対してジッターとRTTに比較的寛容

Oracle Database RACWorkloads• Exadataサービスに適用• 帯域-遅延に対する要求は
MPI WorkloadsとMLWorkloadsの中間

ECNマーク確率

HPC MPI Workloads• 低遅延要求• CPU/RDMA イメージに適用• 科学技術計算• 高頻度取引

ポートキューECN(Explicit Congestion Notification)
14Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/11/2023

AI InfrastructureとしてOCIを選択いただいている企業様（一例）

Source: oracle.com
15

Copyright © 2023, Oracle and/or its affiliatesマイクロソフト、Bingの対話型検索にOracle Cloud Infrastructureを活用

16

Copyright © 2023, Oracle and/or its affiliates[Date]

NVIDIA、DGX Cloudの基盤に、Oracle
Cloud Infrastructureを採用

17

Copyright © 2023, Oracle and/or its affiliates[Date]

MosaicMLによるOCIとAWSとのGPU(A100)パフォーマンス比較「我々は、OCIがベストな基盤であることを発見した。
精度80%付近でOCIをAWSを比較した
場合、OCIはAWSの半分の時間、半分のコスト。
これは非常に大きい。
$200と$100の場合は気にすることはな
いかもしれないが、これが$200,000と$100,000だと気にする必要がある。」

他社クラウドhttps://youtu.be/IAZPpUVjNJ018

Copyright © 2020, Oracle and/or its affiliates

精度80%での時間差

19

他社クラウドCopyright © , Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

精度80%でのコスト差

12/11/2023

AI Services

API経由で利用、アプリケーションにすぐ組み込み可能
Hello...
Digital Assistant
チャットボットなど、対話を通じた問い合わせ応答や、タスクの実行

Document
Understanding

Language

センチメント分析やキー・フレーズ抽出など、高度なテキスト分析を実行

テキストおよび表の抽出

Speech音声の転送、字幕の作成、メタデータの生成

異常検出

ビジネス・データの望ましくないイベ
ントまたは観測をリアルタイムで識別Visionイメージ内のオブジェクトの検出および分類

Forecasting

今日のトレンドから明日何が起こるか予測
20

Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/11/2023

セキュアで高性能な、企業向け生成AIサービスを提供• お客様がデータを所有して制御。お客様のデータが完全に分離された、セキュアな生成AIを提供します。データの出所や系統へのアクセスも可能になる予定で、安心してビジネスでお使いいただけます。
• また、お客様のデータを使用したベクターデータ基盤を用いて専用の生成AIを作成することも可能です。
≠ファインチューニング(追加学習)• パブリック・クラウドだけでは無く、オンプレミスのデータセンターでも使用できます。よりセキュアにデータを活用でき、オンプレミスのアプリケーションで高性能な生成AIを活用できます。
21

Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted「オラクルとCohere社は、データ・セキュリティ、モデルのカ
スタマイズ、企業のビジネス価値創造を実現することに共通の重点を置いています。両社は共に、データの安全性とプライバシーを確保しながら、世界中の企業がAIへの取り組みを加速させ、価値を高め、ビジネスの成功を最大化する新しいレベルの自動化を実現できるよう支援します。」
Martin Kon, President & COO, Cohere

Oracle Applications
生成AI
Vector DB (顧客データの完全な分離)
OCI Supercluster
AI Infrastructure | NVIDIA GPU

Cohere:
高性能でカスタマイズが容易な生成AI•

Cohereは、生成AIのベンチマークで、非常に高いスコアを達成。
(not included: GPT-4 from OpenAI)•22

Copyright © 2023, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted

12/11/2023

Cohere Commandモデル
は、非常に高い性能ながら、コンパクト(52Bパラメータ vsGPT-3 175Bパラメータ)。
そのため、カスタマイズが容易。

Oracle Cloud Lift Services

主なサービス内容

サービス概要• お客様のクラウド移行をご支援する無償サービス• 現行システムのクラウドへの移行検討で妨げとなる課題に直面しているお客様をご支援• OCI … Oracle Cloud Infrastructure• ExaDB-D … Oracle Exadata Database Service• OCVS … Oracle Cloud VMware Solution

クラウド移行に向けた “ケーススタディ支援”

クラウドへの移行事例を共有し、新たな観点でのクラウドメリットを可視化

クラウド移行に向けた “フィジビリティスタディ支援”

現行システムの評価を検証し、クラウド移行の課題とロードマップを可視化

お客様のベネフィット
1. クラウド移行に精通したオラクルの専任エンジニアが、移行のご支援をいたします
2. OCIのノウハウがないお客様でも、環境を迅速に構築し、ご利用頂くことができます
3. お客様がクラウド環境の準備に伴う初期費用や時間を抑えることができます
4. 併せてお客様プロジェクトメンバーに対して、クラウド環
境の利用・運用するための知識を持てるよう、スキルトランスファーのご支援をさせていただきます

クラウド移行に向けた “実機検証 (PoC) の支援”

PoCを通じて、クラウド移行の問題やリスクに対するソリューションを検証

プロジェクト初期フェーズの “早期立ち上げ支援”

クラウドサービスを利用して、検証・開発環境の導入、立ち上げをご支援

主なワークロード
Oracle Database
On Cloud
Oracle DBを
OCI の PaaSに移行する

VMwareon
CloudHigh Performance
Computingapplications on
Cloud

VMware環境を
OCI の OCVS に移行する

HPC アプリケーションをOCI の HPC環境に移行する※その他ワークロードに関しましては、担当営業にご相談ください
23

Copyright © 2023, Oracle and/or its affiliates |【お問い合わせ先】

日本オラクル株式会社
クラウド事業統括 公共営業本部
松山 慎 ( まつやま まこと )E-Mail: Makoto.Matsuyama@oracle.com
電話: 080-1289-8315
お気軽にご連絡ください!

24

Copyright © 2023, Oracle and/or its affiliates |