HPCオープンソースソフトウェア
普及部会ワークショップ

多様化するアクセラレータ
東北大学サイバーサイエンスセンター

滝沢 寛之

本日の司会進行役

アクセラレータの重要性• HPC分野におけるアクセラレータの普及• TOP500リスト(Nov. 2021)の上位10システムのうち８システムでアクセラレータを使用• TOP500リスト全体で30％のシステムで採用システム数では約30％2022/1/20

システム性能では約42％
PCCC HPC OSS普及部会ワークショップ

https://www.top500.org

2主に採用されているアクセラレータ• アクセラレータを使っている149システムのうち143システム
でNVIDIA社のGPUを利用 ( 96%)https://www.top500.org
2022/1/20

PCCC HPC OSS普及部会ワークショップ

3

アクセラレータ多様化の兆し

https://www.hpcwire.com/2021/03/11/rice-oil-and-gas-keynote-offers-exascale-lessons-and-thoughts-on-technology-uptake/
2022/1/20

PCCC HPC OSS普及部会ワークショップ

4GPU以外の演算アクセラレータの例
GraphCore Colossus MK2 GC200 IPU

https://www.graphcore.ai/2022/1/20

NEC SX-Aurora TSUBASA Vector Engine Type 20A

https://jpn.nec.com/hpc/sxauroratsubasa/features/index.html
PCCC HPC OSS普及部会ワークショップ

5

2028年のメニーコア型システムの予測性能（WP1.0.0より）• 最も積極的な予測でも最大1.8 EFLOPS (富岳の性能の3.37倍)システムの電力制約の仮定
CPUの電力バジェット
158,9768.3x106537ー
163ー
4.850.33

参考）富岳の諸元(EB)Slides courtesy of Masaaki Kondo (2021)

2028年のGPU混載型システムの予測性能（WP1.0.0より）• 最も積極的な予測で最大18.0 EFLOPS (富岳の性能の33.5倍)
保守的な予測の場合（NVIDIA GPUの性能トレンドから外挿）積極的な予測の場合（CPUとの性能比のトレンドから外挿）

Slides courtesy of Masaaki Kondo (2021)

計算以外にも活躍の場
nVIDIA BlueField-2

Intel Mount Evans

Dongarra@RSD2020
2022/1/20

PCCC HPC OSS普及部会ワークショップ

8

アプリ開発における関心事• どのアプリケーション分野や用途で使うべきか？効果は？
• アクセラレータがプログラマからどのように見えるか？
• 投資した労力が無駄にならないか？などなど研究者にとっては 活躍のチャンス！
2022/1/20

PCCC HPC OSS普及部会ワークショップ

9東北大学での取り組み

PCCC HPC OSS普及部会ワークショップ

10

SYCL Implementations in Development (2021/04/27)
SYCL, OpenCL and SPIR-V, as open industry
standards, enable flexible integration anddeployment of multiple acceleration technologies

DPC++

Uses LLVM/ClangPart of oneAPI

Any CPUNVIDIAGPUs

Source CodetriSYCL

ComputeCpp

SX-AURORATSUBASA

CUDA andHIP/ROCm

Any CPUNVIDIA GPUs

neoSYCL

hipSYCL

Open source
test bed

Multiple
Backends

Any CPU

SYCL enables Khronos toinfluence ISO C++ to (eventually)
support heterogeneous compute

TBB

Any CPUNVIDIA GPUs
VEO

Any CPU

Level ZeroIntel CPUs
Intel GPUsIntel FPGAsIntel GPUsIntel CPUs
Intel GPUsIntel FPGAs
AMD GPUs(depends on driver stack)

Arm Mali
IMG PowerVR
Renesas R-Car

Level Zero
XILINX FPGAs
POCL(open-source OpenCL
supporting CPUs and NVIDIAGPUs and more)

This work is licensed under a Creative Commons Attribution 4.0 International License

AMD GPUsIntel CPUs
NEC VEs

Intel GPUs

Multiple Backends in Development
There is development on supporting SYCL oneven more low-level frameworks.
For more information: http://sycl.tech© The Khronos® Group Inc. 2021 - Page 11https://www.pccluster.org/ja/event/2022/01/220120-hpcoss-ws.html

本日の予定
13:00-13:20 開会挨拶・趣旨説明

13:20-13:45 佐々木 邦暢（エヌビディア合同会社）「GPUとDPUによるアクセラレーテッド コンピューティング」
13:45-14:10 Greg, Oakes (AMD)「AMD Instinct GPU and ROCm technical overview」
14:10-14:35 中野 守（Graphcore Japan KK）「AI革新プロセッサIPU」

14:45-15:10 大内山 浩、髙藤良史（インテル株式会社）「インテルXPU戦略」

15:10-15:35 政岡 靖久（日本電気株式会社）「ハイブリッドアクセラレータ SX-Aurora TSUBASA」

15:35-16:00 鯨岡 俊則（SambaNova）「SambaNova Systemsのご紹介」

16:10-17:30 パネルディスカッション「HPCを加速するアクセラレータの挑戦と将来展望」
2022/1/20

PCCC HPC OSS普及部会ワークショップ

12

パネルディスカッション「HPCを加速するアクセラレータの挑戦と将来展望」
コーディネーター 滝沢寛之 (東北大学)

趣旨説明• 今後、ワークロードの多様化に伴いHPCの分野においても様々なアクセラレータの利用が期待されている。現状で広く使われているアクセラレータに対して、各社はどのような戦略でビジネスを展開していこうとしているのか。アクセラレータを利用した変革に挑む各社が、現在のアクセラレータとの差別化や将来展望を討議する。

パネリスト• 井﨑 武士（エヌビディア合同会社）• 大内山 浩（インテル株式会社）• 鯨岡 俊則（SambaNova）• 中野 守 （Graphcore Japan KK）• 政岡 靖久（日本電気株式会社）• 吉田 佳司（日本AMD株式会社）

議題
1.

2.

3.

4.

技術面およびビジネス面での今後の戦略• 現在、HPCシステムに求められる役割が多様化しており、従来の科学技術計算だけではなく、AI・機械学習のワークロード実行はもちろんのこと、クラウドやデータセンターとしての役割も期待されるようになっています。多様なワークロードを限られた電力でより効率的に実行するために、多様なアクセラレータの活用が今後ますます広がっていくと思われます。そのようなHPC分野の広がりに対してどのように貢献しようとしているのか、アクセラレータに関する技術的およびビジネス的な今後の展開の戦略を教えてください。

アクセラレータ向けプログラミングの理想形• アクセラレータの存在をプログラマに意識させるべきでしょうか？ つまり、明示的にオフロードすべきか、将来的にはプログラマから見えなくなっていくべきでしょうか？ 見える場合には、プログラマは何をどの程度まで指示すべきでしょうか？ プログラマへの見せ方という観点から、アクセラレータのあるべき姿を教えてください。

アクセラレータという存在の長期的な将来像• GPUコンピューティングが登場して間もないころは、アクセラレータはいずれCPUの機能として統合されていく存在であり、暫定的な存在だという意見も多かったと記憶しています。物理的に独立したアクセラレータではなくて、ほんとうはCPUに統合されていくほうが使いやすい面も多々あるかと思います。「アクセラレータ」という存在そのものについて、やや長期的な視点で御社の考える将来像を教えてください。

最後にひとこと• HPC分野のオープンソースソフトウェア開発者に向けて、他にもアピールするポイントがあれば教えてください。