「富岳」のクラウド利⽤に関する取り組み
理化学研究所 計算科学研究センター
⼭本 啓⼆
2022.6.24 PCクラスタワークショップin 神⼾2022「クラウドとHPC」

スーパーコンピュータ「富岳」
l

総ノード数: 158,976ノード
lll

コア数: 7,630,848

倍精度理論性能: 488 PFLOPSl

CPU: Fujitsu A64FX 2.0GHzl

MEM: 32GB

l

ストレージ
l

第一階層: 1.6TB NVMe SSD / 16ノードl

第二階層: 150 PB 共有ファイルシステムl第三階層: クラウドストレージ

システムソフトウェアl

OS: Red Hat Enterprise Linux 8l

コンテナ: Singularity

2021年3月から共用開始• 共用前から、クラウド的利用に関するソフトウェア開発や環境整備を継続して実施中

「富岳」の⽬標
l

高い性能ahKhl

利用の拡大

20ahKhlll

従来型の数値計算だけでなく、AI、IoT、ビッグデータ解析、ストリーミング処理などに拡大利用者層ll• * <#4(DfXHS• [bQILQ\_Lf;>@):利用分野

アカデミアだけでなく産業利用の拡大

利用者数l     

JhZM
\eWDPh>?1%5UhN;4>?3-;
GMO_hFcEfRQT;JhZM$,^RfL`dahKh
A&/96@='(A!7:5"=+.g'(   " %$#%%

ポテンシャルユーザへの拡大

ポテンシャルユーザに対し、サービスプロバイダーの仲介を経て「富岳」の計算資源を提供する

「富岳」のクラウド的利⽤プロジェクトl

サービスプロバイダーを通して「富岳」の計算資源をエンドユーザに提供する⽅法を幅広く試⾏

l2020〜21年にかけ共同研究プロジェクト 計9プロジェクト（11事業者）を実施

l100名以上がサービス開発・実証に参加

l

4つの新規サービスを実証

FY2019FCP

FY2021

FY2022

製造・設置・調整

富岳
富岳クラウドプラットフォーム

FY2020
共⽤前の利⽤

正式な共⽤
本格運⽤に向けた検討

PJ公募

インターフェイス開発・サービス構築
サービスの実証9つの共同研究プロジェクト https://www.r-ccs.riken.jp/fugaku/fcp/
lllllllll

Altair Engineering, Inc.
l「ヴォージュプロジェクト: Altair PBS WorksとRadiossを使⽤した富岳でのクラウド利⽤の共同研究」
HPCシステムズ株式会社l「⼤規模化学計算を富岳で⾼速かつ簡便に実⾏可能なサイエンスクラウドの実証」
株式会社HPCソリューションズ（株式会社アルゴグラフィックス）l「ジョブスケジューラによる富岳へのクラウドバースティング」
株式会社エクサl「富岳利⽤環境整備 〜みんなの富岳〜」
エクストリーム-D株式会社
l「XTREME-Stargate（TM）とスーパーコンピューター富岳の接続実証実験」
公益財団法⼈計算科学振興財団（株式会社ヴァイナス）l「富岳クラウド的利⽤に向けたFOCUS/VINAS産業利⽤アプリケーション実証」
Nimbix, Inc.
l
「Democratizing HPC on Fugaku with JARVICE XE and Kubernetes」
富⼠通株式会社l「富岳ISV利⽤環境の整備・実証」
Rescale, Inc.
l
「Rescale ScaleX on Supercomputer Fugaku」
5

サービスの分類
ll

試⾏的実施では多様なサービスを対象に実現性を検討“クラウド的”なサービスは⼤きく分けて３タイプ（複数のタイプに跨ることも）ll

各タイプにおいてサービス開発を実施
ユーザーサポートタイプとアプリケーションサービス
タイプの⼀部で実際にサービスが提供可能にコンサル型サービス

⼀般利⽤者

クラウド的利⽤サービス利⽤者

ユーザーサポート•••

ユーザー⽀援（申請サポート・利⽤サポート）
代理店機能
課⾦と利⽤料徴収

Web
APISSH

ユーザーサポート

SaaS型サービス

アプリケーションサービス••

アプリケーションの提供
アプリケーション利⽤に関するサポート

プラットフォームサービス••

ジョブスケジューラやクラスタツー
ル等のユーザーアクセスプラット
フォームの提供
課⾦と利⽤料徴収

アプリケーション
プラットフォーム

SSH

「富岳」の環境整備
l

サービスプロバイダーのサービス開発に必要な機能を整備
l

RESTful APIを⽤いたジョブ操作インターフェイスl「富岳」認証基盤
l

OpenID Connect/SAMLに対応した認証基盤(IdP)を構築

l

開発されたサービスに富岳アカウントでSingle Sign Onが可能

l「富岳」のストレージへのS3プロトコルによるアクセス

l

仮想環境
l

コンテナ技術(Singularity)による仮想化

l

広帯域/セキュアネットワーク

lドキュメント整備
l

HPCチェックリストl

SLA/SLOl

セキュリティホワイトペーパー
7

RESTful APIを⽤いたジョブ操作インターフェイス
l HPC向けに定義されたREST APIのNEWT 2.0の⼀部を「富岳」で実装
l

ジョブ操作(投入/削除/一覧/状態)がAPIで可能lll

認証は「富岳」認証基盤と連携するファイル操作はS3 APIとする

https://api.fugaku.r-ccs.riken.jp/foo_function

他のシステムと「富岳」を連携させることが容易になる

l 今後

ジョブ開始・終了などのステータス変更をWebHookとして実装
予定

https://github.com/NERSC/newt-2.0

8

「富岳」のストレージへのS3プロトコルによるアクセスl 「富岳」のファイルシステムにS3プロトコルでアクセス可能とするファイル操作APIとして広く普及しており、開発ライブラリも豊富
l S3の適切な権限設定により、安全にファイルの読み書きが可能
l PoC検証済み、今年度内のサービス化を⽬指す
l実装
1.
2.
3.
4.
5.

S3のリクエストをパースしユーザを特定該当ユーザの権限でS3サーバ(minioを利⽤, https://min.io/)を起動起動したS3サーバにリクエストを転送
S3サーバからレスポンス(⼀定時間の後)S3サーバを停⽌
requestUser ArequestUser BS3 gateway

Spawn & forward

Spawn & forward

User A’s minio

User B’s minio

9広帯域/セキュアネットワーク
l 「富岳」ダイレクト接続サービス「富岳」の計算ノードと相互に直接通信可能なネットワークサービスを提供
l 「富岳」とその他の計算資源、ストレージ、サービスなどとの連携が可能
l

拠点間接続
パブリッククラウド
近隣施設/⼤学/研究機関

VPN接続

富岳と利⽤者間とでVPN接続を⾏うことで、利⽤者が計算ノード、拠点間、仮想サーバ、持ち込みサーバに直接アクセスできるサービス

仮想サーバ

VM

ハウジング
持ち込みサーバ

富岳とパブリッククラウドや利⽤者機
関間を、SINETや光ファイバーを⽤いて直結できるサービス

富岳に近接した低レイテンシ・広帯域のネットワークにR-CCSの⽤意する仮想サーバを設置できるサービス

仮想サーバでは対応できない特殊な計算機をR-CCSに持ち込み、富岳に近接した低レイテンシ・広帯域のネットワークに接続できるサービス

「富岳」とのダイレクト接続
l パブリッククラウドとの連携
l「富岳」とパブリッククラウドのデータセンターを直結
lll

SINETクラウド接続サービスを利⽤「富岳」からクラウドへのデータ退避
クラウドのインスタンスやマネージドサービスと「富岳」の連携が可能

l 他機関との連携
l他機関のスパコンとの直結を試⾏中

11

まとめ
l 「富岳」の利⽤拡⼤に向けて、サービスプロバイダーの仲介を経た計算資源の提供を試⾏
l サービスを実現するために必要な基盤を整備
l 4つの新規サービスを実証
ll

アプリケーションサービス
ユーザサポートサービス

l 今後の課題

サービスの展開 (SaaS)l 先端的技術の活⽤を含む富岳の⾼度化に向けた継続的な技術開発
ll

リアルタイム処理, CaaS, FaaS

アカデミア・産業界を問わず試験的な利用から本格的な研究開発まで広く「富岳」を活用できるような利用環境を整備
12

13