JHPCNから「計算・デー
タ・学習」融合を目指す
学際大規模情報基盤共同利
用・共同研究拠点公募説明会
＠東大
東京大学情報基盤センター
スーパーコンピューティング研究部門
http://www.cc.u-tokyo.ac.jp/
問合先：uketsuke@cc.u-tokyo.ac.jp

2

本日の趣旨
• 東京大学情報基盤センターのスーパーコンピュータ群• 学際大規模情報基盤共同利用共同研究拠点（JHPCN）公募課題• 質疑• 現在運用中のシステム– Wisteria/BDEC-01（2021年5月運用開始）

3

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

HARP-1E

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM Power76.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PFAMD Opteron

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤
SPACR64 IXfx
ReedbushU/H/L (SGI-HPE)
センターのスパコン 疑似ベクトル
3.36 PF
加速装置付

NVIDIA H100
OFP-II
75+ PFIntel Xeon Phi

1.13 PF

汎用CPU

2026-2030

Intel CLX
OBCX(Fujitsu)

SR8000

利用者2,600+名
55％は学外2021-2025

Intel BDW +NVIDIA P100

BDEC02

Fujitsu
33.1 PF

150+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

データ活⽤社会創成プラットフォーム• データ利活⽤・セキュリティを重視した
クラウド型の高性能仮想化環境• 9大学2研究所が共同運営し、全国共同利⽤
ネットワークI2つのネットワーク 外部接続ネットワーク
SINET6と400G x2で接続
内部高速ネットワーク RDMA
ストレージ

mdxポータル
モバイル
SINET

プロジェクトごとに分離された仮想環境

外部接続ルータ(400Gbps)

ユーザA

Ethernet Network (100GbE/25GbE)

認証連携

ユーザB

学術認証
フェデレーション＋独自認証基盤

VM
VM

x368

VM

GPU 演算加速ノード
Intel IceLake x2ソケット+NVIDIA A100 x8 x40ノード
理論ピーク性能(FP64): 6.4PFLOPS
理論ピーク性能(FP16): 100.7PFLOPS
総メモリバンド幅: 496.3 TB/s
高速 NVMe ストレージ
Lustre Filesystem
1.0 PB (NVMe SSD)
252 GByte/sec

VM

x40

VM

汎用CPUノード
Intel IceLake x2ソケット x368ノード
理論ピーク性能(FP64): 2.1PFLOPS
総メモリバンド幅: 150.7 TB/s

RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信用)

⼤容量HDDストレージ
Lustre Filesystem
16.3 PB (HDD)
157.5 GByte/sec

1.0
PB

外部共有オブジェクトストレージ
S3 Data Service
10.3 PB (HDD)
63.0 GByte/sec

16.3PB

10.3
PB

5

スパコン利用諸制度（○：代表者，△：参加者）
制度名

種別

大学等

企業

学生

一般

○

△

○

トライアル

○

△

○

お試し利用

○

○

○

JHPCN

○

○

△

書類

✓

✓

✓

○

△

△

書類

✓

✓

✓

書類

✓

✓

✓
✓

通常利用

一般・若手
HPCI

若手女性

○

○

インターン

審査

無料

報告書

A

B

C

✓

✓

✓

✓
✓

○

産業
一般

個人

✓

○

✓

書類

✓

✓

○

✓

書類

✓

✓

AI for HPC

○

○

△

書類

✓

✓

HPCチャレンジ

○

○

○

書類

✓

✓

講習会

△

△

△

教育利用

○

○

○

書類

一般

△

○

△

＋面接

トライアル

△

○

△

＋面接

✓

✓

✓

✓

年度内

随時

✓

✓

1ヶ月限定

随時
年1回（1月）
年1回（10-11月）✓

年2回（8・2月）✓

年1回（夏季）✓随時，年４回審査
年数回

✓
✓
✓

1ヶ月有効UID

年20回程度

企業研修等可随時✓

年2回（8・2月）

企業利用
一部

募集
随時

✓
✓

備考

D

✓

✓

3ヶ月無料
年度内

随時，年４回審査（A：トークン移行， B:ノード固定，C：Odyssey⇔Aquarius移行可能，D：1システム1回限り応募可能）6• JHPCNの概要• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

7

学際大規模情報基盤共同利用共同研究拠点（JHPCN）
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/• 大規模スーパーコンピュータを有する8国立大学センターから構成されるネットワーク型拠点– 北海道，東北，東大（中核拠点），東工大，名古屋，京都，大阪，九州• 文部科学省「共同利用・共同研究拠点」として認可され，2010年4月から活動開始（6年に一回見直し（＋3年））– 東大：地震研，大気海洋研，物性研など• 学際的な共同研究課題の推進– 計算科学＋計算機科学– 各センタースパコン及び関連設備の利用（無料）• 2016年度以降は一般課題に加えて，国際，産業，萌芽の3カテゴリー– 萌芽は各センター独立：本学「若手・女性」，「AI-for-HPC」は「萌芽」の一つ• 2022年度から第3フェーズ– 枠組みが変化（計算科学，データ利活用）（+ mdx）

8

JHPCNの目的• グランドチャレンジ的な問題について，学際的な共同利用・共同研究を実施することにより，我が国の学術・研究基盤の更なる高度化と恒常的な発展に資する– 超大規模計算機，超大容量ストレージ，超大容量ネットワークなどの情報基盤– 地球環境，エネルギー，物質材料，ゲノム情報，Webデータ，学術情報，センサー
ネットワークからの時系列データ，映像データ，プログラム解析、その他• JHPCNには，上記の各分
野における多数の先導的研究者が在籍し，これらの研究者との共同研究によって，研究テーマの一層の発展が期待できる。

共同研究分野（2021年度まで）• 超大規模数値計算系応用分野– 地球環境，エネルギー，物質材料等の科学・工学分野における科学技術シミュレーション，関連するモデリング，数値解析アルゴリズム，可視化手法，情報基盤等• 超大規模データ処理系応用分野– ゲノム情報，Webデータ，学術情報コンテンツ，センサーネットワークからの時系列
データ，映像を始めとするストリームデータなどに対する高度なメディア情報処理，プ
ログラム解析，アクセスや検索，情報抽出，統計的・意味的分析、データマイニング• 超大容量ネットワーク技術分野– 超大規模データ共有のためのネットワーク品質の確保や制御，超大規模ネットワー
ク自体の構築と運用に必要な監視や管理，そのようなネットワークの安全性の評価と維持確保、およびこれら諸技術の研究開発の支援のための技術等• 上記研究分野を統合した超大規模情報システム関連研究分野– ペタスケール／エクサスケールコンピュータのアーキテクチャ，高性能計算基盤ソフ
トウェア，グリッド，仮想化技術，クラウドコンピューティング等

9共同研究分野（2022年度から）• 分野1：大規模計算科学分野：2021年度までのJHPCN– 本日は（主として）これについて説明する– 超大規模数値計算系応用分野– 超大規模データ処理系応用分野– 超大容量ネットワーク技術分野– 超大規模情報システム関連研究分野• 分野2：データ科学・データ利活用分野：2022年度からの新分野– mdxを中心に利用するような分野• 分野1にも「大規模データ処理系応用分野」があるが，分野2は人文・社会系も含むより広い範囲が対象，分野1の「データ処理系」は科学技術計算に関わるデータ処理，データ解析，その手法の開発，が中心

10

11

共同研究のポイント：全部を満たす，ということではない• 学際的研究体制– 情報科学分野（計算機科学・データ科学）と応用分野による，学際共同研究の推進– 審査においては学際的な研究体制の構築がなされていることを重視• ソフトウェアおよびデータ活用推進– 単なる公開だけでなく，成果の幅広い利活用を目指す取り組みを高く評価• IT 基盤技術開発– アーキテクチャー，システムソフトウェア，セキュリティ等，IT 技術の基盤的研究につながる課題を高く評価：各構成研究拠点の研究者との共同研究• 拠点連携– 複数構成拠点の資源を活用，複数拠点の研究者との連携体制– 広域分散型の大規模情報システム，アプリケーションのマルチプラットフォーム実装• 大規模データ・大容量ネットワーク利用• 計算機資源の利用のみではなく，研究開発的要素が大きい課題を採択

12

共同研究の分類• 一般共同研究課題（採択課題数全体の8 割程度）
• 国際共同研究課題（採択課題数全体の1 割程度）
– 国際共同研究課題は，国内の研究者のみでは解決や解明が困難である問題について，国外の研究者と学際的な共同研究を実施する– 国外の共同研究者との打ち合わせ等の出張旅費を助成する制度がある• 1名・2週間程度の滞在可能• 企業共同研究課題（採択課題数全体の1 割程度）
– 産業応用を重視した学際的な共同研究• 各課題とも，大学・研究機関，民間企業からの参加が可能• （分野1，分野2），（HPCI（スパコン利用），非HPCI）という組み合わせがあるが，ここでは（分野1・HPCI）に限定

応募資格• 課題代表者– 日本国内の機関（大学・研究機関，民間企業等）に所属する者• 学生参加– 2024年度から学部生も参加可能，課題代表者，副代表者にはなれない• 非居住者の参加（国際共同研究課題含む）– 利用する計算機を運用している構成拠点に所属している研究者が共同研究者として参加する必要がある⇒東大のスパコンを使う場合は必ず東大センターのメンバーを含む（ご相談ください）（規定★）• 国際共同研究課題– 副代表者として日本国外機関所属研究者を1名以上含む必要がある– 英文申込書による応募を必須，規定★を満たす• 企業共同研究課題– 課題代表者は必ず民間企業に所属する研究者– 副代表者の1名以上は規定★を満たす

13

スパコンの「利用資格」（1/3） ：「通常利用」• 東京大学情報基盤センタースーパーコンピュータシステム利用規程14

参考– https://www.cc.u-tokyo.ac.jp/guide/files/riyoukitei.pdf• 原則，国内の教育機関（高専，大学，大学院）の教職員・学生，公的研究機関の研究者を対象：専ら研究開発に従事する人々（企業の一部の人々も含む）• 企業の技術者，研究者，国外の研究者（非居住者）等については一部制限がある場合があるが，一定の条件を満たせば使用可能– 利用制度によって異なる（ここでは「通常利用」を中心に簡単に説明）– 特に非居住者の利用については外国為替及び外国貿易法で厳密に規定されているが，本センターの非居住者利用ルールは比較的フレキシブル⇒本学安全保障輸出管理支援室，経済産業省と密接に協力して制定• 企業勤務者（科研費等の交付を受けて専ら研究開発に従事する人々を除く）– 「企業利用」：申請ベース，利用者資格審査委員会の審査（後述）– HPCI，JHPCN等の研究グループ所属者は利用可能– 「通常利用」グループのメンバーと共同研究，役務契約の実体があれば当該グループのメンバーとなることは可能（別途書類提出必要あり），グループ代表にはなれないスパコンの「利用資格」（2/3）：「通常利用」

15

参考• 非居住者・外国籍利用者– 非居住者（海外の機関に所属（日本国籍の場合も含む）する研究者，来日6ヶ月未満の留学生）には利用制限（マニュアル閲覧制限等）あり• 非居住者は利用グループ（一般利用，JHPCN，企業利用等）の代表者にはなれない• ホワイト国と非ホワイト国で区別あり• 来日6ヶ月未満の留学生：安全保障関連手続き等がクリアされれば講義等でのアクセスは可能– 国内機関に雇用されている場合は，外国籍でも居住者扱い（制限無し）– 留学生も来日6ヶ月経過していれば原則居住者扱い（制限無し）• 安全保障関連手続きは必要– HPCI，JHPCN等の研究グループ所属者は非居住者も利用可能（一部制限あり）– 「通常利用」グループのメンバーと共同研究，役務契約の実体があれば当該グループのメンバーとなることは可能（別途書類提出必要あり，一部制限あり）– 機関同士（できれば部局同士）の共同研究協約・MOUが結ばれていればOK• 企業勤務者，非居住者は通常利用グループの代表者にはなれないが，一定の条件を満たせば通常利用グループのメンバーになることは可能16

スパコンの「利用資格」（3/3）

参考• ご不明な点はご遠慮なくお問い合わせください– uketsuke(at)cc.u-tokyo.ac.jp• 特に「通常利用」については，原則として，手続きさえ踏めば，「利用できない」ということはまずありません。
• 「JHPCN」の場合は更にゆるい– 非居住者– 企業の方– 提案して採択されれば，共同研究の実態がある，と本学では判断している（利用規程）• 第3条（8）項• 追加の書類，審査等は不要

みなし輸出管理（2022年5月より）

17https://www.cc.u-tokyo.ac.jp/guide/application/non-resident.php• 外国為替及び外国貿易法の関連法令（以下「外為法等」）が改正され，2022年
5月1日からみなし輸出管理の対象が拡大– 外為法等が対象とする貨物の輸出及び技術の提供– 国境を超えた貨物輸出，技術提供の他，国内であっても，居住者から非居住者への技術の提供が「輸出とみなさ」れ，外為法による輸出管理の対象となる（みなし輸出管理）• 改正外為法等では，「居住者⇒居住者」の技術提供についても，技術提供を受ける居住者が外為法等に規定される外国政府・外国法人等から強い影響を受けている状態に該当（以下「類型該当」）する場合，みなし輸出管理の対象– 改正外為法等を遵守し，みなし輸出管理を徹底するために，個々のスーパーコンピュータ利用者に類型に該当するか否かについて大学に対して自己申告することを求める– 当センターのスーパーコンピュータをご利用の全利用者の方が自己申告を行う必要があることから，UID発行のたびに自己申告フォームより回答（5分程度）をお願いしている

その他• 共同研究期間– 2024年4月1日～2025年3月31日• 利用負担金：無料• 課題審査：書類審査
• 資源量
– 後述

• 応募方法（分野1・HPCI）– https://jhpcn-kyoten.itc.u-tokyo.ac.jp/ja/cfp– 様式記入，Web経由で登録，所属機関長（部局長）の連絡先を登録– 利用分野（数値計算，データ処理，ネットワーク，情報システム）指定• 分類にのみ使用する

18

19

留意事項
• 採択研究課題の目的にのみ研究資源等を利用すること。
• 平和利用目的の提案であること。
• 人権および利益保護への配慮を行うこと。
• 文部科学省「生命倫理・安全に対する取組」に適合すること。
• 厚生労働省「研究に関する指針について」に適合すること。
• 経済産業省「安全保障貿易管理について」に適合すること。
• 実質的に同一の研究課題と思われる課題（ほぼ同等の研究体制・研究
テーマの課題や，研究対象のみが異なる課題など）は採択しません。

20• 募集要項公開・募集開始– 2023年11月末– https://jhpcn-kyoten.itc.u-tokyo.ac.jp/

スケジュール• 応募– 申込み締切：2024年1月9日（火）10:00（厳守）– 2024年3月中旬までに結果通知• 研究実施– 開始：2024年4月1日– 第16回JHPCN シンポジウム（研究内容紹介・ポスター）：2024年7月上旬～中旬– 中間報告書：2024年10月中旬– 共同研究期間終了：2025 年3月31日– 最終報告：2025 年5月中旬– 第17回JHPCN シンポジウム（研究成果報告）：2024年7月上旬• 中間報告書（2ページ程度），最終報告書提出は必須• シンポジウム発表必須（2020・2021：完全オンライン，2022～：ハイブリッド）

21• JHPCNの概要• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

22

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

HARP-1E

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM Power76.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PFAMD Opteron

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤
SPACR64 IXfx
ReedbushU/H/L (SGI-HPE)
センターのスパコン 疑似ベクトル
3.36 PF
加速装置付

NVIDIA H100
OFP-II
75+ PFIntel Xeon Phi

1.13 PF

汎用CPU

2026-2030

Intel CLX
OBCX(Fujitsu)

SR8000

利用者2,600+名
55％は学外2021-2025

Intel BDW +NVIDIA P100

BDEC02

Fujitsu
33.1 PF

150+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

23

柏キャンパス
Ipomoea
OFP-II（2025年11月）

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI/ABCI-II

TX「柏の葉キャンパス」駅

24Society 5.0：日本が提唱する未来社会のコンセプト
デジタル革新・イノベーション（IoT，AI，ビッグデータ等）により，サイバー空間（仮想）とフィジカル空間（現実）を高度に融合させたシステムを構築し，経済発展と社会的課題の解決を両立する，超スマートな人間中心の社会25

2022年度分野別 ■汎用CPU，■GPU
データ科学・

バイオインフォマ
生物科学・ティクス
生体力学

エネルギー・
物理学

材料科学

工学・
ものつくり

地球科学・
宇宙科学

OBCX
CascadeLake

Engineering
Earth/Space
Material
工学・
ものつくり
Energy/Physics
Info. Sci. : System
Info. Sci. : Algorithms
地球科学・
Info. Sci. : AI
エネルギー・
宇宙科学
物理学
Education
Industry
材
Bio
料
Bioinformatics科
学
Social Sci. & Economics
Data

工学・
データ同化
Engineering
バイオインフォものつくり
Earth/Space
マティクス
Material
地球科学・
Energy/Physics
エネルギー・
工学・
宇宙科学
Info.
Sci. : System
物理学
情報科学：
ものつくり
AIInfo. Sci. : Algorithms
Info. Sci. : AI
材料科学
Education
地球科学・
アルゴリズム宇宙科学
Industry
Bio
材料科学
Bioinformatics
Social Sci. & Economics
Data

Odyssey
A64FX

Aquarius
A100

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

26

スーパーコンピューティングの今後• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習• （シミュレーション（計算）＋データ＋学習）
融合⇒Society 5.0実現に有効– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning = S+D+L• BDEC（Big Data & Extreme Computing）– 「計算・データ・学習」融合プラットフォーム– 「S」に力点：AI for HPC，AI for Science

BDEC (Big Data &Extreme Computing)

SDL
+

+

27

（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」• AI for HPC，AI for Science– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

28

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速29

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速30Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

システム構成図
シミュレーションノード︓7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード︓45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)

シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)︓96TFLOPS
総メモリ容量︓7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク
総理論演算性能(倍精度) : 25.9PFLOPS(TofuインターコネクトD)
バイセクションバンド幅︓13TB/s
総メモリ容量︓240TiB
総メモリバンド幅 : 7.8PB/s

・外部ネットワーク
・柏キャンパス・mdxシステム

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)︓7.2PFLOPS
総メモリ容量︓36.5TiB,総メモリバンド幅︓578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利用容量︓14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
高速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム︓FEFS
1PB
ストレージデータ転送速度︓1.0TB/s
MDS︓PRIMERGY RX2530 M5 x 2
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

管理サーバ群

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群ネットワークストレージ

OSS,OST x16セット
FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運用管理x2、
認証x2、Webポータルx2、セキュリティログx2)

ファイルシステム︓FEFS
25PB
ストレージデータ転送速度︓0.5TB/s
MDS︓PRIMERGY RX2530 M5 x 4
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

31

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利用容量︓420TB

Copyright 2020 FUJITSU LIMITED

項目

Wisteria-O (Odyssey)

Wisteria-A (Aquarius)

25.9 PFLOPS

7.2 PFLOPS

7,680

45

240.0 TiB

36.5 TiB

ネットワークトポロジー

6 次元メッシュ / トーラス

Full-bisection Fat Tree

インターコネクト

TofuインターコネクトD

InfiniBand HDR(200Gbps) x 4

総理論演算性能
総ノード数
総主記憶容量共有ファイルシステム

高速ファイル
システム

32

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA7990XE

サーバ(OSS)数16

ストレージ容量

25.8 PB

ストレージデータ転送速度

504 GB/s

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA400NVXE

サーバ(OSS)数16

ストレージ容量

1.0 PB

ストレージデータ転送速度

1.0 TB/s

項目

Wisteria-O (Odyssey)
FUJITSU Supercomputer
PRIMEHPC FX1000

FUJITSU Server PRIMERGY GX2570
M6

A64FX

Intel Xeon Platinum 8360Y（開発コード名：Ice Lake）

プロセッサ数 (コア数)

1 (48+アシスタントコア2 or 4)

2 (36+36)

周波数
理論演算性能
メモリ容量
メモリ帯域幅プロセッサ名
SM数（単体）
メモリ容量（単体）
メモリ帯域幅（単体）
理論演算性能（単体）
搭載数

2.2 GHz
3.3792 TFLOPS
32 GB
1,024 GB/s

2.4 GHz5.53 TFLOPS
512 GiB
409.6 GB/s
NVIDIA A100
108
40 GB
1,555 GB/s
19.5 TFLOPS
8PCI Express Gen4 x 16レーン(1レーンあたり片方向32 GB/s)

マシン名
プロセッサ名CPUGPUCPU-GPU間接続
GPU間接続33

Wisteria-A (Aquarius)-

NVLink x 12本(1本あたり片方向25GB/s)

34

ソフトウェア群
項目

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

OS

Red Hat Enterprise Linux 8 (aarch64)

Red Hat Enterprise Linux 8 (x86_64)

コンパイラ

GNU コンパイラ

GNU コンパイラ

メッセージ通信ライブラリ

富士通社製 コンパイラ(Fortran77/90/95/2003/2008、C、
C++)

Intel コンパイラ(Fortran77/90/95/2003/2008、
C、C++)NVIDIA HPC SDK(Fortran77/90/95/2003/2008、C、C++、
OpenACC 2.7)
NVIDIA CUDA SDK(CUDA C、CUDA C++)

富士通社製MPIIntel MPI、Open MPI

35

項目

ライブラリ

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PTScotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Miniconda、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、
mpiJava
富士通社製ライブラリ(BLAS、CBLAS、
LAPACK、 ScaLAPACK)

アプリケーション

Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK）、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL

OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、
REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、
LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、Chainer、
PyTorch、Keras、Horovod、MXNet
Theanoフリーソフトウェア

autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、
gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git など
Globus Toolkit、Gfarm、FUSE

コンテナ仮想化

Singularity Community Edition

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

36

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

37

シミュレーションのためのモデル・パラ
メータのデータ解析，AI/機械学習による最適化（S+D+L）

38

2022年度分野別 ■汎用CPU，■GPU
データ科学・

バイオインフォマ
生物科学・ティクス
生体力学

エネルギー・
物理学

材料科学

工学・
ものつくり

地球科学・
宇宙科学

OBCX
CascadeLake

Engineering
Earth/Space
Material
工学・
ものつくり
Energy/Physics
Info. Sci. : System
Info. Sci. : Algorithms
地球科学・
Info. Sci. : AI
エネルギー・
宇宙科学
物理学
Education
Industry
材
Bio
料
Bioinformatics科
学
Social Sci. & Economics
Data

工学・
データ同化
Engineering
バイオインフォものつくり
Earth/Space
マティクス
Material
地球科学・
Energy/Physics
エネルギー・
工学・
宇宙科学
Info.
Sci. : System
物理学
情報科学：
ものつくり
AIInfo. Sci. : Algorithms
Info. Sci. : AI
材料科学
Education
地球科学・
アルゴリズム宇宙科学
Industry
Bio
材料科学
Bioinformatics
Social Sci. & Economics
Data

Odyssey
A64FX

Aquarius
A100

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

39

2023年度分野別（4月～9月末）■汎用CPU，■GPU
バイオ
インフォマ
生物科学・ティクス
生体力学

エネルギー・
物理学

工学・
ものつくり

地球科学・
宇宙科学
材料科学

OBCX
CascadeLake
2023年9月末退役

Engineering
Earth/Space
Material 工学・ものつくり
Energy/Physics
Info. Sci. : System
エネルギー・
Info. Sci. : Algorithms
物理学
Info. Sci. : AI 地球科学・
宇宙科学
Education
Industry材
Bio料
科
Bioinformatics
学 & Economics
Social Sci.
Data

Engineering
地球科学・
データ科学・
宇宙科学
データ同化
Earth/Space
工学・
Material
バイオインフォ
ものつくり
マティクス
Energy/Physics
Info. Sci. : System
生物科学・Info. Sci. : Algorithms
生体力学Info. Sci. : AI
材料科学
Education
AI
Industry
Bio
LLM
Bioinformatics
Social Sci. & Economics
Data

Odyssey
A64FX

Aquarius
A100

工学・ものつくりEngineering
地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

40

各種ベンチマーク（1/2）• TOP 500（Linpack，HPL）– 連立一次方程式ソルバー（直接法），計算速度（FLOPS値）– 規則的な密行列：連続メモリアクセス– 計算性能• HPCG– 連立一次方程式ソルバー（反復法），計算速度（FLOPS値）– 有限要素法から得られる疎行列（ゼロが多い）• 不連続メモリアクセス• 実アプリケーションに近い– メモリアクセス性能，通信性能• Green 500– HPL（TOP500）実行時のFLOPS/W値

41

各種ベンチマーク（2/2）• Graph 500 BFS– グラフ処理におけるデータ処理効率– BFS（Breadth-First-Search，幅優先探索）• HPL-MxP （HPL-AI）– AI・機械学習向けHPL（for TOP500）– 科学技術計算（HPL）⇒倍精度演算（FP64）– HPL-MxP⇒低精度演算を含む混合精度演算

42SC23における諸ランキング（2023年11月）
Odyssey

Aquarius

TOP 500

25⇒33

136⇒168

Green 500

55

35

HPCG

14

73

Graph 500 BFS

6

-

14
(June
2023 ?)-

HPL-MxP(HPL-AI)

62nd TOP500 List (Nov., 2023)
Site

Rmax: Performance of Linpack (TFLOPS) http://www.top500.org/
Rpeak: Peak Performance (TFLOPS), Power: kW

Computer/Year Vendor

Cores

Rmax
Rpeak
(PFLOPS) (PFLOPS)

43

Power
(kW)

Frontier, 2022, USA
1 DOE/SC/Oak Ridge National Laboratory

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C 2GHz,
AMD Instinct MI250X, Slingshot-11

8,699,904

1,194.00(=1.194 EF)

1,679.82

22,703

Aurora, 2023, USA
2 DOE/SC/Argonne National Laboratory

HPE Cray EX - Intel Exascale Compute Blade, Xeon CPU Max
9470 52C 2.4GHz, Intel Data Center GPU Max, Slingshot-11, Intel

4,742,808

585.34

1,059.33

24,687

Eagle, 2023, USA
3 Microsoft

Microsoft NDv5, Xeon Platinum 8480C 48C 2GHz, NVIDIA H100,
NVIDIA Infiniband NDR

1,123,200

561.20846.84

Fugaku, 2020, Japan
4 R-CCS, RIKEN

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz, Tofu-D

7,630,848

442.01537.21

29,899

LUMI, 2022, Finland
5 EuroHPC/CSC

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C 2GHz,
AMD Instinct MI250X, Slingshot-11

2,752,703

379.70531.51

7,107

Leonard, 2022, Italy
6 EuroHPC/Cineca

BullSequana XH2000, Xeon Platinum 8358 32C 2.6GHz, NVIDIA
A100 SXM4 64GB, Quad-rail NVIDIA HDR100

1,824,768

238.70304.46

7,404

Summit, 2018, USA
7 DOE/SC/Oak Ridge National Laboratory

IBM Power System AC922, IBM POWER9 22C 3.07GHz, NVIDIA
Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148.60200.7910,096

MareNostrum 5 ACC, 2023, Spain
8 EuroHPC/BSC

BullSequana XH3000, Xeon Platinum 8460Y+ 40C 2.3GHz,
NVIDIA H100 64GB, Infiniband NDR200, EVIDEN

680,960

138.20265.572,560

Eos NVIDIA DGX SuperPOD
9 NVIDIA Corporation

NVIDIA DGX H100, Xeon Platinum 8480C 56C 3.8GHz, NVIDIA
H100, Infiniband NDR400, Nvidia

485,888

121.40188.65Sierra, 2018, USA
10 DOE/NNSA/LLNLIBM Power System S922LC, IBM POWER9 22C 3.1GHz, NVIDIA
Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94.64

125.71

7,438

ABCI 2.0, 2021, Japan
32 AIST

PRIMERGY GX2570 M6, Xeon Platinum 8360Y 36C 2.4GHz,
NVIDIA A100 SXM4 40 GB, InfiniBand HDR

504,000

22.21

54.34

1,600

PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu interconnect D

368,640

22.12

25.95

1,468

Wisteria/BDEC-01 (Odyssey), 2021,

33 Japan ITC, University of Tokyo44

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）（2023年度から値上げ）
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

15.069Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

24.058System45

技術的な特徴など• Odyssey– SVE (Scalable Vector Extension)• Armv8-A命令セットアーキテクチャをスーパーコンピュータ向けに拡張– FP16– 機械学習・AIワークロードへの適用• Aquarius– HPC・計算科学への適用– CPU：Intel Xeon Ice Lake
• 3rd Generation Intel Xeon Scalable Processors• 推論，単独での利用は難しいが– GPU：NVIDIA A100 Tensor Core
• Tensor Core + Tensor Float [TF32]• Odyssey-Aquarius– InfiniBand-EDR

46

更に詳細な情報• A64FX（富士通）– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/a64fx/– https://old.hotchips.org/hc30/2conf/2.13_Fujitsu_HC30.Fujitsu.Yoshida.rev1.2.pdf• FUJITSU PRIMEHPC FX1000– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/• 3rd Gen Intel Xeon Scalable– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-intel-xeon-scalablevideo.html#gs.zb3u0m– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-xeon-scalableprocessors.html#gs.zb4d00– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_Server_Processors_Intel_Irm
a_ICX-CPU-final3.pdf• NVIDIA A100 TENSORコア GPU– https://www.nvidia.com/ja-jp/data-center/a100/– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_GPU_NVIDIA_Choquette_v01.pdf

47

参考リンク（ビデオ）• Wisteria/BDEC-01利用説明会– https://www.youtube.com/watch?v=1bbZVO6-UQg• h3-Open-BDEC：プロジェクトHP（工事中）– https://h3-open-bdec.cc.u-tokyo.ac.jp/• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（日本語）– https://www.youtube.com/watch?v=CsJ_9aGNXCg– https://www.pccluster.org/ja/event/pccc20/exhibition/itc-u-tokyo.html• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（英語）– https://www.youtube.com/watch?v=jX51NF2LniE

48• JHPCNの概要• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

49

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

50

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

51• 2022年1月運用開始・6月より一般に公開，25+PB，富士通製– 2022 年5月末までにOFPのLustre 領域の必要ファイルの移行完了• 割当容量– 東大センターのシステムに利用者番号（教育利用，講習会除く）を有する場合• 各利用者ごとに5TB• 各グループごとに登録システムで付与されている容量の15％を無償で付与– 追加負担金（企業はこの2割増し）• 7,200円/TB/年，2,100,000円/PB/年– Ipomoea-01のみの利用申込みも可能

Ipomoea-01

52• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法② 階層型データ駆動アプローチ
等に基づく革新的機械学習手法③ ヘテロジニアス環境（e.g.
Wisteria/BDEC-01）におけるソフトウェア，ユーティリティ群

Big Data &ExtremeComputing53

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

54

2022/4/27

AI for HPC，
AI for Scienceの実現へ向けて• Odyssey-Aquarius連携– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている• ソフトウェア開発– 高機能カプラー：h3-Open-UTIL/MP– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）

55

56

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕〔住元他，HPC-181，2021〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能 Odyssey～Aquarius間連携
 IB-EDR経由通信（WaitIO-Socket）
 ファイル経由（WaitIO-File）

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供

57

API of h3-Open-SYS/WaitIO-Socket
PB (Parallel Block): Each Application
WaitIO API

Description

waitio_isend

Non-Blocking Send

waitio_irecv

Non-Blocking Receive

waitio_wait

Termination of waitio_isend/irecv

waitio_init

Initialization of WaitIO

waitio_get_nprocs

Process # for each PB (Parallel Block)waitio_create_group
Creating communication groups
waitio_create_group_wranks among PB’s
waitio_group_rank

Rank ID in the Group

waitio_group_size

Size of Each Group

waitio_pb_size

Size of the Entire PB

waitio_pb_rank

Rank ID of the Entire PB[Sumimoto et al. 2021]

58

連成シミュレーションのためのカプラー〔荒川，八代〕• 従来のカプラー（Coupler）：ppOpen-MATH/MP– 複数（通常2つ：大気（NICAM）＋海洋（COCO））のアプリケーションの弱連成（Weak Coupling）をサポート– 各アプリケーションは1種類の計算をやる「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕

59

60

h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO-Socket
ARM: A64FX

IceLake+A100

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket連携
2022年6月から利用可能
2022年度はFS経由のWaitIO-File整備：名大Aquarius

Odyssey

IB-EDR

2021年4月：MPI通信可能な環境を前提

2022年6月：Coupler＋WaitIO
61解説記事：h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket• h3-Open-UTIL/MP– https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/13_202205-Wisteria-2.pdf– http://nkl.cc.u-tokyo.ac.jp/files/202207UtilMPfinal.pdf• h3-Open-SYS/WaitIO-Socket– https://www.cc.u-tokyo.ac.jp/public/VOL24/No2/10_202203Wisteria-1.pdf– https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/12_202205-Wisteria-1.pdf

62

63

リアルタイムデータ同化＋
3D強震動シミュレーション融合
JDXnetによるリアルタイム観測データ活用

JDXnetJDXnet[c/o Prof. T.Furumura(ERI/U.Tokyo)]

64

長周期地震動シミュレーション＋観測データ同化
Output&Movie

JDXnetObserved Data

Data/Learning
Nodes: Aquarius

External Server
for Observed
Data

Visualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s
Obs. Data

FilterFiltered
Results

WaitIO-Socket

Comp.
Results

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG ModelCommunications by WaitIO-Socket
Aquarius: SEND

[Kasai et al. 2021]

Odyssey: RECV

program dmy_filter<省略: 型宣言等>
call mpi_init (ierr)call mpi_comm_size (MPI_COMM_WORLD, nprocs, ierr)call mpi_comm_rank (MPI_COMM_WORLD, myrank, ierr)call WAITIO_CREATE_UNIVERSE (WAITIO_COMM_UNIVERSE, ierr)
if (myrank==0) thenopen(100,file='./obsfile_list.txt’, form=‘formatted’, status=‘old’, iostat=ierr)
do i=1,300<省略: obsデータ読み込み処理>
print *,"Send obs data ...... "call WAITIO_MPI_ISEND (NTMAX1_o, 1,
WAITIO_MPI_INTEGER, 2,1, WAITIO_COMM_UNIVERSE,req(1,1), ierr)call WAITIO_MPI_ISEND (DT_o,1,
WAITIO_MPI_FLOAT,
2,2, WAITIO_COMM_UNIVERSE,req(1,2), ierr)call WAITIO_MPI_ISEND (NST_o,1,
WAITIO_MPI_INTEGER, 2,3, WAITIO_COMM_UNIVERSE,req(1,3), ierr)call WAITIO_MPI_ISEND (AT_o,1,
WAITIO_MPI_FLOAT,
2,4, WAITIO_COMM_UNIVERSE,req(1,4), ierr)call WAITIO_MPI_ISEND (T0_o,
1,
WAITIO_MPI_FLOAT,
2,5, WAITIO_COMM_UNIVERSE,req(1,5), ierr)call WAITIO_MPI_ISEND (ISO_X_o, NSMAX,WAITIO_MPI_INTEGER, 2,6, WAITIO_COMM_UNIVERSE,req(1,6), ierr)call WAITIO_MPI_ISEND (ISO_Y_o, NSMAX,WAITIO_MPI_INTEGER, 2,7, WAITIO_COMM_UNIVERSE,req(1,7), ierr)call WAITIO_MPI_ISEND (ISO_Z_o, NSMAX,WAITIO_MPI_INTEGER, 2,8, WAITIO_COMM_UNIVERSE,req(1,8), ierr)call WAITIO_MPI_ISEND (ISTX_o,NST,WAITIO_MPI_INTEGER, 2,9, WAITIO_COMM_UNIVERSE,req(1,9), ierr)call WAITIO_MPI_ISEND (ISTY_o,NST,WAITIO_MPI_INTEGER, 2,10,WAITIO_COMM_UNIVERSE,req(1,10),ierr)call WAITIO_MPI_ISEND (ISTZ_o,NST,WAITIO_MPI_INTEGER, 2,11,WAITIO_COMM_UNIVERSE,req(1,11),ierr)call WAITIO_MPI_ISEND (STC_o,
6*NST,WAITIO_MPI_CHAR,
2,12,WAITIO_COMM_UNIVERSE,req(1,12),ierr)call WAITIO_MPI_ISEND (VxAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,13,WAITIO_COMM_UNIVERSE,req(1,13),ierr)call WAITIO_MPI_ISEND (VyAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,14,WAITIO_COMM_UNIVERSE,req(1,14),ierr)call WAITIO_MPI_ISEND (VzAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,15,WAITIO_COMM_UNIVERSE,req(1,15),ierr)call WAITIO_MPI_WAITALL (15,req, status, ierr)call sleep(1)enddoclose (100)endifcall WAITIO_FINALIZE (ierr)call mpi_finalize (ierr)end

65

Results at Kotoh ▲ (N.KOTH)

Data Assimilation + Pure Simulation/Forecast N 35°37.0’
E 139°46.9’

482 K-NET, KiK-net Observation

Assimilation by 70s forecast(A+S)⇒(Pure S)@30s(A+S) (Pure S)

Epicenter

50s

70s

Input
P

S

Point at Kotoh(Tokyo)
▲

90s

110s

Obs

70s for Assimilation
66

Atmosphere-ML Coupling[Yashiro (NIES), Arakawa (ClimTech/U.Tokyo)] Motivation of this experiment Tow types of Atmospheric models: Cloud resolving VS Cloudparameterizing
 Could resolving model is difficult to use for climate simulation
 Parameterized model has many assumptions
 Replacing low-resolution cloud processes calculation with ML!

Odyssey

Aquarius

ML App(Python)Input

h3-Open-UTIL/MP
Replacing
Coupling without
Physical process Coupling with
Grid Remapping
Grid Remapping
Output(Coupler)
this part+
Low Resolution Atmospheric Model with AI
High Resolution Atmospheric Model(Convection-Parameterization Mode)(Convection-Resolving Mode)h3-Open-SYS/WaitIOSocket Coupling Phase 2
Coupling Phase 1
75%
25%
~0%
Replacing Physical Process
Training with high-resolution
NICAM data

in Low-Resolution NICAM
with Machine Learning

Diagram of applying ML to an atmospheric model

Experimental Design

Simulation Node
Odyssey Atmospheric model on Odyssey
 NICAM : global non-hydrostatic model with an icosahedral grid Resolution : horizontal : 10240, vertical : 78

Data/Learning Node
Aquarius

 ML on Aquarius
 Framework : PyTorch
 Method : Three-Layer MLP
 Resolution : horizontal : 10240, vertical : 78

Atmospheric Model(Convection-Scheme ON)
ML App(Python) Experimental design Phase1: PyTorch is trained to reproduce output variables from
input variables of cloud physics subroutine.
 Phase2:Reproduce the output variables from Input variables
and training results

Input
Cloud physics
subroutine
Output Training data

Output Input : total air density (rho), internal energy (ein), density ofwater vapor (rho_q) Output : tendencies of input variables computed within thecloud physics subroutine Δ ℎ
Δ
Δ ℎ _

Δ

Δ

Δ
Phase1: Training phase

Phase2: Test phaseTest calculation
 Compute output variables from input variables and PyTorch The rough distribution of all variables is well reproduced
 The reproduction of extreme values is no good

Total air density

Internal energy

Density ofwater vapor

Input

Simulation Output
Simulations

Prediction
by ML/NN
ML output

70

Examples of Scripts [Sumimoto, Arakawa]Odyssey for Simulation

Aquarius for AI#!/bin/bash#PJM -N "test_waitio"#PJM -L rscgrp=coupler-lec-o#PJM -L node=10:noncont#PJM --mpi proc=80#PJM -L elapse=00:10:00#PJM -g gt00
#PJM -j#PJM -e err#!/bin/bash#PJM -N "test_waitio"#PJM -L rscgrp=coupler-lec-a#PJM -L node=1#PJM --mpi proc=10#PJM -L elapse=00:10:00#PJM -g gt00
#PJM -j#PJM -e err

module load fj
module load fjmpi
module load waitio

module unload aquarius
module unload gcc ompi
module load intel
module load impi
module load waitio

export WAITIO_MASTER_HOST=`hostname`export WAITIO_MASTER_PORT=7100
export WAITIO_PBID=0
export WAITIO_NPB=2
hostname
waitio-serv-a64fx -d -m $WAITIO_MASTER_HOST#mpiexec -oferr-proc errnicam -np 160 ./nicam
mpiexec -np 80 ./nicam

export WAITIO_MASTER_HOST=`waitio-serv -c`
export WAITIO_MASTER_PORT=7100
export WAITIO_PBID=1
export WAITIO_NPB=2
module unload intel
module unload impi
module load gcc ompi
mpiexec -n 10 ./ada

71

h3-Open-SYS/WaiIO-Socket• Wisteria/BDEC-01– Aquarius (GPU: NVIDIA A100)– Odyssey (CPU: A64FX)• Combining Odyssey-Aquarius– Single MPI Job over O-A is
impossible• Connection between OdysseyAquarius– IB-EDR with 2TB/sec.
– Fast File System– h3-Open-SYS/WaitIO-Socket• Library for Inter-Process
Communication through IBEDR with MPI-like interface

WaitIO-Socket

72h3-Open-SYS/WaiIO-File• Wisteria/BDEC-01– Aquarius (GPU: NVIDIA A100)– Odyssey (CPU: A64FX)• Combining Odyssey-Aquarius– Single MPI Job over O-A is
impossible• Connection between OdysseyAquarius– IB-EDR with 2TB/sec.
– Fast File System– h3-Open-SYS/WaitIO-File• Library for Inter-Process
Communication through FFS
with MPI-like interface

WaitIO-File73

Preliminary Evaluation: WaitIO-Socket, -File• Odyssey-Aquarius,
Flow (Nagoya University)• Test Cases– Model A: 160 proc’s/40 nodes:
A64FX (Odyssey, Flow I)– Model B: 20 proc’s/1 node: Intel
Xeon (Aquarius, Flow II)

Case Grid #Total Size
C081,920 26,214,400
C1
163,840 52,428,800
C2
327,680 104,857,600
C3
655,360 209,715,200
C41,310,720 419,430,400
45• Waitio_isend/irecv/wait– “Socket” is better for small
cases, “File” is better for large
ones– “Flow” with WaitIO-Files is 2x
slower than Odyssey-Aquarius• Reasonable Number35

Time(sec)• Results

Socket

40
30
25
20
15
10
5
0
C0

Small

File

C1

C2

C3

Socket

File

FLOW

C4

Large

74

• JHPCNの概要• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

75

2020年度東大利用課題（OB外：OBCX外部接続） （1/2）
計算科学，計算機科学・システム，データ・学習，融合
課題番号

課題名・代表者（所属）

RB

OFP

OB

jh200002-NAH

電磁流体力学乱流の高精度・高並列LESシミュレーションコード開発研究三浦英昭（核融合科学研究所）

jh200005-NAH

大規模並列計算による格子の最短ベクトル探索の効率化に関する研究
柏原賢二（東京大学）○

jh200008-NAH

Developing Accuracy Assured High Performance Numerical Libraries for Eigenproblems
片桐孝洋（名古屋大学）○

jh200016-NAH

データサイエンスに基づく高分子材料の構造物性相関
天本義史（九州大学）○

jh200020-MDH

機械学習に基づくマクロ経済変動の数理モデリング齊木吉隆（一橋大学）○

jh200022-DAH

社会の分析とシミュレーションのための合成人口データ提供システム
村田忠彦（関西大学）

jh200023-NAHI

Hierarchical low-rank approximation methods on distributed memory and GPUs
横田理央（東京工業大学）○

jh200027-ISH

超巨大ニューラルネットワークのための分散深層学習フレームワークの開発とスケーラビリティの評価
田仲正弘（情報通信研究機構）○

jh200029-NAH

時空間領域境界積分方程式法の高速解法の開発と巨大地震シミュレーションへの応用
安藤亮輔（東京大学）○

jh200036-MDHI

High resolution simulation of cardiac electrophysiology on realistic whole-heart geometries
中島研吾（東京大学）○○

jh200037-NAH

高性能・変動精度・高信頼性数値解析手法とその応用
中島研吾（東京大学）

○

○

OB外

FENNEL

○

○

○

○

○

2020年度東大利用課題（OB外：OBCX外部接続） （2/2）

76

計算科学，計算機科学・システム，データ・学習，融合
課題番号

課題名・代表者（所属）

RB

OFP

OB

jh200038-MDH

HPCと高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験 村田健史（情報通信研究機構）

jh200041-NAH

Innovative Multigrid Methods II
藤井昭宏（工学院大学）

jh200042-DAH

Deep Learningを用いた医用画像診断支援に関する研究佐藤一誠（東京大学）

jh200043-MDHI

Development of Fast Surrogate for Approximating Large-scale 3D Blood Flow Simulation
下川辺隆史（東京大学）

jh200045-NAH

エクサスケール時代の数値計算手法に対する性能予測技術
深谷猛（北海道大学）

jh200046-DAH

分散機械学習技術を用いた大規模医用画像処理の実現に向けた研究大島聡史（名古屋大学）

jh200047-NWH

ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究
長﨑正朗（京都大学）○

jh200051-NAHI

Scalable Multigrid Poisson solver for AMR-based CFD applications in Nuclear Engineering
小野寺直幸（日本原子力研究開発機構）○

jh200062-NAH

ゲリラ豪雨予測のリアルタイム実証実験
三好建正（理化学研究所）○

jh200064-NAH

機械学習を用いた風環境予測精度の向上と防災技術への応用
高木洋平（横浜国立大学）○

jh210003-NWJ

財務ビッグデータの可視化と統計モデリング
地道 正行（関西学院大学）

OB外

FENNEL

○
○

○

○

○

○

○

○

○

○

○

○
○

○
○

77

2021年度東大利用課題（OB外：OBCX外部接続）（1/2）
計算科学，計算機科学・システム，データ・学習，融合
課題番号

課題名・代表者（所属）

RB

OFP

OB OB外W-O W-A○

jh210002-NAHI

Developing Accuracy Assured High Performance Numerical Libraries for Eigenproblems
片桐孝洋（名古屋大学）○

jh210003-NAH

GPU・CPU・ARMプロセッサに対する原子力CFDアプリケーション用の混合精度ポアソン解法
小野寺直幸（日本原子力研究開発機構）○

jh210004-NAH

電磁流体力学乱流の高精度・高並列LESシミュレーションコード開発研究三浦英昭（核融合科学研究所）

jh210009-MDH

HPCと高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステ
ム実証試験 村田健史（情報通信研究機構）

h210011-DAH

Deep Learningを用いた医用画像診断支援に関する研究佐藤一誠（東京大学）

jh210015-NAH

高性能かつ高信頼な数値計算手法とその応用
荻田武史（東京女子大学）

jh210017-MDH

Development of physics informed machine learning for soft matter: polymer flows and beyond
John Molina（京大）○

jh210018-NWH

ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究
長﨑正朗（京都大学）○

jh210021-MDHI

High resolution simulation of cardiac electrophysiology on realistic whole-heart geometries
中島研吾（東京大学）○○

jh210022-MDH

三次元強震動シミュレーションとリアルタイムデータ同化の融合
中島研吾（東京大学）○○

jh210023-NAH

時空間領域境界積分方程式法の高速解法の開発と巨大地震シミュレーションへの応用
安藤亮輔（東京大学）

○

○

○

○
○

○

○
○

○

○

○
○

○
○
○

○

○

2021年度東大利用課題（OB外：OBCX外部接続）（2/2）

78

計算科学，計算機科学・システム，データ・学習，融合
課題番号

課題名・代表者（所属）

RB

OFP

jh210024-NAHI

Hierarchical low-rank approximation methods on distributed memory and GPUs
横田理央（東京工業大学）

jh210026-NAH

Innovative Multigrid Methods II
藤井昭宏（工学院大学）○

jh210027-NAH

機械学習モデルのリアプノフ指数ならびにリアプノフベクトルの解析齊木吉隆（一橋大学）○

jh210030-DAH

大規模分散医用画像処理に向けた医用画像処理アプリケーションの最適化
大島聡史（名古屋大学）

jh210034-NAH

高レイノルズ数乱流のデータ科学プラットフォームの構築石原卓（岡山大学）

jh210035-NAH

GPUの高速並列計算で実現する交差禁止制御可能な高分子シミュレータの開発
萩田克美（防衛大学校）

jh210040-MDH

合成人口プロジェクト：従業地・通学地属性の確率的割当てと深層学習による空中写真からの住宅
判別 村田忠彦（関西大学）（HPCI共有ストレージ使用）

jh210044-NAH

エクサスケール時代の数値計算手法に対する性能予測技術
深谷猛（北海道大学）

jh210046-NAH

グラフ構造で一般化された動的負荷分散フレームワークの構築と重合メッシュ法への適用
森田直樹（筑波大学）

jh210049-MDH

Developing data driven analysis methods for extreme scale numerical simulations
朝比祐一（日本原子力研究開発機構）

jh210051-MDH

Development of Fast Surrogate for Approximating Large-scale 3D Blood Flow Simulation
下川辺隆史（東京大学）

jh211011-NWJ

財務ビッグデータの可視化と統計モデリング
地道 正行（関西学院大学）（FENNEL使用）

OB OB外W-O W-A
○

○

○

○

○
○
○

○

○

○

○
○
○

○

○

79

2022年度東大利用課題（OB外：OBCX外部接続）（1/3）
計算科学，計算機科学・システム，データ・学習，融合
課題番号jh220005

課題名

代表者（所属）OBOB外電磁流体力学乱流の高精度・高並列LESシミュレーションコード
三浦英昭（核融合研究所）
開発研究

jh220007 偏った訓練データに基づく力学系の機械学習モデリング齊木吉隆（一橋大学）
jh220009 Hierarchical low-rank approximation methods on distributed
横田理央（東工大）
国際共同 memory and GPUs
大規模分散医用画像処理アプリケーションの実用化に向けた研jh220011
大島聡史（名古屋大）
究
ノードを跨ぐ多数GPU環境下でのマルチフィジックス粒子法の高jh220012
浅井光輝（九州大）
速化
時空間領域境界積分方程式法の高速解法の開発と巨大地震シ
jh220013
安藤亮輔（東大）
ミュレーションへの応用
ハイブリッドクラウドを用いたゲノム情報に基づく構造多型パネル
jh220014
長﨑正朗（京大）の構築とアノテーション
MPMとFEMによる未解明な大規模土砂災害の数値シミュレー
jh220019
寺田賢二郎（東北大）
ション
極端気象現象予測における不確実性の起源の解明
jh220020
澤田洋平（東大）（AI-for-HPC発展課題）
jh220022 高性能かつ高信頼な数値計算手法とその応用

荻田武史（東京女子大）

W-O

W-A

○
○
○
○
○
○
○

○
○

○

○

○

○

○

80

2022年度東大利用課題（OB外：OBCX外部接続）（2/3）
計算科学，計算機科学・システム，データ・学習，融合
課題番号

課題名

代表者（所属）jh220029 三次元強震動シミュレーションとリアルタイムデータ同化の融合 中島研吾（東大）
jh220030
jh220031
jh220036
jh220038
ｊh220041
国際共同
jh220042

超高解像度の即時予測の実現に向けた都市街区内風況データ
小野寺直幸（原研）
ベースの構築Targeting exa-scale systems: performance portability and朝比祐一（原研）
scalable data analyses
大規模アプリケーションの高性能な実用的アクセラレータ対応手下川辺隆史（東大）
法
GPU並列計算による高分子材料系シミュレーションの高速化技
萩田克美（防大）法の検討
High resolution simulation of cardiac electrophysiology on
中島研吾（東大）
realistic whole-heart geometries
人と衣服と気流の連成相互作用シミュレーション・フレームワーク
青木尊之（東工大）の構築

jh220046 次世代演算加速装置とそのファイルIOに関する研究

OB外

W-O

W-A

○

○

○

○

○

○

○

○
○
○

○

○

○
○

塙敏博（東大）グラフ構造で一般化された静的負荷分散フレームワークの高度森田直樹（筑波大）
化とメッシュフリー法への適用
HPCと高速通信技術の融合による大規模データの拠点間転送
jh220048
村田健史（NICT）
技術開発と実データを用いたシステム実証試験
jh220047

OB

○
○
○

81

2022年度東大利用課題（OB外：OBCX外部接続）（3/3）
計算科学，計算機科学・システム，データ・学習，融合
課題番号
課題名
ｊh220049
Innovative Multigrid Methods II
国際共同代表者（所属）OB

藤井昭宏（工学院大）

○

OB外

W-O

W-A

○

jh220052 時空間発展するシミュレーションを予測する代理モデルの開発

下川辺隆史（東大）○

jh220054 ソフトマター流動の機械学習

John Molina（京大）○

jh220055

数値シミュレーションと機械学習との融合による水圏生態系予測
菊地淳（理研）（AI-for-HPC発展課題）

jh220057 統合機械学習分子動力学システムの構築
jh220058

奥村雅彦（JAEA）

次世代学術情報基盤に向けた基盤ソフトウェアの実践的な研究・
杉木章義（北大）
開発・評価

○

○

○

○

○
○

82

2023年度東大利用課題（OB外：OBCX外部接続）（1/4）
計算科学，計算機科学・システム，データ・学習，融合，全66課題のうち34課題
課題ID

課題名

代表者（所属）極端気象現象予測における不確実性の起源の解明
澤田洋平（東大）（AI-for-HPC発展課題）
電磁流体力学乱流の高精度・高並列LESシミュレーションコード開230004
三浦英昭（核融合研究所）
発研究片桐孝洋（名古屋大）
230005 ソフトウェア工学による自動チューニング技術の新展開

OB

230003230009 Hierarchical low-rank approximation methods on distributed
国際共同 memory and GPUs

横田理央（東工大）

230010 QR分解に関する高性能計算技術の研究

深谷猛（北大）リアルタイム土砂洪水氾濫予測を目指した1メートル格子の広域河青木尊之（東工大）
川シミュレーション
都市街区の風況デジタルツインの実現に向けたデータ同化手法お230014
小野寺直幸（原研）
よび観測システムの開発
水環境総合評価システムによる水環境評価のための標準化プラッ 松崎義孝
230015
トフォーム構築（港湾空港技術研究所）
ハイブリッドクラウドを用いたゲノム情報に基づく構造多型パネル
230016
長﨑正朗（九州大）の構築とアノテーション
ヘテロジニアス環境における「計算・データ・学習」融合による新し
230017
中島研吾（東大）
い計算科学

OB外

W-O

W-A

○

○

○

○

○

○
○

○

○

○
○

230013

○
○

○

○
○

○

○

83

2023年度東大利用課題（OB外：OBCX外部接続）（2/4）
計算科学，計算機科学・システム，データ・学習，融合，全66課題のうち34課題
課題ID

課題名

代表者（所属）230018 High resolution simulation of cardiac electrophysiology on
中島研吾（東大）
国際共同 realistic whole-heart geometries
数値シミュレーションと機械学習との融合による水圏生態系予測
230020菊地淳（理研）（AI-for-HPC発展課題）
バックグラウンドセル前処理付きマルチ解像度粒子法ソルバーの230021
浅井光輝（九州大）
開発
GPU並列計算による高分子材料系シミュレーションの高速化技法
230026
萩田克美（防大）の検討
230027 次世代演算加速装置とそのファイルIOに関する研究

OB
○

OB外

W-O

W-A

○

○

○
○
○

塙敏博（東大）不安定次元が揺らぐ流体ダイナミクスに関する機械学習モデルの
齊木吉隆（一橋大学）
構築
230033 Developing AI-assisted high performance fluid simulation
朝比祐一（原研）
国際共同 codes
230028○○○230037 大規模アプリケーションの高性能な実用的アクセラレータ対応手法 下川辺隆史（東大）○

230040 大規模拡散モデルを用いたテキスト生成

Li Zihui（東大）○

230043 時間発展する流体シミュレーションを予測する代理モデルの開発

下川辺隆史（東大）○

84

2023年度東大利用課題（OB外：OBCX外部接続）（3/4）
計算科学，計算機科学・システム，データ・学習，融合，全66課題のうち34課題
課題ID

課題名

230044 深層強化学習を用いた麻雀AIに関する研究代表者（所属）

OB

OB外

W-O

鶴岡慶雅（東大）○

機械学習ソフトウェアへのソフトウェア自動チューニング技術の適
田中輝雄（工学院大）
用(2)
現実的な原始惑星系円盤のガス散逸シナリオ構築に向けた多角
230046
高棹真介（阪大）
的アプローチ○

230045○230053 高性能かつ高信頼な数値計算手法とその応用

荻田武史（東京女子大）○230056 近代的メニーコアシステムにおける性能モデリング手法

星野哲也（名古屋大）○

230057

HPCと高速通信技術の融合による大規模データの拠点間転送技
村田健史（NICT）
術開発と実データを用いたシステム実証試験○○

河合直聡（名古屋大）○○

230060Innovative Multigrid Methods II
国際共同藤井昭宏（工学院大）○○

230061 Machine Learning for Soft-Matter FlowsJohn Molina（京大）

プロペラ駆動小型無人機の設計検討技法の確立を目指した空力・
金﨑雅博（都立大）推進・構造の実機丸ごと統合シミュレーション○○

230058 メニーコアCPU，GPUの最適なリソース割り当てに関する研究

230062

W-A

○
○

○

85

2023年度東大利用課題（OB外：OBCX外部接続）（4/4）
計算科学，計算機科学・システム，データ・学習，融合，全66課題のうち34課題
課題ID

課題名

代表者（所属）グラフニューラルネットワークと生成モデルを用いた非晶質系動力芝隼人（兵庫県立大）学予測システム開発（AI-for-HPC発展課題）
非調和フォノンデータベースの構築とデータ駆動型熱機能材料開230065
塩見淳一郎（東大）
発

230064230069 統合機械学習分子動力学システムの構築
230070

奥村雅彦（原研）

MPMとFEMによる未解明な大規模土砂災害の数値シミュレーショ
寺田賢二郎（東北大）
ン

OB

OB外

W-O

○

W-A
○

○

○

○

○
○

○

86

東大のスパコンを利用したプロジェクトの推移• 従来型の計算科学関連課題は一定数あるが，最近は「S+D+L」融合型
が急速に増加– h3-Open-BDECによる「計算・データ・学習」融合の推進

40
S+D+L
System30

Data/AI/ML
CSE

20• チュートリアルも実施• データ・学習・AI関連■のうちいくつかは，2022年以降mdxへ移行

10

0
2019

2020

2021

2022

2023

87

• JHPCNの概要• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み提案書（日本語・English）

88• 本文3頁以内– 研究目的– JHPCN公募型共同研究として実施する必要性，研究の意義，研究計画– これまでの研究成果（継続の場合）– 拠点連携課題，大規模データ・大容量ネットワークにおける具体的計画– 主な関連発表成果• 資源利用計画等（別ファイル）：本年度から変更• 執筆のポイント– 明確な目標，学際的な研究，学術的意義，JHPCN共同研究としての意義（次頁（再掲））– 新規課題は準備が十分整っている（と思わせる）ことが重要• これから並列化を始める，というのはやや難しいかも知れない：個別にご相談ください• 継続課題は前年度成果（特に中間報告書段階）をある程度重視– 審査は毎年実施されるが，複数年計画として「研究計画」を記述することは可能• 特に新規課題は，将来へ向けての全体像がより明確になる– 明確な資源利用計画（とは言え，なかなか事前に書くのは難しい）• ○ノード×○時間×○ケース

89

共同研究のポイント：全部を満たす，ということではない• 学際的研究体制– 情報科学分野（計算機科学・データ科学）と応用分野による，学際共同研究の推進– 審査においては学際的な研究体制の構築がなされていることを重視• ソフトウェアおよびデータ活用推進– 単なる公開だけでなく，成果の幅広い利活用を目指す取り組みを高く評価• IT 基盤技術開発– アーキテクチャー，システムソフトウェア，セキュリティ等，IT 技術の基盤的研究につながる課題を高く評価：各構成研究拠点の研究者との共同研究• 拠点連携– 複数構成拠点の資源を活用，複数拠点の研究者との連携体制– 広域分散型の大規模情報システム，アプリケーションのマルチプラットフォーム実装• 大規模データ・大容量ネットワーク利用• 計算機資源の利用のみではなく，研究開発的要素が大きい課題を採択

90

利用可能な資源• スパコン等：他大学（他拠点）の資源との併願も可能（推奨）– Wisteria/BDEC-01（Odyssey，Aquarius）• https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/• （要相談）Odyssey-Aquarius連携，外部接続（Aquarius），Wisteria-Messenger利用– Ipomoea-01• 規定に応じて各ユーザーに配分（予定）• 基本的に資源の追加はできない– 自前の予算で追加することは可能（審査有り）• 利用ノード数の上限があるが，1ヶ月に一回「大規模HPCチャレンジ（後述）」
で，より大規模な資源を利用可能（後述）– 提案書に利用計画として記述することは可能• Aquariusは「ノード固定」可能

91

ノード固定
https://www.cc.utokyo.ac.jp/supercomputer/reedbush/service/fixed_node.php• ライセンスサーバが必要な商用プログラムを利用したい• データに対するセキュリティを確保するために、専用ＨＤを使用したい• データ転送用に専用通信回線を敷きたい• 一般バッチジョブキューでは対応できないよ
うな長時間ジョブを実行したい• Aquariusは「ノード固定」可能：事前に必ずご相談ください計算ノード

専用ログイン
ノード
データ転送

処理結果
匿名化

データベース

ユーザー側システム

92

Wisteria/BDEC-01（1/3）• 概要– Odyssey：シミュレーションノード群，Fujitsu A64FX 7,680ノード搭載– Aquarius：データ・学習ノード群，Intel Xeon Platinum 8360Y・NVIDIA A100
Tensorcore 45ノード搭載（ノード当たり8 GPU，合計360 GPU）
– ネットワーク経由でssh，scp/sftpを利用したログインノードアクセス，ファイル転送– 高速なファイルシステムを用いたビッグデータ解析が可能– OdysseyとAquariusを両方使用したい場合は，それぞれ別々に申し込む• 特殊な利用形態（要相談）– Aquariusの各ノードは，外部リソース（ストレージ，サーバー，データベース，センサーネットワーク等）に直接接続可能– Odyssey・Aquarius連携による「計算・データ・学習」融合（h3-Open-BDEC）– SINET L2VPN経由でログインノード，外部接続ノードへの直接接続– 東大センター担当窓口（uketsuke@cc.u-tokyo.ac.jp）宛てご相談ください）．

93

Wisteria/BDEC-01（2/2）• ソフトウェア– 【言語コンパイラ】• Fortran，C，C++– 【ライブラリ】• MPI，BLAS，LAPACK/ScaLAPACK，FFTW，PETSc，METIS/ParMETIS– 【アプリケーションソフトウェア】（一部GPU化非対応）• OpenFOAM，ABINIT-MP，PHASE，FrontFlow/Blue，FrontISTR，REVOCAP，
ppOpen-HPC，h3-Open-BDEC, HyperWorks（A），MATLAB（A）– 【コンテナ仮想化】• singularity （docker image可能）94

利用カテゴリ• ①Odyssey• ②Aquarius（一般利用）• ③Aquarius（GPU専有）：8GPU占有＝ノード固定• Odyssey，Aquariusを両方利用したい場合は， ①及び②または③をそれぞれ申し込む，①・②・③を全て申し込むことも可能95

2024年度計算資源（東大分）

ストレージはノード時間・GPU時間に比例して配分
Wisteria/BDEC-01，Ipomoeaは各システムの合計が配分される
Ipomoeaはグループ毎配分の他，各ユーザーも5TBまで無料で利用可能
NH：ノード時間，GH：GPU時間
上限

ストレージ

Ipomoea（グループ）

単価

実行ジョブ上限

Odyssey276,480 NH（32ノード年）

2.00TB（1ノード年当たり）

0.30TB（1ノード年当たり）

10.41円/NH

2,304ノード

Aquarius（一般利用）

95,040 GH（11GPU年）

31.25円/GH

8ノード（64GPU）

Aquarius（GPU専有）69,120 GH（8GPU年）
1・2・4・8
必ず8,640の倍数

42.19円/GH

GPU専有数分

6.00TB（1GPU年当たり）

0.90TB（1GPU年当たり）

96

2024年度計算資源
Excel• 2023年度より要求資源量の上限値が明文化された– 複数センター計算資源を利用の場合は負担金360万円相当– 各センターについては300万円相当– mdxの利用は，基本的に一律100万円相当（共有予算方式）• 「分野1：大規模計算科学分野」で，スパコンとmdxを両方利用する場合には，min（360万-スパコン
合計値，100万）がExcelシートに表示される（後述）• 東大情報基盤センターのスパコンの負担金– 2023・2024年度は2022年度の50%増し（一律），全体の予算が変わらないために，利用できる資源量は従来の1.5分の1程度となる– Wisteria/BDEC-01（Odyssey）（1ノード年）：6万円⇒9万円– Wisteria/BDEC-01（Aquarius）（1GPU年）：18万円⇒27万円

97

資源量積算根拠と利用目的：申込書参照（頁数制限無）• 課題分野（１）「大規模計算科学分野」の応募課題と、課題分野（２）「データ科学・データ利活用分野」のHPCI資源または個別予算方式のmdxの利用を申請する応募課題では、審査における重要な評価項目ですので、明確に記載してください。
– 十分な記載がない場合には、課題全体の評価が低くなることがあります。

• ただし、課題分野に関わらず、新規課題でかつ申請資源の総量が100万円以下の場合には、積算根拠の記載は不要です。
• また、「データ科学・データ利活用分野」でmdxを「共有予算方式（通常の場合）」で申請する場合は、mdxについては積算根拠は不要です（HPCI資源も申請する場合には、HPCI資源については積算根拠を記載してください）。
• なお、積算根拠が記載不要な場合でも、利用目的については記載が必要です

98

資源量積算根拠と利用目的：申込書参照（頁数制限無）（追加）• 「大規模計算科学分野」でmdxを「共有予算方式（通常の場合）」で申請する場
合は、mdxについては積算根拠は「必要」です。
• Excelシートには，スパコンとmdxを両方利用する場合には，min（360万-スパコ
ン合計値，100万）が表示されますが，資源量積算根拠では「実際に使用する資源量」を記載してください。
– たとえば，Excelシートに「600,000」と表示されても，実際は「100,000」しか使わない予定の場合には，「100,000（実際の利用予定の資源量）」に基づき「資源量積算根拠」を記述
してください。

• 不明確，かつ不親切ですみません。お困りの場合にはuketsuke(at)cc.utokyo.ac.jpまでお問い合わせください。

99

資源量積算根拠と利用目的：事例（1/2）
計算資源名（提供拠点名）： Super Computer A System (A University)
利用目的：研究テーマ１ xxxの開発を行う
積算根拠：- 予備計算： 64ノード×2時間×10ケース- 本計算： 256ノード×10時間×100ケース- ストレージ：yyデータセットY TB, ワークエリア X TB，合計 XX TB x 12ヶ月
計算資源名（提供拠点名）： Super Computer B System (B University)
利用目的：研究テーマ2 xxxの計算を行い，xxxの結果を得る
積算根拠：- 予備計算： 64ノード×2時間×10ケース- 本計算： 256ノード×10時間×100ケース- ストレージ：yyデータセットY TB, ワークエリア X TB，合計 XX TB x 12ヶ月

100

資源量積算根拠と利用目的：事例（2/2）
計算資源名： mdx(個別予算方式)
利用目的：研究テーマ3 xxxの計算を行い，xxxの結果を得る。また〇〇〇のサービス
提供を行う
積算根拠：
 予備計算： 2GPUパック×2時間×10ケース
 本計算： 8GPUパック×10時間×100ケース
 〇〇〇サービス : 6CPUパック×10,000時間：このサービスはAという機器からのデータを受け取り適時的に解析してBに送るものであり、予期せぬVMの停止を防ぐために起動保証VMとする。
 ストレージ：yyデータセットY TBを内部保存用に大容量ストレージに200日間保持する。また計算用のワークエリアとして仮想ディスク X TBを100日分確保し，公開用にオブジェクトストレージを XX TB x 150日使用

101

スパコン利用にあたっての指針（1/3）• 基本的には，自作コード，オープンソースの利用を前提– OpenFOAM（流体）• Odyssey• 今野雅博士（客員研究員）：OpenFOAM関連チュートリアル– FrontISTR，FrontFlow，ABINIT（東大生研）– ppOpen-HPC，h3-Open-BDEC（東大センター）• 商用コード– Altair HyperWorks（汎用CAEコード）• https://www.altairjp.co.jp/hyperworks/• Aquarius（一部）• 国内大学教職員・学生のみ利用可能• 研究機関，企業の場合は別途ライセンス取得が必要– MATLAB• Aquarius• 国内大学教職員・学生のみ利用可能

102

MATLABの導入「S+D+L」融合，
AI for HPCの実現• Aquariusで利用可能• MATLAB
 多様な機能 ユーザーのプログラムからの関数呼び出し重視⇒
データ解析，機械学習系の豊富な機能⇒高度化
 MATLABはAquarius（データ・学習ノード群）でのみ稼働するが，h3-Open-BDECと連携させて，
Odyssey（シミュレーションノード群）上で実施する大規模シミュレーションのパラメータ最適化に適用する⇒「S+D+L」融合，AI for HPC• h3-Open-BDECは様々な環境で動作⇒MATLABと組み合わせた使用による普及

103

スパコン利用にあたっての指針（2/3）• 計算科学・大規模シミュレーション（S）• データ科学（D）• 機械学習・AI（L）• 「S+D+L」融合• 各システム（Odyssey，Aquarius）がそれぞれの項目に対応可能– Aquarius（データ・学習ノード）でもシミュレーションはできる• データ科学（D），機械学習・AI（L）– コンテナ仮想化（Singularity）により対応

104

スパコン利用にあたっての指針（3/3）
Odyssey

Aquarius

O+A

計算科学

◎

◎

-

データ科学

◎

◎

-

機械学習・AI○◎-「S+D+L」融合○◎◎

商用コード・
MATLAB等

×～△○-

その他の特徴••••A64FX（Arm）
チューニング必須
FP16
商用コードへの対応がやや遅れている• CPU（Ice Lake）：高 • O-A連携（h3い推論性能
Open-BDEC，• GPU（A100）：
WaitIO，
Tensor Core +Coupler）
Tensor Float [TF32] • 2022年6月から利用可能• 超大規模シミュレー
ションには不向き105

JHPCN共同研究課題への応募• 計算科学アプリケーションの並列化・最適化– 「GPU化」はテーマとなりうるが，MPI・OpenMPについては要相談– Odyssey向け最適化は十分それだけでテーマとなりうる– 得られた知見を利用者へ積極的に公開（Odyssey：名古屋大とも情報を共有）• マルチフィジックス連成• 「S+D+L」融合（S+D，S+L）– h3-Open-BDEC，h3-Open-UTIL/MP, WaitIO-Socket/File活用：検証，改良に貢献• 特に，リアルタイムデータ処理を含む場合– 大規模並列処理が必要となるような場合を想定– 単にデータを取得，貯蔵する場合は「分野2」へ応募されるのが良いかも知れない• mdxとの連携も可能• 困ったことがありましたら，お気軽にご相談ください。（募集要項が）威圧的な書き方ですみません。

106

Wisteria-Messenger• Intel Xeon Gold 6348 (IceLake)– 2.6 GHz, 28 cores/socket– 2 sockets × 6 nodes– IB-HDR• Aquariusと同等の機能を有する– Odysseyと連携して「S+D+L」融合可能• 一般公開していない– JHPCN採択者は相談に応じて使用可能（「S+D+L」融合に関する研究のみ）

107

リアルタイムデータ同化＋
3D強震動シミュレーション融合
JDXnetによるリアルタイム観測データ活用

JDXnetJDXnet[c/o Prof. T.Furumura(ERI/U.Tokyo)]

108

長周期地震動シミュレーション＋観測データ同化
Output&Movie

JDXnetObserved Data

Data/Learning
Nodes: Aquarius

External Server
for Observed
Data

Visualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s
Obs. Data

FilterFiltered
Results

WaitIO-Socket

Comp.
Results

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG Model109

Webベース
シミュレーション体験・
データ利活用システム
mdxとの連携事例• 「3D長周期地震動＋リアルタイムデータ同化」融合シミュレーションシステ
ムの「防災・減災」啓蒙・教育へ向けた利用・展開を図るため，Webベースのシミュレーション体験・データ利活用環境を構築（2022年度）• 利用者はWeb Server（mdx上）にア
クセスし，スパコン（Wisteria/BDEC01）上でのシミュレーションの実施，計算結果，観測結果の可視化処理，表示等を行う。
• Web経由でデータ群をスパコン上で処理するフレームワークは様々なア
プリケーションへの転用が可能

110

Web-based Simulation System for Outreach
Activities

Simulation (cm/sec)

Observation (cm/sec)

mdxからWeb経由で大規模シミュレーション・データ同化
をインタラクティブに実行

111

112

Odyssey-Aquarius連携，Wisteria-mdx連携• 検討されておられる方は是非お気軽にご相談ください。
– h3-Open-SYS/WaitIO, h3-Open-UTIL/MP• uketsuke@cc.u-tokyo.ac.jp

113• JHPCNの概要• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み• 番外編：代替制度

114

JHPCNは少しハードルが高いと感じられる場合• 無料・審査無し– お試しスパコン利用（無料体験）– お試しアカウント付き並列プログラミング講習会• 無料・審査あり：JHPCNの一歩手前の位置づけ– 若手女性利用– AI for HPC：特にこれから「計算＋データ＋学習」融合にとりかかろうとしている場合• 有料・報告義務あり– トライアル利用（通常の30％の負担金）– 企業の場合は事前審査あり，最初の3ヶ月間は無料• 「企業利用」も含めて2024年1月下旬に来年度公募説明会を予定している115

若手女性・AI-for-HPC （○：代表者，△：参加者）
制度名

種別

大学等

企業

学生

一般

○

△

○

トライアル

○

△

○

お試し利用

○

○

○

JHPCN

○

○

△

書類

✓

✓

✓

○

△

△

書類

✓

✓

✓

書類

✓

✓

✓
✓

通常利用

一般・若手
HPCI

若手女性

○

○

インターン

審査

無料

報告書

A

B

C

✓

✓

✓

✓
✓

○

産業
一般

個人

✓

○

✓

書類

✓

✓

○

✓

書類

✓

✓

AI for HPC

○

○

△

書類

✓

✓

HPCチャレンジ

○

○

○

書類

✓

✓

講習会

△

△

△

教育利用

○

○

○

書類

一般

△

○

△

＋面接

トライアル

△

○

△

＋面接

✓

✓

✓

✓

年度内

随時

✓

✓

1ヶ月限定

随時
年1回（1月）
年1回（10-11月）✓

年2回（8・2月）✓

年1回（夏季）✓随時，年４回審査
年数回

✓
✓
✓

1ヶ月有効UID

年20回程度

企業研修等可随時✓

年2回（8・2月）

企業利用
一部

募集
随時

✓
✓

備考

D

✓

✓

3ヶ月無料
年度内

随時，年４回審査（A：トークン移行， B:ノード固定，C：Odyssey⇔Aquarius移行可能，D：1システム1回限り応募可能）

若手・女性利用
https://www.cc.u-tokyo.ac.jp/guide/young/• 対象– 若手研究者（各年度4月1日現在において40歳以下），女性研究者，学生• 一般枠（1月， 7月の年2回募集）：2022年からmdx利用可能– 個人研究，企業もOK– 非居住者は原則認めないが，来日6ヶ月未満の留学生＠国内は可能（閲覧制限等有）– 4月開始：1年または半年，10月開始：半年• インターン制度– 学部学生・大学院生を対象（個人研究）– 期間中1週間程度の東大センター滞在を想定していたが，オンラインへ移行の予定– グループ利用は2022年度から廃止（「教育利用」へ移行）• 成果公開– 報告書（ニューズレターへの寄稿），報告会• 特に優れた一般枠課題は，JHPCN萌芽型共同研究課題として推薦– 7月のJHPCNシンポジウムでポスター発表できる

116

117

若手・女性利用（応募可能な計算機資源・負担金未定）https://www.cc.u-tokyo.ac.jp/guide/young/
Wisteria/BDEC-01
Odyssey

Wisteria/BDEC-01
Aquarius

mdx
https://mdx.jp/mdx/

6ヶ月（90,000円相当）① 8,640（2ノード×6ヶ月）② 2,304ノード③ 1.00（1ノード）④ 4TB

6ヶ月（135,000円相当）① 12,960（1GPU×6ヶ月）② 8ノード（64GPU）③ 3.00（GPU）④ 6TB

12ヵ月（180,000円相当）① 17,280（2ノード年）② 2,304ノード③ 1.00（1ノード）④ 4TB

12ヶ月（270,000円相当）① 25,920（1GPU年）② 8ノード（64GPU）③ 3.00（GPU）④ 6TB

 608vCPU（4ノード相当）
 1GPU 仮想ディスク 100GB
 高速内部ストレージ 1TiB
 大容量内部ストレージ 2TiB
 オブジェクトストレージ 2TiB
 グローバルIPアドレス 1個

ディスク容量追加（1TB）
6ヶ月：3,240円
12ヶ月：6,480円

ディスク容量追加（1TB）
6ヶ月：3,240円
12ヶ月：6,480円①トークン量上限，②並列実行ノード数（最大），③トークン消費係数，④ディスク容量

118

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（1/2）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• （計算＋データ＋学習（S+D+L））融合実現，データ科学，機械学習，人工知
能による計算科学の高度化を目指す提案を募集• 原則として，計算科学シミュレーション（自作またはオープンソース）を，データ科学，人工知能，機械学習等によって高度化，効率化することを目的とする– 大規模データ同化と人工知能を融合するような研究も受け付ける。
– プログラム本体のチューニング，アルゴリズム高度化などは対象外ですが，自動チュー
ニングによって最適アルゴリズムを選択するような提案は歓迎いたします。

• 応募者グループ・センター教員の共同研究として実施– 代表者：居住者（大学・研究機関・企業），メンバー：非居住者参加も可能– 次年度以降JHPCN共同研究課題応募を目指す

119

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（2/2）
https://www.cc.u-tokyo.ac.jp/guid/e/exploratory/AIforHPC• 随時募集，年4回審査（変更）• 計算機資源を無償で提供（負担金50万円相当（変更の可能性あり））– Wisteria/BDEC-01– Wisteria/BDEC-01（Odyssey+Aquarius）利用推進• Wisteria/BDEC-01向けソフトウェア群の共同開発– h3-Open-BDEC• 成果公開– 報告書（ニューズレターへの寄稿），報告会（若手・女性と合同，JHPCNに採択の場合は免除）

120

これまでの採択課題
計算＋データ同化＋機械学習融合
年度

代表者

課題名

使用計算機

澤田洋平
2020 （東京大学工学系研究科・准教授）

地球科学シミュレーションの不確実性定量化の新展開

Oakforest-PACS

澤田洋平
2021 （東京大学工学系研究科・准教授）

超巨大アンサンブル
計算と機械学習の協調による地球科学シミュレーションの不確実性定量化

Wisteria/BDEC-01（Odyssey）
Wisteria/BDEC-01（Aquarius）

h3-Open-BDECの提供する
Odyssey-Aquarius連携ライ
ブラリの開発にも貢献
JHPCN 2022/2023

菊地淳（理化学研
数値シミュレーションと機械
究所環境資源科学
2021
学習 との融合 による東京研究センター・チー
湾の赤潮予測ムリーダー）

Wisteria/BDEC-01（Aquarius）
Oakbridge-CX

JHPCN 2022/2023

川﨑猛史（名古屋
2022 大学 大学院理学研究科・講師）

機械学習を用いた非晶質固 Wisteria/BDEC-01
体系の破壊予測システムの （Aquarius）
Oakbridge-CX
開発

備考

JHPCN 2023

121

極端気象現象予測における不確実性の起源の解明
澤田洋平准教授（東大・工学系）• 気象シミュレーションの不確実性定量化手法• 不確実性情報を付加した極端気象データセットの整備と解析

海洋エコシステム予測

沿岸海洋の物理場・化学場・微生物場を予測し将来的に魚群の位置や規模の予測へ
観測（理研＆東北⼤）

連続自動観測・
採水データの環境オミクス解析

機械学習（理研＆東⼤）すでに赤潮予報の高精度化にある程度成功！

環境DNA測定

Sato e al. (2018)

シミュレーション（理研＆⼤阪⼤）海洋モデル・気象モデル
河川モデル

広域・高解像度
⻑期間の計算萌芽研究で実施

沿岸ビッグデータの機械学習への適用
入出力データの面的・空間的構造を考慮（萌芽では観測点のみ）

現代的な生化学モデルでのシミュレー
ション・データ同化

システムの高度化により魚群の予測を可能とする

123• JHPCNの概要• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み• 番外編：GPU移植への取り組み（OFP-II）

124

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

HARP-1E

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM Power7

汎用CPUIntel CLX
OBCX(Fujitsu)

加速装置付

6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PFAMD Opteron

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤
SPACR64 IXfx
ReedbushU/H/L (SGI-HPE)
センターのスパコン 疑似ベクトル
3.36 PF
加速装置付

NVIDIA H100
OFP-II
75+ PFIntel Xeon Phi

1.13 PF

汎用CPU

2026-2030
疑似ベクトル

SR8000

利用者2,600+名
55％は学外2021-2025

Intel BDW +NVIDIA P100

BDEC02

Fujitsu
33.1 PF

150+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

125

OFP-IIへの道（1/2）• OFP（Oakforest-PACS）後継機種（OFP-II）– JCAHPC（筑波大学と共同）– 2025年1月運用開始予定• スパコンへの性能要求，省電力，脱炭素化⇒
演算加速器搭載は不可避（電気代も高騰）

2.00– 2021年秋には方針決定
System(Top/Green 500)

HW

GF/W

Henri (255,1)

NVIDIA H100

65.4

Frontier (1,6)

AMD MI250X

52.6

Leonardo (4,15)

NVIDIA A100

32.2

Fugaku (2, 49)

A64FX

15.4

Ratio over Cost in FY.2021 (19JPY/kWh)

1.50

1.00

0.50

0.00

電力単価推移（対2021年度比）

OFP-IIへの道（2/2）• OFP-II （2025年1月運用開始）– 汎用CPUクラスタ（Group-A）＋GPUクラスタ（Group-B）– 「計算・データ・学習」融合路線は継続• GPUの選定は2022年6月に終了– OFPユーザー（3,000人以上）のGPUへの移行には18-30ヶ月必要– 7種類のベンチマーク• NVIDIA社製GPU採用に決定（2022年6月）– H100もしくはその後継機– 決め手

Group-A
CPU only
Group-B
CPU+GPU• 性能そのもの• Fortranで記述されたアプリケーションのポータビリティ– OpenACC/StdPar（Standard Parallelism）によるGPU化は比較的簡単，
OpenMP/MPIハイブリッドによって並列化されたプログラムに適している
126

GPU移植・移行の計画• NVIDIA Japanの協力• 3,000人以上のOFP利用者：2つの形態• 「自己移植（Self Porting）」：様々なオプション– 1週間のハッカソン（ミニキャンプ），3ヶ月に1回，オンライン・ハイブリッド，Slack併用– 毎月開催される「相談会」（Zoom，非ユーザーも自由に参加できる）– 素晴らしく充実した「移行ポータルサイト」，各種講習会• https://jcahpc.github.io/gpu_porting/• 「サポート移植（Surpported Porting）」，2022年10月開始– 多くのユーザーを有するコミュニティコード（17種類，次頁），OpenFOAM（NVIDIA）– 外注のための予算も確保（落札ベンダーが担当する予定）– 「サポート移植」グループメンバー（主に若手）はハッカソン・相談会にも積極的に参加• 基本的にOpenACC/StdPar（Standard Parallelism）推奨
127

128

Category

Name (Organizations)

FrontISTR (U.Tokyo)
Engineering
FrontFlow/blue (U.Tokyo)(3)
FrontFlow/red (Advanced Soft)ABINIT-MP (Rikkyo U.)
Biophysics
UT-Heart (UT Heart, U.Tokyo)(3)
Lynx (Simula, U.Tokyo)
MUTSU/iHallMHD3D (NIFS)
Physics
Nucl_TDDFT (Tokyo Tech)(3)
Athena++ (Tohoku U. etc.)
Climate/ SCALE (RIKEN)
Weather/ NICAM (U.Tokyo, RIKEN, NIES)
Ocean
MIROC-GCM (AORI/U.Tokyo)(4)
Kinaco (AORI/U.Tokyo)
OpenSWPC (ERI/U.Tokyo)

Target, Method etc.

Language

Solid Mechanics, FEM
CFD, FEM
CFD, FVM
Drug Discovery etc., FMO
Heart Simulation, FEM etc.
Cardiac Electrophysiology, FVM
Turbulent MHD, FFT
Nuclear Physics, Time Dependent DFT
Astrophysics/MHD, FVM/AMR
Climate/Weather, FVM
Global Climate, FVM
Atmospheric Science, FFT etc.
Ocean Science, FDM
Earthquake Wave Propagation, FDM

FortranFortranFortranFortranFortran, CC
FortranFortranC++
FortranFortranFortran77
FortranFortranEarthquake Simulations, Spectral FEM
Earthquake SPECFEM3D (Kyoto U.)(4)hbi_hacapk (JAMSTEC, U.Tokyo) Earthquake Simulations, H-Matrix

Fortransse_3d (NIED)

Earthquake Science, BEM (CUDA Fortran)

FortranFortran129

Category

Name (Organizations)

FrontISTR (U.Tokyo)
Engineering
FrontFlow/blue (U.Tokyo)(3)
FrontFlow/red (Advanced Soft)ABINIT-MP (Rikkyo U.)
Biophysics
UT-Heart (UT Heart, U.Tokyo)(3)
Lynx (Simula, U.Tokyo)
MUTSU/iHallMHD3D (NIFS)
Physics
Nucl_TDDFT (Tokyo Tech)(3)
Athena++ (Tohoku U. etc.)
Climate/ SCALE (RIKEN)
Weather/ NICAM (U.Tokyo, RIKEN, NIES)
Ocean
MIROC-GCM (AORI/U.Tokyo)(4)
Kinaco (AORI/U.Tokyo)
OpenSWPC (ERI/U.Tokyo)

Target, Method etc.

Language

Solid Mechanics, FEM
CFD, FEM
CFD, FVM
Drug Discovery etc., FMO
Heart Simulation, FEM etc.
Cardiac Electrophysiology, FVM
Turbulent MHD, FFT
Nuclear Physics, Time Dependent DFT
Astrophysics/MHD, FVM/AMR
Climate/Weather, FVM
Global Climate, FVM
Atmospheric Science, FFT etc.
Ocean Science, FDM
Earthquake Wave Propagation, FDM

FortranFortranFortranFortranFortran, CC
FortranFortranC++
FortranFortranFortran77
FortranFortranEarthquake Simulations, Spectral FEM
Earthquake SPECFEM3D (Kyoto U.)(4)hbi_hacapk (JAMSTEC, U.Tokyo) Earthquake Simulations, H-Matrix

Fortransse_3d (NIED)

Earthquake Science, BEM (CUDA Fortran)

FortranFortran130

Category

Name (Organizations)

FrontISTR (U.Tokyo)
Engineering
FrontFlow/blue (U.Tokyo)(3)
FrontFlow/red (Advanced Soft)ABINIT-MP (Rikkyo U.)
Biophysics
UT-Heart (UT Heart, U.Tokyo)(3)
Lynx (Simula, U.Tokyo)
MUTSU/iHallMHD3D (NIFS)
Physics
Nucl_TDDFT (Tokyo Tech)(3)
Athena++ (Tohoku U. etc.)
Climate/ SCALE (RIKEN)
Weather/ NICAM (U.Tokyo, RIKEN, NIES)
Ocean
MIROC-GCM (AORI/U.Tokyo)(4)
Kinaco (AORI/U.Tokyo)
OpenSWPC (ERI/U.Tokyo)

Target, Method etc.

Language

Solid Mechanics, FEM
CFD, FEM
CFD, FVM
Drug Discovery etc., FMO
Heart Simulation, FEM etc.
Cardiac Electrophysiology, FVM
Turbulent MHD, FFT
Nuclear Physics, Time Dependent DFT
Astrophysics/MHD, FVM/AMR
Climate/Weather, FVM
Global Climate, FVM
Atmospheric Science, FFT etc.
Ocean Science, FDM
Earthquake Wave Propagation, FDM

FortranFortranFortranFortranFortran, CC
FortranFortranC++
FortranFortranFortran77
FortranFortranEarthquake Simulations, Spectral FEM
Earthquake SPECFEM3D (Kyoto U.)(4)hbi_hacapk (JAMSTEC, U.Tokyo) Earthquake Simulations, H-Matrix

Fortransse_3d (NIED)

Earthquake Science, BEM (CUDA Fortran)

FortranFortranFrontFlow/blue (FFB) Flow Solver
 FEM-based incompressible/compressible Flow Solver
 Developed for Industrial Applications of WR-LES Features Automated Mesh Refinement and Overset Method
Cavitating Hydrofoil

Marine Propeller

Automobile Wake[c/o Prof. C. Kato (UTokyo)]131Porting FFB on A100 through OpenACC-1■ Porting of a main kernel GRAD3X completed just by adding directives
DO 1000 IP = 1 , NP
FXBUF=0.0E0
FYBUF=0.0E0
FZBUF=0.0E0
DO 1100 I = 1 , 8
IE=IENP(I,IP)SWRK = S(IE)FXBUF=FXBUF-SWRK*DNXYZP(I,1,IP)
FYBUF=FYBUF-SWRK*DNXYZP(I,2,IP)
FZBUF=FZBUF-SWRK*DNXYZP(I,3,IP)
1100
CONTINUEFXYZ(1,IP)=FXBUF*CM(IP)FXYZ(2,IP)=FYBUF*CM(IP)FXYZ(3,IP)=FZBUF*CM(IP)1000 CONTINUE

Original code!$acc kernels
DO 1000 IP = 1 , NP
FXBUF=0.0E0
FYBUF=0.0E0
FZBUF=0.0E0!$acc loop seq
DO 1100 I = 1 , 8
IE=IENP(I,IP)SWRK = S(IE)FXBUF=FXBUF-SWRK*DNXYZP(I,1,IP)
FYBUF=FYBUF-SWRK*DNXYZP(I,2,IP)
FZBUF=FZBUF-SWRK*DNXYZP(I,3,IP)
1100
CONTINUEFXYZ(1,IP)=FXBUF*CM(IP)FXYZ(2,IP)=FYBUF*CM(IP)FXYZ(3,IP)=FZBUF*CM(IP)1000 CONTINUE!$acc end kernels[c/o Prof. C. Kato (UTokyo)]

Code with directives

Performance of FFB• FFB is memory bound• Reasonable performance for peakmemory bandwidth• High GPU utilization by using GPU Direct toreduce communication time

Performance per CPU or GPU

UP is good

Halo exchange by GPU Direct

One Iteration

8 A100-40GB GPUs used

OFP-II (1/2)
11月9日開札，富士通• Group-A: 汎用CPUノード: Intel Xeon Max 9480 (SPR)– 計算ノード: Intel Xeon Max 9480 (1.9 GHz, 56c) x 2• 6.8 TF, 128 GiB, 3,200 GB/sec (HBM2e only)– 合計• 190 ノード, 1.3 PF, IB-NDR 200• 372 TB/sec for STREAM Triad (Peak: 608 TB/sec)• Group-B: 演算加速ノード: NVIDIA GH200– 計算ノード: NVIDIA GH200 Grace-Hopper Superchip• Grace: 72c, 2.9 TF, 111 GiB, 512 GB/sec (LPDDR5X)• H100: 66.9 TF DP-Tensor Core, 89.4 GiB, 4,022 GB/sec (HBM3)– CPU-GPU間はキャッシュコヒーレント• NVMe SSD搭載: 1.9TB, 8.0GB/sec, GPUDirect Storage– 合計 (CPU+GPUの合計値)• 1,120 ノード, 78.2 PF, 5.07 PB/sec, IB-NDR 200

134

OFP-II (2/2)• ファイルシステム: DDN EXA Scalar, Lustre FS– 10.3 PB (NVMe SSD) 1.0TB/sec, “Ipomoea-01” (26 PB) も利用可能• Group-A/B の全ノードはフルバイセクションバンド幅で接続– (400Gbps/8)×(32×20＋16×1) = 32.8 TB/sec• 2025年1月運用開始、Group-A/B間の通信は
h3-Open-SYS/WaitIO により実現
IB-NDR（400Gbps）
IB-HDR（200）
IB-NDR200（200）Group-AIntel Xeon Max(HBM2e) 2 x 190
1.3 PF, 608 TB/sec

Group-B

NVIDIA GH200 1,120
78.2 PF, 5.07 PB/sec

Ipomoea-01

大規模共通ストレージ
26 PB

File System

DDN EXA Scaler
10.3 PB, 1.0TB/sec
135

136

HPCチャレンジ・講習会 （○：代表者，△：参加者）
制度名

種別

大学等

企業

学生

一般

○

△

○

トライアル

○

△

○

お試し利用

○

○

○

JHPCN

○

○

△

書類

✓

✓

✓

○

△

△

書類

✓

✓

✓

書類

✓

✓

✓
✓

通常利用

一般・若手
HPCI

若手女性

○

○

インターン

審査

無料

報告書

A

B

C

✓

✓

✓

✓
✓

○

産業
一般

個人

✓

○

✓

書類

✓

✓

○

✓

書類

✓

✓

AI for HPC

○

○

△

書類

✓

✓

HPCチャレンジ

○

○

○

書類

✓

✓

講習会

△

△

△

教育利用

○

○

○

書類

一般

△

○

△

＋面接

トライアル

△

○

△

＋面接

✓

✓

✓

✓

年度内

随時

✓

✓

1ヶ月限定

随時
年1回（1月）
年1回（10-11月）✓

年2回（8・2月）✓

年1回（夏季）✓随時，年４回審査
年数回

✓
✓
✓

1ヶ月有効UID

年20回程度

企業研修等可随時✓

年2回（8・2月）

企業利用
一部

募集
随時

✓
✓

備考

D

✓

✓

3ヶ月無料
年度内

随時，年４回審査（A：トークン移行， B:ノード固定，C：Odyssey⇔Aquarius移行可能，D：1システム1回限り応募可能）大規模HPCチャレンジhttps://www.cc.u-tokyo.ac.jp/guide/hpc/• 月1回（月末）実施，公募制，無料– グループまたは個人– 基本的に居住者をグループ代表とすることを前提– 現ユーザーには限定せず，大学・研究機関・企業から幅広く募集– 外部専門家を含む審査委員会で審査• 全系を24時間占有利用，年3回募集（3~4ヶ月分をまとめて募集）– COVID-19期間中は中止，または短縮スケジュールであったが，2023年度から24時
間に復帰• Wisteria/BDEC-01– Odyssey（6,144ノード）とAquarius（36ノード）は（当面は）別々に実施• 成果公開：ニューズレターへの寄稿，セミナー等での発表が義務• JHPCNと併用可能

137お試しアカウント付き並列プログラミング講習会
https://www.cc.u-tokyo.ac.jp/events/lectures/https://www.youtube.com/playlist?list=PLobjSv_ny85kXY2Mtnhn1k7pM-epQaD2y

 現在はWisteria/BDEC-01を利用した講習会
 2020年度から完全オンラインで実施：年20回程度，概して好評（移動不要）
 既存利用者に限定せず，企業の技術者・研究者も受講可能
 受講者の1/2~2/3は企業から受講：裾野拡大に大きな貢献
 PCクラスタコンソーシアム（実用アプリケーション部会）と共催• 1～2日間の講習，1ヶ月有効な「お試しアカウント」
 スパコン超入門：Linuxの使い方
 MPI基礎，MPI応用（並列有限要素法），マルチコアプログラミング GPUプログラミング，GPUミニキャンプ（ハッカソン）
 ライブラリ利用（センター教員開発のライブラリ普及）（H行列，WaitIO/Coupler）
 OpenFOAM（初級，中級）
 Altair HyperWorks
 利用ノード数，実行時間に制限あり，スパコンを使用しない講義もある

139

2024年度向け利用説明会（オンライン）（予定）• 2023年12月04日（月）（JHPCN）• 2024年1月17日（水）（企業，若手・女性，AI-for-HPC）– 13:00-15:00頃＋個別相談• 2024年7月下旬（企業，若手・女性，AI-for-HPC）• 諸制度– 若手・女性– 企業利用– AI-for-HPC– 講習会

https://www.cc.u-tokyo.ac.jp/guide/young/
https://www.cc.u-tokyo.ac.jp/guide/company/
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/
https://www.cc.u-tokyo.ac.jp/events/lectures/