2021 年 4 月 10 日
東京大学情報基盤センター

2021 年度東京大学情報基盤センター萌芽共同研究公募課題

AI for HPC：Society 5.0 実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/
1. 背景
スーパーコンピュータを駆使したシミュレーションによる計算科学が「第 3 の科学」と呼ばれるようになって久しいものがあります。昨今は，スーパーコンピュータは様々な分野に使われるようになり，データ科学（第 4 の科学，The 4th Paradigm），機械学習，AI などの分野での利用が特に盛んになっています（図 1）
。
社会科学
経済学

（a）

Engineering（b）
Earth/Space

情報科学：
アルゴリズム.
工学・
ものづくり
材料科学

地球科学・
宇宙科学

Material
工学・
Energy/Physics
バイオインフォマ
ものづくり
ティクス・医療画像
Info.
Sci. : System
処理・ゲノム解析
Info.
Sci. : Algrorithms 材料科学Info. Sci. : AI
生物科学
エネルギー・Education
生体力学
物理学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

Reedbush-U（Intel Xeon/BDW），
図 1 実行ジョブノード時間の分野別比率（2019 年度），（a）（b）Reedbuah-H（Intel Xeon/BDW + NVIDIA Tesla P100（ノード当たり 2GPU））
Society 5.0 とは，サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させたシステムにより，経済発展と社会的課題の解決を両立する，人間中心の社会（Society）です。狩猟（Society 1.0），農耕（2.0），工業（3.0），情報（4.0）に続く，新たな社会を指すもので，第 5 期科学技術基本計画において我が国が目指すべき未来社会の姿として初めて提唱されています。Society 5.0 の実現には IoT（Internet of Things），ロボット，AI（人工知能），ビッグデータといった社会の在り方に影響を及ぼすデジタル革新・イノベーションが不可欠です。スーパーコンピューティングは，従来の計算科学・計算工学シミュレーションに加えて，データ科学，機械学習等の知見を融合した新しい手法を適用することによって，サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合したシステムを形成し，Society 5.0 が目指す人間中心の社会の実現に大きく貢献すると期待されています。

1

2. Wisteria/BDEC-01
シミュレーション（Simulation），データ（Data），学習（Learning）の融合（「S+D+L」融合）は，シミュレーションによる計算科学に新しい道を開き，Society 5.0 実現への貢献とともに，ポストムーア時代に向けた新しい計算パラダイムとしても期待されます。
東京大学情報基盤センター（本センター）では 2015 年頃からこのような状況を想定し，「S+D+L」融合を実現するプラットフォームとして「『計算・データ・学習』融合スーパーコンピュータシステム」（通称「BDEC（Big Data & Extreme Computing）システム」）構築を目指して，様々な研究開発を進めてきました。
BDEC システムの 1 号機として，2021 年 5 月運用開始を目指して導入が進められている，
Wisteria/BDEC-01 システムは，シミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）を有しています。
シミュレーションノード群（Odyssey）は「FUJITSU Supercomputer PRIMEHPC FX1000」
20 ラックから構成され，「A64FX」を 7,680 ノード（368,640 コア）搭載しています。
「A64FX」
は，Armv8.2-A 命令セットアーキテクチャーをスーパーコンピュータ向けに拡張した「SVE（Scalable Vector Extension）」を，世界で初めて実装したプロセッサです。最先端の 7nm プロセスで製造され，48 個の演算コアと 2 個または 4 個のアシスタントコアを有し，倍精度浮動小数点演算で 3.3792 TFLOPS の理論ピーク性能を実現します。合計ピーク性能は 25.9
PFLOPS です。各ノードは 32 GiB の HBM2 メモリを搭載し，シミュレーションノード群（Odyssey）の総メモリ容量は 240 TiB，総メモリバンド幅は 7.8 PB／秒です。各ノードはバイセクションバンド幅が 13.0 TB／秒のノード間相互結合ネットワーク（Tofu インターコネクト D）で結合されています。
データ・学習ノード群（Aquarius）は，富士通株式会社が開発する「FUJITSU ServerPRIMERGY GX2570」の次期モデル 45 ノードによって構成されています。各ノードは汎用CPU 2 基（インテル社製「第 3 世代 Xeon スケーラブルプロセッサ（開発コード名 Ice Lake）」）），演算加速装置（GPU）8 基（「NVIDIA A100 Tenso コア」）から構成されており，ノード間インターコネクトには NVIDIA Mellanox HDR InfiniBand ネットワークが採用されています。
データ・学習ノード群（Aquarius）の合計ピーク性能は 7.2 PFLOPS，総メモリ容量は 36.5TiB，総メモリバンド幅は 578.2 TB／秒です。各ノードは，データ転送速度が 200 Gbps の帯域を有する InfiniBand HDR を 4 リンク用いて，フルバイセクションバンド幅を持つノード間相互結合ネットワークで結合されています。さらに，外部接続のために 25 Gbps Ethernetインタフェースも有しています。
FEFS（Fujitsu Exabyte File System）による，共有ファイルシステム（容量：25.8 PB，データ転送速度：0.504 TB／秒）および SSD を搭載した高速ファイルシステム（容量：1.0 PB，データ転送速度：1.00 TB／秒）を有し，それぞれシミュレーションノード群（Odyssey），データ・学習ノード群（Aquarius）からアクセスし，大規模なデータを高速に処理することが可能です。
2

シミュレーションノード群（本の（）とデータ・学習ノード群（）を用いて）は，合計／秒のネットワークバンド幅で結合されています。また，データ・学習ノード群（）は合計のネットワーク転送速度で外部との通信が可能です。
ソフトウェアとしては，，コンパイラ，インタープリタ，通信ライブラリ等を使用できます。計算科学，データ科学，機械学習，人工知能等幅広い分野のライブラリ，ツール，アプリケーションを提供します。オープンソースアプリケーションとしては，（数値流体力学），アプリケーション群（物質科学），東京大学生産技術研究所で開発された革新的シミュレーションソフトウェア群などを利用できます。

図
同時に
「

：「上で「」融合のためのプラットフォーム」融合を実現するための革新的ソフトウェア基盤」の研究開発も進めています（図 ）。
年度に実施する萌芽共同研究公募課題「：実現へ向けた人工知

能・データ科学による計算科学の高度化（試行）」（以下「本共同研究」）では，（）融合実現，データ科学，機械学習，人工知能による計算科学の高度化を目指す提案を募集します。

3図（内閣府）：[1][2]の概要

・概要：
概要：

[3]

共同研究の概要（ ）提案の要件
本共同研究への提案は，原則として，計算科学シミュレーション（自作またはオープンソースプログラムを使用）を，データ科学，人工知能，機械学習等によって高度化，効率化することを目的とするものとします。その他，大規模データ同化と人工知能を融合するような研究も受け付けます。プログラム本体のチューニング，アルゴリズム高度化などは対象外ですが，自動チューニングによって最適アルゴリズムを選択するような提案は歓迎いたします。様々な場合が想定されますので，提案にあたっては，必ず事前に，本共同研究応募窓口（）に連絡し，本センター教員とご相談の上，提案書の作成，提出をお願いいたします。
（ ）応募資格
提案者グループは，東京大学情報基盤センター利用規程第条第号～第号，及び第号に該当する利用資格を有し，更に科研費研究者番号を有する者を代表者とするまたはそれ以上で構成されるものとします。

名，年度は，上記以外に国内の民間企業その他の法人に所属する居住者を代表者とする提案者グループの応募を認めます。
提案者グループには，学生を含む利用規程第4条第号～第号に該当する者の他，企業または海外諸機関に所属する研究者・技術者を含んでも良いものとしますが，特に非居住者については，採択後別途手続きが必要となる場合があります。ご不明な点は，本共同研究応募窓口（koubo@cc.u-tokyo.ac.jp）にお問い合わせ，ご確認ください。
[4] 東京大学情報基盤センター利用規程：
https://www.cc.u-tokyo.ac.jp/guide/files/riyoukitei.pdf[5] 東京大学情報基盤センター・スーパーコンピュータシステム利用資格：
https://www.cc.u-tokyo.ac.jp/guide/application/qualification.php[6] 外国人及び海外在住者のスパコン利用について：
https://www.cc.u-tokyo.ac.jp/guide/application/non-resident.php（3）共同研究体制・グループ構成等
本共同研究は，提案者グループと本センターによる共同研究として実施します。
提案者グループの代表者・メンバーには対象とする計算科学分野の専門家，プログラムの詳細に精通した者を含むことを必須としますが，データ科学・人工知能等の専門家を含む必要は必ずしもありません。それらの部分については本センター教員等がサポートいたします。なお，2021 年度は最大 3-4 課題程度を採択する予定です。
本センターとの共同研究実施にあたっては，必要に応じて採択後に共同研究協約等を締結することも考慮しておりますので，個別にご相談ください。
（4）利用計算機システム
本共同研究では，Wisteria/BDEC-01 システムの利用を原則としますが，2021 年度については，本センターが運用するシステムのうち，Oakbridge-CX（OBCX），Oakforest-PACS（OFP）の 2 システムを利用可能とします。Oakbridge-CX（OBCX）は外部に直接接続するノード（外部接続ノード），協調サーバー群を有しています。2021 年度は各グループに最大 50 万円相当のノード時間を無償で提供します。
OFP，OBCX 各システムの概要は下記の通りです。詳細は後掲の URL を参照ください：
Oakforest-PACS（OFP）（富士通製）（2022 年 3 月末で運用終了）
 各計算ノード：Intel Xeon/Phi（Knights Landing，KNL）（68 コア）×1
 合計 8,208 ノード，Omni-Path Architecture（OPA），共有ファイルシステム（Lustre），
高速ファイルキャッシュ（DDN IME）
 ピーク性能 25 PFLOPS，TOP500 で 22 位（国内 4 位）（2020 年 11 月）
 筑波大学計算科学研究センターと共同で導入，運用

5

Oakbridge-CX（OBCX）（富士通製）
 各計算ノード：Intel Xeon Platinum 8280（Cascade Lake，CLX）（28 コア）×2
 合計 1,368 ノード，Omni-Path Architecture（OPA），共有ファイルシステム（Lustre）
 128 ノードは SSD を搭載，総容量 200TB の高速ファイルシステムとして運用可能
 SSD 搭載 128 ノードのうち 16 ノードは外部ネットワークに直接接続しており（外部接続ノード），外部リソース（サーバ，ストレージ，センターネットワーク等）との通信可能 ピーク性能 6.61 PFLOPS，TOP500 で 69 位（2020 年 11 月）
 更に外部ネットワークに直接接続し，OBCX 各計算ノードと連携する GPU サーバ（通称 Mini-DP，Wisteria/BDEC-01 の「データ・学習ノード」に相当）を利用できます。
GPU サーバ 1 ×1 台
Intel Xeon Gold 6230 (Cascade Lake) (20 コア) ×2



NVIDIA Tesla V100 32GB ×2



192 GB メモリ



100 G bit Ethernet

GPU サーバ 2 ×1 台

（図 4）



Intel Xeon Gold 6230 (Cascade Lake) (20 コア) ×2



NVIDIA Tesla T4 16GB ×4



192 GB メモリ + 1.5 TB 不揮発メモリ (Intel DCPMM, Optane DIMM)

100 G bit Ethernet



高速ストレージサーバ ×2 台(3.2TB NVMe SSD ×6 枚搭載）

GPU サーバ 1, 2 は OBCX のログインノードファイルシステムをマウント，高速ストレージサーバの NVMe SSD を NVMe over Fabrics によりブロックデバイスとして attach して利用可能（図 5 参照，構成変更も応相談）[7] OFP：https://www.cc.u-tokyo.ac.jp/supercomputer/ofp/service/[8] OBCX：https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/

6

図4

ログイン
ログイン
ノード
ログイン
ノード
ノード

GPU サーバ 2 の構成

外部接続
外部接続
ノード
ノード

/home

Oakbridge-CX
OBCX login node network

100 G Ethernet (RoCE)
NVMe overFabrics

NVMe overFabrics

GPUサーバ1(V100 x2)

GPUサーバ2(T4 x4 +DCPMM)

高速ストレージサーバ x2台（3.2TB SSD x6)/ノード

Mini-DP
図 5

Mini-DP の構成（5）実施期間
本共同研究は，原則各年度に一回募集し，4 月 1 日に開始し，翌年 3 月末に終了するものとします。2021 年度については，8 月 1 日に開始する予定です（後述）。
本共同研究は，最大 3 年まで実施することを可能としますが，各年度新たに提案書を提出していただく必要があります。
（6）JHPCN への応募義務
本共同研究の本来の目的は，得られた知見を元に本センター教員等と共同で翌年度の学際大規模情報基盤共同利用・共同研究拠点（JHPCN）共同研究に挑戦することにあります。2021 年度に採択された課題については，2022 年度 JHPCN 共同研究（申込：2021 年12 月～2022 年 1 月）に応募して頂きます。
7

（7）報告書・報告会
本共同研究の成果は，翌年度 5 月末頃までに報告書として提出するものとし，本センターホームページより公開いたします。また，10 月頃に中間報告会（非公開），翌年度 6 月頃に最終報告会（公開）での発表をお願いいたします。各報告会では各グループ代表者の方による発表を原則としますが，都合がつかない場合はメンバーの方による発表でも結構です。
[9] 学際大規模情報基盤共同利用・共同研究拠点（JHPCN）：
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/ja/

4. 2021 年度共同研究について（1）スケジュール
本年度の公募，実施のスケジュールは以下の通りです。
 公募開始2021 年 4 月 19 日（月）

 公募説明会

2021 年 5 月 20 日（木）13:00-15:00（オンライン）

 公募締切2021 年 6 月 30 日（水）17:00

 採択通知2021 年 7 月中旬

 共同研究開始

2021 年 8 月 1 日（予定） 中間報告会

2021 年 10 月～11 月頃

 次年度 JHPCN 提案

2021 年 12 月～2022 年 1 月

 共同研究終了

2022 年 3 月末

 最終報告書提出

2022 年 5 月末

 最終報告会

2022 年 6 月頃

（2）提案書
提案書は以下のような内容を含むものとし，A4 で最大 5 頁程度（⑧「メンバー情報」を除く）です。提案にあたっては，必ず事前に本共同研究応募窓口（koubo@cc.utokyo.ac.jp）に連絡し，本センター教員とご相談の上，提案書の作成，提出をお願いいたします。
また，採択された場合には，下記①～③のうち代表者連絡先以外は HP から公開します：①

共同研究課題名②

代表者情報（氏名，所属，役職，連絡先）③

実施内容の概要（400 字程度）
8

④

対象とする計算科学シミュレーションプログラムの概要，これまでのスパコン利用実績（計 1 頁）⑤

本共同研究で実現したい内容，利用予定計算機システムと利用方法概要（計 1 頁）


計算機システムの利用方法，特に必要計算機資源などについては必ずしも詳細に記述する必要はありませんが，2（4）及び各システム情報に基づき，研究目標に合った計算機システムをご検討ください。

本センターの計算機システムはバッチ処理による利用が原則で，各ジョブの最大実行時間には制限があります。



利用する計算機システムは共同研究開始後随時変更することが可能です⑥

東大情報基盤センターへの要望，サポート内容，必要なソフトウェア等（計 1 頁）⑦

関連業績リスト（最大 10 編）⑧

メンバー情報（代表者も含む）(ア) 氏名，所属，役職・身分，電子メールアドレス(イ) 科研費研究者番号(ウ) 若手（35 歳以下）か否か(エ) 国籍（日本以外の場合）(オ) 専門分野コード(カ) 本共同研究における役割・実施内容等

提案書は，本センター教員の他，外部委員を含む課題審査委員会によって審査されます。審査は書類審査のみですが，提案書提出後メール等での問合せにご回答いただく可能性があります。
（3）問合せ先等
 本共同研究問合せ窓口 koubo@cc.u-tokyo.ac.jp
 本共同研究 HP

https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/ 詳細情報https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/application.php（4）公募説明会
2021 年 5 月 20 日（木）13:00-15:00（オンライン）
下記よりお申し込みください。
https://regist.cc.u-tokyo.ac.jp/entry6/form.html

9