2024 年 1 月 12 日
東京大学情報基盤センター

2024 年度東京大学情報基盤センター萌芽共同研究公募課題

AI for HPC：Society 5.0 実現へ向けた人工知能・データ科学による計算科学の高度化
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/
1. 背景
スーパーコンピュータを駆使したシミュレーションによる計算科学が「第 3 の科学」と呼ばれるようになって久しいものがあります。昨今は，スーパーコンピュータは様々な分野に使われるようになり，データ科学（第 4 の科学，The 4th Paradigm），機械学習，AI などの分野での利用が特に盛んになっています。
Society 5.0 とは，サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合させたシステムにより，経済発展と社会的課題の解決を両立する，人間中心の社会，農耕（2.0），工業（3.0），情報（4.0）に続く，新たな（Society）です。狩猟（Society 1.0）
社会を指すもので，第 5 期科学技術基本計画において我が国が目指すべき未来社会の姿として初めて提唱されています。Society 5.0 の実現には IoT（Internet of Things），ロボット，AI（人工知能），ビッグデータといった社会の在り方に影響を及ぼすデジタル革新・イノベーションが不可欠です。スーパーコンピューティングは，従来の計算科学・計算工学シミュレーションに加えて，データ科学，機械学習等の知見を融合した新しい手法を適用することによって，サイバー空間（仮想空間）とフィジカル空間（現実空間）を高度に融合したシステムを形成し，Society 5.0 が目指す人間中心の社会の実現に大きく貢献すると期待されています。

2. Wisteria/BDEC-01
シミュレーション（Simulation），データ（Data），学習（Learning）の融合（「S+D+L」融合）は，シミュレーションによる計算科学に新しい道を開き，Society 5.0 実現への貢献とともに，ポストムーア時代に向けた新しい計算パラダイムとしても期待されます。
東京大学情報基盤センター（本センター）では 2015 年頃からこのような状況を想定し，「S+D+L」融合を実現するプラットフォームとして「『計算・データ・学習』融合スーパーコンピュータシステム」（通称「BDEC（Big Data & Extreme Computing）システム」）構築を目指して，様々な研究開発を進めてきました。
BDEC システムの 1 号機として，2021 年 5 月 14 日に運用を開始した Wisteria/BDEC-01 システムは，シミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）を有しています。
シミュレーションノード群（Odyssey）は「FUJITSU Supercomputer PRIMEHPC FX1000」
20 ラックから構成され，「A64FX」を 7,680 ノード（368,640 コア）搭載しています。
「A64FX」
1

は，Armv8.2-A 命令セットアーキテクチャーをスーパーコンピュータ向けに拡張した「SVE（Scalable Vector Extension）」を，世界で初めて実装したプロセッサです。最先端の 7nm プ
ロセスで製造され，48 個の演算コアと 2 個または 4 個のアシスタントコアを有し，倍精度浮動小数点演算で 3.3792 TFLOPS の理論ピーク性能を実現します。合計ピーク性能は 25.9PFLOPS です。各ノードは 32 GiB の HBM2 メモリを搭載し，シミュレーションノード群（Odyssey）の総メモリ容量は 240 TiB，総メモリバンド幅は 7.8 PB／秒です。各ノードはバイセクションバンド幅が 13.0 TB／秒のノード間相互結合ネットワーク（Tofu インターコネクト D）で結合されています。
データ・学習ノード群（Aquarius）は，富士通株式会社が開発する「FUJITSU Server
PRIMERGY GX2570」の次期モデル 45 ノードによって構成されています。各ノードは汎用CPU 2 基（インテル社製「第 3 世代 Xeon スケーラブルプロセッサ（開発コード名 Ice Lake）」）），演算加速装置（GPU）8 基（「NVIDIA A100 Tensor コア」）から構成されており，ノード間インターコネクトには NVIDIA Mellanox HDR InfiniBand ネットワークが採用されています。
データ・学習ノード群（Aquarius）の合計ピーク性能は 7.2 PFLOPS，総メモリ容量は 36.5TiB，総メモリバンド幅は 578.2 TB／秒です。各ノードは，データ転送速度が 200 Gbps の帯域を有する InfiniBand HDR を 4 リンク用いて，フルバイセクションバンド幅を持つノード間相互結合ネットワークで結合されています。さらに，外部接続のために 25 Gbps Ethernetインタフェースも有しています。
FEFS（Fujitsu Exabyte File System）による，共有ファイルシステム（容量：25.8 PB，データ転送速度：0.504 TB／秒）および SSD を搭載した高速ファイルシステム（容量：1.0 PB，データ転送速度：1.00 TB／秒）を有し，それぞれシミュレーションノード群（Odyssey），データ・学習ノード群（Aquarius）からアクセスし，大規模なデータを高速に処理することが可能です。
シミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）は，合計 160
本の InfiniBand EDR（100Gbps）を用いて 2.0 TB／秒のネットワークバンド幅で結合されています。また，データ・学習ノード群（Aquarius）は合計 800 Gbps のネットワーク転送速度で外部との通信が可能です。
ソフトウェアとしては，Fortran，C/C++コンパイラ，Python インタープリタ，MPI 通信ライブラリ等を使用できます。計算科学，データ科学，機械学習，人工知能等幅広い分野のライブラリ，ツール，アプリケーションを提供します。オープンソースアプリケーションとしては，OpenFOAM（数値流体力学），MateriApps アプリケーション群（物質科学），東京大学生産技術研究所で開発された革新的シミュレーションソフトウェア群などを利用できます。
2022 年 11 月に発表された Top500 ランキング（http://www.top500.org/）では Odyssey が 23位，Aquarius が 125 位となっております。

2

図1

Wisteria/BDEC：「S+D+L」融合のためのプラットフォーム

3. h3-Open-BDEC「計算・データ・学習（S+D+L）」融合のためには，Wisteria/BDEC-01 のようなこれまでにない革新的なハードウェアが必要ですが，様々なアプリケーション，ワークロードをWisteria/BDEC-01 上で開発，実行していくためのソフトウェア群も重要です。
当センターで開発した「ppOpen-HPC（自動チューニング機構を有するアプリケーション開発・実行環境）」，「h3-Open-BDEC（「計算・データ・学習」融合のための革新的ソフトウェア基盤）」（図 2）［2］を利用し，高性能なアプリケーションを容易に開発することが可能です。
当センターでは，センター内外の計算科学，計算機科学，数値アルゴリズム，データ科学，機械学習の専門家と協力して，エクサスケール時代のスパコンの能力を最大限活用し，科学的発見を持続的に促進するために，（計算・データ・学習）融合による革新的シミュレーシ
ョン手法を提案し，最小限の計算量・消費電力で融合シミュレーションを実現する研究開発，ソフトウェア基盤実装を実施しています。本研究では，Wisteria/BDEC-01 を（計算・データ・学習）融合のためのプラットフォームと位置付け，①変動精度演算・精度保証・自動チューニング（Automatic Tuning，AT）による新計算原理に基づく革新的高性能・高信頼性・省電力数値解法，②機械学習に基づく革新的手法である階層型データ駆動アプローチ（hDDA）の 2 項目を中心に研究開発を実施し，革新的ソフトウェア基盤「h3-Open-BDEC」を開発しています（図 2）［2］。
革新的ソフトウェア基盤「h3-Open-BDEC」（図 2）を構成する h3-Open-MATH（数値アル3ゴリズム），h3-Open-VER（精度保証），h3-Open-AT（自動チューニング），h3-Open-APP（アプリ開発）， h3-Open-DATA（データ科学），h3-Open-DDA（データ駆動アプローチ），h3-OpenUTIL（並列ユーティリティ），h3-Open-SYS（統合・制御）は複数の構成要素を含み，緊密に関連し，以下の 3 層を構成しています：①「変動精度演算に基づく新計算原理」層（h3-Open-MATH，h3-Open-VER，h3-Open-AT）②「（計算・データ・学習）融合」層（h3-Open-APP，h3-Open-DATA，h3-Open-DDA）③「統合・通信・ユーティリティ」層（h3-Open-SYS，h3-Open-UTIL）

図2

h3-Open-BDEC の概要

計算科学シミュレーションは多くの場合，非線形な問題を扱うため，多数のパラメータスタディが必要です。Wisteria/BDEC-01 では，機械学習による最適パラメータ推定を，外部から取り込んだ実験・観測データによる同化と組み合わせて，正確な解をより短時間で求めることを目指しています。
図 3 は，Wisteria/BDEC-01 における「計算・データ・学習（S+D+L）」融合のイメージです。h3-Open-BDEC を使用することによって，シミュレーションノード群で計算科学シミュレーションコードを実行し，データ・学習ノード群では外部から取り込んだ観測データや，機械学習による推論等に基づきパラメータを最適化し，更に計算を実施するというサイクルを容易に実現することができ，またパラメータ最適化によって計算時間を全体として短縮できることが期待されます。

4

図3

Wisteria/BDEC-01 利用による「計算・データ・学習」融合のイメージ

h3-Open-SYS は Wisteria/BDEC-01 のようなヘテロジニアスなシステムにおいて，シミュレーションとデータ処理実行を統合するソフトウェア群です。
h3-Open-SYS/WaitIO〔3〕は複数の並列プログラム間で通信を行うためのライブラリです。各並列プログラムは典型的には MPI プログラムであることを想定していますが，MPI以外の形の並列プログラムからも利用できるよう汎用的に設計されています。h3-OpenSYS/WaitIO は多様な並列計算機環境を想定しており，特に通信を行う並列プログラムが同一の並列計算機で動作する場合はもちろん，Wisteria/BDEC-01 の Odyssey と Aquarius のよ
うに各々の並列プログラムが異なる並列計算機で動作する場合にも対応しています。そのために通信経路としてファイルと TCP/IP を想定しています。Odyssey と Aquarius をつなぐ
Infiniband-EDR 経由で通信を行う，h3-Open-SYS/WaitIO-Socket［3,4,5,6］が 2022 年 6 月から利用可能となっておりました。このたび，Odyssey と Aquarius 間で，高速ファイルシス
テム経由でデータを転送する h3-Open-SYS/WaitIO-File［7］並びに h3-Open-SYS/WaitIOSocket と併用した h3-Open-SYS/WaitIO-Hybrid［7］も使えるようになりました。WaitIOSocket/File/Hybrid は Fortran，C/C++から MPI と同様のインタフェースで呼び出すことができ，また WaitIO-Socket と WaitIO-File/Hybrid は全く同じインタフェースで実行時の環境変数の変更だけで利用できます。詳しくは資料［3,4,5,6,7］をご覧ください。
複数の並列プログラムを連成するための上位ソフトウェア（カプラ）として h3-OpenUTIL/MP が開発されています［3,4,7,8］。カプラは本来，構造と流体，大気と海洋のような異なる物理モデルを弱連成させるためのソフトウェアですが，h3-Open-UTIL/MP はこの機能を拡張して，結合されたモデル群を並列に実行し統計処理を行う結合アンサンブル機
能や Python アプリケーションを結合するための Python インタフェースを装備しています5［3,4,7,8］。h3-Open-UTIL/MP の中からは，h3-Open-SYS/WaitIO が呼び出されています。これによって，計算科学シミュレーションと機械学習・AI のワークロードを同時に実行可能です。また，h3-Open-SYS/WaitIO-Socket との併用により，Odyssey でシミュレーション，Aquarius で機械学習というような利用方法も可能となります（図 4）［3,4］。本公募
では，このような利用もできますので，是非ご検討ください。

図4

Wisteria/BDEC-01・h3-Open-BDEC による「計算・データ・学習」融合[1] Society 5.0（内閣府）：https://www8.cao.go.jp/cstp/society5_0/[2] h3-Open-BDEC 概要：
https://www.jsps.go.jp/j-grantsinaid/12_kiban/ichiran_r01/j-data/r_1_jp_19h05662.pdf[3] 住元真司，荒川隆，坂口吉生，松葉浩也，八代尚，塙敏博，中島研吾，WaitIO-Socket：
異種システム上の複数 MPI プログラムを結合する通信ライブラリの試作，情報処理学
会研究報告（2021-HPC-181-07），2021[4] h3-Open-SYS/WaitIO-Socket，h3-Open-UTIL/MP 概要：
https://www.dropbox.com/s/k1nd0p98p5cbdeg/KN_HPC182x.pdf?dl=0[5] 住元真司他：Wistera/BDEC-01 利用事例（3）データ受け渡しライブラリ h3-OpenSYS/WaitIO（1/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No2/10_202203Wisteria-1.pdf[6] 住元真司他：Wistera/BDEC-01 利用事例（4）データ受け渡しライブラリ h3-OpenSYS/WaitIO（2/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/12_202205-Wisteria-1.pdf[7] 住元真司，荒川隆，坂口吉生，松葉浩也，八代尚，大島聡史，塙敏博，中島研吾，WaitIOHybrid:共有ファイルシステムと Socket を併用可能なシステム間通信ライブラリ，情報処理学会研究報告（2022-HPC-187-06），2022[8] 荒川隆他：Wistera/BDEC-01 利用事例（5）マルチプログラム連成ライブラリ h3-OpenUTIL/MP（1/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/13_202205-Wisteria-2.pdf
6

[9] 荒川隆他：Wistera/BDEC-01 利用事例（6）マルチプログラム連成ライブラリ h3-OpenUTIL/MP（2/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No4/09_202207-Wisteria-1.pdf

4. 共同研究の概要
2024 年度に実施する萌芽共同研究公募課題「AI for HPC：Society 5.0 実現へ向けた人工知
能・データ科学による計算科学の高度化」（以下「本共同研究」）では，（S+D+L）融合実現，データ科学，機械学習，人工知能による計算科学の高度化を目指す提案を募集します。
（1）提案の要件
本共同研究への提案は，原則として，計算科学シミュレーション（自作またはオープンソースプログラムを使用）を，データ科学，人工知能，機械学習等によって高度化，効率化することを目的とするものとします。その他，大規模データ同化と人工知能を融合するような研究も受け付けます。プログラム本体のチューニング，アルゴリズム高度化などは対象外ですが，自動チューニングによって最適アルゴリズムを選択するような提案は歓迎いたします。様々な場合が想定されますので，提案にあたっては，必ず事前に，本共同研
究応募窓口（koubo@cc.u-tokyo.ac.jp）に連絡し，本センター教員とご相談の上，提案書の作成，提出をお願いいたします。
（2）応募資格
提案者グループは，学生を除く東京大学情報基盤センター利用規程第 3 条第 1 号～第 3号及び第 6 号に該当する者，または，国内の民間企業その他の法人に所属する居住者を代表者とする 1 名以上で構成されるものとします。
提案者グループには，学生を含む利用規程第 3 条第 1 号～第 6 号に該当する者の他，企業または海外諸機関に所属する研究者・技術者を含んでも良いものとしますが，特に非居住者については，採択後別途手続きが必要となる場合があります。ご不明な点は，本共同研究応募窓口（koubo@cc.u-tokyo.ac.jp）にお問い合わせ，ご確認ください。
[10] 東京大学情報基盤センター利用規程：
https://www.cc.u-tokyo.ac.jp/guide/files/riyoukitei.pdf[11] 東京大学情報基盤センター・スーパーコンピュータシステム利用資格：
https://www.cc.u-tokyo.ac.jp/guide/application/qualification.php[12] 外国人及び海外在住者のスパコン利用について：
https://www.cc.u-tokyo.ac.jp/guide/application/non-resident.php（3）共同研究体制・グループ構成等
7

本共同研究は，提案者グループと本センターによる共同研究として実施します。
提案者グループの代表者・メンバーには対象とする計算科学分野の専門家，プログラムの詳細に精通した者を含むことを必須としますが，データ科学・人工知能等の専門家を含む必要は必ずしもありません。それらの部分については本センター教員等がサポートいたします。なお，2024 年度は最大 3-4 課題程度を採択する予定です。
本センターとの共同研究実施にあたっては，必要に応じて採択後に共同研究協約等を締結することも考慮しておりますので，個別にご相談ください。
（4）利用計算機システム
本共同研究では，Wisteria/BDEC-01 システムの利用を原則とします。
（5）実施期間
本共同研究は，随時募集を行っています（審査は年４回）。4 月 1 日以降、採択され次第研究を開始し，翌年 3 月末に終了するものとします。本共同研究は，最大 3 年まで実施することを可能としますが，各年度新たに提案書を提出していただく必要があります。
（6）JHPCN への応募義務
本共同研究の本来の目的は，得られた知見を元に本センター教員等と共同で翌年度の学際大規模情報基盤共同利用・共同研究拠点（JHPCN）共同研究に挑戦することにあります。2024 年度に採択された課題については，2025 年度以降の JHPCN 共同研究に応募して頂きます。
（7）報告書・報告会
本共同研究の成果は，翌年度 5 月末頃までに報告書として提出するものとし，本センターホームページより公開いたします。また，年度内に中間報告会（非公開），翌年度 6 月頃に最終報告会（公開）での発表をお願いいたします。各報告会では各グループ代表者の方による発表を原則としますが，都合がつかない場合はメンバーの方による発表でも結構です。
[13] 学際大規模情報基盤共同利用・共同研究拠点（JHPCN）：
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/ja/

8

5. 2024 年度共同研究について（1）スケジュール
本年度の公募，実施のスケジュールは以下の通りです。随時募集しておりますが，審査は年 4 回の実施となります。
第1回
公募説明会

第3回

第4回

2024 年 1 月 17 日(水)13:00-16:00 (オンライン)
2024 年 7 月 (オンライン)(予定)

公募開始
公募期間

第2回

2024 年 1 月 18 日（木）随時募集（2024 年度開始分
審査対象

採択通知
共同研究開始中間報告会

2 月末迄応募分

最終締切：2024 年 10 月 31 日(木)）5 月末迄応募分

8 月末迄応募分

10 月末迄応募分2024 年 3 月中旬 2024 年 6 月中旬 2024 年 9 月中旬 2024 年 11 月中旬
2024 年 4 月 1 日 2024 年 7 月 1 日 2024 年 10 月 12024 年 12 月 1 日

（予定）

（予定）

日（予定）

（予定）

2024 年 10 月～

2024 年 10 月～

2024 年 12 月～

なし

11 月頃

11 月頃

2025 年 1 月頃

次年度 JHPCN 提案

2024 年 12 月～2025 年 1 月

共同研究終了2025 年 3 月末

最終報告書提出

2025 年 5 月末

最終報告会

2025 年 6 月頃

（2）提案書
提案書は以下のような内容を含むものとし，A4 で最大 5 頁程度（⑧「メンバー情報」を除く）です。提案にあたっては，必ず事前に本共同研究応募窓口（koubo@cc.utokyo.ac.jp）に連絡し，本センター教員とご相談の上，提案書の作成，提出をお願いいたします。
また，採択された場合には，下記①～③のうち代表者連絡先以外は HP から公開します：① 共同研究課題名② 代表者情報（氏名，所属，役職，連絡先）③ 実施内容の概要（400 字程度）
④ 対象とする計算科学シミュレーションプログラムの概要，これまでのスパコン利用実績（計 1 頁）

9

⑤ 本共同研究で実現したい内容，利用予定計算機システムと利用方法概要（計 1 頁）
計算機システムの利用方法，特に必要計算機資源などについては必ずしも詳細に記述する必要はありませんが，2（4）及び各システム情報に基づき，研究目標に合った計算機システムをご検討ください。
本センターの計算機システムはバッチ処理による利用が原則で，各ジョブの最大実行時間には制限があります。
利用する計算機システムは共同研究開始後随時変更することが可能です⑥ 東大情報基盤センターへの要望，サポート内容，必要なソフトウェア等（計 1 頁）
⑦ 関連業績リスト（最大 10 編）⑧ メンバー情報（代表者も含む）(ア) ユーザ ID（わかる場合）(イ) 氏名，所属，役職・身分，電子メールアドレス(ウ) 若手（35 歳以下）か否か(エ) 居住確認（居住者／非居住者）(オ) 国籍（外国籍の方のみ）(カ) 来日時期（外国籍の方のみ）(キ) 専門分野コード(ク) 本共同研究における役割・実施内容等
提案書は，本センター教員の他，外部委員を含む課題審査委員会によって審査されます。審査は書類審査のみですが，提案書提出後メール等での問合せにご回答いただく可能性があります。
（3）問合せ先等
本共同研究問合せ窓口 koubo@cc.u-tokyo.ac.jp
本共同研究 HP

https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/

詳細情報

https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/application.php（4）公募説明会
2024 年 1 月 17 日（水）13:00～16:00（オンライン）
https://www.cc.u-tokyo.ac.jp/events/seminar/20240117.php
2024 年 7 月（オンライン）（予定）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/

10