Oakforest-PACS の導入・運用を振り返って塙 敏博 1) , 中島 研吾 1,3) , 建部 修見 2) , 朴 泰祐 2) , 梅村 雅之 2) , 中務 孝 2) ,高橋 大介 2) , 額田 彰 2) , 多田野 寛人 2) , 小林 諒平 2) , 藤田 典久 2) , 田浦 健次朗 1) , 中村 宏 1) ,下川辺 隆史 1) , 星野 哲也 1) , 三木 洋平 1) , 芝 隼人 1) , 河合 直聡 1) , 石川 裕 4) , 佐藤 三久 3,2) ,大島 聡史 5) , 伊田 明弘 6) , 近藤 正章 7,3) , 宮嵜 洋 1) , 山本 和男 1) , 小林 弘幸 2) , 田川 善教 1) ,前田 光教 1) , 小川 大典 1) , 坂井 朱美 1) , 佐島 浩之 1) , 安部 達巳 1) , 佐藤 孝明 1) , 福沢 秋津 1) ,中張 遼太郎 1) , 下條 清史 1) , 山田 新 1)1) 東京大学 情報基盤センター / 最先端共同 HPC 基盤施設 (JCAHPC)
2) 筑波大学 計算科学研究センター / 最先端共同 HPC 基盤施設 (JCAHPC)
3) 理化学研究所 計算科学研究センター
4) 国立情報学研究所 アーキテクチャ科学研究系
5) 九州大学 情報基盤研究開発センター
6) 海洋研究開発機構 付加価値情報創成部門
7) 慶應義塾大学 情報工学科
hanawa@cc.u-tokyo.ac.jp

Retrospective of Introduction and Operation of Oakforest-PACS
Toshihiro Hanawa1) , Kengo Nakajima1,3) , Osamu Tatebe2) , Taisuke Boku2) ,Masayuki Umemura2) , Nakatsukasa Takashi2) , Daisuke Takahashi2) , Akira Nukada2) ,Hiroto Tadano2) , Ryohei Kobayashi2) , Norihisa Fujita2) , Kenjiro Taura1) ,Hiroshi Nakamura1) , Takashi Shimokawabe1) , Tetsuya Hoshino1) , Yohei Miki1) ,Hayato Shiba1) , Masatoshi Kawai1) , Yutaka Ishikawa4) , Mitsuhisa Sato3,2) ,Satoshi Ohshima5) , Akihiro Ida6) , Masaaki Kondo7,3) , Hiroshi Miyazaki1) ,Kazuo Yamamoto1) , Hiroyuki Kobayashi2) , Yoshiyuki Tagawa1) , Mitsunori Maeda1) ,Daisuke Ogawa1) , Akemi Sakai1) , Hiroyuki Sajima1) , Tatsumi Abe1) , Takaaki Satoh1) ,Akitsu Fukuzawa1) , Ryotaro Nakahari1) , Kiyofumi Shimojo1) ,Hajime Yamada1)
1) Information Technology Center, The Univ. of Tokyo / Joint Center for Advanced HPC (JCAHPC)
2) Center for Computational Sciences, Univ. of Tsukuba / Joint Center for Advanced HPC (JCAHPC)
3) Center for Computational Science, RIKEN
4) Information Systems Architecture Science Research Division, National Institute of Informatics
5) Research Institute for Information Technology, Kyushu Univ.
6) Research Institute for Value-Added-Information Generation, JAMSTEC
7) Dept. of Information and Computer Science, Keio Univ.

概要

Oakforest-PACS は，筑波大学計算科学研究センターと東京大学情報基盤センターが共同で調達・運営する最先
端共同 HPC 基盤施設 (JCAHPC) によって導入された，メニーコア型大規模スーパーコンピュータシステムである。2016 年 10 月に一部の運用開始，2016 年 12 月に全系運用を開始し，5 年 6 ヶ月経過した 2022 年 3 月に運用を終了した。
本報告では Oakforest-PACS 導入の経緯や JCAHPC の活動，Oakforest-PACS によって得られた研究成果等について紹介する。

178

基盤センター内に両センターが共同調達するスーパー

1 はじめにコンピュータシステムを設置し，最先端の大規模高性

Oakforest-PACS システムは，筑波大学計算科学研

能計算基盤を構築・運営するための組織である。本施究センター [4] と東京大学情報基盤センター [5] が共同

設を連携・協力して運営することにより，最先端の計でスパコンシステム調達・運営を行う最先端共同 HPC

算科学を推進し，我が国の学術及び科学技術の振興に基盤施設 (JCAHPC)[6] によって導入された，メニー

寄与するべく，大学等の広範囲にわたる学術研究に対コア型大規模スーパーコンピュータシステムである

して大規模かつ超高速の演算処理機能を提供すること[1, 2, 3]。2016 年 10 月に一部の運用開始，2016 年 12を目指したものである。

月に全系運用を開始し [2]，5 年 6 ヶ月の運用ののち，具体的には，共同調達によって以下の実現を目指しており，OFP の導入により目的は達せられたと考え

2022 年 3 月に運用を終了した。
Oakforest-PACS は Intel 社のメニーコア CPU，Intel Xeon Phi 7250 (開発コード: Knights Landing, 68
コア, 1.4 GHz) を搭載した 8,208 ノードからなるク
ラスタ型のシステムである。2 大学の共同調達により，導入時点で国内最高性能である理論ピーク性能

25 PFLOPS，HPL 性能 13.55 PFLOPS を達成，また 2017 年 11 月に開始されたファイルアクセス性能のベンチマーク IO500 でも 1 位を獲得した。
本稿では，Oakforest-PACS の導入から運用終了まで，その経緯や JCAHPC における活動，OFP を使用して得られた研究成果等について述べる。

ている。

• 国立大の予算で国内最高性能システムを構築• スケールメリットを活かし価格性能比の高いシス
テムの調達• 一般ユーザーに馴染みのあるクラスタ型スパコン
で超大規模計算を手軽に始められる機会の提供• 複数センターによる超大規模システム運用の実証
実験

3 導入までのスケジュール
2013 年 7 月に資料招請を開始した。調達開始の段

2 導入の経緯階から一体運用を目指していたが，両大学での取り扱

2013 年 3 月，国立大学法人筑波大学と国立大学法人いを模索している段階であったため，両センターから東京大学は，「計算科学・工学及びその推進のための計同時に官報公示を行った。この段階から，システムの算機科学・工学の発展に資するための連携・協力推進

規模は東大と筑波大の比率を 2:1 と定めた。

に関する協定」を締結した。本協定の下で，筑波大学計当初より，メニーコアプロセッサを要素技術とした算科学研究センター (センター長 (当時)：佐藤 三久)[4]

クラスタシステムが有望なアーキテクチャと考え仕と東京大学情報基盤センター (センター長 (当時): 石川様の検討を始めた。東京大学情報基盤センターでは裕)[5] は，最先端共同 HPC 基盤施設（JCAHPC: Joint

T2K-Todai の後継機種に関する検討を 2010 年度からCenter for Advanced High Performance Computing）

開始し，当時まだ構想段階であった Intel の MIC アー[6] を設置した。両センターはそれぞれ，これまで国内

キテクチャ（Many Integrated Core）に注目し，2010

有数のスパコンを導入し，独自の運用方針に基づき共年 8 月の段階では，既に Intel-MIC（後の Intel Xeon

同利用を実施する一方で，HPC に関する最先端技術Phi）を念頭に置いた検討を始めていた。筑波大学計算の研究開発に関して，意見交換および研究者個人レベ

科学研究センターでも，Intel-MIC に基づく Knights

ルでの共同研究を進めてきた。2008 年には，京都大Corner (KNC) を搭載した COMA システムを 2014

学学術情報メディアセンター [7] も含めた 3 機関によ

年 4 月から運用を始めた。しかし次の製品では全く新り T2K Open Supercomputer Alliance を結び，共通

しいアーキテクチャが想定されたため，情報収集に時の基本アーキテクチャを持つ T2K-Todai (導入当時，間をかけ，資料提供まで約半年をかけて実施した。

性能国内第 1 位) および T2K-Tsukuba (同国内第 2

その後スケジュールの変更等もあったが，設置場所

位) という 2 つのスパコンをそれぞれ導入し，クラスでもある東大が窓口となることで完全に一本化した上タ型 HPC プラットフォームの共通化を試みた。T2K

で，2015 年 1 月に仕様書原案説明会を実施，2016 年

が PC クラスタベースのセンターマシンの先鞭をつけ

1 月の入札広告を経て，2016 年 4 月に富士通 (株) がたと言え，この経験から，最先端技術を採用しつつ，落札した。

価格性能比の高いシステムを実現するノウハウを共有

構築は 2 期に分けて実施し，2016 年 10 月までに，計算ノードの 1/20 以上を設置して稼働を開始し，そのできた。

JCAHPC は，東京大学柏キャンパス・東京大学情報179

後 2016 年 12 月までに全システムが設置された。4 ヶ表2

Oakforest-PACS の仕様 [1, 2, 3]

ノード

富士通 PRIMERGY CX600 M1 シャーシ

ノード数

8,208

総ピーク演算性能

25 PFLOPS

CPU

Intel Xeon Phi 7250 (開発コード: Knights Landing)+ CX1640 M1 × 8 ノード

コア数

68 コア

動作周波数

1.4 GHz

理論ピーク性能

3.046 TFLOPS

メモリ

16 GB (MCDRAM, 実効 490 GB/sec)
96 GB (DDR4-2400×6ch, 実効 90 GB/sec)

図1

表1
施設長
副施設長

インタコネクトIntel Omni-path (100 Gbps)

ファイルキャッシュシステム

DDN IME14K 940 TB (1,560 GB/sec)

並列ファイルシステム

DDN SFA14KE 26.2 PB (500 GB/sec)

Oakforest-PACS の全景

JCAHPC 運営委員会の変遷
2013/4〜

2015/4〜

2018/4〜

2019/4〜

用する手段として、KNL は以下のメモリモードを提

佐藤 三久

中村 宏

田浦 健次朗田浦 健次朗

(筑波大)

(東京大)

(東京大)

(東京大)

供している。

石川 裕

梅村 雅之

朴 泰祐

朴 泰祐

(東京大)
研究開発部門長

(筑波大)

(筑波大)

(筑波大)

中島 研吾

中島 研吾

中島 研吾

(東京大)

(東京大)

(東京大)

運用支援部門長

朴 泰祐

朴 泰祐

塙 敏博 (東京大) // 副部門長

(筑波大)

(筑波大)

建部 修見 (筑波大)広報・企画部門長

建部 修見

建部 修見

高橋 大介

(筑波大)

(筑波大)

(筑波大)

Flat モード MCDRAM は DDR4 メモリ とは独立
し，明示的にアクセスが可能

Cache モード MCDRAM を DDR4 メモリのキャッシュとして扱う (L3 キャッシュに相当)
上のモード切り替えには再起動が必要になるため、OFP においては計算ノード群を Flat モード と Cache
月間の試験利用期間を経て，2017 年 4 月から一般利用モードの 2 種類のジョブキューに分けて運用した。要を開始した。

求に基づき動的に再起動を実施することも検討した
が，8,208 ノードの OmniPath アーキテクチャによる

4 JCAHPC の体制

均一な Fat Tree 構成で，大規模に計算ノードの切り

OFP の運用に際しては，世界に例を見ない，複数組織で協働した単一システムの導入・運用を目指した

離し・組み込みが起こるとシステム全体が一時的に不安定になるために断念した。

ものであり，筑波大学と東京大学両大学間の密な連携

ユーザに対しては，計算ノードあたり 16 GB 未満と協力が必須である。そこで，JCAHPC には両センのメモリに収まる場合には Flat モードを，それを超え

ターのスパコン運用に関連する全ての教員および技術る場合には Cache モードを使用するよう推奨した。

職員が参加し，仕様の検討，システムの導入，運用等

ここで強調しておきたいのは，計算ノードを両センに携わってきている。JCAHPC には，施設長・副施

ターで物理的に分割しているわけではない点である。

設長を置くとともに，6〜10 名の両センター教員から東大と筑波大の計算資源量の比率は，あくまでもユーなる運営委員会を設置した。表 1 に運営委員会の構成ザに配分するトークンの総量で制御している。一方，を示す。OFP 運用開始に向けて，2015 年度からは研ユーザにとっては一体の大規模なシステムとして扱う

究開発部門，運用支援部門，広報・企画部門を設置し，ことができ，常時，最大 2,048 ノードまでのジョブを各部門長のもとで準備が始められ，運用開始以降も引実行することが可能であった。

き続き同様の体制を維持している。

5.2

OFP 運用の経過

図 2 に，Oakforest-PACS 運用期間中の利用率の推

5 OFP の運用移を示す。2017 年 4 月の一般利用開始当初は，Flat
モードと Cache モードを 1:1 の割合で運用を開始し5.1 OFP の構成
OFP の 構 成 を 表 2 に 示 す 。Intel Xeon Phi

た。しかし，Flat モードの利用が Cache モードに比べ(KNL)[8] 搭載システムとして，運用に当たって特て顕著に増加したため，2018 年 6 月 29 日から，Cacheに考慮を必要としたのがメモリモードの選択である。

モードのうち 1,000 ノードを Flat モードへ組み込み，KNL では，DDR4 メモリ 96 GB に加え，CPU

通常利用キューとして Flat モードと Cache モードをパッケージ内に高バンド幅メモリとして 16 GB のMCDRAM が積層されている。この MCDRAM を利180

1.7:1 の比率に変更した。
他にも以下のような運用上の変更を実施した。

KNL では CPU 内に 68 コ

表3アを搭載しているだけでなく，MCDRAM という三次年月■CPU 水冷温度の調整

スパコン性能ランキングの推移
Top500

Green500

HPCG

IO500

2016/11

6

6

3

–

2017/6

7

20

5

–

の影響を受けやすい構造であると考えられる。当初は2017/11

9

22

6

1

冷却水温度 18◦ C で運用を開始したが，CPU の特性

2018/6

12

24

9

1

2018/11

14

29

9

2

2019/6

16

29

9

3

2019/11

15

40

8

(7)

2020/6

18

45

12

11

2020/11

22

48

16

10

2021/6

32

58

23

15

2021/11

39

65

23

21

元積層メモリもパッケージに内蔵されているため，熱ばらつき等の影響で，コア周波数がノードによって大きく異なり，MPI ジョブに大きな影響があることがわ◦かった。そのため，2017 年 6 月から 12 C に水温を下げて運用を行い，これによって性能が比較的安定するようになった。

[9] では，大規模 HPC チャレンジ中に水温を 9〜
18◦ C に変更して計算性能，エネルギー消費への影響を実際に計測している。
なお，OFP の水冷システムは，チラーとクーリング
タワーのハイブリッドで構成され，気候に応じて自動的に使用割合が変わる。
■京運用終了に伴う提供資源の増量

2019 年度以降，「京」がシャットダウンされ，HPCI[10] における計算資源の枯渇が懸念された。そのため，OFP の資源提供を追加して実施した。2017, 2018 年度は 1,600 ノー
ド年 (約 20%) を提供していたのに対し，2019〜2021
年度は 3,300 ノード年 (約 40%) を提供した。そのため，「京」から「富岳」への移行期にあたる 2019, 2020
年度は，図 2 でも高い利用率を示し，年度末には月平
均 90% を超える利用率に達している。
■ゲリラ豪雨予測に向けた対応

東京オリンピック・

パラリンピック期間中のゲリラ豪雨リアルタイムシ
ミュレーション [11, 12] を目指したものであり，詳細は 7.3 節で述べる。2020 年 4 月から 6 月にかけて，月末の大規模 HPC チャレンジとしてゲリラ豪雨予測の試験を実施した。コロナ禍での保守対応の制約の中，ゲリラ豪雨予測のプロジェクトに対して Cache モードの一般利用キューから 2,000 ノード強を割り当てる
ことで対応した。2020 年 8 月 1 日から約 1 週間，約

1,200 ノードをゲリラ豪雨予測のプロジェクトに割り当て，事前試験を実施，8 月 25 日から再び約 1,200
ノードを割り当て，9 月 7 日までプロジェクト本番を実施した。
■新型コロナウイルス感染症対応 HPCI 臨時公募課題に向けた対応 詳細は 7.2 節で述べるが，2020 年度当初に実施された臨時公募課題 [13, 14] であり，通常のHPCI 課題採択とは異なり，緊急での実施が要請された。そこで，各利用グループには実行パターンに応じて優先度の高い専用キューを割り当て，円滑に遂行されるように工夫した [14]。

6 OFP の性能ランキング
表 3 に，各種スパコン性能ランキングにおける OFPの順位を示す。

2016 年 11 月には，すでに全系の動作が可能になっており，Linpack 性能による Top500[15], Linpack 測
定時の電力効率による Green500[16], 共役勾配法の性能による HPCG[17] それぞれのベンチマークを実施した。その結果，Top500 では 13.55 PFLOPS で 6 位，Green500 では 4.985 GFLOPS/W で 6 位，HPCG では 0.3855 PFLOPS で 3 位となった。Green500 では
メニーコアプロセッサによる電力効率の良さ，HPCG
では MCDRAM による高いメモリバンド幅を証明した。

2017 年 11 月 か ら は ，ス ト レ ー ジ 性 能 に よ る
IO500[18] が始まり，OFP で高速ファイルキャッシュとして導入した IME (Inﬁnite Memory Engine) の性能によって，1 位を獲得した。
運 用 終 了 直 前 2021 年 11 月 の ラ ン キ ン グ で は ，Top500 39 位，HPCG 23 位，IO500 21 位であり，
5 年 6 ヶ月に渡って上位に位置し続けたことになる。

7 研究活動・成果
7.1

概要

OFP を使用した研究活動・成果は多岐にわたっている。詳細については，2022 年 5 月 27 日に開催された「第 11 回 JCAHPC セミナー（OFP 運用終了記念
シンポジウム）」[19] の講演資料・ビデオを参照された
いが，ここではいくつかの特筆すべき事例について紹介する。筑波大学計算科学研究センターは物理学を中心とした基礎科学，東京大学情報基盤センターは地球科学，計算工学の分野で我が国トップクラスの研究を推進してきたが，5 年余りの間にこれらの分野を中心に新しい利用分野も開拓されている。

OFP は 2016 年 12 月に全系運用を開始した時点では，国内で最大のシステムであり，2019 年度前半頃までの第 I 期では，計算科学の分野で特筆すべき成果が181

100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
40.00%

全体

30.00%

Flat

20.00%

Cache

10.00%

O

ct
-1
6
Ja
n17
Ap
r17
Ju
l -1
7
O
ct
-1
7
Ja
n18
Ap
r18
Ju
l -1
8
O
ct
-1
8
Ja
n19
Ap
r19
Ju
l -1
9
O
ct
-1
9
Ja
n20
Ap
r20
Ju
l -2
0
O
ct
-2
0
Ja
n21
Ap
r21
Ju
l -2
1
O
ct
-2
1
Ja
n22

0.00%

図2

Oakforest-PACS 利用率の推移見られた。HPC Asia 2018 では地震シミュレーショ

表4

ン [20]，ISC-HPC 2018 では量子化学シミュレーショ

日付

JCAHPC セミナーの概要 [19, 22]
内容

ン [21] の分野で最優秀論文賞，最優秀論文候補となっ1

2016 年 09 月 30 日

Intel による講演

2

2016 年 11 月 02 日

ファイルキャッシュに関するチュートリアル (IME)ている。それぞれ「京」，「PizDaint」といった当時の3

2017 年 02 月 17 日

Intel コンパイラチュートリアル (午後 PCCC-WS)

42017 年 08 月 29 日

Mike Heroux 博士 (Sandia) 講演，数値アルゴリズム関連 WS

52017 年 10 月 12 日

第 1 回 OFP 利活用報告会

プリケーションレベルでもこれらと同等あるいは凌駕

62018 年 10 月 17 日

第 2 回 OFP 利活用報告会

72019 年 05 月 15 日

McKernel チュートリアル

するような高い性能が得られている。

82019 年 10 月 11 日

第 3 回 OFP 利活用報告会「大規模 HPC チャレンジ」[5, 19] は，OFP の全92020 年 10 月 15 日

8,208 ノードのうち 8,192 ノードを 24 時間専有でき

102021 年 05 月 25 日

112022 年 05 月 27 日

世界最大級のシステムとの比較が実施されており，アる，原則毎月実施される公募型のプロジェクトであり，
ここから様々な研究成果が創出された。最終的には全

第 4 回 OFP 利活用報告会「人類と地球を護るスーパーコン
ピューティング」 (COVID19 関連課題)(オンライン)(Wisteria/BDEC-01 運 用 開 始 記 念) 「JCAHPC 次 の 一
手:Oakforest-PACS の先にあるもの」 (オンライン)(OFP 運用終了記念シンポジウム) 「ありがとう OFP: 京から富岳への狭間で咲いた大輪の花」 (オンライン)部で 18 回実施された。「大規模 HPC チャレンジ」は計算科学シミュレーションだけでなく，システム運用に関する研究にも活用されている。[9] は冷却水温度の計算性能，エネルギー消費への影響を実際に計測したものであり，全系を専有可能な「大規模 HPC チャレンジ」ならではの研究であり，他のセンターでは中々実施は困難であろう。

2019 年 8 月末に「京」がシャットダウンしてからは，OFP は HPCI 第二階層 [10] の最大システムとして，「富岳」が運用を開始する 2021 年 3 月まで，事実上の National Flagship System として，我が国における計算科学関連研究の発展を支えて来た。この期間を第 II 期と位置付けることができる。

2020 年初頭に始まった新型コロナウイルス感染症（COVID-19）の流行は，我々の研究活動にも大きな影響を与えた。例えば，上述の「大規模 HPC チャレンジ」は，24 時間の保守体制が必要となるため，2020 年
度は中止せざるを得ず，2021 年度は 9 時から 17 時までに短縮して実施した。「新型コロナウイルス感染症
対応 HPCI 臨時公募課題」[10]，東京オリンピック・パ
ラリンピック期間中のゲリラ豪雨リアルタイムシミュ
レーション [12] は，人類と地球を護る，というスー
パーコンピューテイングが果たすべき役割を再認識する契機ともなった。第 II 期とのオーバーラップはあ182

るが，2020 年以降の第 III 期は OFP による研究活動の総仕上げであり，次世代システム，また計算科学とデータ科学，機械学習の融合のような新しいパラダイ
ムへ向けた準備期間，と位置付けられる。

5 年半の間，OFP の利用普及促進，成果紹介を目的として，11 回の JCAHPC セミナーが開催された[22]。表 4 はその概要である。当初はチューニング，
IME, McKernl 等のチュートリアルが中心であったが，ユーザー利用事例などを中心とした「利活用報告会」となった。
「COVID-19」関連が中心となった 2020
年度，今後の展望に焦点を置いた 2021 年度は完全オンラインとなり，それぞれ 200 名程度の参加者があった。第 11 回シンポジウムは，講演者，両センター関係者のみがオンサイトで参加するハイブリッド方式で開催された。
以下の各節では，「新型コロナウイルス感染症対応

HPCI 臨時公募課題」，「ゲリラ豪雨予測のリアルタイ
ム実証実験」について述べたあと，最後に 5 年半の利用分野の変遷について振り返る。

7.2

新型コロナウイルス感染症対応 HPCI 臨時公募
課題2020 年初頭，人類と地球が直面していた新型コロナ
ウイルス感染症 (COVID-19) という未曾有の危機の表 5 新型コロナウイルス感染症対応 HPCI 臨時公募課題（2020 年度）のうち，筑波大・東大・JCAHPC
システムを利用した 8 課題 [13, 14, 19]
課題名
新型コロナウイルスの主要プロテアーゼに関するフラグ
メント分子軌道計算
COVID-19 治 療 の 候 補 薬: chloroquine, hydroxychloroquine, azithromycin の催不整脈リスクの評価
ならびにその低減策に関する研究
新型コロナウィルス表面のタンパク質動的構造予測

代表者 (所属)をリンクさせることで，超スマート社会 Society5.0 の実現に貢献すると期待できる。研究では，スパコン上

使用システムでの大規模 I/O 削減，予報モデル計算の高速化により，

望月 祐志 (立教大学)
久田 俊明 (株式会社 UTHeart 研究所 / 東大)従来 10 分要していた計算時間を 20 秒程度にまで短縮

OakforestPACS(JCAHPC)し，約 30 倍の高速化に成功した。更に，2017 年にさい

杉田 有治 (理化学研究所)

計算機解析による SARS-CoV-2 増殖阻害化合物の探索
室内環境におけるウイルス飛沫感染の予測とその対策:
富岳大規模解析に向けたケーススタディ

星野 忠次 (千葉大学)

Spreading of polydisperse droplets in a turbulent
puﬀ of saturated exhaled air
分子動力学計算に基づく新規作用機序を示す COVID19 治療薬の同定
Covid-19 関連タンパクに対する統合的インシリコリポ

Marco Edoardo Rosti(OIST)

ジショニング

スクに対して，コンピュータ上の仮想世界と現実世界

坪倉 誠 (神戸大学)

奥野 恭史 (京都大学)
重田 育照 (筑波大学)

たま市に設置された世界初の実用型「マルチパラメー
OakbridgeCX(東大)タ・フェーズドアレイ気象レーダー（MP-PAWR）」の観測データを即時にスパコンに転送するデータ転送ソ
フトウェア，米国国立環境予測センターの全球数値天Cygnus(筑波大)

気予報システムの予報結果をリアルタイムに取得し境界条件として使用する 4 重入れ子モデルを含む，超高速降水予報システムを開発し，雲の発生・発達・衰弱・

問題解決に向けて，
「防疫」
，
「治療」
，
「創薬」など広範

消滅などの気象学的なメカニズムを考慮したシミュ

囲にわたり様々な手法による研究開発が急務であり，レーションによって，短時間で発達するゲリラ豪雨のスーパーコンピュータの有する高速な計算能力，デー

急激な変化を捉えることに成功した [12]。

タ処理能力の貢献が期待されていた。このような状況の下，HPCI（革新的ハイパフォーマンス・コンピュー
ティング・インフラ）[10] においては，関係機関の協

本 研 究 の 成 果 は ，2020 年 8 月 25 日 〜9 月 5 日（Tokyo2020 パラリンピック期間中）に首都圏において 30 秒ごとに更新する 30 分後までの超高速降水力のもと，関連する研究が必要とする計算資源を提供する臨時の課題募集「新型コロナウイルス感染症対応

HPCI 臨時公募課題」が開始された [13]。

予報のリアルタイム実証実験を行い，スマフォアプリ「3D 雨雲ウォッチ」でも公開した。図 3 は本研究の各

筑波大・東大両センターと JCAHPC は，HPCI シス
テム構成機関として「臨時公募課題」の趣旨に賛同し，これに計算資源を提供，新型コロナウイルス感染症関連研究の支援を実施した。2020 年度は合計 14 課題が採択されたが，このうち 3 課題が OFP を利用，2 課
題が Cygnus（筑波大学）[4]，3 課題が Oakbridge-CX(OBCX，東京大学) [5] を使用した。実に 14 課題のうち 8 課題が両センター関連システムによって実施されたことになる (表 5)。各課題は 2021 年度以降はHPCI 課題へと移行した。
7.3

実施項目の概要を示したものである。2021 年 8 月〜

9 月に実施された Tokyo2020 オリンピック・パラリン
ピック本番では「富岳」を使用したリアルタイム実証
実験が実施された。三好博士には第 11 回 JCAHPC
セミナーでご講演いただいた [19] が，2020 年に OFPを使用して実施した実証実験の成果を踏まえ，計算モ
デルの改良を実施し，2021 年の実証実験では更に良い成果が得られたとのことである。
本研究の実施に当たっては，2019 年 4 月頃から検討を開始し，前述の「大規模 HPC チャレンジ」に何回かトライし，必要計算資源量の見積もり，運用体制のゲリラ豪雨予測のリアルタイム実証実験

本研究は三好建正博士 (理化学研究所計算科学研究センター) の研究チームとの共同研究であり，「ビックデータ同化」の技術革新を創出し，ゲリラ豪雨に代表される局地的な気象予測に応用して，30 秒毎に更新するリードタイム 30 分の天気予報という画期的なシ
ステムを，フェーズドアレイ気象レーダーおよび国内トップクラスのスーパーコンピュータである OFP という次世代技術を駆使して実証実験し，広く防災・減災に資するとともに，気象学的ブレークスルーをもたらすものである [11, 12]。
超高解像度渦解像気象モデル SCALE に局所アン
サンブル変換カルマンフィルタ LETKF を適用し，フェーズドアレイ気象レーダーのデータを同化して，
ゲリラ豪雨のリアルタイム予測実証を行う。本研究成
果は，近年増大する突発的なゲリラ豪雨などの降水リ

183

構築等，綿密な準備を実施した。本研究における経験から得られた知見は緊急時におけるシステムの運用等
様々な局面で役だっている。

7.4

OFP 利用の変遷

OFP は 2016 年 10 月に運用開始，同 12 月に全系運用開始となった。図 4 は 2017〜2021 年度の各年度に利用分野を実行ノード時間に基づいて算出したものである。2017, 2018 年度は半分くらいが「エネルギー・物理学」が半分程度を占めている。実質的には，QCD(Quantum ChromoDynamics: 量子色力学) の利用者である。2017 年度末に Oakleaf-FX (東大，Fujitsu

PRIMEHPC FX10，「京」の商用版) が運用を終了したことにより，東大の地球科学・宇宙科学 (大気海洋，
固体地球，宇宙物理) の利用者が 2018 年度以降 OFPに移行し，徐々に利用時間が増えている。ここまでが

第 I 期である。

計算ノードを一体として構築したものになると考えて2019 年度からは，第 II 期に入り，「地球・宇宙科学」が「エネルギー・物理学 (QCD)」を上回っている。

2019 年 9 月以降「京」の利用者が移行していること

いる。

参考文献

も影響していると考えられる。「データ科学・データ[1] スーパーコンピュータシステム Oakforest-PACS

同化」が徐々に増えているのは，前節で述べた「ゲリ（メニーコア型大規模スーパーコンピュータ

ラ豪雨予測」の試計算が始まっていることと関連して

シ ス テ ム ）https://www.cc.u-tokyo.ac.jp/

いる。

supercomputer/ofp/service/2020 年度からは第 III 期に入るが，この年度は他と[2] 宮 嵜 洋 他 、Oakforest-PACS ス ー パ ー コ ン

比べて「生物科学」の割合が多いのが特徴である。こピュータシステムの運用、AXIES2017 年次大会

れらは全て，「新型コロナウイルス感染症対応 HPCI論 文 集 、https://axies.jp/_files/report/

臨時公募課題」である。2021 年度は「エネルギー・物

publications/papers/papers2017/TC1-5.

理学 (QCD)」が再び半分近くを占めている。これは，pdf「地球科学・宇宙科学」特に地球科学 (大気海洋，固体[3] 塙 敏博、JCAHPC のスパコン Oakforest-PACS地球) 分野の利用者が，2021 年 5 月に運用を開始しシステム、原子核研究、Vol. 63, No. 1, pp. 102–

た Wisteria/BDEC-01(東大)[5] のうち Odyssey へ移

113, 2018 年 10 月

行したためと考えられる。図 5 は 2021 年度の東京大
学情報基盤センターの各システムの分野別利用率であり，Odyssey では，「地球科学・宇宙科学」分野の利用[4] 筑波大学計算科学研究センター
https://www.ccs.tsukuba.ac.jp[5] 東京大学情報基盤センター

が約 50% を占めていることがわかる。また，全体的

https://www.itc.u-tokyo.ac.jpに見て，OFP では「工学・ものづくり」分野の利用が[6] 最先端共同 HPC 基盤施設 (JCAHPC)

少なかった。

http://jcahpc.jp[7] 京都大学学術情報メディアセンター

8 おわりにhttps://www.media.kyoto-u.ac.jp/

二大学センターの協力の下，最先端共同 HPC 基[8] Intel

Xeon

Phi

https://ark.intel.com/

盤施設では Oakforest-PACS を 5 年 6 ヶ月運用し，

content/www/jp/ja/ark/products/series/

2022 年 3 月に無事運用を終了した。その間，事実上75557/intel-xeon-phi-processors.htmlの National Flagship System として HPCI における

[9] J. Nonaka, T. Hanawa, F. Shoji, Analysis of

計算資源提供に貢献し，我が国における計算科学関連

Cooling Water Temperature Impact on Com-研究の発展を支えて来た。

puting Performance and Energy Consumption,

現在は，次期システム “Oakforest-PACS II” (OFP-

Proceedings of IEEE Cluster 2020, 2020II) の 2024 年 4 月 稼 働 開 始 に 向 け て ，仕 様 策[10] 革新的ハイパフォーマンス・コンピューティン

定 を 始 め る 一 方 ，東 京 大 学 情 報 基 盤 セ ン タ ー のグ・インフラ (HPCI)

Wisteria/BDEC-01 Odyssey ノードを JCAHPC とhttps://www.hpci-office.jp/

して HPCI への資源提供を続けている。

[11] 30 秒ごとに更新するゲリラ豪雨予報 — 首都圏

OFP-II については，システムのオープン性に加えでのリアルタイム実証実験を開始 — (2020 年 8て，導入時点のトレンドを見据えた先端アーキテク

月 21 日) http://jcahpc.jp/files/release_

チャの採用といった，OFP 導入の際の理念を継承し，200821.pdf

これまでと同様に大規模アプリケーションのユーザを[12] T. Miyoshi, T. Honda, A. Amemiya, S. Ot-

支えると共に，AI for HPC / Science といった AI を

suka, Y. Maejima, J. Taylor, H. Tomita,

活用する計算科学手法の推進， 計算・データ・学習のS. Nishizawa, K. Sueki, T. Yamaura, Y.

融合による Society 5.0 を支えるプラットフォーム な

Ishikawa, S. Satoh, T. Ushio, K. Koike, E.

ど幅広い応用に資することを目的としている。目標性

Hoshi, K. Nakajima, Big Data Assimilation:

能とシステム規模，電力効率を勘案すると，GPU な

Real-Time Demonstration Experiment of 30-s-

どの演算加速装置を取り入れたシステムが有望である

Update Forecasting in Tokyo in August 2020,

一方で，汎用 CPU のみの計算ノードも，一定程度のAmerican Meteorological Society 101st Annual

規模が必要であると考えており，OFP-II はこれらのmeeting, 2021

184

図3
FY.2017䜶䝛䝹䜼䞊䞉
≀⌮Ꮫ䠄QCD䠅

ᆅ⌫䞉Ᏹᐂ
⛉Ꮫ
ᮦᩱ⛉Ꮫ

䝕䞊䝍⛉Ꮫ䞉
䝕䞊䝍ྠ໬
⏕≀⛉Ꮫ䞉
⏕యຊᏛ

ᆅ⌫䞉Ᏹᐂ
⛉Ꮫ
䜶䝛䝹䜼䞊䞉
≀⌮Ꮫ䠄QCD䠅ᮦᩱ⛉Ꮫ

FY.2020

ゲリラ豪雨予測のリアルタイム実証実験の概要 [11, 12, 23]ŶŐŝŶĞĞƌŝŶŐ
FY.2018
ĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽƌŵĂƚŝŽŶ^Đŝ͘ĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽ
QCD^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ĂƚĂ

ᆅ⌫䞉Ᏹᐂ
⛉Ꮫ

䜶䝛䝹䜼䞊䞉 ᮦᩱ⛉Ꮫ≀⌮Ꮫ䠄 䠅

ŶŐŝŶĞĞƌŝŶŐ
ĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ QCD/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
FY.2021^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ĂƚĂ

ᕤᏛ

ᆅ⌫䞉Ᏹᐂ
䜶䝛䝹䜼䞊䞉 ⛉Ꮫ≀⌮Ꮫ䠄 䠅
ᮦᩱ⛉Ꮫ䝕䞊䝍⛉Ꮫ䞉
䝕䞊䝍ྠ໬ŶŐŝŶĞĞƌŝŶŐ
ĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ
QCD/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ŶŐŝŶĞĞƌŝŶŐ
ĂƚĂĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
AI
ĂƚĂ䜶䝛䝹䜼䞊䞉
≀⌮Ꮫ䠄 䠅

FY.2019

ᆅ⌫䞉Ᏹᐂ
⛉Ꮫ

ᮦᩱ⛉Ꮫ

ŶŐŝŶĞĞƌŝŶŐ
ĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ReedBush-H
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ バイオインフォマ/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
ティクス/ŶĨŽ͘^Đŝ͘͗/ᮦᩱ⛉ᏛĚƵĐĂƚŝŽŶ
⏕≀⛉Ꮫ䞉/ŶĚƵƐƚƌǇ
⏕యຊᏛ
ŝŽ
᝟ሗ⛉Ꮫ䠖
ŝŽŝŶĨŽƌŵĂƚŝĐƐ
^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ AI
ĂƚĂ
⏕≀⛉Ꮫ䞉

䕔 ᕤᏛ䞉䜒䛾䛴䛟䜚 䕔 ᩍ⫱⏕యຊᏛ䕔 ⏘ᴗ฼⏝䕔 ᆅ⌫⛉Ꮫ䞉௻ᴗ฼⏝䕔 ⏕≀⛉Ꮫ䞉
ᕤᏛ䞉
Ᏹᐂ⛉Ꮫ
䜒䛾䛴䛟䜚
⏕యຊᏛ
䕔 ᮦᩱ⛉Ꮫ
エネルギー・䕔 䝞䜲䜸䕔 䜶䝛䝹䜼䞊䞉
䜲䞁䝣䜷䝬䝔䜱䜽䝇 物理学 ᮦᩱ⛉Ꮫ ᆅ⌫⛉Ꮫ䞉≀⌮ᏛᏱᐂ⛉Ꮫ䕔 ᝟ሗ⛉Ꮫ䠖䝅䝇䝔䝮 䕔 ♫఍⛉Ꮫ䞉⤒῭䕔 䝕䞊䝍⛉Ꮫ䞉䕔 ᝟ሗ⛉Ꮫ䠖
OBCX
䝕䞊䝍ྠ໬䜰䝹䝂䝸䝈䝮䕔 ᝟ሗ⛉Ꮫ䠖

図 4 Oakforest-PACS（OFP）の利用分野 (2016〜2021
年度): 各分野のノード時間をもとに算出ŶŐŝŶĞĞƌŝŶŐ
ĂƌƚŚͬ^ƉĂĐĞ

♫఍

Reed
⛉Ꮫ ᮦᩱ⛉ᏛDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
Bush-L/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ŶŐŝŶĞĞƌŝŶŐ
ĂƚĂĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
Odyssey^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ĂƚĂ

䝞䜲䜸
䜲䞁䝣䜷䝬
䝔䜱䜽䝇

᝟ሗ⛉Ꮫ䠖AI

⏕≀⛉Ꮫ䞉
⏕యຊᏛ
䝕䞊䝍
⛉Ꮫ
⏕≀⛉Ꮫ䞉
⏕యຊᏛ ᕤᏛ䞉
䜒䛾䛴䛟䜚
ᆅ⌫⛉Ꮫ䞉
Ᏹᐂ⛉Ꮫ

ŶŐŝŶĞĞƌŝŶŐ
ĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
OFP
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ŶŐŝŶĞĞƌŝŶŐ
ĂƚĂĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
AI/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
Aquarius^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ĂƚĂ

工学・
ものつくり

地球科学・
宇宙科学

䜶䝛䝹䜼䞊䞉
≀⌮Ꮫ

ᮦᩱ⛉Ꮫ

᝟ሗ⛉Ꮫ䠖

䜰䝹䝂䝸䝈䝮

ᕤᏛ䞉
䜒䛾䛴䛟䜚
ᆅ⌫⛉Ꮫ䞉
Ᏹᐂ⛉Ꮫ

ᮦᩱ⛉Ꮫ

ᕤᏛ䞉䜒䛾䛴䛟䜚
ᆅ⌫⛉Ꮫ䞉Ᏹᐂ⛉Ꮫᮦᩱ⛉Ꮫ䜶䝛䝹䜼䞊䞉≀⌮Ꮫ᝟ሗ⛉Ꮫ䠖䝅䝇䝔䝮᝟ሗ⛉Ꮫ䠖䜰䝹䝂䝸䝈䝮
᝟ሗ⛉Ꮫ䠖
ᩍ⫱
⏘ᴗ฼⏝
⏕≀⛉Ꮫ䞉⏕యຊᏛ䝞䜲䜸䜲䞁䝣䜷䝬䝔䜱䜽䝇♫఍⛉Ꮫ䞉⤒῭Ꮫ䝕䞊䝍⛉Ꮫ䞉䝕䞊䝍ྠ໬ŶŐŝŶĞĞƌŝŶŐ
ĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/AIĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ŶŐŝŶĞĞƌŝŶŐ
ĂƚĂĂƌƚŚͬ^ƉĂĐĞDĂƚĞƌŝĂů
ŶĞƌŐǇͬWŚǇƐŝĐƐ
/ŶĨŽ͘^Đŝ͘͗^ǇƐƚĞŵ
/ŶĨŽ͘^Đŝ͘͗ůŐƌŽƌŝƚŚŵƐ
/ŶĨŽ͘^Đŝ͘͗/ĚƵĐĂƚŝŽŶ
/ŶĚƵƐƚƌǇ
ŝŽŝŽŝŶĨŽƌŵĂƚŝĐƐ
^ŽĐŝĂů^Đŝ͘ΘĐŽŶŽŵŝĐƐ
ĂƚĂ

図 5 東京大学情報基盤センター各システムの利用分野(2021 年度)

[13] HPCI: 新 型 コ ロ ナ ウ イ ル ス 感 染 症 対 応 HPCI[20] K. Fujita, K. Katsushima, T. Ichimura, M.

臨 時 公 募 課 題 の 募 集 に つ い て https://www.

Horikoshi, K. Nakajima, M. Hori, and L.

hpci-office.jp/pages/hpci_covid19

Maddegedara, Wave Propagation Simulation of[14] 前 田 光 教 他 ，新 型 コ ロ ナ ウ イ ル ス (COVID-

Complex Multi-Material Problems with Fast

19) 感 染 拡 大 防 止 に 向 け た ス ー パ ー コ ン

Low-Order Unstructured Finite-Element Mesh-ピ ュ ー タ の 運 用 と 対 策 ，AXIES2020 年 次 大

ing and Analysis, Proceedings of HPC Asia

会 論 文 集 ，https://axies.jp/_files/conf/

2018, 2018 (Winner of Best Paper Award)[21] M. Kreutzer,

conf2020/FA2-5.pdf

D. Ernst,

A. R. Bishop,[15] Top500 https://www.top500.org/

H. Fehske, G. Hager, K. Nakajima, and[16] Green500

G. Wellein, Chebyshev Filter Diagonaliza-

https://www.top500.org/lists/tion on Modern Manycore Processors andgreen500/[17] High-Performance

Conjugate

Gradient

GPGPUs, Proceedings of ISC High Perfor-(HPCG) Benchmark https://www.top500.

mance 2018, LNCS 10876, pp.329-349, 2018
(Finalist of Hans Meuer Award)

org/lists/hpcg/[22] JCAHPC セミナー https://www.cc.u-tokyo.

[18] IO500 https://io500.org[19] 第 11 回 JCAHPC セミナー (OFP 運用終了記念
シンポジウム)「ありがとう OFP: 京から富岳への狭間で咲いた大輪の花」(2022 年 5 月 27 日)

ac.jp/events/jcahpc/[23] 3D 雨雲ウォッチ
https://pawr.life-ranger.jp/

https://www.cc.u-tokyo.ac.jp/events/
jcahpc/11.php

185