Society 5.0 を実現する BDEC システム中島研吾 1)，塙 敏博 1)，下川辺隆史 1)，坂本龍一 1)，有間英志 1)，星野哲也 1) ，伊田明弘 1)，三木洋平 1)，河合直聡 1)，芝 隼人 1)
1) 東京大学情報基盤センター

BDEC System for Society 5.0
Kengo Nakajima1), Toshihiro Hanawa1), Takashi Shimokawabe1), Ryuichi Sakamoto1),
Eishi Arima1), Tetsuya Hoshino1), Akihiro Ida1), Yohei Miki1), Masatoshi Kawai1),
Hayato Shiba1)
1) Information Technology Center, The University of Tokyo
概要
スーパーコンピューティングは従来の計算科学シミュレーション中心から，データ科学，機械学習との融合へと移行しつつある。東京大学情報基盤センターにおいて（計算＋デー
タ＋学習）融合による Society 5.0 の実現を目指すプラットフォームとして整備を進めている BDEC システム（Big Data & Extreme Computing）と関連した取り組みについて紹介する。
Oakbridge-CX）のシステム〔1〕を運用しており，

1 背景：東大センターの現状

総利用者数は学内外を合計して約 2,600 名，その東京大学情報基盤センター〔1〕（以下「当センタ

うち 55％は学外利用者である。各システムは，高ー」）は 1965 年に東京大学大型計算機センターとい計算性能，ユーザーフレンドリなプログラム開して設立されて以来 50 年余り，全国共同利用施

発環境，安定した運用が利用者に高く評価されて設，学際大規模情報基盤共同利用・共同研究拠点いる。の中核拠点，革新的ハイパフォーマンス・コンピ

計算科学が「第三の科学（The Third Pillar ofューティング・インフラ（HPCI）〔2〕の構成機関Science）」と呼ばれるようになって久しいが，近年として，国内外の産学官の各機関で実施されていは様々なデータを活用することによって更に新しるスーパーコンピュータを使用した大規模シミュい科学を開拓する試みが始まっている。

レーションによる計算科学・計算工学の研究の発当センターのシステムの利用分野では，①工学・ものづくり，②地球科学・宇宙科学，③材料科展に貢献をしてきた。
2020 年 10 月 現 在 ， 当 セ ン タ ー で は 4 式（ Reedbush-H ， Reedbush-L ， Oakforest-PACS ，社会科学
経済学

（a）
情報科学：
アルゴリズム.
工学・
ものづくり
材料科学

地球科学・
宇宙科学

Engineering
Earth/Space（b）
Material
工学・
Energy/Physics
バイオインフォマ
ものづくり
ティクス・医療画像
Info.
Sci. : System
処理・ゲノム解析
Info. Sci. : Algrorithms 材料科学
Info. Sci. : AI
生物科学
エネルギー・
Education
生体力学
物理学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
DataEngineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

図 1 実行ジョブノード時間の分野別比率（2019 年度），（a）Reedbush-U（Intel Xeon/BDW），（b）Reedbuah-H（Intel Xeon/BDW + NVIDIA Tesla P100（ノード当たり 2GPU））

（a）

データ科学

バイオインフォマ
ティクス・ゲノム解析（b）Engineering
バイオインフォマ
Earth/Spaceティクス・ゲノム解析

Material

生物科学
生体力学
地球科学・宇宙科学
エネルギー・物理学
材料科学

生物科学
Energy/Physics
工学・生体力学
Info. Sci. : System ものづくり

Info. Sci. : Algrorithms
エネルギー・Info.
Sci. : AI
物理学
Education
地球科学・Industry
宇宙科学
材料科学
Bio
Bioinformatics
Social Sci. & Economics
Data

工学・ものつくりEngineering
地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

図 2 実行ジョブノード時間の分野別比率（2019 年度，OBCX：2019 年 10 月～2020 年 8 月末），（a）OakforestPACS（OFP，Intel Xeon/Phi），（b）Oakbridge-CX（OBCX，Intel Xeon Platinum 8280（Cascade Lake）

学，が長年にわたって利用時間の合計 80％以上をて初めて提唱された〔5〕。

占めてきたが〔3〕，当センター初の GPU 搭載シス

Society 5.0 の実現には IoT（Internet of Things），

テ ム と し て 2017 年 4 月 に 運 用 を 開 始 し たロボット，AI（人工知能），ビッグデータといった

Reedbush-H（データ解析・シミュレーション融合

社会の在り方に影響を及ぼすデジタル革新・イノ

スーパーコンピュータシステム GPU 搭載ノード

ベーションが不可欠である。スーパーコンピュー群）は人工知能，医療画像処理を中心としたバイ

ティングは，従来の計算科学・計算工学シミュレオインフォマティクスなどより多様な分野で使用

ーションに加えて，データ科学，機械学習等の知されている（図 1（b））。

見を融合した新しい手法を適用することによって，また，本来計算科学・計算工学用途を念頭にサイバー空間（仮想空間）とフィジカル空間（現実おいて導入された Oakforest-PACS（OFP），空間）を高度に融合したシステムを形成し，Oakbridge-CX（OBCX）においても図 2（a,b）にSociety 5.0 が目指す人間中心の社会の実現に大き示すようにデータ科学，バイオインフォマティクく貢献すると期待される。

ス分野の利用が多い。特に OBCX は全 1,368 ノー

海外に目を向けてもアメリカエネルギー省のドのうち，OBCX は 128 ノードに高速 SSD（ノーエクサスケールシステム計画の一つであるド当たり容量 1.6TB）を搭載しており，OBCX に

Aurora/A21 システムのホームページ〔6〕では「シ搭載されたソフトウェア BeeGFS/BeeOND〔4〕にミュレーション（Simulation）＋データ（Data）＋よって合計 200TB 以上の容量を有する高速ファ学習（Learning）（S+D+L）」の融合（「S+D+L」融イルシステムとして利用することも可能あり，ま合）が謳われている。

たデータ科学関係のソフトウェア群も充実していることから，バイオインフォマティクスを中心としたデータ科学分野の利用が増加しつつある。

2 Society 5.0 と「S+D+L」融合

3 BDEC システム
当センターでは 2015 年頃からこのような状況を想定し，「S+D+L」融合を実現するプラットフ
ォームとして「『計算・データ・学習』融合スーパ

Society 5.0 とは，サイバー空間（仮想空間）とーコンピュータシステム」（通称「BDEC（Big Data

フィジカル空間（現実空間）を高度に融合させた& Extreme Computing）システム」）構築を目指して，システムにより，経済発展と社会的課題の解決を様々な研究開発を進めてきた〔3〕。現在当センタ

両立する，人間中心の社会（Society）である。狩猟ーで運用中の Reedbush（データ解析・シミュレー社会（Society 1.0），農耕社会（Society 2.0）
，工業ション融合スーパーコンピュータ，2016 年 7 月運社会（Society 3.0），情報社会（Society 4.0）に続く，用開始），Oakbridge-CX（大規模超並列スーパーコ

新たな社会を指すもので，第 5 期科学技術基本計

ンピュータシステム，同 2019 年 7 月）はいずれも画において我が国が目指すべき未来社会の姿とし「BDEC システム」設計のためのプロトタイプ，実証システムとしても位置づけられている。

である。

全体のピーク演算性能（倍精度）は以上を予定しており，そのうち程度がシミュレーションノード群，程度がデータ・学習ノード群となる予定である。この他，両ノード群からアクセス可能な共有ファイルシステム（ルシステム（以上），高速ファイ以上）を有している（図 ）。

システムは東京大学柏キャンパスに建設中の「学術高速大容量ネットワーク拠点」に設置される。
図「計算・データ・学習」融合スーパーコンピュー
タシステム（，）（ ）概システムは，指し，年る。

は「

月

年月の運用開始を目

要「計算＋データ＋学習（）」融合のために日現在調達が進められていは，」融合を実現するために，ドウェアが必要であるが，様々なアプリケーショ「シミュレーションノード群（（ ，のようなこれまでにない革新的なハーン，ワークロードを上で開発，実行してい））」と「データ・学習ノード群（くためのソフトウェア群も重要である。当センタ（ーでは，「計算 データ 学習」融合のためのプラッ，））」から構成されている。シミュレーションノード群はその名の通り「うち「 」を担当しており，汎用」のから構成されている。データ・学習ノード群は「する」を担当クラスタ（各ノードに 基またはを搭載）であり，一部のノードはトフォームであるシステムの能力を最大限引き出し，最小の計算量・消費電力での計算実行を実現するために：

基の等の

①

変動精度演算・精度保証・自動チューニング

外部ネットワークを介して，サーバー，ストレーによる新計算原理に基づく革新的高性能・高ジ，センサーネットワークを含む様々な外部リソ

信頼性・省電力数値解法ースに直接アクセス可能である。データ・学習ノード群は，観測データをリアルタイムに取り込ん②

機械学習による革新的手法である階層型データ駆動アプローチ（で解析，シミュレーションに利用することが可能

図h3-Open-BDEC の概要）

，の 2 項目を中心とした研究を推進し，その成果をース数を減らすことにより，全体としての計算量革新的ソフトウェア基盤「h3-Open-BDEC」としてを減少させる階層型データ駆動アプローチ（hDDA）整備する（図 4）。「h3」は BDEC システムがに関する研究を実施している。また，この他，非定Hierarchical，Hybrid，Heterogeneous（h3）な特徴を常計算において数タイムステップ先の計算結果を持っていることに由来している。また，h3-Open-

機械学習の知見によって予測する方法に関する研BDEC は，その名称の示す通り，オープンソース究も実施している。二次元の格子ボルツマン法

として公開し，BDEC システムのみならず，様々（Lattice Boltzmann Method，LBM）による非圧縮なスパコン上で利用可能とする。

性流体シミュレーションに現在開発中の手法を適用し，計算結果を正しく予測できる事例が報告さ（2）研究成果れている〔9〕。

従来，科学技術計算には倍精度浮動小数点演算（FP64）が広く使用されてきたが，近年，単精度（FP32），半精度（FP16）等による低精度演算を積600.0045.00

Memory(a)Package500.0035.00

極的に活用した研究が広く行われている。疎行列
400.00

条件の良い問題では，倍精度を単精度に置き換えることによって，収束までの反復解法は 20％程度増加するものの，計算時間は半分程度になる事例

30.00

25.00

sec.

Power Consumption (W)を対象とした前処理付き反復法の例では，比較的300.0020.00

200.00

15.00

10.00
100.00が報告されている〔8〕。計算時間の減少率は，使5.00

用計算機，実装方法（疎行列格納法），問題規模等
によって様々であるが，一般に計算時間に比例し0.00

0.00
RBU/S

(b)

OFP/S

OBCX/S

P100/S

V100/S

RBU/D

OFP/D

OBCX/D

P100/D

V100/D

15,000.00

45.00

MemoryTimeて消費エネルギ（J 値）は減少する。

Package

40.00

35.00

P100）
・V100（V100））の 1 ノードを使用して ICCG

10,000.00

30.00

25.00

sec.

PACS，OFP），NVIDIA Tesla P100（Reedbush-L，

Energy Consumption (J)図 5 は様々な CPU，GPU（Intel Xeon/Broadwell（Reedbush-U，RBU），Intel Xeon Phi（Oakforest-

20.00

5,000.00

15.00

法の計算時間，消費電力（W），消費エネルギ（J）

10.00

を比較したものである〔8〕。消費エネルギーと計算時間はほぼ正比例していることがわかる。計算時間としては，OFP，OBCX，P100，V100 はほぼ
拮 抗 し て い る が ， OBCX ， V100 が や や 速 い 。
OBCX は消費電力（W），消費エネルギ（J）が OFP，
P100，V100 の 3 倍以上である。OFP，P100，
V100 は消費エネルギ（J）はほぼ等しいが，P100，40.00

Time

5.00

0.00

0.00
RBU/S

OFP/S

OBCX/S

SingleP100/S

V100/S

RBU/D

OFP/DOBCX/D

P100/D

V100/D

Double

図 5 ICCG 法の計算時間と（a）消費電力（W），（b）
消費エネルギー（J），各計算機環境の最適ケース〔8〕（3）利用事例

V100 についてはホストの CPU の消費電力，消費

図 6 は，BDEC 上における「計算＋データ＋学エネルギー（アイドル時でも 1 ノード 120W 以上）習（S+D+L）」融合のイメージである。h3-Open-は考慮されていない。P100⇒V100 の計算速度向BDEC を使用することによって，シミュレーショ上は Medium で 35-40%，Large で 45-60%である。

ンノード群で計算科学シミュレーションコードを全般的に消費電力（W）は Medium⇒Large で増加実行し，データ・学習ノード群では外部から取りしており，特に OFP では 2 倍程度になっている。

込んだ観測データや，機械学習による推論等に基h3-Open-BDEC では，低精度演算を積極的に導入

づきパラメータを最適化し，更に計算を実施するすることによって，シミュレーションに要する時というサイクルを容易に実現することができ，ま間，及び消費エネルギーを削減することが可能でたパラメータ最適化によって計算時間を全体としあるが，機械学習の知見を導入することにより，て短縮できることが期待される。

更に計算時間を短縮することが可能である。h3-

シミュレーションとデータ科学の融合としてはOpen-BDEC では，パラメータスタディのためのケ

気候・気象シミュレーションとデータ同化の事例

が良く知られているが，当センターでは東京大学地震研究所と協力して，三次元強震動シミュレーション＋データ同化」融合に成功している〔
本研究では，〕。

年度からリアルタイム観測デションとリアルタイムデータ同化を融合させた新ータを使用して「シミュレーション＋データ同化」

しいシミュレーション手法の開発を実施している融合を実施するためのフレームワークの研究開発（図 ）。

を実施している。東大地震研，防災科技研，気象庁によって整備された地点以上，によって，全国 ，で計測されている地震観測データをリアルタイムに取得することが可能となっている。当センターでは，研の協力を得て，年度に東大地震システム（の外部接続ノードを使用して）から得られる観測データを直接利用可能となっている。
図学習（システムを使用した「計算＋データ＋）」融合

年度までにに基上で，から取得した観測デーづき，タを，の入力条件として与えられるようにするためのプロトタイプを整
古村孝志教授（東京大学地震研究所）の研究グ備した。

年度は年度成果をもとに，よループは，最適内挿法によるデータ同化と三次元り実用的でリアルタイム性の高いシステム構築を

強震動シミュレーションを組み合わせた目指し，現在整備中の並列実行環境（）の研究開発を実施しており，既に既存ののプロトタイプを使用して，上にシステムの構築を実施している。

地震観測データファイルを使用して「シミュレー

図リアルタイムデータ同化と三次元強震動シミュレーションの融合（出展：古村孝志教授（東京大学地震研究所））

5 まとめスーパーコンピューティングは従来の計算科学シミュレーション中心から，データ科学，機械学習との融合による新しいスタイルへと移行しつつある。本稿では，BDEC システム，h3-Open-BDECなど，「計算＋データ＋学習」融合とそれによるSociety 5.0 の実現を目指す東京大学情報基盤セン
ターの取り組みについて紹介した。当日の発表では，BDEC システムの導入状況についても併せて紹介する予定である。

参考文献[1] 東京大学情報基盤センター（スーパーコンピューティング研究部門・スーパーコンピューティングチーム）：
https://www.cc.u-tokyo.ac.jp/[2] 革新的ハイパフォーマンス・コンピューティ
ング・インフラ（HPCI）；
http://www.hpci-office.jp/[3] 中島他，Society 5.0 実現に向けた（計算＋データ＋学習）融合，AXIES 2019 福岡[4] BeeGFS, BeeOND：
http://www.hpctech.co.jp/hardware/beegfsbeeond.html[5] Society 5.0（内閣府）：
https://www8.cao.go.jp/cstp/society5_0/[6] Aurora/A21 System, Argonne National
Laboratory: https://www.anl.gov/topic/aurora[7] h3-Open-BDEC: http://nkl.cc.u-tokyo.ac.jp/h3Open-BD[8] 中島研吾，坂本龍一，星野哲也，有間英志，塙敏博，近藤正章，低精度演算とアプリケー
ション性能，情報処理学会研究報告（2020HPC-174-5）（第 174 回 HPC 研究会）
[9] Shimokawabe, T., Onodera, N., Nakajima, K.,
Hanawa, T., Mohta, S., Wang, W., Fast Surrogate
for Approximating Large-scale CFD Simulations,
MS 1603A: Parallel Programming Models,
Algorithms and Frameworks for Extreme
Computing & Big Data, 7th Asian Pacific Congress
on Computational Mechanics (APCOM 2019),
2019[10] Furumura, T., T. Maeda, and A. Oba, Early
Forecast of Long ‐ Period Ground Motions via
Data Assimilation of Observed Ground Motionsand Wave Propagation Simulations, Geophys. Res.
Lett.,
https://doi.org/10.1029/2018GL081163,
2018