電力需給ひっ迫状況下におけるスーパーコンピュータシステ
ム運用山田 新1,a)宮嵜 洋1

前田 光教1 佐藤 孝明1 山本 和男1中島 研吾2 塙 敏博2

福沢 秋津1

中張 遼太郎1Operation of Supercomputer Systems under Power Supply and DemandConstraints
H AJIME YAMADA1,a) H IROSHI M IYAZAKI1 M ITSUNORI M AEDA1 TAKAAKI S ATOH1 K AZUO YAMAMOTO1A KITSU F UKUZAWA1 RYOTARO NAKAHARI1 K ENGO NAKAJIMA2 T OSHIHIRO H ANAWA2
概要：本稿は、昨今の電力需給ひっ迫に対して、東京大学情報基盤センターで用意しているスーパーコンピュータシステムの消費電力削減策の内容と、2022 年 3 月 22 日の「電力需給ひっ迫警報」及び、同年 6 月27 日の「電力需給ひっ迫注意報」発令を受けて実際に消費電力削減を実施した際の成果について報告する。

2.1 Wisteria/BDEC-01 スーパーコンピュータシステム

1. はじめに

Wisteria/BDEC-01 は、2 つのサブシステム Odyssey と昨今、火力・原子力発電所設備の休廃止による電力供給

Aquarius で構成 (図 1) され、富士通株式会社により開発さ力の低下と、異常気象による突発的な需要増加の発生によれたスーパーコンピュータである。総理論演算性能はそれり、電力需給のひっ迫が発生する状況が増加している。こぞれ 25.9 PFLOPS (Odyssey)、7.2 PFLOPS (Aquarius)、合計のような状況の中、政府・電力会社各社からは節電要請が33.1 PFLOPS である。Odyssey と Aquarius を利用するため広くなされている。のログインノード及び各ファイルシステムは、管理サーバ

さて、東京大学情報基盤センター[1], [2](以下、当センター)でも節電要請に応えるべく節電への取り組みを実施しして(ジョブ管理等) も含め、同じ環境が利用できるよう構成されている。

いるところであるが、中でもスーパーコンピュータシステ消費電力については、冷却設備を除いた Wisteria/BDEC-ムは多くの電力を消費しており節電効果も大きくなる。本

01 全体で約 2,400kW、Odyssey の計算ノードで約 2,000kW、稿では、当センターが保有する「計算・データ・学習」融合

Aquarius の計算ノードで約 250kW であり、計算ノードがスーパーコンピュータシステム (Wisteria/BDEC-01)[3] 、大規消費電力 の 9 割以上を占める。

模超並列スーパーコンピュータシステム (Oakbridge-CX)[4]2.1.1 シミュレーションノード群 (Odyssey)の 2 システムでの消費電力削減の取り組みを紹介する。

Odyssey は、Armv8.2-A 命令セットアーキテクチャをスーパーコンピュータ向けに拡張した SVE(Scalable Vector

2. 各システムの概要

Extension) を実装した CPU である A64FX を搭載した計算

最初に電力削減の対象となるシステムの概要を示す。

ノードで構成されたノード群である。各ノードは、48 個の演算コアと 2 個または 4 個のアシスタントコアを有しており、Odyssey 全体でのコア数は 368,640 コアとなる。ノード間ネットワークについては、バイセクションバンド幅が12a)東京大学 情報システム部 情報基盤課
Information Systems Department, Information Technology Group,
The University of Tokyo.
東京大学 情報基盤センター
Information Technology Center, The University of Tokyo.
yamada@cc.u-tokyo.ac.jp

19

13.0 TB/s の Tofu インターコネクト D で各ノードが結合されている。

2.1.2 データ・学習ノード群 (Aquarius)
Aquarius は CPU 2 基 (Intel Xeon Platinum 8360Y) と、

図 1 Wisteria/BDEC-01 の概要図

GPU （NVIDIA A100 Tensor コア）を 8 基搭載した計算CascadeLake) を搭載したスーパーコンピュータシステムでノードで構成されたノード群である。各ノードは、25 Gbpsある (図 2)。計算ノードは 1,368 台で、そのうち 128 台はの Ethernet インタフェースを備えており、Aquarius は合計SSD 搭載ノードである。計算ノード単体の理論演算性能は800 Gbps のネットワーク転送速度で外部との通信が可能

4.8384TFLOPS、主記憶容量は DDR4 192GiB であり、全体な構成となっている。当センターの既存システムであるでは 6.61PFLOPS の性能、256.5TiB の主記憶容量を有してOakbridge-CX と同様に、Aquarius の一部のノードは 学術いる。消費電力は 、冷却設備を除いた Oakbridge-CX 全体

情報ネットワーク (SINET) 等の外部ネットワークを介しで約 950kW、計算ノードが約 850kW であり、消費電力のて、様々な外部リソースに直接アクセス可能であり、観測9 割以上を計算ノードが占める。

データをリアルタイムに取り込んで解析、シミュレーションに利用することも可能である。

2.1.3 システムの特色
本システムは、「計算・データ・学習」融合スーパーコン
ピュータシステム (通称「BDEC(Big Data & Extreme Com-puting) システム」)[5] 構築を目指した、「BDEC システム」の 1 号機として、設計、導入を実施し、運用を開始したシステムである。Odyssey と Aquarius を使用し、幅広いアプリケーションをカバーすることによって、最先端の科学技術計算を支える重要なインフラとなることだけではなく、東京大学各部局 (生産技術研究所、地震研究所、大気海洋研究所、物性研究所)、理化学研究所等との協力のもと、ものづくり、地球科学分野 (固体地球、大気・海洋)、物質科学などの分野における「シミュレーション（Simulation）＋データ（Data）＋学習（Learning）（S+D+L）」融合により、Society 5.0 を実現していく重要なプラットフォームとして

図 2 Oakbridge-CX の概要図活用がなされている。

2.2.1 システムの特色
2.2 Oakbridge-CX スーパーコンピュータシステム

本システムの SSD 搭載ノードは各計算ノードの SSD

Oakbridge-CX は Intel Xeon Platinum 8280(開発コード名：20を個別に使用できる他、ジョブ割り当ての都度 BeeGFS

onDemand (BeeOND) により 200TB 以上の単一の並列共有
ファイルシステム (/dist) を構成して利用可能であり、高速な I/O が必要な処理に最適である。また、128 ある SSD 搭
載ノードの内 16 ノードは外部接続ノードとして構成しており、SINET を経由して、外部計算資源（サーバ、ストレジ、センサーネットワーク等）に直接接続が可能であるため、大量のデータをリアルタイムに処理する場合に威力を発揮する。実際の活用例として、地震観測装置やデータアーカイブと連携した利用が行われている。外部接続ノードの運用には、システムの構成やセキュリティ等、通常の計算ノードとは異なった配慮が必要であり、運用にあたって得られた知見は、先述の Wisteria/BDEC-01 導入・運用にも還元がなされている。

3. 電力需給ひっ迫警報等
3.1 電力の予備率
電力需要は常に一定ではなく季節や日内での変動がある

図3

が、電気を大量に貯蔵する事は困難であるため、想定される電力需給ひっ迫警報等の発令流れ電力需要よりも多くの供給能力を常に確保し、猛暑による需要の急増や発電設備のトラブルによる供給能力の急減なの段階でシステムを停止し始める必要があり、ユーザーへどの状況に備えている。この余分に確保された供給能力のの影響が過大となってしまう。そこで、電力需給ひっ迫度事を供給余力といい、電力需要に対する電力供給余力の割に応じた電力削減プランをプラン A 〜 C まで策定し弾力合を電力の予備率という。電力の需要は 3%程度のぶれが的な電力削減が可能となるように工夫を凝らした。

あることから、安定供給には予備率 3%が最低限必要 [7] となお、先述のように冷却設備を除いたシステムの消費電されており予備率がこれを下回った場合には、需給がひっ力は、9 割以上を計算ノードが占めるていることから、以迫して不安定となり最悪の場合は停電を招く恐れがある。

下のプランでも計算ノードを停止する事に重点を置いてなお、予備率には大手電力会社の管轄エリア毎に計算いる。

されるものと、電力を融通することのできる複数のエリアをひとまとめにして計算した広域の 2 種類があるが、電力需給ひっ迫時に使用されるのは主に後者である。

4.2 プラン A
プラン A は、最初に実施が検討されるプランである。

Odyssey では新規ジョブを実行抑止し、計算ノードを 0,3.2 電力需給ひっ迫警報等の発令960, 1920, 2880, 3840 のいずれかの数で停止する。960 ノー

電力需給ひっ迫を解消するための方法の１つとして電力ド単位となっているのは、ノード間ネットワーク (Tofu イ

需要を削減する事が有効だが、スーパーコンピュータシスンターコネクト D) の y 軸方向 [6] に停止するノードを選定

テムのように急に停止できない機器や設備も数多く存在すするためである。

る。そのため、需要家が前もって準備できるように電力需Oakbridge-CX では新規ジョブを実行抑止し、計算ノード給ひっ迫警報等が資源エネルギー庁によって用意され事前を 0〜700 ノードの範囲で停止する。この停止はジョブ実に発令される事となっている。発令される条件と発令され行中でないノードをリソースグループから順に切り離し、る際の流れをまとめると図 3 の通りである。なお【】内に可能なノードから停止する方法を取る。 Aquarius について示したものは発令対象となる電力予備率の値である。

は特段の作業を実施しない。通常運用からプラン A の適用

つまり、電力需給ひっ迫によって節電要請が出されるのは前日の 16 時頃であり、実際に停電が確定するのは当日完了 (最大ノード数の場合) までに要する時間は約 1 時間である。となってからである。

4.3 プラン B

4. 電力需給ひっ迫度に応じた対策

プラン B は、プラン A よりも電力を削減するためのプラ4.1 電力削減プランンである。また後述するプラン C の実施を見据えたプラン

各システムを通常の保守時と同様の手順で停止した場合、であり、本プランの状態を維持することで、通常運用状態作業に半日以上の時間を要するため、需給ひっ迫準備情報からプラン C に直接移行するよりもプラン C 自体の作業時21間を短縮する事が出来る。本プランでは、Wisteria/BDEC-[9]01(Odyssey、Aquarius の双方) と Oakbridge-CX においてす削減のためにプラン A を実施した。その際のタイムスケべてのジョブを打ち切り計算ノードを停止する。なお、通ジュールは次のとおりである。

された。これを受けて、当センターでは、自主的に電力常運用からプラン B の適用完了までに要する時間は約 1 時間である。

日時

表 1 2022 年 3 月 22 日のタイムスケジュール
システム
作業

03/22 13:40

Odyssey,Oakbridge-CX

新規ジョブ実行抑止

03/22 14:45

Oakbridge-CX

計算ノード部分停止

プラン C は、Wisteria/BDEC-01、Oakbridge-CX の全シ

03/22 15:20

Odyssey

計算ノード部分停止

ステムを停止して、計画停電に対応するためのプランであ03/22 22:14

Odyssey,Oakbridge-CX

実行抑止を解除る。通常運用やプラン A から本プランに直接移行した場

03/23 13:00

Oakbridge-CX

計算ノード起動 (通常復帰)

合、Wisteria/BDEC-01 と Oakbridge-CX の実行ジョブはす

03/23 14:15

Odyssey

計算ノード起動 (通常復帰)

4.4 プラン C

べて打ち切りとなる。所要時間は、通常運用からの場合で約 3.5 時間 を要する。この際の内訳は、Oakbridge-CX が約2.5 時間、 Wisteria/BDEC-01 が約 3.5 時間であり、並行し5.2 Oakbridge-CX での電力削減効果て作業を実施するため Wisteria/BDEC-01 の作業が完了しOakbridge-CX では、ノード単位で停止を実施し、停止した段階で完了となる。また、プラン A(半数の計算ノード停た計算ノード数は 600 ノードとなった。計算ノード停止日止完了状態) からの場合は約 3.5 時間、プラン B(計算ノーの前後 2 日を含めた電力の推移は図 4 に示す通りであるかドすべて停止完了状態) からの場合で約 2.5 時間である。

ら、前日 (3/21) の電力値を「1 日あたりの値 (599 kW, 計算ノード+水冷)」と仮定した場合、3/22 から 3/23 にかけて4.5 停止時のプラン適用16.6% (199kW) の節電効果があったと考えられる。

電力削減による停止時については、次の順序でプランを適用する事とした。

( 1 ) 「前日 16 時目処」の需給ひっ迫注意報または需給ひっ迫警報発令に伴い「新規ジョブ実行抑止」を開始する。

( 2 ) ジョブ状況調査結果からプラン A の規模を検討し、プラン A を開始する。

( 3 ) 「当日」9:00 において、需給ひっ迫警報発令状態の場合、プラン B を開始する。

( 4 ) 「当日」において、計画停電の発表が行われた際に、プラン C を開始する。
復旧については、基本的に需給ひっ迫の解消から最短での作業完了を目指すが、作業が深夜に及ぶ事を避けるために解消がおおむね 15 時より後となった場合にはジョブ実

図 4 2022 年 3 月電力削減実施前後の電力推移 (Oakbridge-CX)

行抑止の解除のみを実施し、ノード起動は翌日とする。なお、停止時と復旧時の共通事項として、作業実施が確定した段階で速やかに Web ページとメールによるユーザアナ

5.3 Wisteria/BDEC-01 Odyssey での電力削減効果

ウンスを実施する。

5.

Odyssey では、16 ノード単位 (BoB) で計算ノードを停止し、停止した計算ノード数は 3,840 ノードとなった。

2022 年 3 月 22 日の電力削減対応

Odyssey の 3 月の電力推移は図 5 に示す通りであるから、5.1 対応の背景

前日 (3/21) の電力値を「1 日あたりの値 (1066 kW, 計算ノー

2022 年 3 月 22 日は、悪天候（実際の天候 [8] は東京都心で昼間（06:00-18:00）が雨一時みぞれ、夜間が曇時々晴（18:00-翌日 06:00）、最高気温 9.9 ℃ 、最低気温 1.2 ℃ ）が予想されており、暖房による電力需要増加が見込まれていた。一方で、直前の 3 月 16 日に生じた福島県沖の地震のド+水冷)」と仮定した場合、3/22 から 3/23 にかけて 23.2%(496kW) の節電効果があったと考えられる。

6.

2022 年 6 月 27 日の電力削減対応

6.1 対応の背景影響により、東北、東京エリアの火力発電所 6 基（計約 330

2022 年 6 月 27 日は、季節外れの暑さ（実際の天候 [10]万 kW）が停止しており、電力供給力が低下している状況

は東京都心で昼間（06:00-18:00）、夜間（18:00-翌日 06:00）であったため「需給ひっ迫警報」が前日 3 月 21 日に発令

ともに晴時々薄曇、最高気温 35.7 ℃ 、最低気温 24.1 ℃ ）22

6.3 Wisteria/BDEC-01 Odyssey での電力削減効果
Odyssey では、計算ノードの停止は実施せずに、ジョブ抑止のみを実施した。計算ノード停止日の前後 2 日を含めた電力の推移は図 4 に示す通りだが、期間を通して消費電力はほぼ変化せず、節電の効果を確認する事はできなかった。

図 5 2022 年 3 月電力削減実施前後の電力推移 (Wisteria/BDEC-01)

が予想されており、冷房による電力需要増加が見込まれていたたため「電力需給ひっ迫注意報」が前日 6 月 26 日に発令された。これを受けて、当センターでは、自主的に電力削減のためにプラン A を実施した。その際のタイムスケジュールは次のとおりである

日時

表 2 2022 年 6 月 27 日のタイムスケジュールシステム
作業

06/27 10:00

Odyssey,Oakbridge-CX

図 7 2022 年 6 月電力削減実施前後の電力推移 (Wisteria/BDEC-01)

7. まとめ新規ジョブ実行抑止

実際の対応を通して、策定した電力削減プランによって、06/27 13:20

Oakbridge-CX

計算ノード部分停止

06/27 17:05

Odyssey

実行抑止を解除 (通常復帰)

節電効果を発揮しつつ利用者への影響も減少させるとい

06/27 17:10

Oakbridge-CX

実行抑止を解除う目標を達成可能である事が確認できた。しかしながら、

06/27 19:00

Oakbridge-CX

計算ノード起動 (通常復帰)

ジョブ停止のみで得られる消費電力削減はさほど効果が大きくないことが判明したのでプラン実行時のノード停止数については見直しが必要である。他の課題としては、ジョ6.2 Oakbridge-CX での電力削減効果

ブが実行できないなどの問い合わせがユーザからあったこ

Oakbridge-CX では、ノード単位で停止を実施し、停止しとや、ノード停止状態からの復元時にノードやネットワーた計算ノード数は 700 ノードとなった。計算ノード停止日

ク障害が発生したことなどが挙げられる。ユーザへの告知の前後 2 日を含めた電力の推移は図 4 に示す通りであるか

方法や復旧時の手順見直しなど、よりよい電力削減運用がら、前日 (6/26) の電力値を「1 日あたりの値 (594 kW, 計算できるように改善を続けていきたい。

ノード+水冷)」と仮定した場合、6/26 は 9.8% (57kW) の節
謝辞 本論文を作成するにあたって、様々なご教示をいただいた情報基盤課、情報基盤センターの関係者の皆様に深く感謝致します。また、システム運用に携わっていただいている富士通株式会社の方々、加えて、各システムにおいて電力削減にご協力頂いた多くの利用者様に深く感謝致します。この場を借りてお礼を申し上げます。

電効果があったと考えられる。

参考文献
[1]
[2]
[3]

[4]
図 6 2022 年 6 月電力削減実施前後の電力推移 (Oakbridge-CX)

[5]

23

東 京 大 学 情 報 基 盤 セ ン タ ー: https://www.itc.
u-tokyo.ac.jp/ .
東京大学情報基盤センタースーパーコンピューティング部
門: https://www.cc.u-tokyo.ac.jp/ .
Wisteria/BDEC-01 スーパーコンピュータシステム:
https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/ .
Oakbridge-CX スーパーコンピュータシステム:
https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/ .
Iwashita, T, Nakajima, K., Shimokawabe, T., Nagao,

H., ita, h3-Open-BDEC: Innovative Software Platform for Scientiﬁc Computing in the Exascale Era by Integrations of (Simulation + Data + Learning), Project Poster, ISC-HPC 2020
[6] 富 士 通 株 式 会 社. ”ジ ョ ブ 運 用 ソ フ ト ウ ェ ア エ ン ド
ユ ー ザ 向 け ガ イ ド”. FUJITSU 日 本 ポ ー タ ル . 2022.
https://software.fujitsu.com/jp/manual/
manualfiles/m220007/j2ul2452/02z007/
j2ul-2452-02z0.pdf ,(参照 2022-10-12). .
[7] 資源エネルギー庁. ”電力需給状況”. 資源エネルギー庁ホームページ. 2022. https://www.enecho.meti.go.jp/
category/electricity_and_gas/electricity_
measures/dr/jokyo.html,(参照 2022-10-08).
[8] 気 象 庁.”東 京2022 年 3 月（ 日 ご と の 値 ）主な 要 素”. 気 象 庁 ホ ー ム ペ ー ジ. 2022. https://www.data.jma.go.jp/obd/stats/etrn/view/
daily_s1.php?prec_no=44&block_no=47662&
year=2022&month=3&day=&view=p1,(参 照 2022-1017).
[9] 経 済 産 業 省. ”3 月 22 日 は 電 力 需 給 が 厳 し く な る 見込みのため東京電力管内で節電のご協力をお願い
し ま す【 需 給 ひ っ 迫 警 報 】”. 経 済 産 業 省 ホ ー ム ペ ージ. 2022. https://www.meti.go.jp/press/2021/
03/20220321001/20220321001.html, (参 照 202210-11).
[10] 気 象 庁.”東 京2022 年 6 月（ 日 ご と の 値 ）主な 要 素”. 気 象 庁 ホ ー ム ペ ー ジ.2022. https://www.data.jma.go.jp/obd/stats/etrn/view/
daily_s1.php?prec_no=44&block_no=47662&
year=2022&month=6&day=&view=p1,(参 照 2022-1017).
[11] 経 済 産 業 省. ”6 月 27 日 は 東 京 エ リ ア で 電 力 需 給 が厳しくなる見込みのため節電のご協力をお願いしま す【 需 給 ひ っ 迫 注 意 報 】”. 経 済 産 業 省 ホ ー ム ペ ー
ジ. 2022. https://www.meti.go.jp/press/2022/
06/20220626001/20220626001.html, (参 照 202210-11).
.

24