スーパーコンピュータシステムの運用状況について
更科 高広 1), 吉川 浩 1), 角鹿 千枝 1), 吉川 潤 1), 高口 智美 1), 折谷 智咲 1),齋藤 珠紀 1), 村田 欽正 2), 深谷 猛 2), 岩下 武史 2)1) 北海道大学 総務企画部情報企画課
2) 北海道大学 情報基盤センター
sarasina@jimu.hokudai.ac.jp

Operational Status of the Supercomputer System
Takahiro Sarashina1), Hiroshi Yoshikawa1), Chie Tsunoka1), Jun Yoshikawa1),
Tomomi Takaguchi1), Chisaki Oritani1), Tamaki Saito1), Yoshimasa Murata2) ,Takeshi Fukaya2), Takeshi Iwashita2)
1) ICT Planning Division, General Affairs Planning Department, Hokkaido University2) Information Initiative Center, Hokkaido University
概要
北海道大学情報基盤センターではスーパーコンピュータシステム及びクラウドシステムを一体とした学際大規模計算機システムを運用している。現在の学際大規模計算機システ
ムは 2018 年 12 月に運用が開始され、約 5 年が経過した。本稿では、スーパーコンピュータシステムに焦点を当て、その運用状況について報告する。

1

本稿では、本システム運用開始後の約 5 年間はじめににおけるスパコン[2]の運用状況について報告

北海道大学情報基盤センター（以下、本センする。スパコンの消費電力量は、本システム全ター）では、スーパーコンピュータシステム（以体の消費電力量の約 9 割を占めており、スパコ下、スパコン）とクラウドシステムを中核とすンの運用状況は本システム全体の運用状況に大る学際大規模計算機システム（以下、本システきく影響する。そこで、運用開始から約 5 年がム）を運用している[1]。2018 年 9 月に発生した経過するこのタイミングで、これまでのスパコ

北海道胆振東部地震の影響により、システムのンの運用状況を検証し、成果と課題を明らかに導入スケジュールの遅延が懸念されたが、導入することで、次期システムの設計・運用に役立ベンダおよび北海道大学の関係部署の努力によてる。

り、予定通り 2018 年 12 月に本システムの運用

以下、2 節で本システムおよびスパコンの構を開始することができた。本システムの運用開成を簡単に紹介する。次に、3 節でスパコンの始にあたって、想定される電気料金に相当するサービスの概要を説明するとともに、これまで形で利用負担金を設定した。しかし、運用開始の利用状況を報告する。その後、4 節で現状の時の想定を超えて、徐々に電気料金が値上がり、課題を述べて、最後に 5 節でまとめを述べる。

本システムの運用（および本センターの運営）に大きな影響を及ぼすことになった。それでも本システムのサービス停止などの大きなトラブルが生じることはなく、運用開始から約 5 年が経過するに至った。

2 学際大規模計算機システムとスーパーコンピュータ
2.1 学際大規模計算機システムの構成
本システムの構成を図１に示す。スパコンと126

図 2：スーパーコンピュータ構成図

3 スパコンサービスの概要と利用状況
図 1：学際大規模計算機システム構成図3.1 基本サービス
スパコンサービスをはじめとする、本システクラウドシステムが中心で、これらに、商用アプリケーションを実行するためのアプリケーションサーバや、学会等でのポスター発表の際に利用される大判プリンタが加わる。また、本システムでは、近年発生頻度が増大している地震等の災害への備えとして、北見工業大学に設置されたクラウドアーカイブシステムに遠隔バックアップを行うシステムを初めて導入した。

ムで提供されているサービスを利用するためには、アカウント（利用者番号）を取得する必要がある。アカウントの取得には、基本サービス経費（1 アカウント毎に、一般：年額 12,960 円、学生：年額 2,160 円）が必要である。
基本サービスを申し込むことで、以下のサービスが利用可能となる。


スパコンの試用・デバッグ用リソースグループ

2.2 スーパーコンピュータシステムの構成
図２にスパコンシステムの構成を示す。主力

スパコンのストレージ：home 領域 100GB機となるサブシステム A（通称：Grand Chariot）



アプリケーションサーバ

は、CPU として、ノード当たり 2 基の Intel 社

WebDAV ストレージ（Nextcloud）：1TB（学製 Xeon（Skylake 世代）と 384GB のメモリを生は 100GB）

搭 載 す る 。 前ス パ コ ンシ ス テ ム （ HITACHI

スパコンの試用・デバッグ用リソースグルー

SR16000）は IBM 社製 Power7 を搭載していプでは、各サブシステムにおいて、テスト用のたが、現スパコンでは x86 アーキテクチャのジョブ（最大ノード数：4、最大実行時間：1 時CPU に転換した。サブシステム A 全体は 1,004間）が実行できる。これにより、プログラムのノードで構成され、前スパコンの 176 ノード（論動作確認や実行時間の目安の把握が可能であり、理ノード数）から大幅な増加となった。加えて、本格利用に向けた検討に役立てることができる。

Intel 社製 Xeon Phi（Knights Landing 世代）

前スパコンでは、試用・デバッグ用のリソースを搭載した 288 台の計算ノードで構成されるサ提供できていなかったため、初めてスパコンをブシステム B（通称：Polaire）も導入し、2 種利用する場合に、費用の目安が分からないなど、類のサブシステムを利用者が選択可能とした。

利用の障害になっていた可能性があると考える。

ストレージシステム（16PB）は、2 つのサブシそれに対して、現スパコンでは、基本サービスステムで共通化されており、Intel Omni-Pathの一部として、試用・デバッグ用のリソースをネットワークで結ばれている。

提供することで、スパコンサービスの利用拡大

127表 1：利用負担金（サブシステム A・一般利用コース）
コース
A3
A15
A100
A250

配分演算時間負担金3,000,000 ノード秒

24,000 円（約 35 ノード日）
15,000,000 ノード秒

81,000 円（約 174 ノード日）
100,000,000 ノード秒
（約 1,157 ノード日）
250,000,000 ノード秒
（約 2,894 ノード日）

405,000 円
810,000 円

ェアすることができる。
3.2.1 共用ノード利用

図 3：2022 年度にスパコン上で実行された共用ノード利用のサービスでは、利用者は事ジョブ件数の内訳前に演算時間（トークン）を申請し、それを消や利便性向上につながったと考えている。

費する形でジョブを実行する。共用ノード利用

図 3 は 2022 年度にスパコン上で実行された総において使用するリソース（計算ノード）は利ジョブ数の内訳を示したグラフである。このグ用者間で共有されており、一般的なジョブスケ

ラフから分かるように、試用・デバッグ用リソジューラの管理の下で各利用者のジョブが実行

ースで実行されたジョブは全体の 7%であり、十される。サブシステム A は、最大 256 ノード、分に活用されていたと考える。

サブシステム B は最大 128 ノードのジョブが実行可能である。

3.2 付加サービス
スパコンを利用した本格的な計算は、基本サービスの申込後、別途、付加サービスを申請することで可能となる。スパコンを利用した演算に関する付加サービスとしては、以下で紹介するように、共用ノード利用と占有ノード利用の2 種類が提供されている。また、スパコン用のストレージの領域を追加するための付加サービスも利用可能である。いずれの付加サービスも、申請した利用者を代表とするグループに別の利用者を登録し、申請したリソース（演算時間やストレージ領域）をグループで共有することが可能である。例えば、研究室やプロジェクト単位でスパコンを利用する場合、利用者全員が基本サービスを申請してアカウントを取得し、別途、代表者が付加サービスを申請後、研究室の学生やプロジェクトの参加メンバーをグループに追加することで、申請した付加サービスをシ

128

共用ノード利用の付加サービスの申請は、各サブシステムにおいて設定されている 4 種類のコースから選択する形式となっている。例えば、サブシステム A（一般利用）で提供されているコースは表 1 の通りである。共用ノード利用の場合、利用者のジョブが実行されるタイミングが事前に分からず、それを踏まえた上で計算ノードの管理などを行う必要があり、より演算時間の多いコースを申請してもらう方が、スパコンの運用計画を検討する上で都合がよい。そのような点を踏まえて、本センターでは、過去のスパコンサービスから、表 1 にあるような、割引があるコース体系を採用している。
2022 年度にスパコン上で共用ノード利用として実行されたジョブの内訳を調べてみると、ジョブの件数としては、1 から 5 ノードを使用したジョブが多くの割合を占めていた。一方、総演算時間（総ノード時間積）の観点で内訳を

図 5：占有ノード利用における提供ノード数ご
図 4：2022 年度に共用ノード利用として実行されたジョブの総演算時間（総ノード時間積）の内訳との申請件数（2022 年度）
翌年度への継続申請の際に希望する占有ノード利用のノード数の合計が 500 ノードを超えてお調べると、図 4 が示す通り、11 ノード以上を使り、センター側で調整を行う必要が生じている。

用したジョブが約 60％を占めていた。

具体的には、新年度開始後に新規利用者からの占有ノード利用の申請を一定数受け付けること3.2.2 占有ノード利用ができるように、年度当初の提供ノード数を調

占有ノード利用のサービスでは、利用者（と整している。一方、年度開始後の新規利用者のそのグループのメンバー）は申請したノードを申請については、最大受付可能ノード数を 2 と占有してジョブを実行できる。つまり、電気設制限し、申請時期が遅くなった場合には受付不備の法定点検等でサービス全体が停止する場合可とする場合もある。

を除いて、グループ外の他の利用者のジョブの

図 5 は 2022 年の占有ノード利用における提供状況を気にすることなく、スパコンを利用するノード数ごとの申請件数を示している。上述しことが可能である。

た通り、年度途中の新規利用者に対する提供ノ占有ノード利用は、各サブシステムにおいて1 ノードを単位として申請する形式である。利

ード数の上限を 2 と制限せざるを得ない状況であるため、1 から 2 ノードの申請が多い。一方用負担金は年額であり、四半期を単位として、で、大規模な研究プロジェクトでも利用されて申請時期により減額される。また、1 ノード毎おり、100 ノードを超える申請も存在している。にスパコンストレージの work 領域 3TB が付与される。
この数年、サブシステム A の占有ノード利用

3.3 スパコン全体の稼働状況について
まず、2022 年度の消費電力量の状況を図 6 にの希望が非常に多く、実際に提供するノード数示す。図 6 の右側のグラフは、学際大規模計算を調整せざるを得ない状況になっている。現在機システムにおけるスパコンとスパコン以外のの運用の方針としては、サブシステム A 全体IT 機器の消費電力量の割合を図示している。こ（1,004 ノード）の約半数である 500 ノードを占のグラフが示すように、スパコンの消費電力量有ノード利用に配分するノード数の上限の目安が全体の 96％を占めている。また、左側のグラとしている。これに対して、前年度の利用者がフは、学際大規模計算機システムに関連する空129図 6：消費電力量の比率（2022 年度）

図 8：2023 年度 HPCI 共用計算資源ごとの要求資源量の割合（[3]の図 3-1 より引用）控えめに想定稼働率を設定し、それに基づいて負担金を決定した。しかし、結果的には、初年度（2019 年度）前半を除いて、想定を大きく上回る稼働率で運用ができている。そのため、昨今の電気料金の高騰に対して、2023 年度までは、運用開始時の負担金を値上げすることなく、対処ができている状況である。ただし、昨今の電図 7：スパコンの稼働率の推移

気料金の高騰に対して、北海道大学では全学的調機器の消費電力量も含めた場合の内訳を図示している。空調機器を含めた場合でも、スパコンの消費電力量は全体の 77％と大部分を占めている。
上述したように、学際大規模計算機システムの消費電力量の大部分をスパコンが占めており、そのための電気料金をカバーできるように、スパコンサービスの利用負担金を設定することが求められる。スパコンの消費電力量は、計算ノードの稼働率に応じて変化する部分と、ストレージやネットワークのように稼働率に関わらず定常的に発生する部分があるため、これらを総合的に考慮して、適切な負担金の体系を設計すな補助があり、その結果として、学際大規模計算機システムの電気料金を含む本センター全体の電気料金をやりくりできている状況である。
したがって、負担金の値上げに関しては、予断を許さない状況である。
図 8 は、資源提供している HPCI（革新的ハイパフォーマンス・コンピューティング・インフラ）の 2023 年度 A 期の研究課題の応募状況である[3]。図 8 から分かるように、サブシステム
A に関して、応募課題の要求資源量の総和が提供資源量の 3 倍に迫る状況である。この HPCI
課題における積極的な利用は、図 7 に示した高い稼働率の大きな一因になっていると考える。

4 課題

ることが重要となる。
図 7 はスパコンの稼働率の推移を示したグラ

前節で報告した通り、高い稼働率をはじめとフである。現スパコンの運用開始時、本センタして、概ね順調にスパコンを運用できているが、ーの運営に支障が生じることがないよう、多少130一方で、対処が困難である課題もいくつか生じているので、以下で簡単に述べる。
4.1 年度末の待ち時間の長時間化

共用ノード利用では、通常時でも数百件程度の実行待ちジョブが発生しているが、年度末が近づくと、その数がより多数になり、ジョブの実行開始までの時間が非常に長くなる傾向が顕著になっている。そのため、年度末近くの新たな共用ノード利用の申請については、ジョブの実行待ち時間の長時間化により、配分された演算時間が使いきれない可能性がある旨を利用者

図 9：チラー障害時のスパコン室の温度変化の例に確認した上で、申請の受付を行っている。また、HPCI や JHPCN の課題利用者に対して、

盤センター設立時に竣工し、以降増築や耐震改早い時期からの計画的な利用を促している。

修等を行ってきたものの、建物自体が非常に老朽化しており、対策が必要となっている。現在、

4.2 講習会用のリソース不足

共用ノード利用における実行待ちジョブの増加と占有ノード利用の希望多数のため、講習会を開催するためのリソースの確保が難しい状況になっており、近年は講習会の開催頻度が低くなっている。ただし、現状のリソースの状況を考えると、新規利用者を増やしても、リソースの限界に近い状況のため、満足に利用してもら

北館と同様に老朽化が問題となっていた南館の改修を行っており、これが完了した後、次期システムを南館に設置する予定である。その後、北館の改修を行い、次々期システムを再び北館に設置する「式年遷宮方式」の運用を計画している。
4.4 冷却設備（チラー）の老朽化える可能性が高いとは言い難い。講習会の開催

スパコンの冷却設備の一つであるチラーは、頻度が下がった反面、既存の利用者に対するサ前システムの導入開始時（2011 年）に導入したポートにより注力できており、また、利用の必ものであり、2022 年中から障害発生頻度が増加

要性が高い場合には、個別の対応を行い、新規傾向にある。障害によりチラーが停止すると、利用につながっている。スパコンの利用者を拡スパコンが設置しているサーバ室の温度が上昇

大することは重要な課題であるが、一方で、提し、スパコンの計算ノードがダウンするリスク

供可能な資源には限界があり、利用者数がそれが高くなる。

を超えるような場合には、利用者の満足度が低

図 9 は過去のチラーの障害時のスパコン室の下する可能性がある。その点を踏まえると、結室温の推移を示すグラフである。この障害時、果的に、現在提供可能なスパコンのリソースにスパコンの計算ノードは停止寸前の状況になっ見合う数の利用者に対して、適切なサポートがたものの、復旧作業が間に合い、ノードの停止提供できているのではないかと考える。

は避けることができた。なお、チラーの障害の影響を受けた部屋には、スパコンの計算ノード4.3 設置建屋の老朽化

システムの設置場所である、情報基盤センタ
ー北館は、本センターの前身である計算機セン
ターが 1962 年に発足した後、1970 年の情報基131のみが設置されており、スパコンストレージやネットワーク機器は、外気冷却および空冷空調により冷却している別室に設定していたため、このチラーの障害の影響は受けなかった。

5 おわりに現在運用中のスパコンは、2018 年 12 月から 5年の賃貸借契約により導入した学際大規模計算機システムの一部であり、契約満了（運用開始から 5 年）が近づいているが、その間、安定的な運用ができ、多くの研究者に利用されてきた。
次期システムは、4.3 節で紹介したように、現在改修中の南館に設置予定であるが、半導体不足による資材供給の不安定な情勢に起因する竣工時期の遅延を想定し、2025 年 4 月の運用開始を目指すこととした。そのため、現在運用中のスパコンを含むシステムについて、1 年 4 か月の運用の延長を予定している。電気料金の高騰の影響、設置建屋の改修、そして冷却設備の経年劣化による故障など、懸案が多い状況ではあるが、引き続き、安定運用に注力し、多く利用者の研究に貢献できるように努めたいと思う。

謝辞
運用開始から現在に至るまでのスパコン運用に対するサポートについて、北海道大学情報基盤センターおよび総務企画部情報企画課、富士通株式会社の関係者の皆様に感謝いたします。

参考文献
1.
2.

3.

北海道大学情報基盤センター 学際大規模計算機システム,
https://www.hucc.hokudai.ac.jp/
深谷猛, 岩下武史, 金子修己, 折野神惠,
更科高広, 北海道大学情報基盤センター
新スーパーコンピュータシステムの概要,
大学 ICT 推進協議会 2018 年度年次大会論文集,
https://axies.jp/report/publications/papers/papers2018/
令和 5 年度 A 期 HPCI システム利用研究課
題の応募状況,https://www.hpci-office.jp/using_hpci/project_application_stats

132