北海道大学情報基盤センター学際大規模計算機システムを利用する HPCI 課題の動向
財原 昇平 1), 更科 高広 1), 吉川 浩 1), 吉川 潤 1),
長谷川 桃子 1), 佐久間 有希 1), 角鹿 千枝 1), 東 沙耶 1)
1) 北海道大学 総務企画部 情報企画課
unyo@iic.hokudai.ac.jp
kyodo@oicte.hokudai.ac.jp

Trends in HPCI projects that use supercomputer system atInformation Initiative Center, Hokkaido University
Shouhei Saihara 1), Takahiro Sarashina 1), Hiroshi Yoshikawa 1), Jun Yoshikawa 1),
Momoko Hasegawa 1), Yuki Sakuma 1), Chie Tsunoka 1), Saya Azuma 1)
1) ICT Planning Division, General Affairs and Planning Department, Hokkaido University
概要
北海道大学情報基盤センター学際大規模計算機システムは 2018 年 12 月の現システム運用開始から今日まで多くの HPCI システム利用研究課題採択者に利用されているがその受付・利用状況を分析する。

1

接続されている。(図 1)

はじめに北海道大学情報基盤センターでは学際大規模計算機システムを運用しているが、現システムは2018 年 12 月から運用開始しており、多くの革新的ハイパフォーマンス・コンピューティング・インフラシステム利用研究課題(以下「HPCI 課題」と呼ぶ) 採択者に利用されている。
学際大規模計算機システムはスーパーコンピュータシステム、インタークラウドシステム、クラウドストレージシステムから構成されており、このうちスーパーコンピュータ(以下「スパコン」と

図 1: スパコンシステム構成呼ぶ)システムは HPCI システムに計算資源として提供している。

2.1 Grand Chariot (サブシステム A)

本稿では本センタースパコンを利用する HPCI

1004 の計算ノードと 4 台のログインノードで構課題の受付・利用状況を分析する。

成されるシステムで、各計算ノードには CPU にスパコンシステムの構成

Intel Xeon Gold 6148 を 2 基搭載する。x86-64 アー

2キテクチャの標準的な高性能マシンで、本センタ

スパコンシステムは Grand Chariot (サブシステム A)、Polaire (サブシステム B)、ストレージシステムから構成されており、それぞれ高速データネットワーク (Intel Omni-Path Architecture)で126

ースパコンシステムの主力機である。サービス開始以降高利用率な状況が続いている。

必要がある。

2.2 Polaire (サブシステム B)
288 の計算ノードと 2 台のログインノードで構

利用者登録が完了すると Grand Chariot および成されるシステムで、各計算ノードには CPU に

Polaire における「試用・デバッグ用の共用ノード」

Intel Xeon Phi 7250 を搭載する。高速メモリやメニと 100GB のストレージ領域(home 領域)を利用可能

ー コ ア プ ロ セ ッ サ を 採 用 し て い る 点 が Grandとなる。より大規模なジョブを実行したい場合やChariot とは大きな違いとして挙げられる。

ストレージを拡張したい場合は以下の付加サービスを申請することで大規模ジョブを投入、大容量2.3 ストレージシステム
home 領域と work 領域をそれぞれ提供しており、システム全体の容量として 16PB の容量を有してデータの保管が可能となる。
3.1 共用ノード利用

い る 。 ス ト レ ー ジ シ ス テ ム は Intel Omni-Path

演算トークンを消費して演算を実施することがArchitecture でそれぞれのサブシステムと接続されできるプリペイド方式のサービスで、混雑時は待ており、共通の領域をどちらのサブシステムでもち時間が発生する場合があるが、多数のノードを利用可能である。

利用する大規模ジョブを実行しやすい。
演算で消費するトークンは経過時間と利用ノー

2.4 利用可能なソフトウェア
Grand Chariot、Polaire いずれも、Intel 製コンパ
イラ (Fortran 、C、C++) 、数値計算ラ イブラリ

ド数の積で算出される。
3.2 占有ノード利用(MKL)、MPI ライブラリ等を搭載・提供している。

特定数のノードを占有利用できるサービスであコンパイラ型言語だけではなく、インタプリタり、現システムで新規に導入されたシステムであ型言語として Java や Python も利用可能である。

る。

導入済みのソフトウェアとしては、数値計算ラ年間を通じて一定の資源を確保することができイブラリ (PETSc、Trilinos、PLASMA、EigenExa、るため、安定的に演算を継続することが可能であ

BLAS/LAPACK 等)や計算科学分野のソフトウェ

る。

ア (OpenFOAM、FrontFlow、GAMESS、PHASE、3.3 ストレージ容量の拡張

GROMACS 等)に加えて、機械学習分野のソフトウ

home 領域は最小単位を 1TB として拡張申請すェア (Chainer、TensorFlow、Caffe)が利用可能であることが可能である。利用者登録完了直後、すでる。に配備済みの 100GB に 1TB 単位で増量していくこ

他にも Grand Chariot 限定で分子解析ソフトウェ
ア (Gaussian)と流体解析ソフトウェア(V-FaSTAR)ととなる。
work 領域は追加申請で利用可能な領域としてをサービス開始時から提供しており、さらに高度おり、3TB を最小単位として申請可能である。

情報科学技術研究機構(以下「RIST」と呼ぶ) 整備

3.4 付加サービスのグループ共有

ア プ リ ケ ー シ ョ ン (GENESIS 、 ABINIT-MP 、配備された付加サービスは利用者登録が完了しPHASE/0、FrontFlow/blue、FrontISTR、SALMON、た利用者本人と申請者が利用を許可した他の利用HΦ、OpenMX、MODYLAS、NTChem、SMASH)者でグループを構成して、グループ内で共用ノーが追加で整備された。RIST 整備アプリケーション

ド演算トークン、占有ノード、work 領域を共有利については RIST と本センター共催でオンライン用することが可能である。

講習会が随時開催中である。

3.5 HPCI 課題への資源提供
HPCI 課題の場合は各課題参加者へ home 領域

3 スパコン演算サービス

100GB、採択資源として各課題に共用ノード演算

本センタースパコンシステムを利用する場合は利用者登録が必要となるが、登録には基本負担金の支払いが必要である。(一般利用者:12,960 円、学生利用者:2,160 円)
利用資格者は研究機関所属者を主としているが、民間企業等の利用も可能である。民間企業等が利用を希望する場合は研究機関との共同研究契約が結ばれているか、民間企業利用審査が承認される

127

トークンと work 領域を提供している。

能な環境となった。

4 北大スパコン HPCI 課題の動向

4.2 HPCI 課題採択者の資源消化状況

4.1 北大システムを利用する課題の採択状況
本センターでは HPCI システムへ Grand Chariotと Polaire を計算資源として提供している。現システムが通年利用できるようになった 2019 年度以

本センターにおける HPCI 課題の資源消化率は
前 シ ス テ ム の 主 力 機 SR16000 か ら 現 主 力 機
Grand Chariot まで 8 割超で良好である。(図 4)

降、HPCI 課題採択件数は前システムと比較して大幅な増加傾向にあることが確認できる。(図 2)

図 4: Grand Chariot と SR16000 の資源消化率
図 2: HPCI 課題採択件数の推移

一方で Polaire については前システムに該当の「京」停止に伴い、2019 年度はポスト「京」研究開発枠 重点課題・萌芽的課題が、2020 年度に「富岳」成果創出加速プログラム課題がそれぞれ設定され、本センターを利用する課題も採択されシステムが存在しないため、2019 年度と 2020 年度のデータで状況を確認した。稼働初年度の 2019年度は 5 割程度であったが、翌年度は 7 割超となり大幅に上昇した。(図 5)た。それに伴い本センターのシステムを利用するHPCI 課題採択件数が大幅に増加した。
2021 年度は富岳が本稼働し、本センターでの上記課題はなくなったことから、HPCI 課題採択総件数は減少している。ただし、一般課題は前年度から大きく増減はない状況である。
利用希望者が増加した要因としては現システムが前システムより提供資源量を増加させることができた点が考えられる。(図 3)
図 5: Polaire の資源消化率
このように課題資源消化率が高い理由を以下に考察する。
本センターでは資源消化を促進する目的で前システム稼働時から HPCI 課題代表者と連絡責任者に向けて消化率やその他連絡事項をまとめた「利用計画書」を送付している。この利用計画書は前システム稼働時では四半期ごとの送付としていた

図 3: HPCI 提供資源量の推移が、現システム稼働から毎月初めの送付とした。

「富岳」成果創出加速プログラム課題等の影響「富岳」成果創出加速プログラム課題の採択期により多少の増減があるものの、現システムが通間は課題採択件数が大幅に増加したと同時に新規

年 利 用 で き る よ う に な っ た 2019 年 度 以 降 は利用者も大幅に増加したが、良好な資源消化率を2,500,000 ノード時間以上の資源提供を行っており、維持できた。利用計画書で現状の消化率を提示しHPCI 課題において、より大規模なジョブを実施可

つつ、連絡事項欄で長年の本センターのスパコン128

負荷傾向をお知らせしたことで利用促進をできたためと考えられる。

5 おわりに現システム稼働開始から 3 年を迎えて HPCI 課

4.3 HPCI に関するセンター内の業務状況
本センターは HPCI 課題以外の一般利用・民間企業利用者等にも利用されており、現システムが通年利用可能となった 2019 年度からの全利用者
申請件数は 1,000 件を超えている。(図 6)

題以外での利用も増加していて高利用率な状況が続いている。
2023 年度にシステムのリプレイスを予定しているが、今後も継続的な HPCI 課題における利用システムとして選ばれるよう、採択資源を効率よく消費できるようなサポートを充実させたい。
また、限られた人員で一層の効率的な業務遂行を目指し、利用者向けポータルの充実や管理システムの設計を見直したいと考える。

参考文献
図 6: 利用者申請件数の推移
利用者申請件数は大幅に増加したものの、2019年度のポスト「京」研究開発枠 重点課題・萌芽的課題、2020 年度の「富岳」成果創出加速プログラ
ム課題の申請は一過性の増加と見込まれ、この課題を専門に対応する人員の増員はなかった。
一方で新たな利用者の増加により問い合わせ内容も「手続きからシステムを利用するまでの流れを知りたい」といった対応に時間のかかるものが増加し、年度末・年度初めの継続手続きを含む新年度の受付期間の業務量が大幅に増加した。
増加する業務量に対応するため、業務を見直し効率化を図った。具体的な例として「HPCI 課題向け利用申請書」の廃止を挙げる。本センターではアカウント発行に際し基本負担金が発生するため、HPCI 運用事務局への負担金請求額低減を図る目的もあり、課題代表者へアカウント発行の有無を確認する「HPCI 課題向け利用申請書」の提出を課していた。
ただし、上記のアカウント発行は、課題代表者が HPCI 運用事務局に申請している分を HPCI 申請支援システムに反映しているため申請支援システ
ムを参照し実施することとされている。本センター独自の利用申請書の提出を課すということは課
題代表者にとっては負担となり、担当職員にとっては申請支援システムと利用申請書の照らし合わせ業務が増加する。
よって 2020 年度より HPCI 課題向け利用申請書は廃止することで課題代表者と担当職員の負担を同時に軽減した。

129[1] 学際大規模計算機システム- 北海道大学ハイパフォーマンスインタークラウド，
https://www.hucc.hokudai.ac.jp/[2] 吉川 潤, 更科高広, 吉川 浩, 金子 修己, 岩﨑 誠, 折野 神惠, 岩舩 歩美, 深谷 猛, 岩下武史，北海道大学情報基盤センター
新スーパーコンピュータシステム利用者からの問い合わせ分析，大学 ICT 推進協議会 2019年度年次大会（AXIES2019），2019