北海道大学情報基盤センター 新スーパーコンピュータシステムの概要
深谷 猛 1) , 岩下 武史 1) , 金子 修己 2) , 折野 神惠 2) , 更科 高広 2)1) 北海道大学 情報基盤センター
2) 北海道大学 総務企画部 情報企画課
fukaya@iic.hokudai.ac.jp

An overview of the new supercomputer system in Information Initiative
Center, Hokkaido University
Takeshi Fukaya1) , Takeshi Iwashita1) , Naoki Kaneko2) , Kamie Orino2) , Takahiro Sarashina2)
1) Information Initiative Center, Hokkaido University2) ICT Planning Division, General Affairs and Planning Department, Hokkaido University

概要
北海道大学情報基盤センターでは，2018 年 12 月より，新学際大規模計算機システム（北海道大学ハイパフォーマンスインタークラウド）によるサービスを開始する。本稿では，新システムにおけるスーパーコンピュータシステムと関連サービスの概要を紹介する。

1 はじめに北海道大学情報基盤センターでは，新学際大規模計算機システム（北海道大学ハイパフォーマンスインタークラウド）によるサービスを 2018 年 12 月から開始する [1]。新システムはスーパーコンピュータシス
テム（スパコンシステム）とクラウドシステムから主に構成され，システム全体としての総合演算性能は約4PFLOPS となる。本稿では，新システムにおけるスパコンシステムと関連するサービスの概要を紹介する。

2 新スパコンシステムの構成
新スパコンシステムは，サブシステム A（GrandChariot *1 ），サブシステム B（Polaire *2 ），およびストレージシステムから構成される（図 1）。二つのサブシステムはどちらも Intel 製の CPU と Linux OS を搭載しており，旧スパコンシステム（HITACHI SR16000

2.1

ハードウェア以下，サブシステム A，B，ストレージシステムの概要を述べる。

• サブシステム A（Grand Chariot）：1004 ノードで構成されるシステムで，各ノードは 2 基の Intel 製
マルチコア CPU（Intel Xeon Gold 6148）と 384GBのメモリを搭載。ノード間は Intel Omni-Path ネットワーク（ノード当たり 2 ポート）で結合。

• サブシステム B（Polaire）：288 ノードで構成されるシステムで，各ノードは 1 基の Intel 製メニーコ
ア CPU（Intel Xeon Phi 7250）と 96GB のメモリを搭載。ノード間は Intel Omni-Path ネットワー
ク（ノード当たり 1 ポート）で結合。

• ストレージシステム：全体で 16PB の物理容量を有するストレージシステムで，Lustre ベースの並列ファイルシステムを採用。

M1，IBM Power プロセッサと AIX を搭載）に比べて，なお，サブシステム A，B およびストレージシステム

一般的な研究室の計算機環境との親和性という点にの間のネットワークも Intel Omni-Path である。

おいては向上が期待される。サブシステム A と B を

表 1 に新旧スパコンシステムの主な性能諸元の比較合わせた，新スパコンシステム全体の理論演算性能はを示す。新スパコンシステムは，システム全体の演算3.96PFLOPS である。

性能，総ノード数，電力効率等を重視して設計されたため，ノード当たりのメモリバンド幅（と BF 値）は旧スパコンシステムから低下することになった。しか*1 「グラン・シャリオ」，フランス語で北斗七星。
*2 「ポレール」，フランス語で北極星。

し，新スパコンシステムでは，利用料金算出の根拠と図 1: 新スパコンシステムの全体像．

表 1: 新旧スパコンシステムの性能諸元：サブシステム B の括弧内の数値は高速メモリ（MCDRAM）の場合の値．
項目

システム全体新スパコン
サブシステム A

サブシステム B

ノード数

176

1004288

理論演算性能0.172 PFLOPS

3.08 PFLOPS

0.87 PFLOPS種類IBM POWER7Intel Xeon Gold 6148

Intel Xeon Phi 7250

周波数3.83 GHz

2.4 GHz

1.4 GHz

コア数

82068

搭載プロセッサ数421

搭載メモリ容量128 GB

384 GB

96 GB (16 GB)

理論演算性能980 GFLOPS

3072 GFLOPS

3046 GFLOPS

理論メモリバンド幅

512 GB/s

255.9 GB/s

115.2 GB/s (921.6 GB/s)

0.52

0.083

0.038 (0.30)

プロセッサ

ノード

旧スパコン

BF 値

なる，ノード当たりの消費電力が大幅に下がる見込み

MPI ライブラリ等を提供する。また，Java や Python もであるため，複数のノードを用いたジョブが安価に実利用可能である。有償のアプリケーションソフトウェ

行でき，ジョブ全体として利用可能なメモリバンド幅

アとしては，分子解析ソフトウェア（Gaussian）と流体を向上させることができる。したがって，新スパコン解析ソフトウェア（V-FaSTAR）を提供する（サブシステ

システムのユーザに対して，「プログラムを適切に並ム A のみ）。また，フリーソフトとしては，数値計算ラ列化し，多数のノードを利用することで，旧スパコン

イブラリ（PETc, Trilinos, PLASMA, EigenExa, z-Pares

システムよりも効率的にシミュレーション等を行って等）や計算科学分野のアプリケーション（OpenFOAM,もらう」ように推奨することが重要となる。

FrontFlow, GAMESS, PHASE 等）に加えて，機械学

2.2 ソフトウェア

習分野のソフト（Chainer, Tensorflow, Caffe）も整備

サブシステム A および B において，Intel 製のコンパイラ（Fortran, C, C++）
，数値計算ライブラリ（MKL），する。

2.3 運用方針

ノードにおける演算時間（トークン），占有ノードサブシステム A および B の計算ノードは，「共用（1 ノード単位，一定容量のワーク領域付き），スノード」と「占有ノード」に分けて運用する予定であ

トレージの追加領域（ホーム領域およびワーク領る。共用ノードと占有ノードの概要は以下の通りで域）を申請。

ある。

• 共用ノード：演算時間（ノード時間積）に応じて利用料金が発生し，ユーザ間で計算資源を共同

なお，付加サービスは申請者だけでなく，申請者が許可した他のユーザも申請資源を利用することが可能である。

利用する。計算科学分野における，チャンピオン

また，上記の一般利用だけでなく，新スパコンシスデータを取得するために行う超大規模シミュレー

テムの計算資源は旧スパコンシステムと同様に，HPCIションにも対応できるサービスとして位置づけて（革新的ハイパフォーマンス・コンピューティング・イいる。

ンフラ），JHPCN（学際大規模情報基盤共同利用・共• 占有ノード：年間定額制を採用し，申請者（と申同研究拠点），北海道大学情報基盤センター萌芽型共請者が許可したユーザ）のみが計算資源を利用で同研究で公募する課題においても利用可能となる。

きる。年間を通じて一定の資源の利用が可能となるため，安定的な研究の推進を希望するユーザのニーズに対応できるサービスとして位置づけている。
ストレージシステムは，「ホーム領域」と「ワーク領域」に分けて運用予定である。ホーム領域とワーク領域では，データのバックアップ等の点において差別化をする予定である。ホーム領域には，プログラムやソースコードなどの重要性の高いデータを置き，ワーク領域には，プログラムの出力結果など一時的な大容量のデータを置くことを想定している。

3 提供サービス
北海道大学情報基盤センターでは，新スパコンシス
テムを含む学際大規模計算機システムに関して，大学や研究所等の研究者向けの「一般利用コース」と，民間企業等の利用者向けの「民間企業等利用コース（成果公表または成果非公表）」を提供している。なお，民間企業等利用コースでは審査を行い，利用目的等が適切であるか，事前に確認を行っている。
システムの利用を希望する場合，最初にユーザ単位で利用者登録（基本サービス経費が必要）を行い，その後，必要なスパコンシステム（あるいはクラウドシステム）の付加サービスを申請する手順となる。
以下では，一般利用コースについて，新スパコンシステムで提供するサービスの概要を紹介する。

• 基本サービス：サブシステム A および B における「試用・デバッグ用の共用ノード」と一定量のストレージ領域（ホーム領域）が利用可能。

• 付加サービス：サブシステム A および B の共用

4 プログラムの移行・チューニング支援
新スパコンシステムのアーキテクチャは旧スパコンシステム（HITACHI SR16000 M1）のアーキテクチャと大きく異なる。そこで，旧スパコンシステムのユーザのプログラム資源を円滑に新スパコンシステムに意向するための「移行支援」，更に新スパコンシステムにおいてユーザが有するプログラムを高性能化するための「チューニング支援」を公募し [2]，表 2 にあるプログラムを選定した [3]．採択されたプログラムは，旧スパコンシステムで実行されていた大型シミュレーションプログラムで，新スパコンシステムでも実行予定であり，移行の遅れが今後の研究に支障をきたす恐れがあるものである。また，新スパコンシステムにおいて，高性能化を図ることにより，一層の研究成果が期待されるものである。
採択された各プログラムについては，入力データを含むプログラム一式と旧スパコンシステムにおける出力結果，性能情報（使用ノード数，使用プロセッサ数，計算時間等）をユーザから受領し，新スパコンシステムの稼動開始前および後に以下の内容で支援を実施する．

• 移行支援：新スパコンシステムの稼動開始までに，新スパコンシステムにおけるプログラムの動作確認とそれに必要なプログラムの改修を行う。外部のライブラリや特殊な関数の利用等により，新スパコンシステムにおける動作が確認できない場合は，問題点を記述したレポートをユーザに送付する。また，その場合には，可能な限り新スパコンシステムにおける代替手段を提示する。

• チューニング支援：新スパコンシステム稼動後に，

表 2: 移行・チューニング支援 採択課題．
プログラム名移行チューニング

全球気候モデルと領域気象モデルの結合システムによる地球環境・領域気象予測○○

海洋植物プランクトン多様性モデル○○

sph3D（3 次元 Smoothed Particle Hydrodynamics）○–次世代ワイヤレス接続サービスの回線設計・評価支援プログラム○○

海洋非静水圧モデル Kinaco○–海洋熱塩・栄養物質循環モデル○○

各対象プログラムの高性能化に関する支援を行う。各プログラムについて，ユーザ，新システム謝辞の落札ベンダ，北大情報基盤センターの三者が協本稿を作成するにあたり，図の作成等でご協力頂い議し，約 3 年間に亘り，継続的にプログラムの高た，北海道大学 総務企画部 情報企画課の職員の皆様性能化に取り組む予定である。プロファイラによに感謝いたします。

るホットスポットの同定やループレベルのチューニングなど微視的なプログラムチューニングに留

参考文献

まらず，解法や並列化アルゴリズム，実装方式な[1] 北 海 道 大 学 情 報 基 盤 セ ン タ ー 学 際 大 規 模 計

どについても検討を行う予定である。即ち，情報算機システムのご案内, https://www.iic.

基盤センターの教職員が有する高性能計算や応用

hokudai.ac.jp/newsys2018/

数学等に関する知見を実際のユーザプログラムに[2] 北 海 道 大 学 情 報 基 盤 セ ン タ ー 新 学 際 大 規 模

おいて活用し，計算科学を主体とする様々な応用計算システム 移行支援・チューニング支援要分野の発展に寄与することを目指している。

領, https://www.hucc.hokudai.ac.jp/

pdf/ikousien_h28.pdf

5 おわりに本稿では，2018 年 12 月にサービスを開始する，北海道大学情報基盤センター 新学際大規模計算機シス
テムのスーパーコンピュータシステムおよび関連サービスの概要を紹介した。新スパコンシステムは，旧スパコンシステムに対して，全体あるいはノード当たりの理論演算性能やノード数が飛躍的に増加する。また，OS に，計算サーバやクラウドシステム等のコンピューティングプラットフォームとして広く普及している Linux を採用し，一般的な研究室の計算環境との親和性を高めている。そのため，様々な研究分野において，今まで以上にスパコンが活用されることが期待される。一方で，旧スパコンシステムからは，プロセッサのアーキテクチャが大幅に変わるなど，プログラム資産の移行コストが少なくないことが予想されるため，移行支援・移植支援を行い，ユーザを出来る限りサポートする。新スパコンシステム稼動後は，システムの利用状況やユーザのニーズ等を踏まえながら，より使いやすいシステムを目指して，運用に努めたいと考えている。

[3] 北 海 道 大 学 情 報 基 盤 セ ン タ ー 新 学 際 大 規 模
計算システムのユーザプログラム移行支援及びチューニング支援制度の採択結果について, https://www.hucc.hokudai.ac.jp/pdf/ikousien_kekka_h28.pdf