北海道大学情報基盤センター
新スーパーコンピュータシステム利用者からの問い合わせ分析吉川 潤 1), 更科 高広 1), 吉川 浩 1), 金子 修己 1),
岩﨑 誠 1), 折野 神惠 1), 岩舩 歩美 1), 深谷 猛 2), 岩下 武史 2)1) 北海道大学 総務企画部 情報企画課
2) 北海道大学 情報基盤センター
unyo@iic.hokudai.ac.jp

Analysis of inquiries from users of the new supercomputer system inInformation Initiative Center, Hokkaido University
Jun Yoshikawa 1), Takahiro Sarashina 1), Hiroshi Yoshikawa 1), Naoki Kaneko 1),
Makoto Iwasaki 1), Kamie Orino 1), Ayumi Iwafune 1), Takeshi Fukaya 2), Takeshi Iwashita 2)1) ICT Planning Division, General Affairs and Planning Department, Hokkaido University2) Information Initiative Center, Hokkaido University
概要
北海道大学情報基盤センターでは，2018 年 12 月より，学際大規模計算機システム（北海道大学ハイパフォーマンスインタークラウド）によるサービスを開始した。本稿では，新システムにおけるスーパーコンピュータシステムと関連サービスの概要，およびこれまでに受けた利用者からの問い合わせの分析結果について紹介する。

1

はじめに
北海道大学情報基盤センターでは，学際大規模計算機システム（北海道大学ハイパフォーマンスインタークラウド）によるサービスを 2018 年 12月より開始した。新システムは，スーパーコンピュータ（スパコン）システムとインタークラウドシステムから主に構成されている。本稿では，新システムにおけるスパコンシステムと関連するサービスの概要，およびこれまでに受けた利用者からの問い合わせの分析結果を紹介する。

2

図 1：システム構成

新スパコンシステムの構成

 Grand Chariot（サブシステム A）

新スパコンシステムは，Grand Chariot（サブシ1004 ノードから構成されるシステムで，各ノーステム A），Polaire（サブシステム B），およびドは，2 基の Intel 製マルチコア CPU（Xeon Gold

ストレージシステムから構成される（図 1）。26148）と 384GB のメモリを搭載している。計算ノ

つのサブシステムはどちらも Intel 製 CPU と Linuxード同士は，Intel Omni-Path ネットワークによりOS を搭載しており，新スパコンシステム全体の結合する。Grand Chariot は Omni-Path が 2 枚刺で理論演算性能は 3.96PFLOPS である。

あるため，PRIMERGY CX400 M4 サーバの標準品

2.1 ハードウェア

より水冷配管径を細くし，配管ルートも工夫してGrand Chariot，Polaire，ストレージシステムの概要は，以下の通りである（表 1）。

222

おり，北海道大学向けの特注品となっている。

表 1：システム仕様
項目
機種
ノード数
総理論演算性能
総メモリ容量1 ノードのプロセッサ
1 ノードのメモリ
ノード内ストレージ
インターコネクト

Grand Chariot（サブシステム A）
FUJITSU Server
PRIMERGY CX400 M4/CX2550 M41004
3.08PFLOPS
376.5TBIntel Xeon Gold 6148
（Skylake, 2.4GHz, 20 コア）×2
384GB
240GB SSD×1
Omni-Path（2 ポート/ノード） Polaire（サブシステム B）

Polaire（サブシステム B）
FUJITSU Server
PRIMERGY CX600 M1/CX1640 M1
288
0.87PFLOPS
31.5TBIntel Xeon Phi 7250
（Knights Landing, 1.4GHz, 68 コア）×1
96GB（＋16GB MCDRAM）
64GB SATA Flush×1
Omni-Path（1 ポート/ノード）

前に確認を行っている。

288 ノードから構成されるシステムで，各ノーGrand Chariot および Polaire において，以下のサドは，1 基の Intel 製メニーコア CPU（Xeon Phiービスを提供している。どちらの利用形態におい7250）と 96GB のメモリを搭載している。計算ノても，複数のユーザがグループを構成して，申請ード同士は，Intel Omni-Path ネットワークによりした資源を共同で利用することが可能となってい結合する。

る。

 ストレージシステム

 共用ノード利用

全体で 16PB の物理容量を有するストレージシ演算時間（トークン）を申請し，それを消費すステムで，Lustre に基づく並列ファイルシステムることでジョブを実行する方式。多数の計算ノーを採用している。2 つのサブシステムとストレードを利用した大規模なジョブが実行可能である。

ジシステム間は，Intel Omni-Path ネットワークに利用負担金は，経過時間と利用ノード数の積に基より結合する。

づいて算出される。

2.2 ソフトウェア

 占有ノード利用

Grand Chariot および Polaire において，Intel 製コ年間定額制を採用し，申請者（と申請者が許可ンパイラ（Fortran，C，C++），数値計算ライブラしたユーザ）のみが計算資源を利用する方式。年リ（MKL），MPI ライブラリ等を提供している。

間を通じて一定の資源の利用が可能となるため，また，Java や Python も利用可能である。有償のソ安定的な研究ができる。

フトウェアとしては，分子解析ソフトウェア（Gaussian）と流体解析ソフトウェア（V-FaSTAR）

システムの利用を希望する場合，最初にユーザを提供している（Grand Chariot のみ）。また，フリ単位で利用者登録（基本サービス経費が必要）をーソフトウェアとしては，数値計算ライブラリ行い，その後，必要なスパコンシステム（あるい（ PETSc ， Trilinos ， PLASMA ， EigenExa ，はクラウドシステム）の付加サービスを申請する

BLAS/LAPACK 等）や計算科学分野のソフトウェ手順となる。

ア（OpenFOAM，FrontFlow，GAMESS，PHASE，

 基本サービス

GROMACS 等）に加えて，機械学習分野のソフト利用者登録により，Grand Chariot および Polaire

ウェア（Chainer，TensorFlow，Caffe）が利用可能

における「試用・デバッグ用の共用ノード」とある。

100GB のストレージ領域（ホーム領域）を利用可
能とする。

3 スパコン提供サービス 付加サービス

北海道大学情報基盤センターでは，学際大規模Grand Chariot および Polaire の共用ノードにおけ計算機システムに関して，大学や研究者向けの「一るジョブ実行，占有ノード（1 ノード単位，一定般利用コース」と，民間企業等の利用者向けの「民量のワーク領域付き）の利用，ストレージ領域（ホ間企業等利用コース（成果公表または成果非公ーム領域およびワーク領域）の追加については，表）」を提供している。なお，民間企業等利用コー付加サービスを申請することで利用可能とする。

スでは審査を行い，利用目的等が適切であるか事

223

表 3：技術的な問い合わせ内訳

また，その他のサービスとして，アプリケーションサーバが利用可能である。

問い合わせ内容
スパコン
クラウド
利用申請
利用者ポータル
大判プリンタその他 アプリケーションサーバ
Mathematica，MATLAB，COMSOL，AVS/Express，Gaussian 等のアプリケーションが利用可能である（一部のアプリケーションは北海道大学に所属する研究者・学生のみが利用可能）。

件数
102
23
11825割合
68%
15%
7%
5%
1%
3%

学際大規模計算機システムではスパコン以外

11 月）の後と比べて，今回，スパコンに関する多のサービスとして，クラウドや大判プリンタといくの問い合わせを受けている。前回のシステム更ったサービスも行っている。

新ではスパコンのアーキテクチャや接続方法・ジ

4 新スパコンシステム利用者からの問い合わせ分析
4.1 全体的傾向

ョブ投入方法等に変化が無かったため，スパコンに関する問い合わせがシステム更新後に大きく増加しなかったと考えられる。しかし，今回はアーキテクチャに加えて，接続方法（パスワード認証新システムの利用者の傾向を把握するために，から鍵認証への変更）やジョブ投入方法（占有ノ

これまでに受けた利用者からの問い合わせの内容ード利用の導入やグループでの利用方法の変更）を分析した。現状，北海道大学情報基盤センター等を大幅に変更したため，スパコンに関する問い

では，学際大規模計算機システムに関する問い合合わせが多くなっているのではないかと考えられわせ窓口（メールアドレス）を設けており，このる。

窓口で受け付けた問い合わせに対して，各担当が4.2 スパコンに関する問い合わせ傾向対応を行っている（表 2）。今回は HPC システム

スパコンに関する問い合わせの内，接続方法，運用チームを中心に対応を行った，学際大規模計コンパイル方法，ジョブ投入方法に関する問い合算機システムの利用に関する技術的な問い合わせわせが約 5 割を占めた（表 4）。接続方法に関するについて，その内訳の調査を行った（共同利用・問い合わせは，スパコンへのログイン方法や鍵登共同研究担当や会計担当が対応した事務的な問い録方法に関する初歩的なものであった。また，ア合わせは除外）。調査対象は，2018 年 10 月 26 日

プリケーションに関する問い合わせも 22%と多く，から 2019 年 8 月 9 日の 288 日間に届いたメールでその中で特に問い合わせが多いアプリケーションの問い合わせであり，その件数は 151 件である。

は，COMSOL（9%），Gaussian（5%），Mathematica

尚この件数は問い合わせ（質問）件数であり，メ（5%）であった。

ールの件数ではない（1 つのメールに 3 つの質問がある場合は 3 件，ある 1 つの質問に関して複数のやり取りを行っても 1 件と数える）。
表 2：問い合わせへの担当と対応内容担当
共同利用・共同研究担当
会計担当
HPC システム運用チーム
学際システム担当教員

対応内容
利用申請
負担金請求
予算振替手続き
利用方法全般必用に応じて各担当と連携して対応最も多かった問い合わせはスパコンに関するものであり，全体の約 7 割を占めた。次いでクラウドに関する問い合わせが 15%，利用申請に関する問い合わせが 7%という結果になった（表 3）。
前回の学際大規模計算機システムの更新（2011 年

224

表 4：スパコンに関する問い合わせ内訳
スパコン問い合わせ内容割合

ジョブ投入方法
接続方法（アプリケーションサーバへの接続を含む）
コンパイル方法
ストレージ
コマンド
COMSOL
Gaussian
アプリケーション
Mathematica
MATLABGROMACS
OpenFOAM
フリーソフト
BLAS/LAPACK
Chainer
その他

23%
20%
4%
4%
4%
9%
5%
5%
3%
3%
3%
1%
1%
17%

時期別で問い合わせを見てみると，新スパコンパコンの利用が促進されることが期待されている。に移行した直後の 12 月から 1 月，新年度開始直後鍵認証による接続方法やジョブの実行方法などのの 4 月の問い合わせが比較的多かった（図 2）。新スパコン使用法に関しては他機関のスパコンと大システムに不慣れな利用者や，新年度になり新規差は無いにも関わらず，今回行ったスパコン利用の利用者が多くなったことが原因であると考えら者からの問い合わせ分析において，初めてスパコれる。

ンを使用するような初歩的な問い合わせが多くみ件数られたように感じる。他機関のスパコンを利用したことがある利用者であれば，このような初歩的

40353025
20
15105037な質問をする可能性は低いと考えられるため，初歩的な問い合わせが多いという事実は，スパコン2121自体を初めて利用する新規ユーザの獲得を示唆し
14

10 108ているのではないかと考えている。今回の問い合

7
2019年8月

2019年7月

2019年6月

2019年5月

2019年4月

2019年3月

2019年2月

習会や問い合わせ対応，利用マニュアルを充実さ

2019年1月

わせ分析で見えてきた利用者の傾向をもとに，講2018年11月

2018年10月

1
2018年12月

121

せ，引き続き新規利用者を獲得し，初めてスパコンを利用するユーザがストレスなくスパコンを利用することができるよう運用に努めたいと考えて問い合わせ日時いる。

図 2：問い合わせ件数の推移
問い合わせを行った日時が，利用者が新システ
ムを利用開始（利用登録）してからどれほどの期間が経っていたのか，期間別で見ると，1 か月以内の問い合わせが約 3 分の 1 を占め，最も多かった（図 3）。その後は利用期間が長くなるにつれて問い合わせは減少傾向になった。尚，旧システムからの利用者は，新システム利用開始を 12 月とし件数て集計した。

6050
40
30
20
10
0
9か月

8か月

7か月

6か月

5か月

4か月

3か月

2か月

1か月

利用前

利用開始からの期間

図 3：利用開始から問い合わせまでの期間

5 おわりに2018 年 12 月に運用を開始した北海道大学情報基盤センターのスパコンでは，OS を AIX 系からLinux 系に，CPU を Power 系から x86 系に変更した。この変更により，研究室で使用されている一般的な計算サーバとのギャップが少なくなり，ス

225

参考文献
[1] 学際大規模計算機システム - 北海道大学ハ
イパフォーマンスインタークラウド，
https://www.hucc.hokudai.ac.jp/[2] 深谷猛，岩下武史，金子修己，折野神惠，更科高広，北海道大学情報基盤センター 新スー
パーコンピュータシステムの概要，大学 ICT推進協議会 2018 年度年次大会（AXIES2018），2018