― 50 ―SENAC Vol. 54, No. （1 2021. 1）［大学 ICT 推進協議会

2020 年度年次大会論文集より］

東北大学サイバーサイエンスセンター

スーパーコンピュータ AOBA の紹介山下 毅 1) , 森谷 友映 1) , 佐々木 大輔 1) , 齋藤 敦子 1)
小野 敏 1) , 大泉 健治 1) , 滝沢 寛之 2)
1) 東北大学 情報部情報基盤課

2) 東北大学 サイバーサイエンスセンター
yamacta@tohoku.ac.jp

Introduction of Supercomputer “AOBA”
at the Cyberscience Center of Tohoku University.
YAMASHITA Takeshi1) , MORIYA Tomoaki1) , SASAKI Daisuke1) , SAITO Atsuko1)
ONO Satoshi1) , OIZUMI Kenji1) , TAKIZAWA Hiroyuki2)
1) Information Infrastructure Division, Information Department, Tohoku Univ.
2) Cyberscience Center, Tohoku Univ.
概要

東北大学サイバーサイエンスセンターは，全国共同利用設備として大規模科学計算システムの整備と，HPCI の資源提供機関としての役割を担っている。本稿では 2020 年 10 月に運用を開始したスーパーコンピュータ AOBAと，ユーザの利用環境および本センターが実施する高速化支援活動について紹介する。

下，VH) 部により構成される。PCIe カードに搭載さ1 スーパーコンピュータ AOBA

れる VE 部はベクトルプロセッサおよび高速メモリかセンター) では，2020 年 10 月からスーパーコンピで接続される。

東北大学サイバーサイエンスセンター (以下，本ュータ AOBA の運用を開始した。スーパーコンピら構成され，x86/Linux が動作する VH と PCIe 経由
今回本センターが導入した VE(Type 20B) は，理ュータ AOBA はサブシステム AOBA-A(SX-Aurora

論演算性能 2,456GFLOPS(倍精度) となるマルチコア

AOBA-B(LX 406Rz-2，日本電気株式会社製) の 2 種を搭載し，1.53TB/s という高いメモリバンド幅でプロTSUBASA，日 本 電 気 株 式 会 社 製)，サ ブ シ ス テ ム(8 コア) ベクトルプロセッサを 1 基，主記憶は 48GB類の計算機システムと，ストレージシステム (DDN

セッサと接続されることで，高い演算性能とメモリ性末およびそれらを接続するネットワーク機器群で構成

AOBA-A は，1VH と 8VE が構成単位となる B401-8

SFA7990XE，DDN 社製)，大判プリンタ，講習会端される。図 1 にシステム構成図を示す。

以下ではスーパーコンピュータ AOBA の 2 つの計算機システムとストレージシステムについて，ハード能の両立を実現している。本センターのサブシステムモデルを採用し，サブシステム全体では 72 個の VHと 576 個の VE で構成される。VE と VH を合わせたシステム全体の理論演算性能は，1.48PFLOPS(倍ウェアおよびソフトウェアの特徴と，利用者環境につ精度)，総主記憶容量は 45TB，総メモリバンド幅はサブシステム AOBA-A(スーパーコンピュータ)

B401-8 と，それに搭載される VE の外観を図 2 にいて紹介する。

1.1

895.68TB/s となる。図 2 に AOBA-A を構成する■ハードウェア 今回導入した SX-Aurora TSUB-示す。と同じくベクトルアーキテクチャを継承している。アケーションの実効性能を向上させる高度な自動ベク下，VE) 部と，主に OS 処理を行うベクトルホスト (以コ ン パ イ ラ が 利 用 で き る 。自 動 並 列 化 機 能 お よ び

ASA は，前スーパーコンピュータシステムの SX-ACE

プリケーション演算処理を行うベクトルエンジン (以■プログラミング言語

SX-ACE と同じく，アプリトル化・自動並列化機能を備えた Fortran/C/C++

東北大学サイバーサイエンスセンター
スーパーコンピュータ AOBA の紹介― 51 ―

サブシステム AOBA-A（SX-Aurora TSUBASA）
576VEs (72VHs), 1.48PFLOPS(DP), 45TB Memory, 895.68TB/s

ベクトルエンジン (VE)

Type 20B

利用者

ベクトルホスト (VH)＋8VE

StarTAINS / SINET510G
IDS/IPS

InfiniBand

B401-81G

講習会端末

大判プリンタAMD EPYC 7702×2

ストレージシステム（DDN SFA7990XE）実効容量 2PB
サブシステム AOBA-B（LX 406Rz-2）
68nodes, 278.5TFLOPS(DP), 17TB Memory, 27.2TB/s
図1

図2

スーパーコンピュータ AOBA の構成

サブシステム AOBA-A(VE と B401-8)

OpenMP による共有メモリ並列実行と，システム構成に最適化された MPI ライブラリによる，分散メモリ並列実行が可能である。また科学技術計算ライブ

図3

サブシステム AOBA-B(プロセッサと 4 ノードシャーシ)

コンパイラでは GNU コンパイラ互換性が強化され，指示行やコンパイルオプションが SX-ACE 用のもの

ラリとして，VE に最適化された数学ライブラリのコから変更されている。このため、移植時にはそれらのが利用できる。

■アプリケーション

レクション NEC Numeric Library Collection(NLC)SX-ACE で動作していたプログラムをサブシステ

ム AOBA-A に移植する場合には，そのプログラムをSX-Aurora TSUBASA 用のコンパイラでコンパイルし直す必要がある。なお，SX-Aurora TSUBASA 用差異に注意が必要である。

サブシステム AOBA-A では，VE 向けに移植された商用アプリケーションの VASPや，オープンソースソフトウェア (OSS) の Quantum

Espresso を利用できる。また，今後も VE 向けに移植されたアプリケーションを拡充する予定である。な― 52 ―SENAC Vol. 54, No. （1 2021. 1）

お，VASP の利用には利用者が契約したライセンスの提示が必要である。

1.2

サブシステム AOBA-B(並列コンピュータ)■ハードウェア今回導入した LX 406Rz-2 は，1 ノー

2 利用者環境
2.1

ログイン認証方式

図 5 に利用者向けサーバを示す。今回のシステムでドに AMD EPYC プロセッサ 7702(64 コア) を 2 基とは利用者の利便性とセキュリティの向上を考慮し，ロされる。OpenMP，MPI を利用したノード内の並列ている。ログインサーバは外部ネットワークに公開さ性能は 4.096TFLOPS(倍精度) である。サブシステム

迅速に対処可能としている。フロントエンドサーバは256GB の主記憶装置を搭載し，合計 68 ノードで構成処理は 128 並列まで可能で，ノードあたりの理論演算全体の理論演算性能は，278.5TFLOPS(倍精度)，総主記憶容量は 17TB，総メモリバンド幅は 27.2TB/s となる。サブシステム AOBA-B を構成する LX 406Rz-

2 の 4 ノードシャーシと，それに搭載される AMD
EYPC プロセッサの外観を図 3 に示す。

サブシステム AOBA-B は，ベクトル演算に不向きなプログラムや，商用アプリケーションや OSS の高速な実行を目的として導入された。
■プ ロ グ ラ ミ ン グ 言 語

Fortran/C/C++ コ ン パ

イ ラ と し て ，AMD Optimizing C/C++ Com-

グインサーバとフロントエンドサーバの 2 段構成とし

れ，緊急に対応が必要なセキュリティインシデントにログインサーバからのみアクセス可能とし，利用者はフロントエンドサーバ上でソースコードのコンパイルやリクエストの投入を行う。

利用者の公開鍵は旧システムで利用していたものを引き続き利用できるので，ローカル PC に保存済みの秘密鍵とパスフレーズによるログインが可能である。

新規利用者は本センターウェブサイト上に提供される，公開暗号鍵ペア作成機能を用いてログインのための秘密鍵を作成する。

また，利用者のローカル PC とストレージシステ

piler(AOCC)，GNU Compiler Collection(GCC) おム間で大規模なデータ転送を行うために，データ転送できる。AOCC と GCC は OpenMPI ライブラリにある。

よび，Intel Compiler(MKL，Intel MPI 含む) が利用よる分散メモリ並列プログラムをコンパイル可能である。科学技術計算ライブラリとして，EPYC プロセッ

サに最適化された AMD Optimizing CPU Libraries(AOCL) が利用できる。Intel Compiler は旧システムからのソースコード移行用として，ライセンス数限定で利用できる。

サーバも同じ鍵ペアを用いてログインと利用が可能で

なお，GSI-SSH 認証によるログインはログインサー

バを介さず，HPCI 利用者用のフロントエンドサーバから利用する。

2.2

プロジェクトコード

本センターではバッチリクエストの処理に NEC

Network Queuing System V (以下，NQSV) を採用

商用アプリケーションとしてしている。NQSV のジョブアカウント機能によって，けに MATLAB および Mathematica が利用できる。

る際に，リクエスト単位の課金と予算管理を行うこと■アプリケーション

Gaussian16 および VASP と，東北大学内利用者向

OSS として OpenFOAM および Quantum Espressoがインストールされている。なお，VASP の利用にはユーザが異なるプロジェクトで計算機資源を利用すが出来る。新システムでも引き続きこのプロジェクト利用者が契約したライセンスの提示が必要である。

1.3

ストレージシステム

ユーザのホーム領域として，高速アクセスかつ高密度ストレージである DDN SFA7990XE(DDN 社製)を導入した。図 4 にストレージシステムを示す。上図がストレージのコントローラー部で，下図がスピンドルの格納部である。SFA7990XE 上に ScaTeFS(日本電気株式会社製) の IO サーバを構築し，高速アクセス性能と IO サーバの耐障害性を確保した。ホーム領域は RAID6 で構成され，実効容量は 2PB である。

図4

ストレージシステム東北大学サイバーサイエンスセンター
スーパーコンピュータ AOBA の紹介

ログインサーバ
login.cc.tohoku.ac.jp― 53 ―

プロジェクトコードを用いることにより，利用者 A は1 つの利用者番号 (c1000) から請求先の異なる複数のプロジェクトコード (pj001, pj002) を使い分けることが可能である。バッチリクエスト投入の際に NQSVのジョブアカウント機能を用い，請求先としたいプロ・フロントエンドサーバへのログインジェクトコードを指定することで利用者が複数の請求先を使い分けることが可能となる。また，支払責任者が複数のプロジェクトコード (pj002, pj003) を保有すフロントエンドサーバることも可能である。

■課題利用期間とプロジェクトコード

採択課題の利用期間が終了したものについては，該当するプロジェ

クトコードを無効にすることで利用者はリクエストを投入不可となる。また，利用可能な課題が追加された場合は，利用者番号に対してプロジェクトコードを・プログラムのコンパイル
・バッチリクエストの投入（AOBA-A，AOBA-B での実行）

・バッチリクエストの確認、削除・結果の確認

追加設定することでリクエストの投入が可能となるので，それまで利用していた環境を引き続き利用することが可能である。

3 利用負担金と実行形態
3.1

データ転送サーバ
ﬁle.cc.tohoku.ac.jp

利用負担金

大規模科学計算システムの利用負担金表を表 1 に示す。この表は大学・学術利用に適用され，民間企業利用は成果公開型の場合で本表記載の金額の 2 倍，成果非公開型の場合で本表記載の金額の 4 倍となる。

課金対象時間は各リクエストの利用 VE 数または利用ノード数と経過時間の積を秒単位で記録し，半年間・ストレージシステムとのデータ転送
図5

利用者向けサーバ

コードの機能を利用し，1 つの利用者番号で複数の請求先の使い分けを可能としている。プロジェクトコー
ドと請求先の関係を図 6 に示す。の請求期毎に合算した後に時間単位に切り上げたものである。この課金対象時間に負担額を乗じた金額が請求金額となる。また，負担金を前払いすることで一定の課金対象時間まで利用することの出来る，定額制の導入も行った。定額制による利用は，年度途中に負担金を追加することによる利用継続も可能である。一定数の VE またはノードを研究グループで占有して利用する，占有利用も引き続き利用可能である。

3.2

サブシステム AOBA-A の実行形態

サブシステム AOBA-A で実行する場合の実行形態

を表 2 に示す。今回導入したシステムでは，計算資源の効率的な利用と，リクエストの待ち時間短縮など利用者の利便性を考慮して，VH を共有する実行形態および VH を共有しない実行形態を利用者が選択できるようにした。それぞれの実行形態の例を図 7 に示す。
図6

プロジェクトコード■複数の請求先の利用

近年では研究費での利用に加え，課題採択形式で利用されるケースが増加している。

どちらの実行形態も利用者の利便性を考慮し，最大経過時間を既定値 72 時間，最大値 720 時間として長時間のリクエスト実行を可能とした。

― 54 ―

SENAC Vol. 54, No. （1 2021. 1）

表1
区分
演算負担経費

基本利用負担金【大学・学術利用】

項目

利用形態

コンピュータ

(無料)

スーパー

共有

利用 VE 数 1(実行数，経過時間の制限有)

共有

課金対象時間(従量)
共有(定額)
並列

課金対象時間 1 時間につき共有
占有

備考

共有負担経費

占有

大判プリンタによる負担経費

カラープリント125 円

負担額 10 万円につき課金対象時間 800 時間分使用可能

(従量)

ファイル
出力

課金対象時間 1 時間につき利用 VE 数 8(定額)無料＝ (利用 VE 数÷ 8 を切り上げた数) ×経過時間 (秒)占有共有コンピュータ

負担額及び課金対象時間

利用期間 3 ヶ月につき課金対象時間＝利用ノード数×経過時間 (秒)270,000 円
22 円

負担額 10 万円につき課金対象時間 4,600 時間分使用可能
利用ノード数 1

利用期間 3 ヶ月につき5TB まで無料，追加容量 1TB につき年額
10TB まで無料，追加容量 1TB につき年額
フォト光沢用紙 1 枚につきクロス紙 1 枚につき47,000 円
3,000 円
3,000 円
600 円
1,200 円

1. 負担額が無料となるのは専用のキューで実行されたものとし，制限時間を超えた場合は強制終了する。
2. 演算負担経費の課金対象時間については半期毎 (4 月から 9 月及び 10 月から 3 月) に合計し，1 時間未満を切上げて負担金を請求する。

3. 演算負担経費について定額制を選択した場合はスーパーコンピュータ及び並列コンピュータを課金対象時間の範囲内で共用できる。

4. 占有利用期間は年度を超えないものとし，期間中に障害，メンテナンス作業が発生した場合においても，原則利用期間の延長はしない。

5. ファイル負担経費については申請日から当該年度末までの料金とする。運用期間が 1 年に満たない場合は，月割りをもって計算した額とする。

投入キュー名sxf

表2

利用可能 VE 数

1

サブシステム AOBA-A の実行形態
最大メモリ

48GB

sx

1

48GB

sx

2～256

12TB

sxmix

2 ～8384GB

占有利用

契約 VE 数

48GB ×契約 VE 数

投入キュー名

lx

占有利用

表3

利用可能ノード数

1～16

契約ノード数

リクエストの実行形態

無料の 1VE リクエスト(VH を共用する)
1VE リクエスト(VH を共用する)
8VE 単位で確保(VH を共用しない)
1VE 単位で確保(VH を共用する)
VE およびVH を占有する

サブシステム AOBA-B の実行形態
最大メモリ12TB

256GB ×契約ノード数

リクエストの実行形態

1 ノード単位で確保(ノードを共用しない)ノードを占有する

最大経過時間最大値 1 時間

既定値 72 時間

最大値 720 時間
最大値 720 時間

実行時間制限既定値 72 時間

最大値 720 時間
最大値 720 時間

東北大学サイバーサイエンスセンター
スーパーコンピュータ AOBA の紹介いる。利用者、計算機科学を専門とするセンター教員、技術職員、およびベンダー技術者が連携してアプリ

VH

ケーションの高速化に取り組んでいる。

前スーパーコンピュータシステムの SX-ACE を運VE VE VE VE VE VE VE VEが VH を共有する 行った。単体性能では平均約 16.7 倍の性能向上を，並

この例では 4 つのバッチリクエスト列性能では約 2.4 倍の性能向上を得ることが出来た。

図 8 に 1999 年から本センターで取り組んでいるセVHンター独自の共同研究、学際大規模情報基盤共同利

0る。他のリクエストと VH を共用しないため他リクエ

653.3

サブシステム AOBA-B の実行形態

サブシステム AOBA-B で実行する場合の実行形態

を表 3 に示す。共有利用は lx キューのみであり，利用1111 1198119 9710109

年度

ストのストレージへの I/O や VH 間通信の影響を受けにくく，演算時間のバラツキが少なくなる。

9877 62020に投入した場合は，8 個の VE と 1 個の VH を確保す

VE 数を 2～7 個と指定をしたリクエストを sx キュー

812102019108 614962018

エストと VH を共用しないで実行される。利用する

101371166412 121313112017

20122015

投入したリクエストは他のリク

92014■VH を共用しない

件数にも待ち時間を短縮することが出来る。

30

18

2013

数が 2～8 個の場合，sxmix キューを選択すると実行に必要な VE 数が確保されやすく，リクエスト混雑時HPCI
JHPCN
共同研究

2012のリクエストが実行されることがある。利用する VE

2016

40

2011

トを sxmix キューに投入した場合，他 6 個の VE で別言える。

2010

また例として，2 個の VE を使うと指定したリクエス

継続的な高速化支援活動が一定の成果を上げていると2009と指定したリクエストは，VH を共有して実行される。

HPCI 採択課題へとステップアップしており、我々の2008

ストと VH を共用して実行される。1VE を利用する

ザアプリケーションが高度化・大規模化し、JHPCN、2007投入したリクエストは他のリクエしている。これは、センターの共同研究を通してユー

2006■VH を共用する

プロジェクトコード

近年では JHPCN、HPCI を介した共同研究数が増加

2005

図7

は恒常的に年 10 課題ほど実施されていることに加え、

2004

ではリクエストが実行されない課題採択数の推移を示す。本センター独自の共同研究

2003

は VH を共有しないのでフォーマンス・コンピューティング・インフラ (HPCI)

2002

この例ではバッチリクエスト

用・共同研究拠点 (JHPCN) 課題および革新的ハイパ

2001

VE VE VE VE VE VE VE VE

2000

・VH を共用しない用した 5 年間においては，合計で 30 件の高速化支援を

1999

・VH を共用する― 55 ―

5 おわりに

図8

課題採択件数

本稿では 2020 年 10 月に運用を開始した，サイバー者は利用するノード数を 1 ノード単位で指定してリク

サイエンスセンターのスーパーコンピュータ AOBA

者の利便性を考慮し，最大経過時間を既定値 72 時間，かったプログラムやアイデアを実現する研究の強力なエストを投入する。サブシステム AOBA-B でも利用最大値 720 時間として長時間のリクエスト実行を可能とした。

4 高速化支援活動

本センターでは 1997 年より、ユーザアプリケーションの高精度化、大規模化の支援を目的とした高速化支援活動を，また 1999 年より共同研究制度を実施してについて紹介した。研究室のサーバでは実行できなツールとして，最新鋭のスーパーコンピュータ AOBAをご活用いただければ幸いである。各システムの利用法の詳細，本センターからのお知らせ，問い合わせ，利用相談，高速化の依頼方法などついては本センターのウェブサイト*1 を参照いただきたい。
*1 https://www.ss.cc.tohoku.ac.jp/