― 26 ―SENAC Vol. 57, No. （1 2024. 1）［大学 ICT 推進協議会 2023 年度年次大会論文集より］

スーパー コンピュ ータ A O B A 新サブシステム A O B A - S の紹介小野 敏 1), 山下 毅 1), 森谷 友映 1), 大泉 健治 1), 高橋 慧智 2), 滝沢 寛之 2)
1) 東北大学 情報部デジタルサービス支援課
2) 東北大学 サイバーサイエンスセンター
ono@tohoku.ac.jp

Introduction of AOBA-S, a new subsystem of supercomputer AOBAONO Satoshi 1), YAMASHITA Takeshi 1), MORIYA Tomoaki 1), OIZUMI Kenji 1),
TAKAHASHI Keichi 2), TAKIZAWA Hiroyuki 2)1) Digital Services Support Division of Information Department, Tohoku Univ.
2) Cyberscience Center, Tohoku Univ.
概要
東北大学サイバーサイエンスセンターは、全国共同利用機関として大規模科学計算システムの整備と、HPCI の資源提供機関としての役割を担っている。本稿では 2023 年 8 月から運用を開始したスーパーコンピュータ AOBA の新サブシステム AOBA-S について紹介する。

1

はじめに
東北大学サイバーサイエンスセンター(以下、

本稿では、新たに運用を開始したサブシステ
ム AOBA-S の構成、利用者環境、高速化支援活動について紹介する。

本センター) では、2020 年 10 月からスーパーコンピュータ AOBA の運用を開始した。スーパー
コ ン ピ ュ ー タ AOBA は サ ブ シ ス テ ム
AOBA-A(SX-Aurora TSUBASA、日本電気株式会社製)、サブシステム AOBA-B(LX 406Rz-2、日本電気株式会社製)の 2 種類の計算機システムと、ストレージシステム等で構成される。
当初の導入計画では 2022 年にシステム増強を行う予定であったが、半導体製造に関する世界的な需給状況により、必要な設備の調達が困難であること分かり、約 1 年間導入計画を順延した。た

図 1 AOBA-S の外観写真

だ、計算需要は処理能力を大きく超える状況が続いていたため、クラウドサービス[1]を活用し、2022 年 10 月から 2023 年 7 月までクラウドサービ
ス AOBA-C[2]として計算環境を提供し、計算機システムの混雑緩和を図ってきた。2023 年 8 月からは当初の導入計画で増強予定であった新しいサブシステムとして、AOBA-S(SX-Aurora TSUBASA、日本電気株式会社製)の運用を開始した。
図 1 に本センターの計算機室に設置されたサブシステム AOBA-S の外観写真を示す。また、図 2に現在のスーパーコンピュータ AOBA のシステム構成図を示す。

2

AOBA-S の構成
AOBA-S は、演算サーバ、ストレージシステム、ネットワーク装置のハードウェア群、およびプログラミング環境、利用者管理と課金統計管理のソフトウェア群で構成される。
2.1 ハードウェア
SX-Aurora TSUBASA は、AOBA-A と同じベクトルアーキテクチャを採用している。アプリケーション演算処理を行うベクトルエンジン(以下、スーパーコンピュータ AOBA 新サブシステム AOBA-S の紹介― 27 ―

図 2 スーパーコンピュータ AOBA の構成図VE)部と、主に OS 処理を行うベクトルホスト(以504TB、総メモリバンド幅は 9.97PB/s となる。

下、VH)部により構成される。PCIe カードに搭

504 台の VH は InfiniBand NDR ネットワークで接載される VE 部はベクトルプロセッサ、および続され広帯域・低遅延なデータ通信を可能として高速メモリから構成され、x86/Linux である VHいる。と PCIe 経由で接続される。
今回導入した VE(Type 30A) は、新規に開発さストレージシステムは、DDN 社製の Lustre ファイルシステムを採用し、高速アクセスかつ高密れた第三世代の VE で、SX-Aurora TSUBASA の心度ストレージである DDN ES400NVX2(DDN 社製)臓部である。理論演算性能 4.91TFLOPS(倍精度)を導入した。AOBA-S 利用者専用のホーム領域ととなるマルチコア(16 コア) ベクトルプロセッサして利用し、RAID6 で構成され、実効容量は 4.5PBを 1 台、主記憶は 96GB の HBM2e メモリを搭載である。

し、2.45TB/s という高メモリバンド幅でプロセッサと接続されることで、高い演算性能とメモリ性能の両立を実現している。VE の性能評価について は 文 献 [3] を 参 照 さ れ た い 。 本 セ ン タ ー のAOBA-S は、1 台の VH と 8 台の VE が構成単位となる C401-8 モデルを採用し、サブシステム全体では 504 台の VH と 4,032 台の VE で構成される。
AOBA-S を構成する C401-8 の外観写真を図 3 に示す。
VE と VH を合わせたシステム全体の理論演算性能は、21.05PFLOPS(倍精度)、総主記憶容量は

図 3 AOBA-S を構成する C401-8 の外観写真

― 28 ―

SENAC Vol. 57, No. （1 2024. 1）

2.2 ソフトウェア

用者のファイルを置くストレージも AOBA-S 用のプログラミング言語は AOBA-A と同じく、アストレージシステムを利用する。

プリケーションの実効性能を向上させる高度な自AOBA-S でプログラミングの際は、あらかじめ動ベクトル化・自動並列化機能を備えたプログラムファイルやデータファイルを AOBA-S

Fortran/C/C++コンパイラが利用できる。自動並列用のストレージシステムへ転送しておく必要があ化機能および OpenMP による共有メモリ並列実行

る。と、システム構成に最適化された MPI ライブラリ

3.1 ログイン認証

による、分散メモリ並列実行が可能である。また

AOBA-S 用のフロントエンドサーバ、および科学技術計算ライブラリとして、VE に最適化さ

AOBA-S 用のデータ転送サーバへのログイン方法

れた数学ライブラリコレクション NEC Numeric

は、既存システムと同様に公開鍵認証方式によるLibrary Collection(NLC)が利用可能である。

SSH 接続を採用している。利用者の公開鍵は既存

AOBA-A で 動 作 し て い た プ ロ グ ラ ム をシステムで利用していたものと同一としているた

AOBA-S で実行する場合には、Type 30A に最適化

め、ローカル PC に保存済みの秘密鍵とパスフレされた実行モジュールが必要なため、そのプログーズによるログインが可能であり、既存システムラムを再度コンパイルする必要がある。の利用者は改めて鍵の作成をする必要はない。新

AOBA-S では、オープンソースソフトウェア

規利用者は、本センターウェブサイト上に提供さ(OSS) の Quantum Espresso やオープンソースのコれる利用者ポータルの「SSH 公開鍵登録」機能をンテナ型プラットフォームである Singularity、第用いてログインに必要な秘密鍵を作成することで、一原理計算コードの一種である FPSEID21 が利用

既存システム、AOBA-S の両システムへログインできる。また、今後も VE 向けに移植されたアプすることが可能である。また利用者の利便性を重リケーションを拡充する予定である。

視し、利用者のローカル PC から直接 AOBA-S 用3のフロントエンドサーバへログイン可能としてい利用者環境る。利用者は AOBA-S 用のフロントエンドサーバ

表 1 に AOBA-S 用の利用者向けサーバ名とホトの投入を行う。

スト名、および用途を示す。
表1

上でソースコードのコンパイルやバッチリクエス

AOBA-S 用の利用者向けサーバ

3.2 ファイル転送
AOBA-S のストレージシステムは既存システ

サーバ名

ホスト名

用途

フロントエンド

sfront.cc.tohoku.ac.jp

コンパイル、ムとは別システムとなる。そのため AOBA-S で実ジョブ投入、行するプログラムファイルやデータファイルは、小規模データあらかじめ転送しておく必要がある。

サーバ

転送
データ転送

sfile.cc.tohoku.ac.jp

サーバ

大規模なデータ転送はデータ転送サーバの複数構既存システム成としており、転送方法としては Windows、macOSとの大規模デのターミナルアプリケーションおよび Linux 上でータ転送
フロントエンドサーバ(HPCI 用)

shpcif.cc.tohoku.ac.jp

小規模なデータ転送は、フロントエンドサーバ、ローカル PC、HPCI 課題用のフロントエンドサーバの コ マ ン ド に よ る 操 作 と 、 SCP(Secure CopyProtocol)や SFTP(SSH File Transfer Protocol)に対応した FTP クライアントアプリケーションを用いる
2 つの方法がある。既存システムとの間でデータを転送する方法は、AOBA-S 用のデータ転送サー

フロントエンドサーバ上でプログラムをコンパイルし、演算サーバへバッチリクエストとして投入しプログラムを実行する形態は、既存のAOBA-A および AOBA-B システム(以下、既存システム)と同じである。ただし、フロントエンドサーバは AOBA-S 用のサーバを利用する。また、利バからコピーコマンド(cp) 等によるデータ転送が可能である。
3.3 ジョブの実行フロントエンドサーバでコンパイル作業を行って作成したプログラムの実行は、バッチ処理と呼ばれる方法で計算機に実行を依頼する。本センタ ー で は バ ッ チ 処 理 に NEC Network Queuingスーパーコンピュータ AOBA 新サブシステム AOBA-S の紹介

System V（以下、NQSV）を採用している。
AOBA-S の バ ッ チ リ ク エ ス ト の 投 入 は 、
AOBA-S 用のフロントエンドサーバで行い、既存― 29 ―HPCI 採択課題へとステップアップしていくように、我々の高速化支援活動を継続的に続けていきたいと考える。

システムとは別システムとなっている。またバッチリクエストの基本的な操作手順については、既存システムと同じである。表 2 に AOBA-S のキュー構成を示す。利用者の利便性を考慮し、既存システムと同様に最大経過時間を規定値 72 時間、最大値 720 時間として長時間のリクエストを実行可能とした。利用 VE 数が 1 台という制限はあるが、1 時間以内の実行を無料とするデバッグ用のキュ

図 4 課題採択件数ーも準備している。また、qlogin コマンドにより会話型キューを利用することで、VE 向けプログラムの会話型実行も一部のノードで可能である。
3.4 利用負担金

5

おわりに
本稿では 2023 年 8 月に運用を開始した、サイスーパーコンピュータ AOBA の基本利用負担

バーサイエンスセンターのスーパーコンピュータ

金表を表 3 に示す。この表は大学・学術利用に適AOBA の新サブシステム AOBA-S の構成、利用者用され、民間企業利用は成果公開型の場合で本表環境、高速化支援活動について紹介した。研究室記載の金額の 2 倍、成果非公開型の場合で本表記のサーバでは実行できなかったアプリケーション載の金額の 4 倍となる。共有利用の利用負担額単やアイデアを実現する研究の強力なツールとして、

価は、課金対象時間あたり 100 円とし、後払いの最新鋭の AOBA-S を含むスーパーコンピュータ従量制と負担金を前払いすることで一定の課金対AOBA をご活用いただければ幸いである。今後も象時間まで利用できる定額制がある。繁忙期など

本システムを用いた研究をサポートし、様々な研他の研究グループのジョブによる影響を受けない究分野の発展に寄与していきたいと考える。

方法として、3 ヶ月単位での占有利用も準備している。

4高速化支援活動
本センターでは 1997 年より、ユーザアプリケーションの高精度化、大規模化の支援を目的とした高速化支援活動を、また 1999 年より共同研究制度を実施している。利用者、計算機科学を専門とするセンター教員、技術職員、およびベンダー技術者が連携してアプリケーションの高速化に取り組んでいる。図 4 に 1999 年から本センターで取り組んでいるセンター独自の共同研究、学際大規模情報基盤共同利用・共同研究拠点(JHPCN) 課
題および革新的ハイパフォーマンス・コンピュー
ティング・インフラ(HPCI)課題採択数の推移を示す。本センター独自の共同研究は恒常的に年 10課題ほど実施されていることがわかる。近年ではHPCI を介した研究課題数が少ない状況であるが、システム更新が遅れ、必要十分な計算機環境の提供が遅れたことも一因ではないかと考えられる。
今後はセンターの共同研究を通してユーザアプリ
ケ ー シ ョ ン を 高 度 化 ・ 大 規 模 化 し 、 JHPCN 、各システムの利用法の詳細、本センターからのお知らせ、問い合わせ、利用相談および高速化の依頼方法などついては本センターのウェブサイト
[4]を参照いただきたい。

参考文献[1] https://jpn.nec.com/press/202204/20220425_01.html.
[2] 大泉 健治, 森谷 友映, 佐々木 大輔, 齋藤敦子, 山下 毅, 小野 敏, 滝沢 寛之, クラウドサービス AOBA-C の紹介, 大学 ICT 推進協
議会 2022 年度年次大会, 2022 年 12 月.
[3] Keichi Takahashi, Soya Fujimoto, Satoru Nagase,
Yoko Isobe, Yoichi Shimomura, Ryusuke Egawa,and Hiroyuki Takizawa, Performance Evaluationof a Next-Generation SX-Aurora TSUBASA
Vector Supercomputer, ISC High Performance2023: High Performance Computing.
[4] https://www.ss.cc.tohoku.ac.jp/

― 30 ―

SENAC Vol. 57, No. （1 2024. 1）

表 2 AOBA-S のキュー構成
利用形態

キュー名

VE 数※

無料

sxsf

1

共有

inter

1～8

共有

sxs

1
1〜2048

占有

実行形態

最大経過時間
既定値/最大値

メモリサイズ

1VE

1 時間/1 時間

96GB

会話型

1 時間/1 時間

1VE
8VE 単位で確保

72 時間/720 時間

96GB×VE 数

個別設定

表 3 基本利用負担金【大学･学術利用】
区 分

項演算負担経費

AOBA-S目利用形態
共有(無料)
共有(従量)

負担額及び課金対象時間利用 VE 数 1(実行数、実行時間の制限有)
課金対象時間 ＝（利用 VE 数÷8 を切上げた数）× 経過時間(秒)
課金対象時間 1 時間につきAOBA-A

共有(定額)
占有

負担額 10 万円につき課金対象時間 1,000 時間分使用可能

共有
(無料)
共有
(従量)

利用 VE 数 1(実行数、実行時間の制限有)

利用 VE 数 8

利用期間 3 ヶ月につきAOBA-B

ファイル
負担経費
出力負担経費

100 円

216,000 円
無料

課金対象時間 ＝（利用 VE 数÷8 を切上げた数）× 経過時間(秒)
課金対象時間 1 時間につき共有(定額)
占有
共有
(従量)

無料

75 円

負担額 10 万円につき課金対象時間 1,400 時間分使用可能
利用 VE 数 8
利用期間 3 ヶ月につき課金対象時間 ＝ 利用ノード数× 経過時間(秒)
課金対象時間 1 時間につき共有
負担額 10 万円につき課金対象時間 4,600 時間分使用可能(定額)
占有
利用ノード数 1 利用期間 3 ヶ月につき
AOBA-S 固有領域
5TB まで無料、追加容量 1TB につき年額
AOBA-A,B 共有領域
5TB まで無料、追加容量 1TB につき年額
大判プリンタによるカラープリント
フォト光沢用紙 1 枚につきクロス 1 枚につき162,000 円
22 円

47,000 円
3,000 円
3,000 円
600 円
1,200 円

備考
１ 負担額が無料となるのは専用のキューで実行されたものとし、制限時間を超えた場合は強制終了する。
２ 演算負担経費の課金対象時間については半期毎(4 月から 9 月及び 10 月から 3 月)に合計し、1 時間未満を切上げて負担金を請求する。
３ 演算負担経費について定額制を選択した場合は AOBA-A 及び AOBA-B を課金対象時間の範囲内で共用できる。
４ 占有利用期間は年度を超えないものとし、期間中に障害、メンテナンス作業が発生した場合においても、原則利用期間の延長はしない。
５ ファイル負担経費については申請日から当該年度末までの料金とする。運用期間が 1 年に満たない場合は、月割りをもって計算した額とする。占有利用に申込した場合は 10TB まで無料とする。