SENAC Vol. 56, No. （1 2023. 1）[ 大学 ICT 推進協議会― 37 ―

2022 年度年次大会論文集より ]クラウドサービス AOBA-C の紹介大泉 健治 1), 森谷 友映 1), 佐々木 大輔 1), 齋藤 敦子 1),
山下 毅 1), 小野 敏 1), 滝沢 寛之 2)
1) 東北大学 情報部情報基盤課
2) 東北大学 サイバーサイエンスセンター
oizumi@cc.tohoku.ac.jp

Introduction of Cloud Services “AOBA-C”
OIZUMI Kenji 1), MORIYA Tomoaki 1), SASAKI Daisuke 1), SAITO Atsuko 1),
YAMASHITA Takeshi 1), ONO Satoshi 1), TAKIZAWA Hiroyuki 2)
1) Information Infrastructure Division of Information Department, Tohoku Univ.
2) Cyberscience Center, Tohoku Univ.
概要
東北大学サイバーサイエンスセンターは，全国共同利用設備として大規模科学計算システムの整備と，HPCI の資源提供機関としての役割を担っている。本稿では 2022 年 10 月から運用を開始したスーパーコンピュータ AOBA におけるクラウドサービス AOBA-C について紹介する。

1は じ めに東北大学サイバーサイエンスセンター (以下，入した後，2 年後の 2022 年にシステム増強を行い，AOBA-1.5 として次世代 AOBA の運用を開始する予定であった。

本センター) では，スーパーコンピュータ AOBA

AOBA-1.5 は導入計画どおりに政府調達によるの運用を 2020 年 10 月から行っている[1]。この導入を進めていたが，スケジュールを延期せざるシステムを総称して AOBA-1.0 と呼ぶ（以下、を得ない状況となった。資料招請および意見招請

AOBA-1.0／既存システム）。 AOBA-1.0 は，サブによる市場調査の過程で，半導体製造に関する世システム AOBA-A(SX-Aurora TSUBASA,日本電界的な需給状況により必要な設備の調達が困難で気株式会社製)，サブシステム AOBA-B(LX 406Rz-2,あることが分かったためである。AOBA-1.5 の調達

日本電気株式会社製) の 2 種類の計算機システにおいても例外なく影響を受け，約 1 年間順延すムで構成される。図 １にシステム構成図を示す。

る導入計画に変更することになった。

図 2 システム導入計画
図 1 システム構成 AOBA-1.0
当初の導入計画では，2020 年に AOBA-1.0 を導また，AOBA-1.0 の運用を開始して 2 年目から，計算需要は処理能力を大きく超える状況が続いて

― 38 ―

SENAC Vol. 56, No. （1 2023. 1）

いる[2]。

システムは日本電気株式会社が提供するクラウド

図３に，サブシステム AOBA-A の利用 VE 時間，サービス[3]を活用し，2022 年 10 月から 2023 年 7

稼働 VE 利用率を 2020 年 11 月から 2022 年 8 月ま月までクラウドサービス AOBA-C として提供を行で月単位に示す。4 月および 8 月は，いずれの年う。AOBA-C を加えたシステム総称を AOBA-1.2

もシステム定期保守や本学キャンパスの計画停電と呼ぶ。の実施時期のため，運用日数が比較的少ない。そのため利用 VE 時間および稼働 VE 利用率は低い傾向にある。しかし，それら以外の月における稼働
VE 利用率は常に 80%を超え，繁忙期の年度末には90%を超える状況が続いている。

2

AOBA-C の構成
クラウドサービス AOBA-C １は，演算サーバ群によるハードウェア，プログラミング環境，利用者管理および課金統計管理によるソフトウェア並
びに AOBA-1.0 と接続するためのネットワークで構成される。

図 3 利用 VE 時間、稼働 VE 利用率
AOBA-A
図４に，サブシステム AOBA-B の利用ノード時
間，稼働ノード利用率を 2020 年 11 月から 2022 年
8 月まで月単位に示す。運用を開始した 1 年目から稼働ノード利用率は 80%を超え，2022 年以降は90%を超える状況が続いている。4 月および 8 月の利用ノード時間および稼働ノード利用率が低いのは AOBA-A と同様の理由である。

図 5 システム構成 AOBA-1.2
2.1. ハードウェア構成
演算サーバは，SX-Aurora TSUBASA（日本電気株式会社製）106 台で構成される。システム全体の演算性能は，2.39PFLOPS（倍精度），主記憶容量は 66.25TB，総メモリバンド幅 1.34PB/s となる。
AOBA-A と同一性能のベクトルエンジン（以下，VE）Type20B を搭載している。導入台数は AOBA-Aの約 1.5 倍であり，クラウドサービス AOBA-C と図 4 利用ノード時間、稼働ノード利用率
AOBA-B
AOBA-1.0 の利用率が想定以上に高いことから，リクエストの混雑解消を図るため，また更なる大規模並列化プログラムの実行を要望する利用者に対応するため，計算資源の増強は急務となっている。検討の結果，次期システム AOBA-1.5 のサービス開始までの延長期間を埋め合わせする，計算資源の一時的な増強を行う事になった。増設する合わせると総数 178 台になり，AOBA-1.2 では 2倍以上のベクトル演算リソースを提供することが可能になる。
ストレージシステムは，大容量のデータに高速アクセス可能な分散並列ファイルシステム
ScaTeFS（日本電気株式会社）で構築され，実効容量は 1PB である。

クラウドサービス AOBA-C の紹介

2.2. ソフトウェア構成
プログラミング言語は，AOBA-A と同様に自動ベクトル化・自動並列化機能を備えたFortran/C/C++コンパイラを利用できる。自動並列化機能および OpenMP による共有メモリ並列実行と，システム構成に最適化された MPI ライブラリによる，分散メモリ並列実行が可能である。
また科学技術計算ライブラリとして，VE に最適化された数学ライブラリのコレクション NEC
Numeric Library Collection(NLC)を利用できる。
アプリケーションソフトウェアの提供は行わず，基本的には大規模並列プログラミング環境として提供する。これまでの AOBA-1.0 では実現不可能だった大規模プログラムの実行を想定している。
2.3. ネットワーク構成
これらのクラウドサービスは，NEC 神奈川デー― 39 ―

利用可能な資源量は，1 ジョブあたり最大 64VH（512VE）とする。AOBA-A では提供できなかった 32VH（256VE）より大きい資源を必要とする大規模並列プログラムを，常時実行することが可能となった。
ジョブの実行は，既存システムと同じく，バッ
チ リ ク エ ス ト を ジ ョ ブ 管 理 シ ス テ ム Network
Queuing System V（NQSV、日本電気株式会社）に投入して行う。計算資源を共有して利用する「共有利用」を通常利用とするが，個人またはグループで一定量の計算資源を占有して利用できる「占有利用」も提供する。
クラウドサービス AOBA-C の提供期間は，2022年 10 月から 2023 年 7 月までとし，HPCI 課題利用については 2023 年 6 月末日までとする。
3.2. 利用者環境

タセンターに設置した SX-Aurora TSUBASA を，フロントエンドサーバでプログラムをコンパイ

国立情報学研究所の学術情報ネットワークルし，演算サーバへバッチリクエストとして投入

SINET6 を経由して提供する。本センターAOBAしプログラムを実行する形態は，既存システムとを構成する一つのサブシステムとして，SSH によ同じである。ただし，フロントエンドサーバはクるリモート接続により利用する。

ラウドサービス AOBA-C 用のサーバ cfront を利用

表 1 提供するハードウェア、ソフトウェアする。
また，利用者のファイルを置くストレージもク
ラウドサービス AOBA-C のストレージシステムを利用する。AOBA-C でプログラミングの際は，あらかじめプログラムファイルやデータファイルをクラウド用のストレージシステムへ転送しておく必要がある。

3

クラウドサービスの概要

3.1. 概略、提供期間

図 6 AOBA-C 用フロントエンドサーバ、ストレージシステム

既存システムの AOBA-A および AOBA-B の使い方に変更はなく，クラウドサービス AOBA-C を追加する形で既存サービスと連携する。既存システムの利用者番号を保有しているユーザは，AOBA-C も含めたすべてのサービスを利用可能であるので，クラウドサービス AOBA-C を利用するための特別な利用手続きは不要である。

3.3. ログイン認証
AOBA-C においてもシステムのセキュリティを考慮し，ログインサーバとフロントエンドサーバの 2 段構成とする。AOBA-C 用のフロントエン
ドサーバ cfront は，既存のログインサーバ login ま― 40 ―

SENAC Vol. 56, No. （1 2023. 1）

たは HPCI 用ログインノード hpcif からのみアクセ上でプログラムの実行は禁止とする。フロントエ

ス可能とし，利用者は cfront 上でソースコードのンドサーバは，リクエストの操作やコンパイル等コンパイルやバッチリクエストの投入を行なう。の作業用サーバとしているためである。

利用者の公開鍵は既存システムで利用していたものと同一としているので，ローカル PC に保存済

表 2

AOBA-C のキュー構成

みの秘密鍵とパスフレーズによるログインが可能である。既存システムの利用者は改めて鍵の作成をする必要はない。新規利用者は，本センターウェブサイト上に提供される利用者ポータルの「SSH 公開鍵登録」機能を用いて，ログインのための秘密鍵を作成する。
3.4. ファイル転送
AOBA-C のストレージシステムは既存システムとは別システムとなる。そのため AOBA-C で実行するプログラムファイルやデータファイルは，3.6. 利用負担金
共有利用の利用負担額単価は，課金対象時間あたり 125 円とし，後払いの従量制としている。既存システム AOBA-A の共有利用（従量）単価と同じである。また，占有利用の利用負担額単価は利用 VE 数 8 あたり利用期間 3 ヶ月につき 216,000

AOBA-C のストレージシステムにあらかじめ転送円とし，AOBA-A に比べ 2 割抑えた設定にしていしておく必要がある。

る。他の研究グループのジョブによる実行待ちの転送サーバは，既存のデータ転送サーバ file とフロントエンドサーバ cfront の 2 段構成とし，fileを経由して scp(Secure Copy)または SFTP(SSH File
Transfer Protocol)にてファイル転送を行う。file お
よび cfront への接続は，3.3.ログイン認証 で設定した公開鍵と秘密鍵のペアを用いる。
転送方法として，Windows, Mac OS のターミナ
ルアプリケーションおよび linux 上でのコマンドによる操作と，scp や SFTP に対応した FTP クライ
アントアプリケーションを用いる 2 つの方法がある。具体的な操作手順は，センターウェブサイト
１に掲載しているマニュアルを参照いただきたい。

マニュアルでは，ファイル転送に必要な操作コマ
ンドや Windows アプリケーション WinSCP での設定方法を，AOBA-C 向けに解説している。
3.5. バッチリクエストの投入プログラムの実行は，バッチリクエストの投入により演算サーバで行われる。AOBA-C のバッチリクエストの投入は，フロントエンドサーバ cfrontで行う。既存システムからは投入できない。バッチリクエストの基本的な操作手順については，既存システムと同じである。ジョブスクリプトに，投入キュー名，利用 VE 数，最大経過時間を指定する。利用可能な VE 数は，AOBA-A の 2 倍となる 512VE まで利用可能となっている。表２に，AOBA-C のキュー構成を示す。
既存システムと同様に，フロントエンドサーバ影響を受けないため，占有利用を検討の方はご活用いただきたい。

表 3 基本利用負担金【大学・学術利用】クラウドサービス AOBA-C の紹介

4

お わ りに本稿では，2022 年 10 月に運用を開始したクラウドサービス AOBA-C について紹介した。具体的な設定例や実行コマンド等の利用方法の詳細については，本センターのウェブサイト １に操作マニュアルを用意しているので参照いただきたい。
他にも，本センターからのお知らせ，利用講習会や利用相談について最新情報を発信しているのでご活用いただきたい。
また，順延していたスーパーコンピュータ
AOBA-1.5 は，2023 年の導入が決定した。総演算性 能 21PFLOPS を 超 え る 次 世 代 SX-Aurora
TSUBASA（日本電気株式会社）を，2023 年 8 月のサービス開始に向けて準備を進めている。既存
システム AOBA-A の総合演算性能を 14 倍以上に高速化・大規模化した SX-Aurora TSUBASA の次世代機を，世界最大クラスの規模で提供する。
既存の SX-Aurora TSUBASA 向けプログラム資産はそのままで，高速化・大規模化の実現が期待される。AOBA-1.5 によるシミュレーション研究やプログラム開発も見据えて，スーパーコンピュータ AOBA をご活用いただければ幸いである。

参考文献[1] 山下毅，森谷友映，佐々木大輔，齋藤敦子，小野敏，大泉健治，滝沢寛之，「スーパーコンピュータ AOBA の紹介」，SENAC Vol.54
No.1（2021-1），pp.50-55，2021[2] 森谷友映，佐々木大輔，齋藤敦子，山下毅，小野敏，大泉健治，滝沢寛之，「スーパーコンピュータ AOBA の運用状況と利用者支援について」，SENAC Vol.55 No.1（2022-1），
pp.29-32，2022[3] https://jpn.nec.com/press/202204/20220425_01.html
１

https://www.ss.cc.tohoku.ac.jp/aoba-c/― 41 ―