— 39 —SENAC Vol. 48, No. 1（2015. 1）［大学 ICT 推進協議会 2014 年度 年次大会論文集より転載］

スーパーコンピュータシステム SX-ACE の紹介††

山下毅 †森谷友映 †佐々木大輔 †齋藤敦子

小野敏 †大泉健治 ‡岡部公起 ‡江川隆輔 ‡小林広明†‡

東北大学情報部情報基盤課

東北大学サイバーサイエンスセンタースーパーコンピューティング研究部

yamacta@cc.tohoku.ac.jp
概要：東北大学サイバーサイエンスセンターは、全国共同利用設備として大規模科学計算システムの整備と、HPCI の資源提供機関としての役割を担っている。本稿では、2015 年初頭に運用を開始する
本センターの主力計算機である新ベクトル型スーパーコンピュータ SX-ACE と、その運用方針およびユーザの利用環境について紹介する。

利用者

三次元可視化システム

パーコンピュータシステム SX-ACE
スーパーコンピュータシステム
2,560 nodes, 707 TFLOPS

並列コンピュータシステム LX 406Re-2
68 nodes, 31.3 TFLOPSStarTAINS / SINET4ファイルサーバシステム
4PB
大判プリンタ

図1

大規模科学計算システムの構成（2015 年以降）

算性能とメモリ性能の最適化を実現している。

1 はじめに東北大学サイバーサイエンスセンター（以下、本センター）では、2015 年初頭に新スーパーコンピュータシステム SX-ACE（日本電気株式会社製）の運用開始を目指し、本年 11 月に竣工の HPC

本稿では、新スーパーコンピュータシステムのハードウェアおよびソフトウェアの特徴と、新システムの導入に伴い今回新設された HPC 新棟の概要、および利用者の利便性とセキュリティの向上を考慮して構築を行った、大規模科学計算シス
テムの運用方針について紹介する。

新棟（仮称）内において、現在ハードウェアおよびソフトウェアの環境構築作業を行っている。今回導入した SX-ACE のシステムは全 2,560 ノードで構成され、1 ノードあたり理論最大演算性能

2 大規模科学計算システム
2.1 システムの概要

276GFLOPS の世界初のマルチコア（4 コア）ベクトルプロセッサを 1 基搭載し、システム全体で本センターの大規模科学計算システムの構成をは約 707TFLOPS となる。主記憶は 1 ノードあた 図 1 に示す。本センターの大規模科学計算システ
り 64GB を搭載し、256GB/s という高いメモリバ ムは、ベクトル型スーパーコンピュータを主力計ンド幅でプロセッサと接続されることで、高い演 算機とし、汎用アプリケーションの実行環境とし— 40 —

SENAC Vol. 48, No. 1（2015. 1）

表1

SX-9 と SX-ACE の性能比較

性能

CPU あたり

コア数
理論最大演算性能
最大ベクトル演算性能
メモリバンド幅

ADB
ノードあたり

CPU 数
理論最大演算性能
最大ベクトル演算性能
メモリ容量
メモリバンド幅
ノード間通信速度システムあたりCPU 数
理論最大演算性能
最大ベクトル演算性能
メモリ容量
最大消費電力
計算機室床面積

SX-9

SX-ACE向上比

1個118.4GFLOPS
102.4GFLOPS
256GB/sec
256KB

4個
276GFLOPS
256GFLOPS
256GB/sec
1,024KB/コア× 4

4倍
2.3 倍
2.5 倍1倍
16 倍

16 個
1,894GFLOPS
1,638GFLOPS
1TB
4TB/sec
256GB/sec

1個
276GFLOPS
256GFLOPS
64GB
256GB/sec
8GB/sec

0.06 倍0.15 倍
0.16 倍0.06 倍0.06 倍0.03 倍288 個
34.1TFLOPS
29.5TFLOPS
18TB
590kVA
293 平米2,560 個706.6TFLOPS
655.4TFLOPS
160TB
1,080kVA
430 平米8.9 倍
20.7 倍22.8 倍
8.9 倍
1.8 倍
1.5 倍てスカラ型の並列コンピュータの運用も行ってい おける萌芽的研究、産業利用の促進も期待される。
る。この二種類の計算機の運用により、利用者の以下では、2015 年初頭に運用を開始するスー

幅広いニーズに応えるサービスを提供している。

パーコンピュータシステム SX-ACE について説SX-9 システムは、2008 年 3 月から運用を開始 明する。
し本年で 7 年目を迎えているが、6 年半の平均利用率は 80% を超え、また今年度上半期の平均利用率は過去最高の 90% と高い利用率となってお2.2 SX-ACE システムの紹介

り、科学技術計算においてベクトル型スーパーコ 2.2.1

ハードウェアの特徴

ンピュータのニーズの高さを伺うことが出来る。 ■システム構成

SX-9 システムと SX-ACE シス（利用率：ユーザプログラムの CPU 時間合計÷シ テムの性能比較を表 1 に示す。SX-9 システム全体
ステムの稼働時間合計× 100【%】）18 ノードでの理論最大演算性能が 34.1TFLOPS

並列コンピュータシステムの LX 406Re-2 と、 であるのに対し、SX-ACE システム全体の 2,560
合計 4PB の容量を有するファイルサーバシステ ノードでは 706.6TFLOPS となり、約 21 倍の性ム、および三次元可視化システムは、2014 年 4 月 能向上となる。本センターの SX-ACE システムに導入され運用を行っている。これらのシステム では最大 512 ノード並列の実行環境に加え、来年は、スーパーコンピュータシステムとの連携、お 度からは最大 1,024 ノード並列の大規模な実行環
よび分散ファイルシステムを活用した計測データ 境が利用者に提供される。の高速な I/O により、高速かつ高精度な防災・減災シミュレーションを行い、シミュレーション結 ■消費電力・設置面積 SX-ACE は SX-9 と比較
果を三次元可視化するシステムとして活用される。 して、同一性能時の LSI 数を約 1/100 へと削減しこれらのシステムを利用した、ものづくり分野に たため、SX-9 と同等の性能を 1/10 の消費電力と1/5 の設置面積で実現している。

— 41 —

スーパーコンピュータシステム SX-ACE の紹介

Scalarprocessing unit

CoreVector
processing unit

SPU

IOP

VPU
Core256GB/s

CoreCore
RCU

ADB
Assignable
Data
Buffer 256GB/sVector pipeline x16

I/O controller
File system
4GB/s x2
Network controller
Interconnect
4GB/s x2

Vectorprocessingunit

Mask reg.

Load/Store

Vector reg.

Mask Operation
Add
Add

ADB

Multiply
Multiply
Div/Sqrt

Crossbar switch

LogicalMemorycontroller

ALU

MC ( Memory Controller )Cache

256GB/s

Scalar reg.

Scalar processing unit

ALU

FLOAT

Memory

図2

SX-ACE マルチコアプロセッサ

図3

ベクトルプロセッシングユニット

SX-ACE システムは SX-9 システムと比較して メモリ負荷の高いアプリケーションも高い実行効
約 21 倍の性能向上であるが、最大消費電力およ 率での実行が可能となる。また、ノード内並列数
び、計算機室の床面積（付帯装置および冷却装置を を 1 として、単一のコアのみを演算に使用する場含む）はそれぞれ、1.8 倍および 1.5 倍として設計 合も 256GB/sec のメモリバンド幅が利用でき、こした。SX-ACE システムの導入によって最大理論 のときも 4Bytes/FLOP での実行が可能である。
演算性能の飛躍的向上と、省エネおよび省スペース化の両立を実現することが可能となった。

SX-ACE のマルチコアプ ■ノード間通信 ノード間の通信は最大 4GB/sec
× 2（双方向）で接続された 2 段ファットツリー
ロセッサの模式図を図 2 に、ベクトルプロセッシ■ベクトルプロセッサ

ングユニットの模式図を図 3 に示す。

ネットワークで構成される。SX-ACE は 1 ノード

SX-ACE の CPU はこれまでのベクトルプロ あたり 256GFLOPS という高いベクトル演算性能セッサと同様の高いベクトル性能と、高いメモリバンド幅を継承し、またシリーズ初のマルチコア化を行った。1CPU は、それぞれ 64GFLOPSのベクトル演算性能を持つ計 4 コアで構成され、256GFLOPS のベクトル演算性能を持つ。

により、プログラムの実行に必要な並列度を低く抑えることが可能であり、多並列での実行時に並列性能の高いスケーラビリティが期待出来る。

以上のような SX-ACE のハードウェアの特徴

CPU 内のコア間は 256GB/sec のクロスバス により、これまでベクトル向けに開発されてきたイッチにより高速接続され、クロスバスイッチと主記憶間はメモリコントローラを介し 256GB/secで高速接続されており、CPU あたり 1Byte/FLOP

アプリケーションは勿論のこと、学術研究者の幅広い分野のアプリケーションを高い実行効率で実行されることが期待される。

を達成している。
各コアには、容量が 1,024KB に拡張された HPC 2.2.2

ソフトウェアの特徴

専 用 設 計 キ ャ ッ シ ュ で あ る ADB（Assignable ■オペレーティングシステム

オペレーティング

Data Buﬀer）が搭載され、ADB とコア間のメモリ システムは前システムから引き続き、POSIX 準
バンド幅は 256GB/sec を有する。データが ADB 拠の SUPER-UX を採用している。OS レベルで経由でアクセスされる場合は、4Bytes/FLOP と マルチノードをサポートし、大規模マルチノードいう高いバンド幅によるデータ供給性能により、 システムにおいても安定した利用環境を提供して

— 42 —

SENAC Vol. 48, No. 1（2015. 1）

表2

SX-ACE で利用可能なプログラミング言語と数値演算ライブラリ

言語・ライブラリ

コンパイラ名・ライブラリ名

Fortran 90/95

FORTRAN90/SX

準拠規格・機能

ISO/IEC 1539-1:1997 準拠
自動ベクトル化、自動並列化、OpenMP 対応

NEC Fortran 2003 コンパイラ

Fortran 2003

ISO/IEC 1539-1:2004 準拠
自動ベクトル化、自動並列化、OpenMP 対応

C,C++

C++/SX

ISO/IEC 9899:1999 C 準拠
ISO/IEC 14882:2003 C++ 準拠
自動ベクトル化、自動並列化、OpenMP 対応

MPI ライブラリ

MPI/SX

MPI-3.0 準拠

科学技術計算ライブラリASL
ASLSTAT
MathKeisan

数値計算ライブラリ
統計計算ライブラリ
数学ライブラリ集（BLAS, LAPACK, ScaLAPACK を含む）

いる。
■言語とライブラリ入する。これは FTRACE 機能で採取された性能

SX-ACE で利用可能な言語およびライブラリを表 2 に示す。SX-ACE では新たに Fortran 2003 に対応したコンパイラを導入し、幅広い Fortran コードの実行が可能である。また、MPI-3.0 に準拠した MPI ライブラリ
は Fortran、 C/C++ から利用可能であり、同一ノード内では共有メモリの特徴を活かした自動並列／ OpenMP 並列の利用、または Flat MPI 実行による大規模並列実行が可能である。

解析情報をグラフィカルに表示し、ベクトル性能や OpenMP、MPI を利用した並列プログラムのスレッド・MPI プロセス毎の実行時間、MPI プロセス間の通信時間をグラフ表示することにより、性能のボトルネックやロードインバランスを把握するためのツールである。これらのツールを用いることで、実行コストの高いサブルーチンの特定や、並列実行時の演算量の均一化、ノード間通信の最適化等の高速化作業が容易になる。

また、SX シリーズに最適化された科学技術計 ■分散・並列ファイルシステム HPC システムの算ライブラリとして、表 2 に示すライブラリが引 大規模化やデータの大容量化に対応するために、分き続き利用出来る。ライブラリを利用して SX-9 散・並列ファイルシステムである、NEC Scalable向けに作成したプログラムも、SX-ACE 用にコン Technology File System（ScaTeFS）を採用した。
パイルし直すだけで実行が可能である。BLAS、 SX-ACE および並列コンピュータの各ノードとスLAPACK、ScaLAPACK ライブラリを利用して トレージシステムを ScaTeFS で接続し、データお記述したプログラムは、MathKeisan ライブラリ よびメタデータを複数の I/O サーバに分散配置すをリンクすることで、ソースコードの変更なく実 ることで負荷分散とスケールアウトを実現し、シ行が可能である。
ステム全体のスループットの向上が見込まれる。
■高速化支援ツール

SX-9 で高速化支援ツール ■ジョブ管理システム ジョブスケジューリング

として活用されてきた、プログラム実行解析情報 機能は前システムと同様 NQSII を採用し、計算リ（PROGINF）と簡易性能解析情報（FTRACE）は ソースを管理して効率的なユーザのジョブ管理を引き続き利用可能であり、加えて GUI でプログラ 行う。
ムの性能を解析可能な NEC Ftrace Viewer を導NQSII によるバッチジョブ投入方法の概略を図

— 43 —

スーパーコンピュータシステム SX-ACE の紹介

並列コンピュータシステム
LX 406Re-2

スーパーコンピュータシステム SX-ACE

利用者
利用するシステム名・利用ノード数・プロジェクトコード等を指定してジョブを投入

ジョブ管理システムNQSⅡ

図4

図5

NQSII によるバッチジョブ投入方法

HPC 新棟外観（2014.10.31 撮影）4 に示す。利用者はジョブ投入の際に、利用するコ 場合は、他に空きノードがある場合はそれらを割ンピュータシステム、利用ノード数、プロジェク り当てることにより、利用者に対して迅速に計算トコード名、ジョブスクリプトファイル名、ノー 機環境を提供することが可能である。
ドあたりの実行プロセス数、ノード内並列数等を指定することにより、同一のフロントエンドサー
バから SX-ACE、LX 406Re-2 の両システムに対してジョブの投入が可能である。

3 HPC 新棟について
3.1 新棟の概要

この機能により、以下のように利用者のアプリケーションの特性に合わせて、柔軟にジョブの投入を行うことが可能となる。

SX-ACE システムの導入に先立ち、本センターの正面に隣接して HPC 新棟が竣工した。HPC 新棟の外観写真を図 5 に示す。

・ロードストアを多用する、メモリ負荷の高いアプ

SX-ACE システムで必要とされる電源設備、空リケーションは SX-ACE を利用し、ノード内は単 調機等を含めた計算機の設置スペース、および一コアのみを使用して高いメモリ転送速度を活用。 SX-ACE の水冷方式に対応した冷却システム（水・並列実行性能が高いアプリケーションは SX- 冷装置設備本体と配管設備一式）を、現在 SX-9 をACE を利用し、コンパイラの自動並列化機能を用 運用している本センターの計算機室に確保するこ
いてノード内は 4 スレッド並列で実行。
・高いスカラ演算性能が要求されるアプリケーショとは困難であったため、新棟の建設が行われた。
今後の HPC システムの規模拡大も見据え、継ンは LX 406-Re2 を利用し、単一コアで実行する 続的に情報処理基盤拠点としての役割を担うことが出来る計算機棟としての理念の下、新棟の設計ことでターボブースト機能を活用。
が行われた。
また、スケジューラマップの導入により、ジョブの実行予定がない実行ノードを検出した場合に自動的に CPU のコア縮退運転、またはノードが省電力運転へ移行することが可能であり、高い QoSを保ったまま消費電力を削減することが出来る。
この機能により、計画停電などの運用予定に合わせて指定された期日に運用ノード数を調整することも可能である。
実行時に稼働していたノードに障害が発生した

3.2 空調・水冷設備
SX-ACE は水冷・空冷の両冷却方式で運用されるため、水冷方式に対応するための配管設備と、空冷方式に対応するための空調設備の設置が必要となる。
冷却水と空調に必要な冷水は、屋上に設置した密閉形フリークーリング方式の冷却塔（チラー）で生成される。周囲温度の低下時（中間期・冬期）

— 44 —

SENAC Vol. 48, No. 1（2015. 1）に、冷却塔のみで冷水を生成させ直接負荷側に送 ドにより鍵サーバへログインし、専用の鍵ペア生水することで、エネルギーの使用量を低減させる 成プログラムにより、一定強度のパスフレーズを持つ秘密鍵を作成する。画面に表示された秘密鍵ことが出来る。のテキストをローカル PC にコピー&ペーストにより保存し、このファイルを秘密鍵として利用す

3.3 アイルキャッピング

る。この秘密鍵を利用して、フロントエンドサー

SX-ACE および付帯装置が収納されるラック バに公開暗号鍵方式でのログインが可能となる。
は、冷気の吸入側である前面側を向かい合わせて なお、鍵サーバ上で鍵ペアを作成すると、鍵サーレイアウトされる。フリーアクセスフロアの底面 バへのログインはロックされる。
から供給される冷気をラック前面から効率的に吸入するために、向かい合うラックの側面と上面 ■HPCI 課題利用者のログイン方法 HPCI 課題をビニルカーテンにより仕切る、コールドアイル 利用者は、HPCI が提供する GSI 認証による電子キャッピングの方式を採用したことで省エネ効果 証明書を用いたシングルサインオンでのログインのみが利用可能である。
が期待される。
また、計算機ラック背面からの排気は天井面の吸入口から天井裏を介し、空調機に還気する方式 4.1.2

プロジェクトコード

NQSII のジョブアカウント機能によって、ユーを採用している。

ザが異なるプロジェクトで計算機資源を利用する

4 システムの運用方針際に、ジョブ単位の課金と予算管理を行うことが出来る。SX-ACE システムではこの機能を利用4.1 利用者環境についてし、1 つの利用者番号で複数の請求先の使い分けを

4.1.1 ログイン認証方式

ジェクトコードを導入した。プロジェクトコード■パスワード認証方式の廃止可能とするために、利用者管理の 1 つとしてプロ本センターの SX- の導入前と導入後の利用者と請求先の関係を図 6

9 システムではフロントエンドサーバへのログイ に示す。プロジェクトコードの導入により、利用ンの際に、パスワード認証方式および公開鍵暗号 者には以下の様な利便性と、セキュリティ性の向方式の両方が利用可能であり、どちらの方式でロ 上が期待出来る。
グインを行うかは利用者の判断に任されている。

SX-ACE システムでは、昨今の漏洩パスワードによる不正アクセスのセキュリティインシデントへの対策として、フロントエンドサーバへログインする際のパスワード認証方式を廃止し、公開暗号鍵による認証方式のみ利用可能とした。
■鍵ペアの生成■複数の請求先の利用

従来の研究室予算での利用に加え、課題採択形式で利用されるケースが近年増加している。SX-9 システムで複数の請求先を利用する場合の模式図を図 6 左に、SX-ACE システムでの場合を図 6 右に示す。

SX-9 システムまでは、複数の請求先を利用すログインに必要な公開鍵・秘密 る場合、請求先毎に支払責任者番号を発行する必

鍵ペアの生成においては、パスフレーズを設定し 要があった。そのため、利用者 A が複数の請求先ない、あるいは強度の低いパスフレーズにより秘 を使い分けるには、請求先ごとの支払責任者番号
密鍵が作成されることを防ぐために、フロントエ （u2000, u2100）のそれぞれに利用者番号（c2200,ンドサーバへの初回接続時には、新たに設置した d2300）を取得し、ログインする利用者番号を使いSSH アクセス認証鍵生成サーバ（以下、鍵サーバ） 分ける必要があった。
で鍵ペアを生成する方式を採用した。

SX-ACE システムからはプロジェクトコード

利用者は発行された利用者番号と初期パスワー の導入により、利用者 A は 1 つの利用者番号

— 45 —

スーパーコンピュータシステム SX-ACE の紹介

SX-9システム

請求書は「支払責任者番号」ごとに発行

SX-ACE システム

請求書は「プロジェクトコード」ごとに発行支払責任者M

支払責任者N

支払責任者M

支払責任者N

支払責任者番号u2000

支払責任者番号u2100

支払責任者番号u2000

支払責任者番号u2100

プロジェクトコード
pj001

プロジェクトコード プロジェクトコード
pj002
pj003

利用者A

利用者A

利用者B

利用者A

利用者B

利用者番号c2200

利用者番号d2300

利用者番号
e2400

利用者番号
c2200

利用者番号
e2400

図6

プロジェクトコードの導入による利用者と請求先の関係（c2200）から請求先の異なる複数のプロジェクト まで利用していた環境を引き続き利用することがコード（pj001, pj002）を使い分けることが可能に 可能である。
なる。バッチジョブ投入の際に NQSII のジョブアカウント機能を用い、請求先としたいプロジェク

4.2 利用ノード数と利用負担金についてトコードを指定することで、利用者が複数の請求先を使い分けることが可能となる。また、支払責

大学・学術利用における、SX-ACE システムの任者が複数のプロジェクトコード（pj002, pj003） 利用ノード数と利用負担金を表 3 に示す。なお、民間企業利用に関しては、大学・学術利用単価のを保有することも出来る。

3 倍の単価設定としている。
■利用者環境SX-9 システムでは請求先毎に利用者番号を使い分ける必要があったため、利用者 4.2.1がそれぞれの利用者番号に割り当てられたユーザ

共有利用共有利用は、他のユーザと利用するノードを共のデータ領域内で環境の構築が必要であった。ま 有する方式である。本センターの運用方針である
た、利用者番号・パスワードの管理も利用者番号 大規模ジョブの長時間実行環境を提供する目的で、毎に必要であった。SX-ACE システムでは、利用 ジョブの実行時間はスケジューラマップ時間以内
者は 1 つの利用者番号で、複数の請求先を利用す で無制限としている。待ち行列は FIFO を基本とることが可能であるので環境の構築は 1 箇所で済 するが、利用者がジョブの実行時間をジョブスクみ、また鍵ペアの管理も簡便になるためセキュリ リプトファイルに明示することで、リソースに空きがある場合はジョブのエスカレーションが自動ティ性も向上する。

的に行われる。
■課題利用期間とプロジェクトコード

採択課題

研究室の PC、あるいは共有サーバ等で実行さの利用期間が終了したものについては、該当する れているプログラムの SX-ACE への移行を支援
プロジェクトコードを無効にすることで、利用者 する目的で、経過時間制限を設定した 1 ノード利はジョブを投入することが不可能となる。また、 用を無料としている。また、ジョブの並列化を促利用者が利用可能な課題が追加された場合は、利 進させる目的で、1 ノードから 32 ノードの利用は用者番号に対してプロジェクトコードを追加設定 利用負担金単価は一定とし、33 ノード以上の利用することでジョブの投入が可能となるため、それ では利用するノード数が多くなると、利用負担金

— 46 —

SENAC Vol. 48, No. 1（2015. 1）

表3

SX-ACE システムの利用ノード数と利用負担金（大学・学術利用）【共有利用】
利用ノード数経過時間制限※最大メモリサイズ

利用負担金単価【円/秒】

1
1〜32
33〜256257〜1,024

あり

64GB
2TB
16TB
64TB

無料なし
なし
なし

0.06
(利用ノード数-32) × 0.002+0.06(利用ノード数-256) × 0.0016+0.508※ジョブの実行時間は、スケジューラマップ時間以内とする。

【占有利用】
利用ノード数最大メモリサイズ

利用期間利用負担金【円】

322TB

644TB

1288TB

3 ヶ月間
6 ヶ月間
3 ヶ月間
6 ヶ月間
3 ヶ月間
6 ヶ月間

400,000
720,000
720,000
1,300,000
1,300,000
2,340,000

単価の増加率が減少する 2 段階の単価設定として 慮した計画的な実行が可能である。
いる。
また、SX-ACE では NQSII の機能として会話リクエスト機能が追加され、クライアント環境からSX-ACE のノードに直接ログインすることなく対5 おわりに
本稿では 2015 年初頭に運用を開始する、サイ話型操作が可能である。会話リクエストの場合、1 バーサイエンスセンターのスーパーコンピュータノードで実行された際の課金体系（0.06 円/秒）が システム SX-ACE について紹介した。また、SX適用される。

ACE システムの導入に伴うシステムの運用方針の変更点について説明した。最新のベクトル型スーパーコンピュータ SX-ACE を、皆様の研究にご活

4.2.2 占有利用用いただけたら幸いである。

占有利用は一定数のノードを利用者、あるいは利用者グループが占有して利用する方式である。
この場合、利用者は占有利用として設定されたプロジェクトコードを指定してジョブの投入を行う。

謝辞
可視化画像をご提供いただきました、宇宙航空

共有利用で使用されるスケジューラマップにはア 研究開発機構の中橋和博先生、スーパーコンピューサインされないため、契約されたノード数までは タシステム SX-ACE の導入および環境構築にあたジョブが優先的に実行される。ジョブが利用可能 り、日本電気株式会社、NEC ソリューションイノ
なノード数を超えた場合は、実行中のジョブが終 ベータ株式会社、NEC フィールディング株式会社
了するまでジョブは実行されないが、研究グルー の皆様には多大なるご協力をいただきました。皆プ内でジョブ実行までの待ち時間や、利用額を考 様に深く感謝の意を表します。