スーパーコンピュータ SX-7 ハードウエア
日本電気株式会社

コンピュータ事業部

西川岳

1． まえがき1998 年 1 月に東北大学に納入された SX-4 の後継機である SX-7 は、SX シリーズの最新機種で、SX-4 で開発されたソフトウェア資産の移行性を容易にする 32CPU の共有メモリ方式のアーキテクチャを継承したスケーラビリティと使いやすさに優れたスーパーコンピュータです。
2． SX-7 システムのハードウェア構成と特長
2.1 ハードウエア特徴
SX-7 の主な特徴は以下の通りです。
① CPU の最大性能が 8.83GFLOPS の世界最速の 1 チップベクトルプロセッサを使用しています。
② 記憶素子に高速大容量の 256M ビット・DDR-SDRAM を採用し、高いメモリスループットと大容量化を実現しています。
③

CPU のスカラユニットにおける命令処理方式は、4way スーパースカラを採用しており、スカラ最大性能値は 1.1GFLOPS を実現しています。

④

SX-4 同様の 32 個のベクトルプロセッサ（CPU）による共有メモリ方式のアーキテクチャの継承をしており、大規模な共有メモリシステムを実現しています。

⑤

線幅 0.15 ミクロン(μm）デザインルールを用いた超高速高集積 CMOS LSI技術により、CPU の 1 チップ化を実現しています。

⑥ 大規模演算に不可欠なメモリからの高速データ供給能力を超高速クロスバスイッチにより実現し、実プログラムでの超高速演算を可能にしています。
以下に、上記特長を備えた SX-7 システムのアーキテクチャ、システム構成、そしてテクノロジの概要について紹介します。

2.2 ハードウエア構成
SX-7 システムは、1 ノード 32CPU で構成されており、これらは Gigabit Ethernetスイッチ（日本電気製 Catalyst6509、1000BASE-SX）により接続されています。
システム全体の理論最大性能値は 2048.56GFLOPS となり、SX-4 の性能値である256GFLOPS と比較すると、約 8 倍の理論最大性能となります。1CPU の性能においても、SX-7 の 1CPU における理論最大性能値は 8.83GFLOPS で、SX-4 の性能値である 2GFLOPS と比較すると約 4 倍の性能を達成しています。
表１に SX-7 の主要諸元について SX-4 との比較を示します。
表 1

SX‑7システムとSX‐4システムの主要諸元比較

項目
理論最大演算性能

SX‑7

SX‑4

2048.56GFLOPS

256GFLOPS

232

128

1792GB

32GB

8189.6GB/s
256Mb SDRAM

2048GB/s
4Mb SSRAM

CPU数
主記憶装置

容量
最大総合データ供給能力
使用記憶素子次に、SX-7 システムを構成しているノードのブロック図を図１に、主要諸元についての SX-4 との比較を表 2 に示します。

CPUCPUCPUCPUMain Memory

IOP0

IOX

IOP12Gbps
RAID
図1

FibreChannel

SX-7 システムのノード基本構成

ノードは、32 個の CPU を持つことが出来、256GB（1 ノード）の主記憶装置で構成されています。これらのノード内では SX-4 同様に共有メモリの特性を生かした並列処理が可能であり、クロックサイクル当たり 512 個の浮動小数点演算（256 個の浮動小数点加算と 256 個の浮動小数点乗算）を実行することにより、282.56GFLOPSの理論最大性能を実現しています。

また、SX-7 の 1 ノードにおける設置面積（保守エリアを含む）と消費電力を SX-4と比較すると、設置面積は 1 ノード 44.5m2 の SX-4 に対して、SX-7 は約 17.3m2、 消費電力も 1 ノード当たり SX-4 は 78.0KVA であるのに対し、SX-7 では 28.0KVA となっています。設置面積では約 1/2.5、消費電力では約 1/2.7 と両者とも大きく改善されました。これらの改善は、1CPU のチップ数を 37 個から 1 個へ導いた、最先端のCMOS LSI 設計技術と実装技術によって実現しました。
表2

SX‑7とSX‑4を構成するノードの主要緒元比較項目
理論最大演算性能
CPU数ー

レ ベクトルレジスタ
ジス ベクトルマスクレジスタ
タ スカラレジスタ
デ 固定小数点

CPU

*SX‑7

SX‑4

282.56GFLOPS

64GFLOPS

32

32

144KB

144KB

256bit×16

256bit×16

64bit×128

64bit×128

32/64bit

32/64bit

**

**

浮動小数点
タ形
式 論理

32/64/128 bit

32/64/128 bit

IEEE

IEEE／IBM／CRAY

64bit

64bit

ベクトル演算パイプライン
スカラ演算パイプライン

5種類×8セット
1セット

5種類×8セット
1セット

キャッシュメモリ

命令：64KB

命令：64KB

オペランド：64KB

オペランド：64KB

256GB
1130.24GB/s

８GB
512GB/s

主記憶装置 容量
最大データ転送能力*） SX-7 では国際標準である IEEE754 規格のみサポートします。
**）128bit は、スカラ命令のみサポートします。

次節以降に、SX-4 から強化された点を中心に SX-7 のシステムのノードのハードウエアについて説明します。

2.3

CPU

SX-7 のシステムの心臓部である CPU の内部構造を図 2 に示します。
CPU は機能的にスカラユニットとベクトルユニットに分けられます。スカラユニットは、命令の読み出し、解読、実行制御を行うと共に、スカラ演算パイプラインを有しており、ベクトル演算パイプラインと同時並行にスカラ演算を実行します。ベク
トルユニットは CPU あたり 8 セットのベクトル演算パイプラインが単一命令ストリーム／複数データストリーム（SIMD）型の並列処理を実行しており、ベクトル演算を高速実行します。

CPU （1CHIP）
Vector Unit

Mask Reg.

Mask
LogicalMultiply

Load/Store

VectorRegisters

Add/Shift
DivideScalar Unit

Cache
MemoryScalarRegisters

ScalarExecution unit

図
図 32 CPUの内部構造

SX-7 システムの CPU の第 1 の特長は、5 多重 8 並列のベクトル演算パイプラインにより構成されているベクトルユニットです。SX-7 の CPU は、ベクトルパイプラインとして加減算／シフト、乗算、除算、論理演算、マスク演算の 5 種（5 多重）を有しています。5 種類のベクトル演算パイプラインは独立して動作が可能であり、データの依存関係が無ければ、5 種の演算が同時に実行できます。さらに、各演算用のパイプラインは 8 個（8 並列）が用意され、1 つのベクトル演算命令により 8 個のベクトル演算のパイプラインが SIMD 型の並列処理を行います。図 3 にベクトルレジ
スタに格納されるデータ要素番号と８並列のベクトル演算パイプラインの関係を、図４に簡単な演算のベクトル処理の動作（チェイニング動作）、アセンブライメージ、そしてタイムチャートを示します。
第 2 の特長は最先端の超高速・高集積の CMOS テクノロジと最先端 LSI 設計技術
により、SX-4 では 37 個の LSI で構成されていたベクトルプロセッサ（スカラユニット＋ベクトルユニット）をたった 1 つのチップで実現できたことです。この LSI 技術とパッケージング技術により、1 チップで 8.83GFLOPS という演算性能を実現しています。

ベクトルパイプライン(8ｾｯﾄ)
除算ベクトルレジスタ

論理演算
加算/シフト演算

要素:8n

乗算

要素:8n+1
要素:8n+2
要素:8n+3
要素:8n+4
要素:8n+5
要素:8n+6
要素:8n+7
ハードウェアで自動割り付け

n=0〜31(ベクトルレジスタ長：256)

図 34 SX-7のベクトルユニットの構成④ ベクトル乗算器

A（i）
B（i）
C（i）

① load② load③ loadD（i）⑥ storeベクトルレジスタ
主記憶⑤ ベクトル加算器

時間

①VLD

Assembler Image① vld $v4, 8, $s37
② vld $v5, 8, $s46
③ vld $v7, 8, $s38
④ vfmp $v6, $v4, $v5⑤ vfad $v3, $v6, $v7⑥ vst $v3, 8, $s47

②VLD

③VLD

④VFMP
⑤VFAD
⑥VST

図
図 45 Ｄ（I）= Ａ（I）＊Ｂ（I）＋Ｃ（I） におけるベクトルパイプラインチェイニング動作

第 3 の特長は、4way スーパースカラ方式を採用しているスカラユニットの性能向上です。SX-7 のスカラユニットの命令パイプラインは、最大４個の命令を同時に解読し、命令の処理に使用する演算器、レジスタなどのハードウエア資源の使用状況を監視することにより、最大 4 個の命令の処理を同時に起動することが可能です。SX-7のスカラピーク性能は 1.1GFLOPS で、スカラピーク性能が 250MFLOPS である
SX-4 の約 4 倍に向上しているため、実アプリケーションでの高い実効性能が期待できます。

第 4 の CPU（及び共有メモリノード）の特長として、高いメモリスループットが挙げられます。ベクトル機はキャッシュに依存しない分、メモリからの強力なデータ供給能力が性能を握る鍵となります。超高速クロスバスイッチにより、SX-4 においては 16GB/s であった１CPU におけるスループットは、SX-7 においては 35.3GB/sにまで向上しました。図 5 は、CPU 台数と主記憶のデータ供給能力を評価するベン
チマークプログラム”Stream”における性能比較グラフです。

Stream Copy A(I)=B(I)[ GB/s ］
900

SX-7

800

8.83Gflops/1cpu

700600500

SX-42Gflops/1cpu

400
300
200100005101520253035［ CPU数 ］
出典：Jun 26、2002 John D. McCalpin report

図 5 データ供給能力 （Stream ベンチマーク）

これらの特長を備えた SX-7 は、ベンチマークプログラムである Linpack の HPC（ 次元数に制限を設けず、システムの持つ CPU／メモリなどの資源を有効に使用した場合の並列処理性能を評価することを目的とするプログラム）において高い性能を出しています。図 6 は HPC における性能比較グラフです。

Linpack HPC（32CPU構成）

［機種名］

SX-7

SX-4050100150200250300［GFLOPS］
出典：July 9、2002 Dongarra report

図 6 ベンチマークプログラム Linpack の HPCにおける性能比較

以上、SX-7 システムの CPU の主な特長について述べました。この他にも、SX-4システムで採用されていた高速演算手法（例えば、大容量スカラレジスタ、RISC アーキテクチャの命令体系、パイプラインの連結（チェイニング）機能など）は SX-7でも引き続き採用され、高速演算に貢献しています。

2.4 主記憶装置

スーパーコンピュータにおいて演算能力が高くなければならないことは当然です
が、演算器へのデータ供給能力も演算能力に見合った強力な能力が必要となります。
SX-7 システムの主記憶装置は、この要求を満足させるために SX-4 と同様に CPUと主記憶装置間のデータパス制御部に分散制御方式を採用し、データを格納するデータ記憶部に独立動作可能な複数のバンクからなる多バンク構成を採用しています。表３に SX-7 を構成するノードの主記憶装置が有するデータ供給能力について SX-4 との比較を示します。
表３ 主記憶装置のデータ供給能力
項目
主記憶装置容量インタリーブ数
CPU 当たりのデータ供給能力
最大データ供給能力

SX-7
256Ｇバイト
16384
35.32Ｇバイト／秒
1130.24Ｇバイト／秒

SX-48Ｇバイト
1024
16Ｇバイト／秒
512Ｇバイト／秒

CPU と主記憶装置間のデータパス制御部は分割され、CPU と主記憶装置に分散しています。この結果、全ての CPU は専用のデータパス制御部を有し、CPU あたり35.32Ｇバイト／秒のデータ供給能力を実現しています。CPU の数が増えると、データパス制御の数も増えることにより、32 台の CPU から構成されるノードでは、1130.24Ｇバイト／秒の総合データ供給能力となります。すなわち、共有メモリ型マルチプロセッサ構成であるノードにおいて、マシンサイクルあたり 256 要素の同時アクセスを可能とするデータ供給能力を実現しています。
CPU はマシンサイクルあたり最大 8 要素の同時アクセスを可能としています。ア

クセスしたデータは、次に説明する主記憶装置内のバンク競合などにより、アクセス要求した時と異なる順序で主記憶装置から送られてきます。CPU 側のメモリアクセ
ス制御部は、アクセスしたデータを１つのベクトル命令で処理する単位（最大 256 要素）毎に、マシンサイクルあたり 8 要素のデータ列として、アクセス要求した時の順番に整列し、ベクトル演算パイプラインにデータが連続して供給できるようにしています。
32 個の CPU が同時に主記憶をアクセスするケースにおけるデータ記憶部のアクセス競合対策として、データ記憶部は 16384 個の独立動作可能なバンクからなる多バンク構成としています。さらに、DDR（Double-Data-Rate）型メモリ素子の採用により、メモリのスループット性能を向上させており、マルチプロセッサ構成時でも主記憶装置からのデータ供給能力を十分に確保しています。
演算能力が高くなると単位時間に処理するデータ量が増加するため、主記憶容量に対する要求も増大します。この要求に応えるため、SX-7 システムではノードあたり256Ｇバイト、システムとしては 1792Ｇバイトの総合主記憶容量を提供しています。

この主記憶容量の拡大により、大規模配列を主記憶上に展開することが可能となり、プログラムの実行時間を大幅に短縮することを可能としています。
また、主記憶装置は入出力装置とも接続され、システムの CPU 間の通信・ノード間のデータ通信・入出力装置データ転送における高速処理を実現しています。
2.5 入出力装置

システムの演算性能の向上に伴い、大容量のストレージや高速なネットワークが必要となってきます。また、多様な周辺機器を接続するために標準インタフェースが求められます。
SX-7 では、ストレージ・インタフェースとして Ultra3-SCSI および ANSI 準拠のネットワークインタフェースとして Ethernet
高速インタフェース FibreChannel を、および GigabitEthernet を提供し、これらの要求に応えます。特に SX-7 では、2Gbpsの FibreChannel をサポートする入出力装置を新規に開発し、同インタフェースを有するディスクアレイ装置を接続しています。高速ディスクアレイ装置は、装置あたり572.8G バイトの容量を持ち、大容量ファイルの高速アクセスを可能とするとともに、演算能力が高くなったことにより、ますます増加することが予想されるデータの格納容量を拡大しています。
3．

SX-7 のテクノロジ

3.1

LSI 技術表 4 に SX-7 及び SX-4 に使用している LSI の諸元比較を、図 7 にスーパーコンピュータのクロックサイクルを示します。LSI 設計においては、バイポーラテクノロジによる SX-3 の動作周波数を凌駕する 552.5MHz の動作周波数を達成すると共に、6000 万トランジスタを集積し、SX-4 と比較して動作周波数で 4.4 倍、集積度で 15倍を実現しました。又 SX-4 では 37 個の LSI で構成されていたプロセッサ機能を、
SX-7 では写真に示すように 1 チップで実現しました。

今回開発した LSI では、NEC が独自に開発した最先端 CMOS デバイステクノロジである 0.15μｍ、8 層銅配線プロセスの採用と低電源電圧化を進めることにより、高集積化と高性能化を実現しました。
表４ フルカスタム LSI の諸元比較
項目

SX-７

SX-４

設計ルール

0.15μm

0.35μm

搭載トランジスタ数

6000 万400 万

動作周波数552.5MHz125MHz

配線層構成

銅8層

アルミ４層

電源電圧2.5V,1.8V

3.3V,

1.２V

CPU の LSI には 128KB のキャッシュメモリを内蔵していますが、これらはデバイス性能を最大限引き出すためにすべて専用設計をしています。メモリセルに高密度セルを採用し収容性向上を図ると共に、製造ばらつきの影響をキャンセルするタイミング生成回路を搭載し、高速かつ安定動作を実現しました。又、テスト時間を短縮するために、BIST（Built In Self Test）を採用しており、基本的な RAM 動作のほか複数のパターン依存テストが可能であり、様々な製造不良をリジェクトする信頼度の高いテストを実現しました。
チップ内へのクロック分配方式は、まずチップ全面へグローバルクロックを分配し、次にローカルエリアへクロック分配する 2 段階のクロック分配方式を採用しています。グローバルクロックには、クロック分配専用の低抵抗の厚膜配線層により配線して抵抗による波形なまりを低減すると共に、電源・グランド配線によりシールドすることによりクロストークノイズの影響を小さくしています。又クロックドライバ用電源を分離することによりクロックジッタを低減しています。
LSI の PAD 配置にはフリップチップ方式を採用しており、LSI パッドから内部電源配線までの線長を短縮することにより抵抗およびインダクタンス成分を低減し、電源電圧変動を抑制しています。又、オンチップの大容量デカップリングコンデンサを搭載することにより、高速スイッチング動作によるノイズを低減しています。
システムの性能向上のためには、LSI の高速化に加えて LSI 間の高速信号転送が必要になります。この実現のために、LSI 間の遅延ばらつきの影響を緩和するデータ転送方式、ノイズや信号波形歪みの低減を実現する回路技術を開発しました。

Ｃｌｏｃｋ ｃｙｃｌｅ（ｎｓ）

１０
SX-4

SX-2

SX-3

CMOS

SX-5

SX-3R

SX-6

Bipolar

SX-7

11980

1985

1990

1995

2000

図 7 スーパーコンピュータのクロックサイクル

写真 1 ＣＰＵチップ外観

2005

3.2 実装技術
SX-7 システムでは、１つのノード内においてすべての CPU が巨大なメモリ空間を共有する共有メモリ方式に対応するため、１つのケーブル筐体の４面に CPU パッケ
ージと MMU（Main Memory Unit）パッケージを実装し、１つのノードを構成しています。

筐体の１面に最大 16 個の CPU パッケージを搭載し、隣接する１面に最大 64 個のMMU パッケージを搭載することによって、１つのノードを構成する１つの筐体に32CPU/128MMU パッケージという高密度実装を実現し、従来機種と比較して大幅な省スペース化を実現しています。そして、CPU/MMU パッケージ間を高速ケーブルで接続しています。図 8 に SX-7 の外観と筐体構造を示します。

MMU×64ケ−ブル筐体CPU×16

MMU×64

CPU×16

図 8 SX-7 の外観と筐体構造さらに、システム全体を高速動作させるため、高密度 LSI 実装技術、高性能ケーブル接続技術、高効率冷却技術、高性能電源モジュールを採用しています。
CPU/MMU パッケージといった超高速動作を要求されるパッケージにおいては、超高速 LSI の性能を最大限に引き出すために LSI と配線基板間の接続方式としてベアチップ実装方式を採用しています。LSI を直接高密度プリント配線基板に実装することにより、従来 LSI ケース部で発生していたノイズ、信号遅延などを削除し、高速伝送を実現しています。
CPU パッケージには、１チップベクトルプロセッサを搭載しています。また、MMUパッケージには、1 個の制御用 LSI と、6 個の RAM を搭載したメモリキャリア 16枚を搭載しています。メモリキャリアには 6 個の RAM を搭載しており、MMU パッケージ当たり 96 個の RAM を搭載しています。写真 2 に MMU パッケージの外観、
写真 3 にメモリキャリアの外観を示します。

高速伝送を要求される CPU/MMU パッケージ間の接続には、コネクタ付き高速細径同軸ケーブルを採用しています。このケーブルは伝搬遅延時間が 3.8ns/m と伝送特性に優れるとともに、狭ピッチでの同軸ケーブル多極化により、ノード内の全CPU/MMU パッケージ間の高速伝送と多信号接続を実現しています。
また、LSI の高速・高集積化に伴って、LSI 発熱量が従来機種と比べて約 3 倍に増大しています。さらに高密度実装により、装置全体の発熱密度も高くなっています。
このため、熱流体シミュレーションを利用し、最適冷却設計を実施しました。これにより、全部品について規定温度以下での動作を可能とし、高い信頼度を実現しています。
電源開発においては、従来機種と比較して低電圧化が進み、給電系の電圧ドロップ、インダクタンス低減ならびに負荷変動応答速度向上が課題となりました。これらの課題に対してアクティブクランプ＋同期整流回路を採用し、高効率および従来機種電源モジュール比約 2 倍の応答速度を実現した DC-DC コンバータを採用するとともにCPU/MMU パッケージにプラグインコネクタを介して 1 対 1 接続する分散給電方式を採用しました。
4．終わりに以上、SX-7 のハードウェアの概要について説明しました。SX-7 は、スーパーコンピュータの要件である CPU の高い演算性能とそれに見合う CPU−主記憶間の強力なデータ供給能力のバランスを重視し、ユーザに使い易い大規模共有メモリシステムとして開発しました。今後も、ユーザのご要望を取り入れながら、各種の研究分野の発展に寄与するスーパーコンピュータを開発していきたいと思います。

写真 2 ＭＭＵパッケージの外観

写真 3 メモリキャリアの外観