汎用コンピュータシステム「TX7/AzusA」
日本電気株式会社

コンピュータ事業部

鈴木重信

高木均

横山淳

１．まえがきTX7/AzusA は米 Intel 社の最新 64bit マイクロプロセッサ Itaniumを 16 個まで搭載可能な大型スケーラブルサーバです。高性能 Itaniumプロセッサとこれを相互に接続し 16way のスケーラビリティを実現する独自チップセットの搭載により、51.2GFLOPS という 16way スカラサーバとして世界最高（2001 年 5 月の製品発表時点で）性能を達成しています。
TX7/AzusAはNEC独自のチップセットとサービスプロセッサ、BIOS、OSの連係により高性能、高信頼性、高可用性を同時に実現する、システムアーキテクチャを有します。このアーキテクチャにより、科学技術計算からビジネス向け用途向けに至るまで、幅広い用途に対応できるプラットフォームとなっています。
本稿では、このような特長を備えた TX7/AzusA システムのハードウエアについてご紹介します。

２．システム構成
図 1 に汎用コンピュータシステム TX7/AzusA のシステム構成を示します。
汎用コンピュータシステム TX7/AzusA はノード当たり 16CPU から構成され、全体で7 ノードから成るシステムです。各ノードは 1000BASE-SX スイッチを経由し接続されており、ファイルサーバ、スーパーコンピュータシステムと連携した利用が可能となっています。
ﾉｰﾄﾞ#0
TX7/AzusA
16CPU 51.2GFLOPS
主記憶装置 32GB

ﾉｰﾄﾞ#4
TX7/AzusA
16CPU 51.2GFLOPS
主記憶装置 16GB

ﾉｰﾄﾞ#1
TX7/AzusA
16CPU 51.2GFLOPS
主記憶装置 32GB

ﾉｰﾄﾞ#5
TX7/AzusA
16CPU 51.2GFLOPS
主記憶装置 16GB

ﾉｰﾄﾞ#2
TX7/AzusA
16CPU 51.2GFLOPS
主記憶装置 32GB

1000BASE-SX
Switchﾉｰﾄﾞ#3
TX7/AzusA
16CPU 51.2GFLOPS
主記憶装置 16GB
ﾌｧｲﾙｻｰﾊﾞ NX7000 /L2000
2CPU 主記憶装置 4GB
ﾃﾞｨｽｸ容量 3TB(RAID5)

図１ 汎用コンピュータシステムの構成

ﾉｰﾄﾞ#6
TX7/AzusA
16CPU 51.2GFLOPS
主記憶装置 16GB

スーパーコンピュータ
SX-4／H128ルータ

ＴＡＩＮＳ

３． ハードウエア構成
３．１ 特長
表１に TX7/AzusA の諸元を示します。特長を要約すると以下のようになります。
(1) 最大16個の64ビットプロセッサItaniumを搭載可能なSMPサーバです。
(2) メモリは最大64GB搭載可能で、システム総合転送性能は16.8GB/sに達します。
(3) IOスロットとして最大128スロットのPCIスロットをサポートします。
(4) 短いメモリレイテンシと高いメモリ／IO転送性能を実現し、高性能を追求しています。
(5) プロセッサ／メモリ／IOの構成に柔軟に対応可能なセルアーキテクチャを採用しています。
(6) セルを構成単位とするパーティショニング機能をサポートし複数OS搭載による柔軟なシステム構成を実現可能です。
(7) データパス系にはECCを付与し、アドレス、制御信号系にはパリティなどを備えて障害検出能力を向上させ、高信頼度システムの構築に対応しています。
(8) サービスプロセッサを備え、障害情報の収集、障害発生箇所の指摘、障害箇所の自動切り離し／自動再立ち上げを実現しています。
(9) 冗長構成の電源／ファンを採用する他、各所でホットプラグをサポートしており、可用性の向上を図っています。
項目
プロセッサ
プロセッサ数
メモリ容量
IO スロット数
本体サイズ
重量

表１ TX7/AzusA 1ﾉｰﾄﾞの諸元
諸元Intel Itanium(800MHz-4MB L3 cache)
16 個
32GB／16GB
最大 64600(W) × 1040(D) × 1800(H)mm
420kg

３．２ 基本構造
図２に本体装置のハードウェアシステム構成を示します。
本体装置は、プロセッサ／メモリ／IOコントロラを持つセルカード4枚を中核に、セルカード間を接続するアドレスネットワーク／データクロスバ、PCIアダプタボックス（PCIBOX）、およびサービスプロセッサ(SP)からなります。 各セルカードは4プロセッサ、8GBのメモリの搭載と、4本のIO接続用専用インタフェースGiga Stream Link(GSL)介してPCIBOXの接続が可能です。
プロセッサとメモリ、GSLインタフェースをバランスよくセルカードに搭載したセルアーキテクチャを採用しているため、システムに要求される能力の向上に応じて、段階的にコストを抑えた増設で応えることが可能です。同じく、IOは8PCIスロットを備えたPCIBOX単位での増設が可能となっています。
このように、厳密には4枚のセルカードに分散されたcc-NUMA(Cache Coherent
Non-Uniform Memory Access)型の構造をしていますが、後述するようにソフトウェ
アから見たメモリアクセス時の振る舞いは16プロセッサのUMA(Uniform Memory

Access)型のSMP (Symmetrical Multi Processor)システムに近いものとなっています。
このため比較的容易に大規模構成システムの性能を引き出すことが可能となります。

4-CPU セルカード
TM
Itanium
Itanium
TMTM
ItaniumTM
Itanium

4-CPU セルカード

AzusA
チップセットメモリ

PCIBOX

アドレスネットワーク

サービスプロセッサ&標準IO

データクロスバ

4-CPU セルカード

4-CPU セルカード

GSL

図2 TX7/AzusA System Block Diagram

３．３ Itaniumプロセッサの特長
Itaniumプロセッサは、Intel社が開発した新しい64ビットアーキテクチャである
Itaniumアーキテクチャを採用した最初のプロセッサです。 表2にItanium プロセッサの仕様一覧を示します。
表２ Itaniumの仕様
項目
汎用レジスタ数
パイプライン段数
実行ユニット

アドレス空間仕様
整数 128、浮動小数点 128
10 段
ALU
×4
分岐ユニット×3
単精度浮動小数点ユニット
×2
倍精度浮動小数点ユニット
×2
仮想メモリ空間
16PB(16×1015B)(54bit)
実メモリ空間
16TB(16×1012B)(44bit)

Itaniumアーキテクチャは命令の並列処理を効率化することで高性能を達成しており、その特徴としては「明示的に並列性を記述した命令のサポート」、「命令レベルの並列性をさらに強化する機能のサポート」の2つをあげることができます。
明示的な並列性を記述するために、Itaniumアーキテクチャでは3つの命令と3つの命令の組み合わせを表現するテンプレートからなる「命令バンドル」という概念が採用されており、プロセッサは命令をバンドル単位で実行していきます。Itaniumプロ
セッサは1サイクル当たり2バンドルを同時実行可能で、バンドル当たり1つの倍精度浮動小数点演算命令を含むことが可能です。加えて、積和演算命令をサポートしている
ため1サイクルあたり4つの倍精度浮動小数点演算が可能で、800MHzプロセッサのピーク性能は3.2GFLOPS(倍精度)となります。（単精度浮動小数点演算の場合はこの2倍のサイクル当たり8演算実行可能で、ピーク性能は6.4GFLOPS(単精度)となります。）
プロセッサには複数の命令バンドルを同時に効率良く実行するための多数のレジスタや実行ユニットなどの大量のリソースを装備しています。
命令レベルの並列性をさらに強化するために、Itaniumプロセッサは、メモリレイテンシの影響を最小限に抑えるための機能である「スペキュレーション」、命令の分岐を排除するための機能である「プレディケーション」、さらには分岐予測による分岐コストの削減といった先進的な機能を豊富にサポートしています。
これらの命令の並列処理を効率化する工夫により、Itaniumは高い処理性能を実現しています。
３．４ Itaniumプロセッサのキャッシュ構成
一般的なスカラ型マイクロプロセッサと同様に Itaniumプロセッサもキャッシュメモリの有効活用が性能向上のかぎとなります。そこで表 3 および図 3 に Itanium
プロセッサのキャッシュメモリの構造をご紹介します。
表３ Itaniumプロセッサのキャッシュ詳細仕様
Level1
Level1
Level2
(命令)
(データ)
容量
16KB
16KB
96KB
実装場所
On dieOn dieOn die
ラインサイズ
32Byte32Byte64Byteアソシビティ
4way
4way
6way
書き込み方式
Read only
Write throughWrite back
レ イ テ ン シ （ 整 2 サイクル
2 サイクル
6 サイクル数）
レイテンシ−
2 サイクル
9 サイクル（浮動小数点）CPUパッケージ

Level3
4MB(2MB 版も有)パッケージ内64Byte2way
Write back21 サイクル24 サイクル

L3 Unified(2 or 4MB,64byte,WB)

CPUコア部分

L1 命令(16KB,32byte,RO)

L2 Unified(96KB,64byte,WB)

L1 データ(16KB,32byte,WT)

L3キャッシュコントローラ＆メモリ
コントローラ

図３ ItaniumTMプロセッサのキャッシュ構造

Address Bus

Data Bus

各キャッシュのカッコ内は(容量, ラインサイズ,書き込み方式)の順に記載
書き込み方式： RO:Read only, WT: Write through , WB: Write back

Address Bus

CPUダイ

Data Bus

Backside bus

FSB(Front Side Bus)
チップセットへ３．５ 短いメモリレイテンシの実現
TX7/AzusAはメモリレイテンシが短い点も大きな特長の一つです。あるプロセッサからのメモリレイテンシは、自セルカード内のメモリからのデータ読み出しの場合で200ns以下、他セルカードのキャッシュメモリまたはメモリからの読み出しの場合でも300ns以下を実現しています。この、およそ1:1.5という両者の比率は、既存の一般的なcc-NUMA型サーバ(1:3より悪い場合が多い)に対し大幅に改善されており、そのメモ
リアクセスにおける振る舞いはSMP型サーバに近いものとなっています。このため、cc-NUMAを意識したプログラミングテクニックを使用せずとも、比較的容易に性能をひき出すことが可能となっています。もちろん、cc-NUMA向けのプログラミングテクニックも利用することにより一層の性能発揮も可能です。
３．６

高い転送性能の達成
図4にTX7/AzusAの各所のバンド幅を示します。
Itanium™
Processor

Itanium™
Processor

Itanium™
Processor

Itanium™
Processor

2.1GB/s
2.1GB/s

メモリ

4.2GB/s
4.2GB/s
AzusAチップセット
2.1GB/s
2.1GB/s
4.2GB/s
4.2GB/s
To/from Crossbar

図.４ セルカード内のバンド幅

プロセッサバスとIOからのバンド幅はともに2.1GB/sでバランスしており、さらにメモリアクセスバンド幅はその合計を処理できる4.2GB/sを満たしています。またセルカード間も2.1GB/sのパスを双方向に備え、バンド幅が処理のボトルネックとならないよ
うに構成されています。
なお、セルカード内のメモリは最大4wayインタリーブが可能なメモリブロック2つからなり、セルカード内のインタリーブ数は8wayに達し、セルあたり4.2GB/sのメモリバンド幅を十分に活かすよう設計されています。
３．７ ＩＯ構成
TX7/AzusAのIOシステムは、基本IOとシステム構成に応じてPCIカードを増設するための拡張IO機能を提供する複数のPCIBOXから構成されます。 PCIBOXには64ビッ
ト、66MHzタイプで64スロットをサポートすることが可能です。

４．オペレーティングシステム
TX7/AzusA では、オペレーティングシステムに Linux を採用しています。

TX7/AzusA の Linux は、オープンなコミュニティである IA-64 Linux プロジェクトが移植したカーネルをベースにしており、大容量メモリ(最大 64GB)、大容量ファイルストレージのサポート、SMP 向け機能強化など、大規模サーバとして必要な機能強化が行われています。
また、Linux ディストリビューションとしては、RedHat Linux for Itanium Processorを採用しています。同パッケージには IA-64 向けに多数のオープンソースのパッケージが含まれております。

５． むすび以上、汎用コンピュータシステム TX7/AzusA について述べました。今後も、科学技術用途における大規模高速演算のご要求や、IT 社会基盤の構成要素としてのサーバの重要度は増す一方です。弊社は継続して IA-64 サーバを開発することにより、さらに高い処理性能、拡張性、信頼性を実現する製品を提供してまいります。
写真１．TX7/AzusA 本体外観

写真２．セルカード外観