The Next-Generation Supercomputer

京速コンピュータ「京」の京速コンピ
タ「京」の最新状況

独 行政法人 理化学研究所
独立行政法人次世代スーパーコンピュータ開発実施本部
計算科学研究機構 運用技術部
黒川 原佳 <motoyosi@riken.jp>

Outlineプロジェクト・スケジュール
京速コンピュータ「京」の概要
システム概要ハードウェア・システム構成
利用環境
ソフトウェア（システム・ツールなど）

計算科学研究機構 施設の概要

2011/2/18

PCクラスタワークショップ in 神戸

1

開発スケジュール（平成18年度－平成24年度）

現在

平成18年度（2006）

システム

平成19年度（2007）

概念設計

平成21年度（2009）

詳細設計

平成22年度（2010）

平成23年度（2011）

平成24年度（2012）

性能

試作・評価・製造

チューニ
ング
グ

アプリケーション）（グランドチャレンジ

ソフトウェア

供用開始

次世代ナノ統合
シミ レ ション
シミュレーション開発・製作・評価
開発
製作 評価

次世代生命体統合
シミュレーション

計算機棟

平成20年度（2008）

実証開発・製作・評価
開発
製作 評価

設計

実証

建設

施設研究棟

2011/2/18設計

建設

PCクラスタワークショップ in 神戸

2

京速
京速コンピュータ「京」の概要
ピタ「京 の概要※本発表内容は2011年2月1日時点のものであり，実際に供用が開始される時点で変更されている可能性（特にソフトウェア関連）があります．
2011/2/18

PCクラスタワークショップ in 神戸

3

システム全体概要
ターゲット性能

LINPACK 10PFLOPS

多くのアプリケーションに高い実効性能を提供
ハイパフォーマンスコンピューティング向けCPUを採用

マルチコアCPU（8コア） 演算アクセラレ タ付き（SIMD機構） FPレジスタ数増強
マルチコアCPU（8コア），演算アクセラレータ付き（SIMD機構），FPレジスタ数増強

ペタフロップス級のアプリケーション実効性能を目指す

高性能 低消費電力CPU
高性能・低消費電力CPU

2.2GFLOPS/W，ワット当たり世界トップレベル

45nm CMOS プロセス
小規模システムとして829MFLOPS/W（GREEN500 4位、TOP500 170位）

高信頼性システム「壊れにくい」，「壊れても全てが止まらない」．「壊れた部分はすぐ直す」

利用者にとって使いやすいシステム
世界標準のソフトウェア環境を提供
デファクトスタンダードの開発環境を提供

2011/2/18

4

PCクラスタワークショップ in 神戸

システム構成概要
京速コンピュータ「京」
京速コンピ
タ「京」
計算ノード群

利用者
外部へ

6次元メッシュ/トーラス結合
Pre/Post
処理サーバ

IOノード群
ローカルファイルシステム(11PB～)「京」
フロントエンド

外部接続系ネットワーク

管理用・制御用ネットワーク

データ系ネットワーク
管理用
サーバ群

制御用
サーバ群

ジョブ管理 構成・制御
ユーザ管理

PCクラスタワークショッ
2011/2/18
プin 神戸

グローバルファイルシステム(30PB～)

5

プロセッサ構成
スーパースカラ・マルチコアプロセッサ
128GFLOPS（16GFLOPS/コア）
8コア

各コア256の浮動小数点レジスタ
SIMD拡張（積和演算器2個 x 2）

提供：富士通（株）

動作周波数 2GHz
動作周波数：
チップサイズ： 22.7mm x 22.6mm
トランジスタ数：760 M トランジスタ
消費電力：58W（水冷，30℃時）

共有2次キャッシュ（6MB，12way）

データ供給能力
レジスタ‐L1キャッシュ間：4B/FLOPレジ
タ L1キ
シ 間 4B/FLOP
L1キャッシュ‐L2キャッシュ間：2B/FLOP
L2キャッシュ‐主記憶間：0.5B/FLOP

仕 様
CPU性能

128GFLOPS（16GFLOPSx8コア）

コア数

8個

浮動小数点演算器構成（コア当り）

拡張機能

積和演算器：2×2個（SIMD）（逆数近似命令： SIMD動作）
除算器：2個比較器：2個
浮動小数点レジスタ(64ビット)：256
グローバルレジスタ(64ビット)：188

ハードウェアバリア機構
コア間の高速バリア同期が可能

セクタキャッシュ機能
キャッシュをプログラマブルに使うための機能

キャッシュ構成

1次命令キャッシュ：32KB(2way)
1次命令キ
シ 32KB(2)1次データキャッシュ：32KB(2way)
2次キャッシュ：6MB(12way)コア間共有

メモリバンド幅

64GB/s(0.5B/F)

より詳細な情報は，「SPARC64より詳細な情報は「SPARC64TM VIIIfx Extensions」を参照のこと
http://img.jp.fujitsu.com/downloads/jp/jhpc/sparc64viiifx-extensions.pdf
PCクラスタワークショップ in 神戸
2011/2/18

6

計算ノード群の構成
計算ノード数（CPU数）： 8万以上

ネットワーク：6次元メッシュ／トーラス(Tofu)

コア数： 64万以上

ピーク演算性能：10PFLOPS以上
ピ ク演算性能 10PFLOPS以上
メモリ総容量： 1PB以上（ノード当り16GB）

5GB/s x 双方向(理論ピ ク）(理論ピーク）5GGB/s x 双方向（理理論ピーク）SPARC64TM VIIIfx

リンク数は最大10ユ
ザ ビュ は3次元ト ラス
ユーザービューは3次元トーラス
帯域： リンクにそれぞれ5GB/s x 2（双方向）【理論ピーク】
ケーブル： 約200,000本，約1,000km

ノード
CPU: 128GFLOPS(8cores)CoreCore Core
Core SIMD(4FMA)Core
SIMD(4FMA)
SIMD(4FMA)
Core
Core16GFlops
SIMD(4FMA)
SIMD(4FMA)Core
16GFlops
16GFlops
SIMD(4FMA)
SIMD(4FMA)
16GFlops
16GFlops
SIMD(4FMA)
16GFlops
16GFlops
16GFLOPS

5GB/s x 双方向（理論ピ ク）（理論ピーク）

L2$: 6MB
64GB/sｚ

MEM: 16GB

2011/2/18

5GB//s x 双方向ｘ（理論論ピーク）ｙ

3次元トーラスのイメージ
提供：富士通（株）

PCクラスタワークショップ in 神戸

7

筐体の構成796mm
システムボード
12枚

水冷パイプ

CPU 4個電源部

システムボード24枚
診断用プロセッサ

電源 9台

ICC（接続用LSI） 4個

冷水用パイプ，電源，コンデンサなどの部品

システム用
磁気ディスクサービスプロセサ
ボード 2枚

2060mm

メモリモジュール 32枚

IOシステムボ ド
IOシステムボード
6枚

システムボード
12枚
ファン

ファン 2台システム用
磁気ディスク
2011/2/18

PCクラスタワークショップ in 神戸

筐体（ラ ク） 800台以上
筐体（ラック）8

平成22年10月1日設置開始
ピーク性能 98.3TFLOPS（8台）
12 3TFLOPS/ラ ク
12.3TFLOPS/ラック

平成24年6月完成（予定）

システム完成イメージ（模型）800台以上 筐体が並ぶ
800台以上の筐体が並ぶ
2011/2/18

PCクラスタワークショップ in 神戸

9

システム利用環境概要
フロントエンドサーバ
Linux（RHEL）上で開発環境を提供
ターミナルとWebブラウザ（およびWebサービス）のUIを提供
ステージングによる2階層のファイルシステム
ステジングによる2階層のファイルシステム
グローバルファイルシステム（GFS）とローカルファイルシステム（LFS）
ジョブ実行前にGFSからLFSへ実行・入力ファイルを転送（ステージイン）
ジョブ終了後にLFSからGFSへ出力ファイル転送（ステ ジアウト）
ジョブ終了後にLFSからGFSへ出力ファイル転送（ステージアウト）
フロントエンドサーバ
ジョブ管理ノード

デバッグ用に会話型環境を用意（予定）• Webポータル
• コンソ
コンソール
ル

ログイン，ファイル操作，， バッガ 操作，コンパイ ル，デジョブ投入などの操作

バッチジョブを主体としたジョブ実行環境

リモートログイン開発環境• コンパイラ• デバッガ• プロファイラ
• etc...
etc• Webブラウザ• ターミナル• 統合開発環境（IDE）

アクセス
ジョブ用
データ

グローバル
ファイルシステム

計算ノード群
ジョブマネージャ並列
ジョブ

ジョブ投入，ジョブ制御，デバッガ操作 など

並列
ジョブデバッガ
並列
ジョブ

ジョブ用
データ

I/O
出力
データ

ステージング

ローカル
ファイルシステム

出力データ

2011/2/18

PCクラスタワークショップ in 神戸

10

ジョブ実行シナリオ
グローバルファイルシステム上にファイルを用意
外部から転送の場合もあり
必要に応じてPre/Postサーバなどでデータを処理フロントエンド（IDE，ポータル，CUI）からジョブスクリプト
ブプを投入
フロントエンドからジョブを操作
状態監視，キャンセルなど

実行結果を取得
必要に応じてPre/Postサーバなどでデータを処理

必要に応じて外部へ転送
2011/2/18

PCクラスタワークショップ in 神戸

11

システムソフトウェア環境
ノードOS
Linuxベース
計算ノードではOSによる演算処理への外乱を極力排除
超並列環境での低ノイズ環境（アプリ実行時間のブレが少ない環境）を目指す
パフォーマンスカウンタI/FとしてPAPIも提供
IOノ ド
IOノード
PCI-ex を有し、Tofu, GbE, FC, IBの各インターフェイスを搭載

フ イルシステム
ファイルシステム
Lustreをベースとした拡張ファイルシステムを採用

GFS・LFS供にLustreベ スのファイルシステム
GFS・LFS供にLustreベースのファイルシステム
LFSはラック単位にローカリティによる配置最適化やジョブ毎に帯域を（ある程度）保証する機能
ステ ジング帯域のQoS機能
ステージング帯域のQoS機能

2011/2/18

PCクラスタワークショップ in 神戸

12

ジョブ実行環境
ジョブ実行環境

様々なジョブの実行が可能

ハイブリッド・フラットMPI、バルクなどが実行可能
フラットMPIは実行環境として推奨しません
MPIジョブの形態としてSPMD、MPMD、などが実行可能
実行 際して様 な制約はあります
実行に際して様々な制約はあります

ジョブタイプ

会話ジョブ，バッチジョブ，ステップジョブ，バルクジョブなど

リソース指定ノ ド数，仮想トポロジ，ステ
ノード数
仮想トポロジ ステージングのファイル容量
ジングのファイル容量，経過時間，ノ経過時間 ノード割付
ド割付
ポリシーなどが指定可能

ノード割付

ブ
全てのジョブにVirtual
1~3D Torus空間を提供
ジョブスクリプトに1~3次元形状を指定
Rankマッピングは様々な方法が可能


Rank番号をXYZで自動マッピングやhostfile的なユーザ指定など



Z軸に2つ以上のジョブを混ぜない指定が可能

IO占有を指定占有を指定IO性能を確保したいジョブのために指定可能

2011/2/18

PCクラスタワークショップ in 神戸

13プログラム開発環境（1/2）
提供言語

Fortran XPFortran,
Fortran,
XPFortran C/C++

C/C++：ISO/IEC9899:1999(C99)準拠、ISO/IEC14882:2003(C++2003)、（GCCのC/C++拡張を一部対応）
Fortran：ISO/IEC1539-1:1997(Fortran95)準拠およびFortran2003の一部機能に対応
OpenMP 3.0に準拠
CPU拡張を踏まえた最適化コンパイラを提供（SIMD, 256 FPレジスタ, セクタキャッシュ, コア間バリアなど）

4倍精度演算のサポ ト
4倍精度演算のサポート
Fortran, C/C++

ソフトウェア処理としてbinary128データ形式をコンパイラで提供
ハードウェア処理としてdouble-doubleデータ形式の演算ライブラリを提供
ウ ア処理
デ タ形式 演算ライ ラリを提供

MPIライブラリ

規格（ pを） 対応
MPI2.1規格（OpenMPI1.4.1をベース）に対応
Tofuネットワーク（直接網）に最適化
低レイテンシかつ広帯域
Bcast, AllReduce, AlltoallやAllgatherなどをTofuに適したアルゴリズムで処理

2011/2/18

PCクラスタワークショップ in 神戸

14

プログラム開発環境（2/2）
数値・科学技術計算ライブラリ

BLAS,, LAPACK,, FFTW(1.2,1.3)およびSSL-II（富士通製科学技術計算ラ( , )（富 通製科 技術 算ライブラリ）

IDE環境

ユ ザ端末で実行するリッチクライアントを提供
ユーザ端末で実行するリッチクライアントを提供

デバッグ

会話型デバッガ（ソースコードデバッガ）
会話型デバッガ（ソスコ ドデバッガ）
プログラム埋め込みデバッグ（ユーザ関数埋め込み）
実行時デバッグ（実行時のデバッグ出力）

パフォ マンス チュ ニング
パフォーマンス・チューニング
プロファイラサンプリング情報取得の手段を提供
ルーチン/プログラム区間の割合/経過時間/ハードウェアモニタ情報/通信時間/プロ
セス間・Thread間バランスなどのプロファイル情報を採取

トレーサー

並列アプリケーションの時系列情報の取得手段を提供
OTF形式をサポート

2011/2/18

PCクラスタワークショップ in 神戸

15

計算科学研究機構 施設の概要

2011/2/18

16

PCクラスタワークショップ in 神戸

計算科学研究機構
兵庫県神戸市中央区港島南町7丁目（ポートアイランド第2期内）
ポートアイランド南駅より徒歩約3分，JR新神戸駅から25分

神戸
ポートアイランド南駅より徒歩約3分
来年夏頃から「京コンピュータ前」駅に

東京
東京から西に450km

2011/2/18

PCクラスタワークショップ in 神戸

17平成22年5月31日完成

2011/2/18

18

PCクラスタワークショップ in 神戸

施設の概要
研究棟

計算機棟

• 地上6階，地下1階（鉄骨造り）• 建築面積 ~1,800m
1 800 2， 延床面積 ~9,000m
9 000 2

• 地上3階，地下1階（鉄骨造り）• 建築面積 ~4,300m
4 300 2，延床面積
延床面積 ~10,500m
10 500 2

熱源機械棟（面積 1900m2）
吸収式冷凍機
x4

2011/2/18

ターボ冷凍機
x3

特別高圧変電施設 （面積 200m2）
CGS
(5MW)
x2

PCクラスタワークショップ in 神戸

30MW
77,000V（受電）,（受電）→ 6,600V

19

建物の配置

研究棟
計算機棟
算機

熱源機械棟
特高施設

2011/2/18

20

PCクラスタワークショップ in 神戸

冷却システム

空調機

クーリングタワー冷凍機
2011/2/18

PCクラスタワークショップ in 神戸

21

施設の特徴（1）基礎
地盤支持力の強化，液状化対策等を目的として，埋立部分（地下20m）の地盤改良を実施
地盤改良部を支持層とする2 の直接基礎
地盤改良部を支持層とする2mの直接基礎

耐震性
研究棟及び計算機棟は免震構造．積層ゴムによる免震装置を49か所設置．振動を素早く研究棟及び計算機棟は免震構造
積層ゴムによる免震装置を49か所設置 振動を素早く抑える鉛ダンパーや鋼性U型ダンパーを設置
耐震グレードはSグレード（震度６強レベルの大地震が起きても主要な機能を確保）

鉛ダンパー

積層ゴム

U型鋼性ダンパー

耐久性（海浜地区の塩害対策）
重要な構造体には防錆対策などを実施
計算機棟外壁をアルミパネル 研究棟外壁をガラス基調として建設
計算機棟外壁をアルミパネル，研究棟外壁をガラス基調として建設

2011/2/18

22

PCクラスタワークショップ in 神戸

施設の特徴（2）計算機室構造設置レイアウトの自由度の確保，均配置，スパコンの相互接続時の通信ケ設置レイアウトの自由度の確保 均一配置
スパコンの相互接続時の通信ケー
ブル長の短縮化に対応するため，計算機室は無柱．
200,000本のケーブル
計算機設置フ アの床耐荷重は平均約1 トン/mトン/ 2
計算機設置フロアの床耐荷重は平均約1

フリーアクセス架台
フリアクセス架台「京」筐体当り最大1,500kg

計算機室 （3F）
研究スペース2011/2/18

PCクラスタワークショップ in 神戸

23

2011/2/18

PCクラスタワークショップ in 神戸

24