次次世代スーパーコンピュータ開発の現状
パピ

平成22年2月19日
理化学研究所次世代スーパーコンピュータ開発実施本部
横川 三津夫
津夫

PCクラスタワークショップin京都2010

次世代スーパーコンピュータ・プロジェクトとシステム概要

2010/2/19

PCクラスタワークショップin京都2010

1

最先端・高性能汎用スーパーコンピュータの開発利用−「次世代スーパーコンピュータ」プロジェクトの概要 −目的
理論，実験と並び，現代の科学技術の方法として確固たる地位を築きつつある計算科学技術をさらに発展させるとともに，広範な分野の研究ある計算科学技術をさらに発展させるとともに 広範な分野の研究及び産業における利用のための基盤を提供し，我が国の競争力強化等に資する．（国家基幹技術の つ）に資する．（国家基幹技術の一つ）

概要(1)

世界最先端・最高性能の次世代スーパーコンピュータの開発・整備
10ペタFLOPS級（1秒間に1京回の加減乗算）の計算性能
平成22年度末一部稼働，平成24年完成

2010/2/19(2)

次世代スーパーコンピュータを最大限利活用するためのソフトウェ
アの開発 普及
アの開発・普及(3)

次世代スーパーコンピュータを中核とする世界最高水準のスーパーコンピュ ティング研究教育拠点（COE）の形成
コンピューティング研究教育拠点（COE）の形成
PCクラスタワークショップin京都2010

2

開発スケジュール（平成18年度−平成24年度）
開発
ケジ（平成年度 平成 年度）
現在
在平成18年度（2006）

システム

平成19年度（2007）

概念設計

平成21年度（2009）

詳細設計

アプリケーション︶︵グランドチャレンジ

ソフトウェア

次世代ナノ統合シミュレーション

平成23年度（2011）

平成24年度（2012）

性能
チューニング実証

開発・製作・評価

設計

平成22年度（2010）

試作・評価・製造

開発・製作・評価

次世代生命体統合
シミュレーション

計算機棟

平成20年度（2008）

実証

建設

施設
研究棟

2010/2/19

設計

建設

PCクラスタワークショップin京都2010

3

技術開発のポイント
超並列システム（10万プロセッサ規模）の開発
演算加速機構を持つ高性能プロセッサ（CPU）の開発
演算加速機構を持
高性能プ（） 開発
高密度化，低消費電力化技術の開発
計算ノ ド間インタ コネクト技術の開発
計算ノード間インターコネクト技術の開発

製造技術
高集積LSI製造技術の開発
45nm半導体プロセス技術の開発
低消費電力技術の開発

ソフトウ ア
ソフトウェア10万プロセッサ規模のシステムを接続，協調稼動させる技術開発
大規模ファイルシステムの開発
新規CPUの性能をフルに発揮させるためのプ グラム言語 ンパイ
新規CPUの性能をフルに発揮させるためのプログラム言語・コンパイ
ラ技術等の開発
超並列大規模システムを利用するアプリケーションの開発
超並列大規模システムを利用するアプリケ
ションの開発2010/2/19

PCクラスタワークショップin京都20104

システム構成概要
構成概要

計算ノード群

構成，制御管理用
サーバ群

管理用・制御用ネットワーク

制御用
サーバ群

計算ノ ド数（CPU数）： 8万以上
計算ノード数（CPU数）：
コア数：64万以上
総メモリ量：
1PB以上

インターネット

6次元メッシュ/トーラス結合

ローカルファイルシステム群
カルファイルシ テ 群グローバルIOネットワーク

フロントエンド
サーバ

ジョブ管理
ユーザ管理
グローバルファイルシステム

2010/2/19

PCクラスタワークショップin京都20105計算ノード群の構成
算群 構成
計算ノード数（CPU数）： 8万以上
コア数： 64万以上

ピーク演算性能：10PFLOPS以上
メモリ総容量： 1PB以上（ノード当り16GB）

5GB/s x 双方向(理論ピーク）

5GB/s x 双方向ク）（理論ピークSPARC64TM VIIIfx

ネットワーク：ユーザービューは3次元トーラス
帯域： 3次元の正負各方向にそれぞれ
5GB/s x 2（双方向）【理論ピーク】
ケーブル： 約200,000本，約1200km

ノード
CPU: 128GFLOPS(8cores)CoreCore Core
Core SIMD(4FMA)Core
SIMD(4FMA)
SIMD(4FMA)
Core Core
16GFlops
SIMD(4FMA)
SIMD(4FMA)Core
16GFlops
16GFlopsp(SIMD(4FMA))
SIMD(4FMA)
16GFlops
16GFl
16GFlops
SIMD(4FMA)
16GFlops
16GFlops
16GFLOPS

5GB/s x 双方向（理論ピーク）

L2$: 5MB
64GB/64GB/sｚ

MEM: 16GB

2010/2/19

5GB/s x 双方向ｘピーク）（理論ピｙ3次元トーラスのイメージ
提供：富士通（株）

PCクラスタワークショップin京都20106プロセッサ構成
構成
8コア構成，各コア256本の浮動小数点レジスタを備えたスーパースカラ方式
タを備 たパ
カ 方式
SIMD拡張（積和演算器2個 x 2セット）
コア当り16GFLOPS，CPU当り128GFLOPS

提供：富士通（株）

22.7mm x 22.6mm
760 M トランジスタ
消費電力：58W（水冷，30℃時）

コア共有の2次キャッシュ（5MB，10way）
ハードウェアバリア機構
ドウ
バ機構
プリフェッチ機構
セクタキャッシュ機能（次ページ）

データ供給能力
レジスタ‐L1キャッシュ間：4B/FLOP
レジスタ
L1キャ シ 間 4B/FLOP
L1キャッシュ‐L2キャッシュ間：2B/FLOP
L2キャッシュ‐主記憶間：0.5B/FLOP

仕 様
CPU性能

128GFLOPS（16GFLOPSx8コア）

コア数

8個

浮動小数点演算器構成（コア当り）

積和演算器：2×2個（SIMD）
逆数近似演算器：2×2個（SIMD）
除算器：2個比較器：2個ビジュアル演算器：1個浮動小数点レジスタ(64ビット)：256本
グローバルレジスタ(64ビット)：188本

キャッシュ構成

1次命令キャッシュ：32KB(2way)
1次データキャッシュ：32KB(2way)
2次キャッシュ：5MB(10way)コア間共有

メモリバンド幅

64GB/s(0.5B/F)

TM VIIIfx Extensions」を参照のこと
より詳細な情報は，より詳細な情報は，「SPARC64」を参照の とhttp://img.jp.fujitsu.com/downloads/jp/jhpc/sparc64viiifx-extensions.pdf

2010/2/19

PCクラスタワークショップin京都20107

セクタキャッシュとは？
再利用性のあるデータを選択的にキャッシュに残す仕組み
ソフトウ アによる配置が可能
ソフトウェアによる配置が可能
各セクタのway数は，コンパイラがループ毎に自動決定

キャッシュ

セクタ0

セクタ1

• L1，L2キャッシュそれぞれに制御可能• ディレクティブによる指示も検討

プログラムの再利用性のないデータ
データデタ

再利用性のあるデータ

再利用性のあるデータを含むプログラム例
do j=1,nj=1 n
do i=1,na(i) = a(i) + b(i,j)
enddo
enddo
2010/2/19

PCクラスタワークショップin京都20108

システム利用環境
利用環境
OS： Linuxをベースとしたオペレーティングシステム
をしたオ
ティングシ テPOSIX規格に準ずるコマンド群を提供

大規模分散フ イルシステム（2階層のフ イルシステム）
大規模分散ファイルシステム（2階層のファイルシステム）
ファイルステージング機能
ジョブ実行前にファイルサ バからIOノ ドへファイルを転送（ステ ジイン）
ジョブ実行前にファイルサーバからIOノードへファイルを転送（ステージイン）
ジョブの出力ファイルをIOノードからファイルサーバへ転送（ステージアウト）

ファイル共有機能
フロントエンド・サーバ

バッチジョブを主体としたジョブ実行環境

計算ノード

Webブラウザターミナル

デバッグ用に会話型環境を用意（予定）

Webポータルコンソール
ログイン，ファイル操作，コンパイル，デバッガ操作，ジョブ投入・操作 等

・ユーザ端末・リモートログイン
・リモ
トログイン

統合開発環境
（IDE）・コンパイラ・デバッガ
・プロファイラ

並列ジョブ
並列ジョブ
並列ジョブ

ジョブ投入・制御
デバッガ操作

並列ジョブ
並列ジョブ
並列ジョブ
デバッガ

ジョブ管理ノード
並列ジョブ

アクセス

I/O

グローバルファイルステージング

2010/2/19

PCクラスタワークショップin京都2010

ローカルファイル

9

バッチジョブ実行時の処理の流れ
実行時 処
流
ジョブ投入
（ジョブ記述 ステ ジ
（ジョブ記述，ステージング記述等を指定）

ステージイン（グロ バルファイルか（グローバルファイルからローカルファイルにデータを移動）

ジョブを実行（ロ カルファイルの（ローカルファイルのデータを利用）

ステージアウト（ロ カルファイルから（ローカルファイルからグローバルファイルにデータを移動）

JOB実行 使用するノード数，時間，スJOB終了

テージングファイル等はジョブスクリプトに記述

ジョブ状態表
示で確認
確

ジョブ投入

スケジューラスケジューラ

本体
システム

本体
システム

本体
システム

ローカルファイル

ローカルファイル
グローバルファイル

PCクラスタワークショップin京都2010

出力
データ

出力
データ

出力
データ

グローバルファイル

スケジューラ

本体
ジョブ実行
システム

ジョブ用
データ

ジョブ用
データ

ローカル
ファイル
グローバルファイル2010/2/19

ジョブ用
データ

ローカルファイル

スケジューラグローバルファイル10

プログラム言語，コンパイラ
ラ 言語，
ラFortran 2003，XPFortran，C，C++
GNU C/C++拡張仕様
倍長精度演算をサポ ト
及び形式
4倍長精度演算をサポート：IEEE754R及びdouble-double形式
SPARC64TM VIIIfxの機能を有効活用するコンパイラ機能機
機
SIMD機構の活用

自動ベクトル化を応用したSIMD命令を自動生成
IF文を含むル プのSIMD化（マスク付きSIMD化）
IF文を含むループのSIMD化（マスク付きSIMD化）

大容量レジスタ（倍精度浮動小数点 256本）の有効活用

セクタキャッシュの利用
セクタキャッシュを考慮したプリフェッチ命令の自動生成
セクタキャッシュをユーザが意識して利用するためのディレクティブ

自動並列化
マルチスレッド化，パイプライン並列化機能

2010/2/19

PCクラスタワークショップin京都201011

ライブラリ及びプログラム開発支援環境
ララリ及ラ 開発支援環境
MPIライブラリ（MPI 2.1に対応）
MPIライブラリ（MPI-2.1に対応）
低レイテンシ・高スループットの実現
トポロジ構成を意識した集団通信関数を提供
Bcast/Allgather
B/Allh /Alltoall/All ll /Allreduce/All dインターコネクトのハードウェアバリア機構を用いたハードバリア/リダク
ション演算の活用

数値計算/科学技術計算ライブラリ/

システムにチューニングされたBLAS，LAPACK，SSL II（富士通製科学技術計算用ライブラリ），FFTWを提供

開発支援ソフトウェア
デバッガ：DWARF2対応
性能解析ツール：デバッグツール，プロファイラ，MPIトレーサ等の連携

2010/2/19

PCクラスタワークショップin京都201012

プログラミングモデル
ラ
スレッド並列＋プロセス並列のハイブリッド型を推奨
コア内： コンパイラによる逐次最適化，SIMD化
CPU内： スレッド並列（自動並列化，OpenMP）
CPU間： プロセス並列（MPI，XPFortran）
プ並

フラット型も可能
CPU内：スレッド並列（細粒度並列，OpenMP）

コア内：逐次最適化，SIMD化（主にコンパイラ）

CPUCPUcorecorecore

core

core

core

core

core

メモリ
2010/2/19

CPU間：プロセス並列（MPI，またはXPFortran）

CPU

CPU

・・・
メモリ

メモリ
PCクラスタワークショップin京都2010

メモリ
13

システム開発の状況
開発 状況
LSI開発（45nm半導体プロセス）
試作機が完成．ハードウェア及びソフトウェアの試験を実施中．

システムボードCPU

ICC
トーラス・ネットワーク用LSI
提供：富士通（株）

2010/2/19

PCクラスタワークショップin京都201014

次世代スーパーコンピュータ施設について

2010/2/19

PCクラスタワークショップin京都201015

次世代スーパーコンピュータ施設
世代施設
兵庫県神戸市中央区港島南町7丁目（ポートアイランド第2期内）
ポ トアイランド南駅より徒歩約1分 JR新神戸駅から25分
ポートアイランド南駅より徒歩約1分，JR新神戸駅から25分

神戸

東京
450km (280miles)
west from Tokyo

2010/2/19

PCクラスタワークショップin京都201016

建屋イメージ
建

正面【計算機棟】
延床面積
建築面積
構造

約10,500㎡
約 4,300㎡
鉄骨造り地上3階地下1階（免震）【研究棟】
延床面積 約9,000㎡
建築面積 約1,800㎡
構造 鉄骨造り地上6階地下1階（免震）
北西から研究棟側を見る

2010/2/19

PCクラスタワークショップin京都201017

建屋建設の状況
建建設 状況
平成20年11月12日

平成21年3月26日

平成21年7月22日

平成2１年11月24日

2010/2/19

PCクラスタワークショップin京都201018

施設の建設風景（平成22年1月18日）
施設建設風景（平成年 月）

研究棟
計算機棟

熱源機械棟

研究棟
居室

計算機棟
計算機室
計算機筐体

居室
居室

特高施設

空調機械室
空調機

居室

計算機室

居室
居室

グローバルファイルシステム

居室
空調機械室等

空調機械室
空調機

2010/2/19

PCクラスタワークショップin京都2010

19

施設内部
施設 部
次世代スパコン設置フロア（計算機棟３階）

フリーアクセス架台
リ アク架台冷凍機（熱源機械棟）

太陽光発電パネル（屋上）研究棟

2010/2/19

PCクラスタワークショップin京都201020

計算科学研究機構（仮称）について
算科学研究機構（仮称）次世代スーパーコンピュータを維持管理，高度化し，効果的かつ効率的に次世代ス
パ コンピュ タを維持管理 高度化し 効果的かつ効率的に利用者に提供
欧州

自ら計算科学技術を先導し，神戸拠点をハブとして世界最高水準 計算科学
世界最高水準の計算科学
技術のCOEを形成

PRACEコンソーシアムのユーリッヒ研究センター等

米国
オークリッジ国立研究所、イリノイ大学、ローレンス・バー
クレー大学等

予測する生命科
学・医療及び創薬
基盤

計算科学研究機構

計算科学研究機構のあり方については，文部科学省及び理化学研究所にお及び理化学研究所において検討中．
H22年10月に発足予定

新物質・エネルギー創成

大学情報基盤
センター群

計算機科学

防災・減災に資する地
球変動予測

産業応用協議会、計算科学振興財団
企業

計算科学

次世代ものづくり

物質と宇宙の起源と構造

利用者懇談会

人材交流、技術協力

大学、研究所等

2010/2/19

PCクラスタワークショップin京都201021