将来の高メモリバンド幅アプリケーションに適したシステムについて
板倉 憲一
海洋研究開発機構
2013年8月27日
SS研HPCフォーラム2013

東北大学

海洋研究開発機構

日本電気株式会社

講演内容
 研究の概要と目的
 対象するアプリケーション
総合防災
ものづくり 要素技術・アーキテクチャ検討
デバイス
高速・低消費電力チップ間配線
ノード間ネットワーク
ストレージシステム
システムソフトウェア

 性能推定・実現性
アプリケーションの要求性能
システム諸元コモディティクラスタとの性能比較

 まとめ

将来のHPCIシステムのあり方の調査研究

2

東北大チームの基本的な考え方
Flop/s性能向上にあわせてメモリバンド幅を高めることにより，可能な限り眠っている演算器を活用し，ノードレベルの超並列性に頼ることをできるだけおさえ，広汎なアプリで高い実効性能を実現するHigh BW
Small capacity

High BW
Middle capacity

High BW
Large capacity

東北大シス
テムが目指
すところ
汎用性を維持しつつ，特定分野ではトップ実効性能を実現

将来のHPCIシステムのあり方の調査研究

3

東北大チームがめざすこと
 2020年頃に解決が求められる社会的・科学的課題の明確化とその解決のためのアプリケーションの検討・開発ロードマップの策定–

自然災害，とりわけ地震津波による災害軽減を目指すため，沿岸データを使用したリアルタ
イム津波予測・地震シナリオを含む津波ハザード予測・地震津波に伴う複合被害予測・集中豪雨等を含めた都市災害と避難の予測といった課題に取り組む．これらは津波が共通のキーワードであり，特に本事業においては，津波計算に関わるターゲットアプリケーションを用いたシステム評価や課題検討を中心に行う.

1) 自然災害に対する防災・減災，および先進ものづくり分野での社会的・科学的課題の明確化
2) 社会的・科学的課題を解決するための地震・津波・気象・気候,およびプラズマ・CFD等に関するターゲットアプリケーションの調査研究
3) ターゲットアプリケーションの実行に適したHPCI システムの機能・性能要件の明確化
4) システム評価用ベンチマーク開発

地震・津波に伴う被害想定 上記ターゲットアプリケーションに適したHPCIシステムの検討・開発ロードマップの策定–

地震・津波，集中豪雨など都市災害の被害予測と避難予測に不可欠なアプリケーションがHPCIシステムに必要とする性能・機能を明らかにし，その実現のためのアーキテクチャおよびデバイス技術の検討を通じて，2018年頃にシステムを実現するための開発ロードマップの策定を行う．

1) ターゲットアプリケーションの性能要件（例えば，1B/F以上のメモリバンド幅・演算スループット比）を低消費電力で実現するためのアーキテクチャの調査研究
2) 大容量・低消費電力・階層型メモリサブシステムアーキテクチャ検討
3) アーキテクチャ，およびデバイスレベルでの低消費電力技術や耐故障技術と，OS,アプリケーションが協調してその効果の最大化を可能とするシステムソフトウェア技術の検討
4) オフラインシミュレーションの高速化に加え，様々な時間制約の中でリアルタイムシミュレーションを実現する上で必要な将来のHPCIシステムが備えるべき機能・性能の明確化
5) ターゲットアプリケーションによるシステムの評価と2018年頃の実現を目指す開発ロードマッ
プの策定

将来のHPCIシステムのあり方の調査研究

気象・気候に伴う災害想定

次世代ものづくり4

体制と役割東北大学

サイバーサイエンセンター(事業・機関代表：小林広明)
情報科学研究科

災害科学国際研究所

未来科学技術共同研究センター
電気通信研究所

電気通信研究機構

海洋研究開発機構(機関代表 金田義行)

日本電気株式会社(機関代表 橋本ユキ子)
東京大学

大阪大学

明星大学

宇宙航空研究開発機構

北陸先端科学技術大学院大学

東北マイクロテック株式会社

理化学研究所

国外メモリメーカ

役割：社会的・科学的課
題を明確にし，その解決アプリの検討と開発
ロードマップの策定

役割：ターゲットアプリにマッチしたHPCIシステ
ムの検討とその開発
ロードマップの策定

役割：アーキテクチャを実現する要素デバイス
技術の検討とその開発
ロードマップの策定

アプリケーション検討
サブグループシステム検討サブグループ

デバイス技術検討
サブグループ

将来のHPCIシステムのあり方の調査研究

5アプリケーション検討サブグループ体制
リーダー

金田 義行(海洋機構）

取りまとめ 渡邉 國彦（海洋機構）

津波検討グループ

地震検討グループ
堀 高峰（海洋機構）

今村 文彦 （東北大）

兵藤 守（海洋機構）

越村 俊一 （東北大）

堀 宗朗
市村 強（東京大）（東京大）寺田賢二郎 （東北大）
有川 太郎 （港湾技研）

古村 孝志 （東京大）阪口 秀

豊国 源知 （東北大）

西浦 泰介 （海洋機構）（海洋機構）

気象検討グループ

流体検討グループ中橋 和博 （宇宙機構）(東京農工大)山本 悟 （東北大）
佐々木大輔 （金沢工大）
高橋 俊（農工大）松岡 浩（東北大）

高橋 桂子 （海洋機構）
石川 洋一 （海洋機構）
木田 新一郎 （海洋機構）

性能最適化設計グループ
撫佐 昭裕

将来のHPCIシステムのあり方の調査研究（日本電気）

6

システム検討サブグループ・デバイス検討サブグループ体制

将来のHPCIシステムのあり方の調査研究

7

講演内容
 研究の概要と目的
 対象するアプリケーション
総合防災
ものづくり 要素技術・アーキテクチャ検討
デバイス
高速・低消費電力チップ間配線
ノード間ネットワーク
ストレージシステム
システムソフトウェア

 性能推定・実現性
アプリケーションの要求性能
システム諸元コモディティクラスタとの性能比較

 まとめ

将来のHPCIシステムのあり方の調査研究

8将来のHPCIに対する社会的・科学的ニーズ

安全安心な社会実現に向けた防災・減災
気候変動
地震
集中豪雨

津波

輸送技術

発電技術

信頼性・安全性・生産性の革新
将来のHPCIシステムのあり方の調査研究

9総合防災：地震・津波・気象による災害の科学的な予測
災害発生の構造物への影響予測

被害予測

様々なシナリオ予測

建物影響予測
地震発生

建物振動

地震波・津波伝搬

漂流物破損

浸水域予測

避難の予測

異常気象

集中豪雨予測将来のHPCIシステムのあり方の調査研究

10ものづくりにおける革新的設計
詳細設計

概念設計

シミュレー
ション
低コスト

実験
高コスト

製品

ディジタルデザインの活用が産業界でのイノベーションの創出を推進し，製品開発における我が国の国際競争力を強化
シミュレーションの積極的利用による設計コストの大幅削減と設計期間の短縮

設計空間の拡大

信頼性・安全性・生産性の向上

模型実験の縮小

環境配慮機器・省エネ化の実現

産業界へのフィードバック① Digital Flightの実現（定常から非定常現象の再現）②静粛航空機の設計（空力音響解析の実現）

航空機設計① 高効率タービンの実現（タービンをまるごと熱流動解析）② マルチフィジックスCFDの実現（相変化，腐食，破壊の実現）

発電機器設計マクロな流れと共にミクロな現象のマルチスケールシミュレーションが実現

将来のHPCIシステムのあり方の調査研究

11科学的知見による予報・被害想定のシステム化

最先端レベル

現在～5年後

5～10年後10～20年後

被害予測システムの開発

被害予測システムの高度化

被害予測システムの高度化

避難・被害額想定システムの開発

避難・被害額想定システムの高度化

被害予測システムの標準化

避難・被害額想定システムの標準化

解析・情報発信のリアルタイム化

避難予報のリアル
タイム化

試験運用

被害予想・被害額
想定システム統合

最新の科学的知見にもとづくシステム開発

研究レベル
国際標準化・リアルタイム化

実務レベル

経験則から科学的システムへ

地域社会への貢献

経験則による防災対応

リアルタイム予報の社会実装－国や自治体で使われる標準化（開発から社会実装までの流れを作る）－リアルタイム予報（警報，注意報），避難情報の高度化，および予警報解除のための予測技術の高度化と迅速化－発災直後の被害状況推計および把握・救助・復旧対策のための被害予測の迅速化－科学的知見とその不確かさにもとづいた想定幅の明確化

将来のHPCIシステムのあり方の調査研究

12総合防災アプリケーション連携イメージ
連携シミュレーション

地盤振動
(MMA)

地震伝播
(Seism3D)

地震発生(RSGDX)

津波発生/遡上(STOC-CADMAS)

RSGDX

日本列島下に沈み込むプレート上面のシミュレーションを行い、地震発生のメカニズムを解明する

Seism3D
地震動が日本列島に伝播する現象のシミュレーションを行う

MMA
都市などの局地的な地震動のシミュレーションを行う

STOC-CADMAS

MMA2(マイクロスケール)

MMA1(マクロスケール)

Seism3D

RSDGX

MMA,

RSGDX

並列プロセスマッピング

津波発生から伝播・遡上のシミュレーションを行う

STOC-CADMAS(STOC-ML,NS,CADMAS)

１ケースを３時間程度で処理時間

将来のHPCIシステムのあり方の調査研究

13

評価アプリケーションと性能要求要件
連携シミュレーション

地盤振動(MMA)

地震伝播(Seism3D)

地震発生(RSGDX)

津波発生/遡上(STOC-CADMAS)
避難 (MAS)

気象データ同化(CDA)

全球・都市気象(MSSG)

空力（非圧縮性）(BCM)

高解像度アンサンブル計算

空力音響(BCM-LEE)

熱流体(数値タービン)

B/F必要メモリ(TB)

必要FLOP数（×1018）

要求実行時間（H）

RSGDX

8.00

14520

24Seism3D

2.14

2,900

1,000

8MSSG

4.00

175

720

6BCM

5.47

13.6

10.5

2.1～8.098

25x1000

3×1000

目的超高解像度
単独計算

空力（圧縮性）(BCM)

アプリケーション

総合防災の連携シミュレーション(1000ケース)
数値タービン(20ケース同時実行)

＝約4ヶ月

2.33

163.5

将来のHPCIシステムのあり方の調査研究

140

20

14

アプリケーションが求めるシステムを目指して高メモリバンド幅を要するアプリケーションのためのアーキテクチャ検討
メモリ性能

実効2B/F以上の高メモリバンド幅

より高いB/Fのメモリバンド幅
配列の間接参照の高速化

 新デバイス技術によるメモリカスタム設計＋オンチップベクトルロードストア支援機構

演算性能

ベクトル処理制御機構の高度化短ベクトル長にも対応

ノード性能
ノード性能が高く、並列数が少なくて良いシステム

ネットワーク性能
近接通信を重視しつつも、大域通信も低レイテンシストレージI/O性能
データ同化に耐えうる高容量・大規模ストレージ

システムソフトウェア
ソフトウェアスタック全体の標準との互換性
多様かつ多数のジョブの高効率実効アプリ

高いコア性能High-Radixスイッチによる小直径・低遅延トポロジ
階層型ストレージシステム
Linuxをベースにシステムの性能を引き出すシステムソフトウェア開発
システム

将来のHPCIシステムのあり方の調査研究

デバイス

15

システム構成：あらゆるレベルでCo-Design

AP/Archiシステム最適設計
実装機能・性能の特定

アプリケーション
ノード間ネットワーク

Node0 4TFlop/s
CPU0 1 TFlop/s

1

core core core core2

NW/Archi
Node xxxx
CPU0

3

2〜4B/F

VLSB

ネットワークインタフェース
通信方式など123

core core core core

Dev/Archi

VLSB

5.5Dメモリ開発
CPU/メモリ高速接続

1〜2B/F
Shared memory

Shared memory

Storage

Architecture• VLSBやMSHRを中心としたCPUアーキテクチャによるメモリアクセス効率化• アーキテクチャ技術，デバイス技術による省電力化• CPU/メモリの高速接続・SMP構成・実現性検討
将来のHPCIシステムのあり方の調査研究

IO/ArchiFile Systemインタフェース
実装方式など16

講演内容
 研究の概要と目的
 対象するアプリケーション
総合防災
ものづくり 要素技術・アーキテクチャ検討
デバイス
高速・低消費電力チップ間配線
ノード間ネットワーク
ストレージシステム
システムソフトウェア

 性能推定・実現性
アプリケーションの要求性能
システム諸元コモディティクラスタとの性能比較

 まとめ

将来のHPCIシステムのあり方の調査研究

17要素技術抽出の妥当性：デバイストレンド
 半導体加工技術のトレンド 2018年に向けた製品開発

 2016年の詳細設計，検証が必須
 2016年は14nmクラスの加工技術が主流に– Global Foundry, TSMCは2014年を目標に14nmプロセスのサービスを提供予定 (@IEDM2012)10 – 16nmのプロセスを想定

2.5D

5.5D A・STAR社の12インチ(300mm)ウェハ25mmx40mmのインタポーザ@3DAsiP

 2.5D, 3D実装のトレンド
 3次元積層技術

 積層型DRAM(HMC)は2013〜2014年に市場へ
 メモリ・ロジック積層は2018年頃に展開されることが予想 2.5次元積層技術

 2011年にVirtex7が出荷
 2013年には2.5D実装のモジュールが発表予定– GPU with memory on Si Interposer 2014年には主要CADベンダーがEDAツールを提供開始予定
 2018年には50mmx50mmのSiインタポーザが実現 我が国においても，文科省，経産省の支援のもと，2.5D/3D技術の実用化研究が急ピッチで進んでいる

L. Cadix, “3DIC & 2.5D Interposer market trends andtechnological evolutions”, 3DASIP(2012)

性能と電力要件を満たすには微細化とLSI積層を考慮したシステム設計が鍵
将来のHPCIシステムのあり方の調査研究

18

テストデバイス試作評価環境
東北大学3Dイノベーション拠点設備
仙台市多賀城市桜木3-4-1 みやぎ復興パーク内

以下のプロセスモジュール設備を所有し、この組み合わせにより３次元積層チップ/TSV/光導波路付高機能インターポーザー等の最先端試作評価が可能である
TSV形成プロセスモジュール
ウェハ研磨装置
TSV穴あけ用エッチャー
絶縁膜形成装置
メタル堆積装置
Cuメッキ装置

マイクロバンプ形成プロセスモジュール
メタルバンプ堆積装置
Cuメッキ装置
リフトオフ装置

微細パターン形成プロセスモジュール
縮小投影露光装置
1：1露光装置
フォトレジスト塗布装置
現像装置

貼り合わせプロセスモジュール
貼り合わせ装置
ﾌﾘｯﾌﾟﾁｯﾌﾟボンダ

メタル配線形成プロセスモジュール
微細パターン形成プロセスモジュール
メタルエッチャー
洗浄装置
将来のHPCIシステムのあり方の調査研究

19ネットワークの検討方針・目標と初期検討結果
 NWトポロジの初期検討結果

 検討方針・目標
対象アプリの通信要求に対し、近接通信を重視しつつも、大域通信も低レイテンシなNW
Fatノード&高基数SWによる小直径NWを中心に、性能・コスト・電力の点で有望な構成を検討
RAS等の技術的指針・研究開発
ロードマップの提示

 前提とするデバイス技術
2018年頃に実現の高基数SW
電気・光インターコネクト
インターコネクトFatFattree又はFattree又はtree又は
x 4プレーン（4 CPU/ノード）
HybridHybridNW
HybridNW
NW
node
1

node
25600

NWの全体構成

Fat tree

直径リンク数◎○汎用性・運用性重視△ケーブル遅延大低次元Torus

×

○

○×

階層構成による疑似高基数NW◎×

FTT-Hybrid○○

コスト・拡張性重視

高次元Torus
コスト・拡張性重視

Dragonfly

Fat treeとTorusの複合型◎ケーブル遅延・コスト低減化

実装を考慮した詳細評価の実施へ
将来のHPCIシステムのあり方の調査研究

20ストレージシステム
基本的要求要件
 スケーラビリティ： 数万～数十万クライアントでも動作 I/O競合、メタデータ競合の低減/削減
 I/Oネットワークにおけるアクセス優先度制御（メタ、データ）
 帯域保障制御による性能確保
 コンシステンシ： データ・メタデータの一貫性を保証
 耐障害性： 障害遭遇を前提にしたファイルシステムの設計，単一障害点の排除 ストレージやI/OサーバをまたぐソフトウェアRAIDによるデータ保証
 複数サーバ障害対応
 パーティション分割等の高度化など
 EtoEの整合性保証 ：ソフトウェアバグ等の論理的不整合を検出 チェックポインティング機能 ストレージ容量
 ローカル領域容量 ：メモリ容量の10倍程度を検討
 グローバル領域容量 ：最大でピーク性能（Flop/s値）の10倍までを検討

将来のHPCIシステムのあり方の調査研究

21

システムソフトウェア• 特にFS機で検討すべき課題を選定• 課題に優先順位をつけて調査• 定量的な評価に基づき他WGと議論• 文献調査に基づく現状分析• 既存の技術では解決できない問題の明確化• 問題解決のためにHWに求める機能を明確化• アプリ開発者をどのように支援すべきかを議論

議論を具体化・定量化• 特に優先順位の高い課題

1. 標準的な環境との互換性• Linuxを次世代HPC機の新アーキテクチャに対応• コンパイラ等を含めた開発環境の互換性向上

2. スケーラビリティ• システムのリソースを有効活用するジョブ制御• 性能解析ツールとメモリ階層制御

3. 耐故障性• チェックポイント・リスタートの高速化• 冗長リソース割り当てによるFTジョブ制御

将来のHPCIシステムのあり方の調査研究

22

講演内容
 研究の概要と目的
 対象するアプリケーション
総合防災
ものづくり 要素技術・アーキテクチャ検討
デバイス
高速・低消費電力チップ間配線
ノード間ネットワーク
ストレージシステム
システムソフトウェア

 性能推定・実現性
アプリケーションの要求性能
システム諸元コモディティクラスタとの性能比較

 まとめ

将来のHPCIシステムのあり方の調査研究

23性能推定結果（1/2）■ 性能要求要件と評価システムでの性能評価のまとめ■VLSBあり＋2B/F構成時【超高解像度 and/or 長時間単独計算】
B/F

必要倍精度浮動小数点演算数（×1018）

RSGDX

8.00

Seism3D

メモリ容量

要求実行
時間

推定結果

推定CPU数(Peak Pflop/s)

520

14 TB

24 時間

23 時間

100,000(100 Pflop/s)

2.14

1,000

2,900 TB

8 時間

7.4 時間

100,000(100 Pflop/s)

MSSG

4.00

720

175 TB

6 時間

20.9 時間

102,400(102 Pflop/s)

BCM

5.47

1

13.6 TB

0.5 時間0.38 時間65,536(66 Pflop/s)

アプリケーション

将来のHPCIシステムのあり方の調査研究

24

性能推定結果（2/2）■ 性能要求要件と評価システムでの性能評価のまとめ■VLSBあり＋2B/F構成時【高解像度アンサンブル計算】
アプリケーション

総合防災の連携シミュレーション（1000ケース）
数値タービン（20ケース同時実行）

必要倍精度浮動小数点演算数（×1018）

B/F

メモリ容量

要求実行
時間

推定結果

推定CPU数(Peak Pflop/s)

3.1 時間
×1000

100,000(100Pflop/s)

17.1 時間56,260(56Pflop/s)

2.1〜8.0

25×1000

98 TB

3時間
×1000
＝約4ヶ月

2.33

140

163.5 TB

20時間

将来のHPCIシステムのあり方の調査研究

25システム諸元（例えば，100PF構成での見積）
ピーク演算性能

100PFlop/s

筐体数

400(ノード)+300(NW)程度

総ノード数

25,000

総I/O帯域

10~30TB/s

総CPU数（コア数）100,000 (400,000）

総ディスク容量

300PB~1EB

総メモリ帯域

100~200PB/s（2B/F）

システム設置面積

2,900m2程度

総メモリ容量3.2~12.8PB

本体系消費電力

25~MW程度*A~C案における見積もり値

ラック

耐故障性・信頼性

システム

現在のHPCIシステム資源提供に用いられている大規模システムと同等以上の信頼性確保を目指す

ストレージ部

ラック

ノード・ネットワーク部
57m程度
51m程度

ノード数： 64（256CPUs）
演算性能： 256TFlop/s
メモリ帯域： 256~512TB/s(1~2B/F)
メモリ容量： 8~32TB

HWモニタリングによる障害回避機構
HWによるデータ保護、エラー救済機構
HW/SW連携による障害極小化機構

将来のHPCIシステムのあり方の調査研究

26

まとめ
 研究の概要と目的

高計算性能と高メモリバンド幅で超並列に頼ることをできるだけおさえ、広汎なアプリで高い実効性能を実現することを目指す。

 対象するアプリケーション

「総合防災（地震・津波・気象）」と「ものづくりにおける革新的設計」のアプリケーションの重要性、将来のシステムの利用形態、性能要求を明らかにした。
アプリケーションとシステム・デバイスの研究者が協力してシステム設計を行なっている。

 要素技術・アーキテクチャ検討

プロセス加工技術と３次元メモリ実装技術の発展が性能と電力要件を満たす鍵となる。
ノード間ネットワークやストレージシステムを含めたトータルシステムのアーキテクチャ検討を行った。更に、プログラムの互換性・移植性や利用を支援するシステム・ソフトウェアも課題を明らかにしている。

 性能推定・実現性

特に総合防災のアプリケーションの要求性能を詳細に検討し、それに必要で実現可能性のあるシステム諸元を示した。
コモディティクラスタとの性能比較を行った結果、高メモリバンド幅のシステムが優位性を持つことを示した。
将来のHPCIシステムのあり方の調査研究

27