重点課題9でのポスト「京」に対す
るコデザイン活動報告
広島大学 理学研究科
石川健一

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

1目次
1. コデザイン活動
2. ポスト京関連公開情報
3. 重点課題⑨に関するコデザイン活動

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

2

１．コデザイン活動• RIKEN,R-CCS と FUJITSU によるポスト京計算機開発• コデザイン活動– 重点課題からのターゲットアプリケー
ションの開発とシステムやソフトウェア開発を連携して開発– 9個のターゲットアプリケーション• 重点課題⑨– LQCD ：Wilson-Clover quarkソルバー

2019/1/10

LQCD

表：R-CCS 石川裕（PL）既発表資料より引用
CCS-QCD ⇒ LQCD 名称変更

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

3１．コデザイン活動• さまざまな分野のターゲットアプリケーション• いろいろな特徴がくまなく網羅されている• それぞれの特徴を網羅することで、使い勝手の良い、汎用的になるようにコデザインができる• ハードウェアやソフトウェア（コンパイラやミドルウェア）、システムソフトウェア（OSやジョブシステム、IOのシステム）など多岐にわたって重点課題側からの意見や要望を出している。アンケート調査なども行われました。
• 各重点課題間でのアプリ開発や情報交換も行われている。
– 各重点課題毎：「重点課題アプリ○数字WG」– 全重点課題WGの主催者と富士通・理研R-CCSで議論：「アプリケーション検討会」

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

4

2. ポスト京関連公開情報• 公開情報（１次情報）
 HPCIコンソーシアム（https://www.hpci-c.jp/）NEWSお知らせ（2018年2月2日付のお知らせ）

 ２０１８年１月24日に開催された「「京」の運用停止とポスト「京」への以降に関する説明会」配布資料

性能推定
評価環境

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

5

2. ポスト京関連公開情報• 公開情報（１次情報）
 HPCIコンソーシアム（https://www.hpci-c.jp/）NEWSお知らせ（2018年2月2日付のお知らせ）

 ２０１８年１月24日に開催された「「京」の運用停止とポスト「京」への以降に関する説明会」配布資料

性能推定
評価環境

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

6

2. ポスト京関連公開情報• 公開情報（１次情報）
 HPCIコンソーシアム（https://www.hpci-c.jp/）NEWSお知らせ（2018年2月2日付のお知らせ）

 ２０１８年１月24日に開催された「「京」の運用停止とポスト「京」への以降に関する説明会」配布資料

性能推定
評価環境

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

7

2. ポスト京関連公開情報• 公開情報（１次情報）
 HPCIコンソーシアム（https://www.hpci-c.jp/）NEWSお知らせ（2018年2月2日付のお知らせ）

 ２０１８年１月24日に開催された「「京」の運用停止とポスト「京」への以降に関する説明会」配布資料
利用申請手続き性能推定
評価環境

2019/1/10

素粒子・原子核・宇宙「京からポスト
京に向けて」シンポジウム(2019/1/910)

8

2. ポスト京関連公開情報• 公開情報（１次情報） 理研 計算科学研究センター(R-CCS)（https://postk-web.rccs.riken.jp/index.html）「Post-K Information」– 開発方針– 諸元••••–––––ノード
ストレージ
プログラミング環境
システムソフトウェア

性能
重点課題アプリケーション
計画スケジュール
関連論文
性能評価環境••••申請方法 (HPCI へジャンプ)
ユーザー登録アクセス方法ユーザーポータルについての公開情報があります。
2019/1/10

素粒子・原子核・宇宙「京からポスト
京に向けて」シンポジウム(2019/1/910)

9

2. ポスト京関連公開情報• 公開情報（１次情報）
 ARMエコシステム ARM64 SVE（ https://developer.arm.com/products/software-developmenttools/hpc/sve ）ここからARM社の公開情報へ到達できる
HPCツールとライブラリ
SVE関連情報

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

10

3．重点課題⑨に関するコデザイン活動
コデザインの取り組み（要NDA）•

重点課題アプリ⑨ WG体制（右表）––

月に約2回のWG、富士通・理研・実施機関のメンバーで重点課題⑨のターゲットアプリに関して議論•

アプリケーション検討会•

月に約2回全重点課題WGの主催者と富士通・理研のメンバーで議論
H27年度
–––

•

H28年度：––•

基本設計： 基礎パラメータ
1月～：詳細設計①8月～：詳細設計②

H29年度：–(2017/4/11)
課題責任者/実施機関コデザイン責任者

青木慎也

R-CCSコデザイン責任者

牧野 淳一郎WG座長（正）（実施機関）

石川 健一（広島大）

WG座長（副)（R-CCS）

中村 宜文（R-CCS）
石井 理修（大阪大）
松古 栄夫（KEK）

実務担当者（実施機関）
2018年10月より新メンバー–～：詳細設計③– ８月～：詳細設計④
2019/1/10

サブ課題Ｂ（5次元ソルバー）

石原

サブ課題C陽平（R-CCS）

実務担当者（富士通)

三吉 郁夫
井上 晃
青木 正樹

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)（核力）

サブ課題A,B

実務担当者（R-CCS)• H30年度：サブ課題Ａ

金森 逸作（広島大）

富田 浩文
辻 美和子
南 一生
似鳥 啓吾

６月～ ：詳細設計③

サブ課題ＡＢ(クォークソルバー)

（流体）

11

3．重点課題⑨に関するコデザイン活動• 格子QCDの場合：ターゲットアプリケーション 特徴– CCS－QCD：Wilson-Clover クォークソルバー– 4次元正方格子上のステンシル計算– 大規模連立方程式を BiCGStab で解く

𝐷𝐶𝐿 𝑥 = 𝑏4
 cSWCLOVERˆDCL (n, m)  1   G (n)  n,m    1    U  (n) n ˆ ,m  1    U† (m) n ˆ ,m 2  1

– ステンシル構造は簡単– メモリバンド幅律速、通信バンド幅律速– キャッシュがない場合のB/F値＝約1.8(DP)– スピノール場は8回、ゲージ場は2回参照される n  ̂
– キャッシュ機構の利用によりB/F 値を下げる– 単精度加速により B/F値を下げる– などの工夫が重要

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

n  ̂n12

3．重点課題⑨に関するコデザイン活動•

H27年度： 基本設計： 基礎パラメータ•

サブ課題ABに必要不可欠なクォークソルバーのアルゴリズムや実装方法をハードウェア・システムソフトウェアと連携し（コデザイン）、システムパラメータとアプリケーション性能の関係を調べ、性能予測を行った。これらの取り組みの過程において以下の様な提言を行い、また知見を得ることができた。

••

通信ソフトウェアに対する提言•

システムソフトウェア(OS)に対する提言•

コンパイラー最適化に対する提言•

計算・通信ハードウェアに対する提言•

クォークソルバーのアルゴリズムや実装方法についての知見(ベクトル化・並列化・メモリデータレイアウト)•

規則格子系の差分方程式のソルバー実装方法についての知見

H28年度： 1月～：詳細設計①、8月～：詳細設計②–クォークソルバー•

キャッシュチューニングにより、カーネル性能を向上した。

•

スレッドロードインバランス解消のためのノードあたりの格子サイズとループ最適化と全体ノードへのMPIプロセスマッピングの最適化の評価を行っている。

–•

詳細設計②での計算機デザインに対応して上述チューニングコードの性能推定を行っている。

•詳細設計②での計算機デザインへの提言（コデザイン）：
通信ソフトウェアと通信ハードウェアについてのコデザイン–

コンパイラー性能についてのコデザイン

五次元ソルバー（その他のアプリケーション）：•––

上述のウィルソン型クォークソルバーのカーネル部を用いた5次元ソルバーの実装を行った。

核力コード（その他のアプリケーション） ：•2019/1/10

アルゴリズム検討中

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

13

3．重点課題⑨に関するコデザイン活動• H29年度：６月～：詳細設計③– クォークソルバー•

富士通によるカーネル部のシミュレータでの性能測定とチューニングを行っている。

•

ARMv8 SVE (Scalable Vector Extension) 対応詳細検討•

理研版シミュレータの利用ができるようになった（シミュレータNDA）•コデザイン報告書（第２版、2017年12月15日）作成（コデザインNDA共有版）コデザインNDA間で情報共有するチューニングガイド• H30年度：詳細設計③、詳細設計④– クォークソルバー• 前年度の評価に基づき、チューニングとシミュレータでの性能評価を繰り返しています。
• FP１６の利用方法について検討しています。
• 隣接通信のダブルバッファリング法の詳細を検討しています。
• コデザイン報告書（第3版、2018年6月29日）作成：コデザインNDA共有版及び理研シュミレータNDA版を作成しました。各NDAのカテゴリで公開されています。
– 理研シュミレータNDAを結んだ方へ：性能評価用ツール使用方法やチューニング技法が記載されていますので参考にしてください。ポスト京性能評価環境利用者ポータルからアクセスできます。

2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

14

おわり
• 理研・富士通・重点課題⑨間のコデザイン活動の報告をしました。
• シミュレータNDA締結によりシミュレータと性能予測ツールが利用できます。コ
デザイン報告書のガイドを参考にしていただけたらと思います。

• 以上です2019/1/10

素粒子・原子核・宇宙「京からポスト京に向けて」シンポジウム(2019/1/910)

15