1/15	

東京大学物性研究所スパコン共同利用の紹介	

渡辺宙志
東京大学物性研究所
物質設計評価施設 助教

Jun. 24, 2015@PCクラスタワークショップ in 柏2015	

University of Tokyo2/15	

日本の物質科学研究と物性研究所の役割	
計算資源提供を核とした全国の計算物質科学研究者の活動の中心	
分野の基盤的アプリケーション開発を通じたソフトウェアインフラ整備を展開	
元素戦略 (H24-33)	
希少元素フリーで性能向上	

長期高信頼
鉄鋼材料開発	

モータ用磁石開発	

国策スパコン	
HPCI戦略プログラム(H23-27)

共同利用スパコン
学術的・社会的課題の解決のためハード・ソフト両面からの支援	

物性研究所	

物質設計評価施設・計算物質科学研究センター

ソフト普及促進	! 技術相談・講習会・研修会! ソフト実行テスト環境提供! コミュニティ教育ツール提供

大型実験施設連携	

京コンピュータ	

CCMS: ９大学２国立研究所
研究者数117名の中核拠点	

基盤的ソフト開発・整備	

＜アプリケーション開発例＞
・電子状態計算；
京コンピュータ	
OpenMX/AkaiKKR/xTAPP
フラッグシップ2020(H26-31) ・ 強相関格子模型計算；ALPS「次世代の産業を支える新機能	 ・モンテカルロ計算；DSQSS
デバイス・高性能材料の創成」

SPring-8,SAKLA,J-PARC,KEK-PFなど	 

京コンピュータ	

産業利用支援・共同研究	
半導体,磁石,構造材料,電池材料など	 

ポータルサイト運営	
登録アプリ120件超、ＰＶ数；８０００件/月	University of Tokyo

物性研スパコンの歴史 (1/4)	

3/15	

1960年〜1995年 (スパコン導入以前)	
富士通 FACOM 202 (PC2)
富士通 FACOM 270-30
富士通 FACOM 320-48
富士通 FACOM M-160F
富士通 FACOM M-360
富士通 FACOM M-380R
富士通 FACOM M-380	

FACOM-202 （パラメトロン式）	

※ MシリーズはIBM互換機	
主な計算物理：	
金属・イオン結晶のバンド計算	
量子モンテカルロ法	
遷移金属中不純物の電子状態計算	
ハバードモデルの数値対角化計算	
ハバードモデルの量子モンテカルロ計算	
University of Tokyo4/15	

物性研スパコンの歴史 (2/4)	
1995年〜2000年 (スパコン第一期)	
導入マシン：	
富士通 VPP500(40 CPU) [64 GF]
SGI Origin 2000(24CPU)
Intel Paragon(66 CPU)	 ※ VLIW	

2000年〜2005年 (スパコン第二期)	
ベクトル機とスカラ機の二本立て	

レプリカ交換法	
スピングラス問題の数値計算による検証	
カーボンナノチューブのエキシトン	
ヘテロダイアモンド構造 BC2N の第一原理計算	
非平衡緩和法	

HITACH SR8000	

SGI 2800	

システムA (ベクトル):
日立 SR8000/60 [720 GF]
システムB (スカラ):
SGI 2800/384 [230 GF]	量子モンテカルロ法の並列化	
経路積分繰り込み法	
ハイゼンベルグスピングラス	
アンダーソン局在	数値行列対角化法によるアンダーソン局在のスケーリング理論の検証	カーボンナノチューブの電子状態計算	
表面への水素原子吸着の第一原理計算	

University of Tokyo5/15	

物性研スパコンの歴史 (3/4)	
2005年〜2010年 (スパコン第三期)	
システムA (ベクトル)
日立 SR11000 [5.8 TF]
システムB (スカラ)
SGI Altix 3700 [7.7 TF] 	
※ VLIW	※システムBの計算能力＞システムA	

2バンドハバードモデルの動的平均場近似計算	
帯電した表面付近の第一原理分子動力学計算	
遷移金属化合物での巨大スピンホール効果	
蛋白質結晶における水和効果の分子動力学計算	
ナノ構造体の密度汎関数計算	
価数転移の量子臨界点近傍に出現する超伝導	ジョセフソン接合配列での非線形電気伝導・レオロジー	

2010年〜2015年 (スパコン第四期)	
システムA (ベクトル)
NEC SX-9 [6.6 TF]
システムB (スカラ)
SGI Altix ICE 8400EX [180 TF]	SGI Altix ICE	NEC SX-9	

※システムBの計算能力＞＞システムA	

カゴメ格子ハイゼンベルグ反強磁性体
高強度パルスレーザー伝播の第一原理計算	
遷移金属酸化物の第一原理計算	
University of Tokyo6/15	

物性研スパコンの歴史 (4/4)	
2013年〜2016年 (システムC)	
物性研究所がHPCI戦略プログラム分野2「新物質･エネルギー創成」の代表機関に物性分野のユーザを「京」に導く

導入マシン：	
富士通 FX10 [90.8 TF]「京」の練習機	

2015年〜2020年 (スパコン第五期)	
SGI ICE XA/UVハイブリッドシステム
・FATノード 大容量共有メモリ
・CPUノード 分散並列
・ACCノード アクセラレータ (NVIDIA Tesla K40)

「高バンド幅」から「大容量共有メモリ」へ
物性研としては初めてアクセラレータを導入
University of Tokyo7/15	

物性研スパコン共同利用システム (1/3)	
利用資格者	
研究代表者	
国・公立大学、私立大学及び国公立研究機関の教員、研究者
ならびにこれに準ずる者で、物性科学に関する研究に携わる者	
共同研究者	
大学院生等を含む、上記以外の研究者	

利用条件	
・利用料金は原則として無料
・利用申請には課題申請書を提出・利用する形態、計算資源の規模に応じて様々な「申請クラス」を用意・申請された課題はピアレビューにより審査・審査により、課題の採否、および提供する計算資源を決定	

利用ポイント制	
計算資源は「ポイント」という形で配布
1ポイント 〜 1ノード日
ディスククォータの上限を上げる場合も消費	
University of Tokyo物性研スパコン共同利用システム (2/3)	

8/15	

申請クラス種別	
大きくわけて「定期申請クラス」と「随時申請クラス」の二種類	

定期申請クラス	・Bクラス(小型)、Cクラス(中型)、Eクラス(大型)、Sクラス(特別)・年2回、6月と12月に受付。利用期間は採択されてから年度末まで。	
・12月受け付け→来年度4月より年度末まで利用 (前期)・6月受け付け→同年10月より年度末まで利用 (後期)・Sクラスのみ、利用期間は前後期にかかわらず採択されてから1年間	

随時申請クラス	・Aクラス(軽量)・随時申請可能、年度末まで利用可	
・お試し利用クラスという位置づけ	
・Dクラス(緊急)・随時申請可能、採択後半年間利用可	
・研究の進捗が著しく、緊急に計算資源が必要になった課題向け	
University of Tokyo9/15	

物性研スパコン共同利用システム (3/3)	
課題代表者	

共同利用WEBシステム	

課題申請	

査読依頼	

採択通知	

査読結果	

査読者	

共同利用委員会	
共同利用委員長	

計算資源割り当て案	
割り当て案の承認	

University of Tokyo10/15	

新たな取り組み ーソフトウェア高度化ー	
学術的・社会的ニーズが高い、物質科学計算用ソフトウェアの開発・高度化	
簡便なシミュレーション環境を物性研スパコン上に構築	
全国共同利用スパコンユーザー層の底上げと科学的・社会的な課題解決	
プロジェクト体制 （２０１５年４月開始）◇ 実行メンバー ( 計 ４名 ) ※追加人員によって課題解決機能を強化	
☆ コーディネータ (１名/ソフトウェア、物性研スタッフ)	
☆ プロジェクトマネージャ(デベロッパー兼) (1名)＋デベロッパー (1名)	
◇ 対象ソフトウェア	
公募で募集。物性研スパコン委員会による審査に基づき、年2件採用。	
最終的にはオープンソースソフトウェア(OSS)として公開→科学・社会への貢献。	
・ 2015年度実績（実施中）	
(1) 電子状態計算ソフトウェア：伝導計算機能の拡張		
(2) 格子模型計算ソフトウェア：対象モデル・手法の整備・拡張	

課題代表・協力者<応募時>・ニーズ・目標・作業内容の説明・OSSでの公開に対する同意<プロジェクト時>・ 既存コード・実装内容の説明	
・ テスト協力、マニュアルチェック

ソフトウェア開発・高度化	
ミーティング <審査時（物性研スパコン委員会）>(隔週程度)	 ・ニーズ、将来性、実現性の検討
京コンピュータ	<プロジェクト時>・スケジュール立案・管理・機能設計、コーディング、チューニング
・バージョン管理ソフト導入、マニュアル作成

University of Tokyo11/15	

新たな取り組み ーGPGPU移植支援ー	
計算物性物理のヘテロジニアスコンピューティング化へ向けて	全国共同利用スパコンユーザーへの技術支援	
プロジェクト体制 （２０１５年8開始）◇ 実施体制 ※物性研スタッフと導入ベンダーによる総合的な技術支援	
☆ 物性研スタッフ	
☆ 導入ベンダーのシステムエンジニア数名	
◇ 対象ソフトウェア	
公募で募集。物性研スパコン委員会による審査に基づき、年3〜5件程度採用	
GPGPU化で得られた知見を公開、共有	
課題代表・協力者<応募時>・ニーズ・目標・作業内容の説明
・物性科学上の重要性
京コンピュータ	<プロジェクト時>・ 既存コード・実装内容の説明	
・ テスト協力GPGPU移植支援	<審査時（物性研スパコン委員会）>

ミーティング	 ・ニーズ、将来性、実現性の検討
京コンピュータ	<プロジェクト時>・コーディング、性能評価・報告書
・技術ノウハウの公開・共有

University of Tokyo12/15	

気泡生成シミュレーション (1/3)	
工学応用上「泡」は厄介者	

お湯を沸かす(加熱による発泡)	

スクリューまわりの気泡(減圧による発泡)	

冷却システムで気泡発生→熱交換効率低下
スクリュー周りで気泡発生→騒音や腐食	

泡を理解/制御したい	
from Wikipedia	

泡の発生の研究は難しい(ナノメートル程度の相互作用がミリ〜センチメートル程度の現象を支配)	
from Wikipedia	

気泡	

気泡表面	

分子	

マクロ	

ミクロ	

泡の発生・成長メカニズムを分子レベルから明らかにしたい
University of Tokyo13/15	

気泡生成シミュレーション (2/3)	
コードの開発	

通信	
プロセス	

プロセス	

擬似Flat-MPI法による並列化
スレッド	 スレッド	
スレッド	 スレッド	
・スレッド単位で領域分割
・スレッド番号をランクとして扱う
スレッド	 スレッド	
スレッド	 スレッド	
メリット：
・Flat-MPIコードからの改修が容易
・ホットスポットでスレッド並列とSIMD化を同時に扱わなくて良い
デメリット：
・通信が全て二段階に並列部分のテストはシステムB(SGI Altix)でカーネル部分のチューニングはシステムC(FUJITSU FX10)で物性研スパコンから「京」へ	
物理としての準備	
物性研スパコンで、相図の計算、単一/多重気泡生成条件の洗い出し
東大情報基盤センター FX10で大規模計算のテスト(特にデータIOまわり)	University of Tokyo14/15	

気泡生成シミュレーション (3/3)	
中間ステージ	

最終ステージ	

気泡間相互作用による「つぶしあい」	

単一気泡へ収束	

初期ステージ	

多重核生成	

計算規模： 10億粒子の計算。4096ノード☓24時間☓10回 = 100万ノード時間	

ミクロ

気泡生成
10 nm
百万粒子	

Movie	

イマココ	

物理現象とスケール	

マクロ

多重気泡生成100 nm
十億粒子	

気泡流
1 um
一兆粒子	

University of Tokyo15/15	

まとめ	
物性研共同利用スパコンの役割
・計算物性物理の中枢として申請→審査→計算資源提供を行う仕組みを構築した・計算資源の提供にとどまらない積極的な支援
物性研共同利用スパコンの今後・時代に即した計算資源の提供
・計算物性物理のあり方についての検討
・計算物性分野の「サロン」としての役割
ハードのまわりには人が集まる→その「人のネットワーク」を大事にしなければならない

University of Tokyo