サイエンティフィック・システム研究会
科学技術計算分科会 2022年度会合
2023.1.20「次世代計算基盤に係る調査研究」
運用技術調査研究チームの取組
東京大学情報基盤センター
塙 敏博
2023/1/20

サイエンティフィック・システム研究会

1自己紹介：塙 敏博• 東京大学情報基盤センター
スーパーコンピューティング研究部門教授• 慶應大博士課程修了後、某私立大学に 9年間• 筑波大学計算科学研究センター (2007/4-2013/11)、その後、現所属• 研究：GPU・FPGAによるアクセラレータ、インタコネクト、メニーコアCPUにおけるコア利用最適化、スパコンを用いた大規模機械学習• 業務：スパコン、HPCI共用ストレージ関連の調達・運用• 最先端共同HPC基盤施設 (JCAHPC) 運用支援部門長: Oakforest-PACS• 東大：Reedbush, Oakforest-PACS(JCAHPC), Oakbridge-CX,
Wisteria/BDEC-01,
HPCI共用ストレージ東拠点（理研R-CCSと共同）, mdx(他機関とも協力)• 筑波大：HA-PACS base cluster, HA-PACS/TCA, COMA, (Cygnus: 協力)• HPCI連携サービス・運営作業部会長 (2021/4- )2023/1/20

サイエンティフィック・システム研究会

2

概要• これまで日本で培われてきた計算基盤をより有機的に結合した、持続可能な次世代計算基盤の実現に向けた検討を実施• 「富岳」、HPCI第2階層システム群、• mdxをはじめとする各種データプラットフォーム、• GakuNin RDMなどの研究データ基盤、• それらを統合する学術情報ネットワークといった多種多様なシステムの設計、運用の知見を集約• 様々な研究者のニーズに対し、求める適切な資源を提供し、平易で柔軟かつシームレスな利用の実現• システム調査研究チームと連携してそれを支えるツールの研究開発について今後検討• Society5.0の推進, SDGsの達成に貢献するプラットフォームとして、ひいては国内研究者全般の研究DXに資する共通インフラとして提供する
2023/1/20

サイエンティフィック・システム研究会

3

3

実施体制
アクセスコントロール

実験データ収集装置

直結

解析⽤
計算機

データ管理基盤

HotStorageHot
Storage

Cold
Storage

海外の研究データ公開基盤

Hot
Storage

Cold
Storage

Cold
Storage

ITO

ColdStorage

⻑期保存対応ストレージ領域

管理・保存

分野別
リポジトリ

Hot
Storage（協力機関）九州大学
情報基盤研究開発センター

by
メタデータ集約・管理
知識ベースの構築

検索・利⽤

公開・蓄積

成果論⽂

研究データ

機関向け研究データ管理

データ公開基盤

データ検索基盤

ORCID

DOI

HPCI共用ストレージ
東拠点

ISNI

外部ID発⾏サービス（分担機関）国立情報学研究所

Wisteria/BDEC-01
Oakbridge-CX
mdx（代表機関）東京大学情報基盤センター

OCTOPUS & SQUID

国内有数の計算資源、学術情報ネットワークを運用する、基盤センター、国立研究所の研究者、技術スタッフが共同で実施（協力機関）大阪大学
サイバーメディアセンター

富岳
不老（協力機関）名古屋大学
情報基盤センター
HPCI共用ストレージ
西拠点
TSUBAME 3.0（分担機関）理化学研究所
計算科学研究センター

2023/1/20（分担機関）東京工業大学
学術国際情報センター

サイエンティフィック・システム研究会

ABCI（協力機関）
産業総合技術研究所

44

現状のスパコン利用の問題点• 使いたい時に使えないことがある• 混んでいる• メンテナンス、停電、電力逼迫、災害…

• あらかじめ使うシステムを決めて、資源量を申請• 仮に同じアーキテクチャでも他サイトのシステムは簡単には使えない• データの共有・相互利用しにくい• システムAにあるデータをシステムBで使いたい• コミュニティでデータを共有したい
2023/1/20

サイエンティフィック・システム研究会

HPCIではシングルサインオンは実現しているものの、結局ローカルアカウ
ントを使うことがほとんど5国内におけるスパコン利用の将来像
研究データ管理基盤GakuNin RDMを各計算資源やストレージを繋ぐハブに• 認証• 現状: HPCIアカウントによるSSO
è 学認、（アカデミックユーザであれば）ほぼ誰でも持っている• HPCIにおいても次世代認証基盤の検討中、学認がそのまま利用できるように調整している
GakuNin RDMポータルのプルダウンメニューから⾃機関を選択• データ共有・利活用• 現状：HPCI共用ストレージè プラグインによりポータル上で様々なストレージを接続• 計算資源⾃機関の認証システム(IdP)でログイン• 現状：sshで接続、CUI
è GUIを用いて複数の計算資源＋任意のストレージと組み合わせて柔軟な利用を可能に
2023/1/20

サイエンティフィック・システム研究会

シングルサインオンでGakuNin RDMを利⽤

6

カーボンニュートラルに向けて• 2050年カーボンニュートラルの実現• 2030年度に温室効果ガスを2013年度から46%削減することを目指し、さらに、50%の高みに向け挑戦
脱炭素ポータル（環境省）

2021/10/22
閣議決定

https://ondankataisaku.env.go.jp/carbon_neutral/index.html• 一方で最新プロセッサの消費電力(TDP)は急激に上昇• NVIDIA A100èH100:
400Wè700W• AMD EPYC
MilanèGenoa:280Wè360W• Intel IceLakeèSapphire
Rapids: 270Wè350W
2023/1/20

サイエンティフィック・システム研究会7

実現目標• 研究DXに資する共通プラットフォームの実現• ユーザに対する利便性• より有機的に活用可能な計算基盤• 計算資源、データ、人とのつながり• Society5.0の推進に資するプラットフォーム• データの利活用、システム利用方法、ネットワーク・セキュリティ• デジタルツイン、サイバーフィジカル• 社会課題解決：防災・減災、材料、資源・エネルギー• SDGsを達成するプラットフォーム• 施設・設備の運用• カーボンニュートラル、省電力、ピークシフト

3グループで議論中• 設備・電力、カーボンニュートラ
ル関連のインフラ的側面• 資源管理やSociety5.0、データ利活用など、システム構成＆システムソフトウェア• HPCIなどの運用ポリシー、ユーザ視点• 運用ポリシー、Service Level Agreement• 複数組織の連携、システム更新時の対応• 電力逼迫への対応• 災害等緊急時
2023/1/20

サイエンティフィック・システム研究会

88データ利活用
研究データ基盤をハブとして活用し、各計算資源, ストレージの密な連携によりデータ利活用の促進に繋げる。
検討項目:• 研究データ基盤と各システム相互の連携• ストレージ階層の連携・管理・制御• 大規模データに関して極力ストレージを移動せず参照を可能に• 適切なセキュリティの維持、データ保全、連携
⾼速・⼩容量

スパコン等

SSD,キャッシュ

ローカルストレージ

各スパコンのFS

システムストレージ

例: 東⼤Ipomoea-01

センターワイドストレージ

例: 名古屋⼤光ディスク

アーカイブ装置

解析共有基盤
アクセスコントロール

データ連携

実験データ
収集装置

HPCI共⽤ストレージ

例: mdx, ABCI, 商⽤クラウド

データ管理基盤

Hot
StorageHot
Storage

Cold
Storageクラウドストレージ

海外の研究データ公開基盤

Hot
Storage

Cold
Storage

分野別リポジトリ

Hot
Storage

Cold
Storage

Cold
Storage⻑期保存対応ストレージ領域

管理・保存

低速・⼤容量by
メタデータ集約・管理
知識ベースの構築

可視化システム (例:名古屋⼤)2023/1/20

直解析⽤
計算機

検索・利⽤

研究データ

機関向け研究データ管理

データ公開基盤

データ検索基盤

ORCID

サイエンティフィック・システム研究会

公開・蓄積

成果論⽂

DOI

9ISNI

資源管理次期フラッグシップシステム、国内主要スパコン＋リアルタイムデータおよび蓄積データ基盤＋それらを接続する学術情報ネットワークSINET

クラウドとも連携一体的に運用される基盤の構築・運用に必要とされる技術的要件を検討• 利用効率、高可用性や耐故障性• 電力需給バランス調整によるスパコン・クラウド間連携によるカーボンニュートラル化への貢献• セキュリティリスク
フラッグシップ:富岳

HPCI第⼆階層システム群

クラウド連携・クラウド的利用の試み• クラウドバースティング• REST APIによるスパコンの操作• S3APIによるストレージ操作• 学認GakuNinによる認証
On-premise (OCTOPUS)
Frontend Servers

Batch Server
Job submission

Compute Node

NQSII
JobManipulator

1. クラウドブリッジネットワーク
RESTAPI

IaaS
Cloud(Azure)2023/1/20

Cloud Portal

IPsecVPN

2. ジョブ管理サーバ拡張
Virtual ComputeNode・Template for
Compute Node3. 仮想計算ノード配備

サイエンティフィック・システム研究会

クラウドバースティングの例(⼤阪⼤学)

10施設設備・省電力運用・カーボンニュートラル
省電力、HPC・データセンター運用に適したカーボンニュートラルの実現に向けた調査研究• 国内外での再生可能エネルギー活用、低炭素排出発電技術、蓄電技術・熱再利用技術等の利用動向を調査、日本の国土における適用可能性• 施設・設備の省電力技術と組み合わせを念頭に、カーボンニュートラル・カーボンネガティブに向けた要素技術の体系• PUE削減、排熱の利用• 既存システム・新規設置システムのリアルタイム消費電力モニタリングによる省電力運用分析・実証実験• TSUBAME4.0, Wisteria/BDEC-01, OFP-II• 過去・既存システムの運用履歴分析• これまで運用したReedbush(東大), Oakforest-PACS(JCAHPC)システムの消費電力を含むジョブ実行ログ分析
系統受電
https://datacenterfrontier.com/
waste-heat-utilization-data-center-industry/

太陽光発電などの再⽣可能エネルギー[資源エネルギー庁ホームページ]

安定化のための蓄電池

2023/1/20

バイオガス燃料電池[資源エネルギー庁ホームページ、三菱重⼯業][資源エネルギー庁ホームページ、
⽇本ガイシ、住友電気⼯業]

サイエンティフィック・システム研究会

排熱再利⽤

11

施設設備・省電力運用・カーボンニュートラルの課題• 施設設備の更新サイクルは比較的長い• 導入コスト上昇• ランニングコスト削減の効果はあるが、システム導入と運用とで予算構造が異なる• スパコンを利用した研究による貢献を反映してほしい• クリーンエネルギー• 次世代二次電池・燃料電池

2023/1/20

サイエンティフィック・システム研究会

12

まとめ:
• 持続可能な次世代計算基盤の実現・継続• 国が掲げる「2030年度に 2013年度比-46％の野心的な削減目標」に向けて、再生可能エネルギー、カーボンニュートラル技術の積極的な導入が必須• 電力効率・冷却効率の改善や省電力運用によるエネルギー削減、ユーザの啓蒙による実効効率の向上も重要• データ利活用を柱に、研究データ基盤とデータプラットフォームや各種ストレージシステムの柔軟な連携＋ワークフロー è 社会課題解決につなげる• 多様なシステムに対するユーザビリティの一貫性• 複数機関の連携による可用性・耐故障性の維持システム調査研究チームとの連携

フラッグシップだけでなく第二階層システム群も含めたHPCI全体の協調運用技術に対する不断の研究開発、人材育成
2023/1/20

サイエンティフィック・システム研究会

13