運⽤技術調査研究チームの取り組み

東京⼤学情報基盤センター
塙 敏博

2022/12/6

PCCC22 「HPCシステム技術の最前線」

⾃⼰紹介：塙 敏博• 東京⼤学情報基盤センター
スーパーコンピューティング研究部⾨教授• 慶應⼤博⼠課程修了後、某私⽴⼤学に 9年間• 筑波⼤学計算科学研究センター (2007/4-2013/11)、その後、現所属• 研究：GPU・FPGAによるアクセラレータ、インタコネクト、メニーコアCPUにおけるコア利⽤最適化、スパコンを⽤いた⼤規模機械学習• 業務：スパコン、HPCI共⽤ストレージ関連の調達・運⽤• 最先端共同HPC基盤施設 (JCAHPC) 運⽤⽀援部⾨⻑: Oakforest-PACS• 東⼤：Reedbush, Oakforest-PACS(JCAHPC), Oakbridge-CX,
Wisteria/BDEC-01,
HPCI共⽤ストレージ東拠点（理研R-CCSと共同）, mdx(他機関とも協⼒)• 筑波⼤：HA-PACS base cluster, HA-PACS/TCA, COMA, (Cygnus: 協⼒)• HPCI連携サービス・運営作業部会⻑ (2021/4- )2022/12/6

PCCC22 「HPCシステム技術の最前線」

実施体制
アクセスコントロール

実験データ
収集装置

直結

解析⽤
計算機

データ管理基盤

Hot
Storage

HotStorage

Cold
Storage

海外の研究データ公開基盤

Hot
Storage

Cold
Storage

Cold
Storage

Cold
StorageITO

⻑期保存対応ストレージ領域

管理・保存

分野別
リポジトリ

Hot
Storage（協⼒機関）九州⼤学
情報基盤研究開発センター

by
メタデータ集約・管理
知識ベースの構築

検索・利⽤

公開・蓄積

成果論⽂

研究データ

機関向け研究データ管理

データ公開基盤

データ検索基盤

ORCID

DOI

ISNI

HPCI共⽤ストレージ
東拠点

外部ID発⾏サービス（分担機関）国⽴情報学研究所

Wisteria/BDEC-01
Oakbridge-CX
mdx（代表機関）東京⼤学情報基盤センター

国内有数の計算資源、学術情報ネットワークを運⽤する、基盤センター、国⽴研究所の研究者、技術スタッフが共同で実施OCTOPUS & SQUID（協⼒機関）⼤阪⼤学
サイバーメディアセンター

富岳
不⽼（協⼒機関）名古屋⼤学
情報基盤センター
HPCI共⽤ストレージ⻄拠点（分担機関）理化学研究所
計算科学研究センター

2022/12/6

TSUBAME 3.0（分担機関）東京⼯業⼤学
学術国際情報センター

PCCC22 「HPCシステム技術の最前線」

ABCI（協⼒機関）
産業総合技術研究所

3概要• これまで⽇本で培われてきた計算基盤をより有機的に結合した、持続可能な次世代計算基盤の実現に向けた検討を実施• 「富岳」、HPCI第2階層システム群、• mdxをはじめとする各種データプラットフォーム、• GakuNin RDMなどの研究データ基盤、• それらを統合する学術情報ネットワークといった多種多様なシステムの設計、運⽤の知⾒を集約• 様々な研究者のニーズに対し、求める適切な資源を提供し、平易で柔軟かつシームレスな利⽤の実現• システム調査研究チームと連携してそれを⽀えるツールの研究開発について検討• Society5.0の推進, SDGsの達成に貢献するプラットフォームとして、ひいては国内研究者全般の研究DXに資する共通インフラとして提供する
2022/12/6

PCCC22 「HPCシステム技術の最前線」

4

実現⽬標
• 研究DXに資する共通プラットフォームの実現• ユーザに対する利便性• より有機的に活⽤可能な計算基盤• 計算資源、データ、⼈とのつながり• Society5.0の推進に資するプラットフォーム• データの利活⽤、システム利⽤⽅法、ネットワーク・セキュリティ• デジタルツイン、サイバーフィジカル• 社会課題解決︓防災・減災、材料、資源・エネルギー、、• SDGsを達成するプラットフォーム• 施設・設備の運⽤• カーボンニュートラル、省電⼒、ピークシフト• 運⽤ポリシー、Service Level Agreement• 複数組織の連携、システム更新時の対応• 電⼒逼迫への対応• 災害等緊急時

2022/12/6

PCCC22 「HPCシステム技術の最前線」

5

検討の進め⽅• ワーキンググループ
1. Society5.0運⽤
2. 資源管理
3. 施設・設備
4. カーボンニュートラル
5. データ利活⽤
6. HPCI運営•

以下、3グループで議論中•••2022/12/6

設備・電⼒、カーボンニュートラル関連のインフラ的側⾯
資源管理やSociety5.0、データ利活⽤など、システム構成＆システムソフトウェア
HPCIなどの運⽤ポリシー、ユーザ視点
PCCC22 「HPCシステム技術の最前線」

6

施設設備・カーボンニュートラル
⽬的: 省電⼒、HPC・データセンター運⽤に適したカーボンニュートラルの実現に向けた調査研究• 国内外での再⽣可能エネルギー活⽤、低炭素排出発電技術、蓄電技術・熱再利⽤技術等の利⽤動向を調査、⽇本の国⼟における適⽤可能性• 施設・設備の省電⼒技術と組み合わせを念頭に、カーボンニュートラル・カーボンネガティブに向けた要素技術の体系• PUE削減、排熱の利⽤• 既存システム・新規設置システムのリアルタイム消費電⼒モニタリングによる省電⼒運⽤分析・実証実験• TSUBAME4.0, Wisteria/BDEC-01, OFP-II• 過去・既存システムの運⽤履歴分析• これまで運⽤したReedbush(東⼤), Oakforest-PACS(JCAHPC)システムの消費電⼒を含むジョブ実⾏ログ分析
系統受電
https://datacenterfrontier.com /w aste-heat-utilization-data-center-industry/

太陽光発電などの再⽣可能エネルギー[資源エネルギー庁ホームページ]

安定化のための蓄電池

バイオガス燃料電池

2022/12/6[資源エネルギー庁ホームページ、三菱重⼯業][資源エネルギー庁ホームページ、⽇本ガイシ、住友電気⼯業]

PCCC22 「HPCシステム技術の最前線」

排熱再利⽤

資源管理
⽬的︓次期フラッグシップシステム、国内主要スパコン＋リアルタイムデータおよび蓄積データ基盤＋それらを接続する学術情報ネットワークSINET

クラウドとも連携⼀体的に運⽤される基盤の構築・運⽤に必要とされる技術的要件を検討• 利⽤効率、⾼可⽤性や耐故障性• 電⼒需給バランス調整によるスパコン・クラウド間連携によるカーボンニュートラル化への貢献• セキュリティリスク
フラッグシップ:富岳

HPCI第⼆階層システム群

クラウド連携・クラウド的利⽤の試み• クラウドバースティング• REST APIによるスパコンの操作• S3APIによるストレージ操作• 学認GakuNinによる認証
On-premise (OCTOPUS)
Frontend ServersBatch Server
Job submission

Compute Node

NQSII
JobManipulator

1. クラウドブリッジネットワーク
RESTAPI

IaaS
Cloud(Azure)2022/12/6

Cloud Portal

IPsecVPN

2. ジョブ管理サーバ拡張
Virtual ComputeNode・Template for
Compute Node3. 仮想計算ノード配備

PCCC22 「HPCシステム技術の最前線」

クラウドバースティングの例(⼤阪⼤学)

データ利活⽤
⽬的:
研究データ基盤をハブとして活⽤し、各計算資源およびストレージの密な連携によりデータ利活⽤の促進に繋げる。
検討項⽬:• 研究データ基盤と各システム相互の連携• ストレージ階層の連携・管理・制御
データ管理基盤• ⼤規模データに関しては極⼒ストレージを移動することなく適切なセキュリティの維持、データ保全、連携• データ規模に応じた取り扱いの指針
アクセスコントロール

実験データ収集装置

Hot
Storage

HotStorage

Cold
Storage

海外の研究データ公開基盤

HotStorage

Cold
Storage

HotStorage

Cold
StorageColdStorage

⻑期保存対応ストレージ領域

管理・保存

分野別リポジトリ

直結

解析⽤計算機

by

メタデータ集約・管理
知識ベースの構築

⾼速・⼩容量スパコン等

SSD,キャッシュ

ローカルストレージ

各スパコンのLustre FS

システムストレージ

例: 東⼤Ipomoea-01

センターワイドストレージ

例: 名古屋⼤光ディスク

アーカイブ装置

例: mdx, ABCI, 商⽤クラウド

ORCID

DOI

ISNI

外部ID発⾏サービス

学術研究データプラットフォーム

共有基盤

データ連携

2022-2027
2017-2021• データガバナンス機能計画に基づきデータ管理等を機械的に⽀援し、DMPをプロジェクト管理に不可⽋な仕組みへと変⾰• データプロビナンス機能

データの来歴情報の管理から利⽤状況を把握でき、データ公開へのインセンティブモデルを提供• コード付帯機能

データ・プログラム・解析環境のパッケージ化と流通機能を提供し、研究成果の再現性を⾶躍的に向上• 秘匿解析機能

可視化システム (例:名古屋⼤)

秘密計算技術で機微な情報も安⼼して解析できる環境の提供で、新しいデー
タ駆動型研究の世界を開拓• キュレーション機能

専⾨的なデータキュレーションを実践できるエコシステムを構築し、データ再利⽤の促進に寄与• セキュア蓄積環境

専⽤HWと⾼度な暗号化技術による超鉄壁ストレージを提供し、データの共有と保護の両⽴を実現

PCCC22 「HPCシステム技術の最前線」

研究データ

機関向け研究データ管理

データ公開基盤

既存の３基盤を有機的に繋ぐ先端機能を実現しオープン
サイエンスの実践に不可⽋な⼈材育成の仕組みを提供

低速・⼤容量2022/12/6

公開・蓄積

データ検索基盤

解析

HPCI共⽤ストレージクラウドストレージ

検索・利⽤

成果論⽂

• ⼈材育成基盤

研究データ管理に必要なスキルを学ぶ環境を提供し、全ての研究者を新しい科学の実践者へと育成

HPCIなどの運⽤ポリシー、ユーザビリティ

HPCI全機関に拡⼤、HPCIコンソーシアム
でも議論を継続していく必要A)センター間での協調・連携、シームレスな利⽤• 各センターにおける運⽤ポリシーの違いについて調査し、特に類似のアーキテクチャのシステム間での相互利⽤について検討B)ソフトウェアの共通化（コンテナ、仮想化）、ノーコード・ローコードへの対応 リソース集約によるコスト削減効果• 同⼀アーキテクチャ: コンテナの利⽤• 異なるアーキテクチャ: 仮想化, Python, ノーコード・ローコード環境• 「重点課題アプリ」の配備、性能分析と、ユーザへの提供
OpenOndemandやJupyter Notebook など、C)ディザスタリカバリ、可⽤性向上
ユーザビリティを統⼀する上でUIの検討• 災害や電⼒逼迫などの際の緊急対応
D)HPCI全体での計算需要と計算資源量の調整• HPCI全体での⻑期の資源提供計画を調査し、需給バランスが極端に崩れないために必要な要件について整理
E)営利⽬的の産業利⽤、Service Level Agreement• 富岳、ABCIを参考にしながら、⼤学センターが営利⽬的の産業利⽤を認める条件や影響について調査

フラッグシップと第⼆階層のシームレスな連携に向けた統合的な環境[解決すべき課題] 認証、課⾦、ジョブ実⾏、ファイルの扱い、…
2022/12/6

PCCC22 「HPCシステム技術の最前線」

10

まとめ:
• 持続可能な次世代計算基盤の実現・維持に向けて• 国が掲げる「2030年度に 2013年度⽐-46％の野⼼的な削減⽬標」に向けて、再⽣可能エネルギー、カーボンニュートラル技術の積極的な導⼊が必須• 電⼒効率・冷却効率の改善や省電⼒運⽤によるエネルギー削減、ユーザの啓蒙による実効効率の向上も重要• データ利活⽤を柱に、研究データ基盤とデータプラットフォームや各種ストレー
ジシステムの柔軟な連携＋ワークフロー è 社会課題解決につなげる• 多様なシステムに対するユーザビリティの⼀貫性• 複数機関の連携による可⽤性・耐故障性の維持

フラッグシップだけでなく第⼆階層システム群も含めたHPCI全体の協調
運⽤技術に対する不断の研究開発、⼈材育成
2022/12/6

PCCC22 「HPCシステム技術の最前線」

11