⼤型放射光施設のデータ処理を⽀えるシステムソフトウェア技術
PCクラスタワークショップ in ⼤阪2023「ビッグデータとHPC」
2023年6⽉21⽇-22⽇

理化学研究所 ⾼性能ビッグデータ研究チーム
佐藤 賢⽃

ビッグデータ⽣成と転送
l データ⽣成:CERNのLHC (Large Hadron Collider) では、2018年に約88PBのデータが⽣成 [1]l “Data archival is expected to be two-times higher during Run 3 and fivetimes higher or more during Run 4 (foreseen for 2026 to 2029). “lTera bytes

LHC Run1

LHC Long
Shutdown

LHC Run2

LHC Run 3

LHC Run 4x2x5

2026

2029

[1] Esra Ozcesmeci, “LHC: pushing computing to the limits”, https://home.cern/news/news/computing/lhc-pushing-computing-limits March 1st, 20192

ビッグデータ⽣成と転送 (Contʼd)l データ転送l

⽣成されたデータは解析のために施設内部および外部の計算機へ転送する必要がある
lle.g. ) LHCでは 830 PB / 11億ファイルが転送された [1]

外部機関へデータ共有する場合, WAN（インターネット）を介してデータを転送
Big datatransferSensors

Internal/External Computers

効率的なデータ転送やその管理はビッグデータ解析において重要[1] Esra Ozcesmeci, “LHC: pushing computing to the limits”, https://home.cern/news/news/computing/lhc-pushing-computing-limits March 1st, 20193

SPring-8 / SACLAl

理研では、⼤型放射光施設(SPring-8)やX線⾃由電⼦レーザー施設(SACLA)を所有
l Opened in 1997 in Harima, located in the same Hyogo prefecture as R-CCS
l Managed by RIKEN, with Japan synchrotron radiation research institute (JASRI)l SPring-8 stands for Super Photon ring-8 GeV
l8 GeV (giga electron volts) is the energy of electron beam circulation in the storage ring

SPring-8（FY1997～）

RIKEN SPring-8 Center (RSC)

HyogoTokyo4

SPring-8での典型的な実験・解析と課題
2) ⼤量⾼精細データ
解析律速の解消

先駆的研究

課題申請

実験

解析

実験

6⽉程度

解析
適切な解析条件・⽅法を探索

適切な実験条件を確認
今回の措置後新たな知⾒が得られる

解析律速の原因と対策
計算が遅い➡ 計算科学・リソースの確保

課題申請

実験・解析

実験中に実験条件を確認・粗解析まで実施

詳細解析
詳細解析を迅速に実施

課題申請

良い解析⽅法がない。新しい解析⽅法の探索➡ データのアクセス基盤の整備➡ 統計・情報科学（狭義のデータサイエンス）
T. Hatsui, RIKEN

7スライド提供︓初井宇記(RSC)、城地保昌(RSC)

5

新設

SPring-8データセンター構想: インフラ
富岳・東⼤等
HPCI計算リソース

データ圧縮
専⽤計算機
BL５本・・・・・・・・・

データアップロード端末

基幹
ネットワーク
100 G

NIMS

⼤学・国研等

マテリアルDX
プロジェクト*7.6 Mcore
SINET6100 G

SINET6
400 G

データセンター 5 kcore
国⽴情報学研究所

先端量⼦ビーム施設

GakuNin RDM
次世代放射光施設検討中** クラウド上に設置を予定

企業内
計算インフラ

商⽤クラウドHPCI共⽤ストレージ

検討中
T. Hatsui, RIKEN

9スライド提供︓初井宇記(RSC)、城地保昌(RSC)

6

新設

SPring-8データセンター構想: インフラ
圧縮

Max. 10 Tbps級データをその場で圧縮
NIMS
富岳・東⼤等⾼度圧縮[1-3]によりペタバイト級データを転送・保存可能にする
HPCI計算リソース

データ圧縮
専⽤計算機
BL５本・・・・・・・・・

データアップロード端末

基幹
ネットワーク
100 G

⼤学・国研等

マテリアルDX
プロジェクト*7.6 Mcore
SINET6
実験中および実験後解析
SINET6400 G
100 G１ユーザ7000 core程度の利⽤を想定

データセンター 5 kcore
先端量⼦ビーム施設

検討中** クラウド上に設置を予定

実験中の解析

国⽴情報学研究所

企業内

商⽤クラウド

１ユーザ500 core程度の利⽤を想定
計算インフラ
GakuNin RDM
⼤量データアクセスに最適な計算機（ノードあたりのI/Oは富岳の5倍）
XAFS-CTの場合、研究室で12時間かかる計算が, データ確認レベルであれば次世代放射光施設
10分程度で実⾏可能の⾒込み
HPCI共⽤ストレージ
データの⼀定期間の保管（10 PB）
検討中[1] Rupak Roy, et. Al., Proceedings of the 21 IEEE/ACM Int. Sym. on Cluster, Cloud and Internet Computing (CCGrid 2021), (2021).
[2]平⽊俊幸、初井宇記、特願2021-175897[3] T. Hiraki et.al., in preparation
T. Hatsui, RIKEN
10スライド提供︓初井宇記(RSC)、城地保昌(RSC)

7SPring-8 Data Flow Systemのユーザー画⾯（検討中の案）
Login

Download

SPring-8 Data Portal

SPring-8 Data Portal

User

SPring-8データセンターのID

Password
Log inOR
Login with XXX

UploadSPring-8 Data Portal

富岳IDでログイン
J-PARC, 次世代放射光IDでもログインできるように拡張予定

データの認証・認可
先端⼤型施設間で連携

Sequence ID

XXXXX

Date Created

XXXXXXX

2022-01-01

Size (MB)10

XXXXXXX

2022-01-01

11

XXXXXXX2022-01-01

15

XXXXXXX

2022-01-01

21

XXXXXXX

2022-01-01

Download

Access Controlへのリンク
データへのリンク(REST API)

データの表⽰( jupyter notebook)
18

10

Notebook

データをまとめてダウンロード

Access Control
SPring-8 Data Portal

Proposal ID

Sequence ID

XXXXXXXXYYYYYYYYYY

Sharing
Everyonemeasurement metadata

LimitedXXXXX.json

Usersample metadata

User-AManageShareXXXXX.json

User-B

ManageShareUser-CManageShareManageShare

Sequence Data
Drop your file(s) here, or browse file(s)CloseUploadOperations

Sharing Settings

メタ―データとデータをまとめてアップロード

XXXXX

Sequence ID

Rows per page

UploadProposal ID

メタデータを閲覧

xxx MB

2023/3/10 SPRUC 第5回 BLsアップグレード検討ワークショップ

AccessActionAdd

実験責任者はデータのアクセス権限を設定することができる。
詳細はユーザーコミュニティ・
放射光学会と協議
T. Hatsui, RIKEN

226

スライド提供︓初井宇記(RSC)、城地保昌(RSC)8

SPring-8におけるビッグデータ転送l

2025年の次世代検出器(CITIUS)の導⼊により年間1.3 Exaバイトのデータが⽣成されると⾒積
l 2017年時点︓SPring-8 共⽤ビームライン (26 BLs) において年間0.32 PBのデータ⽣成
l 既存の⼿法で100 – 400Petaバイトまで削減することが可能
lImage averaging/extraction, Reducing duty ratio の制限

PEPEPEPESensor

1.3 EB

Data buffer

Image averaging/extraction and throttling

Near-sensor
serversFacility

Intermediate
Storage

Internal/External
computers

センサーから内部/外部計算システムへビッグデータの⾼速転送のためにデータ圧縮技術の創出
9

Society5.0を⽀える⼤規模研究施設連携(Fugaku/SPring-8/SACLA)によるビッグデータ収集・解析・利活⽤基盤の研究開発 FY2021-FY2024［Overview］(1)データ前処理基盤
大型放射光施設「SPring-8」

データ変換/前処理サーバー(2)データ圧縮・転送基盤
SPring-8ビッグデータ（転送前/⼀時保存）

SPring-8ビッグデータ
（転送後）

データ圧縮

データ前後処理
レイヤ(圧縮解凍)

データ解凍

gfpcopyデータ転送(自動送信)

⾃動データ送受信レイヤ

gfpcopyデータ転送(自動受信)

SPring-8
一時保存ストレージ

HPCIストレージ(3)データ解析基盤
解析ワークフローツール
深層学習フレームワーク

スーパーコンピュータ「富岳」

R-CCS
ストレージ/HPCI

広域ファイルシステム(4)データ利活用基盤［Objective］• ⼤規模研究施設連携によるビッグデータの収集・解析・利活⽤基盤（ビッグデータ基盤）をコデザインにより構築• (1)データ前処理基盤︓FPGAを⽤いてハードウェアレベルでのデータ変換・前処理を⾏うことでセンサーから得られた実験データを効率よく⼀時ストレージへ保存する技術• (2)データ圧縮・転送基盤︓⼀時ストレージ上の実験データを富岳上へ⾼速に転送するためのデータ圧縮の開発と転送基盤の開発• (3)データ解析基盤︓富岳上へ集められたデータを効率よく解析するための基盤（ワークフローツールや深層学習フレームワーク）の構築• (4)データ利活⽤基盤︓収集された⼀次データや解析結果などを幅広く利活⽤させるためのデータ利活⽤基盤の構築を⾏う。(e.g., Single sign-on authentication, GakuNin RDM etc.)

Data transfer service in SACLA (SPring-8 Angstrom Compact
Free Electron Laser)
SACLA HPC:ll

Data Transfer Service to HPCI Shared Storage

We lauched data transfer service from SACLA to “HPCI
shared storage” in 2021l

“HPCI shared storage” is a geograpycally distributed storage shared byJapanese supercomputing centersl

It facilitates data analitycs in HPCI systems inclucidng Fugaku

We are planing to expand the service to SPring-8
synchortron radiation facility and enhance the usability(Common authentication scheme, GakuNin RDM etc.)
Source (May 14, 2021): http://xfel.riken.jp/users/bml09-1.html

Data Transfer Service to HPCI Shared Storage
Toward the creation of innovative achievement through SACLA

Image: HPCI(https://www.hpci-office.jp/info/pages/viewpage.action?pageId=111380786)

Source (May 14, 2021): https://www.riken.jp/pr/news/2021/20210514_1/

データ圧縮に関する調査研究・研究開発
l Commodity Technologyの調査研究

既存のデータ圧縮・転送技術の適⽤
l Advanced Technologyの研究開発
l TEZipの開発と⾼度化
lCommodity Technology

Advanced Technology

⾼データ圧縮の汎用性

低低データ圧縮率

⾼12Commodity Technology (CT) の調査研究︓可逆データ圧縮
l SACLAで実際に⽣成されたデータを⽤いて、効率的なデータ圧縮⽅法に関する調査

画像圧縮をデータ転送の改善に活かすため、可逆圧縮と⾮可逆圧縮の両⽅に関する複数の圧縮⽅式の利⽤を検討
l ⾮可逆による精度の低下の懸念より、まずは可逆圧縮を中⼼とした圧縮率や効率の調査l§ 既存圧縮機構の評価— 評価対象︓jpeg-xl, lrzip, jepg-2000,

webp, 7zip, xz, bzip2, png, zstd
— jpeg-xlが⼀番⾼い圧縮率• jpeg-xl: JPEGの次世代フォーマット。現⾏のJPEGよりも⾼い圧縮率を実現。ISO国際標準となる予定。

— 以下の懸念により、lzip, jpeg-2000, webpの採⽤も検討• 2022年10⽉31⽇時点で「Chrome」での採⽤を取りやめ[1]– jpeg-xl vs. WebP (by Google)— 他のデータセットに対しても引き続き調査を⾏う

データ提供︓松⽥元彦(R-CCS)[1] FSF: Chrome’s JPEG XL killing shows how the web works under browser hegemony, https://arstechnica.com/gadgets/2023/04/free-software-group-decries-google-dropping-space-saving-jpeg-xl-format/

Commodity Technology (CT) の調査研究︓データ転送
Reconstruction of X-ray CT datalSACLA/SPring-8の画像の特徴と現状のデータ転送⼿段l

現在、SACLAデータ転送サービスではGfarm*のgfpcopyを利⽤

llSegmentaionin X-ray CT data[1]gfpcopy: 指定されたフォルダ内のファイルを逐次転送

1ファイルあたり数MB~数10MBの画像データが100~1000個存在àSmall I/O（細粒度のI/O）が発⽣し帯域を⼗分に利⽤できない
新設

lGfarm*の新機能(gfptar)が追加、利⽤の検討
ll

機能︓アーカイブファイルをGfarm上に作成-I, --use-compress-program=COMMANDl

アーカイブを作成時または抽出時に、圧縮・伸張するための外部コマンドを指定。

l

任意のアーカイブ・圧縮機構を使⽤することが可能l

既存のデータ圧縮機構や⾼度化中のTEZipを組み込むことが可能

SPring-8データセンター構想: インフ

データ圧縮
専⽤計算機
BL５本・・・・・・
・・・

データアップロード端末

基幹
ネットワーク
100 G

マテリアルD
プロジェクト

7.6 McoreSINET6
100 G 2023夏から

SINET6400 G

データセンターBL5本分

国⽴情報学研究

先端量⼦ビーム施設

GakuNin RDM

à SINET5/6の帯域を有効活⽤しさらにデータ圧縮技術と統合することにより⾼速なデータ転送が実現されると期待

次世代放射光施設

検討中*

HPCI共⽤ストレージ

検討中* クラウド上に設置を予定* Gfarm︓HPCIストレージを管理するファイルシステム

NIMS

富岳・東⼤等

gfpcopy à gfptar へ移⾏検討
HPCI計算リソース

スライド︓初井宇記, “SPring-8データセンター構想の進捗報告”,
第3回データワークショップ、2022年4⽉18⽇[1] Lotter, W., Kreiman, G., Cox, D.: Deep predictive coding networks for video prediction and unsupervised learning. arXiv preprint arXiv:1605.08104 (2016)

Commodity Technology (CT) の調査研究︓認証
R-CCS(富岳)、RSC(SPring-8、SACLA)のサービスをシングルサインオン(SSO)で利⽤するためのセンターのID連携についても検討
l RSCと連携して認証基盤の共通化の検討
l Keycloakの導⼊を検討
l c.f.) 富岳ではKeycloakをOpen OnDemandで採⽤
lSPring-8 Data Flow Systemのユ

1B-1) 複数量⼦ビーム施設のデータをアクセス
Login

連携が必要な機能l–

データの認証・認可︓共通化することで⼀つのプログラムから複数施設のデータを簡単にアクセスできる。

Download

SPring-8 Data Portal

Seq

SPring-8データセンターのユーザーIDを管理

SPring-8 IdP

共通化が必要な機能

l–連携

富岳 IdP
2023夏から

連携

J-PARC IdP

連携

User

次世代放射光 IdP

Password

未定XXXXXX

Log in

将来的にNIIの認証基盤とも連携検討中の実装Amazon社のオブジェクトデータサービスS3と互換性のあるサービス
ユーザーから⾒た使い⽅
pythonライブラリ boto3によりSPring-8データセンター内のデータをアクセスできるようになる。

XXO
R
Login with XXX

データアクセス⽅法の共通化
例︓データアクセスの基幹部分のソフトウェアがHOST名を変えるだけでどの施設でも使える

T. Hatsui, RIKEN

XX

SPring-8データセンターのID

UploadSPring-8 Data Portal

富岳IDでログイン
J-PARC, 次世代放射光IDでもログインできるように拡張予定

データの認証・認可
先端⼤型施設間で連携

14

スライド︓初井宇記, “SPring-8データセンター構想の進捗報告”, 第3回データワークショップ、2022年4⽉18⽇

UploadProposal ID

XXXXX
Sequence ID

メタ―データとデータをまとめてアップロード

Download

Access Con

Advanced Technology(AT)の研究開発︓TEZipの開発・⾼度化
l TEZip︓PredNetと呼ばれるNNを⽤いることにより1つの画像から後続の画像を予測し、予測画像との差分を符号化・圧縮する、時間発展型のデータ圧縮ツール

Readthedoc ドキュメントJapaneseEnglishPrediction is one of keys for good compression
Sequence of same values (zero) arelikely to appear many times

Compression
1.1

1.5

1.8

2.1

1.0

1.4

2.3

2.7

1.3

1.8

2.5

3.1

1.9

2.1

2.6

3.3

diff
(−)

Original data

1.1

1.5

1.8

2.1

0

0

00

1.0

1.3

2.3

2.7

0

0.1

00

1.3

1.8

2.5

3.0

0

00

0.1

1.9

1.9

2.5

3.3

0

0.2

0.1

0

=

(LZ77 & Huffman encoding)

Delta

Predicted
data

Compressed data

Decompression
1.1

1.5

1.8

2.1

1.1

1.51.8

2.1

0000

1.0

1.4

2.3

2.7

1.0

1.3

2.3

2.7

0

0.1

00

1.3

1.8

2.5

3.1

1.3

1.8

2.5

3.0

000

0.1

1.9

2.1

2.6

3.3

1.9

1.9

2.5

3.3

0

02.

0.1

0

Original data

gzip

=

Predicted
data

diff(+)

gunzipDelta

17

We use deep neural network (PredNet) for prediction
lPredNet [1]l Deep recurrent convolutional neural networkl Given a frame of a picture, this NN can predict multiple future frameslSPring-8 data is time evolutionary data, so this type of prediction can beapplied

Predicted

t=1
Actual7Predicted

ScrambledPredi

t=2

t=3

X-ray CT images

PredNet neural networkhttps://coxlab.github.io/prednet/

t=4t=5t=6t=7t=8t=9t=10ct
ion[1] Lotter, W., Kreiman, G., Cox, D.: Deep predictive coding networks for video prediction andunsupervised learning. arXiv preprint arXiv:1605.08104 (2016)18

Compression: Predict future frames and encodel We train PredNet to learn how pixels move and how fastl

Giving a series of time evolutional frames to PredNetl When compressing frames from t=2 to t=5, we predict future frames

from original data (t=1)

l We compute diﬀ, apply series of encodingl We only store (1) base frame data and (2) compressed data
Inference + Data compression

Training

t=1

t=2

t=3

t=4

t=5

diff

diff

diff

diff

Compressed
data

Compressed
data

Compressed
data

Compressed
dataPredNet

Training data:
Time evolutionalframe data set

PredNetAdditional
encoding

19

まとめ
l ハード⾯︓SPring-8データセンター構想

データ圧縮計算機、データ解析計算機、データアップロード端末、SINET6
l ソフト⾯︓ビッグデータ収集・解析・利活⽤基盤の研究開発
l データ転送サービス、データ圧縮技術の調査研究・研究開発
lSPring-8 データセンター構想
新設

SPring-8データセンター構想: インフラ
富岳・東⼤等
HPCI計算リソース

データ圧縮
専⽤計算機
BL５本・・・・・・・・・

データ圧縮の研究開発(TEZip)

データアップロード端末

基幹
ネットワーク
100 G

NIMS

⼤学・国研等

マテリアルDX
プロジェクト*7.6 Mcore
SINET6100 G

SINET6400 G

データセンター 5 kcore
国⽴情報学研究所

先端量⼦ビーム施設

GakuNin RDM
次世代放射光施設検討中** クラウド上に設置を予定

企業内
計算インフラ

商⽤クラウドHPCI共⽤ストレージ

検討中
T. Hatsui, RIKEN

スライド提供︓初井宇記(RSC)、城地保昌(RSC)923

今後の計画
Commodity technology の調査研究
l 別のデータでの調査研究・性能評価やシステム導⼊の検討
l Advanced technologyの研究開発
l TEZipの⾼度化︓予測機構の改良
l X-ray CTデータ特化型のデータ圧縮の研究開発
l データ圧縮共通化のための連携 (led by ANL)l 共通API LibPressio/Z-checkerとTEZipの統合
l 共通データ基盤（SDRBench）でのデータ共有
lX-ray CT system in SPring-8 [1]Customized compressors based on SZ Framework
We created multiple effective compression pipelines for different applications/use-cases.
Interp-SZ (default setting in SZ3): Optimized for seismic imaging (oil and gas)IEEE ICDE2021
l > Predictor: Multi-dimensional spline interpolation based prediction
Pastri-SZ: Optimized for quantum chemistry.
IEEE CLUSTER2018 (best paper)l > Predictor: Scaled-pattern based prediction
MMD-SZ (MDZ): Optimized for material molecular dynamics.
IEEE ICDE2022
l > Predictor: Multi-peak distribution based prediction in space + time-based prediction
Roibin-SZ: Optimized for X-ray crystallography (instrument).
Under going> Pipeline: Pixel-binning + SZ2.1 + preserving region-of-interests
Quality-oriented SZ (QoZ): Error-bounding + tuning user-specified quality metric.
IEEE/ACM SC2022> Predictor: quality-oriented predictor
Constraint-supported SZ: Error-bounding + meeting dynamic constraints
IEEE TPDS 2022
> Pipeline: Preprocessing + traditional prediction + improved quantization binsIEEE TVCG 2022
Feature-preserving based SZ: Toward Feature-Preserving Vector Field Compression.
l > Pipeline: Multi-dimensional spline interpolation + adjusted quantization bins.

h"ps://sdrbench.github.io[1] Takashi Matsushima, Kentaro Uesugi, Tsukasa Nakano and Akira Tsuchiyama, “Visualization of Grain Motion inside a Triaxial Specimen by Micro X-ray CT at SPring-8”, January 2006

24

謝辞
llll

SPring-8データセンター構想
l RSC︓初井宇記、城地保昌, ⽮橋牧名, 中嶋享, 本村幸治, 平⽊俊幸, 杉本崇, ⼭⿅光裕, 中町将貴、渡邊⼀輝
l 連携企業の皆様
HPCI連携、データ圧縮、Workflowツール、認証l 理研計算科学研究センター(R-CCS, 富岳)︓松⽥元彦, 原⽥浩、⾦⼭秀智, ⼭本啓⼆, 佐藤賢⽃, 佐野健太郎,庄司⽂由, 松岡聡
研究データ管理l 理研情報統合本部(R-IH)︓實本英之, 冨⼠健太郎, ⼩林紀郎, 美濃導彦
l 国⽴情報学研究所(NII)︓込⼭悠介, ⼭地⼀禎, 喜連川優
l 物質・材料研究機構（NIMS)︓⾕藤幹⼦, 吉川 英樹, 松⽥ 朝彦
l 放射光学会︓横⼭利彦 会⻑
施設間連携
l J-PARCl KEK 物質・⽣命科学ディビジョン︓ ⼤友季哉、稲村泰弘、鈴⽊次郎
l CROSS中性⼦科学センター︓ 伊藤崇芳、岡崎伸⽣
l 次世代放射光施設
lll

QST︓ 中⾕ 健
PhoSIC︓ ⾼⽥昌樹,中村哲也
東北⼤学︓ ⻘⽊孝⽂、滝沢寛之

25