SPring-8データセンター
ー稼働状況と今後ー
初井宇記
理化学研究所

2024/4/12 SPring-8利⽤推進協議会

1

アウトライン
SPring-8データセンター

•⁃
⁃
⁃

課題認識
ニーズの類型化
インフラ概要

•

事例紹介

•

まとめ

2024/4/12 SPring-8利⽤推進協議会

T. Hatsui

2SPring-8データセンター

課題認識：出⼒データの⾶躍的増⼤CT測定: DIFRAS検出器

回折顕微鏡(ptychography)：CITIUS検出器

prototype½ system
102 Mpixel 10 Hz 12 bit→ 1.5 GB/s (12 Gbps)→ 445 TB/day @ 30%→ 0.134 M$/year [1]5 Mpixel 17.4 kHz 32 bit Bandwidth Challenge→ 351 GB/s (2.8 Tbps)
ネットワーク転送が困難→ 30.3 PB/day@100%→ 9.1 M$/year [1]Capacity Challenge

保存が困難[1] AWS S3 service, Osaka DC 0.3 M$/PB/year as of 29th Feb., 2024

2024/4/12 SPring-8利⽤推進協議会

T. Hatsui3Technology Trends in X-ray imaging detector
RSCNow
Integrating detector
Digitization Rate (Gbit/s/chip)x890 in 10 years
CITIUS for SPring-8

1000

state-of-art
Photon-counting detector
x2500 in 10 years

10Data Rate per CMOS chip
[Gbit/s/chip]

GlobalIntegrating detector

Eiger

100

1

Percival

0.1

MPCCD

0.01

Pilatus0.001

0.0001
1985

AGIPD
Jungfrau

1990

1995

2000

2005

2010

2015

2020

2025

Published Year
系列2

世界に先駆けて⾼速積分型検出器CITIUSの開発に成功
2024/4/12

SPring-8利⽤推進協議会

T. Hatsui, RIKEN

4

SPring-8データセンター

ニーズの類型化と課題、施設に求められる機能

10,000

1⽇あたりの試料数(1) 多数試料
データ再利⽤
データ流通基盤の提供（データ管理基盤等）
オープンデータ・データ共有プロジェクトへの接続
Now

100

Now〜SACLA
1
1 MB

2024/4/12

SPring-8利⽤推進協議会(2) ⼤量⾼精細データ（少数試料）
解析律速
データ解析リソースの拡充
解析フローの並列化等、最適化
データ圧縮

1 TB
1 PB
試料あたりのデータ量
T. Hatsui, RIKEN

5

SPring-8データセンター: ⽅針
⼤規模データ：ビームライン近傍でのデータ前処理 Edge Computing• SPring-8サイト内であっても⼤規模データは移動ができない• ビームライン近傍で圧縮・前処理、その後に転送

SPring-8サイト内データセンターの役割 Hybrid Data Infrastructure• NIIのデータ管理基盤、富岳やHPCIコンソーシアムのスーパーコンピューター、他のプロジェクトと連携• オンサイトのSPring-8データセンター• SPring-8サイト内に設置しなければならない機能（実験中のデータ可視化・データ格納・データ流通基盤）に絞る• クラウド上のアカデミック･商⽤サービスと積極的に連携• 今後は商⽤サービスとの連携も検討

量⼦ビーム施設間のデータ基盤の共通化

Standardization• 複数施設のデータを統⼀的に活⽤できる基盤につなげる（中期課題）• 最初のステップはSPring-8サイト内の認証基盤の整備、NIIの次期認証基盤に発展的に合流• 富岳・J-PARC・NanoTerasuと共通化へ

2024/4/12 SPring-8利⽤推進協議会

T. Hatsui, RIKEN
6

SPring-8データセンター: インフラ
富岳・東⼤等
HPCI計算リソース
データ圧縮
専⽤計算機
BL５本
・・・
・・・
・・・

データアップロード端末

基幹
ネットワーク
100 G

新設
⼤学・国研等

NIMS DxMT
RIKEN TRIP etc.
理研TRIP事業

7.6 Mcore
SINET6100 G

SINET6
400 G

データセンター 5 kcore
国⽴情報学研究所

先端量⼦ビーム施設

GakuNin RDM
NanoTerasu

検討中2024/4/12 SPring-8利⽤推進協議会

企業内
計算インフラ

商⽤クラウドHPCI共⽤ストレージ

検討中
T. Hatsui, RIKEN
7

SPring-8データセンター（オンサイト）

仕様概要
• 特徴
⁃ I/Oに最適化された構成⁃ 30 GB/s• 計算ノード⁃ 5k CPU cores (intel CPUs)⁃ Nvidia A100 x16• ストレージ⁃ 10 PB• ネットワーク⁃ 100 GでSINET6に接続
2024/4/12 SPring-8利⽤推進協議会

2023.9から共⽤開始
利⽤⽅法• ビームライン担当者が理研デー
タセンターへ接続を申請• ユーザは課題申請時に利⽤希望を提出

T. Hatsui, RIKEN 8

SPring-8データセンター

ニーズの類型化と課題、施設に求められる機能10,000

1⽇あたりの試料数(1) 多数試料
データ再利⽤
データ流通基盤の提供（データ管理基盤等）
オープンデータ・データ共有プロジェクトへの接続
Now

100

Now〜SACLA
1
1 MB

2024/4/12

SPring-8利⽤推進協議会

1 TB
1 PB
試料あたりのデータ量(2) ⼤量⾼精細データ（少数試料）
解析律速
データ解析リソースの拡充
解析フローの並列化等、最適化
データ圧縮

2023.9から提供開始
T. Hatsui, RIKEN

9

事例(1)
BL28B2⾃動X線CT/画像再構成まで提供（運⽤中）
データセンターへ⾃動転送

courtesy of上杉健太朗(JASRI)
画像再構成@データセンターü データセンターのプロトタイプ計算機で転送&解析システム開発・2022年度末から試験運⽤データセンターからダウンロード
ü 2023B期からデータセンターにて転送&解析システム運⽤開始(S3&Nextcloud)ü ⾃動解析サービスに向けた更なる⾼度化を⽬指しR&D中⇒ X線CT解析@BL20XU, BL20B2, BL47XU, XAFS-CT@BL36XU, BL37XUへ展開予定
2024/4/12 SPring-8利⽤推進協議会

10事例(2)⼆次元検出器を⽤いたエネルギー領域上のガンマ線準弾性散乱測定
データ圧縮・SPring-8 DCを⽤いた利⽤実験(運⽤中)2D X-ray detector CITIUS

齋藤真器名 (東北⼤) et.al., SACLA/SPring-8基盤開発プログラム
M.Saito et al., submitted

nuclear Bragg
monochromator

sampleX-ray
Nuclear
Monochromator

データ圧縮
専⽤計算機
BL５本

Energy Sweep

courtesy of Prof. M. Saito••••

2次元X線画像検出器CITIUSを導⼊
17.4 kframe/sでセンサは稼働
2次元回折データにナノ秒ダイナミクスの情報を付与
新しい準弾性散乱測定系が完成

施設からみた課題
5.1 PB/day
2024/4/12 SPring-8利⽤推進協議会

・・・・・・・・・

データアップロード端末

基幹ネットワーク100 G
データセンター（5 kcore)
T. Hatsui11

事例(2)
⼆次元検出器を⽤いたエネルギー領域上のガンマ線準弾性散乱測定
データ圧縮・SPring-8 DCを⽤いた利⽤実験(運⽤中)齋藤真器名 (東北⼤) et.al., SACLA/SPring-8基盤開発プログラム
M.Saito et al., submitted

840k/17.4 kfps

5.1 PB/day

データ圧縮専⽤計算機
840k/8.7 kfps

9 FPGA boards developed for CITIUS

SLC[1]Lower entropy data

310 MB/day[1] T.N. Hiraki et.al.,
SLC (Statistically lossless compression)
2024/4/12 SPring-8利⽤推進協議会

課題• 17.4 kfpsのデータ収集→ FPGAの伝送帯域を2倍に強化• 熟練した⽅以外も解析できる仕組みが必要→ 解析フローサービスの導⼊を検討中データセンター（5 kcore)
T. Hatsui12事例(3)
⼆次元検出器を⽤いたCTデータのセグメンテーション
データ圧縮・SPring-8 DCを⽤いた利⽤実験(運⽤中)
課題• 151 Mpixel検出器による⼤規模CTデータ• 屈折コントラストなどを考慮した領域分割• 解析に経験と計算量が必要

撮像アーティファクトを画像処理により軽減

東裕介、葛⻄卓磨、⻲島敬、⾼野秀和（理研）et.al.
増永淳史、岩花宗⼀郎、野村 圭⼀郎（東レ）
JST未来社会創造事業
Society5.0の実現をもたらす⾰新的接着技術の開発

古典的⼿法により炭素繊維と空隙の位置を同定(semantic segmentation)

細胞解析向けの深層学習モデルを転⽤し炭素繊維の⾛向を追跡学習なしで⾼速に配向などの統計解析が可能となった。
(instance segmentation)

SPring-8データセンターに実装し、試験利⽤を準備中
2024/4/12 SPring-8利⽤推進協議会

T. Hatsui

13

SPring-8データセンター

データ増⼤に関する類型化と課題、施設に求められる機能

Data Flow Service
2023.9から提供開始

10,000

1⽇あたりの試料数(1) 多数試料
データ再利⽤
データ流通基盤の提供（データ管理基盤等）
オープンデータ・共有データプロジェクトへの接続
Now

100

Now〜SACLA
1
1 MB

2024/4/12 SPring-8利⽤推進協議会(2) ⼤量⾼精細データ（少数試料）
解析律速
データ解析リソースの拡充
解析フローの並列化等、最適化
データ圧縮

1 TB
1 PB
試料あたりのデータ量
T. Hatsui, RIKEN

14

Data Flow Service (Standard)

メタデータ付与
データ共有

T. Hatsui2024/4/12 SPring-8利⽤推進協議会

15

事例(3)
courtesy of河⼝ 彰吾(JASRI)
⼆次元検出器を⽤いたエネルギー領域上のガンマ線準弾性散乱測定
⾼分解能粉末回折装置 @ BL13XU EH3/データの⾃動アップロード(準備中)ü BL⾼度化によりハイスループット計測 (200試料/⽇)を実現
ü 実験研究者が試料毎にアップロードするのが困難な試料数
ü 実験研究者と外部(@ゲストハウス、@SPring-8外)との間でのスムーズな実験データ共有が課題
ü ⾃動アップロードのためのAPIおよびサンプルプログラムを提供
ü SPring-8 Data Flow Serviceでの試験運⽤を準備中

⾃動粉末充填装置

連携

キャピラリ試料⇒ 各種ハイスループットBLへ展開予定
2024/4/12 SPring-8利⽤推進協議会

16

Webブラウザーからの利⽤Open OnDemand

データセンターはいわゆるスパコン
利⽤のしきいが⾼い⁃ ログイン⁃ ジョブ管理システムの利⽤

Webブラウザーから利⽤

2024/4/12

SPring-8利⽤推進協議会

T. Hatsui, RIKEN
17

Webブラウザーからの利⽤Open OnDemand

現在試験中試⽤にご協⼒いただける⽅はご連絡ください。

2024/4/12

SPring-8利⽤推進協議会

T. Hatsui, RIKEN
18

今後の取り組み(1)半導体構造評価：ptychography @ SPring-8-II
SPring-8の現状

海外事例Nature Electronics volume 2, pages464–470 (2019)
スイスの放射光施設で実施, Intelとの共同研究

東北⼤学⾼橋教授グループ他 ⾃動⾞関係の利⽤が主2022年12⽉ CITIUSを利⽤したテストチャートのデータ

⼊射X線 ：7 x 10^8 phs/s x1,000
検出器：〜max 1 Mcps/pixelx1,000
測定時間: 60 時間〜x1/3
画素分解能 〜 13 nm〜 1/4.5

⼊射X線: 7 x 10^11 phs/s
検出器：max 1,100 Mcps/pixel
測定時間: 24 時間
画素分解能 〜 2 nm

理研・阪⼤のX線光学技術、CITIUS検出器と組み合わせると、実⽤画素分解能2 nmが実現可能

2024/4/12 SPring-8利⽤推進協議会

30 PB/sample/dayのデータ処理
AIによる領域分割の実現

T. Hatsui, RIKEN
19今後の取り組み(2)データインフラの⾼度化に向けた技術開発
富岳・東⼤等HPCI計算リソース
データ圧縮
専⽤計算機
BL５本・・・・・・
・・・

データアップロード端末

基幹ネットワーク100 G

⼤学・国研等
NIMS DxMT
RIKEN TRIP etc.
理研TRIP事業

7.6 Mcore
SINET6100 G

SINET6400 G

データセンター 5 kcore
国⽴情報学研究所

先端量⼦ビーム施設

GakuNin RDM
NanoTerasu

検討中2024/4/12 SPring-8利⽤推進協議会

検討中

企業内
計算インフラ

商⽤クラウドHPCI共⽤ストレージ

現状：データの保存場所を意識する必要あり
必要な機能：データの保存場所に依存しない利⽤体験の実現
T. Hatsui, RIKEN
20
IOWN技術の活⽤を検討中(NTT)お願い
SPring-8データセンター
1）解析までのフローを構築していく段階
ユーザの皆様のご意⾒が極めて重要
新規サービスの⽴ち上げでは“Teacher User”が重要
2）ガバナンス
SPring-8データ・ネットワーク委員会
ご連絡先
初井、もしくはdncs@spring8.or.jpへ

2024/4/12 SPring-8利⽤推進協議会

T. Hatsui

21

まとめ
SPring-8データセンター•⁃⁃⁃

課題認識：⼤規模データへの対応
ニーズの類型化
インフラ概要：Edge computing, Hybrid Data Infrastructure, Standarization•

事例紹介

•

まとめ

2024/4/12 SPring-8利⽤推進協議会

T. Hatsui

22Acknowledgment
RIKEN and JASRI Team⁃ K. Ozaki, Y. Honjo, H. Nishino, K. Kobayashi, T. Hiraki, Y. Joti, T. Kudo, T.
Sugimoto, M. Yamaga, T. Kameshima, Y. Inagaki, K. Fujiwara, T. Nakagawa, Y.
Oyaki, M. Kimoto, M. Nakamachi, M. Yabashi, T. IshikawaRIKEN R-CCS⁃ S. Matsuoka, K. Sato, K. Sano, F, Shoji and their division members
R-IH⁃ N. Kobayashi, M. Nomoto, H. Jitsumoto
NII⁃ Y. Komiyama, T. Hirabara

Private Companies⁃ GLORY System Create Ltd, Ryobi Systems Co., Ltd., Meisei Electric Co. Ltd,Tokyo Electron Device Limited

2024/4/12 SPring-8利⽤推進協議会

T. Hatsui23