LHCアトラス実験におけるネットワーク利用
澤田 龍・田中 純一・齊藤 真彦・松井 長隆
東京大学 素粒子物理国際研究センター
2023年10月5日

LHC ATLAS実験
5• 素粒子物理研究• ヒッグス粒子の発見 (2012年)• 精密測定、稀な崩壊の探索• 標準模型研究: トップ粒子、電弱ボソン、フレーバー…
• 新粒子探索: 超対称性粒子、暗黒物質候補、重いヒッグス粒子…

R.Sawada

CMS$Status$Report$

1

L. Incandela
J.
Silvestris

INFN-BariUCSB/CERN

CMS
1周 ~27km のトンネル$
December$5,$2012$
112th$LHCC$$

December
October
30,5,20122012 CMSCMSReport,
Report, CErN
LHCC
RRB
Open
35 112

スイスとフランスをまたぐ実験施設(Large Hadron Collider)• 世界最高エネルギー (現在13.6 TeV)での陽子ビーム同士の衝突• ATLAS検出機は 直径25m, 長さ46m,7000トン (~エッフェル塔)• センサーの読み出しチャンネル数 ~ 1億
• 約40カ国から3000人の科学者が参加、日本からも約150人•加速器 ＋ 粒子測定器

地下100mLucia&Silvestris&INFN1Bari&On&behalf&of&the&CMS&Collaboration&LHCb

ALICE

ATLAS
CERN

© CERN

内部飛跡検出器

カロリーメータ

ミュー粒子検出器2

素粒子物理素粒子
ゲージ粒子

第一世代 第二世代

第三世代(力を伝える)

99e

He

ď'4
HeºȡȔȦ
ÌƱ9eºe
śe

ŏċHe

6アップ

チャームeZ

172 GeVſ-ǗǒȌǗ

ŏċHeº

光子

トップグルーオン

ċĈe
クォーク

Ď¾I³

ダウン

ストレンジ

ボトム*

91 GeVW±Ȩ-ǗǒȌǗ
80 GeVÌċHeŞeHeºƱcƔƜ
10-15 m10-10 m (100-9ƱȓȬȏHeƬËĽƠǇƬűŰ9Ʊű10-15 mレプトン

E09Ʊȓm電子

ミュータウ

ニュートリノ

ニュートリノ

ニュートリノ

スカラー粒子< 10-19 m

ȎcƔƜƲƮƎȏ

ヒッグス電子0.0005 GeV

ミュー0.1 GeV

タウ1.8 GeV

125 GeV*またはビューティー

• 電子の発見からはじまり、理論と実験の両輪で「標準理論」を作り上げてきた• 2012年のHiggs粒子の発見によってひとまず「完成」
R.Sawada3

ヒッグス粒子•

粒子に質量を与えるヒッグス場•

もしヒッグス場が0なら全ての粒子は質量0で光の速さになる•

2012年にLHC (ATLASとCMS実験)
で発見

宇宙のはじまりと未来を知るためのヒッグス研究•

なぜ宇宙は物質で満たされているのか？
••

なぜ反物質と対消滅せずに残っているのか

将来にわたって今のような時空間 (真空) は安定なのか？
→これらの問いに答えるために、さらなるヒッグス研究が必要

R.Sawada4

ヒッグス粒子•

粒子に質量を与えるヒッグス場•

もしヒッグス場が0なら全ての粒子は質量0で光の速さになる•

2012年にLHC (ATLASとCMS実験)
で発見

宇宙のはじまりと未来を知るためのヒッグス研究•

なぜ宇宙は物質で満たされているのか？
••

なぜ反物質と対消滅せずに残っているのか

将来にわたって今のような時空間 (真空) は安定なのか？
→これらの問いに答えるために、さらなるヒッグス研究が必要

R.Sawada4

ヒッグス粒子•

粒子に質量を与えるヒッグス場•

もしヒッグス場が0なら全ての粒子は質量0で光の速さになる•

2012年にLHC (ATLASとCMS実験)
で発見

宇宙のはじまりと未来を知るためのヒッグス研究•

なぜ宇宙は物質で満たされているのか？
••

なぜ反物質と対消滅せずに残っているのか

将来にわたって今のような時空間 (真空) は安定なのか？
→これらの問いに答えるために、さらなるヒッグス研究が必要

R.Sawada4

ヒッグス粒子•

粒子に質量を与えるヒッグス場•

もしヒッグス場が0なら全ての粒子は質量0で光の速さになる•

2012年にLHC (ATLASとCMS実験)
で発見

宇宙のはじまりと未来を知るためのヒッグス研究•

なぜ宇宙は物質で満たされているのか？
••

なぜ反物質と対消滅せずに残っているのか

将来にわたって今のような時空間 (真空) は安定なのか？
→これらの問いに答えるために、さらなるヒッグス研究が必要

R.Sawada4

ヒッグス粒子•

粒子に質量を与えるヒッグス場•

もしヒッグス場が0なら全ての粒子は質量0で光の速さになる•

2012年にLHC (ATLASとCMS実験)
で発見

宇宙のはじまりと未来を知るためのヒッグス研究•

なぜ宇宙は物質で満たされているのか？
••

なぜ反物質と対消滅せずに残っているのか

将来にわたって今のような時空間 (真空) は安定なのか？
→これらの問いに答えるために、さらなるヒッグス研究が必要

R.Sawada

4

ATLAS実験データの流れ

Data acquisition and the ATLAS Run2 harvest

Level 1 trigger (hardware basedselection)
From Datato Paper(s): data processing
chain
139 fb
●-1○○●

Ave. 1kHz,~300-400ms

Coarse selection based on input from calorimeter and muon systems
Rate and latency limit from detector and trigger hardware, 100 kHz at L1

High Level Trigger (software basedselection)
○
○

ビーム衝突

シミュレーション
検出器

Average processing time of 300-400ms set by size of HLT farmcomprising ~100k cores
Final output rate ~ 1kHz
physics_Main stream

シミュレーション
読み出し・トリガー

トリガー

シミュレーション

Ave. event size ~
1MB

事象再構成

1.9 billion events
collected by ATLAS

18 PB ofRaw data

事象再構成
3

S. González de la Hoz. Atlas Computing, 4th Red LHC workshop, 6th November 2020

データ下処理データ下処理データ解析* 数字は少し古いです。

R.Sawada

多くのプロセスはGridで行われる

Ale Di Girolamo CERN IT

Ale Di Girolamo さんのスライドから引用

55

LHC計画

ビーム交差あたり反応数

New challenge: HL-LHC
RUN-3

RUN-2

○○

RUN-1

2026: HL-LHC (High-Luminosity-LHC)
increased event rates (up to x10)
more complex events (up to μ=200, better detector)

HL-LHC

胴径方向

Current algorithms of [at least] quadratic complexity:O(N2), N=hits

ビーム方向

現在

https://lhc-commissioning.web.cern.ch/schedule/images/LHC-ultimate-lumi-projection.png

2040年ごろまでに、今までの~20倍のデータを貯める計画。
μ (mu): the average number of visible pp interactions per bunch crossing

5

一回の陽子束衝突で起こる陽子衝突数も数倍になる。

6

LHC実験と計算機• LHCでは O(100PB)/年 のデータが生成される••実験データ、シミュレーションデータ、中間ファイル、最終的に解析に使用されるファイル
一つのデータセンターでは扱えない量なので、世界各国で共同して管理•

WLCG という枠組みで連携• 実験期間やビーム強度の増強によって増えるデータ量に応じた計算資源(CPU)が必要になる。
•データは一度解析をしたら終わりではなく、解析テクニック (アルゴリズム) を改良しつつ、再解析する。

R.Sawada

7

WLCGグリッド

https://wlcg-public.web.cern.ch/tier-centres• 世界各所の計算機システム(サイト)を高速ネットワークで接続。

• 大量のデータを独立した大量のプロセスで処理する

High Throughput Computing (HTC) — 多くのサイトでは商用サーバーにLinux (e.g. CentOS) を搭載したもの。

• (ある程度の要求はあるものの) それぞれの計算機システ
ムで使っている計算機、ストレージ、ミドルウェアは様々。

• 最近では、HPCや商用クラウドも利用。
Tier-0: ATLASではCERN
データの保存、データを他のサイトに配布
実験データのプロセス、シミュレーション…
Tier-1: データの長期保存 (テープ)
実験データのリプロセス、シミュレーション…
Tier-2: シミュレーション、ユーザー解析…

R.Sawada8https://datapane.com/u/lclissa/reports/dkjK28A/big-data-2021/

R.Sawada

9

ATLAS実験の計算機資源

ATLAS Computing per type of resources* HS06は高エネルギー物理独自の指標。1CPUコア〜10 HS06

cloud resources
HPC resources

grid resources

❏❏
❏

Bytes

❏

When including ALL resources, on average 576k jobs running in
HPC onlyATLAS
DatarunningOverview ) overall efﬁciency ~ 90%
Gridサイト (大学や研究所のオンプレミス)•parallel ( spikes ~900kjobs
Worldwide
ATLAS
hasusedupto2.5
the computing pledge resources lastyearが安定して”プレッジ”以上のリソース提供。
800P
Impressive contribution from HPC resources, mainly (~75% of the full
HPC resources used by ATLAS ) from opportunistic access •to HPC
VEGA(米国、欧州)も強力(
600P
Maribor, Slovenia within the EuroHPC program )• Cloudは主にトリガー用計算機の利用
VEGA HPC
Possibility to exploit HPC resources needs to be investigatedcarefully !

•400P

ATLAS@home (ボランティア)

4200P• 常時~70万 CPU コアでジョブ実行 (ピーク020102012

2014

2016

Day201820202022

では100万以上)

Bytes

R.Sawada

10

ATLAS日本グループのコンピューティング• LHCアトラス実験用ICEPP地域解析センター計算機システム (本郷)• Tier-2 (Tokyo-LCG2): WLCGのグリッドサイトの機能①
centerO in ②
WLCG(Tier2) andprovide ATLAS-Japan dedicated resources (Tier3)• Tier-3:
ATLAS日本グループメンバー用
site in Japan for ATLAS VO

and replaced every three6th) system started
xt: Jan. 2025)

ARC/HTCondor):~15 PB

s: ~ 200 cores
HTCondor): ~ 1,800 cores
3 PB
R.Sawada
V100,
T4

11

地域解析センター計算機システム
2006年からサービス開始、3年ごとにシステム更新。主な機器はレンタル。第6期システム (2022-2024) が稼働中。

• 15000 CPU コア (DELL C6520 304台, それぞれXeon Gold 5320 × 2),• 22 PB ディスクストレージ (Infortrend DS3024 72台)

•40 Gbps で SINET6 に接続。100Gbpsにあげる計画。

•

WLCGが標準としているCentOS7を主に使用。EOLまでにAlma9に移行予定。

•

ICEPPスタッフ (~3 FTEs) + 常駐SE (2 FTEs)で運用•

ATLAS実験グループに参加している日本全国の大学で共同利用

R.Sawada12地域解析センター計算機システム: Tier-2 パート• CPU: ~11,000 cores, ディスク: 15 PB• ATLAS Tier2 全体の 7% の計算資源を提供 (23年3月現在)• 高いAvailability/Reliabilityで稼働
linkmonitor

13

国際ネットワーク: LHCONER.Sawada

https://twiki.cern.ch/twiki/bin/view/LHCONE/LhcOneMaps

14

国際ネットワーク: LHCONE

国内では、SINET、東大情報基盤センター、KEKと連携して運用

R.Sawada

https://twiki.cern.ch/twiki/bin/view/LHCONE/LhcOneMaps

15

対外接続
• 25GbE 接続のファイルサーバー 24 台が主要な対外接続ホスト•

現在の構成でも対外接続 100Gb を活用可能。現在100Gbへの接続テストを行なっている。

• 将来的には計算ノードが外部ファイルサーバーへアクセスするモデルも考えられる。 海外ではすでに、ディスクを持たないサイトとディスクを持つサイトのグループとしての運用 (データレイク) がなされている。
世界各国と通信R.Sawada16

地域解析センターのネットワーク利用• SINETを通して、海外と通信

RTT on IPv6

RTT > 100ms
主にwebdav, xrootdのTCPで送受信••• 米国、欧州、アジアと世界各地と通信• 相手先が一つではないので、特定の相手向けにチューニングができない。パケットロスが通信速度に大きく影響。

WLCGとSINETのperfsonarを活用

R.Sawada17

IP version
IPv6通信がメイン
SINET IPv6アドレスから東大のPIアドレスへ移行済み

R.Sawada18

HPC 利用

東京大学のHPCを利用してR&D•

Oakbridge-CX• Xeon Platinum 8280, 1,368ノード、6.61 PFLOPS•

Wisteria/BDEC01• A64FX, 7680ノード, 33.1 PFLOPS•

現状ではATLASソフトウェア未対応。将来的には利用可能に

kbridge-CX)

Internet
Oakbridge-CX

TOKYO site
CE (VM)

protocol:• https(Sep. 2021~)•gsiftp

SE/FSternal
connection is allowed
R.Sawada

job submission(ssh)Fujitsu TCS
Job manager

No external network
WN
Fat containeron Singularity

sshfs

WNから外につながらないため、専用の”大きな”コンテナーで対応。 19• Input/output files are transferred by ARC.

クラウド(Google)利用
データ保存はオンプレミス(東大ICEPP)を利用、一時的なキャッシュデータをGCPに作成してCPUを利用
The Tokyo regional analysis center

ATLAS
CentralCE
Panda

Worker node
ARC

Tasks
submitted through
WLCG system

HTCondor
SchedSE
Task
QueuesStorageOn-premises
Cloud
Storage
CE
HTCondorSched

Job Submission

pool_password

Task
QueuesWorker nodeComputeEngine

UpdateWN listCheckqueue status

Create/Delete(Start/Stop)

GCPM

Prepare before starting WNs

R.Sawada

SQUID(for CVMFS)
ComputeEngine

HTCondorからGCPを利用するパッケージを開発
Google Clound Condor Pool Manager→https://github.com/mickaneda/gcpm

20

ATLASのリソース展望
CERN-LHCC-2022-005 ; LHCC-G-182• 高輝度(HL)-LHC に向けてリソースが課題• 単価あたりの性能と技術開発による• Conservative: 今と同じ人員で可能• Aggressive: 追加人員が必要

R.Sawada21

アトラス実験: 今後の開発•

サイト同士を高速ネットワークで接続•

データを少数サイトに集約して管理コストの削減•レプリカ (複製) の削減•Gridだけではなく、HPCやクラウドリソースも利用。

•

後から再生成できるデータ (シミュレーション、実験データからの二次ファイルなど) の保存期間のコスト最適化

R.Sawada

S.Campana, CHEP 2016

22

まとめ
• LHC ATLAS実験は、世界の根源的な問いに答えるためのO(100PB/年)のデータを取得し、2040年代まで解析を行う。
•

実験を行う基盤技術は加速器、測定器、コンピューティング• 世界中のデータセンターを接続したGridを基礎として、HPCやクラウドも利用。
•

高速なネットワークが必要不可欠•

ビーム強度の増強にともない、必要なリソースも増大する•R.Sawada

ネットワークのさらなる高速化によって、より効率的にリソースを利用するコンピューティングモデルが実現できる。

23

バックアップストレージ: DATADISK (ATLAS中央から利用する領域)
link

DATADISK 7600 TB (2022)

mc21_13p6TeV

data16_13TeV
data17_13TeV
data18_13TeV

mc20_13TeV

mc16_13TeV

link

•

2023年にプレッジを8.2PBに。

•read ~ 200TB/day, write/delete ~ 150 TB/day。

• シミュレーションデータが8割、実験データが2割。

EVNT• ファイルの形式

HITS

AODDAOD• AOD, DAOD: 解析用のファイル• HITS: シミュレーションの出力ファイル• EVNT: 事象生成の出力ファイル

25