合

同

分 科 会

選 出

合同分科会 2012 年度会合 より

ペタバイトのデータの海に
ヒッグス粒子を追う− LHC アトラス実験の物理解析 −坂本 宏（東京大学）

サイエンティフィック・システム研究会

2012 年 10 月 25 日

合同分科会 2012 年度会合 資料

ペタバイトのデータの海にヒッグス粒子を追う―LHC アトラス実験の物理解析―
坂本 宏
東京大学 素粒子物理国際研究センター[アブストラクト]
ジュネーブ郊外にあるCERN研究所で稼働中のLHC(Large Hadron Collider:大型ハドロン衝突型加速器)はヒッグス粒子と思われる新粒子の発見などの成果を上げている。我々はアトラス実験に参加しデータ解析を行っている。LHC実験のデータ解析は世界各国の100を超える大学・研究機関を結んだコンピューティンググリッド、通称WLCG上で行われている。日本では東京大学に設置された地域解析センターが数千のCPUコア、数ペタバイ
トのディスク容量などの計算資源を提供し解析に貢献している。

[キーワード]衝突型加速器、素粒子物理学、ヒッグス粒子、グリッドコンピューティング、世界分散解析網

1. はじめに2012 年 7 月 4 日、ジュネーブ郊外にある CERN(欧州合同原子核研究機構)[1]で記者発表が行われ、126GeV(ギガエレクトロンボルト)付近の質量を持つ新しい粒子が発見されたことが報告された。この粒子は、
我々が長年探し続けてきたヒッグス粒子と考えうる。ヒッグス粒子は素粒子の標準模型と呼ばれる理論において唯一未発見の粒子であった。標準模型は、物質を構成する粒子であるクォーク（陽子や中性子の構成要素とその仲間）とレプトン(電子の仲間)、力の媒介をするボゾン、そして粒子に質量を与えるヒッグス機構がもたらすヒッグス粒子を予測、素粒子現象を非常に高い精度で記述できる。一方、この理論はいくつもの重要な事項を説明していない点で不完全でもある。ヒッグス粒子の性質の詳細な調査から、標準模型を超える理論への手がかりが得られると期待されている。
素粒子の性質を調べるためにはそれらを作り出すだけ十分なエネルギーを生成するための加速器が必要である。量子力学が示すように粒子は波動性を持つ。その波長は粒子のエネルギーに対応する。光学顕微
鏡では見えない(可視光の波長より小さい)ものを見るため、より波長の短い電子を用いた電子顕微鏡が作られたように、より小さい素粒子を観測するにはより高いエネルギーの加速器が必要である。エネルギーフロン
ティアと呼ばれているが、粒子の束を可能な限り高いエネルギーに加速し、相互に正面衝突させることにより非常に高いエネルギー状態を作り、そこで生成された粒子の性質を調べる。より高いエネルギー状態を作ると言うことは、宇宙の始まりであるビッグバン直後に作られたであろう高エネルギー状態に近づくという意味も持つ。現在到達しているエネルギーは、宇宙開闢後 1 ピコ秒(10 の‑12 乗秒)に相当する。エネルギーフロンティ
アは我々の宇宙がなぜこのような姿なのかを解き明かす道でもある。
一般に重い粒子はすぐに軽い粒子に崩壊すると考えられている。そのため、生成された重い粒子の性質を直接調べることは出来ず、その崩壊生成物から元の粒子をたどる。崩壊粒子を一つ残らず検出するため、衝突点の周囲をほぼ完全に検出器で覆い尽くす。崩壊粒子のエネルギーや運動量などを正確に測定するため、検出器には高い分解能が求められる。そのことはセンサーの寸法が小さくなる、センサーの数が膨大になることに相当する。同時に、粒子の高いエネルギーを正確に測定するためにはそれだけ分厚いセンサーの厚みも必要になる。このようにエネルギーフロンティアでは巨大な検出器が必要になる。
非常に発生確率の低い現象を調べるため、粒子束の衝突は極めて高い繰り返し周期で起こる。このことはセンサーからのデータを非常に短い時間に読み出すことを要求する。そのためには専用の電子回路系が必要であり、検出器は膨大な数の ASIC(特定用途向け大規模集積回路)と光ファイバーに覆われていると言ってよい。その結果、読み出されたデータを処理するのに必要となる計算資源は空前の規模になる。このようにエ
ネルギーフロンティア実験は最先端技術の集約によって初めて実現すると言ってよい。この一つの例として
LHC 加速器アトラス実験を取り上げて見ていこう。

2. LHC 加速器とアトラス実験〜データ解析への要請
LHC[2](Large Hadron Collider: 大型ハドロン衝突型加速器)はジュネーブ郊外、スイスとフランスの国境をまたぐ CERN に建設された陽子・陽子衝突型加速器である。地下約 100m に掘られたリング状トンネルは周長が約 27km ある。その中に 1,600 を超える超伝導電磁石が並べられ、高周波加速空洞により陽子を7TeV(テラエレクトロンボルト、10 の 12 乗電子ボルト)まで加速する。約 1 千億個の陽子の塊(バンチ)を右回り、左回りそれぞれの加速管に入射加速し、リング上の 4 カ所で衝突させる。バンチは 25 ナノ秒毎に交差する。
アトラス[3]はその衝突点の一つに置かれた巨大な検出器である。
アトラス検出器は数多くの種類のセンサーと 2 種類の電磁石から構成されている。電磁石は放出された荷電粒子の運動量を測定するためのもので、中心部をソレノイド電磁石、さらにその外側をトロイド電磁石が覆っている。センサー部は大別して、中心部で荷電粒子の飛跡を検出する内部検出器、その外側で粒子のエネルギーを測定するカロリメータ、さらにその外側まで貫通するミュー粒子を測定するためのミューオンスペク
トロメータからなる。内部検出器は高い位置分解能を持つ、薄いセンサーからなる。半導体検出器が主に使われている。カロリメータは、内側が鉛と液体アルゴンを媒体とした電離検出器で、電子やガンマ線が起こす
電磁シャワーを検出する。その外側に燐光を発するシンチレータと鉄のサンドイッチからなり、原子核反応によるシャワーを検出する。これらにより、粒子の全エネルギーを測定する。ミューオンスペクトロメータはさらにその外側に配置され、カロリメータをすり抜けてくるミュー粒子を測定するガスを用いたセンサーからなる。アトラス検出器全体の大きさは高さと幅約 24m、長さ 44m に及び、重量は 7,500 トンと見積もられている。
アトラス検出器のセンサーから読み出される信号チャンネル数は 1 億近い。そこからビーム交差毎、つまり25 ナノ秒毎にデータは読み出される。あまりに膨大なデータが読み出されるため、そのまますべてを記録す
ることは出来ない。そこで 40MHz(周期 25 ナノ秒)でサンプルされたデータのうち、物理的に興味深いものを選んで記録することになる。このトリガーと呼ばれるプロセスは 3 段階で実現する。まずハードウエア論理回路
により 40MHz のデータから興味深そうな 75kHz 分のデータを抽出する。続いて二段階に分けて PC ファーム
でデータを解析し、最終的には 400Hz 程度まで絞る。１事象のデータサイズは圧縮後で約 1MB あり、
400MB/s の速度でデータが送出される。1 年間に蓄積される生データ量はこの結果、約 1/3 稼働する(年間1 千万秒)として 4PB(ペタバイト、10 の１５乗バイト)に及ぶ。
この生データはセンサーからのディジタルデータであり、そのままでは物理解析には適しない。センサーのチャンネル識別番号やディジタルデータパターンからなる生データを解読して物理的に意味のある情報に変換していく必要がある。まず、位置検出器では信号データを空間座標に変換する。多数の空間座標デー
タに対してパターン認識を行い、荷電粒子の飛跡を再構成する。再構成された飛跡と、該当する空間の磁場情報から粒子の運動量などを決定する。カロリメータの場合、信号データを位置情報とその点でのエネルギ
ー投下量に変換する。空間的に近接したエネルギー投下量を集約してエネルギーの塊(クラスター)を再構成する。再構成された飛跡やクラスターを総合して、その粒子がクォーク由来のもの(ハドロンと呼ばれる)かレ
プトンかなど種類の識別を行う。この段階で初めて、素粒子反応の事象情報として物理解析に用いやすい形

になる。取得された生データから粒子情報を取り出すプロセスを再構成プロセスと呼ぶ。
素粒子反応によって作られた重い粒子は複数の軽い粒子に崩壊する。得られた粒子情報から崩壊元の重い粒子を予測するのだが、これは一意的に決まるものではない。元の親粒子としていろいろな可能性が考えられる。素粒子反応は確率的な過程であり、それ故、親粒子の可能性を統計的に予測するしか方法がない。新粒子の存在を探索するためには、その粒子を含め、様々な粒子をモンテカルロシミュレーションによって生成し、それらがアトラス検出器でどのように検出されるか、計算機上で模擬実験を行う。その模擬実験のデータと実際に取得されたデータを比較することにより、新粒子の存在など様々な仮説の検証を行うことが出来る。この模擬実験は、検出器を構成する多数のセンサーや構造体などの中で粒子がどのように反応するかを一つ一つシミュレートしていく。そのために膨大な計算時間が必要となる。
データ解析への要請としては、次のようにまとめられる。


実験後大きく遅れることなく、生データを再構成し物理解析データを作る

実験データとほぼ同程度の事象数の模擬実験データを生成する



模擬実験データも生データと同様に再構成し物理解析データを作る

生、模擬実験とも各段階のデータファイルを安全に保管管理する

各段階のファイルを効率的に読み出し、物理解析プログラムを走らせる

数量的には、生データが年間 4PB 程度生成されるが、模擬実験データも同様な量に及ぶ。また、再構成プロセスによって生成される物理解析用データや解析結果もファイルとして保管される。効率的に解析を行う
ためには同じデータの複数個のコピー(レプリカ)を用意する。それにより、万一の時のデータ損失も避けられる。その結果、取り扱われるべきデータサイズは 100PB に及び、ファイルの数も 1 億個に及ぶ。
再構成プロセスは、1 事象処理するために標準的な PC で 40 秒程度かかる。毎秒 400 事象収集されるデータを遅れず再構成するためには 16,000 個の CPU コアが必要になる。また、1 事象の模擬実験には 1,000
秒以上かかる。生データと同程度の事象を生成するには、160,000 個の CPU コアが必要になる。このようにかつてない規模の計算資源が必要となる。これはもはや単一の研究機関で維持できる資源量ではない。

3. 世界 LHC 解析網〜世界最初の実用配備コンピューティンググリッド
見てきたように、LHC での実験データ解析には膨大な計算資源が必要であり、それを実現するためには国際的な解析網を構築する必要がある。CERN では MONARC [4]と名付けられたプロジェクトが 1998 年に立ち上げられ、LHC 実験データ解析基盤の基本設計が与えられた。それによれば、高速国際ネットワーク
接続を前提に、CERN を Tier(ティア：階層)0 とし、最初の再構成を行い、データを送出する。世界に 10 程度の Tier1 センターを設置し、生データの保存と再度の再構成を行う。各国に 1 つ以上の Tier2 センターを設置し、物理解析を行うとともに、模擬実験データ生成を行う。各研究機関には Tier3 施設が置かれ、ユーザ解析が行われる。このモデルに基づき、各実験グループはそれぞれのコンピューティングモデルを確定した。
次にそのモデルを実現するための技術として何が使えるか。100 を超える世界中の研究機関を国際ネット
ワークで接続し、データをよどみなく流し、効率よくプログラムを走らせる必要がある。そのためのインフラとして注目されたのが当時まだ実証試験段階であったコンピューティンググリッド[5]である。これは地理的に分散した多数の計算資源をネットワーク接続し、その上で実行されるミドルウエアにより統一的に資源管理し、
あたかも単一の計算システムのように利用者に提供するものである。利用者はグリッドミドルウエアと対話することにより、データや CPU がどこにあるかを気にすることなく最大限資源を利用出来る。グリッドの用語は、自宅のコンセントから電気を使うとき、それがどこの発電所で発電され、どこを通って供給されたか(パワーグ
リッド)など全く気にしないことと同じように計算資源を必要に応じて使える環境を目指して与えられた。
LHC の実験グループは共同でグリッドミドルウエアの開発と配備のためのプロジェクトを開始した。これが

WLCG(Worldwide LHC Computing Grid)[6]である。WLCG プロジェクトは 2001 年に開始された。ミドルウエ
ア開発は実際には単一のフレーバーを用いるのではなく、参加国の状況などを反映し、欧州を中心としたEGEE[7]の gLite[8]、北欧中心の Nordugrid[9]の ARC[10]、米国中心の OSG[11]というように複数のミドルウ
エアが相互乗り入れをしながら採用された。EGEE は、現在は EGI[12]に、gLite は EMI[13]に引き継がれている。
グリッドミドルウエアは主に次のような機能を実装している。まずデータに関して、レプリカカタログなどデータ管理を行う。また、効率的にファイルを転送するデータ転送サービス機能を持つ。これらを実装するた
めに、サイトの記録資源をアクセスするためのインターフェースが必要である。テープ装置をバックエンドに持つ階層化記録も採用されている。計算資源に関しては、ローカルバッチシステムとのインターフェースが用意されている。また、適切な計算資源の発見と負荷分散を担うワークロード管理機能を持つ。ジョブ実行
状況を管理・記録するログ・ブックキーピング機能も用意されている。サイトの資源量や構成などの情報をやりとりする情報管理システムが基盤にあり、サイトやデータ転送など様々な情報に関するモニター機能が用意されている。ユーザやホストの認証には X.509 認証機構が用いられ、仮想組織メンバーシップによりグリッド資源へのアクセスが制御されている。
グリッドミドルウエアの大規模な試験配備は 2004 年頃から始まり、様々なスケールテストを通してミドルウ
エアの改良が続けられてきた。2009 年からは LHC の運転が開始され検出器からのデータが流れ始めた。
現在では世界中の 400 を超える研究機関が EGI と OSG に組織されており、WLCG として 30 万を超える CPU
コア、180PB を超えるディスクが接続されている。CERN の Tier0 と各地の Tier1 の間、及び Tier1 同士の間は専用のネットワーク LHC‑OPN(LHC Optical Private Network)で接続され、１接続あたり 10Gbps の帯域が確保されている。Tier1‑Tier2 間は通常の学術ネットワーク(NREN: National Research and Education
Network)で接続されている。
アトラス実験は WLCG の最も多くの資源を活用している。世界の 36 カ国 100 を超える研究機関がアトラス
実験仮想組織に資源を提供しており、グリッド上のデータ総量で 115PB、ファイル数で 3.5 億に達する。また、再構成プロセスやモンテカルロシミュレーション、ユーザ解析など常時 15 万に及ぶジョブが実行されている。

4. 東京大学アトラス実験データ地域解析センター
アトラス実験は巨大な国際共同研究として進められている。世界 37 カ国の 170 研究機関から 3,000 人を超える研究者・大学院生が参加している。日本からも 16 研究機関、110 名が実験に従事している。参加国の研究グループはそれぞれの特長を生かして実験に貢献している。その中でデータ解析についてはそれぞれの所属研究者に応じて計算資源を提供することが求められている。日本の場合、東京大学がデータ解析のためのセンターとしての機能を担っている。
東京大学素粒子物理国際研究センターにはアトラス実験データ地域解析センター[14]が置かれている。
この地域解析センターは WLCG のためのものの他に、日本の研究者が占用できる計算資源も提供している。
2012 年段階では約 5,000CPU コア、約 5PB のディスクを有する。そのうち、2,500CPU コア、1.2PB のディス
クを WLCG に提供している。この部分の資源は gLite ミドルウエアにより、世界中のアトラス共同研究者が利用している。システムの稼働率は年間を通した平均で 98%を超えており、安定な運用が続いている。その結果世界中の研究者が好んで使うサイトになり、ユーザ解析ジョブの実行数では Tier1 を含めて世界で 8 位にランクされている。
このように東大の地域解析センターが非常によく利用されている背景には国際ネットワークの安定性がある。東京と欧州の間のネットワーク接続は情報学研究所の運用する SINET4[15]に全面的に依存している。
SINET4 は米国西海岸(Pacific Wave)まで 10Gbps、東海岸(Manhattan Landing)まで 10Gbps の帯域を持つ。

欧州にはさらに東海岸から欧州学術ネットワーク Geant[16]を経由して接続される。東京の地域解析センタ
ーは Tier2 として、運用上フランス・リヨンの IN2P3 計算センターと強く結びついている。リヨンへは Geant2 からフランス学術教育ネットワーク Renater を経由して接続されるが、東京大学より IN2P3 計算センターまで通して 10Gbps 以上の帯域が確保されている。
長距離で効率よくデータ転送を行うには特別の配慮が必要である。実際、東京からリヨンでは 300 ミリ秒近いラウンドトリップタイム(RTT)がかかっている。一定の転送の後に必ずハンドシェークが行われる TCP 転送では効率的な転送は期待できない。実際単一接続では数 100kB/秒の転送が限界である。そこで、ファイル転送を行う場合には数十本の TCP コネクションを同時に張り、平行して転送を行う。また、たくさんのサーバを双方に準備し、複数のファイル転送を同時に行う。こういった方法により、国際ネットワークが安定なときには欧州から 500MB/秒の持続的転送を実現している。このことから、地球の裏側にあっても、LHC 実験デー
タ解析網の一翼を十分に担えることが証明された。
実際には様々な問題がある。たとえば TCP 接続の場合、いったんパケットロスが発生すると転送効率は一気に落ちる。これは RTT が大きければ大きいほど顕著である。また、転送経路が非常に長いと言うことは、
その経路のどこかで錯綜が起こる確率が高くなると言うことである。錯綜は制御できるものではないが、ネット
ワークの混雑状況を常時監視し、より安定な経路を確保することが非常に重要になる。SINET をはじめ、ネッ
トワーク提供者との緊密な連携が望まれる。

5. 最初の三年の経験と教訓
LHC 加速器は 2010 年に本格運転を開始した。2010 年と 2011 年は加速エネルギー3.5TeV で、2012 年
は 4TeV で運転し、アトラスは 2010 年に 40pb‑1、2011 年に 4.7fb‑1 のデータを蓄積した。2012 年には 9 月段階ですでに 14fb‑1 を蓄積している。これらの数字は積分ルミノシティと呼ばれ、どのくらいの量の衝突をしたかを表している。
アトラス検出器は当初予測を上回る量のデータを記録し続けている。平均して 200Hz で事象データを収集するのが当初の設計であったが、実際にはビーム強度の高い衝突開始時には 1kHz、全体を平均しても400Hz でデータを記録している。このデータ増加分はデータ圧縮などの技法を用いてカバーしている。
1 つのビームバンチは数千億個の陽子で出来ている。加速器でビームが細く絞られているため、1 回のビームバンチの交差でたくさんの陽子陽子衝突がバンチ内のそこかしこで起こる。平均発生個数は 40 近くに及んでいる。このことは事象データに含まれる粒子の数が非常に大きくなることを意味する。その結果、事象データの再構成にかかる CPU タイムが長くなる。同じ状況をモンテカルロシミュレーションで再現しようとするとこちらもより多くの CPU タイムが必要になる。このように計算資源に対する要請も当初計画より厳しくなっている。
このような状況の中でもデータは順調に蓄積・解析されてきた。すでに述べたように、グリッド上に蓄積されたデータ総量は 100PB を超え、ファイルの数も数億に及んでいる。これはデータ管理機能としては空前の容量である。グリッド技術がそれを十分に実現していることは注目に値する。これらのファイルは同じ内容のものの複製(レプリカ)も含んでいる。より効率的にデータ解析を行うためには、計算資源(CPU)と記録資源（ディスク）を効果的に結びつける必要がある。短期間に解析を完了するために、ファイルのレプリカを分散配置し、ユーザはそのファイルの近くにある、空いている計算資源を活用して解析プログラムを走らせる。ア
クセスが集中するファイルはより多くのレプリカを作ることで負荷分散を図る。
複数のレプリカを用意する意味はそれだけではない。計算システムは時として障害が発生する。その内容
によってはファイルが消失する場合もある。そのような場合も、複数のレプリカが存在することにより、データ
そのものがなくなることはなく、システム復旧後直ちにコピーを作れる。危機管理の観点から大変好ましい。
検出器から取り出された生データは最も重要であり、CERN も含め、世界中に少なくとも 3 個のレプリカが確保されている。
もう一つ重要な側面がある。それは、研究者が世界に分散しており、その誰もが平等にデータ解析を行えるシステムになっていることである。世界中のどこにいても最新のデータに機動的にアクセスできることがこれによって保証される。ユーザは自分の端末から解析したいデータセット(ファイルの集合体)を指定すると、彼のジョブが指定されたデータセットを保持するいくつかのサイトのうち、最も CPU に余裕のある場所に送られる。日本のように実験現地から遠く離れたところにいる研究者も不利になることはない。国際共同研究として倫理的に重要な側面である。
アトラスに割り当てられたジョブスロット(CPU コアに相当)は 15 万ほどあり、年間を通して常時再構成やシミュレーション、解析などのジョブが走っている。このように WLCG 上でこれまでに蓄積されたデータを解析が行われた結果、ヒッグス粒子と考えても差し支えない新しい粒子が発見された。これは取得された数十億に及ぶ事象の中から、崩壊モード(新粒子が崩壊して既知の粒子のグループに変換する、その組み合わせ)に
よっては数個から数十個程度を選び出す作業になる。7 月 4 日の記者発表時には 6 月中旬まで収集されたデータの解析結果が報告された。わずか 2 週間の間に解析が成し遂げられたことになる。これはコンピュー
ティンググリッド技術無しには成し得ない。

6. まとめLHC 加速器は順調に運転を続け、アトラスと CMS という 2 つの汎用検出器(発生するあらゆる事象を検出することを目指す検出器)で、これまで長年探索が続けられてきたヒッグス粒子と思われる新粒子が発見された。これには最高エネルギーをもたらす加速器技術、最先端技術の粋を集めた検出器技術によっているのはもちろんであるが、世界中に分散した計算資源をネットワークでつなぎ、統一的に運用するコンピューティ
ンググリッド技術が重要な役割を果たしていることがわかる。
LHC 加速器は年末まで実験を継続し、昨年取得されたデータの 4〜5 倍を今年中に集積する見通しである。その後、2013 年と 2014 年は運転を停止し、加速器は設計エネルギーである７TeV で運用するための様々な補強作業を行う。また、検出器側も改良や補修をその間に行い、2015 年に実験を再開する。その後も加速器の強化や検出器の更新を行い、最終的には 2030 年まで、これまで得られたデータの 200 倍を蓄積する予定である。
ビームエネルギーやビーム強度が高まり、また、検出器更新により読み出しチャンネル数が増加していく
ことから計算資源に対する要請はいよいよ高くなってくる。それに応えるための研究開発も持続的に行われている。たとえばクラウドコンピューティングはすでに計算資源の一部として WLCG に組み込まれている。今後、学術用クラウドの配備が各国で予定されており、それらの有効利用も視野にある。国際ネットワークの安定かつ効率的利用は最重要課題であるが、品質保証や他プロジェクトとのフェアシェアを実現するためのネットワークモデルである LHCONE[18]の研究も進んでいる。計算資源の仮想化技術も重要である。WLCG のサービスの配備や、ユーザ解析プログラムの移植等も仮想化により大幅に簡素化される。マルチコア・メニ
ーコアの CPU 利用も重要な課題である。我々のアプリケーションは高い入出力帯域を要求するし、検出器の幾何学情報など莫大な仮想記憶を消費する。こういったプログラムをいかに効率的にマルチコア CPU にマップするかの研究も進んでいる。
ヒッグス粒子の発見は LHC 実験の課題の一つであったがすべてではない。これからヒッグス粒子の詳細な性質が明らかになるが、そこから、現在の我々の理解である標準模型理論の限界(高い精度で成り立っているが、いくつかの重要な疑問に答えていない不完全な理論)を超えるための手がかりが得られる。また、
LHC での新粒子探索は始まったばかりで、非常に軽い質量領域が調べられたに過ぎない。素粒子物理の新しい局面が今開かれたばかりである。これからの展開を楽しみにしていただきたい。IT 技術の進展が素粒
子物理の発展に果たす役割の大きさを感じつつ。

[参考文献][1] CERN European Organization for Nuclear Research, http://public.web.cern.ch/public/[2]

LHC Machine , L. Evans and P. Bryant (Editors), JINST 3 (2008) S08001.

[3]

The ATLAS Experiment at the CERN Large Hadron Collider , ATLAS Collaboration, JINST 3 (2008)
S08003.

[4]

The MONARC Project , http://monarc.web.cern.ch/MONARC/[5]The Grid: Blueprint for a New Computing Infrastructure , I. Foster and C. Kesselman (Editors), 1999,
Morgan Kaufmann Publishers. ISBN 1‑55860‑475‑8[6]Worldwide LHC Computing Grid , http://wlcg.web.cern.ch/[7]

EGEE: Enabling Grids for E‑sciencE , http://www.eu‑egee.org/[8]gLite ‑ Lightweight Middleware for Grid Computing , http://glite.cern.ch/[9]

NORDUGRID , http://www.nordugrid.org/[10] ARC: Advanced Resource Connector , http://www.nordugrid.org/arc/[11] The Open Science Grid , https://www.opensciencegrid.org/bin/view[12] European Grid Initiative , http://www.egi.eu/[13] European Middleware Initialtive , http://www.eu‑emi.eu/[14] 東京大学アトラス地域解析センター計算機システム, http://www.icepp.jp/[15] 学術情報ネットワーク[サイネット・フォー], http://www.sinet.ad.jp/[16] GEANT Project Home , http://www.geant.net/pages/home.aspx[17] GIP RENATER , http://www.renater.fr/?lang=en[18] LHCONE: LHC Open Network Environment , http://lhcone.net/

ペタバイトのデータの海に
ヒッグス粒子を追う―LHCアトラス実験の物理解析―
東京大学素粒子物理国際研究センター
坂本 宏

朝日新聞2012年7月5日朝刊

毎日新聞2012年7月5日朝刊

1

CERNセミナー「Latest update in
the search for the
Higgs boson」
2012年7月4日

2目次• 現在の素粒子像• LHC加速器とアトラス実験• データ解析への要請• 世界LHC計算グリッド• 東京大学地域解析センター• データ解析の現状

©CERN

4

3

現在の素粒子像• 素粒子の標準模型– 宇宙を構成する粒子 フェルミオン
– 力を伝える粒子 ベクトルボゾン– 質量の獲得 ヒッグス場• 力の統一– ４つの力– より高いエネルギーでは同じ振る舞い– ビッグバンに近づく
5

©CERN

6

ドブロイ波長

http://www.particlezoo.net/

加速電圧

ドブロイ波長100V

0.12nm(10-9m)

1kV(103V)

0.03nm1MV(106V)

0.84pm(10-12m)

1GV(109V)

1.2fm(10-15m)

1TV(1012V)

1.2am(10-18m)

7

8

9

10

出典:JEOL(日本電子株式会社)

LHC加速器とアトラス実験• CERN(欧州原子核合同研究機構)– スイス・ジュネーブ郊外– 日本・アメリカ・カナダなども協力• LHC加速器– 世界最高エネルギー陽子陽子衝突型加速器– 設計加速エネルギー7TeV(テラエレクトロンボルト)• 単3乾電池を並べると太陽までの1.5倍の距離• アトラス実験とCMS実験– 汎用測定器：全周を覆い、すべての粒子を検出– 未知の新粒子の探索、標準理論の精密検証
1112

LHC Accelerator Tunnel

13

©CERN

©CERN

14

Accelerator
Components• 1232 Main Dipole
Magnets• 386 Main Quadrupole
Magnets• A few thousands ofCorrection Magnets.

©CERN

15

16

17

18

粒子の持つ全エネルギーを測定するカロリメータ

19

20

ATLAS Japan Collaboration
16 Institutes,~110 Collaborators

37 countries
170 institutes
2200 researchers
21

Kyoto Univ.
Kyoto Univ. Edu.
Osaka Univ.
Kobe Univ.
Okayama Univ.
Hiroshima Inst. Tech.
Kyushu Univ.
Nagasaki Inst. Appl. Sci.

KEK
Univ. Tsukuba
Univ. Tokyo
Tokyo Metro. Univ.
Tokyo Inst. Tech.
Waseda Univ.
Shinshu Univ.
Nagoya 22
Univ.

ATLASデータ収集状況

データ解析への要請• 毎秒500MBの生データ– 9秒でDVD1枚分– 物理解析用データまで4段階の処理• 数十万台のPCの処理能力– 実データの再構成と解析(1事象100秒/PC)– モンテカルロシミュレーションとの比較(1事象1,000秒/PC)• 世界中の研究者がアクセス– 誰もが平等に解析できる〜効率よく参照– 複数のレプリカ〜安全な保管23

24

一回のバンチ交差で発生する陽子陽子衝突の数
ビーム強度の増加を反映している。

収集されたデータ量の変化
25

26

世界LHC計算グリッド• 世界中の研究機関・大学を接続– 150に及ぶ機関の計算資源– 学術・教育用ネットワークによる接続• 共通のミドルウエアの配備– コンピューティンググリッド技術– 世界で最初の学術用実用グリッド

27

28

29

30

なぜ今更グリッド？
• 世界中の研究機関で計算資源を共有– 各国は事情に応じて相応の計算資源を供出– 世界中の研究者が平等に資源にアクセス• 必要な機能– データは核心的：単一のデータ管理機構– 共通のソフトウエア：ヘテロな環境での実行– 効率的な運用：広域ネットワークへの要請– 安全なアクセス：認証基盤と仮想組織

2001.1~2004.3

2004.4~2010.1

2010.2~?

The Grid: Blueprint for a
New Computing Infrastructure
I. Foster and C. Kesselman (Eds),
Morgan Kaufmann, 1999.

31

グリッドの構成要素

32

WLCG (Worldwide LHC Computing Grid)• 分散ジョブ〜計算資源管理– ワークロード管理〜負荷分散– グリッドジョブ処理〜ジョブ記述・キュー• LHC4実験のコラボレーション組織– 参加国 参加研究機関• データ共有〜記憶資源管理• LHC実験データ解析用グリッドの配備– ファイル転送– レプリカ管理– OSG(米国)、Nordugrid(北欧)とgLite(他地域)• 情報システム• 相互運用可能– 資源情報の発信– サイトモニター– 各実験はそれぞれ上位階層を用意• 認証基盤– 仮想組織– アクセス制御
3334

EGI Resource Centres (April 2012)35

5/22/2012

Slide borrowed from Steven Newhouse36

Metrics

EGI Metrics (April 2012)

Installed Capacity

Resource Centres

Countries

OSG resources

Value (Yearly increase)

Logical CPUs

EGI-InSPIRE and EGI Council
members

270,800 (+30.7% )Including integrated RPs

399,300

HEP-SPEC 06

EGI-InSPIRE and EGI Council
members and integrated RPs

2.96 Million (+49.5% )Storage

Disk (PB)

139 PB (+31.4% )Tape (PB)

134.3 PB (+50%)

EGI-InSPIRE and EGI Council members

326

Including integrated RPs

352

Supporting MPI

90

EGI-InSPIRE and Council members

42• Resources accessible through the OSG arecontributed by the community– Their autonomy is retained.
– Resources can be distributed locally as a campus
infrastructure

Including integrated RPs

54

Performance

Monthly Availability/Reliability

94.50%/95.42%

Utilization

HEP-SPEC 06 Hours

10.5 Billion (+52.91% )Jobs

492.5 Million Jobs /year
1.35 Million Jobs/day (+46.42%)

5/22/2012

Slide borrowed from Steven Newhouse37• >100 sites• >70,000 cores
accessible• >30 researchcommunities
5/22/201238

Slide borrowed from Lothar Bauerdick

Data transfers…

世界中に配布された
アトラスデータの総量

Already back to “normal” levels for accelerator running

100PB(ペタバイト)
DVD2,000万枚に相当
数百兆回の衝突数十億事象のサンプル

Since last RRB

2012 Data

39

40

WLCG in 2011

Tier 2 accounting

1.5M jobs/day

Usage continues to grow- # jobs/day- CPU usage

109 HEPSPEC-hours/month(~150 k CPU continuous use)

41

Ian.Bird@cern.ch42

国際ネットワーク• 階層構造の実現(当初モデル)– Tier0-Tier1/Tier1-Tier1: LHC-OPN (Optical Private
Network)– Tier1-Tier2: NREN (National Research and Education
Network) Tier1:Tier2=1:n• ネットワークトポロジーの変化・発展– Tier1:Tier2=m:n– Tier2-Tier2– LHC-ONE (Open Network Environment)
43

44

LHCONE Detailed View (Bill Johnson)

LHCONE Overview (from Dante)

45

46

47

48

東京大学地域解析センター• 日本の研究者のための解析施設– 東京大学素粒子物理国際研究センターに設置• 世界LHC計算グリッドサイト– CERNとの覚え書きに基づいて運用– 著者数比に応じて計算資源を提供– 世界中の共同研究者が利用• CERNサテライトシステム– CERN現地に東京大学が設置– 現地滞在の日本の研究者専用

ASGC
Pacific
TOKYO

WAN 国際線
Atlantic

TRIUMF

10Gbps

NDGF

40Gbps

OSAKA

10GbpsLA
WIX

BNL
30GbpsNew 10Gbps
20Gbps• TOKYO-NYC: US-East (ESnet/Internet2), NORDUnet, SURF-NET• TOKYO-LAX: US-West (ESnet/Internet2), CA• TOKYO-OSAKA-WAS: GEANT

2011/9/16

Tomoaki Nakamura (ICEPP)

SARA
NIKEF

RAL
CCIN2P3
CERN
CANF
PIC
49

50

東京大学アトラス実験地域解析センター

1
2
3
4
5
6
7
8
9
10

BNL
CERN
SARA-NIKHEF
FZK
AGLT2
RAL
MWT2
TOKYO
INFN-T1NORDUGRID

15.2
6.1
4.7
4.7
4.6
4.5
3.8
3.8
3.5
3.3

アトラス解析ジョブ数
サイト別比率上位10
51

52

53

54

データ解析の現状• 2010年に衝突実験を開始– 2011年衝突エネルギー7TeV– 2012年前半、衝突エネルギー8TeV• 質量126GeV付近に新粒子発見– 光子やZ粒子などに崩壊– ヒッグス粒子と考えられる

©CERN

©CERN

55

57

59

©CERN

©CERN

56

58

60

61

62

63

64

65

66

今後の計画アップグレード• 2012年末まで8TeVでの衝突実験継続• クラウドコンピューティング– 新粒子の崩壊を様々なモードで探索– 新粒子の性質を精査〜ヒッグス粒子か？

– グリッドのCEとして取り込む• 仮想化技術• 2013年〜2014年加速器調整のため停止– ヘテロ環境での差違の吸収– 2015年から衝突エネルギー14TeVで実験– より高いビーム強度での実験– 新しい素粒子の世界に踏み込む• マルチコア– アプリケーションソフトウエアの再構築• ネットワークQoS– 専用帯域の確保・他プロジェクトとの共存
67

まとめ• 世界最高エネルギー加速器LHC– 高いエネルギーと衝突頻度を実現• アトラス実験– 1億チャンネルのセンサーで事象を完全に捕獲• WLCG世界解析網– 1億分の1の頻度の事象を選び出す• 加速器技術、検出器技術、IT技術の総合– すべてがそろって初めて実現
69

68

合

同

分 科 会

選 出

合同分科会 2012 年度会合 より

福島原発事故−情報発信とデータのアーカイブ−

早野 龍五（東京大学）