HIGHENERGYACCELER ATORRESEARCH

ORGANIZATIONCOMPUTINGRESEARCH
CENTER

大学共同利用機関法人

高エネルギー加速器研究機構

計算科学センター

Computing Research Center

計算科学センター

KEKネットワーク
KEK Network

Central Computer System

3▲
▲
▲

P

グリッドシステム
Grid System

7▲
▲
▲

P

スーパーコンピュータシステム
Supercomputer System

9▲
▲
▲

P

1

High Energy Accelerator Research Organization Computing Research Center

13P▲
▲
▲

中央計算機システム

情報基盤サービス
IT Service▲
▲
▲

P

15

ハドロン実験施設
物質・生命科学実験施設（MLF）

メインリング
円周 1,568m

ニュートリノビーム

J-PARC
J-PARC▲▲▲

17P

3 GeV RCS

前置ニュートリノ検出器

円周 348m

リニアック330m

研究活動

Research Activities

19▲
▲
▲

P

High Energy Accelerator Research Organization Computing Research Center

2

Central Computer System

中央計算機システム
中央計算機システム (KEKCC) は、本機構の研究全般を支える計算機システムです。実験データの保存や解析などに利用するデータ解析システムに加え、電子メールシステム、Web システムなどの IT インフラを含んでいます。

ワーク・計算サーバ
データ解析システムでは、大量の実験データを蓄積し、データ解析が行われます。
大規模な計算サーバ群と高速大容量ストレージからなるシステムです。計算サーバ
は約 15,000 コアの CPU を有し、データの解析やバッチ処理が行われます。ストレー
ジシステムは、約 25.5PB の磁気ディスクシステムと最大容量 100PB のテープライブラリから構成されて、大量の実験データの処理を高速に行うことができます。

Lenovo ThinkSystem SD530/SR630 15,000 cores

3

High Energy Accelerator Research Organization Computing Research Centerシステムをつなぐネットワーク

対外接続

Cisco Nexus 9516 / Juniper SRX4100

システム内相互接続 Mellanox CS7500 4xEDR

磁気ディスクシステム

メールシステム・Webシステム

IBM Elastic Storage Server GL4C (25.5PB)

F5 BIG-IP Local Traffic Manager / WAF
Lenovo SR650 / SR630
IBM Storwise V5030E
IBM System Storage TS4300

テープライブラリ

IBM TS4500 Tape Library (100PB)

High Energy Accelerator Research Organization Computing Research Center

4

User groups of the Data Analysis System

中央計算機システムを利用する研究
Belle / Belle Ⅱ 実験
Belle 実験は、物質と反物質の間のわずかな反応の違いを B 中間子の崩壊の中から検出するための素粒子実験です。2008 年ノーベル物理学賞の受賞対象となった小林 - 益川理論の検証に貢献しました。後継となる
Belle II 実験ではこれまでの実験の 50 倍のデータが出ると見積もられています。

小林 誠

5High Energy Accelerator Research Organization Computing Research Center

益川 敏英

小林誠特別栄誉教授のノーベル賞メダル

グループ
T2K実験
T2K（Tokai to Kamioka) 実験は、東海村の J-PARC 加速器で生成した大強度のミューニュートリノを295km 離れた岐阜県神岡町の地下 1000m に位置するスーパーカミオカンデに打ち込み、J-PARC とスーパーカミオカンデそれぞれでの観測結果を比較することでニュートリノが飛行中に別の種類に変わるニュートリノ振動（混合）の研究を行う実験です。観測結果の詳細な分析から、ニュートリノの質量の起源や振動 ( 混合 )の全容解明を目的としています。

ILC計画©Rey.Hori

ILC（国際リニアコライダー）は、対面する２つの線形加速器がそれぞれ電子と陽電子を加速し、250GeV の衝突エネルギーで衝突実験を行う計画です。衝突により多くの粒子が生成され、ヒッグス粒子の性質の詳細な測定や、暗黒物質のような新しい粒子の探索が行われます。
国際的な推進チームにより、ILC 実現への取り組みが進められています。

High Energy Accelerator Research Organization Computing Research Center6

Grid System

グリッドシステム
加速器の大型化と測定器の高精度化が進み、近年、加速器実験が生み出すデータ量は爆発的に増加しています。こうした大規模なデータを世界中に点在する共同研究機関との間で高速に共有するための仕組みと、データが分散した環境に於いてなお、効率よく安全に計算機システムを利用・運用するためにグリッドシステムが KEKCC に導入されています。

グリッドミドルウェア
グリッドを構成するソフトウェアはミドルウェアと呼ばれます。KEKCC グリッドシステムを構成するミド
ルウェアは大きくわけて 2 つあります。

iRODS
1 つはデータ共有に特化した iRODS (integrated Rule-Oriented Data System) と呼ばれるソフトウェアで、J-PARC（KEK 東海キャンパス）で生成されたデータを KEKCC（KEK つくばキャンパス）に転送する際に、積極的に利用されています。

UMD
グリッドシステムを構成するもう 1 つのミドルウェアは、データ共有のみならず分散させた計算資源の透過的な利用を可能にする UMD (Unified Middleware Distribution) と呼ばれるソフトウェア群です。UMD はWLCG (Worldwide LHC Computing Grid) と呼ばれる世界最大の計算インフラにおいて広く利用されているミドルウェアで、LHC をはじめ、Belle II や ILC といった多くの加速器実験が、この計算インフラを活用してデータ解析をするように設計されています。

7

High Energy Accelerator Research Organization Computing Research Center

認証局
KEK や日本国内で行われているグリッドを利用した様々な研究 (KEK の Belle II 実験、CERN の ATLAS および ALICE 実験、ILC 計画、格子量子色力学など ) を支援するため、2006 年から認証局を運用しています。本
認証局は、IGTF (Interoperable Global Trust Federation) の一員として他国・地域の認証局と連携し、国際的な大規模グリッドでの認証基盤を担っています。本認証局では、ユーザーやホストに対し、SHA-2 署名アルゴリズムを使用した公開鍵証明書を発行しており、証明書や付随する鍵はグリッドでの認証や通信で使用されます。認証局のサーバーでは、CRL (Certificate Revocation List) の配布や OCSP (Online Certificate StatusProtocol) responder の運用を IPv4 と IPv6 のデュアルスタックで行っています。

WLCG – the world’s largest computing infrastructure – consists of 1 million CPU cores and 1 exabyte of storage capacity as of 2016.

High Energy Accelerator Research Organization Computing Research Center8Supercomputer System

スーパーコンピュータシステム
大規模数値シミュレーション用のシステムです。
現在のシステムは NEC SX-Aurora TSUBASA です。
KEK 素粒子原子核研究所が推進する「素粒子原子核宇宙シミュレーションプログラム」を通して、共同利用の申請を受け付けています。

NEC SX-Aurora TSUBASANEC SX-Aurora TSUBASA は、 数 値 演算高速に実行するベクトル・エンジンを備えた、ヘテロジニアスなシステムです。
ベクトルエンジンが持つベクトル演算機構と高いメモリアクセス性能は、大規模な数値シミュレーションを高速に実行できます。
システム：NEC SX-Aurora TSUBASA

A500-64 2 ラック
ベクトル・ ホスト数：16
ベクトル・ エンジン数：128
理論演算性能：313.6 TFlops（倍精度）
メモリ容量：6 TB*1 Flops (Floating point operation per second) は一秒間に実数の四則演算ができる単位。
G（ギガ）は10の9乗、T（テラ）は10の12乗、Ｐ（ペタ）は10の15乗を表す。

9High Energy Accelerator Research Organization Computing Research CenterScientific Research on the Supercomputer System

スーパーコンピュータシステムを利用した研究
格子量子色力学
核子（陽子や中性子）を構成するクォークとグルーオンの相互作用を、第一原理である量子色力学に基づいて計算しています。4 次元時空を格子で近似することにより計算機シミュレーションが可能になり、陽子や中性子、中間子などの質量や崩壊の様子、真空の持つ性質の解明などが可能になります。

Guido Cossu © 2011

解析的な計算だけでは捉えきれない素粒子や原子核の多彩な性質をシミュレーションで探ります。
◆ 素粒子反応過程の自動計算◆ 有限温度・密度での量子色力学◆ ゲージ理論の時空縮約モデル◆ 場の理論を理解する新しいアプローチ

超新星爆発のシミュレーション
重い星が重力崩壊により起こす超新星爆発は、いまだに爆発メカニズムが謎に包まれています。解明に不可欠なニュートリノの効果を取り入れた大規模シミュレーションで謎に迫ります。

High Energy Accelerator Research Organization Computing Research Center

10

HPC Servers for Joint/Collaborative Research

共同研究用HPCサーバ
KEK では次世代のアーキテクチャとその性能を発揮できるアプリケーションの開発を行っています。

Suiren2 and Suiren Blue
Suiren/SuirenBlue システムは、ExaScaler 社が開発した低消費電力高密度実装を可能にする技術によって、Pezy 社によるメニーコアプロセッサ Pezy-SC をコンパクトに備えたスーパーコンピュータです。Pezy/
ExaScaler 社との共同研究により高性能アプリケーションの開発を行っています。

Suiren (Water Lily) 2 : ZettaScaler-2.2 12 Bricks● 総理論演算性能 : 1,082 TFlops● 主記憶 : 26 TB (2-TB CPU + 24-TB Pezy-SC2)● 384 Pezy-SC2 プロセッサ
高性能な計算機は発熱も大きいため、効率よく冷やす方法が効率化と小型化の鍵となります。Suiren では、全体を特殊な冷媒に浸すことで効率的に冷却できます。空冷のファンや水冷の管が必要ないため省スペース化もできます。

Suiren Blue (Blue Water Lily) : ZettaScaler-1.5 16 Bricks● 総理論演算性能 : 428.3 TFlops● 主記憶 : 16 TB (8-TB CPU + 8-TB Pezy-SC)● 256 Pezy-SC プロセッサ

SuirenBlue は Suiren を更にコンパクト化した小型スーパーコンピュータです。Suiren と同等の性能でありながら、設置面積を 1/4 に低減し、さらに低い消費電力を実現しています。

Suiren Blue と Suiren2 はスパコン消費電力性能ランキング「TheGreen500List」で2015年7月と2017年11月にそれぞれ世界2位を獲得しました。

11 High Energy Accelerator Research Organization Computing Research Center

Data Grid for Computational Physics

計算物理のためのデータグリッド
Japan Lattice Data Grid (JLDG)
格子 QCD シミュレーションでは大量のデータが生成されます。各地のスパコンシステムを使って解析するためには、高速なデータ転送と一つのファイルシステムであるかのように扱えることが必要になります。

JLDG は産業技術総合研究所・筑波大学で開発されたグリッドファイルシステム Gfarm を利用し、国立情報学研究所が運営する高速ネットワーク SINET 上に構築された、計算素粒子物理学のためのデータグリッドです。

Status in May 2020:
13.0 PB total storage, 12.3 PB used (95 %)141M files

http://www.jldg.org/
gfarm provides:
a network shared ﬁle systemthat supports scalable I/O
performance in distributed
environment
Kanazawa

KEKpart of JLDG data can beaccessed from ILDG
CCS

fast parallel ﬁle copy

HPCI Shared Storage

Tsukuba
Hiroshimagfarm

Riken (Wako)

Kyoto

Tokyo (Kashiwa)

Osaka

Tokyo(Kashiwa) Riken-CCS

Backbone: SINET
L3-VPN (NII with KEK support)

High Energy Accelerator Research Organization Computing Research Center

12KEK Network

KEKネットワーク
KEK は SINET 茨城データセンタまでバックアップを含めて 120Gbps で接続しています。末端の帯域は 1Gbps ですが、広帯域が必要な機器はコアスイッチに 10Gbps で接続しています。
KEK には 210 あまりの建物がありますが、そのうち約 50 箇所に計算科学センターから直接ネットワーク用に光ファイバーが敷設されています。建物によっては各階毎にも敷設されています。
光ファイバーの終端には認証スイッチが配置されており、接続された機器は事前に登録した情報に基づいて適切なネットワークに自動的に接続されます。登録がない機器は KEK のネットワークは利用できません。
ネットワークは主に研究・業務グループ単位で構成されており、どの建物でもどのネットワークでも利用できます。
ほぼ全ての部屋に 4 口以上の情報コンセントがあり、取り出し口毎に別々のネットワークに接続できます。
無線 LAN の基地局は機構全体に 250 個ほどあり、計算科学センターで集中管理されています。1 つの基地局で用途の異なる 4 種類のネットワークをサービスしています。

光多重化装置

境界スイッチXGMC2016

コアスイッチBrocade MLXe4

外部ルータ
ファイアウォール

外部ルータ ARISTA 7280SR,ファイアウォール Paloalto 5250

Nexus9508

13 High Energy Accelerator Research Organization Computing Research Center素粒子実験の研究者は 1970 年代から国際的なネットワークを利用して欧米の研究所と共同研究を行ってきました。
インターネットの爆発的な普及と関連テクノロジーの進化により、具体的な機器やアプリケーションはすっかり変わりましたが、現在でも主立った利用目的は実験データ転送・TV 会議・電子メールなどです。実験データ転送は非常に高速化しているため、KEK では 10 Gbps の帯域を持つファイアウォールを冗長構成して安全性を担保しつつ、高速通信を阻害しないようにしています。

LHCONEInternet

CERN で行われている LHC 実験のデータはあまりにも膨大なため、世LHCONE

SINET

界各国の研究所に分散して処理をしています。これら研究所の大量デー
タ転送機器同士だけが接続されているネットワークとして LHCONE があります。KEK で行われる Belle II 実験
はデータを LHCONE を通して流すた
め、KEK も LHCONE に接続しています。

VPN

KEKCC
計算科学センターが運用するKEKCC システムは大量データ転送が必要であり、かつ利用者が機構職員に限定されないため通常の機構のネットワークとは独立したファイアウォールを持ち、高速データ転送を可能にしています。

VPN
30,00025,000化により、機構外から機構内ネットワークへ安20,000全にアクセスすることができます。VPN 接続数

15,000は年々増加し、現在は１ヶ月あたり２万件に近10,000づいています。

5,000

Mar-20

Sep-18

Sep-19Mar-19Sep-17Mar-18

Sep-16

Mar-17

Sep-15Mar-16

Sep-14Mar-15Mar-14

Sep-12

Sep-13Mar-13

Sep-11Mar-12

Sep-10Mar-11Mar-10

Sep-08

Sep-09Mar-09Sep-07Mar-08

Sep-06Mar-07

Sep-05Mar-06

Sep-04Mar-05

Sep-03Mar-04Mar-03

Sep-01

Sep-020Mar-01

Private Network) 接続サービスを提供しています。VPN を使うと、接続時の認証と通信の暗号

Mar-02

計算科学センターは、2001 年より VPN (VirtualHigh Energy Accelerator Research Organization Computing Research Center

14IT Service

情報基盤サービス
電子メール
本機構の電子メールシステムは、職員や共同利用者など 1,600 人以上の電子メールの送受信を担っています。また、研究活動や業務に関わる 900 以上のメーリングリストの運用も行っています。本システムでは、迷惑メール対策やコンピュータウイルス対策などでセキュリティを向上させながら一日あたりおよそ 10 万件の電子メールを処理しています。

2020年4月のメールの処理件数の推移
180000160000140000120000100000
80000
60000
40000
20000
0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

脆弱性管理ポータル DMZ User’s Portal
インターネットなど機構外部からのアクセスを受け付けるサーバは、高いセキュリティレベルの維持が求められています。KEK では、それらのサーバは DMZ ネットワークに接続されてインターネット
ネットワーク
スイッチ

SW

診断装置
診断装置

DMZいます。
計算科学センターでは脆弱性管理ポータル

DMZ User’s Portal を開発し、DMZ にサーバを置く管理者に脆弱性管理の環境を提供しています。
このポータルサイトは、脆弱性診断装置ほか各ファイアウォール

DMZ User’s
Portal 操作

システムと連動し、DMZ セキュリティに関する各サービスを提供しています。セキュリティ維
持のための定期的な脆弱性診断の結果確認のほサーバ

FW
診断

診断

診断

SW
診断装置

診断レポート
作成・提出

機構内ネットワーク

か、機構による一斉セキュリティ自己点検時には、各サーバ管理者がレポートの作成や提出を行うこともできます。

脆弱性（ぜいじゃくせい）とは、コンピュータの OS やソフトウェアにおいて、プログラムの不具合や設計上のミスが原因となって発生した情報セキュリティ上の欠陥のことを言います。脆弱性は、セキュリティホールとも呼ばれます。脆弱性が残された状態でコンピュータを利用していると、不正アクセスに利用されたり、ウイルスに感染したりする危険性があります。
（出典：https://www.soumu.go.jp/main_sosiki/ joho_tsusin/security/basic/risk/11.html）

15 High Energy Accelerator Research Organization Computing Research Centerウェブシステム
計算科学センターでは、KEK の公式ウェブサイト（www.kek.

jp, www2.kek.jp）の運用支援を行うとともに、KEK における研究活動を支援するウェブサイトを運用しています。研究活動及び研究成果の公開をする研究情報ウェブ（research.kek.jp）や、研究者間の情報交換の場を提供するウィキ（wiki.kek.jp）を運用しています。国内外の研究集会の開催や成果の公開を支援するコンファレンスウェブ（www-conf.kek.jp, conference-indico.

kek.jp）、及び、研究グループの会合を支援するシステム（kds.
kek.jp）を運用しています。

TV会議システムこれまで H.323 TV 会議クライアントを主体とした MCU の多地点会議サービスを 20 年以上サービ最大同時接続数
Maximum numberof simultaneous connections

スして来ましたが、2018 年 10 月から新しい TV会議システムの「Vidyo」サービスを開始しました。
クライアントソフトウェアの「VidyoConnect」
は、Windows、macOS、iOS、Android などのマルチプラットフォームをサポートしています。Linuxの場合、WebRTC を介して特定のソフトウェアを使用せずに Web ブラウザで TV 会議に参加できます。
サービス開始から約 17 ヶ月で登録ユーザー数は約 1,200 人に達しました。右の図は、多地点会議装置の同時接続数を示しており、2 台のマシンによって負荷分散されています。多地点会議装置の現在の契約では、110 接続が上限です。最大容量の 70～ 90％が月間で使用されています。

High Energy Accelerator Research Organization Computing Research Center

16J-PARC

J-PARC
大強度陽子加速器施設 J-PARC (Japan Proton Accelerator Research Complex: http://www.j-parc.
jp) は、主要な施設が東海キャンパスにあり、日本原子力研究開発機構（JAEA）と共同で運営しています。世界に開かれた多目的量子ビーム利用施設である J-PARC では、世界最高クラスの陽子 ビー
ムで生成する中性子、ミュオン、K 中間子、ニュートリノなどの多彩な 2 次粒子ビームを利用して、素粒子物理、原子核物理、物質科学、生命科学、原子力など幅広い分野の最先端の実験研究が行われています。J-PARC の基幹ネットワーク JLAN には、4,000 台以上の情報機器が接続されおり、LAN 環境および 10 Gbps のインターネット接続環境を提供しています。また加速器のある東海地区と実験データ解析が行われる中央計算機があるつくば地区を結んで J-PARC の研究活動を支えています。インターネット及び東海 - つくば間の接続は、国立情報学研究所の SINET5 (http://www.
sinet.ad.jp) を利用しています。

6000

350

EdgeSwitches
エッジスイッチ

250

WLANAccess
無線LAN
AP数 PointsNo.
of hosts
端末数

5000

No. of Hosts 端末数
connected to JLAN

SW and WLAN APスイッチ，無線LAN
AP数

300

4000

200

3000
150

100500J-PARCofLAN上のエッジスイッチ、無線AP、端末数
NumberHosts , edge SW and wireless AP on JLAN

17 High Energy Accelerator Research Organization Computing Research Center

2000

1000

0

ハドロン実験施設
物質・生命科学実験施設（MLF）

メインリング
円周 1,568m

ニュートリノビーム
3 GeV RCS

前置ニュートリノ検出器

円周 348m

リニアック
330m

High Energy Accelerator Research Organization Computing Research Center18

Research Activities

研究活動
GRACE
GRACE は、素粒子理論の散乱断面積の計算を自動的に計算するソフトウェア・システムです。このシステムは理論、実験、計算機 の専門家が共同で開発してきました。このシステムを使って、素粒子理論の精密な理論解析を行うばかりではなく、実験解析のための事象生成プログラムを作成して、高エネルギー物理学実験にも応用しています。積分をはじめとする数値計算技法、
ファインマン図を取り扱う数式処理手法、高速化のためのプログラム・並列化技法などのソフトウェア技術や高速多倍長計算専用システ
ムを駆使し、ILC( 国際 リニアコライダー ) 実験において必要とされる高速かつ精密な大規模計算に挑戦していきます。

Manyo-Lib - 中性子実験解析ソフトウエア
Manyo-Lib は、中性子実験のデータ解析ソフトウエ
アを作るための基盤ソフトウエアです。これを使うことで、簡単に素早く、そして、エラーを起こしにくい実験データの解析ソフトウエアを作ることができます。
このようなソフトウエアを準備し提供することは、大学共同利用機関としての役割でもあります。

Manyo-Lib は、C++ と Python 言語を組み合わせて作られており、中性子実験で共通に使う解析機能、ネットワーク分散処理、ユーザーインターフェース、などが用意されています。
図は、KEK の中性子実験施設の実際の実験装置の解析環境としての使用例です。このように Manyo-Lib は、J-PARC の物質生命科学研究施設で、世界最強のパルス中性子源を使った実験を支えています。

Manyo-Lib の名前は、万葉集からとりました。それは、中性子実験をする様々な分野の研究者 ( 結晶、金属、磁性体、高分子、生体物質 ) が協力し、誰でも親しむことが出来るソフトウエアであって欲しいとの願いからです。

Manyo-Lib の詳しい説明やソースコードは、Web から入手できます。
http://wiki.kek.jp/display/manyo/Manyo+Library+Home

19 High Energy Accelerator Research Organization Computing Research CenterGeant4
Geant4 は、高エネルギー実験等の測定器中での素粒子と物質との相互作用をシミュレーションするためのソフトウェアです。国際協力の下で開発維持が行われています。現在では、高エネルギー実験のみならず、放射線医療や宇宙分野などで幅広く利用されています。計算科学センターでは、学際分野への応用展開として、放射線治療への応用を放射線医療分野と共同して研究開発で行っています。

DAWN: 検出器や粒子の飛跡を高精度に描画するソフトウェア。図は ATLAS 実験の検出器

Opacity curve and color map editor

gMocren: CT スキャンした画像データとシミュレーションした結果を描画します。

MPEXS

グラフィックス・プロセッシング・ユニット (GPU) は、数千個以上の演算コアを持つコンピュータ・グラフィックスに特化した超並列演算デバイスです。近年、AI をはじめとする様々な科学計算のアクセラレータとして注目を浴びています。計算科学センターでは、GPU を利用した放射線シミュレータ「MPEXS」の研究開発に取り組んでいます。MPEXS は、医学・生物学分野をターゲット・アプリケーションとしています。GPU による高速演算の特性を活かして、放射線治療における治療計画の高度化や細胞の放射線影響の解明などの研究を行っています。Geant4 での放射線治療シミュレーションと比較して、400 倍以上の高速化を実現しています。将来的には、高エネルギー物理学実験などの検出器シミュレー

NVIDIA 社製の GPU A100ションへの適用も目指していきます。

High Energy Accelerator Research Organization Computing Research Center20https://www.kek.jp

大学共同利用機関法人
高エネルギー加速器研究機構

計算科学センター〒305-0801 茨城県つくば市大穂 1-1
TEL 029-864-5473（事務室）
FAX 029-864-4402