HPCI 計算資源ハンドブック©

登録施設利用促進機関/文部科学省委託事業
「ＨＰＣ
Ｉの運営」
代表機関
一般財団法人 高度情報科学技術研究機構©

2024.01

目次１ アーキテクチャから探す

ハイパフォーマンス・コンピューティング・インフラ（HPCI）
High-Performance Computing Infrastructure (HPCI)

北海道大学

東北大学

 



理化学研究所
情報統合本部

HOKUSAI BigWaterfall2 名古屋大学

不老Ⅰ

京都大学

  



 

筑波大学



産業技術総合研究所

東京大学 


 

理化学研究所富岳

­

東京工業大学  

最先端共同HPC基盤施設（JCAHPC）



不老Ⅱ 大阪大学 







       ­ ­HPCIとは文部科学省が整備した日本が誇る強力な共用計算環境基盤です。
「富岳」をはじめ、国立研究開発法人・国立大学に設置されている世界有数の先進的
スーパーコンピュータやストレージを高速ネットワークで結び、多様なユーザーニーズに応える革新的な共用計算環境を提供しています。

HPCI システム構成機関
理化学研究所 計算科学研究センター

名古屋大学 情報基盤センター

国立情報学研究所

京都大学 学術情報メディアセンター

北海道大学 情報基盤センター

大阪大学 サイバーメディアセンター

東北大学 サイバーサイエンスセンター

九州大学 情報基盤研究開発センター

筑波大学 計算科学研究センター

海洋研究開発機構 地球情報科学技術センター

最先端共同HPC基盤施設（JCAHPC）

統計数理研究所 統計科学技術センター

東京大学 情報基盤センター

産業技術総合研究所 情報・人間工学領域

東京工業大学 学術国際情報センター

理化学研究所 情報統合本部

九州大学

- -

統計数理研究所
海洋研究開発機構
地球情報科学技術センター



データ同化スーパーコンピュータシステム 

地球シミュレータ ­ 

 ­各機関の主要な計算機の情報を掲載しています。最新の詳細情報は下記からご確認ください。

https://www.hpci-office.jp/using_hpci/hardware_software_resourceアーキテクチャ ­ ­­ 

インテルがサーバあるいはワークステーション向けに製造販売しているx86-64命令セットを持つプロセッサ
AMDがZenマイクロアーキテクチャに基づいて設計・開発しているx86-64命令セットを持つプロセッサ









x86-64プロセッサのホストにNVIDIAのHPC向け
GPUをアクセラレータとして搭載
x86-64プロセッサのホストにNECのVector Engine
をアクセラレータとして搭載

Armv8.2-A + SVEに準拠した富士通のArmマイクロプロ
セッサ

1

目次２ ソフトウェアから探す
ソフトウェア名



分子動力学

量子化学

物性物理

2





理化学 北海道大学
研究所
   





東北大学
 
 


筑波大学
 




データは2024年1月時点のものです｡商用ソフトウェアについては機関によっては利用制限があります。

データは2024年1月時点のものです｡商用ソフトウェアについては機関によっては利用制限があります。

状況に応じて変更となる可能性があるため、最新の情報はヘルプデスクまでお問い合わせください。

状況に応じて変更となる可能性があるため、最新の情報はヘルプデスクまでお問い合わせください。



東京大学 東京 大学


東京
工業
大学


名古屋大学

不老
     ­     
      

不老 

 



京都
大学

大阪
大学

九州大学

 










  



理化学
海洋研究 産業技術 統計数理 研究所
開発機構 総合研究所 研究所 情報統合本部
地球シミュレータ 

データ同化
スーパー
コンピュータシステム

ソフトウェア名

HOKUSAI

BigWaterfall2







   

  




Φ
­
  
   


計算生物学

流体解析

構造・衝突解析電磁界解析

マルチフィジックス
粒子系
気象・気候



理化学 北海道大学
研究所
   

 






東北大学

筑波大学

 


 






東京大学 東京 大学


東京
工業
大学


名古屋大学

不老
     ­     
      

不老 

 



京都
大学

大阪
大学

九州大学

 










  理化学海洋研究 産業技術 統計数理 研究所
開発機構 総合研究所 研究所 情報統合本部
地球シミュレータ 

データ同化
スーパー
コンピュータシステム

HOKUSAIBigWaterfall2 
­


  (※1)
 ­­ 


 
­

 
 

  (※2)



 

 
※1…粒子法鋳造解析※2…磁界シミュレータ

3スーパーコンピュータ
「富岳」
について

理化学研究所 計算科学研究センター

庄司 文由（Fumiyoshi Shoji）

スーパーコンピュータ
「富岳」
（以下、
「富岳」
）
は、
2021年3月9日に正式な共用を開始しました。
「富岳」
はスマートフォン等でも広く採用されているArm
アーキテクチャに基づくCPUと、
高速なCPU間のインターコネクトから構成

Architecture

な特性を持つアプリケーションコードを効率よく実行できる汎用性を備えたシステムとなっています。
詳細なハードウェア構成を右図に示します。
「富岳」
は計算ノードおよび計
算兼IOノード（ストレージ、IO、ブート）から構成され、
これらノード群はTofuDと呼ばれるインターコネクトで接続されます。
16計算ノード毎に1計算兼スト
レージノード（約1.6TBのSSDが搭載）が装備されます。
これら計算兼スト
レージノード群によって第1階層ストレージが構成されます。
第1階層ストレー

倍精度浮動小数点演算性能: 2.7+ TF

Core

単精度浮動小数点演算性能: 5.4+ TF
半制度浮動小数点演算性能: 10.8+ TF
L1D/core: 64 KiB, 4way, 230+ GB/s（load）, 115+ GB/s（store）
L2/CMG: 8 MiB, 16way

Cache

L2/node: 3.6+ TB/s

MemoryInterconnect
I/O
Technology

L2/core: 115+ GB/s（load）, 57+ GB/s（store）
HBM2 32 GiB, 1024 GB/s
TofuD（28 Gbps x 2 lane x 10 port）
PCIe Gen3 x 16 lane
7nm FinFET

本体システムジは、第2階層ストレージのキャッシュとして、
また、計算ノード向けローカル

計算ノード
兼BIOノード

ファイルシステムおよびジョブ向け共有ファイルシステムとして使用されます。

計算ノード
兼SIOノード

第2階層ストレージはLustreベースの共有ファイルシステムで計6ボリュー

第1階層
ストレージ

第1階層
ストレージ

計算ノード
兼BIOノード

計算ノード

計算ノード
兼BIOノード

計算ノード

計算ノード
兼SIOノード

計算ノード

計算ノード
兼SIOノード

計算ノード
兼GIOノード

ム、
総容量で約150PBを提供します。
第3階層目として外部クラウドサービス利用のためのサーバを提供します。
「富岳」
は利便性向上のため、REST APIによるアクセスや、コンテナ実行
環境およびオーケストレーションツールの整備、オブジェクトストレージの整
備、
商用クラウドとの高速な接続等のクラウド機能の拡充も進めています。

詳細については、

をご覧ください。

SIMD）＋富士通拡張48 cores for compute and 2/4 for OS activities

されています。
アプリケーション開発者とシステム開発者が密に連携しつつ開発を進めるコデザインと呼ばれる開発方法により、さまざまな分野のいろいろ

Armv8.2-A SVE（512 bit

第1階層
ストレージ

計算ノード

計算ノード
兼BIOノード

計算ノード

計算ノード
兼SIOノード

計算ノード

フロントエンド部

計算ノード

ログイン兼ファイル転送ノード（Intel）
ログイン兼ファイル転送ノード（Arm）
大容量メモリ搭載ログインノード

第1階層
ストレージ

可視化用ノード
クラウドストレージゲートウェイ
Web API用ノード
Web API用コンテナノード
Web API用DBノード

第2階層ストレージ
理研ネットワークInternet

第3階層
商用Cloudサービス

ハードウェア構成図

4

©

5


学際大規模計算機システムについて

北海道大学 情報基盤センター

棟朝 雅晴（Masaharu Munetomo）

北海道大学情報基盤センターは、
スーパーコンピュータシステムとクラウドシステムから構成される「学際大規模計算機システム」
を更新し、
平成30年

せず、
申請するだけで広域分散システムをすぐに利用できるサービスを実現しました。

12月より新システムによるサービスを開始しました。
新システムは、
総合演算

さらに、
北見工業大学に遠隔バックアップサイトを設置し、重要なデータにつ性能を前システムの20倍以上に向上させたスーパーコンピュータシステムにいては定期的に遠隔サイトに設置したテープアーカイブ装置へバックアップをす

加え、全国規模の広域分散システムを実現するインタークラウドシステムからることで、災害時における研究データの安全性にも留意したシステムとなってい構成される、
先進的なシステム環境「北海道大学ハイパフォーマンスインター

ます。

クラウド」
を実現しています。
新スーパーコンピュータシステムは、総計で約4PFlopsの演算性能を有す
る2つの演算サーバ（グランシャリオ、
ポレール）と16PBのストレージシステム

システムの詳細につきましては、
以下の北海道大学情報基盤センター「学際大規
模計算機システム」
ホームページをご覧いただければ幸いです。


を高性能なネットワークで結合したシステムとなっています。演算サーバは、
x86アーキテクチャに基づく最新のマルチコア／メニーコアプロセッサを搭載し、OSとしてLinuxを採用することで、オープンソースソフトウェアを含む広範

パブリッククラウドなソフトウェアスタックの活用に適したシステムとしています。
また、
高性能なコンパイラ、
科学技術計算ライブラリを有し、最先端の計算科学やHPCI共同
研究を支えるプログラム開発基盤としての役割を果たしていきます。
新スパコンシステムは、消費電力の動的な制御機能を持つ独自設計のジョブスケ

100Gbps
Router

ジューラを有し、高い利便性と省エネルギー運転の両方を実現するシステムとして運用していきます。
インタークラウドシステムは、
仮想サーバに加え、
ベアメタル
（物理）
やGPU
を有するサーバを含めた高性能なクラウドサーバをOpenStackの管理下で提供することで、性能および利便性を確保したクラウドシステム環境を、利用者に提供します。
さらに、
北海道大学に加えて、東京大学、
大阪大学、
九州大
学に遠隔サイトを設置し、SINET6による超高速ネットワークで相互接続し、

laaS/
HaaS

FW/VPN

HINES（学内LAN）

管理・業務系 laaS/ laaS/
サーバ群
HaaS HaaS

laaS/
HaaS

遠隔サイト
（東大,阪大,九大,北見工大）（物理・仮想サーバ） （物理・仮想サーバ）

総演算性能
4PFlops超Interconnect

High-Speed Network
laaS/
HaaS

遠隔
バック
アップ

App

スーパー
コンピュータグラン・シャリオ

WebDAV（物理サーバ）

クラウド
ストレージ

スーパー
コンピュータ
ポレール

スパコン
ストレージ

インタークラウドパッケージとして提供することで、サイト間の調整を必要と
6

7

スーパーコンピュータAOBAについて

東北大学 サイバーサイエンスセンター

滝沢 寛之（Hiroyuki Takizawa）

東北大学サイバーサイエンスセンターは、
令和2年10月から運用している

また、
M7以上の地震によって津波の発生が予想される場合に、津波浸水被「スーパーコンピュータAOBA」
を令和5年8月に大幅増強しました。NEC

害地域の予測を行うシステムもAOBAで運用されます。
予測結果はすぐに内閣

SX-Aurora TSUBASA B401-8を中心とするサブシステムAOBA-Aと、府に伝達され、津波発生後の政府等の迅速・的確な意思決定に役立てられま

NEC LX 406Rz-2を中心とするサブシステムAOBA-Bに加えて、NECす。
このように、
平時において学術目的に利用されるだけではなく、緊急時には減SX-Aurora TSUBASA C401-8を中心とするAOBA-Sから構成されてい災のための社会基盤として機能することも本システムの重要な役割であり、顕著ます。
AOBA-AとAOBA-Sはベクトル型スーパーコンピュータで、演算性能とな特徴となっています。

メモリ性能のバランスが良いことが特長です。
特にメモリ律速となることが多い科学技術計算で実効性能を出しやすいことから、ユーザーが独自に開発したコードを実行することを主に想定しています。
また、AOBA-BはAMD

システムの詳細につきましては、
以下の東北大学サイバーサイエンスセンターのページをご覧ください。


EPYCプロセッサを採用したx86サーバで、オープンソースソフトウェアや商用アプリケーション等を実 行することを想 定しています。A O B A - AとAOBA-Bとのノード間は高速のInﬁniBand HDRネットワークを介して接続され、合計2PBのファイルシステムを共有しています。
一方、
AOBA-Sのノード間はInﬁniBand NDR200ネットワークを介して接続され、合計4.5PBのファイルシステムを共有しています。
東北大学サイバーサイエンスセンターでは平成9年から高速化推進の研究会を立ち上げ、ユーザーとベンダーと本センターが密に連携してプログラ
ム高速化に取り組んできました。
その結果、前システムであるSX-ACE向けの重要なアプリケーション資産が多く蓄積されています。AOBAではシステム構成が大きく変わりましたが、そのような資産の新システムへの移行を運用
開始直後から積極的に支援しています。
また、利用環境が標準的なLinuxになったことにより、新規ユーザーにとっては従来よりも容易にベクトルプロセッ
サの性能(特に高いメモリバンド幅)を科学技術計算に利用できますし、そのような新規プログラムの高速化を支援する体制も準備されています。
89

Pegasus/Cygnus の紹介

筑波大学 計算科学研究センター

朴 泰祐（Taisuke Boku）

筑波大学計算科学研究センターは、
ビッグメモリスーパーコンピュータ

より接続されています。
さらに32台のノードにはノード当たり2基のFPGA（IntelPegasusの運用を2023年4月より開始しました。
Pegasusはノードあたり

Stratix10）
を搭載し、100Gbit光リンクにより8×8の2次元トーラスで接続され1台のGPU（NVIDIA H100 PCIe GPU）を搭載した120ノードで構成され、ています。

全体の理論ピーク性能は6.5 PFlopsです。
DDR5メモリ、
不揮発性メモリを

筑波大学計算科学研究センターでは、全国の学際的計算科学の発展に資す

搭載し、大容量メモリまたは超高速ストレージとしての利用が可能です。

るべく、「 学際共同利用プログラム（https://www.ccs.tsukuba.ac.jp/

演算性能、
メモリ帯域幅、メモリサイズを大きく向上させ、計算科学のみなら

kyodoriyou/gakusai/）」を推進しています。
本プログラムにおいて無償で利用

ずビッグデータ解析、
超大規模AI分野を強力に推進します。

できる計算機資源としてCygnus/Pegasusを供することで、計算科学・計算機

また、大規模並列GPU・FPGAクラスタシステムであるCygnusの運用を

科学の発展に貢献しています。
システムの詳細については以下のURLをご覧くだ

行っています。
Cygnusはノード当たり4台のGPU（NVIDIA Tesla V100）をさい。

搭 載した 全 7 8ノードで 構 成され 、F P G A を除く理 論ピーク性 能 は

https://www.ccs.tsukuba.ac.jp/supercomputer/

2.34PFlopsです。計算ノード間はInﬁniBand HDR100の4ポート（400Gbps）
によるフルバイセクションバンド幅のFat Treeネットワークに

10

スーパーコンピュータCygnus(PACS-X)

11

Wisteria/BDEC-01がもたらす新しい科学の夜明け

東京大学 情報基盤センター ／ JCAHPC

中島 研吾（Kengo Nakajima)

東京大学情報基盤センターで2021年5月14日に運用を開始した「計算・フォームとして、重要な役割を果たすものと期待されています。

データ・学習」
融合スーパーコンピュータシステム「Wisteria/BDEC-01」
は、
シミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）のPlatform for Integration of (S+D+L)
Big Data & Extreme Computing

2つの計算ノード群を有するヘテロジニアスなシステムです。
計算科学・計算工学に、データ科学、
機械学習等の知見を取り入れた「計算・データ・学習」
融䝅䝭䝳䝺䞊䝅䝵䞁䝜䞊䝗⩌

合により、Society 5.0が目指す人間中心の社会の実現に貢献します。

Odyssey

Odysseyは、
スーパーコンピュータ「富岳」と同じ「FUJITSU Processor
A64FX」
を7,680基搭載、ピーク性能は25.9PFlopsです。
AquariusはIntel社の最新CPU（Intel Xeon Platinum 8360Y（Ice Lake））90基とNVIDIA社の最新GPU（NVIDIA A100 Tensorコア）
360基を搭載し、ピー
ク性能は7.2PFlopsです。OdysseyとAquariusは、InﬁniBand EDR（100Gbps）
を用いて2.0TB／秒のネットワークバンド幅で結合されています。
また、Aquariusの一部のノードはSINET等の外部ネットワークを介して、Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
Systemඹ᭷䝣䜯䜲䝹
䝅䝇䝔䝮
䠄SFS䠅

25.8 PB, 500GB/s

2.0TB/s䝕䞊䝍䞉Ꮫ⩦䝜䞊䝗⩌Aquarius

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/sに利用することもできます。

㧗㏿䝣䜯䜲䝹
䝅䝇䝔䝮䠄FFS䠅1PB, 1.0TB/s

800 Gbps

External
Resources

サーバー、
ストレージ、センサーネットワークを含む様々な外部リソースに直接アクセスし、観測データをリアルタイムに取り込んで解析、シミュレーション

Fast File
SystemExternal Networkእ㒊䝛䝑䝖䝽䞊䜽

እ㒊䝸䝋䞊䝇

計算科学、
データ科学、人工知能・機械学習等幅広い分野のライブラリ、
ツール、
アプリケーションを提供する他、本センターで開発した「ppOpen-HPC（自動チューニング機構を有するアプリケーション開発・実行環境）」、「h3-Open-BDEC（「計算＋データ＋学習」
融合のための革新的ソフトウェア
基盤）
」
を利用し、
「計算・データ・学習」
融合を実現する高性能アプリケーションを容易に開発することが可能です。
Wisteria/BDEC-01は「計算・データ・学習」
融合を実現する世界初のヘテロジニアスな大規模システムであり、Society 5.0実現に向けたプラット
12

13

TSUBAME4.0が2024年4月稼働開始

東京工業大学 学術国際情報センター

伊東 利哉（Toshiya Itoh）

東京工業大学学術国際情報センターでは、2006年からTSUBAMEシ
リーズのスパコンを運用しています。
2008年に世界に先駆けGPUを大量導入し、以降GPU型スパコンの資源提供サービスを行っています。
2017年よりシステムの詳細につきましては、
以下のTSUBAME計算サービスのWebサイトをご参照ください。
https://www.t4.gsic.titech.ac.jp/

運 用 を 続 けてきた T S U B A M E 3 . 0 の 後 継となる 次 世 代 スパコン
「TSUBAME4.0」
が2024年4月から稼動します。
TSUBAME4.0の理論演算性能は科学技術計算で利用される64bitの倍精度行列演算で66.8ペタフロップス（Peta Flops）
、
人工知能
（AI）
などで利
用される16bitの半精度では952ペタフロップスの性能を達成する予定です。
200Gbps×4ポートの高速ネットワークで接続された240台の計算ノー
ドにはAMD EPYC 9654プロセッサを2基、NVIDIA H100 Tensorコア
GPUを4基、
768GiBの主記憶、
1.92TBのSSDが搭載され、HDDベースで44.2PBとSSDベースで327TBの共有ストレージを備えています。
TSUBAME4.0ではTSUBAMEシリーズの「みんなのスパコン」の理念を

HPE Cray XD665 Server × 240台
CPU

AMD EPYC 9654 (96コア, 2.4GHz) × 2 Socket

GPU

NVIDIA H100 SXM5 × 4

発展させ、従来型の利用に加えてWebアプリケーション経由の利用などの多様化するスパコンの使い方に対応し、特に初学者や幅広い分野の研究者にも使いやすい「もっとみんなのスパコン」
として日常的に活用されることを狙います。
また最新GPU 960台を搭載し、GPUの論理分割機構やLinuxの資源分割

FP64 33.5TFlops, FP64 Tensor 66.9TFlops, FP32 66.9TFlops
TF32 Tensor 494.7TFlops, FP16/BF16 Tensor 989.4TFlops,
INT8 Tensor 1978.9Tops

メモリ
ローカルストレージ
ネットワーク

Memory 94GB HBM2e 2395.87GB/s
768GiB (DDR5-4800)
1.92TB NVMe U.2 SSD
InﬁniBand NDR200 × 4

TSUBAME4.0 計算ノード構成

機構の活用により、前世代機を超える性能・ユーザビリティを達成します。
2024年度はTSUBAME4.0の計算資源をHPCIに提供予定です。
また、全ノードを一度に利用して初めて得られるような成果の創出を目指すグラン
ドチャレンジ大規模計算制度や若手や女性研究者の研究を奨励する萌芽的支援制度など、スパコンの利用者の裾野を広げるための人材育成への取り組みや、産業利用にも積極的に門戸を開いています。

14

TSUBAME4.0 スーパーコンピュータ

東工大すずかけ台キャンパスの完成イメージ図

TSUBAME4.0 専用の新データセンター

15

スーパーコンピュータ「不老」の紹介名古屋大学 情報基盤センター

片桐 孝洋（Takahiro Katagiri）

名古屋大学情報基盤センターは、
令和2年7月1日より、富士通社製のスーを経て有資格者が誰でも利用できます。
「富岳」利用前の先行開発を有資格者

パーコンピュータ
「不老」の運用開始をしました。本システムは、
理研R-CCS

なら誰でも行うことができ、「富岳」へのシームレスな利用を強力に支援します。

に設置されたスーパーコンピュータ「富岳」
型ノードを2304持つTypeⅠサブ

本システムは急激に需要が伸びているデータサイエンス研究の支援も目的にしシステム、
米国NVIDIA製のGPU Tesla V100
（Volta）
をノード当たり4基搭ています。先進GPUを搭載したTypeⅡサブシステムによる機械学習処理支援、載したノードを221持つTypeⅡサブシステム、
米国HPE製の48TB大容量メ

および、
実効容量30PBの大規模ホットストレージにより、
データサイエンス研究モリを持つTypeⅢサブシステム、
米国Intel製のCPU Xeon Gold 6230
（4を支援します。
また、
同サブシステムは各ノードにNVMe SSDを6.4TB搭載しソケット）有するノードを100持つクラウドシステムから構成されます。
理論性（合計1.4PB）、
さらに50ノード（最大320TB）
はBeeGFSにより共有ファイルシ

能15.88PFlopsを有する国内トップクラスの数値計算・データサイエンス融

ステムが構築可能です。
これにより機械学習等で必要となる高速ファイルアクセ

合型スーパーコンピュータです。
さらに光ディスクによるコールドストレージスを支援します。

（6PB）
サービスも初運用となります。

スーパーコンピュータ「不老」
に関する詳細は、以下のHPをご覧ください。

本システムにより「富岳」
型ノードの世界初運用がなされました。
申込手順

΢ϱνʖϋρφType I γϔεητϞ

FUJITSU PRIMEHPC FX1000
CPUʁFUJITSU A64FX×1
૱όʖχ਼ʤαΠ਼ʥ 2,304όʖχʤ110,592αΠʥ૱ԍࢋ੓೵ 7.782 PFLOPS૱ϟϠϨ༲ྖ 72 TiB

SINETϓϫϱφΦϱχγʖώʤϫή΢ϱόʖχ‫܊‬ʥ
FUJITSU PRIMERGY RX2530M5 ×18όʖχ
FUJITSU PRIMERGY RX2540M5 ×7όʖχCPUʁIntel Xeon Gold 6248×2
RX2540M5͹ΊNVIDIA Tesla V100(PCIe൝)×2౧ࡎ
όʖχ͍ͪΕ 3.2 TFLOPS, 384 GiBϟϠϨNICEηʖϏʖαΠη΢ρο

಼ָLAN (NICE)

10G

InfiniBand
HDR/EDRϙρφηφϪʖζ
DDN SFA18KE
૱ࣰް༲ྖʁ30PB

Type II γϔεητϞ

FUJITSU CX2570M5
Intel Xeon Gold 6230×2 + NVIDIA Tesla V100×4૱όʖχ਼ʤαΠ਼ʥ 221όʖχʤ25,656αΠʥ૱ԍࢋ੓೵ 7.489 PFLOPS૱ϟ΢ϱϟϠϨ༲ྖ 82.875 TiB֦όʖχͶ6.4TB͹NVMe SSD౧ࡎɼSSDΝཤ༽ͪ͢‫༙ڠ‬ϓΟ΢ϩεητϞʤBeeGFS/BeeONDʥΝ఑‫ڛ‬αʖϩχηφϪʖζ

Sony ODA PetaSite ֨௃‫ܗ‬ϧ΢ϔϧϨ
౧ࡎ༲ྖʁ6PBʤ5.5TB×1091‫ת‬ʥ࠹୉༲ྖʁ10.89PBʤ5.5TB×1980‫ת‬ʥ૱χϧ΢ϔ਼ʁ20χϧ΢ϔ

Remote ՆࢻԿ

8K 185inchiν΢ϩχυΡηϕϪ΢
Samsung 46inchi Display×16

Local ՆࢻԿժ଀ॴཀྵૹ஖

HDMI
Type III γϔεητϞ

έϧΤχεητϞ

HPE ProLiant DL560
CPUʁIntel Xeon Gold 6230×4

૱όʖχ਼ʤαΠ਼ʥ 100όʖχʤ8,000αΠʥ૱ԍࢋ੓೵ 537.6 TFLOPS૱ϟϠϨ༲ྖ 37.5 TiB

16

HPE Superdome FlexIntel Xeon Platinum 8280M×16
NVIDIA Quadro RTX6000 ×4૱όʖχ਼ʤαΠ਼ʥ 2όʖχʤ896αΠʥ૱ԍࢋ੓೵ 77.414 TFLOPS૱ϟϠϨ༲ྖ 48 TiB
51.2TB/node SSD + 1008TB Type III༽‫༽ڠ‬ηφϪʖζ

Lenovo P920
CPU Intel Xeon Gold 5122 (3.6GHz/4αΠʥGPU NVIDIA Quadro RTX8000
ϟϠϨ 512GiB
Storage 2TB HDD, Sony ODAχϧ΢ϔ֐෨ϋρφϭʖέʤNICEʥͳ10GͲંକΨϱγ΢φཤ༽ૹ஖

Sony ODAχϧ΢ϔFUJITSU PRIMERGY RX2530M5×2
CPU Intel Xeon Gold 5222 (3.8GHz/4αΠʥGPU NVIDIA Quadro P400
ϟϠϨ 384GiB
Storage 4TB HDD, Sony ODAχϧ΢ϔ

17京都大学 学術情報メディアセンター

京都大学学術情報メディアセンター「スーパーコンピュータシステム」の紹介
深沢 圭一郎（Keiichiro Fukazawa）

京都大学学術情報メディアセンターでは、2023年5月からXeon Plati-

異なるシステムを運用することで、様々な計算を行いたいスパコンユーザの要求

num8480+で構成されるDell PowerEdge C6620（Laurel 3）を汎用的に応える計算環境となっています。
これらのシステムの一部を計算機資源として、な利用向けシステムとして、Laurel3のメモリを2TB/ノードとしたノード

HPCIやJHPCNを通じて提供しています。

（Cinnamon 3）を大容量メモリ利用システムとして、更にA100を搭載した

また、
本センターでは独自のスパコン共同研究制度があります。
この共同研究DELL PowerEdge XE8545（Gardenia）
をAI・機械学習向けシステムとし制度は、40歳未満の若手研究者、または女性研究者（年齢は問わない）を対象て導入し、2023年10月に高帯域メモリであるHBM2eを搭載したXeonに、利用負担金の全額または一部を本センターが負担する奨励研究制度、
本セCPU Max 9480を搭載したDell PowerEdge C6620（Camphor 3）
をンターを利用されている研究グループを対象に、「大規模ジョブコース」の利用負

計算性能重視システムとして導入し、スーパーコンピュータシステム（スパコ

担金を一定範囲で本センターが支援する制度と計算プログラムの高度化・高性ン）を運用しています。
1,120ノードからなるCamphor 3では、
総理論性能

能化支援制度の３種類があります。
各スパコンシステムや共同研究制度の詳細が7.63 PFlopsになり、
370ノードからなるLaurel 3は2.65 PFlopsとなっにつきましては、
以下の京都大学学術情報メディアセンター（京都大学情報環境ています。
Cinnamon 3は、16ノードしかありませんが、ノード当たりLaurel

機構）のWebページをご覧ください。

3の4倍のメモリを搭載しています。
Gardeniaも16ノードとなりますが、
1ノー

http://www.iimc.kyoto-u.ac.jp/ja/services/comp/

ド当たり4枚のGPU（A100 80GB）が搭載されています。
このように特徴の

18

19

スーパーコンピュータSQUIDについて

大阪大学 サイバーメディアセンター

伊達 進（Susumu Date）

大阪大学サイバーメディアセンターは、
クラウド連動型HPC・HPDA用スー

総演算性能

パーコンピュータSQUIDを提供しています(図)。
本稿では2021年5月に導入

汎用CPUノード群
1,520 ノード(8.871 PFLOPS)

されたスーパーコンピュータSQUIDについて紹介します。
Supercomputer for Quest to Unsolved Interdisciplinary Data-

GPUノード群
ノード構成

scienceを正式名称とするSQUIDは、
汎用CPUノード群、GPUノード群、
ベ(20.0PB)とSSD(1.2PB)から構成されるLustreファイルシステムが利用可
能です。全てのノード群のプロセッサ、
アクセラレータは直接液冷方式により

42 ノード(6.797 PFLOPS)

プロセッサ：Intel Xeon Platinum 8368 (Ice Lake / 2.40 GHz 38コア) 2基
主記憶容量：256GB
プロセッサ：Intel Xeon Platinum 8368 (Ice Lake / 2.40 GHz 38コア) 2基
主記憶容量：512GB
GPU：NVIDIA HGX A100 8 GPUボード (Delta)

ベクトルノード群
36 ノード(0.922 PFLOPS)

クトルノード群から構成される総理論演算性能 16.591PFlopsのハイブ
リッド型クラスタシステム(表)です。
また、
DDN製EXAScalerを通じてHDD

16.591 PFLOPS

プロセッサ：AMD EPYC 7402P (Rome / 2.8 GHz 24コア) 1基
主記憶容量：128GB
Vector Engine：NEC SX-Aurora TSUBASA Type20A 8基

ストレージ

DDN EXAScaler (Lustre)

ノード間接続Mellanox InﬁniBand HDR (200 Gbps)

HDD：20.0 PB NVMe：1.2 PB

表 SQUIDシステム構成

冷却しており、
安定的に高い性能を研究者の皆様に提供できるよう設計・構
築されています。SQUIDでは、
プロセッサ、
アクセラレータ、アーキテクチャが異なる高性能な計算ノードを同一の計算環境上でご利用いただくことができますので、研究者の皆様方の多様な計算ニーズを収容可能な点を特徴としています。
大阪大学のスーパーコンピュータシステムの利用に際しては、本センターの教職員が一丸となりサポートする体制を整備しています。是非ご利用をご検討くださいますと幸いです。
詳細については、
下記をご覧いただければ幸いです。


20

21

研究用計算機システムITOの紹介

九州大学 情報基盤研究開発センター

小野 謙二（Kenji Ono）

九州大学情報基盤研究開発センターは、
2018年1月9日より富士通社製のスーパーコンピュータシステムITOの運用を開始しました。
本システムは、
米

学内外の研究者に広く提供することにより、我が国の学術研究の基盤強化と新たな学術研究の展開に貢献します。

国Intel社のCPU Skylake-SPと、
米国NVIDIA社のGPU Tesla P100を搭本システムの運用は2024年2月末で終了し、後継の新システムは2024年7載し、総理論演算性能は約10PFlopsを有する国内トップクラスの能力をも月から稼働の予定です。
紹介した研究用計算機システムの詳細については、
当セ

つシステムです。

ンターのホームページをご覧ください。

本システムは、国の第5期科学技術基本計画に示された超スマート社会の

実現、
ならびにAI（人工知能・機械学習）
・ビッグデータ、
データサイエンスなどに対応した研究基盤の提供を目指し、柔軟な利用形態を提供できるスーパーコンピュータシステムとして仕様を策定しました。特に、日本国内に設置されるスーパーコンピュータシステムとしては初めて、異なるシステム間の協調作業やデータサイエンスにおける対話的な作業を支援する大規模なプラ
イベートクラウド環境（フロントエンド）と、大規模シミュレーションや機械学習のための高性能計算ノード群（バックエンド）を、
高速ファイルシステムを介して連携運用する構成となっています。
フロントエンドは、標準仕様に加え大容量メモリタイプも利用可能で、webシステムによる事前予約により仮想サーバとベアメタルでの利用環境を提供します。
また、
パブリッククラウドとの本格的な連携インタフェースを導入し、インターネット上のオープンデータと連携したスーパーコンピューティングをサポートし、新たな利用者層と研究課
題に向けた研究基盤を提供します。
さらに、本システムから新たに導入した詳
細な電力モニタリング機構と制限電力内のジョブスケジューリング機能を活用して、インテリジェントな省電力運用方法の確立を目指した運用技術の開発にも取り組んでいます。
九州大学情報基盤研究開発センターは同システムを、JHPCNやHPCIおよび当センターが提供する各種利用プログラムの計算資源として活用し、
22

23

地球シミュレータ
（ES4）の紹介
上原 均（Hitoshi Uehara）

海洋研究開発機構 付加価値情報創生部門 地球情報科学技術センター
は、「地球シミュレータ」
を更新し、
令和3年6月よりHPCI向けに新システムによる資源提供を開始いたしました。
新システムは、NEC SX-Aurora TSUBASAを有する「ES4VE」、HPE
A p o l l oによるA M D E P YC C P U（ R o m eアーキテクチャ）を有する「ES4CPU」、
およびNVIDIAのGPU A100を搭載した「ES4GPU」
から構成
されるマルチアーキテクチャ型スーパーコンピュータを、
DDN製の大容量ス
トレージとInﬁniBandを用いた高速ネットワークで接続したシステムです。
HPCI向けにはES4VEおよびES4CPUを提供しています。
ES4VEは、
ベクトルアーキテクチャが採用されており、合計684ノードによる14.97PFlopsの計算能力と8.5PB/sの総メモリバンド幅をもって、
ベ
クトルアーキテクチャ向けのプログラムを用いる研究実施を強力にサポートします。ES4CPUには国際的に広く用いられているx86アーキテクチャを採用しており、
その汎用性、
そして合計720ノードによる3.3PFlopsの計算能力と180TiBの総メモリ容量によって、多種多様な研究課題の実施を可能とします。
これらのノードは、一つのバッチジョブシステムで連携して利用することが可能で、政策・産業・学術課題における多様な計算需要に対応することができます。
データ保存先の共有ストレージは、
HDDまたはSSDで構成された合計60
PBおよび1.3PBの分散並列ファイルシステム（Lustre）となっており、全てのノードとフロントエンドサーバ、
そして、
プリポスト処理向けの9TBメモリを搭載する大規模共有メモリ型サーバから直接アクセス可能です。
地球情報科学技術センターでは、利用方法のレクチャーの他、アプリケー
ションプログラムの移植、最適化等も強力にサポートしていきますので、ぜひ新システムのご利用をご検討ください。
システムの詳細につきましては、
以下の「地球シミュレータ」
ホームページに掲載しておりますのでご参照ください。


AI橋渡しクラウド「ABCI」の紹介

産業技術総合研究所 情報・人間工学領域

谷村 勇輔 (Yusuke Tanimura)

産業技術総合研究所は、我が国のAI研究開発の推進と社会実装の加速

認識の訓練時間を競う)部門で70秒という世界記録を樹立しました。2020年を目的として、AI橋渡しクラウド（AI Bridging Cloud Infrastructure、
以下

11月には機械学習処理ベンチマークであるMLPerf HPC v0.7においても最高

ABCIという）
を構築し、2018年8月より運用を開始しました。
２年余りの運用

レベルの速度を達成しました。

を経て、高性能で省電力の最新のGPUアクセラレータ、およびストレージシス

AI研究開発・社会実装のための計算リソース需要に幅広く応えていくため、テムを増強し、2021年5月よりABCI 2.0として従来システムとの一体運用を

ABCIでは学術利用と産業利用を区別しません。
国内の企業、大学、研究機関に行っています。

所属している方ならどなたでも利用申請して、均一料金で利用できます。
HPCI資

現在、ABCIはIntel Xeon Scalable Processor (Skylake) 2基と源としても提供していますので、ぜひご利用をご検討ください。

NVIDIA V100 GPU4基で構成される計算ノード（V）1088台と、IntelABCIの詳細については、下記をご覧ください。

Xeon Scalable Processor (Ice Lake) 2基とNVIDIA A100 GPU 8基

で構成される計算ノード（A）
120台とをInﬁniBandによる高速ネットワーク
で相互結合した大規模並列クラスタ型スーパーコンピュータです。
ピーク性
能は倍精度で56.6PFlops、半精度で851.5PFlops、メモリ合算容量は573.5TiB、
NVMe SSD合算容量は2.22PBです。
この他、
実効容量35PBの共有ファイルシステムと17PBのAmazon S3互換ストレージ等を備えています。
また本システムは、導入に先立って建設された超高密度・超省電力データセンター、産総研柏センター・AIデータセンター棟に設置されています。本
データセンターは、冷却塔のみを用いて冷水を製造するフリークーリングシ
ステムを採用しており、この冷水を用いた直接液冷とFCUによる空冷のハイ
ブリッド方式で計算ノードを冷却します。
これにより年間平均PUE 1.1を実現しています。
ABCIは、
導入当初よりTOP500の上位を維持しており、
2019年7月にはディープラーニングの標準ベンチマークであるMLPerf Training v0.6で、Image Classiﬁcation (ImageNetの画像を用いてResNet-50による画像
26

27

データ同化スーパーコンピュータシステムの紹介

統計数理研究所 統計科学技術センター

上野 玄太 (Genta Ueno)

近年のデータのサイズの増加は著しいものがあります。観測データにとど8280L）
が32台、48TB の主記憶、実行容量880TB の SSD が搭載されていまらず、
シミュレーションのアウトプットである計算結果に対しても、データやます。本システムの1ノードは、
HPCI事業の計算資源として、令和5年10月から計算結果から知識を得るためには大規模データの解析を行わなければなり提供しています。

ません。
さらに、観測データとシミュレーションと融合する手法であるデータ
同化では大規模化の傾向が顕著で、アウトプットである再解析データおよびhttps://www.hpci-ofﬁce.jp/using̲hpci/hardware̲software̲

アンサンブルデータが巨大であることに加え、融合の過程で巨大な逆問題をresource/2024/ism̲2024-1

解く解析処理を行う必要があります。
このようなビッグデータの解析は容易ではありません。
その理由は、
広く使われている分散メモリ型のスーパーコンピュータシステムでは、巨大化したデータがひとつのメモリ空間に収まらないためです。
そのため、分散メモリ型のシステムを用いたビッグデータの解析には、データを分割・計算・統合する、
いわゆる並列化処理を明示的にプログラミングする必要があります。
しかし、
並列化処理のプログラムの開発には手間がかかるものの、機械的な作業であり、当該の解析手法がもたらす結果に変化を起こすものではありません。
このため、並列化プログラミングは可能ならば省略したい作業であり、この手間はビッグデータの解析を積極的に進める上での障害となっています。
これを解決するために、
大規模なメモリを搭載し、どのCPUからでも利用できるシステムが必要です。
統計数理研究所統計科学技術センターでは、並列化プログラミングの手間をかけずに大規模データの解析を進めるため、大規模なメモリを搭載し、どの CPU からでも利用できる分散共有メモリ型の計算機である、
データ同化スーパーコンピュータシステムを令和5年3月に導入しています。
本システム
は、計算ノードとして HPE Superdome Flex を2台装備（総理論演算性能
154.8 TFLOPS）
し、各ノードには28コア CPU（Intel Xeon Platinum
28

29

HOKUSAI BigWaterfall2の紹介

理化学研究所 情報統合本部

30

黒川 原佳(Motoyoshi Kurokawa)©

理化学研究所情報統合本部では、2023年12月より「スーパーコンピューこれまで理化学研究所情報統合本部で運用してきたスーパーコンピュータHOKUSAI BigWaterfall2（HBW2）」の運用を開始しました。理化学研

タシステムは研究所内の研究者や技術者の研究推進のために運用されてき究所では1960年代からスーパーコンピュータシステムを運用して研究所内

ました。
しかし、
研究の多様化や深化内容から必要とされる計算資源の種類の研究開発を進めてきました。最新のシステムであるHBW2は、Intel社のも増え、単一の機関でそれらを保持することは難しい状況となってきていまIntel Xeon Max（Sapphire Rapids）
を2基とHBM2e（128GB）を搭載しす。
我が国には高性能計算プラットフォーム連携である、「富岳」を含むHPCIた312ノードで構成された総理論演算性能が2.12PFLOPSの超並列演算の枠組みがあり、大規模で多様な計算研究基盤を研究者に提供しています。

システムと、同じくIntel社のIntel Xeon Gold 6418Hを4基と3TBのメモリ

HBW2をHPCI計算資源として提供すると共に、研究所の研究者がHPCIをを搭載した2ノードの大容量メモリ演算サーバ、
Lustreファイルシステムから知り、自身の研究に適した計算資源を選択しやすくするために、2024年度かなる9.8PBの共有ストレージをInﬁniBand NDR（400GB/s）で結合したシらHBW2の一部資源をHPCIを通じて提供する予定です。

ステムとなります。
最大の特徴は、計算ノードが非常に広大なメモリ帯域性能

システムの詳細につきましては下記をご覧ください。

3,260GB/sを持つHBM2eを搭載している点です。

https://i.riken.jp/supercom/

31

HPCIの利用をお考えの方、HPCI計算資源についてもっと詳しく知りたい方はHPCIポータルサイトをご覧いただくかヘルプデスクへお問い合わせください。

HPCIポータルサイト 
ヘルプデスクTEL/078-940-5795（平日9:00〜12:00/13:00〜17:30）
helpdesk@hpci-oﬃce.jp〒650-0047

神戸市中央区港島南町7-1-26 理化学研究所計算科学研究センター内 R101

一般財団法人 高度情報科学技術研究機構（RIST）神戸センターについて
一般財団法人高度情報科学技術研究機構（RIST）神戸センターは、「富岳」をはじめとするスーパーコンピュータの利用促進・利用支援にかかわる業務を行っています。
スーパーコンピュータによる研究は、物質の基礎法則や宇宙の進化の解明、新たなエネルギー源の実現、ゲノムや細胞内の動態解析、新規物性・機能を発現する材料創
出等の基礎研究から、台風・津波等の高精度な予測、薬剤の高効率な設計、実験や試作を省略しても高い信頼性を確保できる ものづくり設計 等の応用研究まで多岐にわ

HPCI 計算資源ハンドブック
2024年1月発行

たり、安全で安心な社会の構築にきわめて大きな貢献をしています。
RIST神戸センターは、世界トップクラスのスーパーコンピュータを幅広い分野の研究者・技術者等に公平かつ効率的に利用していただき、実りある研究成果を数多く創出できるよう努めています。

一般財団法人 高度情報科学技術研究機構
神戸センター〒650-0047 兵庫県神戸市中央区港島南町1-5-2
TEL:078-599-9511

FAX:078-599-9512
※本冊子の無断複写、無断転載はご遠慮ください。