スーパーコンピュータ「不⽼」コールドストレージと民間利用制度について○山田 一成 1) 田島 嘉則 1) 髙橋 一郎 1) 毛利 晃大 1) 林 秀和 1)
片桐 孝洋 2), 大島 聡史 2) , 永井 亨 2)
1) 名古屋大学 情報推進部 情報基盤課
2) 名古屋大学 情報基盤センター 大規模計算支援環境研究部門
yamada@itc.nagoya-u.ac.jp

Supercomputer "Flow" industry support services
and cold storage system
Kazunari Yamada 1), Yoshinori Tajima 1), Ichiro Takahashi 1),
Akihiro Mouri 1) , Hidekazu Hayashi1) ,Takahiro Katagiri 2) , Satoshi Ohshima 2) , Toru Nagai 2).
1) Information Infrastructure Division, Information Promotion Department, Nagoya University
2) High Performance Computing Division, Information Technology Center, Nagoya University
概要
名古屋大学情報基盤センターでは，令和 2 年 7 月より，スーパーコンピュータ「不老」の運用を開始した．本稿では，令和 3 年 2 月に増強されたスーパーコンピュータ「不老」のコールドストレージの運用状況および，民間利用制度の利用状況について報告する．

1

自主事業として民間利用制度を推進している．

はじめに本センターのシステムもスーパーコンピュー

近年，スーパーコンピュータを取り巻く環境

タを取り巻く環境に対応するため数年おきに更新は大きく変わってきている．スーパーコンピューしており，令和 2 年 7 月にスーパーコンピュータ

ティングは従来の計算科学シミュレーション中心「不老」の運用を開始した．スーパーコンピューから，データ科学，機械学習との融合による新し

タ「不老」は 4 つのサブシステムと大容量のホッいスタイルへと移行しつつある．さらに，従来のトストレージ群およびコールドストレージシステ

実験データや観測データなど日々膨大なデータもム，可視化システムなどが高速ネットワークによ発生している．研究者がこの増え続ける膨大なデって接続された複合的なシステムである．

ータを収集して活用するためには，大量のデータさらに，令和 3 年 2 月にはコールドストレージを長期保存して管理する低コストのストレージがシステムの増強（以下，コールドストレージシス必要になる．また，スーパーコンピュータは学術テム Phase2）を実施した．

研究の発展だけではなく，ものづくりの現場など，本稿では，スーパーコンピュータ「不老」のコ企業競争力の強化にとって重要な基盤となっていールドストレージシステム Phase2 の運用状況（シる．このような背景から，名古屋大学情報基盤セ

ステム・サービス概要，利用状況，整備状況，活ンター（以下，本センター）では，社会貢献の一用事例など）について報告し，民間利用制度の利環として，平成 19 年から文部科学省先端研究施用状況についても報告する．

設共用イノベーション創出事業などを実施し，民間企業の課題に対してスーパーコンピュータの資源を提供してきた．さらに，これら事業の終了後においても，民間利用の取り組みを継続しており，

99

2

スーパーコンピュータ「不老」の紹介
本センターでは，令和 2 年 7 月にスーパーコン

・ クラウドシステムは，前システムのピュータ「不老」の運用を開始した．図 1 にスー

FUJITSU PRIMERGY CX400 の後継としてパーコンピュータ「不老」の全体構成を示す．スーパーコンピュータ「不老」はアカデミック利用

HPE ProLiant DL560 を導入している．バッ
チ処理以外に，Web システムから時刻を指定しての利用にも対応している．などの他に民間利用制度の利用者など，すべての利用者が利用可能となっている．

利用者は目的に合わせ，これらのサブシステム

4 つのサブシステムの性能諸元を表 1 に示す．
各サブシステムの特徴は以下の通りである．

から適切なサブシステムを選択して計算に利用する．
コールドストレージシステムは，国内のスパコン

・ Type I サブシステムは超並列大規模計算用であり，理化学研究所のスーパーコンピュータ「富岳」と同じ計算ノードを搭載した
FUJITSU PRIMEHPC FX1000 により構成されで初となる業務用次世代光ディスクを使用したソニー社製のオプティカルディスク・アーカイブ
PetaSite 拡張型ライブラリーシステム（以下，ODA ライブラリ装置）を採用した大容量・低コスる．
・ Type II サブシステムは機械学習や AI などの研トのコールドストレージであり，令和 2 年 7 月，究分野向けであり，1 ノードにつき NVIDIA

総物理容量 484 TB にて運用を開始した．
その後，

Tesla V100 を 4 台 搭 載 し た FUJITSU

令和 3 年 2 月，総物理容量 6 TB ，最大搭載容量

PRIMERGY CX2570M5 により構成される．

10.89PB に増強して運用している．

・ Type III サブシステムは，大容量メモリを使用する可視化処理用のプリポストサーバであり，
2 ノ ー ド で 総 メ モ リ 容 量 が 48TiB の HPE
Superdome Flex により構成される．

図.1

スーパーコンピュータ「不老」

100

表 1 計算サブシステム諸元表

システム名

TypeⅠサブシステム TypeⅡサブシステム TypeⅢサブシステム クラウドシステム
FUJITSU PRIMEHPCノ 機器名称
FX1000ードA64FX
あ プロセッサた48+2コア､2.2GHz
り-------------GPU

FUJITSU PRIMERGY
CX2570MS

HPE Superdome FlexIntel Xeon Gold 6230

Intel Xeon Platinum 8280M Intel Xeon Gold 6230

(20コア､2.10GHz)×2(28コア､2.70 GHz)×16(20コア､2.10GHz)×4

Tesla V100×4 (Volta)

Quadro RTX6000×4--------------

総ノード数2304 (110,592コア)

221 (8,840コア)

2 (896コア)

100 (8,000コア)

総演算性能

7.782 PFLOPS

7.489 PFLOPS

77.414 TFLOPS

537.6 TFLOPS

総メモリ容量72 TiB

82.875 TiB

48 TiB

37.5 TiB

ノード間接続TofuインターコネクトD

InfiniBand EDR×2

InfiniBand EDRInfiniBand EDR

冷却方式

水冷

水冷

空冷

空冷

3

HPE Proliant DL560

格納するキャビネット，ドライブ，キャビネット

コールドストレージシステム概要

内の ODA カートリッジを識別してドライブにセ令和 3 年 2 月に増強したコールドストレージシ

ットするロボット機構，ODA カートリッジを

ステムは 4 つの同じシステムから構成され，1 つ

ODA ライブラリ装置に収容および搬出する機構のシステムは ODA ドライブ 5 台と光ディスクラで構成される．図 3 に，ODA カートリッジ，表 2

イブラリ制御サーバ（以下，ODA ライブラリ制御に，ODA ライブラリ装置の諸元を示す．

サーバ）を兼ねるログインノード（以下，フロントエンドサーバ）から成る．

ODA カートリッジは，データメディアコストが低価格なだけでなく光ディスクならではの後方

コールドストレージシステム Phase2 の構成を
図 2 に示す．

互換性があるため長期間利用可能であり，温湿度の環境変化に強く水濡れ，紫外線，電磁パルスな

ODA ライブラリ装置は，ODA カートリッジを

図2

ど外的影響を受けにくいため，長期データ保全のコールドストレージシステム構成

101信頼性が高いのも特徴である．また，利用者はODA カートリッジを持ち込んだり取り出したりして利用することも可能である．

れ高速にアクセスすることができる．
コールドストレージの利用負担金は１口 50TB
利用で，初年度はファイル負担金（19 万円）とファイル管理費（1 万円）を徴収するが，継続利用した場合 2 年目からは管理費のみで利用できる．
3.1

ODA 単体ドライブ

情報基盤センター内の利用者支援室と画像処理
図3

室のサーバには，ホットストレージとのデータ転ODA カートリッジ送用に ODA 単体ドライブが USB 接続され，表.2

Linux 環境と Windows 環境で利用できる．利用者

ODA ライブラリ装置の諸元

項目仕様

機種名

PetaSite 拡張型ライブラリ
システム

総物理容量

2.72PB

総スロット数495

総ドライブ数5

ロボット機構1は ODA カートリッジを持ち込みで利用する．
ODA 単体ドライブを図 4 に，利用者支援室のLinux 環境を図 5 に示す．

この ODA ライブラリ装置は，Fiber Channel
でフロントエンドサーバを兼ねている ODA ライ
ブラリ制御サーバに接続されている．表 3 に，

図4

ODA 単体ドライブ

ODA ライブラリ制御サーバの諸元を示す．

表.3

ODA ライブラリ制御サーバの諸元

項目

仕様

CPUIntel Xeon Gold6248(2.5GHz/20 コア)×2

理論演算性能3.2TFLOPS

主記憶384GiB(32GiB DDR4×12)

内臓 SSDシステム：2TB , 作業用：19.2TB

インターコネクトSAN インターフェースNetwork インターフェース

InfiniBand EDR×1
FC16Gbps×4
10G Twinax×2, 1000BASE-T×2

図 5.

この ODA ライブラリ制御サーバには，他のフロントエンドサーバと同様に，全システム共有の利用者支援室の Linux 環境

Linux 環境では，GNOME のデスクトップ環境が利用でき，ODA 単体ドライブに挿入した ODA
カートリッジは Linux のオートマウント機能を使

ホットストレージが InfiniBand EDRx8 で接続さって自動的にマウントされ，フロントエンドサーれ，富士通 FEFS ファイルシステムでマウントさバと同様に接続されたホットストレージ間で高速102にファイル転送を行うことができる．
また ， Windows 環 境 で は， ベ ンダ ー 提供 のWindows Explorer 相当の GUI を使ったファイル操作が行えるソフトウエアが利用できる．

利用形態

4

コールドストレージシステムの主な利用形態は，次のとおりである．
・1 つの ODA カートリッジを 1 ボリュームとして

図6

単体ドライブ貸出し機器構成

利用者に割当てて名前(ボリューム通番)を付けて，DB を使って管理する．本センター提供のマウントコマンドを使ってマウント操作を行って利用する．
・ODA ライブラリ装置内のカートリッジの記録

現在，この単体ドライブ貸出しサービスは，手元に大量のデータがある利用者やネットワーク環境が悪い利用者等に貸出している．データを記録

フォーマットは，外付けの ODA 単体ドライブしたカートリッジは，5.2と同じフォーマットである．このため，ODA ラ利用サービスを使って，利用者支援室や画像処理

イブラリ装置内で記録したカートリッジを取出室のODA単体ドライブやODAライブラリ装置にして，外付けの ODA 単体ドライブで利用でき収容して利用できる．

る．また，外付けの ODA 単体ドライブで記録5.2したカートリッジを，ODA ライブラリ装置に収納して利用する．

カートリッジ持ち込み

カートリッジ持ち込み利用サービス

利用者側でODA単体ドライブやODAライブラリ装置を購入してデータを蓄積している場合，こ・ODA カートリッジの所有者情報やカートリッジの記録情報は DB で管理される．
・利用申請情報を基に利用者が使用できる ODAのサービスを利用して利用者支援室のODA単体ドライブやODAライブラリ装置に収容して利用カートリッジやフロントエンドサーバを限定しすることができる．この方式では，データ移行時て利用する．の作業ミスが防げ，データ転送時間も不要となり，・サービス終了時，利用者に ODA カートリッジデータ移行の負荷とリスクを軽減できる．

を返却できる．

現在，コールドストレージシステムでは，ODA整備状況の最新の第3世代の「ドライブユニット」と「ライ5ブラリ装置」が利用できるが，後方互換があり旧コールドストレージシステムの利用拡大と利用世代のODA単体ドライブで記録したカートリッ者の便宜を図るために，令和3年度は新たに単体ドジもODAライブラリ装置内で共存して利用する

ライブの貸出しサービスや利用者向け コマンドことができる．持ち込み利用サービスの場合は，を作成して公開した．

管理費のみで利用することができる．

5.1

単体ドライブ貸出しサービス

5.3

利用者向けコマンドの追加

令和3年７月からスーパーコンピュータ「不老」

コールドストレージを利用するためのソフトウの利用者向けに単体ドライブの貸出しサービスをエアとして，カートリッジのマウント・アンマウ開始した．図6に単体ドライブ貸出し機器構成を示

ント，ドライブ状態表示，バッチジョブ計算依頼

す．

コマンド，ファイル情報の管理等のコマンドを提単体ドライブを収納するジュラルミン・ケースの外形寸法は1,050mm (270×530×250)，Drive搭
載時の重量は約11kgで，搬送に宅配便が利用できる．

103

供してきたが，新たに次の機能を追加した．
・ ファイル又はディレクトリを対象としたバックアップ（変更されたファイル又はディレク

トリのバックアップも可能）．

ックライセンスのため，利用できない．

・ ファイル又はディレクトリを tar コマンドでまとめて非圧縮形式でアーカイブ．

・成果公開型（有料）・ ディレクトリ同士の比較（ファイル情報とス6

申し込み後，専門委員会による審議を経て，ペースサイズを比較）．

承認される．採択後，企業名と課題が公開され利用状況と活用事例

る．基本負担金（1 口，200,000 円，10 ユーザまで利用可）を負担することにより，1 口当た

コールドストレージシステム Phase2 の ODA ラり 100,000 ポイントの計算資源が与えられる．

イブラリ装置の初期搭載カートリッジ数は 1092

利用終了後，利用報告書を提出しなくてはな

巻，記憶容量は約 6PB である．ODA カートリッらない．利用報告は HP で公開される．最大でジを追加購入すれは，最大搭載数は 1980 巻，約2 年間の公開延期が可能である．

10.8PB まで拡張可能である．

・成果非公開型（有料）令和 3 年 9 月の本稿執筆時では，4 機関と 4 グ

申し込み後，非公開審査ワーキンググループ

ループ，15 ユーザが，合計 530 巻，約 2.9PB をによる審議を経て，承認される．企業名と課題利用している．また，この他に，第 2 世代の ODAは公開されない．

カートリッジ 100 巻，330TB の持ち込み利用がある．

基本負担金（1 口，400,000 円，10 ユーザまで利用可）を負担することにより，1 口当たり

コールドストレージシステムの主な用途は，ア100,000 ポイントの計算資源が与えられる．利ーカイブ又はバックアップである．主な活用事例

用終了後，利用報告書を提出しなくてはならなを，以下に示す．

いが，一般には公開されない．
・トライアルユース（無料）1.
2.

世界最大級の乱流場の直接数値シミュレーシする制度である．10,000 ポイントの計算資源がデジタルユニバーシティ化に向けたデータマ与えられる．通常の有料の利用方法と同様の審ネジメントの実証実験として，宇宙地球環境査手順を経て，利用承認がなされる．

研究所が収集している宇宙地球環境データを格納．
3.

自動運転の映像データの格納．主に観測データが格納されており，その内容は，映像・点群・GPS/IMU センサ・その他車両信号である．点群データの解析結果なども一部含まれる．

4.

１ヶ月間有効のアカウントが発行され，試用

ョンの解析結果の格納．

JHPCNの採択課題 jh170034-ISH「HPCと利用終了後，利用報告書を提出しなくてはならない．利用報告は公開される.

8 民間利用制度の利用状況
平成 26 年度からの民間利用制度（有料）採択
数を図 7 に示す．平成 27 年度以降，有料では成果公開型と成果非公開型の 2 種類を実施しているが，高速通信技術の融合による大規模データの拠ここでは総数を示している．令和 3 年度は 9 月 20

点間転送技術開発と実データを用いたシステ日現在の件数である．また，平成 27 年度から件数ム実証試験」で発生する気象衛星ひまわりのに変動があるが増加傾向であったが，令和 2 年度

データの格納．日々発生するひまわり衛星のから採択数が減少している．これは，システム更データは，年間150TB，画像化すると10分あ新のため，アーキテクチャが変更となり，利用をたり741ファイル370MBである．

検討している企業が多いためと思われる．
民間利用制度のシステムごとの利用割合（ノー7 民間利用制度の概要ド時間積）を表 4 および表 5 に示す．表 4 は，前

令和 3 年度，本センターの民間利用制度は，有システムの利用割合．表 5 は，スーパーコンピュ料の 2 種類と無料の 1 種類があり，スーパーコンータ「不老」の利用割合．令和 3 年度は 9 月 20 日

ピュータ「不老」のすべてのシステムが利用できる．ただし，一部のアプリケーションはアカデミ104時点での割合である．ノード時間積は，利用ノード数×時間である．前システムのシステムごとの利用割合は，年度によって多少，ばらつきはあるが，両システムとも均等に利用されていたと思わ

見やご要望を取り入れて，次期スーパーコンピュれる．スーパーコンピュータ「不老」となり，クータへのデータ移行を見据えてより使いやすいシラウドシステムの利用割合が多くなっている．

ステムへ改良したいと考えている．
民間利用制度については，令和 2 年度から採択

図.7数が減少している．これは，先に述べたとおり，民間利用制度採択数

システム更新のため，アーキテクチャが変更となり，利用を検討している企業が多いためと思われる．ユーザサポート担当者としては，新型コロナ対応で利用者と直接会っての利用相談がしづらい状況のため，遠隔会議システムなどを活用した利用者の利用準備の支援をさらに充実させ，採択数につなげたいと考えている．

参考文献
表.4

前システムの民間利用制度の利用割合[1] 高橋 一郎, 大島 聡史, 片桐 孝洋, スーパーコンピュータ「不老」における光ディスクライブラリを用いたコールドストレージシステムの構築, 大学 ICT 推進協議会 2020 年度年次大会 予稿集, 2020.
[2] 山田 一成, 田島 嘉則, 毛利 晃大, 髙橋 一郎, スーパーコンピュータ民間利用制度について, 総合技術研究会 2019 九州大学, 2019.
[3] スーパーコンピュータ「不老」システム構成
図, https://icts.nagoya-u.ac.jp/ja/sc/overview.html[4] スーパーコンピュータ「不老」民間利用制度,
https://icts.nagoya-u.ac.jp/ja/sc/riyou/industry/（ノード時間積）

表.5

スーパーコンピュータ「不老」民間利用制度の利用割合（ノード時間積）9 課題と今後の予定
本稿では，令和 2 年 7 月のスーパーコンピュータ「不老」のリプレースで導入し，令和 3 年 2 月に増強した，コールドストレージシステム Phase2の概要，利用状況，整備状況，活用事例および，民間利用制度の概要，利用状況について報告した．
コールドストレージシステム Phase2 は，現在のところ大きな問題もなく順調に運用している．今後，利用者数の増加に伴って運用に支障をきたす障害の発生も考えられ，導入ベンダーと連携して安定運用に努めてゆきたい．また，利用者のご意

105