Ipomoea-01 大規模共通ストレージシステムの運用
前田 光教 1), 宮嵜 洋 1), 佐藤 孝明 1), 福沢 秋津 1), 中張 遼太郎 1),山田 新 1), 山本 和男 1), 中島 研吾 2) ,塙 敏博 2)1) 東京大学 情報システム部 情報基盤課
2) 東京大学 情報基盤センター
maeda@cc.u-tokyo.ac.jp

The operation of Ipomoea-01 Large-scale Common Storage SystemMitsunori Maeda1), Hiroshi Miyazaki1), Takaaki Sato1), Akitsu Fukuzawa1),Ryotaro Nakahari1),
Hajime Yamada1), Kazuo Yamamoto1), Kengo Nakajima2), Toshihiro Hanawa 2)
1) Information Technology Group, Information Systems Department, The University ofTokyo
2) Information Technology Center, The University of Tokyo概要2022 年 6 月より運用を開始した Ipomoea-01 大規模共通ストレージシステムに関する導入の経緯とシステムの概要に加え、利用者が Ipomoea-01 を利用するための制度について説明する。

1

はじめに
東京大学情報基盤センター [1](以下、本センター)では、大規模共通ストレージシステム(Ipomoea-01)[2]を導入した。現在、本センターでは、「計算・データ・学習」融合スーパーコンピュータシステム(Wisteria/BDEC-01)[3]ならびに大規模超並列スーパーコンピュータシステム(Oakbridge-CX(OBCX))[4] を運用している。また、2022 年 3 月までメニーコア型大規模スーパ

図 1．Ipomoea-01 の外観

ー コ ン ピ ュ ー タ シ ス テ ム (OakforestPACS(OFP))[5]を運用していた。他に、本センターを含め全国 11 研究機関で構成・運用されるデ2

導入の背景

ータ活用社会創成プラットフォーム(mdx)[6] がスーパーコンピュータの処理能力の向上に

本センターで稼働している。このように、本セ伴い、扱うデータ量も増加の一途をたどっていンターでは複数のシステムを運用しており、そる。特に、「計算・データ・学習」の融合を目指れぞれストレージが独立しているため、複数のす新しい分野では、大量の観測データ、パラメシステムを利用する利用者には不便であること

ータスタディの結果ファイルなどを処理する必から、OFP の運用終了を機に Ipomoea-01 の導要がある。本センターでは従来ストレージは各入を決定した[7]。OFP のファイル移行を考慮しシステムに附属して導入され、各システムのス2022 年 1 月に導入して 6 月から正式サービストレージは独立していた。近年は本センターのを開始している。3 年後には次号機 Ipomoea-02

利用者も目的や手法に応じて複数のシステムをを追加導入して 6 年での更新を予定している。

同時に利用する事例が増加している。また、システムがリプレースされる場合には大量のデー35

タをバックアップする必要があった。個別のワ際には、必要に応じてシステム毎にユーザ IDークロードのデータ量が増加していることから、のマッピングを変更することも可能である。

このような状況は利用者に多大な不便を強いることになり、本センターの全システムからアク3.3 ストレージ容量やファイル数に配慮アーカイブ用途が多いことを想定し、ストセス可能な共通ストレージの導入が強く求めら

レージのアクセス性能よりも、ストレージ容量れていた。

を優先した。また、データ公開やデータ共有の3用途を踏まえ、比較的小さなサイズのファイル

Ipomoea-01 の設計方針が多数格納されることを配慮してメタデータサ

Ipomoea-01 の設計に際しては、以下の点にーバの構成を決定した。

配慮した。
3.1 ストレージ通信ネットワークには RDMA に対4システム概要

4.1 ストレージ応した 400Gbps の Ethernet を採用
東京大学柏キャンパスと柏 II キャンパスに

Ipomoea-01 のストレージは、並列ファイル複数のシステムが設置されており、最大で 10システムで構成された DDN 社製 Lustre ベー

km 距離が離れている。これらのシステムからスの DDN EXAScaler で、ストレージ容量は安定したアクセスを可能にするため、スーパー25.9 PB である。MDS(メタデータサーバ)としコンピュータのストレージシステムで一般的にて NVMe SSD 3.84TB を 17 本搭載する DDN

用いられる InfiniBand ではなく、RDMA に対1U Server を 4 台と MDT(メタデータターゲッ

応した Ethernet(RoCE v2)を採用した。また、ト)として DDN SFA200NVX を 1 台で構成す

今後導入されるスーパーコンピュータシステム、る。また、OSS(オブジェクトストレージサー

次世代 Ipomoea-02 との接続を考慮して、調達バ)/OST(オブジェクトストレージターゲット)

時点で最新の規格である 400Gbps に対応したは DDN ES7990X を 1 台と SS9012 を 4 台の 1ネットワークスイッチを導入した。なお、セットとして 5 セットで構成する。1 セットあIpomoea-01 を 構 成 す る サ ー バ 等 は 最 大たり NL-SAS-HDD 18TB を 383 本搭載し、そ100Gbps で接続され、冗長化されている。

れぞれ 100Gbps で接続しネットワークスイッ
チを介することで転送速度は 125GB/s に及ぶ。

3.2 並列ファイルシステムに Lustre ファイルシ(表 1)

ステムを採用表 1．システム全体諸元

本センターで運用中のシステムは、いずれも

項目

機器諸元

Lustre ファイルシステム、または Lustre ファ

ファイルシステDDN EXAScaler (Lustre ベース)

イ ル シ ス テ ム を 拡 張 し た FEFS(Fujitsuム

Exabyte File System)を用いている。そこで、ストレージ容量25.9PB

Ipomoea-01 でも Lustre ファイルシステムを用

i-node 数上限

168 億いることとした。mdx を除いた全てのシステ

ストレージデームでは、OS 上で共通したユーザ ID、グループ

タ転送速度

ID で管理されており、Lustre ファイルシステ

MDS + MDTムとして各システムから Ipomoea-01 のストレージを直接マウントすることも技術的には可能であると考えられる。ただし、運用の柔軟性を考慮し、現時点では Ipomoea-01 のストレージ

125GB/s
DDN 1U Server × 4 台 + DDN
SFA200NV × 1 台

メタデータ格納デバイス
OSS + OST

NVMe SSD 3.84TB × 17
DDN ES7990X × 5 台 + SS9012
× 20 台を一旦 NFS エクスポートし、それを各システ

ファイルデータ

NL-SAS-HDD 18TB × 383 (OSSムのログインノードでマウントしている。この格納 デバイス× 1 台 + OST × 4 台 あたり)36

4.2 ログインノード兼接続用サーバ
Ipomoea-01 のログインノードは接続用サーバを兼ねている。接続用サーバとは、本センターの各システムから NFS により Ipomoea-01に接続する機能を有するサーバで、富士通製
PRIMERGY RX2530 M6 4 台をそれぞれ100Gbps でネットワークスイッチに接続している。オペレーティングシステムは Red Hat

図 2．システム構成概要

Enterprise Linux 8 で稼働する。Ipomoea-01のログインノードで、ストレージに保存するファイルを編集、操作等ができる他、本センターの各システムからもファイル操作等が可能である。

5利用制度
本センターのスーパーコンピュータシステのいずれかにユーザ ID を有する場合は、申込不要で規定のディスク容量を無償で利用できる。

4.3 管理サーバ群

ユーザ ID がない場合でも有償での利用が可能

管理サーバ群はログインノード兼接続用サーである。

バと同型の富士通製 PRIMERGY RX2530 M6で、運用管理サーバ 2 台、認証サーバ 2 台、利用支援 Web サーバ 2 台、セキュリティログ保表 2．Ipomoea-01 利用負担金表
ディスク容量大学・公共機関

存サーバ 2 台の 8 台で構成し、それぞれ企業

等

100Gbps でネットワークスイッチに接続して1TB600 円/1 か月

720 円/1 か月いる。オペレーティングシステムは Red Hat[10TB まで 1TB[350 円/1 か月][420 円/1 かEnterprise Linux 8 で稼働する。また、管理サ

ごと]ーバ群で共有可能なネットワークストレージ

10TB月]
3,750 円/1 か月(富士通製 ETERNUS HX2100)を備え、管理サーバ群接続用スイッチを介して接続する。

月[100TB まで[250 円/1 か月]

1TB ごと]

4.4 ネットワークスイッチ

100TB

ネットワークスイッチは、400Gbps を 32 ポート有する NVIDIA 社製 MELLANOX[1000TB まで

SN4700 2 台で構成する Ethernet ネットワー

1000TB

グインノード兼接続用サーバ、管理サーバ群をそれぞれ 100Gbps で接続し、外部接続用ネッ[以降 1TB ご

トワークとは総バンド幅 200Gbps で接続す

26,250 円/1 か31,500 円/1 か月

月[200 円/1 か月][240 円/1 か月]

206,250 円/1 か247,500 円/1月か月[175 円/1 か月][210 円/1 かと]る。(図 2)
ログインノード兼接続用サーバを介し NFS[300 円/1 か月]

1TB ごと]クスイッチである。並列ファイルシステム、ロ

4,500 円/1 か月]

5.1 ユーザ ID を有する場合マウントできるよう、OBCX の外部接続ルー利用者ごとの領域には 5TB のディスク容量タと 40Gbps を 2 本で、Wisteria の外部接続が無償で利用できる。また、登録されているスルータとは 100Gbps を 2 本で接続する。

ーパーコンピュータで付与されているグループ

37

のディスク容量の 15%を各プロジェクトのグル

ビスを希望したグループは 2022 年 11 月 30 日

ープごとの領域として無償で利用できる。

まではグループごとの領域に 5TB の無償分のディスク容量が付与される。ただし、2022 年度(例) 以下の 2 グループに所属している場合（ユーザも同プロジェクトコードで本センターのスーパ

ID：UserA）

ーコンピュータへの登録がある場合は、登録さWisteria/BDEC-01: ProjectA（100TB、2022 年 12

れているスーパーコンピュータにおけるディス月まで）
Oakbridge-CX: ProjectB（20TB、2023 年 3 月まで）

ク容量の 15％が無償分のディスク容量として→ /home/UserA/ : 5TB（2023 年 3 月まで）付与される。移行した容量が無償分を超えてい/work/ProjectA/ : 15TB（2022 年 12 月まで）る場合もあり 2022 年 12 月 1 日以降も利用する/work/ProjectB/ : 3TB（2023 年 3 月まで）には有償申込を必要とする。2022 年 12 月 1 日
以降も利用する場合のディスク容量と利用負担無償分を超えて利用したい場合は利用負担金(表 2)でディスク容量を追加することもでき金(表 2)は同様である。

る。ただし、ディスク容量追加の金額算出時に6は有償で追加済みのディスク容量を含む。

OFP からのファイル移行

6.1 予備調査(例) 既に 1TB・12 か月を有償で追加済みで、更にIpomoea-01 導入前の 2021 年 12 月に OFP10TB・12 か月を追加する場合利用者に対し運用終了に伴うファイル移行希望→ ([350 円/1 か月] × 9TB × 12 か月) ＋ ([250の予備調査を実施した。この調査でファイル移円/1 か月] × 1TB × 12 か月) = 40,800 円

行に 3 ヶ月を要することが算出され、OFP のストレージとファイル移行に必要な最小構成機

5.2 ユーザ ID がない場合利用申込手続きをすることで利用すること器を 4 月から 1 か月間残すことにした。

ができ、利用申込ディスク容量に対する利用負担金(表 2)が発生する。

6.2 ファイル移行構成

5.3 ファイル Web 公開サービス

マウントし rsync を実行することとした。OFP

ファイル移行は OFP と Ipomoea-01 を NFS

Ipomoea-01 上のファイルを Web 公開するこはプリポストノード 8 台、Ipomoea-01 はログとができる。利用者のホームディレクトリ

インノード 4 台を移行用サーバに活用し rsync(/home 配下)を対象とし、意図しない公開となを多重起動する。移行対象ファイルを順次移行らないよう代表者からの希望制としている。申するが、ファイルサイズやファイル数が大きい込後に Web 公開に必要なファイル(.htaccess)をものは分析した上で多重度と調整しながら移行該当ディレクトリに配置し、利用者自身で認証する。

や公開範囲を設定する。
5.4 OFP サービス終了に伴う対応
2022 年 3 月にサービス終了した OFP の利用者向けにファイル移行サービスと 2022 年 11 月30 日までの無償利用措置を実施した。OFP からの移行ファイルの対象を希望制とすることで移行期間の短縮を図った。詳細は次項で述べる。
OFP からのファイル移行サービスを希望した利用者は 2022 年 11 月 30 日までは利用者ごとの領域に 5TB の無償分のディスク容量が付与される。グループ代表者がファイル移行サー38

図 3．ファイル移行構成図

6.3 ファイル移行

い。一方で、複数システムを利用している利用

2022 年 1 月にファイル移行希望の本調査を者がシームレスなデータ利用とシステム間のデ実施し、その下旬からファイル移行を開始する

ータ移行時の不便を解消できることは間違いなが、OFP は 3 月までサービスを継続しておりく、今後の利用拡大に期待する。

利用者のファイルが更新されるため、サービス終了した 4 月に rsync にて差分データの最終同期を実施した。移行前に取得済みのファイルリストからファイルの同一性(チェックサム)を比較することで移行完了の確認とする。ただし、ファイルリストの全数ではなく、無作為にファイルを抽出している。
表 3．ファイル移行対象データ
ユーザ

グループ

合計

ディレクトリ数

11335148

ユーザ数

96--

グループ数

7635-

サイズ(GiB)

1,224,573108,427

1,332,999

ファイル数

222,402,820

1,134,035

222,536,855

ファイル数(1MiB173,563,418

589,902174,153,320

未満)

7

利用状況
Ipomoea-01 のディスク使用率は 2022 年 10月現在 4%程度に留まっている。また、OFP から移行したファイルが大きく、ディスク使用量の 70%近い容量が無償分を超えた利用者で締めているため、12 月からの有償サービスが始まるまでにさらに使用率が下がる可能性がある。一方、OBCX のサービスが 2023 年 5 月末まであり、OFP の後継機を 2024 年 4 月に導入する予定であるため、本センターの利用者が Ipomoea01 にデータ移行することを想定しており、今後使用率が高くなると予測する。

8まとめ
本稿では、2022 年 6 月より運用を開始した

Ipomoea-01 大規模共通ストレージシステムについて導入と利用状況を報告した。まだ 4 ヶ月が経過したばかりであり利用は多いとは言えな

39

参考文献
[1] 東京大学情報基盤センター
http://www.cc.u-tokyo.ac.jp/[2] Ipomoea-01 システム
https://www.cc.utokyo.ac.jp/supercomputer/ipomoea01/service/[3] Oakbridge-CX スーパーコンピュータシス
テム
http://www.cc.u-tokyo.ac.jp/supercomput
er/obcx/service/[4] Wisteria/BDEC-01 スーパーコンピュータシステム
https://www.cc.utokyo.ac.jp/supercomputer/wisteria/servi
ce/[5] Oakforest-PACS スーパーコンピュータシステム
https://www.cc.utokyo.ac.jp/supercomputer/ofp/service/[6] mdx: データ活用社会創成プラットフォー
ム
https://mdx.jp/[7] 東京大学情報システム部 「大規模共通ストレージシステム（第 1 世代）運用に関するお知らせ」、東京大学情報基盤センタース
ーパーコンピューティングニュース、
Vol.24 No.1 (2022 1 月)．
https://www.cc.utokyo.ac.jp/public/news.php#VOL24