グローバル化する学術研究を⽀える
サイバーインフラストラクチャ
⼤阪⼤学サイバーメディアセンター
応⽤情報システム研究部⾨ 伊達 進

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

1

⼤阪⼤学
Under the motto "Live Locally, Grow Globally,"
Osaka University grapples with the challenges of education and research

Organization• 11 Schools• 15 Graduate Schools• 6 Research Institutes• 2 National Joint-Use Facilities• 13 Joint -Use Education and Research Facilities• University Library• 2 University Hospitals• World Premier International Research Center (WPI)
Initiative• Institute for Academic Initiatives• Center for Education in Liberal Arts and Sciences

Faculty

3,293Students• Undergraduate• Graduate研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー

http://www.osaka-u.ac.jp/en/index.html タポリシーと研究データ基盤の活⽤について〜

14,8908,154
2

サイバーメディアセンター(CMC)

学内外の情報基盤を⽀える全国共同利⽤組織として設⽴

https://www.cmc.osaka-u.ac.jp/
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

3

CMC http://www.hpc.cmc.osaka-u.ac.jp/

CMC吹⽥本館

ITコア• ⼤阪⼤学のスーパーコンピューティングセンター• 学内だけでなく学外の教育・研究組織や産業界と密接に連携したセンターとして機能することが求められた全国共同利⽤施設でもあり、その⼀環として、全国の⼤学の研究者が学術研究・教育に伴う計算及び情報処理を⾏うことができるよう、種々の⾼性能な⼤規模計算機システムを提供
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

4

CMCのサイバーインフラストラクチャの概要• 2系統のスーパーコンピュータ• OCTOPUS: 1.4 Pflops Since 2017

• SQUID : 16.594 Pflops since 2022

• データ集約基盤ONION• Object Storage HyperStore (0.5 PB)• Parallel File System ExaScaler (21PB)

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

5

OCTOPUS since Dec. 2017
• ペタフロップス級ハイブリッド型スーパーコンピュータ(Osaka university Cybermedia cenTer Over-Petascale Universal Supercomputer)CPU nodes: 236• 総理論演算性能 1.463 PFlops

GPU nodes: 37

Many core nodes: 44

Large memory nodes: 2Storage

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

6SQUID since May 2021
• クラウド連動型⾼性能計算・⾼性能データ分析⽤スーパーコンピュータ(Supercomputer for Quest to Unsolved Interdisciplinary Datascience)• 総理論演算性能 16.591 PFlops

最新 3 種混合プロセッサ・アクセラレータ搭載！
SQUIDは、2021 年 4 ⽉に発表されたばかりの Ice Lake世代のプロセッサをはじめ、最新 GPU アクセラレータ
NVIDIA HGX A100 8 GPU ボード、最新ベクトルプロセッサNEC SX-Aurora TSUBASA Type 20A を搭載しています。汎⽤ CPU ノード群は、 Ice Lake 世代のプロセッサを搭載する国内最⼤級となります。
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

7

⼤規模計算機システム事業
CMCのスーパーコンピュータをご利⽤できる環境を整備するとともに、利⽤者の皆様がスーパーコンピュータを利活⽤できるよう、情報推進部とCMCの教職員で⽀援しています。

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

8サイバーインフラ⾼度化への課題(1)• 学術研究の広域化・グローバル化、産学共創への期待• 共通の課題解決にむけて世界の研究者と協働する国際共同研究
地理的に分散する計算資源、データ資源を駆使して、研究開発できる環境

⻑峯健太郎, “理学研究とクラウド利⽤のニーズ:理論宇宙物理学の例”,
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
11
Cyber HPC Symposium 2019, Mar. 2019. 発表スライドより。 タポリシーと研究データ基盤の活⽤について〜
OUビジョン2021 - 社会変⾰に貢献する世界屈指のイノベーティブな⼤学へ-,
https://www.osaka-u.ac.jp/ja/oumode/OUvision2021/y66s8j

サイバーインフラ⾼度化への課題(2)• HPDA分野の計算ニーズの急速な⾼まり• AI/MLを活⽤するデータ駆動型サイエンス• 各種IoTセンサを利活⽤したビッグデータ解析• HPC for AI, AI for HPC• データ同化シミュレーション, AIによる計算結果の判定, etc…

IoT-edgecloud
HPDA(AI/ML/DL..)

HPC(シミュレーション、数値計算)

多様なデータをスーパーコンピューティング環境に“集約”できるデータ基盤= 学術研究のデータフローを妨げないデータ基盤= 利⽤者のデスクトップ環境、クラウド、スパコン環境を問わずデータ（計測データ、計算結果、等）を簡易に移動・管理できる環境

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

12サイバーインフラ⾼度化への課題(3)• 研究データ保存, Reproducibilityに向けた動きの活発化• 公正な研究活動の推進にむけて、研究活動に伴い作成・取得した研究データの保存期間および管理⽅法等についての基準を定めたガイドライン策定• 様々な科学データ計測機器がキャンパス内に存在しており、そのデータ管理・移動が課題• ⼤容量・⼤規模データを取り扱うSCセンターとしての役割・責任

近い将来、 SCセンターとしてデジタル化された研究データを適正に管理するためのデータ基盤を提供する必要がある？

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

13これまでのCMCの計算環境： before SQUID• 外部からIsolatedで independentな計算環境• スーパーコンピュータ群はログインノード＆フロントエンドノード経由でのみ利⽤• SC環境へのデータ移動、SC環境からのデータ移動はscp, sftp経由が基本※HPCI供⽤ストレージは利⽤可能• SX-ACE(NEC ScateFS) ‒ OCTOPUS(Lustre)
間はNFSでデータ移動可能

従来までのHPC分野からだけでなく、AI/ML/DLなどのHPDA分野の新しい計算ニーズの登場により、SCP, SFTPだけでなく、データ移動を⾃動化・遠隔利⽤化できる仕組みへの要望が急拡⼤• 科学計測機器で計測されたデータを簡易に学内外の研究者と共有できる• 多様なデータアクセスプロトコルを隠蔽したGUIでデータ操作できる• クラウドストレージと連動できる。
• etc
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

14

SQUID+ONION 5つのチャレンジ
特徴2. クラウド連動・連携機能

データ集約基盤ONIONード
オフロ 備に時
配状態
⾼負荷 品の早期実戦
新製• Osaka university Next-generation Infrastructure for Open特徴1. HPC・HPDA融合
research and open InnovatioN
クラウドノード群• 世界最⾼⽔準の基礎的、基盤的研究や学際融合研究が⽣み出す
HPC特化ソフトウェアスタック提供によるバッチ処理
多様な知の創出と深化に寄与すべく、総合⼤学である⼤阪⼤学内で創出された「利⽤可能な超⼤量データを将来に渡る持続可汎⽤計算ノード群能性を保持しつつ責任をもって活⽤」可能にするとともに、新1520 ノード
HPCユーザ(PCI Gen4対応プロセッサ搭載,⼤規模シミュレーション
たな社会的価値の創出を⽬指した「産学共創」「国際共同研
パラメータスタディ
256+GB）
AI駆動型HPC究」のための学内外でのデータ利活⽤を⽀援するデータ集約基
HPC駆動型AI
総計 6.0+ PFlops
盤
HPC⽤フロントエンド
ユーザ個別HPDA特化ソフトウェ
アスタック提供によるインタラク
vm
+vm
ティブ処理
vm
• スーパーコンピュータSQUIDの調達に合わせて
vm
vm
PoC (Proof-of Concept)実装として試験的に導⼊vm
SCノード群 (Type A: GPU)
vm
HPDAユーザvm

HPDA⽤フロントエンド
DeepLearning
特徴3.
セキュアコンピューティング環境

総計

2.8+ PFlops

Learning
投⼊されたジョブは、他ユーザか+(1)Machine
本格的に⼤規模なONIONを整備してしまうと、調達主⽬的のら資源分離された環境で計算スーパーコンピュータの規模を⼤幅に縮減してしまう。
vm(2) 構想したONIONが有⽤でなく、利⽤されない場合もありえる
SCノード (type B：VE)
セキュアフロントエンド

セキュリティ重視ユーザ
DeepLearning
Machine Learning

セキュアステージング機能

⺠間クラウド(Iaas)事業者

ODINS網を活⽤した
学内部局からのデータ集約

ODINS
広帯域・低遅延ネットワーク200Gbps

特徴5. テイラーメイド型計算

クラウドストレージを活⽤した
海外研究拠点とのデータ共有

データ集約スト
レージ 500TB
特徴4.データ集約環境
⺠間クラウド(ストレージ)事業者

データ集約基盤

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
総計 300+ TFlops
タポリシーと研究データ基盤の活⽤について〜
4th S2DHシンポジウム - 2021.03.05 - ⼤容量⾼速ストレージ
20+1 PB (HDD+SSD)

ONION
15

ONIONに向けた要求要件
1. キャンパス内に存在する科学計測機器、IoTセンサ機器等の各種デー
タ⽣成源からのデータを収容可能であること
このようなデータ源から⽣成されるデータを利活⽤するHPC・HPDAへの期待・関⼼

2. スーパーコンピュータ利⽤者以外の研究者がONION上の研究データにアクセスできること
国際共同研究、産学共創活動では、必ずしもすべての研究者がスーパーコンピュータのアカウントを持っているとは限らない。

3. 研究グループ代表者にストレージ管理権限を委譲でき、スーパーコンピュータを利⽤しない研究者にもアカウントを発⾏できること
例えば、ストレージ容量を切り分け、学内部局、あるいは研究代表者に、その管理権限を研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
委譲したい。ストレージのみを利⽤する利⽤者のアカウント管理負荷増⼤は避けたい。
16
タポリシーと研究データ基盤の活⽤について〜

ONIONに向けた要求要件
4. 利⽤者個別に利⽤者のストレージをONIONと連携可能である
こと研究室で管理するストレージ、クラウドストレージなどと連携させ、ONIONとの間のデータのやりとりの負荷を最⼩限にしたい。

5. ONION、および、ONIONと連携する各種ストレージ群のシングルディスクイメージビューを利⽤者に直感的に提供できること
ストレージ構成に詳しくない利⽤者に対して、それらストレージへのアクセス情報等を意識させることなく、利⽤者が直感的なデータ操作を⾏える必要がある。

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

17

ONIONに向けた要求要件
6. ⾼性能：⾼性能計算および⾼性能データ分析で要求される⾼いI/O性能を提供できること
従来のスーパーコンピュータシステム同様に、⾼いI/O性能は必要不可⽋

7. 将来計画との親和性：NIIの運⽤する研究データ管理基盤
GakuNinRDMとの接続性を有すること
研究データを適正に保存し、研究のReproducibilityを⽬指し、近い将来の可能性を担保しておきたい。

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

18

ONIONの概要
3種のストレージソリューションを相補完的に連動
クラウドストレージサービス
外部クラウドスト
レージとの連携

海外研究所

データ集約ゲートウェイ
Web UIで利⽤者がデータ操作可能

並列ファイルシステム

海外研究所とのデータ共有

オブジェクトストレージ

ONION
科学計測機器
学内部局

科学計測機器の計測データを⾃動的にストレージに収容
各種センサデバイスの計測デー

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜
タを⾃動的にストレージに収容

IoTセンサ19

ONION内部構成
SQUIDユーザstp
ht

データ集約基盤ONION

学内部局
科学計測機器
NFS

NFS

WebDav

WebDav対応
クラウドストレージ

S3S3対応ストレージ@ A⼤学

オンラインストレージ
NextCloud
Web
DAV
S3

CIFS

並列ファイルシステム
EXAScaler
S3

S3対応
クラウドストレージ

pshtt

S3

S3
オブジェクトストレージ
HyperStore

S3

S3
S3

in ⼤阪 〜研究デー
IoTセンサ 研究データ管理（RDM）説明会2022
⾮SQUIDユーザ
タポリシーと研究データ基盤の活⽤について〜

S3対応
クラウドストレージ
20

ONION内部構成
SQUIDユーザ
stp
ht

Web
Dav

WebDav対応
クラウドストレージ

S3

要件(4) 外部ストレージ連携 S3対応ストレージ
要件(5) SDIの提供
データ集約基盤@ A⼤学
ONION
オンラインストレージ
NextCloudWebDav
要件(2) ⾮スパコン
S3
要件(7) 将来計画S3
学内部局
ユーザのデータアクセシビリティ(GakuNinRDM)との接続性
科学計測機器
S3対応
CIFS
NFS
S3
クラウドストレージ要件(1) 科学計測機器、IoTセン
NFS
並列ファイルシステム
オブジェクトストレージ
サからのデータ収容
EXAScalerHyperStore要件(6) ⾼いI/O性能
S3

サからのデータ収容S3

要件(2) ⾮スパコン
ユーザのデータアクセシビリティ
pshtt

S3 要件(1) 科学計測機器、IoTセン

要件(3) マルチテナント性S3in ⼤阪 〜研究デー
IoTセンサ 研究データ管理（RDM）説明会2022
⾮SQUIDユーザ
タポリシーと研究データ基盤の活⽤について〜

S3対応
クラウドストレージ
21

ONION at a glance

DDN EXAScaler

Cloudian HyperStore Appliance 1610

研究室 webdav

研究所 S3・・・

科学計測機器研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

22[Usecase 1] SQUIDを利⽤していない研究者とのデータ共有• ジョブ終了後に計算結果をスマホで確認し、即座に共同研究者と共有①スケジューラからジョブ完了通知メール受信②ONION webにログイン(ブラウザ or アプリ)

③対象ファイルを確認
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜④ 共有設定する

23

[Usecase (2)] S3対応データ源からHyperStore/EXAScalerへのデータ移動
データ集約基盤
ONION
オンラインストレージWeb
NextCloud

Dav
S3
NFS

CIFS

S3

並列ファイルシステム
EXAScaler

オブジェクトストレージ
HyperStore

S3
S3

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
S3対応データ源
タポリシーと研究データ基盤の活⽤について〜

24⼤阪⼤学から世界に広がるONION Ring
mdx

ONION ring

マテリアルDX

データ集約
ストレージ
500TB

ODINS網を活⽤した
学内部局からのデータ集約

ODINS

クラウドストレージを活⽤した海外研究拠点とのデータ共有

⼤容量⾼速ストレージ
20+PB (HDD)⺠間クラウド(ストレージ)
事業者

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

25
25

ONION強化：⼤容量研究データの収容
CMC

拠点E

LBDTN

拠点A

100GbEDTNCOMPUTEs

DTNs

100GbEFW

400GbE

ODINS
u

閉域NW
拠点B

100GbEDTN

100GbE

拠点D
DTN

100GbE

u

拠点C
DTN

u

SINET

データ転送ネットワーク
n

⾼速データ通信、⾼セキュリティを確保する100GbE の閉域
NWn

⾼速データ転送を可能とするデータ転送ノード

セキュアONIONn

暗号化、複製をサポートし、永続的なデータ保全を実現する
ストレージサービス群n

隔離環境によるセキュリティ向上

データ解析環境n

データ研究、活⽤、相互交換を実現する計算環境n

隔離したネットワークでの⾼セキュリティの計算環境

研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜2公正な研究活動のための⼤阪⼤学の研究データ管理基盤(利⽤・管理フロー)

データ源：キャンパス内
科学計測機器・センサー

学内研究者

ク級 ワー
G
0 ト
10 ッネ
N
IO
NO

学内研究者

(A1)⼤阪⼤学データIDの付与(A3) ホットストレージからコールドストレージへの移⾏作業・研究デー
タの保全、⻑期管理

ID: http://osakaU/microscope328/
データ集約基盤
u036623k/202207-data(w1)⼤容量取得・計測データのONIONへの集約・収容(A1)⼤阪⼤学データIDの付与

NII研究データ基盤
Research Data Cloud

ID: http://osakaU/microscope328/
u036623k/202207-data(w4) 論⽂投稿時等、研究の再現性(reproducibility) のため研究データ登録・公開

SINET(w2)計算基盤活⽤による取得・計測デー
タ等の ⾼性能計算・⾼性能データ分析(A2) バックアップ・データ保護等
オープンリサーチ・オープンイノベーションを加速する
データ管理
研究データ集約管理基盤ONIONの整備・拡充

ONIONによる研究データ管理フロー

学外研究者

研究データ管理ポリシー等の制定及び管理・公開⽀援、並びに公開データの活⽤

計算基盤

研究者のデータ利活⽤フロー(w3) 計測データ・解析結果の学内外共同研究者への即時共有

学外研究者

研究推進部・図書館適正な研究データ管理ポリシー策定・推進＊研究データ(計測データ、計算結果、論⽂等)の管理⽅法の策定
CMC ONION準備室(教員1, 職員1)
＊ GakuNinRDMとの連携による敵意な研究
データ管理運⽤ポリシー策定・実施
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
27
タポリシーと研究データ基盤の活⽤について〜 データ利活⽤⽅法策定＊ 安全かつ適切なデータ基盤運⽤

まとめ• ⼤阪⼤学サイバーメディアセンターでは、学術研究の広域化・グローバル化、HPDA分野の計算ニーズの⾼まり、研究のReproducibilityに向けた動きの活発化を背景に、データ集約基盤ONIONを試験導⼊・運⽤している。
• ONIONは３種の異なるストレージソリューション(⾼性能並列ファイルシステムEXAScaler, オブジェ
クトストレージHyperStore, オンラインストレージNextCloud)をS3プロトコルを中核として連動・連携し、以下の７要件を満たすデータ集約基盤である。
1.
2.
3.
4.
5.
6.
7.

科学計測機器、IoT機器からのデータ収容（接続性）
⾮スパコンユーザのデータアクセシビリティ
マルチテナント性
外部のストレージとの連携
シングルディスクイメージの直感的な提供
⾼いI/O性能将来計画(GakuNinRDM)との接続性計算基盤(SQUID＆OCTOPUS)とデータ基盤ONIONのシナジー効果に対する、広域環境で⾏われる学術研究からの⾼い期待と関⼼がある。⼤⾚⼤学では研究データの⽣成から公開までを⼀元管理しつつ、学術研究の⼤幅な⽣産性向上・データ管理に向けた基盤・体制整備を進めている研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

28

今後の課題• 実際に利⽤者にONIONを利⽤して頂き、利便性向上に向けた技術課題を抽出• 現在のONIONはスパコン調達での試験導⼊であるため、⾮スパコン利⽤者に向けた機能強化が必要• データの取り扱いに関する⽅針、ルール・体制整備• 現状では、スーパーコンピュータのストレージ管理⽅針に準ずるが、特性の異なる研究データをどのように取り扱うかについては今後の議論・検討が必要不可⽋• 現在のONIONは⼤規模計算機システム事業の延⻑として⾏っているた
め、データを適切に管理するための⼈員が決定的に不⾜している。

• 他⼤学や研究機関との連携・協調• 他⼤学や研究機関と情報交換をしながら、相互に研究データを適切に管理できるよう連携・協調が必要• 学内の⼀貫した連携体制
研究データ管理（RDM）説明会2022 in ⼤阪 〜研究デー
タポリシーと研究データ基盤の活⽤について〜

29