「ビッグデータを取り巻く制約からの解放」
PCクラスタワークショップ in 大阪2023「ビッグデータとHPC」
2023年6月21日

於：富士通 Osaka Hub

Paciﬁc Teck Japan 合同会社

©2023 - Paciﬁc Teck Japan G.K.

Senior Engineer 森本 賢治

Paciﬁc Teck ポートフォリオ

 ジョブスケジューラ

 HPC向けコンテナ

 S3互換クラウドストレージ ルール指向⾼機能ストレージ構築ミドルウエア

Title Sample HPC & Machine Learning クラスター構築・管理ツール
Experts Title
Sample ストレージソフトウエア
 並列ファイルシステム
Subheading Sample HPC & Machine Learning Experts Subheading Sample
 開発及びプロファイリングツール
YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan

 オブジェクトストレージ

随時拡⼤していきます©2023 - Paciﬁc Teck Japan G.K.

はじめに

ビッグデータとはもともとデータマイニング界隈で用いられていた単語。
一般的に用いられるようになったのは2010年頃と言われる。
定義は明確ではなく、容易にハンドリングできない量とサイズのデータ群という共通認識のみ。
当時は全世界のデータの合計はまだZBに届くか届かないかの様相。

Title Sample HPC & Machine LearningExperts Title Sample
2015年頃にその活用が始まったとされ、活用元年などと言われた
Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan

データを生成するデバイス数の増大、それを処理する計算能力の向上、第3次から切れ目なく続く、第4次AIブーム。
データがデータを生み、益々複雑な構造が作られる状況に拍車がかかる。
©2023 - Paciﬁc Teck Japan G.K.

ストレージの現状について

小KVS• 小サイズ、構造なし、1対１

これら要素技術を組み合わ• 複数条件での検索に特化、RDB、構造データ等
せて、要件と予算に見合うPOSIX
ストレージをSubheading
Sample HPC & Machine Learning
Subheading Sample• いわゆるファイルストレージ、Lustre,
BeeGFS, Experts
CIFS
カスタム

Title Sample HPC & Machine Learning
Experts Title Sample

大サイズ

DB

Object Storage YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan• S3, SWARM, Blob 等、転送を要するが広大な領域を利用©2023 - Paciﬁc Teck Japan G.K.

今後もこれで良いですか？

製品群ご紹介©2023 - Paciﬁc Teck Japan G.K.

VASTの構造と思想
CLIENTS: NFS, NFS+RDMA+GPUDirect, SMB, S3

同一データにマルチプロトコルでアクセス可能。さらに追加予定

PROTOCOL SERVERS プロトコル変換のみ。ステートレスでキャッシュ無しTitle Sample HPC & Machine Learning
Experts Title Sample
NVME FABRIC: COMMODITY ETHERNET OR INFINIBANDQLC NANDとSCMを用い、

Subheading Sample HPC & Machine Learning Experts Subheading Sample
大容量、高速、長寿命
NVMe ENCLOSURE
8x SCM
22x QLC FLASH

NVMe ENCLOSURE

8x SCMYYYY MM DD Paciﬁc
Teck / Event name – Tokyo, Japan8x SCM
22x QLC FLASHGLOBAL NAMESPACE©2023 - Paciﬁc Teck Japan G.K.

NVMe ENCLOSURE

22x QLC FLASH

高可用性を同時に実現
150/146のErasureCode

VASTのスループット

162GiB/s

Title Sample HPC & Machine Learning
Experts Title Sample
46GB/sSample HPC & Machine Learning Experts Subheading SampleSubheading

YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan©2023 - Paciﬁc Teck Japan G.K.

VASTに標準搭載の機能

NFS v3.0 & v4.1

Encryption-At-Rest

Similarity-Based Data Reduction

w/ RDMA, GPUDirect, byte-range locks

FIPS-grade security

Unprecedented storage efficiency

No-Overhead
Locally-Decodable
Data Protection
Title Sample HPC&Snapshots
MachineLearningExperts Title Sample

SMB 2.1 (resilient SMB)

Stateful file services; stateless servers.

Space and performance efficient

Unrivaled resilience, only 2.5% overhead

Subheading
Sample HPC& Machine
Subheading
SampleS3-Compatible
API, w HTTPS
Replication
to Learning
Cloud/S3 ExpertsAutomation
Plugins
Stateful file services from containers.

Snapshot to an S3 endpoint of choice

Kubernetes CSI, Manilla Driver

YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan

Multi-Protocol NamespaceEnterprise Authentication

Easily traverse between file & object

Support for LDAP, AD, NIS©2023 - Paciﬁc Teck Japan G.K.

Directory Quotas

CUNO FS

Object Storage

POSIX
File System

Linux/Windows/MacOS
POSIX Workloads

Title Sample HPC & Machine Learning
CUNOは多彩なオブジェクトストレージをPOSIXファイルシステムとしてExperts Title Sample
マウントしているかのように使うことができるツール。
Subheading Sample HPC & Machine Learning Experts Subheading Sample
S3等の広大な容量を持つオブジェクトストレージから、ステージングすることなくファイルの直接操作を実現。
同様なツールとは一線を画す、高いパフォーマンスと使い勝手。
YYYY MM DD Paciﬁc Teck / Event name – Tokyo, JapanOCI©2023 - Paciﬁc Teck Japan G.K.

CUNOの使い勝手

Title Sample HPC & Machine Learning
Experts Title Sample
Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan©2023 - Paciﬁc Teck Japan G.K.多ファイルコピーでの性能評価

Lower is better
Title Sample
HPC & Machine Learning
Experts Title Sample
単位: 分Subheading Sample HPC & Machine Learning Experts Subheading Sample

単位: 秒

YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan©2023 - Paciﬁc Teck Japan G.K.

大ファイルアクセス時の性能比較

特にオブジェクトストレージとインスタンス
Title Sample
HPC&Machine
Learning
Higher is better間の接続が高速なクラウド環境で有用。
容量と課金を気にしながらステージング用のExperts Title
Sampleストレージを用意したり、転送待ち時間を発生させず、いきなり高速データ利用が可能。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan©2023 - Paciﬁc Teck Japan G.K.

BeeGFSの新しい機能拡張

BeeGFS HIVE
BeeGFSに保存されているデータのインデックス

Title Sample HPC & サービス。OSのシステムコールを使うことな
Machine Learning
く、Experts Title
Sample
膨⼤な数のファイルの検索等を、クエリで超⾼速に⾏うことが可能。
Subheading Sample HPC & Machine Learning
Experts Subheading Sample

OSSのGUFI（Grand Uniﬁed File Index)をBeeGFSに取り込んだ実装。

YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan

最新版 7.3.3 で適⽤可能。
https://doc.beegfs.io/latest/hive/hive_index.html©2023 - Paciﬁc Teck Japan G.K.

Title Sample HPC & Machine Learning
Integrated Rule Oriented Data System
Experts Title Sample
 RENCI(Renaissance Computing Institute) 複数のサーバーの管理下にあるファイル
SubheadingSample
HPC&Machine
Learning
Experts Subheading Sample
ストレージを単一ネームスペースで統合
米国の複数大学のコンソーシアムによりした仮想ファイルシステムを構成
20年間開発されているミドルウエア
YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan ユーザー定義のメタデータ付与により
 修正BSDライセンスのオープンソースポリシーベースのデータ移動をはじめさまざまな自動処理を実現
 組織間連携を含む大規模サイトでの導入事例が多数。
©2023 - Paciﬁc Teck Japan G.K.

iRODS の基本概念 Zone, Catalog, Resource•

複数のサーバーの管理下にある、ファイルシステムやオブジェクトストレージ(リソース)を持ち寄って構成される、単一名前空間の仮想ファイルシステムを Zone と呼ぶ。

Title Sample HPC & Machine Learning• ファイルやリソースに付与されるExperts Title Sample
メタデータや配置情報等の総称をカタログデータと呼びRDBで管理。
Subheading Sample HPC & Machine Learning Experts Subheading Sample•

リソース間でレプリケーション等を実現する仮想リソースを設定し、YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan
それらを組み合わせて Zone を構成。

©2023 - Paciﬁc Teck Japan G.K.

Catalog Data

ファイル
ファイル名＋拡張子
所有者
ファイルサイズ
最終アクセス日時

ファイルに付随するメタデータ
POSIXファイルシステムではこれらが仕様として用意されるが、ユーザーにとっては全く不十分。

Title Sample HPC & Machine Learning
Experts Titleファイルに関するメタデータは多種多彩
Sampleファイルフォーマット
iRODSでは、これらをカタログデータ想定用途
Subheading
Sample HPC & Machine Learning
Experts Subheading Sample

として自在に付与でき、RDBで管理。
チェックサムユーザーはAPIやコマンドからクエリを画像解像度
YYYY MM DD Paciﬁc Teck / Event 発行し、検索に利用できるだけでなくname – Tokyo, Japan
前処理済みか未然かiRODSによるデータ処理のトリガーや正常データかエラーデータかタグとしても利活用される。
生成元情報 etc…
©2023 - Paciﬁc Teck Japan G.K.

PEP ‒Policy Enforcement Point-• iRODSは処理の途中に独自のコードを差し込むことができる。様々なシチュエーションで処理をフックしデータの処理や移動を記述。
配布されているティアリングプラグインも、これで実現したサンプル。
• この再実装可能なポイントをPEPと呼び、全体では数百実装されている。

Title Sample HPC & Machine Learning• ルール記述はPEPに対してイベントドリブンコードを入れたり、ルールエンジンのコード
Experts Title Sampleを呼び出すことで行う。
• 独自文法の言語があるが、昨今はプラグイン
Subheading Sample HPC & Machine Learning Experts Subheading Sample
で利用可能なPythonが使われることが多い。
APIについては、JavaやC++も対応する。
YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan©2023 - Paciﬁc Teck Japan G.K.

まとめ

• データの量・サイズ・複雑性・生成速度、全ての属性が拡大傾向にある現在、既存手法の改善と共に、新しいアーキテクチャの開発も続いており、引き続き動向に注視したい。
• 一方で、機能付加により、利便性・パフォーマンス共に大幅な改善を得られる場合があり、要検討。

Title Sample HPC & Machine Learning
Experts Title Sample
Subheading Sample HPC & Machine Learning Experts Subheading Sample

お問合せはコチラ
YYYY MM DD Paciﬁc Teck / Event name – Tokyo, Japan©2023 - Paciﬁc Teck Japan G.K.

Thank you!

©2023 - Paciﬁc Teck Japan G.K.