第23回PCクラスタシンポジウム「HPC基盤技術と生成AI」
HPC Infrastructure Technology and Generative AI

AI/HPC時代を実現するためのソフトウエア紹介
HPCコンテナのデファクトスタンダード
Singularity PRO / Enterprise
Pacific Teck Japan 森本賢治
2023/12/07

Pacific Teck ポートフォリオ◼ ジョブスケジューラ◼ HPC向けコンテナ◼ S3互換クラウドストレージ◼ ルール指向高機能ストレージ構築ミドルウエア

Title Sample HPC & Machine Learning
Experts
Title
Sample◼ ストレージソフトウエア◼ クラスター構築・管理ツール

Subheading Sample HPC & Machine Learning Experts Subheading Sample◼ 並列ファイルシステム◼ 開発及びプロファイリングツール
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan◼ オブジェクトストレージ

随時拡大していきます©︎2021 - Pacific Teck Japan G.K.

Singularity ラインナップ

Singularity CESingularity PRO

Singularity
Enterprise©︎2020©︎2022 - Pacific Teck Japan G.K.

SingularityCE・SingularityPRO・Singularity EnterpriseSingularityCE▪ オープンソースで提供され、有償サポートはありません。
▪ 新機能は最初に実装されますが、セキュリティ対応や修正は最新版にのみです。
▪ Sylabs社のクラウドサービス（リポジトリ・リモートビルド）も利用可能。

SingularityPRO▪ Sylabs社による検証・署名済みバイナリを提供します。
▪ 長期サポート（リリースから2年）・機能追加・プラグイン開発を依頼できます。
▪ 脆弱性の公開前に対応済みバイナリが提供され、バックポートにも対応します。

Singularity
Enterprise
Subheading Sample
HPC & Machine
Learning Experts Subheading Sample▪ コンテナランタイムとしてはSingularityPROを提供します。
▪ Kubernetes上に、RemoteBuilder, KeyStore, Libraryを提供します。
EKS,YYYY
MMGKEもサポート。ただし、Kubernetesの運用はユーザー責任です。
DD Pacific Teck / Event name – Tokyo, Japan▪ 自社・自サイトの認証基盤を統合可能です（パブリッククラウドでは不可）
SingularityにはKubernetesやOpenShiftのようなオーケストレーター実装がありません。
ただし、OCIイメージを取り込んだり、SIFをOCI bundle として見せたり、runc を使って動作させることが可能です。
©︎2022 - Pacific Teck Japan G.K.

2023年の Singularity News
• SingularityCE のバイナリパッケージが EPEL から利用可能に。
• SingularityCE 3.11 が、次期4.0へ向けての新機能を搭載してリリース。
• M1 な macOS に SingularityCE をインストールする方法が示されました。
• Singularity3.0 のリリースから5年。SingularityCE 4.0 がリリースされました。
OCI(Open Ｃｏｎｔａｉｎｅｒ Ｉｎｉｔｉａｔｉｖｅ）規格互換。
SingularityPRO 4.x は 24年Q1 プロダクションリリース予定の 4.1 から。
• Singularity Enterprise 2.3/2.4 がリリースされました。
• いよいよ ＳＢＯＭ（Ｓｏｆｔｗａｒｅ Ｂｉｌｌ ｏｆ Ｍａｔｅｒｉａｌｓ）対応がまったなしに。
©︎2022 - Pacific Teck Japan G.K.

リソースの扱いと目的の違い
Singularity

共有・統合

リソース
名前空間

隔離・制限

OCI（Docker)

Singularity• コンテナをホスト環境の一部として捉え、各リソースを共有して使えることを目指した。
• シェルからのHPCアプリケーションの起動に特化した使い勝手。
• イメージをシングルファイル内で固定して再現性を担保。

OCI(Docker)• ホストとコンテナを別システムとして隔離することを求めた。特にマルチテナント環境では必須要件。
Subheading Sample HPC & Machine Learning Experts Subheading Sample• 複数コンテナを組み合わせて、特定用途向けサービスのシステム構築に用いられることが多い。
• いくつもレイヤーを重ねて１つのイメージを作る。差分アップデートを容易にした配布形態。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan••

方向性は異なる一方で、特にコンテナエンジンでやってることは、大きくは変わらない。デフォル
トの動作や設定に違いがあるだけ。むしろイメージハンドリングで運用方法に差が出ます。
オーケストレーション環境でSingularityを使う優位性を活かしたい等、相互利用を考えるメリットが出て来ています。Ｓｉｎｇｕｌａｒｉｔｙとしても、ＯＣＩのエコシステムを利用したい。
©︎2022 - Pacific Teck Japan G.K.

Singularity ４．０ は OCIに準拠

HighLevel

OCI
サポート

LowLevelLinux Kernel Layer©︎2022 - Pacific Teck Japan G.K.

SIF利用による優位性
Ｓｉｎｇｕｌａｒｉｔｙという概念は、「ソフトウエアとしてのＳｉｎｇｕｌａｒｉｔｙ」と「規格としてのＳＩＦ」、両方からなります。
コンテナエンジンとしてのSingularityのみならず、SIF自体にも際立った優位性があります。

高い可搬性

低フットプリント

ハイパフォーマンス• シングルファイルで保存するため、持ち運びが用意。
• 通常のNASでの管理も可能。
• リポジトリに依存せず、電子署名による同一性を保証。

• 内部はSquashFS。tar+gzipを直接マウントしているイメージ。
• オンメモリでアクセスでき、事前に展開する必要がない。メモリやCPU負荷も極めて小さい。

• ファイルアクセスはローカルのオンメモリで行われ、共有ファイルシステムへの、メタデータアクセス負荷を極小化できる。
通信負荷も下げられる。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

特に昨今、AIのワークロードがPythonベース「共有ファイルシステムは常に高負荷。
で実行されるため、様々な環境がユーザーのありがとうPython。
ホームディレクトリに展開。共有ファイルシステム
もうAnacondaは禁止したい。」に高負荷を生み、大きな問題となっている。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
TACC Dr. Stanzione @ BeeGFS BoF SC22
例）PyTorchはimportするだけで1000回もファイルをオープンする。
参考：弊社ブログ
Singularity利用による共有ファイルシステムの負荷軽減©︎2022 - Pacific Teck Japan G.K.

SIFに存在した問題とOCI互換の意義
SIFはオープンだとはいえ、Singularity独自規格であるため、豊富にあるOCI向けソリューションやエコシステムを利用できなかった。
特に、リポジトリ環境、セキュリティ対策（SBOM等）、オーケストレーション対応を、Singularity側で全て対応することは無理があった。
３．１１では、SIFをOCIバンドルとして見せて、runc/crunで起動させることはできた。
今後はOCIイメージをSIFイメージに取り込めるように。

OCI互換となることで、リソースやツールの共有ができ、OCI側としてもSIFを利用するメリットを享受できる。

©︎2022 - Pacific Teck Japan G.K.

anchore• ブラックボックス化してしまいがちなコンテナイメージをスキャンしてSBOMを作成。
• コンテナリポジトリと連携し、イメージとSBOMを紐づけて管理。CVEの脆弱性データベースと照らし合わせ、アラートを出すことができるSaaSとして提供。
• SBOM作成ツールに関してはフリーのツールを提供。

Harbor• CNCFで開発され、広く使われている OSS のコンテナイメージリポジトリ構成ツール。

• 従来K8sやS3を使っていたSingularity EnterpriseのLibrary（リポジトリ）も2.0からHarborベースになり、OCIイメージと共存させられるように。

©︎2022 - Pacific Teck Japan G.K.

SingularityCE Community Meeting
毎月開かれているオープンなコミュニティミーティング。ロードマップや開発状況の報告の他、新機能解説やデモ、ディスカッションが ZOOMで行われています。
12月7日 12:00ET/17:00 UTC なので、日本の深夜2時ですが、過去開催分も含め、Youtube の Sylabs チャンネルに動画が投稿されています。
今回の主要トピックは、ちょうど OCI-SIF の動作デモです。是非ご確認ください。

©︎2022 - Pacific Teck Japan G.K.

Thank you
sales@pacificteck.com©︎2022 - Pacific Teck Japan G.K.