Paciﬁc Teck の「雲を掴む話」
2022年6月23日©2021 - Pacific Teck Japan G.K.

PCCCワークショップin神戸2022

取扱製品群■ ジョブ管理システム■ S3クラウドストレージサービス■ HPCコンテナ■ ティアリングスソフト・データ移動のツール■ ストレージソフトウェア■ クラスターマネジメントシステム■ 並列ファイルシステム■ S3 オブジェクトストレージ©2021 - Pacific Teck Japan G.K.

■ I/O Profilingとプログラム開発者用ツール

定義ーHPCー

HPC = High-Performance Compu3ng
科学技術計算？？ Learning
Title=Sample
HPC & MachineExperts Title Sample
ʻScientiﬁcʼ, ʻTechnicalʼといった⾔葉は⼊ってないのに何故か。
Subheading Sample HPC & Machine Learning Experts Subheading Sample

かつては「High-Performanceな計算」が必要なのは、科学技術だけだったが、現在はあらゆる分野で必要とされているので、特に分野を絞る必要はない。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japanそしてパフォーマンスの定義は広くとる必要がある。

©2021 - Pacific Teck Japan G.K.

定義ークラウドー

2006年 GoogleのCEOEric Schmidt⽒が講演の中で• 2006-2008年
AWS社、S3、EC2、EBS• 2008-2013年
Google社、CloudStorage, ComputeEngine• 2010-2014年
MicrosoA社、Azure 仮想マシン提供。
• 2012年
Oracle Cloud 発表。

Title Sample HPC & Machine LearningExperts Title Sample
クラウドのコンセプトを提唱したことがクラウド時代の幕開けとされている。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

NISTによるクラウドの基本的特徴•••••

いわゆるスパコン

On-Demand & Self-Service• リモート接続してスケジューラにバッチジョブ投⼊YYYY MM DD Pacific Teck / Eventname – Tokyo, Japan
Broad Network Access• 多⼤なデータの⼊出⼒
Resource Pooling(Sharing)• 計算及びストレージリソースの共有
Rapid Elasticity• リソース要求に応じてオンデマンドで割り当て
Measured Service• 利⽤課⾦及びクオータ等による制限©2021 - Pacific Teck Japan G.K.

定義ークラウドー

2006年 GoogleのCEO
Eric Schmidt⽒が講演の中で• 2006-2008年
AWS社、S3、EC2、EBS• 2008-2013年
Google社、CloudStorage, ComputeEngine• 2010-2014年
MicrosoA社、Azure 仮想マシン提供。
• 2012年
Oracle Cloud 発表。

Title Sample HPC & Machine Learning
Experts Title Sample
クラウドのコンセプトを提唱したことがクラウド時代の幕開けとされている。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

NISTによるクラウドの基本的特徴•••••

いわゆるスパコン

On-Demand & Self-Service• リモート接続してスケジューラにバッチジョブ投⼊YYYY MM DD Pacific Teck / Eventname – Tokyo, Japan
Broad Network Access• 多⼤なデータの⼊出⼒
Resource Pooling(Sharing)• 計算及びストレージリソースの共有
Rapid Elasticity• リソース要求に応じてオンデマンドで割り当て
Measured Service• 利⽤課⾦及びクオータ等による制限

これクラウド？

©2021 - Pacific Teck Japan G.K.

定義ークラウドー

モヤモヤの原因はなにか？何が⾜りないのか？
クラウドをクラウドたらしめている条件とは・・・

IaaS
PaaS
SaaS

同じNISTの⽂書で「サービスモデル」として⽰されている、“＊ as a service ”

Title Sample HPC & Machine Learning
Experts Title Sample

全てのコンポーネントが分離され、Software Deﬁned となっていること。
それらを組み合わせて、システムを作ること⾃体がソフトウエアにより⾏われ、結果として⾼いフレキシビリティが実現されていること。
Subheading Sample HPC & Machine Learning Experts Subheading Sample

設置場所よりも、⾃由度あるサービス群という意味で我々はクラウドを認知している。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan©2021 - Pacific Teck Japan G.K.

定義ークラウドー

モヤモヤの原因はなにか？何が⾜りないのか？
クラウドをクラウドたらしめている条件とは・・・

IaaS
PaaS
SaaS

同じNISTの⽂書で「サービスモデル」として⽰されている、“＊ as a service ”

Title Sample HPC & Machine Learning
Experts Title Sample

全てのコンポーネントが分離され、Software Deﬁned となっていること。
それらを組み合わせて、システムを作ること⾃体がソフトウエアにより⾏われ、結果として⾼いフレキシビリティが実現されていること。
Subheading Sample HPC & Machine Learning Experts Subheading Sample

設置場所よりも、⾃由度あるサービス群という意味で我々はクラウドを認知している。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

逆にHPCでは、できるだけ分離せず、利便性や⾃由度を失ってもパフォーマンスのためにオーバーヘッドを削ることに注⼒してきた傾向。
©2021 - Pacific Teck Japan G.K.

時間軸とスケールの柔軟性

圧倒的な性能を短期間だけ使って、いち早く成果を得る。

クラウド

クラウド

Title Sample HPC & Machine Learning
Experts Title Sample
Subheading Sample HPC & Machine Learning Experts Subheading Sample
オンプレミスYYYY MM DD Pacific Teck / Event name – Tokyo, Japan©2021 - Pacific Teck Japan G.K.

時間軸とスケールの柔軟性

圧倒的な性能を短期間だけ使って、いち早く成果を得る。

クラウド

クラウド

Title Sample HPC & Machine Learning
Experts Title Sample
Subheading Sample HPC & Machine Learning Experts Subheading Sample
オンプレミスYYYY MM DD Pacific Teck / Event name – Tokyo, Japan

リソースを無駄にしないよう、ハンドリング性能、チューニングも重要なポイント©2021 - Pacific Teck Japan G.K.

ハイブリッドストレージのイメージ
OnPremise
HotArchive

Cloud
Storage

TB/s

SharedFileSystem

EB

Local
Scratch

TB

MB/s

PB

GB/s

Title Sample HPC & Machine Learning
Experts Title Sample
Subheading Sample HPC & Machine Learning Experts Subheading Sample
0m

10m100m

YYYY MM DD Pacific Teck / Event name – Tokyo, JapanThroughput©2021 - Pacific Teck Japan G.K.

Capacity100km

ハイブリッドストレージのイメージ
OnPremise
HotArchive

CloudStorage

TB/s

SharedFileSystem

EB

Local
Scratch

TB

MB/s

PB

GB/s

Title Sample HPC & Machine Learning
Experts Title Sample
Subheading Sample HPC & Machine Learning Experts Subheading Sample
0m

10m

100m

100km

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

Throughput

Capacity

テープライブラリをS3 Glacierに⾒せかけるソリューション（FUJI FILM社
Object Archive等)もあるので、オンプレミスで多段階層化も実現できる。
©2021 - Pacific Teck Japan G.K.

OSとアプリケーションの分離ーコンテナー

Linux OSはカーネルとユーザーランドに分離しているので、単⼀カーネル上に複数ユーザーランドを載せられる。

DebianOpenFOAMRHEL8.４
QuantumChem

Ubuntu ２２．０４
PyTorch＋CUDA

Ubuntu 18.04
TensorFlow

ユーザーランド

Title Sample HPC & Machine LearningExperts Title Sample
システムOSの縛りから解放。
ユーザーがアプリケーション毎に最適なSubheading Sample HPC & Machine Learning Experts Subheading Sample
ランタイムを⾃由に選択できる。
RHEL8.x Kernel
異なる計算機システムでも同⼀環境でYYYY MM DD Pacific Teck / Event name – Tokyo, Japan
アプリケーションが実⾏可能。
システム毎の移植やすり合わせが不要。
©2021 - Pacific Teck Japan G.K.コンテナのエコシステム
従来のHPC環境

コンテナ前提環境

環境構築担当者

システム管理者

アプリケーションユーザー

ホスト環境の制約強く受ける場合がある

独⽴しているので⾃由インストールと実⾏⽅法

ホストOSないしホームディレクトリに環境を構築。PATH指定等。

イメージをリポジトリにプッシュ。
利⽤時はプルして起動。個別対応不要。

Title Sample HPC & Machine LearningExperts Title Sample
マルチサイト・マルチユーザーで使う場
Singularityエコシステム（K8sで構築）
合以下の課題がある。
Subheading Sample HPC & Machine Learning Experts Subheading Sample• Library• イメージの作成
イメージリポジトリ
管理者権限の扱い• RemoteBuilder• イメージの管理・共有
YYYY MM DD Pacific Teck / Event name – Tokyo,Japan
オンデマンドイメージ作成
リポジトリ、タグ付け• KeyStore• イメージの同⼀性担保電⼦署名・公開鍵管理
電⼦署名・公開鍵の配布⽅法• EKS, GKEにも対応。
©2021 - Pacific Teck Japan G.K.

コンテナを⽤いた運⽤フロー取得
Library
リポジトリ

Title Sample取得HPC & Machine Learning
リモートビルドExperts
TitleSample
イメージプッシュ
Subheading Sample HPC
⾏ & Machine Learning Experts Subheading Sample

実

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan実⾏©2021 - Pacific Teck Japan G.K.

コンテナイメージは同⼀アー
キテクチャなら、どこでも同じイメージが使える。
アプリケーション実⾏⽅法が環境によらず統⼀され、シームレスな移⾏が可能に。

ギャップを乗り越える

SingularityCE 4.0 And Beyond…
● HPC と OCI のワークフローのギャップをなくしていく計画

Title Sample HPC & Machine Learning○ 3.10 - OCI runtime (runc) for singularity oci command group
Experts Title Sample○

3.11 - OCI runtime (runc) for shell/exec/run of OCI images

Subheading Sample HPC & Machine Learning Experts Subheading Sample○●

4.0 - SIF encapsulation of OCI artifacts

詳細はこちら・・・○

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

https://sylabs.io/2022/02/singularityce-4-0-and-beyond©2021 - Pacific Teck Japan G.K.

まとめ

• HPCにおけるクラウド利用とは、オンデマンド計算リソースとしてだけでなく、むしろ背景にある考え方にこそ注目し、活用することで恩恵が得られる。
• 小さなサービスや個別のコンポーネントを取り込むことで、様々な改善が図Title
Sample HPC & Machine Learningれることがある。
Experts Title Sample• 常に要件が変化していく中、環境や機能面での制約のために、多大な労力
Subheading Sample HPC & Machine Learning Experts Subheading Sample
やコストを要したが、クラウドの自由度をベースにエコシステムを再構築することで、全体のパフォーマンス向上が見込める。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan• 使いやすいサービスを協創していくクラウドの流れに、HPCからのフィードバックをもっと増やして、さらに高いパフォーマンスを発揮できるようにしたい。
©2021 - Pacific Teck Japan G.K.

Thank you!

©2021 - Pacific Teck Japan G.K.