HPCインフラでのAIワークロードからAIインフラでのHPCワークロードへ
２０２４年６月２８日
ＰＣクラスターワークショップ in すずかけ台２０２４ 「ＧＰＵとＨＰＣ」

Background History
いいこと思いついた。
膨大なデータ処理はスパコン使えばできるはず。

2010-2015年頃
いいこと思いついた。
ML予算で買った GPU
CPUよりずっと速いんだからそれで計算すればいい！

Subheading Sample HPC & Machine Learning Experts Subheading Sample
2018-2024年頃
いいこと思いついた。
いちいち計算しなくてもYYYY MM DD Pacific Teck / Event name – Tokyo, Japan
AIでイイ感じの結果吐きだせばいいじゃん！

2022-2026年頃©︎2024 - Pacific Teck Japan G.K.

逆転した世界で理由は「成果に繋がる」にせよ「儲かる」にせよブームで人も経済も回る。
GPUがCPUを取り込み始めた。ここにも逆転現象がある。

多くのスパコンがGPUベースのAIマシン化から逃れられない。
そこで役に立つスパコンの姿、使われ方とはどんなものか再検討したい。

トラディショナルなHPCワークロードをどうするのか？
Subheading
Sample HPC & Machine Learning Experts Subheading Sample
日々変化する要求の変化に追従できるシステムとは？
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

今、注目するキーワードとして、「データ」「多様化」「柔軟性」を掲げたい。

©︎2024 - Pacific Teck Japan G.K.

計算機中心からデータ中心へ

Storage

Storage

Storage

Storage

Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
Storage

Storage

Designed by slidesgo and macrovector / Freepik©︎2024 - Pacific Teck Japan G.K.

AIインフラの開かれたストレージに必要な要件
セキュリティ

スタンダード• 多様なクライアントからアクセスされ、外界にさらされるストレージには、当然高水準のセキュリティレベルが求められる。
• 運用を継続しながら随時脆弱性対応が入れられる必要がある。

• どのようなクライアントからのアクセスでも受け付けるため、特殊なプロトコルは使えない。
• 同一データに様々なプロトコルでアクセスができることがスピーディな利活用を推進する。

Enterprise
Level
Subheading Sample HPC & Machine Learning Experts Subheading Sample
HA・レジリエンシ

拡張性• SPOFがないことは大前提。ＲＡＩＤをはじめとした• 毎日指数関数的に増え続けるデータ。キャパシテ
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan旧来の冗長構成は、運用体制を強化しないとならィだけでなく、性能のスケールも求められる。
なかった。
• 拠点間およびクラウド連携で、データを閉じ込め• システムだけでなく、データ保護の面でもスナップず、かつ安全に利活用するためのシステムは、複ショットやバックアップを制約なく、かつ負荷となら数コンポーネントの組み合わせでは難しい。
ずに運用できる必要がある。
©︎2024 - Pacific Teck Japan G.K.

多様化し高頻度に変化するアプリケーションと実行環境

Ｓｉｎｇｕｌａｒｉｔｙとは、「コンテナエンジンとしてのＳｉｎｇｕｌａｒｉｔｙ」と「イメージの規格としてのＳＩＦ」、両方からなる概念です。そして、SIFを利用すること自体に際立った優位性があります。

高い可搬性

低フットプリント

ハイパフォーマンス• シングルファイルで保存するため、持ち• 内部はSquashFS。tar+gzipを直接• ファイルアクセスはローカルのオンメモリ運びが用意。
マウントしているイメージ。
で行われ、共有ファイルシステムへの、メタデータアクセス負荷を極小化できる。
• 通常のNASでの管理も可能。
• オンメモリでアクセスでき、事前に展開通信負荷も下げられる。
する必要がない。メモリやCPU負荷も極• リポジトリに依存せず、電子署名によるSubheading Sample HPC& Machine Learning Experts Subheading
Sample
めて小さい。
同一性を保証。

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
AIのワークロードがPythonベースで開発。様々な環境がユーザーのホームディレクトリに展開されるケースが増えた結果、共有ファイルシステムの特にメタデータに高負荷を生み、大きな問題となっている。
例）PyTorchはimportするだけで1000回もファイルをオープンする。
©︎2024 - Pacific Teck Japan G.K.

Dockerなしに、SIFの恩恵を享受しつつ互換環境を実現••••

OCIイメージをSIFファイル形式で保存する OCI-SIF(Encapsulated OCI） image をサポート。
Dockerfile から直接、OCI-SIF イメージ作成ができます。
SIF を OCI bundle として crun/runc から起動するので、シングルファイル、ローカルストレージ不要という、SIFイメージ利用のメリットを受けつつ、動作は docker を利用した場合と互換性を担保。
OCI-SIF は通常の ＳＩＦ としては使えず、ＯＣＩ モード専用です。直接起動もできません。

HighLevel
LowLevel

Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

Linux Kernel Layer©︎2024 - Pacific Teck Japan G.K.

柔軟なシステム構築・マネジメント

最初に Bright Cluster Manager を作った、ClusterVision社による、Subheading Sample HPC & Machine Learning Experts Subheading Sample
新設計のHPCクラスター構築・管理ツール。
OpenOnDemand の上にユーザーポータルのみならず、管理ツールUIも統合。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
充実のGPUモニタリング、ジョブ実行状況分
析に寄与する様々な管理画面。
計算ノードOSイメージを数千ノードまで一斉に展開可能。システムのOS更新も円滑に。
©︎2024 - Pacific Teck Japan G.K.

カテゴリー別 取扱製品■

ジョブ管理システム■S3クラウドストレージサービス■

HPC仮想Singularityコンテナーシステム■

データマネジメントフレームワーク■

ソフトウェア構造分析プラットフォーム■

クラスターマネジメントシステム■

Subheading Sample HPC & Machine Learning Experts Subheading Sample

ストレージソフトウェア■

並列ファイルシステム■

I/O Profiling 開発者用ツール

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan■

S3 オブジェクトストレージ©︎2024 - Pacific Teck Japan G.K.

まとめ

これまでのHPCを取り巻く環境の変化に対する雑感と、それを許容するための製品群についてご紹介しました。
各製品の詳細については、弊社ブースへお立ち寄りいただくか、営業まで、ご相談ください。

Subheading Sample HPC & Machine Learning Experts Subheading Sample
時代の変化に追従・許容できる柔軟なシステムを目指して、今後も新たな製品・ソリューションを世界中から発掘し、YYYY MM DD Pacific Teck / Event name – Tokyo, Japan皆様へお届けしていきます。

©︎2024 - Pacific Teck Japan G.K.

Thank you
sales@pacificteck.com©︎2024 - Pacific Teck Japan G.K.