It’s time to change.
ー変化が進化を加速するーSupercomputing JAPAN! 2024

3月12日：タワーホール船堀

世界中の最先端技術製品にフォーカス■ 日本を拠点にインドを含むアジア太平洋エリア(APAC)に製品を提供■ 英語 / 中国語 / 日本語のグロバールな言語での支援が可能■ ハードウェアに依存しないソフトウェアソリューションを中心に提供■ APAC最大のスパコンでの採用実績多数■ ストレージ/コンテナ/ジョブ管理のエキスパート©︎2020©︎2024 - Pacific Teck Japan G.K.

前回までの振り返り

1990年

1991年

1992年

1993年

Windows 3.0 発売

Linux Initial Release

第五世代プロジェクト終了

LSF/GridEngine

Microsoft OfficePython 0.9 公開

RWCP 開始

Beowulf 構想

GNU Hurd 開始

PBS 開発開始

SINET運用開始

Intel Pentium 発売

WWW 提唱MPI 仕様策定開始

CP-PACS 開始

WindowsNT 3.1 発売

Subheading Sample& Machine LearningExperts
応用数理学会発足
数値風洞HPC
開発開始
DEC Alpha
発表Subheading Sample
LINPACK来日

HPCwire 創刊

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

非常に多くの種がこのころに撒かれている一方で、Supercomputing の在り方が変化し始めた時代。

©︎2024 - Pacific Teck Japan G.K.

取扱製品群■ ジョブ管理システム■ ストレージ連携ソリューション

■ HPC向けコンテナーシステム■ クラスターマネジメントシステム

I/O Profilingとプログラム開発者用ツール
Subheading Sample HPC & Machine■ Learning
Experts Subheading Sample■ 並列ファイルシステム

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan■ オブジェクトストレージ

90年代前半の流行に乗せてご紹介します
ご笑覧ください。
©︎2024 - Pacific Teck Japan G.K.

NUMAの配置ジョブがあふれる悲しい季節は キューから流れない夢を見る
転送中は遅いと言って最近接へ配置して 離れられない CPU & GPU

GPUの接続トポロジーをスケジューリングに反映可能。
「制約条件」として入れることは他のプロダクトでもできるが、設定や条件によってはスタックしてしまい、うまくジョブが流れないことも多く、スケジュールはかなり難しい。
NUMAをまたがせないパフォーマンスの最大化が可能。

Subheading Sample HPC & Machine Learning Experts Subheading Sample
多数のジョブ中でリソースの予約を入れる機能の実現は、GPU の接続トポロジーと同様に極めて困難で、スケジューリングの難易度は一気に上がります。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
安定したジョブの予約機能が必要であれば、Grid Engineの導入が最短距離のソリューションとなります。

©︎2024 - Pacific Teck Japan G.K.

コンテナ実行
ファイル一つだけでコンテナ実行へ in the cluster
使いまわせ my Image
Ｓｉｎｇｕｌａｒｉｔｙとは、「コンテナエンジンとしてのＳｉｎｇｕｌａｒｉｔｙ」と「イメージの規格としてのＳＩＦ」、両方からなる概念です。そして、SIFを利用すること自体に際立った優位性があります。

高い可搬性

低フットプリント

ハイパフォーマンス• シングルファイルで保存するため、持ち• 内部はSquashFS。tar+gzipを直接• ファイルアクセスはローカルのオンメモリ運びが用意。
マウントしているイメージ。
で行われ、共有ファイルシステムへの、メタデータアクセス負荷を極小化できる。
• 通常のNASでの管理も可能。
• オンメモリでアクセスでき、事前に展開
Subheading Sample HPC& Machine Learning Experts Subheading
Sample
通信負荷も下げられる。
する必要がない。メモリやCPU負荷も極• リポジトリに依存せず、電子署名によるめて小さい。
同一性を保証。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
AIのワークロードがPythonベースで開発。様々な環境がユーザーのホームディレクトリに展開されるケースが増えた結果、共有ファイルシステムの特にメタデータに高負荷を生み、大きな問題となっている。
例）PyTorchはimportするだけで1000回もファイルをオープンする。
©︎2024 - Pacific Teck Japan G.K.

Dockerfileがあるだけで例えばdockerfileがあるだけでSIF Imageが作れること互換性が大切なことを 気付かせてくれたね
SingularityCE/PROは昨年末 4.0 へメジャーバージョンアップ。最新は 4.1 です。
最も大きな変更は OCIモードの追加•
OCIイメージをSIFファイル形式で保存する OCI-SIF(Encapsulated OCI） image をサポート•
これに伴い、Dockerfile から直接、動作互換のあるOCI-SIF イメージ作成ができるように。
•SIF を OCI bundle として crun/runc から起動できるので、他のコンテナ実装との連携が容易に。

Linux Kernel Layer

LowLevel

YYYY MM DD Pacific Teck / Event name – Tokyo, JapanHighLevel

Subheading Sample HPC & Machine Learning Experts Subheading Sample©︎2024 - Pacific Teck Japan G.K.

I/Oストールは突然にパフォーマンスを高める構成にいつでも変更できるフレキシビリティ。
データ圧縮と重複排除、さらにSimilarity技術により、性能を維持したまま、物理容量を大幅に超える容量を実現。QoSにも対応。

何から調べればいいのか わからないままログは流れて
あの日 あの時 あのジョブで 応答がなくなったから

ダッシュボードからリアルタイムのI/O挙動や利用状況、データ圧縮の状況まで完全にモニタリング。障害時の状況もチェック可能。
Altair Mistral はジョブスケジューラと連携し、ストレージへのI/Oをジョブ毎に分析。全体挙動からボトルネック解析が可能。
Altair Breeze はアプリケーションの I/O挙動をプロファイリング。
良し悪しを採点し。チューニングとデバッグに有用な情報を提供。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan©︎2024 - Pacific Teck Japan G.K.

壊れかけのRAID
何も読めない 何も書かせてくれない
僕のデータが昔より 巨大になったからなのか
Share Everything の概念によりラックスケールの高可用性と、Erasure Coding （最大146/150)により、常に4本分のドライブフェイルに対する耐久性を維持。パリティのオーバーヘッドが最小化できるため、データ圧縮と併せ、物理容量を超える実効容量。
SCMを用いてQLCドライブへの書き込みを最適化。データ圧縮により、実際の書き込みデータ量を低減することで、長寿命化と速度向上を同時に実現。

オーバーヘッド無しでディレクトリごとに取得可能な1000階層までのスナップショット。隠しディレクトリとしてアクセス可能なため、ヒューマンエラーからの回復もユーザーで対応可能。
スナップショットからS3ストレージへのバックアップも、他製品を使うことなく実施可能。

ユーザークオータだけでなく、ディレクトリクオータに対応。QoS
Subheading Sample HPC & Machine Learning
Experts Subheading Sampleとあわせ、同一ネームスペース内に、用途別の性能や冗長性をも設定可能。

リージョン間で統合したネームスペースを構築し、複数のモード
YYYY MM DD Pacific Teck / Event name– Tokyo, Japanでの同期設定が可能。

©︎2024 - Pacific Teck Japan G.K.

おどるプロトコル
なんでもかんでもみんな データを保存しているよ
スパコンの外から SMBと S3アクセス登場

独自の DASE により保存されたデータに対し、プロトコル変換を施すことで、同一のデータに対して多彩なプロトコルでのアクセスを実現。
独自プロトコルではなく、NFSを筆頭に標準的なプロトコルが使えるため、クライアント側に一切手を加えずに利用が可能。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

プロトコル変換サーバーはステートレスに動作するため、台数比例でスケールする性能が得られるとともに、高可用性も同時に実現。
名前空間を分割し、IPアドレスベースのマルチテナントにも対応。
YYYY MM DD Pacific Teck / Event name – Tokyo, Japan
2カ月に一度のアップデートで、オンラインで機能強化。

©︎2024 - Pacific Teck Japan G.K.

世界中の誰より多く世界中の誰より多く データ吐き出してたから目覚めてはじめて気づく クオータあふれに
Swarm は世界初のオブジェクトストレージと言える存在。
運用が極めて平易で容量の利用効率が高く、独自の HTTPSでの転送のほか、S3でもアクセスが可能。またオプション製品でNFSやSMBでのエクスポートにも対応。

iRODS は複数のストレージを束ねた仮想ファイルシステム空間とし、ユーザー定義のメタデータを用いてデータハンドリングや自動処理を実現するミドルウエア。インテリジェントなストレージを構築する。
データの出し入れは独自プロトコルだが、NFSやS3への変換も可能。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan©︎2024 - Pacific Teck Japan G.K.

もうFTPなんてしない
旧来のスパコンの付属物としてのストレージではなく、多彩な入出力を可能とした多機能ストレージを中心に据え、スパコンはデータ処理サブシステムのような存在になるのではないか。

クライアントがないと 何もできない訳じゃないとコマンドを叩いたけど 鍵のありかがわからない

Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

Designed by slidesgo and macrovector/ Freepik©︎2024- Pacific Teck Japan G.K.

サーバーとGPUと私サーバーとGPUと私 大事な計算のため
まいにち 安定運用したいから
NVIDIA Base Command Manager（旧Bright Cluster Manager),
PENGUIN Scyld Clusterware はどちらも、クラスターの構成管理、構築、モニタリングを最小限の工数でワンストップに実現。
数台～数千台以上にスケールするHPC環境に加え、クラウドバースト環境の構築にも対応。

Subheading Sample HPC & Machine Learning Experts Subheading SampleYYYY MM DD Pacific Teck / Event name – Tokyo, Japan©︎2024 - Pacific Teck Japan G.K.

もうチューニングしないなんて
ほらバイナリもつくれたもんね だけどあまり速くない-fast で作ったのなら文句も 思い切り言えたのに
Allinea DDT ⇒ Arm Forge ⇒ Linaro Forge と変遷。高い評価を受けて来た歴史あるデバッガとプロファイラ。
CPU (x86_64, Arm をはじめとした主要アーキテクチャに広く対応）
GPU（NVIDIA, AMD) 、MPIによる並列でも直感的にメモリの中身やメッセージを可視化してデバッグ可能。

Subheading Sample HPC & Machine Learning Experts Subheading Sample

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan©︎2024 - Pacific Teck Japan G.K.

It’s time to change Supercomputing.

Now that we have changed the world, it's time to change America.
Clinton1992 Acceptance
Subheading Sample HPC & Machine LearningBill
Experts
Subheading
SampleSpeech

1992年 日本流行語大賞特別賞 アメリカ合衆国大使館

YYYY MM DD Pacific Teck / Event name – Tokyo, Japan

もう既にSupercomputingは、その成果で十分世界を変えてきました。
そろそろSupercomputing自身の在り方を考えるタイミングではないでしょうか。
あの90年代初頭のように。その一助を担えましたら幸いです。
©︎2024 - Pacific Teck Japan G.K.

Thank you
sales@pacificteck.com©︎2024 - Pacific Teck Japan G.K.