MN-Coreにより実現する高効率計算機システム
2023/10/26
株式会社Preferred Networks
計算基盤担当VP 土井裕介

Preferred Networksの主な研究/事業化領域
PFNは、深層学習(AI)などのソフトウェア技術と、それを支える計算インフラなどのハードウェア技術を融合し、各産業領域で最先端技術の実用化・事業化に取り組んでいます。

画像認識

データ
生成補完

ロボティクス

最適化

自然言語処理異常検知

交通システム

製造業

プラント
最適化

ロボット

創薬・ヘルスケア

材料探索

エンタメ

その他

事業化領域

研究領域
シミュレーション
機械学習・深層学習
計算基盤

「計算基盤担当」とは?

DC andCluster

ThermalASIC
DesignMeasurement
and Operation

Cluster Designand Services

Interconnect

生成AIの進化と爆発的に増加する計算量需要●

ChatGPTに代表される生成AIの登場によってAIの社会実装が急速に加速●生成AIモデルの特徴はその膨大なパラメータ数であり、必要とされる計算量は指数関数的に向上○●

計算量需要の増加は計算機の高速化の速度(ムーアの法則)を超えつつあるMFM(Multimodal Foundation model)が主流になると、今後さらに計算量は増加していく○

画像、音声処理

PLaMo 13: PFNが開発する大規模言語モデル
今年の９月下旬にPLaMo 13BというモデルをPFNが開発しOSSで公開● モデルサイズ：13B パラメータ● 学習トークン数：
1.4Tトークン
日本語と英語の両方で高い性能を達成

詳細： https://tech.preferred.jp/ja/blog/llm-plamo/5計算量への要求 ⇒ 効率の追求● とはいえ現実的な設備の規模には限度がある○ コスト、電力供給、GHG排出量○ 1%の削減がおおきな差になる規模● レイヤをまたがる効率の追求○ ASIC、サーバ、ファシリティ、ワークロードで個々に追求していた効率を、連動して追求する必要がある

6

いろいろな効率7

シリコン周辺の効率と課題 (例)
データの移動をどれだけ抑えるか
データをどう効率的に使いまわすか

DRAMDRAM

周辺回路

SRAM
入力

演算器
ASIC

どう演算器を小さく作る
か演算器の回路をできるだけ大きく取る
ために周辺回路をどう省くか

電源回路

電源回路

8

出力

シリコンの効率 (時間方向×空間方向)
計算効率: 定義としては時間方向の効率のみ性能向上には面積方向の効率も重要 → 高電力化
多くの演算器を利用※説明のためのイメージです。何かのシミュレー
ションではありません

面積

面積少ない演算器を高効率に利用

時間

時間
9

メモリとデータ移動のエネルギーとコスト高効率化:
データをなるべく動かさない (SRAMの活用)
だが
End of SRAM Scaling

p.28 of https://passlab.github.io/mchpc/mchpc2019/presentations/MCHPC_Pawlowski_keynote.pdf

N5→N3で縮まらない
どうする?

https://fuse.wikichip.org/news/7343/iedm-2022-did-we-just-witness-the-death-of-sram/10

演算器周辺の話: 超大規模SIMDの場合
例: 倍精度4096並列SIMD計算機 @ 1GHz = 32TB/s(4096 x 8bytes x 1GHz )効率向上のためにはchipの中でデータをできるだけ使いまわす必要あり (HBM3の100GB/sでも遅すぎる)● 中間データの再利用 (cache, scratchpad, register
forwarding, etc)
● 再計算: DRAMからfetchするより値を再生成したほうが早い場合も (!!)
11

高速化のための再計算
https://tech.preferred.jp/ja/blog/mnc
ore-compiler-optimization-with-reco
mpute/

12

効率の話 (深層学習と分散計算)
ちょっと脇道にそれます

13

分散計算
● 効率が下がっても分散計算が必要○ 実速度とモデルサイズの2つの問題● 分散計算の事例: AllReduce

全プロセスのローカルデータを集約 (reduce)して全プロセスに配布する (プロセスは同一ノードであってもよいし、別のノードにあってもよい )14

トポロジのマッチング

例: よくあるleaf-spine 2:4:32
spine
SW1

分散計算のオーバーレイネットワークと物理的なネットワークが存在

leaf
SW1aleafの中ではfull bisectionで2リンク分の速度が(理論上)出る→ tree allreduce
leafをまたぐとleaf-spineの帯域で律速→ ring allreduce

ノード
1…

spine
SW2

leaf
SW1bleaf
SW2aノード
16ノード
17leafSW2bノード32…

例: 古典的GPUサーバ CPU:GPU = 2:8

問題: topologyとマッチしていないと?
例1: ring(ノード1, 16, 2, 17, …)
例2: ノード1のGPU1→ノード2のGPU5(各NICから1portの場合)

NIC1

GPU115…

CPU1CPU2PCI
SW1PCISW2GPU4GPU5NIC2…

GPU8実例

インターフェイスごとのトラフィック (100GbE)

PFC count16高効率を実現するアーキテクチャ
本題

17

高効率ｘ低消費電力 な AI半導体をつくるには
AIワークロードはこれまでの汎用計算と異なる特性を持つ
HWアーキテクチャの革新と、それを使いこなすSWの全体最適が重要
これまでの汎用計算
既存の汎用プロセッサー
ワークロードごとにオーダーメイドで定義される、条件分岐や繰り返しで定義される 動的な手
続き

AIに必要とされる計算AIモデルとして標準化された、計算の依存関係が明にグラフとして表現された静的な手続き

実際の演算を行う浮動小数点演算部は小なく 、多くの面積は動的な手続きを効率よく動かすために利用されている(キャッシュ/投機実行など )静的な手続きを前提としたアーキテクチャ革新の可能性

MN-Core独自の設計思想“Fully-Deterministic Architecture”
ソフトウェアから透過的/確定的に動作ハードウェアを最大限活用

2つの特徴
1: 高いシリコン利用効率を狙った
チップ設計
時間方向および空間方向の両方での資源利用効率を意識した設計＋2: ソフトウェア最適化を前提とした
アーキテクチャハードウェア資源をソフトウェアで細粒度制御できるMN-Core
アーキテクチャ完全に事前スケジューリング可能な深層学習/AIワークロードを前提とした計算機アーキテクチャの進化

MN-Core独自の設計思想
一般的な計算機
ハードウェアの内部の挙動はブラックボックス“Fully-Deterministic Architecture”
ハードウェアの内部の挙動を透過的/確定的に制御
ソフトウェアによる資源の細かいマネジメントが可能

ソフトウェアに強い企業だからこそ作れるハードウェア

MN-Core™シリーズの実績 - HPC/AIベンチマーク
MN-Core™シリーズ初代を搭載した初のスパコン(MN-3a) を自社で運用し、様々なベンチマークにおいて好成績を確認

スパコンの電力効率ランキングにおいて複数回の首位を獲得（他部門は富岳などのナショナルフラッグシップスパコンが独占）

画像認識やグラフ処理(GCN)などのAIワークロードにおいてGPUに対して平均的に３〜６倍以上の高速化を実現

MN-Core™シリーズの実績 - AIアプリケーション
製品レベルのAIワークロードにおいて日常的に利活用されているロボティクス向け画像認識(Kachaka)

AIベース材料探索(Matlantis)

３Dモデル生成/復元(PFN 3D-Scan)MN-Core™シリーズの進化と今後の展開
2020年~ MN-Coreをクラスタ計算機MN-3として運用開始（2016年~半導体開発を開始）
2023年 MN-Coreを用いた計算力の外部ユーザへの試験的なクラウド提供を開始
第2世代MN-Core (MN-Core2)の試験運用を開始
2024年 MN-Core 2を用いた大規模クラスタ計算機の構築、クラウド提供（予定）

深層学習/生成AIのための独自半導体開発を今後も加速していく

クラウド提供によるPFN社内での活用

幅広い分野/業種へのAI実装

まとめ

24

まとめ

● LLMを含めた深層学習には効率の良い計算機が不可欠● 効率はいろいろなレイヤで実現する必要がある○ アーキテクチャ ASIC設計 冷却 通信...

● MN-Coreのアーキテクチャはシリコン効率を重視○ ソフトウェアでがんばれば効率化可能なシンプルで透過なハードウェア● 既にたくさん使っています!
25