PFNにおける大規模言語モデルへの取り組みと計算インフラについて
2023-12-08
Ryo Sakamoto / Preferred Networks, Inc.

1

自己紹介
●

坂本 亮 / Ryo Sakamoto●

PFNでの業務●○

MN-Core ソフトウェアチーム

○MN-Coreの汎用HPC環境整備

最近の主な業務○

MN-Core2 white paperCompany information

Manufacturing

Transportation

Personal Robot

Visual Inspection設立

2014年3月26日

経営陣

代表取締役 最高経営責任者
代表取締役 最高執行責任者

所在地

本社
東京都千代田区大手町1-6-1大手町ビル
米国子会社
Preferred Networks America, Inc.
330 Primrose Rd., Suite 300, Burlingame, CA 94010

従業員数

約300名（2022年3月現在）

Bio & Healthcare

Entertainment3西川 徹
岡野原 大輔Our capabilities

Deep Learning

Expertise

深層学習を中心とした最先端の研究者ロボティクスや化学など各分野の高度技術者

SoftwarePrivateSupercomputer

開発効率と精度を高める
自社製のソフトウェア群

専用設計された豊富な計算資源4

グループ企業の提供サービス: Matlantis (Preferred Computational Chemistry)

Personal RobotEntertainment

グループ企業の提供サービス: PLaMo (Preferred Elements)

日英2言語での性能比較

大規模言語モデル『PLaMo-13B』について

高Japanese StableLM
Alpha 7B*1▼•

学習に使用可能なオープンデータセットを独自に収集・加工して、1.4兆トークン の大規模な日英2言語のデータセットを作成•

国立研究開発法人産業技術総合研究所が保有するAI橋渡しクラウド（ABCI）のNVIDIA
A100を480GPU使用*2して、1か月弱の学習を実施•

英語に加え、日本語の学習データ量を増やす
ことで、130億パラメータというコンパクトなモデルでも日英2言語のベンチマーク評価で世界トップレベルの性能を実現し、標準的なGPUサーバーでも利用することが可能

PLaMo 13B▼日本語性
能Weblab 10B
▼

日

本語

対応

モデル
Llama 2 13B▼Llama 2 7B
▼低英語

向けモデル

注1：より正しい比較のため、公開値より高いPachiraで再評価したスコアを採用

高低

Personal Robot英語性能
Entertainment

注2：2023年7月に公募された「第1回 大規模言語モデル構築支援プログラム2023」に採択

PFNのLLMとの関わり方

Simulation
×AI

Personal RobotEntertainmentSimulation x AI?

シミュレーション

深層学習

網羅的なデータが⼊⼿可能

シミュレーションを⾼速化

ラベルを作るのが難しい場合もラベル付けが可能

データからシミュレーションを学習

最適化、強化学習に必要なWhat-if分析が可能

データ同化やパラメータ推定を補助

Simulation x AI?

Simulation x AI?

https://openai.com/research/ai-and-computeから引用

Simulation x AI?

深層学習・LLM向けにも、シミュレーション(HPC)向けにも計算リソースの確保は必要不可欠な時代に突入している

https://openai.com/research/ai-and-computeから引用

We build “Own Supercomputer”
深層学習用に設計したスーパーコンピューター

MN-1 MN-2 MN-3
深層学習をはじめとするPreferred Networks(PFN)の中核技術は膨大な計算を要求します
PFNでは、多量の計算を効率的に実行するために独自の計算機クラスターを複数運用しており、現在はMN-2、MN-3が稼働しています
MN-3は、PFNが自社開発した深層学習用プロセッサーMN-Coreを初めて用いた計算機クラスターです

MN-3のサーバ1台あたりのスペック（MN-3は、以下サーバが48台で構成）
MN-CoreCPU
MemoryStorage Class Memory
Network
深層学習用プロセッサーMN-Core

13

MN-Core Board x 4Intel Xeon 8260M 2way （48物理core）
384GB DDR4
3TB Intel Optane DC Persistent Memory
MN-Core DirectConnect（112Gbps） x 2
Mellanox ConnectX-6（100GbE） x 2
On board（10GbE） x 2

MN-Core Accelerates World’s Most Efficient Supercomputer

Our MN-3 supercomputer is certified as the world’s mostefficient supercomputer (Green500 List Nov. 2021).
Important effort towards achieving carbon neutral AI

Deep learning processor MN-Core

datacenter
14

Original AI Accelerator

MN-CoreMN-Core2

MN-Core™ Series

MN-Core独自の設計思想“Fully-Deterministic Architecture”
ソフトウェアから透過的/確定的に動作

ハードウェアを最大限活用

2つの特徴
1: 高いシリコン利用効率を狙ったチップ設計
時間方向および空間方向の両方での資源利用効率を意識した設計＋2: ソフトウェア最適化を前提とした
アーキテクチャハードウェア資源をソフトウェアで細粒度制御できるMNCoreアーキテクチャ

完全に事前スケジューリング可能な深層学習/AIワークロードを前提とした計算機アーキテクチャの進化

MN-Core独自の設計思想
一般的な計算機
ハードウェアの内部の挙動はブラックボックス“Fully-Deterministic Architecture”
ハードウェアの内部の挙動を透過的/確定的に制御
ソフトウェアによる資源の細かいマネジメントが可能

MN-Coreアーキテクチャ

MN-Coreでできること

ONNX model

L3IR

L2IR

L1IR

DNN op level,
SIMD parallelism
strategy, …...

ndarray op level,
optimized DNN op
impl, …...

MN-core op level,
memory allocation,scheduling,optimization, …...

MNGraphPEVector

Scheduling
Graph

GlobalLayoutPlanner

MNTensor

Layer Impl.

Reshape Impl.

Instruction
MergerRecomputationScheduler

Generic Conv
Impl.

MN-Coreでできること●

深層学習のみならず、HPC分野への適用も目指していきたい●

そのためのソフトウェアスタックの構築に着手
例)OpenFDTD●

OpenACC、粒⼦法等むけDSL

広く使われているFDTD (Finite difference Time Domain method) 法による電磁界シミュレータ。電⼦機器、無線アンテナ等の特性評価・設計に広く使われている

中間表現
共通⾼レベル表現
低レベル表現
MN-Core 実⾏コード●

Cuda 版が存在、CPU 版に⽐べて圧倒的に⾼速●*FDTD法の差分計算はベクトル化に適したアルゴリズムで、メモリアクセスがボトルネックになります」(NEC のページ
https://jpn.nec.com/hpc/sxauroratsubasa/Application/ より)

OpenCL(拡張)●6成分の微分⽅程式を格⼦(有限差分)で離散化システム

性能（GFlops)

性能（Gcells/s)

備考

MN-Core 2820MHz

65516.6

TB, overlap あり

NVIDIA A100

488.7

11.6

開発元測定

NVIDIA P100

134.7

3.2

開発元測定

なぜハードウェアを作るのか？
●

Q.なぜハードウェアを作るのか？

なぜハードウェアを作るのか？
●

Q.なぜハードウェアを作るのか？

●

A.自分たちでハードウェア、インフラからソフトウェアまでをやることで、AIバリューチェーンの垂直統合を狙っているから

生成AIバリューチェーン

AIチップ

AI
スパコン

基盤モデル
構築

実用化

NVIDIA

クラウドベンダ(AWS/GCP等)

モデルベンダ(OpenAI)

ユーザ企業

$135B

$172B

AIチップ
ソフトウェアPFNができること一気貫通で、生成AI実用化のためのチップ・ソフトウェア・インフラストラクチャーからサービスまでをすべて開発$387B

生成AIのバリューチェーンを垂直統合 - Matlantisの事例●●

新素材の開発等で行われる分子シミュレーションを高速化するサービス
膨大な計算量がネックとなるところ、垂直統合による最適化でコスト削減・高速化

AIチップ

AIチップ
ソフトウェアAI
スパコン

2023: MN-Core 2 (7nm)
幅広いモデルに対応可能なソフトウェア重視の設計

1

PFP専用のチューニングを実施

モデル利用

PFP1

2020: MN-Core (12nm)
PFN独自開発のMN-Core専用
ライブラリ群基盤
モデル構築

MN-3: MN-Core Cluster(128x MN-Core)
Green500 1位 (2020)
Green500 1位 (2021)
GPUでは確保不能な膨大な計算量を、低い電力コストで運用可能

PFN独自開発の深層学習による高速計算手法“従来だと約20年かかる計算をMatlantisでは一週間で完了”, “触媒開発期間が十分の一以下までに短縮”(ENEOS)

新モデルを自社で提案

コスト・精度を総合的に最適化

Takemoto et al., Towards universal neural network potential for material discovery applicable to arbitrary combination of 45 elements, Nat Commun 13, 2991 (2022)

再掲: PLaMo (Preferred Elements)
日英2言語での性能比較

大規模言語モデル『PLaMo-13B』について

高Japanese StableLM
Alpha 7B*1▼•

学習に使用可能なオープンデータセットを独自に収集・加工して、1.4兆トークン の大規模な日英2言語のデータセットを作成•

国立研究開発法人産業技術総合研究所が保有するAI橋渡しクラウド（ABCI）のNVIDIA
A100を480GPU使用*2して、1か月弱の学習を実施•

英語に加え、日本語の学習データ量を増やすことで、130億パラメータというコンパクトなモデルでも日英2言語のベンチマーク評価で世界トップレベルの性能を実現し、標準的なGPUサーバーでも利用することが可能

PLaMo 13B▼

日本語性
能Weblab 10B
▼

日本語

対応

モデル
Llama 2 13B▼

Llama 2 7B
▼低英語

向け

モデル

注1：より正しい比較のため、公開値より高いPachiraで再評価したスコアを採用

高低Personal Robot英語性能
Entertainment

注2：2023年7月に公募された「第1回 大規模言語モデル構築支援プログラム2023」に採択

再掲: マルチモーダル基盤モデル

生成AIの「次」にも対応できるアーキテクチャ●●

現在: Transformer, Diffusion Model● 次はどんなモデルが流行する？
特化したハードウェアではなく、ソフトウェアの自由度をもたせたハードウェアで、変化する時代に高速に対応していく

ソフトウェアでの制御性をあげることで、新しいアーキテクチャに最適化可能

モデルは数年で変わるが、計算機アーキテクチャは10年単位~2012

2012~2017

2017~

モデル構築
チーム

深層学習
以前

画像

言語

1000x高速化

モデル

CNN

Transformer

ボトルネック

行列計算

行列計算

データ

(+ FLOPSが足りているときはメモリ帯域幅)

コンパイラチーム

チップチームPFNが優秀なソフトウェアチームを抱える優位性

MN-Core™シリーズの進化と今後の展開

深層学習/生成AIのための独自半導体開発を今後も加速していく

MN-Coreシリーズのクラウド提供による幅広い分野/業種へのAI実装

Preferred Computing Platform●

誰もがMN-Coreシリーズを利用できるAIクラウドサービス

Preferred Computing Platform(PFCP)
強力な計算ノード

フルマネージドサービス

MN-Core ボードを4基搭載した MN-Core サーバを複数専有して利用できます。すべてのノードは深層学習に最適化された高速なネットワークで相互に接続されています。次世代の MN-Core 2 や NVIDIAGPU を搭載したノードも順次提供予定です。

深層学習・AI ワークロード向けに拡張されたKubernetes クラスタをマルチテナントで利用できます。大規模分散学習から推論サーバの高可用な運用まで幅広く行なえます。ワークロードの状況を観測するためのマネージドなモニタリングサービ
スも付随しています。

MN-Core サーバの構成
ワークロードアクセラレータ

MN-Core ボード × 4

CPUIntel Xeon 8260M (24 cores) × 2

MemoryDDR4 384GB

Interconnect

NVIDIA ConnectX-6 (100GbE) × 2コンテナ

OSベアメタルSimulation×AI

Personal RobotEntertainmentまとめ●

PFNのLLMとの関わり方○

PLaMoを始めとした基盤モデルの実装とその応用■○○

マルチモーダル基盤モデルの実現を目指す

Simulation x AI■

生成AIの更にその「次」へ■

そのための強力、かつある程度の自由度を持つMN-Coreというハードウェア■

MN-Coreのパワーをクラウドサービスとして提供するPFCP

よかったらみなさんご一緒しましょう！

Making the real world computable