コンピューティング・アーキテクチャ研究室
JST先端的カーボンニュートラル技術開発拠点

Ｂ４０６・B４０７

アプリ書くだけ、工場作るだけでは、外貨獲得無理
IMAX3 128 cores 170MHz
5120 operations per 4 cycles

サービス

VPK180/VP1802

Memory/core: 512KB
Operations/core: 32-load/8-store,
quad-sparse-load, 3-cascaded octaint/media, octa-single-float FMA,
32-stochastic FMA, Dual addr-sync.

アプリケーションデジタル
汎用CGLA

コンパイラ

VPK180/VP1802 x 4

Memory/core: 512KB
Operations/core: 32-load/8-store,
quad-sparse-load, 3-cascaded octaint/media, octa-single-float FMA,
32-stochastic FMA, Dual addr-sync.

ファームウェアアーキテクチャ

デジタル
セキュリティ

論理回路設計
回路技術
デバイス

デジタル
スパイクAI材料ニューロ
モーフィック

ここが人材不足

IMAX3 512 cores 170MHz
20480 operations per 4 cycles

OS・ライブラリ

IMAX2: Ultra-speed compilable CGLA 2022/3/1
First CGLA, based on linear cores (not CGRA)

256-cores, 10240-operations/4cycle (6144-int32, 2048-fp32, 2048-media8/16,4096-load/store, 8192-stochastic-fma8, and 1024-sparse-matrix)
IMAX2 16 cores 250MHz
640 operations per 4 cycles
TySOM-3A/ZU19EG
Memory/core: 128KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/ZU19EG-step4000-20221020.img.gz

IMAX2 32 cores 220MHz
1280 operations per 4 cycles

VMK180/VM1802

Memory/core: 64KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/VMK180-step4000-20230410.img.gz

IMAX2 128 cores 130MHz
5120 operations per 4 cycles

ZCU102+ProdigyLogicModule/VU440 x 2

Memory/core: 64KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/VU440-step4000-20221020-V18.3-78.125+78.125+48+280+120+48.bin

IMAX2 256 cores 130MHz
10240 operations per 4 cycles

ZCU102+ProdigyLogicModule/VU440 x 4

Memory/core: 64KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/VU440-step4000-20221020-V18.3-78.125+78.125+48+280+120+48.binComputing Architecture Lab. 2022

IMAX3: Ultra-speed compilable CGLA 2024/1/1
Second CGLA, based on linear cores (not CGRA)

512-cores, 20480-operations/4cycle (12288-int32, 4096-fp32, 4096-media8/16,8192-load/store, 16384-stochastic-fma8, and 2048-sparse-matrix)
IMAX3 32 cores 220MHz
1280 operations per 4 cycles
VMK180/VM1802
Memory/core: 64KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/VMK180-step4000-20230410.img.gz

IMAX3 64 cores 220MHz
2560 operations per 4 cycles

VMK180/VM1802 x 2Memory/core: 64KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/VMK180-step4200-MASTER.img.gz
http://archlab.naist.jp/proj-arm64/fpga/VMK180-step4200-SLAVE.img.gz

IMAX3 128 cores 170MHz
5120 operations per 4 cycles

VPK180/VP1802

Memory/core: 512KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/VPK180-step4000-20231001.img.gz

IMAX3 512 cores 170MHz
20480 operations per 4 cycles

VPK180/VP1802 x 4

Memory/core: 512KB
Operations/core: 32-load/8-store, quad-sparseload, 3-cascaded octa-int/media, octa-singlefloat FMA, 32-stochastic FMA, Dual addr-sync.
http://archlab.naist.jp/proj-arm64/fpga/VPK180-step4800-MASTER.img.gz
http://archlab.naist.jp/proj-arm64/fpga/VPK180-step4800-SLAVE1.img.gz
http://archlab.naist.jp/proj-arm64/fpga/VPK180-step4800-SLAVE2.img.gz
http://archlab.naist.jp/proj-arm64/fpga/VPK180-step4800-SLAVE3.img.gz

Computing Architecture Lab. 2024

超効率汎用計算アクセラレータIMAX3の紹介
奈良先端大コンピューティング・アーキテクチャ研究室 YouTube検索「IMAX3/CGRA」

U2BCA: Ultra-efficient Universal blockchain accelerator
First CGRA for power-efficient blockchain 2022/4/1
Blockchain
Networks
Bitcoin(Double SHA256)
Litecoin(Scrypt)
Decred(BLAKE-256)

Devices
CPU: Intel i9 10940X 3.30 GHz
GPU: Nvidia RTX 3090 1.4 GHz
FPGA ZCU102: U2BCA 1 core
CPU: Intel i9 10940X 3.30 GHz
GPU: Nvidia RTX 3090 1.4 GHz
FPGA ZCU102: U2BCA 16 cores
CPU: Intel i9 10940X 3.30 GHz
GPU: Nvidia RTX 3090 1.4 GHz
FPGA ZCU102: U2BCA 1 core

Hash rate(MHash/s)
11943
333
0.002
0.081
0.037
18
1,370
400

ZCU102/ZU9EG FPGAU2BCA 4 cores 250 MHz
Network: Bitcoin
Hashrate: 1 GHash/s
On-chip power: 9 W
Off-chip power: 20 W
TySOM-3A/ZU19EG FPGAU2BCA 8 cores 250 MHz
Network: Bitcoin
Hashrate: 2 GHash/s
On-chip power: 47 W
Off-chip power: 21 W
Versal Prime VMK180 FPGAU2BCA 12 cores 300 MHz
Network: Bitcoin
Hashrate: 3.6 GHash/s
On-chip power: 24 W
Versal Premium VP1802 FPGAU2BCA 56 cores 300 MHz
Network: Bitcoin
Hashrate: 16.8 GHash/s
On-chip power: >100 W* (Estimation)

Computing Architecture Lab. 2022

Power(W)
151
315
2.49
120
330
2.72
150
337
3.8

大人のやることはろくでもない
間違っていても止められない
大人の都合と世界を変える研究は違う「今の世界は 簡単に滅亡する」学者が明かす
怖すぎる理由 ダン・ヒース 櫻井祐子 キャリア・
スキル上流思考 2021.12.24 2:42 より引用

2020.03.07 から引用

ロボットハンドを操作し、試行錯誤でルービックキューブを解く方法の学習に約2.8GWh⇒原発3基を1時間占有する電力 (Determined AI社CEOエヴァン・スパークス)

2022年 CO2排出量の約半分が電力消費2030年 AIサーバ電力量 ⇒ 全電力量の1/10
2050年 AIサーバ電力量 ⇒ 全電力量の10倍
高校生が４５歳頃に、CO2排出量は今の100倍

超効率汎用計算アクセラレータIMAX3の紹介
奈良先端大コンピューティング・アーキテクチャ研究室 YouTube検索「IMAX3/CGRA」

超効率汎用計算アクセラレータIMAX3の紹介
奈良先端大コンピューティング・アーキテクチャ研究室 YouTube検索「IMAX3/CGRA」

超効率汎用計算アクセラレータIMAX3の紹介
奈良先端大コンピューティング・アーキテクチャ研究室 YouTube検索「IMAX3/CGRA」

秒速Just-In-Timeコンパイル可能なCGRAはIMAX2だけ
JITコンパイル可能CGRAは、既に稼働中

20220424

Matrix multiplication (MM) and Convolution (CNN)

CPU由来の素直なCGRAアーキ、浮動小数点累算も性能が落ちないMT
Anatomy of a unit in IMAX2FPUとLMMからなる初期構成
上端レジスタと下端レジスタを同じにすればCPUの基本構成そのもの

FPUを100%使うmulti-threading

外部AXI-IFの追加

UNIT内foldingの追加

伝搬レジスタの追加

dual port LMMによるload-exec-store

圧縮形式疎行列積もパイプライン＋大規模並列実行、チップレット対応
疎行列の行列積

64bit入力汎用レジスタ（32bit固定小数点,浮動小数点,メディアx2）
4列マルチスレッディングのためのダブルバッファ

従来：CGRA演算は縦方向
UNIT間伝搬64bitレジスタ

LMMを除いても演算器は10%程度
CPUにはRISCが適するがCGRAにはCISCが適する

主記憶アドレス（ベース、メモリ内容条件付き加算、オフセット、マスク）
条件演算+条件付き32bitx2ストア機能
演算器3入力毎のマスク・コピー・再初期化機能
算術・論理・シフト・浮動小数点・メディア・確率的演算（各種自己ループ）
ローカルメモリ論理４区画の先頭アドレス・長さ（DMAフィルタ）

準備：縦の圧縮は不可能なので横方向に演算

連続32bitx8または独立32bitx2のデュアルポートメモリ
区画数可変（1,2,4）ローカルメモリ
バースト実行同時DMA（プリフェッチ・ポストドレイン）
16w SIMD load, 8w random load/store
疎行列アドレス計算機能
64bit入出力汎用レジスタ（32bit固定小数点,浮動小数点,メディアx2）
ブロードキャスト可能ホストDMA

J1

J8J7

VU440#1

ZCUADP(J2)|(J8)
VU440#1(J1)|(J8) VU440#2| BK222:X0Y12-15
BK229:X0Y40-43|BK222:X0Y12-15
U3 REFCLK1 |A18,19*(222.AV10,9 CKP0,N0|229.T10,9 CKP0,N0) A18,19|A18,19 CKP0,N0
J4 DP4M2CPN|B16,17*(222.AW8,7 TXP0,N0|229.W4,3 RXP0,N0) A14,15|B16,17 TXP0,N0
DP4C2MPN|A14,15*(222.AW4,3 RXP0,N0|229.W8.7 TXP0,N0) B16,17|A14,15 RXP0,N0DP5M2CPN|B12,13*(222.AV6,5 TXP1,N1|229.V2,1 RXP1,N1) A10,11|B12,13 TXP1,N1DP5C2MPN|A10,11*(222.AV2,1 RXP1,N1|229.V6.5 TXP1,N1) B12,13|A10,11 RXP1,N1
DP6M2CPN| B8,9*(222.AU8,7 TXP2,N2|229.U4,3 RXP2,N2) A6,7 |B8,9TXP2,N2
DP6C2MPN| A6,7*(222.AU4,3 RXP2,N2|229.U8,7 TXP2,N2) B8,9 |A6,7RXP2,N2
DP7M2CPN| B4,5 (222.AT6,5 TXP3,N3|229.T2,1 RXP3,N3) A2,3 |B4,5TXP3,N3DP7C2MPN| A2,3 (222.AT2,1 RXP3,N3|229.T6,5 TXP3,N3) B4,5 |A2,3RXP3,N3J2J1J8J7J2J2J1J4動作タイミング

20200610 AURORAx8接続(8レーン使用) NAIST 中島

VU440#2

ZCUADP(J1)|(J7)
VU440#1(J2)|(J7) VU440#2| BK221:X0Y8-11
BK230:X0Y44-47|BK221:X0Y8-11
U3 REFCLK0 |A18,19 (221.BB10,9 CKP0,N0|230.M10,9 CKP0,N0) A18,19|A18,19 CKP0,N0
J4 DP0M2CPN|B16,17 (221.BC8,7 TXP0,N0|230.R4,3 RXP0,N0) A14,15|B16,17 TXP0,N0DP0C2MPN|A14,15 (221.BC4,3 RXP0,N0|230.R8.7 TXP0,N0) B16,17|A14,15 RXP0,N0
DP1M2CPN|B12,13 (221.BB6,5 TXP1,N1|230.P2,1 RXP1,N1) A10,11|B12,13 TXP1,N1
DP1C2MPN|A10,11 (221.BB2,1 RXP1,N1|230.P6.5 TXP1,N1) B12,13|A10,11 RXP1,N1
DP2M2CPN| B8,9 (221.BA8,7 TXP2,N2|230.N4,3 RXP2,N2) A6,7 |B8,9TXP2,N2
DP2C2MPN| A6,7 (221.BA4,3 RXP2,N2|230.N8,7 TXP2,N2) B8,9 |A6,7RXP2,N2
DP3M2CPN| B4,5 (221.AY6,5 TXP3,N3|230.M2,1 RXP3,N3) A2,3 |B4,5
TXP3,N3
DP3C2MPN| A2,3 (221.AY2,1 RXP3,N3|230.M6,5 TXP3,N3) B4,5 |A2,3
RXP3,N3

様々なメモリ参照パターン、確率的計算、10240演算も秒速コンパイル

Computing Architecture Lab.
教授 中島康彦
客員教授 木村睦

准教授 張任遠

助教 Kan Yirong

助教 Pham Hoai LuanIMAX In-memory Multimode Accelerator Extension (2014-)
supported by STARC, JST, JSPS(A) and NEDO
Concept (near memory systolic ring)

Applications (Sparse stencil, AI)

Basic Unit:
32bit.media/float*2SIMD*3stage-pipe
Dual 32bit.load+store
4SIMD 32bit.load+store
In-memory read-modify-write
4way-column multithreading

Multilevel scalability with narrow MB
Integrated description (CPU+IMAX)

Available on ZCU102 or/and S2C VU440

連絡先：奈良先端大 中島康彦 0743-72-5300 nakashim(at)is.naist.jp

2019-06-23 NARA Institute of Science and Technology - Computing Architecture Lab. -Unified programming modelHistory of our CPU/CGRAs
VLIWMulti PEs

Multi threading

Special HW1Special HW2

TaChyonSPARCv8
SPARCv8x86
ARMv7
FRV
SPARCv9
ARMv7x86
ARMv7
ARMv8

TaChyon224

VectorVector

Mover

CGRA

Emulator
IBM370Speculative exec.
8wayFRV
8wayFRV

Single backend
44464*16

Single column

TCAMSADARM decoder
Linear decoder
Vector8bit-CPUFPU+Media
FPU+Media
FPU+Media

Reuse Buffer
Approximate
VLIW queue
L0 cache
Mover
Emulation HW
Stencil FIFO
Graph FIFO
Stochastic FMA

8way*32
8way*32
ARMv7
4way*16
4way*16
4way*64

2019-06-23 NARA Institute of Science and Technology - Computing Architecture Lab. -VPP
MonRISCCAMP
STEREOOROCHI
LAPP
SAPP
EMIN
EMAX2
EMAX4
IMAX2OSHistory
Heterogeneous SMT Processor OROCHI (2006-) supported by STARC

Explicitly Redundant Linear Array EReLA (2010-) supported by JST(ALCA)

Energy aware Multimode Accelerator Extension EMAX (2012-) supported by JSPS(A)

Platforms for testing LSI

2019-06-23 NARA Institute of Science and Technology - Computing Architecture Lab. -Linear Array Pipeline Processor LAPP (2008-) supported by NEDO

History
Architectures of Supercomputers and Magic Cells (1988-)

Memoization (2002-) supported by JST

Dependable Computers (2007-) supprted by JST and JSPS(B)

Platforms for testing LSI

2019-06-23 NARA Institute of Science and Technology - Computing Architecture Lab. -Dynamic Object-code Translation (1994-)

History
Hand made Computer Systems (1982-)

Geometry Accelerator (1987-)

Stereo Matching (1999-)

Platforms for testing LSI

2019-06-23 NARA Institute of Science and Technology - Computing Architecture Lab. -Graphics Accelerators (1986-)