张量处理单元

张量处理单元（Tensor Processing Unit，简称：TPU），也称张量处理器，是 Google 开发的专用集成电路（ASIC），专门用于加速机器学习。自 2015 年起，Google 就已经开始在内部使用 TPU，并于 2018 年将 TPU 提供给第三方使用，既将部分 TPU 作为其云基础架构的一部分，也将部分小型版本的 TPU 用于销售。

## 总览

2016 年 5 月，Google 在 Google I/O 上宣布张量处理单元，并表示 TPU 已经在其数据中心内部使用超过一年。该芯片是专门为 Google 的 TensorFlow 框架（一个符号数学库，用于机器学习应用程序，如神经网络）设计。不过，截至 2017 年，Google 也将 CPU 和 GPU 用于其他类型的机器学习。其他供应商也设计了自己的 AI 加速器，并针对嵌入式和机器人市场。

Google 的 TPU 是专有的，一些 TPU 的型号已经上市。在 2018 年 2 月 12 日，纽约时报报道称 Google 将“允许其他公司通过其云计算服务购买对这些芯片的访问权”。Google 曾称，它们已用于 AlphaGo 与李世乭的人机围棋对战以及 AlphaZero 系统中。Google还使用 TPU 进行 Google 街景中的文本处理，并且能够在不到五天的时间内找到 Google 街景数据库中的所有文本。在 Google 相册中，单个 TPU 每天可以处理超过1亿张照片。TPU 也被用在 Google 用来提供搜索结果的 RankBrain 中。《The Information》报导Meta正与Google商讨在2027年于自家资料中心部署Google的 TPU，并可能在2026年向Google Cloud租用相关芯片。分析师认为，倘若Meta最终选择采用TPU，将成为Google的重大胜利，也让TPU更具成为辉达图形处理单元（GPU）之外，企业的第二选择。

与GPU相比，TPU 被设计用于进行大量的低精度计算（如 8 位的低精度），每焦耳功耗下的输入/输出操作更多，但缺少用于光栅化/纹理映射的硬件。

根据诺曼·乔皮的说法，TPU 可以安装在散热器组件中，从而可以安装在数据中心机架上的硬盘驱动器插槽中。

## 产品

TPUv1｜TPUv2｜TPUv3｜TPUv4｜TPUv5e｜TPUv5p｜v6e (Trillium)｜TPU v7 (Ironwood)

推出时间｜2015｜2017｜2018｜2021｜2023｜2023｜2024｜2025

制程｜28 nm｜16 nm｜16 nm｜7 nm｜未列出｜未列出｜未列出｜未列出

裸晶尺寸 (mm2)｜331｜< 625｜< 700｜< 400｜300-350｜未列出｜未列出｜未列出

片上储存 (MiB)｜28｜32｜32 (VMEM) + 5 (spMEM)｜128 (CMEM) + 32 (VMEM) + 10 (spMEM)｜48｜112｜未列出｜未列出

时钟速度 (MHz)｜700｜700｜940｜1050｜未列出｜1750｜未列出｜未列出

内存｜8 GiB DDR3｜16 GiB HBM｜32 GiB HBM｜32 GiB HBM｜16 GB HBM｜95 GB HBM｜32 GB｜192 GB HBM

内存带宽｜34 GB/s｜600 GB/s｜900 GB/s｜1200 GB/s｜819 GB/s｜2765 GB/s｜1640 GB/s｜7.2 TB/s

热设计功耗 (W)｜75｜280｜220｜170｜未列出｜未列出｜未列出｜未列出

TOPS (Tera Operations Per Second)｜23｜45｜123｜275｜197 (bf16) 393 (int8)｜459 (bf16) 918 (int8)｜918 (bf16) 1836 (int8)｜4614 (fp8)

TOPS/W｜未列出｜未列出｜未列出｜4.7

### 第一代 TPU

第一代TPU是一个 8 位矩阵乘法的引擎，使用复杂指令集，并由主机通过 PCIe 3.0 总线驱动。它采用28 nm工艺制造，裸晶尺寸小于 331 mm2，时钟速度为 700 MHz，热设计功耗为 28–40 W。它有28 MiB 的片上存储和 4 MiB 的 32位累加器，取 8 位乘法器的 256×256 脉动阵列的计算结果。TPU 还封装了 8 GiB 的双通道 2133 MHz DDR3 SDRAM，带宽达到 34 GB/s。TPU 的指令向主机进行数据的收发，执行矩阵乘法和卷积运算，并应用激活函数。

### 第二代 TPU

第二代 TPU 于 2017 年 5 月发布。Google 表示，第一代 TPU 的设计受到了内存带宽的限制，因此在第二代设计中使用 16 GB 的高带宽内存，可将带宽提升到 600 GB/s，性能从而可达到 45 TFLOPS。TPU 芯片随后被排列成性能为 180 TFLOPS 的四芯片模块，并将其中的 64 个这样的模块组装成 256 芯片的 Pod，性能达到 11.5 PFLOPS。值得注意的是，第一代 TPU 只能进行整数运算，但第二代 TPU 还可以进行浮点运算。这使得第二代 TPU 对于机器学习模型的训练和推理都非常有用。谷歌表示，这些第二代TPU将可在 Google 计算引擎上使用，以用于 TensorFlow 应用程序中。

### 第三代 TPU

第三代 TPU 于 2018 年 5 月 8 日发布。谷歌宣布第三代 TPU 的性能是第二代的两倍，并将部署在芯片数量是上一代的四倍的 Pod 中。与部署的第二代 TPU 相比，这使每个 Pod 的性能提高了 8 倍（每个 Pod 中最多装有 1,024 个芯片）。

### 第四代 TPU

第四代 TPU 于 2021 年 5 月 19 日发布。谷歌宣布第四代 TPU 的性能是第三代的2.7倍，并将部署在芯片数量是上一代的两倍的 Pod 中。与部署的第三代 TPU 相比，这使每个 Pod 的性能提高了 5.4 倍（每个 Pod 中最多装有 4,096 个芯片）。

### 第五代 TPU

2021 年，谷歌透露TPU v5的物理布局是在深度强化学习新技术的帮助下设计的。谷歌声称TPU v5快了差不多两倍，比TPU v4快。基于这一点和比A100更好的表现，人们推测TPU v5可能与H100一样快，甚至更快。

与v4i是v4的轻量级版本一样，第五代也有一个名为v5e的“成本效益”的版本。2023年12月，谷歌推出了TPU v5p，宣称其性能与H100旗鼓相当。

### 第六代 TPU

2024年5月，在Google I/O会议上，Google推出了TPU v6e (Trillium)。Google声称TPU v6比起TPU v5e可实现4.7倍的性能提升，这要归功于大尺寸的矩阵乘法单元和更快的时钟速度。高带宽存储（HBM）容量和带宽均提高了一倍。pod可包含多达256个Trillium单元。

### 第七代 TPU

2025年4月，在Google Cloud Next会议上，谷歌推出了TPU v7 (Ironwood)。这是一款名为Ironwood的新芯片，将有两个版本：256颗芯片集群和9,216颗芯片集群。Ironwood的峰值计算性能可达4,614 TFLOP。

### Edge TPU

2018年7月，谷歌推出了用于边缘运算的特殊应用积体电路Edge TPU。

## 参见

- 视觉处理单元，一种专门用于视觉处理的小型设备
- TrueNorth，一种用于模拟脉冲神经网络，而非计算低精度张量的小型设备
- 神经处理单元
- 认知计算
- Tensor Core，英伟达公司提出的类似的架构

## 外部链接

- Cloud Tensor Processing Units (TPUs) (Google Cloud 上的文档)
- Photo of Google's TPU chip and board
- Photo of Google's TPU v2 board
- Photo of Google's TPU v3 board
- Photo of Google's TPU v2 pod

## 基本资料

- 日语原文：张量处理单元（TPU）
- 设计公司：Google
- 体系结构类型：神经网络、机器学习
- 推出年份：2016年