张量处理单元

张量处理单元（，简称：），也称张量处理器，是 Google 开发的专用集成电路（ASIC），专门用于加速机器学习。自 2015 年起，Google 就已经开始在内部使用 TPU，并于 2018 年将 TPU 提供给第三方使用，既将部分 TPU 作为其云基础架构的一部分，也将部分小型版本的 TPU 用于销售。

 总览 
2016 年 5 月，Google 在 Google I/O 上宣布张量处理单元，并表示 TPU 已经在其数据中心内部使用超过一年。该芯片是专门为 Google 的 TensorFlow 框架（一个符号数学库，用于机器学习应用程序，如神经网络）设计。"TensorFlow: Open source machine learning"  "It is machine learning software being used for various kinds of perceptual and language understanding tasks" — Jeffrey Dean, minute 0:47 / 2:17 from Youtube clip不过，截至 2017 年，Google 也将 CPU 和 GPU 用于其他类型的机器学习。其他供应商也设计了自己的 AI 加速器，并针对嵌入式和机器人市场。

Google 的 TPU 是专有的，一些 TPU 的型号已经上市。在 2018 年 2 月 12 日，纽约时报报道称 Google 将“允许其他公司通过其云计算服务购买对这些芯片的访问权”。Google 曾称，它们已用于 AlphaGo 与李世乭的人机围棋对战以及 AlphaZero 系统中。Google还使用 TPU 进行 Google 街景中的文本处理，并且能够在不到五天的时间内找到 Google 街景数据库中的所有文本。在 Google 相册中，单个 TPU 每天可以处理超过1亿张照片。TPU 也被用在 Google 用来提供搜索结果的  中。《The Information》報導Meta正與Google商討在2027年於自家資料中心部署Google的 TPU，並可能在2026年向Google Cloud租用相關晶片。分析師認為，倘若Meta最終選擇採用TPU，將成為Google的重大勝利，也讓TPU更具成為輝達图形处理单元（GPU)之外，企業的第二選擇。

与GPU相比，TPU 被设计用于进行大量的低精度计算（如 8 位的低精度），每焦耳功耗下的输入/输出操作更多，但缺少用于光栅化/纹理映射的硬件。

根据的说法，TPU 可以安装在散热器组件中，从而可以安装在数据中心机架上的硬盘驱动器插槽中。

 产品 

+张量处理单元产品   TPUv1  TPUv2  TPUv3  TPUv4Stay tuned, more information on TPU v4 is coming soon , retrieved 2020-08-06.  TPUv5eCloud TPU v5e Inference Public Preview, retrieved 2023-11-06.  TPUv5pCloud TPU v5p  Google Cloud. retrieved 2024-04-09Cloud TPU v5p Training , retrieved 2024-04-09.  v6e (Trillium)  TPU v7 (Ironwood) 推出时间  2015  2017  2018  2021  2023  2023  2024  2025 制程  28 nm  16 nm 16 nm  7 nm  未列出  未列出  未列出  未列出 裸晶尺寸 (mm2)  331  < 625  < 700  < 400   300-350  未列出  未列出  未列出 片上储存 (MiB)  28  32  32 (VMEM) + 5 (spMEM)  128 (CMEM) + 32 (VMEM) + 10 (spMEM)  48  112  未列出  未列出 时钟速度 (MHz)  700  700  940  1050  未列出  1750  未列出  未列出 内存  8 GiB DDR3  16 GiB HBM  32 GiB HBM  32 GiB HBM  16 GB HBM  95 GB HBM  32 GB  192 GB HBM 内存带宽  34 GB/s  600 GB/s  900 GB/s  1200 GB/s  819 GB/s  2765 GB/s  1640 GB/s  7.2 TB/s 热设计功耗 (W)  75  280  220  170  未列出  未列出  未列出  未列出 TOPS (Tera Operations Per Second)  23  45  123  275  197 (bf16)
393 (int8) 459 (bf16)
918 (int8) 918 (bf16)
1836 (int8) 4614 (fp8) TOPS/W          未列出  未列出  未列出  4.7

 第一代 TPU 
第一代TPU是一个 8 位矩阵乘法的引擎，使用复杂指令集，并由主机通过 PCIe 3.0 总线驱动。它采用28 nm工艺制造，裸晶尺寸小于 331 mm2，时钟速度为 700 MHz，热设计功耗为 28–40 W。它有28 MiB 的片上存储和 4 MiB 的 32位累加器，取 8 位乘法器的 256×256 脉动阵列的计算结果。TPU 还封装了 8 GiB 的双通道 2133 MHz DDR3 SDRAM，带宽达到 34 GB/s。TPU 的指令向主机进行数据的收发，执行矩阵乘法和卷积运算，并应用激活函数。

 第二代 TPU 
第二代 TPU 于 2017 年 5 月发布。Google 表示，第一代 TPU 的设计受到了内存带宽的限制，因此在第二代设计中使用 16 GB 的高带宽内存，可将带宽提升到 600 GB/s，性能从而可达到 45 TFLOPS。TPU 芯片随后被排列成性能为 180 TFLOPS 的四芯片模块，并将其中的 64 个这样的模块组装成 256 芯片的 Pod，性能达到 11.5 PFLOPS。值得注意的是，第一代 TPU 只能进行整数运算，但第二代 TPU 还可以进行浮点运算。这使得第二代 TPU 对于机器学习模型的训练和推理都非常有用。谷歌表示，这些第二代TPU将可在 Google 计算引擎上使用，以用于 TensorFlow 应用程序中。

 第三代 TPU 
第三代 TPU 于 2018 年 5 月 8 日发布。谷歌宣布第三代 TPU 的性能是第二代的两倍，并将部署在芯片数量是上一代的四倍的 Pod 中。与部署的第二代 TPU 相比，这使每个 Pod 的性能提高了 8 倍（每个 Pod 中最多装有 1,024 个芯片）。

 第四代 TPU 
第四代 TPU 于 2021 年 5 月 19 日发布。谷歌宣布第四代 TPU 的性能是第三代的2.7倍，并将部署在芯片数量是上一代的两倍的 Pod 中。与部署的第三代 TPU 相比，这使每个 Pod 的性能提高了 5.4 倍（每个 Pod 中最多装有 4,096 个芯片）。

 第五代 TPU 
2021 年，谷歌透露TPU v5的物理布局是在深度强化学习新技术的帮助下设计的。谷歌聲稱TPU v5快了差不多两倍，比TPU v4快。基于这一點和比A100更好的表现，人们推測TPU v5可能与H100一样快，甚至更快。

与v4i是v4的轻量级版本一样，第五代也有一个名为v5e的“成本效益”的版本。2023年12月，谷歌推出了TPU v5p，宣称其性能与H100旗鼓相当。

 第六代 TPU 
2024年5月，在Google I/O会议上，Google推出了TPU v6e (Trillium)。Google声称TPU v6比起TPU v5e可实现4.7倍的性能提升，這要歸功於大尺寸的矩阵乘法單元和更快的时钟速度。高带宽存储（HBM）容量和带宽均提高了一倍。pod可包含多达256个Trillium单元。

 第七代 TPU 
2025年4月，在Google Cloud Next会议上，谷歌推出了TPU v7 (Ironwood)。 这是一款名为Ironwood的新芯片，将有两个版本：256颗芯片集群和9,216颗芯片集群。Ironwood的峰值计算性能可达4,614 TFLOP。

 Edge TPU 
2018年7月，谷歌推出了用於邊緣運算的特殊應用積體電路Edge TPU。

 参见 
 视觉处理单元，一种专门用于视觉处理的小型设备
 TrueNorth，一种用于模拟脉冲神经网络，而非计算低精度张量的小型设备
 神经处理单元

 ，英伟达公司提出的类似的架构

 参考文献 

 外部链接 
 Cloud Tensor Processing Units (TPUs)  (Google Cloud 上的文档)
 Photo of Google's TPU chip and board 
 Photo of Google's TPU v2 board 
 Photo of Google's TPU v3 board 
 Photo of Google's TPU v2 pod 

Category:人工智慧加速器
Category:Google硬體