張量處理單元

張量處理單元（Tensor Processing Unit，簡稱：TPU），也稱張量處理器，是 Google 開發的專用積體電路（ASIC），專門用於加速機器學習。自 2015 年起，Google 就已經開始在內部使用 TPU，並於 2018 年將 TPU 提供給第三方使用，既將部分 TPU 作為其雲基礎架構的一部分，也將部分小型版本的 TPU 用於銷售。

## 總覽

2016 年 5 月，Google 在 Google I/O 上宣布張量處理單元，並表示 TPU 已經在其數據中心內部使用超過一年。該晶片是專門為 Google 的 TensorFlow 框架（一個符號數學庫，用於機器學習應用程式，如神經網路）設計。不過，截至 2017 年，Google 也將 CPU 和 GPU 用於其他類型的機器學習。其他供應商也設計了自己的 AI 加速器，並針對嵌入式和機器人市場。

Google 的 TPU 是專有的，一些 TPU 的型號已經上市。在 2018 年 2 月 12 日，紐約時報報導稱 Google 將「允許其他公司通過其雲計算服務購買對這些晶片的訪問權」。Google 曾稱，它們已用於 AlphaGo 與李世乭的人機圍棋對戰以及 AlphaZero 系統中。Google還使用 TPU 進行 Google 街景中的文本處理，並且能夠在不到五天的時間內找到 Google 街景資料庫中的所有文本。在 Google 相冊中，單個 TPU 每天可以處理超過1億張照片。TPU 也被用在 Google 用來提供搜索結果的 RankBrain 中。《The Information》報導Meta正與Google商討在2027年於自家資料中心部署Google的 TPU，並可能在2026年向Google Cloud租用相關晶片。分析師認為，倘若Meta最終選擇採用TPU，將成為Google的重大勝利，也讓TPU更具成為輝達圖形處理單元（GPU）之外，企業的第二選擇。

與GPU相比，TPU 被設計用於進行大量的低精度計算（如 8 位的低精度），每焦耳功耗下的輸入/輸出操作更多，但缺少用於光柵化/紋理映射的硬體。

根據諾曼·喬皮的說法，TPU 可以安裝在散熱器組件中，從而可以安裝在數據中心機架上的硬碟驅動器插槽中。

## 產品

TPUv1｜TPUv2｜TPUv3｜TPUv4｜TPUv5e｜TPUv5p｜v6e (Trillium)｜TPU v7 (Ironwood)

推出時間｜2015｜2017｜2018｜2021｜2023｜2023｜2024｜2025

製程｜28 nm｜16 nm｜16 nm｜7 nm｜未列出｜未列出｜未列出｜未列出

裸晶尺寸 (mm2)｜331｜< 625｜< 700｜< 400｜300-350｜未列出｜未列出｜未列出

片上儲存 (MiB)｜28｜32｜32 (VMEM) + 5 (spMEM)｜128 (CMEM) + 32 (VMEM) + 10 (spMEM)｜48｜112｜未列出｜未列出

時鐘速度 (MHz)｜700｜700｜940｜1050｜未列出｜1750｜未列出｜未列出

記憶體｜8 GiB DDR3｜16 GiB HBM｜32 GiB HBM｜32 GiB HBM｜16 GB HBM｜95 GB HBM｜32 GB｜192 GB HBM

記憶體帶寬｜34 GB/s｜600 GB/s｜900 GB/s｜1200 GB/s｜819 GB/s｜2765 GB/s｜1640 GB/s｜7.2 TB/s

熱設計功耗 (W)｜75｜280｜220｜170｜未列出｜未列出｜未列出｜未列出

TOPS (Tera Operations Per Second)｜23｜45｜123｜275｜197 (bf16) 393 (int8)｜459 (bf16) 918 (int8)｜918 (bf16) 1836 (int8)｜4614 (fp8)

TOPS/W｜未列出｜未列出｜未列出｜4.7

### 第一代 TPU

第一代TPU是一個 8 位矩陣乘法的引擎，使用複雜指令集，並由主機通過 PCIe 3.0 總線驅動。它採用28 nm工藝製造，裸晶尺寸小於 331 mm2，時鐘速度為 700 MHz，熱設計功耗為 28–40 W。它有28 MiB 的片上存儲和 4 MiB 的 32位累加器，取 8 位乘法器的 256×256 脈動陣列的計算結果。TPU 還封裝了 8 GiB 的雙通道 2133 MHz DDR3 SDRAM，帶寬達到 34 GB/s。TPU 的指令向主機進行數據的收發，執行矩陣乘法和卷積運算，並應用激活函數。

### 第二代 TPU

第二代 TPU 於 2017 年 5 月發布。Google 表示，第一代 TPU 的設計受到了記憶體帶寬的限制，因此在第二代設計中使用 16 GB 的高帶寬記憶體，可將帶寬提升到 600 GB/s，性能從而可達到 45 TFLOPS。TPU 晶片隨後被排列成性能為 180 TFLOPS 的四晶片模塊，並將其中的 64 個這樣的模塊組裝成 256 晶片的 Pod，性能達到 11.5 PFLOPS。值得注意的是，第一代 TPU 只能進行整數運算，但第二代 TPU 還可以進行浮點運算。這使得第二代 TPU 對於機器學習模型的訓練和推理都非常有用。谷歌表示，這些第二代TPU將可在 Google 計算引擎上使用，以用於 TensorFlow 應用程式中。

### 第三代 TPU

第三代 TPU 於 2018 年 5 月 8 日發布。谷歌宣布第三代 TPU 的性能是第二代的兩倍，並將部署在晶片數量是上一代的四倍的 Pod 中。與部署的第二代 TPU 相比，這使每個 Pod 的性能提高了 8 倍（每個 Pod 中最多裝有 1,024 個晶片）。

### 第四代 TPU

第四代 TPU 於 2021 年 5 月 19 日發布。谷歌宣布第四代 TPU 的性能是第三代的2.7倍，並將部署在晶片數量是上一代的兩倍的 Pod 中。與部署的第三代 TPU 相比，這使每個 Pod 的性能提高了 5.4 倍（每個 Pod 中最多裝有 4,096 個晶片）。

### 第五代 TPU

2021 年，谷歌透露TPU v5的物理布局是在深度強化學習新技術的幫助下設計的。谷歌聲稱TPU v5快了差不多兩倍，比TPU v4快。基於這一點和比A100更好的表現，人們推測TPU v5可能與H100一樣快，甚至更快。

與v4i是v4的輕量級版本一樣，第五代也有一個名為v5e的「成本效益」的版本。2023年12月，谷歌推出了TPU v5p，宣稱其性能與H100旗鼓相當。

### 第六代 TPU

2024年5月，在Google I/O會議上，Google推出了TPU v6e (Trillium)。Google聲稱TPU v6比起TPU v5e可實現4.7倍的性能提升，這要歸功於大尺寸的矩陣乘法單元和更快的時鐘速度。高帶寬存儲（HBM）容量和帶寬均提高了一倍。pod可包含多達256個Trillium單元。

### 第七代 TPU

2025年4月，在Google Cloud Next會議上，谷歌推出了TPU v7 (Ironwood)。這是一款名為Ironwood的新晶片，將有兩個版本：256顆晶片集群和9,216顆晶片集群。Ironwood的峰值計算性能可達4,614 TFLOP。

### Edge TPU

2018年7月，谷歌推出了用於邊緣運算的特殊應用積體電路Edge TPU。

## 參見

- 視覺處理單元，一種專門用於視覺處理的小型設備
- TrueNorth，一種用於模擬脈衝神經網路，而非計算低精度張量的小型設備
- 神經處理單元
- 認知計算
- Tensor Core，英偉達公司提出的類似的架構

## 外部連結

- Cloud Tensor Processing Units (TPUs) (Google Cloud 上的文檔)
- Photo of Google's TPU chip and board
- Photo of Google's TPU v2 board
- Photo of Google's TPU v3 board
- Photo of Google's TPU v2 pod

## 基本資料

- 日語原文：張量處理單元（TPU）
- 設計公司：Google
- 體系結構類型：神經網路、機器學習
- 推出年份：2016年