텐서 처리 장치

텐서 처리 장치(Tensor Processing Unit, TPU)는 구글이 신경망 기계 학습을 위해 개발한 신경망 처리 장치(NPU) ASIC이다. 텐서플로, Jax, 파이토치는 TPU에 의해 지원되는 프레임워크이다. 구글은 2015년에 내부적으로 TPU를 사용하기 시작했고, 2018년에는 클라우드 인프라의 일부로 서드파티 사용을 가능하게 했으며, 더 작은 버전의 칩을 판매하기도 했다.

 CPU 및 GPU와의 비교 
그래픽 처리 장치와 비교할 때, TPU는 래스터화/텍스처 매핑을 위한 하드웨어 없이 높은 처리량의 낮은 정밀도 계산(예: 최소 8비트 정밀도)을 줄당 더 많은 입출력 작업으로 수행하도록 설계되었다. 노먼 주피에 따르면, TPU ASIC는 데이터 센터 19인치 랙 내의 하드 드라이브 슬롯에 장착할 수 있는 방열판 어셈블리에 설치된다.

다양한 유형의 프로세서는 다양한 유형의 기계 학습 모델에 적합하다. TPU는 CNN에 적합하지만, GPU는 일부 완전 연결 신경망에 이점이 있으며, CPU는 RNN에 이점이 있을 수 있다.

 역사 
원래 TPU 엔지니어 중 한 명이자 나중에 Groq의 창립자가 된 조나단 로스(Jonathan Ross)에 따르면, 구글에는 세 개의 독립적인 그룹이 AI 가속기를 개발하고 있었으며, 시스템 온 칩인 TPU가 궁극적으로 선택된 디자인이었다.

텐서 처리 장치는 2016년 5월 구글 I/O 콘퍼런스에서 발표되었는데, 당시 구글은 TPU가 자사 데이터 센터에서 1년 넘게 사용되었다고 밝혔다. TPU 개발을 설명하는 구글의 2017년 논문은 1990년대에 비슷한 아키텍처로 구축된 이전의 시스템 온 칩 행렬 곱셈기를 인용한다. 이 칩은 특히 신경망과 같은 기계 학습 애플리케이션에 사용되는 기호 수학 라이브러리인 구글의 텐서플로 프레임워크를 위해 설계되었다."TensorFlow: Open source machine learning"  "It is machine learning software being used for various kinds of perceptual and language understanding tasks" — Jeffrey Dean, minute 0:47 / 2:17 from Youtube clip 그러나 2017년 현재 구글은 다른 유형의 기계 학습을 위해 여전히 CPU와 GPU를 사용했다. 다른 AI 가속기 디자인들도 다른 공급업체에서 출시되고 있으며, 임베디드 및 로봇공학 시장을 목표로 하고 있다.

구글의 TPU는 독점적이다. 일부 모델은 상업적으로 이용 가능하며, 2018년 2월 12일 뉴욕 타임스는 구글이 "다른 회사들이 자사의 클라우드 컴퓨팅 서비스를 통해 이 칩에 대한 접근 권한을 구매할 수 있도록 허용할 것"이라고 보도했다. 구글은 TPU가 알파고 대 이세돌의 인간 대 기계 바둑 대국 시리즈와 체스, 쇼기, 바둑을 규칙만으로 학습하여 해당 게임의 선두 프로그램을 이긴 알파제로 시스템에 사용되었다고 밝혔다. 구글은 또한 구글 스트리트 뷰 텍스트 처리를 위해 TPU를 사용하여 5일 이내에 스트리트 뷰 데이터베이스의 모든 텍스트를 찾을 수 있었다. 구글 포토에서는 개별 TPU가 하루에 1억 장 이상의 사진을 처리할 수 있다. 구글이 검색 결과를 제공하는 데 사용하는 랭크브레인에도 사용된다.

구글은 구글 클라우드 플랫폼의 일부인 클라우드 TPU 서비스를 통해 외부 개발자에게 TPU에 대한 접근을 제공하며, 노트북 기반 서비스인 캐글과 구글 코랩을 통해서도 제공한다.

브로드컴은 TPU의 공동 개발자로, 구글의 아키텍처와 사양을 제조 가능한 실리콘으로 전환한다. 브로드컴은 SerDes 고속 인터페이스와 같은 독점 기술을 제공하고, ASIC 설계를 감독하며, 대만 반도체 제조 회사(TSMC)와 같은 외부 파운드리를 통해 칩 제조 및 패키징을 관리하며, 프로그램 시작 이후 모든 세대를 담당해 왔다.

2025년 9월, 구글은 Crusoe 및 CoreWeave를 포함한 여러 "네오클라우드"와 데이터센터에 TPU를 배포하는 것에 대해 논의 중이다. 2025년 11월, 메타는 구글과 자사 데이터센터에 TPU를 배포하는 것에 대해 논의 중이다.

 제품 

+텐서 처리 장치(TPU) 세대  v1  v2  v3  v4Stay tuned, more information on TPU v4 is coming soon , retrieved 2020-08-06.  v5eCloud TPU v5e Inference Public Preview, retrieved 2023-11-06.  v5pCloud TPU v5p  Google Cloud. retrieved 2024-04-09Cloud TPU v5p Training , retrieved 2024-04-09.  v6e (트릴륨)  v7 (아이언우드) 출시일  2015  2017  2018  2021  2023  2023  2024  2025 공정 노드  28 nm  16 nm 16 nm  7 nm  미표기  미표기  미표기  미표기 다이 크기 (mm2)  331  < 625  < 700  < 400   300–350  미표기  미표기  미표기 온칩 메모리 (MiB)  28  32  32 (VMEM) + 5 (spMEM)  128 (CMEM) + 32 (VMEM) + 10 (spMEM)  미표기  미표기  미표기  미표기 클럭 속도 (MHz)  700  700  940  1050  미표기 1750  미표기  미표기 메모리  8 GiB DDR3 SDRAM  16 GiB HBM  32 GiB HBM  32 GiB HBM  16 GB HBM  95 GB HBM  32 GB  192 GB HBM 메모리 대역폭  34 GB/s  600 GB/s  900 GB/s  1200 GB/s  819 GB/s  2765 GB/s  1640 GB/s  7.37 TB/s 열 설계 전력 (W)  75  280  220  170  미표기  미표기  미표기  미표기 연산 성능 (초당 테라 연산)  23  45  123  275  197 (bf16)
393 (int8) 459 (bf16)
918 (int8) 918 (bf16)
1836 (int8) 4614 (fp8) 에너지 효율 (teraOPS/W)          미표기  미표기  미표기  4.7
 1세대 TPU 
1세대 TPU는 PCIe 3.0 버스를 통해 호스트 프로세서에 의해 CISC 명령으로 구동되는 8비트 행렬 곱셈 엔진이다. 28 nm 공정으로 제조되며, 다이 크기는 331 mm2 이하다. 클럭 속도는 700 MHz이고 열 설계 전력은 28–40 W이다. 온칩 메모리는 28 MiB를 가지며, 256×256 시스템 온 칩 8비트 곱셈기 배열의 결과를 받는 4 MiB 32비트 누산기를 가진다. TPU 패키지 내에는 34 GB/s의 대역폭을 제공하는 8 GiB의 듀얼 채널 2133 MHz DDR3 SDRAM이 있다. 명령은 호스트에서 데이터를 전송하거나 호스트로 데이터를 전송하고, 행렬 곱셈 또는 합성곱을 수행하며, 활성화 함수를 적용한다.

 2세대 TPU 
2세대 TPU는 2017년 5월에 발표되었다. 구글은 1세대 TPU 디자인이 메모리 대역폭에 의해 제한되었으며, 2세대 디자인에 16 GB의 고대역 메모리를 사용하여 대역폭을 600 GB/s로, 성능을 45 테라FLOPS로 향상시켰다고 밝혔다. TPU는 4칩 모듈로 배열되어 180 테라FLOPS의 성능을 제공한다. 이후 이 모듈 64개가 256칩 포드로 조립되어 11.5 페타FLOPS의 성능을 제공한다. 특히, 1세대 TPU는 정수로 제한되었던 반면, 2세대 TPU는 부동소수점으로도 계산할 수 있으며, 구글 브레인이 발명한 bfloat16 형식을 도입했다. 이로 인해 2세대 TPU는 기계 학습 모델의 훈련과 추론 모두에 유용하다. 구글은 이 2세대 TPU가 구글 컴퓨트 엔진에서 텐서플로 애플리케이션에 사용될 수 있도록 제공될 것이라고 밝혔다.

 3세대 TPU 
3세대 TPU는 2018년 5월 8일에 발표되었다. 구글은 프로세서 자체가 2세대 TPU보다 두 배 강력하며, 이전 세대보다 4배 많은 칩을 포함한 포드로 배포될 것이라고 발표했다. 이로 인해 2세대 TPU 배포와 비교하여 포드당 성능이 8배 증가한다(포드당 최대 1,024개의 칩).섬네일|upright=1.2|TPU v4 패키지(중앙의 ASIC와 4개의 HBM 스택) 및 액체 냉각 패키지 4개가 있는 인쇄 회로 기판(PCB). 보드 전면 패널에는 4개의 상단 PCIe 커넥터가 있다(2023년).
 4세대 TPU 
2021년 5월 18일, 구글 CEO 선다 피차이는 구글 I/O 가상 컨퍼런스 기조연설에서 TPU v4 텐서 처리 장치에 대해 언급했다. TPU v4는 TPU v3 칩보다 성능이 2배 이상 향상되었다. 피차이는 "단일 v4 포드에는 4,096개의 v4 칩이 포함되어 있으며, 각 포드는 다른 네트워킹 기술에 비해 칩당 10배의 상호 연결 대역폭을 갖추고 있다"고 말했다. 2023년 4월 구글의 논문에서는 TPU v4가 기계 학습 벤치마크에서 엔비디아 A100보다 5–87% 더 빠르다고 주장한다.

"추론" 버전인 v4i도 있으며, 이는 액체 냉각을 필요로 하지 않는다.

 5세대 TPU 
2021년 구글은 심층 강화 학습의 새로운 응용을 통해 TPU v5의 물리적 레이아웃이 설계되고 있다고 밝혔다. 구글은 TPU v5가 TPU v4보다 거의 두 배 빠르다고 주장하며, 이를 바탕으로 TPU v4와 A100의 상대적 성능을 고려할 때, 일부 전문가들은 TPU v5가 H100만큼 빠르거나 더 빠를 것이라고 추측한다.

v4i가 v4의 경량 버전인 것과 유사하게, 5세대에는 "비용 효율적인" v5e 버전이 있다. 2023년 12월, 구글은 엔비디아 H100과 경쟁할 것이라고 주장하는 TPU v5p를 발표했다.

 6세대 TPU 
2024년 5월, 구글 I/O 콘퍼런스에서 구글은 트릴륨(Trillium)을 발표했으며, 이는 2024년 10월에 미리 보기로 제공되었다. 구글은 더 큰 행렬 곱셈 장치와 증가된 클럭 속도를 통해 TPU v5e에 비해 4.7배의 성능 향상을 주장했다. 고대역 메모리(HBM) 용량과 대역폭도 두 배로 늘어났다. 한 포드에는 최대 256개의 트릴륨 장치가 포함될 수 있다.

 7세대 TPU 
2025년 4월 구글 클라우드 넥스트(Google Cloud Next) 컨퍼런스에서 구글은 TPU v7을 공개했다. 아이언우드(Ironwood)라는 이름의 이 새로운 칩은 256칩 클러스터와 9,216칩 클러스터의 두 가지 구성으로 출시될 예정이다. 아이언우드는 4,614 TFLOP/s의 최대 계산 성능을 가질 것이다.

 Edge TPU 
2018년 7월, 구글은 Edge TPU를 발표했다. Edge TPU는 에지 컴퓨팅을 위한 기계 학습(ML) 모델을 실행하도록 설계된 구글의 전용 ASIC 칩으로, 구글 데이터센터에 호스팅된 TPU(클라우드 TPU라고도 함)에 비해 훨씬 작고 전력 소비가 훨씬 적다. 2019년 1월, 구글은 코랄 브랜드의 제품 라인을 통해 Edge TPU를 개발자들에게 제공했다. Edge TPU는 2W의 전력으로 초당 4조 회의 연산을 수행할 수 있다.

제품 제공에는 단일 보드 컴퓨터(SBC), 시스템 온 모듈(SoM), USB 액세서리, 미니 PCI-e 카드 및 M.2 카드가 포함된다. SBC 코랄 데브 보드와 코랄 SoM은 모두 데비안 기반의 멘델 리눅스 OS를 실행한다. USB, PCI-e 및 M.2 제품은 기존 컴퓨터 시스템의 추가 기능으로 작동하며, x86-64 및 ARM64 호스트(포함하여 라즈베리 파이)에서 데비안 기반 리눅스 시스템을 지원한다.

Edge TPU에서 모델을 실행하는 데 사용되는 기계 학습 런타임은 텐서플로 라이트를 기반으로 한다. Edge TPU는 순방향 연산만 가속화할 수 있으므로 주로 추론을 수행하는 데 유용하다(Edge TPU에서 경량 전이 학습을 수행할 수 있지만). Edge TPU는 8비트 수학만 지원하므로, 네트워크가 Edge TPU와 호환되려면 텐서플로 양자화 인식 학습 기술을 사용하여 학습시키거나, 2019년 말부터는 후처리 양자화를 사용할 수도 있다.

2019년 11월 12일, 에이수스는 Edge TPU를 탑재한 단일 보드 컴퓨터(SBC) 한 쌍을 발표했다. 아수스 팅커 엣지 T 및 팅커 엣지 R 보드는 IoT 및 엣지 AI를 위해 설계되었다. 이 SBC들은 공식적으로 안드로이드와 데비안 운영체제를 지원한다. ASUS는 또한 Edge TPU를 탑재한 아수스 PN60T라는 미니 PC를 시연했다.

2020년 1월 2일, 구글은 같은 달 말 CES 2020에서 시연될 코랄 액셀러레이터 모듈과 코랄 데브 보드 미니를 발표했다. 코랄 액셀러레이터 모듈은 Edge TPU, PCIe 및 USB 인터페이스를 특징으로 하는 멀티칩 모듈로, 통합을 용이하게 한다. 코랄 데브 보드 미니는 코랄 액셀러레이터 모듈과 미디어텍 8167s SoC를 특징으로 하는 더 작은 단일 보드 컴퓨터(SBC)이다.

 픽셀 뉴럴 코어 

2019년 10월 15일, 구글은 Edge TPU의 일종인 픽셀 뉴럴 코어를 탑재한 픽셀 4 스마트폰을 발표했다. 구글은 이를 "픽셀 4의 주요 카메라 기능 요구 사항을 충족하도록 맞춤화되었다"고 설명했으며, 대기 시간과 전력 소비를 최소화하기 위해 정확도를 일부 희생하는 신경망 검색을 사용했다.

 구글 텐서 

구글은 픽셀 뉴럴 코어에 이어 Edge TPU를 맞춤형 시스템 온 칩인 구글 텐서에 통합하여 2021년 픽셀 6 스마트폰 라인과 함께 출시했다. 구글 텐서 SoC는 기계 학습 중심 벤치마크에서 "경쟁사 대비 매우 큰 성능 우위"를 보였다. 순간 전력 소비량도 상대적으로 높았지만, 성능 향상으로 인해 최고 성능이 필요한 기간이 짧아져 에너지가 덜 소비되었다.

 소송 
2019년, MIT의 객원연구원 조셉 베이츠(Joseph Bates)가 2009년 설립한 Singular Computing은 TPU 칩의 특허 침해를 주장하며 구글을 상대로 소송을 제기했다. 2020년까지 구글은 법원이 심리할 청구 건수를 두 가지로 줄이는 데 성공했다. 2012년에 출원된 의 청구항 53과 2013년에 출원된 의 청구항 7인데, 둘 다 부동소수점 숫자에 대해 10−6에서 106의 동적 범위를 주장한다. 이는 표준 float16으로는 불가능하다(비정규 수에 의존하지 않고서는) 왜냐하면 지수에 대해 5비트만 있기 때문이다. 2023년 법원 제출 서류에서 Singular Computing은 특히 구글의 bfloat16 사용을 지적했는데, 이는 float16의 동적 범위를 초과하기 때문이다. Singular Computing은 비표준 부동소수점 형식이 2009년에는 자명하지 않았다고 주장하지만, 구글은 지수 비트 수를 구성할 수 있는 VFLOAT 형식이 2002년에 선행 기술로 존재했다고 반박한다. 2024년 1월까지 Singular Computing의 후속 소송으로 인해 소송 중인 특허 수가 8개로 늘어났다. 같은 달 말 재판이 끝날 무렵, 구글은 비공개 조건으로 합의에 동의했다.

 같이 보기 
 AI 가속기
 AI 데이터센터
 인지 컴퓨터
 구글 코랩—클라우드를 통해 TPU를 활용할 수 있는 파이썬 온라인 IDE
 텐서 코어—엔비디아의 유사한 아키텍처
 트루노스—낮은 정밀도 텐서 대신 스파이킹 뉴런을 시뮬레이션하는 유사 장치
 비전 처리 장치—비전 처리에 특화된 유사 장치

 각주 

 외부 링크 
 Cloud Tensor Processing Units (TPUs) (구글 클라우드 문서)
 구글의 TPU 칩 및 보드 사진
 구글의 TPU v2 보드 사진. 
 구글의 TPU v3 보드 사진. 
 구글의 TPU v2 포드 사진. 

분류:마이크로프로세서
분류:신경망 처리 장치
분류:ASIC
분류:구글의 하드웨어