CUDA

컴퓨팅에서 CUDA (Compute Unified Device Architecture)는 그래픽 처리 장치 (GPU)의 특정 유형을 사용하여 가속화된 범용 처리를 가능하게 하는 독점적인 병렬 컴퓨팅 플랫폼 및 API이다. 이러한 접근 방식을 GPU 기반 범용 컴퓨팅이라고 한다. CUDA는 엔비디아가 2006년에 만들었다. 처음 소개될 때 그 이름은 Compute Unified Device Architecture의 약어였지만, 엔비디아는 나중에 약어의 일반적인 사용을 중단하고 현재는 거의 확장하지 않는다.

CUDA는 GPU의 가상 명령어 집합 및 병렬 컴퓨팅 요소에 직접 접근하여 컴퓨트 커널을 실행할 수 있도록 하는 소프트웨어 계층이다. 드라이버 및 런타임 커널 외에도 CUDA 플랫폼에는 프로그래머가 애플리케이션을 가속화하는 데 도움이 되는 컴파일러, 라이브러리 및 개발자 도구가 포함되어 있다.

CUDA는 C, C++, 포트란, 파이썬, 줄리아와 같은 프로그래밍 언어와 함께 작동하도록 설계되었다. 이러한 접근성은 Direct3D 및 OpenGL과 같은 이전 API가 고급 그래픽 프로그래밍 기술을 요구했던 것과 대조적으로 병렬 프로그래밍 전문가가 GPU 리소스를 더 쉽게 사용할 수 있도록 한다. CUDA 기반 GPU는 OpenMP, OpenACC 및 OpenCL과 같은 프로그래밍 프레임워크도 지원한다.

배경

그래픽 처리 장치 (GPU)는 전문화된 컴퓨터 프로세서로서 실시간 고해상도 3차원 그래픽스의 컴퓨팅 집약적인 작업 요구 사항을 해결한다. 2012년까지 GPU는 대규모 데이터 블록을 효율적으로 조작할 수 있는 고도로 병렬적인 멀티 코어 시스템으로 발전했다. 이러한 설계는 대규모 데이터 블록 처리가 병렬로 수행되는 상황에서 일반적인 중앙 처리 장치 (CPU)보다 알고리즘에 더 효과적이다. 예를 들어 다음과 같은 상황에서 그렇다.
 암호화 해시 함수
 기계 학습
 분자동역학 시뮬레이션
 물리 엔진
이안 벅은 2000년 스탠포드에서 32개의 지포스 카드를 사용하여 8K 게임 장비를 만들었고, 그 후 DARPA 보조금을 받아 GPU에서 범용 병렬 프로그래밍을 수행했다. 그 후 그는 엔비디아에 합류하여 2004년부터 CUDA 개발을 감독하고 있다. CUDA를 추진하면서 젠슨 황은 엔비디아 GPU가 과학 컴퓨팅을 위한 일반 하드웨어가 되는 것을 목표로 했다. CUDA는 2007년에 출시되었다. 2015년경 CUDA의 초점은 신경망으로 바뀌었다.

 온톨로지 
다음 표는 CUDA 프레임워크의 온톨로지에 대한 비정확한 설명을 제공한다.

+ CUDA 프레임워크의 온톨로지 메모리(하드웨어) 메모리 (코드, 또는 변수 스코핑) 컴퓨테이션(하드웨어) 컴퓨테이션(코드 구문) 컴퓨테이션(코드 의미론) RAM 비-CUDA 변수 호스트 프로그램 하나의 루틴 호출 VRAM,GPU L2 캐시 전역, 상수, 텍스처 장치 그리드 많은 프로세서에서 동일한 서브루틴 동시 호출 GPU L1 캐시 로컬, 공유 SM ("스트리밍 멀티프로세서") 블록 개별 서브루틴 호출 워프 = 32 스레드 SIMD 명령어 GPU L0 캐시,레지스터 스레드 (일명 "SP", "스트리밍 프로세서", "CUDA 코어", 이 이름들은 현재 사용되지 않음) 벡터 연산 내 개별 스칼라 연산과 유사

프로그래밍 기능
섬네일|300px|right|CUDA 처리 흐름 예시 

CUDA 플랫폼은 CUDA 가속 라이브러리, OpenACC와 같은 컴파일러 지시문, 그리고 C, C++, 포트란, 파이썬을 포함한 산업 표준 프로그래밍 언어의 확장을 통해 소프트웨어 개발자에게 접근 가능하다. C/C++ 프로그래머는 엔비디아의 LLVM 기반 C/C++ 컴파일러인 nvcc 또는 clang 자체를 사용하여 PTX로 컴파일된 'CUDA C/C++'를 사용할 수 있다. 포트란 프로그래머는 The Portland Group의 PGI CUDA 포트란 컴파일러를 사용하여 'CUDA 포트란'을 사용할 수 있다. 파이썬 프로그래머는 cuNumeric 라이브러리를 사용하여 엔비디아 GPU에서 애플리케이션을 가속화할 수 있다.

라이브러리, 컴파일러 지시문, CUDA C/C++ 및 CUDA 포트란 외에도 CUDA 플랫폼은 크로노스 그룹의 OpenCL, 마이크로소프트의 다이렉트컴퓨트, OpenGL 컴퓨트 셰이더 및 C++ AMP를 포함한 다른 컴퓨팅 인터페이스를 지원한다. 파이썬, 펄, 포트란, 자바, 루비, 루아, 커먼 리스프, 하스켈, R, 매트랩, IDL, 줄리아에 대한 타사 래퍼도 사용할 수 있으며, 매스매티카에는 네이티브 지원이 제공된다.

비디오 게임 산업에서 GPU는 그래픽 렌더링 및 게임 물리 계산 (파편, 연기, 불, 유체와 같은 물리적 효과)에 사용되며, PhysX 및 불릿이 그 예시이다. CUDA는 계산생물학, 암호학 및 기타 분야에서 비그래픽 애플리케이션을 크게 가속화하는 데 사용되기도 했다.

CUDA는 낮은 수준의 API (CUDA 드라이버 API, 비단일 소스)와 높은 수준의 API (CUDA 런타임 API, 단일 소스)를 모두 제공한다. 초기 CUDA SDK는 2007년 2월 15일에 마이크로소프트 윈도우 및 리눅스용으로 공개되었다. 맥 OS X 지원은 나중에 버전 2.0에 추가되었으며, 이는 2008년 2월 14일에 출시된 베타 버전을 대체한다. CUDA는 G8x 시리즈 이후의 모든 엔비디아 GPU, 즉 지포스, 쿼드로 및 엔비디아 테슬라 라인과 함께 작동한다. CUDA는 대부분의 표준 운영 체제와 호환된다.

CUDA 8.0에는 다음 라이브러리가 포함된다 (컴파일 및 런타임용, 알파벳 순):

 cuBLAS – CUDA 기본 선형 대수 서브루틴 라이브러리
 CUDART – CUDA 런타임 라이브러리
 cuFFT – CUDA 고속 푸리에 변환 라이브러리
 cuRAND – CUDA 무작위 숫자 생성 라이브러리
 cuSOLVER – CUDA 기반 조밀 및 희소 직접 솔버 컬렉션
 cuSPARSE – CUDA 희소 행렬 라이브러리
 NPP – 엔비디아 성능 프리미티브 라이브러리
 nvGRAPH – 엔비디아 그래프 분석 라이브러리
 NVML – 엔비디아 관리 라이브러리
 NVRTC – CUDA C++용 엔비디아 런타임 컴파일 라이브러리
CUDA 8.0에는 다음 다른 소프트웨어 구성 요소가 포함된다:

 nView – 엔비디아 nView 데스크톱 관리 소프트웨어
 NVWMI – 엔비디아 엔터프라이즈 관리 툴킷
 GameWorks PhysX – 멀티 플랫폼 게임 물리 엔진

CUDA 9.0–9.2에는 다음 다른 구성 요소가 포함된다:

 CUTLASS 1.0 – 사용자 정의 선형 대수 알고리즘
 NVIDIA Video Decoder는 CUDA 9.2에서 더 이상 사용되지 않으며, 이제 NVIDIA Video Codec SDK에서 사용할 수 있다.

CUDA 10에는 다음 다른 구성 요소가 포함된다:

 nvJPEG – 하이브리드 (CPU 및 GPU) JPEG 처리

CUDA 11.0–11.8에는 다음 다른 구성 요소가 포함된다:

 CUB은 새로 지원되는 C++ 라이브러리 중 하나이다.
 MIG 멀티 인스턴스 GPU 지원
 nvJPEG2000 – JPEG 2000 인코더 및 디코더

장점
CUDA는 그래픽 API를 사용하는 기존 GPU 기반 범용 컴퓨팅에 비해 몇 가지 장점이 있다.

 분산 읽기 – 코드가 메모리의 임의 주소에서 읽을 수 있다.
 통합 가상 메모리 (CUDA 4.0 이상)
 통합 메모리 (CUDA 6.0 이상)
 공유 메모리 – CUDA는 스레드 간에 공유될 수 있는 빠른 공유 메모리 영역을 노출한다. 이것은 사용자 관리 캐시로 사용될 수 있으며, 텍스처 조회로 가능한 것보다 높은 대역폭을 가능하게 한다.
 GPU로의 더 빠른 다운로드 및 리드백
 정수 및 비트 연산에 대한 완전한 지원 (정수 텍스처 조회 포함)

한계
 호스트 컴퓨터든 GPU 장치든, 모든 CUDA 소스 코드는 이제 C++ 구문 규칙에 따라 처리된다. 이는 항상 그런 것은 아니었다. 이전 버전의 CUDA는 C 구문 규칙을 기반으로 했다. C 코드를 C++ 컴파일러로 컴파일하는 일반적인 경우와 마찬가지로, 오래된 C 스타일 CUDA 소스 코드가 컴파일에 실패하거나 원래 의도와 다르게 동작할 수 있다.
 OpenGL과 같은 렌더링 언어와의 상호 운용성은 단방향이며, OpenGL은 등록된 CUDA 메모리에 접근할 수 있지만 CUDA는 OpenGL 메모리에 접근할 수 없다.
 호스트와 장치 메모리 간의 복사는 시스템 버스 대역폭 및 지연 시간으로 인해 성능 저하를 초래할 수 있다 (이는 GPU의 DMA 엔진이 처리하는 비동기 메모리 전송으로 부분적으로 완화될 수 있다).
 스레드는 최상의 성능을 위해 최소 32개 그룹으로 실행되어야 하며, 총 스레드 수는 수천 개에 달해야 한다. 프로그램 코드의 분기는 32개 스레드 각각이 동일한 실행 경로를 따르는 한 성능에 큰 영향을 미치지 않는다. SIMD 실행 모델은 본질적으로 발산하는 작업 (예: 광선 추적 중 공간 분할 데이터 구조를 순회하는 경우)에 상당한 제약이 된다.
 최신 개정판에는 에뮬레이션 또는 대체 기능이 제공되지 않는다.
 유효한 C++ 코드도 컴파일러가 대상 GPU 장치 제한에 대한 최적화를 접근하는 방식 때문에 때때로 플래그가 지정되어 컴파일을 방해할 수 있다.
 C++ 런타임 타입 정보 (RTTI) 및 C++ 스타일 예외 처리는 장치 코드에서는 지원되지 않고 호스트 코드에서만 지원된다.
 1세대 CUDA 컴퓨팅 기능 1.x 장치에서 단정밀도의 비정규수는 지원되지 않고 대신 0으로 플러시되며, 나눗셈 및 제곱근 연산의 정밀도는 IEEE 754 호환 단정밀도 수학보다 약간 낮다. 컴퓨팅 기능 2.0 이상을 지원하는 장치는 비정규수를 지원하며, 나눗셈 및 제곱근 연산은 기본적으로 IEEE 754 호환이다. 그러나 사용자는 컴파일러 플래그를 설정하여 정확한 나눗셈 및 정확한 제곱근을 비활성화하고 비정규수를 0으로 플러시함으로써 원하는 경우 이전의 더 빠른 게임 등급의 컴퓨팅 기능 1.x 장치 수학을 얻을 수 있다.
 OpenCL과 달리, CUDA 지원 GPU는 엔비디아가 독점적이기 때문에 엔비디아에서만 사용할 수 있다. 다른 GPU에서 CUDA를 구현하려는 시도에는 다음이 포함된다:
 프로젝트 코리앤더: CUDA C++11 소스를 OpenCL 1.2 C로 변환한다. 텐서플로를 실행하기 위한 CUDA-on-CL의 포크이다.
 CU2CL: CUDA 3.2 C++를 OpenCL C로 변환한다.
 GPUOpen HIP: AMD 및 엔비디아 GPU용으로 CUDA 및 ROCm 위에 있는 얇은 추상화 계층이다. CUDA C++ 소스를 가져오기 위한 변환 도구를 가지고 있다. CUDA 4.0과 C++11 및 float16을 지원한다.
 ZLUDA는 AMD GPU 및 이전 인텔 GPU에서 거의 네이티브 성능으로 CUDA를 드롭인 대체하는 프로그램이다. 개발자 안제이 야니크는 2021년과 2022년에 각각 인텔과 AMD로부터 소프트웨어 개발 계약을 체결했다. 그러나 양사 모두 비즈니스 사용 사례 부족으로 공식 출시를 결정하지 않았다. AMD의 계약에는 야니크가 AMD용 코드를 독립적으로 출시할 수 있도록 허용하는 조항이 포함되어 있어, 그가 AMD GPU만 지원하는 새 버전을 출시할 수 있게 되었다.
 chipStar는 고급 OpenCL 3.0 또는 Level Zero 플랫폼에서 CUDA/HIP 프로그램을 컴파일하고 실행할 수 있다.

예시
다음 C++ 예제 코드는 이미지에서 GPU의 배열로 텍스처를 로드한다.

texture<float, 2, cudaReadModeElementType> tex;

void foo()
{
  cudaArray* cu_array;

  // Allocate array
  cudaChannelFormatDesc description = cudaCreateChannelDesc<float>();
  cudaMallocArray(&cu_array, &description, width, height);

  // Copy image data to array
  cudaMemcpyToArray(cu_array, image, width*height*sizeof(float), cudaMemcpyHostToDevice);

  // Set texture parameters (default)
  tex.addressMode[0] = cudaAddressModeClamp;
  tex.addressMode[1] = cudaAddressModeClamp;
  tex.filterMode = cudaFilterModePoint;
  tex.normalized = false; // do not normalize coordinates

  // Bind the array to the texture
  cudaBindTextureToArray(tex, cu_array);

  // Run kernel
  dim3 blockDim(16, 16, 1);
  dim3 gridDim((width + blockDim.x - 1)/ blockDim.x, (height + blockDim.y - 1) / blockDim.y, 1);
  kernel<<< gridDim, blockDim, 0 >>>(d_data, height, width);

  // Unbind the array from the texture
  cudaUnbindTexture(tex);
} //end foo()

__global__ void kernel(float* odata, int height, int width)
{
   unsigned int x = blockIdx.x*blockDim.x + threadIdx.x;
   unsigned int y = blockIdx.y*blockDim.y + threadIdx.y;
   if (x < width && y < height) {
      float c = tex2D(tex, x, y);
      odata[y*width+x] = c;
   }
}

아래는 GPU에서 두 배열의 곱을 계산하는 파이썬 예시이다. 비공식 파이썬 언어 바인딩은 PyCUDA에서 얻을 수 있다.
import pycuda.compiler as comp
import pycuda.driver as drv
import numpy
import pycuda.autoinit

mod = comp.SourceModule(
    """
__global__ void multiply_them(float *dest, float *a, float *b)
{
  const int i = threadIdx.x;
  dest[i] = a[i] * b[i];
}
"""
)

multiply_them = mod.get_function("multiply_them")

a = numpy.random.randn(400).astype(numpy.float32)
b = numpy.random.randn(400).astype(numpy.float32)

dest = numpy.zeros_like(a)
multiply_them(drv.Out(dest), drv.In(a), drv.In(b), block=(400, 1, 1))

print(dest - a * b)

행렬 곱셈 연산을 단순화하는 추가 파이썬 바인딩은 pycublas 프로그램에서 찾을 수 있다.

import numpy
from pycublas import CUBLASMatrix

A = CUBLASMatrix(numpy.mat([[1, 2, 3], [4, 5, 6]], numpy.float32))
B = CUBLASMatrix(numpy.mat([[2, 3], [4, 5], [6, 7]], numpy.float32))
C = A * B
print(C.np_mat())

반면 CuPy는 NumPy를 직접 대체한다.

import cupy

a = cupy.random.randn(400)
b = cupy.random.randn(400)

dest = cupy.zeros_like(a)

print(dest - a * b)

지원 GPU
CUDA SDK 버전 및 마이크로아키텍처 (코드명 기준)별 지원 CUDA 컴퓨팅 기능 버전:

+ 컴퓨팅 기능 (CUDA SDK 지원 vs. 마이크로아키텍처) CUDA SDK버전  테슬라  페르미  케플러(초기)  케플러(후기)  맥스웰  파스칼  볼타  튜링  암페어  에이다러브레이스  호퍼  블랙웰 1.0              1.1              2.0              2.1 – 2.3.1              3.0 – 3.1               3.2               4.0 – 4.2               5.0 – 5.5                 6.0                 6.5                  7.0 – 7.5                 8.0                  9.0 – 9.2                  10.0 – 10.2                   11.0                   11.1 – 11.4                   11.5 – 11.7.1                   11.8                     12.0 – 12.6                    12.8                     12.9                    

참고: CUDA SDK 10.2는 macOS의 최신 공식 릴리스이며, 이후 릴리스에서는 macOS 지원이 제공되지 않는다.

버전별 CUDA 컴퓨팅 기능, 관련 GPU 반도체 및 GPU 카드 모델 (다양한 애플리케이션 영역별로 구분):

+ 컴퓨팅 기능, GPU 반도체 및 엔비디아 GPU 보드 제품 컴퓨팅기능(버전) 마이크로-아키텍처 GPU 지포스 쿼드로/NVS 테슬라/데이터센터
/HGX/DGX
/테그라/젯슨/DRIVE 1.0 테슬라 G80GeForce 8800 Ultra, GeForce 8800 GTX, GeForce 8800 GTS(G80)Quadro FX 5600, Quadro FX 4600, Quadro Plex 2100 S4Tesla C870, Tesla D870, Tesla S870 1.1G92, G94, G96, G98, G84, G86GeForce GTS 250, GeForce 9800 GX2, GeForce 9800 GTX, GeForce 9800 GT, GeForce 8800 GTS(G92), GeForce 8800 GT, GeForce 9600 GT, GeForce 9500 GT, GeForce 9400 GT, GeForce 8600 GTS, GeForce 8600 GT, GeForce 8500 GT,GeForce G110M, GeForce 9300M GS, GeForce 9200M GS, GeForce 9100M G, GeForce 8400M GT, GeForce G105MQuadro FX 4700 X2, Quadro FX 3700, Quadro FX 1800, Quadro FX 1700, Quadro FX 580, Quadro FX 570, Quadro FX 470, Quadro FX 380, Quadro FX 370, Quadro FX 370 Low Profile, Quadro NVS 450, Quadro NVS 420, Quadro NVS 290, Quadro NVS 295, Quadro Plex 2100 D4,Quadro FX 3800M, Quadro FX 3700M, Quadro FX 3600M, Quadro FX 2800M, Quadro FX 2700M, Quadro FX 1700M, Quadro FX 1600M, Quadro FX 770M, Quadro FX 570M, Quadro FX 370M, Quadro FX 360M, Quadro NVS 320M, Quadro NVS 160M, Quadro NVS 150M, Quadro NVS 140M, Quadro NVS 135M, Quadro NVS 130M, Quadro NVS 450, Quadro NVS 420, Quadro NVS 2951.2GT218, GT216, GT215GeForce GT 340*, GeForce GT 330*, GeForce GT 320*, GeForce 315*, GeForce 310*, GeForce GT 240, GeForce GT 220, GeForce 210,GeForce GTS 360M, GeForce GTS 350M, GeForce GT 335M, GeForce GT 330M, GeForce GT 325M, GeForce GT 240M, GeForce G210M, GeForce 310M, GeForce 305MQuadro FX 380 Low Profile, Quadro FX 1800M, Quadro FX 880M, Quadro FX 380M,Nvidia NVS 300, NVS 5100M, NVS 3100M, NVS 2100M, ION1.3GT200, GT200bGeForce GTX 295, GTX 285, GTX 280, GeForce GTX 275, GeForce GTX 260Quadro FX 5800, Quadro FX 4800, Quadro FX 4800 for Mac, Quadro FX 3800, Quadro CX, Quadro Plex 2200 D2Tesla C1060, Tesla S1070, Tesla M10602.0 페르미GF100, GF110GeForce GTX 590, GeForce GTX 580, GeForce GTX 570, GeForce GTX 480, GeForce GTX 470, GeForce GTX 465,GeForce GTX 480MQuadro 6000, Quadro 5000, Quadro 4000, Quadro 4000 for Mac, Quadro Plex 7000,Quadro 5010M, Quadro 5000MTesla C2075, Tesla C2050/C2070, Tesla M2050/M2070/M2075/M20902.1GF104, GF106 GF108, GF114, GF116, GF117, GF119GeForce GTX 560 Ti, GeForce GTX 550 Ti, GeForce GTX 460, GeForce GTS 450, GeForce GTS 450*, GeForce GT 640 (GDDR3), GeForce GT 630, GeForce GT 620, GeForce GT 610, GeForce GT 520, GeForce GT 440, GeForce GT 440*, GeForce GT 430, GeForce GT 430*, GeForce GT 420*,GeForce GTX 675M, GeForce GTX 670M, GeForce GT 635M, GeForce GT 630M, GeForce GT 625M, GeForce GT 720M, GeForce GT 620M, GeForce 710M, GeForce 610M, GeForce 820M, GeForce GTX 580M, GeForce GTX 570M, GeForce GTX 560M, GeForce GT 555M, GeForce GT 550M, GeForce GT 540M, GeForce GT 525M, GeForce GT 520MX, GeForce GT 520M, GeForce GTX 485M, GeForce GTX 470M, GeForce GTX 460M, GeForce GT 445M, GeForce GT 435M, GeForce GT 420M, GeForce GT 415M, GeForce 710M, GeForce 410MQuadro 2000, Quadro 2000D, Quadro 600,Quadro 4000M, Quadro 3000M, Quadro 2000M, Quadro 1000M,NVS 310, NVS 315, NVS 5400M, NVS 5200M, NVS 4200M3.0 케플러GK104, GK106, GK107GeForce GTX 770, GeForce GTX 760, GeForce GT 740, GeForce GTX 690, GeForce GTX 680, GeForce GTX 670, GeForce GTX 660 Ti, GeForce GTX 660, GeForce GTX 650 Ti BOOST, GeForce GTX 650 Ti, GeForce GTX 650,GeForce GTX 880M, GeForce GTX 870M, GeForce GTX 780M, GeForce GTX 770M, GeForce GTX 765M, GeForce GTX 760M, GeForce GTX 680MX, GeForce GTX 680M, GeForce GTX 675MX, GeForce GTX 670MX, GeForce GTX 660M, GeForce GT 750M, GeForce GT 650M, GeForce GT 745M, GeForce GT 645M, GeForce GT 740M, GeForce GT 730M, GeForce GT 640M, GeForce GT 640M LE, GeForce GT 735M, GeForce GT 730MQuadro K5000, Quadro K4200, Quadro K4000, Quadro K2000, Quadro K2000D, Quadro K600, Quadro K420,Quadro K500M, Quadro K510M, Quadro K610M, Quadro K1000M, Quadro K2000M, Quadro K1100M, Quadro K2100M, Quadro K3000M, Quadro K3100M, Quadro K4000M, Quadro K5000M, Quadro K4100M, Quadro K5100M,NVS 510, Quadro 410Tesla K10, GRID K340, GRID K520, GRID K23.2GK20A테그라 K1,젯슨 TK13.5GK110, GK208GeForce GTX Titan Z, GeForce GTX Titan Black, GeForce GTX Titan, GeForce GTX 780 Ti, GeForce GTX 780, GeForce GT 640 (GDDR5), GeForce GT 630 v2, GeForce GT 730, GeForce GT 720, GeForce GT 710, GeForce GT 740M (64-bit, DDR3), GeForce GT 920MQuadro K6000, Quadro K5200Tesla K40, Tesla K20x, Tesla K203.7GK210 Tesla K805.0 맥스웰GM107, GM108GeForce GTX 750 Ti, GeForce GTX 750, GeForce GTX 960M, GeForce GTX 950M, GeForce 940M, GeForce 930M, GeForce GTX 860M, GeForce GTX 850M, GeForce 845M, GeForce 840M, GeForce 830MQuadro K1200, Quadro K2200, Quadro K620, Quadro M2000M, Quadro M1000M, Quadro M600M, Quadro K620M, NVS 810Tesla M105.2GM200, GM204, GM206GeForce GTX Titan X, GeForce GTX 980 Ti, GeForce GTX 980, GeForce GTX 970, GeForce GTX 960, GeForce GTX 950, GeForce GTX 750 SE,GeForce GTX 980M, GeForce GTX 970M, GeForce GTX 965MQuadro M6000 24GB, Quadro M6000, Quadro M5000, Quadro M4000, Quadro M2000, Quadro M5500,Quadro M5000M, Quadro M4000M, Quadro M3000MTesla M4, Tesla M40, Tesla M6, Tesla M605.3GM20B테그라 X1,젯슨 TX1,젯슨 나노,DRIVE CX,DRIVE PX6.0파스칼GP100 Quadro GP100 Tesla P1006.1GP102, GP104, GP106, GP107, GP108Nvidia TITAN Xp, Titan X,GeForce GTX 1080 Ti, GTX 1080, GTX 1070 Ti, GTX 1070, GTX 1060, GTX 1050 Ti, GTX 1050, GT 1030, GT 1010, MX350, MX330, MX250, MX230, MX150, MX130, MX110Quadro P6000, Quadro P5000, Quadro P4000, Quadro P2200, Quadro P2000, Quadro P1000, Quadro P400, Quadro P500, Quadro P520, Quadro P600,Quadro P5000 (모바일), Quadro P4000 (모바일), Quadro P3000 (모바일)Tesla P40, Tesla P6, Tesla P46.2GP10B테그라 X2, 젯슨 TX2, DRIVE PX 27.0볼타GV100NVIDIA TITAN VQuadro GV100Tesla V100, Tesla V100S7.2GV10BNvidia Xavier Specs on TechPowerUp (preliminary)
GV11B테그라 자비에르,젯슨 자비에르 NX,젯슨 AGX 자비에르,DRIVE AGX 자비에르,DRIVE AGX 페가수스,Clara AGX7.5튜링TU102, TU104, TU106, TU116, TU117NVIDIA TITAN RTX,GeForce RTX 2080 Ti, RTX 2080 Super, RTX 2080, RTX 2070 Super, RTX 2070, RTX 2060 Super, RTX 2060 12GB, RTX 2060,GeForce GTX 1660 Ti, GTX 1660 Super, GTX 1660, GTX 1650 Super, GTX 1650, MX550, MX450Quadro RTX 8000, Quadro RTX 6000, Quadro RTX 5000, Quadro RTX 4000, T1000, T600, T400T1200 (모바일), T600 (모바일), T500 (모바일), Quadro T2000 (모바일), Quadro T1000 (모바일)Tesla T48.0암페어GA100A100 80GB, A100 40GB, A308.6GA102, GA103, GA104, GA106, GA107GeForce RTX 3090 Ti, RTX 3090, RTX 3080 Ti, RTX 3080 12GB, RTX 3080, RTX 3070 Ti, RTX 3070, RTX 3060 Ti, RTX 3060, RTX 3050, RTX 3050 Ti (모바일), RTX 3050 (모바일), RTX 2050 (모바일), MX570RTX A6000, RTX A5500, RTX A5000, RTX A4500, RTX A4000, RTX A2000 RTX A5000 (모바일), RTX A4000 (모바일), RTX A3000 (모바일), RTX A2000 (모바일)A40, A16, A10, A28.7GA10B젯슨 오린 나노,젯슨 오린 NX,젯슨 AGX 오린,DRIVE AGX 오린,IGX 오린8.9에이다 러브레이스AD102, AD103, AD104, AD106, AD107GeForce RTX 4090, RTX 4080 Super, RTX 4080, RTX 4070 Ti Super, RTX 4070 Ti, RTX 4070 Super, RTX 4070, RTX 4060 Ti, RTX 4060, RTX 4050 (모바일)RTX 6000 Ada, RTX 5880 Ada, RTX 5000 Ada, RTX 4500 Ada, RTX 4000 Ada, RTX 4000 SFF Ada, RTX 2000 Ada, RTX 5000 Ada (모바일), RTX 4000 Ada (모바일),  RTX 3500 Ada (모바일),  RTX 2000 Ada (모바일)L40S, L40, L20, L4, L29.0호퍼GH100H200, H100
GH200 (Grace Hopper Superchip)10.0블랙웰GB100B200, 
GB200 (Grace CPU+Blackwell)10.3GB110B300(Blackwell Ultra),
GB300 (Grace CPU+Blackwell Ultra)11.0GB10B젯슨 AGX 토르,
DRIVE AGX 토르,
젯슨 T5000,
젯슨 T400012.0GB202, GB203, GB205, GB206, GB207GeForce RTX 5090, RTX 5080, RTX 5070 Ti, RTX 5070, RTX 5060 Ti, RTX 5060, RTX 5050RTX PRO 6000 Blackwell, RTX PRO 5000 Blackwell, RTX PRO 4500 Blackwell, RTX PRO 4000 Blackwell, RTX PRO 2000 BlackwellRTX PRO 6000 Blackwell Server Edition12.1GB20BGB10 (Grace CPU+Blackwell)컴퓨팅기능(버전)마이크로-아키텍처GPU지포스쿼드로/NVS테슬라/데이터센터
/HGX/DGX
/테그라/젯슨/DRIVE
* – OEM 전용 제품

버전 기능 및 사양
 기능 지원 (나열되지 않은 기능은 모든 컴퓨팅 기능에서 지원) 컴퓨팅 기능 (버전) 1.0, 1.1  1.2, 1.3  2.x  3.0  3.2  3.5, 3.7, 5.x, 6.x, 7.0, 7.2  7.5  8.x  9.0, 10.x, 12.x 워프 투표 함수 (__all(), __any()) colspan="1"  colspan="8"  워프 투표 함수 (__ballot()) colspan="2" rowspan="5"  colspan="7" rowspan="5"  메모리 펜스 함수 (__threadfence_system()) 동기화 함수 (__syncthreads_count(), __syncthreads_and(), __syncthreads_or()) 서피스 함수 스레드 블록의 3D 그리드 워프 셔플 함수 colspan="3" rowspan="2"  colspan="6" rowspan="2"  통합 메모리 프로그래밍 퍼널 시프트 colspan="4" rowspan="1"  colspan="5" rowspan="1"  동적 병렬 처리 colspan="5" rowspan="1"  colspan="4" rowspan="1"  균일 데이터패스Dissecting the Turing GPU Architecture through Microbenchmarking colspan="6" rowspan="1"  colspan="3" rowspan="1"  하드웨어 가속 비동기 복사 colspan="7" rowspan="4"  colspan="2" rowspan="4"  하드웨어 가속 분할 도착/대기 배리어 리덕션 연산을 위한 워프 수준 지원 L2 캐시 상주 관리 가속화된 동적 프로그래밍을 위한 DPX 명령어 colspan="8" rowspan="4"  colspan="1" rowspan="4"  분산 공유 메모리 스레드 블록 클러스터 텐서 메모리 가속기 (TMA) 장치기능 지원 (나열되지 않은 기능은 모든 컴퓨팅 기능에서 지원) 1.0, 1.1  1.2, 1.3  2.x  3.0  3.2  3.5, 3.7, 5.x, 6.x, 7.0, 7.2  7.5  8.x  9.0, 10.x, 12.x컴퓨팅 기능 (버전)

데이터 유형
부동소수점 유형
 데이터 유형 지원 벡터 유형 저장 길이 비트(전체 벡터) 사용 길이 비트(단일 값) 부호 비트 지수 비트 가수 비트 비고 E2M1 = FP4 e2m1x2 / e2m1x4 8 / 16 4 1 2 1 E2M3 = FP6 변형 e2m3x2 / e2m3x4 16 / 32 6 1 2 3 E3M2 = FP6 변형 e3m2x2 / e3m2x4 16 / 32 6 1 3 2 UE4M3 ue4m3 8 7 0 4 3 스케일링에 사용 (E2M1만 해당) E4M3 = FP8 변형 e4m3 / e4m3x2 / e4m3x4 8 / 16 / 32 8 1 4 3 E5M2 = FP8 변형 e5m2 / e5m2x2 / e5m2x4 8 / 16 / 32 8 1 5 2 FP16의 지수/범위, 8비트에 들어감 UE8M0 ue8m0x2 16 8 0 8 0 스케일링에 사용 (모든 FP4 또는 FP6 또는 FP8 형식) FP16 f16 / f16x2 16 / 32 16 1 5 10 BF16 bf16 / bf16x2 16 / 32 16 1 8 7 FP32의 지수/범위, 16비트에 들어감 TF32 tf32 32 19 1 8 10 FP32의 지수/범위, FP16의 가수/정밀도 FP32 f32 / f32x2 32 / 64 32 1 8 23 FP64 f64 64 64 1 11 52

버전 지원
 데이터 유형 기본 연산 지원 시작 원자적 연산 전역 메모리 지원 시작 공유 메모리 지원 시작 8비트 정수부호 있는/없는 로딩, 저장, 변환   colspan="2"  16비트 정수부호 있는/없는 일반 연산  atomicCAS() colspan="2"  32비트 정수부호 있는/없는 일반 연산  원자적 함수   64비트 정수부호 있는/없는 일반 연산  원자적 함수   모든 128비트 간단히 복사 가능한 유형 일반 연산  atomicExch, atomicCAS colspan="2"  16비트 부동소수점FP16 덧셈, 뺄셈,곱셈, 비교,워프 셔플 함수, 변환 rowspan="2"  half2 원자적 덧셈 colspan="2"  원자적 덧셈 colspan="2"  16비트 부동소수점BF16 덧셈, 뺄셈,곱셈, 비교,워프 셔플 함수, 변환  원자적 덧셈 colspan="2"  32비트 부동소수점 일반 연산 rowspan="2"  atomicExch()   원자적 덧셈 colspan="2"  32비트 부동소수점 float2 및 float4 일반 연산  원자적 덧셈 colspan="2"  64비트 부동소수점 일반 연산  원자적 덧셈 colspan="2" 
참고: 누락된 줄이나 빈 항목은 해당 항목에 대한 정보 부족을 나타낸다.

텐서 코어
 텐서 코어당 사이클당 FMA실제로 실행되는 퓨즈드 곱셈-덧셈, 조밀 행렬 지원 시작 7.0 7.2 7.5 워크스테이션 7.5 데스크톱 8.0 8.6 워크스테이션 8.7 8.6 데스크톱 8.9 데스크톱 8.9 워크스테이션 9.0 10.0 10.1 12.0 데이터 유형 조밀 행렬용 희소 행렬용   colspan="2"  colspan="4"  colspan="3"  colspan="3"  1비트 값 (AND)  rowspan="2"  colspan="4"  colspan="3" rowspan="2"  colspan="3" rowspan="2"  colspan="4"  1비트 값 (XOR) rowspan="2"  rowspan="2" colspan="2"  colspan="2"  rowspan="2" colspan="4"  4비트 정수  colspan="2"  colspan="3"  colspan="3"  4비트 부동소수점 FP4 (E2M1) colspan="2"  colspan="11"  colspan="1"  colspan="1" rowspan="10"  colspan="1"  6비트 부동소수점 FP6 (E3M2 및 E2M3) colspan="2"  colspan="11"  colspan="1"  colspan="2"  8비트 정수    colspan="1"  colspan="2"  colspan="3"  colspan="3"  rowspan="3"  rowspan="3"  rowspan="2" colspan="1"  FP16 누적을 사용하는 8비트 부동소수점 FP8 (E4M3 및 E5M2) rowspan="2" colspan="2"  rowspan="2" colspan="8"  rowspan="1" colspan="2"  FP32 누적을 사용하는 8비트 부동소수점 FP8 (E4M3 및 E5M2) rowspan="1" colspan="2"  rowspan="1" colspan="1"  FP16 누적을 사용하는 16비트 부동소수점 FP16 rowspan="2"  rowspan="2"  rowspan="2" colspan="2"  rowspan="2" colspan="1"  colspan="1"  rowspan="3" colspan="3"  colspan="3"  rowspan="3"  rowspan="3"  rowspan="1"  FP32 누적을 사용하는 16비트 부동소수점 FP16 rowspan="3"  colspan="2" rowspan="2"  colspan="1" rowspan="2"  rowspan="2"  FP32 누적을 사용하는 16비트 부동소수점 BF16 rowspan="2" colspan="1"  rowspan="2" colspan="1"  rowspan="3" colspan="2"  colspan="1"  32비트 (19비트 사용) 부동소수점 TF32 colspan="1"  colspan="3"  colspan="2"  colspan="1"    colspan="1"  64비트 부동소수점   colspan="2"   colspan="5"    colspan="2" 

참고: 누락된 줄이나 빈 항목은 해당 항목에 대한 정보 부족을 나타낸다.

 텐서 코어 구성 7.0 7.2, 7.5 8.0, 8.6 8.7 8.9 9.0 FP16 단위의 점곱 유닛 폭 (바이트)화이트페이퍼에서 텐서 코어 큐브 다이어그램은 점곱 유닛 폭을 높이 (볼타 및 튜링은 4 FP16, A100은 8 FP16, GA102는 4 FP16, GH100은 16 FP16)로 나타낸다. 다른 두 차원은 점곱 유닛의 수 (볼타 및 튜링은 4x4 = 16, 암페어 및 호퍼는 8x4 = 32)를 나타낸다. 결과 회색 블록은 사이클당 FP16 FMA 연산이다. 텐서 코어가 없는 파스칼은 속도 비교를 위해 표시되며, 비 FP16 데이터 유형을 사용하는 볼타 V100도 마찬가지이다. colspan="2"  colspan="1"  colspan="2"   텐서 코어당 점곱 유닛 수 colspan="2"  colspan="4"  SM 파티션당 텐서 코어 수 colspan="2"  colspan="4"  SM 파티션당 전체 처리량 (바이트/사이클)형태 x 변환된 피연산자 크기, 예: 2 텐서 코어 x 4x4x4xFP16/사이클 = 256 바이트/사이클= 처음 3개 표 행의 곱 colspan="2"  colspan="1"  colspan="1"  colspan="1"  FP 텐서 코어: 워프 단위 행렬 계산을 위한 최소 사이클 colspan="2"  colspan="1"  colspan="1"  FP 텐서 코어: 전체 처리량을 위한 최소 행렬 형태 (바이트)= 이전 2개 표 행의 곱; 형태: 예: 8x8x4xFP16 = 512 바이트 colspan="4"  INT 텐서 코어: 워프 단위 행렬 계산을 위한 최소 사이클  colspan="3"  INT 텐서 코어: 전체 처리량을 위한 최소 행렬 형태 (바이트)  colspan="1"  colspan="1"  colspan="1" 

 FP64 텐서 코어 구성 8.0 8.6 8.7 8.9 9.0 FP64 단위의 점곱 유닛 폭 (바이트) colspan="1"  colspan="2"  colspan="1"  텐서 코어당 점곱 유닛 수 colspan="1"  colspan="2"  colspan="1"  SM 파티션당 텐서 코어 수 colspan="5"  SM 파티션당 전체 처리량 (바이트/사이클) colspan="1"  colspan="2"  colspan="1"  워프 단위 행렬 계산을 위한 최소 사이클 colspan="1"  colspan="2"  전체 처리량을 위한 최소 행렬 형태 (바이트) colspan="3" 

기술 사양
 기술 사양 컴퓨팅 기능 (버전) 1.0 1.1 1.2 1.3 2.x 3.0 3.2 3.5 3.7 5.0 5.2 5.3 6.0 6.1 6.2 7.0 7.2 7.5 8.0 8.6 8.7 8.9 9.0 10.x 12.x 장치당 최대 상주 그리드 수(동시 커널 실행, 특정 장치에서는 더 낮을 수 있음) colspan="4"  colspan="2"  colspan="1"  colspan="4"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="8"  스레드 블록 그리드의 최대 차원 colspan="4"  colspan="21"  스레드 블록 그리드의 최대 x-차원 colspan="5"  colspan="20"  스레드 블록 그리드의 최대 y 또는 z-차원 colspan="25"  스레드 블록의 최대 차원 colspan="25"  블록의 최대 x 또는 y-차원 colspan="4"  colspan="21"  블록의 최대 z-차원 colspan="25"  블록당 최대 스레드 수 colspan="4"  colspan="21"  워프 크기 colspan="25"  멀티프로세서당 최대 상주 블록 수 colspan="5"  colspan="4"  colspan="8"  colspan="1"  colspan="1"  colspan="2"  colspan="1"  colspan="3"  멀티프로세서당 최대 상주 워프 수 colspan="2"  colspan="2"  colspan="1"   colspan="12"  colspan="1"   colspan="1"   colspan="3"   colspan="2"   colspan="1"   멀티프로세서당 최대 상주 스레드 수 colspan="2"  colspan="2"  colspan="1"   colspan="12"  colspan="1"   colspan="1"   colspan="3"   colspan="2"   colspan="1"   멀티프로세서당 32비트 일반 레지스터 수 colspan="2"  colspan="2"  colspan="1"  colspan="3"  colspan="1"  colspan="16"  멀티프로세서당 32비트 균일 레지스터 수 colspan="17"  colspan="1"  colspan="7"  스레드 블록당 최대 32비트 레지스터 수 colspan="2"  colspan="2"  colspan="1"  colspan="1"  colspan="1"  colspan="4"  colspan="1"  colspan="2"  colspan="1"  colspan="10"  스레드당 최대 32비트 일반 레지스터 수 colspan="4"  colspan="2"  colspan="19"  워프당 최대 32비트 균일 레지스터 수 colspan="17"  colspan="1"  colspan="7"  멀티프로세서당 공유 메모리 양(전체 공유 메모리 + L1 캐시 중에서, 해당되는 경우) colspan="4"  colspan="1"  colspan="3"  colspan="1"  colspan="1"  colspan="1"  colspan="2"  colspan="1"  colspan="1"  colspan="2"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="2"  colspan="1"  스레드 블록당 최대 공유 메모리 양 colspan="4"  colspan="11"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="2"  colspan="1"  공유 메모리 뱅크 수 colspan="4"  colspan="21"  스레드당 로컬 메모리 양 colspan="4"  colspan="21"  CUDA C/C++로 접근 가능한 상수 메모리 크기(1개 뱅크, PTX는 11개 뱅크 접근 가능, SASS는 18개 뱅크 접근 가능) colspan="25"  상수 메모리용 멀티프로세서당 캐시 작업 세트 colspan="12"  colspan="1"  colspan="12"  텍스처 메모리용 멀티프로세서당 캐시 작업 세트 colspan="3"  colspan="1"  colspan="1"  colspan="4" 장치에 따라 다름 colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="2"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="3"  CUDA 배열에 바인딩된 1D 텍스처 참조의 최대 너비 colspan="4"  colspan="8"  colspan="13"  선형 메모리에 바인딩된 1D 텍스처 참조의 최대 너비 colspan="12"  colspan="1"  colspan="2"  colspan="1"  colspan="1"  colspan="8"  1D 계층형 텍스처 참조의 최대 너비 및 계층 수 colspan="4"  colspan="8"  colspan="13"  CUDA 배열에 바인딩된 2D 텍스처 참조의 최대 너비 및 높이 colspan="4"  colspan="8"  colspan="13"  선형 메모리에 바인딩된 2D 텍스처 참조의 최대 너비 및 높이 colspan="9"  colspan="3"  colspan="13"  텍스처 수집을 지원하는 CUDA 배열에 바인딩된 2D 텍스처 참조의 최대 너비 및 높이 colspan="4"  colspan="8"  colspan="13"  2D 계층형 텍스처 참조의 최대 너비, 높이 및 계층 수 colspan="4"  colspan="8"  colspan="13"  선형 메모리 또는 CUDA 배열에 바인딩된 3D 텍스처 참조의 최대 너비, 높이 및 깊이 colspan="5"  colspan="7"  colspan="13"  큐브맵 텍스처 참조의 최대 너비 (및 높이) colspan="4"  colspan="8"  colspan="13"  큐브맵 계층형 텍스처 참조의 최대 너비 (및 높이) 및 계층 수 colspan="4"  colspan="8"  colspan="13"  커널에 바인딩될 수 있는 최대 텍스처 수 colspan="5"  colspan="20"  CUDA 배열에 바인딩된 1D 서피스 참조의 최대 너비 colspan="4" rowspan="8"  colspan="5"  colspan="3"  colspan="13"  1D 계층형 서피스 참조의 최대 너비 및 계층 수 colspan="5"  colspan="3"  colspan="13"  CUDA 배열에 바인딩된 2D 서피스 참조의 최대 너비 및 높이 colspan="5"  colspan="3"  colspan="13"  2D 계층형 서피스 참조의 최대 너비, 높이 및 계층 수 colspan="5"  colspan="3"  colspan="13"  CUDA 배열에 바인딩된 3D 서피스 참조의 최대 너비, 높이 및 깊이 colspan="5"  colspan="3"  colspan="13"  CUDA 배열에 바인딩된 큐브맵 서피스 참조의 최대 너비 (및 높이) colspan="5"  colspan="3"  colspan="13"  큐브맵 계층형 서피스 참조의 최대 너비 및 계층 수 colspan="5"  colspan="3"  colspan="13"  커널에 바인딩될 수 있는 최대 서피스 수 colspan="1"  colspan="10"  colspan="10"  커널당 최대 명령어 수 colspan="4"  colspan="21"  스레드 블록 클러스터당 최대 스레드 블록 수NVIDIA H100 Tensor Core GPU Architecture colspan="22"  colspan="2"  colspan="1" 기술 사양1.01.11.21.32.x3.03.23.53.75.05.25.36.06.16.27.07.27.58.08.68.78.99.010.x12.x컴퓨팅 기능 (버전)
엔비디아 CUDA C++ 프로그래밍 가이드에서 더 많은 정보를 읽을 수 있다.

멀티프로세서 아키텍처
 아키텍처 사양 컴퓨팅 기능 (버전) 1.0 1.1 1.2 1.3 2.0 2.1 3.0 3.2 3.5 3.7 5.0 5.2 5.3 6.0 6.1 6.2 7.0 7.2 7.5 8.0 8.6 8.7 8.9 9.0 10.x 12.x INT32 산술 연산용 ALU 레인 수 rowspan="3" colspan="4"  rowspan="3" colspan="1"  rowspan="3" colspan="1"  rowspan="3" colspan="4"  rowspan="3" colspan="2"  rowspan="4" colspan="1"  rowspan="4" colspan="1"  rowspan="3" colspan="1"  rowspan="4" colspan="1"  colspan="4"  rowspan="2" colspan="2"  colspan="2"  rowspan="4" colspan="2"  모든 INT32 또는 FP32 산술 연산용 ALU 레인 수 colspan="4"  colspan="2"  FP32 산술 연산용 ALU 레인 수 rowspan="2" colspan="3"  rowspan="1" colspan="3"  rowspan="1" colspan="1"  rowspan="2" colspan="1"  FP16x2 산술 연산용 ALU 레인 수 colspan="12"  colspan="1"  rowspan="1" colspan="1"  rowspan="1" colspan="2"  rowspan="1" colspan="1"  FP64 산술 연산용 ALU 레인 수 colspan="3"   colspan="1"  colspan="1"  colspan="2"  colspan="1"  colspan="1"  colspan="3"   colspan="2"  colspan="2"    colspan="3"  colspan="2"   부하/저장 장치 수 colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="2"  colspan="7"  colspan="1"  colspan="5"  colspan="4"  colspan="1"  단정밀도 부동소수점 초월 함수용 특수 함수 장치 수 colspan="4"  colspan="1"  colspan="1"  colspan="6"  colspan="2"  colspan="2"  colspan="8"  텍스처 매핑 장치 (TMU) 수 colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="2"  colspan="6"  colspan="8"  균일 INT32 산술 연산용 ALU 레인 수 colspan="18"  colspan="1" SM 파티션당 2클럭 사이클/명령어  colspan="5"  텐서 코어 수 colspan="16"  colspan="2"   colspan="3"  colspan="2"  레이 트레이싱 코어 수 colspan="18"     colspan="1"   colspan="1"  SM 파티션 수 = 처리 블록스케줄러와 디스패처는 페르미와 케플러와 달리 전용 실행 장치를 가지고 있다. colspan="10"  colspan="3"  colspan="1"  colspan="10"  SM 파티션당 워프 스케줄러 수 colspan="4"  colspan="2"  colspan="4"  colspan="14"  단일 스케줄러가 매 사이클마다 발행하는 최대 새 명령어 수디스패칭은 동시에 중첩될 수 있다 (SM 파티션당 실행 장치가 32개 미만일 때). colspan="4"  colspan="1"  colspan="1" 하나의 스케줄러만 한 번에 2개의 명령어를 발행할 수 있음. 첫 번째 스케줄러는 홀수 ID를 가진 워프를 담당. 두 번째 스케줄러는 짝수 ID를 가진 워프를 담당. colspan="10"  colspan="8"  데이터 캐시 및 공유 메모리용 통합 메모리 크기 colspan="3"  colspan="1"  colspan="5"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="2"        GPU당 L3 명령어 캐시 크기  colspan="18" rowspan="2"  텍스처 프로세서 클러스터 (TPC)당 L2 명령어 캐시 크기  SM당 L1.5 명령어 캐시 크기 rowspan="2"       rowspan="2"  rowspan="2"  rowspan="2"  SM당 L1 명령어 캐시 크기 colspan="3"  colspan=2  SM 파티션당 L0 명령어 캐시 크기 colspan="10"  colspan="6"   참고: 에서는 SM 파티션당 2 KiB L0 명령어 캐시와 SM당 16 KiB L1 명령어 캐시라고 주장하며 이와 불일치함  명령어 너비 colspan="6"  colspan="4"  colspan="6"  colspan="8"  메모리 파티션당 메모리 버스 너비 (비트) colspan="12"  colspan="1"   colspan="2"   colspan="2"   colspan="3"  colspan="2"  colspan="1"  메모리 파티션당 L2 캐시 colspan="3"  colspan="1"  colspan="4"  colspan="2"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="2"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  메모리 파티션당 (또는 이후 모델의 GPC당) 렌더 출력 장치 (ROP) 수 colspan="4"  colspan="3"  colspan="1"  colspan="3"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="1"  colspan="4"  아키텍처 사양 1.0 1.1 1.2 1.3 2.0 2.1 3.0 3.2 3.5 3.7 5.0 5.2 5.3 6.0 6.1 6.2 7.0 7.2 7.5 8.0 8.6 8.7 8.9 9.0 10.x 12.x 컴퓨팅 기능 (버전)

CUDA 아키텍처 사용례
 3D 그래픽의 가속 렌더링
 비디오 파일 형식의 가속 상호 변환
 가속 암호화, 복호화 및 압축
 생물정보학, 예: NGS DNA 염기서열 분석 BarraCUDA
 단백질의 원시 형태 예측과 같은 분산 계산
 의료 분석 시뮬레이션, 예를 들어 CT 및 MRI 스캔 이미지를 기반으로 한 가상 현실
 물리 시뮬레이션, 특히 유체동역학
 기계 학습 문제에서의 신경망 훈련
 대규모 언어 모델 추론
 얼굴 인식
 SETI@home 및 BOINC 소프트웨어를 사용하는 기타 프로젝트와 같은 자원 컴퓨팅 프로젝트
 분자동역학
 암호화폐 채굴
 SfM 소프트웨어

 경쟁사와의 비교 
CUDA는 다른 GPU 컴퓨팅 스택인 인텔 OneAPI 및 AMD ROCm과 경쟁한다.

엔비디아의 CUDA는 클로즈드 소스인 반면, 인텔의 OneAPI와 AMD의 ROCm은 오픈 소스이다.

 인텔 OneAPI 

oneAPI는 여러 하드웨어 아키텍처를 위한 소프트웨어 개발을 지원하기 위해 만들어진 오픈 표준 기반의 이니셔티브이다. oneAPI 라이브러리는 특별 관심 그룹에서 공개적으로 논의되는 오픈 사양을 구현해야 하며, 모든 개발자 또는 조직이 자신만의 oneAPI 라이브러리 버전을 구현할 가능성을 제공한다.

원래 인텔에서 만들었으며, 다른 하드웨어 채택자로는 후지쓰와 화웨이가 있다.

 UXL (Unified Acceleration Foundation) 

UXL (Unified Acceleration Foundation)은 엔비디아의 CUDA에 대한 오픈 대안을 제공하는 것을 목표로 워킹 그룹 및 특별 관심 그룹 (SIG)을 통해 새로운 오픈 표준 가속기 소프트웨어 생태계, 관련 오픈 표준 및 사양 프로젝트를 지속적으로 개발하기 위해 노력하는 새로운 기술 컨소시엄이다. 주요 참여 기업은 인텔, 구글, ARM, 퀄컴, 삼성, 이매지네이션, 그리고 VMware이다.

 AMD ROCm 

ROCm은 AMD (Advanced Micro Devices)의 그래픽 처리 장치 (GPU) 프로그래밍을 위한 오픈 소스 소프트웨어 스택이다.

 같이 보기 
 OpenCL
 범용 GPU
 병렬 컴퓨팅
 스트림 프로세싱
 벌컨
 rCUDA

 각주 

 제이슨 샌더스, 에드워드 캔드롯 저, 박춘언 역, 예제로 배우는 CUDA 프로그래밍(입문자를 위한 GPGPU 프로그래밍의 기초), .
 Farber, Rob 저, CUDA Application Design and Development, .
 Hwu, Wen-Mei 저, GPU Computing GEMs - Jade Edition, .

 외부 링크 


  CUDA 커뮤니티 - 구글+
  VRAM 크기 조절 도구
  CUDA GPUs - 공식적으로 CUDA를 지원하는 장치 목록

분류:컴퓨터 물리 엔진
분류:GPGPU
분류:엔비디아 소프트웨어
분류:병렬 컴퓨팅
분류:GPGPU 라이브러리