DirectX 10世代の統合型シェーダーアーキテクチャを採用したGeForce 8シリーズ以上 (ネットブック/トップ用のNVIDIA IONを含む) もしくは NVIDIA Tesla や NVIDIA Quadro (Teslaはハイパフォーマンスコンピューティング用、Quadroはワークステーション用) 。モバイル向けの統合型プロセッサでは、Keplerアーキテクチャを採用しているNVIDIA Tegra K1以降となる。実行には専用のデバイスドライバを必要とする。詳細は、CUDA GPUs | NVIDIA Developer Zone を参照。なお、ハードウェアの世代／アーキテクチャ（Compute Capability, CC）によって利用可能なGPU命令やリソースサイズ上限、倍精度浮動小数点対応可否などの制約が異なる。また、上位のCCを持つハードウェアでは、下位のCC向けにコンパイルされたCUDAコードを実行できるが、その逆は不可能となっている。
ハードウェアベンダーに依存しないOpenCLやDirectComputeと比較すると、CUDAはNVIDIA製のGPUでしか使えないという制約がある。このため、CUDAの機能に過度に依存したプログラムを書くと、アプリケーションのポーティング・移植が困難になる可能性がある（ベンダーロックイン）。AMDはCUDAアプリケーションをAMDおよび他のGPUプラットフォーム向けにソースコードレベルで移植しやすくするためのC++用APIとして、HIP (Heterogeneous-Compute Interface for Portability) の提供を開始したが、CUDAと完全な互換性を持っているわけではない。また、最初からグラフィックス連携用途を想定して設計されたDirectComputeと比較すると、（相互運用APIが用意されているとはいえ）GPU演算結果をグラフィックス用途に直接利用する場合はオーバーヘッドが大きくなる。
CUDAはNVIDIAが独自に開発を進めているGPGPU技術であり、NVIDIA製のハードウェア性能を最大限引き出せるように設計されている。CUDAを利用することで、NVIDIA製GPUに新しく実装されたハードウェア機能をいち早く活用することができる。例えばKepler世代以降のGPUで使用可能なWarpシャッフル命令を使用することで、共有メモリを介するよりもさらに高速な並列リダクションを実行することができる 。CUDA同様の類似GPGPU技術として代表的なものはOpenCLやDirectComputeが挙げられるが、いずれもハードウェアアーキテクチャを標準化しベンダーの違いを吸収するAPI層であるため、CUDAと比較すると抽象化の度合いは低いローレベルAPIではあるものの、ハードウェア特有の先進的機能を使った細やかなチューニングによりそのハードウェアの限界性能を引き出すのは難しい。また、OpenCLやDirectComputeでは、カーネルと呼ばれるデバイス用並列処理プログラムコード片（並列実行の最小単位）を専用のOpenCL-CやHLSLといった言語で記述した上で、OpenCL APIやDirect3D APIを使用してカーネルを発行する必要があるため、準備のための手間が必要となるが、CUDAの場合はより抽象化されており、カーネルコードの発行をC/C++における通常の関数呼び出しに近い形で記述できるなど、より本質的なアプリケーションコードやアルゴリズムの実装のみに注力できるようになっている。
CUDA ToolkitにはVisual Profilerと呼ばれるパフォーマンス計測ツールが付属し、アプリケーションにおけるGPUの処理時間などの情報を収集して、性能改善に役立てることができる。CUDA Toolkit 7.5では命令レベルでのプロファイリングがサポートされた。Nsight (旧称Parallel Nsight) と呼ばれる統合開発環境向けのアドインも提供されている。
CUDAにはOpenGLおよびDirect3D 9/10/11との連携を可能にする相互運用APIが用意されている。詳しくはCUDA Runtime API :: CUDA Toolkit Documentation - 3.10. OpenGL Interoperability,CUDA Runtime API :: CUDA Toolkit Documentation - 3.16. Direct3D 11 Interoperabilityなどを参照のこと。
近江栗太郡辻村（現滋賀県栗東市辻）に生まれ、諱は実久。後に京都の三条釜座に住み、京釜の創始者西村道仁に師事した。千利休の釜師となり、室町時代に盛行した芦屋釜・天命釜とは異なる利休の好みの丸釜・阿弥陀堂釜・尻張釜・雲竜釜・四方釜など、新しい形・文様・肌合の釜を創始し、鋳上がった釜を再び火中に入れて釜肌をしめる「焼抜き」という仕上法を創始し、また本来炉に掛けるための釜の羽を鋳造後故意に打落して古作の釜のような古びた味わいをだす「羽落」などの技法を用いた。当代随一の釜師として天下一の称号を名乗ることを豊臣秀吉から許された。年記のある最古の作品として兵主大社（滋賀県）の天正18年（1590年）「銅鰐口」、豊国神社の慶長5年（1600年）「鉄灯籠」、出羽西善寺の慶長15年（1610年）「梵鐘」、焼失した宝塔寺（京都府）の慶長16年（1611年）「梵鐘」があり、初期に與二郎、晩年に與次郎と銘を記している。與次郎の銘を記した釜は現存しないが、「伝與次郎作」として安土総見寺の天正3年5月（1575年6月）の年記がある「尻張釜」、大津の聖衆来迎寺の慶長7年（1602年）「鉄茶釜」がある。これらより與次郎の活動時期がわかる。なお、豊国神社の「灯篭」は秀吉死後、その恩に報いる為與次郎が寄進したものと伝えられ、出羽西善寺の「梵鐘」には「山城愛宕郡三條釜座鋳物師天下一辻與次郎藤原實久」と記されている。名越昌孝の『鋳家系』によれば、與次郎は名越善正の次男で慶長8年（1603年）に48歳で没したと記されているが、それ以降の作も現存しており、『鋳家系』記載は誤りとされる。