PyTorch
勾配データ (grad) は追加メモリを必要とするため、不要な場合に取り除くことが可能となっている(torch.no_grad() や Tensor.detach() など)。
複素数テンソル(dtype=torch.cfloatのテンソル)や量子化テンソル(dtype=torch.quint8やdtype=torch.qint8などのテンソル)も存在している。量子化テンソルはスケールやゼロポイントなどの量子化パラメータを持っている。なお4bit量子化向けのdtype=torch.quint4x2のテンソルもあるが、2023年現在その対応は一部(EmbeddingBag命令)のみとなっている。
基本のテンソルは長方形であり、非長方形のデータを扱う際には padding で穴埋めする必要があるが、穴の多いデータを穴埋めするのは無駄となるため、非長方形のデータを扱うための疎テンソル (torch.sparse) や ネストされたテンソル (torch.nested) も用意されている。なお、疎テンソル構造はNVIDIA GPUのAmpere以降などでも直接サポートされるようになっているものの、その対応は2:4スパース(半構造化スパース)に限られているが、PyTorch 2.1以降はその疎半構造化テンソルにも試験的に対応している (SparseSemiStructuredTensor)。
TorchScriptはJITオプティマイザ・JITコンパイラ付きのインタプリタにより実行される。内部ではGraphExecutorによる最適化とinterpreterによる実行がおこなわれる。対応している最適化には、入力型に基づくGraphの特殊化、演算子の融合 (Op fusion)、定数の事前計算、不要ノード削除などがある。