PyTorch
PyTorch 2.1以降には事前コンパイル (torch.export) が試験的に実装されている。また量子化 (torch.ao.quantization) も試験的にtorch.exportに対応している。
PyTorchに使うことのできるデータローダには以下が存在する:
DataLoader (torch.utils.data.DataLoader) - PyTorch標準のデータローダ。
DataLoader2 (torchdata.dataloader2.DataLoader2) - 別パッケージのTorchDataで開発されているDataPipesを基にした実験的なデータローダ。
NVIDIA DALI (Data Loading Library; nvidia.dali.plugin.pytorch) - GPUDirect Storageに対応したデータローダ。PyTorch以外にも対応している。実験的なGPUデータ解凍にも対応している (fn.experimental.inflate)。
またデータセットの自動ダウンロードに対応するデータローダとして HuggingFace Datasets Hub のデータセットが使用可能な HuggingFace 製の Datasets も存在する。