PyTorch
tensordict は PyTorch 向けのレコメンデーション(推薦)ライブラリである。
エキスパート並列は複数エキスパート(専門家)の混合 (MoE) レイヤー(Switch Transformerなど)を用いたモデルの並列処理を行う。
このエキスパート並列には DeepSpeed MoE が対応している。
PyTorch のフロントエンドには Pythonインターフェイスだけでなく C++インターフェイスも存在している。
PyTorch は CUDA の複数ストリームを使った明示的なGPU並列処理にも対応している。