Update README.md
Browse files
README.md
CHANGED
@@ -6,4 +6,4 @@ metrics:
|
|
6 |
license: apache-2.0
|
7 |
language:
|
8 |
- am
|
9 |
-
|
|
|
6 |
license: apache-2.0
|
7 |
language:
|
8 |
- am
|
9 |
+
---使用**DeepSpeed-RLHF**系统训练:DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 **DeepSpeed-Inference** 的各种优化,如张量并行计算和高性能CUDA算子进行语言生成,同时对训练部分还能从 **ZeRO- 和 LoRA-based** 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
|