Update README.md
Browse files
README.md
CHANGED
@@ -6,5 +6,4 @@ metrics:
|
|
6 |
license: apache-2.0
|
7 |
language:
|
8 |
- am
|
9 |
-
|
10 |
-
https://github.com/microsoft/DeepSpeedExamples/tree/master/applications/DeepSpeed-Chat
|
|
|
6 |
license: apache-2.0
|
7 |
language:
|
8 |
- am
|
9 |
+
---使用DeepSpeed-RLHF系统训练:DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化,如张量并行计算和高性能CUDA算子进行语言生成,同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
|
|