Laurie commited on
Commit
4ab2588
1 Parent(s): ae10b94

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -6,4 +6,4 @@ metrics:
6
  license: apache-2.0
7
  language:
8
  - am
9
- ---使用DeepSpeed-RLHF系统训练:DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化,如张量并行计算和高性能CUDA算子进行语言生成,同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
 
6
  license: apache-2.0
7
  language:
8
  - am
9
+ ---使用**DeepSpeed-RLHF**系统训练:DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 **DeepSpeed-Inference** 的各种优化,如张量并行计算和高性能CUDA算子进行语言生成,同时对训练部分还能从 **ZeRO- 和 LoRA-based** 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。