Laurie commited on
Commit
e82ea14
1 Parent(s): 4ab2588

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +6 -3
README.md CHANGED
@@ -4,6 +4,9 @@ metrics:
4
  ---
5
  ---
6
  license: apache-2.0
7
- language:
8
- - am
9
- ---使用**DeepSpeed-RLHF**系统训练:DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 **DeepSpeed-Inference** 的各种优化,如张量并行计算和高性能CUDA算子进行语言生成,同时对训练部分还能从 **ZeRO- 和 LoRA-based** 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
 
 
 
 
4
  ---
5
  ---
6
  license: apache-2.0
7
+ language: am
8
+
9
+ * **DeepSpeed-RLHF**系统训练:DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换,使其能够利用来自 **DeepSpeed-Inference** 的各种优化,如张量并行计算和高性能CUDA算子进行语言生成,同时对训练部分还能从 **ZeRO- 和 LoRA-based** 内存优化策略中受益。DeepSpeed-HE 还能够自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
10
+ * Train Data:(English)--data_path Dahoas/rm-static Dahoas/full-hh-rlhf Dahoas/synthetic-instruct-gptj-pairwise yitingxie/rlhf-reward-datasets openai/webgpt_comparisons stanfordnlp/SHP
11
+ * Train Data:(Chinese)--data_path wangrui6/Zhihu-KOL Cohere/miracl-zh-queries-22-12 Hello-SimpleAI/HC3-Chinese mkqa-Chinese
12
+ * 可自定义actor model 和 reward model,亦可单独训练rlhf model