Text Generation
Transformers
Safetensors
Chinese
English
qwen
conversational
custom_code
yuyijiong commited on
Commit
71ba403
1 Parent(s): d1e96df

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -2
README.md CHANGED
@@ -36,8 +36,13 @@ response, history = model.chat(tokenizer, input_text, history=None)
36
  print(response)
37
  ```
38
 
39
- ## 模型结构修改
40
- * 将Qwen模型的NTK插值方法替换为Yarn,同时适当缩小位置插值的缩放因子,实现了模型在更长文本长度(大于16k)下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
 
 
 
 
 
41
 
42
 
43
  # 问答例子
 
36
  print(response)
37
  ```
38
 
39
+ # 训练过程
40
+ ### 1.模型结构修改
41
+ 将Qwen模型的NTK插值方法替换为Yarn,同时适当缩小位置插值的缩放因子s,实现了模型在更长文本长度(大于16k)下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
42
+ ### 2.预训练
43
+ 使用[yuyijiong/LongData-Corpus](https://huggingface.co/datasets/yuyijiong/LongData-Corpus)数据,Qlora方法,数据切分为32k文本长度,对Qwen模型进行增量预训练。
44
+ ### 3.指令微调
45
+ 使用[yuyijiong/Long-Instruction-Chinese]https://huggingface.co/datasets/yuyijiong/Long-Instruction-Chinese)数据,Qlora方法,对Qwen模型进行微调。
46
 
47
 
48
  # 问答例子