Text Generation
Transformers
Safetensors
Chinese
English
qwen
conversational
custom_code
yuyijiong commited on
Commit
7fc739e
1 Parent(s): b9b4049

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -2
README.md CHANGED
@@ -19,6 +19,7 @@ pipeline_tag: text-generation
19
  | **Qwen-14b-chat-yarn-32k** |**0.94**|
20
  | chatglm3-32k | 0.725 |
21
  | Qwen-14b-chat | 0.525 |
 
22
  | LongAlpaca-7b-32k-chinese-v2 | 0.12 |
23
  | CausalLM-14b | 0.086 |
24
 
@@ -58,9 +59,10 @@ print(response)
58
  # 历史版本
59
  |发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
60
  |:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
61
- |2023.10.20| LongAlpaca-7b-16k-chinese | atom-7b | 4k->16k PI |指令微调 | 长度16k以内的多文档问答、论文总结、论文问答数据 |
62
- |2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b | 4k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
63
  |2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
 
64
  |2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
65
 
66
  <br>
 
19
  | **Qwen-14b-chat-yarn-32k** |**0.94**|
20
  | chatglm3-32k | 0.725 |
21
  | Qwen-14b-chat | 0.525 |
22
+ | Qwen-14b-chat-32k-lora | 0.34 |
23
  | LongAlpaca-7b-32k-chinese-v2 | 0.12 |
24
  | CausalLM-14b | 0.086 |
25
 
 
59
  # 历史版本
60
  |发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
61
  |:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
62
+ |2023.10.20 | LongAlpaca-7b-16k-chinese | atom-7b | 4k->16k PI |指令微调 | 长度16k以内的多文档问答、论文总结、论文问答数据 |
63
+ |2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b | 4k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
64
  |2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
65
+ |2023.11.28 |Qwen-14b-chat-32k-lora | Qwen-14b-chat | 动态 NTK | 指令微调 |长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
66
  |2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
67
 
68
  <br>