Text Generation
Transformers
Safetensors
Chinese
English
qwen
conversational
custom_code
yuyijiong commited on
Commit
25e90ce
1 Parent(s): db25d91

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -4
README.md CHANGED
@@ -9,14 +9,15 @@ datasets:
9
  - yuyijiong/LongData-Corpus
10
  pipeline_tag: text-generation
11
  ---
12
- * 2023.12.14更新:发布微调后的Qwen-14b的权重,微调后的模型能适应32k长度(约4万汉字)的中英问答,在多文档问答任务上提升非常显著,超过chatglm3-32k
13
  <br>
14
  <br>
15
  # LongBench测试结果
16
  ### LongBench的passage_retrieval_zh的评测结果
17
  | 模型 | 得分 (acc) |
18
  |---------------------------------------------|----------|
19
- | **Qwen-14b-chat-yarn-32k** |**0.94**|
 
20
  | chatglm3-32k | 0.725 |
21
  | Qwen-14b-chat | 0.525 |
22
  | LongAlpaca-7b-32k-chinese-v2 | 0.12 |
@@ -58,8 +59,8 @@ print(response)
58
  # 历史版本
59
  |发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
60
  |:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
61
- |2023.10.20| LongAlpaca-7b-16k-chinese | atom-7b | 8k->16k PI |指令微调 | 长度16k以内的多文档问答、论文总结、论文问答数据 |
62
- |2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b | 8k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
63
  |2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
64
  |2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
65
 
 
9
  - yuyijiong/LongData-Corpus
10
  pipeline_tag: text-generation
11
  ---
12
+ * 2023.12.14更新:发布微调后的Qwen-14b的权重,微调后的模型能适应32k长度(约4万汉字)的中英问答,在多文档问答任务上提升非常显著,超过chatglm3-32k。相较于之前的版本,几乎完全解决了文档召回准确率低的问题。
13
  <br>
14
  <br>
15
  # LongBench测试结果
16
  ### LongBench的passage_retrieval_zh的评测结果
17
  | 模型 | 得分 (acc) |
18
  |---------------------------------------------|----------|
19
+ | **Qwen-14b-chat-yarn-32k
20
+ ** |**0.94**|
21
  | chatglm3-32k | 0.725 |
22
  | Qwen-14b-chat | 0.525 |
23
  | LongAlpaca-7b-32k-chinese-v2 | 0.12 |
 
59
  # 历史版本
60
  |发布时间| 模型 | 基座模型 | 位置插值 | 训练方式 | 训练数据 |
61
  |:-------------------------:|:-------------------------:|:-----------:|:------------:|:--:|:--:|
62
+ |2023.10.20| LongAlpaca-7b-16k-chinese | atom-7b | 4k->16k PI |指令微调 | 长度16k以内的多文档问答、论文总结、论文问答数据 |
63
+ |2023.10.25 |LongAlpaca-7b-32k-chinese | atom-7b | 4k->32k PI | 指令微调 | 长度32k以内的多文档问答、论文总结、论文问答、sharegpt数据 |
64
  |2023.11.20 |LongAlpaca-7b-32k-chinese-v2 | CausalLM-7b | 8k->32k Yarn | 增量预训练+指令微调 |长度32k的中文预训练数据 + 长度32k以内的多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
65
  |2023.12.14 |Qwen-14b-chat-yarn-32k| Qwen-14b-chat | 动态 Yarn | 增量预训练+指令微调 |长度32k的中英文预训练数据 + 长度32k以内的改进版多文档多轮问答、论文多任务多轮问答、sharegpt、中英翻译数据 |
66