Update README.md
Browse files
README.md
CHANGED
|
@@ -3,7 +3,21 @@ license: cc-by-nc-4.0
|
|
| 3 |
language:
|
| 4 |
- zh
|
| 5 |
- en
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 6 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 7 |
* 将Qwen模型的NTK插值方法替换为Yarn，同时适当缩小位置插值的缩放因子，实现了模型在更长文本长度（大于16k）下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
|
| 8 |
* 目前仅提供 modeling_qwen.py 代码，用此py文件替换原Qwen模型的modeling_qwen.py即可，其它使用方法不变。模型权重与原Qwen模型相同。
|
| 9 |
* 未来可能会发布微调的权重。
|
|
|
|
| 3 |
language:
|
| 4 |
- zh
|
| 5 |
- en
|
| 6 |
+
datasets:
|
| 7 |
+
- yuyijiong/LongPaper_multitask
|
| 8 |
+
- yuyijiong/Long-Instruction-Chinese
|
| 9 |
+
- yuyijiong/LongData-Corpus
|
| 10 |
+
pipeline_tag: text-generation
|
| 11 |
---
|
| 12 |
+
* 2023.12.14更新：发布微调后的Qwen-14b的权重，微调后的模型能适应32k长度（约4万汉字）的中英问答，在多文档问答任务上提升显著。
|
| 13 |
+
|
| 14 |
+
# LongBench测试结果
|
| 15 |
+
待测
|
| 16 |
+
|
| 17 |
+
|
| 18 |
+
|
| 19 |
+
|
| 20 |
+
# Usage
|
| 21 |
* 将Qwen模型的NTK插值方法替换为Yarn，同时适当缩小位置插值的缩放因子，实现了模型在更长文本长度（大于16k）下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
|
| 22 |
* 目前仅提供 modeling_qwen.py 代码，用此py文件替换原Qwen模型的modeling_qwen.py即可，其它使用方法不变。模型权重与原Qwen模型相同。
|
| 23 |
* 未来可能会发布微调的权重。
|