Update README.md
Browse files
README.md
CHANGED
|
@@ -18,12 +18,13 @@ pipeline_tag: text-generation
|
|
| 18 |
* 2023.12.14更新：发布经过微调的Qwen-14b-chat-yarn-32k，微调后的模型能适应32k长度（约4万汉字）的中英问答，相较于之前的通过位置插值得到的32k模型，几乎完全解决了多文档问答任务下召回率低（即 lost in middle 现象）的问题。
|
| 19 |
<br>
|
| 20 |
|
| 21 |
-
# 支持32k上下文(可自动扩展至50k以上)
|
| 22 |
|
| 23 |
## 模型的主要特性：
|
| 24 |
* 基于Qwen-14b-chat，使用“原文复述”任务进行指令微调
|
| 25 |
* 使用Yarn插值方法，使模型能适应32k甚至更长的文本
|
| 26 |
-
*
|
|
|
|
| 27 |
|
| 28 |
<br>
|
| 29 |
|
|
|
|
| 18 |
* 2023.12.14更新：发布经过微调的Qwen-14b-chat-yarn-32k，微调后的模型能适应32k长度（约4万汉字）的中英问答，相较于之前的通过位置插值得到的32k模型，几乎完全解决了多文档问答任务下召回率低（即 lost in middle 现象）的问题。
|
| 19 |
<br>
|
| 20 |
|
| 21 |
+
# 支持32k上下文(可自动扩展至50k以上)的Qwen-14b-chat模型
|
| 22 |
|
| 23 |
## 模型的主要特性：
|
| 24 |
* 基于Qwen-14b-chat，使用“原文复述”任务进行指令微调
|
| 25 |
* 使用Yarn插值方法，使模型能适应32k甚至更长的文本
|
| 26 |
+
* 推理时，无需特殊设计的prompt，即可给出高准确率的回答。
|
| 27 |
+
* Qwen原有能力并未退化，依然能够适应各种任务。
|
| 28 |
|
| 29 |
<br>
|
| 30 |
|