Update README.md
Browse files
README.md
CHANGED
|
@@ -14,7 +14,7 @@ pipeline_tag: text-generation
|
|
| 14 |
* 此模型由[Atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)，通过线性位置插值，将文本长度从4k扩展到32k，然后经过lora微调得到。目前可以完成上万字的多文档检索、论文总结等任务，已经能满足绝大部分需要，而短对话能力几乎没有下降。
|
| 15 |
* 由于指令微调数据的任务类型并不是很多，在面对比较复杂的任务时，输出结果的质量仍不能保证。如果使用中遇到问题，欢迎在后台提出discussion，帮助我们改进模型。
|
| 16 |
* 此模型与英文版LongAlpaca一样，支持streaming-LLM，从而可以生成更长的文本。[示例代码](https://github.com/dvlab-research/LongLoRA/blob/main/run_streaming_llama_longalpaca.py)
|
| 17 |
-
|
| 18 |
* LongBench中文任务评测结果如下。评测后，发现目前模型在问答、总结等自由回答的任务上表现较好，在分类、多项选择等固定选项的任务上则表现不好，可能是因为微调数据集不包含分类任务。
|
| 19 |
| 数据集 | 任务类型 | 评测指标 | 得分 |
|
| 20 |
| ---- | ---- |---- |---- |
|
|
|
|
| 14 |
* 此模型由[Atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat)，通过线性位置插值，将文本长度从4k扩展到32k，然后经过lora微调得到。目前可以完成上万字的多文档检索、论文总结等任务，已经能满足绝大部分需要，而短对话能力几乎没有下降。
|
| 15 |
* 由于指令微调数据的任务类型并不是很多，在面对比较复杂的任务时，输出结果的质量仍不能保证。如果使用中遇到问题，欢迎在后台提出discussion，帮助我们改进模型。
|
| 16 |
* 此模型与英文版LongAlpaca一样，支持streaming-LLM，从而可以生成更长的文本。[示例代码](https://github.com/dvlab-research/LongLoRA/blob/main/run_streaming_llama_longalpaca.py)
|
| 17 |
+
* 实验发现此模型对长文本尾部的指令更加敏感，所以尽量把问题放在参考文档的后面。
|
| 18 |
* LongBench中文任务评测结果如下。评测后，发现目前模型在问答、总结等自由回答的任务上表现较好，在分类、多项选择等固定选项的任务上则表现不好，可能是因为微调数据集不包含分类任务。
|
| 19 |
| 数据集 | 任务类型 | 评测指标 | 得分 |
|
| 20 |
| ---- | ---- |---- |---- |
|