Update README.md
Browse files
README.md
CHANGED
@@ -9,12 +9,22 @@ pipeline_tag: text-generation
|
|
9 |
---
|
10 |
# 中文长文本Llama模型
|
11 |
* [LongAlpaca](https://huggingface.co/Yukang/LongAlpaca-7B)通过对 llama2-chat 进行少量长文本数据的微调,展现出了优秀的长文本对话能力。
|
12 |
-
*
|
13 |
-
LongAlpaca-7b-chinese 和 LongAlpaca 使用类似的训练方法:先使用线性位置插值,然后通过少量长文本数据的微调,使其获得优秀的长文本对话能力。
|
14 |
* 使用的数据集与LongAlpaca较为类似,但增加了多文档问答的数据。
|
15 |
* 此模型由[Atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat),通过线性位置插值,将文本长度从4k扩展到32k,然后经过lora微调得到。目前可以完成上万字的多文档检索、论文总结等任务,已经能满足绝大部分需要,而短对话能力几乎没有下降。
|
16 |
* 由于指令微调数据的任务类型并不是很多,在面对比较复杂的任务时,输出结果的质量仍不能保证。如果使用中遇到问题,欢迎在后台提出discussion,帮助我们改进模型。
|
17 |
* 此模型与英文版LongAlpaca一样,支持streaming-LLM,从而可以生成更长的文本。[示例代码](https://github.com/dvlab-research/LongLoRA/blob/main/run_streaming_llama_longalpaca.py)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
18 |
* 使用方法:
|
19 |
```python
|
20 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
9 |
---
|
10 |
# 中文长文本Llama模型
|
11 |
* [LongAlpaca](https://huggingface.co/Yukang/LongAlpaca-7B)通过对 llama2-chat 进行少量长文本数据的微调,展现出了优秀的长文本对话能力。
|
12 |
+
* LongAlpaca-7b-chinese 和 LongAlpaca 使用类似的训练方法:先使用线性位置插值,然后通过少量长文本数据的微调,使其获得优秀的长文本对话能力。
|
|
|
13 |
* 使用的数据集与LongAlpaca较为类似,但增加了多文档问答的数据。
|
14 |
* 此模型由[Atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat),通过线性位置插值,将文本长度从4k扩展到32k,然后经过lora微调得到。目前可以完成上万字的多文档检索、论文总结等任务,已经能满足绝大部分需要,而短对话能力几乎没有下降。
|
15 |
* 由于指令微调数据的任务类型并不是很多,在面对比较复杂的任务时,输出结果的质量仍不能保证。如果使用中遇到问题,欢迎在后台提出discussion,帮助我们改进模型。
|
16 |
* 此模型与英文版LongAlpaca一样,支持streaming-LLM,从而可以生成更长的文本。[示例代码](https://github.com/dvlab-research/LongLoRA/blob/main/run_streaming_llama_longalpaca.py)
|
17 |
+
|
18 |
+
* LongBench中文任务评测结果如下。评测后,发现目前模型在问答、总结等自由回答的任务上表现较好,在分类、多项选择等固定选项的任务上则表现不好,可能是因为微调数据集不包含分类任务。
|
19 |
+
| 数据集 | 任务类型 | 评测指标 | 得分 |
|
20 |
+
| ---- | ---- |---- |---- |
|
21 |
+
| dureader | 多文档QA |rouge-L |0.18369 |
|
22 |
+
| multifield_qa | 单文档QA |rouge-L |0.40816 |
|
23 |
+
| vcsum | 总结 |rouge-L |0.15166 |
|
24 |
+
| lsht | 文本分类 |Accuracy |0.19680 |
|
25 |
+
| passage_retrieval | 文本检索 |Accuracy |0.06000 |
|
26 |
+
|
27 |
+
|
28 |
* 使用方法:
|
29 |
```python
|
30 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|