yuyijiong commited on
Commit
917957f
1 Parent(s): b60daab

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -2
README.md CHANGED
@@ -9,12 +9,22 @@ pipeline_tag: text-generation
9
  ---
10
  # 中文长文本Llama模型
11
  * [LongAlpaca](https://huggingface.co/Yukang/LongAlpaca-7B)通过对 llama2-chat 进行少量长文本数据的微调,展现出了优秀的长文本对话能力。
12
- *
13
- LongAlpaca-7b-chinese 和 LongAlpaca 使用类似的训练方法:先使用线性位置插值,然后通过少量长文本数据的微调,使其获得优秀的长文本对话能力。
14
  * 使用的数据集与LongAlpaca较为类似,但增加了多文档问答的数据。
15
  * 此模型由[Atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat),通过线性位置插值,将文本长度从4k扩展到32k,然后经过lora微调得到。目前可以完成上万字的多文档检索、论文总结等任务,已经能满足绝大部分需要,而短对话能力几乎没有下降。
16
  * 由于指令微调数据的任务类型并不是很多,在面对比较复杂的任务时,输出结果的质量仍不能保证。如果使用中遇到问题,欢迎在后台提出discussion,帮助我们改进模型。
17
  * 此模型与英文版LongAlpaca一样,支持streaming-LLM,从而可以生成更长的文本。[示例代码](https://github.com/dvlab-research/LongLoRA/blob/main/run_streaming_llama_longalpaca.py)
 
 
 
 
 
 
 
 
 
 
 
18
  * 使用方法:
19
  ```python
20
  from transformers import AutoModelForCausalLM, AutoTokenizer
 
9
  ---
10
  # 中文长文本Llama模型
11
  * [LongAlpaca](https://huggingface.co/Yukang/LongAlpaca-7B)通过对 llama2-chat 进行少量长文本数据的微调,展现出了优秀的长文本对话能力。
12
+ * LongAlpaca-7b-chinese 和 LongAlpaca 使用类似的训练方法:先使用线性位置插值,然后通过少量长文本数据的微调,使其获得优秀的长文本对话能力。
 
13
  * 使用的数据集与LongAlpaca较为类似,但增加了多文档问答的数据。
14
  * 此模型由[Atom-7b-chat](https://huggingface.co/FlagAlpha/Atom-7B-Chat),通过线性位置插值,将文本长度从4k扩展到32k,然后经过lora微调得到。目前可以完成上万字的多文档检索、论文总结等任务,已经能满足绝大部分需要,而短对话能力几乎没有下降。
15
  * 由于指令微调数据的任务类型并不是很多,在面对比较复杂的任务时,输出结果的质量仍不能保证。如果使用中遇到问题,欢迎在后台提出discussion,帮助我们改进模型。
16
  * 此模型与英文版LongAlpaca一样,支持streaming-LLM,从而可以生成更长的文本。[示例代码](https://github.com/dvlab-research/LongLoRA/blob/main/run_streaming_llama_longalpaca.py)
17
+
18
+ * LongBench中文任务评测结果如下。评测后,发现目前模型在问答、总结等自由回答的任务上表现较好,在分类、多项选择等固定选项的任务上则表现不好,可能是因为微调数据集不包含分类任务。
19
+ | 数据集 | 任务类型 | 评测指标 | 得分 |
20
+ | ---- | ---- |---- |---- |
21
+ | dureader | 多文档QA |rouge-L |0.18369 |
22
+ | multifield_qa | 单文档QA |rouge-L |0.40816 |
23
+ | vcsum | 总结 |rouge-L |0.15166 |
24
+ | lsht | 文本分类 |Accuracy |0.19680 |
25
+ | passage_retrieval | 文本检索 |Accuracy |0.06000 |
26
+
27
+
28
  * 使用方法:
29
  ```python
30
  from transformers import AutoModelForCausalLM, AutoTokenizer