Justcode commited on
Commit
5695313
1 Parent(s): fb5e395

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +10 -5
README.md CHANGED
@@ -37,11 +37,11 @@ Additionally, the model also demonstrates excellent generalization capabilities,
37
  Longbench Chinese
38
 
39
  |model|Multi-doc QA(%)| Synthetic task(%) | Summarization |
40
- |:---|---|---|---|
41
  |gpt3.5-turbo-16k | 28.7 | 77.5 |16.0 |
42
- Longchat-v1.5-7B-32k |19.5|7.6|9.9|
43
  |Xgen-7B-8k| 11.0| 3.5| 2.2 |
44
- |InternlM-7B-8k| 16.3|0.9|12.4|
45
  |ChatGLM2-6B-32k|37.6|64.5|16.2|
46
  |Vicuna-v1.5-7B-16k|19.3|5.0|15.1|
47
  |Ziya-Reader-13B-v1.0| **42.8**| **66.0**|**15.3**|
@@ -59,11 +59,16 @@ Longbench Chinese
59
  | :----: | :----: | :----: | :----: | :----: | :----: |
60
  | 问答QA,阅读理解MRC| AGI模型 | 姜子牙 Ziya | Llama2 | 13B | Chinese |
61
 
 
 
 
 
 
62
  ## Usage
63
  ### 环境
64
  pip install transformers=4.31.0
65
  ### example
66
- 多个检索结果时,每个检索结果用”<eod>\n“分隔,开头使用方括号标识序号。结果从“我的答案是”后开始,解码时请截断前面语句。
67
  dtype:Bfloat16
68
  ```python
69
  prompt='<human>: 给定问题:交强险过期不上路会不会被罚?\n 检索结果:[1] 交强险过期不上路会不会
@@ -86,7 +91,7 @@ model = AutoModelForCausalLM.from_pretrained(model_path,torch_dtype=torch.bfloat
86
 
87
  如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2210.08590):
88
 
89
- If you are using the resource for your work, please cite the our [paper](https://arxiv.org/abs/2210.08590):
90
 
91
  ```text
92
  @article{fengshenbang,
 
37
  Longbench Chinese
38
 
39
  |model|Multi-doc QA(%)| Synthetic task(%) | Summarization |
40
+ |:---:|:---:|:---:|:---:|
41
  |gpt3.5-turbo-16k | 28.7 | 77.5 |16.0 |
42
+ |Longchat-v1.5-7B-32k |19.5|7.6|9.9|
43
  |Xgen-7B-8k| 11.0| 3.5| 2.2 |
44
+ |InternlM-7B-8k | 16.3|0.9|12.4|
45
  |ChatGLM2-6B-32k|37.6|64.5|16.2|
46
  |Vicuna-v1.5-7B-16k|19.3|5.0|15.1|
47
  |Ziya-Reader-13B-v1.0| **42.8**| **66.0**|**15.3**|
 
59
  | :----: | :----: | :----: | :----: | :----: | :----: |
60
  | 问答QA,阅读理解MRC| AGI模型 | 姜子牙 Ziya | Llama2 | 13B | Chinese |
61
 
62
+ ## 模型信息 Model Information
63
+ 我们使用了位置插值(PI)的方式,在精选的长文档语料上进行微调,扩展上下文到8k大小。其次,模型靠数据喂养,我们从近千万数据中筛选高质量数据,仅用层层过滤的10万量级的数据即可将一个平平无奇的模型培养成知识问答小钢炮。另外,我们为搜索任务量身定做了特殊的任务,精心制作了数据,让模型学会从中寻找相关文档并回答问题。
64
+
65
+
66
+
67
  ## Usage
68
  ### 环境
69
  pip install transformers=4.31.0
70
  ### example
71
+ 多个检索结果时,每个检索结果用”&lt;eod&gt;\n“分隔,开头使用方括号标识序号。结果偶尔会有“根据上面编号为xx的信息”,真正答案从“我的答案是”后开始,解码时请截断前面语句。
72
  dtype:Bfloat16
73
  ```python
74
  prompt='<human>: 给定问题:交强险过期不上路会不会被罚?\n 检索结果:[1] 交强险过期不上路会不会
 
91
 
92
  如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2210.08590):
93
 
94
+ If you are using the resource for your work, please cite our [paper](https://arxiv.org/abs/2210.08590):
95
 
96
  ```text
97
  @article{fengshenbang,