Update README.md
Browse files
README.md
CHANGED
@@ -37,11 +37,11 @@ Additionally, the model also demonstrates excellent generalization capabilities,
|
|
37 |
Longbench Chinese
|
38 |
|
39 |
|model|Multi-doc QA(%)| Synthetic task(%) | Summarization |
|
40 |
-
|
41 |
|gpt3.5-turbo-16k | 28.7 | 77.5 |16.0 |
|
42 |
-
|
43 |
|Xgen-7B-8k| 11.0| 3.5| 2.2 |
|
44 |
-
|InternlM-7B-8k| 16.3|0.9|12.4|
|
45 |
|ChatGLM2-6B-32k|37.6|64.5|16.2|
|
46 |
|Vicuna-v1.5-7B-16k|19.3|5.0|15.1|
|
47 |
|Ziya-Reader-13B-v1.0| **42.8**| **66.0**|**15.3**|
|
@@ -59,11 +59,16 @@ Longbench Chinese
|
|
59 |
| :----: | :----: | :----: | :----: | :----: | :----: |
|
60 |
| 问答QA,阅读理解MRC| AGI模型 | 姜子牙 Ziya | Llama2 | 13B | Chinese |
|
61 |
|
|
|
|
|
|
|
|
|
|
|
62 |
## Usage
|
63 |
### 环境
|
64 |
pip install transformers=4.31.0
|
65 |
### example
|
66 |
-
多个检索结果时,每个检索结果用”<eod>\n
|
67 |
dtype:Bfloat16
|
68 |
```python
|
69 |
prompt='<human>: 给定问题:交强险过期不上路会不会被罚?\n 检索结果:[1] 交强险过期不上路会不会
|
@@ -86,7 +91,7 @@ model = AutoModelForCausalLM.from_pretrained(model_path,torch_dtype=torch.bfloat
|
|
86 |
|
87 |
如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2210.08590):
|
88 |
|
89 |
-
If you are using the resource for your work, please cite
|
90 |
|
91 |
```text
|
92 |
@article{fengshenbang,
|
|
|
37 |
Longbench Chinese
|
38 |
|
39 |
|model|Multi-doc QA(%)| Synthetic task(%) | Summarization |
|
40 |
+
|:---:|:---:|:---:|:---:|
|
41 |
|gpt3.5-turbo-16k | 28.7 | 77.5 |16.0 |
|
42 |
+
|Longchat-v1.5-7B-32k |19.5|7.6|9.9|
|
43 |
|Xgen-7B-8k| 11.0| 3.5| 2.2 |
|
44 |
+
|InternlM-7B-8k | 16.3|0.9|12.4|
|
45 |
|ChatGLM2-6B-32k|37.6|64.5|16.2|
|
46 |
|Vicuna-v1.5-7B-16k|19.3|5.0|15.1|
|
47 |
|Ziya-Reader-13B-v1.0| **42.8**| **66.0**|**15.3**|
|
|
|
59 |
| :----: | :----: | :----: | :----: | :----: | :----: |
|
60 |
| 问答QA,阅读理解MRC| AGI模型 | 姜子牙 Ziya | Llama2 | 13B | Chinese |
|
61 |
|
62 |
+
## 模型信息 Model Information
|
63 |
+
我们使用了位置插值(PI)的方式,在精选的长文档语料上进行微调,扩展上下文到8k大小。其次,模型靠数据喂养,我们从近千万数据中筛选高质量数据,仅用层层过滤的10万量级的数据即可将一个平平无奇的模型培养成知识问答小钢炮。另外,我们为搜索任务量身定做了特殊的任务,精心制作了数据,让模型学会从中寻找相关文档并回答问题。
|
64 |
+
|
65 |
+
|
66 |
+
|
67 |
## Usage
|
68 |
### 环境
|
69 |
pip install transformers=4.31.0
|
70 |
### example
|
71 |
+
多个检索结果时,每个检索结果用”<eod>\n“分隔,开头使用方括号标识序号。结果偶尔会有“根据上面编号为xx的信息”,真正答案从“我的答案是”后开始,解码时请截断前面语句。
|
72 |
dtype:Bfloat16
|
73 |
```python
|
74 |
prompt='<human>: 给定问题:交强险过期不上路会不会被罚?\n 检索结果:[1] 交强险过期不上路会不会
|
|
|
91 |
|
92 |
如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2210.08590):
|
93 |
|
94 |
+
If you are using the resource for your work, please cite our [paper](https://arxiv.org/abs/2210.08590):
|
95 |
|
96 |
```text
|
97 |
@article{fengshenbang,
|