mxmax commited on
Commit
f1bd62b
1 Parent(s): ab41742

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +54 -6
README.md CHANGED
@@ -23,7 +23,9 @@ widget:
23
  ## 更新进度
24
  model v1 :2023.3.12
25
 
26
- model v2 :2023.3.12(百度百科知识增强)
 
 
27
 
28
  ## 注意事项
29
 
@@ -31,12 +33,14 @@ model v2 :2023.3.12(百度百科知识增强)
31
 
32
  2、模型采用top k的解码方式,每次运行可能结果都略微有些不同。
33
 
34
- 3、目前模型还是初步迭代完2epoch,数据种类和数据量现阶段算是比较少模型效果的话勉勉强强,后续还会加入更多数据进行迭代优化,到时候会更新。
35
 
36
  4、因为数据丰富度限制和模型容量限制可能在某些问题上回答不相关现象,模型现在有着跟chatgpt一样的缺点就是会在关键信息错误,有点乱编出信息来。
37
 
38
  5、模型对于有些百科知识会答不准的问题,是因为缺少相关百科知识增强,目前也正在爬取百度百科进行知识增强。
39
 
 
 
40
 
41
  ## 模型推理
42
 
@@ -63,13 +67,57 @@ def answer_fn(text, top_k=50):
63
  out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=512,temperature=0.5,do_sample=True,repetition_penalty=3.0 ,top_k=top_k)
64
  result = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
65
  return postprocess(result[0])
66
- text="宫颈癌的早期会有哪些危险信号"
67
- result=answer_fn(text, top_k=50)
68
- print('prompt:',text)
69
- print("result:",result)
 
70
  ```
71
 
72
  ## 预测示例
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
73
  #### 普通百科问答
74
  ```bash
75
  Input:
 
23
  ## 更新进度
24
  model v1 :2023.3.12
25
 
26
+ model v2 :2023.3.22(百度百科知识增强15w+)
27
+
28
+ model v3 :2023.3.24(感谢Belle开源的指示学习数据)
29
 
30
  ## 注意事项
31
 
 
33
 
34
  2、模型采用top k的解码方式,每次运行可能结果都略微有些不同。
35
 
36
+ 3、后续还会加入更多数据进行迭代优化,到时候会更新。
37
 
38
  4、因为数据丰富度限制和模型容量限制可能在某些问题上回答不相关现象,模型现在有着跟chatgpt一样的缺点就是会在关键信息错误,有点乱编出信息来。
39
 
40
  5、模型对于有些百科知识会答不准的问题,是因为缺少相关百科知识增强,目前也正在爬取百度百科进行知识增强。
41
 
42
+ 6、发现top k的推理模式比top p的推理效果好一些,所以推理改成了top k
43
+
44
 
45
  ## 模型推理
46
 
 
67
  out = model.generate(**encoding, return_dict_in_generate=True, output_scores=False, max_length=512,temperature=0.5,do_sample=True,repetition_penalty=3.0 ,top_k=top_k)
68
  result = tokenizer.batch_decode(out["sequences"], skip_special_tokens=True)
69
  return postprocess(result[0])
70
+ while True:
71
+ text = input('请输入问题:')
72
+ result=answer_fn(text, sample=True, top_k=50)
73
+ print("模型生成:",result)
74
+ print('*'*100)
75
  ```
76
 
77
  ## 预测示例
78
+ #### 加入指示学习后模型输出
79
+ ```bash
80
+ Input:
81
+ 生成一篇关于冬天的文章
82
+ Model output:
83
+ 冬天是一年中最寒冷的季节之一。在这个季节里,大地开始变得温暖和湿润了;人们穿着舒适的衣服、保暖的鞋子等衣服也变得更加暖洋洋地出现在街上或街道中;3月份正是冬季节气之际(例如7月1日至9月初), 气温逐渐上升并使得许多树木被冻死而秋天则意味着更多时间去参加户外活动或者进行烧烤派对来享受这个美好的冬日时光!
84
+ ```
85
+
86
+ ```bash
87
+ Input:
88
+ 什么是机器学习
89
+ Model output:
90
+ 机器学习是一种人工智能领域的技术,它使用给定的算法和模型来让计算机从数据中自动学习并改进性能。
91
+ ```
92
+
93
+ ```bash
94
+ Input:
95
+ 根据给定的关键词列表,生成一篇400字的文章。\\n\n\\n关键词:猫,健康,锻炼,养宠物的好处。
96
+ Model output:
97
+ 养一只健康的猫,可以减轻身体的压力和负担。在训练过程中要注意保持健康的身体条件并学会适当地休息以适应各种不同的情况: - 锻炼是提高猫咪的健康状况的好方法,因为它们有各种各样的功能需要进行运动来增加肌肉力量;同时还可以减少体重、增强骨密度等不良因素的影响!因此建议每天给宠物提供适当的饮食营养搭配以及定期的清洁护理措施是非常必要的选择之一。
98
+ ```
99
+
100
+ ```bash
101
+ Input:
102
+ 告诉我如何制作蛋糕
103
+ Model output:
104
+ 制作蛋糕的步骤: 1 预热烤箱至180°C。 2 如果需要,将面粉、可可粉和泡打粉混合在一起并慢慢加入到面糊中搅拌均匀即可完成烘焙过程。 3 一个一个地选择适合自己口味的小面团或颗粒状材料(比如鸡蛋液)放入湿性发泡剂内发酵10-15分钟使其变得光滑无黏附状态; 4在一个大碗中添加一层糖霜或者奶油乳酪作为装饰物制成自己的甜点也可以采用烤模来增加口感层次感!
105
+ ```
106
+
107
+ ```bash
108
+ Input:
109
+ 写一篇关于我的梦想的一段话
110
+ Model output:
111
+ 梦想,就像一束光芒照亮了我们的眼睛。我的梦想是成为一名出色的音乐家、成为一个优秀的科学家和一位领导家;并且我要努力工作并获得成功并成为社会上的领袖和社会的领导者之一! 在我追求目标的过程中,我一直坚信自己能够实现自己的价值并为之奋斗的目标而努力过上健康而快乐的生活:热爱音乐并与家人和朋友交流享受人生的意义与乐趣的时光等事情都让我感到非常满足感愉悦。同时我也渴望拥有一份稳定的工作环境并提供一个舒适放松的环境来维持身体健康的生活方式以及在不断挑战自我的情况下保持动力的心态等等这些愿望都在我的心中燃烧着青春的热情和发展的力量。
112
+ ```
113
+
114
+ ```bash
115
+ Input:
116
+ 生成一个描述公司企业文化的段落。
117
+ Model output:
118
+ 公司企业文化是一个多元化、文化多元的团队,员工之间相互尊重和合作。公司的价值观是“团结一致”;追求创新和发展的方向则是实现自身价值与愿景的目标的核心力量之一:创造最有价值的产品和服务以满足客户的需求并提供最佳解决方案是我们的工作方式所在之处!
119
+ ```
120
+
121
  #### 普通百科问答
122
  ```bash
123
  Input: