长上下文版本计划
#34
by
rzzhangtao
- opened
请问有长上下文版本相关的计划吗？
有的，不过目前事情比较多，可能得等一两个星期左右才能开始训。敬请谅解。
shenzhi-wang
changed discussion status to
closed
修改 config.json
"rope_scaling": null,
改为：
"rope_scaling": {
"type": "dynamic",
"factor": 4.0
},
即获得32k context。
太赞了！这个项目是目前实际使用的效果最好的中文大模型了！！