THUDM

/

codegeex4-all-9b

like 153

这个跟推理框架差距关系不大吧，官方插件不是开源的模型呀，是商业模型，你要和github上的模型对比

我使用vllm部署起来了一套codegeex4-all-9b，发现质量和直接下载官方的插件质量差距挺大，完全是模型的区别么？
比如：会多生成一些括号啊；生成一半没生成全之类的；生成了一些上下文没有的方法之类的。

我很想了解是模型的差距还是我使用方式比如一些参数不对之类的问题？还是插件对接的后端服务有多做些东西呢？
跪求回复

应该是配置的不对，开源模型的补全效果也是很好的，输入格式是正确的吗？推理参数是多少？

我使用vllm部署起来了一套codegeex4-all-9b，发现质量和直接下载官方的插件质量差距挺大，完全是模型的区别么？
比如：会多生成一些括号啊；生成一半没生成全之类的；生成了一些上下文没有的方法之类的。

我很想了解是模型的差距还是我使用方式比如一些参数不对之类的问题？还是插件对接的后端服务有多做些东西呢？
跪求回复

应该是配置的不对，开源模型的补全效果也是很好的，输入格式是正确的吗？推理参数是多少？

相比其他开源的还行，但是和商用的差距还是很大的。输入格式没问题，照着官方文档拼接的。推理参数除了设置了max_tokens，其他都没设置，默认值

我使用vllm部署起来了一套codegeex4-all-9b，发现质量和直接下载官方的插件质量差距挺大，完全是模型的区别么？
比如：会多生成一些括号啊；生成一半没生成全之类的；生成了一些上下文没有的方法之类的。

我很想了解是模型的差距还是我使用方式比如一些参数不对之类的问题？还是插件对接的后端服务有多做些东西呢？
跪求回复

应该是配置的不对，开源模型的补全效果也是很好的，输入格式是正确的吗？推理参数是多少？

相比其他开源的还行，但是和商用的差距还是很大的。输入格式没问题，照着官方文档拼接的。推理参数除了设置了max_tokens，其他都没设置，默认值

试一下temperature=0.2, top_p=0.95。补全场景对于输入格式比较敏感，需要严格按照README中的格式来