chat_template.jinja

#39
by YuboWang - opened

我看到代码里确实是有apply_chat_template的函数的,但是不太知道怎么将其翻译为jinja格式的模板,我现在用vllm运行该模型,然后模板使用的是网上有人提供的GLM3的模板,如下。不知道能否share下GLM-4-Chat的jinja模板
{% for message in messages %}
{{'<|' + message['role'] + '|>' + '\n' + message['content'] + '\n' }}
{% endfor %}
{{ '<|assistant|>' }}

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org
edited Jun 13

目前用不了,能用我们早就写了jinjia了因为他更符合大众的使用习惯,因为我们的对话格式中还有一个metadata字段构建

#31 可以参考

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

#31 可以参考

看到你修复了这个部分,我测试一下

#31 可以参考

看到你修复了这个部分,我测试一下

Hi 请问测试如何?我们部分代码依赖chat template,希望尽快合入

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org
edited Jun 18

测试完了,那个PR里可以把原始的函数注释而不是删除?这样不影响chat_template同时保留了原始的实现,如果有人需要可以重新解除注释
我这测试能正常使用

zRzRzRzRzRzRzR changed discussion status to closed

Sign up or log in to comment