对话模型问题
#2
by
xuchen123
- opened
tokenizer_config.json 可以增加对话模板，chat_template，方便 vllm 部署后，请求采用 messages 方式
"chat_template": "{% for message in messages %}{% if message['role'] == 'system' %}{{ message['content'] + '\n'}}{% elif message['role'] == 'assistant' %}{{ 'Assistant: ' + message['content'] + '\n' }}{% else %}{{ 'User: ' + message['content'] + '\n' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ 'Assistant: ' }}{% endif %}"
最好每个Assistant的历史消息后面能够加上eos，有的模型如果不加会导致新的输出也没有eos，从而开始自问自答。
可以试试我们的GrandSage框架，它做了对话模板的拼接。
xuchen123
changed discussion status to
closed